CN114596453A - 图像处理方法、装置及计算机可读存储介质 - Google Patents

图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114596453A
CN114596453A CN202210116472.8A CN202210116472A CN114596453A CN 114596453 A CN114596453 A CN 114596453A CN 202210116472 A CN202210116472 A CN 202210116472A CN 114596453 A CN114596453 A CN 114596453A
Authority
CN
China
Prior art keywords
image
difference
feature
determining
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210116472.8A
Other languages
English (en)
Inventor
刘俊龙
申晨
沈旭
黄建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210116472.8A priority Critical patent/CN114596453A/zh
Publication of CN114596453A publication Critical patent/CN114596453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法、装置及计算机可读存储介质。其中,该方法包括:获取第一图像和第二图像;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性。其中,在提取差异部分对应的差异特征时,可以基于多层次提取的差异特征递进地放大比对,得到差异特征的深度网络描述;基于差异特征的深度网络描述确定第一图像与第二图像之间的相似性。即通过多层次的递进地方式获取差异特征,能够有效地提升相似性结果的准确性,进而有效地本发明解决了在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。

Description

图像处理方法、装置及计算机可读存储介质
技术领域
本发明涉及计算机视觉领域,具体而言,涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
在相关技术中,通常从不同图像中提取出的特征向量,根据不同的特征向量之间的相似度直接判断图像中的特定主体是否相同,但是,在应用该方法解决一个图片较难识别判断的问题时,会出现识别精度不够,效率较低,准确率较差的问题。
因此,相关技术中,在目标图像较难识别判断时,存在识别效率较差,精度不够和准确率不高的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法、装置及计算机可读存储介质,以至少解决在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。
根据本发明实施例的一个方面,提供了一种图像处理方法,包括:获取第一图像和第二图像;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性。
可选地,提取差异部分对应的差异特征,包括:提取差异部分中第一图像中相对于第二图像的第一区分性特征,以及差异部分中第二图像相对于第一图像的第二区分性特征;基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。
可选地,提取差异部分中第一图像中相对于第二图像的第一区分性特征,以及差异部分中第二图像相对于第一图像的第二区分性特征;基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。
可选地,提取差异部分中第一图像中相对于第二图像的第一区分性特征,包括:提取差异部分中存在于第一图像中,但未存在于第二图像中的第一特征;对第一特征进行处理,得到第一区分性特征;提取差异部分中第二图像中相对于第一图像的第二区分性特征,包括:提取差异部分中存在于第二图像中,但未存在于第一图像中的第二特征;对第二特征进行处理,得到第二区分性特征。
可选地,对第一特征进行处理,得到第一区分性特征,包括:确定第一特征对应的第一区分部位,以及确定第一区分部位周围预定范围内的第一周围部分;提取第一周围部分的第一周围特征;对第一特征和第一周围特征进行处理,得到第一区分性特征;对第二特征进行处理,得到第二区分性特征,包括:确定第二特征对应的第二区分部位,以及确定第二区分部位周围预定范围内的第二周围部分;提取第二周围部分的第二周围特征;对第二特征和第二周围特征进行处理,得到第二区分性特征。
可选地,对第一特征和第一周围特征进行处理,得到第一区分性特征,包括:对第一特征和第一周围特征进行放大处理,得到第一区分性特征;对第二特征和第二周围特征进行处理,得到第二区分性特征,包括:对第二特征和第二周围特征进行放大处理,得到第二区分性特征。
可选地,基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征,包括:对第一区分性特征与第二区分性特征执行预定操作,得到差异部分对应的差异特征。
可选地,确定第一图像与第二图像的差异部分,包括:将第一图像和第二图像进行对齐操作,得到对齐结果;基于对齐结果,确定第一图像与第二图像的差异部分。
可选地,基于差异特征,确定第一图像与第二图像之间的相似性,包括:基于第一图像的第一图像特征和第二图像的第二图像特征,确定第一相似概率;基于差异特征确定第二相似概率;基于第一相似概率和第二相似概率,确定第一图像与第二图像之间的相似性。
可选地,所述提取所述差异部分对应的差异特征包括:对所述差异部分采用多层次递进的方式,获取多层次的差异信息;对所述多层次的差异信息进行放大,得到所述差异部分对应的差异特征。
根据本发明实施例的另一方面,还提供了一种图像处理方法,包括:获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
根据本发明实施例的另一方面,还提供了一种图像处理方法,包括:获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性;基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
根据本发明实施例的又一方面,还提供了一种图像处理方法,包括:获取第一虚拟现实VR图像和第二VR图像;确定所述第一VR图像与所述第二VR图像的差异部分;提取所述差异部分对应的差异特征;基于所述差异特征,确定所述第一VR图像与所述第二VR图像之间的相似性,并基于所述相似性确定所述第一VR图像对应的第一VR设备与所述第二VR图像对应的第二VR设备是否为同一VR设备。
根据本发明实施例的又一方面,还提供了一种图像处理方法,包括:获取第一增强现实AR图像和第二AR图像;确定所述第一AR图像与所述第二AR图像的差异部分;提取所述差异部分对应的差异特征;基于所述差异特征,确定所述第一AR图像与所述第二AR图像之间的相似性,并基于所述相似性确定所述第一AR图像对应的第一AR设备与所述第二AR图像对应的第二AR设备是否为同一AR设备。
根据本发明实施例的又一方面,还提供了一种图像处理方法,包括:获取第一混合现实MR图像和第二MR图像;确定所述第一MR图像与所述第二MR图像的差异部分;提取所述差异部分对应的差异特征;基于所述差异特征,确定所述第一MR图像与所述第二MR图像之间的相似性,并基于所述相似性确定所述第一MR图像对应的第一MR设备与所述第二MR图像对应的第二MR设备是否为同一MR设备。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一获取模块,用于获取第一图像和第二图像;第一确定模块,用于确定第一图像与第二图像的差异部分;第一提取模块,用于提取差异部分对应的差异特征;第二确定模块,用于基于差异特征,确定第一图像与第二图像之间的相似性。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第二获取模块,用于获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;训练模块,用于采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第三获取模块,用于获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;第三确定模块,用于确定第一图像与第二图像的差异部分;第二提取模块,用于提取差异部分对应的差异特征;第四确定模块,用于基于差异特征,确定第一图像与第二图像之间的相似性;第五确定模块,用于基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
根据本发明实施例的又一方面,还提供了一种图像处理装置,包括:第四获取模块,用于获取第一虚拟现实VR图像和第二VR图像;第六确定模块,用于确定所述第一VR图像与所述第二VR图像的差异部分;第三提取模块,用于提取所述差异部分对应的差异特征;第七确定模块,用于基于所述差异特征,确定所述第一VR图像与所述第二VR图像之间的相似性,并基于所述相似性确定所述第一VR图像对应的第一VR设备与所述第二VR图像对应的第二VR设备是否为同一VR设备。
根据本发明实施例的又一方面,还提供了一种图像处理装置,包括:第五获取模块,用于获取第一增强现实AR图像和第二AR图像;第八确定模块,用于确定所述第一AR图像与所述第二AR图像的差异部分;第四提取模块,用于提取所述差异部分对应的差异特征;第九确定模块,用于基于所述差异特征,确定所述第一AR图像与所述第二AR图像之间的相似性,并基于所述相似性确定所述第一AR图像对应的第一AR设备与所述第二AR图像对应的第二AR设备是否为同一AR设备。
根据本发明实施例的又一方面,还提供了一种图像处理装置,包括:第六获取模块,用于获取第一混合现实MR图像和第二MR图像;第十确定模块,用于确定所述第一MR图像与所述第二MR图像的差异部分;第五提取模块,用于提取所述差异部分对应的差异特征;第十一确定模块,用于基于所述差异特征,确定所述第一MR图像与所述第二MR图像之间的相似性,并基于所述相似性确定所述第一MR图像对应的第一MR设备与所述第二MR图像对应的第二MR设备是否为同一MR设备。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,包括:存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行任意一项上述的图像处理方法。
根据本发明实施例的另一方面,还提供了一种计算机设备,包括:存储器和处理器,存储器存储有计算机程序;处理器,用于执行存储器中存储的计算机程序,计算机程序运行时使得处理器执行任意一项上述的图像处理方法。
在本发明实施例中,通过从不同图像差异部分提取的差异特征确定不同图像之间的相似性,达到了侧重识别图像中具有区别意义部分的目的,从而实现了高效、准确地识别判断不同图像中特定主体时候相同的技术效果,进而解决了在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图;
图2是根据本发明实施例1的图像处理方法一的流程图;
图3是根据本发明实施例1的图像处理方法二的流程图;
图4是根据本发明实施例1的图像处理方法三的流程图;
图5是根据本发明实施例1的图像处理方法四的流程图;
图6是根据本发明实施例1的图像处理方法五的流程图;
图7是根据本发明实施例1的图像处理方法六的流程图;
图8是本发明可选实施方式提供的图像处理方法的示意图;
图9是根据本发明实施例2提供的图像处理装置一的结构框图;
图10是根据本发明实施例2提供的图像处理装置二的结构框图;
图11是根据本发明实施例2提供的图像处理装置三的结构框图;
图12是根据本发明实施例2提供的图像处理装置四的结构框图;
图13是根据本发明实施例2提供的图像处理装置五的结构框图;
图14是根据本发明实施例2提供的图像处理装置六的结构框图;
图15是根据本发明实施例3提供的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
特征向量,图片通过视觉算法计算得到的特征向量或文本通过自然语言处理算法得到的特征向量。
向量距离,指欧式距离或余弦距离,一般欧式距离越小或余弦距离越大,两个样本越相关或越相似。
车辆重识别,也称车辆再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定车辆的技术。
孪生神经网络,一类神经网络结构,输入图片对,输出[0,1]匹配概率,判定输入是否属于同一类。
线性整流函数(Linear rectification function,简称ReLu),又称修正线性单元,是一种人工神经网络中常用的激活函数,通常指代以斜坡函数及其变种为代表的非线性函数。PReLu为ReLu的变种,即带参数的ReLu。
TopK,一种函数,用于在无序的数据中找到排序前K的数据。
虚拟现实(Virtual Reality,简称VR),VR也可以叫做人工环境,就是说用户带上VR眼镜所看到的景象全部是靠这些设备产生的,是虚拟的,假的。它通过VR相机采集、景象制作设备、计算机软件、VR眼镜等成像设备联合提供视觉、听觉、触觉等感官的模拟,让用户进入这个“虚拟”的世界中,如同身临其境一样。最典型的例子是VR游戏或VR直播,比如一场VR演唱会直播,你自己压根不在现场,但通过VR,你能把你“虚拟”到演唱会现场,这就是VR。
AR(Augmented Reality增强现实):一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。用户带上AR眼镜后,看到的全是真实的场景,它把这些智能计算机设备所产生的“增强”的虚拟数字层套在真实世界之上,让用户看到比以往肉眼看到的世界更“增强”。典型的例子是,看用户面前的一座商场,肉眼直接看它就是一个建筑,但是戴上AR眼镜后,用户能透过砖瓦看到商场中目前的人流、打折信息,还有用户上次去买东西缺货的那件商品已经上架了。注意,前提是用户本人就在商场前面,这是真实的商场,而不是虚拟的商场。
MR(mixed Reality混合现实):混合现实其实就是AR和VR的结合,取二者所长弃二者所短。还是那个例子,用户正站在这座商场前面,戴上MR设备,你看到了所有打折信息,同时你也可以看这座商场从规划图到修建完毕的整个过程,就如同用户参与了修建一样。
实施例1
根据本发明实施例,还提供了一种图像处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备)可以包括一个或多个处理器(图中采用102a、102b,……,102n来示出,处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的图像处理方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的图像处理方法一。图2是根据本发明实施例1的图像处理方法一的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取第一图像和第二图像;
步骤S204,确定第一图像与第二图像的差异部分;
步骤S206,提取差异部分对应的差异特征;
步骤S208,基于差异特征,确定第一图像与第二图像之间的相似性。
通过上述步骤,确定第一图像与第二图像的差异部分,并提取差异部分对应的差异特征,可以侧重于识别和处理第一图像和第二图像之间不同的部分,而不是对图像整体无差别地统一处理,而基于上述提取的差异特征来确定第一图像与第二图像之间的相似性,一方面可以免去对第一图像和第二图像之间相同部分的相似性判断,减少不必要的操作,以提高识别判断的效率,另一方面,还可以针对第一图像和第二图像之间的差异部分进行进一步的高精度识别,以提高识别判断的准确率,进而解决了相关技术中,在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。
需要说明的是,在确定第一图像与第二图像之间的相似性之前,可以逐步地进行多次步骤S204和步骤S206,通过多次重复上述两个步骤,可以根据不同的识别需要或判断标准达到不同的精度,以获得精度更高的差异特征和图像之间的相似性,进一步提高图像识别判断结果的准确率和可靠性。例如,在第一次确定第一图像与第二图像的第一差异部分后,针对该第一差异部分再进行特征提取,确定该第一差异部分所包括的存在较大差异的第二差异部分,之后,对该第二差异部分再次进行特征提取,确定该第二差异部分所包括的存在较大差异的第三差异部分,采用上述处理方式,随着特征提取网络层次的增多,确定第一图像与第二图像之间的相似性也更为准确。
需要说明的是,虽然本发明实施例中仅提到第一图像和第二图像,但在实际应用中,可以通过对视频提取关键帧的方式获取视频中的图像,通过对视频中图像的识别,进而完成对视频的识别判断。类似地,本发明实施例中的方法也可应用于3D识别的场景,通过对获取的3D建模场景或其它3D图像执行上述方法中的步骤,完成3D图像的识别。
作为一种可选的实施例,提取差异部分对应的差异特征时,可以采用以下方式:提取差异部分中第一图像中相对于第二图像的第一区分性特征,以及差异部分中第二图像相对于第一图像的第二区分性特征;基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。通过分别提取第一图像和第二图像分别相对于对方的区分性特征,可以确定能用于区分第一图像和第二图像的特征信息,再基于区分性特征确定差异部分对应的差异特征,可以针对第一图像和第二图像的差异部分确定后续识别或处理时需要侧重的范围,即进一步地强调两个图像中的差异特征。通过上述第一图像中相对于第二图像的第一区分性特征,以及第二图像相对于第一图像的第二区分性特征,以及基于得到的该第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。采用第一图像中相对于第二图像的第一区分性特征,以及第二图像相对于第一图像的第二区分性特征,通过两图像之间的相互比较,相对于仅相对于其中一个图像来确定图像之间的差异特征而言,由于两图像均被作为了比较主体,因此,能够更为全面,准确地确定差异特征。
作为一种可选的实施例,提取差异部分中第一图像中相对于第二图像的第一区分性特征时,可以采用以下方式:提取差异部分中存在于第一图像中,但未存在于第二图像中的第一特征;对第一特征进行处理,得到第一区分性特征;提取差异部分中第二图像中相对于第一图像的第二区分性特征时,可以采用以下方式:提取差异部分中存在于第二图像中,但未存在于第一图像中的第二特征;对第二特征进行处理,得到第二区分性特征。通过将第一图像和第二图像各自独有的特征信息分别确定为第一区分性特征和第二区分性特征,可以在确定了第一图像和第二图像的差异部分的基础上,进一步地强调第一图像和第二图像的差异特征,从而在后续识别和处理时可以更加侧重于第一图像和第二图像的差异部分。需要说明的是,仅依据是否存在于第一图像,未存在于第二图像,以及存在于第二图像,而未存在于第一图像的方式来确定上述第一区分性特征,以及第二区分性特征,上述处理仅为确定第一区分性特征和第二区分性特征的一种方式。其中,对于特征存在于图像中,可以是完全相同的特征存在于第一图像和第二图像,也可以是例如,对于一些等同特征或者特征的变型存在于第一图像和第二图像中。
作为一种可选的实施例,对第一特征进行处理,得到第一区分性特征,可以采用以下方式:确定第一特征对应的第一区分部位,以及确定第一区分部位周围预定范围内的第一周围部分;提取第一周围部分的第一周围特征;对第一特征和第一周围特征进行处理,得到第一区分性特征;对第二特征进行处理,得到第二区分性特征,可以采用以下方式:确定第二特征对应的第二区分部位,以及确定第二区分部位周围预定范围内的第二周围部分;提取第二周围部分的第二周围特征;对第二特征和第二周围特征进行处理,得到第二区分性特征。通过分别确定第一图像和第二图像的区分部位和周围部分,并对周围部分提取周围特征,再将前述第一图像和第二图像各自独有的特征以及周围特征的处理结果确定为区分性特征,可以在强调第一图像和第二图像的差异部分的同时,考虑其各自差异部分周围的特征信息。例如,可以通过采用卷积算法,并在差异部分周围写上非0的方式,确定针对第一图像和第二图像差异部分进行局部运算的范围,同时由于差异部分周围的特征信息也在局部运算的范围内,因此还可以避免因过于强调图像差异而导致差异部分周围的特征信息丢失的问题,进一步地提高图像识别判断的精度和准确率。
需要说明的是,上述采用卷积方式对差异部分进行局部运算仅为方案过程实现的一种,其它可用于进行特征信息局部运算的方法也属于本发明实施例的内容,在此不再一一举例说明。
作为一种可选的实施例,对第一特征和第一周围特征进行处理,得到第一区分性特征,可以采用以下方式:对第一特征和第一周围特征进行放大处理,得到第一区分性特征。对第二特征和第二周围特征进行处理,得到第二区分性特征,可以采用以下方式:对第二特征和第二周围特征进行放大处理,得到第二区分性特征。通过对特征和周围特征进行放大处理,可以进一步地突出第一图像和第二图像中的差异信息。例如,可以通过将区分部位及其周围部分的卷积结果与图像的特征向量相乘,以此在原本图像的特征表示的基础上放大第一图像和第二图像的差异信息,可以达到在针对第一图像和第二图像的差异特征进行高精度的相似度判断的同时,既减少第一图像和第二图像相同部分的相似度判断的计算量,又保留第一图像和第二图像原本的特征信息的技术效果。
需要说明的是,上述将区分部位和周围部分的卷积结果与原本图像的特征向量相乘仅为在原基础上突出第一图像和第二图像差异信息的实现方式之一,其它可以起到相同效果的实现方式均属于本发明实施例的内容,在此不再一一举例说明。
作为一种可选的实施例,基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征,可以采用以下方式:对第一区分性特征与第二区分性特征执行预定操作,得到差异部分对应的差异特征。由于第一区分性特征和第二区分性特征分别为第一图像和第二图像的特征针对彼此之间的差异部分经过一系列的处理后得到的结果,可以非常准确地表征第一图像和第二图像针对彼此之间差异的特征信息,在此基础之上,对区分性特征执行预定操作,就可以高效、准确地得到差异部分对应的差异特征。其中,预定操作可以包括多种,例如,可以取第一区分性特征和第二区分性特征差的绝对值,如果该绝对值为0或在预定阈值以下,就可以认为第一图像和第二图像中的特定主体为同一个;又例如,可以取第一区分性特征和第二区分性特征之和的绝对值,如果该绝对值为0或在预定阈值以下,就可以认为第一图像和第二图像中的特定主体为同一个;也可以直接计算第一区分性特征和第二区分性特征的相似度,如果相似度高于预定阈值,则可以认为第一图像和第二图像中的特定主体为同一个。
需要说明的是,不同的预定操作可以有不同的操作结果,可以对应不同的操作效果,上述取差的绝对值或计算相似度只作为预定操作的可选方式,作举例说明用,其它针对第一区分性特征和第二区分性特征的操作均属于本发明实施例的内容,在此不再一一举例说明。
作为一种可选的实施例,确定第一图像与第二图像的差异部分,可以采用以下方式:将第一图像和第二图像进行对齐操作,得到对齐结果;基于对齐结果,确定第一图像与第二图像的差异部分。通过先对齐第一图像和第二图像,可以快速确定两者之间的差异部分,便于后续针对差异部分进行进一步的高精度的比对,减少对第一图像和第二图像在相同或高相似度部分的比对计算,可以提高识别判断过程的效率。
需要说明的是,上述的对齐操作可以有多种实现方式,例如,可以通过确定图像中特定主体的边缘对齐,也可以通过一些关键点对齐,还可以将边缘和关键点两种方式结合用来对齐等等。根据待识别主体的不同,对齐操作也可以做出相应的调整,例如,待识别主体为人脸时,可以通过五官的位置和形状,以及脸型等等进行对齐,而待识别主体为人体时,则可以通过身长,比例等等进行对齐。上述的具体对齐方式仅作举例说明用,其它可以用于确定不同图像差异部分的方式均属于本发明实施例中对齐操作的可选方式,在此不再一一举例说明。
作为一种可选的实施例,基于差异特征,确定第一图像与第二图像之间的相似性,可以采用以下方式:基于第一图像的第一图像特征和第二图像的第二图像特征,确定第一相似概率;基于差异特征确定第二相似概率;基于第一相似概率和第二相似概率,确定第一图像与第二图像之间的相似性。由于上述相似性是基于第一相似概率和第二相似概率确定和处理后的结果,即通过基于差异特征确定的第二相似概率结合基于第一图像的第一图像特征和第二图像的第二图像特征确定的第一相似概率,因此,可以更为准确,可靠地确定第一图像和第二图像之间的相似程度。如果第一图像和第二图像在针对彼此差异的部分进行高精度比对后,仍能得到一个高于预定阈值的相似概率,那么就说明可以认为第一图像和第二图像中的待识别主体为同一个,如果第一图像和第二图像最终的相似概率低于预定阈值,就可以在图像的其它部分高度相似或相同的情况下。通过针对差异部分确定的相似概率,结合其它方式确定的相似概率,实现全面高精度比对,解决避免误判的问题,大大地提高了识别判断图像中待识别主体是否相同的结果的准确率和可靠性。
作为一种可选的实施例,在提取差异部分对应的差异特征时,可以对差异部分采用多层次递进的方式,获取多层次的差异信息;对多层次的差异信息进行放大,得到差异部分对应的差异特征。采用上述多层次递进的方式,获取多层次的差异信息时,可以使得差异部分的信息随着层次的增加,能够更为精确,即使得得到的差异信息更为细致,进而使得基于得到的差异化信息确定两图像是否相似的结果也更为准确。
图3是根据本发明实施例1的图像处理方法二的流程图,如图3所示,该方法包括如下步骤:
步骤S302,获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;
步骤S304,采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
通过上述步骤,可以基于图像对及其对应的标识信息,对图像识别模型进行关于图像对之间差异部分的针对性的训练,通过提取差异部分对应的差异特征,并根据差异特征确定样本图像对之间的相似性,可以使得训练得到的图像识别模型更加高效、准确地识别判断图像对的相似性,进而解决相关技术中在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。
图4是根据本发明实施例1的图像处理方法三的流程图,如图4所示,该方法包括如下步骤:
步骤S402,获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;
步骤S404,确定第一图像与第二图像的差异部分;
步骤S406,提取差异部分对应的差异特征;
步骤S408,基于差异特征,确定第一图像与第二图像之间的相似性;
步骤S410,基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
通过上述步骤,确定包括第一车辆的第一图像与包括第二车辆的第二图像的差异部分,并提取差异部分对应的差异特征,可以侧重于识别和处理第一图像中第一车辆和第二图像中第二车辆之间不同的部分,而不是对图像整体无差别地统一处理,而基于上述提取的差异特征来确定第一车辆与第二车辆之间的相似性,一方面可以免去对第一车辆和第二车辆之间相同部分的相似性判断,减少不必要的操作,以提高识别判断的效率,另一方面,还可以针对第一车辆和第二车辆之间的差异部分进行进一步的高精度识别,以提高识别判断的准确率。由于上述相似性是针对第一车辆和第二车辆差异部分经过不断提取、确定、比对和处理后的结果,因此可以非常可靠地用于表征第一车辆和第二车辆之间的相似程度,如果第一车辆和第二车辆在针对彼此差异的部分进行高精度比对后,仍能得到一个高于预定阈值的相似概率,那么就说明可以认为第一车辆和第二车辆为同一车辆,如果第一车辆和第二车辆最终的相似概率低于预定阈值,就可以在图像的其它部分高度相似或相同的情况下,通过针对差异部分的高精度比对避免误判的问题,大大地提高了识别判断图像中车辆是否相同的结果的准确率和可靠性。
图5是根据本发明实施例1的图像处理方法四的流程图,如图5所示,该方法包括如下步骤:
步骤S502,获取第一虚拟现实VR图像和第二VR图像;
步骤S504,确定第一VR图像与第二VR图像的差异部分;
步骤S506,提取差异部分对应的差异特征;
步骤S508,基于差异特征,确定第一VR图像与第二VR图像之间的相似性,并基于相似性确定第一VR图像对应的第一VR设备与第二VR图像对应的第二VR设备是否为同一VR设备。
通过上述步骤,确定第一VR图像与第二VR图像的差异部分,并提取差异部分对应的差异特征,可以侧重于识别和处理第一VR图像和第二VR图像之间不同的部分,而不是对VR图像整体无差别地统一处理,而基于上述提取的差异特征来确定第一VR图像与第二VR图像之间的相似性,一方面可以免去对第一VR图像和第二VR图像之间相同部分的相似性判断,减少不必要的操作,以提高识别判断的效率,另一方面,还可以针对第一VR图像和第二VR图像之间的差异部分进行进一步的高精度识别,以提高针对VR图像识别判断的准确率。另外,在得到第一VR图像与第二VR图像的相似性后,可以基于该相似性确定第一VR图像对应的第一VR设备与第二VR图像对应的第二VR设备是否为同一VR设备,实现对设备的验证。
需要说明的是,在确定第一VR图像与第二VR图像之间的相似性之前,可以逐步地进行多次步骤S504和步骤S506,通过多次重复上述两个步骤,可以根据不同的识别需要或判断标准达到不同的精度,以获得精度更高的差异特征和图像之间的相似性,进一步提高VR图像识别判断结果的准确率和可靠性。
需要说明的是,上述方法可以类似地应用于AR图像,MR图像的处理场景中,通过上述步骤,可以高效,准确地实现确定AR图像,MR图像是否为同一图像,进而高效、准确确定对应的设备是否为同一设备的识别结果。
图6是根据本发明实施例1的图像处理方法五的流程图,如图6所示,该方法包括如下步骤:
步骤S602,获取第一增强现实AR图像和第二AR图像;
步骤S604,确定第一AR图像与第二AR图像的差异部分;
步骤S606,提取差异部分对应的差异特征;
步骤S608,基于差异特征,确定第一AR图像与第二AR图像之间的相似性,并基于相似性确定第一AR图像对应的第一AR设备与第二AR图像对应的第二AR设备是否为同一AR设备。
图7是根据本发明实施例1的图像处理方法六的流程图,如图7所示,该方法包括如下步骤:
步骤S702,获取第一混合现实MR图像和第二MR图像;
步骤S704,确定第一MR图像与第二MR图像的差异部分;
步骤S706,提取差异部分对应的差异特征;
步骤S708,基于差异特征,确定第一MR图像与第二MR图像之间的相似性,并基于相似性确定第一MR图像对应的第一MR设备与第二MR图像对应的第二MR设备是否为同一MR设备。
通过上述步骤,基于第一AR图像与第二AR图像的差异部分对应的差异特征确定第一AR图像与第二AR图像之间的相似性,以及基于第一MR图像与第二MR图像的差异部分对应的差异特征,确定第一MR图像与第二MR图像之间的相似性;进而能够依据第一AR图像与第二AR图像之间的相似性确定第一AR图像对应的第一AR设备与第二AR图像对应的第二AR设备是否为同一AR设备,以及基于第一MR图像与第二MR图像之间的相似性,确定第一MR图像对应的第一MR设备与第二MR图像对应的第二MR设备是否为同一MR设备。采用上述处理,可以高效,准确地实现确定AR图像,MR图像是否为同一图像,进而高效、准确确定对应的设备是否为同一设备的识别结果。
基于上述实施例及可选实施例,提供一种可选实施方式,下面具体说明。
车辆重识别广泛被认为是一个图像检索的子问题。给定一个目标车辆图像,检索跨设备下的该目标车辆图像。旨在弥补固定的摄像头的视觉局限,并可与车辆检测/车辆跟踪技术相结合,可广泛应用于智能视频处理、智能安保等领域。由于不同摄像设备之间的差异,同时车辆兼具刚性和柔性的特性,外观易受穿着、尺度、遮挡、姿态和视角等影响,使得车辆重识别成为计算机视觉领域中一个既具有研究价值同时又挑战性的热门课题。
相关技术中的车辆重识别方案广泛基于神经网络抽取特征向量,使用特征向量进行向量距离计算,以距离远近作为衡量相似度的标准。该类方法属于记忆的方式,存在解决一个更难的图片时表示唯一问题。但在图片对比过程中,不同的比对对象应该关注的信息是不一样的。
相关技术中存在少量设计孪生神经网络进行车辆/行人重识别,但限于结构设计问题,效果也一般。
本发明可选实施方式提供了一种基于多层次视觉比对的孪生神经网络结构,设计了新网络单元差异区块(DiffBlock),并通过多层次(差异性)特征学习和Diffblock结构有效提取了不同粒度的输入图片对的差异特征,实验数据显示在重识别/目标识别场景相对于特征向量比对方式有显著提升。该网络结构促进了目标比对能力的学习,相对于记忆式的特征学习和距离计算,更加鲁棒准确。
图8是本发明可选实施方式提供的图像处理方法的示意图,如图8所示,本发明可选实施方式设计了新的网络结构单元DiffBlock,并将DiffBlock嵌入不同网络深度的特征表示之后,对输入图片对的差异部分不断抽取特征表示,最后差异特征表示进行abs(f1-f2)操作,连接全连接网络输出[0,1]匹配概率。
其中,Diffblock各操作的效果如下:
qi-gi/gi-qi:计算特征差异;
ReLu:找出qi有但gi没有,或gi有但qi没有的区分性信息,可以是ReLu的变种pReLu等等;
conv(卷积):综合不同通道的特征差异信息将区分性部位周围写上非0;
×:将自身区分性信息以及周围信息透出,差异越大部分信息透出量级越大。
本发明可选实施方式通过选取易混淆车辆作为图像输入负样本,同车辆图片对作为正样本,构造训练集,使用梯度下降的方法训练网络。
相对于相关技术中记忆式的神经网络抽取特征,学习车辆的通用表示,该孪生网络结构可以学习车辆比对能力,在真实数据集上效果大幅优于特征表示和距离排序方式。同时,本发明可选实施方式与上述相关技术中的方案可以相结合,且两者组合在精度及效率上效果更好,例如,使用特征网络召回TopK,TopK使用孪生网络进行精细比对。
本发明可选实施方式中设计的新神经网络单元Diffblock可以适应图片对比对的场景,且多层次(差异性)特征学习结合Diffblock结构有效提取了不同粒度的输入图片对的差异特征,同时,由于本发明可选实施方式中比对能力的学习,相对于记忆式的特征学习和距离计算,更加鲁邦准确。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述图像处理方法一的装置,图9是根据本发明实施例2提供的图像处理装置一的结构框图,如图9所示,该装置包括:第一获取模块91,第一确定模块92,第一提取模块93和第二确定模块94,下面对该装置进行说明。
第一获取模块91,用于获取第一图像和第二图像;第一确定模块92,连接至上述第一获取模块91,用于确定第一图像与第二图像的差异部分;第一提取模块93,连接至上述第一确定模块92,用于提取差异部分对应的差异特征;第二确定模块94,连接至上述第一提取模块93,用于基于差异特征,确定第一图像与第二图像之间的相似性。
此处需要说明的是,上述第一获取模块91,第一确定模块92,第一提取模块93和第二确定模块94对应于实施例1中的步骤S202至步骤S208,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图像处理方法二的装置,图10是根据本发明实施例2提供的图像处理装置二的结构框图,如图10所示,该装置包括:第二获取模块101和训练模块102,下面对该装置进行说明。
第二获取模块101,用于获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;训练模块102,连接至上述第二获取模块101,用于采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
此处需要说明的是,上述第二获取模块101和训练模块102对应于实施例1中的步骤S302至步骤S304,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图像处理方法三的装置,图11是根据本发明实施例2提供的图像处理装置三的结构框图,如图11所示,该装置包括:第三获取模块111,第三确定模块112,第二提取模块113,第四确定模块114和第五确定模块115,下面对该装置进行说明。
第三获取模块111,用于获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;第三确定模块112,连接至上述第三获取模块111,用于确定第一图像与第二图像的差异部分;第二提取模块113,连接至上述第三确定模块112,用于提取差异部分对应的差异特征;第四确定模块114,连接至上述第二提取模块113,用于基于差异特征,确定第一图像与第二图像之间的相似性;第五确定模块115,连接至上述第四确定模块114,用于基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
此处需要说明的是,上述第三获取模块111,第三确定模块112,第二提取模块113,第四确定模块114和第五确定模块115对应于实施例1中的步骤S402至步骤S410,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图像处理方法四的装置,图12是根据本发明实施例2提供的图像处理装置四的结构框图,如图12所示,该装置包括:第四获取模块1201,第六确定模块1202,第三提取模块1203和第七确定模块1204,下面对该装置进行说明。
第四获取模块1201,用于获取第一虚拟现实VR图像和第二VR图像;第六确定模块1202,连接至上述第四获取模块1201,用于确定第一VR图像与第二VR图像的差异部分;第三提取模块1203,连接至上述第六确定模块1202,用于提取差异部分对应的差异特征;第七确定模块1204,连接至上述第三提取模块1203,用于基于差异特征,确定第一VR图像与第二VR图像之间的相似性,并基于相似性确定第一VR图像对应的第一VR设备与第二VR图像对应的第二VR设备是否为同一VR设备。
此处需要说明的是,上述第四获取模块1201,第六确定模块1202,第三提取模块1203和第七确定模块1204对应于实施例1中的步骤S502至步骤S508,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图像处理方法五的装置,图13是根据本发明实施例2提供的图像处理装置五的结构框图,如图13所示,该装置包括:第五获取模块1301,第八确定模块1302,第四提取模块1303和第九确定模块1304,下面对该装置进行说明。
第五获取模块1301,用于获取第一增强现实AR图像和第二AR图像;第八确定模块1302,连接至上述第五获取模块1301,用于确定第一AR图像与第二AR图像的差异部分;第四提取模块1303,连接至上述第八确定模块1302,用于提取差异部分对应的差异特征;第九确定模块1304,连接至上述第四提取模块1303,用于基于差异特征,确定第一AR图像与第二AR图像之间的相似性,并基于相似性确定第一AR图像对应的第一AR设备与第二AR图像对应的第二AR设备是否为同一AR设备。
此处需要说明的是,上述第五获取模块1301,第八确定模块1302,第四提取模块1303和第九确定模块1304对应于实施例1中的步骤S602至步骤S608,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图像处理方法六的装置,图14是根据本发明实施例2提供的图像处理装置六的结构框图,如图14所示,该装置包括:第六获取模块1401,第十确定模块1402,第五提取模块1403和第十一确定模块1404,下面对该装置进行说明。
第六获取模块1401,用于获取第一混合现实MR图像和第二MR图像;第十确定模块1402,连接至上述第六获取模块1401,用于确定第一MR图像与第二MR图像的差异部分;连接至上述第十确定模块1402,用于提取差异部分对应的差异特征;第十一确定模块1404,连接至上述第五提取模块1403,用于基于差异特征,确定第一MR图像与第二MR图像之间的相似性,并基于相似性确定第一MR图像对应的第一MR设备与第二MR图像对应的第二MR设备是否为同一MR设备。
此处需要说明的是,上述第六获取模块1401,第十确定模块1402,第五提取模块1403和第十一确定模块1404对应于实施例1中的步骤S702至步骤S708,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:获取第一图像和第二图像;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性。
可选地,图15是根据本发明实施例3的一种计算机终端的结构框图。如图15所示,该计算机终端可以包括:一个或多个(图中仅示出一个)处理器1502、存储器1504等。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的图像处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一图像和第二图像;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性。
可选的,上述处理器还可以执行如下步骤的程序代码:提取差异部分中第一图像中相对于第二图像的第一区分性特征,以及差异部分中第二图像相对于第一图像的第二区分性特征;基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。
可选的,上述处理器还可以执行如下步骤的程序代码:提取差异部分中第一图像中相对于第二图像的第一区分性特征,包括:提取差异部分中存在于第一图像中,但未存在于第二图像中的第一特征;对第一特征进行处理,得到第一区分性特征;提取差异部分中第二图像中相对于第一图像的第二区分性特征,包括:提取差异部分中存在于第二图像中,但未存在于第一图像中的第二特征;对第二特征进行处理,得到第二区分性特征。
可选的,上述处理器还可以执行如下步骤的程序代码:对第一特征进行处理,得到第一区分性特征,包括:确定第一特征对应的第一区分部位,以及确定第一区分部位周围预定范围内的第一周围部分;提取第一周围部分的第一周围特征;对第一特征和第一周围特征进行处理,得到第一区分性特征;对第二特征进行处理,得到第二区分性特征,包括:确定第二特征对应的第二区分部位,以及确定第二区分部位周围预定范围内的第二周围部分;提取第二周围部分的第二周围特征;对第二特征和第二周围特征进行处理,得到第二区分性特征。
可选的,上述处理器还可以执行如下步骤的程序代码:对第一特征和第一周围特征进行处理,得到第一区分性特征,包括:对第一特征和第一周围特征进行放大处理,得到第一区分性特征。对第二特征和第二周围特征进行处理,得到第二区分性特征,包括:对第二特征和第二周围特征进行放大处理,得到第二区分性特征。
可选的,上述处理器还可以执行如下步骤的程序代码:对第一区分性特征与第二区分性特征执行预定操作,得到差异部分对应的差异特征。
可选的,上述处理器还可以执行如下步骤的程序代码:将第一图像和第二图像进行对齐操作,得到对齐结果;基于对齐结果,确定第一图像与第二图像的差异部分。
可选的,上述处理器还可以执行如下步骤的程序代码:基于第一图像的第一图像特征和第二图像的第二图像特征,确定第一相似概率;基于差异特征确定第二相似概率;基于第一相似概率和第二相似概率,确定第一图像与第二图像之间的相似性。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性;基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一AR图像和第二AR图像;确定第一AR图像与第二AR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一AR图像与第二AR图像之间的相似性。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一虚拟现实VR图像和第二VR图像;确定第一VR图像与第二VR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一VR图像与第二VR图像之间的相似性,并基于相似性确定第一VR图像对应的第一VR设备与第二VR图像对应的第二VR设备是否为同一VR设备。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一增强现实AR图像和第二AR图像;确定第一AR图像与第二AR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一AR图像与第二AR图像之间的相似性,并基于相似性确定第一AR图像对应的第一AR设备与第二AR图像对应的第二AR设备是否为同一AR设备。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一混合现实MR图像和第二MR图像;确定第一MR图像与第二MR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一MR图像与第二MR图像之间的相似性,并基于相似性确定第一MR图像对应的第一MR设备与第二MR图像对应的第二MR设备是否为同一MR设备。
采用本发明实施例,提供了一种图像处理方案。通过从不同图像差异部分提取的差异特征确定不同图像之间的相似性,达到了侧重识别图像中具有区别意义部分的目的,从而实现了高效、准确地识别判断不同图像中特定主体时候相同的技术效果,进而解决了在判断不同图像中的特定主体是否相同时识别效率较差,精度不够和准确率不高的技术问题。
本领域普通技术人员可以理解,图15所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图15其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,计算机可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取第一图像和第二图像;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:提取差异部分中第一图像中相对于第二图像的第一区分性特征,以及差异部分中第二图像相对于第一图像的第二区分性特征;基于第一区分性特征和第二区分性特征,确定差异部分对应的差异特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:提取差异部分中第一图像中相对于第二图像的第一区分性特征,包括:提取差异部分中存在于第一图像中,但未存在于第二图像中的第一特征;对第一特征进行处理,得到第一区分性特征;提取差异部分中第二图像中相对于第一图像的第二区分性特征,包括:提取差异部分中存在于第二图像中,但未存在于第一图像中的第二特征;对第二特征进行处理,得到第二区分性特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:对第一特征进行处理,得到第一区分性特征,包括:确定第一特征对应的第一区分部位,以及确定第一区分部位周围预定范围内的第一周围部分;提取第一周围部分的第一周围特征;对第一特征和第一周围特征进行处理,得到第一区分性特征;对第二特征进行处理,得到第二区分性特征,包括:确定第二特征对应的第二区分部位,以及确定第二区分部位周围预定范围内的第二周围部分;提取第二周围部分的第二周围特征;对第二特征和第二周围特征进行处理,得到第二区分性特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:对第一特征和第一周围特征进行处理,得到第一区分性特征,包括:对第一特征和第一周围特征进行放大处理,得到第一区分性特征。对第二特征和第二周围特征进行处理,得到第二区分性特征,包括:对第二特征和第二周围特征进行放大处理,得到第二区分性特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:对第一区分性特征与第二区分性特征执行预定操作,得到差异部分对应的差异特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:将第一图像和第二图像进行对齐操作,得到对齐结果;基于对齐结果,确定第一图像与第二图像的差异部分。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:基于第一图像的第一图像特征和第二图像的第二图像特征,确定第一相似概率;基于差异特征确定第二相似概率;基于第一相似概率和第二相似概率,确定第一图像与第二图像之间的相似性。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取样本训练集合,其中,样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;采用样本训练集合进行机器训练,得到图像识别模型,其中,图像识别模型在训练时提取样本图像对应的差异部分,提取差异部分对应的差异特征,并基于差异特征确定样本图像对之间的相似性,相似性用于表征图像对是否对应于同一目标对象。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取第一图像和第二图像,其中,第一图像包括第一车辆,第二图像包括第二车辆;确定第一图像与第二图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一图像与第二图像之间的相似性;基于相似性,确定第一图像中包括的第一车辆与第二图像中包括的第二车辆是否为同一车辆。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取第一虚拟现实VR图像和第二VR图像;确定第一VR图像与第二VR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一VR图像与第二VR图像之间的相似性,并基于相似性确定第一VR图像对应的第一VR设备与第二VR图像对应的第二VR设备是否为同一VR设备。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取第一增强现实AR图像和第二AR图像;确定第一AR图像与第二AR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一AR图像与第二AR图像之间的相似性,并基于相似性确定第一AR图像对应的第一AR设备与第二AR图像对应的第二AR设备是否为同一AR设备。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取第一混合现实MR图像和第二MR图像;确定第一MR图像与第二MR图像的差异部分;提取差异部分对应的差异特征;基于差异特征,确定第一MR图像与第二MR图像之间的相似性,并基于相似性确定第一MR图像对应的第一MR设备与第二MR图像对应的第二MR设备是否为同一MR设备。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种图像处理方法,其特征在于,包括:
获取第一图像和第二图像;
确定所述第一图像与所述第二图像的差异部分;
提取所述差异部分对应的差异特征;
基于所述差异特征,确定所述第一图像与所述第二图像之间的相似性。
2.根据权利要求1所述的方法,其特征在于,所述提取所述差异部分对应的差异特征,包括:
提取所述差异部分中所述第一图像中相对于所述第二图像的第一区分性特征,以及所述差异部分中所述第二图像相对于所述第一图像的第二区分性特征;
基于所述第一区分性特征和所述第二区分性特征,确定所述差异部分对应的差异特征。
3.根据权利要求2所述的方法,其特征在于,
所述提取所述差异部分中所述第一图像中相对于所述第二图像的第一区分性特征,包括:提取所述差异部分中存在于所述第一图像中,但未存在于所述第二图像中的第一特征;对所述第一特征进行处理,得到所述第一区分性特征;
所述提取所述差异部分中所述第二图像中相对于所述第一图像的第二区分性特征,包括:提取所述差异部分中存在于所述第二图像中,但未存在于所述第一图像中的第二特征;对所述第二特征进行处理,得到所述第二区分性特征。
4.根据权利要求3所述的方法,其特征在于,
所述对所述第一特征进行处理,得到所述第一区分性特征,包括:确定所述第一特征对应的第一区分部位,以及确定所述第一区分部位周围预定范围内的第一周围部分;提取所述第一周围部分的第一周围特征;对所述第一特征和所述第一周围特征进行处理,得到所述第一区分性特征;
所述对所述第二特征进行处理,得到所述第二区分性特征,包括:确定所述第二特征对应的第二区分部位,以及确定所述第二区分部位周围预定范围内的第二周围部分;提取所述第二周围部分的第二周围特征;对所述第二特征和所述第二周围特征进行处理,得到所述第二区分性特征。
5.根据权利要求4所述的方法,其特征在于,
所述对所述第一特征和所述第一周围特征进行处理,得到所述第一区分性特征,包括:对所述第一特征和所述第一周期特征进行放大处理,得到所述第一区分性特征;
所述对所述第二特征和所述第二周围特征进行处理,得到所述第二区分性特征,包括:对所述第二特征和所述第二周围特征进行放大处理,得到所述第二区分性特征。
6.根据权利要求2所述的方法,其特征在于,所述基于所述第一区分性特征和所述第二区分性特征,确定所述差异部分对应的差异特征,包括:
对所述第一区分性特征与所述第二区分性特征执行预定操作,得到所述差异部分对应的差异特征。
7.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像与所述第二图像的差异部分,包括:
将所述第一图像和所述第二图像进行对齐操作,得到对齐结果;
基于所述对齐结果,确定所述第一图像与所述第二图像的所述差异部分。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述基于所述差异特征,确定所述第一图像与所述第二图像之间的相似性,包括:
基于所述第一图像的第一图像特征和所述第二图像的第二图像特征,确定第一相似概率;
基于所述差异特征确定第二相似概率;
基于所述第一相似概率和所述第二相似概率,确定所述第一图像与所述第二图像之间的相似性。
9.根据权利要求8所述的方法,其特征在于,所述提取所述差异部分对应的差异特征包括:
对所述差异部分采用多层次递进的方式,获取多层次的差异信息;
对所述多层次的差异信息进行放大,得到所述差异部分对应的差异特征。
10.一种图像处理方法,其特征在于,包括:
获取样本训练集合,其中,所述样本训练集合包括:图像对,以及标识该图像对是否对应于同一目标对象的标识信息;
采用所述样本训练集合进行机器训练,得到图像识别模型,其中,所述图像识别模型在训练时提取所述样本图像对应的差异部分,提取所述差异部分对应的差异特征,并基于所述差异特征确定所述样本图像对之间的相似性,所述相似性用于表征图像对是否对应于同一目标对象。
11.一种图像处理方法,其特征在于,包括:
获取第一图像和第二图像,其中,所述第一图像包括第一车辆,所述第二图像包括第二车辆;
确定所述第一图像与所述第二图像的差异部分;
提取所述差异部分对应的差异特征;
基于所述差异特征,确定所述第一图像与所述第二图像之间的相似性;
基于所述相似性,确定所述第一图像中包括的所述第一车辆与所述第二图像中包括的所述第二车辆是否为同一车辆。
12.一种图像处理方法,其特征在于,包括:
获取第一虚拟现实VR图像和第二VR图像;
确定所述第一VR图像与所述第二VR图像的差异部分;
提取所述差异部分对应的差异特征;
基于所述差异特征,确定所述第一VR图像与所述第二VR图像之间的相似性,并基于所述相似性确定所述第一VR图像对应的第一VR设备与所述第二VR图像对应的第二VR设备是否为同一VR设备。
13.一种图像处理方法,其特征在于,包括:
获取第一增强现实AR图像和第二AR图像;
确定所述第一AR图像与所述第二AR图像的差异部分;
提取所述差异部分对应的差异特征;
基于所述差异特征,确定所述第一AR图像与所述第二AR图像之间的相似性,并基于所述相似性确定所述第一AR图像对应的第一AR设备与所述第二AR图像对应的第二AR设备是否为同一AR设备。
14.一种图像处理方法,其特征在于,包括:
获取第一混合现实MR图像和第二MR图像;
确定所述第一MR图像与所述第二MR图像的差异部分;
提取所述差异部分对应的差异特征;
基于所述差异特征,确定所述第一MR图像与所述第二MR图像之间的相似性,并基于所述相似性确定所述第一MR图像对应的第一MR设备与所述第二MR图像对应的第二MR设备是否为同一MR设备。
15.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取第一图像和第二图像;
第一确定模块,用于确定所述第一图像与所述第二图像的差异部分;
第一提取模块,用于提取所述差异部分对应的差异特征;
第二确定模块,用于基于所述差异特征,确定所述第一图像与所述第二图像之间的相似性。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至14中任意一项所述的图像处理方法。
17.一种计算机设备,其特征在于,包括:存储器和处理器,
所述存储器存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至14中任意一项所述的图像处理方法。
CN202210116472.8A 2022-02-07 2022-02-07 图像处理方法、装置及计算机可读存储介质 Pending CN114596453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210116472.8A CN114596453A (zh) 2022-02-07 2022-02-07 图像处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210116472.8A CN114596453A (zh) 2022-02-07 2022-02-07 图像处理方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114596453A true CN114596453A (zh) 2022-06-07

Family

ID=81804586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210116472.8A Pending CN114596453A (zh) 2022-02-07 2022-02-07 图像处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114596453A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188822A (zh) * 2023-04-28 2023-05-30 青岛尘元科技信息有限公司 图像相似性判断方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188822A (zh) * 2023-04-28 2023-05-30 青岛尘元科技信息有限公司 图像相似性判断方法、装置、电子设备和存储介质
CN116188822B (zh) * 2023-04-28 2023-08-18 青岛尘元科技信息有限公司 图像相似性判断方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110874594B (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
KR20110064197A (ko) 물체 인식 시스템 및 그 물체 인식 방법
Xiao et al. RGB-‘D’saliency detection with pseudo depth
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN111862205A (zh) 一种视觉定位方法、装置、设备及存储介质
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN110796100A (zh) 步态识别方法、装置、终端及存储装置
CN112052771B (zh) 一种对象重识别方法及装置
CN113515988A (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN104951440B (zh) 一种图像处理方法及电子设备
CN112492383A (zh) 视频帧的生成方法及装置、存储介质、电子设备
CN114743026A (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
CN114596453A (zh) 图像处理方法、装置及计算机可读存储介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN112560554A (zh) 基于唇语的活体检测方法、装置以及存储介质
CN113743160A (zh) 活体检测的方法、装置以及存储介质
CN111126436A (zh) 视觉匹配方法及装置
CN116524606A (zh) 人脸活体识别方法、装置、电子设备及存储介质
CN117689894A (zh) 一种图像处理方法、装置、电子设备及存储介质
Zulkifley Robust single object tracker based on kernelled patch of a fixed RGB camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination