CN110866532A - 对象的匹配方法和装置、存储介质及电子装置 - Google Patents
对象的匹配方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN110866532A CN110866532A CN201911084117.1A CN201911084117A CN110866532A CN 110866532 A CN110866532 A CN 110866532A CN 201911084117 A CN201911084117 A CN 201911084117A CN 110866532 A CN110866532 A CN 110866532A
- Authority
- CN
- China
- Prior art keywords
- matched
- feature
- local
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种对象的匹配方法和装置、存储介质及电子装置。其中,该方法包括:从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。通过本发明,解决了相关技术中的对象匹配方式,由于存在遮挡导致匹配准确率低的问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种对象的匹配方法和装置、存储介质及电子装置。
背景技术
目前,在进行对象匹配时,可以获取已有目标的全身图像及待匹配目标的局部图像,将全身图像与局部图像输入至预先训练得到的局部目标重匹配模型,以使局部目标重匹配模型基于局部图像对全身图像进行仿射变换处理,得到全身图像的仿射图像,并确定仿射图像和局部图像之间的特征距离。基于特征距离判别待匹配目标是否与已有对象匹配。
然而,在对象匹配时,由于存在行人被遮挡(如被物体,行人之间的遮挡),同一行人的特征差异较大,特征对不齐从而导致检索不到同一行人,导致无法准确匹配目标。
因此,相关技术中的对象匹配方式,由于存在遮挡导致匹配准确率低的问题。
发明内容
本申请实施例提供了一种对象的匹配方法和装置、存储介质及电子装置,以至少解决相关技术中的对象匹配方式,由于存在遮挡导致匹配准确率低的技术问题。
根据本发明实施例的一个方面,提供了一种对象的匹配方法,包括:从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
根据本发明实施例的另一方面,还提供了一种对象的匹配装置,包括:第一提取单元,用于从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;确定单元,用于确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;匹配单元,用于根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
根据本发明实施例的又一方面,还提供了一种存储介质,上述存储介质存储有计算机程序,上述计算机程序被设置为运行时执行上述的方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包括存储器、处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的方法。
在本申请实施例中,通过从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配,由于在进行对象匹配时,根据局部部位被遮挡的概率对应于该局部部位的局部区域特征进行加权,降低了遮挡部位的特征对与匹配结果的影响,可以提高匹配的准确度,进而解决了相关技术中的对象匹配方式,由于存在遮挡导致匹配准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本申请实施例的一种对象的匹配方法的终端设备的硬件结构框图;
图2是根据本申请实施例的一种可选的对象的匹配方法的流程示意图;
图3是根据本申请实施例的一种可选的对象的匹配方法的示意图;
图4是根据本申请实施例的另一种可选的对象的匹配方法的流程示意图;
图5是根据本申请实施例的一种可选的对象的匹配装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
根据本申请实施例的一个方面,提供了一种对象的匹配方法。可选地,上述对象的匹配方法可以在终端设备(例如,计算机终端)或者类似的运算装置中执行。以运行在终端设备上为例,图1是根据本申请实施例的一种对象的匹配方法的终端设备的硬件结构框图。如图1所示,终端设备10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端设备的结构造成限定。例如,终端设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的对象的匹配方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端设备10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述终端设备的对象的匹配方法,图2是根据本申请实施例的一种可选的对象的匹配方法的流程示意图,如图2所示,该流程包括如下步骤:
步骤S202,从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;
步骤S204,确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;
步骤S206,根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
通过本实施例,通过从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配,解决了相关技术中的对象匹配方式,由于存在遮挡导致匹配准确率低的技术问题,提高了对象匹配的准确度。
可选地,上述步骤的执行主体可以是终端设备(如,计算机终端)等,但不限于此。
下面结合图2对上述对象的匹配方法进行说明。
在步骤S202中,从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位。
在判别待识别目标(待匹配对象)是否与已有目标(目标对象)匹配时,需要首先获取包含待匹配对象的待匹配图像和包含目标对象的目标图像。待匹配图像和目标图像可以有一个或多个。
作为一种可选的实施方案,在从待匹配图像中提取出待匹配图像的局部区域的局部区域特征之前,可以获取待匹配图像,其中,待匹配图像中包含待匹配对象;通过用于进行图像特征提取的目标网络模型,提取出匹配图像的待匹配图像特征图,其中,待匹配图像特征图中包含第一局部区域特征。
本实施例中所提供的对象的匹配方法可以采用具有卷积神经网络结构,在网络中提取行人图像的中低层语义特征,然后提取对遮挡鲁棒的局部特征,并结合全局特征,学习高层语义特征,并使用自适应近邻的深度度量损失学习特征。
对于待匹配图像,可以首先提取待匹配图像的特征图(特征图像,待匹配图像特征图),提取特征图使用可以是:用于进行图像特征提取的目标网络模型,上述目标网络模型可以是神经网络模型或者改进的神经网络模型。待匹配图像特征图的大小可以为C*H*W,其中,C表示特征图的通道,H表示特征图的高,W表示特征图的宽。
通过本实施例,通过目标网络模型提取出匹配图像的待匹配图像特征图,可以兼容已有的特征提取方式,提高对象匹配方式的兼容性。
在得到待匹配图像的待匹配图像特征图之后,可以进一步获取待匹配图像的局部图像的局部图像特征。
作为一种可选的实施方案,从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征包括:对待匹配图像特征图进行1*1卷积,得到与局部区域对应的局部区域概率图,其中,局部区域概率图用于表示待匹配图像特征图中的各个像素点属于局部区域的概率;对待匹配图像特征图和局部区域概率图进行点乘,得到局部区域特征图;根据局部区域特征图,确定第一局部区域特征。
局部区域可以是预先划分的P个局部区域,根据局部区域的区域参数信息,可以对待匹配图像特征图进行1*1卷积,得到与局部区域对应的局部区域概率图。局部区域概率图可以用于表示待匹配图像特征图中的各个像素点属于局部区域的概率。在局部区域为多个的情况下,不同的局部区域对应的局部区域概率图可以不同。
对于局部区域概率图,可以利用分割图作为监督信号,对局部区域概率图进行监督,使得每张概率图能表示不同的区域。
可以将待匹配图像特征图与各局部区域对应的局部区域特征图进行点乘,可以得到局部区域特征图。在待匹配图像包含多个通道的情况下,局部区域特征图可以包括对应于各个通道的局部区域特征图。根据局部区域特征图,可以确定第一局部区域特征。
通过本实施例,根据各个局部区域的局部区域概率图、以及待匹配图像的待匹配图像特征图确定第一局部区域特征,可以保证局部区域特征确定的准确性和效率。
作为一种可选的实施方案,在局部区域特征图包含多个通道的特征图的情况下,根据局部区域特征图,确定第一局部区域特征包括:对局部区域特征图中不同通道的特征图进行全局池化,得到第一局部区域特征。
对于局部区域特征图包含多个通道的特征图的场景,可以对不同通道的特征图进行全局池化,得到第一局部区域特征。
对于各个局部区域的局部区域特征,可以分别利用图像ID进行监督,使得各个局部特征之间具有较好的区分性。
通过本实施例,通过全局池化的方式确定局部区域的局部区域特征,可以提高局部区域特征表示局部区域的能力,提高特征确定的准确性。
在步骤S204中,确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关。
在得到各个局部区域的局部区域特征之后,可以确定各个局部区域对应的区域权重(得分),区域权重与局部部位被遮挡的概率负相关,区域权重越大,局部部位被遮挡的概率越小,区域权重越小,局部部位被遮挡的概率越大。
可以采用多种方式确定局部区域的区域权重,例如,通过对象识别的方式识别各个对象,根据其他对象与待识别对象的局部部位的位置关系,确定该局部部位被遮挡的概率,其他对象与该局部部位的距离越近,该局部部位被遮挡的概率越大。
作为一种可选的实施方案,确定与局部区域对应的区域权重包括:对局部区域概率图中的各个像素点的值进行求和,得到区域权重。
对于局部区域的局部区域概率图,可以对局部区域概率图中的各个像素点的值进行求和,得到区域权重。局部区域概率图中的各个像素点的值用于表示该像素点属于该局部区域的概率,对各个像素点的值进行求和,可以确定出各个局部区域所包含的像素点的估计值(该局部区域的得分)。
若某个区域的得分越高,表示该区域越重要,该区域对应的特征更具有判别性,反之,该区域局部区域越不重要。同时,若某个局部区域被遮挡,那该区域的得分就会较低,根据该得分能够很好的判断某个局部区域是否被遮挡。
通过本实施例,根据局部区域概率图确定区域权重,确定方式复杂度低,可以提高区域权重确定的准确性。
在步骤S206中,根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
根据目标对象的目标图像特征中与该局部区域对应的第二局部区域特征和第一局部区域特征,可以计算与该局部区域对应的特征相似度;使用区域权重对该特征相似度进行加权,可以得到目标特征相似度(用于表示局部区域的匹配程度)。通过目标特征相似度和相似度阈值,可以确定出目标对象(或,目标图像特征所属的目标图像)与待识别对象(或,待识别图像)是否匹配。
作为一种可选的实施方案,根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配包括:在局部区域有多个的情况下,确定目标对象中与每个局部区域对应的第二局部区域特征;分别确定与每个局部区域对应的第一局部区域特征和第二局部区域特征的特征相似度;使用与每个局部区域对应的区域权重对特征相似度进行加权求和,得到目标特征相似度;在目标特征相似度大于或者等于相似度阈值的情况下,确定待匹配对象为目标对象。
在局部区域有多个的情况下,可以采用前述方式分别计算目标对象和待识别对象的各个局部区域的特征相似度,通过各区域权重进行加权求和,可以得到目标对象与待识别对象整体的特征相似度,进而确定出待匹配对象是否与目标对象匹配。
通过本实施例,在局部区域有多个的情况下,根据区域权重对各个局部区域的特征相似度进行加权求和,可以提高对象匹配的准确性。
下面结合可选示例对上述对象的匹配方法进行说明。可以如图3和图4所示,本示例中的对象的匹配方法可以包括如下步骤:
步骤S402,获取目标图像的图像特征图。
对于获取的目标图像,可以利用深度网络提取出图像特征图(Feature),特征图的大小为C*H*W,其中,C表示特征图的通道,H表示特征图的高,W表示特征图的宽。
步骤S404,获取目标图像的局部区域的局部区域概率图。
将特征图通过1*1的卷积得到局部区域概率图P*H*W,其中,P表示为预先划分的P个局部区域,图3中示出的流程中的P=3,不同颜色代表不同的局部区域。
步骤S406,利用分割图作为监督信号,对局部区域概率图进行监督。
对于步骤S404中获取到的局部区域概率图,可以利用分割图作为监督信号,对局部区域概率图进行监督,使得每张概率图能表示不同的区域。
步骤S408,获取每个局部区域的局部区域特征图。
将特征图与各个局部区域的概率图进行点乘,可以得到每个局部区域的局部区域特征图[F1,F2,F3],并通过全局池化得到目标图像各个局部区域的特征[f1,f2,f3]。
步骤S410,利用图像ID对各个部区域的特征进行监督。
对步骤S408中的特征[f1,f2,f3],可以分别利用图像ID进行监督,使得各个局部特征之间具有较好的区分性。
步骤S412,获取每个局部区域的得分。
将步骤S404中的各局部区域概率图求和,得到局部区域的得分([C1,C2,C3]),该得分可以用于表示局部区域的重要程度。若某个区域的得分越高,表示该区域越重要,该区域对应的特征更具有判别性。反之,该区域越不重要。同时,若某个局部区域被遮挡,那该区域的得分就会较低,根据该得分能够很好的判断某个局部区域是否被遮挡。
在运行测试算法时,由步骤S402、步骤S404、步骤S408、步骤S12得到图像的特征[f1,f2,f3,...,fn],以及对应的得分[C1,C2,C3,...,Cn],并不需要额外的信息,是一种端到端的特征提取方法,复杂度较低。相似度计算公式可以如公式(1)所示:
其中,Dkl表示第k与第l张图像的相似度值,p表示为预先划分的局部区域个数,Ci k表示第k张图的i个区域的得分,Di kl表示第k张图与l张图对应的区域i的相似度值(该相似度值可通过特征向量之间的距离衡量,如特征距离越小越相似)。由于在计算两张图像的相似度时,利用了局部区域的得分c作为权重系数,而该得分c可以表示该目标的局部区域是否被遮挡,如若某个区域被遮挡则在该区域得分c的影响下(得分c会比较小),会使得该区域的相似度在整个目标的相似度值中占有较小的权重,较少受到遮挡区域的影响,所以能有效应对遮挡的情况。
实际使用时,假设一个头部遮挡的图像a与一个完整的图像b计算相似度时,C头 a为一个很小的值或为零,那头部的特征距离对最终的相似度影响较小,图像a与图像b的相似度由完整的上身与下身的特征距离决定,从而能提升行人被遮挡的检索指标。
通过本示例,可以进行端到端的特征提取,不需要额外的辅助信息,实现自动学习各区域权重,复杂度低,能有效解决由于遮挡导致的匹配准确率低的问题。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一方面,还提供了一种对象的匹配装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的一种可选的对象的匹配装置的结构框图,如图5所示,该装置包括:
(1)第一提取单元52,用于从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;
(2)确定单元54,用于确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关;
(3)匹配单元56,用于根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
可选地,在本实施例中,上述装置还包括:
(1)获取单元,用于在从待匹配图像中提取出待匹配图像的局部区域的局部区域特征之前,获取待匹配图像,其中,待匹配图像中包含待匹配对象;
(2)第二提取单元,用于通过用于进行图像特征提取的目标网络模型,提取出匹配图像的待匹配图像特征图,其中,待匹配图像特征图中包含第一局部区域特征。
可选地,在本实施例中,第二提取单元包括:
(1)卷积模块,用于对待匹配图像特征图进行1*1卷积,得到与局部区域对应的局部区域概率图,其中,局部区域概率图用于表示待匹配图像特征图中的各个像素点属于局部区域的概率;
(2)点乘模块,用于对待匹配图像特征图和局部区域概率图进行点乘,得到局部区域特征图;
(3)第一确定模块,用于根据局部区域特征图,确定第一局部区域特征。
可选地,在本实施例中,确定模块包括:
(1)池化子模块,用于在局部区域特征图包含多个通道的特征图的情况下,对局部区域特征图中不同通道的特征图进行全局池化,得到第一局部区域特征。
可选地,在本实施例中,确定单元54包括:
(1)第一求和模块,用于对局部区域概率图中的各个像素点的值进行求和,得到区域权重。
可选地,在本实施例中,匹配单元56包括:
(1)第二确定模块,用于在局部区域有多个的情况下,确定目标对象中与每个局部区域对应的第二局部区域特征;
(2)第三确定模块,用于分别确定与每个局部区域对应的第一局部区域特征和第二局部区域特征的特征相似度;
(3)第二求和模块,用于使用与每个局部区域对应的区域权重对特征相似度进行加权求和,得到目标特征相似度;
(4)第四确定模块,用于在目标特征相似度大于或者等于相似度阈值的情况下,确定待匹配对象为目标对象。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;
S2,确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关
S3,根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,从待匹配图像中提取出待匹配图像的局部区域的第一局部区域特征,其中,局部区域对应于待匹配对象的局部部位;
S2,确定与局部区域对应的区域权重,其中,区域权重与局部部位被遮挡的概率负相关
S3,根据目标对象的目标图像特征、第一局部区域特征和区域权重,对待匹配对象和目标对象进行匹配。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种对象的匹配方法,其特征在于,包括:
从待匹配图像中提取出所述待匹配图像的局部区域的第一局部区域特征,其中,所述局部区域对应于待匹配对象的局部部位;
确定与所述局部区域对应的区域权重,其中,所述区域权重与所述局部部位被遮挡的概率负相关;
根据目标对象的目标图像特征、所述第一局部区域特征和所述区域权重,对所述待匹配对象和所述目标对象进行匹配。
2.根据权利要求1所述的方法,其特征在于,在从所述待匹配图像中提取出所述待匹配图像的所述局部区域的所述局部区域特征之前,所述方法还包括:
获取所述待匹配图像,其中,所述待匹配图像中包含所述待匹配对象;
通过用于进行图像特征提取的目标网络模型,提取出所述匹配图像的待匹配图像特征图,其中,所述待匹配图像特征图中包含所述第一局部区域特征。
3.根据权利要求2所述的方法,其特征在于,从所述待匹配图像中提取出所述待匹配图像的所述局部区域的所述第一局部区域特征包括:
对所述待匹配图像特征图进行1*1卷积,得到与所述局部区域对应的局部区域概率图,其中,所述局部区域概率图用于表示所述待匹配图像特征图中的各个像素点属于所述局部区域的概率;
对所述待匹配图像特征图和所述局部区域概率图进行点乘,得到所述局部区域特征图;
根据所述局部区域特征图,确定所述第一局部区域特征。
4.根据权利要求3所述的方法,其特征在于,在所述局部区域特征图包含多个通道的特征图的情况下,根据所述局部区域特征图,确定所述第一局部区域特征包括:
对所述局部区域特征图中不同通道的特征图进行全局池化,得到所述第一局部区域特征。
5.根据权利要求3所述的方法,其特征在于,确定与所述局部区域对应的所述区域权重包括:
对所述局部区域概率图中的各个像素点的值进行求和,得到所述区域权重。
6.根据权利要求1至5中任一项所述的方法,其特征在于,根据所述目标对象的所述目标图像特征、所述第一局部区域特征和所述区域权重,对所述待匹配对象和所述目标对象进行匹配包括:
在所述局部区域有多个的情况下,确定所述目标对象中与每个所述局部区域对应的第二局部区域特征;
分别确定与每个所述局部区域对应的所述第一局部区域特征和所述第二局部区域特征的特征相似度;
使用与每个所述局部区域对应的所述区域权重对所述特征相似度进行加权求和,得到目标特征相似度;
在所述目标特征相似度大于或者等于相似度阈值的情况下,确定所述待匹配对象为所述目标对象。
7.一种对象的匹配装置,其特征在于,包括:
第一提取单元,用于从待匹配图像中提取出所述待匹配图像的局部区域的第一局部区域特征,其中,所述局部区域对应于待匹配对象的局部部位;
确定单元,用于确定与所述局部区域对应的区域权重,其中,所述区域权重与所述局部部位被遮挡的概率负相关;
匹配单元,用于根据目标对象的目标图像特征、所述第一局部区域特征和所述区域权重,对所述待匹配对象和所述目标对象进行匹配。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
获取单元,用于在从所述待匹配图像中提取出所述待匹配图像的所述局部区域的所述局部区域特征之前,获取所述待匹配图像,其中,所述待匹配图像中包含所述待匹配对象;
第二提取单元,用于通过用于进行图像特征提取的目标网络模型,提取出所述匹配图像的待匹配图像特征图,其中,所述待匹配图像特征图中包含所述第一局部区域特征。
9.根据权利要求8所述的装置,其特征在于,所述第二提取单元包括:
卷积模块,用于对所述待匹配图像特征图进行1*1卷积,得到与所述局部区域对应的局部区域概率图,其中,所述局部区域概率图用于表示所述待匹配图像特征图中的各个像素点属于所述局部区域的概率;
点乘模块,用于对所述待匹配图像特征图和所述局部区域概率图进行点乘,得到所述局部区域特征图;
第一确定模块,用于根据所述局部区域特征图,确定所述第一局部区域特征。
10.根据权利要求9所述的装置,其特征在于,所述确定模块包括:
池化子模块,用于在所述局部区域特征图包含多个通道的特征图的情况下,对所述局部区域特征图中不同通道的特征图进行全局池化,得到所述第一局部区域特征。
11.根据权利要求9所述的装置,其特征在于,所述确定单元包括:
第一求和模块,用于对所述局部区域概率图中的各个像素点的值进行求和,得到所述区域权重。
12.根据权利要求7至11中任一项所述的装置,其特征在于,所述匹配单元包括:
第二确定模块,用于在所述局部区域有多个的情况下,确定所述目标对象中与每个所述局部区域对应的第二局部区域特征;
第三确定模块,用于分别确定与每个所述局部区域对应的所述第一局部区域特征和所述第二局部区域特征的特征相似度;
第二求和模块,用于使用与每个所述局部区域对应的所述区域权重对所述特征相似度进行加权求和,得到目标特征相似度;
第四确定模块,用于在所述目标特征相似度大于或者等于相似度阈值的情况下,确定所述待匹配对象为所述目标对象。
13.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
14.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084117.1A CN110866532B (zh) | 2019-11-07 | 2019-11-07 | 对象的匹配方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084117.1A CN110866532B (zh) | 2019-11-07 | 2019-11-07 | 对象的匹配方法和装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866532A true CN110866532A (zh) | 2020-03-06 |
CN110866532B CN110866532B (zh) | 2022-12-30 |
Family
ID=69653207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911084117.1A Active CN110866532B (zh) | 2019-11-07 | 2019-11-07 | 对象的匹配方法和装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866532B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
CN105426914A (zh) * | 2015-11-19 | 2016-03-23 | 中国人民解放军信息工程大学 | 一种面向位置识别的图像相似度检测方法 |
CN107451156A (zh) * | 2016-05-31 | 2017-12-08 | 杭州华为企业通信技术有限公司 | 一种图像再识别方法及识别装置 |
CN108280451A (zh) * | 2018-01-19 | 2018-07-13 | 北京市商汤科技开发有限公司 | 语义分割及网络训练方法和装置、设备、介质、程序 |
CN108520226A (zh) * | 2018-04-03 | 2018-09-11 | 东北大学 | 一种基于躯体分解和显著性检测的行人重识别方法 |
CN109214366A (zh) * | 2018-10-24 | 2019-01-15 | 北京旷视科技有限公司 | 局部目标重识别方法、装置及系统 |
CN109858308A (zh) * | 2017-11-30 | 2019-06-07 | 株式会社日立制作所 | 视频检索装置、视频检索方法和存储介质 |
CN109960742A (zh) * | 2019-02-18 | 2019-07-02 | 苏州科达科技股份有限公司 | 局部信息的搜索方法及装置 |
CN110223347A (zh) * | 2019-06-11 | 2019-09-10 | 张子頔 | 图像中目标物体的定位方法、电子设备和存储介质 |
-
2019
- 2019-11-07 CN CN201911084117.1A patent/CN110866532B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
CN105426914A (zh) * | 2015-11-19 | 2016-03-23 | 中国人民解放军信息工程大学 | 一种面向位置识别的图像相似度检测方法 |
CN107451156A (zh) * | 2016-05-31 | 2017-12-08 | 杭州华为企业通信技术有限公司 | 一种图像再识别方法及识别装置 |
CN109858308A (zh) * | 2017-11-30 | 2019-06-07 | 株式会社日立制作所 | 视频检索装置、视频检索方法和存储介质 |
CN108280451A (zh) * | 2018-01-19 | 2018-07-13 | 北京市商汤科技开发有限公司 | 语义分割及网络训练方法和装置、设备、介质、程序 |
CN108520226A (zh) * | 2018-04-03 | 2018-09-11 | 东北大学 | 一种基于躯体分解和显著性检测的行人重识别方法 |
CN109214366A (zh) * | 2018-10-24 | 2019-01-15 | 北京旷视科技有限公司 | 局部目标重识别方法、装置及系统 |
CN109960742A (zh) * | 2019-02-18 | 2019-07-02 | 苏州科达科技股份有限公司 | 局部信息的搜索方法及装置 |
CN110223347A (zh) * | 2019-06-11 | 2019-09-10 | 张子頔 | 图像中目标物体的定位方法、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110866532B (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018019194A1 (zh) | 图像识别方法、终端及非易失性存储介质 | |
CN109409377B (zh) | 图像中文字的检测方法及装置 | |
CN106484837A (zh) | 相似视频文件的检测方法和装置 | |
CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN114419570B (zh) | 一种点云数据识别方法、装置、电子设备及存储介质 | |
CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
US20240203097A1 (en) | Method and apparatus for training image processing model, and image classifying method and apparatus | |
CN112115292A (zh) | 图片搜索方法及装置、存储介质、电子装置 | |
CN115512238A (zh) | 病害区域的确定方法、装置、存储介质及电子装置 | |
CN111821693A (zh) | 游戏的透视外挂检测方法、装置、设备及存储介质 | |
CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
CN113627334A (zh) | 对象的行为识别方法及装置 | |
CN112200862B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
CN112241736A (zh) | 一种文本检测的方法及装置 | |
CN110866532B (zh) | 对象的匹配方法和装置、存储介质及电子装置 | |
CN111753775A (zh) | 鱼的生长评估方法、装置、设备及存储介质 | |
CN113255766B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN113469130A (zh) | 一种遮挡目标检测方法、装置、存储介质及电子装置 | |
CN113537249A (zh) | 图像的确定方法、装置、存储介质及电子装置 | |
CN111832559B (zh) | 目标检测方法及装置、存储介质、电子装置 | |
CN112183540A (zh) | 标签参数的提取方法和装置、存储介质、电子装置 | |
CN111898467B (zh) | 属性识别方法及装置、存储介质、电子装置 | |
CN111625672B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111898462B (zh) | 对象属性的处理方法、装置、存储介质以及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |