CN113657167A - 图像重识别方法、设备、电子装置和存储介质 - Google Patents
图像重识别方法、设备、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113657167A CN113657167A CN202110812710.4A CN202110812710A CN113657167A CN 113657167 A CN113657167 A CN 113657167A CN 202110812710 A CN202110812710 A CN 202110812710A CN 113657167 A CN113657167 A CN 113657167A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- pooling
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 289
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims description 118
- 238000004364 calculation method Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 238000003062 neural network model Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 235000019580 granularity Nutrition 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 235000019587 texture Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像重识别方法、设备、电子装置和存储介质,其中,该图像重识别方法包括:对待处理图像包含的待处理目标进行特征提取,获取待处理目标的特征图像,然后基于多个不同尺寸的池化核,对特征图像进行池化,获取待处理图像的图像特征;在确定参考图像的图像特征之后,根据待处理图像的图像特征和参考图像的图像特征之间的相似度,确定待处理图像包含的待处理目标和参考图像包含的参考目标是否一致。通过本申请,解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,提高了图像中目标重识别的准确率。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及图像重识别方法、设备、电子装置和存储介质。
背景技术
重识别(reidentification,简称为ReID)是判断不同拍摄设备下记录的目标是否为同一目标的问题。具体来说,重识别利用深度神经网络,包括卷积、池化等操作,提取抓拍图像的特征向量,然后根据特征向量之间相似性判定是否为同一目标。但在实际场景中,由于场景多样,导致抓拍的目标图像存在光照变化、角度变化,目标相互遮挡等问题,甚至目标图像中存在衣着极其相似的目标,进而影响深度神经网络提取的特征向量的准确度,造成目标之间的错误匹配。
在相关技术中,使用全局特征和局部特征的结合来提高特征识别的准确度,但是不同识别图像中目标可能存在远景、中景和近景的差别,所以在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低。
目前针对相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像重识别方法、设备、电子装置和存储介质,以至少解决相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题。
第一方面,本申请实施例提供了一种图像重识别方法,包括:
对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像;基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征;
确定参考图像的图像特征;
根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
在其中一些实施例中,所述基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征包括:
基于多个不同尺寸的全局池化核,将所述特征图像进行全局池化,得到多个全局池化特征;
基于多个不同尺寸的局部池化核,将所述特征图像进行局部池化,得到多个局部池化特征;
多个所述全局池化特征与多个所述局部池化特征构成所述待处理图像的图像特征。
在其中一些实施例中,所述基于多个不同尺寸的全局池化核,将所述特征图像进行全局池化,得到多个全局池化特征包括:
根据不同的全局卷积核对所述待处理图像进行卷积计算,得到多个卷积图像,对多个卷积图像进行分组得到多个卷积图像组;
对各个卷积图像组以对应的全局池化核进行池化,得到多个全局池化特征。
在其中一些实施例中,所述基于多个不同尺寸的局部池化核,将所述特征图像进行局部池化,得到多个局部池化特征包括:
对所述特征图像进行水平划分,得到多个水平条目组;
对于一个水平条目组,以不同的局部卷积核对所述水平条目组中水平划分后的特征图像进行卷积计算,得到多个卷积图像;
将所述水平条目组的所有卷积图像再次进行分组,得到多个卷积图像组;
对各个卷积图像组,以对应的局部池化核对所述卷积图像组的所有所述卷积图像进行池化,得到多个卷积图像组的局部池化特征;
依次对所有的水平条目组进行池化,得到所有水平条目组的多个局部池化特征。
在其中一些实施例中,所述根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致包括:
将所述待处理图像的多个全局池化特征与多个局部池化特征进行融合,得到所述待处理图像的综合特征;
确定所述参考图像的综合特征;
根据所述待处理图像的综合特征与所述参考图像的综合特征之间的相似度,判断所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
在其中一些实施例中,所述对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像包括:
通过初始特征提取,获取所述待处理图像的初始特征图像,所述初始特征图像包括所述待处理图像中的多个目标;
通过注意力掩模确定多个目标中所述待处理目标的权重,得到所述待处理图像的显著特征图像。
在其中一些实施例中,在所述根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致之前,所述方法还包括:
将多个池化特征拉伸为一维向量。
在其中一些实施例中,在所述对待处理图像包含的待处理目标进行特征提取之前,所述方法包括:训练图像重识别模型以实现所述待处理图像的重识别;所述训练图像重识别模型包括:
分别将第一训练图像和第二训练图像作为训练图像进行特征提取处理,获得所述第一训练图像的图像特征和所述第二训练图像的图像特征;所述特征提取处理包括:对所述训练图像包含的训练目标进行特征提取,获取所述训练目标的特征图像,基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述训练图像的图像特征;
根据所述第一训练图像的图像特征和所述第二训练图像的图像特征之间的相似度调整所述图像重识别模型的参数,直到所述图像重识别模型的损失值小于或者等于预设损失阈值。
第二方面,本申请实施例提供了一种图像重识别设备,所述设备包括提取模块、确定模块和判断模块:
所述提取模块,用于对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像;基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征;
所述确定模块,用于确定参考图像的图像特征;
所述判断模块,用于根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像重识别方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的图像重识别方法。
相比于相关技术,本申请实施例提供的图像重识别方法,通过对待处理图像包含的待处理目标进行特征提取,获取待处理目标的特征图像,然后基于多个不同尺寸的池化核,对特征图像进行池化,获取待处理图像的图像特征;在确定参考图像的图像特征之后,根据待处理图像的图像特征和参考图像的图像特征之间的相似度,确定待处理图像包含的待处理目标和参考图像包含的参考目标是否一致,解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,提高了图像中目标重识别的准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的图像重识别方法的流程图;
图2是根据本申请实施例的获取图像特征的方法的流程图;
图3是根据本申请实施例的局部池化特征提取方法的流程图;
图4是根据本申请实施例的分组池化模型的架构示意图;
图5是根据本申请实施例的特征图像的获取方法的流程图;
图6是根据本申请实施例的图像重识别的神经网络模型的训练方法的流程图;
图7是根据本申请优选实施例的图像重识别模型的架构示意图;
图8是根据本申请优选实施例的图像重识别模型的训练方法的流程图;
图9是根据本申请优选实施例的图像重识别方法的流程图;
图10是本申请实施例的图像重识别方法的终端的硬件结构框图;
图11是根据本申请实施例的图像重识别设备的结构框图;
图12是根据本申请实施例的电子装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请提供的图像重识别方法,可以应用于多种场景下,例如,对视频流或者大量图片中的目标机动车、非机动车、人脸或者特定建筑物的重识别。进图像重识别处理的过程可以在具有计算能力的终端完成,也可以在服务器中进行。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例提供了一种图像重识别方法。图1是根据本申请实施例的图像重识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S110,对待处理图像包含的待处理目标进行特征提取,获取待处理目标的特征图像,基于多个不同尺寸的池化核,对特征图像进行池化,获取待处理图像的图像特征。
本实施例中对图像进行重识别,待处理图像可以来源于各类成像设备,例如相机抓拍、监控设备中监控视频的图像帧等等。待处理图像中的待处理目标为需要进行重识别的目标,其类别可以根据需求灵活调整,例如,对待处理图像中的机动车、非机动车、行人或者待处理图像中的建筑物等目标进行重识别。
在确定待处理目标的类别之后,则可以通过神经网络模型对待处理图像进行特征提取,以获取待处理目标的特征图像。其中,特征提取包括对待处理图像中的边缘、角、脊等区域进行基于颜色、纹理和形状的特征识别和抽取,最后得到和待处理目标相关的特征,构成特征图像。常用的特征提取算法例如局部二值模式(Local Binary Patterns,简称为LBP)、方向梯度直方图(Histogram of Oriented Gradient,简称为HOG)、尺度不变特征变换(Scale-invariant feature transform,简称为SIFT)算法等等。
本实施例中,在得到特征图像之后,需要对特征图像进行池化。其中,池化为对特征图像中的信息进行抽象以降低信息计算量的过程,池化可以在保证特征的平移不变形的情况下,增大感受野,并降低对特征图像的优化难度,减少计算参数,池化核为池化计算过程的过滤器。具体地,池化方式包括平均池化、最大池化等等。
本实施例中采用不同尺寸的池化核来实现池化过程,池化核的大小可以根据特征图像的尺寸确定,池化核的数量可以根据需求进行设计,由于池化核的大小不同,所以对于特征图像中的信息抽取的结果也不同,具体地,尺寸较小的池化核能够抽取到更细微的局部特征,尺寸较大的池化核可以从待处理图像的整体上进行特征抽取。所以本申请中基于多个不同尺寸的池化核,可以得到多个不同尺度上的多粒度池化特征,进一步地,在所有池化核的尺寸均不相同的情况下,抽取后得到的池化特征也不相同,即每个池化核具有对应的池化特征。通过尺寸不同的池化核抽取到的所有的池化特征共同构成待处理图像的图像特征,其中,池化特征与池化核对应。
步骤S120,确定参考图像的图像特征。
本实施例中,需要对待处理图像中的待处理目标和参考图像中的参考目标进行重识别。
在参考图像来源于识别库的情况下,可以直接从识别库中获取到与参考图像对应的图像特征,该图像特征可以为预先提取的,具体的提取过程可以为,对参考图像包含的参考目标进行特征提取,获取参考目标的特征图像,基于多个不同尺寸的池化核,对参考目标的特征图像进行池化,获取参考图像的图像特征。
在参考图像同样来源于相机抓拍或者视频中的图像帧的情况下,可以在获取到参考图像之后,根据上述的提取过程获取参考图像的图像特征。
步骤S130,根据待处理图像的图像特征和参考图像的图像特征之间的相似度,确定待处理图像包含的待处理目标和参考图像包含的参考目标是否一致。
其中,待处理图像的图像特征与参考图像的图像特征之间的相似度越高,说明待处理目标与参考目标为同一目标的可能性越大。本实施例中,可以设置相似度阈值,在待处理图像的图像特征和参考图像的图像特征之间的相似度大于或者等于该相似度阈值的情况下,认为待处理目标和参考目标是同一个目标。例如,在对非机动车进行重识别的情况下,若待处理图像的图像特征和参考图像的图像特征之间的相似度大于相似度阈值,则认为待处理图像中的非机动车和参考图像中的非机动车是同一个非机动车。
通过上述步骤S110至步骤S130,本实施例在得到特征图像之后,基于不同尺寸的池化核对特征图像进行池化,以得到不同尺度上的多粒度的图像特征。由于抽取了不同尺度的图像特征,所以在对待处理图像的图像特征和参考图像的图像特征进行对比时,可以从多个尺度进行相似度计算,因而,即使待处理图像中的待处理目标和参考图像中的参考目标存在远景、中景或者近景等尺度不同的差别,由于获取到了不同尺度的图像特征,也可以在不同尺度上进行对比,所以本申请中的图像重识别方法解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,消除了待处理图像中待处理目标与参考图像中参考目标尺度不一致的影响,提高了图像中目标重识别的准确率。
在其中一些实施例中,图2是根据本申请实施例的获取图像特征的方法的流程图,如图2所示,该方法包括如下步骤:
步骤S210,基于多个不同尺寸的全局池化核,将特征图像进行全局池化,得到多个全局池化特征;
步骤S220,基于多个不同尺寸的局部池化核,将特征图像进行局部池化,得到多个局部池化特征;
步骤S230,多个全局池化特征与多个局部池化特征构成待处理图像的图像特征。
本实施例中,在将待处理图像和/或参考图像作为重识别图像进行图像特征提取时,还设置了全局池化核和局部池化核,且全局池化核和局部池化核均由多个不同尺寸的池化核构成,其中,全局池化核用于对重识别图像整体进行池化,局部池化核用于对重识别图像的部分进行池化,可选地,每个局部池化核对应重识别图像的一个部分并对该部分进行局部池化,所有的局部池化核对应的重识别图像的不同部分构成完整的重识别图像。本实施例中不对各个全局池化核和局部池化核的尺寸进行限制,所以全局池化核的尺寸可以和局部池化核的尺寸不同,另一方面,在特征图像的尺寸允许的情况下,各个全局池化核的尺寸和各个局部池化核的尺寸也可以相同。
通过上述步骤S210至步骤S230,本实施例在多个不同尺寸的池化核的基础上,设置了全局池化核和局部池化核,对应的,可以获取到全局池化特征和局部池化特征,全局池化特征和局部池化特征是表征待处理目标或者参考目标的不同粒度的方式,因此本实施例中的方法可以主动关注粒度不同的细节特征,提高待处理目标与参考目标匹配准确率。
需要说明的是,对重识别图像的划分,可以为水平划分,即得到从上到下的各个局部图像,可以为竖直划分,得到从左到右的各个局部图像,还可以十字划分,得到左上、右上、左下、右下的各个局部图像,然后对划分后得到的各个局部,分别采用对应的局部池化核进行池化计算。
在其中一些实施例中,对特征图像进行全局池化的过程为:根据不同的全局卷积核对待处理图像进行卷积计算,得到多个卷积图像,对多个卷积图像进行分组得到多个卷积图像组;对各个卷积图像组以对应的全局池化核进行池化,得到多个全局池化特征。
具体地,以待处理图像为例,在得到待处理图像的特征图像的过程中,需要通过卷积运算以获取需要关注的待处理目标的特征,其中,卷积为通过运算的结果判定该待处理图像的某个区域是否符合某种预设特征,该预设特征由卷积核确定。在通过多个卷积核进行计算的过程中,会得到多个卷积图像,为了不对卷积图像进行冗余计算,本实施例中将多个卷积图像进行分组,然后每个卷积图像组对应一个全局池化核进行池化计算。例如,可以设置全局池化核的尺寸分别为2×2、4×4、6×6、8×8,在卷积图像共有512个的情况下,可以将512个卷积图像均分为4组,第一组以2×2的全局池化核进行池化,第二组以4×4的全局池化核进行池化,第三组以6×6的全局池化核进行池化,第四组以8×8的全局池化核进行池化,最后相应得到多粒度的全局池化特征。
本实施例中,通过将卷积图像进行分组,可以有效降低池化过程的计算量,提高池化计算效率。进一步地,由于经过卷积计算得到的特征图像中存在较多冗余特征,所以在分组后的基础上基于尺寸不同的全局池化核进行池化计算,可以由粗至细关注待处理图像的多个粒度的特征,提高特征的鲁棒性。
在其他实施例中,若需要对参考图像的特征图像进行全局池化特征的提取,其提取过程与对待处理图像的特征图像进行全局池化特征提取的过程类似,不再赘述。
在其中一些实施例中,以待处理图像为例,图3是根据本申请实施例的局部池化特征提取方法的流程图,如图3所示,该方法包括如下步骤:
步骤S310,对特征图像进行水平划分,得到多个水平条目组。
为了实现局部池化过程,本实施例中需要对每个卷积图像进行水平划分,优选地,为了简化操作,可以直接采用从上到下均匀水平划分的方式得到水平条目。
步骤S320,对于一个水平条目组,以不同的局部卷积核对水平条目组中水平划分后的特征图像进行卷积计算,得到多个卷积图像。
同样的,为了获取需要关注的待处理目标的池化特征,通过卷积运算实现特征提取,本实施例中的多个卷积图像是根据不同的卷积核对待处理图像进行卷积计算得到的,每个水平条目组包括多个卷积图像。
步骤S330,将水平条目组的所有卷积图像再次进行分组,得到多个卷积图像组。
步骤S340,对各个卷积图像组,以对应的局部池化核对卷积图像组的所有卷积图像进行池化,得到多个卷积图像组的局部池化特征。
对于一个卷积图像组,选取一个局部池化核对其进行局部池化,具体为,通过该局部池化核对该卷积图像组中的每个卷积图像都进行局部池化。
对于多个卷积图像组,分别用不同尺寸的局部池化核对卷积图像组中的卷积图像进行池化,得到多个局部池化特征,其中,卷积图像组与局部池化核对应。
步骤S350,依次对所有的水平条目组进行池化,得到所有水平条目组的多个局部池化特征。
通过上述步骤S310至步骤S350,本实施例结合局部特征使得重识别的过程主动关注待处理目标的细节特征,进而正确匹配待处理目标,尤其是对于只有局部细节不同的相似目标,可以进一步提高识别的准确度。所以本实施例中的方法不仅可以关注待处理图像的局部特征,还可以进一步关注局部特征的多个粒度的特征,提高图像重识别的准确度。
在其他实施例中,若需要对参考图像的特征图像进行局部池化特征的提取,其提取过程与对待处理图像的特征图像进行局部池化特征提取的过程类似,不再赘述。
图4是根据本申请实施例的分组池化模型的架构示意图,如图4所示,该分组池化模型为分组空间金字塔池化(Group Spatial Pyramid Pooling,简称为GSPP)结构,以一张待处理图像为例,1×128×16×8表示该待处理图像的特征图像,其中,1为待处理图像的个数,128为待处理图像经卷积计算后的通道数,16为特征图像的高(high),以h表示,8为特征图像的宽(width),以w表示。本实施例根据卷积后的通道数进行分组,得到4个32×16×8的卷积图像组,对每个卷积图像组采用一个全局池化核或者局部池化核进行池化计算,例如,可以设置池化核的尺寸分别为2×2、4×4、6×6、8×8。本实施例中优选最大池化(Max)的方式进行池化计算,池化计算后,得到对应的池化特征,该池化特征可以为全局池化特征也可以为局部池化特征,与具体的池化核的类型对应,给池化核的类型为全局池化核或者局部池化核。由于每个卷积图像组包括多个卷积图像,所以对应得到多个池化特征,本实施例中需要将多个池化特征进行扁平化(flatten),获得一维向量,所以每个卷积图像组对应一个一维向量,如图4中的1024×1、256×1、64×1、64×1,进一步地,再将4个一维向量融合(concat)为一个一维向量,以实现最终的相似度计算,如图4中的1308×1。
在其中一些实施例中,根据待处理图像的图像特征和参考图像的图像特征之间的相似度,确定待处理图像包含的待处理目标和参考图像包含的参考目标是否一致包括:将待处理图像的多个全局池化特征与多个局部池化特征进行融合,得到待处理图像的综合特征,确定参考图像的综合特征。其中,参考图像的综合特征可以通过将参考图像的全局池化特征与局部池化特征进行融合得到。本实施例中全局池化特征与局部池化特征的融合可以基于全连接层实现,融合后得到的综合特征具有待处理图像或者参考图像中综合性更强的多粒度特征。基于该综合特征,可以识别到完整的待处理目标或者参考目标,而不是待处理目标或者参考目标的部分,从而避免语义值异常。
在全局池化特征和局部池化特征融合之后,根据待处理图像的综合特征与参考图像的综合特征之间的相似度,判断待处理图像包含的待处理目标和参考图像包含的参考目标是否一致。相似度的计算通常基于相似性距离度量实现,例如,余弦距离、马氏距离、欧式距离等,计算不同特征之间的向量距离,然后根据设定的相似度阈值判断待处理目标与参考目标是否一致。例如,在利用余弦距离计算相似度的情况下,可以使用如下公式1实现:
在公式1中,Similarity表示需要计算的相似度,Q和G分别表示待处理图像的综合特征和参考图像的综合特征,优选的,参考图像为识别库(gallery)中的图像,|| ||表示综合特征的模。通常情况下,在计算过程中特征由向量表示,因此n表示综合特征中向量的维度数量,i表示n维中的第i维。
本实施例中,将全局池化特征和局部池化特征进行融合,得到相应的包括全局特征和局部特征在内的综合特征,基于综合特征进行相似度的计算,在减少计算量的同时可以进一步提高相似度的计算准确率。
在其中一些实施例中,以待处理图像为例,图5是根据本申请实施例的特征图像的获取方法的流程图,如图5所示,该方法包括如下步骤:
步骤S510,通过初始特征提取,获取待处理图像的初始特征图像,初始特征图像包括待处理图像中的多个目标。
初始特征提取是对待处理图像中各个目标的粗提取,例如,在一个待处理图像包括行人、车辆、建筑物等多个目标的情况下,先通过初始特征提取将该待处理图像中的所有目标进行识别。
本实施例中初始特征提取的过程可以使用混合卷积网络(Mix Net)模型,Mix Net采用深度分离卷积,属于轻量型网络结构,具体为通过对待处理图像使用不同大小的卷积核来获得不同尺度的特征,与ResNet50相比,Mix Net能够达到相似甚至更优的精度,还可以大幅度降低参数量并提高运行效率。
步骤S520,通过注意力掩模确定多个目标中待处理目标的权重,得到待处理图像的显著特征图像。
在得到初始特征图像之后,由于初始特征图像中包括多个目标,所以需要从多个目标中对待处理目标进行提取。本实施例通过注意力掩模实现待处理目标的特征提取。其中,注意力掩模为基于注意力机制,能够使得神经网络学会关注重点信息忽略无关信息。
具体地,注意力掩模包括空间注意力掩模和通道注意力掩模。其中,空间注意力掩模主要用来提升待处理目标在空间范围内的权重,抑制背景等无关特征的权重,空间范围具体为初始特征图像的宽和高;而通道注意力掩模主要筛选各个通道中的重要特征,消除劣等特征的影响,通道包括红、绿、蓝通道、深度通道、灰度通道等等。
进一步地,为提升效率,实现实时的重识别过程,可以对通道注意力掩模进行有效通道注意力(Efficient Channel Attention,简称为ECA)操作。以往的降维方式通常为:全局均值池化-降维-线性整流(Rectified Linear Unit,简称为ReLU)-升维-Sigmoid激活的重通道注意力机制,会带来精度的损失,而ECA是一种轻量型网络,通过只关注相邻特征之间的影响实现通道注意力机制,采用全局均值池化-卷积-Sigmoid激活的方式可以大幅度降低参数量和计算量,在不降维的基础上实现精度和效率的双提升。
通过上述步骤S510和步骤S520,本实施例基于包含待处理目标特征提取和显著特征增强的注意力掩模而获得仅包含待处理目标的显著特征图像,该显著特征图像既具备待处理图像中待处理目标的上下文信息,又具备合适的感受野,有利于提高对重识别进行语义分析的精确度。其中,待处理目标的上下文信息指待处理目标的周围环境信息,感受野指提取到的特征在待处理图像中对应的像素范围。
在其他实施例中,若需要获取参考图像的显著特征图像,其获取过程与待处理图像的显著特征图像获取的过程类似,不再赘述。
在其中一些实施例中,在得到由多个池化特征组成的图像特征之后,需要将多个池化特征拉伸为一维向量,该一维向量的每个值可以近似表示各个特征的显著程度,然后基于待处理图像的一维向量和参考图像的一维向量进行相似度判断,以减小相似度计算过程中的计算量,提高计算效率。具体地,在全局池化过程中,需要将各个卷积图像组对应的所有全局池化特征拉伸为一个一维向量,在局部池化过程中,不仅需要将各个卷积图像组中的局部池化向量进行拉伸得到各个水平条目组的一维向量,还需要对多个水平条目组的所有一维向量再次进行拉伸融合,最终得到局部池化过程的一个一维向量。需要说明的是,如果不对多个水平条目组的一维向量进行融合,直接根据各个水平条目组对应的多个一维向量进行相似性对比,在待处理目标尺度不一致的情况下,即使是同一个待处理目标,由于划分后的水平条目对应不一致,例如,一张待处理图像中的背景对应另一张待处理图像中待处理目标的部分,则会出现语义异常值,所以对各个水平条目对应的局部池化特征进行拉伸,可以消除相关技术中,由于直接对分割后的局部池化特征进行损失函数监督而导致的语义异常值,从而提高模型的训练效率和识别过程的准确率。
在其中一些实施例中,在获取待处理图像的待处理目标之前,还需要训练图像重识别模型以实现待处理图像的重识别,本实施例中的图像重识别模型包括特征提取模块、训练池化模块和监督模块,在将第一训练图像和第二训练图像均作为训练图像进行特征提取处理时,训练图像重识别模型的方法为,首先,获得第一训练图像的图像特征和第二训练图像的图像特征,具体为特征提取模块对训练图像包含的训练目标进行特征提取,获取训练目标的特征图像,训练时的训练目标也可以为行人、车辆、动物和建筑物等等;然后,训练池化模块基于多个不同尺寸的池化核,对特征图像进行池化,获取训练图像的图像特征,训练图像的图像特征与池化核对应;最后,监督模块根据第一训练图像的图像特征和第二训练图像的图像特征之间的相似度调整图像重识别模型的参数,直到图像重识别模型的损失值小于或者等于预设损失阈值,图像重识别模型的损失值越小,表示图像重识别模型的识别准确度越高,本实施例中可以根据场景需求调整预设损失阈值。
在其中一些实施例中,对图像重识别模型的参数进行调整的过程,持续到同类的训练图像之间的相似度大于不同类的训练图像之间的相似度为止,其中,不同的训练图像是否为同类根据训练目标进行判断,例如,训练时以非机动车为目标,第一训练图像和第二训练图像中的非机动车为同一辆,第三训练图像中的非机动车为另外一辆,且相似度的计算通过余弦距离得到,那么,在第一训练图像与第二训练图像的余弦距离小于第一训练图像与第三训练图像之间的余弦距离的情况下,认为第一训练图像与第二训练图像之间的相似度满足要求。具体地,本实施例中采用分类损失和困难三元组损失共同进行图像重识别模型的参数训练过程。其中,分类损失用于评估训练过程中模型的预测值与真实值之间的不一致程度,若分类损失函数值很小,表明模型与数据真实分布很接近,模型性能良好,若分类损失函数值很大,表明模型与数据真实分布差别较大,模型性能不佳;困难三元组损失通常能在训练中学习到更好的细微的特征,所以能够对相似的训练目标进行更好的区分。困难三元组损失需要三张待识别图片,包括一对正样本对和一对负样本对,三张图片分别为固定图片a,正样本图片p和负样本图片n。图片a和图片p为一对正样本对,图片a和图片n为一对负样本对。困难三元组可以拉近正样本对之间的距离,推开负样本对之间的距离,最后使得相同的训练目标在特征空间里形成聚类,达到重识别的目的。
所以本实施例中提供了一种图像重识别的神经网络模型的训练方法,若分别将第一训练图像和第二训练图像作为训练图像进行特征提取处理,获得第一训练图像的图像特征和第二训练图像的图像特征,则图6是根据本申请实施例的图像重识别的神经网络模型的训练方法的流程图,如图6所示,该方法包括:
步骤S610,对训练图像包含的训练目标进行特征提取,获取训练目标的特征图像;
步骤S620,基于多个不同尺寸的池化核,对特征图像进行池化,获取训练图像的图像特征,训练图像的多个图像特征分别与各个池化核对应,其中,多个不同尺寸的池化核为图像重识别模型中的池化核;
步骤S630,根据第一训练图像的图像特征和第二训练图像的图像特征之间的相似度调整图像重识别模型的参数,直到图像重识别模型的损失值小于或者等于预设损失阈值。
通过上述步骤S610至步骤S630,本实施例提供一种图像重识别的神经网络模型的训练方法,该神经网络模型基于不同尺寸的池化核对训练图像的特征图像进行池化,以得到不同尺度上的多粒度的图像特征。由于抽取了不同尺度的图像特征,所以在对第一训练图像的图像特征和第二训练图像的图像特征进行对比时,可以从多个尺度进行相似度计算,因而,即使训练图像中的训练目标存在远景、中景或者近景等尺度不同的差别,由于获取到了不同尺度的图像特征,也可以在不同尺度上进行对比,所以本申请中的神经网络模型解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,提高了图像中目标重识别的准确率。
下面通过优选实施例对本申请实施例进行描述和说明。
图7是根据本申请优选实施例的图像重识别模型的架构示意图,如图7所示,该图像重识别模型同样为GSPP结构,图像重识别模型的输入图像会先经过特征提取模块的处理,其中,特征提取模块包括初始特征提取模块和注意力模块(Attention Modules),输入图像可以为重识别过程的待处理图像,也可以为训练过程的训练图像。具体地,初始特征提取模块对输入图像进行卷积神经网络(Convolutional Neural Networks,简称为CNN)计算之后,得到128×16×8的初始特征图像,然后注意力模块(Attention Modules)对初始特征图像通过注意力掩模进行计算,得到最终的显著特征图像。显著特征图像会被送入训练池化模块,该训练池化模块包括全局池化模块和局部池化模块,其中,全局池化模块基于4个不同尺寸的池化核对特征图像进行池化,局部池化模块将特征图像水平划分成4组水平条目,分别以标号1、2、3、4表示,然后对于每一组水平条目,用4个不同尺寸的局部池化核进行池化,在对待处理图像的重识别过程和基于训练图像的模型训练过程,均需要用到全局池化模块和局部池化模块。在得到多个全局池化特征向量之后,将所有的全局池化向量拉伸为一维向量,同样的,在局部池化过程中,需要先将每个水平条目组中不同池化卷积核对应的局部池化向量拉伸为一维向量,再将不同水平条目组的多个一维向量拉伸为一个最终的一维向量。最后,还需要将全局池化的一维向量和局部池化的最终的一维向量进行融合,得到输入图像的综合特征,图7中的1308×1、5232×1、512×1、128×1均表示相对应的向量的维度。在训练模型的过程中,监督模块对不同输入图像的综合特征进行相似度计算,计算结果通过分类损失和困难三元组损失进行监督,在重识别过程中,判断模块根据相似性距离度量判断待处理图像中的待处理目标与参考图像中的参考目标是否为同一个目标。
图8是根据本申请优选实施例的图像重识别模型的训练方法的流程图,如图8所示,该方法包括如下步骤:
步骤S810,将训练图像输入到初始特征提取模块获得训练图像的初始特征图像;
步骤S820,将初始特征图像输入到注意力模块获得训练图像的显著特征图像;
步骤S830,将显著特征图像输入全局池化模块进行全局池化,得到训练图像的多粒度全局池化特征;其中,全局池化模块包括多个尺寸不同的全局池化核;
步骤S840,将显著特征图像输入局部池化模块进行局部池化,得到训练图像局部细节的多粒度局部池化特征;其中,局部池化模块包括多个尺寸不同的局部池化核;
步骤S850:在监督模块中采用分类损失和困难三元组损失进行模型参数进行监督训练。
通过上述步骤S810至步骤S850,本实施例提供一种图像重识别的神经网络模型的训练方法,该神经网络模型基于不同尺寸的池化核对训练图像的特征图像进行池化,以得到不同尺度上的多粒度的池化特征。由于抽取了不同尺度的池化特征,所以在对不同训练图像的池化特征进行对比时,可以从多个尺度进行相似度计算,因而,即使训练图像中的训练目标存在远景、中景或者近景等尺度不同的差别,由于获取到了不同尺度池化特征,也可以在不同尺度上进行对比,所以本申请中的神经网络模型解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,提高了图像中目标重识别的准确率。
图9是根据本申请优选实施例的图像重识别方法的流程图,如图9所示,该方法包括如下步骤:
步骤S910,将两个重识别图像送入训练好的图像重识别模型中,其中,重识别图像包括待识别图像(query)和识别库图像(gallery),通过初始特征提取模块分别得到对应的初始特征图像;其中,识别库图像作为参考图像;
步骤S920,将初始特征图分别输入进显著特征增强的注意力模块,分别得到query图像和gallery图像对应的显著特征图像;
步骤S930,将query图像的显著特征图像和gallery图像的显著特征图像输入全局池化模块,获得对应的多粒度全局池化特征;其中,全局池化模块包括多个尺寸不同的全局池化核;
步骤S940,将query图像的显著特征图像和gallery图像的显著特征图像输入局部池化模块,获得对应的多粒度局部池化特征;其中,局部池化模块包括多个尺寸不同的局部池化核;
步骤S950,将query图像的多粒度全局池化特征和多粒度局部池化特征进行融合获得query图像的综合特征,将gallery图像的多粒度全局池化特征和多粒度局部池化特征进行融合获得综合特征,对query图像和gallery图像之间的相似性进行重识别。
通过上述步骤S910至步骤S950,本实施例在得到特征图像之后,基于不同尺寸的池化核对特征图像进行池化,以得到不同尺度上的多粒度的池化特征。由于抽取了不同尺度的池化特征,所以在对query图像和gallery图像的池化特征进行对比时,可以从多个尺度进行相似度计算,因而,即使query图像和gallery图像中的目标存在远景、中景或者近景等尺度不同的差别,由于获取到了不同尺度池化特征,也可以在不同尺度上进行对比,所以本申请中的图像重识别方法解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,消除了query图像和gallery图像中目标的尺度不一致的影响,提高了图像中目标重识别的准确率。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图10为本申请实施例的图像重识别方法的终端的硬件结构框图。如图10所示,终端100可以包括一个或多个(图10中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器1004,可选地,上述终端还可以包括用于通信功能的传输设备1006以及输入输出设备1008。本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端100还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。
存储器1004可用于存储控制程序,例如,应用软件的软件程序以及模块,如本申请实施例中的图像重识别方法对应的控制程序,处理器1002通过运行存储在存储器1004内的控制程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器1004可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1004可进一步包括相对于处理器1002远程设置的存储器,这些远程存储器可以通过网络连接至终端100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端100的通信供应商提供的无线网络。在一个实例中,传输设备1006包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备1006可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例还提供了一种图像重识别设备,该设备用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图11是根据本申请实施例的图像重识别设备的结构框图,如图11所示,该设备包括提取模块1101、确定模块1102和判断模块1103:
提取模块1101,用于对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像;基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征;
确定模块1102,用于确定参考图像的图像特征;
判断模块1103,用于根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
基于上述图像重识别设备,本实施例通过获取模块1101得到特征图像之后,基于重识别池化模块1102中不同尺寸的池化核对特征图像进行池化,以得到不同尺度上的多粒度的图像特征。由于抽取了不同尺度的图像特征,所以判断模块1103在对待处理图像的图像特征和参考图像的图像特征进行对比时,可以从多个尺度进行相似度计算,因而,即使待处理图像中的待处理目标和参考图像中的参考目标存在远景、中景或者近景等尺度不同的差别,由于获取到了不同尺度的图像特征,也可以在不同尺度上进行对比,所以本申请中的图像重识别方法解决了相关技术中在识别图像中目标的尺度不同的情况下,特征匹配的准确率仍然较低的问题,消除了待处理图像中待处理目标与参考图像中参考目标尺度不一致的影响,提高了图像中目标重识别的准确率。
在其中一些实施例中,图像重识别设备包括池化模块,用于基于多个不同尺寸的全局池化核,将特征图像进行全局池化,得到多个全局池化特征;基于多个不同尺寸的局部池化核,将特征图像进行局部池化,得到多个局部池化特征,其中,多个全局池化特征与多个局部池化特征构成待处理图像的图像特征。
在其中一些实施例中,池化模块包括全局池化模块,用于根据不同的全局卷积核对待处理图像进行卷积计算,得到多个卷积图像,对多个卷积图像进行分组得到多个卷积图像组;对各个卷积图像组以对应的全局池化核进行池化,得到多个全局池化特征。
在其中一些实施例中,池化模块包括局部池化模块,用于对特征图像进行水平划分,得到多个水平条目组;对于一个水平条目组,以不同的局部卷积核对水平条目组中水平划分后的特征图像进行卷积计算,得到多个卷积图像;将水平条目组的所有卷积图像再次进行分组,得到多个卷积图像组;对各个卷积图像组,以对应的局部池化核对卷积图像组的所有卷积图像进行池化,得到多个卷积图像组的局部池化特征;依次对所有的水平条目组进行池化,得到所有水平条目组的多个局部池化特征。
在其中一些实施例中,判断模块还用于将待处理图像的多个全局池化特征与多个局部池化特征进行融合,得到待处理图像的综合特征;确定参考图像的综合特征;根据待处理图像的综合特征与参考图像的综合特征之间的相似度,判断待处理图像包含的待处理目标和参考图像包含的参考目标是否一致。
在其中一些实施例中,图像重识别设备包括注意力模块,用于通过初始特征提取,获取待处理图像的初始特征图像,初始特征图像包括待处理图像中的多个目标;通过注意力掩模确定多个目标中待处理目标的权重,得到待处理图像的显著特征图像。
在其中一些实施例中,图像重识别设备包括拉伸模块,用于将多个池化特征拉伸为一维向量。
在其中一些实施例中,图像重识别模块包括训练模块,用于训练图像重识别模型以实现待处理图像的重识别;训练模块用于分别将第一训练图像和第二训练图像作为训练图像进行特征提取处理,获得第一训练图像的图像特征和第二训练图像的图像特征;特征提取处理包括:对训练图像包含的训练目标进行特征提取,获取训练目标的特征图像,基于多个不同尺寸的池化核,对特征图像进行池化,获取训练图像的图像特征;根据第一训练图像的图像特征和第二训练图像的图像特征之间的相似度调整图像重识别模型的参数,直到图像重识别模型的损失值小于或者等于预设损失阈值。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,图12是根据本申请实施例的电子装置的结构示意图,如图12所示,该电子装置包括存储器1201和处理器1202,该存储器1201中存储有计算机程序,存储器1201可以是闪存、硬盘或者ROM之类的电子存储器。该处理器1202被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器1202连接,该输入输出设备和上述处理器1202连接。
可选地,在本实施例中,上述处理器1202可以被设置为通过计算机程序执行以下步骤:
S1,对待处理图像包含的待处理目标进行特征提取,获取待处理目标的特征图像;基于多个不同尺寸的池化核,对特征图像进行池化,获取待处理图像的图像特征,其中,池化特征与池化核对应。
S2,确定参考图像的图像特征。
S3,根据待处理图像的图像特征和参考图像的图像特征之间的相似度,确定待处理图像包含的待处理目标和参考图像包含的参考目标是否一致。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的图像重识别方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种图像重识别方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像重识别方法,其特征在于,包括:
对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像;基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征;
确定参考图像的图像特征;
根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
2.根据权利要求1所述的图像重识别方法,其特征在于,所述基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征包括:
基于多个不同尺寸的全局池化核,将所述特征图像进行全局池化,得到多个全局池化特征;
基于多个不同尺寸的局部池化核,将所述特征图像进行局部池化,得到多个局部池化特征;
多个所述全局池化特征与多个所述局部池化特征构成所述待处理图像的图像特征。
3.根据权利要求2所述的图像重识别方法,其特征在于,所述基于多个不同尺寸的全局池化核,将所述特征图像进行全局池化,得到多个全局池化特征包括:
根据不同的全局卷积核对所述待处理图像进行卷积计算,得到多个卷积图像,对多个卷积图像进行分组得到多个卷积图像组;
对各个卷积图像组以对应的全局池化核进行池化,得到多个全局池化特征。
4.根据权利要求2所述的图像重识别方法,其特征在于,所述基于多个不同尺寸的局部池化核,将所述特征图像进行局部池化,得到多个局部池化特征包括:
对所述特征图像进行水平划分,得到多个水平条目组;
对于一个水平条目组,以不同的局部卷积核对所述水平条目组中水平划分后的特征图像进行卷积计算,得到多个卷积图像;
将所述水平条目组的所有卷积图像再次进行分组,得到多个卷积图像组;
对各个卷积图像组,以对应的局部池化核对所述卷积图像组的所有所述卷积图像进行池化,得到多个卷积图像组的局部池化特征;
依次对所有的水平条目组进行池化,得到所有水平条目组的多个局部池化特征。
5.根据权利要求2所述的图像重识别方法,其特征在于,所述根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致包括:
将所述待处理图像的多个全局池化特征与多个局部池化特征进行融合,得到所述待处理图像的综合特征;
确定所述参考图像的综合特征;
根据所述待处理图像的综合特征与所述参考图像的综合特征之间的相似度,判断所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
6.根据权利要求1所述的图像重识别方法,其特征在于,所述对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像包括:
通过初始特征提取,获取所述待处理图像的初始特征图像,所述初始特征图像包括所述待处理图像中的多个目标;
通过注意力掩模确定多个目标中所述待处理目标的权重,得到所述待处理图像的显著特征图像。
7.根据权利要求1所述的图像重识别方法,其特征在于,在所述根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致之前,所述方法还包括:
将多个池化特征拉伸为一维向量。
8.根据权利要求1所述的图像重识别方法,其特征在于,在所述对待处理图像包含的待处理目标进行特征提取之前,所述方法包括:训练图像重识别模型以实现所述待处理图像的重识别;所述训练图像重识别模型包括:
分别将第一训练图像和第二训练图像作为训练图像进行特征提取处理,获得所述第一训练图像的图像特征和所述第二训练图像的图像特征;所述特征提取处理包括:对所述训练图像包含的训练目标进行特征提取,获取所述训练目标的特征图像,基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述训练图像的图像特征;
根据所述第一训练图像的图像特征和所述第二训练图像的图像特征之间的相似度调整所述图像重识别模型的参数,直到所述图像重识别模型的损失值小于或者等于预设损失阈值。
9.一种图像重识别设备,其特征在于,所述设备包括提取模块、确定模块和判断模块:
所述提取模块,用于对待处理图像包含的待处理目标进行特征提取,获取所述待处理目标的特征图像;基于多个不同尺寸的池化核,对所述特征图像进行池化,获取所述待处理图像的图像特征;
所述确定模块,用于确定参考图像的图像特征;
所述判断模块,用于根据所述待处理图像的图像特征和所述参考图像的图像特征之间的相似度,确定所述待处理图像包含的待处理目标和所述参考图像包含的参考目标是否一致。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的图像重识别方法。
11.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的图像重识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812710.4A CN113657167A (zh) | 2021-07-19 | 2021-07-19 | 图像重识别方法、设备、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812710.4A CN113657167A (zh) | 2021-07-19 | 2021-07-19 | 图像重识别方法、设备、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113657167A true CN113657167A (zh) | 2021-11-16 |
Family
ID=78477490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110812710.4A Pending CN113657167A (zh) | 2021-07-19 | 2021-07-19 | 图像重识别方法、设备、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657167A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180065866A (ko) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | 타겟 검출 방법 및 장치 |
CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
CN111814857A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标重识别方法及其网络训练方法、相关装置 |
CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
KR102225613B1 (ko) * | 2019-08-30 | 2021-03-08 | 연세대학교 산학협력단 | 사람 재식별 장치 및 방법 |
CN112668374A (zh) * | 2019-10-16 | 2021-04-16 | 北京灵汐科技有限公司 | 图像处理方法、装置、重识别网络的训练方法及电子设备 |
JP2021064354A (ja) * | 2019-10-10 | 2021-04-22 | 株式会社Nttドコモ | 画像処理方法、装置、電子機器、及びコンピュータ読み取り可能な記憶媒体 |
CN113052017A (zh) * | 2021-03-09 | 2021-06-29 | 北京工业大学 | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 |
-
2021
- 2021-07-19 CN CN202110812710.4A patent/CN113657167A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180065866A (ko) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | 타겟 검출 방법 및 장치 |
KR102225613B1 (ko) * | 2019-08-30 | 2021-03-08 | 연세대학교 산학협력단 | 사람 재식별 장치 및 방법 |
JP2021064354A (ja) * | 2019-10-10 | 2021-04-22 | 株式会社Nttドコモ | 画像処理方法、装置、電子機器、及びコンピュータ読み取り可能な記憶媒体 |
CN112668374A (zh) * | 2019-10-16 | 2021-04-16 | 北京灵汐科技有限公司 | 图像处理方法、装置、重识别网络的训练方法及电子设备 |
CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
CN111814857A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标重识别方法及其网络训练方法、相关装置 |
CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
CN113052017A (zh) * | 2021-03-09 | 2021-06-29 | 北京工业大学 | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 |
Non-Patent Citations (2)
Title |
---|
DEQIANG OUYANG 等: "Video-Based person re-identification via self-paced learning and deep reinforcement learning framework", 《MM \'18: PROCEEDINGS OF THE 26TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》, 15 October 2018 (2018-10-15), pages 1562 - 1570, XP058420895, DOI: 10.1145/3240508.3240622 * |
邹勰鑫: "基于卷积神经网络的行人重识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2020, no. 01, 15 January 2020 (2020-01-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
US11651229B2 (en) | Methods and systems for face recognition | |
KR101420549B1 (ko) | 쿼리 및 모델 이미지들에서 검출된 키포인트들을 클러스터링함에 따른 특징 매칭 방법, 디바이스 그리고 프로세서 판독가능 매체 | |
CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
US20170213081A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN113159300B (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
CN110222718A (zh) | 图像处理的方法及装置 | |
CN115170893B (zh) | 共视档位分类网络的训练方法、图像排序方法及相关设备 | |
CN111935479A (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
WO2023124278A1 (zh) | 图像处理模型的训练方法、图像分类方法及装置 | |
CN111695495A (zh) | 人脸识别方法、电子设备及存储介质 | |
CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
Chidananda et al. | Entropy-cum-Hough-transform-based ear detection using ellipsoid particle swarm optimization | |
CN112150359B (zh) | 基于机器学习和特征点识别的无人机图像快速拼接方法 | |
CN113657154A (zh) | 活体检测方法、装置、电子装置和存储介质 | |
CN113157962A (zh) | 图像检索方法、电子装置和存储介质 | |
CN113657167A (zh) | 图像重识别方法、设备、电子装置和存储介质 | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN111723614A (zh) | 交通信号灯识别方法及装置 | |
CN112257666B (zh) | 目标图像内容的聚合方法、装置、设备及可读存储介质 | |
CN114445916A (zh) | 一种活体检测方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |