CN111814857B - 目标重识别方法及其网络训练方法、相关装置 - Google Patents
目标重识别方法及其网络训练方法、相关装置 Download PDFInfo
- Publication number
- CN111814857B CN111814857B CN202010611552.1A CN202010611552A CN111814857B CN 111814857 B CN111814857 B CN 111814857B CN 202010611552 A CN202010611552 A CN 202010611552A CN 111814857 B CN111814857 B CN 111814857B
- Authority
- CN
- China
- Prior art keywords
- branch
- target
- feature information
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标重识别方法及其网络训练方法、相关装置。该训练方法包括:获取训练图像集;利用目标重识别网络对训练图像集中每张训练图像进行识别,以得到每张训练图像的识别结果,其中,所述目标重识别网络包括多个分支,每张所述训练图像的所述识别结果包括每个所述分支输出的特征信息以及与所述特征信息对应的分类结果,并且其中一个分支输出的所述特征信息包括n个局部特征信息,所述n大于3,所述n个局部特征信息对应所述训练图像不同图像区域;基于训练图像的识别结果,调整目标重识别网络每个分支的参数。通过上述方式,本申请能够训练好的目标重识别网络对目标识别的结果更准确。
Description
技术领域
本申请涉及目标重识别技术领域,特别是涉及一种目标重识别方法及其网络训练方法、相关装置。
背景技术
目标重识别是一种通过对跨镜头下的图像或视频中的目标进行特征提取与匹配来实现目标识别的计算机视觉技术,其在智慧零售、智能交通和公安刑侦等领域具有非常重要的应用价值。目标可以为行人、车辆等。一般采用目标重识别网络来进行目标识别,例如,使用行人重识别(Person Re-identification,ReID)网络来对行人图像进行识别。现有技术中,在使用行人重识别网络之前,通常需要对其进行训练,使其后续在使用过程中得到的识别结果更加准确。然而,现有的训练方法得到的目标重识别网络进行目标识别的准确性不高。
发明内容
本申请提供一种目标重识别方法及其网络训练方法、相关装置,能够解决现有的训练方法得到的目标重识别网络进行目标识别的准确性不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种目标重识别网络的训练方法。该方法包括:获取训练图像集,其中,训练图像集中包括多张训练图像;利用目标重识别网络对训练图像集中每张训练图像进行识别,以得到每张训练图像的识别结果,其中,目标重识别网络包括多个分支,特征信息包括每个分支输出的特征信息,并且其中一个分支输出的特征信息包括n个局部特征信息,n大于3,n个局部特征信息对应训练图像不同区域;基于训练图像的识别结果,调整目标重识别网络每个分支的参数。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种目标重识别方法,该方法包括:获取待识别图像和参考图像,其中,参考图像包括预设目标;利用目标重识别网络分别对待识别图像和参考图像进行识别,以得到待识别图像的特征信息和参考图像的特征信息,其中,目标重识别网络为多分支网络,且特征信息包括目标重识别网络各分支输出的特征信息,目标重识别网络的其中一个分支输出的特征信息包括n个局部特征信息,n个局部特征信息对应输入图像的不同区域,n大于3;将每个分支输出的同一图像的特征信息进行融合,得到待识别图像的融合特征信息和参考图像的融合特征信息;基于待识别图像的融合特征信息和参考图像的融合特征信息之间的相似度,确定待识别图像是否包括预设目标。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器连接的存储器,其中,存储器存储有程序指令;处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储介质,存储有程序指令,该程序指令被执行时能够实现上述方法。
通过上述方式,本申请目标重识别网络的其中一个分支提取到的特征图被划分为n(n>3)个对应训练图像不同区域的局部特征信息作为输出,因此通过该分支能够提取到精细的特征信息,丰富了特征提取粒度。在此基础上,能够使得训练得到的目标重识别网络提取的图像特征信息更有代表性、更能反映图像中目标信息,进而提高目标重识别网络目标识别的准确度。
附图说明
图1是本申请目标重识别网络的训练方法第一实施例的流程示意图;
图2是本申请目标重识别网络的训练方法第二实施例的流程示意图;
图3是本申请目标重识别网络一实施例的结构示意图;
图4是本申请目标重识别网络的训练方法第三实施例的流程示意图;
图5是本申请目标重识别网络的训练方法第四实施例的流程示意图;
图6是本申请目标重识别方法一实施例的流程示意图;
图7是本申请电子设备一实施例的结构示意图;
图8是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
图1是本申请目标重识别网络的训练方法第一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例可以包括:
S110:获取训练图像集。
其中,训练图像集中包括多张训练图像。
训练图像可以基于拍摄器件获取到的场景图像得到,每张训练图像带有标注。具体而言,可以利用目标检测算法检测场景图像中的目标位置,基于目标位置将目标对应的区域从场景图像中截取出来,然后将截取出来的区域调至指定尺寸后作为目标图像,并对目标图像进行标注,以得到带有标注的训练图像。其中,训练图像带有的标注可以为当前训练图像中目标的信息,例如目标ID信息。本申请以目标为行人进行说明。
S120:利用目标重识别网络对训练图像集中每张训练图像进行识别,以得到每张训练图像的识别结果。
其中,目标重识别网络包括多个分支,每张训练图像的识别结果包括每个分支输出的特征信息以及与特征信息对应的分类结果,并且其中一个分支输出的特征信息包括n个局部特征信息,n大于3,n个局部特征信息对应训练图像不同区域。
可以将训练图像集送入目标重识别网络,以使目标重识别网络对训练图像集中每张图像进行识别,从而得到每张图像的特征信息以及与特征信息对应的分类结果。
其中,可以用特征图/特征向量来表示特征信息。目标重识别网络可以为多分支神经网络,其包括的多个分支都可以对图像进行识别,因此经目标重识别网络得到的每张训练图像的特征信息包括每个分支输出的特征信息。以对一张训练图像进行识别为例,目标重识别网络的其中一个分支输出的该张训练图像的特征信息包括n(n>3)个局部特征信息,局部特征信息可以为训练图像的特征图分块,该分支输出的n个局部特征信息可以组成该张训练图像的特征图。也就是说,该张训练图像的特征图可以被划分为多个分块输出。其中,特征图的划分方式可以为条纹分块,例如水平条纹分块、垂直条纹分块等,当然在其他实施例中也可以根据需要采用其他的划分方式,在此不作具体限定。
S130:基于训练图像的识别结果,计算目标重识别网络每个分支的损失。
可基于每个分支输出的训练图像的特征信息计算目标重识别网络当前分支的损失,具体计算方式请参见后面的实施例。
S140:判断是否满足停止训练的条件。
预设条件可以为训练次数达到预设次数,或者可以为训练时间达到预设时间,又或者可以为训练周期达到预设周期,又或者可以为计算出来的每个分支的损失小于预设阈值等。
若否,则执行S150;若是,则执行S160。
S150:调整目标重识别网络每个分支的参数。
可以基于目标重识别网络每个分支的损失调整对应分支的权重等参数。通过反向传播调整目标重识别网络参数的方式,能够逐步优化该目标重识别网络,使其后续在实际应用过程中得到的图像识别结果更加准确。
S160:停止训练。
训练完成后可保留经最后一次调整后的参数作为目标重识别网络的参数,以在实际使用过程中对待识别图像进行识别。
本步骤执行完之后跳转至上述S120,以重复执行上述步骤,直至满足停止训练的条件。
本实施例中,目标重识别网络的其中一个分支提取到的特征信息被划分为n(n>3)个对应训练图像不同区域的局部特征信息作为输出,因此通过该分支能够提取到精细的特征信息,丰富了特征提取粒度。在此基础上,能够使得训练得到的目标重识别网络提取的图像特征信息更有代表性、更能反映图像中目标信息,进而提高目标重识别网络目标识别的准确度。
图2是本申请目标重识别网络的训练方法第二实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。本实施例中,目标重识别网络每个分支包括卷积层、采样层和特征嵌入层,S210-S230是对上述S120的扩展,S240是对上述S130的扩展。如图2所示,本实施例可以包括:
S210:利用当前分支的卷积层对训练图像进行处理,以得到训练图像的第一特征信息。
本申请目标重识别网络的基础网络结构可以为类似RetNet50的残差网络结构,因此目标重识别网络各分支的卷积层可以为残差块卷积层。
可选地,目标重识别网络包括n个分支,其中,第一分支输出的特征信息不包括局部特征信息,第i分支输出的特征信息包括i个局部特征信息,第i分支的i个局部特征信息对应的区域能够覆盖训练图像,i大于1且小于或等于n。和/或,每个分支输出的特征信息均包括全局特征信息。
可以理解的是,全局特征信息为整张训练图像的特征信息,即训练图像的特征图。第i分支输出的i个局部特征信息(特征图分块)能够组成第i分支输出的全局特征信息(特征图)。
可选地,目标重识别网络包括n个分支,且每个分支包括n个卷积层,不同分支共享的卷积层不同。
以n=4为例进行说明。图3是本申请目标重识别网络一实施例的结构示意图,如图3所示,目标重识别网络包括第一分支(P1)、第二分支(P2)、第三分支(P3)和第四分支(P4),且每个分支包括第一卷积层(L1)、第二卷积层(L2)、第三卷积层(L3)和第四卷积层(L4),其中,第二分支(P2)与第一分支(P1)共享第一卷积层(L1)和第二卷积层(L2),第三分支(P3)和第二分支(P2)共享第一卷积层(L1)、第二卷积层(L2)和第三卷积层(L3),第四分支(P4)与第一分支(P1)共享第一卷积层(L1)、第二卷积层(L2)和第三卷积层(L3)。
图3所示的目标重识别网络会形成13个子分支,共包括4个粗粒度的全局特征提取分支和9个细粒度的局部特征提取分支。
其中,P1、P2、P3和P4共享L1及其之前的网络结构和参数。P1直接从共享的L1之后接入网络,P1作为主干分支不进行条纹分块,因此P1可以输出一个全局特征信息。
P1的L2输出的特征信息会送入P2,P2包括一个全局特征子分支和二个局部特征子分支,二个局部特征子分支由P2的L4输出的特征信息进行二等分的条纹分块得到,因此P2可以输出一个全局特征信息和两个局部特征信息。
P2的L3输出的特征信息会送入P3,P3包括一个全局特征子分支和三个局部特征子分支,三个局部特征子分支由P3的L4输出的特征信息进行三等分的条纹分块得到,因此P3可以输出一个全局特征信息和三个局部特征信息。
P1的L3输出的特征信息会送入P4,P4包括一个全局特征子分支和四个局部特征子分支,四个局部特征子分支由P4的L4输出的特征信息进行四等分的条纹分块得到,因此P4可以输出一个全局特征信息和四个局部特征信息。
在其他实施例中,上述网络结构的设计(如网络分支的接入方式、分块方式)也可以为其他方式,上述举例并不意味着对本申请的限定。例如,上述条纹方式可以为水平条纹分块、垂直条纹分块等。或者,分块方式也可以为均等分块、非均等分块等。在实际应用中,大多数行人图像都是能够良好对齐的,因此通常是将行人图像进行均等划分。
通过上述网络结构的设计,至少存在以下优点:
第一、P2从P1的L2接入,P3从P2的L3接入,P4从P1的L3接入,这样的网络拓扑结构设计具有层次性共享的特点。相较于从同一个卷积层接出多个分支的设计,能有效地降低目标重识别网络的参数量,提升网络的训练效率。
第二、P1不包括局部特征子分支,P2包括二个局部特征子分支(特征图分块),P3包括三个局部特征子分支,P4包括四个局部特征子分支。因此,随着网络的加深,对网络分支进行从粗粒度到细粒度的条纹分块(渐进性分块)来形成粒度丰富的全局特征信息和局部特征信息。
第三、P3从P2的L3接入,从而P2输出的特征图分块(2个)与P3输出的特征图分块(3个)具有非重叠区域,这样能够增强网络应对图像遮挡或错对齐等情况的特征鲁棒性。
第四、由于考虑到P2输出的特征图分块(2个)和P4输出的特征图分块(4个)完全重叠,因此没有将P4分支从P2分支接入;考虑到P4和P3都只含有一个卷积层L4,且P4输出的特征图分块属于更细粒度的局部特征信息表达,因此为了提高输入P4输出的特征语义性,将P4从P1的L3接入。
当每个分支包括n个卷积层时,第一特征信息为第n个卷积层输出的特征信息,也即最后一个卷积层输出的特征信息。可选地,第一分支的最后一个卷积层输出的第一特征信息尺寸小于其他分支的最后一个卷积层输出的第一特征信息尺寸。
仍以n=4为例进行说明,P1的L4的下采样步长为2,P2、P3、P4的L4的下采样步长为1,故P1输出的特征信息的尺寸为P2、P3、P4输出的特征信息尺寸的两倍。其中,设置P2、P3、P4的L4的下采样步长为1可以保留更多的特征信息。
S220:利用当前分支的采样层对第一特征信息进行处理,以得到训练图像的第二特征信息。
仍以n=4为例进行说明,如图3所示,每个分支还包括采样层(L5)。采样层也可以被称为池化层,其可以包括最大采样单元和/或均值采样单元,因此当前分支的采样层可以对输入的第一特征信息进行最大采样处理和/或均值采样处理。第二特征信息可以为最大采样单元对第一特征信息进行最大采样处理后输出的特征信息,或者可以为均值采样单元对第一特征信息进行均值采样处理后输出的特征信息,又或者可以为最大采样单元输出的特征信息与均值采样单元输出的特征信息。
举例说明,当采样层由最大采样单元和均值采样单元组成时,两种采样单元的输出特征相加得到融合后得到2048维的第二特征信息。
S230:利用当前分支的特征嵌入层对第二特征信息进行处理,以得到训练图像的第三特征信息,并作为当前分支输出的特征信息。
仍以n=4为例进行说明,如图3所示,每个分支还包括特征嵌入层(L6)。特征嵌入层可以由1×1卷积单元和批正则化(BN)单元组成,其可以对采样层输出的特征进行降维操作得到256维的第三特征信息,可以将该第三特征信息作为当前分支输出的特征信息,方便后续处理。
S240:利用第一损失函数对当前分支输出的特征信息进行计算,得到目标重识别网络当前分支的第一损失。
第一损失函数可以为三元组损失函数,所谓三元组损失函数,即为度量训练图像集中三张图像的特征信息/特征向量之间的距离的函数,其中,三张图像中有两张为同一目标的图像,其余一张为其他目标的图像,换句话说,三张图像中有两种同类别图像,一张不同类别图像。本步骤中,可以用三元组损失函数度量特征信息之间的距离。
若当前分支输出的特征信息仅包括全局特征信息,可利用三元组损失函数计算其输出的不同训练图像的全局特征信息之间的距离。若当前分支输出的特征信息包括全局特征信息和多个局部特征信息,可利用三元组损失函数计算不同训练图像的全局特征信息之间的距离,并对当前分支输出的同一训练图像的多个局部特征信息进行级联处理后,计算不同训练图像的级联的局部特征信息之间的距离。并且,可以将基于当前分支输出的所有训练图像的特征信息计算出来的距离之和作为第一损失。
举例说明,训练图像集中包括16个目标(每个目标4张)的图像,一共包括64张训练图像。当前分支的特征嵌入层输出的第三特征信息包括64组,可利用三元组损失函数分别计算该64组图像的距离,并将该64组图像的距离之和作为第一损失。
本实施例中,训练图像分别经卷积层、采样层、特征嵌入层处理后得到训练图像的特征信息,利用三元组损失函数度量特征信息之间距离(第一损失),并基于第一损失调整目标重识别网络参数,可以缓解目标重识别网络提取到的特征信息类内差异大、类间差异小的问题。
图4是本申请目标重识别网络的训练方法第三实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图4所示的流程顺序为限。本实施例中,目标重识别网络每个分支包括卷积层、采样层、特征嵌入层和分类层,S310-S330是对上述S120的扩展,S340-S350是对上述S130的扩展。如图1所示,本实施例可以包括:
S310:利用当前分支的卷积层对训练图像进行处理,以得到训练图像的第一特征信息。
S320:利用当前分支的采样层对第一特征信息进行处理,以得到训练图像的第二特征信息。
S330:利用当前分支的特征嵌入层对第二特征信息进行处理,以得到训练图像的第三特征信息,并作为当前分支输出的特征信息。
本实施例中S310-S330的详细描述请参见前面的实施例,在此不再重复。
S340:利用第一损失函数对当前分支输出的特征信息进行计算,得到目标重识别网络当前分支的第一损失,并利用当前分支的分类层对当前分支输出的特征信息进行处理,以得到当前分支的分类结果。
仍以n=4为例进行说明,如图2所示,每个分支还可以包括分类层(L7)。分类层具有各类别的权重参数,具体可以基于分类层的权重参数,对当前分支输出的特征信息进行处理,以得到当前分支的分类结果。当前分支的分类结果可以为当前分支输出的特征信息的特征变换,其中,可利用如下公式得到当前分支的分类结果h:
cosθ=W′·f′(xi),
其中,W′为当前分支的分类层的权重参数,f′(xi)为当前分支输出的第i张训练图像的特征信息,γ为当前分支的待训练参数,其初始值可以设为1。因此,分类层通过一个平滑的特征变换h引入了一个可自适应学习的参数γ。
上述f′(xi)可以为当前分支输出的对第i张训练图像的特征信息进行归一化处理得到的结果,W′可以为对原有的分类层的权重参数进行归一化处理得到的结果。其中,进行归一化处理的公式如下:
其中,Wj(j=0,1,...,K-1)为原有的分类层中第j类对应的权重参数,f(xi)为原有的当前分支输出的第i张训练图像的特征信息。
S350:利用第二损失函数对当前分支的分类结果进行计算,得到目标重识别网络当前分支的第二损失。
第二损失函数可以为交叉熵损失函数。可利用该第二损失函数对每个子分支都进行单独的第二损失/分类损失的计算,从而在基于第一损失调整当前分支参数的基础上,进一步基于计算得到的第二损失调整当前分支网络的参数,提升目标重识别网络提取到的特征信息的辨别性。
本实施例中,分类层通过一个平衡的特征变换引入了一个可学习的参数,因此利用该特征变换计算第二损失,能够使得目标重识别网络的各个分支基于第二损失自适应的学习参数,从而能够有效地对目标重识别网络进行训练。
区别于上述第二实施例和第三实施例,在本申请另一实施例中,目标重识别网络每个分支包括卷积层、分类层,此时可将卷积层输出的第一特征信息作为当前分支输出的特征信息。
在本申请又一实施例中,目标重识别网络每个分支包括卷积层、采样层/特征嵌入层、分类层,当包括采样层而不包括特征嵌入层时,可将采样层输出的第二特征信息作为当前分支输出的特征信息,当包括特征嵌入层而不包括采样层时,特征嵌入层对卷积层输出的第一特征信息进行处理得到第三特征信息,将第三特征信息作为当前分支输出的特征信息。
图5是本申请目标重识别网络的训练方法第四实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图5所示的流程顺序为限。本实施例是在第二实施例或第三实施例的基础上,对上述S130的进一步扩展。如图5所示,本实施例可以包括:
S410:判断本次训练处于第一训练周期还是第二训练周期。
若处于第一训练周期,执行S420;若处于第二训练周期,执行S430。
其中,第一训练周期和第二训练周期的其中一个为奇数训练周期,另一个为偶数训练周期。
S420:执行利用第二损失函数对当前分支的分类结果进行计算,得到目标重识别网络的第二损失的步骤。
S430:执行利用第一损失函数对当前分支输出的特征信息进行计算和利用第二损失函数对当前分支的分类结果进行计算的步骤。
本实施例中,由于考虑到第一损失是基于欧式空间约束的特征信息计算的,第二损失是基于球面空间约束的特征信息计算的,如果同时在两种空间上对网络进行训练,会导致难度增加,因此可以在上述第三实施例的基础上,为目标重识别网络训练过程设定训练周期,并利用优化器(例如Adam、Momentum、AdaGrad、SGD等)对目标重识别网络进行指定周期次数的训练。其中,若处于第一训练周期,则计算目标重识别网络的第一损失,若处于第二训练周期,则计算目标重识别网络的第二损失,减小对目标重识别网络的训练难度。
区别于上述第四实施例,在其他实施例中,也可以在第一训练周期执行利用第一损失函数对当前分支输出的特征信息进行计算得到第一损失的步骤,而在第二训练周期执行利用第一损失函数对当前分支输出的特征信息进行计算和利用第二损失函数对当前分支的分类结果进行计算的步骤。
通过上述实施例训练好的目标重识别网络可以用于对待识别图像进行识别,以在底库中检索出与待识别图像匹配的参考图像。与待识别图像匹配的参考图像中目标与待识别图像中目标相同,或者相似度达到预设相似度阈值。
参阅图6,图6是本申请目标重识别方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。如图6所示,本实施例可以包括:
S510:获取待识别图像和参考图像。
其中,参考图像包括预设目标。
参考图像可以为底库中的图像,其中包括的目标信息已知,参考图像可以为一张或多张。待识别图像可以为一张、也可以为多张。本实施例后续步骤中以待识别图像为一张、参考图像为多张进行说明。
S520:利用目标重识别网络分别对待识别图像和参考图像进行识别,以得到待识别图像的第一特征信息和参考图像的第二特征信息。
其中,目标重识别网络包括多个分支,且特征信息包括目标重识别网络各分支输出的特征信息,目标重识别网络的其中一个分支输出的特征信息包括n个局部特征信息,n个局部特征信息对应输入图像的不同区域,n大于3。
待识别图像的第一特征信息包括目标重识别网络各分支输出的待识别图像的特征信息,第二特征信息包括各分支输出的参考图像的特征信息。此处所指待识别图像的特征信息是单张待识别图像的特征信息,参考图像的特征信息是单张参考图像的特征信息。
本实施例涉及的目标重识别网络可以但不限于为通过上述训练方法得到的目标重识别网络。
S530:将每个分支输出的同一图像的特征信息进行融合,得到待识别图像的融合特征信息和参考图像的融合特征信息。
对每个分支输出的待识别图像的全局/局部特征信息进行级联和归一化处理,可得到待识别图像的融合信息,对每个分支输出的同一参考图像的全局/局部特征信息进行融合,可得到每张参考图像的特征融合信息。
S540:基于待识别图像的融合特征信息和参考图像的融合特征信息之间的相似度,确定待识别图像是否包括预设目标。
分别计算待识别图像的融合特征信息与每张参考图像的融合特征信息之间的相似度。由于特征经过了归一化处理,因此可以使用欧式距离来计算相似度,也可以使用余弦距离来计算相似度。以余弦距离计算相似度为例进行说明,计算相似度的公式如下:
可根据计算得到的相似度确定待识别图像是否包括预设目标。例如,当待识别图像与参考图像相似度等于1或者大于预设第一相似度阈值时,认为待识别图中包括当前参考图像中的预设目标;当待识别图像与参考图像相似度等于0或者小于预设第二相似度阈值时,认为待识别图中不包括当前参考图像中的预设目标,其中预设第一相似度阈值大于预设第二相似度阈值。又如,在计算出相似度之后,可以按照相似度大小对参考图像进行排序,并将排序结果作为返回的结果,当然,也可以将排序靠前的预设数量的或者相似度最大的参考图像作为结果返回,从而能够实现排序结果和分值可视化。其中,排序结果能够体现待识别图像中目标为参考图像中预设目标的可能性高低。
图7是本申请电子设备一实施例的结构示意图。如图7所示,该电子设备包括处理器610、与处理器耦接的存储器620。
其中,存储器620存储有用于实现上述任一实施例的方法的程序指令;处理器610用于执行存储器620存储的程序指令以实现上述方法实施例的步骤。其中,处理器610还可以称为CPU(Central Processing Unit,中央处理单元)。处理器610可能是一种集成电路芯片,具有信号的处理能力。处理器610还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图8是本申请存储介质一实施例的结构示意图。如图8所示,本申请实施例的存储介质700存储有程序指令710,该程序指令710被执行时实现本申请上述实施例提供的方法。其中,该程序指令710可以形成程序文件以软件产品的形式存储在上述存储介质700中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质700包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (14)
1.一种目标重识别网络的训练方法,其特征在于,包括:
获取训练图像集,其中,所述训练图像集中包括多张训练图像;
利用所述目标重识别网络对所述训练图像集中每张所述训练图像进行识别,以得到每张所述训练图像的识别结果,其中,所述目标重识别网络包括n个分支,每个所述分支包括n个卷积层,所述n个分支包括第一分支、第二分支、第三分支和第四分支,且每个所述分支包括第一卷积层、第二卷积层、第三卷积层和第四卷积层,其中,所述第二分支与所述第一分支共享所述第一卷积层和第二卷积层,所述第三分支和所述第二分支共享所述第一卷积层、第二卷积层和第三卷积层,所述第四分支与所述第一分支共享所述第一卷积层、第二卷积层和第三卷积层,每张所述训练图像的所述识别结果包括每个所述分支输出的特征信息以及与所述特征信息对应的分类结果,并且其中一个分支输出的所述特征信息包括n个局部特征信息,所述n大于3,所述n个局部特征信息对应所述训练图像不同图像区域;
基于所述训练图像的识别结果,调整所述目标重识别网络每个所述分支的参数。
2.根据权利要求1所述的方法,其特征在于,
第一分支输出的所述特征信息不包括所述局部特征信息,第i分支输出的所述特征信息包括i个所述局部特征信息,所述第i分支的所述i个局部特征信息对应的图像区域能够覆盖所述训练图像,i大于1且小于或等于n;
和/或,每个所述分支输出的所述特征信息均包括全局特征信息。
3.根据权利要求1所述的方法,其特征在于,所述基于所述训练图像的识别结果,调整所述目标重识别网络每个所述分支的参数,包括:
基于所述训练图像的识别结果,计算所述目标重识别网络所述每个分支的损失;
基于所述损失,调整所述目标重识别网络所述每个分支的参数。
4.根据权利要求3所述的方法,其特征在于,
所述每个分支还包括采样层和特征嵌入层,所述利用所述目标重识别网络对所述训练图像集中每张所述训练图像进行识别,以得到每张所述训练图像的识别结果,包括:
利用当前分支的所述卷积层对所述训练图像进行处理,以得到所述训练图像的第一特征信息;
利用所述当前分支的所述采样层对所述第一特征信息进行处理,以得到所述训练图像的第二特征信息;
利用所述当前分支的所述特征嵌入层对所述第二特征信息进行处理,以得到所述训练图像的第三特征信息,并作为所述当前分支输出的所述特征信息;
所述基于所述训练图像的识别结果,得到所述目标重识别网络所述每个分支的损失,包括:
利用第一损失函数对所述当前分支输出的所述特征信息进行计算,得到所述目标重识别网络所述当前分支的第一损失。
5.根据权利要求1所述的方法,其特征在于,
第一分支的最后一个所述卷积层输出的特征信息尺寸小于其他分支的最后一个所述卷积层输出的特征信息尺寸;和/或,
所述n为4。
6.根据权利要求4所述的方法,其特征在于,
所述每个分支还包括分类层,所述利用所述目标重识别网络对所述训练图像集中每张所述训练图像进行识别,以得到每张所述训练图像的识别结果,还包括:
利用所述当前分支的分类层对所述当前分支输出的特征信息进行处理,以得到所述当前分支的分类结果;
所述基于所述训练图像的识别结果,得到所述目标重识别网络所述每个分支的损失,还包括:
利用第二损失函数对所述当前分支的分类结果进行计算,得到所述目标重识别网络所述当前分支的第二损失。
7.根据权利要求6所述的方法,其特征在于,
所述利用所述当前分支的分类层对所述当前分支输出的特征信息进行处理,以得到所述当前分支的分类结果,包括:
基于所述分类层的权重参数,对所述当前分支输出的特征信息进行处理,以得到所述当前分支的分类结果。
9.根据权利要求6所述的方法,其特征在于,所述基于所述损失,调整所述目标重识别网络所述每个分支的参数,包括:
若本次训练处于第一训练周期,则执行所述利用第二损失函数对所述当前分支的分类结果进行计算,得到所述目标重识别网络所述当前分支的第二损失的步骤;
若本次训练处于第二训练周期,则执行所述利用第一损失函数对所述当前分支输出的特征信息进行计算和所述利用第二损失函数对所述当前分支的分类结果进行计算的步骤,以得到所述目标重识别网络的第一损失和第二损失;
其中,所述第一训练周期和第二训练周期的其中一个为奇数训练周期,另一个为偶数训练周期。
10.根据权利要求4或6所述的方法,其特征在于,所述第一损失函数为三元组损失函数,第二损失函数为交叉熵损失函数。
11.一种目标重识别方法,其特征在于,包括:
获取待识别图像和参考图像,其中,所述参考图像包括预设目标;
利用目标重识别网络分别对所述待识别图像和参考图像进行识别,以得到所述待识别图像的特征信息和所述参考图像的特征信息,其中,所述目标重识别网络包括n个分支,每个所述分支包括n个卷积层,所述n个分支包括第一分支、第二分支、第三分支和第四分支,且每个所述分支包括第一卷积层、第二卷积层、第三卷积层和第四卷积层,其中,所述第二分支与所述第一分支共享所述第一卷积层和第二卷积层,所述第三分支和所述第二分支共享所述第一卷积层、第二卷积层和第三卷积层,所述第四分支与所述第一分支共享所述第一卷积层、第二卷积层和第三卷积层,且所述特征信息包括所述目标重识别网络各分支输出的特征信息,所述目标重识别网络的其中一个分支输出的所述特征信息包括n个局部特征信息,所述n个局部特征信息对应输入图像的不同区域,n大于3;
将每个所述分支输出的同一图像的特征信息进行融合,得到所述待识别图像的融合特征信息和所述参考图像的融合特征信息;
基于所述待识别图像的融合特征信息和所述参考图像的融合特征信息之间的相似度,确定所述待识别图像是否包括所述预设目标。
12.根据权利要求11所述的方法,其特征在于,所述目标重识别网络是利用权利要求1-10中任一项方法训练得到的。
13.一种电子设备,其特征在于,包括处理器、与所述处理器连接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-12中任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质存储有程序指令,所述程序指令被执行时实现如权利要求1-12中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010611552.1A CN111814857B (zh) | 2020-06-29 | 2020-06-29 | 目标重识别方法及其网络训练方法、相关装置 |
PCT/CN2020/139349 WO2022001034A1 (en) | 2020-06-29 | 2020-12-25 | Target re-identification method, network training method thereof, and related device |
EP20943739.1A EP4136580A4 (en) | 2020-06-29 | 2020-12-25 | TARGET REIDENTIFICATION METHOD, NETWORK TRAINING METHOD THEREFOR AND ASSOCIATED APPARATUS |
US18/146,450 US20230136547A1 (en) | 2020-06-29 | 2022-12-26 | Target re-identification method, network training method thereof, and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010611552.1A CN111814857B (zh) | 2020-06-29 | 2020-06-29 | 目标重识别方法及其网络训练方法、相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814857A CN111814857A (zh) | 2020-10-23 |
CN111814857B true CN111814857B (zh) | 2021-07-06 |
Family
ID=72856300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010611552.1A Active CN111814857B (zh) | 2020-06-29 | 2020-06-29 | 目标重识别方法及其网络训练方法、相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814857B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4136580A4 (en) * | 2020-06-29 | 2024-01-17 | Zhejiang Dahua Technology Co | TARGET REIDENTIFICATION METHOD, NETWORK TRAINING METHOD THEREFOR AND ASSOCIATED APPARATUS |
CN112257619A (zh) * | 2020-10-27 | 2021-01-22 | 北京澎思科技有限公司 | 一种目标重识别方法、装置、设备及存储介质 |
CN112800978A (zh) * | 2021-01-29 | 2021-05-14 | 北京金山云网络技术有限公司 | 属性识别方法、部位属性提取网络的训练方法和装置 |
CN113255604B (zh) * | 2021-06-29 | 2021-10-15 | 苏州浪潮智能科技有限公司 | 基于深度学习网络的行人重识别方法、装置、设备及介质 |
CN113469102A (zh) * | 2021-07-13 | 2021-10-01 | 浙江大华技术股份有限公司 | 目标对象的重识别方法及装置、存储介质、电子装置 |
CN113255630B (zh) * | 2021-07-15 | 2021-10-15 | 浙江大华技术股份有限公司 | 一种运动目标识别训练方法、运动目标识别方法及装置 |
CN113657167A (zh) * | 2021-07-19 | 2021-11-16 | 浙江大华技术股份有限公司 | 图像重识别方法、设备、电子装置和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109359552A (zh) * | 2018-09-21 | 2019-02-19 | 中山大学 | 一种高效的跨摄像头行人双向跟踪方法 |
CN109871821A (zh) * | 2019-03-04 | 2019-06-11 | 中国科学院重庆绿色智能技术研究院 | 自适应网络的行人重识别方法、装置、设备及存储介质 |
CN109902665A (zh) * | 2019-03-28 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 相似人脸检索方法、装置及存储介质 |
US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
CN110378301A (zh) * | 2019-07-24 | 2019-10-25 | 北京中星微电子有限公司 | 行人重识别方法及系统 |
CN110728263A (zh) * | 2019-10-24 | 2020-01-24 | 中国石油大学(华东) | 一种基于距离选择的强判别特征学习的行人重识别方法 |
CN110765954A (zh) * | 2019-10-24 | 2020-02-07 | 浙江大华技术股份有限公司 | 一种车辆重识别方法、设备及存储装置 |
CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
CN108009512A (zh) * | 2017-12-14 | 2018-05-08 | 西北工业大学 | 一种基于卷积神经网络特征学习的人物再识别方法 |
CN108549926A (zh) * | 2018-03-09 | 2018-09-18 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
CN109766873B (zh) * | 2019-02-01 | 2021-04-06 | 中国人民解放军陆军工程大学 | 一种混合可变形卷积的行人再识别方法 |
CN110084139B (zh) * | 2019-04-04 | 2021-02-26 | 长沙千视通智能科技有限公司 | 一种基于多分支深度学习的车辆重识别方法 |
-
2020
- 2020-06-29 CN CN202010611552.1A patent/CN111814857B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10361802B1 (en) * | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109359552A (zh) * | 2018-09-21 | 2019-02-19 | 中山大学 | 一种高效的跨摄像头行人双向跟踪方法 |
CN109871821A (zh) * | 2019-03-04 | 2019-06-11 | 中国科学院重庆绿色智能技术研究院 | 自适应网络的行人重识别方法、装置、设备及存储介质 |
CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
CN109902665A (zh) * | 2019-03-28 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 相似人脸检索方法、装置及存储介质 |
CN110378301A (zh) * | 2019-07-24 | 2019-10-25 | 北京中星微电子有限公司 | 行人重识别方法及系统 |
CN110728263A (zh) * | 2019-10-24 | 2020-01-24 | 中国石油大学(华东) | 一种基于距离选择的强判别特征学习的行人重识别方法 |
CN110765954A (zh) * | 2019-10-24 | 2020-02-07 | 浙江大华技术股份有限公司 | 一种车辆重识别方法、设备及存储装置 |
CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
Non-Patent Citations (2)
Title |
---|
《基于深度学习的行人重识别算法研究》;姚乐炜;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;全文 * |
Beyond Part Models:Person Retrieval with Refined Part Pooling(and A Strong Convolutional Baseline);Yifan Sun,etc.;《arxiv》;20180109;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814857A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111814857B (zh) | 目标重识别方法及其网络训练方法、相关装置 | |
CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
CN110765860B (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
CN109117879B (zh) | 图像分类方法、装置及系统 | |
CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
Lee et al. | Place recognition using straight lines for vision-based SLAM | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
CN115953665B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
WO2016119076A1 (en) | A method and a system for face recognition | |
Lepsøy et al. | Statistical modelling of outliers for fast visual search | |
WO2016086330A1 (en) | A method and a system for face recognition | |
WO2019128460A1 (zh) | 图像显著性检测方法和装置 | |
CN111814655A (zh) | 目标重识别方法及其网络训练方法、相关装置 | |
US20230136547A1 (en) | Target re-identification method, network training method thereof, and related device | |
CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
CN112115805A (zh) | 带双模态难挖掘三元-中心损失的行人重识别方法及系统 | |
Garcia-Fidalgo et al. | Vision-based topological mapping and localization by means of local invariant features and map refinement | |
CN109961103B (zh) | 特征提取模型的训练方法、图像特征的提取方法及装置 | |
KR20190018274A (ko) | 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
CN111340139B (zh) | 一种图像内容复杂度的判别方法及装置 | |
CN116994319A (zh) | 训练模型的方法和人脸识别方法、设备、介质 | |
CN114463552A (zh) | 迁移学习、行人重识别方法及相关设备 | |
Long et al. | Recognising occluded multi-view actions using local nearest neighbour embedding | |
CN113705329A (zh) | 重识别方法、目标重识别网络的训练方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |