CN114550221A - 一种行人重识别方法、装置、设备及存储介质 - Google Patents
一种行人重识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114550221A CN114550221A CN202210424667.9A CN202210424667A CN114550221A CN 114550221 A CN114550221 A CN 114550221A CN 202210424667 A CN202210424667 A CN 202210424667A CN 114550221 A CN114550221 A CN 114550221A
- Authority
- CN
- China
- Prior art keywords
- data
- pedestrian
- identification
- negative sample
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000000903 blocking effect Effects 0.000 claims abstract description 14
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 210000003141 lower extremity Anatomy 0.000 claims description 5
- 210000001364 upper extremity Anatomy 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 147
- 238000010586 diagram Methods 0.000 description 8
- 238000012216 screening Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像识别技术领域的一种行人重识别方法、装置、设备及存储介质,该方法包括:获取数据集,所述数据集中的数据为无标签的行人图像;对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。可见,本申请能够保证行人重识别准确性的同时,有效降低行人重识别的工作量,提高行人重识别效率。
Description
技术领域
本发明涉及图像识别技术领域,更具体地说,涉及一种行人重识别方法、装置、设备及存储介质。
背景技术
行人重识别(Re-ID)是一种重要的图像识别技术,广泛应用于公安系统、交通监管等领域;行人重识别通过对分布在不同位置的摄像头进行搜索来确定不同摄像头视野中的行人是否是同一个行人。在行人重识别的某些场景下,行人众多,行人图像形成的海量数据需要一一标注,这会带来巨大的工作量,甚至不可实现;因此,如何减少行人重识别所需的工作量,是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种行人重识别方法、装置、设备及存储介质,能够保证行人重识别准确性的同时,有效降低行人重识别的工作量,提高行人重识别效率。
为了实现上述目的,本发明提供如下技术方案:
一种行人重识别方法,包括:
获取数据集,所述数据集中的数据为无标签的行人图像;
对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;
基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。
优选的,基于各数据及相应乱序数据生成分别与各数据对应的负样本数据,包括:
按照下列公式生成分别与各数据对应的负样本数据:
其中,代表第个数据,为权重参数,为第个数据的数据特征,为第个数据的乱序数据的数据特征,为中心样本特征,为第个数据的负样本数据,iter代表当前的迭代次数,sum_iter代表总的迭代次数,K为计算负样本数据所用的数据数量。
优选的,基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,包括:
在无监督学习过程中,按照下列公式计算损失函数loss:
优选的,基于各数据及相应乱序数据生成分别与各数据对应的负样本数据之后,还包括:
将最新生成的负样本数据加入至对比样本队列中;其中,所述对比样本队列为先进先出的、长度K的堆栈。
优选的,对所述数据集中各数据分别进行分块处理,包括:
对所述数据集中各数据分别按照行人身高维度按照预设比例进行分块,以使得相应数据中行人的头部、上部肢体及下部肢体分别位于不同的块中。
优选的,对所述数据集中各数据分别进行分块处理之前,还包括:
对所述数据集中的各数据分别进行数据增强处理。
优选的,得到相应的识别网络之后,还包括:
获取所述识别网络在最近预设数量的训练迭代中对应的损失值,并计算所述损失值的平均值;
当确定所述平均值小于预设阈值时,利用所述识别网络提取所述数据集中各数据的数据特征;
采用均值漂移聚类对所述数据集中各数据的数据特征进行聚类,并基于聚类的结果对所述数据集中的数据进行分类;
基于分类的结果确定所述数据集中各数据被抽取的概率,并基于被抽取的概率从所述数据集中抽取数据对所述识别网络继续进行训练。
优选的,基于分类的结果确定所述数据集中各数据被抽取的概率,包括:
按照下列公式计算所述数据集中各数据被抽取的概率:
其中,c表示分类所得第c个类别,j表示第c个类别中的第j个数据,表示第c个类别中第j个数据被抽取的概率,表示第c个类别中距离类中心最远的数据与类中心之间的距离,表示第c个类别中第j个数据与类中心之间的距离;
对计算所得所述数据集中各数据被抽取的概率进行归一化处理。
一种行人重识别装置,包括:
获取模块,用于:获取数据集,所述数据集中的数据为无标签的行人图像;
处理模块,用于:对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;
训练模块,用于:基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。
一种行人重识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一项所述行人重识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述行人重识别方法的步骤。
本发明提供了一种行人重识别方法、装置、设备及存储介质,该方法包括:获取数据集,所述数据集中的数据为无标签的行人图像;对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。本申请在获取到包含有无标签行人图像的数据集后,对数据集中各数据分别进行分块处理及随机排序,得到分别与各数据对应的乱序数据,并基于数据集中各数据及相应乱序数据生成相应的负样本数据,从而基于数据集中各数据及相应乱序数据组成的正样本数据及相应负样本数据进行无监督学习,得到识别网络,以基于识别网络实现行人重识别。可见,本申请能够基于无标签行人图像自动生成相应的乱序数据及负样本数据,进而基于无标签行人图像、乱序数据及负样本数据进行无监督学习得到识别网络,以利用识别网络实现行人重识别,无需对海量数据进行标注,从而能够保证行人重识别准确性的同时,有效降低行人重识别的工作量,提高行人重识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种行人重识别方法的流程图;
图2为本发明实施例提供的一种行人重识别方法中识别网络结构图;
图3为本发明实施例提供的一种行人重识别方法中行人重识别应用图;
图4为本发明实施例提供的一种行人重识别方法中分块示意图;
图5为本发明实施例提供的一种行人重识别方法中数据及相应乱序数据的示意图;
图6为本发明实施例提供的一种行人重识别方法中聚类结果示意图;
图7为本发明实施例提供的一种行人重识别方法中类别最远距离示意图;
图8为本发明实施例提供的一种行人重识别方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明实施例提供的一种行人重识别方法的流程图,具体可以包括:
S11:获取数据集,数据集中的数据为无标签的行人图像。
无监督学习(Semi-Supervised Learning,SSL)使用大量的未标记数据来进行模式识别工作,因此将无监督学习应用到行人重识别中,既可以保证对行人的识别精度,又可以大大减少工作量。
S12:对数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据。
对于数据集中任意数据来说,将该任意数据进行分块,然后将分块后所得的各个部分进行随机排序,得到该任意数据的乱序数据。原始数据与对应的乱序数据组成一对正样本数据。进而对该任意数据及该任意数据的乱序数据进行进一步混合生成相应的负样本数据。由此,本申请实施例可以将数据集中的各数据及相应乱序数据作为正样本数据,以基于各正样本数据及相应的负样本数据实现无监督学习。
S13:基于数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于识别网络进行行人重识别。
本申请实施例中识别网络的结构图可以如图2(其中的样本即为数据,负样本队列即为对比样本队列)所示,在此不对使用的骨干网络进行具体限定。基于各正样本数据及相应负样本数据进行无监督学习,以得到识别网络;并且在无监督学习(即网络训练)完毕后,保存无监督学习得到的各项权重,进而在利用识别网络实现行人重识别时,加载保存的各项权重对行人图像进行最终的匹配。
以图3为例行人重识别应用进行说明,将输入图像1、2、3分别输入到识别网络中,获取识别网络中embedding层(嵌入层)特征,图像1、2、3的embedding层特征构成行人重识别任务的查询数据集;将待查询图像也输入到重识别网络中,获取待查询图像的embedding层特征;将待查询图像的embedding层特征与查询数据集中所有特征进行比对,比对方法就是求待查询图像的embedding层特征与查询数据集中所有特征的距离,即求特征向量距离;确定距离最小的查询数据集中的特征对应图像与待查询图像是同一个人。
本申请在获取到包含有无标签行人图像的数据集后,对数据集中各数据分别进行分块处理及随机排序,得到分别与各数据对应的乱序数据,并基于数据集中各数据及相应乱序数据生成相应的负样本数据,从而基于数据集中各数据及相应乱序数据组成的正样本数据及相应负样本数据进行无监督学习,得到识别网络,以基于识别网络实现行人重识别。可见,本申请能够基于无标签行人图像自动生成相应的乱序数据及负样本数据,进而基于无标签行人图像、乱序数据及负样本数据进行无监督学习得到识别网络,以利用识别网络实现行人重识别,无需对海量数据进行标注,从而能够保证行人重识别准确性的同时,有效降低行人重识别的工作量,提高行人重识别效率。
本发明实施例提供的一种行人重识别方法,对数据集中各数据分别进行分块处理,可以包括:对数据集中各数据分别按照行人身高维度按照预设比例进行分块,以使得相应数据中行人的头部、上部肢体及下部肢体分别位于不同的块中。
对数据集中各数据分别进行分块处理之前,还可以包括:对数据集中的各数据分别进行数据增强处理。
本申请实施例中在进行无监督学习的训练时,可以每次迭代均从数据集N中抽取一个batch(批次)的数据,基于抽取的数据进行相应乱序数据及负样本数据的生成,进而基于抽取的数据、相应乱序数据及相应负样本数据实现当前次迭代训练;其中,batch(批次)的具体数值可以根据实际需要设定,如抽取4个数据构成一个batch。在每次抽取到一个batch(批次)的数据后,对当前次抽取的数据进行数据增强处理,数据增强处理的方法包括但不限于加噪声、旋转、模糊、扣取。并且在当前次抽取的数据进行数据增强处理后,可以将增强后的数据按照Height(行人身高)的维度按比例分块,在本申请实施例中分块比例可以为2:3:5,共分成3块,使得单个数据分块后的各部分分别包含该数据中行人的头部、上部肢体及下步肢体,例如图4所示;进而对分块后的数据进行随机排序得到相应乱序数据,例如图5所示;最终得到数据及相应乱序数据构成一个正样本对,也即一个正样本数据。可见,本申请通过对数据的数据增强处理及分块排序等处理,使得后续学习到的数据特征更加全面准确,进而有助于提高行人重识别的精确性。
本发明实施例提供的一种行人重识别方法,基于各数据及相应乱序数据生成分别与各数据对应的负样本数据,可以包括:
按照下列公式生成分别与各数据对应的负样本数据:
其中,代表第个数据,为权重参数,为第个数据的数据特征,为第个数据的乱序数据的数据特征,为中心样本特征,为第个数据的负样本数据,iter代表当前的迭代次数,sum_iter代表总的迭代次数,K为计算负样本数据所用的数据数量。
可见,在本发明实施例中,负样本数据特征是多融合的,其特征来源于原始数据的特征、乱序数据的特征及中心样本特征,而这些特征在加权后得到负样本数据。应当指出的是,在本发明实施例中,属于模型权重,其数值并非固定,而是会随着模型训练的进行而改变。由于在训练初期,神经网络模型的权重值均会进行随机初始化,而这会导致正样本数据及负样本数据在特征空间中处于无序状态,即简单来讲,正样本对之间的特征距离不一定近,负样本对之间的特征距离不一定远。而这种无序状态将导致模型在训练之初难以收敛。也正是如此,本发明实施例在负样本数据中增加了中心样本特征及该特征对应的权重,其中该特征由参与计算的K个负样本数据平均得到,而该权重在初次迭代时最大,并会随着迭代次数的提升而降低。这是由于在训练之初,为中心样本特征设置较大的权重,可确保中心样本特征在负样本数据中起到主导作用,进而可有效降低训练初期负样本数据在特征空间中的无序情况,并加速模型收敛;而随着训练迭代,网络模型对特征的获取越来越准确,此时为避免中心样本特征对网络模型准确度的影响,应当降低中心样本特征在负样本数据中的占比情况。换而言之,中心样本特征的权重应当随着迭代次数的增加而降低。换而言之,本发明实施例提供了一种中心样本退出机制,其中,中心特征权重下降公式为,该机制可通过权重控制,确保负样本数据的值与训练迭代次数及中心样本相关,在训练前期负样本特征计算主要来源于中心样本特征,而随着训练次数增加,在训练后期压入负样本队列中的特征主要来源于每个样本的负样本特征,进而可有效提升模型训练初期的迭代速率,并可抑制中心样本特征在训练后期对模型准确度的影响。当然,基于相同的思想,也可为正样本设置类似的退出机制,即正样本特征的权重随迭代次数增加而变小。权重变小可通过e指数减小的方式实现,也可通过余弦减小的方式实现,这里不再赘述。简单来说,本发明实施例中的负样本是多结构样本组成的(区别于现有方案),且多结构样本均可设置退出机制,其对应权重可随着迭代次数增加逐渐减少。
基于各数据及相应乱序数据生成分别与各数据对应的负样本数据之后,还包括:将最新生成的负样本数据加入至对比样本队列中;其中,对比样本队列为先进先出的、长度K的堆栈。
每次迭代均从数据集N中抽取一个batch(批次)的数据。
本申请实施例将数据集中各数据及相应乱序数据先后输入到识别网络中进行训练(如图2所示),以获取到各数据及相应乱序数据的embedding层特征作为相应数据或者乱序数据的数据特征;假设第i个数据和相应乱序数据分别经过网络后得到相应的两个数据特征和,这两个数据特征也可以称为相应的正样本对。训练开始后,可以建立对比样本队列,对比样本队列为先进先出的、长度为K的堆栈;然后对于当前次迭代训练从数据集中抽取出的一个batch的数据,将前K个数据经过如下公式的计算,得到相应的负样本数据:
其中,i代表数据集中第i个数据,第i个数据的特征、和经过加权计算得到相应的负样本数据,也即为对比样本队列中的一个样本。经过对上述K个数据的K次计算得到K个负样本数据,并将这K个负样本数据输入到对比样本队列中。每次从当前次迭代训练的一个batch的数据中抽取一个数据,同时从对比样本队列中抽取该数据相应的负样本数据(从对比样本队列中抽取该数据相应的负样本数据后对比样本队列中不再存在该数据相应的负样本数据),然后将该数据、该数据的乱序数据及该数据的负样本数据输入至识别网络中训练,并且训练完成后再从当前次迭代训练的一个batch的数据中抽取下一个数据,直至将当前次迭代训练的一个batch的全部数据均输入至识别网络训练为止。另外,在实现上述训练的同时还会继续实现负样本数据的计算,也即在计算当前次迭代训练的一个batch的数据中前K个数据的负样本数据并输入至对比样本队列中后,还会继续计算当前次迭代训练的一个batch的数据中第K+1、第K+2...第K+n(K+n即为单个batch的数据数量总值)个数据的负样本数据,并在每计算得到一个负样本数据后将该负样本数据输入至对比样本队列中(在对比样本队列中有位置的情况下,或者可以将最早计算并输入至对比样本队列中的负样本数据压出该对比样本队列以获得相应位置)。
本申请实施例是无监督学习,正样本数据和对比样本队列中所有的负样本数据求对比损失;由于识别网络开始是随机初始化的权重,因此正样本数据的特征不一定近,负样本数据的特征不一定远,处于无序状态,因此在计算负样本数据中加入项,可以将其称为中心样本特征。在训练前期,中心样本特征占有很大的权重,随着训练迭代,网络特征获取越来越准确,特征会逐渐减小,具体的计算公式如下:
其中,,iter代表当前的迭代次数,sum_iter代表总的迭代次数。并且,由于训练前期不存在K个负样本数据,也就无法按照上述公式计算,此时可以将预先设定的数值赋值给;从而通过的求解方法和衰减方法,有利于网络快速收敛。
本发明实施例提供的一种行人重识别方法,基于数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,可以包括:
在无监督学习过程中,按照下列公式计算损失函数loss:
其中,Batchsize代表批,即每次从数据集中取出的单次迭代所用的数据数量,k为当前次迭代所用的数据的前K个数据中第k个数据,为当前次迭代所用的数据的前K个数据中第k个数据的负样本数据,为比例参数。
本申请实施例在构建对比样本队列完毕后,开始真正进行网络训练;其中计算损失函数的公式可以如下:
本申请实施例通过以上loss函数对所有无标签数据进行学习,直到所有数据迭代完毕;并且每次计算完loss会通过loss反传,更新识别网络中的权重,从而使得识别网络的模型精度不断提高。
本发明实施例提供的一种行人重识别方法,得到相应的识别网络之后,还可以包括:
获取识别网络在最近预设数量的训练迭代中对应的损失值,并计算损失值的平均值;
当确定平均值小于预设阈值时,利用识别网络提取数据集中各数据的数据特征;
采用均值漂移聚类对数据集中各数据的数据特征进行聚类,并基于聚类的结果对数据集中的数据进行分类;
基于分类的结果确定数据集中各数据被抽取的概率,并基于被抽取的概率从数据集中抽取数据对识别网络继续进行训练。
基于分类的结果确定数据集中各数据被抽取的概率,可以包括:
按照下列公式计算数据集中各数据被抽取的概率:
其中,c表示分类所得第c个类别,j表示第c个类别中的第j个数据,表示第c个类别中第j个数据被抽取的概率,表示第c个类别中距离类中心最远的数据与类中心之间的距离,表示第c个类别中第j个数据与类中心之间的距离;
对计算所得数据集中各数据被抽取的概率进行归一化处理。
可以理解的是,虽然无监督学习通常利用海量数据进行训练,但训练集中各数据的训练难度不同,且不同训练难度的数据在训练集中的分布情况也不同,容易导致模型难以对各训练难度数据均进行有效训练。在一般的训练集中,通常包含多数易于训练的普通数据及少数难以训练的困难数据。由于困难数据的数量较少,因此识别网络对这部分数据的训练效果较差,且在识别此类困难数据时也难以达到良好的效果。也正是如此,应当对训练集中的困难数据进行挑选,进而利用困难数据对识别网络进行针对性训练,以提升模型对困难数据的识别效果。基于此,本申请实施例提供了一种样本选择器,可用于筛选困难数据。样本选择器可增加困难数据的训练机会,以使识别网络接触更多的困难数据,进而促进识别网络进一步收敛,以提高网络性能;并且,通过对数据的筛选,还可减少训练数据的总数量,进而可大大减少训练时间,在相同训练时间下可以取得更优的效果,这对于无监督的海量数据训练具有很大的优势。
当然,在介绍样本选择器之前,本发明实施例应当指出的是,该选择器应当在识别网络模型的训练后期使用。换而言之,本发明实施例可对识别网络进行多阶段训练。具体的,在第一阶段,本发明实施例将采用全量数据对识别网络进行训练,以确保该模型能够覆盖训练集中大部分易于识别的数据。而在该网络对训练集的识别效果较为准确时,便可进入第二阶段,即首先利用本发明实施例所提供的样本选择器选择困难样本,并利用困难样本进行再次训练。本发明实施例对识别网络的准确性检测是依照该网络在迭代训练过程中生成的损失值进行的,即本发明实施例会获取识别网络在最近预设数量的迭代生成的损失值,并计算这些损失值的平均值,最后可在确定平均值小于预设阈值时则判定识别网络的准确度满足要求。例如,识别网络在第一阶段总共训练了100次,而预设数量为10,则本发明实施例会取该网络在第91至100次迭代中生成的所有损失值进行平均值计算,以此确定识别网络的准确性。需要说明的是,本发明实施例并不限定预设数量及预设阈值的具体数值,可根据实际应用需求进行设定。
具体来说,样本选择器的数据筛选方法可以包括:
B) 采用均值漂移聚类对数据集中所有数据的数据特征进行聚类,均值漂移聚类是基于滑动窗口的算法来找到数据点(数据特征)的密集区域,其是一个基于质心的算法,通过将中心点的候选点更新为滑动窗口内点的均值来定位每个类的中心点,然后对这些候选窗口进行相似窗口进行去除,最终形成中心点集及相应的分组,从而只需要设定中心点的向量和聚类半径、不需要确定要聚成几类,算法即可自动归纳分类。本申请实施例中的聚类步骤可以包括:
1. 确定滑动窗口半径r,以随机选取的中心点C、半径为r的圆形滑动窗口开始滑动;其中,均值漂移类似一种爬山算法,在每一次迭代中向密度更高的区域移动,直到收敛;
2. 每一次滑动到新的区域,计算滑动窗口内的均值作为中心点,滑动窗口内的点的数量为窗口内的密度;并且,在每一次移动中窗口会向密度更高的区域移动;
3. 移动窗口,计算窗口内的中心点以及窗口内数据点的密度,直到没有方向在窗口内可以容纳更多的点,即一直移动到圆内密度不再增加为止;
4. 步骤1到3会产生很多个滑动窗口,当多个滑动窗口重叠时,保留包含最多点的窗口,然后根据数据点所在的滑动窗口进行聚类,得到的结果可以如图6所示;
C) 根据各聚类中心对所有数据类别进行分类,得到多个类别的数据;分类方法采用最近邻聚类,也即判断数据离哪个聚类中心近,该数据就属于哪一类。
在实现上述聚类后,可以求取每个数据在下次训练时被抽取的概率,具体的实现步骤可以包括:遍历所有类别的数据,得到每个类别的最远距离(如图7所示),也即对于任意类别的数据来说求取距离该任意类别的类中心最远的数据的距离作为该任意类别的最远距离,记为(即图7中的D),下标c代表第c个类别;按照求取被抽取概率的公式求取第c个类别中第j个数据被抽取的概率:
其中,c表示分类所得第c个类别,j表示第c个类别中的第j个数据,表示第c个类别中第j个数据被抽取的概率,表示第c个类别中距离类中心最远的数据与类中心之间的距离,表示第c个类别中第j个数据与类中心之间的距离;最后将所有数据的值进行归一化。
值得指出的是,上述概率与数据和类中心之间的距离成正比,即距离越大则概率越大。这是由于该距离反映了识别网络提取各数据特征的能力大小,当距离越大时,则说明该网络对相应数据的特征提取能力越弱,即说明该数据对于该网络而言属于困难数据,更应当被网络训练;反之,则说明数据属于普通数据,应当减少被网络训练的机会。因此,对于距离较大的数据,应当设置较大的概率,以提升该数据被网络训练的几率。
在计算得到数据集中各数据被抽取的概率后,按照各数据的概率抽取数据集中各数据继续对识别网络进行训练。例如:第二轮训练的时候抽取所有数据的1/2,由于本算法的优势会使远离中心的数据以很大的概率被抽取到,而靠近中心的样本被抽中的概率很小。
本申请实施例能够使远离类中心的数据在本轮训练中占比更大,从而增加训练难度,进一步提高网络精度,减少训练所用数据量,减少总训练时间。
在一种具体实现方式中,本发明实施例提供的一种行人重识别方法具体可以包括以下步骤:
(1)获取无标签数据集记为N。
(2)从数据集N中抽取一个batch(批次)的数据,对抽取的数据进行数据增强处理,然后对进行数据增强处理后的各数据分别进行分块及随机排序,得到相应的乱序数据。
(3)将数据集中的各数据及相应乱序数据先后输入到识别网络中进行训练,获取各数据及各乱序数据的embedding层特征作为相应数据特征。
(4)训练开始,首先建立对比样本队列,计算当前抽取的数据中前K个数据的负样本数据,并将这K个负样本数据输入到对比样本队列中;该对比样本队列是先进先出的堆栈,后面在训练中每个数据都会输入到对比样本队列中,并将最早计算的负样本数据压出该对比样本队列。
(5)构建对比样本队列完毕后开始真正进行网络训练。计算损失函数,通过损失函数对所有无标签数据进行学习,直到所有数据迭代完毕;并且每次计算完损失函数后会通过损失函数反传,更新识别网络的权重,使网络精度不断提高。
(6)前面5步已经使识别网络训练到比较好的状态,本步骤中利用已经训练好的识别网络对数据集中的数据进行数据筛选,得到数据集中各数据被抽取的概率,进而基于该概率实现数据抽取及对识别网络的继续训练。
本申请先对无标签的数据进行处理,使用处理后的数据训练网络,同时还可以在训练过程中筛选更有效的数据,提升网络训练效率;从而通过将无监督学习应用到行人重识别中,既可以保证对行人的识别精度,又可以大大减少工作量。
本发明实施例还提供了一种行人重识别装置,如图8所示,可以包括:
获取模块11,用于:获取数据集,数据集中的数据为无标签的行人图像;
处理模块12,用于:对数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;
训练模块13,用于:基于数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于识别网络进行行人重识别。
本发明实施例提供的一种行人重识别装置,处理模块可以包括:
负样本获取单元,用于:按照下列公式生成分别与各数据对应的负样本数据:
其中,代表第个数据,为权重参数,为第个数据的数据特征,为第个数据的乱序数据的数据特征,为中心样本特征,为第个数据的负样本数据,iter代表当前的迭代次数,sum_iter代表总的迭代次数,K为计算负样本数据所用的数据数量。
本发明实施例提供的一种行人重识别装置,训练模块可以包括:
损失函数计算单元,用于:在无监督学习过程中,按照下列公式计算损失函数loss:
本发明实施例提供的一种行人重识别装置,还可以包括:
存储模块,用于:基于各数据及相应乱序数据生成分别与各数据对应的负样本数据之后,将最新生成的负样本数据加入至对比样本队列中;其中,对比样本队列为先进先出的、长度K的堆栈。
本发明实施例提供的一种行人重识别装置,处理模块可以包括:
分块单元,用于:对数据集中各数据分别按照行人身高维度按照预设比例进行分块,以使得相应数据中行人的头部、上部肢体及下部肢体分别位于不同的块中。
本发明实施例提供的一种行人重识别装置,还可以包括:
数据增强模块,用于:对数据集中各数据分别进行分块处理之前,对数据集中的各数据分别进行数据增强处理。
本发明实施例提供的一种行人重识别装置,还可以包括:
筛选模块,用于:得到相应的识别网络之后,获取识别网络在最近预设数量的训练迭代中对应的损失值,并计算损失值的平均值;当确定平均值小于预设阈值时,利用识别网络提取数据集中各数据的数据特征;采用均值漂移聚类对数据集中各数据的数据特征进行聚类,并基于聚类的结果对数据集中的数据进行分类;基于分类的结果确定数据集中各数据被抽取的概率,并基于被抽取的概率从数据集中抽取数据对识别网络继续进行训练。
本发明实施例提供的一种行人重识别装置,筛选模块可以包括:
概率计算单元,用于:按照下列公式计算数据集中各数据被抽取的概率:
其中,c表示分类所得第c个类别,j表示第c个类别中的第j个数据,表示第c个类别中第j个数据被抽取的概率,表示第c个类别中距离类中心最远的数据与类中心之间的距离,表示第c个类别中第j个数据与类中心之间的距离;
对计算所得数据集中各数据被抽取的概率进行归一化处理。
本发明实施例还提供了一种行人重识别设备,可以包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上任一项行人重识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可以实现如上任一项行人重识别方法的步骤。
需要说明的是,本发明实施例提供的一种行人重识别装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种行人重识别方法中对应部分的详细说明,在此不再赘述。另外,本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种行人重识别方法,其特征在于,包括:
获取数据集,所述数据集中的数据为无标签的行人图像;
对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;
基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。
4.根据权利要求3所述的方法,其特征在于,基于各数据及相应乱序数据生成分别与各数据对应的负样本数据之后,还包括:
将最新生成的负样本数据加入至对比样本队列中;其中,所述对比样本队列为先进先出的、长度K的堆栈。
5.根据权利要求1所述的方法,其特征在于,对所述数据集中各数据分别进行分块处理,包括:
对所述数据集中各数据分别按照行人身高维度按照预设比例进行分块,以使得相应数据中行人的头部、上部肢体及下部肢体分别位于不同的块中。
6.根据权利要求5所述的方法,其特征在于,对所述数据集中各数据分别进行分块处理之前,还包括:
对所述数据集中的各数据分别进行数据增强处理。
7.根据权利要求1至6任一项所述的方法,其特征在于,得到相应的识别网络之后,还包括:
获取所述识别网络在最近预设数量的训练迭代中对应的损失值,并计算所述损失值的平均值;
当确定所述平均值小于预设阈值时,利用所述识别网络提取所述数据集中各数据的数据特征;
采用均值漂移聚类对所述数据集中各数据的数据特征进行聚类,并基于聚类的结果对所述数据集中的数据进行分类;
基于分类的结果确定所述数据集中各数据被抽取的概率,并基于被抽取的概率从所述数据集中抽取数据对所述识别网络继续进行训练。
9.一种行人重识别装置,其特征在于,包括:
获取模块,用于:获取数据集,所述数据集中的数据为无标签的行人图像;
处理模块,用于:对所述数据集中各数据分别进行分块处理,将各分块后的数据分别进行随机排序得到分别与各数据对应的乱序数据,并基于各数据及相应乱序数据生成分别与各数据对应的负样本数据;
训练模块,用于:基于所述数据集中各数据、各数据的乱序数据及各数据的负样本数据进行无监督学习,得到相应的识别网络,并基于所述识别网络进行行人重识别。
10.一种行人重识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至8任一项所述行人重识别方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述行人重识别方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210424667.9A CN114550221B (zh) | 2022-04-22 | 2022-04-22 | 一种行人重识别方法、装置、设备及存储介质 |
PCT/CN2022/111350 WO2023201932A1 (zh) | 2022-04-22 | 2022-08-10 | 一种行人重识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210424667.9A CN114550221B (zh) | 2022-04-22 | 2022-04-22 | 一种行人重识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114550221A true CN114550221A (zh) | 2022-05-27 |
CN114550221B CN114550221B (zh) | 2022-07-22 |
Family
ID=81666977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210424667.9A Active CN114550221B (zh) | 2022-04-22 | 2022-04-22 | 一种行人重识别方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114550221B (zh) |
WO (1) | WO2023201932A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023201932A1 (zh) * | 2022-04-22 | 2023-10-26 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180204076A1 (en) * | 2017-01-13 | 2018-07-19 | The Regents Of The University Of California | Moving object detection and classification image analysis methods and systems |
CN108898047A (zh) * | 2018-04-27 | 2018-11-27 | 中国科学院自动化研究所 | 基于分块遮挡感知的行人检测方法及系统 |
CN113255573A (zh) * | 2021-06-17 | 2021-08-13 | 成都东方天呈智能科技有限公司 | 基于混合簇中心标签学习的行人重识别方法和存储介质 |
CN113822262A (zh) * | 2021-11-25 | 2021-12-21 | 之江实验室 | 一种基于无监督学习的行人重识别方法 |
CN113989835A (zh) * | 2021-10-19 | 2022-01-28 | 京北方信息技术股份有限公司 | 一种人员重识别方法、装置、计算机设备以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263697A (zh) * | 2019-06-17 | 2019-09-20 | 哈尔滨工业大学(深圳) | 基于无监督学习的行人重识别方法、装置及介质 |
CN113065516B (zh) * | 2021-04-22 | 2023-12-01 | 中国矿业大学 | 一种基于样本分离的无监督行人重识别系统及方法 |
CN114550221B (zh) * | 2022-04-22 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
-
2022
- 2022-04-22 CN CN202210424667.9A patent/CN114550221B/zh active Active
- 2022-08-10 WO PCT/CN2022/111350 patent/WO2023201932A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180204076A1 (en) * | 2017-01-13 | 2018-07-19 | The Regents Of The University Of California | Moving object detection and classification image analysis methods and systems |
CN108898047A (zh) * | 2018-04-27 | 2018-11-27 | 中国科学院自动化研究所 | 基于分块遮挡感知的行人检测方法及系统 |
CN113255573A (zh) * | 2021-06-17 | 2021-08-13 | 成都东方天呈智能科技有限公司 | 基于混合簇中心标签学习的行人重识别方法和存储介质 |
CN113989835A (zh) * | 2021-10-19 | 2022-01-28 | 京北方信息技术股份有限公司 | 一种人员重识别方法、装置、计算机设备以及存储介质 |
CN113822262A (zh) * | 2021-11-25 | 2021-12-21 | 之江实验室 | 一种基于无监督学习的行人重识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023201932A1 (zh) * | 2022-04-22 | 2023-10-26 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023201932A1 (zh) | 2023-10-26 |
CN114550221B (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN102346847B (zh) | 一种支持向量机的车牌字符识别方法 | |
CN107247956B (zh) | 一种基于网格判断的快速目标检测方法 | |
US10002290B2 (en) | Learning device and learning method for object detection | |
CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
CN110197502B (zh) | 一种基于身份再识别的多目标跟踪方法及系统 | |
CN109873779B (zh) | 一种基于lstm的分级式无线信号调制类型识别方法 | |
CN110414367B (zh) | 一种基于gan和ssn的时序行为检测方法 | |
US20110235901A1 (en) | Method, apparatus, and program for generating classifiers | |
CN116166960B (zh) | 用于神经网络训练的大数据特征清洗方法及系统 | |
CN110929848A (zh) | 基于多挑战感知学习模型的训练、跟踪方法 | |
CN105930792A (zh) | 一种基于视频局部特征字典的人体动作分类方法 | |
Tavallali et al. | An efficient training procedure for viola-jones face detector | |
CN114550221B (zh) | 一种行人重识别方法、装置、设备及存储介质 | |
CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
Ahlawat et al. | A genetic algorithm based feature selection for handwritten digit recognition | |
CN112613474B (zh) | 一种行人重识别的方法和装置 | |
CN110619255B (zh) | 一种目标检测方法及其装置 | |
CN114359632A (zh) | 一种基于改进PointNet++神经网络的点云目标分类方法 | |
Serdouk et al. | An improved artificial immune recognition system for off-line handwritten signature verification | |
CN116229512A (zh) | 基于跨摄像头自蒸馏的行人重识别模型建立方法及其应用 | |
CN111860383B (zh) | 一种群体异常行为识别方法、装置、设备及存储介质 | |
CN111428064B (zh) | 小面积指纹图像快速索引方法、装置、设备及存储介质 | |
CN113378955A (zh) | 一种基于主动学习的入侵检测方法 | |
CN112149666A (zh) | 一种基于深度学习的车辆目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |