CN110222589A

CN110222589A - 一种行人再识别方法及其系统、装置、存储介质

Info

Publication number: CN110222589A
Application number: CN201910406170.2A
Authority: CN
Inventors: 翟懿奎; 植一航; 徐颖; 邓文博; 柯琪锐; 甘俊英; 曾军英; 应自炉
Original assignee: Wuyi University
Current assignee: Wuyi University
Priority date: 2019-05-16
Filing date: 2019-05-16
Publication date: 2019-09-10

Abstract

本发明公开了一种行人再识别方法及其系统、装置、存储介质，首先利用行人图像数据库训练自编码器模型，优化权重矩阵，获得最佳模型。然后利用训练后模型隐藏层的权重矩阵，计算各图像特征得分，按得分从高到低进行特征排序，得到高得分特征。第三步，并行融合得分前三的特征，得到表达能力强且维数低的融合特征。最后，查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，求得最佳匹配结果。本发明通过结合自编码无监督特征选择和并行特征融合，实现无监督行人再识别，可减少人力物力投入，提高寻找目标任务效率。

Description

一种行人再识别方法及其系统、装置、存储介质

技术领域

本发明涉及智能视频监控技术领域，尤其是一种基于图谱和自编码器的无监督特征选择的行人再识别方法及其系统、装置、存储介质。

背景技术

随着人民生活水平的提高，人民对公共安全需求日益提高，公共场所安全问题的热度不断上升。其中利用摄像头结合人眼识别监控，进行犯罪行为报警、嫌疑犯追捕等，已经成为热点之一。

目前的识别方法依赖人眼识别，无法满足实际应用需求，存在以下问题：第一，实际工作中，往往一个人要同时负责多个监控区域，超出了一般人类的极限，导致漏检、误检。第二，长期识别工作对人体有害。长期集中注意力观察电子屏，会导致视疲劳，进而引起视力下降，无论是视疲劳还是近视，都不利于侦查。第三，人工成本高，耗费巨大人力资源。

而随着技术发展，还出现了利用人脸识别追捕方法。此方法在公共交通出行入口，如火车、飞机、城际轨道交通等，设置监控摄像关卡，识别入站者的面部信息，与数据库对比，寻找在逃人员。但是此方法实现条件苛刻，首先面部识别需要清晰端正的人脸正面图像，要求仅适用于车站、飞机场等，需要强制认证交通出行站口。同时，犯人可以通过化妆等方式，改变容貌，降低人脸识别识别率，从而逃避检查。

因此，现有的识别技术需要消耗大量人力物力，无法满足社会日益增长的公共安全需求。

发明内容

为解决上述问题，本发明的目的在于提供一种行人再识别方法及其系统、装置、存储介质，能够结合自编码无监督特征选择和并行特征融合，实现无监督行人再识别，可减少人力物力投入，提高寻找目标任务效率。

本发明解决其问题所采用的技术方案是：

第一方面，本发明实施例提出了一种行人再识别方法，包括：

利用行人图像数据库训练自编码器；

利用自编码器提取行人特征，按得分排序特征；

选取排序前三的特征进行并行融合；

查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果。

进一步，所述利用行人图像数据库训练自编码器，包括：

训练特征选择函数，利用行人图像数据库训练目标模型函数，得到优化后的函数参数。

进一步，所述利用自编码器提取行人特征，按得分排序特征，包括：

利用训练后模型隐藏层的权重矩阵，计算各图像特征得分，按得分从高到低进行特征排序，得到高得分特征。

进一步，所述选取排序前三的特征进行并行融合，包括：

并行融合得分前三的特征，得到表达能力强且维数低的融合特征。

进一步，所述查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果，包括：

查询目标与数据库目标的距离由XQDA和Jaccard距离组成，经过排序最终距离获得最佳行人再识别匹配结果。

第二方面，本发明实施例还提出了一种行人再识别系统，包括：

训练自编码器单元，用于利用行人图像数据库训练自编码器；

特征提取单元，用于利用自编码器提取行人特征，按得分排序特征；

特征融合单元，用于选取排序前三的特征进行并行融合；

特征匹配单元，用于查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果。

第三方面，本发明实施例还提出了一种行人再识别装置，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面所述的方法。

第四方面，本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本发明第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明提供的一种行人再识别方法及其系统、装置、存储介质，首先利用行人图像数据库训练自编码器模型，优化权重矩阵，获得最佳模型。然后利用训练后模型隐藏层的权重矩阵，计算各图像特征得分，按得分从高到低进行特征排序，得到高得分特征。第三步，并行融合得分前三的特征，得到表达能力强且维数低的融合特征。最后，查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，求得最佳匹配结果。本发明通过结合自编码无监督特征选择和并行特征融合，实现无监督行人再识别，可减少人力物力投入，提高寻找目标任务效率。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明第一实施例中行人再识别方法的流程图；

图2-图3是本发明第一实施例中行人再识别方法的原理示意图；

图4是本发明第二实施例中行人再识别系统的结构简图；

图5是本发明第三实施例中行人再识别装置的结构简图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

下面结合附图，对本发明实施例作进一步阐述。

参照图1，本发明的第一实施例提供了一种行人再识别方法，包括但不限于以下步骤：

S100：利用行人图像数据库训练自编码器；

S200：利用自编码器提取行人特征，按得分排序特征；

S300：选取排序前三的特征进行并行融合；

S400：查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果。

其中，利用行人图像数据库训练自编码器，包括训练特征选择函数，利用行人图像数据库训练目标模型函数，得到优化后的函数参数。在本实施例中，目标模型函数包括三部分：单层自编码器函数、正则化函数和谱图分析函数。

单层自编码器函数通过降低输入与输出之间的误差保存类别全局特征，同时通过转换矩阵丢弃无用信息，保留有用信息，降低计算复杂性，其误差驱动损失函数如下：

其中，X＝[X⁽¹⁾，X⁽²⁾，…，X⁽ⁿ⁾]∈R^d×n，d代表数据的维度，n代表X的像素个数，X(i)代表数据库第i个像素。θ＝[W₁，W₂，b₁，b₂]，W₁和W₂，分别是隐藏层和输出层权重矩阵，b1和b2分别是隐藏层和输出层偏移量。这里以sigmoid函数作为激活函数，σ(z)＝1/(1+exp(-z))。

正则化函数使用l_2，1范数，计算转换矩阵W1的稀疏性，正则化函数如下：

R(Θ)＝||W₁||_2，1 (2)

谱图分析函数通过计算数据的kNN图谱G，保存G邻接矩阵A如下：

其中Nk(X(i))是X(i)中的k近邻子集。

图谱G拉普拉斯矩阵L＝D-A，其中D是对角矩阵，

最终图谱G目标方程为：

其中Y⁽ⁱ⁾(Θ)＝σ(W₁x⁽ⁱ⁾+b₁)，i＝1，2，…，n。

最后，基于图谱和自编码器无监督特征选择的目标函数如下：

λ和γ是平衡参数。训练中通过反向传递修正Θ的参数，得到使值最小的Θ。

训练优化过程中，各参数梯度如下：

其中

特征得分为

Score(p)＝||W₁ ^p||₂for p＝1，2，…，d； (7)

综上，基于图谱和自编码器的无监督特征选择算法如下，如图2 所示：

输入：高维行人数据集X＝[X⁽¹⁾，X⁽²⁾，…，X⁽ⁿ⁾]∈R^d×n；近邻数值k；隐藏层数m；平衡参数λ，γ；保留的特征数n_F。

输出：选择特征索引集

阶段1：构造图谱

1：由公式(3)的邻接矩阵A构造kNN图G；

2：通过图G计算拉普拉斯矩阵L；

阶段2：目标优化

3：通过公式(6)优化公式(5)；

阶段3：

4：通过公式(7)计算所有特征得分；

5：按得分从高到低排序得分，最后返回n_F个最高得分特征。

特征提取和选择方法如图3所示，由上一步得到的特征得分函数 Score(p)计量各特征得分，由高到低排序，用得分前二的W1提取特征向量将查询目标输入特征提取函数提取进行下一步特征融合。

并行特征融合将两个最佳特征向量融合为一个复杂特征向量 σ是虚单位。由于和的维数不相等，为了使和维度相等，用零填充低维元素。例如，假设和首先转换成(f_b1，f_b2，0)^T，组合结果表示为 f＝(f_a1+σf_b1，f_a2+σf_b2，f_a3+σ0)^T。因此它是一个q维复杂向量空间，其中q＝max{a，b}，其内积定义为

(F_a，F_b)＝F_a ^HF_b (8)

其中H是共轭转置。由内积定义的复矢量空间通常称为酉空间。其标准化可以如下引入

其中L＝(f_a1+σf₂₁，f_a2+σf_b2，…，f_an+σf_bn)^T。

在组合后线性特征提取过程中，为了平衡高维和低维特征之间特征数量，将特征分别在合并前初始化，并采用加权值进行组合。和是和的单位向量。其并行组合由或表示，其中θ称为组合系数。加权组合特征满足以下特性：

1)如果θ≠0，并行组合特征等价于

2)如果θ→0，融合特征等价于单个特征

3)当θ→∞(θ≠∞)，融合特征等价单个特征

假设和的维数是a和b，如果a＝b，那么θ＝1；如果a＞b，那么θ＝a²/b²。当两个特征向量长度不一致时，特征向量生成的散度特征大小为a×a，生成的散度特征大小为b×b，组合的系数θ是a/b的平方。

最后，通过比较k倒数最近邻集，计算查询目标和数据库目标序列的相似度。所查询图片和数据库目标序列之间最后距离由XQDA和 Jaccard距离组成。先由XQDA得到原始距离。

其中p是待查询图像，gi表示数据库的第i个目标，表示核矩阵，Δ_I和Δ_E表示类内和类间变量，并且W是交叉视角数据的子空间 p的k倒数近邻排序表示为R_p(g_i)。当试图测量两个人之间的相似性时很难区分足够的环境信息。因此，有效的重排成分是将k倒数近邻集编码为新的g_i维特征其中由二元指示函数定义为

其中S(，)是直接计算原始距离的相似函数，定义为

其中k与公式(5.15)一样，用k₁表示，同样，每个新特征的被编码促进近邻增强

通过上述方法，通过自编码无监督特征选择和并行特征融合，实现无监督行人再识别，减少了人力物力投入，提高了寻找目标任务效率。行人再识别可以实现在大型监控区域对行人目标跨相机轨迹跟踪、轨迹预测等。从社会安全角度出发，行人再识别技术能迅速识别出数据库中的逃犯，提高抓捕效率，保障了公共场所安全。同时，利用摄像头结合行人再识别技术代替了人工识别，不仅识别效率得到显著提高，还节省了大量人力物力，具有极高的应用价值和实际需求。

另外，参照图4，本发明的第二实施例提供了一种行人再识别系统，包括：

训练自编码器单元110，用于利用行人图像数据库训练自编码器；

特征提取单元120，用于利用自编码器提取行人特征，按得分排序特征；

特征融合单元130，用于选取排序前三的特征进行并行融合；

特征匹配单元140，用于查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果。

本实施例中的行人再识别系统与第一实施例中的行人再识别方法基于相同的发明构思，因此，本实施例中的行人再识别系统具有相同的有益效果：训练自编码器单元110利用行人图像数据库训练自编码器，特征提取单元120利用自编码器提取行人特征，按得分排序特征，特征融合单元130选取排序前三的特征进行并行融合，特征匹配单元140查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果。本系统通过结合自编码无监督特征选择和并行特征融合，实现无监督行人再识别，可减少人力物力投入，提高寻找目标任务效率。

参照图5，本发明的第三实施例还提供了一种行人再识别装置，包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述第一实施例中任意一种行人再识别方法。

该装置200可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

处理器和存储器可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的人脸识别模型构建方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行装置200 的各种功能应用以及数据处理，即实现上述任一方法实施例的行人再识别方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置200的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该装置200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的行人再识别方法，例如，执行以上描述的第一实施例中的方法步骤S100至S400。

本发明的第四实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图5中的一个处理器执行，可使得上述一个或多个处理器执行上述方法实施例中的一种行人再识别方法，例如第一实施例中的方法步骤S100至S400。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体 (Random Access Memory，RAM)等。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种行人再识别方法，其特征在于，包括：

利用行人图像数据库训练自编码器；

利用自编码器提取行人特征，按得分排序特征；

选取排序前三的特征进行并行融合；

2.根据权利要求1所述的一种行人再识别方法，其特征在于，所述利用行人图像数据库训练自编码器，包括：

3.根据权利要求2所述的一种行人再识别方法，其特征在于，所述目标模型函数包括单层自编码器函数、正则化函数和谱图分析函数。

4.根据权利要求1所述的一种行人再识别方法，其特征在于，所述利用自编码器提取行人特征，按得分排序特征，包括：

5.根据权利要求1所述的一种行人再识别方法，其特征在于，所述选取排序前三的特征进行并行融合，包括：

6.根据权利要求1所述的一种行人再识别方法，其特征在于，所述查询图像和数据库中的一个目标序列相似度，按相似度从高到低排序，获得最佳特征匹配结果，包括：

7.一种行人再识别系统，其特征在于，包括：

特征融合单元，用于选取排序前三的特征进行并行融合；

8.一种行人再识别装置，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-6任一项所述的方法。