CN106599807A - 一种基于自编码的行人检索方法 - Google Patents

Abstract

本发明提供了一种基于自编码的行人检索方法，其特征在于，包括步骤：a)构建深度自编码网络，采用逐层贪婪的算法训练深度自编码网络；b)去掉深度自编码图像重构部分，获取自编码特征提取模型；c)采用自编码特征提取模型提取特征，利用行人的自编码特征和标签训练XQDA度量模型；d)视频实时结构化处理：视频录像时实时抓拍得到行人目标，采用自编码特征提取并经XQDA变换到子空间，检索库保存图像在XQDA变换后的特征向量；e)输入检索对象，采用自编码特征提取并经XQDA变换，计算检索对象特征和检索库中特征的距离。

Description

一种基于自编码的行人检索方法

技术领域

本发明涉及人工智能、机器学习、视频检索、统计学等技术领域，具体涉及一种深度学习自编码快速提取特征的方法在行人检索这一智能化监控视频分析技术中的应用。

背景技术

在智能化监控视频分析应用中，视频分辨率普遍较低，通过人脸信息不足以进行身份的辨别，因此采取通过比较人的外貌如衣服、裤子的相似程度来确定不同视角下拍摄的对旬是否为相同人。这种方法来进行人识别是基于人在短时间内不会变更自身的外貌着装的假设下进行的，跨摄像头行人检索正是基于行人的外貌着装相似程度确定行人在监控视频中出现的片段，为侦查人员提供了方面。在图像侦查的领域，跨摄像头行人检索具有重大的应用价值。

深度学习(deep learning)是机器学习研究中的一个新领域，可以简单理解为神经网络的发展。深度学习的优势地方就在于它可以通过学习来组合低层特征，将它们抽象成高层特征(属性)，这样就可以发现复杂大数据的分布式特征。Hinton等人非监督贪心逐层训练算法训练深度信念网络，在一定程度上解决了优化深层网络结构的难题，随后他们又提出多层自动编码器这种深层结构。另外Lecun等人提出了卷积神经网络这种网络能够提高BP算法的学习效率，原理就是利用网络结构的相对空间关系来减少参数。除此之外，深度学习还衍生出其它的变形结构，例如去噪自动编码器、DCN网络、sum product等。

行人检索必须备有行人特征库，要求在监控视频存储的同时对视频进行结构化处理，即抓拍得到行人目标，并且对行人目标图像提取特征以及量化存储以供在线检索。行人抓拍不属于本发明的内容，本发明内容即在抓拍后的行人目标的基础上进行实时特征提取。目前的特征方面包括SIFT、GIST等在检索精确上受限，而基于卷积神经的深度学习方法具有高复杂度，在实际应用中做不到对高清视频的实时处理。本发明采用AutoEncoder模型实时对监控视频进行结构化处理，并应用于行人检索。

发明内容

本发明提供了一种基于自编码的行人检索方法，其特征在于，包括步骤：a)构建深度自编码网络，采用逐层贪婪的算法训练深度自编码网络；b)去掉深度自编码图像重构部分，获取自编码特征提取模型；c)采用自编码特征提取模型提取特征，利用行人的自编码特征和标签训练XQDA度量模型；d)视频实时结构化处理：视频录像时实时抓捕得到行人目标，采用自编码特征提取并经XQDA变换到子空间，检索库保存图像在XQDA变换后的特征向量；e)输入检索对象，采用自编码特征提取并经XQDA变换，计算检索对象特征和检索库中特征的距离。

优选地，所述步骤a)的训练深度自编码网络包括逐层训练和整体微调。

优选地，所述步骤a)的具体步骤为：

a1)选取行人训练样本X＝(x₁,x₂,...,x_n)∈R^d×n,即n个d维的训练集。构造第一自编码：

设编码层的权重矩阵W₁ ^A和偏移解码层的权重矩阵W₁ ^R和偏移以行人样本作为输入训练自编码使得输出与输入相同，其第一目标函数如公式所示：

其中为sigmoid函数；

a2)采用误差反馈传播算法优化第一目标函数，收敛后获取隐藏层h⁽¹⁾为第一层提取的特征；

a3)构造第二自动编码器：

设编码层的权重和偏移解码层的权重和偏移将步骤a2得到的特征h⁽¹⁾作为输入，使得输出与输入尽可能相同，其第二目标函数

其中为sigmoid函数；

a4)采用误差反馈传播算法优化第二目标函数，优化后获取隐藏层h⁽²⁾；

a5)构造第三自编码：设编码层的权重和偏移解码层的权重和偏移将步骤a4所得到的特征h⁽²⁾作为输入，使得输出与输入尽可能相同，其第三目标函数

其中为sigmoid函数，并采用误差反馈传播算法优化第三目标函数；

a6)将步骤a1、a3和a5的三个自编码堆叠成7层结构的深度自编码，其中编码端为三个自编码的特征提取部分，解码端为三个自编码的重构部分，其地目标函数为：

其中为sigmoid函数；

a7)用步骤a2、a4和a5训练的权重矩阵和偏移初使深度自编码的权重矩阵和偏移，并采用误差反馈传播算法优化目标函数,其中隐藏层h⁽³⁾为行人样本的特征。

优选地，所述步骤e)的具体方法为：

其中步骤e)跨视角二次判别分析XQDA度量学习是在跨视角样本中学习跨视角数据子空间的变换矩阵W，以及特征的距离计算函数：

采用跨视角的带标签的训练集{X,Z}，其中X＝(x₁,x₂,...,x_n)∈R^d×n和Z＝(z₁,z₂,...,z_m)∈R^d×m不同视角的n个和m个d维训练集，其距离函数为：

其中，Σ'_I＝W^TΣ_IW，Σ'_E＝W^TΣ_EW。Σ_I和Σ_E分别为样本类内和类间协方差矩阵。其度量学习的目标函数为：

使用如LDA的特征值分解方法求解W。

根据本发明的另一方面，提出了一种适用于基于自编码的行人检索方法的系统，其特征在于：包括特征入库模块以及行人检索模块，其中，所述特征入库模块包括监控视频数据库、行人抓拍模块、特征识别模块、计算模块以及特征数据库；所述行人检索模块包括行人特征提取模块以及相似度匹配模块。

与现有技术相比，本发明的有益效果是

1，本发明采用百万级大数据训练深度自编码神经网络，得到行人特征更本质的表示，提高了检索的精度；

2，本发明采用XQDA监督式度量学习，对行人特征进行降维并进行行人图像相似性度量，提高了检索的精度。

3，本发明采用自编码线性计算特征，降低了提供提取的复杂性，便于实时地进行视频结构化入库。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了根据本发明的基于自编码的行人检索方法的流程图；

图2-图4示出了根据本发明的基于自编码的行人检索方法的第一个-第三个自编码网络结构图。

图5示出了根据本发明的基于自编码的行人检索方法的三个自编码堆叠而成的深度自编码网络结构图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明提供一种基于深度学习模型AutoEncoder提取行人特征应用于监控网络跨场景行人检索中。整个行人检索的步骤包括视频结构化入库和检索两部分。其中视频结构化过程包括：抓拍行人目标；将行人图像输入到深度AutoEncoder逐层计算后输出具有代表性的特征；采用度量学习方法XQDA，即跨视角二次判别分析，将AutoEncoder特征变换到XQDA子空间，将XQDA变换后的特征存储。检索时提取输入的行人图像的特征与视频结构化存储的特征进行匹配。

如图1所示，为根据本发明的基于自编码的行人检索方法的流程图；步骤如下：

步骤110：构建深度自编码网络，采用逐层贪婪的算法训练深度自编码网络；即从多监控摄像头中获取高清行人数据，包括1080分辨率和720分辨率的视频，通过人工标注和摄像机抓拍获取10万个不同行人的百万张目标图像，包括多视角，不同气候条件的样本。其中带有行人ID标签的样本有10万张。使用逐层贪婪方法无监督学习深度自编码网络。

根据本发明的一个实施例，所述步骤110的训练深度自编码网络包括逐层训练和整体微调，例如：

i)分层训练自编码：构造的深度自编码共有3个自组织神经网络堆叠而成。采用原始行人样本作为第一个自编码的输入；将第一个自编码的隐藏层特征作为第二个自编码的输入；将第二个自编码的隐藏层特征作为第三个自自编码的输入；依次训练得到各层。

ii)微调整个深度AutoEncder网络:在采监督样本重构的方式，堆叠三层自组织神经网络整体训练。

根据本发明的一个实施例，训练深度自编码网络的方法为选取训练样本，训练如图2的模型；然后通过获取的隐藏层h⁽¹⁾训练如图3的模型；再通过隐藏层h⁽²⁾训练如图4的AutoEncoder模型；最后将三个自动编码品堆叠成图5所示7层结部分构的深度AutoEncoder，其中编码端为三个自动编码的特征提取，解码端为三个自动编码的重构部分。上述训练深度自编码网络方法的具体步骤为：

步骤111：选取行人训练样本X＝(x₁,x₂,...,x_n)∈R^d×n,即n个d维的训练集。规格化样本大小为128×64×3，构造第一自编码，如图2所示：

设编码层的权重矩阵W₁ ^A和偏移解码层的权重矩阵W₁ ^R和偏移以行人样本作为输入训练自编码使得输出与输入相同，其第一目标函数如公式所示：

其中为sigmoid函数；

步骤112：采用误差反馈传播算法优化第一目标函数，收敛后获取隐藏层h⁽¹⁾为第一层提取的特征；

步骤113：构造第二自动编码器，如图3所示：

设编码层的权重和偏移解码层的权重和偏移将步骤112得到的特征h⁽¹⁾作为输入，使得输出与输入尽可能相同，其第二目标函数

其中为sigmoid函数；

步骤114：采用误差反馈传播算法优化第二目标函数，优化后获取隐藏层h⁽²⁾；

步骤115：构造第三自编码，如图4所示：设编码层的权重和偏移解码层的权重和偏移将步骤112所得到的特征h⁽²⁾作为输入，使得输出与输入尽可能相同，其第三目标函数

其中为sigmoid函数，并采用误差反馈传播算法优化第三目标函数；

步骤116：将步骤111、113和115的三个自编码堆叠成图5所示7层结构的深度自编码，其中编码端为三个自编码的特征提取部分，解码端为三个自编码的重构部分，其地税目标函数为：

其中为sigmoid函数；

步骤117：用步骤112、114和115训练的权重矩阵和偏移初使深度自编码的权重矩阵和偏移，并采用误差反馈传播算法优化目标函数,其中隐藏层h⁽³⁾为行人样本的特征。

步骤120：去掉深度自编码图像重构部分，获取自编码特征提取模型；

步骤130：采用自编码特征提取模型提取特征，利用行人的自编码特征和标签训练XQDA度量模型；

步骤140：视频实时结构化处理：视频录像时实时抓拍得到行人目标，例如可以输入一张128*64的行人图像，采用自编码特征提取并经XQDA变换到子空间，检索库保存图像在XQDA变换后的特征向量；

步骤150：输入检索对象，采用自编码特征提取并经XQDA变换，通过XQDA距离函数计算检索对象特征和检索库中特征的距离，再距离从小到大排序返回匹配结果。

根据本发明的一个实施例，所述步骤150的具体方法为：

其中步骤150跨视角二次判别分析XQDA度量学习是在跨视角样本中学习跨视角数据子空间的变换矩阵W，以及特征的距离计算函数：

采用跨视角的带标签的训练集{X,Z}，其中X＝(x₁,x₂,...,x_n)∈R^d×n和Z＝(z₁,z₂,...,z_m)∈R^d×m不同视角的n个和m个d维训练集，其距离函数为：

其中，Σ'_I＝W^TΣ_IW，Σ'_E＝W^TΣ_EW。Σ_I和Σ_E分别为样本类内和类间协方差矩阵。其度量学习的目标函数为：

使用如LDA的特征值分解方法求解W。

根据本发明的另一方面，提出了一种适用于基于自编码的行人检索方法的系统，包括特征入库模块以及行人检索模块，其中，所述特征入库模块包括监控视频数据库、行人抓拍模块、特征识别模块、计算模块以及特征数据库；所述行人检索模块包括行人特征提取模块以及相似度匹配模块。

根据本发明的一个实施例，特征入库模块的工作流程为行人抓拍模块获取监控视频中的行人目标，然后特征识别模块对其抓拍的行人做特征提取，计算模块用以将特征进行XQDA变换，最后进入所述特征数据库；行人检索模块中的行人特征提取模块用于对采集的行人图像进行特征提取，将其做XQDA变换；相似度匹配模块对特征数据库中的信息和行人特征提取模块处理的信息进行相似度匹配，并按相似度排序得出结果。

本发明与现有技术相比，有益效果如下：

1、本发明采用百万级大数据训练深度自编码神经网络，得到行人特征更本质的表示，提高了检索的精度；

2、本发明采用XQDA监督式度量学习，对行人特征进行降维并进行行人图像相似性度量，提高了检索的精度；

3、本发明采用自编码线性计算特征，降低了提供提取的复杂性，便于实时地进行视频结构化入库。

综上，本发明充分发挥AutoEncoder自我学习的优势，使用大规模无标签图像样本进行无监督学习，提取图像特征并进行特征检索；AutoEncoder快速地提取特征的优势可以将视频中行人实时地结构化入库。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (5)

1.一种基于自编码的行人检索方法，其特征在于，包括步骤：

a)构建深度自编码网络，采用逐层贪婪的算法训练深度自编码网络；

b)去掉深度自编码图像重构部分，获取自编码特征提取模型；

c)采用自编码特征提取模型提取特征，利用行人的自编码特征和标签训练XQDA度量模型；

d)视频实时结构化处理：视频录像时实时抓拍得到行人目标，采用自编码特征提取并经XQDA变换到子空间，检索库保存图像在XQDA变换后的特征向量；

e)输入检索对象，采用自编码特征提取并经跨视角二次判别分析XQDA变换，计算检索对象特征和检索库中特征的距离。

2.根据权利要求1所述的方法，其特征在于：所述步骤a)的训练深度自编码网络包括逐层训练和整体微调。

3.根据权利要求2所述的方法，其特征在于：所述步骤a)的具体步骤为：

a1)选取行人训练样本X＝(x₁,x₂,...,x_n)∈R^d×n,即n个d维的训练集。构造第一自编码：

设编码层的权重矩阵和偏移解码层的权重矩阵和偏移以行人样本作为输入训练自编码使得输出与输入相同，其第一目标函数如公式所示：

$E_1=\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\hat{x}}_i-x_i|{|}_2^2$

其中为sigmoid函数；

a2)采用误差反馈传播算法优化第一目标函数，收敛后获取隐藏层h⁽¹⁾为第一层提取的特征；

a3)构造第二自动编码器：

设编码层的权重和偏移解码层的权重和偏移将步骤a2得到的特征h⁽¹⁾作为输入，使得输出与输入尽可能相同，其第二目标函数

$E_2=\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\hat{h}}_i^{\left(1\right)}-h_i^{\left(1\right)}|{|}_2^2$

其中为sigmoid函数；

a4)采用误差反馈传播算法优化第二目标函数，优化后获取隐藏层h⁽²⁾；

a5)构造第三自编码：设编码层的权重和偏移解码层的权重和偏移将步骤a4所得到的特征h⁽²⁾作为输入，使得输出与输入尽可能相同，其第三目标函数

$E_3=\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\hat{h}}_i^{\left(2\right)}-h_i^{\left(2\right)}|{|}_2^2$

其中为sigmoid函数，并采用误差反馈传播算法优化第三目标函数；

a6)将步骤a1、a3和a5的三个自编码堆叠成7层结构的深度自编码，其中编码端为三个自编码的特征提取部分，解码端为三个自编码的重构部分，其地目标函数为：

$E_4=\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\hat{x}}_i-x_i|{|}_2^2$

其中为sigmoid函数；

a7)用步骤a2、a4和a5训练的权重矩阵和偏移初使深度自编码的权重矩阵和偏移，并采用误差反馈传播算法优化目标函数,其中隐藏层h⁽³⁾为行人样本的特征。

4.根据权利要求1所述的方法，其特征在于：所述步骤e)的具体方法为：

其中步骤e)跨视角二次判别分析XQDA度量学习是在跨视角样本中学习跨视角数据子空间的变换矩阵W，以及特征的距离计算函数：

采用含有行人标签的训练集{X,Z}，其中X＝(x₁,x₂,...,x_n)∈R^d×n和Z＝(z₁,z₂,...,z_m)∈R^d×m不同视角的n个和m个d维训练集，提取训练集{X,Z}的特征为{X_f,Z_f}，其距离函数为：

$d_W(X,Z)={(x-z)}^{T}W({\mathrm{\Σ}}_I^{\′-1}-{\mathrm{\Σ}}_E^{\′-1})W^T(x-z)$

其中，Σ'_I＝W^TΣ_IW，Σ'_E＝W^TΣ_EW。Σ_I和Σ_E分别为样本类内和类间协方差矩阵。其度量学习的目标函数为：

$\underset{W}{max}{w}^T{\mathrm{\Σ}}_{E}w,s.t.w^T{\mathrm{\Σ}}_{I}w=1$

使用如LDA的特征值分解方法求解W。

5.一种适用于权利要求1所述的基于自编码的行人检索方法的系统，其特征在于：包括特征入库模块以及行人检索模块，其中，所述特征入库模块包括监控视频数据库、行人抓拍模块、特征识别模块、计算模块以及特征数据库；所述行人检索模块包括行人特征提取模块以及相似度匹配模块。