CN107301380A - 一种用于视频监控场景中行人重识别的方法 - Google Patents

一种用于视频监控场景中行人重识别的方法 Download PDF

Info

Publication number
CN107301380A
CN107301380A CN201710403300.8A CN201710403300A CN107301380A CN 107301380 A CN107301380 A CN 107301380A CN 201710403300 A CN201710403300 A CN 201710403300A CN 107301380 A CN107301380 A CN 107301380A
Authority
CN
China
Prior art keywords
mrow
msub
pedestrian
msubsup
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710403300.8A
Other languages
English (en)
Inventor
张见威
邱隆庆
林文钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710403300.8A priority Critical patent/CN107301380A/zh
Publication of CN107301380A publication Critical patent/CN107301380A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于视频监控场景中行人重识别的方法，通过如下步骤实现：S1、预训练FT‑FNN网络；S2、微调FT‑FNN网络；S3、提取训练图像深度特征和属性特征；S4、优化属性权重、S5、提取待识别图像属性特征；S6、提取行人库属性特征；S7、生成距离矩阵；S8、按序输出匹配图像。经过行人属性识别微调后的深度特征对行人重识别具有较强的区分能力；中层语义属性较低层纹理、颜色等视觉特征稳定，不易因光照、姿势的变化而产生较大变动；手动低层视觉特征的融入，能一定程度改善深度特征的区分能力，同时提高部分与颜色纹理紧密相关的中层属性的准确率。本发明结合了上述三者，在行人重识别领域取得了较好的准确率。

Description

一种用于视频监控场景中行人重识别的方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种用于视频监控场景中行人重识别的方法。
背景技术
行人重识别(Person Re-identification)起于多相机的目标追踪研究中，旨在从其他摄像机中找出特定目标人物。行人重识别技术主要应用于安防领域，随着近年来视频监控系统的普及，视频图像成倍增长，过去完全依靠人工甄别监控视频的侦察方式显得效率低下，因此发展由计算机从行人中检索匹配目标人物的行人重识别技术显得尤为迫切。
由于监控环境复杂不可控，行人姿势的变化等条件的限制，从视频监控系统中获取的行人图像往往质量较低，依靠人脸、虹膜等生物特征来解决行人重识别收到限制，因此当前绝大部分研究人员依靠颜色、纹理等整体外观特征实现行人重识别。然而由于监控视频的视角、光照、远近等变化，行人外观常常发生很大变化，这给行人重识别带来了巨大挑战。
在行人重识别研究的早期，用于研究的数据集较小(几十至数百人)，大量手工设计的特征涌现出来，如MSCR、BioCov等。这些特征大体可分为低层视觉特征和中层语义特征两类：低层视觉特征涵盖颜色直方图、纹理特征和局部特征等，中层语义特征指发型、外套类型、是否背包等。同时，也有一些研究集中在上述描述子之间的距离度量，诞生了KISSME、LMNN、XQDA等度量方法。后来随着深度学习的流行，数据集规模的增大，基于CNN(的学习模型自2014年底逐渐被引入到行人重识别领域中。这类方法避免了手工设计、选择特征，将颜色、纹理和度量学习融合在一个统一的框架里。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种结合深度学习特征与中层语义属性的用于视频监控场景中行人重识别的方法，该方法通过在FT-FNN网络中融入低层视觉特征特征、通过图像分类数据集预训练、行人属性数据集微调三大手段改善了深度特征的区别能力和属性识别的准确率。
本发明的目的可以通过采取如下技术方案达到：
一种用于视频监控场景中行人重识别的方法，所示方法包括下列步骤：
S1、预训练FT-FNN网络，将FT-FNN网络在ImageNet数据集上进行预训练，使FT-FNN网络获取理想的初始值；
S2、微调FT-FNN网络，将FT-FNN网络的输出层替换为节点与属性个数一致的全连接层，实现行人属性数据集微调，识别行人的包括中层语义属性在内的不同属性；
S3、提取训练图像深度特征和属性特征，将训练集图像输入到训练好的FT-FNN网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征；
S4、优化属性权重，利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重；
S5、提取待识别图像属性特征，将待识别图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S6、提取行人库属性特征，将行人库图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S7、生成距离矩阵，根据属性特征及权值，计算每一幅待识别图像与行人库中每一幅图像之间的距离，得到距离矩阵；
S8、按序输出匹配图像，将结果由近到远排序，并输出匹配图像。
进一步地，所述步骤S1预训练FT-FNN网络中，引入数据增强、dropout机制，将FT-FNN网络输出层节点调整为与数据集的物体类别个数一致之后，将FT-FNN网络在ImageNet数据集上进行预训练。
进一步地，所述步骤S2微调FT-FNN网络中，行人属性数据集微调通过加权交叉熵损失削弱属性不平衡的影响：
上式中G为属性组集合，N为该批次训练样本的数量，Ng为训练集中该组属性数量，为第i个样本在第g个组中具有第k个属性的样本数量，概率为Softmax函数应用于第g个属性组的FC8层的输出，记表示xi的第k个输出，则该Softmax函数为
进一步地，所述步骤S4优化属性权重中以匹配行人的排序期望作为目标函数并使用梯度下降法优化，计算过程如下：
使用L1范数度量带匹配图片Ip与行人库图片Ig在属性空间的距离
dw(Ip,Ig)＝wT|A(xp)-A(xg)|
上式中w表示属性权重向量，xp和xg表示图片Ip和Ig的特征，
设计如下目标函数：
上式中P为带识别图像(probe)集合，G为行人库(gallery)图像集合，Dpp表示与G中匹配图像的距离，Dpg表示某p∈P与其不匹配图像g之间的距离，Lw为损失函数。w0为正则偏置项，λ为调整经验风险正则项之间权重的系数，签字损失函数Lw定义如下：
初始时令各属性权重相等，采用梯度下降法求解目标函数最小值，求得较优的权重向量w。
进一步地，所述步骤S7生成距离矩阵中，计算P中各元素与G中各原始的距离dw(Ip,Ig)，形成如下的距离矩阵
上式中每项表示一对图片(p,g)按加权L1范数计算的距离；
其中，距离dw(Ip,Ig)采用对属性与低层特征之间按照各自度量方法分别求距离，再加权求和得到：
上式中Ll为低层特征集合，Ip,Ig为待匹配图像与行人库图像，wL,wA分别为属性的权重和低层特征的权重。
进一步地，所述步骤S8按序输出匹配图像中，对p∈P，查找矩阵中p所在行，将距离升序排列，输出对于行人库图像g。
本发明公开的上述用于视频监控场景中行人重识别的方法可以的运用场景包括但不限于下述举例：
(1)、视频监控网络中的行人监控。在视频监控网络中，判断无重叠视域中检测到的行人是否为同一人，解决多摄像机跟踪领域无重叠视域的目标交接问题。
(2)、基于历史资料的行人检索。如在锁定某一犯罪嫌疑人后，在视频监控网络录像中找出其出现的其他地点。
本发明相对于现有技术具有如下的优点及效果：
(1)本文采用在大数据集上预训练网络，再在较小数据集上微调的训练方式，能避免网络陷入不佳的局部最优值，使得属性识别的准确率较高。
(2)借助深度网络优异的表达能力，颜色、纹理、空间结构等信息通过卷积网络自动习得，较手工设计描述子、进行属性分类简便、高效。
(3)优化属性权值，使部分判断不准确、易干扰识别结果的权重降低，判断准确、区分度较高。
(4)中层语义属性较低层纹理、颜色等视觉特征稳定，不易因光照、姿势的变化而产生较大变动。
(5)FT-FFN网络的输入包含手工提取的低层特征，实验证明一定手工低层特征的融入对高属性识别准确率和深度特征的判别力均有帮助。
附图说明
图1是本发明公开的一种用于视频监控场景中行人重识别的方法流程图；
图2是本发明中用于提取深度特征，同时获取语义属性特征的卷积网络示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如附图所示，图1为应用本文方法进行行人重识别的整体流程。其中本发明涉及的关键步骤为训练CNN网络及优化属性权重，属性特征的计算等，距离矩阵的计算及按序输出为行人重识别应用共有步骤。
图2为本文用于提取深度特征，同时获取语义属性特征的卷积网络，称为FT-FNN(Fine-Tuning Feature Fusion Net)。图中上半部分为Alex网络，下半部分为一手工提取的特征ELF16，两者在第七个全连接层融合。网络层的输出层节点个数与拟识别属性个数一致。
如附图1中所示，本实施例中一种用于视频监控场景中行人重识别的方法，通过如下步骤实现：
S1、预训练FT-FNN网络，将FT-FNN网络在ImageNet数据集上进行预训练，使FT-FNN网络获取理想的初始值；
S2、微调FT-FNN网络，将FT-FNN网络的输出层替换为节点与属性个数一致的全连接层，用于识别行人的包括中层语义属性在内的不同属性；
S3、提取训练图像深度特征和属性特征，将训练集图像输入到训练好的FT-FNN网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征；
S4、优化属性权重，利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重。
S5、提取待识别图像属性特征，将待识别图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S6、提取行人库属性特征，将行人库图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S7、生成距离矩阵，根据属性特征及权值，计算每一幅待识别图像与行人库中每一幅图像之间的距离，得到距离矩阵；
S8、按序输出匹配图像，将结果由近到远排序，并输出匹配图像。
上述技术方案中，所述步骤S1中预训练卷积神经是在千万级图片分类数据集上进行训练，识别图片类别。预训练使得FT-FNN网络前几层能学习到图像中含有的颜色、纹理、形状特征，整个网络获得较好的初值。
本实施例引入数据增强、dropout等机制，首先将FT-FNN网络输出层节点调整为与数据集的物体类别个数一致，在ImageNet 2012数据集(包含上千万带物品类别标注的图片)上训练本文提出的FT-FNN网络。
所述步骤S2中将经过预训练网络的输出层替换，在行人属性数据集上训练，微调整个网络的权值，使网络能识别行人的性别、衣着等属性。
如图2所示，将训练好的FT-FFN输出层替换为与属性数目一致的全连接层，在行人属性数据集上训练FT-FFN网络。假定属性之间存在分组，使得组内仅有一个属性为正，例如性别组中的性别男与性别女。为减少样本属性不平衡的影响，FT-FFN网络中行人属性数据集微调使用如下的加权交叉熵loss函数
上式中G为属性组集合，Ng为训练集中改组属性数量，为第i个样本在第g个组中具有第k个属性的样本数量。概率为Softmax函数应用于第g个属性组的FC8层的输出。记表示xi的第k个输出，则该Softmax函数为
所述步骤S3中将训练集图像输入到训练好的FT-FNN网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征。
具体地，将包含若干将已标定行人身份的训练集图片输入到FT-FNN网络，将第七个全连接层(即图2中低层特征与Alex网络的融合层)输出，即为深度特征；将输出层的输出保存，即为属性特征。
所述步骤S4中利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重。
本文采用对属性与低层特征(Low-level feature)之间按照各自度量方法分别求距离，再加权求和得到：
上式中Ll为低层特征集合，Ip,Ig为待匹配图像与行人库图像，wL,wA分别为属性的权重和低层特征的权重。
属性空间的距离定义如下：
上式中w表示属性权重向量，xp和xg表示图片Ip和Ig的特征。设计如下目标函数
上式中P为待识别图像(probe)集合，G为行人库(gallery)图像集合，Dpp表示与G中匹配图像的距离，Dpg表示某p∈P与其不匹配图像g之间的距离。Lw为损失函数。w0为正则偏置项，λ为调整经验风险正则项之间权重的系数。本发明定义的损失函数Lw如下
初始时令各属性权重相等，采用梯度下降法求解目标函数最小值，求得较优的权重wA。
使用同样方法求得属性与特征向量的相对权重wL。
所述步骤S5和步骤S6中将待匹配图像与行人库图像输入到FT-FNN网络中，通过输出层与融合层的输出得到深度特征和属性特征。
其中，提取待匹配图像的属性特征：
对所有p∈P，利用步骤S4调整的网络参数W，前向传播得到属性特征
A(Ip)＝hW,b(Ip) (7)
将第七层的全连接层输出，得到深度特征
D(Ip)＝h′W,b(Ip) (8)
其中，提取行人库属性特征
对所有g∈G，利用步骤S4调整的网络参数W，前向传播得到属性特征
A(Ig)＝hW,b(Ig) (9)
将第七层的全连接层输出，得到深度特征
D(Ig)＝h′W,b(Ig)(10)
所述步骤S7和步骤S8中根据属性特征及权值，计算每一幅待匹配图像与行人库中每一幅图像之间的距离，将结果由近到远排序。
其中，生成距离矩阵
按(3)式计算P中各元素与G中各原始的距离dw(Ip,Ig)，形成如下的距离矩阵
上式中每项表示一对图片(p,g)按加权L1范数计算的距离。
其中，按序输出匹配图像
对p∈P，查找矩阵中p所在行，将距离升序排列，输出对于行人库图
像g，即可用于辅助检索犯罪嫌疑人等应用。
综上所述，本发明使用自定义的FT-FNN网络提取行人图片的深度特征和属性特征。首先将FT-FNN网络在ImageNet数据集上进行预训练，使网络具有较好的初始值。然后将FT-FNN网络的输出层替换为节点与属性个数一致的全连接层，用于识别行人的不同属性。在行人属性数据集上微调网络，令网络学习判别行人的性别、年龄等语义属性。最后通过构造与正确匹配图像排序相关的目标函数，并通过梯度下降法求解，优化不同语义属性在计算行人图像间距离的作用，以及深度特征与属性特征的相对权重。通过识别行人属性对网络进行微调，能较大程度改善深度特征的区别能力；行人的语义属性一般不会随着光照、姿势、视角而变化，同时深度神经网络能大大提高行人语义属性判断的准确性，因此本发明能取得较好的效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种用于视频监控场景中行人重识别的方法，其特征在于，所示方法包括下列步骤：
S1、预训练FT-FNN网络，将FT-FNN网络在ImageNet数据集上进行预训练，使FT-FNN网络获取理想的初始值；
S2、微调FT-FNN网络，将FT-FNN网络的输出层替换为节点与属性个数一致的全连接层，实现行人属性数据集微调，识别行人的包括中层语义属性在内的不同属性；
S3、提取训练图像深度特征和属性特征，将训练集图像输入到训练好的FT-FNN网络中，取其融合层的输出作为深度特征，输出层的输出作为属性特征；
S4、优化属性权重，利用随机梯度下降算法求解设计的目标函数，求得各属性的相对权重，得到权重向量；同时取得深度特征与属性特征的相对权重；
S5、提取待识别图像属性特征，将待识别图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S6、提取行人库属性特征，将行人库图像输入到FT-FNN网络中，通过输出层与融合层的输出分别得到待识别图像的深度特征和属性特征；
S7、生成距离矩阵，根据属性特征及权值，计算每一幅待识别图像与行人库中每一幅图像之间的距离，得到距离矩阵；
S8、按序输出匹配图像，将结果由近到远排序，并输出匹配图像。
2.根据权利要求1所述的一种用于视频监控场景中行人重识别的方法，其特征在于，所述步骤S1预训练FT-FNN网络中，引入数据增强、dropout机制，将FT-FNN网络输出层节点调整为与数据集的物体类别个数一致之后，将FT-FNN网络在ImageNet数据集上进行预训练。
3.根据权利要求1所述的一种用于视频监控场景中行人重识别的方法，其特征在于，所述步骤S2微调FT-FNN网络中，行人属性数据集微调通过加权交叉熵损失削弱属性不平衡的影响：
<mrow> <msup> <mi>L</mi> <mi>g</mi> </msup> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>g</mi> </msub> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>K</mi> <mi>g</mi> </msup> </munderover> <mfrac> <mrow> <msubsup> <mi>l</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>g</mi> </msubsup> <msubsup> <mi>logp</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>g</mi> </msubsup> </mrow> <msubsup> <mi>N</mi> <mrow> <mi>k</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <mi>g</mi> </msubsup> </mfrac> <mo>,</mo> <mi>g</mi> <mo>&amp;Element;</mo> <mi>G</mi> </mrow>
上式中G为属性组集合，N为该批次训练样本的数量，Ng为训练集中该组属性数量，为第i个样本在第g个组中具有第k个属性的样本数量，概率为Softmax函数应用于第g个属性组的FC8层的输出，记表示xi的第k个输出，则该Softmax函数为
<mrow> <msubsup> <mi>p</mi> <mi>k</mi> <mi>g</mi> </msubsup> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msubsup> <mi>o</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>g</mi> </msubsup> </msup> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>k</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>K</mi> <mrow> <mo>(</mo> <mi>g</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <msup> <mi>e</mi> <msubsup> <mi>o</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>g</mi> </msubsup> </msup> </mrow> </mfrac> <mo>.</mo> </mrow>
4.根据权利要求1所述的一种用于视频监控场景中行人重识别的方法，其特征在于，所述步骤S4优化属性权重中以匹配行人的排序期望作为目标函数并使用梯度下降法优化，计算过程如下：
使用L1范数度量带匹配图片Ip与行人库图片Ig在属性空间的距离
dw(Ip,Ig)＝wT|A(xp)-A(xg)|
上式中w表示属性权重向量，xp和xg表示图片Ip和Ig的特征，
设计如下目标函数：
<mrow> <mi>E</mi> <mi>R</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mi>P</mi> <mo>|</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>&amp;Element;</mo> <mi>P</mi> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>g</mi> <mo>&amp;Element;</mo> <mi>G</mi> </mrow> </munder> <msub> <mi>L</mi> <mi>w</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>p</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>w</mi> <mo>-</mo> <msub> <mi>w</mi> <mn>0</mn> </msub> <mo>|</mo> <mo>|</mo> </mrow>
上式中P为带识别图像(probe)集合，G为行人库(gallery)图像集合，Dpp表示与G中匹配图像的距离，Dpg表示某p∈P与其不匹配图像g之间的距离，Lw为损失函数。w0为正则偏置项，λ为调整经验风险正则项之间权重的系数，签字损失函数Lw定义如下：
<mrow> <msub> <mi>L</mi> <mi>w</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <msub> <mi>d</mi> <mrow> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>d</mi> <mrow> <mi>p</mi> <mi>p</mi> </mrow> </msub> </mrow> </msup> </mrow> </mfrac> </mrow>
初始时令各属性权重相等，采用梯度下降法求解目标函数最小值，求得较优的权重向量w。
5.根据权利要求4所述的一种用于视频监控场景中行人重识别的方法，其特征在于，所述步骤S7生成距离矩阵中，计算P中各元素与G中各原始的距离dw(Ip,Ig)，形成如下的距离矩阵
上式中每项表示一对图片(p,g)按加权L1范数计算的距离；
其中，距离dw(Ip,Ig)采用对属性与低层特征之间按照各自度量方法分别求距离，再加权求和得到：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mrow> <msup> <mi>w</mi> <mi>L</mi> </msup> <mo>,</mo> <msup> <mi>w</mi> <mi>A</mi> </msup> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>I</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>&amp;Element;</mo> <mi>L</mi> <mi>L</mi> </mrow> </msub> <msubsup> <mi>w</mi> <mi>l</mi> <mi>L</mi> </msubsup> <msubsup> <mi>d</mi> <mi>l</mi> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>(</mo> <msub> <mi>I</mi> <mi>p</mi> </msub> <mo>)</mo> <mo>,</mo> <msub> <mi>L</mi> <mi>l</mi> </msub> <mn>1</mn> <mo>(</mo> <msub> <mi>I</mi> <mi>p</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <msubsup> <mi>d</mi> <msup> <mi>w</mi> <mi>A</mi> </msup> <mi>A</mi> </msubsup> <mrow> <mo>(</mo> <mi>A</mi> <mo>(</mo> <mrow> <mi>I</mi> <mi>p</mi> </mrow> <mo>)</mo> <mo>,</mo> <mi>A</mi> <mo>(</mo> <mrow> <mi>I</mi> <mi>g</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
上式中Ll为低层特征集合，Ip,Ig为待匹配图像与行人库图像，wL,wA分别为属性的权重和低层特征的权重。
6.根据权利要求5所述的一种用于视频监控场景中行人重识别的方法，其特征在于，所述步骤S8按序输出匹配图像中，对p∈P，查找矩阵中p所在行，将距离升序排列，输出对于行人库图像g。
CN201710403300.8A 2017-06-01 2017-06-01 一种用于视频监控场景中行人重识别的方法 Pending CN107301380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710403300.8A CN107301380A (zh) 2017-06-01 2017-06-01 一种用于视频监控场景中行人重识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710403300.8A CN107301380A (zh) 2017-06-01 2017-06-01 一种用于视频监控场景中行人重识别的方法

Publications (1)

Publication Number Publication Date
CN107301380A true CN107301380A (zh) 2017-10-27

Family

ID=60137278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710403300.8A Pending CN107301380A (zh) 2017-06-01 2017-06-01 一种用于视频监控场景中行人重识别的方法

Country Status (1)

Country Link
CN (1) CN107301380A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090472A (zh) * 2018-01-12 2018-05-29 浙江大学 基于多通道一致性特征的行人重识别方法及其系统
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108596010A (zh) * 2017-12-31 2018-09-28 厦门大学 行人重识别系统的实现方法
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN109063790A (zh) * 2018-09-27 2018-12-21 北京地平线机器人技术研发有限公司 对象识别模型优化方法、装置和电子设备
CN109528152A (zh) * 2019-01-22 2019-03-29 湖南兰茜生物科技有限公司 一种新型肺病智能辅助检测方法和系统
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109711386A (zh) * 2019-01-10 2019-05-03 北京达佳互联信息技术有限公司 获取识别模型的方法、装置、电子设备及存储介质
CN110046553A (zh) * 2019-03-21 2019-07-23 华中科技大学 一种融合属性特征的行人重识别模型、方法及系统
CN110046599A (zh) * 2019-04-23 2019-07-23 东北大学 基于深度融合神经网络行人重识别技术的智能监控方法
CN110188611A (zh) * 2019-04-26 2019-08-30 华中科技大学 一种引入视觉注意力机制的行人重识别方法及系统
CN110348282A (zh) * 2019-04-30 2019-10-18 贵州大学 用于行人重识别的方法和设备
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110659585A (zh) * 2019-08-31 2020-01-07 电子科技大学 一种基于交互属性监督的行人检测方法
CN110909565A (zh) * 2018-09-14 2020-03-24 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN110941994A (zh) * 2019-10-30 2020-03-31 杭州电子科技大学 一种基于元类基学习器的行人重识别集成方法
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置
WO2021082118A1 (zh) * 2019-11-01 2021-05-06 深圳大学 行人重识别的方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133889A (ja) * 2002-07-22 2004-04-30 Mitsubishi Electric Research Laboratories Inc 画像のオブジェクトを認識する方法及びシステム
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及系统
CN105095475A (zh) * 2015-08-12 2015-11-25 武汉大学 基于两级融合的不完整属性标记行人重识别方法与系统
CN106529442A (zh) * 2016-10-26 2017-03-22 清华大学 一种行人识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133889A (ja) * 2002-07-22 2004-04-30 Mitsubishi Electric Research Laboratories Inc 画像のオブジェクトを認識する方法及びシステム
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及系统
CN105095475A (zh) * 2015-08-12 2015-11-25 武汉大学 基于两级融合的不完整属性标记行人重识别方法与系统
CN106529442A (zh) * 2016-10-26 2017-03-22 清华大学 一种行人识别方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DONG YI等: "Deep Metric Learning for Person Re-Identification", 《2014 22ND INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
LAYNE R等: "《Springer London》", 31 December 2014 *
SHANGXUAN WU等: "An Enhanced Deep Feature Representation for Person Re-identification", 《2016 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
TETSU MATSUKAWA等: "Person Re-Identification Using CNN Features learned from combination of attributes", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108108662B (zh) * 2017-11-24 2021-05-25 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN108596010A (zh) * 2017-12-31 2018-09-28 厦门大学 行人重识别系统的实现方法
CN108596010B (zh) * 2017-12-31 2020-09-04 厦门大学 行人重识别系统的实现方法
CN108090472A (zh) * 2018-01-12 2018-05-29 浙江大学 基于多通道一致性特征的行人重识别方法及其系统
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
CN110909565A (zh) * 2018-09-14 2020-03-24 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN110909565B (zh) * 2018-09-14 2023-06-16 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN109063790A (zh) * 2018-09-27 2018-12-21 北京地平线机器人技术研发有限公司 对象识别模型优化方法、装置和电子设备
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109635636B (zh) * 2018-10-30 2023-05-09 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109711386A (zh) * 2019-01-10 2019-05-03 北京达佳互联信息技术有限公司 获取识别模型的方法、装置、电子设备及存储介质
CN109528152A (zh) * 2019-01-22 2019-03-29 湖南兰茜生物科技有限公司 一种新型肺病智能辅助检测方法和系统
CN110046553A (zh) * 2019-03-21 2019-07-23 华中科技大学 一种融合属性特征的行人重识别模型、方法及系统
CN110046599A (zh) * 2019-04-23 2019-07-23 东北大学 基于深度融合神经网络行人重识别技术的智能监控方法
CN110188611A (zh) * 2019-04-26 2019-08-30 华中科技大学 一种引入视觉注意力机制的行人重识别方法及系统
CN110348282A (zh) * 2019-04-30 2019-10-18 贵州大学 用于行人重识别的方法和设备
CN110348282B (zh) * 2019-04-30 2022-06-07 贵州大学 用于行人重识别的方法和设备
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110473185B (zh) * 2019-08-07 2022-03-15 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110659585B (zh) * 2019-08-31 2022-03-15 电子科技大学 一种基于交互属性监督的行人检测方法
CN110659585A (zh) * 2019-08-31 2020-01-07 电子科技大学 一种基于交互属性监督的行人检测方法
CN110941994B (zh) * 2019-10-30 2021-05-04 杭州电子科技大学 一种基于元类基学习器的行人重识别集成方法
CN110941994A (zh) * 2019-10-30 2020-03-31 杭州电子科技大学 一种基于元类基学习器的行人重识别集成方法
WO2021082118A1 (zh) * 2019-11-01 2021-05-06 深圳大学 行人重识别的方法、装置、终端及存储介质
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置

Similar Documents

Publication Publication Date Title
CN107301380A (zh) 一种用于视频监控场景中行人重识别的方法
CN109711281B (zh) 一种基于深度学习的行人重识别与特征识别融合方法
CN106503687B (zh) 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN111260594B (zh) 一种无监督的多模态图像融合方法
CN104361363B (zh) 深度反卷积特征学习网络、生成方法及图像分类方法
CN108764308A (zh) 一种基于卷积循环网络的行人重识别方法
CN108564029A (zh) 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109543602A (zh) 一种基于多视角图像特征分解的行人再识别方法
CN108960184A (zh) 一种基于异构部件深度神经网络的行人再识别方法
CN108681712A (zh) 一种融合领域知识和多阶深度特征的篮球比赛语义事件识别方法
Zhang et al. Unsupervised difference representation learning for detecting multiple types of changes in multitemporal remote sensing images
CN108647702B (zh) 一种基于迁移学习的大规模食材图像分类方法
CN105574505A (zh) 一种多摄像机间人体目标再识别的方法及系统
CN109886141A (zh) 一种基于不确定性优化的行人再辨识方法
CN109299707A (zh) 一种基于模糊深度聚类的无监督行人再识别方法
CN113239801B (zh) 基于多尺度特征学习和多级域对齐的跨域动作识别方法
CN104200206B (zh) 一种基于双角度排序优化的行人重识别方法
Fang et al. Confident learning-based domain adaptation for hyperspectral image classification
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
CN111242227B (zh) 一种基于异构深度特征的多模态地基云识别方法
CN102169543B (zh) 基于多源信息融合和在线学习的人头计数方法
CN108427740A (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN107977610A (zh) 一种基于海量视频处理的人脸追踪方法
Kollapudi et al. A New Method for Scene Classification from the Remote Sensing Images.
CN104063721A (zh) 一种基于语义特征自动学习与筛选的人类行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171027