CN106980864A - 一种基于支持样本间接式的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于支持样本间接式的行人再识别方法，包括以下步骤：对采集的两个无交集摄像头视频进行预处理，获得需要的训练样本图像，再利用密集颜色直方图和密集SIFT相结合的方法提取图像的特征，并通过聚类的方法分别得到两个不同摄像头下的支持样本，当要对来自不同摄像头的行人进行匹配时，在距离测度的基础上利用支持样本分别判别出其所在摄像头下的行人类别，通过类别的对比判断是否为同一行人。本发明通过不同摄像头下行人图片直接匹配，有效解决了不同摄像头带来的视角、光照和尺度问题，提高了行人再识别的准确率，增强了行人再识别算法的鲁棒性。

Description

一种基于支持样本间接式的行人再识别方法

技术领域

本发明属于智能视频监控技术领域，具体涉及一种基于支持样本间接式的行人再识别方法。

背景技术

行人再识别是在非重叠区域的监控多摄像头下对行人进行匹配，即检索某个摄像头下的行人目标是否出现在其他的摄像头下。行人再识别在社会公共安全领域有着重要的应用，然而不同监控摄像头之间差异，导致了视角、光照和尺度变化，使得行人再识别中存在很大的挑战。如何建立一种高效准确针的再识别方法，研究人员进行了相关的研究。目前行人再识别的研究主要集中在特征表示法和距离测度的学习，近几年来深度学习也开始应用于行人再识别当中。

然而由于视角、光照和尺度变化等问题，上述方法都没有很好的解决行人再识别。使得行人再识别的准确率不是非常的高。

发明内容

本发明是为了克服现有技术的不足之处，提供一种基于支持样本间接式的行人再识别方法，以期能有效的克服行人再识别中光照、视角和尺度等问题，获得较好再识别性能，从而有效提高行人再识别率，增强行人再识别算法的鲁棒性。

本发明为了解决技术问题采用如下技术方案：

本发明一种支持样本间接式的行人再识别方法的特点是按如下步骤进行：

步骤1、利用拍摄区域无交集的两个摄像头Camera_P和Camera_Q分别获取行人训练图像集，记为行人训练图像集P＝{p₁,p₂,…,p_i,…,p_N}和行人匹配图像集Q＝{q₁,q₂,…,q_i,…,q_N}；且第i幅训练图像p_i中的行人与第i幅匹配图像q_i中的行人为同一个人；1≤i≤N；

步骤2、特征提取

将所述第i幅训练图像p_i划分为U×V个小块；并提取所述第i幅训练图像p_i中第m×n个小块的颜色直方图特征和SIFT特征后进行级联，得到所述第i幅训练图像p_i中第m×n个小块的颜色SIFT特征，记为从而得到U×V个小块的颜色SIFT特征作为所述第i幅训练图像p_i的密集颜色SIFT特征；

同理可得，第i幅匹配图像q_i的密集颜色SIFT特征；

步骤3、支持样本的选取

步骤3.1、从所述行人训练图像集P中选取任意第j幅训练图像p_j，i≠j；

利用欧式距离计算所述第i幅训练图像p_i中第m×n个小块颜色SIFT特征与所述行为训练图像集P中任意第k幅训练图像p_k中搜索域为T的所有小块的颜色SIFT特征的相似性得分，并选择所述搜索域T中所有小块的相似性得分最大值作为所述第i幅训练图像p_i中第m×n个小块与第k训练图像p_k的得分，从而得到所述第i幅训练图像p_i中U×V个小块与第k幅训练图像p_k的总得分进而得到所述第i幅训练图像p_i中U×V个小块与N-2幅训练图像的总得分所述搜索域T的范围为u₁≤m≤u₂，1≤n≤V；k≠i；k≠j；同理可得所述第j幅训练图像p_j中U×V个小块与N-2幅训练图像的总得分

同理可得所述第i幅匹配图像q_i中U×V个小块与N-2幅匹配图像的总得分以及第j幅匹配图像q_j中U×V个小块与N-2幅匹配图像的总得分

步骤3.2、计算所述第i幅训练图像p_i的总得分与第j幅训练图像p_j的总得分的相关系数以及第i幅匹配图像q_i的总得分与第j幅匹配图像q_j的总得分的相关系数并利用式(1)获得相关系数乘积

若则表示所述第i幅训练图像p_i与第j幅训练图像p_j相似，且第i幅匹配图像q_i与第j幅匹配图像q_j相似，并删除所述第i幅训练图像p_i与第i幅匹配图像q_i或者删除第j幅训练图像p_j与第j幅匹配图像q_j；若则表示所述第i幅训练图像p_i与第j幅训练图像p_j不相似，且第i幅匹配图像q_i与第j幅匹配图像q_j不相似，并均保留；

步骤3.3、重复步骤3.1-步骤3.2，对所述行人训练图像集P和行人匹配图像集Q进行处理，从而得到训练支持样本集P′和匹配支持样本集Q′；

步骤4、行人再识别

步骤4.1、利用所述两个摄像头Camera_P和Camera_Q分别获取一幅行人测试图像p_t和q_t

步骤4.2、根据步骤3.1，计算行人测试图像p_t与训练支持样本集P′中所有训练支持样本的总得分，并选取得分最高的训练支持样本p′_max作为行人测试图像p_t在训练支持样本集P′中的代表图像；同理，计算行人测试图像q_t在匹配支持样本集Q′中的代表图像q′_max；

步骤4.3、判断训练支持样本集P′中的代表图像p′_max的序号与匹配支持样本集Q′中的代表图像q′_max的序号是否相同，若相同，表示行人测试图像p_t和q_t为同一个人，否则，表示行人测试图像p_t和q_t不为同一个人。

与已有的技术相比，本发明有益效果体现在：

1、本发明采用了间接式的行人再识别的方法。不同摄像头由于位置、配置和采光度的不同，就造成不同摄像头拍摄到行人之间存在视角、光照和尺度变化等问题。已有的技术都是直接通过对不同摄像头下的行人进行直接匹配。上述问题的存在，使得这种直接匹配的方法无法有效的提高准确率。而间接式的行人再识别方法，首先通过聚类的方法分别提取不同摄像头下的支持样本，当要对来自不同摄像头的行人进行匹配时，在距离测度的基础上利用支持样本分别判别出其所在摄像头下的行人类别，通过类别的对比判断是否为同一行人。该方法避免了不同摄像头下行人图片直接匹配，有效解决了不同摄像头带来的视角、光照和尺度问题。

2、本发明采用了密集颜色特征和密集SIFT特征相结合的方式。颜色特征可以有效的利用了行人外貌信息。行人再识别中外貌是一张很有用的信息，可以帮助人们快速对行人进行识别。SIFT特征可以作为颜色直方图特征的互补特征传统的SIFT方法可以检测到图片中的兴趣点，该算法检测到的兴趣点不仅具有空间稳定性，而且有尺度不变性和旋转不变性。

3、本发明采用了支持样本的选取。通过对不同摄像头下的行人样本库学习，得到每个样本库中的支持样本。由于视角、光照和尺度变化等问题，使得同一个性人差别很大，而有时不同的行人会呈现出相似性。支持样本就是有效的解决了这种干扰，减少了行人样本库中的冗余性，提高了行人再识别的准确率。

附图说明

图1为本发明的行人再识别流程图；

图2为本发明的颜色直方图特征示意图；

图3为本发明的SIFT特征提取示意图；

图4为本发明的dColorSIFT特征提取示意图。

具体实施方式

本实施例中，如图1所示，一种支持样本间接式的行人再识别方法包括以下过程：首先对采集的不同摄像头视频进行预处理，获得需要的样本图像。通过聚类的方法学习得到摄像头样本的支持样本。在支持样本的基础上通过间接式行人匹配的方法，可以对不同摄像头下的行人进行匹配。具体地说，是按如下步骤进行：

步骤1、利用拍摄区域无交集的两个摄像头Camera_P和Camera_Q分别获取行人训练图像集，记为行人训练图像集P＝{p₁,p₂,…,p_i,…,p_N}和行人匹配图像集Q＝{q₁,q₂,…,q_i,…,q_N}；且第i幅训练图像p_i中的行人与第i幅匹配图像q_i中的行人为同一个人；1≤i≤N；

步骤2、特征提取

将所述第i幅训练图像p_i划分为U×V个小块；并提取所述第i幅训练图像p_i中第m×n个小块的颜色直方图特征和SIFT特征后进行级联，得到所述第i幅训练图像p_i中第m×n个小块的颜色SIFT特征，记为从而得到U×V个小块的颜色SIFT特征作为所述第i幅训练图像p_i的密集颜色SIFT特征；

同理可得，第i幅匹配图像q_i的密集颜色SIFT特征；

将每一个行人图片分割成U×V个小块，对于每一小块分别提取其LAB颜色直方图。为了能够与SIFT特征相结合，所有的直方图都要进行L2标准化。获得密集颜色直方图特征如图2所示。

颜色模型(Lab)基于人对颜色的感觉。Lab中的数值描述正常实例的人能够看到的所有的颜色。Lab色彩模型是由明度(L)和有关色彩的a，b三个要素组成。L表示明度，a表示从洋红色到绿色的范围。b表示黄色到蓝色的范围。颜色直方图在许多图像检索系统中被广泛采用的颜色特征。它描述的是不同色彩在整幅图像中所占的比例。

SIFT，即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也很高。

对每一个行人图片分割成的一系列局部小块分别提取SIFT特征，得到的特征为128维。同样SIFT特征也要进行L2标准化。如图3所示。注意小块的大小为10*10像素，L,A,B颜色直方图分别设置为32维。对于SIFT特征，L,A,B通道都要进行提取，最后得到的SIFT特征大小为128*3维。最终，我们得到的每一小块的特征大小为32*3+128*3＝480。如图4所示。

步骤3、支持样本的选取

步骤3.1、从所述行人训练图像集P中选取任意第j幅训练图像p_j，i≠j；

利用欧式距离计算所述第i幅训练图像p_i中第m×n个小块颜色SIFT特征与所述行为训练图像集P中任意第k幅训练图像p_k中搜索域为T的所有小块的颜色SIFT特征的相似性得分，并选择所述搜索域T中所有小块的相似性得分最大值作为所述第i幅训练图像p_i中第m×n个小块与第k训练图像p_k的得分，从而得到所述第i幅训练图像p_i中U×V个小块与第k幅训练图像p_k的总得分进而得到所述第i幅训练图像p_i中U×V个小块与N-2幅训练图像的总得分所述搜索域T的范围为u₁≤m≤u₂，1≤n≤V；k≠i；k≠j；同理可得所述第j幅训练图像p_j中U×V个小块与N-2幅训练图像的总得分

同理可得所述第i幅匹配图像q_i中U×V个小块与N-2幅匹配图像的总得分以及第j幅匹配图像q_j中U×V个小块与N-2幅匹配图像的总得分

欧式距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离。我们用欧式距离计算图片特征之间的距离，来表示图片之间的相似性，根据相似性的得分结果，判断是否为同一个行人。我们利用高斯函数将距离值转换成相似性的得分：

步骤3.2、计算所述第i幅训练图像p_i的总得分与第j幅训练图像p_j的总得分的相关系数以及第i幅匹配图像q_i的总得分与第j幅匹配图像q_j的总得分的相关系数并利用式(1)获得相关系数乘积

若则表示所述第i幅训练图像p_i与第j幅训练图像p_j相似，且第i幅匹配图像q_i与第j幅匹配图像q_j相似，并删除所述第i幅训练图像p_i与第i幅匹配图像q_i或者删除第j幅训练图像p_j与第j幅匹配图像q_j；若则表示所述第i幅训练图像p_i与第j幅训练图像p_j不相似，且第i幅匹配图像q_i与第j幅匹配图像q_j不相似，并均保留；

权值δ直接影响支持样本的选取结果，经过实验证明的取值范围为0.3～0.5最为合适；

步骤3.3、重复步骤3.1-步骤3.2，对所述行人训练图像集P和行人匹配图像集Q进行处理，从而得到训练支持样本集P′和匹配支持样本集Q′；

步骤4、行人再识别

步骤4.1、利用所述两个摄像头Camera_P和Camera_Q分别获取一幅行人测试图像p_t和q_t

步骤4.2、根据步骤3.1，计算行人测试图像p_t与训练支持样本集P′中所有训练支持样本的总得分，并选取得分最高的训练支持样本p′_max作为行人测试图像p_t在训练支持样本集P′中的代表图像；同理，计算行人测试图像q_t在匹配支持样本集Q′中的代表图像q′_max；

步骤4.3、判断训练支持样本集P′中的代表图像p′_max的序号与匹配支持样本集Q′中的代表图像q′_max的序号是否相同，若相同，表示行人测试图像p_t和q_t为同一个人，否则，表示行人测试图像p_t和q_t不为同一个人。

Claims (1)

1.一种支持样本间接式的行人再识别方法，其特征是按如下步骤进行：

步骤1、利用拍摄区域无交集的两个摄像头Camera_P和Camera_Q分别获取行人训练图像集，记为行人训练图像集P＝{p₁,p₂,…,p_i,…,p_N}和行人匹配图像集Q＝{q₁,q₂,…,q_i,…,q_N}；且第i幅训练图像p_i中的行人与第i幅匹配图像q_i中的行人为同一个人；1≤i≤N；

步骤2、特征提取

将所述第i幅训练图像p_i划分为U×V个小块；并提取所述第i幅训练图像p_i中第m×n个小块的颜色直方图特征和SIFT特征后进行级联，得到所述第i幅训练图像p_i中第m×n个小块的颜色SIFT特征，记为从而得到U×V个小块的颜色SIFT特征作为所述第i幅训练图像p_i的密集颜色SIFT特征；

同理可得，第i幅匹配图像q_i的密集颜色SIFT特征；

步骤3、支持样本的选取

步骤3.1、从所述行人训练图像集P中选取任意第j幅训练图像p_j，i≠j；

利用欧式距离计算所述第i幅训练图像p_i中第m×n个小块颜色SIFT特征与所述行为训练图像集P中任意第k幅训练图像p_k中搜索域为T的所有小块的颜色SIFT特征的相似性得分，并选择所述搜索域T中所有小块的相似性得分最大值作为所述第i幅训练图像p_i中第m×n个小块与第k训练图像p_k的得分，从而得到所述第i幅训练图像p_i中U×V个小块与第k幅训练图像p_k的总得分进而得到所述第i幅训练图像p_i中U×V个小块与N-2幅训练图像的总得分所述搜索域T的范围为u₁≤m≤u₂，1≤n≤V；k≠i；k≠j；同理可得所述第j幅训练图像p_j中U×V个小块与N-2幅训练图像的总得分

同理可得所述第i幅匹配图像q_i中U×V个小块与N-2幅匹配图像的总得分以及第j幅匹配图像q_j中U×V个小块与N-2幅匹配图像的总得分

步骤3.2、计算所述第i幅训练图像p_i的总得分与第j幅训练图像p_j的总得分的相关系数以及第i幅匹配图像q_i的总得分与第j幅匹配图像q_j的总得分的相关系数并利用式(1)获得相关系数乘积

$u_{i,j}^{p,q}={\mathrm{corr}}_{S_{p_i},S_{p_j}}\×{\mathrm{corr}}_{S_{q_i},S_{q_j}}---\left(1\right)$

若则表示所述第i幅训练图像p_i与第j幅训练图像p_j相似，且第i幅匹配图像q_i与第j幅匹配图像q_j相似，并删除所述第i幅训练图像p_i与第i幅匹配图像q_i或者删除第j幅训练图像p_j与第j幅匹配图像q_j；若则表示所述第i幅训练图像p_i与第j幅训练图像p_j不相似，且第i幅匹配图像q_i与第j幅匹配图像q_j不相似，并均保留；

步骤3.3、重复步骤3.1-步骤3.2，对所述行人训练图像集P和行人匹配图像集Q进行处理，从而得到训练支持样本集P′和匹配支持样本集Q′；

步骤4、行人再识别

步骤4.1、利用所述两个摄像头Camera_P和Camera_Q分别获取一幅行人测试图像p_t和q_t

步骤4.2、根据步骤3.1，计算行人测试图像p_t与训练支持样本集P′中所有训练支持样本的总得分，并选取得分最高的训练支持样本p′_max作为行人测试图像p_t在训练支持样本集P′中的代表图像；同理，计算行人测试图像q_t在匹配支持样本集Q′中的代表图像q′_max；

步骤4.3、判断训练支持样本集P′中的代表图像p′_max的序号与匹配支持样本集Q′中的代表图像q′_max的序号是否相同，若相同，表示行人测试图像p_t和q_t为同一个人，否则，表示行人测试图像p_t和q_t不为同一个人。