CN110458139B - 基于行人身体子区域颜色直方图的行人重识别预匹配方法 - Google Patents

Abstract

本发明公开了基于行人身体子区域颜色直方图的行人重识别预匹配方法，包括如下步骤：步骤1.1：给定待匹配图像P_d，以及查找集中的任意一张图像P_c；步骤1.2：通过Openpose算法得到图像P_d和P_c中的行人骨架；步骤1.3：根据骨架将图像P_d、P_c中的行人分为左右躯干以及上下腿部这四部分；步骤2.1：分别计算子图像HSV颜色直方图；步骤3.1：计算子图像的相似度；步骤3.2：计算图像P_d与图像P_c距离；步骤4.1：给定阈值T，若D(P_d,P_c)＜T，认定图像为相似；本发明的优点是：利用计算机视觉以及图像过处理领域简单有效的方法在行人重识别之前做了行人预识别的工作。

Description

基于行人身体子区域颜色直方图的行人重识别预匹配方法

技术领域

本发明涉及到计算机视觉，图像处理等各个领域，具体为基于行人身体子区域HSV颜色直方图的行人重识别预匹配方法。

背景技术

随着行人重识别技术的日益发展，识别的准确率和识别效率的提升，该技术已经越来越多的应用于智能安防领域，在公安，刑侦，公共安全等领域都发挥出了越来越重要的作用。不仅如此，行人重识别技术在无人超市，相册聚类等新兴领域也开始扮演重要角色。随着大数据时代的到来，行人重识别领域的行人匹配数据集也越来越庞大，数据量和数据类型都急剧上升，从早期1264张图像，632个行人仅包含两个摄像机的VIPeR数据集到如今，126441张图像，4101个行人，包含15个摄像机的MSMT17数据集，在数据变得越来越丰富多样的同时也给行人重识别的效率和准确率带来了极大的挑战。经过多年的发展与深度学习时代的来临，目前行人重识别技术主流以深度学习的方法为主，但通过深度学习来对行人进行匹配的方法效率值较为低下，且从数据集迁移角度看，经过数据集迁移之后行人重识别的匹配准确率就会大大降低，鲁棒性并不高。

因此利用简单的计算机视觉与图像处理的方法来对行人重识别做预匹配具有实际意义以及较高的可行性。

武汉大学，张华提出了一种基于空间颜色特征的行人重识别方法，将行人分为若干小块计算颜色描述符，并在计算每小块相似度时引入行人位置信息。山东大学，彭志勇利用环形Gabor滤波器组生成多尺度图像，再利用改进的FAST算法和BRIEF算法对多尺度图像进行特征点提取与描述，最后利用暴力算法和随机抽样一致性算法进行特征点匹配和提纯，以此来进行行人的重识别。华南理工大学，邱宇提出了一种将度量学习和稀疏表示方法相结合的特征距离排序方式来进行行人重识别，根据马氏距离中度量矩阵的半正定性质对提取的行人图像特征进行转换得到新的特征，并将其融入稀疏模型中评估测试样本和字典之间的相似性，利用迭代稀疏系数重加权的方式对数据集中具有非零稀疏系数的个体根据标准重构误差进行排序。华东师范大学，刘娜提出了一种改进的Siamese结构的基于深度卷积神经网络的行人重识别模型。训练时结合了分类和相似性度量，从而增大类间距离，缩小类内距离，提取出行人的有效特征，然后再进一步用度量学习算法进行相似度度量。南京邮电大学，唐松提出了一种基于显著特征的行人重识别方法，利用超像素构造特征空间，利用基于元胞自动机的方法计算行人图像的内在显著特征并利用一种学习排序方法衡量各图像之间的相似性。

上述文献和方法中虽然都提到了利用计算机视觉等方法对行人图像进行匹配，但仍存在以下不足：

1)没有提到行人预识别，通过查找大量的行人数据并做匹配是效率非常低下，时间复杂度过高；

2)识别准确率并不高，不采用预识别过滤掉大部分图像而直接进行匹配会在匹配结果中混入一些能够简单过滤的图像，降低了行人重识别的准确率；

因此如何能够用简单有效的方法进行行人预识别，在行人查找库中过滤无用图像，提高行人重识别的效率以准确率是做好行人重识别研究的关键。

发明内容

为克服上述算法和方法存在的不足，提高行人重识别的效率以及准确率，本发明提出了一种基于行人身体子区域颜色直方图的行人重识别预匹配方法。

本发明的技术方案如下：

一种基于行人身体子区域颜色直方图的行人重识别预匹配方法，包括如下步骤：

步骤1.1：给定待匹配图像P_d，以及查找集中的任意一张图像P_c；

步骤1.2：通过Openpose算法得到图像P_d和P_c中的行人骨架；

步骤1.3：根据骨架将图像P_d中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_dl、P_dr、P_du和P_dd；

步骤1.4：根据骨架将图像P_c中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_cl、P_cr、P_cu和P_cd；

步骤2.1：分别计算子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，得到图像P_d的直方图特征描述集合T_d＝{(H_dl,H_dr,H_du,H_dd)|(h_dl,h_dr,h_du,h_dd),(s_dl,s_dr,s_du,s_dd),(v_dl,v_dr,v_du,v_dd)}，其中H_dl、H_dr、H_du和H_dd分别表示子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，h_dl、h_dr、h_du和h_dd分别表示子图像P_dl、P_dr、P_du和P_dd在H分量的直方图，s_dl、s_dr、s_du和s_dd分别表示子图像P_dl、P_dr、P_du和P_dd在S分量的直方图，v_dl、v_dr、v_du和v_dd分别表示子图像P_dl、P_dr、P_du和P_dd在V分量的直方图；

步骤2.2：分别计算子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，得到图像P_c的直方图特征描述集合T_c＝{(H_cl,H_cr,H_cu,H_cd)|(h_cl,h_cr,h_cu,h_cd),(s_cl,s_cr,s_cu,s_cd),(v_cl,v_cr,v_cu,v_cd)}，其中H_cl、H_cr、H_cu和H_cd分别表示子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，h_cl、h_cr、h_cu和h_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在H分量的直方图，s_cl、s_cr、s_cu和s_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在S分量的直方图，v_cl、v_cr、v_cu和v_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在V分量的直方图；

步骤3.1：分别根据式(2)-(4)计算子图像P_dl与P_cl、子图像P_dr与P_cr、子图像P_du与P_cu的相似度，并分别记为d_l(H_dl,H_cl)，d_r(H_dr,H_cr)，d_u(H_du,H_cu)；

d_l(H_dl,H_cl)＝α*d(h_dl,h_cl)+β*d(s_dl,s_cl)+γ*d(v_dl,v_cl) (2)

d_r(H_dr,H_cr)＝α*d(h_dr,h_cr)+β*d(s_dr,s_cr)+γ*d(v_dr,v_cr) (3)

d_u(H_du,H_cu)＝α*d(h_du,h_cu)+β*d(s_du,s_cu)+γ*d(v_du,v_cu) (4)

其中，α，β，γ分别为H，S，V的权重值，式(2)-(4)中右边部分用到的形式为d(H₁,H₂)的式子表示一个函数，该函数采用巴氏距离方法计算直方图H₁和H₂的距离；

步骤3.2：按照如下公式计算图像P_d与图像P_c距离D(P_d,P_c)：

D(P_d,P_c)＝λd_l(H_dl,H_cl)+μd_r(H_dr,H_cr)+δd_u(H_du,H_cu)+θd_d(H_dd,H_cd) (5)

其中λ，μ，δ和θ为设定的相似度权重值；

步骤4.1：给定阈值T，若D(P_d,P_c)＜T，认定图像为相似，图像P_c加入相似文件夹中，若D(P_d,P_c)≥T，舍弃图像P_c；

步骤4.2：再从图库中随机抽取一张图像记为P_c，重复步骤1.2，步骤1.4，步骤2.2，步骤3.1，步骤3.2，步骤4.1，步骤4.2。

本发明的优点是：利用计算机视觉以及图像过处理领域简单有效的方法在行人重识别之前做了行人预识别的工作，首先利用行人骨架数据可以划分得到行人各个子区域，然后运用HSV颜色直方图以及巴氏距离的方法计算行人间相互匹配的程度，不仅能够在整体运行速率上提高行人重识别这一工作，与此同时还提高行人重识别的准确性以及行人重识别方法在各个行人重识别数据集上的鲁棒性。

附图说明

图1为待匹配图像；

图2为待查找图像骨架图；

图3为待匹配图像身体分割图；

图4为待查找图像身体分割图；

图5为待匹配图像躯干P_dl部分H通道颜色直方图；

图6为待查找图像躯干P_cl部分H通道颜色直方图。

具体实施方式

下面基于实例来阐述本发明基于颜色直方图巴氏距离的行人重识别预匹配方法的具体实施方式。

步骤1.1：给定待匹配图像P_d，以及查找集中的任意一张图像P_c；在本实施例中P_d为需要识别的行人图像，P_c为行人查找集中任意一张图像；

步骤1.2：通过Openpose算法得到图像P_d和P_c中的行人骨架；在本实施例中通过Openpose算法获得行人图像各个关节点坐标数据，具体图像如图1-2所示；

步骤1.3：根据骨架将图像P_d中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_dl、P_dr、P_du和P_dd；在本实施例中，待匹配行人图像具体分割后的图像如图3所示；

步骤1.4：根据骨架将图像P_c中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_cl、P_cr、P_cu和P_cd；在本实施例中，待查找行人图像具体分割后的图像如图4所示；

步骤2.1：分别计算子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，得到图像P_d的直方图特征描述集合T_d＝{(H_dl,H_dr,H_du,H_dd)|(h_dl,h_dr,h_du,h_dd),(s_dl,s_dr,s_du,s_dd),(v_dl,v_dr,v_du,v_dd)}，其中H_dl、H_dr、H_du和H_dd分别表示子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，h_dl、h_dr、h_du和h_dd分别表示子图像P_dl、P_dr、P_du和P_dd在H分量的直方图，s_dl、s_dr、s_du和s_dd分别表示子图像P_dl、P_dr、P_du和P_dd在S分量的直方图，v_dl、v_dr、v_du和v_dd分别表示子图像P_dl、P_dr、P_du和P_dd在V分量的直方图；在本实施例中，图像P_dl的H通道颜色直方图如图5所示；

步骤2.2：分别计算子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，得到图像P_c的直方图特征描述集合T_c＝{(H_cl,H_cr,H_cu,H_cd)|(h_cl,h_cr,h_cu,h_cd),(s_cl,s_cr,s_cu,s_cd),(v_cl,v_cr,v_cu,v_cd)}，其中H_cl、H_cr、H_cu和H_cd分别表示子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，h_cl、h_cr、h_cu和h_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在H分量的直方图，s_cl、s_cr、s_cu和s_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在S分量的直方图，v_cl、v_cr、v_cu和v_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在V分量的直方图；在本实施例中，图像P_cl的H通道颜色直方图如图6所示；

步骤3.1：分别根据式(2)-(4)计算子图像P_dl与P_cl、子图像P_dr与P_cr、子图像P_du与P_cu的相似度，并分别记为d_l(H_dl,H_cl)，d_r(H_dr,H_cr)，d_u(H_du,H_cu)；

d_l(H_dl,H_cl)＝α*d(h_dl,h_cl)+β*d(s_dl,s_cl)+γ*d(v_dl,v_cl) (2)

d_r(H_dr,H_cr)＝α*d(h_dr,h_cr)+β*d(s_dr,s_cr)+γ*d(v_dr,v_cr) (3)

d_u(H_du,H_cu)＝α*d(h_du,h_cu)+β*d(s_du,s_cu)+γ*d(v_du,v_cu) (4)

其中，α，β，γ分别为H，S，V的权重值，式(2)-(4)中右边部分用到的形式为d(H₁,H₂)的式子表示一个函数，该函数采用巴氏距离方法计算直方图H₁和H₂的距离；在本实施例中所有α，β，γ的取值分别为0.5，0.3，0.2；

步骤3.2：按照如下公式计算图像P_d与图像P_c相似度D(P_d,P_c)：

D(P_d,P_c)＝λd_l(H_dl,H_cl)+μd_r(H_dr,H_cr)+δd_u(H_du,H_cu)+θd_d(H_dd,H_cd) (5)

其中λ，μ，δ和θ为设定的相似度权重值；在本实施例中λ，μ，δ和θ的取值分别为0.3，0.3，0.2和0.2；

步骤4.1：给定距离阈值T，若D(P_d,P_c)＜T，认定图像为相似，图像P_c加入相似文件夹中，若D(P_d,P_c)≥T，舍弃图像P_c；在本实施例中，距离阈值设置为0.6，最后图像距离小于距离阈值的图像被认为是匹配图像留下等待下一轮用其他方法进行匹配，大于等于阈值距离的图像被舍弃；

步骤4.2：再从图库中随机抽取一张图像记为P_c，重复步骤1.2，步骤1.4，步骤2.2，步骤3.1，步骤3.2，步骤4.1，步骤4.2；在本实施例中，从查找集图库中随机再挑选一张图像重新重复上面的步骤进行匹配，以此进行循环。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于行人身体子区域颜色直方图的行人重识别预匹配方法，其特征在于，包括如下步骤：

步骤1.1：给定待匹配图像P_d，以及查找集中的任意一张图像P_c；

步骤1.2：通过Openpose算法得到图像P_d和P_c中的行人骨架；

步骤1.3：根据骨架将图像P_d中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_dl、P_dr、P_du和P_dd；

步骤1.4：根据骨架将图像P_c中的行人分为左右躯干以及上下腿部这四部分，分别记为记为P_cl、P_cr、P_cu和P_cd；

步骤2.1：分别计算子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，得到图像P_d的直方图特征描述集合T_d＝{(H_dl,H_dr,H_du,H_dd)|(h_dl,h_dr,h_du,h_dd),(s_dl,s_dr,s_du,s_dd),(v_dl,v_dr,v_du,v_dd)}，其中H_dl、H_dr、H_du和H_dd分别表示子图像P_dl、P_dr、P_du和P_dd的HSV颜色直方图，h_dl、h_dr、h_du和h_dd分别表示子图像P_dl、P_dr、P_du和P_dd在H分量的直方图，s_dl、s_dr、s_du和s_dd分别表示子图像P_dl、P_dr、P_du和P_dd在S分量的直方图，v_dl、v_dr、v_du和v_dd分别表示子图像P_dl、P_dr、P_du和P_dd在V分量的直方图；

步骤2.2：分别计算子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，得到图像P_c的直方图特征描述集合T_c＝{(H_cl,H_cr,H_cu,H_cd)|(h_cl,h_cr,h_cu,h_cd),(s_cl,s_cr,s_cu,s_cd),(v_cl,v_cr,v_cu,v_cd)}，其中H_cl、H_cr、H_cu和H_cd分别表示子图像P_cl、P_cr、P_cu和P_cd的HSV颜色直方图，h_cl、h_cr、h_cu和h_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在H分量的直方图，s_cl、s_cr、s_cu和s_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在S分量的直方图，v_cl、v_cr、v_cu和v_cd分别表示子图像P_cl、P_cr、P_cu和P_cd在V分量的直方图；

步骤3.1：分别根据式(2)-(4)计算子图像P_dl与P_cl、子图像P_dr与P_cr、子图像P_du与P_cu的相似度，并分别记为d_l(H_dl,H_cl)，d_r(H_dr,H_cr)，d_u(H_du,H_cu)；

d_l(H_dl,H_cl)＝α*d(h_dl,h_cl)+β*d(s_dl,s_cl)+γ*d(v_dl,v_cl) (2)

d_r(H_dr,H_cr)＝α*d(h_dr,h_cr)+β*d(s_dr,s_cr)+γ*d(v_dr,v_cr) (3)

d_u(H_du,H_cu)＝α*d(h_du,h_cu)+β*d(s_du,s_cu)+γ*d(v_du,v_cu) (4)

其中，α，β，γ分别为H，S，V的权重值，式(2)-(4)中右边部分用到的形式为d(H₁,H₂)的式子表示一个函数，该函数采用巴氏距离方法计算直方图H₁和H₂的距离；

步骤3.2：按照如下公式计算图像P_d与图像P_c距离D(P_d,P_c)：

D(P_d,P_c)＝λd_l(H_dl,H_cl)+μd_r(H_dr,H_cr)+δd_u(H_du,H_cu)+θd_d(H_dd,H_cd) (5)

其中λ，μ，δ和θ为设定的相似度权重值；

步骤4.1：给定阈值T，若D(P_d,P_c)＜T，认定图像为相似，图像P_c加入相似文件夹中，若D(P_d,P_c)≥T，舍弃图像P_c；

步骤4.2：再从图库中随机抽取一张图像记为P_c，重复步骤1.2，步骤1.4，步骤2.2，步骤3.1，步骤3.2，步骤4.1，步骤4.2。

Images