CN104537356A - 利用瑞士轮排序进行步态识别的行人再标识方法和装置 - Google Patents

Abstract

本发明实施例提供了一种利用瑞士轮排序进行步态识别的行人再标识方法和装置。该方法包括：检测待检测视频中的行人的目标对象，提取所述目标对象的前景、步态周期和步态特征；将目标对象的步态特征和候选数据的步态特征进行相似性分析得到待排序数据；使用训练好的瑞士轮排序系统，将待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到待排序数据的最终排序结果，将目标对象识别为最终排序结果中排名最靠前的候选数据。本发明实施例能有效适应步态在多种情况下差异较大的问题，提高了监控视频场景中对象再标识的准确性，降低误检，实现了有效的行人检测和再标识任务。

Description

利用瑞士轮排序进行步态识别的行人再标识方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种利用瑞士轮排序进行步态识别的行人再标识方法和装置。

背景技术

随着计算机硬件水平的提高和信息处理技术的不断发展，图像处理和模式识别技术广泛应用于对象检测、对象特征和对象再标识等安全监控领域。行人再标识是监控场景中最常见的任务之一，具体地，是指将一个已出现的对象再次出现的图像或视频标记出来。步态识别技术是一种有效的行人再标识手段，相对于人脸识别，外观识别等手段，步态识别具有远距离可识别，不依赖于外貌变换等特点。传统的步态识别技术主要是使用距离度量模型和多类标识模型。在最近的计算机视觉领域，出现利用排序模型进行行人再标识的方法，该方法具有很好的再标识准确率。

目前，现有技术中的一种利用排序模型进行步态识别的方法为：利用步态能量图和RankSVM(Support Vector Machine for Ranking，排序支持向量机)对行人步态进行排序，根据排序模型进行行人再标识。

上述现有技术中的一种利用排序模型进行步态识别的方法的缺点为：由于行人的步态特征在不同的背包情况下会有较大的差异，即同一对象在背包时采集到的步态特征和不背包时采集到的步态特征相似度较小；相发地，不同对象在相同的背包情况下采集到的步态特征反而相似度更大。而该方法中的步态特征单一，且排序模型也较为简单，在情况变化多，步态特征差异大的情况下行人的再标识效果较差。

发明内容

本发明的实施例提供了一种利用瑞士轮排序进行步态识别的行人再标识方法和装置，以实现有效地检测和标识视频图像中的行人。

根据本发明的一个方面，提供了一种利用瑞士轮排序进行步态识别的行人再标识方法，包括：

检测待检测视频中的行人的目标对象，提取所述目标对象的前景，分析所述目标对象的步态周期，提取所述目标对象的步态特征；

将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据；

使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果，将所述目标对象识别为所述最终排序结果中排名最靠前的候选数据。

优选地，所述的检测待检测视频中的行人的目标对象，提取目标对象的前景，包括：

将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和所述初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

优选地，所述的分析目标对象的步态周期，提取目标对象的步态特征，包括：

提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；

提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期。

优选地，所述的提取目标对象的步态特征，包括：

等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，N表示一个步态周期内的前景图数量；

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-

(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数；

合并每个步态周期的步态能量图E_GEI(x,y)、步态殇图E_GEnI(x,y)和增强步态能量图E_EGEI(x,y)，得到目标对象的每个步态周期的最终的步态特征。

优选地，所述的将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据，包括：

将候选数据中所有的对象的步态特征，分别于本对象不同的步态特征，以及不同对象的所有步态特征构造待排序数据；

将目标对象的所有步态特征和候选数据的步态特征分别进行L1范式提取，得到待排序数据的步态特征x_p,g；

x_p,g＝|x_p-x_g|

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为待排序数据的步态特征。

优选地，所述的使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果，包括：

使用最近邻方法对待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果；

将第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，将特征值最小的特征排名最靠前，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，利用贪心策略组合相邻的样本数最小的两个组，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果；

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序；

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。

根据本发明的另一方面，提供了一种利用瑞士轮排序进行步态识别的行人再标识装置，包括：

目标对象前景提取模块，用于检测待检测视频中的行人的目标对象，提取所述目标对象的前景；

步态特征提取模块，用于分析所述目标对象的步态周期，提取所述目标对象的步态特征；

待排序数据获取模块，用于将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据；

待排序数据排序模块，用于使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果；

目标对象识别模块，用于将所述目标对象识别为所述最终排序结果中排名最靠前的候选数据。

优选地，所述的目标对象前景提取模块，用于将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和所述初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

优选地，所述的步态特征提取模块包括：

步态周期确定模块，用于提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期；

步态特征合并模块，用于等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，具体的，(x,y)为前景图的坐标，即在t时刻，(x,y)处是前景时，I(x,y,t)＝255；否则，I(x,y,t)＝0，N表示一个步态周期内的前景图数量；

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-

(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数；

合并每个步态周期的步态能量图E_GEI(x,y)、步态殇图E_GEnI(x,y)和增强步态能量图E_EGEI(x,y)，得到目标对象的每个步态周期的最终的步态特征。

优选地，所述的待排序数据获取模块，用于将候选数据中所有的对象的步态特征，分别于本对象不同的步态特征，以及不同对象的所有步态特征构造待排序数据；

将目标对象的所有步态特征和候选数据的步态特征分别进行L1范式提取，得到待排序数据的步态特征x_p,g；

x_p,g＝|x_p-x_g|

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为待排序数据的步态特征。

优选地，所述的待排序数据排序模块，用于使用最近邻方法对待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果；

将第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，将特征值最小的特征排名最靠前，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，利用贪心策略组合相邻的样本数最小的两个组，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果；

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序；

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过组合多种步态特征得到目标对象的最终的步态特征，利用瑞士轮排序模型进行步态识别，进而再进行行人再标识，能有效适应步态在多种情况下差异较大的问题，能够适应行人背包和不背包时的步态特征差异较大的场景，提高了监控视频场景中对象再标识的准确性，降低误检，实现了视频图像中有效的行人检测和再标识任务。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种瑞士轮排序模型的架构示意图；

图2为本发明实施例一提供的一种利用瑞士轮排序进行步态识别的行人再标识方法的处理流程图；

图3为本发明实施例一提供的一种行人的步态特征示意图；

图4为本发明实施例二提供的一种利用瑞士轮排序进行步态识别的行人再标识装置的具体结构图，图中，目标对象前景提取模块41，步态特征提取模块42，待排序数据获取模块43，待排序数据排序模块44，目标对象识别模块45，步态周期确定模块421，步态特征合并模块422。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

该实施例提供的一种瑞士轮排序模型的架构示意图如图1所示，CascadeModel0是示例使用的第0层基础排序模型，使用最近邻排序方法，CascadeModel 1、Cascade Model2为第二、三层排序模型，使用RankSVM方法。

该实施例提供的一种利用瑞士轮排序进行步态识别的行人再标识方法的处理流程如图2所示，包括如下的处理步骤：

步骤S210、检测待检测视频中的行人的目标对象，提取目标对象的前景。

所述提取目标对象的前景的方法是背景剪除法，具体过程包括：

将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

步骤S220、分析目标对象的步态周期，提取目标对象的步态特征。

所述提取目标对象的步态周期的具体过程包括：

提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；

提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期。

该实施例提供的一种行人的步态特征示意图如图3所示，所述提取目标对象的步态特征，具体步骤是：

等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，，具体的，(x,y)为前景图的坐标，即在t时刻，(x,y)处是前景时，I(x,y,t)＝255；否则，I(x,y,t)＝0。N表示一个步态周期内的前景图数量。

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-

(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数,σ_G(x,y)表示步态能量图的方差。

合并每个步态周期的步态能量图，步态殇图，增强步态能量图，得到每个步态周期的目标对象的最终的步态特征，该最终的步态特征组合了多种步态特征。

步骤S230、将目标对象的步态特征和候选数据的步态特征进行相似性分析，根据分析结果得到待排序数据和待排序数据的步态特征。

将训练数据中所有对象的步态特征，分别于训练数据中一个目标对象不同的步态特征，以及训练数据中除此目标对象之外的其他对象的所有步态特征构造待排序数据。

将候选数据的每个对象自身不同的步态特征构成的待排序数据x_p,g，标记为正样本，即y_p,g＝1；y_p,g指训练的标签

将候选数据的每个对象与候选数据中除选定的对象之外的其他对象的所有步态特征构成的x_p,g，标记为负样本，即y_p,g＝0。

将目标对象的所有步态特征和候选数据的步态特征分别用以下式子进行成对的特征提取，得到构造排序模型的上述待排序数据的步态特征：

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为最终待排序数据的步态特征。

步骤S240、使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果。

使用最近邻方法对原始的待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果。

将所述第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，每个特征对应一个分组，利用贪心策略组合相邻的样本数最小的两个组。然后，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果。

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序。

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。

所述最近邻方法，具体步骤为：

对于每个特定的目标数据x_p(本发明中为原始的待排序数据)，对目标数据x_p,g的所有特征进行排序，将特征值最小的特征排名最靠前，将每个特征作为一个分组。

上述根据正样本所在名次将待排序特征分割成多个组，具体方法为：

获取所有待排序特征中包括的正样本个数根据个正样本将样本集(即所有待排序特征)分成个组，S′表示分割的子组。

$\{S_1^{\′},S_2^{\′},...S_{N\left\{{\hat{x}}_{p,g}^{+}\right\}+1}^{\′}\}=\left\{\right\{...S_{{\hat{x}}_1^{+}}\},\{S_{{\hat{x}}_1^{+}+1}...S_{{\hat{x}}_2^{+}}\}...\{S_{N\left\{{\hat{x}}_{p,g}^{+}\right\}+1}^{\′}...\left\}\right\}$

上述利用贪心策略合并相邻的样本数最小的两个组，具体方法为：

选择样本数最小的组S_i′，将S_i′与相邻的组别进行合并：

$S_i^{\′}\←\left\{\begin{array}{ccc}{S}_{i-1}^{\′}\∪S^{\′}& \mathrm{if}& N_{\left\{S_{i-1}^{\′}\right\}}\≥N_{\left\{S_{i+1}^{\′}\right\}}\\ S_i^{\′}\∪S_{i+1}^{\′}& \mathrm{otherwise}& \end{array}\right.$

上述每层排序中组合不同组的排序结果得到本层最终排序结果，具体方法为：

标准化每个组别中的排名得分：

$S_{\left\{M_t^r\right\}}\left(x_{p,g_i}\right)=S_{\left\{M_t^r\right\}}\left(x_{p,g_i}\right)-\frac{1}{N_t^r}\underset{i=1}{\overset{N_t^r}{\mathrm{\Σ}}}{S}_{\left\{M_t^r\right\}}\left(x_{p,g_i}\right)$

其中为在组中的排名得分，表示t层r组。表示t层r组中对象的个数。

合并当前层与上一层的排名得分得到最终排名得分：

$S_{\left\{M_t\right\}}\left(x_{p,g_i}\right)={\mathrm{\α}}_t{S}_{\left\{M_{t-1}\right\}}\left(x_{p,g_i}\right)+(1-{\mathrm{\α}}_t)S_{\left\{M_t\right\}}\left(x_{p,g_i}\right)$

其中为在M_t层中的排名得分。α_t是手动选取的当前层的权值，范围可取[0,1]。

所述舍弃排名靠后的样本，具体方法为：

使用舍弃策略：

其中Jc(β_t)为舍弃的阈值。

上述使用训练好的RankSVM排序模型在待排序数据的每一层的每个组中进行排序的过程就是将待排序数据输入训练好的RankSVM，得到的输出就是排序结果。

步骤S250、将目标对象识别为最终排序结果中排名最靠前的候选数据。

在得到待排序数据的最终排序结果后，将目标对象的ID(标识)识别为最终排序结果中排名最靠前的候选数据的ID(标识)。

实施例二

该实施例提供的一种利用瑞士轮排序进行步态识别的行人再标识装置，其具体结构如图4所示，包括：

目标对象前景提取模块41，用于检测待检测视频中的行人的目标对象，提取所述目标对象的前景；

步态特征提取模块42，用于分析所述目标对象的步态周期，提取所述目标对象的步态特征；

待排序数据获取模块43，用于将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据；

待排序数据排序模块44，用于使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果；

目标对象识别模块45，用于将所述目标对象识别为所述最终排序结果中排名最靠前的候选数据。

进一步地，所述的目标对象前景提取模块41，用于将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和所述初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

进一步地，所述的步态特征提取模块42包括：

步态周期确定模块421，用于提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期；

步态特征合并模块422，用于等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，N表示一个步态周期内的前景图数量；

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-

(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数。

合并每个步态周期的步态能量图E_GEI(x,y)、步态殇图E_GEnI(x,y)和增强步态能量图E_EGEI(x,y)，得到目标对象的每个步态周期的最终的步态特征。

进一步地，所述的待排序数据获取模块43，用于将候选数据中所有的对象的步态特征，分别于本对象不同的步态特征，以及不同对象的所有步态特征构造待排序数据；

将目标对象的所有步态特征和候选数据的步态特征分别进行L1范式提取，得到待排序数据的步态特征x_p,g；

x_p,g＝|x_p-x_g|

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为待排序数据的步态特征。

进一步地，所述的待排序数据排序模块44，用于使用最近邻方法对待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果；

将第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，将特征值最小的特征排名最靠前，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，利用贪心策略组合相邻的样本数最小的两个组，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果；

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序；

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。

用本发明实施例的装置进行利用瑞士轮排序进行步态识别的行人再标识的具体过程与前述方法实施例类似，此处不再赘述。

综上所述，本发明实施例通过组合多种步态特征得到目标对象的最终的步态特征，利用瑞士轮排序模型进行步态识别，进而再进行行人再标识，能有效适应步态在多种情况下差异较大的问题，能够适应行人背包和不背包时的步态特征差异较大的场景，提高了监控视频场景中对象再标识的准确性，降低误检，实现了视频图像中有效的行人检测和再标识任务。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，包括：

检测待检测视频中的行人的目标对象，提取所述目标对象的前景，分析所述目标对象的步态周期，提取所述目标对象的步态特征；

将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据；

使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果，将所述目标对象识别为所述最终排序结果中排名最靠前的候选数据。

2.根据权利要求1所述的利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，所述的检测待检测视频中的行人的目标对象，提取目标对象的前景，包括：

将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和所述初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

3.根据权利要求2所述的利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，所述的分析目标对象的步态周期，提取目标对象的步态特征，包括：

提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；

提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期。

4.根据权利要求3所述的利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，所述的提取目标对象的步态特征，包括：

等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，N表示一个步态周期内的前景图数量；

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数；

合并每个步态周期的步态能量图E_GEI(x,y)、步态殇图E_GEnI(x,y)和增强步态能量图E_EGEI(x,y)，得到目标对象的每个步态周期的最终的步态特征。

5.根据权利要求4所述的利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，所述的将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据，包括：

将候选数据中所有的对象的步态特征，分别于本对象不同的步态特征，以及不同对象的所有步态特征构造待排序数据；

将目标对象的所有步态特征和候选数据的步态特征分别进行L1范式提取，得到待排序数据的步态特征x_p,g；

x_p,g＝|x_p-x_g|

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为待排序数据的步态特征。

6.根据权利要求1至5任一项所述的利用瑞士轮排序进行步态识别的行人再标识方法，其特征在于，所述的使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果，包括：

使用最近邻方法对待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果；

将第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，将特征值最小的特征排名最靠前，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，利用贪心策略组合相邻的样本数最小的两个组，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果；

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序；

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。

7.一种利用瑞士轮排序进行步态识别的行人再标识装置，其特征在于，包括：

目标对象前景提取模块，用于检测待检测视频中的行人的目标对象，提取所述目标对象的前景；

步态特征提取模块，用于分析所述目标对象的步态周期，提取所述目标对象的步态特征；

待排序数据获取模块，用于将所述目标对象的步态特征和候选数据的步态特征进行相似性分析，根据所述相似性分析的分析结果得到待排序数据；

待排序数据排序模块，用于使用训练好的瑞士轮排序系统，将所述待排序数据进行多层次的分组排序，组合多层次的分组排序的结果得到所述待排序数据的最终排序结果；

目标对象识别模块，用于将所述目标对象识别为所述最终排序结果中排名最靠前的候选数据。

8.根据权利要求7所述的利用瑞士轮排序进行步态识别的行人再标识装置，其特征在于：

所述的目标对象前景提取模块，用于将待检测视频的第一帧图像作为初始的背景图像，用待检测视频的第二帧图像中的每个像素点的灰度值和所述初始的背景图像中每个像素点的灰度值做帧差运算，得到所述第二帧图像中每个像素点的像素变化的差分图像；

将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述第二帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述初始背景图像加权相加得到更新后的背景图像；

用下一帧图像中的每个像素点的灰度值和更新后的背景图像中每个像素点的灰度值做帧差运算，得到下一帧图像中每个点的像素变化的差分图像，将所述差分图像进行二值化处理，将像素值大于阈值T_m的像素点标记为运动区域，该运动区域即为所述下一帧图像中的目标对象的前景；

将二值化的差分图像做腐蚀运算，将腐蚀运算后的差分图像做膨胀运算，将膨胀运算后的差分图像和所述更新后的背景图像加权相加，再次得到更新后的背景图像；

依次类推，对待检测视频中所有帧图像进行上述处理，得到每一个帧图像中的目标对象的前景。

9.根据权利要求8所述的利用瑞士轮排序进行步态识别的行人再标识装置，其特征在于，所述的步态特征提取模块包括：

步态周期确定模块，用于提取所有帧图像中的目标对象所有行走的前景中的最小外矩形框，提取所述最小矩形框的高宽比，使用中值滤波、均值滤波对所述最小矩形框的高宽比进行滤波，分析滤波后的高宽比的自相关性；提取所述自相关性对应的自相关变换的一阶导数，提取所述一级导数的最高点，将相邻的两个最高点之间的时间周期作为目标对象的半个步态周期；

步态特征合并模块，用于等比例放缩所有的目标对象的前景到相同的宽高；

加权平均每个步态周期内的前景得到每个步态周期的步态能量图：

$E_{\mathrm{GEI}}(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}I(x,y,t)$

其中I(x,y,t)表示步态周期中t时刻的前景图，具体的，(x,y)为前景图的坐标，即在t时刻，(x,y)处是前景时，I(x,y,t)＝255；否则，I(x,y,t)＝0，N表示一个步态周期内的前景图数量；

通过香浓殇度量每个步态周期的步态能量图的不同位置的不确定性，得到每个步态周期的步态殇图：

E_GEnI(x,y)＝-E_GEI(x,y)*log₂E_GEI(x,y)-(1-E_GEI(x,y))*log₂(1-E_GEI(x,y))

基于动态区域的分布调整每个步态周期的步态能量图，得到每个步态周期的增强步态能量图：

E_EGEI(x,y)＝E_GEI(x,y)(norm(σ_G(x,y)))^γ

其中，

${\mathrm{\σ}}_G(x,y)=\sqrt{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{[E_{\mathrm{GEI}}^i(x,y)-\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{E}_{\mathrm{GEI}}^i(x,y)]}^2}$

norm(·)将σ_G(x,y)归一化到[0，1]，γ为幂指数，C表示采集的步态能量图的总数；

合并每个步态周期的步态能量图E_GEI(x,y)、步态殇图E_GEnI(x,y)和增强步态能量图E_EGEI(x,y)，得到目标对象的每个步态周期的最终的步态特征。

10.根据权利要求9所述的利用瑞士轮排序进行步态识别的行人再标识装置，其特征在于：

所述的待排序数据获取模块，用于将候选数据中所有的对象的步态特征，分别于本对象不同的步态特征，以及不同对象的所有步态特征构造待排序数据；

将目标对象的所有步态特征和候选数据的步态特征分别进行L1范式提取，得到待排序数据的步态特征x_p,g；

x_p,g＝|x_p-x_g|

其中x_p为目标数据的步态特征，x_g为候选数据的步态特征，x_p,g为待排序数据的步态特征。

11.根据权利要求7至10任一项所述的利用瑞士轮排序进行步态识别的行人再标识装置，其特征在于：

所述的待排序数据排序模块，用于使用最近邻方法对待排序数据进行第一层的分组，将所述待排序数据分解为第一层的多个组，使用训练好的RankSVM排序模型在第一层的每个组中进行排序，组合第一层的每个组的排序结果得到第一层的最终排序结果；

将第一层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第二层的待排序数据，将所述第二层的待排序数据的所有待排序特征根据特征总值进行排序，将特征值最小的特征排名最靠前，根据正样本所在名次将所述第二层的待排序数据的所有待排序特征分割成多个组，利用贪心策略组合相邻的样本数最小的两个组，重新进行第二层的待排序数据的所有待排序特征的排序、分割成多个组和组合相邻的样本数最小的两个组的处理过程，迭代多次直到组数达到目标组数的要求，完成对所述待排序数据的第二层的分组；使用训练好的RankSVM排序模型在所述待排序数据的第二层的每个组中进行排序，组合第二层的每个组的排序结果得到所述待排序数据的第二层的最终排序结果；

将所述待排序数据的第二层的最终排序结果中的排名靠后设定名次的对象舍弃，得到第三层的待排序数据，按照上述处理过程，对所述第三层的待排序数据进行分组和排序；

依次类推，直到达到设定的分层层次，得到最终层的所述待排序数据的最终排序结果。