CN112528844A - 单视角低分辨率的步态特征提取方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种单视角低分辨率的步态特征提取方法、装置及存储介质，其中方法包括：获取监控图像；对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。本发明利用超分辨率技术进行高分辨率信息的提取，经过Gabor滤波器进行过滤后，再进行两次降维，得到最终步态特征，能够获取到低分辨率、不清晰条件下的空间特征表达，解决在单视角固定摄像机切换到多视角摄像机的空间步态特征表达的问题。

Description

单视角低分辨率的步态特征提取方法、装置及存储介质

技术领域

本发明涉及，尤其涉及一种单视角低分辨率的步态特征提取方法、装置及存储介质。

背景技术

步态识别是目前远距离进行生物特征识别的重要手段之一，在安防检测、刑侦、公共领域有着很大的应用场景。基于人体结构的空间特征提取具有特征信息表示简单、提取相对方便、对噪声以及损失具有一定的鲁棒性等优点。但是直接使用人体外形提取特征信息难以对步态进行准确的描述。比如在单一视角下低分辨率复杂监控场景中，很难从监控图像中准确提取人体结构的空间特征。这样就可能造成不同目标有相同的特征表达。例如在非主干道上，往往只有一个摄像头，并且由于长久未维护，造成设备的灵敏性、清晰度会有不同程度的降低，在特殊情况下就会为行人重识别造成严重的困难，为刑侦以及安防检测带来极大的不便。同时，在社会安全和反恐中，要从低分辨率的图像和视频中发现潜在的危险往往是比较困难的，尤其在距离较远时(>5m)。故，现有的基于人体结构的空间特征提取方法难以满足在这些复杂监控场景下对步态进行准确的描述。

发明内容

本发明提供了一种单视角低分辨率的步态特征提取方法、装置及存储介质，以解决现有的步态特征提取方法难以满足在复杂监控场景下对步态进行准确描述的问题。

第一方面，提供了一种单视角低分辨率的步态特征提取方法，包括：

获取监控图像；

对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；

对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；

基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；

基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。

进一步地，所述对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像，包括：

采用双三次卷积插值方法对监控图像进行插值处理得到高分辨率监控图像，其插值函数定义如下式所示：

其中，a取值为-1，x表示监控图像中像素点到高分辨率监控图像中待求像素点的竖直或水平方向上的距离；

与监控图像中像素点(i，j)对应的高分辨率监控图像中待求像素点的像素值通过如下公式计算得到：

f(i+α，j+β)＝A×B×C

其中，

A＝[w(1+α)，w(α)，w(1-α)，w(2-α)]

C＝[w(1+β)，w(β)，w(1-β)，w(2-β)]^T

α、β分别表示高分辨率监控图像中待求像素点与监控图像中像素点(i，j)在竖直方向和水平方向上的距离。

进一步地，所述对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征，包括：

建立预设尺度和方向数量的Gabor滤波器组；

将高分辨率监控图像划分为预设数量的监控图像块；

分别使用每个尺度和方向上Gabor滤波器对所有的监控图像块进行滤波，并将得到的每个图像特征矩阵拉伸成一个特征向量；

最后将所有尺度和方向上处理得到的特征向量连接成一个向量，得到步态Gabor特征。

进一步地，所述Gabor滤波器的数学形式定义如下：

其中，v和μ分别表示Gabor滤波器的尺度和方向，z＝(x，y)表示高分辨率监控图像中像素点的坐标，||||表示向量计算的二范数，k_μν＝k_vexp(iφ_μ)表示Gabor滤波器的小波向量，σ表示Gabor滤波器中高斯函数的标准差，i表示Gabor滤波器交流系数；且，

进一步地，所述基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征，包括：

将步态Gabor特征进行网格化，并计算出最大互信息值；

将最大互信息值进行归一化；

选择不同尺度下互信息的最大值作为MIC值；

则初始步态特征X_D可通过下式计算得到：

X_D＝W_MICX

其中，W_MIC表示MIC值，X表示步态Gabor特征。

进一步地，互信息的计算公式如下：

I({g}，{γ})＝V_IN+V_ALL-2V_BTW

其中，

其中，γ表示特征，g表示属性类别，p(g)表示属性类别的概率，p(γ)表示离散特征值的概率，p(g，γ)表示属性与特征共同存在下的概率；计算公式如下：

N表示估计值，σ表示估计方差，G高斯核Parzen窗近似估计函数；

其中，I与V_IN、V_ALL、V_BTW的关系如下：

I中的变量和梯度可以通过高斯核Parzen窗近似估计，因此，可算计得到MIC值W_MIC，

其中，W为预设系数矩阵。

进一步地，所述基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征，包括：

将初始步态特征进行去中心化；

计算初始步态特征的协方差矩阵；

对协方差矩阵进行特征值分解；

取出最大的d个特征值对应的特征向量，将所有的特征向量进行标准化处理，组成特征向量矩阵W，其中d为预设值；

最终步态特征X_d为X_d＝(z¹，z²，z³，...，z^d)，其中，zⁱ＝W^Tx⁽ⁱ⁾，x⁽ⁱ⁾表示初始步态特征去中心化后的向量。

第二方面，提供了一种单视角低分辨率的步态特征提取装置，包括：

图像获取模块，用于获取监控图像；

高分辨率图像生成模块，用于对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；

步态Gabor特征获取模块，用于对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；

初始步态特征获取模块，用于基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；

最终步态特征获取模块，用于基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。

第三方面，提供了一种电子设备，包括：

一个或多个处理器；

存储器，存储有计算机程序；

当所述计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的单视角低分辨率的步态特征提取方法。

第四方面，提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载并执行如上所述的单视角低分辨率的步态特征提取方法。

有益效果

本发明提出了一种单视角低分辨率的步态特征提取方法、装置及存储介质，通过对原始监控图像进行超分辨率算法提取出具备高频率信息的高分辨率的图像，能够解决在远距离、图像分辨率低以及不清晰的情况下依然能够获取到高频率信息。组合不同的Gabor滤波器进行过滤，得到原始的步态空间特征表达，但是此空间特征表达具有维数大、计算困难、同时存在衣着等部分的遮挡会对特征提取产生不利的影响，所以需要进行降维处理。本发明使用两次降维处理，第一次使用最大互信息量算法能够消除数据冗余、增强低维信息的区分度，使得处理后的特征能够突出表达，即降维，也能消除衣着等部分遮挡的影响。第二次使用主成分分析法进行降维以及去噪处理，经过第一次降维处理后虽然消除了数据冗余、增强了区分度，但是没有解决维数过大、计算困难的问题。经过主成分分析算法的处理，根据需要能够提取出前面最重要的部分，将后面的维度省去，可以达到降维从而简化模型或者数据压缩的效果，同时保持了原有数据的信息；不仅能够达到降低维数的优点，同时为特征表达的计算提供便利；由于测量仪器的误差、人为误差或者是测试方法有问题等，使得数据中心不可避免的有噪声的产生。而主成分分析算法具有去除噪声的功能，去除噪声能够提高数据的可视化，使得样本数据特征更加鲁棒，便于目前已有模型进行人识别。本发明能够处理在特殊场景下的步态空间特征表达，通过此发明能够衔接多监控视角下的行人识别，能够在刑侦以及安防任务中起到非常重要的辅助作用。此发明的核心意义在于能够获取到低分辨率、不清晰条件下的空间特征表达，解决在单视角固定摄像机切换到多视角摄像机的空间步态特征表达的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种单视角低分辨率的步态特征提取方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，本发明的一实施例提供了一种单视角低分辨率的步态特征提取方法，包括：

S01：获取监控图像。

S02：对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像。具体包括：

采用双三次卷积插值方法对监控图像进行插值处理得到高分辨率监控图像。双三次卷积插值基本思想是增加领域像素点获得更佳的插值函数；使用双三次卷积插值的方法将源图像某个点周围16个点的像素值决定目标图像对应点的像素值，三次运算可以得到更接近高分辨率图像的效果。其插值函数定义如下式所示：

其中，a取值为-1，x表示监控图像中像素点到高分辨率监控图像中待求像素点的竖直或水平方向上的距离；

这16个点的像素值分别占多少权重这由权重函数计算，每个像素值的权重由该点到待求像素点的距离确定，这个距离包括水平和竖直方向上的距离。以某一像素点为例，该点竖直和水平方向上与待求像素点的距离分别是a和b，则该像素点的权重为ω＝ω(a)×ω(b)。

由此可得到，与监控图像中像素点(i，j)对应的高分辨率监控图像中待求像素点的像素值通过如下公式计算得到：

f(i+α，j+β)＝A×B×C

其中，

A＝[w(1+α)，w(α)，w(1-α)，w(2-α)]

C＝[w(1+β)，w(β)，w(1-β)，w(2-β)]^T

α、β分别表示高分辨率监控图像中待求像素点与监控图像中像素点(i，j)在竖直方向和水平方向上的距离。每一组16个像素点组成一个连续内插函数，这种三次多项式内插过程实际上就是一种卷积操作，双三次卷积插值的优点是图像插值质量好。

S03：对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征。具体包括：

建立预设尺度和方向数量的Gabor滤波器组；

将高分辨率监控图像划分为预设数量的监控图像块；

分别使用每个尺度和方向上Gabor滤波器对所有的监控图像块进行滤波，并将得到的每个图像特征矩阵拉伸成一个特征向量；

最后将所有尺度和方向上处理得到的特征向量连接成一个向量，得到步态Gabor特征。

其中，所述Gabor滤波器的数学形式定义如下：

其中，ν和μ分别表示Gabor滤波器的尺度和方向，z＝(x，y)表示高分辨率监控图像中像素点的坐标，||||表示向量计算的二范数，k_μν＝k_vexp(iφ_μ)表示Gabor滤波器的小波向量，σ表示Gabor滤波器中高斯函数的标准差，本实施例中标准差σ取3，i表示Gabor滤波器交流系数；本实施例中，采用3个尺度、6个方向的Gabor滤波器组合得到Gabor滤波器组，则参数组合取值为

S04：基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征。具体包括：

将步态Gabor特征进行网格化，并计算出最大互信息值；

将最大互信息值进行归一化；

选择不同尺度下互信息的最大值作为MIC值；

则初始步态特征X_D可通过下式计算得到：

X_D＝W_MICX

其中，W_MIC表示MIC值，X表示步态Gabor特征。

具体的，互信息的计算公式如下：

I({g)，{γ})＝V_IN+V_ALL-2V_BTW

其中，

其中，γ表示特征，g表示属性类别，p(g)表示属性类别的概率，p(γ)表示离散特征值的概率，p(g，γ)表示属性与特征共同存在下的概率；

N表示估计值，为属性类别与特征的乘积，本实施例中取32；σ表示估计方差，也就是样本的分布方差；G表示高斯核Parzen窗近似估计函数；I表示I({g}，{γ})＝V_IN+V_ALL-2V_BTW；

其中，I与V_IN、V_ALL、V_BTW的关系如下：

I中的变量和梯度可以通过高斯核Parzen窗近似估计，因此，可算计得到MIC值W_MIC，

其中，W为预设系数矩阵，用于修正所求的MIC值。通过求得的W_MIC，使得属性与投射到该子空间上的数据之间的相互信息最大，可以将原始的步态Gabor特征X向量投影到较低的D维特征空间，由此可以将原始的步态Gabor特征向量降低至D维度，同时最大化特征γ和属性g。γ和g是步态Gabor特征直接包含的，只不过使用最大互信息量可以将Gabor特征向量中的特征和属性最大化。

S05：基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。具体包括：

将初始步态特征X_D＝(x¹，x²，x³，...，x^D)进行去中心化：

其中，D表示初始步态特征的维度，x⁽ⁱ⁾表示初始步态特征去中心化后的向量，xⁱ表示初始步态特征中的向量；

计算初始步态特征的协方差矩阵：XX^T；其中，X表示初始步态特征去中心化后的任意两个向量之间的协方差；计算方式为cov(x_i，x_j)，i，j表示矩阵中的位置；

对协方差矩阵进行特征值分解；

取出最大的d个特征值对应的特征向量(w₁，w₂，w₃，...，w_d)，将所有的特征向量进行标准化处理，组成特征向量矩阵W，其中d为预设值；

最终步态特征X_d为X_d＝(z¹，z²，z³，...，z^d)，其中，zⁱ＝W^Tx⁽ⁱ⁾，x⁽ⁱ⁾表示初始步态特征去中心化后的向量。

本发明的另一实施例还提供了一种单视角低分辨率的步态特征提取装置，包括：

图像获取模块，用于获取监控图像；

高分辨率图像生成模块，用于对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；

步态Gabor特征获取模块，用于对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；

初始步态特征获取模块，用于基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；

最终步态特征获取模块，用于基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。

本发明的一个实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，存储有计算机程序；

当所述计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的单视角低分辨率的步态特征提取方法。

本发明的一个实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载并执行如上所述的单视角低分辨率的步态特征提取方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种单视角低分辨率的步态特征提取方法，其特征在于，包括：

获取监控图像；

对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；

对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；

基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；

基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。

2.根据权利要求1所述的单视角低分辨率的步态特征提取方法，其特征在于，所述对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像，包括：

采用双三次卷积插值方法对监控图像进行插值处理得到高分辨率监控图像，其插值函数定义如下式所示：

其中，a取值为-1，x表示监控图像中像素点到高分辨率监控图像中待求像素点的竖直或水平方向上的距离；

与监控图像中像素点(i，j)对应的高分辨率监控图像中待求像素点的像素值通过如下公式计算得到：

f(i+α，j+β)＝A×B×C

其中，

A＝[w(1+α)，w(α)，w(1-α)，w(2-α)]

C＝[w(1+β)，w(β)，w(1-β)，w(2-β)]^T

α、β分别表示高分辨率监控图像中待求像素点与监控图像中像素点(i，j)在竖直方向和水平方向上的距离。

3.根据权利要求1所述的单视角低分辨率的步态特征提取方法，其特征在于，所述对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征，包括：

建立预设尺度和方向数量的Gabor滤波器组；

将插值卷积后的高分辨率监控图像划分为预设数量的监控图像块；

分别使用每个尺度和方向上Gabor滤波器对所有的监控图像块进行滤波，并将得到的每个图像特征矩阵拉伸成一个特征向量；

最后将所有尺度和方向上处理得到的特征向量连接成一个向量，得到步态Gabor特征。

4.根据权利要求3所述的单视角低分辨率的步态特征提取方法，其特征在于，所述Gabor滤波器的数学形式定义如下：

其中，v和μ分别表示Gabor滤波器的尺度和方向，z＝(x，y)表示高分辨率监控图像中像素点的坐标，||||表示向量计算的二范数，k_μν＝k_vexp(iφ_μ)表示Gabor滤波器的小波向量，σ表示Gabor滤波器中高斯函数的标准差，i表示Gabor滤波器交流系数；且，

5.根据权利要求1所述的单视角低分辨率的步态特征提取方法，其特征在于，所述基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征，包括：

将步态Gabor特征进行网格化，并计算出最大互信息值；

将最大互信息值进行归一化；

选择不同尺度下互信息的最大值作为MIC值；

则初始步态特征X_D可通过下式计算得到：

X_D＝W_MICX

其中，W_MIC表示MIC值，X表示步态Gabor特征。

6.根据权利要求1所述的单视角低分辨率的步态特征提取方法，其特征在于，所述基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征，包括：

将初始步态特征进行去中心化；

计算初始步态特征的协方差矩阵；

对协方差矩阵进行特征值分解；

取出最大的d个特征值对应的特征向量，将所有的特征向量进行标准化处理，组成特征向量矩阵W，其中d为预设值；

最终步态特征X_d为X_d＝(z¹，z²，z³，...，z^d)，其中，zⁱ＝W^Tx⁽ⁱ⁾，x⁽ⁱ⁾表示初始步态特征去中心化后的向量。

7.一种单视角低分辨率的步态特征提取装置，其特征在于，包括：

图像获取模块，用于获取监控图像；

高分辨率图像生成模块，用于对监控图像采用基于插值的超分辨率算法进行处理，得到高分辨率监控图像；

步态Gabor特征获取模块，用于对高分辨率监控图像采用Gabor滤波器进行空间局部特征提取，得到步态Gabor特征；

初始步态特征获取模块，用于基于最大互信息量方法对步态Gabor特征进行降维处理，得到初始步态特征；

最终步态特征获取模块，用于基于主成分分析法对初始步态特征进行二次降维及降噪处理，得到最终步态特征。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，存储有计算机程序；

当所述计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6任一项所述的单视角低分辨率的步态特征提取方法。

9.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序适于被处理器加载并执行如权利要求1至6任一项所述的单视角低分辨率的步态特征提取方法。

Images