CN101551903A - 步态识别中的超分辨率图像恢复方法 - Google Patents

Abstract

本发明涉及图像融合、人体步态识别，尤其涉及步态识别中的超分辨率图像恢复方法。为提供一种步态识别中的超分辨率图像恢复方法，通过超分辨率图像恢复来提高视频序列图像品质，大大减少背景图像的变化干扰，从而降低运动人体检测过程的计算工作量。本发明采用的技术方案是：每次迭代时将当前步态图像退化成低分辨率步态图像，用退化的步态图像与实测低分辨率步态图像的误差和模糊矩阵构成反向投影算子来估计下次的高分辨率步态图像。即高质图像(HR图像)由模拟低质图像(LR图像)与观测低质图像(LR图像)的误差进行反向投影得到，这一过程不断迭代，直到误差量达到最小。本发明主要用于通过人体步态进行身份识别。

Description

步态识别中的超分辨率图像恢复方法

技术领域

本发明涉及图像融合、人体步态识别，尤其涉及步态识别中的超分辨率图像恢复方法。

背景技术

步态识别是近年来兴起的研究领域，是生物特征识别与人运动视觉分析的一个结合。目前，“人的观察”(looking at people)是计算机视觉领域中最活跃的研究主题之一，其核心是利用计算机视觉技术从图象序列中检测、跟踪、识别人并对其行为进行理解与描述。步态识别作为其中的一部分也成为一个研究热点，尤其在英国、美国等国家已经开展了大量相关项目的研究，其应用范围十分广泛，可用于罪犯识别、疾病检测、安全管理多方面。而运动人体检测是步态识别中一个重要环节，它的目的是从视频序列图像中将运动人体区域从背景图象中提取出来。运动区域的有效分割对于目标分类、跟踪和识别等后期处理非常重要，然而由于背景图象的动态变化，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，使得运动人体的检测成为一项困难的工作。

发明内容

为克服现有技术的不足，本发明的目的在于，提供一种步态识别中的超分辨率图像恢复方法，通过超分辨率图象恢复来提高视频序列图象品质，大大减少背景图像的变化干扰，从而降低运动人体检测过程的计算工作量。本发明采用的技术方案是：一种步态识别中的超分辨率图像恢复方法，其特征是，包括下列步骤：

运动估计：求得原低分辨率步态图像与多幅待融合步态图像之间的图像运动关系{m_k}_k＝1 ^K，k代表第k帧图像，K代表图像总帧数；

运用迭代后向投影算法进行处理：给出一个高解析度图像初始猜测值F⁽⁰⁾，即用固定有效网格划分所有低分辨率图像，每个在固定有效网格内的高分辨率像素由所有低分辨率像素的平均值堆栈得到；相应于低解析度图像输入{f_k}_k＝1 ^K给出一系列低解析度模拟图像{f_k ⁽⁰⁾}_k＝1 ^K；之后将求得的图像差别{f_k-f_k ⁽⁰⁾}_k＝1 ^K反馈到F⁽⁰⁾接收域；进而改进初始猜测值F⁽⁰⁾，产生新的模拟的高解析度图像F⁽¹⁾；之后重复该过程得到模拟的高解析度图像F⁽ⁿ⁺¹⁾，n为迭代次数。

迭代后向投影算法，包括下列具体步骤：

降采样和几何变换；

后向投影；

模糊估计；

插值采样和逆几何变换。

迭代后向投影算法，包括下列具体步骤：

(1)从迭代n＝1开始，输入源低解析度图像f⁽⁰⁾；

(2)对低解析度图像进行双线性插值，获得高解析度图像初始猜测F⁽⁰⁾；

(3)采用 $f_k^{\left(n\right)}=(T_K^{-1}\left(F^{\left(n\right)}\right)*h)\↓s$ 获得模拟的低解析度图像；

(4)采用 $F^{(n+1)}=F^{\left(n\right)}+\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_K^{-1}(((f_k-f_k^{\left(n\right)})\↑s)*p)$ 获得模拟的高解析度图像F⁽¹⁾；

(5)之后n＝n+1，进行下一次的迭代；

(6)如果n≤N返回步骤(3)，否则停止；

前式中：f_k为实际观察图像，f_k ⁽ⁿ⁾为n次迭代后模拟观察图像亦为低解析度模拟图像，F⁽ⁿ⁺¹⁾、F⁽ⁿ⁾分别为第n+1次和第n次的迭代后产生的模拟的高解析度图像，↑s和↓s分别为插值采样和降采样算子，s为相应的倍数，*为卷积符号，p为反向投影核，T_K ^-1为逆几何变换，h是估计实际成像系统的传输函数即模糊算子，N为迭代次数。

迭代次数的确定是由如下公式，使误差最小，计算得出：

$e^{\left(n\right)}=\sqrt{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|f_k-f_k^{\left(n\right)}\left|\right|}^2},$ 式中：e⁽ⁿ⁾代表误差。

本发明可以带来以下效果：

本发明提出提出一种新的步态识别图象预处理方法，由于采用迭代反向投影，恢复后的图像明显比源图像清晰，实现了多帧图像融合，从低解析度图像融合得到高解析度图像，在图像恢复过程中实现了线性自适应正则，验证了迭代图像融合算法的计算方法和实现步骤，实现迭代后向投影的图像融合方法，并对改进方法的有效计算实验结果也证明了该算法的可行性，图像各方面的指标也得到了很大的提高

本发明采用双线性插值法，在不影响步态识别效果的前提下，能够减少人体运动检测过程的工作量。

附图说明

图1迭代后向投影法图像恢复原理图。

图2迭代后向投影法计算流程图。

图3图像融合流程图。

图4步态超分辨率图像恢复实验结果。

具体实施方式

图像融合是进行模式识别、遥感监测等的关键技术之一。超分辨率图像恢复是近年来才兴起的图像处理新方法。其目标是通过对低分辨图像序列作运动估计、信息融合、去模糊和去噪声等分析处理，恢复重建高分辨率图像。而迭代反向投影法综合了图像运动和模糊估计、图像弹性配准、图像内插及图像融合等处理技术，有较好的实际应用价值。该方法作为全新的图像预处理技术，可在步态识别领域得到广泛应用。

步态超分辨率图像恢复是从退化的步态图像序列中求解高分辨率的步态图像，求解的是一个典型的逆问题，对这种逆问题的求解方法是首先构造一个向前模型。在假设图像光学系统的点扩展函数(PSF，point spread function)为线性位移不变的(LSI，linear shiftinvariant)时，可用公式(1)表示退化图像向前模型

g_k＝D_kC_kE_kf+n_k                    k＝1，...，p    (1)

其中矢量f，g_k和n_k分别为待求高分辨率图像F，第k帧图像G_k、G_k的加性噪声的行或列矢量，矩阵D_k、C_k和E_k分别为第k帧图像形成中的下采样算子、模糊算子和位移算子所形成的矩阵。

其中矢量f为待求高分辨率图像F，g_k为第k帧图像G_k，n_k第k帧图像G_k加性噪声的行或列矢量，矩阵D_k、C_k和E_k分别为第k帧图像形成中的下采样算子、模糊算子和位移算子所形成的矩阵。

在同一个图像序列中，可假设图像系统下采样算子、模糊算子保持不变，或已预先修正为一致情况，则(1)可以表示为(2)

g_k＝DCE_kf+n_k                   k＝1，...，p    (2)

求解(2)公式，需要对其中的D、C、E_k噪声等因素进行确定并消除。因此需要处理图像序列运动估计、运动补偿、去模糊和去噪声等问题。

总体说来，步态超分辨率图像恢复问题的原理如图1所示。

步态超分辨率图像恢复技术按对所对涉及重要问题的处理方式和程度不同，现有步态超分辨率图像恢复方法大致可以归为四个类型：基于频率的方法、空域方法、基于边缘与区域的方法、和基于学习与识别的方法。其中基于空域的步态超分辨率图像恢复，是在空域中对低分辨率步态图像序列的前向模型进行定义和求解，该类方法不仅能灵活处理全局及局部的运动模型、位移不变和可变的光学和运动模糊，以及图像序列所组成的非均匀采样以及各种模型边界条件等，还可以在模型处理中采用高分辨率图像、模糊和运动等的各种先验知识，使恢复的图像具有好的物理解释，迭代后向投影算法是基于空域的步态超分辨率图像恢复的重要方法之一。

下面结合图和实施例进一步详细说明本发明。

1.1迭代后向投影算法原理

迭代反向投影(IBP)过程可简述为：每次迭代时将当前步态图像退化成低分辨率步态图像，用退化的步态图像与实测低分辨率步态图像的误差和模糊矩阵构成反向投影算子来估计下次的高分辨率步态图像。即高质图像(HR图像)由模拟低质图像(LR图像)与观测低质图像(LR图像)的误差进行反向投影得到，这一过程不断迭代，直到误差量达到最小。超分辨率图像恢复的计算框架流程如图2所示。

从多个低解析度步态图像中构建一个高解析度步态图像，要求低解析度步态图像源于同一个物体角度稍有不同，但不能改变物体的全貌。在进行多低解析度步态图像融合前，首先要评估动作计算像素变化。因此在对多帧低分辨率步态图像进行图像恢复之前，我们需要它们进行运动估计，即图像配准，来丢弃不好的排列图像，以得到更好的图像恢复效果。通过几何约束弹性约束方程，我们求得原低分辨率步态图像与多幅待融合步态图像之间的图像运动关系{m_k}_k＝1 ^K。

假设源图像f⁽⁰⁾(x，y)，待配准图像为f_k(x，y)，图像运动可以用下式表示

f⁽⁰⁾(x，y)＝f_k(m₁x+m₂y+m₅，m₃x+m₄y+m₆)                     (3)

为了评价这些参量m_k，最小均方误差计算公式为：

$E\left(m\right)=\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{[f^{\left(0\right)}(x,y)-f_k(m_{1}x+m_{2}y+m_5,m_{3}x+m_{4}y+m_6)]}^2---\left(4\right)$

Ω表示整个图像区域。

为了简化最小值，最小均方误差用第一级缩短Taylor序列接近。下式给出了简化后的误差评价

$E\left(m\right)=\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{(k-c^{T}m)}^2---\left(5\right)$

其中标量k和向量c表示如下

k＝f_t-f⁽⁰⁾+xf⁽⁰⁾ _x+yf⁽⁰⁾ _y

c＝(xf⁽⁰⁾ _x    yf⁽⁰⁾ _x    xf⁽⁰⁾ _y    yf⁽⁰⁾ _y    f⁽⁰⁾ _x    f⁽⁰⁾ _y    -f⁽⁰⁾   -1)^T

f_t＝f⁽⁰⁾(x，y)-f_k(x，y)

f_x ⁽⁰⁾是对f⁽⁰⁾对x轴方向求偏导，f_y ⁽⁰⁾是f⁽⁰⁾对y轴方向求偏导

对误差E(m)进行一阶Taylor展开，就其Taylor展开式的最小值，将误差导数dE(m)设为0。可求得m形式如下：

$m={\left(\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{\mathrm{cc}}^T\right)}^{-1}\left(\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{ck}\right)---\left(6\right)$

这也是我们在迭代公式 $F^{(n+1)}=F^{\left(n\right)}+\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_K^{-1}(((f_k-f_k^{\left(n\right)})\↑s)*p)$ 中提到的几何变换矩阵T_K。

迭代反向投影算法计算步骤如下：

首先给出一个初始猜测值F⁽⁰⁾，其选择不应影响运算法则的使用，但初始值的选择可能会影响运算速度。比较好的选择是使用低分辨率图像的平均值，用固定有效网格划分所有低分辨率图像来计算。每个在固定有效网格内的高分辨率像素是所有低分辨率像素的平均值堆栈得到的，相应于低解析度图像输入{f_k}_k＝1 ^K给出了一系列低解析度图像{f_k ⁽⁰⁾}_k＝1 ^K。如果F⁽⁰⁾是正确的高解析度图像，其模拟图像{f_k ⁽⁰⁾}_k＝1 ^K应与观察到的低解析度图像{f_k}_k＝1 ^K一致。但由于现在实际有的只是初始猜测值F⁽⁰⁾，所以需要将求得的图像差别{f_k-f_k ⁽⁰⁾}_k＝1 ^K反馈到F⁽⁰⁾接收域，进而改进初始猜测值F⁽⁰⁾，并产生新的高解析度图像F⁽¹⁾，迭代后向投影算法原理公式如下：

$F^{(n+1)}=F^{\left(n\right)}+\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_K^{-1}((f_k-f_k^{\left(n\right)})\↑s)---\left(7\right)$

其中F⁽ⁿ⁺¹⁾、F⁽ⁿ⁾分别为第n+1次和第n次的迭代结果； $f_k^{\left(n\right)}=[T_K\left(F^{\left(n\right)}\right)*h]\↓s$ 为第n次迭代后在模拟成像过程中得到的模拟观察图像；↑为插值采样，↓为降采样，s为相应的倍数，因此，↑s的含义是对矩阵进行s倍的插值采样，↓s的含义是对矩阵进行s倍的降采样，*为卷积符号；h是估计实际成像系统的传输函数即模糊算子，可以根据具体情况通过分析镜头、环境等因素先验给出，也可以由当前图像中的点目标或锋利的边缘等线目标的成像结果来估计，若无法估计，大多将采用均值滤波，一般半径采用2，本发明采用的为半径为2的均值滤波；P为反向投影核；即反向投影过程。该公式简单说来就是将{f_k}_k＝1 ^K经反向投影、插值采样、逆几何变换，最后将多帧平均值后作为每次f迭代的修正值反馈到接受域。模拟采样据配准结果计算出目标图像每个像素在当前图像坐标栅格中的位置，然后进行双线性插值，从而得到各像素的灰度值。这种方法可以实现亚像素的模拟采样。之所以采用双线性插值法是均衡了计算速度和模拟采样精度要求之后的选择。

而迭代次数的确定是由公式(8)，使误差最小，计算得出。

$e^{\left(n\right)}=\sqrt{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|f_k-f_k^{\left(n\right)}\left|\right|}^2}---\left(8\right)$

在得到迭代后向投影结果后，还需要对其进行模糊估计，计算公式如下：F＝F⁽ⁿ⁺¹⁾*h。

需要注意的是当场景中有与背景有相对位移的物体时，则要首先进行图像分割，将运动图像与背景分开分别处理。实验中选择了背景差别尽量小的多帧步态图像，以减少计算。图3为超分辨率图像恢复全流程。

1.2迭代后向投影算法具体步骤

本论文采用取样因子s＝2，最初猜测F(0)是通过采用双线性插值对低解析度图像采样而得到的。用4-8帧低解析度步态图像构成一个高解析度步态图像，高解析度步态图像由10次迭代构成。平时常用信息融合方法主要是平均和中值两种方法，本文中使用的是平均的方法。

高解析度步态图像建立算法：

输入：观察图像{f_k}_k＝1 ^K以及相应运动估计{m_k}_k＝1 ^K

输出：高解析度图像

(1)从迭代n＝1开始，输入源低解析度图像f⁽⁰⁾；

(2)采用低解析度图像进行双线性插值，获得高解析度图像的初始猜测F⁽⁰⁾；

(3)采用 $f_k^{\left(n\right)}=(T_K^{-1}\left(F^{\left(n\right)}\right)*h)\↓s$ 获得对应的低解析度模拟图像；

(4)采用 $F^{(n+1)}=F^{\left(n\right)}+\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_K^{-1}(((f_k-f_k^{\left(n\right)})\↑s)*p)$ 获得改进的高解析度图像F⁽¹⁾；

(5)之后n＝n+1，进行下一次的迭代；

(6)如果n≤N返回步骤(3)，否则停止；

整个计算步骤可用流程图图4来直观地表示出来。

有益效果

实验中采用了中国科学院自动化研究所提供CASIA步态数据库中的Dataset A(小规模库)数据。数据库中含20个人的数据，每个人有12个图像序列，3个行走方向(与图像平面分别成0度，45度，90度)，每个方向有4个图像序列。每个序列的长度随人行走的速度变换而有所不同，每个序列的帧数介于37到127之间。整个数据库包含13139幅图像，大小约有2.2GB。本实验使用的是hj文件夹中的002中的部分图像。图像原始分辨率为352×420，专门截取人脸部分的图像分辨率为29×24，对步态图像中的人脸部分进行实验。图4为采用8帧融合的超分辨率图像恢复典型示例。图5中(a)为恢复前的低分辨率步态人脸图像，(b)为恢复后分辨率得到改进的步态人脸图像。

一方面从视觉直观效果上来说，可以看出进行图像恢复后，其图像质量要明显好于源图像，分辨率显著提高；另一方面本文采用二阶积累量和图像熵参数作为客观标准来评价步态超分辨率图像恢复效果。

二阶积累量计算公式为：

$c=\frac{1}{\mathrm{MN}}(\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{f}^2(x,y)-{\left(\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(x,y)\right)}^2)---\left(9\right)$

这是简化计算后的二阶积累量公式，原理是将某像素点(2Q+1)×(2Q-1)邻域扩展为整个图像区域，其中M，N分别为图像像素矩阵的行数和列数。图像的恢复效果好，二阶积累量大。

图像的熵H定义为：

$H=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log p}_i---\left(10\right)$

其中L为图像的总的灰度级，pi表示灰度值为i的像素数Di与图像总像素数D之比，即：

p_i＝D_i/D                        (11)

P＝{p₀，p₁，...，p_L-1}反映了图像中具有不同灰度值像素的概率分布。熵值的大小表示图像所包含的平均信息量的多少。熵值越大，说明图像所含信息越多，图像分辨率越高。

表1为图4的步态超分辨率图像恢复效果评价。由表1中的数据可以看出，步态超分辨率恢复后的图像二阶积累量大于原始低分辨率步态图像的二阶积累量，说明步态超分辨率恢复后的图像较原图像细节变清晰了。图像熵变大，说明恢复后的图像分辨率有了很大提高；从主观视觉效果也可以看出，恢复后的图像明显比源图像清晰，实现了多帧图像融合，从低解析度图像融合得到高解析度图像。在图像恢复过程中实现了线性自适应正则，验证了迭代图像融合算法的计算方法和实现步骤，实现迭代后向投影的图像融合方法，并对改进方法的有效计算实验结果也证明了该算法的可行性，图像各方面的指标也得到了很大的提高。

表1超分辨率图像恢复效果评价

	源图像	步态超分辨率恢复结果
			R熵	6.8267	6.9745
G熵	6.7401	6.9579
			B熵	6.8617	7.057
R二阶积累量	-9.07E+08	-1.07E+09
			G二阶积累量	-7.86E+08	-9.69E+08
B二阶积累量	-9.16E+08	-1.07E+09

在实验中我们证明了该算法对于步态图像的人脸部分有着很好的图像恢复效果，因此我们可以预想该算法同样可以应用于整幅步态图像的图像恢复，并有很好的实际效果。

本发明提出提出一种新的步态识别图象预处理方法，在不影响步态识别效果的前提下，能够减少人体运动检测过程的工作量。该项发明可为步态识别提供帮助，并获得可观的社会效益和经济效益。最佳实施方案拟采用专利转让、技术合作或产品开发。

Claims (4)

1、一种步态识别中的超分辨率图像恢复方法，其特征是，包括下列步骤：

运动估计：求得原低分辨率步态图像与多幅待融合步态图像之间的图像运动关系{m_k}_k＝1 ^K，k代表第k帧图像，K代表图像总帧数；

运用迭代后向投影算法进行处理：给出一个高解析度图像初始猜测值F⁽⁰⁾，即用固定有效网格划分所有低分辨率图像，每个在固定有效网格内的高分辨率像素由所有低分辨率像素的平均值堆栈得到；相应于低解析度图像输入{f_k}_k＝1 ^K给出一系列低解析度模拟图像{f_k ⁽⁰⁾}_k＝1 ^K；之后将求得的图像差别{f_k-f_k ⁽⁰⁾}_k＝1 ^K反馈到F⁽⁰⁾接收域；进而改进高解析度初始猜测值F⁽⁰⁾，产生新的模拟的高解析度图像F⁽¹⁾；之后重复该过程得到模拟的高解析度图像F⁽ⁿ⁺¹⁾，n为迭代次数。

2、根据权利要求1所述的一种步态识别中的超分辨率图像恢复方法，其特征是，迭代后向投影算法，包括下列具体步骤：

降采样和几何变换；

后向投影；

模糊估计；

插值采样和逆几何变换。

3、根据权利要求1所述的一种步态识别中的超分辨率图像恢复方法，其特征是，迭代后向投影算法，包括下列具体步骤：

(1)从迭代n＝1开始，输入源低解析度图像f⁽⁰⁾；

(2)对低解析度图像进行双线性插值，获得高解析度图像初始猜测F⁽⁰⁾；

(3)采用 $f_k^{\left(n\right)}=(T_K^{-1}\left(F^{\left(n\right)}\right)*h)\↓s$ 获得低解析度的模拟图像；

(4)采用 $F^{(n+1)}=F^{\left(n\right)}+\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_K^{-1}(((f_k-f_k^{\left(n\right)})\↑s)*p)$ 获得高解析度的模拟图像F⁽¹⁾；

(5)之后n＝n+1，进行下一次的迭代；

(6)如果n≤N返回步骤(3)，否则停止；

前式中：f_k为低解析度模拟图像，f_k ⁽ⁿ⁾为n次迭代后模拟观察图像亦为低解析度模拟图像，F⁽ⁿ⁺¹⁾、F⁽ⁿ⁾分别为第n+1次和第n次的迭代后产生的模拟的高解析度图像，↑s和↓s分别为插值采样和降采样算子，s为相应的倍数，^*为卷积符号，p为反向投影核，T_K ^-1为逆几何变换，h是估计实际成像系统的传输函数即模糊算子，N为迭代次数。

4、根据权利要求3所述的一种步态识别中的超分辨率图像恢复方法，其特征是，迭代次数的确定是由如下公式，使误差最小，计算得出：

$e^{\left(n\right)}=\sqrt{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|f_k-f_k^{\left(n\right)}\left|\right|}^2},$ 式中：e⁽ⁿ⁾代表误差。

Images