CN101799865B - 基于椭圆傅立叶分解的行人时空轮廓表示方法 - Google Patents

Abstract

本发明公开了一种基于椭圆傅立叶分解的行人时空轮廓表示方法。主要分三个步骤进行，首先使用多分布模型进行背景模型更新，然后利用二值化、形态学算子和8连通轮廓跟踪法提取出待处理的原始行人的时空轮廓。接着基于MDL确定点对应关系，对于目标函数增加表示灰度分布特征的CDI特征，以得到准确的点对应关系。最后分析行人轮廓的闭合性，考虑到其上任意点沿轮廓移动最终会回到原来位置的周期性特点，利用椭圆傅立叶分解，忽略高频形状细节部分，保留低频全局形状信息，从而将高维的2D+time轮廓向量表示为低维的EFCShape向量。本发明在保留对轮廓分析的有效信息的同时，实现了轮廓数据的有效压缩，为后续的步态识别等应用提供了一个高效的轮廓表示方法。

Description

基于椭圆傅立叶分解的行人时空轮廓表示方法

技术领域：

本发明涉及计算机图像信号处理和统计分析领域，特别涉及一种基于elliptic-fourier(椭圆傅里叶)分解的行人时空轮廓表示方法。

背景技术：

目前，视频监控正处在从模拟监控向全IP网络智能化数字监控的方向发展。数字监控中的一个重要方面是利用计算机对人的活动进行分析，这也是计算机视觉领域的一个重要研究方向。在面向行人的智能监控系统中，除了判断行人的位置，还需要对人的轮廓进行提取，从而进一步分析场景中行人的3D姿态。轮廓的抽取方法对于后续的步态识别和异常行为检测致关重要。

通过摄像机捕捉行人轮廓的方法具有无侵害性和远距离有效性，把行人从背景中分割出来后，所需要提取的一个重要的特征就是形状信息。形状的有效表达是智能视频监控中人的3D姿态重建的的核心问题之一。形状可以定义为：与位置、缩放和旋转等几何变换无关的描述物体的几何信息，经过欧几里德变换，几何信息的特征都会一直保持不变。最简单和直接描述形状的方法是在物体的轮廓上标志一系列的点，这些点在同一物体不同的轮廓上都有唯一的对应点。

视频监控中行人的图像会随着时间变化有不同形式的变形，比如：人行走、跳跃和奔跑等。这样的物体都可以呈现出多种不同的可能发生的形状，同时还会因为个体的不同而呈现出不同或者相似的形状。对于监控场景中的行人，我们建立的模型必须可以描述同一物体各种形状的典型变化。

为了收集关于形状变化的信息，需要图像中相应点的位置信息。因此可以使用一系列的标志点来完成，这些点可呈现图像所代表的各个形状。标志点不但能够呈现整个形状的全貌，而且还能够对需要表现的细节给予全面的刻画，标志点的数量取决于对象的复杂程度和形状细节需要表现的程度。用标志点的笛卡尔坐标值所表征的一维向量在数据的表示上与视觉所感知的形状有某种程度上的差异，很难具有对二维整体形状的描述力，它对隐含而且近乎抽象的形状特征分析能力不足。此外由于标志点数量过大，在特征提取和匹配方面将导致较大的计算量。

因此国内外的不少学者，针对不同的目的对轮廓的形状分析做了深入的研究。1972年，美国斯坦福大学的Charles T.Zahn首先使用傅立叶描述子来描述和识别物体的形状特征。1995年芬兰奥卢大学的Hannu Kauppinen比较了各种典型形状识别方法的能力，指出基于物体轮廓坐标序列的傅立叶描述子简单、高效，具备较好的形状识别性能。因此，傅里叶描述子目前已经发展成为识别物体形状的重要方法之一。但是传统的傅立叶在形状的描述上采用以预估半径和周期的方式来构造相似形状来逼近目标轮廓，它的基函数为正弦和余弦函数，在形状边界的快速傅立叶变换，寻找保留模与相位特性具有旋转、平移和尺度不变性并且鲁棒的归一化傅立叶描述子，以及去掉边界起始点位置在傅立叶描述子中的相位影响和反应局部形状和灰度分布信息等方面仍存在一定的问题。

发明内容：

基于以上现有技术存在的局限，本发明提出了一种基于椭圆傅立叶分解的行人时空轮廓表示方法，该方法能够自动提取监控视频中行人的轮廓，并且解决轮廓上标志点的自动对应问题，并将高维的2D+time笛卡儿轮廓向量压缩成低维的椭圆傅立叶向量，适用于步态分析和异常行人检测等场合。

上述本发明方法的主要核心是提出了使用椭圆傅立叶分析来把以笛卡尔坐标表示的形状表示转换成基于椭圆傅立叶分析的形状表示。具体方案步骤如下：

(1)轮廓压缩前的预处理，预处理操作包括：(a)建立多分布的背景分布模型；(b)二值化行人轮廓图像；(c)形态学算子过滤噪声；(d)8连通区域跟踪法提取原始行人高维时空轮廓。

(2)使用procrustes分析的方法，计算各个形状之间的Procrustes距离，通过最小化每个轮廓与平均形状之间的误差平方和来对齐各个轮廓。首先选取第一个形状作为初始样本，使其他所有的形状都与之对齐；然后，对计算得到的对齐后的平均形状进行规一化处理，并将规一化后的平均形状作为初始样本；最后，将其他在此之前对齐好的形状与新的初始样本对齐。重复这一对齐过程，直到相邻两次的平均形状差别小于一阈值。

(3)轮廓PCA处理：通过主分量分析(PCA)把训练样本从原始的笛卡尔坐标空间转换到特征空间，得到一系列相互正交的特征向量，这些特征向量张成一个(t-1)维的形状空间。

(4)计算反映行人轮廓关键标志点的曲率在行人行走过程中变化幅度不大特征的Curvature Cost值，并将其添加到原有的MDL目标函数中；使得MDL目标函数在收敛的过程中考虑到关键标志点处曲率的变化特征，以增加点对应关系的求解精度。

(5)计算反映行人在行走过程中局部灰度分布特征保持一致性的CDICost值，通过对图像的局部结构信息进行分析，对每个标志点建立反映图像差分结构的向量CDI，它表示标志点在一定尺度下，在图像旋转和变换时保持不变的局部图像结构信息。通过在MDL目标函数中增加反映各个标志点的局部图像结构信息对应关系的代价函数CDICost，使目标函数值更加收敛，得到更好的统计形状模型。

(6)根据(4)和(5)的结果及第i个轮廓S_i在第m个方向P_m上投影得到的坐标为b_m，i计算总的MDL目标函数值。

(7)在轮廓上重新调整标志点的位置，直到MDL目标函数值达到收敛，从而得到优化的点对应关系。

(8)在点对应关系确定的基础上，对于连续视频中某帧行人轮廓的N阶椭圆傅立叶分解，除去3个常椭圆傅立叶系数，剩下的椭圆傅立叶系数可组成一长度为4N-3的一维向量EFC(S，N)。再考虑所有帧的轮廓，从而得到行人时空轮廓的压缩表示。

根据上述技术方案，本发明的优点在于：利用傅立叶的正交分解和周期性的特点，把椭圆函数作为基函数来作周期性的运算。通过把行人的轮廓用一系列的椭圆族来进行表示。低阶的椭圆代表形状的低频信息，主要表征的是形状的全局和宏观的信息；高阶的椭圆代表形状的高频信息，主要表征的是形状的局部特征和信息。通过椭圆傅立叶分解(Elliptic Fourier Decomposition：EFD)，不但能够以比较直观的方式来表示统计形状模型训练集合中的样本，而且使得形状矢量的维数从2n_p(n_p为标志点个数)降到了4N-3(N为椭圆的阶数)。

附图说明：

以下结合附图和具体实施方式来进一步说明本发明。

图1是本发明方法的流程示意图。

图2(a)、(b)和(c)是形状Procruste alignment配准例图：

其中，图2(a)为通过背景更新模型，使用背景减除法提取出来的场景中的行人目标。图2(b)为在得到二值化行人目标图像后，再使用形态学算子过滤噪声，并采用8连通区域的轮廓跟踪法提取出的行人原始轮廓。图2(c)为使用形状Procruste alignment配准法得到的行人原始轮廓的时空表示。

图3是使用基于椭圆傅立叶变换的MDL统计形状模型得到的行人轮廓点对应结果图。

图4是行人轮廓傅立叶重建效果示意图。

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

由上述技术方案结合图1进一步展开，其主要包括一下3个方面的处理过程：

1.图像预处理；

先使用背景减除法提取场景中的行人目标。为了克服场景中如光照和风等因素的干扰，使用色度、亮度空间的多个分布模型来建立背景模型。在对背景模型更新时将均值、方差的更新速率和多个模型的更替速率分开。对像素值属于多个分布模型的情况，用最小相似距离确定要更新的模型。在得到二值化行人目标图像后，再使用形态学算子过滤噪声，并采用8连通区域的轮廓跟踪法来提取出行人的原始轮廓。

2.基于最小描述长度模型(MDL)确定点对应关系(对于2D+time轮廓)；

现有行人轮廓标志点大都通过手工标注或者沿着轮廓按等距离法确定，不但费时费力、主观性强，而且精度也不高。为了有效地自动对行人轮廓特征进行提取，不同姿态下的轮廓不但要有相同的标志点数目，而且相同序号的标志点之间也要保持正确的点对应关系。

本发明中假设某个行人某一姿态的视频包括t帧图像，相对应的轮廓集合S包含t个轮廓样本，每个轮廓{S_i：i＝1，2，…，t}由一个维数为2n_p的形状向量{X_i：i＝1，2，…，t}表示，其中n_p为每个轮廓标志点的个数。通过主分量分析(PCA)把训练样本从原始的笛卡尔坐标空间转换到特征空间，得到(t-1)个相互正交的特征向量{P_m：m＝1，2，…，(t-1)}，由这些特征向量张成一个(t-1)维的形状空间，S_i对应的形状向量X_i在这个特征空间可以被线性表示为：平均形状x和X_i在所有(t-1)个特征方向上的投影值b_m，i和对应的特征向量P_m乘积的总和。在此特征空间中，第i个轮廓S_i在第m个方向P_m上投影得到的坐标为b_m，i。平均形状x和特征向量{P_m：m＝1，2，…，(t-1)}的描述长度对于给定的轮廓集合是一个常量，因此只需要计算{b_m，i：m＝1，2，…，(t-1)；i＝1，2，…，t}的描述长度。

由于通过PCA得到的特征向量之间是相互正交的，所以可以分别计算形状空间在(t-1)个主方向上的描述长度，最后得到MDL目标函数：

$\mathrm{DL}=\underset{\mathrm{\&lambda;}\&GreaterEqual;{\mathrm{\&lambda;}}_{\mathrm{cut}}}{\mathrm{\&Sigma;}}(1+\log \frac{{\mathrm{\&lambda;}}_m}{{\mathrm{\&lambda;}}_m})+\underset{\mathrm{\&lambda;}<{\mathrm{\&lambda;}}_{\mathrm{cut}}}{\mathrm{\&Sigma;}}\frac{{\mathrm{\&lambda;}}_m}{{\mathrm{\&lambda;}}_{\mathrm{cut}}}$

其中λ_cut为MDL模型精度阈值。在对标志点参数进行初始化的时候，可以先均匀地沿着轮廓分配标志点。在后续的PCA统计分析以及MDL目标函数计算及优化处理之前，需要将每个轮廓都对齐到统一的度量框架中，以去掉轮廓的缩放、旋转和位移因素。本发明采用Procrustes Alignment方法，通过最小化每个轮廓与平均形状之间的误差平方和来对齐轮廓。

3.基于EFT的2D+time时空轮廓分解方法；

本发明中通过MDL方法对齐同一行人t帧图像对应每个轮廓n_p个标志点后，任意轮廓上的第p点的坐标可以表示为(x_p+jy_p)。定义轮廓上相邻两点第i-1点到第i点的轮廓长度为Δt_i，可以得到从起始点到第p点的轮廓弧长为t_p，轮廓上的第p点可以表示为：z(t_p)＝x(t_p)+y(t_p)j。如果让此点沿着轮廓一直移动，由于人体轮廓是闭合的曲线，所有该点最后会回到起点的位置。如此反复循环的话，z(t_p)就成了一个周期为T的周期函数。同样x(t_p)和y(t_p)也为周期函数。对于周期函数可以利用Fourier函数表示为椭圆方程

由此可知，任何一个形状的轮廓都可以通过一族椭圆来逼近，族内椭圆的数目越多，就可以越精确地逼近原始轮廓。第n个椭圆的傅立叶系数为a_n、b_n、c_n和d_n。由此可知，通过椭圆傅立叶分解，不同的形状所得到的椭圆族序列是唯一的，并且通过椭圆重建可以唯一的重构形状轮廓。椭圆族序列与原始的形状轮廓是一一对应的关系。

在本发明中，考虑到上面椭圆傅立叶分解对目标形状的位置、大小和方向非常敏感，需要对椭圆傅立叶系数进行规一化(normalization)处理，使得椭圆傅立叶系数a_n、b_n、c_n和d_n与轮廓的起始点、形状的缩放比例和旋转角度等因素无关。可以通过下面的矩阵变换来实现规一化：

$\left[\begin{array}{cc}{a}_n^{*}& b_b^{*}\\ c_n^{*}& d_n^{*}\end{array}\right]=\frac{1}{E^{*}}\left[\begin{array}{cc}\cos \mathrm{\&phi;}& \sin \mathrm{\&phi;}\\ -\sin \mathrm{\&phi;}& \cos \mathrm{\&phi;}\end{array}\right]\left[\begin{array}{cc}{a}_n& b_n\\ c_n& d_n\end{array}\right]\left[\begin{array}{cc}\cos \mathrm{n\&theta;}& -\sin \mathrm{n\&theta;}\\ \sin \mathrm{n\&theta;}& \cos \mathrm{n\&theta;}\end{array}\right]---*$

其中，E为椭圆分解的第一层椭圆的长轴大小，φ为其相位角的大小，θ为椭圆长轴与x轴的旋转角。通过对椭圆傅立叶系数的规一化处理，旋转轮廓使得第一个分解出来的椭圆的长轴平行于x轴(即把第一个椭圆的相位角设为0)，轮廓的起始点设为第一阶椭圆(the 1st harmonics)的长轴的端点。第一阶椭圆的椭圆傅立叶系数中有3个变成了常数：

每个椭圆的椭圆傅立叶系数为[a_n ^*，b_n ^*，c_n ^*，d_n ^*]，(1≤n≤N)。

本发明基于以上分析，对N阶椭圆傅立叶分解，除去3个为常数的椭圆傅立叶系数，剩下的椭圆傅立叶系数可以组成一个长度为4N-3的一维向量：EFC(S，N)。其中，S为在笛卡尔坐标空间中用x和y的坐标值来表示的形状，N为椭圆傅立叶分解的阶数。因为可以通过这个向量EFC来对形状轮廓进行重建，故本发明把用椭圆傅立叶系数表示的轮廓称为EFC shape： $\mathrm{EFC}(S,N)={[d_1^{*},a_2^{*},b_2^{*},c_2^{*},d_2^{*},...,a_N^{*},b_N^{*},c_N^{*},d_N^{*}]}^T.$

本发明通过以上3个步骤将行人轮廓从视频中提取出来并利用MDL模型得到各标志点之间的对应关系，然后利用椭圆傅立叶变换对高维的笛卡儿2D+time轮廓向量从物理意义上进行分解后舍弃高频的椭圆系数，从而得到压缩后的低维轮廓向量，有利于后续的步态识别或者异常行为检测及报警。

现在通过具体实验将上述本发明技术应用于一75帧的行人步行视频中，通过背景差等算法获取原始轮廓后，使用8个控制节点来进行轮廓参数化，每个训练轮廓上最后选取的标志点个数n_p为64，轮廓数目t为75。对于2D+time轮廓，在MDL优化过程中，λ_cut的值设为0.003，循环的最大次数为40。

参见图3，图中显示了经过80000次MDL目标函数值的更新后，使用MDL统计形状模型得到的主要8个控制节点的点对应关系。

确定轮廓上所有64个点在时间方向上的点对应关系后，由(*)式可分别求出轮廓在不同阶数的椭圆傅立叶分解后的2D+time轮廓向量。由椭圆傅立叶重建结果(参见图4)可以看出，随着椭圆分解阶数N的增加，重建的精度也在增加，当N为10时，就可以比较精确地重建原始的轮廓。

椭圆阶数N	参数a	参数b	参数c	参数d
					1	常量	常量	常量	6.367186E-02
2	3.176877E-01	9.736041E-02	4.831063E-02	7.617142E-02
					3	6.663806E-02	7.577848E-02	1.588026E-02	3.413271E-02
4	1.810431E-01	1.007926E-01	1.661539E-02	3.703280E-02
					5	2.509798E-02	4.431335E-02	2.226885E-02	1.137374E-02
6	3.501871E-02	2.355491E-02	2.390306E-02	3.450893E-02
					7	1.952427E-02	1.572333E-02	2.216228E-02	5.646461E-03
8	1.395321E-02	8.599385E-03	3.650534E-02	3.776244E-03
					9	5.717316E-03	1.088926E-02	2.568652E-02	9.102907E-03
10	1.394380E-02	7.276562E-03	1.261045E-03	1.081385E-02

表1

表1为使用10阶椭圆表示轮廓所得简化后的参数列表，所得到的表示一个64点的轮廓参数，轮廓向量的维数从原来的128降低到37。

如果用传统的x和y坐标值来表示行人时空轮廓，对应的向量的维数为9600(2np×t)，通过椭圆傅立叶分解，高阶椭圆代表形状的高频信息，即轮廓的局部特征信息。低阶椭圆代表形状的低频信息，也就是重要的全局信息，这部分信息在重建过程中得到了保留。2D+time轮廓向量的维数从传统方法的9600降到2775。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.基于椭圆傅立叶分解的行人时空轮廓表示方法，其特征在于，包括以下步骤：

(1)进行轮廓压缩前的预处理；预处理操作包括：(a)建立多分布的背景分布模型；(b)二值化行人轮廓图像；(c)形态学算子过滤噪声；(d)8连通区域跟踪法提取原始行人高维时空轮廓；

(2)使用Procrustes分析的方法，计算各个形状之间的Procrustes距离，通过最小化每个轮廓与平均形状之间的误差平方和来对齐各个轮廓；首先选取第一个形状作为初始样本，使其他所有的形状都与之对齐；然后，对计算得到的对齐后的平均形状进行规一化处理，并将规一化后的平均形状作为初始样本；最后，将其他在此之前对齐好的形状与新的初始样本对齐；重复这一对齐过程，直到相邻两次的平均形状差别小于一阈值；

(3)轮廓PCA处理：通过主分量分析，把训练样本从原始的笛卡尔坐标空间转换到特征空间，得到一系列相互正交的特征向量，这些特征向量张成一个(t-1)维的形状空间，所述t为轮廓样本，t为正整数；

(4)计算反映行人轮廓关键标志点的曲率在行人行走过程中变化幅度不大特征的Curvature Cost值，并将其添加到原有的MDL目标函数中；使得MDL目标函数在收敛的过程中考虑到关键标志点处曲率的变化特征，以增加点对应关系的求解精度；

(5)计算反映行人在行走过程中局部灰度分布特征保持一致性的CDI Cost值，通过对图像的局部结构信息进行分析，对每个标志点建立反映图像差分结构的向量CDI，它表示标志点在一定尺度下，在图像旋转和变换时保持不变的局部图像结构信息；通过在MDL目标函数中增加反映各个标志点的局部图像结构信息对应关系的代价函数CDI Cost，使目标函数值更加收敛，得到更好的统计形状模型；

(6)根据步骤(4)和(5)的结果及第i个轮廓S_i在第m个方向P_m上投影得到的坐标为b_m，i计算总的MDL目标函数值，所述i和m为常数；

(7)在轮廓上重新调整标志点的位置，直到MDL目标函数值达到收敛，从而得到优化的点对应关系，需要将每个轮廓都对齐到统一的度量框架中，以去掉轮廓的缩放、旋转和位移因素；

(8)在点对应关系确定的基础上，对于连续视频中某帧行人轮廓的N阶椭圆傅立叶分解，除去3个常椭圆傅立叶系数，剩下的椭圆傅立叶系数可组成一长度为4N-3的一维向量EFC(S，N)，然后利用椭圆傅立叶变换对高维的笛卡儿2D+time轮廓向量从物理意义上进行分解后舍弃高频的椭圆系数，从而得到压缩后的低维轮廓向量，再考虑所有帧的轮廓，从而得到行人时空轮廓的压缩表示，S为在笛卡尔坐标空间中用x和y的坐标值来表示的形状。

Images