CN103729614A - 基于视频图像的人物识别方法及人物识别装置 - Google Patents

Abstract

一种基于视频图像的人物识别方法及人物识别装置，其中人物识别方法包括：从目标视频图像中提取N帧图像并确定目标视频图像中的背景图像和前景区域，前景区域包括人体轮廓图像；从人体轮廓图像中提取多个人体轮廓特征点；基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数；将三维人体模型进行正交投影以得到人体光滑曲线；分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线以确定各个三维关节角度参数；对各个三维关节角度参数进行降维以得到待识别步态数据；将待识别步态数据与训练好的步态数据进行匹配以完成人物识别。本技术方案提高了对人体轮廓特征信息的分析能力，减少了运算量、具有鲁棒性强等特点。

Description

基于视频图像的人物识别方法及人物识别装置

技术领域

本发明涉及模式识别中的人物识别领域，特别涉及基于视频图像的人物识别方法及人物识别装置。

背景技术

随着科学技术的飞速发展，利用摄像机来监控动态场景早已被广泛应用于社会各个领域，例如对安全性要求敏感的门禁系统、安全监控。由于广泛的应用前景和潜在的经济价值，人体运动的视频监控是近年来备受关注的前沿课题，而利用生物识别技术辅助人体运动分析更是发展的趋势。在目前的远距离身份识别视频监控系统中，步态被认为是最具潜力的生物特征，脸像、指纹、虹膜等第一代生物特征，通常要求近距离地或者接触性地感知（如指纹需要接触指纹扫描仪、脸像需要近距离捕捉以满足分辨率等），而三维步态在此方面却突出了它的优越性，尤其是在远距离的情况下，人的三维步态易于感知、非侵犯性、非接触性、难于隐藏和伪装的优点已经使其成为一个独具特色的生物行为。

步态识别是根据人物走路的姿势进行人的身份识别，以提取人体轮廓图像为基础，旨在不考虑衣服、背景等因素。由于光线、环境等因素，视频中检测到的人体轮廓总是受到大量噪声的影响，因此如何在减少噪声影响的同时又能尽可能的将人体轮廓信息凸现出来成为工程、实际中亟待解决的问题。

现有技术中，基于步态的人物识别方法主要分为两类：一类是基于模型的方法，Lee等人于2002年发表在Proceedings of the Fifth IEEE InternationalConference on Automatic Face Gesture Recognition上的论文Gait analysis forrecognition and classification（基于步态分析的识别和分类）提出用7个椭圆来建模人体的各个部分，提取椭圆参数（如长短轴之比、质心坐标、主轴夹角）以及人体结构参数（如质心坐标）共29个参数作为步态识别的特征。该方法对人自身的遮挡鲁棒性非常差，而且运算量大，因此不适合于工程应用。

另一类是非模型的方法，Ju Han等人于2006年发表在IEEE Transactions OnPattern Analysis And Machine Intelligence上的论文Individual Recognition UsingGait Energy Image（基于步态能量图的人物识别）向人们提出了一种新的表示人体轮廓信息的非模型的方法：将一个步态周期内得到的二值化人体轮廓图像相加在一起，得到一幅反映人体运动姿态分布的步态能量图。该方法的优点是易于获得，抗噪能力强，然而步态能量图直接用于匹配有个很大的缺陷：模糊了人体轮廓的特征，因此该方法的准确性不高，限制了其实际应用。

更多关于基于步态的人物识别方法的技术方案可以参考公开号为CN101989326A、发明名称为人体姿态识别方法和装置的中国专利申请文件。

发明内容

本发明解决的问题是提供一种鲁棒性强、算法简单、精确度高的人物识别方法及人物识别装置。

为解决上述问题，本发明实施例提供了一种基于视频图像的人物识别方法，包括：从目标视频图像中提取N帧图像，其中N为自然数；基于所述N帧图像确定所述目标视频图像的背景图像；

根据每一帧图像与所述背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像；

从所述人体轮廓图像中提取多个人体轮廓特征点；

基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的；

将所述三维人体模型进行正交投影以得到人体光滑曲线；

分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线以确定各个三维关节角度参数；

对所述各个三维关节角度参数进行降维以得到待识别步态数据；

将所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

可选地，所述基于所述N帧图像确定所述目标视频图像的背景图像包括：利用中值函数分别对每一帧图像中相同位置上的像素取中值以得到中值像素；根据每个位置上得到的中值像素确定所述目标视频图像的背景图像。

可选地，所述基于人体骨架建立三维人体模型包括：确定由所述人体骨架中关节之间的线段形成的隐式曲面；根据各个所述线段之间的空间夹角来组合各个所述隐式曲面以建立所述三维人体模型。

可选地，所述确定由所述人体骨架中关节之间的线段形成的隐式曲面包括：设定曲面膨胀参数；根据每个线段的函数与该线段上每个点的距离函数相乘后在整个线段上的积分等于所述曲面膨胀参数来确定各个线段产生的隐式曲面；其中，所述距离函数是指所述线段上的点与所述隐式曲面上任意一点之间的距离函数。

可选地，所述分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线所采用的拟合算法为非线性最小二乘法。

可选地，所述对所述各个三维关节角度参数进行降维以得到待识别步态数据包括：采用主元分析法对所述各个三维关节角度参数进行线性组合以确定多个待识别步态数据，且所述多个待识别步态数据之间互不相关。

根据上述基于视频图像的人物识别方法，本发明实施例还提供了一种基于视频图像的人物识别装置，包括：

图像提取装置，用于从目标视频图像中提取N帧图像，其中N为自然数；

背景图像确定装置，用于基于由所述图像提取装置提取到的所述N帧图像确定所述目标视频图像的背景图像；

前景区域确定装置，用于根据所述图像提取装置提取到的每一帧图像与由所述背景图像确定装置所确定的背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像；

人体轮廓特征提取装置，用于从所述前景区域确定装置确定的人体轮廓图像中提取多个人体轮廓特征点；

人体模型建立装置，用于基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的；

人体曲线建立装置，用于将由所述人体模型建立装置建立的所述三维人体模型进行正交投影以得到人体光滑曲线；

曲线拟合装置，用于分别将所述人体轮廓特征提取装置所提取的每一帧图像中的多个人体轮廓特征点拟合由所述人体曲线建立装置建立的所述人体光滑曲线以确定各个三维关节角度参数；

降维处理装置，用于对所述曲线拟合装置确定的各个三维关节角度参数进行降维以得到待识别步态数据；

匹配识别装置，用于将经由所述降维处理装置得到的所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

与现有技术相比，本发明技术方案具有以下有益效果：

结合从目标视频图像中提取到的人体轮廓特征点来建立三维人体模型，使得在对三维人体模型进行正交投影后得到的人体光滑曲线与人体轮廓特征具有解析关系，提高了对人体轮廓特征信息的分析能力，减少了运算量、具有鲁棒性强等特点，同时降低了在复杂环境中目标视频图像中的噪声影响，从而更准确地进行人物识别。

进一步地，通过引入隐式曲面来建立三维人体模型，从而使得建立的三维人体模型可以由一个连续的函数来表示，在实际应用中，建立的三维人体模型更光滑。在三维人体模型中包括三维关节角度参数，通过调整所述三维关节角度参数可以呈现不同的三维人体模型，从而能够更逼真地呈现出不同的人物姿态。

进一步地，在与训练好的步态数据进行匹配前，通过主元分析法对各个三维关节角度参数进行降维处理，即降低了特征空间的维数，从而简化后续的匹配识别的过程，减少了运算量。

附图说明

图1所示的是本发明的一种基于视频图像的人物识别方法的具体实施方式的流程示意图；

图2所示的是本发明的一种基本人体骨架的结构示意图；

图3A所示的是基于如图2所示的基本人体骨架建立的三维人体模型的结构示意图；

图3B所示的是在如图2所示的基本人体骨架的基础上结合所述多个人体轮廓特征点确定的不同人体骨架所建立的三维人体模型的结构示意图；

图4所示的是三维人体模型中的一个隐式曲面在x-y平面上的正交投影后得到的投影曲线的示意图；

图5所示的是本发明的一种三维人体模型在x-y平面上经正交投影后得到人体光滑曲线的示意图；

图6所示的是本发明中将所述待识别步态数据与训练好的步态数据进行匹配的结果示意图；

图7所示的是本发明的一种基于视频图像的人物识别装置的具体实施例的结构示意图。

具体实施方式

针对现有技术中，在基于步态的人物识别方法中，基于模型的方法对人自身的遮挡鲁棒性非常差，而且运算量大，因此不适合于工程应用；而基于非模型的方法，虽然易于获得反映人体运动姿态分布的步态能量图，抗噪能力强，但是由于步态能量图直接用于匹配有个很大的缺陷，例如模糊了人体轮廓的特征，因此该方法的准确性不高，限制了其实际应用。本发明实施例提供了一种基于视频图像的人物识别方法及人物识别装置，不仅克服了现有的基于模型的方法中由于对复杂环境的鲁棒性差且运算量大的缺陷，还克服了基于非模型的方法中模糊了人体轮廓特征的不足，从而能够更准确地对视频图像中的人物进行识别。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

如图1所示的是本发明的一种基于视频图像的人物识别方法的具体实施方式的流程示意图。参考图1，所述人物识别方法包括：

步骤S1：从目标视频图像中提取N帧图像，其中N为自然数；

步骤S2：基于所述N帧图像确定所述目标视频图像的背景图像；

步骤S3：根据每一帧图像与所述背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像；

步骤S4：从所述人体轮廓图像中提取多个人体轮廓特征点；

步骤S5：基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的；

步骤S6：将所述三维人体模型进行正交投影以得到人体光滑曲线；

步骤S7：分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线以确定各个三维关节角度参数；

步骤S8：对所述各个三维关节角度参数进行降维以得到待识别步态数据；

步骤S9：将所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

下面结合具体实施例详细描述上述基于视频图像的人物识别方法。

如步骤S 1所述，从目标视频图像中提取N帧图像，其中N为自然数。

在本实施例中，所述目标视频图像是由位置固定的摄像设备拍摄得到的视频图像，该视频图像由若干帧图像组成。从视频图像中提取N帧图像，通常这N帧图像是一组连续帧图像，由于每一帧图像是一幅静态图像，连续N帧图像就构成一幅动态图像。这里N的取值是自然数，具体可以是一秒内动态图像的帧数，例如50帧等，本领域技术人员知晓，每秒的帧数越多，所显示的动态图像就越流畅。

如步骤S2所述，基于所述N帧图像确定所述目标视频图像的背景图像。

具体来说，每一帧图像包括前景区域和背景图像。由于本实施例中，摄像设备的位置是固定的，因此所拍摄的这N帧图像中的背景图像中的像素值基本上没有变化，也就是每一帧图像的背景图像中相同位置上的像素值基本相同。而随着人物在视频图像中的位置的变化，拍摄的这N帧图像中每一帧图像的前景区域的像素值都不相同，甚至差异较大。基于上述特点，在本实施例中，采用最小平方中位数（Least Median of Squares，LMedS）方法从这N帧图像中提取出背景图像，在实际应用中发现采用该方法对于一维数据（即图像中每一点的像素值）非常有效，且鲁棒性很好，即使图像中存在大量异常点也能确定正确值。

具体地，可以采用中值函数分别对每一帧图像中相同位置上的像素取中值以得到中值像素，根据每个位置上得到的中值像素确定所述目标视频图像的背景图像。在一个具体实例中，例如，以I_x，y(N)表示N帧图像序列，则背景图像其中med为中值函数。其中，所述中值函数的算法是将N帧图像中相同位置上的像素值从小到大或者从大到小依序排列，若N为奇数，则取中间值作为该位置上的中值像素，若N为偶数，则取中间两个像素值的平均值作为该位置上的中值像素。然后，根据每个位置上得到的中值像素即可确定所述目标视频图像的背景图像。在实际应用中，本领域技术人员还可以采用其他方式来确定N帧图像中的背景图像，在此不再赘述。

如步骤S3所述，根据每一帧图像与所述背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像。

根据上述步骤S2的方式已确定所述目标视频图像的背景图像，在本步骤中，利用每一帧图像与所述背景图像的差值确定每一帧图像的前景区域。具体地，根据每一帧图像与所述背景图像在相同位置上的像素值相减后得到该位置上的像素差值，再根据得到的每个位置上的像素差值确定每一帧图像的前景区域。进一步地，由于在实际应用中，当所述目标视频图像存在异常点和阴影、或者噪声较大时，直接根据上述像素差值所确定的前景区域可能存在较大偏差，因此在本实施例中，还可以设定一个像素阈值，将上述像素差值大于所述像素阈值的区域确定为前景区域。

由于在本实施例中，是对视频图像中的人物进行识别，因此在所述前景区域中包括人体轮廓图像。在实际应用中，为了使所述人体轮廓图像更清晰，可以采用二值化处理的方法对前景区域和背景图像的像素值进行处理，例如可以将每一帧图像转换成灰度图像，将前景区域内的灰度设置为255（呈白色）、而将背景图像内的灰度设置为0（呈黑色）。

如步骤S4所述，从所述人体轮廓图像中提取多个人体轮廓特征点。

由于每一帧图像是平面图像，因此所述人体轮廓图像是由许多个平面点集合构成。在本实施例中，并不需要人体轮廓图像中的所有平面点，只需要从中提取若干个具有代表性的平面点作为人体轮廓特征点。例如，可以提取所述人体轮廓图像中最左边和最右边的点，根据这两个点可以确定人体轮廓图像的宽度；还可以提取所述人体轮廓图像中最上面和最下面的点，根据这两个点可以确定人体轮廓图像的高度。又例如，还可以根据人物的不同姿势从所述人体轮廓图像中提取能体现该姿势特点的平面点作为人体轮廓特征点，在此不做赘述。进一步地，在本实施例中并不对提取的人体轮廓特征点的个数作限定，在实际应用中，以提取出的所有所述人体轮廓特征点能表现出人体轮廓图像为佳。

如步骤S5所述，基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的。

在本实施例中，首先建立一个基本人体骨架，所述基本人体骨架可以作为人体骨架原型，然后根据从人体轮廓图像中提取的多个人体轮廓特征点（如上述步骤S4所述）对上述基本人体骨架的姿态作变换，从而使得变换后的人体骨架的姿态与所述人体轮廓图像呈现的人物姿态相匹配。

具体地，如图2所示的本发明的一种基本人体骨架的结构示意图。参考图2，所述基本人体骨架由人体各个关节以及各个关节之间的线段构成。例如，关节包括：头部11、颈部关节12、肩关节13a和13b、肘关节14a和14b、腕关节15a和15b、手指关节16a和16b、若干根肋骨17、髋关节18a和18b、膝关节19a和19b、踝关节20a和20b以及脚趾骨关节21a和21b。基于上述各个关节和各个关节之间的线段构成如图2所示的基本人体骨架。

然后，在所述基本人体骨架的基础上，结合上述步骤S4所述的从人体轮廓图像中提取的多个人体轮廓特征点对所述基本人体骨架进行变换以形成所述人体骨架。也就是说，根据人体轮廓特征点来改变所述基本人体骨架中关节之间的线段的空间夹角以实现变换基本人体骨架的姿态的效果，使变换后得到的人体骨架的姿态与所述人体轮廓图像呈现的人物姿态相匹配。

需要说明的是，在实际应用中，还需要根据人体生理结构的经验值对各个关节之间的线段的空间夹角作约束，例如膝关节不能向上弯曲，肘关节不能向外弯曲等。

进一步地，根据所述人体骨架建立三维人体模型。可以看出，上述建立的人体骨架是平面的人体模型，在本实施例中通过引入隐式曲面的概念对所述人体骨架进行处理以建立三维人体模型。

在本实施例中，首先确定由所述人体骨架中关节之间的线段产生的隐式曲面。为了便于理解所述隐式曲面，这里以球的标准方程为例作类比来说明如何形成所述隐式曲面。

众所周知，设球心为(a,b,c)，半径为R，则球的标准方程为Q(x,y,z)=(x-a)²+(y-b)²+(z-c)²=R²，其中(x,y,z)为球面上的任意一点。

在本实施例中，所述人体骨架中关节之间的线段相当于球心，而根据所述人体骨架中关节之间的线段形成的隐式曲面相当于球面。进一步地，再引入一个曲面膨胀参数T，该曲面膨胀参数相当于半径的平方，由此可以建立所述隐式曲面的方程为F(x,y,z)=T，其中，F(x,y,z)表示隐式曲面，T为曲面膨胀参数。在实际应用中，所述曲面膨胀参数T是可调节的，且T的值越大，隐式曲面的膨胀度越大，在本实施例中并不对所述曲面膨胀参数T的取值做限定，本领域技术人员可以根据不同的人体骨架对该曲面膨胀参数T作调整。

上述隐式曲面F(x,y,z)还可以进一步表示为每个线段的函数与该线段上每个点的距离函数相乘后在整个线段上的积分，具体公式为：

其中g(Q)表示所述人体骨架中关节之间的线段的函数，Q为线段上的点；f(P-Q)为每个点的距离函数，P为隐式曲面上的任意一点，也就是说，所述距离函数是指所述线段上的点与所述隐式曲面上任意一点之间的距离函数。

在本实施实例中，所述人体骨架中所有关节之间的线段都可以采用上述方式形成各个隐式曲面。然后，根据各个所述线段之间的空间夹角来组合各个所述隐式曲面以建立所述三维人体模型，也就是基于所述人体骨架所形成的隐式曲面建立所述三维人体模型。

如图3A所示的是基于如图2所示的基本人体骨架建立的三维人体模型的结构示意图。进一步地，如图3B所示的是在如图2所示的基本人体骨架的基础上结合所述多个人体轮廓特征点确定的不同人体骨架（呈现不同的姿态）所建立的三维人体模型的结构示意图。在图3B中，分别示出了2种不同人体骨架建立的三维人体模型。其中（a1）、（a2）、（a3）所示的是一种人体骨架建立的三维人体模型，这三幅图是从三个不同的观察角度呈现的三维人体模型；（b1）、（b2）、（b3）所示的是另一种人体骨架建立的三维人体模型，这三幅图也是从三个不同的观察角度呈现的三维人体模型。

进一步地，所述三维人体模型包括多个三维关节角度参数，通过这些三维关节角度参数可以体现出人物各个肢体部位的姿态。在本实施例中，每个所述三维关节角度参数表示一个关节的一个自由度。每个关节具有三个自由度，分别对应于x-y平面上的关节角度参数、x-z平面上的关节角度参数以及y-z平面上的关节角度参数。

例如，在本实施例中，建立三维人体模型为F(x,y,z,α₁,α₂,…α_n)=T，其中α₁,α₂,…α_n为n个三维关节角度参数（或者说人体相邻骨架的三维夹角），T为曲面膨胀参数，三维关节角度参数α₁,α₂,…α_n的变化可以引起人物姿态的不同变化。

在其他实施例中，所述三维人体模型还可以包括其他参数，例如表面形状参数、全局位置参数等，其中表面形状参数用于表示人物各个肢体表面的形状特征、全局位置参数用于表示人物各个肢体在整个三维人体模型中的具体位置特征。通过在三维人体模型中设置不同的参数可以从不同角度来表征人物的姿态，而在本实施例中，主要以在三维人体模型中通过三维关节角度参数来表征人物的不同姿态。

如步骤S6所述，将所述三维人体模型进行正交投影以得到人体光滑曲线。

在本实施例中，是将所述三维人体模型向x-y平面作正交投影以得到人体光滑曲线。如图4所示的是三维人体模型中的一个隐式曲面在x-y平面上的正交投影后得到的投影曲线的示意图。参考图4，所述三维人体模型中相邻关节之间的线段形成的一个隐式曲面31a向x-y平面作垂直投影形成投影曲线31b。当然，在其他实施例中，所述隐式曲面也可以在x-z平面或者y-z平面上进行正交投影后得到投影曲线，在此不再赘述。

基于如图4所示的投影方式，构成所述三维人体模型中的所有隐式曲面分别在x-y平面上垂直投影后得到各自的投影曲线，而这些投影曲线沿着人体轮廓构成所述人体光滑曲线。如图5所示的是本发明的一种三维人体模型在x-y平面上经正交投影后得到人体光滑曲线的示意图。参考图5，三维人体模型在x-y平面上正交投影得到的人体光滑曲线41。

例如，根据上文所述，所述三维人体模型为F(x,y,z,α₁,α₂,…α_n)=T，将所述三维人体模型向x-y平面作正交投影形成的人体光滑曲线为：f(x,y,α₁,α₂,…α_n)=T。需要说明的是，在所述人体光滑曲线中，仍旧是通过所述三维关节角度参数α₁,α₂，…α_n的变化来控制人物姿态的变化。

如步骤S7所述，分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线以确定各个三维关节角度参数。

在本实施例中，所述拟合的算法采用是非线性最小二乘法，所述非线性最小二乘法是以误差的平方和最小为准则来对非线性静态模型中的参数进行估计。通常的非线性最小二乘法包括搜索算法和迭代算法，在本实施例中，采用迭代算法。根据上述步骤S6得到的所述人体光滑曲线是一个非线性静态模型，该模型中包含多个三维人体关节角度参数，分别从每一帧图像中提取的多个人体轮廓特征点拟合所述人体光滑曲线，通过不断迭代，确定所述人体光滑曲线中的各个三维关节角度参数。

例如，根据上文所述，所述人体光滑曲线为f(x,y,α₁,α₂,…α_n)=T，将每一帧图像中提取的人体轮廓特征点的坐标代入f(x,y,α₁,α₂,…α_n)=T，通过求解非线性最小二乘法，求得人体光滑曲线中的各个三维关节角度参数α₁,α₂,…α_n。

如步骤S8所述，对所述各个三维关节角度参数进行降维以得到待识别步态数据。

在本实施例中，由于上述确定的人体光滑曲线中的各个三维关节角度参数之间是相互关联的，例如，一个关节的三个不同的自由度是相互关联的三个三维关节角度参数。进一步地，各个三维关节角度参数的重要性程度不相同，所谓重要性程度是指在所述人体光滑曲线中的各个三维关节角度参数对表征人物姿态形态所起作用的重要性程度。例如，肘关节角度参数、膝关节角度参数等对于表征人物姿态形态的重要性程度较高，而髋关节角度参数、手指关节角度参数等对于表征人物姿态形态的重要性程度相对较低。

当所述人体光滑曲线中的三维关节角度参数较多（即特征空间的维数较高）时，在后续与训练好的步态数据进行匹配过程就比较繁琐，增加了运算量。因此，在本实施例中，需要对所述人体光滑曲线中的三维关节角度参数进行降维处理，即降低特征空间的维数，从而简化后续的匹配过程。

在一个优选实施例中，采用主元分析法对所述各个三维关节角度参数进行降维处理。本领域技术人员知晓，所述主元分析法的思想是寻找一组新变量来代替原变量，新变量是原变量的线性组合，并且最大限度地携带原变量的有用信息，且新变量之间互不相关。

具体到本实施例中，通过主元分析法将人体光滑曲线中的各个（例如N个，N>1）三维关节角度参数变换成n（n>1，且n<N）个特征向量，也就是对人体光滑曲线中的三维关节角度参数进行了降维处理，从而简化了后续的匹配识别过程。具体地，从所述人体光滑曲线的所有三维关节角度参数中提取特征向量作为待识别步态数据，提取出的特征向量包含了体现人物姿态形态的最具代表性的特征信息，且这些特征向量之间互不相关，也就是提取出的特征向量是原先所有三维关节角度参数的线性组合。

所述主元分析法是一种线性降维方法，在其他实施例中，也可以采用其他所述线性降维方法，例如独立成分分析法、线性判别分析法等，还可以采用非线性降维方法，例如核主成分分析法、局部线性嵌入法等。上述降维方法可以采用现有技术来实现，在此不再赘述。

如步骤S9所述，将所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

在本实施例中，假设在训练数据库中有M个训练好的步态数据，分别为G₁,G₂,…,G_i，…,G_M，其中G_i={β₁,β₂,…β_n}为降维后的特征向量，待识别的步态数据为D={γ₁,γ₂,…,γ}，匹配过程就是在G₁,G₂,…,G_i，…,G_M找到与D_i最相似的步态数据序列，具体匹配的公式如下：

$I=\underset{i}{\min }{\left|\right|G_i-D\left|\right|}^2=\underset{i}{\min }\underset{1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|{\mathrm{\&beta;}}_i-{\mathrm{\&gamma;}}_i\left|\right|}^2$

在本实施例中，所述训练好的步态数据是指特定人物的步态数据，每个特定人物的训练好的步态数据可以存储于训练数据库中，然后将上述步骤S8得到的待识别步态数据与训练好的步态数据进行匹配来完成人物识别。

如图6所示的本发明中将所述待识别步态数据与训练好的步态数据进行匹配的结果示意图。参考图6，其中实线A表示某一特定人物的训练好的步态数据。点划线B和虚线C都是待识别步态数据，从图中可以看出，点划线B与实线A的变化趋势相近，可以识别是同一个人，而虚线C与实线A的变化趋势相差较大，可以判定不是同一个人。

需要说明的是，所述训练好的步态数据可以是外部输入数据，外部设备将已有的多个特定人物的步态数据存储至所述训练数据库中。如果需要存储新的特定人物的步态数据，也可以通过如上述步骤S1至步骤S8所述的处理流程得到该新的特定人物的训练好的步态数据。

本实施例提供的基于视频图像的人物识别方法不仅对目标视频图像中出现的光照变化、噪声影响和前景检测误差等干扰具有较高的鲁棒性，同时在建立三维人体模型以及对所述三维人体模型进行正交投影后形成的人体光滑曲线中都突显出了关于人体轮廓特征的信息，从而能够更逼真地识别出人物姿态。

根据上述基于视频图像的人物识别方法，本发明实施例还提供了一种基于视频图像的人物识别装置。如图7所示的是本发明的一种基于视频图像的人物识别装置。参考图7，所述人物识别装置6包括：图像提取装置61；与所述图像提取装置61相连接的背景图像确定装置62；分别与所述图像提取装置61和背景图像确定装置62相连接的前景区域确定装置63；与所述前景区域确定装置63相连接的人体轮廓特征提取装置64；与所述人体轮廓特征提取装置64相连接的人体模型建立装置65；与所述人体模型建立装置65相连接的人体曲线建立装置66；分别与所述人体轮廓特征提取装置64和所述人体曲线建立装置66相连接的曲线拟合装置67；与所述曲线拟合装置67相连接的降维处理装置68；以及与所述降维处理装置68相连接的匹配识别装置69。

在具体实施例中，所述图像提取装置61用于从目标视频图像中提取N帧图像，其中N为自然数。在本实施例中，所述目标视频图像是由位置固定的摄像设备拍摄得到的视频图像。对于N的具体取值并没有限定，本领域技术人员可以根据不同的摄像设备以及不同的应用场景来确定。

所述背景图像确定装置62用于基于由所述图像提取装置61提取到的所述N帧图像确定所述目标视频图像的背景图像。在本实施例中，采用最小平方中位数的方法从这N帧图像中提取出背景图像，在实际应用中发现采用该方法对于一维数据（即图像中每一点的像素值）非常有效，且鲁棒性很好，即使图像中存在大量异常点也能确定正确值。

具体来说，在本实施例中，所述背景图像确定装置62包括：像素计算装置621，用于利用中值函数分别对每一帧图像中相同位置上的像素取中值以得到中值像素；图像确定装置622，用于根据所述像素计算装置621计算得到的每个位置上的中值像素确定所述目标视频图像的背景图像。

所述前景区域确定装置63用于根据所述图像提取装置61提取到的每一帧图像与由所述背景图像确定装置62所确定的背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像。所述前景区域确定装置63可以利用每一帧图像与所述背景图像的差值确定每一帧图像的前景区域。在实际应用中，当所述目标视频图像存在异常点和阴影、或者噪声较大时，还可以设定一个像素阈值，将上述像素差值大于所述像素阈值的区域确定为前景区域。进一步地，由于在本实施例中，是对视频图像中的人物进行识别，因此在所述前景区域中包括人体轮廓图像。

所述人体轮廓特征提取装置64用于从所述前景区域确定装置确定63的人体轮廓图像中提取多个人体轮廓特征点。由于每一帧图像是平面图像，因此所述人体轮廓图像是由许多个平面点集合构成，提取出的多个人体轮廓特征点可以通过图像坐标来表示。在本实施例中，并不对提取的人体轮廓特征点的个数作限定，在实际应用中，以提取出的所有所述人体轮廓特征点能表现出人体轮廓图像为佳。

所述人体模型建立装置65用于基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的。在本实施例中，所述人体模型建立装置65可以预先建立一个基本人体骨架作为人体骨架原型，然后根据所述人体轮廓特征提取装置64提取的多个人体轮廓特征点对上述基本人体骨架的姿态作变换，从而使得变换后的人体骨架的姿态与所述人体轮廓图像呈现的人物姿态相匹配。

在本实施例中，所述人体模型建立装置65通过隐式曲面来建立三维人体模型。具体地，所述人体模型建立装置65包括：曲面确定装置651，用于确定由所述人体骨架中关节之间的线段形成的隐式曲面；模型确定装置652，用于根据各个所述线段之间的空间夹角来组合由所述曲面确定装置651确定的各个所述隐式曲面以建立所述三维人体模型。

更为具体地，所述曲面确定装置651包括：参数设置装置（图6中未示出），用于设定曲面膨胀参数；曲面形成装置（图6中未示出），用于根据每个线段的函数与该线段上每个点的距离函数相乘后在整个线段上的积分等于由所述参数设置装置设定的所述曲面膨胀参数来确定各个线段产生的隐式曲面；其中所述距离函数是指所述线段上的各个点与所述隐式曲面上的点之间的距离函数。

所述人体曲线建立装置66用于将由所述人体模型建立装置65建立的所述三维人体模型进行正交投影以得到人体光滑曲线。在本实施例中，所述人体曲线建立装置66将所述三维人体模型向x-y平面作正交投影以得到人体光滑曲线。当然，在其他实施例中，所述人体曲线建立装置66也可以将由所述人体模型建立装置65建立的三维人体模型向x-z平面或者y-z平面上进行正交投影后得到以得到人体光滑曲线。

所述曲线拟合装置67用于分别将所述人体轮廓特征提取装置64所提取的每一帧图像中的多个人体轮廓特征点拟合由所述人体曲线建立装置66建立的所述人体光滑曲线以确定各个三维关节角度参数。在本实施例中，所述曲线拟合装置67采用的拟合算法是非线性最小二乘法。

所述降维处理装置68用于对所述曲线拟合装置67确定的各个三维关节角度参数进行降维以得到待识别步态数据。在本实施例中，所述降维处理装置68包括：线性组合装置681，用于采用主元分析法对所述各个三维关节角度参数进行线性组合以确定多个待识别步态数据，且所述多个待识别步态数据之间互不相关。具体地，所述线性组合装置681通过主元分析法是将人体光滑曲线中的各个（例如N个，N>1）三维关节角度参数变换成n（n>1，且n<N）个特征向量，也就是对人体光滑曲线中的三维关节角度参数进行了降维处理，从而简化了后续的匹配识别过程。

在其他实施例中，所述降维处理装置68还可以采用其他降维方法对各个三维关节角度参数进行降维以得到待识别步态数据。例如，独立成分分析法、线性判别分析法、局部线性嵌入法等。

所述匹配识别装置69用于将经由所述降维处理装置68得到的所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。在本实施例中，所述训练好的步态数据是指特定人物的步态数据，每个特定人物的训练好的步态数据可以存储于训练数据库中。

本实施例提供的所述人物识别装置中各个装置的具体实现过程可以参考上述方法部分的实施例，在此不再赘述。

本领域技术人员可以理解，本实施例提供的所述人物识别装置中的各个装置是基于软硬件结合的嵌入式系统来实现的，在本发明的其他实施例中还可以采用硬件或者软件的方式来实现。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (12)

1.一种基于视频图像的人物识别方法，其特征在于，包括：

从目标视频图像中提取N帧图像，其中N为自然数；

基于所述N帧图像确定所述目标视频图像的背景图像；

根据每一帧图像与所述背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像；

从所述人体轮廓图像中提取多个人体轮廓特征点；

基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的；

将所述三维人体模型进行正交投影以得到人体光滑曲线；

分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线以确定各个三维关节角度参数；

对所述各个三维关节角度参数进行降维以得到待识别步态数据；

将所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

2.根据权利要求1所述的基于视频图像的人物识别方法，其特征在于，所述基于所述N帧图像确定所述目标视频图像的背景图像包括：

利用中值函数分别对每一帧图像中相同位置上的像素取中值以得到中值像素；

根据每个位置上得到的中值像素确定所述目标视频图像的背景图像。

3.根据权利要求1所述的基于视频图像的人物识别方法，其特征在于，所述基于人体骨架建立三维人体模型包括：

确定由所述人体骨架中关节之间的线段形成的隐式曲面；

根据各个所述线段之间的空间夹角来组合各个所述隐式曲面以建立所述三维人体模型。

4.根据权利要求3所述的基于视频图像的人物识别方法，其特征在于，所述确定由所述人体骨架中关节之间的线段形成的隐式曲面包括：

设定曲面膨胀参数；

根据每个线段的函数与该线段上每个点的距离函数相乘后在整个线段上的积分等于所述曲面膨胀参数来确定各个线段产生的隐式曲面；其中，所述距离函数是指所述线段上的点与所述隐式曲面上任意一点之间的距离函数。

5.根据权利要求1所述的基于视频图像的人物识别方法，其特征在于，所述分别将每一帧图像中提取的多个人体轮廓特征点拟合人体光滑曲线所采用的拟合算法为非线性最小二乘法。

6.根据权利要求1所述的基于视频图像的人物识别方法，其特征在于，所述对所述各个三维关节角度参数进行降维以得到待识别步态数据包括：

采用主元分析法对所述各个三维关节角度参数进行线性组合以确定多个待识别步态数据，且所述多个待识别步态数据之间互不相关。

7.一种基于视频图像的人物识别装置，其特征在于，包括：

图像提取装置，用于从目标视频图像中提取N帧图像，其中N为自然数；

背景图像确定装置，用于基于由所述图像提取装置提取到的所述N帧图像确定所述目标视频图像的背景图像；

前景区域确定装置，用于根据所述图像提取装置提取到的每一帧图像与由所述背景图像确定装置所确定的背景图像的像素差值确定所述每一帧图像的前景区域，其中所述前景区域包括人体轮廓图像；

人体轮廓特征提取装置，用于从所述前景区域确定装置确定的人体轮廓图像中提取多个人体轮廓特征点；

人体模型建立装置，用于基于人体骨架建立三维人体模型，所述三维人体模型包括多个三维关节角度参数，其中所述人体骨架是在基本人体骨架的基础上结合所述多个人体轮廓特征点来确定的；

人体曲线建立装置，用于将由所述人体模型建立装置建立的所述三维人体模型进行正交投影以得到人体光滑曲线；

曲线拟合装置，用于分别将所述人体轮廓特征提取装置所提取的每一帧图像中的多个人体轮廓特征点拟合由所述人体曲线建立装置建立的所述人体光滑曲线以确定各个三维关节角度参数；

降维处理装置，用于对所述曲线拟合装置确定的各个三维关节角度参数进行降维以得到待识别步态数据；

匹配识别装置，用于将经由所述降维处理装置得到的所述待识别步态数据与训练好的步态数据进行匹配以完成人物识别。

8.根据权利要求7所述的基于视频图像的人物识别装置，其特征在于，所述背景图像确定装置包括：

像素计算装置，用于利用中值函数分别对每一帧图像中相同位置上的像素取中值以得到中值像素；

图像确定装置，用于根据所述像素计算装置计算得到的每个位置上的中值像素确定所述目标视频图像的背景图像。

9.根据权利要求7所述的基于视频图像的人物识别装置，其特征在于，所述人体模型建立装置包括：

曲面确定装置，用于确定由所述人体骨架中关节之间的线段形成的隐式曲面；

模型确定装置，用于根据各个所述线段之间的空间夹角来组合由所述曲面确定装置确定的各个所述隐式曲面以建立所述三维人体模型。

10.根据权利要求9所述的基于视频图像的人物识别装置，其特征在于，所述曲面确定装置包括：

参数设置装置，用于设定曲面膨胀参数；

曲面形成装置，用于根据每个线段的函数与该线段上每个点的距离函数相乘后在整个线段上的积分等于由所述参数设置装置设定的所述曲面膨胀参数来确定各个线段产生的隐式曲面；其中所述距离函数是指所述线段上的点与所述隐式曲面上任意一点之间的距离函数。

11.根据权利要求7所述的基于视频图像的人物识别装置，其特征在于，所述曲线拟合装置所采用的拟合算法为非线性最小二乘法。

12.根据权利要求7所述的基于视频图像的人物识别装置，其特征在于，所述降维处理装置包括：

线性组合装置，用于采用主元分析法对所述各个三维关节角度参数进行线性组合以确定多个待识别步态数据，且所述多个待识别步态数据之间互不相关。

Images