CN106295657A - 一种视频数据结构化过程中提取人体高度特征的方法 - Google Patents

Abstract

一种视频数据结构化过程中提取人体高度特征的方法，包括如下步骤：(一)相机标定：计算单应矩阵H_g、摄影机的投影矩阵Pro、内参矩阵、外参矩阵和垂直消影点m_v；(二)基于单帧图像提取人体高度特征信息：(1)提取头部和脚部的图像特征点，(2)基于单帧图像提取人体高度特征信息，(3)基于视频序列精确化人体高度特征信息；(三)数据结构化，即输出高精度高度信息至结构化数据库。一种视频数据结构化过程中提取人体高度特征的方法，解决了目前的视频数据结构化过程中没有提取人体高度这个特征的问题。

Description

一种视频数据结构化过程中提取人体高度特征的方法

技术领域

本发明属于非结构化大数据处理领域的视频数据中人体高度特征的提取技术，涉及一种测量视频场景中人体高度的方法。

背景技术

随着平安城市迅速发展和技术的不断创新，视频监控技术也在向着高清化、数字化、网络化、智能化的方向发展。高清化、数字化、网络化、智能化监控的诞生解决了传统监控效果的难题，但同时衍生了更庞大的存储需求和更高带宽的传输需求。视频数据呈几何倍数增加，从保存的海量高清视频中检索、调用图像进行分析是一个挑战。解决的办法是将视频数据进行结构化处理完成语义描述，在此基础上再利用传统数据处理技术完成数据分析与挖掘，“以产生新的知识用于支撑决策或业务的自动智能化运转”。目前的视频数据语义化描述只限于目标颜色、目标纹理、目标运动方向、目标形态、目标类别等特征，无法提取人体高度这一重要特征。在图像侦查、安全防范、治安布控、反恐处突、行为分析等领域，识别并理解视频场景中的行人的行为特征和生物个性是非常重要的，而对人体的高度进行结构化描述进而开展视频摘要、检索和筛选是在海量视频信息中提提取监控目标的一个重要的参考条件，尤其当视频监控中采用的摄像头分辨率低或者离目标太远面部比较模糊时,获取的人体信息，尤其是人体的高度信息特征就更为重要。

发明内容

为解决目前的视频数据结构化过程中没有提取人体高度这个特征的问题，本发明提供一种视频数据结构化过程中提取人体高度特征的方法。

一种视频数据结构化过程中提取人体高度特征的方法，通过以下技术方案来实现身体高度特征的识别：

(一)相机标定

首先进行摄像机标定，利用Hartley R,ZissermanA提出的方法估计地平面与像平面之间的单应矩阵H_g，然后再利用Kannala J,Brandt S提出的方法基于单应矩阵H_g解得摄像机的投影矩阵Pro、内参矩阵、外参矩阵和垂直消影点m_v完成摄像机标定。

(二)基于单帧图像提取人体高度特征信息

共有三个步骤：提取头部和脚部的图像特征点；基于单帧图像提取人体高度特征信息；基于视频序列精确化人体高度特征信息。

1.提取头部和脚部的图像特征点

对输入的图像序列进行背景建模，进而提取出前景区域；接下来通过计算垂直消影点m_v与前景轮廓图上所有点的距离来确定头部顶点的图像特征点m_h。

对双脚进行颜色建模进而提取双脚区，然后按照脚区黑其余白的原则将前景二值化；然后构造临时平面坐标系，进而获得双脚区的两个图像特征点m_f1和m_f2。

2.基于单帧图像提取人体高度特征信息

利用上面求得的垂直消影点m_v、头部图像特征点m_h、脚部特征点m_f1、m_f2、单应矩阵H_g、摄像机投影矩阵Pro按照透视摄像机成像模型法计算出人头部顶点坐标Z_h,即人体的高度特征信息。

3.基于视频序列精确化人体高度特征信息

图像序列中处于运动的脚会引起测量误差，尤其是脚抬起的越高误差就会越大。为了提高提取人体身高特征的精度，需要判断视频中人的脚的运动状态。

本发明利用基于动作变化率特征的动作及姿态分割方法确定运动姿态。首先，获取图像中动作区域的轮廓信息，根据连续图像序列中轮廓信息的变化情况挖掘出动作的变化率，然后利用量化后的动作变化率界定动作及姿态，进而确定双脚的运动状态。其次，使用概率统计模型动作识别法获得动作运动规律，利用获得运动规律结合第二步基于单帧测量人体身高特征的方法获得多个测量值后，通过取平均值的方法对测量值进行优化计算。从而得到高精度的人体高度特征信息。

(三)数据结构化

将人体高度特征和颜色、纹理、运动方向、形态、类别等特征一起写入结构化数据库，完成视频数据的结构化描述。

附图说明

图1是视频数据结构化过程中提取人体高度特征流程图。

图2是本发明的平面模板图。

具体实施方式

以下结合附图对本发明做进一步描述：

一种视频数据结构化过程中提取人体高度特征的方法，通过以下技术方案来实现身体高度特征的识别：

(一)相机标定

1.估计地平面与像平面之间的单应矩阵H_g

(a)将图2所示的平面模板放在地面上。将世界坐标系的原点选择在平面模板平面上，取Z轴的方向与此平面垂直。

(b)在图2所示平面模板上选取不共线的4个点，并将它们的世界坐标的齐次坐标分别记录为M₁(X₁,Y₁,0,1)^T、M₂(X₂,Y₂,0,1)^T、M₃(X₃,Y₃,0,1)^T、M₄(X₄,Y₄,0,1)^T，在拍摄的图像上利用Harris角点检测法选取4个对应的像点并记他们的坐标的齐次坐标为m₁(U₁,V₁,1)^T、m₂(U₂,V₂,1)^T、m₃(U₃,V₃,1)^T、m₄(U₄,V₄,1)^T。

(c)写出所有对应点的Mahalanobis的距离(γ)的平方的表达式。

其中，

h_i为单应矩阵Hg的第i行,E为单位矩阵。

(d)使用Levenberg-Marquardt算法求得满足最大似然估计的单应矩阵。

由世界坐标和图像坐标之间的对应关系得下列方程组：

由此方程求出单应矩阵的初始值，然后再将其作为参数，以步骤3)中γ²为误差指标函数，使用Levenberg-Marquardt算法求得满足最大似然估计的单应矩阵Hg。

2.基于单应矩阵H_g解得摄像机的内参矩阵、外参矩阵和垂直消影点m_v完成摄像机标定。

H＝[r₁r₂t](**)

(a)用最小二乘法求解fx,fy为了近似计算得到fx,fy,假定图像的主点位于图像像素坐标的中心,即如果摄像机的分辨率为c1×c2，则u₀＝c₁/2,v₀＝c₂/2。将倾斜因子设为γ＝0(在下文中将对γ进行非线性优化)，此时，容易得到式(3)中定义的矩阵C。在此基础上，可以计算出如下辅助矩阵P∈R^3*3：

P＝C^-1H (1)

另一方面，对于矩阵P，利用式(*)和式(**)可以将其改写为如下形式:

P＝A^*[r₁ r₂ t] (2)

将上式两边左乘以A^*-1，展开并整理后得到:

r1＝A^*-1p₁,r2＝A^*-1p₂ (3)

式中，p₁＝[p₁₁,p₂₁,p₃₁]^T∈R³；p2＝[p₁₂,p₂₂,p₃₂]^T∈R³分别表示矩阵P的前两列向量。

进而利用旋转矩阵R的单位正交性，结合式(3)可以得到如下2个约束条件：

将式(4),式(5)展开并进行整理后得到如下线性方程:

在进行标定时,使用一幅图像可以求出其与标定平面之间的一个单应矩阵,然后代入式(1)得到矩阵P，从而根据式(6)可以获得2个约束条件。因此，如果采集多幅图像，使用线性最小二乘方法便可以较为精确地估计出尺度因子fx,fy。

(b)求解u0,v0在上文中已经求解出尺度因子fx,fy，在本步的求解过程中，首先利用旋转矩阵R的单位正交性,与式(**)相结合,可以获得以下2个约束条件：

式中，h1∈R³和h2∈R³分别单应矩阵H的前两列向量。

将式(7)和(8)展开后加以整理，可以得到下式：

v_x＝b (9)

式中，矩阵V∈R²×3；向量b∈R²和x∈R³的具体形式分别如下:

式中,hij,Πi,j＝1,2,3表示单应矩阵H第i行第j列的元素。如前所述，对于每幅图像都可以计算出一个单应矩阵，从而利用式(9)可以得到两个约束条件。因此，给定两幅以上图像，便可以使用最小二乘法对三维向量x＝[x₁,x₂,x₃]^T进行线性估计。从式(12)中可以看出，x₃是x₁与x₂的非线性组合，因此它们之间并不相互独立，存在过参数化问题。在本发明中，采用非线性优化算法来解决此问题，并通过n幅图像来进行标定。为此，根据约束式(9)，通过优化以下误差函数来获得x₁与x₂的最优解：

式中，j＝1,2；k＝1,2,3分别表示利用第i幅图像计算得到的矩阵V和向量b中的相应元素。对于主点位置(u₀,v₀)求解可以分为两步来完成。其中，第一步利用2幅以上的图像，计算出2个以上的单应矩阵，然后根据式(9)利用最小二乘法对三维向量x进行将线性估计；而第二步则将第一步得到的结果作为初始条件，采用Levenberg-Marquardt迭代算法对式(13)进行求解，最终解出的(x₁,x₂)即为像面中心坐标(u₀,v₀)。

(c)在已知内参数矩阵A的基础上,可以结合式(**)并利用旋转矩阵的单位正交性求出每幅图像对应的所有外参数。

(二)基于单帧图像提取人体高度特征信息

共有三个步骤：提取头部和脚部的图像特征点；基于单帧图像提取人体高度特征信息；基于视频序列精确化人体高度特征信息。

1.提取头部和脚部的图像特征点

对输入的图像序列进行背景建模，进而提取出前景区域；接下来通过计算垂直消影点m_v与前景轮廓图上所有点的距离来确定头部顶点的图像特征点m_h。

对双脚进行颜色建模进而提取双脚区，然后按照脚区黑其余白的原则将前景二值化；然后构造临时平面坐标系，进而获得双脚区的两个图像特征点m_f1和m_f2。

2.基于单帧图像提取人体高度特征信息

利用上面求得的垂直消影点m_v、头部图像特征点m_h、脚部特征点m_f1、m_f2、单应矩阵H_g、摄像机投影矩阵Pro按照透视摄像机成像模型法计算出人头部顶点坐标Z_h,即人体的高度特征信息。

计算过程如下：

由m_f1、m_f2确定一个方程

a₁x+b₁y+c₁＝0 (14)

a₁,b₁,c₁均为常数。

m_v、m_h确定另一个方程

a₂x+b₂y+c₂＝0 (15)

a₂,b₂,c₂均为常数。

联立(14)式和(15)式解得垂足图像点的m_p坐标记为～m_p。

记三维空间中人头部顶点在地面的投影点的三维坐标为：

～P_p＝[X_h,Y_h,0,1]^T (16)

根据射影几何原理知:

λ～m_p＝H_g[X_h,Y_h,1]^T (17)

由(17)解得X_h,Y_h。

记三维空间中人头部顶点的齐次坐标为～P_h＝[X_h,Y_h,Z_h,1]；

记头部顶点图像特征点为～m_h。

由λ～m_h＝Pro*～P_h即可计算出人体高度。

3.基于视频序列精确化人体高度特征信息

图像序列中处于运动的脚会引起测量误差，尤其是脚抬起的越高误差就会越大。为了提高提取人体身高特征的精度，需要判断视频中人的脚的运动状态。

本发明利用基于动作变化率特征的动作及姿态分割方法确定运动姿态。首先，获取图像中动作区域的轮廓信息，根据连续图像序列中轮廓信息的变化情况挖掘出动作的变化率，然后利用量化后的动作变化率界定动作及姿态，进而确定双脚的运动状态。其次，使用概率统计模型动作识别法获得动作运动规律，利用获得运动规律结合第二步基于单帧测量人体身高特征的方法获得多个测量值后，通过取平均值的方法对测量值进行优化计算。从而得到高精度的人体高度特征信息。

(三)数据结构化

将人体高度特征和颜色、纹理、运动方向、形态、类别等特征一起写入结构化数据库，完成视频数据的结构化描述。

Claims (1)

1.一种视频数据结构化过程中提取人体高度特征的方法，其特征在于，通过以下技术方案来实现身体高度特征的识别：

(一)相机标定

首先进行摄像机标定，利用Hartley R,Zisserman A提出的方法估计地平面与像平面之间的单应矩阵H_g，然后再利用Kannala J,Brandt S提出的方法基于单应矩阵H_g解得摄像机的投影矩阵Pro、内参矩阵、外参矩阵和垂直消影点m_v完成摄像机标定；

(二)基于单帧图像提取人体高度特征信息

共有三个步骤：提取头部和脚部的图像特征点；基于单帧图像提取人体高度特征信息；基于视频序列精确化人体高度特征信息；

1.提取头部和脚部的图像特征点

对输入的图像序列进行背景建模，进而提取出前景区域；接下来通过计算垂直消影点m_v与前景轮廓图上所有点的距离来确定头部顶点的图像特征点m_h；

对双脚进行颜色建模进而提取双脚区，然后按照脚区黑其余白的原则将前景二值化；然后构造临时平面坐标系，进而获得双脚区的两个图像特征点m_f1和m_f2；

2.基于单帧图像提取人体高度特征信息

利用上面求得的垂直消影点m_v、头部图像特征点m_h、脚部特征点m_f1、m_f2、单应矩阵H_g、摄像机投影矩阵Pro按照透视摄像机成像模型法计算出人头部顶点坐标Z_h,即人体的高度特征信息；

3.基于视频序列精确化人体高度特征信息

利用基于动作变化率特征的动作及姿态分割方法确定运动姿态：首先，获取图像中动作区域的轮廓信息，根据连续图像序列中轮廓信息的变化情况挖掘出动作的变化率，然后利用量化后的动作变化率界定动作及姿态，进而确定双脚的运动状态；其次，使用概率统计模型动作识别法获得动作运动规律，利用获得运动规律结合第二步基于单帧测量人体身高特征的方法获得多个测量值后，通过取平均值的方法对测量值进行优化计算，从而得到高精度的人体高度特征信息；

(三)数据结构化

将人体高度特征和颜色、纹理、运动方向、形态、类别等特征一起写入结构化数据库，完成视频数据的结构化描述。