CN105869166B - 一种基于双目视觉的人体动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于双目视觉的人体动作识别方法及系统，其中，该基于双目视觉的人体动作识别方法首先通过双目标定获取相机的内外参数，然后对左右相机分别拍摄的图像进行预处理及目标检测，以提取出目标轮廓，接着，从目标轮廓中提取出目标的边缘，之后，对左右两幅图像中的像素点进行匹配，将匹配的结果作为HMM模型进行训练的数据依据。按照上述方法训练出多个动作对应的HMM模型，当采集者在相机采集范围内做出动作时，可通过已训练好的多个HMM模型分别判断采集者做出相应动作的概率。本发明能够较准确的判断人体三维立体信息且运行成本较低。

Description

一种基于双目视觉的人体动作识别方法及系统

技术领域

本发明涉及一种人体动作识别方法，具体而言，涉及一种基于双目视觉的人体动作识别方法，以及用于实施该方法的系统。

背景技术

人是社会活动的主体，人体动作包括人体各个肢段，例如手、四肢、头、面部或身体等的姿态或运动过程，是一种人与环境的信息交互方式，表达了人的某种意愿。以人作为研究对象，研究人体动作的主要任务就是将运动的人体从获取的视频中检测并分割提取出来。人体动作包含一系列运动目标(例如手、四肢、头、面部或身体等)，在对这些运动目标进行检测的过程中，由于各不相同的实际环境以及各种干扰因素的存在，给准确、快速地从视频图像中检测提取出运动目标带来很大的难度，同时也给后面的运动跟踪、目标识别带来困难。因此，提高运动目标检测算法的准确性、稳定性及鲁棒性尤为重要，目前，运动目标检测算法主要存在两个难点：一个是多义性的处理；另一个是遮挡的处理。

人体运动目标检测是计算机视觉领域中最活跃的研究主题之一，其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述。基于计算机视觉的人体动作检测和识别方法是人体运动目标检测研究的核心技术，它包括对视场中的人体进行检测、跟踪人体、获取反映人体动作的参数，以达到理解人体动作的目的，在智能监控、虚拟现实、行为分析、基于内容的视频检索和人机交互等领域有着广阔的应用前景和极大的经济价值与社会价值。另外，人体行为检测和识别研究在视频会议、医学临床诊断和身份鉴别等领域也起着相当重要的作用，有着广阔的应用前景。

目前，基于视觉的人体动作识别的处理方法大体可分为3类：非参数方法、立方体分析方法以及参数化时间序列分析的方法.非参数方法通常从视频的每一帧中提取某些特征，然后用这些特征与预先存储的模板(template)进行匹配；立方体分析方法不是基于帧的处理，而是将整段视频数据看作是一个3维的时空立方体进行分析；而参数化时间序列分析的方法对运动的动态过程给出一个特定的模型，并通过对训练样本数据的学习获得每一类动作特定的模型参数，其中比较常用的模型包括：隐马尔可夫模型(Hidden MarkovModels，HMMS)、线性动态系统(Linear Dynamical Systems，LDSs)等。

上述基于视觉的人体动作识别的处理方法需要对大量人体动作模板进行前期训练，运行成本较高，且不能完整地反应三维世界中人体部位的位置关系，因此无法对人体动作进行较为准确的识别。

发明内容

本发明提供一种基于双目视觉的人体动作识别方法以及实施该方法的系统，用以利用双目立体视觉原理研究人体的姿态动作。

为了达到上述目的，本发明提供了一种基于双目视觉的人体动作识别方法，其包括以下步骤：

S1：将同一型号的左相机和右相机固定于与地面平行的同一水平线上，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体；

S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；

S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；

S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Leventberg-Marquardt算法求取相机单应矩阵H，以及两相机的内外参数和畸变系数，并将这些参数保存在一xml文件中；

S7：在所述左相机和所述右相机的图像采集范围内，被采集者做出“平移”的动作；

S8：使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；

S9：分别对所述左相机图像和所述右相机图像进行滤波去噪处理和肤色增强处理，得到待检测左相机图像和待检测右相机图像；

S10：采用高斯模型背景去除法分别去除所述待检测左相机图像和所述待检测右相机图像中的背景，得到待提取左相机图像和待提取右相机图像；

S11：采用Sobel算子分别计算所述待提取左相机图像和所述待提取右相机图像中每一个像素点的梯度值G，并将该梯度值G与一预设梯度阈值进行比较，并根据每一像素点的比较结果分别生成一左边缘幅度图像和一右边缘幅度图像，其中：

若G＞预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为255，

若G＜预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为0；

S12：剔除所述左边缘幅度图像和所述右边缘幅度图像中对比度低于一设定阈值Th的点，得到一左边缘图像和一右边缘图像；

S13：设定一匹配阈值，采用surf算法对所述左边缘图像和所述右边缘图像中的像素点进行匹配，得到多对匹配像素点，每对匹配像素点分别包括一个位于所述左边缘图像中的左像素点和一个位于所述右边缘图像中的右像素点；

S14：从步骤S6中得到的xml文件中读取出相机单应矩阵H以及两相机的内外参数和畸变系数，并采用张氏标定法计算出每对像素点所对应的实际空间点在三维空间坐标系中的坐标；

S15：利用S14步骤中得到的每对像素点所对应的实际空间点在三维空间坐标系中的坐标，对一HMM模型进行初始化及训练，得到对应“平移”动作的HMM模型λ₁，λ₁＝(A,π,μ,U,ω)，其中，A为初始状态转移概率矩阵，π为初始概率分布，μ为混合高斯概率密度函数的均值、U为协方差矩阵，ω为权值；

S16：在所述左相机和所述右相机的图像采集范围内，被采集者分别做出“下蹲”、“挥手”和“抬腿”的动作，并分别重复上述步骤S8～S15，其中于步骤S15中分别得到对应“下蹲”、“挥手”和“抬腿”动作的HMM模型，并分别用λ₂，λ₃，λ₄表示；

S17：根据前述步骤中得到的对应“平移”、“下蹲”、“挥手”和“抬腿”动作的HMM模型，分别建立“平移”、“下蹲”、“挥手”和“抬腿”动作的估计函数P₁、P₂、P₃和P₄，其中：

P_n＝ln(p(O₁,O₂...O_T|λ_n))，n＝1，2，3，4，其中，p(O₁,O₂,...,O_T|λ_n)为在HMM模型λ_n确定的条件下，产生观察序列O₁,O₂,...,O_T的后验概率；

S18：从t1时刻起至t2时刻止，被采集者在所述左相机和所述右相机的采集区域内做出“平移”、“下蹲”、“挥手”、“抬腿”中的任意动作，并使用所述左相机和所述右相机每隔一设定时间采集一幅图像，共采集T帧左相机图像和T帧右相机图像；

S19：根据步骤S18采集到的所述左相机图像和所述右相机图像，得到一组观察符号O，其中O＝{O₁,O₂L O_T}，O₁-O_T分别表示对应于T个采集时刻的动作姿态；

S20：将所述观察符号O分别输入到P₁、P₂、P₃和P₄中，分别计算得到被采集者对应“平移”、“下蹲”、“挥手”和“抬腿”动作的概率值P₁、P₂、P₃和P₄；

S21：判断P₁、P₂、P₃和P₄中的最大值，最大值对应的动作即为被采集者在t1时刻至t2时刻之间所做出的动作。

较佳的，在步骤S9中，采用中值滤波方式进行滤噪处理，采用高通滤波进行肤色增强处理。

较佳的，在步骤S12中，所述设定阈值Th为(U₁+U₂)/2，其中，对于所述左边缘幅度图像来说，U₁、U₂分别为所述左边缘幅度图像中最大的灰度值和最小的灰度值，对于所述右边缘幅度图像来说，U₁、U₂分别为所述右边缘幅度图像中最大的灰度值和最小的灰度值。

较佳的，在步骤S13中，所述匹配阈值为0.9。

本发明还提供了一种实施上述基于双目视觉的人体动作识别方法的系统，其包括：双目标定模块、视频图像获取模块、视频图像预处理模块、目标检测模块、特征提取匹配模块、三维坐标获取模块和运动分析模块，其中：

所述双目标定模块用于对一左相机和一右相机进行双目标定；

所述视频图像获取模块的作用为：在所述左相机和所述右相机的图像采集范围内，当被采集者分别做出“平移”、“下蹲”、“挥手”和“抬腿”动作时，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像，以及在t1时刻至t2时刻之间，被采集者在所述左相机和所述右相机的采集区域内做出任意动作，使用所述左相机和所述右相机分别采集T帧左相机图像和T帧右相机图像；

所述视频图像预处理模块用于对所述视频图像获取模块获取到的左相机图像和所述右相机图像进行预处理，以得到待检测左相机图像和待检测右相机图像；

所述目标检测模块用于从所述视频图像预处理模块预处理后的图像中去除背景，以得到包含运动的人体目标的待提取左相机图像和待提取右相机图像；

所述特征提取匹配模块用于从所述待提取左相机图像和所述待提取右相机图像中提取到多对匹配像素点，每对匹配像素点分别包括一个位于所述左边缘图像中的左像素点和一个位于所述右边缘图像中的右像素点；

所述三维坐标获取模块用于计算相匹配的像素点在世界坐标系中的坐标；

所述运动分析模块用于分析和识别被采集者在t1时刻至t2时刻之间做出的动作。

本发明提供的基于双目视觉的人体动作识别方法及系统利用双目视觉获取深度信息的原理，通过获取左右摄像头视频帧中人体相应人体部位的三维坐标点信息，能够较准确的判断人体三维立体信息。该技术不需要拍摄大量图像，能够通过实时采集视频帧，通过人体动作特征点进行立体匹配，来获取关键部位的位置之间的关系，运行成本较低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为双目视觉原理图；

图2a为背景消除后的待提取左相机图像；

图2b为背景消除后的待提取右相机图像；

图3为箱式滤波器的示意图；

图4为3×3邻域的示意图；

图5为匹配像素点的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为双目视觉原理图，如图所示，P点为左相机和右相机采集区域内的一空间点，O_olu_lv_l为左图像坐标系，O_oru_rv_r为右图像坐标系，其中，左图像坐标系O_olu_lv_l位于左相机的成像面内，左相机成像平面坐标系o_lx_ly_l原点为左相机的成像面与其光轴的交点，右图像坐标系O_oru_rv_r位于右相机的成像面内，右相机成像平面坐标系o_rx_ry_r原点为右相机的成像面与其光轴的交点，O_olu_lv_l和O_oru_rv_r的u轴均为沿水平方向向右，v轴方向均为竖直向下。空间点P(x_w,y_w,z_w)在左右两相机的成像平面上的投影点分别是p_l和p_r。根据极线的定义：空间物点、空间物点在左相机中的成像点和空间物点在右相机中的成像点组成的平面分别与左相机的成像平面和右相机的成像平面相交的直线。由图1可知，左相机成像平面内的极线为l_pl，右相机成像平面内的极线为l_pr。图1中，O_clx_cly_clz_cl为左相机坐标系，其原点为左相机的光心，O_crx_cry_crz_cr为右相机坐标系，其原点为右相机的光心，O_clx_cly_clz_cl和O_crx_cry_crz_cr的x轴方向与图像坐标系中u轴的方向相同，y轴方向与图像坐标系中v轴的方向相同。

下面通过具体实施例说明本发明提供的基于双目视觉的人体姿态动作研究方法。

本发明提供的基于双目视觉的人体动作识别方法包括以下步骤：

S1：将同一型号的左相机和右相机固定于与地面平行的同一水平线上，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体；

其中，不仅应确保两部相机型号相同，而且应尽量将两部相机固定于同一水平高度；

S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；

其中，标定板为一平整的板面，背景为黑色，特征点为白色实心圆，特征点的个数为99个，也可按实际需求设定为其他个数，特征点的大小以人眼能辨识为准，不宜太小或太大；

S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标，以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点为右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心；

S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心，利用Leventberg-Marquardt算法求取相机单应矩阵H，以及两相机的内外参数和畸变系数，并将这些参数保存在一xml文件中；

上述S1～S6完成了对两部相机的双目标定。

S7：在左相机和右相机的图像采集范围内，被采集者做出“平移”的动作；

S8：使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像；

S9：分别对左相机图像和右相机图像进行滤波去噪处理和肤色增强处理，得到待检测左相机图像和待检测右相机图像；

在该步骤中，可以采用中值滤波方式进行滤噪处理，采用高通滤波进行肤色增强处理。

S10：采用高斯模型背景去除法分别去除待检测左相机图像和待检测右相机图像中的背景，得到待提取左相机图像和待提取右相机图像；

如图2a、图2b所示为分别背景消除后的待提取左相机图像和待提取右相机图像。

S11：采用Sobel算子分别计算待提取左相机图像和待提取右相机图像中每一个像素点的梯度值G，并将该梯度值G与一预设梯度阈值进行比较，并根据每一像素点的比较结果分别生成一左边缘幅度图像和一右边缘幅度图像，其中：

若G＞预设梯度阈值，则令左边缘幅度图像或右边缘幅度图像中相应的像素点的灰度值为255，

若G＜预设梯度阈值，则令左边缘幅度图像或右边缘幅度图像中相应的像素点的灰度值为0；

Sobel算子是一种梯度幅值，可以用下面的式(1)、式(2)来实现。通过水平模版和垂直模版与图像进行卷积，得到两个梯度矩阵G_x和G_y，那么图像中的每—个像素的梯度值G可用式(3)计算得到，

其中，I代表步骤S10处理后的图像。对于图像的每一个像素点，采用阈值的方式(即如果梯度G大于某一阀值，则认为该点(x,y)为边缘点)进行处理，这样生成一幅边缘幅度的图像。

S12：剔除左边缘幅度图像和右边缘幅度图像中对比度低于一设定阈值Th的点，得到一左边缘图像和一右边缘图像；

对经过上一步骤Sobel算法处理后的图像进行高斯滤波器滤波建立尺度空间，可以采用箱式滤波器来近似代替高斯核函数，使得卷积模板均由简单的矩形构成。积分图像的引入解决了矩形区域快速计算的问题，箱式滤波器的近似极大提升了计算速度。

箱式滤波器的示意图如图3所示，其中，第一组第一层滤波器尺寸为9，第二层为15，依次以等差6相加。下一组的第一层为前一组的第二层，共三组，每组两层。

下面求解局部极值点，图像局部极值点包含了图像的空间频率、幅值包络等信息，而图像的局部极值点能够用于挖掘和反映图像中包含的最高频率的信息，因此，通过局部极值点特性判断图像清晰度。

SURF算法在求解极值点时用的是快速Hessian矩阵检测，之所以说是快速，是因为SURF算法将原Hessian矩阵：

定义为：

其中，D_xx，D_xy等是是箱式滤波器的值。用滤波器近似高斯核函数和用比例因子纠正后，Hessian矩阵的行列式就可以表示为：

det(H_approx)＝D_xxD_xy-(ωD_xy)² (6)

在极值点的检测过程中，是通过3×3邻域内共9个点进行比较，通过非极大点抑制选取特征点。

如图4所示为3×3邻域的示意图，在3×3邻域内，只要满足下列条件之一，就称为结构局部极值点：

(1)X5>X2且X5>X8或X5<X2且X5<X8；

(2)X5>X4且X5>X6或X5<X4且X5<X6；

(3)X5>X3且X5>X7或X5<X3且X5<X7；

(4)X5>X1且X5>X9或X5<X1且X5<X9；

为了精确定位极值点，需要尺度空间进行插值。在精确定位的过程中，用到了泰勒展开式。滤波器函数D(x,y,σ)在局部极值点(x₀,y₀,σ)处的泰勒展开式如下所示

通过对上式求导,并令其为0，得出精确的极值位置X_m，如下所示：

要剔除对比度低的点，增强匹配的稳定性和抗噪声能力，计算出X_m坐标处的D_xx,D_yy,D_xy的值，从而得到det(H_opprox)的值。其中，设定阈值Th为(U₁+U₂)/2，对于左边缘幅度图像来说，U₁、U₂分别为左边缘幅度图像中最大的灰度值和最小的灰度值，对于右边缘幅度图像来说，U₁、U₂分别为右边缘幅度图像中最大的灰度值和最小的灰度值。若det(H_opprox)的值小于T，则直接不予计算，只有阈值大于T的才进行比较。

S13：设定一匹配阈值，采用surf算法对左边缘图像和右边缘图像中的像素点进行匹配，得到多对匹配像素点，如图5所示，每对匹配像素点分别包括一个位于左边缘图像中的左像素点和一个位于右边缘图像中的右像素点；

SURF算法的相似性度量公式为：

其中，discription_real是当前左相机图像描述子，discription_base是当前右相机图像描述子，dist是两幅图像的描述子的差得平方和。

利用公式(9)找出两个最匹配的点，分别记为：dist_f,dist_s，按照下式(10)进行计算：

thresh(可以视为一个阈值)的值取为0.9，如果上式成立，则认为两幅图像中的这两个点是匹配的。

S14：从步骤S6中得到的xml文件中读取出相机单应矩阵H以及两相机的内外参数和畸变系数，并采用张氏标定法计算出每对像素点所对应的实际空间点在三维空间坐标系中的坐标；

S15：利用S14步骤中得到的每对像素点所对应的实际空间点在三维空间坐标系中的坐标，对一HMM模型进行初始化及训练，得到对应“平移”动作的HMM模型λ₁，λ₁＝(A,π,μ,U,ω)；

A为初始状态转移概率矩阵，π为初始概率分布，μ为混合高斯概率密度函数的均值、U为协方差矩阵，ω为权值。

S16：在左相机和右相机的图像采集范围内，被采集者分别做出“下蹲”、“挥手”和“抬腿”的动作，并分别重复上述步骤S8～S15，其中于步骤S15中分别得到对应“下蹲”、“挥手”和“抬腿”动作的HMM模型，并分别用λ₂，λ₃，λ₄表示；

这一步骤需要用到前向后向算法和Baum-Welch算法，如果符合收敛条件，也就是前后两次的迭代误差小于e^-4时，迭代终止，即默认达到收敛，这样最终的结果模型就是重估后的模型λ。

S17：根据前述步骤中得到的对应“平移”、“下蹲”、“挥手”和“抬腿”动作的HMM模型，分别建立“平移”、“下蹲”、“挥手”和“抬腿”动作的估计函数P₁、P₂、P₃和P₄，其中：

P_n＝ln(p(O₁,O₂...O_T|λ_n))，n＝1，2，3，4，p(O₁,O₂,...,O_T|λ_n)为在HMM模型λ_n确定的条件下，产生观察序列O₁,O₂,...,O_T的后验概率；

S18：从t1时刻起至t2时刻止，被采集者在左相机和右相机的采集区域内做出“平移”、“下蹲”、“挥手”、“抬腿”中的任意动作，并使用左相机和右相机每隔一设定时间采集一幅图像，共采集T帧左相机图像和T帧右相机图像；

S19：根据步骤S18采集到的左相机图像和右相机图像，得到一组观察符号O，其中O＝{O₁,O₂L O_T}，O₁-O_T分别表示对应于T个采集时刻的动作姿态；

S20：将观察符号O分别输入到P₁、P₂、P₃和P₄中，分别计算得到被采集者对应“平移”、“下蹲”、“挥手”和“抬腿”动作的概率值P₁、P₂、P₃和P₄；

S21：判断P₁、P₂、P₃和P₄中的最大值，最大值对应的动作即为被采集者在t1时刻至t2时刻之间所做出的动作。

本发明还提供了一种实施上述基于双目视觉的人体动作识别方法的系统，其包括：双目标定模块、视频图像获取模块、视频图像预处理模块、目标检测模块、特征提取匹配模块、三维坐标获取模块和运动分析模块，其中：

双目标定模块用于对一左相机和一右相机进行双目标定；

视频图像获取模块的作用为：在左相机和右相机的图像采集范围内，当被采集者分别做出“平移”、“下蹲”、“挥手”和“抬腿”动作时，使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像，以及在t1时刻至t2时刻之间，被采集者在左相机和右相机的采集区域内做出任意动作，使用左相机和右相机分别采集T帧左相机图像和T帧右相机图像；

视频图像预处理模块用于对视频图像获取模块获取到的左相机图像和右相机图像进行预处理，以得到待检测左相机图像和待检测右相机图像；

目标检测模块用于从视频图像预处理模块预处理后的图像中去除背景，以得到包含运动的人体目标的待提取左相机图像和待提取右相机图像；

特征提取匹配模块用于从待提取左相机图像和待提取右相机图像中提取到多对匹配像素点，每对匹配像素点分别包括一个位于左边缘图像中的左像素点和一个位于右边缘图像中的右像素点；

三维坐标获取模块用于计算相匹配的像素点在世界坐标系中的坐标；

运动分析模块用于分析和识别被采集者在t1时刻至t2时刻之间做出的动作。

本发明提供的基于双目视觉的人体动作识别方法及系统利用双目视觉获取深度信息的原理，通过获取左右摄像头视频帧中人体相应人体部位的三维坐标点信息，能够较准确的判断人体三维立体信息。该技术不需要拍摄大量图像，能够通过实时采集视频帧，通过人体动作特征点进行立体匹配，来获取关键部位的位置之间的关系，运行成本较低。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.一种基于双目视觉的人体动作识别方法，其特征在于，包括以下步骤：

S1：将同一型号的左相机和右相机固定于与地面平行的同一水平线上，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体；

S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；

S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；

S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；

S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Leventberg-Marquardt算法求取相机单应矩阵H，以及两相机的内外参数和畸变系数，并将这些参数保存在一xml文件中；

S7：在所述左相机和所述右相机的图像采集范围内，被采集者做出“平移”的动作；

S8：使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；

S9：分别对所述左相机图像和所述右相机图像进行滤波去噪处理和肤色增强处理，得到待检测左相机图像和待检测右相机图像；

S10：采用高斯模型背景去除法分别去除所述待检测左相机图像和所述待检测右相机图像中的背景，得到待提取左相机图像和待提取右相机图像；

S11：采用Sobel算子分别计算所述待提取左相机图像和所述待提取右相机图像中每一个像素点的梯度值G，并将该梯度值G与一预设梯度阈值进行比较，并根据每一像素点的比较结果分别生成一左边缘幅度图像和一右边缘幅度图像，其中：

若G＞预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为255，

若G＜预设梯度阈值，则令所述左边缘幅度图像或所述右边缘幅度图像中相应的像素点的灰度值为0；

S12：剔除所述左边缘幅度图像和所述右边缘幅度图像中对比度低于一设定阈值Th的点，得到一左边缘图像和一右边缘图像；

S13：设定一匹配阈值，采用surf算法对所述左边缘图像和所述右边缘图像中的像素点进行匹配，得到多对匹配像素点，每对匹配像素点分别包括一个位于所述左边缘图像中的左像素点和一个位于所述右边缘图像中的右像素点；

S14：从步骤S6中得到的xml文件中读取出相机单应矩阵H以及两相机的内外参数和畸变系数，并采用张氏标定法计算出每对像素点所对应的实际空间点在三维空间坐标系中的坐标；

S15：利用S14步骤中得到的每对像素点所对应的实际空间点在三维空间坐标系中的坐标，对一HMM模型进行初始化及训练，得到对应“平移”动作的HMM模型λ₁，λ₁＝(A,π,μ,U,ω)，其中，A为初始状态转移概率矩阵，π为初始概率分布，μ为混合高斯概率密度函数的均值、U为协方差矩阵，ω为权值；

S16：在所述左相机和所述右相机的图像采集范围内，被采集者分别做出“下蹲”、“挥手”和“抬腿”的动作，并分别重复上述步骤S8～S15，其中于步骤S15中分别得到对应“下蹲”、“挥手”和“抬腿”动作的HMM模型，并分别用λ₂，λ₃，λ₄表示；

S17：根据前述步骤中得到的对应“平移”、“下蹲”、“挥手”和“抬腿”动作的HMM模型，分别建立“平移”、“下蹲”、“挥手”和“抬腿”动作的估计函数P₁、P₂、P₃和P₄，其中：

P_n＝ln(p(O₁,O₂...O_T|λ_n))，n＝1，2，3，4，其中，p(O₁,O₂,...,O_T|λ_n)为在HMM模型λ_n确定的条件下，产生观察序列O₁,O₂,...,O_T的后验概率；

S18：从t1时刻起至t2时刻止，被采集者在所述左相机和所述右相机的采集区域内做出“平移”、“下蹲”、“挥手”、“抬腿”中的任意动作，并使用所述左相机和所述右相机每隔一设定时间采集一幅图像，共采集T帧左相机图像和T帧右相机图像；

S19：根据步骤S18采集到的所述左相机图像和所述右相机图像，得到一组观察符号O，其中O＝{O₁,O₂L O_T}，O₁-O_T分别表示对应于T个采集时刻的动作姿态；

S20：将所述观察符号O分别输入到P₁、P₂、P₃和P₄中，分别计算得到被采集者对应“平移”、“下蹲”、“挥手”和“抬腿”动作的概率值P₁、P₂、P₃和P₄；

S21：判断P₁、P₂、P₃和P₄中的最大值，最大值对应的动作即为被采集者在t1时刻至t2时刻之间所做出的动作。

2.根据权利要求1所述的基于双目视觉的人体动作识别方法，其特征在于，在步骤S9中，采用中值滤波方式进行滤噪处理，采用高通滤波进行肤色增强处理。

3.根据权利要求1所述的基于双目视觉的人体动作识别方法，其特征在于，在步骤S12中，所述设定阈值Th为(U₁+U₂)/2，其中，对于所述左边缘幅度图像来说，U₁、U₂分别为所述左边缘幅度图像中最大的灰度值和最小的灰度值，对于所述右边缘幅度图像来说，U₁、U₂分别为所述右边缘幅度图像中最大的灰度值和最小的灰度值。

4.根据权利要求1所述的基于双目视觉的人体动作识别方法，其特征在于，在步骤S13中，所述匹配阈值为0.9。

5.一种实施权利要求1所述的基于双目视觉的人体动作识别方法的系统，其特征在于，包括：双目标定模块、视频图像获取模块、视频图像预处理模块、目标检测模块、特征提取匹配模块、三维坐标获取模块和运动分析模块，其中：

所述双目标定模块用于对一左相机和一右相机进行双目标定；

所述视频图像获取模块的作用为：在所述左相机和所述右相机的图像采集范围内，当被采集者分别做出“平移”、“下蹲”、“挥手”和“抬腿”动作时，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像，以及在t1时刻至t2时刻之间，被采集者在所述左相机和所述右相机的采集区域内做出任意动作，使用所述左相机和所述右相机分别采集T帧左相机图像和T帧右相机图像；

所述视频图像预处理模块用于对所述视频图像获取模块获取到的左相机图像和所述右相机图像进行预处理，以得到待检测左相机图像和待检测右相机图像；

所述目标检测模块用于从所述视频图像预处理模块预处理后的图像中去除背景，以得到包含运动的人体目标的待提取左相机图像和待提取右相机图像；

所述特征提取匹配模块用于从所述待提取左相机图像和所述待提取右相机图像中提取到多对匹配像素点，每对匹配像素点分别包括一个位于所述左边缘图像中的左像素点和一个位于所述右边缘图像中的右像素点；

所述三维坐标获取模块用于计算相匹配的像素点在世界坐标系中的坐标；

所述运动分析模块用于分析和识别被采集者在t1时刻至t2时刻之间做出的动作。