CN104834913A - 基于深度图像的旗语识别方法及装置 - Google Patents

Abstract

本发明公开一种基于深度图像的旗语识别方法及装置，方法包括：(10)根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；(40)通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。装置包括人体骨架特征提取单元、人体动作描述单元、手臂姿态模式定义单元和旗语识别单元。本发明方法及装置，受环境因素影响小，实时性好，识别率高。

Description

基于深度图像的旗语识别方法及装置

技术领域

本发明属于旗语识别技术领域，特别是一种受环境因素影响小，实时性好，识别率高的基于深度图像的旗语识别方法及装置。

背景技术

旗语作为一种特殊信息传递方式，在军事领域被广泛应用，例如门桥漕渡、飞机牵引及航母飞机起降等操作过程中都需要旗语(或手势动作)进行指挥引导。目前，模拟训练在军事训练中的作用与地位越来越重要，模拟训练相关技术的研究也越来越受到关注。对于与旗语指挥相关的军事模拟训练科目，需要通过计算机对旗语进行识别，从而使系统获得旗语动作的指令含义，完成受训人员与模拟训练系统的交互。旗语识别技术是通过计算机理解手势动作，进而识别出旗语信号的语义。如何实现快速、准确的识别成为这一应用中的关键问题。

现有的旗语识别方法主要有以下两种：1)接触式手势识别技术，如数据手套；2)非接触式手势识别技术，主要采用计算机视觉实现手势识别，如单目视觉传感器，双目立体视觉传感器等。在基于视觉的手势识别技术中，主要有采用纹理、网格等构建的3D模型以及基于各种表观特征模型。但由于这些方法受环境因素的影响，并且缺乏动作本身的深度信息，难以对旗语运动特征进行有效提取。

总之，现有技术存在的问题是：旗语识别受环境因素影响大，实时性差，准确率低。

发明内容

本发明的目的在于提供一种基于深度图像的旗语识别方法，受环境因素影响小，实时性好，识别率高。

本发明的另一目的在于提供一种基于深度图像的旗语识别装置。

实现本发明目的的技术解决方案为：一种基于深度图像的旗语识别方法，包括如下步骤：

(10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；

(20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；

(30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；

(40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。

本发明与现有技术相比，其显著优点：

1、受环境因素影响小：本发明基于结构光获取的深度图像，避免了单纯依靠可见光图像分析技术中对环境干扰的敏感性，保证了系统在正常自然环境中工作的可靠性；

2、实时性好：本发明采用基于空间位置关系的旗语识别技术，算法计算量小，保证了系统工作的实时性；

3、识别率高：在使用测试中，对于旗语动作的平均识别率达到95.41％，完全可以满足使用要求；

4、使用方便：本发明提供了一种自然人机交互方式，使用者不需要佩戴任何辅助设备就可以完成对其作出旗语动作的识别；

5、使用成本低：本发明的硬件成本低，不存在易损件，使用过程也没有对设备的损耗。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明基于深度图像的旗语识别方法流程图。

图2为手臂位置坐标参数原理图。

图3为旗语信号判别窗口原理图。

图4为普通灰度图像原理图。

图5为深度图像原理图。

图6为结构光获取原理示意图。

具体实施方式

如图1所示，本发明基于深度图像的旗语识别方法，包括如下步骤：

(10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线。

所述(10)人体骨架特征提取步骤包括：

(11)图像分割：在深度图中，使用直接阈值分割的方法对人体区域与背景进行分割；

(12)骨架提取：通过腐蚀运算和开运算，逐步将图像边界向内缩小，最终形成骨架效果，如下式，

${\mathrm{thin}}_1=X\⊗\left\{B_1\right\}---\left(1\right),$

${\mathrm{thin}}_k\⊗\left\{B_{k+1}\right\}\≠\mathrm{\Φ}---\left(2\right),$

${\mathrm{thin}}_{k+1}={\mathrm{thin}}_k\⊗\left\{B_{k+1}\right\}---\left(3\right),$

式中，X为人体分割区域图，B为腐蚀运算的结构算子；k代表A细化的次数，thin_k表示第k次细化的结果。

(20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述。

根据旗语动作对人体行为描述的精度要求，设骨架模型由8个骨骼节点来表示身体部位。由于不同身体部位之间的比例固定，参考“美国宇航局人体测量参考手册”中身体部位间的比例关系，完成对人体骨骼节点的定位。

所述(20)人体动作描述步骤包括：

(21)头颈部节点确定：根据人体骨架线，确定骨架线顶点为人体头部节点、两肩部连线与头部连线交叉点为颈部节点；

(22)肩部节点确定：根据肩部节点以颈部节点为中点，肩部的长度为颈部长度的3/2，确定左、右肩节点；

(23)肘部节点确定：根据上臂长度为肩宽的2/3，确定肘部节点；

(24)手部节点确定：根据小臂长度为肩宽的5/9，确定手部节点。

(30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式。

所述(30)手臂姿态模式定义步骤中，小臂长度l_f表示为：

$l_f=\sqrt{{(x_h-x_e)}^2+{(y_h-y_e)}^2+{(z_h-z_e)}^2}---\left(4\right),$

大臂长度l_U表示为：

$l_u=\sqrt{{(x_e-x_s)}^2+{(y_e-y_s)}^2+{(z_e-z_s)}^2}---\left(5\right),$

式中，(x_h，y_h)为手部节点坐标，(x_e，y_e)为肘部节点坐标，(x_h，y_h)为肩部节点坐标。

手臂的三个分量组成了完整的手臂模式空间，手臂模式的确定采用角度坐标系表示法，手臂位置坐标参数原理如图2所示。

(40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。

所述(40)旗语识别步骤具体为：由一个或两个窗口形成判别区域，将手臂姿态模式与旗语库中的预定义动作模式的匹配，以与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语，其中，

肘部坐标点的窗口如下式，

$\left\{\begin{array}{c}|x_e-(x_s+l_u\cos {{\mathrm{\θ}}_u}^k)|\≤\frac{{\mathrm{\α}}_e}{2}\\ |y_e-(x_s+l_u\sin {{\mathrm{\θ}}_u}^k)|\≤\frac{{\mathrm{\β}}_e}{2}\end{array}\right.---\left(6\right),$

手部坐标点的窗口如下式：

$\left\{\begin{array}{c}|x_h-(x_e+l_f\cos {{\mathrm{\θ}}_f}^k)|\≤\frac{{\mathrm{\α}}_h}{2}\\ |y_h-(x_e+l_f\sin {{\mathrm{\θ}}_f}^k)|\≤\frac{{\mathrm{\β}}_h}{2}\end{array}\right.---\left(7\right)$

其中，α是常量，β为规定信号格式的试验边界值，θ_u ^k和θ_f ^k的角度表示为肩部角度和肘部角度，每一个旗语动作信号模式由一对(θ_u ^k，θ_f ^k)定义，当肘部坐标的检测图形(x_e，y_e)和手部坐标(x_h，y_h)满足等式(4)和(5)，那么动作就可以用第k种信号模式来识别。

旗语信号判别窗口原理如图3所示。

本发明基于深度图像的旗语识别装置，包括：

人体骨架特征提取单元(100)，用于根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；

人体动作描述单元(200)，用于基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；

手臂姿态模式定义单元(300)，用于根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；

旗语识别单元(400)，用于通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。

本发明的原理在于：

普通图像是三维世界在像平面的投影，其中丢失了深度信息，无法描述真实的三维世界，如图4所示。深度图像是对这一丢失信息的弥补。深度图像也被称为距离图像，深度图像是通过灰度图像来描述一个场景，这些灰度值代表了传感器平面与测试目标的距离，如图5所示。深度图像一般是由深度传感器通过接收处理生成的，深度图像不受到环境光线的影响，因此可以更准确地体现(描述)目标表面的深度信息。

深度图像中的灰度值反映的是物体表面到采集窗口的距离，因此在光照条件不稳定的情况下，深度图像不受颜色、光照等环境因素影响，大大提高了对特定对象的描述质量；同时，深度图像的灰度值与普通图像中X，Y坐标能够构成三维坐标系，还原真实场景中的三维信息，实现在3D空间行为模式的描述与识别，并在一定程度上解决重叠遮挡等问题。

深度图像获取技术可以分为主动式和被动式，主动测距传感是指视觉传感器主动向物体目标场景发射能量束，如激光、声纳等，如加州理工学院JPL实验室研制出的高精度的激光测距系统；被动测距传感是指视觉传感器被动接受来自物体目标场景的光线，通过形成图像灰度来重构出深度信息。

深度图像获取方法中，结构光具有精度高，视场广泛，测量距离远，易于提取，提取速度快及主动受控等优点。结构光被广泛应用的同时也在不断改进，其中光编码技术就是一种最新的结构光技术，传统结构光方法中光源打发出的是一幅二维的图像编码，而光编码技中光源发射的是一个具有三维纵深的体编码。

结构光是利用激光发射装置发射激光，经过非球面的柱面镜将光源平面照射在目标物体上，从而在目标物体表面产生光条，通过接受摄像机(CCD)获得数字图像上的光条信息，从而计算出物体在光切面的二维轮廓信息，之后沿着第三维的直线方向，进行步进测量，即可获取目标物体的深度图像。结构光不存在匹配问题，但无法实现测试装置与被测目标之间的相对旋转。如图6所示结构光获取原理示意图。

Claims (6)

1.一种基于深度图像的旗语识别方法，其特征在于，包括如下步骤：

(10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；

(20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；

(30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；

(40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。

2.根据权利要求1所述的旗语识别方法，其特征在于，所述(10)人体骨架特征提取步骤包括：

(11)图像分割：在深度图中，使用直接阈值分割的方法对人体区域与背景进行分割；

(12)骨架提取：通过腐蚀运算和开运算，逐步将图像边界向内缩小，最终形成骨架效果，如下式，

${\mathrm{thin}}_1=X\⊗\left\{B_1\right\}---\left(1\right),$

${\mathrm{thin}}_k\⊗\left\{B_{k+1}\right\}\≠\mathrm{\Φ}---\left(2\right),$

${\mathrm{thin}}_{k+1}={\mathrm{thin}}_k\⊗\left\{B_{k+1}\right\}---\left(3\right),$

式中，X为人体分割区域图，B为腐蚀运算的结构算子；k代表A细化的次数，thin_k表示第k次细化的结果。

3.根据权利要求1所述的旗语识别方法，其特征在于，所述(20)人体动作描述步骤包括：

(21)头颈部节点确定：根据人体骨架线，确定骨架线顶点为人体头部节点、两肩部连线与头部连线交叉点为颈部节点；

(22)肩部节点确定：根据肩部节点以颈部节点为中点，肩部的长度为颈部长度的3/2，确定左、右肩节点；

(23)肘部节点确定：根据上臂长度为肩宽的2/3，确定肘部节点；

(24)手部节点确定：根据小臂长度为肩宽的5/9，确定手部节点。

4.根据权利要求1所述的旗语识别方法，其特征在于，所述(30)手臂姿态模式定义步骤中，小臂长度l_f表示为：

$l_f=\sqrt{{(x_h-x_e)}^2+{(y_h-y_e)}^2+{(z_h-z_e)}^2}---\left(4\right),$

大臂长度l_U表示为：

$l_u=\sqrt{{(x_e-x_s)}^2+{(y_e-y_s)}^2+{(z_e-z_s)}^2}---\left(5\right),$

式中，(x_h，y_h)为手部节点坐标，(x_e，y_e)为肘部节点坐标，(x_h，y_h)为肩部节点坐标。

5.根据权利要求1所述的旗语识别方法，其特征在于，所述(40)旗语识别步骤具体为：由一个或两个窗口形成判别区域，将手臂姿态模式与旗语库中的预定义动作模式的匹配，以与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语，其中，

肘部坐标点的窗口如下式，

$\left\{\begin{array}{c}|x_e-(x_s+l_u\cos {{\mathrm{\θ}}_u}^k)|\≤\frac{{\mathrm{\α}}_e}{2}\\ |y_e-\left(x_s+l_u\sin {{\mathrm{\θ}}_u}^k\right)|\≤\frac{{\mathrm{\β}}_e}{2}\end{array}\right.---\left(6\right),$

手部坐标点的窗口如下式：

$\left\{\begin{array}{c}|x_h-(x_e+l_f\cos {{\mathrm{\θ}}_f}^k)|\≤\frac{{\mathrm{\α}}_h}{2}\\ |y_h-\left(x_e+l_f\sin {{\mathrm{\θ}}_f}^k\right)|\≤\frac{{\mathrm{\β}}_h}{2}\end{array}\right.---\left(7\right),$

其中，α是常量，β为规定信号格式的试验边界值，θ_u ^k为肩部角度，θ_f ^k为肘部角度，(θ_u ^k，θ_f ^k)为旗语动作信号模式，k为信号模式种类。

6.一种基于深度图像的旗语识别装置，其特征在于，包括：

人体骨架特征提取单元(100)，用于根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；

人体动作描述单元(200)，用于基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；

手臂姿态模式定义单元(300)，用于根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；

旗语识别单元(400)，用于通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。