CN104133813B - 一种基于Kinect的海军旗语训练方法 - Google Patents

Abstract

本发明公开了一种基于Kinect的海军旗语训练方法，通过Kinect传感器采集人体上肢的动作数据，提取动作特征值，与旗语标准姿势库的动作进行比对，完成动作识别。该方法包括旗语动作的学习和旗语动作的测试两种模式。在学习模式中，用户运用手势、语音等体感方式控制旗语动作的提示图像，按顺序或随机训练方式完成动作训练，对不规范的动作通过文字和语音提示进行纠正。测试模式中，用户运用手势控制选择不同的难度等级，根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect捕捉用户动作，自动与标准动作进行匹配，翻译动作含义，显示识别结果，给出得分评价，方便用户直观比较，寻找差距。

Description

一种基于Kinect的海军旗语训练方法

技术领域

本发明涉及一种基于Kinect的海军旗语训练方法。

背景技术

海军旗语是一种利用旗帜传递信号的通信方式。按旗语通信的形式可将其分为旗号通信和手旗通信。手旗通信通过旗子相对于身体的不同位置，表达不同的字母和符号。手旗通信方式要求旗手双手各执一面方旗，双臂伸展，手臂与信号旗呈一条直线，以便尽量扩大手旗挥动的范围，准确传达通信信息。旗语动作通常表示字母、数字或其他符号，通过编码规范的转译便可实现不同复杂讯息的传送。在通信过程中，信号兵需面向正前方，使对方信号兵清楚的看到自己的动作指向。随着现代信息技术的发展，军事通信中的各种现代信息技术不断涌现并已逐渐替代传统通信技术。然而,为应对电子干扰战术的隐患，旗语通信仍作为重要的辅助通信手段。传统的旗语训练方式主要是教练教授动作及视频教学，训练过程枯燥乏味，受训者缺乏参与的积极性，对动作的准确性把握不够，训练效果不佳。因此，有必要提供一种海军旗语训练的新方法,使信号兵的训练更加人性化、有效化。

发明内容

本发明提出了一种基于Kinect的旗语训练方法，可以实现旗语动作的自主学习训练，能实时采集用户的运动数据并与标准动作进行比对，为用户提供实时的视、听觉反馈，指导用户改进动作。

本发明通过以下的技术方案实现的：

一种基于Kinect的旗语训练方法，该方法包括旗语动作的学习和旗语动作的测试两种模式，旗语动作的学习模式包括顺序学习方式和随机学习方式，用户在训练开始时可通过鼠标、手势控制或语音输入选择任一学习方式，顺序学习方式按照旗语动作图解中的字符顺序依次进行旗语动作的训练；随机学习方式按照随机生成的字符训练与之对应的动作，学习模式下实时侦测用户动作，将标准姿势库中与屏幕提示字符内容相对应的标准动作模板与用户动作进行比对，若符合标准姿势库的动作规范并保持3秒时间则以得分形式提示动作完成，进入下一旗语动作的训练，否则根据动作差异指出用户动作存在的错误，并以文字和语音提示的形式为用户提供动作要领的指导，直至用户完成当前动作方可进入下一动作的学习；旗语动作的测试模式主要是旗语通信的文本翻译，用户首先以手势控制方式选择测试的难度等级，根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect侦测并识别用户动作后,根据识别到的旗语动作与其表示的字符间的关系,实时翻译用户旗语动作的含义，显示识别结果，并根据用户是否在规定的时间内完成相应旗语动作，作出得分评价，用户可通过屏幕显示的翻译内容与通信内容的差异直观比较，寻找差距。

本发明的进一步改进在于：旗语动作的学习和旗语动作的测试两种模式均通过Kinect采集到的用户动作特征值与标准姿势库的动作特征值进行比对完成动作识别：

1）采集上肢骨骼数据，建立动态标准姿势库：

用户距离Kinect传感器1.5m-2m处，面对Kinect传感器，伸展双臂，保持水平伸直，Kinect自动采集上肢肩、肘和腕关节点的三维坐标，左上肢肩关节的三维坐标分别用X_LS、Y_LS、Z_LS 表示，左上肢肘关节的三维坐标分别用X_LE、Y_LE、Z_LE 表示，左上肢腕关节的三维坐标分别用X_LW、Y_LW、Z_LW 表示，右上肢肩关节的三维坐标分别用X_RS、Y_RS、Z_RS 表示，右上肢肘关节的三维坐标分别用X_RE、Y_RE、Z_RE 表示，右上肢腕关节的三维坐标分别用X_RW、Y_RW、Z_RW 表示，通过以下计算为每一位训练者建立旗语标准动作姿势库。

右臂手腕节点到右肘节点的距离：

右臂肩节点到右肘节点的距离：

右手臂长度：

左臂手腕节点到左肘节点的距离：

左臂肩节点到左肘节点的距离：

左手臂长度：

选定手腕节点相对于肩节点的坐标数据为每一个标准旗语动作的特征值，建立标准姿势库；记左臂手腕节点LW的特征值为[LeftWrist_X，LeftWrist_Y，LeftWrist_Z]，右臂手腕节点RW的特征值为[RightWrist_X，RightWrist_Y，RightWrist_Z]，分别以肩关节为原点建立坐标系，用α_r、β_r、γ_r分别表示右肩坐标系中右肩节点指向右腕节点的有向线段与x、y、z轴正向的夹角；用α_l、β_l、γ_l分别表示左肩坐标系中左肩节点指向左腕节点的有向线段与x、y、z轴正向的夹角，由解析几何的知识可知，从原点出发的任一单位有向线段的方向余弦即是其端点坐标，则手腕特征值可表示如下：

α_r、β_r、γ_r、α_l、β_l、γ_l角度的取值取决于旗语动作左、右臂的姿势；

2）判断手臂伸直程度，提取动作特征值，与标准姿势库的特征值进行比对，识别用户当前动作，方法如下：

① 判断手臂伸直程度

旗语通信中，为尽量扩大手旗挥动的范围，准确传达通信信息，要求双臂伸展，手臂与信号旗呈一条直线，判断方法：以肩关节为中心，取出关节坐标数据，利用两个关节点之间的距离和余弦定理，计算手臂肩、肘及腕三个关节点（Point S、Point E 、Point W）的夹角，判断手臂弯曲程度ArmAngle是否在期望角度ArmAngle的误差范围δ内，此条件可表示为：

条件1：Condition1 = { Point S，Point E ，Point W，ArmAngle，δ}

根据各关节点间的距离及余弦定理可以计算出其夹角为：

其中，d₁,d₂,d₃分别是手臂腕关节点与肘关节点、肘关节点与肩关节点、腕关节点与肩关节点之间的距离。

判定条件为 为角度阈值；

② 在满足条件1的基础上，判断用户双臂关节活动范围是否处于允许的深度阈值范围ε内，此条件可表示为

条件2 ： Condition2 = {JointType，CurrentShoulder_Z，CurrentWrist_Z，ε}

其中，JointType表示关节类型，CurrentShoulder_Z表示肩关节的Z坐标值，CurrentWrist_Z表示腕关节的Z坐标值。

③ 提取用户当前动作特征值，通过将实时获取的手腕节点坐标和标准动作的手腕节点坐标作对比，判断动作是否正确；

实时获得的手腕节点坐标为（CurrentLeftWrist_X, CurrentLeftWrist_Y,CurrentLeftWrist_Z）和( CurrentRightWrist_X, CurrentRightWrist_Y,CurrentRightWrist_Z)，若满足：

则判断该动作正确，为动作误差，取；

④动态旗语的动作识别

旗语动作中代表“错误”的动作是动态连续动作，在识别过程中的判别方式有别于静态姿态，除了需按前述三个判别步骤外，还需判别运动过程中两手臂是否保持同步，运动过程中检测每一帧的左、右手手腕节点特征值，判定条件为：

若每一帧的检测都满足此条件，则判定为两手臂保持同步；

识别过程中记录用户上下挥动手臂的次数，当达到四次的时候根据上述判别条件的判别结果来判断动作是否正确，并在用户手臂再次处于上极限位置时开始新一轮的动作识别。

本发明的进一步改进在于：训练方法的学习和测试模式提供了手势控制和语音识别两种体感人机交互方式，Kinect捕获用户的语音输入信息，正确识别后触发相应程序，实现旗语学习方式的选择、训练动作的选择、训练界面切换及其它人机交互操作，为提高单个字符的语音识别效率，使得语音控制更加准确可靠，本发明以无线电通信中的标准字母解释法为依据，取各个字母对应的英文词汇作为选取旗语动作进行学习和测试的语音命令。

本发明与现有技术相比具有如下优点：

(1)、本发明利用Kinect体感技术，可以实现旗语动作的自主学习训练，与传统的教练教授以及视频教学等方式相比，本发明提供的方法能实时采集用户的运动数据并与标准动作进行比对，为用户提供实时的视、听觉反馈，指导用户改进动作。

(2)、本训练方法采用了语音和手势控制等更加便捷、自然的人机交互方式，增强了用户的体验感，训练更有趣，效果更好。

附图说明：

图1为骨骼数据采集图；

图2为右手腕特征值计算示意图；

图3为左手腕特征值计算示意图；

图4为本发明的流程图；

图5 学习训练模式示意图；

图6 测试训练模式示意图。

具体实施方式：

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

一种基于Kinect的旗语训练方法，其特征在于：该方法包括旗语动作的学习和旗语动作的测试两种模式，旗语动作的学习模式包括顺序学习方式和随机学习方式，用户在训练开始时可通过鼠标、手势控制或语音输入选择任一学习方式，顺序学习方式按照旗语动作图解中的字符顺序依次进行旗语动作的训练；随机学习方式按照随机生成的字符训练与之对应的动作，学习模式下实时侦测用户动作，将标准姿势库中与屏幕提示字符内容相对应的标准动作模板与用户动作进行比对，若符合标准姿势库的动作规范并保持3秒时间则以得分形式提示动作完成，进入下一旗语动作的训练，否则根据动作差异指出用户动作存在的错误，并以文字和语音提示的形式为用户提供动作要领的指导，直至用户完成当前动作方可进入下一动作的学习；旗语动作的测试模式主要是旗语通信的文本翻译，用户首先以手势控制方式选择测试的难度等级，根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect侦测并识别用户动作后,根据识别到的旗语动作与其表示的字符间的关系,实时翻译用户旗语动作的含义，显示识别结果，并根据用户是否在规定的时间内完成相应旗语动作，作出得分评价，用户可通过屏幕显示的翻译内容与通信内容的差异直观比较，寻找差距。

旗语动作的学习和旗语动作的测试两种模式均通过Kinect采集到的用户当前动作特征值与标准姿势库的动作特征值进行比对完成动作识别。

1）采集上肢骨骼数据，建立动态标准姿势库

用户距离Kinect传感器1.5m-2m处，面对Kinect传感器，伸展双臂，保持水平伸直，Kinect自动采集上肢肩、肘和腕关节点的三维坐标，左上肢肩关节的三维坐标分别用X_LS、Y_LS、Z_LS 表示，左上肢肘关节的三维坐标分别用X_LE、Y_LE、Z_LE 表示，左上肢腕关节的三维坐标分别用X_LW、Y_LW、Z_LW 表示，右上肢肩关节的三维坐标分别用X_RS、Y_RS、Z_RS 表示，右上肢肘关节的三维坐标分别用X_RE、Y_RE、Z_RE 表示，右上肢腕关节的三维坐标分别用X_RW、Y_RW、Z_RW 表示，通过以下计算为每一位训练者建立旗语标准动作姿势库。如图1所示。

右臂手腕节点到右肘节点的距离：

右臂肩节点到右肘节点的距离：

右手臂长度：

左臂手腕节点到左肘节点的距离：

左臂肩节点到左肘节点的距离：

左手臂长度：

选定手腕节点相对于肩节点的坐标数据为每一个标准旗语动作的特征值，建立标准姿势库。记左臂手腕节点LW的特征值为[LeftWrist_X，LeftWrist_Y，LeftWrist_Z]，右臂手腕节点RW的特征值为[RightWrist_X，RightWrist_Y，RightWrist_Z]。分别以肩关节为原点建立坐标系，用α_r、β_r、γ_r分别表示右肩坐标系中右肩节点指向右腕节点的有向线段与x、y、z轴正向的夹角；用α_l、β_l、γ_l分别表示左肩坐标系中左肩节点指向左腕节点的有向线段与x、y、z轴正向的夹角。由解析几何的知识可知从原点出发的任一单位有向线段的方向余弦即是其端点坐标。则手腕特征值可表示如下：

如图2、图3所示。

α_r、β_r、γ_r、α_l、β_l、γ_l角度的取值取决于旗语动作左、右臂的姿势，如“取消”动作，α_r=45°、β_r=135°、γr=90° 、α_l =135°、β_l=145°、γ_l=90°。字母“P”动作，α_r=90°、β_r=0°、γr=90° 、α_l =180°、β_l=90°、γ_l=90°。

2）判断手臂伸直程度，提取动作特征值，与标准姿势库的特征值进行比对，识别用户当前动作。方法如下：

① 判断手臂伸直程度

旗语通信中，为尽量扩大手旗挥动的范围，准确传达通信信息，要求双臂伸展，手臂与信号旗呈一条直线，判断方法：以肩关节为中心，取出关节坐标数据，利用两个关节点之间的距离和余弦定理，计算手臂肩、肘及腕三个关节点（Point S、Point E 、Point W）的夹角，判断手臂弯曲程度ArmAngle是否在期望角度ArmAngle的误差范围δ内，此条件可表示为

条件1：Condition1 = { Point S，Point E ，Point W，ArmAngle，δ}

如图1所示，以左臂为例，各关节点的距离如下：

根据左臂关节点间的距离及余弦定理可以计算出其夹角为：

则判定条件为 为角度阈值；

② 在满足条件1的基础上，判断用户双臂关节活动范围是否处于允许的深度阈值范围ε内，此条件可表示为

条件2 ： Condition2 = {JointType，CurrentShoulder_Z，CurrentWrist_Z，ε}

其中，JointType表示关节类型，CurrentShoulder_Z表示肩关节的Z坐标值，CurrentWrist_Z表示腕关节的Z坐标值。

以左臂为例，当满足，认定左臂运动范围符合要求。

③ 提取用户当前动作特征值，通过将实时获取的手腕节点坐标和标准动作的手腕节点坐标作对比，判断动作是否正确。

实时获得的手腕节点坐标为（CurrentLeftWrist_X, CurrentLeftWrist_Y,CurrentLeftWrist_Z）和( CurrentRightWrist_X, CurrentRightWrist_Y,CurrentRightWrist_Z)，若满足：

则判断该动作正确。（为动作误差，取）。

④动态旗语的动作识别

旗语动作中代表“错误”的动作是动态连续动作，在识别过程中的判别方式有别于静态姿态。除了需按前述判别步骤外，还需判别运动过程中两手臂是否保持同步。运动过程中检测每一帧的左、右手手腕节点特征值，判定条件为：

若每一帧的检测都满足此条件，则判定为两手臂保持同步。

识别过程中记录用户上下挥动手臂的次数，当达到四次的时候根据上述判别条件的判别结果来判断动作是否正确，并在用户手臂再次处于上极限位置时开始新一轮的动作识别。

训练方法的学习和测试模式提供了手势控制和语音识别两种体感人机交互方式，Kinect捕获用户的语音输入信息，正确识别后触发相应程序，实现旗语学习方式和测试方式的选择、进行训练动作的选择及人机交互操作，为提高单个字符的语音识别效率，使得语音控制更加准确可靠，本发明以无线电通信中的标准字母解释法为依据，取各个字母对应的英文词汇作为选取旗语动作进行学习和测试的语音命令。如在学习方式下输入语音命令apple表示学习字母“A”所对应的旗语动作，语音命令“seven”表示学习数字“7”所对应的旗语动作。语音命令及其解释如表1所示。

表1 语音命令及其解释

基于Kinect的海军旗语训练方法，其训练流程如图4所示。

用户注册并登录后，进入身体数据采集界面，用户距离Kinect传感器1.5m-2m处，面对Kinect传感器，伸展双臂，保持水平伸直，Kinect捕捉并记录上肢的骨架信息，通过前述方法计算针对该训练者的手腕节点特征值，建立标准动作姿势库。用户动作准确，数据采集成功，则进入训练模式选择界面，否则提示动作要领。训练时，每一位训练者都必须首先通过此界面采集上肢数据，建立标准姿势库，标准姿势库随不同用户或同一用户距离Kinect的不同距离动态更新。用户以语音或手势控制的方式选择训练模式，顺序训练方式是按旗语动作示意图从左到右，从上到下的顺序进行训练，而随机训练则是采用随机数生成法来确定下一个训练动作的选择，并且要控制产生的随机数不能是当前动作本身。两种训练方式可以让用户更快地熟悉旗语动作。

如图5所示，进入学习模式下的训练主界面，当用户位于Kinect传感器正前方时，Kinect捕捉到的用户骨架信息及彩色图像显示于屏幕左侧。当进行动作学习时，用户需要调整自身体位，使躯干部位的节点处于左上角骨架信息矩形框内，从而可以开始学习任务。屏幕的中间为旗语动作镜像演示区，右侧为动作要领提示区、错误动作纠正区域和训练模式选择区域。当用户进行某个旗语动作的训练时， Kinect实时捕捉用户上肢骨骼坐标数据，提取当前动作特征值，与标准姿势库的特征值进行比对，按前述判别方法识别用户当前动作。若当前动作为静态动作，用户须保持该动作持续三秒钟，若当前动作为动态动作，即“错误”旗语动作，则在用户上下挥动手臂四次以后进行识别，若符合前述判定条件，在允许阈值范围内，则判定动作正确。反之，若动作错误，则以相应的文字和语音提示，帮助用户调整动作姿势，进行下一次的判断，直到动作正确为止，方可进入下一个动作的训练。

如图6所示，进入测试模式下的训练界面，屏幕左半部分实时显示用户的彩色图像和骨架信息，用户首先以手势或语音控制方式选择测试的难度等级，不同的难度等级，屏幕随机显示的通信内容字符长度不同，如简单级别的，显示单字母或数字，困难级别的，显示4-5个字母或数字，用户根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect侦测并识别用户动作后,根据识别到的旗语动作与其表示的字符间的关系,实时翻译用户旗语动作的含义，显示识别结果。若识别结果与通信内容匹配，即动作正确，且在规定的时间内完成相应旗语动作，在屏幕右下角给出得分。若识别结果与通信内容不匹配，则用不同的颜色标识错误的动作识别结果，用户可通过屏幕显示的翻译内容与通信内容的差异直观比较，寻找差距。

旗语包括字母和数字，在没有调整的情况下默认识别的是字母，用户也可以通过“数字记号”和“J/字母记号”这两个旗语动作进行字母和数字之间的切换，完成字母和数字的输入。如果动作识别错误或者用户的动作错误，则可通过“取消”旗语动作删除上一动作所翻译的字符，而如果一系列动作所表达的意思是错误的，则可通过“错误”旗语动作来删除之前翻译的全部识别结果。

Claims (2)

1.一种基于Kinect的海军旗语训练方法，其特征在于：该方法包括旗语动作的学习和旗语动作的测试两种模式，旗语动作的学习模式包括顺序学习方式和随机学习方式，用户在训练开始时可通过鼠标、手势控制或语音输入选择任一学习方式，顺序学习方式按照旗语动作图解中的字符顺序依次进行旗语动作的训练；随机学习方式按照随机生成的字符训练与之对应的动作，学习模式下Kinect实时侦测用户动作，将标准姿势库中与屏幕提示字符内容相对应的标准动作模板与用户动作进行比对，若符合标准姿势库的动作规范并保持3秒时间则以得分形式提示动作完成，进入下一旗语动作的训练，否则根据动作差异指出用户动作存在的错误，并以文字和语音提示的形式为用户提供动作要领的指导，直至用户完成当前动作方可进入下一动作的学习；旗语动作的测试模式主要是旗语通信的文本翻译，用户首先以手势控制方式选择测试的难度等级，根据屏幕随机显示的通信内容，完成单一的或连续的旗语动作，Kinect侦测并识别用户动作后,根据识别到的旗语动作与其表示的字符间的关系,实时翻译用户旗语动作的含义，显示识别结果，并根据用户是否在规定的时间内完成相应旗语动作，作出得分评价，用户可通过屏幕显示的翻译内容与通信内容的差异直观比较，寻找差距。

2.根据权利要求1所述一种基于Kinect的海军旗语训练方法，其特征在于：旗语动作的学习和旗语动作的测试两种模式均通过Kinect采集到的用户动作特征值与标准姿势库的动作特征值进行比对完成动作识别；

1）采集上肢骨骼数据，建立动态标准姿势库

用户距离Kinect传感器1.5m-2m处，面对Kinect传感器，伸展双臂，保持水平伸直，Kinect自动采集上肢肩、肘和腕关节点LS、 LE、LW及RS、RE、RW 的三维坐标，计算并存储手臂长度数据；

右臂手腕节点到右肘节点的距离：

右臂肩节点到右肘节点的距离：

右手臂长度：

左臂手腕节点到左肘节点的距离：

左臂肩节点到左肘节点的距离：

左手臂长度：

选定手腕节点相对于肩节点的坐标数据为每一个标准旗语动作的特征值，建立标准姿势库；记左臂手腕节点LW的特征值为[LeftWrist_X，LeftWrist_Y，LeftWrist_Z]，右臂手腕节点RW的特征值为[RightWrist_X，RightWrist_Y，RightWrist_Z]，分别以肩关节为原点建立坐标系，用α_r 、β_r 、γ_r分别表示右肩坐标系中右肩节点指向右腕节点的有向线段与x、y、z轴正向的夹角；用α_l 、β_l 、γ_l分别表示左肩坐标系中左肩节点指向左腕节点的有向线段与x、y、z轴正向的夹角，由解析几何的知识可知，从原点出发的任一单位有向线段的方向余弦即是其端点坐标，则手腕特征值可表示如下：

α_r、β_r、γ_r、α_l、β_l、γ_l角度的取值取决于旗语动作左、右臂的姿势；

2）判断手臂伸直程度，提取当前动作特征值，与标准姿势库的特征值进行比对，识别用户当前动作，方法如下：

① 判断手臂伸直程度

旗语通信中，为尽量扩大手旗挥动的范围，准确传达通信信息，要求双臂伸展，手臂与信号旗呈一条直线，判断方法：以肩关节为中心，取出关节坐标数据，利用两个关节点之间的距离和余弦定理，计算手臂肩、肘及腕三个关节点（Point S、Point E 、Point W）的夹角，判断手臂弯曲程度ArmAngle是否在期望角度ArmAngle的误差范围δ内，此条件可表示为：

条件1：Condition1 = { Point S，Point E ，Point W，ArmAngle，δ}

根据各关节点间的距离及余弦定理可以计算出其夹角为：

其中，d₁,d₂,d₃分别是手臂腕关节点与肘关节点、肘关节点与肩关节点、腕关节点与肩关节点之间的距离；

判定条件为 为角度阈值；

② 在满足条件1的基础上，判断用户双臂关节活动范围是否处于允许的深度阈值范围ε内，此条件可表示为

条件2 ： Condition2 = {JointType，CurrentShoulder_Z，CurrentWrist_Z，ε}

③ 提取用户当前动作特征值，通过将实时获取的手腕节点坐标和标准动作的手腕节点坐标作对比，判断动作是否正确；

实时获得的手腕节点坐标为（CurrentLeftWrist_X, CurrentLeftWrist_Y,CurrentLeftWrist_Z）和( CurrentRightWrist_X, CurrentRightWrist_Y,CurrentRightWrist_Z)，若满足：

则判断该动作正确，为动作误差，取；

动态旗语的动作识别

旗语动作中代表“错误”的动作是动态连续动作，在识别过程中的判别方式有别于静态姿态，除了需按前述三个判别步骤外，还需判别运动过程中两手臂是否保持同步，运动过程中检测每一帧的左、右手手腕节点特征值，判定条件为：

若每一帧的检测都满足此条件，则判定为两手臂保持同步；

识别过程中记录用户上下挥动手臂的次数，当达到四次的时候根据上述判别条件的判别结果来判断动作是否正确，并在用户手臂再次处于上极限位置时开始新一轮的动作识别。