CN107293175A - 一种基于体感技术的机车手信号操作训练方法 - Google Patents

Abstract

本发明公开了一种基于体感技术的机车手信号操作训练方法，属于虚拟现实中的虚拟训练范畴。本发明为解决目前手信号教学训练中存在的无法实时地反馈训练结果及人工成本增加等不足。基于体感技术，通过数据采集并建立标准模板库，采用模板匹配算法对训练进行实时评估，建立一个互动性较好的手信号作业训练系统。该方法主要包含标准信号库的建立和信号实时的匹配训练两个部分。本发明在一定程度上为铁路手信号的培训提供一种有效的方法。

Description

一种基于体感技术的机车手信号操作训练方法

技术领域

本发明属于虚拟现实领域，涉及一种通过体感设备识别人体骨骼，用体感的方式实现机车的手信号训练。

背景技术

手信号也是一种铁路移动信号，它们是由人直接挥动信号旗和信号灯来下达的各种命令。传统的机车人员培训仿真系统多采用三维图像技术结合虚拟仪表技术来模拟机车人员培训，并不能与机车信号人员更好的进行交互。而体感技术降低了成本，简化了训练的过程，依靠实时人体上肢识别评分达到训练目的。用这种最自然的方式实现训练系统，可以减轻培训师的任务，越来越受到重视。

本发明采用的Kinect是微软公司于2014年发布的第二代Kinect forWindows深度传感器，能提供深度图、彩色图、骨骼点坐标三种主要的数据。其中骨骼点坐标应用最为广泛，相比于一代，二代的人体骨架有25个骨骼点，每个骨骼点包括了其在Kinect骨骼坐标系中的三维坐标，以下称为骨骼点坐标。Kinect骨骼坐标系是右手螺旋的，Kinect传感器处于原点上，z坐标轴则与Kinect的朝向一致。y轴正半轴向上延伸，x轴正半轴(从Kinect传感器的视角来看)向左延伸。以往采用骨骼点数据作为特征值进行动作评价的方法中，如采用关节角作为特征值进行动作匹配评价的方法，只是从定性上进行评价且存在特征描述不准确、无法对识别结果客观评分、没有考虑到人体的差异等缺点。

本发明提出通过利用深度传感器Kinect获取人体骨骼点数据，把Kinect骨骼坐标系转换成人体局部坐标系并选取特征骨骼向量并归一化处理后对手信号姿势进行描述，并将特定的动态动作视为一系列关键帧姿势按时间序列组成的集合，对处理后的特征向量赋予相应的分数实时评价分析，对人体上肢识别评分，用1台普通的计算机，借助体感设备，在Unity3D平台下即可实现信号人员姿势训练系统，满足最基本的信号动作培训。

所述人体局部坐标系是以Kinect骨骼坐标系中的“Spine_Base”骨骼点(又称为“人体中心关节点”，大致位于人体肚脐位置)作为原点O，同时以人体右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成。

发明内容

本发明为克服当前机车手信号培训系统存在的成本高、交互体验差的问题，提出了一种一种基于体感技术的机车手信号操作训练方法，利用Kinect获取人的骨骼点数据，结合匹配算法对人的姿势进行实时评分的训练方法，能够对机车信号人员进行动作进行培训。

本发明技术方案具体如下：

一种基于体感技术的机车手信号训练方法，包括如下步骤：

(1)根据输入指令，判别是否为需要录制新的标准姿势，是则转步骤(2)，进入录制模式，添加新的标准姿势到标准库；否则转步骤(3)，进入匹配训练模式；

(2)采集标准姿势，先把采集数据所基于Kinect骨骼坐标系转换成人体局部坐标系，得到所述标准姿势在人体局部坐标系下的10个关键骨骼点，计算得到标准姿势特征，形成标准姿势数据并保存到标准姿势库文件；并对选取的姿势特征赋予不同的权值,转步骤(4)；

Kinect可以采集到25个骨骼点，本发明中的姿势特征只需要用10个关键骨骼点；通过将在kinect骨骼坐标系下骨骼点的坐标减去人体中心关节点的坐标得到的向量就得到在人体局部坐标系下的坐标；

所述标准姿势包括铁路技术管理规程中规定的62个手信号；所述手信号是一种铁路移动信号，指上肢动作加上旗语；

所述人体局部坐标系是以同时以人体中心关节点为原点，右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成；

所述人体中心关节点，在左右髋关节点连线的中间，对于大多数人，该点位于人体肚脐位置。

所述姿势特征指归一化后的骨骼向量；所述骨骼向量是由选取的关键骨骼点与人体中心关节点构成的向量，人体中心关节点也称Spine_Base点，在本发明中定义为人体坐标系的原点；

所述关键骨骼点，指上肢的10个骨骼点，包括Neck、Head、ShoulderLeft、ElbowLeft、WristLeft、HandLeft、ShoulderRight、ElbowRight、WristRight、HandRight，即头、颈、左右肩、左右肘、左右腕和左右手10个点；关节点都是在相应关节的中心位置，例如手是在掌心的位置，这是kinect自己捕捉的；列车信号员在发出信号时，只有上肢手臂在运动；

(3)从标准姿势库中按照每个姿势的录制顺序提取标准姿势数据，在屏幕上提示受训人员做出相应的姿势，并实时提取受训者作规定姿势时的姿势特征，并与标准姿势进行实时匹配评分，直到完成预定的姿势训练；所述提示可以是文字的形式提示，比如屏幕上显示减速，训练的人就做减速的手势；

(4)结束。

优选地，所述标准动作库的建立步骤如下：

(2.1)选取有代表性的不同体型的人，做出各种机车手信号并提取姿势特征值；

(2.1)采集有代表性的不同体型的人所做出的各种机车手信号并提取姿势特征值；

(2.2)选择Kinect识别的人体上肢10个关键骨骼点坐标，与人体中心关节点的坐标相减得到10个关键骨骼点与中心关节点构成的向量，来获取骨骼向量特征表示手信号，归一化后保存到标准姿势库文件中；

(2.3)对选取不同体型的人的各个手信号标准姿势特征进行平均，平均后的姿势特征作为标准动作库中的姿势特征；

对62个标准手信号进行采集并计算特征，得到标准动作库。

优选地，所述步骤(2)中标准姿势特征计算步骤如下：

将Kinect获取10个关键骨骼点坐标与中心关节点相减构成的向量来表示人体局部坐标系下的骨骼点；

在上述人体局部坐标系中，将选取的特征向量进行归一化处理，得到每个姿势的特征值。

优选地，所述步骤(2)中，各个姿势特征权值赋予具体方法为：

受训者先做出标准“T pose”，提取姿势特征，求该特征中各骨骼向量模与基准模之间的比例，根据该比例进行权值分配，采取百分比值，分别求出各个姿势特征对应的权值；这个权值就是指各个骨骼向量的权重，以后做任何姿势，训练评分标准都依据这个分配的权值；所述基准模指两个肩膀之间的SPINE_SHOULDER点的正中点与中心关节点之间的向量模；所述“T pose”指人伸开双臂做出“T”姿势。

优选地，所述步骤(3)实时匹配评分具体如下：

(3.1)匹配学习确定标准分数：

受训者做出规定动作时，将采集到的姿势特征与标准姿势特征的接近程度，接近程度可以用模的比值表示，与相对应的权值相乘，最后全部10个姿势特征相加得到记录分数；动作与标准姿势越接近，相应的分数越高；

(3.2)对受训者的每一个姿势的得分进行计算，得分超过标准分数S，就代表这个姿势训练完成，进行下一姿势匹配，直至完成预定的动作训练。

优选地，所述步骤(3)中标准分数计算如下：

为了避免人体体型不同所带来的差异，随机选取M个受训者对N种列车信号姿势进行匹配学习；根据M个受训者对N个信号进行评分，对各种姿势，取M个受训者的平均分数作为该姿势的标准分数S；这M个人相当于是给这个训练系统建立了一个标准，即标准分数S。

优选地，所述步骤(2)对含有动态动作的标准姿势的录制和训练如下：

对动态动作，根据姿势的复杂度来选取关键帧的数量，复杂度和关键帧的数量，以满足视觉效果为标准；机车手信号库中的62个标准姿势中有42个动态动作，动态动作采样取帧实现静态化处理；按一定顺序完成各个关键帧的匹配，各动作关键帧完成录制或训练，进行下一姿势的录制或训练。

本发明是一种基于体感技术的机车手信号操作训练方法，属于虚拟现实中的虚拟训练范畴。其特点是基于体感技术，通过数据采集并建立标准模板库，采用模板匹配算法对训练进行实时评估，建立一个互动性较好的手信号作业训练系统。其优点在于一方面大大降低了机车手势信号培训的成本，另一方面也提高了培训的效率。

附图说明

图1是Kinect空间坐标系示意图；

图2是人体坐标系及骨骼点示意图；

图3是骨骼特征向量的选取示意图；

图4是根据骨骼向量的模计算权值；

图5是本发明方法系统逻辑架构图；

图6是本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明主要使用Kinect和Unity3D平台实现培训系统。考虑培训系统特点，系统的逻辑框架设置成三层，主要逻辑结构如图5所示，包括以下几层：

(1)数据层。利用Kinect SDK获得深度数据、骨骼数据、彩色数据，为姿势识别算法提供数据基础，并为交互界面提供交互方式。

(2)逻辑处理层。对获得的骨骼数据进行处理，并结合匹配识别算法对动作进行实时评分。

(3)显示层。根据系统要求分别建立场景和交互界面，并对处理过的数据进行显示。

1、基于体感技术的机车信号员上肢训练方法总体设计

本发明主要包括两个部分，录制模式与训练模式，总体方案流程如图6所示。

当我们需要建立新的动作时，应选择录制模式，添加新的姿势到标准动作库。不需要添加新姿势时可选择训练模式直接进行匹配训练。

在录制模式下，当作出标准姿势时，采集标准姿势的特征并经过处理形成动作库保存到本地文件。在训练模式下，训练者会根据提示做出相应的动作，并对匹配结果实时评分，直到完成所有动作。

2、骨骼坐标系的转换和数据的处理

本发明主要是用骨骼点数据进行识别(不涉及到手指动作)，为了尽可能地消除不同人的身体差异，对获得的骨骼点数据进行如下处理：

Step1：首先将如图1所示KinectV2空间坐标系转换成如图2所示人体局部坐标系，人体局部坐标系是以人中心关节SPINE_BASE点作为人体局部坐标系的原点O，同时以人体右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴正方向构建人体空间坐标系OXYZ。坐标系转换后，选取的10个骨骼点在人体局部坐标系下的坐标位置为

Joints＝p_i-p_o＝(x_i-x_o,y_i-y_o,z_i-z_o) (1)

其中i＝1，2，…，10，P_i(x_i,y_i,z_i)为关节i在KinectV2坐标系下的三维坐标，P_o(x_o,y_o,z_o)是SPINE_BASE节点在KinectV2坐标系下的三维坐标。

Step2：对(1)中获得的骨骼向量进行归一化处理，得到

其中i＝1，2，…，10，P_i(x_i,y_i,z_i)为关节i在KinectV2坐标系下的三维坐标，P_o(x_o,y_o,z_o)是SPINE_BASE节点在KinectV2坐标系下的三维坐标。

3、动作特征值提取

列车信号员在发出信号时，只有上肢手臂在运动，所以选择上身躯的10个关节点作为特征点，并利用这10个关键特征点相对中心关节点的空间向量来对信号员姿势进行描述。标准姿势的特征向量选取如图3所示。分别对应图中的“HAND_RIGHT”、“WRIST_RIGHT”、“ELBOW_RIGHT”、“SHOULDER_RIGHT”、“HEAD”、“SPINE_SHOULDER”、“SHOULDER_LEFT”、“ELBOW_LEFT”、“WRIST_LEFT”、“HAND_LEFT”骨骼点。

信号员的手信号包含静态信号和动态信号两种。要进行姿势匹配首先要在录制模式下建立动作库，即将处理后的特征数据保存到本地，经过上述方法形成标准动作库文件。动态姿势选取动作序列中的多个关键帧以同样的方式处理，并把保存的姿势进行命名，通过文本信息提示训练者手信号所对应的信号灯或信号旗的颜色。

4权值的计算方法

根据选取的骨骼特征点可知Neck、Head、ShoulderLeft、ShoulderRight四个点和人体比例具有较大关系，而其余骨骼点与手信号动作具有较高的关系。所以本文根据骨骼向量之间的比例来设置相应的权值。手信号的特征主要由选取的10个骨骼点与人体局部坐标系的原点间的向量组成，如图4所示。对Neck、Head、ShoulderLeft、ShoulderRight四个骨骼向量赋予相同的权值，其余向量以任意一人做出“T pose”动作为标准根据距离加权进行计算。以右上肢的3个向量为例，分别是右肘部到原点、右手腕到原点、右手到原点，用向量表示依次是权值分别表示为w_er、w_wr、w_hr。两肩中心点与原点的向量以该向量的模为标准，并设其权值为w。

首先求出各个向量的模为则右臂其余各个向量的权值计算公式表示为：

同理左臂各个向量依次为其权值计算公式为：

为了对评分结果进行客观评价，采取百分制。即各个权值的和为100，求出w，进而求出其他向量的权值。

5、标准动作匹配

把求出的权值赋予选取的特征骨骼向量，可以对识别结果进行客观的评价。评分公式如下图所示：

其中i代表选取的骨骼点(1-10)。NP(i)表示动作库中某一手信号的骨骼向量。SL[i]表示对应骨骼向量赋予的权重。CP(i)表示当前手信号的骨骼向量。Dis[NP(i),CP(i)]表示当前手信号姿势与动作库中的手信号姿势的欧式距离，距离越小，说明和标准手信号姿势越接近，相应的分数越高，总分越高。在匹配模式下，可以对动作进行实时评分以达到训练的目的。在匹配模式下，随机选取M个人对N种列车信号动作进行匹配学习，当其做出标准动作时，统计分数。选取平均分数作为标准分数S。

当静态姿势匹配分数达到S时，则进行下一姿势匹配。而动态姿势根据姿势的复杂度来选取关键帧的数量，只有按一定顺序完成各个关键帧的匹配后才会进行下一姿势匹配。

随着轨道交通网的普及，机车相关人员的需求会越来越大，对其手势的培训任务也变得越来越繁重。因此，如何让机车相关人员快速掌握信号的对应手势并准确表示出来具有非常现实的意义。传统的训练装置及培训师的缺乏都会造成成本的增加，而采用体感方式通过对人体部位进行识别并建立的手势信号训练系统将会大大降低成本，且具有较高的效率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于体感技术的机车手信号训练方法，其特征在于，包括如下步骤：

(1)根据输入指令，判别是否为需要录制新的标准姿势，是则转步骤(2)，进入录制模式，添加新的标准姿势到标准库；否则转步骤(3)，进入匹配训练模式；

(2)采集标准姿势，先把采集数据所基于Kinect骨骼坐标系转换成人体局部坐标系，得到所述标准姿势在人体局部坐标系下的10个关键骨骼点，计算得到标准姿势特征，形成标准姿势数据并保存到标准姿势库文件；并对选取的姿势特征赋予不同的权值,转步骤(4)；

所述标准姿势包括铁路技术管理规程中规定的62个手信号；所述手信号是一种铁路移动信号，指上肢动作加上旗语；

所述人体局部坐标系是以同时以人体中心关节点为原点，右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成；

所述人体中心关节点，在左右髋关节点连线的中间；对于大多数人，该点位于人体肚脐位置；

所述姿势特征指归一化后的骨骼向量；

所述骨骼向量是由选取的关键骨骼点与人体中心关节点构成的向量；所述关键骨骼点，指上肢的10个骨骼点，包括Neck、Head、ShoulderLeft、ElbowLeft、WristLeft、HandLeft、ShoulderRight、ElbowRight、WristRight、HandRight，即头、颈、左右肩、左右肘、左右腕和左右手10个点；列车信号员在发出信号时，只有上肢手臂在运动；

(3)从标准姿势库中按照每个姿势的录制顺序提取标准姿势数据，在屏幕上提示受训者应作出的姿势名称，并实时提取受训者作规定姿势时的姿势特征，并与标准姿势进行实时匹配评分，直到完成预定的姿势训练；

(4)结束。

2.根据权利要求1所述的训练方法，其特征在于，步骤(2)中所述标准动作库的建立步骤如下：

(2.1)采集不同体型的人所做出的各种机车手信号，并提取姿势特征值；

(2.2)选择Kinect识别的人体上肢10个关键骨骼点坐标，与人体中心关节点的坐标相减得到10个关键骨骼点与中心关节点构成的向量，来获取骨骼向量特征表示手信号，归一化后保存到标准姿势库文件中；

(2.3)对选取不同体型的人的各个手信号标准姿势特征进行平均，平均后的姿势特征作为标准动作库中的姿势特征；

对62个标准手信号进行采集并计算姿势特征，得到标准动作库。

3.根据权利要求1或2所述的训练方法，其特征在于，所述姿势特征计算步骤如下：

将Kinect获取10个关键骨骼点坐标与中心关节点相减构成的向量来表示人体局部坐标系下的骨骼点；

在上述人体局部坐标系中，将选取的特征向量进行归一化处理，得到每个姿势的特征值。

4.根据权利要求1所述的训练方法，其特征在于，在所述步骤(2)中，各个姿势特征权值赋予具体方法为：

令受训者先做出标准“T pose”，提取其姿势特征，求该特征中各骨骼向量模与基准模之间的比例，根据该比例进行权值分配，采取百分比值，分别求出各个姿势特征对应的权值；所述基准模指两个肩膀之间的SPINE_SHOULDER点的正中点与中心关节点之间的向量模；所述“T pose”指端直站立人向左右平伸直双臂做出的“T”姿势。

5.根据权利要求1所述的训练方法，其特征在于，所述步骤(3)实时匹配评分具体如下：

(3.1)匹配学习确定标准分数：

令受训者做出规定动作，将采集到的姿势特征与标准姿势特征的比较，接近程度与相对应的权值相乘，最后全部10个姿势特征相加得到记录分数；

(3.2)对受训者的每一个姿势的得分进行计算，得分超过标准分数S，就代表这个姿势训练完成，进行下一姿势匹配，直至完成预定的动作训练。

6.根据权利要求4所述的训练方法，其特征在于，所述标准分数计算如下：

随机选取M个受训者对N种列车信号姿势进行匹配学习，对M个受训者对N个信号进行评分，对各种姿势，取M个受训者的平均分数作为该姿势的标准分数S。

7.一种基于权利要求1-5任一所述的训练方法，其特征在于，对含有动态动作的标准姿势的录制和训练如下：

对动态动作，根据姿势的复杂度来选取关键帧的数量，复杂度和关键帧的数量，以满足视觉效果为标准；

按一定顺序完成各个关键帧的匹配，各动作关键帧完成录制或训练，进行下一姿势的录制或训练。