CN112596603A - 核电站控制系统的手势操控方法、装置、设备及存储介质 - Google Patents

核电站控制系统的手势操控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112596603A
CN112596603A CN202011260724.1A CN202011260724A CN112596603A CN 112596603 A CN112596603 A CN 112596603A CN 202011260724 A CN202011260724 A CN 202011260724A CN 112596603 A CN112596603 A CN 112596603A
Authority
CN
China
Prior art keywords
gesture
recognized
contour
point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011260724.1A
Other languages
English (en)
Inventor
周毅超
程俊
王鹏
宋呈群
程波
栾语
吴一谦
张学刚
栾振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
China Nuclear Power Engineering Co Ltd
Shenzhen China Guangdong Nuclear Engineering Design Co Ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
China Nuclear Power Engineering Co Ltd
Shenzhen China Guangdong Nuclear Engineering Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, China Nuclear Power Engineering Co Ltd, Shenzhen China Guangdong Nuclear Engineering Design Co Ltd filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011260724.1A priority Critical patent/CN112596603A/zh
Publication of CN112596603A publication Critical patent/CN112596603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种核电站控制系统的手势操控方法、装置、设备及存储介质，方法包括：获取包含待识别手势的深度图像以及待识别手势的深度范围；基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；根据所述轮廓曲线，提取所述待识别手势的特征；基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令；根据所述控制指令控制核电站控制系统的运行。本发明能够在核电站实现准确便捷的手势控制。

Description

核电站控制系统的手势操控方法、装置、设备及存储介质
技术领域
本发明涉及核电站控制领域，尤其涉及一种核核电站控制系统的手势操控方法、装置、设备及存储介质。
背景技术
核电站运行技术由于考虑到其涉及到核事故安全，公共环境处理以及核电站系统本身的技术复杂性，往往在设计过程中要严格分析电站功能和运行操作任务，并充分考虑人因工程影响因素，避免人因失误导致核事故的可能性。
由于核电站的复杂性，核电站运行人员在工作时要面对上万组开关阀门，上千组流程图，及需要同时操作多个电脑屏幕，工作强度和压力非常大。现有的核电控制系统主要通过鼠标键盘按钮等方式与核电系统交互，运行人员需要通过敲击鼠标键盘方式，从而控制核电系统的多组显示屏幕及上千组的阀门信息。由于按键比较密集，长期通过鼠标点击菜单会增加运行人员的操作负担，产生操作疲劳，容易产生操作失误。
虽然目前已有通过手势识别进行系统控制的技术，但这些技术一般需要在手上佩戴相应的动作捕捉设备，且手的活动范围有限，无法离开识别区域，如果离开固定区域系统会自动断开识别，通过识别到的手势信息从而推断键盘输入信息，而不是识别人的手势命令，所以最终还是使用户通过敲击键盘的方式进行命令输入，无法让用户摆脱使用疲劳及容易产生焦虑的问题。
发明内容
本发明的目的在于针对上述存在问题和不足，提供一种核电站控制系统的手势操控方法、装置、设备及存储介质，能够在核电站实现准确便捷的手势控制。
本发明实施例提供了一种核电站控制系统的手势操控方法，包括：
获取包含待识别手势的深度图像以及待识别手势的深度范围；
基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；
根据所述轮廓曲线，提取所述待识别手势的特征；
基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令；
根据所述控制指令控制核电站控制系统的运行。
优选地，所述获取包含待识别手势的深度图像以及待识别手势的深度范围，具体为：
通过Kinect获取包含待识别手势的深度图像；其中，所述深度图像中的每个像素点包含有深度值；
获取位于手上的深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围；其中，利用Kinect的骨架跟踪特征将手位置识别为参考元素以作为参考点来确定位于手上的深度值最小的像素点。
优选地，基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线，具体为：
每隔预定的像素距离检测所述深度图像中的像素点，并获取检测的所述像素点的类型；其中，所述像素点的类型包括不检查像素点、无效检查像素点以及有效检查像素点；所述不检查像素点为深度值不在所述深度范围内的像素点；所述无效检查像素点为深度值在深度范围内，但不在手中的像素点；所述有效检查像素点为深度值在深度范围中且在手内的像素点；
根据所述像素点的类型以及与所述像素点邻近的像素点的类型，获取所述深度图像中的第一个轮廓点；其中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点；
在找到第一个轮廓点之后，通过执行方向搜索以得到整个待识别手势的轮廓；其中，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效像素点一个是无效像素点的像素点，且该像素点不存在于已找到轮廓点集合中；
当找到的轮廓点数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；
若差值在预定范围内，则认为轮廓已封闭，根据获得的所有轮廓点生成轮廓点集合，以得到待识别手势的轮廓曲线。
优选地，所述根据所述轮廓曲线，提取所述待识别手势的特征，具体包括：
通过计算所述轮廓曲线上的像素点或者像素块与轮廓内部的像素点或者像素块的距离，获得待识别手势的掌心的坐标；其中，掌心定义为手内接圆的圆心；
计算得到手势轮廓上的各个指尖的坐标；
根据掌心的坐标以及各个指尖的坐标，获得所述待识别手势的特征。
优选地，所述计算得到手势轮廓上的各个指尖的坐标具体为：
使用两个相等长度的向量，在每个像素点处测量它们之间的角度α；
如果角度α在预设范围内，则该像素点被识别为指尖。
优选地，当所述手势为静态手势时，基于所述特征以及预设的手势识别算法进行计算，从而获取与所述待识别手势对应的控制指令，具体包括：
基于所述待识别手势的特征以及预设的参考手势的特征，计算待识别手势和参考手势之间的距离；
当所述距离小于预设的阈值时，则将所述待识别手势标记为候选手势；
基于掌心的相对位置，使用DTW矩阵验证待识别手势和每个候选手势之间的相似性，并根据相似性获取与所述待识别手势对应的控制指令。
优选地，当所述手势为动态手势时，基于所述特征以及预设的手势识别算法进行计算，从而获取与所述待识别手势对应的控制指令，具体包括：
获取待识别手势中的掌心的坐标，并根据掌心的坐标构成与所述待识别手势对应的向量表示；
对所述向量表示进行编码，得到待识别编码序列；
将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
本发明实施例还提供了一种核电站控制系统的手势操控装置，包括：
手势获取单元，用于获取包含待识别手势的深度图像以及待识别手势的深度范围；
轮廓曲线获取单元，用于基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；
特征提取单元，用于根据所述轮廓曲线，提取所述待识别手势的特征；
手势识别单元，用于基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令；
控制单元，用于根据所述控制指令控制核电站控制系统的运行。
优选地，所述手势获取单元具体包括：
深度图像获取模块，用于通过Kinect获取包含待识别手势的深度图像；其中，所述深度图像中的每个像素点包含有深度值；
深度范围获取模块，用于获取位于手上的深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围；其中，利用Kinect的骨架跟踪特征将手位置识别为参考元素以作为参考点来确定位于手上的深度值最小的像素点。
优选地，所述轮廓曲线获取单元具体包括：
像素点类型获取模块，用于每隔预定的像素距离检测所述深度图像中的像素点，并获取检测的所述像素点的类型；其中，所述像素点的类型包括不检查像素点、无效检查像素点以及有效检查像素点；所述不检查像素点为深度值不在所述深度范围内的像素点；所述无效检查像素点为深度值在深度范围内，但不在手中的像素点；所述有效检查像素点为深度值在深度范围中且在手内的像素点；
轮廓点获取模块，用于根据所述像素点的类型以及与所述像素点邻近的像素点的类型，获取所述深度图像中的第一个轮廓点；其中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点；
轮廓获取模块，用于在找到第一个轮廓点之后，通过执行方向搜索以得到整个待识别手势的轮廓；其中，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效像素点一个是无效像素点的像素点，且该像素点不存在于已找到轮廓点集合中；
差值计算模块，用于当找到的轮廓点数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；
封闭判断模块，用于若差值在预定范围内，则认为轮廓已封闭，根据获得的所有轮廓点生成轮廓点集合，以得到待识别手势的轮廓曲线。
优选地，所述特征提取单元具体包括：
掌心坐标计算模块，用于通过计算所述轮廓曲线上的像素点或者像素块与轮廓内部的像素点或者像素块的距离，获得待识别手势的掌心的坐标；其中，掌心定义为手内接圆的圆心；
指尖坐标计算模块，用于计算得到手势轮廓上的各个指尖的坐标；
特征获取模块，用于根据掌心的坐标以及各个指尖的坐标，获得所述待识别手势的特征。
优选地，所述指尖坐标计算模块具体用于：
使用两个相等长度的向量，在每个像素点处测量它们之间的角度α；
如果角度α在预设范围内，则该像素点被识别为指尖。
优选地，当所述手势为静态手势时，所述手势识别单元具体用于：
基于所述待识别手势的特征以及预设的参考手势的特征，计算待识别手势和参考手势之间的距离；
当所述距离小于预设的阈值时，则将所述待识别手势标记为候选手势；
基于掌心的相对位置，使用DTW矩阵验证待识别手势和每个候选手势之间的相似性，并根据相似性获取与所述待识别手势对应的控制指令。
优选地，当所述手势为动态手势时，所述手势识别单元具体用于：
获取待识别手势中的掌心的坐标，并根据掌心的坐标构成与所述待识别手势对应的向量表示；
对所述向量表示进行编码，得到待识别编码序列；
将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
本发明实施例还提供了一种核电站控制系统的手势操控设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的核电站控制系统的手势操控方法。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的核电站控制系统的手势操控方法。
综上所述，本发明实施例通过将识别的手势动作与核电站主控制室监控方式相关联，从而在核电站数字化人机交互中加入手势控制操作，即向操纵员提供更方便、灵活、自然的人机交互方式，便于操纵员执行监控任务，降低人员操作负荷，提升数字化人机交互效率。
本发明具有如下优点：
1、通过改进的DTW算法识别用户操作手势，能够减小运算量并提高识别精度；
2、向用户提供手势交互方式，使其可以通过手势完成数字化人机交互，有效提升运行效率；
3、与传统交互方式结合，拓展核电站主控室多模态人机交互方式。
附图说明
图1是本发明第一实施例提供的核电站控制系统的手势操控方法的流程示意图。
图2是从深度图像中获取手势的分割示意图。
图3是从手势中获取轮廓点的示意图。
图4是从手势中获取掌心的示意图。
图5是从手势中获取指尖点的示意图。
图6(a)-图6(c)是从待识别手势中挑选候选手势的示意图。
图7是在DTW识别中添加权重的示意图。
图8是12个基准方向矢量的示意图。
图9是一维选项选择输入手势的示意图。
图10是多维选项选择手势的示意图。
图11是本发明第二实施例提供的核电站控制系统的手势操控装置的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提供了一种核电站控制系统的手势操控方法，其可由核电站控制系统的手势操控设备(以下简称手势操控设备)来执行，并包括：
S101，获取包含待识别手势的深度图像以及待识别手势的深度范围。
在本实施例中，所述手势操控设备可为运行核电站控制系统的用户终端，如台式电脑，笔记本电脑。当然，所述手势操控设备也可以是一个独立的终端，其与运行核电站控制系统的用户终端电连接，并向用户终端发送控制指令，这些方案均在本发明的保护范围之内。
在本实施例中，所述深度图像可通过Kinect拍摄获，然后再从深度图像中将手势分割出来。其中，深度图像是由众多像素点组成(主要由图像的分辨率决定像素点的个数)，而每个像素点都包含有深度值(即被拍摄的对象与Kinect的距离)。如图2所示，一般人们在做手势时会自然的将手保持在身体的前面，以此为依据，假设手是场景中离Kinect最近的对象，则先识别离Kinect最近的一个像素点(即深度值最小的像素点)，得到其深度值，在此基础上加一个经验数值(如为15cm，此时将获得完整手轮廓及较少前臂部分)得到最大深度，如此就得到了深度范围。
其中，考虑到在手与Kinect之间可能有其他物体或者对象，为了避免因最近像素点不是手上的像素点而导致的识别失败问题，本实施例利用Kinect的骨架跟踪特征可以将手位置识别为参考元素，以获得离Kinect最近的手上的像素点。
S102，基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线。
在本实施例中，在确定了深度范围之后，为了得到手势的轮廓曲线，首先需要找到从属于这条曲线的第一个点。因为Kinect使用640×480像素的分辨率，每个图像包含307200像素，为了尽快找到第一个轮廓点，可采用分块搜索的方法来加快搜索速度。在本实施例中，可选取20×20的像素块进行搜索，即每隔20个像素点检查一次，当然，应当理解的是，在本发明的其他实施例中，也可以选择其他大小的像素块，本发明不做具体限定。
如图3所示，在本实施例中，所述像素点的类型可以分为3种：
1.不检查像素点：不在深度范围中的像素点；
2.无效检查像素点：在深度范围中但不在手中的像素点；
3.有效检查像素点：在深度范围中且在手内的像素点。
在本实施例中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点。因此，在搜索到有效检查像素点之后，检查其相邻的被检查像素是否有无效检查像素点，若没有，则继续搜索下一块，直到找到相邻检查像素存在无效检查像素点的有效检查像素点，即可获得所述手势的第一个轮廓点。
在本实施例中，在找到第一个轮廓点之后，通过执行方向搜索可以得到整个待识别手势的轮廓。
具体地，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效检查像素点一个是无效检查像素点的像素点，且该像素点不存在于已找到轮廓点集合中。
在本实施例中，每找到一个像素点后，将将像素点添加到轮廓点集合内，并对轮廓点进行计数，当找到的轮廓点的数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；若差值在预定范围内，则认为轮廓已封闭，根据获得轮廓点集合内的所有轮廓点，就得到待识别手势的轮廓曲线。
S103，根据所述轮廓曲线，提取所述待识别手势的特征。
在本实施例中，在获得了轮廓曲线之后，就可以获得手掌内部的所有像素点的坐标，而掌心可以理解为手内接圆的圆心(如图4所示)，因此通过计算轮廓曲线上的点与轮廓内部点的距离，就可以获得手的掌心的坐标。
其中，考虑到如果每个像素点都参与计算的话，计算量过大，会影响运行效率，因此本实施例将轮廓内像素点按照5×5大小进行分块，取像素块的中心像素计算与轮廓上的像素点的距离，从而减小计算量。另外，当正在计算的像素中心与轮廓点的最小值小于已知的最大值就可以停止计算，因为由此已经可以确定该点并不是本实施例需要寻找的掌心点，如此可减少了运算量。
在本实施例中，可以利用k曲率算法来识别手轮廓上的指尖。与其他方法相比，k曲率算法的可靠性较高，且在具体运用时具有较低的复杂性。简单来说，如图5所示，该算法使用两个相等长度的向量VA(P(i),P(i-k))和VB(P(i),P(i+k))(本方法设置步长k＝20个像素)，在每个像素点处测量它们之间的角度α。如果角度α在预定的范围之间，则该像素点被识别为指尖。其中，所述预定范围可选取为[25°，50°]，这个角度范围根据多次实验数据获得，当然，也可根据实际情况对角度范围进行调整，这些方案均在本发明的保护范围之内。
S104，基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令。
在本实施例中，在获得所述特征后，基于所述特征以及预设的手势识别算法，即可以获取与所述待识别手势对应的控制指令。
具体地，通常而言，所述手势操控设备内存储有参考手势，每个参考手势对应于一个控制指令，所述手势操控设备将当前手势的特征与参考手势的特征经过手势识别算法进行匹配，计算其相似度以获取与待识别手势匹配的参考手势，即可以获得对应的控制指令。
其中，手势分为静态手势和动态手势两种，本实施例以下将分别描述静态手势识别和动态手势识别的具体过程。
一、静态手势识别
本实施例采用DTW(Dynamic Time Warping，动态时间归整)算法来实现静态手势。
DTW算法是一种衡量两个长度不同的时间序列的相似度的方法，虽然静态手势识别并没有时间属性，但本实施例可以利用DTW算法在识别中加入一个筛选的步骤来优化识别过程。
本实施例的静态手势识别主要包含两个步骤：(1)基于待识别的手势和每个参考手势之间的相似性来搜索候选手势；(2)使用DTW矩阵验证待识别的手势和每个候选手势之间的相似性。
DTW算法是计算在不同时间获取的两个数据序列之间的差异，而这一差异值则是根据两个序列上的对准点处的欧几里德距离的矩阵来计算两个序列之间的最小成本(最短路径)，用最小成本来表示这一差异。最短路径的方向选择被限制为水平，垂直和对角线方向，不同的方向具有与之相对应的权重，并且最短路径必须低于阈值，这样两个序列才被认为是相似的。
在本实施例中，对于步骤(1)，两个序列分别为待识别手势和参考手势，而手的差异值则用指尖到掌心的欧氏距离和待识别手势与参考手势掌心位置之间的差值表示。例如，为了选择候选手势，首先计算待识别手势和参考手势之间的距离值，计算公式如下所示：
Figure BDA0002774547890000111
其中M是图像中检测到手的数量，N是在图像中检测到的手指的数量，Δdi是在待识别手势和存储的参考手势中掌心到被检测到的指尖i的距离的差，ΔCj是在待识别手势和存储的参考手势中两个掌心之间的距离的差距，ωf和ωp分别是手指和掌心视差的权重(在本实施例中可去ωf＝1，ωp＝7)。
在本实施例中，如果计算得的距离值低于阈值(本实施例中设置为30)，则两个手势被认为是相似的，将其标记为候选手势(图6(c)：29<30)，否则就不选之为候选手势(图6(b)：55>30)。
在步骤(2)中，本实施例使用掌心的相对位置来验证待识别手势和每个候选手势之间的相似性。为了验证待识别手势和候选手势之间的相似性，本实施例使用以下公式计算。
Figure BDA0002774547890000112
其中P表示候选手势列表中手势的数量(如图6(a)所示，每个手势由10帧即10幅图像组成，故本文P取值为10)，ΔSOe则与计算候选手势的方法相同。如图7所示，由于静态手势的相邻值一般相等，因此，可以选择DTW矩阵中的任何方向。为了避免这个问题，搜索方向被偏置(对角线权重ωd低于垂直权重ωv和水平权重ωh)以有利于对应于DTW矩阵中的对角线移动，所以对于垂直和水平方向的权重设置为0.005，对于对角线方向设置为0.003。
在本实施例中，在步骤(2)后，即可以判断待识别手势与候选手势的相似度，进而获取对应的参考手势的控制指令。
二、动态手势识别
在本实施例中，考虑人们在空中进行某些操作时通常有只伸出一只手指的习惯(特别为右手食指)，因此只需找到右手食指的指尖点，其坐标即需要寻找的动态轨迹中的一个三维坐标。
为了获得完整的动态手势，本实施例首先设定一个开始手势(例如手掌张开)和结束手势(例如握拳)，在检测到手掌张开后，动态手势开始，对每帧深度图像分离出手掌，并找到其食指指尖点，获得坐标序列(如{a1，a2，…am+1})，直至检测到握拳手势，则获得完整的动态手势。
在本实施例中，在获得食指指尖点的坐标序列后，即可以获得该动态手势的向量序列，该动态手势的向量序列可由前后两个食指指尖点构成的向量表示，如
{V1，V2，...，Vm}＝{a2-a1，a3-a2，...，am+1-am} (3)
另外，本实施例还需要考虑两个问题：一、人与Kinect相对位置不同是否会影响识别效果；二、每个人手势幅度的不同是否会造成影响。由于向量的特点，用于描述动态手势的向量序列能够很好的保存其时序和空间信息，从而解决问题一。对于问题二，可以通过选取向量的方向矢量来消除其影响。直接使用向量序列进行模板匹配所需计算时间较长，不是最优选择，因此本实施例将方向矢量进行编码，使动态手势的描述更加简洁，减少计算时间。为了能够更细致的描述一个动态手势，如图8所示，本实施例将方向矢量量化为12个基准方向矢量，分别为：
Figure BDA0002774547890000121
编码的方法就是将向量中的每个向量赋予与其夹角最小的基准方向矢量的编码值，对于向量vx，其编码vx可以通过式(5)计算获得：
Vx＝arg maxn{Vx·en}n＝0，1...，11 (5)
当其中的某个向量与两个基准方向矢量的夹角相等，选取较小的基准方向矢量为其编码。在获得了经过编码：序列之后，要进行相似度计算，需要再定义两个编码v1和v2之间的距离Dist，如式(6)所示
Dist(v1，v2)＝min{|v2-v1|，12-|v2-v1|}v1，v2∈{0，1，2...，11} (6)
这种距离并不是传统意义上的远近，而是两个向量之间的夹角，即距离值越大，两个向量之间的夹角越大，例如Dist(1,11)＝2，即编码1和编码11代表的向量之间的夹角为2×30°＝60°。
在本实施例中，通过将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
S105，根据所述控制指令控制核电站控制系统的运行。
其中，为便于理解，本实施例提供了如下几种控制指令及其对应的参考手势：
1、一维选项选择输入手势：
当需要做选择输入时，右手食指和拇指捏合后滑动旋转，可现实在不同旋转角度的不同选择项，如图9显示的是当右手捏合后旋转60°时，出现的黄色选择项。食指与拇指捏合的操作，相对于凭空点击的手势操作将有助于减轻用户的操作负担。
2、多维选项选择手势：
如图10所示，当需要对参数或按钮进行多维选择时，用户需要将右手食指拇指捏合后向前后、左右、上下滑动，可以最多同时选择三个维度的参数及按键。
3、确认手势：
当需要对所选选项确认时，通过翻转左手的手势实现确认操作。
综上所述，本发明实施例通过将识别的手势动作与核电站主控制室监控方式相关联，从而在核电站数字化人机交互中加入手势控制操作，即向操纵员提供更方便、灵活、自然的人机交互方式，便于操纵员执行监控任务，降低人员操作负荷，提升数字化人机交互效率。
本发明具有如下优点：
1、通过改进的DTW算法识别用户操作手势，能够减小运算量并提高识别精度；
2、向用户提供手势交互方式，使其可以通过手势完成数字化人机交互，有效提升运行效率；
3、与传统交互方式结合，拓展核电站主控室多模态人机交互方式。
请参阅图11，本发明第二实施例还提供了一种核电站控制系统的手势操控装置，包括：
手势获取单元210，用于获取包含待识别手势的深度图像以及待识别手势的深度范围；
轮廓曲线获取单元220，用于基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；
特征提取单元230，用于根据所述轮廓曲线，提取所述待识别手势的特征；
手势识别单元240，用于基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令；
控制单元250，用于根据所述控制指令控制核电站控制系统的运行。
优选地，所述手势获取单元210具体包括：
深度图像获取模块，用于通过Kinect获取包含待识别手势的深度图像；其中，所述深度图像中的每个像素点包含有深度值；
深度范围获取模块，用于获取深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围。
优选地，所述轮廓曲线获取单元220具体包括：
像素点类型获取模块，用于每隔预定的像素距离检测所述深度图像中的像素点，并获取检测的所述像素点的类型；其中，所述像素点的类型包括不检查像素点、无效检查像素点以及有效检查像素点；所述不检查像素点为深度值不在所述深度范围内的像素点；所述无效检查像素点为深度值在深度范围内，但不在手中的像素点；所述有效检查像素点为深度值在深度范围中且在手内的像素点；
轮廓点获取模块，用于根据所述像素点的类型以及与所述像素点邻近的像素点的类型，获取所述深度图像中的第一个轮廓点；其中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点；
轮廓获取模块，用于在找到第一个轮廓点之后，通过执行方向搜索以得到整个待识别手势的轮廓；其中，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效像素点一个是无效像素点的像素点，且该像素点不存在于已找到轮廓点集合中；
差值计算模块，用于当找到的轮廓点数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；
封闭判断模块，用于若差值在预定范围内，则认为轮廓已封闭，根据获得的所有轮廓点生成轮廓点集合，以得到待识别手势的轮廓曲线。
优选地，在获取深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围时：
利用Kinect的骨架跟踪特征将手位置识别为参考元素以作为参考点来确定深度值最小的像素点，避免因深度值最小的像素点不是手上的像素点而导致识别失败。
优选地，所述特征提取单元230具体包括：
掌心坐标计算模块，用于通过计算所述轮廓曲线上的像素点或者像素块与轮廓内部的像素点或者像素块的距离，获得待识别手势的掌心的坐标；其中，掌心定义为手内接圆的圆心；
指尖坐标计算模块，用于计算得到手势轮廓上的各个指尖的坐标；
特征获取模块，用于根据掌心的坐标以及各个指尖的坐标，获得所述待识别手势的特征。
优选地，所述指尖坐标计算模块具体用于：
使用两个相等长度的向量，在每个像素点处测量它们之间的角度α；
如果角度α在预设范围内，则该像素点被识别为指尖。
优选地，当所述手势为静态手势时，所述手势识别单元240具体用于：
基于所述待识别手势的特征以及预设的参考手势的特征，计算待识别手势和参考手势之间的距离；
当所述距离小于预设的阈值时，则将所述待识别手势标记为候选手势；
基于掌心的相对位置，使用DTW矩阵验证待识别手势和每个候选手势之间的相似性，并根据相似性获取与所述待识别手势对应的控制指令。
优选地，当所述手势为动态手势时，所述手势识别单元240具体用于：
获取待识别手势中的掌心的坐标，并根据掌心的坐标构成与所述待识别手势对应的向量表示；
对所述向量表示进行编码，得到待识别编码序列；
将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
本发明第三实施例还提供了一种核电站控制系统的手势操控设备，包括存储器以及处理器，所述存储器内存储有可执行代码，所述可执行代码能够被所述处理器执行，以实现如上述的核电站控制系统的手势操控方法。
示例性地，本发明实施例的各个过程可通过处理器执行可执行代码来实现，所述的可执行代码可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现本方法中的执行过程。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述平台的各个服务器的控制中心，利用各种接口和线路连接整个方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现平台的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统；存储数据区可存储根据使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (16)

1.一种核电站控制系统的手势操控方法，其特征在于，包括：
获取包含待识别手势的深度图像以及待识别手势的深度范围；
基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；
根据所述轮廓曲线，提取所述待识别手势的特征；
基于所述特征以及预设的手势识别算法进行相似度计算，获取与所述待识别手势对应的控制指令；
根据所述控制指令控制核电站控制系统的运行。
2.根据权利要求1所述的核电站控制系统的手势操控方法，其特征在于，所述获取包含待识别手势的深度图像以及待识别手势的深度范围，具体为：
通过Kinect获取包含待识别手势的深度图像；其中，所述深度图像中的每个像素点包含有深度值；
获取位于手上的深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围；其中，利用Kinect的骨架跟踪特征将手位置识别为参考元素以作为参考点来确定位于手上的深度值最小的像素点。
3.根据权利要求2所述的核电站控制系统的手势操控方法，其特征在于，基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线，具体为：
每隔预定的像素距离检测所述深度图像中的像素点，并获取检测的所述像素点的类型；其中，所述像素点的类型包括不检查像素点、无效检查像素点以及有效检查像素点；所述不检查像素点为深度值不在所述深度范围内的像素点；所述无效检查像素点为深度值在深度范围内，但不在手中的像素点；所述有效检查像素点为深度值在深度范围中且在手内的像素点；
根据所述像素点的类型以及与所述像素点邻近的像素点的类型，获取所述深度图像中的第一个轮廓点；其中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点；
在找到第一个轮廓点之后，通过执行方向搜索以得到整个待识别手势的轮廓；其中，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效像素点一个是无效像素点的像素点，且该像素点不存在于已找到轮廓点集合中；
当找到的轮廓点数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；
若差值在预定范围内，则认为轮廓已封闭，根据获得的所有轮廓点生成轮廓点集合，以得到待识别手势的轮廓曲线。
4.根据权利要求1所述的核电站控制系统的手势操控方法，其特征在于，所述根据所述轮廓曲线，提取所述待识别手势的特征，具体包括：
通过计算所述轮廓曲线上的像素点或者像素块与轮廓内部的像素点或者像素块的距离，获得待识别手势的掌心的坐标；其中，掌心定义为手内接圆的圆心；
计算得到手势轮廓上的各个指尖的坐标；
根据掌心的坐标以及各个指尖的坐标，获得所述待识别手势的特征。
5.根据权利要求4所述的核电站控制系统的手势操控方法，其特征在于，
所述计算得到手势轮廓上的各个指尖的坐标具体为：
使用两个相等长度的向量，在每个像素点处测量它们之间的角度α；
如果角度α在预设范围内，则该像素点被识别为指尖。
6.根据权利要求5所述的核电站控制系统的手势操控方法，其特征在于，
当所述手势为静态手势时，基于所述特征以及预设的手势识别算法进行计算，从而获取与所述待识别手势对应的控制指令，具体包括：
基于所述待识别手势的特征以及预设的参考手势的特征，计算待识别手势和参考手势之间的距离；
当所述距离小于预设的阈值时，则将所述待识别手势标记为候选手势；
基于掌心的相对位置，使用DTW矩阵验证待识别手势和每个候选手势之间的相似性，并根据相似性获取与所述待识别手势对应的控制指令。
7.根据权利要求5所述的核电站控制系统的手势操控方法，其特征在于，当所述手势为动态手势时，基于所述特征以及预设的手势识别算法进行计算，从而获取与所述待识别手势对应的控制指令，具体包括：
获取待识别手势中的掌心的坐标，并根据掌心的坐标构成与所述待识别手势对应的向量表示；
对所述向量表示进行编码，得到待识别编码序列；
将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
8.一种核电站控制系统的手势操控装置，其特征在于，包括：
手势获取单元，用于获取包含待识别手势的深度图像以及待识别手势的深度范围；
轮廓曲线获取单元，用于基于所述深度图像以及所述深度范围，得到待识别手势的轮廓曲线；
特征提取单元，用于根据所述轮廓曲线，提取所述待识别手势的特征；
手势识别单元，用于基于所述特征以及预设的手势识别算法进行计算，获取与所述待识别手势对应的控制指令；
控制单元，用于根据所述控制指令控制核电站控制系统的运行。
9.权利要求8述的核电站控制系统的手势操控装置，其特征在于，所述手势获取单元具体包括：
深度图像获取模块，用于通过Kinect获取包含待识别手势的深度图像；其中，所述深度图像中的每个像素点包含有深度值；
深度范围获取模块，用于获取位于手上的深度值最小的像素点，并根据预设的深度阈值以及最小深度值，获得待识别手势的深度范围；其中，利用Kinect的骨架跟踪特征将手位置识别为参考元素以作为参考点来确定位于手上的深度值最小的像素点。
10.根据权利要求9所述的核电站控制系统的手势操控装置，其特征在于，所述轮廓曲线获取单元具体包括：
像素点类型获取模块，用于每隔预定的像素距离检测所述深度图像中的像素点，并获取检测的所述像素点的类型；其中，所述像素点的类型包括不检查像素点、无效检查像素点以及有效检查像素点；所述不检查像素点为深度值不在所述深度范围内的像素点；所述无效检查像素点为深度值在深度范围内，但不在手中的像素点；所述有效检查像素点为深度值在深度范围中且在手内的像素点；
轮廓点获取模块，用于根据所述像素点的类型以及与所述像素点邻近的像素点的类型，获取所述深度图像中的第一个轮廓点；其中，轮廓点满足自身是有效检查像素点且其邻近的像素点为无效检查像素点；
轮廓获取模块，用于在找到第一个轮廓点之后，通过执行方向搜索以得到整个待识别手势的轮廓；其中，从第一个轮廓点的上方按顺时针方向开始检测像素点以判断检测的像素点是否为轮廓点；所述轮廓点为自身是有效像素点且其相邻两个像素点一个是有效像素点一个是无效像素点的像素点，且该像素点不存在于已找到轮廓点集合中；
差值计算模块，用于当找到的轮廓点数量大于预设的阈值后，判断当前轮廓点与第一个轮廓点在X、Y、Z轴的差值；
封闭判断模块，用于若差值在预定范围内，则认为轮廓已封闭，根据获得的所有轮廓点生成轮廓点集合，以得到待识别手势的轮廓曲线。
11.根据权利要求8所述的核电站控制系统的手势操控装置，其特征在于，所述特征提取单元具体包括：
掌心坐标计算模块，用于通过计算所述轮廓曲线上的像素点或者像素块与轮廓内部的像素点或者像素块的距离，获得待识别手势的掌心的坐标；其中，掌心定义为手内接圆的圆心；
指尖坐标计算模块，用于计算得到手势轮廓上的各个指尖的坐标；
特征获取模块，用于根据掌心的坐标以及各个指尖的坐标，获得所述待识别手势的特征。
12.根据权利要求11所述的核电站控制系统的手势操控装置，其特征在于，
所述指尖坐标计算模块具体用于：
使用两个相等长度的向量，在每个像素点处测量它们之间的角度α；
如果角度α在预设范围内，则该像素点被识别为指尖。
13.根据权利要求12所述的核电站控制系统的手势操控装置，其特征在于，
当所述手势为静态手势时，所述手势识别单元具体用于：
基于所述待识别手势的特征以及预设的参考手势的特征，计算待识别手势和参考手势之间的距离；
当所述距离小于预设的阈值时，则将所述待识别手势标记为候选手势；
基于掌心的相对位置，使用DTW矩阵验证待识别手势和每个候选手势之间的相似性，并根据相似性获取与所述待识别手势对应的控制指令。
14.根据权利要求12所述的核电站控制系统的手势操控装置，其特征在于，当所述手势为动态手势时，所述手势识别单元具体用于：
获取待识别手势中的掌心的坐标，并根据掌心的坐标构成与所述待识别手势对应的向量表示；
对所述向量表示进行编码，得到待识别编码序列；
将所述待识别编码序列与预设的参考手势的编码序列进行相似度计算，并根据计算得到的相似度获得与所述待识别手势对应的控制指令。
15.一种核电站控制系统的手势操控设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至7任意一项所述的核电站控制系统的手势操控方法。
16.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至7任意一项所述的核电站控制系统的手势操控方法。
CN202011260724.1A 2020-11-12 2020-11-12 核电站控制系统的手势操控方法、装置、设备及存储介质 Pending CN112596603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011260724.1A CN112596603A (zh) 2020-11-12 2020-11-12 核电站控制系统的手势操控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011260724.1A CN112596603A (zh) 2020-11-12 2020-11-12 核电站控制系统的手势操控方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112596603A true CN112596603A (zh) 2021-04-02

Family

ID=75182868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011260724.1A Pending CN112596603A (zh) 2020-11-12 2020-11-12 核电站控制系统的手势操控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112596603A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110260962A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110260962A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健: "基于Kinect的手势识别及人机互动", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
US10679146B2 (en) Touch classification
CN108227912B (zh) 设备控制方法和装置、电子设备、计算机存储介质
US20200097091A1 (en) Method and Apparatus of Interactive Display Based on Gesture Recognition
US20190392587A1 (en) System for predicting articulated object feature location
Nai et al. Fast hand posture classification using depth features extracted from random line segments
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
Ruan et al. Dynamic gesture recognition based on improved DTW algorithm
Xu et al. A novel feature extracting method for dynamic gesture recognition based on support vector machine
CN112115921A (zh) 一种真伪鉴别方法、装置以及电子设备
Mohammadi et al. Air-writing recognition system for Persian numbers with a novel classifier
CN109375833B (zh) 一种触控指令的生成方法及设备
Lee et al. Fast hand and finger detection algorithm for interaction on smart display
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN112596603A (zh) 核电站控制系统的手势操控方法、装置、设备及存储介质
Ibraheem Finger identification and gesture recognition using Gaussian classifier model
Tarrataca et al. The current feasibility of gesture recognition for a smartphone using J2ME
KR20140140482A (ko) 오브젝트의 움직임을 이용하여 사용자 입력을 처리하는 장치 및 방법
Teja et al. A ballistic stroke representation of online handwriting for recognition
Huang et al. Hand gesture based intuitive CAD interface
KR20160097513A (ko) 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법
CN111061367B (zh) 一种自助设备手势鼠标的实现方法
JP7470069B2 (ja) 指示物体検出装置、指示物体検出方法及び指示物体検出システム
Jetensky Human hand image analysis extracting finger coordinates using circular scanning
Asgarov Check for updates 3D-CNNs-Based Touchless Human-Machine Interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210402