CN117519487B - 一种基于视觉动捕的掘进机操控教学辅助培训系统 - Google Patents
一种基于视觉动捕的掘进机操控教学辅助培训系统 Download PDFInfo
- Publication number
- CN117519487B CN117519487B CN202410015789.1A CN202410015789A CN117519487B CN 117519487 B CN117519487 B CN 117519487B CN 202410015789 A CN202410015789 A CN 202410015789A CN 117519487 B CN117519487 B CN 117519487B
- Authority
- CN
- China
- Prior art keywords
- user
- gesture
- node
- unit
- development machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011161 development Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 title claims abstract description 56
- 238000004088 simulation Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 41
- 238000010586 diagram Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 17
- 239000003245 coal Substances 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 239000002245 particle Substances 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 6
- 210000000744 eyelid Anatomy 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000004575 stone Substances 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 241000203475 Neopanax arboreus Species 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000005507 spraying Methods 0.000 claims description 4
- 238000009412 basement excavation Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 239000011435 rock Substances 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 239000000779 smoke Substances 0.000 claims description 3
- 239000002689 soil Substances 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000018109 developmental process Effects 0.000 description 61
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000001960 triggered effect Effects 0.000 description 11
- 238000005065 mining Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及教学辅助培训技术领域，公开了一种基于视觉动捕的掘进机操控教学辅助培训系统，包括摄像单元、显示单元及处理单元；摄像单元用于实时拍摄用户手部与眼部姿态；处理单元包括手势识别处理单元和仿真掘进机操作系统；手势识别处理单元通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。本发明采用多种算法精确识别手部姿态，系统鲁棒性高；结合仿真算法最大程度模拟真实工况，实用性强；采用单目视觉方法捕捉手部姿态实现人机交互，对硬件设备要求低，可部署多个平台，易于推广使用。
Description
技术领域
本发明涉及教学辅助培训技术领域，具体来说，涉及一种基于视觉动捕的掘进机操控教学辅助培训系统。
背景技术
近年来，我国人口老龄化现象十分明显，在煤炭行业等劳动密集型产业表现为劳动力成本逐年增加，熟练劳动者数量逐年减少。实际生产中井下作业工况复杂，开采煤矿的掘进机操作不当极易引发事故，更加需要驾驶员拥有足够驾驶经验，操作严格符合国家安全生产法、煤矿安全培训规定。对此，急需提高驾驶人员操作技术水平、熟练程度，使其充分掌握操作要点，提高生产效率，能够有效应对生产中可能遇到的复杂工况，避免生产事故。
目前，掘进机操作练习受到诸多限制，传统的实景操作采用教员讲解模式，燃油、设备等训练成本高，使用率低，对安全保障要求较高，学员无法直接操作设备练习。模拟操作教学设备采用计算机仿真与设备模型结合，如中国专利（CN218214438U）公开的煤矿掘进机模拟操作教学装置通过设计的底板装置在训练过程中给予用户物理反馈，但模拟座舱无规律的过度振动十分影响人机交互体验感，降低了培训效率，如中国专利(CN213518763U)公开的新型掘进机操作培训系统包含培训专用空间、仿真掘进机模型、混合现实头盔和培训控制平台，操作体验更加真实，但整套系统对于设备、场地要求高，培训流程较为复杂，大大提升培训成本，如中国专利（CN109509374A）公开的掘进机虚拟实训操作教学仪及训练方法采用计算机软件与硬件结合，通过工作台控制仿真掘进机，但操作较复杂，未考虑到培训过程中用户疲劳感，造成注意力不集中，影响效率与成绩的问题。同时以上所述教学设备均通过物理操作台进行控制，涉及一定机械结构，对设备、场地有一定要求，存在成本问题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于视觉动捕的掘进机操控教学辅助培训系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于视觉动捕的掘进机操控教学辅助培训系统，包括摄像单元、显示单元及处理单元；
摄像单元用于实时拍摄用户手部与眼部姿态；
显示单元用于实时显示仿真掘进机操作画面及仿真环境反馈效果；
处理单元包括手势识别处理单元和仿真掘进机操作系统；
其中，手势识别处理单元在解决视频高光亮点与用户手势遮盖问题的基础上，通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；
仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。
进一步的，手势识别处理单元包括预处理单元、遮盖处理单元、关键点检测单元及通信单元；
其中，预处理单元对采集的实时视频数据进行去除高光亮点处理，再将处理过的实时视频数据发送至遮盖处理单元，进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元，关键点检测单元检测用户手部与眼部的关键节点空间坐标数据，并在判断手势命令与用户注意力集中程度后输出命令信号至通信单元，通信单元通过TCP/IP通信传输信号至仿真掘进机操作系统。
进一步的，预处理单元对采集的实时视频数据进行去除高光亮点处理包括：
通过分析实时视频数据的高光特性，将视频画面由RGB颜色空间转至HSV颜色空间，其中，视频画面图像中任意点像素值的公式为：
；
式中，I表示像素值，分别表示图像在/>点的色调值、饱和度值、亮度值，/>表示为图像中所有像素点集合；
通过设定饱和度、亮度阈值，逐帧提取实时视频表面高光区域图像，并使用图像均值滤波的方式处理高光区域；
将处理后的高光区域和原图像中非高光区域进行图像融合，并输出融合后的视频至遮盖处理单元。
进一步的，遮盖处理单元在进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元时包括：
对手部移动区域进行定义，将屏幕显示区域划分为摄像头拍摄区、手势动作区、手掌框选区/>、屏幕显示区/>，则手势动作区与屏幕显示区存在比例关系m：
；
以屏幕显示区左下角和手势动作区左下角为坐标原点（0，0），手部关键节点空间坐标相对于手势动作区表示为（/>），相对于屏幕显示区/>表示为（/>），屏幕显示区的长度与宽度记为/>、/>，则在手势运动中，坐标位置在手势动作区/>和屏幕显示区之间存在映射关系：
；
；
建立手势框图，使用非最大值抑制算法对所有手势框图按照置信度进行排序，选择当前置信度最高的手势框图开始循环遍历视频，将当前置信度最高的手势框图添加到最终选择列表中，移除与当前已选择手势框图具有高重叠度的其他手势框图，更新剩余手势框图的集合，再寻找更新后集合中置信度最高的手势框图，重复上述操作直至所有手势框图被处理，输出处理完毕后置信度最高的手势框图送至关键点检测单元。
进一步的，检测用户手部的关键节点空间坐标数据并进行手势判断包括：
判断用户食指指尖节点是否在屏幕显示区的十个虚拟按键功能区中单一虚拟按键停留2s，且食指指尖节点在垂直于摄像单元的方向上有超过5厘米的深度变化，若是，则触发对应虚拟按键功能，若否，则不触发虚拟按键功能；
判断用户是否通过五指聚合形成类似真实握杆动作，整体手部在屏幕显示区的四个推杆功能区的单一虚拟推杆停留2s，且整体手部在垂直于摄像单元的方向上超过5厘米的深度变化，若是，则触发对应推杆功能，若否，则不触发推杆功能；
判断用户是否通过食指和中指合并，且两指指尖节点在屏幕显示区内垂直于摄像单元的方向上有超过5厘米的深度变化，若是，则触发对应走刀路线设置功能，两指指尖节点的空间坐标位置即为设定的走刀起始点与结束点，根据A*寻路算法结合用户设置的顺序进行连线，得到虚拟走刀路线，若否，则不设定走刀起始点与结束点；
判断用户是否双手握拳，若是，则触发急停命令，若否，则不触发急停命令；
将按键手势命令、推杆手势命令、走刀手势命令及急停手势命令对应的信号输出至通信单元，用以驱动对应仿真掘进机功能。
进一步的，检测用户手部的关键节点空间坐标数据并进行手势判断还包括：
利用自适应质心-卡尔曼滤波算法对采集过程中出现的高频跳动问题进行处理；
利用卷积神经网络训练手势检测模型，并利用训练后的手势检测模型对采集的手势进行辅助判断。
进一步的，检测用户手部与眼部的关键节点空间坐标数据，并判断用户注意力集中程度包括：
实时统计用户手部操作频率与检测用户眼部关键节点，并以用户手部操作发送命令的时间间隔作为依据判断用户注意力集中程度，当超过操作命令平均时间间隔，则判定为注意力不集中；
通过摄像单元获取用户双眼关键节点空间坐标数据，并分别计算用户左眼和右眼的纵横比EAR：
；
式中，EAR表示纵横比，依次代表外眼角、上眼皮左右、内眼角、下眼皮左右六个节点空间坐标数据，/>表示L2范数；
取用户左眼和右眼的纵横比的平均值作为最终的眼睛纵横比，并判断最终的眼睛纵横比是否超出阈值范围，若是，则判定为注意力不集中，若否，则结合用户手部操作频率判断注意力是否集中的判定结果，当用户手部操作频率判断用户为注意力不集中时，则判定为注意力不集中。
进一步的，仿真掘进机操作系统包括登陆单元、理论学习单元及掘进机操作练习单元；
其中，登陆单元中用户利用通信单元发送的命令信号选择虚拟键盘按键进行个人账户信息登录，理论学习单元中用户学习掘进机操作理论知识、操作规范及操作教程，并在学习理论知识完毕后，掘进机操作练习单元中自动打开仿真掘进机第三视角画面，用户利用手势选择仿真环境中掘进机与巷道各个部件，并利用通信单元发送的命令信号操控仿真掘进机。
进一步的，在掘进机操作阶段走刀路线设置命令中，掘进机操作练习单元自动提示岩石和土壤性质及隧道设计要求设定，并给出推荐掘进速度、搭配刀盘转速、推进力参数，用户利用食指指尖节点进行数据设定，当用户设置的走刀路线节点过于集中、有效掘采率过低时，仿真掘进机操作系统根据A*寻路算法自动优化路径，寻找最优简短路径，提示用户进行改进；
其中，根据A*寻路算法自动优化路径寻找最优简短路径包括：
将用户设置的走刀路线画面栅格化，初始化设置开列表与闭列表，用户设置的起始点归入开列表，遍历开列表计算每一个结点的代价函数F：
式中，G为起点到当前结点的欧氏距离，H为当前结点到终点的曼哈顿距离，为平行于显示单元的二维空间坐标；
查找列表中代价函数F最小的结点a，将其作为当前待处理的结点，重复如下操作：
一）对当前待处理的结点a相邻的所有结点处理，若不可抵达或在闭列表中，则忽略，否则继续处理；
二）若相邻结点b不在开列表中，则将其加入开列表，并将当前待处理的结点a设置为父结点，结点b设置为当前待处理的结点，计算结点b的F、G、H值，若相邻结点b在开列表中，则检查起点到b的路径是否更好，参考标准为G值，若G值更小，则路径效果更好，自动将其父结点e作为当前待处理的结点，重新计算G、F值；
三）将二）处理后的结点a移动到闭列表，不再关注；
当满足下列任一条件，则程序终止；
条件一、终点加入开列表；
条件二、无法查找到终点，且此时开列表为空；
若终点已找到，查找最短路径：从终点开始，每个结点都沿着父结点运动，直至起点，所得最短路径即为最优简短路径。
进一步的，显示单元中的仿真环境利用Unity3D中的粒子和光源模块实现掘进机工作时的烟雾、喷水和灯光模拟效果，利用网格变形算法，将截割头作为地形网格变形的关键要素控制地形网格的凹陷程度，筛选截割头碰撞点周围顶点后，利用参考变形公式改变网格顶点坐标，预设不同形状石块模型，配合粒子效果，实现钻探后煤层的破碎状态视觉仿真；
其中，参考变形公式为：
式中，（x变，y变）表示改变后的坐标，（x原，y原）表示改变前的坐标，为刀具直径，/>为切削角，/>为切削深度，/>为刀具切削力，/>为刀具角速度。
本发明的有益效果为：
1）本发明提出一种新的掘进机操控教学辅助培训系统，结合视觉动捕和虚拟现实技术，采用多种算法精确识别手势，系统鲁棒性大大提升，结合仿真算法最大程度模拟真实工况，实用性强，充分考虑人机交互体验感，操作简便，提高训练效率，缩短训练周期，采用单目视觉方法捕捉手部姿态，对硬件设备要求低，可部署在多个平台，易于推广使用。
2）本发明通过采用多种算法精确识别手势，针对视频中存在的高光亮点，预处理单元通过所设计的算法，优化视频质量，避免了因高光对后续操作的影响；针对用户手势遮盖导致操作失灵问题，遮盖单元通过非最大值抑制算法，建立屏幕映射区，明确画面中的操作区域对应关系，大大提高识别的稳定性与准确性；关键点检测单元使用自适应质心-卡尔曼滤波算法去除空间数据抖动减小误差，利用神经网络快速精准检测判断用户手部关键节点空间数据，根据用户手势触发虚拟按键与虚拟推杆功能，多种算法结合使得系统鲁棒性大大提升。
3）本发明设计手势操作便捷，方便用户快速入门操作，理论学习部分大大缩减传统实景操作中教练员的讲解时间，保障用户的安全，各操作项目均可反复进行学习并提供操作报告供用户复盘，仿真掘进机系统环境通过Unity3D粒子系统，结合网格变形算法，最大程度模拟真实掘采工况，根据用户手势操作频率与眼部姿态特征，仿真掘进机操作系统判断用户注意力集中程度，给予用户提醒，提高人机交互体验感，提高操作效率，缩短训练周期。
4）本发明依赖于单目RGB视频输入，系统可跨平台操作，配置环境简单，支持计算机使用CPU生成实时检测，在笔记本上帧率在15~30fps，延迟<50ms，所设计虚拟按键、虚拟推杆，替代了传统训练中的操作硬件，节省训练成本，相对同类框架，在应用场景中优势明显，易于推广使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于视觉动捕的掘进机操控教学辅助培训系统的原理框图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于视觉动捕的掘进机操控教学辅助培训系统。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明的一个实施例，提供了一种基于视觉动捕的掘进机操控教学辅助培训系统，包括摄像单元、显示单元及处理单元；
摄像单元用于实时拍摄用户手部与眼部姿态；
显示单元用于实时显示仿真掘进机操作画面及仿真环境反馈效果；
具体的，显示单元为1280×720像素，显示摄像单元采集的实时视频、仿真掘进机操作流程与虚拟环境反馈。且摄像单元与显示单元为一体式单元。
处理单元包括手势识别处理单元和仿真掘进机操作系统；本实施例中，处理单元优选为计算机，计算机处理器为i5-8300H，64位操作系统。
其中，手势识别处理单元在解决视频高光亮点与用户手势遮盖问题的基础上，通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；
具体的，手势识别处理单元包括预处理单元、遮盖处理单元、关键点检测单元、通信单元，预处理单元将摄像单元采集的实时视频画面进行预处理后发送给遮盖处理单元，遮盖处理单元接收预处理后的画面进行遮盖处理，划分屏幕显示区域，建立屏幕区域与实际空间的映射关系，发送给关键点检测单元，关键点检测单元检测用户手部与眼部姿态关键节点空间坐标数据，进行判断后输出命令信号给通信单元，通信单元将信号发送至仿真掘进机操作系统。
仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。
具体的，仿真掘进机操作系统包括登陆单元、理论学习单元、掘进机操控单元，登陆单元中用户利用通信单元发送的命令信号选择虚拟键盘按键进行个人账户信息登录，理论学习单元中用户学习掘进机操作理论知识、操作规范、操作教程，掘进机操作练习单元接收通信单元发送的命令信号操控仿真掘进机。
本实施例中，基于视觉动捕的掘进机操控教学辅助培训系统的操作方法包括以下步骤：
S1、摄像单元实时采集用户手部与眼部姿态，并将视频数据传输至计算机；
S2、预处理单元对视频数据进行去除高光亮点，再将处理过的视频发送至遮盖处理单元，进行遮盖处理，划分屏幕显示区域，建立屏幕区域与实际空间的映射关系，发送至关键点检测单元，关键点检测单元检测用户手部与眼部关键节点空间坐标数据，判断手势与用户注意力集中程度后输出命令信号发送至通信单元，通信单元通过TCP/IP通信传输信号至仿真掘进机操作系统；
具体的，步骤S2中，预处理单元通过分析视频高光特性，将视频画面由RGB颜色空间转至HSV颜色空间，图像中任意点像素值的公式如下：
其中，分别表示图像在/>点的色调值、饱和度值、亮度值，/>表示为图像中所有像素点集合，通过设定饱和度、亮度阈值，逐帧提取视频表面高光区域图像，接着使用图像均值滤波的方式（即当前区域图和原图像中非高光区域图进行叠加融合，综合两幅输入图像，获得更高质量的输出），输出处理后的视频至遮盖处理单元。
具体的，步骤S2中，遮盖处理单元对手部移动区域作出规定，将屏幕显示区域划分为摄像头拍摄区、手势动作区/>、手掌框选区/>、屏幕显示区/>，手势动作区域与屏幕显示区域存在比例关系/>：
以屏幕显示区左下角和手势动作区左下角为坐标原点（0，0），手部关键节点空间坐标相对于手势动作区表示为（/>），相对于屏幕显示区/>表示为（/>），屏幕显示区域的长度与宽度记为/>、/>。手势运动中，坐标位置在手势动作区/>和屏幕显示区/>之间存在映射关系：
通过建立框图保证手掌移动中被捕捉的完整性，由于手势抖动，系统识别到的手势框图数量众多，使用非最大值抑制算法，对数量众多的框图按照置信度（框图的真实值有一定概率落在测量结果的周围的程度）进行排序，选择当前置信度最高的手势框图开始循环遍历视频，将当前置信度最高的手势框图添加到最终选择列表中，移除与当前已选择手势框图具有高重叠度的其他手势框图，更新剩余手势框图的集合，再寻找更新后集合中置信度最高的手势框图，重复上述操作直至所有手势框图被处理，输出处理完毕后置信度最高的手势框图送至关键点检测单元。
具体的，步骤S2中，关键点检测单元根据预测框快速检测用户手部关键节点空间数据，针对采集过程中出现的高频跳动问题，采用自适应质心-卡尔曼滤波算法进行解决，对识别到的单手各个关键点加以权值，通过加权求和，求出该手部的近似质心，对该质心的空间坐标数据进行卡尔曼滤波，基于先前的时间步的状态估计和系统模型，对当前时间步的状态进行预测，将预测值和实际测量值进行比较，然后使用卡尔曼增益来调整预测值，得到更新的状态估计，根据更新后的状态估计和实际测量值，更新状态协方差和过程噪声协方差，再循环进行预测-更新-协方差更新-权值更新，直至数据接近真实值，滤除显著跳动点。
具体的，步骤S2中，关键点检测单元根据用户手势触发虚拟按键、虚拟推杆、虚拟走刀路线及急停功能，用户食指指尖节点在屏幕显示区的十个虚拟按键功能区中单一虚拟按键停留2s，且食指指尖节点在垂直于摄像单元的方向上有超过5厘米的深度变化，触发对应虚拟按键功能，用户通过五指聚合形成类似真实握杆动作，整体手部在屏幕显示区的四个推杆功能区的单一虚拟推杆停留2s，且整体手部在垂直于摄像单元的方向上超过5厘米的深度变化，则触发对应推杆功能，用户通过食指和中指合并，且两指指尖节点在屏幕显示区内垂直于摄像单元的方向上有超过5厘米的深度变化，触发对应走刀路线设置功能，两指指尖节点的空间坐标位置即为设定的走刀起始点与结束点，根据A*寻路算法结合用户设置的顺序进行连线，得到虚拟走刀路线，用户双手握拳触发急停命令，将按键手势命令、推杆手势命令、走刀手势命令及急停手势命令对应的信号输出至通信单元，用以驱动对应仿真掘进机功能。
具体的，步骤S2中，关键点检测单元针对用户手势识别不精准，采用卷积神经网络训练手势检测模型，提高手势检测正确率，卷积神经网络通过摄像单元提取大量采集设计的按键、推杆、走刀、急停手势动作，作为训练数据集，使用TensorFlow搭建卷积神经网络训练，不断调整权重矩阵和偏置参数提高模型性能，将最终模型导入关键点检测单元进行手势精准判断。
具体的，步骤S2中，关键点检测单元实时统计用户手部操作频率与检测用户眼部关键节点，前者以用户手部操作发送命令的时间间隔作为依据，判断用户注意力集中程度，超过操作命令平均时间间隔判定为注意力不集中，后者通过摄像单元获取用户双眼关键节点空间坐标数据，计算眼睛纵横比EAR：
式中依次代表外眼角、上眼皮左右、内眼角、下眼皮左右六个节点空间坐标数据，/>表示L2范数，用于计算两个向量之间的距离。分别对用户左右眼代入公式计算，取其平均值作为最终数据，经过大量数据统计，平均EAR值在[0.2,0.4]范围内，闭眼的数值接近于0，当用户闭眼程度接近阈值，结合手部操作频率，给予用户提醒，保证用户注意力集中程度，提高人机交互体验感。
具体的，步骤S2中，通信模块包括：使用网络传输数据包到另一个网络，手势识别处理单元创建套接字socket，将本地网络信息绑定到网络协议中，然后使用sendto函数发送上述手势触发的命令信号字符串。仿真掘进机操作系统端创建套接字，设定指定端口号，创建用户对象，绑定到节点，连接客户端IP，创建数组接收数据。
S3、仿真掘进机操作系统登陆界面自动打开虚拟键盘，用户利用手势点击虚拟键盘发送命令信号进行账户登录，学习理论知识完毕后，操作练习中仿真掘进机操作系统自动打开仿真掘进机第三视角画面，用户利用手势选择仿真环境中掘进机与巷道各个部件，进行操作前安全检查，检查完毕后，操作系统自动打开虚拟按键面板，用户食指指尖节点在屏幕显示区的十个虚拟按键功能区中单一虚拟按键停留2s，且食指指尖节点在垂直于摄像单元的方向上有超过5厘米的深度变化，触发对应虚拟按键功能，用户通过五指聚合形成类似真实握杆动作，整体手部在屏幕显示区的四个推杆功能区的单一虚拟推杆停留2s，且整体手部在垂直于摄像单元的方向上超过5厘米的深度变化，则触发对应推杆功能，用户通过食指和中指合并，且两指指尖节点在屏幕显示区内垂直于摄像单元的方向上有超过5厘米的深度变化，触发对应走刀路线设置功能，两指指尖节点的空间坐标位置即为设定的走刀起始点与结束点，根据A*寻路算法结合用户设置的顺序进行连线，得到虚拟走刀路线，用户双手握拳触发急停命令，关键点检测单元根据上述设计的手势动作输出对应命令信号，仿真掘进机产生相应动作；
具体的，步骤S3中，掘进机操作准备阶段安全检查部分，包括电缆、管道、气体浓度、巷道支撑、掘进机部件检查，系统随机设置参数与故障，用户需在排查完毕后进行下一步实际操作。
具体的，步骤S3中，掘进机操作阶段操作流程包括：首先触发电源按键，向仿真掘进机操作系统发出测试指令，测试通过后，受训人员依次触发照明、预警、喷雾按键实现前期工作，接着打开星轮与输送机实现传送功能，利用推杆功能实现回转部左右转动，行走部前后移动，利用走刀路线设置功能设置仿真掘进机自动走刀路线，完整截割煤层，掉落的煤矿石通过运转的星轮与输送机传送出井下。
具体的，步骤S3中，掘进机操作阶段走刀路线设置命令中，系统自动提示岩石和土壤性质及隧道设计要求设定，给出推荐掘进速度、搭配刀盘转速、推进力参数，用户利用食指指尖节点进行数据设定，当用户设置的走刀路线节点过于集中、有效掘采率过低（用户针对数字煤层模型中煤层部分掘采凹陷程度与整个模型原体积对比）时，仿真掘进机操作系统根据A*算法自动优化路径，寻找最优简短路径，提示用户进行改进。
A*算法将用户设置的走刀路线画面栅格化，初始化设置开列表与闭列表，用户设置的起始点归入开列表，遍历开列表计算每一个结点的代价函数F：
式中G为起点到当前结点的欧氏距离，为平行于显示单元的二维空间坐标，公式为：
H为当前结点到终点的曼哈顿距离，公式为：
查找列表中F最小的结点a，将其作为当前要处理的结点，重复如下操作：
对当前待处理的结点a相邻的所有结点处理，若不可抵达或在闭列表中，则忽略，否则继续处理。
若相邻结点b不在开列表中，则将其加入开列表，并将当前待处理的结点a设置为父结点，结点b设置为当前待处理的结点，计算结点b的F、G、H值，若相邻结点b在开列表中，则检查起点到b的路径是否更好，参考标准为G值，若G值更小，则路径效果更好，自动将其父结点e作为当前待处理的结点，重新计算G、F值。
将二）处理后的结点a移动到闭列表，不再关注。
当满足下列任一条件，程序终止。
（1）终点加入开列表；
（2）无法查找到终点，且此时开列表为空；
如果终点已找到，查找最短路径：从终点开始，每个结点都沿着父结点运动，直至起点。所得最短路径即为用户设置的走刀路线。
具体的，步骤S3中，操作流程过程中，仿真掘进机操作系统记录按键、推杆触发顺序、次数、时间，判断虚拟掘进机运动角度、方向、距离，根据与数据库正确步骤对比，判定用户操作流程正确性，在用户结束训练后，系统自动评分，调用相关数据库数据，生成doc文件报告。
S4、将步骤S3操作过程传输至显示单元呈现用户操控过程与仿真环境反馈效果。
具体的，步骤S4中，仿真掘进机与仿真环境，掘进机虚拟模型是在UG NX10.0软件中参照实物建立原始模型，通过3DSMAX软件对三维模型贴图、渲染导入Unity3D中，在C#编程脚本中通过是否利用TCP通信接收到发送的字符串指令启停运动。
具体的，步骤S4中，Unity3D软件中仿真掘进机各部件周围设置包围盒作为安全操作范围，考虑到井下存在多名操作人员工作，在掘进机模型周围随机设置虚拟人员，当检测到部件运动超出安全范围，及时提醒用户，自动触发急停命令。
具体的，步骤S4中，仿真环境在Unity3D中结合真实井下环境搭建巷道，利用贴图功能，将不同石块颜色压缩成数字煤层模型，在Unity3D中设置虚拟相机进行拍摄，通过颜色区分有效煤层与无效煤矸石杂质，仿真掘进机掘采头设置碰撞检测，记录用户操作过程中煤层的碰撞区域，根据网格相对于原模型的变形程度计算掘采率，输出至显示单元。
具体的，步骤S4中，仿真环境利用Unity3D中的粒子和光源模块实现掘进机工作时的烟雾、喷水和灯光模拟效果，利用网格变形算法，将截割头作为地形网格变形的关键要素控制地形网格的凹陷程度，筛选截割头碰撞点周围顶点后，参考变形公式：
式中是刀具直径，/>是切削角，/>是切削深度，/>是刀具切削力，/>是刀具角速度，改变网格顶点坐标，预设不同形状石块模型，配合粒子效果，实现钻探后煤层的破碎状态视觉仿真。
本实施例中，上述技术方案在具体应用时包括以下步骤：
步骤一、进入仿真掘进机操作系统登录界面，系统打开虚拟键盘，在显示单元中显现，用户利用手势触发虚拟按键，输出对应内容，完成个人账户信息登录或注册，页面跳转至操作内容选择界面，系统关闭虚拟键盘；操作内容选择界面包括理论学习与实际操作两部分，用户选择科目进入；当用户进入理论学习，执行步骤二；当用户进行仿真掘进机操作练习时，执行步骤三；
步骤二、用户理论学习包括：
系统自动播放掘进机特种设备安全操作规范、法律法规，掘进机理论知识与操作流程，用户观看掘进机操作教学视频，观看完毕后，跳转进入仿真掘进机模型，模型各关键部件内嵌入操作视频链接，用户选择仿真掘进机模型各关键部件，跳转到相关教学视频，学习完毕退出理论学习界面；
步骤三、仿真掘进机操作练习包括：
所述仿真掘进机起始点位置为虚拟井下环境中巷道的掘采位置，截割头起始位置为垂直于虚拟煤矿层的正中心；
仿真掘进机模型在开始时自动初始化至起始点位置，截割头初始化至起始位置，用户根据规程和作业设计操作掘进机进行巷道掘进工作，根据设计手势首先触发掘进机操作平台电源按键，向仿真掘进机操作系统发出测试指令，测试通过后，依次触发照明、预警、喷雾按键实现准备工作，接着打开星轮与输送机实现传送功能；用户通过手势触发虚拟手柄，根据仿真掘进机模型推杆移动距离、速度及方向实现掘进机整体左右转向、前后移动、前支撑、铲板部、截割头升降功能；最后，用户利用手势触发虚拟截割头旋转按键，实现截割头正转，完整截割煤层，掉落的煤块通过运转的星轮与输送机传送出井下。完成操作后，系统根据用户操作规程自动评分，调用数据库所有相关数据生成doc文件报告，用户可据此进行复盘。
所述工作均通过仿真掘进机操作系统操作，用户通过操作系统与仿真掘进机模型实时交互，利用手势在界面操作虚拟按钮、手柄，触发命令信号向仿真模型发送，通过记录操作系统按键触发顺序、次数、时间，判断仿真掘进机运动角度、方向、距离以及用户操作流程是否正确，通过显示模块显示运动轨迹。
综上所述，借助于本发明的上述技术方案，通过采用多种算法精确识别手势，针对视频中存在的高光亮点，预处理单元通过所设计的算法，优化视频质量，避免了因高光对后续操作的影响；针对用户手势遮盖导致操作失灵问题，遮盖单元通过非最大值抑制算法，建立屏幕映射区，明确画面中的操作区域对应关系，大大提高识别的稳定性与准确性；关键点检测单元使用自适应质心-卡尔曼滤波算法去除空间数据抖动减小误差，利用神经网络快速精准检测判断用户手部关键节点空间数据，根据用户手势触发虚拟按键与虚拟推杆功能，多种算法结合使得系统鲁棒性大大提升。
此外，本发明设计手势操作便捷，方便用户快速入门操作，理论学习部分大大缩减传统实景操作中教练员的讲解时间，保障用户的安全，各操作项目均可反复进行学习并提供操作报告供用户复盘，仿真掘进机系统环境通过Unity3D粒子系统，结合网格变形算法，最大程度模拟真实掘采工况，根据用户手势操作频率与眼部姿态特征，仿真掘进机操作系统判断用户注意力集中程度，给予用户提醒，提高人机交互体验感，提高操作效率，缩短训练周期。
此外，本发明依赖于单目RGB视频输入，系统可跨平台操作，配置环境简单，支持计算机使用CPU生成实时检测，在笔记本上帧率在15~30fps，延迟<50ms，所设计虚拟按键、虚拟推杆，替代了传统训练中的操作硬件，节省训练成本，相对同类框架，在应用场景中优势明显，易于推广使用。
此外，本发明采用多种算法精确识别手势，系统鲁棒性大大提升，结合仿真算法最大程度模拟真实工况，实用性强，充分考虑人机交互体验感，操作简便，提高训练效率，缩短训练周期，采用单目视觉方法捕捉手部姿态，对硬件设备要求低，可部署在多个平台，易于推广使用。
在本发明中，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，包括摄像单元、显示单元及处理单元；
所述摄像单元用于实时拍摄用户手部与眼部姿态；
所述显示单元用于实时显示仿真掘进机操作画面及仿真环境反馈效果；
所述处理单元包括手势识别处理单元和仿真掘进机操作系统；
其中，所述手势识别处理单元在解决视频高光亮点与用户手势遮盖问题的基础上，通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；
所述手势识别处理单元包括预处理单元、遮盖处理单元、关键点检测单元及通信单元；
所述预处理单元对采集的实时视频数据进行去除高光亮点处理，再将处理过的实时视频数据发送至遮盖处理单元，进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元，所述关键点检测单元检测用户手部与眼部的关键节点空间坐标数据，并在判断手势命令与用户注意力集中程度后输出命令信号至通信单元，所述通信单元通过TCP/IP通信传输信号至仿真掘进机操作系统；
所述仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。
2.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，所述预处理单元对采集的实时视频数据进行去除高光亮点处理包括：
通过分析实时视频数据的高光特性，将视频画面由RGB颜色空间转至HSV颜色空间，其中，视频画面图像中任意点像素值的公式为：
；
式中，I表示像素值， 分别表示图像在/>点的色调值、饱和度值、亮度值，/>表示为图像中所有像素点集合；
通过设定饱和度、亮度阈值，逐帧提取实时视频表面高光区域图像，并使用图像均值滤波的方式处理高光区域；
将处理后的高光区域和原图像中非高光区域进行图像融合，并输出融合后的视频至遮盖处理单元。
3.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，所述遮盖处理单元在进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元时包括：
对手部移动区域进行定义，将屏幕显示区域划分为摄像头拍摄区、手势动作区/>、手掌框选区/>、屏幕显示区/>，则手势动作区与屏幕显示区存在比例关系m：
；
以屏幕显示区左下角和手势动作区左下角为坐标原点（0，0），手部关键节点空间坐标相对于手势动作区表示为/>，相对于屏幕显示区/>表示为/>，屏幕显示区的长度与宽度记为/>、/>，则在手势运动中，坐标位置在手势动作区/>和屏幕显示区/>之间存在映射关系：
；
；
建立手势框图，使用非最大值抑制算法对所有手势框图按照置信度进行排序，选择当前置信度最高的手势框图开始循环遍历视频，将当前置信度最高的手势框图添加到最终选择列表中，移除与当前已选择手势框图具有高重叠度的其他手势框图，更新剩余手势框图的集合，再寻找更新后集合中置信度最高的手势框图，重复上述操作直至所有手势框图被处理，输出处理完毕后置信度最高的手势框图送至关键点检测单元。
4.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，检测用户手部的关键节点空间坐标数据并进行手势判断包括：
判断用户食指指尖节点是否在屏幕显示区的十个虚拟按键功能区中单一虚拟按键停留2s，且食指指尖节点在垂直于摄像单元的方向上有超过阈值的深度变化，若是，则触发对应虚拟按键功能，若否，则不触发虚拟按键功能；
判断用户是否通过五指聚合形成类似真实握杆动作，整体手部在屏幕显示区的四个推杆功能区的单一虚拟推杆停留2s，且整体手部在垂直于摄像单元的方向上超过阈值的深度变化，若是，则触发对应推杆功能，若否，则不触发推杆功能；
判断用户是否通过食指和中指合并，且两指指尖节点在屏幕显示区内垂直于摄像单元的方向上有超过阈值的深度变化，若是，则触发对应走刀路线设置功能，两指指尖节点的空间坐标位置即为设定的走刀起始点与结束点，根据A*寻路算法结合用户设置的顺序进行连线，得到虚拟走刀路线，若否，则不设定走刀起始点与结束点；
判断用户是否双手握拳，若是，则触发急停命令，若否，则不触发急停命令；
将按键手势命令、推杆手势命令、走刀手势命令及急停手势命令对应的信号输出至通信单元，用以驱动对应仿真掘进机功能。
5.根据权利要求4所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，所述检测用户手部的关键节点空间坐标数据并进行手势判断还包括：
利用自适应质心-卡尔曼滤波算法对采集过程中出现的高频跳动问题进行处理；
利用卷积神经网络训练手势检测模型，并利用训练后的手势检测模型对采集的手势进行辅助判断。
6.根据权利要求5所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，检测用户手部与眼部的关键节点空间坐标数据，并判断用户注意力集中程度包括：
实时统计用户手部操作频率与检测用户眼部关键节点，并以用户手部操作发送命令的时间间隔作为依据判断用户注意力集中程度，当超过操作命令平均时间间隔，则判定为注意力不集中；
通过摄像单元获取用户双眼关键节点空间坐标数据，并分别计算用户左眼和右眼的纵横比EAR：
；
式中，EAR表示纵横比，依次代表外眼角、上眼皮左右、内眼角、下眼皮左右六个节点空间坐标数据，/>表示L2范数；
取用户左眼和右眼的纵横比的平均值作为最终的眼睛纵横比，并判断最终的眼睛纵横比是否超出阈值范围，若是，则判定为注意力不集中，若否，则结合用户手部操作频率判断注意力是否集中的判定结果，当用户手部操作频率判断用户为注意力不集中时，则判定为注意力不集中。
7.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，所述仿真掘进机操作系统包括登陆单元、理论学习单元及掘进机操作练习单元；
其中，所述登陆单元中用户利用通信单元发送的命令信号选择虚拟键盘按键进行个人账户信息登录，所述理论学习单元中用户学习掘进机操作理论知识、操作规范及操作教程，并在学习理论知识完毕后，所述掘进机操作练习单元中自动打开仿真掘进机第三视角画面，用户利用手势选择仿真环境中掘进机与巷道各个部件，并利用通信单元发送的命令信号操控仿真掘进机。
8.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，在掘进机操作阶段走刀路线设置命令中，掘进机操作练习单元自动提示岩石和土壤性质及隧道设计要求设定，并给出推荐掘进速度、搭配刀盘转速、推进力参数，用户利用食指指尖节点进行数据设定，当用户设置的走刀路线节点过于集中、有效掘采率过低时，仿真掘进机操作系统根据A*寻路算法自动优化路径，寻找最优简短路径，提示用户进行改进；
其中，根据A*寻路算法自动优化路径寻找最优简短路径包括：
将用户设置的走刀路线画面栅格化，初始化设置开列表与闭列表，用户设置的起始点归入开列表，遍历开列表计算每一个结点的代价函数F：
；
；
；
式中，G为起点到当前结点的欧氏距离，H为当前结点到终点的曼哈顿距离，为平行于显示单元的二维空间坐标；
查找列表中代价函数F最小的结点a，将其作为当前待处理的结点，重复如下操作：
一）对当前待处理的结点a相邻的所有结点处理，若不可抵达或在闭列表中，则忽略，否则继续处理；
二）若相邻结点b不在开列表中，则将其加入开列表，并将当前待处理的结点a设置为父结点，结点b设置为当前待处理的结点，计算结点b的F、G、H值，若相邻结点b在开列表中，则检查起点到b的路径是否更好，若当前计算的G值小于参考标准的G值，则路径效果更好，自动将其父结点e作为当前待处理的结点，重新计算G、F值；
三）将二）处理后的结点a移动到闭列表，不再关注；
当满足下列任一条件，则程序终止；
条件一、终点加入开列表；
条件二、无法查找到终点，且此时开列表为空；
若终点已找到，查找最短路径：从终点开始，每个结点都沿着父结点运动，直至起点，所得最短路径即为最优简短路径。
9.根据权利要求1所述的一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，所述显示单元中的仿真环境利用Unity3D中的粒子和光源模块实现掘进机工作时的烟雾、喷水和灯光模拟效果，利用网格变形算法，将截割头作为地形网格变形的关键要素控制地形网格的凹陷程度，筛选截割头碰撞点周围顶点后，利用参考变形公式改变网格顶点坐标，预设不同形状石块模型，配合粒子效果，实现钻探后煤层的破碎状态视觉仿真；
其中，参考变形公式为：
；
；
式中，（x变，y变）表示改变后的坐标，（x原，y原）表示改变前的坐标，为刀具直径，/>为切削角，/>为切削深度，/>为刀具切削力，/>为刀具角速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410015789.1A CN117519487B (zh) | 2024-01-05 | 2024-01-05 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410015789.1A CN117519487B (zh) | 2024-01-05 | 2024-01-05 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117519487A CN117519487A (zh) | 2024-02-06 |
| CN117519487B true CN117519487B (zh) | 2024-03-22 |
Family
ID=89753553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410015789.1A Active CN117519487B (zh) | 2024-01-05 | 2024-01-05 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117519487B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105536205A (zh) * | 2015-12-08 | 2016-05-04 | 天津大学 | 一种基于单目视频人体动作感知的上肢训练系统 |
| CN106512391A (zh) * | 2016-11-09 | 2017-03-22 | 华南理工大学广州学院 | 一种双手手势识别方法及基于其的模拟驾驶系统、方法 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训系统和方法 |
| DE102018008366A1 (de) * | 2018-10-23 | 2020-05-07 | INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH | Verfahren und Anlage zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatzes eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage |
| CN113380088A (zh) * | 2021-04-07 | 2021-09-10 | 上海中船船舶设计技术国家工程研究中心有限公司 | 一种交互式模拟培训保障系统 |
| WO2022116282A1 (zh) * | 2020-12-04 | 2022-06-09 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
| CN114840079A (zh) * | 2022-04-27 | 2022-08-02 | 西南交通大学 | 一种基于手势识别的高铁模拟驾驶动作虚实交互方法 |
| CN115202479A (zh) * | 2022-07-15 | 2022-10-18 | 西安交通大学 | 人在回路的人机共驾仿真系统及其应用 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US9195345B2 (en) * | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
| US11137832B2 (en) * | 2012-12-13 | 2021-10-05 | Eyesight Mobile Technologies, LTD. | Systems and methods to predict a user action within a vehicle |
| EP3721320B1 (en) * | 2017-12-07 | 2022-02-23 | Eyefree Assisting Communication Ltd. | Communication methods and systems |
-
2024
- 2024-01-05 CN CN202410015789.1A patent/CN117519487B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105536205A (zh) * | 2015-12-08 | 2016-05-04 | 天津大学 | 一种基于单目视频人体动作感知的上肢训练系统 |
| CN106512391A (zh) * | 2016-11-09 | 2017-03-22 | 华南理工大学广州学院 | 一种双手手势识别方法及基于其的模拟驾驶系统、方法 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训系统和方法 |
| DE102018008366A1 (de) * | 2018-10-23 | 2020-05-07 | INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH | Verfahren und Anlage zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatzes eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage |
| WO2022116282A1 (zh) * | 2020-12-04 | 2022-06-09 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
| CN113380088A (zh) * | 2021-04-07 | 2021-09-10 | 上海中船船舶设计技术国家工程研究中心有限公司 | 一种交互式模拟培训保障系统 |
| CN114840079A (zh) * | 2022-04-27 | 2022-08-02 | 西南交通大学 | 一种基于手势识别的高铁模拟驾驶动作虚实交互方法 |
| CN115202479A (zh) * | 2022-07-15 | 2022-10-18 | 西安交通大学 | 人在回路的人机共驾仿真系统及其应用 |
Non-Patent Citations (1)
| Title |
|---|
| 基于手势交互的输电线路运维沉浸式操作训练平台;张秋实;王力农;方雅琪;胡建勋;;电力科学与技术学报;20171228(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117519487A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104750397B (zh) | 一种基于体感的虚拟矿井自然交互方法 | |
| US20240053771A1 (en) | Objective-Based Control Of An Autonomous Unmanned Aerial Vehicle | |
| CN105051754B (zh) | 用于通过监控系统检测人的方法和装置 | |
| CN107180226A (zh) | 一种基于组合神经网络的动态手势识别方法 | |
| KR102106135B1 (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| CN109999496A (zh) | 虚拟对象的控制方法、装置和电子装置 | |
| CN104517100B (zh) | 手势预判方法和系统 | |
| CN116152863B (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN111966217A (zh) | 基于手势和眼动的无人机控制方法和系统 | |
| WO2024060978A1 (zh) | 关键点检测模型训练及虚拟角色驱动的方法和装置 | |
| CN109708658A (zh) | 一种基于卷积神经网络的视觉里程计方法 | |
| WO2023104557A1 (en) | Machine-learning for safety rule violation determination | |
| CN110652726A (zh) | 一种基于图像识别和音频识别的游戏辅助系统 | |
| CN107329564B (zh) | 基于手势智能感知和人机协同机制的人机猜拳方法 | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN117519487B (zh) | 一种基于视觉动捕的掘进机操控教学辅助培训系统 | |
| CN114972818A (zh) | 一种基于深度学习与混合现实技术的目标锁定系统 | |
| KR101862545B1 (ko) | 로봇을 이용한 구조구난 서비스 제공방법 및 시스템 | |
| JP7208610B2 (ja) | 車両認識システムおよび車両認識方法 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| JP2021008754A (ja) | 破砕片検出方法、破砕片小割方法、破砕片検出装置および破砕片小割装置 | |
| KR20210003515A (ko) | 인터렉티브모드를지원하는증강현실구현장치 | |
| CN113554682B (zh) | 一种基于目标跟踪的安全帽检测方法 | |
| Gokl et al. | Towards urban environment familiarity prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |