CN113359987A - 基于vr虚拟现实的半实物综采实操平台 - Google Patents

基于vr虚拟现实的半实物综采实操平台 Download PDF

Info

Publication number
CN113359987A
CN113359987A CN202110620857.3A CN202110620857A CN113359987A CN 113359987 A CN113359987 A CN 113359987A CN 202110620857 A CN202110620857 A CN 202110620857A CN 113359987 A CN113359987 A CN 113359987A
Authority
CN
China
Prior art keywords
virtual
coordinate system
module
training
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110620857.3A
Other languages
English (en)
Other versions
CN113359987B (zh
Inventor
吴文臻
杨大山
刘宁宁
戴万波
张立亚
孟庆勇
彭然
孟杰
赵初峰
华冬
王洪利
张立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Coal Research Institute CCRI
Original Assignee
China Coal Research Institute CCRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Coal Research Institute CCRI filed Critical China Coal Research Institute CCRI
Priority to CN202110620857.3A priority Critical patent/CN113359987B/zh
Publication of CN113359987A publication Critical patent/CN113359987A/zh
Application granted granted Critical
Publication of CN113359987B publication Critical patent/CN113359987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于VR虚拟现实的半实物综采实操平台，涉及矿山安全培训技术领域，该平台包括由操作台、VR头盔、手柄和定位基站组成的硬件平台，和由理论培训模块、虚拟仿真模块和实操考核模块组成的软件平台；理论培训模块用于根据培训大纲制作三维动画，将三维动画的图像通过网络传输至显示设备，以在显示设备上显示三维动画；虚拟仿真模块用于采用VR虚拟现实的方式，实现巷道漫游模式、单机操作模式和工艺联合模式的模拟训练；实操考核模块用于显示根据所述培训大纲生成的考核内容，获取用户根据考核内容输入的答案，并根据答案确定用户的考核成绩。上述方案实现了综采设备实操的互动真实性和强烈的沉浸感，且从根本上改变综采设备操作培训的模式。

Description

基于VR虚拟现实的半实物综采实操平台
技术领域
本申请涉及矿山安全培训技术领域，尤其涉及一种基于VR虚拟现实的半实物综采实操平台。
背景技术
煤炭生产企业机械设备操作培训，主要依靠口头传授和老技工传带，影响正常的生产作业，同时存在一定的安全隐患，采掘、提升、运输设备的误操作甚至带来严重的安全事故；煤矿安全监管部门的培训主要采用理论培训，脱离井下实际环境，内容较为抽象，培训效果较差；大中专院校学生的实习，出于安全考虑，井下一般只对矿山设备进行参观，不能真实看到设备的工作过程，更不能参与设备的操作，实习效果差。
目前煤矿综采培训主要采用模型讲解和虚拟体验等几种形式，模型采用可部分还原井下真实情况，起到认知作用；VR虚拟现实技术在国内外矿业中的应用取得了一定成果，其主要是针对如何提高矿业生产的安全性问题，均采用虚拟桌面和手柄进行互动操作。
但是，现有技术中的综采工作面设备操作难度大，相互配合关系复杂，操作人员需要经过系统培训；传统的井下设备实操培训方式周期长、效果差，甚至影响生产，存在安全隐患；新型的半实物仿真和VR虚拟现实存在明显不足，但优势形成互补。目前半实物仿真操作的真实性强浸感弱，而VR虚拟具有现实强烈真实的沉浸感，但佩戴头显设备无法观察外部世界，只能操作专用手柄，操作真实性差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
针对综采工作面设备操作难度大，相互配合关系复杂，操作人员需要经过系统培训；传统的井下设备实操培训方式周期长、效果差，甚至影响生产，存在安全隐患；新型的半实物仿真和VR虚拟现实存在明显不足，但优势形成互补。目前半实物仿真操作的真实性强浸感弱，而VR虚拟具有现实强烈真实的沉浸感，但佩戴头显设备无法观察外部世界，只能操作专用手柄，操作真实性差的问题，本申请的第一个目的在于提出一种基于VR虚拟现实的半实物综采实操平台。
为达上述目的，本申请第一方面实施例提出了一种基于VR虚拟现实的半实物综采实操平台，包括，硬件平台和软件平台，其中，
所述硬件平台包括操作台、VR头盔、手柄和定位基站，所述操作台的元器件的种类、功能、大小布局方式与采煤机操作台的原型设备相对应；
所述软件平台包括理论培训模块、虚拟仿真模块和实操考核模块，其中，
所述理论培训模块，用于根据培训大纲制作三维动画，将所述三维动画的图像通过网络传输至显示设备，以在所述显示设备上显示所述三维动画；
所述虚拟仿真模块，用于采用VR虚拟现实的方式，实现巷道漫游模式、单机操作模式和工艺联合模式的模拟训练；
所述实操考核模块，用于显示根据所述培训大纲生成的考核内容，获取用户根据所述考核内容输入的答案，并根据所述答案确定所述用户的考核成绩。
可选的，在本申请的实施例中，所述虚拟仿真模块，还用于搭建综采工作面虚拟场景，其中，确定综采工作面的地质条件和基本参数，根据所述地质条件和基本参数设定所述综采工作面虚拟场景。
可选的，在本申请的实施例中，基于VR虚拟现实的半实物综采实操平台，还包括：上位机，其中，
所述虚拟仿真模块，还用于在虚拟场景中构建虚拟操作台，所述虚拟操作台与所述操作台的状态反馈保持一致，其中，所述操作台的状态反馈在操作完成后通过所述操作台上的按钮指示灯进行显示；
所述上位机，用于在进入虚拟仿真模式后，以预设时间间隔读取单片机寄存器数据，并将各通道变量反馈到所述虚拟操作台的面板上，以提示用户需要复位的控件。
可选的，在本申请的实施例中，基于VR虚拟现实的半实物综采实操平台，还包括：固定控件定位模块，其中，
将所述定位基站固定到所述操作台上；
所述虚拟仿真模块，还用于通过与控制面板的相对位置关系，将控件图像映射到所述虚拟场景中；
所述固定控件定位模块，用于对所述操作台上的固定控件进行定位，其中，根据定位设备的位置推导出所述固定控件的位置，所述定位设备包括追踪器，所述追踪器固定于所述操作台的面板上，所述追踪器的姿态始终与所述操作台的姿态保持一致。
可选的，在本申请的实施例中，在所述固定控件定位模块中，采用下述方式对所述固定控件进行定位：
采用全局坐标系O-XYZ进行建模，所述追踪器为原点确定的坐标系为局部坐标系O'-X'Y'Z'，所述追踪器在全局坐标系中的坐标为(x0,y0,z0)，同一控件在所述全局坐标系和所述局部坐标系中的坐标分别为(X,Y,Z)和(X',Y',Z')，所述局部坐标系与所述全局坐标系Z、Y、X轴夹角分别为Ψ、θ、φ，由所述局部坐标系变换为所述全局坐标系需要经过下述两个步骤：
将所述局部坐标系坐标轴旋转为与所述全局坐标系对应坐标轴一致；
将所述局部坐标系原点平移到所述全局坐标系，坐标轴的旋转和平移过程表示为如下关系：
Figure BDA0003099810400000031
其中，R为旋转矩阵，绕三个轴旋转的次序不同，以欧拉角表示的旋转矩阵的形式不同，按照旋转顺序Z→Y→X求得的旋转矩阵为：
Figure BDA0003099810400000032
根据上述两个公式求得所述固定控件在所述全局坐标系下的坐标；
用户的手和眼在追踪器的局部坐标系中的位置随时间变化，并由定位系统封装好的程序给出，针对手坐标，在追踪器的局部坐标系中的坐标为(Xh(t),Yh(t),Zh(t))，追踪器在全局坐标系中的坐标为：
Figure BDA0003099810400000033
根据所述操作台与用户的手、眼的统一坐标系，以实现对所述固定控件的定位。
可选的，在本申请的实施例中，基于VR虚拟现实的半实物综采实操平台，还包括：位移控件定位模块，所述位移控件定位模块用于对位移控件进行定位；其中，
所述位移控件为液压支架控制手柄，所述位移控件定位模块采用下述方式对所述位移控件进行定位：
追踪器的局部坐标系O'-X'Y'Z'为右手坐标系，X'轴和Z'轴确定的平面在追踪器所在的圆平面内，Y'轴垂直于追踪器，将X'轴与所述液压支架控制手柄旋转轴中心组成的连线平行；
电位器中心点Os坐标设为(XS,YS,ZS)，手柄长度为Ls，中间位置手柄轴线与Z'轴夹角为α；
选用单圈电位器，最大阻值为R，中间位置处电位器的电阻值为R0，扳动后任意位置的电阻值为RS，手柄顶点Bs的坐标为：
Figure BDA0003099810400000041
其中，XB的坐标可根据面板设计图测量得到；
将上式带入式：
Figure BDA0003099810400000042
后得到：
Figure BDA0003099810400000043
以获得手柄定点在全局坐标系的位置。
可选的，在本申请的实施例中，所述基于VR虚拟现实的半实物综采实操平台还包括：手部动作捕捉模块，所述手部动作捕捉模块用于定位用户的手部整体位置；其中，采用下述方式对所述手部整体位置进行定位：
将HTC光学定位系统的追踪器固定于数据手套腕部，配合定位基站提供前臂在导航坐标系的绝对坐标，以定位手部整体位置；
其中，基于二指六连杆七自由度模型，在手部大拇指和食指指骨上布置微惯性传感器，提供指骨载体坐标，通过所述骨载体坐标对应的指骨位置及姿态确定指骨在导航坐标系的位置及姿态，根据腕部绝对坐标、指骨导航坐标，实时重生成手部运动姿态，并在虚拟系统中显示。
可选的，在本申请的实施例中，根据矿山安全操作大纲、人体手部骨骼结构和手部运动力学模型构建所述二指六连杆七自由度模型，所述二指六连杆七自由度模型具体包括，
针对所述矿山安全操作大纲手部基本动作包括拇指摁、食指摁、拧和拉，其中，通过食指和拇指完成所述拇指摁、所述食指摁、所述拧和所述拉；所述食指和所述拇指为所述二指六连杆七自由度模型中的二指；
所述二指六连杆七自由度模型中的六连杆包括前臂，拇指掌骨、近节指骨，食指掌骨、近节指骨和中节指骨；
所述二指六连杆七自由度模型中的七自由度包括拇指手腕关节弯曲、拇指手腕关节外展、拇指掌指关节内向弯曲、食指手腕关节内向旋转、食指掌指关节弯曲、食指掌指关节外展和食指近指关节内向弯曲。
可选的，在本申请的实施例中，所述虚拟仿真模块搭建综采工作面虚拟场景，其中，所述虚拟仿真模块包括几何建模单元、形象建模单元和行为建模单元；
所述几何建模单元，用于确定虚拟场景的基本构成与布局，按照实体矿井的配置布设所述虚拟场景，将所述虚拟场景及场景内的设备绘制成具有几何形状的三维模型；
所述形象建模单元，用于对所述三维模型进行纹理贴图和光照处理；
所述行为建模，用于赋予所述三维模型物理属性、行为与反应能力，以建立动态实体的活动、变化以及与周围环境和其它动态实体之间的动态关系。
可选的，在本申请实施例中，所述行为包括液压支架的运动行为和采煤机的工作行为，所述液压支架的运动行为包括前梁伸/收、后梁伸/收、推移前部刮板、移架、抬/降底座、侧护板伸/收、护帮板打开/收回、拉后部刮板、尾梁升/降、插板打开/关闭中的一种或者多种，所述采煤机的工作行为包括左右牵引行走、摇臂上下摆动、滚筒转动、喷雾洒水中的一种或者多种。
本申请提供的一种基于VR虚拟现实的半实物综采实操平台，包括硬件平台和软件平台，其中，硬件平台包括操作台、VR头盔、手柄和定位基站，操作台的元器件的种类、功能、大小布局方式与采煤机操作台的原型设备相对应；软件平台包括理论培训模块、虚拟仿真模块和实操考核模块，其中，理论培训模块用于根据培训大纲制作三维动画，将三维动画的图像通过网络传输至显示设备，以在显示设备上显示三维动画；虚拟仿真模块用于采用VR虚拟现实的方式，实现巷道漫游模式、单机操作模式和工艺联合模式的模拟训练；实操考核模块用于显示根据所述培训大纲生成的考核内容，获取用户根据考核内容输入的答案，并根据答案确定用户的考核成绩。由此可知，本申请通过VR虚拟现实技术、设备操作台与VR虚拟场景交互技术、虚拟现实定位及动作捕捉技术，解决了现用技术因综采设备实操培训停留在模型讲解和虚拟体验导致的培训效果差，以及实物操作与虚拟场景的实时响应和佩戴VR头部显示设备条件下的设备准确操作差的问题，实现了综采设备实操的互动真实性和强烈的沉浸感，从根本上改变综采设备操作培训的模式。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于VR虚拟现实的半实物综采实操平台的模块划分及框图；
图2为本申请实施例中采煤机的主板与扩展板之间的一主多扩模式示意图；
图3为本申请实施例中液压支架的主板与扩展板之间的一主多从多扩模式示意图；
图4为本申请实施例中液压支架控制手柄位置示意图；
图5为本申请实施例中数据手套的整体设计流程图；
图6为本申请实施例中综采VR虚拟现实场景构建的流程图；
图7为本申请实施例中采煤机的电路图；
图8为本申请实施例中液压支架操作台的电路图；
图9为本申请实施例中人类手部结构的示意图；
图10为本申请实施例中手部运动力学模型的示意图；
图11为本申实施例中矿山设备实训基本动作；
图12为本申请实施例中二指六连杆七自由度模型；以及
图13为本申请实施例中数据手套的硬件结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于VR虚拟现实的半实物综采实操平台。
图1为本申请实施例所提供的一种基于VR虚拟现实的半实物综采实操平台的模块划分及框图。
针对综采工作面设备操作难度大，相互配合关系复杂，操作人员需要经过系统培训；传统的井下设备实操培训方式周期长、效果差，甚至影响生产，存在安全隐患；新型的半实物仿真和VR虚拟现实存在明显不足，但优势形成互补；目前半实物仿真操作的真实性强浸感弱，而VR虚拟具有现实强烈真实的沉浸感，但佩戴头显设备无法观察外部世界，只能操作专用手柄，操作真实性差的这一问题，本申请实施例提供了一种基于VR虚拟现实的半实物综采实操平台，以解决现用技术因综采设备实操培训停留在模型讲解和虚拟体验导致的培训效果差，以及实物操作与虚拟场景的实时响应和佩戴VR头部显示设备条件下的设备准确操作差的问题，实现了综采设备实操的互动真实性和强烈的沉浸感，从根本上改变综采设备操作培训的模式。
如图1所示，本申请实施例提供的一种基于VR虚拟现实的半实物综采实操平台，包括硬件平台和软件平台，具体而言，
本申请实施例中的硬件平台包括操作台、VR头盔、手柄和定位基站，操作台的元器件的种类、功能、大小布局方式与采煤机操作台的原型设备相对应。由于本申请实施例中操作台的元器件的种类、功能、大小布局方式与原型设备完全一直，因此提高了培训的真实性。
本申请实施例中的软件平台包括理论培训模块、虚拟仿真模块和实操考核模块。
理论培训模块，用于根据培训大纲制作三维动画，将所述三维动画的图像通过网络传输至显示设备，以在所述显示设备上显示所述三维动画。具体而言，本申请实施例中培训内容的确定主要依据《煤矿采煤机(掘进机)操作作业安全技术培训大纲及考核要求》和《煤矿综采移架工安全技术培训大纲及考核要求》(煤安监函〔2019〕2号)。两个文件对于采煤机司机和综采移架工要求的培训内容均分为煤矿安全生产知识和安全操作技能两部分。通过分析煤矿安全生产知识培训内容大纲，将其分为两部分，第一部分是通用煤矿安全生产知识，此部分内容属于通用知识，全部工种均需要同等掌握，与要培训的工种特点无关；另一部分是与工种相关的专有知识，不同工种培训内容完全不同。采煤机司机和液压支架工大纲要求的培训内容分析分别见表2-1和表2-2。
表2-1采煤机司机培训大纲分析
Figure BDA0003099810400000071
表2-2煤矿综采移架工培训大纲分析
Figure BDA0003099810400000081
本申请实施例提供的基于VR虚拟现实的半实物综采实操平台的定位是：面向矿山安全培训领域，主要是面向采煤机司机和移架工，坚持理论与实践相结合，侧重实际操作技能训练，兼顾理论培训和考核。依据功能将平台划分为理论培训、虚拟仿真和实操考核三个模块，模块功能定位见表2-3。
表2-3平台模块划分及功能定位
Figure BDA0003099810400000091
由表2-3可知，理论培训模块是对培训大纲或考试大纲中涉及的采煤机司机和移架工专有理论知识进行培训，培训方式采用三维动画形式，一台设备可以多人同时学习，图像也可以通过局域网远程播放学习。为更加系统性、条理性，对上述专有理论知识进行梳理细化。在本申请实施例中依据上述大纲制作三维动画，且每个标题独立制作，以实现采煤机司机和移架工在学习时可以通过点击相应的章节快速学习。
本申请实施例中的虚拟仿真模块，用于采用VR虚拟现实的方式，实现巷道漫游模式、单机操作模式和工艺联合模式的模拟训练。具体而言，虚拟仿真模块主要针对大纲规定的安全操作技能培训，采用VR虚拟现实的方式，模块分为巷道漫游、单机操作和工艺联合三个子模块。巷道漫游模式下不能对工作面设备进行操作，只能在工作面内漫游，了解工作面设备布置及主要设备性能参数。单机操作模式下供采煤机司机和移架工单独对采煤机或液压支架进行控制练习，待操作熟练后进入工艺联合模式。工艺联合模式下采煤机司机和移架工通过局域网通信进入同一综采工作面场景，两个工种同时进行操作，练习两者之间不同开采工艺及阶段的相互配合关系。
本申请实施例中的实操考核模块，用于显示根据所述培训大纲生成的考核内容，获取用户根据所述考核内容输入的答案，并根据所述答案确定所述用户的考核成绩。具体而言，实操考核模块依据2016年国家煤矿安全监察局发布的《煤矿采煤机操作作业安全技术实际操作考试标准》(煤安监行管〔2016〕19号)设计该模块考核内容。考核内容由两个科目组成：采煤机作业前安全检查K1和采煤机安全操作K2，其中采煤机安全检查K1科目主要采用手指口述的方式进行，即根据手指口述要求选择满足题干要求的虚拟场景，采煤机安全操作K2科目主要采用仿真作业的方式，即根据题干内容操作采煤机司机操作台。该模块在答题完成后自动判卷给出成绩。
进一步而言，本申请实施例中的虚拟仿真模块，还用于搭建综采工作面虚拟场景，其中，确定综采工作面的地质条件和基本参数，根据所述地质条件和基本参数设定所述综采工作面虚拟场景。
具体而言，本申请实施例中的虚拟仿真模块需要搭建综采工作面虚拟场景，作为设备运行空间和人员行走空间。为了体现场景的通用性和代表性，通常情况下工作面场景设定为近水平中厚煤层开采工作面，煤层开采厚度3.0m，工作面长度150m，煤层倾角0°，煤层结构简单。需要模拟综放开采场景时煤层厚度调整为9.0m，采高3.0m，放煤高度6.0m，采放比1:2。需要模拟往返一次割一刀煤时，工作面倾角调整为10°，属于缓倾斜煤层。工作面顺槽及切眼断面参数及支护形式见表2-4。
表2-4虚拟场景工作面顺槽和切眼断面参数及支护形式
巷道名称 进、回风 断面形状 净宽(m) 净高(m) 净断(m<sup>2</sup>) 支护形式
轨道顺槽 回风 矩形 5.0 3.0 15 锚网
运输顺槽 进风 矩形 5.0 3.0 15 锚网
切眼 安装设备 矩形 8.5 3.0 25.5 锚网
联络巷 进、回风 矩形 3.5 3.0 10.5 锚喷
进一步而言，本申请实施例中三机配套原型设备选型及配套关系如下所述：
在本申请实施例的虚拟场景设定之后，需要根据开采条件配套三机原型设备，作为后期建模、程序编写和实物操作台制作的依据。三机设备型号选择的原则为：
①设备操作具有代表性，操作流程及操作方法与大部分设备基本一致，不选用特殊的非常见装备；
②设备功能齐全，适应设定的虚拟场景；
③设备之间配套合理；
④除工作面三机设备外，两条顺槽配套设备，尤其是设备列车上的配套设备，同时配置，为了建模方便适当简化处理。
在本申请实施例中的轨道顺槽内布置设备列车，从巷道外口至工作面设备列车上的设备依次为：固定机、工具箱两车、高防车、盘好的电缆车(两车)、变压器(三车)、组合开关三车、控制台、小电照明开关一车、水箱一车、水泵两台、油车、乳化液车、乳化箱、乳化泵两车、电缆车盘三车、回柱机。此类设备不选定具体型号，建模可以适当简化，能根据轮廓判断设备类型即可。
本申实施例中的运输顺槽采用皮带运输，主要设备包括：转载机、破碎机、胶带运输机、超前支护、端头支架、前后部刮板输送机机头。
进一步而言，本申请实施例提供的一种基于VR虚拟现实的半实物综采实操平台，还包括：上位机，其中，
虚拟仿真模块，还用于在虚拟场景中构建虚拟操作台，虚拟操作台与所述操作台的状态反馈保持一致，其中，操作台的状态反馈在操作完成后通过操作台上的按钮指示灯进行显示；
上位机，用于在进入虚拟仿真模式后，以预设时间间隔读取单片机寄存器数据，并将各通道变量反馈到虚拟操作台的面板上，以提示用户需要复位的控件。
具体而言，本申请实施例中的虚拟设备操作数据、运行状态等需要反馈给操作人员，供制定进一步操作决策，为保证操作人员佩戴VR头部显示设备条件下能够操作真实面板，虚拟场景中需要构建虚拟操作台，虚拟操作台与真实操作台的状态反馈应该一致。其中，虚拟设备运行数据经数据采集与处理系统处理后转换为面板显示数据。
本申请实施例根据采煤机和液压支架面板控件按钮清单，均不含仪器仪表类控件，主要以按钮、旋钮、手把为主。真实操作台的状态反馈不需经数据采集及处理系统，直接在操作完成后自行显示。按钮采用带指示灯或在旁边设置指示灯，旋钮自身带刻度指示。真实面板的状态反馈主要是在裸眼条件下操作或给观摩人员观看使用。
在本申请实施例中，虚拟操作台面板的状态反馈是操作人员操作的决策依据，进入虚拟仿真模式后，上位机程序开始以200ms的时间间隔读取单片机寄存器数据，并将各通道变量反馈到虚拟操作台面板，提示操作人员需要复位的控件。操作过程中，各按钮控件以高亮表示按钮被按下。采煤机运行速度根据加速按钮被按下的时间计算，并通过文字反馈到虚拟画面。液压支架支撑压力根据支架顶梁接顶后手柄的扳动方向和时间计算，并通过文字反馈到虚拟画面。
另外，其一，关于综采设备操作台数据采集与处理，本申请实施例研究按钮、操作手柄等操作数据采集与逻辑处理算法，将数据转换为能够被VR仿真场景识别的驱动信号。
主板基于ATMEGA16型单片机设计，可以采集8路模拟量数据，模拟量电压信号经低通滤波器接入单片机内置12位高精度ADC，单片机采用RS485总线与上位机通信，内部利用I2C总线主从机制与扩展电路板通信。必要时通过修改程序，该电路板也可作为从机使用，扩展模拟量采集通道数，其中，本申请实施例中的扩展电路板可以采集16路开关量信号，核心为PCA9555D芯片，开关量信号经去抖电路后通过TLP521-1光电耦合器进行光电隔离，防止外部电路对内部电路影响。再经过74HC14对信号进行放大后进入到主芯片进行采集，并通过I2C总线与主板通信。
在本申请实施例中主板和扩展板之间连接有两种模式：一种是一块主板与若干块(不超过8块)扩展板通过I2C总线相连，形成一主多扩模式，如图2所示，主板通过地址巡检与扩展板通信，该模式可以采集8路模拟量和最多128路开关量，适用于需要采集的模拟量较少，开关量很多的情况；另一种模式是多块主板与若干块扩展板通过I2C总线相连，形成一主多从多扩模式，如图3所示，其中一块主板作为主机，其他主板为从机，通过单片机内编写程序区分主机和从机地址，作为从机的主板和扩展板总数不超过10块为宜，该模式适用于需要采集的模拟量数量较多的情况。两种模式与计算机通信方式相同，均由主板采用RS485串口通过ModBus协议与计算机通信，本次开发的采煤机操作台采用的是一主多扩模式，一块主板与两块扩展板相连；液压支架操作台采用的一主多从多扩模式，两块主板与一块扩展板相连，其中一块主板作为主机，另一块作为从机。
其二，关于交互数据通信协议及接口，即本申请实施例中设备操作台与VR虚拟场景交互数据的通信协议及物理接口。
学员对操作台的操作需要被计算机识别，虚拟场景中的设备做出相应的动作，为实现此功能需要两方面的通信，一是同一操作台数据采集电路与计算机之间的通信，二是不同操作台计算机之间的通信。两者采用的通信方式不同，通信协议相同，见表3-3、表3-4。
1)同一操作台数据采集电路与计算机之间的通信
数据采集电路采集到的控件动作，经处理后采用ModBus通信协议经RS485串口与计算机通信，鉴于目前大部分电脑不配备串口，采用串口转USB设备进行转接。
2)操作台之间计算机的通信
采煤机操作台与液压支架操作台分别独立配备计算机及数据采集电路，两个操作台之间数据采集电路独立运行，计算机之间在局域网内通过TCP/IP协议通信，用以在联机模式下两个操作台场景同步、操作同步、运行数据同步。
其三，关于VR虚拟现实定位及动作捕捉技术，本申请实施例包括固定控件定位模块，换言之，固定控件定位模块是对固定控件的定位，将定位基站固定到所述操作台上；
虚拟仿真模块，还用于通过与控制面板的相对位置关系，将控件图像映射到虚拟场景中；
固定控件定位模块，用于对操作台上的固定控件进行定位，其中，根据定位设备的位置推导出固定控件的位置，定位设备包括追踪器，追踪器固定于操作台的面板上，追踪器的姿态始终与操作台的姿态保持一致。由于操作台面板控件不能直接定位，只能根据可定位设备位置进行推导，本申请实施例采取的处理方式是将Tracker追踪器固定于操作台面板上，形成刚性连接，追踪器与操作台始终保持同一姿态，各控件位置与追踪器相对固定，
基于广泛应用的室内尺度精确定位系统Lighthouse，将基站固定到操作台上，通过与控制面板的相对位置关系，将控件图像反映到虚拟世界中，实现对按钮、指示灯、仪表等固定控件的虚拟场景定位。
针对液压支架手柄操作过程产生连续位移，无法通过相对位置定位的问题，采用固定追踪器或记录位移量的方式，实现位移控件在虚拟场景的移动定位。
佩戴VR头部显示设备的操作人员能够正确观察到操作台面板控件，并产生与真实世界相同距离感的前提是通过VR虚拟现实定位技术，将操作台面板控件与操作人员的手、眼的相对位置在虚拟场景实时重构。
Lighthouse激光定位技术为非开源技术，其内部可定位设备包括头部显示设备、手柄和Tracker追踪器，Tracker追踪器是官方专门为拓展虚拟现实的用途开发的定位装置。同一定位系统中的可定位设备之间的相对位置关系可以由定位系统封装好的软件程序给出，并且可以设定任何一个可定位设备为坐标原点，各定位设备自身翻转引起的姿态变化可在可定位设备局部坐标系内由封装好的程序给出。
进一步而言，本申实施例中的固定控件定位模块采用下述方式对所述固定控件进行定位：
Unity3D场景建模时，采用全局坐标系O-XYZ进行建模，追踪器为原点确定的坐标系为局部坐标系O'-X'Y'Z'，两者均为正交笛卡尔坐标系。追踪器在全局坐标系中的坐标为(x0,y0,z0)，同一控件在所述全局坐标系和所述局部坐标系中的坐标分别为(X,Y,Z)和(X',Y',Z')，所述局部坐标系与所述全局坐标系Z、Y、X轴夹角分别为Ψ、θ、φ，由所述局部坐标系变换为所述全局坐标系需要经过下述两个步骤：
将所述局部坐标系坐标轴旋转为与所述全局坐标系对应坐标轴一致；
将所述局部坐标系原点平移到所述全局坐标系，坐标轴的旋转和平移过程表示为如下关系：
Figure BDA0003099810400000131
其中，R为旋转矩阵，绕三个轴旋转的次序不同，以欧拉角表示的旋转矩阵的形式不同，按照旋转顺序Z→Y→X求得的旋转矩阵为：
Figure BDA0003099810400000132
根据上述两个公式求得所述固定控件在所述全局坐标系下的坐标；
用户的手和眼在追踪器的局部坐标系中的位置随时间变化，并由定位系统封装好的程序给出，针对手坐标，在追踪器的局部坐标系中的坐标为(Xh(t),Yh(t),Zh(t))，追踪器在全局坐标系中的坐标为：
Figure BDA0003099810400000141
根据所述操作台与用户的手、眼的统一坐标系，以实现对所述固定控件的定位，其中，用户为需要培训的操作人员。
关于VR虚拟现实定位及动作捕捉技术，本申请实施例还包括位移控件定位模块和手部动作捕捉模块，其中，位移控件定位模块用于对位移控件进行定位。
进一步而言，从定位的角度，位移控件分为两种：一种是采煤机水阀、液压支架支架选择旋钮等，控件位移是绕中心的旋转，此类控件定位方式与固定控件定位方式相同；另一种是液压支架控制手柄，其运动特点是绕手柄一端在一定范围内转动，运动幅度较大，需要采用区别于固定控件的定位方法。
Tracker追踪器局部坐标系O'-X'Y'Z'为右手坐标系，X'轴和Z'轴确定的平面在追踪器固定螺丝所在的圆平面内，Y'轴垂直于追踪器。为方便坐标变换，X'轴与控制手柄旋转轴中心组成的连线平行，本在O'-Y'Z'平面内，申请实施例以液压支架控制手柄，如图4所示，位移控件定位模块采用下述方式对所述位移控件进行定位：
追踪器的局部坐标系O'-X'Y'Z'为右手坐标系，X'轴和Z'轴确定的平面在追踪器所在的圆平面内，Y'轴垂直于追踪器，将X'轴与所述液压支架控制手柄旋转轴中心组成的连线平行；
电位器中心点Os坐标设为(XS,YS,ZS)，手柄长度为Ls，中间位置手柄轴线与Z'轴夹角为α；
选用单圈电位器，最大阻值为R，中间位置处电位器的电阻值为R0，扳动后任意位置的电阻值为RS，手柄顶点Bs的坐标为：
Figure BDA0003099810400000142
其中，XB的坐标可根据面板设计图测量得到；
将上式带入式：
Figure BDA0003099810400000143
后得到：
Figure BDA0003099810400000151
以获得手柄定点在全局坐标系的位置。
关于VR虚拟现实定位及动作捕捉技术，本申请实施例提供的基于VR虚拟现实的半实物综采实操平台还包括手部动作捕捉模块，其中，手部动作捕捉模块用于定位用户的手部整体位置；其中，采用下述方式对所述手部整体位置进行定位：。
将HTC光学定位系统的追踪器固定于数据手套腕部，配合定位基站提供前臂在导航坐标系的绝对坐标，以定位手部整体位置；
其中，基于二指六连杆七自由度模型，在手部大拇指和食指指骨上布置微惯性传感器，提供指骨载体坐标，通过所述骨载体坐标对应的指骨位置及姿态确定指骨在导航坐标系的位置及姿态，根据腕部绝对坐标、指骨导航坐标，实时重生成手部运动姿态，并在虚拟系统中显示。
如图5所示，数据手套的整体实现思路是：将HTC光学定位系统的Tracker追踪器固定于数据手套腕部，配合Lighthouse基站及配套软件提供前臂在导航坐标系的绝对坐标，定位手部整体位置；基于二指六连杆七自由度模型，在手部大拇指和食指指骨上布置微惯性传感器，提供指骨载体坐标，数据经射频传输模块传输至计算机，通过指骨位置及姿态解算获得指骨在导航坐标系的位置及姿态；虚拟现实软件根据腕部绝对坐标、指骨导航坐标，通过建模实时重生成手部运动姿态，并在虚拟系统显示。
关于本申请实施例涉及的数据手套，按照工作原理主要有图像式、机械式、光纤式和微惯性传感器式。其中，图像式对光照要求严苛，易产生遮挡；机械式重量大，操作不方便；光纤式传感器不耐疲劳，寿命短；微惯性传感器式具有轻便耐用、易更换等优点，但同时存在需要布置的传感器数量多，最多达到28点，价格昂贵的缺点。目前减少传感器布置的途径主要是优化数据处理算法，如采用神经网络算法进行手势训练学习，采用预置手部姿态结构等，并不直接求解手部姿态，数据手套的准确性取决于算法的优良。
具体而言，人类手部结构特征分析是构建手部运动模型，分析手部运动自由度的基础。根据人体解剖学，人手由27块骨骼组成：连接前臂与手腕的8块腕骨；连接手指与手腕的5块掌骨；14块指骨，除拇指由近节指骨和远节指骨组成外，其余手指均由近节指骨、中节指骨和远节指骨3个指骨组成，三个指节比例约为5:3:2。各骨骼之间由19个关节组成：5个连接腕骨与掌骨的腕掌关节，5个连接掌骨与近节指骨的掌指关节(MP)，除拇指外4个连接近节指骨与中节指骨的近指关节(PIP)，4个连接中节指骨与远节指骨的远指关节(DIP)，1个拇指连接近节指骨与远节指骨的指关节(IP)。其中腕骨较小，同时5个腕掌关节协调运动，可以视为1个连接前臂与手掌的手腕关节，如图9所示。
根据手部结构分析，其运动力学模型可以用“骨链”组成的树形连杆力学模型进行描述，其中除拇指外的4根掌骨相互活动范围很小可以近似为手掌刚体，手指及前臂均可以近似为杆件或连杆，如图10所示。
人手的主要动作由前臂的自由运动、手掌的内向旋转、手指的内向弯曲和左右轻微摆动完成的，手部共有27个自由度，具体如下：
(1)前臂可以自由运动，具有6个自由度；
(2)手掌刚体与前臂具有1个内向旋转自由度；
(3)拇指手腕关节具有弯曲和外展2个自由度，掌指关节MP和指关节IP具有1个内向弯曲自由度；
(4)除拇指外的手指，每根手指具有4个自由度(手掌关节MP具有弯曲和外展2个自由度，近指关节PIP和远指关节DIP只具有1个内向弯曲自由度)。
由此可知，虽然9-DOF微惯性传感器具有三轴陀螺仪、三轴加速度计、三轴磁阻型磁强计，能够同时测量载体的位置坐标和方位，并通过地磁进行修正，但是，为了获得手部运动完整姿态，即使采用9-DOF微惯性传感器，也需要不少于17个，采用功能单一的传感器所需要的数量更多，不具有实用价值。
基于上述分析，本申请实施例根据矿山安全操作大纲、人体手部骨骼结构和手部运动力学模型构建所述二指六连杆七自由度模型，所述二指六连杆七自由度模型具体包括：
针对所述矿山安全操作大纲手部基本动作包括拇指摁、食指摁、拧和拉，其中，通过食指和拇指完成所述拇指摁、所述食指摁、所述拧和所述拉；所述食指和所述拇指为所述二指六连杆七自由度模型中的二指；所述二指六连杆七自由度模型中的六连杆包括前臂，拇指掌骨、近节指骨，食指掌骨、近节指骨和中节指骨；所述二指六连杆七自由度模型中的七自由度包括拇指手腕关节弯曲、拇指手腕关节外展、拇指掌指关节内向弯曲、食指手腕关节内向旋转、食指掌指关节弯曲、食指掌指关节外展和食指近指关节内向弯曲。
具体而言，手部指骨及指骨组成的手指运动具有高度的协调性，所有手指都是在两个关节确立的平面中运动，各手指之间存在强耦合关系：手掌带动手指运动的横向相关性，手指上级关节控制下级关节的纵向相关性。参照人体工程学资料，手部各关节运动限制包括：
(1)中指指掌关节外展角度较小，可认为中指指掌关节不能进行外展运动；
(2)单个手指的三段指骨的运动是处于同一个平面内；
(3)各手指末端关节的弯曲度是其前面关节的弯曲度的2/3，即
Figure BDA0003099810400000161
(4)相邻四指直接的夹角不超过25°，大拇指与食指的夹角不超过90°。
矿山设备实训涉及对提升、运输、开采、掘进设备进行操作培训，需要操作的控件包括：按钮、旋钮、手柄，对应的手部基本动作包括4种：拇指摁、食指摁、拧、拉(推)。
摁，根据个人习惯不同有食指摁和拇指摁，如图11a所示，拇指摁是拇指远节指骨按压按钮，其余四指弯曲至最大角度；如图11b所示，食指摁是食指远节指骨按压按钮，拇指自然弯曲，其余四指最大角度弯曲；如图11c所示，拧是拇指远节指骨与食指远节指骨或中节指骨夹住旋钮，其余三指基本弯曲至最大角度，手部发力转动旋钮；如图11d所示，拉(推)根据个人习惯有两种手势：一是拇指和食指自然弯曲成环，其余三指手指跟随食指自然弯曲成半环，套住手柄杆部，发力拉或推动杆部；二是手掌自然握拳，手柄端部位于掌心，发力拉或推动杆部；两种动作手势基本相同。
由此可知，上述实施例中的4个基本动作主要由食指、拇指单独或共同完成，即：本申实施例二指六连杆七自由度模型中的二指为食指和拇指；拇指远节指骨长度可由近节指骨和掌骨长度按比例确定，IP弯曲程度可由MP确定，食指远节指骨长度可由中节指骨和近节指骨长度按比例确定，DIP弯曲程度可由相邻关节弯曲程度按比例确定，即：本申请实施例二指六连杆七自由度模型中的六连杆包括前臂，拇指掌骨、近节指骨，食指掌骨、近节指骨和中节指骨；同时，前臂的6个自由度不影响手部4个基本动作，这也是本申请实施例二指六连杆七自由度模型中的七自由度的由来。因此，本申请实施例将手部运动力学模型简化为二指六连杆七自由度矿山设备实训手部运动模型，如图12所示，也就是说，本申请实施例在6个连杆(指骨)上布置微惯性传感器即可获得矿山设备实训操作手部运动姿态。
基于上述分析可知，本申请实施例提出的“二指六连杆七自由度”手部运动简化模型，减少数据手套微惯性传感器的布置数量的同时，提高了数据手套的准确性，其中，微惯性传感器式数据手套具有不受光照限制、轻便耐用、易更换等优点。
传感器采用Invensense公司生产的9-DOF微惯性传感器MPU9150，该芯片集成了3轴加速度计、3轴陀螺仪和3轴磁力计，封装尺寸小，仅为3×3×1mm，不影响指节运动灵活性。根据矿山设备实训手部“二指六连杆七自由度模型”，在手套背部共布置5个微惯性传感器1，其中拇指掌骨、近节指骨各1个，食指掌骨、近节指骨、中节指骨各1个，数据采集电路及射频发送模块2位于手腕部，与传感器采用线缆连接，线缆沿指骨布置。腕部同时固定Tracker追踪器3，如图13所示。手套采用材质为弹性纤维的全指手套，伸缩性适中，适应手掌大小差异。射频发送模块与计算机接收模块通过无线射频传输数据。
软件分为姿态解算模块和虚拟现实软件两部分，均采用Unity3D内置C#脚本语言进行编程。姿态解算模块基于指骨位置及姿态解算算法，将传感器数据转换为导航坐标系中的手部指骨位置和姿态数据，与Tracker追踪器定位数据共同作为虚拟现实软件的输入数据。鉴于个体差异，初次佩戴数据手套时虚拟现实软件会通过校准动作获得手部校准数据，以此确定手掌大小，构建三维手部模型，依据运动参数控制关节运动，实时手部姿态可视化展示。
进一步而言，在本申请实施例的虚拟仿真模块搭建综采工作面虚拟场景中，其中，虚拟仿真模块包括几何建模单元、形象建模单元和行为建模单元；
几何建模单元，用于确定虚拟场景的基本构成与布局，按照实体矿井的配置布设所述虚拟场景，将所述虚拟场景及场景内的设备绘制成具有几何形状的三维模型；
形象建模单元，用于对所述三维模型进行纹理贴图和光照处理；
行为建模，用于赋予所述三维模型物理属性、行为与反应能力，以建立动态实体的活动、变化以及与周围环境和其它动态实体之间的动态关系。
具体而言，当本申请实施例完成综采VR虚拟现实场景构建，几何建模绘制综采工作面及设备三维模型几何形状；形象建模处理模型纹理、颜色、光照，增强场景真实感；行为建模赋予模型物理属性和行为、反应能力，建立动态实体的活动、变化以及与周围环境和其它动态实体之间的动态关系。
综采工作面的仿真旨在模拟井下工作面的作业环境和生产工艺，访问者可以走进井下巷道和工作面，身临其境地感受井下作业环境，了解煤的生产过程。因此，仿真系统的任务总体上分为两部分：虚拟场景的构建和生产工艺过程的模拟。
构建虚拟场景，综采工作面是一个比较复杂的三维场景，首先需要确定场景的基本构成与布局，场景基本由三条相连的巷道组成，分别是运输顺槽、综采工作面和回风顺槽，构成一个基本的生产系统。场景内需要建立的模型有采煤机、液压支架、刮板运输机、胶带输送机、巷道、轨道和煤壁等。虚拟场景尽量按照现代化矿井的配置要求做到形象逼真，并可自由漫游。
模拟生产工艺，综采工作面的生产工艺分为采煤、装煤、运煤、支护和采空区处理五部分，系统采用手动操作和自动演示两种方式来模拟工艺过程，主要是通过采煤机、液压支架、刮板运输机和胶带输送机的各自运动和相互配合来体现工艺过程。在模拟过程中可实现设备的交互操作。
本申请实施例中综采VR虚拟现实场景构建流程如图6所示，主要通过3DS MAX和Unity3D软件进行，构建过程分为几何建模、形象建模和行为建模三个阶段。
①几何建模
几何建模是采用三维建模软件通过构建点、线、面、体，并通过各种编辑工作，构造场景框图，该过程在3DS MAX软件中完成。图像数据是几何建模必不可少的素材，巷道平面布置图是巷道框图构建的必要素材，将巷道平面布置图(一般为.dwg格式文件)导入到3DSMAX中，在此基础上构建三维巷道框图。设备框图的构建过程基本一致，素材略有差异，设备或部件需要精细化建模时，如采煤机滚筒、液压支架等，需要将三维设计软件绘制的三维模型(如SolidWorks软件的.step文件)导入到3DS MAX中；对于建模精细化程度要求不高时，如设备列车上的各类液箱，可以直接在3DS MAX中依据设备实物照片进行建模。几何建模需要注意的关键问题是，应综合考虑设备运转部件的运动形式和特点，为行为建模打下基础。
②形象建模
形象建模主要是对几何建模的结果进行纹理、颜色、光照等处理。纹理和颜色的处理是体现虚拟场景真实感的必要手段，在3DS MAX软件中完成。纹理贴图是一种将二维图像映射到三维几何形状表面使模型产生特殊效果或真实感的一种技术。在综采工作面仿真系统中，软件自带材质不能满足使用需求，需要补充必要的贴图素材，主要是相机拍摄实际矿井中各类巷道真实图片和设备表面典型图片，然后采用Photoshop进行编辑和处理，导入3DS MAX软件中作为纹理贴图素材。纹理贴图和颜色处理完成后，模型可以导出为.fbx文件，再导入Unity 3D软件中进行光照等处理，光照是在场景中增加光源，决定了光照射到物体表面会反射什么颜色，好的光照设计能使模型看起来更加真实、漂亮。
③行为建模
行为建模就是在创建模型的同时，不仅赋予模型外形、质感等表面特征，同时也赋予模型物理属性和“与生俱来”的行为与反应能力，并且服从一定的客观规律。一个虚拟环境的物体若没有任何行为和反应，则这个虚拟环境是孤寂的，没有生命的。所谓的行为对于虚拟综采工作面来说是指场景中诸如液压支架、采煤机等动态实体的活动、变化以及与周围环境和其它动态实体之间的动态关系。而工作面生产工艺的仿真也正是建立在各个综采设备行为建模的基础上的。含运动行为控制和碰撞体设置两个方面的工作。运动行为通过C#语言编写脚本实现，本次选型的液压支架的动作包括前梁伸/收、后梁伸/收、推移前部刮板、移架、抬/降底座、侧护板伸/收、护帮板打开/收回、拉后部刮板、尾梁升/降、插板打开/关闭，采煤机的工作包括左右牵引行走、摇臂上下摆动、滚筒转动、喷雾洒水等，刮板机的动作包括刮板运转、沿工作面弯曲等。脚本编写时充分注意动作的真实性和协调性。碰撞体设置主要是解决设备运行和人员行走过程中，相互重叠、嵌入等问题，如液压支架护帮板只能支撑在煤壁上，而不能进入煤壁，相反采煤机滚筒可以割入煤壁；人员只能在巷道中行走，而不能进入巷道两侧煤体内。
由此可知，本申请实施例行为建模中的行为包括液压支架的运动行为和采煤机的工作行为，液压支架的运动行为包括前梁伸/收、后梁伸/收、推移前部刮板、移架、抬/降底座、侧护板伸/收、护帮板打开/收回、拉后部刮板、尾梁升/降、插板打开/关闭中的一种或者多种，采煤机的工作行为包括左右牵引行走、摇臂上下摆动、滚筒转动、喷雾洒水中的一种或者多种。
关于基于VR虚拟现实的综采实操平台中的真实操作台设计加工，本申请实施例采用常用电路元器件模拟操作台面板控件，采煤机操作台采用7种电路元器件模拟面板上的22个控件。
采用常用电路元器件与自制器件相结合的方式模拟液压支架操作台控件，3种常用电路元器件，一种定制元器件，模拟面板上的16个元器件。
液压支架操作台采用最多的是自制带回弹功能的手柄模拟液压支架各功能手动板阀手柄。
采煤机操作台划分为自身控制区、开机准备区、启动区、运行区、Tracker追踪器、无线通信模块和键盘鼠标放置区七个区域，支架操作台划分为自身控制区、支架操作区、选架区、Tracker追踪器、无线通信模块和键盘鼠标放置区六个区域。
采煤机操作台和液压支架操作台整体设计采用斜面板与平面板结合的方式，平面板正面布置放置键盘、鼠标的抽屉。面板上除控制设备用控件外，还需布置Tracker追踪器和无线传输模块，前者是面板控件在Lighthouse光学定位系统中实现定位的基准，后者是Tracker追踪器及数据手套与计算机实现无线通信的接口。
Tracker追踪器采用光学定位系统进行定位，其与室内固定的Lighthouse基站之间不能有任何遮挡，保证能够接收到基站发射的光线。Tracker追踪器是其他控件实现定位的基准，理想状态下应该位于面板各控件的中央，各控件位置均有其直接定位，防止位于边缘情况下，控件定位累计误差增大。为了保持设备操作控件集中布置，不影响操作体验，将Tracker追踪器固定于操作台平面板的中央，光学传感器向上，能够方便的接收基站发来的红外激光，同时水平位置上位于设备操作控件区域中央，保证了控件的定位精度。
无线传输模块需要与操作台面板上的1个Tracker追踪器和数据手套上的两个Tracker追踪器以及数据手套控制电路通信，为防止金属外壳影响信号，不能安装于操作台内部，操作人员活动区域位于操作台正前方，无线传输模块布置于操作台斜面板左上角或右上角，保证信号传输质量的前提下，不影响美观。
关于基于VR虚拟现实的综采实操平台中的交互控制系统电路及算法设计，本申请实施例根据设备操作台与VR虚拟场景交互技术，分别开发了可以采集模拟量和开关量的主板和扩展电路板。在操作台生产试制过程中，需要设计具体的外部交互控制系统电路，并统一考虑操作台内全部设备供电。采煤机和液压支架操作台电路分别如图7和图8所示。交流220V电源接入系统后，通过自锁按钮控制系统整体电源，之后分为计算机、显示器及开关电源三路，计算机电源单独安装启动按钮。开关电源输出为DC12V，为主板和扩展板供电。所有开关量正极为公共点直接由开关电源引出，负极接入扩展板的开关量采集通道。模拟量电位器由主板供电，信号接入主板模拟量通道。主板与扩展板之间通过I2C总线通信，主板与计算机通过RS485转USB接口通信。
基于上述分析可知，上述实施例将半实物仿真与VR虚拟现实相结合并应用于煤炭行业，形成了一种兼顾操作真实性和强烈沉浸感的新型培训方式；
矿山开采设备操作复杂，种类多样，型号多变，传统培训方式周期长、效果差，甚至影响生产，存在安全隐患。通过研究操作台与仿真场景交互技术和VR虚拟现实定位及动作捕捉技术，解决了佩戴VR头部显示设备无法观察外部世界的难题，实现了半实物仿真和VR虚拟现实技术的深度融合，首次将半实物仿真与VR虚拟现实应用于综采工作面设备培训，兼顾了两种方式的优点，为其他矿山设备培训提供了一种新型培训方式。
除此之外，本申请实施例还提出的“二指六连杆七自由度”手部运动简化模型，“二指六连杆七自由度”手部运动简化模型使得数据手套微惯性传感器布置数量大大减少了，且优化了微惯性传感器的在数据手套上的布设方式，再者，上述实施例可直接求解手部运动姿态，提高数据手套的准确性，其中，微惯性传感器式数据手套具有不受光照限制、轻便耐用、易更换等优点。
需要说明的是，本申请实施例主要面向矿山安全培训领域，针对综采设备实操培训停留在模型讲解和虚拟体验，培训效果差的问题，创新性的将实物操作台与VR虚拟场景相结合，实现佩戴VR头部显示设备条件下，解决实物操作与虚拟场景的实时响应和佩戴VR头部显示设备条件下的真实设备准确操作问题，实现综采设备实操的互动真实性和强烈的沉浸感。本操作台仅针对采煤机司机和移架工两个工种培训使用，但项目形成的关键技术，完全可以支撑其他工种半实物操作台的开发。
近两年，国家对矿山安全培训工作非常重视，2018年3月1日，原国家安全监管总局颁布了《煤矿安全培训规定》，从国家层面对主要负责人、安全生产管理人员、特种作业人员安全培训与考核提出了详细要求，对安全培训机构的师资力量进行了规定。2019年国家煤矿安监局转发了河北省应急管理厅编制的煤矿20个岗位工种的安全技术培训大纲及考核要求，作为其他地区的参考，大大扩展了传统意义上的十大特殊工种的范围。我国有国家级、省级、市级、矿山企业等各种级别的矿山安全培训中心，还有大中专、技工、职业类安全培训学校。本申请实施例提出的一种基于VR虚拟现实的半实物综采实操平台，及借此衍生的其他工种培训装备具有广阔的推广应用前景。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于VR虚拟现实的半实物综采实操平台，其特征在于，包括，硬件平台和软件平台，其中，
所述硬件平台包括操作台、VR头盔、手柄和定位基站，所述操作台的元器件的种类、功能、大小布局方式与采煤机操作台的原型设备相对应；
所述软件平台包括理论培训模块、虚拟仿真模块和实操考核模块，其中，
所述理论培训模块，用于根据培训大纲制作三维动画，将所述三维动画的图像通过网络传输至显示设备，以在所述显示设备上显示所述三维动画；
所述虚拟仿真模块，用于采用VR虚拟现实的方式，实现巷道漫游模式、单机操作模式和工艺联合模式的模拟训练；
所述实操考核模块，用于显示根据所述培训大纲生成的考核内容，获取用户根据所述考核内容输入的答案，并根据所述答案确定所述用户的考核成绩。
2.如权利要求1所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，
所述虚拟仿真模块，还用于搭建综采工作面虚拟场景，其中，确定综采工作面的地质条件和基本参数，根据所述地质条件和基本参数设定所述综采工作面虚拟场景。
3.如权利要求1或2所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述基于VR虚拟现实的半实物综采实操平台还包括：上位机，其中，
所述虚拟仿真模块，还用于在虚拟场景中构建虚拟操作台，所述虚拟操作台与所述操作台的状态反馈保持一致，其中，所述操作台的状态反馈在操作完成后通过所述操作台上的按钮指示灯进行显示；
所述上位机，用于在进入虚拟仿真模式后，以预设时间间隔读取单片机寄存器数据，并将各通道变量反馈到所述虚拟操作台的面板上，以提示用户需要复位的控件。
4.如权利要求1所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述基于VR虚拟现实的半实物综采实操平台还包括：固定控件定位模块，其中，
将所述定位基站固定到所述操作台上；
所述虚拟仿真模块，还用于通过与控制面板的相对位置关系，将控件图像映射到所述虚拟场景中；
所述固定控件定位模块，用于对所述操作台上的固定控件进行定位，其中，根据定位设备的位置推导出所述固定控件的位置，所述定位设备包括追踪器，所述追踪器固定于所述操作台的面板上，所述追踪器的姿态始终与所述操作台的姿态保持一致。
5.如权利要求4所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，在所述固定控件定位模块中，采用下述方式对所述固定控件进行定位：
采用全局坐标系O-XYZ进行建模，所述追踪器为原点确定的坐标系为局部坐标系O'-X'Y'Z'，所述追踪器在全局坐标系中的坐标为(x0,y0,z0)，同一控件在所述全局坐标系和所述局部坐标系中的坐标分别为(X,Y,Z)和(X',Y',Z')，所述局部坐标系与所述全局坐标系Z、Y、X轴夹角分别为Ψ、θ、φ，由所述局部坐标系变换为所述全局坐标系需要经过下述两个步骤：
将所述局部坐标系坐标轴旋转为与所述全局坐标系对应坐标轴一致；
将所述局部坐标系原点平移到所述全局坐标系，坐标轴的旋转和平移过程表示为如下关系：
Figure FDA0003099810390000021
其中，R为旋转矩阵，绕三个轴旋转的次序不同，以欧拉角表示的旋转矩阵的形式不同，按照旋转顺序Z→Y→X求得的旋转矩阵为：
Figure FDA0003099810390000022
根据上述两个公式求得所述固定控件在所述全局坐标系下的坐标；
用户的手和眼在追踪器的局部坐标系中的位置随时间变化，并由定位系统封装好的程序给出，针对手坐标，在追踪器的局部坐标系中的坐标为(Xh(t),Yh(t),Zh(t))，追踪器在全局坐标系中的坐标为：
Figure FDA0003099810390000023
根据所述操作台与用户的手、眼的统一坐标系，以实现对所述固定控件的定位。
6.如权利要求1所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述基于VR虚拟现实的半实物综采实操平台还包括：位移控件定位模块，所述位移控件定位模块用于对位移控件进行定位；其中，所述位移控件为液压支架控制手柄，所述位移控件定位模块采用下述方式对所述位移控件进行定位：
追踪器的局部坐标系O'-X'Y'Z'为右手坐标系，X'轴和Z'轴确定的平面在追踪器所在的圆平面内，Y'轴垂直于追踪器，将X'轴与所述液压支架控制手柄旋转轴中心组成的连线平行；
电位器中心点Os坐标设为(XS,YS,ZS)，手柄长度为Ls，中间位置手柄轴线与Z'轴夹角为α；
选用单圈电位器，最大阻值为R，中间位置处电位器的电阻值为R0，扳动后任意位置的电阻值为RS，手柄顶点Bs的坐标为：
Figure FDA0003099810390000031
其中，XB的坐标可根据面板设计图测量得到；
将上式带入式：
Figure FDA0003099810390000032
后得到：
Figure FDA0003099810390000033
以获得手柄定点在全局坐标系的位置。
7.如权利要求1所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述基于VR虚拟现实的半实物综采实操平台还包括：手部动作捕捉模块，所述手部动作捕捉模块用于定位用户的手部整体位置；其中，采用下述方式对所述手部整体位置进行定位：
将HTC光学定位系统的追踪器固定于数据手套腕部，配合定位基站提供前臂在导航坐标系的绝对坐标，以定位手部整体位置；
其中，基于二指六连杆七自由度模型，在手部大拇指和食指指骨上布置微惯性传感器，提供指骨载体坐标，通过所述骨载体坐标对应的指骨位置及姿态确定指骨在导航坐标系的位置及姿态，根据腕部绝对坐标、指骨导航坐标，实时重生成手部运动姿态，并在虚拟系统中显示。
8.如权利要求7所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，根据矿山安全操作大纲、人体手部骨骼结构和手部运动力学模型构建所述二指六连杆七自由度模型，所述二指六连杆七自由度模型具体包括，
针对所述矿山安全操作大纲手部基本动作包括拇指摁、食指摁、拧和拉，其中，通过食指和拇指完成所述拇指摁、所述食指摁、所述拧和所述拉；所述食指和所述拇指为所述二指六连杆七自由度模型中的二指；
所述二指六连杆七自由度模型中的六连杆包括前臂，拇指掌骨、近节指骨，食指掌骨、近节指骨和中节指骨；
所述二指六连杆七自由度模型中的七自由度包括拇指手腕关节弯曲、拇指手腕关节外展、拇指掌指关节内向弯曲、食指手腕关节内向旋转、食指掌指关节弯曲、食指掌指关节外展和食指近指关节内向弯曲。
9.如权利要求2所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述虚拟仿真模块搭建综采工作面虚拟场景，其中，所述虚拟仿真模块包括几何建模单元、形象建模单元和行为建模单元；
所述几何建模单元，用于确定虚拟场景的基本构成与布局，按照实体矿井的配置布设所述虚拟场景，将所述虚拟场景及场景内的设备绘制成具有几何形状的三维模型；
所述形象建模单元，用于对所述三维模型进行纹理贴图和光照处理；
所述行为建模，用于赋予所述三维模型物理属性、行为与反应能力，以建立动态实体的活动、变化以及与周围环境和其它动态实体之间的动态关系。
10.如权利要求9所述的基于VR虚拟现实的半实物综采实操平台，其特征在于，所述行为包括液压支架的运动行为和采煤机的工作行为，所述液压支架的运动行为包括前梁伸/收、后梁伸/收、推移前部刮板、移架、抬/降底座、侧护板伸/收、护帮板打开/收回、拉后部刮板、尾梁升/降、插板打开/关闭中的一种或者多种，所述采煤机的工作行为包括左右牵引行走、摇臂上下摆动、滚筒转动、喷雾洒水中的一种或者多种。
CN202110620857.3A 2021-06-03 2021-06-03 基于vr虚拟现实的半实物综采实操平台 Active CN113359987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620857.3A CN113359987B (zh) 2021-06-03 2021-06-03 基于vr虚拟现实的半实物综采实操平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620857.3A CN113359987B (zh) 2021-06-03 2021-06-03 基于vr虚拟现实的半实物综采实操平台

Publications (2)

Publication Number Publication Date
CN113359987A true CN113359987A (zh) 2021-09-07
CN113359987B CN113359987B (zh) 2023-12-26

Family

ID=77531951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620857.3A Active CN113359987B (zh) 2021-06-03 2021-06-03 基于vr虚拟现实的半实物综采实操平台

Country Status (1)

Country Link
CN (1) CN113359987B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统
CN114360329A (zh) * 2022-01-12 2022-04-15 四川传媒学院 一种用于艺术教育的交互式多功能演播室
CN114545877A (zh) * 2022-02-08 2022-05-27 燕山大学 一种面向散货的多工程机械数字孪生在线监控系统及方法
CN116386394A (zh) * 2023-06-02 2023-07-04 国网安徽省电力有限公司超高压分公司 一种基于理论与实操的电力培训模拟系统
WO2023154029A3 (en) * 2022-02-11 2023-11-23 Modul Modern Egitim Teknolojileri Anoii̇m Sirketi Hydraulic and pneumatic systems in virtual reality environment method used in their training
CN117218919A (zh) * 2023-10-17 2023-12-12 晶程甲宇科技(上海)有限公司 基于实物操作的三维仿真教学平台及操作方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069202A1 (en) * 2003-09-26 2005-03-31 Khomo Malome T. Spatial chirographic sign reader
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
WO2015055085A1 (zh) * 2013-10-18 2015-04-23 中广核检测技术有限公司 基于虚拟现实技术的无损检测机器人智能检测方法
CA2843670A1 (en) * 2014-02-24 2015-08-24 Chris Argiro Video-game console for allied touchscreen devices
CN104942818A (zh) * 2015-06-08 2015-09-30 清华大学 一种7自由度五指机械手
CN106935096A (zh) * 2017-05-18 2017-07-07 重庆电子工程职业学院 一种工业控制虚拟现实教学实训平台及其操作方法
CN107452036A (zh) * 2017-07-06 2017-12-08 北京理工大学 一种全局最优的光学跟踪器位姿计算方法
CN107967832A (zh) * 2017-12-14 2018-04-27 北京龙软科技股份有限公司 针对煤矿特殊作业工种的虚拟仿真培训考核系统
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
US20190392728A1 (en) * 2018-06-25 2019-12-26 Pike Enterprises, Llc Virtual reality training and evaluation system
CN110910338A (zh) * 2019-12-03 2020-03-24 煤炭科学技术研究院有限公司 一种三维实景视频的获取方法、装置、设备及存储介质
CN111240490A (zh) * 2020-03-24 2020-06-05 贵州电网有限责任公司 基于vr虚拟沉浸及环幕互动的设备绝缘试验培训系统
CN111399665A (zh) * 2020-04-20 2020-07-10 济南奥维信息科技有限公司 一种基于虚拟现实交互的展厅系统及其使用方法
DE102019105854B3 (de) * 2019-03-07 2020-09-03 Deutsches Forschungszentrum für künstliche Intelligenz GmbH Hand-Virtual Reality/Augmented Reality-Steuergerät, Virtual Reality/Augmented Reality-System mit demselben sowie Verfahren zur Simulation der Haptik
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游系统及手游响应方法
CN111667560A (zh) * 2020-06-04 2020-09-15 成都飞机工业（集团）有限责任公司 一种基于vr虚拟现实角色的交互结构及交互方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050069202A1 (en) * 2003-09-26 2005-03-31 Khomo Malome T. Spatial chirographic sign reader
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
WO2015055085A1 (zh) * 2013-10-18 2015-04-23 中广核检测技术有限公司 基于虚拟现实技术的无损检测机器人智能检测方法
CA2843670A1 (en) * 2014-02-24 2015-08-24 Chris Argiro Video-game console for allied touchscreen devices
CN104942818A (zh) * 2015-06-08 2015-09-30 清华大学 一种7自由度五指机械手
CN106935096A (zh) * 2017-05-18 2017-07-07 重庆电子工程职业学院 一种工业控制虚拟现实教学实训平台及其操作方法
CN107452036A (zh) * 2017-07-06 2017-12-08 北京理工大学 一种全局最优的光学跟踪器位姿计算方法
CN107967832A (zh) * 2017-12-14 2018-04-27 北京龙软科技股份有限公司 针对煤矿特殊作业工种的虚拟仿真培训考核系统
US20190392728A1 (en) * 2018-06-25 2019-12-26 Pike Enterprises, Llc Virtual reality training and evaluation system
DE102019105854B3 (de) * 2019-03-07 2020-09-03 Deutsches Forschungszentrum für künstliche Intelligenz GmbH Hand-Virtual Reality/Augmented Reality-Steuergerät, Virtual Reality/Augmented Reality-System mit demselben sowie Verfahren zur Simulation der Haptik
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN110910338A (zh) * 2019-12-03 2020-03-24 煤炭科学技术研究院有限公司 一种三维实景视频的获取方法、装置、设备及存储介质
CN111240490A (zh) * 2020-03-24 2020-06-05 贵州电网有限责任公司 基于vr虚拟沉浸及环幕互动的设备绝缘试验培训系统
CN111399665A (zh) * 2020-04-20 2020-07-10 济南奥维信息科技有限公司 一种基于虚拟现实交互的展厅系统及其使用方法
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游系统及手游响应方法
CN111667560A (zh) * 2020-06-04 2020-09-15 成都飞机工业（集团）有限责任公司 一种基于vr虚拟现实角色的交互结构及交互方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张振宁: "基于虚拟化身的增强现实交互技术研究及应用", 《信息科技辑》, pages 138 - 1148 *
朱红亮: "虚拟现实技术在电力培训中的应用", 工程科技Ⅱ辑, pages 042 - 937 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265373A (zh) * 2021-11-22 2022-04-01 煤炭科学研究总院 综采面一体式操控台控制系统
CN114360329A (zh) * 2022-01-12 2022-04-15 四川传媒学院 一种用于艺术教育的交互式多功能演播室
CN114360329B (zh) * 2022-01-12 2023-11-10 四川传媒学院 一种用于艺术教育的交互式多功能演播室
CN114545877A (zh) * 2022-02-08 2022-05-27 燕山大学 一种面向散货的多工程机械数字孪生在线监控系统及方法
CN114545877B (zh) * 2022-02-08 2024-04-05 燕山大学 一种面向散货的多工程机械数字孪生在线监控系统及方法
WO2023154029A3 (en) * 2022-02-11 2023-11-23 Modul Modern Egitim Teknolojileri Anoii̇m Sirketi Hydraulic and pneumatic systems in virtual reality environment method used in their training
CN116386394A (zh) * 2023-06-02 2023-07-04 国网安徽省电力有限公司超高压分公司 一种基于理论与实操的电力培训模拟系统
CN117218919A (zh) * 2023-10-17 2023-12-12 晶程甲宇科技(上海)有限公司 基于实物操作的三维仿真教学平台及操作方法
CN117218919B (zh) * 2023-10-17 2024-05-07 晶程甲宇科技(上海)有限公司 基于实物操作的三维仿真教学平台及操作方法

Also Published As

Publication number Publication date
CN113359987B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN113359987B (zh) 基于vr虚拟现实的半实物综采实操平台
CN105278685B (zh) 一种基于eon的辅助教学系统及教学方法
CN105405335A (zh) 一种煤矿综采工作面远程控制虚拟培训系统
CN107272447A (zh) 一种仿真方法、仿真装置以及机器人仿真系统
Bernold et al. Equipment operator training in the age of internet2
CN103838563A (zh) 自动装置的程序开发方法
CN108334198A (zh) 基于增强现实的虚拟雕塑方法
CN116310231A (zh) 一种基于混合现实的工程装备实时交互系统及运动仿真方法
Bernold Quantitative assessment of backhoe operator skill
Fahmi et al. Development of excavator training simulator using leap motion controller
CN107657839A (zh) 具有真实触感的数字化书法体验设备及方法
CN101226695A (zh) 一种挖掘机模拟操作培训系统
CN110223561A (zh) 一种输弹机模拟训练及故障模拟设备及系统
CN109102572A (zh) 变电仿真vr系统中虚拟手骨骼比例推定方法
CN108682450A (zh) 在线手指运动功能评测系统
Jayaram et al. Case studies using immersive virtual assembly in industry
CN108509045A (zh) 基于虚拟现实的数字电子技术仿真系统
CN110376922B (zh) 手术室场景模拟系统
CN209087256U (zh) 一种智能制造教育培训设备
CN112132962A (zh) 基于虚拟现实的城轨车辆检修作业工艺研究方法
JP2000267719A (ja) 実環境適応型ロボットの教示プログラム作成方法
CN103071278A (zh) 武术招式练习系统
Brauer Simulation model design in physical environments
CN211878860U (zh) 一种vr互动的急救模拟体验装置
Lemos et al. Instrumented glove for skills assessment in neurosurgical simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant