CN109300466B - 一种基于语音技术的复杂设备智能虚拟训练方法和系统 - Google Patents
一种基于语音技术的复杂设备智能虚拟训练方法和系统 Download PDFInfo
- Publication number
- CN109300466B CN109300466B CN201811445918.1A CN201811445918A CN109300466B CN 109300466 B CN109300466 B CN 109300466B CN 201811445918 A CN201811445918 A CN 201811445918A CN 109300466 B CN109300466 B CN 109300466B
- Authority
- CN
- China
- Prior art keywords
- training
- voice
- virtual
- equipment
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 285
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 57
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000003745 diagnosis Methods 0.000 claims abstract description 6
- 238000012423 maintenance Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims description 18
- 238000011158 quantitative evaluation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 5
- 238000004445 quantitative analysis Methods 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 3
- 238000013024 troubleshooting Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920002558 Curdlan Polymers 0.000 description 1
- 239000001879 Curdlan Substances 0.000 description 1
- 241000252794 Sphinx Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 229940078035 curdlan Drugs 0.000 description 1
- 235000019316 curdlan Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于语音技术的复杂设备智能虚拟训练方法和系统，属于虚拟训练领域。本发明包括：首先，建立复杂设备虚拟仿真操作环境；然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理；其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析；再次，进行设备操作信息的自动语音合成，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象、提示等要素的同步；最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库。
Description
技术领域
本发明属于虚拟训练领域，特别涉及一种基于语音技术的复杂设备智能虚拟训练方法和系统。
背景技术
在实际生产工作中，大型复杂设备，如大型机电设备、航天测控系统、大型精密医疗系统、复杂武器装备等，其操作人员训练多结合实装进行，这种训练模式存在许多问题，主要表现在：(l)训练成本高。大型复杂设备价格昂贵，训练易造成磨损和老化，从而严重影响设备寿命，同时因训练带来的操作费用也很高；(2)大型复杂设备实装训练受场地气候条件、人员号位协同等限制，训练时间受限，影响操作能力和水平提高；(3)实装训练所见故障现象和所能体会的排故维修操作非常有限，不能在有限培训时间内迅速提高操作人员在面对实装故障时的应对能力；(4)实装训练没有自动的训练结果量化分析系统，操作人员无法实时准确把握训练的不足之处，不能及时有针对性的改进训练方法，从而影响训练水平。(5)在设备研发阶段，研发人员无法了解操作人员对设备使用的直观感受，不能将操作流程优化工作做在产品定型前；(6)对于新设备的实装训练，由于新设备到位有一个相对较长的周期，在这个周期里，操作使用人员无法接触设备，不能提前进行操作训练，出现“人等设备”现象。这些问题严重制约和影响了对操作人员的训练，从而直接影响到大型复杂设备作用的及时有效发挥。
虚拟训练系统能够有效克服完全依赖实装进行训练带来的诸多问题，如成本高、易磨损、限制条件多等，为大型复杂设备训练提供先进的操作环境和虚拟手段，对于改进训练效果、提高操作使用水平以及应对设备故障、加强设备维护等都具有重要意义。因此，虚拟训练系统受到了极大的关注，也取得了较多成果，如手术虚拟训练系统、飞机机务虚拟训练系统、航天员虚拟训练系统、舰船虚拟训练系统等。但目前已有虚拟训练系统大多依赖于机器视觉、三维仿真、虚拟现实等视觉交互技术，对视觉图像信息利用较为充分，而对其它信息的利用则稍显不足，如语音信息，尤其是虚拟训练中对语音进行采集识别以及自动合成、实现训练过程中人-机直接对话，这方面的公开报道非常少。
在本发明以前的现有技术中，有以下参考文献：
[1]金雷,潘巨辉,王春财.语音识别在指挥引导训练系统中的应用与实现[C].第三届中国指挥控制大会,2015.07.
[2]景春进,陈东东,周琳琦.基于中文语音识别技术的舰艇指挥训练系统的研究[J].计算机测量与控制,2014.22(8).
[3]袁伟伟,胡军,刘万凤.空管模拟训练中指令的语音识别与合成技术研究[J].电子设计工程,2013.21(6).
[4]耿睿,崔德光.基于复合信息空间的语音识别训练系统研究[J].计算机工程与应用,2002.38(1).
文献[1]采用基于隐马尔可夫模型局部最优状态路径的数据重建算法，提高了语音识别的准确性和鲁棒性，并可识别指挥引导员连续发出的指挥口令；文献[2]分析了舰艇指挥指令的语言特点，研究了基于Sphinx平台的汉语连续语音识别的相关问题，并设计实现了一个非特定人、中等专用词汇量的连续汉语语音识别系统；文献[3]对空管模拟训练中指令的自动语音识别及自动语音合成应答问题进行了分析研究，并基于开源语音识别引擎及语音合成引擎，设计并实现了一个语音指令识别及合成系统；文献[4]提出了一种在复合信息空间中基于知识的、定性与定量相结合的分析方法，并基于该方法对语音识别产品进行使用训练。以上文献均是侧重于语音识别、合成技术，或者是语音识别产品方面，对于语音技术在虚拟训练中的具体应用没有详细阐述。
因此，需要一种能够采用语音自动识别与合成技术提升人-机交互的智能化水平，针对确定任务要求实现人-机直接对话的虚拟训练方法。本发明正是以实际问题为牵引，设计了一种基于语音技术的复杂设备智能虚拟训练方法，为大型复杂设备的训练使用维护及操作人员的训练考核提供了形象化、高效化的技术手段。
发明内容
本发明的目的在于提供一种基于语音技术的复杂设备智能虚拟训练方法，该方法通过训练人员语音的自动识别与精确合成，并结合虚拟演示或操作，实现复杂设备虚拟训练的智能化原理示教、规程背对训练、虚拟操作、考核评估，以及辅助故障诊断与决策支持等功能，从而提高复杂设备的训练水平。
本发明采用如下技术方案来实现的：
一种基于语音技术的复杂设备智能虚拟训练方法，包括以下步骤：
首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；
然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；
其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；
再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；
最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模块智能链接、训练效果定量分析以及信息故障快速查询的功能。
本发明进一步的改进在于，该方法包括五种训练模式，分别是机器合成训练模式、人机背对训练模式、人员协同背对训练模式、虚拟操作训练模式和语音操作协同训练模式。
本发明进一步的改进在于，机器合成训练模式中，完成设备操作所有岗位均由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成所有虚拟操作人员的语音合成，并结合虚拟训练设备同步显示设备操作状态及现象。
本发明进一步的改进在于，人机背对训练模式中，完成设备操作的部分岗位由训练人员担任，其余部分岗位由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作人员的语音合成，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价。
本发明进一步的改进在于，人员协同背对训练模式中，完成设备操作的所有岗位均由训练人员担任，训练过程中计算机自动完成训练人员语音的采集、识别与判读，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价。
本发明进一步的改进在于，虚拟操作训练模式中，结合虚拟训练设备，训练人员按规程要求进行相应操作，训练过程中计算机结合设备操作情况适时给出文字、语音方面的信息提示，并通过分析训练人员操作动作的准确性，给出训练效果的定量评价；还能够结合故障库，在虚拟设备上设置故障状态，训练人员按要求进行故障分析及排故训练，同样通过分析训练人员操作动作的准确性，给出训练效果的定量评价。
本发明进一步的改进在于，语音操作协同训练模式中，结合虚拟训练系统，在语音训练的同时，同步进行设备操作训练，使训练人员能“听着口令、做着动作、看着现象、报着状态”全方位协同训练，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作岗位的语音合成，依据训练人员操作情况，同步显示虚拟设备操作状态及现象，并通过分析训练人员的规程口令连贯性和操作动作准确性，给出训练效果的定量评价。
一种基于语音技术的复杂设备智能虚拟训练系统，包括计算机系统、语音采集系统、键盘鼠标输入系统、语音输出系统和显示投影系统；其中，
计算机系统内包含机器合成训练模块、人机背对训练模块、人员协同背对训练模块、虚拟操作训练模块和语音操作协同训练模块；语音采集系统内包含语音采集模块和语音综控模块；
工作时，计算机系统通过语音采集系统和键盘鼠标输入系统采集训练人员的口令和操作动作信息，将相应信息送入选定的机器合成训练模块、人机背对训练模块、人员协同背对训练模块、虚拟操作训练模块或语音操作协同训练模块，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统和显示投影系统进行播放显示。
本发明进一步的改进在于，机器合成训练模块中，虚拟操作人员根据录入的规程，在计算机系统内进行语音合成，通过语音输出系统输出语音；
人机背对训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果；
人员协同背对训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果；
虚拟操作训练模块，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果；
语音操作协同训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别，训练人员在虚拟设备上进行相应操作；虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。
本发明具有如下有益的技术效果：
本发明提出的一种基于语音技术的复杂设备智能虚拟训练方法，首先，可提高训练环境的逼真度和虚拟训练的沉浸感。在现实世界中，人们通过视觉、听觉等多种感知通道感知周围环境，其中，听觉通道是人类获取外界信息的第二大感知通道，通过在虚拟训练中引入自动语音识别与合成，可提供声音定位，增强训练人员的立体感，并在信息可视化基础上增加信息可听化，使虚拟训练环境更加接近实际操作环境，提高操作人员的训练沉浸感；其次，可实现训练人员眼、耳、口、手、脑五维综合联动，提高训练效率。通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素同步，可实现训练人员眼看、耳听、口说、手动、脑想同时进行，有利于提高训练效率；最后，可实现训练效果的综合评价。通过对训练人员口令的准确性和熟练程度、操作的准确性和熟练程度以及故障排除的准确性等信息进行综合处理，可实现训练人员的训练效果综合评价，并建立相应数据库，为训练人员下一步针对性提高训练水平提供参考，为管理人员准确掌握训练人员的操作水平提供依据。
进一步，机器合成训练模式中，所有岗位均由虚拟操作人员担任，便于训练人员初步熟悉操作规程和后期各个不同岗位操作人员进一步熟练掌握规程，为轮岗轮训打下基础，训练难度低，可以用来训练新的操作人员，也可以用来演示设备操作流程。
进一步，人机背对训练模式中，由于部分操作岗位采用虚拟操作人员，可以对个别训练人员进行单独强化训练，针对性强，也可以将部分流程操作过于简单或者复杂的号位设为虚拟操作人员，可以大大提高训练效率。
进一步，人员协同背对训练模式中，所有操作岗位均由训练人员担任，训练覆盖面广，能够有效训练各岗位人员之间协同配合，便于指挥员掌握整体训练情况。
进一步，虚拟操作训练模式中，根据语音或者文字提示进行操作，训练人员能够加深对操作规程内容的理解和掌握，提高协同操作的能力，同时由于结合了虚拟训练系统，对应的训练方法更加灵活，并可以进行故障诊断与排除的操作训练考核。
进一步，语音操作协同训练模式中，将语音识别与合成同虚拟操作结合起来，不仅对规程背对进行了训练，同时也对设备操作进行了训练，其内部包含了机器合成训练模式、人机背对训练模式和人员协同背对训练模式，训练方式灵活多样。
本发明提出的一种基于语音技术的复杂设备智能虚拟训练系统，可根据训练人员情况灵活选择训练模式，不受人员、时间等限制，使用方便，有助于提高训练人员的训练积极性和训练效率。针对刚开始训练的人员，对规程口令及操作流程还不是很熟悉，可选择机器合成训练模式，通过观看学习虚拟操作人员的口令及操作，可尽快熟悉复杂设备操作的全流程，训练难度低并且形象直观；针对规程背对已经熟悉但还没有进行操作的人员，可选择虚拟操作训练模式，根据语音或者文字提示进行操作，便于尽快掌握复杂设备的操作要领，并有效克服规程背对后直接操作实际装备容易紧张的问题；针对需多人协同训练但人员不齐的情况，可选择人机背对训练模式或语音操作协同训练模式，将缺席的岗位设置为由虚拟操作人员担任，从而实现训练不受人员在位情况限制，同时还可针对部分岗位训练任务重采取个别岗位针对性训练，避免出现相同训练时间有的岗位训练时间不够，有的岗位训练时间太长的“吃大锅饭”现象，增强训练的针对性和有效性，提高训练效率；另外，指挥员还可在虚拟训练平台上人为设置故障现象，进行训练人员的故障诊断与排除操作训练，提高训练人员在实际装备操作中应对设备故障及突发情况的能力。
附图说明
图1为本发明的方法原理示意图。
图2为本发明的一个具体实施例总体结构图。
图3为具体实施例中机器合成训练流程图。
图4为具体实施例中人机背对训练流程图。
图5为具体实施例中人员协同背对训练流程图。
图6为具体实施例中虚拟操作训练流程图。
图7为具体实施例中语音操作协同训练流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
如图1所示，本发明提供的一种基于语音技术的复杂设备智能虚拟训练方法，包括以下步骤：
首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；
然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；
其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；
再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；
最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模块智能链接、训练效果定量分析以及信息故障快速查询的功能。
本发明提供的一个实施例总体结构如图2所示，包括计算机系统6、语音采集系统7、键盘鼠标输入系统8、语音输出系统9和显示投影系统10。计算机系统6内包含机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604和语音操作协同训练模块605；语音采集系统7内包含语音采集模块701和语音综控模块702。计算机系统6通过语音采集系统7和键盘鼠标输入系统8采集训练人员的口令和操作动作信息，将相应信息送入选定的机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604或语音操作协同训练模块605，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统9和显示投影系统10进行播放显示。
计算机系统6内机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604和语音操作协同训练模块605的实现流程如下：
机器合成训练模块601流程如图3所示，虚拟操作人员根据录入的规程，在计算机系统6内进行语音合成，通过语音输出系统9输出语音。其中在语音合成过程中，对不同岗位的虚拟操作人员合成出不同的语音，避免出现语音混淆，影响训练效果。
人机背对训练模块602流程如图4所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果。其中在比对分析过程中，由于语音识别结果受外界环境的影响较大，为提高判读分析的准确性，设计合理的容错机制。具体策略为：结合规程和实际训练使用过程中语音识别的结果，对不同的口令设计对应的关键字或者“容错口令”，运用关键字进行搜寻匹配，从而提高搜索效率和匹配成功率。在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601。
人员协同背对训练模块603流程如图5所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果。其中在判读分析过程中，需设计合理的容错机制，具体见人机背对训练模块602。
虚拟操作训练模块604流程如图6所示，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统6根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果。其中在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601；文字合成则是根据规程内容形成文字提示。
语音操作协同训练模块605流程如图7所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别，训练人员在虚拟设备上进行相应操作。虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。其中在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601；在判读分析过程中，需设计合理的容错机制，具体见人机背对训练模块602。
Claims (3)
1.一种基于语音技术的复杂设备智能虚拟训练方法，其特征在于，包括以下步骤：
首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；
然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；
其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；
再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；
最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模块智能链接、训练效果定量分析以及信息故障快速查询的功能；
该方法包括五种训练模式，分别是机器合成训练模式、人机背对训练模式、人员协同背对训练模式、虚拟操作训练模式和语音操作协同训练模式；
机器合成训练模式中，完成设备操作所有岗位均由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成所有虚拟操作人员的语音合成，并结合虚拟训练设备同步显示设备操作状态及现象；
人机背对训练模式中，完成设备操作的部分岗位由训练人员担任，其余部分岗位由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作人员的语音合成，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价；
人员协同背对训练模式中，完成设备操作的所有岗位均由训练人员担任，训练过程中计算机自动完成训练人员语音的采集、识别与判读，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价；
虚拟操作训练模式中，结合虚拟训练设备，训练人员按规程要求进行相应操作，训练过程中计算机结合设备操作情况适时给出文字、语音方面的信息提示，并通过分析训练人员操作动作的准确性，给出训练效果的定量评价；还能够结合故障库，在虚拟设备上设置故障状态，训练人员按要求进行故障分析及排故训练，同样通过分析训练人员操作动作的准确性，给出训练效果的定量评价；
语音操作协同训练模式中，结合虚拟训练系统，在语音训练的同时，同步进行设备操作训练，使训练人员能“听着口令、做着动作、看着现象、报着状态”全方位协同训练，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作岗位的语音合成，依据训练人员操作情况，同步显示虚拟设备操作状态及现象，并通过分析训练人员的规程口令连贯性和操作动作准确性，给出训练效果的定量评价。
2.一种基于语音技术的复杂设备智能虚拟训练系统，其特征在于，该系统基于权利要求1所述的方法，包括计算机系统(6)、语音采集系统(7)、键盘鼠标输入系统(8)、语音输出系统(9)和显示投影系统(10)；其中，
计算机系统(6)内包含机器合成训练模块(601)、人机背对训练模块(602)、人员协同背对训练模块(603)、虚拟操作训练模块(604)和语音操作协同训练模块(605)；语音采集系统(7)内包含语音采集模块(701)和语音综控模块(702)；
工作时，计算机系统(6)通过语音采集系统(7)和键盘鼠标输入系统(8)采集训练人员的口令和操作动作信息，将相应信息送入选定的机器合成训练模块(601)、人机背对训练模块(602)、人员协同背对训练模块(603)、虚拟操作训练模块(604)或语音操作协同训练模块(605)，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统(9)和显示投影系统(10)进行播放显示。
3.根据权利要求2所述的一种基于语音技术的复杂设备智能虚拟训练系统，其特征在于，机器合成训练模块(601)中，虚拟操作人员根据录入的规程，在计算机系统(6)内进行语音合成，通过语音输出系统(9)输出语音；
人机背对训练模块(602)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果；
人员协同背对训练模块(603)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果；
虚拟操作训练模块(604)，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统(6)根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果；
语音操作协同训练模块(605)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别，训练人员在虚拟设备上进行相应操作；虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811445918.1A CN109300466B (zh) | 2018-11-29 | 2018-11-29 | 一种基于语音技术的复杂设备智能虚拟训练方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811445918.1A CN109300466B (zh) | 2018-11-29 | 2018-11-29 | 一种基于语音技术的复杂设备智能虚拟训练方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109300466A CN109300466A (zh) | 2019-02-01 |
| CN109300466B true CN109300466B (zh) | 2022-04-29 |
Family
ID=65141973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811445918.1A Active CN109300466B (zh) | 2018-11-29 | 2018-11-29 | 一种基于语音技术的复杂设备智能虚拟训练方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109300466B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111554145A (zh) * | 2020-04-24 | 2020-08-18 | 中国人民解放军火箭军工程大学 | 一种智能模拟收发报训练的上位机客户端 |
| CN112634692A (zh) * | 2020-12-15 | 2021-04-09 | 成都职业技术学院 | 一种乘务员客舱应急撤离推演训练系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1328676A (zh) * | 1998-11-25 | 2001-12-26 | 约翰霍普金斯大学 | 使用人类交互式仿真器的培训装置和方法 |
| JP2013015996A (ja) * | 2011-07-04 | 2013-01-24 | Hitachi-Ge Nuclear Energy Ltd | プラント運転訓練装置 |
| CN103246765A (zh) * | 2013-04-24 | 2013-08-14 | 胡松伟 | 一种装备虚拟训练平台开发方法 |
| CN104867367A (zh) * | 2015-06-17 | 2015-08-26 | 中国人民解放军海军工程大学 | 一种基于任务驱动的舰船损管对话式训练仿真系统 |
| CN106485973A (zh) * | 2016-10-21 | 2017-03-08 | 上海申电教育培训有限公司 | 基于虚拟现实技术的电力技能培训平台 |
| CN108648600A (zh) * | 2018-06-29 | 2018-10-12 | 鄂尔多斯应用技术学院 | 一种模拟实际生产的汽车模型教学生产线及教学方法 |
-
2018
- 2018-11-29 CN CN201811445918.1A patent/CN109300466B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1328676A (zh) * | 1998-11-25 | 2001-12-26 | 约翰霍普金斯大学 | 使用人类交互式仿真器的培训装置和方法 |
| JP2013015996A (ja) * | 2011-07-04 | 2013-01-24 | Hitachi-Ge Nuclear Energy Ltd | プラント運転訓練装置 |
| CN103246765A (zh) * | 2013-04-24 | 2013-08-14 | 胡松伟 | 一种装备虚拟训练平台开发方法 |
| CN104867367A (zh) * | 2015-06-17 | 2015-08-26 | 中国人民解放军海军工程大学 | 一种基于任务驱动的舰船损管对话式训练仿真系统 |
| CN106485973A (zh) * | 2016-10-21 | 2017-03-08 | 上海申电教育培训有限公司 | 基于虚拟现实技术的电力技能培训平台 |
| CN108648600A (zh) * | 2018-06-29 | 2018-10-12 | 鄂尔多斯应用技术学院 | 一种模拟实际生产的汽车模型教学生产线及教学方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于PC的飞行指挥训练系统》;刘建德等;《计算机应用》;20091230;第29卷(第12期);第3413-3415页，第3448页左栏第1段，图1-3 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109300466A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991381B (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| Sun | 5G joint artificial intelligence technology in the innovation and reform of university English education | |
| CN107958433A (zh) | 一种基于人工智能的在线教育人机交互方法与系统 | |
| CN110349467B (zh) | 一种基于增强现实的通航维修培训系统及方法 | |
| CN109841122A (zh) | 一种智能机器人教学系统及学生学习方法 | |
| CN105427708A (zh) | 一种声乐发音训练系统 | |
| CN112908355B (zh) | 一种师范生教学技能量化评价系统及其方法 | |
| CN111240490A (zh) | 基于vr虚拟沉浸及环幕互动的设备绝缘试验培训系统 | |
| CN109300466B (zh) | 一种基于语音技术的复杂设备智能虚拟训练方法和系统 | |
| Antunes et al. | A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf | |
| CN116109455B (zh) | 一种基于人工智能的语言教学辅助系统 | |
| CN108831237A (zh) | 沉浸式虚拟现实的机车乘务员非正常行车实训考核系统 | |
| CN115116296A (zh) | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 | |
| CN116957867A (zh) | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| CN1506870A (zh) | 计算机可执行的语文听力训练系统及方法 | |
| Yunina | ARTIFICIAL INTELLIGENCE TOOLS IN FOREIGN LANGUAGE TEACHING IN HIGHER EDUCATION INSTITUTIONS | |
| CN113299141A (zh) | 一种航空空乘模拟培训系统及培训方法 | |
| CN113160639A (zh) | 一种电子对抗装备虚拟认知训练系统及其工作方法 | |
| CN1448897A (zh) | 随机提问造句回答用以训练外语听说能力的系统及其方法 | |
| Zheng et al. | A study of college English translation teaching in the age of artificial intelligence | |
| Yu et al. | Application of psychological counseling system based on virtual reality technology in college students' psychological counseling | |
| CN215376633U (zh) | 一种高速动车组司机模拟实训系统 | |
| Weng et al. | Design of Helicopter Avionics Maintenance Training System Based on Intelligent Teaching System | |
| Hayamizu et al. | RWC multimodal database for interactions by integration of spoken language and visual information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |