一种模拟训练系统及其客户端
技术领域
本发明属于机械模拟训练领域,特别涉及一种模拟训练系统及其客户端。
背景技术
随着经济的发展和社会的进步,各种用途的车辆、工程设备、船舶甚至是飞行器都得到广泛的应用,获得各种交通工具、工程设备的操作权限依旧是一个繁琐、复杂、耗时的过程。
以工程设备中的起重机为例,其作为在一定范围内能够垂直提升和水平搬运重物的多动作起重机械,在运输行业得到了广泛的应用,相应的,社会对起重机驾驶员这一岗位的需求量也在逐年攀升。
目前,由于起重机价格高昂,动辄数百万、甚至千万元的起重机价格,制约了培训起重机驾驶技术机构的起重机购买力。从而导致可供学员进行训练的机器数量少,学员上机学习时间不足,学员进步缓慢,学习周期长,造成时间资源的浪费,加大了培训的成本。
另外,作为大型起重设备,起重机占地面积大,巨大的底盘及擎天吊臂在操作过程中会受到培训环境及施工场地的制约。在学员使用起重机进行操作学习时因受到场地的限制,无法更全面、自由的进行学习和实践。再加之学员进行实践操作训练学习时,天气、环境条件不可控,单一的环境条件下进行操作训练不能够更好的丰富学员的实践操作经验。
相类似的,作为车辆、船舶、飞行器来说,学员需要到对应的单位进行专业培训,最终考取执证资格,由于场地、天气、环境条件的限制,训练进度缓慢,不能够对各种操作环境进行有针对性的训练学习,从而导致学员的经验不足,并且,在训练过程中,存在一定的安全危险。
发明内容
为了解决现有技术存在的缺陷,本发明实施例提供一种模拟训练系统,包括:
S1:终端向客户端发送包含任务信息和任务环境信息的开始训练命令;
S2:所述客户端接收所述开始训练命令;
S3:所述客户端从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据;
S4:所述客户端获取学员的操作信息,并根据所述操作信息生成作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述作业视图数据和所述任务虚拟视图数据生成并显示模拟训练视频;
S5:所述客户端向所述终端发送所述模拟训练视频;
S6:所述终端接收所述客户端返回的模拟训练视频,结束。
所述客户端还包括:
获取学员的待评测数据,从所述操作信息中获取待评测特征点,向所述终端发送所述待评测数据和所述待评测特征点;
相应的,所述终端接收所述客户端返回的待评测数据和待评测特征点,根据所述任务信息和所述任务环境信息对应的评测标准对所述待评测数据和所述待评测特征点进行评测,得到评测结果,输出评测结果,保存所述模拟训练视频及对应的评测结果。
所述客户端从所述开始训练命令中获取任务信息、任务环境信息之前,还包括:从开始训练命令中获取学员信息,并进行显示,等待获取学员输入的确认训练信息。
所述任务环境信息包括:天气环境条件、地理环境条件、光照条件。
所述系统包括:操纵杆、踏板、控制面板、仪表盘;
所述客户端获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息。
所述根据所述作业视图数据和所述任务虚拟视图数据生成并显示模拟训练视频,包括:
所述客户端将所述作业视图数据和与其对应的所述任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,根据所述模拟训练视图数据生成并显示模拟训练视频。
所述待评测数据包括:学员的心率和/或血压和/或皮肤电信号和/或脉搏和/或面部特征点的位置和/或面部三原色均值。
还包括:所述终端向所述客户端发送结束训练命令;
所述客户端接收到结束训练命令时,关闭三维物理引擎、关闭仿真系统、关闭客户端显示器。
所述终端获取修改后的任务环境信息,并将其发送给客户端,或者终端将任务环境信息修改的部分发送给客户端。
所述开始训练命令中还包括系统模式信息;
所述客户端从所述开始训练命令中获取系统模式信息,如果是虚拟现实模式,则执行S3;如果是图像拼接模式,则从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示所述任务拼接视图数据,获取学员的操作信息,并根据所述操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述任务拼接视图数据和所述作业视图数据生成训练视频。
所述客户端向所述终端发送所述模拟训练视频,替换为:所述客户端向终端发送待评测数据和操作信息;
所述终端接收待评测数据和操作信息,根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,进而显示任务虚拟视图数据,根据学员的操作信息生成对应的作业视图数据,然后根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,根据该模拟训练视图数据生成并显示对应的模拟训练视频。
所述系统还包括:
所述客户端获取学员的待评测数据;
在向所述终端发送所述模拟训练视频时,还发送待评测数据;
所述终端接收模拟训练视频时,一并接收待评测数据,显示模拟训练视频;
所述终端对所述模拟训练视频进行图像识别,从中获取待评测特征点,根据所述任务信息和所述任务环境信息对应的评测标准,对所述待评测数据和所述待评测特征点进行评测,得到评测结果。
另一方面,本发明还提供一种模拟训练系统的客户端,包括:
数据接收模块,用于接收终端发送的包含任务信息和任务环境信息的开始训练命令;
数据提取模块,用于从所述开始训练命令中获取任务信息、任务环境信息;
渲染模块,用于根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据;
第一显示模块,用于显示任务虚拟视图数据,并触发信息获取模块;
信息获取模块,用于获取学员的操作信息;
操作模拟模块,用于根据所述操作信息生成作业视图数据;
仿真系统模块,用于模拟驾驶座椅的颠簸或者倾斜;
模拟视频生成模块,用于根据所述作业视图数据和所述任务虚拟视图数据生成模拟训练视频;
第二显示模块,用于显示所述模拟训练视频;
数据发送模块,用于向所述终端发送所述模拟训练视频。
所述客户端还包括:
数据获取模块,用于获取学员的待评测数据,从所述操作信息中获取待评测特征点;
相应的,数据发送模块还用于向所述终端发送所述待评测数据和所述待评测特征点。
所述客户端还包括:
认证模块,用于从开始训练命令中获取学员信息,并进行显示,等待获取学员输入的确认训练信息,当获取到学员输入的确认训练信息时,触发数据提取模块。
所述任务环境信息包括:天气环境条件、地理环境条件、光照条件。
所述客户端包括:操纵杆、踏板、控制面板、仪表盘;
所述信息获取模块,具体用于获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息。
所述模拟视频生成模块,具体用于将所述作业视图数据和与其对应的所述任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,根据所述模拟训练视图数据生成模拟训练视频。
所述数据接收模块,还用于接收结束训练命令;
相应的,客户端还包括掉电模块,用于在接收到结束训练命令时,完成客户端掉电。
所述数据提取模块,还用于:从所述开始训练命令中获取系统模式信息;
相应的,所述客户端还包括判断模块,用于判断系统模式信息的类型,如果是虚拟现实模式,则触发数据提取模块;如果是图像拼接模式,则触发拼接处理模块;
所述拼接处理模块,用于从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示所述任务拼接视图数据,获取学员的操作信息,并根据所述操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述任务拼接视图数据和所述作业视图数据生成训练视频。
所述客户端还包括:
数据采集模块,用于采集学员的待评测数据;
所述数据发送模块,还用于向所述终端发送所述待评测数据。
本发明取得的有益效果为:模拟训练系统安装有万向轮,方便移动,另外,模拟训练系统的体积与工程设备的体积、交通工具的体积相比更小巧,结构更为简单。例如:在结构方面,模拟训练设备没有起重机那样的巨大底盘及擎天吊臂,外部结构更为简单,在进行训练的过程中,模拟训练装置无需安置起重机式的巨大底盘及擎天吊臂,从而大大节省了其占用的场地空间。
模拟训练系统支持虚拟现实以及曲面屏幕两种视频输出方式,从而可以多元化的选择视频输出模式,满足了学员因不同时段的需求,使得学员能够更方便、更高效率的进行学习。
模拟训练系统能够模拟各种环境,增强学员在复杂环境条件下作业的能力。采用本模拟训练系统,能够使学员在进行作业训练时不再受天气、可视条件等作业环境因素的限制,可以合理分配学员作业训练时间,在节省培训时间、缩短培训周期的同时,节约资源消耗以及节省资金成本。另外,本模拟训练系统不再像传统交通工具、工程设备那样受作业场地限制,能够集中的、大规模的进行作业培训,彻底解决了因环境或场地等问题造成的教学不便,使培训更灵活。采用模拟训练系统能帮助学员尽快掌握作业的理论知识和基本操作技能的同时,还能够避免学员真机训练时的意外事故,从而增强训练的安全性。综上所述,本模拟训练系统与传统真机作业训练相比,具备耗能低,无油耗、车损的优点,并且有效的缩短了培训周期,增强学员实践作业能力,提高了安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例1提供的一种模拟训练系统流程图。
图2为本发明实施例2提供的另一种模拟训练系统流程图。
图3和图4为本发明提供的又一种模拟训练系统流程图。
图5为本发明实施例提供的一种模拟训练系统的客户端结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅为本发明一部分实施例,而不是全部的实施例。给予本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护范围。
实施例1
本发明提供一种模拟训练系统,具体如图1所示,包括:
步骤101:终端获取学员信息、任务信息、任务环境信息;
在本发明实施例中,本模拟训练系统包括终端和客户端两大部分,通过终端和客户端之间的通信,完成在终端操作的管理员和在客户端操作的学员之间通信、交流,实现终端设置模拟训练的相关信息,使得客户端依据终端设置的模拟训练的相关信息进行模拟训练。
本系统可以包含多种设备的模拟训练,终端可以在获取学员信息时,获取该学员信息对应的模拟训练系统信息,显示该学员信息及其对应的模拟训练系统信息,获取管理员选择的模拟训练系统信息,以此确定该学员需要进行的模拟训练。对于不同设备的模拟训练,其对应的任务信息和任务环境信息也不相同。本发明实施例将以确定模拟训练系统信息后的技术方案进行阐述。
进一步的,终端获取模拟训练系统信息对应的任务信息、任务环境信息。其中,任务信息是供学员进行模拟训练的任务,而任务环境信息是模拟训练时的天气环境条件,包括:风、雨、雷电、云、雾、雨夹雪、雪,以及风、雷电、云、雾、雨的等级。任务环境信息除了包括天气环境条件外,还包括模拟训练的地理环境条件,地理环境条件包括但不限于平原、山地、丘陵、沙漠、冰面等。进一步的,还可以包括模拟训练时的光照条件:白天或夜晚。
终端通过设置任务环境信息,可以从多种天气环境条件、多种地理环境条件中,设置提供给学员模拟训练的天气环境条件和地理环境条件,将其作为任务环境信息,以此提高学员在各种天气环境条件下、各种地理环境条件下进行作业的能力,提高学员作业的综合素质。
本模拟训练系统的系统模式包括虚拟现实模式。通过采用虚拟现实模式能够让学员在视觉上与实景作业体验一致。本系统还包括仿真模拟系统,该仿真模拟系统可以采用六自由度运动平台,能够结合当前的任务信息、任务环境信息采用运动平台进行模拟运动,使学员在执行任务进行模拟训练时,真正的做到身临其境,从而提高学员的操作体验。
另外,本系统还可以根据当前任务信息选择对应的评测标准,以此对学员的模拟训练进行测评打分,进而辅助学员操作的规范性。
综上所述,本系统取得真机作业的效果的同时,还能够对该学员的操作进行测评,发现、指出、纠正学员的不当操作,同时还能够了解学员在进行任务作业的过程中的心理素质变化情况,进一步了解学员的综合素质。
本模拟系统不仅可以模拟车辆的驾驶、船舶的驾驶、飞行器的模拟飞行还可以模拟工程车辆的作业。本系统可以针对不同的应用场景,配置硬件设备及其相应的传感器。
步骤102:终端向客户端发送包含学员信息、任务信息、任务环境信息的开始训练命令;
本发明实施例中,终端根据管理员设置的学员信息、任务信息、任务环境信息组织开始训练命令,并将其发送给客户端。学员信息包括:学员姓名、班组,进一步的,为了区分各个学员,学员信息还可以包括学员ID。
步骤103:客户端接收开始训练命令,从开始训练命令中获取学员信息,并进行显示;
在本发明实施例中,客户端接收到终端下发的开始训练命令时,从该开始训练命令中获取学员信息,并进行显示。通过这种显示开始训练命令中的学员信息的方式,能够使客户端操作的学员对该学员信息进行认证、核对。
步骤104:当客户端获取到学员输入的确认训练信息时,从开始训练命令中获取任务信息、任务环境信息;
本发明实施例中,当客户端获取到学员输入的学员认证信息为确认训练信息时,说明经过核对确认客户端收到的学员信息正确,能够进行训练。此时,客户端从开始训练命令中获取任务信息、任务环境信息。
在本发明技术方案中,当客户端在指定时间内未收到确认训练信息时,或者客户端收到学员输入非确认训练信息时,向终端发送核对学员信息请求,终端经核对后重新下发开始训练命令。
步骤105:客户端根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据;
本发明实施例中,客户端从任务环境信息中获取天气环境条件、光照条件,以及地理环境条件,根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据。
例如,客户端从任务环境信息中获取到模拟训练的天气环境条件为“小雪”,光照条件为“白天”,地理环境条件为“沙漠”,客户端获取到的任务信息为“装填”。客户端采用三维物理引擎对吊车及其所在的地理环境进行建模制作视觉特效,渲染在白天、小雪的天气条件下,吊车在沙漠中的执行装填的任务虚拟视图数据,并对渲染得到的任务虚拟视图数据进行显示。
本系统的客户端中,还配置有一摄像头,能够与在客户端进行模拟训练的学员的视线同步,据此建模制作视觉特效渲染得到的任务虚拟视图数据,使得学员所能观察到的任务虚拟视图数据与该学员在真机操作时观看到的场景一致。进一步保证了模拟训练系统的真实性、可靠性。
步骤106:客户端获取学员的操作信息,并根据该操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜;
在本发明实施例中,通过步骤105,在客户端进行操作的学员可以看到三维立体的任务虚拟视图数据,并据此进行相应的操作。不同设备的模拟训练系统,具备的硬件结构不同,以吊车的模拟训练系统来说,该系统包括操纵杆、踏板、控制面板、仪表盘等,各硬件结构配备对应的传感器包括:仪表盘传感器、操纵杆传感器、踏板传感器,客户端获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息,根据操作信息利用三维物理引擎渲染生成对应的作业视图数据。通过三维物理引擎渲染出作业视图数据,能够模拟出学员在完成任务时的情景,使学员通过使用虚拟头戴设备,在视觉上观察到自身操作的情况,进而得到更真实的视觉反馈。
在客户端获取学员的操作信息、并据此生成对应的作业视图数据的同时,仿真系统根据该学员的操作信息模拟驾驶座椅的颠簸或者倾斜,进而使得在客户端进行操作的学员能够在触觉感官上体验到实际上机进行作业时的感受,提升学员的体验。
步骤107:客户端根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,根据该模拟训练视图数据生成并显示对应的模拟训练视频;
在本发明实施例中,客户端将作业视图数据和与其对应的任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,然后,将模拟训练视图数据生成视频,进行显示播放。实现三维立体展现模拟训练时,所处的任务环境情景、以及完成任务的过程。
步骤108:客户端获取学员的待评测数据;
本发明实施例中,待评测数据包括:学员的心率和/或血压和/或皮肤电信号和/或脉搏和/或面部特征点的位置和/或面部三原色均值。其中,面部特征点包括但不限于眼睛、眉毛、嘴巴、脸颊、鼻子。客户端通过其自身集成的血压传感器、心率传感器、皮肤电信号传感器、脉搏传感器分别采集学员的血压、心率、皮肤电信号、脉搏,通过设置在学员正前方的摄像头采集学员在执行任务时的面部图像,分析采集到的面部图像,从中提取面部特征点,计算面部特征点的坐标,以及面部三原色均值。通过采集面部特征点的坐标、以及面部三原色均值,能够分析学员在不同时刻面部特征点的坐标变化情况、面部三原色均值变化,以此辅助分析该学员的心理变化情况。
进一步的,客户端还可以实时采集学员在执行任务时的声音属性,通过分析学员在执行任务时的声音属性的变化情况,了解学员心理状态的变化。
本技术方案的主要原理是利用人心理状态发生变化时,身体会作出的反射信号的现象。学员在执行任务、完成作业时,往往会受到自身的心理、操作情况、操作过程中遇到的突发情况或者任务环境的影响,导致心理上承受压力发生变化。本系统不仅能够通过三维物理引擎在视觉上模拟操作情况、通过仿真系统在感官上模拟操作时设备颠簸或者倾斜情况,还能够通过实时采集学员在完成任务进行操作的过程中心理及身体上各项参数,客观、全面的对该学员的综合素质进行评价。
步骤109:客户端从操作信息中获取待评测特征点;
在本发明技术方案中,针对吊车的硬件设备设置了多种传感器,包括仪表传感器、操纵杆传感器、踏板传感器、控制面板传感器,通过获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,模拟吊车作业。客户端可以从传感器中采集到的数据中提取待评测特征点,通过检测待评测特征点,来评价当前任务完成的是否规范。以完成装填作业为例,待评测特征点包括:吊钩到达的预先设置的目标位置、吊钩到达目标位置所耗的时间、吊钩到达目标位置过程中的对地夹角最大值。
在实施例中,待评测特征点的提取其目的在于终端进行数据评测,因此,待评测特征点的获取不是必须要由客户端执行。
步骤110:客户端向终端发送模拟训练视频、待评测数据和待评测特征点;
在本发明实施例中,客户端将模拟训练视频发送给终端,实现客户端与终端视频同步显示的效果,客户端还可以在生成作业视图数据和任务虚拟视图数据时,将作业视图数据和任务虚拟视图数据发送给终端。通过这种传输作业视图数据和任务虚拟视图数据,替换传输模拟训练视频的方式,减少了传输数据量,即使有部分数据在传输的过程中丢失,终端仍可根据接收到的大部分数据进行数据处理,进而生成模拟训练视频,从而保障了终端接收到的模拟训练视频的完整性。
在本发明实施例中,客户端负责采集各类数据,而终端负责对客户端发送过来的数据进行处理,使客户端与终端同步工作,通过采用这种将客户端与终端相互配合、各自分工的方式,能够使客户端在保障采集数据速度的同时,降低终端处理客户端发送的数据的压力,避免出现因超负荷工作导致设备宕机的情况,避免因设备性能问题导致数据滞后、终端与客户端数据不同步的问题。
步骤111:终端接收模拟训练视频、待评测数据和待评测特征点,显示模拟训练视频;
在本发明实施例中,终端可以直接将接收到的模拟训练视频进行显示。还可以在接收到客户端发送的作业视图数据和任务虚拟视图数据时,根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,再根据该模拟训练视图数据生成并显示对应的模拟训练视频。
在本发明技术方案中,还可以采用语音通信的方式,使得终端的管理员与客户端的学员之间进行通信。通过语音通信的方式,能够终端和客户端双方认证已完成模拟训练视频的传输,以及在终端已显示模拟训练视频。
步骤112:终端根据任务信息和任务环境信息对应的评测标准,对待评测数据和待评测特征点进行评测,得到评测结果;
在本发明实施例中,终端根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准,根据该评测标准对待评测数据和待评测特征点进行评测,得到测评结果。
步骤113:终端输出评测结果;
在本发明实施例中,评测结果的输出方式包括但不限于文字和/或图形显示和/或语音播报和/或光电显示。进一步的,终端在输出评测结果的同时,还可以将评测结果发送给客户端,以供客户端的学员自行校正操作,使操作更加规范,进而提高学员模拟训练的效率。学员的评测结果涉及到学员的个人隐私,为了妥善保护学员信息,仅限于管理员在终端上浏览、查看学员的评测结果。
步骤114:终端向客户端发送结束训练命令;
在本发明实施例中,终端不仅可以向客户端发送开始训练命令,发起学员的模拟训练,还可以不受任何时间限制的向客户端发送结束训练命令,结束学员的模拟训练。终端向客户端发送结束训练命令,包括以语音的形式向客户端发送结束训练命令,以触发结束训练命令按键的形式通知客户端结束训练,包括以发送结束训练命令的方式通知客户端结束训练。
步骤115:客户端接收结束训练命令,结束。
在本发明实施例中,客户端接收到结束训练命令时,完成客户端掉电。
步骤116:终端保存模拟训练视频以及对应的评测结果,结束。
在本发明实施例中,终端在向客户端下发结束训练命令时,将已经接收到的所有的模拟训练视频以及对应的评测结果与学员信息、任务信息、任务环境信息建立对应关系并进行保存。进一步的,还可以将终端下发开始训练命令开始至下发结束训练命令这一过程中的所有音频通话记录与该学员信息、任务信息、任务环境信息建立对应关系进行保存。通过保存模拟训练视频以及其对应的评测结果,能够使管理员通过访问终端,调取某一学员的模拟训练视频以及其对应的评测结果,进而掌握该学员的学习进度以及存在的问题。
需要说明的是,在本发明实施例中,终端的管理员可以在客户端的学员完成任务的过程中,修改、调整任务环境信息,例如,修改天气环境条件,增大下雪量。
当客户端接收到修改后的任务环境信息时,根据任务信息和修改后的任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示该任务虚拟视图数据,同时客户端向终端发送任务环境信息修改响应。通过这种方式使得终端能实时修改客户端的任务环境信息,并且使客户端的任务环境信息实时更新,进而实现客户端任务环境信息可以变化,学员在变化的任务环境信息中进行作业训练。
当客户端接收到任务环境信息修改的部分时,根据任务信息、任务环境信息和任务环境信息修改的部分,采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示该任务虚拟视图数据,同时客户端向终端发送任务环境信息修改响应。
通过上述两种方式都能够使得终端实时修改客户端的任务环境信息,并且使客户端的任务环境信息实时更新,进而实现客户端任务环境信息可以变化,学员在变化的任务环境信息中进行作业训练。
本发明上述实施例采用的技术方案中,系统模式采用默认的虚拟现实模式。本系统终端还可以进一步的设置系统模式信息,系统模式信息包括:虚拟现实模式和图像拼接模式。终端在获取学员信息、任务信息、任务环境信息时,还可以进一步获取管理员设置的系统模式信息,然后向客户端发送包含学员信息、任务信息、任务环境信息、系统模式信息的开始训练命令。
客户端在接收到开始训练命令时,从开始训练命令中获取学员信息,并进行显示,发起学员信息认证,当客户端获取到学员输入的确认训练信息时,从开始训练命令中获取任务信息、任务环境信息、系统模式信息,并对系统模式信息进行判断,如果系统模式信息为虚拟现实模式时,则执行步骤105;如果系统模式信息为图像拼接模式时,则根据任务信息、任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示任务拼接视图数据,获取学员的操作信息,并根据该操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据任务拼接视图数据和作业视图数据生成训练视频。
在本技术方案中,采用拼接曲面屏显示待拼接图像的方法,不仅能够展现出学员在自身的视角上的可视范围,直观、真实地反应学员在进行模拟训练时的操作状态以及操作环境状态,还不需要佩戴其他配套设备,辅助视觉观察。学员不必佩戴其他设备,在心态上更为放松。通过曲面拼接屏显示学员在进行模拟训练时的场景,能够使学员更加真实、自然的进入到模拟训练中,从而使得学员进行模拟训练时得到的评测结果更加真实可信。
在本发明技术方案中,还可以将步骤110-111替换为步骤110'-111'。其中,
步骤110':客户端向终端发送待评测数据和操作信息,执行步骤111'。
步骤111':终端接收待评测数据和操作信息,根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,进而显示任务虚拟视图数据,根据学员的操作信息生成对应的作业视图数据,然后根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,根据该模拟训练视图数据生成并显示对应的模拟训练视频。从操作信息中提取待评测特征点,然后执行步骤112。
通过这种传输待评测数据和操作信息的方式,减少了数据传输量,提高了数据传输的速度,进一步提高了客户端与终端同步显示的效果。
实施例2
本发明实施例提供一种模拟训练系统,具体如图2所示,包括:
步骤201:终端获取学员信息、任务信息、任务环境信息;
本步骤与步骤101的方法相同,此处不再赘述。
步骤202:终端向客户端发送包含学员信息、任务信息、任务环境信息的开始训练命令;
本步骤与步骤102的方法相同,此处不再赘述。
步骤203:客户端接收开始训练命令,从开始训练命令中获取学员信息,并进行显示;
本步骤与步骤103的方法相同,此处不再赘述。
步骤204:当客户端获取到学员输入的确认训练信息时,从开始训练命令中获取任务信息、任务环境信息;
本步骤与步骤104的方法相同,此处不再赘述。
步骤205:客户端根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据;
本步骤与步骤105的方法相同,此处不再赘述。
步骤206:客户端获取学员的操作信息,并根据该操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜;
本步骤与步骤106的方法相同,此处不再赘述。
步骤207:客户端根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,根据该模拟训练视图数据生成并显示对应的模拟训练视频;
本步骤与步骤107的方法相同,此处不再赘述。
步骤208:客户端获取学员的待评测数据;
本步骤与步骤108的方法相同,此处不再赘述。
步骤209:客户端向终端发送模拟训练视频、待评测数据;
在本发明实施例中,客户端将模拟训练视频发送给终端,实现客户端与终端视频同步显示的效果,客户端还可以在生成作业视图数据和任务虚拟视图数据时,将作业视图数据和任务虚拟视图数据发送给终端,以此替换发送模拟训练视频的方式。
客户端负责采集各类数据,而终端负责对客户端发送过来的数据进行处理,使客户端与终端同步工作,通过采用这种将客户端与终端相互配合、各自分工的方式,能够使客户端在保障采集数据速度的同时,降低终端处理客户端发送的数据的压力,避免出现因超负荷工作导致设备宕机的情况,避免因设备性能问题导致数据滞后、终端与客户端数据不同步的问题。
步骤210:终端接收模拟训练视频、待评测数据,显示模拟训练视频;
在本发明实施例中,终端可以直接将接收到的模拟训练视频进行显示。还可以在接收到客户端发送的作业视图数据和任务虚拟视图数据时,根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,再根据该模拟训练视图数据生成并显示对应的模拟训练视频。通过这种传输作业视图数据和任务虚拟视图数据的方式,在大大提高了终端接收到的数据的完整性同时,即使有部分数据在传输的过程中丢失,终端仍可根据接收到的大部分数据进行数据处理,进而生成模拟训练视频。
步骤211:终端对模拟训练视频进行图像识别,从中获取待评测特征点;
终端对模拟训练视频中的图像进行图像识别,从中提取待评测特征点。其中,待评测特征点为模拟训练视频中学员进行操作时预先设定的动作信息、效果信息,例如,学员完成装填作业的过程中,吊钩必须要达到的预先设置的位置,货物摆动时,货物对地夹角。
在本发明技术方案中,还可以采用语音通信的方式,使得终端的管理员与客户端的学员之间进行通信。通过语音通信的方式,能够终端和客户端双方认证已完成模拟训练视频的传输,以及在终端已显示模拟训练视频。
步骤212:终端根据任务信息和任务环境信息对应的评测标准,对待评测数据和待评测特征点进行评测,得到评测结果;
本步骤的操作方法与步骤112相同,此处不再赘述。
步骤213:终端输出评测结果;
本步骤与113相同,此处不再赘述。
步骤214:终端向客户端发送结束训练命令;
本步骤与114相同,此处不再赘述。
步骤215:客户端接收结束训练命令,结束。
在本发明实施例中,客户端接收到结束训练命令时,完成客户端掉电。
步骤216:终端保存模拟训练视频以及对应的评测结果,结束。
本发明上述实施例采用的技术方案中,系统模式采用默认的虚拟现实模式。本系统终端还可以进一步的设置系统模式信息,系统模式信息包括:虚拟现实模式和图像拼接模式。终端在获取学员信息、任务信息、任务环境信息时,还可以进一步获取管理员设置的系统模式信息,然后向客户端发送包含学员信息、任务信息、任务环境信息、系统模式信息的开始训练命令。
客户端在接收到开始训练命令时,从开始训练命令中获取学员信息,并进行显示,发起学员信息认证,当客户端获取到学员输入的确认训练信息时,从开始训练命令中获取任务信息、任务环境信息、系统模式信息,并对系统模式信息进行判断,如果系统模式信息为虚拟现实模式时,则执行步骤205;如果系统模式信息为图像拼接模式时,则根据任务信息、任务环境信息采用渲染内核渲染待拼接图像,采用拼接曲面屏显示待拼接图像。
在本技术方案中,采用拼接曲面屏显示待拼接图像的方法,不仅能够展现出学员在自身的视角上的可视范围,直观、真实地反应学员在进行模拟训练时的操作状态以及操作环境状态,还不需要佩戴其他配套设备,辅助视觉观察。学员不必因佩戴其他设备导致在心理上建立一种防御心态,导致模拟训练时的评测结果存在误差。通过曲面拼接屏显示学员在进行模拟训练时的场景,能够使学员更加真实、自然的进入到模拟训练中,从而使得学员进行模拟训练时得到的评测结果更加真实可信。
实施例3
本发明提供一种模拟训练系统的客户端,如图5所示,包括:
数据接收模块501,用于接收终端发送的包含任务信息和任务环境信息的开始训练命令,并触发数据提取模块502;
其中,所述任务环境信息包括:天气环境条件、地理环境条件、光照条件。
数据提取模块502,用于从所述开始训练命令中获取任务信息、任务环境信息,并触发渲染模块503;
渲染模块503,用于根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,并触发第一显示模块504;
第一显示模块504,用于显示任务虚拟视图数据,并触发信息获取模块505;
信息获取模块505,用于获取学员的操作信息,并触发操作模拟模块506和仿真系统模块507;
操作模拟模块506,用于根据所述操作信息生成作业视图数据,并触发模拟视频生成模块508;
仿真系统模块507,用于模拟驾驶座椅的颠簸或者倾斜;
模拟视频生成模块508,用于根据所述作业视图数据和所述任务虚拟视图数据生成模拟训练视频,并触发第二显示模块509;
第二显示模块509,用于显示所述模拟训练视频,并触发数据发送模块510;
数据发送模块510,用于向所述终端发送所述模拟训练视频。
在本实施例中,信息获取模块505还可以触发数据获取模块511;
数据获取模块511,用于获取学员的待评测数据,从所述操作信息中获取待评测特征点,向所述终端发送所述待评测数据和所述待评测特征点。
另外,所述客户端的数据接收模块501还可以触发认证模块:
认证模块,用于从开始训练命令中获取学员信息,并进行显示,等待获取学员输入的确认训练信息,当获取到学员输入的确认训练信息时,触发数据提取模块502。
在本发明中,所述客户端包括:操纵杆、踏板、控制面板、仪表盘。相应的,所述信息获取模块505,具体用于获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息。
所述模拟视频生成模块508,具体用于将所述作业视图数据和与其对应的所述任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,根据所述模拟训练视图数据生成模拟训练视频。
所述数据接收模块501,还用于接收结束训练命令;
相应的,客户端还包括掉电模块,用于在接收到结束训练命令时,完成客户端掉电。
所述数据提取模块502,还用于从所述开始训练命令中获取系统模式信息;
相应的,所述客户端还包括判断模块,用于判断系统模式信息的类型,如果是虚拟现实模式,则触发数据提取模块502;如果是图像拼接模式,则触发拼接处理模块;
所述拼接处理模块,用于从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示所述任务拼接视图数据,获取学员的操作信息,并根据所述操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述任务拼接视图数据和所述作业视图数据生成训练视频。
所述客户端还包括:数据采集模块,用于采集学员的待评测数据;相应的,
所述数据发送模块510,还用于向所述终端发送所述待评测数据。
需要说明的是,本发明实施例中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种模拟训练系统及其客户端进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本发明公开了,A1、一种模拟训练系统,其特征在于,包括:
S1:终端向客户端发送包含任务信息和任务环境信息的开始训练命令;
S2:所述客户端接收所述开始训练命令;
S3:所述客户端从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据;
S4:所述客户端获取学员的操作信息,并根据所述操作信息生成作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述作业视图数据和所述任务虚拟视图数据生成并显示模拟训练视频;
S5:所述客户端向所述终端发送所述模拟训练视频;
S6:所述终端接收所述客户端返回的模拟训练视频,结束。
A2、A1所述的系统,其特征在于,所述客户端还包括:
获取学员的待评测数据,从所述操作信息中获取待评测特征点,向所述终端发送所述待评测数据和所述待评测特征点;
相应的,所述终端接收所述客户端返回的待评测数据和待评测特征点,根据所述任务信息和所述任务环境信息对应的评测标准对所述待评测数据和所述待评测特征点进行评测,得到评测结果,输出评测结果,保存所述模拟训练视频及对应的评测结果。
A3、如A1所述的系统,其特征在于,所述客户端从所述开始训练命令中获取任务信息、任务环境信息之前,还包括:从开始训练命令中获取学员信息,并进行显示,等待获取学员输入的确认训练信息。
A4、如A1所述的系统,其特征在于,所述任务环境信息包括:天气环境条件、地理环境条件、光照条件。
A5、如A1所述的系统,其特征在于,所述系统包括:操纵杆、踏板、控制面板、仪表盘;
所述客户端获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息。
A6、如A1所述的系统,其特征在于,所述根据所述作业视图数据和所述任务虚拟视图数据生成并显示模拟训练视频,包括:
所述客户端将所述作业视图数据和与其对应的所述任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,根据所述模拟训练视图数据生成并显示模拟训练视频。
A7、如A2所述的系统,其特征在于,所述待评测数据包括:学员的心率和/或血压和/或皮肤电信号和/或脉搏和/或面部特征点的位置和/或面部三原色均值。
A8、如A1所述的系统,其特征在于,还包括:所述终端向所述客户端发送结束训练命令;
所述客户端接收到结束训练命令时,完成客户端掉电。
A9、如A1所述的系统,其特征在于,还包括:所述终端获取修改后的任务环境信息,并将其发送给客户端,或者终端将任务环境信息修改的部分发送给客户端。
A10、如A1所述的系统,其特征在于,所述开始训练命令中还包括系统模式信息;
所述客户端从所述开始训练命令中获取系统模式信息,如果是虚拟现实模式,则执行S3;如果是图像拼接模式,则从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示所述任务拼接视图数据,获取学员的操作信息,并根据所述操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述任务拼接视图数据和所述作业视图数据生成训练视频。
A11、如A1所述的系统,其特征在于,所述客户端向所述终端发送所述模拟训练视频,替换为:所述客户端向终端发送待评测数据和操作信息;
所述终端接收待评测数据和操作信息,根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,进而显示任务虚拟视图数据,根据学员的操作信息生成对应的作业视图数据,然后根据作业视图数据和任务虚拟视图数据生成模拟训练视图数据,根据该模拟训练视图数据生成并显示对应的模拟训练视频。
A12、如A1所述的系统,其特征在于,所述系统还包括:
所述客户端获取学员的待评测数据;
在向所述终端发送所述模拟训练视频时,还发送待评测数据;
所述终端接收模拟训练视频时,一并接收待评测数据,显示模拟训练视频;
所述终端对所述模拟训练视频进行图像识别,从中获取待评测特征点,根据所述任务信息和所述任务环境信息对应的评测标准,对所述待评测数据和所述待评测特征点进行评测,得到评测结果。
B13、一种模拟训练系统的客户端,其特征在于,包括:
数据接收模块,用于接收终端发送的包含任务信息和任务环境信息的开始训练命令;
数据提取模块,用于从所述开始训练命令中获取任务信息、任务环境信息;
渲染模块,用于根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据;
第一显示模块,用于显示任务虚拟视图数据,并触发信息获取模块;
信息获取模块,用于获取学员的操作信息;
操作模拟模块,用于根据所述操作信息生成作业视图数据;
仿真系统模块,用于模拟驾驶座椅的颠簸或者倾斜;
模拟视频生成模块,用于根据所述作业视图数据和所述任务虚拟视图数据生成模拟训练视频;
第二显示模块,用于显示所述模拟训练视频;
数据发送模块,用于向所述终端发送所述模拟训练视频。
B14、如B13所述的客户端,其特征在于,所述客户端还包括:
数据获取模块,用于获取学员的待评测数据,从所述操作信息中获取待评测特征点;
相应的,数据发送模块还用于向所述终端发送所述待评测数据和所述待评测特征点。
B15、如B13所述的客户端,其特征在于,所述客户端还包括:
认证模块,用于从开始训练命令中获取学员信息,并进行显示,等待获取学员输入的确认训练信息,当获取到学员输入的确认训练信息时,触发数据提取模块。
B16、如B13所述的客户端,其特征在于,所述任务环境信息包括:天气环境条件、地理环境条件、光照条件。
B17、如B13所述的客户端,其特征在于,所述客户端包括:操纵杆、踏板、控制面板、仪表盘;
所述信息获取模块,具体用于获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据,将其作为学员的操作信息。
B18、如B13所述的客户端,其特征在于,
所述模拟视频生成模块,具体用于将所述作业视图数据和与其对应的所述任务虚拟视图数据进行图像处理,使两组视图数据中的图像进行融合,合成为一组视图数据,将其作为模拟训练视图数据,根据所述模拟训练视图数据生成模拟训练视频。
B19、如B13所述的客户端,其特征在于,所述数据接收模块,还用于接收结束训练命令;
相应的,客户端还包括掉电模块,用于在接收到结束训练命令时,完成客户端掉电。
B20、如B 13所述的客户端,其特征在于,所述数据提取模块,还用于:从所述开始训练命令中获取系统模式信息;
相应的,所述客户端还包括判断模块,用于判断系统模式信息的类型,如果是虚拟现实模式,则触发数据提取模块;如果是图像拼接模式,则触发拼接处理模块;
所述拼接处理模块,用于从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用渲染内核渲染任务拼接视图数据,采用拼接曲面屏显示所述任务拼接视图数据,获取学员的操作信息,并根据所述操作信息生成对应的作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述任务拼接视图数据和所述作业视图数据生成训练视频。
B21、如B13所述的客户端,其特征在于,所述客户端还包括:
数据采集模块,用于采集学员的待评测数据;
所述数据发送模块,还用于向所述终端发送所述待评测数据。
C22、一种模拟训练系统的终端,其特征在于,包括:
终端信息获取模块,用于获取任务信息、任务环境信息;
终端数据发送模块,用于向客户端发送包含任务信息、任务环境信息的开始训练命令;
终端数据接收模块,用于接收所述客户端返回的模拟训练视频、待评测数据和待评测特征点;
终端评测模块,用于根据所述任务信息和所述任务环境信息对应的评测标准,对所述待评测数据和所述待评测特征点进行评测,得到评测结果;
终端输出模块,用于输出所述评测结果。
C23、如C22所述的终端,其特征在于,
所述终端数据发送模块,还用于向客户端发送结束训练命令。
C24、如C22所述的终端,其特征在于,
所述终端信息获取模块,还用于获取学员信息;对应的,所述终端数据发送模块,还用于向所述客户端发送学员信息;
所述终端数据接收模块,还用于接收所述客户端返回的核对学员信息请求,并触发终端信息获取模块。
D25、一种模拟训练系统,其特征在于,包括:
Q1:终端向客户端发送包含任务信息和任务环境信息的开始训练命令;
Q2:所述客户端接收所述开始训练命令;
Q3:所述客户端从所述开始训练命令中获取任务信息、任务环境信息,根据所述任务信息、所述任务环境信息采用三维物理引擎建立模型和视觉特效,渲染对应的任务虚拟视图数据,显示任务虚拟视图数据;
Q4:所述客户端获取学员的操作信息,并根据所述操作信息生成作业视图数据,利用仿真系统模拟驾驶座椅的颠簸或者倾斜,根据所述作业视图数据和所述任务虚拟视图数据生成并显示模拟训练视频;
Q5:所述客户端向所述终端发送所述操作信息;
Q6:所述终端接收所述客户端返回的操作信息,根据所述任务信息、任务环境信息、操作信息生成并显示模拟训练视频,结束。
D26、如D25所述的系统,其特征在于,还包括:所述客户端获取待评测数据,并将其发送给终端;
所述终端接收待评测数据。
D27、如D26所述的系统,其特征在于,
所述终端从所述操作信息中获取待评测特征点,根据所述任务信息和所述任务环境信息对应的评测标准,对所述待评测数据和所述待评测特征点进行评测,得到评测结果,输出所述评测结果。