CN112908084A - 作业机械的模拟训练系统、方法、装置和电子设备 - Google Patents

Abstract

本发明提供一种作业机械的模拟训练系统、方法、装置和电子设备，其中模拟训练系统包括：模拟驾驶舱，模拟驾驶舱为基于作业机械的驾驶舱确定；体感控制器，体感控制器用于采集用户的肢体动作信息，并输出与肢体动作信息对应的姿态图像信息；VR设备，VR设备用于基于模拟驾驶舱生成VR场景，VR设备与体感控制器通信连接，用于将姿态图像信息融合入VR场景，并显示更新后的VR场景。本发明的模拟训练系统，通过融合VR场景和用户姿态图像信息，得到更新后的VR场景，可同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，实现虚拟和现实的完全同步，实现模拟训练过程中，用户操作动作与视觉的统一，显著增强用户的沉浸感和体验感。

Description

作业机械的模拟训练系统、方法、装置和电子设备

技术领域

本发明涉及作业机械技术领域，尤其涉及一种作业机械的模拟训练系统、方法、装置和电子设备。

背景技术

作业机械的作业环境复杂、操作复杂、设备价值高，因此对操作人员的要求也较高，在上机前，需要对操作人员进行操作培训。在现有技术中，由于作业机械价值较高，操作失误极易导致作业事故的发生，进行基于实际设备之上的操作培训成本高、风险大，所以一般不会进行实操训练，而是采用纯理论培训或通过虚拟场景进行模拟训练，导致理论与实际脱节，且模拟体验感不佳，培训效果不好。

发明内容

本发明提供一种作业机械的模拟训练系统、方法、装置和电子设备，用以解决现有技术中在进行作业机械的模拟训练时，沉浸感不佳的缺陷，实现高沉浸感的模拟训练。

本发明提供一种作业机械的模拟训练系统，包括：

模拟驾驶舱，所述模拟驾驶舱为基于所述作业机械的驾驶舱确定；

体感控制器，所述体感控制器用于采集用户的肢体动作信息，并输出与所述肢体动作信息对应的姿态图像信息；

VR设备，所述VR设备用于基于所述模拟驾驶舱生成VR场景，所述VR设备与所述体感控制器通信连接，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练系统，所述VR设备用于基于所述模拟驾驶舱的至少部分操作部件的定位信息生成VR场景。

根据本发明提供的一种作业机械的模拟训练系统，所述体感控制器为非穿戴式设备，且包括红外补光灯和至少两个灰阶摄像头。

本发明还提供一种作业机械的模拟训练方法，包括：

显示与作业机械的操控对应的VR场景；

接收用户的肢体动作信息；

响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练方法，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

根据本发明提供的一种作业机械的模拟训练方法，所述肢体动作信息通过至少两个灰阶摄像头采集。

本发明还提供一种作业机械的模拟训练装置，包括：

显示模块，用于显示与作业机械的操控对应的VR场景；

接收模块，用于接收用户的肢体动作信息；

生成模块，用于响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

融合模块，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练装置，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械的模拟训练方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械的模拟训练方法的步骤。

本发明提供的作业机械的模拟训练系统、方法、装置和电子设备，通过融合VR场景和用户姿态图像信息，得到更新后的VR场景，可以同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，并实现虚拟和现实的完全同步。在进行作业机械的模拟训练时，用户通过操作模拟驾驶舱中的硬件操作部件，VR场景中可以显示对应的硬件操作部件位置、该操作指令下作业机械的作业状态以及用户的肢体动作信息，实现动作与视觉的统一，显著增强用户的沉浸感和体验感。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一些实施例提供的作业机械的模拟训练系统的结构示意图；

图2是本发明一些实施例提供的作业机械的模拟训练方法的流程示意图；

图3是本发明一些实施例提供的作业机械的模拟训练装置的结构示意图；

图4是本发明一些实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1描述本发明的作业机械的模拟训练系统。

如图1所示，该模拟训练系统包括：模拟驾驶舱110、体感控制器120和VR设备130。

模拟驾驶舱110，为基于作业机械的驾驶舱确定；

本发明实施例的作业机械可以为挖掘机、起重机、压路机、吊车或者消防车等。

其中，模拟驾驶舱110用于为用户提供实际训练场地，使用户不必进入真实的作业机械的驾驶舱，便可触摸到硬件操作部件，进行操作训练。

在一些实施例中，模拟驾驶舱110的硬件操作部件可与真实驾驶舱的至少部分硬件操作部件按照1:1的比例还原，该实施例下的模拟驾驶舱110，建设成本小，可以满足对某些特定操作部件进行针对训练的需求。

在一些实施例中，模拟驾驶舱110的硬件操作部件可与真实驾驶舱的全部硬件操作部件按照1:1的比例还原，通过提供一个完全相同的模拟环境，以为用户提供更真实的训练场景。

例如，在对起重机进行模拟训练时，模拟驾驶舱110中可以设置有用于控制起重机开关的按钮，用于控制起重机的起重臂、起升机构、变幅机构、回转装置等各个执行机构进行升降、旋转的操作手柄和用于控制起重机走行的刹车、油门、离合器等。

在实际训练过程中，用户通过操控模拟驾驶舱110上的各按钮、手柄、油门等硬件操作部件，可以体验到与操作真实起重机完全一致的操作体验。

体感控制器120，用于采集用户的肢体动作信息，并输出与肢体动作信息对应的姿态图像信息；

其中，用户的肢体动作信息用于表征用户在操作作业机械的硬件操作部件时的动作指令。

肢体动作信息可以包括如下至少一个部分：用户的手部动作信息、用户的脚部动作信息、用户的头部动作信息和用户的躯干动作信息等。

姿态图像信息用于以图像的形式直观地表征用户的肢体动作信息。

姿态图像信息与肢体动作信息相对应，可以包括如下至少一个部分：手部姿态图像、脚步姿态图像、头部姿态图像和躯干姿态图像。

姿态图像信息和肢体动作信息保持同步变化。

VR设备130，用于基于模拟驾驶舱110生成VR场景，VR设备130与体感控制器120通信连接，用于将姿态图像信息融合入VR场景，并显示更新后的VR场景。

其中，VR设备130还包括：

建模设备，用于基于模拟驾驶舱110生成VR场景，如3D扫描仪等；

显示设备，用于显示由建模设备生成的VR场景，如：3D展示系统、大型投影系统或头戴式立体显示器等；

声音设备，用于输出环境声音，以给用户呈现更真实的模拟环境；

交互设备，用于进行定位、动作捕捉及其他交互操作。

在一些实施例中，VR场景包括基于真实作业机械驾驶舱生成的驾驶舱模型，驾驶舱内部各硬件操作部件模型，基于真实作业机械各执行机构生成的执行机构模型，以及基于真实作业机械作业环境生成的作业环境模型。

由VR设备130生成的VR场景与真实驾驶舱按照1：1的比例构建，通过VR定位技术，将模拟驾驶舱的硬件操作部件与VR场景中对应的硬件操作部件的位置设置成完全同步。

当用户操作模拟驾驶舱的硬件操作部件时，VR场景中会生成相同的操作场景，同时基于该操作指令，VR场景还会生成该操作指令下的作业机械对应的作业状态，从而为用户呈现更真实的沉浸式模拟体验。

例如，在对起重机进行模拟训练时，VR设备130生成起重机对应的VR场景，包括：起重机驾驶室模型；驾驶室内各硬件操作部件模型，如按钮、手柄、油门、离合器和刹车等；起重机各执行机构模型，如起重臂、起升机构、变幅机构、回转装置等；以及起重机周围作业环境模型。

上述VR场景中的各硬件操作部件与模拟驾驶舱中的硬件操作部件完全同步。当用户需要进行起吊操作时，按下模拟驾驶舱中对应的起重机的开关按钮，同时推动控制各执行机构的手柄。VR场景中的该开关按钮模型对应启动，手柄模型与模拟驾驶舱中的手柄保持同步移动；同时，受手柄控制的起重机对应的执行机构模型开始旋转、升降，以对目标物模型进行起吊作业。

VR设备130与体感控制器120通信连接，其中，通信连接的方式有多种，包括：通过线缆的有线电连接和通过无线收发器的无线电连接。

在一些实施例中，VR设备130与体感控制器120通过线缆有线电连接。

在该实施例中，体感控制器120和VR设备130上分别设置有输出接口和输入接口，由体感控制器120生成的姿态图像信息，从体感控制器120的输出接口输出，通过有线通信介质传输至VR设备130的输入接口。

其中，有线通信介质可以包括：同轴电缆、双绞线或者光纤等。

通过有线通信方式进行姿态图像信息的传输，具有较强的抗干扰能力，传输过程中姿态图像信息损失小，VR设备130接收到的姿态图像信息质量高。

在另一些实施例中，VR设备130与体感控制器120通过无线收发器无线电连接。

在该实施例中，体感控制器120和VR设备130上分别设置有信号发生装置和信号接收装置，由体感控制器120生成的姿态图像信息，从体感控制器120的信号发生装置发出，通过无线通信连接方式发送VR设备130的信号接收装置。

其中，无线通信方式可以包括：Zig-Bee传输、蓝牙传输、无线宽带传输、5G传输、微波传输或者无线网桥传输等方式。

通过无线通信方式进行姿态图像信息的传输，成本低、易维护、操作方便，具有较好的适应性和扩展性。

发明人在研发过程中发现，在现有技术中，VR设备所呈现的VR场景是基于完全虚拟环境下的虚拟场景，用户在进行基于VR场景的作业机械模拟训练中，只能看到VR设备生成的虚拟驾驶舱模型，而无法看到自身在操作作业机械硬件操作部件时的动作指令，导致动作和视觉产生割裂感。基于上述情况，还存在一种基于混合现实技术的作业机械模拟训练系统，该技术在虚拟场景中引入现实场景，用户在看到虚拟驾驶舱模型的同时，也能看到真实的机器硬件和真实的手，用户在虚拟和现实之间反复切换，破坏了沉浸感和体验感。

根据本发明的一些实施例，VR设备130在接收到由体感控制器120生成的姿态图像信息后，将姿态图像信息融合入VR场景，并显示更新后的VR场景。

更新后的VR场景包括：由基于模拟驾驶舱110生成VR场景和由体感控制器120生成的姿态图像信息。

在实际操作中，更新后的VR场景可以与实际中的模拟驾驶舱场景和用户动作实现实时同步。例如，当用户用手指启动模拟驾驶舱的电源按钮时，更新后的VR场景里也会同时显示虚拟的手指启动虚拟驾驶舱的电源按钮，实现动作与视觉的统一，显著增强沉浸感。

根据本发明实施例提供的作业机械的模拟训练系统，通过融合VR场景和用户姿态图像信息，得到更新后的VR场景，可以同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，并实现虚拟和现实的完全同步，在进行作业机械的模拟训练时，用户通过操作模拟驾驶舱中的硬件操作部件，VR场景中可以显示对应的硬件操作部件位置、该操作指令下作业机械的作业状态以及用户的肢体动作信息，实现动作与视觉的统一，显著增强用户的沉浸感和体验感。

在一些实施例中，VR设备130用于基于模拟驾驶舱的至少部分操作部件的定位信息生成VR场景。

在该实施例中，通过VR设备130对模拟驾驶舱中的至少部分硬件操作部件进行定位及位置追踪，生成位置数据，然后基于位置数据生成VR场景。其中，VR场景中生成的全部硬件操作部件与模拟驾驶舱中对应的硬件操作部件位置相同，且保持同步位移。

在该实施例中，将VR场景中生成的硬件操作部件的两个或多个部件与模拟驾驶舱硬件操作部件对应的部分硬件操作部件进行位置追踪，按照1：1的比例构建，尤其在只需要对某些重点操作部件进行训练时，该实施例成本低，效果好。

在另一些实施例中，将VR场景中生成的硬件操作部件的全部部件与模拟驾驶舱硬件操作部件对应的全部硬件操作部件进行位置追踪，按照1：1的比例构建，可以为用户提供更真实、更全面的模拟操作训练。

根据本发明实施例提供的作业机械的模拟训练系统，通过基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成VR场景，可以为用户提供更真实、更全面的模拟环境，且成本低，操作简单。

在一些实施例中，体感控制器120为非穿戴式设备，且包括红外补光灯和至少两个灰阶摄像头。

在该实施例中，灰阶摄像头用于从至少两个角度拍摄用户肢体动作信息，以获取三维立体图像。

例如，在获取用户手部动作信息时，灰阶摄像头分别从两个角度捕捉用户的手部动作信息，生成基于两个角度的姿态图像信息，然后将该姿态图像信息进行融合，便可以得到用户手部三维姿态图像信息，基于该三维姿态图像信息，可以重建用户手部在真实世界三维空间的动作信息。

红外补光灯用于给灰阶摄像头补光，提高成像质量，尤其适用于当光线较暗的情况下。

红外补光灯体积小、功耗低、具有较好的指向性。

但本发明并不仅限于此，例如也可采用白光补光灯，本发明不做限定。

发明人在研发过程中发现，在现有技术中，往往是通过可穿戴式设备捕捉用户的肢体动作信息。例如：在需要捕捉用户手部动作信息时，用户需穿戴数据手套，通过设置于数据手套内部的传感器采集用户手指的弯曲度，或用户在进行抓取、移动、旋转等操作时的力度，结合手指弯曲度测试和空间定位测试的数据，构建虚拟场景中的抓取、移动、旋转等动作模型。但在实际使用中，这些数据手套很难适配每一个用户的手指尺寸，且价格昂贵易磨损。

该实施例通过体感控制器120采集用户的肢体动作信息，无需用户佩戴手套等任何穿戴设备，即可精准抓取用户的肢体动作信息，具有较好的普适性。

其中，体感控制器120可以为Leap Motion体感控制器。Leap Motion体感控制器内部设置有第一灰阶摄像头、第二灰阶摄像头和红外LED。

根据本发明的一些实施例，在实际模拟中，若要获取用户手部动作信息，用户只需将Leap Motion体感控制器固定在头戴式立体显示器上，Leap Motion体感控制器即可对周边环境动作进行捕捉，检测范围在Leap Motion体感控制器上方25毫米到600毫米之间，检测的空间大体呈倒四棱锥体。

该Leap Motion体感控制器能追踪用户全部10只手指，精度高达1/100毫米，远比现有的运动控制技术更为精确。

根据本发明实施例提供的作业机械的模拟训练系统，通过采用体感控制器120对用户的肢体动作信息进行拍摄，生成三维姿态图像信息，且无需用户佩戴任何穿戴设备，即可精准抓取用户的肢体动作信息，操作简单，具有较好的普适性。

下面对本发明提供的作业机械的模拟训练方法进行描述。

该作业机械的模拟训练方法的执行主体可以为模拟驾驶舱上的控制器，或者独立于模拟驾驶舱的控制装置，或者与该模拟驾驶舱通信连接的服务器。

如图2所示，该作业机械的模拟训练方法，包括：步骤210、步骤220、步骤230和步骤240。

根据本发明的一些实施例，作业机械可以包括：挖掘机、起重机、压路机、吊车或消防车等。

步骤210，显示与作业机械的操控对应的VR场景；

在该步骤中，通过VR定位技术，采集实际作业机械硬件操作部件的位置信息，生成与实际作业机械各硬件操作部件对应的VR场景。

其中，VR场景可以与实际作业机械的部分硬件操作部件，按照1：1的比例构建；或者，VR场景可以与实际作业机械的全部部分硬件操作部件，按照1：1的比例构建；或者，VR场景可以与实际作业机械的整个驾驶舱、驾驶舱内全部硬件操作部件、作业机械的各执行机构、以及作业机械周围作业环境，按照1：1的比例构建，以为用户呈现更真实的沉浸式模拟体验。

但本发明并不仅限于此，例如，VR场景也可以与实际作业机械按照其他比例构建，本发明不做限定。

在该步骤中，将VR场景中的硬件操作部件与模拟驾驶舱中的硬件操作部件设置成完全同步，可以使用户在实际操作模拟驾驶舱中的硬件操作部件时，VR场景中可以实时显示对应的操作场景。

例如，当用户操作模拟驾驶舱中的启动开关时，VR场景中对应的启动开关被开启，模拟作业机械同时启动。

在一些实施例中，VR场景可以通过3D展示系统、大型投影系统或头戴式立体显示器等进行显示。

步骤220，接收用户的肢体动作信息；

其中，用户的肢体动作信息用于表征用户操作作业机械时的动作指令。

在该步骤中，用户的肢体动作信息可以包括如下至少一个部分：用户的手部动作信息、用户的脚部动作信息、用户的头部动作信息和用户的躯干动作信息等。

在一些实施例中，用户的肢体动作信息可以由传感器采集，传感器数量为2个或以上，用于从不同角度采集用户的肢体动作信息。

步骤230，响应于肢体动作信息，输出与肢体动作信息对应的姿态图像信息；

在该步骤中，将步骤220采集到的肢体动作信息转化为对应的姿态图像信息，用于表征用户在虚拟场景下的与实际操作指令对应的肢体动作信息。

姿态图像信息可以对应包括如下至少一个部分：手部姿态图像信息、脚部姿态图像信息、头部姿态图像信息和躯干姿态图像信息。

其中，姿态图像信息可以为三维姿态图像信息。

步骤240，将姿态图像信息融合入VR场景，并显示更新后的VR场景。

发明人在研发过程中发现，在现有技术中，VR场景是基于完全虚拟环境下的虚拟场景，操作人员在进行基于VR场景的作业机械培训中，只能看到虚拟驾驶舱模型，而无法看到自身在进行作业机械操作时的肢体动作，导致动作和视觉产生割裂感。基于上述情况，还存在一种基于混合现实技术的作业机械模拟训练系统，该技术在虚拟场景中引入现实场景，操作人员在看到虚拟驾驶舱模型的同时，也能看到真实的机器硬件和真实的手，用户在虚拟和现实之间反复切换，破坏了沉浸感和体验感。

该步骤通过将姿态图像信息融合入VR场景，并显示更新后的VR场景，更新后的VR场景同时包括驾驶舱VR场景和姿态图像信息。在实际操作中，用户既能看到虚拟驾驶舱模型，也能看到自身在进行作业机械操作时的肢体动作，具有更好的沉浸感。

根据本发明实施例提供的作业机械的模拟训练方法，通过融合VR场景和用户姿态图像信息，得到更新后的VR场景，可以同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，并实现虚拟和现实的完全同步，在进行作业机械的模拟训练时，用户通过操作模拟驾驶舱中的硬件操作部件，VR场景中可以显示对应的硬件操作部件位置、该操作指令下作业机械的作业状态以及用户的肢体动作信息，实现动作与视觉的统一，显著增强用户的沉浸感和体验感。

根据本发明的一些实施例，在步骤210中，VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

其中，通过对模拟驾驶舱中的至少部分硬件操作部件进行定位及位置追踪，生成位置数据，基于上述位置数据生成VR场景，使VR场景中生成的全部硬件操作部件与模拟驾驶舱中对应的硬件操作部件位置相同，且保持同步位移。

在一些实施例中，将VR场景中生成的硬件操作部件的两个或多个部件与模拟驾驶舱硬件操作部件对应的部分硬件操作部件进行位置追踪，按照1：1的比例构建，尤其用于只需要对某些重点硬件操作部件进行训练的情景，该实施例成本低，效果好。

在另一些实施例中，将VR场景中生成的硬件操作部件的全部部件与模拟驾驶舱硬件操作部件对应的全部硬件操作部件进行位置追踪，按照1：1的比例构建，可以为用户提供更真实、更全面的模拟操作训练。

其中，模拟驾驶舱的部分硬件操作部件可以与真实驾驶舱的部分硬件操作部件进行1：1还原；或者，模拟驾驶舱的全部硬件操作部件可以与真实驾驶舱的全部硬件操作部件进行1：1还原。

根据本发明实施例提供的作业机械的模拟训练方法，通过基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成VR场景，可以为用户提供更真实、更全面的模拟环境，且成本低，操作简单。

根据本发明的一些实施例，在步骤220中，用户肢体动作信息通过至少两个灰阶摄像头采集。

发明人在研发过程中发现，在现有技术中，往往是通过可穿戴式设备捕捉用户的肢体动作信息。例如：在需要捕捉用户手部动作信息时，用户需穿戴数据手套，通过设置于数据手套内部的传感器采集用户手指的弯曲度，或用户在进行抓取、移动、旋转等操作时的力度，结合手指弯曲度测试和空间定位测试的数据，构建虚拟场景中的抓取、移动、旋转等动作模型。但在实际使用中，这些数据手套很难适配每一个用户的尺寸，且价格昂贵易磨损。

该实施例通过摄像头采集用户的肢体动作信息，用户无需佩戴手套等任何穿戴设备，即可精准抓取用户的肢体动作信息，具有较好的普适性。

除此之外，通过采用至少两个灰阶摄像头进行拍摄，能够从至少两个角度拍摄用户肢体动作信息，以获取三维立体图像。

例如，在获取用户手部动作信息时，灰阶摄像头分别从两个角度捕捉用户的手部动作，生成基于两个角度的姿态图像信息，然后将该姿态图像信息进行融合，便可以得到用户手部三维姿态图像信息，基于该三维姿态图像信息，可以重建用户手部在真实世界三维空间的动作信息。

根据本发明实施例提供的作业机械的模拟训练方法，通过至少两个灰阶摄像头对用户的肢体动作信息进行拍摄，可以生成三维姿态图像信息，且无需用户佩戴任何穿戴设备，即可精准抓取用户的肢体动作信息，操作简单，具有较好的普适性。

下面对本发明提供的作业机械的模拟训练装置进行描述，下文描述的作业机械的模拟训练装置与上文描述的作业机械的模拟训练方法可相互对应参照。

如图3所示，该作业机械的模拟训练装置，包括：显示模块310、接收模块320、生成模块330和融合模块340。

显示模块310，用于显示与作业机械的操控对应的VR场景；

接收模块320，用于接收用户的肢体动作信息；

生成模块330，用于响应于肢体动作信息，输出与肢体动作信息对应的姿态图像信息；

融合模块340，用于将姿态图像信息融合入VR场景，并显示更新后的VR场景。

在一些实施例中，VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

在一些实施例中，肢体动作信息通过至少两个灰阶摄像头采集。

根据本发明实施例提供的作业机械的模拟训练装置，通过融合模块340融合VR场景和用户姿态图像信息，得到更新后的VR场景，可以同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，并实现虚拟和现实的完全同步，在进行作业机械的模拟训练时，用户通过操作模拟驾驶舱中的硬件操作部件，VR场景中可以显示对应的硬件操作部件位置、该操作指令下作业机械的作业状态以及用户的肢体动作信息，显著增强用户的沉浸感和体验感。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行作业机械的模拟训练方法，该方法包括：显示与作业机械的操控对应的VR场景；接收用户的肢体动作信息；响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械的模拟训练方法，该方法包括：显示与作业机械的操控对应的VR场景；接收用户的肢体动作信息；响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的作业机械的模拟训练方法，该方法包括：显示与作业机械的操控对应的VR场景；接收用户的肢体动作信息；响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种作业机械的模拟训练系统，其特征在于，包括：

模拟驾驶舱，所述模拟驾驶舱为基于所述作业机械的驾驶舱确定；

体感控制器，所述体感控制器用于采集用户的肢体动作信息，并输出与所述肢体动作信息对应的姿态图像信息；

VR设备，所述VR设备用于基于所述模拟驾驶舱生成VR场景，所述VR设备与所述体感控制器通信连接，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

2.根据权利要求1所述的作业机械的模拟训练系统，其特征在于，所述VR设备用于基于所述模拟驾驶舱的至少部分操作部件的定位信息生成VR场景。

3.根据权利要求1所述的作业机械的模拟训练系统，其特征在于，所述体感控制器为非穿戴式设备，且包括红外补光灯和至少两个灰阶摄像头。

4.一种作业机械的模拟训练方法，其特征在于，包括：

显示与作业机械的操控对应的VR场景；

接收用户的肢体动作信息；

响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

5.根据权利要求4所述的作业机械的模拟训练方法，其特征在于，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

6.根据权利要求4所述的作业机械的模拟训练方法，其特征在于，所述肢体动作信息通过至少两个灰阶摄像头采集。

7.一种作业机械的模拟训练装置，其特征在于，包括：

显示模块，用于显示与作业机械的操控对应的VR场景；

接收模块，用于接收用户的肢体动作信息；

生成模块，用于响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

融合模块，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

8.根据权利要求7所述的作业机械的模拟训练装置，其特征在于，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4至6任一项所述作业机械的模拟训练方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4至6任一项所述作业机械的模拟训练方法的步骤。

Images