CN114327076A - 作业机械与作业环境的虚拟交互方法、装置及系统 - Google Patents

Abstract

本发明提供一种作业机械与作业环境的虚拟交互方法、装置及系统，通过获取操控组件的开度比例信号，确定被控作业机械的运动状态数据，根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息，最后根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息，实现了虚拟场景中作业机械与作业环境的交互过程，由于该过程可以通过虚拟环境实现，从而克服了涉及操控作业机械与其应用环境交互的场景中，因实际应用环境的局限性导致交互过程耗时耗力的问题。

Description

作业机械与作业环境的虚拟交互方法、装置及系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种作业机械与作业环境的虚拟交互方法、装置及系统。

背景技术

考虑到作业机械的应用环境主要是复杂的施工作业场景，在涉及操控作业机械与其应用环境交互的场景中，时常因应用环境的局限性导致交互过程耗时耗力，难以满足实际需求。

比如，在作业机械的操控性能测试场景中，一般需要在多种工况环境下完成，考虑到实际测试场地有限，一块场地仅能测试一种工况环境，测试多种工况环境时，需要将待测试的作业机械转运到不同的测试场地，导致测试过程耗时耗力，测试效率低下。

发明内容

本发明提供一种作业机械与作业环境的虚拟交互方法、装置及系统，用以解决现有技术中在涉及操控作业机械与其应用环境交互的场景中，时常因应用环境的局限性导致交互过程耗时耗力，难以满足实际需求的缺陷。

第一方面，本发明提供一种作业机械与作业环境的虚拟交互方法，该方法包括：

获取操控组件的开度比例信号；

根据所述开度比例信号，确定被控作业机械的运动状态数据；

根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；

获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取并输出相应的场景图像信息。

根据本发明提供的一种作业机械与作业环境的虚拟交互方法，根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息，包括：

根据所述运动状态数据以及预先构建的虚拟环境信息，在确定所述被控作业机械与所述虚拟环境信息中至少一个空间要素接触时，确定发生接触的所述空间要素的交互类别；

根据所述交互类别和所述被控作业机械的运动状态数据，确定场景变化信息；

根据所述场景变化信息对所述虚拟环境信息进行实时更新，生成场景更新信息。

根据本发明提供的一种作业机械与作业环境的虚拟交互方法，所述空间要素的交互类别包括可交互类和不可交互类。

根据本发明提供的一种作业机械与作业环境的虚拟交互方法，根据所述交互类别和所述被控作业机械的运动状态数据，确定场景变化信息，包括：

当发生接触的所述空间要素的交互类别为可交互类时，根据所述被控作业机械的运动状态数据，确定所述空间要素的形变状态，并将所述形变状态以及施工作业后所述被控作业机械的运动状态数据作为场景变化信息；

当发生接触的所述空间要素的交互类别为不可交互类时，将当前时刻所述被控作业机械的运动状态数据作为场景变化信息。

根据本发明提供的一种作业机械与作业环境的虚拟交互方法，获取用户的实际视角范围，包括：

获取被控作业机械的回转中心坐标和回转角度；

根据所述回转中心坐标和所述回转角度，确定被控作业机械驾驶室的前方平视方向向量；

根据所述前方平视方向向量以及预设的用户视角范围，确定用户的实际视角范围。

第二方面，本发明还提供一种作业机械与作业环境的虚拟交互装置，该装置包括：

获取模块，用于获取操控组件的开度比例信号；

第一处理模块，用于根据所述开度比例信号，确定被控作业机械的运动状态数据；

第二处理模块，用于根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；

第三处理模块，用于获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取并输出相应的场景图像信息。

第三方面，本发明还提供一种作业机械与作业环境的虚拟交互系统，该系统包括：操控组件、数据处理设备以及至少一个成像设备，所述操控组件和所述至少一个成像设备均与所述数据处理设备连接；

所述操控组件用于供用户发起对被控作业机械的操控动作；

所述数据处理设备用于获取所述操控组件的开度比例信号；根据所述开度比例信号，确定被控作业机械的运动状态数据；根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取并输出相应的场景图像信息；

所述成像设备用于显示所述场景图像信息。

根据本发明提供的一种作业机械与作业环境的虚拟交互系统，所述成像设备为显示屏或头戴式成像设备。

根据本发明提供的一种作业机械与作业环境的虚拟交互系统，当所述被控作业机械为挖掘机时，所述操控组件包括左右手柄和左右脚踏板。

第四方面，本发明还提供一种作业机械操控性能测试系统，该系统使用上述任一种所述的作业机械与作业环境的虚拟交互方法。

本发明提供的作业机械与作业环境的虚拟交互方法、装置及系统，通过获取操控组件的开度比例信号，确定被控作业机械的运动状态数据，根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息，最后根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息，实现了虚拟场景中的作业机械与作业环境的交互过程，由于该过程可以通过虚拟环境实现，从而克服了涉及操控作业机械与其应用环境交互的场景中，因实际应用环境的局限性导致交互过程耗时耗力的问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的作业机械与作业环境的虚拟交互方法的流程示意图；

图2是本发明提供的作业机械与作业环境的虚拟交互装置的结构示意图；

图3是本发明提供的作业机械与作业环境的虚拟交互系统的结构示意图；

图4示出了被控对象为挖掘机时，作业机械与作业环境的虚拟交互系统的结构架构示意图；

图5示出了计算主机内的数据处理流程示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图5描述本发明实施例提供的作业机械与作业环境的虚拟交互方法、装置及系统。

图1示出了本发明实施例提供的作业机械与作业环境的虚拟交互方法，该方法包括：

步骤110：获取操控组件的开度比例信号。

这里提到的操控组件，指的是能够控制被控作业机械行进动作和施工动作的部件，比如如果被控作业机械是挖掘机，那么操控组件可以是左右两个操控手柄以及左右两个脚踏板，可以模拟真实挖掘机的左右操纵杆和左右行走踏板，从而用户操作操控组件，即可触发相应的操控指令。

具体地，针对挖掘机而言，左手手柄前后动作分别对应斗杆的外伸和回收操控指令，左手手柄左右动作分别对应上车身的左右回转操控指令；右手柄前后动作分别对应于动臂的下降和提升操控指令，右手柄左右动作分别对应于铲斗的挖掘和卸载操控指令；左踏板的前后动作对应挖掘机正向左侧的履带前进和后退操控指令；右踏板的前后动作对应挖掘机正向右侧的履带前进和后退操控指令。

操控组件被用户操作时，可以获取到相应的开度比例信号，从而以电信号的方式感知用户对操控组件的操控动作。

步骤120：根据开度比例信号，确定被控作业机械的运动状态数据。

在示例性实施例中，可以通过构建系统仿真模型来实现从开度比例信号到被控作业机械运动状态数据的转换。

具体地，该系统仿真模型为一维的物理参数化模型，具体包含基本电控逻辑模型、液压系统模型、作业机械上车及工作装置动力学模型，电控逻辑模型根据开度比例信号输出各电控阀信号到液压系统模型，液压系统模型输出各油缸实时压力到作业机械上车及工作装置动力学模型，通过感知作业机械的行进、回转以及其上工作装置的运动状态，进而输出被控作业机械的运动状态数据，该运动状态数据包括作业机械车身以及其上的工作装置对应的空间坐标、速度和加速度等信息。

可以理解的是，本实施例提到的工作装置，指的是作业机械在行走和施工作业时需要用到的部件，比如当作业机械为挖掘机时，工作装置可以指挖掘机动臂、斗杆、铲斗及液压缸所组成的系统。

步骤130：根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息。

具体地，根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息，可以包括：

第一步：根据运动状态数据以及预先构建的虚拟环境信息，在确定被控作业机械与虚拟环境信息中至少一个空间要素接触时，确定发生接触的空间要素的交互类别；

第二步：根据发生接触的空间要素的交互类别和被控作业机械的运动状态数据，确定场景变化信息；

第三步：根据场景变化信息对虚拟环境信息进行实时更新，生成场景更新信息。

在本实施例中，空间要素的交互类别包括可交互类和不可交互类，对应地，空间要素分为可交互对象和不可交互对象。

可以理解的是，不可交互对象包括地形、道路、其他机械、障碍物以及人员等空间要素。可交互对象包括土、石等作业机械对应的施工对象。

在示例性实施例中，判断被控作业机械与虚拟环境信息中的空间要素是否接触，可以在已知空间要素的轮廓信息中各点定义的外法向量的情况下，当被控作业机械的工作装置轮廓对应各点坐标与空间要素轮廓上部分点距离小于预设阈值时，计算每一时间步下空间要素轮廓点到最近工作装置轮廓点连线所形成的向量，与空间要素轮廓点的外法向量作点积运算，若运算结果小于或等于0，则判定被控作业机械与虚拟环境信息中某空间要素发生接触。

在示例性实施例中，根据发生接触的空间要素的交互类别和被控作业机械的运动状态数据，确定场景变化信息的过程，可以包括：

一方面，当发生接触的空间要素的交互类别为可交互类时，根据被控作业机械的运动状态数据，确定空间要素的形变状态，并将形变状态以及施工作业后被控作业机械的运动状态数据作为场景变化信息；

另一方面，当发生接触的空间要素的交互类别为不可交互类时，将当前时刻被控作业机械的运动状态数据作为场景变化信息。

在本实施例中，为了构建虚拟场景信息，可以预先搭建空间及障碍物环境模型，该模型为空间数据模型，记录了空间中各要素的轮廓或边界所对应的所有空间坐标，该模型以作业机械的运动状态数据为输入，通过实时比较空间中各要素与作业机械的相对位置、速度以及加速度等信息，判断各要素是否与作业机械发生接触。

在确定某一要素与作业机械发生接触后，进一步确定该要素属于可交互对象还是不可交互对象，对于不可交互对象，该模型可以输出受环境限制下作业机械的位置及姿态等信息，即接触状态下被控作业机械的运动状态数据。

对于可交互对象，可以预先搭建施工对象交互模型，该模型为空间数据模型和施工对象(比如土壤、石块)的材料特性模型，可以通过基于离散元法或物质点法的仿真算法，模拟施工对象在被控作业机械作用下的形变和残留形状，从而输出经施工后的施工对象外轮廓的各点坐标。

具体地，在被控作业机械与可交互对象接触时，该模型可以模拟施工动作过程，具体根据施工部件的位置、速度等信息，基于施工对象的材料特性，实时计算出交互条件下施工部件所受到的阻力以及施工对象的形变状态，进而将施工对象的形变状态以及施工作业后被控作业机械的运动状态数据反馈给空间及障碍物环境模型，实现施工过程中场景变化信息的获取，最后将场景变化信息与虚拟环境信息中其他不可变环境要素进行重新组合，可以生成更新后的三维虚拟环境信息，即场景更新信息。

因此，本实施例结合应用系统仿真模型、空间及障碍物环境模型、施工对象交互模型，从手柄及踏板信号到挖掘过程中土壤与属具的高精度模拟，实现虚拟现实的效果。

步骤140：获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息。

在示例性实施例中，获取用户的实际视角范围的过程，可以包括：

首先，获取被控作业机械的回转中心坐标和回转角度；

然后，根据回转中心坐标和回转角度，确定被控作业机械驾驶室的前方平视方向向量；

最后，根据前方平视方向向量以及预设的用户视角范围，确定用户的实际视角范围。

可以理解的是，上述空间及障碍物环境模型中包含了作业机械可活动空间内地面上各点坐标，该数据以一定分辨率的点云数据的形式存储。本实施例以挖掘机为例，说明实际视角范围的获取过程，具体如下：

在挖掘机朝任意方向行进时，行驶方向上的地面需保证挖掘机履带底部(设为一个平面)的z轴方向坐标均要大于或等于其投影的地面对应点z轴坐标，否则会发生穿透现象，同时需要保证至少三个点的z轴坐标与地面对应坐标相等。

此时整个挖掘机的法向量n与行进方向向量s均可由履带底部所形成的平面确定，而挖掘机回转中心o的坐标和回转角度θ为已知参数，通过D-H齐次矩阵变换法可求出每个时间点挖掘机驾驶室前方的平视方向向量b，具体可以由行进方向向量s经绕穿过挖掘机回转中心o，方向为n的轴转动角度θ计算得到，假定用户视角范围为平视方向上下角度±ɑ₁，左右角度±ɑ₂，进而可得用户视角及范围，从而确定用户的实际视角范围。

根据用户的实时实际视角范围，可以从场景更新信息中获得当前视角下用户所能见到的虚拟环境区域，具体地，根据上述获得的用户平视方向和上下左右角度，可将从视角中人所处坐标(应为驾驶室人员眼睛所处坐标)延上述视角范围连线进行延伸，与场景更新信息中中虚拟环境轮廓所形成的交集，即为用户所能见到的虚拟环境区域。

该虚拟环境区域可以通过图像和深度信息等数据反馈给用户，反馈过程中，可以通过成像设备展示给用户，用户也可以根据自己的操作所见的视觉反馈来继续或改变手柄和踏板的输入，实现实时虚拟人机交互的功能，进而实现作业机械与作业环境的虚拟交互。

当然，在实际应用过程中，成像设备不仅可以是一个或多个显示屏，还可以是可以实时跟随人体头部运动的穿戴式成像设备，比如头戴式眼镜，此时该成像设备还可以将人体实时的视角移动结合到上述获取到的用户的实际视角范围中，具体地，头戴式成像设备捕获到的视角变换(包括视角平移和转动)可以通过D-H齐次矩阵变换法进行描述，即对平视方向向量b进行变换，从而得到更加准确的实际视角范围，最终的实时图像可以由头戴式眼镜输出给用户。

由此可见，本实施例提供的作业机械与作业环境的虚拟交互方法，可以针对施工场景构建相应的虚拟场景，能够满足施工场景的特定需求，同时，将实际施工作业过程的机理模型与虚拟现实数字实现技术相结合，使被控作业机械的施工、行走等交互的过程更接近真实场景，更满足实际应用需求。

下面对本发明提供的作业机械与作业环境的虚拟交互装置进行描述，下文描述的作业机械与作业环境的虚拟交互装置与上文描述的作业机械与作业环境的虚拟交互方法可相互对应参照。

图2示出了本发明实施例提供的作业机械与作业环境的虚拟交互装置，该装置包括：

获取模块210，用于获取操控组件的开度比例信号；

第一处理模块220，用于根据开度比例信号，确定被控作业机械的运动状态数据；

第二处理模块230，用于根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息；

第三处理模块240，用于获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息。

在示例性实施例中，上述第二处理模块230，具体用于：根据运动状态数据以及预先构建的虚拟环境信息，分别判断被控作业机械与虚拟环境信息中各空间要素是否接触；在判定被控作业机械与虚拟环境信息中至少一个空间要素接触时，确定发生接触的空间要素的交互类别；根据发生接触的空间要素的交互类别和被控作业机械的运动状态数据，确定场景变化信息；根据场景变化信息对虚拟环境信息进行实时更新，生成场景更新信息。

具体地，本实施例中空间要素的交互类别可以包括可交互类和不可交互类。

上述第二处理模块230根据发生接触的空间要素的交互类别和被控作业机械的运动状态数据，确定场景变化信息的功能，具体可以通过如下方式实现：

当发生接触的空间要素的交互类别为可交互类时，根据被控作业机械的运动状态数据，确定空间要素的形变状态，并将形变状态以及施工作业后被控作业机械的运动状态数据作为场景变化信息；

当发生接触的空间要素的交互类别为不可交互类时，将当前时刻被控作业机械的运动状态数据作为场景变化信息。

上述第三处理模块240获取用户的实际视角范围的功能，具体可以通过如下方式实现：

获取被控作业机械的回转中心坐标和回转角度；

根据回转中心坐标和回转角度，确定被控作业机械驾驶室的前方平视方向向量；

根据前方平视方向向量以及预设的用户视角范围，确定用户的实际视角范围。

图3示出了本发明实施例提供的作业机械与作业环境的虚拟交互系统，该系统包括：操控组件310、数据处理设备320以及至少一个成像设备330，操控组件310和至少一个成像设备330均与数据处理设备320连接；

操控组件310用于供用户发起对被控作业机械的操控动作；

数据处理设备320用于获取操控组件的开度比例信号；根据开度比例信号，确定被控作业机械的运动状态数据；根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息；获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息；

成像设备330用于显示场景图像信息。

需要说明的是，本实施例中成像设备330可以是显示屏或头戴式成像设备。

在示例性实施例中，当被控作业机械为挖掘机时，操控组件包括左右手柄和左右脚踏板。

图4示出了被控对象为挖掘机时，作业机械与作业环境的虚拟交互系统的结构架构，该系统中包含三个显示屏410、左、右两个脚踏板420、左手柄430、右手柄440以及计算主机450；

用户通过操作左、右两个脚踏板420、左手柄430、右手柄440，对应的手柄和踏板的开度比例信号通过某种传输方式(可以是有线传输，也可以是无线传输)到计算主机450，通过计算主机450经过一系列数据处理流程，得到场景图像信息，该场景图像信息可以通过显示屏410实时显示给用户，用户基于显示信息可以进一步操控踏板和手柄进行下一步动作，从而在虚拟场景下，以人机交互方式实现挖掘机与虚拟作业环境的实时交互。

参见附图4，该系统还设置了一个座椅460，用户可以在座椅460上操控上述操控组件。

对于计算主机450内的数据处理流程，可以参见附图5，处理流程具体如下：

步骤510：用户操作手柄和踏板，进而输出手柄信号和踏板信号；

步骤520：手柄信号和踏板信号输入系统仿真模型，即物理参数化模型，经系统仿真模型处理后输出挖掘机的运动状态数据；

步骤530：挖掘机的运动状态数据进一步输入空间及障碍物环境模型，该模型经虚拟建图或实景扫描转化得到，经该模型处理，并使用头戴式设备跟随人体的视角变化，可以输出挖掘机的回转、行走对应的视角及位置变化；

步骤540：同时，通过施工对象交互模型与空间及障碍物环境模型交互，可以得到挖掘导致的土体虚拟环境变化；

步骤550：将步骤530和步骤540得到的数据进行整合，得到交互后虚拟环境及实时视角；

步骤560：将交互后虚拟环境在成像设备上呈现给用户，从而便于用户进行下一步操作。

此外，本发明还提供一种作业机械操控性能测试系统，该系统使用上述作业机械与作业环境的虚拟交互方法。该测试系统可以利用虚拟环境实现作业机械操控性能的测试，相比于现有的基于实际场景的测试方式，要更加便捷、高效。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行作业机械与作业环境的虚拟交互方法，该方法包括：获取操控组件的开度比例信号；根据开度比例信号，确定被控作业机械的运动状态数据；根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息；获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械与作业环境的虚拟交互方法，该方法包括：获取操控组件的开度比例信号；根据开度比例信号，确定被控作业机械的运动状态数据；根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息；获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的作业机械与作业环境的虚拟交互方法，该方法包括：获取操控组件的开度比例信号；根据开度比例信号，确定被控作业机械的运动状态数据；根据运动状态数据以及预先构建的虚拟环境信息，分别确定被控作业机械与虚拟环境信息中各空间要素的交互状态，并根据交互状态生成场景更新信息；获取用户的实际视角范围，根据用户的实际视角范围，从场景更新信息中截取并输出相应的场景图像信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种作业机械与作业环境的虚拟交互方法，其特征在于，包括：

获取操控组件的开度比例信号；

根据所述开度比例信号，确定被控作业机械的运动状态数据；

根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；

获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取并输出相应的场景图像信息。

2.根据权利要求1所述的一种作业机械与作业环境的虚拟交互方法，其特征在于，根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息，包括：

根据所述运动状态数据以及预先构建的虚拟环境信息，在确定所述被控作业机械与所述虚拟环境信息中至少一个空间要素接触时，确定发生接触的所述空间要素的交互类别；

根据所述交互类别和所述被控作业机械的运动状态数据，确定场景变化信息；

根据所述场景变化信息对所述虚拟环境信息进行实时更新，生成场景更新信息。

3.根据权利要求2所述的一种作业机械与作业环境的虚拟交互方法，其特征在于，所述空间要素的交互类别包括可交互类和不可交互类。

4.根据权利要求3所述的一种作业机械与作业环境的虚拟交互方法，其特征在于，根据所述交互类别和所述被控作业机械的运动状态数据，确定场景变化信息，包括：

当发生接触的所述空间要素的交互类别为可交互类时，根据所述被控作业机械的运动状态数据，确定所述空间要素的形变状态，并将所述形变状态以及施工作业后所述被控作业机械的运动状态数据作为场景变化信息；

当发生接触的所述空间要素的交互类别为不可交互类时，将当前时刻所述被控作业机械的运动状态数据作为场景变化信息。

5.根据权利要求1所述的一种作业机械与作业环境的虚拟交互方法，其特征在于，获取用户的实际视角范围，包括：

获取被控作业机械的回转中心坐标和回转角度；

根据所述回转中心坐标和所述回转角度，确定被控作业机械驾驶室的前方平视方向向量；

根据所述前方平视方向向量以及预设的用户视角范围，确定用户的实际视角范围。

6.一种作业机械与作业环境的虚拟交互装置，其特征在于，包括：

获取模块，用于获取操控组件的开度比例信号；

第一处理模块，用于根据所述开度比例信号，确定被控作业机械的运动状态数据；

第二处理模块，用于根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；

第三处理模块，用于获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取并输出相应的场景图像信息。

7.一种作业机械与作业环境的虚拟交互系统，其特征在于，包括：操控组件、数据处理设备以及至少一个成像设备，所述操控组件和所述至少一个成像设备均与所述数据处理设备连接；

所述操控组件用于供用户发起对被控作业机械的操控动作；

所述数据处理设备用于获取所述操控组件的开度比例信号；根据所述开度比例信号，确定被控作业机械的运动状态数据；根据所述运动状态数据以及预先构建的虚拟环境信息，分别确定所述被控作业机械与所述虚拟环境信息中各空间要素的交互状态，并根据所述交互状态生成场景更新信息；获取用户的实际视角范围，根据所述用户的实际视角范围，从所述场景更新信息中截取相应的场景图像信息；

所述成像设备用于显示所述场景图像信息。

8.根据权利要求7所述的一种作业机械与作业环境的虚拟交互系统，其特征在于，所述成像设备为显示屏或头戴式成像设备。

9.根据权利要求7所述的一种作业机械与作业环境的虚拟交互系统，其特征在于，当所述被控作业机械为挖掘机时，所述操控组件包括左右手柄和左右脚踏板。

10.一种作业机械操控性能测试系统，其特征在于，该系统使用如权利要求1至5任一项所述的一种作业机械与作业环境的虚拟交互方法。

Images