CN113359691B - 一种非道路移动设备的远程图像显示装置和方法 - Google Patents

Abstract

本申请提供了一种非道路移动设备的远程图像显示装置和方法，装置包括：多个摄像头组，分别安装在非道路移动设备上、非道路移动设备所在的工作场景中，用于采集非道路移动设备周围的图像信息；远程控制端，包括远程驾驶室和显示屏组，远程驾驶室用于远程控制非道路移动设备的动作，显示屏组用于显示采集到的图像信息；显示屏组包括多块显示屏，该多块显示屏至少包含设置在驾驶员前方的主显示屏；多块显示屏分别显示不同摄像头组采集到的图像信息，主显示屏的显示画面根据驾驶员的操作自动与其他显示屏的显示画面进行相互替换，该操作为用于控制非道路移动设备的转向的相关操作。

Description

一种非道路移动设备的远程图像显示装置和方法

技术领域

本申请涉及非道路移动设备控制领域，尤其涉及一种非道路移动设备的远程图像显示装置和方法。

背景技术

非道路移动设备作为建筑工程的主干力量，其主要作用于工程的运载，挖掘，抢修，甚至作战等。目前，市面上的非道路移动设备安全事故率一直居高不下，和操作人员有关系的同时，更多的原因是设备在施工现场作业时，非道路移动设备和现场环境具有较大的安全隐患，稍不注意就会带来严重后果。

随着科技的发展，自动驾驶技术日趋成熟。远程驾驶作为自动驾驶的技术补充，用于接管自动驾驶无法处理的工况，从而扩充自动驾驶的应用场景。现有的远程驾驶实现，主要是通过摄像头反馈给远程驾驶员非道路移动设备周围信息，然后由远程操控员进行决策后发出控制指令来实现对设备的控制，但对设备周围信息的图像反馈形式太过单一，摄像头拍摄视角也相对死板，当驾驶员面对复杂的作业情况，对非道路移动设备进行远程操控具有较大的危险性。

发明内容

为了解决上述问题，本申请提出了一种非道路移动设备的远程图像显示装置和方法。

本申请所采用的技术方案为：

第一方面，本申请提供了一种非道路移动设备的远程图像显示装置，包括：多个摄像头组，分别安装在非道路移动设备上、所述非道路移动设备所在的工作场景中，用于采集所述非道路移动设备周围的图像信息；远程控制端，包括远程驾驶室和设置在所述远程驾驶室内的显示屏组，所述远程驾驶室用于在驾驶员的操作下，远程控制所述非道路移动设备的动作，所述显示屏组用于显示采集到的所述图像信息；所述显示屏组包括多块显示屏，所述多块显示屏至少包含设置在所述驾驶员前方的主显示屏；所述多块显示屏分别显示不同所述摄像头组采集到的所述图像信息，所述主显示屏的显示画面根据所述驾驶员的操作自动与其他显示屏的显示画面进行相互替换，所述操作为用于控制所述非道路移动设备的转向的相关操作；控制模块，设置在所述非道路移动设备上，用于将所述非道路移动设备的车辆信息传递至所述远程控制端，并根据所述远程驾驶室的指令，控制所述非道路移动设备的动作；所述车辆信息包括所述图像信息和所述非道路移动设备的基本信息。

在一个示例中，所述摄像头组包括车载摄像头组、非车载摄像头组；所述车载摄像头组，包括：常规摄像头组，安装在所述非道路移动设备的外侧，用于拍摄所述非道路移动设备前、后、左、右四个方向的驾驶视角和作业环境；双目摄像头组，安装在所述非道路移动设备前端，用于探测所述非道路移动设备与目标物或障碍物的体积和距离，并确定所述非道路移动设备的工作臂前端与所述目标物或所述障碍物之间的目标距离；雷达探测组，安装在所述非道路移动设备的外侧，用于检测所述非道路移动设备前、后、左、右四个方向上障碍物的间隔距离；所述非车载摄像头组，安装在所述非道路移动设备所在的工作场景中，用于采集所述工作场景的全景图像。

在一个示例中，所述常规摄像头组还用于将所述驾驶视角和所述作业环境发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；所述双目摄像头还用于将所述目标物或所述障碍物的所述体积和所述距离与所述目标距离发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；所述雷达探测组还用于将所述间隔距离发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；所述非车载摄像头组还用于将所述全景图像发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；所述图像信息包括所述驾驶视角、所述作业环境、所述非道路移动设备与所述目标物或所述障碍物的所述体积和所述距离、所述目标距离、所述间隔距离和所述全景图像。

在一个示例中，所述远程驾驶室包括：驾驶座，安装在所述远程驾驶室内，所述驾驶座的周侧安装有驾驶手柄，所述驾驶手柄用于对所述非道路移动设备进行远程驾驶；工作显示台，安装在所述远程驾驶室内，设置于所述驾驶座的前方，所述工作显示台用于对所述非道路移动设备进行远程作业，并显示所述非道路移动设备的所述基本信息，其中，所述基本信息包括驾驶数据和作业数据。

在一个示例中，所述显示屏组包括：所述主显示屏，用于显示所述非道路移动设备前方的所述图像信息；左显示屏，设置在所述主显示屏的左侧，所述左显示屏用于显示所述非道路移动设备左方的所述图像信息；右显示屏，设置在所述主显示屏的右侧，所述右显示屏用于显示所述非道路移动设备右方的所述图像信息；后显示屏，设置在所述主显示屏的下方，所述后显示屏用于显示所述非道路移动设备后方的所述图像信息；全景显示屏，设置在所述主显示屏的上方，所述全景显示屏用于显示所述非道路移动设备所在的所述工作场景中的所述全景图像。

在一个示例中，所述远程驾驶室，还用于在所述驾驶员对所述非道路移动设备进行转向操作时，根据所述转向操作的对应方向，将所述对应方向所对应的显示屏中显示的所述图像信息与所述主显示屏中显示的所述图像信息进行替换。

在一个示例中，所述显示屏组还包括：红外摄像头，安装在所述主显示屏边缘位置，用于确认所述驾驶员的视觉方向；所述远程驾驶室，还用于将所述视觉方向对应的显示屏中显示的的所述图像信息与所述主显示屏中显示的所述图像信息进行替换。

在一个示例中，所述装置还包括：姿态感应模块，安装在所述非道路移动设备上，用于将所述非道路移动设备驾驶和作业时的姿态数据反馈至所述远程驾驶室内，使所述远程驾驶室通过所述姿态数据模拟出现场环境。

在一个示例中，所述姿态感应模块根据所述姿态数据确定所述现场环境的颠簸数值，将所述颠簸数值与预设阈值进行比较；所述颠簸数值超过所述预设阈值时，所述显示屏组将所述显示画面的大小从第一尺寸缩小至第二尺寸，并将所述显示画面的帧率从第一数值提高至第二数值。

另一方面，本申请还提出了一种非道路移动设备的远程图像显示方法，应用在包含上述任意一个示例所述装置的非道路移动设备中，所述方法包括：通过多个摄像头组采集所述非道路移动设备周围的图像信息，所述多个摄像头组分别安装在非道路移动设备上、所述非道路移动设备所在的工作场景中；通过控制模块将车辆信息传递至远程控制端，并接收所述远程控制端的指令，根据所述指令控制所述非道路移动设备的动作；所述车辆信息包括所述图像信息和所述非道路移动设备的基本信息；所述控制模块设置在所述非道路移动设备上；通过所述远程控制端的远程驾驶室对所述非道路移动设备的动作进行远程控制，并通过所述远程控制端的显示屏组显示所述多个摄像头组采集到的所述图像信息；所述显示屏组包括多块显示屏，所述多块显示屏至少包含设置在所述驾驶员前方的主显示屏；所述多块显示屏分别显示不同所述摄像头组采集到的所述图像信息，所述主显示屏的显示画面根据所述驾驶员的操作自动与其他显示屏的显示画面进行相互替换，所述操作为用于控制所述非道路移动设备的转向的相关操作。

本申请的上述任一实施例的装置和方法中，多个摄像头组对非道路移动设备周围图像信息进行全方位的拍摄，驾驶员在远程控制端通过显示屏组实现对非道路移动设备的远程控制。其中，显示屏组通过屏幕间的图像信息替换实现对非道路移动设备周围环境的灵活监控，通过识别驾驶员的注意力点和设备状态，进行对图像显示相关内容和显示画面大小的调整，此外，在屏幕上显示距离、体积等更精确的内容，为非道路移动设备驾驶员的远程操控提供更加方便、安全和准确的设备图像情况。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中显示屏组的结构示意图；

图2为本申请实施例提供的一种非道路移动设备的远程图像显示方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中的左、右、上、下、前、后等方位用语，仅是互为相对概念或是以产品的正常使用状态，即产品的行进方向为参考的，而不应该认为是具有限定性的。

在本申请的描述中，需要理解的是，术语“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，还需要说明的是，本申请实施例中所提到的“相对运动”等动态用语，不仅是位置上的变动，还包括转动、滚动等位置上没有发生相对变化，但状态却发生改变的运动。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。

最后，需要说明的是，当组件被称为“位于”或“设置于”另一个组件，它可以在另一个组件上或可能同时存在居中组件。当一个组件被称为是“连接于”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。

下面结合附图对本申请的实施例做进一步描述：

本申请提供了一种非道路移动设备的远程图像显示装置。该装置设置在非道路移动设备上，包括多个摄像头组，远程控制端和控制模块。

多个摄像头组，用于采集所述非道路移动设备周围的图像信息，该多个摄像头组包括车载摄像头组和非车载摄像头组，分别安装在非道路移动设备上，以及非道路移动设备所在的工作场景中，以确保摄像头组能够拍摄到该设备所有方向的画面，且没有画面死角，完整全面地传递非道路移动设备周围的作业环境。

远程控制端，包括远程驾驶室和设置在该远程驾驶室内的显示屏组。现有非道路移动设备指国一及以下标准的在用非道路移动机械，主要包括：挖掘机、推土机、装载机、压路机、摊铺机、平地机、开槽机、桩工机械、叉车、起重机、装卸搬运机械、牵引车、场内运转车辆、机场或码头的牵引车、摆渡车等。以上各类非道路移动设备均包含用于驾驶和作业操控的驾驶室，且其结构相似。远程驾驶室中的基本配置与上述非道路移动设备的驾驶室相对应，驾驶员在远程驾驶室里操作对非道路移动设备进行远程控制，并通过显示屏组显示的图像信息来查看该非道路移动设备的驾驶情况和作业环境。如图1所示，该显示屏组包括多块显示屏，分别显示不同角度下摄像头组采集到的图像信息，使驾驶员能够根据显示屏组的图像对非道路移动设备进行实时监控。由于非道路移动设备在施工现场的运作环境和作业情况相对复杂，在远程操控的条件下，驾驶员对图像信息的应变能力相应降低，为提高驾驶员远程操作的准确率，该多块显示屏至少包含设置在驾驶员前方的主显示屏，且多块显示屏分别显示不同摄像头组采集到的图像信息，主显示屏的显示画面根据驾驶员的操作自动与其他显示屏的显示画面进行相互替换，该操作为用于控制非道路移动设备的转向的相关操作；该相关操作包括：左转，后退等需要转换驾驶视角的驾驶动作；转身，转头，视觉变动等展示驾驶员转向意向的相关姿态。

控制模块，设置在非道路移动设备上，用于将非道路移动设备的车辆信息传递至远程控制端，该车辆信息包括多个摄像头组的图像信息和非道路移动设备的基本信息。该控制模块还用于接收远程驾驶室的指令，并根据该指令控制非道路移动设备的动作。

在一个实施例中，多个摄像头组包括车载摄像头组和非车载摄像头组，车载摄像头组包括常规摄像头组、双目摄像头组和雷达探测组。

常规摄像头组安装在非道路移动设备的外侧，在该非道路移动设备的多个方向设置多个常规摄像头，能够完整的拍摄到非道路移动设备前、后、左、右四个方向的驾驶视角和作业环境。除了上述四个基础方向，该非道路移动设备常规摄像头组的拍摄范围也覆盖了的左前、左后、右前和右后方向的画面，以保证驾驶员在远程操作时的监控画面没有死角。

双目摄像头组安装在非道路移动设备的前端，根据双目测距原理，通过对双目摄像头拍摄的两幅图像视差的计算，直接对目标物或障碍物进行距离测量，确定目标物或障碍物与非道路移动设备的距离，并确定该目标物或障碍物的体积。此外，双目摄像头拍摄还安装在非道路移动设备的工作臂上，在工作臂进行作业时，通过双目摄像头测量该工作臂与目标物的距离，以确保驾驶员施工作业的精准度。

雷达探测组安装在非道路移动设备的外侧，在该非道路移动设备的多个方向设置多个雷达探测器，能够完整的拍摄到非道路移动设备前、后、左、右四个方向上障碍物的间隔距离。

非车载摄像头组包括全景摄像头组，安装在非道路移动设备所在的工作场景中，且该全景摄像头的位置布置与现实工作场景的实际情况相结合，其位置相对灵活，以便于采集该非道路移动设备在工作场景的全景图像。

在一个实施例中，常规摄像头组将非道路移动设备多个方向的驾驶视角和作业环境发送至远程控制端，并通过远程控制端的显示屏组显示在屏幕上。同样，双目摄像头将目标物或障碍物的体积和距离，工作臂与该目标物或障碍物的目标距离发送至远程控制端，并通过显示屏组显示在屏幕上。雷达探测组将多个方向上障碍物的间隔距离发送至远程控制端，并通过显示屏组显示在屏幕上。非车载摄像头组将全景图像发送至远程控制端，并通过显示屏组显示在屏幕上。驾驶员通过显示屏组上的图像信息对非道路移动设备进行远程操控，该图像信息包括：驾驶视角、作业环境、非道路移动设备与目标物或障碍物的体积和距离、目标距离、间隔距离和全景图像。

在一个实施例中，远程驾驶室设置有驾驶座和工作显示台。

驾驶座安装在远程驾驶室内，其外形和结果与非道路移动设备驾驶室的驾驶座一致，在远程驾驶室的驾驶座周侧安装有驾驶手柄，以便于驾驶员对非道路移动设备的远程驾驶。

工作显示台安装在远程驾驶室内，设置于驾驶座的前方。该工作显示台用于对非道路移动设备的作业进行远程控制，驾驶员通过工作显示台上的按钮远程操作非道路移动设备的工作臂进行作业。该工作显示台还用于显示该非道路移动设备的基本信息，该基本信息包括驾驶数据和作业数据，其中，驾驶数据包括设备行驶状态、车速、油表、形式指示灯等信息，作业数据包括工作臂作业模式、工作臂伸展状态等信息。

在一个实施例中，如图1所示，显示屏组包括主显示屏、左显示屏、右显示屏、后显示屏和全景显示屏。主显示屏设置于驾驶座的前方，用于显示非道路移动设备前方的图像信息；左显示屏设置在主显示屏的左侧，用于显示非道路移动设备左方的图像信息；右显示屏设置在主显示屏的右侧，用于显示非道路移动设备右方的图像信息；后显示屏设置在主显示屏的下方，用于显示非道路移动设备后方的图像信息。上述各显示屏的画面显示范围还包括对应方向的过度方向，以便于驾驶员全方位的监测非道路移动设备的作业环境，例如：左显示屏在显示非道路移动设备左边的图像信息外，根据驾驶员对显示视角的转动操作，能够观察到非道路移动设备左前和左后方向的图像信息。全景显示屏设置在主显示屏的上方，用于显示非道路移动设备所在的工作场景中的全景图像，以便于驾驶员对非道路移动设备周围环境更全面的观测。

在一个实施例中，驾驶员对非道路移动设备进行转向操作时，远程驾驶室确定该转向操作对应的转向方向，并将该转向方向对应的显示屏图像信息与主显示屏的图像信息进行替换，例如：当驾驶员进行左转操作时，主显示屏的显示画面从非道路移动设备前方的图像信息替换成左侧的图像信息。以便于驾驶员对非道路移动设备的精准控制，减少交通和作业事故的发生率。

在一个实施例中，显示屏组还包括红外摄像头。该红外摄像头安装在主显示屏边缘位置，对驾驶员进行拍摄，确认驾驶员的视觉方向。远程驾驶室根据该驾驶员的视觉方向，将该视觉方向对应的显示屏图像信息与主显示屏显示的图像信息进行替换，例如：若驾驶员的眼睛看向左显示屏，此时红外摄像头检测到驾驶员的视觉方向为左边，将该视觉方向发送给主显示屏，远程驾驶室根据该视觉方向将左显示屏的图像信息与主显示屏的图像信息进行替换，以使主显示屏中显示的是非道路移动设备左侧的图像信息。

在一个实施例中，装置还包括姿态感应模块，该姿态感应模块安装在非道路移动设备上，用于将非道路移动设备驾驶和作业时的姿态数据反馈至远程驾驶室内，使远程驾驶室通过该姿态数据模拟出现场环境。该姿态感应模块包括伺服电缸，安装在远程驾驶室的驾驶座上，该伺服电缸通过非道路移动设备驾驶和作业时的姿态数据对非道路移动设备的声音和震动情况进行还原反馈，以使驾驶员在远程驾驶室内能够第一时间感受非道路移动设备的基本状态。

在一个实施例中，通过显示屏组能够有效地增加驾驶员远程操作的临场感，但是在高度集中注释实时屏幕的情况下，尤其是颠簸的环境，容易引起人的生理不适，造成眩晕的现象。姿态感应模块根据姿态数据确定现场环境的颠簸情况，并确定该非道路移动设备的颠簸数值，将该颠簸数值与预设阈值进行比较；若颠簸数值超过预设阈值，显示屏组将显示画面的大小从显示屏满屏的原始尺寸(在此称作第一尺寸)缩小至比原始尺寸小的尺寸(在此称作第二尺寸)，该第二尺寸与第一尺寸的比例大小与颠簸数值相对应。显示屏组还将显示画面的帧率从原始帧率(在此称作第一数值)提高至比原始帧率高的帧率(在此称作第二数值)，该第二帧率与第一帧率的比例大小与颠簸数值相对应。

本申请的上述任一实施例的装置中，多个摄像头组对非道路移动设备周围图像信息进行全方位的拍摄，驾驶员在远程控制端通过显示屏组实现对非道路移动设备的远程控制。其中，显示屏组通过屏幕间的图像信息替换实现对非道路移动设备周围环境的灵活监控，通过识别驾驶员的注意力点和设备驾驶状态，进行对图像显示相关内容和显示画面大小的调整，此外，在屏幕上显示距离、体积等更精确的内容，为非道路移动设备驾驶员的远程操控提供更加方便、安全和准确的设备图像情况。

如图2所示，本申请提供了一种非道路移动设备的远程图像显示方法，应用于包含上述任意一实施例中所述装置的非道路移动设备中，方法包括：

S101：通过多个摄像头组采集所述非道路移动设备周围的图像信息，所述多个摄像头组分别安装在非道路移动设备上、所述非道路移动设备所在的工作场景中。

多个摄像头组包括车载摄像头组和非车载摄像头组，分别安装在非道路移动设备上，以及非道路移动设备所在的工作场景中，以确保摄像头组能够拍摄到非道路移动设备所有方向的画面，且没有画面死角，通过该多个摄像头组将非道路移动设备周围的作业环境完整全面地拍摄下来。

其中，车载摄像头组包括常规摄像头组、双目摄像头组和雷达探测组。

常规摄像头组安装在非道路移动设备的外侧，在该非道路移动设备的多个方向设置多个常规摄像头，能够完整的拍摄到非道路移动设备前、后、左、右四个方向的驾驶视角和作业环境。除了上述四个基础方向，该非道路移动设备常规摄像头组的拍摄范围也覆盖了的左前、左后、右前和右后方向的画面，以保证驾驶员在远程操作时的监控画面没有死角。

双目摄像头组安装在非道路移动设备的前端，根据双目测距原理，通过对双目摄像头拍摄的两幅图像视差的计算，直接对目标物或障碍物进行距离测量，确定目标物或障碍物与非道路移动设备的距离，并确定该目标物或障碍物的体积。此外，双目摄像头拍摄还安装在非道路移动设备的工作臂上，在工作臂进行作业时，通过双目摄像头测量该工作臂与目标物的距离，以确保驾驶员施工作业的精准度。

雷达探测组安装在非道路移动设备的外侧，在该非道路移动设备的多个方向设置多个雷达探测器，能够完整的拍摄到非道路移动设备前、后、左、右四个方向上障碍物的间隔距离。

非车载摄像头组包括全景摄像头组，安装在非道路移动设备所在的工作场景中，且该全景摄像头的位置布置与现实工作场景的实际情况相结合，其位置相对灵活，以便于采集该非道路移动设备在工作场景的全景图像。

S102：通过控制模块将车辆信息传递至远程控制端，并接收所述远程控制端的指令，根据所述指令控制所述非道路移动设备的动作；所述车辆信息包括所述图像信息和所述非道路移动设备的基本信息；所述控制模块设置在所述非道路移动设备上。

通过该控制模块将非道路移动设备的车辆信息传递至远程控制端，该车辆信息包括多个摄像头组的图像信息和非道路移动设备的基本信息，该图像信息包括：驾驶视角、作业环境、非道路移动设备与目标物或障碍物的体积和距离、目标距离、间隔距离和全景图像，该基本信息包括驾驶数据和作业数据，其中，驾驶数据包括设备行驶状态、车速、油表、形式指示灯等信息，作业数据包括工作臂作业模式、工作臂伸展状态等信息。该控制模块还用于接收远程驾驶室的指令，并根据该指令控制非道路移动设备的动作。

S103：通过所述远程控制端的远程驾驶室对所述非道路移动设备的动作进行远程控制，并通过所述远程控制端的显示屏组显示所述多个摄像头组采集到的所述图像信息；所述显示屏组包括多块显示屏，所述多块显示屏至少包含设置在所述驾驶员前方的主显示屏；所述多块显示屏分别显示不同所述摄像头组采集到的所述图像信息，所述主显示屏的显示画面根据所述驾驶员的操作自动与其他显示屏的显示画面进行相互替换，所述操作为用于控制所述非道路移动设备的转向的相关操作。

远程驾驶室中的基本配置与非道路移动设备的驾驶室相对应，驾驶员在远程驾驶室里操作对非道路移动设备进行远程控制，并通过显示屏组显示的图像信息来查看该非道路移动设备的驾驶情况和作业环境。如图1所示，该显示屏组包括多块显示屏，分别显示不同角度下摄像头组采集到的图像信息，使驾驶员能够根据显示屏组的图像对非道路移动设备进行实时监控。由于非道路移动设备在施工现场的运作环境和作业情况相对复杂，在远程操控的条件下，驾驶员对图像信息的应变能力相应降低，为提高驾驶员远程操作的准确率，该多块显示屏至少包含设置在驾驶员前方的主显示屏，且多块显示屏分别显示不同摄像头组采集到的图像信息，主显示屏的显示画面根据驾驶员的操作自动与其他显示屏的显示画面进行相互替换，该操作为用于控制非道路移动设备的转向的相关操作；该相关操作包括：左转，后退等需要转换驾驶视角的驾驶动作；转身，转头，视觉变动等展示驾驶员转向意向的相关姿态。。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种非道路移动设备的远程图像显示装置，其特征在于，包括：

多个摄像头组，分别安装在非道路移动设备上、所述非道路移动设备所在的工作场景中，用于采集所述非道路移动设备周围的图像信息；

远程控制端，包括远程驾驶室和设置在所述远程驾驶室内的显示屏组，所述远程驾驶室用于在驾驶员的操作下，远程控制所述非道路移动设备的动作，所述显示屏组用于显示采集到的所述图像信息；所述显示屏组包括多块显示屏，所述多块显示屏至少包含设置在所述驾驶员前方的主显示屏；所述多块显示屏分别显示不同所述摄像头组采集到的所述图像信息，所述主显示屏的显示画面根据所述驾驶员的操作自动与其他显示屏的显示画面进行相互替换，所述操作为用于控制所述非道路移动设备的转向的相关操作；

所述远程驾驶室还用于在所述驾驶员对所述非道路移动设备进行转向操作时，根据所述转向操作的对应方向，将所述对应方向所对应的显示屏中显示的所述图像信息与所述主显示屏中显示的所述图像信息进行替换；

控制模块，设置在所述非道路移动设备上，用于将所述非道路移动设备的车辆信息传递至所述远程控制端，并根据所述远程驾驶室的指令，控制所述非道路移动设备的动作；所述车辆信息包括所述图像信息和所述非道路移动设备的基本信息。

2.根据权利要求1所述的装置，其特征在于，所述摄像头组包括车载摄像头组、非车载摄像头组；

所述车载摄像头组，包括：

常规摄像头组，安装在所述非道路移动设备的外侧，用于拍摄所述非道路移动设备前、后、左、右四个方向的驾驶视角和作业环境；

双目摄像头组，安装在所述非道路移动设备前端，用于探测所述非道路移动设备与目标物或障碍物的体积和距离，并确定所述非道路移动设备的工作臂前端与所述目标物或所述障碍物之间的目标距离；

雷达探测组，安装在所述非道路移动设备的外侧，用于检测所述非道路移动设备前、后、左、右四个方向上障碍物的间隔距离；

所述非车载摄像头组，安装在所述非道路移动设备所在的工作场景中，用于采集所述工作场景的全景图像。

3.根据权利要求2所述的装置，其特征在于，所述常规摄像头组还用于将所述驾驶视角和所述作业环境发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；

所述双目摄像头还用于将所述目标物或所述障碍物的所述体积和所述距离与所述目标距离发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；

所述雷达探测组还用于将所述间隔距离发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；

所述非车载摄像头组还用于将所述全景图像发送至所述远程控制端，并通过所述显示屏组显示在屏幕上；

所述图像信息包括所述驾驶视角、所述作业环境、所述非道路移动设备与所述目标物或所述障碍物的所述体积和所述距离、所述目标距离、所述间隔距离和所述全景图像。

4.根据权利要求1所述的装置，其特征在于，所述远程驾驶室包括：

驾驶座，安装在所述远程驾驶室内，所述驾驶座的周侧安装有驾驶手柄，所述驾驶手柄用于对所述非道路移动设备进行远程驾驶；

工作显示台，安装在所述远程驾驶室内，设置于所述驾驶座的前方，所述工作显示台用于对所述非道路移动设备进行远程作业，并显示所述非道路移动设备的所述基本信息，其中，所述基本信息包括驾驶数据和作业数据。

5.根据权利要求2所述的装置，其特征在于，所述显示屏组包括：

所述主显示屏，用于显示所述非道路移动设备前方的所述图像信息；

左显示屏，设置在所述主显示屏的左侧，所述左显示屏用于显示所述非道路移动设备左方的所述图像信息；

右显示屏，设置在所述主显示屏的右侧，所述右显示屏用于显示所述非道路移动设备右方的所述图像信息；

后显示屏，设置在所述主显示屏的下方，所述后显示屏用于显示所述非道路移动设备后方的所述图像信息；

全景显示屏，设置在所述主显示屏的上方，所述全景显示屏用于显示所述非道路移动设备所在的所述工作场景中的所述全景图像。

6.根据权利要求5所述的装置，其特征在于，所述显示屏组还包括：

红外摄像头，安装在所述主显示屏边缘位置，用于确认所述驾驶员的视觉方向；

所述远程驾驶室，还用于将所述视觉方向对应的显示屏中显示的的所述图像信息与所述主显示屏中显示的所述图像信息进行替换。

7.根据权利要求1所述的装置，其特征在于，所述装置还包括：

姿态感应模块，安装在所述非道路移动设备上，用于将所述非道路移动设备驾驶和作业时的姿态数据反馈至所述远程驾驶室内，使所述远程驾驶室通过所述姿态数据模拟出现场环境。

8.根据权利要求7所述的装置，其特征在于，所述姿态感应模块根据所述姿态数据确定所述现场环境的颠簸数值，将所述颠簸数值与预设阈值进行比较；

所述颠簸数值超过所述预设阈值时，所述显示屏组将所述显示画面的大小从第一尺寸缩小至第二尺寸，并将所述显示画面的帧率从第一数值提高至第二数值。

9.一种非道路移动设备的远程图像显示方法，其特征在于，应用在包含所述权利要求1-8任意一项所述装置的非道路移动设备中，所述方法包括：

通过多个摄像头组采集所述非道路移动设备周围的图像信息，所述多个摄像头组分别安装在非道路移动设备上、所述非道路移动设备所在的工作场景中；

通过控制模块将车辆信息传递至远程控制端，并接收所述远程控制端的指令，根据所述指令控制所述非道路移动设备的动作；所述车辆信息包括所述图像信息和所述非道路移动设备的基本信息；所述控制模块设置在所述非道路移动设备上；

通过所述远程控制端的远程驾驶室对所述非道路移动设备的动作进行远程控制，并通过所述远程控制端的显示屏组显示所述多个摄像头组采集到的所述图像信息；所述显示屏组包括多块显示屏，所述多块显示屏至少包含设置在所述驾驶员前方的主显示屏；所述多块显示屏分别显示不同所述摄像头组采集到的所述图像信息，所述主显示屏的显示画面根据所述驾驶员的操作自动与其他显示屏的显示画面进行相互替换，所述操作为用于控制所述非道路移动设备的转向的相关操作。

Images