CN110984281A - 多目视觉系统及挖掘机远程操控方法 - Google Patents

Abstract

本发明涉及工程设备控制技术领域，尤其是涉及一种多目视觉系统及挖掘机远程操控方法。所述多目视觉系统包括多个图像采集设备、显示器以及控制终端，图像采集设备至少分布于挖掘机的车身、动臂、斗杆以及挖掘机的外环境中，以从不同的视角采集挖掘机的图像或视频。图像采集设备采集到的挖掘机的部件、整车的运动情况或外环境情况数据能够传输至显示器，显示器能够显示各个视角的图像或视频信息，实现对挖掘机的全方位多层次的清晰监视。控制终端与挖掘机的控制系统通讯连接，对挖掘机的作业进行远程操控，保障了操作者的人身安全，提高了作业质量和效率。所述挖掘机远程操控方法，利用所述的多目视觉系统实施。

Description

多目视觉系统及挖掘机远程操控方法

技术领域

本发明涉及工程设备控制技术领域，尤其是涉及一种多目视觉系统及挖掘机远程操控方法。

背景技术

挖掘机工作环境恶劣，常常伴随有强烈的震动、噪音和尘埃，尤其在一些特殊作业场所，如：抢险救灾、高温环境、毒气场所、危险建筑拆除等，严重威胁到操作者的人身安全，而远程遥控挖掘机能够避免操作者身临现场进行操作，保证作业安全，因此远程遥控挖掘机的研究工作具有很重要的工程意义。视频监视系统是实现遥控挖掘机的重要组成部分，如何对视频监视的视野进行规划，使操作者具有更好的视觉临场感，提高作业质量和效率十分重要。

发明内容

本申请的目的在于提供一种多目视觉系统及挖掘机远程操控方法，以对挖掘机实现全方位多层级监控，从而提高挖掘机远程遥控作业的质量和效率。

本申请提供了一种多目视觉系统，用于挖掘机，包括多个图像采集设备以及显示器和控制终端；

多个所述图像采集设备至少分布于所述挖掘机的车身、动臂、斗杆以及所述挖掘机的外环境，用于采集多个视角下的所述挖掘机的图像或视频数据，并将所述图像或视频数据传输至所述显示器；

所述控制终端与所述挖掘机的控制系统通讯连接，用于远程控制所述挖掘机作业。

在上述技术方案中，优选地，所述图像采集设备包括车身摄像头、动臂摄像头、斗杆摄像头和外环境摄像头；

所述车身摄像头设置于所述挖掘机的车身上，用于采集车身视角下所述挖掘机的图像或视频数据；

所述动臂摄像头设置于所述挖掘机的动臂上，用于采集动臂视角下所述挖掘机的图像或视频数据；

所述斗杆摄像头设置于所述挖掘机的斗杆上，用于采集斗杆视角下所述挖掘机的图像或视频数据；

所述外环境摄像头设置于所述挖掘机的外部，且距离所述挖掘机预定距离，用于采集所述挖掘机整机的图像或视频数据。

在上述任一技术方案中，优选地，所述图像采集设备包括多个云台，所述车身摄像头、所述动臂摄像头、所述斗杆摄像头和所述外环境摄像头一一对应地安装于所述云台。

在上述任一技术方案中，优选地，所述云台与所述控制终端通讯连接，用于控制所述云台转动，以调整所述图像采集设备的图像采集角度。

在上述任一技术方案中，优选地，所述外环境摄像头的数量为多个，在所述挖掘机的预定工作范围外多个所述外环境摄像头环绕所述挖掘机设置。

在上述任一技术方案中，优选地，所述动臂摄像头的数量为多个，多个所述动臂摄像头分布于所述动臂的两侧。

在上述任一技术方案中，优选地，所述斗杆摄像头的数量为多个，多个所述动臂摄像头分布于所述斗杆的两侧。

在上述任一技术方案中，优选地，所述控制终端为遥控器，所述遥控器与所述挖掘机的控制系统无线通讯连接。

在上述任一技术方案中，优选地，所述图像采集设备的外部设置有透明防护罩。

本申请还提供了一种挖掘机远程操控方法，利用上述任一技术方案所述的多目视觉系统实施，所述方法包括：

获取所述挖掘机在预定工作范围内的图像或视频数据；

将所述图像或视频数据传输至所述显示器；

根据所述显示器呈现的所述图像或视频数据，远程控制所述挖掘机作业。

与现有技术相比，本发明的有益效果为：

本申请提供了一种多目视觉系统，包括多个图像采集设备、显示器以及控制终端，用于获取挖掘机以及周围工作环境的图像或视频，并根据所述图像或视频控制挖掘机进行工作。图像采集设备至少分布于挖掘机的车身、动臂、斗杆以及挖掘机的外环境中，以从不同的视角采集挖掘机的图像或视频。图像采集设备从各个视角采集到的挖掘机的部件的动作情况、整车的运动情况以及外环境情况数据能够传输至显示器，显示器能够显示各个视角的图像或视频信息，操作者可通过显示器了解到挖掘机的部件的动作情况、整车的运动情况以及外环境情况的实时信息，实现全方位多层次的清晰监视，达到与现场操作同等视野的目的。控制终端与挖掘机的控制系统通讯连接，从而能够通过控制终端对挖掘机的作业进行远程操控，保障了操作者的人身安全，提高了作业质量和效率。

本申请还提供了一种挖掘机远程操控方法，利用所述的多目视觉系统实施，因此也能够实现对挖掘机全方位多层次的清晰监视，并对挖掘机的作业进行远程操控，保障了操作者的人身安全，提高了作业质量和效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的多目视觉系统应用于挖掘机的结构示意图；

图2为本发明实施例提供的挖掘机远程操控方法的流程示意图。

附图标记：

1-车身，11-车身摄像头，2-动臂，21-动臂摄像头，3-斗杆，31-斗杆摄像头，4-支撑架，41-外环境摄像头。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和显示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面参照图1和图2描述根据本发明一些实施例的多目视觉系统及挖掘机远程操控方法。

实施例一

参见图1所示，本申请提供了一种多目视觉系统，包括多个图像采集设备、显示器以及控制终端，用于获取挖掘机以及周围工作环境的图像或视频，并根据所述图像或视频控制挖掘机进行工作。

图像采集设备至少分布于挖掘机的车身1、动臂2、斗杆3以及挖掘机的外环境中，以从不同的视角采集挖掘机的图像或视频。

例如，参见图1所示，图像采集器包括车身摄像头11、动臂摄像头21、斗杆摄像头31和外环境摄像头41。

车身摄像头11设置于挖掘机的车身1上，且本实施例中优选地，车身摄像头11设置于挖掘机的车身1的顶部，以从车身1的顶部的视角获取挖掘机的作业情况以及周围环境情况等。

动臂摄像头21设置于挖掘机的动臂2上，且本实施例中优选地，动臂摄像头21的数量为多个，多个动臂摄像头21分布于动臂2的两侧，以从动臂2的视角获取挖掘机的作业情况，尤其是能够获取斗杆3的作业情况和运动位置。

斗杆摄像头31设置于挖掘机的斗杆3上，且本实施例中优选地，斗杆摄像头31的数量为多个，多个斗杆摄像头31分布于斗杆3的两侧，以从斗杆3的视角获取挖掘机的作业情况，尤其是能够获取铲斗的挖掘情况。

外环境摄像头41设置于挖掘机的外部，即外环境摄像头41位于挖掘机的预定工作范围外，以避免外环境摄像头41对挖掘机的作业产生干扰。且外环境摄像头41距离挖掘机预定距离，在该预定距离处外环境摄像头41能够获取在挖掘机的预定工作范围挖掘机的整车图像以及预定工作范围内的环境图像，即获取挖掘机整车的运动情况和外环境情况。此外，由于挖掘机的工作范围较大，单个外环境摄像头41可能存在难以获取挖掘机四周环境图像数据的问题，因此本实施例中优选地，环绕挖掘机设置多个外环境摄像头41，多个外环境摄像头41从多个角度获取挖掘机在预定工作范围内的工作情况，从而能够更全面的获知挖掘机的运动信息。

需要说明的是，参见图1所示，外环境摄像头41可通过支撑架4等结构对其进行支撑定位。

此外，本实施例中优选地，图像采集设备还包括云台，车身摄像头11、动臂摄像头21、斗杆摄像头31和外环境摄像头41一一对应地设置于云台上，云台与控制终端通讯连接，控制终端能够控制云台跟随目标物(对于挖掘机来说，目标物为各摄像头所要跟踪监控的挖掘机的部件或整机)时转动，以调整图像采集设备的图像采集角度，保证目标物一直出现在视野内，避免因重要监视环节的遗漏而造成操作失误，从而实现大范围空间的监视和局部目标的清晰监视。

此外，为给各个摄像头提供防护，防止在挖掘机作业过程中摄像头发生损坏，本实施例中优选地，在各个摄像头的外部设置有透明防护罩。

上述图像采集设备从各个视角采集到的挖掘机的部件的动作情况、整车的运动情况以及外环境情况数据能够传输至显示器，显示器能够显示各个视角的图像或视频信息，操作者可通过显示器了解到挖掘机的部件的动作情况、整车的运动情况以及外环境情况的实时信息，实现全方位多层次的清晰监视，达到与现场操作同等视野的目的。此外，显示器可设置于挖掘机的预定工作范围以外的位置，如室内监控室内，从而能够在安全的位置获取挖掘机的部件的动作情况、整车的运动情况以及外环境情况。

控制终端与挖掘机的控制系统通讯连接，从而能够通过控制终端对挖掘机的作业进行操控，即操作人员可以在监控室内，根据显示器显示的挖掘机的工作情况，通过控制终端对挖掘机的作业进行操控，如行走、转向、挖掘等工作。在本实施例中优选地，控制终端可以为遥控器，遥控器与挖掘机的控制系统无线通讯连接，从而更便于操作者实现对挖掘机作业的远程遥控，保障了操作者的人身安全，提高了作业质量和效率。

需要说明的是，本申请实施例提供的多目视觉系统提出了一种对工程车辆的多层级全方位的监控方式，其应用不仅限于挖掘机，还可以应用于其他需要监控的工程车辆，即利用实现本申请的原理将多目视觉系统在其他类似机械上的构思也属于本申请的保护范围。

实施例二

本申请的实施例还提供了一种挖掘机远程操控方法，利用上述实施例的多目视觉系统来实施，所述方法包括：

步骤100、通过图像采集设备获取所述挖掘机在预定工作范围内的图像或视频数据；

步骤200、将所述图像或视频数据传输至所述显示器；

步骤300、根据所述显示器呈现的所述图像或视频数据，通过遥控器远程控制所述挖掘机作业。

本实施例的挖掘机远程操控方法，应用所述的多目视觉系统，因此也能够实现对挖掘机全方位多层次的清晰监视，并对挖掘机的作业进行远程操控，保障了操作者的人身安全，提高了作业质量和效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多目视觉系统，用于挖掘机，其特征在于，包括多个图像采集设备以及显示器和控制终端；

多个所述图像采集设备至少分布于所述挖掘机的车身、动臂、斗杆以及所述挖掘机的外环境，用于采集多个视角下的所述挖掘机的图像或视频数据，并将所述图像或视频数据传输至所述显示器；

所述控制终端与所述挖掘机的控制系统通讯连接，用于远程控制所述挖掘机作业。

2.根据权利要求1所述的多目视觉系统，其特征在于，所述图像采集设备包括车身摄像头、动臂摄像头、斗杆摄像头和外环境摄像头；

所述车身摄像头设置于所述挖掘机的车身上，用于采集车身视角下所述挖掘机的图像或视频数据；

所述动臂摄像头设置于所述挖掘机的动臂上，用于采集动臂视角下所述挖掘机的图像或视频数据；

所述斗杆摄像头设置于所述挖掘机的斗杆上，用于采集斗杆视角下所述挖掘机的图像或视频数据；

所述外环境摄像头设置于所述挖掘机的外部，且距离所述挖掘机预定距离，用于采集所述挖掘机整机的图像或视频数据。

3.根据权利要求2所述的多目视觉系统，其特征在于，所述图像采集设备包括多个云台，所述车身摄像头、所述动臂摄像头、所述斗杆摄像头和所述外环境摄像头一一对应地安装于所述云台。

4.根据权利要求3所述的多目视觉系统，其特征在于，所述云台与所述控制终端通讯连接，用于控制所述云台转动，以调整所述图像采集设备的图像采集角度。

5.根据权利要求2所述的多目视觉系统，其特征在于，所述外环境摄像头的数量为多个，在所述挖掘机的预定工作范围外多个所述外环境摄像头环绕所述挖掘机设置。

6.根据权利要求2所述的多目视觉系统，其特征在于，所述动臂摄像头的数量为多个，多个所述动臂摄像头分布于所述动臂的两侧。

7.根据权利要求2所述的多目视觉系统，其特征在于，所述斗杆摄像头的数量为多个，多个所述动臂摄像头分布于所述斗杆的两侧。

8.根据权利要求1所述的多目视觉系统，其特征在于，所述控制终端为遥控器，所述遥控器与所述挖掘机的控制系统无线通讯连接。

9.根据权利要求1所述的多目视觉系统，其特征在于，所述图像采集设备的外部设置有透明防护罩。

10.一种挖掘机远程操控方法，利用权利要求1至9中任一项所述的多目视觉系统实施，其特征在于，所述方法包括：

获取所述挖掘机在预定工作范围内的图像或视频数据；

将所述图像或视频数据传输至所述显示器；

根据所述显示器呈现的所述图像或视频数据，远程控制所述挖掘机作业。

Images