CN113688847A - 一种挖掘机运行模式切换的控制方法、装置和挖掘机 - Google Patents

Abstract

本发明公开了一种挖掘机运行模式切换的控制方法、装置、挖掘机、计算机设备和存储介质，所述方法包括：根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。因此，采用本申请实施例，由于该控制方法能够精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式。

Description

一种挖掘机运行模式切换的控制方法、装置和挖掘机

技术领域

本发明涉及挖掘机技术领域，特别涉及一种挖掘机运行模式切换的控制方法、装置和挖掘机。

背景技术

随着工程技术的发展，例如，地铁、道路建设均需要使用挖掘机，挖掘机在施工项目中具有极其重要的作用。常见的挖掘机包括轮式挖掘机和液压挖掘机。轮式挖掘机具有行走速度快、且能远距离自行转场及可快速更换多种作业装置的优点。基于上述轮式挖掘机的优势，其广泛应用于机场创建、港口创建、油田开采、矿山开采、快速抢修等物料挖掘以及搬移过程中。

在挖掘机的施工过程中，容易因为操作挖掘机的司机的视野范围有限，或者其视野受到遮挡，发生误操作，损坏挖掘机施工现场的周边设施，造成经济损失，甚至造成人员伤亡。

现有的挖掘机控制方法，需要有驾驶挖掘机经验的司机进行人工驾驶和操作，无法做到对挖掘机的自动且智能操作，更加无法做到：为挖掘机配置多种运行模式，并自动且智能地控制挖掘机在多种运行模式之间自如切换。

发明内容

本发明实施例的目的在于提供一种挖掘机运行模式切换的控制方法、装置、挖掘机、计算机设备和存储介质，以解决上述技术问题。

第一方面，本申请实施例提供了一种一种挖掘机运行模式切换的控制方法，所述方法包括：

获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；

根据所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；

根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；

获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；

根据所述定位信息和所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；

根据所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。

在一种实施方式中，所述方法还包括：

读取所述目标运行模式，所述目标运行模式至少包括：

减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。

在一种实施方式中，在所述视觉定位子模型为所述基于单目视觉定位的所述第一视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：

通过改变设置第一拍摄装置的位置，获取用于对所述挖掘机进行定位的至少两张第一图像，其中，所述第一拍摄装置设置于所述挖掘机的第一预设位置，所述第一预设位置为通过所述第一拍摄装置能够拍摄到所述挖掘机全局图像的第一位置；

分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；

对每一个预处理后的第一图像进行目标检测，提取并确定所述挖掘机的第一检测区域；

在所述挖掘机的所述第一检测区域进行特征提取，得到多个第一图像匹配特征点；

将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；

基于所述第一对应关系进行立体匹配和对所述挖掘机进行定位，得到对应的定位信息。

在一种实施方式中，所述基于多个第一图像匹配特征点对所述挖掘机进行定位包括：

获取所述挖掘机的空间物点与所成像点的投影几何变换关系；

基于多个第一图像匹配特征点和所述投影几何变换关系，确定所述第一拍摄装置的第一坐标系和所述挖掘机的第二坐标系的空间位姿参数；

根据所述空间位姿参数对所述挖掘机进行定位。

在一种实施方式中，在所述视觉定位子模型为所述基于双目立体视觉定位的所述第二视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：

获取用于对所述挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于所述挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于所述挖掘机的第三预设位置的第三拍摄装置拍摄的，所述第二预设位置为通过所述第二拍摄装置能够拍摄到所述挖掘机全局图像的第二位置，所述第三预设位置为通过所述第三拍摄装置能够拍摄到所述挖掘机全局图像的第三位置；

分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；

分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定所述挖掘机的第二检测区域和第三检测区域；

在所述第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在所述第三检测区域进行特征提取，得到多个第三图像匹配特征点；

将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；

基于所述第二对应关系进行立体匹配，得到对应的匹配结果；

基于所述匹配结果得到对应的视差图像；

基于所述视差图像确定深度图像，并基于所述深度图像对所述挖掘机进行定位，得到对应的定位信息。

在一种实施方式中，所述基于所述第二对应关系进行立体匹配，得到对应的匹配结果包括：

基于所述第二对应关系，选取对应的匹配基元；

根据所述匹配基元确定对应的特征提取算法；

基于所述特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；

对所述优化后的图像特征进行描述，生成对应的特征描述子；

以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。

在一种实施方式中，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。

第二方面，本申请实施例提供了一种挖掘机运行模式切换的控制装置，所述装置包括：

获取模块，用于获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；

视觉定位子模型确定模块，用于根据所述获取模块获取的所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；

定位模块，用于所述视觉定位子模型确定模块确定的所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；

坐标信息获取模块，用于获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；

目标运行模式确定模块，用于根据所述确定模块确定的所述定位信息和所述坐标信息获取模块获取的所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；

发送模块，用于根据所述目标运行模式确定模块确定的所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。

第三方面，本申请实施例提供一种挖掘机，包括如上所述的控制装置。

在一种可能的实现方式中，所述挖掘机还包括：回转体；动臂，设置于所述回转体上；斗杆，设置于所述动臂上；铲斗，设置与所述斗杆上。

第四方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。

第五方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制方法能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘机工作的安全性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为一个实施例中提供的挖掘机运行模式切换的控制方法的实施环境图；

图2为一个实施例中计算机设备的内部结构框图；

图3是本公开实施例提供的一种挖掘机运行模式切换的控制方法的流程示意图；

图4是本公开实施例提供的一种挖掘机运行模式切换的控制装置的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图详细说明本公开的可选实施例。

图1为一个实施例中提供的一种挖掘机运行模式切换的控制方法的实施环境图，如图1所示，在该实施环境中，包括计算机设备110以及终端120。

需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。计算机设备110以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。

图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种挖掘机运行模式切换的控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种挖掘机运行模式切换的控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，本公开实施例提供一种挖掘机运行模式切换的控制方法，该挖掘机运行模式切换的控制方法具体包括以下方法步骤：

S302：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型。

在本申请实施例中，第一视觉定位子模型所采用的单目视觉定位的原理是：根据空间目标特征点与图像特征点之间的对应投影变换关系，确定目标特征点位置信息。

第二视觉定位子模型所采用的双目立体视觉定位的原理是：双目立体视觉直接模拟人类双眼获悉场景信息的方式，利用两个有一定间距、成一定角度的摄像机，同时分别摄取场景中的一幅图像，通过图像间的像素点匹配获得同一空间的在两幅图像中的像差，进而解算该点的三维坐标值来进行定位。

第三视觉定位子模型所采用的基于全方位视觉传感器定位的方法相比上述两种定位方法具有观察视野广，能够获得广角且完整的环境信息。

S304：根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型。

在本申请实施例中，在挖掘机所处当前环境简单、且对定位结果的精度要求不高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第一视觉定位子模型。

又例如，在挖掘机所处当前环境复杂、预设工作区域面积较小、且对定位结果的精度要求高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第二视觉定位子模型。

再者，在挖掘机所处当前环境复杂、预设工作区域面积较大、且对定位结果的精度要求高时，则可以从上述多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型为第三视觉定位子模型。

S306：根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息。

在一种可能的实现方式中，在视觉定位子模型为基于单目视觉定位的第一视觉定位子模型时，根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息包括以下步骤：

通过改变设置第一拍摄装置的位置，获取用于对挖掘机进行定位的至少两张第一图像，其中，第一拍摄装置设置于挖掘机的第一预设位置，第一预设位置为通过第一拍摄装置能够拍摄到挖掘机全局图像的第一位置；

分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；

对每一个预处理后的第一图像进行目标检测，提取并确定挖掘机的第一检测区域；

在挖掘机的第一检测区域进行特征提取，得到多个第一图像匹配特征点；

将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；

基于第一对应关系进行立体匹配和对挖掘机进行定位，得到对应的定位信息。

在一种可能的实现方式中，基于多个第一图像匹配特征点对挖掘机进行定位包括以下步骤：

获取挖掘机的空间物点与所成像点的投影几何变换关系；

基于多个第一图像匹配特征点和投影几何变换关系，确定第一拍摄装置的第一坐标系和挖掘机的第二坐标系的空间位姿参数；

根据空间位姿参数对挖掘机进行定位。

在另一种可能的实现方式中，在视觉定位子模型为基于双目立体视觉定位的第二视觉定位子模型时，根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息包括以下步骤：

获取用于对挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于挖掘机的第三预设位置的第三拍摄装置拍摄的，第二预设位置为通过第二拍摄装置能够拍摄到挖掘机全局图像的第二位置，第三预设位置为通过第三拍摄装置能够拍摄到挖掘机全局图像的第三位置；

分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；

分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定挖掘机的第二检测区域和第三检测区域；

在第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在第三检测区域进行特征提取，得到多个第三图像匹配特征点；

将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；

基于第二对应关系进行立体匹配，得到对应的匹配结果；

基于匹配结果得到对应的视差图像；

基于视差图像确定深度图像，并基于深度图像对挖掘机进行定位，得到对应的定位信息。

在一种可能的实现方式中，基于第二对应关系进行立体匹配，得到对应的匹配结果包括以下步骤：

基于第二对应关系，选取对应的匹配基元；

根据匹配基元确定对应的特征提取算法；

基于特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；

对优化后的图像特征进行描述，生成对应的特征描述子；

以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。

在本申请实施例中，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。

在本申请实施例提供的控制方法中，双目立体视觉定位方法可以基于特征点。具体如下所述：

基于特征点的双目视觉定位方法是对左右摄像机图像的感兴趣区域提取特征点，并对所提取的特征点进行描述和匹配以用于定位。选取恰当的特征点进行特征提取直接影响立体匹配算法的效果，常用的方法有Harris特征检测和SIFT特征检测。

1)Harris特征检测：

Harris特征检测算法的原理为：取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，设以像素点(x，y)为中心的小窗口在X方向上移动u，Y方向上移动v，Harris的灰度变化度量的算子表达式为如下公式：

该Harris特征检测算法具有计算量小、图像噪点各向不变的优点。

2)SIFT特征检测：

SIFT特征检测算法的实质是在不同的尺度空间上查找特征点，并计算出该特征点的方向。

SIFT特征检测过程为：

步骤a1：尺度空间极值检测：

对于二维图像I(x,y)，在不同尺度下的尺度空间表示成一个函数L(x,y,σ)，它是由一个变尺度的高斯函数G(x,y,σ)与图像的I(x,y)卷积产生的，具体如下式所示：

其中，

标示在x和y方向上进行卷积计算，而G(x,y,σ)为：

在某一个尺度上对斑点的检测，通过将两个相邻高斯尺度空间的图像相减所得到的DoG的响应值图像D(x,y,σ)；然后通过对响应值图像D(x,y,σ)进行非最大值抑制，在位置空间和尺度空间中定位斑点。

一个点与周围多个点及上下层的多个领域点进行比较，确定最大值和最小值，就确定了该点是图像在该尺度下的一个特征点。

步骤a2：确定每个特征点的方向参数：利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))；

其中，m(x,y)为(x,y)处梯度的模值，θ(x,y)为(x,y)处梯度的模方向，L所用的尺度为每个特征点各自所在的尺度。

步骤a3：生成SIFT特征向量：

以特征点为中心取8x8的窗口。每个小格代表特征点邻域所在尺度空间的一个像素，利用上述公式求得每个像素的梯度幅值与梯度方向，然后用高斯窗口对其进行加权运算，每个像素对应一个向量，长度为该像素点的高斯权值，然后在每4x4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值。

步骤a4：特征匹配：在确定出图像的特征点后，寻找图像间特征点的对应关系。通常采用最近邻方法，即查找每一个特征点在另外一幅图像中的最近邻，即：由于两幅图像之间相同部分的特征点应该具有相同的特征描述向量，因此，它们之间的距离应该最近。

上述SIFT特征检测算法对旋转、尺度缩放、以及对视角变化、噪声具有一定程度的稳定性，但因其计算复杂度较高而导致实时性差。

S308：获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息。

S310：根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式。

在本申请实施例中，目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。

上述仅仅罗列了常见的目标运行模式，还可以根据不同应用场景的需求，设置其它的目标运行模式，在此不再赘述。

上述目标运行模式运行在不同的应用场景中，例如，减速运行的第一目标运行模式可以应用于如下应用场景：

将定位信息中的挖掘机的任意一个时刻的位置坐标信息和预设工作区域的各个边界点的各个位置坐标信息进行比较和预测，在预测出该挖掘机在预设时刻会超出预设工作区域的任意一个边界点，则会根据当前挖掘机所处的位置坐标和可能会超出的某一个边界点的坐标，计算二者之间的距离S，并实时检测出挖掘机当前工作模式下的运行速度V，这样，就可以根据S和V，预测出该挖掘机至少以怎样的临界加速度a做减速运动，直至至少能够顺利停在该预设工作区域的边界点上，以确保该挖掘机始终在预设工作区域内工作，就能够大大地提高挖掘机工作的安全性。

上述仅仅是示例，上述其它目标运行模式跟上述目标运行模式类似，在此不再赘述，只要确保该挖掘机始终在预设工作区域内工作，能够大大地提高挖掘机工作的安全性。

在一种可能的实现方式中，本申请实施例提供的控制方法还包括以下步骤：

读取目标运行模式，目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。

基于上述各个目标运行模式的描述，参见前述相同或相似部分的描述，在此不再赘述。

S312：根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。基于上述各个目标运行模式的描述，参见前述相同或相似部分的描述，在此不再赘述。

在本公开实施例中，根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制方法能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘机工作的安全性。

下述为本发明挖掘机运行模式切换的控制装置实施例，可以用于执行本发明挖掘机运行模式切换的控制方法实施例。对于本发明挖掘机运行模式切换的控制装置实施例中未披露的细节，请参照本发明挖掘机运行模式切换的控制方法实施例。

请参见图4，其示出了本发明一个示例性实施例提供的挖掘机运行模式切换的控制装置的结构示意图。该挖掘机运行模式切换的控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该挖掘机运行模式切换的控制装置包括获取模块401、视觉定位子模型确定模块402、定位模块403、坐标信息获取模块404、目标运行模式确定模块405和发送模块406。

具体而言，获取模块401，用于获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；

视觉定位子模型确定模块402，用于根据获取模块401获取的挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；

定位模块403，用于视觉定位子模型确定模块402确定的视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；

坐标信息获取模块404，用于获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；

目标运行模式确定模块405，用于根据确定模块确定的定位信息和坐标信息获取模块404获取的预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；

发送模块406，用于根据目标运行模式确定模块405确定的目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。

可选的，所述装置还包括：

读取模块(在图4中未示出)，用于读取目标运行模式，读取模块读取的目标运行模式至少包括：减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。

可选的，在视觉定位子模型为基于单目视觉定位的第一视觉定位子模型时，定位模块403具体用于：

通过改变设置第一拍摄装置的位置，获取用于对挖掘机进行定位的至少两张第一图像，其中，第一拍摄装置设置于挖掘机的第一预设位置，第一预设位置为通过第一拍摄装置能够拍摄到挖掘机全局图像的第一位置；

分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；

对每一个预处理后的第一图像进行目标检测，提取并确定挖掘机的第一检测区域；

在挖掘机的第一检测区域进行特征提取，得到多个第一图像匹配特征点；

将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；

基于第一对应关系进行立体匹配和对挖掘机进行定位，得到对应的定位信息。

可选的，定位模块403具体用于：

获取挖掘机的空间物点与所成像点的投影几何变换关系；

基于多个第一图像匹配特征点和投影几何变换关系，确定第一拍摄装置的第一坐标系和挖掘机的第二坐标系的空间位姿参数；

根据空间位姿参数对挖掘机进行定位。

可选的，在视觉定位子模型为基于双目立体视觉定位的第二视觉定位子模型时，定位模块403具体用于：

获取用于对挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于挖掘机的第三预设位置的第三拍摄装置拍摄的，第二预设位置为通过第二拍摄装置能够拍摄到挖掘机全局图像的第二位置，第三预设位置为通过第三拍摄装置能够拍摄到挖掘机全局图像的第三位置；

分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；

分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定挖掘机的第二检测区域和第三检测区域；

在第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在第三检测区域进行特征提取，得到多个第三图像匹配特征点；

将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；

基于第二对应关系进行立体匹配，得到对应的匹配结果；

基于匹配结果得到对应的视差图像；

基于视差图像确定深度图像，并基于深度图像对挖掘机进行定位，得到对应的定位信息。

可选的，定位模块403具体用于：

基于第二对应关系，选取对应的匹配基元；

根据匹配基元确定对应的特征提取算法；

基于特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；

对优化后的图像特征进行描述，生成对应的特征描述子；

以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。

可选的，任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。

需要说明的是，上述实施例提供的挖掘机运行模式切换的控制装置在执行挖掘机运行模式切换的控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的挖掘机运行模式切换的控制装置与挖掘机运行模式切换的控制方法实施例属于同一构思，其体现实现过程详见挖掘机运行模式切换的控制方法实施例，这里不再赘述。

在本公开实施例中，目标运行模式确定模块用于根据确定模块确定的定位信息和坐标信息获取模块获取的预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及发送模块用于根据目标运行模式确定模块确定的目标运行模式，向挖掘机发送切换控制指令，切换控制指令中携带有运行模式切换信息，运行模式切换信息用于控制挖掘机从当前运行模式切换至目标运行模式。因此，采用本申请实施例，由于该控制装置能够根据挖掘机所处当前环境的当前环境信息，精准地从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型，基于该视觉定位子模型对挖掘机进行精准定位，得到定位信息，以及根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；这样，可以自动化且智能地控制挖掘机从当前运行模式切换至对应的目标运行模式，以确保挖掘机始终在预设工作区域内工作，有效地提高了挖掘机工作的安全性。

在一个实施例中，提出了一种挖掘机，该挖掘机包括如上的控制装置，还包括回转体；动臂，设置于回转体上；斗杆，设置于动臂上；以及铲斗，设置与斗杆上。基于控制装置的描述，参见前述相同或相似部分的描述，在此不再赘述。

在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取用于对挖掘机进行定位的视觉定位模型、挖掘机所处当前环境的当前环境信息，视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；根据挖掘机所处当前环境的当前环境信息，从多个视觉子模型中确定用于对挖掘机进行定位的视觉定位子模型；根据视觉定位子模型对挖掘机进行定位，得到对应的定位信息，定位信息包括挖掘机的任意一个时刻的位置坐标信息；获取预设工作区域的坐标信息，以及预设工作区域的各个边界点的各个位置坐标信息；根据定位信息和预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；以及根据目标运行模式，向挖掘机发送切换控制指令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种挖掘机运行模式切换的控制方法，其特征在于，所述方法包括：

获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；

根据所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；

根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；

获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；

根据所述定位信息和所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；

根据所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

读取所述目标运行模式，所述目标运行模式至少包括：

减速运行的第一目标运行模式、停止运行的第二目标运行模式、匀速运行的第三目标运行模式、加速运行的第四目标运行模式和反方向运行的第五目标运行模式。

3.根据权利要求1所述的方法，其特征在于，在所述视觉定位子模型为所述基于单目视觉定位的所述第一视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：

通过改变设置第一拍摄装置的位置，获取用于对所述挖掘机进行定位的至少两张第一图像，其中，所述第一拍摄装置设置于所述挖掘机的第一预设位置，所述第一预设位置为通过所述第一拍摄装置能够拍摄到所述挖掘机全局图像的第一位置；

分别对任意一个第一图像进行预处理，得到对应的预处理后的第一图像；

对每一个预处理后的第一图像进行目标检测，提取并确定所述挖掘机的第一检测区域；

在所述挖掘机的所述第一检测区域进行特征提取，得到多个第一图像匹配特征点；

将选取的多个第一图像匹配特征点间建立特征之间的第一对应关系；

基于所述第一对应关系进行立体匹配和对所述挖掘机进行定位，得到对应的定位信息。

4.根据权利要求3所述的方法，其特征在于，所述基于多个第一图像匹配特征点对所述挖掘机进行定位包括：

获取所述挖掘机的空间物点与所成像点的投影几何变换关系；

基于多个第一图像匹配特征点和所述投影几何变换关系，确定所述第一拍摄装置的第一坐标系和所述挖掘机的第二坐标系的空间位姿参数；

根据所述空间位姿参数对所述挖掘机进行定位。

5.根据权利要求1所述的方法，其特征在于，在所述视觉定位子模型为所述基于双目立体视觉定位的所述第二视觉定位子模型时，所述根据所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息包括：

获取用于对所述挖掘机进行定位的多个第二图像和多个第三图像，任意一个第二图像为由设置于所述挖掘机的第二预设位置的第二拍摄装置拍摄的，任意一个第三图像为由设置于所述挖掘机的第三预设位置的第三拍摄装置拍摄的，所述第二预设位置为通过所述第二拍摄装置能够拍摄到所述挖掘机全局图像的第二位置，所述第三预设位置为通过所述第三拍摄装置能够拍摄到所述挖掘机全局图像的第三位置；

分别对任意一个第二图像和任意一个第三图像进行预处理，得到对应的预处理后的第二图像和对应的预处理后的第三图像；

分别对任意一个预处理后的第二图像和任意一个预处理后的第三图像进行目标检测，提取并确定所述挖掘机的第二检测区域和第三检测区域；

在所述第二检测区域进行特征提取，得到多个第二图像匹配特征点；以及在所述第三检测区域进行特征提取，得到多个第三图像匹配特征点；

将从多个第二图像匹配特征点选取的第二图像匹配特征点和从多个第三图像匹配特征点选取的第三图像匹配特征点建立特征之间的第二对应关系；

基于所述第二对应关系进行立体匹配，得到对应的匹配结果；

基于所述匹配结果得到对应的视差图像；

基于所述视差图像确定深度图像，并基于所述深度图像对所述挖掘机进行定位，得到对应的定位信息。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第二对应关系进行立体匹配，得到对应的匹配结果包括：

基于所述第二对应关系，选取对应的匹配基元；

根据所述匹配基元确定对应的特征提取算法；

基于所述特征提取算法对选取的第二图像和选取的第三图像均进行特征提取，提取出相应的图像特征，并对图像特征进行优化，得到优化后的图像特征；

对所述优化后的图像特征进行描述，生成对应的特征描述子；

以选取的图像两两之间的相似性度量函数值作为特征间相似性的度量，并基于预设阈值判断选取的图像两两之间是否匹配成功，得到对应的匹配结果。

7.根据权利要求5或6所述的方法，其特征在于，

任意一个第二图像和任意一个第三图像之间为具有相同场景、且具有不同拍摄视角的关联图像。

8.一种挖掘机运行模式切换的控制装置，其特征在于，所述装置包括：

获取模块，用于获取用于对所述挖掘机进行定位的视觉定位模型、所述挖掘机所处当前环境的当前环境信息，所述视觉定位模型包括基于单目视觉定位的第一视觉定位子模型、基于双目立体视觉定位的第二视觉定位子模型和基于全方位视觉传感器定位的第三视觉定位子模型；

视觉定位子模型确定模块，用于根据所述获取模块获取的所述挖掘机所处当前环境的所述当前环境信息，从多个视觉子模型中确定用于对所述挖掘机进行定位的视觉定位子模型；

定位模块，用于所述视觉定位子模型确定模块确定的所述视觉定位子模型对所述挖掘机进行定位，得到对应的定位信息，所述定位信息包括所述挖掘机的任意一个时刻的位置坐标信息；

坐标信息获取模块，用于获取预设工作区域的坐标信息，以及所述预设工作区域的各个边界点的各个位置坐标信息；

目标运行模式确定模块，用于根据所述确定模块确定的所述定位信息和所述坐标信息获取模块获取的所述预设工作区域的各个边界点的各个位置坐标信息，确定从当前运行模式切换至的目标运行模式；

发送模块，用于根据所述目标运行模式确定模块确定的所述目标运行模式，向所述挖掘机发送切换控制指令，所述切换控制指令中携带有运行模式切换信息，所述运行模式切换信息用于控制所述挖掘机从所述当前运行模式切换至所述目标运行模式。

9.一种挖掘机，包括：

如权利要求8中所述的控制装置。

10.根据权利要求9所述的挖掘机，其特征在于，还包括：

回转体；

动臂，设置于所述回转体上；

斗杆，设置于所述动臂上；

铲斗，设置与所述斗杆上。

11.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述挖掘机的控制方法的步骤。

12.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述挖掘机的控制方法的步骤。

Images