CN115961668A

CN115961668A - 挖掘机控制方法、装置、设备及存储介质

Info

Publication number: CN115961668A
Application number: CN202211543092.9A
Authority: CN
Inventors: 杨新伟; 陈赢峰; 胡志鹏; 范长杰; 周锋; 吴悦晨; 韩夏冰; 陈广大
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2022-12-02
Filing date: 2022-12-02
Publication date: 2023-04-14

Abstract

本申请实施例提供了一种挖掘机控制方法、装置、设备及存储介质，其中，该方法包括：通过获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数，并根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置，然后根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。通过针对作业环境的图像输入的屏幕像素坐标以及作业环境的点云数据，进行挖掘位置的确定，提高了挖掘位置的准确度，实现了一键点哪挖哪的自动化操作，有效降低操作难度并提高挖掘机控制精度。

Description

挖掘机控制方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种挖掘机控制方法、装置、设备及存储介质。

背景技术

工程机械是装备工业的重要组成部分，分为挖掘机械、铲土运输机械、工程起重机械、工业车辆等。其中，挖掘机械是用铲斗挖掘高于或低于承机面的物料，并装入运输车辆或卸至堆料场的工程机械。

目前，大多数远程控制挖掘机的方式都是模拟驾驶舱，通过模拟真实挖掘机的座舱并集成视频传输，对挖掘机进行远程控制，远程控制挖掘机不仅可以让操作者在条件舒适的环境下工作，并且还保障了操作者的人身安全，提高作业质量和效率。

然而，通过远程视频传输对挖掘机进行远程控制，容易导致操作者对挖掘位置及深度进行误判，可能会导致空挖、挖掘机侧翻等。

发明内容

有鉴于此，本申请实施例提供了一种挖掘机控制方法、装置、设备及存储介质，以准确确定挖掘位置，提高挖掘机控制精度。

第一方面，本申请实施例提供了一种挖掘机控制方法，包括：

获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的所述作业环境的点云数据、以及所述待控制挖掘机的当前状态参数；

根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置；

根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业。

第二方面，本申请实施例还提供了一种挖掘机控制装置，包括：

获取模块，用于获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的所述作业环境的点云数据、以及所述待控制挖掘机的当前状态参数；

确定模块，用于根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置；

控制模块，用于根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面所述的挖掘机控制方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述的挖掘机控制方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的相机坐标系和图像坐标系的示意图；

图2为本申请实施例提供的图像坐标系和像素坐标系的示意图；

图3为本申请实施例提供的挖掘机控制方法的流程示意图一；

图4为本申请实施例提供的待控制挖掘机的示意图；

图5为本申请实施例提供的挖掘机控制方法的流程示意图二；

图6为本申请实施例提供的挖掘机控制方法的流程示意图三；

图7为本申请实施例提供的挖掘机控制方法的流程示意图四；

图8为本申请实施例提供的挖掘机控制方法的流程示意图五；

图9为本申请实施例提供的挖掘机控制方法的流程示意图六；

图10为本申请实施例提供显示界面的示意图；

图11为本申请实施例提供的挖掘机控制装置的结构示意图；

图12为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

对于目前通过模拟驾驶舱远程控制挖掘机的方案，对于挖掘或甩方作业这种需要多次重复操作的任务，操作者仍需要在模拟座舱中不断进行复杂的操控，操作者需要通过一路或多路平面化的远程视像进行肉眼观测，人为判断需要挖掘的位置以及深度，并在模拟驾驶舱中使用与挖掘机座舱中类似的手柄进行远程操控。

然而，上述方案存在如下缺陷：

(1)现有的远程操控需要在模拟驾驶舱中操控，对于远程操控环境的建立有极高要求，在远程操控过程中，每进行一次挖掘动作，均需要人为调整挖机大小臂位置以及挖斗的角度。

(2)通过远程操控摇杆进行挖土等需要复合动作的作业时，由于操控的复杂度以及数据传输造成的延时，在实际操控中需要严格要求操作者高度精力集中，因此施工作业的效率和质量往往因为操作人员的水平而存在差异。

(3)平面化的远程视像传输，由于不像在实地操作对周围环境有亲身感受，容易导致操作者在远程操控的时候对挖掘位置及深度造成误判，在进行挖掘作业时可能会出现空挖等情况，严重者甚至会导致挖掘机侧翻。

由此可知，目前远程挖掘机需要人为判断并重复多次进行复杂操控才能完成现实环境中的挖掘作业，对于这种远程操控方式，虽然改善了操作者的工作环境，但并没有很好的释放操作者劳动力并降低操作门槛。

基于此，本申请提供了一种挖掘机控制方法，为现在挖掘机提供一种简单的半自动挖掘方法，让操作者只针对作业环境的图像输入的屏幕像素坐标(如通过鼠标点击确定)，就能让挖掘机自主控制并完成挖掘作业，即在远程操控挖机的图像传输界面中集成半自动挖掘的功能具有实际意义，操作者只需要在远程界面上点击需要挖掘的目标位置，挖掘机就可以自动对目标像素区域进行挖掘，实现一键点哪挖哪的自动化操作，有效降低操作难度并提高作业效率。

在介绍本申请的技术方案之前，首先对本申请涉及的四个坐标系进行说明：

世界坐标系：系统的绝对坐标系。

相机坐标系：激光雷达对应的坐标系，通常以激光雷达为坐标原点。

图像坐标系：相机处理逻辑里的默认坐标系，即作业环境的图像对应的坐标系，通常以图像的中心为坐标原点。

像素坐标系：正常视觉处理用到的坐标系，即屏幕像素对应的坐标系，通常以图像的左上角为坐标原点。

(1)从世界坐标系到相机坐标系的转换关系如下：

(x_c，y_c，z_c)和(x_w，y_w，z_w)分别是点在相机坐标系和世界坐标系下的位置，这里并没有进行投影变换，只是换了参考坐标系，R矩阵是指世界坐标系到相机坐标系的旋转矩阵，T为平移变量。

(2)从相机坐标系到图像坐标系的转换：

图1为本申请实施例提供的相机坐标系和图像坐标系的示意图，如图1所示，经过投影变换，图像坐标系为二维坐标系xy，坐标原点为o，没有Z轴分量，p点坐标为(x，y)；相机坐标系为x_cy_cz_c，坐标原点为o_c，P点坐标为(X_c，Y_c，Z_c)。

相机的成像平面距离光心o_c的距离为焦距f。因此，从相机坐标系转换到图像坐标系时，会引入一个尺度因子Z_c，这个尺度因子与f相关。

相机坐标系到图像坐标系满足小孔成像模型，通过简单的相似三角形原理即可得到：

ΔABO_c～ΔoBO_c

ΔPBO_c～ΔpBO_c

则相机坐标系到图像坐标系的转换关系为：

(3)从图像坐标系到像素坐标系的转换：

图2为本申请实施例提供的图像坐标系和像素坐标系的示意图，如图2所示，图像坐标系为xy，坐标原点为o(u_c，v_c)，像素坐标系为uv，原点坐标为o_uv，图像坐标系中坐标原点在图像中间，像素坐标系中坐标原点在图像左上角，图像坐标系的度量单位是mm，像素坐标系的度量单位是像素，p点坐标为(x，y)，则有：

即，图像坐标系到像素坐标系的转换关系为：

dx、dy表示像素坐标系中每个像素点的宽和高。

下面结合几个具体实施例对本申请提供的挖掘机控制方法进行说明。

图3为本申请实施例提供的挖掘机控制方法的流程示意图一，本实施例的执行主体可以为电子设备，如终端设备、服务器等具有显示界面的设备。

如图3所示，该方法可以包括：

S101、获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数。

其中，摄像机和激光雷达可以设置于待控制挖掘机上，摄像机用于采集待控制挖掘机的作业环境的图像，激光雷达用于采集待控制挖掘机的作业环境的点云数据。

待控制挖掘机的当前状态参数可以包括：角度和角速度，待控制挖掘机上可以安装有惯性测量单元(Inertial Measurement Unit，IMU)，用于采集角度和角速度。

摄像机可以将采集的作业环境的图像发送给电子设备，激光雷达可以将采集的作业环境的点云数据发送给电子设备，IMU可以将对应部件的角度和角速度发送给电子设备，即可获取到待控制挖掘机的作业环境的图像、作业环境的点云数据、以及待控制挖掘机的当前状态参数。

在一些实施例中，待控制挖掘机的当前状态参数包括待控制挖掘机上多个关节的当前状态参数，当前状态待控制挖掘机上多个部件例如可以包括：大臂、小臂、挖斗、座舱，部件之间关节上可以安装有惯性测量单元(Inertial Measurement Unit，IMU)，用于采集关节的角度和角速度。

图4为本申请实施例提供的待控制挖掘机的示意图，如图4所示，定义挖掘机整体坐标系(即世界坐标系)的base_link、上身部件坐标系(即座舱坐标系)的upper_body_link、大臂坐标系boom_link、小臂坐标系arm_link和挖斗坐标系gripper_link，其中，座舱坐标系的坐标原点在座舱和履带之间关节(即座舱关节)中心，大臂坐标系boom_link的坐标原点在大臂和座舱之间关节(即大臂关节)中心，小臂坐标系的坐标原点在小臂和大臂之间关节(即小臂关节)中心，挖斗坐标系的坐标原点在挖斗和小臂之间关节(即挖斗关节)中心。

其中，相邻部件的坐标系之间具有固定转换关系，在挖斗关节设置一个IMU，在小臂关节设置一个IMU，在大臂关节设置一个IMU，在座舱关节设置一个IMU，挖斗关节的IMU用于采集挖斗坐标系下的小臂和挖斗之间关节的角度和角速度，小臂关节的IMU用于采集小臂坐标系下的小臂关节的角度和角速度，大臂关节的IMU用于采集大臂坐标系下的大臂关节的角度和角速度，座舱关节的IMU用于采集座舱坐标系下的座舱关节的角度和角速度。

然后，根据挖斗坐标系和世界坐标系的转换关系，小臂坐标系和世界坐标系的转换关系，大臂坐标系和世界坐标系的转换关系，座舱坐标系和世界坐标系的转换关系，将上述采集的关节角度和角速度转换至世界坐标系下。

需要说明的是，在挖掘机运动过程中，大臂坐标系boom_link、小臂坐标系arm_link、挖斗坐标系gripper_link绕y轴转动，大臂、小臂、挖斗向下移动为绕y轴的逆时针旋转，大臂、小臂、挖斗的关节角度均逐渐增大；大臂、小臂、挖斗向上移动为绕y轴的顺时针旋转，大臂、小臂、挖斗的关节角度均逐渐减小。

座舱坐标系upper_body_link绕z轴转动，座舱向左移动为绕z轴的逆时针旋转，座舱的关节角度逐渐增大，座舱向右移动为绕z轴的顺时针旋转，座舱的关节角度逐渐减小。

另外，关节零位(即关节角度为0)定义为世界坐标系boom_link与大臂坐标系arm_base_link成1弧度夹角，小臂坐标系arm_link与世界坐标系boom_link成1.5弧度夹角，挖斗坐标系gripper_link与小臂坐标系arm_link平行，例如，小臂基于此位姿向上转动1弧度，则输出的关节角度为-1弧度。

S102、根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置。

电子设备显示有作业环境的图像，可以针对作业环境的图像输入屏幕像素坐标，该屏幕像素坐标为目标挖掘位置在屏幕像素坐标系中的像素坐标，其中，通过输入目标挖掘位置的屏幕像素坐标，并结合作业环境的点云数据，可以从作业环境的点云数据中确定屏幕像素坐标对应的点云数据，并根据屏幕像素坐标对应的点云数据可确定作业环境中待控制挖掘机的目标挖掘位置。

在一些实施例中，针对作业环境的图像输入的屏幕像素坐标可以为：针对作业环境的图像输入的点击操作所对应的屏幕像素的坐标，该点击操作可以通过触控或者鼠标点击实现，也就是说，通过针对作业环境的图像输入点击操作，即可确定该点击操作对应的屏幕像素坐标，之后结合作业环境的点云数据，确定作业环境中待控制挖掘机的目标挖掘位置。

S103、根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。

根据待控制挖掘机的当前状态参数，以及目标挖掘位置，即可规划待控制挖掘机的运动轨迹，并根据该运动轨迹，控制待控制挖掘机对目标挖掘位置执行挖掘作业。

在一些实施例中，当前状态参数包括：待控制挖掘机上多个部件的当前状态参数；根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业，包括：

采用轨迹规划器，根据每个部件的当前状态参数和目标挖掘位置，生成每个部件的运动轨迹；根据每个部件的运动轨迹，控制每个部件进行运动，以使控制待控制挖掘机对目标挖掘位置执行挖掘作业。

从作业环境中确定目标挖掘位置之后，可以采用轨迹规划器，结合运动学方程，根据每个部件的当前状态参数和目标挖掘位置，生成每个部件的运动轨迹，然后根据每个部件的运动轨迹，利用速度控制器输出对应的控制信号，基于该控制信号控制每个部件进行运动，以使待控制挖掘机对目标挖掘位置执行挖掘作业，其中，该控制信号可以为脉冲宽度调制(Pulse width modulation，PWM)信号。

需要说明的是，可以将屏幕像素坐标对应的点云数据从激光雷达对应的相机坐标系转换到世界坐标系，得到目标挖掘位置的三维坐标，然后根据每个部件的当前状态参数和目标挖掘位置的三维坐标，生成每个部件的运动轨迹。

在本实施例的挖掘机控制方法中，为挖掘机提供了一种半自动化挖掘方法，操作者只需针对作业环境的图像输入的屏幕像素坐标，就能对目标挖掘位置进行挖掘，实现一键点哪挖哪的自动化操作，有效降低操作难度，并提高作业效果，同时还提高了挖掘机控制精度，并且对于需要同时控制大小臂、座舱、挖斗旋转的挖掘动作，只需要在客户端界面上鼠标点击即可完成，有效的降低了挖掘机操作者的技术门槛，提升工作效率。

在图3实施例的基础上，下面结合图5实施例对目标挖掘位置的一种可能的实现过程进行说明。

图5为本申请实施例提供的挖掘机控制方法的流程示意图二，如图4所示，根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，该方法还可以包括：

S201、将作业环境的图像从图像坐标系转换到像素坐标系，得到作业环境的图像对应的像素坐标。

根据图像坐标系和像素坐标系的转换关系，将作业环境的图像从图像坐标系转换到像素坐标系，得到作业环境的图像对应的像素坐标。

S202、对作业环境的图像对应的像素坐标和作业环境的点云数据进行联合标定，得到标定数据。

为了使激光雷达和摄像机采集的数据实现空间和时间同步，可以将对作业环境的图像对应的像素坐标和作业环境的点云数据进行联合标定，得到标定数据，标定数据用于指示作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系，也就是说，建立作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系。

相应地，根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置，包括：

S203、根据对应关系，从作业环境的点云数据中确定屏幕像素坐标对应的点云数据。

其中，作业环境的图像对应的像素坐标包括：屏幕像素坐标，根据作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系，可以从作业环境的点云数据中确定屏幕像素坐标对应的点云数据。

S204、根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

其中，目标挖掘位置可以为世界坐标系中的位置，屏幕像素坐标对应的点云数据可以为相机坐标系中的数据，为基于输入的屏幕像素坐标确定目标挖掘位置，可以基于相机坐标系和世界坐标系之间的转换关系，根据屏幕像素坐标对应的点云数据，确定作业环境中的目标挖掘位置。

在图5实施例的基础上，下面结合图6、图7实施例对目标挖掘位置的两种可能的实现方式进行说明。

图6为本申请实施例提供的挖掘机控制方法的流程示意图三，如图6所示，根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置，可以包括：

S301、将屏幕像素坐标对应的点云数据从激光雷达对应的相机坐标系转换到世界坐标系，得到屏幕像素坐标对应的三维坐标。

S302、根据屏幕像素坐标对应的三维坐标，确定作业环境中的目标挖掘位置。

根据像素坐标系和相机坐标系之间的转换关系，将屏幕像素坐标对应的点云数据从激光雷达对应的相机坐标系转换到世界坐标系，得到屏幕像素坐标对应的三维坐标，再根据屏幕像素坐标对应的三维坐标，从作业环境中确定该三维坐标对应的位置为目标挖掘位置。

图7为本申请实施例提供的挖掘机控制方法的流程示意图四，如图7所示，根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置，包括：

S401、在作业环境的点云数据中，根据屏幕像素坐标对应的点云数据进行像素扩展，得到预设像素范围内的目标点云数据。

为了避免界面上点击的误差，提高挖掘位置的准确度，可以在作业环境的点云数据中，以屏幕像素坐标对应的点云数据为中心，向各个方向进行像素扩展，例如可以扩展10个像素，得到预设像素范围内的目标点云数据，目标点云数据可以为以屏幕像素坐标对应的点云数据为中心、扩展10个像素的像素范围。

S402、根据预设像素范围内的目标点云数据，从作业环境中，确定目标挖掘位置。

基于相机坐标系和世界坐标系之间的转换关系，根据预设像素范围内的目标点云数据，可以确定作业环境中的目标挖掘位置，若预设像素范围内的目标点云数据为屏幕像素坐标对应的点云数据，则可以将屏幕像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到屏幕像素坐标对应的三维坐标，并根据该三维坐标，确定作业环境中该三维坐标对应的位置为目标挖掘位置。

在一可选的实施方式中，根据预设像素范围内的目标点云数据，从作业环境中，确定目标挖掘位置，包括：

将目标点云数据从激光雷达对应的相机坐标系转换到像素坐标系，得到目标点云数据对应的像素坐标；根据目标点云数据对应的像素坐标，从作业环境中，确定目标挖掘位置。

根据相机坐标系和图像坐标系之间的转换关系，可以将目标点云数据从激光雷达对应的相机坐标系转换到图像坐标系，得到目标点云数据对应的图像坐标，再将图像坐标从图像坐标系转换到像素坐标系，得到目标点云数据对应的像素坐标，并根据目标点云数据对应的像素坐标，从作业环境中，确定与目标点云数据对应的像素坐标对应的位置为目标挖掘位置。

在一可选的实施方式中，根据目标点云数据对应的像素坐标，从作业环境中，确定目标挖掘位置，包括：

对目标点云数据对应的像素坐标进行聚类，得到多个像素坐标类别；分别计算多个像素坐标类别和屏幕像素坐标的吻合度；根据吻合度，从多个像素坐标类别中确定目标像素坐标类别；根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

其中，由于目标点云数据会呈现多个聚类相结合的特点，不利于对多个目标的单独识别，因此需要分离出单个目标聚类，即对目标点云数据对应的像素坐标进行聚类，得到多个像素坐标类别，分别计算多个像素坐标类别与屏幕像素坐标的吻合度，然后根据吻合度，从多个像素坐标类别中确定预设条件的目标像素坐标类别，预设条件可以为吻合度最高。

然后，根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定与该点云数据对应的位置为目标挖掘位置，其中，目标点云数据对应的像素坐标的数量为多个。

需要说明的是，可以基于kd-tree原理对目标点云数据对应的像素坐标进行聚类，以建立点与点之间的拓扑关系，用于点的快速搜索，然后搜索出与屏幕像素坐标吻合度最高的目标像素坐标类别，其中，计算像素坐标类别与屏幕像素坐标的吻合度可以为：计算像素坐标类别中像素坐标的均值坐标，将均值坐标与屏幕像素坐标的吻合度作为像素坐标类别与屏幕像素坐标的吻合度，其中，吻合度可以为相似度，可以采用像素坐标之间的距离计算，距离越大，越不相似，距离越小，越相似。

分别计算目标点云数据对应的多个像素坐标和屏幕像素坐标的吻合度；根据该吻合度；从多个像素坐标中确定目标像素坐标；根据目标像素坐标，从作业环境中，确定目标挖掘位置。

其中，目标点云数据对应的像素坐标的数量为多个，可以分别计算目标点云数据对应的多个像素坐标和屏幕像素坐标的吻合度，并从多个像素坐标中确定满足预设条件的像素坐标为目标像素坐标，预设条件可以为吻合度最高。

然后，根据作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系，获目标像素坐标对应的点云数据，将目标像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标对应的三维坐标，并从作业环境中确定该三维坐标对应的位置为目标挖掘位置。通过吻合度确定目标挖掘位置，提高了目标挖掘位置的准确度。

在图7实施例的基础上，下面结合图8、图9实施例对目标挖掘位置的两种可能实现方式进行说明。

图8为本申请实施例提供的挖掘机控制方法的流程示意图五，如图8所示，根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置，包括：

S501、将目标像素坐标类别中像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标类别中像素坐标对应的三维坐标；

S502、根据目标像素坐标类别中像素坐标对应的三维坐标，确定作业环境中的目标挖掘位置。

目标像素坐标类别中的像素坐标的数量为一个，即目标像素坐标类别中的像素坐标和屏幕像素坐标的吻合度最高，则可以将目标像素坐标类别中像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标类别中像素坐标对应的三维坐标，并确定作业环境中，目标像素坐标类别中像素坐标对应的三维坐标对应的位置为目标挖掘位置。通过吻合度确定目标挖掘位置，提高了目标挖掘位置的准确度。

图9为本申请实施例提供的挖掘机控制方法的流程示意图六，如图9所示，根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置，包括：

S601、分别计算目标像素坐标类别中多个像素坐标和屏幕像素坐标的吻合度。

S602、根据吻合度，从多个像素坐标中确定目标像素坐标。

其中，目标像素坐标类别中的像素坐标的数量为多个。

分别计算目标像素坐标类别中多个像素坐标和屏幕像素坐标的吻合度，并根据吻合度，从多个像素坐标中确定满足预设条件的像素坐标为目标像素坐标，预设条件例如可以为吻合度最高。

S603、根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

根据作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系，从目标点云数据中确定目标像素坐标对应的点云数据，作业环境的点云数据包括：目标点云数据。

将目标像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标对应的三维坐标，并确定作业环境中目标像素坐标对应的三维坐标对应的位置为目标挖掘位置。通过吻合度确定目标挖掘位置，提高了目标挖掘位置的准确度。

在一可选的实施方式中，根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置之前，该方法还可以包括：

根据标定数据确定显示屏上的目标像素区域；判断目标像素坐标是否位于目标像素区域内。

对作业环境的图像对应的像素坐标和作业环境的点云数据进行联合标定，得到标定数据，标定数据用于指示作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系。

其中，标定数据中可能存在部分像素坐标不具有对应关系，即没有与这部分像素坐标对应的点云数据，即标定数据用于指示显示界面上目标像素区域的像素坐标和点云数据之间对应关系，也就是说，根据标定数据可以确定显示屏上的目标像素区域，目标像素区域对应有点云数据。

在确定目标像素坐标之后，可以判断目标像素坐标是否位于目标像素区域内。

相应地，根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置，包括：

若目标像素坐标位于目标像素区域内，则将目标像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标对应的三维坐标；根据目标像素坐标对应的三维坐标，得到作业环境中的目标挖掘位置。

若目标像素坐标位于目标像素区域内，说明可以基于目标像素坐标确定对应的点云数据，进而基于对应的点云数据确定目标挖掘位置，则将目标像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标对应的三维坐标，从作业环境的中确定目标像素坐标对应的三维坐标对应的位置为目标挖掘位置。

若目标像素坐标不位于目标像素区域内，说明基于目标像素坐标无法确定对应的点云数据，进而无法确定目标挖掘位置。

在一可选的实施方式中，根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，该方法还可以包括：

根据标定数据确定显示屏上的目标像素区域，目标像素区域对应有点云数据。

其中，针对作业环境的图像输入的屏幕像素坐标，包括：针对目标像素区域输入的屏幕像素坐标。

在该半自动挖掘功能中，对于工作范围的生成是通过标定后的激光雷达和单目摄像机，将点云数据和图像数据进行标定匹配，并将这部分范围激活为可选择的工作范围。

图10为本申请实施例提供显示界面的示意图，如图10所示，显示界面显示有：作业环境的图像，根据标定数据确定的目标像素区域为黑色加粗方框内区域，即黑色加粗方框内区域为可选择的挖掘范围，针对作业环境的图像输入的屏幕像素坐标，包括：针对目标像素区域输入的屏幕像素坐标，即针对目标像素区域输入屏幕像素坐标是有效的，如在该区域内进行点击操作，而在其它区域输入屏幕像素坐标是无效的。

需要说明的是，在实际应用中，电子设备可以安装有挖掘机客户端，登录挖掘机客户端后，选择“点哪挖哪”功能，可以激活可选择的挖掘范围(即目标像素区域)，在该目标像素区域内进行点击，电子设备可以获取到与该点击操作对应的屏幕像素坐标，进而获取待控制挖掘机的目标挖掘位置，为挖掘机的自动控制提供目标参数，挖掘机就会自动完成一次挖掘作业。

基于同一发明构思，本申请实施例中还提供了与挖掘机控制方法对应的挖掘机控制装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述挖掘机控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图11为本申请实施例提供的挖掘机控制装置的结构示意图，该装置可以电子设备中，如图11所示，该装置可以包括：

获取模块701，用于获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数；

确定模块702，用于根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置；

控制模块703，用于根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。

在一可选的实施方式中，该装置还包括：

转换模块704，用于将作业环境的图像从图像坐标系转换到像素坐标系，得到作业环境的图像对应的像素坐标；

标定模块705，用于对作业环境的图像对应的像素坐标和作业环境的点云数据进行联合标定，得到标定数据，标定数据用于指示作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系；

确定模块702，具体用于：

根据对应关系，从作业环境的点云数据中确定屏幕像素坐标对应的点云数据；

根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

在一可选的实施方式中，确定模块702，具体用于：

将屏幕像素坐标对应的点云数据从激光雷达对应的相机坐标系转换到世界坐标系，得到屏幕像素坐标对应的三维坐标；

根据屏幕像素坐标对应的三维坐标，确定作业环境中的目标挖掘位置。

在一可选的实施方式中，确定模块702，具体用于：

在作业环境的点云数据中，根据屏幕像素坐标对应的点云数据进行像素扩展，得到预设像素范围内的目标点云数据；

根据预设像素范围内的目标点云数据，从作业环境中，确定目标挖掘位置。

在一可选的实施方式中，确定模块702，具体用于：

将目标点云数据从激光雷达对应的相机坐标系转换到像素坐标系，得到目标点云数据对应的像素坐标；

根据目标点云数据对应的像素坐标，从作业环境中，确定目标挖掘位置。

在一可选的实施方式中，确定模块702，具体用于：

对目标点云数据对应的像素坐标进行聚类，得到多个像素坐标类别；

分别计算多个像素坐标类别和屏幕像素坐标的吻合度；

根据吻合度，从多个像素坐标类别中确定目标像素坐标类别；

根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

在一可选的实施方式中，目标像素坐标类别中的像素坐标的数量为一个；

确定模块702，具体用于：

将目标像素坐标类别中像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标类别中像素坐标对应的三维坐标；

根据目标像素坐标类别中像素坐标对应的三维坐标，确定作业环境中的目标挖掘位置。

在一可选的实施方式中，目标像素坐标类别中的像素坐标的数量为多个；

确定模块702，具体用于：

分别计算目标像素坐标类别中多个像素坐标和屏幕像素坐标的吻合度；

根据吻合度，从多个像素坐标中确定目标像素坐标；

根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置。

在一可选的实施方式中，确定模块702，还用于：

根据标定数据确定显示屏上的目标像素区域，目标像素区域对应有点云数据；

在一可选的实施方式中，确定模块702，还用于：

判断模块706，用于判断目标像素坐标是否位于目标像素区域内；

确定模块702，具体用于：

若目标像素坐标位于目标像素区域，则将目标像素坐标对应的点云数据从相机坐标系转换到世界坐标系，得到目标像素坐标对应的三维坐标；

根据目标像素坐标对应的三维坐标，得到作业环境中的目标挖掘位置。

在本实施例的挖掘机控制装置中，为挖掘机提供了一种半自动化挖掘方法，操作者只需针对作业环境的图像输入的屏幕像素坐标，就能对目标挖掘位置进行挖掘，实现一键点哪挖哪的自动化操作，有效降低操作难度，并提高作业效果，同时还提高了挖掘机控制精度，并且对于需要同时控制大小臂、座舱、挖斗旋转的挖掘动作，只需要在客户端界面上鼠标点击即可完成，有效的降低了挖掘机操作者的技术门槛，提升工作效率。

操作者只需针对作业环境的图像输入的屏幕像素坐标，就能对目标挖掘位置进行挖掘，实现一键点哪挖哪的自动化操作，有效降低操作难度，并提高作业效果，同时还提高了挖掘机控制精度。

图12为本申请实施例提供的电子设备的结构示意图，如图12所示，该设备可以包括：处理器801、存储器802和总线803，存储器802存储有处理器801可执行的机器可读指令，当电子设备运行时，处理器801与存储器802之间通过总线803通信，处理器801执行机器可读指令，以执行以下步骤：

获取摄像机采集的待控制挖掘机的作业环境的图像、激光雷达采集的作业环境的点云数据、以及待控制挖掘机的当前状态参数；

根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置；

根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业。

在一可选的实施方式中，在根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，处理器801还用于：

将作业环境的图像从图像坐标系转换到像素坐标系，得到作业环境的图像对应的像素坐标；

对作业环境的图像对应的像素坐标和作业环境的点云数据进行联合标定，得到标定数据，标定数据用于指示作业环境的图像对应的像素坐标和作业环境的点云数据之间的对应关系；

根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置，包括：

在一可选的实施方式中，处理器801在执行根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

在一可选的实施方式中，处理器801在执行根据预设像素范围内的目标点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

在一可选的实施方式中，处理器801在执行根据目标点云数据对应的像素坐标，从作业环境中，确定目标挖掘位置时，具体用于：

分别计算多个像素坐标类别和屏幕像素坐标的吻合度；

处理器801在执行根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

根据吻合度，从多个像素坐标中确定目标像素坐标；

在一可选的实施方式中，在执行根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，处理器801还用于：

在一可选的实施方式中，在执行根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置之前，处理器801还用于：

判断目标像素坐标是否位于目标像素区域内；

处理器801在执行根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

在一可选的实施方式中，当前状态参数包括：待控制挖掘机上多个部件的当前状态参数；

处理器801在执行根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业时，具体用于：

采用轨迹规划器，根据每个部件的当前状态参数和目标挖掘位置，生成每个部件的运动轨迹；

根据每个部件的运动轨迹，控制每个部件进行运动，以使待控制挖掘机对目标挖掘位置执行挖掘作业。

通过上述方式，为挖掘机提供了一种半自动化挖掘方法，操作者只需针对作业环境的图像输入的屏幕像素坐标，就能对目标挖掘位置进行挖掘，实现一键点哪挖哪的自动化操作，有效降低操作难度，并提高作业效果，同时还提高了挖掘机控制精度，并且对于需要同时控制大小臂、座舱、挖斗旋转的挖掘动作，只需要在客户端界面上鼠标点击即可完成，有效的降低了挖掘机操作者的技术门槛，提升工作效率。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行，处理器执行以下步骤：

在一可选的实施方式中，在根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，处理器还用于：

在一可选的实施方式中，处理器在执行根据屏幕像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

在一可选的实施方式中，处理器在执行根据预设像素范围内的目标点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

在一可选的实施方式中，处理器在执行根据目标点云数据对应的像素坐标，从作业环境中，确定目标挖掘位置时，具体用于：

分别计算多个像素坐标类别和屏幕像素坐标的吻合度；

处理器在执行根据目标像素坐标类别中像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

根据吻合度，从多个像素坐标中确定目标像素坐标；

在一可选的实施方式中，在执行根据针对作业环境的图像输入的屏幕像素坐标和作业环境的点云数据，从作业环境中，确定待控制挖掘机的目标挖掘位置之前，处理器还用于：

在一可选的实施方式中，在执行据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置之前，处理器还用于：

判断目标像素坐标是否位于目标像素区域内；

处理器在执行根据目标像素坐标对应的点云数据，从作业环境中，确定目标挖掘位置时，具体用于：

处理器在执行根据当前状态参数，控制待控制挖掘机对目标挖掘位置执行挖掘作业时，具体用于：

在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种挖掘机控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置之前，所述方法还包括：

将所述作业环境的图像从图像坐标系转换到像素坐标系，得到所述作业环境的图像对应的像素坐标；

对所述作业环境的图像对应的像素坐标和所述作业环境的点云数据进行联合标定，得到标定数据，所述标定数据用于指示所述作业环境的图像对应的像素坐标和所述作业环境的点云数据之间的对应关系；

所述根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置，包括：

根据所述对应关系，从所述作业环境的点云数据中确定所述屏幕像素坐标对应的点云数据；

根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置。

3.根据权利要求2所述的方法，其特征在于，所述根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：

将所述屏幕像素坐标对应的点云数据从所述激光雷达对应的相机坐标系转换到世界坐标系，得到所述屏幕像素坐标对应的三维坐标；

根据所述屏幕像素坐标对应的三维坐标，确定所述作业环境中的所述目标挖掘位置。

4.根据权利要求2所述的方法，其特征在于，所述根据所述屏幕像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：

在所述作业环境的点云数据中，根据所述屏幕像素坐标对应的点云数据进行像素扩展，得到预设像素范围内的目标点云数据；

根据所述预设像素范围内的目标点云数据，从所述作业环境中，确定所述目标挖掘位置。

5.根据权利要求4所述的方法，其特征在于，所述根据所述预设像素范围内的目标点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：

将所述目标点云数据从所述激光雷达对应的相机坐标系转换到像素坐标系，得到所述目标点云数据对应的像素坐标；

根据所述目标点云数据对应的像素坐标，从所述作业环境中，确定所述目标挖掘位置。

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标点云数据对应的像素坐标，从所述作业环境中，确定所述目标挖掘位置，包括：

对所述目标点云数据对应的像素坐标进行聚类，得到多个像素坐标类别；

分别计算所述多个像素坐标类别和所述屏幕像素坐标的吻合度；

根据所述吻合度，从所述多个像素坐标类别中确定目标像素坐标类别；

根据所述目标像素坐标类别中像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置。

7.根据权利要求6所述的方法，其特征在于，所述目标像素坐标类别中的像素坐标的数量为一个；

所述根据所述目标像素坐标类别中像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：

将所述目标像素坐标类别中像素坐标对应的点云数据从所述相机坐标系转换到世界坐标系，得到所述目标像素坐标类别中像素坐标对应的三维坐标；

根据所述目标像素坐标类别中像素坐标对应的三维坐标，确定所述作业环境中的所述目标挖掘位置。

8.根据权利要求6所述的方法，其特征在于，所述目标像素坐标类别中的像素坐标的数量为多个；

分别计算所述目标像素坐标类别中多个像素坐标和所述屏幕像素坐标的吻合度；

根据所述吻合度，从所述多个像素坐标中确定目标像素坐标；

根据所述目标像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置。

9.根据权利要求2所述的方法，其特征在于，所述根据针对所述作业环境的图像输入的屏幕像素坐标和所述作业环境的点云数据，从所述作业环境中，确定所述待控制挖掘机的目标挖掘位置之前，所述方法还包括：

根据所述标定数据确定显示屏上的目标像素区域，所述目标像素区域对应有所述点云数据；

其中，针对所述作业环境的图像输入的屏幕像素坐标，包括：针对所述目标像素区域输入的所述屏幕像素坐标。

10.根据权利要求8所述的方法，其特征在于，所述根据所述目标像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置之前，所述方法还包括：

判断所述目标像素坐标是否位于所述目标像素区域内；

所述根据所述目标像素坐标对应的点云数据，从所述作业环境中，确定所述目标挖掘位置，包括：

若所述目标像素坐标位于所述目标像素区域，则将所述目标像素坐标对应的点云数据从所述相机坐标系转换到世界坐标系，得到所述目标像素坐标对应的三维坐标；

根据所述目标像素坐标对应的三维坐标，得到所述作业环境中的所述目标挖掘位置。

11.根据权利要求1所述的方法，其特征在于，所述当前状态参数包括：所述待控制挖掘机上多个部件的当前状态参数；

所述根据所述当前状态参数，控制所述待控制挖掘机对所述目标挖掘位置执行挖掘作业，包括：

采用轨迹规划器，根据每个部件的当前状态参数和所述目标挖掘位置，生成所述每个部件的运动轨迹；

根据所述每个部件的运动轨迹，控制所述每个部件进行运动，以使所述待控制挖掘机对所述目标挖掘位置执行所述挖掘作业。

12.一种挖掘机控制装置，其特征在于，包括：

13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1至11任一项所述的挖掘机控制方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1至11任一项所述的挖掘机控制方法。