CN115588043A - 一种基于视觉的挖掘机作业位姿的监测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的挖掘机作业位姿的监测方法。其步骤为:采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，框定监测视频中挖斗、小臂的位置，取得目标检测框的图像坐标信息；对小臂目标检测框内的图像进行分割；识别出小臂在图像中的位置及大小；再根据小臂、挖斗的真实尺寸，以及图像中小臂、挖斗相对位置及大小，拟合得到小臂、挖斗与摄像头的距离，确定挖斗与驾驶室的位置，以及动作状态；由定位设备计算出挖掘机挖掘点以及卸载点的位置，实现对挖掘机作业位姿的动态监测。本发明可以实现行政管理部门对挖掘机等工程设备对自然资源开发利用情况的在线监测，以及挖掘机业主对其设备实现在线统一管理，实时掌握其设备的工作状态。

Description

一种基于视觉的挖掘机作业位姿的监测方法

技术领域

本发明属于挖掘机技术领域，具体涉及一种基于视觉的挖掘机作业位姿的监测方法。

背景技术

挖掘机是用途最广泛的工程机械之一，作为工程机械的主流产品，它在工业与民用建筑、交通运输、水利电力工程、矿山采掘以及军事工程等施工中起着极为重要的作用。在国土资源开发利用中，挖掘机也是最为重要的自然资源开发利用工程设备，加强对工程设备作业的管理与动态监测，实现对工程设备的定位、姿态的动态识别，可以有效的识别工程设备的开发利用内涵，进而实现加强自然资源监管和保护，提高对自然资源的集约利用程度，提升自然资源治理能力和治理手段的现代化水平。

近年来，国内外大量的企业和个人开展了挖掘机的姿态识别、定位的研究工作。如：卡特彼勒、小松、沃尔沃、日立、斗山，以及国内的徐工、三一、中联重科、山河智能、柳工等工程机械制造商为实现作业自动化均开展了大量的挖掘机姿态识别、定位的研究工作，且部分产品已经实现了自动化作业或者远程遥控作业。目前，对于挖掘机姿态的识别主要通过GPS导航系统完成其机体定位，通过安装在动臂、斗杆和铲斗上的拉线传感器或者在其铰接处安装的倾角传感器或光电编码器测距来识别其动作姿态，常见倾角测量或者距离测量的包括方法有超声波测距，激光脉冲测距，红外测距，光学测距和立体测距等。通过这种方法获取挖掘机姿态信息过程中，在挖掘机实际工作过程中，由于工作环境相对恶劣，动臂、斗杆和铲斗不可避免地会与土层、岩石或者水体进行接触、碰撞，安装在其上的传感器在容易被砸坏、腐蚀；同时，安装在其上的传感器在长期的振动环境中也容易损坏；另外，这些传感器造价较高，后期维护成本较高。

王海波等2014年提出了“基于视觉测量的非接触式挖掘机工作装置姿态测量方法”的发明专利(201410079270.6)，通过在工作装置上粘贴具有明显图像鞍点特征的圆形片作为标记特征点，然后用驾驶室机架上的工业摄相机摄取挖掘机工作装置图像，再应用鞍点检测方法在线实时检测出工作装置图像上包括特征片中心点在内的所有图像鞍点，并通过特征片间的距离将非特征片中心点的图像鞍点过滤掉，进而通过特征片中心点之间的连线倾角得出工作装置各部件的倾角，从而测出工作装置的姿态。这种方法虽然能有效地监测出挖掘机的姿态，但是由于挖机机工作环境较为恶劣，工作装置上标记特征点容易收到污损，导致监测失效。

一种具有智能监控的工程机械系统(202011084597.4)中也提出了一种相似的方法，其提出了一种通过放置在施工区域的外周的定位扫描装置，用以监测和扫描施工区域的地形模型，感应与挖掘装置的距离，同时指示挖掘装置的移动方向；挖掘装置被构造成根据定位扫描装置扫描到的地形模型对施工区域进行挖掘施工。这些方法均需要提前在作业区适当位置布置多个摄像头、激光雷达、声波测距等感应装置，对于大型项目作业区的监控和管理具有一定的现实意义，但是对于广大村镇地区来说，小型作业区、临时作业区较多，对每个作业区进行摄像头布设存在较大的难度；另外，提前布置多个感应装置需要进行一定量的测绘和对设备管理工作，增加了额外的工作量。

综上所述，传统的挖掘机作业位姿监测方式主要基于传统图像处理的方法。主要通过图像灰度化处理，阈值分割等方式提取某些特征信息，然后借助机器学习的方法，将特征信息输入支持向量机等进行分类。这类传统方法往往计算量较小，但是算法的精度较低，分类器的适用性不强，在实际作业中环境因素变化时容易造成误识别。除此之外，传统的挖掘机作业位姿监测需要在作业区额外布置监测设备，或需要在挖掘机上布设标记特征点，导致监测成本较高和监测失效。

发明内容

为了解决现有技术存在的上述技术问题，以实现行政管理部门对挖掘机等工程设备对自然资源开发利用情况的在线监测，以及挖掘机业主对其设备进行实时在线统一管理。本发明提供一种基于视觉的挖掘机作业位姿的监测方法。本发明在对视觉测距精度进行测试时，无需联合标定，无需目标匹配，并且能保证数据的精度，提高了监测的准确性。

本发明解决上述技术问题的技术方案是：一种基于视觉的挖掘机作业位姿的监测方法，包括以下步骤：

步骤S₁，采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，并对视频进行切片分割成不同时间点的图片，采用训练好的模型框定监测视频中挖斗、小臂的位置，确定挖斗的状态并取得挖斗、小臂目标检测框的图像坐标信息；

步骤S₂，对小臂目标检测框内的图像进行分割；

步骤S₃，图像中小臂的位置及宽度计算；

步骤S₄，挖斗距离驾驶室的实际位置估算；

步骤S₅，挖掘机作业点位置计算；

进一步的，所述步骤S₁中训练好的模型采用以下步骤获得：

通过摄像头在挖掘机驾驶室内采集大量的图片目标位置进行标签标注，采用随机抽样的方式将所采集的挖斗、小臂图像数据按一定比例划分为独立不重复的验证集和测试集；

对输入图像进行处理，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

进行训练及特征提取；

目标检测。

进一步的，所述步骤S₂中采用彩色图像反向投影或者Unet图像分割法进行图像分割。

进一步的，所述步骤S₂中采用彩色图像反向投影分割法进行图像分割步骤为：对检测范围的图像放大；预处理图像中心区域像素提取；模板均值与标准方差的求取；高斯概率密度的计算；反向投影图像并分割。

进一步的，所述步骤S₂中Unet图像分割法进行图像分割步骤为：对预处理图像的提取并放大，得到预处理图像；在预处理图像中构建unet训练集和验证集；unet网络的权重文件对预处理图像进行分割，直接得到小臂在图像中的宽度。

进一步的，所述步骤S₄中挖斗距离驾驶室的实际位置估算的具体步骤为：

小臂末端与驾驶室距离估算：

其中W表示小臂的实际宽度，F为摄像头焦距，w_t为小臂在图像中的宽度；

小臂末端与地面距离估算：

根据相似三角形来计算，即

其中w_t为小臂在图像中的宽度，W为小臂的实际宽度，y_t为图像中小臂末端的垂向y坐标，y_m表示图像垂向上的中点坐标，Δy表示小臂末端相对于摄像头移动的高度，即小臂末端的高度H为：H＝h-Δy，其中h为摄像头距离地面的高度；

小臂末端距离和高度校正：

小臂末端的水平距离Dz为：Dz＝D×cos(θ)×cos(Φ)，其中θ为水平仪所测量的挖掘机行走与水平面的倾角，D表示摄像头到小臂的距离；

小臂末端的实际高度Hz为：Hz＝H×Dz/D，其中Hz表示小臂末端的实际高度，H表示图像中小臂末端的高度，D表示摄像头到小臂的距离，Dz小臂末端的水平距离。

本发明的有益效果：本发明采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，框定监测视频中挖斗、小臂的位置，取得目标检测框的图像坐标信息，实现了全域实时动态监测。具有监测成本低、不影响挖掘机施工的优点，可以实现挖掘机的业主对其设备进行实时在线统一管理，实时掌握其设备的位置及工作状态。

附图说明

图1是本发明一种基于视觉的挖掘机作业位姿的监测方法的流程图；

图2是本发明中挖掘机中挖斗和小臂目标检测模型训练效果评价图；

图3是本发明中挖掘机工作中挖斗和小臂目标检测效果图；

图4是本发明中挖掘机工作中小臂目标分割效果图；

图5是本发明中某处挖掘机地基开挖的挖斗的装载点和卸载点位置分布图。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的详细说明。

如图1所示，本发明提供的一种基于视觉的挖掘机作业位姿的监测方法，包括以下步骤：

步骤一，视频图像挖斗状态以及小臂标注和训练。

(1)图像的标注与处理

选取的标注图片或者影像数据主要来源互联网和现场的视频采集数据，对视频流数据进行提帧转成照片，形成图片集合，用于训练和标注。采用Labelme软件对数据集进行标注，对图像集中的小臂逐一进行框定标注，对挖斗的空载状态和装载状态分别标注，其中挖斗露出斗齿及挖斗内无土方状态为空载状态，挖斗未露出斗齿及挖斗内有土方状态为装载状态，完成照片的标注。将标注好的照片按照随机抽样的方式将标注的挖斗、小臂图像数据按照1:9的比例划分为验证集和训练集。

(2)图像预处理

在模型开始训练前，对图像进行统一处理，统一图片大小为640×640，统一进行Mosaic数据增强处理，进行聚类分析得到小臂先验框的分类，小臂先验框的分类由标注过程中形成的小臂标注框的长宽信息进行聚类分析，分成三类框，对各类框计算分别计算其平均长宽数据，得到自适应锚框为[8,11；15,32；27,41；30,61；62,53；62,124；104,108；144,206；363,322]。

(3)训练及特征提取

为获得更快的收敛速度，减少训练时间成本，本实施例基于YOLOv5框架下YOLOv5s预训练权重进行迁移学习。其中，硬件平台参数中央处理器为Intel i7-7700k，图形计算卡为Nvidia Ge Force GTX 1060Ti，批量数为16，训练120轮，共迭代92160次。

Yolov5的目标检测主要通过Head输出层实现，得到小臂、挖斗的边界框的宽度、高度以及中心点坐标，计算输出层的损失函数GIOU_Loss或CIOU_Loss，最终训练得到的权重文件。

步骤二，视频图像中挖斗状态以及小臂目标检测。

通过在电脑上训练得到的权重文件yolov5s.pt，部署到英伟达JETSON NANO开发板4GB核心模组上进行目标检测，具体为通过JETSON NANO开发板4GB核心模组的USB接口连接摄像头进行视频信号采集，对采集的数据切片成图片加载到yolov5检测模块中，检测模块针对读取到的图片结合权重文件yolov5s.pt进行预测，在图片上框定出小臂的位置；当挖斗装载有土方时判定为装载状态，当挖斗未装载土方露出斗齿时，判定为装载状态。

步骤三，小臂的图像分割。

(1)对预处理图像的提取并放大

根据目标框的范围截取步骤一检测范围内检测到的小臂图像，读取其长宽信息，并分别对截取后的图像长、宽同步放大3倍，得到预处理图像。

(2)模板像素提取

在预处理图像的中心点的长宽方向上同步各外扩1/10长宽的距离，得到模板像素样本，其中预处理图像的中心点即步骤一中目标检测得到的小臂、挖斗的边界框的中心点坐标。

(3)模板均值与标准方差的求取

将预处理图像转为HSV格式数据，仅对H和S通道分别计算得到对应的均值与标准方差，去掉V通道(明度)的影响，以减少光线亮度对分割的影响。

(4)高斯概率密度的计算

对预处理图像的每个像素点计算根据高斯概率密度公式计算P(H)与P(S)的乘积。

(5)反向投影图像并分割

对预处理图像中H和S通道进行归一化之后输出结果，即为最终基于高斯PDF的反向投影图像，根据Mask得到最终颜色模型对象分割，得到图像内小臂边界范围。

步骤四，图像中小臂的位置及宽度计算。

读取步骤三中的预处理图像的宽度w，高度h，以及右下角坐标(Xmax，Ymax)；由步骤三中得到的分割后的小臂图像中边界范围内的像素数总和与步骤三中的预处理图像像素总和相比，得到k，即小臂在图像中的宽度w_t＝k×w。

步骤五：挖斗距离驾驶室的实际位置估算

(1)小臂末端(挖斗)与驾驶室距离估算

由于挖斗及小臂相对于驾驶来说，属于在一个垂直平面上活动，可以用单目测距算法，即摄像头到小臂的距离

其中W表示小臂的实际宽度，F为摄像头焦距，w_t为小臂在图像中的宽度。

(2)小臂末端(挖斗)与地面距离估算

根据相似三角形来计算，即

其中w_t为小臂在图像中的宽度，W为小臂的实际宽度，y_t为图像中小臂末端的垂向y坐标，y_m表示图像垂向上的中点坐标，Δy表示小臂末端相对于摄像头移动的高度，即小臂末端的高度H为：H＝h-Δy，其中h为摄像头距离地面的高度。

(3)小臂末端(挖斗)距离和高度校正

小臂末端(挖斗)距离和高度校正主要通过挖掘机内置的水平仪与水平面的倾角θ，水平仪的倾向与挖掘机的朝向的夹角Φ。小臂末端(挖斗)的水平距离Dz为：Dz＝D×cos(θ)×cos(Φ)，其中θ为水平仪所测量的挖掘机行走与水平面的倾角，D表示摄像头到小臂的距离。

小臂末端(挖斗)的实际高度Hz为：Hz＝H×Dz/D，其中Hz表示小臂末端(挖斗)的实际高度，H表示图像中小臂末端(挖斗)的高度，D表示摄像头到小臂的距离，Dz小臂末端(挖斗)的水平距离。

步骤六：挖掘机作业点位置计算

结合驾驶室内的安装的GPS/北斗芯片得到驾驶室的定位信息(X1，Y1，Z1)，以及电子罗盘得到的驾驶室的方位角信息(方位角为α)，对挖斗实际作业点的状态信息进行计算，即挖斗的实际坐标为X＝X1+D×sin(α)，X＝X1+D×cos(α)，Z＝Z1+Hz×cos(α)。

通过对挖斗的空载状态和装载状态的识别，当挖斗由空载变为装载状态时候，判定为装载点，记录挖斗的坐标、时间点，以及状态(装载)；当挖斗由装载变为空载状态时候，判定为卸载点，记录挖斗的坐标、时间点，以及状态(卸载)。对于记录的数据通过4G/5G物联网信号实时回传至云平台进行分析。

实施例2：

在步骤三中，对于小臂的图像分割，采用unet模型进行语义分割，其具体步骤可以分为以下几步：

(1)对预处理图像的提取并放大

根据目标框的范围截取步骤一检测范围内检测到的小臂图像，读取其长宽信息，并分别对截取后的图像长、宽同步放大3倍，得到预处理图像。

(2)在预处理图像中构建unet训练集和验证集

根据得到预处理图像集为116张，选取100张作为训练集，剩余的16张作为验证集。同样使用Labelme软件标注形成Voc2007格式数据集，送入vgg16-unet模型进行训练，样采用冻结学习的方式冻结训练开始的若干代参数，并通过迁移学习的方式使用已有的针对unet网络进行优化的预训练权重。

(3)图像分割

根据unet网络的权重文件对预处理图像进行分割，该分割实际为图像像素的二分类问题，输出黑白二值图像作为分割结果，最后将所有分割好的ROI区域图像和原始图像送入图像融合模块进行融合，得到最终的分割结果，直接得到小臂在图像中的宽度w_t。

需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (6)

1.一种基于视觉的挖掘机作业位姿的监测方法，其特征在于，包括以下步骤：

步骤S₁，采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，并对视频进行切片分割成不同时间点的图片，采用训练好的模型框定监测视频中挖斗、小臂的位置，确定挖斗的状态并取得挖斗、小臂目标检测框的图像坐标信息；

步骤S₂，对小臂目标检测框内的图像进行分割；

步骤S₃，图像中小臂的位置及宽度计算；

步骤S₄，挖斗距离驾驶室的实际位置估算；

步骤S₅，挖掘机作业点位置计算。

2.根据权利要求1所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述步骤S₁中训练好的模型采用以下步骤获得：

通过摄像头在挖掘机驾驶室内采集大量的图片目标位置进行标签标注，采用随机抽样的方式将所采集的挖斗、小臂图像数据按一定比例划分为独立不重复的验证集和测试集；

对输入图像进行处理，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

进行训练及特征提取；

目标检测。

3.根据权利要求1所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述步骤S₂中采用彩色图像反向投影或者Unet图像分割法进行图像分割。

4.根据权利要求3所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述采用彩色图像反向投影分割法进行图像分割步骤为：

对检测范围的图像放大；预处理图像中心区域像素提取；模板均值与标准方差的求取；高斯概率密度的计算；反向投影图像并分割。

5.根据权利要求3所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述Unet图像分割法进行图像分割步骤为：

对预处理图像的提取并放大，得到预处理图像；在预处理图像中构建unet训练集和验证集；unet网络的权重文件对预处理图像进行分割，直接得到小臂在图像中的宽度。

6.根据权利要求1所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述步骤S₄中挖斗距离驾驶室的实际位置估算的具体步骤为：

小臂末端与驾驶室距离估算：

其中W表示小臂的实际宽度，F为摄像头焦距，w_t为小臂在图像中的宽度；

小臂末端与地面距离估算：

根据相似三角形来计算，即

其中w_t为小臂在图像中的宽度，W为小臂的实际宽度，y_t为图像中小臂末端的垂向y坐标，y_m表示图像垂向上的中点坐标，Δy表示小臂末端相对于摄像头移动的高度，即小臂末端的高度H为：H＝h-Δy，其中h为摄像头距离地面的高度；

小臂末端距离和高度校正：

小臂末端的水平距离Dz为：Dz＝D×cos(θ)×cos(Φ)，其中θ为水平仪所测量的挖掘机行走与水平面的倾角，D表示摄像头到小臂的距离；

小臂末端的实际高度Hz为：Hz＝H×Dz/D，其中Hz表示小臂末端的实际高度，H表示图像中小臂末端的高度，D表示摄像头到小臂的距离，Dz小臂末端的水平距离。

Images