CN110887440A - 基于结构光的挖掘机挖斗土方体积实时测量方法及测量装置 - Google Patents

Abstract

本发明公开了一种基于结构光的挖掘机挖斗土方体积实时测量方法及测量装置，由结构光发射投影仪将含有编码信息的彩色编码光栅投射于待测土方表面，通过相机捕捉经待测土方表面高度调制变形后的光栅，然后对相机捕捉到的光栅图像通过解码程序进行解码，计算出像素点坐标，得出待测土方表面的三维点云图；对点云图进行预处理以及边缘轮廓提取；利用canny算法进行边缘提取并筛选出每一循环的最大挖斗上截面边缘轮廓；判断装满土方状态或未装满土方状态，针对两种不同状态用两种不同的体积计算方法计算实际土方体积，输出土方体积数据，进行存储。本发明对挖掘机挖斗土方能够进行实时测量，测量精度高，提高了工程效率，便于工程进度安排。

Description

基于结构光的挖掘机挖斗土方体积实时测量方法及测量装置

技术领域

本发明涉及光学工程与工程机械范畴，主要涉及到采用结构光三维测量技术对挖掘机挖斗土方体积进行实时测量的方法和装置。

背景技术

经济的飞速发展使得工程基建类项目日益增多，在工程项目中，挖掘机挖斗土方的体积的实时测量问题也日益受到人们的重视。土方体积的实时精确测量，对工程总体规划、工程进度估计、工程劳务资金发放等多个方面都造成了不容忽视的影响。传统的土方体积测量，包括人工测量和仪器测量。人工测量费时费力且测量精度较低；仪器测量又难以达到实时性，并且仪器成本代价高，仍脱离不了人为的操作。就挖掘机而言，由于工作环境恶劣，挖斗形状不规则，且在工作过程中大小臂协同工作以至于工况复杂，因此无论是人工测量挖斗土方体积还是利用全站仪等测量仪器都难以实现高效、精确、实时的测量。

为了解决挖掘机复杂工况下的挖斗土方体积测量难度大、精度低的问题，本发明基于结构光三维测量技术对挖掘机挖斗土方进行实时测量，为推进“智慧工地”建设、提高工程效率、实现土方的精准统计，便于工程进度安排等方面提供了必要的支持。

发明内容

针对上述挖掘机挖斗土方体积测量的实际需求以及传统测量方法存在的缺陷，本发明的目的是提出了一种基于结构光的挖掘机挖斗土方体积实时测量方法及测量装置。对挖掘机挖斗土方能够进行实时测量，测量精度高，提高了工程效率，便于工程进度安排。

本发明的技术方案是：一种基于结构光的挖掘机挖斗土方体积实时测量装置，包括结构光发射投影仪、相机、多自由度连接部件、电源以及工控机，所述多自由度连接部件包括主底板，在主底板的上方设有两个对称的连接带，连接带的上端设有松紧螺栓，在主底板的下方依次设有两个对称的第一层滑轨滑块、第二层滑轨滑块和第三层球轴承，在第三层球轴承下端分别固定有结构光发射投影仪安装底板和相机安装底板，分别安装结构光发射投影仪和相机，主底板下方中部位置是电源和工控机的安装位置。

通过第一层滑轨滑块实现结构光发射投影仪和相机在坐标轴X上的水平移动，通过第二层滑轨滑块实现结构光发射投影仪和相机在坐标轴Y上的水平移动；通过第三层球轴承实现结构光发射投影仪和相机安装底板绕X、Y坐标轴的转动。

将多自由度连接部件与挖掘机运动大臂通过连接带进行固连，其次将结构光发射投影仪、相机、电源、工控机安装在多自由度连接部件相应的位置上，并标定好各部件的位置及角度；多自由度连接部件应保证实现结构光发射投影仪和相机在坐标轴X、Y上的水平位置可调，以及绕坐标轴X、Y转动；电源及工控机只需固定即可，无自由度运动要求；电源安装位置只要保证正常供电且与挖掘机运动臂无干涉即可。

具体标定位置应满足以下条件：

(1)结构光发射投影仪的镜头中心轴垂直于参考平面；

(2)结构光发射投影仪的镜头中心轴线与相机镜头中心轴线相交在参考平面上；

(3)结构光发射投影仪的镜头中心与相机镜头中心连线与参考平面平行。

本发明的技术方案是：一种基于结构光的挖掘机挖斗土方体积实时测量方法，由结构光发射投影仪将含有编码信息的虚拟光栅投射于待测土方表面，通过相机捕捉经待测物体表面高度调制变形后的光栅，此时待测土方表面的深度点云信息已经包含于变形后的光栅条纹中，然后对相机捕捉到的光栅图像通过解码程序进行解码，计算出像素点坐标，得出土方表面的三维点云图；

利用canny方法对预处理后的点云图进行边缘提取，然后求出挖斗上截面边缘轮廓的大小，并筛选出最大的挖斗上截面轮廓，当提取出来的挖斗上截面边缘轮廓最大时，根据此计算出的体积与实际土方体积最为接近；

在体积计算时，首先判断挖斗内有效区域中间范围的点云数据高度是否高于挖斗边缘高度，高时则为装满土方状态，反之则为未装满土方状态，针对两种不同状态用两种不同的体积分割计算方法计算实际土方体积；

最后将土方体积数据进行存储，方便工程人员提取数据。

附图说明

图1是本发明各零部件安装位置及安装标准示意图。

图2是多自由度连接部件装置图。

图3是彩色编码图。

图4是挖斗土方两种状态示意图，(a)所示为装满状态，(b)所示为未装满状态。

图5是凹、凸体积计算原理图。

图6是本发明主流程图。

具体实施方式

如图6所示，一种基于结构光的挖掘机挖斗土方体积实时测量方法，由结构光发射投影仪将含有编码信息的虚拟光栅投射于待测土方表面，如图3所示，通过相机捕捉经待测物体表面高度调制变形后的光栅，此时待测土方表面的深度信息已经包含于变形后的光栅条纹中，然后对相机捕捉到的光栅图像通过解码程序进行解码，计算出像素点坐标，得出土方表面的三维点云图。

为保证体积计算的精度，需要对点云图进行预处理以及边缘轮廓提取。根据结构光三维测量特点，当挖掘机挖斗上截面与结构光发射投影仪镜头平行时，如图1所示，此时获取的挖斗土方截面轮廓最大，同时土方体积测量精度与实际最为相符，但是在挖掘机工作过程中挖斗上截面与结构光发射投影仪镜头平面并不是一直处于平行状态，因此在三维测量过程中并不是所有捕捉到的点云图都能得到精准的体积，需要对得到的点云图的边缘轮廓信息进行筛选。

本发明对捕捉到的连续深度点云图进行筛选，并将挖掘机连续不断的工作过程分为多段，视挖掘机挖斗取土倒土一个循环为一段，在此段中只需提取相机捕捉到的挖斗上截面最大轮廓下的深度点云图，每一段提取一次最大轮廓并进行体积计算。在体积计算方面，针对挖掘机挖斗形状的不规则特性，以及装载过程中主要有装满土方和未装满土方两种状态，如附图4中所示(a)所示为装满状态，(b)所示为未装满状态，提出了体积分割计算方法计算实际土方体积，提高体积计算的准确度。最后对每段循环后输出的土方体积数据进行存储，方便工程人员提取数据。

步骤一：装置的安装

装置安装要求：

根据结构光三维测量要求，需对结构光发射投影仪及相机进行垂直度与平行度标定，因此结构光发射投影仪与用于捕捉光栅的相机以及待测土方需满足以下位置条件：

(1)结构光发射投影仪的镜头中心轴垂直于参考平面；

(2)结构光发射投影仪的镜头中心轴线与相机镜头中心轴线相交在参考平面上；

(3)结构光发射投影仪的镜头中心与相机镜头光心连线与参考平面平行；

因此本装置各部分安装位置以及安装要求应以图1为参考，其中电源安装位置无特定要求，保证正常供电且与挖掘机运动臂无干涉即可。

装置具体安装方式：

在安装过程中，首先将多自由度连接部件1与挖掘机运动大臂通过图2中的连接带2进行固连，拧紧收紧螺栓3使其完全固定。其次将结构光发射投影仪4、相机5、电源6、工控机7通过螺栓安装在多自由度连接部件1相应的位置上，并根据上述要求标定好各部件的位置及角度，最后依次将各自收紧螺栓拧紧并做好防松措施，使其牢牢固定在多自由度连接部件上，且保证在工作过程中不出现松动。

上述多自由度连接部件1应保证实现结构光发射投影仪4在坐标轴X、Y上的水平位置可调，以及绕坐标轴X、Y转动；保证相机5在坐标轴X、Y上的水平位置可调，以及绕坐标轴X、Y转动；电源6及工控机7只需固定即可，无自由度运动要求。如图2所示，通过第一层滑轨滑块10实现结构光发射投影仪4在坐标轴X上的水平移动，通过第二层滑轨滑块11实现结构光发射投影仪4在坐标轴Y上的水平移动；通过第三层球轴承12实现结构光发射投影仪安装底板8绕X、Y坐标轴的转动。相机5的平动与转动结构原理与结构光发射投影仪4相同。

步骤二：挖斗土方表面点云图像获取

要想获取待测土方表面的点云图，需要利用结构光发射投影仪将经过特殊编码的结构光投射至待测土方表面。由于挖掘机挖斗在工作过程中并不是静态不动的，因此采用实时性较好的排列组合彩色编码方法对结构光进行编码。彩色编码图如图3所示。经过土方凹凸表面调制过的编码光栅发生了相对应的形变，通过解码得出各点的三维坐标信息，被相机获取并输出土方表面的三维点云图。

步骤三：挖斗土方表面点云图像预处理

对于相机输出的土方表面的三维点云图，由于在结构光投影及调制变形的光栅捕捉过程中，外界环境噪声始终会对最终数据处理的精度产生影响，因此应先对图像进行预处理，利用中值滤波对图像进行滤波处理，然后进行线性插值处理，以提高解码序列的连续性，使得数据更加平滑，提高三维重构的精度。

中值滤波的去噪原理是将滑移窗口中间的像素点的值用其邻域的8个像素点灰度的中值来进行代替。

经中值滤波去噪处理后，所输出的噪声方差

如下：

式(1)中，n为中值滤波窗口的长度；

为输入噪声像素点的期望；

为输入噪声的密度函数；δ_i ²为输入噪声的方差。

线性插值可以将两个相邻离散点进行线性连接，使得两点之间的变化率相近，提高数据之间的过渡平顺性。

在已知像素坐标点(x₀，y₀)与(x₁，y₁)之间进行插值处理，插入数据(x，y)使得(x₀，y₀)与(x₁，y₁)过渡平顺。

式(2)化简可得出：

步骤四：最大点云图像轮廓筛选

本发明中相机获取到的点云图像，只有在结构光发射投影仪镜头与挖斗上截面平行时，此时提取出来的挖斗上截面边缘轮廓也是最大的。

先利用canny方法对预处理后的点云图进行边缘提取，然后利用图像处理函数求出挖斗上截面边缘轮廓的大小，并筛选出最大的挖斗上截面轮廓，具体筛选流程如下：

(1)将挖掘机的工作过程视为多段，每一段为一个循环，一个循环中包含挖土倒土过程，一个循环的时间记为t；

(2)在时间t内相机连续捕捉多张点云图，则将获取到的挖斗上截面轮廓最大的点云图输出，进行后续处理及体积计算；

(3)倘若一段或连续多段时间内获取的点云图中的挖斗上截面轮廓都是接近于实际中的挖斗上截面边缘轮廓，说明挖斗上截面与结构光发射投影仪镜头平面处于平行或接近于平行状态，因此任取一张图片进行后续处理及体积计算；

(4)倘若一段或连续多段时间内获取的点云图中的挖斗上截面轮廓与实际中的挖斗边缘轮廓相差甚远，说明挖斗上截面与结构光发射投影仪镜头平面处于非平行状态，则不进行图片提取及体积计算，直到下一次最大值出现；

(5)倘若某段时间内有两次挖斗上截面轮廓峰值出现，则将对应的两张点云图都提取，并进行后续处理及体积计算。

步骤五：利用体积分割计算法进行体积计算

根据筛选出的最大挖斗上截面轮廓输出的点云图，进行体积计算后得出的结果与实际挖斗土方体积最为接近。

1、对两种情况进行区分

如图4中的两种实际工况，图4(a)中的装满状态和图4(b)中的未装满状态，在进行体积计算时首先应对两种状态进行区分。在点云图中，相机捕捉了挖掘机挖斗边框、挖斗内土方以及地面的点云信息，由于地面与处于工作状态下的挖掘机挖斗并不在同一水平高度，因此，可通过深度信息差异直接剔除无用信息，仅对挖斗及斗内土方(有效区域)点云数据进行处理和体积计算。当有效区域内中间范围的点云数据高度高于边缘数据高度时则为图4(a)中的状态，反之则为图4(b)中的状态，两种不同状态对应两种不同的体积计算方式。

2、凹、凸体积计算

凹、凸体积计算时，利用计算机编程语言实现土方体积的计算，如图5所示，土方表面并不是理想化的平整截面，因此在利用点云图进行体积计算时，应利用微分法数学原理将凹、凸体积看为整体，将挖斗上截面微分为n个相等面积的正方形，以此正方形为滑移窗口在挖斗上截面逐步滑移，从挖斗上截面的一角开始进行“弓”形滑移直至最后一角，根据每一个正方形所对应的土方深度信息计算出每一棱柱的体积，凹、凸总体积等于所有棱柱体积之和。

设每一个底面微分正方形四个顶点在延伸后与待测土方表面的交点分别为A(x₀,y₀,z₀)，B(x₁,y₁,z₁)，C(x₂,y₂,z₂)，D(x₃,y₃,z₃)，则凹、凸体积如下式计算：

式(4)、(5)中：V为装满和未装满两种状态下的土方凹、凸部分体积；S_i为每个底面正方形的面积(定值)；Z_i为底面正方形所对应的棱柱高度。

3、两种情况下的总体积计算

在进行土方体积计算时，情况一如图4(a)所示，凸体积通过相机捕捉到的土方表面点云数据进行计算，挖斗体积根据不同挖掘机型号匹配其各自标准的装载体积，最终将两部分体积相加得到土方总体积。情况二如图4(b)所示，凹体积通过相机捕捉到的土方表面点云数据进行计算，挖斗体积根据挖掘机型号不同匹配其标准的装载体积，最终用挖斗装载体积减去凹体积得到土方总体积。输出土方体积数据，进行存储。

步骤六：单次循环体积数据输出后依次重复步骤二至步骤五，实现连续、实时采集的目的。

Claims (8)

1.一种基于结构光的挖掘机挖斗土方体积实时测量方法，其特征是包括以下步骤：

由结构光发射投影仪将含有编码信息的虚拟光栅投射于待测土方表面，通过相机捕捉经待测物体表面高度调制变形后的光栅，此时待测土方表面的深度点云信息已经包含于变形后的光栅条纹中，然后对相机捕捉到的光栅图像通过解码程序进行解码，计算出像素点坐标，得出土方表面的三维点云图；

利用canny方法对预处理后的点云图进行边缘提取，然后求出挖斗上截面边缘轮廓的大小，并筛选出最大的挖斗上截面轮廓，当提取出来的挖斗上截面边缘轮廓最大时，根据此计算出的体积与实际土方体积最为接近；

在体积计算时，首先判断挖斗内有效区域中间范围的点云数据高度是否高于挖斗边缘高度，高时则为装满土方状态，反之则为未装满土方状态，针对两种不同状态用两种不同的体积分割计算方法计算实际土方体积；

最后将土方体积数据进行存储，方便工程人员提取数据。

2.如权利要求1所述的一种基于结构光的挖掘机挖斗土方体积实时测量方法，其特征是具体筛选流程如下：

(1)将挖掘机的工作过程视为多段，每一段为一个循环，一个循环中包含挖土倒土过程，一个循环的时间记为t；

(2)在时间t内相机连续捕捉到多张点云图，则将获取到的挖斗上截面轮廓最大的点云图输出，进行后续处理及体积计算；

(3)倘若一段或连续多段时间内获取的点云图中的挖斗上截面轮廓都是接近于实际中的挖斗上截面边缘轮廓，说明挖斗上截面与结构光发射投影仪镜头平面处于平行或接近于平行状态，因此任取一张图片进行后续处理及体积计算；

(4)倘若一段或连续多段时间内获取的点云图中的挖斗上截面轮廓与实际中的挖斗边缘轮廓相差甚远，说明挖斗上截面与结构光发射投影仪镜头平面处于非平行状态，则不进行图片提取及体积计算，直到下一次最大值出现；

(5)倘若某段时间内有两次挖斗上截面轮廓峰值出现，则将对应的两张点云图都提取，并进行后续处理及体积计算。

3.如权利要求1所述的一种基于结构光的挖掘机挖斗土方体积实时测量方法，其特征是在进行土方体积计算时，针对两种不同状态用两种不同的体积分割计算方法计算实际土方体积：

状态一：装满土方，凸体积通过相机捕捉到的土方表面点云数据进行计算，挖斗体积根据不同挖掘机型号匹配其各自标准的装载体积，最终将两部分体积相加得到土方总体积；

状态二：未装满土方，凹体积通过相机捕捉到的土方表面点云数据进行计算，挖斗体积根据挖掘机型号不同匹配其标准的装载体积，最终用挖斗装载体积减去凹体积得到土方总体积。

4.如权利要求3所述的一种基于结构光的挖掘机挖斗土方体积实时测量方法，其特征是利用微分法数学原理将凹、凸体积看为整体，将挖斗上截面微分为n个相等面积的正方形，以此正方形为滑移窗口在挖斗上截面上逐步滑移，从底面的一角开始进行弓形滑移直至最后一角，根据每一个正方形所对应的土方深度信息计算出每一棱柱的体积，凹、凸总体积等于所有棱柱体积之和。

5.一种基于结构光的挖掘机挖斗土方体积实时测量装置，其特征是包括结构光发射投影仪(4)、相机(5)、多自由度连接部件(1)、电源(6)以及工控机(7)，所述多自由度连接部件(1)包括主底板(13)，在主底板(13)的上方设有两个对称的连接带(2)，连接带(2)的上端设有松紧螺栓(3)，在主底板(13)的下方依次设有两个对称的第一层滑轨滑块(10)、第二层滑轨滑块(11)和第三层球轴承(12)，在第三层球轴承(12)下端分别固定有结构光发射投影仪安装底板(8)和相机安装底板(9)，分别安装结构光发射投影仪(4)和相机(5)，主底板(13)下方中部位置(14)是电源(6)和工控机(7)的安装位置。

6.如权利要求5所述的基于结构光的挖掘机挖斗土方体积实时测量装置，其特征是将多自由度连接部件(1)与挖掘机运动大臂通过连接带(2)进行固连，其次将结构光发射投影仪(4)、相机(5)、电源(6)、工控机(7)安装在多自由度连接部件(1)相应的位置上，并标定好各部件的位置及角度；多自由度连接部件(1)应保证实现结构光发射投影仪(4)和相机(5)在坐标轴X、Y上的水平位置可调，以及绕坐标轴X、Y转动；电源(6)及工控机(7)只需固定即可，无自由度运动要求；电源安装位置只要保证正常供电且与挖掘机运动臂无干涉即可。

7.如权利要求5所述的基于结构光的挖掘机挖斗土方体积实时测量装置，其特征是通过第一层滑轨滑块(10)实现结构光发射投影仪和相机在坐标轴X上的水平移动，通过第二层滑轨滑块(11)实现结构光发射投影仪和相机在坐标轴Y上的水平移动，调节松紧螺母实现两层滑块的移动与锁止；通过第三层球轴承(12)实现结构光发射投影仪和相机安装底板绕X、Y坐标轴的转动。

8.如权利要求6所述的基于结构光的挖掘机挖斗土方体积实时测量装置，其特征是具体标定位置满足以下条件：

(1)结构光发射投影仪的镜头中心轴垂直于参考平面；

(2)结构光发射投影仪的镜头中心轴线与相机镜头中心轴线相交在参考平面上；

(3)结构光发射投影仪的镜头中心与相机镜头中心连线与参考平面平行。

Images