CN111368664A - 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法 - Google Patents

Abstract

本发明公开了基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，所述识别方法是将机器视觉采集到的铲斗所装物料的外部轮廓图像信息与铲斗的动作状态信息进行融合来确定铲斗内所装物料的体积，进而获得装载机的满斗率，其中，通过位移传感器分别获取空斗和满斗状态下的铲斗工作装置结构信息，并进一步确定空斗位置信息和满斗位置信息，通过空斗位置信息和满斗位置信息计算获得转换矩阵，并作为迭代最近点算法的初始矩阵对空斗三维模型点集和满斗三维模型点集进行点集配准。本发明将机器视觉和铲斗位置信息融合，使装载机在作业过程中能够快速准确的识别铲斗满斗率，并克服在进行体积估算时必须保持铲斗位置固定的限制。

Description

基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法

技术领域

本发明属实时非接触式测量技术领域，具体涉及基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法。

背景技术

满斗率是指铲斗铲入的物料体积与铲斗的额定容积的比值，铲斗满斗率是确定挖掘机、铲运机和装载机等土方机械的性能和生产率的主要参数之一。尤其对于无人驾驶土方机械，由于没有驾驶员操作，机器需要通过每一次的铲掘信息来自主调整铲掘策略，满斗率属于其中一个重要的铲掘信息，每次挖掘后通过准确测量满斗率来调整下一次的操作策略，以更好地进行作业。

现有研究成果中对铲斗满斗率的测量方法主要为通过称重系统来测量，该称重系统通过液压缸受到的力来计算负载重量。但是，这种方法在实际应用中存在一定问题，因为这种方法测量的是铲斗中物料的重量，而我们真正关注的是铲斗中物料的体积，如果事先没有获得装载物料的密度值，仅测得重量，就无法确定铲斗的满斗率。获得物料的精确密度值是一个难题，例如料堆中可能存在岩石碎石沙砾等，导致物料的密度并非定值，使得该系统无法精确计算满斗率。

国外研究者还提出了一种使用视觉传感器估算铲斗中物料体积的算法，在铲斗位置固定不动的约束下，该算法能够保持不错的准确性，但装载机在作业过程中铲斗位置实时变化，所以该方法无法应用于实际作业中。

发明内容

针对上述现有技术中的缺陷，本发明提供了基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，该识别方法将机器视觉和铲斗位置信息融合，使装载机在作业过程中能够快速准确的识别铲斗满斗率，并克服在进行体积估算时必须保持铲斗位置固定的限制。结合说明书附图，本发明的技术方案如下：

基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，具体过程如下：

步骤一：获得铲斗在空斗状态下的轮廓图像模型信息和铲斗工作装置在空斗状态下的结构信息；

步骤二：获得铲斗在满斗状态下的轮廓图像模型信息和铲斗工作装置在满斗状态下的结构信息；

步骤三：在满斗状态下的装载机处于不同角度状态下，重复上述步骤二，获得装载机在不同角度下的三组满斗外轮廓图像的三维点云，与此同时，在装载机的不同角度下获取相应的铲斗工作装置在满斗状态下的结构信息；

步骤四：获取完整的满斗外轮廓图像信息，并计算转换矩阵；

步骤五：采用迭代最近点算法，将转换矩阵作为初始转换矩阵，对空斗三维模型点集和满斗三维模型点集进行点集配准，将空斗三维模型点集与满斗三维模型点集合并；

步骤六：对已合并的空斗三维模型点集与满斗三维模型点集进行表面插值，以获得包括铲斗内表面与铲斗内物料的上表面在内的两个表面数据信息；

步骤七：将铲斗内表面与铲斗内物料的上表面的两个表面上分别相对应地划分尺寸均匀的正方形网格，将每个正方形网格的面积乘以铲斗内表面与铲斗内物料的上表面上相应的正方形之间的距离，获得单个正方形网格对应的空间体积，然后将所有正方形网格对应的空间体积相加，获得铲斗内表面与铲斗内物料的上表面之间的体积，即获得铲斗内物料的体积，最后用铲斗内物料体积除以铲斗的额定容积，即得到装载机满斗率。

所述铲斗在空斗状态下的外轮廓图像模型信息的获取过程具体如下：

A1：空斗轮廓图像采集；

通过双目立体相机对处于空斗状态下的铲斗的轮廓图像进行采集；

A2：空斗轮廓图像双目校正；

对双目立体相机采集到的空斗状态下的铲斗的轮廓图像进行双目校正，以使空斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；

A3：空斗轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

A4：三维重建空斗轮廓图像；

根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组空斗三维模型点集；

获取铲斗工作装置在空斗状态下的结构信息的具体过程如下：

通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在空斗状态下的结构信息。

所述铲斗在满斗状态下的轮廓图像模型信息的获取过程具体如下：

B1：满斗外轮廓图像采集；

通过双目立体相机对处于满斗状态下的铲斗的轮廓图像进行采集；

B2：满斗外轮廓图像双目校正；

对双目立体相机采集到的满斗状态下的铲斗的轮廓图像进行双目校正，以使满斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；

B3：满斗外轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

B4：三维重建满斗外轮廓图像；

根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组满斗三维模型点集；

获取铲斗工作装置在满斗状态下的结构信息的具体过程如下：

通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在满斗状态下的结构信息。

采用现有的迭代最近点算法对步骤三中获取的装载机在不同角度下的满斗外轮廓图像的三维点云进行配准与拼接，补全装满物料的铲斗两侧面轮廓，以获取完整的满斗外轮廓图像信息。

通过步骤一获得的铲斗工作装置在空斗状态下的结构信息确定空斗位置信息，通过步骤三获得的铲斗工作装置在满斗状态下的结构信息确定满斗位置信息；

计算所述的空斗位置信息、满斗位置信息和转换矩阵具体过程如下：

以双目立体相机的中心位置为原点o₀，以水平指向铲斗方向为X轴正向，以竖直向下为Y轴正向，定义世界坐标系x₀o₀y₀；

以动臂与前车架铰接点的回转中心为原点o₁，以水平指向铲斗方向为X轴正向，以竖直向上为Y轴正向，定义局部坐标系一x₁o₁y₁；

以动臂与铲斗铰接点的回转中心为原点o₂，由o₁指向o₂方向为X轴正向，以指向铲斗上方并垂直于X轴方向为Y轴正向，定义局部坐标系二x₂o₂y₂。

令转斗油缸与前车架铰接点的回转中心为A点，令转斗油缸与转斗摇臂铰接点的回转中心为B点，令动臂油缸与前车架铰接点的回转中心为C点，令动臂油缸与动臂铰接点的回转中心为D点，令转斗摇臂与转斗连杆铰接点的回转中心为E点，令动臂与前车架铰接点的回转中心为H点，令转斗摇臂与动臂铰接点的回转中心为K点，令动臂与铲斗铰接点的回转中心为Q点，令转斗连杆与铲斗铰接点的回转中心为W点，令铲斗的斗尖为P点；

所述转换矩阵由如下平移矩阵和旋转矩阵组成：

平移矩阵：

旋转矩阵：

其中，

所述平移矩阵(1)中的t_x，t_y和t_z分别为满斗三维模型点集向空斗三维模型点集转换时Q点沿局部坐标系一x₁o₁y₁的x轴，y轴和z轴方向的平移距离，并且在该平移矩阵中t_z的值为0；即平移矩阵表示为：

所述旋转矩阵(2)中的θ为满斗三维模型点集向空斗三维模型点集转换时局部坐标系一下点集绕Q点所在的与Z轴平行的轴线旋转的角度；

空斗三维模型平移矩阵为T₁，满斗三维模型平移矩阵为T₂；

直线HD与直线HQ之间的夹角为α₁，直线HK与直线HQ之间的夹角为α₂，直线HD与直线HC之间的夹角为

直线WQ与直线HQ之间的夹角为β₂，直线BK与直线KE之间的夹角为

直线BK与水平方向直线之间的夹角为

直线KE与竖直方向直线之间的夹角为

直线HQ与水平方向直线之间的夹角为θ₁，直线QP与直线HQ之间的夹角为θ₂；

其中，所述角度α₁，α₂，

γ₂，A点在局部坐标系一中的坐标x_a，y_a和长度l_BK,l_KE,l_EW,l_HC，l_HD，l_HK，l_QW和l_HQ均为已知常数，动臂油缸两端连接点A点和B点之间的距离l_AB由位移传感器甲测量得到，转斗油缸两端连接点C点和D点之间的距离l_CD由位移传感器乙测量得到；

针对Q点位置，θ₁、θ₂，Q点在局部坐标系一下的坐标x_q和y_q是分别由l_AB和l_CD确定的转换矩阵所需的参数，即x_q和y_q对应于平移矩阵中的t_x和t_y，Δ(θ₁+θ₂)对应于旋转矩阵中的θ；关于角θ₁和θ₂的计算公式如下：

上述公式(4)中，

上述公式(5)中，

Δy＝y_w-(l_HQ-l_QW)sinθ₁······················(6)

上述公式(5)中，W点在局部坐标系一下的坐标x_w和y_w计算公式如下：

上述公式(8)中，

如前所述，根据装载机的内部结构，对于给定的装载机，参数α₁，γ₂，l_HC，l_HD，l_HQ，l_QW和l_EW均为已知量；

在计算x_w和y_w时，需要先确定E点在局部坐标系一下的坐标x_e和y_e，B点、K点和E点同在转斗摇臂上，具有固定的几何关系：

上述公式(11)中，K点在局部坐标系一下的坐标x_k和y_k的计算公式如下：

关于角

和

的计算公式如下：

B点在局部坐标系一下的横坐标x_b的计算公式如下：

上述公式(14)中，

其中，

α₂，x_a，y_a，l_BK均为已知量，l_AB由位移传感器甲测量得到；

根据上述计算方法即可获得最终转换阵列：

上述转换矩阵中，x_q1和y_q1分别为满斗状态下Q点在局部坐标系一中的横坐标与纵坐标；T₁ ^T为矩阵T₁的转置；Δx_q和Δy_q分别为由满斗状态变换到空斗状态时Q点在局部坐标系一中横纵坐标的变化量。

所述步骤六中，采用Delaunay三角剖分法对已合并的空斗三维模型点集与满斗三维模型点集进行表面插值。

与现有技术相比，本发明的有益效果在于：

1、本发明所述识别方法将机器视觉技术应用于装载机满斗率的识别，具有非接触式测量的优点，与此同时，本发明采用机器视觉技术对装载机进行满斗率识别，直接测量的方式不受物料密度变化的限制，不需要物料的密度信息，所以可以应用于各种物料的识别，物料密度值的变化和波动不影响装载机满斗率识别结果的准确性。

2、本发明所述识别方法将机器视觉与铲斗位置信息融合，提高了识别的速度和可靠性，并通过传感器采集装载机结构信息，进而获得铲斗位置变化的信息，克服了在进行体积估算时将铲斗保持在固定位置的限制。

3、现有的ICP算法需要一个旋转平移矩阵的初值，这个初值如果不太正确，会使其目标函数下降到某一个局部最优点，使得迭代不能收敛到正确的配准结果，本发明所述识别方法由铲斗位置变化计算出初始变换矩阵，进一步保证了识别方法的速度和可靠性。

4、本发明所述识别方法是一种基于模型的方法，但参考模型可以在测量之前快速生成，即初始化，并且初始化只需进行一次。

5、本发明所述识别方法通用性和实用性强，硬件布设简单，节省了成本投入，且操作简单，具有很好的应用前景。

附图说明

图1为采用本发明所述装载机满斗率识别方法的装载机结构示意图；

图2为采用本发明所述装载机满斗率识别方法的装载机铲斗工作装置结构简图；

图3为采用本发明所述装载机满斗率识别方法的装载机铲斗工作装置局部结构一的结构分析简图；

图4为采用本发明所述装载机满斗率识别方法的装载机铲斗工作装置局部结构二的结构分析简图；

图5为采用本发明所述装载机满斗率识别方法的装载机铲斗工作装置局部结构三的结构分析简图；

图6为本发明所述装载机满斗率识别方法的流程框图。

图中：

1-双目立体相机， 2-位移传感器甲， 3-位移传感器乙， 4-中央处理单元，

5-驾驶室， 6-动臂油缸， 7-转斗油缸， 8-铲斗，

9-动臂， 10-转斗摇臂， 11-转斗连杆， 12-前车架，

13-底盘。

具体实施方式

为清楚、完整地描述本发明所述技术方案及其具体工作过程，结合说明书附图，本发明的具体实施方式如下：

如图1所示，采用本发明所述装载机满斗率识别方法的装载机包括底盘13、驾驶室5以及铲斗工作装置。

所述铲斗工作装置安装连接在底盘13前端，包括：动臂油缸6、转斗油缸7、铲斗8、动臂9、转斗摇臂10、转斗连杆11、前车架12、位移传感器甲2和位移传感器乙3。其中，前车架12安装连接在底盘13的前端；动臂油缸6的缸体端与前车架12铰接，动臂油缸6的推杆端与动臂9的中部铰接；动臂9的后端与前车架12铰接，动臂9的前端与铲斗8的后端铰接；转斗油缸7的缸体端与前车架12铰接，转斗油缸7的推杆端与转斗摇臂10的一端铰接；转斗摇臂10的另一端与转斗连杆11的一端铰接，转斗连杆11的另一端与铲斗8的后端铰接，转斗摇臂10的中部与动臂9的中部铰接；位移传感器甲2安装在动臂油缸6上，用于测量动臂油缸6的伸缩量；位移传感器乙3安装在转斗油缸7上，用于测量转斗油缸7的伸缩量。其中，通过动臂9控制铲斗8的举升，通过转斗摇臂10和转斗连杆11控制铲斗的翻转运动。

所述驾驶室5设置在底盘13中部上方；在驾驶室5的顶部前端安装有双目立体相机1，双目立体相机1的镜头正对着铲斗8，用于采集铲斗8以及铲斗8内部所装物料的外部轮廓图像信息；在驾驶室5的内部安装有中央处理单元4，中央处理单元4分别与双目立体相机1、位移传感器甲2和位移传感器乙3信号连接，用于接收双目立体相机1、位移传感器甲2和位移传感器乙3采集的数据信息，并对接收到的数据信息进行处理，通过对双目立体相机1采集到铲斗8以及铲斗8内部所装物料的外部轮廓图像信息与位移传感器甲2和位移传感器乙3采集到的铲斗位置信息进行融合，最终实现对装载机满斗率的精准、快速识别。

如图5所示，本发明所述的装载机满斗率识别方法是将机器视觉采集到的铲斗所装物料的外部轮廓图像信息与铲斗的动作状态信息进行融合来确定铲斗内所装物料的体积，进而获得装载机的满斗率；具体过程如下：

步骤一：对系统进行初始化，获得铲斗8在空斗状态下的轮廓图像模型信息和铲斗工作装置在空斗状态下的结构信息；

所述铲斗8在空斗状态下的外轮廓图像模型信息的获取过程具体如下：

A1：空斗轮廓图像采集；

在装载机的铲斗8处于空斗状态下，位于驾驶室5顶部的双目立体相机1对处于空斗状态下的铲斗8的轮廓图像进行采集，即通过双目立体相机1的左右镜头分别采集一张空斗状态下的铲斗8的轮廓图像，并将采集到的两张轮廓图像信息传输到中央处理单元4；

A2：空斗轮廓图像双目校正；

中央处理单元4首先对双目立体相机1采集到的空斗状态下的铲斗8的轮廓图像进行双目校正，以使空斗状态下铲斗8的轮廓上的同一特征点位于双目立体相机1左右镜头采集到的两张图像水平方向上的同一直线上，双目校正的目的是：在进行图像特征点匹配时，仅需要在直线上进行搜索而不需要在整个二维图像上进行搜索，大大减少计算量，实现特征点的快速匹配；

A3：空斗轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

A4：三维重建空斗轮廓图像；

获取到视差图后，对图像进行三维重建，即根据步骤A3获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组空斗轮廓图像的三维点云，即为空斗三维模型点集；

获取铲斗工作装置在空斗状态下的结构信息的具体过程如下：

通过位移传感器甲2采集动臂油缸6的伸缩量，通过位移传感器乙3采集转斗油缸的伸缩量，进而确定铲斗工作装置在空斗状态下的结构信息。

步骤二：获得铲斗8在满斗状态下的轮廓图像模型信息和铲斗工作装置在满斗状态下的结构信息；

所述铲斗8在满斗状态下的轮廓图像模型信息的获取过程具体如下：

B1：满斗外轮廓图像采集；

在装载机的铲斗8处于满斗状态下，位于驾驶室5顶部的双目立体相机1对处于满斗状态下的铲斗8的外轮廓图像进行采集，即通过双目立体相机1的左右镜头分别采集一张满斗状态下的铲斗8的外轮廓图像，并将采集到的两张外轮廓图像信息传输到中央处理单元4；

B2：满斗外轮廓图像双目校正；

中央处理单元4首先对双目立体相机1采集到的满斗状态下的铲斗8的外轮廓图像进行双目校正，以使满斗状态下铲斗8的外轮廓上的同一特征点位于双目立体相机1左右镜头采集到的两张图像水平方向上的同一直线上，双目校正的目的是：在进行图像特征点匹配时，仅需要在直线上进行搜索而不需要在整个二维图像上进行搜索，大大减少计算量，实现特征点的快速匹配；

B3：满斗外轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

B4：三维重建满斗外轮廓图像；

获取到视差图后，对图像进行三维重建，即根据步骤B3获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组满斗外轮廓图像的三维点云；

获取铲斗工作装置在满斗状态下的结构信息的具体过程如下：

通过位移传感器甲2采集动臂油缸6的伸缩量，通过位移传感器乙3采集转斗油缸的伸缩量，进而确定铲斗工作装置在满斗状态下的结构信息。

步骤三：在满斗状态下的装载机处于三个不同角度状态下，重复上述步骤二，获得装载机在不同角度下的三组满斗外轮廓图像的三维点云，与此同时，在装载机的三个不同角度下获取相应的铲斗工作装置在满斗状态下的结构信息；

所述装载机的三个不同角度状态分别为：

a.在装载机完成铲掘后，装载机直线倒退，在装载机还没有转弯时；

b.根据装载机工作特点，当装载机直线后退一段距离后，一定会进行转向，当装载机转弯时；

c.当装载机再次转弯时；

在本具体实施方式中，获取满斗状态下装载机的三组满斗外轮廓图像的三维点云，需要说明的是，获取的三维点云组数越多，铲斗满斗率识别的结果越精确，本实施例仅以取三组为例。

步骤四：获取完整的满斗外轮廓图像信息，并计算转换矩阵；

所述获取完整的满斗外轮廓图像信息的具体过程为：在中央处理单元4中采用现有的迭代最近点算法(Iterative Closest Point，即ICP算法)对步骤三中获取的装载机在不同角度下的三组满斗外轮廓图像的三维点云进行配准与拼接，以补全装满物料的铲斗两侧面轮廓，获得信息量更丰富的满斗三维模型点集；

在中央处理单元4中通过步骤一获得的铲斗工作装置在空斗状态下的结构信息确定空斗状态下的铲斗位置信息，即空斗位置信息；通过步骤三获得的铲斗工作装置在满斗状态下的结构信息确定满斗状态下的铲斗位置信息，即满斗位置信息；

所述转换矩阵是在中央处理单元4中通过空斗位置信息和满斗位置信息计算获得的，获取所述转换矩阵的目的是为空斗三维模型点集和满斗三维模型点集之间的刚性变换提供外部估计，以提高后续步骤中点集配准的准确性；

由于需要转换的空斗三维模型点集和满斗三维模型点集绕装载机转向系统铰接点的旋转角度为零，故可将所要研究的铲斗的空间位置变化问题转化为平面问题，即，将装载机工作装置的运动可视为平面运动，也就是说，仅动臂9的举升动作和铲斗8翻转动作(通过转斗摇臂10与转斗连杆11实现)这两个自由度对结果产生影响；

计算所述的空斗位置信息、满斗位置信息和转换矩阵具体过程如下：

如图2所示，为了便于描述，首先定义如下三个坐标系：

(1)以双目立体相机1的中心位置为原点o₀，以水平指向铲斗方向为X轴正向，以竖直向下为Y轴正向，定义世界坐标系x₀o₀y₀；

(2)以动臂9与前车架12铰接点的回转中心为原点o₁，以水平指向铲斗方向为X轴正向，以竖直向上为Y轴正向，定义局部坐标系一x₁o₁y₁；

(3)以动臂9与铲斗8铰接点的回转中心为原点o₂，由o₁指向o₂方向为X轴正向，以指向铲斗上方并垂直于X轴方向为Y轴正向，定义局部坐标系二x₂o₂y₂。

令转斗油缸7与前车架12铰接点的回转中心为A点，令转斗油缸7与转斗摇臂10铰接点的回转中心为B点，令动臂油缸6与前车架12铰接点的回转中心为C点，令动臂油缸6与动臂9铰接点的回转中心为D点，令转斗摇臂10与转斗连杆11铰接点的回转中心为E点，令动臂9与前车架12铰接点的回转中心为H点(即局部坐标系一的原点o₁)，令转斗摇臂10与动臂9铰接点的回转中心为K点，令动臂9与铲斗8铰接点的回转中心为Q点(即局部坐标系二的原点o₂)，令转斗连杆11与铲斗8铰接点的回转中心为W点；令铲斗8的斗尖为P点。

如图2所示，所述转换矩阵是空斗三维模型点集和满斗三维模型点集在世界坐标系下的转换矩阵，通过位移传感器甲2采集的动臂油缸6的伸缩量(通过C点和D点之间的距离l_CD表征)，以及通过位移传感器乙3采集的转斗油缸7的伸缩量(通过A点和B点之间的距离l_AB表征)，就可以确定空斗三维模型点集和满斗三维模型点集在世界坐标系x₀o₀y₀下的位置关系；

为得到所述的转换矩阵，首先应将世界坐标系下的空斗三维模型点集和满斗三维模型点集转换为局部坐标系一下的坐标。图1所示的装载机结构和坐标系的定义方法可知，世界坐标系与局部坐标系一具有固定的位置关系，只需进行简单的平移变换，此处平移矩阵计算方法不再赘述，空斗三维模型与满斗三维模型对应的平移矩阵分别用T₁和T₂表示；

接下来通过平移矩阵和旋转矩阵完成局部坐标系一下的坐标变换；

所述转换矩阵由如下平移矩阵和旋转矩阵组成：

平移矩阵：

旋转矩阵：

其中，

所述平移矩阵(1)中的t_x，t_y和t_z分别为满斗三维模型点集向空斗三维模型点集转换时Q点沿局部坐标系一x₁o₁y₁的x轴，y轴和z轴方向的平移距离，并且在该平移矩阵中t_z的值为0；即平移矩阵表示为：

所述旋转矩阵(2)中的θ为满斗三维模型点集向空斗三维模型点集转换时局部坐标系一下点集绕Q点所在的与Z轴平行的轴线旋转的角度。

如图2、图3、图4和图5所示，H点和D点之间的直线HD与H点和Q点之间的直线HQ之间的夹角为α₁；H点和K点之间的直线HK与H点和Q点之间的直线HQ之间的夹角为α₂；H点和D点之间的直线HD与H点和C点之间的直线HC(直线HC在竖直方向上的直线)之间的夹角为β₁；W点和Q点之间的直线WQ与H点和Q点之间的直线HQ之间的夹角为β₂；B点和K点之间的直线BK与K点和E点之间的直线KE之间的夹角为

B点和K点之间的直线BK与水平方向直线之间的夹角为

K点和E点之间的直线KE与竖直方向直线之间的夹角为

H点和Q点之间的直线HQ与水平方向直线之间的夹角为θ₁，逆时针为正；Q点与P点之间的直线QP与H点和Q点之间的直线HQ之间的夹角为θ₂，逆时针为正；

根据装载机的内部结构：所述角度α₁，α₂，

γ₂，A点在局部坐标系一中的坐标x_a，y_a和长度l_BK,l_KE,l_EW,l_HC，l_HD，l_HK，l_QW和l_HQ均是装载机设计结构常数，并且，动臂油缸6两端连接点A点和B点之间的距离l_AB由位移传感器甲2测量得到，转斗油缸7两端连接点C点和D点之间的距离l_CD由位移传感器乙3测量得到。

针对Q点位置，θ₁、θ₂，Q点在局部坐标系一下的坐标x_q和y_q是分别由l_AB和l_CD确定的转换矩阵所需的参数，即x_q和y_q对应于平移矩阵中的t_x和t_y，Δ(θ₁+θ₂)对应于旋转矩阵中的θ；关于角θ₁和θ₂的计算公式如下：

上述公式(4)中，

上述公式(5)中，

Δy＝y_w-(l_HQ-l_QW)sinθ₁······················(6)

上述公式(5)中，W点在局部坐标系一下的坐标x_w和y_w计算公式如下：

上述公式(8)中，

如前所述，根据装载机的内部结构，对于给定的装载机，参数α₁，γ₂，l_HC，l_HD，l_HQ，l_QW和l_EW均为已知量。

在计算x_w和y_w时，需要先确定E点在局部坐标系一下的坐标x_e和y_e，如图5所示，B点、K点和E点同在转斗摇臂10上，具有固定的几何关系：

上述公式(11)中，K点在局部坐标系一下的坐标x_k和y_k的计算公式如下：

如图5所示，关于角

和

的计算公式如下：

如图4所示，B点在局部坐标系一下的横坐标x_b的计算公式如下：

上述公式(14)中，

如前所述，根据装载机的内部结构，对于给定的装载机，

α₂，x_a，y_a，l_BK均为已知量，l_AB由位移传感器甲2测量得到。

根据上述计算方法即可获得最终转换阵列：

上述转换矩阵中，x_q1和y_q1分别为满斗状态下Q点在局部坐标系一中的横坐标与纵坐标；T₁ ^T为矩阵T₁的转置；Δx_q和Δy_q分别为由满斗状态变换到空斗状态时Q点在局部坐标系一中横纵坐标的变化量。

步骤五：在中央处理单元4中采用现有的迭代最近点算法(Iterative ClosestPoint，即ICP算法)对步骤一获得的空斗三维模型点集和步骤三获得的满斗三维模型点集进行点集配准，将空斗三维模型点集与满斗三维模型点集合并，其中，采用步骤四获得的转换矩阵作为迭代最近点算法的初始转换矩阵。

步骤六：在中央处理单元4中采用现有的Delaunay三角剖分法对已转换至同一坐标系内的空斗三维模型点集与满斗三维模型点集进行表面插值，以获得包括铲斗内表面与铲斗内物料的上表面在内的两个表面数据信息，而铲斗内表面与铲斗内物料的上表面之间的体积即为铲斗内物料的体积；

其中，铲斗内表面数据信息由空斗三维模型点集表面插值获得，铲斗内物料的上表面数据信息由满斗三维模型点集表面插值获得。

而之所以采用Delaunay三角剖分法进行表面插值，是因为Delaunay三角网结构良好，数据结构简单，存储效率高，更适用于对本发明生成的点集进行表面插值。

步骤七：在中央处理单元4中计算获得铲斗8的满斗率；

在中央处理单元4中将在步骤六中获得的铲斗内表面与铲斗内物料的上表面的两个表面上分别相对应地划分尺寸均匀的正方形网格，将每个正方形网格的面积乘以铲斗内表面与铲斗内物料的上表面上相应的正方形之间的距离，即可获得单个正方形网格对应的空间体积，然后将所有正方形网格对应的空间体积相加，即可获得铲斗内表面与铲斗内物料的上表面之间的体积，即获得铲斗内物料的体积，最后用用铲斗内物料体积除以铲斗的额定容积，即可得到装载机满斗率。

Claims (6)

1.基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

具体过程如下：

步骤一：获得铲斗在空斗状态下的轮廓图像模型信息和铲斗工作装置在空斗状态下的结构信息；

步骤二：获得铲斗在满斗状态下的轮廓图像模型信息和铲斗工作装置在满斗状态下的结构信息；

步骤三：在满斗状态下的装载机处于不同角度状态下，重复上述步骤二，获得装载机在不同角度下的三组满斗外轮廓图像的三维点云，与此同时，在装载机的不同角度下获取相应的铲斗工作装置在满斗状态下的结构信息；

步骤四：获取完整的满斗外轮廓图像信息，并计算转换矩阵；

步骤五：采用迭代最近点算法，将转换矩阵作为初始转换矩阵，对空斗三维模型点集和满斗三维模型点集进行点集配准，将空斗三维模型点集与满斗三维模型点集合并；

步骤六：对已合并的空斗三维模型点集与满斗三维模型点集进行表面插值，以获得包括铲斗内表面与铲斗内物料的上表面在内的两个表面数据信息；

步骤七：将铲斗内表面与铲斗内物料的上表面的两个表面上分别相对应地划分尺寸均匀的正方形网格，将每个正方形网格的面积乘以铲斗内表面与铲斗内物料的上表面上相应的正方形之间的距离，获得单个正方形网格对应的空间体积，然后将所有正方形网格对应的空间体积相加，获得铲斗内表面与铲斗内物料的上表面之间的体积，即获得铲斗内物料的体积，最后用铲斗内物料体积除以铲斗的额定容积，即得到装载机满斗率。

2.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

所述铲斗在空斗状态下的外轮廓图像模型信息的获取过程具体如下：

A1：空斗轮廓图像采集；

通过双目立体相机对处于空斗状态下的铲斗的轮廓图像进行采集；

A2：空斗轮廓图像双目校正；

对双目立体相机采集到的空斗状态下的铲斗的轮廓图像进行双目校正，以使空斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；

A3：空斗轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

A4：三维重建空斗轮廓图像；

根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组空斗三维模型点集；

获取铲斗工作装置在空斗状态下的结构信息的具体过程如下：

通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在空斗状态下的结构信息。

3.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

所述铲斗在满斗状态下的轮廓图像模型信息的获取过程具体如下：

B1：满斗外轮廓图像采集；

通过双目立体相机对处于满斗状态下的铲斗的轮廓图像进行采集；

B2：满斗外轮廓图像双目校正；

对双目立体相机采集到的满斗状态下的铲斗的轮廓图像进行双目校正，以使满斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；

B3：满斗外轮廓图像立体匹配；

对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；

B4：三维重建满斗外轮廓图像；

根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组满斗三维模型点集；

获取铲斗工作装置在满斗状态下的结构信息的具体过程如下：

通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在满斗状态下的结构信息。

4.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

采用现有的迭代最近点算法对步骤三中获取的装载机在不同角度下的满斗外轮廓图像的三维点云进行配准与拼接，补全装满物料的铲斗两侧面轮廓，以获取完整的满斗外轮廓图像信息。

5.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

通过步骤一获得的铲斗工作装置在空斗状态下的结构信息确定空斗位置信息，通过步骤三获得的铲斗工作装置在满斗状态下的结构信息确定满斗位置信息；

计算所述的空斗位置信息、满斗位置信息和转换矩阵具体过程如下：

以双目立体相机的中心位置为原点o₀，以水平指向铲斗方向为X轴正向，以竖直向下为Y轴正向，定义世界坐标系x₀o₀y₀；

以动臂与前车架铰接点的回转中心为原点o₁，以水平指向铲斗方向为X轴正向，以竖直向上为Y轴正向，定义局部坐标系一x₁o₁y₁；

以动臂与铲斗铰接点的回转中心为原点o₂，由o₁指向o₂方向为X轴正向，以指向铲斗上方并垂直于X轴方向为Y轴正向，定义局部坐标系二x₂o₂y₂；

令转斗油缸与前车架铰接点的回转中心为A点，令转斗油缸与转斗摇臂铰接点的回转中心为B点，令动臂油缸与前车架铰接点的回转中心为C点，令动臂油缸与动臂铰接点的回转中心为D点，令转斗摇臂与转斗连杆铰接点的回转中心为E点，令动臂与前车架铰接点的回转中心为H点，令转斗摇臂与动臂铰接点的回转中心为K点，令动臂与铲斗铰接点的回转中心为Q点，令转斗连杆与铲斗铰接点的回转中心为W点，令铲斗的斗尖为P点；

所述转换矩阵由如下平移矩阵和旋转矩阵组成：

平移矩阵：

旋转矩阵：

其中，

所述平移矩阵(1)中的t_x，t_y和t_z分别为满斗三维模型点集向空斗三维模型点集转换时Q点沿局部坐标系一x₁o₁y₁的x轴，y轴和z轴方向的平移距离，并且在该平移矩阵中t_z的值为0；即平移矩阵表示为：

所述旋转矩阵(2)中的θ为满斗三维模型点集向空斗三维模型点集转换时局部坐标系一下点集绕Q点所在的与Z轴平行的轴线旋转的角度；

空斗三维模型平移矩阵为T₁，满斗三维模型平移矩阵为T₂；

直线HD与直线HQ之间的夹角为α₁，直线HK与直线HQ之间的夹角为α₂，直线HD与直线HC之间的夹角为β₁，直线WQ与直线HQ之间的夹角为β₂，直线BK与直线KE之间的夹角为

直线BK与水平方向直线之间的夹角为

直线KE与竖直方向直线之间的夹角为

直线HQ与水平方向直线之间的夹角为θ₁，直线QP与直线HQ之间的夹角为θ₂；

其中，所述角度α₁，α₂，

γ₂，A点在局部坐标系一中的坐标x_a，y_a和长度l_BK,l_KE,l_EW,l_HC，l_HD，l_HK，l_QW和l_HQ均为已知常数，动臂油缸两端连接点A点和B点之间的距离l_AB由位移传感器甲测量得到，转斗油缸两端连接点C点和D点之间的距离l_CD由位移传感器乙测量得到；

针对Q点位置，θ₁、θ₂，Q点在局部坐标系一下的坐标x_q和y_q是分别由l_AB和l_CD确定的转换矩阵所需的参数，即x_q和y_q对应于平移矩阵中的t_x和t_y，Δ(θ₁+θ₂)对应于旋转矩阵中的θ；关于角θ₁和θ₂的计算公式如下：

上述公式(4)中，

上述公式(5)中，

Δy＝y_w-(l_HQ-l_QW)sinθ₁······················(6)

上述公式(5)中，W点在局部坐标系一下的坐标x_w和y_w计算公式如下：

上述公式(8)中，

如前所述，根据装载机的内部结构，对于给定的装载机，参数α₁，γ₂，l_HC，l_HD，l_HQ，l_QW和l_EW均为已知量；

在计算x_w和y_w时，需要先确定E点在局部坐标系一下的坐标x_e和y_e，B点、K点和E点同在转斗摇臂上，具有固定的几何关系：

上述公式(11)中，K点在局部坐标系一下的坐标x_k和y_k的计算公式如下：

关于角

和

的计算公式如下：

B点在局部坐标系一下的横坐标x_b的计算公式如下：

上述公式(14)中，

其中，

α₂，x_a，y_a，l_BK均为已知量，l_AB由位移传感器甲测量得到；

根据上述计算方法即可获得最终转换阵列：

上述转换矩阵中，x_q1和y_q1分别为满斗状态下Q点在局部坐标系一中的横坐标与纵坐标；T₁ ^T为矩阵T₁的转置；Δx_q和Δy_q分别为由满斗状态变换到空斗状态时Q点在局部坐标系一中横纵坐标的变化量。

6.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：

所述步骤六中，采用Delaunay三角剖分法对已合并的空斗三维模型点集与满斗三维模型点集进行表面插值。

Images