CN105507590A - 一种卸料控制方法、装置以及工程机械 - Google Patents

Abstract

本发明公开了一种卸料控制方法及装置，包括：获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时采集的图像；对所述图像信息进行图像特征提取，识别出所述料斗；通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。本发明能够自动检测料斗中物料的高度，然后根据料斗的泵送速度，自动调整卸料速度，防止超卸或待卸现象的发生，避免物料和燃油的浪费，从而提高了工作效率。此外，本发明还提供了一种工程机械。

Description

一种卸料控制方法、装置以及工程机械

技术领域

本发明涉及工程机械领域，特别是涉及一种卸料控制方法、装置以及工程机械。

背景技术

传统卸料过程中，往往通过人工的方式进行卸料，其存在以下问题及缺点：由于不能自动检测混凝土泵送机械料斗中混凝土的高度，且在泵送速度进行改变时，工程机械无法自动调整卸料速度，导致卸料速度和泵送速度不匹配，因此经常会出现超卸(混凝土溢出料斗)或者待卸(卸料速度跟不上泵送速度)的情况，这样会造成混凝土物料和燃油的浪费，影响工作效率。

此外，工程机械在卸料前，需要人工指挥停车，不能自动检测混凝土泵送机械料斗的位置和距离，这样也会影响工作效率。

发明内容

本发明的目的是提供一种卸料控制方法、装置以及工程机械，以解决现有技术中不能自动检测混凝土泵送机械料斗中混凝土的高度、卸料速度与泵送速度不能自动匹配而造成超卸或待卸的问题。

为解决上述技术问题，本发明提供一种卸料控制方法，包括：

获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时采集的图像；

对所述图像信息进行图像特征提取，识别出所述料斗；

通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

可选地，所述获取料斗的图像信息包括：

获取料斗的左图像信息以及右图像信息，所述左图像信息以及所述右图像信息分别为左、右摄像机同时采集的所述料斗的图像。

可选地，所述对所述图像信息进行图像特征提取，识别出所述料斗包括：

对所述图像信息进行边缘检测，取料斗的各边界线以及栅栏网格线上的多个点；

采用最小二乘法进行直线拟合，得到近似边界线以及栅栏网格线；

对所述近似边界线以及栅栏网格线进行标识，识别出所述料斗。

可选地，所述通过所述图像信息确定所述料斗相对于所述卸料口的距离信息包括：

通过所述左图像信息以及右图像信息，根据双目立体成像原理以及左、右摄像机预先标定的参数，计算出所述料斗的边界点的空间坐标值，检测出所述料斗相对于所述卸料口的距离信息。

可选地，所述通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测包括：

检测所述料斗中的所述物料的边缘，通过所述边缘确定所述物料的中心；

根据双目立体成像原理以及左、右摄像机预先标定的参数，计算所述物料的中心的空间坐标值；

根据所述空间坐标值以及所述料斗的边界点的空间坐标值，确定所述料斗中的物料的高度信息。

本发明还提供了一种卸料控制装置，包括：

获取模块，用于获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时拍采集的图像；

识别模块，用于对所述图像信息进行图像特征提取，识别出所述料斗；

确定模块，用于通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

监测模块，用于通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

控制模块，用于根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

本发明还提供了一种工程机械，包括：摄像机、图像数据传输电缆、显示屏、控制器以及上述任一种卸料控制装置；

其中，所述摄像机用于拍摄后方景物的图像；

所述图像数据传输电缆用于将所述摄像机拍摄到的图像传输至所述卸料控制装置；

所述显示屏用于对所述图像、所述卸料控制装置确定得到的距离信息以及高度信息进行实时显示；

所述控制器用于响应所述控制指令，对卸料的状态和动作进行控制。

可选地，所述摄像机包括至少一对左、右摄像机，分别安装在所述工程机械尾部的左右两侧，所述显示屏安装于驾驶室内。

可选地，所述显示器还用于向用户提供操作界面。

可选地，所述工程机械具体为搅拌车。

本发明所提供的卸料控制方法及装置，通过获取料斗的图像信息；对图像信息进行图像特征提取识别出料斗；通过图像信息确定料斗相对于卸料口的距离信息；通过图像信息以及距离信息，对料斗中的物料的高度信息进行实时监测；根据高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。本发明所提供的卸料控制方法及装置，能够自动检测料斗中物料的高度，然后根据料斗的泵送速度，自动调整其卸料速度，防止超卸或待卸现象的发生，避免物料和燃油的浪费，从而提高了工作效率。另外，本发明还能够自动计算料斗的位置和距离，用以辅助司机停车，进一步提高了整体的工作效率。此外，本发明还提供了一种工程机械。

附图说明

图1为本发明所提供的卸料控制方法的一种具体实施方式的流程图；

图2为对料斗进行自动识别的过程流程图；

图3为料斗边界线和栅栏网格线的示意图；

图4为摄像机安装空间坐标示意图；

图5为料斗上方物料量检测示意图；

图6为本发明实施例提供的搅卸料控制装置的结构框图；

图7为本发明所提供的工程机械卸料监控示意图。

具体实施方式

本发明的核心是提供一种卸料控制方法、装置以及工程机械，具体可应用于混凝土布料臂架系列产品中。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的卸料控制方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时采集的图像；

具体地，本申请可以应用在搅拌车中，通过将图像采集设备安装在搅拌筒后端来对搅拌车后方的图像信息进行拍摄。图像采集设备可以具体为两台或者多台摄像机，在此对摄像机的设置位置以及数量不进行限定。

作为一种具体实施方式，可在搅拌筒后端支架的左右两侧分别安装一台摄像机，作为左、右摄像机。通过左、右摄像机可获取料斗的左图像信息以及右图像信息，所述左图像信息以及所述右图像信息分别为左、右摄像机同时拍摄的料斗的图像。

步骤S102：对所述图像信息进行图像特征提取，识别出所述料斗；

具体地，通过对图像信息进行图像特征提取，可以自动识别出料斗，也可以采用人工辅助的方式进行识别，这均不影响本发明的实现。

步骤S103：通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

具体地，可通过左、右摄像机拍摄到的左图像信息以及右图像信息，根据双目立体成像原理以及左、右摄像机预先标定的参数，计算出所述料斗的边界点的空间坐标值，检测出所述料斗相对于所述卸料口的距离信息。

步骤S104：通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

具体地，可以检测所述料斗中的所述物料的边缘，通过所述边缘确定所述物料的中心；根据双目立体成像原理以及左、右摄像机预先标定的参数，计算所述物料的中心的空间坐标值；根据所述空间坐标值以及所述料斗的边界点的空间坐标值，确定所述料斗中的物料的高度信息。

步骤S105：根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

本发明所提供的卸料控制方法，通过获取料斗的图像信息；对图像信息进行图像特征提取识别出料斗；通过图像信息确定料斗相对于卸料口的距离信息；通过图像信息以及距离信息，对料斗中的物料的高度信息进行实时监测；根据高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。本发明所提供的卸料控制方法，能够自动检测料斗中物料的高度，然后根据料斗的泵送速度，自动调整卸料速度，防止超卸或待卸现象的发生，避免物料和燃油的浪费，从而提高了工作效率。另外，本发明还能够自动计算料斗的位置和距离，用以辅助司机停车，进一步提高了整体的工作效率。

下面以两台摄像机分别拍摄左、右图像为例，对本发明所提供的卸料控制方法应用于搅拌车的工作过程进行详细描述。

左、右摄像机同时拍摄一幅料斗的图像，对拍摄的图像进行特征提取，具体可以为线提取或边缘提取。对料斗进行图像识别，以标示出料斗的范围。根据料斗的图像特征，对料斗图形进行立体匹配。然后通过料斗图像点坐标以及摄像机已标定的参数，对空间点位置进行计算与表面结构重建，最终计算出料斗与搅拌车的距离以及混凝土的高度。

具体地，预先标定摄像测量系统相关参数(包括摄像机内参数、多台摄像机间的位置关系等)，建立摄像测量坐标系和外部(世界)坐标系之间的关系，可采用平面靶板标定法、控制点标定法、手眼关系标定法、张氏标定法等摄像测量、计算机视觉领域的常用摄像系统标定方法。

具体地，计算方法可采用光流法、本质矩阵法、多目交会测量法等摄像测量、计算机视觉领域的运动估计方法。

目前市面上各泵送机械厂家的料斗形状基本相似，料斗上面和后面近似长方形，料斗上方有网格状栅栏。如图2对料斗进行自动识别的过程流程图所示，上述步骤S102对料斗进行自动识别的过程可以具体为：

步骤S1021：对图片进行预处理，采用边缘检测检测出料斗的四周边界和上面栅栏网格线边缘；

步骤S1022：对各边界线和栅栏网格线的多个点，采用最小二乘法进行直线拟合，最后可以得到近似边界线和栅栏网格线；请参照图3中料斗边界线和栅栏网格线的示意图。

步骤S1023：对所述近似边界线以及栅栏网格线进行标识，识别出所述料斗。

如图3所示，在实际检测中，如果左右两幅图像都检测到边界线(L1、L2、L3、L4、L5)，以及栅栏网格线的横线(h1、h2…)两条以上，纵线(l1、l2、l3、l4…)三条以上，就在显示屏上标示料斗范围，提示用户确认后，就认为识别料斗成功。当然，这仅是一种识别料斗的方法，其他能够实现识别的方法均可。

该实施例中直线拟合方法可以具体为：

根据直线公式u＝kv+b，其中(u,v)为图像中的像素坐标，k为直线斜率，b为截距。

假设检测到一条边缘上由N个像素点(u0,v0),(u1,v1)，(u2,v2)，…，(ui,vi)。

通过最小二乘法进行直线拟合公式：

$\left\{\begin{array}{c}aN+b\mathrm{\Σ}{V}_i=\mathrm{\Σ}{u}_i\\ a\mathrm{\Σ}{V}_i+b\mathrm{\Σ}{V}_i^2=\mathrm{\Σ}{V}_i{u}_i\end{array}\right.,$

可求得直线参数a和b的最佳估计值。

验证相关系数r：

$r=\frac{\mathrm{\Σ}(V_i-\stackrel{\‾}{V})\mathrm{\Σ}(u_i-\stackrel{\‾}{u})}{\sqrt{\mathrm{\Σ}{(V_i-\stackrel{\‾}{V})}^2}\sqrt{\mathrm{\Σ}{(u_i-\stackrel{\‾}{u})}^2}},$ 其中 $\stackrel{\‾}{V}=\frac{{\mathrm{\ΣV}}_i}{n},\stackrel{\‾}{u}=\frac{{\mathrm{\Σu}}_i}{n}$

如果|r|>0.5，则认为直线拟合符合要求，该检测边界线(或栅栏网格线)有效。

上述步骤S103对料斗进行自动识别的过程可以具体为：

假设左摄像机拍摄的左图像信息中L₁、L₂的交点为P_L1，L₂、L₃的交点为P_L2，右摄像机拍摄的右图像信息中L1、L2交点P_R1，L₂、L₃的交点为P_R2，这里可以把P_L1和P_R1、P_L2和P_R2作为料斗上同一点在左右摄像机图像投影点。选择该对应点，对几何畸变和辐射畸变有很好的抵抗能力，能够获得亚像素级别精度的致密视差，而且可以提高重建速度。

在安装摄像机时，保证左右摄像机光心(O_L,O_R)连线水平，以光心连线中点为空间坐标原点O，光心连线为x轴，垂直地面直线为y轴，垂直x和y直线为z轴，如图4摄像机安装空间坐标示意图所示。

根据双目立体成像原理和摄像机事先标定参数可以得出P_L1和P_R1所对应的料斗的点P₁的空间坐标值(x₁,y₁,z₁)，P_L2和P_R2所对应的料斗的点P2的空间坐标值(x₂,y₂,z₂)，具体地，可以取z₁和z₂的最小值作为料斗到搅拌车的距离。

上述步骤S104对料斗中物料的高度进行自动检测的过程可以具体为：

检测出料斗上方混凝土边缘为L；取边缘上若干点，用最小二乘法进行椭圆拟合，然后计算椭圆的中心；如图5料斗上方物料量检测示意图所示。当然，本实施例仅以椭圆作为一种具体实施方式，采用其他图形进行拟合均可，这不影响本发明的实现。

把左图像的椭圆中心O₁和右图像的椭圆中心O₂作为混凝土上同一点在左右摄像机图像投影点，根据双目立体成像原理和摄像机预先标定的参数，可以得出该点O₃的空间坐标值(x,y,z)。具体地，可以取上述P₁和P₂点坐标中y₁、y₂的最小值y’，将y-y’作为混凝土的高度值。

下面对本发明实施例提供的卸料控制装置进行介绍，下文描述的卸料控制装置与上文描述的卸料控制方法可相互对应参照。图6为本发明实施例提供的卸料控制装置的结构框图，参照图6卸料控制装置可以包括：

获取模块100，用于获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时拍采集的图像；

识别模块200，用于对所述图像信息进行图像特征提取，识别出所述料斗；

确定模块300，用于通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

监测模块400，用于通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

控制模块500，用于根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

本发明所提供的卸料控制装置，通过获取料斗的图像信息；对图像信息进行图像特征提取识别出料斗；通过图像信息确定料斗相对于卸料口的距离信息；通过图像信息以及距离信息，对料斗中的物料的高度信息进行实时监测；根据高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。本发明所提供的卸料控制装置，能够自动检测料斗中物料的高度，然后根据料斗的泵送速度，自动调整其卸料速度，防止超卸或待卸现象的发生，避免物料和燃油的浪费，从而提高了工作效率。另外，本发明还能够自动计算料斗的位置和距离，用以辅助司机停车，进一步提高了整体的工作效率。

此外，本发明还提供了一种工程机械，如图7本发明所提供的工程机械卸料监控示意图所示，其具体包括：摄像机11、图像数据传输电缆12、显示屏13、控制器14、上述卸料控制装置1、出料口16、卸料口17以及混凝土泵送机械料斗18。

其中，所述摄像机11用于拍摄后方景物的图像；

具体地，摄像机包括2台或者多台摄像机，可分别安装在搅拌筒后端支架左右两侧。

所述图像数据传输电缆12用于将所述摄像机拍摄到的图像传输至所述卸料控制装置；

所述显示屏13用于对所述图像、所述卸料控制装置确定得到的距离信息以及高度信息进行实时显示；

所述控制器14用于响应所述控制指令，对卸料的状态和动作进行控制；

卸料控制装置15用于识别泵送机械料斗，计算料斗位置和距离，实时计算料斗中混凝土相对料斗上平面的高度，向控制器发送卸料指令。

可选地，上述显示屏13可以具体安装于驾驶室内，还可以用于向用户提供操作界面。

本实施例中，卸料控制装置15可通过单独的图像处理器来实现图像识别和计算，而显示屏13仅用于提供结果显示和用户操作界面。当然，卸料控制装置15也可以与显示屏13集成在一起实现，这均不影响本发明的实现。

本发明所提供的工程机械可具体应用于搅拌车，通过在混凝土搅拌车搅拌筒后端支架左右两侧安装摄像机系统，在驾驶室安装图像显示屏，通过数据传输线连接摄像机和搅拌车卸料控制装置，在搅拌车上安装控制器，并通过数据线与搅拌车卸料控制装置相连，以便根据搅拌车卸料控制装置的控制指令，实时控制卸料机构的状态和动作。

综上，本发明所提供的搅拌车能够识别出泵送机械料斗，计算料斗位置和距离，搅拌车驾驶员能够通过驾驶室显示屏，直接查看泵送机械料斗位置和距离，不需要人工指挥，就可以自行正确停车。同时，本发明能够实时自动检测料斗中混凝土高度或高度变化，自动调节搅拌车卸料速度，防止超卸(混凝土溢出料斗)和待料(卸料速度跟不上泵送速度)情况的发生，可以使卸料速度和泵送速度自动匹配，提高卸料和泵送工作效率，节省燃油油耗。本发明的测量方式自动化、智能化程度高，非接触性好，灵敏度高，获取数据的速度快；适用范围广，可用于除搅拌车外的其它工程机械卸料监控中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种卸料控制方法，其特征在于，包括：

获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时采集的图像；

对所述图像信息进行图像特征提取，识别出所述料斗；

通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

2.如权利要求1所述的卸料控制方法，其特征在于，所述获取料斗的图像信息包括：

获取料斗的左图像信息以及右图像信息，所述左图像信息以及所述右图像信息分别为左、右摄像机同时采集的所述料斗的图像。

3.如权利要求1所述的卸料控制方法，其特征在于，所述对所述图像信息进行图像特征提取，识别出所述料斗包括：

对所述图像信息进行边缘检测，取料斗的各边界线以及栅栏网格线上的多个点；

采用最小二乘法进行直线拟合，得到近似边界线以及栅栏网格线；

对所述近似边界线以及栅栏网格线进行标识，识别出所述料斗。

4.如权利要求2所述的卸料控制方法，其特征在于，所述通过所述图像信息确定所述料斗相对于所述卸料口的距离信息包括：

通过所述左图像信息以及右图像信息，根据双目立体成像原理以及左、右摄像机预先标定的参数，计算出所述料斗的边界点的空间坐标值，检测出所述料斗相对于所述卸料口的距离信息。

5.如权利要求1所述的卸料控制方法，其特征在于，所述通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测包括：

检测所述料斗中的所述物料的边缘，通过所述边缘确定所述物料的中心；

根据双目立体成像原理以及左、右摄像机预先标定的参数，计算所述物料的中心的空间坐标值；

根据所述空间坐标值以及所述料斗的边界点的空间坐标值，确定所述料斗中的物料的高度信息。

6.一种卸料控制装置，其特征在于，包括：

获取模块，用于获取料斗的图像信息，所述图像信息为至少包括两个图像采集设备同时拍采集的图像；

识别模块，用于对所述图像信息进行图像特征提取，识别出所述料斗；

确定模块，用于通过所述图像信息确定所述料斗相对于所述卸料口的距离信息；

监测模块，用于通过所述图像信息以及所述距离信息，对所述料斗中的物料的高度信息进行实时监测；

控制模块，用于根据所述高度信息的变化情况，生成对卸料速度进行实时控制的控制指令。

7.一种工程机械，其特征在于，包括：摄像机、图像数据传输电缆、显示屏、控制器以及如权利要求6所述的卸料控制装置；

其中，所述摄像机用于拍摄后方景物的图像；

所述图像数据传输电缆用于将所述摄像机拍摄到的图像传输至所述卸料控制装置；

所述显示屏用于对所述图像、所述卸料控制装置确定得到的距离信息以及高度信息进行实时显示；

所述控制器用于响应所述控制指令，对卸料的状态和动作进行控制。

8.如权利要求7所述的工程机械，其特征在于，所述摄像机包括至少一对左、右摄像机，分别安装在所述工程机械尾部的左右两侧，所述显示屏安装于驾驶室内。

9.如权利要求8所述的工程机械，其特征在于，所述显示器还用于向用户提供操作界面。

10.如权利要求7至9任一项所述的工程机械，其特征在于，具体为搅拌车。