CN109215071B - 基于视觉的智能稻麦收割机割幅测量方法 - Google Patents

Abstract

本发明公开了一种基于视觉的智能稻麦收割机割幅测量方法，包括：根据相机标定获取的内外参数矩阵，对世界坐标系与相机图像像素平面坐标系进行匹配，利用逆透视投影将相机获取的原始稻麦图像变换为俯视图；获取收割边界线到分禾器的实际目标距离，结合缩小因子得到俯视图中目标区域的像素宽度及确定目标区域图像；图像预处理操作；基于形态学的已收割稻麦与未收割稻麦收割边界线提取，得到包含收割边界线的目标区域二值化图像；利用概率HOUGH变换方法检测图像中收割边界线并获取坐标参数，求解得到图像中分禾器到收割边界线的像素距离，并计算出收割机实际工作的割幅值。本发明提高可靠性，能够实时安全的进行智能稻麦收割机割幅的高精度测量。

Description

基于视觉的智能稻麦收割机割幅测量方法

技术领域

本发明涉及基于视觉的智能稻麦收割机割幅测量方法，属于农业机械自动化技术领域。

背景技术

目前，“精准农业”已经成为农业领域发展的方向，准确的获取农作物的产量成了必不可少的一部分。智能稻麦收割机测产系统需要根据农机的运行速度以及收割的幅度来实时计算收割面积，而如今国内外的智能稻麦收割机主要还是依靠人为手动进行收割幅宽的输入，但实际收割过程中的收割幅宽是不断变化的，并且很难保证满幅收割。此外，随着智能稻麦收割机朝着高速化和大型化的方向发展，仅仅依靠人的眼睛去识别边界并保证一定的割幅将变得很困难。另外，长时间保证全幅作业不仅要求驾驶员具备好的驾驶技能，而且驾驶员工作强度太大易疲劳，很难保证收割效率。同时，智能稻麦收割机的自动驾驶系统也可以依靠割幅进行自动跟踪驾驶。因此，智能稻麦收割机作业过程中的割幅实时测量就显得特别重要。

近年来，国内外关于收割机割幅测量的研究很多，总的来说可以分为接触式测量与非接触式测量两大类。接触式测量的典型代表就是利用弹簧控制探测杆的一端与作物紧密接触，测角器测量出探测杆的偏转角度，然后再依据三角函数计算出作物与支撑杆的距离，最后再用割台宽度减去上面的距离便得出割幅值。该方法机械结构简单，但存在安全隐患并且可靠性低。非接触式测量主要有利用超声波传感器直接测量作物离开分禾器的距离，从而计算出割幅的实际值。虽然超声波穿透灰尘的能力强并且安全高速，但超声波的波束角较大，易受非目标物体的干扰，同时稻麦的疏密程度会影响超声波的反射而导致测量误差，所以超声波传感器通常测量精度比较低。非接触式测量还有利用将激光传感器安装在智能稻麦收割机的割台上方，对收割的边界区域进行二维平面的扫描以获取距离和角度数据，最后依据激光传感器到已收割区域与未收割区域的距离变化来识别边界。该方法所识别的有效范围较窄，并且识别精度受农作物局部地区长势的影响较大。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于视觉的智能稻麦收割机割幅测量方法，解决传统智能稻麦收割机割幅测量方法所存在易受非目标物体的干扰，导致可靠性差与精度低的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于视觉的智能稻麦收割机割幅测量方法，包括以下步骤：

步骤S1：根据相机标定获取的内外参数矩阵，利用坐标转换公式对收割机的世界坐标系与相机图像像素平面坐标系进行匹配，及在相机图像像素平面坐标系下利用逆透视投影方法将相机获取的原始稻麦图像变换为俯视图；

步骤S2：获取已收割稻麦与未收割稻麦的收割边界线到收割机中分禾器的实际目标距离，结合世界坐标系下稻麦尺寸与相机图像像素平面坐标系中稻麦尺寸之间的缩小因子得到俯视图中目标区域的像素宽度及确定目标区域图像；

步骤S3：对目标区域图像进行图像预处理操作；

步骤S4：对预处理后的目标区域图像进行基于形态学的已收割稻麦与未收割稻麦收割边界线提取，得到包含收割边界线的目标区域二值化图像；

步骤S5：利用概率HOUGH变换方法检测目标区域二值化图像中收割边界线，并获取收割边界线的坐标参数；

步骤S6：根据获取的收割边界线坐标参数与分禾器在俯视图中的已知像素坐标值，求解得到俯视图中分禾器到收割边界线的像素距离，并根据求解的像素距离与缩小因子、收割机的实际割台宽度，计算出收割机实际工作的割幅值。

进一步地，作为本发明的一种优选技术方案，所述步骤S1将原始稻麦图像变换为俯视图采用公式：

其中，u，v分别为原始稻麦图像的像素横和纵坐标，i和j分别为俯视图的像素横和纵坐标，系数b₃₃＝1，T₁为图像线性变换矩阵，T₂为图像透视变换矩阵，T₃为图像平移矩阵，且所述矩阵T₁、T₂、T₃通过相机标定获取的内外参数矩阵获得。

进一步地，作为本发明的一种优选技术方案，所述步骤S2得到俯视图中目标区域的像素宽度p采用公式：

p＝d·A

其中，d为已收割稻麦与未收割稻麦的收割边界线到收割机中分禾器的实际目标距离；A为世界坐标系下稻麦尺寸与相机图像像素平面坐标系中稻麦尺寸之间的缩小因子。

进一步地，作为本发明的一种优选技术方案，所述步骤S3对目标区域图像进行图像预处理操作包括开运算、反色及中值滤波处理。

进一步地，作为本发明的一种优选技术方案，所述步骤S4中基于形态学的已收割稻麦与未收割稻麦收割边界线提取，包括：

步骤S4.1：利用加权平均法将预处理后的目标区域图像转换为只有一个通道的目标区域灰度图像；

步骤S4.2：对所述目标区域灰度图像进行自适应二值化处理，得到目标区域二值化图像；

步骤S4.3：利用结构元素对目标区域二值化图像进行先腐蚀后膨胀操作，得到包含已收割稻麦与未收割稻麦收割边界线的目标区域二值化图像。

本发明采用上述技术方案，能产生如下技术效果：

本发明所采用的基于视觉的智能稻麦收割机割幅测量方法，避免了使用超声波传感器所存在的波束角大以及易受非目标物体的干扰所导致的测量精度低的问题，避免了接触式测量存在安全隐患并且可靠性低的问题，能够实时安全的进行智能稻麦收割机割幅的高精度测量，为农作物产量实时监测和联合收割机的自导驾驶提供重要数据，对智能稻麦收割机的发展起到了积极作用。

附图说明

图1为本发明方法的流程示意图。

图2为本发明中世界坐标系与相机图像像素平面坐标系的关系图。

图3为本发明中目标区域俯视图的图像像素平面。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种基于视觉的智能稻麦收割机割幅测量方法，该方法具体包括以下步骤：

步骤S1：根据相机标定获取的内外参数矩阵，利用坐标转换公式对收割机的世界坐标系与相机图像像素平面坐标系进行匹配，及在相机图像像素平面坐标系下利用逆透视投影将相机获取的原始稻麦图像变换为俯视图，具体如下：

首先，相机安装在收割机驾驶室左侧顶部，如图2所示，设定相机坐标系为(O_C,X_C,Y_C,Z_C)，其中坐标原点O_C位于相机的光心，相机镜面的右方为X_C方向；智能稻麦收割机坐标系为(O,X,Y,Z)，坐标原点O为左侧分禾器的固定端点，其中X轴垂直于收割机行驶方向，平行于地平面且指向收割机行驶的右方，Y轴垂直于X轴方向，平行于地平面且指向收割机行驶的正前方。

步骤S1.1：进行单目相机的标定。

通过在收割机的正前方放置棋盘格，对安装固定好的单目相机进行张正友法标定，获取相机的内参数矩阵K与外参数矩阵R和t，其中R为相机坐标系与世界坐标系之间的旋转矩阵，t为相机坐标系与世界坐标系之间的平移矩阵。

步骤S1.2：将世界坐标系转换到相机图像像素平面坐标系。

现实三维世界的稻麦上的一点(X,Y,Z)在世界坐标系下可以表示成(X,Y,Z)_W，在相机坐标系下表示为(X,Y,Z)_C，在图像像素二维坐标系下的坐标为(u,v,1),世界坐标系转换到相机图像像素平面坐标系可以表示为：

式(1)中，R为相机标定获取的旋转矩阵，t为相机标定获取的平移矩阵，dx和dy表示为相机图像物理平面坐标系下每mm有多少像素点，u₀与v₀为相机图像像素平面坐标系的坐标原点，f为相机的焦距，由内参数矩阵K获得。

步骤S1.3：逆透视投影变换将原始稻麦图像变换为俯视图。

将相机获取的原始稻麦图像变换为俯视图，还原稻麦收割边界区域原来的几何特征，变换关系为：

式(2)中，u，v分别为原始稻麦图像像素横和纵坐标，i和j分别为俯视图的像素横和纵坐标；系数b₃₃＝1，T₁为图像线性变换矩阵，T₂为图像透视变换矩阵，T₃为图像平移矩阵，且所述矩阵T₁、T₂、T₃通过相机标定获取的内外参数矩阵K、R和t获得。图2中q(u,v)表示原始稻麦图像像素点q的坐标。

步骤S2：获取已收割稻麦与未收割稻麦的收割边界线到收割机中分禾器的实际目标距离，结合世界坐标系下稻麦尺寸与相机图像像素平面坐标系中稻麦尺寸之间的缩小因子得到俯视图中目标区域的像素宽度及确定目标区域图像。

依据智能稻麦收割机实际应用时，已收割稻麦与未收割稻麦的边界处到左侧分禾器的实际目标距离d∈[0,3000],单位mm，缩小稻麦图像俯视图的宽度范围以得到新的目标区域，其中实际目标距离d与图像目标区域的像素宽度p的转换关系为：

p＝d·A (3)

式(3)中，A为世界坐标系下稻麦尺寸与相机图像像素平面坐标系中稻麦尺寸之间的缩小因子，由相机标定获取。

步骤S3：对目标区域图像进行图像预处理操作，包括对目标区域图像进行图像预处理操作包括开运算、反色及中值滤波处理，具体如下：

S3.1：目标区域图像的开运算处理。

对上述获取的目标区域图像进行开运算处理，首先选择一个结构元矩阵a，为有效消除非收割边界的错误干扰，矩阵a需要尽可能地大，然后再利用结构元a对目标区域图像e进行开操作，即：

式(4)表示先用结构元矩阵a对目标区域图像e进行腐蚀操作，然后再用结构元矩阵a对所得结果做膨胀操作，符号

表示的是图像处理中的开运算操作，符号

表示腐蚀操作，符号

表示膨胀操作。

S3.2：目标区域图像的反色处理。

对目标区域图像的B(红色)、G(绿色)和R(蓝色)三个通道，分别自左向右，自上而下的遍历目标区域的每一个像素，并对其进行反色处理，具体为：

式(5)中的I(i,j)表示目标区域图像单通道某点的灰度值，其中0≤i≤I.rows，0≤j≤I.cols，i,j∈Z,I.rows与I.cols分别为目标区域图像像素的行与列的最大值。

S3.3：目标区域图像的中值滤波。

对于目标区域图像I中的任意位置点(i,j)，以点(i,j)为中心，宽为奇数W，高为奇数H的邻域，对邻域中的像素点的灰度值进行排序，然后取中值当作处理后图像的位置点(i,j)处的灰度值，其中W与H的取值尽量接近目标区域图像的高度。

步骤S4：对预处理后的目标区域图像进行基于形态学的已收割稻麦与未收割稻麦收割边界线提取，得到包含收割边界线的目标区域二值化图像，具体如下：

步骤S4.1：目标区域图像转换为灰度图像。

利用加权平均法将预处理后的具有三个颜色通道的目标区域图像转换为只有一个通道的目标区域灰度图像，目标区域每一个像素点的具体转换公式为：

G(i,j)＝0.30R(i,j)+0.60G(i,j)+0.10B(i,j) (6)

式(6)中的G(i,j)表示为转换成只有一个通道的目标区域灰度图像后像素点的灰度值，R(i,j)、G(i,j)和B(i,j)表示目标区域图像的红绿蓝三个颜色通道各自的灰度值，式(6)中各灰度值前面的数字0.30、0.60和0.10是指目标区域图像的红绿蓝三个颜色通道各自灰度值所占权重的最佳值，但本发明不限于该数值。

步骤S4.2：对所述目标区域灰度图像进行自适应二值化处理，得到目标区域的二值化图像。

对目标区域灰度图像G利用尺寸为W×H的平滑算子进行平滑处理，平滑结果为f_s(G)，再利用式(7)求取自适应矩阵Thresh，具体公式为：

Thresh＝f_s(G)*(1-ratio) (7)

式(7)中的比例系数ratio取0.2，之后再利用式(8)的局部阈值分割规则对目标区域灰度图像G进行二值化处理：

式(8)中的E(i,j)为目标区域二值化图像的灰度值。

步骤S4.3：利用结构元素S对目标区域二值化图像进行先腐蚀后膨胀操作，得到包含已收割稻麦与未收割稻麦收割边界线的目标区域二值化图像，具体为：

利用结构元素S对目标区域二值化图像E先进行式(9)的腐蚀操作：

在式(9)腐蚀处理的基础上对图像再进行式(10)的膨胀操作：

经过式(10)的膨胀操作，获得包含已收割稻麦与未收割稻麦收割边界线的目标区域二值化图像R。

步骤S5：利用概率HOUGH变换方法检测目标区域二值化图像中收割边界线，并获取收割边界线的坐标参数，具体如下：

步骤S5.1：随机获取收割边界线上的前景点，映射到极坐标系画直线。

随机获取收割边界线上的前景点(i_s,j_s)，映射到极坐标系得到通过该前景点的一族直线方程：

r_θ＝i_s·cosθ+j_s·sinθ (11)

式(11)中的(r_θ,θ)表示在极坐标系下这族直线上的点坐标，r_θ为点的极径，θ为点的极角。由此，可以获得多个前景点的对应的各族直线，得到多族直线。

步骤S5.2：找出极坐标系里面有交点达到最小投票数的对应i-j坐标系的直线L。

当极坐标系里通过不同前景点的多族直线有交点达到依据实际情况提前设置的最小投票数时，将该交点(r_m,θ_m)对应在俯视图中像素坐标系i-j下的直线L找出来，得到该直线L的方程：

步骤S5.3：将位于直线L上的点连成线段，并记录线段起始点坐标(i_pt1,j_pt1)和终止点坐标(i_pt2,j_pt2)。

搜索已收割稻麦与未收割稻麦边界线上的前景点，将位于直线L上的并且点与点之间距离小于阈值maxLineGap的点连成线段，然后再将这些点全部删除，并记录所得满足最小长度线段的起始点坐标(i_pt1,j_pt1)和终止点坐标(i_pt2,j_pt2)。

步骤S5.4：根据直线L的起始点与终止点坐标获取收割边界线的直线方程。

通过直线L的起始点坐标(i_pt1,j_pt1)和终止点坐标(i_pt2,j_pt2)，得到已收割稻麦与未收割稻麦边界所在直线的坐标方程：

步骤S6：根据获取的收割边界线坐标参数与分禾器的固定端点在俯视图中的已知像素坐标值，求解得到俯视图中分禾器到收割边界线的像素距离，并根据求解的像素距离与缩小因子、收割机的实际割台宽度，计算出收割机实际工作的割幅值。具体如下：

如图3所示，根据智能稻麦收割机坐标系的坐标原点O，即左侧分禾器的固定端点在俯视图中的已知像素坐标值(i_O,j_O)，求得左侧分禾器到已收割稻麦与未收割稻麦收割边界线L的像素距离d_P，单位为dpi，像素距离求解公式为：

式(14)中的

该E、F分别为系数，(i_pt1,j_pt1)和(i_pt2,j_pt2)分别为收割边界线中线段的起始点坐标和终止点坐标；通过式(14)得到左侧分禾器到已收割稻麦与未收割稻麦收割边界线L的距离d_P为图像像素距离，还需要通过式(15)将图像像素距离d_P转化为单位为mm的分禾器到收割边界线的实际距离d_W：

根据已知智能稻麦收割机的实际割台宽度T，通过式(16)计算得到，在时刻t时，智能稻麦收割机实际工作的割幅值d_t：

d_t＝T-d_W (16)

综上，本发明方法避免了使用超声波传感器所存在的波束角大以及易受非目标物体的干扰所导致的测量精度低的问题，提高可靠性，能够实时安全的进行智能稻麦收割机割幅的高精度测量，为农作物产量实时监测和联合收割机的自导驾驶提供重要数据。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.基于视觉的智能稻麦收割机割幅测量方法，其特征在于，包括以下步骤：

步骤S1：根据相机标定获取的内外参数矩阵，利用坐标转换公式对收割机的世界坐标系与相机图像像素平面坐标系进行匹配，及在相机图像像素平面坐标系下利用逆透视投影方法将相机获取的原始稻麦图像变换为俯视图；

步骤S2：获取已收割稻麦与未收割稻麦的收割边界线到收割机中分禾器的实际目标距离，结合世界坐标系下稻麦尺寸与相机图像像素平面坐标系下稻麦尺寸之间的缩小因子得到俯视图中目标区域的像素宽度及确定目标区域图像；

步骤S3：对目标区域图像进行图像预处理操作；

步骤S4：对预处理后的目标区域图像进行基于形态学的已收割稻麦与未收割稻麦收割边界线提取，得到包含收割边界线的目标区域二值化图像；

步骤S5：利用概率HOUGH变换方法检测目标区域二值化图像中的收割边界线，并获取收割边界线的坐标参数；

步骤S6：根据获取的收割边界线坐标参数与分禾器在俯视图中的已知像素坐标值，求解得到俯视图中分禾器到收割边界线的像素距离，并根据求解的像素距离与缩小因子、收割机的实际割台宽度，计算出收割机实际工作的割幅值。

2.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S1将原始稻麦图像变换为俯视图采用公式：

其中，u，v分别为原始稻麦图像的像素横和纵坐标，i和j分别为俯视图的像素横和纵坐标，系数b₃₃＝1，T₁为图像线性变换矩阵，T₂为图像透视变换矩阵，T₃为图像平移矩阵。

3.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S2得到俯视图中目标区域的像素宽度p采用公式：

p＝d·A

其中，d为已收割稻麦与未收割稻麦的收割边界线到收割机中分禾器的实际目标距离；A为世界坐标系下稻麦尺寸与相机图像像素平面坐标系中稻麦尺寸之间的缩小因子。

4.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S3对目标区域图像进行图像预处理操作包括开运算、反色及中值滤波处理。

5.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S4中基于形态学的已收割稻麦与未收割稻麦收割边界线提取，包括：

步骤S4.1：利用加权平均法将预处理后的目标区域图像转换为只有一个通道的目标区域灰度图像；

步骤S4.2：对所述目标区域灰度图像进行自适应二值化处理，得到目标区域二值化图像；

步骤S4.3：利用结构元素对目标区域二值化图像进行先腐蚀后膨胀操作，得到包含已收割稻麦与未收割稻麦收割边界线的目标区域二值化图像。

6.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S5利用概率HOUGH变换方法检测目标区域二值化图像中的收割边界线，包括：

步骤S5.1：随机获取收割边界线上的前景点(i_s,j_s)，映射到极坐标系得到通过该前景点的一族直线方程r_θ；

步骤S5.2：找出极坐标系中通过不同前景点的多族直线的交点(r_m,θ_m)达到设定最小投票数的对应在俯视图中像素坐标系i-j下的直线L，及获得直线L的方程；

步骤S5.3：将位于直线L上的点连成线段，并记录线段起始点坐标(i_pt1,j_pt1)和终止点坐标(i_pt2,j_pt2)；

步骤S5.4：根据直线L的起始点与终止点坐标获取收割边界线的坐标参数及直线方程。

7.根据权利要求6所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S5.2获得直线L的方程为：

8.根据权利要求6所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S5.4获取收割边界线的直线方程为：

9.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S6求解图像中分禾器到收割边界线的像素距离d_P采用公式：

其中，E、F分别为系数，且

所述(i_pt1,j_pt1)和(i_pt2,j_pt2)分别为收割边界线中线段的起始点坐标和终止点坐标；(i_O,j_O)为分禾器在俯视图中的已知像素坐标值。

10.根据权利要求1所述基于视觉的智能稻麦收割机割幅测量方法，其特征在于，所述步骤S6计算出收割机实际工作的割幅值d_t采用公式：

d_t＝T-d_W

其中，d_P为分禾器到收割边界线的像素距离；A为缩小因子；d_W为分禾器到收割边界线的实际距离；T为收割机的实际割台宽度。

Images