CN112237089A - 一种联合收获机喂入量在线预测装置及方法 - Google Patents

Abstract

本发明提供了一种联合收获机喂入量在线预测装置及方法，预测装置包括主控制器、速度采集模块、图像采集模块和留茬及作物高度采集模块，速度采集模块将脉冲信号传输给主控制器，计算收获机实时的作业速度；留茬及作物高度采集模块包括两个激光测距传感器，主控制器通过激光测距传感器发射激光的往返时间，分别计算留茬及作物高度；图像采集模块实时获取前方作物的图片，并传输给主控制器，得到作物的穗头个数；粒子群算法得到的最优个体赋值给BP神经网络的初始权值和阈值，得到喂入量预测模型；作物的穗头个数、收获机的实时作业速度、留茬及作物高度作为喂入量预测模型的输入，输出为喂入量的预测值。本发明能精确检测联合收获机的喂入量。

Description

一种联合收获机喂入量在线预测装置及方法

技术领域

本发明属于智能农机装备领域，具体涉及一种联合收获机喂入量在线预测装置及方法。

背景技术

随着农业机械化的飞速发展，作为主要农业机械的联合收获机在农业生产中的应用也逐渐广泛，因此极大促进了我国农业经济的发展。然而在广泛应用的同时很多的问题开始显露，例如当联合收获机在田间作业时收获环境比较复杂(作物的株高、密度不同、土地凹凸情况等)时，操作人员需要立刻调整联合收获机的作业速度来控制喂入量在一个稳定的范围之内，以保持收获效率，由于操作者经验不足导致控制不当或没有及时做出调整，联合收获机可能会发生故障，从而大大降低了收获效率；若喂入量过大，可能会导致脱离滚筒发生堵塞，伴随着脱粒清选的效果变差、损失严重；若喂入量过小，则联合收获机的功率不能最大化使用，并且浪费人工和时间，甚至会错过作物最好的收获时间；所以联合收获机的喂入量检测的智能化水平亟待提高。

发明内容

针对现有技术中存在不足，本发明提供了一种联合收获机喂入量在线预测装置及方法，用于精确检测联合收获机的喂入量。

本发明是通过以下技术手段实现上述技术目的的。

一种联合收获机喂入量在线预测装置，包括主控制器、速度采集模块、图像采集模块、留茬及作物高度采集模块，速度采集模块、图像采集模块、留茬及作物高度采集模块与主控制器相连接；

所述速度采集模块设置在联合收获机驱动轮内侧，采集的信号传输给主控制器，获取联合收获机实时的作业速度；所述图像采集模块通过支架固定在收获机顶棚上，实时获取前方作物的图片，并传输给主控制器，获取作物的穗头个数；所述留茬及作物高度采集模块包括两个激光测距传感器，一个激光测距传感器固定在分禾器的最前端，另一个激光测距传感器固定在支架上，激光测距传感器采集的信号传输给主控制器，分别得到留茬高度及作物高度。

上述技术方案，还包括与控制器相连接的电源稳压模块、人机交互模块和CAN通信模块。

上述技术方案，所述速度采集模块为霍尔传感器，霍尔传感器包括霍尔传感器探头和磁钢，磁钢粘贴在联合收获机驱动轮内侧的转轴上，霍尔传感器探头每经过一个磁钢，产生一次脉冲信号，通过信号输出端将脉冲信号传输给主控制器。

上述技术方案，所述支架包括角铁、长杆、短杆和亚克力板，角铁固定在收获机顶棚上，角铁还固定长杆一端，长杆另一段与短杆一端垂直连接，短杆另一端固定亚克力板，亚克力板上固定图像采集模块和一个激光测距传感器。

上述技术方案，所述长杆和短杆均设置在卡槽中，长杆、短杆和卡槽上均设有圆孔，通过圆孔的配合，长杆和短杆能够在卡槽中伸缩。

一种联合收获机喂入量在线预测装置的在线预测方法，具体为：

霍尔传感器将脉冲信号传输给主控制器，主控制器计算出联合收获机实时的作业速度；

主控制器通过激光测距传感器发射激光的往返时间，分别计算出留茬高度及作物高度；

图像采集模块实时获取前方作物的图片，并传输给主控制器，得到作物的穗头个数；

粒子群算法得到的最优个体赋值给BP神经网络的初始权值和阈值，完成BP神经网络的训练，得到喂入量预测模型；作物的穗头个数、收获机的实时作业速度、留茬及作物高度作为喂入量预测模型的输入，输出为喂入量的预测值。

进一步，所述作物的穗头个数获取过程为：对前方作物的图片依次进行灰度化处理、中值滤波处理、OTSU阈值分割去除土壤背景部分、填平图像被分割后的空洞，再通过检测区域的个数和角点数计算整个区域的穗头个数。

进一步，所述粒子群算法得到最优个体的过程为：

①粒子群的初始化：整个空间的维数为该网络中所有权值和阈值之和；

②粒子适应度值：计算出期望输出和预测输出，并将它们各自误差的绝对值之和作为个体适应度

通过每个粒子初始位置结合个体适应度公式，计算出粒子的适应度值F_it[i]，其中n₂表示输出的节点数，y_i为神经网络网络中第i个点的期望输出，o_i为第i个点的预测输出，abs()为误差绝对的运算符，k′表示该式的系数；

③个体极值的更新：整个空间中第i个粒子搜寻到的最优位置作为个体极值P_best＝[p_i1,p_i2,...,p_id]^T,i＝1,2,...,n₂，将每一个粒子的适应度值F_it[i]与个体极值P_best(i)进行大小比较，如果F_it[i]>P_best(i)，则个体极值选用F_it[i]，反之则选用P_best(i)；

④群体极值的更新：整个过程中粒子群搜索到的最优位置的值被称为该群体的极值G_besi＝[P_g1，P_g2…，P_gd]^T，g＝1，2，...，n₂，将每一个粒子的适应度值F_it[i]与群体极值G_best(i)进行大小比较，如果F_it[i]>G_best(i)，则群体极值用F_it[i]，反之则用G_best(i)；

⑤粒子速度和位置的更新：在每一次粒子迭代的过程中，粒子采用个体极值和群体极值，结合

和

更新自身的速度和位置，其中w代表惯性权重；d＝1,2,...,D；k为系统的迭代次数；v_id表示粒子的速度，X_id表示粒子的位置；c₁和c₂是加速度因子，通常情况下为非负常数；r₁和r₂是[0，1]之间的随机数。

本发明的有益效果为：本发明通过对图像采集模块实时获取前方作物的图片进行灰度化处理、中值滤波、OTSU阈值分割、形态学处理等操作，检测图像的角点，进而获取作物的穗头个数，可以准确计算前方待收获作物的穗头个数；本发明利用粒子群算法不断优化BP神经网络的初始权值和阈值，将最优个体赋值给BP神经网络的初始权值和阈值，完成BP神经网络的训练，得到喂入量预测模型；在优化BP神经网络的初始权值和阈值的过程中通过人工采样扩大训练样本，不断优化完善喂入量预测模型，以提高预测喂入量值的精度及预测速度；本发明对联合收获机的喂入量预测有较好的效果，有力地缓解了收获机大延时大滞后的特性，能够很好地为驾驶员提供操作依据，提高收获质量，同时也为联合收获机智能化提供技术支撑。

附图说明

图1为本发明联合收获机喂入量在线预测装置结构图；

图2为本发明联合收获机整体结构示意图；

图3为本发明霍尔传感器结构示意图；

图4为本发明激光传感器结构示意图；

图5为本发明安装相机的支架结构示意图；

图6为本发明前方作物图像处理的流程图；

图7为本发明喂入量预测流程图；

图8为本发明联合收获机喂入量在线预测装置的人机交互界面图。

其中：1-相机，2-支架，201-M8圆孔，202-角铁，203-M6圆孔，204-卡槽，205-长杆，206-直角套管，207-M15圆孔，208-M16圆孔，3-屏幕，4-激光测距传感器，401-传感器柱，402-M16螺帽，403-激光发射头，404-激光接收头，5-支架，6-霍尔传感器，601-磁钢，602-传感器探头，603-信号输出端。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种联合收获机喂入量在线预测装置，包括主控制器(ARM控制器)、速度采集模块、图像采集模块、留茬及作物高度采集模块、电源稳压模块、人机交互模块和CAN通信模块，速度采集模块、图像采集模块、留茬及作物高度采集模块、电源稳压模块、人机交互模块和CAN通信模块均与主控制器相连接，速度采集模块、图像采集模块和留茬及作物高度采集模块将采集到的信息传输给主控制器，主控制器经过处理预测出下一时刻的喂入量大小，再将该预测值通过CAN通信模块传输给上位机。

如图3所示，速度采集模块为霍尔传感器，霍尔传感器安装在联合收获机驱动轮6内侧的横梁上(图2)，霍尔传感器包括霍尔传感器探头602和磁钢601，将N极涂有AB胶的磁钢601粘在驱动轮6内侧的转轴上，驱动轮6一圈粘有四块磁钢601，每90°粘贴一块磁钢601，霍尔传感器探头602每经过一个磁钢601便会产生一次脉冲信号，通过信号输出端603将脉冲信号传输给主控制器；霍尔传感器的采样时间一般设为1s，主控制器利用公式

(m/s)，计算出联合收获机实时的作业速度，式中N为1s内主控制器获取的脉冲总个数，n为转轴上磁钢601的个数，d为驱动轮6外直径的大小(m)。

如图4所示，留茬及作物高度采集模块包括两个激光测距传感器4，分别用于计算留茬和作物高度；用于计算留茬高度的激光测距传感器4通过L型支架5固定，将支架5的竖板焊接在分禾器的最前端(图2)，接着将传感器柱401固定在支架水平板的卡槽内，保证垂直向下，传感器柱401上下两侧均利用垫片和M16螺帽402固定，保证传感器柱401在剧烈震动的恶劣工作环境下也能正常稳定；传感器柱401底端设有激光发射头403和激光接收头404；主控制器计算激光发射头403发出的射线经过非透明物质反射后到激光接收头404的时间，再利用公式

便可以计算出留茬的高度，式中c为光速(m/s)，t₁为激光往返的时间(s)，D为分禾器到割刀的相对距离(m)；用于计算作物高度的激光测距传感器4固定在支架2亚克力板的M16圆孔208处，具体为：将传感器柱401插入M16圆孔208，再利用垫片和M16螺帽402固定，传感器柱401底端设有激光发射头403和激光接收头404；主控制器计算激光发射头403发出的射线经过非透明物质反射后到激光接收头403的时间，通过公式

可以计算出作物的高度，式中t₂为激光往返的时间(s)，H为激光测距传感器4到地面的总高度(m)；激光测距传感器4的所测值可以精确到1mm，均符合精度要求。

如图5所示，固定相机1的支架2，首先将角铁202固定在收获机的顶棚上(图2)，角铁202水平侧面上均匀打有四个M8圆孔201，M8圆孔201的间距为20mm，螺栓穿过M8圆孔201，与收获机顶棚固定，角铁202竖直侧面打有四个M6圆孔203，通过螺栓固定长杆205一端，长杆205设置在卡槽204内部，根据联合收获机拨禾轮的长度，利用卡槽204实现长杆205的伸缩，伸缩范围为1.5～3m；长杆205另一端采用直角套管206与一短杆一端连接，该短杆上也设有卡槽204，根据相机焦距和拍摄的视野范围的不同进行长度调节，调节范围为0.5～1m；短杆另一端固定长方形亚克力板，亚克力板上开设有M15圆孔207，以固定相机1。长杆205设置在卡槽204内部，具体设置方式为：卡槽204外侧底部阵列式设有多个M6圆孔，位于卡槽204内部的两段长杆205上阵列式设有多个M6圆孔，通过拉伸两段长杆205实现整体长度的调节，当调节到合适位置时，通过在两个对应的圆孔中置入螺栓和螺帽将其固定，以满足整体工艺稳定性的需求。短杆上卡槽的设置方式与长杆相同。

相机1实时获取前方作物的图片，并传输给主控制器，主控制器通过获取的图片处理得到穗头个数，具体过程如下：

①首先进行灰度化处理：提取作物图片RGB的具体值，采用加权平均法求取出灰度值gray，根据重要性和相关特性，将三个分量以不同的权值加权平均，由于人眼对绿色的敏感最高、对蓝色敏感最低，因此按下式对RGB三分量进行加权平均，得到较合理的灰度：f(i′,j′)＝0.30R(i′,j′)+0.59G(i′,j′)+0.11B(i′,j′)，(i′,j′)表示图像的像素点；令R＝G＝B＝gray，实现作物图片的灰度化。

②中值滤波处理：将一张图像分为多个不同的窗口，窗口里的像素按大小排列，将中位灰度作为该窗口的灰度值。

③OTSU阈值分割：建立直方图，利用最大类间方差法确定合适的阈值，然后将大于该阈值的像素点取1，小于该阈值的像素点取0，实现图像的二值化处理，去除土壤背景部分。

④图像形态学处理：由于图像在分割之后依然存在噪音，同时谷物间存在一些大小不同的间隙，造成图像被分割后空洞的存在，通过3×3的十字类型对图片进行腐蚀和膨胀运算，逐渐填平空洞。

⑤角点检测与穗头计数：在图像上设置检验窗口，将检验窗口在每个方向挪动较小的位移(u，v)，通过平均能量的方式对窗口的变化进行探究，当变化的范围比预期的阈值大时，把中心位置的像素点提炼出来，作为角点；平均能量的计算公式为：E(u,v)＝∑W[I(x+u,y+v)-I(x,y)]，式中W为高斯函数，I(x+u,y+v)为平移后的图像灰度值，I(x,y)为平移前的图像灰度值；角点的数量和连接的穗头数量有直接关系，没有角点的区域一般都是点孤立穗头，存在角点的位置有粘连的穗头，且数量比角点个数多一，因此可以通过检测区域的个数和角点数来计算整个区域的穗头个数；整个处理流程如图6所示。

联合收获机喂入量预测问题实质上是非线性函数拟合问题，通过单纯的线性公式难以准确计算其大小，因此利用粒子群算法的非线性极值寻优能力优化神经网络初始权值和阈值，通过神经网络的非线性拟合能力可以精确预测喂入量的大小，算法流程图如图7所示，喂入量预测模型具体过程如下：

S1，对BP神经网络进行结构设计，BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，它具有较快的处理速度和较强的容错率，并且对于任何一个闭区间内的连续函数，该网络都可以利用单隐层的前向神经网络进行逼近，通常情况下一个3层的BP神经网络就可以实现对任意n维到m维的映射，因此本实施例选用的BP神经网络的层数为3层，输入量为作物的穗头个数、收获机的实时作业速度、留茬及作物高度，映射函数为f(x₁,x₂…x_n)，式中x₁,x₂…x_n为影响喂入量大小的因子，输出为喂入量的值。BP神经网络具有过程简便、运算量小和兼容性较强的优点，但是它也存在响应函数的导数值和学习速率收敛速度较慢的缺陷，还会因为误差函数的不确定性导致陷入局部的极小状态；所以针对BP神经网络的缺陷，通过引用粒子群算法对BP神经网络进行改进优化。

S2，通过粒子群算法对神经网络的初始权值、阈值进行不断优化

在粒子群算法中，整个空间的维数为BP神经网络中所有初始权值和阈值之和；

①粒子群的初始化：确定粒子在空间的初始位置和速度；

②粒子适应度值：计算出期望输出和预测输出，并将它们各自误差的绝对值之和作为个体适应度F，算法公式如(1)：

式中：n₂表示输出的节点数，y_i为神经网络网络中第i个点的期望输出，o_i为第i个点的预测输出，abs()为误差绝对的运算符，k′表示该式的系数；

最后通过每个粒子初始位置结合公式(1)，计算出粒子的适应度值F_it[i]；

③个体极值的更新：整个空间中第i个粒子搜寻到的最优位置作为个体极值，如式(2)所示：

P_best＝[p_i1,p_i2,...,p_id]^T,i＝1,2,...,n₂ (2)

将每一个粒子的适应度值F_it[i]与个体极值P_best(i)进行大小比较，如果F_it[i]>P_best(i)，则个体极值选用F_it[i]，反之则选用P_best(i)；

④群体极值的更新：整个过程中粒子群搜索到的最优位置的值被称为该群体的极值，如下式(3)所示：

G_best＝[P_g1,P_g2,...,P_gd]^T,g＝1,2,...,n₂ (3)

将每一个粒子的适应度值F_it[i]与群体极值G_best(g)进行大小比较，如果F_it[i]>G_best(g)，则群体极值用F_it[i]，反之则用G_best(g)；

⑤粒子速度和位置的更新：在每一次粒子迭代的过程中，粒子采用个体极值和群体极值，并且结合式(4)和(5)更新自身的速度和位置：

式中：w代表惯性权重；d＝1,2,...,D；k为系统的迭代次数；v_id表示粒子的速度，X_id表示粒子的位置；c₁和c₂是加速度因子，通常情况下为非负常数；r₁和r₂是[0，1]之间的随机数；

BP神经网络的初始权值和阈值、期望输出、预测输出的获取依赖于训练样本，训练样本通过人工进行田间采集，通过人工收割多组不同面积、不同留茬高度和作物高度的作物进行基础数据的获取。

S3，将粒子群算法得到的最优个体赋值给神经网络的初始权值和阈值，完成神经网络的训练，该训练后的神经网络即为喂入量预测模型；作物的穗头个数、收获机的实时作业速度、留茬及作物高度作为喂入量预测模型的输入，输出值即为喂入量最终的预测值。

如图8所示，人机交互模块为触摸显示屏界面，触摸屏与主控制器通过串口通讯进行传输，实时显示主控制器处理出的关键信息；人机交互模块的屏幕3安装固定在驾驶座位的右上方(图2)，便于驾驶员操作时了解收获信息；屏幕3显示的内容包含各个关键数据的显示以及获取前方作物图片的实时显示，此外还可以通过屏幕3的电子键盘进行手工数据的输入，例如人工提前测量出的大概草谷比的值。该人机交互模块还具有报警功能，报警灯有三种状态：当喂入量预测值处于正常状态时(预测值的差值处于额定值±10％之内，由主控制器计算得到)，报警灯处于绿色状态；当喂入量预测值处于异常小的状态时(预测值的差值小于额定值-10％)，报警灯处于蓝色状态；当喂入量预测值处于异常大状态时(预测值的差值大于额定值10％)，报警灯处于红色状态。

CAN通信模块由CNA_H和CAN_L两条信号线共同组成一个差分信号线，以差分信号的形式进行通信，具有很强的抗干扰能力，其工作原理主要包括CAN的初始化、报文的发送两部分，初始化过程包括时钟分频、工作模式、筛选器和波特率的初始化等，报文发送主要包括报文的ID、扩展ID、IDE位及RTR位、DLC段、报文数据段的内容，主控制器将预测出的喂入量大小置于报文中的数据段传输给上位机，将其作为上位机其他控制模型的输入量。

电源稳压模块主要考虑主控制器的正常工作电压为12V，当直接使用联合收获机上的电源时会出现机器启动瞬间控制器的掉电问题，若联合收获机经常启停对控制器有损伤，使用稳压电源模块在一定程度上对主控制器起保护作用，延长使用寿命。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种联合收获机喂入量在线预测装置，其特征在于，包括主控制器、速度采集模块、图像采集模块、留茬及作物高度采集模块，速度采集模块、图像采集模块、留茬及作物高度采集模块与主控制器相连接；

所述速度采集模块设置在联合收获机驱动轮内侧，采集的信号传输给主控制器，获取联合收获机实时的作业速度；所述图像采集模块通过支架(2)固定在收获机顶棚上，实时获取前方作物的图片，并传输给主控制器，获取作物的穗头个数；所述留茬及作物高度采集模块包括两个激光测距传感器(4)，一个激光测距传感器(4)固定在分禾器的最前端，另一个激光测距传感器(4)固定在支架(2)上，激光测距传感器(4)采集的信号传输给主控制器，分别得到留茬高度及作物高度。

2.根据权利要求1所述的联合收获机喂入量在线预测装置，其特征在于，还包括与控制器相连接的电源稳压模块、人机交互模块和CAN通信模块。

3.根据权利要求1所述的联合收获机喂入量在线预测装置，其特征在于，所述速度采集模块为霍尔传感器，霍尔传感器包括霍尔传感器探头(602)和磁钢(601)，磁钢(601)粘贴在联合收获机驱动轮(6)内侧的转轴上，霍尔传感器探头(602)每经过一个磁钢(601)，产生一次脉冲信号，通过信号输出端(603)将脉冲信号传输给主控制器。

4.根据权利要求1所述的联合收获机喂入量在线预测装置，其特征在于，所述支架(2)包括角铁(202)、长杆(205)、短杆和亚克力板，角铁(202)固定在收获机顶棚上，角铁(202)还固定长杆(205)一端，长杆(205)另一段与短杆一端垂直连接，短杆另一端固定亚克力板，亚克力板上固定图像采集模块和一个激光测距传感器(4)。

5.根据权利要求4所述的联合收获机喂入量在线预测装置，其特征在于，所述长杆(205)和短杆均设置在卡槽(204)中，长杆(205)、短杆和卡槽(204)上均设有圆孔，通过圆孔的配合，长杆(205)和短杆能够在卡槽(204)中伸缩。

6.一种根据权利要求1-5任一项所述的联合收获机喂入量在线预测装置的在线预测方法，其特征在于：

霍尔传感器将脉冲信号传输给主控制器，主控制器计算出联合收获机实时的作业速度；

主控制器通过激光测距传感器(4)发射激光的往返时间，分别计算出留茬高度及作物高度；

图像采集模块实时获取前方作物的图片，并传输给主控制器，得到作物的穗头个数；

粒子群算法得到的最优个体赋值给BP神经网络的初始权值和阈值，完成BP神经网络的训练，得到喂入量预测模型；作物的穗头个数、收获机的实时作业速度、留茬及作物高度作为喂入量预测模型的输入，输出为喂入量的预测值。

7.根据权利要求6所述的联合收获机喂入量在线预测装置的在线预测方法，其特征在于：所述作物的穗头个数获取过程为：对前方作物的图片依次进行灰度化处理、中值滤波处理、OTSU阈值分割去除土壤背景部分、填平图像被分割后的空洞，再通过检测区域的个数和角点数计算整个区域的穗头个数。

8.根据权利要求6所述的联合收获机喂入量在线预测装置的在线预测方法，其特征在于：所述粒子群算法得到最优个体的过程为：

①粒子群的初始化：整个空间的维数为该网络中所有权值和阈值之和；

②粒子适应度值：计算出期望输出和预测输出，并将它们各自误差的绝对值之和作为个体适应度

通过每个粒子初始位置结合个体适应度公式，计算出粒子的适应度值F_it[i]，其中n₂表示输出的节点数，y_i为神经网络网络中第i个点的期望输出，o_i为第i个点的预测输出，abs()为误差绝对的运算符，k′表示该式的系数；

③个体极值的更新：整个空间中第i个粒子搜寻到的最优位置作为个体极值P_best＝[p_i1,p_i2,...,p_id]^T,i＝1,2,...,n₂，将每一个粒子的适应度值F_it[i]与个体极值P_best(i)进行大小比较，如果F_it[i]>P_best(i)，则个体极值选用F_it[i]，反之则选用P_best(i)；

④群体极值的更新：整个过程中粒子群搜索到的最优位置的值被称为该群体的极值G_best＝[P_g1，P_g2，...P_gd]^T，g＝1，2，...，n₂，将每一个粒子的适应度值F_it[i]与群体极值G_best(i)进行大小比较，如果F_it[i]>G_best(i)，则群体极值用F_it[i]，反之则用G_best(i)；

⑤粒子速度和位置的更新：在每一次粒子迭代的过程中，粒子采用个体极值和群体极值，结合

和

更新自身的速度和位置，其中w代表惯性权重；d＝1,2,...,D；k为系统的迭代次数；v_id表示粒子的速度，X_id表示粒子的位置；c₁和c₂是加速度因子，通常情况下为非负常数；r₁和r₂是[0，1]之间的随机数。

Images