CN115280964B - 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机 - Google Patents

Abstract

本发明一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机，本发明采用收获机机架上的摄像机获取收获机前方作业环境，标定建立摄像机视场坐标与割刀坐标的映射关系；根据收获机前进速度自适应调整图像处理区域，对图像处理区域进行超绿特征灰度化、直方图均衡化、扫描线种子填充和闭运算处理，得到作物区域的中心坐标，采用最小二乘法拟合得到行驶规划路径；根据收获机实际运动状态与规划路径的误差，采用反步法构建差速驱动底盘控制律；以最大误差和误差积分作为评价标准，通过不同作业状态下的轨迹跟踪性能分析，得到相应的最优控制律参数，并将其作为训练样本，通过神经网络提出控制律参数的调整方法，提高轨迹跟踪的精度和稳定性。

Description

一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机

技术领域

本发明属于蔬菜收获机自动驾驶技术领域，具体涉及一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机。

背景技术

垄作栽培是我国茎叶蔬菜，如上海青、鸡毛菜，生菜、米苋、茼蒿、芦蒿、芹菜、荠菜、芫荽等的主要种植模式，它可以提高土温、增加土层厚度、土壤通气性、防止积水，从而提高产量。近年来，我国茎叶蔬菜机械化收获水平得到显著提升，新型收获机械不断涌现。茎叶蔬菜收获机整体结构可以分为底盘、机架、切割和转运收集等部件，底盘在垄间行走，割刀紧贴垄面将蔬菜根部切断，然后通过输送带转运收集。割刀的长度略长于种植垄面的宽度，作业过程中，需要保证割刀能够全覆盖垄面，以免造成漏切割，目前，收获作业主要是通过人工控制底盘行走轨迹完成。

路径规划和轨迹跟踪是实现收获机自动作业行驶的两个重要内容。茎叶蔬菜品种众多、种植环境和栽培模式也存在差异，难以通过预先设定路径实现自动收获作业，而需要根据实际蔬菜种植状态进行自主路径规划和轨迹跟踪。为了避免跨垄切割造成损失，割刀的长度通常略长于垄面宽度10-20cm，这对蔬菜种植状态识别、路径规划和轨迹跟踪的综合精度提出了较高的要求。

发明内容

针对上述技术问题，本发明的一个方式的目的之一是提出一种基于机器视觉的茎叶蔬菜收获机自动作业行驶方法，采用摄像机获取前进方向作业环境图片，根据前进速度自动调整处理区域，通过图像处理得到种植边界信息；通过坐标系的标定和转换，将图像种植边界信息转换为实际工作环境的位置信息，并采用最小二乘法拟合得到规划路径；计算收获机实际位姿状态与规划路径的误差，利用反步法控制完成轨迹跟踪；引入人工神经网络分析路径跟踪性能，提出最大误差和误差积分作为评价标准，自适应调整反步控制律的参数，提高轨迹跟踪的精度和稳定性。

本发明的一个方式的目的之一是提出一种实现所述茎叶蔬菜收获机自动作业行驶方法的系统。

本发明的一个方式的目的之一是提出一种包括所述系统的收获机。

注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。

本发明是通过以下技术手段实现上述技术目的的。

一种茎叶蔬菜收获机自动作业行驶方法，包括以下步骤：

步骤S1、标定坐标系的映射关系：标定摄像机视场坐标系与割刀坐标系的映射关系；

步骤S2、图像处理：通过摄像机获取前方的作业环境图片，采用图像处理方法获取叶菜种植边界位置信息；

步骤S3、作业路径规划：基于最小二乘拟合的作业路径规划，将步骤S2得到的摄像机视场坐标系下的作物边界位置信息，通过步骤S1的映射关系转换到割刀坐标系下，拟合计算得到作业路径；

步骤S4、轨迹跟踪：计算步骤S3得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左右驱动轮转速；

步骤S5、基于神经网络的控制参数自适应调整：将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，自适应调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向，实现收获机的自动作业行驶。

上述方案中，所述步骤S1标定摄像机视场坐标系与割刀坐标系的映射关系记为M_hi：

其中，x_k、y_k为割刀坐标，x_c、y_c为摄像机视场坐标，hi为割刀离地高度。

进一步的，所述步骤S2采用图像处理方法获取叶菜种植边界位置信息，具体包括以下步骤：

步骤S21、根据收获机前进速度v，在摄像机视场范围内选择处理区域；

步骤S22、采用超绿特征灰度化方法将处理区域图像转化为灰度图像：

式中：R(x,y)、G(x,y)、B(x,y)分别为原图像素点(x,y)的红、绿、蓝分量值，G_r(x,y)为处理后像素点(x,y)的灰度值；

步骤S23、对处理区域图像进行直方图均衡化，包括计算原图的像素总数N，计算原图的灰度分布频率r_i为灰度值，n_i为灰度值r_i的像素数量，计算原图的累积分布频率，得到输入与输出之间的映射关系：

式中：s_j为第j个灰度等级处理后的灰度值，j取0～L-1，r_i为第i个灰度等级的原灰度值，i取0～j，n_i为灰度值为r_i的像素数量，L为图像灰度级总数；

步骤S24、对处理区域图像进行图像区域分割，在处理区域图像上、下边中点连线上选择灰度值为255的点作为种子点，选择阈值，使用扫描线种子填充法分割目标区域和背景区域，目标区域即作物种植区域，其中目标作物为白色，背景区域为黑色；

步骤S25、对处理区域图像进行形态学滤波，根据图像上叶菜作物间空隙的平均大小和特点选择结构元进行闭运算，闭运算计算方法为：

式中：E为目标图像A中处理后的点，B为用于闭运算的结构元；

步骤S26、逐行扫描每个像素点的像素值，记录第一和最后一个像素值为255的像素点(Left__c、Right__c)的横坐标，存入[X_{Left_c}]、[X_{Right_c}]矩阵：

则每行255像素点的左右边界的像素坐标分别为：

式中：n为图像处理区域像素行数。

进一步的，所述步骤S21处理区域d＝kv，其中，k为时间，v为收获机的前进速度。

进一步的，所述步骤S3具体为：

在Left__c和Right__c有效值中各选择i个处于同一行的像素点，记为Left__sci、Right__sci，Left__sci、Right__sci所对应的行数记为y_sci，计算规划路径的特征点Point__ci：

根据摄像机视场坐标与割刀坐标的映射关系M_hi，将Point__ci从摄像机视场坐标系转换为割刀坐标系，得到Point__ki，采用最小二乘法对特征点Point__ki进行拟合，获得当前时刻作业规划路径l。

进一步的，所述步骤S4具体为：

以收获机履带底盘中心坐标系原点O_ch为中心，割刀径向为X_ch坐标，建立底盘坐标系X_chO_chY_ch，计算作业规划路径l与底盘坐标系X_ch轴的交点E，在底盘坐标系X_chO_chY_ch中的坐标为(x_che，0)，则x_che为X_ch方向的误差e₁，设Y_ch方向误差e₂＝0，作业规划路径l在交点(x_che，0)的切线方向与Y_ch轴的夹角即为航向偏差e₃，即e₃＝θ；

将误差(e₁，e₂，e₃)作为输入参数，得到收获机底盘中心速度v和角速度w的控制律为：

式中，控制参数k₁、k₂、k₃为正常数；根据v和w，计算得到左右驱动轮转速：

式中：w_L为左驱动轮转速，w_R为右驱动轮转速，b驱动轮轮距，r驱动轮半径。

进一步的，所述步骤S5中控制参数k₁、k₂、k₃的选择方法为：当收获机前进速度为v₀时，建立状态误差矩阵(v₀、e₁、e₃)，采用不同控制参数k₁、k₂、k₃，分别计算最大误差e_max和ITSE，以Eva＝a·e_max+b·ITSE为评价指标，其中a、b为权重，a+b＝1，时间乘平方误差积分准则判断跟踪效果，得到控制参数(k₁、k₂、k₃)；

控制参数k₁、k₂、k₃的自适应调整方法为：将状态误差矩阵(v₀、e₁、e₃)在设定范围内变化，优选(k₁、k₂、k₃)组合，得到N个状态误差矩阵(v₀、e₁、e₃)_i以及对应的(k₁、k₂、k₃)_i样本，输入BP神经网络进行训练，得到收敛的BP神经网络模型，即得到(k₁、k₂、k₃)＝f(v₀、e₁、e₃)，根据t时刻的状态误差矩阵(v₀、e₁、e₃)，通过BP神经网络模型计算得到k₁、k₂、k₃，实时调整k₁、k₂、k₃，计算得到收获机底盘中心速度v和角速度w。

一种实现所述茎叶蔬菜收获机自动作业行驶方法的系统，包括摄像机和控制单元；

所述摄像机用于获取割刀前方的作业区域图片，并传递给控制单元；控制单元通过摄像机获取前方的作业环境图片，并进行图像处理、路径规划、轨迹跟踪，计算得到收获机底盘中心速度v和角速度w的控制律，控制参数自适应调整，从而得到左驱动轮转速w_L和右驱动轮转速w_R，调整左驱动电动机和右驱动电动机的转速，控制收获机行进速度以及方向，实现收获机的自动作业行驶。

上述方案中，所述控制单元包括图像处理模块、路径规划模块、轨迹跟踪模块和控制参数自适应调整模块；

所述图像处理模块用于采用图像处理方法获取叶菜种植边界位置信息；

所述路径规划模块用于将得到的摄像机视场坐标系下的作物边界位置信息，通过摄像机视场坐标系与割刀坐标系的映射关系转换到割刀坐标系下，拟合计算得到作业路径；

所述轨迹跟踪模块用于计算得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左驱动轮转速w_L和右驱动轮转速w_R，进行轨迹跟踪；

所述控制参数自适应调整模块用于将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，实时调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向。

一种收获机，包括所述的茎叶蔬菜收获机自动作业行驶系统。

与现有技术相比，本发明的有益效果是：本发明采用收获机机架上的摄像机获取收获机前方作业环境，标定建立摄像机视场坐标与割刀坐标的映射关系；根据收获机前进速度自适应调整图像处理区域，对图像处理区域进行超绿特征灰度化、直方图均衡化、扫描线种子填充和闭运算处理，得到作物区域的中心坐标，采用最小二乘法拟合得到行驶规划路径；根据收获机实际运动状态与规划路径的误差，采用反步法构建差速驱动底盘控制律；以最大误差和误差积分作为评价标准，通过不同作业状态下的轨迹跟踪性能分析，得到相应的最优控制律参数，并将其作为训练样本，通过神经网络提出控制律参数的调整方法，提高轨迹跟踪的精度和稳定性。

注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。

附图说明

图1是本发明一实施方式的收获机整机主视图。

图2是本发明一实施方式的收获机整机俯视图。

图3是本发明一实施方式的摄像机视场坐标与割刀坐标的标定示意图。

图4是本发明一实施方式的作物边界坐标获取示意图。

图5是本发明一实施方式的基于最小二乘拟合的作业路径规划方法示意图。

图6是本发明一实施方式的底盘坐标系下作业路径误差计算示意图。

图7是本发明一实施方式的神经网络结构示意图。

图8是本发明一实施方式的硬件系统结构示意图。

图中：1、割刀，2、倾斜输送带，3、收获部件机架，4、电动缸，5、底盘平台，6、收集箱，7、底座支架，8、龙门支架，9、摄像机，10、左驱动电动机，11、左履带部件，12、右履带部件，13、右驱动电动机，14、嵌入式控制终端，15、差速电机控制器。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

图1所示为所述茎叶蔬菜收获机自动作业行驶方法的一种较佳实施方式，所述茎叶蔬菜收获机自动作业行驶方法，其特征在于，包括以下步骤：

步骤S1、标定摄像机9视场坐标系与割刀1坐标系的映射关系；

步骤S2、通过摄像机9获取前方的作业环境图片，采用图像处理方法获取叶菜种植边界位置信息；

步骤S3、基于最小二乘拟合的作业路径规划，将步骤S2得到的摄像机9视场坐标系下的作物边界位置信息，通过步骤S1的映射关系转换到割刀1坐标系下，拟合计算得到作业路径；

步骤S4、轨迹跟踪，计算步骤S3得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左右驱动轮转速；

步骤S5、基于神经网络的控制参数自适应调整，将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，自适应调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向，实现收获机的自动作业行驶。

根据本实施例，优选的，所述步骤S1标定摄像机9视场坐标系与割刀1坐标系的映射关系记为M_hi：

其中，x_k、y_k为割刀1坐标，x_c、y_c为摄像机9视场坐标，hi为割刀1离地高度。

根据本实施例，优选的，所述步骤S2采用图像处理方法获取叶菜种植边界位置信息，具体包括以下步骤：

步骤S21、根据收获机前进速度v，在摄像机9视场范围内自动调整选择一定的处理区域；

步骤S22、采用超绿特征灰度化方法(2G-R-B)将处理区域图像转化为灰度图像：

式中：R(x,y)、G(x,y)、B(x,y)分别为原图像素点(x,y)的红、绿、蓝分量值，G_r(x,y)为处理后像素点(x,y)的灰度值；

步骤S23、对处理区域图像进行直方图均衡化，包括计算原图的像素总数N，计算原图的灰度分布频率r_i为灰度值，n_i为灰度值r_i的像素数量，计算原图的累积分布频率，得到输入与输出之间的映射关系：

式中：s_j为第j个灰度等级处理后的灰度值，j取0～L-1，r_i为第i个灰度等级的原灰度值，i取0～j，n_i为灰度值为r_i的像素数量，L为图像灰度级总数；

步骤S24、对处理区域图像进行图像区域分割，在处理区域图像上、下边中点连线上选择灰度值为255的点作为种子点，选择合适的阈值，使用扫描线种子填充法分割目标区域和背景区域，目标区域即作物种植区域，其中目标作物为白色，背景区域为黑色；

步骤S25、对处理区域图像进行形态学滤波，根据图像上叶菜作物间空隙的平均大小和特点选择结构元进行闭运算(先膨胀再腐蚀)，去除叶菜作物或土地中的明亮孔洞，闭运算计算方法为：

式中：E为目标图像A中处理后的点，B为用于闭运算的结构元；

步骤S26、逐行扫描每个像素点的像素值，记录第一和最后一个像素值为255的像素点(Left__c、Right__c)的横坐标，存入[X_{Left_c}]、[X_{Right_c}]矩阵：

则每行255像素点的左右边界的像素坐标分别为：

式中：n为图像处理区域像素行数。

根据本实施例，优选的，所述步骤S21所述处理区域d＝kv，其中，k为时间，v为收获机的前进速度，处理区域d的图像大小根据收获机前进速度进行自动调整。

根据本实施例，优选的，所述步骤S3具体为：

在Left__c和Right__c有效值中各选择i个(i通常取10～15)处于同一行的像素点，记为Left__sci、Right__sci，Left__sci、Right__sci所对应的行数记为y_sci，计算规划路径的特征点Point__ci：

根据摄像机9视场坐标与割刀1坐标的映射关系M_hi，将Point__ci从摄像机视场坐标系转换为割刀坐标系，得到Point__ki，采用最小二乘法对特征点Point__ki进行拟合，通常拟合成直线l₁或二次曲线l₂，获得的l₁或l₂即为当前t＝0时刻作业规划路径l。

根据本实施例，优选的，所述步骤S4具体为：

以收获机履带底盘中心坐标系原点O_ch为中心，割刀1径向为X_ch坐标，建立底盘坐标系X_chO_chY_ch，计算作业规划路径l与底盘坐标系X_ch轴的交点E，在底盘坐标系X_chO_chY_ch中的坐标为(x_che，0)，则x_che为X_ch方向的误差e₁，不考虑作业前进速度的波动，设Y_ch方向误差e₂＝0，作业规划路径l在交点(x_che，0)的切线方向与Y_ch轴的夹角即为航向偏差e₃，即e₃＝θ；

将误差(e₁，e₂，e₃)作为输入参数，得到收获机底盘中心速度v和角速度w的控制律为：

式中，控制参数k₁、k₂、k₃为正常数；根据v和w，计算得到左右驱动轮转速：

式中：w_L和w_R分别为左、右驱动轮转速，b驱动轮轮距，r驱动轮半径。

根据本实施例，优选的，所述步骤S5中所述控制参数k₁、k₂、k₃的选择方法为，当收获机前进速度为v₀时，建立状态误差矩阵(v₀、e₁、e₃)，采用不同控制参数k₁、k₂、k₃，分别计算最大误差e_max和ITSE，以Eva＝a·e_max+b·ITSE为评价指标，其中a、b为权重，a+b＝1，判断不同k₁、k₂、k₃组合的优劣，其中，限制最大误差e_max，用于保证割刀1两端在作物边界外，避免漏割，时间乘平方误差积分准则判断跟踪效果，ITSE数值越小跟踪效果越好，得到合适的控制参数(k₁、k₂、k₃)；

控制参数k₁、k₂、k₃的自适应调整方法为，将状态误差矩阵(v₀、e₁、e₃)在设定范围内变化，并重复上述步骤，优选(k₁、k₂、k₃)组合，得到N个(v₀、e₁、e₃)_i以及对应的(k₁、k₂、k₃)_i样本，将上述N个样本输入BP神经网络进行训练，得到收敛的BP神经网络模型，即得到(k₁、k₂、k₃)＝f(v₀、e₁、e₃)，实际作业过程中，根据t时刻的状态误差矩阵(v₀、e₁、e₃)，通过BP神经网络模型计算得到合适的k₁、k₂、k₃，实时调整k₁、k₂、k₃，计算得到收获机底盘中心速度v和角速度w，从而实现控制参数的自适应调整。

一种实现所述茎叶蔬菜收获机自动作业行驶方法的系统，包括摄像机9和控制单元；

所述摄像机9用于获取割刀1前方的作业区域图片，并传递给控制单元；控制单元通过摄像机9获取前方的作业环境图片，并进行图像处理、路径规划、轨迹跟踪，计算得到收获机底盘中心速度v和角速度w的控制律，从而得到左驱动轮转速w_L和右驱动轮转速w_R，分别调整左驱动电动机10和右驱动电动机13的转速，控制收获机行进速度以及方向，实现收获机的自动作业行驶。

根据本实施例，优选的，所述控制单元采用图像处理方法获取叶菜种植边界位置信息；将得到的摄像机9视场坐标系下的作物边界位置信息，通过摄像机9视场坐标系与割刀1坐标系的映射关系转换到割刀1坐标系下，拟合计算得到作业路径；计算得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左驱动轮转速w_L和右驱动轮转速w_R，进行轨迹跟踪；将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，实时调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向，实现收获机的自动作业行驶。

本发明以差动履带式行走底盘为对象，根据垄作茎叶蔬菜栽培特点和收获需求，提出基于机器视觉的茎叶蔬菜收获机自动作业行驶方法，在作业环境信息获取、收获路径的实时规划和路径轨迹的自适应跟踪算法上进行创新，提高自动作业行驶的稳定性，减少漏割的情况。

一种收获机，包括所述的茎叶蔬菜收获机自动作业行驶系统。

根据本实施例，优选的，收获机整机结构、摄像机的安装和作业环境获取方式结合图1和图2：

收获机整机主要由收获执行部件和底盘行走部件构成，其中，收获执行部件主要包括往复运动的割刀1和倾斜输送带2，往复运动割刀1和倾斜输送带2均固定安装于收获部件机架3，并保持相对位置固定。

收获部件机架3通过电动缸4和底座支架7连接安装于底盘平台5上，通过电动缸4可以调整收获部件机架3的工作位置，即调整割刀1与垄面的高度h_i。

割刀1与垄面的高度h_i可以通过电动缸4活塞杆的位置信号获得。

优选的，所述摄像机9为单目相机，用于获取叶菜收获机的前方作业环境信息。

龙门支架8横跨倾斜输送带2上方，并固定安装于收获部件机架3，摄像机9固定安装于龙门支架8的中间位置，拍摄方向和收获机前进方向一致。

摄像机9安装后，应该保证收获机的割刀1在摄像机视场的下方、左右对称的中间区域，摄像机视场的上方覆盖割刀1前方作业区域，优选的，长度b约为3～5m。

由于摄像机9与收获部件机架3的位置固定，可以保证割刀1在摄像机视场中的位置固定，不会随着收获部件机架3的工作位置的改变而变化。

摄像机视场坐标系与割刀坐标系的映射关系标定结合图3：

如图3(a)所示，在摄像机视场获取的图片中，以割刀1中心在图片中的位置为坐标系原点O_c，割刀1径向为X_c轴，建立摄像机视场坐标系X_cO_cY_c。

如图3(b)所示，在割刀1离地高度为h_i平面内，以割刀1中心为坐标系原点O_khi，割刀1径向为X_k轴，建立割刀坐标系X_kO_khiY_k。

在h_i平面平铺坐标棋盘，以棋盘格点A_i点为例，获得其在摄像机视场坐标系X_cO_cY_c中的坐标A_ci，同时计算其在割刀坐标系X_kO_khiY_k中的坐标A_ki(x_ki,y_ki)。

根据视场内多个棋盘格点在摄像机视场的坐标和割刀坐标的关系，标定建立摄像机视场坐标系X_cO_cY_c和割刀坐标系X_kO_khiY_k的映射关系。

在不同离地高度位置h_i水平面重复上述标定，可以得到不同h_i情况下的摄像机视场坐标与割刀坐标的映射关系，记为M_hi

其中，x_k、y_k为割刀1坐标，x_c、y_c为摄像机9视场坐标，hi为割刀1离地高度。

叶菜种植边界位置信息的图像获取方法结合图4：

第一步：根据机器前进速度v，在摄像机视场范围内自动调整选择一定的处理区域，即割刀1前方一定距离d，即处理图像的区域d＝kv，其中，k通常为[1，3]范围常数。处理区域的图像大小根据机器前进速度进行自动调整，一方面能够有效获取收获机在下一个恒定时间内(k秒)的作业环境信息，另一方面也可以减小图像处理工作量。

第二步：采用超绿特征灰度化方法(2G-R-B)将处理区域图像转化为灰度图像，计算方法为

式中：R(x,y)、G(x,y)、B(x,y)分别为原图像素点(x,y)的红、绿、蓝分量值，G_r(x,y)为处理后像素点(x,y)的灰度值；

第三步：对处理区域图像进行直方图均衡化，包括计算原图的像素总数N，计算原图的灰度分布频率r_i为灰度值，n_i为灰度值r_i的像素数量，计算原图的累积分布频率，得到输入与输出之间的映射关系：

式中：s_j为第j个灰度等级处理后的灰度值，j取0～L-1，r_i为第i个灰度等级的原灰度值，i取0～j，n_i为灰度值为r_i的像素数量，L为图像灰度级总数；

第四步：对处理区域图像进行图像区域分割。在处理区域图像上、下边中点连线上选择灰度值为255的点作为种子点，选择合适的阈值，使用扫描线种子填充法分割目标区域(作物种植区域)和背景区域，其中目标作物为白色，背景区域为黑色。

第五步：对处理区域图像进行形态学滤波。根据图像上叶菜作物间空隙的平均大小和特点选择结构元进行闭运算(先膨胀再腐蚀)，去除叶菜作物或土地中的明亮孔洞，闭运算计算方法为：

式中：E为目标图像A中处理后的点，B为用于闭运算的结构元。

第六步：逐行扫描每个像素点的像素值，记录第一和最后一个像素值为255的像素点(Left__c和Right__c)的横坐标，存入[X_{Left_c}]、[X_{Right_c}]矩阵：

则每行255像素点的左右边界的像素坐标分别为：

式中：n为图像处理区域像素行数。

基于最小二乘拟合的作业路径规划方法结合图4和图5：

如图4所示，在Left__c和Right__c有效值中各选择i个(i通常取10～15)处于同一行的像素点，记为Left__sci、Right__sci，Left__sci、Right__sci所对应的行数记为y_sci，并计算规划路径的特征点Point__ci：

如图5所示，根据摄像机视场坐标与割刀坐标的映射关系M_hi，将Point__ci从摄像机视场坐标系转换为割刀坐标系，得到Point__ki，即Point__ki＝M_hi·Point__ci。

采用最小二乘法对特征点Point__ki进行拟合，通常拟合成直线l₁或二次曲线l₂，获得的l₁或l₂即为当前t＝0时刻作业规划路径l。根据处理图像的区域d＝kv的定义可知，所得到的路径为收获机未来k秒(t＝0～k)的路径。

作业路径误差计算及跟踪方法结合图6：

以收获机履带底盘中心为坐标系原点O_ch，为中心，割刀1径向为X_ch坐标，建立底盘坐标系X_chO_chY_ch。

底盘坐标系X_chO_chY_ch与割刀坐标系X_kO_khiY_k的水平位移为L，L为履带底盘中心到割刀1的水平距离。

以直线拟合路径为例，计算作业规划路径l₁与底盘坐标系X_ch轴的交点E，在底盘坐标系X_chO_chY_ch中的坐标为(x_che，0)，则x_che为X_ch方向的误差e₁。

不考虑作业前进速度的波动，设Y_ch方向误差e₂＝0。

规划路径l₁在交点(x_che，0)的切线方向与Y_ch轴的夹角即为航向偏差e₃，即e₃＝θ。

将误差(e₁，e₂，e₃)作为输入参数，得到收获机底盘中心速度v和角速度w的控制律分别为：

式中，控制参数k₁、k₂、k₃为正常数。

根据v和w，计算得到左右驱动轮转速：

式中：w_L为左驱动轮转速，w_R为右驱动轮转速，b驱动轮轮距，r驱动轮半径。

基于神经网络的控制参数自适应调整结合图7：

控制参数k₁、k₂、k₃选择的合理性决定了轨迹跟踪的稳定性。

限制最大误差e_max，保证割刀两端在作物边界外，减少漏割的情况。

利用时间乘平方误差积分准则判断跟踪效果，ITSE数值越小跟踪效果越好。

当收获机前进速度为v₀时，建立状态误差矩阵(v₀、e₁、e₃)，采用不同控制参数k₁、k₂、k₃，分别计算最大误差e_max和ITSE。

定义权重优化方法，确定不同的权重a、b(a+b＝1)，以A＝a·e_max+b·ITSE为评价指标，判断不同k₁、k₂、k₃组合的优劣，得到合适的控制参数(k₁、k₂、k₃)_i。

将(v₀、e₁、e₃)_i作为输入，对应合适的(k₁、k₂、k₃)_i作为输出，可以得到一组样本。

将(v₀、e₁、e₃)在一定范围内变化，并重复上述步骤，优选(k₁、k₂、k₃)组合，可以得到N个(v₀、e₁、e₃)_i以及对应的(k₁、k₂、k₃)_i样本。

将上述N个样本输入BP神经网络进行训练，得到收敛的BP神经网络模型，即得到(k₁、k₂、k₃)＝f(v₀、e₁、e₃)。

实际作业过程中，根据t时刻的状态误差矩阵(v₀、e₁、e₃)，通过BP神经网络模型计算得到合适的k₁、k₂、k₃，实时调整k₁、k₂、k₃，计算得到收获机底盘中心速度v和角速度w，从而实现控制参数的自适应调整，提高轨迹跟踪的稳定性。

行走控制系统的硬件结构结合图8：

根据本实施例，优选的，所述控制单元为嵌入式控制终端14，内部集成训练收敛的BP神经网络模型。

嵌入式控制终端14采集摄像机9输出的图片信号，完成图像处理、路径规划、轨迹跟踪等计算工作，得到左驱动轮转速w_L和右驱动轮转速w_R。

嵌入式控制终端14将左驱动轮转速w_L和右驱动轮转速w_R信号输入差速电机控制器15，分别调整左驱动电动机10和右驱动电动机13的转速，实现收获机的自动作业行驶。

下面结合实例做进一步的阐述：

所述摄像机9安装后，分别建立视场坐标系X_kO_khiY_k、割刀坐标系X_cO_cY_c、底盘坐标系X_chO_chY_ch及相应的标定关系。

工作过程中，设定采样周期为ΔT。

假设当前时刻t＝t₀时刻，通过摄像机9获取割刀1前方的作业环境图片，通过图像处理得到视场坐标系X_kO_khiY_k下的作物边界信息，然后转换到割刀坐标系X_cO_cY_c下，拟合计算规划路径，计算状态误差矩阵(v₀、e₁、e₃)，自适应调整控制参数k₁、k₂、k₃，驱动改变左驱动轮转速w_L和右驱动轮转速w_R，控制收获机在t₀～t₀+ΔT周期内行进速度以及方向。

在下一个周期t＝t₀+ΔT时刻，重复上述过程，实现收获机的自动作业行驶。

本发明采用收获机机架上的摄像机9获取收获机前方作业环境，标定建立摄像机视场坐标与割刀坐标的映射关系；根据收获机前进速度自适应调整图像处理区域，对图像处理区域进行超绿特征灰度化、直方图均衡化、扫描线种子填充和闭运算处理，得到作物区域的中心坐标，采用最小二乘法拟合得到行驶规划路径；根据收获机实际运动状态与规划路径的误差，采用反步法构建差速驱动底盘控制律；以最大误差和误差积分作为评价标准，通过不同作业状态下的轨迹跟踪性能分析，得到相应的最优控制律参数，并将其作为训练样本，通过神经网络提出控制律参数的调整方法，提高轨迹跟踪的精度和稳定性。

本发明通过作业方向短距离范围离散的采集作业环境、规划路径和轨迹跟踪，实现连续的收获作业自动行驶。根据前进速度自动调整处理区域的大小，可以稳定获取下一个恒定时间内(k秒)的作业环境信息，也可以减小图像处理工作量；规划的路径限制在未来的k秒范围，可以提高作业环境信息获取和图像处理的分辨率，规划路径约束在短距离范围，通过连续的短距离路径连接获得整个作业路径，也可降低由于垄面直线度低、作物生长差异对路径规划稳定性的影响；此外，通过反步控制律参数的自适应调整，则可以有效提高短距离轨迹跟踪的精度，减少漏切割的情况。

应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种茎叶蔬菜收获机自动作业行驶方法，其特征在于，包括以下步骤：

步骤S1、标定坐标系的映射关系：标定摄像机(9)视场坐标系与割刀(1)坐标系的映射关系；

所述步骤S1标定摄像机(9)视场坐标系与割刀(1)坐标系的映射关系记为M_hi：

其中，x_k、y_k为割刀(1)坐标，x_c、y_c为摄像机(9)视场坐标，hi为割刀(1)离地高度；

步骤S2、图像处理：通过摄像机(9)获取前方的作业环境图片，采用图像处理方法获取叶菜种植边界位置信息；

所述步骤S2采用图像处理方法获取叶菜种植边界位置信息，具体包括以下步骤：

步骤S21、根据收获机前进速度v，在摄像机(9)视场范围内选择处理区域；

步骤S22、采用超绿特征灰度化方法将处理区域图像转化为灰度图像：

式中：R(x,y)、G(x,y)、B(x,y)分别为原图像素点(x,y)的红、绿、蓝分量值，G_r(x,y)为处理后像素点(x,y)的灰度值；

步骤S23、对处理区域图像进行直方图均衡化，包括计算原图的像素总数N，计算原图的灰度分布频率r_i为灰度值，n_i为灰度值r_i的像素数量，计算原图的累积分布频率，得到输入与输出之间的映射关系：

式中：s_j为第j个灰度等级处理后的灰度值，j取0～L-1，r_i为第i个灰度等级的原灰度值，i取0～j，n_i为灰度值为r_i的像素数量，L为图像灰度级总数；

步骤S24、对处理区域图像进行图像区域分割，在处理区域图像上、下边中点连线上选择灰度值为255的点作为种子点，选择阈值，使用扫描线种子填充法分割目标区域和背景区域，目标区域即作物种植区域，其中目标作物为白色，背景区域为黑色；

步骤S25、对处理区域图像进行形态学滤波，根据图像上叶菜作物间空隙的平均大小和特点选择结构元进行闭运算，闭运算计算方法为：

式中：E为目标图像A中处理后的点，B为用于闭运算的结构元；

步骤S26、逐行扫描每个像素点的像素值，记录第一和最后一个像素值为255的像素点(Left__c、Right__c)的横坐标，存入[X_{Left_c}]、[X_{Right_c}]矩阵：

则每行255像素点的左右边界的像素坐标分别为：

式中：n为图像处理区域像素行数；

步骤S3、作业路径规划：将步骤S2得到的摄像机(9)视场坐标系下的作物边界位置信息，通过步骤S1的映射关系转换到割刀(1)坐标系下，拟合计算得到作业路径；

步骤S4、轨迹跟踪：计算步骤S3得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左右驱动轮转速；

步骤S5、基于神经网络的控制参数自适应调整：将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，自适应调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向。

2.根据权利要求1所述的茎叶蔬菜收获机自动作业行驶方法，其特征在于，所述步骤S21处理区域d＝kv，其中，k为时间，v为收获机的前进速度。

3.根据权利要求1所述的茎叶蔬菜收获机自动作业行驶方法，其特征在于，所述步骤S3具体为：

在Left__c和Right__c有效值中各选择i个处于同一行的像素点，记为Left__sci、Right__sci，Left__sci、Right__sci所对应的行数记为y_sci，计算规划路径的特征点Point__ci：

根据摄像机(9)视场坐标与割刀(1)坐标的映射关系M_hi，将Point__ci从摄像机视场坐标系转换为割刀坐标系，得到Point__ki，采用最小二乘法对特征点Point__ki进行拟合，获得当前时刻作业规划路径l。

4.根据权利要求3所述的茎叶蔬菜收获机自动作业行驶方法，其特征在于，所述步骤S4具体为：

以收获机履带底盘中心坐标系原点O_ch为中心，割刀(1)径向为X_ch坐标，建立底盘坐标系X_chO_chY_ch，计算作业规划路径l与底盘坐标系X_ch轴的交点E，在底盘坐标系X_chO_chY_ch中的坐标为(x_che，0)，则x_che为X_ch方向的误差e₁，设Y_ch方向误差e₂＝0，作业规划路径l在交点(x_che，0)的切线方向与Y_ch轴的夹角即为航向偏差e₃，即e₃＝θ；

将误差(e₁，e₂，e₃)作为输入参数，得到收获机底盘中心速度v和角速度w的控制律为：

式中，控制参数k₁、k₂、k₃为正常数，根据v和w，计算得到左右驱动轮转速：

式中：w_L为左驱动轮转速，w_R为右驱动轮转速，b驱动轮轮距，r驱动轮半径。

5.根据权利要求4所述的茎叶蔬菜收获机自动作业行驶方法，其特征在于，所述步骤S5中控制参数k₁、k₂、k₃的选择方法为：当收获机前进速度为v₀时，建立状态误差矩阵(v₀、e₁、e₃)，采用不同控制参数k₁、k₂、k₃，分别计算最大误差e_max和ITSE，以Eva＝a·e_max+b·ITSE为评价指标，其中a、b为权重，a+b＝1，时间乘平方误差积分准则判断跟踪效果，得到控制参数(k₁、k₂、k₃)；

控制参数k₁、k₂、k₃的自适应调整方法为：将状态误差矩阵(v₀、e₁、e₃)在设定范围内变化，确定为(k₁、k₂、k₃)组合，得到N个状态误差矩阵(v₀、e₁、e₃)_i以及对应的(k₁、k₂、k₃)_i样本，输入BP神经网络进行训练，得到收敛的BP神经网络模型，即得到(k₁、k₂、k₃)＝f(v₀、e₁、e₃)，根据t时刻的状态误差矩阵(v₀、e₁、e₃)，通过BP神经网络模型计算得到k₁、k₂、k₃，实时调整k₁、k₂、k₃，计算得到收获机底盘中心速度v和角速度w。

6.一种实现权利要求1-5任意一项所述茎叶蔬菜收获机自动作业行驶方法的系统，其特征在于，包括摄像机(9)和控制单元；

所述摄像机(9)用于获取割刀(1)前方的作业区域图片，并传递给控制单元；控制单元通过摄像机(9)获取前方的作业环境图片，并进行图像处理、路径规划、轨迹跟踪，计算得到收获机底盘中心速度v和角速度w的控制律，控制参数自适应调整，从而得到左驱动轮转速w_L和右驱动轮转速w_R，调整左驱动电动机(10)和右驱动电动机(13)的转速，控制收获机行进速度以及方向。

7.根据权利要求6所述的茎叶蔬菜收获机自动作业行驶系统，其特征在于，所述控制单元包括图像处理模块、路径规划模块、轨迹跟踪模块和控制参数自适应调整模块；

所述图像处理模块用于采用图像处理方法获取叶菜种植边界位置信息；

所述路径规划模块用于将得到的摄像机(9)视场坐标系下的作物边界位置信息，通过摄像机(9)视场坐标系与割刀(1)坐标系的映射关系转换到割刀(1)坐标系下，拟合计算得到作业路径；

所述轨迹跟踪模块用于计算得到的作业路径与当前位姿的误差，将误差作为输入参数，得到收获机底盘中心速度v和角速度w的控制律，从而得到左驱动轮转速w_L和右驱动轮转速w_R，进行轨迹跟踪；

所述控制参数自适应调整模块用于将建立的状态误差矩阵作为BP神经网络模型的输入，控制律的控制参数作为输出，实时调整控制参数，计算得到收获机底盘中心速度v和角速度w，控制收获机行进速度以及方向。

8.一种收获机，其特征在于，包括权利要求6或7所述的茎叶蔬菜收获机自动作业行驶系统。