CN114296443B - 一种无人驾驶模块化联合收割机 - Google Patents

Abstract

本发明提出了一种可以进行自动避障的无人驾驶模块化联合收割机，在CMYK通道中处理由图像采集子系统采集的图片，对时域图像和频域图像进行了处理，通过在频域中得到的的增长因子对时域的作业环境图片进行了改善，解决了利用原始图片进行自动避障精度低的技术问题。通过本发明，可以使无人驾驶模块化联合收割机的自动避障能力大大提高，提升了利用联合收割机作业的效率。

Description

一种无人驾驶模块化联合收割机

技术领域

本发明涉及联合收割机技术领域，尤其涉及到一种无人驾驶模块化联合收割机。

背景技术

我国农业机械的发展经历了一个比较漫长的发展过程。从一开始的老牛犁地的比较落后的生产方式发展到后来的小型化农业机械的应用，发展到现在，联合收割机已经在我国实现了比较大规模的应用。到现在为止，我国农业机械化的使用率已经达到了80％以上，除了个别地区之外，我国已经基本实现了农业的机械化生产。

在农业机械中，联合收割机可以说是最重要的机械之一，其可以大大提高农业生产的效率。由于联合收割机的重要性，各个研究所和企业对于联合收割机的研发都投入了相当大的资源。

近年来，随着计算技术的发展，联合收割机的无人化已经成为了联合收割机研究的热点，如何通过智能化技术，进一步扩展联合收割机的功能，进一步提升联合收割机的效率，进一步解放农民的生产力是行业内最为关心的问题也是关系着国计民生的大事。

联合收割机的价格昂贵，其作业环境中往往包括除了农作物在外的各种复杂的物体，例如存在行人、坚硬的石块以及其他各种意想不到的障碍物，这种复杂的环境是联合收割机维修率居高不小的一个重要原因。因此，在设计无人驾驶联合收割机的时候，其避障问题是需要被首要考虑的。

在进行联合收割机自动避障的研究过程中，我们利用放置在收割机顶部的三枚摄像头收集了联合收割机前左右三个个方向的环境照片，利用现有的一些用于无人驾驶汽车避障算法对照片进行识别和分析的时候，由于联合收割机的作业环境特殊，收集到的照片干扰性很强，造成了其识别效率很低，避障效果很差，完全达不到实用的级别。

发明内容

针对现有的联合收割机所遇到的问题，我们设计了一种全新的方法，通过引进增长因子，降低了由摄像头收集的照片中的干扰。

我们将降噪之后的图像数据输入我们已经训练好的无人驾驶深度学习模型之后与降噪之前的数据进行对比文，我们发现通过我们提出的新的降噪方法进行处理之后的图像数据比直接利用原始图像数据进行障碍识别和避障的整体效果得到了大大提高。

我们的实施方案具体如下：

一种无人驾驶模块化联合收割机，其包括收割机主体，图像采集系统和图像处理系统；

所述联合收割机主体包括多个子模块，分别为，通用发动机，犁地模块，插秧模块，农药喷洒模块，运输模块，犁地模块，插秧模块，农药喷洒模块以及运输模块可加载与动力底盘之上以实现多功能联合收割作业。

所述无人驾驶模块化联合收割机可通过如下步骤实现智能避障：

步骤1：设置摄像头拍摄时间间隔，构建环境图像递推公式，具体为：η_i＝p(η_i-1)+q(s_i)，η_i为在i时刻由三个摄像头收集到的照片经过图像处理后的CMYK时域灰度值，s_i为在i时刻由三个摄像头收集到的照片经过图像处理后的RGB时域灰度值，具体为

步骤2：对所述CMYK时域灰度值η_i进行进行离散时间傅里叶变换得到其频域灰度值Ξ_k，对所述RGB时域灰度值s_i进行离散时间傅里叶变换得到其频域灰度值S_k；具体为 其中j为基本虚数单位/>

步骤3：对Ξ_k，S_k进行二次变换得到ξ_k＝p(Ξ_k-1)，J_k＝q(S_k-1)；

步骤4：计算增长因子：α_i＝ξ_i/J_i；

步骤5：利用所述增长因子重构所述环境图像递推公式，具体为：

η_i＝α_ip(η_i-1)+(1-α_i)q(s_i-1)；

步骤6：根据步骤5中的公式，对摄像头采集到的照片CMYK通道的灰度值进行重建，并生成重建后的图像；

步骤7：利用重建之后的图像进行深度学习模型避障模型训练，具体训练方法包括如下步骤：

步骤7.1：对重建之后的图像数据进行障碍物标记和安全避障距离标记；

步骤7.2：根据所述障碍物标记和安全避障距离标记，设定所述联合收割机以距障碍物安全避障距离为半径R，以R为半径训练所述联合收割机做圆周运动以绕过所述障碍物；

步骤7.3：以δ为间隔，逐步减小半径的值，反复多次训练以得到被标记障碍物的最小安全避障距离r；

步骤7.4：训练完成，得到不同障碍物的不同最小安全避障距离r；

步骤8：所述联合收割机以r为半径做圆周运动以绕过所述障碍物。

此外，我们还提出了一种应用于模块化联合收割机上的无人驾驶方法，其在无人驾驶的情况下可实现高精度的自动避障，其具体实现步骤如下：

步骤1：设置摄像头拍摄时间间隔，构建环境图像递推公式，具体为：η_i＝p(η_i-1)+q(s_i)，η_i为在i时刻由三个摄像头收集到的照片经过图像处理后的CMYK时域灰度值，s_i为在i时刻由三个摄像头收集到的照片经过图像处理后的RGB时域灰度值，具体为

步骤2：对所述CMYK时域灰度值η_i进行进行离散时间傅里叶变换得到其频域灰度值Ξ_k，对所述RGB时域灰度值s_i进行离散时间傅里叶变换得到其频域灰度值S_k；具体为 其中j为基本虚数单位/>

步骤3：对Ξ_k，S_k进行二次变换得到ξ_k＝p(Ξ_k-1)，J_k＝q(S_k-1)；

步骤4：计算增长因子：α_i＝ξ_i/J_i；

步骤5：利用所述增长因子重构所述环境图像递推公式，具体为：η_i＝α_ip(η_i-1)+(1-α_i)q(s_i-1)；

步骤6：根据步骤5中的公式，对摄像头采集到的照片CMYK通道的灰度值进行重建，并生成重建后的图像；

步骤7：利用重建之后的图像进行深度学习模型避障模型训练，具体训练方法包括如下步骤：

步骤7.1：对重建之后的图像数据进行障碍物标记和安全避障距离标记；

步骤7.2：根据所述障碍物标记和安全避障距离标记，设定所述联合收割机以距障碍物安全避障距离为半径R，以R为半径训练所述联合收割机做圆周运动以绕过所述障碍物；

步骤7.3：以δ为间隔，逐步减小半径的值，反复多次训练以得到被标记障碍物的最小安全避障距离r；

步骤7.4：训练完成，得到不同障碍物的不同最小安全避障距离r；

步骤8：所述联合收割机以r为半径做圆周运动以绕过所述障碍物。

附图说明

图1为本发明中联合收割机的系统结构图；

图2为本申请的一个实施例的流程图；

图3为通过本申请利用本申请处理后的图像数据训练得到的模型和原始图像进行训练得到的模型分别进行100次避障测试得到的针对不同障碍物的测试成功次数对比图。

具体实施方式

为了使本发明更加清楚，下面结合附图对本发明进行进一步解释说明，可以明确的是，在此描述的实施例仅仅用于对相关发明做出解释说明而并非对于发明保护范围的限定，本领域技术人员可以根据本发明的内容未经过创造性劳动而应用的方法和开发的产品都应该属于本发明的保护范围之内。

一方面，我国农业机械的发展迅速，农业机械化率已经达到了80％以上，另一发明由于新型技术的发展，我国的智能农具的发展还比较缓慢。

联合收割机作为最重要的农业机械之一，其可以大大提高农业生产的效率，也正是这个原因，各个研究所和企业对于联合收割机的研发近些年来都投入了巨大的资源。随着计算技术的发展，智能联合收割机的已经成为了联合收割机研究的热点，在这些热点之中，由于联合收割机的作业环境中往往比较复杂，环境中往往存在行人、坚硬的石块以及其他各种意想不到的障碍物，实现对于障碍物的避障是实现无人联合收割机的核心问题。

针对现有的联合收割机所遇到的问题，我们设计了一种全新的方法，通过引进增长因子，降低了由摄像头收集的联合收割机作业环境照片中的干扰。

我们将降噪之后的图像数据输入我们已经训练好的无人驾驶深度学习模型之后与降噪之前的数据进行对比，我们发现通过我们提出的新的降噪方法进行处理之后的图像数据比直接利用原始图像数据进行障碍识别和避障的整体效果大大得到了提高。

如图1所示，本申请中的无人驾驶模块化联合收割机，其包括收割机主体，图像采集系统和图像处理系统，所述联合收割机主体包括多个子模块，分别为，通用发动机，犁地模块，插秧模块，农药喷洒模块，运输模块，犁地模块，插秧模块，农药喷洒模块以及运输模块可加载与动力底盘之上以实现多功能联合收割作业；

图2给出了实现本申请实施例的一个流程；

我们的实施方案具体如下：

一种无人驾驶模块化联合收割机，通过如下步骤实现联合收割机避障：

步骤1：设置摄像头拍摄时间间隔，构建环境图像递推公式，具体为：η_i＝p(η_i-1)+q(s_i)，η_i为在i时刻由三个摄像头收集到的照片经过图像处理后的CMYK时域灰度值，si为在i时刻由三个摄像头收集到的照片经过图像处理后的RGB时域灰度值，具体为

其中函数p(x)＝A*x²，q(x)＝B*x， p(x)＝A*x²，q(x)＝B*x，*代表卷积操作；

步骤2：对所述CMYK时域灰度值η_i进行进行离散时间傅里叶变换得到其频域灰度值Ξ_k，对所述RGB时域灰度值s_i进行离散时间傅里叶变换得到其频域灰度值S_k；具体为 其中j为基本虚数单位/>

步骤3：对Ξ_k，S_k进行二次变换得到ξ_k＝p(Ξ_k-1)，J_k＝q(S_k-1)；

步骤4：计算增长因子：α_i＝ξ_i/J_i；

步骤5：利用所述增长因子重构所述环境图像递推公式，具体为：η_i＝α_ip(η_i-1)+(1-α_i)q(s_i-1)；

步骤6：根据步骤5中的公式，对摄像头采集到的照片CMYK通道的灰度值进行重建，并生成重建后的图像；

步骤7：利用重建之后的图像进行深度学习模型避障模型训练，所述模型为具体训练方法包括如下步骤：

步骤7.1：对重建之后的图像数据进行障碍物标记和安全避障距离标记；

步骤7.2：根据所述障碍物标记和安全避障距离标记，设定所述联合收割机以距障碍物安全避障距离为半径R，以R为半径训练所述联合收割机做圆周运动以绕过所述障碍物；

步骤7.3：以δ为间隔，逐步减小半径的值，反复多次训练以得到被标记障碍物的最小安全避障距离r；

步骤7.4：训练完成，得到不同障碍物的不同最小安全避障距离r；

步骤8：所述联合收割机以r为半径做圆周运动以绕过所述障碍物；

如图3所示，通过测试对比，我们发现利用本申请处理后的图像数据训练得到的模型相比比利用原始图像进行训练得到的模型的避障效果得到了显著的提升。

Claims (3)

1.一种无人驾驶模块化联合收割机，其特征在与：所述无人驾驶模块化联合收割机包括收割机主体，图像采集系统和图像处理系统；

所述无人驾驶模块化联合收割机可通过如下步骤实现智能避障：

步骤1：设置摄像头拍摄时间间隔，构建环境图像递推公式，具体为：，/>为在i时刻由三个摄像头收集到的照片经过图像处理后的CMYK时域灰度值，/>i为在i时刻由三个摄像头收集到的照片经过图像处理后的RGB时域灰度值，具体为

，

；

步骤2：对所述CMYK时域灰度值进行傅里叶变换得到其频域灰度值/>，对所述RGB时域灰度值/> _i进行傅里叶变换得到其频域灰度值/>，所述傅里叶变换具体为离散时间傅里叶变换，公式如下：/>，/>，其中/>为基本虚数单位/>；

步骤3：对，/>进行二次变换，具体为：/>，/>；

步骤4：计算增长因子，具体为：；

步骤5：利用所述增长因子重构所述环境图像递推公式，具体为

，其中函数

，/>，

，/>代表卷积操作；

步骤6：根据步骤5中的结果，对摄像头采集到的照片CMYK通道的灰度值进行重建，并生成重建后的图像；

步骤7：利用重建之后的图像进行深度学习模型避障模型训练得到不同障碍物的最小安全避障距离r；

步骤8：所述联合收割机以r为半径做圆周运动以绕过所述障碍物。

2.如权利要求1所述的无人驾驶模块化联合收割机，其特征在于：

所述联合收割机主体包括多个子模块，分别为通用动力底盘，通用发动机，犁地模块，插秧模块，农药喷洒模块，运输模块，所述犁地模块，插秧模块，农药喷洒模块以及运输模块可加载与动力底盘之上以实现多功能联合收割作业。

3.如权利要求2所述的无人驾驶模块化联合收割机，其特征在于：所述步骤7具体为：

步骤7.1：对重建之后的图像数据进行障碍物标记和安全避障距离标记；

步骤7.2：根据所述障碍物标记和安全避障距离标记，设定所述联合收割机以距障碍物安全避障距离为半径R，以R为半径训练所述联合收割机做圆周运动以绕过所述障碍物；

步骤7.3：以δ为间隔，逐步减小半径的值，反复多次训练以得到被标记障碍物的最小安全避障距离r；

步骤7.4：训练完成，得到不同障碍物的最小安全避障距离r。