CN109949198B - 一种麦田边界检测装置和检测方法 - Google Patents

Abstract

一种麦田边界检测装置和检测方法，该检测装置安装在田间机器人上，包括：彩色摄像头，固定于所述田间机器人的车头前方，用于获取田间机器人正前方视场的麦田区域图像；开发板，安装在所述田间机器人的机身内，通过串口与所述田间机器人的控制板连接进行控制，所述开发板通过USB接口与所述彩色摄像头连接并进行数据传输，所述开发板内存储有麦田集成模型；其中，采用所述麦田集成模型对所述彩色摄像头获取的麦田图像进行处理分析，并在所述开发板中进行计算和判断，根据判断结果向所述控制板输出指令；若发现麦田边界，则发送指令控制所述田间机器人停车或转弯。本发明还公开了使用该检测装置的麦田边界检测方法。

Description

一种麦田边界检测装置和检测方法

技术领域

本发明涉及农林种植维护保障技术，特别是一种基于集成模型的麦田边界检测方法。

背景技术

使人们在高强度的耕作劳动中得到解放，将精力用在机器无法代替的脑力劳动中，将简单、耗时又浪费体力的劳动工作用智能机器人代替正是研究田间机器人的初衷。相对于传统田间机器人，智能田间机器人无论是在科技含量还是自动化程度上都有一定的优势。它通过智能系统的操控进行独立工作，并采用了对环境危害较小的清洁能源，节约了大量的人力，也减少了污染。

发达国家已经陆续推出了一批自动化程度较高的田间机器人，尤其是将传感器技术、路径识别技术、工作边界自我识别技术和智能避障技术进行融合，极大地提高了劳动生产率和工作效率。现有技术的割草设备自动化水平较低，缺乏智能化特性，劳动强度大，不能满足智能化工作的需求，与现代劳作理念相差较远。

发明内容

本发明所要解决的技术问题是针对智能田间机器人工作边界自我识别的问题，提供一种基于集成模型的麦田边界检测装置和检测方法，以对麦田边界进行自动检测。

为了实现上述目的，本发明提供了一种麦田边界检测装置，安装在田间机器人上，其中，包括：

彩色摄像头，固定于所述田间机器人的车头前方，用于获取田间机器人正前方视场的麦田区域图像；以及

开发板，安装在所述田间机器人的机身内，通过串口与所述田间机器人的控制板连接进行控制，所述开发板通过USB接口与所述彩色摄像头连接并进行数据传输，所述开发板内存储有麦田集成模型；

其中，采用所述麦田集成模型对所述彩色摄像头获取的麦田图像进行处理分析，并在所述开发板中进行计算和判断，根据判断结果向所述控制板输出指令；若发现麦田边界，则发送指令控制所述田间机器人停车或转弯。

上述的麦田边界检测装置，其中，所述彩色摄像头距离地面高45-55cm，且所述彩色摄像头向下倾斜40-45度。

上述的麦田边界检测装置，其中，所述麦田集成模型包括麦田临时模型、麦田相似度模型、麦田预设模型和/或麦田轮廓模型。

为了更好地实现上述目的，本发明还提供了一种麦田边界检测方法，其中，通过上述的麦田边界检测装置进行检测，包括如下步骤：

S100、开机，启动彩色摄像头和开发板，所述彩色摄像头开始采集待测麦田区域图像；

S200、工作区域初始化，根据所述彩色摄像头获取的麦田区域图像判断所述彩色摄像头是否到达麦田区域，若没有达到麦田区域，则初始化失败，关机结束运行；若到达麦田区域，则初始化成功；

S300、麦田模型初始化，以所述彩色摄像头获取的第一帧麦田图像为基准，进行麦田临时模型初始化，同时进行麦田相似度模型、麦田预设模型和麦田轮廓模型的参数初始化；

S400、获取图像数据，通过所述彩色摄像头持续获取麦田图像数据，并传输到所述开发板；

S500、集成模型判断，所述开发板根据获取的所述麦田图像数据，利用所述开发板内存储的麦田集成模型进行判断，若判断为麦田边界，则发送停车指令，使所述田间机器人停止行进；若判断为非麦田边界，则发送行进指令，使所述田间机器人继续行进。

上述的麦田边界检测方法，其中，还包括如下步骤：

S600、结束检测判断，判断是否检测完毕，若检测完毕，则结束程序，退出麦田边界检测装置；若没有检测完毕，则返回步骤S400，继续获取图像数据。

上述的麦田边界检测方法，其中，所述开发板内存储的麦田集成模型为利用彩色图像中的颜色和纹理信息建立的麦田临时模型、麦田相似度模型、麦田轮廓模型和麦田预设模型。

上述的麦田边界检测方法，其中，所述麦田临时模型采用如下方法建立：

将采集的初始麦田图像进行初始化，截取其下方视场1/3RGB彩色图像，取其均值MEAN_rgb为当前视场麦田RGB临时模型基准；

限定其RGB范围为MEAN_rgb-δ≤RGB≤MEAN_rgb+δ，建立麦田临时模型；

满足所述麦田临时模型的像素为小麦，反之为非小麦；

随着田间机器人行进过程中，不断更新麦田临时模型，每m帧以学习率λ进行更新，其更新方式如下：

MEAN_rgb'＝λ×MEAN_rgb'+(1-λ)MEAN_rgb

其中m＝5，λ＝0.3，MEAN_rgb'为新获取的图像下方视场均值。

上述的麦田边界检测方法，其中，所述麦田相似度模型采用如下方法建立：

分别截取彩色摄像头获取的图像的上下1/5图像作为比较对象，设为x,y，按下式求出其结构相似度：

其中μ_x,μ_y分别为输入x,y的均值，

分别为输入的方差，σ_xy为输入的协方差，c₁,c₂为常数；

将截取的图像x,y分别分割成a×b个网格，分别求取每个网格各通道的均值，该均值为此区域的特征；

分别将每个通道的均值串联起来即为图像的n维特征向量，设为f；

按上述规则分别求得图像x,y的单通道特征向量f₁,f₂，其相似度为各通道计算结果的均值：

计算相似度s：

s＝0.75×s₁+0.25×s₂。

上述的麦田边界检测方法，其中，所述麦田预设模型采用如下方法建立：

将采集的RGB彩色图像转换为HSV空间图像；

通过对色调H、饱和度S和亮度V进行限定，对图像进行对应颜色分割，HSV三通道限定范围为：

根据预设的麦田HSV分量的有效范围对麦田图像进行分割，将分割后的图像麦田像素置为255，非麦田像素置为0；

进行分割麦田的绿色通道的增强，调整分割图像，以认定为小麦的像素为中心，判断设定范围内的图像小麦像素数量比例，若小麦像素数量超过总像素数的阈值，则认定全部设定范围为小麦。

上述的麦田边界检测方法，其中，所述麦田轮廓模型采用如下方法建立：

对麦田预设模型中获取的分割图像进行轮廓查到，利用opencv提供的处理库寻找其最大联通域轮廓，计算该轮廓面积占图像总面积的比例；

若最大轮廓的面积比例大于设定阈值，则该图像为非麦田边界；

若最大轮廓的面积比例小于所述设定阈值，则该图像为麦田边界。

本发明的技术效果在于：

本发明基于集成模型，由彩色摄像头、嵌入式开发板和田间机器人进行实验检测，实现麦田边界自动检测。在田间机器人行进过程中，利用彩色摄像头获取田间机器人正前方视场的麦田图像，并输入嵌入式开发板，将麦田边界检测算法集成在开发板上，用于麦田图像的处理和边界检测。若检测出麦田边界，则向田间机器人控制模块发送停止信号。该算法能够自动检测麦田边界，有效地限定自动田间机器人工作范围，对田间机器人的智能控制具有极其重要的意义。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的麦田边界检测装置结构示意图；

图2为本发明一实施例的麦田边界检测方法原理图；

图3为本发明一实施例的麦田集成模型建立原理图；

图4为本发明一实施例的相似度计算图像网格分割示意图；

图5为本发明一实施例的HSV颜色模型示意图。

其中，附图标记

1 田间机器人

2 彩色摄像头

3 开发板

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

参见图1，图1为本发明一实施例的麦田边界自动检测装置结构示意图。本发明的麦田边界检测装置，安装在田间机器人1上，包括：彩色摄像头2，固定于所述田间机器人1的车头前方，用于获取田间机器人1正前方视场的麦田区域图像，所述彩色摄像头2距离地面高45-55cm，优选50cm，且所述彩色摄像头2向下倾斜40-45度；以及开发板3，优选嵌入式开发板，安装在所述田间机器人1的机身内，通过串口与所述田间机器人1的控制板连接进行控制，所述开发板3通过USB接口与所述彩色摄像头2连接并进行数据传输，所述开发板3内存储有麦田集成模型，所述麦田集成模型包括麦田临时模型、麦田相似度模型、麦田预设模型和/或麦田轮廓模型；其中，采用所述麦田集成模型对所述彩色摄像头2获取的麦田图像进行处理分析，并在所述开发板3中进行计算和判断，根据判断结果向所述控制板输出指令；若发现麦田边界，则发送指令控制所述田间机器人1停车或转弯。

参见图2，图2为本发明一实施例的麦田边界检测方法原理图。本发明的麦田边界检测方法，通过上述麦田边界检测装置进行检测，利用机器视觉技术，采用集成模型的方法对彩色摄像头2获取的麦田图像进行处理分析，在嵌入式开发板3中进行计算，根据判断结果向控制模块输出指令。若发现麦田边界，则发送停止指令，控制田间机器人1停车或转弯。包括如下步骤：

步骤S100、开机，启动彩色摄像头2和开发板3，运行基于集成模型的麦田边界检测装置，所述彩色摄像头2开始采集待测麦田区域图像；

步骤S200、工作区域初始化，由于麦田集成模型中需要本地麦田的图像作为当前样本进行初始化，需要麦田边界检测装置运行在麦田上，所以要判断摄像头是否到达麦田区域。根据所述彩色摄像头2获取的麦田区域图像判断所述彩色摄像头2是否到达麦田区域，若没有达到麦田区域，则麦田边界检测装置初始化失败，关机结束运行；若到达麦田区域，则初始化成功；

步骤S300、麦田模型初始化，初始化成功后，以所述彩色摄像头2获取的第一帧麦田图像为基准，进行麦田临时模型初始化，同时进行其他模型如麦田相似度模型、麦田预设模型和麦田轮廓模型的参数初始化；

步骤S400、获取图像数据，通过所述彩色摄像头2持续获取麦田图像数据，并传输到所述开发板3进行进一步处理和分析；

步骤S500、集成模型判断，所述开发板3根据获取的所述麦田图像数据作为输入，利用所述开发板3内存储的麦田集成模型进行判断，若判断为麦田边界，则发送停车指令，使所述田间机器人1停止行进；若判断为非麦田边界，则发送行进指令，使所述田间机器人1继续行进。

本实施例中，还可包括如下步骤：

步骤S600、结束检测判断，判断是否检测完毕，若检测完毕，则结束程序，退出麦田边界检测装置；若没有检测完毕，则返回步骤S400，继续获取图像数据。待全部检测完成后，关机，结束麦田边界检测装置运行。

参见图3，图3为本发明一实施例的麦田集成模型建立原理图。所述开发板3内存储的麦田集成模型为利用彩色图像中的颜色和纹理信息建立的麦田临时模型、麦田相似度模型、麦田轮廓模型和麦田预设模型。针对麦田边界识别中光照强度、麦田稀疏度不同等问题，利用麦田边界处具有明显的颜色和纹理差别的特性和机器学习中的自学习思想，进行麦田边界的集成判断，有效改善上述问题对边界检测的影响，提高检测精度。

其中，所述麦田临时模型采用如下方法建立：

将采集的初始麦田图像进行初始化，截取其下方视场1/3RGB彩色图像，取其均值MEAN_rgb为当前视场麦田RGB临时模型基准；

限定其RGB范围为MEAN_rgb-δ≤RGB≤MEAN_rgb+δ，建立麦田临时模型；其中，参数δ＝15；

满足所述麦田临时模型的像素为小麦，反之为非小麦；

随着田间机器人1行进过程中，不断更新所述麦田临时模型，每m帧以学习率λ进行更新，其更新方式如下：

MEAN_rgb'＝λ×MEAN_rgb'+(1-λ)MEAN_rgb

其中m＝5，λ＝0.3。MEAN_rgb'为新获取的图像下方视场均值。

所述麦田相似度模型采用如下方法建立：

当田间机器人1运行至麦田边界时，视场上下部分将出现较大差异。利用结构相似度构建麦田相似度模型。分别截取彩色摄像头2获取的图像的视场上下1/5图像x,y作为比较对象，设为x,y，按下式求出其结构相似度S₁：

其中μ_x,μ_y分别为输入x,y的均值，

分别为输入的方差，σ_xy为输入的协方差，c₁,c₂为常数；

将截取的视场上下1/5图像x,y分别分割成3×4个网格子部分，分别求取每个网格子部分各通道的均值，该均值为此区域的特征，将特征串联起来即为图像的特征图；

即分别将每个通道的均值串联起来即为图像的12维特征向量，设为f，因为图像有3个通道，故每个截取图像可得3个类似的特征向量，如图4；

按上述规则分别求得图像x,y的单通道特征向量f₁,f₂，其相似度为各通道计算结果的均值S₂：

计算相似度s：

s＝0.75×s₁+0.25×s₂。

所述麦田预设模型采用如下方法建立：

将采集的RGB彩色图像转换为HSV空间图像，如图5所示。通过对H(色调)、S(饱和度)、V(亮度)进行限定，就可以对图像进行对应颜色分割；

通过对色调H、饱和度S和亮度V进行限定，对图像进行对应颜色分割，考虑生长期的小麦田基本为绿色，HSV三通道限定范围优选为：

根据预设的麦田HSV分量的有效范围对麦田图像进行分割，将分割后的图像麦田像素置为255，非麦田像素置为0；

进行分割麦田的绿色通道的增强，调整分割图像，绿色增强的方法为，以认定为小麦的像素为中心，判断设定范围如3×3内的图像小麦像素数量比例，若小麦像素数量超过总像素数的阈值如50％，则认定全部设定范围为小麦。

考虑田间机器人1运行到边界时，小麦面积会小于某阈值，设计了麦田轮廓模型。所述麦田轮廓模型采用如下方法建立：

对麦田预设模型中获取的转换为HSV空间的分割图像进行轮廓查找，寻找其最大轮廓，可利用opencv提供的处理库寻找其最大联通域轮廓，计算该轮廓面积占图像总面积的比例；

若最大轮廓的面积比例大于设定阈值，则该图像为非麦田边界；

若最大轮廓的面积比例小于所述设定阈值，则该图像可能为麦田边界。需要对该图像进行进一步判断。

综合各个模型的判断结果，满足以下条件的输入图像即为麦田边界，若不满足则为非麦田边界：

1)麦田临时模型的麦田覆盖率小于30％；

2)麦田相似度模型的输出，即相似度小于0.70；

3)麦田预设模型的输出，即小麦覆盖率小于30％；

4)麦田轮廓模型的输出，即麦田最大轮廓面积比例小于1/3。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种麦田边界检测方法，其特征在于，包括如下步骤：

S100、开机，启动彩色摄像头和开发板，所述彩色摄像头开始采集待测麦田区域图像；

S200、工作区域初始化，根据所述彩色摄像头获取的麦田区域图像判断所述彩色摄像头是否到达麦田区域，若没有达到麦田区域，则初始化失败，关机结束运行；若到达麦田区域，则初始化成功；

S300、麦田模型初始化，以所述彩色摄像头获取的第一帧麦田图像为基准，进行麦田临时模型初始化，同时进行麦田相似度模型、麦田预设模型和麦田轮廓模型的参数初始化；

S400、获取图像数据，通过所述彩色摄像头持续获取麦田图像数据，并传输到所述开发板；

S500、集成模型判断，所述开发板根据获取的所述麦田图像数据，利用所述开发板内存储的麦田集成模型进行判断，若判断为麦田边界，则发送停车指令，使田间机器人停止行进；若判断为非麦田边界，则发送行进指令，使所述田间机器人继续行进。

2.如权利要求1所述的麦田边界检测方法，其特征在于，还包括如下步骤：

S600、结束检测判断，判断是否检测完毕，若检测完毕，则结束程序，退出麦田边界检测装置；若没有检测完毕，则返回步骤S400，继续获取图像数据。

3.如权利要求1或2所述的麦田边界检测方法，其特征在于，所述开发板内存储的麦田集成模型为利用彩色图像中的颜色和纹理信息建立的麦田临时模型、麦田相似度模型、麦田轮廓模型和麦田预设模型。

4.如权利要求3所述的麦田边界检测方法，其特征在于，所述麦田临时模型采用如下方法建立：

将采集的初始麦田图像进行初始化，截取其下方视场1/3RGB彩色图像，取其均值MEAN_rgb为当前视场麦田RGB临时模型基准；

限定其RGB范围为MEAN_rgb-δ≤RGB≤MEAN_rgb+δ，建立麦田临时模型，参数δ＝15；

满足所述麦田临时模型的像素为小麦，反之为非小麦；

随着田间机器人行进过程中，不断更新麦田临时模型，每m帧以学习率λ进行更新，其更新方式如下：

MEAN_rgb'＝λ×MEAN_rgb'+(1-λ)MEAN_rgb

其中m＝5，λ＝0.3，MEAN_rgb'为新获取的图像下方视场均值。

5.如权利要求4所述的麦田边界检测方法，其特征在于，所述麦田相似度模型采用如下方法建立：

分别截取彩色摄像头获取的图像的上下1/5图像作为比较对象，设为x,y，按下式求出其结构相似度：

其中μ_x,μ_y分别为输入x,y的均值，

分别为输入的方差，σ_xy为输入的协方差，c₁,c₂为常数；

将截取的图像x,y分别分割成3×4个网格，分别求取每个网格各通道的均值，该均值为此区域的特征；

分别将每个通道的均值串联起来即为图像的n维特征向量，设为f；

按上述规则分别求得图像x,y的单通道特征向量f₁,f₂，其相似度为各通道计算结果的均值：

计算相似度s：

s＝0.75×s₁+0.25×s₂。

6.如权利要求5所述的麦田边界检测方法，其特征在于，所述麦田预设模型采用如下方法建立：

将采集的RGB彩色图像转换为HSV空间图像；

通过对色调H、饱和度S和亮度V进行限定，对图像进行对应颜色分割，HSV三通道限定范围为：

根据预设的麦田HSV分量的有效范围对麦田图像进行分割，将分割后的图像麦田像素置为255，非麦田像素置为0；

进行分割麦田的绿色通道的增强，调整分割图像，以认定为小麦的像素为中心，判断设定范围内的图像小麦像素数量比例，若小麦像素数量超过总像素数的阈值，则认定全部设定范围为小麦。

7.如权利要求6所述的麦田边界检测方法，其特征在于，所述麦田轮廓模型采用如下方法建立：

对麦田预设模型中获取的分割图像进行轮廓查找，利用opencv提供的处理库寻找其最大联通域轮廓，计算该轮廓面积占图像总面积的比例；

若最大轮廓的面积比例大于设定阈值，则该图像为非麦田边界；

若最大轮廓的面积比例小于所述设定阈值，则该图像为麦田边界。

8.一种麦田边界检测装置，安装在田间机器人上，其特征在于，采用上述权利要求1-7中任意一项所述麦田边界检测方法进行检测，所述麦田边界检测装置包括：

彩色摄像头，固定于所述田间机器人的车头前方，用于获取田间机器人正前方视场的麦田区域图像；以及

开发板，安装在所述田间机器人的机身内，通过串口与所述田间机器人的控制板连接进行控制，所述开发板通过USB接口与所述彩色摄像头连接并进行数据传输，所述开发板内存储有麦田集成模型，所述麦田集成模型包括麦田临时模型、麦田相似度模型、麦田预设模型和/或麦田轮廓模型；

其中，采用所述麦田集成模型对所述彩色摄像头获取的麦田图像进行处理分析，并在所述开发板中进行计算和判断，根据判断结果向所述控制板输出指令；若发现麦田边界，则发送指令控制所述田间机器人停车或转弯。

9.如权利要求8所述的麦田边界检测装置，其特征在于，所述彩色摄像头距离地面高45-55cm，且所述彩色摄像头向下倾斜40-45度。

Images