CN113432597A - 一种应用于复杂户外环境行间管理的复合视觉导航系统 - Google Patents

一种应用于复杂户外环境行间管理的复合视觉导航系统 Download PDF

Info

Publication number
CN113432597A
CN113432597A CN202110878640.2A CN202110878640A CN113432597A CN 113432597 A CN113432597 A CN 113432597A CN 202110878640 A CN202110878640 A CN 202110878640A CN 113432597 A CN113432597 A CN 113432597A
Authority
CN
China
Prior art keywords
module
navigation system
management
visual navigation
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110878640.2A
Other languages
English (en)
Other versions
CN113432597B (zh
Inventor
夏俊芳
周明宽
张帅
衡一帆
国立伟
江锍
胡梦杰
刘政源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202110878640.2A priority Critical patent/CN113432597B/zh
Publication of CN113432597A publication Critical patent/CN113432597A/zh
Application granted granted Critical
Publication of CN113432597B publication Critical patent/CN113432597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，检测单元与单片机模块电性连接；针对户外农业视觉导航易受光照变化的影响，提出HSV色彩空间，将色调与光照强度分离，试验表明确定阈值后可实现全天光照变化下路径的准确识别，针对柑橘园路面杂草密集，环境复杂多变的特点，提出识别树冠与天空形成的天然路径作为路径识别的依据，试验表明该路径识别算法更加快速准确，满足实际自主导航作业需求，通过设置辅助OPENMV模块，使导航平台自主转向操作，提高导航平台的整体性和创造性，实地作业时使导航平台实现行间自主导航。

Description

一种应用于复杂户外环境行间管理的复合视觉导航系统
技术领域
本发明属于农业管理技术领域，具体涉及一种应用于复杂户外环境行间管理的复合视觉导航系统。
背景技术
农业机器人的自主导航作业，不仅可以将劳动者从重复单调的劳动中解放出来，而且可以提高农业作业精准度和工作效率。目前农业自主导航作业的研究主要包括激光定位导航、机器视觉导航和卫星定位导航(GPS)三种方式。卫星定位导航(GPS)可以获得导航的绝对位置，但其抗干扰性差，受遮挡时容易丢失信号，获取信息单一，成本昂贵；激光定位导航制造成本高，对外界光线，地面要求，能见度等环境要求相对较高；机器视觉导航技术具有信号探测范围广、信息丰富完整、非接触测量和性价比高等优点，在无人机、手术器械、交通运输、农业生产等领域领域得到广泛应用。
但是，对于地面低洼不平，树木低矮，杂草茂密等较为复杂户外环境，在对农作物进行管理时，导致人工作业困难，成本昂贵的问题。
因此需要一种应用于复杂户外环境行间管理的复合视觉导航系统，为行间管理提供动力行走基础平台。
发明内容
本发明要解决的技术问题是克服现有的缺陷，提供一种应用于复杂户外环境行间管理的复合视觉导航系统，以解决上述背景技术中提出的人工作业困难，成本昂贵的问题。
为实现上述目的，本发明提供如下技术方案：一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，所述检测单元包括速度传感器、OPENMV模块、MATLAB模块和摄像头，所述速度传感器、所述OPENMV模块、所述MATLAB模块和所述摄像头均与单片机模块电性连接，所述单片机模块与控制单元电性连接，所述控制单元与处理单元电性连接，所述处理单元与执行单元电性连接。
优选的，所述摄像头位于控制柜的顶端，且所述摄像头的仰视角度为135°，所述控制柜一侧设置有所述OPENMV模块，所述OPENMV模块另一侧设置有所述挡板，所述控制柜的型号为USB2.0 HD UVC WebCam。
优选的，所述执行单元包括左右驱动轮、履带、直流电机和履带底盘，所述执行单元位于所述挡板的下方，所述履带底盘上设置有所述左右驱动轮和所述直流电机，所述左右驱动轮外侧设置有所述履带，所述左右驱动轮与所述直流电机的输出端传动连接，所述左右驱动轮轴端设置有速度传感器。
优选的，所述MATLAB模块通过调取语句videoinput获取MJPG格式且有效像素为320像素×240像素的图像，且所述图像为RGB色彩图片。
优选的，所述控制柜内部设置有图像预处理模块、形态学处理模块和航线基准线确定模块，所述图像预处理模块基于HSV颜色空间模型将图像分为H通道(颜色的色相)、S通道(颜色的饱和度)和V通道(颜色的亮度)等三个互不干扰的通道，且色调值H处于0.18－0.413范围内。
优选的，所述航线基准线确定模块通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx和右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure BDA0003191063940000021
右：
Figure BDA0003191063940000022
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure BDA0003191063940000023
优选的，所述MATLAB模块包括Hough函数、Houghpeaks函数和Houghlines函数。
优选的，所述OPENMV模块基于OPENMV视觉处理芯片通过IDE工具确定阈值。
优选的，所述处理单元采用STM32分级控制。
优选的，所述履带底盘直线行驶的角度阈值为+5°～-3°。
与现有技术相比，本发明提供了一种应用于复杂户外环境行间管理的复合视觉导航系统，具备以下有益效果：
1、本发明针对户外农业视觉导航易受光照变化的影响，提出HSV色彩空间，将色调与光照强度分离，试验表明确定阈值后可实现全天光照变化下路径的准确识别；
2、本发明针对柑橘园路面杂草密集，环境复杂多变的特点，提出识别树冠与天空形成的天然路径作为路径识别的依据，试验表明该路径识别算法更加快速准确，满足实际自主导航作业需求；
3、本发明针对树冠参差不齐导致的路径识别误差，提出改进Hough直线拟合算法，设置阈值确定有效路径的最远点，将该最远点作为目标点，与导航平台的参考点连接，形成导航路径，试验表明该导航路径识别更加快速、可靠；
4、本发明通过设置辅助OPENMV模块，使导航平台自主转向操作，提高导航平台的整体性和创造性，实地作业时使导航平台实现行间自主导航。
该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现，本发明结构科学合理，使用安全方便，为人们提供了很大的帮助。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
图1为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统的程序框图；
图2为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统的试验平台系统框图；
图3为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统的系统逻辑示意图；
图4为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统的试验所得角度与时间关系的示意图；
图5为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统中形态学处理模块获取的二值图像示意图；
图6为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统中基于HSV的图像分割结果示意图；
图7为本发明提出的一种应用于复杂户外环境行间管理的复合视觉导航系统的主视结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-7，本发明提供一种技术方案：一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，检测单元包括速度传感器、OPENMV模块3、MATLAB模块和摄像头4，速度传感器、OPENMV模块3、MATLAB模块和摄像头4均与单片机模块电性连接，单片机模块与控制单元电性连接，控制单元与处理单元电性连接，处理单元与执行单元1电性连接。
优选的，摄像头4位于控制柜2的顶端，且摄像头4的仰视角度为135°，控制柜2一侧设置有OPENMV模块3，OPENMV模块3另一侧设置有挡板5，控制柜2的型号为USB2.0 HD UVCWebCam。
本发明中，优选的，执行单元1包括左右驱动轮11、履带12、直流电机和履带底盘，执行单元1位于挡板5的下方，履带底盘上设置有左右驱动轮11和直流电机，左右驱动轮11外侧设置有履带12，左右驱动轮11与直流电机的输出端传动连接，左右驱动轮11轴端设置有速度传感器。
本发明中，优选的，MATLAB模块通过调取语句videoinput获取MJPG格式且有效像素为320像素×240像素的图像，且图像为RGB色彩图片。
本发明中，优选的，控制柜2内部设置有图像预处理模块、形态学处理模块和航线基准线确定模块，图像预处理模块基于HSV颜色空间模型将图像分为H通道(颜色的色相)、S通道(颜色的饱和度)和V通道(颜色的亮度)等三个互不干扰的三通道，且色调值Hmin＝0.18。
本发明中，优选的，航线基准线确定模块通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx和右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure BDA0003191063940000051
右：
Figure BDA0003191063940000052
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure BDA0003191063940000053
本发明中，优选的，MATLAB模块包括Hough函数、Houghpeaks函数和Houghlines函数。
本发明中，优选的，OPENMV模块3基于OPENMV视觉处理芯片通过IDE工具确定阈值。
本发明中，优选的，处理单元采用STM32分级控制。
本发明中，优选的，履带底盘直线行驶的角度阈值为+5°～-3°。
实施例2
请参阅图1-7，本发明提供一种技术方案：一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，检测单元包括速度传感器、OPENMV模块3、MATLAB模块和摄像头4，速度传感器、OPENMV模块3、MATLAB模块和摄像头4均与单片机模块电性连接，单片机模块与控制单元电性连接，控制单元与处理单元电性连接，处理单元与执行单元1电性连接。
本发明中，优选的，摄像头4位于控制柜2的顶端，且摄像头4的仰视角度为135°，控制柜2一侧设置有OPENMV模块3，OPENMV模块3另一侧设置有挡板5，控制柜2的型号为USB2.0HD UVC WebCam。
本发明中，优选的，执行单元1包括左右驱动轮11、履带12、直流电机和履带底盘，执行单元1位于挡板5的下方，履带底盘上设置有左右驱动轮11和直流电机，左右驱动轮11外侧设置有履带12，左右驱动轮11与直流电机的输出端传动连接，左右驱动轮11轴端设置有速度传感器。
本发明中，优选的，MATLAB模块通过调取语句videoinput获取MJPG格式且有效像素为320像素×240像素的图像，且图像为RGB色彩图片。
本发明中，优选的，控制柜2内部设置有图像预处理模块、形态学处理模块和航线基准线确定模块，图像预处理模块基于HSV颜色空间模型将图像分为H通道(颜色的色相)、S通道(颜色的饱和度)和V通道(颜色的亮度)等三个互不干扰的三通道，且色调值Hmax＝0.413。
本发明中，优选的，航线基准线确定模块通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx和右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure BDA0003191063940000071
右：
Figure BDA0003191063940000072
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure BDA0003191063940000073
本发明中，优选的，MATLAB模块包括Hough函数、Houghpeaks函数和Houghlines函数。
本发明中，优选的，OPENMV模块3基于OPENMV视觉处理芯片通过IDE工具确定阈值。
本发明中，优选的，处理单元采用STM32分级控制。
本发明中，优选的，履带底盘直线行驶的角度阈值为+5°～-3°。
实施例3
请参阅图1-7，本发明提供一种技术方案：一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，检测单元包括速度传感器、OPENMV模块3、MATLAB模块和摄像头4，速度传感器、OPENMV模块3、MATLAB模块和摄像头4均与单片机模块电性连接，单片机模块与控制单元电性连接，控制单元与处理单元电性连接，处理单元与执行单元1电性连接。
本发明中，优选的，摄像头4位于控制柜2的顶端，且摄像头4的仰视角度为135°，控制柜2一侧设置有OPENMV模块3，OPENMV模块3另一侧设置有挡板5，控制柜2的型号为USB2.0HD UVC WebCam。
本发明中，优选的，执行单元1包括左右驱动轮11、履带12、直流电机和履带底盘，执行单元1位于挡板5的下方，履带底盘上设置有左右驱动轮11和直流电机，左右驱动轮11外侧设置有履带12，左右驱动轮11与直流电机的输出端传动连接，左右驱动轮11轴端设置有速度传感器。
本发明中，优选的，MATLAB模块通过调取语句videoinput获取MJPG格式且有效像素为320像素×240像素的图像，且图像为RGB色彩图片。
本发明中，优选的，控制柜2内部设置有图像预处理模块、形态学处理模块和航线基准线确定模块，图像预处理模块基于HSV颜色空间模型将图像分为H通道(颜色的色相)、S通道(颜色的饱和度)和V通道(颜色的亮度)等三个互不干扰的三通道，且色调值H处于0.18～0.413范围内。
本发明中，优选的，航线基准线确定模块通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx和右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure BDA0003191063940000081
右：
Figure BDA0003191063940000082
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure BDA0003191063940000083
本发明中，优选的，MATLAB模块包括Hough函数、Houghpeaks函数和Houghlines函数。
本发明中，优选的，OPENMV模块3基于OPENMV视觉处理芯片通过IDE工具确定阈值。
本发明中，优选的，处理单元采用STM32分级控制。
本发明中，优选的，履带底盘直线行驶的角度阈值为+5°～-3°。
本发明的工作原理及使用流程：使用时，采用型号为USB2.0 HD UVC WebCam的摄像头4获取图像，其仰角为135°，在行进过程中通过OPENMV模块3作为副传感器来捕捉导航系统的转向信息，先从OPENMV模块3采集的图像中判断是否获取到了转向信息，获取到了执行判断是左/右转，最终运行左/右转程序驱动底层转向，在未获取转向信息时，由MATLAB模块进行路径信息采集，通过颜色空间提取分割、形态学图像处理和导航路径的拟合，将拟合导航直线的角度由处理单元处理后转变成PWM信号驱动执行单元1进行路径跟踪行驶，摄像头4完成图像采集后，由MATLAB模块调取摄像头语句videoinput('winvideo',1,'MJPG_320x240')获取MJPG格式且有效像素为320像素×240像素的图像，因为户外地面季节性杂草和不规则的坑洼，导致树木的形态和大小参差不齐，一侧采用树冠与天空形成的间隙作为道路基准线提取的依据，图像获取触发方式为MATLAB模块触发，每次获取图像在完成导航基准线提取后立即触发下一次图像获取，直接获取的彩色图像为RGB色彩图片，为准确提取绿色树木与植被信息，结合HSV在颜色空间的三个变量的无关性，提出基于HSV的分割方式，HSV颜色空间模型将图像分为H通道(颜色的色相)、S通道(颜色的饱和度)和V通道(颜色的亮度)等三个互不干扰的三通道进行分析，将RGB图像转化为HSV图像后，根据HSV色环分布表确定绿色所示H的阈值，绿色主要集中在H色调值的0.201～0.498之间，试验统计结果上限Hmax＝0.413，下限Hmin＝0.18时，对柑橘园绿色信息的提取准确且适用性强，分割结果如图6所示，结果表明该分割算法精准，满足实际需求，由于HSV色彩空间将色调与亮度分开，大大降低了作业环境光线的影响；由于图像分割后的二值图像中存在许多黑色噪点和白色空洞以及树冠边缘的不规则形状，为了满足有效性和实时性的要求，形态学处理模块通过构建八边形且其元素原点到八边形边的距离为3的结构作为结构元素，进行一次开运算和闭运算去噪点及边缘光滑，最终获取光滑的二值图像，如图5所示，由于户外果树生长的不规则性，采用对图片纵坐标进行果树与天空边缘的中心点提取，作为导航路径的参考点，假设原始图像大小为u×v，v和u分别表示图像的行像素和列像素，则水平条数为v，在第i行获取的特征边缘的像素坐标点p(i,j)为水平条上处于(i,j)处的像素值，进而可以提取树木边缘信息的坐标值，但由于户外树木的生长不规则的形态，导致所提取特征边缘只有一侧树木的边缘信息；另外所提取的一侧树木边缘信息存在错误的重复信息，进而将边缘形成的尖锐点Q(l,k)作为路径中心的参考点，对通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx和右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure BDA0003191063940000101
右：
Figure BDA0003191063940000102
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure BDA0003191063940000103
为了解决树木生长情况不同的影响，采用随机抽样一致算法，首先，随机选择两个点，通过这两个点，可以计算出这两个点所表示的模型方程y＝ax+b，将所有的数据点套到这个模型中计算误差，找到所有满足误差阈值的点，然后再重复上述这个过程，直到达到一定迭代次数后，我们选出那个被支持的最多的模型，作为问题的解，假设内点在整个数据集中的概率为t，则t为
Figure BDA0003191063940000104
确定该问题的模型需要n个点，这个n是根据问题而定义的，例如拟合直线时n为2，平面拟合时n＝3，求解点云之间的刚性变换矩阵时n＝3，求解图像之间的射影变换矩阵是n＝4等，k表示迭代次数，即随机选取n个点计算模型的次数，P为在这些参数下得到正确解的概率，为方便表示，可以得到n个点都是内点的概率为tntn，则n个点中至少有一个是外点的概率为1-tn，(1-tn)k(1-tn)k表示k次随机抽样中都没有找到一次全是内点的情况，这个时候得到的是错误解，即P为P＝1-(1-tn)k，内点概率t是一个先验值，可以给出一些鲁棒的值，同时也可以看出，即使t给的过于乐观，也可以通过增加迭代次数k，来保证正确解的概率P，同样的，我们可以通过上面式子计算出来迭代次数k，即我们假设需要正确概率为P(例如我们需要99％的概率取到正确解)，则k为
Figure BDA0003191063940000111
然后通过MATLAB模块中Hough函数、Houghpeaks函数和Houghlines函数进行变换，先采用Houghpeaks函数对二值图像进行行扫描获取树冠天空间隙各行的中心点在参数空间累加投票，当最大值大于阈值时，判断为直线，并将该条直线上的点从图像中去除，循环执行，直到获取的中心特征点在参数空间的最大值小于阈值，退出峰值函数，然后用Houghlines函数，确定最长直线，并在最长直线中提取树冠与天空形成路径的最远点作为柑橘园路径的目标点，基于图像底部中心点作为导航系统的参考点，连接参考点与获取的目标点，形成柑橘园视觉导航的导航基准线；由于导航基准线基于天空背景提取，无法精准确定道路尽头转向信息，可增加辅助传感装置获取，OPENMV视觉处理芯片是一个可编程的摄像头，通过Python语言，高效地进行色块跟踪处理，可以作为辅助传感器实时准确获得转向信息，基于OPENMV视觉处理芯片，借助OPENMV的IDE工具确定阈值，提取转向标志，先用蓝色框确定最大联通区域，在联通区域的面积大于取样图片的50％时，系统判断到达导航系统的转向点，之后用四个等间距的绿色框去分段确定不同区域的中心位置，由提取的四个绿色框的中心点计算最远两点的倾斜角是否大于10°，以其正负确定最终的转向信息，程序处理时间为0.465s，识别准确，快速，满足识别转向标志的要求，根据田间试验，最初状态由于树冠最远点的不规则，导致起点角度为2.862°，因此设定阈值在+5°～-3°，履带底盘正常直线行驶，当超过直行阈值时，通过闭环差速驱动履带底盘实时调整到0°左右，试验证明起点误差为2.862°，角度的RMS误差为2.145°，由图4可知，在角度偏差超过阈值时，履带车进行自动校正，表明视觉导航反馈系统有效，在12分钟左右，串口获取OPENMV传输转向信号，驱动履带底盘运行转向程序，在19分钟左右结束转向动作，继续运行视觉导航反馈程序，试验表明视觉导航系统运行正常，可以满足行间管理的自主导航作业要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种应用于复杂户外环境行间管理的复合视觉导航系统，包括检测单元，其特征在于：所述检测单元包括速度传感器、OPENMV模块(3)、MATLAB模块和摄像头，所述速度传感器、所述OPENMV模块(3)、所述MATLAB模块和所述摄像头均与单片机模块电性连接，所述单片机模块与控制单元电性连接，所述控制单元与处理单元电性连接，所述处理单元与执行单元(1)电性连接。
2.根据权利要求1所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述摄像头设置在控制柜(2)的顶端，且所述摄像头的仰视角度为135°，所述控制柜(2)一侧设置有所述OPENMV模块，所述OPENMV模块另一侧设置有挡板(5)，所述控制柜(2)的型号为USB2.0 HD UVC WebCam。
3.根据权利要求2所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述执行单元(1)包括左右驱动轮(11)、履带(12)、直流电机和履带底盘，所述执行单元(1)位于所述挡板(5)的下方，所述履带底盘上设置有所述左右驱动轮(11)和所述直流电机，所述左右驱动轮(11)外侧设置有所述履带(12)，所述左右驱动轮(11)与所述直流电机的输出端传动连接，所述左右驱动轮(11)轴端设置有速度传感器。
4.根据权利要求1所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述MATLAB模块通过调取语句videoinput获取MJPG格式且有效像素为320像素×240像素的图像，且所述图像为RGB色彩图片。
5.根据权利要求2所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述控制柜(2)内部设置有图像预处理模块、形态学处理模块和航线基准线确定模块，所述图像预处理模块基于HSV颜色空间模型将图像分为H通道、S通道和V通道三个互不干扰的通道，且色调值H处于0.18－0.413范围内；其中H通道为颜色的色相，S通道为颜色的饱和度，V通道为颜色的亮度。
6.根据权利要求5所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述航线基准线确定模块通过水平线与边缘相交的两侧特征点进行再次筛选，分别定义为左侧特征点left_pointx，右侧特征点right_pointx，(n,m)为特征点的坐标，(n,m)∈(i,j)，且
左：
Figure FDA0003191063930000021
右：
Figure FDA0003191063930000022
式中p(n,m)为边缘的像素值，最终路径的特征点为起始点和终止点的中点，特征点计算公式如下：
Figure FDA0003191063930000023
7.根据权利要求1所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述MATLAB模块包括Hough函数、Houghpeaks函数和Houghlines函数。
8.根据权利要求1所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述OPENMV模块(3)基于OPENMV视觉处理芯片通过IDE工具确定阈值。
9.根据权利要求1所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述处理单元采用STM32分级控制。
10.根据权利要求3所述的一种应用于复杂户外环境行间管理的复合视觉导航系统，其特征在于：所述履带底盘直线行驶的角度阈值为+5°～-3°。
CN202110878640.2A 2021-08-02 2021-08-02 一种应用于复杂户外环境行间管理的复合视觉导航系统 Active CN113432597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110878640.2A CN113432597B (zh) 2021-08-02 2021-08-02 一种应用于复杂户外环境行间管理的复合视觉导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110878640.2A CN113432597B (zh) 2021-08-02 2021-08-02 一种应用于复杂户外环境行间管理的复合视觉导航系统

Publications (2)

Publication Number Publication Date
CN113432597A true CN113432597A (zh) 2021-09-24
CN113432597B CN113432597B (zh) 2022-12-13

Family

ID=77762469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110878640.2A Active CN113432597B (zh) 2021-08-02 2021-08-02 一种应用于复杂户外环境行间管理的复合视觉导航系统

Country Status (1)

Country Link
CN (1) CN113432597B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070003107A1 (en) * 2005-07-01 2007-01-04 Deere & Company, A Delaware Corporation Method and system for vehicular guidance using a crop image
CN105706637A (zh) * 2016-03-10 2016-06-29 西北农林科技大学 一种可自主导航的履带式多机械臂苹果采摘机器人
CN108509928A (zh) * 2018-04-09 2018-09-07 石河子大学 针对矮化密植枣园田管作业视觉导航路径提取方法
US20190031347A1 (en) * 2018-07-31 2019-01-31 Beihang University Bionic visual navigation control system and method thereof for autonomous aerial refueling docking
CN110554706A (zh) * 2019-09-25 2019-12-10 江苏理工学院 一种视觉导航自平衡车及平衡方法
CN211552867U (zh) * 2020-02-29 2020-09-22 华南理工大学 一种用于辅助无人驾驶小车的视觉导航系统
EP3783529A1 (de) * 2019-08-23 2021-02-24 HORSCH LEEB Application Systems GmbH Sicherheitssystem und verfahren zum betreiben einer mobilen landwirtschaftlichen arbeitsmaschine
CN112506208A (zh) * 2020-12-22 2021-03-16 江苏理工学院 一种运输机器人系统及控制方法
CN112544204A (zh) * 2020-12-03 2021-03-26 武汉理工大学 基于risc-v嵌入式处理器的除草机器人及控制方法
CN112806342A (zh) * 2021-03-15 2021-05-18 江西农业大学 一种基于openMV自动对靶施药控制系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070003107A1 (en) * 2005-07-01 2007-01-04 Deere & Company, A Delaware Corporation Method and system for vehicular guidance using a crop image
CN105706637A (zh) * 2016-03-10 2016-06-29 西北农林科技大学 一种可自主导航的履带式多机械臂苹果采摘机器人
CN108509928A (zh) * 2018-04-09 2018-09-07 石河子大学 针对矮化密植枣园田管作业视觉导航路径提取方法
US20190031347A1 (en) * 2018-07-31 2019-01-31 Beihang University Bionic visual navigation control system and method thereof for autonomous aerial refueling docking
EP3783529A1 (de) * 2019-08-23 2021-02-24 HORSCH LEEB Application Systems GmbH Sicherheitssystem und verfahren zum betreiben einer mobilen landwirtschaftlichen arbeitsmaschine
CN110554706A (zh) * 2019-09-25 2019-12-10 江苏理工学院 一种视觉导航自平衡车及平衡方法
CN211552867U (zh) * 2020-02-29 2020-09-22 华南理工大学 一种用于辅助无人驾驶小车的视觉导航系统
CN112544204A (zh) * 2020-12-03 2021-03-26 武汉理工大学 基于risc-v嵌入式处理器的除草机器人及控制方法
CN112506208A (zh) * 2020-12-22 2021-03-16 江苏理工学院 一种运输机器人系统及控制方法
CN112806342A (zh) * 2021-03-15 2021-05-18 江西农业大学 一种基于openMV自动对靶施药控制系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHOU M K，ET AL.: "Design and experiment of visual navigated UGV for orchard based on Hough matrix and RANSAC", 《INT. J. AGRIC. & BIOL. ENG.》 *
关卓怀: "履带式水稻联合收获机辅助导航系统关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士) 农业科技辑》 *
王泽川等: "基于OpenMV图像识别智能小车的设计与制作", 《电子世界》 *
聂森等: "基于机器视觉的果园导航中线提取算法研究", 《农机化研究》 *

Also Published As

Publication number Publication date
CN113432597B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
Bai et al. Vision-based navigation and guidance for agricultural autonomous vehicles and robots: A review
AU2020103026A4 (en) A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN110243372B (zh) 基于机器视觉的智能农机导航系统及方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
Meng et al. Development of agricultural implement system based on machine vision and fuzzy control
US20060095207A1 (en) Obstacle detection using stereo vision
Juman et al. A novel tree trunk detection method for oil-palm plantation navigation
CN103891697A (zh) 一种室内自主移动喷药机器人及其变量喷药方法
CN111727457B (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN105987684A (zh) 一种基于单目视觉的农业车辆导航线检测系统及方法
CN101356877A (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
Smitt et al. Pathobot: A robot for glasshouse crop phenotyping and intervention
WO2022021630A1 (zh) 自动行走设备及其控制方法和系统及可读存储介质
CN105794382A (zh) 一种基于机器视觉技术的果园精准施肥装置及施肥方法
CN107748886A (zh) 一种基于深度相机的轨道式现代标准化果园信息感知系统
CN103530606A (zh) 一种杂草环境下的农机导航路径提取方法
CN114239756B (zh) 一种虫害检测方法及系统
CN115560754A (zh) 一种基于杂草去除的视觉导航方法
CN113432597B (zh) 一种应用于复杂户外环境行间管理的复合视觉导航系统
CN114485667A (zh) 一种轻智能化的果园地头导航方法
CN102640622A (zh) 采棉机导航信息图像检测方法及系统
CN115451965A (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN115358991A (zh) 一种秧苗的漏秧数量和漏秧位置的识别方法及系统
Chen et al. Measurement of the distance from grain divider to harvesting boundary based on dynamic regions of interest
CN107862248A (zh) 一种车辆和行人的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant