CN114625114A - 一种基于机器视觉的地面喷施系统行进路径规划方法 - Google Patents
一种基于机器视觉的地面喷施系统行进路径规划方法 Download PDFInfo
- Publication number
- CN114625114A CN114625114A CN202011475954.XA CN202011475954A CN114625114A CN 114625114 A CN114625114 A CN 114625114A CN 202011475954 A CN202011475954 A CN 202011475954A CN 114625114 A CN114625114 A CN 114625114A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- depth
- planning
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005507 spraying Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 235000013399 edible fruits Nutrition 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000010832 independent-sample T-test Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 239000002420 orchard Substances 0.000 abstract description 7
- 239000003814 drug Substances 0.000 abstract description 4
- 239000007788 liquid Substances 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的地面喷施系统行进路径规划方法，包括以下步骤：S1、获取深度图像和彩色图像；S2、利用局部特征点配准算法对深度图像和彩色图像进行配准处理；S3、利用彩色—深度图像融合分割方法进行喷施行驶路径规划，得出最佳喷施路径规划。本发明利用机器视觉实现对果园喷施行驶路径的自动规划，不但不受光照的影响，而且可以自动对喷施行驶路径进行规划，相对于传统的人工喷施药液的方式，大大地降低了工作强度，能够获得准确的可行使区域，并规划出最佳喷施路径。
Description
技术领域
本发明涉及药液喷施技术领域，更具体涉及一种基于机器视觉的地面喷施 系统行进路径规划方法。
背景技术
我国是一个农业大国，作为现代农业技术的先进生产方式，设施农业自动 化显得尤为重要。目前，在农业喷雾领域中，果园喷雾作业占比逐渐增加。果 树种植的过程中，需要精心呵护，为避免虫害，通常需要进行药液的喷施。目 前，对果树喷施药液的方式仍大多采用人工喷施为主，效率低下，工作强度较 大。
随着现代科学技术和控制理论的不断发展、我国的农业装备自动化技术不 断完善，研发出可以适应果园作业的无人化自主喷雾机器人就显得至关重要。
发明内容
本发明需要解决的技术问题是提供一种基于机器视觉的地面喷施系统行进 路径规划方法，以解决背景技术中的技术问题，获得准确的可行使区域，自动 实现对喷施行驶路径的规划。
为解决上述技术问题，本发明所采取的技术方案如下。
一种基于机器视觉的地面喷施系统行进路径规划方法，包括以下步骤：
S1、获取深度图像和彩色图像；
S2、利用局部特征点配准算法对深度图像和彩色图像进行配准处理；
S3、利用彩色—深度图像融合分割方法进行喷施行驶路径规划，得出最佳 喷施路径规划。
进一步优化技术方案，所述步骤S2包括以下步骤：
S21、深度和彩色图像边缘检测；
S22、将边缘检测后的深度和彩色图像进行特征点提取；
S23、深度和彩色图像匹配。
进一步优化技术方案，所述步骤S21中，将一张深度图像与多张彩色图像 进行匹配处理，选定与深度图像匹配度最高的彩色图像最为匹配精准度最好的 彩色图像；
所述步骤S21包括以下步骤：
S211、将深度图形和彩色图像进行畸变校正处理；
S212、对矫正后的彩色图像选定需要处理的局部区域，对选取的局部图像 进行图像跟踪处理，对跟踪位置的图像进行提取；
S213、对提取后的图像进行Otsu算法处理、去噪处理、图像二值化处理；
S214、对二值图形进行图像轮廓提取；
S215、将轮廓提取后二值图像中的干扰孔洞进行去除。
进一步优化技术方案，所述步骤S22包括以下步骤：
S221、将轮廓提取后的深度图像与彩色图像进行仿射变换处理；
S222、提取两种边缘轮廓图像的坐标集数据进行独立样本t-test；
S223、提取二值图像中的特征点进行匹配处理。
进一步优化技术方案，所述步骤S3中，通过深度-彩色摄像机采集深度和彩 色视频图像，并对两种图像分别进行如下处理：
S31、对深度图像进行K-means自适应阈值图像按照距离值进行分层；
S32、分别对彩色图像的RGB空间Green层及HSV空间H层的绿色色调区 域进行区域分割；采用树冠区域彩色-深度图融合分割方法，分出树干、树冠及 LWA的基本区域；
S33、融合深度图像分层结果和彩色图像分割结果，获得精确的可行驶区域， 并规划出最佳喷施路径。
进一步优化技术方案，所述步骤S31中，采用K-means图像聚类分层方法， 对深度图像的像素进行自动分割，即划分不同距离范围的图像层次；
K-means图像聚类分层方法的流程为：
1)确定K值，即将数据集x(1)，x(2)，...x(n)聚集成K个类簇；
2)从数据集中随机选择K个数据点作为聚类质心：μ1，μ2，…，μK∈Rn；
3)对于每一个样例i，计算其属于的簇：
c(i)＝argmin||x(i)-μj||2；
4)对于每一个类簇j，重新计算该类的质心：
迭代3)，4)步的计算，直到收敛。
进一步优化技术方案，所述步骤S32中，对彩色图像中的Green层进行自 适应阈值图像分割，获得绿色分割区域，获得果树LWA及树干区域；把彩色 RGB图像转为HSV空间，对色调(H)层的绿色颜色范围进行分割，具体包括如 下步骤：
对RGB图像的Green层进行图像分层分割，使用最大类间方差法计算获得 Green层图像的适当阈值。
进一步优化技术方案，所述最大类间方差法的具体算法步骤为：
1)假设图像I(x，y)，计算背景像素占比：
ω1＝N1/(M*N)
其中，N为背景像素数，M和N为图像长和宽；
2)计算前景像素占比：
ω2＝N2/(M*N)＝1-ω1
3)求背景及前景的平均灰度值：
4)计算0～M灰度区间的总平均灰度值：
μ＝μ1*ω1+μ2*ω2
5)求类间方差：
g＝ω1*(μ-μ1)2+ω2*(μ-μ2)2
6)最终简化公式：
g＝ω1*ω2*(μ1-μ2)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求自适应阈值。
进一步优化技术方案，所述步骤S32中，RGB空间的Green层分割区域、 HSV空间绿色分割区域与深度图像采集的物体区域相融合，去除深度图像中果 树之外的地面、杂草背景区域，获得可行使区域；假设RGB空间的Green层分 割二值化图像为Ig(x，y)，HSV空间绿色分割二值化图像为Ih(x，y)，深度分层 图像为Di(x，y)，i＝1，2，3，4，5，融合后的二值化可行使区域分割图像为G(x， y)，则具体的融合公式为：
进一步优化技术方案，所述步骤S33中，规划喷施路径的具体包括以下步 骤：
S331、找到林间路径方向和末端；
S332、以拍摄场景图像中线为当前喷施设备的行驶方向；
S333、行驶路径末端中点则根据由LWA主要区域形成的ROI区域中点进行 定位；
S334、把喷施设备宽度由世界坐标转换为平面坐标，形成最佳喷施路径。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明利用机器视觉实现对果园喷施行驶路径的自动规划，首先获取深度 图像和彩色图像，然后利用所提出的局部特征点配准(LFPR)算法对深度图像 和彩色图像进行配准处理，最后利用彩色—深度图像融合分割方法进行喷施行 驶路径规划，本发明不但不受光照的影响，而且可以自动对喷施行驶路径进行 规划，相对于传统的人工喷施药液的方式，大大地降低了工作强度，能够获得 准确的可行使区域，并规划出最佳喷施路径。
附图说明
图1为本发明LFPR图像匹配算法的流程图；
图2为本发明图像处理过程的流程图；
图3为本发明图像配准算法框架图；
图4为本发明算法流程图；
图5为本发明LWA和ROI区域检测过程图；
图6为本发明深度图像分层处理与融合过程图；
图7为本发明彩色分割图像与深度分层图像的融合过程图；
图8为本发明喷施系统三维-二维投影透视图。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
一种基于机器视觉的地面喷施系统行进路径规划方法，结合图1至图8所 示，包括以下步骤：
S1、利用德国PMD公司生产的深度摄像机获取深度图像，利用SONY公 司生产的彩色摄像机获取彩色图像。
S2、利用局部特征点配准算法对深度图像和彩色图像进行配准处理。
S3、利用彩色—深度图像融合分割方法进行喷施行驶路径规划，得出最佳 喷施路径规划。
步骤S2利用LFPR算法进行深度图像和彩色图像的匹配处理主要分为三个 阶段，如图1为LFPR图像匹配算法的流程图：
S21、深度和彩色图像边缘检测；
S22、将边缘检测后的深度和彩色图像进行特征点提取；
S23、深度和彩色图像匹配。
步骤S21中，将一张深度图像与多张彩色图像进行匹配处理，选定与深度 图像匹配度最高的彩色图像最为匹配精准度最好的彩色图像。
由于彩色图像中的干扰信息较多不利于与深度图像的匹配，因此本研究首 先提取彩色图像中的局部区域与深度图像进行配准处理。
步骤S21包括以下步骤：
S211、将深度图形和彩色图像进行畸变校正处理。
S212、对矫正后的彩色图像选定需要处理的局部区域，利用meanshift算法 对选取的局部图像进行图像跟踪处理，对跟踪位置的图像进行提取，此过程提 取的图像便是后面需要配准的图像。
S213、对提取后的图像进行Otsu算法处理、去噪处理、图像二值化处理。
S214、对二值图形进行图像轮廓提取。
S215、使用去连通域算法将轮廓提取后二值图像中的干扰孔洞进行去除， 结合图2所示的图像处理过程的流程图。
步骤S22包括以下步骤：
S221、将轮廓提取后的深度图像与彩色图像进行仿射变换处理，使得两种 图像尺度大小相同；
S222、提取两种边缘轮廓图像的坐标集数据进行独立样本t-test，以去除差 异较大的图像；
S223、提取二值图像中的特征点进行匹配处理。
图像配准算法框架图如图3所示，由于离散点集没有与之对应的函数，且 本发明如果用非线性规划对离散点进行处理，结果会不准确，因此本发明利用 了离散点坐标位置的纵坐标值来代替该位置的像素值的方法对离散点进行规划 处理，为后面的特征点提取做准备。由于轮廓提取后的图像为二值图像，即图 像中的像素值为0、1(0为黑色；1为白色，即为轮廓位置)。首先遍历图像每 个位置的像素值，若该位置的像素值为1，则将该位置的像素值设置为该位置纵 坐标值；若该位置像素值为0，则不必修改该位置的像素值。
将离散规划后的两种图像均分成m*n个窗口，并提取每个窗口中像素最大 值位置处的坐标，该位置处的坐标就是这个窗口中特征点的坐标。将深度图像 和彩色图像显示在一个图像中，并计算两种图像每个窗口特征点集中最优的特 征点。计算它们每个窗口描述符之间的欧式距离，欧式距离最小的特征点对便 为深度图像和彩色图像的一组最优特征点。
本发明提出的果园喷施路径规划算法总体流程如图4所示，步骤S3中，通 过深度-彩色摄像机采集深度和彩色视频图像，并对两种图像分别进行如下处理：
S31、对深度图像进行K-means自适应阈值图像进行分层，按照距离值(深 度图像的灰度值)分为5层。
S32、分别对彩色图像的RGB空间Green层及HSV空间H层的绿色色调区 域进行区域分割；采用树冠区域彩色-深度图融合分割方法(Color-depth fusion segmentationmethod(CDFS))，分出树干、树冠及LWA(LeafWall Area)的 基本区域。
S33、融合深度图像分层结果和彩色图像分割结果，获得精确的可行驶区域， 并规划出最佳喷施路径。
果园路径规划不仅需要探测果树距离，以便与喷施目标果树保持适当的距 离，也要对距离远近进行区域划分，以区分不同距离范围或果树层次，根据果 树距离的远近调节行驶路径。因此，步骤S31中，采用K-means图像聚类分层 方法，对深度图像的像素进行自动分割，即划分不同距离范围的图像层次。
K-Means聚类是最常用的聚类算法，其目标是将数据点划分为K个类簇， 找到每个簇的中心，并使其度量最小化。该算法的最大优点是简单、便于理解， 运算速度较快，缺点是要在聚类前指定聚集的类簇数。
K-means图像聚类分层方法的流程为：
1)确定K值，即将数据集x(1)，x(2)，...x(n)聚集成K个类簇。
2)从数据集中随机选择K个数据点作为聚类质心(Cluster Centroid)： μ1，μ2，…，μK∈Rn。
3)对于每一个样例i，计算其属于的簇：
c(i)＝argmin||x(i)-μj||2。
4)对于每一个类簇j，重新计算该类的质心：
迭代3)，4)步的计算，直到收敛。
为了便于按照距离分层检测树冠及树干等障碍物，本发明采用K-means聚 类分层算法把深度图像分为5层，并对分层后的图像进行形态学处理，并进行 开运算去除大片联通区域中的小空隙。如图6所示，图6(a)为原始深度图像，图 6(b)为分层后的深度图，其中为了便于区分，采用不同颜色来代表深度图像的每 个层次，按照由远到近的顺序，深度图像中第一层距离较远，超出了深度图像 采集范围，因此没有添加颜色，深度图像第二层设定为红色，第三层设定为黄 色，第四层设定为绿色，第五层设定为蓝色。图6(c)为5层图像在三维空间中的 分布示意图。
为了能够识别图像视场中的LWA区域，本发明步骤S32中，对彩色图像中 的Green层进行自适应阈值图像分割，获得绿色分割区域，获得果树LWA及树 干区域；把彩色RGB图像转为HSV空间，对色调(H)层的绿色颜色范围进行分 割，从而得到较为精确的LWA区域，用于定位ROI区域。具体包括如下步骤：
对RGB图像的Green层进行图像分层分割，使用最大类间方差法(Otsu) 计算获得Green层图像的适当阈值。利用这种自适应阈值进行图像二值化分割 通常比人为设定的阈值效果更好。该算法假设图像像素能够根据阈值，被分成 背景(background)和目标(objects)两部分。然后，计算该最佳阈值来区分这 两类像素，使得两类像素区分度最大。
最大类间方差法的具体算法步骤为：
1)假设图像I(x，y)，计算背景像素占比：
ω1＝N1/(M*N)
其中，N为背景像素数，M和N为图像长和宽；
2)计算前景像素占比：
ω2＝N2/(M*N)＝1-ω1
4)求背景及前景的平均灰度值：
4)计算0～M灰度区间的总平均灰度值：
μ＝μ1*ω1+μ2*ω2
5)求类间方差：
g＝ω1*(μ-μ1)2+ω2*(μ-μ2)2
6)最终简化公式：
g＝ω1*ω2*(μ1-μ2)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求自适应阈值。
然而，由于图像RGB颜色空间的Green层分层不能较为准确的分割出LWA 区域。因此，为了分割出较为准确的LWA区域，本发明把RGB彩色图像转为 HSV颜色空间，并对其色调(H)层的绿色区域进行分割，经多次试验，选取 色调值弧度为[0.2,0.55]作为绿色区间进行图像二值化分割，并用空洞填充算法 去除区域内的小空洞。然后，度量和统计图像区域属性，标记连通的图像区域， 记录和计算区域面积、位置、重心等信息。最后，找到面积超过10000像素的 区域，用矩形在图像中标出其位置，并用星号标出重心，作为ROI区域。
彩色图像处理过程及结果如图5所示。其中，图5(a)为原始彩色图像，(b) 为RGB颜色空间，Green层自适应阈值图像分割结果，从图中可以看出，大部 分树冠区域和树干主干都被分割为白色图像区域；(c)为HSV颜色空间，H层绿 色区域分割结果，其中主要的LWA区域被分割为白色区域，但周边小片绿草区 域也被分割出来了；(d)为检测H层分割图像的ROI区域，用矩形框标示了2 个主要LWA区域，并用“*”标注出了区域重心。可以看出，两排果树树冠主 要区域分别形成了两片较大的连贯LWA区域，并确定为ROI区域。
步骤S32中，把RGB空间的Green层分割区域、HSV空间绿色分割区域与 深度图像采集的物体区域相融合，去除深度图像中果树之外的地面、杂草背景 区域，获得可行使区域，以便于后续步骤进行路径规划。
假设RGB空间的Green层分割二值化图像为Ig(x，y)，HSV空间绿色分割 二值化图像为Ih(x，y)，深度分层图像为Di(x，y)，i＝1，2，3，4，5，融合后 的二值化可行使区域分割图像为G(x，y)，则具体的融合公式为：
融合之后的二值化图像如图7(a)所示，存在部分小快干扰区域，因此对其进 行开运算，去除干扰区域后的结果如图7(b)所示，可见主要的可行使区域能被较 好的检测出来，即图中黑色区域已与树干及树冠区域分割开。为了能够更清晰 的显示分割结果，图7(c)为由图7(b)作为模板，对彩色图像叠加深度分层图像后 进行过滤的结果。
步骤S33中，规划喷施路径的具体包括以下步骤：
S331、找到林间路径方向和末端；
S332、由于深度传感器安装于喷施设备正前方，因此本发明以拍摄场景图 像中线为当前喷施设备的行驶方向。
S333、行驶路径末端中点则根据由LWA主要区域形成的ROI区域中点进行 定位。因为本发明检测出的2个最大面积的ROI区域，即分别为两侧果树的树 冠主要区域，而其交叠或空出的部分为树冠间的路径造成的LWA不连通区域， 也就是林间路径位置，计算两ROI区域间的下部中点，即为路径末端中点位置。 如果果林树冠过于茂密，两行间路径区域的树冠分割后图像仍然连通，但一般 连通区域较主要树冠区域更为狭窄，则本发明采用图像腐蚀的方法，断开狭窄 区域的连接部分，从而获得2个最大ROI区域。
ROI区域的检测方法是对二值化分割图像中的不连通区域进行标注，并统 计其属性。标注的属性包括各个区域中像素总个数、包含相应区域的最小矩形 坐标、每个区域的质心等。本发明使用包含相应区域的最小矩形标识出感兴趣 区，即包含ROI区域的最小矩形，并计算面积最大的2个ROI矩形下端的中点， 作为路径检测的林间路径末端中点。
S334、把喷施设备宽度由世界坐标转换为平面坐标，如图8所示，以图像 底端中点O为中心，标出对应喷施设备宽度端点a,b，再以ROI区域矩形框(虚 线标出)底端中点为路径末端中点O’，以其为中心标出对应距离的喷施设备投 影在二维图像中的宽度端点c,d，用曲线虚线连接a,c和b,d点，并注意避开主要 的LWA区域(即路径不能与进入LWA区域超过10cm)，即形成最佳喷施路径。
Claims (10)
1.一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，包括以下步骤：
S1、获取深度图像和彩色图像；
S2、利用局部特征点配准算法对深度图像和彩色图像进行配准处理；
S3、利用彩色—深度图像融合分割方法进行喷施行驶路径规划，得出最佳喷施路径规划。
2.根据权利要求1所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S2包括以下步骤：
S21、深度和彩色图像边缘检测；
S22、将边缘检测后的深度和彩色图像进行特征点提取；
S23、深度和彩色图像匹配。
3.根据权利要求2所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S21中，将一张深度图像与多张彩色图像进行匹配处理，选定与深度图像匹配度最高的彩色图像最为匹配精准度最好的彩色图像；
所述步骤S21包括以下步骤：
S211、将深度图形和彩色图像进行畸变校正处理；
S212、对矫正后的彩色图像选定需要处理的局部区域，对选取的局部图像进行图像跟踪处理，对跟踪位置的图像进行提取；
S213、对提取后的图像进行Otsu算法处理、去噪处理、图像二值化处理；
S214、对二值图形进行图像轮廓提取；
S215、将轮廓提取后二值图像中的干扰孔洞进行去除。
4.根据权利要求3所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S22包括以下步骤：
S221、将轮廓提取后的深度图像与彩色图像进行仿射变换处理；
S222、提取两种边缘轮廓图像的坐标集数据进行独立样本t-test；
S223、提取二值图像中的特征点进行匹配处理。
5.根据权利要求1所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S3中，通过深度-彩色摄像机采集深度和彩色视频图像，并对两种图像分别进行如下处理：
S31、对深度图像进行K-means自适应阈值图像按照距离值进行分层；
S32、分别对彩色图像的RGB空间Green层及HSV空间H层的绿色色调区域进行区域分割；采用树冠区域彩色-深度图融合分割方法，分出树干、树冠及LWA的基本区域；
S33、融合深度图像分层结果和彩色图像分割结果，获得精确的可行驶区域，并规划出最佳喷施路径。
6.根据权利要求5所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S31中，采用K-means图像聚类分层方法，对深度图像的像素进行自动分割，即划分不同距离范围的图像层次；
K-means图像聚类分层方法的流程为：
1)确定K值，即将数据集x(1),x(2)，...x(n)聚集成K个类簇；
2)从数据集中随机选择K个数据点作为聚类质心：μ1，μ2，…，μK∈Rn；
3)对于每一个样例i，计算其属于的簇：
4)对于每一个类簇j，重新计算该类的质心：
迭代3)，4)步的计算，直到收敛。
7.根据权利要求5所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S32中，对彩色图像中的Green层进行自适应阈值图像分割，获得绿色分割区域，获得果树LWA及树干区域；把彩色RGB图像转为HSV空间，对色调(H)层的绿色颜色范围进行分割，具体包括如下步骤：
对RGB图像的Green层进行图像分层分割，使用最大类间方差法计算获得Green层图像的适当阈值。
8.根据权利要求7所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述最大类间方差法的具体算法步骤为：
1)假设图像I(x，y)，计算背景像素占比：
ω1＝N1/(M*N)
其中，N为背景像素数，M和N为图像长和宽；
2)计算前景像素占比：
ω2＝N2/(M*N)＝1-ω1
3)求背景及前景的平均灰度值：
4)计算0～M灰度区间的总平均灰度值：
μ＝μ1*ω1+μ2*ω2
5)求类间方差：
g＝ω1*(μ-μ1)2+ω2*(μ-μ2)2
6)最终简化公式：
g＝ω1*ω2*(μ1-μ2)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求自适应阈值。
9.根据权利要求5所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S32中，RGB空间的Green层分割区域、HSV空间绿色分割区域与深度图像采集的物体区域相融合，去除深度图像中果树之外的地面、杂草背景区域，获得可行使区域；假设RGB空间的Green层分割二值化图像为Ig(x，y)，HSV空间绿色分割二值化图像为Ih(x，y)，深度分层图像为Di(x，y)，i＝1，2，3，4，5，融合后的二值化可行使区域分割图像为G(x，y)，则具体的融合公式为：
10.根据权利要求5所述的一种基于机器视觉的地面喷施系统行进路径规划方法，其特征在于，所述步骤S33中，规划喷施路径的具体包括以下步骤：
S331、找到林间路径方向和末端；
S332、以拍摄场景图像中线为当前喷施设备的行驶方向；
S333、行驶路径末端中点则根据由LWA主要区域形成的ROI区域中点进行定位；
S334、把喷施设备宽度由世界坐标转换为平面坐标，形成最佳喷施路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011475954.XA CN114625114A (zh) | 2020-12-14 | 2020-12-14 | 一种基于机器视觉的地面喷施系统行进路径规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011475954.XA CN114625114A (zh) | 2020-12-14 | 2020-12-14 | 一种基于机器视觉的地面喷施系统行进路径规划方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114625114A true CN114625114A (zh) | 2022-06-14 |
Family
ID=81896944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011475954.XA Pending CN114625114A (zh) | 2020-12-14 | 2020-12-14 | 一种基于机器视觉的地面喷施系统行进路径规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114625114A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861721A (zh) * | 2023-02-28 | 2023-03-28 | 山东大佳机械有限公司 | 基于图像数据的畜禽养殖喷雾设备状态识别方法 |
-
2020
- 2020-12-14 CN CN202011475954.XA patent/CN114625114A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861721A (zh) * | 2023-02-28 | 2023-03-28 | 山东大佳机械有限公司 | 基于图像数据的畜禽养殖喷雾设备状态识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set | |
| Rasmussen | Combining laser range, color, and texture cues for autonomous road following | |
| Zhang et al. | An adaptive vision navigation algorithm in agricultural IoT system for smart agricultural robots | |
| CN112146646B (zh) | 一种作物封垄后田间导航线的检测方法 | |
| CN109657632A (zh) | 一种车道线检测识别方法 | |
| CN109345554A (zh) | 一种基于rgb－d相机的粘连蘑菇视觉原位测量方法 | |
| Gao et al. | A spraying path planning algorithm based on colour-depth fusion segmentation in peach orchards | |
| CN105894503A (zh) | 一种对Kinect植株彩色和深度检测图像的修复方法 | |
| CN109949593A (zh) | 一种基于路口先验知识的交通信号灯识别方法及系统 | |
| CN107633202A (zh) | 一种基于农田图像特征识别的植保无人机飞控方法和系统 | |
| CN114067206B (zh) | 一种基于深度图像的球形果实识别定位方法 | |
| CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
| Ospina et al. | Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images | |
| Zhou et al. | Autonomous detection of crop rows based on adaptive multi-ROI in maize fields | |
| CN107993224A (zh) | 一种基于圆形标志物的物体检测定位方法 | |
| CN116612192B (zh) | 一种基于数字视频的病虫害区目标定位方法 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| Jin et al. | Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test | |
| CN104992448B (zh) | 机器人防损伤采摘葡萄的自动定位方法 | |
| CN115049925A (zh) | 田块田坎提取方法、电子设备及存储介质 | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| Mao et al. | Agricultural robot navigation path recognition based on k-means algorithm for large-scale image segmentation | |
| CN118351468A (zh) | 一种基于无人机的农作物病虫害识别方法及系统 | |
| CN114625114A (zh) | 一种基于机器视觉的地面喷施系统行进路径规划方法 | |
| CN115294482B (zh) | 一种基于无人机遥感图像的食用菌产量估算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |