CN109063575A - 一种基于单目视觉的智能割草机自主有序割草方法 - Google Patents
一种基于单目视觉的智能割草机自主有序割草方法 Download PDFInfo
- Publication number
- CN109063575A CN109063575A CN201810732572.7A CN201810732572A CN109063575A CN 109063575 A CN109063575 A CN 109063575A CN 201810732572 A CN201810732572 A CN 201810732572A CN 109063575 A CN109063575 A CN 109063575A
- Authority
- CN
- China
- Prior art keywords
- mower
- obstacle
- lawn
- image
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000004888 barrier function Effects 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000691 measurement method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 244000025254 Cannabis sativa Species 0.000 abstract 6
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009123 feedback regulation Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D75/00—Accessories for harvesters or mowers
- A01D75/18—Safety devices for parts of the machines
- A01D75/185—Avoiding collisions with obstacles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
本发明提供了一种基于单目视觉的智能割草机自主有序割草方法，所述的单目视觉的智能割草机包括割草机、安装在割草机前方的单目摄像模块、微控制单元、光电编码器、防碰撞开及充电站，所述的方法包括以下步骤：障碍物检测：所述割草机各电机工作中保持转动；局部避障：当被检测图像被判断出存在草坪边界时，割草机反向调头工作；若单幅图像中没有识别到草坪边界；单目视觉测深度：运用单目视觉测深度算法计算出当前单幅图像中草坪边界各点与割草机的距离；若所述草坪边界最小距离大于设置的安全阈值，割草机保持匀速前行。本发明提供的一种基于单目视觉的智能割草机自主有序割草方法，无需人工参与工作，操作简单，漏割重割率低，割草效果好。
Description
技术领域
本发明涉及室外自动割草及其自主有序的割草方法，特别是指利用割草机自装备的摄像头识别割草区域边界和障碍物，以完成在工作区域内的高效割草。
背景技术
随着人们对绿化需求的日益增加，越来越多的室外场地选择了种植草坪，草坪的修剪已成为一个具有较高需求的实际问题。近年来，由于草坪面积的不断扩大，人工割草方式需要大量的人力，面对这种乏躁且重复性的工作，人们已经尝试利用自动智能化的方式实现高效率的割草。目前市面上的大部分自动割草机采用埋设电子篱笆或在边界线设置其它传感器来约束割草机在工作区域割草，其割草路径大都采用随机或渐开线形式，这种无规律的路径造成的重割和漏割率较大，割草效果不能保证。
发明内容
以解决上述背景技术中提出的问题，本发明的目的在于提供一种基于单目视觉的智能割草机自主有序割草方法，其操作简单，漏割重割率低，割草效果好。
一种基于单目视觉的智能割草机自主有序割草方法，所述的单目视觉的智能割草机包括割草机、安装在割草机前方的单目摄像模块、微控制单元、光电编码器、防碰撞开及充电站，所述的方法包括以下步骤：
1)移动割草：所述充电站安装于割草工作区域外侧，割草机从充电站出发到达待割草坪的一侧，以直线往返的方式移动割草；
2)障碍物检测：所述割草机各电机工作中保持转动，在割草机工作中，所述单目摄像模块不断采集前方草坪图像，持续提取单幅图像进行处理；通过障碍物检测算法进行对比，从而判断出图像中是否存在草坪边界或者障碍物；
3)局部避障：当被检测图像被判断出存在草坪边界时，割草机反向调头工作；若单幅图像中没有识别到草坪边界，此时再判断障碍物是否存在，若图像中被检测出存在障碍物，执行局部避障算法，若没有识别出障碍物，则保持直行状态，继而提取下一幅图像进行处理，依次重复步骤2、3，直到被处理的单幅图像中识别出草坪边界；
4)单目视觉测深度：运用单目视觉测深度算法计算出当前单幅图像中草坪边界各点与割草机的距离；若所述草坪边界最小距离大于设置的安全阈值，割草机保持匀速前行，此过程中割草机不断接近草坪边界，用d表示当前边缘离割草机的距离、d表示前述单幅图像检测出的草坪边界初始距离、v表示割草机匀速直行时的速度、t表示前述提取单幅图像的时间点与当前时间点之间的时间间隔，故可用d＝d-vt更新所述割草机与工作区域边缘的距离，直到当前割草机离草坪边界距离小于等于所述阈值，控制驱动电机使割草机向草坪边界内方向反向调头，跳转至步骤2，依次重复步骤2、3、4，直到割草机摄像头检测到工作终点标识物时，割草机停止工作。
进一步的，所述局部避障方法包括以下步骤：
通过所述障碍物检测方法识别到障碍物后，运用单目视觉测深度方法得到像素坐标系中障碍物的投影各点在实际相机坐标系中的深度集合Z，进一步可得到障碍物各点离割草机的距离集合Z，并求出集合Z；
用z表示一个目标点的深度，根据下述目标点从像素坐标转换到相机坐标的公式可求出目标点在相机坐标系中的三维坐标值：
其中，为目标点在像素坐标系中的坐标值，为目标点在相机坐标下的坐标值，K为相机内参(需前期标定获得)，z为目标点深度；
通过求出的距离集合Z可求出，障碍物投影区域在实际相机坐标中的坐标集合A，求出该坐标集合A中点在相机坐标y轴方向上的最大差值w，w即为障碍物最大长度；
当距离集合Z中的最小距离Zmin小于等于所设置的安全距离时，结合障碍物最大长度w和最大宽度Smax，差速控制驱动轮两电机，实现割草机的转向，使割草机自主避开障碍；
所述单目视觉测深度方法需要提取前后两幅图像，分别识别出前后两幅图像中的障碍物特征，匹配两幅图像中对应的障碍物各点，并去除误匹配，得到障碍物的匹配点对；根据相似三角形原理，可得出下列等式：
其中，f表示相机的焦距；z1和z2分别表示提取该幅图像时相机与障碍物的距离；L表示障碍物的大小；L1和L2分别表示前后两幅图像中障碍物在成像平面中的大小；
进一步，可得
根据运动学公式z1-z2＝vt，其中v为割草机移动的速度，t为提取前后两幅图像之间的时间间隔，最终可求得提取前一幅图像时障碍物点离割草机的距离z1：
其中θ为摄像头成像平面与水平方向的夹角。
所述割草机微控制单元需具有高效的图像处理能力，以满足割草工作所需求的事实性；
所述割草机通过在终点位置放置标识物体使割草机感知工作已完成，当割草机检测到所述标识物体时，割草机停止工作；
进一步的，步骤2)中所述障碍物检测算法实施前，需要采集草坪及障碍物的样本图片；对采集到的样本草坪图片，分别计算出rgb图像的R、G、B通道的平均值R0、G0、B0，所述(R0，G0，B0)作为草坪背景的基准色值；用采集到的各类别障碍物图片训练卷积神经网络的到障碍物分类模型；提取所获取的样本图像的纹理特征，用于训练支持向量机纹理特征三分类器模型，三分类的分类对象是草坪，草坪边界以及障碍；
对图片的每个像素点(Ri，Gi，Bi)，求其与基准色值的比值：
(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)
求上述颜色比值(Ri’，Gi’，Bi’)各个元素Ri’，Gi’，Bi’的相似度，该相似度的值在[0,1]之间，若相似度值越接近1，则代表该像素点与草坪背景基准色越接近，设置相似度阈值，像素小于该阈值的区域被判定为障碍区域；像素相似度大于阈值的像素区域为疑似草坪区域，被判定为疑似草坪区域的需再通过所述的纹理特征分类模型分类，若分类结果为非草坪类，则判断图像的该区域为障碍区域，衡量两个像素点颜色相似度(SIMILATION)公式如下：
其中，本发明中n为rgb彩色图像的通道数即为3；v1、v2、v3为Ri’，Gi’，Bi’；
则上述公式就转换为下列形式：
其中，i＝1，2，3，…….N,N为像素点总数；Ri’，Gi’，Bi’如上述为一个像素点的R、G、B值相对于草坪背景基准色R0、G0、B0的比值，即(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)。
进一步的，所述的割草机车体底部对称布置四轮，前两轮为万向轮，后两轮分别由两个相同的电机驱动，所述割草机上设有具有图像处理能力的微控制单元。
本发明的有益效果是：
本发明能够自动控制割草机进行割草，能够按照既定路线进行割草工作，在割草过程中，充电站能够为割草机提供电能，使用方便，通过障碍物检测、局部避障及单目视觉测深度对割草过程中的障碍物判断和避让，有效保护了装置的安全，通过方法计算的方式确保了避障的精确性。
附图说明
图1为割草机单目摄像模块的布置方式以及所设置的各坐标系示意图；
图2展示了自主有序的直线往返模式割草路径示意图；
图3为单目视觉测深度算法中的相似三角形原理；
图4为本发明的使用流程图；
具体实施方式
下面用具体实施例说明本发明，并不是对本发明的限制。
一种基于单目视觉的智能割草机自主有序割草方法，所述的单目视觉的智能割草机包括割草机、安装在割草机前方的单目摄像模块、微控制单元、光电编码器、防碰撞开及充电站，所述的方法包括以下步骤：
1)移动割草：所述充电站安装于割草工作区域外侧，割草机从充电站出发到达待割草坪的一侧，以直线往返的方式移动割草；
2)障碍物检测：所述割草机各电机工作中保持转动，在割草机工作中，所述单目摄像模块不断采集前方草坪图像，持续提取单幅图像进行处理；通过障碍物检测算法进行对比，从而判断出图像中是否存在草坪边界或者障碍物；
3)局部避障：当被检测图像被判断出存在草坪边界时，割草机反向调头工作；若单幅图像中没有识别到草坪边界，此时再判断障碍物是否存在，若图像中被检测出存在障碍物，执行局部避障算法，若没有识别出障碍物，则保持直行状态，继而提取下一幅图像进行处理，依次重复步骤2、3，直到被处理的单幅图像中识别出草坪边界；
4)单目视觉测深度：运用单目视觉测深度算法计算出当前单幅图像中草坪边界各点与割草机的距离；若所述草坪边界最小距离大于设置的安全阈值，割草机保持匀速前行，此过程中割草机不断接近草坪边界，用d表示当前边缘离割草机的距离、d表示前述单幅图像检测出的草坪边界初始距离、v表示割草机匀速直行时的速度、t表示前述提取单幅图像的时间点与当前时间点之间的时间间隔，故可用d＝d-vt更新所述割草机与工作区域边缘的距离，直到当前割草机离草坪边界距离小于等于所述阈值，控制驱动电机使割草机向草坪边界内方向反向调头，跳转至步骤2，依次重复步骤2、3、4，直到割草机摄像头检测到工作终点标识物时，割草机停止工作。
所述局部避障方法包括以下步骤：
通过所述障碍物检测方法识别到障碍物后，运用单目视觉测深度方法得到像素坐标系中障碍物的投影各点在实际相机坐标系中的深度集合Z，进一步可得到障碍物各点离割草机的距离集合Z，并求出集合Z；
用z表示一个目标点的深度，根据下述目标点从像素坐标转换到相机坐标的公式可求出目标点在相机坐标系中的三维坐标值：
其中，为目标点在像素坐标系中的坐标值，为目标点在相机坐标下的坐标值，K为相机内参(需前期标定获得)，z为目标点深度；
通过求出的距离集合Z可求出，障碍物投影区域在实际相机坐标中的坐标集合A，求出该坐标集合A中点在相机坐标y轴方向上的最大差值w，w即为障碍物最大长度；
当距离集合Z中的最小距离Zmin小于等于所设置的安全距离时，结合障碍物最大长度w和最大宽度Smax，差速控制驱动轮两电机，实现割草机的转向，使割草机自主避开障碍；
所述单目视觉测深度方法需要提取前后两幅图像，分别识别出前后两幅图像中的障碍物特征，匹配两幅图像中对应的障碍物各点，并去除误匹配，得到障碍物的匹配点对；根据相似三角形原理，可得出下列等式：
其中，f表示相机的焦距；z1和z2分别表示提取该幅图像时相机与障碍物的距离；L表示障碍物的大小；L1和L2分别表示前后两幅图像中障碍物在成像平面中的大小；
进一步，可得
根据运动学公式z1-z2＝vt，其中v为割草机移动的速度，t为提取前后两幅图像之间的时间间隔，最终可求得提取前一幅图像时障碍物点离割草机的距离z1：
其中θ为摄像头成像平面与水平方向的夹角。
所述割草机微控制单元需具有高效的图像处理能力，以满足割草工作所需求的事实性；
所述割草机通过在终点位置放置标识物体使割草机感知工作已完成，当割草机检测到所述标识物体时，割草机停止工作；
步骤2)中所述障碍物检测算法实施前，需要采集草坪及障碍物的样本图片；对采集到的样本草坪图片，分别计算出rgb图像的R、G、B通道的平均值R0、G0、B0，所述(R0，G0，B0)作为草坪背景的基准色值；用采集到的各类别障碍物图片训练卷积神经网络的到障碍物分类模型；提取所获取的样本图像的纹理特征，用于训练支持向量机纹理特征三分类器模型，三分类的分类对象是草坪，草坪边界以及障碍；
对图片的每个像素点(Ri，Gi，Bi)，求其与基准色值的比值：
(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)
求上述颜色比值(Ri’，Gi’，Bi’)各个元素Ri’，Gi’，Bi’的相似度，该相似度的值在[0,1]之间，若相似度值越接近1，则代表该像素点与草坪背景基准色越接近，设置相似度阈值，像素小于该阈值的区域被判定为障碍区域；像素相似度大于阈值的像素区域为疑似草坪区域，被判定为疑似草坪区域的需再通过所述的纹理特征分类模型分类，若分类结果为非草坪类，则判断图像的该区域为障碍区域，衡量两个像素点颜色相似度(SIMILATION)公式如下：
其中，本发明中n为rgb彩色图像的通道数即为3；v1、v2、v3为Ri’，Gi’，Bi’；
则上述公式就转换为下列形式：
其中，i＝1，2，3，…….N,N为像素点总数；Ri’，Gi’，Bi’如上述为一个像素点的R、G、B值相对于草坪背景基准色R0、G0、B0的比值，即(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)。
所述的割草机车体底部对称布置四轮，前两轮为万向轮，后两轮分别由两个相同的电机驱动，所述割草机上设有具有图像处理能力的微控制单元。
本发明中所述充电站为割草机充电，且为割草机执行割草任务的起点；所述单目摄像模块安装割草机前方，可俯视割草机前方的草坪；所述的光电编码器级防碰撞开关，分别用于实现割草机的反馈控制和安全防护单目摄像模块用于采集割草机前方环境的视频流，结合微控制单元分析处理摄像头采集的单幅图像，运用障碍检测算法检测图像中是否存在割草边界或者障碍，当图像中检测到存在割草边界时，且边界位置小于所设安全阈值时，割草机调头行驶，当检测到障碍物时，割草机绕行执行局部避障算法。
所述光电编码器分别安装在两驱动轴上，用于获得驱动轴的实际转速，并且将实际转速用于反馈调节，运用PID控制算法，实现割草机高精确度的直线行走。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于单目视觉的智能割草机自主有序割草方法，所述的单目视觉的智能割草机包括割草机、安装在割草机前方的单目摄像模块、微控制单元、光电编码器、防碰撞开及充电站，其特征在于，所述的方法包括以下步骤：
1)移动割草：所述充电站安装于割草工作区域外侧，割草机从充电站出发到达待割草坪的一侧，以直线往返的方式移动割草；
2)障碍物检测：所述割草机各电机工作中保持转动，在割草机工作中，所述单目摄像模块不断采集前方草坪图像，持续提取单幅图像进行处理；通过障碍物检测算法进行检测，从而判断出图像中是否存在草坪边界或者障碍物；
3)局部避障：当被检测图像被判断出存在草坪边界时，割草机反向调头工作；若单幅图像中没有识别到草坪边界，此时再判断障碍物是否存在，若图像中被检测出存在障碍物，执行局部避障算法，若没有识别出障碍物，则保持直行状态，继而提取下一幅图像进行处理，依次重复步骤2、3，直到被处理的单幅图像中识别出草坪边界；
4)单目视觉测深度：运用单目视觉测深度算法计算出当前单幅图像中草坪边界各点与割草机的距离；若所述草坪边界最小距离大于设置的安全阈值，割草机保持匀速前行，此过程中割草机不断接近草坪边界，用d表示当前边缘离割草机的距离、d表示前述单幅图像检测出的草坪边界初始距离、v表示割草机匀速直行时的速度、t表示前述提取单幅图像的时间点与当前时间点之间的时间间隔，故可用d＝d-vt更新所述割草机与工作区域边缘的距离，直到当前割草机离草坪边界距离小于等于所述阈值，控制驱动电机使割草机向草坪边界内方向反向调头，跳转至步骤2，依次重复步骤2、3、4，直到割草机摄像头检测到工作终点标识物时，割草机停止工作。
2.根据权利要求1所述的一种基于单目视觉的智能割草机自主有序割草方法，其特征在于，所述局部避障方法包括以下步骤：
通过所述障碍物检测方法识别到障碍物后，运用单目视觉测深度方法得到像素坐标系中障碍物的投影各点在实际相机坐标系中的深度集合Z，进一步可得到障碍物各点离割草机的距离集合Z，并求出集合Z；
用z表示一个目标点的深度，根据下述目标点从像素坐标转换到相机坐标的公式可求出目标点在相机坐标系中的三维坐标值：
其中，为目标点在像素坐标系中的坐标值，为目标点在相机坐标下的坐标值，K为相机内参(需前期标定获得)，z为目标点深度；
通过求出的距离集合Z可求出，障碍物投影区域在实际相机坐标中的坐标集合A，求出该坐标集合A中点在相机坐标y轴方向上的最大差值w，w即为障碍物最大长度；
当距离集合Z中的最小距离Zmin小于等于所设置的安全距离时，结合障碍物最大长度w和最大宽度Smin，差速控制驱动轮两电机，实现割草机的转向，使割草机自主避开障碍；
所述单目视觉测深度方法需要提取前后两幅图像，分别识别出前后两幅图像中的障碍物特征，匹配两幅图像中对应的障碍物各点，并去除误匹配，得到障碍物的匹配点对；根据相似三角形原理，可得出下列等式：
其中，f表示相机的焦距；z1和z2分别表示提取该幅图像时相机与障碍物的距离；L表示障碍物的大小；L1和L2分别表示前后两幅图像中障碍物在成像平面中的大小；
进一步，可得
根据运动学公式z1-z2＝vt，其中v为割草机移动的速度，t为提取前后两幅图像之间的时间间隔，最终可求得提取前一幅图像时障碍物点离割草机的距离z1：
其中θ为摄像头成像平面与水平方向的夹角；
所述割草机微控制单元需具有高效的图像处理能力，以满足割草工作所需求的事实性；
所述割草机通过在终点位置放置标识物体使割草机感知工作已完成，当割草机检测到所述标识物体时，割草机停止工作。
3.根据权利要求1所述的一种基于单目视觉的智能割草机自主有序割草方法，其特征在于，步骤2)中所述障碍物检测算法实施前，需要采集草坪及障碍物的样本图片；对采集到的样本草坪图片，分别计算出rgb图像的R、G、B通道的平均值R0、G0、B0，所述(R0，G0，B0)作为草坪背景的基准色值；用采集到的各类别障碍物图片训练卷积神经网络的到障碍物分类模型；提取所获取的样本图像的纹理特征，用于训练支持向量机纹理特征三分类器模型，三分类的分类对象是草坪，草坪边界以及障碍；
对图片的每个像素点(Ri，Gi，Bi)，求其与基准色值的比值：
(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)
求上述颜色比值(Ri’，Gi’，Bi’)各个元素Ri’，Gi’，Bi’的相似度，该相似度的值在[0,1]之间，若相似度值越接近1，则代表该像素点与草坪背景基准色越接近，设置相似度阈值，像素小于该阈值的区域被判定为障碍区域；像素相似度大于阈值的像素区域为疑似草坪区域，被判定为疑似草坪区域的需再通过所述的纹理特征分类模型分类，若分类结果为非草坪类，则判断图像的该区域为障碍区域，衡量两个像素点颜色相似度(SIMILATION)公式如下：
其中，本发明中n为rgb彩色图像的通道数即为3；v1、v2、v3为Ri’，Gi’，Bi’；
则上述公式就转换为下列形式：
其中，i＝1，2，3，…….N,N为像素点总数；Ri’，Gi’，Bi’如上述为一个像素点的R、G、B值相对于草坪背景基准色R0、G0、B0的比值，即(Ri’，Gi’，Bi’)＝(Ri/R0,Gi/G0,Bi/B0)。
4.根据权利要求1所述的一种基于单目视觉的智能割草机自主有序割草方法，其特征在于，所述的割草机车体底部对称布置四轮，前两轮为万向轮，后两轮分别由两个相同的电机驱动，所述割草机上设有具有图像处理能力的微控制单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810732572.7A CN109063575B (zh) | 2018-07-05 | 2018-07-05 | 一种基于单目视觉的智能割草机自主有序割草方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810732572.7A CN109063575B (zh) | 2018-07-05 | 2018-07-05 | 一种基于单目视觉的智能割草机自主有序割草方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063575A true CN109063575A (zh) | 2018-12-21 |
| CN109063575B CN109063575B (zh) | 2022-12-23 |
Family
ID=64819459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810732572.7A Active CN109063575B (zh) | 2018-07-05 | 2018-07-05 | 一种基于单目视觉的智能割草机自主有序割草方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063575B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109491397A (zh) * | 2019-01-14 | 2019-03-19 | 深圳市傲基电子商务股份有限公司 | 割草机器人及其割草区域划定方法 |
| CN109566067A (zh) * | 2018-12-28 | 2019-04-05 | 王雪芬 | 过长草体绕行系统 |
| CN110214534A (zh) * | 2019-05-27 | 2019-09-10 | 黎声波 | 草坪自感应自动数控除草装置及使用方法 |
| CN110989601A (zh) * | 2019-12-11 | 2020-04-10 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
| IT201800020182A1 (it) * | 2018-12-19 | 2020-06-19 | Fabrizio Bernini | Robot tagliaerba |
| CN111413977A (zh) * | 2020-04-01 | 2020-07-14 | 南京信息工程大学 | 一种基于机器视觉的割草机器人的路径规划系统及方法 |
| CN111624997A (zh) * | 2020-05-12 | 2020-09-04 | 珠海市一微半导体有限公司 | 基于tof摄像模块的机器人控制方法、系统及机器人 |
| CN111941419A (zh) * | 2019-05-15 | 2020-11-17 | 苏州科瓴精密机械科技有限公司 | 自移动机器人的控制方法及自移动机器人系统 |
| WO2021031406A1 (zh) * | 2019-08-21 | 2021-02-25 | 苏州科瓴精密机械科技有限公司 | 自动工作系统、自动行走设备及其控制方法 |
| CN112673799A (zh) * | 2019-10-18 | 2021-04-20 | 南京德朔实业有限公司 | 自行走割草系统和户外行走设备 |
| WO2021120455A1 (zh) * | 2019-12-20 | 2021-06-24 | 深圳市商汤科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN113068501A (zh) * | 2020-01-06 | 2021-07-06 | 苏州宝时得电动工具有限公司 | 一种智能割草机 |
| CN113207412A (zh) * | 2021-04-15 | 2021-08-06 | 深圳拓邦股份有限公司 | 视觉伺服割草机器人目标跟踪方法和视觉伺服割草机器人 |
| CN113496146A (zh) * | 2020-03-19 | 2021-10-12 | 苏州科瓴精密机械科技有限公司 | 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 |
| WO2022000878A1 (zh) * | 2020-06-28 | 2022-01-06 | 苏州科瓴精密机械科技有限公司 | 自动行走设备及其控制方法及可读存储介质 |
| CN114063609A (zh) * | 2020-07-27 | 2022-02-18 | 河北工业大学 | 智能割草机器人的避障控制方法及控制系统 |
| CN114793599A (zh) * | 2022-04-14 | 2022-07-29 | 宁波市华代科技有限公司 | 一种智能割草机用智能作业系统 |
| CN114868514A (zh) * | 2022-04-13 | 2022-08-09 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
| CN114937258A (zh) * | 2022-04-22 | 2022-08-23 | 未岚大陆(北京)科技有限公司 | 割草机器人的控制方法、割草机器人以及计算机存储介质 |
| WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
| WO2023198029A1 (zh) * | 2022-04-14 | 2023-10-19 | 苏州宝时得电动工具有限公司 | 自动割草机 |
| US20230345928A1 (en) * | 2019-09-25 | 2023-11-02 | Blue River Technology Inc. | Identifying and avoiding obstructions using depth information in a single image |
| CN117784800A (zh) * | 2024-02-27 | 2024-03-29 | 锐驰激光(深圳)有限公司 | 基于可适应视角的避障方法、装置、设备和存储介质 |
| WO2024140974A1 (zh) * | 2022-12-30 | 2024-07-04 | 苏州科瓴精密机械科技有限公司 | 智能割草机的控制方法、装置、智能割草机及存储介质 |
| US12080019B2 (en) | 2020-09-25 | 2024-09-03 | Blue River Technology Inc. | Extracting feature values from point clouds to generate plant treatments |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839069A (zh) * | 2014-03-11 | 2014-06-04 | 浙江理工大学 | 基于图像分析的漏割草坪识别方法 |
| CN104704979A (zh) * | 2013-12-17 | 2015-06-17 | 苏州宝时得电动工具有限公司 | 一种自动割草装置 |
| US9305223B1 (en) * | 2013-06-26 | 2016-04-05 | Google Inc. | Vision-based indicator signal detection using spatiotemporal filtering |
| CN105785986A (zh) * | 2014-12-23 | 2016-07-20 | 苏州宝时得电动工具有限公司 | 自动工作设备 |
| CN105980948A (zh) * | 2014-02-06 | 2016-09-28 | 洋马株式会社 | 自主行驶作业车辆的行驶路径的设定方法 |
| CN106155053A (zh) * | 2016-06-24 | 2016-11-23 | 桑斌修 | 一种割草方法、装置以及系统 |
-
2018
- 2018-07-05 CN CN201810732572.7A patent/CN109063575B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305223B1 (en) * | 2013-06-26 | 2016-04-05 | Google Inc. | Vision-based indicator signal detection using spatiotemporal filtering |
| CN104704979A (zh) * | 2013-12-17 | 2015-06-17 | 苏州宝时得电动工具有限公司 | 一种自动割草装置 |
| CN105980948A (zh) * | 2014-02-06 | 2016-09-28 | 洋马株式会社 | 自主行驶作业车辆的行驶路径的设定方法 |
| CN103839069A (zh) * | 2014-03-11 | 2014-06-04 | 浙江理工大学 | 基于图像分析的漏割草坪识别方法 |
| CN105785986A (zh) * | 2014-12-23 | 2016-07-20 | 苏州宝时得电动工具有限公司 | 自动工作设备 |
| CN106155053A (zh) * | 2016-06-24 | 2016-11-23 | 桑斌修 | 一种割草方法、装置以及系统 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT201800020182A1 (it) * | 2018-12-19 | 2020-06-19 | Fabrizio Bernini | Robot tagliaerba |
| EP3673721A1 (en) * | 2018-12-19 | 2020-07-01 | Fabrizio Bernini | Lawn mower robot |
| CN109566067A (zh) * | 2018-12-28 | 2019-04-05 | 王雪芬 | 过长草体绕行系统 |
| CN109491397A (zh) * | 2019-01-14 | 2019-03-19 | 深圳市傲基电子商务股份有限公司 | 割草机器人及其割草区域划定方法 |
| CN111941419A (zh) * | 2019-05-15 | 2020-11-17 | 苏州科瓴精密机械科技有限公司 | 自移动机器人的控制方法及自移动机器人系统 |
| CN111941419B (zh) * | 2019-05-15 | 2023-03-14 | 苏州科瓴精密机械科技有限公司 | 自移动机器人的控制方法及自移动机器人系统 |
| CN110214534A (zh) * | 2019-05-27 | 2019-09-10 | 黎声波 | 草坪自感应自动数控除草装置及使用方法 |
| WO2021031406A1 (zh) * | 2019-08-21 | 2021-02-25 | 苏州科瓴精密机械科技有限公司 | 自动工作系统、自动行走设备及其控制方法 |
| US20230345928A1 (en) * | 2019-09-25 | 2023-11-02 | Blue River Technology Inc. | Identifying and avoiding obstructions using depth information in a single image |
| CN112673799A (zh) * | 2019-10-18 | 2021-04-20 | 南京德朔实业有限公司 | 自行走割草系统和户外行走设备 |
| CN110989601A (zh) * | 2019-12-11 | 2020-04-10 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
| CN110989601B (zh) * | 2019-12-11 | 2023-05-02 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
| WO2021120455A1 (zh) * | 2019-12-20 | 2021-06-24 | 深圳市商汤科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN113068501A (zh) * | 2020-01-06 | 2021-07-06 | 苏州宝时得电动工具有限公司 | 一种智能割草机 |
| CN113496146A (zh) * | 2020-03-19 | 2021-10-12 | 苏州科瓴精密机械科技有限公司 | 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 |
| CN111413977A (zh) * | 2020-04-01 | 2020-07-14 | 南京信息工程大学 | 一种基于机器视觉的割草机器人的路径规划系统及方法 |
| CN111624997A (zh) * | 2020-05-12 | 2020-09-04 | 珠海市一微半导体有限公司 | 基于tof摄像模块的机器人控制方法、系统及机器人 |
| WO2022000878A1 (zh) * | 2020-06-28 | 2022-01-06 | 苏州科瓴精密机械科技有限公司 | 自动行走设备及其控制方法及可读存储介质 |
| CN114063609B (zh) * | 2020-07-27 | 2024-07-12 | 河北工业大学 | 智能割草机器人的避障控制方法及控制系统 |
| CN114063609A (zh) * | 2020-07-27 | 2022-02-18 | 河北工业大学 | 智能割草机器人的避障控制方法及控制系统 |
| US12080019B2 (en) | 2020-09-25 | 2024-09-03 | Blue River Technology Inc. | Extracting feature values from point clouds to generate plant treatments |
| CN113207412A (zh) * | 2021-04-15 | 2021-08-06 | 深圳拓邦股份有限公司 | 视觉伺服割草机器人目标跟踪方法和视觉伺服割草机器人 |
| WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
| CN114868514B (zh) * | 2022-04-13 | 2023-09-29 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
| CN114868514A (zh) * | 2022-04-13 | 2022-08-09 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
| WO2023198029A1 (zh) * | 2022-04-14 | 2023-10-19 | 苏州宝时得电动工具有限公司 | 自动割草机 |
| CN114793599A (zh) * | 2022-04-14 | 2022-07-29 | 宁波市华代科技有限公司 | 一种智能割草机用智能作业系统 |
| CN114937258B (zh) * | 2022-04-22 | 2023-08-04 | 未岚大陆(北京)科技有限公司 | 割草机器人的控制方法、割草机器人以及计算机存储介质 |
| CN114937258A (zh) * | 2022-04-22 | 2022-08-23 | 未岚大陆(北京)科技有限公司 | 割草机器人的控制方法、割草机器人以及计算机存储介质 |
| WO2024140974A1 (zh) * | 2022-12-30 | 2024-07-04 | 苏州科瓴精密机械科技有限公司 | 智能割草机的控制方法、装置、智能割草机及存储介质 |
| CN117784800A (zh) * | 2024-02-27 | 2024-03-29 | 锐驰激光(深圳)有限公司 | 基于可适应视角的避障方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063575B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063575B (zh) | 一种基于单目视觉的智能割草机自主有序割草方法 | |
| US9603300B2 (en) | Autonomous gardening vehicle with camera | |
| Si et al. | Location of apples in trees using stereoscopic vision | |
| EP2449532B1 (en) | Visual segmentation of lawn grass | |
| US7248968B2 (en) | Obstacle detection using stereo vision | |
| WO2022021630A1 (zh) | 自动行走设备及其控制方法和系统及可读存储介质 | |
| CN104111653A (zh) | 自动行走设备及其工作区域判断方法 | |
| CN104239886B (zh) | 基于图像分析的草坪与背景分界线的提取方法 | |
| CN111460903B (zh) | 基于深度学习的田间西兰花长势监测系统及方法 | |
| CN213424010U (zh) | 一种割草机器人割草范围识别装置 | |
| KR20210059839A (ko) | 잔디경계선에 대한 영상처리를 이용한 잔디깍기 로봇 및 이의 제어 방법 | |
| EP4242964A1 (en) | Obstacle recognition method applied to automatic traveling device and automatic traveling device | |
| CN111353431A (zh) | 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 | |
| CN107564071A (zh) | 一种图像识别草地方法及装置 | |
| WO2021238000A1 (zh) | 机器人沿边工作方法、系统，机器人及可读存储介质 | |
| CN108470165B (zh) | 一种采摘机器人果实视觉协同搜索方法 | |
| CN111339961A (zh) | 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 | |
| KR102129738B1 (ko) | 높이 보정이 가능한 높이 센싱 알고리즘을 구비한 자율주행 트랙터 | |
| WO2023126726A1 (en) | Automatic robotic lawn mowing boundary detection using 3d semantic segmentation | |
| Shalal et al. | A preliminary evaluation of vision and laser sensing for tree trunk detection and orchard mapping | |
| CN111413977A (zh) | 一种基于机器视觉的割草机器人的路径规划系统及方法 | |
| WO2021139683A1 (zh) | 自移动设备 | |
| Milella et al. | A multi-baseline stereo system for scene segmentation in natural environments | |
| Rasmussen et al. | Integrating stereo structure for omnidirectional trail following | |
| WO2017206950A1 (zh) | 自动行走设备及其控制行走方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |