CN110447372A - 一种基于机器视觉的割草机器人的调度方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的割草机器人的调度方法，步骤：一、通过摄像机获取周围环境照片；二、将获取的周围环境照片输入青草识别模型即训练后的SSD算法模型得该照片的青草信息；三、判断照片中是否有青草，如无青草则旋转摄像机后返回步骤一，反之则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后开启割草电机；四、割草完成后判断该照片的青草的所有坐标是否均已成为目标点，如是则旋转摄像机后返回步骤一，如摄像机旋转180°后仍未发现青草则割草工作结束，反之返回步骤三。本发明的调度方法，控制过程流程简单，逻辑简单且有效，能够有效调度割草机器人完成割草工作，应用前景好。

Description

一种基于机器视觉的割草机器人的调度方法

技术领域

本发明属于农用机械技术领域，涉及一种割草机器人的调度方 法，特别涉及一种无需围栏的基于机器视觉的割草机器人的调度方 法。

背景技术

随着社会的发展，人们对生活品质的要求越来越高，在现代城市 中绿化面积的占比日益增大，绿化面积的增大不可避免的给绿化修整 工作带来了一定的困难，绿化修整工作中工作量最大的就是草坪修 整。传统的草坪修整是通过工人控制汽油割草机来实现的，其噪音大、 油耗高、污染较大且需要人工控制，成本较高，已经与当前社会的节 能减排智能化的发展需求格格不入。因此，一种无需人工控制、智能 化程度高且噪声、能耗低的自动割草机是当前行业的迫切需求。

而目前自动割草机市场主要被国外品牌垄断，其设备价格昂贵， 难以在国内进行大规模推广，严重制约了我国的草坪自动化和智能化 建设。目前的智能割草机绝大多数是采用电子围栏限定割草范围使得 割草机在限定范围内割草，其虽然一定程度上进行了割草智能自动 化，但架设电子围栏需要耗费额外的人力，调整割草范围还需重新架 设电子围栏，其运行成本较高，已与当前数字化和智能化的行业需求 不符合。

一种无需围栏的基于机器视觉的割草机器人是当前的迫切需求， 然而虽然近几年深度学习的飞速发展，目标检测也有很大进展，但如 何准确识别青草并实现割草机器人的有效调度仍然是目前行业普及 基于机器视觉的割草机器人面临的最大挑战。

因此，开发一种无需围栏、能准确识别青草且调度效果好的基于 机器视觉的割草机器人的调度方法极具现实意义。

发明内容

本发明的目的在于克服现有技术无法准确识别青草并实现割草 机器人的有效调度的缺陷，提供一种无需围栏、能准确识别青草且调 度效果好的基于机器视觉的割草机器人的调度方法。

为实现上述目的，本发明提供如下技术方案：

一种基于机器视觉的割草机器人的调度方法，所述割草机器人包 括驱动系统、割草电机、割刀、摄像机和微型电脑，所述微型电脑包 括一个或多个程序和一个或多个处理器，当所述一个或多个程序被所 述处理器执行时，使得所述割草机器人执行如下的调度方法；

所述调度方法包括以下步骤：

(1)通过摄像机获取周围环境照片；

(2)将获取的周围环境照片输入青草识别模型即得该照片的青 草信息，所述青草信息包括该照片是否有青草和该照片中青草的位置 信息；

(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后 返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱 动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割 草电机进行割草；

(4)割草完成后，判断该照片的青草的所有坐标是否均已成为 目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180° 后，仍未发现青草则割草工作结束，反之，返回步骤(3)；

所述青草识别模型是由照片数据库训练后的SSD算法模型，照 片数据库包含多张照片I和照片I中青草所在的位置信息，训练时分 别以照片I及其对应照片I中青草所在的位置信息为输入项和输出 项。

本发明的青草识别模型采用Caffe-ssd进行训练，本发明将 Caffe-ssd应用于青草识别领域，相比于Fast R-CNN等，其具有识别 准确率高和识别速度快的特点，同时通过摄像机获取环境照片，采用 青草识别模型处理分析环境照片，确定青草的位置，基于机器人与青 草的相对位置，调整机器人的偏转角度并驱动机器人达到青草位置进 行割草，割草完成后再次采集环境照片重复以上操作，直至环境照片 内无青草为止，在整个过程中系统以机器人位置为坐标原点，即坐标 原点是运动的，整个控制过程流程简单，逻辑简单且有效，能够有效 调度割草机器人完成割草工作，应用前景好。

作为优选的技术方案：

如上所述的一种基于机器视觉的割草机器人的调度方法，所述照 片数据库的照片I包括不同场景下拍摄的照片，所述不同场景包括不 同光照、不同湿度、不同时间和不同温度；训练库中的照片数量及场 景越多，训练所得的青草识别模型的适应性越好，识别准确率越高；

照片I在录入照片数据库前进行了数据化处理，其具体为用脚本 将图片集转化成VOC数据集，当然其具体数据化处理过程并不仅限 于此，本发明仅列举一种可行的处理方法而已，其他能够对照片I进 行数据化处理的方法也可适用于本发明。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述青 草识别模型的训练过程如下：

(i)将照片数据库的数据分为训练样本和测试样本；

(ii)令迭代次数i＝1；

(iii)分别以照片I及其对应照片I中青草所在的位置信息为输 入项和输出项，选取一训练样本训练SSD算法模型的参数；

(iv)选取一测试样本对该SSD算法模型的参数进行验证得到输 出函数的loss；

(v)判断输出函数的loss是否小于0.005，如果是，则将该组 SSD算法模型的参数代入SSD算法模型得到青草识别模型；反之， 则返回步骤(ii)，令i＝i+1。其中，loss是训练时程序产生的输出信 息，如loss接近零即＜0.005，则说明训练出来的青草识别模型的识别结果与实际结果精确匹配即识别准确率高；如loss随着程序运行而 变成nan，那就需要重设置各参数或者更改训练的青草图片样本。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述 SSD算法模型的参数包括batch_size和base_lr。

如上所述的一种基于机器视觉的割草机器人的调度方法，驱动割 草机器人到达指定位置是通过设定偏转角度和运动距离来实现的。本 发明的偏转角度和运动距离是通过摄像机采集到的照片来确定的即 根据机器视觉确定，其中运动距离要在机器视觉获取的距离的基础上 做一定的处理。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述偏 转角度α是通过以下公式计算得到的：

式中，偏转角度α的单位为°，w为摄像机获取照片的长度，单 位为mm，x₁为以摄像机获取照片靠近摄像机侧长边的中点为中心， 长边右侧为x轴正方向，照片中青草对应的x轴坐标，单位为mm。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述运 动距离是通过以下公式计算得到的：

式中，L为照片中青草与摄像头的距离，单位为mm，y₁为以摄 像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方 向，短边远离摄像机方向为y轴正方向，照片中青草对应的y轴坐标， 单位为mm，RL为实际青草与摄像头的距离即运动距离，单位为mm。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述割 草机器人包括车轮、车体、驱动电机、割刀、割草电机、微型电脑及 摄像头；

所述车体包括底板；

所述底板上安装有四个大小形状相同的车轮，所有车轮不完全共 轴且两两共轴，车轮轴包括轴I和轴II，轴I上的两轮为前轮，轴II 上的两轮为后轮；

所述底板的底部安装有与割草电机连接的割刀，割刀为三叶形， 相比于其他形状的割刀，在保证较大的有效切割长度下，降低了刀片 质量，提高了割草效率；

所述轴I上的两轮间设有连接两轮的转向桥，转向桥与转向舵机 连接，轴II上的两轮与驱动电机连接；采用转向桥进行机器人转向， 通过转向舵机即可控制，可通过单片机控制，结构简单，成本低廉， 此外转向桥结构的转向角度大，灵活性好；

所述摄像头安装在车体上，其分别与竖直运动舵机和水平运动舵 机连接，竖直运动舵机用于驱动摄像头在竖直方向上运动，水平运动 舵机用于驱动摄像头在水平方向上运动，竖直运动舵机和水平运动舵 机使得摄像头有水平和垂直两个自由度，能有效保证摄像头的运动面 积使拍照区域足够广，保证了割草机利用机器视觉割草的可用性。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述割 草机器人还包括单片机模块和电源模块，割草机器人以电能作为能量 来源，相比直接使用化石燃料的机器人能源利用率更高，用电力为全 系统供能实现零排放，对环境友好且相比化石燃料割草机噪声低，此 外，电机启动速度快，相比于运作时需要常开的燃机割草机，启停无 损耗，既节约能源，又能延长设备使用寿命，应用前景好；

所述单片机模块用于接收微型电脑发出的控制信号并根据该信 号控制转向舵机、驱动电机、割草电机、竖直运动舵机和水平运动舵 机，其包括与搭载板固定连接的单片机和垂直于搭载板的面包板，所 述单片机与面包板连接；

所述电源模块用于为单片机模块、微型电脑、转向舵机、驱动电 机、割草电机、竖直运动舵机和水平运动舵机提供电力，其包括相互 连接的电池和变压器，通过变压器能够将输出的电压调整至供电电器 的工作电压(如5V)；

所述车体包括底板和位于底板上方的搭载板，所述搭载板与底板 平行，搭载板通过搭载板支撑杆与底板连接；

所述电池和割草电机安装在底板与搭载板之间，电池和割草电机 分别通过电池固定架和割草电机固定架固定在底板上，所述变压器固 定在搭载板上。

如上所述的一种基于机器视觉的割草机器人的调度方法，所述摄 像头固定在搭载板的前部，搭载板上安有水平运动舵机，所述水平运 动舵机上方依次设有水平支撑板、竖直运动舵机和摄像头；

搭载板上布置有温度传感器I，驱动电机上安装有温度传感器II， 温度传感器I和温度传感器II分别通过面包板与单片机连接；

搭载板上设有与单片机连接的散热风扇，散热风扇垂直于搭载板 所在平面；

当温度传感器I监测到的温度超过60℃时，单片机将开启散热风 扇对搭载板进行降温，散热风扇的工作条件并不仅限于此，此处仅做 示例，本领域技术人员可根据实际需求设置；

搭载板支撑杆垂直于底板；

所述转向桥包括相互连接的车桥和连杆，所述车桥两端与车轮连 接，车桥通过连杆与固定在底板上的转向舵机连接，割草机器人还可 包括与微型电脑连接的通讯模块，所述通讯模块用于接受遥控手柄的 控制信号，当机器人发生故障或需要人工操作时，可用遥控手柄强制 操作机器人以人工操作的方式进行除草。遥控手柄可通过APC220无 线模块和DFR0008 DFRobot(遥控板)远程遥控机器人的运动以及 工作开关。此外，还可通过通讯模块将摄像头、温度传感器I、温度 传感器II及其他传感器采集带的数据传送至显示端，操作人员可随 时查看机器人速度、温度、电量等参数，方便监控及检修。

有益效果：

(1)本发明的基于机器视觉的割草机器人的调度方法，采用训 练好的Caffe-ssd作为青草识别模型，其识别准确率高、识别速度快 且数据处理量小；

(2)本发明的基于机器视觉的割草机器人的调度方法，控制过 程流程简单，逻辑简单且有效，能够有效调度割草机器人完成割草工 作，应用前景好。

附图说明

图1～3分别为基于机器视觉的割草机器人不同视角的示意图；

图4为本发明的基于机器视觉的割草机器人的调度方法的步骤 流程图；

图5为摄像机采集到的照片；

其中，1-底板，2-割刀，3-转向舵机，4-温度传感器II，5-割草电 机，6-后轮，7-电池固定架，8-割草电机固定架，9-电池，10-温度传 感器I，11-微型电脑，12-面包板，13-摄像头，14-变压器，15-竖直 运动舵机，16-水平运动舵机，17-搭载板，18-散热风扇，19-车桥， 20-单片机，21-连杆，22-搭载板支撑杆。

具体实施方式

下面结合附图，对本发明的具体实施方式做进一步阐述。

一种基于机器视觉的割草机器人，如图1～3所示，包括车轮、车 体、驱动电机、割刀2、割草电机5、微型电脑11、摄像头13、单 片机模块、电源模块、布置在搭载板上的温度传感器I10和安装在驱 动电机上的温度传感器II 4；

车体包括底板1和位于底板上方的搭载板17，搭载板17与底 板1平行，搭载板17通过垂直于底板1的搭载板支撑杆22与底板 1连接，底板1上安装有四个大小形状相同的车轮，所有车轮不完全 共轴且两两共轴，车轮轴包括轴I和轴II，其中轴I上的两轮为前轮，轴II上的两轮为后轮6，轴I上的两轮间设有连接两轮的转向桥，转 向桥包括相互连接的车桥19和连杆21，车桥19两端与车轮连接， 车桥19通过连杆21与固定在底板上的转向舵机3连接，轴II上的 两轮与驱动电机连接；

电源模块用于为单片机模块、微型电脑11、转向舵机3、驱动 电机、割草电机5、竖直运动舵机15和水平运动舵机16提供电力， 其包括相互连接的电池9和变压器14，电池9和割草电机5安装 在底板1与搭载板17之间，电池9和割草电机5分别通过电池固 定架7和割草电机固定架8固定在底板1上，变压器14固定在搭 载板17上，底板1的底部安装有与割草电机5连接的三叶形割刀 2；

单片机模块用于接收微型电脑11发出的控制信号并根据该信号 控制转向舵机3、驱动电机、割草电机5、竖直运动舵机15和水平 运动舵机16，其包括与搭载板17固定连接的单片机20和垂直于搭 载板17的面包板12，单片机20与面包板12连接，搭载板17和 驱动电机上分别设有温度传感器I14和温度传感器II 4，温度传感器 I 14和温度传感器II 4分别通过面包板12与单片机20连接；

搭载板17上设有与单片机20连接的散热风扇18，散热风扇 18垂直于搭载板17所在平面，当温度传感器I14监测到的温度超 过60℃时，单片机20将开启散热风扇18对搭载板17进行降温；

摄像头13固定在搭载板17的前部，搭载板17上安有水平运 动舵机16，水平运动舵机16上方依次设有水平支撑板、竖直运动 舵机15和摄像头13，竖直运动舵机15用于驱动摄像头在竖直方向 上运动，水平运动舵机用16于驱动摄像头在水平方向上运动；

微型电脑11包括一个或多个程序和一个或多个处理器，当一个 或多个程序被处理器执行时，使得割草机器人执行如图4所示的调度 方法：

(1)通过摄像机获取周围环境照片；

(2)将获取的周围环境照片输入青草识别模型即得该照片的青 草信息，青草信息包括该照片是否有青草和该照片中青草的位置信 息；

(2.1)青草识别模型的训练过程(在ubuntu 16.04操作系统进 行)如下：

(i)将照片数据库的数据分为训练样本和测试样本，照片 数据库的照片I包括不同场景下拍摄的照片，不同场景包括不同光照、 不同湿度、不同时间和不同温度，照片I在录入照片数据库前进行了 数据化处理；

(ii)令迭代次数i＝1；

(iii)分别以照片I及其对应照片I中青草所在的位置信息 为输入项和输出项，选取一训练样本训练SSD算法模型的参数，SSD 算法模型的参数包括batch_size和base_lr；

(iv)选取一测试样本对该SSD算法模型的参数进行验证得 到输出函数的loss；

(v)判断输出函数的loss是否小于0.005，如果是，则将该 组SSD算法模型的参数代入SSD算法模型得到青草识别模型；反之， 则返回步骤(ii)，令i＝i+1；

(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后 返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱 动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割 草电机进行割草；

其中驱动割草机器人到达指定位置是通过设定偏转角度α和运 动距离RL来实现的，偏转角度α和和运动距离RL的计算公式如下：

式中，偏转角度α的单位为°，w为如图5所示的摄像机获取的 照片的长度，单位为mm，x₁为以如图5所示的摄像机获取照片靠近 摄像机侧长边的中点为中心，长边右侧为x轴正方向，照片中青草对 应的x轴坐标，单位为mm；

式中，L为如图5所示的照片中青草与摄像头的距离，单位为mm，y₁为以如图5所示的摄像机获取照片靠近摄像机侧长边的中点 为中心，长边右侧为x轴正方向，短边远离摄像机方向为y轴正方向， 如图5所示的照片中青草对应的y轴坐标，单位为mm，RL为实际 青草与摄像头的距离即运动距离，单位为mm；

(4)割草完成后，判断该照片的青草的所有坐标是否均已成为 目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180° 后，仍未发现青草则割草工作结束，反之，返回步骤(3)。

经验证，本发明的基于机器视觉的割草机器人的调度方法，采用 训练好的Caffe-ssd作为青草识别模型，其识别准确率高、识别速度 快且数据处理量小；控制过程流程简单，逻辑简单且有效，能够有效 调度割草机器人完成割草工作，极具应用前景。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员 应该理解，这些仅是举例说明，在不违背本发明的原理和实质的前提 下，可以对这些实施方式做出多种变更或修改。

Claims (10)

1.一种基于机器视觉的割草机器人的调度方法，所述割草机器人包括驱动系统、割草电机、割刀、摄像机和微型电脑，其特征在于，所述微型电脑包括一个或多个程序和一个或多个处理器，当所述一个或多个程序被所述处理器执行时，使得所述割草机器人执行如下的调度方法；

所述调度方法包括以下步骤：

(1)通过摄像机获取周围环境照片；

(2)将获取的周围环境照片输入青草识别模型即得该照片的青草信息，所述青草信息包括该照片是否有青草和该照片中青草的位置信息；

(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割草电机进行割草；

(4)割草完成后，判断该照片的青草的所有坐标是否均已成为目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180°后，仍未发现青草则割草工作结束，反之，返回步骤(3)；

所述青草识别模型是由照片数据库训练后的SSD算法模型，照片数据库包含多张照片I和照片I中青草所在的位置信息，训练时分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项。

2.根据权利要求1所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述照片数据库的照片I包括不同场景下拍摄的照片，所述不同场景包括不同光照、不同湿度、不同时间和不同温度；

照片I在录入照片数据库前进行了数据化处理。

3.根据权利要求2所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述青草识别模型的训练过程如下：

(i)将照片数据库的数据分为训练样本和测试样本；

(ii)令迭代次数i＝1；

(iii)分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项，选取一训练样本训练SSD算法模型的参数；

(iv)选取一测试样本对该SSD算法模型的参数进行验证得到输出函数的loss；

(v)判断输出函数的loss是否小于0.005，如果是，则将该组SSD算法模型的参数代入SSD算法模型得到青草识别模型；反之，则返回步骤(ii)，令i＝i+1。

4.根据权利要求3所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述SSD算法模型的参数包括batch_size和base_lr。

5.根据权利要求1所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，驱动割草机器人到达指定位置是通过设定偏转角度和运动距离来实现的。

6.根据权利要求5所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述偏转角度α是通过以下公式计算得到的：

式中，偏转角度α的单位为°，w为摄像机获取照片的长度，单位为mm，x₁为以摄像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方向，照片中青草对应的x轴坐标，单位为mm。

7.根据权利要求6所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述运动距离是通过以下公式计算得到的：

式中，L为照片中青草与摄像头的距离，单位为mm，y₁为以摄像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方向，短边远离摄像机方向为y轴正方向，照片中青草对应的y轴坐标，单位为mm，RL为实际青草与摄像头的距离，单位为mm。

8.根据权利要求1所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述割草机器人包括车轮、车体、驱动电机、割刀、割草电机、微型电脑及摄像头；

所述车体包括底板；

所述底板上安装有四个大小形状相同的车轮，所有车轮不完全共轴且两两共轴，车轮轴包括轴I和轴II，轴I上的两轮为前轮，轴II上的两轮为后轮；

所述底板的底部安装有与割草电机连接的割刀，割刀为三叶形；

所述轴I上的两轮间设有连接两轮的转向桥，转向桥与转向舵机连接，轴II上的两轮与驱动电机连接；

所述摄像头安装在车体上，其分别与竖直运动舵机和水平运动舵机连接，竖直运动舵机用于驱动摄像头在竖直方向上运动，水平运动舵机用于驱动摄像头在水平方向上运动。

9.根据权利要求8所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述割草机器人还包括单片机模块和电源模块；

所述单片机模块用于接收微型电脑发出的控制信号并根据该信号控制转向舵机、驱动电机、割草电机、竖直运动舵机和水平运动舵机，其包括与搭载板固定连接的单片机和垂直于搭载板的面包板，所述单片机与面包板连接；

所述电源模块用于为单片机模块、微型电脑、转向舵机、驱动电机、割草电机、竖直运动舵机和水平运动舵机提供电力，其包括相互连接的电池和变压器；

所述车体包括底板和位于底板上方的搭载板，所述搭载板与底板平行，搭载板通过搭载板支撑杆与底板连接；

所述电池和割草电机安装在底板与搭载板之间，电池和割草电机分别通过电池固定架和割草电机固定架固定在底板上，所述变压器固定在搭载板上。

10.根据权利要求9所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述摄像头固定在搭载板的前部，搭载板上安有水平运动舵机，所述水平运动舵机上方依次设有水平支撑板、竖直运动舵机和摄像头；

搭载板上布置有温度传感器I，驱动电机上安装有温度传感器II，温度传感器I和温度传感器II分别通过面包板与单片机连接；

搭载板上设有与单片机连接的散热风扇，散热风扇垂直于搭载板所在平面；

当温度传感器I监测到的温度超过60℃时，单片机将开启散热风扇对搭载板进行降温；

搭载板支撑杆垂直于底板；

所述转向桥包括相互连接的车桥和连杆，所述车桥两端与车轮连接，车桥通过连杆与固定在底板上的转向舵机连接。