CN113115622B - 视觉机器人避障控制方法、装置及割草机器人 - Google Patents

Abstract

本发明适用于智能家电技术领域，提供了一种视觉机器人避障控制方法、装置及割草机器人，方法包括：检测机器人所处草地环境中的障碍物；在预设的割草策略数据库中查找与障碍物相对应的割草策略；根据割草策略控制机器人绕障碍物进行避障并执行割草操作。本申请通过检测机器人所处草地环境中的障碍物，然后根据障碍物确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。

Description

视觉机器人避障控制方法、装置及割草机器人

技术领域

本发明属于智能家电技术领域，尤其涉及一种视觉机器人避障控制方法、装置及割草机器人。

背景技术

为了保证城市的绿化面积，在街道、公园以及学校中种植有各种类型的草坪，由于草坪的草会自然生长，所以需要经常对草坪进行修剪美化。现有的草坪美化通常是使用智能割草机对草坪进行修剪，智能割草机能自主的完成修剪草坪的工作，无须人为直接控制和操作，具有功率低、噪音小、外形精巧美观的特点，智能割草机能大幅度降低人工操作。

现有的智能割草机具备自动行走功能、防止碰撞、范围之内防止出线、自动返回充电、安全检测和电池电量检测等功能，目前市面上的割草机在割草过程中碰到障碍物时，割草机会绕过障碍物移动至下一块草地进行割草，其通常采用固定的路径形式绕过障碍物，对于不同形状类型的障碍物采用相同的避障方式容易出现漏割现象，割草效果不能保证。

发明内容

本发明实施例提供一种视觉机器人避障控制方法，旨在解决现有视觉割草机器人避障过程存在漏割的问题。

本发明实施例是这样实现的，一种视觉机器人避障控制方法，方法包括如下步骤：

检测机器人所处草地环境中的障碍物；

在预设的割草策略数据库中查找与障碍物相对应的割草策略；

根据割草策略控制机器人绕障碍物进行避障并执行割草操作。

第二方面，本申请还提供一种视觉机器人避障控制装置，装置包括：

检测单元，用于检测机器人所处草地环境中的障碍物；

策略查找单元，用于在预设的割草策略数据库中查找与障碍物相对应的割草策略；

策略执行单元，用于根据割草策略控制机器人绕障碍物进行避障并执行割草操作。

第三方面，本申请还提供一种割草机器人，割草机器人包括如上述的视觉机器人避障控制装置。

本申请实施例通过检测机器人所处草地环境中的障碍物，然后根据障碍物确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。

附图说明

图1是本申请视觉机器人避障控制方法一个实施例的基本流程示意图；

图2是本申请视觉机器人避障控制方法一个实施例检测障碍物的流程示意图；

图3是本申请视觉机器人避障控制方法一个实施例识别障碍物的基本流程示意图；

图4是本申请视觉机器人避障控制方法一个实施例确定割草策略的基本流程示意图；

图5是本申请视觉机器人避障控制方法一个实施例标记障碍物的基本流程示意图；

图6是本申请视觉机器人避障控制装置一个实施例的模块结构示意图；

图7是本申请视觉机器人避障控制装置一个实施例检测单元的模块结构示意图；

图8是本申请视觉机器人避障控制装置另一个实施例图像识别子单元的模块结构示意图；

图9是本申请视觉机器人避障控制装置一个实施例策略查找单元的模块结构示意图；

图10是本申请视觉机器人避障控制装置另一个实施例的模块结构示意图；

图11是本申请一个实施例机器人的移动轨迹示意图；

图12是本申请一个实施例机器人语义分割图像的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有的视觉割草机器人采用固定的避障路径容易出现漏割现象。本申请能根据障碍物的形状和大小贴合障碍物的形状进行避障，避免出现漏割现象，能有效提高割草效率和覆盖率。

实施例一

在一些可选实施例中，请参照图1，图1是本申请一种视觉机器人避障控制方法一个实施例的流程示意图。

如图1所示，本申请第一方面提供一种视觉机器人避障控制方法，方法包括以下步骤：

S1100、检测机器人所处草地环境中的障碍物；

视觉割草机器人在割草过程中实时检测环境中的草地和障碍物，例如视觉割草机器人设置有照相机、摄像头或者激光雷达，以检测草地中是否有障碍物。

S1200、在预设的割草策略数据库中查找与障碍物相对应的割草策略；

割草策略数据库是系统中预先设置的用于存储多个割草策略的仓库，在实施时，不同的割草策略对应不同的障碍物，即针对不同的障碍物的形状、大小或者形状和大小的结合设置有不同的割草策略，例如圆形且直径为T1的障碍物对应割草策略1，圆形且直径为T2的障碍物对应割草策略2，而长度为T1的立方体障碍物则对应割草策略3，在另一些实施例中，割草策略还可以与草地属性相关联，例如，草地中植物的高度为H1，障碍物为圆形且直径为T1对应割草策略4。

S1300、根据割草策略控制机器人绕障碍物进行避障并执行割草操作。

割草策略与障碍物相对应，使得机器人可以沿该障碍物的形状和大小进行移动，机器人贴合障碍物的形状进行割草任务，防止漏割。

在实施时，请参阅图11，图11中包括草地A、割草机器人B、花坛C、机器人的移动轨迹D和小树S，割草机器人B在草地A中执行割草任务并持续监测是否遇到障碍物，当割草机器人B遇到障碍物小树S时，采集小树S的相关信息，例如采集小树S的形状和大小，可以将小树S露出地面的根部作为小树S的形状和大小，在实施时，可以通过激光雷达和摄像头生成三维点云，再将三维点云的地图做平面规划确定小树S根部的形状和大小，在另一些实施例中，还可以通过摄像头采集小树S和草地的图像，然后通过预设的测量方法重建出小树S的形状和大小，该测量方法包括使用计算机视觉和图像处理计算中的至少一种算法测量图像中小树S的大小。

机器人识别到障碍物小树S时遍历割草策略数据库，并从割草策略数据库中查找到和小树S的形状和大小相匹配的割草策略，例如选择小半径绕行的割草策略A1，然后根据该割草策略A1控制机器人沿小树S露出地面的根部绕行，其中，割草策略A1的绕行路径与根部贴合，从而修剪靠近小树S的根部的草地，避免大半径绕行小树S时造成的漏割现象。

而当割草机器人B遇到障碍物花坛C时，检测花坛C的形状和大小，可以将花坛C在地面上的部分作为花坛C的形状和大小，在实施时，可以通过激光雷达和摄像头采集花坛C的图像，然后通过计算机视觉方法重建出花坛C的形状和大小，并从割草策略数据库中查找到和花坛C的形状和大小相匹配的割草策略，例如选择割草策略A2，然后根据该割草策略A2控制机器人沿花坛C绕行，从而修剪靠近花坛C的根部的草地，避免出现漏割现象。

本申请通过检测机器人所处草地环境中的障碍物，然后根据障碍物和草地确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。

实施例二

在一些可选实施例中，请参阅图2，图2是本申请提供的视觉机器人避障控制方法一个实施例检测障碍物的具体流程示意图。

如图2所示，检测机器人所处草地环境中的障碍物的步骤，包括如下述步骤：

S1110、采集机器人所处草地环境的环境图像；

在实施时，采集机器人所处草地环境的图像数据可以是图片形式的，也可以是视频形式的，以机器人设置有照相机或者摄像头为例，机器人进入割草工作模式后，将会启动设置于机器人前部的照相机或者摄像头以对机器人前方进行拍摄，以实时采集机器人移动过程中草地环境的环境图像。当采集的图像数据是视频形式的时，可以定时从视频数据中挑选一帧视频图像作为环境图像。

S1120、根据预设的语义分割方法识别出环境图像中的障碍物。

语义分割方法即图像语义分割(Semantic Segmentation)，图像语义分割是图像处理和机器视觉技术中关于图像理解的一环，也是AI(人工智能，ArtificialIntelligence)领域中一个重要的分支。图像语义分割是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、树、人或车等)，从而进行区域划分的方法。语义分割方法包括但不限于基于区域的语义分割、全卷积网络语义分割和弱监督语义分割。通过使用语义分割方法识别环境图像中的障碍物，能有效提高识别准确率。

实施例三

在一些可选实施例中，请参阅图3，图3是本申请提供的视觉机器人避障控制方法一个实施例识别障碍物的具体流程示意图。

如图3所示，根据预设的语义分割方法识别出环境图像中的障碍物的步骤，包括如下述步骤：

S1121、提取环境图像中的各物体区域，并对各物体区域设置对应的文字标签；

在实施时，可以通过语义分割将环境图像中的各物体进行分类，即将同一类的像素规划为一类，请参阅图12，图12中包括草地A、小树S和箱子X，属于草地A的像素都要分为一类，属于小树S的像素也要分为一类，属于箱子X的像素也要分为一类，除此之外还有背景像素也要被分为一类。然后对划分的各物体区域设置对应的文字标签，还是以上述的草地A、小树S和箱子X为例，可以在草地A的范围设置的文字标签为“草地”，在小树S的范围内设置的文字标签为“树”，在箱子X的范围内设置的文字标签为“箱子”。

S1122、对文字标签进行语义识别，识别出环境图像中表征障碍物的物体区域。

将设置了文字标签的图像进行语义识别，从而确定环境图像中对应障碍物的物体区域，例如上述的箱子X，根据其文字标签“箱子”即可确定该“箱子”对应的像素区域的物体为箱子，进而通过计算机视觉方法重建出箱子X的大小和形状，并根据箱子X的形状和大小采取最佳的避障和割草策略，进而根据该割草策略控制机器人沿箱子X边缘绕行并修剪草地，避免大半径绕行或者采用固定的圆弧路径绕行箱子X时造成的漏割现象，能有效提高割草效率和割草覆盖率。

实施例四

在一些可选实施例中，请参阅图4，图4是本申请提供的视觉机器人避障控制方法一个实施例确定割草策略的具体流程示意图。

如图4所示，在预设的割草策略数据库中查找与障碍物相对应的割草策略的步骤，包括如下述步骤：

S1210、根据预设的计算机视觉算法重建障碍物的形状和大小；

计算机视觉是指用摄影机和电脑对目标进行识别、跟踪和测量等生物视觉的一种模拟，在实施时，计算机视觉的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，从而重建障碍物的形状和大小。

S1220、根据障碍物的形状和大小在割草策略数据库中选择对应的割草策略。

计算出障碍物的形状和大小后，即可在割草策略数据库中选择对应的割草策略，在实施时，割草策略数据库中包括多个割草策略，不同的割草策略对应不同的障碍物形状和大小，以割草策略数据库中包括割草策略1、割草策略2、割草策略3、割草策略4和割草策略5为例，其中，割草策略1对应圆柱形障碍物，大小为M1，割草策略2对应圆柱形障碍物，大小为M2，割草策略3对应圆柱形障碍物，大小为M3，割草策略4对应方形柱体障碍物，大小为M1，割草策略5对应方形柱体障碍物，大小为M4；当割草机器人在执行割草任务过程中检测到障碍物时，例如障碍物为圆柱形石凳，该石凳的直径为M1，割草机器人采集石凳的图像并计算出石凳的形状和大小，然后在割草策略数据库中查找对应圆柱形障碍物的割草策略1、割草策略2和割草策略3作为候选策略，然后在候选策略中选取大小为M1的割草策略，即在割草策略1、割草策略2和割草策略3中选取割草策略1作为石凳的割草策略，然后即可根据选取的割草策略1控制割草机器人沿该石凳移动进行避障，而且割草机器人的避障路径贴合石凳的形状边缘，从而完成石凳边缘草地的修剪任务，避免出现漏割现象。在割草机器人绕过石凳后再次检测到障碍物方箱，该方箱为方形箱子，且方箱的大小为M1，割草机器人采集方箱的图像并计算出方箱的形状和大小，然后在割草策略数据库中查找对应方形障碍物的割草策略4和割草策略5作为候选策略，然后在候选策略中选取大小为M1的割草策略，即在割草策略4和割草策略5中选取割草策略4作为方箱的割草策略，然后即可根据选取的割草策略4控制割草机器人沿该方箱移动进行避障，而且割草机器人的避障路径贴合方箱的形状边缘，从而完成方箱边缘草地的修剪任务，避免出现漏割现象，提供割草覆盖率。

实施例五

在一些可选实施例中，请参阅图5，图5是本申请提供的视觉机器人避障控制方法一个实施例标记障碍物的具体流程示意图。

如图5所示，根据割草策略控制机器人绕障碍物进行避障并修剪草地的步骤之后，本申请提供的视觉机器人避障控制方法还包括如下步骤：

S1400、在机器人的轨迹地图中标记障碍物的位置生成障碍物标签；

轨迹地图是机器人在执行割草任务时加载的割草轨迹地图，在实施时，为保证草地的全局割草修剪，需要规划能完全覆盖草地的轨迹地图，轨迹地图可以在割草机器人首次进入草地区域时，由割草机器人在草地区域中进行弓字型规划生成。当割草机器人执行割草任务时根据该轨迹地图进行移动和割草，并在检测到障碍物时，根据障碍物的形状和大小采取不同的避障及割草策略，然后在轨迹地图中标记该障碍物的位置，并在轨迹地图中生成对应该障碍物的障碍物标签。在实施时，障碍物标签可以采用内存地址方式，即障碍物标签映射一个内存地址，该内存地址中存储有该障碍物的相关信息，例如障碍物的形状、大小、名称以及检测到该障碍物的日期等信息。

S1500、根据割草策略设置障碍物标签的策略关联属性。

生成障碍物标签后，还可以设置该障碍物标签的策略关联属性，策略关联属性映射障碍物与对应割草策略之间关联关系，当割草机器人再次执行割草任务并识别到障碍物时，可以根据轨迹地图中的障碍物标签关联与该障碍物相适配的割草策略，不需要每次都对障碍物进行识别、重建以及割草策略的选择操作，减少数据处理量，提高割草效率。另外，当障碍物被移除后，割草机器人移动至障碍物位置并没有检测到该障碍物时，可以在轨迹地图中删除与该障碍物对应的障碍物标签，减少地图数据量，降低割草机器人对硬件的要求。

本申请通过检测机器人所处草地环境中的障碍物，然后根据障碍物和草地确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。而且在绕过该障碍物后，在机器人的轨迹地图中标记该障碍物以生成障碍物标签，并设置该障碍物标签的与割草策略之间的策略关联属性，从而建立障碍物与割草策略之间的关联，便于后期割草机器人执行割草任务，能有效提高割草效率。

实施例六

在一些可选实施例中，本申请一个实施例还提供一种视觉机器人避障控制装置，请参阅图6，图6是本申请视觉机器人避障控制装置一个实施例的模块结构示意图。

如图6所示，本申请提供的视觉机器人避障控制装置包括：

检测单元100，用于检测机器人所处草地环境中的障碍物；

策略查找单元200，用于在预设的割草策略数据库中查找与所述障碍物相对应的割草策略；

策略执行单元300，用于根据所述割草策略控制机器人绕所述障碍物进行避障并修剪所述草地。

在实施时，还是以上述图11中包括草地A、割草机器人B、小树S和花坛C为例，割草机器人B在草地A中执行割草任务并通过检测单元100持续监测是否遇到障碍物，当割草机器人B遇到障碍物小树S时，采集小树S的形状和大小，例如通过摄像头采集小树S和草地的图像，然后通过预设的测量方法重建出小树S的形状和大小，然后通过策略查找单元200从割草策略数据库中查找到和小树S的形状和大小相匹配的割草策略，例如选择小半径绕行的割草策略A1，然后通过策略执行单元300根据该割草策略A1控制机器人沿小树S露出地面的根部绕行，其中，割草策略A1的绕行路径与根部贴合，从而修剪靠近小树S的根部的草地，避免大半径绕行小树S时造成的漏割现象。

而当检测单元100检测花坛C时，根据花坛C的形状和大小再次通过策略查找单元200从割草策略数据库中查找到和花坛C的形状和大小相匹配的割草策略，例如选择割草策略A2，然后通过策略执行单元300根据该割草策略A2控制机器人沿花坛C绕行，从而修剪靠近花坛C的根部的草地，避免出现漏割现象。

本申请通过检测机器人所处草地环境中的障碍物，然后根据障碍物和草地确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。

在一些可选实施例中，如图7所示，本申请提供的视觉机器人避障控制装置的检测单元100包括：

图像采集子单元110，用于采集机器人所处草地环境的环境图像；

图像识别子单元120，用于根据预设的语义分割方法识别出所述环境图像中的所述草地和所述障碍物。

在一些可选实施例中，如图8所示，本申请提供的视觉机器人避障控制装置的图像识别子单元120包括：

文字标签设置模块121，用于提取所述环境图像中的各物体区域，并对各物体区域设置对应的文字标签；

语义识别模块122，用于对所述文字标签进行语义识别，识别出所述环境图像中表征所述障碍物的物体区域。

在一些可选实施例中，如图9所示，本申请提供的视觉机器人避障控制装置的策略查找单元200包括：

视觉重建子单元210，用于根据预设的计算机视觉算法重建所述障碍物的形状和大小；

策略查找子单元220，用于根据所述障碍物的形状和大小在所述割草策略数据库中选择对应的所述割草策略。

在一些可选实施例中，如图10所示，本申请提供的视觉机器人避障控制装置还包括：

地图标记单元400，用于在机器人的轨迹地图中标记所述障碍物的位置生成障碍物标签；

属性设置单元500，用于根据所述割草策略设置所述障碍物标签的策略关联属性。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例七

在一些可选实施例中，本申请一个实施例还提供一种割草机器人，割草机器人包括如上述的视觉机器人避障控制装置。

在实施时，还是以上述图11为例，图11中包括草地A、割草机器人B、小树S和花坛C为例，割草机器人B在草地A中执行割草任务并通过检测单元100持续监测是否遇到障碍物，当割草机器人B遇到障碍物小树S时，采集小树S的形状和大小，例如通过摄像头采集小树S和草地的图像，然后通过预设的测量方法重建出小树S的形状和大小，然后通过策略查找单元200从割草策略数据库中查找到和小树S的形状和大小相匹配的割草策略，例如选择小半径绕行的割草策略A1，然后通过策略执行单元300根据该割草策略A1控制机器人沿小树S露出地面的根部绕行，其中，割草策略A1的绕行路径与根部贴合，从而修剪靠近小树S的根部的草地，避免大半径绕行小树S时造成的漏割现象。

而当割草机器人B检测花坛C时，通过摄像头采集花坛C和草地的图像，然后通过预设的测量方法重建出花坛C的形状和大小，然后通过策略查找单元200从割草策略数据库中查找到和花坛C的形状和大小相匹配的割草策略，例如选择大半径绕行的割草策略A2，然后通过策略执行单元300根据该割草策略A2控制机器人沿花坛C绕行，其中，割草策略A2的绕行路径与花坛C贴合，从而使得割草机器人可以修剪靠近花坛C的草地，避免出现漏割现象。

本申请通过检测机器人所处草地环境中的障碍物，然后根据障碍物和草地确定割草策略，并根据该割草策略控制机器人进行割草并绕该障碍物进行避障，由于割草机能根据障碍物的形状和大小选择割草策略进行避障，割草机在避障过程中能贴合障碍物的形状，避免出现漏割现象，能有效提高割草效率和覆盖率。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视觉机器人避障控制方法，其特征在于，所述方法包括如下步骤：

检测机器人所处草地环境中的障碍物；

在预设的割草策略数据库中查找与所述障碍物的形状、大小相对应的割草策略；

根据所述割草策略控制机器人贴合所述障碍物的外形进行移动避障并修剪所述草地；

在机器人的轨迹地图中标记所述障碍物的位置生成障碍物标签；

根据所述割草策略设置所述障碍物标签的策略关联属性，所述策略关联属性映射障碍物与对应割草策略之间关联关系；

当障碍物被移除后，割草机器人移动至障碍物位置并没有检测到该障碍物时，在轨迹地图中删除与该障碍物对应的障碍物标签。

2.如权利要求1所述的视觉机器人避障控制方法，其特征在于，所述检测机器人所处草地环境中的障碍物的步骤，包括如下述步骤：

采集机器人所处草地环境的环境图像；

根据预设的语义分割方法识别出所述环境图像中的所述障碍物。

3.如权利要求2所述的视觉机器人避障控制方法，其特征在于，所述根据预设的语义分割方法识别出所述环境图像中的所述障碍物的步骤，包括如下述步骤：

提取所述环境图像中的各物体区域，并对各物体区域设置对应的文字标签；

对所述文字标签进行语义识别，识别出所述环境图像中表征所述障碍物的物体区域。

4.如权利要求1所述的视觉机器人避障控制方法，其特征在于，所述在预设的割草策略数据库中查找与所述障碍物相对应的割草策略的步骤，包括如下述步骤：

根据预设的计算机视觉算法重建所述障碍物的形状和大小；

根据所述障碍物的形状和大小在所述割草策略数据库中选择对应的所述割草策略。

5.一种视觉机器人避障控制装置，其特征在于，所述装置包括：

检测单元，用于检测机器人所处草地环境中的障碍物；

策略查找单元，用于在预设的割草策略数据库中查找与所述障碍物的形状、大小相对应的割草策略；

策略执行单元，用于根据所述割草策略控制机器人贴合所述障碍物的外形进行移动避障并修剪所述草地；

地图标记单元，用于在机器人的轨迹地图中标记所述障碍物的位置生成障碍物标签；

属性设置单元，用于根据所述割草策略设置所述障碍物标签的策略关联属性，所述策略关联属性映射障碍物与对应割草策略之间关联关系；

当障碍物被移除后，割草机器人移动至障碍物位置并没有检测到该障碍物时，在轨迹地图中删除与该障碍物对应的障碍物标签。

6.如权利要求5所述的视觉机器人避障控制装置，其特征在于，所述检测单元包括：

图像采集子单元，用于采集机器人所处草地环境的环境图像；

图像识别子单元，用于根据预设的语义分割方法识别出所述环境图像中的所述草地和所述障碍物。

7.如权利要求6所述的视觉机器人避障控制装置，其特征在于，所述图像识别子单元包括：

文字标签设置模块，用于提取所述环境图像中的各物体区域，并对各物体区域设置对应的文字标签；

语义识别模块，用于对所述文字标签进行语义识别，识别出所述环境图像中表征所述障碍物的物体区域。

8.如权利要求5所述的视觉机器人避障控制装置，其特征在于，所述策略查找单元包括：

视觉重建子单元，用于根据预设的计算机视觉算法重建所述障碍物的形状和大小；

策略查找子单元，用于根据所述障碍物的形状和大小在所述割草策略数据库中选择对应的所述割草策略。

9.一种割草机器人，其特征在于，所述割草机器人包括如权利要求5-8中任一项所述的视觉机器人避障控制装置。

Images