CN115167427A - 一种视觉障碍物识别方法、系统及割草机器人 - Google Patents
一种视觉障碍物识别方法、系统及割草机器人 Download PDFInfo
- Publication number
- CN115167427A CN115167427A CN202210841644.8A CN202210841644A CN115167427A CN 115167427 A CN115167427 A CN 115167427A CN 202210841644 A CN202210841644 A CN 202210841644A CN 115167427 A CN115167427 A CN 115167427A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- module
- executing
- suspected
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 title claims abstract description 45
- 238000012790 confirmation Methods 0.000 claims abstract description 84
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 239000013589 supplement Substances 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种视觉障碍物识别方法、系统及割草机器人，本方法包括S10：根据作业地图对工作区域进行遍历割草；S20：判断是否识别到疑似障碍物，若是，则执行S30；S30：进行避障，并将疑似障碍物的位置信息和图像信息传输至用户终端，供用户进行是否为障碍物的确认；S40：继续进行遍历割草；S50：判断是否接收到用户的确认信息，若是，则执行S60；S60：根据确认信息对作业地图中的疑似障碍物的地图信息进行更新；S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。本发明通过人工辅助的方式解决了割草机器人在割草过程中识别到疑似障碍物的情况，能够准确地确认疑似障碍物为障碍物或正常草坪，并对作业地图信息进行更新以致不会错割。
Description
技术领域
本发明涉及割草机器人技术领域，尤其涉及一种视觉障碍物识别方法、系统及割草机器人。
背景技术
当前的割草机器人主要依靠碰撞传感器进行障碍物识别，根据机器人与障碍物发生碰撞时其浮动外壳或者碰撞条跟底盘之间发生相对位移进行障碍物识别，或者根据碰撞发生时驱动轮上负载的变化进行障碍物识别。还有一种是采用超声或者毫米波雷达进行障碍物识别，但是超声或毫米波雷达通常存在较大的识别盲区且获取的环境信息有限，识别效果不是很好，通常只能作为辅助障碍物识别。视觉传感器可以获取丰富的环境信息，但是割草机器人实际工作环境很复杂，比如同样的草坪，草的深浅、疏密、颜色的差异会导致图像的差异，而有的障碍物跟草会有些相似，如草坪上的绿植等，该疑似障碍物的图像目标可能对应真实的障碍物，也可能是需要割草机器人进行作业的草坪。若视觉割草机器人将疑似障碍物的图像目标但是本来是正常草坪的当作障碍物，则会造成区域漏割，若割草机器人将疑似障碍物的图像目标且确实是障碍物的物体当作正常作业草坪，则可能造成错割甚至造成对人或者物体的伤害。
发明内容
本发明要解决的技术问题在于，针对现有技术存在的至少一个缺陷：无法准确确认疑似障碍物为障碍物或正常草坪，提供一种视觉障碍物识别方法、系统及割草机器人。
本发明解决其技术问题所采用的技术方案是：构造一种视觉障碍物识别方法，应用于割草机器人，包括以下步骤：
S10：根据作业地图对工作区域进行遍历割草；
S20：判断是否识别到疑似障碍物，若是，则执行S30；
S30：进行避障，并将所述疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，所述疑似障碍物的信息包括位置信息和图像信息；
S40：继续对工作区域进行遍历割草；
S50：判断是否接收到用户的确认信息，若是，则执行S60；
S60：根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新；
S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。优选地，在本发明所述的视觉障碍物识别方法中，步骤S10之前还包括：
S04：待机状态下，判断是否接收到启动指令，若是，则执行S10；若否，则执行S80；
S80：判断是否有确认信息未上传，若是，则执行S90；若否，则执行S100；
S90：将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至所述云服务器；
S100：判断所述云服务器上的模型参数是否有更新，若是，则执行S110；若否，则返回待机状态；
S110：下载更新后的模型参数，并返回待机状态。
优选地，在本发明所述的视觉障碍物识别方法中，步骤S20之前还包括：
S11：对行进方向的区域进行实时图像采集；
S12：以预设的识别模型和参数对所述实时图像进行草坪识别。
优选地，在本发明所述的视觉障碍物识别方法中，步骤S20还包括：
若否，则执行S21；
S21：判断是否识别到障碍物，若是，则执行S22和S40；若否，则执行S40；
S22：进行避障，并将障碍物的位置信息标注至作业地图中。
优选地，在本发明所述的视觉障碍物识别方法中，步骤S60之前还包括：
S51：存储所述确认信息；
相应地，步骤S50包括：判断是否接收到用户的确认信息，若是，则执行S51。
优选地，在本发明所述的视觉障碍物识别方法中，步骤S60包括：
S601：判断所述确认信息是否确认为草坪，若是，执行S602；若否，执行S603；
S602：将疑似障碍物在作业地图中标注为未割草坪；
S603：将疑似障碍物在作业地图中标注为障碍物。
优选地，在本发明所述的视觉障碍物识别方法中，步骤S04之前还包括：
S01：待机状态下，判断是否接收到用户的确认信息，若是，则执行S03和S04；若否，则执行S04；
S03：根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新。
本发明还构造了一种视觉障碍物识别系统，应用于割草机器人，包括：
控制模块，用于根据作业地图对工作区域进行遍历割草，以及进行避障；
第二判断模块，用于判断是否识别到疑似障碍物，若是，则执行所述控制模块以进行避障并继续对工作区域进行遍历割草，以及执行交互模块；
交互模块，用于将所述疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，所述疑似障碍物的信息包括位置信息和图像信息；
第四判断模块，用于判断是否接收到用户的确认信息，若是，则执行更新模块；
更新模块，用于根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新；
第五判断模块，用于判断是否作业完成，若是，则进行待机；若否，则返回执行所述控制模块以根据作业地图对工作区域进行遍历割草。
优选地，在本发明所述的视觉障碍物识别系统中，本系统还包括：
第一判断模块，用于待机状态下，判断是否接收到启动指令，若是，则执行所述控制模块以根据作业地图对工作区域进行遍历割草；若否，则执行第六判断模块；
第六判断模块，判断是否有确认信息未上传，若是，则执行上传模块；若否，则执行第七判断模块；
上传模块，用于将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至所述云服务器；
第七判断模块，用于判断所述云服务器上的模型参数是否有更新，若是，则执行下载模块；若否，则返回待机状态；
下载模块，用于下载更新后的模型参数，并返回待机状态。
优选地，在本发明所述的视觉障碍物识别系统中，本系统还包括：
采集模块，用于对行进方向的区域进行实时图像采集；
识别模块，用于以预设的识别模型和参数对所述实时图像进行草坪识别。
优选地，在本发明所述的视觉障碍物识别系统中，所述第二判断模块，还用于若否，则执行第三判断模块；
第三判断模块，用于判断是否识别到障碍物，若是，则执行所述控制模块以进行避障并继续对工作区域进行遍历割草，以及执行标注模块；若否，则执行所述控制模块以继续对工作区域进行遍历割草；
标注模块，用于将障碍物的位置信息标注至作业地图中。
优选地，在本发明所述的视觉障碍物识别系统中，本系统还包括：
存储模块，用于存储所述确认信息；
相应地，所述第四判断模块，进一步用于判断是否接收到用户的确认信息，若是，则执行所述存储模块和所述更新模块。
优选地，在本发明所述的视觉障碍物识别系统中，所述更新模块包括：
更新单元，用于将疑似障碍物在作业地图中标注为未割草坪，以及将疑似障碍物在作业地图中标注为障碍物；
判断单元，判断所述确认信息是否确认为草坪，若是，执行更新单元以将疑似障碍物在作业地图中标注为未割草坪；若否，执行更新单元以将疑似障碍物在作业地图中标注为障碍物。
优选地，在本发明所述的视觉障碍物识别系统中，所述第四判断模块，还用于待机状态下，判断是否接收到用户的确认信息，若是，则执行所述更新模块和所述第一判断模块；若否，则执行所述第一判断模块。
本发明还构造了一种割草机器人，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的视觉障碍物识别方法。
通过实施本发明，具有以下有益效果：
本发明设计了一种视觉障碍物识别方法，应用于割草机器人，具体S10：根据作业地图对工作区域进行遍历割草；S20：判断是否识别到疑似障碍物，若是，则执行S30；S30：进行避障，并将疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，疑似障碍物的信息包括位置信息和图像信息；S40：继续对工作区域进行遍历割草；S50：判断是否接收到用户的确认信息，若是，则执行S60；S60：根据确认信息对作业地图中的疑似障碍物的地图信息进行更新；S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。本发明通过人工辅助的方式解决了割草机器人在割草过程中识别到疑似障碍物的情况，能够准确地确认疑似障碍物为障碍物或正常草坪，并对作业地图信息进行更新以致不会错割或漏割。
另外，通过以预设的识别模型和参数对实时图像进行草坪识别，并且还会根据用户的确认信息和图像信息来对模型参数进行更新，从而不断优化障碍物和正常草坪的识别效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明视觉障碍物识别方法的流程图；
图2是本发明视觉障碍物识别系统的模块框图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
需要说明的是，附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，本实施例公开了一种视觉障碍物识别方法，应用于割草机器人，包括以下步骤：
S10：根据作业地图对工作区域进行遍历覆盖割草；
S20：判断是否识别到疑似障碍物，若是，则执行S30；
S30：进行避障，并将疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认。其中，疑似障碍物的信息包括位置信息和图像信息。例如，进行避障的方式为割草机器人沿疑似障碍物作业一圈；
S40：继续对工作区域进行遍历覆盖割草；
S50：判断是否接收到用户的确认信息，若是，则执行S60；
S60：根据确认信息对作业地图中的疑似障碍物的地图信息进行更新；
S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。
在一些实施例中，在割草过程中，还可实时判断是否检测到雨水，若是，则返回基站避雨；若否，则继续执行S10。
在一些实施例中，步骤S10之前还包括：
S04：待机状态下，判断是否接收到启动指令，若是，则执行S10；若否，则执行S80；
S80：判断是否有确认信息未上传，若是，则执行S90；若否，则执行S100；
S90：将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至云服务器；
S100：判断云服务器上的模型参数是否有更新，若是，则执行S110；若否，则返回待机状态；
S110：下载更新后的模型参数，并返回待机状态。
例如，启动指令为通过UI、APP或者预约定时等方式启动工作的启动指令。
具体地，若收到用户确认信息时割草机器人已经完成作业进入了待机状态，则割草机器人仅仅对地图中疑似障碍物信息进行更新，不进行补割。
在待机状态下，若割草机器人中存储有用户对疑似障碍物的确认信息，则割草机器人将疑似障碍物的确认信息及相关图像信息上传云服务器；后台服务器会定时(如每天一次)从云服务器上拉取割草机器人上传的图像及用户确认信息，并将拉取的数据补充到原有数据中对训练模型进行重新训练，若生成的新的模型参数识别效果更好，则将更新的模型参数推送到云服务器，对割草机器人的本地识别模型参数并进行更新。
在一些实施例中，步骤S20之前还包括：
S11：对行进方向的区域进行实时图像采集。例如在割草过程中，通过安装于割草机器人前方的相机模块对行进方向的区域进行实时视频图像采集；
S12：以预设的识别模型和参数对实时图像进行草坪识别。
在一些实施例中，步骤S20包括：判断是否识别到疑似障碍物，若是，则执行S30；若否，则执行S40。
其中，若否，则执行S40，具体包括：
若否，则执行S21；
S21：判断是否识别到障碍物，若是，则执行S22和S40；若否，则执行S40；
S22：进行避障，并将障碍物的位置信息标注至作业地图中。例如，在识别到障碍物时，割草机器人沿障碍物作业一圈，并通过定位模块将障碍物的位置信息标注到作业地图中，这样在后续的作业过程中可以绕开障碍物。
其中，割草机器人对于草坪和障碍物的识别通过判定前方视野范围内物体的实时图像跟正常草坪图像的相似程度来做识别判断，若跟正常草坪相似度高，例如相似度大于等于60％且小于等于100％时，则认为是草坪的置信度比较高，割草机器人认为前方是正常草坪；若前方视野范围物体的实时图像与正常草坪图像的相似度低，例如相似度大于等于0％且小于等于40％时，则认为是草坪的置信度比较低，割草机器人认为前方是障碍物；若前方物体的实时图像与正常草坪图像的相似度处于中间状态，例如相似度大于40％且小于60％时，则认为是草坪的置信度不高不低，则认为前方物体为疑似障碍物。
在一些实施例中，步骤S60之前还包括：
S51：存储确认信息；
相应地，步骤S50包括：判断是否接收到用户的确认信息，若是，则执行S51。
由于存储了确认信息，割草机器人在下次割草流程中，碰到之前用户确认过的疑似障碍物的图像目标，基于用户确认信息进行判断，不再给用户发送确认要求。
在一些实施例中，步骤S50还包括若否，则执行S70。
在一些实施例中，步骤S60包括：
S601：判断确认信息是否确认为草坪，若是，执行S602；若否，执行S603；
S602：将疑似障碍物在作业地图中标注为未割草坪，在对其余工作区域进行遍历割草作业后再进行补割；
S603：将疑似障碍物在作业地图中标注为障碍物。
在一些实施例中，步骤S70中，若是，则进行待机，包括：
若是，则执行S120；
S120：返回基站进行充电；
S130：判断是否充电完成，若是，则进行待机；若否，则继续充电。
在另外一些实施例中，在充电过程中判断是否接收到启动指令，若是，则返回执行S10；若否，则继续充电。
在另外一些实施例中，在割草过程中，实时判断电量是否低于预设阈值，若是，则执行S120；若否，则继续执行S10。例如，预设阈值为10％的电量。
在一些实施例中，步骤S04之前还包括：
S01：待机状态下，判断是否接收到用户的确认信息，若是，则执行S03和S04；若否，则执行S04；
S03：根据确认信息对作业地图中的疑似障碍物的地图信息进行更新。
具体地，步骤S03包括：
S031：判断确认信息是否确认为草坪，若是，执行S032；若否，执行S033；
S032：将疑似障碍物在作业地图中标注为未割草坪，在对其余工作区域进行遍历割草作业后再进行补割；
S033：将疑似障碍物在作业地图中标注为障碍物。
在一些实施例中，步骤S03之前还包括：
S02：存储确认信息；
相应地，步骤S01包括：判断是否接收到用户的确认信息，若是，则执行S02、S03和S04；若否，则执行S04。
如图2所示，本实施例还公开了一种视觉障碍物识别系统，应用于割草机器人，包括：
控制模块，用于根据作业地图对工作区域进行遍历覆盖割草，以及进行避障；
第二判断模块，用于判断是否识别到疑似障碍物，若是，则执行控制模块以进行避障并继续对工作区域进行遍历割草，以及执行交互模块；
交互模块，用于将疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认。其中，疑似障碍物的信息包括位置信息和图像信息。例如，进行避障的方式为割草机器人沿疑似障碍物作业一圈；
第四判断模块，用于判断是否接收到用户的确认信息，若是，则执行更新模块；
更新模块，用于根据确认信息对作业地图中的疑似障碍物的地图信息进行更新；
第五判断模块，用于判断是否作业完成，若是，则进行待机；若否，则返回执行控制模块以根据作业地图对工作区域进行遍历割草。
在一些实施例中，本系统还包括检测判断模块，用于在割草过程中，实时判断是否检测到雨水，若是，则执行控制模块以返回基站避雨；若否，则执行控制模块以根据作业地图对工作区域进行遍历覆盖割草。
在一些实施例中，本系统还包括：
第一判断模块，用于待机状态下，判断是否接收到启动指令，若是，则执行控制模块以根据作业地图对工作区域进行遍历割草；若否，则执行第六判断模块；
第六判断模块，判断是否有确认信息未上传，若是，则执行上传模块；若否，则执行第七判断模块；
上传模块，用于将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至云服务器；
第七判断模块，用于判断云服务器上的模型参数是否有更新，若是，则执行下载模块；若否，则返回待机状态；
下载模块，用于下载更新后的模型参数，并返回待机状态。
例如，启动指令为通过UI、APP或者预约定时等方式启动工作的启动指令。
具体地，若收到用户确认信息时割草机器人已经完成作业进入了待机状态，则割草机器人仅仅对地图中疑似障碍物信息进行更新，不进行补割。
在待机状态下，若割草机器人中存储有用户对疑似障碍物的确认信息，则割草机器人将疑似障碍物的确认信息及相关图像信息上传云服务器；后台服务器会定时(如每天一次)从云服务器上拉取割草机器人上传的图像及用户确认信息，并将拉取的数据补充到原有数据中对训练模型进行重新训练，若生成的新的模型参数识别效果更好，则将更新的模型参数推送到云服务器，对割草机器人的本地识别模型参数并进行更新。
在一些实施例中，本系统还包括：
采集模块，用于对行进方向的区域进行实时图像采集。例如在割草过程中，通过安装于割草机器人前方的相机模块对行进方向的区域进行实时视频图像采集；
识别模块，用于以预设的识别模型和参数对实时图像进行草坪识别。
在一些实施例中，第二判断模块，用于判断是否识别到疑似障碍物，若是，则执行控制模块以进行避障，继续对工作区域进行遍历割草，以及执行交互模块；若否，则执行控制模块以继续对工作区域进行遍历割草；
其中，若否，则执行控制模块以继续对工作区域进行遍历割草，具体包括：
若否，则执行第三判断模块；
第三判断模块，用于判断是否识别到障碍物，若是，则执行控制模块以进行避障并继续对工作区域进行遍历割草，以及执行标注模块；若否，则执行控制模块以继续对工作区域进行遍历割草；
标注模块，用于将障碍物的位置信息标注至作业地图中。
例如，在识别到障碍物时，割草机器人沿障碍物作业一圈，并通过定位模块将障碍物的位置信息标注到作业地图中，这样在后续的作业过程中可以绕开障碍物。
其中，割草机器人对于草坪和障碍物的识别通过判定前方视野范围内物体的实时图像跟正常草坪图像的相似程度来做识别判断，若跟正常草坪相似度高，例如相似度大于等于60％且小于等于100％时，则认为是草坪的置信度比较高，割草机器人认为前方是正常草坪；若前方视野范围物体的实时图像与正常草坪图像的相似度低，例如相似度大于等于0％且小于等于40％时，则认为是草坪的置信度比较低，割草机器人认为前方是障碍物；若前方物体的实时图像与正常草坪图像的相似度处于中间状态，例如相似度大于40％且小于60％时，则认为是草坪的置信度不高不低，则认为前方物体为疑似障碍物。
在一些实施例中，本系统还包括：
存储模块，用于存储确认信息；
相应地，第四判断模块，进一步用于判断是否接收到用户的确认信息，若是，则执行存储模块和更新模块。
由于存储了确认信息，割草机器人在下次割草流程中，碰到之前用户确认过的疑似障碍物的图像目标，基于用户确认信息进行判断，不再给用户发送确认要求。
在一些实施例中，第四判断模块，还用于若否，则执行第五判断模块。
在一些实施例中，更新模块包括：
更新单元，用于将疑似障碍物在作业地图中标注为未割草坪，以及将疑似障碍物在作业地图中标注为障碍物；
判断单元，判断确认信息是否确认为草坪，若是，执行更新单元以将疑似障碍物在作业地图中标注为未割草坪，在对其余工作区域进行遍历割草作业后再进行补割；若否，执行更新单元以将疑似障碍物在作业地图中标注为障碍物。
在一些实施例中，控制模块，还用于返回基站进行充电；
第五判断模块，进一步用于若是，则执行控制模块以返回基站进行充电；
本系统还包括：
第八判断模块，用于判断是否充电完成，若是，则进行待机；若否，则继续充电。
在另外一些实施例中，本系统还包括第九判断模块，用于在充电过程中判断是否接收到启动指令，若是，则返回执行控制模块以根据作业地图对工作区域进行遍历割草；若否，则继续充电。
在另外一些实施例中，本系统还包括第十判断模块，用于在割草过程中，实时判断电量是否低于预设阈值，若是，则执行控制模块以返回基站进行充电；若否，则继续控制模块以根据作业地图对工作区域进行遍历割草。例如，预设阈值为10％的电量。
在一些实施例中，第四判断模块，还用于待机状态下，判断是否接收到用户的确认信息，若是，则执行更新模块和第一判断模块。
本实施例还公开了一种割草机器人，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述任一实施例所述的视觉障碍物识别方法。
通过实施本发明，具有以下有益效果：
本发明设计了一种视觉障碍物识别方法，应用于割草机器人，具体S10：根据作业地图对工作区域进行遍历割草；S20：判断是否识别到疑似障碍物，若是，则执行S30；S30：进行避障，并将疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，疑似障碍物的信息包括位置信息和图像信息；S40：继续对工作区域进行遍历割草；S50：判断是否接收到用户的确认信息，若是，则执行S60；S60：根据确认信息对作业地图中的疑似障碍物的地图信息进行更新；S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。本发明通过人工辅助的方式解决了割草机器人在割草过程中识别到疑似障碍物的情况，能够准确地确认疑似障碍物为障碍物或正常草坪，并对作业地图信息进行更新以致不会错割或漏割。
另外，通过以预设的识别模型和参数对实时图像进行草坪识别，并且还会根据用户的确认信息和图像信息来对模型参数进行更新，从而不断优化障碍物和正常草坪的识别效果。
可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。
Claims (15)
1.一种视觉障碍物识别方法，应用于割草机器人，其特征在于，包括以下步骤：
S10：根据作业地图对工作区域进行遍历割草；
S20：判断是否识别到疑似障碍物，若是，则执行S30；
S30：进行避障，并将所述疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，所述疑似障碍物的信息包括位置信息和图像信息；
S40：继续对工作区域进行遍历割草；
S50：判断是否接收到用户的确认信息，若是，则执行S60；
S60：根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新；
S70：判断是否作业完成，若是，则进行待机；若否，则返回执行S10。
2.根据权利要求1所述的视觉障碍物识别方法，其特征在于，步骤S10之前还包括：
S04：待机状态下，判断是否接收到启动指令，若是，则执行S10；若否，则执行S80；
S80：判断是否有确认信息未上传，若是，则执行S90；若否，则执行S100；
S90：将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至所述云服务器；
S100：判断所述云服务器上的模型参数是否有更新，若是，则执行S110；若否，则返回待机状态；
S110：下载更新后的模型参数，并返回待机状态。
3.根据权利要求1所述的视觉障碍物识别方法，其特征在于，步骤S20之前还包括：
S11：对行进方向的区域进行实时图像采集；
S12：以预设的识别模型和参数对所述实时图像进行草坪识别。
4.根据权利要求1所述的视觉障碍物识别方法，其特征在于，步骤S20还包括：
若否，则执行S21；
S21：判断是否识别到障碍物，若是，则执行S22和S40；若否，则执行S40；
S22：进行避障，并将障碍物的位置信息标注至作业地图中。
5.根据权利要求1所述的视觉障碍物识别方法，其特征在于，步骤S60之前还包括：
S51：存储所述确认信息；
相应地，步骤S50包括：判断是否接收到用户的确认信息，若是，则执行S51。
6.根据权利要求1所述的视觉障碍物识别方法，其特征在于，步骤S60包括：
S601：判断所述确认信息是否确认为草坪，若是，执行S602；若否，执行S603；
S602：将疑似障碍物在作业地图中标注为未割草坪；
S603：将疑似障碍物在作业地图中标注为障碍物。
7.根据权利要求2所述的视觉障碍物识别方法，其特征在于，步骤S04之前还包括：
S01：待机状态下，判断是否接收到用户的确认信息，若是，则执行S03和S04；若否，则执行S04；
S03：根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新。
8.一种视觉障碍物识别系统，应用于割草机器人，其特征在于，包括：
控制模块，用于根据作业地图对工作区域进行遍历割草，以及进行避障；
第二判断模块，用于判断是否识别到疑似障碍物，若是，则执行所述控制模块以进行避障并继续对工作区域进行遍历割草，以及执行交互模块；
交互模块，用于将所述疑似障碍物的信息传输至用户终端，供用户进行是否为障碍物的确认；其中，所述疑似障碍物的信息包括位置信息和图像信息；
第四判断模块，用于判断是否接收到用户的确认信息，若是，则执行更新模块；
更新模块，用于根据所述确认信息对所述作业地图中的所述疑似障碍物的地图信息进行更新；
第五判断模块，用于判断是否作业完成，若是，则进行待机；若否，则返回执行所述控制模块以根据作业地图对工作区域进行遍历割草。
9.根据权利要求8所述的视觉障碍物识别系统，其特征在于，本系统还包括：
第一判断模块，用于待机状态下，判断是否接收到启动指令，若是，则执行所述控制模块以根据作业地图对工作区域进行遍历割草；若否，则执行第六判断模块；
第六判断模块，判断是否有确认信息未上传，若是，则执行上传模块；若否，则执行第七判断模块；
上传模块，用于将疑似障碍物的确认信息和图像信息上传至云服务器，供后台服务器获取确认信息和图像信息，以对训练模型进行重新训练，生成新的模型参数，并更新至所述云服务器；
第七判断模块，用于判断所述云服务器上的模型参数是否有更新，若是，则执行下载模块；若否，则返回待机状态；
下载模块，用于下载更新后的模型参数，并返回待机状态。
10.根据权利要求8所述的视觉障碍物识别系统，其特征在于，本系统还包括：
采集模块，用于对行进方向的区域进行实时图像采集；
识别模块，用于以预设的识别模型和参数对所述实时图像进行草坪识别。
11.根据权利要求8所述的视觉障碍物识别系统，其特征在于，所述第二判断模块，还用于若否，则执行第三判断模块；
第三判断模块，用于判断是否识别到障碍物，若是，则执行所述控制模块以进行避障并继续对工作区域进行遍历割草，以及执行标注模块；若否，则执行所述控制模块以继续对工作区域进行遍历割草；
标注模块，用于将障碍物的位置信息标注至作业地图中。
12.根据权利要求8所述的视觉障碍物识别系统，其特征在于，本系统还包括：
存储模块，用于存储所述确认信息；
相应地，所述第四判断模块，进一步用于判断是否接收到用户的确认信息，若是，则执行所述存储模块和所述更新模块。
13.根据权利要求8所述的视觉障碍物识别系统，其特征在于，所述更新模块包括：
更新单元，用于将疑似障碍物在作业地图中标注为未割草坪，以及将疑似障碍物在作业地图中标注为障碍物；
判断单元，判断所述确认信息是否确认为草坪，若是，执行更新单元以将疑似障碍物在作业地图中标注为未割草坪；若否，执行更新单元以将疑似障碍物在作业地图中标注为障碍物。
14.根据权利要求9所述的视觉障碍物识别系统，其特征在于，所述第四判断模块，还用于待机状态下，判断是否接收到用户的确认信息，若是，则执行所述更新模块和所述第一判断模块；若否，则执行所述第一判断模块。
15.一种割草机器人，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7任一项所述的视觉障碍物识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841644.8A CN115167427A (zh) | 2022-07-18 | 2022-07-18 | 一种视觉障碍物识别方法、系统及割草机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841644.8A CN115167427A (zh) | 2022-07-18 | 2022-07-18 | 一种视觉障碍物识别方法、系统及割草机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115167427A true CN115167427A (zh) | 2022-10-11 |
Family
ID=83495653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210841644.8A Pending CN115167427A (zh) | 2022-07-18 | 2022-07-18 | 一种视觉障碍物识别方法、系统及割草机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115167427A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115617053A (zh) * | 2022-12-19 | 2023-01-17 | 松灵机器人(深圳)有限公司 | 障碍物遍历方法、装置、割草机器人以及存储介质 |
| CN116300960A (zh) * | 2023-03-31 | 2023-06-23 | 深圳森合创新科技有限公司 | 机器人及其地图构建与定位方法 |
-
2022
- 2022-07-18 CN CN202210841644.8A patent/CN115167427A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115617053A (zh) * | 2022-12-19 | 2023-01-17 | 松灵机器人(深圳)有限公司 | 障碍物遍历方法、装置、割草机器人以及存储介质 |
| CN116300960A (zh) * | 2023-03-31 | 2023-06-23 | 深圳森合创新科技有限公司 | 机器人及其地图构建与定位方法 |
| CN116300960B (zh) * | 2023-03-31 | 2024-05-28 | 深圳森合创新科技有限公司 | 机器人及其地图构建与定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115167427A (zh) | 一种视觉障碍物识别方法、系统及割草机器人 | |
| CN109634285B (zh) | 割草机器人及其控制方法 | |
| US20140032033A1 (en) | Trainable autonomous lawn mower | |
| CN113296495B (zh) | 自移动设备的路径形成方法、装置和自动工作系统 | |
| US20210255638A1 (en) | Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System | |
| CN113126613B (zh) | 智能割草系统及其自主建图方法 | |
| CN113796778A (zh) | 远程运维方法、装置、系统、机器人、芯片及存储介质 | |
| CN112748721A (zh) | 视觉机器人及其清洁控制方法、系统和芯片 | |
| CN114419922B (zh) | 车位识别方法及装置 | |
| CN114937258A (zh) | 割草机器人的控制方法、割草机器人以及计算机存储介质 | |
| US20220110244A1 (en) | Path setting apparatus, path setting method, and non-transitory computer-readable storage medium | |
| CN115336459A (zh) | 枯草处理方法、系统、计算机可读介质及割草机器人 | |
| CN114935341B (zh) | 一种新型slam导航计算视频识别方法及装置 | |
| CN116466724A (zh) | 一种机器人的移动定位方法、装置和机器人 | |
| EP4053664A1 (en) | Method, apparatus, and computer program for defining geo-fencing data, and respective utility vehicle | |
| US20220137631A1 (en) | Autonomous work machine, control device, autonomous work machine control method, control device operation method, and storage medium | |
| CN115097833A (zh) | 一种施药机器人的自动避障方法、系统及存储介质 | |
| CN116430838A (zh) | 自移动设备、及其控制方法 | |
| CN114610035A (zh) | 回桩方法、装置及割草机器人 | |
| CN115237113A (zh) | 机器人导航的方法、机器人、机器人系统及存储介质 | |
| CN114564018A (zh) | 控制方法、控制装置、终端设备及计算机可读存储介质 | |
| CN113821021A (zh) | 一种自动行走设备区域边界生成方法及系统 | |
| CN115423961A (zh) | 地图构建方法及装置、自移动设备、计算机可读存储介质 | |
| CN116088533B (zh) | 信息确定方法、远程终端、设备、割草机及存储介质 | |
| CN115079692A (zh) | 一种割草机器人的建图方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |