CN115381354A - 清洁机器人的避障方法、避障装置、存储介质和设备 - Google Patents
清洁机器人的避障方法、避障装置、存储介质和设备 Download PDFInfo
- Publication number
- CN115381354A CN115381354A CN202210901031.9A CN202210901031A CN115381354A CN 115381354 A CN115381354 A CN 115381354A CN 202210901031 A CN202210901031 A CN 202210901031A CN 115381354 A CN115381354 A CN 115381354A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- dimensional
- contour
- cleaning robot
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004888 barrier function Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000013507 mapping Methods 0.000 abstract description 6
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 241001417527 Pempheridae Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/28—Floor-scrubbing machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种清洁机器人的避障方法、避障装置、存储介质和设备。该避障方法包括：获取清洁机器人所处场景的环境图像；利用预先训练的识别模型对环境图像进行识别，获得障碍物识别结果；根据环境图像生成三维场景点云，从三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；根据障碍物识别结果对二维局部轮廓进行补全，获得障碍物的二维完整轮廓；根据障碍物的二维完整轮廓采取避障操作。该避障方法结合AI识别方法和点云计算，在克服单线激光雷达建图存在盲区的缺陷的基础上，无需采用过多的传感器，降低了成本，同时避免了对障碍物进行专门的环绕拍摄，提高了清扫效率，也具有障碍物识别和建图的高效性，提高了避障成功率。
Description
技术领域
本发明属于清洁机器人技术领域，具体地讲，涉及一种清洁机器人的避障方法、避障装置、计算机可读存储介质和计算机设备。
背景技术
家用扫地机等清洁机器人从随机型到规划型的发展，从激光机型到AI机型的进步，无一不表明了传感器的提升对于加强扫地机功能的帮助。但是目前市场上的激光扫地机大多使用的是单线激光雷达，其仅能扫描固定高度的障碍物，其它位置的障碍物就处于激光雷达的盲区，并且利用激光进行建图的精度也取决于激光雷达旋转速度和激光发射频率。
为了能够精准建图，以进行精准地避障，目前行业内具有如下方案。第一种方案是需要增加额外的传感器，比如结构光模块，深度相机，面阵DToF模块等，该方案虽然能获得丰富信息，但是显著地提高了成本。第二种方案是当机器靠近障碍物时，环绕障碍物进行扫描，从而获取障碍物的全貌，这样机器在进行导航或者沿边动作过程中可避免碰撞或刮蹭到障碍物，为后续的清扫提供便利。虽然第二种方案降低了机器成本，但是如果需要获取障碍物的全貌来进行导航，需要采取沿障碍物绕弯、围绕障碍物拍照一圈等动作，这样极大地降低清扫效率。
发明内容
本发明解决的技术问题是：如何快速、高效地识别障碍物全貌轮廓，以进行精准建图，同时降低机器整体成本。
本申请公开了一种清洁机器人的避障方法，所述避障方法包括：
获取清洁机器人所处场景的环境图像；
利用预先训练的识别模型对所述环境图像进行识别，获得障碍物识别结果；
根据所述环境图像生成三维场景点云，从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；
根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓；
根据所述障碍物的二维完整轮廓采取避障操作。
优选地，所述环境图像为双目相机拍摄的图像，根据所述环境图像生成三维场景点云的方法为：
采用改进的ORB-SLAM算法对所述环境图像进行计算，得到三维场景点云。
优选地，所述障碍物识别结果包括障碍物像素范围，所述从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓的方法为：
从所述三维场景点云中截取得到预定高度范围三维点云；
根据所述障碍物像素范围从所述预定高度范围三维点云中提取出障碍物三维点云；
根据所述障碍物三维点云得到二维局部轮廓。
优选地，根据所述障碍物三维点云得到二维局部轮廓的方法包括：
去除所述障碍物三维点云的高度信息，得到得到障碍物二维点云；
对所述障碍物二维点云进行拟合得到在俯视视角下障碍物的二维局部轮廓。
优选地，所述障碍物识别结果还包括障碍物类别，根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓的方法为：
根据所述障碍物类别确定与所述障碍物匹配的几何模型；
根据所述几何模型和所述二维局部轮廓预测得到补全轮廓，所述补全轮廓和所述二维局部轮廓构成所述障碍物的二维完整轮廓。
优选地，当几何模型为矩形时，预测得到补全轮廓的方法为：
根据所述二维局部轮廓与所述清洁机器人的相对位置关系确定待补全轮廓的方向，根据所述二维局部轮廓对应的点云范围确定待补全轮廓的长度；
根据所述待补全轮廓的方向和长度生成补全轮廓。
优选地，根据所述障碍物的二维完整轮廓采取避障操作的方法为：
根据所述障碍物的二维完整轮廓生成栅格地图；
根据所述障碍物类型在栅格地图上设置障碍物安全距离，以使得清洁机器人按照栅格地图运行时避开障碍物。
本申请还公开了一种清洁机器人的避障装置，所述避障装置包括：
图像数据获取模块，用于获取清洁机器人所处场景的环境图像；
障碍物识别模块，用于利用预先训练的识别模型对所述环境图像进行识别，获得障碍物识别结果；
局部轮廓确定模块，用于根据所述环境图像生成三维场景点云，从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；
轮廓补全模块，用于根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓；
避障处理模块，用于根据所述障碍物的二维完整轮廓采取避障操作。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有清洁机器人的避障程序，所述清洁机器人的避障程序被处理器执行时实现上述的清洁机器人的避障方法。
本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的清洁机器人的避障程序，所述清洁机器人的避障程序被处理器执行时实现上述的清洁机器人的避障方法。
本发明公开的一种清洁机器人的避障方法和避障装置，具有如下技术效果：
结合AI识别方法和点云计算的方法，构建出环境图像中障碍物的二维完整轮廓，为避障操作提供依据，该避障方法在克服单线激光雷达建图存在盲区的缺陷的基础上，无需采用过多的传感器，降低了成本，同时避免了对障碍物进行专门的环绕拍摄，提高了清扫效率，也具有障碍物识别和建图的高效性，提高了避障成功率。
附图说明
图1为本发明的实施例一的清洁机器人的避障方法的流程图；
图2为本发明的实施例一的得到障碍物二维局部轮廓的方法流程图；
图3为本发明的实施例一的得到障碍物二维完整轮廓的方法流程图；
图4为本发明的实施例二的清洁机器人的避障装置的原理框图；
图5为本发明的实施例四的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的技术构思：现有技术中的清洁机器人为了提高避障能力，一方面通过增加多种传感器来获取障碍物的更多信息，另一方面通过清洁机器人对障碍物进行环绕拍摄来获取障碍物全貌，前者会显著增加设备成本，后者需要多次拍摄，会极大地降低清洁效率。为此，本申请提供了一种清洁机器人的避障方法，对拍摄到环境图像分别进行障碍物识别、障碍物局部轮廓提取，接着根据识别结果对局部轮廓进行补全，获得障碍物完整轮廓，从而及时地采取避障措施，由于通过一个角度拍摄的照片即可推算出障碍物的大致轮廓，这样清洁机器人可按照正常路线进行清洁，无需专门环绕障碍物进行拍摄，保证了清洁效率，同时也无需安装过多的传感器，降低了设备成本。
具体来说，如图1所示，本实施例一的清洁机器人的避障方法包括如下步骤：
步骤S10：获取清洁机器人所处场景的环境图像；
步骤S20：利用预先训练的识别模型对环境图像进行识别，获得障碍物识别结果；
步骤S30：根据环境图像生成三维场景点云，从三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；
步骤S40：根据述障碍物识别结果对述二维局部轮廓进行补全，获得障碍物的二维完整轮廓；
步骤S50：根据障碍物的二维完整轮廓采取避障操作。
其中，清洁机器人可为扫地机器人、拖地机器人等，本实施例一以激光型扫地机器人为例进行描述。在清洁机器人上安装有激光雷达和摄像头，激光雷达优先采用单线激光雷达，摄像头优先采用双目摄像头。单线激光雷达用于采集环境信息进行建图，属于传统建图技术，单线激光雷达的弊端在于只能获取某一高度的物体信息，存在检测盲区。双目摄像头设置于清洁机器人的前侧，在清洁机器人清扫过程中，双目摄像头实时拍摄清洁机器人所处场景前方的环境图像。在进行拍摄之前，需要对双目摄像头进行校准，校准参数自动存放在机器内部。在获取到双目摄像头实时拍摄所处场景前方的环境图像之后，需要对环境图像进行去畸变等预处理步骤，具体过程为现有技术，在此不进行赘述。
在步骤S20中，预先训练的识别模型为常用的目标检测模型，例如基于YOLO算法的目标检测模型，识别模型的训练过程为现有技术，在此不进行赘述。采用识别模型对环境图像进行识别时，首先确定当前的环境图像中是否存在目标，即障碍物，进一步确定障碍物类别和在环境图像中障碍物像素范围(可采用AI标注框表示)。
在步骤S30中，采用改进的ORB-SLAM算法对环境图像进行计算，得到三维场景点云，此时得到的为稠密三维点云，即包含了环境图像中全部特征点的深度信息，需要进一步从稠密的三维场景点云中提取出障碍物三维点云。如图2所示，具体过程包括如下步骤：步骤S301、首先从三维场景点云中截取得到预定高度范围三维点云，示例性地，预定高度范围为距离地面1cm以上至清洁机器人高度以下。一方面距离地面1cm以下噪点较多，另一方面清洁机器人高度以上的图像为仰视视角的图像，与后文中进行二维局部轮廓的计算无关联，且清洁机器人高度以上的障碍物对清洁机器人不存在影响。因此，通过截取预定高度范围三维点云可去掉非必要的点云数据，减小计算量。步骤S302、由于预定高度范围三维点云仍然具有障碍物特征点之外的点云数据，因此根据障碍物像素范围为预定高度范围三维点云中提取出障碍物三维点云，这样可进一步减少非必要点云数据，提高后续的计算速度和预测精度。步骤S303、最后根据障碍物三维点云得到二维局部轮廓。
具体地，生成二维局部轮廓的过程为：首先去除障碍物三维点云的高度信息，得到得到障碍物二维点云，此时的障碍物二维点云为俯视视角下的分散点云，能大致体现障碍物的俯视轮廓，接着对障碍物二维点云进行拟合在俯视视角下障碍物的二维局部轮廓。这里将分散的二维点云转换成线条，例如直线、曲线等，用线条来表示障碍物的二维局部轮廓，其中拟合方法可采用RANSAC拟合方法。
进一步地，在结合障碍物识别结果对二维局部轮廓进行补全，获得障碍物的二维完整轮廓。如图3所示，具体包括如下步骤：步骤S401、根据障碍物类别确定与障碍物匹配的几何模型；步骤S402、根据几何模型和述二维局部轮廓预测得到补全轮廓，补全轮廓和二维局部轮廓构成障碍物的二维完整轮廓。
具体地，在某一角度下，摄像头仅能拍摄到障碍物的一个侧面或两个侧面，通过上述方法得到的二维局部轮廓仅仅表示俯视视角下障碍物的部分边缘，还缺失了部分轮廓，需要进行补全。同时，本实施例一的避障方法中，在得到障碍物在俯视视角下的大致完整轮廓之后，即可初步确定障碍物在当前场景中的分布范围，通过设置适当的膨胀范围即可防止清洁机器人碰撞障碍物，因此无需计算出障碍物的精准轮廓。示例性地，本实施例一用简单的几何模型来表示常见障碍物，例如障碍物为鞋子时，用长方体表示，二维完整轮廓为矩形；障碍物为杯子时，用圆柱体表示，二维完整轮廓为圆形。依次类推，可采用与障碍物形状最接近的几何模型来表示。
进一步地，根据几何模型和二维局部轮廓预测得到补全轮廓，当几何模型不同时，预测过程不相同。示例性地，当障碍物为杯子时，匹配的几何模型为圆形，通过点云计算得到的二维局部轮廓为一段弧，此时可预测补全轮廓也是一段弧，这样将二维局部轮廓和补全轮廓构成障碍物的二维完整轮廓。当障碍物为鞋子时，几何模型为矩形，通过点云计算得到的二维局部轮廓为矩形的一条边或两条边，预测得到补全轮廓的方法为：根据二维局部轮廓与清洁机器人的相对位置关系确定待补全轮廓的方向，根据二维局部轮廓对应的点云范围确定待补全轮廓的长度；根据待补全轮廓的方向和长度生成补全轮廓。此时补全轮廓为矩形的另外两条边或三条边，补全轮廓和二维局部轮廓构成完整轮廓。这样通过点云计算和预测方式得到障碍物的二维完整轮廓，为后续避障操作提供参考。
进一步地，根据障碍物的二维完整轮廓采取避障操作的方法为：根据障碍物的二维完整轮廓生成栅格地图；根据障碍物类型在栅格地图上设置障碍物安全距离，以使得清洁机器人按照栅格地图运行时避开障碍物。
具体来说，障碍物的二维完整轮廓的大小代表障碍物在栅格地图上的“占地面积”，例如障碍物占据栅格地图上的若干个栅格单元，为了确定障碍物占据了哪些栅格单元，还需要确定障碍物在环境中全局位置，即障碍物在栅格地图中的坐标，可通过清洁机器人与障碍物的相对位置来确定。在步骤S30中计算场景三维点云和提取障碍物三维点云过程中，以清洁机器人为原点建立坐标系，确定障碍物在清洁机器人坐标系中的位置，将清洁机器人坐标系转换为清洁机器人所处场景的世界坐标系，这样可以得到障碍物在场景中的全局位置，从而确定障碍物在栅格单元中的坐标。上述坐标系转换为本领域人员的熟知技术，在此不进行赘述。
进一步地，生成栅格地图之后，需要根据障碍物类型对障碍物设置相应的膨胀范围，例如障碍物的二维完整轮廓为长方形，占据了三个栅格单元，此时可将三个栅格单元周围的一圈栅格单元当做膨胀范围，作为障碍物安全距离，以使得清洁机器人按照栅格地图运行时避开障碍物。需要说明的是，在实际运行过程中，根据障碍物的二维完整轮廓生成的栅格地图可与根据单线激光雷达进行建图得到栅格地图进行合并，形成运行地图，为清洁机器人的导航规划提供依据，其中合并过程不是本申请的重点，也属于本领域技术人员的常用技术，在此不进行赘述。
在另一可选的实施方式中，由于清洁机器人在清扫过程中，对于同一个障碍物可能进行了不同角度的拍摄，即多幅环境图像中均含有同一个障碍物，对于每幅环境图像均进行上述处理，得到在当前环境图像下障碍物的二维完整轮廓，可与在先得到的障碍物的二维完整轮廓进行融合，得到更加准确的二维完整轮廓。随着迭代的进行，可得到更加精准的栅格地图，由于是在正常清扫过程进行拍摄得到的多幅照片，避免采用现有技术中对障碍物进行专门环绕拍摄的方案，因此不会影响清扫效率。需要说明的是，上述迭代方案仅仅作为一个可选方案，本实施例一根据当前的一幅环境图像进行上述处理即可得到该环境图像中障碍物的二维完整轮廓，并足以据此采取相应的避障操作，具有良好的实时性。
本实施例一公开的清洁机器人的避障方法，结合AI识别方法和点云计算的方法，构建出环境图像中障碍物的二维完整轮廓，为避障操作提供依据，该避障方法在克服单线激光雷达建图存在盲区的缺陷的基础上，无需采用过多的传感器，降低了成本，同时避免了对障碍物进行专门的环绕拍摄，提高了清扫效率，也具有障碍物识别和建图的高效性，提高了避障成功率。
如图4所示，本实施例二公开了一种清洁机器人的避障装置，避障装置包括图像数据获取模块100、障碍物识别模块200、局部轮廓确定模块300、轮廓补全模块400和避障处理模块500。图像数据获取模块100用于获取清洁机器人所处场景的环境图像；障碍物识别模块200用于利用预先训练的识别模型对环境图像进行识别，获得障碍物识别结果；局部轮廓确定模块300用于根据环境图像生成三维场景点云，从三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；轮廓补全模块400用于根据障碍物识别结果对二维局部轮廓进行补全，获得障碍物的二维完整轮廓；避障处理模块500用于根据障碍物的二维完整轮廓采取避障操作。
进一步地，局部轮廓确定模块300还用于采用改进的ORB-SLAM算法对环境图像进行计算，得到三维场景点云，以及用于：从三维场景点云中截取得到预定高度范围三维点云；根据障碍物像素范围为预定高度范围三维点云中提取出障碍物三维点云；根据障碍物三维点云得到二维局部轮廓。示例性地，局部轮廓确定模块300还用于去除障碍物三维点云的高度信息，得到得到障碍物二维点云以及对障碍物二维点云进行拟合得到在俯视视角下障碍物的二维局部轮廓。
进一步地，轮廓补全模块400还用于根据障碍物类别确定与障碍物匹配的几何模型；根据几何模型和二维局部轮廓预测得到补全轮廓，补全轮廓和二维局部轮廓构成障碍物的二维完整轮廓。示例性地，当几何模型为矩形时，轮廓补全模块400还用于根据二维局部轮廓与清洁机器人的相对位置关系确定待补全轮廓的方向，根据二维局部轮廓对应的点云范围确定待补全轮廓的长度；根据待补全轮廓的方向和长度生成补全轮廓。
进一步地，避障处理模块500还用于根据障碍物的二维完整轮廓生成栅格地图以及根据障碍物类型在栅格地图上设置障碍物安全距离，以使得清洁机器人按照栅格地图运行时避开障碍物。
其中，图像数据获取模块100、障碍物识别模块200、局部轮廓确定模块300、轮廓补全模块400和避障处理模块500的详细工作过程可参考实施例一的相关步骤的描述，在此不进行赘述。
本实施例三还公开了一种计算机可读存储介质，计算机可读存储介质存储有清洁机器人的避障程序，清洁机器人的避障程序被处理器执行时实现上述的清洁机器人的避障方法。
本实施例四还公开了一种计算机设备，在硬件层面，如图5所示，该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。计算机可读存储介质11上存储有清洁机器人的避障程序，清洁机器人的避障程序被处理器执行时实现上述的清洁机器人的避障方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。
Claims (10)
1.一种清洁机器人的避障方法，其特征在于，所述避障方法包括：
获取清洁机器人所处场景的环境图像；
利用预先训练的识别模型对所述环境图像进行识别，获得障碍物识别结果；
根据所述环境图像生成三维场景点云，从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；
根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓；
根据所述障碍物的二维完整轮廓采取避障操作。
2.根据权利要求1所述的清洁机器人的避障方法，其特征在于，所述环境图像为双目相机拍摄的图像，根据所述环境图像生成三维场景点云的方法为：
采用改进的ORB-SLAM算法对所述环境图像进行计算，得到三维场景点云。
3.根据权利要求2所述的清洁机器人的避障方法，其特征在于，所述障碍物识别结果包括障碍物像素范围，所述从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓的方法为：
从所述三维场景点云中截取得到预定高度范围三维点云；
根据所述障碍物像素范围为所述预定高度范围三维点云中提取出障碍物三维点云；
根据所述障碍物三维点云得到二维局部轮廓。
4.根据权利要求3所述的清洁机器人的避障方法，其特征在于，根据所述障碍物三维点云得到二维局部轮廓的方法包括：
去除所述障碍物三维点云的高度信息，得到得到障碍物二维点云；
对所述障碍物二维点云进行拟合得到在俯视视角下障碍物的二维局部轮廓。
5.根据权利要求4所述的清洁机器人的避障方法，其特征在于，所述障碍物识别结果还包括障碍物类别，根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓的方法为：
根据所述障碍物类别确定与所述障碍物匹配的几何模型；
根据所述几何模型和所述二维局部轮廓预测得到补全轮廓，所述补全轮廓和所述二维局部轮廓构成所述障碍物的二维完整轮廓。
6.根据权利要求5所述的清洁机器人的避障方法，其特征在于，当几何模型为矩形时，预测得到补全轮廓的方法为：
根据所述二维局部轮廓与所述清洁机器人的相对位置关系确定待补全轮廓的方向，根据所述二维局部轮廓对应的点云范围确定待补全轮廓的长度；
根据所述待补全轮廓的方向和长度生成补全轮廓。
7.根据权利要求5所述的清洁机器人的避障方法，其特征在于，根据所述障碍物的二维完整轮廓采取避障操作的方法为：
根据所述障碍物的二维完整轮廓生成栅格地图；
根据所述障碍物类型在栅格地图上设置障碍物安全距离，以使得清洁机器人按照栅格地图运行时避开障碍物。
8.一种清洁机器人的避障装置，其特征在于，所述避障装置包括：
图像数据获取模块，用于获取清洁机器人所处场景的环境图像；
障碍物识别模块，用于利用预先训练的识别模型对所述环境图像进行识别，获得障碍物识别结果；
局部轮廓确定模块，用于根据所述环境图像生成三维场景点云，从所述三维场景点云中确定障碍物在俯视视角下的二维局部轮廓；
轮廓补全模块，用于根据所述障碍物识别结果对所述二维局部轮廓进行补全，获得障碍物的二维完整轮廓；
避障处理模块，用于根据所述障碍物的二维完整轮廓采取避障操作。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有清洁机器人的避障程序，所述清洁机器人的避障程序被处理器执行时实现权利要求1至7任一项所述的清洁机器人的避障方法。
10.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的清洁机器人的避障程序，所述清洁机器人的避障程序被处理器执行时实现权利要求1至7任一项所述的清洁机器人的避障方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210901031.9A CN115381354A (zh) | 2022-07-28 | 2022-07-28 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210901031.9A CN115381354A (zh) | 2022-07-28 | 2022-07-28 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115381354A true CN115381354A (zh) | 2022-11-25 |
Family
ID=84117162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210901031.9A Pending CN115381354A (zh) | 2022-07-28 | 2022-07-28 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115381354A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880673A (zh) * | 2023-02-22 | 2023-03-31 | 西南石油大学 | 一种基于计算机视觉的避障方法及系统 |
| CN117315508A (zh) * | 2023-08-24 | 2023-12-29 | 北京智盟信通科技有限公司 | 基于数据处理的电网设备监测方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803591A (zh) * | 2017-05-02 | 2018-11-13 | 北京米文动力科技有限公司 | 一种地图生成方法及机器人 |
| CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
| CN110275540A (zh) * | 2019-07-01 | 2019-09-24 | 湖南海森格诺信息技术有限公司 | 用于扫地机器人的语义导航方法及其系统 |
| CN110440811A (zh) * | 2019-08-29 | 2019-11-12 | 湖北三江航天红峰控制有限公司 | 一种通用型自主导航控制方法、装置及设备终端 |
| CN111474560A (zh) * | 2020-04-16 | 2020-07-31 | 苏州大学 | 一种障碍物定位方法、装置及设备 |
| CN112102151A (zh) * | 2020-07-27 | 2020-12-18 | 广州视源电子科技股份有限公司 | 栅格地图的生成方法、装置、移动智慧设备和存储介质 |
| CN112327326A (zh) * | 2020-10-15 | 2021-02-05 | 深圳华芯信息技术股份有限公司 | 带有障碍物三维信息的二维地图生成方法、系统以及终端 |
| CN112363494A (zh) * | 2020-09-24 | 2021-02-12 | 深圳优地科技有限公司 | 机器人前进路径的规划方法、设备及存储介质 |
| CN112729320A (zh) * | 2020-12-22 | 2021-04-30 | 中国第一汽车股份有限公司 | 一种障碍物地图构建方法、装置、设备及存储介质 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN113212456A (zh) * | 2021-05-25 | 2021-08-06 | 银隆新能源股份有限公司 | 车辆控制方法、装置、车辆、非易失性存储介质及处理器 |
| WO2021212875A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 地图生成方法、装置、存储介质及处理器 |
-
2022
- 2022-07-28 CN CN202210901031.9A patent/CN115381354A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803591A (zh) * | 2017-05-02 | 2018-11-13 | 北京米文动力科技有限公司 | 一种地图生成方法及机器人 |
| CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
| CN110275540A (zh) * | 2019-07-01 | 2019-09-24 | 湖南海森格诺信息技术有限公司 | 用于扫地机器人的语义导航方法及其系统 |
| CN110440811A (zh) * | 2019-08-29 | 2019-11-12 | 湖北三江航天红峰控制有限公司 | 一种通用型自主导航控制方法、装置及设备终端 |
| CN111474560A (zh) * | 2020-04-16 | 2020-07-31 | 苏州大学 | 一种障碍物定位方法、装置及设备 |
| WO2021212875A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 地图生成方法、装置、存储介质及处理器 |
| CN112102151A (zh) * | 2020-07-27 | 2020-12-18 | 广州视源电子科技股份有限公司 | 栅格地图的生成方法、装置、移动智慧设备和存储介质 |
| CN112363494A (zh) * | 2020-09-24 | 2021-02-12 | 深圳优地科技有限公司 | 机器人前进路径的规划方法、设备及存储介质 |
| CN112327326A (zh) * | 2020-10-15 | 2021-02-05 | 深圳华芯信息技术股份有限公司 | 带有障碍物三维信息的二维地图生成方法、系统以及终端 |
| CN112729320A (zh) * | 2020-12-22 | 2021-04-30 | 中国第一汽车股份有限公司 | 一种障碍物地图构建方法、装置、设备及存储介质 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN113212456A (zh) * | 2021-05-25 | 2021-08-06 | 银隆新能源股份有限公司 | 车辆控制方法、装置、车辆、非易失性存储介质及处理器 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880673A (zh) * | 2023-02-22 | 2023-03-31 | 西南石油大学 | 一种基于计算机视觉的避障方法及系统 |
| CN115880673B (zh) * | 2023-02-22 | 2023-05-26 | 西南石油大学 | 一种基于计算机视觉的避障方法及系统 |
| CN117315508A (zh) * | 2023-08-24 | 2023-12-29 | 北京智盟信通科技有限公司 | 基于数据处理的电网设备监测方法及系统 |
| CN117315508B (zh) * | 2023-08-24 | 2024-05-14 | 北京智盟信通科技有限公司 | 基于数据处理的电网设备监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080932B2 (en) | Method and apparatus for representing a virtual object in a real environment | |
| US10665025B2 (en) | Method and apparatus for representing a virtual object in a real environment | |
| KR101928575B1 (ko) | 삼차원 장면의 불연속 평면 재구성 | |
| Remondino et al. | State of the art in high density image matching | |
| CN111598916A (zh) | 一种基于rgb-d信息的室内占据栅格地图的制备方法 | |
| US8498472B2 (en) | Image-based localization feature point registration apparatus, method and computer-readable medium | |
| CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| CN115381354A (zh) | 清洁机器人的避障方法、避障装置、存储介质和设备 | |
| JP6955783B2 (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
| Zhao et al. | Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images | |
| Alsadik | Guided close range photogrammetry for 3D modelling of cultural heritage sites | |
| US8977074B1 (en) | Urban geometry estimation from laser measurements | |
| CN118429524A (zh) | 基于双目立体视觉的车辆行驶环境建模方法及系统 | |
| Rothermel et al. | Fast and robust generation of semantic urban terrain models from UAV video streams | |
| CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
| CN113065483A (zh) | 一种定位方法、装置、电子设备、介质及机器人 | |
| Kim et al. | 3d modelling of static environments using multiple spherical stereo | |
| Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
| Sheng et al. | Rendering-Enhanced Automatic Image-to-Point Cloud Registration for Roadside Scenes | |
| Ruf et al. | FaSS-MVS--Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery | |
| Arefi et al. | Ridge based decomposition of complex buildings for 3D model generation from high resolution digital surface models | |
| Mordohai et al. | NBVC: A benchmark for depth estimation from narrow-baseline video clips | |
| CN114783172B (zh) | 一种停车场空车位识别方法及系统、计算机可读存储介质 | |
| US20230107740A1 (en) | Methods and systems for automated three-dimensional object detection and extraction | |
| Yan et al. | MVP-Stereo: A Parallel Multi-View Patchmatch Stereo Method with Dilation Matching for Photogrammetric Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240731 Address after: Room 306, No. 261-4 Xingye Avenue East, Jiangnan Village, Nancun Town, Panyu District, Guangzhou City, Guangdong Province 510000 (self declared) Applicant after: GUANGZHOU SAPULA INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 2002, Building B3, Shidai E-park, Panyu District, Guangzhou, Guangdong 510000 Applicant before: Guangzhou Baole Software Technology Co.,Ltd. Country or region before: China |