CN114740867A - 基于双目视觉的智能避障方法、装置、机器人及介质 - Google Patents
基于双目视觉的智能避障方法、装置、机器人及介质 Download PDFInfo
- Publication number
- CN114740867A CN114740867A CN202210505473.1A CN202210505473A CN114740867A CN 114740867 A CN114740867 A CN 114740867A CN 202210505473 A CN202210505473 A CN 202210505473A CN 114740867 A CN114740867 A CN 114740867A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- initial
- information
- determining
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 24
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 239000002609 medium Substances 0.000 description 20
- 230000004888 barrier function Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
- G05D1/2435—Extracting 3D information
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/622—Obstacle avoidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/60—Combination of two or more signals
- G05D2111/63—Combination of two or more signals of the same type, e.g. stereovision or optical flow
- G05D2111/64—Combination of two or more signals of the same type, e.g. stereovision or optical flow taken simultaneously from spaced apart sensors, e.g. stereovision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明实施例公开了一种基于双目视觉的智能避障方法、装置、机器人及介质。该方法包括：通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据深度图计算得到对应的高度图；根据深度图确定作业场景中的第一障碍物信息，以及根据高度图确定作业场景中的第二障碍物信息；根据第一障碍物信息和第二障碍物信息确定作业场景中存在的目标障碍物以及目标障碍物的位置信息；根据位置信息及机器人的预设路径控制机器人进行避障。实现避免了单纯使用深度图进行识别过程中存在的环境干扰问题，从而提高了机器人移动过程中前方障碍物识别的准确性，使得机器人可以进行有效的避障。
Description
技术领域
本发明实施例涉及机器人技术领域，尤其涉及一种基于双目视觉的智能避障方法、装置、机器人及介质。
背景技术
近年来，随着科学技术的不断发展以及产业转型升级的需要，越来越多的智能化设备进入人们的工作和生活中，旨在提高生产效率、降低人力成本。移动机器人作为一种具有代表性的智能化产品，广泛应用在家庭和各种生产场所中。如牧场中的推料机器人，由于各个牧场的环境不同，并且经常会有撒料车或者一些生产车辆停在牛棚里，因此工作环境中的障碍物是不断变化的，为了不影响推料机器人的工作，需要对障碍物进行识别并进行相应的避障。
目前常见的避障方法主要有红外避障、超声波避障、激光避障和视觉避障。红外避障和超声波避障都需要主动发射光线、声波，所以对于反射物体也有要求，比如红外线会被黑色物体吸收。双目视觉虽然也受光线的影响，但是在牛棚中受干扰很小，普适性很强。激光虽然也和双目视觉的功能类似，但是激光雷达的价格比较高，体积大，同时由于发热很容易招惹一些蚊虫，影响避障的效果。
但是目前所使用的双目视觉避障方法，会识别出一些错误的障碍物，从而导致了障碍物识别的准确性较低，进而影响移动机器人出现一些错误的避障过程。
发明内容
本发明实施例提供一种基于双目视觉的智能避障方法、装置、机器人及介质，以提高障碍物识别的准确率，从而使得机器人可以进行有效的避障。
第一方面，本发明实施例提供了一种基于双目视觉的智能避障方法，该方法包括：
通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
可选的，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，包括：
根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物，以及根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物；
标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率；
将所述重叠率与预设重叠率阈值进行比较，若所述重叠率大于或等于所述预设重叠率阈值，则将对应的所述第一初始障碍物或所述第二初始障碍物确定为所述目标障碍物。
可选的，所述标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率，包括：
提取所述第一初始障碍物的第一最小外接矩形，以及所述第二初始障碍物的第二最小外接矩形；
根据所述第一最小外接矩形和所述第二最小外接矩形标识所述重叠区域；
根据所述第一最小外接矩形的第一坐标和所述第二最小外接矩形的第二坐标计算所述重叠率。
可选的，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，还包括：
根据所述目标障碍物对应的所述第一坐标和/或所述第二坐标确定所述位置信息。
可选的，在所述根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物之后，还包括：
根据所述第一初始障碍物的第一轮廓面积对所述第一初始障碍物进行筛选，以去除所述第一轮廓面积小于第一预设面积阈值的所述第一初始障碍物；
在所述根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物之后，还包括：
根据所述第二初始障碍物的第二轮廓面积对所述第二初始障碍物进行筛选，以去除所述第二轮廓面积小于第二预设面积阈值的所述第二初始障碍物。
可选的，所述根据所述深度图计算得到对应的高度图，包括：
将所述深度图转换为所述作业场景的点云数据；
将所述点云数据转换为所述高度图。
可选的，所述根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息，包括：
使用轮廓搜索算法或聚类算法，确定所述深度图中的第一障碍物轮廓及所述第一障碍物轮廓的坐标信息；
使用轮廓搜索算法或聚类算法，确定所述高度图中的第二障碍物轮廓及所述第二障碍物轮廓的坐标信息。
第二方面，本发明实施例还提供了一种基于双目视觉的智能避障装置，该装置包括：
图像获取模块，用于通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
障碍物信息确定模块，用于根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
障碍物确定模块，用于根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
避障控制模块，用于根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
第三方面，本发明实施例还提供了一种机器人，该机器人包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的基于双目视觉的智能避障方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的基于双目视觉的智能避障方法。
本发明实施例提供了一种基于双目视觉的智能避障方法，首先通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据该深度图计算得到对应的高度图，然后根据深度图确定作业场景中的第一障碍物信息，根据高度图确定作业场景中的第二障碍物信息，再根据得到的第一障碍物信息和第二障碍物信息确定作业场景中实际存在的目标障碍物及其位置信息，从而可以根据各个目标障碍物的位置信息结合机器人的预设路径控制机器人进行避障。本发明实施例所提供的基于双目视觉的智能避障方法，通过结合深度图和高度图分别识别得到的障碍物信息确定最终的目标障碍物及其位置信息，避免了单纯使用深度图进行识别过程中存在的环境干扰问题，从而提高了机器人移动过程中前方障碍物识别的准确性，使得机器人可以进行有效的避障。
附图说明
图1为本发明实施例一提供的基于双目视觉的智能避障方法的流程图；
图2为本发明实施例二提供的基于双目视觉的智能避障装置的结构示意图；
图3为本发明实施例三提供的机器人的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的基于双目视觉的智能避障方法的流程图。本实施例可适用于各种机器人在执行任务的移动过程中躲避障碍物以防止出现碰撞的情况，该方法可以由本发明实施例所提供的基于双目视觉的智能避障装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于各种机器人中。如图1所示，具体包括如下步骤：
S11、通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图。
其中，双目摄像头可以选用realsense摄像头，可直接通过相应的软件接口从realsense摄像头中读取得到深度图，通过使用双目摄像头可以获得分辨率比较高的深度图，探测到的物体更加立体，这就使得避障更加灵活和精准。具体的，当机器人(如推料机器人和割草机器人)在作业过程中，可以实时通过双目摄像头对当前移动方向的作业场景进行拍摄，拍摄得到的图像可通过双目摄像头直接计算得到对应的深度图，然后将该深度图传输到避障处理器中作为障碍物检测算法的输入。在获取到深度图之后，还可以根据深度图计算得到作业场景对应的高度图，以便后续结合深度图和高度图确定最终的目标障碍物。
可选的，所述根据所述深度图计算得到对应的高度图，包括：将所述深度图转换为所述作业场景的点云数据；将所述点云数据转换为所述高度图。具体的，将深度图转换为点云数据的过程即将图像坐标系转为世界坐标系的过程，同理将点云数据再转换为高度图的过程即将世界坐标系再转换回图像坐标系的过程，转换的过程可以依据双目摄像头的内参和外参，具体可以从双目摄像头中读取得到，具体的转换过程可以应用现有的任意转换方法，本实施例对此不作限制。
S12、根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息。
具体的，在得到深度图和高度图之后，可以分别从深度图和高度图中提取其中的障碍物信息，即分别得到第一障碍物信息和第二障碍物信息，具体提取过程可以应用现有的任意轮廓提取方法，所提取得到的障碍物信息可以包括障碍物的轮廓坐标信息。
可选的，所述根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息，包括：使用轮廓搜索算法或聚类算法，确定所述深度图中的第一障碍物轮廓及所述第一障碍物轮廓的坐标信息；使用轮廓搜索算法或聚类算法，确定所述高度图中的第二障碍物轮廓及所述第二障碍物轮廓的坐标信息。具体的，即可以使用轮廓搜索算法或聚类算法对图像中的轮廓进行提取。以轮廓搜索算法为例进行说明，具体可以使用opencv中的findcontours函数，首先可以确定一个初始起点(如图像左下角的像素点)，然后从初始起点出发，按照预设寻径方法在深度图中搜索前景点与背景点之间的边界点，将得到的边界点依次连接起来即为第一障碍物轮廓，根据各个边界点的坐标即可确定第一障碍物轮廓的坐标信息。其中，前景点即属于障碍物的像素点，背景点即非属于障碍物的像素点，判断是否为边界点的依据为：若两个相邻的像素点之间像素值差值大于预设阈值，则可以将该两个像素点中的前景点作为边界点。
针对高度图中第二障碍物轮廓及其坐标信息的提取可以参考上述过程，但由于障碍物的高度不同，导致高度图中同一障碍物不同部位的高度值差异较大，则第二障碍物轮廓上不同位置的像素点与相邻的背景点之间高度值差值的变化范围也会比较大，此时若类比深度图使用固定的预设阈值，则边界点判断的结果可能并不准确，可见若直接使用高度图原本的高度值，则在判断是否为边界点时会比较困难，不便通过直接设定一个较为合适的阈值进行比较。因此，可以在按照预设寻径方法搜索上述边界点之前，首先对高度图进行二值化，具体可以将高度图中高度值大于预设像素值(如1)的像素点的像素值赋值为1，将其他像素点的像素值赋值为0，从而在判断是否为边界点时，只需判断相邻像素值是否为0和1即可。通过对高度图进行二值化，直接区分得到高度图中的前景点和背景点，且各点的像素值仅为0或1，则不用再通过额外设定一个预设阈值进行比较，即可比较准确的得到其中的边界点。
S13、根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息。
具体的，深度图是用于指示摄像头到物体的距离，高度图是用于指示物体的高度，由于通过深度图获取的第一障碍物信息会受到地面等环境因素的干扰，将地面等非障碍物识别为障碍物，而通过高度图获取的第二障碍物信息由于无法获取距离信息，会导致一些较远的本并不影响机器人运行的障碍物被识别出，使得机器人在较远处停止，因此单独使用深度图或高度图来确定前方作业场景中存在的障碍物通常是不准确的，在本实施例中，即可通过结合所获得的第一障碍物信息和第二障碍物信息来排除其中的一些被错误识别的障碍物，从而筛选出真正影响机器人运行的目标障碍物，具体可以是筛除仅存在于第一障碍物信息或第二障碍物信息中的障碍物。位置信息可以包括坐标信息和距离信息，其中，坐标信息可以根据所确定的目标障碍物在深度图或高度图中的坐标位置来确定，距离信息则可以根据所确定的目标障碍物在深度图中所在的坐标位置处各像素点的深度值来确定。
可选的，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，包括：根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物，以及根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物；标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率；将所述重叠率与预设重叠率阈值进行比较，若所述重叠率大于或等于所述预设重叠率阈值，则将对应的所述第一初始障碍物或所述第二初始障碍物确定为所述目标障碍物。具体的，可以根据所得到的第一障碍物信息中的第一障碍物轮廓确定第一初始障碍物，该第一初始障碍物为机器人作业场景中存在的物体，比如车辆、石头，第一初始障碍物的数量可以为一个、两个或多个。需要说明的是，将第一障碍物轮廓中相互独立的闭合轮廓确定为一个障碍物的轮廓，从而根据各个轮廓确定各个第一初始障碍物，第二初始障碍物的确定方法与第一初始障碍物的确定方法相同，此处不再赘述。在实际作业场景中，通过深度图得到的第一初始障碍物，可能与通过高度图得到的第二初始障碍物为同一障碍物车辆；或者，通过深度图得到的第一初始障碍物为地面，但通过高度图得到的第二初始障碍物中不存在地面。通过常识可知，只有在第一初始障碍物和第二初始障碍物为同一个障碍物时，两者之间重叠区域的重叠率才是最大的。
在确定了第一初始障碍物和第二初始障碍物之后，可以根据第一初始障碍物的轮廓坐标与第二初始障碍物的轮廓坐标标识得到第一初始障碍物与第二初始障碍物的重叠区域。如上所述，第一初始障碍物和第二初始障碍物的数量均可以是一个或多个，则所得到的重叠区域也可以是一个或多个。当仅得到一个重叠区域时，可直接利用该重叠区域计算第一初始障碍物和第二初始障碍物的重叠率，具体可以通过将重叠区域的重叠面积除以第一初始障碍物的轮廓面积、或第二初始障碍物的轮廓面积、或者第一初始障碍物与第二初始障碍物的轮廓并集面积来计算得到重叠率，而重叠面积可以根据标识得到的重叠区域的轮廓坐标计算得到，如其中的一个像素点可以占用一个单位面积，则可以根据重叠区域的轮廓坐标内所包含的像素点个数来确定重叠面积，当然也可通过其他图形面积计算公式计算得到，本实施例对此不做具体限定。当得到多个重叠区域时，则可以分别计算各个重叠区域的面积，并分别使用各个重叠区域对应的第一初始障碍物的轮廓坐标和对应的第二初始障碍物的轮廓坐标进行计算，具体计算过程同前，此处不再累述。在计算得到一个或多个重叠率之后，可以将每个重叠率与预设重叠率阈值(如可以是80％)进行比较，若重叠率大于或等于预设重叠率阈值，则可以将该重叠率对应的第一初始障碍物或第二初始障碍物确定为目标障碍物。通过标识重叠区域，可以首先筛除掉仅出现在深度图或者高度图中的障碍物，进一步通过重叠率与预设重叠率阈值的比较，则可以较大概率确定在深度图和高度图中分别识别得到的障碍物属于同一障碍物，从而使得障碍物识别的更加准确，以使机器人可以更加精准避障。特别的，在深度图中可能将地面识别为障碍物，此时当该地面区域内实际存在障碍物时，在高度图中可以正常识别到该障碍物，若该障碍物与机器人之间的距离较近，即需要进行避障，但是通常识别得到的地面区域面积较大，而高度图中识别得到的障碍物轮廓面积不是很大，则可能会出现因计算得到的重叠率未达到预设重叠率阈值而判定不需避障的情况，显然这跟实际情况不符。因此，在通过双目摄像头进行拍摄的过程中，可以通过将摄像头的角度抬高来减小可能识别到的地面区域的面积，以使计算得到的重叠率可以落入预设重叠率阈值的范围内，从而实现准确识别。
进一步可选的，所述标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率，包括：提取所述第一初始障碍物的第一最小外接矩形，以及所述第二初始障碍物的第二最小外接矩形；根据所述第一最小外接矩形和所述第二最小外接矩形标识所述重叠区域；根据所述第一最小外接矩形的第一坐标和所述第二最小外接矩形的第二坐标计算所述重叠率。具体的，在计算重叠率时，可以首先计算第一初始障碍物的轮廓的第一最小外接矩形，以及第二初始障碍物的轮廓的第二最小外接矩形，从而可以将第一最小外接矩形与第二最小外接矩形之间的重叠区域作为各自对应的第一初始障碍物和第二初始障碍物之间的重叠区域，该重叠区域的轮廓可以根据第一最小外接矩形的第一坐标和第二最小外接矩形的第二坐标进行标识，然后可以计算得到该重叠区域的面积，再通过将该面积除以第一最小外接矩形的面积、或第二最小外接矩形的面积、或者第一最小外接矩形与第二最小外接矩形的并集面积来计算得到重叠率。需要说明的是，在第一初始障碍物和第二初始障碍物为多个时，需要分别计算多个障碍物的最小外接矩形，并进一步得到多个重叠率。本实施例通过使用最小外接矩形计算重叠率用于后续的判断，使得计算过程更加简单，从而提高计算机性能，以及节约计算机资源。
进一步可选的，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，还包括：根据所述目标障碍物对应的所述第一坐标和/或所述第二坐标确定所述位置信息。具体的，当采用如上方法确定了目标障碍物，并确定了各个目标障碍物所对应的第一初始障碍物和第二初始障碍物的最小外接矩形之后，即可根据所选用的初始障碍物的最小外接矩形的坐标确定对应的目标障碍物的位置信息中的坐标信息，并可根据目标障碍物对应的第一初始障碍物的最小外接矩形内各个像素点的深度值确定目标障碍物的位置信息中的距离信息。如当在完成重叠面积的比较之后，将对应的第一初始障碍物确定为目标障碍物，则可以根据第一初始障碍物的第一最小外接矩形的第一坐标来确定目标障碍物的位置信息，具体可以直接将第一坐标作为目标障碍物的坐标信息，并计算第一坐标范围内所有像素点深度值的平均值作为目标障碍物的距离信息。如当在完成重叠面积的比较之后，将对应的第二初始障碍物确定为目标障碍物，则可以根据第一初始障碍物的第一最小外接矩形的第一坐标来确定目标障碍物的距离信息，具体可以计算第一坐标范围内所有像素点深度值的平均值作为目标障碍物的距离信息，并根据第二初始障碍物的第二最小外接矩形的第二坐标来确定目标障碍物的坐标信息，具体可以直接将第二坐标作为目标障碍物的坐标信息。其中，优选的，高度图中识别得到的坐标，即第二坐标的准确性更高，更值得信任。另外，还可以根据第一坐标和第二坐标确定第一最小外接矩形和第二最小外接矩形之间的重叠区域坐标，并将该重叠区域坐标作为目标障碍物的坐标信息。通过使用第一坐标或第二坐标来确定各个位置信息，使得所识别的目标障碍物的位置信息更加规矩，可以更加适应现有所使用的避障控制方式，使得机器人可以更好的判断接下来的行进方式，进一步保证避障的效果。
进一步可选的，在所述根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物之后，还包括：根据所述第一初始障碍物的第一轮廓面积对所述第一初始障碍物进行筛选，以去除所述第一轮廓面积小于第一预设面积阈值的所述第一初始障碍物；在所述根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物之后，还包括：根据所述第二初始障碍物的第二轮廓面积对所述第二初始障碍物进行筛选，以去除所述第二轮廓面积小于第二预设面积阈值的所述第二初始障碍物。其中，轮廓面积为相应轮廓内所包含的面积。具体的，在确定了第一初始障碍物和第二初始障碍物之后，可以首先根据各个初始障碍物的轮廓面积对作业场景中较小的障碍物进行排除，即这些障碍物可能并不影响机器人的行动，从而无需进行避障，以减少后续的计算量，如地面上的一些杂草和小石子，则可以根据这些实际不影响机器人运动的物体的大小对第一预设面积阈值和第二预设面积阈值进行设置，即可以理解为超过第一预设面积阈值或第二预设面积阈值的障碍物需要进行避障，则可以通过与第一预设面积阈值和第二预设面积阈值的比较首先对识别得到的初始障碍物进行筛选。具体可以将第一初始障碍物中第一轮廓面积小于第一预设面积阈值的第一初始障碍物筛除，以及将第二初始障碍物中第二轮廓面积小于第二预设面积阈值的第二初始障碍物筛除，其中，第一预设面积阈值与第二预设面积阈值可以设置为相同面积值。
S14、根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
具体的，在确定了各个目标障碍物的位置信息之后，则可根据该位置信息，并结合机器人的预设路径，判断各个目标障碍物是否影响机器人的正常运行，若不影响，则可以继续正常运行，若影响，则可以进行避障。
本发明实施例所提供的技术方案，首先通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据该深度图计算得到对应的高度图，然后根据深度图确定作业场景中的第一障碍物信息，根据高度图确定作业场景中的第二障碍物信息，再根据得到的第一障碍物信息和第二障碍物信息确定作业场景中实际存在的目标障碍物及其位置信息，从而可以根据各个目标障碍物的位置信息结合机器人的预设路径控制机器人进行避障。通过结合深度图和高度图分别识别得到的障碍物信息确定最终的目标障碍物及其位置信息，避免了单纯使用深度图进行识别过程中存在的环境干扰问题，从而提高了机器人移动过程中前方障碍物识别的准确性，使得机器人可以进行有效的避障。
实施例二
图2为本发明实施例二提供的基于双目视觉的智能避障装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于机器人中，用于执行本发明任意实施例所提供的基于双目视觉的智能避障方法。如图2所示，该装置包括：
图像获取模块21，用于通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
障碍物信息确定模块22，用于根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
障碍物确定模块23，用于根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
避障控制模块24，用于根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
本发明实施例所提供的技术方案，首先通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据该深度图计算得到对应的高度图，然后根据深度图确定作业场景中的第一障碍物信息，根据高度图确定作业场景中的第二障碍物信息，再根据得到的第一障碍物信息和第二障碍物信息确定作业场景中实际存在的目标障碍物及其位置信息，从而可以根据各个目标障碍物的位置信息结合机器人的预设路径控制机器人进行避障。通过结合深度图和高度图分别识别得到的障碍物信息确定最终的目标障碍物及其位置信息，避免了单纯使用深度图进行识别过程中存在的环境干扰问题，从而提高了机器人移动过程中前方障碍物识别的准确性，使得机器人可以进行有效的避障。
在上述技术方案的基础上，可选的，障碍物确定模块23，包括：
初始障碍物确定单元，用于根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物，以及根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物；
重叠率确定单元，用于标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率；
目标障碍物确定单元，用于将所述重叠率与预设重叠率阈值进行比较，若所述重叠率大于或等于所述预设重叠率阈值，则将对应的所述第一初始障碍物或所述第二初始障碍物确定为所述目标障碍物。
在上述技术方案的基础上，可选的，重叠率确定单元，包括：
最小外接矩形确定子单元，用于提取所述第一初始障碍物的第一最小外接矩形，以及所述第二初始障碍物的第二最小外接矩形；
重叠区域标识子单元，用于根据所述第一最小外接矩形和所述第二最小外接矩形标识所述重叠区域；
重叠率计算子单元，用于根据所述第一最小外接矩形的第一坐标和所述第二最小外接矩形的第二坐标计算所述重叠率。
在上述技术方案的基础上，可选的，障碍物确定模块23，还包括：
位置信息确定单元，用于根据所述目标障碍物对应的所述第一坐标和/或所述第二坐标确定所述位置信息。
在上述技术方案的基础上，可选的，障碍物确定模块23，还包括：
第一筛选单元，用于在所述根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物之后，根据所述第一初始障碍物的第一轮廓面积对所述第一初始障碍物进行筛选，以去除所述第一轮廓面积小于第一预设面积阈值的所述第一初始障碍物；
第二筛选单元，用于在所述根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物之后，根据所述第二初始障碍物的第二轮廓面积对所述第二初始障碍物进行筛选，以去除所述第二轮廓面积小于第二预设面积阈值的所述第二初始障碍物。
在上述技术方案的基础上，可选的，图像获取模块21，包括：
点云数据转换单元，用于将所述深度图转换为所述作业场景的点云数据；
高度图转换单元，用于将所述点云数据转换为所述高度图。
在上述技术方案的基础上，可选的，障碍物信息确定模块22具体用于：
使用轮廓搜索算法或聚类算法，确定所述深度图中的第一障碍物轮廓及所述第一障碍物轮廓的坐标信息；
使用轮廓搜索算法或聚类算法，确定所述高度图中的第二障碍物轮廓及所述第二障碍物轮廓的坐标信息。
本发明实施例所提供的基于双目视觉的智能避障装置可执行本发明任意实施例所提供的基于双目视觉的智能避障方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述基于双目视觉的智能避障装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的机器人的结构示意图，示出了适于用来实现本发明实施方式的示例性机器人的框图。图3显示的机器人仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该机器人包括处理器31、存储器32、输入装置33及输出装置34；机器人中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，机器人中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于双目视觉的智能避障方法对应的程序指令/模块(例如，基于双目视觉的智能避障装置中的图像获取模块21、障碍物信息确定模块22、障碍物确定模块23及避障控制模块24)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行机器人的各种功能应用以及数据处理，即实现上述的基于双目视觉的智能避障方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据机器人的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于采集机器人前方作业场景的图像，以及产生与机器人的用户设置和功能控制有关的键信号输入等。输出装置34可用于控制机器人的移动等等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种基于双目视觉的智能避障方法，该方法包括：
通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于双目视觉的智能避障方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于双目视觉的智能避障方法，其特征在于，包括：
通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
2.根据权利要求1所述的基于双目视觉的智能避障方法，其特征在于，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，包括：
根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物，以及根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物；
标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率；
将所述重叠率与预设重叠率阈值进行比较，若所述重叠率大于或等于所述预设重叠率阈值，则将对应的所述第一初始障碍物或所述第二初始障碍物确定为所述目标障碍物。
3.根据权利要求2所述的基于双目视觉的智能避障方法，其特征在于，所述标识所述第一初始障碍物与所述第二初始障碍物的重叠区域，并基于所述重叠区域计算所述第一初始障碍物与所述第二初始障碍物的重叠率，包括：
提取所述第一初始障碍物的第一最小外接矩形，以及所述第二初始障碍物的第二最小外接矩形；
根据所述第一最小外接矩形和所述第二最小外接矩形标识所述重叠区域；
根据所述第一最小外接矩形的第一坐标和所述第二最小外接矩形的第二坐标计算所述重叠率。
4.根据权利要求3所述的基于双目视觉的智能避障方法，其特征在于，所述根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息，还包括：
根据所述目标障碍物对应的所述第一坐标和/或所述第二坐标确定所述位置信息。
5.根据权利要求2所述的基于双目视觉的智能避障方法，其特征在于，在所述根据所述第一障碍物信息确定所述深度图中存在的第一初始障碍物之后，还包括：
根据所述第一初始障碍物的第一轮廓面积对所述第一初始障碍物进行筛选，以去除所述第一轮廓面积小于第一预设面积阈值的所述第一初始障碍物；
在所述根据所述第二障碍物信息确定所述高度图中存在的第二初始障碍物之后，还包括：
根据所述第二初始障碍物的第二轮廓面积对所述第二初始障碍物进行筛选，以去除所述第二轮廓面积小于第二预设面积阈值的所述第二初始障碍物。
6.根据权利要求1所述的基于双目视觉的智能避障方法，其特征在于，所述根据所述深度图计算得到对应的高度图，包括：
将所述深度图转换为所述作业场景的点云数据；
将所述点云数据转换为所述高度图。
7.根据权利要求1所述的基于双目视觉的智能避障方法，其特征在于，所述根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息，包括：
使用轮廓搜索算法或聚类算法，确定所述深度图中的第一障碍物轮廓及所述第一障碍物轮廓的坐标信息；
使用轮廓搜索算法或聚类算法，确定所述高度图中的第二障碍物轮廓及所述第二障碍物轮廓的坐标信息。
8.一种基于双目视觉的智能避障装置，其特征在于，包括：
图像获取模块，用于通过双目摄像头获取机器人移动方向的作业场景的深度图，并根据所述深度图计算得到对应的高度图；
障碍物信息确定模块，用于根据所述深度图确定所述作业场景中的第一障碍物信息，以及根据所述高度图确定所述作业场景中的第二障碍物信息；
障碍物确定模块，用于根据所述第一障碍物信息和所述第二障碍物信息确定所述作业场景中存在的目标障碍物以及所述目标障碍物的位置信息；
避障控制模块，用于根据所述位置信息及所述机器人的预设路径控制所述机器人进行避障。
9.一种机器人，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于双目视觉的智能避障方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于双目视觉的智能避障方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505473.1A CN114740867A (zh) | 2022-05-10 | 2022-05-10 | 基于双目视觉的智能避障方法、装置、机器人及介质 |
| US17/939,214 US20230367319A1 (en) | 2022-05-10 | 2022-09-07 | Intelligent obstacle avoidance method and apparatus based on binocular vision, and non-transitory computer-readable storage medium |
| PCT/CN2022/134051 WO2023216555A1 (zh) | 2022-05-10 | 2022-11-24 | 基于双目视觉的避障方法、装置、机器人及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505473.1A CN114740867A (zh) | 2022-05-10 | 2022-05-10 | 基于双目视觉的智能避障方法、装置、机器人及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114740867A true CN114740867A (zh) | 2022-07-12 |
Family
ID=82286621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210505473.1A Pending CN114740867A (zh) | 2022-05-10 | 2022-05-10 | 基于双目视觉的智能避障方法、装置、机器人及介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230367319A1 (zh) |
| CN (1) | CN114740867A (zh) |
| WO (1) | WO2023216555A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023216555A1 (zh) * | 2022-05-10 | 2023-11-16 | 丰疆智能(深圳)有限公司 | 基于双目视觉的避障方法、装置、机器人及介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065048A (ko) * | 2016-12-06 | 2018-06-18 | (주)엠아이웨어 | 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 |
| CN110502019A (zh) * | 2019-09-06 | 2019-11-26 | 北京云迹科技有限公司 | 一种室内机器人的避障方法及装置 |
| CN110850885A (zh) * | 2019-12-20 | 2020-02-28 | 深圳市杉川机器人有限公司 | 自主机器人 |
| CN113325832B (zh) * | 2020-02-28 | 2023-08-11 | 杭州萤石软件有限公司 | 一种可移动机器人避障方法以及可移动机器人 |
| JP7373746B2 (ja) * | 2020-03-13 | 2023-11-06 | パナソニックＩｐマネジメント株式会社 | 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム |
| US20220057806A1 (en) * | 2020-08-18 | 2022-02-24 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for obstacle detection using a neural network model, depth maps, and segmentation maps |
| CN112068553A (zh) * | 2020-08-20 | 2020-12-11 | 上海姜歌机器人有限公司 | 机器人避障处理方法、装置及机器人 |
| CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN114022846A (zh) * | 2021-11-10 | 2022-02-08 | 广东电网能源发展有限公司 | 作业车辆的防碰撞监控方法、装置、设备和介质 |
| CN114185356B (zh) * | 2022-02-16 | 2022-05-31 | 莱陆科技(天津)有限公司 | 智能识别障碍物并控制机器人通过障碍物的方法及装置 |
| CN114740867A (zh) * | 2022-05-10 | 2022-07-12 | 丰疆智能(深圳)有限公司 | 基于双目视觉的智能避障方法、装置、机器人及介质 |
-
2022
- 2022-05-10 CN CN202210505473.1A patent/CN114740867A/zh active Pending
- 2022-09-07 US US17/939,214 patent/US20230367319A1/en active Pending
- 2022-11-24 WO PCT/CN2022/134051 patent/WO2023216555A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023216555A1 (zh) * | 2022-05-10 | 2023-11-16 | 丰疆智能(深圳)有限公司 | 基于双目视觉的避障方法、装置、机器人及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230367319A1 (en) | 2023-11-16 |
| WO2023216555A1 (zh) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11709058B2 (en) | Path planning method and device and mobile device | |
| CN110675307B (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
| CN109755995B (zh) | 基于ros机器人操作系统的机器人自动充电对接方法 | |
| CN113485375B (zh) | 一种基于启发式偏置采样的室内环境机器人探索方法 | |
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| CN108303096B (zh) | 一种视觉辅助激光定位系统及方法 | |
| CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
| CN112171675B (zh) | 一种移动机器人的避障方法、装置、机器人及存储介质 | |
| CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
| CN111257892A (zh) | 一种用于车辆自动驾驶的障碍物检测方法 | |
| CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及系统 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| CN114454875A (zh) | 一种基于强化学习的城市道路自动泊车方法及系统 | |
| CN114998276A (zh) | 一种基于三维点云的机器人动态障碍物实时检测方法 | |
| Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation | |
| CN114740867A (zh) | 基于双目视觉的智能避障方法、装置、机器人及介质 | |
| CN113313765B (zh) | 定位方法、装置、电子设备和存储介质 | |
| CN114091515A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| CN113282088A (zh) | 工程车的无人驾驶方法、装置、设备、存储介质及工程车 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN111986232A (zh) | 目标物体的检测方法、装置、机器人及存储介质 | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN116358528A (zh) | 地图更新方法、地图更新装置、自移动设备及存储介质 | |
| CN116434181A (zh) | 地面点检测方法、装置、电子设备和介质 | |
| CN111862218B (zh) | 计算机设备定位方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |