CN110531774A - 机器人避障方法、装置、机器人及计算机可读存储介质 - Google Patents
机器人避障方法、装置、机器人及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110531774A CN110531774A CN201910870385.XA CN201910870385A CN110531774A CN 110531774 A CN110531774 A CN 110531774A CN 201910870385 A CN201910870385 A CN 201910870385A CN 110531774 A CN110531774 A CN 110531774A
- Authority
- CN
- China
- Prior art keywords
- robot
- coordinate
- obstacle
- target disorders
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 82
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000000034 method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开提供了一种机器人避障方法、装置、机器人及计算机可读存储介质，涉及机器人技术领域。其中的机器人避障方法包括：沿机器人前进方向拍摄图像；对图像中的障碍进行检测，得到障碍在图像坐标系下的检测坐标；利用检测坐标对障碍进行跟踪，得到障碍在图像坐标系下的连续多个跟踪坐标；根据跟踪坐标，控制机器人躲避障碍。本公开能够使移动机器人简单高效的识别出前进方向上的各类障碍，降低了实现移动机器人自主避障功能的成本开销。
Description
技术领域
本公开涉及信息技术领域，特别涉及一种机器人避障方法、装置、机器人及计算机可读存储介质。
背景技术
自主避障是移动机器人智能化的重要标志。所谓自主避障，是指移动机器人在移动过程中通过传感器采集障碍物的状态信息，感知到妨碍其通行的静态和动态障碍物时，按照一定的方法躲避障碍物，最后达到终点。
传统的机器人避障技术主要采用激光雷达。激光雷达是通过发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号，然后将接收到的从目标反射回来的信号与发射信号进行比较并做适当处理，即可获得目标的距离、方位、高度、速度、姿态、形状等数据。用这些数据进行成像处理后，即可获得目标的三维立体图像，以实现避障功能。
发明内容
本公开解决的一个技术问题是，如何简单高效的实现移动机器人的自主避障功能。
根据本公开实施例的一个方面，提供了一种机器人避障方法，包括：沿机器人前进方向拍摄图像；对图像中的目标障碍进行检测，得到目标障碍在图像坐标系下的检测坐标；利用检测坐标对目标障碍进行跟踪，得到目标障碍在图像坐标系下的连续多个跟踪坐标；根据跟踪坐标，控制机器人躲避目标障碍。
在一些实施例中，根据跟踪坐标，控制机器人躲避目标障碍包括：利用跟踪坐标构建目标障碍的运动轨迹；利用运动轨迹，确定目标障碍在图像坐标系下的至少一个预测坐标；根据图像坐标系与世界坐标系之间的映射关系，将至少一个预测坐标映射为目标障碍在世界坐标系下的至少一个地面预测坐标；根据至少一个地面预测坐标，控制机器人躲避目标障碍。
在一些实施例中，利用跟踪坐标构建目标障碍的运动轨迹包括：利用三次样条插值算法对跟踪坐标进行处理，得到目标障碍的运动轨迹。
在一些实施例中，根据至少一个地面预测坐标，控制机器人躲避目标障碍包括：采用方格的形式对世界坐标系下的所有地面坐标进行划分；将至少一个地面预测坐标所属的方格标记为目标障碍区域，将其余方格标记为可通行区域；控制机器人在可通行区域内运动。
在一些实施例中，控制机器人在可通行区域内运动包括：在可通行区域内，为机器人规划从起点至终点的运动路径；控制机器人沿运动路径运动。
在一些实施例中，对图像中的目标障碍进行检测包括：利用预先训练的卷积神经网络对图像中的目标障碍进行检测，其中，卷积神经网络采用深度可分离卷积的方式提取目标障碍的特征。
在一些实施例中，还包括：将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，以构建卷积神经网络。
在一些实施例中，对图像中的目标障碍进行检测，得到目标障碍在图像坐标系下的检测坐标包括：对图像中的目标障碍进行检测，得到目标障碍的检测框；将检测框的中心点在图像坐标系下的坐标作为检测坐标。
根据本公开实施例的另一个方面，提供了一种机器人避障装置，包括：图像拍摄模块，被配置为沿机器人前进方向拍摄图像；障碍检测模块，被配置为对图像中的目标障碍进行检测，得到目标障碍在图像坐标系下的检测坐标；障碍跟踪模块，被配置为利用检测坐标对目标障碍进行跟踪，得到目标障碍在图像坐标系下的连续多个跟踪坐标；机器人控制模块，被配置为根据跟踪坐标，控制机器人躲避目标障碍。
在一些实施例中，机器人控制模块被配置为：利用跟踪坐标构建目标障碍的运动轨迹；利用运动轨迹，确定目标障碍在图像坐标系下的至少一个预测坐标；根据图像坐标系与世界坐标系之间的映射关系，将至少一个预测坐标映射为目标障碍在世界坐标系下的至少一个地面预测坐标；根据至少一个地面预测坐标，控制机器人躲避目标障碍。
在一些实施例中，机器人控制模块被配置为：利用三次样条插值算法对跟踪坐标进行处理，得到目标障碍的运动轨迹。
在一些实施例中，机器人控制模块被配置为：采用方格的形式对世界坐标系下的所有地面坐标进行划分；将至少一个地面预测坐标所属的方格标记为目标障碍区域，将其余方格标记为可通行区域；控制机器人在可通行区域内运动。
在一些实施例中，机器人控制模块被配置为：在可通行区域内，为机器人规划从起点至终点的运动路径；控制机器人沿运动路径运动。
在一些实施例中，障碍检测模块被配置为：利用预先训练的卷积神经网络对图像中的目标障碍进行检测，其中，卷积神经网络采用深度可分离卷积的方式提取目标障碍的特征。
在一些实施例中，障碍检测模块还被配置为：将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，以构建卷积神经网络。
在一些实施例中，障碍检测模块被配置为：对图像中的目标障碍进行检测，得到目标障碍的检测框；将检测框的中心点在图像坐标系下的坐标作为检测坐标。
根据本公开实施例的又一个方面，提供了又一种机器人避障装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的机器人避障方法。
根据本公开实施例的再一个方面，提供了一种避障机器人，包括摄像机以及前述的机器人避障装置。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的机器人避障方法。
本公开能够使移动机器人简单高效的识别出前进方向上的各类障碍，降低了实现移动机器人自主避障功能的成本开销。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的机器人避障方法的流程示意图。
图2示出了根据跟踪坐标控制机器人躲避目标障碍的一些实施例的流程示意图。
图3示例性示出了可通行区域的示意图。
图4示出了本公开一些实施例的机器人避障装置的结构示意图。
图5示出了本公开一些实施例的避障机器人的结构示意图。
图6示出了本公开另一些实施例的机器人避障装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人认为，从一方面来讲，激光雷达的价格昂贵，在移动机器人上安装激光雷达会增加移动机器人的成本开销；从另一方面来讲，激光雷达不能识别障碍的类型(例如障碍是人还是车辆)，无法实现对特定类型障碍的智能避障。有鉴于此，本公开提出了一种机器人避障方法。
首先结合图1描述本公开机器人避障方法的一些实施例。
图1示出了本公开一些实施例的机器人避障方法的流程示意图。如图1所示，本实施例包括步骤S101～步骤S104。
在步骤S101中，沿机器人前进方向拍摄图像。
为便于拍摄图像，可以在机器人前进方向安装摄像头，以机器人第一视角为场景来拍摄图像。
在步骤S102中，对图像中的目标障碍进行检测，得到目标障碍在图像坐标系下的检测坐标。
本领域技术人员应理解，目标障碍不仅可以为固定障碍，还可以为可移动障碍；图像中不仅可以存在单个同类型的目标障碍，还可以同时存在多个同类型的目标障碍。
下面以行人检测为例，来描述如何对图像中的目标障碍进行检测。
行人检测是长期以来难以解决的问题。由于行人的姿态复杂多变，且存在严重的附着物和遮挡等问题，因此准确的检测处于各种场景下的行人具有很大的难度。本实施例中，首先将YOLOv3神经网络中的Darknet卷积层(共53个卷基层，也被业界称为Darknet53)替换为MobileNetv2神经网络中的深度可分离卷积层，以构建卷积神经网络Mobilenetv2-YOLOv3。然后，利用预先训练的卷积神经网络Mobilenetv2-YOLOv3对图像中的目标障碍进行检测，其中，卷积神经网络Mobilenetv2-YOLOv3采用深度可分离卷积的方式提取目标障碍的特征。最后，对图像中的目标障碍进行检测，得到目标障碍的检测框，并将检测框的中心点在图像坐标系下的坐标作为检测坐标。
将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，可以在目标检测精度损失小的情况下大幅提升目标检测速度。基于机器人避障场景的特殊性，通常需要躲避的障碍物离机器人距离较近，因此所拍摄图像中的目标障碍通常较大，利用MobileNetv2神经网络中的深度可分离卷积层即可准确检测出在图像中较大目标障碍。经过实验得知，目标障碍的检测速度提升约2.5倍。
在步骤S103中，利用检测坐标对目标障碍进行跟踪，得到目标障碍在图像坐标系下的连续多个跟踪坐标。
仍以行人检测为例。根据行人检测的结果，可以在场景中对每个行人进行跟踪。基于SORT(Simple Online And Realtime Tracking，简单的在线和实时跟踪)的多目标跟踪算法使用简单的卡尔曼滤波处理逐帧数据的关联性并使用匈牙利算法进行关联度量，该算法在高帧速率下获得了良好的性能。但由于SORT算法仅仅使用了检测框的位置和大小进行目标的运动估计和数据关联，忽略了被检测物体的表面特征(例如颜色特征，纹理特征等)，因此目标跟踪结果的准确较低。有鉴于此，可以在SORT算法的基础上建立了深度卷积神经网络去提取目标障碍的特征信息，并利用提取的特征信息进行匹配，能够有效改善SORT算法中目标障碍粘连和遮挡的问题，提升目标跟踪算法的鲁棒性。
在步骤S104中，根据跟踪坐标，控制机器人躲避目标障碍。
例如，将某个行人的检测坐标输入前述改进的SORT算法，可以输出该行人的标识以及该行人在图像坐标系下的连续五帧的跟踪框，并将跟踪框的中心点在图像坐标系下的坐标作为该行人的跟踪坐标。提取该行人连续五帧的跟踪坐标，根据这些跟踪坐标可以预测该行人的位置，从而控制机器人躲避行人。
本实施例将人工智能技术应用于移动机器人的第一视角场景，通过视觉算法来实现移动机器人的自主避障功能，能够使移动机器人简单高效的识别出前进方向上的各类障碍，并降低了实现移动机器人自主避障功能的成本开销。
下面结合图2描述根据跟踪坐标控制机器人躲避目标障碍的一些实施例。
图2示出了根据跟踪坐标控制机器人躲避目标障碍的一些实施例的流程示意图。如图2所示，本实施例包括步骤S2041～步骤S2044。
在步骤S2041中，利用跟踪坐标构建目标障碍的运动轨迹。
例如，可以利用三次样条插值算法对跟踪坐标进行处理，得到目标障碍的运动轨迹。三次样条插值算法能够将一个区间划分成多个区间，通过已知的多个点来模拟得到一个二阶导数连续的分段函数。将五个跟踪目标输入三次样条插值算法，可以拟合构建出一条平滑的运动轨迹。
在步骤S2042中，利用运动轨迹，确定目标障碍在图像坐标系下的至少一个预测坐标。
本领域技术人员应理解，利用该运动轨迹，可以确定目标障碍在图像坐标系中下一帧的预测坐标(一个预测坐标)或接下来多帧的预测坐标(例如十个预测坐标)。
在步骤S2043中，根据图像坐标系与世界坐标系之间的映射关系，将至少一个预测坐标映射为目标障碍在世界坐标系下的至少一个地面预测坐标。
以行人的一个预测坐标为例。在进行坐标映射时，首先将行人在图像坐标系下的预测坐标映射至行人在世界坐标系下的预测坐标。然后，将行人在世界坐标系下的预测坐标映射至地面所在的平面，得到行人在地面所在平面上的二维坐标。
在步骤S2044中，根据至少一个地面预测坐标，控制机器人躲避目标障碍。
例如，可以采用方格的形式对世界坐标系下的所有地面坐标进行划分。然后，将至少一个地面预测坐标所属的方格标记为目标障碍区域(例如用0表示)，并将其余方格标记为可通行区域(例如用1表示)。根据由标记(例如0和1)组成的形如二维矩阵的地图信息，可以生成可通行区域，并控制机器人在可通行区域内运动实现避障。
图3示例性示出了可通行区域的示意图。如图3所示，白色区域表示地面上的目标障碍区域，黑色区域表示地面上的可通行区域。
在一些实施例中，在获得多个地面预测坐标的情况下，可以在可通行区域内，为机器人规划从起点至终点的运动路径，并控制机器人沿运动路径运动。
上述实施例能够利用目标障碍的跟踪坐标对目标障碍进行状态估计，实现对目标障碍的短期运动轨迹预测，从而简单高效的预测目标障碍的地面坐标，以较低的成本开销实现移动机器人的自主避障功能。
下面结合图4描述本公开机器人避障装置的一些实施例。
图4示出了本公开一些实施例的机器人避障装置的结构示意图。如图4所示，本实施例中的机器人避障装置40包括：
图像拍摄模块401，被配置为沿机器人前进方向拍摄图像；障碍检测模块402，被配置为对图像中的目标障碍进行检测，得到目标障碍在图像坐标系下的检测坐标；障碍跟踪模块403，被配置为利用检测坐标对目标障碍进行跟踪，得到目标障碍在图像坐标系下的连续多个跟踪坐标；机器人控制模块404，被配置为根据跟踪坐标，控制机器人躲避目标障碍。
本实施例将人工智能技术应用于移动机器人的第一视角场景，通过视觉算法来实现移动机器人的自主避障功能，能够使移动机器人简单高效的识别出前进方向上的各类障碍，并降低了实现移动机器人自主避障功能的成本开销。
在一些实施例中，机器人控制模块404被配置为：利用跟踪坐标构建目标障碍的运动轨迹；利用运动轨迹，确定目标障碍在图像坐标系下的至少一个预测坐标；根据图像坐标系与世界坐标系之间的映射关系，将至少一个预测坐标映射为目标障碍在世界坐标系下的至少一个地面预测坐标；根据至少一个地面预测坐标，控制机器人躲避目标障碍。
在一些实施例中，机器人控制模块404被配置为：利用三次样条插值算法对跟踪坐标进行处理，得到目标障碍的运动轨迹。
在一些实施例中，机器人控制模块404被配置为：采用方格的形式对世界坐标系下的所有地面坐标进行划分；将至少一个地面预测坐标所属的方格标记为目标障碍区域，将其余方格标记为可通行区域；控制机器人在可通行区域内运动。
上述实施例能够利用目标障碍的跟踪坐标对目标障碍进行状态估计，实现对目标障碍的短期运动轨迹预测，从而简单高效的预测目标障碍的地面坐标，以较低的成本开销实现移动机器人的自主避障功能。
在一些实施例中，机器人控制模块404被配置为：在可通行区域内，为机器人规划从起点至终点的运动路径；控制机器人沿运动路径运动。
在一些实施例中，障碍检测模块402被配置为：利用预先训练的卷积神经网络对图像中的目标障碍进行检测，其中，卷积神经网络采用深度可分离卷积的方式提取目标障碍的特征。
在一些实施例中，障碍检测模块402还被配置为：将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，以构建卷积神经网络。
在一些实施例中，障碍检测模块402被配置为：对图像中的目标障碍进行检测，得到目标障碍的检测框；将检测框的中心点在图像坐标系下的坐标作为检测坐标。
下面结合图5描述本公开避障机器人的一些实施例。
图5示出了本公开一些实施例的避障机器人的结构示意图。如图5所示，本实施例中的避障机器人50包括摄像机500以及前述的机器人避障装置40。
本实施例将人工智能技术应用于移动机器人的第一视角场景，通过视觉算法来实现移动机器人的自主避障功能，能够使移动机器人简单高效的识别出前进方向上的各类障碍，并降低了实现移动机器人自主避障功能的成本开销。
下面结合图6描述本公开机器人避障装置的一些实施例。
图6示出了本公开另一些实施例的机器人避障装置的结构示意图。如图6所示，该实施例的机器人避障装置60包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一些实施例中的机器人避障方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
机器人避障装置60还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的机器人避障方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (19)
1.一种机器人避障方法，包括：
沿机器人前进方向拍摄图像；
对所述图像中的目标障碍进行检测，得到所述目标障碍在图像坐标系下的检测坐标；
利用所述检测坐标对所述目标障碍进行跟踪，得到所述目标障碍在图像坐标系下的连续多个跟踪坐标；
根据所述跟踪坐标，控制机器人躲避所述目标障碍。
2.如权利要求1所述的机器人避障方法，其中，所述根据所述跟踪坐标，控制机器人躲避所述目标障碍包括：
利用所述跟踪坐标构建所述目标障碍的运动轨迹；
利用所述运动轨迹，确定所述目标障碍在图像坐标系下的至少一个预测坐标；
根据图像坐标系与世界坐标系之间的映射关系，将所述至少一个预测坐标映射为所述目标障碍在世界坐标系下的至少一个地面预测坐标；
根据所述至少一个地面预测坐标，控制机器人躲避所述目标障碍。
3.如权利要求2所述的机器人避障方法，其中，所述利用所述跟踪坐标构建所述目标障碍的运动轨迹包括：
利用三次样条插值算法对所述跟踪坐标进行处理，得到所述目标障碍的运动轨迹。
4.如权利要求2所述的机器人避障方法，其中，所述根据所述至少一个地面预测坐标，控制机器人躲避所述目标障碍包括：
采用方格的形式对世界坐标系下的所有地面坐标进行划分；
将所述至少一个地面预测坐标所属的方格标记为目标障碍区域，将其余方格标记为可通行区域；
控制机器人在可通行区域内运动。
5.如权利要求4所述的机器人避障方法，其中，所述控制机器人在可通行区域内运动包括：
在可通行区域内，为机器人规划从起点至终点的运动路径；
控制机器人沿所述运动路径运动。
6.如权利要求1所述的机器人避障方法，其中，所述对所述图像中的目标障碍进行检测包括：
利用预先训练的卷积神经网络对所述图像中的目标障碍进行检测，其中，所述卷积神经网络采用深度可分离卷积的方式提取所述目标障碍的特征。
7.如权利要求6所述的机器人避障方法，还包括：
将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，以构建所述卷积神经网络。
8.如权利要求1所述的机器人避障方法，其中，所述对所述图像中的目标障碍进行检测，得到所述目标障碍在图像坐标系下的检测坐标包括：
对所述图像中的目标障碍进行检测，得到所述目标障碍的检测框；
将所述检测框的中心点在图像坐标系下的坐标作为所述检测坐标。
9.一种机器人避障装置，包括：
图像拍摄模块，被配置为沿机器人前进方向拍摄图像；
障碍检测模块，被配置为对所述图像中的目标障碍进行检测，得到所述目标障碍在图像坐标系下的检测坐标；
障碍跟踪模块，被配置为利用所述检测坐标对所述目标障碍进行跟踪，得到所述目标障碍在图像坐标系下的连续多个跟踪坐标；
机器人控制模块，被配置为根据所述跟踪坐标，控制机器人躲避所述目标障碍。
10.如权利要求9所述的机器人避障装置，其中，所述机器人控制模块被配置为：
利用所述跟踪坐标构建所述目标障碍的运动轨迹；
利用所述运动轨迹，确定所述目标障碍在图像坐标系下的至少一个预测坐标；
根据图像坐标系与世界坐标系之间的映射关系，将所述至少一个预测坐标映射为所述目标障碍在世界坐标系下的至少一个地面预测坐标；
根据所述至少一个地面预测坐标，控制机器人躲避所述目标障碍。
11.如权利要求10所述的机器人避障装置，其中，所述机器人控制模块被配置为：
利用三次样条插值算法对所述跟踪坐标进行处理，得到所述目标障碍的运动轨迹。
12.如权利要求10所述的机器人避障装置，其中，所述机器人控制模块被配置为：
采用方格的形式对世界坐标系下的所有地面坐标进行划分；
将所述至少一个地面预测坐标所属的方格标记为目标障碍区域，将其余方格标记为可通行区域；
控制机器人在可通行区域内运动。
13.如权利要求12所述的机器人避障装置，其中，所述机器人控制模块被配置为：
在可通行区域内，为机器人规划从起点至终点的运动路径；
控制机器人沿所述运动路径运动。
14.如权利要求9所述的机器人避障装置，其中，所述障碍检测模块被配置为：
利用预先训练的卷积神经网络对所述图像中的目标障碍进行检测，其中，所述卷积神经网络采用深度可分离卷积的方式提取所述目标障碍的特征。
15.如权利要求14所述的机器人避障装置，其中，所述障碍检测模块还被配置为：
将YOLOv3神经网络中的Darknet卷积层替换为MobileNetv2神经网络中的深度可分离卷积层，以构建所述卷积神经网络。
16.如权利要求9所述的机器人避障装置，其中，所述障碍检测模块被配置为：
对所述图像中的目标障碍进行检测，得到所述目标障碍的检测框；
将所述检测框的中心点在图像坐标系下的坐标作为所述检测坐标。
17.一种机器人避障装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至8中任一项所述的机器人避障方法。
18.一种避障机器人，包括摄像机以及如权利要求17所述的机器人避障装置。
19.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至8中任一项所述的机器人避障方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910870385.XA CN110531774A (zh) | 2019-09-16 | 2019-09-16 | 机器人避障方法、装置、机器人及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910870385.XA CN110531774A (zh) | 2019-09-16 | 2019-09-16 | 机器人避障方法、装置、机器人及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110531774A true CN110531774A (zh) | 2019-12-03 |
Family
ID=68668645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910870385.XA Pending CN110531774A (zh) | 2019-09-16 | 2019-09-16 | 机器人避障方法、装置、机器人及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110531774A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723664A (zh) * | 2020-05-19 | 2020-09-29 | 烟台市广智微芯智能科技有限责任公司 | 一种用于开放式区域的行人计数方法及系统 |
| WO2023185250A1 (zh) * | 2022-03-28 | 2023-10-05 | 杭州萤石软件有限公司 | 一种障碍物测距方法、移动机器人、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598046A (zh) * | 2016-11-29 | 2017-04-26 | 北京智能管家科技有限公司 | 机器人躲避控制方法和装置 |
| CN107291080A (zh) * | 2017-06-27 | 2017-10-24 | 深圳普思英察科技有限公司 | 一种扫地机器人及避障方法、可读存储介质 |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| CN109472315A (zh) * | 2018-11-15 | 2019-03-15 | 江苏木盟智能科技有限公司 | 一种基于深度可分离卷积的目标检测方法和系统 |
| CN110070030A (zh) * | 2019-04-18 | 2019-07-30 | 北京迈格威科技有限公司 | 图像识别与神经网络模型的训练方法、装置和系统 |
-
2019
- 2019-09-16 CN CN201910870385.XA patent/CN110531774A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598046A (zh) * | 2016-11-29 | 2017-04-26 | 北京智能管家科技有限公司 | 机器人躲避控制方法和装置 |
| CN107291080A (zh) * | 2017-06-27 | 2017-10-24 | 深圳普思英察科技有限公司 | 一种扫地机器人及避障方法、可读存储介质 |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| CN109472315A (zh) * | 2018-11-15 | 2019-03-15 | 江苏木盟智能科技有限公司 | 一种基于深度可分离卷积的目标检测方法和系统 |
| CN110070030A (zh) * | 2019-04-18 | 2019-07-30 | 北京迈格威科技有限公司 | 图像识别与神经网络模型的训练方法、装置和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨振等: "一种超轻量化实时检测方法", 《2019年全国公共安全通信学术研讨会优秀论文集》 * |
| 聂林珍等: "基于图像语义分割的道路检测方法研究", 《武汉理工大学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723664A (zh) * | 2020-05-19 | 2020-09-29 | 烟台市广智微芯智能科技有限责任公司 | 一种用于开放式区域的行人计数方法及系统 |
| WO2023185250A1 (zh) * | 2022-03-28 | 2023-10-05 | 杭州萤石软件有限公司 | 一种障碍物测距方法、移动机器人、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10496103B2 (en) | Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness | |
| US10102429B2 (en) | Systems and methods for capturing images and annotating the captured images with information | |
| US11204417B2 (en) | Selective attention mechanism for improved perception sensor performance in vehicular applications | |
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
| CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| CN101657825B (zh) | 根据深度图对人形进行建模 | |
| Luber et al. | People tracking in rgb-d data with on-line boosted target models | |
| Nissimov et al. | Obstacle detection in a greenhouse environment using the Kinect sensor | |
| CN104008371B (zh) | 一种基于多摄像机的区域可疑目标跟踪与识别方法 | |
| JP2022520019A (ja) | 画像処理方法、装置、移動可能なプラットフォーム、プログラム | |
| CN109708644A (zh) | 移动机器人导航方法、装置和移动机器人 | |
| CN110716559B (zh) | 一种用于商场超市拣货机器人的综合控制方法 | |
| CN110986945B (zh) | 基于语义高度地图的局部导航方法和系统 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| CN110531774A (zh) | 机器人避障方法、装置、机器人及计算机可读存储介质 | |
| Arsic et al. | Applying multi layer homography for multi camera person tracking | |
| CN111062971A (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
| CN107728612A (zh) | 识别不同人群进行广告推送的方法、存储装置及移动终端 | |
| Silva et al. | Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles | |
| CN103577833A (zh) | 基于运动模板的异常闯入检测方法 | |
| CN106504227A (zh) | 基于深度图像的人数统计方法及其系统 | |
| CN103700106A (zh) | 一种基于分布式摄像机的多视角运动目标统计与定位方法 | |
| CN111176305A (zh) | 一种视觉导航方法 | |
| Zhou et al. | Information-efficient 3-D visual SLAM for unstructured domains |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Digital Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. |