CN113341983A - 一种用于机器人的自动扶梯自主避让预警方法 - Google Patents

Abstract

本发明公开了一种用于机器人的自动扶梯自主避让预警方法，涉及机器人自动控制领域。包括：预先确定机器人的活动范围内所有的自动扶梯的位置，为每个自动扶梯设定危险区域，记为语义地图配置；当机器人运动时，获取机器人的运动方向的图像数据和激光数据，对图像数据和激光数据进行融合得到自动扶梯的检测结果；根据语义地图配置和检测结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警。本发明提供的方法在机器人丢定位的情况下，可以依靠图像数据与激光数据融合，及时并准确地发出预警，停止机器人运动，避免机器人进入自动扶梯危险区域内。

Description

一种用于机器人的自动扶梯自主避让预警方法

技术领域

本发明涉及机器人自动控制领域，尤其涉及一种用于机器人的自动扶梯自主避让预警方法。

背景技术

目前，随着机器人技术的发展，机器人被愈加广泛地应用于物流运输、商场引导、短距离配送等领域中，在机器人的日常工作过程中，机器人自动避障一直是研究的主要方向。以商场中运行的机器人为例，自动扶梯往往是极其危险的存在，若机器人定位丢失误入自动扶梯区域，或是被人推至该区域后，则机器人可能坠入扶梯，或者挡住扶梯出口，带来安全隐患。

然而，目前现有的避障方案仅仅将自动扶梯区域设置为危险区域或是虚拟墙，禁止机器人进入，从而规避危险，但是在机器人定位丢失、出现偏差或被人推撞等特殊情况下，仍有进入危险区域的可能。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种用于机器人的自动扶梯自主避让与预警方法，可以有效地躲避自动扶梯危险区域，避免发生危险情况，且基于图像、激光等传感器数据的融合，还可以在机器人即将行驶至自动扶梯区域时及时发出危险预警，拉停机器，避免进一步的损失。

本发明解决上述技术问题的技术方案如下：

一种用于机器人的自动扶梯自主避让预警方法，包括：

预先确定机器人的活动范围内所有的自动扶梯的位置，为每个所述自动扶梯设定危险区域，记为语义地图配置；

当所述机器人运动时，获取所述机器人的运动方向的图像数据和激光数据，对所述图像数据和所述激光数据进行融合得到自动扶梯的检测结果；

根据所述语义地图配置和所述检测结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的用于机器人的自动扶梯自主避让预警方法。

本发明解决上述技术问题的另一种技术方案如下：

一种用于机器人的自动扶梯自主避让预警装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述技术方案所述的用于机器人的自动扶梯自主避让预警方法。

本发明的有益效果是：本发明提供的自主避让预警方法，在机器人正常工作的情况下，可以通过定位和图像数据自动躲避自动扶梯危险区域，而在丢定位的情况下，则可以依靠图像数据与激光数据融合，及时并准确地发出预警，停止机器人运动，避免机器人进入自动扶梯危险区域内。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明自动扶梯自主避让预警方法的实施例提供的流程示意图；

图2为本发明自动扶梯自主避让预警方法的实施例提供的危险区域示意图；

图3为本发明自动扶梯自主避让预警方法的其他实施例提供的停止运行条件判断流程示意图；

图4为本发明自动扶梯自主避让预警方法的其他实施例提供的机器人朝向示意图；

图5为本发明自动扶梯自主避让预警装置的实施例提供的结构框架图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明自动扶梯自主避让预警方法的实施例提供的流程示意图，本发明基于机器人自带的摄像头、激光发射器、激光接收器和处理器实现，通过摄像头捕捉机器人运行方向上的图像，通过激光发射器发射激光，通过激光接收器接收激光，从而获取激光数据，再通过处理器对图像数据和激光数据进行处理融合，从而进行自动扶梯自主避让预警，该方法包括：

S1，预先确定机器人的活动范围内所有的自动扶梯的位置，为每个自动扶梯设定危险区域，记为语义地图配置。

如图2所示，给出了一种示例性的危险区域示意图，图中给出了两个并排自动扶梯的示例，自动扶梯的宽度为w，以自动扶梯入口的中点处为中心，以自动扶梯的宽度w延伸1米为短轴，3米为长轴设置椭圆形的危险区域。

优选地，为了使机器人更好地避障，还可以在危险区域的四周设置矩形的虚拟墙，将危险区域包围起来，防止机器人进入虚拟墙内。

应理解，在实际运行时，虚拟墙的范围至少需要涵盖住算法中设定的危险区域，即图2中的椭圆区域。本领域技术人员可以根据实际需求设置危险区域的具体范围，也可以设置不同形状的危险区域，例如，可以将如图2中虚拟墙内的范围都设置为危险区域。

可选地，当存在多个自动扶梯时，可以如下公式确定短轴距离：

其中，short为短轴距离，n为自动扶梯的数量，wi为第i个自动扶梯的宽度。

需要说明的是，在机器人运动过程中，首先会检查其定位是否位于自动扶梯危险区域内，若定位已经位于危险区域，则直接报警，并拉停机器，防止进一步的运动导致其跌落自动扶梯；若定位不在危险区域，则利用已有的检测模型查看摄像头数据是否有自动扶梯的检测结果，若没有检测出，机器人可继续前进；若图像数据检测出了自动扶梯，则判断该检测结果是否满足停止条件，仅当检测结果满足一定的条件后，才会发出预警并让机器人停止运动，否则认为其构成不了危险，机器人可继续运动。

在机器人的运动过程中，由于对自动扶梯的预警利用到了定位信息，因此需要事先将全局地图中自动扶梯的真实位置信息记录在配置文件中，例如所在楼层、位置等信息，将其记为语义地图配置，供预警算法使用。

例如，预警算法可以包含lost和danger两个全局缓存变量，用于记录对应事件发生的次数，lost是指机器人丢定位，danger则表示机器人处于危险区域，例如，图3示出的流程中，重置是指缓存变量的清零操作，重置所有则是对lost和danger两个缓存都清零。

S2，当机器人运动时，获取机器人的运动方向的图像数据和激光数据，对图像数据和激光数据进行融合得到自动扶梯的检测结果。

需要说明的是，基于机器人获取的图像数据与激光数据，可以融合得到自动扶梯的粗略位置，作为机器人避让与预警的辅助信息。由于摄像头拍摄的仅仅是图像，因此难以对自动扶梯进行准确定位，通过将图像数据与激光数据融合，能够实现对自动扶梯的精确定位。

具体的融合方式可以根据实际需求设置，例如，如图4所示，可以将激光的路径绘制在图像中，将激光数据与图像数据重叠，辅助判断自动扶梯的位置。

可选地，可以利用预先训练好的自动扶梯检测模型，可以得到图像上的自动扶梯检测结果，自动扶梯左右边界的大致方向角，通过截取左右方向角内的激光距离值，取其最小值或是中位数作为自动扶梯的大致位置，对应激光束的角度则为自动扶梯的朝向角，即可融合得到自动扶梯较为准确的方位。基于该信息则可以在机器人定位丢失并且即将落入自动扶梯危险区域时，及时给出准确的避让与预警信号。

自动扶梯检测模型可以通过大量包含自动扶梯的图像，输入到深度神经网络训练得到，训练过程属于现有技术，在此不再赘述。

S3，根据语义地图配置和检测结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警。

需要说明的是，在算法中，可以将机器人摄像头数据的检测结果作为输入，然后通过多方面的约束来判断是否满足停止条件。

例如，当机器人通过摄像头在当前楼层检测到自动扶梯时，可以查看机器人所在楼层是否包含自动扶梯语义地图配置。若配置文件中的当前楼层不存在自动扶梯，则执行“重置所有”操作，清空lost和danger缓存，并查看整个楼宇中是否存在自动扶梯配置。若存在，则机器人可能定位楼层错误，上报预警并停止运动。若整个楼宇中都不存在自动扶梯配置，则视为摄像头数据出现误检，继续运动。

应理解，具体的停止运行条件可以根据实际需求设置，例如，机器人的运动方向与自动扶梯的朝向角在一定范围内时，可以认为满足停止条件；又例如，激光距离小于一定值时，可以认为满足停止条件。

本实施例提供的自主避让预警方法，在机器人正常工作的情况下，可以通过定位和图像数据自动躲避自动扶梯危险区域，而在丢定位的情况下，则可以依靠图像数据与激光数据融合，及时并准确地发出预警，停止机器人运动，避免机器人进入自动扶梯危险区域内。

可选地，在一些可能的实施方式中，对图像数据和激光数据进行融合得到自动扶梯的检测结果，具体包括：

将激光数据融合到图像数据的对应帧中，得到融合图像；

将融合图像作为输入，输入到预设的检测模型中，判断融合图像中是否存在自动扶梯，如果存在，则确定融合图像中自动扶梯的左右边界的方向角；

截取左右边界的方向角内的激光距离值，取最小值或中位值作为自动扶梯的粗略位置；

将对应激光束的角度作为自动扶梯的朝向角，将朝向角与粗略位置融合，得到自动扶梯的精确方位。

如图4所示，给出了一种示例性的机器人朝向示意图，图中，机器人的运动方向朝向墙体与自动扶梯1之间，但是此时机器人向左转，向左弯曲的虚线表示机器人的实际运动轨迹，实际并不会撞到墙体，机器人的运动方向并未处于自动扶梯的左右边界角度内，也不存在进入自动扶梯的风险。

可选地，在一些可能的实施方式中，根据语义地图配置和检测结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警，具体包括：

获取机器人的定位信息，根据定位信息和语义地图配置判断机器人是否处于危险区域内，如果处于危险区域内，则停止运动并报警；如果未处于危险区域内，则根据检测结果判断是否检测出自动扶梯，如果检测出自动扶梯，则根据检测结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警。

需要说明的是，当机器人定位丢失时，或者被人推撞移动时，可能已经处于危险区域内，此时，通过定位信息判断当前是否处于危险区域，及时停止运动，能够避免进一步损坏。

如果未检测出自动扶梯，则继续运动。

如图3所示没给出了一种示例性的停止运行条件判断流程示意图，结合图3对可选的判断条件进行说明。

可选地，在一些可能的实施方式中，根据检测结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警，具体包括：

判断检测结果的置信度是否大于预设置信阈值，如果大于预设置信阈值，则判断语义地图配置中是否存在处于检测结果的左右角度范围内的自动扶梯，如果不存在，则对图像数据的当前帧进行处理，根据处理结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警。

需要说明的是，预设置信阈值可以根据实际需求设置，例如，可以设置为0.8。

若置信度不满足阈值条件，则认为距离过远，或是发生误检，执行“重置所有”操作，并继续运动。

若置信度满足阈值条件，则结合机器人的全局定位和语义地图配置判断机器人前方是否应该出现自动扶梯。这时，会查看机器人的图像检测结果是否与自动扶梯的实际方向相符合，如图4所示，图中机器人发出的多条较细虚线表示激光，两条较粗的虚线表示图像检测结果的自动扶梯的左右边界朝向，若语义配置中的某个自动扶梯位置(图4中的自动扶梯1和自动扶梯2上的圆点)包含在检测结果的左右角度范围内，则视为检测结果与自动扶梯的实际方向相符合，重置lost缓存，并执行下一步的条件判断。若语义配置中的自动扶梯没有一个包含在检测结果的角度范围内，则机器人有很大概率已经丢定位，那么可以对图像数据的当前帧进行处理，根据处理结果判断是否满足停止运行条件。

可选地，在一些可能的实施方式中，对图像数据的当前帧进行处理，根据处理结果判断是否满足停止运行条件，如果满足，则停止机器人的运动并报警，具体包括：

将图像数据的当前帧插入预设的lost缓存中，当lost缓存中的帧长度超过预设长度阈值时，则认定机器人定位丢失，停止机器人的运动并报警。

需要说明的是，预设长度阈值可以根据实际需求设置，例如，可以设置为4帧。

可选地，在一些可能的实施方式中，如果语义地图配置中存在处于检测结果的左右角度范围内的自动扶梯，则根据激光数据判断激光距离是否小于第一预设距离，如果小于，则判断机器人的运动方向是否处于检查结果的左右角度范围内，如果处于，则判断机器人是否在移动，如果在移动，则根据图像数据判断当前帧与上一帧的激光距离差值是否小于预设差值，如果小于，则根据激光数据判断激光距离是否小于第二预设距离，如果小于，则根据激光数据判断激光距离是否呈减小趋势，如果呈减小趋势，则停止机器人的运动并报警。

应理解，第二预设距离小于第一预设距离。第一预设距离和第二预设距离可以根据实际需求设置，例如，第一预设距离可以为10米，第二预设距离可以为2米。

预设差值可以根据实际需求设置，例如，可以为500毫米。

需要说明的是，在利用图像检测数据与激光数据融合得到自动扶梯的大致位置时，若自动扶梯为下行，则激光有时会全部穿透过去，融合得到的激光距离值会无限远，为了减小异常数据对算法的干扰，需要将其剔除，通过设置第一预设距离，选择剔除距离超过一定阈值的激光帧，例如10米，lost和danger两个缓存的内容保持不变，以应对异常数据的偶发性。

此外，当机器人只是路过自动扶梯边缘区域时，由于摄像头的水平视角较广，有时也会检测出自动扶梯，但是此时的检测结果并不应该被添加至全局缓存中，否则会出现较多的误报警。如图4所示，实线直线为机器人的运动方向，虚线曲线则是机器人实际的运动轨迹，由图可见，机器人运动时只是经过自动扶梯区域，并没有径直走向自动扶梯入口的趋势，因此需要将这种情况过滤掉。本实施方式通过查看机器人的运动朝向是否与图像检测的方向相符，如图4所示，当机器人的实际运动方向角不在图像检测的左右边界角度内时，则认为不具有危险性，跳过该帧，且重置danger缓存，若图像检测角度包含了运动方向，则进行下一步的判断。

由于激光传感器的特性，激光发射器在产生激光束时，会出现轻微的距离抖动，而本实施方式中判断机器人是否有往自动扶梯前进的趋势，主要是依据激光距离，因此为了进一步减小数据抖动带来的干扰性，需要将机器人静止状态下得到的数据剔除。若机器人未发生移动，则跳过该帧，保持全局缓存不变。

可选地，机器人的移动性，则可以根据瞬时速度或编码器数据得到。

此外，在机器人的移动过程中，人腿等移动障碍物体对激光测距的干扰性极强，行人的来回走动可能导致激光距离值的剧烈抖动，则会对判断算法带来很大影响，如图4所示，小圆点表示人腿等障碍物，随着障碍物的出现，会导致激光距离发生骤减，对自动扶梯位置的判断带来影响。为了减少该干扰，本实施方式在计算当前帧激光距离的基础上，还会保留过去多帧的激光信息。当前后帧的激光距离差值超过一定阈值，例如500毫米时，则认为激光数据受到人腿等移动障碍物的干扰发生了抖动，跳过该帧激光，并且重置danger缓存，以免将人腿的干扰带到下一帧。

应理解，在通常情况下，添加了虚拟墙之后，机器人是无法到达自动扶梯的危险区域的，但是当机器人丢定位后，便会出现误入危险区域的情况。由于定位丢失，机器人离自动扶梯的距离便会很近。因此，可以设置第二预设距离，若激光距离小于一定阈值，例如2米时，则可认为机器人可能已经进入自动扶梯的极危险区域，但只观察单帧数据，可能是由于移动障碍物的干扰导致。因此需要查看当前帧激光与过去多帧激光距离间的趋势，若激光距离表现为减小趋势，则认为机器人是从远处径直走向自动扶梯，并且此时已经位于极危险区域，发出报警并停止运动。若激光距离未小于设定阈值，或是多帧激光距离不存在减小趋势，则重置danger缓存，继续前进。

需要说明的是，以上各类停止运动条件可以根据实际需求进行增加、删除、修改和组合，在此不再一一赘述。

可选地，在一些可能的实施方式中，为每个自动扶梯设定危险区域之后，还包括：

根据危险区域的范围设置虚拟墙。

可选地，在一些可能的实施方式中，虚拟墙的范围大于危险区域的范围。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

本发明还提供一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任意实施方式公开的用于机器人的自动扶梯自主避让预警方法。

如图5所示，本发明还提供一种用于机器人的自动扶梯自主避让预警装置，包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序，实现如上述任意实施方式公开的用于机器人的自动扶梯自主避让预警方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于机器人的自动扶梯自主避让预警方法，其特征在于，包括：

预先确定机器人的活动范围内所有的自动扶梯的位置，为每个所述自动扶梯设定危险区域，记为语义地图配置；

当所述机器人运动时，获取所述机器人的运动方向的图像数据和激光数据，对所述图像数据和所述激光数据进行融合得到自动扶梯的检测结果；

根据所述语义地图配置和所述检测结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警。

2.根据权利要求1所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，对所述图像数据和所述激光数据进行融合得到自动扶梯的检测结果，具体包括：

将所述激光数据融合到所述图像数据的对应帧中，得到融合图像；

将所述融合图像作为输入，输入到预设的检测模型中，判断所述融合图像中是否存在自动扶梯，如果存在，则确定所述融合图像中自动扶梯的左右边界的方向角；

截取左右边界的方向角内的激光距离值，取最小值或中位值作为自动扶梯的粗略位置；

将对应激光束的角度作为自动扶梯的朝向角，将所述朝向角与所述粗略位置融合，得到自动扶梯的精确方位。

3.根据权利要求2所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，根据所述语义地图配置和所述检测结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警，具体包括：

获取所述机器人的定位信息，根据所述定位信息和所述语义地图配置判断所述机器人是否处于危险区域内，如果处于危险区域内，则停止运动并报警；如果未处于危险区域内，则根据所述检测结果判断是否检测出自动扶梯，如果检测出自动扶梯，则根据所述检测结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警。

4.根据权利要求3所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，根据所述检测结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警，具体包括：

判断所述检测结果的置信度是否大于预设置信阈值，如果大于所述预设置信阈值，则判断所述语义地图配置中是否存在处于所述检测结果的左右角度范围内的自动扶梯，如果不存在，则对所述图像数据的当前帧进行处理，根据处理结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警。

5.根据权利要求4所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，对所述图像数据的当前帧进行处理，根据处理结果判断是否满足停止运行条件，如果满足，则停止所述机器人的运动并报警，具体包括：

将所述图像数据的当前帧插入预设的lost缓存中，当所述lost缓存中的帧长度超过预设长度阈值时，则认定所述机器人定位丢失，停止所述机器人的运动并报警。

6.根据权利要求4所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，如果所述语义地图配置中存在处于所述检测结果的左右角度范围内的自动扶梯，则根据所述激光数据判断激光距离是否小于第一预设距离，如果小于，则判断所述机器人的运动方向是否处于所述检查结果的左右角度范围内，如果处于，则判断所述机器人是否在移动，如果在移动，则根据所述图像数据判断当前帧与上一帧的激光距离差值是否小于预设差值，如果小于，则根据所述激光数据判断激光距离是否小于第二预设距离，如果小于，则根据所述激光数据判断激光距离是否呈减小趋势，如果呈减小趋势，则停止所述机器人的运动并报警。

7.根据权利要求1至6中任一项所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，为每个所述自动扶梯设定危险区域之后，还包括：

根据所述危险区域的范围设置虚拟墙。

8.根据权利要求7所述的用于机器人的自动扶梯自主避让预警方法，其特征在于，所述虚拟墙的范围大于所述危险区域的范围。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至8中任一项所述的用于机器人的自动扶梯自主避让预警方法。

10.一种用于机器人的自动扶梯自主避让预警装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如权利要求1至8中任一项所述的用于机器人的自动扶梯自主避让预警方法。

Images