CN113959432A - 移动设备的跟随路径的确定方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种移动设备的跟随路径的确定方法、装置及存储介质，涉及人工智能技术领域，可以实现在导航路径中人流量较多的情况下，为移动设备规划跟随路径，从而提高移动设备的工作效率。该方法包括：根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离；然后，根据距离确定候选跟随对象的运动方向和运动速度；根据候选跟随对象的运动方向和局部导航路径的路径方向，从候选跟随对象中确定目标跟随对象；之后，根据目标跟随对象的运动方向和运动速度，确定移动设备的跟随路径。

Description

移动设备的跟随路径的确定方法、装置及存储介质

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种移动设备的跟随路径的确定方法、装置及存储介质。

背景技术

随着人工智能技术的快速发展，机器人的应用越来越广。比如，目前机器人可以替代人工进行送餐或运输其他物品。现有的，机器人执行任务的过程中，会根据目的位置以及当前位置，规划出一条到目的位置的导航路径。

然而，机器人在沿导航路径移动时，若行驶在窄通道区域且导航路径中人流量较多，机器人会以规划的避让路径前往特定的避让区域进行避让，或者停止不动等待行人通过。这样，就影响了机器人执行任务的效率。

发明内容

本申请提供一种移动设备的跟随路径的确定方法、装置及存储介质，可以实现在导航路径中人流量较多的情况下，为移动设备规划跟随路径，从而提高移动设备的工作效率。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种移动设备的跟随路径的确定方法，包括：根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离；然后，根据距离确定候选跟随对象的运动方向和运动速度；根据候选跟随对象的运动方向和局部导航路径的路径方向，从候选跟随对象中确定目标跟随对象；之后，根据目标跟随对象的运动方向和运动速度，确定移动设备的跟随路径。

可选的，在一种可能的设计方式中，上述“根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离”可以包括：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

将至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将腿部数据对应的对象确定为候选跟随对象，且将候选跟随对象对应的点簇数据的点簇中心与移动设备的间距确定为距离。

可选的，在另一种可能的设计方式中，上述“根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离”可以包括：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

调用腿部分类模型，从至少一组点簇数据中确定候选跟随对象的腿部数据，并确定距离；

腿部分类模型根据样本数据以及样本数据的分类结果训练得到。

可选的，在另一种可能的设计方式中，上述“根据目标跟随对象的运动方向和运动速度，确定移动设备的跟随路径”，可以包括：

根据深度摄像机采集的深度图像，确定目标跟随对象的定位信息；

根据定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，在另一种可能的设计方式中，上述“根据深度摄像机采集的深度图像，确定目标跟随对象的定位信息”可以包括：

从深度图像中的候选腿部图像中确定出目标跟随对象对应的腿部图像；

提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征；

根据纹理特征和/或颜色特征，在深度摄像机实时采集的深度图像中识别纹理特征和/或颜色特征对应的区域，追踪目标跟随对象，获取定位信息。

可选的，在另一种可能的设计方式中，上述“从深度图像中的候选腿部图像中确定出目标跟随对象对应的腿部图像”可以包括：

根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向；

根据候选腿部图像对应的对象的运动方向和局部导航路径，从候选腿部图像中确定出目标跟随对象对应的腿部图像。

可选的，在另一种可能的设计方式中，上述“确定移动设备的跟随路径”之后，本申请提供的移动设备的跟随路径的确定方法还包括：

控制移动设备沿跟随路径移动；

在移动设备沿跟随路径移动的过程中，若跟随路径与局部导航路径的偏移量达到预设条件，则控制移动设备从跟随路径切换至局部导航路径继续移动。

可选的，在另一种可能的设计方式中，偏移量可以为跟随路径的目的位置与局部导航路径的目的位置之间的间距；或者，偏移量还可以为跟随路径的运动方向和局部导航路径的运动方向的夹角。

可选的，在另一种可能的设计方式中，本申请实施例提供的移动设备的跟随路径的确定方法还包括：

根据场景地图为移动设备规划全局导航路径；全局导航路径包括多个交叉点；在移动设备到达交叉点时，控制移动设备从跟随路径切换至局部导航路径移动；在移动设备移动经过交叉点之后，重新为移动设备确定跟随路径。

可选的，在另一种可能的设计方式中，上述“根据距离确定候选跟随对象的运动方向和运动速度”可以包括：获取多帧点云图像，根据多帧点云图像中距离的变化情况，确定候选跟随对象的运动方向与运动速度。

第二方面，本申请提供一种移动设备的跟随路径的确定装置，包括：

第一确定模块，用于根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离；

第二确定模块，用于根据第一确定模块确定的距离确定候选跟随对象的运动方向和运动速度；

第三确定模块，用于根据第二确定模块确定的候选跟随对象的运动方向和局部导航路径的路径方向，从候选跟随对象中确定目标跟随对象；

第四确定模块，用于根据目标跟随对象的运动方向和运动速度，确定移动设备的跟随路径。

可选的，在一种可能的设计方式中，第一确定模块具体用于：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

将至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将腿部数据对应的对象确定为候选跟随对象，且将候选跟随对象对应的点簇数据的点簇中心与移动设备的间距确定为距离。

可选的，在另一种可能的设计方式中，第一确定模块具体用于：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

调用腿部分类模型，从至少一组点簇数据中确定候选跟随对象的腿部数据，并确定距离；

腿部分类模型根据样本数据以及样本数据的分类结果训练得到。

可选的，在另一种可能的设计方式中，第四确定模块具体用于：

根据深度摄像机采集的深度图像，确定目标跟随对象的定位信息；

根据定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，在另一种可能的设计方式中，第四确定模块具体还用于：

从深度图像中的候选腿部图像中确定出目标跟随对象对应的腿部图像；

提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征；

根据纹理特征和/或颜色特征，在深度摄像机实时采集的深度图像中识别纹理特征和/或颜色特征对应的区域，追踪目标跟随对象，获取定位信息。

可选的，在另一种可能的设计方式中，第四确定模块具体还用于：

根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向；

根据候选腿部图像对应的对象的运动方向和局部导航路径，从候选腿部图像中确定出目标跟随对象对应的腿部图像。

可选的，在另一种可能的设计方式中，本申请提供的移动设备的跟随路径的确定装置还包括：

控制模块，用于控制移动设备沿跟随路径移动；

控制模块，还用于在移动设备沿跟随路径移动的过程中，若跟随路径与局部导航路径的偏移量达到预设条件，则控制移动设备从跟随路径切换至局部导航路径继续移动。

可选的，在另一种可能的设计方式中，偏移量可以为跟随路径的目的位置与局部导航路径的目的位置之间的间距；或者，偏移量还可以为跟随路径的运动方向和局部导航路径的运动方向的夹角。

可选的，在另一种可能的设计方式中，本申请实施例提供的移动设备的跟随路径的确定装置还包括：

规划模块，用于根据场景地图为移动设备规划全局导航路径；全局导航路径包括多个交叉点；

控制模块还用于，在移动设备到达交叉点时，控制移动设备从跟随路径切换至局部导航路径移动；

第四确定模块还用于，在移动设备移动经过交叉点之后，重新为移动设备确定跟随路径。

可选的，在另一种可能的设计方式中，第二确定模块具体用于：获取多帧点云图像，根据多帧点云图像中距离的变化情况，确定候选跟随对象的运动方向与运动速度。

第三方面，本申请提供一种移动设备的跟随路径的确定装置，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当移动设备的跟随路径的确定装置运行时，处理器执行存储器存储的计算机执行指令，以使移动设备的跟随路径的确定装置执行如上述第一方面提供的移动设备的跟随路径的确定方法。

可选的，该移动设备的跟随路径的确定装置还可以包括收发器，该收发器用于在移动设备的跟随路径的确定装置的处理器的控制下，执行收发数据、信令或者信息的步骤，例如，获取预设距离内的点云图像。

进一步可选的，该移动设备的跟随路径的确定装置可以是用于实现移动设备的跟随路径的确定的物理机，也可以是物理机中的一部分装置，例如可以是物理机中的芯片系统。该芯片系统用于支持移动设备的跟随路径的确定装置实现第一方面中所涉及的功能，例如，接收，发送或处理上述移动设备的跟随路径的确定方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

进一步可选的，该移动设备的跟随路径的确定装置可以是移动设备本身，也可以是移动设备中的一部分装置，例如可以是移动设备中的芯片系统。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的移动设备的跟随路径的确定方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的移动设备的跟随路径的确定方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与移动设备的跟随路径的确定装置的处理器封装在一起的，也可以与移动设备的跟随路径的确定装置的处理器单独封装，本申请对此不做限定。

在本申请中，上述移动设备的跟随路径的确定装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。

本申请提供的技术方案中，首先在点云图像中确定出候选跟随对象，然后对这些候选跟随对象进行追踪，确定出候选跟随对象的运动方向；之后结合候选跟随对象与局部导航路径的运动方向从候选跟随对象中确定出目标跟随对象，并根据目标跟随对象的运动方向和运动速度，确定出跟随路径。由于目标跟随对象是有自主判断能力的，可以根据路况实时调整路径，所以，根据目标跟随对象的运动方向和运动速度确定出的跟随路径，是局部导航路径为拥堵状态时的较优的一条路径。这样，在局部导航路径为拥堵状态时，移动设备无需规划避让路径前往特定的避让区域进行避让，也不用停止等待行人通过，可以基于跟随路径移动经过拥堵路段。因此，本申请可以提高机器人执行任务的效率。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种移动设备的跟随路径的确定方法的流程示意图；

图2为本申请实施例提供的另一种移动设备的跟随路径的确定方法的流程示意图；

图3为本申请实施例提供的又一种移动设备的跟随路径的确定方法的流程示意图；

图4为本申请实施例提供的又一种移动设备的跟随路径的确定方法的流程示意图；

图5为本申请实施例提供的又一种移动设备的跟随路径的确定方法的流程示意图；

图6为本申请实施例提供的又一种移动设备的跟随路径的确定方法的流程示意图；

图7为本申请实施例提供的一种移动设备的跟随路径的确定装置的结构示意图；

图8为本申请实施例提供的另一种移动设备的跟随路径的确定装置的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的移动设备的跟随路径的确定方法、装置及存储介质进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

随着人工智能技术的快速发展，机器人的应用越来越广。比如，目前机器人可以替代人工进行送餐或运输其他物品。现有的，机器人执行任务的过程中，会根据目的位置以及当前位置，规划出一条到目的位置的导航路径。

然而，机器人在沿导航路径移动时，若行驶在窄通道区域且导航路径中人流量较多，机器人会以规划的避让路径前往特定的避让区域进行避让，或者停止不动等待行人通过。这样，就影响了机器人执行任务的效率。

针对上述现有技术中存在的问题，本申请实施例提供了一种移动设备的跟随路径的确定方法、装置及存储介质，通过点云图像中确定出候选跟随对象，并结合候选跟随对象与局部导航路径的运动方向确定出目标跟随对象，之后根据目标跟随对象的运动方向和运动速度，确定出跟随路径。这样，在局部导航路径为拥堵状态时，移动设备可以基于跟随路径移动经过拥堵路段。因此，本申请可以提高机器人执行任务的效率。

本申请实施例提供的移动设备的跟随路径的确定方法可以适用于移动设备的跟随路径的确定装置。

在一种可能的实现方式中，移动设备的跟随路径的确定装置可以为物理机（如服务器），也可以为部署在物理机上的虚拟机（virtual machine，VM）。移动设备的跟随路径的确定装置用于监控各个移动设备，以实现对各个移动设备的控制，并为各个移动设备规划导航路径。

本申请实施例中，移动设备的跟随路径的确定装置可以是一个独立的物理机或虚拟机，也可以是物理机群或虚拟机群。比如，物理机为服务器时，移动设备的跟随路径的确定装置可以是一台服务器，也可以是由多台服务器组成的服务器集群，本申请实施例对此不做限定。

在另一种可能的实现方式中，移动设备的跟随路径的确定装置可以为移动设备本体或者移动设备中的芯片系统，移动设备本体或者移动设备中的芯片系统可以为移动设备确定跟随路径。本申请实施例的以下描述中，将以移动设备的跟随路径的确定装置为移动设备本体为例展开描述。

其中，移动设备可以为机器人。当然，在实际应用中，移动设备还可以为其他可移动的人工智能设备。

下面对本申请实施例提供的移动设备的控制方法进行详细说明。

参照图1，本申请实施例提供的移动设备的跟随路径的确定方法可以包括S101-S104：

S101、移动设备根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离。

本申请实施例提供的移动设备的跟随路径的确定方法可以适用于移动设备的沿导航路径移动时，人流量较大的应用场景。所以，可选的，移动设备根据点云图像确定候选跟随对象之前，可以先确定移动设备的局部导航路径是否为拥堵状态，在确定移动设备的局部导航路径为拥堵状态的情况下，根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离。

当然，在实际应用中，本申请实施例提供的移动设备的跟随路径的确定方法还可以应用于除了拥堵状态之外的其他场景，比如路径禁止通行或者路面出现障碍物等等，本申请实施例对此不做限定。

示例性的，移动设备在执行任务之前，可以根据当前位置和目的位置，依据场景地图规划出一条全局导航路径。而移动设备的工作场景一般较为复杂，比如移动设备的工作场景为餐厅时，餐厅中会有很多行人移动，这样，移动设备在执行任务的过程中，会根据工作场景调整原来规划的全局导航路径，确定出一段局部导航路径，以避让行人或者障碍物。所以，本申请实施例中的局部导航路径是以全局导航路径为基准做了调整优化后的局部路径。

一般的，移动设备可以通过激光雷达采集周围环境的信息，激光雷达扫描到的信息为点云图像，移动设备可以根据点云图像确定出候选跟随对象，并确定出候选跟随对象与移动设备之间的距离。

可选的，在一种可能的实现方式中，移动设备可以获取预设距离内的点云图像；然后将至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将腿部数据对应的对象确定为候选跟随对象，且将候选跟随对象对应的点簇数据的点簇中心与移动设备的间距确定为距离。

其中，预设距离可以是事先确定的长度。示例性的，预设距离可以是2米。

点云图像中可以包括有至少一组点簇数据。每组点簇数据的中心位置可以为点簇中心，移动设备在确定出候选跟随对象之后，可以从激光雷达获取到候选跟随对象对应的点簇数据的点簇中心与移动设备的间距，确定为候选跟随对象与移动设备的距离。

由于人腿的腿部圆弧特征与其他障碍物（比如餐桌或柱子）相比，具有独特的几何特征，所以可以从点云图像包括的多组点簇数据中，选出符合腿部圆弧特征的点簇作为腿部数据，将腿部数据对应的对象确定为候选跟随对象。

可选的，在另一种可能的实现方式中，移动设备还可以调用腿部分类模型，从至少一组点簇数据中确定候选跟随对象的腿部数据，并确定距离。

其中，腿部分类模型根据样本数据以及样本数据的分类结果训练得到。

示例性的，移动设备可以事先采集大量的腿部数据对应的点簇数据以及一些应用场景内部的非腿部数据对应的点簇数据，将这些腿部数据和非腿部数据作为样本数据，并标记出移动设备采集这些样本数据时的采集距离，然后利用支持向量机（Support VectorMachine，SVM）等模型对样本数据进行训练，得到腿部分类模型。

采用预先训练好的腿部分类模型对点簇数据进行分类，可以更为准确且快速获取分类结果，确定出点簇数据中的腿部数据，从而可以快速确定出候选跟随对象以及候选跟随对象与移动设备间的距离。

可以理解的是，在实际应用中，为了进一步提高对点簇数据分类的准确率，可以结合腿部分类模型和腿部圆弧特征对点簇数据进行分类。示例的，移动设备可以先基于腿部圆弧特征从点簇数据中初步选取符合腿部圆弧特征的点簇，然后将符合腿部圆弧特征的点簇输入腿部分类模型，之后将腿部分类模型的输出结果作为候选跟随对象。

由于在实际应用中，有部分的曲状结构的障碍物与腿部圆弧的几何特征较为相似，通过腿部分类模型分类时，可能会将曲状结构的障碍物的点簇数据误判为腿部数据。所以，可选的，在另一种可能的实现方式中，在确定出符合腿部圆弧特征的点簇之后，可以确定该点簇的预设间距范围内是否有另一个符合腿部圆弧特征的点簇，在确定该点簇的预设间距内有另一个符合腿部圆弧特征的点簇的情况下，将该点簇对应的对象确定为候选跟随对象。这样，可以进一步提高对点簇数据分类的准确率，从而有效的避免误判。

其中，预设间距范围可以根据人在行走时的两腿之间的间距确定。

S102、移动设备根据距离确定候选跟随对象的运动方向和运动速度。

在确定出候选跟随对象之后，移动设备可以根据候选跟随对象与移动设备之间的距离确定出候选跟随对象的运动方向和运动速度。

可选的，在一种可能的实现方式中，移动设备可以获取到连续的多帧点云图像，然后确定出这多帧点云图像中每帧点云图像中候选跟随对象与移动设备之间的距离，之后根据距离的变化情况确定候选跟随对象的运动方向和运动速度。

候选跟随对象可以对应一组点簇数据，在连续的多帧点云图像中，该点簇数据的位置会发生变化。而点簇数据的位置的变化，表征了该点簇数据对应的候选跟随对象的运动方向和运动速度。也即是点簇数据往哪个方向移动，表明候选跟随对象往哪个方向移动；点簇数据移动的快慢，表明候选跟随对象的移动快慢。另外，点簇数据的位置发生变化时，该点簇中心至移动设备的距离会发生变化，因此，可以根据距离的变化情况确定候选跟随对象的运动方向和运动速度。

可选的，在另一种可能的实现方式中，移动设备还可以通过激光雷达追踪候选跟随对象对应的点簇在栅格地图中的投影，基于该投影在栅格地图中的移动方向和移动速度，确定出候选跟随对象的运动方向和运动速度。

S103、移动设备根据候选跟随对象的运动方向和局部导航路径的路径方向，从候选跟随对象中确定目标跟随对象。

不同的候选跟随对象的目的位置不同，则候选跟随对象的运动方向也可能不同，所以，可以确定出每个候选跟随对象的运动方向，然后将每个候选跟随对象的运动方向与移动设备的局部导航路径的路径方向作对比，将所有候选跟随对象中，运动方向与局部导航路径的路径方向最为接近的确定为目标跟随对象。

S104、移动设备根据目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，在一种可能的实现方式中，移动设备在确定出目标跟随对象之后，还可以根据深度摄像机采集的深度图像，确定目标跟随对象的定位信息，结合定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

一般的，移动设备上还设置有深度摄像机，该深度摄像机不仅能够获取平面图像，还能够获取拍摄对象的深度信息，比如位置信息和尺寸信息等定位信息，从而可以获取采集对象的三维立体数据。为了提高确定出的跟随路径与目标跟随对象的实际路径的一致性，可以结合深度摄像机的深度图像确定出定位信息，结合定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，在一种可能的实现方式中，移动设备可以从深度图像中的候选腿部图像中确定出目标跟随对象对应的腿部图像；然后提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征；之后，根据纹理特征和/或颜色特征，在深度摄像机实时采集的深度图像中识别纹理特征和/或颜色特征对应的区域，追踪目标跟随对象，获取定位信息。

在一种可能的实现方式中，移动设备可以调用腿部图像分类模型，从深度图像中确定出候选腿部图像。示例性的，移动设备可以事先采集大量的腿部图像和非腿部图像，将这些腿部图像和非腿部图像作为样本图像，并标记出移动设备采集这些样本图像时的采集距离，然后利用SVM等模型对样本图像进行训练，得到腿部图像分类模型。

由于目标跟随对象的腿部圆弧特征与其他候选跟随对象的腿部圆弧特征较为接近，所以，在采用激光雷达基于目标跟随对象与移动设备的距离追踪目标跟随对象时，若在某个时刻目标跟随对象与其他候选跟随对象的位置重叠，点簇数据也会重叠，可能会出现跟踪错误的情况。而目标跟随对象的背景色（比如，目标跟随对象的衣服颜色）或者目标跟随对象的纹理特征（比如，目标跟随对象的衣服纹理）与其他候选跟随对象是不同的。所以，在本申请实施例提供的移动设备的跟随路径的确定方法中，移动设备可以确定出目标跟随对象对应的腿部图像；然后提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征，再根据纹理特征和/或颜色特征追踪目标跟随对象，这样，确定出的定位信息会更加准确，避免出现跟错目标跟随对象。

可选的，在一种可能的实现方式中，移动设备从深度图像中确定出候选腿部图像之后，可以根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向；然后根据候选腿部图像对应的对象的运动方向和局部导航路径，从候选腿部图像中确定出目标跟随对象对应的腿部图像。

在一种可能的实现方式中，移动设备可以调用运动模型对确定候选腿部图像对应的对象的运动方向。示例性的，移动设备可以事先采集大量的同一对象在移动过程中不同姿态下的腿部图像，然后标记该对象的运动方向，之后对大量的不同姿态下的腿部图像进行训练，得到运动模型。移动设备从深度图像中确定出候选腿部图像之后，可以对候选腿部图像进行追踪，获取候选腿部图像对应的对象的连续帧图像，然后将连续帧图像输入运动模型，确定出候选腿部图像对应的对象的运动方向。

与基于点簇数据确定的候选跟随对象类似，不同的候选腿部图像对应的对象的目的位置不同，那么运动方向也可能不同。而多张连续帧的候选腿部图像对应的腿部姿态可以表征一个对象的运动方向，所以，可以根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向；然后将所有候选腿部图像对应的对象的运动方向与局部导航路径的运动方向作对比，确定出目标跟随对象对应的腿部图像。

可选的，在一种可能的实现方式中，移动设备在确定出跟随路径之后，可以方沿跟随路径移动；在移动设备沿跟随路径移动的过程中，若跟随路径与局部导航路径的偏移量达到预设条件，则控制移动设备从跟随路径切换至局部导航路径继续移动。

其中，预设条件可以是事先确定的跟随截止条件。

由于目标跟随对象可能只是当前一小段路径与移动设备相同，所以移动设备沿跟随路径移动的过程中，可能会出现跟随路径与局部导航路径的偏移量越来越大的情况，所以，当跟随路径与局部导航路径的偏移量达到预设条件的情况下，移动设备可以从跟随路径切换至局部导航路径继续移动。在切换至局部导航路径之后，可以重新寻找跟随对象，也即是重新确定跟随路径。

可选的，偏移量可以为跟随路径的目的位置与局部导航路径的目的位置之间的间距；或者，偏移量可以为跟随路径的运动方向和局部导航路径的运动方向的夹角。

其中，跟随路径的目的位置可以为跟随路径的实时位置，也即是可以通过跟随路径的实时位置与局部导航路径的目的位置之间的间距确定是否放弃跟随，若跟随路径的目的位置与局部导航路径的目的位置之间的间距越来越小，表示跟随路径是朝着局部导航路径的目的位置前进的，可以继续沿着当前跟随路径移动，若跟随路径的目的位置与局部导航路径的目的位置之间的间距越来越远，表示跟随路径是偏离局部导航路径的目的位置前进的，可以放弃当前跟随路径。

另外，若跟随路径的运动方向和局部导航路径的运动方向的夹角小于预设夹角，表明跟随路径的运动方向和局部导航路径的运动方向大致相同，若跟随路径的运动方向和局部导航路径的运动方向的夹角大于或等于预设夹角，表明跟随路径的运动方向和局部导航路径的运动方向基本为相反方向。所以，偏移量也可以为跟随路径的运动方向和局部导航路径的运动方向的夹角。

其中，预设夹角为人为事先确定的夹角。示例性的，预设夹角可以为30°。

可选的，在一种可能的实现方式中，移动设备可以事先根据场景地图为移动设备规划全局导航路径；在移动设备沿着跟随路径移动时，若移动设备到达交叉点，则可以从跟随路径切换至局部导航路径移动；在移动设备移动经过交叉点之后，重新为移动设备确定跟随路径。

其中，全局导航路径包括多个交叉点。示例性的，交叉点可以对应实际路径中的岔路口或者十字路口。

由于岔路口或者十字路口中，目标跟随对象的行走方向较多，可能沿不同方向行走。人在行走时行走方向比较灵活，可以根据岔路口或者十字路口的其他行人或障碍物随时调整行走方向，而移动设备调整方向的速度及灵活性是远不如行人的，此时，若移动设备沿跟随路径行走，可以会跟错对象或者与其他行人碰撞。而在单通道中，人的行走方向只有前进和后退两个方向，所以，本申请实施例提供的移动设备的跟随路径的确定方法中一般适用于单通道场景，在岔路口或者十字路口时，移动设备可以重新切换回局部导航路径。

本申请实施例提供的移动设备的跟随路径的确定方法中，首先在点云图像中确定出候选跟随对象，然后对这些候选跟随对象进行追踪，确定出候选跟随对象的运动方向；之后结合候选跟随对象与局部导航路径的运动方向从候选跟随对象中确定出目标跟随对象，并根据目标跟随对象的运动方向和运动速度，确定出跟随路径。由于目标跟随对象是有自主判断能力的，可以根据路况实时调整路径，所以，根据目标跟随对象的运动方向和运动速度确定出的跟随路径，是局部导航路径为拥堵状态时的较优的一条路径。这样，在局部导航路径为拥堵状态时，移动设备无需规划避让路径前往特定的避让区域进行避让，也不用停止等待行人通过，可以基于跟随路径移动经过拥堵路段。因此，本申请实施例可以提高机器人执行任务的效率。

综合以上描述，如图2所示，图1中的步骤S101可以替换为S1011-S1012：

S1011、移动设备获取预设距离内的点云图像。

可选的，移动设备可以在确定局部导航路径为拥堵状态的情况下，获取预设距离内的点云图像。

S1012、移动设备将至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将腿部数据对应的对象确定为候选跟随对象，且将候选跟随对象对应的点簇数据的点簇中心与移动设备的间距确定为距离。

可选的，如图3所示，图1中的步骤S101可以替换为S1013-S1014：

S1013、移动设备获取预设距离内的点云图像。

可选的，移动设备可以在确定局部导航路径为拥堵状态的情况下，获取预设距离内的点云图像。

S1014、移动设备调用腿部分类模型，从至少一组点簇数据中确定候选跟随对象的腿部数据，并确定距离。

可选的，如图4所示，图1中的步骤S104可以替换为S1041-S1045：

S1041、移动设备根据深度摄像机采集的深度图像，确定候选腿部图像，并根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向。

S1042、移动设备根据候选腿部图像对应的对象的运动方向和局部导航路径，从候选腿部图像中确定出目标跟随对象对应的腿部图像。

S1043、移动设备提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征。

S1044、移动设备根据纹理特征和/或颜色特征，在深度摄像机实时采集的深度图像中识别纹理特征和/或颜色特征对应的区域，追踪目标跟随对象，获取定位信息。

S1045、移动设备根据定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，如图5所示，图1中的步骤S104之后，本申请实施例提供的移动设备的跟随路径的确定方法还可以包括S105-S106：

S105、移动设备沿跟随路径移动。

S106、在移动设备沿跟随路径移动的过程中，若跟随路径与局部导航路径的偏移量达到预设条件，则从跟随路径切换至局部导航路径继续移动。

可选的，如图6所示，图1中的步骤S101之前，本申请实施例提供的移动设备的跟随路径的确定方法还可以包括S100：

S100、移动设备根据场景地图规划全局导航路径。

对应的，在步骤S104之后，本申请实施例提供的移动设备的跟随路径的确定方法还可以包括S107-S108：

S107、移动设备沿跟随路径移动，在到达交叉点时，移动设备从跟随路径切换至局部导航路径移动。

S108、移动设备移动经过交叉点。

在步骤S108之后，返回执行S101。

如图7所示，本申请实施例还提供了一种移动设备的跟随路径的确定装置，该装置包括：第一确定模块11、第二确定模块12、第三确定模块13和第四确定模块14。

其中，第一确定模块11执行上述方法实施例中的S101，第二确定模块12执行上述方法实施例中的S102，第三确定模块13执行上述方法实施例中的S103，第四确定模块14执行上述方法实施例中的S104。

具体地，第一确定模块11，用于根据点云图像确定候选跟随对象，以及候选跟随对象与移动设备之间的距离；

第二确定模块12，用于根据第一确定模块11确定的距离确定候选跟随对象的运动方向和运动速度；

第三确定模块13，用于根据第二确定模块12确定的候选跟随对象的运动方向和局部导航路径的路径方向，从候选跟随对象中确定目标跟随对象；

第四确定模块14，用于根据目标跟随对象的运动方向和运动速度，确定移动设备的跟随路径。

可选的，在一种可能的实现方式中，第一确定模块11具体用于：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

将至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将腿部数据对应的对象确定为候选跟随对象，且将候选跟随对象对应的点簇数据的点簇中心与移动设备的间距确定为距离。

可选的，在另一种可能的实现方式中，第一确定模块11具体用于：

获取预设距离内的点云图像；点云图像包括至少一组点簇数据；

调用腿部分类模型，从至少一组点簇数据中确定候选跟随对象的腿部数据，并确定距离；

腿部分类模型根据样本数据以及样本数据的分类结果训练得到。

可选的，在另一种可能的实现方式中，第四确定模块14具体用于：

根据深度摄像机采集的深度图像，确定目标跟随对象的定位信息；

根据定位信息、目标跟随对象的运动方向和运动速度，确定跟随路径。

可选的，在另一种可能的实现方式中，第四确定模块14具体还用于：

从深度图像中的候选腿部图像中确定出目标跟随对象对应的腿部图像；

提取目标跟随对象对应的腿部图像的纹理特征和/或颜色特征；

根据纹理特征和/或颜色特征，在深度摄像机实时采集的深度图像中识别纹理特征和/或颜色特征对应的区域，追踪目标跟随对象，获取定位信息。

可选的，在另一种可能的实现方式中，第四确定模块14具体还用于：

根据候选腿部图像对应的腿部姿态，确定候选腿部图像对应的对象的运动方向；

根据候选腿部图像对应的对象的运动方向和局部导航路径，从候选腿部图像中确定出目标跟随对象对应的腿部图像。

可选的，在另一种可能的实现方式中，本申请提供的移动设备的跟随路径的确定装置还包括：

控制模块，用于控制移动设备沿跟随路径移动；

控制模块，还用于在移动设备沿跟随路径移动的过程中，若跟随路径与局部导航路径的偏移量达到预设条件，则控制移动设备从跟随路径切换至局部导航路径继续移动。

可选的，在另一种可能的实现方式中，偏移量可以为跟随路径的目的位置与局部导航路径的目的位置之间的间距；或者，偏移量还可以为跟随路径的运动方向和局部导航路径的运动方向的夹角。

可选的，在另一种可能的实现方式中，本申请实施例提供的移动设备的跟随路径的确定装置还包括：

规划模块，用于根据场景地图为移动设备规划全局导航路径；全局导航路径包括多个交叉点；

控制模块还用于，在移动设备到达交叉点时，控制移动设备从跟随路径切换至局部导航路径移动；

第四确定模块14还用于，在移动设备移动经过交叉点之后，重新为移动设备确定跟随路径。

可选的，在另一种可能的实现方式中，第二确定模块12具体用于：获取多帧点云图像，根据多帧点云图像中距离的变化情况，确定候选跟随对象的运动方向与运动速度。

可选的，移动设备的跟随路径的确定装置还可以包括存储模块，存储模块用于存储该移动设备的跟随路径的确定装置的程序代码等。

如图8所示，本申请实施例还提供一种移动设备的跟随路径的确定装置，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当移动设备的跟随路径的确定装置运行时，处理器42执行存储器41存储的计算机执行指令，以使移动设备的跟随路径的确定装置执行如上述实施例提供的移动设备的跟随路径的确定方法。

在具体的实现中，作为一种实施例，处理器42（42-1和42-2）可以包括一个或多个中央处理器（central processing unit，CPU），例如图8中所示的CPU0和CPU1。且作为一种实施例，移动设备的跟随路径的确定装置可以包括多个处理器42，例如图8中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

存储器41可以是只读存储器41（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，移动设备的跟随路径的确定装置的各种功能。

通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网（radio access network，RAN），无线局域网（wireless local areanetworks，WLAN）等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构（industry standard architecture，ISA）总线、外部设备互连（peripheral component interconnect，PCI）总线或扩展工业标准体系结构（extended industry standard architecture，EISA）总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图7，移动设备的跟随路径的确定装置中的第一确定模块实现的功能与图8中的处理器实现的功能相同，移动设备的跟随路径的确定装置中的存储模块实现的功能与图8中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的移动设备的跟随路径的确定方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路（application specificintegrated circuit，ASIC）中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (13)

1.一种移动设备的跟随路径的确定方法，其特征在于，包括：

根据点云图像确定候选跟随对象，以及所述候选跟随对象与移动设备之间的距离；

根据所述距离确定所述候选跟随对象的运动方向和运动速度；

根据所述候选跟随对象的运动方向和局部导航路径的路径方向，从所述候选跟随对象中确定目标跟随对象；

根据所述目标跟随对象的运动方向和运动速度，确定所述移动设备的跟随路径。

2.根据权利要求1所述的方法，其特征在于，所述根据点云图像确定候选跟随对象，以及所述候选跟随对象与移动设备之间的距离，包括：

获取预设距离内的所述点云图像，所述点云图像包括至少一组点簇数据；

将所述至少一组点簇数据中，几何特征符合腿部圆弧特征的点簇数据确定为腿部数据，并将所述腿部数据对应的对象确定为所述候选跟随对象，且将所述候选跟随对象对应的点簇数据的点簇中心与所述移动设备的间距确定为所述距离。

3.根据权利要求1所述的方法，其特征在于，所述根据点云图像确定候选跟随对象，以及所述候选跟随对象与移动设备之间的距离，包括：

获取预设距离内的所述点云图像，所述点云图像包括至少一组点簇数据；

调用腿部分类模型，从所述至少一组点簇数据中确定所述候选跟随对象的腿部数据，并确定所述距离；

所述腿部分类模型根据样本数据以及样本数据的分类结果训练得到。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标跟随对象的运动方向和运动速度，确定所述移动设备的跟随路径，包括：

根据深度摄像机采集的深度图像，确定所述目标跟随对象的定位信息；

根据所述定位信息、所述目标跟随对象的运动方向和运动速度，确定所述跟随路径。

5.根据权利要求4所述的方法，其特征在于，所述根据深度摄像机采集的深度图像，确定所述目标跟随对象的定位信息，包括：

从所述深度图像中的候选腿部图像中确定出所述目标跟随对象对应的腿部图像；

提取所述目标跟随对象对应的腿部图像的纹理特征和/或颜色特征；

根据所述纹理特征和/或颜色特征，在所述深度摄像机实时采集的深度图像中识别所述纹理特征和/或颜色特征对应的区域，追踪所述目标跟随对象，获取所述定位信息。

6.根据权利要求5所述的方法，其特征在于，所述从所述深度图像中的候选腿部图像中确定出所述目标跟随对象对应的腿部图像，包括：

根据所述候选腿部图像对应的腿部姿态，确定所述候选腿部图像对应的对象的运动方向；

根据所述候选腿部图像对应的对象的运动方向和所述局部导航路径，从所述候选腿部图像中确定出所述目标跟随对象对应的腿部图像。

7.根据权利要求1所述的方法，其特征在于，所述确定所述移动设备的跟随路径之后，所述方法还包括：

控制所述移动设备沿所述跟随路径移动；

在所述移动设备沿所述跟随路径移动的过程中，若所述跟随路径与所述局部导航路径的偏移量达到预设条件，则控制所述移动设备从所述跟随路径切换至所述局部导航路径继续移动。

8.根据权利要求7所述的方法，其特征在于，所述偏移量为所述跟随路径的目的位置与所述局部导航路径的目的位置之间的间距；或者，所述偏移量为所述跟随路径的运动方向和所述局部导航路径的运动方向的夹角。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据场景地图为所述移动设备规划全局导航路径；所述全局导航路径包括多个交叉点；

在所述移动设备到达所述交叉点时，控制所述移动设备从所述跟随路径切换至所述局部导航路径移动；

在所述移动设备移动经过所述交叉点之后，重新为所述移动设备确定跟随路径。

10.根据权利要求1所述的方法，其特征在于，所述根据所述距离确定所述候选跟随对象的运动方向和运动速度，包括：

获取多帧所述点云图像，根据所述多帧所述点云图像中所述距离的变化情况，确定所述候选跟随对象的运动方向与运动速度。

11.一种移动设备的跟随路径的确定装置，其特征在于，包括：

第一确定模块，用于根据点云图像确定候选跟随对象，以及所述候选跟随对象与移动设备之间的距离；

第二确定模块，用于根据所述距离确定所述候选跟随对象的运动方向和运动速度；

第三确定模块，用于根据所述第二确定模块确定的所述候选跟随对象的运动方向和局部导航路径的路径方向，从所述候选跟随对象中确定目标跟随对象；

第四确定模块，用于根据所述目标跟随对象的运动方向和运动速度，确定所述移动设备的跟随路径。

12.一种移动设备的跟随路径的确定装置，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述移动设备的跟随路径的确定装置运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述移动设备的跟随路径的确定装置执行如权利要求1-10任意一项所述的移动设备的跟随路径的确定方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-10任意一项所述的移动设备的跟随路径的确定方法。

Images