CN114693721A - 运动规划方法、装置及机器人 - Google Patents

Abstract

本申请涉及计算机技术领域，提供一种运动规划方法、装置及机器人，该方法包括：获取当前场景的图像信息；基于所述图像信息，获取目标对象信息；将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，所述N个运动规划模型的结构相同且参数不同，N为大于1的正整数；基于所述N个第一运动轨迹，确定目标运动轨迹。该方法通过设置结构相同、参数不同的N个运动规划模型，针对目标对象信息进行处理，N个运动规划模型输出具有差异性的N个第一运动轨迹，可以提高目标运动轨迹的准确度，无需重新设计模型结构，具有广泛的适用性，且基于该运动规划方法，可以智能控制服务机器人按目标运动轨迹动作。

Description

运动规划方法、装置及机器人

技术领域

本申请涉及计算机技术领域，尤其涉及运动规划方法、装置及机器人。

背景技术

计算机视觉技术通过对设备采集的点云、图片或视频等数据进行处理，实现场景中的目标识别、景物分析和图像理解等功能，广泛应用于机器人运动控制等领域。

通过常用的标准图像数据集或收集的场景图像数据集来训练网络模型的物体识别能力，根据训练好的网络模型所识别出的物体，进行运动规划，实现机器人的智能控制。

但实际场景中所存在的物体与用于训练的数据集中的物体，在纹理、结构及开合状态等信息上有所不同，在使用网络模型进行识别规划时，容易出现物体的错误识别，进而导致为服务机器人规划的运动轨迹出现偏差，影响对服务机器人的智能控制。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种运动规划方法，提升运动规划的准确度。

根据本申请第一方面实施例的运动规划方法，包括：

获取当前场景的图像信息；

基于所述图像信息，获取目标对象信息；

将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，所述N个运动规划模型的结构相同且参数不同，N为大于1的正整数；

基于所述N个第一运动轨迹，确定目标运动轨迹。

根据本申请实施例的运动规划方法，通过设置结构相同、参数不同的N个运动规划模型，针对目标对象信息进行处理，N个运动规划模型输出准确但具有差异性的N个不同的第一运动轨迹，可以提高目标运动轨迹的准确性，整个过程无需重新设计模型结构，即插即用，具有广泛的适用性。

根据本申请的一个实施例，所述将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，包括：

将所述目标对象信息输入至所述运动规划模型的特征提取结构，获得所述特征提取结构输出的第一特征向量；

基于映射关系对所述第一特征向量进行映射处理，获得第二特征向量，所述N个运动规划模型中至少两个运动规划模型的所述映射关系不同；

将所述第二特征向量输入至所述运动规划模型的轨迹规划结构，获得所述轨迹规划结构输出的所述第一运动轨迹。

根据本申请的一个实施例，所述基于映射关系对所述第一特征向量进行映射处理，获得第二特征向量，包括：

将所述第一特征向量投影映射到目标正交矩阵，获得所述第二特征向量，所述映射关系包括所述目标正交矩阵。

根据本申请的一个实施例，所述目标正交矩阵通过如下步骤确定：

获取目标对称矩阵；

基于所述目标对称矩阵，获得正交特征向量；

基于所述正交特征向量，确定所述目标正交矩阵。

根据本申请的一个实施例，所述N个运动规划模型通过如下步骤训练得到：

将样本对象信息分别输入至待训练的所述N个运动规划模型的特征提取结构，获得N个第一样本特征向量；

基于映射关系对所述N个第一样本特征向量分别进行映射处理，获得N个第二样本特征向量，所述N个运动规划模型中至少两个运动规划模型的所述映射关系不同；

将所述N个第二样本特征向量一一对应地输入至的所述N个运动规划模型的轨迹规划结构，基于所述N个运动规划模型输出的运动轨迹和所述样本对象信息对应的样本运动轨迹，更新所述N个运动规划模型的参数。

根据本申请的一个实施例，所述基于所述N个第一运动轨迹，确定目标运动轨迹，包括：

对所述N个第一运动轨迹进行求和平均处理，获得所述目标运动轨迹。

根据本申请的一个实施例，所述获取当前场景的图像信息，包括：

获取所述当前场景的RGB图像和深度图像；

所述基于所述图像信息，获取目标对象信息，包括：

基于所述RGB图像和所述深度图像中至少一个图像，获取所述目标对象的目标分割掩码；

基于所述RGB图像、所述深度图像和所述目标分割掩码，获得所述目标对象信息。

根据本申请第二方面实施例的运动规划装置，包括：

获取模块，用于获取当前场景的图像信息；

第一处理模块，用于基于所述图像信息，获取目标对象信息；

第二处理模块，用于将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，所述N个运动规划模型的结构相同且参数不同，N为大于1的正整数；

第三处理模块，用于基于所述N个第一运动轨迹，确定目标运动轨迹。

根据本申请第三方面实施例的机器人，包括：

机器人本体，所述机器人本体设有图像采集装置，所述图像采集装置用于采集当前场景的图像信息；

控制器，所述控制器与所述图像采集装置电连接，所述控制器用于基于上述运动规划方法，控制机器人按目标运动轨迹动作。

根据本申请第四方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述运动规划方法。

根据本申请第五方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述运动规划方法。

根据本申请第六方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述运动规划方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过设置结构相同、参数不同的N个运动规划模型，针对目标对象信息进行处理，N个运动规划模型输出具有差异性的N个第一运动轨迹，可以提高目标运动轨迹的准确度，无需重新设计模型结构，具有广泛的适用性。

进一步的，运动规划方法可以使用现有的模型进行扩充，N个运动规划模型的结构相同仅参数不同，N个运动规划模型的结构相同，相应地训练过程相同，可以极大地缩小开发周期，不限制模型的类型，能够灵活适配于现有的网络模型中。

更进一步的，N个运动规划模型可以使用同一样本训练集的样本对象信息及对应的样本运动轨迹进行训练，N个运动规划模型的结构相同，训练的过程是针对N个运动规划模型的内部参数进行配置的过程，无需重新收集图像数据集，有效降低训练模型的工作量。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的运动规划方法的流程示意图；

图2是本申请实施例提供的运动规划模型的算法流程示意图；

图3是本申请实施例提供的运动规划装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请的实施方式作进一步详细描述。以下实施例用于说明本申请，但不能用来限制本申请的范围。

在本申请实施例的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请实施例中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

计算机视觉技术通过对设备采集的点云、图片或视频等数据进行处理，实现场景中的目标识别、景物分析和图像理解等功能，广泛应用于智能服务机器人的运动控制领域。

通过常用的标准图像数据集或收集的场景图像数据集来训练网络模型的物体识别能力，根据训练好的网络模型所识别出的物体，进行运动规划，实现智能服务机器人的智能控制，可以理解，该智能服务机器人可以是面向家庭服务的机器人。

但实际场景中所存在的物体与用于训练的数据集中的物体在纹理、结构及开合状态等信息上有所不同，例如，用于训练的图像数据集中橱柜这一物体为白色镜面门体向左开启的橱柜，而实际场景中的橱柜为棕色木质纹理门体向右开启的橱柜。

在使用图像数据集训练的网络模型进行目标识别和运动规划时，容易出现物体目标的错误识别，进而导致为机器人的运动轨迹出现偏差，影响机器人的智能控制。

重新收集图像数据集不仅会增加网络模型训练的工作量，并且无法应对实际场景中物体目标无限变换的情况，相关技术中，通过累加网络模型的参数数量、重新设计网络模型的结构或是收集各种网络模型进行聚合的方式来提升网络模型的识别规划性能。

其中，在保持网络模型结构的情况下，通过简单累加参数数量改进网络模型的方式，对目标识别和轨迹规划的效果提升有限，且具有大量参数的网络模型难以训练调优。

重新设计网络模型存在不确定性，涉及大量的参数和结构的调整，对开发人员的要求高，开发迭代周期长，网络模型设计失败的风险较大。

广泛收集各种网络模型来聚合，需要严格确保收集的模型对当前任务具有积极的作用，并且不同网络模型的训练难易程度不同，需要人工不断调试干预，收集周期长，需要耗费过多的时间、计算资源和人工成本。

下面结合图1和图2描述本申请实施例的运动规划方法，通过对网络模型进行扩充，利用扩充的多个模型预测的运动规划结果来指导机器人的运动，无需重新设计网络模型，能够快速提升模型的识别规划性能。

如图1所示，本申请实施例的运动规划方法包括步骤110至步骤140，该方法应用于机器人的运动轨迹规划，该方法的执行主体可以为机器人等设备的控制器，或者云端，或者边缘服务器。

步骤110、获取当前场景的图像信息。

其中，当前场景是需要进行视觉识别的场景，当前场景中包括目标对象，目标对象是需要进行识别的对象。

在该实施例中，当前场景的图像信息是通过摄像头或雷达等设备采集的当前场景所反映的图像数据或点云数据。

例如，服务机器人上设置有摄像头，通过摄像头采集机器人前方的图像数据，获取机器人所处的当前场景的图像信息。

步骤120、基于图像信息，获取目标对象信息。

其中，目标对象信息指当前场景中目标对象相关的图像信息。

在该步骤中，根据当前场景的图像信息，获取当前场景中目标对象对应的目标对象信息，可以去除当前场景中无关信息的影响，使得后续的运动轨迹规划过程更加关注于目标对象。

在实际执行中，可通过语义分割、目标检测和实例分割等处理手段，从当前场景的图像信息中获取目标对象对应的目标对象信息。

例如，对当前场景的图像信息进行目标检测，定位出目标对象的类别信息和位置信息，获得对应的目标对象信息。

再例如，对当前场景的图像信息进行实例分割，将当前场景的图像信息的所有像素进行分类，并区分出了相同类别中不同个体，获得对应的目标对象信息。

步骤130、将目标对象信息分别输入至N个运动规划模型，获得N个运动规划模型输出的N个第一运动轨迹，N为大于1的正整数。

目标对象可以为当前场景中的障碍物，运动规划模型基于目标对象信息所输出的运动轨迹可以是针对目标对象进行避让的避让轨迹，按该运动轨迹运动时，可以避免碰撞到目标对象。

目标对象可以为当前场景中的需要进行操作的物品，运动规划模型基于目标对象信息所输出的运动轨迹可以是朝向目标对象运动的运动轨迹，例如，机器人需要操作的目标对象为冰箱，机器人按该运动轨迹运动到达冰箱所在的位置，对冰箱进行操作。

在该实施例中，运动规划模型所实现的运动规划包括路径规划和轨迹优化两个过程。

路径规划指根据目标对象信息，规划出从初始位置到目标位置的路径，路径规划的过程只考虑当前场景的几何约束。

轨迹优化将先前路径规划计算的给定路径与机器人的运动状态进行约束，输出对应的运动参数。

各个运动规划模型针对目标对象信息进行轨迹规划处理所输出的第一运动轨迹包括运动参数和路径轨迹。

在该实施例中，将目标对象信息分别输入到N个运动规划模型，N个运动规划模型的结构相同，N个运动规划模型对目标对象信息进行轨迹规划处理的步骤相同，N个运动规划模型的参数不同，N个运动规划模型针对目标对象信息所输出的N个第一运动轨迹不同。

步骤140、基于N个第一运动轨迹，确定目标运动轨迹。

在该实施例中，将目标对象信息输入到了参数不同的N个运动规划模型中进行轨迹规划预测，N个运动规划模型对应输出N个第一运动轨迹，根据不同N个第一运动轨迹，确定出用于引导机器人运动的目标运动轨迹。

通过对运动规划模型的数量进行扩充，运动规划模型在结构相同的条件下，模型参数不同，各个运动规划模型可以输出准确但具有差异性的预测结果，将所有扩充的N个运动规划模型所预测的规划结果进行聚合，可以有效提高目标运动轨迹的准确度。

需要说明的是，运动规划模型的个数可根据需求进行设置，N个运动规划模型的结构相同，相应地训练过程相同，可以极大地缩小开发周期，相较于重新设计网络模型或聚合不同网络模型，可以快速地实现模型目标识别和轨迹规划性能的提升。

可以理解的是，本申请实施例所提供的运动规划方法可以使用现有的模型进行扩充，N个运动规划模型的结构相同仅参数不同，不限制模型的类型，能够灵活适配于现有的网络模型中。

根据本申请实施例提供的运动规划方法，通过设置结构相同、参数不同的N个运动规划模型，针对目标对象信息进行处理，N个运动规划模型输出准确但具有差异性的N个不同的第一运动轨迹，可以提高目标运动轨迹的准确性，整个过程无需重新设计模型结构，即插即用，具有广泛的适用性。

本申请实施例提供的运动规划方法是一种通用性的方法，除智能服务机器人以外，还可以应用于其他的机器运动规划领域，包括但不限于自动驾驶以及机械臂加工等领域。在一些实施例中，步骤130包括：

将目标对象信息输入至运动规划模型的特征提取结构进行特征提取，获得特征提取结构输出的第一特征向量；

基于映射关系对第一特征向量进行映射处理，获得第二特征向量；

将第二特征向量输入至运动规划模型的轨迹规划结构进行轨迹规划，获得轨迹规划结构输出的第一运动轨迹。

在该实施例中，以单独的一个运动规划模型为例，针对运动规划模型处理目标对象信息，输出对应的第一运动轨迹的过程进行描述。

运动规划模型包括特征提取结构和轨迹规划结构，特征提取结构对目标对象信息进行特征提取，轨迹规划结构针对特征提取结构所输出的特征向量进行轨迹规划，进而输出目标对象信息所对应的第一运动轨迹。

特征提取结构对目标对象信息进行特征提取，得到目标对象信息所对应的第一特征向量，基于预先设置的映射关系针对第一特征向量进行映射处理，获得新的第二特征向量，再将映射得到的第二特征向量输入到后续的轨迹规划结构进行轨迹规划。

映射指两个元素的集之间元素相互“对应”的关系，针对第一特征向量进行映射处理，根据预先设置的映射关系对第一特征向量中的值进行转换，得到对应的第二特征向量。

在该实施例中，N个运动规划模型中至少两个运动规划模型进行映射处理的映射关系不同，映射关系不同，表明输入轨迹规划结构的第二特征向量不同，进而轨迹规划结构所输出的第一运动轨迹也不同。

在一些实施例中，将第一特征向量投影映射到目标正交矩阵，获得第二特征向量。目标正交矩阵属于正交矩阵，正交矩阵又称为方块矩阵，在正交矩阵中行向量和列向量皆为正交的单位向量，任意两行正交结果为0，也即任意两行点乘的结果为0，任意行点乘自己的结果为1。

在该实施例中，将目标正交矩阵作为第一特征向量的投影矩阵，也即目标正交矩阵作为第一特征向量进行映射处理的映射关系，将第一特征向量投影映射到目标正交矩阵所表征的空间中，得到第二特征向量。

N个运动规划模型中至少两个运动规划模型的目标正交矩阵不同，目标正交矩阵对应第一特征向量和第二特征向量间的映射关系。

在实际执行中，N个运动规划模型可以对应N个不同的目标正交矩阵，也即N个运动规划模型进行映射处理的映射关系各不相同。

在一些实施例中，目标正交矩阵通过如下步骤确定：获取目标对称矩阵；基于目标对称矩阵，获得正交特征向量；基于正交特征向量，确定目标正交矩阵。

目标对称矩阵属于对称矩阵，对称矩阵是指以主对角线为对称轴，各元素对应相等的矩阵。

在该实施例中，通过计算目标对称矩阵中两两正交的特征向量，也即获取目标对称矩阵中的正交特征向量，根据正交特征向量，确定出目标对称矩阵所对应的目标正交矩阵。

需要说明的是，N个运动规划模型中的目标正交矩阵可以互不相同，也即N个运动规划模型执行映射处理的映射关系不同，先随机生成不同的目标对称矩阵，再计算目标对称矩阵的正交特征向量，进而确定出不同的目标正交矩阵。

下面介绍一个具体的实施例。

首先，随机生成大小为l×l的目标对称矩阵

目标对称矩阵为实数对称矩阵，其中，目标对称矩阵A₀中的每个值都是从均匀分布U(0,1)中采样得到的。

计算目标对称矩阵A₀的两两正交的特征向量，可获得新的目标正交矩阵

其中，v_l表示A₀矩阵所产生的第l个特征向量。

将目标正交矩阵B₀作为投影矩阵，可以将通过特征提取结构G₀提取的第一特征向量g₀投影到新的特征表示空间中：

f₀＝g₀B₀

其中，f₀为第二特征向量，

通过将目标正交矩阵B₀映射得到的第二特征向量f₀输入到后续的轨迹规划结构F₀中进行相应轨迹规划任务。

在一些实施例中，N个运动规划模型通过如下步骤训练得到：

将样本对象信息分别输入至待训练的N个运动规划模型的特征提取结构进行特征提取，获得N个运动规划模型的特征提取结构输出N个第一样本特征向量；

根据预先设置的映射关系对N个第一样本特征向量分别进行映射处理，获得N个第二样本特征向量；

将N个第二样本特征向量一一对应地输入至的N个运动规划模型的轨迹规划结构；

基于N个运动规划模型的轨迹规划结构输出的运动轨迹和样本对象信息对应的样本运动轨迹，一一对应地对N个运动规划模型进行单独训练，更新N个运动规划模型的参数。

在该实施例中，N个运动规划模型可以使用同一样本训练集的样本对象信息及对应的样本运动轨迹进行训练，N个运动规划模型的结构相同，训练的过程是针对N个运动规划模型的内部参数进行配置的过程。

在待训练的运动规划模型的特征提取结构和轨迹规划结构引入映射处理，将待训练的N个运动规划模型的特征提取结构所输出的N个第一样本特征向量分别进行映射处理，N个运动规划模型中至少有两个运动规划模型执行映射处理的映射关系是不同的。

在实际执行中，可以预先选取一个具有特征提取结构和轨迹规划结构的模型作为原始模型，在原始模型的特征提取结构和轨迹规划结构连接处引入特征向量的映射处理，并对其进行数量上的扩充。

下面介绍一个具体的实施例。

如图2所示，原始模型2₀包括特征提取结构G₀，特征提取结构G₀可对输入对象信息进行特征提取，得到对应的特征向量

然后送入轨迹规划结构F₀预测出对应的运动轨迹。

在特征提取结构G₀和轨迹规划结构F₀处引入映射处理，对原始模型2₀进行扩充，得到新模型2₀，新模型2₁，新模型2₂，…，新模型2_N。

基于同一样本训练集的样本对象信息和样本运动轨迹对新模型2₀，新模型2₁，新模型2₂，…，新模型2_N进行单独地训练，更新特征提取结构和轨迹规划结构的内部参数。在新模型2₀，新模型2₁，新模型2₂，…，新模型2_N这N+1个运动规划模型中，特征提取结构{G₀,G₁,G₂,....,G_N}的结构相同，轨迹规划结构{F₀,F₁,F₂,....,F_N}的结构也相同。

构建N+1个目标对称矩阵{A₀,A₁,A₂,....,A_N}，进而获得N+1个目标正交矩阵，基于目标正交矩阵这一映射关系的映射处理，特征提取结构{G₀,G₁,G₂,....,G_N}的参数不同，相应地轨迹规划结构{F₀,F₁,F₂,....,F_N}的参数也不同。

目标对象信息输入到训练完成的新模型2₀，新模型2₁，新模型2₂，…，新模型2_N中的N+1个特征提取结构{G₀,G₁,G₂,....,G_N}对应输出N+1个提取的第一样本特征向量{g₀,g₁,g₂,....,g_N}，根据N+1个目标正交矩阵，基于第一特征向量{g₀,g₁,g₂,....,g_N}进行映射处理，输出N+1个新的第二特征向量，最后输入N+1个轨迹规划结构{F₀,F₁,F₂,....,F_N}，预测得到对应的N+1个第一运动轨迹{t₀,t₁,t₂,....,t_N}。

需要注意的是，扩充后的新模型2₀，新模型2₁，新模型2₂，…，新模型2_N都是采用原始模型2₀的训练方法进行单独训练得到的，训练过程不断调整配置每个模型的特征提取结构和轨迹规划结构的内部参数。

在一些实施例中，步骤140包括：

对N个第一运动轨迹进行求和平均处理，获得目标运动轨迹。

在该实施例中，N个运动规划模型所输出的是准确但具有差异性的N个第一运动轨迹，通过求和平均的方法将每个运动规划模型预测得到的第一运动轨迹进行融合，将N个第一运动轨迹的求和平均值作为最终轨迹规划的预测结果目标运动轨迹。

例如，对新模型2₀，新模型2₁，新模型2₂，…，新模型2_N所输出的N个第一运动轨迹包括{t₀,t₁,t₂,....,t_N}，采用下式进行计算：

其中，t^*为目标运动轨迹,t_i为第i个第一运动轨迹。

在该实施例中，通过对运动规划模型的数量进行扩充，利用参数不同的运动规划模型输出准确但具有差异性的预测结果，将所有预测的规划结果进行求和平均处理，可以有效提高预测的目标运动轨迹的准确度。

在一些实施例中，步骤110包括：获取当前场景的深度图像和RGB图像；

步骤120包括：基于深度图像和RGB图像中至少一个图像进行实例分割，获取目标对象的目标分割掩码；

基于深度图像、RGB图像和目标分割掩码，获得目标对象信息。

其中，RGB图像是指通过RGB相机等设备采集的当前场景的颜色纹理信息，深度图像指通过雷达、深度相机等设备捕获的当前场景的几何位置信息。

在该实施例中，可以通过对当前场景的深度图像或RGB图像进行语义分割、目标检测和实例分割等处理，获得目标对象对应的掩码图，也即目标分割掩码。

可以理解的是，目标分割掩码表征了当前场景中目标对象所在的范围，基于当前场景的深度图像或RGB图像进行处理，获得对应的目标分割掩码，可以去除当前场景中无关信息，有助于对目标对象信息的处理更加关注于目标对象。

例如，通过实例分割处理从RGB图像中获取目标分割掩码，得到的目标分割掩码不仅能够当前场景中目标对象所在的范围，还可以区分当前场景中相同类别的不同实例。

在实际执行中，可采用基于RGB的deeplab系列模型或是基于点云的poinnet++系列模型对当前场景的深度图像或RGB图像进行实例分割。

下面介绍一个具体的实施例。

如图2所示，通过相机获得RGB图像S1，通过雷达或深度相机获取深度图像，根据深度图像得到对应的点云信息S2。

利用模型1对当前场景的RGB图像S1或点云信息S2进行识别，获得目标对象的目标掩码，目标掩码对应目标分割掩码，可以是从RGB图像S1分割得到的，也可以是从点云信息S2分割得到的。

输入运动规划模型的目标对象信息包括目标掩码、目标RGB和目标位置，其中，目标掩码对应目标分割掩码，目标RGB对应RGB图像S1，目标位置对应点云信息S2。

其中，模型1可以为任意可实现分割任务的模型，例如，基于RGB的deeplab系列模型或基于点云的poinnet++系列模型。

以机器人为例，在通过运动规划模型进行运动规划时，可以输入机器人当前的运动状态，各个运动规划模型针对目标对象信息进行轨迹规划处理，预测输出的运动轨迹包括运动参数和路径轨迹，可以根据预测的运动参数和机器人当前的运动状态进行运动状态的调整。

下面对本申请实施例提供的运动规划装置进行描述，下文描述的运动规划装置与上文描述的运动规划方法可相互对应参照。

如图3所示，本申请实施例提供的运动规划装置包括：

获取模块310，用于获取当前场景的图像信息；

第一处理模块320，用于基于图像信息，获取目标对象信息；

第二处理模块330，用于将目标对象信息分别输入至N个运动规划模型，获得N个运动规划模型输出的N个第一运动轨迹，N个运动规划模型的结构相同且参数不同，N为大于1的正整数；

第三处理模块340，用于基于N个第一运动轨迹，确定目标运动轨迹。

根据本申请实施例提供的运动规划装置，通过设置结构相同、参数不同的N个运动规划模型，针对目标对象信息进行处理，N个运动规划模型所输出的N个不同的第一运动轨迹，可以提高目标运动轨迹的准确性，整个过程无需重新设计模型结构，即插即用，具有广泛的适用性。

在一些实施例中，第二处理模块330用于将目标对象信息输入至运动规划模型的特征提取结构，获得特征提取结构输出的第一特征向量；

基于映射关系对第一特征向量进行映射处理，获得第二特征向量，N个运动规划模型中至少两个运动规划模型的映射关系不同；

将第二特征向量输入至运动规划模型的轨迹规划结构，获得轨迹规划结构输出的第一运动轨迹。

在一些实施例中，第二处理模块330用于将第一特征向量投影映射到目标正交矩阵，获得第二特征向量，映射关系包括目标正交矩阵。

在一些实施例中，目标正交矩阵通过如下步骤确定：

获取目标对称矩阵；

基于目标对称矩阵，获得正交特征向量；

基于正交特征向量，确定目标正交矩阵。

在一些实施例中，N个运动规划模型可以通过如下步骤训练得到：

将样本对象信息分别输入至待训练的N个运动规划模型的特征提取结构，获得N个第一样本特征向量；

基于映射关系对N个第一样本特征向量分别进行映射处理，获得N个第二样本特征向量，N个运动规划模型中至少两个运动规划模型的映射关系不同；

将N个第二样本特征向量一一对应地输入至的N个运动规划模型的轨迹规划结构，基于N个运动规划模型输出的运动轨迹和样本对象信息对应的样本运动轨迹，更新N个运动规划模型的参数。

在一些实施例中，第三处理模块340用于对N个第一运动轨迹进行求和平均处理，获得目标运动轨迹。

在一些实施例中，获取模块310用于获取当前场景的深度图像和RGB图像；

第一处理模块320，用于基于深度图像和RGB图像中至少一个图像，获取目标对象的目标分割掩码；基于深度图像、RGB图像以及目标分割掩码，获得目标对象信息。

本申请实施例还提供一种机器人。

在本申请实施例中，机器人可以为智能机器人、通用服务机器人、清洁机器人、无人机及机械臂等机械装置。

机器人本体设有用于采集当前场景的图像信息的图像采集装置，机器人的控制器与图像采集装置电连接，控制器可以基于上述运动规划方法，根据图像采集装置所采集的当前场景的图像信息，确定目标运动轨迹，并控制机器人按目标运动轨迹动作。

在实际执行中，图像采集装置可以为RGB摄像头、红外摄像头、RGB-D相机、激光雷达等可成像测距的图像采集装置。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行运动规划方法，该方法包括：获取当前场景的图像信息；基于图像信息，获取目标对象信息；将目标对象信息分别输入至N个运动规划模型，获得N个运动规划模型输出的N个第一运动轨迹，N个运动规划模型的结构相同且参数不同，N为大于1的正整数；基于N个第一运动轨迹，确定目标运动轨迹。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的运动规划方法，该方法包括：获取当前场景的图像信息；基于图像信息，获取目标对象信息；将目标对象信息分别输入至N个运动规划模型，获得N个运动规划模型输出的N个第一运动轨迹，N个运动规划模型的结构相同且参数不同，N为大于1的正整数；基于N个第一运动轨迹，确定目标运动轨迹。

另一方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的运动规划方法，该方法包括：获取当前场景的图像信息；基于图像信息，获取目标对象信息；将目标对象信息分别输入至N个运动规划模型，获得N个运动规划模型输出的N个第一运动轨迹，N个运动规划模型的结构相同且参数不同，N为大于1的正整数；基于N个第一运动轨迹，确定目标运动轨迹。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

以上实施方式仅用于说明本申请，而非对本申请的限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行各种组合、修改或者等同替换，都不脱离本申请技术方案的精神和范围，均应涵盖在本申请的权利要求范围中。

Claims (12)

1.一种运动规划方法，其特征在于，包括：

获取当前场景的图像信息；

基于所述图像信息，获取目标对象信息；

将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，所述N个运动规划模型的结构相同且参数不同，N为大于1的正整数；

基于所述N个第一运动轨迹，确定目标运动轨迹。

2.根据权利要求1所述的运动规划方法，其特征在于，所述将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，包括：

将所述目标对象信息输入至所述运动规划模型的特征提取结构，获得所述特征提取结构输出的第一特征向量；

基于映射关系对所述第一特征向量进行映射处理，获得第二特征向量，所述N个运动规划模型中至少两个运动规划模型的所述映射关系不同；

将所述第二特征向量输入至所述运动规划模型的轨迹规划结构，获得所述轨迹规划结构输出的所述第一运动轨迹。

3.根据权利要求2所述的运动规划方法，其特征在于，所述基于映射关系对所述第一特征向量进行映射处理，获得第二特征向量，包括：

将所述第一特征向量投影映射到目标正交矩阵，获得所述第二特征向量，所述映射关系包括所述目标正交矩阵。

4.根据权利要求3所述的运动规划方法，其特征在于，所述目标正交矩阵通过如下步骤确定：

获取目标对称矩阵；

基于所述目标对称矩阵，获得正交特征向量；

基于所述正交特征向量，确定所述目标正交矩阵。

5.根据权利要求1所述的运动规划方法，其特征在于，所述N个运动规划模型通过如下步骤训练得到：

将样本对象信息分别输入至待训练的所述N个运动规划模型的特征提取结构，获得N个第一样本特征向量；

基于映射关系对所述N个第一样本特征向量分别进行映射处理，获得N个第二样本特征向量，所述N个运动规划模型中至少两个运动规划模型的所述映射关系不同；

将所述N个第二样本特征向量一一对应地输入至的所述N个运动规划模型的轨迹规划结构，基于所述N个运动规划模型输出的运动轨迹和所述样本对象信息对应的样本运动轨迹，更新所述N个运动规划模型的参数。

6.根据权利要求1-5任一项所述的运动规划方法，其特征在于，所述基于所述N个第一运动轨迹，确定目标运动轨迹，包括：

对所述N个第一运动轨迹进行求和平均处理，获得所述目标运动轨迹。

7.根据权利要求1-5任一项所述的运动规划方法，其特征在于，所述获取当前场景的图像信息，包括：

获取所述当前场景的RGB图像和深度图像；

所述基于所述图像信息，获取目标对象信息，包括：

基于所述RGB图像和所述深度图像中至少一个图像，获取所述目标对象的目标分割掩码；

基于所述RGB图像、所述深度图像和所述目标分割掩码，获得所述目标对象信息。

8.一种运动规划装置，其特征在于，包括：

获取模块，用于获取当前场景的图像信息；

第一处理模块，用于基于所述图像信息，获取目标对象信息；

第二处理模块，用于将所述目标对象信息分别输入至N个运动规划模型，获得所述N个运动规划模型输出的N个第一运动轨迹，所述N个运动规划模型的结构相同且参数不同，N为大于1的正整数；

第三处理模块，用于基于所述N个第一运动轨迹，确定目标运动轨迹。

9.一种机器人，其特征在于，包括：

机器人本体，所述机器人本体设有图像采集装置，所述图像采集装置用于采集当前场景的图像信息；

控制器，所述控制器与所述图像采集装置电连接，所述控制器用于基于权利要求1至7任一项所述运动规划方法，控制机器人按目标运动轨迹动作。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述运动规划方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述运动规划方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述运动规划方法。

Images