CN110706374B - 运动状态预测方法、装置、电子设备及车辆 - Google Patents

Abstract

本申请公开了一种运动状态预测方法、装置、计算机可读存储介质、电子设备和车辆，涉及辅助驾驶领域。该方法包括：获取目标物的第一运动状态数据；确定所述第一运动状态数据对应的数值序列，基于所述第一运动状态数据与所述数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同；根据所述第二运动状态数据确定第一特征图；将所述第一特征图输入至目标预测模型，确定包括所述第一运动状态数据的预测值的第二特征图；根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值。本方案提高了获取运动状态数据的灵活性、效率和准确度。

Description

运动状态预测方法、装置、电子设备及车辆

技术领域

本申请涉及辅助驾驶领域，更特别地，涉及一种运动状态预测方法、装置、电子设备、车辆和计算机可读介质。

背景技术

随着无人驾驶技术和驾驶辅助系统的飞速发展，为了提高无人驾驶车辆或使用辅助系统的车辆在行驶过程中的安全性，往往需要有效地对该车辆所处的行车环境中的各个实体(车辆、自行车、行人等)的位置、速度、加速度、方向角等时变运动状态数据进行获取和预测各个实体的将来某一时刻的该时变运动状态数据，以便对该车辆进行合理安全的决策控制。

现在已有各类车载传感器，比如微波雷达、激光雷达、摄像头、速度传感器、加速度传感器等，可配置于无人驾驶车辆或使用辅助系统的车辆上，这些车载传感器使得该车辆具备较强的环境感知能力，并且可以做到不间断，全方位地检测周围环境。通过这些车载传感器，无人驾驶车辆或使用辅助系统的车辆可以获得该车辆或周围实体的各种运动状态数据，例如位置、速度、加速度、方位角等。但在无人驾驶和驾驶辅助技术中，仅仅获取实体当前或以往的运动状态数据是不够，还需要准确、及时地预测出下一时刻实体的各种运动状态数据，以有效地进行决策规划。

目前，针对动态实体的运动状态数据预测，主要的预测方法都是结构化的预测方法，即直接对各个运动状态数据的数值演化进行结构化的约束以进行预测。然而，直接对运动状态数据进行结构化预测一般需要对实体的个数、种类、相互作用方式做出具体的假设，这限制了预测方法的灵活性。

因此，如何在复杂场景下对运动状态数据进行灵活预测，仍是一个需要解决的技术问题。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种运动状态预测方法、装置、计算机可读介质、电子设备和车辆。

根据本申请的第一方面，提供了一种运动状态预测方法，包括：获取目标物的第一运动状态数据；确定所述第一运动状态数据对应的数值序列，基于所述第一运动状态数据与所述数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同；根据所述第二运动状态数据确定第一特征图；将所述第一特征图输入至目标预测模型，确定包括所述第一运动状态数据的预测值的第二特征图；根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值。

根据本申请的第二方面，提供了一种运动状态预测装置，包括：获取模块，用于获取目标物的第一运动状态数据；第一确定模块，用于确定所述第一运动状态数据对应的数值序列，基于所述第一运动状态数据与所述数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同；第二确定模块，用于根据所述第二运动状态数据确定第一特征图；第三确定模块，用于将所述第一特征图输入至目标预测模型，确定包括所述第一运动状态数据的预测值的第二特征图；第四确定模块，用于根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的运动状态预测方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一方面所述的运动状态预测方法。

根据本申请的第五方面，提供了一种车辆，包括上述第四方面所述的电子设备。

本申请实施例提供的技术方案的有益效果至少包括：

根据目标预测模型获取第一运动状态数据的预测值，不需要对目标物的个数、种类、相互作用方式等做出具体的假设，提高了获取第一运动状态数据的预测值的灵活性、效率和准确度。另外，根据数值序列对第一运动状态数据做数值运算，并根据数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免获取得到的第一运动状态数据的预测值发生混叠、扩散、畸变，提高了获取第一运动状态数据的预测值的准确度。再者，根据数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免利用额外的估计器提取第一运动状态数据的预测值所带来的估计误差和计算开销，提高了获取第一运动状态数据的预测值的效率和准确度，并降低了计算开销。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种车载计算机系统的示意图。

图2是本申请一示例性实施例提供的运动状态预测方法的流程示意图。

图3A是本申请一示例性实施例提供的第一特征图的示意图。

图3B是根据图3A得到的第二特征图的示意图。

图4是本申请另一示例性实施例提供的运动状态预测方法的流程示意图。

图5是本申请一示例性实施例提供的运动状态预测装置的框图。

图6是本申请一示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

相关技术中，针对动态实体的运动状态数据预测，主要的预测方法都是结构化的预测方法，然而直接对运动状态数据进行结构化预测一般需要对实体的个数、种类、相互作用方式做出具体的假设，这限制了预测方法的灵活性。

另外，运动状态数据一般为结构化数据，如果基于非结构化的预测方法，例如通过传统的图像处理方法或基于深度学习的图像处理方法，对动态实体的运动状态数据进行预测，则需要从输出图像中提取结构化的运动状态数据的预测值。然而通过图像处理方法进行预测，可能使得运动状态数据的预测值在输出图像中发生混叠、畸变等，对上述提取运动状态数据的预测值的过程提出了挑战。

在一实施例中，可以通过估计器从上述非结构化的输出图像中提取结构化的运动状态数据的预测值。使用该方法需要预先训练一个估计器，然而训练估计器本身是一项比较艰难的任务，而且训练得到的估计器会引入额外的预测误差。

示例性系统

图1是本申请实施例所提供的一种车载计算机系统的示意图。该车载计算机系统包括：车载传感器系统110、车载决策系统120和车载控制系统130。

车载传感器系统110包括至少一个车载传感器，该至少一个车载传感器可以包括多种传感器，例如位置传感器、速度传感器、加速度传感器和方向传感器等，本申请实施例对车载传感器系统110所包括的车载传感器的个数及种类不做限定。

车载传感器系统101可以通过至少一个车载传感器采集环境感知数据，例如位置、速度、加速度、方向角等运动状态数据，并将采集到的环境感知数据传输到车载决策系统120。车载决策系统120可以基于车载传感器系统110传输的环境感知数据确定其它车辆的驾驶意图，进而基于该驾驶意图做出决策控制，向车载控制系统130发出控制指令。车载控制系统130可以基于车载决策系统120发出的控制指令，进行相应地控制操作，实现自动驾驶。

在一实施例中，车载决策系统120可以包括目标预测模型，该目标预测模型是利用采集的样本数据对神经网络进行训练，以对神经网络中的参数进行调整得到的，其中样本数据标注有真实值。车载决策系统120接收从车载传感器系统110输入的运动状态数据，确定周围其它车辆、行人等的运动状态数据并通过目标预测模型对该运动状态数据进行智能分类和匹配，从而实现对其它车辆的驾驶意图的确定。

示例性方法

图2是本申请实施例提供的一种运动状态预测方法的流程示意图，该方法应用于可移动设备，具体可以应用于具有车载计算机系统的可移动设备。如图2所示，该方法可以包括如下步骤210、步骤220、步骤230、步骤240和步骤250。

步骤210：获取目标物的第一运动状态数据。

其中，目标物为该可移动设备所在的环境周围的物体，该目标物可以包括运动状态的目标物(即运动目标)和静止状态的目标物(即静止目标)，运动状态的目标物可以包括正在行驶的车辆、正在行走的人等，静止状态的目标物可以包括停靠的车辆、车道线、路面障碍物等。

该可移动设备可以获取目标物的第一运动状态数据、该可移动设备所在的环境的位置数据以及目标物的标识和属性等其他信息，本申请实施例对此不作限定。需要说明的是，目标物的第一运动状态数据和位置数据等其他信息是通过该可移动设备的传感器系统所获取的，该传感器系统包括至少一个车载传感器，例如可采集的图像数据的摄像机、可采集点云数据的激光雷达、可采集速度数据和方向角数据的惯性测量单元等，本申请实施例对此不作限定。

在一实施例中，第一运动状态数据为结构化数据，例如为位置、速度、加速度、方位角、轮廓曲线、包围框等。一般而言，在通过图像处理等方式对第一运动状态数据进行预测之前，需要将第一运动状态数据转化为非结构化的数据。非结构化数据是数据结构不规则或不完整、没有预定义的数据模型、不方便用数据库逻辑表来表现的数据，包括办公文档、文本、图片、HTML、各类报表、图像和音频/视频信息等等。在本申请一实施例中，该非结构化的数据例如为包括位置、速度、加速度等运动状态数据的图像，例如后文提到第一特征图和第二特征图。通过将第一运动状态数据由结构化数据转换为非结构化的第一特征图，便于后续基于非结构化的预测方法，例如后文提到的标预测模型等基于深度学习的图像处理方法，对第一运动状态数据进行预测，得到包括第一运动状态数据的预测值的第二特征图。进而通过对第二特征图进行处理，提取其中的第一运动状态数据的预测值，该提取得到的第一运动状态数据的预测值也为结构化数据。

实际应用中，为了便于区分各个目标物，可以将各个目标物的标识存储到目标列表中。从而，根据该目标列表中存储的每个目标物的标识，确定该目标物的标识所标识的目标物的第一运动状态数据。

需要说明的是，目标物的标识用于唯一标识目标物，如目标物的标识可以为该目标物的名称、编号等，本申请实施例对此不作限定。

步骤220：确定该第一运动状态数据对应的数值序列，基于该第一运动状态数据与该数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同。

其中，该数值序列来源于正交序列组，或者来自于非正交但是序列之间相关性较弱的序列组。正交序列组中的任意两个数值序列之间正交，序列之间相关性较弱的序列组中的任意两个数值序列之间的相关性弱，是近似正交的。

在一实施例中，第一运动状态数据可以包括多个运动参数，各第一运动状态数据所对应的数值序列不相同。示例地，多个运动参数例如为速度、加速度、位置等，同一目标物的多个运动参数所对应的数值序列不同，不同目标物的相同运动参数所对应的数值序列也不同。

在一实施例中，第一运动状态数据的多个运动参数可能具有不同的维度，例如对于位置参数，当其由坐标系中X、Y、Z轴方向上的分量共同确定时，该位置参数为三维参数。当第一运动状态数据的多个运动参数的维度相同时，第一运动状态数据的各个运动参数分别对应的数值序列的维度也相同。当第一运动状态数据的多个运动参数具有不同的维度时，第一运动状态数据的各个运动参数分别对应的数值序列的维度也不相同。也即，各第一运动状态数据与其所对应的数值序列的维度相同。

在一实施例中，对该第一运动状态数据与该数值序列进行线性叠加，可以确定该第二运动状态数据，使得该第二运动状态数据既携带了第一运动状态数据，又包含该数值序列，当然还可以对该第一运动状态数据与该数值序列进行其他数值运算得到该第二运动状态数据，本申请实施例对此不作限定。

需要说明的是，该基于该第一运动状态数据与该数值序列得到的第二运动状态数据也为结构化数据。

步骤230：根据所述第二运动状态数据确定第一特征图。

在一实施例中，可以通过初始化一张图像，并将第二运动状态数据映射至该初始化的图像，得到该第一特征图。例如，可以将该初始化的图像特定区域的像素值设置为该第二运动状态数据，得到该第一特征图。

示例地，可以通过将预设图像的像素值设置为一特定值，得到该初始化的图像，该特定值例如为正数，本申请实施例对此不作限定。

步骤240：将该第一特征图输入至目标预测模型，确定包括该第一运动状态数据的预测值的第二特征图。

在一是实施例中，目标预测模型为训练完成的神经网络模型，根据输入的包含第一运动状态数据的特征图，可以得到包括该第一运动状态数据的预测值的第二特征图。本申请实施例对目标预测模型的网络类型不作限定，本领域的技术人员可以根据需要选择现有的神经网络模型或者自主设计的神经网络模型来得到输入数据的预测值。

步骤250：根据所述数值序列及该第二特征图，确定所述第一运动状态数据的预测值。

在一实施例中，根据与第一运动状态数据对应的数值序列，将对应的数值序列与该第二特征图做逐像素的相关操作，根据数值序列之间的正交性或若相关性，只有该第二特征图中的该第一运动状态数据的预测值才会有响应，该第二特征图中与该第一运动状态数据的预测值无关的区域将不会有响应或者像素值接近零，进而可以根据第一运动状态数据对应的数值序列，从该第二特征图中得到该第一运动状态数据的预测值。

根据本申请实施例提供的运动状态预测方法，通过目标预测模型获取第一运动状态数据的预测值，不需要对目标物的个数、种类、相互作用方式等做出具体的假设，提高了获取第一运动状态数据的预测值的灵活性、效率和准确度。另外，通过数值序列对第一运动状态数据做数值运算，并根据数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免获取得到的第一运动状态数据的预测值发生混叠、扩散、畸变，提高了获取第一运动状态数据的预测值的准确度。再者，通过数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免利用额外的估计器提取第一运动状态数据的预测值所带来的估计误差和计算开销，提高了获取第一运动状态数据的预测值的效率和准确度，并降低了计算开销。

图4是本申请实施例提供的一种运动状态预测方法的流程示意图，该方法应用于可移动设备，具体可以应用于具有车载计算机系统的可移动设备。如图4所示，该方法可以包括如下步骤410、步骤420、步骤430、步骤440、步骤450、步骤460、步骤470和步骤480。

步骤410：获取目标物的第一运动状态数据。

该步骤410与上述步骤210类似，在此不再赘述。

步骤420：确定该第一运动状态数据对应的数值序列，基于该第一运动状态数据与该数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同。

在一实施例中，在上述图2所示实施例的基础上，步骤220还可包括：

a)确定该第一运动状态数据中的各运动参数所对应的数值序列L_pm，以及各运动参数所对应的数值序列L_pm的系数K_pm，其中p、m分别表征数值序列L_pm所对应的目标物p、目标物p的运动参数m，p、m为正整数；

b)根据各运动参数所对应的数值序列L_pm的系数K_pm，叠加该第一运动状态数据中的各运动参数与各运动参数所对应的数值序列L_pm，得到该第二运动状态数据。

对于a)，目标物的数量为一个或多个，各目标物的第一运动状态数据所包括的运动参数为一个或多个，本申请实施例对此不作限定。在本申请一实施例中，各不同目标物的第一运动状态数据中的同一运动参数m，例如位置，所对应的数值序列可以来自于同一正交序列组，或者来自于非正交但是序列之间相关性较弱的序列组。或者，同一目标物的第一运动状态数据中的不同运动参数，例如位置、速度、加速度等，分别所对应的数值序列可以来自于不同的正交序列组或来自于非正交但是序列之间相关性较弱的序列组。或者，所有目标物的第一运动状态数据中的运动参数，可以均来自于同一正交序列组，或者来自于非正交但是序列之间相关性较弱的序列组，但本申请实施例不以此为限，目标物的第一运动状态数据中的运动参数所对应的数值序列可以根据具体应用情况而设定。

示例地，数值序列可以来自于Zadoff-Chu伪随机序列组、one-hot序列组和黄金序列组中的至少一个。

对于b)，根据各运动参数所对应的数值序列L_pm的系数K_pm，对该第一运动状态数据的各运动参数与各运动参数所对应的数值序列L_pm，进行线性叠加，确定该第二运动状态数据，当然还可以对该第一运动状态数据与该数值序列进行其他数值运算得到该第二运动状态数据，本申请实施例对此不作限定。示例地，该线性叠加为乘法运算、加法运算等，例如，根据第一运动状态数据的各运动参数+各运动参数所对应的数值序列L_pm×系数K_pm，确定该第二运动状态数据。示例地，该系数K_pm既可以大于1，也可以小于等于1，本申请实施例对此不作限定。

需要说明的是，不同目标物的同一运动参数m的维度相同，且与运动参数m对应的数值序列的维度与运动参数m的维度也相同。示例地，若某一目标物的运动参数m的维度少于另一目标物的运动参数m，此时还可以对维度较少的运动参数m进行填充。

本申请实施例的第二运动状态数据既携带了第一运动状态数据，又包含数值序列，且不同目标物的第二运动状态数据中的同一运动参数相互正交，可以避免后续在通过图像处理中，不同目标物的第一运动状态数据的预测值发生混叠后，较难以提取第一运动状态数据的预测值的问题。

步骤430：确定目标物在第一特征图中的像素区域。

可以通过初始化一张图像，并将第二运动状态数据映射至该初始化的图像中的预设像素区域，得到该第一特征图。

在一实施例中，可以根据目标物在所处的空间环境中的位置信息，确定该目标物在第一特征图中的像素区域，例如将目标物在空间环境中的位置信息，映射至第一特征图中的该像素区域。在另一实施例中，还可以根据目标物在世界坐标系中的位置信息，确定该目标物在所述第一特征图中的像素区域。还可以根据具体情况，将第一特征图中的任一预设区域确定为目标物在第一特征图中的像素区域，例如该预设区域可以位于第一特征图的中心区域或者边缘区域，本申请实施例对此不作限定。

步骤440：将第一特征图中像素区域以外的区域的像素设定为预设值。

其中，该预设值为一固定值，可以根据具体应用设定该预设值的具体数值，本申请实施例对此不作限定。

步骤450：根据第二运动状态数据的值，确定像素区域中的像素值，得到第一特征图。

根据上述步骤220和步骤420可知，第二运动状态数据与第一运动状态数据包括的运动参数个数相同、维度相同。根据第二运动状态数据所包括的运动参数的个数、维度，可以确定第一特征图所包括的通道组以及各通道组所包括的通道数。在一实施例中，目标物的第二运动状态数据中的每个运动参数，分别对应于第一特征图的一个通道组，例如第二运动状态数据中的位置、速度、加速度或角速度等运动参数分别对应第一特征图中的位置通道组、速度通道组、加速度通道组或角速度通道组。此外，可以根据目标物的第二运动状态数据中的每个运动参数的维度，确定第一特征图中与对应运动参数对应的通道组中包含的通道的个数。例如，可以将运动参数的每个维度与对应的通道组中的一个通道相对应，但本申请实施例不以此为限，第一特征图的通道组、通道组中包括的通道数还可以分别多于或少于第二运动状态数据所包括的运动参数的个数、维度。

在一实施例中，该第一特征图包括N个通道组，该第二运动状态数据包括M个运动参数，M和N均为正整数，且M≤N，该M个运动参数分别对应于该第一特征图的M个不同的通道组；多个目标物的相同运动参数i对应于该第一特征图的同一通道组j，其中，所述1≤j≤N，1≤i≤M。

在一实施例中，根据第二运动状态数据中运动参数的各维度值，以及该运动参数与该第一特征图的通道组的对应关系，分别确定该第一特征图的像素区域中各通道的像素值，得到该第一特征图，该通道组包括至少一个通道。

图3A是本申请一示例性实施例提供的第一特征图的示意图。如图3A所示，包括目标物11和目标物12以及二者的第二运动状态数据，且在本实施例中，该第二运动状态数据包括位置参数和速度参数。目标物所在像素区域的像素值分别设置为与该目标物的位置参数和速度参数所对应的像素值，目标物所在像素区域以外的区域的像素值为一固定值，例如0。以此，可减少通过目标预测模型对第一运动状态数据/第二运动状态数据进行预测的噪声和干扰，提升预测准确率。

通过将目标物11的位置参数11a和速度参数11b分别映射至该第一特征图的位置通道组10A和速度通道组10B，可以实现将目标物11的第二运动状态数据映射至第一特征图，以便于后续通过目标预测模型对第一运动状态数据/第二运动状态数据进行预测，不需要对目标物的个数、种类、相互作用方式等做出具体的假设，提高了获取第一运动状态数据的预测值的灵活性、效率和准确度。

类似地，通过将目标物12的位置参数12a和速度参数12b分别映射至该第一特征图的位置通道组10A和速度通道组10B，可以实现将目标物12的第二运动状态数据映射至第一特征图，以便于后续通过目标预测模型对第一运动状态数据/第二运动状态数据进行预测。

步骤460：对输入目标预测模型中的第一特征图进行像素的平移和/或像素的线性叠加，确定包括第一运动状态数据的预测值的第二特征图。

在一实施例中，目标预测模型包括输入层、隐藏层和输出层，其中隐藏层的数量为一个或多个，包括多个卷积层和池化层等结构。目标预测模型对输入层接收的第一特征图进行处理，且目标预测模型的输出层仅进行线性变换，得到包括该第一运动状态数据的预测值的第二特征图。示例地，线性变换例如包括像素的平移和/或像素的线性叠加，本申请实施例对此不作限定。

在一实施例中，第二特征图中不仅包括第一运动状态数据的预测值，还包括各第一运动状态数据的预测值所对应的概率。某一第一运动状态数据的预测值所对应的概率越大，代表该第一运动状态数据的预测值越接近下一时刻第一运动状态数据的真实值。

图3B是根据图3A得到的第二特征图的示意图。如图3B所示，目标物11的第一运动状态数据的预测值包括位置参数11a’和速度参数11b’，第一运动状态数据的预测值中的各运动参数与第一运动状态数据中的各运动参数相对应，都位于第一特征图/第二特征图相应的通道组中。例如，目标物11的位置参数11a和位置参数11a的预测值(位置参数11a’)均位于位置通道组10A，目标物11的速度参数11b和速度参数11b的预测值(速度参数11b’)均位于速度通道组10B。类似地，目标物12的位置参数12a’和位置参数12a均位于位置通道组10A，目标物12的速度参数12b和速度参数12b’位于速度通道组10B。且不同目标物的同一运动参数，例如位置参数和速度参数等，位于相同通道组。这样，即可通过相应运动参数所对应的数值序列，从第二特征图中提取出相应的运动参数的预测值。

步骤470：将第二特征图逐像素与数值序列做相关运算，得到至少一个待提取预测值及其概率。

在一实施例中，根据第一运动数据所对应的数值序列，逐像素与第二特征图做相关运算，得到至少一个待提取预测值，该至少一个待提取预测值为通过目标检测模型得到的第一运动数据的多个预测值。待提取预测值的概率越大，越可能接近于下一刻该第一运动数据的真实值。示例地，目标物p₁和目标物p₂的第一运动数据中的位置参数所对应的数值序列均来自于正交序列组Q,该正交序列组Q中包括多个两两相互正交的序列q₁、q₂……q_n，例如，目标物p₁和目标物p₂的位置参数所对应数值序列分别为q_g、q_h，其中1≤g、h≤n。那么分别通过数值序列q_g、数值序列q_h序列与第二特征图做逐像素地相关运算，就可以分别得到第二特征图中位置通道组的响应信息，该响应信息分别包括目标物p₁和目标物p₂的位置参数对应的至少一个待提取预测值及其概率。而第二特征图的其他区域，则不会有响应信息，或者响应信息低于响应阈值，例如如图3B中对于目标物11的位置参数11a，除了位置参数的预测值11a’所在的区域有响应外，其他区域均没有响应，由此可以避免得到的第一运动参数的预测值发生混叠，方便提取第一运动参数的预测值。

需要说明的是，对于目标物的第一运动数据中的其他运动参数，可以类似地通过各运动参数所对应的数值序列，与第二特征图做逐像素的相关运算，得到至少一个待提取预测值，从该至少一个待提取预测值中即可确定各运动参数的预测值，本申请实施例在此不再赘述。

步骤480：根据至少一个待提取预测值及其概率确定第一运动状态数据的预测值。

在一实施例中，可以根据该至少一个待提取预测值及其概率的取值，确定各运动参数的预测值。当该待提取预测值为多个时，也即根据目标预测模型得到多个该第一运动状态数据的预测值。此时，可以将该第一运动状态数据的预测值确定为该多个待提取预测值的中位值、均值和该多个待提取预测值中概率最大的待提取预测值中的至少一个，本申请实施例不以此为限。当该待提取预测值为一个时，将该待提取预测值确定为第一运动状态数据的预测值。

根据本申请实施例提供的运动状态预测方法，通过目标预测模型获取第一运动状态数据的预测值，不需要对目标物的个数、种类、相互作用方式等做出具体的假设，提高了获取第一运动状态数据的预测值的灵活性、效率和准确度。另外，通过数值序列对第一运动状态数据做数值运算，并根据数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免获取得到的第一运动状态数据的预测值发生混叠、扩散、畸变，提高了获取第一运动状态数据的预测值的准确度。再者，通过数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免利用额外的估计器提取第一运动状态数据的预测值所带来的估计误差和计算开销，提高了获取第一运动状态数据的预测值的效率和准确度，并降低了计算开销。

示例性装置

本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图5是本申请一示例性实施例提供的运动状态预测装置的框图。如图5所示，该运动状态预测装置500包括获取模块510、第一确定模块520、第二确定模块530、第三确定模块540和第四确定模块550。

获取模块510，用于获取目标物的第一运动状态数据；

第一确定模块520，用于确定第一运动状态数据对应的数值序列，基于该第一运动状态数据与该数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同；

第二确定模块530，用于根据该第二运动状态数据确定第一特征图；

第三确定模块540，用于将该第一特征图输入至目标预测模型，确定包括该第一运动状态数据的预测值的第二特征图；

第四确定模块550，用于根据该数值序列及该第二特征图，确定该第一运动状态数据的预测值。

根据本申请实施例提供的运动状态预测装置，通过目标预测模型获取第一运动状态数据的预测值，不需要对目标物的个数、种类、相互作用方式等做出具体的假设，提高了获取第一运动状态数据的预测值的灵活性、效率和准确度。另外，通过数值序列对第一运动状态数据做数值运算，并根据数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免获取得到的第一运动状态数据的预测值发生混叠、扩散、畸变，提高了获取第一运动状态数据的预测值的准确度。再者，通过数值序列从目标预测模型输出的特征图中提取第一运动状态数据的预测值，可避免利用额外的估计器提取第一运动状态数据的预测值所带来的估计误差和计算开销，提高了获取第一运动状态数据的预测值的效率和准确度，并降低了计算开销。

在基于图5所示实施例提供的一些实施例中，该第二确定模块530包括：像素区域确定单元、设定单元和第一确定单元。

像素区域确定单元，用于确定所述目标物在所述第一特征图中的像素区域；

设定单元，用于将所述第一特征图中所述像素区域以外的区域的像素设定为预设值；

第一确定单元，用于根据所述第二运动状态数据的值，确定所述像素区域中的像素值，得到所述第一特征图。

在基于图5所示实施例提供的一些实施例中，该第一特征图包括N个通道组，该第二运动状态数据包括M个运动参数，M和N均为正整数，且M≤N，该M个运动参数分别对应于该第一特征图的M个不同的通道组；多个目标物的相同运动参数i对应于该第一特征图的同一通道组j，其中，1≤j≤N，1≤i≤M。

可选地，第一确定单元进一步用于：

根据该第二运动状态数据中运动参数的各维度值，以及该运动参数与该第一特征图的通道组的对应关系，分别确定该像素区域中各通道的像素值，得到该第一特征图，通道组包括至少一个通道。

在基于图5所示实施例提供的一些实施例中，第三确定模块540进一步用于：对输入所述目标预测模型中的第一特征图进行像素的平移和/或像素的线性叠加，确定包括所述第一运动状态数据的预测值的第二特征图。

在基于图5所示实施例提供的一些实施例中，第四确定模块550包括：

运算单元，用于将所述第二特征图逐像素与所述数值序列做相关运算，得到至少一个待提取预测值及其概率；

第二确定单元，用于根据所述至少一个待提取预测值及其概率确定所述第一运动状态数据的预测值。

在基于图5所示实施例提供的一些实施例中，该第二确定单元进一步用于：当所述待提取预测值为多个时，确定所述第一运动状态数据的预测值为所述至少一个待提取预测值的中位值、均值和所述至少一个待提取预测值中概率最大的待提取预测值中的至少一个。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。

图6图示了根据本申请实施例的电子设备的框图。

如图6所示，电子设备60包括一个或多个处理器61和存储器62。

处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备60中的其他组件以执行期望的功能。

存储器62可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行所述程序指令，以实现上文所述的本申请的各个实施例的运动状态预测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置63可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置63可以是通信网络连接器。

此外，该输入设备63还可以包括例如键盘、鼠标等等。

该输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备60中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是车辆，该车辆包括如图6所示实施例中的电子设备60，通过电子设备60可以对该车辆所在环境周围的目标物的运动状态进行预测，以便进行驾驶控制。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的运动状态预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的运动状态预测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包括”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种运动状态预测方法，包括：

获取可移动设备周围的目标物的第一运动状态数据；

确定所述第一运动状态数据对应的数值序列，基于所述第一运动状态数据与所述数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同，各第一运动状态数据所对应的数值序列之间相互正交或近似正交，使得确定出的各第二运动状态数据之间相互正交或近似正交；

根据所述第二运动状态数据确定包含所述第二运动状态数据的第一特征图；

将所述第一特征图输入至目标预测模型，通过所述目标预测模型确定包括所述第一运动状态数据的预测值的第二特征图；

根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值，所述第一运动状态数据的预测值为所述第二特征图中的取值与所述数值序列具有相关性的像素值。

2.根据权利要求1所述的方法，其中，所述根据所述第二运动状态数据确定第一特征图，包括：

确定所述目标物在所述第一特征图中的像素区域；

将所述第一特征图中所述像素区域以外的区域的像素设定为预设值；

根据所述第二运动状态数据的值，确定所述像素区域中的像素值，得到所述第一特征图。

3.根据权利要求2所述的方法，其中，所述第一特征图包括N个通道组，所述第二运动状态数据包括M个运动参数，M和N均为正整数，且M≤N，所述方法还包括：

所述M个运动参数分别对应于所述第一特征图的M个不同的通道组；多个目标物的相同运动参数i对应于所述第一特征图的同一通道组j，其中，1≤j≤N，1≤i≤M。

4.根据权利要求3所述的方法，其中，根据所述第二运动状态数据的值，确定所述像素区域中的像素值，得到所述第一特征图，包括：

根据所述第二运动状态数据中运动参数的各维度值，以及所述运动参数与所述第一特征图的通道组的对应关系，分别确定所述像素区域中各通道的像素值，得到所述第一特征图，所述通道组包括至少一个通道。

5.根据权利要求1-4任一项所述的方法，其中，所述将所述第一特征图输入至目标预测模型，确定包括所述第一运动状态数据的预测值的第二特征图，包括：

对输入所述目标预测模型中的第一特征图进行像素的平移和/或像素的线性叠加，确定包括所述第一运动状态数据的预测值的第二特征图。

6.根据权利要求1-4任一项所述的方法，其中，所述根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值，包括：

将所述第二特征图逐像素与所述数值序列做相关运算，得到至少一个待提取预测值及其概率；

根据所述至少一个待提取预测值及其概率确定所述第一运动状态数据的预测值。

7.根据权利要求6所述的方法，其中，所述根据所述至少一个待提取预测值及其概率确定所述第一运动状态数据的预测值，包括：

当所述待提取预测值为多个时，确定所述第一运动状态数据的预测值为所述至少一个待提取预测值的中位值、均值和所述至少一个待提取预测值中概率最大的待提取预测值中的至少一个。

8.一种运动状态预测装置，包括：

获取模块，用于获取可移动设备周围的目标物的第一运动状态数据；

第一确定模块，用于确定所述第一运动状态数据对应的数值序列，基于所述第一运动状态数据与所述数值序列确定第二运动状态数据，其中，各第一运动状态数据所对应的数值序列不相同，各第一运动状态数据与其所对应的数值序列的维度相同，各第一运动状态数据所对应的数值序列之间相互正交或近似正交，使得确定出的各第二运动状态数据之间相互正交或近似正交；

第二确定模块，用于根据所述第二运动状态数据确定包含所述第二运动状态数据的第一特征图；

第三确定模块，用于将所述第一特征图输入至目标预测模型，通过所述目标预测模型确定包括所述第一运动状态数据的预测值的第二特征图；

第四确定模块，用于根据所述数值序列及所述第二特征图，确定所述第一运动状态数据的预测值，所述第一运动状态数据的预测值为所述第二特征图中的取值与所述数值序列具有相关性的像素值。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的运动状态预测方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-7任一所述的运动状态预测方法。

11.一种车辆，包括上述权利要求10所述的电子设备。

Images