CN108985171B - 运动状态估计方法和运动状态估计装置 - Google Patents

Abstract

本发明是关于一种运动状态估计方法，包括：确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；若所述当前障碍物与所述历史障碍物为同一障碍物，根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息。根据本发明的实施例，针对同一障碍物而言，可以根据历史障碍物的点云数据和当前障碍物的点云数据来确定该障碍物的运动状态信息，由于点云数据包含障碍物对应的多个点，而多个点相对于一个点而言，可以全面地体现障碍物的特征，因此可以更加准确地确定障碍物的运动状态。

Description

运动状态估计方法和运动状态估计装置

技术领域

本发明涉及自动驾驶技术领域，尤其涉及运动状态估计方法、运动状态估计装置、电子设备和计算机可读存储介质。

背景技术

目前自动驾驶车辆估计障碍物运动状态的方式主要是针对同一障碍物而言，确定历史时刻该障碍物所处的历史位置，和当前时刻该障碍物所处的当前位置的距离差，进而根据当前时刻和历史时刻的时间差和上述距离差确定障碍物的移动速度。

这种估计障碍物运动状态的方式，由于所依据的障碍物的位置仅仅是障碍物中一个点的位置，所以确定的结果并不够准确。

发明内容

本发明提供运动状态估计方法、运动状态估计装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种运动状态估计方法，包括：

确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

若所述当前障碍物与所述历史障碍物为同一障碍物，根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息。

可选地，所述确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

获取所述设备当前时刻所处环境的点云数据以及图像数据；

根据所述图像数据获取所述环境中的障碍物的特征数据；

在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据；

根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系。

可选地，所述根据所述图像数据获取所述环境中的障碍物的特征数据包括：

将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

可选地，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据包括：

对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

可选地，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据还包括：

确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

可选地，所述根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物。

根据本发明实施例的第二方面，提供一种运动状态估计装置，包括：

关系确定模块，用于确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

状态确定模块，若所述当前障碍物与所述历史障碍物为同一障碍物，用于根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息。

可选地，所述关系确定模块包括：

第一获取子模块，用于获取所述设备当前时刻所处环境的点云数据以及图像数据；

第二获取子模块，用于根据所述图像数据获取所述环境中的障碍物的特征数据；

障碍物确定子模块，用于在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据；

关系确定子模块，用于根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系。

可选地，所述第二获取子模块包括：

边框获取单元，用于将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

特征获取单元，用于根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

可选地，所述障碍物确定子模块包括：

平面确定单元，用于对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

点云确定单元，用于根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

可选地，所述障碍物确定子模块还包括：

关联确定单元，用于确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

数据转换单元，用于根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

关联计算单元，用于计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

相同确定单元，用于根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

可选地，所述关系确定子模块包括：

第一相似单元，确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

第二相似单元，确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

障碍物确定单元，用于根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物。

根据本发明实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任一实施例所述方法中的步骤。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法中的步骤。

根据上述实施例可知，针对同一障碍物而言，可以根据历史障碍物的点云数据和当前障碍物的点云数据来确定该障碍物的运动状态信息，由于点云数据包含障碍物对应的多个点，而多个点相对于一个点而言，可以全面地体现障碍物的特征，因此可以更加准确地确定障碍物的运动状态。

由于障碍物点云数据是根据点云数据得到的，因此可以较为准确地描述障碍物的距离和轮廓，而障碍物特征数据是根据图像数据得到的，因此可以用于描述图像中的障碍物的部分信息，并且图像数据和点云数据属于不同类型的数据，因此障碍物特征数据所描述的信息与障碍物点云数据所描述的信息有所不同，从而根据障碍物点云数据和障碍物特征数据来感测障碍物，由于针对障碍物描述的信息更多，因此相对于仅根据点云数据或仅根据图像数据来感测障碍物，可以更准确地感测障碍物，进而准确地确定当前障碍物与历史障碍物的关系，以便根据该关系准确地确定障碍物的状态。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本发明的实施例示出的一种运动状态估计方法的示意流程图。

图2是根据本发明的实施例示出的一种确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系的示意流程图。

图3是根据本发明的实施例示出的一种根据所述图像数据获取所述环境中的障碍物的特征数据的示意流程图。

图4是根据本发明的实施例示出的一种在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据的示意流程图。

图5是根据本发明的实施例示出的另一种在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据的示意流程图。

图6是根据本发明的实施例示出的一种根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系的示意流程图。

图7是根据本发明的实施例示出的一种运动状态估计装置的示意框图。

图8是根据本发明的实施例示出的一种关系确定模块的示意框图。

图9是根据本发明的实施例示出的一种第二获取子模块的示意框图。

图10是根据本发明的实施例示出的一种障碍物确定子模块的示意框图。

图11是根据本发明的实施例示出的另一种障碍物确定子模块的示意框图。

图12是根据本发明的实施例示出的一种关系确定子模块的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本发明的实施例示出的一种运动状态估计方法的示意流程图。本实施例所示的运动状态估计方法可以适用于具有感测功能的设备，所述设备可以是车辆，还可以是船舶，以下主要在所述设备为车辆的情况下进行示例性说明。

如图1所示，所述运动状态估计方法可以包括以下步骤：

步骤S1，确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

步骤S2，若所述当前障碍物与所述历史障碍物为同一障碍物，根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息。

在一个实施例中，当前障碍物和历史障碍物若为同一障碍物，那么说明该障碍物在当前时刻和历史时刻都处在车辆所处环境中，从而可以对该障碍物的运动状态进行估计，以便根据该障碍物的运动状态控制车辆运动。

根据本实施例，针对同一障碍物而言，可以根据历史障碍物的点云数据和当前障碍物的点云数据来确定该障碍物的运动状态信息，由于点云数据包含障碍物对应的多个点，而多个点相对于一个点而言，可以全面地体现障碍物的特征，因此可以更加准确地确定障碍物的运动状态。

例如A车辆处于静止状态，B车辆从A车辆后部向A车辆前部行驶。

在相关技术中，B车辆为了确定A车的运动状态，在第t-1帧时确定A车的中心(例如重心)，在第t帧时再确定A车辆的中心，进而根据两帧图像中A车辆的中心的变化确定A车辆的运动状态。

在t-1时刻，由于B车辆在A车辆后部，因此采集到的点云数据仅仅是A车辆后部的形状；在t时刻，B车辆经过A车侧面，此时采集到的点云数据包括了A车辆后部和侧面的形状。由于前后两帧扫描的点云形状范围不一样，从而根据确定的中心也是不重合的，从而会误判A车辆发生了移动。

而根据本公开的实施例，由于是根据点云数据确定运动状态，针对历史障碍物的点云数据和当前障碍物的点云数据，可以确定其中相同的点，然后仅针对历史障碍物中的这些点，和当前障碍物中的这些点，估计当前障碍物的运动状态从而避免使用当前障碍物中多余的点云数据(相比历史障碍物的点云数据而言)，降低误判的概率。

其中，可以在预设范围或者实时确定的范围内选取速度，根据选取的速度计算历史障碍物中的这些点变化为当前障碍物中的这些点的概率，其中最大的概率对应的速度即当前障碍物的运动速度。

以下主要针对障碍物匀速直线运动的情况进行示例，当然，本公开的实施例也适用于非直线和非匀速运动的情况。

障碍物当前运动速度表示为v，以x_t表示当前障碍物(对应第t帧)的运动状态，那么x_t＝(p,v)，P为当前障碍物的点云数据，v为障碍物的运动速度，对于运动状态的估计可以通过求解最大后验概率得出：

p(x_t|P_t,P_t-1)∝p(P_t|x_t,P_t-1)p(x_t|P_t-1)；

其中，p(P_t|x_t,P_t-1)为观测模型，用于表示在确定当前状态x_t和历史障碍物的障碍物点云数据P_t-1的情况下，能够生成当前障碍物的障碍物点云数据P_t的概率；p(x_t|P_t-1)为运动模型，用于描述历史障碍物(对应第t-1帧)和当前障碍物运动状态的一致性。

进行计算可以得到预估的点云位置

其中，Δt即第t帧和第t-1帧的时间差，并且p_i∈P_t，其中i大于1，且小于n，n为P_t中点云的数量。针对每个p_i，分别确定

中与p_i最近的点

在点云数据中的点满足高斯分布的假设下，可以得到

其中，

为预设方差，假设点云数据中每个点之间相互独立，那么观测模型

由于历史障碍物的运动状态x_t-1已知，为了计算运动模型p(x_t|P_t-1)，设p(x_t|P_t-1)∝N(μ,Σ)，其中，μ为x_t-1分布的均差，Σ为x_t-1分布的方差。然后针对每个x_t计算p(x_t|P_t,P_t-1)即可得到x_t的分布，从而确定了当前障碍物的运动状态。通过遍历所有可能的速度v(需要说明的是，v的取值范围可以是预先设置的，也可以是根据实际情况实时确定的),计算对应的p(x_t|P_t,P_t-1)最大的，选择最大的p(x_t|P_t,P_t-1)对应的x_t即可作为当前最优的运动状态估计。而当前障碍物的运动状态x_t则可以作为未来第t+1帧的历史障碍物的运动状态。

图2是根据本发明的实施例示出的一种确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系的示意流程图。如图2所示，在图1所示实施例的基础上，所述确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

步骤S11，获取所述设备当前时刻所处环境的点云数据以及图像数据。

在一个实施例中，在所述设备上可以设置有激光雷达，可以通过激光雷达获取点云数据，其中，激光雷达可以是单线激光雷达或多线激光雷达。除了激光雷达，也可以通过能生成点云数据的双目立体摄像头来获取点云数据。

在一个实施例中，可以通过相机，例如单目相机来获取图像数据，其中，可以通过软件控制使得获取点云数据的操作和获取图像数据的操作同时进行，保证获取到的点云数据和图像数据属于同一时间的环境。

步骤S12，根据所述图像数据获取所述环境中的障碍物的特征数据。

在一个实施例中，特征数据可以是抽象特征，也可以是具体特征。例如通过对图像数据的像素求卷积核得到特征数据，也可以预先设置特征数据与图像数据的关联模型，然后将图像数据输入到关联模型中得到特征数据。

在一个实施例中，特征数据可以是一个也可以是多个，例如特征数据为多个，其中，部分特征数据可以与障碍物的颜色相关，部分特征数据与障碍物的纹理相关。

步骤S13，在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据。

在一个实施例中，由于在设备所处的环境中，可能存在多个障碍物，而针对每个障碍物可以分别获取点云数据和图像数据，因此针对某一障碍物而言，需要确定属于该障碍物的障碍物点云数据和障碍物特征数据，以便根据障碍物点云数据和障碍物特征数据对同一障碍物进行分析。

步骤S14，根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系。

在一个实施例中，历史障碍物的障碍物点云数据和障碍物特征数据可以在当前时刻之前的历史时刻，例如在获取当前帧的点云数据以及图像数据的前一帧对应的时刻，按照得到当前障碍物的障碍物点云数据和障碍物特征数据的相同方式得到的，并存储在所述设备中。

在一个实施例中，得到当前障碍物的障碍物点云数据和障碍物特征数据后，可以提取存储的历史障碍物的障碍物点云数据和障碍物特征数据。然后确定当前障碍物的障碍物点云数据与历史障碍物的障碍物点的第一相似度，确定当前障碍物的障碍物特征数据与历史障碍物的障碍物特征数据的第二相似度，根据第一相似度和第二相似度可以确定当前障碍物与历史障碍物的关系，例如当前障碍物与历史障碍物是否为同一障碍物。

在一个实施例中，由于障碍物点云数据是根据点云数据得到的，因此可以较为准确地描述障碍物的距离和轮廓，而障碍物特征数据是根据图像数据得到的，因此可以用于描述图像中的障碍物的部分信息，并且图像数据和点云数据属于不同类型的数据，因此障碍物特征数据所描述的信息与障碍物点云数据所描述的信息有所不同，从而根据障碍物点云数据和障碍物特征数据来感测障碍物，由于针对障碍物描述的信息更多，因此相对于仅根据点云数据或仅根据图像数据来感测障碍物，可以更准确地感测障碍物，进而准确地确定当前障碍物与历史障碍物的关系，以便根据该关系准确地确定障碍物的状态。

图3是根据本发明的实施例示出的一种根据所述图像数据获取所述环境中的障碍物的特征数据的示意流程图。

如图3所示，在图2所示实施例的基础上，所述根据所述图像数据获取所述环境中的障碍物的特征数据包括：

步骤S121，将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

步骤S122，根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

在一个实施例中，第一预设模型可以是物体检测算法，例如YOLO、SSD和RetinaNet等算法。将图像数据输入到第一预设模型后，可以得到处于环境中的障碍物的边框描述信息，例如边框描述信息表示为(μ,ν,w,h,s)，其中，μ和ν分别对应障碍物的中心点在图像数据所在的图像坐标系中的横坐标和纵坐标，w为障碍物对应边框的宽度，h为障碍物对应边框的高度，s为该描述信息对应的障碍物属于某个类型障碍物的概率。

其中，可以预先设定几个类型，例如行人、自行车、小轿车、公交车，针对每个类型可以设置对应的μ、ν、w和h，然后针对每种类型，分别确定每个障碍物属于其中某个类型的概率s。

在一个实施例中，第二预设模型可以是用于根据特征数据得到边框描述信息的预设函数。其中，针对图像数据，可以通过逐层递增的卷积结构进行特征提取，通过设置不同的卷积核，可以以从图像数据中提取出不同类型的特征数据。将提取到的特征数据输入到第二预设模型，可以得到边框描述信息，那么在已经确定了障碍物的边框描述信息的情况下，可以将边框描述信息和图像信息重新输入到第二预设模型中，通过卷积和池化操作，即可得到该边框描述信息对应的特征数据，特征数据T可以以张量的形式表示，

其中d₁，d₂和d₃表示抽取的特征数据的深度，进一步，可以将特征数据向量化为特征数据f，其中，每种类型的特征数据作为向量f的一个维度，每个障碍物对应的特征数据的维度数量要求相同。

由于特征数据的类型可以根据需要设置多个，而多种类型的特征数据相比于单纯的边框描述信息，可以更加全面且准确地描述图像数据中的障碍物。

图4是根据本发明的实施例示出的一种在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据的示意流程图。

如图4所示，在图3所示实施例的基础上，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据包括：

步骤S131，对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

步骤S132，根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

在一个实施例中，可以先将点云数据所在区域划分点云数据，例如可以在点云数据所在区域建立笛卡尔坐标系，然后根据笛卡尔坐标系将点云数据划分为多个等大小的矩形区域；例如可以在点云数据所在区域建立极坐标系，然后根据极坐标系将点云数据划分为多个顶角相等的扇形区域。

针对划分后的区域中的点云数据，可以选取部分点作为路面点，例如可以从点云数据中选取高度低于预设高度的点作为路面点，进一步可以针对路面点进行平面拟合，例如根据RANSAC算法进行平面拟合，得到路面描述模型。进而针对点云数据中的非路面点，可以计算非路面点到路面描述模型的距离，若距离小于预设距离，则将该非路面点云归类为路面点，如距离不小于预设距离，则将非路面点归类为障碍物点。

针对障碍物点可以进行聚类，例如可以通过泛洪法，聚类算法输出的簇由点云组成，例如可以表示为P＝{p_i|p_i∈R³}，其中，R³表示三维坐标系，p_i表示点云中第i个点在R³中的坐标。

图5是根据本发明的实施例示出的另一种在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据的示意流程图。

如图5所示，在图4所示实施例的基础上，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据还包括：

步骤S133，确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

步骤S134，根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

步骤S135，计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

步骤S136，根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

在一个实施例中，第一装置和第二装置在设备上安装的位置是固定的，根据第一装置和第二装置在设备上的位置和朝向，可以确定第一装置与第二装置的位置关系和姿态关系建立转换关系矩阵。

进而根据转换关系矩阵对点第一装置所采集的点云数据进行转换，将点云数据投影到所述图像数据所在平面，然后可以计算用每个边框描述信息与每个转换后的点云数据的相似度，例如计算转换后的点云数据的中心点与边框描述信息中心点之间的距离，以及转换后的点云数据处于边缘的点拟合成直线与边框描述信息中对应边框的夹角，进而根据该距离和夹角计算相似度，该相似度可以表示为所述关联系数，例如关联系数与相似度正相关。

基于每个边框描述信息与每个转换后的点云数据的关联系数，通过匹配算法，例如匈牙利算法，可以确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。也即针对每个障碍物，可以通过障碍物点云数据和障碍物特征数据进行描述。

图6是根据本发明的实施例示出的一种根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系的示意流程图。

如图6所示，在图2所示实施例的基础上，所述根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

步骤S141，确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

步骤S142，确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

步骤S143，根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物。

在一个实施例中，针对当前时刻之前所检测到的历史障碍物，可以存储历史障碍物的障碍物点云数据和障碍物特征数据，进而在得到当前障碍物的障碍物点云数据和障碍物特征数据后，可以确定当前障碍物的障碍物点云数据与所述历史障碍物的障碍物点云数据的第一相似度，以及当前障碍物的障碍物特征数据与所述历史障碍物的障碍物特征数据的第二相似度，进而可以根据第一相似度和第二相似度确定当前障碍物与历史障碍物是否为同一障碍物，例如对第一相似度和第二相似度进行加权求和的值，若加权求和的值大于预设值，则确定当前障碍物与历史障碍物是否为同一障碍物。

由于障碍物点云数据是根据点云数据得到的，因此可以较为准确地描述障碍物的距离和轮廓，而障碍物特征数据是根据图像数据得到的，因此可以用于描述图像中的障碍物的部分信息，并且图像数据和点云数据属于不同类型的数据，因此障碍物特征数据所描述的信息与障碍物点云数据所描述的信息有所不同，从而根据障碍物点云数据和障碍物特征数据来感测障碍物，由于针对障碍物描述的信息更多，因此相对于仅根据点云数据或仅根据图像数据来感测障碍物，可以更准确地感测障碍物，进而准确地确定当前障碍物与历史障碍物否为同一障碍物。

基于当前障碍物与历史障碍物的匹配结果有3种情况，当前障碍物匹配上历史障碍物，当前障碍物未能匹配上任一历史障碍物，历史障碍物未能与当前任一障碍物匹配。

可选地，所述运动状态估计方法还包括：

步骤S3，当前障碍物未能匹配上任一历史障碍物，可以将当前障碍物的障碍物点云数据存储为新的历史障碍物的障碍物点云数据，将所述当前障碍物的障碍物特征数据存储为新的历史障碍物的障碍物特征数据，以便与后续采集到的物的障碍物点云数据和障碍物特征数据进行比较来确定关联关系；

步骤S4，若历史障碍物未能与任一当前障碍物匹配，删除所述历史障碍物的障碍物点云数据和障碍物特征数据；

步骤S5，当前障碍物匹配上历史障碍物，更新所述历史障碍物的障碍物点云数据和障碍物特征数据。

在一个实施例中，若历史障碍物未能与当前任一障碍物匹配，例如可以查询在当前时刻之前的一段时间内，确定所述历史障碍物与当前障碍物为不同障碍物的次数，是否大于预设次数，若大于预设次数，可以确定所述历史障碍物并不位于设备所处环境中，例如已移动出第一装置和第二装置的采集范围，从而可以从历史障碍物的集合中删除所述历史障碍物的点云数据和障碍物特征数据；若不大于预设次数，则仍然保留该历史障碍物的障碍物点云数据和障碍物特征数据。

可选地，所述运动状态估计方法还包括：

步骤S6，若所述当前障碍物与所述历史障碍物为同一障碍物，获取所述历史障碍物的历史运动数据、历史点云数据和所述当前障碍物的当前点云数据；

步骤S7，根据所述历史运动数据、历史点云数据和所述当前点云数据确定所述障碍物的运动状态。

在一个实施例中，若当前障碍物与历史障碍物为同一障碍物，那么障碍物的运动状态可能发生了改变，因此需要确定障碍物的运动状态。

与前述运动状态估计方法的实施例相对应地，本发明还提出了运动状态估计装置的实施例。

图7是根据本发明的实施例示出的一种运动状态估计装置的示意框图。所述装置可以适用于具有感测功能的设备。如图7所示，所述装置包括：

关系确定模块1，用于确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

状态确定模块2，若所述当前障碍物与所述历史障碍物为同一障碍物，用于根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息。

图8是根据本发明的实施例示出的一种关系确定模块的示意框图。如图8所示，在图7所示实施例的基础上，所述关系确定模块1包括：

第一获取子模块11，用于获取所述设备当前时刻所处环境的点云数据以及图像数据；

第二获取子模块12，用于根据所述图像数据获取所述环境中的障碍物的特征数据；

障碍物确定子模块13，用于在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据；

关系确定子模块14，用于根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系。

图9是根据本发明的实施例示出的一种第二获取子模块的示意框图。如图9所示，所述第二获取子模块12包括：

边框获取单元121，用于将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

特征获取单元122，用于根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

图10是根据本发明的实施例示出的一种障碍物确定子模块的示意框图。如图10所示，所述障碍物确定子模块13包括：

平面确定单元131，用于对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

点云确定单元132，用于根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

图11是根据本发明的实施例示出的另一种障碍物确定子模块的示意框图。如图11所示，所述障碍物确定子模块13还包括：

关联确定单元133，用于确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

数据转换单元134，用于根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

关联计算单元135，用于计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

相同确定单元136，用于根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

图12是根据本发明的实施例示出的一种关系确定子模块的示意框图。如图12所示，所述关系确定模块4包括：

第一相似单元141，确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

第二相似单元142，确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

障碍物确定单元143，用于根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明的实施例还提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任一实施例所示的运动状态估计方法中的步骤。

本发明的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所示的运动状态估计方法中的步骤。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种运动状态估计方法，其特征在于，包括：

确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

若所述当前障碍物与所述历史障碍物为同一障碍物，根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息；

其中，所述确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

获取所述设备当前时刻所处环境的点云数据以及图像数据；

根据所述图像数据获取所述环境中的障碍物的特征数据；

在所述点云数据和所述特征数据中确定属于所述环境中同一个障碍物的障碍物点云数据和障碍物特征数据；

根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

所述根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系包括：

确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物；

所述确定所述当前障碍物的运动状态信息包括：

根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，通过求解最大后验概率确定所述当前障碍物的运动状态信息，所述求解最大后验概率包含分别确定当前点云数据中的每一点云最近的预估点云，包括：

从所述历史障碍物的点云数据和所述当前障碍物的点云数据中确定多个相同的点，并在预设范围或者实时确定的范围内选取速度，以及根据选取的速度计算历史障碍中的多个点变化为当前障碍物中相应的多个点的概率；其中，观测模型用于计算所述多个相同的点对应的概率之积，且观测模型数值最大的情况下对应的速度为当前障碍物的运动速度；

通过运动模型对所述历史障碍物的运动状态进行计算得到当前障碍物的运动状态，该当前障碍物的运动状态为以所述历史障碍物的运动状态为均值的高斯分布；

通过所述观测模型与所述运动模型求解最大后验概率，得到当前障碍物的运动状态估计。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据获取所述环境中的障碍物的特征数据包括：

将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

3.根据权利要求1所述的方法，其特征在于，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据包括：

对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

4.根据权利要求2所述的方法，其特征在于，所述在所述点云数据和所述特征数据中确定属于所述环境中同一障碍物的障碍物点云数据和障碍物特征数据还包括：

确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

5.一种运动状态估计装置，其特征在于，包括：

关系确定模块，用于确定设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

状态确定模块，若所述当前障碍物与所述历史障碍物为同一障碍物，用于根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，确定所述当前障碍物的运动状态信息；

其中，所述关系确定模块包括：

第一获取子模块，用于获取所述设备当前时刻所处环境的点云数据以及图像数据；

第二获取子模块，用于根据所述图像数据获取所述环境中的障碍物的特征数据；

障碍物确定子模块，用于在所述点云数据和所述特征数据中确定属于所述环境中同一个障碍物的障碍物点云数据和障碍物特征数据；

关系确定子模块，用于根据所述障碍物点云数据和障碍物特征数据，确定所述设备当前时刻所处环境中当前障碍物与所述设备历史时刻所处环境中历史障碍物的关系；

所述关系确定子模块包括：

第一相似单元，确定所述当前障碍物的障碍物点云数据，与所述历史障碍物的障碍物点云数据的第一相似度；

第二相似单元，确定所述当前障碍物的障碍物特征数据，与所述历史障碍物的障碍物特征数据的第二相似度；

障碍物确定单元，用于根据所述第一相似度和所述第二相似度，确定所述当前障碍物与所述历史障碍物是否为同一障碍物；

所述状态确定模块包括：

根据所述历史障碍物的点云数据和所述当前障碍物的点云数据，通过求解最大后验概率确定所述当前障碍物的运动状态信息，所述求解最大后验概率包含分别确定当前点云数据中的每一点云最近的预估点云，包括：从所述历史障碍物的点云数据和所述当前障碍物的点云数据中确定多个相同的点，并在预设范围或者实时确定的范围内选取速度，以及根据选取的速度计算历史障碍中的多个点变化为当前障碍物中相应的多个点的概率；其中，观测模型用于计算所述多个相同的点对应的概率之积，且观测模型数值最大的情况下对应的速度为当前障碍物的运动速度；通过运动模型对所述历史障碍物的运动状态进行计算得到当前障碍物的运动状态，该当前障碍物的运动状态为以所述历史障碍物的运动状态为均值的高斯分布；通过所述观测模型与所述运动模型求解最大后验概率，得到当前障碍物的运动状态估计。

6.根据权利要求5所述的装置，其特征在于，所述第二获取子模块包括：

边框获取单元，用于将所述图像数据输入第一预设模型，得到所述环境中的障碍物的边框描述信息；

特征获取单元，用于根据所述边框描述信息和第二预设模型，确定用于输入所述预设模型以得到所述边框描述信息的特征数据。

7.根据权利要求5所述的装置，其特征在于，所述障碍物确定子模块包括：

平面确定单元，用于对所述点云数据进行平面拟合，根据平面拟合的结果确定所述设备行驶所在表面的模型；

点云确定单元，用于根据所述点云数据中的点与所述表面的模型的关系，在所述点云数据中确定属于障碍物的障碍物点云数据。

8.根据权利要求6所述的装置，其特征在于，所述障碍物确定子模块还包括：

关联确定单元，用于确定用于获取所述点云数据的第一装置和用于获取所述图像数据的第二装置之间的转换关系矩阵；

数据转换单元，用于根据所述转换关系矩阵将所述点云数据转换到所述图像数据所在平面；

关联计算单元，用于计算所述边框描述信息和转换到所述图像所在平面的点云数据的关联系数；

相同确定单元，用于根据所述关联系数确定属于相同障碍物的障碍物点云数据和边框描述信息对应的障碍物特征数据。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至4中任一项所述方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述方法中的步骤。

Images