CN117456498A - 物体的动静态估计方法、设备、移动装置和存储介质 - Google Patents

Abstract

本发明实施例提供一种物体的动静态估计方法、设备、移动装置和存储介质。该方法包括：以相机图像为基准，将时间同步的激光点云投影至相机图像中，形成深度图像，并提取在深度图像中感知到的物体的稠密特征点；利用上一时刻物体的稠密特征点预估当前时刻物体在世界坐标系下的预测定位信息；对上一时刻物体的稠密特征点进行光流追踪，确定物体在当前时刻的观测定位信息；基于预测定位信息和观测定位信息对物体进行动静态估计。本发明实施例实现了视觉和激光融合进行世界坐标系下动静态检测的算法在动静态检测过程中，不需要额外进行标注与训练工作，简便易行，对于车辆等大型目标物体有着更明显的效果。

Description

物体的动静态估计方法、设备、移动装置和存储介质

技术领域

本发明涉及自动驾驶领域，尤其涉及一种物体的动静态估计方法、设备、移动装置和存储介质。

背景技术

在自动驾驶领域中，道路中的车辆检测是最常见且重要的一个任务。车辆检测的主要工作是判断摄像机拍摄到的相机图像或雷达采集的激光点云中有其他物体(例如，道路中的其他车辆)，若有，则给出二维或三维的边界框，作为车辆的位置信息。现有技术还提供了其他的信息，如识别车辆的ID、颜色等，以用于识别车辆的差异。但是，传统的目标检测方法仅限于从单一的图像中提取出目标物体，并没有考虑到物体的位置、姿态、动静态等方面的问题。

在自动驾驶中，判断道路中的物体是否为静态或动态，是许多后续决策的必要信息。这里的动态或静态是相对于惯性坐标系而言的，而非相对于自动驾驶车辆自身而言的。例如，停在道路两侧的车辆虽然相对自车在运动，但相对于世界坐标系为静态车辆，于是自动驾驶算法就不必考虑这些车辆的换道问题；而在道路中行驶的车辆，虽然可能相对于自车是静止的，但相对于世界坐标系是运动的。在自动驾驶做出决策时，必须考虑到不同车辆的不同行为。例如在十字路口场景下，当红灯亮起时，车辆等待红灯，此时处于静止状态，而绿灯亮起时，车辆开始行驶，此时又处于动态状态。这就要求静止与动态判定方法必须实时运行，而不是事后的计算。

总的来说，车辆的动静态信息是一个与时间有关的物理量，用单一的图像或单一的激光点云来判断其动态和静态信息是非常困难的。因此要利用多个时刻的传感器数据才能判定物体是否在运动。根据传感器类型的不同，现有技术中，有以下几种确定动静态信息的方法：

1、强行使用深度学习，对单个图像或单个点云来回归物体的位置和速度。直观上说，人类可以判定停靠在路边的车辆与在路中驾驶的车辆，那么神经网络应该也能具备这种识别能力。于是，可以对图像中的车辆数据直接标注动静态信息，然后训练神经网络，使其学习到动静态判断的能力。

2、可以先对图像或点云进行检测和聚类，然后比较各时刻中同类物体的位置情况，来确定每个物体是否在运动。此类方法可以在整个物体层面判定动静态信息。

3、利用点云和图像中的特征点匹配，得到每个特征点的动静态信息。然后通过特征点的动静态来判定物体本身的动静态。这类方法既可以使用单独的图像或点云数据，也可以将两者融合在一起使用。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

1、强行利用神经网络回归物体位置与姿态的方法完全忽略了时间维度上的信息。虽然也可以取得一定效果，但具有神经网络方法的大部分缺点。首先，训练得到的网络与标注数据相关性很强，在标注好的数据上能取得较好效果，但通用性往往较差。

如果在实际中改变了雷达类型、相机角度和安装位置，都可能对算法效果产生影响；其次，神经网络目前没有很好的解释性，在算法出错时不便分析原因和调试，也很难知道网络究竟学习到了什么东西；最后，深度学习类方法需要大量的标注数据，而物体的详细速度信息是很难让标注人员直接标注的，在实际运营中也会存在一定困难。

2、对于检测和聚类的方法，虽然流程上比较明确，但实际使用时条件比较苛刻。为了检测物体的动静态，必须假设同一个物体在各个时刻都能准确检测，且能够正确地关联为同一物体。然而在实际当中，物体检测的正确率并不是百分之百，在多帧图像都能正确检测的概率则是乘性下降的。

另一方面，当车辆在高速运动时，物体在图像中的位置也可能发生明显的变化，使得多个图像中物体的正确关联也变得更为困难。因此，此类方法在低速场景中是可行的，但高速场景则会遇到一些困难。

3、利用点云和图像中的特征点的动静态来判定物体的动静态是一种比较简单可行的办法。在实际使用中，其困难主要在于激光点云的稀疏性。一个物体在激光点云中通常反映为几个散布的空间点。由于激光雷达的成像机制，这些点本身存在一定程度的微小跳动，而且远处的车辆点数要明显少于近处的车辆。为了判定这些点的跳动究竟是由正常的成像机制导致的，还是由于物体运动导致的，需要仔细地选取算法当中的各类阈值，才能得到较好的结果。

发明内容

为了至少解决现有技术中神经网络回归物体位置与姿态的方法完全忽略了时间维度上的信息、检测和聚类的方法在高速场景的准确性较低、激光点云的稀疏性难以得到较为准确结果的问题。第一方面，本发明实施例提供一种物体的动静态估计方法，应用于搭载有相机传感器和激光传感器的移动装置，包括：

以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

第二方面，本发明实施例提供一种物体的动静态估计执行设备，包括：

稠密特征点提取模块，用于以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

预测定位信息确定模块，用于利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

观测定位信息确定模块，用于对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

动静态估计模块，用于基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的物体的动静态估计方法的步骤。

第四方面，本发明实施例提供一种移动装置，包括本体和所述本体上安装的本发明任一实施例所述的电子设备。

第五方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的物体的动静态估计方法的步骤。

第六方面，本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例中任意一项所述的物体的动静态估计方法。

本发明实施例的有益效果在于：根据实时检测车辆在世界坐标系下的动静态信息，为自动驾驶决策提供依据，实现了视觉和激光融合进行世界坐标系下动静态检测的算法。同时利用光流追踪特征点，进行反投影，根据观测和预测不一致性判断物理动静态。在动静态检测过程中，不需要额外进行标注与训练工作，简便易行，对于车辆等大型目标物体有着更明显的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种物体的动静态估计方法的流程图；

图2是本发明一实施例提供的一种物体的动静态估计方法稠密与稀疏特征对比示意图；

图3是本发明一实施例提供的一种物体的动静态估计方法的反投影几何关系示意图；

图4是本发明一实施例提供的一种物体的动静态估计方法的二维与三维动静态检测结果示意图；

图5是本发明一实施例提供的一种物体的动静态估计方法的动静态判定算法流程图；

图6是本发明一实施例提供的一种物体的动静态估计执行设备的结构示意图；

图7为本发明一实施例提供的一种物体的动静态估计的电子设备的实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员知道，本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

为了便于理解，以下对本申请涉及的技术术语进行解释：

本申请所称的“移动装置”包括但不限于国际自动机工程师学会(Society ofAutomotive Engineers International，SAE International)或中国国家标准《汽车驾驶自动化分级》制定的L0-L5共六个自动驾驶技术等级的车辆。

在一些实施例中，移动装置可以是具有如下各种功能的车辆设备或机器人设备：

(1)载人功能，如家用轿车、公共汽车等；

(2)载货功能，如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等；

(3)工具功能，如物流配送车、自动导引运输车AGV、巡逻车、起重机、吊车、挖掘机、推土机、铲车、压路机、装载机、越野工程车、装甲工程车、污水处理车、环卫车、吸尘车、洗地车、洒水车、扫地机器人、送餐机器人、导购机器人、割草机、高尔夫球车等；

(4)娱乐功能，如娱乐车、游乐场自动驾驶装置、平衡车等；

(5)特殊救援功能，如消防车、救护车、电力抢修车、工程抢险车等。

如图1所示为本发明一实施例提供的一种物体的动静态估计方法的流程图，包括如下步骤：

S11：以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

S12：利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

S13：对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

S14：基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

本发明实施例中，上述S12可以假设所述物体静止，利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息。

在本实施方式中，移动装置在行驶过程中，通过其搭载的激光传感器可以实时采集激光点云数据，通过相机传感器实时采集相机图像，利用这些采集的激光点云数据、相机图像来判断物体(主要为道路中的车辆)的动静态。

对于步骤S11，为了能够确定移动装置可视范围内物体的动静态，将激光点云和相机图像作为判断移动装置可视范围内物体的动静态算法的输入。要注意的是，激光点云和相机图像是时间同步的，在移动装置的各传感器采集到激光点云和相机图像之后，需要先对激光点云和相机图像进行时间同步处理，时间同步处理后，就可以认为相机图像与激光点云在同一时刻获得，用于计算后续的步骤。

通过对相机图像提取稠密的图像特征，同时，将激光点云投影至前视相机图像中，计算各点的深度，形成深度图像。提取稠密特征的特征点主要用途是利用这些稠密特征点来判定物体的动静态。如果提取传统的稀疏特征，很可能导致远处物体的特征太少，判定结果不够稳定。稀疏特征点与稠密特征点的示例如图2所示(左边稠密、右边稀疏)，可以看到稠密特征要明显多于稀疏特征，这样判断的结果更加准确。

具体的，以所述相机图像为基准，将时间同步的所述激光点云投影至所述相机图像中，形成深度图像具体包括：

基于所述移动装置搭载的相机传感器和激光传感器各自的内外参，计算所述激光点云在所述相机图像中的投影位置，得到激光点云中各激光点在所述相机图像中的深度信息；

通过在所述相机图像中融合所述深度信息形成适用于自动驾驶的深度图像。

在本实施方式中，相机传感器和激光传感器搭载在移动装置的位置是已知的，这样可以确定相机传感器和激光传感器各自的内外参。利用相机传感器和激光传感器各自的内外参计算激光点云在相机图像中的投影位置，得到激光点云中各激光点在相机图像中的深度信息，将相机图像与深度信息融合，就得到适用于自动驾驶的深度图像(深度图像是带有深度信息的，而普通相机图像只有色彩信息。普通图像是一种二维平面上的信息，而深度图像则是三维空间的信息，多一个信息维度)。要注意的是，现有技术普遍没有深度图像传感器(深度相机)，所以深度来源只能依靠激光点云的投影。目前一些室内机器人、手机等会携带深度相机，可以捕获三维信息，来更好地识别障碍或人脸。但受传感器原理限制，这类相机通常只能在室内工作，量程也普遍在10m以内，不适合自动驾驶的环境。通过本方法的上述步骤，即便不需要深度图像传感器(深度相机)，也可以获得适用于自动驾驶的深度图像。

对于步骤S12，移动装置可以从深度图像中感知到不同的物体(例如，在道路行驶过程中，可以感知到道路中的其他车辆)，假设移动装置为智能汽车A，感知到的物体为车辆B。

作为一种实施方式，包括：将所述物体的稠密特征点在上一时刻的深度图像中的二维位置进行反投影处理，确定所述物体上一时刻下在世界坐标系下的三维定位信息；

将所述物体上一时刻下在世界坐标系下的三维定位信息确定为所述物体在世界坐标系下的预测定位信息。

在本实施方式中，在上一时刻时，智能汽车A可以通过深度图像感知到此时车辆B在世界坐标系下的位置信息。假设车辆B是静止的，随着智能汽车A的移动，车辆B在世界坐标系下的位置信息的变化是可推断的。(例如以常规思想来说，假设车辆B在智能汽车A前方，如果车辆B静止，随着智能汽车A向前移动，那么车辆B在相机图像中占用的区域是越来越大的，但是无论相机图像中区域如何变大，如果车辆B是静止的，那么车辆B在世界坐标系的定位信息都是不变的。)。

具体的将车辆B的稠密特征点在上一时刻的深度图像中的二维位置进行反投影处理(将二维坐标转换成三维坐标)，确定车辆B上一时刻下在世界坐标系下的三维定位信息，假设车辆B静止，将车辆B上一时刻下在世界坐标系下的三维定位信息确定为所述物体在世界坐标系下的预测定位信息。此时的预测定位信息只是用来判断车辆B是否静止使用，并非当前时刻车辆B的真实位置。

对于步骤S13，在上一步中本方法预估了，假如车辆B静止，当前时刻车辆B的预测定位信息。在本步骤尽可能确定出车辆B应该所在的定位信息。

在上一时刻时，对车辆B的稠密特征点进行光流追踪，确定车辆B在当前时刻的观测定位信息，要注意的是，光流追踪可以直接判断出物体是否在运动，而本方法并没有直接使用光流追踪进行判断。那是因为，光流追踪判断的是物体相对自身的运动情况(例如，假如智能汽车A和车辆B以相同的速度匀速行驶，那么使用光流追踪的判断，车辆B相对于智能汽车A是静止的。然而车辆B在实际环境中是运动的，也就是说直接使用光流追踪判断动静态在实际使用场景中是不准确的，本方法要判断的是车辆B在世界坐标系中的运动情况，而不是相对自车的运动情况。这两者存在本质区别，判断其他车辆相对世界坐标系的静止与运动情况有很多实际意义。例如停靠在路边的车辆是相对世界系静止的，不需要为它们预测运动轨迹。与自车相对静止的车辆则是运动的，需要为它们计算运动轨迹)。因此，对上一时刻车辆B的稠密特征点进行光流追踪，确定车辆B在当前时刻的观测定位信息。其中，光流追踪可以是DIS光流(Direct Inverse Search，反向直接搜索)，也可以使用其他稠密光流算法实现。由于DIS光流计算较快，不需要额外的硬件资源，故实现当中可以主要以DIS光流为基础来实现动静态判定。

作为一种实施方式，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息具体包括：

当所述物体在当前时刻的稠密特征点仅具有相机图像数据时，将所述稠密特征点在当前时刻的相机图像坐标系下的二维图像位置确定为所述物体在当前时刻的观测定位信息。

当所述物体在当前时刻的稠密特征点具有相机图像数据和激光点云数据时，将所述稠密特征点在所述当前时刻的深度图像中的三维位置进行反投影处理得到当前时刻下所述物体在世界坐标系下的观测定位信息。

由于智能汽车A在不断的行驶，在上一时刻时，计算当前时刻的位置；到当前时刻时，再计算下一时刻的位置，这样实时不断的判断。车辆在行驶中，随着行驶的抖动，转弯或者其他情况，点云缺失，可能只有二维图像位置，将稠密特征点在当前时刻的相机图像坐标系下的二维图像位置确定为车辆B在当前时刻的观测定位信息。

具体的，基于所述预测定位信息，确定所述物体在当前时刻的相机图像坐标下的预测二维图像位置；

根据对极几何约束或二维投影约束，确定所述预测二维图像位置相比于所述物体在当前时刻的观测定位信息的变化量；

根据变化量的大小，对所述物体进行动静态估计。

在上述步骤中已经确定出车辆B的预测定位信息，可以将其确定到图像坐标下的预测二维图像位置，同时也通过光流追踪从稠密特征点在当前时刻的相机图像坐标系下的二维图像位置确定为车辆B在当前时刻的观测定位信息。通过对车辆B的预测二维图像位置和观测定位信息进行对极几何约束或二维投影约束，这样可以确定出当前时刻的观测定位信息的变化量。例如变化量超过预设阈值时，则可以确定车辆B相对于世界坐标系是动态的，如果变化量没有超过阈值时，则可以确定车辆B相对于世界坐标系是静态的。

在通常情况下，稠密特征点具有相机图像数据和激光点云数据，则将稠密特征点在当前时刻的深度图像中的三维位置进行反投影处理得到当前时刻下车辆B在世界坐标系下的观测定位信息。

其中，反投影(reprojection)在三维视觉领域里，指将图像位置投影至它的空间位置。类似的，将空间位置投影到图像的过程称为正投影，或简称投影。

由于相机传感器采集的相机图像是二维图像，但配合激光雷达的深度信息，则可以得到它的3D位置。这个过程也是反投影的过程，中间需要用到相机的内外参数。具体公式为：

其中，ZP_uv是2D图像坐标，Z为深度(u为x方向的坐标值，v为y方向的坐标值，1是一个像素)，K为相机内参矩阵，RPw+t为相机外参数，KTP_w是3D坐标。从右到左称为投影，从左至右称为反投影。

同样的，在世界坐标系下，根据车辆B在当前时刻下的预测定位信息相比于观测定位信息的变化量的大小，对所述物体进行动静态估计。对比过程在此不再赘述。

具体的，上述反投影计算的示意图如图3所示，结合附图与上述步骤进行综合说明：

1、在第一时刻(附图中的虚线位置)，智能汽车A(图中的自车)通过图像和点云提取了稠密特征点。可以得到车辆B(也就是附图中的运动车辆和静止车辆)在初始时刻的位置。

2、随着智能汽车A的行驶，车辆运动到第二时刻(附图中的实线位置)，智能汽车A自身的定位模块，可以确定出每个时刻自身的车辆定位信息。光流追踪算法给出了车辆B第一时刻特征点在第二时刻的图像位置，这是观测定位信息。

3、如果假设车辆B静止，那么可以根据第一时刻的稠密特征点位置，预测第二时刻这些稠密特征点应该落在图像的什么位置。这就是预测定位信息。

4、比较预测定位信息和观测定位信息的差异。如果预测与观测相符(通过变化量来判断是否相符)，说明车辆B确实静止；否则静止假设不成立，车辆B应该在运动。(在得到变化量后，有一个分类器来判定它们是否为动态。分类器简单地检测它们的运动是否大于预设阈值。该阈值可以根据不同的需求进行适应调整)。

上述步骤描述了如何在两个时刻进行动静态判定。这种两个时刻的算法会存在一个初始化流程，即无法判定第一帧的动静态信息。将它拓展为队列模型，不断地提取新的特征点，追踪旧的特征点，使算法输出更为平滑。算法最终可以输出图像特征点的动静态信息和点云的动静态信息，如图4所示。

可以看到，在这个路口场景中，左侧车辆仍在等待交通灯，处于静止状态。右侧车辆则已经起步，处于运动状态。右侧的三维结构也显示了同样的结果。该状态的判定与自车是否在运动是无关的，可以确定其他物体(车辆)在世界坐标系下的信息。总的来说，本方法的动静态判定算法流程如图5所示。

通过该实施方式可以看出，根据实时检测车辆在世界坐标系下的动静态信息，为自动驾驶决策提供依据，实现了视觉和激光融合进行世界坐标系下动静态检测的算法。同时利用DIS光流追踪特征点，进行反投影，根据观测和预测不一致性判断物理动静态。在动静态检测过程中，不需要额外进行标注与训练工作，简便易行，对于车辆等大型目标物体有着更明显的效果。

如图6所示为本发明一实施例提供的一种物体的动静态估计执行设备的结构示意图，该系统可执行上述任意实施例所述的物体的动静态估计方法，并配置在终端中。

本实施例提供的一种物体的动静态估计执行设备10包括：稠密特征点提取模块11，预测定位信息确定模块12，观测定位信息确定模块13和动静态估计模块14。

其中，稠密特征点提取模块11用于以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；预测定位信息确定模块12用于利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；观测定位信息确定模块13用于对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；动静态估计模块14用于基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

进一步地，所述观测定位信息确定模块用于：

当所述物体在当前时刻的稠密特征点仅具有相机图像数据时，将所述稠密特征点在当前时刻的相机图像坐标系下的二维图像位置确定为所述物体在当前时刻的观测定位信息。

进一步地，所述动静态估计模块用于：

基于所述预测定位信息，确定所述物体在当前时刻的相机图像坐标下的预测二维图像位置；

根据对极几何约束或二维投影约束，确定所述预测二维图像位置相比于所述物体在当前时刻的观测定位信息的变化量；

根据变化量的大小，对所述物体进行动静态估计。

进一步地，观测定位信息确定模块用于：

当所述物体在当前时刻的稠密特征点具有相机图像数据和激光点云数据时，将所述稠密特征点在所述当前时刻的深度图像中的三维位置进行反投影处理得到当前时刻下所述物体在世界坐标系下的观测定位信息。

进一步地，所述动静态估计模块用于：

在世界坐标系下，根据所述物体在当前时刻下的预测定位信息相比于观测定位信息的变化量的大小，对所述物体进行动静态估计。

进一步地，所述预测定位信息确定模块用于：

将所述物体的稠密特征点在上一时刻的深度图像中的二维位置进行反投影处理，确定所述物体上一时刻下在世界坐标系下的三维定位信息；

将所述物体上一时刻下在世界坐标系下的三维定位信息确定为所述物体在世界坐标系下的预测定位信息。

进一步地，稠密特征点提取模块用于：

基于所述移动装置搭载的相机传感器和激光传感器各自的内外参，计算所述激光点云在所述相机图像中的投影位置，得到激光点云中各激光点在所述相机图像中的深度信息；

通过在所述相机图像中融合所述深度信息形成适用于自动驾驶的深度图像。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的物体的动静态估计方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的物体的动静态估计方法。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行物体的动静态估计方法。

在一些实施例中，本发明实施例还提供一种移动装置，包括本体和所述本体上安装的根据前述任一实施例所述的电子设备。其中，移动装置可以是无人驾驶车辆，例如无人驾驶清扫车、无人驾驶洗地车、无人驾驶物流车、无人驾驶乘用车、无人驾驶环卫车、无人驾驶小巴车/大巴车、卡车、矿车等，还可以是机器人等。

在一些实施例中，本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例中任意一项所述的物体的动静态估计方法。

图7是本申请另一实施例提供的物体的动静态估计方法的电子设备的硬件结构示意图，如图7所示，该设备包括：

一个或多个处理器710以及存储器720，图7中以一个处理器710为例。物体的动静态估计方法的设备还可以包括：输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器720作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的物体的动静态估计方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例物体的动静态估计方法。

存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可接收输入的数字或字符信息。输出装置740可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器720中，当被所述一个或者多个处理器710执行时，执行上述任意方法实施例中的物体的动静态估计方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的物体的动静态估计方法的步骤。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据处理功能的电子装置。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种物体的动静态估计方法，应用于搭载有相机传感器和激光传感器的移动装置，包括：

以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

2.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：

当所述物体在当前时刻的稠密特征点仅具有相机图像数据时，将所述稠密特征点在当前时刻的相机图像坐标系下的二维图像位置确定为所述物体在当前时刻的观测定位信息。

3.根据权利要求2所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：

基于所述预测定位信息，确定所述物体在当前时刻的相机图像坐标下的预测二维图像位置；

根据对极几何约束或二维投影约束，确定所述预测二维图像位置相比于所述物体在当前时刻的观测定位信息的变化量；

根据变化量的大小，对所述物体进行动静态估计。

4.根据权利要求1所述的方法，其特征在于，对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息，具体包括：

当所述物体在当前时刻的稠密特征点具有相机图像数据和激光点云数据时，将所述稠密特征点在所述当前时刻的深度图像中的三维位置进行反投影处理得到当前时刻下所述物体在世界坐标系下的观测定位信息。

5.根据权利要求4所述的方法，其特征在于，基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计，具体包括：

在世界坐标系下，根据所述物体在当前时刻下的预测定位信息相比于观测定位信息的变化量的大小，对所述物体进行动静态估计。

6.根据权利要求1所述的方法，其特征在于，利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息，具体包括：

将所述物体的稠密特征点在上一时刻的深度图像中的二维位置进行反投影处理，确定所述物体上一时刻下在世界坐标系下的三维定位信息；

将所述物体上一时刻下在世界坐标系下的三维定位信息确定为所述物体在世界坐标系下的预测定位信息。

7.根据权利要求1所述的方法，其特征在于，以所述相机图像为基准，将时间同步的所述激光点云投影至所述相机图像中，形成深度图像，具体包括：

基于所述移动装置搭载的相机传感器和激光传感器各自的内外参，计算所述激光点云在所述相机图像中的投影位置，得到激光点云中各激光点在所述相机图像中的深度信息；

通过在所述相机图像中融合所述深度信息形成适用于自动驾驶的深度图像。

8.一种物体的动静态估计执行设备，包括：

稠密特征点提取模块，用于以相机图像为基准，将时间同步的激光点云投影至所述相机图像中，形成深度图像，并提取在所述深度图像中感知到的物体的稠密特征点；

预测定位信息确定模块，用于利用上一时刻所述物体的稠密特征点预估当前时刻所述物体在世界坐标系下的预测定位信息；

观测定位信息确定模块，用于对上一时刻所述物体的稠密特征点进行光流追踪，确定所述物体在当前时刻的观测定位信息；

动静态估计模块，用于基于所述预测定位信息和所述观测定位信息对所述物体进行动静态估计。

9.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述方法的步骤。

10.一种移动装置，包括本体以及安装在所述本体上的根据权利要求9所述的电子设备。

11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的物体的动静态估计方法。