CN114708292A - 一种对象状态估计方法、装置、计算设备和车辆的改进方法 - Google Patents
一种对象状态估计方法、装置、计算设备和车辆的改进方法 Download PDFInfo
- Publication number
- CN114708292A CN114708292A CN202210006809.XA CN202210006809A CN114708292A CN 114708292 A CN114708292 A CN 114708292A CN 202210006809 A CN202210006809 A CN 202210006809A CN 114708292 A CN114708292 A CN 114708292A
- Authority
- CN
- China
- Prior art keywords
- frame
- point cloud
- optimized
- state
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000006872 improvement Effects 0.000 title abstract description 6
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 58
- 238000006073 displacement reaction Methods 0.000 claims description 43
- 238000005457 optimization Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000000446 fuel Substances 0.000 description 5
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000010267 cellular communication Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003502 gasoline Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000001294 propane Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种对象状态估计方法、装置、计算设备和车辆的改进方法，包括如下步骤：在点云数据中随机抽取部分作为初始数据，用这一部分数据拟合地平面，为地面点划分距离范围，将该距离范围内的点划分为地面点，之外的点划分为非地面点，多次随机抽样，找到地面点数量最多的一次作为最终结果，将这一最终结果作为初始数据，重复计算多次；根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态。本发明提供了一种更高效且高性能的地面点去除方法，可以提升对象状态估计方法的性能，同时，也提供一种拥有更高效且资源消耗更少的约束项的方法，可以使该对象状态估计方法性能和效果更好。
Description
技术领域
本发明涉及点云数据处理技术领域，尤其涉及一种对象状态估计方法、装置、计算设备和车辆的改进方法。
背景技术
目前，随着自动驾驶技术和移动机器人技术的发展，激光雷达设备在自动驾驶车辆和移动机器人上已经得到了广泛的应用。为了保证自动驾驶车辆和移动机器人的正常运行，一般需要通过激光雷达采集周围环境的点云数据，以帮助自动驾驶车辆和移动机器人感知自身周围环境，尤其需要感知周围环境中其它车辆的状态，包括位置状态和运动朝向状态等。因此，如何在一段点云序列中准确估计周围车辆的状态对自动驾驶效率和安全性具有重要的意义。
申请号为CN2020454的中国专利提供了一种对象状态估计方法、装置、计算设备和车辆，用于提高对象状态计算的准确性和效率。它的方法如下：根据对象在当前点云帧中的优化状态，计算对象在下一点云帧中的预估状态；根据预估状态确定所述对象在下一点云帧中的预估点云；通过对预估点云作优化来得到对象在下一点云帧中的优化状态；其中，预估状态和优化状态均包括对象的位置参数和朝向参数的至少一种。
然而，该方法存在以下缺点：第一，采集到的点云数据包含大量地面点，这些地面点的存在严重影响了该方法的性能；因此需要使用地面点去除方法来处理地面点，而该方法使用的地面点去除方法较为简单；第二，该方法所描述的约束项中有重复计算部分，造成极大资源浪费，因此，需要重新规划计算方案，设计新方法。
发明内容
基于背景技术存在的技术问题，本发明提出了一种对象状态估计方法、装置、计算设备和车辆的改进方法。
本发明提出的一种对象状态估计方法，包括如下步骤：
S1在点云数据中随机抽取部分作为初始数据，用这一部分数据拟合地平面，为地面点划分距离范围，将该距离范围内的点划分为地面点，之外的点划分为非地面点，多次随机抽样，找到地面点数量最多的一次作为最终结果，将这一最终结果作为初始数据，重复计算多次；
S2根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；
S3根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；
S4通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态；
对优化帧集合内的点云作优化，计算预估点云优化的损失函数，并根据该损失函数确定对象在下一点云帧的优化状态，对象状态的优化来自对损失函数的最小化，损失函数包括但不限于以下几种约束项：
连续多个点云帧之间的帧间位移值变化约束：也即连续多个帧间位移值之间的变化值不能超过预定阈值；
对象在初始帧和在下一点云帧中距离地面的高度差变化约束：也就是对象在初始帧和在该下一点云帧的离地高度差不能超过预定阈值，具体地，先确定地面点云，并根据该地面点云确定地面高度，根据与对象相关的点云来确定对象相距地面高度，其中，与对象相关的点云根据所在帧是否已被优化，可以为预估点云或优化点云；
至少一个在前帧之间的优化点云的配准距离约束：如任两个在前帧之间的配准距离不能超过预定阈值；
对象的朝向和运动方向的一致性约束
至少一个在前帧的优化点云与下一点云帧的预估点云的配准距离约束：如在前帧与该下一帧配准后满足一致性约束，这里可包括：
当前点云帧的优化点云和该下一点云帧的预估点云之间的第一配准距离约束
初始点云帧的优化形状内的点云和该下一点云帧的预估点云之间的第二配准距离约束
当前点云帧的优化形状内的点云和下一点云帧的预估点云之间的第三配准距离约束
将
这三个约束项进行整合，整合后约束项的损失函数为：
其中，其中，
代表从第1帧开始到第k-1帧叠加的点云的优化点云，
代表第k帧点云的预估点云，
代表Ok-1和
之间的配准点集，
代表点集
中的点个数，(ΔSk，Sk-1)⊙p代表将点p从第k-1帧的状态Sk-1移动ΔSk的距离，q为点p在第k帧点云中所配准的点，||||2代表二范数；
其中，预估状态和优化状态均包括所述对象的位置参数和朝向参数的至少一种。
优选的，所述当前点云帧为初始点云帧时，所述初始帧的优化状态为所述对象在所述初始点云帧中的标注状态，所述标注状态通过人工标注或者目标检测结果得到，所述当前点云帧和所述下一点云帧为点云序列中相邻的两帧或相隔预定帧序的两帧。
优选的，所述步骤S4具体包括：
确定优化帧集合，所述优化帧集合包括所述下一点云帧和所述下一点云帧的至少一个在前帧；
通过对所述优化帧集合内的点云作优化，得到所述对象在所述下一点云帧中的优化状态；
通过对所述优化帧集合内的点云作优化，更新所述对象在所述至少一个在前帧中的优化状态；
根据所述对象在所述下一点云帧的优化状态确定所述对象在所述下一点云帧中的优化点云；以及
根据所述对象在所述至少一个在前帧的更新后的优化状态确定所述对象在所述至少一个在前帧中更新后的优化点云。
优选的，根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态，包括：
根据所述对象在当前点云帧中的优化状态和帧间位移值，计算所述对象在所述下一点云帧中的预估状态。
优选的，所述步骤S4，还包括：
根据所述预估状态生成第一检测框，并根据所述第一检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述预估点云；
根据所述对象在所述下一点云帧的优化状态在所述下一点云帧中确定与所述对象相关的点云作为优化点云，包括：
根据所述对象在所述下一点云帧中的优化状态生成第二检测框；
根据所述第二检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述优化点云；
其中，所述第一检测框大于等于第二检测框，所述第二检测框为所述对象的边界框的第一倍数，所述边界框从初始帧的目标检测结果中确定得到，所述第一倍数大于等于1。
优选的，若所述当前点云帧非初始帧，则所述帧间位移值为所述至少一个在前帧之间的平均位移值，所述第一检测框为所述边界框的第二倍数，且第二倍数大于第一倍数；
若所述当前点云帧为初始帧，则所述帧间位移值为0，所述第一检测框为所述边界框的第三倍数，且第三倍数大于第二倍数；
根据所述对象在当前点云帧和下一点云帧中的优化状态，计算所述对象在该两个点云帧之间的位移值；
根据所计算出的位移值更新所述帧间位移值，以根据更新后的帧间位移值计算所述对象在其他点云帧中的预估状态。
优选的，所述位置参数包括所述对象的关键点在空间坐标系中的第一坐标、第二坐标、第三坐标中的至少一种；第一坐标、第二坐标、第三坐标可对应空间坐标系中的x轴坐标、y轴坐标和z轴坐标。朝向参数包括俯仰角、偏航角、翻滚角中的至少一种。关键点可以为一个或多个，例如可以为对象的中心点或对象的特定部位的中心，或者这些点的集合。例如对于车辆，其关键点可以是车辆中心点，也可以是车头中心点，两侧后轮的中心点，或者多个车身点的集合，本发明对该关键点的数量和位置均不作限制；
所述朝向参数包括俯仰角、偏航角、翻滚角中的至少一种；
所述帧间位移值包括位置参数变化值和朝向参数变化值中的至少一种；其中，所述关键点为所述对象的中心点或所述对象的特定部位的中心点；
所述对象在所述至少一个在前帧的优化形状与所述对象在所述下一点云帧的优化点云，确定所述对象在所述下一点云帧中的优化形状；
其中，初始帧的优化形状为从初始帧的目标检测结果中确定得到的初始形状；
其中，在根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状之前，还包括：
判断所述下一点云帧是否为预设的优化周期的帧序，若是，则根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状；其中，所述优化周期的帧序从初始帧起算。
一种对象状态估计装置，包括：地面点去除模块，高效去除采集到的点云数据中的大量地面点；状态预估模块，适于根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；点云预估模块，适于根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；状态优化模块，适于通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态，拥有更高效且资源消耗更少的约束项；其中，所述预估状态和优化状态均包括所述对象的位置和朝向的至少一种。
一种计算设备，包括：处理器、存储器、以及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器在运行所述计算机程序时，执行上述任一项所述的方法。
一种车辆，包括如上述所述的计算设备。
本发明中，所述一种对象状态估计方法、装置、计算设备和车辆的改进方法，提供了一种更高效且高性能的地面点去除方法，可以提升对象状态估计方法的性能，同时，也提供一种拥有更高效且资源消耗更少的约束项的方法，可以使该对象状态估计方法性能和效果更好。
附图说明
图1为本公开实施例提供的一种车辆的结构图；
图2为本公开实施例提供的一种对象状态估计方法的流程图；
图3为本公开实施例中示意图车辆状态估计和三维重建的效果图；
图4为本公开实施例提供的一种对象状态估计装置的结构图；
图5为本公开实施例提供的另一种对象状态估计装置的结构图；
图6为本公开实施例提供的一种计算设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
为了使本领域的技术人员更好的了解本公开，下面先对本公开实施例中出现的部分技术术语进行解释如下：
对象：每一帧数据中的目标物体，可包括静态物体和动态物体，例如行人、车辆、动物、障碍物、信号灯、路标等。
状态：物体在三维世界中的位置信息，包括位置坐标和朝向。
状态估计：利用已知信息计算物体在三维世界中的状态。
点云：通过雷达(如激光雷达)采集的周围环境的数据，用一组稀疏的三维空间点标示。
点云序列：一段时间内连续的多幅点云，激光雷达在一段连续时间内采集的点云。
点云配准：通过对齐同一物体的两幅点云，计算该物体在两幅点云之间的运动。
ICP：一种点云配准的算法，根据预测的物体运动将点云点按照最近邻的方式关联，并通过最小化关联点对的距离。
帧(Frame)：传感器完成一次观测所接收到的测量数据，如相机的一帧数据为一张图片，激光雷达的一帧数据为一组激光点云。
目标检测：通过算法在原始传感器数据中找到目标物体的位置，一般用长方形或者长方体表示在2D或者3D空间中物体所占据的位置。
目标追踪：对于一段时间内的传感器输入数据和给定目标物体，计算该给定目标物体在每一时刻的状态。
三维重建：获得物体的三维模型，一般用稠密点云或者CAD模型的方式表达。
参考图1，图1是可以在其中实现本文公开的各种技术的车辆100的示意图，车辆100可以是轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车，或其它车辆，车辆100可以完全地或部分地以自动驾驶模式进行运行。车辆100在自动驾驶模式下可以控制其自身，例如车辆100可以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的至少一个其它车辆的预测行为，确定该至少一个其它车辆执行所预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆100自身。在处于自动驾驶模式时，车辆100可以在无人交互的情况下运行。
车辆100可以包括各种车辆系统，例如驱动系统142、传感器系统144、控制系统146、用户接口系统148、控制计算机系统150以及通信系统152。车辆100可以包括更多或更少的系统，每个系统可以包括多个单元。进一步地，车辆100的每个系统和单元之间可以是互联的。例如，控制计算机系统150能够与车辆系统142-148和152中的一个或多个进行数据通信。从而，车辆100的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图1所示的示例中。
驱动系统142可以包括为车辆100提供动能的多个可操作部件(或单元)。在一个实施例中，驱动系统142可以包括发动机或电动机、车轮、变速器、电子系统、以及动力(或动力源)。发动机或者电动机可以是如下装置的任意组合：内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中，发动机可以将一种动力源转换为机械能。在一些实施例中，驱动系统142可以包括多种发动机或电动机。例如，油电混合车辆可以包括汽油发动机和电动机，也可以包括其它的情况。
车辆100的车轮可以是标准车轮。车辆100的车轮可以是多种形式的车轮，包括独轮、双轮、三轮、或者四轮形式，例如轿车或卡车上的四轮。其它数量的车轮也是可以的，例如六轮或者更多的车轮。车辆100的一个或多个车轮可被操作为与其他车轮的旋转方向不同。车轮可以是至少一个与变速器固定连接的车轮。车轮可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可操作来将发动机的机械动力传送到车轮的单元。出于这个目的，变速器可以包括齿轮箱、离合器、差动齿轮和传动轴。变速器也可以包括其它单元。传动轴可以包括与车轮相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆100的电子信号的单元。这些电子信号可用于启动车辆100中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆100的其它系统提供能量。
传感器系统144可以包括多个传感器，这些传感器用于感测车辆100的环境和条件的信息。例如，传感器系统144可以包括惯性测量单元(IMU)、全球定位系统(GPS)收发器、雷达(RADAR)单元、激光测距仪/LIDAR单元(或其它距离测量装置)、声学传感器、以及相机或图像捕捉装置。传感器系统144可以包括用于监控车辆100的多个感应器(例如，氧气(O2)监控器、油量表传感器、发动机油压传感器，等等)。还可以配置其它传感器。包括在传感器系统144中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆100的位置变化和方向变化。GPS收发器可以是任何用于估计车辆100的地理位置的传感器。出于该目的，GPS收发器可以包括接收器/发送器以提供车辆100相对于地球的位置信息。需要说明的是，GPS是全球导航卫星系统的一个示例，因此，在一些实施例中，GPS收发器可以替换为北斗卫星导航系统收发器或者伽利略卫星导航系统收发器。雷达单元可以使用无线电信号来感应车辆100所在环境中的对象。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆100的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆100所在环境中的物体的传感器。在一个实施例中，激光测距仪/LIDAR单元可以包括激光源、激光扫描仪、以及探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。相机可以包括用于捕捉车辆100所在环境的多个图像的装置。相机可以是静态图像相机或者动态视频相机。
控制系统146用于控制对车辆100及其部件(或单元)的操作。相应地，控制系统146可以包括各种单元，例如转向单元、动力控制单元、制动单元和导航单元。
转向单元可以是调整车辆100前进方向的机械的组合。动力控制单元(例如可以为油门)，例如可以被用于控制发动机的运转速度，进而控制车辆100的速度。制动单元可以包括用于对车辆100进行减速的机械的组合。制动单元可以以标准方式利用摩擦力来使车辆减速。在其他实施例中，制动单元可以将车轮的动能转化为电流。制动单元也可以采用其它形式。导航单元可以是任何为车辆100确定驾驶路径或路线的系统。导航单元还可以在车辆100行进的过程中动态的更新驾驶路径。控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件(或单元)。
用户接口系统148可以用于允许车辆100与外部传感器、其它车辆、其它计算机系统和/或车辆100的用户之间的互动。例如，用户接口系统148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCD)、触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置。例如，用户接口系统148还可以包括导航接口以及控制车辆100的内部环境(例如温度、风扇，等等)的接口。
通信系统152可以为车辆100提供与一个或多个设备或者周围其它车辆进行通信的方式。在一个示例性的实施例中，通信系统152可以直接或者通过通信网络与一个或多个设备进行通信。通信系统152例如可以是无线通信系统。例如，通信系统可以使用3G蜂窝通信(例如CDMA、EVDO、GSM/GPRS)或者4G蜂窝通信(例如WiMAX或LTE)，还可以使用5G蜂窝通信。可选地，通信系统可以与无线本地局域网(WLAN)进行通信(例如，使用
)。在一些实施例中，通信系统152可以直接与一个或多个设备或者周围其它车辆进行通信，例如，使用红外线，
或者ZIGBEE。其它无线协议，例如各种车载通信系统，也在本申请公开的范围之内。例如，通信系统可以包括一个或多个专用短程通信(DSRC)装置、V2V装置或者V2X装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。
控制计算机系统150能控制车辆100的部分或者全部功能。控制计算机系统150中的自动驾驶控制单元可以用于识别、评估、以及避免或越过车辆100所在环境中的潜在障碍。通常，自动驾驶控制单元可以用于在没有驾驶员的情况下控制车辆100，或者为驾驶员控制车辆提供辅助。在一些实施例中，自动驾驶控制单元用于将来自GPS收发器的数据、雷达数据、LIDAR数据、相机数据、以及来自其它车辆系统的数据结合起来，来确定车辆100的行驶路径或轨迹。自动驾驶控制单元可以被激活以使车辆100能够以自动驾驶模式被驾驶。
控制计算机系统150可以包括至少一个处理器(其可以包括至少一个微处理器)，处理器执行存储在非易失性计算机可读介质(例如数据存储装置或存储器)中的处理指令(即机器可执行指令)。存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现包括地图引擎、定位模块、感知模块、导航或路径模块、以及自动控制模块等的功能。地图引擎和定位模块用于提供地图信息和定位信息。感知模块用于根据传感器系统获取到的信息和地图引擎提供的地图信息感知车辆所处环境中的事物。导航或路径模块用于根据地图引擎、定位模块和感知模块的处理结果，为车辆规划行驶路径。自动控制模块将导航或路径模块等模块的决策信息输入解析转换成对车辆控制系统的控制命令输出，并通过车载网(例如通过CAN总线、局域互联网络、多媒体定向系统传输等方式实现的车辆内部电子网络系统)将控制命令发送给车辆控制系统中的对应部件，实现对车辆的自动控制；自动控制模块还可以通过车载网来获取车辆中各部件的信息。
控制计算机系统150也可以是多个计算装置，这些计算装置分布式地控制车辆100的部件或者系统。在一些实施例中，存储器中可以包含被处理器执行来实现车辆100的各种功能的处理指令(例如，程序逻辑)。在一个实施例中，控制计算机系统150能够与系统142、144、146、148和/或152进行数据通信。控制计算机系统中的接口用于促进控制计算机系统150和系统142、144、146、148以及152之间的数据通信。
存储器还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制驱动系统140、传感器系统144、或控制系统146或用户接口系统148的指令。
除存储处理指令之外，存储器可以存储多种信息或数据，例如图像处理参数、道路地图、和路径信息。在车辆100以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆100和控制计算机系统150所使用。
尽管自动驾驶控制单元被示为与处理器和存储器分离，但是应当理解，在一些实施方式中，自动驾驶控制单元的某些或全部功能可以利用驻留在一个或多个存储器(或数据存储装置)中的程序代码指令来实现并由一个或多个处理器执行，并且自动驾驶控制单元在某些情况下可以使用相同的处理器和/或存储器(或数据存储装置)来实现。在一些实施方式中，自动驾驶控制单元可以至少部分地使用各种专用电路逻辑，各种处理器，各种现场可编程门阵列(“FPGA”)，各种专用集成电路(“ASIC”)，各种实时控制器和硬件来实现。
控制计算机系统150可以根据从各种车辆系统(例如，驱动系统142，传感器系统144，以及控制系统146)接收到的输入，或者从用户接口系统148接收到的输入，来控制车辆100的功能。例如，控制计算机系统150可以使用来自控制系统146的输入来控制转向单元，来避开由传感器系统144检测到的障碍物。在一个实施例中，控制计算机系统150可以用来控制车辆100及其系统的多个方面。
虽然图1中显示了集成到车辆100中的各种部件(或单元)，这些部件(或单元)中的一个或多个可以搭载到车辆100上或单独关联到车辆100上。例如，控制计算机系统可以部分或者全部地独立于车辆100存在。从而，车辆100能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元之间可以以有线通信或者无线通信的方式实现相互通信。在一些实施例中，可以将附加部件或单元添加到各个系统或从系统中移除一个或多个以上的部件或单元(例如，图1所示的LiDAR或雷达)。
如前文所述，现有的状态估计方法主要基于检测和追踪的多目标追踪范式，需要先利用目标检测方法在每一个单帧点云中提取检测框，再对这多帧中的检测框进行匹配。这种方案严重依赖单帧点云的质量和目标检测模型，当点云数据稀疏时鲁棒性不足，且需要通过深度学习训练对目标物体外形产生较强的认知能力，无法拓展到训练集中没有覆盖到的物体外形类别。为此，本公开实施例旨在提出一种鲁棒性更高且应用范围更广泛的状态估计方案。
参照图2-3，一种对象状态估计方法，包括如下步骤：
S1通过激光雷达采集真实道路状况的点云数据，形式为长度为L的点云序列T1至TL。针对目标对象，首先在点云序列中确定一个高质量的初始帧，该初始帧可以是人为选定的帧，可以是点云序列的第一帧，也可以是目标检测结果到达预定置信度阈值的帧。初始帧的目标检测结果和标注状态可以通过人工标注得到，也可以通过预先训练的目标检测网络得到，在点云数据中随机抽取部分作为初始数据，用这一部分数据拟合地平面，为地面点划分距离范围，将该距离范围内的点划分为地面点，之外的点划分为非地面点，多次随机抽样，找到地面点数量最多的一次作为最终结果，将这一最终结果作为初始数据，重复计算多次；
目标检测结果或者经过标注后得到的标注结果可以包括对象在初始帧中的边界框、初始状态
与该对象相关的点云作为初始点云、以及该对象的形状作为初始形状。其中，边界框可以为二维框(用长和宽标注)，也可以为三维框(用长宽高标注)，考虑对象为刚性物体，其边界框在点云序列中保持固定大小。本申请实施例的目的之一是通过优化之后得到每帧数据中对象的状态(即优化状态)、与对象相关的点云(即优化点云)、以及对象的形状(即优化形状)。为了用语统一，本申请将将初始帧中标注状态作为对象在初始帧中的优化状态，将初始帧中的初始点云作为对象在初始帧中的优化点云，将初始帧的初始形状作为对象在初始帧中的优化形状。初始形状为对象在点云序列中的初始模型，其可以为二维模型，优选为三维模型。
实际上，本公开仅需要获取初始帧的目标检测结果或者标注结果，之后其他帧并不需要进行目标检测，仅根据点云数据的计算即可得到各帧中对象的优化状态。
S2根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；
在一种实现方式中，根据对象在当前点云帧中的优化状态Sk和帧间位移值ΔSprior，计算对象在下一点云帧中的预估状态Sk+1＇，k为第k帧点云。具体而言，下一点云帧的预估状态＝当前点云帧中的优化状态+帧间位移值。与状态参数相对应的，帧间位移值也包括位置参数变化值和朝向参数变化值中的至少一种，位置参数变化值包括对象的关键点在空间坐标系中的第一坐标变化值、第二坐标变化值、第三坐标变化值中的至少一种；朝向参数包括俯仰角变化值、偏航角变化值、翻滚角变化值中的至少一种。第一坐标变化值、第二坐标变化值、第三坐标变化值可对应对象在空间坐标系中的x轴坐标变化值、y轴坐标变化值和z轴坐标变化值。假设状态参数表示为x，y，z，θ，则对应的位置参数变化值为Δx、Δy、Δz、Δθ。
若当前帧为初始帧，此时可参考信息较少，因此设定下一帧相对于初始帧的帧间位移值ΔSprior＝0；若当前帧非初始帧，此时已经得到了一些帧的优化状态，根据这些已知帧的优化状态，即可得到每两帧之间的位移值，进而通过加权平均可以得到应用于当前点云帧的帧间位移值，也就是下一帧相对于当前帧的帧间位移值；即，帧间位移值是至少一个在前帧之间的平均位移值，该帧间位移值的具体计算过程将在后文详述。
S3根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；
在一种实现方式中，根据预估状态确定对象在下一点云帧中的预估点云可以根据以下方式实现：根据对象在下一点云帧的预估状态生成第一检测框，并根据该第一检测框在下一点云帧中筛选与对象相关的点云，作为预估点云。可选地，根据对象状态和检测框的长宽高信息进行点云筛选，筛选的规则是：只将在由对象状态和检测框指定长方体中的点判定为和对象相关的点并保留。对象状态可以是预估状态，也可以是后文中的优化状态，如果是预估状态，则对应得到预估点云；如果是优化状态，则对应得到优化点云。一般地，若当前帧为初始帧，则第一检测框是边界框的第三倍数，即将在初始帧得到的边界框放大第三倍数，得到第一检测框。此时在预估第二帧时可参考信息比较少，因此需在更大范围内筛选与对象相关的点云。可选地，第三倍数设定为2-4倍，优选地为3倍，当然也可以设定为其他数值，本公开对此不做限制。
相应地，若当前帧非初始帧，则第一检测框是边界框的第二倍数，此时已经有一些在前帧的参考信息，因此可以放大稍小倍数，例如设定为1.5倍，当然不限于此。
S4通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态；
对优化帧集合内的点云作优化，计算预估点云优化的损失函数，并根据该损失函数确定对象在下一点云帧的优化状态，对象状态的优化来自对损失函数的最小化，损失函数包括但不限于以下几种约束项：
连续多个点云帧之间的帧间位移值变化约束：也即连续多个帧间位移值之间的变化值不能超过预定阈值；
对象在初始帧和在下一点云帧中距离地面的高度差变化约束：也就是对象在初始帧和在该下一点云帧的离地高度差不能超过预定阈值，具体地，先确定地面点云，并根据该地面点云确定地面高度，根据与对象相关的点云来确定对象相距地面高度，其中，与对象相关的点云根据所在帧是否已被优化，可以为预估点云或优化点云；
至少一个在前帧之间的优化点云的配准距离约束：如任两个在前帧之间的配准距离不能超过预定阈值；
对象的朝向和运动方向的一致性约束
至少一个在前帧的优化点云与下一点云帧的预估点云的配准距离约束：如在前帧与该下一帧配准后满足一致性约束，这里可包括：
当前点云帧的优化点云和该下一点云帧的预估点云之间的第一配准距离约束
初始点云帧的优化形状内的点云和该下一点云帧的预估点云之间的第二配准距离约束
当前点云帧的优化形状内的点云和下一点云帧的预估点云之间的第三配准距离约束
将
这三个约束项进行整合，整合后约束项的损失函数为：
其中，其中，
代表从第1帧开始到第k-1帧叠加的点云的优化点云，
代表第k帧点云的预估点云，
代表Ok-1和
之间的配准点集，
代表点集
中的点个数，(ΔSk，Sk-1)⊙p代表将点p从第k-1帧的状态Sk-1移动ΔSk的距离，q为点p在第k帧点云中所配准的点，||||2代表二范数；
使用本方法，可以在第二配准约束项抽样频率为5的时候减少60％的重复计算。在原方法中，第一配准约束项会计算前面相邻的2帧数据，第二配准约束项会每间隔5帧抽取一次点云数据进行计算，第三配准约束项每次会计算第一帧的点云数据。在下表中，在第2,3,4,7,8,9帧优化时出现了重复计算，后续又是新的计算周期，因此总共会有60％的帧会出现重复计算；
其中，预估状态和优化状态均包括所述对象的位置参数和朝向参数的至少一种。
本方法在原方法提供的数据集上进行了测试，测试结果如下表所示：
除了更新对象的运动模型，本公开实施例还提供了一种新的对对象的三维点云模型进行更新的方法。现有的三维重建方法基于有监督学习，通过CAD模型训练深度神经网络将稀疏点云补全成CAD模型对应的稠密点云。在实际应用中，利用深度神经网络将每一帧的单帧稀疏点云补全成稠密点云。这种方法需要额外的CAD模型作为训练数据，拓展性差，无法拓展到数据集中不存在的外形类别。而且，该方案主要基于单帧的点云数据，因此在单帧点云较为稀疏、不包含足够信息时，无法产生高质量的三维重建。
为此，本公开实施例提供一种通过点云序列的多帧、多视角信息即可实现高质量三维重建的方法，不需要监督数据，也不需要强依赖于单帧点云数据。
在一种实现方式中，根据对象在至少一个在前帧的优化形状与对象在下一点云帧的优化点云，确定对象在下一点云帧中的优化形状。其中，初始帧的优化形状为从初始帧的目标检测结果中确定得到的初始形状。
本公开算法按照每一帧估计的对象状态和观测到的点云，将不同帧的点云叠加成稠密的点云模型，并在算法结束时获得高质量的物体三维重建。对于车辆的重建效果如图4中第二栏所示，可以看出其可以真实还原车辆的3D形态。
需要说明的是，当前点云帧和下一点云帧可以是点云序列中相邻的两帧，也可以是相隔预定帧序的两帧。对象的状态优化可以每帧都进行，对象的三维重建可以间隔预定帧序进行。因此，在确定对象在下一点云帧中的优化形状之前，还可以先判断该下一点云帧是否为预设的优化周期的帧序，若是，才确定对象在下一点云帧中的优化形状。其中，优化周期的帧序从初始帧起算，例如每十帧进行一次三维重建。在具体实现中，可按照时间关系每隔1秒钟选取叠加一次点云来更新3D模型。
综上所述，本公开以初始帧作为开始，利用迭代优化算法逐帧估计对象在每一帧点云中的状态，并选择关键帧叠加点云重建三维模型。每一帧的估计中，首先确定预估状态，之后迭代筛选点云、优化状态，在优化完成后输出优化状态并更新对象的运动模型和3D模型。
本发明中，所述当前点云帧为初始点云帧时，所述初始帧的优化状态为所述对象在所述初始点云帧中的标注状态，所述标注状态通过人工标注或者目标检测结果得到，所述当前点云帧和所述下一点云帧为点云序列中相邻的两帧或相隔预定帧序的两帧。
本发明中，所述步骤S4具体包括：
确定优化帧集合，所述优化帧集合包括所述下一点云帧和所述下一点云帧的至少一个在前帧；
通过对所述优化帧集合内的点云作优化，得到所述对象在所述下一点云帧中的优化状态；
通过对所述优化帧集合内的点云作优化，更新所述对象在所述至少一个在前帧中的优化状态；
根据所述对象在所述下一点云帧的优化状态确定所述对象在所述下一点云帧中的优化点云；以及
根据所述对象在所述至少一个在前帧的更新后的优化状态确定所述对象在所述至少一个在前帧中更新后的优化点云。
本发明中，根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态，包括：
根据所述对象在当前点云帧中的优化状态和帧间位移值，计算所述对象在所述下一点云帧中的预估状态。
本发明中，所述步骤S4，还包括：
根据所述预估状态生成第一检测框，并根据所述第一检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述预估点云；
根据所述对象在所述下一点云帧的优化状态在所述下一点云帧中确定与所述对象相关的点云作为优化点云，包括：
根据所述对象在所述下一点云帧中的优化状态生成第二检测框；
根据所述第二检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述优化点云；
其中，所述第一检测框大于等于第二检测框，所述第二检测框为所述对象的边界框的第一倍数，所述边界框从初始帧的目标检测结果中确定得到，所述第一倍数大于等于1。
本发明中，若所述当前点云帧非初始帧，则所述帧间位移值为所述至少一个在前帧之间的平均位移值，所述第一检测框为所述边界框的第二倍数，且第二倍数大于第一倍数；
若所述当前点云帧为初始帧，则所述帧间位移值为0，所述第一检测框为所述边界框的第三倍数，且第三倍数大于第二倍数；
根据所述对象在当前点云帧和下一点云帧中的优化状态，计算所述对象在该两个点云帧之间的位移值；
根据所计算出的位移值更新所述帧间位移值，以根据更新后的帧间位移值计算所述对象在其他点云帧中的预估状态。
本发明中，所述位置参数包括所述对象的关键点在空间坐标系中的第一坐标、第二坐标、第三坐标中的至少一种；第一坐标、第二坐标、第三坐标可对应空间坐标系中的x轴坐标、y轴坐标和z轴坐标。朝向参数包括俯仰角、偏航角、翻滚角中的至少一种。关键点可以为一个或多个，例如可以为对象的中心点或对象的特定部位的中心，或者这些点的集合。例如对于车辆，其关键点可以是车辆中心点，也可以是车头中心点，两侧后轮的中心点，或者多个车身点的集合，本发明对该关键点的数量和位置均不作限制。
所述朝向参数包括俯仰角、偏航角、翻滚角中的至少一种；
所述帧间位移值包括位置参数变化值和朝向参数变化值中的至少一种；其中，所述关键点为所述对象的中心点或所述对象的特定部位的中心点；
所述对象在所述至少一个在前帧的优化形状与所述对象在所述下一点云帧的优化点云，确定所述对象在所述下一点云帧中的优化形状；
其中，初始帧的优化形状为从初始帧的目标检测结果中确定得到的初始形状；
其中，在根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状之前，还包括：
判断所述下一点云帧是否为预设的优化周期的帧序，若是，则根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状；其中，所述优化周期的帧序从初始帧起算。
如图4-5所示，一种对象状态估计装置，包括：地面点去除模块，高效去除采集到的点云数据中的大量地面点；状态预估模块，适于根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；点云预估模块，适于根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；状态优化模块，适于通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态，拥有更高效且资源消耗更少的约束项；其中，所述预估状态和优化状态均包括所述对象的位置和朝向的至少一种。
参考图6，一种计算设备，包括：处理器、存储器、以及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器在运行所述计算机程序时，执行上述任一项所述的方法，这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种对象状态估计方法，其特征在于，包括如下步骤：
S1在点云数据中随机抽取部分作为初始数据，用这一部分数据拟合地平面，为地面点划分距离范围，将该距离范围内的点划分为地面点，之外的点划分为非地面点，多次随机抽样，找到地面点数量最多的一次作为最终结果，将这一最终结果作为初始数据，重复计算多次；
S2根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；
S3根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；
S4通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态；
对优化帧集合内的点云作优化，计算预估点云优化的损失函数，并根据该损失函数确定对象在下一点云帧的优化状态，对象状态的优化来自对损失函数的最小化，损失函数包括但不限于以下几种约束项：
连续多个点云帧之间的帧间位移值变化约束：也即连续多个帧间位移值之间的变化值不能超过预定阈值；
对象在初始帧和在下一点云帧中距离地面的高度差变化约束：也就是对象在初始帧和在该下一点云帧的离地高度差不能超过预定阈值，具体地，先确定地面点云，并根据该地面点云确定地面高度，根据与对象相关的点云来确定对象相距地面高度，其中，与对象相关的点云根据所在帧是否已被优化，可以为预估点云或优化点云；
至少一个在前帧之间的优化点云的配准距离约束：如任两个在前帧之间的配准距离不能超过预定阈值；
对象的朝向和运动方向的一致性约束
至少一个在前帧的优化点云与下一点云帧的预估点云的配准距离约束：如在前帧与该下一帧配准后满足一致性约束，这里可包括：
当前点云帧的优化点云和该下一点云帧的预估点云之间的第一配准距离约束
初始点云帧的优化形状内的点云和该下一点云帧的预估点云之间的第二配准距离约束
当前点云帧的优化形状内的点云和下一点云帧的预估点云之间的第三配准距离约束
将
这三个约束项进行整合，整合后约束项的损失函数为：
其中，其中，
代表从第1帧开始到第k-1帧叠加的点云的优化点云，
代表第k帧点云的预估点云，
代表Ok-1和
之间的配准点集，
代表点集
中的点个数，(ΔSk，Sk-1)⊙p代表将点p从第k-1帧的状态Sk-1移动ΔSk的距离，q为点p在第k帧点云中所配准的点，|| ||2代表二范数；
其中，预估状态和优化状态均包括所述对象的位置参数和朝向参数的至少一种。
2.根据权利要求1所述的一种对象状态估计方法，其特征在于，其中，所述当前点云帧为初始点云帧时，所述初始帧的优化状态为所述对象在所述初始点云帧中的标注状态，所述标注状态通过人工标注或者目标检测结果得到，所述当前点云帧和所述下一点云帧为点云序列中相邻的两帧或相隔预定帧序的两帧。
3.根据权利要求1所述的一种对象状态估计方法，其特征在于，其中，所述步骤S4具体包括：
确定优化帧集合，所述优化帧集合包括所述下一点云帧和所述下一点云帧的至少一个在前帧；
通过对所述优化帧集合内的点云作优化，得到所述对象在所述下一点云帧中的优化状态；
通过对所述优化帧集合内的点云作优化，更新所述对象在所述至少一个在前帧中的优化状态；
根据所述对象在所述下一点云帧的优化状态确定所述对象在所述下一点云帧中的优化点云；以及
根据所述对象在所述至少一个在前帧的更新后的优化状态确定所述对象在所述至少一个在前帧中更新后的优化点云。
4.根据权利要求3所述的一种对象状态估计方法，其特征在于，根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态，包括：
根据所述对象在当前点云帧中的优化状态和帧间位移值，计算所述对象在所述下一点云帧中的预估状态。
5.根据权利要求1所述的一种对象状态估计方法，其特征在于，所述步骤S4，还包括：
根据所述预估状态生成第一检测框，并根据所述第一检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述预估点云；
根据所述对象在所述下一点云帧的优化状态在所述下一点云帧中确定与所述对象相关的点云作为优化点云，包括：
根据所述对象在所述下一点云帧中的优化状态生成第二检测框；
根据所述第二检测框在所述下一点云帧中筛选与所述对象相关的点云，作为所述优化点云；
其中，所述第一检测框大于等于第二检测框，所述第二检测框为所述对象的边界框的第一倍数，所述边界框从初始帧的目标检测结果中确定得到，所述第一倍数大于等于1。
6.根据权利要求1所述的一种对象状态估计方法，其特征在于，若所述当前点云帧非初始帧，则所述帧间位移值为所述至少一个在前帧之间的平均位移值，所述第一检测框为所述边界框的第二倍数，且第二倍数大于第一倍数；
若所述当前点云帧为初始帧，则所述帧间位移值为0，所述第一检测框为所述边界框的第三倍数，且第三倍数大于第二倍数；
根据所述对象在当前点云帧和下一点云帧中的优化状态，计算所述对象在该两个点云帧之间的位移值；
根据所计算出的位移值更新所述帧间位移值，以根据更新后的帧间位移值计算所述对象在其他点云帧中的预估状态。
7.根据权利要求1所述的一种对象状态估计方法，其特征在于，所述位置参数包括所述对象的关键点在空间坐标系中的第一坐标、第二坐标、第三坐标中的至少一种；
所述朝向参数包括俯仰角、偏航角、翻滚角中的至少一种；
所述帧间位移值包括位置参数变化值和朝向参数变化值中的至少一种；其中，所述关键点为所述对象的中心点或所述对象的特定部位的中心点；
所述对象在所述至少一个在前帧的优化形状与所述对象在所述下一点云帧的优化点云，确定所述对象在所述下一点云帧中的优化形状；
其中，初始帧的优化形状为从初始帧的目标检测结果中确定得到的初始形状；
其中，在根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状之前，还包括：
判断所述下一点云帧是否为预设的优化周期的帧序，若是，则根据所述优化点云与所述对象在所述至少一个在前帧的优化形状，确定所述对象在所述下一点云帧中的优化形状；其中，所述优化周期的帧序从初始帧起算。
8.一种对象状态估计装置，其特征在于，包括：地面点去除模块，高效去除采集到的点云数据中的大量地面点；状态预估模块，适于根据对象在当前点云帧中的优化状态，计算所述对象在下一点云帧中的预估状态；点云预估模块，适于根据所述预估状态确定所述对象在所述下一点云帧中的预估点云；状态优化模块，适于通过对所述预估点云作优化来得到所述对象在下一点云帧中的优化状态，拥有更高效且资源消耗更少的约束项；其中，所述预估状态和优化状态均包括所述对象的位置和朝向的至少一种。
9.一种计算设备，其特征在于，包括：处理器、存储器、以及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器在运行所述计算机程序时，执行权利要求1-8任一项所述的方法。
10.一种车辆，其特征在于，包括如权利要求9所述的计算设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210006809.XA CN114708292A (zh) | 2022-01-05 | 2022-01-05 | 一种对象状态估计方法、装置、计算设备和车辆的改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210006809.XA CN114708292A (zh) | 2022-01-05 | 2022-01-05 | 一种对象状态估计方法、装置、计算设备和车辆的改进方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708292A true CN114708292A (zh) | 2022-07-05 |
Family
ID=82166325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210006809.XA Pending CN114708292A (zh) | 2022-01-05 | 2022-01-05 | 一种对象状态估计方法、装置、计算设备和车辆的改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708292A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486012A (zh) * | 2023-04-27 | 2023-07-25 | 中国民用航空总局第二研究所 | 一种航空器三维模型构建方法、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200081124A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for filtering out non-ground points from point cloud, and storage medium |
| CN111580131A (zh) * | 2020-04-08 | 2020-08-25 | 西安邮电大学 | 三维激光雷达智能车在高速公路上识别车辆的方法 |
| CN112991389A (zh) * | 2021-03-24 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种目标跟踪方法、装置及移动机器人 |
| CN113340296A (zh) * | 2021-06-21 | 2021-09-03 | 上海仙工智能科技有限公司 | 一种自动更新移动机器人地图的方法及装置 |
-
2022
- 2022-01-05 CN CN202210006809.XA patent/CN114708292A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200081124A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for filtering out non-ground points from point cloud, and storage medium |
| CN111580131A (zh) * | 2020-04-08 | 2020-08-25 | 西安邮电大学 | 三维激光雷达智能车在高速公路上识别车辆的方法 |
| CN112991389A (zh) * | 2021-03-24 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种目标跟踪方法、装置及移动机器人 |
| CN113340296A (zh) * | 2021-06-21 | 2021-09-03 | 上海仙工智能科技有限公司 | 一种自动更新移动机器人地图的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486012A (zh) * | 2023-04-27 | 2023-07-25 | 中国民用航空总局第二研究所 | 一种航空器三维模型构建方法、存储介质及电子设备 |
| CN116486012B (zh) * | 2023-04-27 | 2024-01-23 | 中国民用航空总局第二研究所 | 一种航空器三维模型构建方法、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112050792B (zh) | 一种图像定位方法和装置 | |
| US11915492B2 (en) | Traffic light recognition method and apparatus | |
| US11227500B2 (en) | System and method for determining car to lane distance | |
| CN107816976B (zh) | 一种接近物体的位置确定方法和装置 | |
| EP4125037A1 (en) | Multiple target tracking method and apparatus, calculating device and storage medium | |
| WO2021026705A1 (zh) | 匹配关系确定方法、重投影误差计算方法及相关装置 | |
| CN112639882B (zh) | 定位方法、装置及系统 | |
| EP4083943A1 (en) | Method and apparatus for detecting lane lines, electronic device and storage medium | |
| CN115330923B (zh) | 点云数据渲染方法、装置、车辆、可读存储介质及芯片 | |
| CN115042821B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN115100377B (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
| CN112810603B (zh) | 定位方法和相关产品 | |
| CN114708292A (zh) | 一种对象状态估计方法、装置、计算设备和车辆的改进方法 | |
| US20230236603A1 (en) | Systems and methods for projecting a three-dimensional (3d) surface to a two-dimensional (2d) surface for use in autonomous driving | |
| CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
| CN115035357A (zh) | 目标检测模型构建方法、目标检测方法、装置和计算设备 | |
| CN115056784A (zh) | 车辆控制方法、装置、车辆、存储介质及芯片 | |
| CN114764816A (zh) | 一种对象状态估计方法、装置、计算设备和车辆 | |
| CN114842454B (zh) | 障碍物检测方法、装置、设备、存储介质、芯片及车辆 | |
| CN115601386A (zh) | 一种点云处理方法、装置、计算设备和存储介质 | |
| Liang et al. | Research on Navigation Recognition Optimization of Unmanned Self-Built Map | |
| CN118279845A (zh) | 车道线检测的方法、装置和计算机可读存储介质 | |
| WO2023146693A1 (en) | False track mitigation in object detection systems | |
| CN116363620A (zh) | 一种状态确定方法、装置、计算设备及存储介质 | |
| CN114822216A (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |