CN116523970B - 基于二次隐式匹配的动态三维目标跟踪方法及装置 - Google Patents
基于二次隐式匹配的动态三维目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN116523970B CN116523970B CN202310815801.2A CN202310815801A CN116523970B CN 116523970 B CN116523970 B CN 116523970B CN 202310815801 A CN202310815801 A CN 202310815801A CN 116523970 B CN116523970 B CN 116523970B
- Authority
- CN
- China
- Prior art keywords
- target
- point
- point cloud
- dynamic
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 134
- 230000008569 process Effects 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000010979 ruby Substances 0.000 description 2
- 229910001750 ruby Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于二次隐式匹配的动态三维目标跟踪方法及装置,该方法首先采用前值填充法将标注的轨迹序列进行长度对齐,并利用长度对齐的轨迹序列训练LSTM时序预测网络模型。其次,利用训练好的模型预测目标轨迹,并将预测的目标轨迹和当前点云数据检测出的显示、隐式目标检测框进行二次匹配,实现目标轨迹和当前点云数据中目标的正确关联,解决现有的三维目标跟踪方法由于不能完全正确检测出所有的动态目标进行匹配关联引发的目标轨迹误匹配或漏匹配问题。本发明提出的对预测轨迹中心点的有效搜索空间先后利用三维目标检测网络和聚类生成显隐式三维目标检测框的方式,提取了尽可能多的有效三维目标信息,显著提高了目标跟踪的准确率。
Description
技术领域
本发明涉及智慧交通技术领域,尤其涉及一种基于二次隐式匹配的动态三维目标跟踪方法及装置。
背景技术
当前自动驾驶行业加速发展,自动驾驶汽车依靠多源异构传感器设备,感知周围交通环境,实现车辆的路径规划和自主控制。激光雷达传感器作为一种重要的传感器,其产生的三维点云数据可以帮助车辆获得更精准的三维环境信息。通过激光雷达获取的点云数据对周围交通道路环境中的人机非等动态三维目标进行跟踪是自动驾驶感知领域的重要课题,准确的目标跟踪可以有效减少交通碰撞,提高自动驾驶车辆的安全性。目前的三维目标跟踪方法,受限于目标检测方法不能完全正确检测出所有的动态目标,容易引发误匹配或漏匹配等目标跟踪问题,因此,本发明通过二次隐式匹配方法,在显示匹配的基础上,通过对未正确检测出的隐式目标在预测轨迹中心点有效搜索空间进行聚类检测,实施二次隐式匹配,进一步提高动态三维目标跟踪的准确率,提升自动驾驶车辆的安全性。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于二次隐式匹配的动态三维目标跟踪方法及装置,解决现有的动态三维目标跟踪方法,由于三维目标跟踪方法不能完全正确检测出所有的动态目标进行匹配关联而引发的目标跟踪轨迹误匹配或漏匹配问题。
本发明的目的是通过以下技术方案来实现的:第一方面,一种基于二次隐式匹配的动态三维目标跟踪方法,该方法包括以下步骤:
(1)通过激光雷达采集交通道路上的点云数据,并进行标注,得到点云原点附近的动态三维目标在每一帧点云数据中按时间顺序排列的中心点位置坐标序列,并将中心点位置坐标序列拆分成若干个相同长度的小序列,组成预测数据集训练LSTM时序预测网络模型;
(2)定义目标轨迹列表,用于存储所有目标的轨迹信息,初始化为空;
(3)实时获取点云数据帧,若此时目标轨迹列表为空,则随机生成若干个伪预测中心点位置坐标;若不为空,对于存储的所有目标轨迹,若目标轨迹长度不满足要求,则对目标轨迹长度采用前值填充方式进行扩充,再通过训练好的LSTM时序预测网络模型预测目标轨迹在当前点云数据帧中的中心点位置坐标;
(4)采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;分别以步骤(3)得到的预测中心点位置坐标为原点,搜索其附近空间范围内是否存在显式检测框,进行匹配判断:满足中心点与该原点距离最近,且距离小于阈值;若存在,则认为匹配成功,否则,进行二次匹配,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,若隐式检测框中存在检测框,继续进行匹配判断;对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,添加至目标轨迹列表中,否则,更新目标轨迹信息,将匹配上的检测框的中心点位置坐标添加至目标轨迹列表中的对应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息;
(5)重复步骤(3)和步骤(4),直至所有目标的点云数据全部完成目标跟踪。
进一步地,步骤(2)中,对步骤(1)得到的点云数据,采用人工标注的方式,标注出距离点云原点附近的动态三维目标在每一帧点云数据中的中心点位置坐标,生成每个动态三维目标按时间先后顺序排列的中心点位置坐标序列,并将所有动态三维目标的中心点位置坐标序列,拆分成长度为M+1的小序列,长度不足M+1的小序列则采用前值填充法扩充长度至M+1。
进一步地,对长度不足M+1的小序列采用前值填充法扩充长度至M+1包括以下步骤:
(1.1)假设长度不足M+1的小序列表示为,序列长度为K+1,K<M,,/>为该序列的第k个中心点位置坐标,表示为/>,分别为中心点位置在当前XYZ坐标系下X、Y、Z三个方向的值;
(1.2)识别该序列的首值为,并在该首值的前部填充M-K个值,使得填充后的序列长度为M+1;填充后的序列表示为/>,/>,/>的坐标为/>,/>的坐标为/>,则填充的/>的坐标/>表示为:
。
进一步地,利用所有的小序列组成预测数据集,小序列的前M个元素作为LSTM时序预测网络模型的输入,小序列的最后一个元素作为LSTM时序预测网络模型的输出,采用梯度下降法训练LSTM时序预测网络模型直至模型收敛。
进一步地, 步骤(2)中定义目标轨迹列表L,存储所有目标的轨迹信息的过程具体为:定义一个变量表示单个目标的轨迹信息,其中/>为目标轨迹编号,/> 用于保存目标在所有被跟踪到的点云数据帧中的中心点位置坐标列表,按被跟踪到的时间先后顺序排列。
进一步地,随机生成若干个伪预测中心点位置坐标的方式为:
(2.1)将以点云数据帧原点为中心的空间范围均匀划分为个网格,其中/>分别表示在原点X、Y、Z方向的取值范围,每个网格的大小均为/>,其中/>表示网格在X、Y方向的大小,/>表示网格在Z方向的大小,单位均为米;
(2.2)在个网格中,随机选取S个网格,计算每个网格的中心点坐标值,作为伪预测中心点位置坐标;其中S大小为,floorInt表示向下取整。
进一步地,步骤(4)具体如下:
(4.1)采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;任一显式检测框表示为,其中/>分别为显式检测框在激光雷达坐标系下的中心点位置坐标;
(4.2)以步骤(3)得到的中心点位置坐标为原点,以d为半径的3D空间范围内,搜索是否存在显式检测框,其中心点与该目标中心点距离最近,且中心点距离小于阈值D,若存在,则认为匹配成功,否则,进行二次匹配,具体为,在以该中心点位置坐标为原点,以d为半径的3D空间范围内,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,并再次搜索3D空间范围内的隐式检测框中是否存在检测框,检测框中心点与该目标中心点距离最近,且中心点距离小于阈值D,若存在,则认为二次匹配成功;对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,将其添加至目标轨迹列表L中,否则,更新目标轨迹信息,即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息;若存在目标轨迹在最近两次跟踪过程中均没有被更新,则将其从目标轨迹列表L中删除。
进一步地,步骤(4)中,利用聚类产生的点云簇生成隐式检测框具体方法如下:
对聚类产生的任一点云簇,获取点云簇中所有点云的坐标,生成该点云簇的外接检测框;点云簇中点云数量为N,其中任意一个点云的坐标为,/>,则该点云簇的外接检测框最大角点坐标/>和最小角点坐标/>分别为:
该点云簇外接检测框的中心点位置坐标分别为:
;
则该点云簇的外接检测框表示为;将所有点云簇均生成外接检测框,所有外接检测框的集合为隐式检测框。
第二方面,本发明还提供了一种基于二次隐式匹配的动态三维目标跟踪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现所述的一种基于二次隐式匹配的动态三维目标跟踪方法。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时,实现所述的一种基于二次隐式匹配的动态三维目标跟踪方法。
本发明的有益效果是,本发明提出一种基于二次隐式匹配的动态三维目标跟踪方法,解决由于三维目标跟踪方法不能完全正确检测出所有的动态目标进行匹配关联而引发的目标轨迹误匹配或漏匹配问题,进一步提高动态三维目标跟踪方法的准确率。本发明引入了LSTM时序预测网络模型,通过将准确预测的目标轨迹位置,与当前点云数据检测出的显示、隐式目标检测框进行匹配,有效减少漏匹配和误匹配,从而提高目标跟踪的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是本发明一种基于二次隐式匹配的动态三维目标跟踪方法流程图。
图2是自动驾驶车辆车顶安装的激光雷达扫描周围交通环境生成的点云数据图。
图3是采用本发明方法对实时点云数据进行动态三维目标检测的效果展示图。
图4是机动车目标轨迹二次匹配的搜索空间范围示意图。
图5是非机动车目标轨迹二次匹配的搜索空间示意图。
图6是行人目标轨迹二次匹配的搜索空间示意图。
图7是本发明一种基于二次隐式匹配的动态三维目标跟踪装置的结构图。
具体实施方式
下面根据附图详细说明本发明,本发明的目的和效果将变得更加明白。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提出了一种基于二次隐式匹配的动态三维目标跟踪方法,利用时序预测网络模型,首先采用前值填充法将标注的轨迹序列进行长度对齐,并利用长度对齐的轨迹序列训练LSTM时序预测网络模型。再将其预测的目标轨迹和当前点云数据检测出的显示、隐式目标检测框进行匹配,实现目标轨迹和当前点云数据中目标的正确关联,从而提高目标跟踪的准确率。本发明实施场景为在开放道路上对通过自动驾驶车顶上安装的激光雷达获取的点云数据对周围交通道路环境中的机动车、行人、非机动车等动态三维目标进行跟踪, 由于点云数据具有三维空间性能,可以提供出目标的三维信息,对目标跟踪的准确性具有重要支撑作用。本发明用于解决现有的动态三维目标跟踪方法,由于三维目标检测方法不能完全正确检测出所有的动态目标而发生的目标跟踪轨迹误匹配或漏匹配问题。通过将预测的目标轨迹和当前点云数据检测出的显示、隐式目标检测框进行二次匹配,实现目标轨迹和当前点云数据中目标的正确关联,可显著提高目标跟踪的准确率。高精度的目标跟踪可用于预测人机非等动态移动目标的轨迹行为,对提升自动驾驶安全性能具有十分重要的作用。
本发明提供的一种基于二次隐式匹配的动态三维目标跟踪方法包括以下步骤:
步骤一:利用车顶安装了机械式激光雷达的自动驾驶车辆,收集1万帧车辆在开放交通道路上行驶时激光雷达采集到的点云数据。
上述机械式激光雷达为速腾RS-Ruby Plus 128线激光雷达,拥有更强的测距能力,具有超高分辨率,稳定可靠、功耗低、轻量化,是车规级量产国产激光雷达,普遍用于L4商业化、自动驾驶车辆,可提供交通环境精细化感知点云数据。本发明利用该型号的激光雷达进行点云数据采集、目标跟踪数据标注和目标跟踪方法测试。
步骤二:对收集到的点云数据,采用人工标注的方式,标注出距离点云原点100米范围内的动态三维目标(机动车、行人、非机动车)在每一帧点云数据中的中心点位置坐标,生成每个目标按时间先后顺序排列的中心点位置坐标序列;将所有目标的中心点位置坐标序列,拆分成长度为M+1的小序列,长度不足M+1的小序列则采用前值填充法扩充长度至M+1;利用所有的小序列组成预测数据集。
具体的,对长度不足M+1的小序列采用前值填充法扩充长度至M+1包括以下步骤:
(2.1)假设长度不足M+1的小序列可表示成,序列长度为K+1,K<M,,/>为该序列的第k个中心点位置坐标,可表示为/>,分别为中心点位置在当前XYZ坐标系下X、Y、Z三个方向的值;
(2.2)识别该序列的首值为,并在该首值的前部填充M-K个值,使得填充后的序列长度为M+1。
具体的,假设填充后的序列可表示为,,/>的坐标为/>,/>的坐标为/>,则填充的/>的坐标/>可表示为:
上述100米标注范围是基于自动驾驶环境感知距离要求确定的,通常认为100米是较远的感知距离,基本能保证自动驾驶车辆的驾驶安全。图2是自动驾驶车辆车顶安装速腾RS-Ruby Plus 128线激光雷达扫描周围交通环境生成的点云数据图,可以观察到,激光雷达距离原点越近,点云密度越高,距离原点越远,点云密度越低。同时采用三维目标检测方法检测机动车、行人、非机动车等目标的检测精度也随目标和原点的距离变大而逐渐变低,跟踪精度也随之变低。因此,有必要对检测精度变低情况下的目标跟踪方法进行改进,以提高车辆的安全驾驶性能。
步骤三:设计一个LSTM时序预测网络模型,并利用预测数据集中的小序列数据训练模型直至模型收敛。具体的,模型输入为小序列的前M个元素,模型输出为小序列的最后一个元素,采用梯度下降法训练预测网络模型直至模型收敛。
上述设计的LSTM时序网络模型,输入维度大小为M,第一层隐藏层维度大小为32,第二层隐藏层大小为8,输出维度大小为1。LSTM时序预测网络模型通过利用过去多个历史时间点的目标位置数据预测未来下一个时间点的目标位置,训练好的模型位置预测准确率高达98%,可实现准确的目标位置预测。
步骤四:定义目标轨迹列表L,用于存储所有目标的轨迹信息,初始化为空;
具体的,定义目标轨迹列表L,用于存储所有目标的轨迹信息,定义一个变量表示单个目标的轨迹信息,其中/>为目标轨迹编号,保存目标在所有被跟踪到的点云数据帧中的中心点位置坐标,按被跟踪到的时间先后顺序排列。
步骤五:实时获取自动驾驶车辆采集的点云数据帧,若此时目标轨迹列表L为空,则随机生成S个伪预测中心点位置坐标;若不为空,对存储的所有目标轨迹,若存在目标轨迹长度不足M,则采用步骤二中的前值填充方式,先将目标轨迹填充长度至M,再通过训练好的LSTM时序预测网络模型预测目标轨迹在当前点云数据帧中的中心点位置坐标;
具体的,随机生成S个伪预测中心点位置坐标的方式为:
(5.1)将以点云数据帧原点为中心的空间范围均匀划分为个网格,其中/>分别表示在原点X、Y、Z方向的取值范围,每个网格的大小均为/>,其中/>表示网格在X、Y方向的大小,/>表示网格在Z方向的大小,单位均为米。
(5.2)在个网格中,随机选取S个网格,并以每个网格的中心点坐标值生成伪预测中心点位置坐标,其中S大小为,floorInt表示向下取整。
步骤六:采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;分别以步骤五得到的中心点位置坐标为原点,搜索其附近空间范围内是否存在显式检测框,满足中心点与该原点距离最近,且距离小于D,若存在,则认为匹配成功,否则,进行二次匹配,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,若隐式检测框中存在检测框,满足中心点与该原点距离最近,且距离小于D,若存在,则认为二次匹配成功;对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,否则,更新目标轨迹信息,即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息。详细步骤具体如下:
(6.1)采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;任一显式检测框可表示为,其中/>分别为检测框在激光雷达坐标系下的中心点位置坐标;
(6.2)分别以步骤五得到的中心点位置坐标为原点,以d为半径的3D空间范围内,搜索是否存在显式检测框,满足中心点与该目标中心点距离最近,且中心点距离小于D,若存在,则认为匹配成功;否则,进行二次匹配,具体为,在以该中心点位置坐标为原点,以d为半径的3D空间范围内,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,并再次搜索该预测轨迹中心点3D空间范围内的隐式检测框中是否存在检测框,其中心点与该目标中心点距离最近,且中心点距离小于D,若存在,则认为二次匹配成功。对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,否则,更新目标轨迹信息,即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息。
(6.3)对没有被匹配上的检测框,则认为是新增轨迹,依次生成其目标轨迹信息,并将其添加至目标轨迹列表L中。
(6.4)对目标轨迹列表L中的目标轨迹,若其在最近两次跟踪过程中均没有被更新,则将其从目标轨迹列表L删除。
(6.5)重复步骤(6.1)~(6.4),直至所有的点云帧数据全部遍历完成。
具体的,对除检测框之外的点云进行聚类,采用的聚类方法为DSCAN。利用聚类产生的点云簇生成隐式检测框具体方法如下:
(1)对聚类产生的任一点云簇,获取簇中所有点云的坐标,生成该点云簇的外接检测框。
假设点云簇中点云数量为N,其中任意一个点云的坐标可表示为,,该点云簇的外接检测框最大角点坐标/>和最小角点坐标分别为:
则该点云簇的外接检测框的中心点位置坐标/>分别为:
(2)重复步骤(1),直至所有点云簇均生成外接检测框,所有外接检测框的集合为隐式检测框。
上述三维目标检测网络PointPillars是一种经典的基于点云数据的三维目标检测算法,相比于同类型的纯点云检测方法VoxelNet、Second,对小目标物体具有更高的检测精度,且 PointPillars算法由于将高分辨率的点云划分为点云柱状物的方式生成二维伪图像再生成特征图,最后回归出3D检测框的检测方式,无论是推理速度,还是检测精度均具有明显的优势。因此,本实例选择PointPillars网络模型进行显式目标检测,在基于英伟达RTX 3090显卡上,测试的单帧点云数据推理时长约为30ms,人机非等目标的检测精度mAP(平均精度均值)值100米范围内达到91%。
上述的采用PointPillars网络检测出的显式检测框和采用空间搜索聚类产生的隐式检测框,所能检测出的动态三维目标如图3中立体框所示,可以实现检测范围100米内高达91%的检测精度,检测范围50米内高达96%的检测精度,基于此高精度的显隐式目标检测,为实施后续的目标轨迹关联匹配提供了有力支撑。
上述的动态三维目标跟踪方法是基于先检测后跟踪的方法,检测和跟踪是二阶段解耦的,因此跟踪过程十分灵活,是一种进一步提高现有跟踪方法精度的有效方式。
上述的目标轨迹预测中心点位置的3D搜索空间范围和目标类型相关,小目标(如行人)搜索范围较小,大目标(如机动车)搜索范围较大。根据观察经验值,当D为目标轨迹中目标的三维检测框对角线长度的一半,d为D的两倍,可实现有效搜索。图4表示的是距离原点较远处的机动车辆的目标轨迹预测中心点位置的3D搜索空间范围,其搜索范围用圆圈表示,搜索半径大小为车辆目标的三维检测框对角线长度,图5表示的是非机动车(此处为三轮车)目标轨迹预测中心点位置的3D搜索空间范围,其搜索范围用圆圈表示,图6表示的是行人的3D搜索空间范围,其搜索范围用圆圈表示。行人等小目标搜索半径应小于机动车,在降低搜索成本的同时避免引入噪声目标。图4、图5、图6圆圈内的目标旁边标注的数字即为目标轨迹编号,该编号唯一,例如图4中的6_车、7_车和8_车,图5中的7_车和42_车表示的是机动车等大目标的轨迹编号,图4和图5中的35_三轮车,表示的是非机动车的轨迹编号,图6中的106_行人,表示的是行人等小目标的轨迹编号,图4、图5、图6中箭头表示目标的前进方向,采用本发明提出的跟踪方法能实现目标的有效跟踪,使得同一目标在整个跟踪过程中轨迹编号保持一致。
上述实时获取自动驾驶车辆的点云数据,并对点云目标依次进行动态三维目标跟踪,可以实现点云原点100米范围内目标的准确检测和稳定跟踪。通过采用本发明提出的二次隐式动态三维目标跟踪方法,动态目标跟踪准确率MOTA(多目标跟踪精度)值达到93.7%,可帮助自动驾驶车辆更加准确地感知周围障碍物目标的动态行为,提升自动驾驶的安全性能。
与前述一种基于二次隐式匹配的动态三维目标跟踪方法的实施例相对应,本发明还提供了一种基于二次隐式匹配的动态三维目标跟踪装置的实施例。
参见图7,本发明实施例提供的一种基于二次隐式匹配的动态三维目标跟踪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,用于实现上述实施例中的一种基于二次隐式匹配的动态三维目标跟踪方法。
本发明提供的一种基于二次隐式匹配的动态三维目标跟踪装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本发明提供的一种基于二次隐式匹配的动态三维目标跟踪装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种基于二次隐式匹配的动态三维目标跟踪方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (9)
1.一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,该方法包括以下步骤:
(1)通过激光雷达采集交通道路上的点云数据,并进行标注,得到点云原点附近的动态三维目标在每一帧点云数据中按时间顺序排列的中心点位置坐标序列,并将中心点位置坐标序列拆分成若干个相同长度的小序列,组成预测数据集训练LSTM时序预测网络模型;
(2)定义目标轨迹列表,用于存储所有目标的轨迹信息,初始化为空;对步骤(1)得到的点云数据,采用人工标注的方式,标注出距离点云原点附近的动态三维目标在每一帧点云数据中的中心点位置坐标,生成每个动态三维目标按时间先后顺序排列的中心点位置坐标序列,并将所有动态三维目标的中心点位置坐标序列,拆分成长度为M+1的小序列,长度不足M+1的小序列则采用前值填充法扩充长度至M+1;
(3)实时获取点云数据帧,若此时目标轨迹列表为空,则随机生成若干个伪预测中心点位置坐标;若不为空,对于存储的所有目标轨迹,若目标轨迹长度不满足要求,则对目标轨迹长度采用前值填充方式进行扩充,再通过训练好的LSTM时序预测网络模型预测目标轨迹在当前点云数据帧中的中心点位置坐标;
(4)采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;分别以步骤(3)得到的预测中心点位置坐标为原点,搜索其附近空间范围内是否存在显式检测框,进行匹配判断:满足中心点与该原点距离最近,且距离小于阈值;若存在,则认为匹配成功,否则,进行二次匹配,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,若隐式检测框中存在检测框,继续进行匹配判断;对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,添加至目标轨迹列表中,否则,更新目标轨迹信息,将匹配上的检测框的中心点位置坐标添加至目标轨迹列表中的对应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息;
(5)重复步骤(3)和步骤(4),直至所有目标的点云数据全部完成目标跟踪。
2.根据权利要求1所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,对长度不足M+1的小序列采用前值填充法扩充长度至M+1包括以下步骤:
(1.1)假设长度不足M+1的小序列表示为[l0,...,lk,...,lK],序列长度为K+1,K<M,0≤k≤K,lk为该序列的第k个中心点位置坐标,表示为(lkx,lky,lkz),分别为中心点位置在当前XYZ坐标系下X、Y、Z三个方向的值;
(1.2)识别该序列的首值为l0,并在该首值的前部填充M-K个值,使得填充后的序列长度为M+1;填充后的序列表示为[r0,...,rj,...,rM-K-1,l0,l1,...,lK],0≤j≤M-K-1,l0的坐标为(l0x,l0y,l0z),lK的坐标为(lKx,lKy,lKz),则填充的rj的坐标(rjx,rky,rkz)表示为:
其中,rj表示为序列首值之前填充的第j+1个值。
3.根据权利要求1所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,利用所有的小序列组成预测数据集,小序列的前M个元素作为LSTM时序预测网络模型的输入,小序列的最后一个元素作为LSTM时序预测网络模型的输出,采用梯度下降法训练LSTM时序预测网络模型直至模型收敛。
4.根据权利要求1所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,步骤(2)中定义目标轨迹列表L,存储所有目标的轨迹信息的过程具体为:定义一个变量Trj={t_id,3D_position_list}表示单个目标的轨迹信息,其中t_id为目标轨迹编号,3D_position_list用于保存目标在所有被跟踪到的点云数据帧中的中心点位置坐标列表,按被跟踪到的时间先后顺序排列。
5.根据权利要求1所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,随机生成若干个伪预测中心点位置坐标的方式为:
(2.1)将以点云数据帧原点为中心的Wx,Ly,Hz空间范围均匀划分为个网格,其中Wx,Ly,Hz分别表示在原点X、Y、Z方向的取值范围,每个网格的大小均为gridsize*gridsize*Hz,其中gridsize表示网格在X、Y方向的大小,Hz表示网格在Z方向的大小,单位均为米;
(2.2)在个网格中,随机选取S个网格,计算每个网格的中心点坐标值,作为伪预测中心点位置坐标;其中S大小为/>floorInt表示向下取整。
6.根据权利要求4所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,步骤(4)具体如下:
(4.1)采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标,生成显式检测框;任一显式检测框表示为(xvc,yvc,zvc),其中xvc,yvc,zvc分别为显式检测框在激光雷达坐标系下的中心点位置坐标;
(4.2)以步骤(3)得到的中心点位置坐标为原点,以d为半径的3D空间范围内,搜索是否存在显式检测框,其中心点与该目标中心点距离最近,且中心点距离小于阈值D,若存在,则认为匹配成功,否则,进行二次匹配,具体为,在以该中心点位置坐标为原点,以d为半径的3D空间范围内,对除显式检测框之外的点云进行聚类,利用聚类产生的点云簇生成隐式检测框,并再次搜索3D空间范围内的隐式检测框中是否存在检测框,检测框中心点与该目标中心点距离最近,且中心点距离小于阈值D,若存在,则认为二次匹配成功;对匹配成功的中心点位置坐标,若为伪预测中心点位置坐标,则认为匹配上的检测框是新增轨迹,生成其目标轨迹信息,将其添加至目标轨迹列表L中,否则,更新目标轨迹信息,即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端;对未被匹配上的显示检测框,认为是新增轨迹,生成其目标轨迹信息;若存在目标轨迹在最近两次跟踪过程中均没有被更新,则将其从目标轨迹列表L中删除。
7.根据权利要求1所述的一种基于二次隐式匹配的动态三维目标跟踪方法,其特征在于,步骤(4)中,利用聚类产生的点云簇生成隐式检测框具体方法如下:
对聚类产生的任一点云簇,获取点云簇中所有点云的坐标,生成该点云簇的外接检测框;点云簇中点云数量为N,其中任意一个点云的坐标为(xi,yi,zi),i∈[1,N],则该点云簇的外接检测框最大角点坐标(xmax,ymax,zmax)和最小角点坐标(xmin,ymin,zmin)分别为:
xmin=min{xi|i∈[1,N]},ymin=min{yi|i∈[1,N]},zmin=min{zi|i∈[1,N]}
xmax=max{xi|i∈[1,N]},ymax=max{yi|i∈[1,N]},zmax=max{zi|i∈[1,N]}
该点云簇外接检测框的中心点位置坐标(xhc,yhc,zhc)分别为:
则该点云簇的外接检测框表示为(xhc,yhc,zhc);将所有点云簇均生成外接检测框,所有外接检测框的集合为隐式检测框。
8.一种基于二次隐式匹配的动态三维目标跟踪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,实现如权利要求1-7中任一项所述的一种基于二次隐式匹配的动态三维目标跟踪方法。
9.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时,实现如权利要求1-7中任一项所述的一种基于二次隐式匹配的动态三维目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310815801.2A CN116523970B (zh) | 2023-07-05 | 2023-07-05 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310815801.2A CN116523970B (zh) | 2023-07-05 | 2023-07-05 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116523970A CN116523970A (zh) | 2023-08-01 |
CN116523970B true CN116523970B (zh) | 2023-10-20 |
Family
ID=87403351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310815801.2A Active CN116523970B (zh) | 2023-07-05 | 2023-07-05 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523970B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557599B (zh) * | 2024-01-12 | 2024-04-09 | 上海仙工智能科技有限公司 | 一种3d运动物体追踪方法及系统、存储介质 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230475A (zh) * | 2017-05-27 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 一种语音关键词识别方法、装置、终端及服务器 |
CN109961461A (zh) * | 2019-03-18 | 2019-07-02 | 湖南工程学院 | 一种基于三维分层图模型的多运动目标跟踪方法 |
CN110361727A (zh) * | 2019-07-22 | 2019-10-22 | 浙江大学 | 一种毫米波雷达多目标跟踪方法 |
CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
CN111161347A (zh) * | 2020-04-01 | 2020-05-15 | 亮风台(上海)信息科技有限公司 | 一种进行slam初始化的方法与设备 |
CN112561966A (zh) * | 2020-12-22 | 2021-03-26 | 清华大学 | 一种融合时空信息的稀疏点云多目标跟踪方法 |
CN112634325A (zh) * | 2020-12-10 | 2021-04-09 | 重庆邮电大学 | 一种无人机视频多目标跟踪方法 |
CN113468950A (zh) * | 2021-05-12 | 2021-10-01 | 东风汽车股份有限公司 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
CN113487653A (zh) * | 2021-06-24 | 2021-10-08 | 之江实验室 | 一种基于轨迹预测的自适应图跟踪方法 |
CN114241011A (zh) * | 2022-02-22 | 2022-03-25 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标检测方法、装置、设备及存储介质 |
WO2022142417A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN114743130A (zh) * | 2022-03-17 | 2022-07-12 | 齐鲁工业大学 | 多目标行人跟踪方法及系统 |
WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
CN114923491A (zh) * | 2022-05-12 | 2022-08-19 | 东南大学 | 一种基于特征融合和距离融合的三维多目标在线跟踪方法 |
CN114998628A (zh) * | 2022-06-06 | 2022-09-02 | 西安科技大学 | 基于模板匹配的孪生网络长时目标跟踪方法 |
CN115205391A (zh) * | 2022-05-20 | 2022-10-18 | 武汉理工大学 | 一种三维激光雷达和视觉融合的目标预测方法 |
CN115273034A (zh) * | 2022-08-08 | 2022-11-01 | 江苏智行未来汽车研究院有限公司 | 一种基于车载多传感器融合的交通目标检测与跟踪方法 |
CN115359089A (zh) * | 2022-09-06 | 2022-11-18 | 新石器慧通(北京)科技有限公司 | 点云目标跟踪方法、电子设备、介质及车辆 |
CN115797408A (zh) * | 2022-11-30 | 2023-03-14 | 清华大学 | 融合多视角图像和三维点云的目标跟踪方法及装置 |
CN116109669A (zh) * | 2022-12-30 | 2023-05-12 | 苏州艾氪英诺机器人科技有限公司 | 一种目标追踪方法、系统及电子设备 |
CN116152714A (zh) * | 2023-02-14 | 2023-05-23 | 北京爱芯科技有限公司 | 目标跟踪方法、系统及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170236284A1 (en) * | 2016-02-13 | 2017-08-17 | University Of Rochester | Registration of aerial imagery to vector road maps with on-road vehicular detection and tracking |
CN109188457B (zh) * | 2018-09-07 | 2021-06-11 | 百度在线网络技术(北京)有限公司 | 物体检测框的生成方法、装置、设备、存储介质及车辆 |
CN110782481B (zh) * | 2019-10-18 | 2023-09-05 | 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) | 无人艇智能决策方法及系统 |
-
2023
- 2023-07-05 CN CN202310815801.2A patent/CN116523970B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230475A (zh) * | 2017-05-27 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 一种语音关键词识别方法、装置、终端及服务器 |
CN109961461A (zh) * | 2019-03-18 | 2019-07-02 | 湖南工程学院 | 一种基于三维分层图模型的多运动目标跟踪方法 |
CN110361727A (zh) * | 2019-07-22 | 2019-10-22 | 浙江大学 | 一种毫米波雷达多目标跟踪方法 |
CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
CN111161347A (zh) * | 2020-04-01 | 2020-05-15 | 亮风台(上海)信息科技有限公司 | 一种进行slam初始化的方法与设备 |
CN112634325A (zh) * | 2020-12-10 | 2021-04-09 | 重庆邮电大学 | 一种无人机视频多目标跟踪方法 |
CN112561966A (zh) * | 2020-12-22 | 2021-03-26 | 清华大学 | 一种融合时空信息的稀疏点云多目标跟踪方法 |
WO2022142417A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
CN113468950A (zh) * | 2021-05-12 | 2021-10-01 | 东风汽车股份有限公司 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
CN113487653A (zh) * | 2021-06-24 | 2021-10-08 | 之江实验室 | 一种基于轨迹预测的自适应图跟踪方法 |
CN114241011A (zh) * | 2022-02-22 | 2022-03-25 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标检测方法、装置、设备及存储介质 |
CN114743130A (zh) * | 2022-03-17 | 2022-07-12 | 齐鲁工业大学 | 多目标行人跟踪方法及系统 |
CN114923491A (zh) * | 2022-05-12 | 2022-08-19 | 东南大学 | 一种基于特征融合和距离融合的三维多目标在线跟踪方法 |
CN115205391A (zh) * | 2022-05-20 | 2022-10-18 | 武汉理工大学 | 一种三维激光雷达和视觉融合的目标预测方法 |
CN114998628A (zh) * | 2022-06-06 | 2022-09-02 | 西安科技大学 | 基于模板匹配的孪生网络长时目标跟踪方法 |
CN115273034A (zh) * | 2022-08-08 | 2022-11-01 | 江苏智行未来汽车研究院有限公司 | 一种基于车载多传感器融合的交通目标检测与跟踪方法 |
CN115359089A (zh) * | 2022-09-06 | 2022-11-18 | 新石器慧通(北京)科技有限公司 | 点云目标跟踪方法、电子设备、介质及车辆 |
CN115797408A (zh) * | 2022-11-30 | 2023-03-14 | 清华大学 | 融合多视角图像和三维点云的目标跟踪方法及装置 |
CN116109669A (zh) * | 2022-12-30 | 2023-05-12 | 苏州艾氪英诺机器人科技有限公司 | 一种目标追踪方法、系统及电子设备 |
CN116152714A (zh) * | 2023-02-14 | 2023-05-23 | 北京爱芯科技有限公司 | 目标跟踪方法、系统及电子设备 |
Non-Patent Citations (3)
Title |
---|
基于时间序列的目标车辆轨迹预测算法;孙影;王铁;;汽车实用技术(第06期);全文 * |
基于激光点云与图像信息融合的交通环境车辆检测;郑少武;李巍华;胡坚耀;;仪器仪表学报(第12期);全文 * |
机器人头部的视觉跟踪系统研究;宋博, 黄强, 郝群, 张伟民, 别海罡;光学技术(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116523970A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220130156A1 (en) | Three-dimensional object detection and intelligent driving | |
US11772654B2 (en) | Occupancy prediction neural networks | |
CN110675307B (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
Yu et al. | Vehicle detection and localization on bird's eye view elevation images using convolutional neural network | |
US20210333108A1 (en) | Path Planning Method And Device And Mobile Device | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
US11967103B2 (en) | Multi-modal 3-D pose estimation | |
CN111860227A (zh) | 训练轨迹规划模型的方法、装置和计算机存储介质 | |
CN112734931B (zh) | 一种辅助点云目标检测的方法及系统 | |
CN116523970B (zh) | 基于二次隐式匹配的动态三维目标跟踪方法及装置 | |
WO2022104254A1 (en) | Efficient three-dimensional object detection from point clouds | |
KR20180059188A (ko) | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 | |
CN113076804B (zh) | 基于YOLOv4改进算法的目标检测方法、装置及系统 | |
CN111126327B (zh) | 车道线检测方法、系统、车载系统及车辆 | |
CN112733971B (zh) | 扫描设备的位姿确定方法、装置、设备及存储介质 | |
CN116229448A (zh) | 三维目标检测方法、装置、设备及可读存储介质 | |
CN111338336B (zh) | 一种自动驾驶方法及装置 | |
US20230105331A1 (en) | Methods and systems for semantic scene completion for sparse 3d data | |
CN115423985A (zh) | 一种剔除点云地图中动态物体点云的方法 | |
CN115359089A (zh) | 点云目标跟踪方法、电子设备、介质及车辆 | |
CN114677662A (zh) | 一种车辆前方障碍状态预测方法、装置、设备及存储介质 | |
CN112305558A (zh) | 一种利用激光点云数据的移动机器人轨迹确定方法及装置 | |
CN115965944B (zh) | 目标信息的检测方法、设备、驾驶设备和介质 | |
CN112258646B (zh) | 一种三维线地标构建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |