CN116188522A - 基于点云信息的感知预测系统及预测方法 - Google Patents

基于点云信息的感知预测系统及预测方法 Download PDF

Info

Publication number
CN116188522A
CN116188522A CN202211106175.1A CN202211106175A CN116188522A CN 116188522 A CN116188522 A CN 116188522A CN 202211106175 A CN202211106175 A CN 202211106175A CN 116188522 A CN116188522 A CN 116188522A
Authority
CN
China
Prior art keywords
tracking
module
result
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211106175.1A
Other languages
English (en)
Inventor
吴立刚
张文栋
吴承伟
沈肖宁
尹立远
姚蔚然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211106175.1A priority Critical patent/CN116188522A/zh
Publication of CN116188522A publication Critical patent/CN116188522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

基于点云信息的感知预测系统及预测方法,它属于信息安全技术领域。本发明解决了现有方法对运动目标轨迹预测的精度低的问题。本发明以3D点云数据作为系统的输入量,通过卷积神经网络对目标物体进行实时的检测和识别,并基于识别结果对目标进行动态的跟踪。同时,本发明系统设计了补偿反馈模块,提高了目标跟踪的连续性。本发明设计了稳定模块,使得系统跟踪生成的轨迹更加的平稳。基于跟踪轨迹,本发明采用Transformer结构设计了预测模块,对被识别物体将来的轨迹进行预测。本发明方法可以应用于信息安全技术领域。

Description

基于点云信息的感知预测系统及预测方法
技术领域
本发明属于信息安全技术领域,具体涉及一种基于点云信息的感知预测系统及预测方法。
背景技术
智能无人系统融合了控制、感知、规划、建图、人工智能等技术。作为未来的重点发展领域,机器人及智能无人系统关键技术的发展受到了各个领域越来越多的重视。近年来,尽管机器人及智能无人系统的发展取得了众多成果,但是距离其在复杂动态环境下的广泛应用仍有一定距离。其中,最重要的原因之一就是其与周围环境交互的安全性得不到有效的保障。比如,在城市的环境中运动的机器人平台对于移动过程中的行人车辆的感知和规避仍是亟待解决的重要问题,因此,提高对运动目标轨迹预测的精度就是十分必要的,但是,现有方法对运动目标轨迹预测的精度仍然较低。
在机器人及智能无人系统领域,系统对周围环境的感知、预测对于路径规划、决策起到重要作用。随着深度学习技术的发展,神经网络被广泛应用到基于点云的目标检测及轨迹预测等相关领域。基于这些相关的技术,设计基于点云信息的感知预测系统来预测移动物体的将来轨迹具有重要科学意义。
发明内容
本发明的目的是为解决现有方法对运动目标轨迹预测的精度低的问题,而提出的一种基于点云信息的感知预测系统及预测方法。
本发明为解决上述技术问题所采取的技术方案是:
基于本发明的一个方面,一种基于点云信息的感知预测系统,所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块,其中:
所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别;
所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪;
所述补偿反馈模块用于存储跟踪结果,判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果反馈给跟踪模块,再对新到来的跟踪结果进行存储;
所述稳定模块用于对跟踪模块的跟踪结果进行处理,轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。
基于本发明的另一个方面,一种基于点云信息的感知预测方法,所述方法具体包括以下步骤:
利用目标检测模块对输入的3D点云数据进行处理,得到对运动目标的实时检测和识别结果;
利用跟踪模块对运动目标的实时检测和识别结果进行处理,获得实时目标跟踪结果;
利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果实时反馈给跟踪模块,跟踪模块根据实时接收到的判断结果继续进行目标跟踪,同时补偿反馈模块对新到来的跟踪结果以及跟踪结果在目标检测模块中的检测结果位置进行存储;
利用稳定模块对跟踪模块的跟踪结果依次进行三次样条插值和均值滤波处理,获得处理后的跟踪结果,再利用轨迹预测模块根据处理后的跟踪结果进行运动目标的轨迹预测。
本发明的有益效果是:
本发明以3D点云数据作为系统的输入量,通过卷积神经网络对目标物体进行实时的检测和识别,并基于识别结果对目标进行动态的跟踪。同时,本发明系统设计了补偿反馈模块,提高了目标跟踪的连续性。本发明设计了稳定模块,使得系统跟踪生成的轨迹更加的平稳。基于跟踪轨迹,本发明采用Transformer结构设计了预测模块,对被识别物体将来的轨迹进行预测。实验证明,采用本发明的系统可以提高运动目标轨迹预测的精度。
附图说明
图1为本发明的一种基于点云信息的感知预测系统的框图;
图2是PointPillars和PV-RCNN的神经网络结构图;
图3是跟踪模块算法流程图;
图4(a)是原始的目标跟踪轨迹图;
图4(b)是通过样条插值获得的目标跟踪轨迹图;
图4(c)是均值滤波后的目标跟踪轨迹图;
图4(d)是附加高斯噪声后的轨迹图;
图5是Transformer网络结构图;
图6是加入反馈补偿模块和未加入反馈补偿模块前后的轨迹跟踪结果对比图;
图7是本发明系统的整体输出结果图。
具体实施方式
具体实施方式一:结合图1和图3说明本实施方式。本实施方式所述的一种基于点云信息的感知预测系统,所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块,其中:
所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别;
所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪;
所述补偿反馈模块用于存储跟踪结果,判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果反馈给跟踪模块,再对新到来的跟踪结果进行存储(用于后续判断);
所述稳定模块用于对跟踪模块的跟踪结果进行处理,轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。
具体实施方式二:本实施方式与具体实施方式一不同的是,所述目标检测模块基于卷积神经网络的PointPillars算法实现。
为了保证系统的实时性和准确性,本发明采用了基于卷积神经网络的PointPillars算法进行实时检测,并采用精度较高的PV-RCNN算法保证系统的训练精度。PointPillars和PV-RCNN的神经网络结构如图2所示。PointPillars将3D点云投影到“pillars”中,并使用二维CNN检测目标,因此可以减少计算量并提高正向传播速度。同时,基于二维检测技术的日益成熟,即使一些特征已经丢失,也可以得到相对较好的检测精度。与PointPillars相比,PV-RCNN直接使用3D体素CNN基于3D点云提取全局特征,因此它可以编码更丰富的上下文信息以准确估计对象的可信度和位置。相反,由于使用三维体素CNN,PV-RCNN需要更多的时间进行前向传播。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,所述跟踪模块采用AB3DMOT算法进行目标跟踪。
本发明采用AB3DMOT算法进行目标跟踪,算法结合了3D卡尔曼滤波器和匈牙利算法,在多目标跟踪任务中的跟踪速度可以达到207.4Hz。同时,AB3DMOT不依赖于神经网络的训练结果。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:基于具体实施方式一所述的一种基于点云信息的感知预测系统的预测方法,所述方法具体包括以下步骤:
利用目标检测模块对输入的3D点云数据进行处理,得到对运动目标的实时检测和识别结果;
利用跟踪模块对运动目标的实时检测和识别结果进行处理,获得实时目标跟踪结果;
利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果实时反馈给跟踪模块,跟踪模块根据实时接收到的判断结果继续进行目标跟踪,同时补偿反馈模块对新到来的跟踪结果以及跟踪结果在目标检测模块中的检测结果位置进行存储;
利用稳定模块对跟踪模块的跟踪结果依次进行三次样条插值和均值滤波处理,获得处理后的跟踪结果,再利用轨迹预测模块根据处理后的跟踪结果进行运动目标的轨迹预测。
具体实施方式五:本实施方式与具体实施方式四不同的是,所述跟踪模块的输入向量R为:
R={frame,x,y,z,roty,θ,l,w,h,s,vx,vy,vz} (1)
其中,frame是检测结果的帧数,(x,y,z)是检测到的目标的中心,(l,w,h)是检测到的目标位置所在的三维边界框的大小,roty表示目标方向的检测结果,θ表示航向角,s是置信度,(vx,vy,vz)是目标速度;
跟踪模块的输出向量C为:
C={frame,id,x,y,z,roty,θ,l,w,h,s} (2)
其中,id是跟踪结果。
其它步骤及参数与具体实施方式四相同。
具体实施方式六:本实施方式与具体实施方式四或五不同的是,所述航向角θ的计算方式为:
Figure BDA0003841204120000041
其中,whileθ>π:,θ:=θ-2π代表的含义为:若θ的值大于π,则一直执行θ减2π操作,直至不满足θ>π时得到θ的最终取值;else whileθ<-π:,θ:=θ+2π代表的含义为:若θ的值小于-π,则一直执行θ加2π操作,直至不满足θ<-π时得到θ的最终取值;若θ的值为-π≤θ≤π,则不需要对θ的值进行处理。
其它步骤及参数与具体实施方式四或五相同。
具体实施方式七:本实施方式与具体实施方式四至六之一不同的是,所述速度(vx,vy,vz)为:
Figure BDA0003841204120000051
其中,(vx(t),vy(t),vz(t))为t时刻的速度,Rx(t)为t时刻x方向的位置检测结果,Ry(t)为t时刻y方向的位置检测结果,Rz(t)为t时刻z方向的位置检测结果,Δt表示两个检测结果之间的时间间隔,Rx(t-Δt)为t-Δt时刻x方向的位置检测结果,Ry(t-Δt)为t-Δt时刻y方向的位置检测结果,Rz(t-Δt)为t-Δt时刻z方向的位置检测结果。
本实施方式中,x方向、y方向和z方向为空间直角坐标系的三个坐标轴。
其它步骤及参数与具体实施方式四至六之一相同。
具体实施方式八:本实施方式与具体实施方式四至七之一不同的是,所述利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,其具体过程为:
若新到来的跟踪结果在目标检测模块中对应的检测结果位置与已存储的跟踪结果对应的检测结果位置满足条件:
Figure BDA0003841204120000052
则新到来的跟踪结果与已存储的跟踪结果来自于同一跟踪对象,否则,不来自于同一跟踪对象;
其中,(posx,posy,posz)表示新跟踪对象的当前位置,(xi,yi,zi)表示已存储的检测结果位置,||·||2为2范数,n表示已存储的检测结果位置的总个数,k为阈值。
本发明中的跟踪模块的输入是目标检测的检测结果。然而,在实际系统中,检测结果的不稳定性和不连续性是不可避免的。因此,本发明提出了一种补偿机制来保证跟踪结果的稳定性。补偿机制基于一个先验条件,即检测到的目标不会随机出现在点云地图中。因此,id和检测结果的位置暂时存储在存储单元中。系统会检查它消失的跟踪结果。当出现新的跟踪对象时,系统会将新的跟踪对象与系统存储的对象进行比较,实验表明,这种补偿机制可以很好地解决目标检测模块和跟踪模块之间的连接问题。
其它步骤及参数与具体实施方式四至七之一相同。
具体实施方式九:本实施方式与具体实施方式四至八之一不同的是,所述三次样条插值的具体过程为:
对于来自于某个跟踪目标的跟踪结果,利用t表示离散时间节点,离散点处函数f的值F=f(t),将定义域分为{(t0,t1),(t1,t2),...,(tn-1,tn′)},端点ti′处的函数值为f(ti′)=(xi′,yi′,zi′),i′=0,1,2,3...n′,n′表示对该跟踪目标的跟踪轨迹点的个数,在每个子定义域区间内,插值条件S(F)满足公式(5),S(F)是包含各个定义域内插值函数的分段函数:
Figure BDA0003841204120000061
S'(F),S”(F),S”'(F)满足公式(6)至(8)的边界条件:
S”(F0)=S”(Fn′)=0 (6)
S0'(F0)=A,Sn′-1'(Fn′)=B (7)
S″′0(F0)=S″′1(F1),S″′n′-2(Fn′-1)=S″′n′-1(Fn′) (8)
其中,A和B为常数,S'(F)为S(F)的一阶导数,S″(F)为S(F)的二阶导数,S″′(F)为S(F)的三阶导数;
多项式系数{ai′,bi′,ci′,di′|i′=1,2,...,n′}利用公式(9)计算:
Figure BDA0003841204120000062
其中,Fi′=f(ti′),hi′=ti′+1-ti′表示自变量的步长,mi′为中间变量;
Figure BDA0003841204120000071
公式(10)满足:m0=mn′=0。
在目标检测和跟踪的过程中,每条轨迹都是不稳定的,这意味着相邻两帧的检测结果会产生大量的抖动。此外,原始检测结果数据是稀疏的,如图4(a)所示。不稳定的问题将会影响轨迹预测的精度。为了解决不稳定的问题,本发明在稳定模块中采用了一些数值分析方法。跟踪的轨迹可以看作是一个三维序列,这些序列用(x,y,z)来表示对象的位置。为了避免数据增强过程中产生龙格现象,稳定模块采用三次样条插值来改善跟踪结果,进而提高预测性能,带有插值的数据集如图4(b)所示。
其它步骤及参数与具体实施方式四至八之一相同。
具体实施方式十:本实施方式与具体实施方式四至九之一不同的是,所述均值滤波的具体过程为:
Figure BDA0003841204120000072
其中,Mi′代表跟踪结果中第i′个跟踪轨迹点的均值滤波结果,size表示内核大小,
Figure BDA0003841204120000073
代表取区间/>
Figure BDA0003841204120000074
范围内的整数。
通过均值滤波以确保数据集在每个维度上的平滑性,均值滤波后的轨迹曲线如图4(c)所示。
其它步骤及参数与具体实施方式四至九之一相同。
轨迹预测模块采用Transformer作为预测网络,当神经网络对预测模块进行训练时,在训练数据中加入一些噪声可以提高Transformer模型的鲁棒性并避免过拟合。噪声服从数学期望为零的高斯分布。基于噪声不会对原始样本产生跨数量级的影响的原则,样本的分布偏差如公式(12),噪声分布的标准差s如公式(13),其中k是常数,在本模块中,k=41.28。带有高斯噪声的训练数据集如图4(d)所示。
Figure BDA0003841204120000081
Figure BDA0003841204120000082
考虑到适应非线性数据和具有更快的预测速度,采用Transformer作为预测网络。在进行轨迹预测前,做出先验假设:未来一段时间的轨迹只由之前几个状态决定,如公式(14)。
P[St+1..St+n|St...St-m]=P[St+1..St+n|St...St-m-k] (14)
在该模块中,轨迹的训练数据集为基于KITTI数据集上的轨迹跟踪结果。Transformer可广泛用于序列预测。Transformer是由一些编码器和解码器模块组成的网络体系结构。该网络使用多头注意,它包含三个基础模块:注意力模块、前馈全连接模块和残差连接。注意力可以由公式(15)计算,其中Q表示query、V表示value,K表示keys。
Figure BDA0003841204120000083
/>
Transformer采用原始参数进行训练,即6个layer和8个注意头。行人的位置可以用(x,y,z)表示,但是,在激光雷达的坐标中,y坐标的值是基本不变的。因此,提出了一个先验假设:y对于一个行人来说在短时间内是常数,因此该模块只预测(x,z)。模块选择Adam作为优化器。此外,还应用了dropout和normalization来避免过拟合和梯度消失的问题。Transformer网络结构如图5所示。
实验结果
实时性分析:在本实验中,在GTX 1050和Tesla P100上测量了相应模块的实时性能,相关实验数据如表1所示。这一结果表明,即使在低效率的GPU上,本发明的系统仍可以一定程度上保证实时性。考虑到预测轨迹在短时间内是相对精确的,提出了一种系统预测每四帧一次的轨迹,这可以将系统的速度提高到大约20.43Hz(Tesla P100)和12.96Hz(在GTX 1050上),它可以超过一般的激光雷达扫描频率(大约10Hz)。
表1各个模块运行速度(ms)
Figure BDA0003841204120000091
补偿反馈性能分析:在KITTI跟踪集上,发现在没有补偿模块的情况下,由于检测结果的不连续性,同一目标的跟踪结果会发生变化。本部分通过实验验证了补偿机制的有效性。在图6中,比较了带补偿和不带补偿的跟踪结果。左边的三张图片显示,在未加入补偿模块时,同一行人的ID发生了三次变化,从3到6再到68。当添加补偿机制后,该行人的ID不再改变,如右边的三张图片所示。实验证明,补偿模块具有稳定检测和跟踪结果的功能。
对于预测轨迹,系统期望在对象的过去时间接收更长的轨迹,这更有可能获得更准确的预测结果。因此,本发明的系统提出了ATL的概念,即平均跟踪长度,如公式(16)。对于相同的跟踪数据集,跟踪目标数量越少,每个目标的跟踪长度越长,ATL越小,这意味着跟踪结果更适合于轨迹预测。在本实验中,选择KITTI样本编号0020到0026的跟踪测试集来验证补偿模块的性能,实验结果如表2,其中,编号No.Frame表示帧数,AB3DMOT表示无补偿模块的实验,k可参考
Figure BDA0003841204120000093
。结果表明,补偿模块可以改善跟踪结果的连续性,延长跟踪平均长度。
Figure BDA0003841204120000092
/>
表2加入反馈补偿前后的ATL变化
Figure BDA0003841204120000101
稳定模块的性能分析:为了衡量稳定模块的性能改进,在三种情况下比较了训练结果:原始跟踪数据(//Method A);采用三次样条插值和均值滤波的跟踪数据(Method B);跟踪数据采用三次样条插值、均值滤波和高斯噪声(Method C)。有三个评估指标:MAD、FAD,以及MAD和FAD的平均值,实验结果如表3所示。
表3稳定模块的性能
Figure BDA0003841204120000102
为了进一步验证稳定模块能够提高轨迹预测性能的功能,本发明在4个公共数据集上进行了实验:1)ETH、2)Hotel、3)Zara1和4)Zara2。与上述实验相同,选择MAD和FAD为衡量指标。将稳定模块与Transformer相结合的方法与其他方法进行比较:线性插值法(Linear),基于LSTM的方法(例如S-GAN individual和S-GAN Social),无稳定模块的Transformer。结果表明,采用稳定模块的方法对ETH数据集等相对复杂场景中采集的数据集有一定的改进。此外,在相对简单的场景中,传统方法(如线性插值)具有更好的性能。实验结果如表4所示。
表4不同数据集下稳定模块的性能(Validation)
Figure BDA0003841204120000111
整体实验结果:本发明系统的相关实验在KITTI跟踪集上进行测试,系统的输入是原始点云,输出是预测轨迹。图7将结果从三维坐标投影到二维坐标,以便在图像上可视化结果。同时,这些结果在点云的鸟瞰图上显示出来。在图像视图上,边界框是位置结果,离散点是投影到图像坐标的预测。在点云的鸟瞰图上,轨迹的离散点表示系统预测的轨迹,不同边框表示不同的检测对象。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种基于点云信息的感知预测系统,其特征在于,所述系统包括目标检测模块、跟踪模块、补偿反馈模块、稳定模块和轨迹预测模块,其中:
所述目标检测模块用于根据输入的3D点云数据对运动目标进行实时检测和识别;
所述跟踪模块用于根据目标检测模块的检测和识别结果进行目标跟踪;
所述补偿反馈模块用于存储跟踪结果,判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果反馈给跟踪模块,再对新到来的跟踪结果进行存储;
所述稳定模块用于对跟踪模块的跟踪结果进行处理,轨迹预测模块用于根据稳定模块的处理结果进行运动目标的轨迹预测。
2.根据权利要求1所述的一种基于点云信息的感知预测系统,其特征在于,所述目标检测模块基于卷积神经网络的PointPillars算法实现。
3.根据权利要求2所述的一种基于点云信息的感知预测系统,其特征在于,所述跟踪模块采用AB3DMOT算法进行目标跟踪。
4.基于权利要求1所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述方法具体包括以下步骤:
利用目标检测模块对输入的3D点云数据进行处理,得到对运动目标的实时检测和识别结果;
利用跟踪模块对运动目标的实时检测和识别结果进行处理,获得实时目标跟踪结果;
利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,并将判断结果实时反馈给跟踪模块,跟踪模块根据实时接收到的判断结果继续进行目标跟踪,同时补偿反馈模块对新到来的跟踪结果以及跟踪结果在目标检测模块中的检测结果位置进行存储;
利用稳定模块对跟踪模块的跟踪结果依次进行三次样条插值和均值滤波处理,获得处理后的跟踪结果,再利用轨迹预测模块根据处理后的跟踪结果进行运动目标的轨迹预测。
5.根据权利要求4所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述跟踪模块的输入向量R为:
R={frame,x,y,z,roty,θ,l,w,h,s,vx,vy,vz} (1)
其中,frame是检测结果的帧数,(x,y,z)是检测到的目标的中心,(l,w,h)是检测到的目标位置所在的三维边界框的大小,roty表示目标方向的检测结果,θ表示航向角,s是置信度,(vx,vy,vz)是目标速度;
跟踪模块的输出向量C为:
C={frame,id,x,y,z,roty,θ,l,w,h,s} (2)
其中,id是跟踪结果。
6.根据权利要求5所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述航向角θ的计算方式为:
Figure FDA0003841204110000021
其中,whileθ>π:,θ:=θ-2π代表的含义为:若θ的值大于π,则一直执行θ减2π操作,直至不满足θ>π时得到θ的最终取值;else whileθ<-π:,θ:=θ+2π代表的含义为:若θ的值小于-π,则一直执行θ加2π操作,直至不满足θ<-π时得到θ的最终取值;若θ的值为-π≤θ≤π,则不需要对θ的值进行处理。
7.根据权利要求6所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述速度(vx,vy,vz)为:
Figure FDA0003841204110000022
其中,(vx(t),vy(t),vz(t))为t时刻的速度,Rx(t)为t时刻x方向的位置检测结果,Ry(t)为t时刻y方向的位置检测结果,Rz(t)为t时刻z方向的位置检测结果,Δt表示两个检测结果之间的时间间隔,Rx(t-Δt)为t-Δt时刻x方向的位置检测结果,Ry(t-Δt)为t-Δt时刻y方向的位置检测结果,Rz(t-Δt)为t-Δt时刻z方向的位置检测结果。
8.根据权利要求7所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述利用补偿反馈模块判断新到来的跟踪结果与已存储的跟踪结果是否来自于同一跟踪对象,其具体过程为:
若新到来的跟踪结果在目标检测模块中对应的检测结果位置与已存储的跟踪结果对应的检测结果位置满足条件:
Figure FDA0003841204110000023
则新到来的跟踪结果与已存储的跟踪结果来自于同一跟踪对象,否则,不来自于同一跟踪对象;
其中,(posx,posy,posz)表示新跟踪对象的当前位置,(xi,yi,zi)表示已存储的检测结果位置,||·||2为2范数,n表示已存储的检测结果位置的总个数,k为阈值。
9.根据权利要求8所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述三次样条插值的具体过程为:
对于来自于某个跟踪目标的跟踪结果,利用t表示离散时间节点,离散点处函数f的值F=f(t),将定义域分为{(t0,t1),(t1,t2),...,(tn-1,tn′)},端点ti′处的函数值为f(ti′),i′=0,1,2,3...n′,n′表示对该跟踪目标的跟踪轨迹点的个数,在每个子定义域区间内,插值条件S(F)满足公式(5):
Figure FDA0003841204110000031
S'(F),S”(F),S”'(F)满足公式(6)至(8)的边界条件:
S”(F0)=S”(Fn′)=0 (6)
S0'(F0)=A,Sn′-1'(Fn′)=B (7)
S0”'(F0)=S1”'(F1),S”'n′-2(Fn′-1)=S”'n′-1(Fn′) (8)
其中,A和B为常数,S'(F)为S(F)的一阶导数,S”(F)为S(F)的二阶导数,S”'(F)为S(F)的三阶导数;
多项式系数{ai′,bi′,ci′,di′|i′=1,2,...,n′}利用公式(9)计算:
Figure FDA0003841204110000032
其中,Fi′=f(ti′),hi′=ti′+1-ti′表示自变量的步长,mi′为中间变量;
Figure FDA0003841204110000041
公式(10)满足:m0=mn′=0。
10.根据权利要求9所述的一种基于点云信息的感知预测系统的预测方法,其特征在于,所述均值滤波的具体过程为:
Figure FDA0003841204110000042
其中,Mi′代表跟踪结果中第i′个跟踪轨迹点的均值滤波结果,size表示内核大小,
Figure FDA0003841204110000043
代表取区间/>
Figure FDA0003841204110000044
范围内的整数。/>
CN202211106175.1A 2022-09-09 2022-09-09 基于点云信息的感知预测系统及预测方法 Pending CN116188522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211106175.1A CN116188522A (zh) 2022-09-09 2022-09-09 基于点云信息的感知预测系统及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211106175.1A CN116188522A (zh) 2022-09-09 2022-09-09 基于点云信息的感知预测系统及预测方法

Publications (1)

Publication Number Publication Date
CN116188522A true CN116188522A (zh) 2023-05-30

Family

ID=86440994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211106175.1A Pending CN116188522A (zh) 2022-09-09 2022-09-09 基于点云信息的感知预测系统及预测方法

Country Status (1)

Country Link
CN (1) CN116188522A (zh)

Similar Documents

Publication Publication Date Title
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
CN112347993B (zh) 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法
Hug et al. Particle-based pedestrian path prediction using LSTM-MDL models
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN105405151A (zh) 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN110046677B (zh) 数据预处理方法、地图构建方法、回环检测方法及系统
CN112052802A (zh) 一种基于机器视觉的前方车辆行为识别方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN115547040A (zh) 安全势场下基于informer神经网络的驾驶行为预测方法
Xu et al. Dynamic vehicle pose estimation and tracking based on motion feedback for LiDARs
CN113895460A (zh) 行人轨迹预测方法、装置及存储介质
CN103985139A (zh) 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法
CN111711432B (zh) 一种基于ukf和pf混合滤波的目标跟踪算法
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN116931583A (zh) 移动对象的确定方法和避让方法、装置、设备及存储介质
CN116188522A (zh) 基于点云信息的感知预测系统及预测方法
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
Wang et al. Pmds-slam: Probability mesh enhanced semantic slam in dynamic environments
Gao et al. Whether and how congested is a road? Indices, updating strategy and a vision‐based detection framework
Chen Vehicle Feature Recognition via a Convolutional Neural Network with an Improved Bird Swarm Algorithm
CN111765892A (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
Gao Athlete behavior recognition technology based on siamese-rpn tracker model
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination