CN116469041B - 一种目标对象的运动轨迹预测方法、系统及设备 - Google Patents

一种目标对象的运动轨迹预测方法、系统及设备 Download PDF

Info

Publication number
CN116469041B
CN116469041B CN202310730980.XA CN202310730980A CN116469041B CN 116469041 B CN116469041 B CN 116469041B CN 202310730980 A CN202310730980 A CN 202310730980A CN 116469041 B CN116469041 B CN 116469041B
Authority
CN
China
Prior art keywords
particle
state
particles
data
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310730980.XA
Other languages
English (en)
Other versions
CN116469041A (zh
Inventor
李湘文
杨佳琦
常思扬
叶玉彬
古杰文
白桂铭
周玲
刘凯
周模海
廖轩
张怡帆
刘忠诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwestern Institute of Physics
Engineering and Technical College of Chengdu University of Technology
Original Assignee
Southwestern Institute of Physics
Engineering and Technical College of Chengdu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwestern Institute of Physics, Engineering and Technical College of Chengdu University of Technology filed Critical Southwestern Institute of Physics
Priority to CN202310730980.XA priority Critical patent/CN116469041B/zh
Publication of CN116469041A publication Critical patent/CN116469041A/zh
Application granted granted Critical
Publication of CN116469041B publication Critical patent/CN116469041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明提出了一种目标对象的运动轨迹预测方法、系统及设备,涉及目标跟踪技术领域。该方法包括:基于目标对象反射的多个超声波回波数据得到对应的粒子数据;基于粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,粒子权重是根据粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于状态序列进行预测目标对象的预判轨迹。其能够提升粒子滤波器的精度和实时性,即提高其轨迹预测的精度,同时提升其实时性。

Description

一种目标对象的运动轨迹预测方法、系统及设备
技术领域
本发明涉及目标跟踪技术领域,具体而言,涉及一种目标对象的运动轨迹预测方法、系统及设备。
背景技术
使用视频进行轨迹预判在现实生活中是一种常见的技术手段,在许多场景中都在运用,然而这种技术仍然有许多局限性,使用视频进行运动目标轨迹预判存在着许多缺点,例如受环境因素、目标外观变化的影响,难以适应不同的运动模式,无法融合多种传感器信息等。
相比之下,使用粒子滤波能够在一定程度上解决这些问题,具有更好的鲁棒性、适应性、精度和效率等方面的优势。但是现有的基于粒子滤波器的轨迹预判方法中,仍然存在着精度和实时性有待进一步提升的问题。
发明内容
本发明的目的在于提供一种目标对象的运动轨迹预测方法、系统及设备,其能够提升粒子滤波器的精度和实时性。
本发明是这样实现的:
第一方面,本申请提供一种目标对象的运动轨迹预测方法,包括以下步骤:
粒子数据获取步骤:基于目标对象反射的多个超声波回波数据得到对应的粒子数据;粒子特征表示步骤:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;粒子滤波处理步骤:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。
基于前述方案,进一步的,还包括将GAN模型嵌入到粒子滤波处理步骤中,上述GAN模型包括生成器单元和判别器单元:
将上述生成器单元的输出作为粒子滤波器的状态估计,或,将上述生成器单元的输出与粒子滤波器的状态估计进行融合,以得到对应的状态估计信息,并利用粒子滤波器在上述状态估计信息的基础上进行状态更新和滤波处理;上述判别器单元用于评价上述预判轨迹的质量,判断上述预判轨迹真实轨迹的相似度,并基于判断结果建立反馈机制进行控制上述生成器单元调整预判轨迹的生成方式。
基于前述方案,进一步的,上述将GAN模型嵌入到粒子滤波处理步骤中,包括:利用粒子滤波器的状态转移模型来预测目标对象在下一时间步的状态,并利用粒子滤波器的观测模型计算每个粒子的权重;使用重采样技术更新上述粒子特征,并计算新的状态估计值;将生成器网络的输出与粒子滤波器的状态估计进行融合,以进一步提高目标轨迹的预测精度。
基于前述方案,进一步的,上述基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征,包括:基于Transformer-XL模型将粒子的状态转为对应的特征表示;上述利用注意力机制对粒子权重计算进行动态调整,包括:基于Transformer-XL模型的注意力机制对粒子权重计算中包括的预测粒子的权重进行计算处理,以及对观测数据进行相应的处理。
基于前述方案,进一步的,上述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:基于得到粒子在时间步/>的权重/>,其中,/>表示查询向量,/>表示键向量,/>表示键向量的维度大小,/>表示粒子总数。
基于前述方案,进一步的,上述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重。
基于前述方案,进一步的,上述将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重,包括:基于得到粒子在时间步/>的权重,其中,/>表示键向量的维度大小,/>表示粒子总数,/>表示Transformer-XL模型在时间步/>的隐藏状态,/>表示观测数据。
基于前述方案,进一步的,上述基于粒子特征计算对应粒子的状态转移和重采样,包括:基于计算对应粒子的状态转移,其中,/>表示第/>个粒子在时间步/>的状态,/>表示第/>个粒子在时间步/>的状态,/>表示噪声项,/>表示状态转移函数,/>为状态转移函数的预定参数;基于/>进行粒子的重采样,其中,/>为狄拉克函数,表示从上述粒子数据对应的粒子集合中以一定概率采样出一个粒子,从而得到下一时刻的粒子集合,/>表示第/>个粒子在时间步/>被选中的概率,具体地/>,/>表示粒子总数。
第二方面,本申请提供一种目标对象的运动轨迹预测系统,其包括:
粒子数据获取模块,被配置为基于目标对象反射的多个超声波回波数据得到对应的粒子数据;粒子特征表示模块:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;粒子滤波处理模块:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。
第三方面,本申请提供一种电子设备,包括至少一个处理器、至少一个存储器和数据总线;其中:上述处理器与上述存储器通过上述数据总线完成相互间的通信;上述存储器存储有被上述处理器执行的程序指令,上述处理器调用上述程序指令以执行如上述第一方面中任一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项上述的方法。
相对于现有技术,本发明实施例至少具有如下优点或有益效果:
(1)通过在粒子滤波器中引入注意力机制,进行应用到重要的粒子状态,可以用来提高其轨迹预测的精度,同时提升其实时性;
(2)针对处理超声波回波预判物体运动轨迹的问题,通过在粒子滤波器中嵌入GAN模型对粒子滤波的预测结果进行优化,可以快速预测物体运动轨迹,并显著提高粒子滤波器的精度和实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明一种目标对象的运动轨迹预测方法一实施例的流程图;
图2为本发明一实施例中将GAN模型嵌入到粒子滤波处理步骤的具体流程图;
图3为本发明一实施例中GAN模型的处理逻辑示意图;
图4为本发明一实施例中利用Transformer-XL模型引入注意力机制及嵌入GAN模型后的整体流程图;
图5为本发明又一实施例中将GAN模型嵌入到粒子滤波处理步骤的具体流程图;
图6为本发明一种目标对象的运动轨迹预测方法又一实施例的流程图;
图7为本发明实施例提供的一种电子设备的结构框图。
图标:101、处理器;102、存储器;103、数据总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
实施例1
本申请实施例提供了一种目标对象的运动轨迹预测方法,通过在粒子滤波器中引入注意力机制,进行应用到重要的粒子状态,可以用来提高其轨迹预测的精度,同时提升其实时性。
请参阅图1,该一种目标对象的运动轨迹预测方法包括以下步骤:
步骤S101:基于目标对象反射的多个超声波回波数据得到对应的粒子数据。
在本发明的一些实现方式中,可以使用超声波传感器阵列来捕捉目标对象所返回的声波,利用声波反射和散射的特性来获取目标对象的位置和运动状态。当声波遇到目标对象时,会被反射或散射,形成回声信号。通过分析回声信号的强度、相位和时差等特征,可以推算出目标对象的位置、速度和方向等信息。使用多个超声波传感器,将它们的信号进行融合,可以得到更精确和鲁棒的测量结果,通过比较不同传感器之间的信号相似度,可以计算物体的位置,从不同的角度对物体进行测量,可以提高定位精度和鲁棒性。
其中,可以通过粒子滤波器对获取的多个信号进行处理,以进行目标对象的检测和跟踪。也就是说对上述步骤中获取的粒子数据进行相应的处理,以进行对目标对象的轨迹预测,用于实现对目标对象的检测和跟踪需求。
步骤S102:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征。
在本发明的一些实现方式中,为了提高粒子滤波器对状态转移和观测模型的建模精度,可以借助于Transformer-XL模型强大的数据序列建模能力,将粒子的状态转为对应的特征表示。其中,为了提高粒子滤波器的预测效果,可以使用Transformer-XL模型来预测未来运动状态,可以显著提高粒子滤波器的精度和实时性。具体来说,Transformer-XL模型能够考虑目标对象的先前运动状态和上下文信息,从而提高预测精度。此外,Transformer-XL模型可以在多个时间步骤上处理输入序列,这可以减少计算成本,提高实时性。因此,将Transformer-XL模型应用于粒子滤波器可以解决粒子滤波器的一些缺点,从而使其更适用于运动物体轨迹预测任务。
步骤S103:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;
步骤S104:基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。其中,经过粒子滤波器处理后得到的状态系列中包括了目标对象的起始位置、速度、加速度等信息。
上述步骤中,通过结合注意力机制预测粒子权重和对观测数据进行相应处理,可以在一定程度上解决粒子滤波器中噪声模型不准确、特征提取不准确和粒子退化问题。其中,在本发明的一些实现方式中,可以基于Transformer-XL模型的注意力机制对粒子权重计算中包括的预测粒子的权重进行计算处理,以及对观测数据进行相应的处理。也就是说,可以使用Transformer-XL模型引入注意力机制可以提高粒子滤波器的精度和实时性。其中的注意力机制可以为每个输入状态分配不同的权重,从而使Transformer-XL模型更好地捕捉到不同状态之间的关系,从而提高预测精度。即,在粒子滤波器中,可以通过将注意力机制应用于重要的粒子状态,来提高其轨迹预测的精度。
需要说明的是,注意力机制用于粒子滤波中的粒子权重计算可以根据粒子状态的重要性进行动态调整,从而解决了传统粒子滤波中权重分配固定的问题。传统的粒子滤波使用均匀权重分配方式,无法很好地适应不同状态下的变化。而通过引入注意力机制,可以根据状态之间的相关性动态调整粒子的权重,从而使得粒子滤波器更加适应实际应用场景。同时,注意力机制还可以提高粒子滤波器的预测精度和实时性。通过计算不同粒子状态之间的注意力权重,可以使得粒子滤波器更加精确地估计目标状态,同时能更快的响应状态的变化。
总之,在通过在粒子滤波器中引入注意力机制进行目标预测时,相对于现有技术中的视频目标预测而言,在实时性、精确性、适应性等方面有较大提升,并且与普通粒子滤波相比,具有更好的鲁棒性、准确性。
为了进一步提升对目标对象运动轨迹的预判的精度和鲁棒性,本申请实施还结合GAN模型对本申请实施例提供的一种目标对象的运动轨迹预测方法作了进一步优化,可以用来有效的处理超声波回波预判物体运动轨迹的问题,可以快速预测物体运动轨迹,并显著提高粒子滤波器的精度和实时性。
参阅图2,在本发明的一些实现方式中,还包括将GAN模型嵌入到粒子滤波处理步骤中,上述GAN模型包括生成器单元和判别器单元:
步骤S201:将上述生成器单元的输出作为粒子滤波器的状态估计,或,将上述生成器单元的输出与粒子滤波器的状态估计进行融合,以得到对应的状态估计信息,并利用粒子滤波器在上述状态估计信息的基础上进行状态更新和滤波处理;
步骤S202:上述判别器单元用于评价上述预判轨迹的质量,判断上述预判轨迹真实轨迹的相似度,并基于判断结果建立反馈机制进行控制上述生成器单元调整预判轨迹的生成方式。
其中,GAN模型是一种能够生成具有特定属性的新数据的人工神经网络模型,它由两个神经网络组成:生成器单元和判别器单元。在预测运动轨迹时,GAN模型的生成器单元会生成虚拟轨迹,而判别器单元则会判断虚拟轨迹是否真实。这样,生成器单元和判别器单元之间的对抗性训练可以提高模型的预测精度和鲁棒性。即,GAN模型可以生成更真实的数据,而粒子滤波则可以利用这些数据来预测物体的轨迹。
对于生成器单元的设计而言,由于生成器单元的任务是生成一些与真实移动目标轨迹类似的轨迹样本,因此,生成器单元通常可以由一些全连接层或卷积层组成,输出一个连续的状态向量表示轨迹。
对于判别器单元的设计而言,由于判别器单元的任务是区分生成的轨迹样本是真实的还是由生成器单元生成的,因此,判别器单元通常可以由一些全连接层或卷积层组成,输入为一个连续的状态向量,输出一个二元分类结果。
如图3所示,GAN模型的训练过程是通过交替训练生成器单元和判别器单元来实现的。在每一轮训练中,生成器单元生成一批合成数据,判别器单元评估这些数据与真实数据之间的差异,并给出一个评分。根据评分来调整生成器单元的参数,使其生成的数据更接近真实数据,从而提高预测精度。
对于GAN模型的损失函数而言,在运动物体轨迹预测中,可以使用均方误差(MSE)作为生成器的损失函数。判别器的损失函数可以使用交叉熵函数。其中,生成器单元的损失函数的表达式可以为:,/>是真实轨迹数据,/>是生成器生成的轨迹预测结果。判别器单元的损失函数的表达式可以为:,/>表示判别器单元/>判断真实轨迹数据的概率,/>表示判别器单元/>判断生成器单元生成的虚假轨迹数据的概率。
具体地,在利用训练数据集对GAN模型进行训练时包括:每次训练时,先固定生成器单元,然后使用真实数据样本和生成器单元生成的假样本进行判别器单元的训练,最小化判别器单元的损失函数,然后固定判别器单元,使用生成器单元生成的假样本进行生成器单元的训练,最大化生成器单元的损失函数。这个过程可以反复进行,直到生成器单元生成的目标状态向量分布与真实数据分布足够接近。
如图4所示,在训练好GAN模型后,可以使用训练好的GAN模型来生成新的运动物体轨迹预测结果。其将需要预测的物体信息输入到生成器单元中,生成器单元就会输出预测结果。然后将生成的预测结果与真实轨迹数据进行对比,用以评估预测结果的准确度和精度。可以使用各种评估指标来评估预测结果的质量,例如均方误差、平均绝对误差等。
另外,可以将生成器单元嵌入到粒子滤波器中,以便将生成器单元的输出与粒子滤波器的状态估计相结合。从而,参阅图5,在本发明的一些实现方式中,上述将GAN模型嵌入到粒子滤波处理步骤中,包括:
步骤S301:利用粒子滤波器的状态转移模型来预测目标对象在下一时间步的状态,并利用粒子滤波器的观测模型计算每个粒子的权重;
步骤S302:使用重采样技术更新上述粒子特征,并计算新的状态估计值;
步骤S303:将生成器网络的输出与粒子滤波器的状态估计进行融合,以进一步提高目标轨迹的预测精度。
也就是说,如图4所示,可以将生成器单元的输出作为粒子滤波器的状态估计,从而得到一组具有高置信度的状态估计。接着,可以使用粒子滤波器对这组状态估计进行状态更新和滤波,从而得到更精确的目标轨迹估计。具体而言,可以使用粒子滤波器的状态转移模型来预测目标在下一时间步的状态,并使用观测模型来计算每个粒子的权重。然后,可以使用重采样技术来更新粒子集合,并计算新的状态估计值。最后,将生成器单元的输出与粒子滤波器的状态估计进行融合,以进一步提高目标轨迹的预测精度。
判别器单元的作用是评价生成轨迹的质量,判断其是否和真实轨迹相似,从而提供反馈给生成器单元调整轨迹的生成方式。判别器单元还可以在预测移动目标轨迹时,利用其对轨迹的真实性的评价,来指导粒子滤波器在状态估计时更新粒子的权重。具体来说,判别器单元可以评价某个粒子对应的轨迹是否符合真实轨迹的特征,如果符合,则可以增加粒子的权重;如果不符合,则可以减少粒子的权重。这样,就可以在状态估计时更加准确地捕捉目标运动的特征,提高轨迹预测的精度。
在上述实现方式中,使用粒子滤波器结合GAN模型的方法是能够用以有效处理超声波回波预判物体运动轨迹的问题的方法。传统的粒子滤波器方法可能面临运动轨迹的非线性、不确定性和多样性问题,从而影响预判精度。而上述结合GAN模型的方法可以通过对生成轨迹的判别来优化粒子滤波器的粒子权重计算,从而提高对物体运动轨迹的预判精度和鲁棒性。
GAN模型中的判别器单元能够对生成的轨迹进行真实性的评估,从而可以进一步减少噪声的影响,提高预判的准确度和可靠性。在生成轨迹时,考虑物体运动的不确定性和多样性也是引入GAN模型的优势之一,这可以更好地模拟实际情况,提高预判精度。
虽然相比直接使用粒子滤波器预判轨迹,结合GAN的方法具有更高的精度和鲁棒性,同时还可以处理更加复杂的运动轨迹情况。但是,需要注意的是,该方法也需要更多的计算资源和时间,因为GAN模型的训练过程需要大量的数据和迭代次数来获得更好的性能。
总之,结合GAN模型和粒子滤波器的方法可以为物体运动轨迹的预测提供了一种新的思路和解决方案,同时也为其他需要处理非线性、不确定性和多样性问题的任务提供了参考。
在本发明的一些实现方式中,在基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征时包括:
假设粒子的状态为X=(,/>),其中T表示时间步数,每个时间步/>对应一个状态/>。从而可以将X表示为一个矩阵$X\in \mathbb{R}^{T\times d}$,其中d表示状态向量的维度大小。为了将X转换为特征表示,可以采用以下公式:
其中表示Transformer-XL模型的前向传播过程,表示解码器块, />表示基于相对位置的多头自注意力机制, />表示基于相对位置的注意力机制,/>分别表示查询向量、键向量和值向量,/>表示相对位置矩阵,/>表示注意力头的维度大小。通过应用这些公式,我们可以将粒子的状态X转换为特征表示F,其中F=Transformer-XL(X)。
接着,再利用注意力机制对粒子权重进行计算:
其中,表示粒子在时间步/>的权重,/>表示该粒子的注意力分数,计算方式如下:
其中,表示查询向量,/>表示键向量,/>表示注意力函数。注意力函数采用点积注意力,可以表示为:
其中,表示键向量的维度大小,/>表示点积运算。
从而,在本发明的一些实现方式中,上述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:
基于得到粒子在时间步/>的权重/>,其中,/>表示查询向量,/>表示键向量,/>表示键向量的维度大小,/>表示粒子总数。
在粒子滤波算法中,粒子的权重是根据观测数据和粒子状态之间的相似程度来计算的。在使用Transformer-XL模型时,我们可以将每个粒子的状态表示为模型的隐藏状态,然后利用注意力机制计算粒子状态与观测数据的相似度,最终得到粒子的权重。
在粒子滤波算法中,粒子的权重是根据观测数据和粒子状态之间的相似程度来计算的。如图6所示,结合Transformer-XL模型时,在本发明的一些实现方式中,上述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重。
具体地,设表示Transformer-XL模型在时间步t的隐藏状态,/>表示观测数据。我们可以将/>和/>都看作是一个向量,然后通过注意力机制计算它们之间的相似度得到权重/>。具体来说,我们可以将/>看作是键向量,/>看作是查询向量,利用点积注意力机制来计算它们之间的相似度。从而,在本发明的一些实现方式中,上述将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重,包括:
基于得到粒子在时间步/>的权重/>,其中,/>表示键向量的维度大小,/>表示粒子总数,/>表示Transformer-XL模型在时间步/>的隐藏状态,/>表示观测数据。
在粒子滤波中,观测到的移动物体的数据通常表示为一个向量,包含了移动物体在时间步/>的位置、速度等信息。为了利用Transformer-XL模型对这些数据进行建模,我们可以将向量/>作为查询向量,然后将每个粒子的状态表示为一个向量/>,作为键向量。通过计算每个粒子状态与观测数据之间的相似度,我们可以计算每个粒子在时间步/>的权重/>,具体的计算公式如下:
上述公式会根据每个粒子的状态与观测数据之间的相似度来计算每个粒子在时间步的权重,进而影响粒子在滤波中的重要性。具体来说,如果一个粒子的状态与观测数据越相似,那么它在权重计算中的贡献就越大,相应地在粒子的重采样过程中也会有更大的概率被选择,从而保留下来。
在粒子滤波中,结合Transformer-XL和注意力机制计算出粒子的权重后,在本发明的一些实现方式中,上述基于粒子特征计算对应粒子的状态转移和重采样,包括:
基于计算对应粒子的状态转移,其中,/>表示第/>个粒子在时间步/>的状态,/>表示第/>个粒子在时间步/>的状态,/>表示噪声项,/>表示状态转移函数,/>为状态转移函数的预定参数;
基于进行粒子的重采样,其中,/>为狄拉克函数,表示从上述粒子数据对应的粒子集合中以一定概率采样出一个粒子,从而得到下一时刻的粒子集合,/>表示第/>个粒子在时间步/>被选中的概率,具体地/>,/>表示粒子总数。
实施例2
本申请实施例提供了一种目标对象的运动轨迹预测系统,其包括:
粒子数据获取模块,被配置为基于目标对象反射的多个超声波回波数据得到对应的粒子数据;粒子特征表示模块:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;粒子滤波处理模块:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。
上述系统具体实现过程请参照实施例1中提供的一种目标对象的运动轨迹预测方法,在此不再赘述。
实施例3
请参阅图7,本申请实施例提供了一种电子设备,该电子设备包括至少一个处理器101、至少一个存储器102和数据总线103;其中:处理器101与存储器102通过数据总线103完成相互间的通信;存储器102存储有可被处理器101执行的程序指令,处理器101调用程序指令以执行一种目标对象的运动轨迹预测方法。例如实现:
粒子数据获取步骤:基于目标对象反射的多个超声波回波数据得到对应的粒子数据;粒子特征表示步骤:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;粒子滤波处理步骤:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。
其中,存储器102可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器101可以是一种集成电路芯片,具有信号处理能力。该处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图7所示的结构仅为示意,电子设备还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
实施例4
本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器101执行时实现一种目标对象的运动轨迹预测方法。例如实现:
粒子数据获取步骤:基于目标对象反射的多个超声波回波数据得到对应的粒子数据;粒子特征表示步骤:基于上述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;粒子滤波处理步骤:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,上述粒子权重是根据上述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于上述状态序列进行预测目标对象的预判轨迹。
上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种目标对象的运动轨迹预测方法,其特征在于,包括以下步骤:
粒子数据获取步骤:基于目标对象反射的多个超声波回波数据得到对应的粒子数据;
粒子特征表示步骤:基于所述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;
粒子滤波处理步骤:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,所述粒子权重是根据所述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及
基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于所述状态序列进行预测目标对象的预判轨迹;
还包括将GAN模型嵌入到粒子滤波处理步骤中,所述GAN模型包括生成器单元和判别器单元;
所述将GAN模型嵌入到粒子滤波处理步骤中,包括:将所述生成器单元的输出与粒子滤波器的状态估计进行融合,以得到对应的状态估计信息,并利用粒子滤波器在所述状态估计信息的基础上进行状态更新和滤波处理;所述判别器单元用于评价所述预判轨迹的质量,判断所述预判轨迹真实轨迹的相似度,并基于判断结果建立反馈机制进行控制所述生成器单元调整预判轨迹的生成方式。
2.如权利要求1所述的一种目标对象的运动轨迹预测方法,其特征在于,所述将GAN模型嵌入到粒子滤波处理步骤中,包括:
利用粒子滤波器的状态转移模型来预测目标对象在下一时间步的状态,并利用粒子滤波器的观测模型计算每个粒子的权重;
使用重采样技术更新所述粒子特征,并计算新的状态估计值;
将生成器网络的输出与粒子滤波器的状态估计进行融合,以进一步提高目标轨迹的预测精度。
3.如权利要求1所述的一种目标对象的运动轨迹预测方法,其特征在于,所述基于所述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征,包括:基于Transformer-XL模型将粒子的状态转为对应的特征表示;
所述利用注意力机制对粒子权重计算进行动态调整,包括:基于Transformer-XL模型的注意力机制对粒子权重计算中包括的预测粒子的权重进行计算处理,以及对观测数据进行相应的处理。
4.如权利要求1所述的一种目标对象的运动轨迹预测方法,其特征在于,所述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:
基于得到粒子在时间步/>的权重/>,其中,/>表示查询向量,/>表示键向量,/>表示键向量的维度大小,/>表示粒子总数。
5.如权利要求3所述的一种目标对象的运动轨迹预测方法,其特征在于,所述利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,包括:
将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重。
6.如权利要求5所述的一种目标对象的运动轨迹预测方法,其特征在于,所述将每个粒子的状态表示为Transformer-XL模型的隐藏状态,并利用Transformer-XL模型的注意力机制计算粒子状态与观测数据的相似度,以得到对应的粒子权重,包括:
基于得到粒子在时间步/>的权重/>,其中,/>表示键向量的维度大小,/>表示粒子总数,/>表示Transformer-XL模型在时间步/>的隐藏状态,表示观测数据。
7.如权利要求6所述的一种目标对象的运动轨迹预测方法,其特征在于,所述基于粒子特征计算对应粒子的状态转移和重采样,包括:
基于计算对应粒子的状态转移,其中,/>表示第/>个粒子在时间步/>的状态,/>表示第/>个粒子在时间步/>的状态,/>表示噪声项,/>表示状态转移函数,/>为状态转移函数的预定参数;
基于进行粒子的重采样,其中,/>为狄拉克函数,表示从所述粒子数据对应的粒子集合中以一定概率采样出一个粒子,从而得到下一时刻的粒子集合,表示第/>个粒子在时间步/>被选中的概率,具体地/>,/>表示粒子总数。
8.一种目标对象的运动轨迹预测系统, 其特征在于,包括:
粒子数据获取模块,被配置为基于目标对象反射的多个超声波回波数据得到对应的粒子数据;
粒子特征表示模块:基于所述粒子数据将粒子的状态转换为特征表示,得到对应的粒子特征;
粒子滤波处理模块:利用粒子滤波器使用粒子特征进行粒子滤波处理,在进行粒子滤波处理时包括:利用注意力机制对粒子权重计算进行动态调整,得到对应的粒子权重,所述粒子权重是根据所述粒子特征中包括的观测数据和粒子状态之间的相似程度进行计算的;以及基于粒子特征计算对应粒子的状态转移和重采样,得到对应的状态序列,并基于所述状态序列进行预测目标对象的预判轨迹;
还包括将GAN模型嵌入到粒子滤波处理步骤中,所述GAN模型包括生成器单元和判别器单元;所述将GAN模型嵌入到粒子滤波处理步骤中,包括:将所述生成器单元的输出与粒子滤波器的状态估计进行融合,以得到对应的状态估计信息,并利用粒子滤波器在所述状态估计信息的基础上进行状态更新和滤波处理;所述判别器单元用于评价所述预判轨迹的质量,判断所述预判轨迹真实轨迹的相似度,并基于判断结果建立反馈机制进行控制所述生成器单元调整预判轨迹的生成方式。
9.一种电子设备,其特征在于,包括至少一个处理器、至少一个存储器和数据总线;其中:所述处理器与所述存储器通过所述数据总线完成相互间的通信;所述存储器存储有被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行如权利要求1-7任一项所述的方法。
CN202310730980.XA 2023-06-20 2023-06-20 一种目标对象的运动轨迹预测方法、系统及设备 Active CN116469041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310730980.XA CN116469041B (zh) 2023-06-20 2023-06-20 一种目标对象的运动轨迹预测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310730980.XA CN116469041B (zh) 2023-06-20 2023-06-20 一种目标对象的运动轨迹预测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116469041A CN116469041A (zh) 2023-07-21
CN116469041B true CN116469041B (zh) 2023-09-19

Family

ID=87184714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310730980.XA Active CN116469041B (zh) 2023-06-20 2023-06-20 一种目标对象的运动轨迹预测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116469041B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493943A (zh) * 2008-01-25 2009-07-29 中国科学院计算技术研究所 一种粒子滤波跟踪方法和跟踪装置
CN102521844A (zh) * 2011-11-30 2012-06-27 湖南大学 基于视觉注意机制的改进粒子滤波目标跟踪的方法
CN110232702A (zh) * 2019-05-07 2019-09-13 湖北工业大学 基于生成式对抗网络的目标跟踪算法
CN114708297A (zh) * 2022-02-17 2022-07-05 北京深睿博联科技有限责任公司 一种视频目标跟踪方法及装置
CN114802296A (zh) * 2022-03-17 2022-07-29 浙江工业大学 一种基于动态交互图卷积的车辆轨迹预测方法
CN115100233A (zh) * 2022-06-15 2022-09-23 西安电子科技大学 基于生成对抗网络重采样粒子滤波的雷达目标跟踪方法
CN115330837A (zh) * 2022-08-18 2022-11-11 厦门理工学院 基于图注意力Transformer网络的鲁棒目标跟踪方法及系统
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5213486B2 (ja) * 2008-03-14 2013-06-19 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
WO2010106530A2 (en) * 2009-03-19 2010-09-23 Cork Institute Of Technology A location and tracking system
US11639981B2 (en) * 2015-07-17 2023-05-02 Origin Wireless, Inc. Method, apparatus, and system for movement tracking
US20230014580A1 (en) * 2020-02-13 2023-01-19 Guozhen Zhu Method, apparatus, and system for map reconstruction based on wireless tracking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493943A (zh) * 2008-01-25 2009-07-29 中国科学院计算技术研究所 一种粒子滤波跟踪方法和跟踪装置
CN102521844A (zh) * 2011-11-30 2012-06-27 湖南大学 基于视觉注意机制的改进粒子滤波目标跟踪的方法
CN110232702A (zh) * 2019-05-07 2019-09-13 湖北工业大学 基于生成式对抗网络的目标跟踪算法
CN114708297A (zh) * 2022-02-17 2022-07-05 北京深睿博联科技有限责任公司 一种视频目标跟踪方法及装置
CN114802296A (zh) * 2022-03-17 2022-07-29 浙江工业大学 一种基于动态交互图卷积的车辆轨迹预测方法
CN115100233A (zh) * 2022-06-15 2022-09-23 西安电子科技大学 基于生成对抗网络重采样粒子滤波的雷达目标跟踪方法
CN115330837A (zh) * 2022-08-18 2022-11-11 厦门理工学院 基于图注意力Transformer网络的鲁棒目标跟踪方法及系统
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Interaction-aware Multi-agent Tracking and Probabilistic Behavior Prediction via Adversarial Learning;Jiachen Li 等;《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》;6658-6664 *
IST-PTEPN: an improved pedestrian trajectory and endpoint prediction network based on spatio-temporal information;Xin Yang 等;《International Journal of Machine Learning and Cybernetics》;1-14 *
周思迪.基于深度学习的粒子滤波目标跟踪算法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2021,(第09期),I138-607. *
基于深度学习的粒子滤波目标跟踪算法研究;周思迪;《中国优秀硕士学位论文全文数据库信息科技辑》(第09期);I138-607 *
基于生成对抗网络的多模态异常步态识别;宋子轩;《中国优秀硕士学位论文全文数据库信息科技辑》(第03期);I138-2070 *

Also Published As

Publication number Publication date
CN116469041A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Candy Bootstrap particle filtering
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
CN110632572A (zh) 基于无意调相特性的雷达辐射源个体识别方法及装置
CN113376613B (zh) 用于雷达探测的恒虚警检测方法、装置及电子设备
Nuhoglu et al. Image segmentation for radar signal deinterleaving using deep learning
Li et al. Automotive Radar Modeling for Virtual Simulation Based on Mixture Density Network
CN107329131B (zh) 一种利用粒子滤波的雷达微弱目标检测跟踪方法
CN116469041B (zh) 一种目标对象的运动轨迹预测方法、系统及设备
CN113034419B (zh) 面向机器视觉任务的雷达点云客观质量评价方法及装置
Bocquel et al. Multitarget tracking with multiscan knowledge exploitation using sequential MCMC sampling
Lafon et al. Hybrid energy based model in the feature space for out-of-distribution detection
Valtl et al. Investigation for the need of traditional data-preprocessing when applying artificial neural networks to FMCW-radar data
CN115327503A (zh) 基于高斯粒子滤波的固定单站无源定位方法和相关装置
Kerbaa et al. Multi-headed deep learning-based estimator for correlated-SIRV Pareto type II distributed clutter
Nguyen et al. Real-time Moving Object Detection Based on RPCA via GD for FMCW Radar
Walenta et al. Bayesian Gaussian Mixture Models for Enhanced Radar Sensor Modeling: A Data-Driven Approach towards Sensor Simulation for ADAS/AD Development
CN117309079B (zh) 基于时差法的超声飞渡时间测量方法、装置、设备及介质
Sun et al. A multi-order Fractional Fourier domain feature union method for active sonar target classification
CN113740820B (zh) 一种雷达信号处理机脉冲多普勒处理的数学建模方法
Wu et al. A new resampling strategy about particle filter algorithm applied in Monte Carlo framework
CN115687912A (zh) 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统
Bocquel et al. Multitarget tracking with IP reversible jump MCMC-PF
JP2022039375A (ja) 信号追尾装置、信号追尾システム、信号追尾プログラム及び信号追尾方法
Sbeyti et al. Overcoming the Limitations of Localization Uncertainty: Efficient & Exact Non-Linear Post-Processing and Calibration
CN115421116A (zh) 用于评估雷达图像的方法和器件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant