CN112597922B - 一种基于无碰撞lstm的多目标轨迹预测方法 - Google Patents

一种基于无碰撞lstm的多目标轨迹预测方法 Download PDF

Info

Publication number
CN112597922B
CN112597922B CN202011580282.9A CN202011580282A CN112597922B CN 112597922 B CN112597922 B CN 112597922B CN 202011580282 A CN202011580282 A CN 202011580282A CN 112597922 B CN112597922 B CN 112597922B
Authority
CN
China
Prior art keywords
collision
processed
target
track
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011580282.9A
Other languages
English (en)
Other versions
CN112597922A (zh
Inventor
杨培春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Puhui Zhilian Technology Co ltd
Original Assignee
Shenzhen Puhui Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Puhui Zhilian Technology Co ltd filed Critical Shenzhen Puhui Zhilian Technology Co ltd
Priority to CN202011580282.9A priority Critical patent/CN112597922B/zh
Publication of CN112597922A publication Critical patent/CN112597922A/zh
Application granted granted Critical
Publication of CN112597922B publication Critical patent/CN112597922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于无碰撞LSTM的多目标轨迹预测方法及系统，包括获取包括多目标的多个视频帧，获取视频帧中每个目标的历史移动轨迹；确定发生初次碰撞的目标，并生成待处理目标集合；获取发生初次碰撞时的碰撞信息；获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；获取发生初次碰撞后待处理目标集合的轨迹信息并输入避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。可以准确预测在发生初次碰撞后的轨迹路线，通过LSTM构建的避碰模型输出避碰路线，避免二次碰撞带来的危害。

Description

一种基于无碰撞LSTM的多目标轨迹预测方法
技术领域
本发明涉及轨迹预测技术领域，特别涉及一种基于无碰撞LSTM的多目标轨迹预测方法。
背景技术
LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。目前，基于LSTM实现对多目标的跟踪及轨迹预测，在多目标发生初次碰撞时，不能准确的预测及设计避碰轨迹，避免二次碰撞带来的危害，同时不能准确预测在发生碰撞后的轨迹路线。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于无碰撞LSTM的多目标轨迹预测方法，可以准确预测在发生初次碰撞后的轨迹路线，通过LSTM构建的避碰模型输出避碰路线，避免二次碰撞带来的危害。
本发明的第二个目的在于提出一种基于无碰撞LSTM的多目标轨迹预测系统。
为达到上述目的，本发明第一方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测方法，包括：
获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
根据本发明的一些实施例，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
根据本发明的一些实施例，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
根据本发明的一些实施例，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
根据本发明的一些实施例，所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
根据本发明的一些实施例，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
根据本发明的一些实施例，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
为达到上述目的，本发明第二方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测系统，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
根据本发明的一些实施例，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
根据本发明的一些实施例，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种基于无碰撞LSTM的多目标轨迹预测方法的流程图；
图2是根据本发明一个实施例的一种基于无碰撞LSTM的多目标轨迹预测系统的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明第一方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测方法，包括步骤S1-S6：
S1、获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
S2、根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
S3、获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
S4、获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
S5、在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
S6、获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的工作原理：获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；环境数据包括发生初次碰撞的待处理目标的所处环境、位置等信息；在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的有益效果：通过LSTM构建的避碰模型实现对多目标轨迹的准确预测，同时输出避碰轨迹，避免二次碰撞带来的危害。
根据本发明的一些实施例，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
上述技术方案的工作原理：分别读取多个视频帧中的图像信息；对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
上述技术方案的有益效果：准确获取每个目标的历史移动轨迹，有利于提高预测目标发生初次碰撞后的轨迹的准确性。每个目标的中心点的位置可以是质心，便于保证连接获取的历史移动轨迹的准确性，对多目标分别进行身份标识，便于有效区分历史移动轨迹，避免出错。
根据本发明的一些实施例，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
上述技术方案的工作原理：根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
上述技术方案的有益效果：基于历史移动轨迹的交点坐标，准确确定碰撞目标，进而生成待处理目标集合。
根据本发明的一些实施例，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的工作原理：以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；根据所述第一移动方向、第二移动方向确定移动方向变化参数；根据所述第一移动速度、第二移动速度确定移动速度变化参数；根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的有益效果：基于发生初次碰撞后移动方向变化参数及所述移动速度变化参数，全面且准确的获取碰撞信息，有利于后面对轨迹的准确预测。
根据本发明的一些实施例，所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
上述技术方案的工作原理：通过构建仿真模型，确定待处理目标之间的距离及运动方向；示例的，在待处理目标A与待处理目标B距离小于预设距离阈值时，根据两者的运动方向，确定是否发生二次碰撞。准确判断是否发生二次碰撞，提高对预测轨迹的准确性。
根据本发明的一些实施例，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
上述技术方案的工作原理：在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
上述技术方案的有益效果：有利于保证发生碰撞后获取的历史移动轨迹的准确性，避免因碰撞发生形变导致确定的历史移动轨迹的错误。
根据本发明的一些实施例，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
上述技术方案的工作原理及有益效果：在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理。保证对输入避碰模型的发生初次碰撞后待处理目标集合的轨迹信息的准确性，进而提高输出的避碰轨迹的准确性。计算待处理目标在初次碰撞中受到的碰撞力，将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，保证计算出的可信度的准确性，进而提高判断可信度与预设可信度大小的准确性，有利于提高输入避碰模型的轨迹信息的准确性。
如图2所示，本发明第二方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测系统，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的工作原理：第一获取模块获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；生成模块根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；第二获取模块获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；评估模块获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；环境数据包括发生初次碰撞的待处理目标的所处环境、位置等信息；构建模块在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；避碰轨迹获取模块获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的有益效果：通过LSTM构建的避碰模型实现对多目标轨迹的准确预测，同时输出避碰轨迹，避免二次碰撞带来的危害。
根据本发明的一些实施例，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
上述技术方案的工作原理及有益效果：在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，检测修正模块计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理。保证对输入避碰模型的发生初次碰撞后待处理目标集合的轨迹信息的准确性，进而提高输出的避碰轨迹的准确性。计算待处理目标在初次碰撞中受到的碰撞力，将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，保证计算出的可信度的准确性，进而提高判断可信度与预设可信度大小的准确性，有利于提高输入避碰模型的轨迹信息的准确性。
根据本发明的一些实施例，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的工作原理：分割子模块以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；获取子模块获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；确定子模块根据所述第一移动方向、第二移动方向确定移动方向变化参数；根据所述第一移动速度、第二移动速度确定移动速度变化参数；根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的有益效果：基于发生初次碰撞后移动方向变化参数及所述移动速度变化参数，全面且准确的获取碰撞信息，有利于后面对轨迹的准确预测。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，包括：
获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；所述环境数据包括发生初次碰撞的待处理目标的所处环境、位置数据；
获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹；
所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
2.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
3.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
4.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
5.如权利要求2所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
6.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li，为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi，为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
7.一种基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；所述环境数据包括发生初次碰撞的待处理目标的所处环境、位置数据；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹；
所述评估模块用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估的方法，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
8.如权利要求7所述的基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li，为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi，为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
9.如权利要求7所述的基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
CN202011580282.9A 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法 Active CN112597922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011580282.9A CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011580282.9A CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Publications (2)

Publication Number Publication Date
CN112597922A CN112597922A (zh) 2021-04-02
CN112597922B true CN112597922B (zh) 2024-03-26

Family

ID=75202718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011580282.9A Active CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112597922B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821965B (zh) * 2021-09-23 2023-01-17 盐城师范学院 一种活性粒子轨迹追踪方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089623A2 (en) * 2011-12-16 2013-06-20 Flatfrog Laboratories Ab Tracking objects on a touch surface
TW201625925A (zh) * 2014-09-29 2016-07-16 濟奧美股份有限公司 使用碰撞計算之非侵入性血糖及其他分析物偵測及測量之系統及方法
CN110045002A (zh) * 2019-05-14 2019-07-23 南昌航空大学 磁声发射信号无量纲特征参数提取方法
CN110967691A (zh) * 2019-11-19 2020-04-07 宁波盛域海洋电子科技有限公司 红外光电扫描避碰系统
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法
EP3739356A1 (en) * 2019-05-12 2020-11-18 Origin Wireless, Inc. Method, apparatus, and system for wireless tracking, scanning and monitoring

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7993937B2 (en) * 2009-09-23 2011-08-09 Tokyo Electron Limited DC and RF hybrid processing system
US10646186B2 (en) * 2016-01-18 2020-05-12 Canon Medical Systems Corporation X-ray CT apparatus, information processing device and information processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089623A2 (en) * 2011-12-16 2013-06-20 Flatfrog Laboratories Ab Tracking objects on a touch surface
TW201625925A (zh) * 2014-09-29 2016-07-16 濟奧美股份有限公司 使用碰撞計算之非侵入性血糖及其他分析物偵測及測量之系統及方法
EP3739356A1 (en) * 2019-05-12 2020-11-18 Origin Wireless, Inc. Method, apparatus, and system for wireless tracking, scanning and monitoring
CN110045002A (zh) * 2019-05-14 2019-07-23 南昌航空大学 磁声发射信号无量纲特征参数提取方法
CN110967691A (zh) * 2019-11-19 2020-04-07 宁波盛域海洋电子科技有限公司 红外光电扫描避碰系统
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"水面无人艇动态避碰策略研究";尚明栋等;《舰船科学技术》;20170930;第39卷(第9期);第69-73页 *

Also Published As

Publication number Publication date
CN112597922A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机系统
CN110781949B (zh) 基于异步式串行多传感器的航迹数据融合方法及存储介质
JP5807635B2 (ja) 動線検出システム、動線検出方法および動線検出プログラム
KR102168288B1 (ko) 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN112597922B (zh) 一种基于无碰撞lstm的多目标轨迹预测方法
CN113743179A (zh) 路上障碍物检知装置、方法及记录介质
CN111275087A (zh) 数据处理方法、装置、电子设备和机动车
CN112529941A (zh) 一种基于深度轨迹预测的多目标跟踪方法及系统
CN113156473A (zh) 信息融合定位系统卫星信号环境的自适应判别方法
Qiu et al. Reliability assessment of multi-sensor perception system in automated driving functions
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
US11475255B2 (en) Method for adaptive context length control for on-line edge learning
CN113591976A (zh) 一种基于前向全近邻解相关的乱序航迹融合方法
CN113203424A (zh) 多传感器的数据融合方法、装置及相关设备
Volk et al. Environment-aware optimization of track-to-track fusion for collective perception
CN111401123A (zh) 一种基于深度学习的slam回环检测方法及系统
CN110907946A (zh) 一种位移填补建模的方法和相关装置
US20230260257A1 (en) Iterative refinement of annotated datasets
US20230051014A1 (en) Device and computer-implemented method for object tracking
CN113532422B (zh) 一种基于距离图和数据清洗的多传感器航迹融合方法
KR20230099132A (ko) 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법
CN113486300A (zh) 一种无人驾驶车辆多目标跟踪方法
KR101658466B1 (ko) 열 영상 시퀀스 기반의 표적 분류 장치 및 그 방법
CN117765034A (zh) 一种aimm-ukf-jpda的车辆多目标跟踪的研究方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant