CN112597922A - 一种基于无碰撞lstm的多目标轨迹预测方法 - Google Patents

一种基于无碰撞lstm的多目标轨迹预测方法 Download PDF

Info

Publication number
CN112597922A
CN112597922A CN202011580282.9A CN202011580282A CN112597922A CN 112597922 A CN112597922 A CN 112597922A CN 202011580282 A CN202011580282 A CN 202011580282A CN 112597922 A CN112597922 A CN 112597922A
Authority
CN
China
Prior art keywords
collision
processed
target
track
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011580282.9A
Other languages
English (en)
Other versions
CN112597922B (zh
Inventor
杨培春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Puhui Zhilian Technology Co ltd
Original Assignee
Shenzhen Puhui Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Puhui Zhilian Technology Co ltd filed Critical Shenzhen Puhui Zhilian Technology Co ltd
Priority to CN202011580282.9A priority Critical patent/CN112597922B/zh
Publication of CN112597922A publication Critical patent/CN112597922A/zh
Application granted granted Critical
Publication of CN112597922B publication Critical patent/CN112597922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于无碰撞LSTM的多目标轨迹预测方法及系统，包括获取包括多目标的多个视频帧，获取视频帧中每个目标的历史移动轨迹；确定发生初次碰撞的目标，并生成待处理目标集合；获取发生初次碰撞时的碰撞信息；获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；获取发生初次碰撞后待处理目标集合的轨迹信息并输入避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。可以准确预测在发生初次碰撞后的轨迹路线，通过LSTM构建的避碰模型输出避碰路线，避免二次碰撞带来的危害。

Description

一种基于无碰撞LSTM的多目标轨迹预测方法
技术领域
本发明涉及轨迹预测技术领域，特别涉及一种基于无碰撞LSTM的多目标轨迹预测方法。
背景技术
LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。目前，基于LSTM实现对多目标的跟踪及轨迹预测，在多目标发生初次碰撞时，不能准确的预测及设计避碰轨迹，避免二次碰撞带来的危害，同时不能准确预测在发生碰撞后的轨迹路线。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于无碰撞LSTM的多目标轨迹预测方法，可以准确预测在发生初次碰撞后的轨迹路线，通过LSTM构建的避碰模型输出避碰路线，避免二次碰撞带来的危害。
本发明的第二个目的在于提出一种基于无碰撞LSTM的多目标轨迹预测系统。
为达到上述目的，本发明第一方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测方法，包括：
获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
根据本发明的一些实施例，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
根据本发明的一些实施例，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
根据本发明的一些实施例，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
根据本发明的一些实施例，所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
根据本发明的一些实施例，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
根据本发明的一些实施例，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure BDA0002865821000000041
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure BDA0002865821000000042
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
为达到上述目的，本发明第二方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测系统，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
根据本发明的一些实施例，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure BDA0002865821000000061
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure BDA0002865821000000062
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
根据本发明的一些实施例，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种基于无碰撞LSTM的多目标轨迹预测方法的流程图；
图2是根据本发明一个实施例的一种基于无碰撞LSTM的多目标轨迹预测系统的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明第一方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测方法，包括步骤S1-S6：
S1、获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
S2、根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
S3、获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
S4、获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
S5、在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
S6、获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的工作原理：获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；环境数据包括发生初次碰撞的待处理目标的所处环境、位置等信息；在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的有益效果：通过LSTM构建的避碰模型实现对多目标轨迹的准确预测，同时输出避碰轨迹，避免二次碰撞带来的危害。
根据本发明的一些实施例，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
上述技术方案的工作原理：分别读取多个视频帧中的图像信息；对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
上述技术方案的有益效果：准确获取每个目标的历史移动轨迹，有利于提高预测目标发生初次碰撞后的轨迹的准确性。每个目标的中心点的位置可以是质心，便于保证连接获取的历史移动轨迹的准确性，对多目标分别进行身份标识，便于有效区分历史移动轨迹，避免出错。
根据本发明的一些实施例，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
上述技术方案的工作原理：根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
上述技术方案的有益效果：基于历史移动轨迹的交点坐标，准确确定碰撞目标，进而生成待处理目标集合。
根据本发明的一些实施例，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的工作原理：以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；根据所述第一移动方向、第二移动方向确定移动方向变化参数；根据所述第一移动速度、第二移动速度确定移动速度变化参数；根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的有益效果：基于发生初次碰撞后移动方向变化参数及所述移动速度变化参数，全面且准确的获取碰撞信息，有利于后面对轨迹的准确预测。
根据本发明的一些实施例，所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
上述技术方案的工作原理：通过构建仿真模型，确定待处理目标之间的距离及运动方向；示例的，在待处理目标A与待处理目标B距离小于预设距离阈值时，根据两者的运动方向，确定是否发生二次碰撞。准确判断是否发生二次碰撞，提高对预测轨迹的准确性。
根据本发明的一些实施例，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
上述技术方案的工作原理：在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
上述技术方案的有益效果：有利于保证发生碰撞后获取的历史移动轨迹的准确性，避免因碰撞发生形变导致确定的历史移动轨迹的错误。
根据本发明的一些实施例，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure BDA0002865821000000131
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure BDA0002865821000000132
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
上述技术方案的工作原理及有益效果：在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理。保证对输入避碰模型的发生初次碰撞后待处理目标集合的轨迹信息的准确性，进而提高输出的避碰轨迹的准确性。计算待处理目标在初次碰撞中受到的碰撞力，将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，保证计算出的可信度的准确性，进而提高判断可信度与预设可信度大小的准确性，有利于提高输入避碰模型的轨迹信息的准确性。
如图2所示，本发明第二方面实施例提出了一种基于无碰撞LSTM的多目标轨迹预测系统，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的工作原理：第一获取模块获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；生成模块根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；第二获取模块获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；评估模块获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；环境数据包括发生初次碰撞的待处理目标的所处环境、位置等信息；构建模块在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；避碰轨迹获取模块获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
上述技术方案的有益效果：通过LSTM构建的避碰模型实现对多目标轨迹的准确预测，同时输出避碰轨迹，避免二次碰撞带来的危害。
根据本发明的一些实施例，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure BDA0002865821000000161
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure BDA0002865821000000171
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
上述技术方案的工作原理及有益效果：在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，检测修正模块计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理。保证对输入避碰模型的发生初次碰撞后待处理目标集合的轨迹信息的准确性，进而提高输出的避碰轨迹的准确性。计算待处理目标在初次碰撞中受到的碰撞力，将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，保证计算出的可信度的准确性，进而提高判断可信度与预设可信度大小的准确性，有利于提高输入避碰模型的轨迹信息的准确性。
根据本发明的一些实施例，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的工作原理：分割子模块以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；获取子模块获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；确定子模块根据所述第一移动方向、第二移动方向确定移动方向变化参数；根据所述第一移动速度、第二移动速度确定移动速度变化参数；根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
上述技术方案的有益效果：基于发生初次碰撞后移动方向变化参数及所述移动速度变化参数，全面且准确的获取碰撞信息，有利于后面对轨迹的准确预测。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，包括：
获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
2.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹，包括：
分别读取多个视频帧中的图像信息；
对所述图像信息基于图像识别技术进行目标识别，获取每个目标的中心点的位置及身份标识；
根据视频帧的排序依次进行解析，获取每帧图像中带有身份标识的目标的坐标；
将对应每个不同身份标识的目标的坐标分别对应连接起来，生成每个目标的历史移动轨迹。
3.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合，包括：
根据所述每个目标的历史移动轨迹，筛选出各个历史移动轨迹的交点坐标，获取经过所述交点坐标的多个碰撞目标，根据所述多个碰撞目标生成待处理目标集合。
4.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述获取发生初次碰撞时的碰撞信息，包括：
以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
5.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，所述获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估，包括：
基于待处理目标集合中待处理目标的物理信息、环境数据、融合碰撞能量衰减的贪婪多目标关联构建仿真模型，基于仿真模型输出各待处理目标之间的距离及运动方向；
根据所述距离及所述运动方向评估发生二次碰撞的概率。
6.如权利要求2所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，在发生初次碰撞后，获取待处理目标集合中待处理目标的形变信息，根据所述形变信息对每个待处理目标的中心点的位置进行更新。
7.如权利要求1所述的基于无碰撞LSTM的多目标轨迹预测方法，其特征在于，在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，还包括：
计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure FDA0002865820990000031
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure FDA0002865820990000041
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
8.一种基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，包括：
第一获取模块，用于获取包括多目标的多个视频帧，对所述多个视频帧进行解析，获取视频帧中每个目标的历史移动轨迹；
生成模块，用于根据所述每个目标的历史移动轨迹确定发生初次碰撞的目标，并生成待处理目标集合；
第二获取模块，用于获取发生初次碰撞时的碰撞信息；所述碰撞信息包括碰撞能量；
评估模块，用于获取发生初次碰撞后待处理目标集合的环境数据，融合碰撞能量衰减的贪婪多目标关联对待处理目标集合发生二次碰撞的概率进行评估；
构建模块，用于在确定所述概率大于预设概率时，根据所述环境数据设计避碰函数，融合LSTM神经网络构建避碰模型；
避碰轨迹获取模块，用于获取发生初次碰撞后待处理目标集合的轨迹信息并输入所述避碰模型中，输出待处理目标集合中各个目标的避碰轨迹。
9.如权利要求8所述的基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，还包括：
检测修正模块，用于在将发生初次碰撞后待处理目标集合的轨迹信息输入所述避碰模型前，计算所述发生初次碰撞后待处理目标集合的轨迹信息的可信度，在确定所述可信度小于预设可信度时，对所述发生初次碰撞后待处理目标集合的轨迹信息进行修正处理；
所述检测修正模块计算发生初次碰撞后待处理目标集合的轨迹信息的可信度，包括：
计算待处理目标在初次碰撞中受到的碰撞力F：
Figure FDA0002865820990000051
其中，k为待处理目标的材料强化系数；R为待处理目标的材料的厚度；εx为待处理目标在X方向上的应变；εy为待处理目标在y方向上的应变；n为待处理目标的应变硬化指数；
将发生初次碰撞前待处理目标集合的轨迹信息及待处理目标在初次碰撞中受到的碰撞力输入预先训练好的轨迹预测模型，输出待处理目标在发生初次碰撞后各个轨迹节点的预测位置信息及预测速度信息；
根据待处理目标在初次碰撞中受到的碰撞力及轨迹预测模型输出各个轨迹节点的预测位置信息及预测速度信息，计算发生初次碰撞后待处理目标集合的轨迹信息的可信度W：
Figure FDA0002865820990000061
其中，M为轨迹节点的数量；Li为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的位置信息；Li’为通过轨迹预测模型输出的第i个轨迹节点的预测位置信息；Vi为从初次碰撞后待处理目标集合的轨迹信息中提取的在第i个轨迹节点的速度信息；Vi’为通过轨迹预测模型输出的第i个轨迹节点的预测速度信息。
10.如权利要求8所述的基于无碰撞LSTM的多目标轨迹预测系统，其特征在于，所述第二获取模块包括：
分割子模块，用于以发生初次碰撞的时刻为分割点，将待处理目标集合中待处理目标在发生初次碰撞前的历史移动轨迹作为第一时间段移动轨迹，将待处理目标集合中待处理目标在发生初次碰撞后的历史移动轨迹作为第二时间段移动轨迹；
获取子模块，用于获取第一时间段移动轨迹的第一移动方向、第一移动速度及所述第二时间段移动轨迹的第二移动方向、第二移动速度；
确定子模块，用于：
根据所述第一移动方向、第二移动方向确定移动方向变化参数；
根据所述第一移动速度、第二移动速度确定移动速度变化参数；
根据所述移动方向变化参数及所述移动速度变化参数确定发生初次碰撞时的碰撞信息。
CN202011580282.9A 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法 Active CN112597922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011580282.9A CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011580282.9A CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Publications (2)

Publication Number Publication Date
CN112597922A true CN112597922A (zh) 2021-04-02
CN112597922B CN112597922B (zh) 2024-03-26

Family

ID=75202718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011580282.9A Active CN112597922B (zh) 2020-12-28 2020-12-28 一种基于无碰撞lstm的多目标轨迹预测方法

Country Status (1)

Country Link
CN (1) CN112597922B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821965A (zh) * 2021-09-23 2021-12-21 盐城师范学院 一种活性粒子轨迹追踪方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110070665A1 (en) * 2009-09-23 2011-03-24 Tokyo Electron Limited DC and RF Hybrid Processing System
WO2013089623A2 (en) * 2011-12-16 2013-06-20 Flatfrog Laboratories Ab Tracking objects on a touch surface
TW201625925A (zh) * 2014-09-29 2016-07-16 濟奧美股份有限公司 使用碰撞計算之非侵入性血糖及其他分析物偵測及測量之系統及方法
US20170202531A1 (en) * 2016-01-18 2017-07-20 Toshiba Medical Systems Corporation X-ray ct apparatus, information processing device and information processing method
CN110045002A (zh) * 2019-05-14 2019-07-23 南昌航空大学 磁声发射信号无量纲特征参数提取方法
CN110967691A (zh) * 2019-11-19 2020-04-07 宁波盛域海洋电子科技有限公司 红外光电扫描避碰系统
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法
EP3739356A1 (en) * 2019-05-12 2020-11-18 Origin Wireless, Inc. Method, apparatus, and system for wireless tracking, scanning and monitoring

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110070665A1 (en) * 2009-09-23 2011-03-24 Tokyo Electron Limited DC and RF Hybrid Processing System
WO2013089623A2 (en) * 2011-12-16 2013-06-20 Flatfrog Laboratories Ab Tracking objects on a touch surface
TW201625925A (zh) * 2014-09-29 2016-07-16 濟奧美股份有限公司 使用碰撞計算之非侵入性血糖及其他分析物偵測及測量之系統及方法
US20170202531A1 (en) * 2016-01-18 2017-07-20 Toshiba Medical Systems Corporation X-ray ct apparatus, information processing device and information processing method
EP3739356A1 (en) * 2019-05-12 2020-11-18 Origin Wireless, Inc. Method, apparatus, and system for wireless tracking, scanning and monitoring
CN110045002A (zh) * 2019-05-14 2019-07-23 南昌航空大学 磁声发射信号无量纲特征参数提取方法
CN110967691A (zh) * 2019-11-19 2020-04-07 宁波盛域海洋电子科技有限公司 红外光电扫描避碰系统
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尚明栋等: ""水面无人艇动态避碰策略研究"", 《舰船科学技术》, vol. 39, no. 9, 30 September 2017 (2017-09-30), pages 69 - 73 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821965A (zh) * 2021-09-23 2021-12-21 盐城师范学院 一种活性粒子轨迹追踪方法及系统

Also Published As

Publication number Publication date
CN112597922B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机系统
CN106714110B (zh) 一种Wi-Fi位置指纹地图自动构建方法及系统
CN111161322B (zh) 一种基于人车交互的lstm神经网络行人轨迹预测方法
Houenou et al. A track-to-track association method for automotive perception systems
US20230034574A1 (en) Method for determining lane line recognition abnormal event, and lane line recognition apparatus and system
CN112651374B (zh) 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
Seebacher et al. Infrastructure data fusion for validation and future enhancements of autonomous vehicles' perception on Austrian motorways
CN112597922B (zh) 一种基于无碰撞lstm的多目标轨迹预测方法
US20230394804A1 (en) Method and apparatus for fusing multi-sensor data
CN112529941B (zh) 一种基于深度轨迹预测的多目标跟踪方法及系统
JP2019207158A (ja) 物体認識装置および物体認識方法
Li et al. Cooperative perception for estimating and predicting microscopic traffic states to manage connected and automated traffic
CN111275087A (zh) 数据处理方法、装置、电子设备和机动车
Firl et al. MARV-X: Applying maneuver assessment for reliable verification of car-to-X mobility data
KR20070067095A (ko) 옵트로닉 감시 시스템에서, 포인트형 타겟들을 검출 및추적하는 방법
Balico et al. On the performance of localization prediction methods for vehicular ad hoc networks
CN113203424B (zh) 多传感器的数据融合方法、装置及相关设备
CN117940800A (zh) 用于解决雷达网络中的角度多义性的方法
Kezia et al. Vehicle Trajectory Prediction Using Optimized Sta-Lstm For Autonomous Driving
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
CN113486300A (zh) 一种无人驾驶车辆多目标跟踪方法
JP2002318280A (ja) センサ設置誤差推定における目標の位置決定方法及び目標の移動経路決定方法
Chen et al. Multi-target Track-to-Track Association Based on Relative Coordinate Assignment Matrix
US20230051014A1 (en) Device and computer-implemented method for object tracking
Sharifi et al. TrajectoryNAS: A Neural Architecture Search for Trajectory Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant