CN113239719B - 基于异常信息识别的轨迹预测方法、装置和计算机设备 - Google Patents
基于异常信息识别的轨迹预测方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN113239719B CN113239719B CN202110333716.3A CN202110333716A CN113239719B CN 113239719 B CN113239719 B CN 113239719B CN 202110333716 A CN202110333716 A CN 202110333716A CN 113239719 B CN113239719 B CN 113239719B
- Authority
- CN
- China
- Prior art keywords
- information
- frame
- vector
- position information
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 205
- 230000008859 change Effects 0.000 claims abstract description 112
- 238000005259 measurement Methods 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims 1
- 230000001133 acceleration Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于异常信息识别的轨迹预测方法、装置和计算机设备。所述方法包括：获取目标障碍物的待识别运动状态信息，所述待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息；根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量；将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果；根据所述向量识别结果确定所述待识别运动状态信息对应的信息类别，根据所述信息类别将所述待识别运动状态信息输入至对应的轨迹预测模型中，得到所述目标障碍物的运动轨迹。采用本方法能够提高轨迹预测准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于异常信息识别的轨迹预测方法、装置、计算机设备和存储介质。
背景技术
随着城市车辆的不断增加，对城市交通的管理也带来了巨大的压力。比如，交通拥堵、违法车辆缉查布控等给城市交通带来的压力。在车辆驾驶过程中，能够准确预测周围环境中的障碍物在一定时间内的轨迹，在一定程度上可以有效减缓城市的拥堵和提升车辆布控的精准，也能够使驾驶车辆更早识别障碍物的意图，并根据障碍物意图来规划行驶路线以及行驶速度，从而避免碰撞，减少安全事故的发生。传统的轨迹预测方式是对所有障碍物的运动状态信息进行统一处理，当运动状态信息中存在异常信息时，由于异常信息和正常信息的差异性较大，通过传统方式进行轨迹预测会导致轨迹预测的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高轨迹预测准确性的的基于异常信息识别的轨迹预测方法、装置、计算机设备和存储介质。
一种基于异常信息识别的轨迹预测方法，所述方法包括：
获取目标障碍物的待识别运动状态信息，所述待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息；
根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量；
将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果；
根据所述向量识别结果确定所述待识别运动状态信息对应的信息类别，根据所述信息类别将所述待识别运动状态信息输入至对应的轨迹预测模型中，得到所述目标障碍物的运动轨迹。
在其中一个实施例中，所述根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量包括：
根据多帧待处理位置信息生成所述目标障碍物在每个运动方向的位置特征向量；
计算所述位置特征向量中相邻两个特征量的差值，得到所述目标障碍物在每个运动方向的位置变化向量。
在其中一个实施例中，所述获取目标障碍物的待识别运动状态信息包括：
获取目标障碍物的当前帧运动状态信息；
根据预设帧数获取所述目标障碍物的历史帧状态信息；所述历史帧状态信息与所述当前帧状态信息构成连续帧运动状态信息；
将所述连续帧运动状态数据确定为所述目标障碍物的待识别运动状态信息。
在其中一个实施例中，所述获取目标障碍物的当前帧运动状态信息包括：
获取目标障碍物的当前帧路测数据；
对所述当前帧路测数据进行目标检测，得到包含位置信息的当前帧包围框；
将所述当前帧包围框以及上一帧包围框输入至目标跟踪模型中，得到当前帧目标跟踪结果；
根据所述当前帧目标跟踪结果和所述当前帧包围框得到所述目标障碍物的当前帧运动状态信息。
在其中一个实施例中，在所述获取目标障碍物的待识别运动状态信息之前，所述方法还包括：
获取样本障碍物的多帧测量位置信息，各帧测量位置信息包括多个运动方向的测量位置信息；
获取各帧测量位置信息对应的实际位置信息；
根据多帧测量位置信息和多帧实际位置信息分别计算所述样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量；
根据所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据；
根据所述样本数据对多层感知机进行训练，当达到预设条件时，得到已训练的异常识别模型。
在其中一个实施例中，所述根据多帧测量位置信息和多帧实际位置信息分别计算所述样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量包括：
根据多帧测量位置信息生成所述样本障碍物在每个运动方向的测量位置向量；
根据多帧实际位置信息生成所述样本障碍物在每个运动方向的实际位置向量；
计算所述测量位置向量中相邻两个特征量的差值，得到所述样本障碍物在每个运动方向的测量位置变化向量；
计算所述实际位置向量中相邻两个特征量的差值，得到所述样本障碍物在每个运动方向的实际位置变化向量。
在其中一个实施例中，所述根据所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据包括：
计算所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差；
将所述误差大于阈值的相应运动方向的测量位置信息标注为异常信息；
将所述误差小于或者等于所述阈值的相应运动方向的测量位置信息标注为正常信息。
一种基于异常信息识别的轨迹预测装置，所述装置包括：
信息获取模块，用于获取目标障碍物的待识别运动状态信息，所述待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息；
向量计算模块，用于根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量；
异常识别模块，用于将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果；
轨迹预测模块，用于根据所述向量识别结果确定所述待识别运动状态信息对应的信息类别，根据所述信息类别将所述待识别运动状态信息输入至对应的轨迹预测模型中，得到所述目标障碍物的运动轨迹。
一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述基于异常信息识别的轨迹预测方法、装置、计算机设备和存储介质，获取目标障碍物的待识别运动状态信息，根据待识别运动状态信息中的多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量，从而将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果，进而根据向量识别结果确定待识别运动状态信息对应的信息类别，根据信息类别将待识别运动状态信息输入至对应的轨迹预测模型中，得到目标障碍物的运动轨迹。通过计算目标障碍物在每个运动方向的位置变化向量，能够消除多帧待处理位置信息在同一运动方向存在的偏差，使得能够实现根据目标障碍物的位置信息来确定待识别运动状态信息是否异常。通过异常识别模型来对位置变化向量进行异常识别，能够准确识别出正常信息以及异常信息，将正常信息以及异常信息分别通过对应的轨迹预测模型进行处理，实现将正常障碍物的正常信息与异常障碍物的异常信息区分处理，有效避免了异常信息对正常信息对应的轨迹预测模型的影响，提高了轨迹预测的准确性。
附图说明
图1为一个实施例中基于异常信息识别的轨迹预测方法的应用环境图；
图2为一个实施例中基于异常信息识别的轨迹预测方法的流程示意图；
图3为一个实施例中根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量步骤的流程示意图；
图4为一个实施例中训练异常识别模型步骤的流程示意图；
图5为一个实施例中基于异常信息识别的轨迹预测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于异常信息识别的轨迹预测方法，可应用于计算机设备中，计算机设备可以为终端或服务器。可以理解的是，本申请提供的图像处理方法可以应用于终端，也可以应用于服务器。
本申请提供的基于异常信息识别的轨迹预测方法，可以应用于如图1所示的应用环境中。其中，车载传感器102与车载计算机设备104通过网络进行通信。车载传感器的数量可以为一个也可以为多个。车载计算机设备可以简称为计算机设备。车载传感器102将采集到的路测数据发送至计算机设备104，车载计算机设备104对路测数据进行目标检测和目标跟踪，得到目标障碍物的待识别运动状态信息，待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息，根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量，从而将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果，进而根据向量识别结果确定待识别运动状态信息对应的信息类别，根据信息类别将待识别运动状态信息输入至对应的轨迹预测模型中，得到目标障碍物的运动轨迹。车载传感器102可以但不限于是激光雷达、激光扫描仪、摄像头。摄像头包括但不限于是灰度摄像头、RGB摄像头中的至少一种。车载计算机设备104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于异常信息识别的轨迹预测方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，获取目标障碍物的待识别运动状态信息，待识别运动状态信息包括多帧待处理位置信息。
目标障碍物是指车辆在行驶过程中，车辆周围的动态障碍物。目标障碍物可以包括行人、车辆等。待识别运动状态信息是指需要进行异常信息识别以及轨迹预测的信息。
车辆在驾驶的过程中，安装在车辆上的车载传感器可以将采集到的路测数据发送至计算机设备。计算机设备可以帧为单位保存路测数据，并记录每帧路测数据的数据采集时间等信息。其中，车载传感器可以是激光雷达、激光扫描仪、摄像头等。路测数据可以是点云数据或者周围环境图像。当车载传感器为激光雷达或激光扫描仪时，将采集的点云数据发送至计算机设备。当车载传感器为摄像头时，将采集到的周围环境图像发送至计算机设备。点云数据是指车载传感器将扫描到的周围环境信息以点云形式记录的数据，周围环境信息中包括车辆周围环境中的目标障碍物，目标障碍物可以为多个。点云数据具体可以包括各点的三维坐标、激光反射强度、颜色信息等。三维坐标用于表示周围环境中目标障碍物表面的位置信息。周围环境图像可以是通过多个摄像头采集到的车辆周围的全景图像。
计算机设备对路测数据进行目标检测以及目标跟踪，得到目标障碍物的待识别运动状态信息。具体的，计算机设备将采集到的路测数据输入至对应的目标检测模型中，定位每个目标障碍物所在的位置区域，并用包围框将位置区域框起来，得到每个目标障碍物对应的包围框。当路测数据为点云数据时，对应的目标检测模型可以是PointNet、PointPillar、PolarNet、Semantic Segment Models(语义分割模型)等目标检测模型中的任意一种。该目标检测模型对点云数据进行目标检测，确定每个目标障碍物对应的三维包围框，包括每个目标障碍物的中心点坐标、大小、朝向等。中心点坐标表示目标障碍物的位置信息。当路测数据为周围环境图像时，对应的目标检测模型可以是SSD(Single ShotMultiBox Detector直接多目标检测)模型、RefineDet(Single-Shot Refinement neuralnetwork for Object Detection，精细直接多目标检测)、Mobilenet-SSD(Mobilenetbased Single Shot MultiBox Detector，基于针对移动端视觉应用的高效卷积神经网络的直接多目标检测)模型、YOLO(You Only Look Once，统一实时目标检测)模型等中的任意一种。该目标检测模型对周围环境图像进行目标检测，确定目标障碍物对应的二维包围框，包括目标障碍物的中心点坐标、大小、朝向等。中心点坐标表示目标障碍物的位置信息。通过识别每个目标障碍物对应的包围框，能够准确区分不同的目标障碍物。
进一步的，若周围环境图像对应的目标检测模型是基于预处理后的图像训练得到的，则在对周围环境图像进行目标检测之前，需对周围环境图像进行预处理，比如将周围环境图像缩放成固定尺寸，以保证与模型训练过程中样本数据的统一，增强模型鲁棒性。
从而计算机设备可以将目标障碍物对应的当前帧包围框以及当前帧之前的包围框组成的连续多帧包围框输入至预先训练的目标跟踪模型中，得到当前帧目标障碍物的速度和加速度。在目标跟踪过程中，目标跟踪模型还会对当前帧包围框进行调整，以减小连续帧间包围框的抖动。其中，目标跟踪模型可以包括卡尔曼滤波器(kalman filter，简称KF)、无迹卡尔曼滤波器(Unscented Kalman Filter，简称UKF)等传统跟踪器中的任意一种。
计算机设备可以对每帧路测数据进行目标检测以及目标跟踪，得到每帧运动状态信息。在需要进行轨迹预测时，获取当前帧运动状态信息在内的连续多帧运动状态信息作为目标障碍物的待识别运动状态信息。待识别运动状态信息中包括目标障碍物的位置信息、速度、加速度、朝向等。由于每帧运动状态数据中包括目标障碍物的位置信息，待识别运动状态信息中包括多帧待处理位置信息。每帧待处理位置信息包括目标障碍物的中心坐标，包括有X坐标轴方向的横坐标，以及Y坐标轴方向的纵坐标，可以将X坐标轴方向的横坐标和Y坐标轴方向的纵坐标确定为多个运动方向的位置信息。
步骤204，根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量。
位置变化向量是指相邻两帧间位置信息的变化量所组成的特征向量。
由于目标障碍物的待识别运动状态信息是通过目标检测和目标跟踪处理后得到的，通常为了抗抖动，目标障碍物对应的包围框都会往同一个运动方向存在一个偏差，直接对多帧待处理位置信息进行异常识别时不准确的。为了消除偏差，可以根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量，通过识别目标障碍物在每个运动方向的位置变化向量是否异常来确定该目标障碍物的待识别运动状态信息是否异常。运动方法可以包括X坐标轴方向和Y坐标轴方向。具体的，计算机设备可以先根据多帧待处理位置信息生成目标障碍物在每个运动方向的位置特征向量，从而计算每个运动方向的位置特征向量中每相邻两个位置信息的差值，进而根据差值生成目标障碍物在每个方向的位置变化向量。
步骤206，将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果。
计算机设备中预先存储有已训练的异常识别模型，异常识别模型是通过大量的样本数据训练得到的。样本数据是指经过标注后的障碍物的位置信息。计算机设备可以在得到每个运动方向的位置变化向量后，调用已训练的异常识别模型，将每个运动方向的位置变化向量输入至异常识别模型中，通过异常识别模型分别对每个运动方向的位置变化向量进行识别，从而确定每个运动方向的位置变化向量是异常信息还是正常信息。异常识别模型中预先设置有异常信息以及正常信息对应的标签值。异常信息与正常信息对应的标签值是不同的。通过标签值可以快速确定信息类别，即异常信息或正常信息。例如，标签值可以是整数，具体可以是异常信息对应的标签值为1，正常信息对应的标签值为0。异常识别模型在完成信息识别后，输出每个运动方向对应的向量识别结果。向量识别结果中可以包括位置变化向量对应的标签值，根据标签值可以确定该位置变化向量是异常信息还是正常信息。
步骤208，根据向量识别结果确定待识别运动状态信息对应的信息类别，根据信息类别将待识别运动状态信息输入至对应的轨迹预测模型中，得到目标障碍物的运动轨迹。
计算机设备中预先存储有已训练的轨迹预测模型。其中，轨迹预测模型可以是深度预测网络模型。轨迹预测模型包括异常信息对应的轨迹预测模型以及正常信息对应的轨迹预测模型。异常信息对应的轨迹预测模型和正常信息对应的轨迹预测模型可以是对同一个深度预测网络模型分别通过异常样本以及正常样本训练得到的，也可以是通过异常样本以及正常样本对不同的深度预测网络模型训练得到的。轨迹预测模型可以包括但不限于是vectorNet、TPNet(Trajectory Proposal Network，基于候选轨迹的模型)、MultiPath等中的任意一种。
当向量识别结果中存在异常信息对应的标签值时，表明该目标障碍物的位置与实际位置存在较大差异，该目标障碍物处于异常运动状态，由此确定该目标障碍物对应的待识别运动状态信息的信息类别为异常信息。调用异常信息对应的轨迹预测模型，将待识别运动状态信息输入至该轨迹预测模型中，得到该目标障碍物的运动轨迹。当向量识别结果中的标签值均为正常信息对应的标签值时，表明该目标障碍物的位置与实际位置差异较小，该目标障碍物处于正常运动状态，由此确定该目标障碍物对应的待识别运动状态信息的信息类别为正常信息。调用正常信息对应的轨迹预测模型，将待识别运动状态信息输入至该轨迹预测模型中，得到该目标障碍物的运动轨迹。
例如，当异常信息对应的标签值为1，正常信息对应的标签值为0时，若目标障碍物对应的多个运动方向的向量识别结果中存在标签值为1的向量识别结果，则表明该目标障碍物对应的待识别运动状态信息的信息类别为异常信息。若目标障碍物对应的多个运动方向的向量识别结果中均为标签值为0的向量识别结果，则表明该目标障碍物对应的待识别运动状态信息的信息类别为异常信息。
在本实施例中，获取目标障碍物的待识别运动状态信息，根据待识别运动状态信息中的多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量，从而将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果，进而根据向量识别结果确定待识别运动状态信息对应的信息类别，根据信息类别将待识别运动状态信息输入至对应的轨迹预测模型中，得到目标障碍物的运动轨迹。通过计算目标障碍物在每个运动方向的位置变化向量，能够消除多帧待处理位置信息在同一运动方向存在的偏差，使得能够实现根据目标障碍物的位置信息来确定待识别运动状态信息是否异常。通过异常识别模型来对位置变化向量进行异常识别，能够准确识别出正常信息以及异常信息，将正常信息以及异常信息分别通过对应的轨迹预测模型进行处理，实现将正常障碍物的正常信息与异常障碍物的异常信息区分处理，有效避免了异常信息对正常信息对应的轨迹预测模型的影响，提高了轨迹预测的准确性。
在一个实施例中，如图3所示，步骤204：根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量的步骤包括：
步骤302，根据多帧待处理位置信息生成目标障碍物在每个运动方向的位置特征向量。
步骤304，计算位置特征向量中相邻两个特征量的差值，得到目标障碍物在每个运动方向的位置变化向量。
多帧待处理位置信息为当前帧待处理位置信息和当前帧之前的多帧待处理位置组成的连续帧待处理位置信息。每帧待处理位置信息包括X坐标轴方向的位置信息以及Y坐标轴方向的位置信息。X坐标轴方向的位置信息即目标障碍物中心坐标的横坐标，Y坐标轴方向即目标障碍物中心坐标的纵坐标。
将多帧待处理位置信息中X坐标轴方向的位置信息按照时间先后顺序排列，生成X坐标轴方向的位置特征向量，若获取的是连续N帧待处理位置信息，X坐标轴方向的位置特征向量可以表示为X_a＝[X_a_1，X_a_2，X_a_3，…，X_a_N]，其中，X_a_N表示第N帧X坐标轴方向的位置信息，也可以称为X坐标轴方向的位置特征向量中第N个特征量。同样的，将多帧待处理位置信息中Y坐标轴方向的位置信息按照时间先后顺序排列，生成Y坐标轴方向的位置特征向量。Y坐标轴方向的位置特征向量可以表示为Y_a＝[Y_a_1，Y_a_2，Y_a_3，…，Y_a_N]，其中，Y_a_N表示第N帧Y坐标轴方向的位置信息，也可以称为Y坐标轴方向的位置特征向量中第N个特征量。
将X坐标轴方向的位置特征向量和Y坐标轴方向的位置特征向量中的相邻两个特征量相减，得到X坐标轴方向的多个帧间位置差值，和Y坐标轴方向的多个帧间位置差值。将X坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在X坐标轴方向的位置变化向量ΔX_a＝[ΔX_a_1，ΔX_a_2，ΔX_a_3，…，ΔX_a_(N-1)]，其中，ΔX_a_(N-1)＝X_a_N-X_a_(N-1)。将Y坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在Y坐标轴方向的位置变化向量ΔY_a＝[ΔY_a_1，ΔY_a_2，ΔY_a_3，…，ΔY_a_(N-1)]。其中，ΔY_a_(N-1)＝Y_a_N-Y_a_(N-1)。
在本实施例中，通过计算目标障碍物在每个运动方向的位置变化向量，消除了多帧待处理位置信息在同一运动方向上的偏差，实现根据位置信息对目标障碍物的待识别运动状态信息进行异常识别，有效提高了轨迹预测的准确性。
在一个实施例中，步骤202：获取目标障碍物的待识别运动状态信息包括：获取目标障碍物的当前帧运动状态信息；根据预设帧数获取目标障碍物的历史帧状态信息；历史帧状态信息与当前帧状态信息构成连续帧运动状态信息；将连续帧运动状态数据确定为目标障碍物的待识别运动状态信息。
当前帧运动状态信息包括目标障碍物在当前帧的位置信息、速度、加速度、朝向等。预设帧数是指轨迹预测所需要的历史帧的数量。
当需要进行轨迹预测时，计算机设备可以获取目标障碍物的当前帧运动状态信息，并获取当前帧之前，目标障碍物的预设帧数状态信息，确定为历史帧状态信息，历史帧状态信息与当前帧状态信息之间为连续帧运动状态信息，从而将连续帧运动状态信息确定为目标障碍物的待识别运动状态信息，通过获取多帧运动状态数据以进行后续异常识别，有利于提高异常信息识别的准确性。
在其中一个实施例中，获取目标障碍物的待识别运动状态信息包括：获取目标障碍物的当前帧路测数据；对当前帧路测数据进行目标检测，得到包含位置信息的当前帧包围框；将当前帧包围框以及上一帧包围框输入至目标跟踪模型中，得到当前帧目标跟踪结果；根据当前帧目标跟踪结果和当前帧包围框得到目标障碍物的当前帧运动状态信息。
由于计算机设备是将车载传感器采集的路测数据是以帧为单位保存的，对各帧路测数据进行目标检测以及目标跟踪，得到目标障碍物的当前帧运动状态信息。具体的，针对当前帧，可以获取目标障碍物的当前帧路测数据，路测数据可以是点云数据或周围环境图像。在当前帧路测数据为点云数据时，将当前帧点云数据输入至对应的目标检测模型，如PointNet、PointPillar、PolarNet、Semantic Segmention Models(语义分割模型)等目标检测模型中的任意一种，定位每个目标障碍物所在的位置区域，并用包围框将位置区域框起来，得到每个目标障碍物对应的三维包围框，包括每个目标障碍物的中心点坐标、大小、朝向等。
当路测数据为周围环境图像时，将周围环境图像输入至对应的目标检测模型，如SSD(Single Shot Multi Box Detector，直接多目标检测)模型、RefineDet(Single-ShotRefinement Neural Network for Object Detection，精细直接多目标检测)、MobileNet-SSD(MobileNet based Single Shot MultiBox Detector，基于针对移动端视觉应用的高效卷积神经网络的直接多目标检测)模型、YOLO(You Only Look Once，统一实时目标检测)模型等中的任意一种，得到目标障碍物对应的二维包围框，包括目标障碍物的中心点坐标、大小、朝向等。中心点坐标表示目标障碍物的位置信息。从而可以将目标障碍物对应的当前帧包围框以及上一帧包围框输入至目标跟踪模型中，得到当前帧目标跟踪结果，包括当前帧目标障碍物的速度和加速度。根据当前帧目标跟踪结果以及当前帧包围框得到目标障碍物的当前帧运动状态信息。
在本实施例中，通过对当前帧路测数据进行目标检测以及目标跟踪，得到当前帧运动状态信息，能够准确、快速地获取目标障碍物的运动状态信息。
在一个实施例中，在获取目标障碍物的待识别运动状态信息之前，上述方法还包括训练异常识别模型的步骤，具体包括：
步骤402，获取样本障碍物的多帧测量位置信息，各帧测量位置信息包括多个运动方向的测量位置信息。
步骤404，获取各帧测量位置信息对应的实际位置信息。
样本障碍物是指用于训练异常识别模型的交通参与者。多帧测量位置信息是指通过对车载传感器采集的路测数据进行目标检测和目标跟踪后得到的连续多帧信息。
样本障碍物可以为多个。在多个样本障碍物的测量位置信息中分别获取相同帧数的连续帧测量位置信息，得到样本障碍物的多帧测量位置信息。每个样本障碍物的各帧测量位置信息包括X坐标轴方向的测量位置信息和Y坐标轴方向的测量位置信息，X坐标轴方向的测量位置信息是指样本障碍物在X坐标轴方向的横坐标，Y坐标轴方向的测量位置信息是指样本障碍物在Y坐标轴方向的纵坐标。
多帧实际位置信息是指人工标注的样本障碍物的连续多帧位置信息。计算机设备可以根据获取的测量位置信息获取相应的实际位置信息，从而样本障碍物对应的多帧实际位置信息。实际位置信息与测量位置信息是一一对应的。
步骤406，根据多帧测量位置信息和多帧实际位置信息分别计算样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量。
测量位置变化向量是指相邻两帧间测量位置信息的变化量所组成的特征向量。实际位置变化向量是指相邻两帧间实际位置信息的变化量所组成的特征向量。
计算机设备可以根据多帧测量位置信息生成样本障碍物在每个运动方向的测量位置向量，根据多帧实际位置信息生成样本障碍物在每个运动方向的实际位置向量。其中，测量位置向量包括多帧测量位置信息。实际位置向量包括多帧实际位置信息。从而计算测量位置向量中相邻两个测量位置信息的差值，得到样本障碍物在每个运动方向的测量位置变化向量，计算实际位置向量中相邻两个实际位置信息的差值，得到样本障碍物在每个运动方向的实际位置变化向量。
步骤408，根据测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据。
针对每个运动方向，计算机设备计算实际位置变化向量各特征量，与测量位置变化向量中相应特征量之间的误差，并根据误差来对每个运动方向的测量位置信息进行标注，根据标注后的信息得到样本数据。在其中一个实施例中，步骤408：根据测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据包括：计算测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差；将误差大于阈值的相应运动方向的测量位置信息标注为异常信息；将误差小于或者等于阈值的相应运动方向的测量位置信息标注为正常信息。
针对每个运动方向，计算实际位置变化向量的各特征量与测量位置变化向量中相应特征量之间的差值，将差值的绝对值确定为对应特征量之间的误差。将误差与阈值进行比较。例如，阈值可以是0.2m或者0.3m。当误差大于阈值时，表明相应运动方向的测量位置信息为异常信息，可以将相应运动方向的测量位置信息进行标注，得到异常信息对应的标签值。当误差小于或者等于阈值时，表明相应运动方向的测量位置信息为正常信息，可以将相应运动方向的测量位置信息进行标注，得到正常信息对应的标签值。正常信息对应的标签值和异常信息对应的标签值是不同的。例如，标签值可以是整数，具体可以是异常信息对应的标签值为1，正常信息对应的标签值为0。
步骤410，根据样本数据对多层感知机模型进行训练，当达到预设条件时，得到已训练的异常识别模型。
根据标注后的样本数据和预设的网络参数更新方式对多层感知机(Multi-layerperceptron，简称MLP)的网络参数进行更新，得到更新后的多层感知机。每经过一次更新，判断更新后的多层感知机是否满足预设条件。若满足，则停止训练，将更新后的多层感知机作为已训练的异常识别模型。若不满足，则返回步骤410，直至满足预设条件，将更新后的多层感知机确定为已训练的异常识别模型。其中，预设的网络参数更新方式可以是梯度下降法、反向传播算法等误差修正算法中的任意一种。例如，Adam(Adaptive MomentEstimation，自适应矩估计)算法。预设条件可以是网络损失值达到损失阈值，也可以是迭代次数达到迭代次数阈值，在此不作限定。
在本实施例中，根据多帧测量位置信息和多帧实际位置信息分别计算样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量，能够分别消除多帧测量位置信息以及消除多帧实际位置信息在同一运动方向存在的偏差，使得能够实现根据样本障碍物的测量位置信息和实际位置信息来确定每个运动方向的测量位置信息是否异常。从而根据测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据，进而根据样本数据对多层感知机进行训练，当达到预设条件时，得到已训练的异常识别模型。通过标注有异常信息以及正常信息的样本数据进行网络训练，使得异常识别模型能够更准确识别异常信息。
在一个实施例中，步骤406：根据多帧测量位置信息和多帧实际位置信息分别计算样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量包括：根据多帧测量位置信息生成样本障碍物在每个运动方向的测量位置向量；根据多帧实际位置信息生成样本障碍物在每个运动方向的实际位置向量；计算测量位置向量中相邻两个特征量的差值，得到样本障碍物在每个运动方向的测量位置变化向量；计算实际位置向量中相邻两个特征量的差值，得到样本障碍物在每个运动方向的实际位置变化向量。
多帧测量位置信息是指通过对车载传感器采集的路测数据进行目标检测和目标跟踪后得到的连续多帧信息。多帧实际位置信息是指人工标注的样本障碍物的连续多帧位置信息。实际位置信息与测量位置信息是一一对应的。
各帧测量位置信息和各帧实际位置信息分别包括X坐标轴方向和Y坐标轴方向两个运动方向的信息。每个样本障碍物的各帧测量位置信息包括X坐标轴方向的测量位置信息和Y坐标轴方向的测量位置信息，X坐标轴方向的测量位置信息是指样本障碍物在X坐标轴方向的横坐标，Y坐标轴方向的测量位置信息是指样本障碍物在Y坐标轴方向的纵坐标。
将多帧测量位置信息中X坐标轴方向的位置信息按照时间先后顺序排列，生成X坐标轴方向的测量位置向量，若获取的是连续T帧测量位置信息，X坐标轴方向的测量位置向量可以表示为X_b＝[X_b_1，X_b_2，X_b_3，…，X_b_T]，其中，X_b_T表示第T帧X坐标轴方向的位置信息，也可以称为X坐标轴方向的测量位置向量中第T个特征量。将多帧测量位置向量中Y坐标轴方向的位置信息按照时间先后顺序排列，生成Y坐标轴方向的测量位置向量。Y坐标轴方向的测量位置向量可以表示为Y_b＝[Y_b_1，Y_b_2，Y_b_3，…，Y_b_T]，其中，Y_b_T表示第T帧Y坐标轴方向的位置信息，也可以称为Y坐标轴方向的测量位置向量中第T个特征量。
将多帧实际位置信息中X坐标轴方向的位置信息按照时间先后顺序排列，生成X坐标轴方向的实际位置向量，X坐标轴方向的实际位置向量可以表示为X_c＝[X_c_1，X_c_2，X_c_3，…，X_c_T]，其中，X_c_T表示第T帧X坐标轴方向的位置信息，也可以称为X坐标轴方向的实际位置向量中第T个特征量。将多帧实际位置向量中Y坐标轴方向的位置信息按照时间先后顺序排列，生成Y坐标轴方向的实际位置向量。Y坐标轴方向的实际位置向量可以表示为Y_c＝[Y_c_1，Y_c_2，Y_c_3，…，Y_c_T]，其中，Y_c_T表示第T帧Y坐标轴方向的位置信息，也可以称为Y坐标轴方向的实际位置向量中第T个特征量。
将X坐标轴方向的测量位置向量和Y坐标轴方向的测量位置向量中的相邻两个特征量相减，得到X坐标轴方向的多个帧间位置差值，和Y坐标轴方向的多个帧间位置差值。将X坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在X坐标轴方向的测量位置变化向量ΔX_b＝[ΔX_b_1，ΔX_b_2，ΔX_b_3，…，ΔX_b_(T-1)]，其中，ΔX_b_(T-1)＝X_b_T-X_b_(T-1)。将Y坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在Y坐标轴方向的测量位置变化向量ΔY_b＝[ΔY_b_1，ΔY_b_2，ΔY_b_3，…，ΔY_b_(T-1)]。其中，ΔY_b_(T-1)＝Y_b_T-Y_b_(T-1)。
将X坐标轴方向的实际位置向量和Y坐标轴方向的实际位置向量中的相邻两个特征量相减，得到X坐标轴方向的多个帧间位置差值，和Y坐标轴方向的多个帧间位置差值。将X坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在X坐标轴方向的实际位置变化向量ΔX_c＝[ΔX_c_1，ΔX_c_2，ΔX_c_3，…，ΔX_c_(T-1)]，其中，ΔX_c_(T-1)＝X_c_T-X_c_(T-1)。将Y坐标轴方向的多个帧间位置差值按照时间先后顺序排列，生成目标障碍物在Y坐标轴方向的实际位置变化向量ΔY_c_＝[ΔY_c_1，ΔY_c_2，ΔY_c_3，…，ΔY_c_(T-1)]。其中，ΔY_c_(T-1)＝Y_c_T-Y_c_(T-1)。
在本实施例中，通过计算测量位置向量中相邻两个特征量的差值，以及实际位置向量中相邻两个特征量的差值，得到样本障碍物在每个运动方向的测量位置变化向量和实际位置变化向量，能够分别消除多帧测量位置信息以及消除多帧实际位置信息在同一运动方向存在的偏差，使得能够实现根据样本障碍物的测量位置信息和实际位置信息来确定每个运动方向的测量位置信息是否异常，有利于提高后续轨迹预测的准确性。
应该理解的是，虽然图2至4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于异常信息识别的轨迹预测装置，包括：信息获取模块502、向量计算模块504、异常识别模块506和轨迹预测模块508，其中：
信息获取模块502，用于获取目标障碍物的待识别运动状态信息，待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息。
向量计算模块504，用于根据多帧待处理位置信息计算目标障碍物在每个运动方向的位置变化向量。
异常识别模块506，用于将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果。
轨迹预测模块508，用于根据向量识别结果确定待识别运动状态信息对应的信息类别，根据信息类别将待识别运动状态信息输入至对应的轨迹预测模型中，得到目标障碍物的运动轨迹。
在一个实施例中，向量计算模块504还用于根据多帧待处理位置信息生成目标障碍物在每个运动方向的位置特征向量；计算位置特征向量中相邻两个特征量的差值，得到目标障碍物在每个运动方向的位置变化向量。
在一个实施例中，信息获取模块502还用于获取目标障碍物的当前帧运动状态信息；根据预设帧数获取目标障碍物的历史帧状态信息；历史帧状态信息与当前帧状态信息构成连续帧运动状态信息；将连续帧运动状态数据确定为目标障碍物的待识别运动状态信息。
在一个实施例中，信息获取模块502还用于获取目标障碍物的当前帧路测数据；对当前帧路测数据进行目标检测，得到包含位置信息的当前帧包围框；将当前帧包围框以及上一帧包围框输入至目标跟踪模型中，得到当前帧目标跟踪结果；根据当前帧目标跟踪结果和当前帧包围框得到目标障碍物的当前帧运动状态信息。
在一个实施例中，上述装置还包括：
测量信息获取模块，用于获取样本障碍物的多帧测量位置信息，各帧测量位置信息包括多个运动方向的测量位置信息；
实际信息获取模块，用于获取各帧测量位置信息对应的实际位置信息；
变化向量计算模块，用于根据多帧测量位置信息和多帧实际位置信息分别计算样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量；
样本生成模块，用于根据测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据；
模型训练模块，用于根据样本数据对多层感知机进行训练，当达到预设条件时，得到已训练的异常识别模型。
在一个实施例中，变化向量计算模块还用于根据多帧测量位置信息生成样本障碍物在每个运动方向的测量位置向量；根据多帧实际位置信息生成样本障碍物在每个运动方向的实际位置向量；计算测量位置向量中相邻两个特征量的差值，得到样本障碍物在每个运动方向的测量位置变化向量；计算实际位置向量中相邻两个特征量的差值，得到样本障碍物在每个运动方向的实际位置变化向量。
在一个实施例中，样本生成模块还用于计算测量位置变化向量中各特征量，与实际位置变化向量中相应特征量之间的误差；将误差大于阈值的相应运动方向的测量位置信息标注为异常信息；将误差小于或者等于阈值的相应运动方向的测量位置信息标注为正常信息。
关于基于异常信息识别的轨迹预测装置的具体限定可以参见上文中对于基于异常信息识别的轨迹预测方法的限定，在此不再赘述。上述基于异常信息识别的轨迹预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种基于异常信息识别的轨迹预测的方法。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于异常信息识别的轨迹预测方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyTchliTk)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于异常信息识别的轨迹预测方法，其特征在于，所述方法包括：
获取目标障碍物的待识别运动状态信息，所述待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息；
根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量；
将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果；
根据所述向量识别结果确定所述待识别运动状态信息对应的信息类别，根据所述信息类别将所述待识别运动状态信息输入至对应的轨迹预测模型中，得到所述目标障碍物的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量包括：
根据多帧待处理位置信息生成所述目标障碍物在每个运动方向的位置特征向量；
计算所述位置特征向量中相邻两个特征量的差值，得到所述目标障碍物在每个运动方向的位置变化向量。
3.根据权利要求1所述的方法，其特征在于，所述获取目标障碍物的待识别运动状态信息包括：
获取目标障碍物的当前帧运动状态信息；
根据预设帧数获取所述目标障碍物的历史帧状态信息；所述历史帧状态信息与所述当前帧状态信息构成连续帧运动状态信息；
将所述连续帧运动状态数据确定为所述目标障碍物的待识别运动状态信息。
4.根据权利要求3所述的方法，其特征在于，所述获取目标障碍物的当前帧运动状态信息包括：
获取目标障碍物的当前帧路测数据；
对所述当前帧路测数据进行目标检测，得到包含位置信息的当前帧包围框；
将所述当前帧包围框以及上一帧包围框输入至目标跟踪模型中，得到当前帧目标跟踪结果；
根据所述当前帧目标跟踪结果和所述当前帧包围框得到所述目标障碍物的当前帧运动状态信息。
5.根据权利要求1所述的方法，其特征在于，在所述获取目标障碍物的待识别运动状态信息之前，所述方法还包括：
获取样本障碍物的多帧测量位置信息，各帧测量位置信息包括多个运动方向的测量位置信息；
获取各帧测量位置信息对应的实际位置信息；
根据多帧测量位置信息和多帧实际位置信息分别计算所述样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量；
根据所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据；
根据所述样本数据对多层感知机进行训练，当达到预设条件时，得到已训练的异常识别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据多帧测量位置信息和多帧实际位置信息分别计算所述样本障碍物在每个运动方向的测量位置变化向量以及实际位置变化向量包括：
根据多帧测量位置信息生成所述样本障碍物在每个运动方向的测量位置向量；
根据多帧实际位置信息生成所述样本障碍物在每个运动方向的实际位置向量；
计算所述测量位置向量中相邻两个特征量的差值，得到所述样本障碍物在每个运动方向的测量位置变化向量；
计算所述实际位置向量中相邻两个特征量的差值，得到所述样本障碍物在每个运动方向的实际位置变化向量。
7.根据权利要求5所述的方法，其特征在于，所述根据所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差对相应运动方向的测量位置信息进行标注，生成样本数据包括：
计算所述测量位置变化向量中各特征量，与所述实际位置变化向量中相应特征量之间的误差；
将所述误差大于阈值的相应运动方向的测量位置信息标注为异常信息；
将所述误差小于或者等于所述阈值的相应运动方向的测量位置信息标注为正常信息。
8.一种基于异常信息识别的轨迹预测装置，其特征在于，所述装置包括：
信息获取模块，用于获取目标障碍物的待识别运动状态信息，所述待识别运动状态信息包括多帧待处理位置信息，各帧待处理位置信息包括多个运动方向的待处理位置信息；
向量计算模块，用于根据多帧待处理位置信息计算所述目标障碍物在每个运动方向的位置变化向量；
异常识别模块，用于将每个运动方向的位置变化向量输入至已训练的异常识别模型中，得到每个运动方向对应的向量识别结果；
轨迹预测模块，用于根据所述向量识别结果确定所述待识别运动状态信息对应的信息类别，根据所述信息类别将所述待识别运动状态信息输入至对应的轨迹预测模型中，得到所述目标障碍物的运动轨迹。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333716.3A CN113239719B (zh) | 2021-03-29 | 2021-03-29 | 基于异常信息识别的轨迹预测方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333716.3A CN113239719B (zh) | 2021-03-29 | 2021-03-29 | 基于异常信息识别的轨迹预测方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239719A CN113239719A (zh) | 2021-08-10 |
| CN113239719B true CN113239719B (zh) | 2024-04-19 |
Family
ID=77130677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110333716.3A Active CN113239719B (zh) | 2021-03-29 | 2021-03-29 | 基于异常信息识别的轨迹预测方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239719B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113589254B (zh) * | 2021-08-23 | 2024-07-05 | 广东正扬传感科技股份有限公司 | 基于雷达的移动目标检测方法、装置及雷达检测设备 |
| CN114563007B (zh) * | 2022-04-28 | 2022-07-29 | 新石器慧通（北京）科技有限公司 | 障碍物的运动状态预测方法、装置、电子设备及存储介质 |
| CN115480275B (zh) * | 2022-09-15 | 2023-08-08 | 中华人民共和国广东海事局 | 运动状态获取方法、装置以及计算机设备和存储介质 |
| CN116597397B (zh) * | 2023-07-17 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 预测车辆轨迹的模型训练方法和装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934347A (zh) * | 2017-02-10 | 2017-07-07 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| CN111025297A (zh) * | 2019-12-24 | 2020-04-17 | 京东数字科技控股有限公司 | 一种车辆监测方法、装置、电子设备及存储介质 |
| DE102019200849A1 (de) * | 2019-01-24 | 2020-07-30 | Conti Temic Microelectronic Gmbh | Verfahren zum Erfassen einer Bewegung eines Objekts |
| CN111626314A (zh) * | 2019-02-28 | 2020-09-04 | 深圳市速腾聚创科技有限公司 | 点云数据的分类方法、装置、计算机设备和存储介质 |
| WO2020206708A1 (zh) * | 2019-04-09 | 2020-10-15 | 广州文远知行科技有限公司 | 障碍物的识别方法、装置、计算机设备和存储介质 |
| CN112364715A (zh) * | 2020-10-23 | 2021-02-12 | 岭东核电有限公司 | 核电作业异常监控方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-29 CN CN202110333716.3A patent/CN113239719B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934347A (zh) * | 2017-02-10 | 2017-07-07 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| DE102019200849A1 (de) * | 2019-01-24 | 2020-07-30 | Conti Temic Microelectronic Gmbh | Verfahren zum Erfassen einer Bewegung eines Objekts |
| CN111626314A (zh) * | 2019-02-28 | 2020-09-04 | 深圳市速腾聚创科技有限公司 | 点云数据的分类方法、装置、计算机设备和存储介质 |
| WO2020206708A1 (zh) * | 2019-04-09 | 2020-10-15 | 广州文远知行科技有限公司 | 障碍物的识别方法、装置、计算机设备和存储介质 |
| CN111025297A (zh) * | 2019-12-24 | 2020-04-17 | 京东数字科技控股有限公司 | 一种车辆监测方法、装置、电子设备及存储介质 |
| CN112364715A (zh) * | 2020-10-23 | 2021-02-12 | 岭东核电有限公司 | 核电作业异常监控方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于视觉的车辆运动目标轨迹检测;周志宇;工业控制计算机(02);全文 * |
| 基于运动前景效应图特征的人群异常行为检测;张俊阳;谢维信;植柯霖;;信号处理(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239719A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113239719B (zh) | 基于异常信息识别的轨迹预测方法、装置和计算机设备 | |
| CN111932580B (zh) | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 | |
| CN109035299B (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
| CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
| US8818702B2 (en) | System and method for tracking objects | |
| JP2021523443A (ja) | Ｌｉｄａｒデータと画像データの関連付け | |
| JP2016081525A (ja) | 車両用画像認識システム、及び対応法 | |
| US20220156483A1 (en) | Efficient three-dimensional object detection from point clouds | |
| CN109766867B (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| CN114049382B (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| JP7509040B2 (ja) | 道路監視ビデオのオブジェクト追跡装置及び方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN109636828A (zh) | 基于视频图像的物体跟踪方法及装置 | |
| US11866056B2 (en) | Ballistic estimation of vehicle data | |
| CN116681730A (zh) | 一种目标物追踪方法、装置、计算机设备和存储介质 | |
| KR102305673B1 (ko) | 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법 | |
| CN111507126B (zh) | 一种驾驶辅助系统的报警方法、装置及电子设备 | |
| CN112967316B (zh) | 一种面向3d多目标追踪的运动补偿优化方法及系统 | |
| US20240025428A1 (en) | Method, electronic device and medium for target state estimation | |
| CN113033439A (zh) | 用于数据处理的方法、装置和电子设备 | |
| US20240020870A1 (en) | Method, electronic device and medium for target state estimation | |
| CN116295353A (zh) | 一种无人车辆的定位方法、装置、设备和存储介质 | |
| EP3896651A1 (en) | Method and apparatus for evaluating temporal characteristics of semantic image segmentation | |
| WO2022226837A1 (zh) | 基于时间与空间学习的轨迹预测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |