CN115375887A - 一种移动目标轨迹预测方法、装置、设备及介质 - Google Patents

一种移动目标轨迹预测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115375887A
CN115375887A CN202211029750.2A CN202211029750A CN115375887A CN 115375887 A CN115375887 A CN 115375887A CN 202211029750 A CN202211029750 A CN 202211029750A CN 115375887 A CN115375887 A CN 115375887A
Authority
CN
China
Prior art keywords
current
image
moving
features
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211029750.2A
Other languages
English (en)
Inventor
孙新鹏
戴纯兴
牛雅晨
王楷元
宋凯
辛海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211029750.2A priority Critical patent/CN115375887A/zh
Publication of CN115375887A publication Critical patent/CN115375887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种移动目标轨迹预测方法、装置、设备及介质，涉及自动驾驶技术领域，包括：在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，按照预设图像拼接方法对不同车载相机的图像数据进行拼接处理以得到当前拼接图像；利用预设特征提取算法对当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，通过预设连接函数对当前特征和历史特征进行连接得到动态流特征；基于与移动目标对应的位置信息和移动速度，根据动态流特征中的移动趋势信息对移动目标的运动轨迹进行预测。图像拼接处理能节省计算机资源，对相邻时刻的特征进行连接能捕捉到移动趋势信息进而实现轨迹的精准预测。

Description

一种移动目标轨迹预测方法、装置、设备及介质
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种移动目标轨迹预测方法、装置、设备及介质。
背景技术
在无人驾驶中出现的决策偏差和错误将危及人类的生命安全。随着车辆速度的增加，错误的决策往往会变得更加严重。为了安全起见，自主驾驶的感知模型需要在低延迟内进行快速推理。现有技术中的方案具体可以参见图1所示，在无人驾驶车辆在行驶过程中通常通过相机采集连续图像、通过雷达采集雷达数据；然后将连续图像和雷达数据输入目标检测算法中，得到各目标的位置和速度；再根据各目标的位置和速度，计算目标检测算法的评测结果；最后自动驾驶决策模块进行行为决策。然而在真实的在线场景中，无论算法的速度有多快，一旦算法处理完最新的观测数据，车辆周围世界的状态就会发生变化；并且随着速度的增加，问题则会进一步加剧，速度越快导致的偏移越大，对象改变后的状态与感知结果之间的偏差可能会引发不安全的自动驾驶决策。同时在Hermes车载计算平台中，车辆搭载四台车载相机，同一时间不同相机获得的图像具用重叠部分，分别处理这些图像则会导致重叠部分数据被反复进行处理，从而浪费了计算机资源。
综上，如何在自动驾驶过程中精确预测车辆周围移动目标的运动轨迹，并减少计算机资源的浪费是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种移动目标轨迹预测方法、装置、设备及介质，能够在自动驾驶过程中精确预测车辆周围移动目标的运动轨迹，并减少计算机资源的浪费。其具体方案如下：
第一方面，本申请公开了一种移动目标轨迹预测方法，包括：
在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；
利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；
基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
可选的，所述基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测之前，还包括：
在车辆行驶过程中分别获取各车载相机和雷达采集到的包括移动目标的连续图像数据和雷达数据；
利用目标检测算法对所述连续图像数据和所述雷达数据进行检测以得到所述移动目标的位置信息和移动速度。
可选的，所述按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像，包括：
基于相邻的所述车载相机的图像数据构成相邻图像组，并计算每一所述相邻图像组中两张图像之间的相对位移；
基于所述相对位移构建有向图，并基于所述有向图计算绝对位移，以便利用所述绝对位移合成当前拼接图像。
可选的，所述计算每一所述相邻图像组中两张图像之间的相对位移，包括：
对每一所述相邻图像组中的两张图像进行傅里叶变换得到傅里叶变换图像组，并计算所述傅里叶变换图像组的归一化相关系数；
基于预设最大值对所述归一化相关系数进行傅里叶逆变换，并将所述预设最大值对应的索引值映射至图像坐标，以得到与每一所述相邻图像组对应的相对位移。
可选的，所述利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征，包括：
利用CSPDarknet-53算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到与当前FPN特征和历史FPN特征；
通过批量归一化层和SiLU激活函数降低所述当前FPN特征和所述历史FPN特征的信道数量，然后利用concat函数对所述当前FPN特征和所述历史FPN特征进行连接得到动态流特征。
可选的，所述利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，包括：
利用预设特征提取算法对所述当前拼接图像进行特征提取得到当前特征，并从预设的特征缓冲区中获取与前一时刻的历史拼接图像对应的历史特征。
可选的，所述基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测，包括：
基于所述动态流特征中的移动趋势信息为不同移动速度的所述移动目标生成自适应权重，并动态分配所述自适应权重以便基于与所述移动目标对应的位置信息对所述移动目标的运动轨迹进行预测。
第二方面，本申请公开了一种移动目标轨迹预测装置，包括：
图像拼接模块，用于在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；
动态流特征获取模块，用于利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；
轨迹预测模块，用于基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的移动目标轨迹预测方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的移动目标轨迹预测方法的步骤。
可见，本申请在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。由此可见，本申请通过对不同车载相机在当前时刻采集到的图像数据进行拼接处理，能够避免对重叠部分数据重复进行处理导致的计算机资源浪费的问题，并且通过预设特征提取算法对当前时刻得到的当前拼接图像和与之相邻的前一时刻的历史拼接图像进行特征提取以得到对应的特征，再对提取到的特征进行连接能获取到动态流特征，进而捕捉到动态流特征中移动目标的移动趋势信息对移动目标的运动轨迹进行预测，从而提高了运动轨迹预测的精准性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种现有的自动驾驶行为决策过程示意图；
图2为本申请公开的一种移动目标轨迹预测方法流程图；
图3为本申请公开的一种改进后的自动驾驶行为决策过程示意图；
图4为本申请公开的一种具体的移动目标轨迹预测方法流程图；
图5为本申请公开的一种具体的相对位移计算流程图；
图6为本申请公开的一种具体的双流感应模块的流程示意图；
图7为本申请公开的一种移动目标轨迹预测装置结构示意图；
图8为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前，在真实的在线场景中，无论算法的速度有多快，一旦算法处理完最新的观测数据，车辆周围世界的状态就会发生变化；并且随着速度的增加，问题则会进一步加剧，速度越快导致的偏移越大，对象改变后的状态与感知结果之间的偏差可能会引发不安全的自动驾驶决策。同时在Hermes车载计算平台中，车辆搭载四台车载相机，同一时间不同相机获得的图像具用重叠部分，分别处理这些图像则会导致重叠部分数据被反复进行处理，从而浪费了计算机资源。为此，本申请实施例公开了一种移动目标轨迹预测方法、装置、设备及介质，能够在自动驾驶过程中精确预测车辆周围移动目标的运动轨迹，并减少计算机资源的浪费。
参见图2和图3所示，本申请实施例公开了一种移动目标轨迹预测方法，该方法包括：
步骤S11：在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像。
本实施例中，在车辆的自动驾驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据。可以理解的是，在Hermes车载计算平台中，车辆通常搭载四台车载相机，同一时刻不同相机获得的图像会具用重叠部分，而分别处理这些图像则会导致重叠部分数据被反复进行处理，从而浪费了计算机资源。因此，本申请在获取到同一时刻不同车载相机拍摄到的图像数据后，则按照预设图像拼接方法对这些图像数据进行拼接处理以得到当前拼接图像。如此一来，通过图像拼接处理的方式能够避免对重叠部分数据重复进行处理的问题，从而节省了大量的计算机资源。
步骤S12：利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征。
本实施例中，利用预设特征提取算法对当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，再通过预设连接函数连接当前特征和历史特征以生成动态流特征，通常采用级联融合操作以实现最佳的效率和性能。此外，本实施例还需获取静态流特征，对于静态流特征，本实施例通过一个残差连接，合理地添加了当前帧的原始特征，不仅为检测提供了基本信息，而且还提高了在不同行驶速度下的预测准确性。也即本申请公开了一个双流感应模块，具体由动态流和静态流并行组成，分别捕捉移动趋势和基本检测特征，同时跟踪一个或多个对象，为预测目标动作提供数据；在模型架构方面，动态流侧重于捕捉对象的移动趋势，而静态流通过残差连接提供基本信息和检测特征。
进一步的，上述利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，包括：利用预设特征提取算法对所述当前拼接图像进行特征提取得到当前特征，并从预设的特征缓冲区中获取与前一时刻的历史拼接图像对应的历史特征。可以理解的是，可以使用预设的特征缓冲区来保存最新帧的历史特征，因此只需要提取当前拼接图像的当前特征，再通过直接聚合最后时刻存储的历史特征即可，从而可以节省再次处理最后一帧的时间。
步骤S13：基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
本实施例中，基于与移动目标对应的位置信息和移动速度，根据动态流特征中捕捉到的移动趋势信息对移动目标的运动轨迹进行预测。需要指出的是，上述基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测之前，还包括：在车辆行驶过程中分别获取各车载相机和雷达采集到的包括移动目标的连续图像数据和雷达数据；利用目标检测算法对所述连续图像数据和所述雷达数据进行检测以得到所述移动目标的位置信息和移动速度。也即，在车辆自动驾驶过程中，分别获取车载相机采集到的包括移动目标的连续图像以及获取雷达采集到的包括移动目标的雷达数据，再利用目标检测算法对连续图像数据和雷达数据进行目标检测，以获取到车辆周围移动目标的位置信息和移动速度。
可见，本申请在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。由此可见，本申请通过对不同车载相机在当前时刻采集到的图像数据进行拼接处理，能够避免对重叠部分数据重复进行处理导致的计算机资源浪费的问题，并且通过预设特征提取算法对当前时刻得到的当前拼接图像和与之相邻的前一时刻的历史拼接图像进行特征提取以得到对应的特征，再对提取到的特征进行连接能获取到动态流特征，进而捕捉到动态流特征中移动目标的移动趋势信息对移动目标的运动轨迹进行预测，从而提高了运动轨迹预测的精准性。
参见图4所示，本申请实施例公开了一种具体的移动目标轨迹预测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S21：在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并基于相邻的所述车载相机的图像数据构成相邻图像组，以及计算每一所述相邻图像组中两张图像之间的相对位移。
本实施例中，在获取到当前时刻下各车载相机采集到的图像数据后，则基于相邻车载相机的图像数据构成相邻图像组，然后计算相邻图像组中两张图像间的相对位移。具体的，上述计算每一所述相邻图像组中两张图像之间的相对位移，包括：对每一所述相邻图像组中的两张图像进行傅里叶变换得到傅里叶变换图像组，并计算所述傅里叶变换图像组的归一化相关系数；基于预设最大值对所述归一化相关系数进行傅里叶逆变换，并将所述预设最大值对应的索引值映射至图像坐标，以得到与每一所述相邻图像组对应的相对位移。也即，首先将相邻图像组中的两个图像文件Fi和Fj分别读入对象Ii和Ij，然后对Ii和Ij进行二维的傅里叶变化(Fourier Transform，即FFT)得到傅里叶变换图像组，并记为FFTi和FFTj，再计算FFTi和FFTj的归一化相关系数(Normalized Cross Correlation，即NCC)得到相应的NCCij，这是两个复向量的按元素归一化共轭乘法；再计算归一化相关系数的二维傅立叶逆变换(Inverse Fourier transform，即IFFT)得到NCC-ij 1，并将逆变换减小到预设最大值(即maxij)，以及将预设最大值对应的索引值映射回图像坐标(x，y)，可以理解的是，傅立叶变换本质上是周期性的，因此，重叠距离x和y不明确，可以解释为x或(w-x)和y或(h-y)。最后计算互相关因子CCF1ij..4；其中，每个互相关因子对应于四种重叠模式中的一种，即(x或w-x)、(y或h-y)、(x或y)和(w–x或h-y)，并找到CCFmaxij并将其映射回(x，y)ij，最终即可实现将Fi和Fj合成拼接得到Fij。上述步骤可以参见图5所示，对于其他相邻图像组如Fm和Fn采取的技术方案与Fi和Fj的处理方式一致，并得到Fmn，最终再对得到的Fij和Fmn按照上述处理方式进行处理以便得到最后的拼接图像。
步骤S22：基于所述相对位移构建有向图，并基于所述有向图计算绝对位移，以便利用所述绝对位移合成当前拼接图像。
本实施例中，在计算出相对位移后，这些位移形成了一个过约束系统，具体可以表示为有向图，其中顶点表示图像，边与相邻图像相关。可以理解的是，系统中的过约束是由于图像的绝对位移和图中的路径和之间的等价性，而路径和必须是路径不变的。因此，需要解决系统中过约束，并计算出绝对位移，具体可以选择相对位移的子集或使用全局优化方法将其调整为图中的路径不变状态，然后使用绝对位移合成当前拼接图像。
需要指出的是，上述对图像进行拼接处理中，合成大量的图像是一项计算和数据密集型任务，具体采用了一种可扩展的混合CPU-GPU图像拼接实现，该方法使用了基于傅立叶的图像拼接方法，以接近交互速率处理大量图像集。图像拼接大致可以分三个阶段进行：第一阶段计算相邻图像对的相对位移；第二阶段解决系统中的过约束，并计算绝对位移；第三阶段使用绝对位移合成拼接图像。其中，重点为算法的第一阶段，即相对位移计算阶段，因为这是计算密集的阶段；第二阶段的计算量较轻，而第三阶段可以根据需要执行，作为拼接图像可视化的一部分。可以理解的是，上述实现利用了粗粒度并行性，它将计算组织到一个管道架构中，该架构跨越CPU(central processing unit，即中央处理器)和GPU(graphics processing unit，即图形处理器)资源，并将计算与数据运动重叠。混合CPU-GPU实现利用粗粒度并行性，每个阶段由一个或多个CPU线程组成，其中一些线程与GPU交互。管道将在CPU或GPU内核上进行的各种计算与磁盘、主内存和图形内存之间的数据传输重叠。每个执行管道处理图像如下：
(1)一个CPU线程读取图像；
(2)一个CPU线程将数据从CPU复制到GPU内存；
(3)一个CPU线程在GPU上启动FFT计算；
(4)一个CPU线程管理计算状态。将准备就绪(即其FFT可用)的相邻图块对推进到下一阶段；
(5)一个CPU线程调用相对位移计算(NCC、FFT-1和最大减少)。此阶段将最大值的索引(单个标量)从GPU复制到CPU内存。它还向阶段3和4之间的队列添加了一个条目，以处理内存管理；
(6)基于可用CPU核的数量，多个CPU线程执行CCF计算。每个线程将上一阶段中找到的最大值的索引映射到图像坐标，并计算四个CCFij1..4值。这将产生图像组的最终x和y相对位移。
该系统具有特殊的内存管理措施。作为初始化的一部分，它在GPU上为每个管道分配一个内存池，系统只分配一次GPU内存，以避免任何进一步的分配，这将迫使所有内核和内存传输进行全局同步。该内存池由固定数量的缓冲区组成，每个变换(向前或向后)一个缓冲区，内存池的大小有效地限制了飞行中的图像数量。此外，每个图块都有一个参考计数，当该图块用于计算相对位移时，该计数会减少；当参考计数为零时，系统回收相关的GPU缓冲区；这保证了系统不会耗尽内存。
步骤S23：利用CSPDarknet-53算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到与当前FPN特征和历史FPN特征。
本实施例中，将当前拼接图像和前一时刻得到的历史拼接图像作为输入，并利用共享权重CSPDarknet-53算法对当前拼接图像和历史拼接图像分别进行特征提取以得到对应的当前FPN特征和历史FPN特征。其中，FPN即Feature Pyramid Networks，表示特征图金字塔网络，是从backbone CNN中提取特征用于后续目标检测或者语义分割等问题。
步骤S24：通过批量归一化层和SiLU激活函数降低所述当前FPN特征和所述历史FPN特征的信道数量，然后利用concat函数对所述当前FPN特征和所述历史FPN特征进行连接得到动态流特征。
本实施例中，采用共享权值1×1卷积层，然后采用批量归一化层(batchnorm，即BN)和SiLU激活函数，将两个FPN特征的信道数减少到一半，再利用concat函数将相邻帧的Backbone和FPN特征连接在一起以得到动态流特征，以用于捕捉移动目标的运动趋势。静态流测通过残差连接捕捉基本信息和检测特征。上述过程具体参见图6所示。
步骤S25：基于所述动态流特征中的移动趋势信息为不同移动速度的所述移动目标生成自适应权重，并动态分配所述自适应权重以便基于与所述移动目标对应的位置信息对所述移动目标的运动轨迹进行预测。
本实施例中，可以理解的是，每个移动目标在同一帧内的移动速度是完全不同的。不同的移动趋势来自于多方面：不同的大小和它们自身的移动状态、遮挡或不同的拓扑距离。基于动态流特征中的移动趋势信息可以为不同移动速度的移动物体生成自适应权值，再动态分配不同的自适应权重以便基于与移动目标对应的位置信息对移动目标的运动轨迹进行预测。
需要指出的是，上述根据每个对象的移动趋势对其采用自适应权重。主要流程如下：将传感器数据作为输入，生成感兴趣区域和区域建议的多模态特征；并行检测和相关网络使用感兴趣区域和区域建议特征来生成检测结果；通过运动预测和匹配分数排序模块进一步细化；混合整数预测模块根据上述数据进行轨迹预测。一般来说，本实施例通常关注快速移动的物体，因为它们更难预测未来的状态。为了定量测量移动速度，通过为每个移动目标引入了一个趋势因子，然后计算傅立叶变换+1和傅立叶变换的地面真值框之间的IoU矩阵，然后对傅立叶变换的维数进行最大运算，以获得两帧之间对应目标的匹配IoU。该匹配IoU的较小值表示移动目标的快速移动速度，反之亦然。如果一个新移动目标以Ft+1的形式出现，则没有与之匹配的框，并且其匹配的IoU比通常情况下小得多。根据每个移动目标的移动速度自适应地生成损失权重，以动态分配不同的权重来定位和预测每个对象。
可见，本申请实施例在四台车载相机获取到实时图像数据后，为了提高性能，通过使用CPU+GPU异构计算的方法处理图像的重叠部分，将这些具有重叠部分的图像拼接在一起；为了解决可能会引发不安全的自动驾驶决策，引入了双流感应模块和趋势因子，分别捕捉运动趋势和基本检测特征，记录跟踪一个或多个移动目标，根据每个的移动目标的趋势信息自适应地生成损失权重，以动态分配不同的权重来定位和预测每个对象的运动轨迹，进而为自动驾驶决策提供了强有力的保障。
参见图7所示，本申请实施例公开了一种移动目标轨迹预测装置，该装置包括：
图像拼接模块11，用于在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；
动态流特征获取模块12，用于利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；
轨迹预测模块13，用于基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
可见，本申请在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。由此可见，本申请通过对不同车载相机在当前时刻采集到的图像数据进行拼接处理，能够避免对重叠部分数据重复进行处理导致的计算机资源浪费的问题，并且通过预设特征提取算法对当前时刻得到的当前拼接图像和与之相邻的前一时刻的历史拼接图像进行特征提取以得到对应的特征，再对提取到的特征进行连接能获取到动态流特征，进而捕捉到动态流特征中移动目标的移动趋势信息对移动目标的运动轨迹进行预测，从而提高了运动轨迹预测的精准性。
在一些具体实施例中，所述轨迹预测模块13之前，还可以包括：
数据获取单元，用于在车辆行驶过程中分别获取各车载相机和雷达采集到的包括移动目标的连续图像数据和雷达数据；
目标检测单元，用于利用目标检测算法对所述连续图像数据和所述雷达数据进行检测以得到所述移动目标的位置信息和移动速度。
在一些具体实施例中，所述图像拼接模块11，具体可以包括：
相对位移计算子模块，用于基于相邻的所述车载相机的图像数据构成相邻图像组，并计算每一所述相邻图像组中两张图像之间的相对位移；
绝对位移计算单元，用于基于所述相对位移构建有向图，并基于所述有向图计算绝对位移，以便利用所述绝对位移合成当前拼接图像。
在一些具体实施例中，所述相对位移计算子模块，具体可以包括：
傅里叶变化单元，用于对每一所述相邻图像组中的两张图像进行傅里叶变换得到傅里叶变换图像组，并计算所述傅里叶变换图像组的归一化相关系数；
图像坐标映射单元，用于基于预设最大值对所述归一化相关系数进行傅里叶逆变换，并将所述预设最大值对应的索引值映射至图像坐标，以得到与每一所述相邻图像组对应的相对位移。
在一些具体实施例中，所述动态流特征获取模块12，具体可以包括：
特征提取单元，用于利用CSPDarknet-53算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到与当前FPN特征和历史FPN特征；
特征连接单元，用于通过批量归一化层和SiLU激活函数降低所述当前FPN特征和所述历史FPN特征的信道数量，然后利用concat函数对所述当前FPN特征和所述历史FPN特征进行连接得到动态流特征。
在一些具体实施例中，所述动态流特征获取模块12，具体可以包括：
特征获取单元，用于利用预设特征提取算法对所述当前拼接图像进行特征提取得到当前特征，并从预设的特征缓冲区中获取与前一时刻的历史拼接图像对应的历史特征。
在一些具体实施例中，所述轨迹预测模块13，具体可以包括：
权重分配单元，用于基于所述动态流特征中的移动趋势信息为不同移动速度的所述移动目标生成自适应权重，并动态分配所述自适应权重以便基于与所述移动目标对应的位置信息对所述移动目标的运动轨迹进行预测。
图8为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的移动目标轨迹预测方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的移动目标轨迹预测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由移动目标轨迹预测过程中执行的方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种移动目标轨迹预测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种移动目标轨迹预测方法，其特征在于，包括：
在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；
利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；
基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
2.根据权利要求1所述的移动目标轨迹预测方法，其特征在于，所述基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测之前，还包括：
在车辆行驶过程中分别获取各车载相机和雷达采集到的包括移动目标的连续图像数据和雷达数据；
利用目标检测算法对所述连续图像数据和所述雷达数据进行检测以得到所述移动目标的位置信息和移动速度。
3.根据权利要求1所述的移动目标轨迹预测方法，其特征在于，所述按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像，包括：
基于相邻的所述车载相机的图像数据构成相邻图像组，并计算每一所述相邻图像组中两张图像之间的相对位移；
基于所述相对位移构建有向图，并基于所述有向图计算绝对位移，以便利用所述绝对位移合成当前拼接图像。
4.根据权利要求3所述的移动目标轨迹预测方法，其特征在于，所述计算每一所述相邻图像组中两张图像之间的相对位移，包括：
对每一所述相邻图像组中的两张图像进行傅里叶变换得到傅里叶变换图像组，并计算所述傅里叶变换图像组的归一化相关系数；
基于预设最大值对所述归一化相关系数进行傅里叶逆变换，并将所述预设最大值对应的索引值映射至图像坐标，以得到与每一所述相邻图像组对应的相对位移。
5.根据权利要求1所述的移动目标轨迹预测方法，其特征在于，所述利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征，包括：
利用CSPDarknet-53算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到与当前FPN特征和历史FPN特征；
通过批量归一化层和SiLU激活函数降低所述当前FPN特征和所述历史FPN特征的信道数量，然后利用concat函数对所述当前FPN特征和所述历史FPN特征进行连接得到动态流特征。
6.根据权利要求1所述的移动目标轨迹预测方法，其特征在于，所述利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，包括：
利用预设特征提取算法对所述当前拼接图像进行特征提取得到当前特征，并从预设的特征缓冲区中获取与前一时刻的历史拼接图像对应的历史特征。
7.根据权利要求1至6任一项所述的移动目标轨迹预测方法，其特征在于，所述基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测，包括：
基于所述动态流特征中的移动趋势信息为不同移动速度的所述移动目标生成自适应权重，并动态分配所述自适应权重以便基于与所述移动目标对应的位置信息对所述移动目标的运动轨迹进行预测。
8.一种移动目标轨迹预测装置，其特征在于，包括：
图像拼接模块，用于在车辆行驶过程中获取各车载相机在当前时刻采集到的包括移动目标的图像数据，并按照预设图像拼接方法对不同所述车载相机的图像数据进行拼接处理以得到当前拼接图像；
动态流特征获取模块，用于利用预设特征提取算法对所述当前拼接图像和前一时刻得到的历史拼接图像分别进行特征提取以得到相应的当前特征和历史特征，并通过预设连接函数对所述当前特征和所述历史特征进行连接得到动态流特征；
轨迹预测模块，用于基于与所述移动目标对应的位置信息和移动速度，并根据所述动态流特征中的移动趋势信息对所述移动目标的运动轨迹进行预测。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的移动目标轨迹预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的移动目标轨迹预测方法的步骤。
CN202211029750.2A 2022-08-25 2022-08-25 一种移动目标轨迹预测方法、装置、设备及介质 Pending CN115375887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211029750.2A CN115375887A (zh) 2022-08-25 2022-08-25 一种移动目标轨迹预测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211029750.2A CN115375887A (zh) 2022-08-25 2022-08-25 一种移动目标轨迹预测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115375887A true CN115375887A (zh) 2022-11-22

Family

ID=84068720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211029750.2A Pending CN115375887A (zh) 2022-08-25 2022-08-25 一种移动目标轨迹预测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115375887A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659154A (zh) * 2022-12-13 2023-01-31 广汽埃安新能源汽车股份有限公司 数据发送方法、装置、服务器和计算机可读介质
CN117874529A (zh) * 2024-03-12 2024-04-12 浪潮电子信息产业股份有限公司 运动轨迹预测方法、模型训练方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659154A (zh) * 2022-12-13 2023-01-31 广汽埃安新能源汽车股份有限公司 数据发送方法、装置、服务器和计算机可读介质
CN115659154B (zh) * 2022-12-13 2023-06-27 广汽埃安新能源汽车股份有限公司 数据发送方法、装置、服务器和计算机可读介质
CN117874529A (zh) * 2024-03-12 2024-04-12 浪潮电子信息产业股份有限公司 运动轨迹预测方法、模型训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11783491B2 (en) Object tracking method and apparatus, storage medium, and electronic device
CN115375887A (zh) 一种移动目标轨迹预测方法、装置、设备及介质
Marzat et al. Real-time dense and accurate parallel optical flow using CUDA
Cambuim et al. An FPGA-based real-time occlusion robust stereo vision system using semi-global matching
Ttofis et al. Towards accurate hardware stereo correspondence: A real-time fpga implementation of a segmentation-based adaptive support weight algorithm
JP2001229378A (ja) 画像演算装置
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN112639878A (zh) 无监督深度预测神经网络
JP2023549036A (ja) 点群からの効率的な三次元物体検出
CN111209978A (zh) 三维视觉重定位方法、装置及计算设备、存储介质
CN107209938A (zh) 用于生成图像的初始超像素标签图的方法和装置
CN113011317A (zh) 三维目标检测方法及检测装置
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
US11875490B2 (en) Method and apparatus for stitching images
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
Jensen et al. A two-level real-time vision machine combining coarse-and fine-grained parallelism
CN111581443A (zh) 分布式图计算方法、终端、系统及存储介质
Rodrigues et al. FPGA-based rectification of stereo images
Zhang et al. Unsupervised learning of monocular depth and ego-motion with space–temporal-centroid loss
CN114820755B (zh) 一种深度图估计方法及系统
KR101204866B1 (ko) 윈도우 기반 영상 처리에서 고속으로 윈도우 영역 내 화소 연산을 수행하기 위한 방법 및 장치
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN113761965B (zh) 动作捕捉方法、装置、电子设备和存储介质
CN115546515A (zh) 一种深度信息获取方法和装置
KR20220002064A (ko) 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination