CN113610900B - 车尾序列尺度变化预测方法、装置和计算机设备 - Google Patents

车尾序列尺度变化预测方法、装置和计算机设备 Download PDF

Info

Publication number
CN113610900B
CN113610900B CN202111179136.XA CN202111179136A CN113610900B CN 113610900 B CN113610900 B CN 113610900B CN 202111179136 A CN202111179136 A CN 202111179136A CN 113610900 B CN113610900 B CN 113610900B
Authority
CN
China
Prior art keywords
vehicle tail
sequence
vehicle
tail
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111179136.XA
Other languages
English (en)
Other versions
CN113610900A (zh
Inventor
程飞洋
郑伟
杨广
刘国清
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202111179136.XA priority Critical patent/CN113610900B/zh
Publication of CN113610900A publication Critical patent/CN113610900A/zh
Application granted granted Critical
Publication of CN113610900B publication Critical patent/CN113610900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种车尾序列尺度变化预测方法、装置、计算机设备和存储介质。所述方法包括：通过获取目标车辆的车尾图像对；对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；根据图像对特征和光流图，确定携带车尾尺度变化信息的融合特征；结合位置编码信息对各所融合特征进行全局编码，得到包含每个车尾图像对之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值。采用本方法能够提高车尾序列尺度变化预测的精确度。

Description

车尾序列尺度变化预测方法、装置和计算机设备
技术领域
本申请涉及智能驾驶技术领域，特别是涉及一种车尾序列尺度变化预测方法、装置和计算机设备。
背景技术
车尾框大小的序列变化反映了目标车辆和自车摄像机之间的相对运动关系，比如尺度变化是一条直线，直线斜率为0说明两车相对静止，反之说明两车之间存在恒定的相对运动速度，尺度变化是一条曲线则说明两车之间有相对速度和加速度。
在开发基于单目视觉的高级辅助驾驶系统的过程中，前向碰撞预警（FCW，ForwardCollision Warning）和自动紧急制动系统AEB ( Autonomous Emergency Brake)功能要求摄像头具备稳定精确测量车辆距离和相对运动的能力，从而在周边车辆加减速和变道时，及时采取相应的辅助措施，保证安全驾驶，避免交通事故的发生。
在车尾序列尺度变化预测时，一般通过视觉感知车辆尾部外包框，再利用车辆尾部外包框宽高变化，计算车辆尾部序列尺度变化，导致预测的精确度低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高车尾序列尺度变化值预测精确度的车尾序列尺度变化预测方法、装置、计算机设备和存储介质。
一种车尾序列尺度变化预测方法，所述方法包括：
获取目标车辆的车尾图像对序列，所述车尾图像对序列包含多个车尾图像对；
对各所述车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
根据所述图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变换值用于预测所述目标车辆与本车之间的相对运动趋势。
在其中一个实施例中，所述获取目标车辆的车尾图像对序列，包括：
获取包含目标车辆的图像序列；
确定所述图像序列中所述目标车辆的车尾在图像中的目标区域，得到对应区域的目标车尾图像序列；
从所述目标图像序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在其中一个实施例中，所述从所述目标车尾图像序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对，所述方法还包括：
获取所述目标车尾图像序列的序列长度；
当所述序列长度大于预设长度时，按照预设长度对所述目标车尾图像序列进行分组，得到若干目标车尾图像子序列；
从各所述目标车尾图像子序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在其中一个实施例中，所述对各所述车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，包括：
将各所述车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；以及
根据所述图像对特征进行回归预测，确定各所述车尾图像对中各对应像素点的光流值，得到所述光流图。
在其中一个实施例中，所述预测模型的训练，包括：
获取作为训练数据的样本车尾图像对序列；
通过预先构建的预测模型对各所述样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征；以及
对由各所述车尾图像对的所述图像对的特征融合特征构成的融合特征集进行全局编码，得到目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值；
获取各所述样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值；
当所述第一车尾序列尺度变化值和所述第二车尾序列尺度变化值之间的差值在预设范围之内时，完成所述预测模型的训练。
在其中一个实施例中，所述根据所述图像对特征和光流图，得到用于预测车尾尺度变化信息的融合特征，包括：
将所述图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；
将所述输入特征图进行卷积处理，得到用于预测车尾尺度变化信息的融合特征。
在其中一个实施例中，所述方法还包括：
对所述序列尺度变化值进行拟合，得到车尾尺度变化曲线；
根据所述车尾尺度变换曲线，确定碰撞风险系数；
当所述碰撞风险系数小于预设阈值时，生成报警提示。
一种车尾序列尺度变化预测装置，所述装置包括：
获取模块，用于获取目标车辆的车尾图像对；
编码预测模块，用于对各所述车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
特征处理模块，用于根据所述图像对特征和光流图，确定携带车尾尺度变化信息的融合特征；
全局编码模块，用于结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像之间和车尾图像对序列全局信息的目标编码特征集；
预测模块，用于根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变换值用于预测所述目标车辆与自车之间的相对运动趋势。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标车辆的车尾图像对序列，所述车尾图像对序列包含多个车尾图像对；
对各所述车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
根据所述图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变换值用于预测所述目标车辆与本车之间的相对运动趋势。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标车辆的车尾图像对序列，所述车尾图像对序列包含多个车尾图像对；
对各所述车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
根据所述图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变换值用于预测所述目标车辆与本车之间的相对运动趋势。
上述车尾序列尺度变化预测方法、装置、计算机设备和存储介质，通过对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；进而确定携带车尾尺度变化信息的融合特征；提高了神经网络编码效率，根据位置编码信息对各融合特征进行全局编码，得到包含各帧车尾图像之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，能够有效预测邻近两帧的尺度变化以及有效预测全局一致性且平滑的尺度变化，提高了尺度变化预测的精度。
附图说明
图1为一个实施例中车尾序列尺度变化预测方法的流程示意图；
图2为另一个实施例中车尾序列尺度变化预测方法的流程示意图；
图3为一个实施例中目标车辆行驶远离本车的图像序列示意图；
图4为一个实施例中预测模型的训练方法的流程示意图；
图5为一个实施例中预测模型的结构示意图；
图6a为一个实施例中尺度变化数据的示意图；
图6b为一个实施例中光流和尺度变化的关系示意图；
图7为一个实施例中报警提示的应用场景示意图；
图8为一个实施例中车尾尺度变化曲线的示意图；
图9为一个实施例中车尾序列尺度变化预测装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种车尾序列尺度变化预测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取目标车辆的车尾图像对序列。
其中，目标车辆可以但不仅限于本车前方的车辆；目标车辆的车尾图像可以通过安装在本车上的图像采集设备（如，摄像机）采集得到的。车尾图像是通过图像采集设备采集的图像视频进行拆分得到车尾图像序列，车尾图像序列中的各车尾图像之间存在顺序。例如，通过摄像机采集了目标车辆在设定时间内运行的运动视频A，对运动视频A进行拆分得车尾图像序列{A1，A2，A3，……，An}。车尾图像对是从确定的车尾图像序列中确定参考车尾图像，将参考图像和其他车尾图像构成的，例如，车尾图像序列{A1，A2，A3，……，An}，以A1车尾图像为参考车尾图像，将A1分别与车尾图像A2，A3，……，An构成n-1组车尾图像对；车尾图像对序列包含多个车尾图像对。
具体地，通过本车上安装的图像采集设备，采集本车前方运行的目标车辆在指定时间段内的运动视频，对采集的运动视频进行拆分得到车尾图像序列，从车尾图像序列中确定参考车尾图像，根据参考车尾图像和车尾图像序列中的其他车尾图像构成车尾图像对。
步骤104，对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图。
其中，编码处理是指通过编码器对输入若干组车尾图像对进行编码，得到对应数量的第一维度的图像对特征，单个图像对特征没有考虑整个车尾图像序列尺度变化的平滑性和一致性；第一维度是预先设定的。
回归预测处理是指根据得到的第一维度的图像特征进行回归，预测得到一个稠密光流图，即每一个像素点都有一个光流值；光流是指同一三维空间点在前后帧图像成像，分别对应不同的像素点p1和p2，其中这两个像素点在图像平面内的位移即为光流大小，光流描述了不同图像间像素的对应关系。
具体地，通过编码器对得到的若干组车尾图像对分别进行编码，得到对应数量个第一维度的图像对特征；对第一维度的图像对特征进行回归预测处理，得到对应的光流图。
步骤106，根据图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征。
具体地，将得到的图像对特征和光流图进行拼接，其中光流图可看作通道数为2的特征，构成一个设定尺寸的输入特征图；通过对输入特征图进行深层卷积和全连接层之后，得到一个携带车尾尺度变化信息的融合特征，即得到全局序列尺度预测模块的一个输入；其中，融合特征为第二维数的特征，第一维数和第二维数可以是相同的，也可以是不同的。
步骤108，结合位置编码信息，对车尾图像对序列中的各车尾图像对的融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集。
其中，位置编码信息是指第t个输入的位置编码，其中，位置编码的定义可表示为：
Figure DEST_PATH_IMAGE002_113A
上述表达式中，d为Transformer的输入特征维度，即融合特征的维度；PEt为第t个输入的位置编码。
全局编码是基于Transformer模块来实现的，Transformer是一种区别于循环神经网络（Recurrent Neural Network）的神经网络结构，Transformer通过多重注意力机制(Multi-head Attention)，完成序列之间的全局信息传递，使最后输出的对应于每一个输入的编码特征全部包含所需的全局信息；能够有效地编码全局信息并提高序列预测的精度。
具体地，将每个融合特征和对应的位置编码进行相加，得到Transformer模块的输入特征，通过Transformer模块对输入特征进行全局编码，得到对应于每一组输入的包含帧间和全序列信息的编码特征，即得到包含每个车尾图像对之间和全序列信息的目标编码特征集。
步骤110，根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变化值用于预测目标车辆与本车之间的相对运动趋势。
其中，根据目标车辆与本车之间的相对运动趋势可以确定是否会发生碰撞。序列尺度变化预测，包括短时序列和长时序列的尺度变化预测，即对于每一段N+1帧车尾图像序列，预测一次序列尺度变化，然后根据多次短时序列预测值，可以拟合长时序列的尺度变化曲线；当序列长度大于N+1的序列，每N+1帧做一次尺度预测，则每帧图像理论上可以得到N个预测值，得到N个车尾序列尺度变化值。
具体地，通过回归层对目标编码特征集进行回归预测，得到车尾序列尺度变化值，通过对车尾序列尺度变化值进行拟合，得到对应的拟合曲线，基于拟合曲线可以确定目标车辆于本车之间的相对运动趋势。
上述车尾序列尺度变化预测方法中，通过对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；进而确定携带车尾尺度变化信息的融合特征；提高了神经网络编码效率，根据位置编码信息对各融合特征进行全局编码，得到包含每个车尾图像对之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，能够有效预测邻近两帧的尺度变化以及有效预测全局一致性且平滑的尺度变化，提高了尺度变化预测的精度。
在另一个实施例中，如图2所示，提供了一种车尾序列尺度变化预测方法，本实施例以该方法应用于终端进行举例说明。本实施例中，该方法包括以下步骤：
步骤202，获取包含目标车辆的图像序列。
其中，图像序列可以但不仅限于是通过视频图像进行拆分处理的得到的图像集合。
步骤204，确定图像序列中目标车辆在各帧中的车尾区域，得到对应区域的目标车尾图像序列。
其中，目标区域是指同一目标车辆的车尾框区域，车尾框是指车辆尾部的外包框，其宽度一般为车尾左边边界到右边边界的宽度，高度一般为车辆顶部到尾部车轮接地点的高度，车尾框定义了车尾目标的位置和大小。
具体地，通过预先训练好的检测模型和跟踪模型获取车尾图像序列中各帧车尾图像的车尾框，各车尾框存在对应的大小；根据各车尾框的尺寸大小，确定目标车尾框的尺寸大小，即将最大尺寸确定为目标车尾框的尺寸；按照目标车尾框的尺寸大小对各帧图像进行截取，得到对应的图像块，即得到对应区域的目标车尾图像序列。
例如，获取的车尾图像序列为I1，I2，...，IN+1，对于同一目标车辆，通过预先训练好的检测模型和跟踪模型获取得到对应的车尾框序列，车尾框序列中车尾框的大小为(w1,h1)，...，(wN+1，hN+1)，从中可以确定车尾框序列中的最大尺寸即wmax和hmax；在车尾序列图像中，以先前提取的原始车尾框中心为中心点，截取同等大小(wmax，hmax)的图像块，采样至固定输入大小(H, W)，例如(96, 96)，得到对应区域的目标车尾图像序列，如图3所示，为一个实施例中目标车尾图像序列的示例，由左到右（1-5），车尾逐渐变小，为一段目标车辆行驶远离自车的序列。
步骤206，从目标车尾图像序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
具体地，将目标车尾图像序列中的第一张车尾图像确定为参考车尾图像，将目标车尾图像序列中的他目标车尾图像与参考车尾图像分别构成若干组车尾图像对。例如，获取的目标车尾图像序列I1, I2, I3，..., IN+1，可以构成N组(I1, I2)，(I1, I3)，...，(I1,IN+1)车尾图像对。
可选地，在一个实施例中，获取目标车尾图像序列的序列长度；当序列长度大于预设长度时，按照预设长度对目标车尾图像序列进行分组，得到若干目标车尾图像子序列；从各目标车尾图像子序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对；其中，序列长度是预先设定的；将车尾图像对输入至训练好的预测模型中，得到预测的序列尺度变化值；根据多次短时序列预测值，可以拟合长时序列的尺度变化曲线。
步骤208，将各车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征。
具体地，通过预测模型中的编码器对输入的各车图像对进行编码，得到每对车尾图像对应的图像对特征。
其中，预测模型是预先训练好的，以下为预测模型的训练方法，如图4所示，具体包括以下步骤：
步骤402，获取作为训练数据的样本车尾图像对序列。
其中，作为训练数据的样本车尾图像对可以是，通过图像采集设备采集的图像视频进行拆分得到图像序列，将图像序列中的第一张车尾图像确定为参考车尾图像，将图像序列中的其他目标车尾图像与参考车尾图像分别构成若干组各样本车尾图像对。
步骤404，通过预先构建的预测模型对各样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征。
其中，构建的预测模型的结构示意图如图5所示，包括编码器、卷积层、全连接层、Transformer编码模块和回归层。
具体地，通过预先构建的预测模型中的编码器对各样本车尾图像对进行编码，得到对应的第一维数（如，C维）的图像对特征；对得到的图像对特征进行回归预测，预测一个2通道数的光流图，2个通道分别代表x和y方向上的光流值。
其中，根据图像对特征进行回归预测光流图，采用的是无监督训练，当损失函数收敛在预设数值范围内时，即达到训练的要求；也就是说，通过比较在预测光流下矫正对齐的两帧图像的像素一致性L d来评判预测光流的质量，同时由于在运动产生的遮挡区域存在像素不可见问题以及噪声对L d损失函数的影响，需要增加平滑约束正则函数L s来保证预测光流的平滑性，采用的损失函数可以表示为：
Figure DEST_PATH_IMAGE004_108A
Figure DEST_PATH_IMAGE006_124A
Figure DEST_PATH_IMAGE008_129A
其中，α和β为各函数项之间的平衡参数，ρ为Charbonnier惩罚函数，P0和P1为连续的两帧图像，(x, y)表示像素的坐标，(u, v)表示对应像素点的光流值，∇为梯度算子。
步骤406，对由各车尾图像对的图像对特征的融合特征构成的融合特征集进行全局编码，得到目标编码特征集。
具体地，将得到的图像对特征（即第一次编码的编码特征）和光流图进行拼接，得到预设尺寸的输入特征图，即构成一个长宽为H/4和W/4的(C+2)维的输入特征图，再经过深层卷积和全连接层后，得到一个携带车尾尺度变化信息的融合特征，即构成后续全局序列尺度预测模块的一个输入，即一个1*1的F维的特征，如图5所示；通过Transformer模块，根据位置编码信息对各所融合特征进行全局编码，得到包含每个车尾图像对之间和全序列信息的目标编码特征集。
步骤408，根据目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值。
具体地，基于预设的损失函数，通过回归层对目标编码特征集进行回归预测，得到第一车尾序列尺度变化值，即两帧车尾图像之间的尺度变化。
步骤410，获取各样本车尾图像对中，目标车辆于自车图像采集设备之间的测距数据，确定第二车尾序列尺度变化值。
其中，测距数据是指通过传感器测量的目标车辆于本车图像采集设备之间的距离，传感器可以是毫米波雷达，也可以是激光雷达。
根据要确定车尾的尺度变化曲线可知，在一段提取的车尾序列中，车尾的宽度相较于第一帧的尺度变化。设第一帧车尾框宽度为w1，第t帧车尾框宽度为wt，则尺度变化λt=wt/w1。车尾序列尺度变化曲线，即根据λ1，λ2，...，λt拟合出的曲线，反映了目标车辆和自车之间的相对运动趋势。
假设目标车辆位于自车的正前方，在水平路面上，根据投影变换关系有：
Figure DEST_PATH_IMAGE010_112A
；
其中，f表示相机的焦距，W表示车尾的实际宽度，Dt表示表示第t帧时测量的目标车辆于自车摄像机之间的距离，wt表示图像中车尾的宽度。
因此，图像序列中车尾的尺度变化和实际测量距离的关系如下：
Figure DEST_PATH_IMAGE012_105A
，其中，λt代表尺度变化；
即可知，车尾序列尺度变化的真实值可以根据其他传感器的测距数据计算得到；通过传感器进行测距获取测距数据，如图6a所示，为一段序列中，根据毫米波雷达对目标车辆的测距数据计算的尺度变化数据，其中纵轴为尺度，横轴为图像序列的帧号；根据测距数据确定车尾序列尺度变化的真实值，即第二车尾序列尺度变化值，将第二车尾序列尺度变化值作为监督数据，对预测模型进行监督训练。
具体地，获取预测模型的监督数据，即通过传感器测量目标车辆于本车之间的距离，得到测距数据，根据测距数据确定两帧之间的尺度变换数据，即第二车尾序列尺度变化值。
步骤412，当第一车尾序列尺度变化值和第二车尾序列尺度变化值之间的差值在预设范围之内时，完成预测模型的训练。
上述预测模型的训练方法中，通过传毫米波雷达或者激光雷达测距数据为监督数据，训练视觉神经网络模型的方案，实现了多传感器感知数据的交叉应用，降低了获取训练数据的人工成本；以及以两帧之间的光流为特征的尺度回归方法，提高了神经网络编码的效率；以Transformer为基础的序列尺度分析方法，对预测模型进行训练，提高了预测的精确度。
步骤210，根据图像对特征进行回归预测，确定各车尾图像对中各对应像素点的光流值，得到光流图。
如图6b所示，设第t帧车尾图像t中有pt, qt两点，在第1帧中对应的两点为p1, q1，假设车尾为平面，则可得到以下关系：
Figure DEST_PATH_IMAGE014_100A
其中，pt-p1为光流值，因此两帧之间的光流包含了尺度变化的信息。
步骤212，根据图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征。
具体地，将图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；将输入特征图进行深层卷积和全连接层处理，得到用于预测车尾尺度变化信息的融合特征。
步骤214，结合位置编码信息，对车尾图像对序列中的各车尾图像对的融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集。
步骤216，根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变化值用于预测目标车辆与本车之间的相对运动趋势。
可选地，在一个实施例中，根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值，对序列尺度变化值进行拟合，得到车尾尺度变化曲线；根据车尾尺度变换曲线，确定碰撞风险系数；当碰撞风险系数小于预设阈值时，生成报警提示；其中，拟合的方式可以但不仅限于采用对多次预测的序列值进行最小二乘多项式拟合，得到更长序列的尺度变化曲线；如图7所示，在实际产品的FCW预警功能应用中，会将尺度变化曲线作为一种主要的参考信息，通过后处理算法计算碰撞风险系数，在碰撞风险系数小于一定阈值时，发出示警声，提醒司机注意驾驶安全。
可选地，在一个实施例中，获取目标车尾图像序列的序列长度；当序列长度大于预设长度时，按照预设长度对目标车尾图像序列进行分组，得到若干目标车尾图像子序列；从各目标车尾图像子序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对；即确定车尾图像序列中各帧车尾图像中的目标区域，得到对应区域的目标车尾图像序列；从目标车尾图像序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对，对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；根据图像对特征和光流图，确定携带车尾尺度变化信息的融合特征；根据位置编码信息对各所融合特征进行全局编码，得到包含各帧车尾图像之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；对序列尺度变化值进行拟合，得到车尾尺度变化曲线；根据车尾尺度变换曲线，确定碰撞风险系数；当碰撞风险系数小于预设阈值时，生成报警提示。
例如，对于序列长度大于N+1的目标车尾图像序列，每N+1帧做一次尺度预测，则每帧图像理论上可以得到N个预测值。例如，当序列为I1～I10时， I10可以通过预测得到一个相对于I1帧的尺度变化值，当序列为I2～I11时，I10可以通过预测得到一个相对于I2的预测值，将这两次预测值以I2帧尺度为基准对齐，以此类推，I10可以获得N=9个预测值，即车尾序列尺度变化值，对序列尺度变化值进行拟合，得到车尾尺度变化曲线；如图8所示，预测的变化曲线可以很好的预测尺度变化的真实值，其中纵轴为尺度，横轴为图像序列的帧号。根据车尾尺度变换曲线，确定碰撞风险系数；当碰撞风险系数小于预设阈值时，生成报警提示。
上述车尾序列尺度变化预测方法中，通过传毫米波雷达或者激光雷达测距数据为监督数据，训练视觉神经网络模型的方案，实现了多传感器感知数据的交叉应用，降低了获取训练数据的人工成本；基于训练好的预测模型对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；进而确定携带车尾尺度变化信息的融合特征；提高了神经网络编码效率，根据位置编码信息对各融合特征进行全局编码，得到包含每个车尾图像对之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，能够有效预测邻近两帧的尺度变化以及有效预测全局一致性且平滑的尺度变化，提高了尺度变化预测的精确度。
应该理解的是，虽然图1、2、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、2、4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种车尾序列尺度变化预测装置，包括：获取模块902、编码预测模块904、特征处理模块906、全局编码模块908和预测模块910，其中：
获取模块902，用于获取目标车辆的车尾图像对序列，车尾图像对序列包含多个车尾图像对。
编码预测模块904，用于对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图。
特征处理模块906，用于根据图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征。
全局编码模块908，用于结合位置编码信息，对车尾图像对序列中的各车尾图像对的融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集。
预测模块910，用于根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变化值用于预测目标车辆与自车之间的相对运动趋势。
上述车尾序列尺度变化预测方法、装置、计算机设备和存储介质，通过对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；进而确定携带车尾尺度变化信息的融合特征；提高了神经网络编码效率，根据位置编码信息对各融合特征进行全局编码，得到包含每个车尾图像对之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，能够有效预测邻近两帧的尺度变化以及有效预测全局一致性且平滑的尺度变化，提高了尺度变化预测的精确定度。
在另一个实施例中，提供了一种车尾序列尺度变化预测装置，除包括获取模块902、编码预测模块904、特征处理模块906、全局编码模块908和预测模块910之外，还包括：确定模块、分组模块、训练模块、拟合模块和报警模块，其中：
在一个实施例中，获取模块902还用于获取包含目标车辆的图像序列。
确定模块，用于确定图像序列中目标车辆在各帧中的车尾区域，得到对应区域的目标车尾图像序列；从目标车尾图像序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，获取模块902还用于获取目标车尾图像序列的序列长度。
分组模块，用于当序列长度大于预设长度时，按照预设长度对目标车尾图像序列进行分组，得到若干目标车尾图像子序列。
在一个实施例中，确定模块还用于从各目标车尾图像子序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，编码预测模块904还用于将各车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；以及
根据图像对特征进行回归预测，确定各车尾图像对中各对应像素点的光流值，得到光流图。
在一个实施例中，获取模块902还用于获取作为训练数据的样本车尾图像对序列。
在一个实施例中，编码预测模块904还用于通过预先构建的预测模型对各样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征。
在一个实施例中，全局编码模块908还用于对由各车尾图像对的图像对特征的融合特征构成的融合特征集进行全局编码，得到目标编码特征集。
在一个实施例中，预测模块910还用于根据目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值。
在一个实施例中，获取模块902还用于获取各样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值。
训练模块，用于当第一车尾序列尺度变化值和第二车尾序列尺度变化值之间的差值在预设范围之内时，完成预测模型的训练。
在一个实施例中，特征处理模块906还用于将图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；将输入特征图进行深层卷积和全连接层处理，得到用于预测车尾尺度变化信息的融合特征。
拟合模块，用于对序列尺度变化值进行拟合，得到车尾尺度变化曲线；根据车尾尺度变换曲线，确定碰撞风险系数。
报警模块，用于当碰撞风险系数小于预设阈值时，生成报警提示。
在一个实施例中，获取作为训练数据的样本车尾图像对；通过预先构建的预测模型对各样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；以及对由各图像对特征和各光流图，确定的融合特征进行全局编码，得到目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值；获取各样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值；当第一车尾序列尺度变化值和第二车尾序列尺度变化值之间的差值在预设范围之内时，完成预测模型的训练；即通过传毫米波雷达或者激光雷达测距数据为监督数据，训练视觉神经网络模型的方案，实现了多传感器感知数据的交叉应用，降低了获取训练数据的人工成本；根据两帧之间的光流为特征的尺度回归方法，提高了神经网络编码的效率。
将获取目标车辆的车尾图像对输入至训练好的预测模型；对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；根据图像对特征和光流图，确定携带车尾尺度变化信息的融合特征；结合位置编码信息对各所融合特征进行全局编码，得到包含各帧车尾图像之间和全序列信息的目标编码特征集；根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变换值用于预测目标车辆与本车之间的相对运动趋势；对序列尺度变化值进行拟合，得到车尾尺度变化曲线；根据车尾尺度变换曲线，确定碰撞风险系数；当碰撞风险系数小于预设阈值时，生成报警提示；根据位置编码信息对各融合特征进行全局编码，得到包含各帧车尾图像之间和全序列信息的目标编码特征集；根据两帧之间的光流为特征的尺度回归方法，以及目标编码特征集对车尾序列尺度变化进行预测，能够有效预测邻近两帧的尺度变化以及有效预测全局一致性且平滑的尺度变化，提高了尺度变化预测的精确度。
关于车尾序列尺度变化预测装置的具体限定可以参见上文中对于车尾序列尺度变化预测方法的限定，在此不再赘述。上述车尾序列尺度变化预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种车尾序列尺度变化预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标车辆的车尾图像对序列，车尾图像对序列包含多个车尾图像对；
对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
根据图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对车尾图像对序列中的各车尾图像对的融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变化值用于预测目标车辆与本车之间的相对运动趋势。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取包含目标车辆的图像序列；
确定图像序列中目标车辆的车尾在图像中的目标区域，得到对应区域的目标车尾图像序列；
从目标车尾图像序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取目标车尾图像序列的序列长度；
当序列长度大于预设长度时，按照预设长度对目标车尾图像序列进行分组，得到若干目标车尾图像子序列；
从各目标车尾图像子序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；以及
根据图像对特征进行回归预测，确定各车尾图像对中各对应像素点的光流值，得到光流图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取作为训练数据的样本车尾图像对序列；
通过预先构建的预测模型对各样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征；以及
对由各车尾图像对的图像对特征的融合特征构成的融合特征集进行全局编码，得到目标编码特征集；
根据目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值；
获取各样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值；
当第一车尾序列尺度变化值和第二车尾序列尺度变化值之间的差值在预设范围之内时，完成预测模型的训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；
将输入特征图进行深层卷积处理，得到用于预测车尾尺度变化信息的融合特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对序列尺度变化值进行拟合，得到车尾尺度变化曲线；
根据车尾尺度变换曲线，确定碰撞风险系数；
当碰撞风险系数小于预设阈值时，生成报警提示。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标车辆的车尾图像对序列，车尾图像对序列包含多个车尾图像对；
对各车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图；
根据图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对车尾图像对序列中的各车尾图像对的融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；车尾序列尺度变化值用于预测目标车辆与本车之间的相对运动趋势。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取包含目标车辆的图像序列；
确定图像序列中目标车辆的车尾在图像中的目标区域，得到对应区域的目标车尾图像序列；
从目标车尾图像序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取目标车尾图像序列的序列长度；
当序列长度大于预设长度时，按照预设长度对目标车尾图像序列进行分组，得到若干目标车尾图像子序列；
从各目标车尾图像子序列中确定参考车尾图像，根据参考车尾图像分别和其他目标车尾图像构成车尾图像对。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；以及
根据图像对特征进行回归预测，确定各车尾图像对中各对应像素点的光流值，得到光流图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取作为训练数据的样本车尾图像对序列；
通过预先构建的预测模型对各样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征；以及
对由各车尾图像对的图像对特征的融合特征构成的融合特征集进行全局编码，得到目标编码特征集；
根据目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值；
获取各样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值；
当第一车尾序列尺度变化值和第二车尾序列尺度变化值之间的差值在预设范围之内时，完成预测模型的训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；
将输入特征图进行深层卷积处理，得到用于预测车尾尺度变化信息的融合特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对序列尺度变化值进行拟合，得到车尾尺度变化曲线；
根据车尾尺度变换曲线，确定碰撞风险系数；
当碰撞风险系数小于预设阈值时，生成报警提示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车尾序列尺度变化预测方法，其特征在于，所述方法包括：
获取包含目标车辆的图像序列；
确定所述图像序列中所述目标车辆的车尾在图像中的目标区域，得到对应区域的目标车尾图像序列；所述目标区域是指同一目标车辆的车尾框区域；所述车尾框区域的宽度为车尾左边边界到右边边界的宽度，所述车尾框区域的高度为车辆顶部到尾部车轮接地点的高度；
从所述目标车尾图像序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对，得到所述目标车辆的车尾图像对序列；
将各所述车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；所述预测模型的训练利用传感器测距获取测距数据来确定监督数据，对预测模型进行监督训练；
根据所述图像对特征进行回归预测，确定各所述车尾图像对中各对应像素点的光流值，得到光流图；
根据所述图像对特征和光流图，确定携带车尾图像对之间车尾尺度变化信息的融合特征；
结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像对之间和车尾图像对序列全局信息的目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变化值用于预测所述目标车辆与本车之间的相对运动趋势。
2.根据权利要求1所述的方法，其特征在于，所述从所述目标车尾图像序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对，所述方法还包括：
获取所述目标车尾图像序列的序列长度；
当所述序列长度大于预设长度时，按照预设长度对所述目标车尾图像序列进行分组，得到若干目标车尾图像子序列；
从各所述目标车尾图像子序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对。
3.根据权利要求1所述的方法，其特征在于，所述预测模型的训练，包括：
获取作为训练数据的样本车尾图像对序列；
通过预先构建的预测模型对各所述样本车尾图像对进行编码处理和回归预测处理，分别得到对应的图像对特征和光流图，并确定携带车尾图像对之间车尾尺度变化信息的融合特征；以及
对由各所述车尾图像对的所述图像对特征的融合特征构成的融合特征集进行全局编码，得到目标编码特征集；
根据所述目标编码特征集对车尾序列尺度变化进行回归处理，得到第一车尾序列尺度变化值；
获取各所述样本车尾图像对中车辆的目标车辆于自车图像采集设备之间的距离，确定第二车尾序列尺度变化值；所述第二车尾序列尺度变化值为监督数据；
当所述第一车尾序列尺度变化值和所述第二车尾序列尺度变化值之间的差值在预设范围之内时，完成所述预测模型的训练。
4.根据权利要求1所述的方法，其特征在于，所述根据所述图像对特征和光流图，得到用于预测车尾尺度变化信息的融合特征，包括：
将所述图像对特征和光流图进行拼接，得到设定尺寸的输入特征图；
将所述输入特征图进行深层卷积处理，得到用于预测车尾尺度变化信息的融合特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述序列尺度变化值进行拟合，得到车尾尺度变化曲线；
根据所述车尾尺度变换曲线，确定碰撞风险系数；
当所述碰撞风险系数小于预设阈值时，生成报警提示。
6.根据权利要求1所述的方法，其特征在于，所述光流是指同一三维空间点在前后帧图像成像，分别对应不同的两个像素点，这两个像素点在图像平面内的位移。
7.一种车尾序列尺度变化预测装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标车辆的图像序列；
确定模块，用于确定所述图像序列中所述目标车辆的车尾在图像中的目标区域，得到对应区域的目标车尾图像序列；所述目标区域是指同一目标车辆的车尾框区域；所述车尾框区域的宽度为车尾左边边界到右边边界的宽度，所述车尾框区域的高度为车辆顶部到尾部车轮接地点的高度；
从所述目标车尾图像序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对，所述车尾图像对序列包含多个车尾图像对；
编码预测模块，用于将各所述车尾图像对输入至训练好的预测模型中，进行编码处理，得到各对应的图像对特征；所述预测模型的训练利用传感器测距获取测距数据来确定监督数据，对预测模型进行监督训练；
根据所述图像对特征进行回归预测，确定各所述车尾图像对中各对应像素点的光流值，得到所述光流图；
特征处理模块，用于根据所述图像对特征和光流图，确定携带车尾尺度变化信息的融合特征；
全局编码模块，用于结合位置编码信息，对所述车尾图像对序列中的各所述车尾图像对的所述融合特征进行全局编码，得到包含各车尾图像之间和车尾图像对序列全局信息的目标编码特征集；
预测模块，用于根据所述目标编码特征集对车尾序列尺度变化进行预测，得到车尾序列尺度变化值；所述车尾序列尺度变换值用于预测所述目标车辆与自车之间的相对运动趋势。
8.根据权利要求7所述的装置，其特征在于，
所述获取模块还用于获取所述目标车尾图像序列的序列长度；
所述装置包括：
分组模块，用于当所述序列长度大于预设长度时，按照预设长度对所述目标车尾图像序列进行分组，得到若干目标车尾图像子序列；
所述确定模块还用于从各所述目标车尾图像子序列中确定参考车尾图像，根据所述参考车尾图像分别和其他目标车尾图像构成车尾图像对。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111179136.XA 2021-10-11 2021-10-11 车尾序列尺度变化预测方法、装置和计算机设备 Active CN113610900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111179136.XA CN113610900B (zh) 2021-10-11 2021-10-11 车尾序列尺度变化预测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111179136.XA CN113610900B (zh) 2021-10-11 2021-10-11 车尾序列尺度变化预测方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN113610900A CN113610900A (zh) 2021-11-05
CN113610900B true CN113610900B (zh) 2022-02-15

Family

ID=78343517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111179136.XA Active CN113610900B (zh) 2021-10-11 2021-10-11 车尾序列尺度变化预测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN113610900B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115431968B (zh) * 2022-11-07 2023-01-13 北京集度科技有限公司 车辆控制器、车辆及车辆控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934808A (zh) * 2017-02-15 2017-07-07 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置
CN112581508A (zh) * 2020-12-08 2021-03-30 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101713986B1 (ko) * 2016-02-17 2017-03-08 한국항공대학교산학협력단 이동체 검출을 위한 광학흐름 추정 장치 및 방법
CN106056972A (zh) * 2016-06-29 2016-10-26 江苏科技大学 一种基于车辆行驶速度和位置信息融合的安全防撞预警方法
CN108725440B (zh) * 2018-04-20 2020-11-27 深圳市商汤科技有限公司 前向碰撞控制方法和装置、电子设备、程序和介质
CN110163196B (zh) * 2018-04-28 2023-12-08 中山大学 显著特征检测方法和装置
CN111768432B (zh) * 2020-06-30 2022-06-10 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN112800879B (zh) * 2021-01-15 2022-08-26 南京邮电大学 一种基于车载视频的前方车辆位置预测方法和预测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934808A (zh) * 2017-02-15 2017-07-07 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置
CN112581508A (zh) * 2020-12-08 2021-03-30 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像的驾驶主动安全前防撞的方法研究与实现;任薇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115;第I138-572页 *

Also Published As

Publication number Publication date
CN113610900A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN110136222B (zh) 虚拟车道线生成方法、装置及系统
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
EP4152204A1 (en) Lane line detection method, and related apparatus
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN113223317B (zh) 一种更新地图的方法、装置和设备
RU2743895C2 (ru) Способы и системы для определения компьютером наличия объектов
US20230005169A1 (en) Lidar point selection using image segmentation
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
Yuan et al. Adaptive forward vehicle collision warning based on driving behavior
US11403854B2 (en) Operating assistance method, control unit, operating assistance system and working device
US20210237737A1 (en) Method for Determining a Lane Change Indication of a Vehicle
JP4420512B2 (ja) 移動物体間動作分類方法及び装置並びに画像認識装置
CN111292366A (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
WO2020164089A1 (en) Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization
US11753018B2 (en) Lane-type and roadway hypotheses determinations in a road model
CN113610900B (zh) 车尾序列尺度变化预测方法、装置和计算机设备
DE102023101354A1 (de) Sensorfusion
CN115439339A (zh) 图像矫正
US20220261617A1 (en) Apparatus, system and method for translating sensor data
CN110705495A (zh) 交通工具的检测方法、装置、电子设备和计算机存储介质
US12100189B2 (en) Three-dimensional object detection
JP5772321B2 (ja) 車両検出装置、車両検出方法及びプログラム
US20230168100A1 (en) Automatic annotation of drivable road segments
US20220261658A1 (en) Apparatus, system and method for translating sensor label data between sensor domains
CN116635919A (zh) 物体跟踪装置以及物体跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518048 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.