CN112509032A - 一种基于汽车分布式感知平台的前方感知模块的设计方法 - Google Patents

一种基于汽车分布式感知平台的前方感知模块的设计方法 Download PDF

Info

Publication number
CN112509032A
CN112509032A CN202011331858.8A CN202011331858A CN112509032A CN 112509032 A CN112509032 A CN 112509032A CN 202011331858 A CN202011331858 A CN 202011331858A CN 112509032 A CN112509032 A CN 112509032A
Authority
CN
China
Prior art keywords
image
target
vehicle
tracking
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011331858.8A
Other languages
English (en)
Inventor
刘军
陈辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202011331858.8A priority Critical patent/CN112509032A/zh
Publication of CN112509032A publication Critical patent/CN112509032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于汽车分布式感知平台的前方感知模块的设计方法，提出了基于光流法改进的长短焦图像融合算法；构建了Light‑YOLO V3网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；同时结合最优跟踪匹配算法解决检测过程中目标严重遮挡问题。本发明针对ADAS系统和自动驾驶研究技术涉及的大量数据传输以及数据处理，感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下等问题，从而将ADAS整车感知平台采用分层融合结构。这种分布式的处理方式可以使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率。

Description

一种基于汽车分布式感知平台的前方感知模块的设计方法
技术领域
本发明设计目标检测领域，具体涉及一种基于汽车分布式感知平台的前方感知模块的设计方法。
背景技术
在我国从汽车大国迈入汽车强国的进程中，提高汽车产业的智能化、网联化和新能源转型是核心任务。为了进一步规范智能汽车的研究方向，工信部将自动驾驶技术分为0～5 级并提出了高度智能网联汽车在限定区域的落地应用的计划，并预计于2021年实施《汽车驾驶自动化分级》推荐性国家标准。
汽车在动态复杂驾驶环境中具备实时、准确、稳定的感知能力是实现汽车自动驾驶的关键技术，自动驾驶技术的提高带来的是更低的交通事故发生率。感知模块在自动驾驶技术的发展中具有重要意义，涉及到不同驾驶场景下的图像融合，多目标检测与跟踪技术，最终根据感知信息来完成智能汽车的预警和避障操作。
随着ADAS系统和自动驾驶研究技术的不断深入和推广，涉及大量的数据传输以及数据处理，感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下，对ADAS系统功能造成一定影响，甚至带来安全隐患。针对ADAS系统和自动驾驶研究技术深入和推广过程中，涉及大量数据传输以及数据处理，导致出现感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下等问题，将ADAS整车感知平台进行分布式网络的划分，采用分层融合结构。这种分布式的处理方式可以使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率；在算法上提出了多参考的融合测距算法以及跟踪匹配算法，提高了在复杂高动态驾驶场景下的检测精度和鲁棒性，融合后的结果在图像的信息量、亮度水平、清晰程度等方面具有明显优势。
发明内容
为了解决信息管理的混乱、协调困难、效率低下等问题，本发明提出一种基于分布式感知平台的前方感知模块的研究方法。
本发明的技术方案是这样实现的：
一种基于汽车分布式感知平台的前方感知模块的设计方法，包括以下步骤：
S1、对整车感知平台进行分布式网络划分，采用分层融合结构；
S2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建改进的长短焦图像融合算法；
S3、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；
S4、使用多参考信息的融合测距算法同时使用基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题；
S5、使用最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。
进一步，所述步骤S1的具体过程为：通过安装在汽车前后左右四个方向上的感知模块 (测道路周围环境的摄像头和雷达)以及车辆行驶状态感知识别模块(陀螺仪，加速度传感器，轮速传感器，方向盘转角传感器)和驾驶员行为感知识别模块(摄像头，以及检测驾驶员是否处于疲劳状态)将检测到的信息传递至高级驾驶辅助系统ADAS主模块(其中，主模块功能有：信息采集与融合、模式识别、预报预测、危险判断、主动控制等)，然后高级驾驶辅助系统ADAS主模块将这些信息处理后输出到高级驾驶辅助系统ADAS人机交互界面呈现给驾驶员并将信息反馈到汽车驱动执行装置。
进一步，所述步骤S2的具体过程为：
S2.1、首先通过光流法计算每个像素点的偏移量，通过变形将两张图像上对应的像素点进行匹配融合；
S2.2、由于长短焦摄像头安装的位置偏差导致对应图像像素点的偏移，所以长焦摄像头获取的图像上的一点u(ux,uy)可以在对应的短焦摄像头获取的图像上找到相匹配的一点 v(ux+dx,uy+dy)，则向量d＝[dx,dy]表示图像在点u处的光流，为了进一步说明向量d的含义假设：长焦摄像头获取的图像经过仿射变换得到短焦摄像头获取图像的对应区域，将变换矩阵定义为：
Figure RE-GDA0002896598720000021
其中dxx、dyy、dxy、dyx表示图像中的仿射变换；
S2.3、通过光流法计算光流d和变换矩阵A，得到一块区域内的灰度差，定义为：
Figure RE-GDA0002896598720000022
其中整数wx、wy定义了图像上的矩形窗口大小为(2wx+1)、(2wy+1)，I和J是两幅2D的灰度图像；
S2.4、令I0＝I表示第0层的图像，表示金字塔图像中分辨率最高的图像，定义图像的宽度和高度分别为
Figure RE-GDA0002896598720000031
使用递归的方式建立金字塔：通过I0计算出I1，通过I1计算出I2，…，令L＝1,2,…表示金字塔的层数，其中IL-1表示第L-1层的图像，
Figure RE-GDA0002896598720000032
分别表示图像IL-1的宽度和高度，图像IL可以通过图像IL-1计算得到：
Figure RE-GDA0002896598720000033
S2.5、金字塔特征匹配算法具体实现如下：首先，在图像的最高一层计算出d和A；然后将上一层计算的d和A作为下一层图像的初始值，本层图像根据上一层输入的d和A，计算出本层的d和A；将本层图像计算出的d和A作为下一层图像的初始值，直到将计算出的d和A传递到最后一层图像，并将最后一层图像计算出的d和A作为最终的d和A，其中d表示光流，A表示变换矩阵；
S2.6、计算出金字塔每一层的光流dL和仿射变换矩阵AL，使L层的匹配误差εL最小，匹配误差εL的表达如下：
Figure RE-GDA0002896598720000034
dx、dy表示光流d的向量形式，dxx、dyy、dxy、dyx表示图像中的仿射变换，整数wx、wy是图像上的矩形窗口大小，IL comp和JL comp是两幅2D图像第L层的灰度；
更新匹配结果：
Figure RE-GDA0002896598720000035
其中，A仿是射变换矩阵，v是更新后光流的速度，[ηx、ηy、ηxx、ηxy、ηyx、ηyy]T是仿射光流的向量形式；
直到
Figure RE-GDA0002896598720000036
<某个阈值的时候，结束本层的迭代；
S2.7、最后对长焦摄像头获取的图像上的各像素点进行偏移变形，使变形后的图像可以与对应短焦摄像头获取的图像上的像素点逐一进行匹配，已变形的长焦摄像头的图像根据需求输入权值λ，与相应的短焦摄像头获取的图像通过公式F＝(1-λ)I+λ·J进行融合，得到最终的融合结果。
进一步，所述步骤S3的具体过程为：
S3.1、通过两种不同的卷积块1和卷积块2堆叠构建Light-YOLO骨干网络，卷积块1是下采样模块，将输入特征复制成两份，各自进行步长为2的深度卷积，最后通过拼接实现特征尺寸减半和通道数的翻倍；卷积块2首先将输入按通道拆分为两部分，一部分保持不变以保留部分浅层的特征语义信息，另一部分进行深度卷积，最后输出与输入尺寸相等的特征向量；一个轻量化单元包含一个卷积块1和多个卷积块2，通过新构建的骨干网络将 416×416×3的输入特征转化至13×13×1024；网络结构从输入到输出依次是：卷积层 Conv3×3×24、最大池化层Maxpool3×3、卷积块1Block2×3、Block2×7、Block2×3、卷积层Conv1×1×512、Conv3×3×1024、Conv3×3×27、Conv3×3×256、Conv3×3×256、 Conv3×3×512、Conv3×3×27、Conv3×3×128、Conv3×3×128、Conv3×3×256、 Conv3×3×128、Conv3×3×256、Conv3×3×27；
S3.2、网络共输出三个不同尺度的预测张量，首先输出13×13的特征张量；接着上采样与第二个轻量化单元的输出进行拼接，输出26×26的特征张量；最后上采样与第一个轻量化单元的输出进行拼接，输出52×52特征张量，输出张量的通道数为(3×(5+C))，其中C表示预测的类别数量，不同尺寸的输出张量分配不同大小的锚框，对不同大小的车辆目标进行预测。
进一步，所述步骤S4的具体过程为：
S4.1、首先对车载摄像机视频帧进行车辆检测和跟踪及道路消失点检测，随后通过修正摄像机俯仰角的基于车辆位置的几何测距模型计算前方车辆与自车的横纵向距离，若前车在自车正前方且稳定跟踪帧数超过f帧，则通过前f帧的车辆像素宽度和纵向距离计算前车平均实际宽度，随后通过基于车辆宽度的测距方法计算纵向距离，最后输出融合后的测距结果，其中f取3，车辆横向距离直接采用基于车辆位置的测距结果，纵向距离的计算公式为：Dout＝λDp+(1-λ)Dw，其中，DP为基于车辆位置计算的纵向距离，DW为基于车辆宽度计算的纵向距离，λ为测距模型权重；
还包括：S4.2、为解决测距过程中的跟踪与匹配问题：首先通过基于匀速运动模型的卡尔曼滤波预测车辆的运动状态，随后通过匈牙利算法和基于IoU、马氏距离和颜色直方图的时间域与空间域连续特征关联算法匹配车辆检测框和跟踪框，并在跟踪算法中加入了基于跟踪帧数的输出逻辑，以减少车辆跟踪可能出现的目标丢失、轨迹切换问题。
进一步，所述步骤S5的具体过程为：
S5.1、计算跟踪匹配过程中编号为j∈{0,1,2,...,M}的目标与周围其他目标 f∈{0,1,2,...,M}的距离djf(f≠j)，根据公式
Figure RE-GDA0002896598720000051
结合检测过程中得到的框宽
Figure RE-GDA0002896598720000052
和框高
Figure RE-GDA0002896598720000053
得出j和f之间的距离d，其中A1和A2分别为j和f 的权重，A1+A2＝1,且两者关系如下：
若A1＜A2，目标f在前，目标j是后者；
若A1＝A2，目标f与目标j置信度相近；
若A1＞A2，目标j在前，目标f为后者；
S5.2、若djf≤d，记录并保存目标j周围所有邻近目标的序号fi∈{0,1,2,...,M}，(fi≠j)，下标i用于区分不同的邻近目标，并继续S3；若djf＞d，则认为目标j不存在邻近的目标，如果此刻出现了新的目标，那么认为目标是首次出现，记录并保存后跳过S3，等待下一时刻的判定；
S5.3、若目标j周围出现新目标x时，先确定新目标周围的邻近目标pi是否消失，若出现大量消失的目标p0,p1,...，则计算出距离新目标x最近的目标pm，此时认为新目标x 就是消失的目标pm，将新目标x的序号改为pm，并且继承pm的目标信息，若没有目标消失，则认为x为新目标。
本发明的有益结果：本发明文将ADAS整车感知平台进行分布式网络的划分，采用分层融合结构，使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率；长短焦图像融合后的结果在图像的信息量、亮度水平、清晰程度等方面具有明显优势；同时提出了多参考的融合测距算法以及跟踪匹配算法，解决了由于目标遮挡产生的干扰，具有较高的时效性，同时提高了在复杂高动态驾驶场景下的检测精度和鲁棒性。
附图说明
图1明实施步骤图；
图2分布式感知网络布置图；
图3Shufflenetv2网络卷积单元结构图；
图4Light-YOLO网络结构图；
图5融合测距算法流程图；
图6不同环境目标检测试验结果图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
参照图1，包括如下步骤：
S1、对整车感知平台进行分布式网络划分，采用分层融合结构。每个模块设有专门的嵌入式计算机系统，实现对应感知源的信息采集、预处理、模式识别等，并将识别和处理的结果通过网络送入ADAS主嵌入式计算系统实现数据融合、模式识别、安全评价、预警和主动控制。
通过安装在汽车前后左右四个方向上的感知模块以及车辆行驶状态感知识别模块和驾驶员行为感知识别模块将检测到的信息传递至高级驾驶辅助系统ADAS主模块，然后高级驾驶辅助系统ADAS主模块将这些信息处理后输出到高级驾驶辅助系统ADAS人机交互界面呈现给驾驶员并将信息反馈到汽车驱动执行装置。如图2所示。
表1整车感知模块
Figure RE-GDA0002896598720000061
S2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建本发明申请改进的长短焦图像融合算法。
S3、首先通过光流法计算每个像素点的偏移量，通过变形将两张图像上对应的像素点进行匹配融合。
S4、由于长短焦摄像头安装的位置偏差导致对应图像像素点的偏移，所以长焦摄像头获取的图像上的一点u(ux,uy)可以在对应的短焦摄像头获取的图像上找到相匹配的一点 v(ux+dx,uy+dy)。则向量d＝[dx,dy]表示图像在点u处的光流。为了进一步说明向量d的含义假设：长焦摄像头获取的图像经过仿射变换得到短焦摄像头获取图像的对应区域，将变换矩阵定义为：
Figure RE-GDA0002896598720000071
其中dxx、dyy、dxy、dyx表示图像中的仿射变换
S5、通过光流法计算光流d和变换矩阵A，得到一块区域内的灰度差，定义为：
Figure RE-GDA0002896598720000072
其中整数wx、wy定义了图像上的矩形窗口大小为(2wx+1)、(2wy+1)，I和J是两幅2D的灰度图像。
S6、令I0＝I表示第0层的图像，表示金字塔图像中分辨率最高的图像，定义图像的宽度和高度分别为
Figure RE-GDA0002896598720000073
使用递归的方式建立金字塔：通过I0计算出I1，通过I1计算出I2，…。本发明申请中令L＝1,2,…表示金字塔的层数。其中IL-1表示第L-1层的图像，
Figure RE-GDA0002896598720000074
分别表示图像IL-1的宽度和高度。图像IL可以通过图像IL-1计算得到：
Figure RE-GDA0002896598720000075
S7、金字塔特征匹配算法具体实现如下：首先，在图像的最高一层计算出d和A；然后将上一层计算的d和A作为下一层图像的初始值，本层图像根据上一层输入的d和A，计算出本层的d和A；将本层图像计算出的d和A作为下一层图像的初始值，直到将计算出的d和A传递到最后一层图像，并将最后一层图像计算出的d和A作为最终的d和A。其中d表示光流，A表示变换矩阵。
S8、计算出金字塔每一层的光流dL和仿射变换矩阵AL，使L层的匹配误差εL最小，匹配误差εL的表达如下：
Figure RE-GDA0002896598720000076
更新匹配结果：
Figure RE-GDA0002896598720000081
直到
Figure RE-GDA0002896598720000082
<某个阈值的时候，结束本层的迭代。
S9、最后对长焦摄像头获取的图像上的各像素点进行偏移变形，使变形后的图像可以与对应短焦摄像头获取的图像上的像素点逐一进行匹配，已变形的长焦摄像头的图像根据需求输入权值λ，与相应的短焦摄像头获取的图像通过公式F＝(1-λ)I+λ·J进行融合，得到最终的融合结果。
S10、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络。如图3-4所示。
S11、通过两种不同的卷积块1和卷积块2堆叠构件骨干网络，一个轻量化单元包含一个卷积块1和多个卷积块2，通过新构建的骨干网络将416×416×3的输入特征转化至 13×13×1024。
S12、网络共输出三个不同尺度的预测张量，首先输出13×13的特征张量；接着上采样与第二个轻量化单元的输出进行拼接，输出26×26的特征张量；最后上采样与第一个轻量化单元的输出进行拼接，输出52×52特征张量。输出张量的通道数为(3×(5+C))，其中C表示预测的类别数量，不同尺寸的输出张量分配不同大小的锚框，对不同大小的车辆目标进行预测。
S13、使用多参考信息的融合测距算法同时使用一种基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题。
S14、首先对车载摄像机视频帧进行车辆检测和跟踪及道路消失点检测，随后通过修正摄像机俯仰角的基于车辆位置的几何测距模型计算前方车辆与自车的横纵向距离。若前车在自车正前方且稳定跟踪帧数超过f帧，则通过前f帧的车辆像素宽度和纵向距离计算前车平均实际宽度，随后通过基于车辆宽度的测距方法计算纵向距离，最后输出融合后的测距结果，其中f取3。车辆横向距离直接采用基于车辆位置的测距结果，纵向距离的计算公式为：Dout＝λDp+(1-λ)Dw，其中，DP为基于车辆位置计算的纵向距离，为基于车辆宽度计算的纵向距离，λ为测距模型权重。
S15、为解决测距过程中的跟踪与匹配问题：首先通过基于匀速运动模型的卡尔曼滤波预测车辆的运动状态，随后通过匈牙利算法和基于IoU、马氏距离和颜色直方图的时间域与空间域连续特征关联算法匹配车辆检测框和跟踪框，并在跟踪算法中加入了基于跟踪帧数的输出逻辑，以减少车辆跟踪可能出现的目标丢失、轨迹切换等问题。
对于车辆跟踪而言，卡尔曼滤波利用已知的车辆运动信息，去除噪声后设法获取车辆下一帧的运动状态，考虑到车辆在短时间间隔内可以看作匀速运动，车辆位置信息可以表示为：Xk＝FXk-1+Wk，其中，Xk表示第k帧的车辆位置状态矩阵，F为状态转移矩阵，Wk为系统噪声，下一帧中检测算法获得的车辆检测框位置信息可以表示为：Zk＝HXk+Vk，其中，H为观测矩阵，Vk为第k帧的观测噪声；
假设系统噪声Wk和观测噪声Vk均为高斯白噪声，对应的协方差矩阵为Q和R，卡尔曼滤波算法首先对车辆状态信息进行预测，根据第k-1帧的车辆最优估计位置Xk-1|k-1预测第k帧的车辆状态矩阵Xk|k-1和对应的协方差矩阵Pk|k-1：
Xk|k-1＝FkXk-1|k-1
Figure RE-GDA0002896598720000091
随后结合第k帧的车辆检测算法获得的车辆观测状态，对预测的车辆状态矩阵和对应协方差矩阵进行更新，获得第k帧的车辆位置最优估计结果Xk|k和对应的协方差矩阵Pk|k；
Figure RE-GDA0002896598720000092
Xk|k＝Xk|k-1+Kk(Zk-HXk|k-1)
Pk|k＝(I-KkH)Pk|k-1
其中，Kk表示第k帧的卡尔曼增益。
卡尔曼滤波算法通过公式不断重复利用前一帧的车辆位置状态估计预测当前帧的车辆位置状态，并通过卡尔曼增益优化预测当前帧的车辆位置状态的最优估计结果。
匈牙利算法匹配车辆检测框和跟踪框的具体步骤如下：
(1)根据车辆检测框和跟踪框之间的特征关联信息，建立匹配代价矩阵C，并用零元素将其补齐成方阵。
(2)将代价矩阵的每行元素减去该行最小元素，每列元素减去该列最小元素，至新的代价矩阵的任意行和列都存在零元素。
(3)在代价矩阵上进行试匹配，寻找车辆检测框和跟踪框间的最优匹配。
(3.1)从只有一个零元素的行(列)开始，将零元素记为
Figure RE-GDA0002896598720000101
表示这行(列)代表的检测框只有一个跟踪框可以与之匹配。并将其所在列(行)的剩余零元素记为Φ，表示该列代表的跟踪框已经被分配。
(3.2)将只有一个零元素的列(行)的零元素记为
Figure RE-GDA0002896598720000102
并将其所在行(列)的剩余零元素记为Φ。
(3.3)反复进行步骤(3.1)和(3.2)，至所有零元素被标记。若仍有未标记的零元素，则表示存在多种匹配方案，可试探求解至所有零元素被标记。
(4)若
Figure RE-GDA0002896598720000103
的数量等于代价矩阵的阶数n，则得到了车辆检测框与跟踪框的最优匹配方案；否则，继续下述步骤。
(4.1)标记没有
Figure RE-GDA0002896598720000104
的行。
(4.2)标记被标记行中所有含零元素的列，继续标记被标记列中所有含零元素的行，反复进行至没有可标记的行和列。
(4.3)用直线划出没被标记的行和被标记的列，若直线数量等于n，回到步骤(3.3)重新试探匹配方案。
(4.4)取没有被直线覆盖部分的最小元素，将被标记行各元素与之相减，被标记列各元素与之相加，获得新的代价矩阵，重新执行步骤(3)，至代价矩阵有n个独立的零元素，即得到车辆检测框与跟踪框的最优匹配方案。
匈牙利算法需要通过代价矩阵进行车辆检测框与跟踪框的匹配，即需要有关检测框和跟踪框关联程度的信息。本发明申请选择重叠度IoU作为关联指标，生成状态矩阵进行车辆检测框与跟踪框匹配。根据公式：
Figure RE-GDA0002896598720000105
其中，object、 ground分别表示检测框和真实框的位置。IoU指标的计算公式如下： d(1)＝IoU(dete_bbox,track_bbox)，其中，IoU的阈值ti取作0.5，即小于阈值的检测框和跟踪框不进行匹配。
车辆目标框状态估计信息包含了位置坐标和宽高比等不同量纲的信息，因此车辆检测框与跟踪框之间的马氏距离表示为：
d(2)＝(di-tj)TSj -1(di-tj)
其中，di表示第i个检测框的检测框信息，表示tj第j个跟踪框的状态估计信息，Sj表示检测框与跟踪框之间的协方差矩阵。马氏距离通过测量车辆检测框与跟踪框之间的标准差来表征状态估计的不确定性，作为车辆检测框和跟踪框之间的运动信息关联指标。如果马氏距离小于阈值tm，则认为对应的车辆检测框和跟踪框可以关联；否则，判断两个目标框不相关。状态估计信息di和tj包含4个变量，则阈值tm取95％置信度4自由度处的逆卡方分布，查表得值为9.488。
给定一副像素尺寸为M×N的图像f(x,y)，图像的颜色集记作C，f(x,y)表示像素点(x,y)处的颜色值，则图像的颜色直方图定义为：
Figure RE-GDA0002896598720000111
Figure RE-GDA0002896598720000112
其中，k表示RGB空间的颜色值，取值范围为0～255。
为了确定车辆目标框之间的视觉信息关联程度，本发明申请采用巴氏距离(Bhattacharyya Distance)衡量两个颜色直方图的相似度。对于两个颜色直方图H1和H2，巴氏距离计算公式如下：
Figure RE-GDA0002896598720000113
Figure RE-GDA0002896598720000114
其中，N是直方图的总区间数，d(H1,H2)的值在0～1之间，值越小，表示两个图像的相似度越高。
基于时间域与空间域连续特征关联的匹配算法中，基于IoU、马氏距离和颜色直方图的特征融合代价矩阵为：
cd,t＝λ1d(1)+λ2d(2)+(1-λ1-λ2)d(3)
其中，cd,t表示检测框和跟踪框的关联值，λ1和λ2都取作0.15，以突出颜色特征在特征关联中的优先级。
本发明申请跟踪算法将跟踪集合分为三类：有效跟踪Te、临时跟踪Tt和失效跟踪Tf。当前帧检测到的车辆目标序列为D。Connect_Match表示基于时间域与空间域连续特征关联的匹配算法，IoU_Match表示基于IoU的匹配算法。fmax表示特征关联匹配算法可以追溯的有效跟踪帧数，若一个有效跟踪超过fmax帧未匹配到检测框，则认为目标消失，跟踪失效。fmin表示临时跟踪的最大帧数，若一个临时跟踪超过fmin，则认为其是一个有效跟踪。
图5为融合测距算法流程图。
本发明申请针对多参考目标检测过程中可能发生的严重遮挡问题，提出了一种最优跟踪匹配算法，解决了由于目标遮挡产生的干扰，具有较高的时效性。
S16、提出一种最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。当发生遮挡时，需要判断目标与遮挡物之间的前后问题。本发明申请认为置信度高的目标在前，置信度低的或者出现消失的目标在后。最优跟踪匹配算法步骤如下：
S17、计算跟踪匹配过程中编号为j∈{0,1,2,...,M}的目标与周围其他目标 f∈{0,1,2,...,M}的距离djf(f≠j)。根据公式
Figure RE-GDA0002896598720000121
结合检测过程中得到的框宽
Figure RE-GDA0002896598720000122
和框高
Figure RE-GDA0002896598720000123
得出j和f之间的距离d。其中A1和A2分别为j和f 的权重，A1+A2＝1,且两者关系如下：
若A1＜A2，目标f在前，目标j是后者
若A1＝A2，目标f与目标j置信度相近
若A1＞A2，目标j在前，目标f为后者
S18、若djf≤d，记录并保存目标j周围所有邻近目标的序号fi∈{0,1,2,...,M}，(fi≠j)，下标i用于区分不同的邻近目标，并继续S3；若djf＞d，则认为目标j不存在邻近的目标。如果此刻出现了新的目标，那么认为目标是首次出现，记录并保存后跳过S3，等待下一时刻的判定。
S19、若目标j周围出现新目标x时，先确定新目标周围的邻近目标pi是否消失。若出现大量消失的目标p0,p1,...，则计算出距离新目标x最近的目标pm，此时认为新目标x 就是消失的目标pm，将新目标x的序号改为pm，并且继承pm的目标信息。若没有目标消失，则认为x为新目标。
图6为不同环境目标检测试验结果图，第一列是在阴天光线比较暗的场景下车辆检测结果；第二列是在晴天光线充足场景下车辆检测结果；第三列是在夜晚行驶时获取图像进行融合的结果。每一组图像从左到右依次为短焦摄像头获取的图像，对应长焦摄像头获取的图像，融合后的图像。从试验结果中可以看出，本文改进的图像融合算法在不同场景下的融合效果良好，与单一摄像头获取的图像相比，融合后的结果在图像信息量、亮度水平、清晰程度等方面均有所提高。
综上，本发明的一种基于汽车分布式感知平台的前方感知模块的设计方法，包括以下步骤：通过对ADAS感知技术的深入剖析，构建系统化、模块化、分布式感知平台。提出了基于光流法改进的长短焦图像融合算法；针对YOLO(You Only Look Once)卷积神经网络卷积层多、运行速度慢的问题，构建了Light-YOLO V3网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；同时结合最优跟踪匹配算法解决检测过程中目标严重遮挡问题。本发明针对ADAS系统和自动驾驶研究技术深入和推广过程中，涉及大量数据传输以及数据处理，感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下等问题，从而将ADAS整车感知平台进行分布式网络的划分，采用分层融合结构。这种分布式的处理方式可以使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权力要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：包括以下步骤：
S1、对整车感知平台进行分布式网络划分，采用分层融合结构；
S2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建改进的长短焦图像融合算法；
S3、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；
S4、使用多参考信息的融合测距算法同时使用基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题；
S5、使用最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。
2.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S1的具体过程为：通过安装在汽车前后左右四个方向上的感知模块以及车辆行驶状态感知识别模块和驾驶员行为感知识别模块将检测到的信息传递至高级驾驶辅助系统ADAS主模块，然后高级驾驶辅助系统ADAS主模块将这些信息处理后输出到高级驾驶辅助系统ADAS人机交互界面呈现给驾驶员并将信息反馈到汽车驱动执行装置。
3.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S2的具体过程为：
S2.1、首先通过光流法计算每个像素点的偏移量，通过变形将两张图像上对应的像素点进行匹配融合；
S2.2、由于长短焦摄像头安装的位置偏差导致对应图像像素点的偏移，所以长焦摄像头获取的图像上的一点u(ux,uy)可以在对应的短焦摄像头获取的图像上找到相匹配的一点v(ux+dx,uy+dy)，则向量d＝[dx,dy]表示图像在点u处的光流，为了进一步说明向量d的含义假设：长焦摄像头获取的图像经过仿射变换得到短焦摄像头获取图像的对应区域，将变换矩阵定义为：
Figure FDA0002796040940000011
其中dxx、dyy、dxy、dyx表示图像中的仿射变换；
S2.3、通过光流法计算光流d和变换矩阵A，得到一块区域内的灰度差，定义为：
Figure FDA0002796040940000021
其中整数wx、wy定义了图像上的矩形窗口大小为(2wx+1)、(2wy+1)，I和J是两幅2D的灰度图像；
S2.4、令I0＝I表示第0层的图像，表示金字塔图像中分辨率最高的图像，定义图像的宽度和高度分别为
Figure FDA0002796040940000022
使用递归的方式建立金字塔：通过I0计算出I1，通过I1计算出I2，…，令L＝1,2,…表示金字塔的层数，其中IL-1表示第L-1层的图像，
Figure FDA0002796040940000023
分别表示图像IL-1的宽度和高度，图像IL可以通过图像IL-1计算得到：
Figure FDA0002796040940000024
S2.5、金字塔特征匹配算法具体实现如下：首先，在图像的最高一层计算出d和A；然后将上一层计算的d和A作为下一层图像的初始值，本层图像根据上一层输入的d和A，计算出本层的d和A；将本层图像计算出的d和A作为下一层图像的初始值，直到将计算出的d和A传递到最后一层图像，并将最后一层图像计算出的d和A作为最终的d和A，其中d表示光流，A表示变换矩阵；
S2.6、计算出金字塔每一层的光流dL和仿射变换矩阵AL，使L层的匹配误差εL最小，匹配误差εL的表达如下：
Figure FDA0002796040940000025
dx、dy表示光流d的向量形式，dxx、dyy、dxy、dyx表示图像中的仿射变换，整数wx、wy是图像上的矩形窗口大小，IL comp和JL comp是两幅2D图像第L层的灰度；
更新匹配结果：
Figure FDA0002796040940000026
其中，A仿是射变换矩阵，v是更新后光流的速度，[ηx、ηy、ηxx、ηxy、ηyx、ηyy]T是仿射光流的向量形式；
直到
Figure FDA0002796040940000031
结束本层的迭代；
S2.7、最后对长焦摄像头获取的图像上的各像素点进行偏移变形，使变形后的图像可以与对应短焦摄像头获取的图像上的像素点逐一进行匹配，已变形的长焦摄像头的图像根据需求输入权值λ，与相应的短焦摄像头获取的图像通过公式F＝(1-λ)I+λ·J进行融合，得到最终的融合结果。
4.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S3的具体过程为：
S3.1、通过两种不同的卷积块1和卷积块2堆叠构建Light-YOLO骨干网络，卷积块1是下采样模块，将输入特征复制成两份，各自进行步长为2的深度卷积，最后通过拼接实现特征尺寸减半和通道数的翻倍；卷积块2首先将输入按通道拆分为两部分，一部分保持不变以保留部分浅层的特征语义信息，另一部分进行深度卷积，最后输出与输入尺寸相等的特征向量；一个轻量化单元包含一个卷积块1和多个卷积块2，通过新构建的骨干网络将416×416×3的输入特征转化至13×13×1024；网络结构从输入到输出依次是：卷积层Conv3×3×24、最大池化层Maxpool3×3、卷积块1Block2×3、Block2×7、Block2×3、卷积层Conv1×1×512、Conv3×3×1024、Conv3×3×27、Conv3×3×256、Conv3×3×256、Conv 3×3×512、Conv 3×3×27、Conv 3×3×128、Conv 3×3×128、Conv 3×3×256、Conv3×3×128、Conv3×3×256、Conv3×3×27；
S3.2、网络共输出三个不同尺度的预测张量，首先输出13×13的特征张量；接着上采样与第二个轻量化单元的输出进行拼接，输出26×26的特征张量；最后上采样与第一个轻量化单元的输出进行拼接，输出52×52特征张量，输出张量的通道数为(3×(5+C))，其中C表示预测的类别数量，不同尺寸的输出张量分配不同大小的锚框，对不同大小的车辆目标进行预测。
5.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S4的具体过程为：
S4.1、首先对车载摄像机视频帧进行车辆检测和跟踪及道路消失点检测，随后通过修正摄像机俯仰角的基于车辆位置的几何测距模型计算前方车辆与自车的横纵向距离，若前车在自车正前方且稳定跟踪帧数超过f帧，则通过前f帧的车辆像素宽度和纵向距离计算前车平均实际宽度，随后通过基于车辆宽度的测距方法计算纵向距离，最后输出融合后的测距结果，其中f取3，车辆横向距离直接采用基于车辆位置的测距结果，纵向距离的计算公式为：Dout＝λDp+(1-λ)Dw，其中，DP为基于车辆位置计算的纵向距离，DW为基于车辆宽度计算的纵向距离，λ为测距模型权重。
6.根据权利要求5所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：还包括：S4.2、为解决测距过程中的跟踪与匹配问题：首先通过基于匀速运动模型的卡尔曼滤波预测车辆的运动状态，随后通过匈牙利算法和基于IoU、马氏距离和颜色直方图的时间域与空间域连续特征关联算法匹配车辆检测框和跟踪框，并在跟踪算法中加入了基于跟踪帧数的输出逻辑，以减少车辆跟踪可能出现的目标丢失、轨迹切换问题。
7.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S5的具体过程为：
S5.1、计算跟踪匹配过程中编号为j∈{0,1,2,...,M}的目标与周围其他目标f∈{0,1,2,...,M}的距离djf(f≠j)，根据公式
Figure FDA0002796040940000041
结合检测过程中得到的框宽
Figure FDA0002796040940000042
和框高
Figure FDA0002796040940000043
得出j和f之间的距离d，其中A1和A2分别为j和f的权重，A1+A2＝1,且两者关系如下：
若A1＜A2，目标f在前，目标j是后者；
若A1＝A2，目标f与目标j置信度相近；
若A1＞A2，目标j在前，目标f为后者；
S5.2、若djf≤d，记录并保存目标j周围所有邻近目标的序号fi∈{0,1,2,...,M}，(fi≠j)，下标i用于区分不同的邻近目标，并继续S3；若djf＞d，则认为目标j不存在邻近的目标，如果此刻出现了新的目标，那么认为目标是首次出现，记录并保存后跳过S3，等待下一时刻的判定；
S5.3、若目标j周围出现新目标x时，先确定新目标周围的邻近目标pi是否消失，若出现大量消失的目标p0,p1,...，则计算出距离新目标x最近的目标pm，此时认为新目标x就是消失的目标pm，将新目标x的序号改为pm，并且继承pm的目标信息，若没有目标消失，则认为x为新目标。
CN202011331858.8A 2020-11-24 2020-11-24 一种基于汽车分布式感知平台的前方感知模块的设计方法 Pending CN112509032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011331858.8A CN112509032A (zh) 2020-11-24 2020-11-24 一种基于汽车分布式感知平台的前方感知模块的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011331858.8A CN112509032A (zh) 2020-11-24 2020-11-24 一种基于汽车分布式感知平台的前方感知模块的设计方法

Publications (1)

Publication Number Publication Date
CN112509032A true CN112509032A (zh) 2021-03-16

Family

ID=74959768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011331858.8A Pending CN112509032A (zh) 2020-11-24 2020-11-24 一种基于汽车分布式感知平台的前方感知模块的设计方法

Country Status (1)

Country Link
CN (1) CN112509032A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN114419605A (zh) * 2022-03-29 2022-04-29 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN115168787A (zh) * 2022-09-05 2022-10-11 中国电子科技集团公司第二十八研究所 一种基于推测计算的飞行轨迹关联跟踪方法
US11765562B2 (en) 2021-10-11 2023-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for matching objects in collaborative perception messages
CN118673823A (zh) * 2024-08-26 2024-09-20 成都考拉悠然科技有限公司 基于深度学习的混凝土取样行为检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034548A (zh) * 2021-04-25 2021-06-25 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
US11765562B2 (en) 2021-10-11 2023-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for matching objects in collaborative perception messages
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN113963027B (zh) * 2021-10-28 2022-09-09 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN114419605A (zh) * 2022-03-29 2022-04-29 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统
US12106551B2 (en) 2022-03-29 2024-10-01 Zhejiang Lab Visual enhancement method and system based on fusion of spatially aligned features of multiple networked vehicles
CN115168787A (zh) * 2022-09-05 2022-10-11 中国电子科技集团公司第二十八研究所 一种基于推测计算的飞行轨迹关联跟踪方法
CN115168787B (zh) * 2022-09-05 2022-11-25 中国电子科技集团公司第二十八研究所 一种基于推测计算的飞行轨迹关联跟踪方法
CN118673823A (zh) * 2024-08-26 2024-09-20 成都考拉悠然科技有限公司 基于深度学习的混凝土取样行为检测方法

Similar Documents

Publication Publication Date Title
CN112509032A (zh) 一种基于汽车分布式感知平台的前方感知模块的设计方法
US10474908B2 (en) Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
Nguyen et al. Stereo-camera-based urban environment perception using occupancy grid and object tracking
CN110726990A (zh) 一种基于ds-gnn算法的多传感器融合方法
CN111681259B (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN109727273B (zh) 一种基于车载鱼眼相机的移动目标检测方法
CN111292366B (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
CN112505684A (zh) 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN112036422B (zh) 一种基于多传感器信息融合的航迹管理方法、系统及计算机可读介质
CN115082874A (zh) 用于车辆中深度估计的系统和方法
CN111126327B (zh) 车道线检测方法、系统、车载系统及车辆
US11663807B2 (en) Systems and methods for image based perception
CN118033622A (zh) 目标跟踪方法、装置、设备及计算机可读存储介质
Linfeng et al. One estimation method of road slope and vehicle distance
Kotur et al. Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system
CN116309722A (zh) 对象的感知结果状态的确定方法、模型训练方法和装置
CN116189150A (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
US20240127585A1 (en) Method for determining the encoder architecture of a neural network
CN115131762B (zh) 一种车辆泊车方法、系统及计算机可读存储介质
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
CN116783620A (zh) 根据点云的高效三维对象检测
CN113269118A (zh) 一种基于深度估计的单目视觉前向车辆距离检测方法
CN115973162B (zh) 用于确定车辆行驶轨迹的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination