CN115457080A - 基于像素级图像融合的多目标车辆轨迹提取方法 - Google Patents

基于像素级图像融合的多目标车辆轨迹提取方法 Download PDF

Info

Publication number
CN115457080A
CN115457080A CN202211024886.4A CN202211024886A CN115457080A CN 115457080 A CN115457080 A CN 115457080A CN 202211024886 A CN202211024886 A CN 202211024886A CN 115457080 A CN115457080 A CN 115457080A
Authority
CN
China
Prior art keywords
target
image
fusion
point
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211024886.4A
Other languages
English (en)
Inventor
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211024886.4A priority Critical patent/CN115457080A/zh
Publication of CN115457080A publication Critical patent/CN115457080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于像素级图像融合的多目标车辆轨迹提取方法，包括如下步骤：S1、获取异源图像序列数据与道路环境信息；S2、图像预处理；S3、双源图像融合；S4、双源图像融合；S5、轨迹后处理。本发明提升了融合图像抗晕光能力与目标清晰度，提升乐融合图像中目标检测效果，加快了融合图像中多目标跟踪算法运行速度，能够自动提取完整高精度融合图像车辆轨迹，有利于增加交通数据获取场景，提升交通数据准确性。

Description

基于像素级图像融合的多目标车辆轨迹提取方法
技术领域
本发明涉及图像融合领域与目标检测跟踪技术，具体涉及一种基于像素级图像融合的多目标车辆轨迹提取方法。
背景技术
作为智能交通系统的主要研究内容之一，基于图像的交通信息感知技术利用布设于道路、车辆、空中等不同视角下的图像传感器采集交通数据，能够对道路路况以及交通环境进行实时检测，得到准确的速度、车流量、密度、通行能力等交通参数信息、交通事件和交通状况信息，为交通模型校准、信号控制、驾驶行为等交通流理论研究提供坚实的数据支撑；
现有基于图像的交通信息感知大多采用可见光传感器作为数据源获取道路交通信息，可见光传感器应用广泛的原因有很多，比如成像与人类视觉相似，数据直观；数据中包含目标纹理、车道线、交通标识等环境信息，语义特征丰富；分辨率高，布设成本低等；但是，可见光传感器在光线不足、天气恶劣等情况下成像效果较差；基于热像的红外图像传感器通过探测物体的热辐射成像，具备以下几个特点：具有较强的抗干扰能力，可以工作在恶劣环境中；全天候的工作特性；由于对温度敏感，具备良好的热目标探测能力；所成图像整体较为模糊，分辨率不高，不适合观察理解；考虑到红外与可见光图像的成像特点及互补特性，利用二者协同成像并进行融合，能够在夜间、天气恶劣等情况下获得目标突出、背景信息丰富的融合图像，从而提高目标识别、检测、跟踪的精度，并扩展基于图像的交通信息感知技术的使用场景；
基于可见光与红外的异源图像融合是一种可行有效的图像处理技术；已有研究中，中国专利CN202111352352.X公开了一种基于多尺度特征的红外与可见光融合技术，中国专利CN202110901665.X公开了一种基于频域规则的红外与可见光图像融合方法，但现有方法局需要人工针对特定场景标定设计，整个过程计算量较大且算法普适性不强；且在包含晕光的典型交通场景下，单源图像信息损失较多，对融合图像质量产生负面影响；现有融合算法较少考虑单源信息损失情况，导致此场景下融合图像偏暗或丢失光晕内目标细节，融合效果不好；
基于车辆的目标检测与跟踪是一种可行有效的交通信息感知技术；已有研究中，中国专利CN202110061609.X公开了一种基于车辆检测与多目标跟踪的流量统计算法，其采用YOLOv5算法进行目标车辆检测，卡尔曼滤波与匈牙利算法实现多目标关联跟踪，中国专利CN201910550286.3公开了一种基于Mask R-CNN目标检测的交通车辆信息获取方法，并采用SORT方法跟踪ROI内车辆；然而，大部分目标检测跟踪算法仅提供可见光图像的感知结果，融合图像成像机理与可见光图像不同，背景纹理、目标细节轮廓等图像信息也不尽相同，有必要探讨信息感知算法在融合图像中的应用效果；由于缺乏对融合图像中目标的关注度，大部分图像融合研究没有进一步实现融合图像在目标检测、跟踪等信息感知算法中的应用；基于目标的图像融合、融合图像检测与跟踪等关键工作的缺失，导致在交通场景中缺乏一套完整的融合图像目标轨迹提取框架。
发明内容
为了克服现有技术的不足，本发明提出了一种基于像素级图像融合的多目标车辆轨迹提取方法，该技术首先实施图像预处理步骤，对源视频图像进行缩放裁剪与图像配准创造图像融合条件；接下来进行双源图像融合，设计FT-GAN双判别器生成式对抗网络融合双源图像，设计目标-背景网络组将源图像分为目标图像块与背景图像块分别送入对应网络中训练，采用双判别器生成式对抗网络结构，在对抗网络生成器中，对目标网络采用U-Net结构增强目标细节信息，对背景网络采用张量相加结构中和提升图像抗晕光能力；在判别器网络中，采用双边滤波权重系数设计加权判别器损失函数，提升融合图像与信息量较多的源图像相似度，增强网络融合效果；之后实施融合图像目标检测与跟踪，采用YOLOv5目标检测算法获取车辆轨迹，设计形位判别关联算法实现融合图像多目标车辆跟踪，并加入序列背景补偿与ROI区域提取提升轨迹提取效率；最后进行轨迹后处理步骤，基于刺激-反应模型约束轨迹曲线，补全并回收破碎轨迹，通过坐标转换计算大地坐标系中目标的真实运动信息，最终输出高精度目标轨迹与交通参数；该技术改进了现有融合算法结果中目标不清晰，光线不良情况下融合质量差等问题，提升融合图像抗晕光能力与目标清晰度，提升融合图像中目标检测效果，加快融合图像中多目标跟踪算法运行速度，能够自动提取完整高精度融合图像车辆轨迹，有利于增加交通数据获取场景，提升交通数据准确性，为交通理论研究、交通管理与控制提供更好的数据支撑，具有极其重大的现实意义；
技术方案：为解决上述技术问题，本发明采用以下技术方案：
一种基于像素级图像融合的多目标车辆轨迹提取方法，包括以下步骤：
S1、获取异源图像序列数据与道路环境信息，要求拍摄场景为常见交通场景监控视角，图像源为可见光与红外图像，在同一时间同一地点采集相同场景图像数据；
S2、进行图像预处理操作，对图像对中高分辨率图像(一般为可见光图像)进行裁剪缩放变换；采用Shi-Tomasi算子进行角点检测，采用KNN算法进行特征点关联，进行双源图像配准；
S3、双源图像融合，设计一种双判别器生成式对抗网络FT-GAN，实施双源图像像素级融合，增强融合图像目标细节与抗晕光能力；
S4、双源图像融合，采用YOLOv5算法进行融合图像目标检测，设计一种形位判别多目标跟踪算法，从运动学与目标轮廓多角度实现检测框关联与轨迹生成，提升目标检测跟踪部分的运行速度；
S5、进行轨迹后处理操作，设计轨迹分类流程保留完整轨迹，删除幽灵轨迹，筛选破碎轨迹，并根据刺激-反应模型补全缺失轨迹数据，提升车辆轨迹合理性；将车辆轨迹由图像坐标转换至大地坐标，并采用EEMD算法进行轨迹去噪，提升轨迹整体精度；最后输出高精度车辆轨迹与交通参数数据。
进一步的，所述S1中，图像源为可见光与红外图像，在同一时间同一地点采集的相同场景图像数据。
进一步的，所述S2的改进FAST邻域像素特征点匹配策略具体步骤如下：
S201、使用Shi-Tomasi算子寻找背景区域中的特征角点；
S202、对于背景区域中的特征角点pi，首先使用下式判断pi是否处于密集角点簇中：
Figure BDA0003815261210000021
minj||pi,pj||2≤Disth (1)
其中||pi,pj||2为特征点pi与pj的欧式距离，Disth为判断角点密集程度的距离阈值，Dth为比例阈值；
若pi不处于密集角点簇中，则将其直接计入候选特征点集Cd，若pi处于密集角点簇中，设角点簇中角点数量为N0，计算应保留的角点数量N：
Figure BDA0003815261210000022
即密集角点簇中最少保留1个角点，最多保留N-1个角点；
确定角点数量N后，遍历角点簇中所有数量为N的角点组合，选取间距最大的组合作为需要保留的角点，并计入候选特征点集Cd，完成特征点粗筛选；
S203、寻找候选特征点集Cd中每个特征点的FAST4邻域描述子，并根据曼哈顿距离相等条件将描述子扩展至8邻域；
S204、计算8邻域描述子相似度特征：
Figure BDA0003815261210000031
其中Dpq为两描述子归一化距离，Ppq为描述子归一化像素差：
Figure BDA0003815261210000032
Figure BDA0003815261210000033
其中x,y为描述子图像坐标，L,W为图像长宽，Prange为图像像素值区间；
S205、选取Ssm最高的前K个特征点作为精筛选后的匹配特征点参与透视变换生成。
进一步的，所述S3的双源图像像素级融合具体步骤如下：
S301、采用K-Means算法聚类轨迹提取区域内目标的尺寸信息，获取带分割的图像块尺寸；
S302、采用E-Net对源图像进行语义分割，设计目标面积占比阈值以判断某一图像块属于目标或是背景：
N＝max{lmean,wmean}+α
Figure BDA0003815261210000034
其中lmean,wmean为K-means算法求得的中心目标外接框长与宽，均为整数，α为使N满足网络结构要求的常整数；patchn为编号为n的图像块，tar与bgd分别代表该图像被分类为目标与背景，Tarth为目标面积占比阈值，若超过该阈值，则图像块为目标，反之为背景，
Figure BDA0003815261210000035
分别为可见光与红外图像块中目标所占面积；
S303、将目标图像块与背景图像块分别代入目标网络组与背景网络组进行权重训练与图像融合；
S304、设置背景网络组网络结构；
S305、还原图像块至源图像位置，输出具有抗晕光能力的融合图像；
进一步的，所述S303中目标网络组具体结构如下：
S3031、采用U型网络进行伪融合图像生成，设计7层网络，使用步长为2的卷积层降低特征图分辨率，并设卷积核为4*4，Padding为1，保证特征图及输入输出图像尺
寸一致，并设计激活函数为Leaky-Relu；
S3032、目标网络采用PatchGAN结构设计判别器网络，使用三层步长为2的卷积层进行下采样，获取降维后的特征图，并进行尺寸为2的零值填充；接下来使用步长为1的卷积层精确提取特征，通过BatchNorm+LeakyReLU的处理归一化特征值；最后，再次填充特征图后，用卷积核数量为1的卷积层合并特征图维度，并通过tanh激活函数直接输出n*n的得分矩阵；
S3033、目标网络生成器损失函数计算方式如下：
Figure BDA0003815261210000036
其中LSSIM为由结构相似性指标SSIM计算得到的结构损失，LL1为由L1范数计算得到的边缘损失，δ1、δ2为衡量目标网络中结构损失与边缘损失重要性的权重参数；
LSSIM的计算方式如下：
Figure BDA0003815261210000037
其中，
Figure BDA0003815261210000038
为像素p点的SSIM损失，可以表示为：
Figure BDA0003815261210000041
其中
Figure BDA0003815261210000042
表示预期图像方差，
Figure BDA0003815261210000043
表示预期图像与伪融合图像协方差；
LL1计算方式如下：
Figure BDA0003815261210000044
Figure BDA0003815261210000045
其中权重参数w(Ik)与SSIM损失中的权重函数相同；
S3034、目标网络判别器损失函数计算方式如下：
Figure BDA0003815261210000046
Figure BDA0003815261210000047
其中p1、p2为反映源图像信息量的权重系数，p1代表可见光图像，p2代表红外图像，其由双边滤波权重函数计算得出。
进一步的，所述S304背景网络组网络结构具体如下：
S3041、背景网络组生成器网络采用张量相加的网络结构生成融合图片；
S3042、背景网络组判别器网络结构与目标网络组相同；
S3043、背景网络组生成器损失函数计算方式如下：
Figure BDA0003815261210000048
Figure BDA0003815261210000049
表示生成器对抗损失，由对抗网络中判别器给出，Lcon为内容损失，λ为调节两种损失重要性的权重系数；
对抗损失本文对抗损失取判别器对伪融合图像判别结果的交叉熵，即：
Figure BDA00038152612100000410
其中，Dv(G(v,i))表示判别器Dv对伪融合图像G(v,i)的判真概率，Di(G(v,i))表示判别器Di对伪融合图像G(v,i)的判真概率；
内容损失定义如下：
Figure BDA00038152612100000411
Figure BDA00038152612100000412
S3044、背景网络组判别器损失函数与目标网络组相同。
进一步的，所述S4的形位判别多目标跟踪算法具体步骤如下：
S401、对图像序列进行背景补偿，固定图像序列像素空间信息，实施坐标转换，将目标检测框数据由图像坐标系转换为俯视Frenet坐标系；
S402、初始化目标跟踪算法参数，设计短时扇形位移域估计目标移动范围，初筛候选跟踪框；
S403、设计形位判别加权打分系统，根据目标种类更新预测跟踪框位置，计算候选跟踪框运动学得分；根据跟踪框特征点余弦距离获取目标相似度，计算跟踪框形状得分，根据综合形位判别得分估计帧间关联结果；
S404、设计交通场景多目标轨迹校验方法，提取场景内完整轨迹，剔除无效轨迹，
收集断续轨迹并根据双端时空信息带入跟驰模型，补全缺失轨迹，结合交通参数与轨迹时变特征搜索错误跟踪轨迹，并纠正跟踪结果。
进一步的，所述S402是具体步骤如下：
计算扇形位移域搜索半角θ：
Figure BDA0003815261210000051
其中θ0表示真实目标物理极限偏角，V0表示真实目标物理极限位移，
Figure BDA0003815261210000052
表示检测框与目标真实位置平均交并比，h0表示目标检测框高度；
计算扇形位移域搜索半径V：
Figure BDA0003815261210000053
其中，w0为目标检测框宽度，DT为最大位移系数，根据目标类型与物理学极限综合确定；
在搜索半径V，搜索半角θ的扇形区域内筛选候选跟踪框，保留区域内跟踪框的位置、尺寸信息。
进一步的，所述S403具体步骤如下：
计算预测跟踪框位置
Figure BDA0003815261210000054
Figure BDA0003815261210000055
其中a1到a4为拟合参数，Ssh为尺度变换系数，
Figure BDA0003815261210000056
为已有轨迹的检测框；
根据跟踪目标类型更新预测跟踪框位置，对于行人目标，更新后的预测跟踪框
Figure BDA0003815261210000057
为：
Figure BDA0003815261210000058
对于车辆与非机动车目标，更新后的预测跟踪框为：
Figure BDA0003815261210000059
采用GIOU计算运动学得分
Figure BDA00038152612100000510
Figure BDA00038152612100000511
其中C为A与B的最小外接框，与交并比IOU相比，GIOU可以度量没有重合部分的A与B间的距离；
采用FAST算子提取检测框内目标边缘，设计距离判据对角点进行合并，提取其中的轮廓关键点，若某一角点半径为3的离散圆内有其他角点，则将这些角点组成一角点簇PM，直到角点簇内无法添加其他角点为止，设连接这些角点需要的圆数量为K，则合并后簇内角点的总量N为：
Figure BDA00038152612100000512
簇内角点的合并规则为角点间总欧氏距离和最大，即：
Figure BDA00038152612100000513
其中PM′为合并后的点簇，PMq为角点数为N的其他点簇，||a,b||2为a与b的二范数，代表欧氏距离；
对于检测框合并后的点簇PM′i，需要对特征点乘以尺度变换系数Ssh获得预期特征点簇
Figure BDA00038152612100000514
具体而言对于重心为Q的点簇内一点PM′i,n：
Figure BDA0003815261210000061
通过余弦相似度计算形状得分
Figure BDA0003815261210000062
并通过特征点簇距对应重心的距离更新尺度变换系数Ssh；设检测框点簇PM′i与跟踪框点簇PM′j对应重心分别为Qi与Qj，则：
Figure BDA0003815261210000063
当某目标第一次关联时，没有上一次关联得到的Ssh参与计算，则设Ssh＝1，即默认尺度无变化。
进一步的，S404具体步骤如下：根据有效帧间隔筛选可拼接的缺失轨迹：
0<f<fu
0<Δx<Vmax*F
Δy<wh (24)
其中，(Δx,Δy)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数；满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹；
代入刺激-反应跟驰模型拟合沿车道线方向车辆轨迹：
Figure BDA0003815261210000064
其中xn(t)为车辆前进方向的坐标，n为待补全的轨迹点序号，t为时间，T为待补全轨迹的总时长，λ由目标车辆的驾驶员特性决定，并不随时间变化，可通过待匹配轨迹首尾时间和空间的运动信息，与对应前车位置速度信息标定获得；
按照如下规则拼接目标垂直于车道线方向轨迹与跟踪框尺寸：
yf＝f3(xf)
Figure BDA0003815261210000065
Figure BDA0003815261210000066
其中f表示正在拼接的帧数(f<F)，(xf,yf)表示补全点的坐标；(xe,ye,le,we)表示前段轨迹的末点坐标位置及长宽，(xs,ys,ls,ws)表示后段轨迹的首点坐标位置及长宽。
本发明的有益效用包括：
1、提出一种基于双判别器对抗网络的图像融合算法,增强可见光与红外融合图像中的目标信息与融合算法的交通场景适用性；从三方面改进了原网络结构，首先划分目标网络与背景网络，分割源图像训练对应图像块，增强目标融合效果；其次考虑双源图像信息不平衡情况下的图像融合，在网络结构与损失函数设计中加入双边滤波权重表示源图像信息量，保留信息量较大的源图像特征，提升整体网络对光线不良场景的适应能力；最后改进生成器损失函数，结合SSIM与L1范数，提升结果中目标边缘的融合效果。
2、出一种基于可见光与红外融合图像的轻量化多目标跟踪算法，提升跟踪算法运算速度；算法根据交通融合图像场景下目标类型特定、采集视角斜视以及目标轮廓明显的特点，从目标运动学与轮廓信息两方面综合设计形位得分实现目标跟踪；在运动学部分，结合人、机动车及非机动车的运动规律，以位移距离和方向为变量划分不同目标的移动范围，提升跟踪的精确度；在轮廓部分，采用基于FAST算子的轮廓特征点进行相似度比较，简化轮廓特征识别步骤，提升算法效率。
3、搭建一套基于可见光与红外融合图像的多光源目标轨迹提取框架，提升目标轨迹提取结果的质量；结合图像融合实现流程与单光源目标轨迹提取流程，应用微观交通流模型进行轨迹补全与校正，实现了可见光与红外融合图像序列自动化端到端的目标轨迹提取与交通参数生成，提高了完成图像融合轨迹提取任务的效率；该框架适用于正常光照条件与光线不良条件下的交通目标轨迹提取，扩展了轨迹提取任务的应用场景；与单光源轨迹提取框架相比，本文框架提出的轨迹正确率与精度更高，本框架提升了轨迹提取结果的质量。
附图说明
图1为本发明异源图像融合抗晕光技术的技术流程图；
图2为本发明目标网络组生成器网络结构示意图；
图3为本发明目标网络组判别器网络结构示意图；
图4为本发明背景网络组生成器结构示意图；
图5为本发明实施例图像序列展示图；
图6为本发明实施例时空轨迹图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出；下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制；
如图1-6所示，为一种基于像素级图像融合的多目标车辆轨迹提取方法，具体步骤如下：
步骤1：获取异源图像序列数据与道路环境信息，，本实例采用自行拍摄的可见光与红外视频进行演示，实例拍摄地点为南京江宁区小行桥公交站天桥，图像序列及融合效果展示如图5所示；
步骤2：进行图像预处理操作，对图像对中高分辨率图像(一般为可见光图像)进行裁剪缩放变换；采用Shi-Tomasi算子进行角点检测，采用KNN算法进行特征点关联，进行双源图像配准，具体步骤如下：
2.1，对可见光图像进行中心对称缩放裁剪，在不改变可见光图像视野的前提下统一可见光与红外图像的像素信息；
2.2，使用Shi-Tomasi算子寻找背景区域中的特征角点；
2.3，对于背景区域中的特征角点pi，首先使用下式判断pi是否处于密集角点簇中：
Figure BDA0003815261210000071
Figure BDA0003815261210000072
其中||pi,pj||2为特征点pi与pj的欧式距离，Disth为判断角点密集程度的距离阈值，Dth为比例阈值；
若pi不处于密集角点簇中，则将其直接计入候选特征点集Cd，若pi处于密集角点簇中，设角点簇中角点数量为N0，计算应保留的角点数量N：
Figure BDA0003815261210000073
即密集角点簇中最少保留1个角点，最多保留N-1个角点；
确定角点数量N后，遍历角点簇中所有数量为N的角点组合，选取间距最大的组合作为需要保留的角点，并计入候选特征点集Cd；
2.4，对于候选特征点集Cd，采用KNN算法关联可见光与红外源图像中的特征点对，将匹配点对间的连线表示为f(xn)＝kMxn+b，其中M为一正交2*2矩阵，行列式为1，t为2*1变换向量，k为比例系数，最小化下式以寻找正确的匹配点对连线斜率：
Figure BDA0003815261210000074
其中λ>0，为协调比例系数，σ为候选特征点集的分布标准差，(xn,yn)为特征点n的图像坐标；
将最优的连线方程f(xn)＝kMxn+b记为f(xn)＝Kxn+B，其中K，B为直线方程的斜率与常量常数，选取连线方程常数在如下范围内的点对作为参与配准的点对：
K-3σk≤Ki≤K+3σk
B-3σb≤Bi≤B+3σb
2.5，获取参与配准的点对集，建立透视变换矩阵生成配准方案，生成配准后的可见光与红外源图像；
步骤3:设计一种双判别器生成式对抗网络FT-GAN，实施双源图像像素级融合，增强融合图像目标细节与抗晕光能力，具体步骤如下：
3.1，采用K-Means算法聚类轨迹提取区域内目标的尺寸信息，获取带分割的图像块尺寸；
3.2，采用E-Net对源图像进行语义分割，设计目标面积占比阈值以判断某一图像块属于目标或是背景：
N＝max{lmean,wmean}+α#(2-11)
Figure BDA0003815261210000081
其中lmean,wmean为K-means算法求得的中心目标外接框长与宽，均为整数，α为使N满足网络结构要求的常整数；patchn为编号为n的图像块，tar与bgd分别代表该图像被分类为目标与背景，Tarth为目标面积占比阈值，若超过该阈值，则图像块为目标，反之为背景，
Figure BDA0003815261210000082
分别为可见光与红外图像块中目标所占面积；
3.3，将目标图像块与背景图像块分别代入目标网络组与背景网络组进行权重训练与图像融合，其中目标网络组具体结构如下：
3.3.1，目标网络生成器网络结构如图2所示，采用U型网络(U-Net)进行伪融合图像生成，设计7层网络，使用步长为2的卷积层降低特征图分辨率，并设卷积核为4*4，Padding为1，保证特征图及输入输出图像尺寸一致，并设计激活函数为Leaky-Relu，一定程度上缓解训练后期部分神经元处于静默状态的问题；
3.3.2，目标网络判别器结构如图3所示，采用PatchGAN结构设计判别器网络，使用三层步长为2的卷积层进行下采样，获取降维后的特征图，并进行尺寸为2的零值填充(Padding)，；接下来使用步长为1的卷积层精确提取特征，通过BatchNorm(BN)+LeakyReLU的处理归一化特征值；最后，再次填充特征图后，用卷积核数量为1的卷积层合并特征图维度，并通过tanh激活函数直接输出n*n的得分矩阵；
3.3.3，目标网络生成器损失函数计算方式如下：
Figure BDA0003815261210000083
其中LsSIM为由结构相似性指标SSIM计算得到的结构损失，LL1为由L1范数计算得到的边缘损失，δ1、δ2为衡量目标网络中结构损失与边缘损失重要性的权重参数；
LSSIM的计算方式如下：
Figure BDA0003815261210000084
其中，
Figure BDA0003815261210000085
为像素p点的SSIM损失，可以表示为：
Figure BDA0003815261210000086
其中
Figure BDA0003815261210000087
表示预期图像方差，
Figure BDA0003815261210000088
表示预期图像与伪融合图像协方差；
LL1计算方式如下：
Figure BDA0003815261210000089
Figure BDA0003815261210000091
其中权重参数w(Ik)与SSIM损失中的权重函数相同；
3.3.4，目标网络判别器损失函数计算方式如下：
Figure BDA0003815261210000092
Figure BDA0003815261210000093
其中p1、p2为反映源图像信息量的权重系数，p1代表可见光图像，p2代表红外图像，其由双边滤波权重函数计算得出；
3.4，背景网络组网络结构具体如下：
3.4.1，背景网络组生成器网络结构如图4所示，采用张量相加的网络结构生成融合图片，具体而言，对于输入的可见光与红外训练样本，该网络首先通过两层卷积层(Conv1、Conv21与Conv2、Conv22)分别提取样本的边缘、角点等低层特征与语义等高层特征，之后将提出的双源样本特征图F21与F22加权相加得到融合特征图F3，其中权重p1与p2通过双边滤波权重计算得到，最后通过三层卷积(Conv3、Conv4、Conv5)从F3中重构出融合图像；
3.4.2，背景网络组判别器网络结构与目标网络组相同；
3.4.3，背景网络组生成器损失函数计算方式如下：
Figure BDA0003815261210000094
Figure BDA0003815261210000095
表示生成器对抗损失，由对抗网络中判别器给出，Lcon为内容损失，λ为调节两种损失重要性的权重系数；
对抗损失本文对抗损失取判别器对伪融合图像判别结果的交叉熵，即：
Figure BDA0003815261210000096
其中，Dv(G(v,i))表示判别器Dv对伪融合图像G(v,i)的判真概率，Di(G(v,i))表示判别器Di对伪融合图像G(v,i)的判真概率；
内容损失定义如下：
Figure BDA0003815261210000097
Figure BDA0003815261210000098
3.4.4，背景网络组判别器损失函数与目标网络组相同；
3.5，还原图像块至源图像位置，输出具有抗晕光能力的融合图像；
步骤4:采用YOLOv5算法进行融合图像目标检测，设计一种形位判别多目标跟踪算法，从运动学与目标轮廓多角度实现检测框关联与轨迹生成，提升目标检测跟踪部分的运行速度，具体步骤如下：
4.2，初始化目标跟踪算法参数，设计短时扇形位移域估计目标移动范围，初筛候选跟踪框，具体步骤如下：
4.2.1，计算扇形位移域搜索半角θ：
Figure BDA0003815261210000099
其中θ0表示真实目标物理极限偏角，V0表示真实目标物理极限位移，
Figure BDA00038152612100000910
表示检测框与目标真实位置平均交并比，h0表示目标检测框高度；
4.2.2，计算扇形位移域搜索半径V：
Figure BDA0003815261210000101
其中，w0为目标检测框宽度，DT为最大位移系数，根据目标类型与物理学极限综合确定；
4.2.3，在搜索半径V，搜索半角θ的扇形区域内筛选候选跟踪框，保留区域内跟踪框的位置、尺寸信息；
4.3，设计形位判别加权打分系统，根据目标种类更新预测跟踪框位置，计算候选跟踪框运动学得分；根据跟踪框特征点余弦距离获取目标相似度，计算跟踪框形状得分，根据综合形位判别得分估计帧间关联结果，具体步骤如下：
4.3.1，计算预测跟踪框位置
Figure BDA0003815261210000102
Figure BDA0003815261210000103
其中a1到a4为拟合参数，Ssh为尺度变换系数，
Figure BDA0003815261210000104
为已有轨迹的检测框；
4.3.2，根据跟踪目标类型更新预测跟踪框位置，对于行人目标，更新后的预测跟踪框
Figure BDA0003815261210000105
为：
Figure BDA0003815261210000106
对于车辆与非机动车目标，更新后的预测跟踪框为：
Figure BDA0003815261210000107
4.3.3，采用GIOU计算运动学得分
Figure BDA0003815261210000108
Figure BDA0003815261210000109
其中C为A与B的最小外接框，与交并比IOU相比，GIOU可以度量没有重合部分的A与B间的距离，适用性更广；
4.3.4，采用FAST算子提取检测框内目标边缘，设计距离判据对角点进行合并，提取其中的轮廓关键点，若某一角点半径为3的离散圆内有其他角点，则将这些角点组成一角点簇PM，直到角点簇内无法添加其他角点为止，设连接这些角点需要的圆数量为K，则合并后簇内角点的总量N为：
Figure BDA00038152612100001010
簇内角点的合并规则为角点间总欧氏距离和最大，即：
Figure BDA00038152612100001011
其中PM′为合并后的点簇，PMq为角点数为N的其他点簇，||a,b||2为a与b的二范数，代表欧氏距离；
4.3.5，对于检测框合并后的点簇PM′i，需要对特征点乘以尺度变换系数Ssh获得预期特征点簇
Figure BDA00038152612100001012
以克服检测框与跟踪框间尺度不一致问题，具体而言对于重心为Q的点簇内一点PM′i,n：
Figure BDA00038152612100001013
4.3.6，通过余弦相似度计算形状得分
Figure BDA00038152612100001014
并通过特征点簇距对应重心的距离更新尺度变换系数Ssh；设检测框点簇PM′i与跟踪框点簇PM′j对应重心分别为Qi与Qj，则：
Figure BDA0003815261210000111
当某目标第一次关联时，没有上一次关联得到的Ssh参与计算，则设Ssh＝1，即默认尺度无变化；
步骤5:进行轨迹后处理操作，设计轨迹分类流程保留完整轨迹，删除幽灵轨迹，筛选破碎轨迹，并根据刺激-反应模型补全缺失轨迹数据，提升车辆轨迹合理性；将车辆轨迹由图像坐标转换至大地坐标，并采用EEMD算法进行轨迹去噪，提升轨迹整体精度；最后输出高精度车辆轨迹与交通参数数据，具体步骤如下：
5.1，根据有效帧间隔筛选可拼接的缺失轨迹：
0<f<fu
0<Δx<Vmax*F
Δy<wh
其中，(Δx,Δy)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数；满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹；
5.2，代入刺激-反应跟驰模型拟合沿车道线方向车辆轨迹：
Figure BDA0003815261210000112
其中xn(t)为车辆前进方向的坐标，n为待补全的轨迹点序号，t为时间，T为待补全轨迹的总时长，λ由目标车辆的驾驶员特性决定，并不随时间变化，可通过待匹配轨迹首尾时空运动信息与对应前车位置速度信息标定获得；
5.3，按照如下规则拼接目标垂直于车道线方向轨迹与跟踪框尺寸：
yf＝f3(xf)
Figure BDA0003815261210000113
Figure BDA0003815261210000114
其中f表示正在拼接的帧数(f<F)，(xf,yf)表示补全点的坐标；(xe,ye,le,we)表示前段轨迹的末点坐标位置及长宽，(xs,ys,ls,ws)表示后段轨迹的首点坐标位置及长宽；
5.4，根据透视模型实施投影变换，计算相当于对具体的坐标位置进行线性变换与平移变换的叠加，具体透视模型如下：
[x′,y′,w′]＝[u,v,w]×M
Figure BDA0003815261210000115
Figure BDA0003815261210000116
Figure BDA0003815261210000117
其中，u,v代表原始图片坐标，x,y为经过透视变换的图片坐标，w,w′代表比例参数，M为透视变换矩阵；
5.5，采用EEMD算法进行轨迹去噪，EEMD将轨迹作为信号的形式输入分解为多个不同强度的信号的合成，分解信号个数为轨迹长度的1/倍，这些分解信号被称作IMF，其被视作有效信号与噪声信号的叠加；
Xi(t)＝x(t)+wi(t)#(4-19)
其中，Xi(t)为轨迹信号，x(t)为有效信号，wi(t)为噪声信号；
设置能量阈值，对每个分解信号进行筛选；每个分解信号的能量表示为：
Figure BDA0003815261210000121
其中num表示该信号总共包含的散点数，cj(k)表示分解信号的点集；
如果该分解信号能量满足
log2Ej>0#(4-21)
则认为该信号为有效信号；有效信号叠加成为x(t)；
输出去噪后的高精度车辆轨迹，作为多源数据目标轨迹提取框架的轨迹输出结果；
本文实例提取出的时空轨迹图如图6所示。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种基于像素级图像融合的多目标车辆轨迹提取方法，包括如下步骤：
S1、获取异源图像序列数据与道路环境信息；
S2、图像预处理；
S3、双源图像融合；
S4、双源图像融合；
S5、轨迹后处理。
2.根据权利要求1所述的基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S1中，图像源为可见光与红外图像，在同一时间同一地点采集的相同场景图像数据。
3.根据权利要求1所述的基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S2的改进FAST邻域像素特征点匹配策略具体步骤如下：
S201、使用Shi-Tomasi算子寻找背景区域中的特征角点；
S202、对于背景区域中的特征角点pi，首先使用下式判断pi是否处于密集角点簇中：
Figure FDA0003815261200000011
minj||pi，pj||2≤DiSth (I)
其中||pi,pj||2为特征点pi与pj的欧式距离，Disth为判断角点密集程度的距离阈值，Dth为比例阈值；
若pi不处于密集角点簇中，则将其直接计入候选特征点集Cd，若pi处于密集角点簇中，设角点簇中角点数量为N0，计算应保留的角点数量N：
Figure FDA0003815261200000012
即密集角点簇中最少保留1个角点，最多保留N-1个角点；
确定角点数量N后，遍历角点簇中所有数量为N的角点组合，选取间距最大的组合作为需要保留的角点，并计入候选特征点集Cd，完成特征点粗筛选；
S203、寻找候选特征点集Cd中每个特征点的FAST4邻域描述子，并根据曼哈顿距离相等条件将描述子扩展至8邻域；
S204、计算8邻域描述子相似度特征：
Figure FDA0003815261200000013
其中Dpq为两描述子归一化距离，Ppq为描述子归一化像素差：
Figure FDA0003815261200000014
Figure FDA0003815261200000015
其中x,y为描述子图像坐标，L,W为图像长宽，Prange为图像像素值区间；
S205、选取Ssm最高的前K个特征点作为精筛选后的匹配特征点参与透视变换生成。
4.根据权利要求1所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S3的双源图像像素级融合具体步骤如下：
S301、采用K-Means算法聚类轨迹提取区域内目标的尺寸信息，获取带分割的图像块尺寸；
S302、采用E-Net对源图像进行语义分割，设计目标面积占比阈值以判断某一图像块属于目标或是背景：
N＝max{lmean，wmean}+α
Figure FDA0003815261200000016
其中lmean,wmean为K-means算法求得的中心目标外接框长与宽，均为整数，α为使N满足网络结构要求的常整数；patchn为编号为n的图像块，tar与bgd分别代表该图像被分类为目标与背景，Tarth为目标面积占比阈值，若超过该阈值，则图像块为目标，反之为背景，
Figure FDA0003815261200000021
分别为可见光与红外图像块中目标所占面积；
S303、将目标图像块与背景图像块分别代入目标网络组与背景网络组进行权重训练与图像融合；
S304、设置背景网络组网络结构；
S305、还原图像块至源图像位置，输出具有抗晕光能力的融合图像。
5.根据权利要求4所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S303中目标网络组具体结构如下：
S3031、采用U型网络进行伪融合图像生成，设计7层网络，使用步长为2的卷积层降低特征图分辨率，并设卷积核为4*4，Padding为1，保证特征图及输入输出图像尺寸一致，并设计激活函数为Leaky-Relu；
S3032、目标网络采用PatchGAN结构设计判别器网络，使用三层步长为2的卷积层进行下采样，获取降维后的特征图，并进行尺寸为2的零值填充；接下来使用步长为1的卷积层精确提取特征，通过BatchNorm+LeakyReLU的处理归一化特征值；最后，再次填充特征图后，用卷积核数量为1的卷积层合并特征图维度，并通过tanh激活函数直接输出n*n的得分矩阵；
S3033、目标网络生成器损失函数计算方式如下：
Figure FDA0003815261200000022
其中LSSIM为由结构相似性指标SSIM计算得到的结构损失，LL1为由L1范数计算得到的边缘损失，δ1、δ2为衡量目标网络中结构损失与边缘损失重要性的权重参数；
LSSIM的计算方式如下：
Figure FDA0003815261200000023
其中，
Figure FDA0003815261200000024
为像素p点的SSIM损失，可以表示为：
Figure FDA0003815261200000025
其中
Figure FDA0003815261200000026
表示预期图像方差，
Figure FDA0003815261200000027
表示预期图像与伪融合图像协方差；
LL1计算方式如下：
Figure FDA0003815261200000028
Figure FDA0003815261200000029
其中权重参数w(Ik)与SSIM损失中的权重函数相同；
S3034、目标网络判别器损失函数计算方式如下：
Figure FDA00038152612000000210
Figure FDA00038152612000000211
其中p1、p2为反映源图像信息量的权重系数，p1代表可见光图像，p2代表红外图像，其由双边滤波权重函数计算得出。
6.根据权利要4所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S304背景网络组网络结构具体如下：
S3041、背景网络组生成器网络采用张量相加的网络结构生成融合图片；
S3042、背景网络组判别器网络结构与目标网络组相同；
S3043、背景网络组生成器损失函数计算方式如下：
Figure FDA0003815261200000031
Figure FDA0003815261200000032
表示生成器对抗损失，由对抗网络中判别器给出，Lcon为内容损失，λ为调节两种损失重要性的权重系数；
对抗损失本文对抗损失取判别器对伪融合图像判别结果的交叉熵，即：
Figure FDA0003815261200000033
其中，Dv(G(v,i))表示判别器Dv对伪融合图像G(v,i)的判真概率，Di(G(v,i))表示判别器Di对伪融合图像G(v,i)的判真概率；
内容损失定义如下：
Figure FDA0003815261200000034
Figure FDA0003815261200000035
S3044、背景网络组判别器损失函数与目标网络组相同。
7.根据权利要求1所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S4的形位判别多目标跟踪算法具体步骤如下：
S401、对图像序列进行背景补偿，固定图像序列像素空间信息，实施坐标转换，将目标检测框数据由图像坐标系转换为俯视Frenet坐标系；
S402、初始化目标跟踪算法参数，设计短时扇形位移域估计目标移动范围，初筛候选跟踪框；
S403、设计形位判别加权打分系统，根据目标种类更新预测跟踪框位置，计算候选跟踪框运动学得分；根据跟踪框特征点余弦距离获取目标相似度，计算跟踪框形状得分，根据综合形位判别得分估计帧间关联结果；
S404、设计交通场景多目标轨迹校验方法，提取场景内完整轨迹，剔除无效轨迹，收集断续轨迹并根据双端时空信息带入跟驰模型，补全缺失轨迹，结合交通参数与轨迹时变特征搜索错误跟踪轨迹，并纠正跟踪结果。
8.根据权利要求7所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S402是具体步骤如下：
计算扇形位移域搜索半角θ：
Figure FDA0003815261200000036
其中θ0表示真实目标物理极限偏角，V0表示真实目标物理极限位移，
Figure FDA0003815261200000037
表示检测框与目标真实位置平均交并比，h0表示目标检测框高度；
计算扇形位移域搜索半径V：
Figure FDA0003815261200000038
其中，w0为目标检测框宽度，DT为最大位移系数，根据目标类型与物理学极限综合确定；
在搜索半径V，搜索半角θ的扇形区域内筛选候选跟踪框，保留区域内跟踪框的位置、尺寸信息。
9.根据权利要求7所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，所述S403具体步骤如下：
计算预测跟踪框位置
Figure FDA0003815261200000041
Figure FDA0003815261200000042
其中a1到a4为拟合参数，Ssh为尺度变换系数，
Figure FDA0003815261200000043
为已有轨迹的检测框；
根据跟踪目标类型更新预测跟踪框位置，对于行人目标，更新后的预测跟踪框
Figure FDA0003815261200000044
为：
Figure FDA0003815261200000045
对于车辆与非机动车目标，更新后的预测跟踪框为：
Figure FDA0003815261200000046
采用GIOU计算运动学得分
Figure FDA0003815261200000047
Figure FDA0003815261200000048
其中C为A与B的最小外接框，与交并比IOU相比，GIOU可以度量没有重合部分的A与B间的距离；
采用FAST算子提取检测框内目标边缘，设计距离判据对角点进行合并，提取其中的轮廓关键点，若某一角点半径为3的离散圆内有其他角点，则将这些角点组成一角点簇PM，直到角点簇内无法添加其他角点为止，设连接这些角点需要的圆数量为K，则合并后簇内角点的总量N为：
Figure FDA0003815261200000049
簇内角点的合并规则为角点间总欧氏距离和最大，即：
Figure FDA00038152612000000410
其中PM′为合并后的点簇，PMq为角点数为N的其他点簇，||a,b||2为a与b的二范数，代表欧氏距离；
对于检测框合并后的点簇PM′i，需要对特征点乘以尺度变换系数Ssh获得预期特征点簇
Figure FDA00038152612000000411
具体而言对于重心为Q的点簇内一点PM′i,n：
Figure FDA00038152612000000412
通过余弦相似度计算形状得分
Figure FDA00038152612000000413
并通过特征点簇距对应重心的距离更新尺度变换系数Ssh；设检测框点簇PM′i与跟踪框点簇PM′j对应重心分别为Qi与Qj，则：
Figure FDA00038152612000000414
当某目标第一次关联时，没有上一次关联得到的Ssh参与计算，则设Ssh＝1，即默认尺度无变化。
10.根据权利要求7所述的一种基于像素级图像融合的多目标车辆轨迹提取方法，其特征在于，S404具体步骤如下：
根据有效帧间隔筛选可拼接的缺失轨迹：
0<f<fu
0<Δx<Vmax*F
Δy<wh
(24)
其中，(Δx,Δy)所选择的两破碎轨迹的破碎处两点间距，F表示破碎缺失的帧数；满足该要求的两段破碎轨迹作为拼接的备选破碎轨迹；
代入刺激-反应跟驰模型拟合沿车道线方向车辆轨迹：
Figure FDA0003815261200000051
其中xn(t)为车辆前进方向的坐标，n为待补全的轨迹点序号，t为时间，T为待补全轨迹的总时长，λ由目标车辆的驾驶员特性决定，并不随时间变化，可通过待匹配轨迹首尾时间和空间的运动信息，与对应前车位置速度信息标定获得；
按照如下规则拼接目标垂直于车道线方向轨迹与跟踪框尺寸：
yf＝f3(xf)
Figure FDA0003815261200000052
Figure FDA0003815261200000053
其中f表示正在拼接的帧数(f<F)，(xf,yf)表示补全点的坐标；(xe,ye,le,we)表示前段轨迹的末点坐标位置及长宽，(xs,ys,ls,ws)表示后段轨迹的首点坐标位置及长宽。
CN202211024886.4A 2022-08-25 2022-08-25 基于像素级图像融合的多目标车辆轨迹提取方法 Pending CN115457080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024886.4A CN115457080A (zh) 2022-08-25 2022-08-25 基于像素级图像融合的多目标车辆轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024886.4A CN115457080A (zh) 2022-08-25 2022-08-25 基于像素级图像融合的多目标车辆轨迹提取方法

Publications (1)

Publication Number Publication Date
CN115457080A true CN115457080A (zh) 2022-12-09

Family

ID=84299590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024886.4A Pending CN115457080A (zh) 2022-08-25 2022-08-25 基于像素级图像融合的多目标车辆轨迹提取方法

Country Status (1)

Country Link
CN (1) CN115457080A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015585A (zh) * 2024-04-08 2024-05-10 奥特酷智能科技(南京)有限公司 用于智轨列车的横向定位系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015585A (zh) * 2024-04-08 2024-05-10 奥特酷智能科技(南京)有限公司 用于智轨列车的横向定位系统

Similar Documents

Publication Publication Date Title
CN111460926B (zh) 一种融合多目标跟踪线索的视频行人检测方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
Zhu et al. VISATRAM: A real-time vision system for automatic traffic monitoring
CN110244322A (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN112362072A (zh) 一种复杂城区环境中的高精度点云地图创建系统及方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN114332221A (zh) 基于语义的回环检测方法、装置、电子设备及存储介质
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN115457080A (zh) 基于像素级图像融合的多目标车辆轨迹提取方法
CN117593707B (zh) 一种车辆识别方法及设备
Srinivasa et al. A fusion system for real-time forward collision warning in automobiles
Chang et al. Using spatiotemporal stacks for precise vehicle tracking from roadside 3D LiDAR data
CN116778449A (zh) 一种用于提高自动驾驶三维目标检测效率的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination