CN114463390A - 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 - Google Patents

耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 Download PDF

Info

Publication number
CN114463390A
CN114463390A CN202210027047.1A CN202210027047A CN114463390A CN 114463390 A CN114463390 A CN 114463390A CN 202210027047 A CN202210027047 A CN 202210027047A CN 114463390 A CN114463390 A CN 114463390A
Authority
CN
China
Prior art keywords
vehicle
target
fleet
time
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210027047.1A
Other languages
English (en)
Inventor
李志斌
冯汝怡
郑思
邱开来
杨逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210027047.1A priority Critical patent/CN114463390A/zh
Publication of CN114463390A publication Critical patent/CN114463390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明公开了耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，包括：训练目标检测神经网络和图像标准化对抗网络，分别用于提取目标位置和图像标准化；上述网络多重孪生用于多线程多监控视频同步处理；提取车辆轨迹，获取车辆队列跟驰运动特征与各车辆形态特征；划分车辆跟驰状态，构建动态车队特征提取模型；融合车辆运动、交通状态传播及摄像机空间分布，建立车辆时空预测迭代式；融合动态车队模型与队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；并对动态车队内个体依次追踪编号，完成车辆跨相机追踪。对抗网络排除了背景与视角干扰，跟驰特性与动态车队模型为重识别增加稳定时空约束，极大提升了重识别效果。

Description

耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
技术领域
本发明涉及耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，属于交通流和智能交通技术领域。
背景技术
车辆轨迹蕴含着丰富的驾驶时空信息，是获取精细化宏观及微观全时空交通流信息的重要渠道。典型车辆轨迹时空图中可提取如瞬态速度、加速度、车头间距、车头时距等微观交通流参数，亦可提取如集计流量、密度、速度等宏观交通流参数。车辆轨迹时空图中可直观辨识典型交通流现象，如拥堵生成、运动波传播、交通崩溃等。传统的线圈收集、雷达探测等方法均为单点收集，无法获取连续轨迹。监控视频拍摄画面具有清晰度高、连续性好、覆盖范围广等优势，从监控视频中提取车辆轨迹逐渐成为当前的热点问题。
单一监控摄像机局限于捕获范围狭小，而交通信息及其典型特征分布的时空域远远超越单点摄像机的覆盖范围，如运动波。连接多个摄像机的车辆轨迹能够扩大交通信息的时空范围，而基于交通流特征的异常事件分析同样要求实现宏观与微观道路交通流的全时空信息采集。
新兴的机器视觉技术为从视频中提取车辆轨迹提供了便捷且精确的渠道。深度卷积神经网络综合多尺度特征进行自学习，比起基于单一先验特征的识别，极大的提升了精度和速度。并且，机器视觉技术为不同视频之间的同一目标联合识别提供了技术手段，但仅采用车辆形态学特征实现车辆追踪与重识别受限于画面光照、视角条件等诸多问题。从丰富的环境条件下识别和判定跨摄像机且多样视角车辆是一项新颖具有挑战性的工作。
发明内容
本发明所要解决的技术问题是：提供耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，通过车辆特征强化获取形态特征，以动态车队构建与轨迹跟驰特性动态预测车辆时间，融合车辆形态特征与跟驰特性实现动态车队群体匹配，最后对车辆群体实现个体对应办法，从而形成跨摄像机的车辆追踪。
本发明为解决上述技术问题采用以下技术方案：
耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，包括如下步骤：
S10，搭建获取目标特征信息的基本网络，并制作数据集，训练基本网络；所述基本网络包括用于目标检测的神经网络以及用于图像标准化的对抗网络；所述数据集包含目标检测数据集和图像标准化数据集；所述目标检测包括获取车辆位置及车辆大小；所述图像标准化包括姿态变换与背景去除；
S20，多重孪生上述基本网络，用于多线程多监控视频同步处理；
S30，在多重孪生的基本网络中构建轨迹实时提取模型，利用车辆运行的时间位置关系追踪不同帧之间相同目标并赋予目标序号，截取视频中轨迹图像，以轨迹为目标单位，通过对抗网络提取车辆形态特征并强化车辆形态特征；
S40，根据车辆轨迹实时解析车辆运动，划分车辆跟驰状态，提取跟驰行为时序特征，将目标车辆分为跟驰状态车与自由状态车，构建动态车队模型，记录目标车所属车队跟驰特征与车辆形态分布特征；
S50，建立融合动态车队运动特征、整体交通流状态以及多监控分布的时空位置预测旅行时间的迭代式，预测车队跨相机出现时空位置；
S60，融合动态车队跟驰特性、所预测的车队跨相机出现时空位置与所获取队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；
S70，基于群体跨相机匹配结果，对动态车队内个体对应目标形态特征分布依次追踪编号，完成车辆跨相机追踪。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明提出耦合车辆跟驰特性强化的多重孪生对抗网络跨摄像机车辆识别办法，采用神经网络对监控摄像机内车辆进行目标检测，经过孪生对抗网络对所检测车辆目标排除环境干扰强化主要特征，将上述网络多重孪生，用于多线程多监控视频同步处理；网络通过提取车辆轨迹，用于获取车辆队列跟驰运动特征与各车辆形态特征；根据所获取运动特征，划分车辆跟驰状态，构建动态车队特征提取模型；融合车辆运动、交通状态传播及摄像机空间分布，建立车辆时空预测迭代式；融合动态车队特征模型与所获取队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；基于群体匹配结果，对动态车队内个体对应目标形态特征分布依次追踪编号，完成车辆跨相机追踪。相较于之前的跨摄像机相同目标判定，本发明融合了车辆轨迹中跟驰特性，结合动态车队的方法为重识别增加稳定时空约束，极大提升重识别效果，对车辆跨摄像机目标追踪具有重要意义。
附图说明
图1是本发明耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法的流程示意图；
图2是动态车队群体匹配过程示意图；
图3是神经网络车辆相似度判定结果示意图；
图4是GFLA算法车辆特征强化结果示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，为本发明提出的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法的流程示意图，包括以下步骤：
S10：搭建获取目标特征信息的基本网络，制作数据集，训练基本网络；基本网络包含用于目标检测的神经网络与图像标准化的对抗网络；所述数据集包含目标检测数据集和图像标准化数据集；所述目标检测为获取车辆位置及车辆大小；所述图像标准化包含姿态变换与背景去除；
S20：多重孪生上述基本网络，用于多线程多监控视频同步处理；
S30：在多重孪生网络中构建轨迹实时提取模型，利用车辆运行的时间位置关系快速追踪不同帧之间相同目标并赋予目标序号，截取视频中轨迹图像，以轨迹为目标单位，通过对抗网络模型提取车辆形态特征并强化车辆形态特征；
S40：根据车辆轨迹实时解析的车辆运动，划分车辆跟驰状态，提取跟驰行为时序特征，将目标车辆分为跟驰状态车与自由状态车，构建动态车队模型，记录目标车所属车队跟驰特征与车辆形态分布特征；
S50：建立融合动态车队运动特征、整体交通流状态以及多监控分布的时空位置预测旅行时间的迭代式，预测车队跨相机出现时空位置；
S60：融合动态车队跟驰特性、所预测跨相机时空位置与所获取队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；
S70：基于群体匹配结果，对动态车队内个体对应目标形态特征分布依次追踪编号，完成车辆跨相机追踪。
S10的获取目标特征信息的基本网络，具体包括：
S11：包含用于目标检测的神经网络；目标检测神经网络采用pytorch框架下的YOLOv5算法进行训练和检测；训练过程中，训练集中图像被缩放统一大小后分批送入YOLOv5算法中进行逻辑回归预测。YOLOv5模型的训练效果由损失值来评估，进行一次迭代后的训练效果损失(loss)表示如下：
loss＝lossxy+losslw+lossconfidence+lossclass
其中，lossxy表示检测框中心点误差，losslw为检测框长宽的误差，lossconfidence表征检测框置信度误差，lossclass表示检测框分类的误差；当loss值收敛至不再变化时，YOLOv5模型可以投入使用；
S12：包含用于图像标准化的对抗网络；对抗网络采用GFLA算法，以公开的车辆数据集VeRi-776作为基础，人工构建针对对抗网络特征强化过程的训练目标对；所述的一对训练目标对包含两张图像，两张图像为同一车辆目标，第一张图像为该目标任意视角图片，第二张图像为该目标特定视角并进行背景模糊后的图片；对同一目标进行多组训练目标对的制作，分别组合多个视角与特定视角；选取训练集中数个车辆目标均进行上述组合处理，形成数个车辆目标的多组视角对应于特定视角的训练目标对。此训练目标对将作为特征强化孪生对抗网络的训练数据集；
S13：目标检测算法应用于视频中获取目标位置x，y、目标像素大小l，w、目标置信度conf，并裁剪目标图像，图像标准化对抗网络用于所裁剪的目标图像，进行图像视角变换与背景删除。
S20多重孪生上述基本网络，读入不同监控相机拍摄的多组视频流，获取当前时刻视频帧，为不同视频流创建对应图像库，为各视频分配单独线程与对应网络，并行实现基本网络的目标检测、姿态变换与背景去除。
S30于多重孪生网络中构建轨迹实时提取模型，具体包括：
S31：保留视频中前一帧车辆目标位置，集合记为P0，获取当前帧中所有车辆目标位置，记为集合P1，目标位置由所述训练完成的YOLOv5算法检测结果得到，所述集合P1中待判定重复的当前车辆目标位置p(x，y，l，w)；
S32：对集合P1与集合P0中的矩形元素总体求交并比，交并比IoU计算表示如下：
IoU＝Ainter/Aunion
其中，Ainter表示两集合中矩形相交部分的面积，Aunion表示两集合中矩形并集总面积。
S33：对集合P1中IoU为0的目标，将认为其为该帧中新增目标单独赋予新增车辆序号，其余目标执行S34。
S34：将所有求得IoU不为0的目标与集合P0中的元素送入匈牙利算法，进行多目标追踪，匈牙利算法中采用马氏距离作为目标之间的距离差，马氏距离计算方式如下：
Figure BDA0003464450280000051
其中，DM为向量
Figure BDA0003464450280000052
对于其分布平均值
Figure BDA0003464450280000053
的马氏距离，C为向量
Figure BDA0003464450280000054
该分布的协方差矩阵。计算过程中，
Figure BDA0003464450280000055
为车辆移动像素向量
Figure BDA0003464450280000056
S35：对IoU不为0的目标，追踪成功后集合P1中的目标赋予与之对应的车辆序号，未成功匹配目标将被赋予新增车辆序号。
S36：截取成功追踪目标图像，采用GFLA对抗网络强化形态特征；根据S10训练的特征强化权重，调用网络中的局部注意力机制，对图片像素遍历进行主要特征识别。
S37：对特征判定是否为背景，是则对采样区域模糊处理，采用高斯模糊，计算如下：
Figure BDA0003464450280000057
其中，G(r)为高斯模糊函数，对像素值进行模糊计算，输出值G(r)为模糊后的像素值。r为模糊半径，此处取采样区域大小的一半，σ为采样区域标准差。
若判断采样区域不是背景，则保留原像素形态，输出图像。
S38：加入时间序列融合同一目标各帧图像特征向量，通过采用3×3和2×2的小卷积核将S37输出图像变为对应一维特征向量；带有相同目标标签的多个特征向量将按如下公式依次合并：
Figure BDA0003464450280000061
Figure BDA0003464450280000062
其中：F为合并之后的特征向量，Fi为各个待合并特征向量，confi为第i个待合并特征向量对应的置信度，其在YOLOv5模型对此目标检测同时输出，此合并特征向量对应的合并置信度为CONF。
S39：根据特征向量F调用GFLA生成器，生成S10中训练的标准姿态图像，完成特征强化。
S40根据车辆轨迹实时解析车辆运动，具体包括：
S41：识别当前道路跟驰状况，根据道路流率、车辆平均速度判断当前道路车辆是否以跟驰状态行驶，若非跟驰行驶的车辆，则直接采用该车辆速度直接预测车辆出现时空位置，若为跟驰状态，则继续进行S42。
S42：以跟驰状态行驶的同一车道的车辆，将被按照跟驰车与被跟驰车一一对应，一组跟驰车与被跟驰车包含行走在前方的车辆与其后紧随的车辆。
S43：为每一监控视频创建对应动态车队，动态车队长度包含研究总区段所有车辆，车辆从当前摄像机下驶出时被计入；计入动态车辆队列中特征包括：车辆跟驰相对次序i，S38中计算得出的车辆形态强化特征向量F，车头间距序列SpaceHeadway(t)，车头时距序列TimeHeadway(t)，跟驰速度差序列Δv(t)。车头间距、车头时距、跟驰速度差计算如下：
Figure BDA0003464450280000063
TimeHeadway(t)＝(xi-1(t)-xi(t))*fps
Δv(t)＝vi-1(t)-vi(t)
其中t表示时间序列，fps代表当前视频的帧率，xi为车辆i的位置，vi为车辆i的速度。
在动态车辆跟驰队列中，跟驰车辆同时也是被跟驰车辆。所以每一经过当前区段的车辆都可以计算得出上述参数。
S50具体包括：
S51：计算各监控视频中车辆平均速度，参考监控所在道路里程点，拟合整段研究路段中平均速度分布曲线
Figure BDA0003464450280000071
S52：以车辆平均速度曲线取倒数，得到单位路段内车辆通行所用时间与整段道路里程分布的关系曲线Tdu-X，记为
Figure BDA0003464450280000072
S53：由于驾驶员反应时间，交通波将随时间向上游转递，下游状态将跟随交通波向上游转移。预测此转移，即计算Tdu-X随时间序列t的平移变化速度Vwave(t)。
AX＝t×Vwave(t)
其中ΔX为交通状态动态平移里程，t为经历时间。所以有：
Figure BDA0003464450280000073
S54：形成计算动态车队中典型目标车在研究路段经历时间的迭代式：
X(t)k+1＝X(t)k+vi(t)×Δt
Figure BDA0003464450280000074
vi(t)是车辆i在t时刻的速度值，本模型中由
Figure BDA0003464450280000075
计算。
迭代两式至X到达需要预测的空间位置或t到达需要预测的时间，则停止迭代，计算典型车辆i总旅行时长ATdu，i：
Figure BDA0003464450280000076
其中，k为当前迭代次数；N为总迭代次数，取覆盖匹配间隙区域长度的次数为N，Δt为迭代步长时间间隔，ATdu，i表示第i辆车在研究路段经历的行驶时间总和。
S55：根据车队跟驰次序i等距选取车队中典型车辆，记间隔数为K，计算迭代结果ATdu，i预估此K辆车通过匹配间隙里程的行驶时间。
S60实现多监控下车队群体跨相机匹配具体包括：
S61：选取车队中典型车辆作为运行时空特征代表，此车辆出现时间为DTdu，选择其前后各K个目标组成车队群体，共2K+1目标；
S62：以典型车辆预测得时空信息DTdu+ATdu为中心，在下游待重识别目标的监控相机对应的动态队列中，选择距离时间中心最近的2K+1辆车，这2K+1辆车形成以DTdu+ATdu为中心的待匹配车辆群；
S63：从S61与S62选取的时空信息对应的两车辆群中，按次序选择相邻M个目标，在两组目标中按S64检验车辆队列相似度，所选取目标数M从2K+1递减至K+1，两组目标选择包含首位两端，所重叠部分随M递减；
S64：具体的，车辆队列重识别通过孪生卷积神经网络实现。重识别孪生神经网络输入特征为车辆群对应的形态强化特征向量F、车头间距序列、车头时距序列、跟驰速度差序列，输出结果为两车辆队列的匹配结果，表示完全匹配程度，值区间为[0，1]。
S60实现多监控下车队群体跨相机匹配，是在实现车辆群体匹配后，选取车辆群体匹配程度值最高的匹配群体，作为真实对应的群体输出，按其次序依次对应该批次内其余车辆目标，完成动态车队内此K个车辆目标群。
实施例：
本实施例的耦合车辆跟驰特性强化的多重孪生对抗网络跨摄像机车辆识别办法，要求监控摄像机系统有一定要求，监控摄像机应满足分辨率不低于720×480，监控视角固定，监控焦距固定，监控应工作在道路环境明亮的环境下保证所拍摄车辆形态的清晰，监控摄像机连接的电脑应具有多线程程序运行条件以保证算法程序对车辆目标特征提取能够进行，本实施例选用两相邻道路监控摄像机同时拍摄的两段视频。
实验使用的目标视频具体信息如表1：
表1
视频信息 上游视频 下游视频
分辨率 1080×720 1080×720
帧率 24fps 24fps
时长 3min 3min
路段长度 30m 60m
拍摄视角 右后方 右后方
经过目标数 152 156
本实施例具体包括以下3个步骤：
步骤1：针对车辆重识别的孪生对抗网络训练，具体分为以下三个步骤：
基于深度学习的目标检测权重生成：
制作针对监控视角下的车辆目标位置识别深度学习训练集，采用了基于CNN的YOLOv5算法。训练集需要标注图片及目标位置坐标，原本YOLOv5自带的模型权重为基于coco数据集训练的包含20类目标的检测权重。在本发明中，为了更好地捕捉车辆特征，使得模型适应各类光照条件背景，混合了coco数据集与KITTI数据集的车辆目标，形成增强数据集。
为了使得增强数据集具有更好的鲁棒性，随机抽取30％的数据集内容，对图片与对应标签进行更改，更改方式含：图像旋转、光线增强、光线变暗、色彩调整。
图像旋转的实现方式为：训练图像与标签矩形位置将被绕图像中心旋转随即角度，该角度通过随机数生成，边角部分使用黑色填充图片。旋转后，将以新标签矩形的四个顶点为基础，求得经过此四点形成的新矩形，以此保证外接矩形的边框与图像边缘平行。为保证目标外接矩形的准确吻合，且考虑到实际中画面倾斜不会太大，此处旋转角度不超过45°。
光线增强或变暗的实现方式为：读取训练图像，调用python中skimage模块包进行图像亮度调整，调整方式选择以gamma值为标准的亮度调整。调用命令为：skimage.exposure.adjust_gamma(image,gamma＝1)，其中image为待调整图像，gamma值为决定亮度的参数。当gamma值大于1时，图像亮度提高，而反之图像亮度则减少。为保留图像中目标特征、防止高光溢出或暗部缺失，手动将gamma值限定在[0.7，1.3]区间内。
色彩调整的实现方式为：读取图像色彩的RGB通道，并对整张图像像素点的RGB叠加单色滤镜，即对某一通道的所有数值增加、减少一个等尺寸的固定矩阵。
表2是对数据集混合及处理的比例表：
表2
Figure BDA0003464450280000091
Figure BDA0003464450280000101
在训练过程中，采用两段式训练，第一段训练总共经历500个循环，采用更大的学习率，使得训练模型收敛更快；第二段训练总共经历300个循环并采用更小的学习率，使得模型在最后收敛过程能够更精确的达到最优状态。
表3是所采用的YOLOv5训练参数表：
表3
训练参数 目标检测训练集
训练样本数 13000
YOLOv5步长 128
YOLOv5分割 32
YOLOv5缩放宽度 672
YOLOv5缩放高度 672
训练循环次数 500/300
学习率 0.001/0.0001
训练过程中，模型训练效果由平均交并集比IoU表示，一次后，预测结果与实际标签重合的IoU表示预测的好坏，其中重合面积表示预测框与真值框重合部分，合并面积表示预测框和真值框全部占有的部分，可见IoU可以表示模型检测待定目标的好坏程度。进行一次迭代后的训练效果以损失(loss)表示：
loss＝losspos+losssize+lossconfidence+lossclass
其中losspos表示检测框中心点误差，losssize为检测框长宽的误差，lossconfidence表征检测框置信度误差，lossclass表示检测框分类的误差，本发明的框架中只有一种分类，因此class几乎为0，loss0表示上一次迭代的loss值，而最终图片的检测效果是所有迭代后loss值的叠加。
本例中loss值基础训练集收敛至2以下，强化训练集收敛至0.8，视作其效果良好，并将其投入使用。
基于对抗网络的车辆特征强化权重生成：
制作对抗网络下的车辆特征强化训练权重，选择GFLA算法。训练过程需要对应多种车辆视角与特定车辆视角且去除背景的训练集对，选择公开的车辆数据集VeRi-776，选择目标右后方视角作为固定视角，所有视角的车辆图像均向此统一，将训练集中车辆图片均组合成任意视角与右后方视角下的图片对，人工将固定视角的车辆图片背景进行模糊处理，作为训练集生成基础权重。训练过程的参数以GFLA算法默认的参数配置。
基于孪生神经网络的相似度判别权重生成：
制作孪生神经网络的相似度判别权重，使用VGG16框架搭建孪生神经网络。训练过程融合北京大学公开的车辆重识别数据集与北京邮电大学公开数据集VeRi-776，选取相同视角的相同车辆图像作为一组训练组，综合整理得到的数据集总目标数2500组，图像约13万张。训练图像标准尺寸以目标尺寸来确定，通常车辆检测目标的尺寸边长在100像素左右，选择100*100作为目标输入的图像尺寸，以保留更接近的特征。以此作为孪生神经网络训练集，生成基础权重。
以VGG16为基础的网络训练参数如表4所示：
表4
训练参数 相似度判定训练集
训练样本数 2500组
训练步长 16
训练循环次数 30/80
学习率 0.01/0.001
图像边长 100
训练进程通过损失函数(loss)表示。由于相似度判定结果为二值结果，即仅存在0或1两种情况，故采用适用于二值结果的交叉熵损失函数(BCELoss)BCELoss计算过程表示如下：
Figure BDA0003464450280000111
当BCELoss降低收敛至0.1以下时该模型可以投入使用。
步骤2：车辆目标识别、形态特征与运动特征提取，其主要思想是通过目标检测算法截取车辆目标，实时提取车辆轨迹，根据轨迹的图像位置截取车辆形态特征进行强化，根据轨迹的时空信息判定车辆跟驰状态并提取车辆运行的跟驰特征。车辆特征强化主要将其转换成为特定视角下的图像，分别提取各帧特征向量并对同一车辆的多个向量完成合并，根据车辆轨迹的时空信息判定车辆跟驰状态并提取时空特征主要是判断车辆是否处于跟驰状态，并提取其跟驰过程参数向量。具体分为以下三个步骤：
监控视频中车辆目标位置检测：
利用步骤1生成的YOLOv5算法的目标检测权重，对监控画面中的车辆目标位置进行检测。检测过程需要判断该目标是否为此画面内原有目标。检测过程中保留前一帧检测道德画面内车辆目标位置，集合记为P0，将此帧中的目标检测位置与前一帧中车辆目标遍历求交并比，交并比IoU计算表示如下：
IoU＝Ainter/Aunion
其中，Ainter表示两矩形相交部分的面积，Aunion表示两矩形并集总面积。
当交并比大于阈值THIoU时认为p与P中当前相交元素的两目标为重复车辆的检测结果，并对这两求解图片赋予相同的车辆序号标签。
为了防止车辆在过程中识别间断导致算法错误将其判定为新增车辆并赋予全新标签，仅保留道路端部的车辆新增标签，道路中部出现的新增车辆均判定为无效新增目标，对其进行舍弃。
本实施例中按照上述步骤，采用训练得到的结果权重进行目标检测与车辆目标重复判定，将其作为最终检测结果，检测效果与重复判定结果如表5所示：
表5
Figure BDA0003464450280000121
可见，重复去除步骤能够大大降低最终车辆目标的匹配个数，并且能够综合该车辆在一段时间内的图像形态，防止单一画面造成的漏检、模糊、遮挡问题对车辆特征提取带来的影响。
强化特征图像的特征向量提取与合并：
对成功检测后的车辆目标按照其外接矩形裁剪，外接矩形来源于检测过程的位置输出，利用步骤1生成的对抗网络特征强化权重，将车辆目标图片输入对抗网络生成与之对应的规范姿态图片，此实施例中选取车辆右后方视角。
由于视频过程中车辆目标被连续捕捉，造成短时间内车辆形态没有发生较大改变但被多次送入计算，实施过程速度缓慢。为了减小运算量，实施例中对于被检测并赋予编号的车辆目标，采取间隔处理的办法。取0.5秒为间隔，对目标检测截取的车辆图片送入对抗网络中进行特征强化。生成的特征强化图像包含对车辆的视角统一，车辆背景信息去除，并保留车辆形态的主要特征。
去除车辆背景信息主要通过对采样区域模糊处理，采用高斯模糊，计算如下：
Figure BDA0003464450280000131
其中r为模糊半径，此处取采样区域大小的一半，σ为采样区域标准差。
新生成的该车辆特征强化图片被送入孪生神经网络提取对应的特征向量。图像分辨率首先将被规范成100*100像素，送入神经网络中，该网络结构依次为：2层64核卷积层、池化层、2层128核卷积层、池化层、3层256核卷积层、池化层、3层512核卷积层、池化层、3层512核卷积层、池化层。
在每一个卷积层中，每个3×3的卷积核，对整个图像从右上角平移遍历每一个像素，最后输出结果是将这一层所有的卷积层遍历计算结果链接到一起，完成一组卷积运算，卷积运算会使得图像矩阵被卷积运算的实质目的是保留必要特征，采用多个卷积层能够更好保留特征信息，所以卷积计算会使得输出矩阵不断升维。
每一个池化层都以2×2的核对卷积运算结果进行降维，池化层的作用是减小数据维度，加速运算。随者卷积池化层的叠加，图像数据将会被压缩成为包含必要特征的一维的特征向量，即最终结果的图像特征向量。
对于相同车辆在不同图像中采集的特征向量，为保证特征向量对车辆描述不受模糊、遮挡、画面质量等瞬时不稳定因素影响，对其按照以下方式进行特征向量多次迭代强化：
Figure BDA0003464450280000141
Figure BDA0003464450280000142
其中：F为强化之后的特征向量，Fi为各个待合并特征向量，confi为各个待合并特征向量对应的置信度，其在YOLOv5模型对此目标检测同时输出，此合并特征向量对应的合并置信度为conf。本实施例中，车辆特征强化生成图像如图2所示。
跟驰过程判定与参数提取：
所有出现在监控画面内的车辆将被按车道划分，并依次按照出现次序记录成车辆队列。划定最小宏观参数计算时间单元，以车辆队列为单位计算队列当前时间间隔单元内车流率，车辆密度。选定阈值Q判断此时间单元内出现车辆是否处于跟驰状态，当车流率小于阈值Q时，判断此情况内为自由流状态，当车流阈值大于Q时，判断当前时间单元内车辆为跟驰状态。
一般的，由于单个监控视野覆盖道路范围较短，当监控视野内辆车辆在同一车道同时出现时，则判定后方车辆处于跟驰状态，依据此标准来选择车流阈值Q。
跟驰状态判定之后，处于跟驰状态的车辆将被选取有效跟驰参数时段，此时段表示，在此时段内该车辆跟驰过程参数都能被准确的计算。具体的，在此时段内，该车辆运动状态与被跟驰车辆运动状态都能被监控摄像机准确捕捉。在有效跟驰参数时段内，跟驰车辆的跟驰参数被计算。具体参数包含：车辆跟驰相对次序i，车头间距序列SpaceHeadway(t)，车头时距序列TimeHeadway(t)，跟驰速度差序列Δv(t)。车头间距、车头时距、跟驰速度差计算如下：
Figure BDA0003464450280000143
TimeHeadway(t)＝(xi-1(t)-xi(t))*fps
Δv(t)＝vi-1(t)-vi(t)
其中t表示时间序列，fps代表当前视频的帧率，xi为车辆i的位置，vi为车辆i的速度。
步骤3：模型构建与跨摄像机目标追踪，此步骤主要思想是，构建动态车队模型，以动态车队旅行时间动态预测为参考，根据动态车队形态特征分布于跟驰特性分布特点，实现动态车队群体匹配，进而完成车队内部个体车辆的跨摄像机目标匹配。具体分为以下三个步骤：
构建动态车队模型：
为每个摄像机经过的车辆队列构建动态车队模型，动态车队包含当前研究时段内出现车辆依照次序排列，且包含该车辆强化形态特征信息、跟驰运动特征的向量。
研究时段包含本摄像机内未被匹配车辆所覆盖的时段，此时段可以设置上限，保证车辆队列不会过长，保证匹配过程搜索效率。一旦车辆被匹配成功，则研究时段将会更改，将被匹配成功的车辆移出研究时段。
动态车队旅行时间动态预测：
计算各监控视频中车辆平均速度，参考监控所在道路里程点，拟合整段研究路段中平均速度分布曲线
Figure BDA0003464450280000151
以车辆平均速度曲线取倒数，得到单位路段内车辆通行所用时间与整段道路里程分布的关系曲线Tdu-X，记为
Figure BDA0003464450280000152
由于驾驶员反应时间，交通波将随时间向上游转递，下游状态将跟随交通波向上游转移。预测此转移，即计算Tdu-X随时间序列t的平移变化速度Vwave(t)。
ΔX＝tXVwave(t)
其中ΔX为交通状态动态平移里程，t为经历时间。所以有：
Figure BDA0003464450280000153
以动态车队中车队跟驰次序i等距选取车队中典型车辆，记间隔数为K，根据如下形成的动态车队中典型目标车在研究路段经历时间的迭代式，计算迭代结果ATdu,i预估此K辆车通过匹配间隙里程的行驶时间：
X(t)k+1＝X(t)k+vi(t)×Δt
Figure BDA0003464450280000154
迭代两式至X到达需要预测的空间位置或t到达需要预测的时间，则停止迭代，计算典型车辆i总旅行时长ATdu,i：
Figure BDA0003464450280000155
其中，k为当前迭代次数；N为总迭代次数，取覆盖匹配间隙区域长度的次数为N，Δt为迭代步长时间间隔，ATdu,i表示第i辆车在研究路段经历的行驶时间总和。
动态车队群体匹配与车辆个体匹配：
选取车队中典型车辆作为运行时空特征代表，此车辆出现时间为DTdu，选择其前后各K个目标组成车队群体，共2K+1目标。以典型车辆预测得时空信息DTdu+ATdu为中心，选择目标摄像机所构成动态队列中2K+1辆车，与预测前选择的2K+1辆车时空对应。从选取的时空信息对应的两车辆群中，按次序选择相邻M个目标，在两组目标中检验车辆队列相似度，所选取目标数M从2K+1递减至K+1，两组目标选择包含首位两端，所重迭部分随M递减。
具体检验方式通过孪生卷积神经网络实现。重识别孪生神经网络输入特征为车辆群对应的形态强化特征向量F、车头间距序列、车头时距序列、跟驰速度差序列，输出结果为两车辆队列的匹配结果，表示完全匹配程度，值区间为[0，1]。
在实现车辆群体匹配后，选取车辆群体匹配程度值最高的匹配群体，作为真实对应的群体输出，并对其赋予相同的车辆唯一编号，完成跨摄像机目标追踪。
按其次序依次对应该批次内其余车辆目标，完成动态车队内此K个车辆目标群。
实施例中，车辆动态队列群体匹配过程如图3所示，车辆相似度匹配展示如图4所示，车辆跨摄像机识别的准确率如表6所示。对比将单张车辆图像目标识别后直接送入相似度判定网络进行目标重识别，可以证明本方法对跨摄像机识别的合理性。
表6
Figure BDA0003464450280000161
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，包括如下步骤：
S10，搭建获取目标特征信息的基本网络，并制作数据集，训练基本网络；所述基本网络包括用于目标检测的神经网络以及用于图像标准化的对抗网络；所述数据集包含目标检测数据集和图像标准化数据集；所述目标检测包括获取车辆位置及车辆大小；所述图像标准化包括姿态变换与背景去除；
S20，多重孪生上述基本网络，用于多线程多监控视频同步处理；
S30，在多重孪生的基本网络中构建轨迹实时提取模型，利用车辆运行的时间位置关系追踪不同帧之间相同目标并赋予目标序号，截取视频中轨迹图像，以轨迹为目标单位，通过对抗网络提取车辆形态特征并强化车辆形态特征；
S40，根据车辆轨迹实时解析车辆运动，划分车辆跟驰状态，提取跟驰行为时序特征，将目标车辆分为跟驰状态车与自由状态车，构建动态车队模型，记录目标车所属车队跟驰特征与车辆形态分布特征；
S50，建立融合动态车队运动特征、整体交通流状态以及多监控分布的时空位置预测旅行时间的迭代式，预测车队跨相机出现时空位置；
S60，融合动态车队跟驰特性、所预测的车队跨相机出现时空位置与所获取队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；
S70，基于群体跨相机匹配结果，对动态车队内个体对应目标形态特征分布依次追踪编号，完成车辆跨相机追踪。
2.根据权利要求1所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，S10所述搭建获取目标特征信息的基本网络，并制作数据集，训练基本网络，具体包括：
S11，对于用于目标检测的神经网络，采用pytorch框架下的YOLOv5模型进行训练和检测，训练过程中，目标检测数据集集中图像被缩放统一大小后分批送入YOLOv5模型中进行逻辑回归预测，YOLOv5模型的训练效果由损失值来评估，进行一次迭代后的训练效果损失loss表示如下：
loss＝lossxy+losslw+lossconfidence+lossclass
其中，lossxy表示检测框中心点误差，losslw表示检测框长宽的误差，lossconfidence表征检测框置信度误差，lossclass表示检测框分类的误差；当loss值收敛至不再变化时，YOLOv5模型投入使用；
S12，对于用于图像标准化的特征强化孪生对抗网络，对抗网络采用GFLA算法，以车辆数据集VeRi-776作为基础，人工构建针对对抗网络特征强化过程的训练目标对；其中，一组训练目标对包含两张图像，两张图像为同一车辆目标，第一张图像为该目标任意视角图片，第二张图像为该目标特定视角并进行背景模糊后的图片；对同一目标进行多组训练目标对的制作，分别组合多个视角与特定视角；选取图像标准化数据集中数个车辆目标均进行上述组合处理，形成数个车辆目标的多组视角对应于特定视角的训练目标对，作为特征强化孪生对抗网络的训练数据集；
S13，神经网络应用于监控视频中获取目标位置x，y、目标像素大小l，w、目标置信度conf，并裁剪目标图像，对抗网络应用于所裁剪的目标图像，进行图像视角变换与背景删除。
3.根据权利要求1所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S20中，读入不同监控相机拍摄的视频流，获取当前时刻视频帧，为不同视频流创建对应图像库，为各视频流分配单独线程与对应基本网络，并行实现基本网络的目标检测、姿态变换与背景去除。
4.根据权利要求1所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S30的具体过程如下：
S31，保留视频中前一帧所有车辆目标位置，记为集合P0，获取当前帧中所有车辆目标位置，记为集合P1，目标位置由训练完成的神经网络检测结果得到，令集合P1中待判定重复的当前车辆目标位置p(x，y，l，w)；
S32，对集合P1与集合P0中的矩形元素总体求交并比，交并比IoU计算表示如下：
IoU＝Ainter/Aunion
其中，Ainter表示两集合中矩形相交部分的面积，Aunion表示两集合中矩形并集总面积；
S33，对集合P1中IoU为0的目标，认为其为当前帧中的新增目标单独赋予新增车辆序号，其余目标执行S34；
S34，将集合P1中所有求得IoU不为0的目标与集合P0中的元素送入匈牙利算法，进行多目标追踪，匈牙利算法中采用马氏距离作为目标之间的距离差，马氏距离计算方式如下：
Figure FDA0003464450270000031
其中，DM为向量
Figure FDA0003464450270000032
对于其分布平均值
Figure FDA0003464450270000033
的马氏距离，C为向量
Figure FDA0003464450270000034
分布的协方差矩阵，计算过程中，
Figure FDA0003464450270000035
为车辆移动像素向量
Figure FDA0003464450270000036
(x0，y0)、(x1，y1)分别为上一帧和当前帧的车辆目标位置；
S35，对于集合P1中IoU不为0的目标，若追踪成功则将集合P1中的追踪成功的目标赋予与之对应的车辆序号，若未追踪成功则赋予新增车辆序号；
S36，截取成功追踪目标图像，采用GFLA对抗网络强化形态特征；根据S10训练的特征强化权重，调用网络中的局部注意力机制，对图片像素遍历进行主要特征识别；
S37，判定强化后的形态特征是否为背景，是则对采样区域模糊处理，否则保留原像素形态，输出图像；其中模糊处理采用高斯模糊，计算如下：
Figure FDA0003464450270000037
其中，G(r)表示高斯模糊函数，r为模糊半径，此处取采样区域大小的一半，σ为采样区域标准差；
S38，加入时间序列融合同一目标各帧图像特征向量，通过采用3×3和2×2的小卷积核将S37输出图像变为对应一维特征向量；带有相同目标标签的多个特征向量将按如下公式依次合并：
Figure FDA0003464450270000038
Figure FDA0003464450270000039
其中，F为合并之后的特征向量即车辆形态强化特征向量，Fi为第i个待合并特征向量，confi为第i个待合并特征向量对应的置信度，n表示目标车辆在视频中出现的总帧数即特征总数，CONF为合并特征向量对应的合并置信度，confi-1为第i-1个待合并特征向量对应的置信度；
S39，根据合并之后的特征向量F调用GFLA生成器，生成S10中训练的标准姿态图像，完成特征强化。
5.根据权利要求4所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S40的具体过程如下：
S41，识别当前道路跟驰状况，根据道路流率、车辆平均速度判断当前道路车辆是否以跟驰状态行驶，若非跟驰行驶的车辆，则直接采用该车辆速度直接预测车辆出现时空位置，若为跟驰状态，则继续进行S42；
S42，以跟驰状态行驶的同一车道的车辆，将被按照跟驰车与被跟驰车一一对应，一组跟驰车与被跟驰车包含行走在前方的车辆即被跟驰车与其后紧随的车辆即跟驰车；
S43，为每一监控视频创建对应动态车队，动态车队长度包含所有监控视频中的所有车辆，车辆从当前摄像机下驶出时被计入；计入动态车辆跟驰队列中特征包括：车辆跟驰相对次序i、S38中计算得出的车辆形态强化特征向量F、车头间距序列SpaceHeadway(t)、车头时距序列TimeHeadway(t)、跟驰速度差序列Δv(t)；其中，车头间距、车头时距、跟驰速度差计算如下：
Figure FDA0003464450270000041
TimeHeadway(t)＝(xi-1(t)-xi(t))*fps
Δv(t)＝vi-1(t)-vi(t)
其中，t表示时间序列，fps表示当前视频的帧率，xi-1为车辆i-1的位置，xi为车辆i的位置，vi为车辆i的速度，vi-1为车辆i-1的速度。
6.根据权利要求1所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S50的具体过程如下：
S51，计算各监控视频中车辆平均速度，参考监控所在道路里程点，拟合整段道路中平均速度分布曲线
Figure FDA0003464450270000042
S52，以车辆平均速度分布曲线取倒数，得到单位路段内车辆通行所用时间与整段道路里程分布的关系曲线Tdu-X，记为
Figure FDA0003464450270000043
S53，由于驾驶员反应时间，交通波随时间向上游转递，下游状态跟随交通波向上游转移，预测此转移，即计算Tdu-X随时间序列t的平移变化速度Vwave(t)：
ΔX＝t×Vwave(t)
其中，ΔX为交通状态动态平移里程，则有：
Figure FDA0003464450270000044
S54，形成计算动态车队中典型目标车在整段道路经历时间的迭代式：
X(t)k+1＝X(t)k+vi(t)×Δt
Figure FDA0003464450270000051
vi(t)为车辆i在t时刻的速度值，X(t)k+1为迭代k+1次时的车辆位置，X(t)k为迭代k次时的车辆位置，
Figure FDA0003464450270000052
为第k+1次迭代中车辆所在位置对应的车辆通行所用时间，从关系曲线Tdu-X中获取，
Figure FDA0003464450270000053
为第k次迭代中车辆所在位置对应的车辆通行所用时间；
迭代两式至X到达需要预测的空间位置或t到达需要预测的时间，则停止迭代，计算典型车辆i总旅行时长ATdu，i：
Figure FDA0003464450270000054
其中，k为当前迭代次数；N为总迭代次数，取覆盖匹配间隙区域长度的次数为N，Δt为迭代步长时间间隔，ATdu，i表示车辆i在整段道路经历的行驶时间总和；
S55，根据车队跟驰次序i等距选取车队中典型车辆，记间隔数为K，计算迭代结果ATdu，i预估此K辆车通过匹配间隙里程的行驶时间。
7.根据权利要求6所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S60的具体过程如下：
S61，选取车队中典型车辆作为运行时空特征代表，此车辆出现时间为DTdu，选择其前后各K个目标组成车队群体，共2K+1个目标；
S62，以典型车辆预测的时空信息DTdu+ATdu为中心，在下游待重识别目标的监控相机对应的动态队列中，选择距离时间中心最近的2K+1辆车，这2K+1辆车形成以DTdu+ATdu为中心的待匹配车辆群；
S63，从S61与S62选取的时空信息对应的两车辆群中，按次序选择相邻M个目标，在两组目标中按S64检验车辆队列相似度，所选取目标数M从2K+1递减至K+1，两组目标选择包含首尾两端，所重叠部分随M递减；
S64，具体的，车辆队列重识别通过孪生卷积神经网络实现，重识别孪生神经网络输入特征为车辆群对应的形态强化特征向量F、车头间距序列、车头时距序列、跟驰速度差序列，输出结果为两车辆队列的匹配结果，表示完全匹配程度，值区间为[0，1]。
8.根据权利要求1所述的耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，所述S60实现多监控下车队群体跨相机匹配，是在实现车辆群体匹配后，选取车辆群体匹配程度值最高的匹配群体，作为真实对应的群体输出，按其次序依次对应该批次内其余车辆目标，完成动态车队内K个车辆目标群。
CN202210027047.1A 2022-01-11 2022-01-11 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 Pending CN114463390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210027047.1A CN114463390A (zh) 2022-01-11 2022-01-11 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210027047.1A CN114463390A (zh) 2022-01-11 2022-01-11 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法

Publications (1)

Publication Number Publication Date
CN114463390A true CN114463390A (zh) 2022-05-10

Family

ID=81409535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210027047.1A Pending CN114463390A (zh) 2022-01-11 2022-01-11 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法

Country Status (1)

Country Link
CN (1) CN114463390A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019508A (zh) * 2022-06-13 2022-09-06 华南理工大学 基于机器学习的道路监控车流仿真方法、装置、设备及介质
CN116069801A (zh) * 2023-03-06 2023-05-05 山东华夏高科信息股份有限公司 一种交通视频结构化数据生成方法、装置及介质
CN116542528A (zh) * 2023-03-31 2023-08-04 中国人民解放军军事科学院系统工程研究院 一种通行需求满足度分析方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019508A (zh) * 2022-06-13 2022-09-06 华南理工大学 基于机器学习的道路监控车流仿真方法、装置、设备及介质
CN115019508B (zh) * 2022-06-13 2023-09-29 华南理工大学 基于机器学习的道路监控车流仿真方法、装置、设备及介质
CN116069801A (zh) * 2023-03-06 2023-05-05 山东华夏高科信息股份有限公司 一种交通视频结构化数据生成方法、装置及介质
CN116069801B (zh) * 2023-03-06 2023-06-30 山东华夏高科信息股份有限公司 一种交通视频结构化数据生成方法、装置及介质
CN116542528A (zh) * 2023-03-31 2023-08-04 中国人民解放军军事科学院系统工程研究院 一种通行需求满足度分析方法及装置
CN116542528B (zh) * 2023-03-31 2023-11-14 中国人民解放军军事科学院系统工程研究院 一种通行需求满足度分析方法及装置

Similar Documents

Publication Publication Date Title
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN101141633B (zh) 一种复杂场景中的运动目标检测与跟踪方法
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN109644255B (zh) 标注包括一组帧的视频流的方法和装置
US20090309966A1 (en) Method of detecting moving objects
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN112241969A (zh) 基于交通监控视频的目标检测跟踪方法、装置及存储介质
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
Saran et al. Traffic video surveillance: Vehicle detection and classification
CN111881749A (zh) 基于rgb-d多模态数据的双向人流量统计方法
Anandhalli et al. Improvised approach using background subtraction for vehicle detection
Arya et al. Real-time vehicle detection and tracking
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
Babaei Vehicles tracking and classification using traffic zones in a hybrid scheme for intersection traffic management by smart cameras
Abbas V-ITS: Video-based intelligent transportation system for monitoring vehicle illegal activities
CN113177439A (zh) 一种行人翻越马路护栏检测方法
Liu et al. A review of traffic visual tracking technology
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
Wickramasinghe et al. Pedestrian Detection, Tracking, Counting, Waiting Time Calculation and Trajectory Detection for Pedestrian Crossings Traffic light systems
CN112580633A (zh) 一种公共交通客流统计装置及方法
Shaweddy et al. Vehicle counting framework for intelligent traffic monitoring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination