CN114023062B - 一种基于深度学习和边缘计算的交通流信息监测方法 - Google Patents

一种基于深度学习和边缘计算的交通流信息监测方法 Download PDF

Info

Publication number
CN114023062B
CN114023062B CN202111252738.3A CN202111252738A CN114023062B CN 114023062 B CN114023062 B CN 114023062B CN 202111252738 A CN202111252738 A CN 202111252738A CN 114023062 B CN114023062 B CN 114023062B
Authority
CN
China
Prior art keywords
vehicle
frame
prediction
traffic
traffic flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111252738.3A
Other languages
English (en)
Other versions
CN114023062A (zh
Inventor
唐果
赖雨桐
郑博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202111252738.3A priority Critical patent/CN114023062B/zh
Publication of CN114023062A publication Critical patent/CN114023062A/zh
Application granted granted Critical
Publication of CN114023062B publication Critical patent/CN114023062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和边缘计算的交通流信息监测方法，首先在云中心利用YOLOv5和DeepSORT算法通过大量的交通视频数据训练出车辆跟踪模型，然后将其迁移部署到边缘服务器上；接着通过架设在道路交通杆上的的高分辨率摄像机上传交通视频至边缘服务器，完成车辆追踪并设置虚拟线圈；然后运用ViBe背景建模算法，完成实时速度、排队长度等交通流信息的计算；最后在显示屏上显示实时更新的交通数据；本发明所述交通流监测方法不仅能对车辆数量进行计数，还能监测实时速度、车辆占有、排队长度、交通拥堵指数等重要交通流信息。

Description

一种基于深度学习和边缘计算的交通流信息监测方法
技术领域
本发明属于信息处理技术领域，具体涉及一种基于深度学习和边缘计算的交通流信息监测。
背景技术
近年来城市化机动化不断加快，交通拥堵情况日益严重，智能交通系统(Intelligent Transportation System,ITS)成为时下的研究焦点。而交通流监测作为ITS的关键技术之一，是实现交通智能化必不可少的基础。
现有的交通流监测方法，如Yi-Qi Huang等人提出了一种基于Tensorflow框架的单级深度神经网络YOLOv3-DL来改进车辆视频中难以对车辆进行准确的定位和分类的问题；西安电子科技大学的Chen Chen等人将基于YOLOv3-tiny和Deepsort的车辆监测方法移植到边缘智能设备中，并通过设定一条虚拟线对车辆进行计数。但上述现有的交通流监测方法仅对车辆数量进行了计数，对于实施速度、车辆占有、排队长度等重要交通流信息没有给出详细的监测及计算方法，而且随着监测算法的优化，现有的YOLOv5、YOLOvx等算法的效果已超越上述研究中采用YOLOv3算法。
发明内容
本发明针对于现有方法存在的不能实时监测速度、车辆占有、排队长度的技术问题，提出一种基于边缘计算和深度学习的交通流信息监测方法，该方法事先在云中心利用YOLOv5和DeepSORT算法通过大量的交通数据训练出车辆跟踪模型，然后将其迁移并部署到边缘服务器上，通过架设在道路交通杆上的高分辨率摄像机上传交通视频至边缘服务器进行车辆追踪，运用ViBe背景建模算法，完成实时速度、车辆占有、排队长度等交通流信息的计算；在显示屏上显示实时更新的交通数据；定期把这些数据传输至云中心，同时利用YOLOv5和DeepSORT算法进行车辆追踪，并用这些结果更新车辆跟踪训练模型，以提高其准确度。
本发明采用如下技术方案：
一种基于深度学习和边缘计算的交通流信息监测方法，包括如下步骤：
步骤1：云服务器运用YOLOv5和DeepSORT算法训练车辆跟踪模型；
步骤2：将训练好的车辆跟踪模型移植到边缘服务器上，通过架设在道路交通杆上的高分辨率摄像机收集交通视频数据并实时上传至边缘服务器；
步骤3：分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追踪；
步骤4：在边缘服务器上运用ViBe背景建模算法，完成交通流数据及拥堵程度指数的计算并上传云中心；定期把这些数据传输至云中心，并用这些结果更新车辆跟踪训练模型。
步骤5：将交通信息及拥堵程度在屏幕中展示。
所述步骤1包括：
步骤11：使用YOLOv5算法训练车辆监测模型。
步骤111：将输入的交通视频序列图片进行预处理，通过K-Means算法生成先验框。在K-Means算法中，使用的是欧氏距离来完成聚类，而YOLOv5采用处理后的IOU作为欧氏距离。
Distance(i,center)＝1-IOU(i,center)
然后得到的五个聚类中心便是先验框的宽高。
步骤112：利用Focus结构得到没有信息丢失情况下的二倍下采样特征图。每张图片首先通过Focus结构复制为四份并分别进行切片操作，再将得到的四个切片从深度上做concat，最后对得到的新图片进行卷积操作，生成下采样特征图并传入YOLOv5的Backbone。
步骤113：首先在Backbone中通过一系列卷积核数不同的卷积层、CSPNet结构以及SPP结构进行特征提取，并在卷积核数为192、384和768的卷积层输出三个特征图。接着利用PANet结构对上述三个特征图进行一系列上采样、下采样、卷积以及concat操作，最后输出通道数为162的三个特征图并传递到预测层生成边界框和预测类别。
步骤114：利用步骤111的先验框对网络输出的特征层进行解码。将步骤113得到的输出通道数为162的三个特征图输出分别进行reshape操作，并把其中的(tx,ty,tw,th)四个参数分离出来，根据公式计算出预测框的实际位置。
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003322758920000031
Figure BDA0003322758920000032
(bx,by)是预测框的中心坐标，bw,bh分别是预测框的宽度和高度。(tx,ty)为网络预测的边界框中心偏移量，tw,th分别为宽、高缩放比。(cx,cy)为先验框在特征图上的中心坐标。pw,ph分别为先验框在特征图上的宽和高。
步骤115：将每个车辆预测框中的最大预测概率乘以置信度得到每个预测框的分数。
车辆预测框(bx,by,bw,bh,confidence,{Pr(Classi|object)|i＝1、2…n})
IOU计算公式为：
Figure BDA0003322758920000033
置信度的计算公式为：
Figure BDA0003322758920000034
预测框分数计算公式为：
Figure BDA0003322758920000035
confidence为车辆预测框的置信度；Pr(Object)表示是否有车辆落在一个gridcell里；
Figure BDA0003322758920000036
表示预测框和真实框之间的交并比IOU；Pr(Classi|Object)为预测框内车辆为第i类的概率；n表示有n个预测类别；score表示车辆预测框的得分。
步骤116：对得到的分数进行筛选与排序，将得分大于0.5的框作为预选框。采用非极大抑制，在同一个类别中选择一个最高分数的框，计算它和其他框的重合度，去除IOU超过0.7的框，重复该步骤直到没有比当前预选框的IOU值0.7高的框，则将其作为最终结果。
步骤117：定义损失函数并训练车辆监测模型。损失函数定义为分类损失、定位损失和置信度损失之和：
Figure BDA0003322758920000037
Figure BDA0003322758920000041
以上公式中N表示类别总个数，xi为当前类别预测值，yi为经过激活函数后得到的当前类别的概率，
Figure BDA0003322758920000042
则为当前类别的真实值(0或1)，B表示预测框，Bgt表示真实框，ρ2(B,Bgt)为真实框和预测框中心点距离的平方，c2为闭包真实框和预测框最小框的对角线的平方，
Figure BDA0003322758920000043
为预测框和真实框长宽比例差值的归一化，其中wgt为真实框的宽，hgt为真实框的高，w为预测框的宽，h为预测框的高，α为权衡长宽比例造成的损失和IOU部分造成的损失的平衡因子，tn代表目标(即真实值)，xn是车辆监测模型输出的值。
通过分析损失函数随着迭代次数的变化，判断其收敛性以评估训练得到的车辆监测模型。
步骤12：将监测到的车辆对象作为输入使用DeepSORT算法训练车辆跟踪模型。
步骤121：首先利用第一帧的各车辆监测框创建对应的tracker并设定其轨迹状态为非确定态完成初始化，然后使用卡尔曼滤波预测目标车辆在下一帧的位置。
xk＝Axk-1
pk＝Apk-1AT+Q
xk-1为目标的状态信息即
Figure BDA0003322758920000044
其中(u,v)是bounding box的中心坐标，γ是长宽比，h表示高度，其余四个变量
Figure BDA0003322758920000045
分别表示在图像坐标系中u、v、γ、h的速度变化值；pk-1为目标的估计误差，A为状态转移矩阵，Q为系统误差。
步骤122：使用匈牙利算法将步骤121得到的预测框和下一帧中的车辆监测框进行级联匹配和IOU匹配，利用匹配成功的轨迹信息对卡尔曼滤波中所有tracker的状态进行更新。
步骤123：根据步骤122得到的IOU匹配结果经由1-IOU计算代价矩阵，然后以此作为匈牙利算法的输入得到线性匹配结果。匹配成功则更新卡尔曼滤波的运动变量；车辆跟踪轨迹匹配失败但曾为确认态则失配大于30次后删除其ID和轨迹信息，否则直接删除；车辆观测量匹配失败则重新创建tracker。
步骤124：重复步骤122直至交通视频中的所有帧均比较完即结束。
所述步骤2将训练好的车辆跟踪模型移植到边缘服务器上，通过架设在道路交通杆上的高分辨率摄像机收集交通视频数据并实时上传至边缘服务器，具体包括：
步骤21：将训练好的车辆跟踪计数模型移植到边缘服务器上，在道路的交通杆上架设高分辨率摄像机，拍摄分辨率为608×608；
步骤22：摄像机将拍摄所得的视频通过socket上传至边缘服务器，并以二进制的形式存入边缘服务器的非易失存储器中；
所述步骤3分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追踪，具体包括：
步骤31：对车辆跟踪模型的计数速度进行监测，判断其是否达到实时。
步骤32：设置虚拟监测线圈，将其与DeepSORT输出的跟踪图相融合，便于后续获取期望的交通指标。
所述步骤4包括：
步骤41：在步骤3设定好的虚拟线圈的基础上，进行脉冲数据、车头时距、车流量、实时速度、车辆占有、排队长度以及交通拥堵程度的计算。
步骤411：车辆进入虚拟线圈的时刻和离开虚拟线圈的时刻即为脉冲，分别记录这两个时刻的脉冲数据。
步骤412：步骤411所述的脉冲数据中，以车辆在虚拟线圈的进入区域边界作为道路截面，记录车辆进入虚拟线圈的时刻，而车道内前后两辆车进入虚拟线圈的时刻差即为车头时距。
步骤413：分析行驶轨迹的完整性，以车辆离开虚拟线圈的车道位置进行流量计数即为车流量。
步骤414：分析行驶轨迹，假设行驶轨迹是直线行驶，在摄像机标定的基础上，计算车辆进入虚拟线圈的起点和离开虚拟线圈的终点之间的实际距离，再除以视频序列的时长，即可得到实时速度。
步骤415：使用背景建模算法生成车道前景二值化图，分析前景区域与虚拟线圈是否交叉占有，来判断车辆占有的情况。
步骤416：在摄像机标定和步骤415背景建模的前景分析基础上，获取最远处车辆的尾部位置，然后计算尾部位置距离停车线的实际距离，以此作为该摄像机可见范围的排队长度。
步骤417：选择归一化车流量、空间占有率和归一化平均速度作为交通拥堵判定的分析决策变量并利用层次分析法确定其权值，再通过交通拥堵指数计算公式、决策变量及其权值，判定交通拥堵程度。
Figure BDA0003322758920000061
其中，Kv,Ko,Kf分别是归一化平均速度、排队长队、归一化车流量的权值；
Figure BDA0003322758920000062
分别为归一化平均速度、排队长度、归一化车流量。
与现有技术相比，本发明的有益效果在于：
本发明所述交通流监测方法应用YOLOv5和DeepSORT算法不仅能对车辆数量进行计数，还能监测实时速度、车辆占有、排队长度、交通拥堵指数等重要交通流信息。
附图说明
图1为基于深度学习和边缘计算的交通流信息监测方法框架图。
图2为基于深度学习和边缘计算的交通流信息监测方法流程图。
具体实施方案
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
结合图1描述本发明的技术细节。在本发明中，将深度学习中的YOLOv5算法、DeepSORT算法和边缘计算运用到交通流信息监测方法中，该方法主要包括以下三个步骤：一是使用准确度高且训练速度快的YOLOv5m网络和DeepSORT算法在云中心进行车辆跟踪模型的训练；二是在边缘服务器上利用训练好的车辆跟踪模型进行车辆追踪并设定虚拟线圈；三是在边缘服务器上运用ViBe背景建模算法进行交通流信息及拥堵程度计算。
以下结合图2详细描述各步骤的具体实现过程：
步骤1、使用YOLOv5m网络和DeepSORT算法进行车辆跟踪模型的训练具体包括如下步骤：
步骤11：使用YOLOv5m网络训练车辆监测模型。
步骤111：将输入的交通视频序列图片进行预处理，通过K-Means算法生成先验框。在K-Means算法中，使用的是欧氏距离来完成聚类，而YOLOv5采用处理后的IOU作为欧氏距离。
Distance(i,center)＝1-IOU(i,center)
然后得到的五个聚类中心便是先验框的宽高。
步骤112：输入的交通视频序列图像应为分辨率是608×608的3通道RGB图像，通过Focus结构进行切片操作，再将得到的四个304×304×3的切片，将四个切片从深度上concat为304×304×12的特征图，最后经过卷积核数为48的卷积层，生成304×304×48的输出并传入YOLOv5m的Backbone。
步骤113：首先在Backbone中通过卷积核数为96、192、384、768的卷积层、CSPNet结构以及SPP结构进行特征提取，得到76×76×192、38×38×384和19×19×768三个特征图。接着利用PANet结构对上述三个特征图进行一系列上采样、下采样、卷积以及concat操作，最后输出76×76×162、38×38×162和19×19×162三个特征图并传递到预测层生成车辆边界框、预测13个车辆类别。
步骤114：利用先验框对网络输出的特征层进行解码。将步骤113得到的76×76×162、38×38×162和19×19×162三个特征图输出分别进行reshape操作，并把其中的(tx,ty,tw,th)四个参数分离出来，根据公式计算出预测框的实际位置。
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003322758920000071
Figure BDA0003322758920000072
式中，(bx,by)是预测框的中心坐标，bw,bh分别是预测框的宽度和高度。(tx,ty)为网络预测的边界框中心偏移量，tw,th分别为宽、高缩放比。(cx,cy)为先验框在特征图上的中心坐标。pw,ph分别为先验框在特征图上的宽和高。
步骤115：将每个车辆预测框中的最大预测概率乘以置信度得到每个预测框的分数。
车辆预测框(bx,by,bw,bh,confidence,{Pr(Classi|Object)|i＝1、2…n})
IOU计算公式为：
Figure BDA0003322758920000081
置信度的计算公式为：
Figure BDA0003322758920000082
预测框分数计算公式为：
Figure BDA0003322758920000083
confidence为车辆预测框的置信度；Pr(Object)表示是否有车辆落在一个gridcell里；
Figure BDA0003322758920000084
表示预测框和真实框之间的交并比IOU；Pr(Classi|Object)为预测框内车辆为第i类的概率；n表示有n个预测类别；score表示车辆预测框的得分。
步骤116：对得到的分数进行筛选与排序，将得分大于0.5的框作为预选框。采用非极大抑制，在同一个类别中选择一个最高分数的框，计算它和其他框的重合度，去除IOU超过0.7的框，重复该步骤直到没有比当前预选框的IOU值0.7高的框，则将其作为最终结果。
步骤117：定义损失函数并训练车辆监测模型。损失函数定义为分类损失、定位损失和置信度损失之和：
Figure BDA0003322758920000085
以上公式中N表示类别总个数，xi为当前类别预测值，yi为经过激活函数后得到的当前类别的概率，
Figure BDA0003322758920000086
则为当前类别的真实值(0或1)，B表示预测框，Bgt表示真实框，ρ2(B,Bgt)为真实框和预测框中心点距离的平方，c2为闭包真实框和预测框最小框的对角线的平方，
Figure BDA0003322758920000087
为预测框和真实框长宽比例差值的归一化，其中wgt为真实框的宽，hgt为真实框的高，w为预测框的宽，h为预测框的高，α为权衡长宽比例造成的损失和IOU部分造成的损失的平衡因子，tn代表目标(即真实值)，xn是车辆监测模型输出的值。
通过分析损失函数随着迭代次数的变化，判断其收敛性以评估训练得到的车辆监测模型。
步骤12：将监测到的车辆对象作为输入使用DeepSORT算法训练车辆跟踪模型。
步骤121：首先利用第一帧的各车辆监测框创建对应的tracker并设定其轨迹状态为非确定态完成初始化，然后使用卡尔曼滤波预测目标车辆在下一帧的位置。
xk＝Axk-1
pk＝Apk-1AT+Q
xk-1为目标的状态信息即
Figure BDA0003322758920000091
其中(u,v)是bounding box的中心坐标，γ是长宽比，h表示高度，其余四个变量
Figure BDA0003322758920000092
分别表示在图像坐标系中u、v、γ、h的速度变化值；pk-1为目标的估计误差，A为状态转移矩阵，Q为系统误差。
步骤122：通过卡尔曼滤波预测可得到确认态和非确认态的车辆轨迹信息。将确认态对应的车辆预测框与下一帧的目标车辆监测框进行极联匹配，即利用外观模型(ReID)和运动模型(马氏距离)计算相似度矩阵。匹配成功则更新为确认态tracker分配的ID的集合以及卡尔曼滤波的运动变量；匹配失败则与非确认态对应的车辆预测框一同与下一帧的目标车辆监测框进行IOU匹配。
步骤123：根据步骤122得到的IOU匹配结果经由1-IOU计算代价矩阵，然后以此作为匈牙利算法的输入得到线性匹配结果。匹配成功则更新卡尔曼滤波的运动变量；车辆跟踪轨迹匹配失败但曾为确认态则失配大于30次后删除其ID和轨迹信息，否则直接删除；车辆观测量匹配失败则重新创建tracker。
步骤124：重复步骤122-步骤123直至交通视频中的所有帧均比较完，即结束。
步骤2、将训练好的车辆跟踪模型移植到边缘服务器上，通过架设在道路交通杆上的高分辨率摄像机收集交通视频数据并实时上传至边缘服务器，具体包括：
步骤21：将训练好的车辆跟踪计数模型移植到边缘服务器上。
步骤211：在瑞芯微RK3399的ARM开发板中安装安装Pytorch依赖项，将Pytorch的wheel文件复制到其中。
步骤212：搭建好Pytorch后，将训练好的车辆跟踪计数模型移植到瑞芯微RK3399的ARM开发板上。
步骤213：在道路的交通杆上架设高分辨率摄像机，拍摄分辨率为608×608；
步骤22：摄像机将拍摄所得的视频通过socket上传至边缘服务器，并以二进制的形式存入边缘服务器的非易失存储器中。
步骤3、分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追踪，具体包括：
步骤31：对车辆跟踪模型的计数速度进行监测，如果在纯CPU情况下达到每帧44ms的速度，基本上达到实时。
步骤32：设置虚拟监测线圈，将其与DeepSORT输出的跟踪图相融合，便于后续获取期望的交通指标。
步骤321：根据图中车道数量，确定虚拟线圈的数量。每个车道加入一个虚拟线圈，例如有三个车道，则需要三个虚拟线圈(6条与车道垂直的虚拟直线)。
步骤322：确定虚拟线圈的宽度(两条虚拟直线间的距离)，为方便监测与计算，根据摄像头拍摄角度，设定线圈宽度为输入帧宽度的1/5。
步骤323：使用OpenCV中的add函数，将虚拟直线与DeepSORT输出的跟踪图相融合。
步骤4、在边缘服务器上运用ViBe背景建模算法进行交通流信息及拥堵程度计算。具体包括如下步骤：
步骤41：在步骤3设定好的虚拟线圈的基础上，根据车辆监测框的中心坐标(u,v)进行脉冲数据、车头时距td、车流量f、实时速度vt、车辆占有p、排队长度l以及交通拥堵指数μ的计算。
以下参数中，(w1,h1)为虚拟线圈左上角的坐标，(w2,h2)为虚拟线圈右下角的坐标；tin为车辆监测框中心点进入虚拟线圈的时刻，tout为离开虚拟线圈的时刻；tin(front)为相邻车辆中前者进入虚拟线圈的时刻，tin(behind)为后者进入虚拟线圈的时刻；h为虚拟线圈宽度。
步骤411：当w1≤u≤w2时匹配得到当前车道虚拟线圈的坐标，若v≥h1时车辆进入虚拟线圈，v≥h2时车辆离开虚拟线圈，分别记录车辆进入和离开的时刻tin、tout即为脉冲数据。
步骤412：步骤411所述的脉冲数据中，以车辆在虚拟线圈的进入区域边界作为道路截面，记录车辆进入虚拟线圈的时刻，而车道内前后两辆车进入虚拟线圈的时刻差td＝tin(front)-tin(behind)即为车头时距。
步骤413：分析行驶轨迹的完整性，当w1≤u≤w2时匹配得到当前车道虚拟线圈的坐标，若v≥h2时车辆离开虚拟线圈的车道位置，计数车辆通过该位置的总次数即为车流量f。
步骤414：分析行驶轨迹，假设行驶轨迹是直线行驶，在摄像机标定的基础上，计算车辆进入虚拟线圈的起点和离开虚拟线圈的终点之间的实际距离，再根据脉冲数据计算视频序列的时长tout-tin，即可得到实时速度
Figure BDA0003322758920000111
步骤415：为每个像素点分配一个含20个样本值的背景模型，计算像素点与样本值的欧式距离，若存在2个及以上距离小于20的样本值，则该像素点分类为背景。重复上述操作，生成车道前景二值化图，接着通过计算车道每一行前景占有的比率来分析是否是前景点，还是干扰点，然后将连续的前景行合并，生成车道的前景区域(白色像素点的占比)，分析前景区域与虚拟线圈是否交叉占有，来判断车辆占有的情况，若占有则虚拟线圈变为红色，否则为绿色。
步骤416：在摄像机标定和步骤415背景建模的前景分析基础上，获取最远处车辆的尾部位置的坐标，然后计算尾部位置距离停车线的像素距离，再使用坐标系转换公式将像素距离转化为实际距离，以此作为该摄像机可见范围的排队长度l。
l＝cameramatrix.inverse()×center×disbuttom
其中：cameramatrix是摄像机标定得到的相机内参；center为向量(x,y,1)，x,y是车辆尾部位置到停车线的像素距离；disbuttom是相机距离车辆的高度。
步骤417：选择归一化车流量、空间占有率和归一化平均速度作为交通拥堵判定的分析决策变量并利用层次分析法确定其权值，再通过交通拥堵指数计算公式、决策变量及其权值，判定交通拥堵程度。
Figure BDA0003322758920000121
其中，Kv,Ko,Kf分别是归一化平均速度，排队长度，归一化车流量的权值；
Figure BDA0003322758920000122
分别为归一化平均速度，排队长度，归一化车流量。
在显示屏上显示实时更新的交通数据，并定期把这些数据传输至云中心，并用这些结果更新车辆跟踪训练模型，以提高其准确度。

Claims (8)

1.一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，包括如下步骤：
步骤1：云服务器运用YOLOv5和DeepSORT算法训练车辆跟踪模型；
具体包括：
步骤11：使用YOLOv5算法训练车辆监测模型；
步骤111：将输入的交通视频序列图片进行预处理，通过K-Means算法生成先验框，在K-Means算法中，使用的是欧氏距离来完成聚类，而YOLOv5采用处理后的IOU作为欧氏距离：
Distance(i，center)＝1-IOU(i，center)
然后得到的五个聚类中心便是先验框的宽高；
步骤112：利用Focus结构得到没有信息丢失情况下的二倍下采样特征图，每张图片首先通过Focus结构复制为四份并分别进行切片操作，再将得到的四个切片从深度上做concat，最后对得到的新图片进行卷积操作，生成下采样特征图并传入YOLOv5的Backbone；
步骤113：首先在Backbone中通过一系列卷积核数不同的卷积层、CSPNet结构以及SPP结构进行特征提取，并在卷积核数为192、384和768的卷积层输出三个特征图；接着利用PANet结构对上述三个特征图进行一系列上采样、下采样、卷积以及concat操作，最后输出通道数为162的三个特征图并传递到预测层生成边界框和预测类别；
步骤114：利用步骤111的先验框对网络输出的特征层进行解码；将步骤113得到的输出通道数为162的三个特征图输出分别进行reshape操作，并把其中的(tx，ty，tw，th)四个参数分离出来，根据公式计算出预测框的实际位置：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0003736379250000011
Figure FDA0003736379250000012
(bx，by)是预测框的中心坐标，bw，bh分别是预测框的宽度和高度，(tx，ty，tw，th)分别为网络预测的边界框中心偏移量以及宽高缩放比，(cx，cy)为先验框在特征图上的中心坐标，pw，ph分别为先验框在特征图上的宽和高；
步骤115：将每个车辆预测框中的最大预测概率乘以置信度得到每个预测框的分数；
车辆预测框：
(bx，by，bw，bh，confidence，{Pr(Classi|Object)|i＝1、2...n})
IOU计算公式为：
Figure FDA0003736379250000021
置信度的计算公式为：
Figure FDA0003736379250000022
预测框分数计算公式为：
Figure FDA0003736379250000023
confidence为车辆预测框的置信度；Pr(Object)表示是否有车辆落在一个grid cell里；
Figure FDA0003736379250000024
表示预测框和真实框之间的交并比IOU；Pr(Classi|Object)为预测框内车辆为第i类的概率；n表示有n个预测类别；score表示车辆预测框的得分；
步骤116：对得到的分数进行筛选与排序，将得分大于0.5的框作为预选框；采用非极大抑制，在同一个类别中选择一个最高分数的框，计算它和其他框的重合度，去除IOU超过0.7的框，重复该步骤直到没有比当前预选框的IOU值0.7高的框，则将其作为最终结果；
步骤117：定义损失函数并训练车辆监测模型；损失函数定义为分类损失、定位损失和置信度损失之和：
Figure FDA0003736379250000025
以上公式中N表示类别总个数，xi为当前类别预测值，yi为经过激活函数后得到的当前类别的概率，
Figure FDA0003736379250000026
则为当前类别的真实值，为0或1，B表示预测框，Bgt表示真实框，ρ2(B，Bgt)为真实框和预测框中心点距离的平方，c2为闭包真实框和预测框最小框的对角线的平方，
Figure FDA0003736379250000031
为预测框和真实框长宽比例差值的归一化，其中wgt为真实框的宽，hgt为真实框的高，w为预测框的宽，h为预测框的高，α为权衡长宽比例造成的损失和IOU部分造成的损失的平衡因子，tn代表目标，即真实值，xn是车辆监测模型输出的值；
通过分析损失函数随着迭代次数的变化，判断其收敛性以评估训练得到的车辆监测模型；
步骤12：将监测到的车辆对象作为输入使用DeepSORT算法训练车辆跟踪模型；
步骤121：首先利用第一帧的各车辆监测框创建对应的tracker并设定其轨迹状态为非确定态完成初始化，然后使用卡尔曼滤波预测目标车辆在下一帧的位置：
xk＝Axk-1
pk＝Apk-1AT+Q
xk-1为目标的状态信息即
Figure FDA0003736379250000032
其中(u，v)是bounding box的中心坐标，γ是长宽比，h表示高度，其余四个变量
Figure FDA0003736379250000033
分别表示在图像坐标系中u、v、γ、h的速度变化值；pk-1为目标的估计误差，A为状态转移矩阵，Q为系统误差；
步骤122：使用匈牙利算法将步骤121得到的预测框和下一帧中的车辆监测框进行级联匹配和IOU匹配，利用匹配成功的轨迹信息对卡尔曼滤波中所有tracker的状态进行更新；
步骤123：根据步骤122得到的IOU匹配结果经由1-IOU计算代价矩阵，然后以此作为匈牙利算法的输入得到线性匹配结果；匹配成功则更新卡尔曼滤波的运动变量；车辆跟踪轨迹匹配失败但曾为确认态则失配大于30次后删除其ID和轨迹信息，否则直接删除；车辆观测量匹配失败则重新创建tracker；
步骤124：重复步骤122直至交通视频中的所有帧均比较完即结束；
步骤2：将训练好的车辆跟踪模型移植到边缘服务器上，通过架设在道路交通杆上的高分辨率摄像机收集交通视频数据并实时上传至边缘服务器；
步骤3：分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追踪；
步骤4：在边缘服务器上运用ViBe背景建模算法，完成交通流数据及拥堵程度指数的计算并上传云中心；
步骤5：将交通信息及拥堵程度在屏幕中展示。
2.根据权利要求1所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，所述步骤2具体包括：
步骤21：将训练好的车辆跟踪计数模型移植到边缘服务器上，在道路的交通杆上架设高分辨率摄像机，拍摄分辨率为608×608；
步骤22：摄像机将拍摄所得的视频通过socket上传至边缘服务器，并以二进制的形式存入边缘服务器的非易失存储器中。
3.根据权利要求2所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，所述步骤3具体包括：
步骤31：对车辆跟踪模型的计数速度进行监测，判断其是否达到实时；
步骤32：设置虚拟监测线圈，将其与DeepSORT输出的跟踪图相融合，便于后续获取期望的交通指标。
4.根据权利要求3所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，所述步骤32中根据车道数量，确定虚拟线圈的数量，每个车道加入一个虚拟线圈，如有三个车道，则需要三个虚拟线圈，共计有6条与车道垂直的虚拟直线；虚拟线圈的宽度，即两条虚拟直线间的距离为输入帧宽度的1/5。
5.根据权利要求4所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，所述步骤32中使用OpenCV中的add函数，将虚拟直线与DeepSORT输出的跟踪图相融合。
6.根据权利要求5所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，步骤4中所述交通流数据包括车流量、实时速度、车辆占有和排队长度。
7.根据权利要求6所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，步骤4中车流量的具体计算包括：
分析行驶轨迹的完整性，当w1≤u≤w2时匹配得到当前车道虚拟线圈的坐标，若v≥h2时车辆离开虚拟线圈的车道位置，计数车辆通过该位置的总次数即为车流量f，式中，(w1，h1)为虚拟线圈左上角的坐标，(w2，h2)为虚拟线圈右下角的坐标；车辆监测框的中心坐标(u，v)。
8.根据权利要求6所述的一种基于深度学习和边缘计算的交通流信息监测方法，其特征在于，步骤4中实时速度的具体计算包括：
分析行驶轨迹，假设行驶轨迹是直线行驶，在摄像机标定的基础上，计算车辆进入虚拟线圈的起点和离开虚拟线圈的终点之间的实际距离，再根据脉冲数据计算视频序列的时长tout-tin，即可得到实时速度
Figure FDA0003736379250000051
式中，tin为车辆监测框中心点进入虚拟线圈的时刻，tout为离开虚拟线圈的时刻；h为虚拟线圈宽度。
CN202111252738.3A 2021-10-27 2021-10-27 一种基于深度学习和边缘计算的交通流信息监测方法 Active CN114023062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111252738.3A CN114023062B (zh) 2021-10-27 2021-10-27 一种基于深度学习和边缘计算的交通流信息监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111252738.3A CN114023062B (zh) 2021-10-27 2021-10-27 一种基于深度学习和边缘计算的交通流信息监测方法

Publications (2)

Publication Number Publication Date
CN114023062A CN114023062A (zh) 2022-02-08
CN114023062B true CN114023062B (zh) 2022-08-19

Family

ID=80058212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111252738.3A Active CN114023062B (zh) 2021-10-27 2021-10-27 一种基于深度学习和边缘计算的交通流信息监测方法

Country Status (1)

Country Link
CN (1) CN114023062B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627447A (zh) * 2022-03-10 2022-06-14 山东大学 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN114724063B (zh) * 2022-03-24 2023-02-24 华南理工大学 一种基于深度学习的公路交通事件检测方法
CN114783181B (zh) * 2022-04-13 2023-04-28 江苏集萃清联智控科技有限公司 一种基于路侧感知的交通流量统计方法和装置
CN114973694B (zh) * 2022-05-19 2024-05-24 杭州中威电子股份有限公司 一种基于巡检机器人的隧道车流量监测系统及其方法
CN116645810B (zh) * 2023-05-22 2024-06-07 南京理工大学 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法
CN116543563A (zh) * 2023-07-07 2023-08-04 深圳市国硕宏电子有限公司 一种基于云计算和深度学习的数据分析方法
CN117975734A (zh) * 2024-03-29 2024-05-03 松立控股集团股份有限公司 一种基于多目标跟踪的道路交通状态预测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750618B2 (en) * 2012-01-31 2014-06-10 Taif University Method for coding images with shape and detail information
CN102768804B (zh) * 2012-07-30 2014-03-26 江苏物联网研究发展中心 基于视频的交通信息采集方法
CN107992837A (zh) * 2017-12-12 2018-05-04 公安部交通管理科学研究所 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN108550258B (zh) * 2018-03-29 2021-01-08 东软集团股份有限公司 车辆排队长度检测方法、装置、存储介质和电子设备
CN111797738A (zh) * 2020-06-23 2020-10-20 同济大学 基于视频识别的多目标交通行为快速提取方法
CN112700470B (zh) * 2020-12-30 2023-12-08 上海智能交通有限公司 一种基于交通视频流的目标检测和轨迹提取方法
CN113160283B (zh) * 2021-03-23 2024-04-16 河海大学 一种基于sift的多摄像头场景下的目标跟踪方法
CN113537170A (zh) * 2021-09-16 2021-10-22 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种交通路况智能监测方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN114023062A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110796168B (zh) 一种基于改进YOLOv3的车辆检测方法
CN106971563B (zh) 智能交通信号灯控制方法及系统
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
CN113223059B (zh) 基于超分辨率特征增强的弱小空域目标检测方法
CN112101433A (zh) 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN111598030A (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN109409252A (zh) 一种基于改进型ssd网络的车辆行人多目标检测方法
CN113591380B (zh) 基于图高斯过程的交通流预测方法、介质及设备
CN108389421B (zh) 基于图像再识别的停车场精确诱导系统及方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN110807924A (zh) 基于全量全样实时交通数据的多参数融合方法及系统
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
Meng et al. Video‐Based Vehicle Counting for Expressway: A Novel Approach Based on Vehicle Detection and Correlation‐Matched Tracking Using Image Data from PTZ Cameras
CN106384359A (zh) 运动目标跟踪方法和电视
CN115143950A (zh) 一种智能汽车局部语义栅格地图生成方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN117911829B (zh) 车辆导航的点云图像融合方法及系统
CN103605960B (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN117929703A (zh) 基于人脸检测功能的酒精浓度快速检测棒监测预警系统
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant