CN109147331A - 一种基于计算机视觉的道路拥堵状态检测方法 - Google Patents

一种基于计算机视觉的道路拥堵状态检测方法 Download PDF

Info

Publication number
CN109147331A
CN109147331A CN201811183883.9A CN201811183883A CN109147331A CN 109147331 A CN109147331 A CN 109147331A CN 201811183883 A CN201811183883 A CN 201811183883A CN 109147331 A CN109147331 A CN 109147331A
Authority
CN
China
Prior art keywords
traffic
vehicle
congestion
training
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811183883.9A
Other languages
English (en)
Other versions
CN109147331B (zh
Inventor
张志梅
赵益
刘堃
王常颖
王国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN201811183883.9A priority Critical patent/CN109147331B/zh
Publication of CN109147331A publication Critical patent/CN109147331A/zh
Application granted granted Critical
Publication of CN109147331B publication Critical patent/CN109147331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于道路交通运行状态检测与控制技术领域,涉及一种基于计算机视觉的道路拥堵状态检测方法;其具体工艺步骤为:先将采集大量图像处理后形成的数据集进行分类标记作为神经网络训练的训练集,再将数据集采用迁移模型训练方法构建一个卷积神经网络,然后通过卷积神经网络对截取的实时交通监控视频图像进行分类,判断车辆密度状态,最后使用光流算法计算光流场,从而判断交通拥堵状态;所述检测方法设计原理科学,信息采集准确,识别图像准确率达98%以上,监控效果好,成本低且效果好,计算数据的方法简单,判断准确率高,应用方便,能够有效的判断实时的交通状态。

Description

一种基于计算机视觉的道路拥堵状态检测方法
技术领域:
本发明属于道路交通运行状态检测与控制技术领域,涉及一种集人工智能、卷积神经网络与图像处理一体的检测方法,特别是一种基于计算机视觉的道路拥堵状态检测方法。
背景技术:
近年来,利用光流技术进行动态检测的研究越来越多,同时也取得了较好的成果;光流(opticalflow)是空间运动物体在观测成像面上像素点运动的瞬时速度,利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应运动关系;实际上可以将光流矢量定义为二维图像平面特定坐标点上灰度的瞬时变化率,表示图像灰度模式的表观运动,是一个二维矢量场,光流失量的全体构成光流场,包含各像素点的瞬时运动速度矢量信息;由于像素点运动中隐含了目标运动的信息,因此光流场的分析可被用来确定目标的运动情况。
现有技术的光流计算方法主要分为以下几类:基于梯度的方法、基于区域的匹配法、基于能量的方法和基于相位的方法;其中最经典的方法就是Horn-Schunck算法和Lucas-Kanade算法,其他的大多数算法都是建立在这两种算法的基础之上;Horn-Schunck方法认为图像序列中同一运动物体引起的光流场是连续和平滑的,从而引入了对光流的平滑性约束,将光流求解的病态问题转化为求解凸函数的最小值问题,属于全局方法,是一种稠密光流的计算方法;而Lucas-Kanade方法则是通过在小的局部区域内运用加权最小二乘法求解光流,属于局部匹配方法,是一种稀疏光流的计算方法;虽然稀疏光流计算速度比稠密光流计算速度快,但稀疏光流只计算感兴趣点周围的光流场,稠密光流法计算每一个像素点的光流值,计算速度随着计算机的发展已经得到提升。
随着社会经济的快速发展,城市机动车数量迅速增加,随之而来的便是城市道路交通的拥堵问题,车辆拥堵问题几乎在每个现代化城市都有不同程度的体现,尽管道路规划管理在不断进步,但是大多数城市仍然承受着巨大的交通车流量带来的拥堵问题;交通拥堵导致自然环境恶化,能源大量浪费,事故频发,而且严重制约了城市继续向现代化建设的发展;所以,能够及时的采集到交通拥堵状态信息,对于合理规划城市资源,及时的进行道路疏通和控制,有着非常关键的作用;现有的道路交通拥堵检测方法主要运用GPS的定位采集技术,基于电子标签的定位采集技术、感应线圈检测或微波检测等;但这些传统方法有一定的缺陷,如需要机动车主的授权,或成本高、破坏路面和难以维修等;随着交通监控系统和电子信息技术的迅速发展,利用交通摄像头作为传感器,通过图像处理算法进行分析,可得到车流量,车流速度等交通信息;这种方法安装和维护都比较方便,且可以提供大量的交通管理信息。
近年来在智能交通管理领域,计算机视觉的应用更加普遍;计算机视觉融合了机器学习、图像处理和模式识别等多种学科,使得智能交通离我们的生活越来越近。随着深度学习的不断发展,卷积神经网络的发展成为图像识别方面最突出的进步,卷积神经网络使用图像作为输入,通过卷积层与采样层的交替堆叠对原始图像进行特征提取,得到图像的一般化抽象表示,再通过分类器进行分类得到输出结果;机器学习过程中完全自动、无需人工干预的特点是其具有应用潜力的最大优势,近年来通过海量样本集训练得到的深度卷积神经网络模型已经在速度、识别准确率等性能上达到了前所未有的高度。
在现有技术中,与传统机器学习算法相比,卷积神经网络训练需要花费大量时间,且容易过拟合;所以为了加快训练过程,防止过拟合情况的发生,使用迁移学习的方法进行训练,能在保证精度的基础上有效的解决该问题;针对图像识别任务,即使不同图像内容差异巨大,但在卷积神经网络的低层表示中都由边缘、纹理和颜色等细节构成,对于这类任务,模型的特征抽象能力是可以共用的;卷积神经网络的迁移学习主要涉及参数迁移,即认为可将源模型所具有的特征提取能力作为先验知识迁移至目标域,使新模型快速获得低层过滤能力,再通过高层的自适应训练调整,进一步完善对图像具体语义的概括能力,从而完成新的识别任务。
在现有技术中,公开号为CN101807345B的中国发明专利,公开了一种基于视频检测技术的交通拥堵判别方法,利用数字图像处理技术通过对交通视频图像建立背景模型、对背景模型提取前景和前景去噪、计算道路占有率、建立交通拥堵判别模型四个步骤完成交通拥堵状态的判别。但是建立背景模型的方法很难试用于各种复杂的道路场景,当背景模型建立的有偏差时,相对的交通拥堵情况也就不能很好的反应;公开号为CN103150900B的中国发明专利,公开了一种基于视频的交通拥堵事件自动检测方法,该方法基于视频检测设备,获取检测点的实时交通参数信息并传输给后台服务器进行存储,再利用自动检测处理设备提取历史数据进行聚类分析,然后自动判定当前的交通拥堵事件。然而聚类算法的重心难以选定,有时异常点出现时也会导致聚类算法的准确度下降,拥堵情况检测也就会出现偏差。鉴于此,提出一种基于深度学习和光流计算方法的道路拥堵状态检测方法。
发明内容:
本发明的发明目的在于克服现有技术的缺点,拟解决城市交通拥堵问题,使有关部门能够及时的采集交通拥堵信息,设计一种实时性好,准确性高,且成本低的基于计算机视觉的道路拥堵状态检测方法。
为了实现上述目的,本发明涉及的基于计算机视觉的道路拥堵状态检测方法,具体工艺在装有配套软件的计算机系统中实现,主要包括以下步骤:
步骤1:截取交通监控图像:利用现有的道路交通监控系统,从城市交通道路监控视频中每5秒截取一张交通监控图像,将采集大量图像处理后作为数据集;并将数据集标记为三类:车辆较少、车辆较多和车辆密集,作为神经网络训练的训练集;
步骤2:构建卷积神经网络:针对三类车辆密度状态的数据集,采用迁移模型训练方法构建一个卷积神经网络,实现对三类交通车辆密度状态的准确识别,形成训练成熟的卷积神经网络;
步骤3:判断车辆密度状态:将实时的交通监控视频,每隔5秒截取一帧图像送入所述步骤2中训练成熟的卷积神经网络,获得当前交通车辆密集程度,卷积神经网络对传入的图像进行分类,判断其状态为车辆稀少,车辆较多还是车辆密集;如果判断结果为车辆稀少,则交通为非拥堵状态,系统正常运行,否则进入步骤4;
步骤4:计算光流值并判断车辆速度:在车辆较多和车辆密集的情况下,使用Horn-Schunck光流算法,计算所述步骤3中交通视频截取图像序列中像素点在当前帧与后一帧之间形成的运动速度矢量,判断当前交通真实的车流速度情况;或当卷积神经网络判断当前交通情况为车辆较多和车辆密集时,使用光流算法计算一次截取的视频图像序列中当前帧与后一帧之间的光流场,从而判断交通拥堵状态;而当判断结果为车辆稀少时,则默认此时交通是不拥堵状态;从而获得交通的拥堵情况,实现对道路拥堵状态的检测。
本发明所述神经网络训练的训练集具体实现步骤为:
(1)在城市道路的不同路况的交通监控视频中进行截取,获得大量RGB格式图像,再统一调整为224*224*3的尺寸;
(2)计算出数据集中所有图像RGB三个通道的均值,再对输入数据进行0均值标准化处理;
(3)根据图像中车辆密度分三类进行标记,标记类别为:车辆稀少、车辆较多和车辆密集,作为训练好的神经网络训练集。
本发明所述步骤2的迁移模型训练方法,以使用ImageNet数据集训练出的vgg16模型作为基础,将全连接层以上的卷积层和池化层保留参数进行迁移;然后使用训练好的神经网络训练集作为输入,获取在ImageNet上已训练成熟的VGG16网络中的卷积部分输出,从而利用这个输出预训练一个全连接网络;将迁移过来的卷积层与预训练好的全连接层进行对接,开始模型训练,在训练过程中冻结VGG16迁移过来的卷积层的参数,只对全连接层参数进行微调;所述的迁移模型共包含1个输入层,13个卷积层、5个最大池化层,2个全连接层和一个输出层;卷积层之前为输入层;第1-2层卷积层中卷积滤波器个数为64,大小为3×3;第3-4层卷积层中的卷积滤波器个数为128,大小为3×3;第5-7层卷积层中的卷积滤波器个数为256,大小为3×3;第8-13层卷积层中的卷积滤波器个数为512,大小为3×3;第14-15层为全连接层,对应的节点个数分别为:256、128;最后输出层为softmax分类器,节点个数为3,即我们所需要的交通密度分类数;最大池化层位于第2、第4、第7、第13层之后,池化区域大小为2×2;卷积和池化步长都为1。
本发明所述的步骤4中所述光流算法基于以下两个图像假设:(1)任何物体点所观察到的灰度对时间恒定不变;(2)图像平面内的临近点移动方式相同;交通监控视频图像符合这两条条件;设在t时刻像素点(x,y)处的灰度值为I(x,y,t);在t+△t时刻,该像素点更新到位置(x+△x,y+△y),灰度值为I(x+Δx,y+Δy,t+Δt);根据上面两个图像假设可知:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt)
用泰勒公式展开得到:
设u和v分别表示该点的光流矢量沿x和y方向的分量,且:
忽略高次项得到:
即:Ixu+Iyv+It=0为光流场的基本方程,其中Ix、Iy、It分别为像素点的灰度值沿x,y,t三个方向的偏导数,故此式子写成矢量的形式:
其中表示梯度方向,U=(u,v)T表示光流;由于光流有两个变量,而只有光流场基本方程一个约束条件,所以光流无法唯一确定,则使用Horn-Schunck光流算法提出的全局平滑性假设来求解;其中,Horn-Schunck光流算法是一种用光流的全局平滑性假设来求解光流的方法;该算法具有容易实现、计算复杂度较低、能够得到精确的顺势位置速度等优点;全局平滑性约束因子定义为:
光流基本方程约束是指光流场偏离基本方程的误差最小,光流约束因子定义为:
定义目标函数:
E=∫∫(Ec+λEs)dxdy
其中λ(λ≥0)是平滑度的约束参数,λ越大对其平滑约束的效果也越大;根据上述理论求解出的光流场应使上述目标函数式达到最小值,即全局平滑约束因子Es和光流约束因子Ec都达到最小值,或极小化;分别对E求u,v的偏微分得:
当上式的偏微分等于0时,得下式的最小函数值,得到:
联立两式求得u,v即:
其中n代表迭代次数,光流初始值u(0),v(0)为0;
根据所得的该像素点沿X轴和Y轴的速度矢量u、v,求模:
x表示像素点的位移值;根据监控视频图像中实际距离与像素距离的比值xi,计算像素移动的实际距离xt
xt=xi·x
监控视频的帧率为f,则帧间时间差t为:
得到像素点的实际速度v为:
监控视频图像所有像素点个数为n,则求得所有像素的平均速度:
根据的速度大小,则判断此时交通的拥堵情况,当小于10km/H时,判断交通状态为拥堵;当大于10km/H时,判断交通状态为非拥堵,实现基于计算机视觉的道路拥堵状态的检测。
本发明与现有技术相比,所述的基于计算机视觉的道路拥堵状态检测方法通过交通监视视频能够自动判断交通拥堵情况,成本低且效果好;基于迁移学习的方法构造卷积神经网络,保留大型数据集训练出来的特征提取层,并使用小型数据集预训练一个全连接层,最后对接两部分进行微调,训练速度快,所需数据集规模小,且不容易过拟合,识别图像准确率达98%以上,在卷积神经网络判断车辆较多或车辆密集时才使用光流计算判断速度信息,节省了不必要的资源消耗;而且,使用Horn-Schunck算法计算监控视频像素点的平均速度,获得速度信息准确,能有效的判断实时的交通状态;其设计原理科学合理,信息采集准确,分辨率高,计算数据的方法简单,判断准确率高,效果好,应用方便,监控效果好。
附图说明:
图1为本发明涉及的城市交通中道路拥堵状态检测工艺流程示意框图。
图2为本发明涉及的vgg16迁移模型结构原理示意框图。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例1:
本实施例涉及一种具体的基于计算机视觉的道路拥堵状态检测过程,具体包括以下步骤:
步骤1:截取交通监控图像:利用现有的道路交通监控系统,先在城市不同路况的交通监控视频中进行截取,每5秒截取一张交通监控图像,获得大量RGB格式图像,统一调整为224*224*3的尺寸,并计算出所有图像RGB三个通道的均值,对输入数据进行0均值标准化处理作为数据集;并将数据集标记为三类:车辆较少、车辆较多和车辆密集,作为神经网络训练的训练集;
步骤2:构建卷积神经网络:针对三类车辆密度状态,使用迁移模型训练方法构建一个卷积神经网络,使其具有对三类车辆密度状态准确识别的能力,形成训练成熟的卷积神经网络;
具体的,迁移模型训练方法采用ImageNet数据集训练出的vgg16模型作为基础,将全连接层以上的卷积层和池化层保留参数进行迁移;然后使用训练成熟的神经网络训练集作为输入,获取在ImageNet上已训练好的VGG16网络中的卷积部分输出,从而利用这个输出预训练一个全连接网络;将迁移过来的卷积层与预训练好的全连接层进行对接,开始模型训练,在训练过程中冻结VGG16迁移过来的卷积层的参数,只对全连接层参数进行微调;其中,迁移模型结构如图2所示,共包含1个输入层,13个卷积层、5个最大池化层,2个全连接层及一个输出层;卷积层之前为输入层;第1-2层卷积层中卷积滤波器(大小为3×3)个数为64;第3-4层卷积层中的卷积滤波器(大小为3×3)个数为128;第5-7层卷积层中的卷积滤波器(大小为3×3)个数为256;第8-13层卷积层中的卷积滤波器(大小为3×3)个数为512;第14-15层为全连接层,对应的节点个数分别为:256、128;最后输出层为softmax分类器,节点个数为3,即我们所需要的交通密度分类数;最大池化层位于第2、第4、第7、第13层之后,池化区域大小为2×2;卷积和池化步长都为1。
步骤3:判断车辆密度状态:将实时的交通监控视频,每隔5秒截取一帧图像送入所述步骤2中训练成熟的卷积神经网络,获得当前交通车辆密集程度,卷积神经网络对传入的图像进行分类,判断其状态为车辆稀少,车辆较多还是车辆密集;如果判断结果为车辆稀少,则交通为非拥堵状态,系统正常运行,否则进入步骤4;
步骤4:计算光流值并判断车辆速度:在车辆较多和车辆密集的情况下,使用Horn-Schunck光流算法,计算步骤3中交通视频截取图像序列中像素点在当前帧与后一帧之间形成的运动速度矢量,判断当前交通真实的车流速度情况;或当卷积神经网络判断当前交通情况为车辆较多和车辆密集时,使用光流算法计算一次截取的视频图像序列中当前帧与后一帧之间的光流场,从而判断交通拥堵状态;而当判断结果为车辆稀少时,则默认此时交通是不拥堵状态;从而获得交通的拥堵情况,实现对道路拥堵状态的检测。
本实施例涉及的光流算法基于以下两个图像假设:(1)任何物体点所观察到的灰度对时间恒定不变,(2)图像平面内的临近点移动方式相同;交通监控视频图像符合这两条条件;设在t时刻像素点(x,y)处的灰度值为I(x,y,t);在t+△t时刻,该像素点更新到位置(x+△x,y+△y),灰度值为I(x+Δx,y+Δy,t+Δt);根据上面两个图像假设可知:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt)
用泰勒公式展开得到:
设u和v分别表示该点的光流矢量沿x和y方向的分量,且:
忽略高次项得到:
即:Ixu+Iyv+It=0为光流场的基本方程,其中Ix、Iy、It分别为像素点的灰度值沿x,y,t三个方向的偏导数,故此式子写成矢量的形式:
其中表示梯度方向,U=(u,v)T表示光流;由于光流有两个变量,而只有光流场基本方程一个约束条件,所以光流无法唯一确定,则使用Horn-Schunck光流算法提出的全局平滑性假设来求解;其中,Horn-Schunck光流算法是一种用光流的全局平滑性假设来求解光流的方法;该算法具有容易实现、计算复杂度较低、能够得到精确的顺势位置速度等优点;全局平滑性约束因子定义为:
光流基本方程约束是指光流场偏离基本方程的误差最小,光流约束因子定义为:
定义目标函数:
E=∫∫(Ec+λEs)dxdy
其中λ(λ≥0)是平滑度的约束参数,λ越大对其平滑约束的效果也越大;根据上述理论求解出的光流场应使上述目标函数式达到最小值,即全局平滑约束因子Es和光流约束因子Ec都达到最小值,或极小化;分别对E求u,v的偏微分得:
当上式的偏微分等于0时,得下式的最小函数值,得到:
联立两式求得u,v即:
其中n代表迭代次数,光流初始值u(0),v(0)为0;
根据所得的该像素点沿X轴和Y轴的速度矢量u、v,求模:
x表示像素点的位移值;根据监控视频图像中实际距离与像素距离的比值xi,计算像素移动的实际距离xt
xt=xi·x
监控视频的帧率为f,则帧间时间差t为:
得到像素点的实际速度v为:
监控视频图像所有像素点个数为n,则求得所有像素的平均速度:
根据的速度大小,则判断此时交通的拥堵情况,当小于10km/H时,判断交通状态为拥堵;当大于10km/H时,判断交通状态为非拥堵,实现基于计算机视觉的道路拥堵状态的检测。
本实施例涉及的基于计算机视觉的道路拥堵状态检测方法,在青岛市麦岛路与高雄路叉口处、香港东路和香港中路等拥堵路口实验,通过摄像设备采集交通状况,分析所得交通状态结果准确,通讯及时,交通部门能够及时的获取交通拥堵信息,行人也能够实时查看接收该路段的交通状态,从而合理安排自己的出行,给人们的生活带来了极大的方便;同时交警部门依据检测的连续数据对被检测处的交通信号控制时序和摄像设备位置进行调整,实现了对道路交叉路口处的道路运行调控,其平时通行率提高10-15%,上下班时通行率提高5-8%。

Claims (4)

1.一种基于计算机视觉的道路拥堵状态检测方法,其特征在于:具体工艺步骤为:
步骤1:截取交通监控图像:利用现有的道路交通监控系统,从城市交通道路监控视频中每5秒截取一张交通监控图像,将采集大量图像处理后作为数据集;并将数据集标记为三类:车辆较少、车辆较多和车辆密集,作为神经网络训练的训练集;
步骤2:构建卷积神经网络:针对三类车辆密度状态的数据集,采用迁移模型训练方法构建一个卷积神经网络,实现对三类交通车辆密度状态的准确识别,形成训练成熟的卷积神经网络;
步骤3:判断车辆密度状态:将实时的交通监控视频,每隔5秒截取一帧图像送入所述步骤2中训练成熟的卷积神经网络,获得当前交通车辆密集程度,卷积神经网络对传入的图像进行分类,判断其状态为车辆稀少,车辆较多还是车辆密集;如果判断结果为车辆稀少,则交通为非拥堵状态,系统正常运行,否则进入步骤4;
步骤4:计算光流值并判断车辆速度:在车辆较多和车辆密集的情况下,使用Horn-Schunck光流算法,计算所述步骤3中交通视频截取图像序列中像素点在当前帧与后一帧之间形成的运动速度矢量,判断当前交通真实的车流速度情况;或当卷积神经网络判断当前交通情况为车辆较多和车辆密集时,使用光流算法计算一次截取的视频图像序列中当前帧与后一帧之间的光流场,从而判断交通拥堵状态;而当判断结果为车辆稀少时,则默认此时交通是不拥堵状态;从而获得交通的拥堵情况,实现对道路拥堵状态的检测。
2.根据权利要求1所述的基于计算机视觉的道路拥堵状态检测方法,其特征在于:所述神经网络训练的训练集具体实现步骤为:
(1)在城市道路的不同路况的交通监控视频中进行截取,获得大量RGB格式图像,再统一调整为224*224*3的尺寸;
(2)计算出数据集中所有图像RGB三个通道的均值,再对输入数据进行0均值标准化处理;
(3)根据所有图像处理后的数据对车辆密度分三类进行标记,标记类别为:车辆稀少、车辆较多和车辆密集,作为训练好的神经网络训练集。
3.根据权利要求1所述的基于计算机视觉的道路拥堵状态检测方法,其特征在于:所述迁移模型训练方法采用ImageNet数据集训练出的vgg16模型作为基础,将全连接层以上的卷积层和池化层保留参数进行迁移;然后使用训练好的神经网络训练集作为输入,获取在ImageNet上已训练成熟的VGG16网络中的卷积部分输出,从而利用这个输出预训练一个全连接网络;将迁移过来的卷积层与预训练好的全连接层进行对接,开始模型训练,在训练过程中冻结VGG16迁移过来的卷积层的参数,只对全连接层参数进行微调;所述的迁移模型共包含1个输入层,13个卷积层、5个最大池化层,2个全连接层和一个输出层;卷积层之前为输入层;第1-2层卷积层中卷积滤波器个数为64,大小为3×3;第3-4层卷积层中的卷积滤波器个数为128,大小为3×3;第5-7层卷积层中的卷积滤波器个数为256,大小为3×3;第8-13层卷积层中的卷积滤波器个数为512,大小为3×3;第14-15层为全连接层,对应的节点个数分别为:256、128;最后输出层为softmax分类器,节点个数为3,即我们所需要的交通密度分类数;最大池化层位于第2、第4、第7、第13层之后,池化区域大小为2×2;卷积和池化步长都为1。
4.根据权利要求1所述的基于计算机视觉的道路拥堵状态检测方法,其特征在于:所述光流算法基于以下两个图像假设:(1)任何物体点所观察到的灰度对时间恒定不变;(2)图像平面内的临近点移动方式相同;交通监控视频图像符合这两条条件;设在t时刻像素点(x,y)处的灰度值为I(x,y,t);在t+△t时刻,该像素点更新到位置(x+△x,y+△y),灰度值为I(x+Δx,y+Δy,t+Δt);根据上面两个图像假设可知:
I(x,y,t)=I(x+Δx,y+Δy,t+Δt)
用泰勒公式展开得到:
设u和v分别表示该点的光流矢量沿x和y方向的分量,且:
忽略高次项得到:
即:Ixu+Iyv+It=0为光流场的基本方程,其中Ix、Iy、It分别为像素点的灰度值沿x,y,t三个方向的偏导数,故此式子写成矢量的形式:
其中表示梯度方向,U=(u,v)T表示光流;由于光流有两个变量,而只有光流场基本方程一个约束条件,所以光流无法唯一确定,则使用Horn-Schunck光流算法提出的全局平滑性假设来求解;其中,Horn-Schunck光流算法是一种用光流的全局平滑性假设来求解光流的方法;该算法具有容易实现、计算复杂度较低、能够得到精确的顺势位置速度等优点;全局平滑性约束因子定义为:
光流基本方程约束是指光流场偏离基本方程的误差最小,光流约束因子定义为:
定义目标函数:
E=∫∫(Ec+λEs)dxdy
其中λ(λ≥0)是平滑度的约束参数,λ越大对其平滑约束的效果也越大;根据上述理论求解出的光流场应使上述目标函数式达到最小值,即全局平滑约束因子Es和光流约束因子Ec都达到最小值,或极小化;分别对E求u,v的偏微分得:
当上式的偏微分等于0时,得下式的最小函数值,得到:
联立两式求得u,v即:
其中n代表迭代次数,光流初始值u(0),v(0)为0;
根据所得的该像素点沿X轴和Y轴的速度矢量u、v,求模:
x表示像素点的位移值;根据监控视频图像中实际距离与像素距离的比值xi,计算像素移动的实际距离xt
xt=xi·x
监控视频的帧率为f,则帧间时间差t为:
得到像素点的实际速度v为:
监控视频图像所有像素点个数为n,则求得所有像素的平均速度:
根据的速度大小,则判断此时交通的拥堵情况,当小于10km/H时,判断交通状态为拥堵;当大于10km/H时,判断交通状态为非拥堵,实现基于计算机视觉的道路拥堵状态的检测。
CN201811183883.9A 2018-10-11 2018-10-11 一种基于计算机视觉的道路拥堵状态检测方法 Active CN109147331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811183883.9A CN109147331B (zh) 2018-10-11 2018-10-11 一种基于计算机视觉的道路拥堵状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811183883.9A CN109147331B (zh) 2018-10-11 2018-10-11 一种基于计算机视觉的道路拥堵状态检测方法

Publications (2)

Publication Number Publication Date
CN109147331A true CN109147331A (zh) 2019-01-04
CN109147331B CN109147331B (zh) 2021-07-27

Family

ID=64811031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811183883.9A Active CN109147331B (zh) 2018-10-11 2018-10-11 一种基于计算机视觉的道路拥堵状态检测方法

Country Status (1)

Country Link
CN (1) CN109147331B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949581A (zh) * 2019-04-11 2019-06-28 浙江无极互联科技有限公司 一种基于计算机视觉的道路状态判断方法
CN110084112A (zh) * 2019-03-20 2019-08-02 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN110136435A (zh) * 2019-04-17 2019-08-16 青岛大学 一种多感染阈值、多传播并存的拥堵网络化传播模型
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
CN110390822A (zh) * 2019-05-31 2019-10-29 东南大学 基于fbg传感器及卷积神经网络的桥梁车流量统计方法
CN110674887A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于视频分类的端到端道路拥堵检测算法
CN110688922A (zh) * 2019-09-18 2020-01-14 苏州奥易克斯汽车电子有限公司 基于深度学习的交通拥堵检测系统及检测方法
CN111027447A (zh) * 2019-12-04 2020-04-17 浙江工业大学 一种基于深度学习的道路溢出实时检测方法
CN111695627A (zh) * 2020-06-11 2020-09-22 腾讯科技(深圳)有限公司 路况检测方法、装置、电子设备及可读存储介质
WO2021005590A1 (en) * 2019-07-05 2021-01-14 Valerann Ltd. Traffic event and road condition identification and classification
CN112329515A (zh) * 2020-09-11 2021-02-05 博云视觉(北京)科技有限公司 一种高点视频监控拥堵事件检测方法
CN112818935A (zh) * 2021-03-02 2021-05-18 南京邮电大学 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN113076893A (zh) * 2021-04-09 2021-07-06 太原理工大学 一种基于深度学习的高速公路疏水管堵塞态势感知方法
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN113269807A (zh) * 2020-02-17 2021-08-17 株式会社日立制作所 对物体辨识模型的沿用可否进行判定的系统及方法
CN113297878A (zh) * 2020-02-21 2021-08-24 百度在线网络技术(北京)有限公司 道路交叉口识别方法、装置、计算机设备和存储介质
CN113343905A (zh) * 2021-06-28 2021-09-03 山东理工大学 道路异常智能识别模型训练、道路异常识别的方法及系统
WO2021208122A1 (zh) * 2020-04-15 2021-10-21 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
CN113538903A (zh) * 2021-06-21 2021-10-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN114822043A (zh) * 2022-06-29 2022-07-29 长沙海信智能系统研究院有限公司 道路拥堵检测方法、装置及电子设备
CN118196148A (zh) * 2024-05-20 2024-06-14 创旗技术有限公司 一种基于ai的图形审计的方法

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710448A (zh) * 2009-12-29 2010-05-19 浙江工业大学 基于全方位计算机视觉的道路交通状态检测装置
CN101923778A (zh) * 2009-09-11 2010-12-22 中山大学 一种基于视频的高速公路交通拥堵状态检测方法
CN102254428A (zh) * 2011-04-28 2011-11-23 崔志明 一种基于视频处理的交通拥塞检测方法
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN103824114A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于截面流量统计的行人流量计数方法和系统
CN104658272A (zh) * 2015-03-18 2015-05-27 哈尔滨工程大学 一种基于双目立体视觉的道路车流量统计与测速方法
CN104778846A (zh) * 2015-03-26 2015-07-15 南京邮电大学 一种基于计算机视觉的交通信号灯控制方法
CN105513378A (zh) * 2015-12-21 2016-04-20 宇龙计算机通信科技(深圳)有限公司 一种车联网的方法、装置及系统
CN105608431A (zh) * 2015-12-22 2016-05-25 杭州中威电子股份有限公司 一种基于车辆数目与车流速度的高速公路拥堵检测方法
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106355884A (zh) * 2016-11-18 2017-01-25 成都通甲优博科技有限责任公司 一种基于车型分类的高速公路车辆引导系统及方法
CN107180530A (zh) * 2017-05-22 2017-09-19 北京航空航天大学 一种基于深度时空卷积循环网络的路网状态预测方法
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN107274668A (zh) * 2016-04-06 2017-10-20 北京瑞拓电子技术发展有限公司 一种基于车辆检测的道路拥堵建模方法
WO2018030772A1 (ko) * 2016-08-10 2018-02-15 중앙대학교 산학협력단 감응식 교통 신호 제어 방법 및 그 장치
CN107705560A (zh) * 2017-10-30 2018-02-16 福州大学 一种融合视觉特征和卷积神经网络的道路拥堵检测方法
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
CN107798876A (zh) * 2017-11-07 2018-03-13 上海炬宏信息技术有限公司 基于事件的道路交通异常拥堵判断方法
CN108280995A (zh) * 2017-12-29 2018-07-13 广州斯沃德科技有限公司 车联网的路况数据处理方法、装置和计算机设备
CN108346293A (zh) * 2018-04-18 2018-07-31 湖南大学 一种实时交通流短时预测方法
CN108550259A (zh) * 2018-04-19 2018-09-18 何澜 道路拥堵判断方法、终端设备及计算机可读存储介质
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923778A (zh) * 2009-09-11 2010-12-22 中山大学 一种基于视频的高速公路交通拥堵状态检测方法
CN101710448A (zh) * 2009-12-29 2010-05-19 浙江工业大学 基于全方位计算机视觉的道路交通状态检测装置
CN102254428A (zh) * 2011-04-28 2011-11-23 崔志明 一种基于视频处理的交通拥塞检测方法
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN103824114A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于截面流量统计的行人流量计数方法和系统
CN104658272A (zh) * 2015-03-18 2015-05-27 哈尔滨工程大学 一种基于双目立体视觉的道路车流量统计与测速方法
CN104778846A (zh) * 2015-03-26 2015-07-15 南京邮电大学 一种基于计算机视觉的交通信号灯控制方法
CN105513378A (zh) * 2015-12-21 2016-04-20 宇龙计算机通信科技(深圳)有限公司 一种车联网的方法、装置及系统
CN105608431A (zh) * 2015-12-22 2016-05-25 杭州中威电子股份有限公司 一种基于车辆数目与车流速度的高速公路拥堵检测方法
CN107274668A (zh) * 2016-04-06 2017-10-20 北京瑞拓电子技术发展有限公司 一种基于车辆检测的道路拥堵建模方法
WO2018030772A1 (ko) * 2016-08-10 2018-02-15 중앙대학교 산학협력단 감응식 교통 신호 제어 방법 및 그 장치
CN106297297A (zh) * 2016-11-03 2017-01-04 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106355884A (zh) * 2016-11-18 2017-01-25 成都通甲优博科技有限责任公司 一种基于车型分类的高速公路车辆引导系统及方法
CN107180530A (zh) * 2017-05-22 2017-09-19 北京航空航天大学 一种基于深度时空卷积循环网络的路网状态预测方法
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN107705560A (zh) * 2017-10-30 2018-02-16 福州大学 一种融合视觉特征和卷积神经网络的道路拥堵检测方法
CN107798876A (zh) * 2017-11-07 2018-03-13 上海炬宏信息技术有限公司 基于事件的道路交通异常拥堵判断方法
CN108280995A (zh) * 2017-12-29 2018-07-13 广州斯沃德科技有限公司 车联网的路况数据处理方法、装置和计算机设备
CN108346293A (zh) * 2018-04-18 2018-07-31 湖南大学 一种实时交通流短时预测方法
CN108550259A (zh) * 2018-04-19 2018-09-18 何澜 道路拥堵判断方法、终端设备及计算机可读存储介质
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张文祥: "基于光流的物体移动速度检测技术", 《机械工程师》 *
段萌: "基于卷积神经网络的图像识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
罗志敏: "Traffic Analytics With Low-Frame-Rate Videos", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
计文平: "基于虚拟线圈的光流法车流量检测", 《计算机仿真》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084112A (zh) * 2019-03-20 2019-08-02 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN110084112B (zh) * 2019-03-20 2022-09-20 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN109949581A (zh) * 2019-04-11 2019-06-28 浙江无极互联科技有限公司 一种基于计算机视觉的道路状态判断方法
CN110136435A (zh) * 2019-04-17 2019-08-16 青岛大学 一种多感染阈值、多传播并存的拥堵网络化传播模型
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
CN110390822A (zh) * 2019-05-31 2019-10-29 东南大学 基于fbg传感器及卷积神经网络的桥梁车流量统计方法
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
WO2021005590A1 (en) * 2019-07-05 2021-01-14 Valerann Ltd. Traffic event and road condition identification and classification
CN110688922A (zh) * 2019-09-18 2020-01-14 苏州奥易克斯汽车电子有限公司 基于深度学习的交通拥堵检测系统及检测方法
CN110674887A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于视频分类的端到端道路拥堵检测算法
CN111027447B (zh) * 2019-12-04 2024-01-23 浙江工业大学 一种基于深度学习的道路溢出实时检测方法
CN111027447A (zh) * 2019-12-04 2020-04-17 浙江工业大学 一种基于深度学习的道路溢出实时检测方法
CN113269807A (zh) * 2020-02-17 2021-08-17 株式会社日立制作所 对物体辨识模型的沿用可否进行判定的系统及方法
CN113297878A (zh) * 2020-02-21 2021-08-24 百度在线网络技术(北京)有限公司 道路交叉口识别方法、装置、计算机设备和存储介质
CN113297878B (zh) * 2020-02-21 2023-12-08 百度在线网络技术(北京)有限公司 道路交叉口识别方法、装置、计算机设备和存储介质
WO2021208122A1 (zh) * 2020-04-15 2021-10-21 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
CN111695627A (zh) * 2020-06-11 2020-09-22 腾讯科技(深圳)有限公司 路况检测方法、装置、电子设备及可读存储介质
CN112329515A (zh) * 2020-09-11 2021-02-05 博云视觉(北京)科技有限公司 一种高点视频监控拥堵事件检测方法
CN112329515B (zh) * 2020-09-11 2024-03-29 博云视觉(北京)科技有限公司 一种高点视频监控拥堵事件检测方法
CN112818935A (zh) * 2021-03-02 2021-05-18 南京邮电大学 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN112818935B (zh) * 2021-03-02 2022-08-12 南京邮电大学 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN113076893A (zh) * 2021-04-09 2021-07-06 太原理工大学 一种基于深度学习的高速公路疏水管堵塞态势感知方法
CN113538903B (zh) * 2021-06-21 2022-07-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN113538903A (zh) * 2021-06-21 2021-10-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN113343905A (zh) * 2021-06-28 2021-09-03 山东理工大学 道路异常智能识别模型训练、道路异常识别的方法及系统
CN114822043A (zh) * 2022-06-29 2022-07-29 长沙海信智能系统研究院有限公司 道路拥堵检测方法、装置及电子设备
CN114822043B (zh) * 2022-06-29 2022-09-13 长沙海信智能系统研究院有限公司 道路拥堵检测方法、装置及电子设备
CN118196148A (zh) * 2024-05-20 2024-06-14 创旗技术有限公司 一种基于ai的图形审计的方法

Also Published As

Publication number Publication date
CN109147331B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN109147331A (zh) 一种基于计算机视觉的道路拥堵状态检测方法
CN109582993B (zh) 城市交通场景图像理解与多视角群智优化方法
CN108955702B (zh) 基于三维激光和gps惯性导航系统的车道级地图创建系统
Chang et al. Argoverse: 3d tracking and forecasting with rich maps
Zai et al. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts
Hoogendoorn et al. Extracting microscopic pedestrian characteristics from video data
CN106651953B (zh) 一种基于交通指示牌的车辆位姿估计方法
CN101075376B (zh) 基于多视点的智能视频交通监控系统及方法
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN108320510A (zh) 一种基于无人机航拍视频交通信息统计方法及系统
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN103150559B (zh) 基于Kinect三维深度图像的头部识别与跟踪方法
CN107644528A (zh) 一种基于车辆跟踪的车辆排队长度检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
Liu et al. A survey of vision-based vehicle detection and tracking techniques in ITS
CN108230254A (zh) 一种自适应场景切换的高速交通全车道线自动检测方法
CN110349192A (zh) 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN105513349A (zh) 基于双视角学习的山区高速公路车辆事件检测方法
CN106204484A (zh) 一种基于光流和局部不变特征的交通目标跟踪方法
Zheng et al. Background noise filtering and clustering with 3D LiDAR deployed in roadside of urban environments
CN200990147Y (zh) 基于多视点的智能视频交通监控系统
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN103794050A (zh) 一种实时的交通车辆检测与跟踪方法
CN109903574A (zh) 路口交通信息的获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant