CN106650913B - 一种基于深度卷积神经网络的车流密度估计方法 - Google Patents
一种基于深度卷积神经网络的车流密度估计方法 Download PDFInfo
- Publication number
- CN106650913B CN106650913B CN201611267917.3A CN201611267917A CN106650913B CN 106650913 B CN106650913 B CN 106650913B CN 201611267917 A CN201611267917 A CN 201611267917A CN 106650913 B CN106650913 B CN 106650913B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- convolutional neural
- neural networks
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于深度卷积神经网络的车流密度估计方法,包括利用摄像机收集道路视频图像,通过图像预处理,将多尺度金字塔图像块送入卷积神经网络,提取由底层简单到高层抽象的特征,得到各种尺度车流图像的分布密度图;再用全连接网络层学习多尺度分布密度图到整体图像分布密度图以及图像总车辆个数的映射;对卷积神经网络输出的视频图像的分布密度图划分感兴趣区域,对感兴趣区域像素求和得到单车道或多车道车辆数;通过区域长度计算得到区域瞬时车流密度。本发明大大提高了车辆计数和车流密度估计的准确性和实时性。
Description
技术领域
本发明涉及一种基于深度卷积神经网络的车流密度估计方法,属于智能交通技术领域。
背景技术
随着科学技术的发展和人民生活水平的提高,车已经成为了人们出行、运输不可或缺的交通工具。道路上各种机动车辆随处可见,汽车交通让人们感受现代化生活便捷舒适的同时,也体现出了道路设施的滞后性与有限性。交通拥堵会带来车辆等待时间长,交通事故的发生,以及环境污染等一系列不容忽视的问题。为了解决以上问题,智能交通应运而生。车辆计数与车流密度检测是智能交通的重要内容。车辆个数和车流密度是反映道路上车辆拥挤程度的最直观的指标,直接反映了道路上车辆的密集程度和交通堵塞状况。车辆个数和车流密度同时也对道路通行能力的研究十分有用。此外,随着道路上车辆的增多,汽车尾气污染已经成为大气污染的重要组成部分,严重威胁着人们的身体健康和生活环境,对于汽车尾气的相关研究已经迫在眉睫,刻不容缓。尾气的污染和道路的阻塞程度也有一定的关系,车辆拥堵程度大,阻塞时间长,尾气排放量增大,对环境的影响也增大,因此,车流密度和车辆数与地区汽车尾气污染程度密切相关,有必要对道路车流密度和车辆数进行实时的检测。
对于车辆的计数,最开始是使用环形线圈的方法,该方法根据电磁感应原理将环形线圈与车辆检测器构成一个简单的计数系统,它的传感器是一个埋设在路面下,通有一定交变电流的环形线圈。车辆通过环形线圈时,引起线圈回路电感量的变化,检测器便检测出有车辆经过,计数器的数字加一。这种方法在车距较小时,检测精度大大降低,从而影响计数准确性。且该方法是针对运动中的车辆,而本发明所需研究的是某一瞬间对一段道路上的车辆进行计数。在道路下埋线圈也会影响道路使用,不便于维修,因此,当前的方法多是基于道路视频图像进行一系列图像处理,得到车辆的计数。
对于视频的区域车辆计数方法,包括帧间差分法和背景差分法。帧间差分法是当图像序列中出现异常物体运动时,帧与帧之间会出现较为明显的差别,通过差分后得到的绝对值,确定图像序列中是否物体运动。帧间差分法对慢速运动和静止的物体不敏感,不能准确检测静止物体。背景差分法,即当前视频帧和一张背景图像相比较,如果同位置的像素特征存在一定程度的差别,则当前视频帧中这些位置的像素点就构成前景运动目标。背景差分法可以检测静态目标,但是背景建模受光照、目标物等影响,不能得到实时、准确的背景图像,造成车辆计数的误差。
在北京中星微电子有限公司王磊、王皓、黄英申请、2010年1月6日公开、公开号为CN100578563C、发明名称为“基于视频图像的车辆计数方法”的中国发明专利申请中,提出从预定的帧图像开始,根据收集的该多帧图像中每个像素点的像素值,计算该预定帧视频图像的每个像素在预定时刻的像素值的概率密度值,确定所述视频图像中的前景图像,前景图像中面积大于一给定值的区域为运动的车辆,跟踪检测出的车辆,获得新出现的车辆数量以及离开的车辆的数量。该发明申请利用了背景建模的方法检测前景点,为保证获得的前景像素点的准确性,获得好的背景图像至关重要,一方面由于前景车辆目标的存在,给背景建模工作增加了难度,另一方面,对于室外道路环境,光照变化、背景扰动等都会引起背景图像发生变化,为背景建模工作带来困难。
车流密度是指单位长度车道上,某一瞬间所存在的车辆数,一般用辆/(km×车道)表示。目前,车流密度主要通过感应线圈、红外检测器、微博雷达等检测器得到时间占有率,定性判断车流密度大小,即时间占有率大,车流密度越大。这种方法没有定量的测量车流密度。另一种方法时根据检测器得到的流量和速度数据,根据公式:流量=速度×密度,计算得到车流密度,这种方法在流量和速度检测出现较大误差时,检测结果出现较大出入。
在重庆大学赵敏、孙棣华、刘卫宁、廖孝勇、梅登申请、2016年5月18日公开、公开号为CN104123840B、发明名称为“基于视频检测技术的车流密度定性判别方法”的中国发明专利申请中,首次根据当前摄像头采集的视频图像,划定监控图像中的感兴趣区域,计算图像的分形维数,对分形维数计算结果进行统计分析,待判断图像的分形维数大于给定阈值的图像块数目统计结果是否大于给定的比例系数,如果大于给定的比例系数则判定当前场景车流密度大,否则判定当前场景车流密度小。该发明申请虽然不需要进行车辆目标的提取,但它同时也不能获得具体的车辆数,只能定性的判断车流密度大小,缺乏对于车流密度检测的准确性和定量分析的能力。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种基于深度卷积神经网络的车流密度估计方法,大大提高了车辆计数和车流密度估计的准确性和实时性。
本发明技术解决方案:一种基于深度卷积神经网络的车流密度估计方法,包括以下步骤:
1、离线训练
1.1)从已有的不同的道路场景的视频终端监控视频中,选取不同密度车流量的视频图像分成训练集图像和验证集图像。
1.2)对将要进行离线训练和在线检测的视频图像进行预处理:
1.2.1)提取灰度图,将卷积神经网络的输入图像块从RGB空间变换到灰度空间;
1.2.2)把得到的灰度图像块的像素归一化到[0,1]的范围内。
1.3)获取离线训练用到的不同尺度图像块:
1.3.1)每张训练图像,随机选取固定像素大小的多个图像块,同时对每个图像块镜像翻转来达到数据增强的目的。最终将这些固定像素大小的图像块送入卷积神经网络中训练。
1.3.2)利用s个不同尺度的图像金字塔,使输入的图像块具有对应的尺度,同时卷积神经网络也有相应的s个子网络。这样,第一级金字塔对应于原始的输入图像块,剩下的级别,取原始图像块中心的1/s大小,得到不同尺度的图形块;
1.4)获取标准分布密度图
1.4.1)每张图像中的车辆用点标注,得到每辆车的位置坐标和每张图中总的车辆数。
1.4.2)对于网络的训练标签即标准分布密度图的生成,通过高斯核函数在图像中每个标记点卷积得到。已知输入图像可以表示为m×n的矩阵:x∈Rm×n,则该输入图像x所对应的标准分布密度可以表示为:式中:Nc为图像中的车辆数,表示图像中每个像素的位置,xi为第i辆车在图像中的位置,δ(·)为单位冲击函数,*为卷积操作,为标准差为σi的高斯核。
1.5)车辆计数模型的设计
构造一个卷积神经网络作为车辆计数模型,所述卷积神经网络包含第一部分,即含有不同尺度图像块输入的多个子网络结构和第二部分,即融合不同尺度分布密度图信息的全连接网络结构,其中第一部分得到不同尺度图像块的分布密度图,每个子网络结构均相同,即卷积神经网络的每个子网络具有相同的卷积层数,各个对应的卷积层有相同大小和个数的卷积核,使用相同的激活函数;每个子网络输入不同尺度的图像块,输出对应尺度的分布密度图;第二部分,利用全连接层融合不同尺度分布密度图,得到两个学习目标即分布密度图和车辆计数,每个目标连接多个全连接层,其中最后一层两个并列的全连接层不同,其余的全连接层共享。
离线训练阶段两个学习目标均采用欧氏距离计算损失。在两个并列全连接层的后面各连接一个欧氏距离损失层,第一个欧氏距离损失层用来计算卷积神经网络估计的分布密度图和标准分布密度图之间的欧氏距离:式中,F(Xi;Θ)为第i幅输入图像估计的分布密度图,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Di为第i幅输入图像的标准分布密度图矩阵;第二个欧氏距离损失层用来计算卷积神经网络估计的车辆数和标准车辆数之间的欧氏距离:式中,M(Xi;Θ)为第i幅输入图像的车辆个数的估计值,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Mi为第i幅输入图像的标准车辆数;
1.6)训练车辆计数模型
1.6.1)利用步骤1.5)的方法构建一个车辆计数的深度卷积神经网络结构;
1.6.2)对卷积神经网络中的参数初始化,一般卷积层的卷积核用标准差为0.01的高斯函数初始化,偏置初始化为0;
1.6.3)卷积神经网络初始化后,冻结卷积神经网络目标为车辆计数的最后一层全连接层,优先开始训练估计分布密度图的卷积神经网络,计算输入的训练集图像经过卷积神经网络各层后得到的结果与标准分布密度图之间的损失,即欧式距离:L1(Θ),然后采用随机梯度下降法在每一次优化迭代中更新整个卷积神经网络的参数,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准分布密度图之间的损失,直到损失收敛到一个设定的阈值后暂停训练;
1.6.4)切换到车辆计数的训练,冻结目标为分布密度图的最后一层全连接层参数,开始学习目标为车辆计数的卷积神经网络,计算输入图像经过卷积神经网络各层后得到的结果与标准车辆数之间的损失,即欧式距离:L2(Θ);然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准车辆数之间的损失,直到损失收敛到规定的阈值后暂停训练,切换到分布密度图的训练;轮换训练两个目标,直到损失值不再改变,最终得到车辆计数模型。
2、在线检测
由上述步骤1训练得到车辆计数模型后进行在线检测:
2.1)从视频终端监控视频中实时获取道路交通视频图像作为检测图像;
2.2)获得的检测图像,首先提取图像块,将图形块缩放到固定像素大小,输入到卷积神经网络中,这些输入的图像块通过卷积神经网络,产生对应的分布密度图和车辆数;
2.3)将卷积神经网络输出的分布密度图缩放到原始图像块大小并对像素值归一化;
2.4)将所有图像块得到的结果累加成一张与原始检测图相同大小的图像,由于图像块之间的重叠,每个位置最终的检测分布密度图要用累加的图像块的个数归一化;最终得到检测图的分布密度图,
3、车流密度估计
上述步骤2得到检测图像的分布密度图后计算车流密度:
3.1)按照道路信息划分感兴趣区域;
3.2)计算分布密度图中对应区域的像素和,得到感兴趣区域的车辆数;
3.3)根据视频图像中感兴趣区域的实际长度及公式密度=车辆数÷长度,计算出瞬时车流密度。
本发明与现有技术相比的优点在于:
(1)本发明通过深度卷积神经网络学习静态图像到车辆个数的映射,让神经网络学会车辆的底层特征和有高区分度的高层特征,避免了手工设计的特征的不准确和背景建模困难的问题。
(2)把车辆计数问题简化为密度估计的问题,从车辆分布密度图可以获得更多的信息,增加车辆计数的准确度。
(3)深度卷积神经网络有分布密度图和车辆数两个学习目标,这两个目标之间的相关性,可以相互促进,更好的学习,既可以得到车辆的分布密度图又可以得到单幅静止图像中车辆的个数。
(4)通过视频场景划分感兴趣区域,可以得到单个车道或多个车道的车辆个数,根据感兴趣区域中道路长度的先验信息,计算出单车道或多车道的瞬时车流密度。
附图说明
图1是本发明方法流程图;
图2是本发明深度卷积神经网络第一部分子网络结构图;
图3是本发明基于深度卷积神经网络车辆计数的模型结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。
本发明基于深度卷积神经网络的车流密度估计和车辆计数的方法,基于大量不同车流密度的样本,利用卷积神经网络自动提取具有高区分度的特征图,以多尺度金字塔图像块输入的多尺度卷积神经网络形成图像密度和车辆计数模型,通过对感兴趣区域的选取,可以计算出固定长度区间的瞬时车流密度,大大提高了车流密度检测的准确性和实时性。在训练阶段,训练多个不同尺度输入图像的卷积神经网络,从大量不同车流密度的样本中学习到车流密度的本质特征,再用全连接网络层学习多尺度分布密度图到整体图像分布密度图以及图像总车辆个数的映射,得到图像车辆分布密度图和图像车辆总数。在检测阶段,利用训练好的多尺度卷积神经网络模型对检测图像进行车辆计数,划分感兴趣区域后,可实现快速、准确的单车道或多车道车辆计数和瞬时车流密度估计。
本发明将车辆计数问题通过图像密度估计问题来解决,再通过感兴趣区域的车辆数计算瞬时车流密度。从一张图像到车辆个数是一个复杂非线性映射问题,卷积神经网络直接学习这种映射关系比较困难,将车辆计数问题转化为密度估计问题可以获得车辆分布的信息,一方面可以更好的估计图像中的车辆数目,另一方面可以同时得到车辆分布密度图和车辆数目。这种方法需要每张图像有一系列的车辆标注点,利用高斯核密度函数卷积生成分布密度图,作为训练的标签,生成的分布密度图的像素的和即为图像中车辆的个数。发明的深度卷积神经网络需要学习从一张图像到相应分布密度图之间的映射关系,利用这种关系可以同时得到估计的车辆分布密度图和车辆个数。
如图1所示,本发明基于深度卷积神经网络的车辆计数和车流密度估计的方法主要有离线训练、在线检测、车流密度估计三个阶段。
1、训练
1.1)获取训练样本
从已有的不同的道路场景的视频终端监控视频中,选取不同密度车流量的视频图像12000张,其中10000张用来训练,另外2000张用来验证。
1.2)图像预处理
对于卷积神经网络的输入图像块要进行预处理。首先,提取灰度图,将卷积神经网络的输入图像块从RGB空间变换到灰度空间,然后,把得到的灰度图像块的像素归一化到[0,1]的范围内。
1.3)提取不同尺度图像块
每张训练图像,随机选取115×115像素大小的800个图像块,同时对每个图像块镜像翻转来达到数据增强的目的,这样每幅训练图像有1600个图像块。这些图像块最终转换为72×72像素大小送入卷积神经网络中训练。摄像机拍摄的图像具有透视效应,即相同大小的物体表现为在离摄像机近的地方占有的像素个数大,而在远离摄像机、具有更高深度的地方占有的像素小。为了消除透视几何变换带来的畸变,利用s个不同尺度的图像金字塔,使输入的图像块具有对应的尺度,同时卷积神经网络也有相应的s个子网络。这样,第一级金字塔对应于原始的输入图像块,剩下的级别,取原始图像块中心的1/s大小。例如,如果卷积神经网络含有两个子网络,第一级金字塔相应于原始大小的输入图像块,第二级是截取原始图像块大小的50%。当卷积神经网络含有三个子网络,第二级和第三级金字塔分别为截取原始图像块大小的66%和33%。
1.4)生成标准分布密度图
每张图像中的车辆用点标注,得到每辆车的位置坐标和每张图像中总的车辆数。对于卷积神经网络的训练标签即标准分布密度图的生成,通过高斯核函数在图像中每个标记点卷积得到。已知输入图像可以表示为m×n的矩阵:x∈Rm×n,则该输入图像x所对应的标准分布密度可以表示为:式中:Nc为图像中的车辆数,表示图像中每个像素的位置,xi为第i辆车在图像中的位置,δ(·)为单位冲击函数,*为卷积操作,为标准差为σi的高斯核。基于卷积神经网络的车辆计数算法的目标是学习一个由输入图像x到该图像中的车辆分布密度的映射函数F:F:x→F(x)≈D(x),式中,F(x)为估计车辆分布密度图。为了学习F,需要解决如下问题:式中,F(x;Θ)为估计车辆分布密度图,Θ为待学习参数。一般来说,F是一个复杂非线性的映射。
1.5)车辆计数模型的设计
发明的用于车辆计数的卷积神经网络含有两个部分,即含有不同尺度图像块输入的多个子网络结构和融合多尺度分布密度图信息的全连接网络结构。
第一部分卷积神经网络的每个子网络除了输入的图像块尺度不同外,其他均相同,即卷积神经网络的每个子网络具有相同的层数,各个对应层有相同大小和个数的卷积核,使用相同的激活函数等。卷积神经网络的每个子网络单独训练,使每个子网络学习到不同尺度图像到对应分布密度图的映射关系,使卷积神经网络具有多尺度的特性,同时可以克服透视效应的影响。对于卷积神经网络的单个子网络,如图2所示,具有下列结构:每个子网络包含5个卷积层,第一个卷积层含有20个大小为7×7的卷积核,第二个卷积层含有40个5×5的卷积核,第一个卷积层和第二个卷积层后均紧接着一个2×2大小卷积核的最大池化层;第三个卷积层和第四个卷积层分别含有20个和10个5×5的卷积核,前四个卷积层后面均跟有线性修正单元(ReLU)激活函数层;最后,第五个卷积层为一个1×1的卷积层,它学习把第四个卷积层生成的10个特征图映射成一个与输入图像块对应的分布密度图。这样,卷积神经网络的每个子网络都得到对应的一张分布密度图,将得到的多张分布密度图串联送入卷积神经网络的第二部分。
如图3所示,第二部分卷积神经网络包含两个均含有512个神经元的全连接层Fc6和Fc7,后面跟着一个线性修正单元(ReLU)激活函数和一个dropout层,整个卷积神经网络的最后一层是两个并列的层,一个含有324个神经元的全连接层Fc8,它的输出的是车辆的分布密度图,另一个是含有1个神经元的全连接层Fc9,它输出的是图像中车辆的总个数。
正如上面提到的,发明的深度卷积神经网络需要学习到从一个图像块到一个车辆分布密度图的非线性映射,以及从一个图像块到车辆个数的非线性映射。因此,需要训练卷积神经网络来解决这个回归问题。为了达到这个目标,在卷积神经网络的最后两个并列全连接层的后面各连接一个欧氏距离损失层,第一个用来计算卷积神经网络估计的分布密度图和标准分布密度图之间的欧氏距离:式中,F(Xi;Θ)为第i幅输入图像的车辆分布密度估计图,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Di为第i幅输入图像的标准分布密度图矩阵。第二个用来计算卷积神经网络估计的车辆数和标准车辆数之间的欧氏距离:式中,M(Xi;Θ)为第i幅输入图像的车辆个数的估计值,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Mi为第i幅输入图像的标准车辆数。
1.6)训练车辆计数模型
采用随机梯度下降法训练卷积神经网络,在训练卷积神经网络时,首先要对卷积神经网络中的参数初始化,一般卷积层的卷积核用标准差为0.01的高斯函数初始化,偏置初始化为0。同时设置好学习率ε,对于训练集的h个样本{x(1),...,x(h)}和其对应的目标y(i),i∈[1,h],计算估计梯度其中i为第i个样本,Θ为学习的参数,f(x(i);Θ)为第i幅图像的估计结果,L(·)为估计结果与目标之间的损失,▽Θ为对Θ求导。则跟新后的参数为训练时,冻结卷积神经网络第三个全连接层Fc9,优先开始训练估计分布密度图的卷积神经网络,计算输入图像经过卷积神经网络各层后得到的结果与标准分布密度图之间的损失,即欧式距离:L1(Θ)。然后采用随机梯度下降法在每一次优化迭代中更新整个卷积神经网络的参数,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准分布密度图之间的损失,直到损失收敛到一个设定的阈值后暂停训练,切换到车辆计数的训练。冻结Fc8网络层参数,开始训练目标为车辆计数的卷积神经网络,计算输入图像经过卷积神经网络各层后得到的结果与标准车辆数之间的损失,即欧式距离:L2(Θ)。然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准车辆数之间的损失,直到损失收敛到规定的阈值后暂停训练,切换到分布密度图的训练。轮换训练两个目标,直到损失值不再改变,最终得到车辆计数模型。
2、检测
在检测时,获得一张检测图像,首先提取图像块,将图形块缩放到固定72×72像素大小,输入到卷积神经网络中。这些输入的图像块通过卷积神经网络,产生对应的分布密度图和车辆数。需要注意的是,由于每个子网络中存在两个最大池化层,输出的分布密度图是输入图像块尺寸的1/4大小,即18×18像素。因此,需要将估计的分布密度图缩放到输入图像块的大小。这样得到的分布密度图和没缩放之前的车辆计数不同,需要归一化。为了得到检测图最终完整的分布密度图,将所有图像块得到的结果累加成一张与原始检测图相同大小的图像。由于图像块之间的重叠,每个位置最终的分布密度图要用累加的图像块的个数归一化,最终得到检测图像的分布密度图。
3.车流密度估计
按照道路信息划分感兴趣区域,例如划分出某条单车道或多个车道的区域,计算分布密度图中对应区域的像素和,得到感兴趣区域的车辆数,再根据视频图像中感兴趣区域的实际长度及公式密度=车辆数÷长度,计算出瞬时车流密度。
(5)总之,本发明基于深度卷积网络学习静态图像到车辆个数的映射,让神经网络学会车辆的底层特征和有高区分度的高层特征,避免了手工设计的特征的不准确和背景建模困难的问题。并把计数问题简化为密度估计的问题,从车辆分布密度图可以获得更多的信息,增加车辆计数的准确度。深度卷积神经网络有分布密度图和车辆数两个学习目标,这两个目标之间的相关性,可以相互促进,更好的学习,既可以得到车辆的分布密度图又可以得到单幅静止图像中车辆的个数。通过视频场景划分感兴趣区域,可以得到单个车道或多个车道的车辆个数,根据感兴趣区域中道路长度的先验信息,计算出单车道或多车道的瞬时车流密度。本发明大大提高了车辆计数和车流密度估计的准确性和实时性。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (8)
1.一种基于深度卷积神经网络的车流密度估计方法,其特征在于包括以下步骤:
第一步,获取道路视频图像作为训练图像,根据训练图像的尺寸设计卷积神经网络,将训练图像输入卷积神经网络训练得到车辆计数模型;
第二步,获取实时道路视频图像作为检测图像,将检测图像输入训练得到的车辆计数模型,从而得到分布密度图和车辆数;
第三步,在所述检测图像上划分感兴趣区域,根据第二步得到的分布密度图,计算感兴趣区域的像素和从而得到感兴趣区域的车辆数,根据感兴趣区域的实际长度及公式密度=车辆数÷长度,计算出瞬时车流密度;
所述第一步,具体实现如下:
(1)从已有的不同的道路场景的视频终端监控视频中,选取不同密度车流量的视频图像分成训练集图像和验证集图像;
(2)对视频图像进行预处理,得到归一化后的视频图像;
(3)从视频图像中获取不同尺度的图像块,作为卷积神经网络的输入;
(4)生成每张视频图像的标准分布密度图;
(5)车辆计数模型的设计;
构造一个卷积神经网络作为车辆计数模型,所述卷积神经网络包括两个部分,第一部分为含有不同尺度图像块输入的多个子网络结构,输出为不同尺度图像块的分布密度图;第二部分为融合不同尺度分布密度图信息的全连接网络结构,利用全连接层融合不同尺度分布密度图,得到两个学习目标即分布密度图和车辆计数,每个目标连接多个全连接层,其中最后一层两个并列的全连接层不同,其余的全连接层共享;在两个并列全连接层的后面各连接一个损失层。
2.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述第一部分中,所述每个子网络输入不同尺度的图像块,输出对应尺度的分布密度图,且每个子网络结构均相同,即卷积神经网络的每个子网络具有相同的卷积层数,各个对应的卷积层有相同大小和个数的卷积核,使用相同的激活函数。
3.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述在两个并列全连接层的后面各连接一个损失层,其中一个损失层用来计算卷积神经网络估计的分布密度图和标准分布密度图之间的欧氏距离:式中,F(Xi;Θ)为第i幅输入图像估计的分布密度图,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Di为第i幅输入图像的标准分布密度图矩阵;第二个损失层用来计算卷积神经网络估计的车辆数和标准车辆数之间的欧氏距离:式中,M(Xi;Θ)为第i幅输入图像的车辆个数的估计值,Xi为第i幅输入图像的图像矩阵,Θ为待学习参数,N为输入图像的总数量,Mi为第i幅输入图像的标准车辆数。
4.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述第一步中,得到车辆计数模型的过程如下:
(1)对卷积神经网络中的参数初始化,卷积层的卷积核用高斯函数初始化,偏置初始化为0;
(2)卷积神经网络初始化后,冻结卷积神经网络目标为车辆计数的最后一层全连接层,优先开始训练目标为分布密度图的卷积神经网络,计算输入的训练集图像经过卷积神经网络后得到的结果与标准分布密度图之间的损失,然后采用随机梯度下降法在每一次优化迭代中更新整个卷积神经网络,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准分布密度图之间的损失,直到损失收敛到一个设定的阈值后暂停训练;
(3)暂停训练后,切换到车辆计数的训练,冻结目标为分布密度图的最后一层全连接层,开始学习目标为车辆数的卷积神经网络,计算输入图像经过卷积神经网络后得到的结果与标准车辆数之间的损失;然后采用随机梯度下降法在每一次优化迭代中更新卷积神经网络的参数,在迭代一定次数后把验证集图像输入卷积神经网络得到输出与标准车辆数之间的损失,直到损失值收敛到规定的阈值后暂停训练,切换到分布密度图的训练;轮换训练两个目标,直到损失不再改变;最终得到车辆计数模型。
5.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述第二步中,得到分布密度图的过程如下:
(21)从视频终端监控视频中实时获取道路交通视频图像作为检测图像;
(22)获得的检测图像,首先提取图像块,将图像块缩放到固定像素大小,输入到卷积神经网络中,这些输入的图像块通过卷积神经网络,产生对应的分布密度图和车辆数;
(23)将卷积神经网络输出的分布密度图缩放到原始图像块大小并对像素值归一化;
(24)将所有图像块得到的结果累加成一张与原始检测图相同大小的图像,由于图像块之间的重叠,每个位置最终的检测分布密度图要用累加的图像块的个数归一化;最终得到检测图像的分布密度图。
6.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述第一步中,视频图像需要进行预处理,预处理过程包括:提取灰度图,将卷积神经网络的输入图像块从RGB空间变换到灰度空间,再把得到的灰度图像块的像素归一化到[0,1]的范围内。
7.根据权利要求1或2所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述第二步中,不同尺度图像块通过如下过程获得:
(1)每张训练图像,随机选取固定像素大小的多个图像块,同时对每个图像块镜像翻转来达到数据增强的目的,最终将这些固定像素大小的图像块送入卷积神经网络中训练;
(2)利用s个不同尺度的图像金字塔,使输入的图像块具有对应的尺度,同时卷积神经网络也有相应的s个子网络,这样第一级金字塔对应于原始的输入图像块,剩下的级别,取原始图像块中心的1/s大小,得到不同尺度图像块。
8.根据权利要1所述的基于深度卷积神经网络的车流密度估计方法,其特征在于:所述标准分布密度图通过下面处理获得:
(1)每张图像中的车辆用点标注,得到每辆车的位置坐标和每张图中总的车辆数;
(2)对于卷积神经网络的训练标签即标准分布密度图的生成,通过高斯核函数在图像中每个标记点卷积得到,已知输入图像表示为m×n的矩阵:x∈Rm×n,则该输入图像x所对应的标准分布密度可以表示为:式中:Nc为图像中的车辆数,表示图像中每个像素的位置,xi为第i辆车在图像中的位置,δ(·)为单位冲击函数,*为卷积操作,为标准差为σi的高斯核。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267917.3A CN106650913B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度卷积神经网络的车流密度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267917.3A CN106650913B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度卷积神经网络的车流密度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106650913A CN106650913A (zh) | 2017-05-10 |
CN106650913B true CN106650913B (zh) | 2018-08-03 |
Family
ID=58839063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611267917.3A Active CN106650913B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度卷积神经网络的车流密度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650913B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109669049A (zh) * | 2019-02-01 | 2019-04-23 | 浙江大学 | 一种基于卷积神经网络的粒子图像测速方法 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971544B (zh) * | 2017-05-15 | 2019-07-16 | 安徽大学 | 一种直接利用静态图像来检测车辆拥堵的方法 |
CN108960404B (zh) * | 2017-05-22 | 2021-02-02 | 浙江宇视科技有限公司 | 一种基于图像的人群计数方法及设备 |
CN107301387A (zh) * | 2017-06-16 | 2017-10-27 | 华南理工大学 | 一种基于深度学习的图像高密度人群计数方法 |
CN107909588A (zh) * | 2017-07-26 | 2018-04-13 | 广州慧扬健康科技有限公司 | 基于三维全卷积神经网络的mri皮质下分区系统 |
CN108229497B (zh) * | 2017-07-28 | 2021-01-05 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
CN108074244B (zh) * | 2017-09-07 | 2021-05-25 | 汉鼎宇佑互联网股份有限公司 | 一种融合深度学习与背景差法的平安城市车流统计方法 |
CN107591011B (zh) * | 2017-10-31 | 2020-09-22 | 吉林大学 | 考虑供给侧约束的交叉口交通信号自适应控制方法 |
CN111295689B (zh) * | 2017-11-01 | 2023-10-03 | 诺基亚技术有限公司 | 深度感知对象计数 |
CN108039044B (zh) * | 2017-12-05 | 2021-06-01 | 安徽大学 | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 |
CN108399747A (zh) * | 2018-03-07 | 2018-08-14 | 哈尔滨工业大学深圳研究生院 | 基于卡尔曼滤波融合的交通流车辆密度参数估计方法 |
CN108320510B (zh) * | 2018-04-03 | 2020-12-04 | 深圳市智绘科技有限公司 | 一种基于无人机航拍视频交通信息统计方法及系统 |
CN108510739A (zh) * | 2018-04-28 | 2018-09-07 | 重庆交通大学 | 一种道路交通状态识别方法、系统及存储介质 |
CN108615358A (zh) * | 2018-05-02 | 2018-10-02 | 安徽大学 | 一种道路拥堵检测方法及装置 |
CN108921822A (zh) * | 2018-06-04 | 2018-11-30 | 中国科学技术大学 | 基于卷积神经网络的图像目标计数方法 |
CN108985331A (zh) * | 2018-06-14 | 2018-12-11 | 浙江工业大学 | 一种基于对抗生成网络的目标计数方法 |
CN108830327B (zh) * | 2018-06-21 | 2022-03-01 | 中国科学技术大学 | 一种人群密度估计方法 |
CN110718137B (zh) * | 2018-07-13 | 2022-05-10 | 广州极飞科技股份有限公司 | 目标物密度分布地图的构建方法及装置、终端、移动装置 |
CN109101930B (zh) * | 2018-08-18 | 2020-08-18 | 华中科技大学 | 一种人群计数方法及系统 |
CN109191440A (zh) * | 2018-08-24 | 2019-01-11 | 上海应用技术大学 | 玻璃气泡检测与计数方法 |
CN109271960B (zh) * | 2018-10-08 | 2020-09-04 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
CN109522840B (zh) * | 2018-11-16 | 2023-05-30 | 孙睿 | 一种高速路车流密度监测计算系统及方法 |
CN109614941B (zh) * | 2018-12-14 | 2023-02-03 | 中山大学 | 一种基于卷积神经网络模型的嵌入式人群密度估计方法 |
WO2020124948A1 (zh) * | 2018-12-21 | 2020-06-25 | 中科寒武纪科技股份有限公司 | 网络离线模型的处理方法、人工智能处理装置及相关产品 |
CN111694617B (zh) | 2018-12-29 | 2023-05-02 | 中科寒武纪科技股份有限公司 | 网络离线模型的处理方法、人工智能处理装置及相关产品 |
CN109948436B (zh) * | 2019-02-01 | 2020-12-08 | 深兰科技(上海)有限公司 | 一种监控道路上车辆的方法及装置 |
CN109902738B (zh) * | 2019-02-25 | 2021-07-20 | 深圳市商汤科技有限公司 | 网络模块和分配方法及装置、电子设备和存储介质 |
CN109948524B (zh) * | 2019-03-18 | 2020-04-14 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
CN109910891A (zh) * | 2019-03-20 | 2019-06-21 | 奇瑞汽车股份有限公司 | 车辆控制方法和装置 |
CN110009634A (zh) * | 2019-04-22 | 2019-07-12 | 苏州海赛人工智能有限公司 | 一种基于全卷积网络的车道内车辆计数方法 |
CN113748626B (zh) * | 2019-04-29 | 2024-09-10 | 诺基亚技术有限公司 | 通信系统中的迭代检测 |
CN110187143B (zh) * | 2019-05-28 | 2021-04-09 | 浙江大学 | 一种基于深度神经网络的层析piv重构方法和装置 |
CN110119790A (zh) * | 2019-05-29 | 2019-08-13 | 杭州叙简科技股份有限公司 | 基于计算机视觉的共享单车数量统计和密度估计的方法 |
CN110210603A (zh) * | 2019-06-10 | 2019-09-06 | 长沙理工大学 | 人群的计数模型构建方法、计数方法和装置 |
CN110210577B (zh) * | 2019-06-17 | 2021-01-29 | 重庆英卡电子有限公司 | 一种针对密集鸟群的深度学习以及识别方法 |
CN111027389B (zh) * | 2019-11-12 | 2023-06-30 | 通号通信信息集团有限公司 | 人群计数系统中基于可变形高斯核的训练数据生成方法 |
CN111259833A (zh) * | 2020-01-20 | 2020-06-09 | 青岛大学 | 一种基于交通图像的车辆计数方法 |
CN111369795B (zh) * | 2020-03-09 | 2022-11-08 | 深圳大学 | 一种车流量统计方法、装置、设备及存储介质 |
CN111640101B (zh) * | 2020-05-29 | 2022-04-29 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
CN111738136A (zh) * | 2020-06-19 | 2020-10-02 | 新希望六和股份有限公司 | 显微对象的数量确定方法、装置、计算机设备和存储介质 |
CN112488244B (zh) * | 2020-12-22 | 2022-09-09 | 中国科学院合肥物质科学研究院 | 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法 |
CN112800930A (zh) * | 2021-01-25 | 2021-05-14 | 北京市商汤科技开发有限公司 | 非机动车计数方法、装置、设备及存储介质 |
CN113256592B (zh) * | 2021-06-07 | 2021-10-08 | 中国人民解放军总医院 | 图像特征提取模型的训练方法、系统及装置 |
CN113516853B (zh) * | 2021-06-24 | 2021-11-30 | 南京邮电大学 | 一种针对复杂监控场景的多车道车流量检测方法 |
CN113343905B (zh) * | 2021-06-28 | 2022-06-14 | 山东理工大学 | 道路异常智能识别模型训练、道路异常识别的方法及系统 |
CN114241752A (zh) * | 2021-12-01 | 2022-03-25 | 湖南湘江智芯云途科技有限公司 | 场端拥堵提示方法、装置、设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
CN106557814A (zh) * | 2016-11-15 | 2017-04-05 | 成都通甲优博科技有限责任公司 | 一种道路车辆密度评估方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10312497A (ja) * | 1997-05-13 | 1998-11-24 | Toshiba Corp | 交通状況予測装置 |
-
2016
- 2016-12-31 CN CN201611267917.3A patent/CN106650913B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
CN106557814A (zh) * | 2016-11-15 | 2017-04-05 | 成都通甲优博科技有限责任公司 | 一种道路车辆密度评估方法及装置 |
Non-Patent Citations (1)
Title |
---|
TraCount:A deep convolutional neural network for highly overlapping vehicle counting;Shiv Surya等;《Proceeding of ICVGIP’16 Proceedings of the Tenth Indian Conference on Computer Vision, Graphics and Image Processing》;20161222;第46卷;第1-6页 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109669049A (zh) * | 2019-02-01 | 2019-04-23 | 浙江大学 | 一种基于卷积神经网络的粒子图像测速方法 |
CN109669049B (zh) * | 2019-02-01 | 2021-04-09 | 浙江大学 | 一种基于卷积神经网络的粒子图像测速方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106650913A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650913B (zh) | 一种基于深度卷积神经网络的车流密度估计方法 | |
CN107886073B (zh) | 一种基于卷积神经网络的细粒度车辆多属性识别方法 | |
CN106485235B (zh) | 一种卷积神经网络生成方法、年龄识别方法及相关装置 | |
CN104077613B (zh) | 一种基于级联多级卷积神经网络的人群密度估计方法 | |
CN104992167B (zh) | 一种基于卷积神经网络的人脸检测方法及装置 | |
Yu et al. | Railway obstacle detection algorithm using neural network | |
CN104992223B (zh) | 基于深度学习的密集人数估计方法 | |
CN110335270A (zh) | 基于层级区域特征融合学习的输电线路缺陷检测方法 | |
CN108171112A (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
CN109508710A (zh) | 基于改进YOLOv3网络的无人车夜间环境感知方法 | |
CN109344736A (zh) | 一种基于联合学习的静态图像人群计数方法 | |
CN107220603A (zh) | 基于深度学习的车辆检测方法及装置 | |
CN107730903A (zh) | 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统 | |
CN107133960A (zh) | 基于深度卷积神经网络的图像裂缝分割方法 | |
CN106991666B (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 | |
CN107730881A (zh) | 基于深度卷积神经网络的交通拥堵视觉检测系统 | |
CN110533950A (zh) | 车位使用状况的检测方法、装置、电子设备及存储介质 | |
CN110472611A (zh) | 人物属性识别的方法、装置、电子设备及可读存储介质 | |
CN105654066A (zh) | 一种车辆识别方法及装置 | |
CN103559508B (zh) | 一种基于连续型Adaboost视频车辆检测方法 | |
CN103390164A (zh) | 基于深度图像的对象检测方法及其实现装置 | |
CN106779054B (zh) | 一种基于雾天图像的pm2.5估计方法 | |
CN108875593A (zh) | 基于卷积神经网络的可见光图像天气识别方法 | |
CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
CN107038416A (zh) | 一种基于二值图像改进型hog特征的行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |