CN113920733A - 一种基于深度网络的交通体量估计方法及系统 - Google Patents
一种基于深度网络的交通体量估计方法及系统 Download PDFInfo
- Publication number
- CN113920733A CN113920733A CN202111196696.6A CN202111196696A CN113920733A CN 113920733 A CN113920733 A CN 113920733A CN 202111196696 A CN202111196696 A CN 202111196696A CN 113920733 A CN113920733 A CN 113920733A
- Authority
- CN
- China
- Prior art keywords
- traffic
- space
- time
- traffic volume
- diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000010586 diagram Methods 0.000 claims abstract description 77
- 238000012805 post-processing Methods 0.000 claims abstract description 17
- 239000012530 fluid Substances 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 2
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于交通体量估计技术领域，提供了一种基于深度网络的交通体量估计方法及系统，首先，获取交通视频，并生成时空图；然后，将时空图输入训练好的交通流体量估计深度网络，得到密度图；采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；最后，基于总计数结果，计算交通体量估计值，实现了高精度的交通流体量估计。
Description
技术领域
本发明属于交通体量估计技术领域，尤其涉及一种基于深度网络的交通体量估计方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
准确实时地估算交通流体量是交通管理和智能交通中的关键技术，对交通道路上的车辆进行计数再进行交通体量的估计对优化交通、实现智慧城市有着重要意义，现有的交通道路遍布摄像头，基于视觉的方法有着不需额外投入、高性价比、高灵活性的优点。
基于机器视觉的交通流量估算有着较高的性价比，但是一个具有挑战性的问题，特别是对于复杂、密集的交通场景，现有的检测跟踪方法在准确度和实时性上性能不佳。现有的基于视觉的车辆计数和交通流体量估计方法基本依赖车辆检测和跟踪方法，但对于上述难点效果不佳。而深度网络在挖掘交通流时空信息上有着较大的优势，但如何将深度网络应用在交通流体量的在线估计中仍是需要解决的首要问题。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度网络的交通体量估计方法及系统，实现了对车辆进行计数并高精度地估计交通流体量。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于深度网络的交通体量估计方法，其包括：
获取交通视频，并生成时空图；
将时空图输入训练好的交通流体量估计深度网络，得到密度图；
采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；
基于总计数结果，计算交通体量估计值。
进一步的，所述交通视频中交通流断面上的信息从图像序列顺序的传递过来，视频中的信息变化会反映在相应序列图的断面上，信息按时间顺序排列，断面上的像素最终生成时空图像。
进一步的，所述交通流体量估计深度网络在训练时，损失函数为密度图真值和估计值之间的损失，并使用Adam优化器。
进一步的，所述基于密度图的后处理算法包括依次进行的面积阈值筛选、删除小面积区域和基于峰值的区域选取。
进一步的，所述总计数结果的计算方法为：
基于所述时空位置，统计每一个时空图中的车辆数目；
对截止时刻内，所有时空图中的车辆数目进行求和，得到总计数结果。
进一步的，所述交通流体量估计值为总计数结果与转换率的乘积除以总时长。
进一步的，所述交通流体量估计深度网络包含七层卷积层：第一卷积层有多个9×9过滤器，在第一卷积层后使用一个Max池化层；第二卷积层有多个7×7过滤器，在第二卷积层后使用了一个Max池化层；第三卷积层和第四卷积层均有多个5×5滤波器；第五卷积层和第六卷积层均有多个3×3滤波器；第七卷积层由1×1过滤器组成。
本发明的第二个方面提供一种基于深度网络的交通体量估计系统，其包括：
时空图生成模块，其被配置为：获取交通视频，并生成时空图；
密度图生成模块，其被配置为：将时空图输入训练好的交通流体量估计深度网络，得到密度图；
计数模块，其被配置为：采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；
交通体量估计模块，其被配置为：基于总计数结果，计算交通体量估计值。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于深度网络的交通体量估计方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于深度网络的交通体量估计方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于深度网络的交通体量估计方法，解决了传统基于检测跟踪方法的交通流估计方法中在复杂交通场景下精确度欠佳的问题。
本发明提供了一种基于深度网络的交通体量估计方法，其TSCNN深度网络通过多层卷积网络对交通流视频生成的交通流时空图进行特征提取和密度图估计，以克服复杂的交通场景带来的困难。
本发明提供了一种基于深度网络的交通体量估计方法，其基于TSCNN深度网络输出结果和密度图，对车辆的时空位置进行定位，并进行了在线的交通流体量估计，是一种基于深度网络的在线方法，在利用深度网络提高估计精确度的同时，使该发明具备良好的实用性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种基于深度网络的交通体量估计方法的整体流程图；
图2是本发明实施例一的时空图生成流程图；
图3是本发明实施例一的TSCNN深度网络结构图；
图4是本发明实施例一的测试集视频实验结果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于深度网络的交通体量估计方法，利用深度网络的强大能力提取复杂交通场景下的车辆特征，以提高车辆时空位置定位和交通流体量估计的精确度；同时提出了将交通视频通过估计交通流体量时的交通断面转换为时空图的方法，使深度网络得以应用在交通流体量估计中；最终基于交通视频和训练好的深度网络，实现了在线的、高精度的交通流体量估计。
本实施例提供的一种基于深度网络的交通体量估计方法，如图1所示，主要分为基于交通断面的时空图形成、深度网络搭建与训练、车辆时空位置定位计数和在线交通流估计四部分。
步骤1：基于交通断面的时空图形成：获取交通视频，并生成基于交通断面的时空图。
时空图是在交通流体量估计中，基于某一个交通断面，将交通视频的时序图像序列映射为只有一幅或少数几幅的时空图像进行处理，是一种有效的时空转换方法。
时空图像融合了时间序列和空间序列的特征，可以很好地反映出行驶中的车辆与静态物体之间的差异。如图2所示，时空图是视频图像序列在空间和时间坐标中的扩展，交通流断面由图中的黑色水平线条表示，整个过程就像是一个信息收集过程，交通视频中交通流断面上的信息从图像序列顺序的传递过来，视频中不同的信息变化会及时反映在相应序列图的断面上，这些不同信息按时间顺序从右到左排列，这些断面上的像素最终生成了时空图像。
在这种生成方法下，时空图像反映了固定位置计数线像素随时间变化的图像。如果没有物体在断面区域中移动，则时空图的像素不会改，当有移动物体时像素会发生改变。在固定的视频序列呈现速度下，移动物体越快，在该断面上停留的时间就越短，反之则更长。在时空图像中，车辆的长度与其在视频中的速度成反比，当车辆目标在视频中静止时，其在时空图中生成的目标区域的长度是无限的。在时空图像中，水平轴是时间线，显示车辆时间信息。而垂直轴是空间轴，显示空间信息。图像高度等于断面线的长度，图像宽度是被堆砌了断面线像素的视频序列的数量。
步骤2：将密度图输入训练好的基于卷积神经网络的交通流体量估计深度网络，得到密度图。
本发明搭建了基于卷积神经网络的交通流体量估计深度网络TSCNN,其结构如图3所示，输入为经过交通流断面形成的时空图，经过7层卷积层提取特征后，最终输出时空图的密度图。
(1)交通流体量估计深度网络TSCNN网络结构
TSCNN包括7层卷积层(Conv1-Conv7)：第一卷积层有多个9×9过滤器，在第一卷积层后使用一个Max池化层；第二卷积层有多个7×7过滤器，在第二卷积层后使用了一个Max池化层；第三卷积层和第四卷积层均有多个5×5滤波器；第五卷积层和第六卷积层均有多个3×3滤波器；第七卷积层由1×1过滤器组成。因为对于流量视频中任意时间都可以进行体量估计，TSCNN需要对任意时长形成的任意大小的时空图进行特征提取、密度图输出，TSCNN的最后一层用1×1滤波器进行卷积使TSCNN的输入图像可以任意大小的。
作为一种实施方式，第一卷积层Conv1有50个9×9过滤器，在第一卷积层后使用了一个具有2×2内核大小的Max池化层；第二卷积层Conv2层有100个7×7过滤器，在第二卷积层后使用了一个具有2×2内核大小的Max池化层；第三卷积层Conv3有500个5×5过滤器；第四卷积层Conv4有200个5×5滤波器；第五卷积层Conv5有100个3×3过滤器；第六卷积层Conv6有50个3×3滤波器；第七卷积层Conv7由1×1过滤器组成，用于融合50个特征图，输出最终的密度图。
(2)TSCNN网络训练
本发明的TSCNN网络的训练样本从公开的UA-DETRAC数据集中获取，这些训练视频以每秒25帧的速度拍摄，视频图像分辨率为960×540像素。由于UA-DETRAC数据集最初并不是为车辆计数和交通流估计构建的，因此本发明从UA-DETRAC数据集中选择了16个交通视频作为本章节方法的实验数据集。这16个视频在UA-DETRAC数据集中分别命名为MVI_20011、MVI_20012、MVI_20033、MVI_20035、MVI_20051、MVI_20052、MVI_20061、MVI_20062、MVI_20064、MVI_20065、MVI_40131、MVI_40141、MVI_40191、MVI_40192、MVI_63521和MVI_63525。这16个视频中的道路为垂直或近似垂直，有不同的场景和时间长度，共有19,359帧的总视频时长，总共包括了1,041个经过车辆。本发明随机选择5个具有不同场景的视频(MVI_20012、MVI_20052、MVI_20065、MVI_40191、MVI_40192)作为测试集，其余11个视频构成训练集。
对于上述的交通视频数据，首先在交通视频中大约垂直于道路选择交通流断面。数据库中交通视频的图像尺寸为960×540，设置的交通断面固定为cy＝240，该位置覆盖了所有经过的车辆，经过交通断面上的堆叠像素随时间生成可视化的交通流图像时空图，本发明采用人工标注的方式将训练集生成的时空图进行车辆目标的标注，根据标注框按照公式(1)得到其对应时空密度图真值。
DT(p)＝∑o∈ON(p；o,δ) (1)
其中，O是时空图T中车辆目标中心点o＝(ox,oy)的集合，N是标准二维高斯函数，δ是高斯核函数参数，由时空图T中车辆标注框的宽度值wT和高度值hT得到。
然后，对于从训练视频生成的每个时空图，随机提取200×200像素的图像块作为训练样本，其对应的密度图也提取对应的密度图图像块作为密度图真值。具有不同帧时长的视频会生成尺寸不同的时空图，因此，从每个视频时空图中裁剪的图像块数目是不同的，最终总共准备了6,150个图像块样本。从这些裁剪的图像块中随机选择5,740个图像块样本作为训练集，其余的410个图像块样本作为验证集。
本发明提出的TSCNN训练时采用的loss函数如公式(2)所示：
其中，N是训练样本数目，Di是第i个样本的密度图真值，
是第i个样本的估计出的密度图，Loss是密度图真值和估计值之间的损失。
基于公式(2)中定义的损失函数，使用Adam优化器训练TSCNN网络，其学习率为0.00001，动量为0.9。TSCNN是基于PyTorch的python编码实现，所用平台340的主要配置是采用Intel i7-6800K CPU，32GB DDR4，NVIDIA TITAN-XP显卡。
步骤3：基于TSCNN网络测试结果的车辆时空位置定位和计数，具体的，采用基于密度图的后处理算法定位交通流中车辆的时空位置，基于所述时空位置，统计每一个时空图中的车辆数目。
基于时空图经TSCNN得到密度图，通过密度图后处理过程对时空图中的车辆时空位置进行定位，然后进行车辆计数，能对该时空图所涵盖时间内的交通流体量进行估计。以在线的方式对交通视频进行交通体量估计，考虑获取交通流体量的时效问题，则需要以较短的时间间隔对交通体量进行估计，而不是对整个交通视频生成的时空图进行仅一次的交通流体量估计。因此，本文以在线的交通体量估计为目的，构建可以实现在线交通流体量估计的网络测试方法。
假设对交通视频中f个连续帧形成一个时空图Ti，第i个测试时空图Ti通过TSCNN估计其密度图
经过车辆计数方法得到第i个测试时空图Ti的计数结果
基于上述设计思路，本发明对测试集视频首先基于估计交通流体量的断面形成时空图，每经过其中f个连续帧即形成一个时空图Ti，采用TSCNN进行测试，第i个测试时空图Ti通过TSCNN估计其密度图
是一种在线测试的方式。
对于时空图Ti通过TSCNN估计其密度图
本发明采用基于密度图的后处理算法定位交通流中的车辆时空位置信息，得到最终的车辆计数结果，后处理算法的步骤包括依次进行的面积阈值筛选、删除小面积区域和基于峰值的区域选取三个步骤。其中，面积阈值设置为10。经过上述三个步骤得到密度图中的独立区域个数和所在位置，即为交通流中车辆的时空位置，个数即为该密度图
对应的时空图Ti中的车辆数目，对应为f个连续帧内经过交通流断面的车辆数目。
步骤4：交通流体量估计，具体的，首先，对截止时刻内，所有时空图中的车辆数目进行求和，得到总计数结果；然后，基于总计数结果，计算交通流体量估计值。
根据密度图结果进行后处理后，进行车辆计数，得到经f个连续帧形成的时空图T所表示的交通流中的车辆数目CT。则交通视频中的t时刻(t＝f×i)经过车辆的总计数结果为：
其中，Ct是交通视频中截止到t时刻经过车辆的总计数结果，
是从交通视频生成的第i个测试时空图Ti的计数结果。
交通流体量定义为一段时间内经过某一个交通断面的车辆数目，一般为一小时内的车辆数目，其单位为“n/hour”。本文根据上述计数结果提出在线交通流体量估计模型，交通视频的帧频表示为r帧每秒(fps)，从帧到小时的转换率为R，R＝r×3600。交通流体量估计值为总计数结果与转换率的乘积除以总时长，具体的，基于t时刻的车辆计数结果Ct，t时刻估计的体量(Vt)由公式(4)得到：
Vt＝Ct×R/t (4)
其中，Vt是t时刻的交通流体量估计值，t为到截止时刻的总时长，Ct是交通视频中截止到t时刻经过车辆的总数目。
作为一种实施方式，交通流时空图形成和深度网络TSCNN的训练部分，此部分过程为离线过程，通过此部分，将TSCNN训练成为可以有效提取时空图中车辆特征并估计其密度图的网络模型。在线交通流时空图生成过程和网络测试过程，并得到时空图的估计密度图，此部分过程为在线过程。基于密度图进行后处理得到车辆时空位置定位和计数结果，以及在线交通流体量的估计过程，此部分过程为在线过程。
本发明通过对交通视频进行时空图转换实现了深度网络在交通流在线估计中的应用，将交通视频中某一断面的空间视觉信息随时间依次存放，形成某一断面的交通流体量时空图；然后，设计了基于卷积神经网络TSCNN的时空图车辆特征提取网络，用于提取车辆特征并进行密度图的估计和车辆的时空位置定位；最后，基于训练好的深度网络设计了交通流体量在线估计方法。本发明所提出的基于深度网络的交通流体量在线估计方法在公开数据库上进行了测试，所提出的方法能够在线地有效地对车辆进行计数并高精度地估计交通流体量。
本发明的实验在选取的公开数据库UA-DETRAC中的5个视频组成的测试集上进行TSCNN性能测试，从公开数据库UA-DETRAC选出的测试集中的5个测试视频生成时空图由TSCNN进行时空密度图估计，并进行车辆位置定位计数和体量估计。图4给出了5个视频生成的时空图(a)、密度图真值图(b)、经TSCNN估计得到的密度图(c)、基于密度图后处理方法方法得到的车辆位置定位图(d)、最终计数结果与真值(e)。从图中可以看出，本发明的TSCNN可以较好的对时空图进行密度图估计，在视频20065和20052中，一些图像边缘的部分车辆目标在真值图中并未被标注出来，但依然被TSCNN网络估计了出来，TSCNN网络模型经过训练已经具备了较高的估计时空图车辆目标密度的能力，此部分车辆目标密度再经过本发明的密度图后处理方法最终被定位出，因此在最终的计数真值结果也加入了被TSCNN额外估计出来部分车辆目标。
表1中给出了公开数据库UA-DETRAC中5个测试视频的密度图估计结果的平均预测绝对误差MAE值、车辆计数结果及其精确度和对整体交通视频进行的交通流体量估计结果。
表1基于TSCNN的在线交通体量估计方法实验结果
在表1中，“MAE”是密度图估计的平均预测绝对误差；“计数值”表示对表格中对应方法估计出的密度图进行后处理后，定位车辆位置得到的车辆计数的结果；“真值”是测试视频经过车辆的真实数量，“精确度”是计数结果的准确性；“体量估计值”是基于对时空图估计的密度图的计数结果，对交通视频估计的交通流体量；“MAPE”是估计体量的平均绝对百分比误差。
本发明提出的TSCNN网络在测试集中具有不同复杂度的5个视频上进行了测试，取得了不同的密度图估计结果，其MAE值最小为1.86，最大为8.48。基于估计出的密度图进行车辆定位和计数，5个测试视频的平均计数精度为96.38％。基于本发明的车辆计数方法在不同场景下的5个视频上估计出不同的交通流体量，其MAPE值分布在2.09％至6.82％之间。
实施例二
本实施例提供了一种基于深度网络的交通体量估计系统，其具体包括如下模块：
时空图生成模块，其被配置为：获取交通视频，并生成时空图；
密度图生成模块，其被配置为：将时空图输入训练好的交通流体量估计深度网络，得到密度图；
计数模块，其被配置为：采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；
交通体量估计模块，其被配置为：基于总计数结果，计算交通体量估计值。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于深度网络的交通体量估计方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于深度网络的交通体量估计方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度网络的交通体量估计方法，其特征在于，包括：
获取交通视频，并生成时空图；
将时空图输入训练好的交通流体量估计深度网络，得到密度图；
采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；
基于总计数结果，计算交通体量估计值。
2.如权利要求1所述的一种基于深度网络的交通体量估计方法，其特征在于，所述交通视频中交通流断面上的信息从图像序列顺序的传递过来，视频中的信息变化会反映在相应序列图的断面上，信息按时间顺序排列，断面上的像素最终生成时空图像。
3.如权利要求1所述的一种基于深度网络的交通体量估计方法，其特征在于，所述交通流体量估计深度网络在训练时，损失函数为密度图真值和估计值之间的损失，并使用Adam优化器。
4.如权利要求1所述的一种基于深度网络的交通体量估计方法，其特征在于，所述基于密度图的后处理算法包括依次进行的面积阈值筛选、删除小面积区域和基于峰值的区域选取。
5.如权利要求1所述的一种基于深度网络的交通体量估计方法，其特征在于，所述总计数结果的计算方法为：
基于所述时空位置，统计每一个时空图中的车辆数目；
对截止时刻内，所有时空图中的车辆数目进行求和，得到总计数结果。
6.如权利要求1所述的一种基于深度网络的交通体量估计方法，其特征在于，所述交通流体量估计值为总计数结果与转换率的乘积除以总时长。
7.如权利要求6所述的一种基于深度网络的交通体量估计方法，其特征在于，所述交通流体量估计深度网络包含七层卷积层：第一卷积层有多个9×9过滤器，在第一卷积层后使用一个Max池化层；第二卷积层有多个7×7过滤器，在第二卷积层后使用了一个Max池化层；第三卷积层和第四卷积层均有多个5×5滤波器；第五卷积层和第六卷积层均有多个3×3滤波器；第七卷积层由1×1过滤器组成。
8.一种基于深度网络的交通体量估计系统，其特征在于，包括：
时空图生成模块，其被配置为：获取交通视频，并生成时空图；
密度图生成模块，其被配置为：将时空图输入训练好的交通流体量估计深度网络，得到密度图；
计数模块，其被配置为：采用基于密度图的后处理算法定位交通流中车辆的时空位置，并得到总计数结果；
交通体量估计模块，其被配置为：基于总计数结果，计算交通体量估计值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于深度网络的交通体量估计方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于深度网络的交通体量估计方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111196696.6A CN113920733B (zh) | 2021-10-14 | 2021-10-14 | 一种基于深度网络的交通体量估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111196696.6A CN113920733B (zh) | 2021-10-14 | 2021-10-14 | 一种基于深度网络的交通体量估计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113920733A true CN113920733A (zh) | 2022-01-11 |
| CN113920733B CN113920733B (zh) | 2023-07-25 |
Family
ID=79240489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111196696.6A Active CN113920733B (zh) | 2021-10-14 | 2021-10-14 | 一种基于深度网络的交通体量估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920733B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409368A (zh) * | 2023-10-31 | 2024-01-16 | 大连海洋大学 | 基于密度分布的鱼群聚集行为和鱼群饥饿行为实时分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256562A (zh) * | 2018-01-09 | 2018-07-06 | 深圳大学 | 基于弱监督时空级联神经网络的显著目标检测方法及系统 |
| CN110853353A (zh) * | 2019-11-18 | 2020-02-28 | 山东大学 | 基于视觉的密度交通车辆计数和交通流量计算方法及系统 |
| CN110889347A (zh) * | 2019-11-15 | 2020-03-17 | 山东大学 | 基于时空计数特征的密度交通流计数方法及系统 |
| CN110909909A (zh) * | 2019-09-03 | 2020-03-24 | 南京理工大学 | 基于深度学习和多层时空特征图的短时交通流预测方法 |
| CN111611878A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于视频图像的人群计数和未来人流量预测的方法 |
-
2021
- 2021-10-14 CN CN202111196696.6A patent/CN113920733B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256562A (zh) * | 2018-01-09 | 2018-07-06 | 深圳大学 | 基于弱监督时空级联神经网络的显著目标检测方法及系统 |
| CN110909909A (zh) * | 2019-09-03 | 2020-03-24 | 南京理工大学 | 基于深度学习和多层时空特征图的短时交通流预测方法 |
| CN110889347A (zh) * | 2019-11-15 | 2020-03-17 | 山东大学 | 基于时空计数特征的密度交通流计数方法及系统 |
| CN110853353A (zh) * | 2019-11-18 | 2020-02-28 | 山东大学 | 基于视觉的密度交通车辆计数和交通流量计算方法及系统 |
| CN111611878A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于视频图像的人群计数和未来人流量预测的方法 |
Non-Patent Citations (5)
| Title |
|---|
| HILAL TAYARA ET AL.: "Vehicle Detection and Counting in High-Resolution Aerial Images Using Convolutional Regression Neural Network" * |
| JOSEPH REDMON ER AL.: "You Only Look Once: Unified, Real-Time Object Detection" * |
| KHAC-HOAI NAM BUI ET AL.: "A Vehicle Counts by Class Framework using Distinguished Regions Tracking at Multiple Intersections" * |
| SHAOQING REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks" * |
| ZHI GAO ET AL.: "Synergizing Appearance and Motion With Low Rank Representation for Vehicle Counting and Traffic Flow Analysis" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409368A (zh) * | 2023-10-31 | 2024-01-16 | 大连海洋大学 | 基于密度分布的鱼群聚集行为和鱼群饥饿行为实时分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113920733B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| Fu et al. | Panoptic nerf: 3d-to-2d label transfer for panoptic urban scene segmentation | |
| CN110415277B (zh) | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 | |
| CN109242884B (zh) | 基于JCFNet网络的遥感视频目标跟踪方法 | |
| EP3211596A1 (en) | Generating a virtual world to assess real-world video analysis performance | |
| CN111179307A (zh) | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 | |
| CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
| CN109214403B (zh) | 图像识别方法、装置及设备、可读介质 | |
| CN113160068B (zh) | 基于图像的点云补全方法及系统 | |
| CN111311663B (zh) | 一种实时大场景三维语义建模的方法 | |
| CN110132242B (zh) | 多摄像机即时定位与地图构建的三角化方法及其运动体 | |
| CN112287824B (zh) | 基于双目视觉的三维目标检测方法、装置及系统 | |
| CN110853353B (zh) | 基于视觉的密度交通车辆计数和交通流量计算方法及系统 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN117422629B (zh) | 一种实例感知的单目语义场景补全方法、介质及设备 | |
| CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
| CN116222577A (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
| CN112149471B (zh) | 一种基于语义点云的回环检测方法及装置 | |
| CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
| CN113223064A (zh) | 一种视觉惯性里程计尺度的估计方法和装置 | |
| CN113920733B (zh) | 一种基于深度网络的交通体量估计方法及系统 | |
| CN113450457B (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
| CN110472508A (zh) | 基于深度学习和双目视觉的车道线测距方法 | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| Yasarla et al. | Futuredepth: Learning to predict the future improves video depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee before: Qilu University of Technology Country or region before: China |