CN111222491A - 基于深度学习的车流量的评估方法 - Google Patents

基于深度学习的车流量的评估方法 Download PDF

Info

Publication number
CN111222491A
CN111222491A CN202010057921.7A CN202010057921A CN111222491A CN 111222491 A CN111222491 A CN 111222491A CN 202010057921 A CN202010057921 A CN 202010057921A CN 111222491 A CN111222491 A CN 111222491A
Authority
CN
China
Prior art keywords
size
convolution
layer
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010057921.7A
Other languages
English (en)
Inventor
程陈
孙伟
余盖青
雷文洁
秦泽慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202010057921.7A priority Critical patent/CN111222491A/zh
Publication of CN111222491A publication Critical patent/CN111222491A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明公开了一种基于深度学习的车流量评估系统及其评估方法，属于车流量评估技术领域。本发明先对视频数据进行预处理；然后，提取特征图像序列，构建初始训练样本集，并对其进行数据增量，形成最终样本集；接着，将部分最终样本集载入构建的卷积神经网络模型中进行迭代训练，得到最终分类模型；最后，载入最终样本集的剩余样本到模型中，从而获得预测路段在一定时间内的车流总数。本发明与现有技术相比，创造性的提出先放缩特征图像中车辆正投影面积来计算实际车辆的正投影面积再通过其与单个车体平均正投影面积的比值来估算特征图像中车辆数，最后统计得出整个特征图像序列中的车辆总数，为准确检测车流量提供了一套值得借鉴的方法。

Description

基于深度学习的车流量的评估方法
技术领域
本发明涉及车流量评估技术领域，具体为一种基于深度学习的车流量评估系统及其评估方法。
背景技术
城市交通是指城市(包括市区和郊区)道路(地面、地下、高架、水道、索道等)系统间的公众出行和客货输送。在人类把车辆作为交通工具之前，城市公众出行以步行为主，或以骑牲畜、乘轿等代步。货物转移多靠肩挑或利用简单的运送工具运输。车辆出现后，马车很快成为城市交通工具的主体。1819年巴黎市街上首先出现了为城市公众租乘服务的公共马车，从此产生了城市公共交通，开创了城市交通的新纪元；车流量是指在选定时间段内通过道路某一地点、某一断面或某一车道的交通实体数，从车流量的大小可以判定交通的拥挤状况,从而决定采取何种交通管理措施,因此对车流量的准确检测有利于交通管理。
现有的车流量主要靠摄像头和计数器进行实现，无法准确的反映实际的车流量，监测效果差，流量信息统计也不可靠；为此，综合考虑各类因素，提出了一种基于深度学习的车流量评估系统及其评估方法。
发明内容
本发明的目的在于：为了解决背景技术涉及的技术问题，提供一种基于深度学习的车流量评估系统及其评估方法。本发明采用的技术方案如下：
本发明采用的技术方案如下：
一种基于深度学习的车流量的评估方法，包括如下具体步骤：
S1、获取视频数据，并对视频数据进行预处理；
S2、提取特征图像序列，构建初始训练样本集；
S3、对初始训练样本进行数据增量，形成最终样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
S4、载入训练样本集的剩余样本到最终分类模型中，预测出特征图像中车辆的正投影面积所属面积类别y0,根据面积类别找出对应的面积S0，按放缩比例计算实际车辆正投影面积，S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数，并根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t，并根据对应的车流量数据做出车流量热度图。
所述模型训练根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
作为本发明进一步技术方案：所述S1中视频数据预处理包括如下步骤：
S101、标记视频中有无高速车辆；
S102、对视频进行分割形成视频单元；
S103、在视频单元中提取特征图像，并标记车辆的正投影面积S，其中S>＝0，同时，对车辆正投影面积进行细分处理，把不同的车辆的正投影面积S细分为1000个类别，不同的面积S对应不同的类别y。
作为本发明再进一步技术方案：所述S2提取特征图像序列，构建初始训练样本集包括如下步骤：
S201、对特征图像进行预处理；剔除重影或其他缺陷的图形特征；
S202、依次选取特征图像，排序形成特征图像序列；
S203、特征图像序列信息处理，构建初始训练样本集。
作为本发明再进一步技术方案：所述S3将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型包括如下步骤：
S301、构建VGGNet神经网络的第一个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,64)(其中，Filter的大小F1为3*3，Filter数量为K1＝64)，Padding＝1(记为P1)，Stride＝1(记为S1)，计算方式采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，即输入初始训练样本集，每个特征图像的尺寸大小为224x224x3，每次卷积后都经过一个Relu函数，之后特征图像尺寸变为
Figure BDA0002369462430000021
c＝K1即变为224x224x64的特征图像。然后对其作Maxpooling，池化单元F1'的尺寸大小为2x2，Padding＝0(记为P1')，Stride＝2(记为S1')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000022
高为
Figure BDA0002369462430000023
通道数为c＝K1的特征map，即池化后的特征图像尺寸减半为112x112x64；
S302、构建VGGNet神经网络的第二个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,128)(其中，Filter的大小F2为3*3，Filter数量为K2＝128)，Padding＝1(记为P2)，Stride＝1(记为S2)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：112x112x64，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000031
c＝K2即112x112x128。然后对其作Maxpooling，池化单元F2'的尺寸大小为2x2，Padding＝0(记为P2')，Stride＝2(记为S2')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000032
高为
Figure BDA0002369462430000033
通道数为c＝K2的特征map，即池化后的特征图像尺寸减半为56x56x128；
S303、构建VGGNet神经网络的第三个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,256)(其中，Filter的大小F3为3*3，Filter数量为K3＝128)，Padding＝1(记为P3)，Stride＝1(记为S3)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：56x56x128，每次卷积后都经过一个ReLu，之后图像尺寸变为
Figure BDA0002369462430000034
Figure BDA0002369462430000035
c＝K3即56x56x256。然后作Maxpooling，池化单元尺寸F3'的大小为2x2，Padding＝0(记为P3')，Stride＝2(记为S3')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000036
高为
Figure BDA0002369462430000037
通道数为c＝K3的特征map，即池化后的特征图像尺寸减半为28x28x256；
S304、构建VGGNet神经网络的第四个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)(其中，Filter的大小F4为3*3，Filter数量为K4＝512)，Padding＝1(记为P4)，Stride＝1(记为S4)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：28x28x256，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000038
c＝K4即28x28x512。然后对其作Maxpooling，池化单元尺寸F4'的大小为2x2，Padding＝0(记为P4')，Stride＝2(记为S4')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000041
高为
Figure BDA0002369462430000042
通道数为c＝K4的特征map，即池化后的特征图像尺寸减半为14x14x512；
S305、构建VGGNet神经网络的第五个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)(其中，Filter的大小F5为3*3，Filter数量为K5＝512)，Padding＝1(记为P5)，Stride＝1(记为S5)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：14x14x512，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000043
c＝K5即14x14x512。然后对其作Maxpooling，池化单元尺寸F5'的大小为2x2，Padding＝0(记为P5')，Stride＝2(记为S5')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000044
高为
Figure BDA0002369462430000045
通道数为c＝K5的特征map，即池化后的特征图像尺寸减半为7x7x512；
S306、构建VGGNet神经网络全连接层：上一层输出的特征图像尺寸：7x7x512首先经过一个4096个Kernel＝(7,7,512)的卷积(非线性变换)，经过Relu后同理可得到一个特征图像尺寸大小为1x1x4096的输出，再与一层1x1x4096的全连接层进行全连接计算，其输出经过ReLu和Dropout,其中Dropout、ReLu的计算公式分别如下(记l表示此为第l层)：
Dropout计算公式：
Figure BDA0002369462430000046
Relu函数:max(0,wTx+b)
其中，Bernoulli(p)函数是为了生成概率r向量，也就是随机生成一个0、1的向量。rj (l)表示第l层网络第j个生成的随机概率向量。r(l)即某一个l层网络的随机概率向量，y(l)即某一个l层网络的输入参数值，
Figure BDA0002369462430000047
为以上两个参数的乘积，即剩下的该层神经元个数与该层输入参数相互作用所得的结果，wi (l+1)为第i+1层计算的权重参数，bi (l+1)为第i+1层的偏置量，zi (l+1)是以上三个参数参与计算所得的第i+1层的结果(参数值)，f为激活函数Relu，经过Relu函数保证其值为大于0的常数值。
Relu函数中，w表示l+1层的权值参数，b表示偏置量，对其取max值为l+1层的结果值。再与1x1x1000的全连接层进行全连接计算并通过激活函数softmax公式计算特征图像中车辆正投影面积所属类别值的概率：
Figure BDA0002369462430000051
其中，zj表示上一层的输出值，并对其进行求和运算，yj为某一个车辆正投影面积所属类别值的概率，其映射区间为[0,1].根据计算所得的最大的一个概率结果值，预测出该车辆正投影面积所属的类别。同时，通过计算VGGNet神经网络的交叉熵损失函数E(t,y)和优化函数RMSprop，E(t,y)的计算公式分别如下所示：
Figure BDA0002369462430000052
其中，t和y分别表示神经网络的目标标签(即实际车辆正投影面积所属类别)和预测的类别，yj表示经过softmax计算的损失函数，RMSprop是用于该神经网络梯度计算的方法。
E[δ2]t＝0.9E[δ2]t-1+0.1δt 2
Figure BDA0002369462430000053
其中，全局学习速率为∈,初始参数为θ,数值稳定量为δ。
通过以上步骤进行神经网络的反馈，不断调整以上各层的权重w等参数(调参)，计算出交叉熵最小的损失函数E最优(t,y)、神经网络梯度收敛最快的最优值RMSprop最优，从而得到道路车辆的正投影面积的最终分类模型。
一种基于深度学习的车流量评估系统，包括数据采集单元，用于对特征图像进行数据采集；
路段时间标注单元，用于对特征图像集中特征图像进行路段和时间标注；
图像数据预处理模块，用于对获取的视频数据进行图像信息处理；构建特征图像集；
数据库模块，用于存储图像数据预处理模块处理后的特征图像数据；
模型训练模块，用于对采集的初始训练样本集进行数据增量，形成最终训练样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
模型测试模块，用于载入最终训练样本集的剩余样本到所述最终分类模型中，输出车流量热度图HeatMap以及对应的车流量Q。
作为本发明再进一步技术方案：所述卷积神经网络模型根据特征图像中车辆正投影面积S0，按放缩比例计算实际车辆正投影面积，S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数，并根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t。
作为本发明再进一步技术方案：所述模型训练模块根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
作为本发明再进一步技术方案：所述数据库模块选用MySQL数据库，用于存储图像数据预处理模块处理后的特征图像数据。
作为本发明再进一步技术方案：所述卷积神经网络模型为深度神经网络模型，深度神经网络模型为VGGNet卷积神经网络结构模型。
本发明与现有技术相比具有的优点或积极效果
1、本发明提供一种基于深度学习的车流量评估系统及其评估方法，本发明创造性提出用根据特征图像中车辆正投影面积S0，按放缩比例计算实际车辆正投影面积S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数；本发进一步根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t。
2、本发明进一步技术提出模型训练模块根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
3、本发明进一步技术提出数据库模块选用MySQL数据库，用于存储图像数据预处理模块处理后的特征图像数据。
4、本发明进一步技术提出卷积神经网络模型为深度神经网络模型，深度神经网络模型为VGGNet卷积神经网络结构模型。
附图说明
图1为本发明的车流量评估流程示意简图；
图2.1、2.2为本发明的车流量评估VGGNet模型结构图；
图3为本发明的车辆正投影面积分类模型的具体计算流程示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一，参照图1，一种基于深度学习的车流量的评估方法，包括如下具体步骤：
S1、获取视频数据，并对视频数据进行预处理；
S2、提取特征图像序列，构建初始训练样本集；
S3、对初始训练样本进行数据增量，形成最终样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
S4、载入训练样本集的剩余样本到最终分类模型中，预测出特征图像中车辆的正投影面积所属面积类别y0,根据面积类别找出对应的面积S0，按放缩比例计算实际车辆正投影面积，S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数，并根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t，并根据对应的车流量数据做出车流量热度图。
所述模型训练根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
作为本发明进一步技术方案：所述S1中视频数据预处理包括如下步骤：
S101、标记视频中有无高速车辆；
S102、对视频进行分割形成视频单元；
S103、在视频单元中提取特征图像，并标记车辆的正投影面积S，其中S>＝0，同时，对车辆正投影面积进行细分处理，把不同的车辆的正投影面积S细分为1000个类别，不同的面积S对应不同的类别y。
作为本发明再进一步技术方案：所述S2提取特征图像序列，构建初始训练样本集包括如下步骤：
S201、对特征图像进行预处理；剔除重影或其他缺陷的图形特征；
S202、依次选取特征图像，排序形成特征图像序列；
S203、特征图像序列信息处理，构建初始训练样本集。
作为本发明再进一步技术方案：所述S3将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型包括如下步骤：
S301、构建VGGNet神经网络的第一个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,64)(其中，Filter的大小F1为3*3，Filter数量为K1＝64)，Padding＝1(记为P1)，Stride＝1(记为S1)，计算方式采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，即输入初始训练样本集，每个特征图像的尺寸大小为224x224x3，每次卷积后都经过一个Relu函数，之后特征图像尺寸变为
Figure BDA0002369462430000081
c＝K1即变为224x224x64的特征图像。然后对其作Maxpooling，池化单元F1'的尺寸大小为2x2，Padding＝0(记为P1')，Stride＝2(记为S1')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000082
高为
Figure BDA0002369462430000083
通道数为c＝K1的特征map，即池化后的特征图像尺寸减半为112x112x64；
S302、构建VGGNet神经网络的第二个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,128)(其中，Filter的大小F2为3*3，Filter数量为K2＝128)，Padding＝1(记为P2)，Stride＝1(记为S2)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：112x112x64，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000084
c＝K2即112x112x128。然后对其作Maxpooling，池化单元F2'的尺寸大小为2x2，Padding＝0(记为P2')，Stride＝2(记为S2')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000085
高为
Figure BDA0002369462430000086
通道数为c＝K2的特征map，即池化后的特征图像尺寸减半为56x56x128；
S303、构建VGGNet神经网络的第三个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,256)(其中，Filter的大小F3为3*3，Filter数量为K3＝128)，Padding＝1(记为P3)，Stride＝1(记为S3)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：56x56x128，每次卷积后都经过一个ReLu，之后图像尺寸变为
Figure BDA0002369462430000091
c＝K3即56x56x256。然后作Maxpooling，池化单元尺寸F3'的大小为2x2，Padding＝0(记为P3')，Stride＝2(记为S3')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000092
高为
Figure BDA0002369462430000093
通道数为c＝K3的特征map，即池化后的特征图像尺寸减半为28x28x256；
S304、构建VGGNet神经网络的第四个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)(其中，Filter的大小F4为3*3，Filter数量为K4＝512)，Padding＝1(记为P4)，Stride＝1(记为S4)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：28x28x256，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000094
c＝K4即28x28x512。然后对其作Maxpooling，池化单元尺寸F4'的大小为2x2，Padding＝0(记为P4')，Stride＝2(记为S4')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000095
高为
Figure BDA0002369462430000096
通道数为c＝K4的特征map，即池化后的特征图像尺寸减半为14x14x512；
S305、构建VGGNet神经网络的第五个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)(其中，Filter的大小F5为3*3，Filter数量为K5＝512)，Padding＝1(记为P5)，Stride＝1(记为S5)，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：14x14x512，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure BDA0002369462430000097
c＝K5即14x14x512。然后对其作Maxpooling，池化单元尺寸F5'的大小为2x2，Padding＝0(记为P5')，Stride＝2(记为S5')，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure BDA0002369462430000098
高为
Figure BDA0002369462430000099
通道数为c＝K5的特征map，即池化后的特征图像尺寸减半为7x7x512；
S306、构建VGGNet神经网络全连接层：上一层输出的特征图像尺寸：7x7x512首先经过一个4096个Kernel＝(7,7,512)的卷积(非线性变换)，经过Relu后同理可得到一个特征图像尺寸大小为1x1x4096的输出，再与一层1x1x4096的全连接层进行全连接计算，其输出经过ReLu和Dropout,其中Dropout、ReLu的计算公式分别如下(记l表示此为第l层)：
Dropout计算公式：
Figure BDA0002369462430000101
Relu函数:max(0,wTx+b)
其中，Bernoulli(p)函数是为了生成概率r向量，也就是随机生成一个0、1的向量。rj (l)表示第l层网络第j个生成的随机概率向量。r(l)即某一个l层网络的随机概率向量，y(l)即某一个l层网络的输入参数值，
Figure BDA0002369462430000102
为以上两个参数的乘积，即剩下的该层神经元个数与该层输入参数相互作用所得的结果，wi (l+1)为第i+1层计算的权重参数，bi (l+1)为第i+1层的偏置量，zi (l+1)是以上三个参数参与计算所得的第i+1层的结果(参数值)，f为激活函数Relu，经过Relu函数保证其值为大于0的常数值。
Relu函数中，w表示l+1层的权值参数，b表示偏置量，对其取max值为l+1层的结果值。
再与1x1x1000的全连接层进行全连接计算并通过激活函数softmax公式计算特征图像中车辆正投影面积所属类别值的概率：
Figure BDA0002369462430000103
其中，zj表示上一层的输出值，并对其进行求和运算，yj为某一个车辆正投影面积所属类别值的概率，其映射区间为[0,1].根据计算所得的最大的一个概率结果值，预测出该车辆正投影面积所属的类别。同时，通过计算VGGNet神经网络的交叉熵损失函数E(t,y)和优化函数RMSprop，E(t,y)的计算公式分别如下所示：
Figure BDA0002369462430000104
其中，t和y分别表示神经网络的目标标签(即实际车辆正投影面积所属类别)和预测的类别，yj表示经过softmax计算的损失函数，RMSprop是用于该神经网络梯度计算的方法。
E[δ2]t＝0.9E[δ2]t-1+0.1δt 2
Figure BDA0002369462430000111
其中，全局学习速率为∈,初始参数为θ,数值稳定量为δ。
通过以上步骤进行神经网络的反馈，不断调整以上各层的权重w等参数(调参)，计算出交叉熵最小的损失函数E最优(t,y)、神经网络梯度收敛最快的最优值RMSprop最优，从而得到道路车辆的正投影面积的最终分类模型。
一种基于深度学习的车流量评估系统，包括数据采集单元，用于对特征图像进行数据采集；
路段时间标注单元，用于对特征图像集中特征图像进行路段和时间标注；
图像数据预处理模块，用于对获取的视频数据进行图像信息处理；构建特征图像集；
数据库模块，用于存储图像数据预处理模块处理后的特征图像数据；
模型训练模块，用于对采集的初始训练样本集进行数据增量，形成最终训练样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
模型测试模块，用于载入最终训练样本集的剩余样本到所述最终分类模型中，输出车流量Q并根据车流量Q做出其对应的热度图HeatMap。
所述根据特征图像中车辆正投影面积S0，按放缩比例计算实际车辆正投影面积S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数；本发进一步根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t。
所述模型训练模块根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
所述数据库模块选用MySQL数据库，用于存储图像数据预处理模块处理后的特征图像数据。
所述卷积神经网络模型为深度神经网络模型，深度神经网络模型为VGGNet卷积神经网络结构模型。
工作原理：本发明提供一种基于深度学习的车流量评估系统及其评估方法，本发明创造性提出用根据特征图像中车辆正投影面积S0，按放缩比例计算实际车辆正投影面积S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数；本发进一步根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t；本发明进一步提出特征图像提取方法，标记视频中有无高速车辆；对视频进行分割形成视频单元；在视频单元中提取特征图像，并标记车辆的正投影面积S，其中S>＝0。同时，对车辆正投影面积进行细分处理，把不同的车辆的正投影面积S细分为1000个类别，不同的面积S对应不同的类别y；本发明进一步通过模型测试模块，用于载入最终训练样本集的剩余样本到所述最终分类模型中，输出车流量并根据车流量作出对应的车流量热度图。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度学习的车流量的评估方法，其特征在于，包括如下步骤：
S1、获取视频数据，并对视频数据进行预处理；
S2、提取特征图像序列，构建初始训练样本集；
S3、对初始训练样本进行数据增量，形成最终样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
S4、载入训练样本集的剩余样本到最终分类模型中，预测出特征图像中车辆的正投影面积所属面积类别y0，根据面积类别找出对应的面积S0，按放缩比例计算实际车辆正投影面积，S＝S0/K，其中K为放缩比例系数；根据实际车辆正投影面积估算特征图像中车辆数；M＝S/m，m为单个车体平均正投影面积；合计整个特征图像序列中车辆总数，并根据卷积神经网络模型去重，获得预测路段在一定时间内的车流总数，进而获得车流量Q＝M/t，并根据对应的车流量数据做出车流量热度图；
所述模型训练根据不同特征图像序列进行多轮训练，直至差异达到预设范围；
所述步骤S1中视频数据预处理包括如下步骤：
S101、标记视频中有无高速车辆；
S102、对视频进行分割形成视频单元；
S103、在视频单元中提取特征图像，并标记车辆的正投影面积S，其中S>＝0，同时，对车辆正投影面积进行细分处理，把不同的车辆的正投影面积S细分为1000个类别，不同的面积S对应不同的类别y；
步骤S2提取特征图像序列，构建初始训练样本集包括如下步骤：
S201、对特征图像进行预处理；剔除重影或其他缺陷的图形特征；
S202、依次选取特征图像，排序形成特征图像序列；
S203、特征图像序列信息处理，构建初始训练样本集；
步骤S3包括如下步骤：
S301、构建VGGNet神经网络的第一个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,64)，其中，Filter的大小F1为3*3，Filter数量为K1＝64，Padding＝1，Padding记为P1，Stride＝1，Stride记为S1，计算方式采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，即输入初始训练样本集，每个特征图像的尺寸大小为224x224x3，每次卷积后都经过一个Relu函数，之后特征图像尺寸变为
Figure FDA0002369462420000021
c＝K1即变为224x224x64的特征图像；然后对特征图像作Maxpooling，池化单元F1'的尺寸大小为2x2，Padding＝0，对应的Padding记为P1'，Stride＝2，对应的Stride记为S1'，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure FDA0002369462420000022
高为
Figure FDA0002369462420000023
通道数为c＝K1的特征map，即池化后的特征图像尺寸减半为112x112x64；
S302、构建VGGNet神经网络的第二个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行两次卷积，Kernel＝(3,3,128)；其中，Filter的大小F2为3*3，Filter数量为K2＝128；Padding＝1，对应的Padding记为P2，Stride＝1，对应的Stride记为S2，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：112x112x64，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure FDA0002369462420000024
c＝K2即112x112x128；然后对特征图像作Maxpooling，池化单元F2'的尺寸大小为2x2，Padding＝0，对应的Padding记为P2'，Stride＝2，对应的Stride记为S2'，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure FDA0002369462420000025
高为
Figure FDA0002369462420000026
通道数为c＝K2的特征map，即池化后的特征图像尺寸减半为56x56x128；
S303、构建VGGNet神经网络的第三个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,256)；其中，Filter的大小F3为3*3，Filter数量为K3＝128；Padding＝1，对应的Padding记为P3，Stride＝1，对应的Stride记为S3，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：56x56x128，每次卷积后都经过一个ReLu，之后图像尺寸变为
Figure FDA0002369462420000031
c＝K3即56x56x256；然后作Maxpooling，池化单元尺寸F3'的大小为2x2，Padding＝0，对应的Padding记为P3'，Stride＝2，对应的Stride记为S3'，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure FDA0002369462420000032
高为
Figure FDA0002369462420000033
通道数为c＝K3的特征map，即池化后的特征图像尺寸减半为28x28x256；
S304、构建VGGNet神经网络的第四个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)；其中，Filter的大小F4为3*3，Filter数量为K4＝512；Padding＝1对应的Padding记为P4，Stride＝1，对应的Stride记为S4，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：28x28x256，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure FDA0002369462420000034
c＝K4即28x28x512；然后对其作Maxpooling，池化单元尺寸F4'的大小为2x2，Padding＝0，对应的Padding记为P4'，Stride＝2，对应的Stride记为S4'，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure FDA0002369462420000035
高为
Figure FDA0002369462420000036
通道数为c＝K4的特征map，即池化后的特征图像尺寸减半为14x14x512；
S305、构建VGGNet神经网络的第五个卷积块，用于对尺寸为w×h×c的输入特征进行卷积操作，共进行三次卷积，Kernel＝(3,3,512)；其中，Filter的大小F5为3*3，Filter数量为K5＝512；Padding＝1，对应的Padding记为P5，Stride＝1，对应的Stride记为S5，计算方式同样采用'SAME'，保证输出特征图的大小与输入特征图的大小保持不变，输入为上一层输出的特征图像的尺寸：14x14x512，每次卷积后都经过一个ReLu，之后特征图像尺寸变为
Figure FDA0002369462420000037
c＝K5即14x14x512；然后对其作Maxpooling，池化单元尺寸F5'的大小为2x2，Padding＝0，对应的Padding记为P5'，Stride＝2对应的Stride记为S5'，用于对第一层卷积得到的特征map进行步长2的池化操作，得到宽为
Figure FDA0002369462420000041
高为
Figure FDA0002369462420000042
通道数为c＝K5的特征map，即池化后的特征图像尺寸减半为7x7x512；
S306、构建VGGNet神经网络全连接层：上一层输出的特征图像尺寸：7x7x512首先经过一个4096个Kernel＝(7,7,512)的卷积非线性变换，经过Relu后同理可得到一个特征图像尺寸大小为1x1x4096的输出，再与一层1x1x4096的全连接层进行全连接计算，其输出经过ReLu和Dropout，其中Dropout、ReLu的计算公式分别如下：
Dropout计算公式：
Figure FDA0002369462420000043
Relu函数:max(0,wTx+b)
其中，Bernoulli(p)函数是为了生成概率r向量，也就是随机生成一个0、1的向量；用l表示此为第l层；rj (l)表示第l层网络第j个生成的随机概率向量；r(l)即某一个l层网络的随机概率向量，y(l)即某一个l层网络的输入参数值，
Figure FDA0002369462420000044
为以上两个参数的乘积，即剩下的该层神经元个数与该层输入参数相互作用所得的结果，wi (l+1)为第i+1层计算的权重参数，bi (l +1)为第i+1层的偏置量，zi (l+1)是以上三个参数参与计算所得的第i+1层的结果参数值，f为激活函数Relu，经过Relu函数保证其值为大于0的常数值；
Relu函数中，w表示l+1层的权值参数，b表示偏置量，对其取max值为l+1层的结果值；再与1x1x1000的全连接层进行全连接计算并通过激活函数softmax公式计算特征图像中车辆正投影面积所属类别值的概率：
Figure FDA0002369462420000045
其中，zj表示上一层的输出值，并对其进行求和运算，yj为某一个车辆正投影面积所属类别值的概率，其映射区间为[0,1]；根据计算所得的最大的一个概率结果值，预测出该车辆正投影面积所属的类别；同时，通过计算VGGNet神经网络的交叉熵损失函数E(t,y)和优化函数RMSprop，E(t,y)的计算公式分别如下所示：
Figure FDA0002369462420000051
其中，t和y分别表示神经网络的目标标签，即实际车辆正投影面积所属类别和预测的类别，yj表示经过softmax计算的损失函数，RMSprop是用于该神经网络梯度计算的方法；
E[δ2]t＝0.9E[δ2]t-1+0.1δt 2
Figure FDA0002369462420000052
其中，全局学习速率为∈,初始参数为θ,数值稳定量为δ；
通过以上步骤进行神经网络的反馈，不断调整以上各层的权重w和参数，计算出交叉熵最小的损失函数E最优(t,y)、神经网络梯度收敛最快的最优值RMSprop最优，从而得到道路车辆的正投影面积的最终分类模型。
2.一种基于深度学习的车流量评估系统，包括数据采集单元，用于对特征图像进行数据采集；
路段时间标注单元，用于对特征图像集中特征图像进行路段和时间标注；
图像数据预处理模块，用于对获取的视频数据进行图像信息处理；构建特征图像集；
数据库模块，用于存储图像数据预处理模块处理后的特征图像数据；
模型训练模块，用于对采集的初始训练样本集进行数据增量，形成最终训练样本集，并将部分样本载入构建的卷积神经网络模型中对所述模型进行迭代训练，得到最终分类模型；
模型测试模块，用于载入最终训练样本集的剩余样本到所述最终分类模型中，输出车流量热度图HeatMap以及对应的车流量Q；
其特征在于，所述卷积神经网络模型根据权利要求1构建；
所述模型训练模块根据不同特征图像序列进行多轮训练，直至差异达到预设范围。
CN202010057921.7A 2020-01-16 2020-01-16 基于深度学习的车流量的评估方法 Withdrawn CN111222491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010057921.7A CN111222491A (zh) 2020-01-16 2020-01-16 基于深度学习的车流量的评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010057921.7A CN111222491A (zh) 2020-01-16 2020-01-16 基于深度学习的车流量的评估方法

Publications (1)

Publication Number Publication Date
CN111222491A true CN111222491A (zh) 2020-06-02

Family

ID=70812015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010057921.7A Withdrawn CN111222491A (zh) 2020-01-16 2020-01-16 基于深度学习的车流量的评估方法

Country Status (1)

Country Link
CN (1) CN111222491A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990108A (zh) * 2021-04-19 2021-06-18 四川省水利科学研究院 一种基于卷积神经网络实现堤坝护坡的系统
CN113160133A (zh) * 2021-03-11 2021-07-23 天津大学 一种插图人气评估方法
CN113743654A (zh) * 2021-08-11 2021-12-03 青岛港国际股份有限公司 自动化码头闸口车流量预警方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160133A (zh) * 2021-03-11 2021-07-23 天津大学 一种插图人气评估方法
CN112990108A (zh) * 2021-04-19 2021-06-18 四川省水利科学研究院 一种基于卷积神经网络实现堤坝护坡的系统
CN112990108B (zh) * 2021-04-19 2022-12-27 四川省水利科学研究院 一种基于卷积神经网络实现堤坝护坡的系统
CN113743654A (zh) * 2021-08-11 2021-12-03 青岛港国际股份有限公司 自动化码头闸口车流量预警方法

Similar Documents

Publication Publication Date Title
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN109544932B (zh) 一种基于出租车gps数据与卡口数据融合的城市路网流量估计方法
CN108010320B (zh) 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
CN109448370B (zh) 一种基于车辆轨迹数据的交通控制子区划分方法
CN111222491A (zh) 基于深度学习的车流量的评估方法
CN104992223B (zh) 基于深度学习的密集人数估计方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN111667101B (zh) 融合高分辨率遥感影像与地形的个性化电力野外作业路径规划方法及系统
CN113591380B (zh) 基于图高斯过程的交通流预测方法、介质及设备
CN109887283B (zh) 一种基于卡口数据的道路拥堵预测方法、系统及装置
CN110766942A (zh) 一种基于卷积长短期记忆网络的交通路网拥堵预测方法
CN112417953A (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN110969142B (zh) 一种基于网联车辆自然驾驶数据的异常驾驶场景提取方法
CN114677507A (zh) 一种基于双向注意力网络的街景图像分割方法及系统
CN112598165B (zh) 基于私家车数据的城市功能区转移流量预测方法及装置
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
Pan et al. A novel vision-based framework for identifying dynamic vehicle loads on long-span bridges: A case study of Jiangyin Bridge, China
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN116824861A (zh) 基于城市大脑平台多维数据的共享单车调度方法和系统
CN111259833A (zh) 一种基于交通图像的车辆计数方法
CN103605960B (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
Zheng et al. A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images
CN116386020A (zh) 多源数据融合的高速公路收费站出口流量预测方法及系统
Najafi et al. Estimation of missing data in intelligent transportation system
CN115985132A (zh) 一种基于图神经网络的路边停车可用性预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200602