CN110889347B - 基于时空计数特征的密度交通流计数方法及系统 - Google Patents

基于时空计数特征的密度交通流计数方法及系统 Download PDF

Info

Publication number
CN110889347B
CN110889347B CN201911119834.3A CN201911119834A CN110889347B CN 110889347 B CN110889347 B CN 110889347B CN 201911119834 A CN201911119834 A CN 201911119834A CN 110889347 B CN110889347 B CN 110889347B
Authority
CN
China
Prior art keywords
counting
frame
vehicles
traffic
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911119834.3A
Other languages
English (en)
Other versions
CN110889347A (zh
Inventor
常发亮
李爽
刘春生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201911119834.3A priority Critical patent/CN110889347B/zh
Publication of CN110889347A publication Critical patent/CN110889347A/zh
Application granted granted Critical
Publication of CN110889347B publication Critical patent/CN110889347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开提供了一种基于时空计数特征的密度交通流计数方法及系统，获取交通视频，选定的显著性区域中进行车辆检测；构建过线概率函数评估检测到的车辆可能经过计数线的概率，根据概率值选出每帧图像中需要被跟踪的车辆，提取其空间特征和时间特征；构建基于长短时递归神经网络的计数模型，对视频中的双向时空计数特征进行分析，得到分类和相应的计数结果；基于计数结果估计流量，计算得到流量交通体量、密度和速度。本公开能够描述整个密集交通流，较为准确的确定交通流量。

Description

基于时空计数特征的密度交通流计数方法及系统
技术领域
本公开属于道路交通车辆流量检测技术领域，涉及一种基于时空计数特征的密度交通流计数方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
准确实时地估算交通流量参数(体积，密度和速度)，是交通管理和智能交通中的关键技术。估计这些参数通常需要车辆计数，在密集的交通场景中精确的车辆计数仍然比较困难。主要方法可分为两类，包括基于传感器的方法和基于视觉的方法。基于传感器的方法通常使用不同类型的监控设备，这些设备通常难以安装，并且可能会错过缓慢移动的车辆或暂时停留的车辆。相比之下，基于视觉的方法通常是低成本且更灵活的。然而，由于密集的交通场景有着复杂的背景，遮挡和高计算复杂性等特点，在密集的交通场景中基于视觉的车辆计数是一个具有挑战性的问题。基于视觉的车辆计数方法可以分为两类：计算在一定时间内穿过计数线的车辆数目，称为过线车辆(LOI)计数；计算某一区域中的车辆，称为感兴趣区域(ROI)计数。LOI计数通常用于直接估算交通量，而ROI计数通常用于估算交通密度。对于密集交通场景中的车辆计数，有许多ROI计数的方法，LOI计数由于比较困难，方法较少。
据发明人了解，现有的LOI计数方法通常需要检测和跟踪每辆车，这是一个复杂而困难的过程。当车辆目标彼此接近时，提取每一辆车比较复杂。因此密集交通场景中LOI计数性能相对较差。
发明内容
本公开为了解决上述问题，提出了一种基于时空计数特征的密度交通流计数方法及系统，本公开将车辆流量作为一个整体来对待，提出了一种用于密集交通场景的新型LOI计数框架，能够描述整个密集交通流，较为准确的确定交通流量。
根据一些实施例，本公开采用如下技术方案：
一种基于时空计数特征的密度交通流计数方法，包括以下步骤：
获取交通视频，选定的显著性区域中进行车辆检测；
构建过线概率函数评估检测到的车辆可能经过计数线的概率，根据概率值选出每帧图像中需要被跟踪的车辆，提取其空间特征和时间特征；
构建基于长短时递归神经网络的计数模型，对视频中的双向时空计数特征进行分析，得到分类和相应的计数结果；
基于计数结果估计流量，计算得到流量交通体量、密度和速度。
作为进一步的限定，在显著性区域中进行车辆检测的过程中，初步选择视频数据中一定大小的区域作为车辆目标显著性区域进行车辆检测，若检测出的车辆数目小于设定数值，则检测区域高度每次扩大若干像素，重新检测一遍，直至满足检测出的车辆目标数目大于等于设定数值。
作为进一步的限定，在显著性区域中进行车辆检测的过程中，删去检测出的目标预测概率值；对于任两个检测框，计算其中心点之间的距离，若小于预定距离则进行合并，合并方式为保留预测概率值大的那一个检测框，舍弃概率值小的检测框。
作为进一步的限定，过线概率函数定义为：
Figure GDA0003663744870000031
其中，
Figure GDA0003663744870000032
是第j帧中车辆的平均速度；
Figure GDA0003663744870000033
是第j帧中第i个边界框的左上角的y轴坐标；
Figure GDA0003663744870000034
是第j帧中第i个边界框的高度；cy是计数线的y轴值，第j帧中所有车辆的概率形成集合
Figure GDA0003663744870000035
按照降序排列，获取前Nv的车辆空间特征，选取当前帧之前的n帧和第j帧之后的m帧作为提取单元提取第j帧的时空计数特征。
作为进一步的限定，所述基于长短时递归神经网络的计数模型包括三部分，即输入时空计数特征、计数网络和累加器，时空计数特征Fj是cLSTM的输入，计数网络cLSTM包含一个长短时递归神经网络层、一个全连接层、一个归一化指数层和一个分类层；累加器连接到cLSTM的输出，通过累加器后最终的计数模型输出最终计数结果。
作为进一步的限定，将第j帧提取到的时空计数特征Fj定义为三类情况，包括没有车辆过线，有一个车辆沿着从上到下方向，即方向A过线，一个车辆上到下方向，即方向B过线；对于Fj中涉及的每个车辆，观察在第j帧时是否过线，若所有车辆都没过线，则计数网络cLSTM的输出Oj＝1；若有一辆车沿着从上到下方向过线，则Oj＝2；若有一辆车沿着从上到下方向过线，则Oj＝3。
作为进一步的限定，所述累加器被配置有动态阈值分析，具体为：
对于cLSTM的初步分类结果，对第j帧计数特征Fj被分为2或3类，则对j帧的前ω帧中被分为一类的计数特征，将其中包含的车辆与计数线的欧式距离进行计数，然后按照下公式得到针对j帧的阈值参数θj：
Figure GDA0003663744870000041
ave(Ej-ω)是对被分为一类的特征里面车辆与计数线的欧氏距离的平均值；α是参数为2，n是为从j帧前n帧中选取被cLSTM分为一类的帧；
将j帧的计数特征中的车辆也计算其与计数线的欧式距离，得到Ej，将Ej与上述阈值θj比较，则最终的累加器按照如下公式进行计数累加：
Figure GDA0003663744870000042
if Oj＝2andEj>θj，
Figure GDA0003663744870000043
if Oj＝3andEj>θj
Figure GDA0003663744870000044
分别是第j帧A、B方向上的过线车辆的计数结果。
作为进一步的限定，交通体量的计算方法为：
Figure GDA0003663744870000051
Figure GDA0003663744870000052
Figure GDA0003663744870000053
是第j帧A方向的交通体量值，单位是个/小时；
Figure GDA0003663744870000054
是第j帧B方向的交通体量值，单位是个/小时；
Figure GDA0003663744870000055
是截止到第j帧经过对应方向计数线的车辆数目，单位是个；
R是交通流视频的帧率，即一秒钟有几帧，单位是帧。
作为进一步的限定，交通密度的计算方法包括：
Figure GDA0003663744870000056
Figure GDA0003663744870000057
Figure GDA0003663744870000058
Desj是第j帧的交通密度值，单位是个/千米；
Figure GDA0003663744870000059
是第j帧的A方向行驶道路区域上的交通密度值，单位是个/千米；
Figure GDA00036637448700000510
是第j帧的B方向行驶道路区域上的交通密度值，单位是个/千米；
Dj是第j帧检测到的车辆数目，单位是个；
Figure GDA00036637448700000511
是第j帧检测到的A方向行驶道路区域上车辆数目，单位是个；
Figure GDA00036637448700000512
是第j帧检测到的B方向行驶道路区域上车辆数目，单位是个；
l是第j帧进行车辆检测的区域长度，单位是像素；
La是图片中的一段像素值距离Lp对应到现实世界中的实际长度值，单位是米；
Lp是图片中的一段像素值距离，单位是像素。
作为进一步的限定，速度的计算过程包括：
Figure GDA0003663744870000061
Figure GDA0003663744870000062
Figure GDA0003663744870000063
是第j帧A方向的交通速度值，单位是千米/小时；
Figure GDA0003663744870000064
是第j帧B方向的交通速度值，单位是千米/小时。
一种基于时空计数特征的密度交通流计数系统，包括：
车辆检测模块，被配置为获取交通视频，选定的显著性区域中进行车辆检测；
时空特征提取模块，被配置为构建过线概率函数评估检测到的车辆可能经过计数线的概率，根据概率值选出每帧图像中需要被跟踪的车辆，提取其空间特征和时间特征；
计数模块，被配置为构建基于长短时递归神经网络的计数模型，对视频中的双向时空计数特征进行分析，得到分类和相应的计数结果；
参数估计模块，被配置为基于计数结果估计流量，计算得到流量交通体量、密度和速度。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于时空计数特征的密度交通流计数方法的步骤。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于时空计数特征的密度交通流计数方法的步骤。
与现有技术相比，本公开的有益效果为：
本公开能够在密集交通情况下表征双向车辆流动状态，可以描述整个密集交通流而非个体，减少计算量，增加准确度。
本公开通过构建cLSTM计数网络可以对输入STCF进行分析，并输出分类和计数结果，能够有效避免使用多目标跟踪，测量精度高和消耗时间少，保证计数简单而有效，能够实时估计包括速度，体积和密度在内的交通流量参数。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开的处理流程图；
图2是本公开的计数模型结构图；
图3是本公开的试验结果示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本公开提出了基于时空计数特征和长短时递归神经网络的密度交通流计数方法，主要有以下是三个特性，首先，本公开不是将车辆计数问题视为单个车辆的检测和跟踪的组合，而是将双向交通流作为一个整体，来提取密集的交通场景中双向交通流量的流动特征。其次，不依靠多目标跟踪过程来跟踪和计算每辆车，利用称为计数长短时记忆(cLSTM)网络的计数网络，用于对连续帧视频中的双向STCF特征和车辆计数进行分析。最后，本公开提供了交通流参数的估算方法，包括速度，体积和密度。在UA-DETRAC数据集和实施例录制的视频上进行的实验表明，本公开在测量精度和消耗时间方面优于被比较的的代表性计算方法，并且所提出的框架能够有效地实时估计包括速度，体积和密度在内的交通流量参数。
如图1所示，本公开具体主要分为显著性区域车辆检测、时空特征提取、计数网络和交通流参数估计三部分。
显著性区域车辆检测
对于交通流视频数据，在中心位置或者中心位置附近设置一条水平计数线，覆盖所需要计数的道路。选择图片的三分之二(本方法所使用的图片显著性区域大小为宽960像素，高360像素)作为车辆目标显著性区域进行车辆检测，若检测出的车辆数目小于3个则检测区域高度每次扩大50像素，重新检测一遍，直至满足检测出的车辆目标数目大于等于3个。
采用训练好的YOLOv3交通车辆检测网络作为本框架中的车辆检测器，YOLOv3网络有53个卷积层(convolutionallayers)，一些快捷连接(shortcutconnections)，路由层(routelayers)，上采样层(up-samplelayers)和YOLO层(YOLOlayers)。在选定的显著性区域中进行车辆检测。对于YOLOv3的检测结果，采用以下两步处理进一步增强检测结果的精确性：a.对于检测出的目标预测概率值小于0.5的舍掉不要；b.对于任两个检测框，计算其中心点之间的距离，若小于10则进行合并，合并方式为保留预测概率值大的那一个检测框，舍弃概率值小的检测框。
2.时空计数特征提取
经过车辆检测后，每幅图像中检测到的车辆的边界框表示为bi＝(xi，yi，wi，hi)，i＝1，2，...，Nb，其中xi和yi是左上角的坐标，wi和hi是第i个边界框的宽度和高度。本公开设置了一个过线概率函数来评价这些检测到的车辆可能经过计数线的概率，并以此概率值选出每帧图像中需要被跟踪的车辆。本公开将过线概率函数定义为，
Figure GDA0003663744870000101
其中，
Figure GDA0003663744870000102
是第j帧中车辆的平均速度；
Figure GDA0003663744870000103
是第j帧中第i个边界框的左上角的y轴坐标；
Figure GDA0003663744870000104
是第j帧中第i个边界框的高度；cy是计数线的y轴值，第j帧中所有车辆的概率形成集合
Figure GDA0003663744870000105
按降序排列P(j)中的概率
Figure GDA0003663744870000106
然后，选择具有最大过线概率的前Nv个车辆。根据交叉概率由大到小，Nv个车辆边界框的坐标被顺序地放入集合Bj中。即
Figure GDA0003663744870000107
其中，
Figure GDA0003663744870000108
Figure GDA0003663744870000109
按照下公式计算Bj中的每辆车以获得其空间特征：
Figure GDA00036637448700001010
其中，
Figure GDA00036637448700001011
是第j帧中第i个边界框的左上角的y轴坐标；
Figure GDA00036637448700001012
是第j帧中第i个边界框的高度。对于第j帧，根据下公式获得Nv维空间特征向量fj：
Figure GDA00036637448700001013
本公开是按时间顺序提取空间特征，而不需要跟踪每辆车。当前帧是第j帧。选择第j帧之前的n帧和第j帧之后的m帧作为提取单元提取第j帧的时空计数特征Fj，如下公式所示：
Fj＝[fj-n，…，fj-1，fj，fj+1，…，fj+m]
一个合适的Nv对于准确和快速跟踪和计数结果很重要。本公开通过具体的实验选择Nv＝3，可以达到最佳效果。n和m也是通过具体的实验进行选择的，n＝m＝1，可以达到最佳效果。因此Fj是一个Nv*((n+m)+1)维的特征向量，在本公开中是一个3×3的向量。
3.计数网络和交通流参数估计模型
本公开设计了基于cLSTM的计数模型。设计的计数模型由三部分组成，包括输入时空计数特征，计数网络(cLSTM)和累加器。时空计数特征Fj是cLSTM的输入。计数网络cLSTM包含一个长短时递归神经网络(LSTM)层，一个全连接(FC)层，一个归一化指数(softmax)层和一个分类(classification)层。cLSTM中的LSTM层有100个隐藏单元。在FC层和softmax层之后，最后的classification层输出Oj。累加器连接到cLSTM的输出Oj，通过累加器后最终的计数模型输出最终LOI计数结果
Figure GDA0003663744870000111
结构如图2所示。
时空计数特征Fj被输入到cLSTM中。cLSTM的输入和输出分别在已经定义。对于第j帧提取的时空计数特征Fj是计数网络(cLSTM)的输入。对于网络的输出Oj，本公开按照如下方法定义：
因为车辆可以在很短的时间内穿过计数线，本公开将第j帧提取到的时空计数特征Fj定义为三类情况，包括没有车辆过线，有一个车辆沿着从上到下方向(方向A)过线，一个车辆上到下方向(方向B)过线。对于Fj中涉及的每个车辆，观察在第j帧时是否过线，若所有车辆都没过线，则Oj＝1；若有一辆车沿着从上到下方向(方向A)过线，则Oj＝2；若有一辆车沿着从上到下方向(方向B)过线，则Oj＝3。
cLSTM的classification层采用如下损失函数计算三类分类结果的交叉熵损失：
Figure GDA0003663744870000121
其中K是样本数，Ii，j是第i个时空计数特征F属于第j个类的指示符；Oi，j是softmax层的输出，是将第i个F分类为第j类的概率。
最后，设计了一个带动态阈值分析的累加器，用于计算双向交通流中的车辆。由于在交通视频数据中生成的第1类数据远远多于其他两类，提出一种动态阈值分析方法，以消除第1类数据错误分类的影响。
对于cLSTM的初步分类结果，对第j帧计数特征Fj被分为2或3类，则对j帧的前ω帧中被分为一类的计数特征，将其中包含的车辆与计数线的欧式距离进行计数，然后按照下公式得到针对j帧的阈值参数θj：
Figure GDA0003663744870000122
ave(Ej-ω)是对被分为一类的特征里面车辆与计数线的欧氏距离的平均值；
α是参数为2，n是为从j帧前n帧中选取被cLSTM分为一类的帧。
将j帧的计数特征中的车辆也计算其与计数线的欧式距离，得到Ej，将Ej与上述阈值θj比较，则最终的累加器按照如下公式进行计数累加：
Figure GDA0003663744870000131
if Oj＝2andEj>θj，
Figure GDA0003663744870000132
if Oj＝3andEj>θj
Figure GDA0003663744870000133
分别是第j帧A、B方向上的过线车辆的计数结果。
在上述完成之后，可以使用本公开的交通流参数估计模型估计交通体量、速度、密度这三个参数值。具体如下。
1)交通体量估计模型：
Figure GDA0003663744870000134
Figure GDA0003663744870000135
Figure GDA0003663744870000136
是第j帧A方向的交通体量值，单位是个/小时；
Figure GDA0003663744870000137
是第j帧B方向的交通体量值，单位是个/小时；
Figure GDA0003663744870000138
是截止到第j帧经过对应方向计数线的车辆数目，单位是个；
R是交通流视频的帧率，即一秒钟有几帧，单位是帧。
2)交通密度估计模型：
Figure GDA0003663744870000139
Figure GDA00036637448700001310
Figure GDA00036637448700001311
Desj是第j帧的交通密度值，单位是个/千米；
Figure GDA0003663744870000141
是第j帧的A方向行驶道路区域上的交通密度值，单位是个/千米；
Figure GDA0003663744870000142
是第j帧的B方向行驶道路区域上的交通密度值，单位是个/千米；
Dj是第j帧检测到的车辆数目，单位是个；
Figure GDA0003663744870000143
是第j帧检测到的A方向行驶道路区域上车辆数目，单位是个；
Figure GDA0003663744870000144
是第j帧检测到的B方向行驶道路区域上车辆数目，单位是个；
l是第j帧进行车辆检测的区域长度，单位是像素；
La是图片中的一段像素值距离Lp对应到现实世界中的实际长度值，单位是米；
Lp是图片中的一段像素值距离，单位是像素；
3)交通速度估计模型：
Figure GDA0003663744870000145
Figure GDA0003663744870000146
Figure GDA0003663744870000147
是第j帧A方向的交通速度值，单位是千米/小时；
Figure GDA0003663744870000148
是第j帧B方向的交通速度值，单位是千米/小时。
本公开在UA-DETRAC数据库中选择了8个密度交通视频用于训练基于cLSTM网络的计数模型，另外2个密度交通视频(video-2，video-8)和自己录制了两个密度交通视频(video-A，video-B)用于实验，这些视频的LOI计数结果如表1所示。
表1
Figure GDA0003663744870000151
对于video-A，video-B，进行了交通流参数估计，得到了三个交通流参数估计曲线如下图所示。图3可见，本公开可以估计出每一帧的交通流参数，且体量比较平稳。密度则是由于摄像机拍摄到的道路长度远小于一千米，而有相对大的变化，但在较短的时间内其平均密度是比较平稳的。速度是根据体量和密度间接估计出来的，受体量影响波动较大，但大多帧数的时速在30km/h至60km/h之间。
对于估计出的三个交通流参数的平均值进行了精确度评估，结果如下表2所示。三个参数的估计平均值都有着较低的估计错误率。
表2
Figure GDA0003663744870000161
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于时空计数特征的密度交通流计数方法，其特征是：包括以下步骤：
获取交通视频，选定的显著性区域中进行车辆检测；
构建过线概率函数评估检测到的车辆可能经过计数线的概率，根据概率值选出每帧图像中需要被跟踪的车辆，提取其空间特征和时间特征；
构建基于长短时递归神经网络的计数模型，对视频中的双向时空计数特征进行分析，得到分类和相应的计数结果；
基于计数结果估计流量，计算得到流量交通体量、密度和速度；
所述过线概率函数定义为：
Figure FDA0003663744860000011
其中，
Figure FDA0003663744860000012
是第j帧中车辆的平均速度；
Figure FDA0003663744860000013
是第j帧中第i个边界框的左上角的y轴坐标；
Figure FDA0003663744860000014
是第j帧中第i个边界框的高度；cy是计数线的y轴值，第j帧中所有车辆的概率形成集合
Figure FDA0003663744860000015
按照降序排列，获取具有最大过线概率的前Nv个车辆的空间特征，选取当前帧之前的n帧和第j帧之后的m帧作为提取单元提取第j帧的时空计数特征；
所述交通体量的计算方法为：
Figure FDA0003663744860000016
Figure FDA0003663744860000021
Figure FDA0003663744860000022
是第j帧A方向的交通体量值，单位是个/小时；
Figure FDA0003663744860000023
是第j帧B方向的交通体量值，单位是个/小时；
Figure FDA0003663744860000024
是截止到第j帧经过对应方向计数线的车辆数目，单位是个；
R是交通流视频的帧率，即一秒钟有几帧，单位是帧；
或，交通密度的计算方法包括：
Figure FDA0003663744860000025
Figure FDA0003663744860000026
Figure FDA0003663744860000027
Desj是第j帧的交通密度值，单位是个/千米；
Figure FDA0003663744860000028
是第j帧的A方向行驶道路区域上的交通密度值，单位是个/千米；
Figure FDA0003663744860000029
是第j帧的B方向行驶道路区域上的交通密度值，单位是个/千米；
Dj是第j帧检测到的车辆数目，单位是个；
Figure FDA00036637448600000210
是第j帧检测到的A方向行驶道路区域上车辆数目，单位是个；
Figure FDA00036637448600000211
是第j帧检测到的B方向行驶道路区域上车辆数目，单位是个；
l是第j帧进行车辆检测的区域长度，单位是像素；
La是图片中的一段像素值距离Lp对应到现实世界中的实际长度值，单位是米；
Lp是图片中的一段像素值距离，单位是像素；
或，速度的计算过程包括：
Figure FDA0003663744860000031
Figure FDA0003663744860000032
Figure FDA0003663744860000033
是第j帧A方向的交通速度值，单位是千米/小时；
Figure FDA0003663744860000034
是第j帧B方向的交通速度值，单位是千米/小时。
2.如权利要求1所述的一种基于时空计数特征的密度交通流计数方法，其特征是：在显著性区域中进行车辆检测的过程中，初步选择视频数据中一定大小的区域作为车辆目标显著性区域进行车辆检测，若检测出的车辆数目小于设定数值，则检测区域高度每次扩大若干像素，重新检测一遍，直至满足检测出的车辆目标数目大于等于设定数值。
3.如权利要求1所述的一种基于时空计数特征的密度交通流计数方法，其特征是：在显著性区域中进行车辆检测的过程中，对于检测出的目标预测概率值小于设定值的舍掉不要；对于任两个检测框，计算其中心点之间的距离，若小于预定距离则进行合并，合并方式为保留预测概率值大的那一个检测框，舍弃概率值小的检测框。
4.如权利要求1所述的一种基于时空计数特征的密度交通流计数方法，其特征是：所述基于长短时递归神经网络的计数模型包括三部分，即输入时空计数特征、计数网络和累加器，时空计数特征Fj是cLSTM的输入，计数网络cLSTM包含一个长短时递归神经网络层、一个全连接层、一个归一化指数层和一个分类层；累加器连接到cLSTM的输出，通过累加器后最终的计数模型输出最终计数结果。
5.如权利要求4所述的一种基于时空计数特征的密度交通流计数方法，其特征是：将第j帧提取到的时空计数特征Fj定义为三类情况，包括没有车辆过线，有一个车辆沿着从上到下方向，即方向A过线，一个车辆上到下方向，即方向B过线；对于Fj中涉及的每个车辆，观察在第j帧时是否过线，若所有车辆都没过线，则计数网络cLSTM的输出Oj＝1；若有一辆车沿着从上到下方向过线，则Oj＝2；若有一辆车沿着从上到下方向过线，则Oj＝3；
或，所述累加器被配置有动态阈值分析，具体为：
对于cLSTM的初步分类结果，对第j帧计数特征Fj被分为2或3类，则对j帧的前ω帧中被分为一类的计数特征，将其中包含的车辆与计数线的欧式距离进行计数，然后按照下公式得到针对j帧的阈值参数θj：
Figure FDA0003663744860000041
ave(Ej-ω)是对被分为一类的特征里面车辆与计数线的欧氏距离的平均值；α是参数为2，n是为从j帧前n帧中选取被cLSTM分为一类的帧；
将j帧的计数特征中的车辆也计算其与计数线的欧式距离，得到Ej，将Ej与上述阈值θj比较，则最终的累加器按照如下公式进行计数累加：
Figure FDA0003663744860000051
Figure FDA0003663744860000052
Figure FDA0003663744860000053
分别是第j帧A、B方向上的过线车辆的计数结果。
6.一种基于时空计数特征的密度交通流计数系统，其特征是：包括：
车辆检测模块，被配置为获取交通视频，选定的显著性区域中进行车辆检测；
时空特征提取模块，被配置为构建过线概率函数评估检测到的车辆可能经过计数线的概率，根据概率值选出每帧图像中需要被跟踪的车辆，提取其空间特征和时间特征；
计数模块，被配置为构建基于长短时递归神经网络的计数模型，对视频中的双向时空计数特征进行分析，得到分类和相应的计数结果；
参数估计模块，被配置为基于计数结果估计流量，计算得到流量交通体量、密度和速度；
所述过线概率函数定义为：
Figure FDA0003663744860000054
其中，
Figure FDA0003663744860000055
是第j帧中车辆的平均速度；
Figure FDA0003663744860000056
是第j帧中第i个边界框的左上角的y轴坐标；
Figure FDA0003663744860000061
是第j帧中第i个边界框的高度；cy是计数线的y轴值，第j帧中所有车辆的概率形成集合
Figure FDA0003663744860000062
按照降序排列，获取具有最大过线概率的前Nv个车辆的空间特征，选取当前帧之前的n帧和第j帧之后的m帧作为提取单元提取第j帧的时空计数特征；
所述交通体量的计算方法为：
Figure FDA0003663744860000063
Figure FDA0003663744860000064
Figure FDA0003663744860000065
是第j帧A方向的交通体量值，单位是个/小时；
Figure FDA0003663744860000066
是第j帧B方向的交通体量值，单位是个/小时；
Figure FDA0003663744860000067
是截止到第j帧经过对应方向计数线的车辆数目，单位是个；
R是交通流视频的帧率，即一秒钟有几帧，单位是帧；
或，交通密度的计算方法包括：
Figure FDA0003663744860000068
Figure FDA0003663744860000069
Figure FDA00036637448600000610
Desj是第j帧的交通密度值，单位是个/千米；
Figure FDA00036637448600000611
是第j帧的A方向行驶道路区域上的交通密度值，单位是个/千米；
Figure FDA0003663744860000071
是第j帧的B方向行驶道路区域上的交通密度值，单位是个/千米；
Dj是第j帧检测到的车辆数目，单位是个；
Figure FDA0003663744860000072
是第j帧检测到的A方向行驶道路区域上车辆数目，单位是个；
Figure FDA0003663744860000073
是第j帧检测到的B方向行驶道路区域上车辆数目，单位是个；
l是第j帧进行车辆检测的区域长度，单位是像素；
La是图片中的一段像素值距离Lp对应到现实世界中的实际长度值，单位是米；
Lp是图片中的一段像素值距离，单位是像素；
或，速度的计算过程包括：
Figure FDA0003663744860000074
Figure FDA0003663744860000075
Figure FDA0003663744860000076
是第j帧A方向的交通速度值，单位是千米/小时；
Figure FDA0003663744860000077
是第j帧B方向的交通速度值，单位是千米/小时。
7.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-5中任一项所述的一种基于时空计数特征的密度交通流计数方法的步骤。
8.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-5中任一项所述的一种基于时空计数特征的密度交通流计数方法的步骤。
CN201911119834.3A 2019-11-15 2019-11-15 基于时空计数特征的密度交通流计数方法及系统 Active CN110889347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911119834.3A CN110889347B (zh) 2019-11-15 2019-11-15 基于时空计数特征的密度交通流计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911119834.3A CN110889347B (zh) 2019-11-15 2019-11-15 基于时空计数特征的密度交通流计数方法及系统

Publications (2)

Publication Number Publication Date
CN110889347A CN110889347A (zh) 2020-03-17
CN110889347B true CN110889347B (zh) 2022-07-12

Family

ID=69747642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911119834.3A Active CN110889347B (zh) 2019-11-15 2019-11-15 基于时空计数特征的密度交通流计数方法及系统

Country Status (1)

Country Link
CN (1) CN110889347B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920733B (zh) * 2021-10-14 2023-07-25 齐鲁工业大学 一种基于深度网络的交通体量估计方法及系统
CN114119648A (zh) * 2021-11-12 2022-03-01 史缔纳农业科技(广东)有限公司 一种用于固定通道的猪只计数方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733876B2 (en) * 2017-04-05 2020-08-04 Carnegie Mellon University Deep learning methods for estimating density and/or flow of objects, and related methods and software
CN108510741B (zh) * 2018-05-24 2020-10-30 浙江工业大学 一种基于Conv1D-LSTM神经网络结构的交通流预测方法
CN109754126A (zh) * 2019-01-30 2019-05-14 银江股份有限公司 基于时空相关性和卷积神经网络的短时交通流预测方法
CN109859468A (zh) * 2019-01-30 2019-06-07 淮阴工学院 基于YOLOv3的多车道车流量计数及车辆跟踪方法
CN110070713B (zh) * 2019-04-15 2021-01-01 浙江工业大学 一种基于双向嵌套lstm神经网络的交通流预测方法

Also Published As

Publication number Publication date
CN110889347A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN109522854B (zh) 一种基于深度学习和多目标跟踪的行人流量统计方法
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
US8582816B2 (en) Method and apparatus for video analytics based object counting
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
CN110853353B (zh) 基于视觉的密度交通车辆计数和交通流量计算方法及系统
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN105809954A (zh) 交通事件检测方法以及系统
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN112132071A (zh) 识别交通拥堵的处理方法、装置、设备及存储介质
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN111027370A (zh) 一种多目标跟踪及行为分析检测方法
Iyer et al. Adaptive real time traffic prediction using deep neural networks
US20230154192A1 (en) Person flow analysis method and system, electronic device, and readable storage medium
CN113256683B (zh) 目标跟踪方法及相关设备
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN111881866B (zh) 一种实时人脸抓取推荐方法、装置及计算机设备
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
CN112991769A (zh) 基于视频的交通量调查方法和装置
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
Srilekha et al. A novel approach for detection and tracking of vehicles using Kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant