CN113516853B - 一种针对复杂监控场景的多车道车流量检测方法 - Google Patents

一种针对复杂监控场景的多车道车流量检测方法 Download PDF

Info

Publication number
CN113516853B
CN113516853B CN202110703863.5A CN202110703863A CN113516853B CN 113516853 B CN113516853 B CN 113516853B CN 202110703863 A CN202110703863 A CN 202110703863A CN 113516853 B CN113516853 B CN 113516853B
Authority
CN
China
Prior art keywords
vehicle
image
optical flow
network
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110703863.5A
Other languages
English (en)
Other versions
CN113516853A (zh
Inventor
吴聪
朱凌志
李晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110703863.5A priority Critical patent/CN113516853B/zh
Publication of CN113516853A publication Critical patent/CN113516853A/zh
Application granted granted Critical
Publication of CN113516853B publication Critical patent/CN113516853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对复杂监控场景的多车道车流量检测方法，步骤为：步骤1，取得实时监控视频流，提取运动前景图像；步骤2，获取大致行车区域，进行膨胀处理，得到道路区域；步骤3，提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤4，跟踪图像中的车辆，获得各车辆目标的边界框以及轨迹信息；步骤5，利用车辆分布密度估计网络得到车辆分布密度信息；步骤6，基于分布密度信息获得实际车辆数量；步骤7，划定虚拟检测线，并进行车辆计数，得到车流量统计结果。本发明结合多目标跟踪和车辆分布密度热图对场景中的车流量进行检测，提升了复杂拥堵场景中车辆检测精度。

Description

一种针对复杂监控场景的多车道车流量检测方法
技术领域
本发明涉及智能交通系统和图像处理技术的技术领域，具体公开了一种针对复杂监控场景的多车道车流量检测方法。
背景技术
随着现代化城市规模的不断发展壮大，城市机动车保有量逐年升高，据公安部统计，2019年全国新注册登记机动车已有3214万辆，全国机动车保有量到达3.48亿量。各类因事故，复杂交通场景或异常天气而导致的拥堵也愈发平常，同时，车辆与交通道路带来的巨大海量数据信息为城市智慧交通系统建设提供了基础信息资源，也加快了对于系统建设的迫切需求，城市道路的实时车流量统计是智慧交通系统中最为基础环节。
早期的车流量计数监控系统皆需要依靠人力进行监测与分析，或是依靠特殊的传感器进行检测，人力监测不但费时而且效率低下，而传感器检测又需要车辆对各种检测传感器的支持，普及困难。随着机器视觉技术的发展，开始逐渐衍生出各种依靠机器视觉进行的监控视频分析，例如通过帧差法检测运动物体并计数的方式统计车流量。但此类方法鲁棒性较差，且针对不同场景需要人工进行检测区域划定，故而普适性较弱。现有技术中有对运动车辆检测的车流量统计方法，如公开号为CN106952474A公开了一种基于运动车辆检测的车流量统计方法，具体方法为：首先利用多尺度的形态学算子进行图像预处理，再结合背景实时更新、背景差分和边缘梯度差分检测出车辆目标，从而获取车辆目标的二值化图像；最后根据二值化图像，通过双阈值和车道检测线圈的状态转变方法进行单车道或多车道的车流量统计，实现了对车辆流量的自动统计，但是其统计的精确度不高，无法适应复杂环境。公开号为CN111932908A公开了一种基于深度学习的转向比及车流量统计方法，具体包括1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取实时视频流；4)检查相机工作状态；5)使用卷积神经网络模型对兴趣区域进行车辆目标检测；6)车辆目标跟踪；7)车道转向比统计；8)车流量统计，主要考虑到车辆转弯时，车辆的边界框变化大的特点，提出了车辆转弯时宽松化跟踪阈值的方法，以缓解目标跟踪丢失的情况。
发明内容
为了解决上述问题，本发明提供了一种针对复杂监控场景的多车道车流量检测方法，利用深度学习在面对复杂环境时的优势，解决在各种不同场景环境下中的拥堵时段，雨雪天气，夜间等场景下的车流量统计问题。
为了达到上述目的，本发明是通过以下技术方案来实现的：
本发明是一种针对复杂监控场景的多车道车流量检测方法，包括以下步骤：
步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；
步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；
步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；
步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；
步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；
步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；
步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果。
本发明的进一步改进在于：步骤2的具体处理步骤如下：
步骤2.1，获取上一步输出的实时视频帧的前景图像
Figure 339623DEST_PATH_IMAGE001
；
步骤2.2，基于图像透视原理对前景图像
Figure 923051DEST_PATH_IMAGE001
做自适应膨胀处理：
Figure 356788DEST_PATH_IMAGE002
其中
Figure 342062DEST_PATH_IMAGE001
为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标， m，n为卷积核的宽与高，w，h为前景图像的宽与高，
Figure 651820DEST_PATH_IMAGE003
为设定系数；
步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像
Figure 660228DEST_PATH_IMAGE001
构成前景图像集合M,通过前景图像集合M合成道路区域
Figure 713634DEST_PATH_IMAGE004
。
步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。
本发明的进一步改进在于：步骤3的具体处理步骤如下：
步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；
步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；
步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道。
本发明的进一步改进在于：步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：
步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布
Figure 740365DEST_PATH_IMAGE005
，对任意车辆的边界框转换为二维高斯分布式为：
Figure 221025DEST_PATH_IMAGE006
其中
Figure 513466DEST_PATH_IMAGE007
为第i辆车辆的中心点，
Figure 308247DEST_PATH_IMAGE008
，
Figure 2533DEST_PATH_IMAGE009
分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为
Figure 841045DEST_PATH_IMAGE010
的空白热图标签上，其中由于
Figure 886361DEST_PATH_IMAGE011
互不相关，故
Figure 281571DEST_PATH_IMAGE012
取0；
步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：
Figure 768047DEST_PATH_IMAGE013
其中
Figure 856089DEST_PATH_IMAGE014
表示正样本，即与
Figure 123122DEST_PATH_IMAGE015
属于同一ID的目标，而
Figure 508973DEST_PATH_IMAGE016
为负样本，即与
Figure 912272DEST_PATH_IMAGE015
不属于同一ID的目标，
Figure 108898DEST_PATH_IMAGE017
表示正类的权重，
Figure 863228DEST_PATH_IMAGE018
表示负类的权重，
Figure 600240DEST_PATH_IMAGE019
为所选样本批次大小；
步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息。
本发明的进一步改进在于：步骤5的具体步骤如下：
步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；
步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：
Figure 313505DEST_PATH_IMAGE020
其中
Figure 743349DEST_PATH_IMAGE021
是图像块所有像素的平均值，
Figure 657079DEST_PATH_IMAGE022
是图像像素值的方差，
Figure 197782DEST_PATH_IMAGE023
为防止分母为0的常量，
Figure DEST_PATH_IMAGE024
为图像像素值x方向和y方向方差的乘积；
步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图。
本发明的进一步改进在于：步骤6的具体操作如下：
步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；
步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：
Figure 28203DEST_PATH_IMAGE025
其中
Figure 363370DEST_PATH_IMAGE026
，
Figure 341559DEST_PATH_IMAGE027
分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，
Figure 420373DEST_PATH_IMAGE028
，
Figure 918351DEST_PATH_IMAGE029
为该目标框左上角坐标，
Figure 362101DEST_PATH_IMAGE030
为相应坐标点处密度值，对于通常非密集状态时边界框的
Figure 578319DEST_PATH_IMAGE031
；
步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
本发明的进一步改进在于：步骤7具体步骤如下：
步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置
Figure 644845DEST_PATH_IMAGE032
；
步骤7.2，根据相交点于图像中的纵向位置根据所设计逻辑划定虚拟检测线；
步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的车辆数目，并以此对计数值进行增加。
本发明的进一步改进在于：步骤7.2的具体操作为：取各道路区域边界线段于图像左右两侧的交接点，若两交接点皆是位于图像左右边上，则取两交接点纵向最高点做平行于水平方向的直线作为计数分界线；若两交接点一个位于左右边界，一个位于下方边界，且交接点高于
Figure 997329DEST_PATH_IMAGE033
，则从该交接点做平行于水平方向的直线作为计数分界线，其中
Figure 939878DEST_PATH_IMAGE034
为图像的纵向高度，
Figure 315495DEST_PATH_IMAGE035
为一由相机假设高度与俯仰角所决定的系数；若交接点低于
Figure 736112DEST_PATH_IMAGE036
或两交接点均位于图像下边上，取平行于图像下边界的水平直线
Figure 208682DEST_PATH_IMAGE037
作为计数分界线，其中
Figure 243503DEST_PATH_IMAGE037
距离图像底边高
Figure 168734DEST_PATH_IMAGE036
。
本发明的进一步改进在于：步骤3.1利用训练的深度模型对一定间隔的帧图像提取光流矩阵Oi1，所述深度模型采用FlowNet光流提取网络，重复3.1并对得到的光流矩阵做融合处理得到
Figure 330725DEST_PATH_IMAGE038
：
Figure 657801DEST_PATH_IMAGE039
并对
Figure 942152DEST_PATH_IMAGE038
中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：
Figure 541629DEST_PATH_IMAGE040
其中
Figure 304049DEST_PATH_IMAGE041
为光流矩阵中位于i行j列的光流向量元素，H、W分别为图像高度与宽度。
本发明的有益效果是：本发明针对复杂场景中的多车道分割难题，设计了一种基于无监督学习的多车道分割方法。为提升复杂拥堵场景中车辆检测精度，提出了基于车辆分布密度热图辅助的车辆计数方法，结合多目标跟踪和车辆分布密度热图对场景中的车流量进行检测。相对于现有技术，本发明的优势在于：1）本发明使用基于背景建模与光流矢量聚类的多车道分割方法，在保证适应绝大部分道路场景的情况下，仅占用较少的计算资源；2）采用结合车辆分布密度的跟踪式车流量计数，使得本方法能够在较为拥堵的场景中对车辆集群进行整体跟踪与计数。3）能够根据道路场景中道路于图像中的空间信息自适应的选定计数检测线，使得场景能够自主适应不同道路场景。
附图说明
图1为本发明针对复杂监控场景多车道车流量统计方法的流程示意图。
图2为车道分割结果示意图。
图3为车辆跟踪结果示意图。
图4为车辆分布密度估计结果示意图。
图5为虚拟检测线划定逻辑示意图。
图6为最中车流量统计实现示意图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
下面结合附图对本发明的技术方案做进一步的详细说明 ：
本发明是一种针对复杂监控场景的多车道车流量检测方法，包括以下步骤：
步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像
Figure 423315DEST_PATH_IMAGE001
；
步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；
步骤2的具体处理步骤如下：
步骤2.1，获取上一步输出的实时视频帧的前景图像
Figure 878567DEST_PATH_IMAGE001
；
步骤2.2，基于图像透视原理对前景图像
Figure 778390DEST_PATH_IMAGE001
做自适应膨胀处理：
Figure 531451DEST_PATH_IMAGE042
其中
Figure 567540DEST_PATH_IMAGE001
为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标， m，n为卷积核的宽与高，w，h为前景图像的宽与高，
Figure 131376DEST_PATH_IMAGE003
为设定系数；
步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像
Figure 518495DEST_PATH_IMAGE001
构成前景图像集合M,通过前景图像集合M合成道路区域
Figure 622718DEST_PATH_IMAGE004
，
步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。
步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；
步骤3的具体处理步骤如下：
步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵Oi1，交通监控场景训练的深度模型采用FlowNet光流提取网络，
步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息，即，对得到的光流矩阵做融合处理得到
Figure 968773DEST_PATH_IMAGE043
：
Figure 765828DEST_PATH_IMAGE039
并对
Figure 312347DEST_PATH_IMAGE038
中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：
Figure 485839DEST_PATH_IMAGE040
其中
Figure 683471DEST_PATH_IMAGE041
为光流矩阵中位于i行j列的光流向量元素，H、W分别为图像高度与宽度。
步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道，进一步的，可采用DBSCAN进行聚类。
步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；具体过程如下：
步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注；将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布
Figure 651427DEST_PATH_IMAGE005
，对任意车辆的边界框转换为二维高斯分布式为：
Figure 685242DEST_PATH_IMAGE006
其中
Figure 318218DEST_PATH_IMAGE007
为第i辆车辆的中心点，
Figure 448985DEST_PATH_IMAGE008
，
Figure 525525DEST_PATH_IMAGE009
分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为
Figure 108953DEST_PATH_IMAGE010
的空白热图标签上，其中由于
Figure 545619DEST_PATH_IMAGE011
互不相关，故
Figure 468576DEST_PATH_IMAGE012
取0；
步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中车辆跟踪网络训练特征匹配部分采用损失函数为：
Figure 778335DEST_PATH_IMAGE013
其中
Figure 849059DEST_PATH_IMAGE014
表示正样本，即与
Figure 109924DEST_PATH_IMAGE015
属于同一ID的目标，而
Figure 949704DEST_PATH_IMAGE016
为负样本，即与
Figure 430364DEST_PATH_IMAGE015
不属于同一ID的目标，
Figure 660488DEST_PATH_IMAGE017
表示正类的权重，
Figure 517586DEST_PATH_IMAGE018
表示负类的权重，
Figure 398823DEST_PATH_IMAGE019
为所选样本批次大小；其中，正类，即，参考样本所属的ID类；
步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息，如图3。
步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；步骤5的具体步骤如下：
步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；
步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：
Figure 50384DEST_PATH_IMAGE044
其中
Figure 95701DEST_PATH_IMAGE045
是图像块所有像素的平均值，
Figure 428593DEST_PATH_IMAGE046
是图像像素值的方差，
Figure 977386DEST_PATH_IMAGE047
为防止分母为0的常量，
Figure 252378DEST_PATH_IMAGE024
为图像像素值x方向和y方向方差的乘积；
步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图，如图4。
步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；步骤6的具体操作如下：
步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；
步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：
Figure 519412DEST_PATH_IMAGE025
其中
Figure 452733DEST_PATH_IMAGE026
，
Figure 59294DEST_PATH_IMAGE027
分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，
Figure 505188DEST_PATH_IMAGE028
，
Figure 993938DEST_PATH_IMAGE029
为该目标框左上角坐标，
Figure 934212DEST_PATH_IMAGE048
为相应坐标点处密度值，对于通常非密集状态时边界框的
Figure 457598DEST_PATH_IMAGE049
；
步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果。
步骤7具体步骤如下：
步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置
Figure 621863DEST_PATH_IMAGE050
；
步骤7.2，取各道路区域边界线段于图像左右两侧的交接点，若两交接点皆是位于图像左右边上，则取两交接点纵向最高点做平行于水平方向的直线作为计数分界线，若两交接点个位于左右边界，一个位于下方边界，且交接点高于
Figure 53369DEST_PATH_IMAGE033
，则从该交接点做平行于水平方向的直线作为计数分界线，其中
Figure 594071DEST_PATH_IMAGE051
为图像的纵向高度，
Figure 909646DEST_PATH_IMAGE035
为一由相机假设高度与俯仰角所决定的系数。若交接点低于
Figure 510392DEST_PATH_IMAGE036
或两交接点均位于图像下边上，取平行于图像下边界的水平直线
Figure 973734DEST_PATH_IMAGE037
作为计数分界线，其中
Figure 505079DEST_PATH_IMAGE037
距离图像底边高
Figure 3056DEST_PATH_IMAGE036
；
步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的车辆数目，并以此对计数值进行增加，如图6；其中，虚拟检测线为计数分界线。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种针对复杂监控场景的多车道车流量检测方法，其特征在于：包括以下步骤：
步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；
步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；
步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；
步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；
步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；
步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；
步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果；
其中，步骤2的具体处理步骤如下：
步骤2.1，获取上一步输出的实时视频帧的前景图像
Figure DEST_PATH_IMAGE001
；
步骤2.2，基于图像透视原理对前景图像
Figure 46063DEST_PATH_IMAGE001
做自适应膨胀处理：
Figure DEST_PATH_IMAGE002
其中
Figure 900886DEST_PATH_IMAGE001
为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标，m，n为卷积核的宽与高，w，h为前景图像的宽与高，
Figure DEST_PATH_IMAGE003
为设定系数；
步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像
Figure 680623DEST_PATH_IMAGE001
构成前景图像集合M，通过前景图像集合M合成道路区域
Figure DEST_PATH_IMAGE004
；
步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界；
步骤3的具体处理步骤如下：
步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；
步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；
步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道；
步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：
步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布
Figure DEST_PATH_IMAGE005
，对任意车辆的边界框转换为二维高斯分布式为：
Figure DEST_PATH_IMAGE006
其中
Figure DEST_PATH_IMAGE007
为第i辆车辆的中心点，
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为
Figure DEST_PATH_IMAGE010
的空白热图标签上，其中由于
Figure DEST_PATH_IMAGE011
互不相关，故
Figure DEST_PATH_IMAGE012
取0；
步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：
Figure DEST_PATH_IMAGE013
其中
Figure DEST_PATH_IMAGE014
表示正样本，即与
Figure DEST_PATH_IMAGE015
属于同一ID的目标，而
Figure DEST_PATH_IMAGE016
为负样本，即与
Figure 446804DEST_PATH_IMAGE015
不属于同一ID的目标，
Figure DEST_PATH_IMAGE017
表示正类的权重，
Figure DEST_PATH_IMAGE018
表示负类的权重，
Figure DEST_PATH_IMAGE019
为所选样本批次大小；
步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息；
步 骤5的具体步骤如下：
步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；
步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：
Figure DEST_PATH_IMAGE020
其中
Figure DEST_PATH_IMAGE021
是图像块所有像素的平均值，
Figure DEST_PATH_IMAGE022
是图像像素值的方差，
Figure DEST_PATH_IMAGE023
为防止分母为0的常量，
Figure DEST_PATH_IMAGE025
为图像像素值x方向和y方向方差的乘积；
步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图；
步骤6的具体操作如下：
步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；
步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：
Figure DEST_PATH_IMAGE026
其中
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE030
为该目标框左上角坐标，
Figure DEST_PATH_IMAGE031
为相应坐标点处密度值，对于通常非密集状态时边界框的
Figure DEST_PATH_IMAGE032
；
步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
2.根据权利要求1所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：步骤7具体步骤如下：
步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置
Figure DEST_PATH_IMAGE033
；
步骤7.2，根据相交点于图像中的纵向位置根据所设计逻辑划定虚拟检测线；
步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的车辆数目，并以此对计数值进行增加。
3.根据权利要求2所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：步骤7.2的具体操作为：取各道路区域边界线段于图像左右两侧的交接点，若两交接点皆是位于图像左右边上，则取两交接点纵向最高点做平行于水平方向的直线作为计数分界线；若两交接点一个位于左右边界，一个位于下方边界，且交接点高于
Figure DEST_PATH_IMAGE034
，则从该交接点做平行于水平方向的直线作为计数分界线，其中
Figure DEST_PATH_IMAGE035
为图像的纵向高度，
Figure DEST_PATH_IMAGE036
为一由相机假设高度与俯仰角所决定的系数；若交接点低于
Figure DEST_PATH_IMAGE037
或两交接点均位于图像下边上，取平行于图像下边界的水平直线
Figure DEST_PATH_IMAGE038
作为计数分界线，其中
Figure 887275DEST_PATH_IMAGE038
距离图像底边高
Figure 709738DEST_PATH_IMAGE037
。
4.根据权利要求3所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：步骤3.1利用训练的深度模型对一定间隔的帧图像提取光流矩阵Oi1，所述深度模型采用FlowNet光流提取网络，重复3.1并对得到的光流矩阵做融合处理得到
Figure DEST_PATH_IMAGE039
：
Figure DEST_PATH_IMAGE040
并对
Figure 184229DEST_PATH_IMAGE039
中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：
Figure DEST_PATH_IMAGE041
其中
Figure DEST_PATH_IMAGE042
为光流矩阵中位于i行j列的光流向量元素，H、W分别为图像高度与宽度。
CN202110703863.5A 2021-06-24 2021-06-24 一种针对复杂监控场景的多车道车流量检测方法 Active CN113516853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110703863.5A CN113516853B (zh) 2021-06-24 2021-06-24 一种针对复杂监控场景的多车道车流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110703863.5A CN113516853B (zh) 2021-06-24 2021-06-24 一种针对复杂监控场景的多车道车流量检测方法

Publications (2)

Publication Number Publication Date
CN113516853A CN113516853A (zh) 2021-10-19
CN113516853B true CN113516853B (zh) 2021-11-30

Family

ID=78066051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110703863.5A Active CN113516853B (zh) 2021-06-24 2021-06-24 一种针对复杂监控场景的多车道车流量检测方法

Country Status (1)

Country Link
CN (1) CN113516853B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961809A (zh) * 2021-10-26 2022-01-21 中国银行股份有限公司 手机银行app信息推荐方法及装置
CN114820931B (zh) * 2022-04-24 2023-03-24 江苏鼎集智能科技股份有限公司 基于虚拟现实的智慧城市cim可视化实时成像方法
CN114707560B (zh) * 2022-05-19 2024-02-09 北京闪马智建科技有限公司 数据信号的处理方法及装置、存储介质、电子装置
CN117409379B (zh) * 2023-10-17 2024-07-12 哈尔滨工业大学 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366581A (zh) * 2013-06-28 2013-10-23 南京云创存储科技有限公司 一种交通流量统计装置及统计方法
CN103514747B (zh) * 2013-10-10 2015-12-02 张肖邦 一种公路交叉道口交通信号灯的智能控制方法
CN106650913B (zh) * 2016-12-31 2018-08-03 中国科学技术大学 一种基于深度卷积神经网络的车流密度估计方法
CN112183325B (zh) * 2020-09-27 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于图像对比的公路车辆检测方法
CN112818935B (zh) * 2021-03-02 2022-08-12 南京邮电大学 基于深度学习的多车道拥堵检测及持续时间预测方法及系统

Also Published As

Publication number Publication date
CN113516853A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN108052880B (zh) 交通监控场景虚实车道线检测方法
CN103903019B (zh) 一种多车道车辆轨迹时空图的自动生成方法
CN107045629B (zh) 一种多车道线检测方法
Hadi et al. Vehicle detection and tracking techniques: a concise review
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN104217427B (zh) 一种交通监控视频中车道线定位方法
Wang et al. Review on vehicle detection based on video for traffic surveillance
Zhang et al. A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video
CN115049700A (zh) 一种目标检测方法及装置
CN103413444A (zh) 一种基于无人机高清视频的交通流调查处理方法
EP2813973B1 (en) Method and system for processing video image
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
Chao et al. Multi-lane detection based on deep convolutional neural network
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
Ghahremannezhad et al. A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis
Ren et al. Lane Detection in Video‐Based Intelligent Transportation Monitoring via Fast Extracting and Clustering of Vehicle Motion Trajectories
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant