CN112446299B - 车流密度检测方法、系统及计算机可读存储介质 - Google Patents

车流密度检测方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN112446299B
CN112446299B CN202011221445.4A CN202011221445A CN112446299B CN 112446299 B CN112446299 B CN 112446299B CN 202011221445 A CN202011221445 A CN 202011221445A CN 112446299 B CN112446299 B CN 112446299B
Authority
CN
China
Prior art keywords
image
video data
moving object
traffic
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011221445.4A
Other languages
English (en)
Other versions
CN112446299A (zh
Inventor
周文略
蒋润锦
翟懿奎
黎繁胜
张俊亮
李汶睿
刘始匡
陈乐轩
黄俊威
詹英培
梁汝桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202011221445.4A priority Critical patent/CN112446299B/zh
Publication of CN112446299A publication Critical patent/CN112446299A/zh
Application granted granted Critical
Publication of CN112446299B publication Critical patent/CN112446299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车流密度检测方法、系统及计算机可读存储介质，车流密度检测方法包括：获取车流视频数据，并对车流视频数据进行预处理，得到预处理视频数据；构建深度学习网络，将预处理视频数据输入至深度学习网络中，得到背景图像；根据背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标；采用最大连通区域检测和行扫描标记算法，获取前景运动目标的最小外截距，根据最小外截距确定车辆；根据每一帧图的车辆的数量，计算得到车流密度。本发明技术方案能够实现对车流密度的精准检测。

Description

车流密度检测方法、系统及计算机可读存储介质
技术领域
本发明涉及车辆检测技术领域，特别涉及一种车流密度检测方法、系统及计算机可读存储介质。
背景技术
随着生活水平的提高，人们拥有车辆的数量不断增加，同时也带来了一定的交通压力和社会压力，特别是在节假日往返程高峰或上下班高峰期，路况拥堵率极高，从而造成耗费大量的等待时间，也耗费了车油，进一步造成汽车尾气的排放量的增加。当车流密度小于最佳车流密度时，车流处于自由行驶状态，平均车速高。交通流量没有达到最大值，密度增大，交通流量也增大；当车流密度接近或等于最佳车流密度时，车流出现车队跟驰现象，车速受到限制。各种车辆接近某一车速等速行驶时，交通流量将要达到最大值；当车流密度大于最佳车流密度时，车流处于拥挤状态，由于车流密度逐渐增大，车速和交通流量同时降低，交通发生阻塞，甚至发生停车现象。因此，若能掌握高峰期的车流密度情况，便可以助于交通指挥部更好地引导及指挥交通，让交通尽快通畅。
目前的车流密度检测一般采用目标检测算法对车辆进行检测，由于真实场景下具有背景复杂等特点，采用这种方法对车辆进行检测将存在漏检现象，导致车流密度预测值与真实情况相差甚远，并且这种方法的目标检测框架参数量庞大，推理速度极低，难以实现对车流密度的准确检测。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种车流密度检测方法，能够实现对车流密度的精准检测。
本发明还提出了一种车流密度检测系统。
本发明还提出了一种计算机可读存储介质。
本发明实施例的第一方面，提供了一种车流密度检测方法，包括以下步骤：
获取车流视频数据，并对所述车流视频数据进行预处理，得到预处理视频数据；
构建深度学习网络，将所述预处理视频数据输入至所述深度学习网络中，得到背景图像；
根据所述背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标；
采用最大连通区域检测和行扫描标记算法，获取所述前景运动目标的最小外截距，根据所述最小外截距确定车辆；
根据所述每一帧图的所述车辆的数量，计算得到车流密度。
本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明实施例的车流密度检测方法，通过获取车流视频数据，并对车流视频数据进行预处理，得到预处理视频数据；再构建深度学习网络，将预处理视频数据输入至深度学习网络中，得到背景图像；之后根据背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标；采用最大连通区域检测和行扫描标记算法，获取前景运动目标的最小外截距，根据最小外截距确定车辆；根据每一帧图的车辆的数量，计算得到车流密度。相对于现有技术，本发明实施例的技术方案，能够实现对车流密度的精准检测。
根据本发明的一些实施例，所述获取车流视频数据，包括：
通过无人机实时采集目标检测区域中的车流视频，得到车流视频数据；其中，所述无人机包括飞行控制模块、摄像模块、导航模块和通信模块，所述摄像模块、所述导航模块和所述通信模块分别与所述飞行控制模块电连接。
根据本发明的一些实施例，所述构建深度学习网络，将所述预处理视频数据输入至所述深度学习网络中，得到背景图像，包括：
训练深度学习网络；其中，所述深度学习网络包括深度卷积编码器—解码器网络和全卷积网络；
将所述预处理视频数据和对应的黑白静态图输入至所述深度卷积编码器—解码器网络中，得到特征图像；
将所述预处理视频数据和所述特征图像输入至全卷积网络中，得到背景图像。
根据本发明的一些实施例，采用前景预测损失函数和分组损失函数对所述深度学习网络进行优化。
根据本发明的一些实施例，所述根据所述背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标之后，包括：
对所述每一帧图的前景区域进行二值化处理和腐蚀膨胀计算，以消除所述前景运动目标的内部的空隙以及去除微小目标，得到每一帧图的前景区域中的车辆运动目标。
根据本发明的一些实施例，所述采用最大连通区域检测和行扫描标记算法，获取所述前景运动目标的最小外截距，包括：
建立二维标记表；其中，所述二维标记表与所述每一帧图等宽等高；
基于所述二维标记表，逐行扫描所述每一帧图，以获取所述车辆运动目标的最大连通区域；
根据所述最大连通区域，获取所述车辆运动目标的最小外截距。
根据本发明的一些实施例，所述根据所述最大连通区域，获取所述车辆运动目标的最小外截距，包括：
基于所述每一帧图，构建交叉线模型；
根据所述交叉线模型，确定所述车辆运动目标的阴影；
根据所述最大连通区域、所述二维标记表，构建映射表；
采用最小外截距算法对所述映射表进行更新，得到所述车辆运动目标的最小外截距的面积；
根据面积的阈值，过滤所述车辆运动目标的部分阴影，得到所述车辆运动目标的最小外截距。
根据本发明的一些实施例，所述根据所述每一帧图的所述车辆的数量，计算得到车流密度，包括：
统计所述每一帧图的所述车辆的数量；
获取所述目标检测区域中最大容纳车数；
根据所述每一帧图的所述车辆的数量、所述目标检测区域中最大容纳车数，计算得到车流密度。
本发明实施例的第二方面，提供了一种车流密度检测系统，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的车流密度检测方法。
本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面所述的车流密度检测方法。
本发明的附加方面和/或优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例所提供的车流密度检测方法的流程示意图；
图2是本发明一个实施例所提供的获取背景图像的流程示意图；
图3是本发明一个实施例所提供的深度学习网络的网络结构示意图；
图4是本发明一个实施例所提供的获取车流运动目标的最小外截距的流程示意图；
图5是本发明一个实施例所提供的行扫描标记算法示意图；
图6是本发明另一个实施例所提供的获取车流运动目标的最小外截距的流程示意图；
图7是本发明一个实施例所提供的交叉线模型的结构示意图；
图8是本发明一个实施例所提供的二维标记表到映射表的映射示意图；
图9是本发明一个实施例所提供的截取的最小外截距的示意图；
图10是本发明一个实施例所提供的计算得到车流密度的流程示意图；
图11是本发明一个实施例所提供的车流密度检测系统的结构示意图；
图12是本发明另一个实施例所提供的车流密度检测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
参照图1，本发明实施例的第一方面，提供了一种车流密度检测方法，包括以下步骤：
步骤S100，获取车流视频数据，并对车流视频数据进行预处理，得到预处理视频数据；
步骤S200，构建深度学习网络，将预处理视频数据输入至深度学习网络中，得到背景图像；
步骤S300，根据背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标；
步骤S400，采用最大连通区域检测和行扫描标记算法，获取前景运动目标的最小外截距，根据最小外截距确定车辆；
步骤S500，根据每一帧图的车辆的数量，计算得到车流密度。
在本发明实施例中，通过获取车流视频数据，并对车流视频数据进行预处理，得到预处理视频数据；之后构建深度学习网络，将预处理视频数据输入至深度学习网络中，得到背景图像；根据背景图像，采用背景差分法来获取每一帧图的前景区域中的前景运动目标；再采用最大连通区域检测和行扫描标记算法，获取前景运动目标的最小外截距，根据最小外截距确定车辆；统计每一帧图的车辆的数量，用以计算得到车流密度。本发明实施例的车流密度检测方法，能够及时掌握车流密度情况还可帮助交通部门更好地管理疏通车辆，减少车辆行驶缓慢甚至停车拥堵，带来的汽车尾气排放的增加，以及有效减少车辆拥堵带来的交通事故的发生，以保障交通安全。通过本发明实施例的车流密度检测方法，能够掌握每条道路上不同时间段的车流密度情况，也对未来交通道路规划带来一定的帮助。
本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：相对于现有技术，本发明实施例的技术方案，能够实现对车流密度的精准检测。
根据本发明的一些实施例，获取车流视频数据，包括：
通过无人机实时采集目标检测区域中的车流视频，得到车流视频数据；其中，无人机包括飞行控制模块、摄像模块、导航模块和通信模块，摄像模块、导航模块和通信模块分别与飞行控制模块电连接。
在本发明实施例中，通过无人机实时采集目标检测区域中的车流视频，得到车流视频数据。具体地，可通过操纵无人机飞行至目标检测区域(或其他待检测区域)对车流视频进行实时采集。无人机可以为多旋翼(多轴)无人机。多旋翼(多轴)无人机操纵简单、可定点悬停、安全性高且使用成本低。无人机包括飞行控制模块、摄像模块、导航模块和通信模块，摄像模块、导航模块和通信模块分别与飞行控制模块电连接。且飞行控制模块包括陀螺仪、PID(比例—积分—微分)线性控制器。陀螺仪用于感知无人机的飞行姿态；PID(比例—积分—微分)线性控制器的动态特性不随时间变化，在姿态信息和螺旋桨转速之间建立比例、积分和微分的关系，通过调节各个环节的参数大小，使多旋翼系统的控制达到动态响应迅速、既不过冲、也不欠缺的效果。
在本发明实施例中，通过无人机实时采集目标检测区域中的车流视频，以进一步检测车流密度，能够更全面、更清晰地了解车流情况，有助于交通部门判断车辆拥堵情况以及时采取应对措施。
参照图2，根据本发明的一些实施例，构建深度学习网络，将预处理视频数据输入至深度学习网络中，得到背景图像，包括：
步骤S210，训练深度学习网络；其中，深度学习网络包括深度卷积编码器—解码器网络和全卷积网络；
步骤S220，将预处理视频数据和对应的黑白静态图输入至深度卷积编码器—解码器网络中，得到特征图像；
步骤S230，将预处理视频数据和特征图像输入至全卷积网络中，得到背景图像。
在本发明实施例中，训练一个深度学习网络，该深度学习网络的网络结构包括两个阶段，参照图3，具体为：深度卷积编码器—解码器网络和全卷积网络，其中，图3中的GT表示真实标签。
第一阶段，深度卷积编码器—解码器网络：
本实施例将预处理视频数据(例如一个预处理图像(patch))和一个对应的黑白静态图(trimap)作为输入，沿着信道维级联，合并形成四通道输入，以进行图像的精细分割；其中黑白静态图(trimap)表示经过抠图算法处理后获得的黑白静态图。输入一个预处理图像(patch)和一个对应的黑白静态图至深度卷积编码器—解码器网络后，将受到前景(alpha)预测损失和新的合成损失的惩罚。
具体地，深度卷积编码器—解码器网络主要包括编码器网络和解码器网络。本实施例的解码器网络，相比较于编码器网络，将使用更小的结构来减少参数的数量，以加快训练过程。即解码器网络包括有6个卷积层、5个解池层以及最后一个前景(alpha)预测层；编码器网络包括有14个卷积层和5个最大池化层。
输入一个预处理图像(patch)和一个对应的黑白静态图至编码器网络，通过卷积层和最大池化层，将编码器网络的输入转换为下行采样的特征图像。解码器网络依次采用随后的解池层(作反向最大池操作)和卷积层等对特征图像进行采样，以获得所需的特征图像的输出。
第二阶段，一个小的全卷积网络：
从第一阶段的深度卷积编码器—解码器网络中将提炼出更为精确的前景(alpha)值和更锐利的边缘。
第二阶段的全卷积网络的输入为预处理视频数据(例如一个预处理图像(patch))和特征图像(即第一阶段(0-255之间)的前景(alpha)预测)的连接，形成四通道输入，最终输出背景图像。
第二阶段的全卷积网络包括有4个卷积层，其中，前3个卷积层的每一层后都跟着一个非线性的修正线性单元(ReLU，Rectified Linear Unit)层。全卷积网络没有向下采样层，而是采用了“跳远模型”结构。
根据本发明的一些实施例，采用前景预测损失函数和分组损失函数对深度学习网络进行优化。
在本发明实施例中，采用前景预测损失函数和分组损失函数对深度学习网络进行优化。
具体地，本实施例的深度学习网络采用了两个损失函数：
第一种损失函数，前景(alpha)预测损失函数：
图像的每个像素点的真实前景(alpha)值与预测前景(alpha)值之间存在绝对差。由于绝对差的不可微性，将采用以下的前景(alpha)预测损失函数来逼近它。
预测层的输出是在于像素i，阈值在0和1之间；/>是像素i处的真实值；∈的值为10-6；/>的导数的如下值：
第二种损失函数，分组损失函数：
其中，c表示RGB通道；p表示第一图像，即由预测前景(alpha)值合成的图像；g表示第二图像，即由真实前景(alpha)值合成的图像。
本实施例的分组损失函数约束了深度学习网络遵循分组操作，可达到更准确的前景(alpha)预测。
本实施例的深度学习网络采用的总损失函数是两个损失函数的加权和，总损失函数表示为：
其中，w设置为0.5。
在深度学习网络的训练过程中，首先更新深度卷积编码器—解码器网络部分，没有细化部分。收敛后，对总损失函数中的参数进行修正，再对细化部分进行更新。
本实施例的深度学习网络的网络结构简单，仅使用了前景(alpha)预测损耗。收敛细化部分后，对整个深度学习网络进行微调。使用优化器(Adam[20])来更新这两个部分，在深度学习网络的训练过程中，设定小的学习率，在深度学习网络的测试期间，给定一幅图像(预处理图像)和一个三映射，将预处理视频数据和对应的黑白静态图输入至深度卷积编码器—解码器网络中，得到特征图像，后将预处理视频数据和特征图像连接起来作为细化阶段的输入，输入至全卷积网络中得到背景图像。
根据本发明的一些实施例，根据背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标之后，包括：
对每一帧图的前景区域进行二值化处理和腐蚀膨胀计算，以消除前景运动目标的内部的空隙以及去除微小目标，得到每一帧图的前景区域中的车辆运动目标。
在本发明实施例中，通过对每一帧图的前景区域进行二值化处理和腐蚀膨胀计算，以消除前景运动目标的内部的空隙以及去除微小目标，能够获得更精准的每一帧图的前景区域中的车辆运动目标，有效去除干扰，提高对车流密度的检测准确性。
参照图4，根据本发明的一些实施例，采用最大连通区域检测和行扫描标记算法，获取前景运动目标的最小外截距，包括：
步骤S410，建立二维标记表；其中，二维标记表与每一帧图等宽等高；
步骤S420，基于二维标记表，逐行扫描每一帧图，以获取车辆运动目标的最大连通区域；
步骤S430，根据最大连通区域，获取车辆运动目标的最小外截距。
在本发明实施例中，二值化每一帧图的前景区域，在每一帧图的前景区域数据矩阵中，车辆运动目标区由亮度值为255的像素点组成连通区域，非目标区域亮度值则为0，通过行扫描进行标记所有最大连通区域，之后计算得到车辆运动目标的最小外截距，即为车辆运动目标的矩形轮廓。
由于现有技术中最大连通区域常用算法运算量较大，需要对图像进行大量的查找和扫描操作。故本实施例采用行扫描标记算法，只需通过一次行扫描便可得到去除车辆运动目标的部分阴影后的最大连通区域。
具体地，基于每一帧图，先建立一个二维标记表T，二维标记表T与每一帧图等宽等高。之后基于二维标记表T，逐行扫描每一帧图，当遇到亮度值为255的像素点，如果该像素点的邻域内没有大于零的标记，则设其标记为序号i，否则在二维标记表T中将该像素点的标记设置为八邻域范围内最小标记。因为所有具有相同标记的像素点将组成一个连通区域，所以连通区域内的像素点的标记i便是该连通区域的标记。
定义：F表示将要扫描的一帧图像、T表示二维标记表、cTag表示区域标记、像素点表示Pi，具体方法步骤如下：
步骤S1，初始化T中的每一个元素为0，cTag初始化为0；
步骤S2，从图像F对应的T的第一行第一列开始，获取T中亮度值为255的一个像素点Pi；
步骤S3，若在T中相应位置Qi的八邻域范围内存在大于零的标记，则将Qi处的标记值设置为八邻域范围内大于零标记的最小值；若在T中相应位置Qi的八邻域范围内没有一个大于零的标记(即八邻域范围内都是0(黑色))，则说明该点是一个新邻域内的点，此时，将cTag自增1，并将位置Qi的标记设为cTag；
步骤S4，继续扫描图像F，以获取下一个亮度值为255(白色)的像素点Pi，再重复进行步骤S3，直到扫描完图像F。
本实施例中，当二维标记表T中相应位置的八邻域范围内没有一个大于零的标记，则说明该像素点是一个新邻域内的点，此时，cTag自增1，表示标记了这个新邻域。本实施例主要是在获取标记八邻域范围内最小标记作为该像素点的标记，这样能够有效防止小邻域的交叉和重叠。
参照图5，包括有3个连通区域，其中，标记3为突出的点，标记2的点构成一个小的连通区域，标记1的点构成一个最大连通区域。图5中，(a)图的深色阴影部分是未扫描但存在的亮度值为255的点；(b)图扫描剩下的点，深色的点则被标记为“1”。图中3个连通区域各自确定了一个外接矩形，通过计算矩形面积便可以排除一些例如标记3标记的孤立点。图5表示，从图像F逐行开始，先把所有的亮度值为255的像素点都标记为1。自第一行开始扫描，例如，扫描到第一行第二列的位置，若第一行第二列的位置标记为1之后，判断该位置的八邻域范围内是否存在大于零的标记(即该位置的八邻域范围内是否存在有被标记为1的点)，若八邻域范围内没有一个大于零的标记(即没有被标记为1的点)，那这个点就自增1；若八邻域范围内存在大于零的标记(即有被标记为1的点)，则将该位置的标记值设置为八邻域范围内大于零标记的最小值。
参照图6，根据本发明的一些实施例，根据最大连通区域，获取车辆运动目标的最小外截距，包括：
步骤S431，基于每一帧图，构建交叉线模型；
步骤S432，根据交叉线模型，确定车辆运动目标的阴影；
步骤S433，根据最大连通区域、二维标记表，构建映射表；
步骤S434，采用最小外截距算法对映射表进行更新，得到车辆运动目标的最小外截距的面积；
步骤S435，根据面积的阈值，过滤车辆运动目标的部分阴影，得到车辆运动目标的最小外截距。
在本发明实施例中，由于对每一帧图的前景区域进行二值化处理后，每一帧图中的车辆的边缘和阴影等容易形成较大的“突刺”，为了能够过滤掉每一帧图的前景区域中车辆运动目标的部分阴影，本实施例基于每一帧图，构建交叉线模型，该交叉线模型构成一个连通区域，并采用本实施例的行扫描标记算法对每一帧图进行扫描标记。
例如，参照图7，图7(a)表示在一帧320×240图像中划出夹角的交叉线，图7(b)表示标记后图像，图7(c)表示交叉线标记的部分表值。参照图7(b)，由交叉线所形成的连通区域，可以确定两个外接矩形，图中较大的矩形包含了整个交叉线，而右上部分较小的矩形则包含在较大的矩形的内部。图7(c)可见，交叉线的交叉点处只有右上部分的标记2，在进行行扫描标记时，交叉点的八邻域范围内最小标记为1。当向下继续扫描时，交叉线下半部分则都被标记为1。
扫描每一帧图之后，标记好车辆运动目标的连通区域和建立二维标记表T。扫描二维标记表T，并建立映射表(List)，该映射表为线性的。分别统计每个连通区域内标记的像素点的横坐标以及纵坐标的最小值和最大值。二维标记表T到映射表的映射图可参照图8。其中，映射表中，MinX定义为最小横坐标；MaxX定义为最大横坐标；MinY定义为最小纵坐标；MaxY定义为最大纵坐标；count定义为标记计数，表示车辆运动目标的最小外截距的面积。而最小外截距定义为：位于连通区域中点的最小横坐标、最小纵坐标和最大横坐标、最大纵坐标构成的矩形。具体地，最小外截距是由：最小横坐标和最小纵坐标组成最小外截矩的左上顶点，由最大横坐标和最大纵坐标组成最小外截矩的右下顶点。最小外截距的面积是映射表中的计数记录被这个标记所标记的点数。通过预设高度、宽度和面积的阈值来过滤掉车辆运动目标的部分阴影。
具体步骤如下：
步骤S10，构建一个大小为最大标记值的映射表，将映射表中的count初始化为0，MinX初始化为该帧图像的宽度，MinY初始化为该帧图像的高度，而MaxX，MaxY初始化为0；
步骤S20，按行扫描二维标记表T，当遇到大于零的标记T(x，y)时，就用该标记的坐标将映射表中的第T(x，y)个元素的内容按照以下规则进行更新：
count自增1；或，
若x＜MinX，则MinX＝x；或，
若x＞MaxX，则MaxX＝x；或，
若y＜MinY，则MinY＝y；或，
若y＞MaxY，则MaxY＝y。
步骤S30，按照步骤S20持续更新该映射表，直到二维标记表T扫描结束。
本实施例在更新完映射表后，将获得该帧图像中所有连通区域的最小外截矩。将截取的最小外截距表示在当前帧中，具体如图9所示。
参照图9，每一帧图的前景区域中车辆运动目标的部分阴影已被过滤。图9中由于光照偏向左边，车辆的边缘和阴影形成了较大的“突刺”。在进行行扫描时，车辆的阴影和车辆虽然属于一个较大的连通区域，但并不在彼此的八邻域范围内，故每一帧图的前景区域中车辆运动目标的阴影都会被标记为一个新的标记值，在阴影的像素点和车辆的像素点交叉的地方，将会被较小的标记“染色”，从而导致车辆运动目标的阴影被截断，以实现将阴影与车辆分离开来。
参照图10，根据本发明的一些实施例，根据每一帧图的车辆的数量，计算得到车流密度，包括：
步骤S510，统计每一帧图的车辆的数量；
步骤S520，获取目标检测区域中最大容纳车数；
步骤S530，根据每一帧图的车辆的数量、目标检测区域中最大容纳车数，计算得到车流密度。
在本发明实施例中，通过检测车流密度，以更好分析交通拥堵程度。具体地，统计每一帧图的车辆的数量，再获取目标检测区域中最大容纳车数，根据每一帧图的车辆的数量、目标检测区域中最大容纳车数，计算得到车流密度。
车流密度定义如下：
车流密度＝每一帧图的车辆的数量÷目标检测区域中最大容纳车数；
其中，目标检测区域中最大容纳车数表示目标检测区域中可容纳的最大车辆量。
本实施例可采用标准视频集进行测试，在背景变化不大的状态下，本实施例的车流密度检测方法的时间成本大约为每帧40ms；而在背景变化较大状态下，本实施例的车流密度检测方法的时间成本增加到50～70ms，本实施例的实时检测性能良好，能够实现对车流密度的实时、精准检测；且本实施例通过将预处理视频数据输入至深度学习网络中，获取背景图像，有效提高了处理效率，减小了由于光照突变等对背景图像提取的干扰，效果较理想。对每一帧图的前景区域进行二值化处理和腐蚀膨胀计算，能够消除前景运动目标的内部的空隙以及去除微小目标，得到每一帧图的前景区域中的车辆运动目标。且通过采用行扫描标记算法，利用了图像形态学特征，标记出车辆运动目标的矩形轮廓，同时可将车辆运动目标的部分阴影过滤掉，以提高车流密度检测的精准性。
参照图11，本发明实施例的第二方面，提供了一种车流密度检测系统，该车流密度检测系统6000可以是任意类型的智能终端，如手机、平板电脑、个人计算机等。
如图12所示，根据本发明的一些实施例，可通过手机(例如APP)等智能终端远程操控无人机，并通过智能终端遥控检测目标检测区域中的车流密度情况。其中，手机上可安装APP应用程序，通过APP应用程序实现对无人机的飞控协议选择、界面、登录权限、自主航线、自主避障、多机连接等功能控制。具体地，通过无人机实时采集目标检测区域中的车流视频，以获取车流视频数据，无人机将车流视频数据通过通信模块传输给车流密度检测系统6000，车流密度检测系统6000接收通信模块发送的车流视频数据并实时检测目标检测区域中的车流密度，之后将检测结果发送给交通部门，交通部门获取检测结果后，判断车流密度情况后及时采取措施。
根据本发明的一些实施例，该车流密度检测系统6000还可以包括：一个或多个控制处理器6001和存储器6002，图11中以一个控制处理器6001为例。
控制处理器6001和存储器6002可以通过总线或其他方式连接，图11以通过总线连接为例。
存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及单元，如本发明实施例中的车流密度检测系统6000对应的程序指令/单元。控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及单元，从而执行各种功能应用以及数据处理，即实现上述方法实施例的车流密度检测方法。
存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据程序指令/单元创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该车流密度检测系统6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器6002中，当被一个或者多个控制处理器6001执行时，执行上述任意方法实施例中的车流密度检测方法。例如，执行以上描述的图1中的方法步骤S100至S500、图2中的方法步骤S210至S230、图4中的方法步骤S410至S430、图6中的方法步骤S431至S435和图10中的方法步骤S510至S530。
本发明实施例的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器6001执行，例如，被图11中的一个控制处理器6001执行，可使得上述一个或多个控制处理器6001执行上述方法实施例中的车流密度检测方法，例如，执行以上描述的图1中的方法步骤S100至S500、图2中的方法步骤S210至S230、图4中的方法步骤S410至S430、图6中的方法步骤S431至S435和图10中的方法步骤S510至S530。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种车流密度检测方法，其特征在于，包括以下步骤：
获取车流视频数据，并对所述车流视频数据进行预处理，得到预处理视频数据；
构建深度学习网络，将所述预处理视频数据输入至所述深度学习网络中，得到背景图像；
根据所述背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标；
采用最大连通区域检测和行扫描标记算法，获取所述前景运动目标的最小外截距，根据所述最小外截距确定车辆；
根据所述每一帧图的所述车辆的数量，计算得到车流密度；
其中，所述根据所述背景图像，采用背景差分法获取每一帧图的前景区域中的前景运动目标之后，包括：
对所述每一帧图的前景区域进行二值化处理和腐蚀膨胀计算，以消除所述前景运动目标的内部的空隙以及去除微小目标，得到每一帧图的前景区域中的车辆运动目标；
其中，所述采用最大连通区域检测和行扫描标记算法，获取所述前景运动目标的最小外截距，包括：
建立二维标记表；其中，所述二维标记表与所述每一帧图等宽等高；
基于所述二维标记表，逐行扫描所述每一帧图，以获取所述车辆运动目标的最大连通区域；
根据所述最大连通区域，获取所述车辆运动目标的最小外截距；
其中，所述根据所述最大连通区域，获取所述车辆运动目标的最小外截距，包括：
基于所述每一帧图，构建交叉线模型；
根据所述交叉线模型，确定所述车辆运动目标的阴影；
根据所述最大连通区域、所述二维标记表，构建映射表；
采用最小外截距算法对所述映射表进行更新，得到所述车辆运动目标的最小外截距的面积；
根据面积的阈值，过滤所述车辆运动目标的部分阴影，得到所述车辆运动目标的最小外截距。
2.根据权利要求1所述的车流密度检测方法，其特征在于，所述获取车流视频数据，包括：
通过无人机实时采集目标检测区域中的车流视频，得到车流视频数据；其中，所述无人机包括飞行控制模块、摄像模块、导航模块和通信模块，所述摄像模块、所述导航模块和所述通信模块分别与所述飞行控制模块电连接。
3.根据权利要求1所述的车流密度检测方法，其特征在于，所述构建深度学习网络，将所述预处理视频数据输入至所述深度学习网络中，得到背景图像，包括：
训练深度学习网络；其中，所述深度学习网络包括深度卷积编码器—解码器网络和全卷积网络；
将所述预处理视频数据和对应的黑白静态图输入至所述深度卷积编码器—解码器网络中，得到特征图像；
将所述预处理视频数据和所述特征图像输入至全卷积网络中，得到背景图像。
4.根据权利要求3所述的车流密度检测方法，其特征在于：采用前景预测损失函数和分组损失函数对所述深度学习网络进行优化。
5.根据权利要求2所述的车流密度检测方法，其特征在于，所述根据所述每一帧图的所述车辆的数量，计算得到车流密度，包括：
统计所述每一帧图的所述车辆的数量；
获取所述目标检测区域中最大容纳车数；
根据所述每一帧图的所述车辆的数量、所述目标检测区域中最大容纳车数，计算得到车流密度。
6.一种车流密度检测系统，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至5任一项所述的车流密度检测方法。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的车流密度检测方法。
CN202011221445.4A 2020-11-05 2020-11-05 车流密度检测方法、系统及计算机可读存储介质 Active CN112446299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011221445.4A CN112446299B (zh) 2020-11-05 2020-11-05 车流密度检测方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221445.4A CN112446299B (zh) 2020-11-05 2020-11-05 车流密度检测方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112446299A CN112446299A (zh) 2021-03-05
CN112446299B true CN112446299B (zh) 2024-01-12

Family

ID=74736275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221445.4A Active CN112446299B (zh) 2020-11-05 2020-11-05 车流密度检测方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112446299B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677566B (zh) * 2022-04-08 2023-10-17 北京百度网讯科技有限公司 深度学习模型的训练方法、对象识别方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694741A (zh) * 2009-10-15 2010-04-14 青岛海信网络科技股份有限公司 交通监控中的背景更新方法
CN102592458A (zh) * 2012-02-07 2012-07-18 福州大学 基于无线射频识别的道路车流量检测方法与系统
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104123840A (zh) * 2014-07-28 2014-10-29 重庆大学 基于视频检测技术的车流密度定性判别方法
CN104134222A (zh) * 2014-07-09 2014-11-05 郑州大学 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN109658688A (zh) * 2017-10-11 2019-04-19 深圳市哈工大交通电子技术有限公司 基于深度学习的路口交通流的检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694741A (zh) * 2009-10-15 2010-04-14 青岛海信网络科技股份有限公司 交通监控中的背景更新方法
CN102592458A (zh) * 2012-02-07 2012-07-18 福州大学 基于无线射频识别的道路车流量检测方法与系统
CN102819952A (zh) * 2012-06-29 2012-12-12 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104134222A (zh) * 2014-07-09 2014-11-05 郑州大学 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN104123840A (zh) * 2014-07-28 2014-10-29 重庆大学 基于视频检测技术的车流密度定性判别方法
CN109658688A (zh) * 2017-10-11 2019-04-19 深圳市哈工大交通电子技术有限公司 基于深度学习的路口交通流的检测方法及装置

Also Published As

Publication number Publication date
CN112446299A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN107045629B (zh) 一种多车道线检测方法
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN109448001B (zh) 一种图片自动裁剪方法
CN107705254B (zh) 一种基于街景图的城市环境评估方法
US20220414892A1 (en) High-precision semi-automatic image data labeling method, electronic apparatus, and storage medium
CN110992384B (zh) 半自动化图像数据标注方法、电子装置及存储介质
CN110309765B (zh) 一种视频运动目标高效检测方法
CN112215041B (zh) 一种端到端车道线检测方法及其系统
CN112446299B (zh) 车流密度检测方法、系统及计算机可读存储介质
CN113011338A (zh) 一种车道线检测方法及系统
Xu et al. Convolutional neural network based traffic sign recognition system
CN111914596B (zh) 车道线检测方法、装置、系统及存储介质
CN108875589B (zh) 一种道路区域的视频检测方法
CN112435274B (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
CN113537017A (zh) 基于级联型回归修正的光学遥感图像飞机检测方法和装置
Foedisch et al. Adaptive road detection through continuous environment learning
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
CN112241690B (zh) 一种bim驱动的输水渠道航拍图像兴趣区提取方法
CN112150828B (zh) 基于图像识别技术的防抖动干扰动态调控红绿灯的方法
CN111985482B (zh) 一种基于深度学习的多模式多场景的自动车牌识别方法
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质
CN114549978A (zh) 一种基于多摄像头的移动机器人运行方法及系统
Bachtiar et al. Parking management by means of computer vision
CN113628206A (zh) 一种车牌检测方法、装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant