CN114627400A - 一种车道拥堵检测方法、装置、电子设备和存储介质 - Google Patents

一种车道拥堵检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114627400A
CN114627400A CN202011457428.0A CN202011457428A CN114627400A CN 114627400 A CN114627400 A CN 114627400A CN 202011457428 A CN202011457428 A CN 202011457428A CN 114627400 A CN114627400 A CN 114627400A
Authority
CN
China
Prior art keywords
road
optical flow
congestion detection
video stream
stream data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011457428.0A
Other languages
English (en)
Inventor
吴聪
王玉波
李晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202011457428.0A priority Critical patent/CN114627400A/zh
Publication of CN114627400A publication Critical patent/CN114627400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请实施例公开了一种车道拥堵检测方法、装置、电子设备和存储介质，其中方法具体包括：获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。本申请实施例基于光流矩阵和分割结果特征图两种特征指标，对道路拥堵结果的检测，提升了道路拥堵检测结果的准确性。

Description

一种车道拥堵检测方法、装置、电子设备和存储介质
技术领域
本申请涉及智能交通领域，尤其涉及一种车道拥堵检测方法、装置、电子设备和存储介质。
背景技术
随着我国经济发展水平的提高，越来越多的家庭选择购车出行。随着汽车销量的提升，道路拥堵也成为了驾驶员头疼的问题，因此，如何检测出拥堵路段是亟待解决的技术问题。
目前，常用的检测道路拥堵状况的方法如下：对道路场景进行摄像机标定，进而基于交通拥堵视觉检测系统，计算道路上静止车辆与所有车辆的比值，根据比值确定道路是否拥堵。
但这种方式存在一定的不足：仅采用静止车辆与所有车辆的比值这一单一指标判断道路是否拥堵，导致判断结果的准确性较低。
发明内容
本申请实施例提供一种车道拥堵检测方法、装置、电子设备和存储介质，以达到提升道路拥堵检测的准确性的目的。
第一方面，本申请实施例提供了一种车道拥堵检测方法，方法包括：
获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；
根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；
根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
第二方面，本申请实施例提供了一种车道拥堵检测装置，装置包括：
数据获取与处理模块，用于获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；
光流矩阵提取模块，用于根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；
分割模块，用于根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
拥堵检测模块，用于基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
第三方面，本申请实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本申请任一实施例的车道拥堵检测方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任一实施例的车道拥堵检测方法。
本申请实施例中，基于获取到的光流矩阵和分割结果特征图两种特征指标，并结合拥堵检测模型，实现了对道路拥堵结果的检测，相比于现有技术中通过单一指标检测道路拥堵状态，提升了道路拥堵检测结果的准确性。
附图说明
图1是本申请第一实施例中的车道拥堵检测方法的流程示意图；
图2是本申请第二实施例中的车道拥堵检测方法的流程示意图；
图3是本申请第三实施例中的车道拥堵检测装置的结构示意图；
图4是本申请第四实施例中的实现车道拥堵检测方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非所有结构。
图1是本申请第一实施例的车道拥堵检测方法的流程图，本实施例可适用于服务器或其它计算机设备根据获取到的任一道路监控场景下的视频流数据检测道路是否拥堵的情况，该方法可以由车道拥堵检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备中，例如集成在监控系统中的服务器或计算机设备。
如图1所示，车道拥堵检测方法具体包括如下流程：
S101、获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图。
本申请实施例中，目标监控场景示例性的为城市道路的监控场景或高速路监控场景，也可以为其它监控场景，在此不做具体限定。在目标监控场景下安装有摄像机，用于实时采集该场景下的视频流数据，而监控系统中的后台服务器或计算机设备可实时获取摄像机采集的视频流数据，其中，视频流数据是由静止的图像组成，静止的图像可称之为视频帧。
本申请实施例中，行车道路关注区域图是指目标监控场景下的道路的图像。在根据视频流数据确定目标监控场景下的行车道路关注区域图时，可选的，基于图像识别技术，根据视频流数据中包含的运动车辆的运动轨迹，确定行车道路关注区域图，其中，得到的行车道路关注区域图可选的为二值化图像。
S102、根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵。
本申请实施例中，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。
本申请实施例中，确定行车道路关注区域图对应的光流矩阵，也即是确定行车道路关注区域图内各车辆之间的运动信息。可选的，为了提升获取光流矩阵的效率，在得到视频流数据和行车道路关注区域图后，可利用预先训练的光流提取神经网络模型提取行车道路关注区域图对应的光流矩阵，其中，光流提取神经网络模型可选的为FlowNet光流提取网络。
在一种可选的实施方式中，根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵，包括：将视频流数据中每相邻的两帧图像作为模型输入数据，依次输入到光流提取神经网络模型，根据模型输出得到多个初始光流矩阵；将多个初始光流矩阵进行叠加，并对叠加后的光流矩阵中的元素进行归一化处理，得到目标光流矩阵；将目标光流矩阵和行车道路关注区域图进行叠加，得到行车道路关注区域图对应的光流矩阵。
示例性的，将视频流数据中相邻的两个视频帧输入到光流提取神经网络模型，根据输出得到光流矩阵Oi1；重复上述步骤，依次将视频流数据中其它相邻的两个视频帧输入到光流提取神经网络模型，得到光流矩阵Oi2、Oi3......Oin，其中，Oi1、Oi2、Oi3......Oin为初始光流矩阵，初始光流矩阵的每个元素都带有方向信息，根据该方向信息可以确定路的走向，n的取值等于重复的次数，可根据实际需要确定。
在将多个初始光流矩阵进行叠加，可按照如下公式进行：
Oavg＝(Oi1+Oi2+......+Oin)/n；其中，Oavg表示叠加后的目标光流矩阵。
在对叠加后的光流矩阵中的元素进行归一化处理时，可将Oavg中的每个元素按照如下公式进行归一化处理：
Figure BDA0002829416530000051
0＜i＜H，0＜j＜W；其中，
Figure BDA0002829416530000052
为目标光流矩阵中位于i行j列的光流向量元素，H、W分别为视频帧图像的高度与宽度。
在将目标光流矩阵和行车道路关注区域图进行叠加时，可选的，由于行车道路关注区域图为二值化图像，因此可直接将目标光流矩阵和行车道路关注区域图进行点乘，以实现叠加操作，进而根据点乘结果得到行车道路关注区域图对应的光流矩阵。
S103、根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图。
其中，语义分割神经网络模型可根据输入的图像，输出标记不同实例对象信息的语义图像。本申请实施例中，在训练的语义分割神经网络模型，将各车道区域按占用与空闲分割标注并构建训练集，也即训练集中的样本图片分为包含车辆的图片(车道区域被占用)和不包含车辆的图片(车道区域处于空闲)；进而基于训练集中的样本进行训练，训练过程中采用的损失函数如下：L＝[y.log(p)+(1-y)·log(1-p)]；其中，y表示样本的label(标签)，正类(例如车道区域被占用)为1，负类(例如车道区域空闲)为0，p表示样本被预测为正类的概率。
在具体实现时，可将视频流数据一帧一帧的输入到训练的语义分割神经网络模型中，根据模型的输出即可得到标记的道路空闲区域和道路占用区域的分割结果特征图，其中，分割结果特征图可选的为二值化图像。
S104、基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
在一种可选的实施方式中，基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果，包括：将光流矩阵和分割结果特征图进行融合，例如将光流矩阵和分割结果特征图进行拼接，并将融合后的特征数据输入到预先训练的拥堵检测模型；根据拥堵检测模型的输出结果，确定道路是否拥堵。
在此需要说明的是，训练拥堵检测模型的过程包括：获取在目标监控场景下产生拥堵事件时的第一视频数据和未产生拥堵事件的第二视频数据；根据第一视频数据和第二视频数据，构建拥堵分类样本集，其中，拥堵分类样本集中包括拥堵和未拥堵两种情况各自对应的行车道路关注区域图对应的光流矩阵、道路空闲区域和道路占用区域的分割结果特征图；而具体获取行车道路关注区域图对应的光流矩阵、道路空闲区域和道路占用区域的分割结果特征图的过程可参见上述内容，在此不再赘述；基于拥堵分类样本集，以及预设的算是函数，对拥堵检测模型进行训练。
本申请实施例中，基于获取到的光流矩阵和分割结果特征图两种特征指标，并结合拥堵检测模型，实现了对道路拥堵结果的检测，相比于现有技术中通过单一指标检测道路拥堵状态，提升了道路拥堵检测结果的准确性。
图2是本申请第二实施例的车道拥堵检测方法的流程图，本实施例是在上述实施例的基础上进行优化，参见图2，该方法包括：
S201、获取目标监控场景下的实时视频流数据。
本申请实施例中，视频流数据是由静止的图像组成，静止的图像可称之为视频帧。
S202、基于背景建模技术，从视频流数据中提取预设数量的前景图像。
本申请实施例中，背景建模示例性的选择高斯混合模型(Mixture Of Gauss)，也可以为采用背景建模技术，在此不做具体限定。具体提取前景图像时，在S101每获取到一个视频帧后，则利用高斯混合模型符该视频帧进行前景图像的提取，由此可以得到多个前景图像，其中前景图像可选的为包括车辆的二值化图像。
S203、对预设数量的前景图像进行叠加，得到行车道路关注区域图。
本申请实施例中，预设数量可选的为75帧，也可以为其它值，在此不做具体限定。而对预设数量的前景图像进行叠加，也即是将预设数量的前景图像进行融合。由于车辆只能在道路上行驶，因此可根据融合后的图像中车辆的位置轨迹，得到行车道路关注区域图。
本申请实施例中，为了保证前景图像的叠加效果，在对预设数量的前景图像进行叠加之前，可对提取到的前景图像进行自适应膨胀处理。可选的在得到预设数量的前景图像后，统一为各个前景图像进行自适应膨胀处理；也可以每提取到一个前景图像后，直接对其进行自适应膨胀处理。在此需要说明的是，之所以进行自适应膨胀处理，是因为在前景图像中，距离摄像机越近的车辆或道路，显示的越大，距离摄像机越远的车辆或道路，显示的越小，如果按照统一的标准进行膨胀处理，导致显示效果较差。
进一步的，得到的行车道路关注区域图中可能存在噪声或毛刺，为了保证行车道路关注区域图的质量，需要对对行车道路关注区域图进行预处理，其中，预处理包括滤波处理(例如中值滤波)和平滑处理(例如平滑边界)。需要说明的是，预处理也可以包括其他指定操作，可根据用户自身需求进行设定。
S204、根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵。
S205、根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图。
S206、基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
本申请实施例中，通过将预设数量的前景图像进行叠加，得到行车道路关注区域图，提升了获取行车道路关注区域图的效率；而且通过对前景图像进行自适应膨胀以及对行车道路关注区域图进行滤波处理和平滑处理，由此保证了行车道路关注区域图的质量。
图3是本申请第三实施例的车道拥堵检测装置的结构示意图，本实施例可适用于服务器或其它计算机设备根据获取到的任一场景下的监控视频流数据检测道路是否拥堵的情况，参见图3，该装置包括：
数据获取与处理模块301，用于获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；
光流矩阵提取模块302，用于根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；
分割模块303，用于根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
拥堵检测模块304，用于基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
本申请实施例中，基于获取到的光流矩阵和分割结果特征图两种特征指标，并结合拥堵检测模型，实现了对道路拥堵结果的检测，相比于现有技术中通过单一指标检测道路拥堵状态，提升了道路拥堵检测结果的准确性。
在上述实施例的基础上，可选的，数据获取与处理模块，包括：
前景图像获取单元，用于基于背景建模技术，从视频流数据中提取预设数量的前景图像；
前景叠加单元，用于对预设数量的前景图像进行叠加，得到行车道路关注区域图。
在上述实施例的基础上，可选的，数据获取与处理模块还包括：
膨胀处理单元，用于在对预设数量的前景图像进行叠加之前，对提取到的前景图像进行自适应膨胀处理。
在上述实施例的基础上，可选的，在得到行车道路关注区域图之后，数据获取与处理模块还包括：
预处理单元，用于在得到行车道路关注区域图之后，对行车道路关注区域图进行预处理，其中，预处理包括滤波处理和平滑处理。
在上述实施例的基础上，可选的，光流矩阵提取模块包括：
第一矩阵获取单元，用于将视频流数据中每相邻的两帧图像作为模型输入数据，依次输入到光流提取神经网络模型，根据模型输出得到多个初始光流矩阵；
第二矩阵获取单元，用于将多个初始光流矩阵进行叠加，并对叠加后的光流矩阵中的元素进行归一化处理，得到目标光流矩阵；
第三矩阵获取单元，用于将目标光流矩阵和行车道路关注区域图进行叠加，得到行车道路关注区域图对应的光流矩阵。
在上述实施例的基础上，可选的，拥堵检测模块包括：
融合输入单元，用于将光流矩阵和分割结果特征图进行融合，并将融合后的特征数据输入到预先训练的拥堵检测模型；
检测结果输出单元，用于根据拥堵检测模型的输出结果，确定道路是否拥堵。
在上述实施例的基础上，可选的，该装置还包括模型训练模块，用于训练拥堵检测模型的过程，具体包括：
数据获取单元，用于获取在目标监控场景下产生拥堵事件时的第一视频数据和未产生拥堵事件的第二视频数据；
样本集构建单元，用于根据第一视频数据和第二视频数据，构建拥堵分类样本集，其中拥堵分类样本集中包括拥堵和未拥堵两种情况各自对应的行车道路关注区域图对应的光流矩阵、道路空闲区域和道路占用区域的分割结果特征图；
训练单元，用于基于拥堵分类样本集，对拥堵检测模型进行训练。
本申请实施例所提供的车道拥堵检测装置可执行本申请任意实施例所提供的车道拥堵检测方法，具备执行方法相应的功能模块和有益效果。
图4是本申请第四实施例中提供的一种电子设备的结构示意图。如图4所示结构，本申请实施例中提供的电子设备包括：一个或多个处理器402和存储器401；该电子设备中的处理器402可以是一个或多个，图4中以一个处理器402为例；存储器401用于存储一个或多个程序；一个或多个程序被一个或多个处理器402执行，使得一个或多个处理器402实现如本申请实施例中任一项的车道拥堵检测方法。
该电子设备还可以包括：输入装置403和输出装置404。
该电子设备中的处理器402、存储器401、输入装置403和输出装置404可以通过总线或其他方式连接，图4中以通过总线连接为例。
该电子设备中的存储装置401作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本申请实施例中所提供的车道拥堵检测方法对应的程序指令/模块。处理器402通过运行存储在存储装置401中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中车道拥堵检测方法。
存储装置401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器401可进一步包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器402执行时，程序进行如下操作：
获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；
根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；
根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被一个或者多个处理器402执行时，程序还可以进行本申请任意实施例中所提供的车道拥堵检测方法中的相关操作。
本申请的一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行车道拥堵检测方法，该方法包括：
获取目标监控场景下的实时视频流数据，并根据视频流数据确定目标监控场景下的行车道路关注区域图；
根据视频流数据和行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定行车道路关注区域图对应的光流矩阵；
根据视频流数据，并结合预先训练的语义分割神经网络模型，确定目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
基于光流矩阵和分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
可选的，该程序被处理器执行时还可以用于执行本申请任意实施例中所提供的方法。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(例如包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种车道拥堵检测方法，其特征在于，包括：
获取目标监控场景下的实时视频流数据，并根据所述视频流数据确定所述目标监控场景下的行车道路关注区域图；
根据所述视频流数据和所述行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定所述行车道路关注区域图对应的光流矩阵；
根据所述视频流数据，并结合预先训练的语义分割神经网络模型，确定所述目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
基于所述光流矩阵和所述分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
2.根据权利要求1所述的方法，其特征在于，根据所述视频流数据确定所述目标监控场景下的行车道路关注区域图，包括：
基于背景建模技术，从所述视频流数据中提取预设数量的前景图像；
对预设数量的前景图像进行叠加，得到所述行车道路关注区域图。
3.根据权利要求2所述的方法，其特征在于，在对预设数量的前景图像进行叠加之前，所述方法还包括：
对提取到的所述前景图像进行自适应膨胀处理。
4.根据权利要求2所述的方法，其特征在于，在得到所述行车道路关注区域图之后，所述方法还包括：
对所述行车道路关注区域图进行预处理，其中，所述预处理包括滤波处理和平滑处理。
5.根据权利要求1所述的方法，其特征在于，根据所述视频流数据和所述行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定所述行车道路关注区域图对应的光流矩阵，包括：
将所述视频流数据中每相邻的两帧图像作为模型输入数据，依次输入到光流提取神经网络模型，根据模型输出得到多个初始光流矩阵；
将多个初始光流矩阵进行叠加，并对叠加后的光流矩阵中的元素进行归一化处理，得到目标光流矩阵；
将所述目标光流矩阵和所述行车道路关注区域图进行叠加，得到所述行车道路关注区域图对应的光流矩阵。
6.根据权利要求1所述的方法，其特征在于，基于所述光流矩阵和所述分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果，包括：
将所述光流矩阵和所述分割结果特征图进行融合，并将融合后的特征数据输入到预先训练的拥堵检测模型；
根据所述拥堵检测模型的输出结果，确定道路是否拥堵。
7.根据权利要求1所述的方法，其特征在于，训练所述拥堵检测模型的过程包括：
获取在所述目标监控场景下产生拥堵事件时的第一视频数据和未产生拥堵事件的第二视频数据；
根据所述第一视频数据和所述第二视频数据，构建拥堵分类样本集，其中所述拥堵分类样本集中包括拥堵和未拥堵两种情况各自对应的行车道路关注区域图对应的光流矩阵、道路空闲区域和道路占用区域的分割结果特征图；
基于所述拥堵分类样本集，对拥堵检测模型进行训练。
8.一种车道拥堵检测装置，其特征在于，包括：
数据获取与处理模块，用于获取目标监控场景下的实时视频流数据，并根据所述视频流数据确定所述目标监控场景下的行车道路关注区域图；
光流矩阵提取模块，用于根据所述视频流数据和所述行车道路关注区域图，并结合预先训练的光流提取神经网络模型，确定所述行车道路关注区域图对应的光流矩阵；
分割模块，用于根据所述视频流数据，并结合预先训练的语义分割神经网络模型，确定所述目标监控场景下的道路空闲区域和道路占用区域的分割结果特征图；
拥堵检测模块，用于基于所述光流矩阵和所述分割结果特征图，利用预先训练的拥堵检测模型，确定道路拥堵检测结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的车道拥堵检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的车道拥堵检测方法。
CN202011457428.0A 2020-12-10 2020-12-10 一种车道拥堵检测方法、装置、电子设备和存储介质 Pending CN114627400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011457428.0A CN114627400A (zh) 2020-12-10 2020-12-10 一种车道拥堵检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011457428.0A CN114627400A (zh) 2020-12-10 2020-12-10 一种车道拥堵检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114627400A true CN114627400A (zh) 2022-06-14

Family

ID=81895573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011457428.0A Pending CN114627400A (zh) 2020-12-10 2020-12-10 一种车道拥堵检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114627400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409381A (zh) * 2023-12-14 2024-01-16 杭州像素元科技有限公司 基于场景图像分割的高速公路收费站拥堵检测模型及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409381A (zh) * 2023-12-14 2024-01-16 杭州像素元科技有限公司 基于场景图像分割的高速公路收费站拥堵检测模型及方法
CN117409381B (zh) * 2023-12-14 2024-03-08 杭州像素元科技有限公司 基于场景图像分割的高速公路收费站拥堵检测模型及方法

Similar Documents

Publication Publication Date Title
CN111626208B (zh) 用于检测小目标的方法和装置
Li et al. Coda: A real-world road corner case dataset for object detection in autonomous driving
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
US10037604B2 (en) Multi-cue object detection and analysis
EP3806064A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN110781768A (zh) 目标对象检测方法和装置、电子设备和介质
CN111008600B (zh) 一种车道线检测方法
CN110348463B (zh) 用于识别车辆的方法和装置
KR20210043516A (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN112613434A (zh) 道路目标检测方法、装置及存储介质
Kim et al. Visual extensions and anomaly detection in the pNEUMA experiment with a swarm of drones
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
Isa et al. Real-time traffic sign detection and recognition using Raspberry Pi
CN114898243A (zh) 基于视频流的交通场景解析方法以及装置
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
CN116452911A (zh) 目标检测模型训练方法及装置、目标检测方法及装置
CN115409985A (zh) 目标对象检测方法、装置、电子设备及可读存储介质
Hamzah et al. Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm
CN113160217A (zh) 一种线路异物的检测方法、装置、设备及存储介质
Kuppusamy et al. Traffic Sign Recognition for Autonomous Vehicle Using Optimized YOLOv7 and Convolutional Block Attention Module.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination