CN117409381A - 基于场景图像分割的高速公路收费站拥堵检测模型及方法 - Google Patents
基于场景图像分割的高速公路收费站拥堵检测模型及方法 Download PDFInfo
- Publication number
- CN117409381A CN117409381A CN202311713500.5A CN202311713500A CN117409381A CN 117409381 A CN117409381 A CN 117409381A CN 202311713500 A CN202311713500 A CN 202311713500A CN 117409381 A CN117409381 A CN 117409381A
- Authority
- CN
- China
- Prior art keywords
- toll station
- highway toll
- detection model
- congestion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003709 image segmentation Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 5
- 230000003631 expected effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种基于场景图像分割的高速公路收费站拥堵检测模型及方法，将训练样本输入到高速公路收费站拥堵检测模型中进行训练，每一个训练样本输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果，采用无监督的异常检测方法对监控视频对应的特征矩阵进行分析获得当前道路通行状态的检测，实现高速公路收费站的拥堵高精度和高泛化性的检测。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于场景图像分割的高速公路收费站拥堵检测模型及方法。
背景技术
高速公路收费站是实施交通管理和控制的重要节点，可以对车辆进行监管、引导和管理，确保道路交通秩序，提高交通安全性，拥堵的收费站易引发交通事故和交通秩序混乱，因此需要及时监测高速公司收费站的拥堵情况，才能有针对性地采取有效的交通管理措施：例如引导交通、增加收费通道等，以减少拥堵时间，提高车辆通行效率，缓解交通压力，保障通行车辆的安全。因此，对高速公路收费站的拥堵情况进行监测具有重要意义，有助于优化交通运行，改善出行体验，并对交通安全、能源消耗和环境保护等方面产生积极影响。
针对高速公路收费站拥堵问题，目前多采用人工检测或者基于深度神经网络的人工智能的方法。人工检测的方式是通过值班工作人员观看高速公路收费站的实时监控，人为判断当前高速公路的收费站是否处于拥堵情况，这种人工检测方式存在成本较高，且无法实现实时准确的全天候检测的问题。人工智能的方式是基于摄像头或者雷达的目标检测的方法，使用摄像头、激光或毫米波雷达等设备对收费站范围内的车辆进行识别和跟踪，实时监测收费站区域车流量情况，同时对车辆类型、速度、密度等进行实时监测和分析，及时发现和预警拥堵情况，但是此类基于目标识别和追踪的算法的训练数据集通常依赖人工判断拥堵状态，具有一定的局限性和易受标定人员主观影响标定效果，因此，在高速公路的场景下（路侧摄像机位置高，检测范围广），往往容易出现误识别和漏识别的情况，无法满足高速公路收费站运维管理的日常要求。
发明内容
本申请实施例提供了一种基于场景图像分割的高速公路收费站拥堵检测模型及方法，采用无监督的异常检测方法对监控视频对应的特征矩阵进行分析获得当前道路通行状态的检测，实现高速公路收费站的拥堵高精度和高泛化性的检测。
第一方面，本申请实施例提供了一种基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，包括以下步骤：
获取训练样本：获取拥堵状态的高速公路收费站的至少一个监控视频流和非拥堵状态的高速公路收费站的至少一个监控视频流作为训练样本；
搭建高速公路收费站拥堵检测模型：搭建依次连接的特征提取模块、时序特征重构模块和拥堵状态评估模块作为高速公路收费站拥堵检测模型；
无监督训练高速公路收费站拥堵检测模型：将训练样本输入到高速公路收费站拥堵检测模型中进行训练，每一个训练样本输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果，并利用损失函数对高速公路收费站拥堵检测模型的无监督的训练过程进行约束。
第二方面，本申请实施例提供了一种基于场景图像分割的高速公路收费站拥堵检测方法，包括以下步骤：
获取待测的监控视频流；
将监控视频流输入到搭建的高速公路收费站拥堵检测模型中，监控视频流输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果。
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行基于场景图像分割的高速公路收费站拥堵检测模型的构建方法或者基于场景图像分割的高速公路收费站拥堵检测方法。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法或者所述的基于场景图像分割的高速公路收费站拥堵检测方法。
本发明的主要贡献和创新点如下：
本申请实施例提出了一种基于场景图像分割的高速公路收费站拥堵检测模型及方法，该方案相对于人工查看实时画面，具有更好的全天候检测的实时检测效果。其次，相对于目前的基于目标检测和目标追踪的车辆识别方法，由于采用基于无监督的训练方法故具有更精准的识别效果和更优的泛化性。具体的，该高速公路收费站拥堵检测模型融合了图像分割网络以及异常检测方法，通过对特征矩阵进行分析来有效检测高速公路收费站拥堵状态，并具有较好的泛化性和较高的识别精度，并且具有一定的现场实际使用价值。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于场景图像分割的高速公路收费站拥堵检测模型的构建逻辑示意图；
图2是根据本申请一种实施例的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法的示意图；
图3是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
由于现有技术中用于高速公路收费站拥堵检测的目标检测模型需要较多的人工标记数据集进行训练，进而导致现有技术的目标检测模型的准确度高度依赖于人工标注数据集的准确性，具有一定的局限性和容易受标定人员的主观影响，在实际应用过程中容易出现误识别和漏识别而导致无法满足高速公路收费站运维管理的日常需求的问题。针对该问题，本申请实施例提供了一种基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，该高速公路收费站拥堵检测模型采用无监督的训练方式训练得到，使得在高速公路收费站拥堵检测时具有较高的准确度。
具体的，如图2所示，本方案提供的一种基于场景图像分割的高速公路收费站拥堵检测模型的构建方法包括以下步骤：
获取训练样本：获取拥堵状态的高速公路收费站的至少一个监控视频流和非拥堵状态的高速公路收费站的至少一个监控视频流作为训练样本；
搭建高速公路收费站拥堵检测模型：搭建依次连接的特征提取模块、时序特征重构模块和拥堵状态评估模块作为高速公路收费站拥堵检测模型；
无监督训练高速公路收费站拥堵检测模型：将训练样本输入到高速公路收费站拥堵检测模型中进行训练，每一个训练样本输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果，并利用损失函数对高速公路收费站拥堵检测模型的无监督的训练过程进行约束。
需要说明的是，本方案采用无监督的训练方法，目的是为了规避由于标定人员对于拥堵判断的主观差异。由于本方案对拥堵的判断不是基于一帧的静态图片，而是基于连续的视频进行。
关于“获取训练样本”：
取拥堵状态的高速公路收费站的至少一个监控视频流和非拥堵状态的高速公路收费站的至少一个监控视频流作为训练样本。每一监控视频流包括至少两个时间点对应的视频图像帧，每一监控视频流的拍摄区域涵盖进出高速公路收费站的车道，以获取进出高速公路收费站的车辆。在一些实施例中，采用人工标记的方式标记监控视频流的拥堵状态。
关于高速公路收费站拥堵检测模型的搭建和无监督训练：
在“每一个训练样本输入到特征提取模块中提取不同时间点的视频特征”步骤中，每一训练样本为包含多个时间点的视频图像帧的监控视频流，特征提取模块采用预训练后的图像分割网络对每一训练样本的每一视频图像帧进行图像分割以获取车辆目标，并提取截止当前时间点为止的多个视频图像帧的车辆特征组成当前时间点的视频特征。
需要说明的是，图像分割网络由标注车辆目标的图像进行预训练，以可从视频图像帧中识别车辆目标。本方案的车辆目标包括但不限于货车、轿车和巴士。具体的，特征提取模块中的图像分割网络用于分割每一视频图像帧中对应货车、轿车和巴士的车辆目标，图像分割网络根据标记车辆目标的图像进行预训练。
换言之，本方案对经过图像分割网络的视频图像帧进行特征提取获取对应车辆目标的车辆特征。具体的，图像分割网络识别每一视频图像帧中的车辆目标并分割车辆目标所在的车辆区域，再对每一车辆目标进行特征提取获取车辆特征，整合到特定时间点的多个视频图像帧中的车辆特征得到视频特征。
在具体的实施例中，本方案的图像分割网络选择为YoloV5，将时间长度为的监控视频流输入到图像分割网络中输出车辆特征，设输入的视频图像帧的宽和高为w×h（412×412），YoloV5骨干网络使用的各阶段输出如下表一表示：
表一 图像分割网络各个阶段的输出
YoloV5网络Conv2，Conv3，Conv4和Conv5输出的特征图分别为C2，C3，C4和C5，这些特征图通过YoloV5图像分割网络的后续阶段生成时间长度为的对应于时间点/>和时间点的视频特征/>和/>。
示例性的，对于时间序列长度为的监控视频流，时间点i和时间j的视频特征分别为：
；
其中为时间点i的视频特征，/>为时间点j的视频特征，/>和/>是第t时刻的视频图像帧内的所有车辆特征，t表示当前视频流片段的结束时间点，/>表示时间序列长度，对应于这段监控视频流的长度。需要说明的是，普通的拥堵检测基于图片，因为拥堵是一个动态过程所以误识别较多，而本方案则是对视频片段进行检测来判断是否为拥堵。
在“不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵”步骤中，取相邻两个时间点的视频特征计算相似度得到特征值，依时序排列所有特征值得到对应同一监控视频流的特征矩阵。由于每个时间点的视频帧对应的是截止到当前时间点的视频片段的视频特征，故当对相邻两个视频特征进行特征矩阵计算时可得到两个视频图像帧中变化的特征。
在一些实施例中，计算相邻两个时间点的视频特征的相似度，取所有相似度同当前视频监控流序列的长度的平均值作为当前相邻两个时间点的视频特征的特征值。
示例性的，同一监控视频流的特征矩阵表示为，特征矩阵中的特征值表示为：
其中是特征值，/>和/>是两个视频特征中对应的同一视频帧，/>指的是同一视频帧的点乘。
需要说明的是，本方案提供的特征矩阵中的特征值表示结合周围环境信息的目标车辆特征。也就是说，本方案先根据图像分割网络获取不同时间点的视频图像帧的视频特征，随后再对视频特征进行处理得到结合周围环境信息的目标车辆特征。
在“特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果”步骤中，基于特征矩阵的目标车辆特征利用异常检测算法评估当前监控视频流的拥堵状态和非拥堵状态。
在本方案的实施例中，拥堵状态评估模块采用异常检测算法对特征矩阵进行分析以判断当前监控视频流的拥堵状态和非拥堵状态。具体的，基于特征矩阵中的目标车辆特征基于异常检测算法检测拥堵状态或非拥堵状态，并整理获取所有车辆目标的目标特征序列，所述目标特征序列表示为：，其中/>表示车辆目标在每一视频图像帧中水平方向像素位置，/>表示车辆目标在每一视频图像帧在垂直方向占据的像素数量，/>表示车辆目标的数量，0和1表示异常检测的结果，0为畅通，1为拥堵。另外，在一些实施例中，将视频图像帧的左上角定义为坐标原点，左上角对应表示为/>，/>。对应的，和/>表示在同一帧视频帧中检测出来的车辆目标的长度和宽度。
另外，高速公路收费站拥堵检测模型采用无监督的学习方法并结合概率分布损失函数进行训练。换言之，高速公路收费站拥堵检测模型的损失函数为概率分布损失函数，其中概率分布损失函数为回归损失和概率损失的和，具体的公式如下：；
；
其中为概率分布损失函数，/>为回归损失，/>为概率损失，/>是训练样本的数据集中监控视频流的数量，f是特征提取模块，/>为KL散度用来比较两个特征矩阵之间的差异，两个特征矩阵指的是训练样本预测的特征矩阵和实际的特征矩阵，/>表示目标特征序列，/>表示车辆目标与周围车辆之间的关联关系，/>和/>是两个视频特征， t表示视频结束时间，/>表示时间序列长度，/>是是时间点i的视频图像帧中的车辆特征。
需要说明的是，车辆目标与周围车辆之间的关联关系通过目标特征序列表示，需要说明的是表示时间T整体的特征序列，/>表示其中特定目标（车辆）周围的其他车辆序列。可以说/>包含/>，/>为了计算散度，也就是两个矩阵之间的差异，用来约束无监督训练过程的。
本方案在采用上述训练方法训练基于场景图像分割的高速公路收费站拥堵检测模型后，采用准确率()、召回率(/>)和F1-评分(/>)对无监督的训练效果进行评估，当评估达到预计效果时则停止训练，其中各种评估指标的计算公式如下；/>；
；
；
其中为正确检出数量，/>为误检数量，/>为漏检数量。
关于该基于场景图像分割的高速公路收费站拥堵检测模型的构建方法的构建逻辑示意图如图1所示，将监控视频流的视频图像帧输入到特征提取模块中输入不同时间点的视频特征，对不同时间点的视频特征进行重建得到特征矩阵，分析特征矩阵得到目标特征序列后引入回归损失和概率损失以对训练效果进行约束，随后对高速公路收费站拥堵检测模型的预测结果进行评价。
实施例二
基于相同的构思，本申请还提出了一种基于场景图像分割的高速公路收费站拥堵检测模型的应用方法，或者说，一种基于场景图像分割的高速公路收费站拥堵检测方法，包括以下步骤：
获取待测的监控视频流；
将监控视频流输入到如实施例一搭建的高速公路收费站拥堵检测模型中，监控视频流输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果。
关于同于实施例一的内容在此不进行累赘说明。本方案在采用训练好的高速公路收费站拥堵检测模型对待检测的视频流的视频图像帧进行检测时，采用基于异常检测算法对特征矩阵进行分析获得当前通行状态的检测，通行状态为拥堵状态或者非拥堵状态进而实现对高速公路收费站拥堵的检测。具体来说，通过提取特征矩阵中结合检测的车辆目标与周围车辆之间的关联关系作为环境信息来判断当前监控视频流的视频图像帧的通行状态，同时结合基于无监督的异常检测方法，对特征矩阵中拥堵状态进行评估和预测，实现高速公路收费站拥堵检测。
实施例三
本实施例还提供了一种电子装置，参考图3，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项基于场景图像分割的高速公路收费站拥堵检测模型的应用方法或者基于场景图像分割的高速公路收费站拥堵检测模型的构建方法的实施例中的步骤。
具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于场景图像分割的高速公路收费站拥堵检测模型的应用方法或者基于场景图像分割的高速公路收费站拥堵检测模型的构建方法的实施例中的步骤。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是监控视频流等，输出的信息可以是当前高速公路收费站的通行状态等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
获取训练样本：获取拥堵状态的高速公路收费站的至少一个监控视频流和非拥堵状态的高速公路收费站的至少一个监控视频流作为训练样本；
搭建高速公路收费站拥堵检测模型：搭建依次连接的特征提取模块、时序特征重构模块和拥堵状态评估模块作为高速公路收费站拥堵检测模型；
无监督训练高速公路收费站拥堵检测模型：将训练样本输入到高速公路收费站拥堵检测模型中进行训练，每一个训练样本输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果，并利用损失函数对高速公路收费站拥堵检测模型的无监督的训练过程进行约束。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，包括以下步骤：
获取训练样本：获取拥堵状态的高速公路收费站的至少一个监控视频流和非拥堵状态的高速公路收费站的至少一个监控视频流作为训练样本；
搭建高速公路收费站拥堵检测模型：搭建依次连接的特征提取模块、时序特征重构模块和拥堵状态评估模块作为高速公路收费站拥堵检测模型；
无监督训练高速公路收费站拥堵检测模型：将训练样本输入到高速公路收费站拥堵检测模型中进行训练，每一个训练样本输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果，并利用损失函数对高速公路收费站拥堵检测模型的无监督的训练过程进行约束。
2.根据权利要求1所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，每一训练样本为包含多个时间点的视频图像帧的监控视频流，特征提取模块采用预训练后的图像分割网络对每一训练样本的每一视频图像帧进行图像分割以获取车辆目标，并提取截止当前时间点为止的多个视频图像帧的车辆特征组成当前时间点的视频特征。
3.根据权利要求2所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，图像分割网络识别每一视频图像帧中的车辆目标并分割车辆目标所在的车辆区域，再对每一车辆目标进行特征提取获取车辆特征，整合到特定时间点的多个视频图像帧中的车辆特征得到视频特征。
4.根据权利要求2所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，取相邻两个时间点的视频特征计算相似度得到特征值，依时序排列所有特征值得到对应同一监控视频流的特征矩阵。
5.根据权利要求4所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，计算相邻两个时间点的视频特征的相似度，取所有相似度同当前视频监控流序列的长度的平均值作为当前相邻两个时间点的视频特征的特征值。
6.根据权利要求1所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，高速公路收费站拥堵检测模型的损失函数为概率分布损失函数，其中概率分布损失函数为回归损失和概率损失的和。
7.根据权利要求1所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法，其特征在于，用准确率、召回率和F1-评分对无监督的训练效果进行评估，当评估达到预计效果时则停止训练。
8.一种基于场景图像分割的高速公路收费站拥堵检测方法，其特征在于，包括以下步骤：
获取待测的监控视频流；
将监控视频流输入到如权利要求1到7任一所述的搭建的高速公路收费站拥堵检测模型中，监控视频流输入到特征提取模块中提取不同时间点的视频特征，不同时间点的视频特征输入时序特征重构模块中重建得到对应当前训练样本的特征矩阵，其中特征矩阵内的特征值为结合周围环境信息的目标车辆特征，特征矩阵输入拥堵状态评估模块利用无监督的异常检测算法评估得到拥堵状态或非拥堵状态的预测结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法或者权利要求8所述的基于场景图像分割的高速公路收费站拥堵检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到7任一所述的基于场景图像分割的高速公路收费站拥堵检测模型的构建方法或者权利要求8所述的基于场景图像分割的高速公路收费站拥堵检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311713500.5A CN117409381B (zh) | 2023-12-14 | 2023-12-14 | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311713500.5A CN117409381B (zh) | 2023-12-14 | 2023-12-14 | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409381A true CN117409381A (zh) | 2024-01-16 |
| CN117409381B CN117409381B (zh) | 2024-03-08 |
Family
ID=89500251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311713500.5A Active CN117409381B (zh) | 2023-12-14 | 2023-12-14 | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409381B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649632A (zh) * | 2024-01-29 | 2024-03-05 | 杭州感想科技有限公司 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
| CN118015286A (zh) * | 2024-04-09 | 2024-05-10 | 杭州像素元科技有限公司 | 通过背景分割进行收费站车道通行状态检测的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005071298A (ja) * | 2003-08-28 | 2005-03-17 | Alpine Electronics Inc | インターチェンジの渋滞情報提供システムおよびナビゲーション装置 |
| CN107730881A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的交通拥堵视觉检测系统 |
| US20200118423A1 (en) * | 2017-04-05 | 2020-04-16 | Carnegie Mellon University | Deep Learning Methods For Estimating Density and/or Flow of Objects, and Related Methods and Software |
| WO2021169174A1 (zh) * | 2020-02-29 | 2021-09-02 | 深圳壹账通智能科技有限公司 | 道路拥堵程度预测方法、装置、计算机设备及可读存储介质 |
| US20220092976A1 (en) * | 2020-09-23 | 2022-03-24 | International Business Machines Corporation | Traffic data analysis and traffic jam prediction |
| CN114297036A (zh) * | 2022-01-05 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN114627400A (zh) * | 2020-12-10 | 2022-06-14 | 浙江宇视科技有限公司 | 一种车道拥堵检测方法、装置、电子设备和存储介质 |
| CN114925836A (zh) * | 2022-07-20 | 2022-08-19 | 中国海洋大学 | 基于动态多视图图神经网络的城市交通车流量推理方法 |
| CN116721393A (zh) * | 2023-06-13 | 2023-09-08 | 浙江省机电设计研究院有限公司 | 一种基于多模态融合的高速公路拥堵检测方法及系统 |
-
2023
- 2023-12-14 CN CN202311713500.5A patent/CN117409381B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005071298A (ja) * | 2003-08-28 | 2005-03-17 | Alpine Electronics Inc | インターチェンジの渋滞情報提供システムおよびナビゲーション装置 |
| US20200118423A1 (en) * | 2017-04-05 | 2020-04-16 | Carnegie Mellon University | Deep Learning Methods For Estimating Density and/or Flow of Objects, and Related Methods and Software |
| CN107730881A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的交通拥堵视觉检测系统 |
| WO2021169174A1 (zh) * | 2020-02-29 | 2021-09-02 | 深圳壹账通智能科技有限公司 | 道路拥堵程度预测方法、装置、计算机设备及可读存储介质 |
| US20220092976A1 (en) * | 2020-09-23 | 2022-03-24 | International Business Machines Corporation | Traffic data analysis and traffic jam prediction |
| CN114627400A (zh) * | 2020-12-10 | 2022-06-14 | 浙江宇视科技有限公司 | 一种车道拥堵检测方法、装置、电子设备和存储介质 |
| CN114297036A (zh) * | 2022-01-05 | 2022-04-08 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN114925836A (zh) * | 2022-07-20 | 2022-08-19 | 中国海洋大学 | 基于动态多视图图神经网络的城市交通车流量推理方法 |
| CN116721393A (zh) * | 2023-06-13 | 2023-09-08 | 浙江省机电设计研究院有限公司 | 一种基于多模态融合的高速公路拥堵检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| FENG LI ET.AL.: ""Spilled load detection based on lightweight YOLOv4 trained with easily accessible synthetic dataset"", 《COMPUTERS AND ELECTRICAL ENGINEERING》, vol. 100, 31 May 2022 (2022-05-31) * |
| 吴泽荣: ""基于无人机的城市快速路交通状态检测方法研究"", 《万方在线》, 15 July 2023 (2023-07-15) * |
| 李超凡;陈庆奎;: "基于学习算法SSD的实时道路拥堵检测", 软件导刊, no. 06, 30 May 2018 (2018-05-30), pages 12 - 16 * |
| 王大勇: ""车辆拥堵检测及状态评估"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, vol. 2022, no. 04, 15 April 2022 (2022-04-15), pages 034 - 312 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649632A (zh) * | 2024-01-29 | 2024-03-05 | 杭州感想科技有限公司 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
| CN117649632B (zh) * | 2024-01-29 | 2024-05-07 | 杭州感想科技有限公司 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
| CN118015286A (zh) * | 2024-04-09 | 2024-05-10 | 杭州像素元科技有限公司 | 通过背景分割进行收费站车道通行状态检测的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409381B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117409381B (zh) | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 | |
| US9875405B2 (en) | Video monitoring method, video monitoring system and computer program product | |
| US9412024B2 (en) | Visual descriptors based video quality assessment using outlier model | |
| US9626599B2 (en) | Reconfigurable clear path detection system | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN106570439B (zh) | 一种车辆检测方法及装置 | |
| US10977933B2 (en) | Method and apparatus for predicting road conditions based on big data | |
| CN111666800A (zh) | 一种行人重识别模型训练方法及行人重识别方法 | |
| CN112101114B (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
| CN109684986B (zh) | 一种基于车辆检测跟踪的车辆分析方法及系统 | |
| CN110378258A (zh) | 一种基于图像的车辆座椅信息检测方法及设备 | |
| CN114419552A (zh) | 基于目标检测的违章车辆追踪方法及系统 | |
| CN110766075A (zh) | 轮胎区域图像比对方法、装置、计算机设备和存储介质 | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| Saha et al. | Developing a framework for vehicle detection, tracking and classification in traffic video surveillance | |
| Satzoda et al. | Drive analysis using lane semantics for data reduction in naturalistic driving studies | |
| US9953238B2 (en) | Image processing method and system for extracting distorted circular image elements | |
| CN113723273A (zh) | 一种车辆轨迹信息确定方法、装置及计算机设备 | |
| CN112417978A (zh) | 基于视觉的列车与屏蔽门之间异物检测方法及装置 | |
| KR20150002040A (ko) | 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법 | |
| CN114677843B (zh) | 路况信息的处理方法、装置、系统及电子设备 | |
| CN115762153A (zh) | 倒车检测方法及装置 | |
| CN115171031A (zh) | 一种基于车辆参照物的路面积水检测方法、装置及应用 | |
| CN114219073A (zh) | 属性信息的确定方法、装置、存储介质及电子装置 | |
| CN112861570A (zh) | 检测方法、装置及路侧单元 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |