CN116229362A - 一种基于实时监控视频的智能积水检测与深度估计方法 - Google Patents

一种基于实时监控视频的智能积水检测与深度估计方法 Download PDF

Info

Publication number
CN116229362A
CN116229362A CN202310146848.4A CN202310146848A CN116229362A CN 116229362 A CN116229362 A CN 116229362A CN 202310146848 A CN202310146848 A CN 202310146848A CN 116229362 A CN116229362 A CN 116229362A
Authority
CN
China
Prior art keywords
ponding
real
water accumulation
monitoring video
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310146848.4A
Other languages
English (en)
Inventor
郝清仪
方芳
徐瑞
郑康
李圣文
万波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310146848.4A priority Critical patent/CN116229362A/zh
Publication of CN116229362A publication Critical patent/CN116229362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于实时监控视频的智能积水检测与深度估计方法，包括以下步骤：获取监控视频流，并对视频流进行预处理；对视频流中的每帧图片进行不同的预处理，扩张图片数，得到扩张后的图片；对扩张后的图片进行积水区标注，得到样本集；构建积水检测模型，将样本集输入至积水检测模型进行训练，得到最优积水检测模型；将待预测图片输入至最优积水检测模型，得到积水区域；根据积水面积拟合公式，预测积水区域深度；将积水区域标注并与视频叠加，输出道路积水区深度检测结果。本发明有益效果是：在不增加任何成本代价的情况下提高分割性能实现城市道路积水区域的精确识别。

Description

一种基于实时监控视频的智能积水检测与深度估计方法
技术领域
本发明涉及积水检测领域，尤其涉及一种基于实时监控视频的智能积水检测与深度估计方法。
背景技术
在排涝能力较差的城市由于连续性降水导致产生了洪涝灾害，洪水的产生导致了人员的伤亡和财产的损失，如何让道路积水快速被清理，已经是城市面对的主要问题之一。同时，由于气象预报数据存在误差和不确定性，并且由于发生降雨天气时人手不足，不能由工作人员随时观察监控视频，可能无法及时准确地判定积水产生位置，将会导致暴雨或连续降雨天气路面积水迅速增加，不利于防汛排涝工作进行下去。
目前针对城市道路积水检测方法一般是人工监控和硬件监测方法，会消耗大量的人力物力并且费时费力，还容易疏忽导致内涝加剧。硬件监测方法不能随时移动，并且对环境要求较高，降雨位置发生变化时不能及时监测到相应道路积水面积和深度，但缺点也较为明显，存在易损坏和大量安装导致价格昂贵等问题。
随着城市智能化水平提高，建设越来越完善，城市的监控网点能够24小时监控大部分的路段，夜间监控画面变得更加清晰，监控数据的传输也逐渐趋于稳定。所以现今可以使用人工智能技术对监控视频数据进行分析，从而解决城市内涝问题，为城市防洪排涝提供新的思路，同时增强城市抵御暴雨洪水的能力。
发明内容
为了解决城市道路积水检测方法会消耗大量的人力物力并且费时费力的问题，本申请提供一种基于实时监控视频的智能积水检测与深度估计方法，包括以下步骤：
S1、获取监控视频流，并对视频流进行预处理；
S2、对视频流中的每帧图片进行不同的预处理，扩张图片数，得到扩张后的图片；
S3、对扩张后的图片进行积水区标注，得到样本集；
S4、构建积水检测模型，将样本集输入至积水检测模型进行训练，得到最优积水检测模型；
S5、将待预测图片输入至最优积水检测模型，得到积水区域；
S5、根据积水面积拟合公式，预测积水区域深度；
S6、将积水区域标注并与视频叠加，输出道路积水区深度检测结果。
本发明提供的有益效果是：在不增加任何成本代价的情况下提高分割性能实现城市道路积水区域的精确识别。
附图说明
图1是本发明方法流程示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，图1是本发明系统结构图。本发明提供了一种基于实时监控视频的智能积水检测与深度估计方法，包括以下步骤：
S1、获取监控视频流，并对视频流进行预处理；
本发明中首先建立视频监控平台。监控平台主要负责监控数据的接入和处理，建立视频集成平台。支持对监控视频的实时播放与回放。
在本实施例中，对视频流的预处理具体手段为：选取积水情况严重度不同的区域、不同的角度以及不同时间段(白天和黑天)的监控数据，对不同区域的监控视频数据进行分帧处理，同时从社交媒体选取城市道路积水的图像，进行可信度评估与重复数据的删除。
图像质量评估，根据线性相关系数LCC，使用公式如下：
Figure BDA0004089513420000031
其中N表示失真图像数，yi、/>
Figure BDA0004089513420000032
分别表示第i幅图像真实值和测试分数，/>
Figure BDA0004089513420000033
分别表示真实平均值和预测平均值。LCC根据算法评价值与人眼主观打分之间的相关性,得到图片质量分数。当线性相关系数低于预设值时，表示不符合要求。
S2、对视频流中的每帧图片进行不同的预处理，扩张图片数，得到扩张后的图片；
具体的，本发明中对搜集到的图片进行数据增强，进行平滑、翻转、旋转、裁剪等各类操作增加图像数目，并使用标注工具Labelme对道路积水图像进行标注；
预处理手段如下：
线性灰度变换，输入图像数据，改变图像像素点的灰度值，拉开图像的对比度，让图像中黑色与亮色更突出。使用式2)来进行：
DB＝f(DA)＝αDA+b (2)
其中DB表示灰度线性变换后的灰度值，DA表示变换前输入图像的灰度值，α和b为线性变换方程f(D)的参数，分别表示斜率和截距。
高斯滤波，调用一个二维离散的高斯函数，去除输入图像的高斯噪声。使用离散高斯函数式(3)来进行：
Figure BDA0004089513420000041
其中随机变量x服从高斯分布N(0,σ2)。
随机旋转，将图片在一定角度内围绕原图中心随机旋转，并以指定颜色填充其他区域。
随机裁剪缩放，首先随机裁剪一个面积为与原始面积成比例的区域，该区域的宽高比在一定范围之间随机取值，最后将该区域调整为指定的大小。
S3、对扩张后的图片进行积水区标注，得到样本集；
S4、构建积水检测模型，将样本集输入至积水检测模型进行训练，得到最优积水检测模型；
在本实施例中，将样本集输入到三层卷积分支C1、C2、C3和五层卷积分支G1、G2、G3、G4、G5，其中五层卷积分支再经过上下文嵌入块，并通过快速下采样来获得更大的感受野后，输出图像特征；
其中三层卷积分支表示如下：
Figure BDA0004089513420000042
其中Conv2d 3-64表示用于图像数据的二维卷积，其中卷积核大小为3，输出特征通道数为64，stride表示步长。
五层卷积分支表示如下：
Figure BDA0004089513420000043
将所述输出图像特征结果输入到深度卷积层DW、平均池化层POOL并进行批处理归一化BN，将所述特征进行求和，其中需要对五通道卷积边输出的特征进行上采样，匹配三通道卷积边得到的输出特征，最终输出多尺度图像特征。
S5、将待预测图片输入至最优积水检测模型，得到积水区域；
S6、根据积水面积拟合公式，预测积水区域深度；
将积水面积与深度输入数学模型中，得到经验公式，使用经验公式拟合得到道路积水深度。经过计算拟合得到公式如下所示。
y＝95.47*log(x)-1134.31
其中x为积水面积，y为输出积水深度。
S7、将积水区域标注并与视频叠加，输出道路积水区深度检测结果。
综合来看，本发明的有益效果是：
(1)考虑到传统城市排涝方法，获取内涝信息较困难的现状，依托监控视频数据实时获取道路积水视频信息，有效解决了城市道路积水信息的获取延迟与不足的问题；
(2)对视频进行分帧处理，并从社交媒体选取道路积水图片，对数据进行增强处理，解决了信息重复，过少等问题；
(3)采用深度学习卷积网络，在不增加任何推理代价的情况下提高分割性能实现城市道路积水区域的精确识别。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：包括以下步骤：
S1、获取监控视频流，并对视频流进行预处理；
S2、对视频流中的每帧图片进行不同的预处理，扩张图片数，得到扩张后的图片；
S3、对扩张后的图片进行积水区标注，得到样本集；
S4、构建积水检测模型，将样本集输入至积水检测模型进行训练，得到最优积水检测模型；
S5、将待预测图片输入至最优积水检测模型，得到积水区域；
S6、根据积水面积拟合公式，预测积水区域深度；
S7、将积水区域标注并与视频叠加，输出道路积水区深度检测结果。
2.如权利要求1所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：步骤S1中，对视频流进行预处理，具体指：
选取积水情况严重度不同的区域、不同的角度以及不同时间段(白天和黑天)的监控数据，对不同区域的监控视频数据进行分帧处理，对分帧后的图片进行图像质量评估，不符合要求的图片进行删除。
3.如权利要求2所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：图像质量评估采用线性相关系数LCC，公式如下：
Figure FDA0004089513410000011
其中N表示失真图像数，yi、
Figure FDA0004089513410000012
分别表示第i幅图像真实值和测试分数，/>
Figure FDA0004089513410000013
分别表示真实平均值和预测平均值，计算得到LCC图片质量分数。
4.如权利要求1所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：步骤S2中得到扩张图片具体过程为：对搜集到的图片进行数据增强，包括平滑、翻转、旋转和裁剪操作增加图像数目。
5.如权利要求1所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：步骤S3中使用标注工具Labelme对道路积水图像进行标注。
6.如权利要求1所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：步骤S4中所述积水检测模型采用ResNet50作为骨干网络，后接全局平均池化层和全连接层。
7.如权利要求1所述的一种基于实时监控视频的智能积水检测与深度估计方法，其特征在于：积水面积拟合公式具体如下：
y＝95.47*log(x)-1134.31 (2)其中x为积水面积，y为输出积水深度。
CN202310146848.4A 2023-02-21 2023-02-21 一种基于实时监控视频的智能积水检测与深度估计方法 Pending CN116229362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310146848.4A CN116229362A (zh) 2023-02-21 2023-02-21 一种基于实时监控视频的智能积水检测与深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310146848.4A CN116229362A (zh) 2023-02-21 2023-02-21 一种基于实时监控视频的智能积水检测与深度估计方法

Publications (1)

Publication Number Publication Date
CN116229362A true CN116229362A (zh) 2023-06-06

Family

ID=86576402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310146848.4A Pending CN116229362A (zh) 2023-02-21 2023-02-21 一种基于实时监控视频的智能积水检测与深度估计方法

Country Status (1)

Country Link
CN (1) CN116229362A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469013A (zh) * 2023-06-20 2023-07-21 云途信息科技(杭州)有限公司 道路积水预测方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469013A (zh) * 2023-06-20 2023-07-21 云途信息科技(杭州)有限公司 道路积水预测方法、装置、计算机设备及存储介质
CN116469013B (zh) * 2023-06-20 2023-09-08 云途信息科技(杭州)有限公司 道路积水预测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109147254B (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN108564588B (zh) 一种基于深度特征和图割法的建成区自动提取方法
CN113989510B (zh) 一种河道排水口溢流检测方法、装置及相关设备
CN115497015A (zh) 一种基于卷积神经网络的河流漂浮污染物识别方法
CN110503637B (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
CN116229362A (zh) 一种基于实时监控视频的智能积水检测与深度估计方法
CN104320617A (zh) 一种基于深度学习的全天候视频监控方法
CN111862143A (zh) 一种河堤坍塌自动监测方法
CN112637550A (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN113936248B (zh) 一种基于图像识别的海滩人员危险性预警方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN115661932A (zh) 一种垂钓行为检测方法
CN111598793A (zh) 一种用于输电线路图像去雾的方法、系统及存储介质
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN114332739A (zh) 一种基于运动目标检测和深度学习技术的烟雾检测方法
CN112329515B (zh) 一种高点视频监控拥堵事件检测方法
CN110633626A (zh) 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN116862252B (zh) 一种基于复合卷积算子的城市建筑物损失应急评估方法
CN105741277A (zh) 基于ViBe算法与SLIC超像素的背景差分法
WO2021017445A1 (zh) 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法
CN116993745A (zh) 基于图像处理给水管表面漏损检测方法
CN111539356A (zh) 一种基于线阵图像的路面缝隙精准高效检测方法
CN116311039A (zh) 一种城市降水量反演方法、装置、计算机设备及存储介质
CN113592863B (zh) 基于图像处理的城市道路积水检测方法及系统
CN115439763A (zh) 一种基于YOLOv5模型的水工程表面裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination