CN115880683A - 一种基于深度学习的城市内涝积水智能水位检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的城市内涝积水智能水位检测方法，该方法基于水尺的城市积水水域图像分两阶段检测识别并计算水位；第一阶段，将包含水尺的城市积水水域图像输入训练好的YOLOX_I1，识别并截取水尺图像，得到第一阶段的输出水尺图像和该图像高度像素值；第二阶段，将第一阶段得到的输出图像输入训练好的YOLOX_I2，识别并截取字符“E”图像，得到字符“E”图像高度像素值列表后计算水位；本发明将计算机视觉技术、深度学习和图像处理技术有机结合，既能解决传统图像处理方式适应性受限的问题，又能实现面向城市积水的水尺高精度智能识别。

Description

一种基于深度学习的城市内涝积水智能水位检测方法

技术领域

本发明涉及计算机视觉和目标检测技术领域，特别是涉及一种基于深度学习的城市内涝积水智能水位检测方法。

背景技术

近年来，由于气候变化反复无常，我国多个城市都发生了在极短时间内降雨量陡增的情况，并且高速的城市化进程往往伴随着排水设施建设滞后，自然调蓄空间不足等问题，极易导致严重的城市内涝，给人民的生产生活造成巨大威胁。如何设计一种普适性的水位检测方法，实时识别城市低洼积水深度，成为城市内涝治理的关键。

目前水位检测的面临的主要是问题是智能化不足，尤其在处理城市内涝等复杂环境场景下误差大，缺乏普适性。在此背景下，设计一个能有效解决上述问题的水位检测方法就显得尤为重要。

常用的水位检测技术有两种方式，接触式和非接触式，其中接触式以水位计为主，然而由于长期在暴露在自然环境中，导致容易损坏，运维成本极高，并逐渐被非接触方式取代。传统的非接触式包括超声波水位计和雷达水位计等，但是其设计生产成本高，不具有普适性，因此在实际应用中并不多见。随着图像处理技术的快速发展，出现了使用传统图像处理方法计算水位的技术，如对水尺进行分割并利用模板匹配算法以及序列验证算法识别水尺字符并计算水位，还有利用水尺刻度对相机标定，利用差分法提取水域变化区域，计算水位线坐标并根据相机标定结果计算水位。然而传统图像处理方法对于背景、环境、光线和拍摄角度等要求高，在处理复杂环境时误差大，对特定场景要求高，缺乏普适性。

随着深度学习、计算机视觉等技术的飞速发展，通过深度神经网络自适应识别归纳图像特征，进行水位检测已经是一个重要的发展方向，这也为提高水位检测的智能化和识别精度提供了借鉴经验。

因此，本发明将传统图像处理技术和深度学习技术有机结合，设计提供了一种基于深度学习的城市内涝积水智能水位检测方法，既能解决传统图像处理方式适应性受限的问题，又能实现高精度智能读取水位。

发明内容

本发明的目的在于提供一种基于深度学习的城市内涝积水智能水位检测方法，采用两个改进的YOLOX级联的方式对包含水尺的城市积水水域图像分两阶段检测并计算水位；将计算机视觉技术和传统图像处理技术有机结合，既解决了传统图像处理方式在水位检测方面适应性受限的问题，又能实现高精度智能读取水位。

本发明采用以下技术方案：一种基于深度学习的城市内涝积水智能水位检测方法，所述方法步骤如下：

S1、采集包含水尺的城市积水水域图像和单独的水尺图像，采用人工标注的方式分别对水尺和水尺上字符“E”进行标注，制作两套独立的数据集，分别为识别水尺数据集和识别字符“E”数据集，识别水尺数据集和识别字符“E”数据集分别按照比例划分为训练集、验证集和测试集，通过训练改进的YOLOX算法获得两个网络模型，具体操作如下：

利用识别水尺数据集中的训练集对改进的YOLOX算法进行训练，使用识别水尺数据集中的验证集验证训练效果，更新权重，获得水尺识别模型 YOLOX_I1；

利用识别字符“E”数据集中的训练集对改进的YOLOX算法进行训练，使用识别字符“E”数据集中的验证集验证训练效果，更新权重，获得字符“E”识别模型YOLOX_I2；

S2、将待测的城市积水水域图像输入S1中的水尺识别模型YOLOX_I1，识别并截取水尺图像，对截取到的水尺图像做矫正和多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w；

S3、将第一阶段输出水尺图像输入S1中的字符“E”识别模型YOLOX_I2，识别并截取字符“E”图像，对截取的所有字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表；

S4、使用中值筛选法对图像高度像素值列表筛选，最终确定字符“E”的图像像素高度值h_e，带入计算水位公式，得出水位值。

步骤 S1中制作两套独立的数据集，分别为识别水尺数据集和识别字符“E”数据集，详细过程如下：

S11，采集不同角度、不同水位且包含水尺的城市积水水域图像；

S12，通过数据集标记软件Labelimg标记，默认使用矩形框对不同角度、不同水位且包含水尺的城市积水水域图像进行标注，将“waterGauge”作为水尺标识，获得一组xml与相应jpg图片对应的水尺图像数据集，xml文件包含数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、标注物体的类别、标注矩形框坐标信息；

S13，根据步骤S12的xml文件中包含的标注矩形框坐标，通过编写标注框截取程序，利用xml文件中包含的矩形框坐标信息将标注好的水尺图像数据集提取出来，作为标注字符“E”的原始图像集；

S14，通过数据集标记软件Labelimg标记，默认使用矩形框对字符“E”的原始图像集进行标注，将 “E” 作为字符E标识，获得一组xml与相应jpg图片对应的字符“E”数据集；

S15，分别对标注好的识别水尺图像数据集和识别字符“E”数据集以9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集；在训练过程中训练集和验证集不断更新权重，分别得到水尺识别模型和字符“E”识别模型。

步骤S1中所述改进的YOLOX算法，即重构YOLOX特征融合部分，提出R_ASFF改进的特征融合网络，具体改进如下：

A．对主干特征提取网络输出的有效特征层feat1（20*20*512）先做通道数不变的1×1卷积操作得到Pc1（20*20*512），再对Pc1（20*20*512）做通道数不变的1×1卷积操作得到P1（20*20*512）；

B．对A步骤中的Pc1（20*20*512）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat2（40*40*256）拼接融合并经过CSPLayer多路卷积残差结构层得到Pc2（40*40*256），再对Pc2（40*40*256）做通道数不变的1×1卷积操作得到P2（40*40*256）；

C．对B步骤中的Pc2（40*40*256）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat3（80*80*128）拼接融合并经过多路卷积残差结构层得到Pc3（80*80*128），再对Pc3（80*80*128）做通道数不变的1×1卷积操作得到P3（80*80*128）；

D．在P1（20*20*512）、P2（40*40*256）和P3（80*80*128）之后分别加入ASFF自适应空间特征融合模块进行三层特征层的加权融合，得到P1_out（20*20*512）、P2_out（40*40*256）和P3_out（80*80*128）。

步骤S2中对截取到的水尺图像做矫正处理和多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w，详细过程如下：

S21，直线检测：首先将截取到的水尺图像转成单通道的灰度图，即彩色三通道（蓝，绿，红）BGR图像转换为GRAY灰度图像；然后通过高斯滤波对GRAY灰度图像进行模糊去噪，高斯核大小为5×5；接着利用Canny算法检测出水尺的边缘；最后结合霍夫变换对水尺边缘进行直线检测；

S22，图像矫正：根据霍夫变换检测出直线，并且返回直线的另一种形式的表达参数ρ和θ，其中ρ是原点到待检测直线的垂直距离，θ是原点到待检测直线垂直距离上的直线和x轴的夹角，根据ρ和θ并结合三角函数在直线上任取不同的两点A和B，通过公式（1）求出直线的斜率，再利用反正切函数求出直线的倾斜角度并对水尺图像进行矫正；

（1）

式中，k是直线的斜率，x₁为A的横坐标，y₁为A的纵坐标，x₂为B的横坐标，y₂为B的纵坐标；

S23，对S22矫正后的水尺图像做二值化处理得到二值化水尺图像，在二值化水尺图像上按从左到右在垂直方向遍历二值化水尺图像的每一个像素点，统计像素值为255的像素点数量，生成垂直直方图，从垂直直方图中找到像素点数量最小值和记录像素点数量最小值对应的位置，以像素点数量最小值对应的位置为界保留二值化水尺图像的左半部分；

在水平方向上遍历二值化水尺图像的每一个像素点，统计水平方向每个位置像素值为255的像素点数量，生成水平直方图，将水平直方图中像素点数量最大值的2/5作为阈值，在水平直方图中的像素点数量值大于阈值的保留，小于阈值的为0；

根据水平直方图中左右两端像素点数量值不为0的位置信息，将不在左右两端范围内的二值化水尺图像滤除；

通过上述操作，根据保留的二值化水尺图像，统计得出第一阶段输出水尺图像的高度像素值h_w。

步骤 S3 中对截取的所有字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表，详细过程如下：

S31，对截取的所有字符“E”图像进行高斯模糊去噪处理，将高斯模糊去噪处理后的彩色图像转成单通道的灰度图，即BGR彩色三通道（蓝，绿，红）图像转换为GRAY灰度图像；对灰度图进行二值化处理，得到二值化图像；

S32，分别从水平方向和垂直方向遍历二值化图像的每一个像素点，统计像素值为255的像素点数量，生成水平直方图和垂直直方图，取出垂直直方图中像素点数量的最大值E_max_v，在水尺上实际测量出单个“E”的宽度是“E”字符最左边竖线宽度的5倍，在对垂直直方图处理时，频率大于E_max_v的 4/5 保留，小于E_max_v的4/5置为0，并统计像素点数量值不为0的位置宽度记为 E_vn；再对水平直方图处理，像素点数量值大于E_vn的保留，小于E_vn置为0；

S33，根据水平直方图中左端像素点和右端像素点数量值不为0的位置信息，将不在左端像素点和右端像素点范围内的字符“E”图像相应部分滤除；

S34，通过重复S31-S33操作，实现对截取到n个字符“E”图像的多余背景滤除；根据滤除多余背景后的字符“E”图像，计算相应n个图像高度像素值，建立所有字符“E”多余背景滤除之后的图像高度像素值列表。

步骤 S4 中所述使用中值筛选法对图像高度像素值列表筛选，最终确定字符”E”的图像像素高度值h_e，带入计算水位公式，得出水位值，详细过程如下：

S41，将图像高度像素值列表中的n个值按降序方式重新排列，置于一个新的列表中，若新的列表中的元素个数n为奇数，则选取新的列表的中间值和中间值最邻近的前后两个数值，这三个数值取平均后得到的值代表字符“E”的标准图像高度像素值h_e；若新的列表中的元素个数n为偶数，则选取新的列表中第n/2和第(n+1)/2个数的平均值代表字符“E”的标准图像高度像素值h_e，具体计算公式如下所示：

（2）

式（2）中，h_e是计算得到的标准图像高度像素值，h_(n+1)/2，h_(n-1)/2，h_(n+3)/2分别是当n是奇数时，列表的中间值和它最邻近前后的两个值，h_n/2，h_(n+2)/2分别是当n是偶数时，列表的中第n/2和第(n+1)/2个数的值；

S42，将S41计算的h_e结果代入下面计算水位公式，得出水位值：

（3）

式（3）中，x表示待求水位值，水尺最大量程是100cm，水尺上一个字符“E”的实际高度为5cm，h_w表示水尺的高度像素值。

本发明的有益效果：本发明将深度学习技术和传统图象处理技术相结合，分两阶段识别检测，针对城市积水水域中水尺的识别和截取，采用改进的YOLOX目标检测算法，在经过大量的监督学习训练后，在第一阶段中，对水尺识别率高达 99.06%，在第二阶段中，对字符“E”识别率高达99.51%。经过上述高精度识别并截取目标之后，通过霍夫变换进行图像校正，再结合上述传统图像处理方法对所述水尺图像和“E”图像做多余背景滤除处理，得到更精确的h_w和h_e，最终计算出水位值。通过上述步骤，既解决了传统图像处理方式在水位检测方面适应性受限的问题，又能实现高精度智能读取水位。

附图说明

图1为本发明整体流程图。

图2为本发明改进后的YOLOX算法结构图。

图3为本发明采用的对字符“E”图像滤除多余背景流程图。

具体实施方式

为了使本领域的技术人员更好的理解本申请方案，接下来将配合上述配图，对本申请实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范畴。

本发明提供一种基于深度学习的城市内涝积水智能水位检测方法，采用改进的两个 YOLOX 级联的方式对包含水尺的城市积水水域图像分两阶段检测并计算水位，如图1所示，具体流程为：

S1，采集包含水尺的城市积水水域图像和单独的水尺图像，采用人工标注的方式分别对水尺和水尺上字符“E”进行标注，制作两套独立的数据集，分别为识别水尺数据集和识别字符“E”数据集，识别水尺数据集和识别字符“E”数据集分别以9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集，其中用来识别水尺的数据集训练样本数量为6886，验证样本数量为766，测试样本数量为851；用来识别字符“E”数据集训练样本数量为1441，验证样本数量为161，测试样本数量为178；通过训练分别获得水尺识别模型和字符“E”识别模型，具体操作如下：

利用识别水尺数据集中的训练集对改进后的YOLOX算法进行训练，使用识别水尺数据集中验证集验证训练效果，更新权重，获得水尺识别模型 YOLOX_I1；

利用识别字符“E”数据集中的训练集对改进后的YOLOX算法进行训练，使用识别字符“E”数据集中验证集验证训练效果，更新权重，获得字符“E”识别模型 YOLOX_I2。

S2、将待测的城市积水水域图像输入S1中水尺识别模型 YOLOX_I1，识别并截取水尺图像，对截取到的水尺图像做矫正和多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w。

S3、将第一阶段的输出水尺图像输入S1中的字符“E”识别模型 YOLOX_I2，识别并截取字符“E”图像，对截取的所有字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表。

S4、使用中值筛选法对图像高度像素值列表筛选，最终确定字符”E”的图像像素高度值h_e，带入计算水位公式，得到水位值；

步骤 S1 对图像数据集的采集和制作，详细过程如下：

S11，采集不同角度、不同水位且包含水尺的城市积水水域图像；

S12，通过数据集标记软件Labelimg标记，默认使用矩形框对不同角度、不同水位且包含水尺的城市积水水域图像进行标注，将“waterGauge”作为水尺标识，获得一组xml与相应jpg图片对应的水尺图像数据集，此xml文件包含了数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、标注物体的类别、标注矩形框坐标信息；

S13，根据上述步骤S12的xml文件中包含的标注矩形框坐标，通过编写程序将标注好的水尺图像数据集提取出来，作为标注字符“E”的原始图像集；

S14，通过数据集标记软件Labelimg标记，默认使用矩形框对字符“E”的原始图像集进行标注，将 “E” 作为字符E标识，获得一组xml与相应jpg图片对应的字符“E”数据集；

S15，分别对标注好的识别水尺数据集和识别字符“E”数据集以9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集。在训练过程中，通过设定9：1的比例，训练集和验证集不断更新权重，分别获得水尺识别模型和字符“E”识别模型。

步骤 S1 中所述改进的YOLOX算法，即重构YOLOX特征融合部分，提出R_ASFF特征融合网络，改进后的YOLOX算法结构图如图2所示，具体改进如下：

A．对主干特征提取网络输出的有效特征层feat1（20*20*512）先做通道数不变的1×1卷积操作得到Pc1（20*20*512），再对Pc1（20*20*512）做通道数不变的1×1卷积操作得到P1（20*20*512）；

B．对上述A中的Pc1（20*20*512）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat2（40*40*256）拼接融合并经过CSPLayer多路卷积残差结构层得到Pc2（40*40*256），再对Pc2（40*40*256）做通道数不变的1×1卷积操作得到P2（40*40*256）；

C．对上述B中的Pc2（40*40*256）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat3（80*80*128）拼接融合并经过CSPLayer多路卷积残差结构层得到Pc3（80*80*128），再对Pc3（80*80*128）做通道数不变的1×1卷积操作得到P3（80*80*128）；

D．在上述P1（20*20*512）、P2（40*40*256）和P3（80*80*128）之后分别加入ASFF自适应空间特征融合模块进行三层特征层的加权融合，得到P1_out（20*20*512）、P2_out（40*40*256）和P3_out（80*80*128）。

步骤 S2 中对截取到的水尺图像做矫正处理，再对校正后的水尺图像边缘做多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w，详细过程如下：

S21，直线检测：首先将截取到的水尺图像转成单通道的灰度图，即BGR彩色三通道（蓝，绿，红）图像转换为GRAY灰度图像；然后通过高斯滤波对GRAY灰度图像进行模糊去噪，高斯核大小为5×5；接着利用Canny算法检测出水尺的边缘；最后结合霍夫变换对水尺边缘进行直线检测；

S22，图像矫正：根据霍夫变换检测出直线，并且返回直线的另一种形式的表达参数ρ和θ，其中ρ是原点到待检测直线的垂直距离，θ是原点到待检测直线垂直距离上的直线和x轴的夹角，根据ρ和θ并结合三角函数在直线上任取不同的两点 A(x₁,y₁) 和 B(x₂,y₂)，通过公式（1）求出该直线的斜率，再利用反正切函数求出直线的倾斜角度并对水尺图像进行矫正；

（1）

式中，k是直线的斜率，x₁为A的横坐标，y₁为A的纵坐标，x₂为B的横坐标，y₂为B的纵坐标。

S23，首先，对矫正后的水尺图像做二值化处理得到二值化水尺图像，在二值化水尺图像上按从左到右在垂直方向遍历二值化水尺图像的每一个像素点，统计像素值为255的像素点数量，生成垂直直方图，从垂直直方图中找到像素点数量最小值和记录其对应的位置，以该位置为界保留水尺图像的左半部分；

其次，在水平方向上遍历二值化水尺图像的每一个像素点，统计水平方向每个位置像素值为255的像素点数量，生成水平直方图，将水平直方图中像素点数量最大值的2/5作为阈值，在水平直方图中的像素点数量值大于该阈值的保留，小于该阈值的为0；

最后，根据水平直方图中左右两端像素点数量值不为0的位置信息，将不在左右两端范围内的水尺图像滤除；

通过上述操作，根据保留的水尺图像，统计得出水尺高度像素值h_w。

步骤 S3 中对截取的字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表，如图3所示，详细过程如下：

S31，对截取的所有字符“E”图像进行高斯模糊去噪处理，将处理后的彩色图像转成单通道的灰度图，即BGR彩色三通道（蓝，绿，红）图像转换为GRAY灰度图像；对灰度图进行二值化处理，得到二值化图像；

S32，分别从水平方向和垂直方向遍历二值化图像的每一个像素点，统计像素值为255的像素点数量，生成水平直方图和垂直直方图，取出垂直直方图中像素点数量的最大值E_max_v，根据在水尺上实际测量出单个“E”的宽度是其“E”字符最左边竖线宽度的5倍，因此在对垂直直方图处理时，频率大于E_max_v的 4/5 保留，小于E_max_v的4/5置为0，并统计像素点数量值不为0的位置宽度记为 E_vn；再对水平直方图处理，像素点数量值大于E_vn的保留，小于E_vn置为0；

S33，根据水平直方图中左右两端像素点数量值不为0的位置信息，将不在左右两端范围内的字符“E”图像相应部分滤除；通过重复上述操作，实现每一个截取字符“E”图像的多余背景滤除；

S34，根据滤除多余背景后的字符“E”图像，计算相应图像高度像素值，并建立所有多余背景滤除后“E”图像高度像素值的列表。

步骤 S4 中所述使用中值筛选法对图像高度像素值列表筛选，最终确定字符”E”的图像像素高度值h_e，带入计算水位公式，得出水位值，详细过程如下：

S41，首先，将图像高度像素值列表中的n个值按降序方式重新排列，置于一个新的列表中，若该列表中的元素个数n为奇数，则选取该列表的中间值和它最邻近的前后两个数值，这三个数值取平均后得到的值代表字符“E”的标准图像高度像素值h_e；若该列表中的元素个数n为偶数，则选取该列表中第n/2和第(n+1)/2个数的平均值代表字符“E”的标准图像高度像素值h_e，具体如下所示：

（2）

式（2）中，h_e是计算得到的标准图像高度像素值，h_(n+1)/2，h_(n-1)/2，h_(n+3)/2分别是当n是奇数时，列表的中间值和它最邻近前后的两个值，h_n/2，h_(n+2)/2分别是当n是偶数时，列表的中第n/2和第(n+1)/2个数的值。

S42，然后，将S41计算的h_e代入下面计算水位公式，得出水位值。

（3）

式（3）中，x表示待求水位值，水尺最大量程是100cm，水尺上一个字符“E”的实际高度为5cm， h_w表示水尺的高度像素值。

本发明提供的一种基于深度学习的城市内涝积水智能水位检测方法，对水尺和字符“E”的识别率高，实时性好，如表 1 所示实验数据，对截取出的目标图像做矫正和多余背景滤除处理，减小误差，提高了水位测量的精度，可以满足实际水位检测的需求，如表 2 所示实验数据：

表1

表2

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：所述方法步骤如下：

S1、采集包含水尺的城市积水水域图像和单独的水尺图像，采用人工标注的方式分别对水尺和水尺上字符“E”进行标注，制作两套独立的数据集，分别为识别水尺数据集和识别字符“E”数据集，识别水尺数据集和识别字符“E”数据集分别按照比例划分为训练集、验证集和测试集，通过训练改进的YOLOX算法获得两个网络模型，具体操作如下：

利用识别水尺数据集中的训练集对改进的YOLOX算法进行训练，使用识别水尺数据集中的验证集验证训练效果，更新权重，获得水尺识别模型 YOLOX_I1；

利用识别字符“E”数据集中的训练集对改进的YOLOX算法进行训练，使用识别字符“E”数据集中的验证集验证训练效果，更新权重，获得字符“E”识别模型YOLOX_I2；

S2、将待测的城市积水水域图像输入S1中的水尺识别模型YOLOX_I1，识别并截取水尺图像，对截取到的水尺图像做矫正和多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w；

S3、将第一阶段输出水尺图像输入S1中的字符“E”识别模型YOLOX_I2，识别并截取字符“E”图像，对截取的所有字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表；

S4、使用中值筛选法对图像高度像素值列表筛选，最终确定字符“E”的图像像素高度值h_e，带入计算水位公式，得出水位值。

2.根据权利要求1所述的一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：

步骤 S1中制作两套独立的数据集，分别为识别水尺数据集和识别字符“E”数据集，详细过程如下：

S11，采集不同角度、不同水位且包含水尺的城市积水水域图像；

S12，通过数据集标记软件标记，默认使用矩形框对不同角度、不同水位且包含水尺的城市积水水域图像进行标注，将“waterGauge”作为水尺标识，获得一组xml与相应jpg图片对应的水尺图像数据集，xml文件包含数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、标注物体的类别、标注矩形框坐标信息；

S13，根据步骤S12的xml文件中包含的标注矩形框坐标，通过编写标注框截取程序，利用xml文件中包含的矩形框坐标信息将标注好的水尺图像数据集提取出来，作为标注字符“E”的原始图像集；

S14，通过数据集标记软件Labelimg标记，默认使用矩形框对字符“E”的原始图像集进行标注，将 “E” 作为字符E标识，获得一组xml与相应jpg图片对应的字符“E”数据集；

S15，分别对标注好的识别水尺图像数据集和识别字符“E”数据集以9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集；在训练过程中训练集和验证集不断更新权重，分别得到水尺识别模型和字符“E”识别模型。

3.根据权利要求1所述的一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：

步骤S1中所述改进的YOLOX算法，即重构YOLOX特征融合部分，提出R_ASFF改进的特征融合网络，具体改进如下：

A．对主干特征提取网络输出的有效特征层feat1（20*20*512）先做通道数不变的1×1卷积操作得到Pc1（20*20*512），再对Pc1（20*20*512）做通道数不变的1×1卷积操作得到P1（20*20*512）；

B．对A步骤中的Pc1（20*20*512）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat2（40*40*256）拼接融合并经过多路卷积残差结构层得到Pc2（40*40*256），再对Pc2（40*40*256）做通道数不变的1×1卷积操作得到P2（40*40*256）；

C．对B步骤中的Pc2（40*40*256）先做通道数减半的1×1卷积操作，经过上采样之后再和主干特征提取网络输出的有效特征层feat3（80*80*128）拼接融合并经过多路卷积残差结构层得到Pc3（80*80*128），再对Pc3（80*80*128）做通道数不变的1×1卷积操作得到P3（80*80*128）；

D．在P1（20*20*512）、P2（40*40*256）和P3（80*80*128）之后分别加入ASFF自适应空间特征融合模块进行三层特征层的加权融合，得到P1_out（20*20*512）、P2_out（40*40*256）和P3_out（80*80*128）。

4.根据权利要求1所述的一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：

步骤S2中对截取到的水尺图像做矫正处理和多余背景滤除处理，得到第一阶段输出水尺图像和第一阶段输出水尺图像的高度像素值h_w，详细过程如下：

S21，直线检测：首先将截取到的水尺图像转成单通道的灰度图，即BGR彩色三通道图像转换为GRAY灰度图像；然后通过高斯滤波对GRAY灰度图像进行模糊去噪，高斯核大小为5×5；接着利用Canny算法检测出水尺的边缘；最后结合霍夫变换对水尺边缘进行直线检测；

S22，图像矫正：根据霍夫变换检测出直线，并且返回直线的另一种形式的表达参数ρ和θ，其中ρ是原点到待检测直线的垂直距离，θ是原点到待检测直线垂直距离上的直线和x轴的夹角，根据ρ和θ并结合三角函数在直线上任取不同的两点A和B，通过公式（1）求出直线的斜率，再利用反正切函数求出直线的倾斜角度并对水尺图像进行矫正；

（1）

式中，k是直线的斜率，x₁为A的横坐标，y₁为A的纵坐标，x₂为B的横坐标，y₂为B的纵坐标；

S23，对S22矫正后的水尺图像做二值化处理得到二值化水尺图像，在二值化水尺图像上按从左到右在垂直方向遍历二值化水尺图像的每一个像素点，统计像素值为255的像素点数量，生成垂直直方图，从垂直直方图中找到像素点数量最小值和记录像素点数量最小值对应的位置，以像素点数量最小值对应的位置为界保留二值化水尺图像的左半部分；

在水平方向上遍历二值化水尺图像的每一个像素点，统计水平方向每个位置像素值为255的像素点数量，生成水平直方图，将水平直方图中像素点数量最大值的2/5作为阈值，在水平直方图中的像素点数量值大于阈值的保留，小于阈值的为0；

根据水平直方图中左右两端像素点数量值不为0的位置信息，将不在左右两端范围内的二值化水尺图像滤除；

通过上述操作，根据保留的二值化水尺图像，统计得出第一阶段输出水尺图像的高度像素值h_w。

5.根据权利要求1所述的一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：

步骤 S3 中对截取的所有字符“E”图像做多余背景滤除处理，得到第二阶段输出，即字符“E”多余背景滤除之后的图像高度像素值列表，详细过程如下：

S31，对截取的所有字符“E”图像进行高斯模糊去噪处理，将高斯模糊去噪处理后的彩色图像转成单通道的灰度图，即BGR彩色三通道图像转换为GRAY灰度图像；对灰度图像进行二值化处理，得到二值化图像；

S32，分别从水平方向和垂直方向遍历二值化图像的每一个像素点，统计像素值为255的像素点数量，生成水平直方图和垂直直方图，取出垂直直方图中像素点数量的最大值E_max_v，在水尺上实际测量出单个“E”的宽度是“E”字符最左边竖线宽度的5倍，在对垂直直方图处理时，频率大于E_max_v的 4/5 保留，小于E_max_v的4/5置为0，并统计像素点数量值不为0的位置宽度记为 E_vn；再对水平直方图处理，像素点数量值大于E_vn的保留，小于E_vn置为0；

S33，根据水平直方图中左端像素点和右端像素点数量值不为0的位置信息，将不在左端像素点和右端像素点范围内的字符“E”图像相应部分滤除；

S34，通过重复S31-S33操作，实现对截取到n个字符“E”图像的多余背景滤除；根据滤除多余背景后的字符“E”图像，计算相应n个图像高度像素值，建立所有字符“E”多余背景滤除之后的图像高度像素值列表。

6.根据权利要求1所述的一种基于深度学习的城市内涝积水智能水位检测方法，其特征是：

步骤 S4 中所述使用中值筛选法对图像高度像素值列表筛选，最终确定字符”E”的图像像素高度值h_e，带入计算水位公式，得出水位值，详细过程如下：

S41，将图像高度像素值列表中的n个值按降序方式重新排列，置于一个新的列表中，若新的列表中的元素个数n为奇数，则选取新的列表的中间值和中间值最邻近的前后两个数值，这三个数值取平均后得到的值代表字符“E”的标准图像高度像素值h_e；若新的列表中的元素个数n为偶数，则选取新的列表中第n/2和第(n+1)/2个数的平均值代表字符“E”的标准图像高度像素值h_e，具体计算公式如下所示：

（2）

式（2）中，h_e是计算得到的标准图像高度像素值，h_(n+1)/2，h_(n-1)/2，h_(n+3)/2分别是当n是奇数时，列表的中间值和它最邻近前后的两个值，h_n/2，h_(n+2)/2分别是当n是偶数时，列表的中第n/2和第(n+1)/2个数的值；

S42，将S41计算的h_e结果代入下面计算水位公式，得出水位值：

（3）/>

式（3）中，x表示待求水位值，水尺最大量程是100cm，水尺上一个字符“E”的实际高度为5cm，h_w表示水尺的高度像素值。

Images