CN113223073A - 一种河道水位评估方法 - Google Patents

Abstract

本发明提供一种河道水位评估方法，属于计算机视觉技术领域。所述方法包括：使用Faster R‑CNN截取图像中包含水尺区域的子图像；其中，该图像为摄像头采集的河道水位图像；对子图像进行预处理；使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。采用本发明，能够对当前河道的水位进行自动评估。

Description

一种河道水位评估方法

技术领域

本发明涉及计算机视觉技术领域，特别是指一种河道水位评估方法。

背景技术

近年来，暴雨是夏季常见的天气现象。由于地形和各种气候因素的综合影响，短时间内易形成洪峰，破坏性极大。为了有效地避免洪涝灾害造成的损失，及时了解河流状况，水情监测已成为必须重视的关键问题。为了实时准确监测水流，我国大部分水文监测站仍采用传统的水位测量方法，包括安装水位计进行目测读数或使用传感器自动采集水位信息；其中，视觉读数法需要大量人力，实时性不高，在恶劣环境下读取水位时很难保证人身安全。传感器的自动采集主要包括超声波、雷达、压力、浮子机械编码、雷达等测量方法。这些测量方法大大提高了测量效率，同时也存在着成本高、维护困难、对环境影响较大等缺点。

发明内容

本发明实施例提供了河道水位评估方法，能够对当前河道的水位进行自动评估。所述技术方案如下：

一方面，提供了一种河道水位评估方法，该方法应用于电子设备，该方法包括：

使用Faster R-CNN截取图像中包含水尺区域的子图像；

对子图像进行预处理；

使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；

使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；

计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。

进一步地，所述使用Faster R-CNN截取图像中包含水尺区域的子图像包括：

使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像。

进一步地，所述使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像包括：

Faster R-CNN使用VGG16网络对整幅图像进行特征提取；

使用区域生成网络在原图像中生成可能存在水尺的感兴趣区域；

使用深度网络判断感兴趣区域中是否存在目标水尺，若存在目标水尺，则使用矩形检测框包围所述目标水尺；

将检测到的矩形检测框范围从原图像中截取出来，获得包含水尺区域的子图像。

进一步地，所述对子图像进行预处理包括：

对子图像进行灰度化，生成灰度图像；

对灰度图像进行高斯滤波、闭操作以及开操作。

进一步地，所述使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值包括：

使用Canny算子对预处理后的图像进行边缘提取，获得边缘图像T1，其中，T1用于检测水尺的竖直边缘；

使用基于像素区域关系的重采样插值方法对T1进行水平插值，获得具有T1两倍宽度的边缘图像T2，其中，T2用于检测水尺的水平上边缘。

进一步地，所述使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘包括：

使用霍夫直线检测分别对T1及T2进行直线检测，其中，对T1检测出图像中的竖直直线，对T2检测出图像中的水平直线；直线上的点(x,y)，满足以下关系式：

ρ＝xcosθ+ysinθ

其中，ρ表示检测到的直线距离原点的距离，θ表示直线与水平方向的夹角；

对于T1中检测到的所有竖直直线，取该直线上距离为子区域宽度距离的两点(x₁,y₁)和(x₂,y₂)，计算其中点的坐标值(x,y)：

取所有竖直直线中x最小的直线L1作为检测到的水尺左边缘直线，取所有竖直直线中x最大的直线L2作为检测到的水尺右边缘直线；同理计算检测出的所有水平直线的中点坐标，并取所有水平直线中y最小的直线L3作为检测出的水尺的上边缘。

进一步地，所述计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度包括：

计算直线L1与L3的交点坐标作为水尺的左上角点坐标；其中，对于直线L1与L3，其交点坐标(x,y)满足以下公式：

其中，ρ₁和ρ₂都表示检测到的直线距离原点的距离，θ₁和θ₂都表示直线与水平方向的夹角；

令：

则直线L1可以表示为：

y＝k₁x+b₁

同理，直线L3可以表示为：

y＝k₂x+b₂

则两直线的交点满足：

则两直线交点的坐标(x,y)为：

其中，L1与L3的交点(x,y)中纵坐标y表示子图像中水尺露出水面的高度H_det；

使用直线L1与L2之间的距离，计算子图像中的水尺宽度W_det；

获取水尺的实际宽度W_t，根据得到的H_det及子图像水尺宽度W_det与水尺实际宽度W_t之间的比例，预测水尺实际露出水面高度H_pre；

根据预测得到的水尺实际露出水面高度H_pre，确定当前的水位高度。

进一步地，预测的水尺实际露出水面高度H_pre满足：

其中，W_t表示水尺的实际宽度。

进一步地，当前的水位高度表示为：

其中，h_pre表示当前的水位高度，H表示当前水尺的顶点高程。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述河道水位评估方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述河道水位评估方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，使用Faster R-CNN截取图像中包含水尺区域的子图像；其中，该图像为摄像头采集的河道水位图像；对子图像进行预处理；使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。这样，基于摄像头采集的河道水位图像，利用深度学习和图像处理技术对当前河道的水位进行自动评估，以替代人工监测河道水位情况，在保证评估准确度的情况下，节省人力物力，并在一定程度上保障水文监测人员的生命安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的河道水位评估方法的流程示意图；

图2为本发明实施例提供的Faster R-CNN的网络结构示意图；

图3为本发明实施例提供的测试样例图像示意图；

图4为本发明实施例提供的河道水位评估方法的步骤处理的可视化展示示意图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供了一种河道水位评估方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：

S101，使用Faster R-CNN截取图像中包含水尺区域的子图像；其中，该图像为摄像头采集的河道水位图像；

S102，对子图像进行预处理；

S103，使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；

S104，使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；

S105，计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。

本发明实施例所述的河道水位评估方法，使用Faster R-CNN截取图像中包含水尺区域的子图像；其中，该图像为摄像头采集的河道水位图像；对子图像进行预处理；使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。这样，基于摄像头采集的河道水位图像，利用深度学习和图像处理技术对当前河道的水位进行自动评估，以替代人工监测河道水位情况，在保证评估准确度的情况下，节省人力物力，并在一定程度上保障水文监测人员的生命安全。

在前述河道水位评估方法的具体实施方式中，进一步地，所述使用Faster R-CNN截取图像中包含水尺区域的子图像包括：

使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像。

在前述河道水位评估方法的具体实施方式中，进一步地，所述使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像包括：

Faster R-CNN使用VGG16网络对整幅图像进行特征提取；

使用区域生成网络RPN在原图像中生成可能存在水尺的感兴趣区域(Region ofinterest，ROI)；

使用深度网络判断感兴趣区域中是否存在目标水尺，若存在目标水尺，则使用矩形检测框包围所述目标水尺；

将检测到的矩形检测框范围从原图像中截取出来，获得包含水尺区域的子图像。

本实施例中，考虑摄像头距离河道距离较远，则水尺在摄像头拍摄画面中尺寸较小，不易处理与检测，故若需要对水尺度数进行检测，就需要将摄像头抓取图像中的水尺所在区域截取出来。考虑到单纯的模板匹配只能够匹配固定形状与固定尺寸的模板图像，而使用空间金字塔方法增加了处理的时间复杂度的同时却无法进一步提高识别的准确率，故本实施例中，使用Faster R-CNN作为图像中水尺检测的基本方式。

本实施例中，所述Faster R-CNN的整个网络的结构图如图2所示。首先使用FasterR-CNN识别出水尺的四个角点左上角(x₁,y₁)、右上角(x₂,y₁)、左下角(x₁,y₂)和右下角(x₂,y₂)，取水尺的宽度l₁为x₂-x₁，长度l₂为y₂-y₁，保持下边缘坐标y₂不变，取新的x′₁为x₁-0.1l₁，新的x′₂为x₂+0.1l₁，新的y′₁为y₁-0.2l₂，以x′₁，x′₂，y′₁，y₂截取原图像中包含水尺区域的子图像。

在前述河道水位评估方法的具体实施方式中，进一步地，所述对子图像进行预处理包括：

对子图像进行灰度化，生成灰度图像；

对灰度图像进行高斯滤波、闭操作以及开操作。

本实施例中，将子图像区域进行灰度化生成一张灰度图像，便于之后对水尺边缘的提取与水尺的角点检测。

本实施例中，由于摄像头本身的成像质量原因，拍摄图像会存在许多噪声，以及所拍摄河道在有较大风力影响下水面会产生许多细小水波纹，在噪声及水波纹的影响下，使用数字图像处理技术对水尺边缘及角点进行检测就会产生较大误差，为消除水波纹干扰以及图像噪点对水尺刻度按检测的影响，在本实施例中选择使用3*3的高斯核对灰度图像进行高斯模糊，初步去除噪点，再对高斯模糊后的灰度图像进行开运算，去除灰度图像中亮度较高的灰色区域；再对开运算后的图像进行闭运算，消除图像中细小的空洞区域。经过上述操作即可获得一幅质量良好的包含水尺区域的灰度图像。

在前述河道水位评估方法的具体实施方式中，进一步地，所述使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值包括：

使用Canny算子对预处理后的图像进行边缘提取，获得一幅边缘图像T1，其中，T1用于检测水尺的竖直边缘；

又由于水尺的宽度较窄，使用直线检测技术可能无法正确检测到水尺的水平边缘，于是使用基于像素区域关系的重采样插值方法对T1进行水平插值，获得一幅具有T1两倍宽度的边缘图像T2，其中，T2用于检测水尺的水平上边缘。

本实施例中，欲检测水尺的具体度数，需提取A12中最后的灰度图像的边缘信息获得一张包含边缘信息的图像T1，本例中选择使用Canny算子对图像进行边缘提取。

本实施例中，对于水尺的左右两竖直边缘，由于水尺形状为长条状，竖直边缘较为清晰明显，易于检测，而对于水尺的水平边缘，宽度较窄，在图像中并不明显，不易检测，为提升检测得精度，本实施例中，使用基于像素区域关系的重采样插值方法对前述包含边缘信息的图像T1进行水平方向的插值，获得一幅两倍宽度的边缘图像T2。

在前述河道水位评估方法的具体实施方式中，进一步地，所述使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘包括：

使用霍夫直线检测分别对T1及T2进行直线检测。

本实施例中，对于霍夫直线检测，其返回值有两个：ρ和θ，以图像的左上角为原点，其中，ρ表示检测到的直线距离原点的距离，θ表示直线与水平方向的夹角，以图像的左上角为原点，则对于直线上的点(x,y)，有以下关系式：

ρ＝xcosθ+ysinθ

对于所有的竖直直线，其θ为0，而对于所有的水平直线，其θ为

T1检测出图像中的竖直直线，T2检测出图像中的水平直线；对T1、T2使用霍夫直线检测后得到的结果是一系列的包含ρ和θ的序列，对于T1中检测到的所有竖直直线，取该直线上距离为子区域宽度距离的两点(x₁,y₁)和(x₂,y₂)，计算其中点的坐标值(x,y)：

取所有竖直直线中x最小的直线L1(即距离子图像左边缘最近的直线)作为检测到的水尺左边缘直线，取所有竖直直线中x最大的直线L2(即距离子图像右边缘最近的直线)作为检测到的水尺右边缘直线。同理计算检测出的所有水平直线的中点坐标，并取其中y最小的直线L3(最靠近子图像上边缘的直线)作为检测出的水尺的上边缘。

在前述河道水位评估方法的具体实施方式中，进一步地，所述计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度包括：

计算直线L1与L3的交点坐标作为水尺的左上角点坐标；其中，对于直线L1与L3，其交点坐标(x,y)满足以下公式：

其中，ρ₁和ρ₂都表示检测到的直线距离原点的距离，θ₁和θ₂都表示直线与水平方向的夹角；

令：

则直线L1可以表示为：

y＝k₁x+b₁

同理，直线L3可以表示为：

y＝k₂x+b₂

则两直线的交点满足：

则两直线交点的坐标(x,y)为：

由于默认使用Faster R-CNN检测到的水尺下边缘已经较为准确，则L1与L3的交点(x,y)中纵坐标y就代表了子图像中水尺露出水面的高度H_det；

对于图像中水尺的宽度W_det，使用直线L1与L2之间的距离进行估算；

此时如果已知水尺的实际宽度W_t，则根据得到的H_det及子图像水尺宽度W_det与水尺实际宽度W_t之间的比例，预测水尺实际露出水面高度H_pre：

根据预测得到的水尺实际露出水面高度H_pre，确定当前的水位高度：

其中，h_pre表示当前预测的水位高度，H表示当前水尺的顶点高程。

为了验证本实施例提供的河道水位评估方法的有效性，本实施例使用检测水位h_pre与实际水位h_t的绝对误差P进行评估：

P＝|h_pre-h_t|

本实施例中，应用了共24张河道图像来讨论所述河道水位评估方法的性能。

如图3所示，图3中(a)、(b)分别为两张河道水位图像，其中，(a)图像水波纹较多，水尺较小，图像中水面存在水尺倒影，不便于检测；(b)所图像不仅存在倒影，图像色调也与(a)图不同，且水面结冰，水尺周围存在较多影响检测的物体。

在实施过程中，首先使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像；对子图像进行灰度化，生成灰度图像，并进行高斯滤波、闭操作以及开操作；使用Canny算子进行边缘提取获取边缘图像；将边缘图像进行水平插值，获得一幅两倍宽度的边缘图像；将边缘图像进行水平插值，获得一幅两倍宽度的边缘图像，使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测直线，分别用来检测竖直边缘与水平边缘；计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。

以图3中的(a)为例，图4展示了在实施过程中每一步骤的处理结果，图4的(a)展示了使用Faster R-CNN对原图像中的水尺的粗定位；图4的(b)展示了以对粗定位结果为基准，扩大一定范围截取的子图像；图4的(c)为展示了b灰度化后的灰度图像；图4的(d)为(c)使用高斯模糊并经过开闭运算后进行边缘提取得到的结果；图4的(e)为直线检测检测完水尺左右边缘以及上边缘后的结果；图4的(f)展示了检测到的水尺上边左右两个角点。

为了验证本发明所述方法的性能，本实施例中，计算了24张图像中人工检测的水尺水位与本实施例方法检测水尺水位之间的精度误差，结果如表1所示。

表1人工检测的水尺水位与本实施例方法检测水尺水位之间的精度误差

图像	001	002	003	004	005	006	007	008
									人工(m)	2.23	2.475	2.48	2.48	2.47	2.46	2.45	2.37
本实施例(m)	2.245	2.485	2.485	2.515	2.465	2.46	2.447	2.365
									误差(m)	0.015	0.01	0.005	0.035	0.005	0	0.003	0.005
图像	009	010	011	012	013	014	015	016
									人工(m)	2.37	2.37	2.37	2.37	2.37	2.37	2.37	2.37
本实施例(m)	2.37	2.36	2.356	2.34	2.33	2.345	2.395	2.395
									误差(m)	0	0.01	0.014	0.03	0.04	0.025	0.025	0.025
图像	017	018	019	020	021	022	023	024
									人工(m)	2.37	2.325	2.325	2.33	2.33	2.375	2.325	2.325
本实施例(m)	2.36	2.363	2.328	2.328	2.347	2.382	2.315	2.325
									误差(m)	0.01	0.038	0.003	0.002	0.017	0.007	0.01	0

图5是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述河道水位评估方法。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述河道水位评估方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种河道水位评估方法，其特征在于，包括：

使用Faster R-CNN截取图像中包含水尺区域的子图像；其中，该图像为摄像头采集的河道水位图像；

对子图像进行预处理；

使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值；

使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘；

计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度。

2.根据权利要求1所述的河道水位评估方法，其特征在于，所述使用Faster R-CNN截取图像中包含水尺区域的子图像包括：

使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像。

3.根据权利要求2所述的河道水位评估方法，其特征在于，所述使用Faster R-CNN对图像中的水尺进行粗定位，截取图像中包含水尺区域的子图像包括：

Faster R-CNN使用VGG16网络对整幅图像进行特征提取；

使用区域生成网络在原图像中生成可能存在水尺的感兴趣区域；

使用深度网络判断感兴趣区域中是否存在目标水尺，若存在目标水尺，则使用矩形检测框包围所述目标水尺；

将检测到的矩形检测框范围从原图像中截取出来，获得包含水尺区域的子图像。

4.根据权利要求1所述的河道水位评估方法，其特征在于，所述对子图像进行预处理包括：

对子图像进行灰度化，生成灰度图像；

对灰度图像进行高斯滤波、闭操作以及开操作。

5.根据权利要求1所述的河道水位评估方法，其特征在于，所述使用Canny算子对预处理后的图像进行边缘提取，对提取的边缘图像进行水平插值包括：

使用Canny算子对预处理后的图像进行边缘提取，获得边缘图像T1，其中，T1用于检测水尺的竖直边缘；

使用基于像素区域关系的重采样插值方法对T1进行水平插值，获得具有T1两倍宽度的边缘图像T2，其中，T2用于检测水尺的水平上边缘。

6.根据权利要求5所述的河道水位评估方法，其特征在于，所述使用霍夫直线检测分别对原始边缘图像以及插值后的边缘图像检测竖直边缘与水平边缘包括：

使用霍夫直线检测分别对T1及T2进行直线检测，其中，对T1检测出图像中的竖直直线，对T2检测出图像中的水平直线；直线上的点(x,y)，满足以下关系式：

ρ＝xcosθ+ysinθ

其中，ρ表示检测到的直线距离原点的距离，θ表示直线与水平方向的夹角；

对于T1中检测到的所有竖直直线，取该直线上距离为子区域宽度距离的两点(x₁,y₁)和(x₂,y₂)，计算其中点的坐标值(x,y)：

取所有竖直直线中x最小的直线L1作为检测到的水尺左边缘直线，取所有竖直直线中x最大的直线L2作为检测到的水尺右边缘直线；同理计算检测出的所有水平直线的中点坐标，并取所有水平直线中y最小的直线L3作为检测出的水尺的上边缘。

7.根据权利要求6所述的河道水位评估方法，其特征在于，所述计算竖直边缘与水平边缘的交点，并根据计算得到的交点及子图像水尺宽度与水尺实际宽度的比例估算出当前的水位高度包括：

计算直线L1与L3的交点坐标作为水尺的左上角点坐标；其中，对于直线L1与L3，其交点坐标(x,y)满足以下公式：

其中，ρ₁和ρ₂都表示检测到的直线距离原点的距离，θ₁和θ₂都表示直线与水平方向的夹角；

令：

则直线L1可以表示为：

y＝k₁x+b₁

同理，直线L3可以表示为：

y＝k₂x+b₂

则两直线的交点满足：

则两直线交点的坐标(x,y)为：

其中，L1与L3的交点(x,y)中纵坐标y表示子图像中水尺露出水面的高度H_det；

使用直线L1与L2之间的距离，计算子图像中的水尺宽度W_det；

获取水尺的实际宽度W_t，根据得到的H_det及子图像水尺宽度W_det与水尺实际宽度W_t之间的比例，预测水尺实际露出水面高度H_pre；

根据预测得到的水尺实际露出水面高度H_pre，确定当前的水位高度。

8.根据权利要求7所述的河道水位评估方法，其特征在于，预测的水尺实际露出水面高度H_pre满足：

其中，W_t表示水尺的实际宽度。

9.根据权利要求8所述的河道水位评估方法，其特征在于，当前的水位高度表示为：

其中，h_pre表示当前的水位高度，H表示当前水尺的顶点高程。

Images