CN114359841B - 一种基于时空平均的视频水位识别方法 - Google Patents

Abstract

本发明提供一种基于时空平均的视频水位识别方法，在标定方法上，采用带十字中心的标识物进行人工标定，准确获取标定点在视频图像中的像素尺度坐标，提高了标定精度，降低了像素‑高程关系误差；在虚拟水尺像素‑高程关系构建上，考虑空间现象的分布情况，采用考虑距离权重的插值方法，降低河床底部形状、安装点的建筑物对插值结果的影响；在水位值计算上，采用莱茵达准则进行像素尺度的异常值剔除，减小图像噪声误差，同时采用考虑变幅阈值的时空平均法进行水位值的计算，去除水位跳变影响，获取高精度的可用水位值。

Description

一种基于时空平均的视频水位识别方法

技术领域

本发明涉及视频检测技术领域，具体涉及一种基于时空平均的视频水位识别方法。

背景技术

实时监测、提供江河湖泊水位数据对预防洪涝灾害，降低灾害带来的损失具有十分重要的意义，水位识别方法的优劣性直接影响到水资源分配方案的制定以及河流和水库中灾情的预防。国内水位识别方法常用的方法为人工水尺读数法，在很大程度上受到技术人员主观因素的影响，存在安全隐患，且精度不高，难以对数据进行查验校对；水位识别方法常用的还有自动采集水位方法，常见的水位计有利用传感器原理的浮子式水位计、压力式水位计和电容式水位计等；利用反射原理的非接触式超声波水位计、雷达水位计等，浮子式水位计安装复杂，维护困难，且使用寿命较短，压力式水位计和电容式水位计的感应方式使其易受外界影响，精度难以保证，超声波水位计等非接触式测量装置测量简单且性能可靠，但测试条件往往有所限制，且使用成本高。

随着机器视觉的不断发展，通过视频图像识别获取水位，使视频水位识别方法成为可能。现有视频水位识别方法主要通过摄像机记录的水尺视频中实时提取水尺视频图像，通过边缘检测、灰度拉伸、二值化等一系列操作处理后，获得与实际刻度线吻合的图像数据，再运用Hough变换，结合刻度线数据来计算出水位值，但是当水尺出现脏污、腐蚀或现场光照强度不佳时，容易造成水位智能识别度低、水位误差大。

专利《一种基于视频的无水尺水位读数方法》(专利公开号：CN111008614A)利用激光散点构建基于标定时刻水位线基准点的虚拟水尺，通过散点在虚拟水尺上的投影点像素坐标与高程的关系计算出视频图像中水位线区域的水位值。该专利存在以下问题：利用激光进行人工标定，不适用于远距离测量，且对反射面的均一性要求高，而且激光散点、激光散点投影点与视频图像像素点之间无法准确匹配，标定误差较大；计算水位线区域的纵坐标值是通过回归水位线上的m个点的图像纵坐标直接求平均值获得，未对水位线检测图像值进行降噪处理，将直接导致水位值计算误差；水位计算简单采用像素与高程的分段线性关系进行插值，对河床底部地形和岸坡规整度要求高，得到的结果精度低；求得的水位结果为每帧视频图像的时刻水位值，当水面出现波浪时，始终得到的为不可投入生产使用的跳变水位曲线。

此外，上述方法都只能获取水面某一点的水位数据，河床底部形状、安装点的建筑物都会影响数据的代表性，而且在有风引起波浪的水位变化时获取的水位值为跳变值，导致识别数据无法使用。

发明内容

有鉴于此，为了解决现有视频水位识别方法标定误差大、水位线区域检测噪声干扰、识别结果精度低、波浪引起水位跳变导致数据无法使用等问题，本发明提出一种基于时空平均的视频水位识别方法。

本发明通过以下技术手段解决上述问题：

一种基于时空平均的视频水位识别方法，包括以下步骤：

步骤1：在河道监测断面的岸边固定摄像头。

步骤2：在视频画面中选取河床底部平整无明显起伏的河段，从左到右分成n个大小相同的区域，n≥5，每个区域的高度为视频画面覆盖的河岸高度；在每个区域的河岸从上到下固定m个带十字中心的标识物，m≥5，每个区域的标识物固定在区域的中心线上。

步骤3：记录视频画面中标识物中心点的像素坐标；通过全站仪测量标识物中心点的高程；形成n组像素-高程关系数据集。利用反距离加权法对每组像素-高程关系进行插值，计算出每个区域像素对应的高程值。

步骤4：根据插值结果在视频画面中生成n个，以区域标识物中心点像素拟合的直线为中心轴的虚拟水尺。

步骤5：采集不同时段、不同天气、不同场景条件下的水面和岸线相交的视频图像，对原始视频图像进行模糊、镜像、噪声、旋转、随机偏斜数据增强操作，得到视频图像集，采用Labelme进行水面和河岸的标注，将标注后的数据集按照9：0.5：0.5的比例随机划分为训练集、测试机和验证集。搭建Deeplabv3+语义分割模型，将标注后的数据集输入模型进行训练，保存训练结果。

步骤6：通过实时获取安装在监测断面岸边的摄像头拍摄到的视频图像并输入训练好的Deeplabv3+语义分割模型中，得到语义分割后的图像。

步骤7：利用步骤4中构建的虚拟水尺，计算分割后的每帧图像中落入每个区域一段水面与岸线相交的水位线的像素对应的水位值，采用莱茵达准则剔除异常值后计算剩余像素对应高程的均值作为该区域的水位值。

步骤8：获取固定时长的视频，划分为多个相同时长的连续时序，每个时序包含T帧图像，利用步骤7对每帧图像进行计算，得到时空序列水位值

为划分的每个区域，t_qv为第q(q＝1,2,…,Q)个时序的第v(v＝1,2,…,T)帧图像，利用时空平均法求得第q个时序的时空平均水位值μ_q。

进一步地，标识物大小为2cm*2cm，垂直方向的间隔根据河岸的高度设置为10cm-50cm。

进一步地，任意一个区域的像素-高程关系数据集：

[{(x₁,y₁),Z₁}，{(x₂,y₂),Z₂}，…，(x_i,y_i),Z_i]i∈{1,2,…，m}，其中(x_i,y_i)表示该区域第i个标识物中心点对应像素坐标，Z_i表示该区域第i个标识物中心点对应像素点的实测高程，m为该区域标识物的个数。

其中

式中，Z为该区域待插值像素点的高程值；Z_i为该区域第i个标识物中心点对应像素点的实测高程，λ_i为Z_i对应的权重，d_i为该区域第i个标识物中心点像素(x_i，y_i)与待插点像素(x,y)之间的距离，m为该区域标识物的个数。

进一步地，虚拟水尺的最小刻度为0.1m。

进一步地，对于各区域分割后图像的水面与岸线相交的水位线从左到右的像素对应的水位值Z₁,Z₂,…,Z_j；其中j为区域从左到右的像素序号；先求得算数平均值

其中k＝1,2,…,j；计算各水位值的剩余误差

其中k＝1,2,…,j；均方根偏差

其中k＝1,2,…,j；利用各水位值的剩余残差的绝对值|τ_k|与3σ进行比较，若|τ_k|>3σ；其中k＝1,2,…,j；则认为该水位值为异常值予以剔除，然后再重新求剩余数据的算数平均值、残差和标准差进行比较，如此循环剔除异常数据，直到没有为止，对保留下来的非异常值求取均值作为该区域的水位值。

进一步地，

式中μ_q为第q个时序的时空平均水位值，

为第n个区域的空间平均水位值，

为q时刻第v帧图像的第n个区域的水位值，

为q时刻第v帧的水位值，λ为水位变幅阈值，根据实际情况进行设置，对于风浪引起的水面小幅度的波动，变幅阈值通常设为10cm。

相对于现有技术，本发明所述的一种基于时空平均的视频水位识别方法至少具有以下优势：

在标定方法上，采用带十字中心的标识物进行人工标定，准确获取标定点在视频图像中的像素尺度坐标，提高了标定精度，降低像素-高程关系误差。

在虚拟水尺像素-高程关系构建上，考虑空间现象的分布情况，采用考虑距离权重的插值方法，降低河床底部形状、安装点的建筑物对插值结果的影响。

在水位值计算上，采用莱茵达准则进行像素尺度的异常值剔除，减小图像噪声误差，同时采用考虑变幅阈值的时空平均法进行水位值的计算，能够去除水位跳变影响，获取高精度的可用水位值。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明区域划分和标识物图；

图2是本发明虚拟水尺图；

图3是本发明语义分割后的图像图；

图4是本发明虚拟水尺空间平均图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于时空平均的视频水位识别方法，包括以下步骤：

步骤1：在河道监测断面的岸边固定摄像头，调整摄像头角度，放大倍数和焦距，使得摄像头能够获取对岸和水面相交处的视频图像，同时保证获取的视频画面区域垂直方向能够覆盖水面低水位和高水位与岸线的相交范围。

步骤2：如图1所示，在视频画面中选取河床底部平整无明显起伏的河段，从左到右分成n个大小相同的区域(n≥5)，每个区域的高度为视频画面覆盖的河岸高度；在每个区域的河岸从上到下固定m个带十字中心的标识物(m≥5)，标识物大小为2cm*2cm，每个区域的标识物固定在区域的中心线上，垂直方向的间隔可根据河岸的高度设置为10cm-50cm。

步骤3:记录视频画面中标识物中心点的像素坐标；通过全站仪测量标识物中心点的高程；形成n组像素-高程关系数据集。利用反距离加权法对每组像素-高程关系进行插值，计算出每个区域像素对应的高程值。

任意一个区域的像素-高程关系数据集：[{(x₁,y₁),Z₁}，{(x₂,y₂),Z₂}，…，(x_i,y_i),Z_i]i∈{1,2,…，m}，其中(x_i,y_i)表示该区域第i个标识物中心点对应像素坐标，Z_i表示该区域第i个标识物中心点对应像素点的实测高程，m为该区域标识物的个数。

其中

式中，Z为该区域待插值像素点的高程值；Z_i为该区域第i个标识物中心点对应像素点的实测高程，d_i为该区域第i个标识物中心点像素与待插点像素之间的距离，m为该区域标识物的个数。

步骤4：根据插值结果在视频画面中生成n个(n为水平方向划分的区域数量，n≥5)，以区域标识物中心点像素拟合的直线为中心轴，0.1m为最小刻度的虚拟水尺，如图2所示。

步骤5：采集不同时段、不同天气、不同场景条件下的水面和岸线相交的视频图像，对原始视频图像进行模糊、镜像、噪声、旋转、随机偏斜数据增强操作，得到视频图像集(图像数量大于3000张)，采用Labelme进行水面和河岸的标注，将标注后的数据集按照9：0.5：0.5的比例随机划分为训练集、测试机和验证集。搭建Deeplabv3+语义分割模型，将标注后的数据集输入模型进行训练，保存训练结果。

步骤6：通过实时获取安装在监测断面岸边的摄像头拍摄到的视频图像并输入训练好的Deeplabv3+语义分割模型中，得到语义分割后的图像，如图3所示。

步骤7：如图4所示，利用步骤4中构建的虚拟水尺，计算分割后的每帧图像中落入每个区域一段水面与岸线相交的水位线的像素对应的水位值，采用莱茵达准则剔除异常值后计算剩余像素对应高程的均值作为该区域的水位值。

对于各区域分割后图像的水面与岸线相交的水位线从左到右的像素对应的水位值Z₁,Z₂,…,Z_j；其中j为区域从左到右的像素序号；先求得算数平均值

其中k＝1,2,…,j；计算各水位值的剩余误差

其中k＝1,2,…,j；均方根偏差

其中k＝1,2,…,j；利用各水位值的剩余残差的绝对值|τ_k|与3σ进行比较，若|τ_k|>3σ；其中k＝1,2,…,j；则认为该水位值为异常值予以剔除，然后再重新求剩余数据的算数平均值、残差和标准差进行比较，如此循环剔除异常数据，直到没有为止，对保留下来的非异常值求取均值作为该区域的水位值。

步骤8：获取固定时长的视频(5s～20s)，划分为多个相同时长(1s～5s)的连续时序，每个时序包含T帧图像，利用步骤7对每帧图像进行计算，得到时空序列水位值

s_n为划分的每个区域，t_qv为第q(q＝1,2,…,Q)个时序的第v(v＝1,2,…,T)帧图像，利用时空平均法求得第q个时序的时空平均水位值μ_q。

式中μ_q为第q个时序的时空平均水位值，

为第n个区域的空间平均水位值，

为q时刻第v帧图像的第n个区域的水位值，

为q时刻第v帧的水位值，λ为水位变幅阈值，根据实际情况进行设置，对于风浪引起的水面小幅度的波动，变幅阈值通常设为10cm。

本发明提出的基于视频的时空平均虚拟水尺水位识别方法，在标定方法上，采用带十字中心的标识物进行人工标定，准确获取标定点在视频图像中的像素尺度坐标，提高了标定精度，降低像素-高程关系误差。

在虚拟水尺像素-高程关系构建上，考虑空间现象的分布情况，采用考虑距离权重的插值方法，降低河床底部形状、安装点的建筑物对插值结果的影响。

在水位值计算上，采用莱茵达准则进行像素尺度的异常值剔除，减小图像噪声误差，同时采用考虑变幅阈值的时空平均法进行水位值的计算，能够去除水位跳变影响，获取高精度的可用水位值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的范围之内。

Claims (6)

1.一种基于时空平均的视频水位识别方法，其特征在于，包括以下步骤：

步骤1：在河道监测断面的岸边固定摄像头；

步骤2：在视频画面中选取河床底部平整无明显起伏的河段，从左到右分成n个大小相同的区域，n≥5，每个区域的高度为视频画面覆盖的河岸高度；在每个区域的河岸从上到下固定m个带十字中心的标识物，m≥5，每个区域的标识物固定在区域的中心线上；

步骤3:记录视频画面中标识物中心点的像素坐标；通过全站仪测量标识物中心点的高程；形成n组像素-高程关系数据集；利用反距离加权法对每组像素-高程关系进行插值，计算出每个区域像素对应的高程值；

步骤4：根据插值结果在视频画面中生成n个，以区域标识物中心点像素拟合的直线为中心轴的虚拟水尺；

步骤5：采集不同时段、不同天气、不同场景条件下的水面和岸线相交的视频图像，对原始视频图像进行模糊、镜像、噪声、旋转、随机偏斜数据增强操作，得到视频图像集，采用Labelme进行水面和河岸的标注，将标注后的数据集按照9：0.5：0.5的比例随机划分为训练集、测试机和验证集；搭建Deeplabv3+语义分割模型，将标注后的数据集输入模型进行训练，保存训练结果；

步骤6：通过实时获取安装在监测断面岸边的摄像头拍摄到的视频图像并输入训练好的Deeplabv3+语义分割模型中，得到语义分割后的图像；

步骤7：利用步骤4中构建的虚拟水尺，计算分割后的每帧图像中落入每个区域一段水面与岸线相交的水位线的像素对应的水位值，采用莱茵达准则剔除异常值后计算剩余像素对应高程的均值作为该区域的水位值；

步骤8：获取固定时长的视频，划分为多个相同时长的连续时序，每个时序包含T帧图像，利用步骤7对每帧图像进行计算，得到时空序列水位值

s_a(a＝1,2,…,n)为划分的每个区域，t_qv为第q(q＝1,2,…,Q)个时序的第v(v＝1,2,…,T)帧图像，利用时空平均法求得第q个时序的时空平均水位值μ_a。

2.根据权利要求1所述的一种基于时空平均的视频水位识别方法，其特征在于：标识物大小为2cm*2cm，垂直方向的间隔根据河岸的高度设置为10cm-50cm。

3.根据权利要求1所述的一种基于时空平均的视频水位识别方法，其特征在于：任意一个区域的像素-高程关系数据集：[{(x₁,y₁),Z₁},{(x₂,y₂),Z₂},…,{(x_i,y_i),Z_i}]i∈{1,2,…,m}，其中(x_i,y_i)表示该区域第i个标识物中心点对应像素坐标，Z_i表示该区域第i个标识物中心点对应像素点的实测高程，m为该区域标识物的个数；

其中

式中，Z为该区域待插值像素点的高程值；Z_i为该区域第i个标识物中心点对应像素点的实测高程，λ_i为Z_i对应的权重，d_i为该区域第i个标识物中心点像素(x_i，y_i)与待插点像素(x,y)之间的距离，m为该区域标识物的个数。

4.根据权利要求1所述的一种基于时空平均的视频水位识别方法，其特征在于：虚拟水尺的最小刻度为0.1m。

5.根据权利要求1所述的一种基于时空平均的视频水位识别方法，其特征在于：对于各区域分割后图像的水面与岸线相交的水位线从左到右的像素对应的水位值Z₁,Z₂,…,Z_j；其中j为区域从左到右的像素序号；先求得算数平均值

其中k＝1,2,…,j；计算各水位值的剩余误差

其中k＝1,2,…,j；均方根偏差

其中k＝1,2,…,j；利用各水位值的剩余残差的绝对值|τ_k|与3σ进行比较，若|τ_k|>3σ；其中k＝1,2,…,j；则认为该水位值为异常值予以剔除，然后再重新求剩余数据的算数平均值、残差和标准差进行比较，如此循环剔除异常数据，直到没有为止，对保留下来的非异常值求取均值作为该区域的水位值。

6.根据权利要求1所述的一种基于时空平均的视频水位识别方法，其特征在于：

式中μ_q为第q个时序的时空平均水位值，

为第n个区域的空间平均水位值，

为q时刻第v帧图像的第n个区域的水位值，

为q时刻第v帧的水位值，λ为水位变幅阈值，根据实际情况进行设置，对于风浪引起的水面小幅度的波动，变幅阈值设为10cm。

Images