CN108318101A - 基于深度学习算法的水尺水位视频智能监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习算法的水尺水位视频智能监测方法及系统，属于图像识别和水位监测技术领域。本发明方法包括视频采集、视频帧处理、水位线识别和水位测算等步骤。本发明利用深度学习神经网络实现水位监测的智能化和自动化，具有极强的准确性和可行性，装置结构简单，便于部署，相对于现有技术来说不仅成本低廉、自动化水平高，而且还具有较高的监测效率，是对现有技术的一种重要改进。

Description

基于深度学习算法的水尺水位视频智能监测方法及系统

技术领域

本发明涉及图像识别和水位监测技术领域，特别是指一种基于深度学习算法的水尺水位视频智能监测方法及系统。

背景技术

水位监测是针对江、河、水库等水体的重要监测指标，具有重要意义。现有技术中，常规的水位监测方法有传感器监测和水位尺人工监测。其中，传感器监测能够自动采集表征水位的模拟量，然后通过一定的电路和算法将模拟量转换成水位数据。

根据所采集模拟量的不同，水位传感器可分为浮子式传感器、压力式传感器、超声波式传感器等等多种形式。浮子式水位计比较便宜，适用性强，但是，测量水位时，要为它单独建造一个水位计房，其房子的造价甚至超过水位传感器的费用。此外，压力式传感器受水质变化的影响较大，需要经常检查并调整率定系数，给运行维护带来困难；而超声波水位传感器至于明渠之上，外界干扰多，经常会出现测量水位漂移的现象。另一方面，人工监测方式费时费力，显然不适应水位监测智能化、自动化的要求。

可见，现有技术中的水位监测方法存在监测手段落后、监测成本较高、监测数据不准确等问题，不利于水位监测工作的进一步发展。

发明内容

有鉴于此，本发明提出一种基于深度学习算法的水尺水位视频智能监测方法及系统，其能够通过图像识别的方式自动、准确地获得当前水体的水位，具有成本低廉、装置简单、效率较高的特点。

基于上述目的，本发明提供的技术方案是：

一种基于深度学习算法的水尺水位视频智能监测方法，其包括以下步骤：

采集水位视频，所述水位视频中包括水面和水尺的图像信息；

从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

从所述处理图像中确定水位线的准确位置；

根据水位线在水尺上的相对位置测算出水体的水位。

可选的，所述全卷积神经网络依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、池化层和上采样层；所述上采样层采用反卷积操作，以用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

可选的，所述第一卷积层卷积核的通道数、宽度和高度分别为96、11、11，所述第二卷积层卷积核的通道数、宽度和高度分别为265、5、5，所述第三卷积层卷积核的通道数、宽度和高度分别为384、3、3，所述第四卷积层卷积核的通道数、宽度和高度分别为384、3、3，所述第五卷积层卷积核的通道数、宽度和高度分别为256、3、3。

可选的，所述第一卷积层卷积核的通道数、宽度和高度分别为96、11、11，所述第二卷积层卷积核的通道数、宽度和高度分别为265、5、5，所述第三卷积层卷积核的通道数、宽度和高度分别为4096、1、1，所述第四卷积层卷积核的通道数、宽度和高度分别为4096、1、1，所述第五卷积层卷积核的通道数、宽度和高度分别为1000、1、1。

可选的，所述从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像的步骤中，区分出水尺区域和水面区域的处理图像为对水尺区域和水面区域进行了不同着色的图像。

可选的，所述从所述处理图像中确定水位线的准确位置的方式为：

利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。

可选的，所述从所述处理图像中确定水位线的准确位置的方式为：

将所述处理图像输入到事先经过训练的回归网络中，由所述回归网络确定水位线的准确定位；所述回归网络包括前面5个卷积层以及后面3个全连接层，所述5个卷积层卷积核的通道数、宽度和高度依次分别为(96，11，11)、(256，5，5)、(384，3，3)、(384，3，3)和(256，3，3)。

此外，本发明还提供一种基于深度学习算法的水尺水位视频智能监测系统，其包括以下模块：

视频采集模块，用于采集水位视频，所述水位视频中包括水面和水尺的图像信息；

处理模块，用于从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

水位线识别模块，用于从所述处理图像中确定水位线的准确位置；

水位测算模块，用于根据水位线在水尺上的相对位置测算出水体的水位。

可选的，所述全卷积神经网络依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、池化层和上采样层；所述上采样层采用反卷积操作，并用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

可选的，所述水位线识别模块的确定水位线准确位置的方式为：

利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。

从上面的叙述可以看出，本发明技术方案的有益效果在于：

1、本发明不借助于常规的模拟传感器，对水质及环境的要求非常宽松，监测设备价格低廉，监测成本低廉。

2、本发明采用图像识别技术，具有智能化程度高、自动化程度高、监测数据准确的特点，相对于现有技术来说既保证了数据的准确性和实时性，又节约了人力成本，大大提高了监测效率。

3、本发明装置简单，部署方便，只需要视频摄像头和具有运算处理功能的逻辑运算单元即可进行水位监测，具有极广的适用性，便于推广应用。

总之，本发明方法具有极强的准确性和可行性，装置结构简单，便于部署，相对于现有技术来说不仅成本低廉、自动化水平高，而且还具有较高的监测效率，是对现有技术的一种重要改进。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中基于深度学习算法的水尺水位视频智能监测方法的一种流程图；

图2是本发明实施例中基于深度学习算法的水尺水位视频智能监测方法中全卷积神经网络的一种原理示意图；

图3是本发明实施例中基于深度学习算法的水尺水位视频智能监测方法中回归网络的一种原理示意图；

图4是本发明实施例中基于深度学习算法的水尺水位视频智能监测系统的一种结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习算法的水尺水位视频智能监测方法，其包括以下步骤：

步骤101，采集水位视频，所述水位视频中包括水面和水尺的图像信息；

步骤102，从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络(Fully convolutional networks，FCN)对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

步骤103，从所述处理图像中确定水位线的准确位置；

步骤104，根据水位线在水尺上的相对位置测算出水体的水位。

提取视频帧时，可以每隔一个固定时长提取一帧图像，对该图像进行神经网络处理以及后续的处理和分析，从而得到当前时刻水位的数值，也可以在一定时长内提取多帧图像，对这些图像进行综合分析，从而得出这个时长内水体的平均水位。

根据水位线在水尺上的相对位置测算水体水位的方式可以采用比例法也可以采用标记法。所谓比例法，即将图像中水位线以上水尺的长度除以预知的水尺的总长度，得到水尺的露出比例，从而换算成水位的数值；所谓标记法，即在水尺上设置多个醒目的标记，从而根据水位线与就近标记的相对位置关系测算水体的水位。

可选的，如图2所示，步骤102中的全卷积神经网络依次包括第一卷积层201、第二卷积层202、第三卷积层203、第四卷积层204、第五卷积层205、池化层206和上采样层207；其中，上采样层207采用反卷积操作，以用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

特别地，第一卷积层201的卷积核大小为(96，11，11)，即通道数为96，卷积核宽度和高度均为11，第二卷积层202的卷积核大小为(265，5，5)，第三卷积层203的卷积核大小为(384，3，3)，第四卷积层204的卷积核大小为(384，3，3)，第五卷积层205的卷积核大小为(256，3，3)。经过这5个卷积层后，图像的分辨率依次缩小了2、4、8、16、32倍，为此，需要通过上采样层对图像进行32倍的上采样，从而得到与原图一样的大小输出图像。

此外，5个卷积层的卷积核大小还可采用如下设置：第一卷积层201卷积核的通道数、宽度和高度分别为96、11、11，第二卷积层202卷积核的通道数、宽度和高度分别为265、5、5，第三卷积层203卷积核的通道数、宽度和高度分别为4096、1、1，第四卷积层204卷积核的通道数、宽度和高度分别为4096、1、1，第五卷积层205卷积核的通道数、宽度和高度分别为1000、1、1。对应地，上采样层207应使用相应倍数的上采样对图像进行放大。

使用全卷积神经网络对图像进行处理，不仅能够自动识别图像中水尺的区域，并且能够有效排除倒影、噪声的影响，从而使其对水尺和水面交界线的位置测量更加精准。

对视频帧处理完后，可以对水尺区域和水面区域进行不同颜色的着色，从而便于后续的边界识别。

可选的，所述步骤103中确定水位线准确位置的方式为：

步骤1031，利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

步骤1032，对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

步骤1033，对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

步骤1034，利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。

此外，步骤103中确定水位线准确位置的方式还可以为：

将所述处理图像输入到事先经过训练的回归网络(如图3所示)中，由回归网络确定水位线的准确定位；该回归网络包括前面5个卷积层301～305以及后面3个全连接层306～308，5个卷积层卷积核的通道数、宽度和高度依次分别为(96，11，11)、(256，5，5)、(384，3，3)、(384，3，3)和(256，3，3)。

上述水尺水位视频智能监测方法基于深度学习算法，主要分为图像分割和水位检测两个过程，即，通过基于神经网络的图像处理技术从图像中识别出水体区域和水尺区域，完成对图像的分割；其次，通过相应的技术从着色分割图像中准确地识别出水面与水尺的交线，从而确定水位线的准确位置。该方法具有智能化、自动化程度高，识别结果准确，监测设备简单的特点，能够适应于多种场合的水位测量，具有极强的实用性。

上述方法基于水尺水位的视频监控图像，采用深度学习的算法，能够对水尺进行智能图像识别，从而精确地判断水位。该方法可用于对水库的水位进行有效监控，并可与相应的预警设备相连，从而在水位超出设定范围时发出预警信号。

此外，本发明还提供一种基于深度学习算法的水尺水位视频智能监测系统，如图4所示，其包括以下模块：

视频采集模块401，用于采集水位视频，所述水位视频中包括水面和水尺的图像信息；

处理模块402，用于从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

水位线识别模块403，用于从所述处理图像中确定水位线的准确位置；

水位测算模块404，用于根据水位线在水尺上的相对位置测算出水体的水位。

可选的，如图2所示，全卷积神经网络依次包括第一卷积层201、第二卷积层202、第三卷积层203、第四卷积层204、第五卷积层205、池化层206和上采样层207；所述上采样层207采用反卷积操作，并用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

可选的，水位线识别模块403的确定水位线准确位置的方式为：

步骤4031，利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

步骤4032，对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

步骤4033，对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

步骤4034，利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。

该水尺水位视频智能监测系统用于实现上述水尺水位视频智能监测方法，因此具有与上述方法相应的有益效果，此处不再赘述。

总之，本发明利用深度学习神经网络实现水位监测的智能化和自动化，具有极强的准确性和可行性，装置结构简单，便于部署，相对于现有技术来说不仅成本低廉、自动化水平高，而且还具有较高的监测效率，是对现有技术的一种重要改进。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习算法的水尺水位视频智能监测方法，其特征在于，包括以下步骤：

采集水位视频，所述水位视频中包括水面和水尺的图像信息；

从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

从所述处理图像中确定水位线的准确位置；

根据水位线在水尺上的相对位置测算出水体的水位。

2.根据权利要求1所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述全卷积神经网络依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、池化层和上采样层；所述上采样层采用反卷积操作，以用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

3.根据权利要求2所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述第一卷积层卷积核的通道数、宽度和高度分别为96、11、11，所述第二卷积层卷积核的通道数、宽度和高度分别为265、5、5，所述第三卷积层卷积核的通道数、宽度和高度分别为384、3、3，所述第四卷积层卷积核的通道数、宽度和高度分别为384、3、3，所述第五卷积层卷积核的通道数、宽度和高度分别为256、3、3。

4.根据权利要求2所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述第一卷积层卷积核的通道数、宽度和高度分别为96、11、11，所述第二卷积层卷积核的通道数、宽度和高度分别为265、5、5，所述第三卷积层卷积核的通道数、宽度和高度分别为4096、1、1，所述第四卷积层卷积核的通道数、宽度和高度分别为4096、1、1，所述第五卷积层卷积核的通道数、宽度和高度分别为1000、1、1。

5.根据权利要求1所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像的步骤中，区分出水尺区域和水面区域的处理图像为对水尺区域和水面区域进行了不同着色的图像。

6.根据权利要求1所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述从所述处理图像中确定水位线的准确位置的方式为：

利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。

7.根据权利要求1所述的基于深度学习算法的水尺水位视频智能监测方法，其特征在于，所述从所述处理图像中确定水位线的准确位置的方式为：

将所述处理图像输入到事先经过训练的回归网络中，由所述回归网络确定水位线的准确定位；所述回归网络包括前面5个卷积层以及后面3个全连接层，所述5个卷积层卷积核的通道数、宽度和高度依次分别为(96，11，11)、(256，5，5)、(384，3，3)、(384，3，3)和(256，3，3)。

8.一种基于深度学习算法的水尺水位视频智能监测系统，其特征在于，包括以下模块：

视频采集模块，用于采集水位视频，所述水位视频中包括水面和水尺的图像信息；

处理模块，用于从所述水位视频中提取视频帧，通过事先经过训练的全卷积神经网络对所述视频帧进行处理，得到区分出水尺区域和水面区域的处理图像；

水位线识别模块，用于从所述处理图像中确定水位线的准确位置；

水位测算模块，用于根据水位线在水尺上的相对位置测算出水体的水位。

9.根据权利要求8所述的基于深度学习算法的水尺水位视频智能监测系统，其特征在于，所述全卷积神经网络依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、池化层和上采样层；所述上采样层采用反卷积操作，并用于将由于多次卷积操作而缩小的图像恢复为原始尺寸。

10.根据权利要求8所述的基于深度学习算法的水尺水位视频智能监测系统，其特征在于，所述水位线识别模块的确定水位线准确位置的方式为：

利用Canny算子对所述处理图像进行边缘检测，得到边缘图像；

对所述边缘图像进行形态学膨胀处理：把二值图像各1像素连接成分的边界扩大一层，从而填充边缘以及0像素点内部的孔；

对所述边缘图像进行形态学腐蚀处理：把二值图像各1像素连接成分的边界点去掉，使边界缩小一层，从而去掉毛刺和孤立的0像素点；

利用水面与水尺交界面处的图像突变信息得到水位线的准确位置。