CN110248160A - 基于机器视觉及4g通信技术的精益调度水情远程监测系统 - Google Patents

Abstract

本发明涉及一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，包括前端采集设备、数据处理中心、通讯系统、客户移动终端和管理显示器；所述系统采用树形无线网络结构，每一个叶节点连接一个数据采集终端；所述前端采集设备通过所述通讯系统分别与所述数据处理中心和所述客户移动终端通信相连，用以接收所述数据处理中心和所述客户移动终端发送的采集水位图像的指令，对水位画面进行采集和解析并回传现场图像至所述数据处理中心和所述客户移动终端；所述数据处理中心还与所述管理显示器连接，用以显示数据。本发明实现非接触式采集。采用视频采集方法，使得智能采集设备无需接触水面，避免了传统采集设备机械故障高、非线性误差大等缺点。

Description

基于机器视觉及4G通信技术的精益调度水情远程监测系统

技术领域

本发明涉及水位监测领域，特别是一种基于机器视觉及4G通信技术的精益调度水情远程监测系统。

背景技术

近年来，自然灾害事件频发，台风洪水等恶劣气候给电网安全带来严峻考验，也给水口电站防洪效益的发挥和安全经济运行带来了一定压力。合理完善水口水库水情测报站点数据信息，精确测算入库水量信息，做好来水精准预测和科学调度成为水库调度精益管理的重中之重。

长期以来，水情测报系统是通过浮子测量法在现场采集数据，并依靠2G通道传输数据，具有典型接触式传感器存在的机械故障高、非线性误差大等缺点。而以超声波、雷达、激光为代表的非接触式感知方式的突出的问题是成本高、易受周围环境干扰、通用性不强。且采用以上两种感知手段的共同问题是传输带宽窄，无法实现可视化，维护不便、查询困难，特别是当出现传感器故障时，无法及时干预，造成测量数据的准确性无法度量。缺乏实时、准确、直观、可视化的数据获取，给应对洪水灾害的应急处置，以及水库的长期精益调度管理带来困难。

发明内容

有鉴于此，本发明的目的是提出一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，实现对测量点标准水尺的水位测量图像进行采集、识别和信息交互。

本发明采用以下方案实现：一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，包括多个前端采集设备、数据处理中心、通讯系统、客户移动终端和管理显示器；所述系统采用树形无线网络结构，每一个叶节点连接一个前端采集设备；所述前端采集设备通过所述通讯系统分别与所述数据处理中心和所述客户移动终端通信相连，用以接收所述数据处理中心和所述客户移动终端发送的采集水位图像的指令，对水位画面进行采集和解析并回传现场图像至所述数据处理中心和所述客户移动终端；所述数据处理中心还与所述管理显示器连接，用以显示数据；

所述前端采集设备包括4G可编程RTU设备和智能识别摄像机；所述4G可编程RTU设备和所述智能识别摄像机通信相连，用以远程控制摄像头放大、对焦、镜头移动和补光并获取摄像头拍摄的实时视频；所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度。

进一步地，所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度包括以下步骤：

步骤SA：对获取的所述实时视频进行水尺定位；

首先，对所述实时视频采用色彩空间模型的水位识别算法进行预处理，用以分割水尺和水尺倒影并得到二值图像；然后，对预处理得到后的水尺二值图像进行形态学膨胀处理，使得水尺在二值图像中连通，提取最大的连通区域，定位水尺；再利用水平边缘信息和扫描线法再次裁剪水尺的左右区域，并利用Sobel算子进行边缘信息获取，对饱和度进行能量统计得到边缘提取结果；最后，利用水尺定位和裁剪过程中的最大连通区域的最小包围矩阵，获取该连通区域的倾斜角；

步骤SB：对步骤SA中进行倾斜矫正后得到的数据进行水位刻度提取；

首先，对矫正后的图像中的水尺的右半部分进行形态学闭操作处理，用以使水尺画面图像变得轮廓平滑，消除狭窄的间断和长细的鸿沟,消除小的空洞，并填补轮廓中的断裂；水尺图像在消去数字后，采用Sobel算子做水平边缘检测，断开水尺刻度之间的连接处，同时采用Ostu算法对图像做二值化处理，得到刻度提取结果；根据图像的量程和精确度识别最下端刻度线所代表的刻度值；

Y=H-X-ax

其中，H表示水尺的量程，X表示完全露在水面上的刻度段,a表示水尺最小刻度，x表示露在水面上的最小刻度数量。

步骤SC： 判断是否要退出；若所述4G可编程RTU设备接收到所述数据处理中心下发的采集控制命令，或到达预先设定的采集时刻，或在刚识别的这一帧判定水位越限后，到达设定的延时采集时刻，获取下一帧；否则退出。

进一步地，步骤SA中所述进行预处理的具体过程为：将采集的实时视频的原始图像通过色彩空间模型的水位识别算法转换到HSV色彩空间，然后对转换后的图像进行二值化得到二值图像。

进一步地，本发明还提供一种基于机器视觉及4G通信技术的精益调度水情远程监测系统的工作方法，包括以下步骤：

步骤S1：所述前端采集设备判断采集方式；若接收到用户发送的采集指令则为受控采集，执行步骤S2；否则为定时或越限采集，执行步骤S3；

步骤S2：所述前端采集设备如果接收到受控采集即用户发出的采集请求指令，则对现场采集水位画面进行采集和解析，同时回传现场图像至所述数据处理中心及客户移动终端；若没有收到指令，则按照预设的采样频率对现场画面进行采样；

步骤S3：收到从所述数据处理中心发来的采集模式配置指令，则对所述前端采集设备的工作方式即越限采集或定时采集和采样频率进行配置；之后按照此设置获取水尺识别数据，并按照定义的协议格式将数据打包发送至所述数据处理中心；当检测的水位超出了预先设定的安全范围时，所述数据处理中心将对所述客户移动终端发出报警；如水位在正常范围，则将数据打包并通过所述通讯系统发送至所述数据处理中心存储，并按设定时间延时后继续循环采集水位。

与现有技术相比，本发明有以下有益效果：

（1）提升数据的准确性和实时性。通过图像智能识别的纠错与调整的功能，保障监测数据的准确性；通过实时视频获取并存储，保证了随时随地的调用，极大地提升水库调度基础数据的实时性和准确性。

（2）本发明实现数据智能处理的前端化，极大地降低了后台数据处理负担，降低了数据传输压力，提高了系统整体数据处理效率。

（3）实现非接触式采集。采用视频采集方法，使得智能采集设备无需接触水面，避免了传统采集设备机械故障高、非线性误差大等缺点。

（4）本发明系统具有精度高，抗风浪抗干扰能力强，故障率低等特点。且前端设备简单易维、成本低，安装方便，避免了传统测量方式需要进行专用水位井建设，人力物力成本高，施工工程量大，维护繁琐等缺点。

附图说明

图1为本发明实施例的系统结构框图。

图2为本发明实施例的水尺目标定位算法流程图。

图3为本发明实施例的处理图，其中（a）为原始图像，（b）为HSV色彩空间，（c）为二值图，（d）为边缘提取结果图，（e）为刻度提取结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供了一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，包括多个前端采集设备、数据处理中心、通讯系统、客户移动终端和管理显示器；所述系统采用树形无线网络结构，每一个叶节点连接一个前端采集设备；所述前端采集设备通过所述通讯系统分别与所述数据处理中心和所述客户移动终端通信相连，用以接收所述数据处理中心即用以向所述前端采集设备下发指令的服务器和所述客户移动终端发送的采集水位图像的指令，对水位画面进行采集和解析并回传现场图像至所述数据处理中心和所述客户移动终端；所述数据处理中心还与所述管理显示器连接，用以显示数据；

所述前端采集设备包括4G可编程RTU设备和智能识别摄像机；所述4G可编程RTU设备和所述智能识别摄像机通信相连，用以远程控制摄像头放大、对焦、镜头移动和补光并获取摄像头拍摄的实时视频；所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度。

在本实施例中，所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度包括以下步骤：

步骤SA：对获取的所述实时视频进行水尺定位；

首先，对所述实时视频采用色彩空间模型的水位识别算法进行预处理，用以分割水尺和水尺倒影并得到二值图像；然后，对预处理得到后的水尺二值图像进行形态学膨胀处理，使得水尺在二值图像中连通，提取最大的连通区域，定位水尺；再利用水平边缘信息和扫描线法再次裁剪水尺的左右区域，并利用Sobel算子进行边缘信息获取，对饱和度进行能量统计得到边缘提取结果；最后，利用水尺定位和裁剪过程中的最大连通区域的最小包围矩阵，获取该连通区域的倾斜角；

步骤SB：对步骤SA中进行倾斜矫正后得到的数据进行水位刻度提取；

首先，对矫正后的图像中的水尺的右半部分进行形态学闭操作处理，用以使水尺画面图像变得轮廓平滑，消除狭窄的间断和长细的鸿沟,消除小的空洞，并填补轮廓中的断裂；水尺图像在消去数字后，采用Sobel算子做水平边缘检测，断开水尺刻度之间的连接处，同时采用Ostu算法对图像做二值化处理，得到刻度提取结果；根据图像的量程和精确度识别最下端刻度线所代表的刻度值；

Y=H-X-ax

其中，H表示水尺的量程，X表示完全露在水面上的刻度段,a表示水尺最小刻度，x表示露在水面上的最小刻度数量。

步骤SC： 判断是否要退出；若所述4G可编程RTU设备接收到所述数据处理中心下发的采集控制命令，或到达预先设定的采集时刻，或在刚识别的这一帧判定水位越限后，到达设定的延时采集时刻，获取下一帧；否则退出。在本实施例中所述设定的延时采集时刻即为当判定水位越限，则延时10分钟后继续采集。

进一步地，步骤SA中所述进行预处理的具体过程为：将采集的实时视频的原始图像通过色彩空间模型的水位识别算法转换到HSV色彩空间，然后对转换后的图像进行二值化得到二值图像。

进一步地，本发明还提供一种基于机器视觉及4G通信技术的精益调度水情远程监测系统的工作方法，包括以下步骤：

步骤S1：所述前端采集设备判断采集方式；若接收到用户发送的采集指令则为受控采集，执行步骤S2；否则为定时或越限采集，执行步骤S3；

步骤S2：所述前端采集设备如果接收到受控采集即用户发出的采集请求指令，则对现场采集水位画面进行采集和解析，同时回传现场图像至所述数据处理中心及客户移动终端；若没有收到指令，则按照预设的采样频率（采样间隔为200ms）对现场画面进行采样；

步骤S3：收到从所述数据处理中心发来的采集模式配置指令，则对所述前端采集设备的工作方式即越限采集或定时采集和采样频率进行配置；之后按照此设置获取水尺识别数据，并按照定义的协议格式将数据打包发送至所述数据处理中心；当检测的水位超出了预先设定的安全范围（要根据具体流域的水位报警需求（防汛调度需求）进行设定，此处没有固定标准）时，所述数据处理中心将对所述客户移动终端发出报警；如水位在正常范围，则将数据打包并通过所述通讯系统发送至所述数据处理中心存储，并按设定时间（根据具体需求进行设定，无固定标准）延时后继续循环采集水位。

特别的，在本实施例通信方式采用4G移动公网APN专线方式,手机与数据监控中心联系也基于移动公网。系统远程监测站使用摄像头作为“水位探测、图像采集”的部件，采集图像中含有水位标尺信息，经图像自动识别后得出水位数据。在一般情况下，远程监测站大部分设备处于休眠状态，当条件成立或接收到信息中心发出的“唤醒”的信号后，其设备进入工作状态，采集“水位”信号及预定区域图像，发送至信息中心电脑服务器中。在服务器中，提供了水位的越限报警设置。当识别的水位数据超过设定的报警水位后，系统将对用户终端发送报警，并提供实时的图像数据和识别数据。

前端采集设备由可编程RTU设备、智能识别摄像头组成。现地控制设备RTU集成云台控制功能，数字硬盘录像功能及4G通信功能。实现远程控制摄像头放大，对焦，镜头移动，补光等操作，支持1个月的现地录像和空余时段录像回传。以GPRS/CDMA/3G/4G为主要通道，短信为备用通道。

在本实施例中，前端采集设备包含：具有机器视觉功能的摄像机，可编程RTU设备。其中，可编程RTU设备集成了数字硬盘录像机(NVR)的存储和控制功能，用于对接摄像机；以及4G通信模块，用于无线通信。

具备摄像头嵌入式智能算法，可精确测量50m范围内的水尺数据，在夜晚等光线暗的情况下需要进行自动补光。同时可根据观测需求，完成放大，对焦，镜头移动，补光等远程操作。预留1路脉冲式雨量计接口，可用于组成水雨情遥测站。

前端采集设备选用集成嵌入式设备的4G摄像机。在嵌入式设备中获取摄像机的实时视频，然后检测和矫正水尺图像并准确得出水尺刻度。其算法流程如图2所示。

水尺目标定位

水尺刻度线准确提取的关键是水尺目标定位，即精确定位水尺在图像中的位置，并有效检测和分割水面上的水尺和水下的倒影，消除水尺倒影的影响，裁剪图像中水面上的水尺。此过程主要由：预处理、水尺定位和裁剪以及倾斜矫正。

（1）预处理

水尺在清澈的水面上容易形成清晰的倒影，造成算法容易将水尺倒影误识别为刻度。而基于色彩空间模型的水位识别算法的理论基础是在不同的光照中、场景中待检测目标的色彩亮度有明显的差异，然而他们的色调基本能保持一个比较稳定的值。因此在HSV色彩空间下能够有效分割水尺和水尺倒影。

经摄像机采集到的原始图像（图3a），经嵌入式设备解码后的图像数据通常为RGB格式，因此需要将水尺图像转化到HSV色彩空间(图3b)，然后对图像按照表1对红色取值范围内的色彩进行二值化，得到二值图像( 图3c)。

（2）水尺定位和剪裁

由图3c可知，水尺在二值图像中所占的面积最大。因此利用形态学处理将水尺图像膨胀使得水尺在图像中连通，提取最大的连通区域,粗略定位水尺。

再利用“水平边缘信息”和“扫描线法”再次裁剪水尺的左右区域。并利用Sobel算子进行边缘信息获取，对饱和度进行能量统计得到图 3（d）边缘提取结果。

（3）倾斜矫正

根据水尺的几何特性，利用水尺定位和裁剪过程中的最大连通区域的最小包围矩阵，获取该连通去也的倾斜角。其最小包围矩阵不用循环迭代方式即可获取到倾斜角，适用于嵌入式设备。

水位刻度提取

水尺的左半部分数字会影响正确识别水尺水位，因此首先要消去数字字符，然后进行连通处理，最后获取连通区域的个数，其个数即为水尺刻度数。此过程主要分为消除字符、连通性分析和提前水尺刻度。

(1)消除字符

利用闭操作对水尺的右半部分做形态学处理使得水尺画面图像变得轮廓平滑，消除狭窄的间断和长细的鸿沟,消除小的空洞，并填补轮廓中的断裂。

（2）连通性分析提取水尺刻度

水尺图像在消去数字后，利用形态学操作有效消除细小的突出物以及在纤细出分离物体。采用Sobel算子做水平边缘检测，断开水尺刻度之间的连接处，同时采用Ostu算法对图像做二值化处理，得到图3（e）的刻度提取结果。根据图像的量程和精确度可以识别最下端刻度线所代表的刻度值。

Y=H-X-ax

其中H表示水尺的量程，X表示完全露在水面上的刻度段,a表示水尺最小刻度（精度），x表示露在水面上的最小刻度数量。

据现场试验结果，算法的误差在±0.01m，并能有效地解决倒影问题，使用于工程水尺水位检测的以内误差要求，可以对视频每5-10帧做一次水位检测。算法在夜晚时分需要进行补光，也可以较好地提取水尺刻度。

本实施例从调度管理要求出发，采取面向用户的多样化和灵活的数据交互方法，实现可视化信息交互及灵活设置的数据采集模式。其采集机制具体分为：①定时采集，即设置为特定时间段的定时水位采集，可针对特定事件提前预设监控频次，实施特别监测；②预警采集，即预设若干个特定的水位线阈值进行监测，实现越限报警；③受控采集，即通过手机终端APP或短消息进行实时查询，掌握即时水位信息。

在本实施例中，前端采集设备上电后，首先对系统进行初始化，包括遥测终端机（RTU）、无线通信模块及接口等。，前端采集设备通过向RTU的4G模块发送AT指令配置上网，并与监测中心的服务端建立TCP／IP网络连接。具体的过程：位于4G网内的用户水位监测终端利用PPP点到点协议建立自身同4G网络服务提供商之间的连接，并获取自身的IP地址，进而利用TCP／IP协议与Internet内的主机进行数据传输。

在本实施例中，如果接收到受控采集（即用户发出的采集请求）指令，则对现场采集水位画面进行采集和解析，同时回传现场图像至服务器及客户端。若没有收到指令，则按照系统默认的采样频率对现场画面进行采样。一旦收到从监测中心发来的采集模式配置指令，则对该水位监测终端的工作方式（越限采集或定时采集）和采样频率进行配置。之后按照此设置获取水尺识别数据，并按照定义的协议格式将数据打包发送至服务器。当检测的水位超出了预先设定的安全范围时，服务器将对终端发出报警；如水位在正常范围，则将数据打包并通过通信模块发送至服务器存储，并按设定时间延时后继续循环采集水位。

在图像采集环节中，考虑到监测点水流仍无法处于静止状态，水位高度会在某一范围内上下波动。为了降低测量误差，采样过程中采用连续5次测量取平均的算法来减小误差：采样间隔为200ms，如果某次识别数据的输出值偏离5次平均值的5%，则认为这次数据误差太大，需要剔除，只求剩余值的平均值，并把经过运算的这一平均值返回给管理主机。

系统中水位一旦发生变化，终端设备即刻进行数据采集和分析。相应数据传输至中心站完成预处理后进入数据库，并向有关部门分发、通报。当达到预警阈值时，可根据设定进行广播预警。

考虑到系统的实用性和扩展性，数据处理中心的设计采用基于Socket的通信协议和结构化查询语言(structured query language,SQL)数据库。与采集节点的通信使用Socket编程控件,完成TCP/IP的连接和数据的收发。管理中心软件主要包括信息采集和数据管理功能，实现数据的接收、实时显示、数据备份、历史查询、分析统计、报警以及报表打印等功能，采用GIS技术、标准化数据结构。

管理软件接收并管理各监测点水位的变化信息。系统启用前对每个水位采集终端的进行设置，定义该节点的名称、编号、位置和安全水位范围等信息，设置完成后添加并激活该节点的ID标识，便可在软件的监测界面显示出该节点的相关信息和实时数据。也可以用曲线的形式显示各监测点水位变化情况，并设置异常报警信号的声光报警。

手机客户端软件设计有设备管理、远程配置、实时数据、历史数据、图片信息、视频信息等功能。通过APP，可以方便地查询到当前及历史水位值、告警信息、设备现状等。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，其特征在于：包括多个前端采集设备、数据处理中心、通讯系统、客户移动终端和管理显示器；所述系统采用树形无线网络结构，每一个叶节点连接一个前端采集设备；所述前端采集设备通过所述通讯系统分别与所述数据处理中心和所述客户移动终端通信相连，用以接收所述数据处理中心和所述客户移动终端发送的采集水位图像的指令，对水位画面进行采集和解析并回传现场图像至所述数据处理中心和所述客户移动终端；所述数据处理中心还与所述管理显示器连接，用以显示数据；

所述前端采集设备包括4G可编程RTU设备和智能识别摄像机；所述4G可编程RTU设备和所述智能识别摄像机通信相连，用以远程控制摄像头放大、对焦、镜头移动和补光并获取摄像头拍摄的实时视频；所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度。

2.根据权利要求1所述的一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，其特征在于：所述4G可编程RTU设备对所述实时视频进行检测和矫正水尺图像并得出水尺刻度包括以下步骤：

步骤SA：对获取的所述实时视频进行水尺定位；

首先，对所述实时视频采用色彩空间模型的水位识别算法进行预处理，用以分割水尺和水尺倒影并得到二值图像；然后，对预处理得到后的水尺二值图像进行形态学膨胀处理，使得水尺在二值图像中连通，提取最大的连通区域，定位水尺；再利用水平边缘信息和扫描线法再次裁剪水尺的左右区域，并利用Sobel算子进行边缘信息获取，对饱和度进行能量统计得到边缘提取结果；最后，利用水尺定位和裁剪过程中的最大连通区域的最小包围矩阵，获取该连通区域的倾斜角；

步骤SB：对步骤SA中进行倾斜矫正后得到的数据进行水位刻度提取；

首先，对矫正后的图像中的水尺的右半部分进行形态学闭操作处理，用以使水尺画面图像变得轮廓平滑，消除狭窄的间断和长细的鸿沟,消除小的空洞，并填补轮廓中的断裂；水尺图像在消去数字后，采用Sobel算子做水平边缘检测，断开水尺刻度之间的连接处，同时采用Ostu算法对图像做二值化处理，得到刻度提取结果；根据图像的量程和精确度识别最下端刻度线所代表的刻度值；

Y=H-X-ax

其中，H表示水尺的量程，X表示完全露在水面上的刻度段,a表示水尺最小刻度，x表示露在水面上的最小刻度数量;

步骤SC： 判断是否要退出；若所述4G可编程RTU设备接收到所述数据处理中心下发的采集控制命令，或到达预先设定的采集时刻，或在刚识别的这一帧判定水位越限后，到达设定的延时采集时刻，获取下一帧；否则退出。

3.根据权利要求3所述的一种基于机器视觉及4G通信技术的精益调度水情远程监测系统，其特征在于：步骤SA中所述进行预处理的具体过程为：将采集的实时视频的原始图像通过色彩空间模型的水位识别算法转换到HSV色彩空间，然后对转换后的图像进行二值化得到二值图像。

4.一种基于权利要求1-4任一项所述的一种基于机器视觉及4G通信技术的精益调度水情远程监测系统的工作方法，其特征在于：包括以下步骤：

步骤S1：所述前端采集设备判断采集方式；若接收到用户发送的采集指令则为受控采集，执行步骤S2；否则为定时或越限采集，执行步骤S3；

步骤S2：所述前端采集设备如果接收到受控采集即用户发出的采集请求指令，则对现场采集水位画面进行采集和解析，同时回传现场图像至所述数据处理中心及客户移动终端；若没有收到指令，则按照预设的采样频率对现场画面进行采样；

步骤S3：收到从所述数据处理中心发来的采集模式配置指令，则对所述前端采集设备的工作方式即越限采集或定时采集和采样频率进行配置；之后按照此设置获取水尺识别数据，并按照定义的协议格式将数据打包发送至所述数据处理中心；当检测的水位超出了预先设定的安全范围时，所述数据处理中心将对所述客户移动终端发出报警；如水位在正常范围，则将数据打包并通过所述通讯系统发送至所述数据处理中心存储，并按设定时间延时后继续循环采集水位。