CN112949624B - 基于水尺的水位检测方法、装置、电子设备及存储介质 - Google Patents
基于水尺的水位检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112949624B CN112949624B CN202110099933.0A CN202110099933A CN112949624B CN 112949624 B CN112949624 B CN 112949624B CN 202110099933 A CN202110099933 A CN 202110099933A CN 112949624 B CN112949624 B CN 112949624B
- Authority
- CN
- China
- Prior art keywords
- water
- water gauge
- character
- image
- gauge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 551
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Abstract
本发明公开了一种基于水尺的水位检测方法、装置、电子设备及存储介质，包括：获取含有水尺的待检测水域图像；输入预先训练的第一水尺检测模型，得到待检测水域图像中水尺的位置信息；利用位置信息从待检测水域图像中得到水尺图像；输入预先训练的第二水尺检测模型，得到水尺图像中各字符对应的坐标信息；利用各字符对应的坐标信息得到水位值；其中，字符包括数字；本发明用于训练第一水尺检测模型的样本水域图像是通过预先获取各种场景的水域水面和水尺模板图像进行图像融合得到的。本发明扩大了样本数据的场景，可以针对各种复杂场景的图像实现良好的目标检测效果，因此可以实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。
Description
技术领域
本发明属于水位检测领域，具体涉及一种基于水尺的水位检测方法、装置、电子设备及存储介质。
背景技术
水位是反映水情最直观的因素，水位的变化主要是由于水体水量的增减变化引起的。由于我国河流众多、流域面积较大，对河流水位实施监控变得至关重要。水位监测可以有效地监控水涝、决堤等灾害，为江河、湖泊、水库等水体水面划分警戒线提供数据参考等。
传统的水位检测方法主要包括水尺法，其通过读取设置于水域中的水尺在水面处的刻度值来获取水位信息，目前该方法已广泛应用于各大水文站。
近年来，随着深度学习和计算机视觉技术的蓬勃发展，可以利用上述技术对水域图像进行水尺识别，从而得到水位信息。但现有的水位检测方法一般都在简单场景下进行，如场景中只有一个水尺、水尺面积足够大、水尺周围的干扰较少等，无法针对不同的复杂水文环境得到准确率高的水位检测结果。
发明内容
本发明实施例的目的在于提供一种基于水尺的水位检测方法、装置、电子设备及存储介质，以实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种基于水尺的水位检测方法，所述方法包括：
获取含有水尺的待检测水域图像；
将所述待检测水域图像输入预先训练的第一水尺检测模型，得到所述待检测水域图像中水尺的位置信息；
利用所述位置信息从所述待检测水域图像中得到水尺图像；
将所述水尺图像输入预先训练的第二水尺检测模型，得到所述水尺图像中各字符对应的坐标信息；其中，所述字符包括数字；
利用各字符对应的坐标信息得到水位值；
其中，所述第一水尺检测模型是根据样本水域图像和所述样本水域图像中水尺对应的样本位置信息训练得到的；所述第二水尺检测模型是根据样本水尺图像和所述样本水尺图像中各字符对应的样本坐标信息训练得到的；所述样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
在本发明的一个实施例中，所述第一水尺检测模型或所述第二水尺检测模型为anchor-free的目标检测模型。
在本发明的一个实施例中，所述位置信息包括：
包含水尺的矩形框的坐标信息；
所述利用所述位置信息从所述待检测水域图像中得到水尺图像，包括：
利用所述矩形框的坐标信息从所述待检测水域图像中提取所述矩形框范围内的像素内容得到水尺图像。
在本发明的一个实施例中，所述各字符对应的坐标信息包括：
包括字符的矩形框的四个顶点的坐标值。
在本发明的一个实施例中，所述利用各字符对应的坐标信息得到水位值，包括：
从各数字的所述坐标值中，确定y坐标值最小的数字作为水尺的水位值。
在本发明的一个实施例中，所述字符还包括类“E”字符，所述类“E”字符包括“E”字符和字符。
在本发明的一个实施例中，所述各字符对应的坐标信息包括：
包括字符的矩形框的四个顶点的坐标值，以及所述矩形框的中心点对应的中心坐标值；
所述利用各字符对应的坐标信息得到水位值，包括：
通过对类“E”字符的中心坐标值进行k-means聚类，区分所述“E”字符和所述字符；
从各数字的所述坐标值中，确定y坐标值最小的数字作为目标数字；
利用每个字符的所述坐标值，确定是否存在位于所述目标数字之下且与所述目标数字相邻的目标“E”字符；
如果否，则将所述目标数字作为水尺的水位值；
如果是，则在所述水尺图像中，利用所述目标“E”字符的所述坐标值，确定所述目标“E”字符存在于水面上的目标高度；
确定完整“E”字符的标准高度，并利用所述标准高度、所述目标高度，以及所述目标数字，得到水尺的水位值。
第二方面，本发明实施例提供了一种基于水尺的水位检测装置，所述装置包括：
第一图像获取模块，用于获取含有水尺的待检测水域图像；
第一水尺检测模块，用于将所述待检测水域图像输入预先训练的第一水尺检测模型，得到所述待检测水域图像中水尺的位置信息；
第二图像获取模块，用于利用所述位置信息从所述待检测水域图像中得到水尺图像；
第二水尺检测模块，用于将所述水尺图像输入预先训练的第二水尺检测模型，得到所述水尺图像中各字符对应的坐标信息；其中，所述字符包括数字；
水位值计算模块，用于利用各字符对应的坐标信息得到水位值；
其中，所述第一水尺检测模型是根据样本水域图像和所述样本水域图像中水尺对应的样本位置信息训练得到的；所述第二水尺检测模型是根据样本水尺图像和所述样本水尺图像中各字符对应的样本坐标信息训练得到的；所述样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例所提供的基于水尺的水位检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的基于水尺的水位检测方法的步骤。
本发明实施例所提供的方案中，针对获取的含有水尺的待检测水域图像，依次通过预先训练的第一水尺检测模型和第二水尺检测模型能够得到水尺图像中各字符对应的坐标信息，并利用各字符对应的坐标信息得到水位值。由于本发明实施例预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到样本水域图像，扩大了样本数据的场景，并利用得到的大量样本水域图像进行模型训练，因此使得本发明实施例的模型可以针对各种复杂场景的图像实现良好的目标检测效果，从而实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。
附图说明
图1为本发明实施例所提供的一种基于水尺的水位检测方法的流程示意图；
图2为本发明实施例所提供的水尺模板图像；
图3为本发明实施例提供的作为示例的样本水域图像；
图4为本发明实施例提供的结果图像示意图；
图5为本发明实施例所提供的一种装置的结构示意图；
图6为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的，本发明实施例提供了一种基于水尺的水位检测方法、装置、电子设备及存储介质。
需要说明的是，本发明实施例所提供的一种基于水尺的水位检测方法的执行主体可以为一种基于水尺的水位检测装置，该装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，比如一图像处理设备等，当然并不局限于此。
下面，首先对本发明实施例所提供的一种基于水尺的水位检测方法进行介绍。
如图1所示，本发明实施例所提供的一种基于水尺的水位检测方法，可以包括如下步骤：
S1，获取含有水尺的待检测水域图像。
本发明实施例中，可以获取由图像采集设备拍摄的待检测水域图像，待检测水域图像含有水尺和水面部分。
图像采集设备包括摄像机、照相机、手机等。
可选的，在获取到待检测水域图像后，还可以对待检测水域图像进行图像预处理，包括：
裁剪、拼接、平滑、滤波、边缘填充等图像增强操作，以增强图像中感兴趣的特征，扩展数据集的泛化能力。
S2，将待检测水域图像输入预先训练的第一水尺检测模型，得到待检测水域图像中水尺的位置信息。
本发明实施例中的第一水尺检测模型是根据样本水域图像和样本水域图像中水尺对应的样本位置信息训练得到的。样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
为了便于理解本发明实施例的方案，首先对本发明实施例的样本水域图像的获取过程进行介绍。
本发明实施例利用基于深度学习的目标检测模型实现水尺检测，本领域技术人员可以理解的是，基于深度学习的目标检测方法均需要大量的样本数据来进行模型的训练，而目前水位检测领域内并没有公开的样本数据集。在相关技术中，往往需要拍摄样本图像并进行人工标注，这需要耗费大量的时间。
本发明实施例提出了一种用图像处理技术生成样本数据集的方案，不用实地拍摄含有水尺的水域图像并手工标注，可以节省工作量。该阶段可以称之为样本数据集准备阶段。具体的，该阶段主要包括以下步骤：
1)获取各种场景的水域水面图像构成背景图像库。
可以通过实地拍摄以及网络获取等手段收集各种河流、湖泊、海面等水域水面的图像，场景可以包括各种背景物、光线等。
2)获取各种场景的水尺模板图像构成水尺模板图像库。
可以拍摄实际水尺以及通过网络获取等手段收集各种水尺的图像作为水尺模板图像；或者，如果水域水面图像中含有水尺，可以从已拍摄的水域水面图像中截取水尺部分作为水尺模板图像。水尺模板图像包含水尺同时不含有其余背景等无关物体。如图2所示，图2为本发明实施例所提供的水尺模板图像。图2中，水尺刻度仅示出部分。
3)从背景图像库和水尺模板图像库中各选取一图像进行图像融合，得到样本水域图像。
背景图像库和水尺模板图像库中均含有若干个图像。可以从背景图像库和水尺模板图像库中各选取一图像，利用图像融合技术将水尺模板图像合成进水域水面图像的水面区域中，得到融合后的一样本水域图像。可以理解的是，通过背景图像库和水尺模板图像库中不同图像的组合方式，可以得到不同的样本水域图像，构成作为样本数据库的样本水域图像库。比如，本发明实施例可以通过设置多水尺、遮挡水尺、刻度破损水尺、复杂干扰背景、暗光线等复杂场景得到场景扩展的样本水域图像库。
关于图像融合，具体的，可以先在水域水面图像中，选取水面区域中的一点(x0,y0)作为基准点，将矩形的水尺模板图像的一个顶点，比如左下角，置于该基准点上，得到融合后的样本水域图像。
其中，图像融合即图像合成，可以采用任意现有图像合成及融合技术实现，比如cut-and-paste、alpha融合，以及多频段融合等方式。如图3所示，图3为本发明实施例提供的作为示例的样本水域图像。
并且，在进行图像融合的同时，可以对水尺的位置信息进行自动标注，以水尺模板图像左下角置于该基准点为例，位置信息可以包括包含水尺的矩形框的坐标信息。矩形框的坐标信息可以具体包括矩形框四个顶点的坐标，比如右下角的坐标为(x0+w,y0)，左上角的坐标为(x0,y0+h)，右上角的坐标为(x0+w,y0+h)，其中w为水尺宽度，h为水尺高度。矩形框的坐标信息也可以仅含有左下角和右上角的坐标。矩形框的坐标信息也可以是左下角坐标以及w和h构成，形式为一向量[x0,y0，w，h]。
以上是水尺垂直设置的示例，当水尺为倾斜设置时，同样也可以将矩形的水尺模板图像的一个顶点，比如左下角或者右下角，置于该基准点上，得到融合后的样本水域图像，但是关于矩形框其余顶点的坐标则无法采用上述方法使用w和h直接加和计算得到，而需要利用水尺相对于水面的倾斜夹角θ、w、h及余弦定理等数学方法辅助进行计算，在此不再详细说明。
本发明实施例将每个样本水域图像中包含水尺的矩形框进行标识，并将包含水尺的矩形框的坐标信息生成对应的xml标注文件。
在获取到样本水域图像之后，在S2之前，本发明实施例需要预先训练得到第一水尺检测模型。
现有技术中，可以采用ssd(Single Shot MultiBox Detector)、Faster RCNN目标检测算法检测水尺。但这些目标检测方法，由于模型的局限性，在训练水尺检测模型时，需要预先设置anchor(锚)或default box(锚框)(即目标的长宽比)等信息。而由于水尺在水面之上的部分常常呈现出变化较大的长宽比，导致模型设置时不当的anchor会极大影响模型的精度，因此上述目标检测方法无法适用于多场景、复杂场景下的水尺检测。
优选的实施方式中，本发明实施例的第一水尺检测模型为anchor-free的目标检测模型。anchor-free意为不需要使用anchor。目前常见的anchor-free的目标检测模型包括：DenseBox、YOLO(You Only Look Once)、CornerNet、CenterNet、ExtremeNet、FSAF、FCOS(Fully Convolutional One-Stage Object Detection)、FoveaBox(Beyond Anchor-basedObject Detector)等。本发明实施例可以采用任意一种anchor-free的目标检测模型构建第一水尺检测模型。
第一水尺检测模型的训练过程包括以下步骤：
①将每一样本水域图像中包含水尺的矩形框的坐标信息作为该样本水域图像对应的真值，将各样本水域图像和对应的真值，通过搭建的第一水尺检测模型进行训练，获得各样本水域图像的训练结果。
②将每一样本水域图像的训练结果与该样本水域图像对应的真值进行比较，得到该样本水域图像对应的输出结果。
③根据各个样本水域图像对应的输出结果，计算模型的损失值。
④根据损失值，调整模型的参数，并重新进行①-③步骤，直至模型的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一样本水域图像的训练结果与该样本水域图像对应的真值一致，从而完成模型的训练，得到训练完成的第一水尺检测模型。
因此，针对S2，将待检测水域图像输入预先训练的第一水尺检测模型，可以得到待检测水域图像中水尺的位置信息，其中，位置信息包括：包含水尺的矩形框的坐标信息。关于包含水尺的矩形框的坐标信息请参见前文，在此不做赘述。
S3，利用位置信息从待检测水域图像中得到水尺图像。
可选的一种实施方式中，可以利用矩形框的坐标信息从待检测水域图像中提取矩形框范围内的像素内容得到水尺图像。
具体的，可以利用矩形框的坐标信息在待检测水域图像中确定矩形框的范围，利用现有的图像提取手段，提取该矩形框的范围对应的像素内容，将提取出的像素内容生成水尺图像。
S4，将水尺图像输入预先训练的第二水尺检测模型，得到水尺图像中各字符对应的坐标信息。
其中，第二水尺检测模型也为anchor-free的目标检测模型。第二水尺检测模型可以采用和第一水尺检测模型相同的结构，以便于简化模型搭建和训练过程。当然，第二水尺检测模型也可以采用和第一水尺检测模型不同的结构，这都是合理的。第二水尺检测模型是根据样本水尺图像和样本水尺图像中各字符对应的样本坐标信息训练得到的。关于训练过程可以参见第一水尺检测模型的训练过程。样本水尺图像可以是水尺模板图像。
可选的第一种实施方式中，字符包括数字。字符对应的样本坐标信息可以包括字符上任意点的坐标值。优选的实施方式中，字符对应的样本坐标信息可以为包括字符的矩形框的四个顶点的坐标值。由于本发明实施例中关注的是水尺接近水面的刻度值的高低，因此，字符对应的样本坐标信息也可以为：包括字符的矩形框的上边缘中点和下边缘中点的坐标值。
可选的第二种实施方式中，字符还包括类“E”字符。类“E”字符具体包括水尺上数字之间的“E”字符，以及数字旁侧的字符。
那么，该第二种实施方式中，各字符对应的坐标信息可以包括：
包括字符的矩形框的四个顶点的坐标值，以及矩形框的中心点对应的中心坐标值。
S5，利用各字符对应的坐标信息得到水位值。
针对S4中第一种可选的实施方式，S5可以包括：
从各数字的坐标值中，确定y坐标值最小的数字作为水尺的水位值。
具体的，可以对各数字的坐标值进行比较，选取y坐标值最小的数字，可以理解的是，其为最接近水面的数字，那么，可以简便地将该数字作为水尺的水位值。以下均以垂直水尺举例，比如，通过比较，可以得到数字6对应矩形框上边缘两个顶点对应的y坐标值为10，以及下边缘两个顶点对应的y坐标值为8，而数字5仅识别出对应矩形框上边缘两个顶点对应的y坐标值为6，那么，选取y坐标值更小的数字，将数字5作为水尺的水位值。
针对S4中第二种可选的实施方式，S5可以包括以下步骤S51～S56：
S51，通过对类“E”字符的中心坐标值进行k-means聚类，区分“E”字符和字符；
本领域技术人员表可以理解的是，“E”字符位于数字之间，而字符位于数字旁侧，两种类“E”字符中心坐标值的x坐标值是不同的，而相同种类的类“E”字符彼此之间，中心坐标值的x坐标是相同，区别仅在于y坐标值。因此，可以利用该特点，对类“E”字符的中心坐标值进行k-means聚类，把水尺左半部分的字符和右半部分的字符区分开，以区分“E”字符和/>字符。关于k-means聚类，其为现有技术，在此不做赘述。
S52，从各数字的坐标值中，确定y坐标值最小的数字作为目标数字；
确定目标数字的过程和与上述第一种实施方式相同，在此不再赘述。
S53，利用每个字符的坐标值，确定是否存在位于目标数字之下且与目标数字相邻的目标“E”字符；
本领域技术人员可以理解的是，如果目标数字之下还有“E”字符，则存在一个“E”字符对应的矩形框，该矩形框上边缘顶点的y坐标值小于目标数字对应矩形框下边缘顶点的y坐标值。因此，可以据此判断是否在目标数字对应矩形框下边缘顶点的y坐标之下还存在y坐标更小的矩形框，且矩形框内的字符是“E”字符。
S54，如果否，则将目标数字作为水尺的水位值；
该步骤意为目标数字更接近水面，其下没有“E”字符。对应的情况或者是水面线恰好在目标数字和其下的“E”字符之间的空白位置，或者是目标数字一部分在水下。在该种情况下，可以简便地将目标数字作为水尺的水位值，实现水位粗估计。
S55，如果是，则在水尺图像中，利用目标“E”字符的坐标值，确定目标“E”字符存在于水面上的目标高度；
该步骤表明，目标数字之下存在目标“E”字符，而目标“E”字符一部分位于水面上，一部分位于水面下，可以理解的是，在实际水域中，水域的能见度一般并不佳，因此，通过图像检测技术，识别出的目标“E”字符的矩形框表示的是目标“E”字符位于水面上的部分。因此，可以通过目标“E”字符对应矩形框上边缘顶点的y坐标和下边缘顶点的y坐标求取差值获得目标“E”字符存在于水面上的目标高度。
S56，确定完整“E”字符的标准高度，并利用标准高度、目标高度，以及目标数字，得到水尺的水位值。
在本发明实施例中，可以预先确定暴露于空气中的完整“E”字符的标准高度，也就是毫无遮挡的完整高度，当然，也可以在该步骤中，选取水尺图像中任意一个暴露于空气中的完整“E”字符，利用其对应矩形框上边缘顶点的y坐标和下边缘顶点的y坐标求取差值获得标准高度。
可以根据“E”字符的标准高度所代表的数值，根据目标高度与标准高度的比值，计算目标高度对应的目标刻度值，求取目标数字与目标刻度值之和得到水尺的水位值。
比如，已知标准高度对应于数字间隔为1cm，目标数字为8cm，则可以利用目标高度与标准高度的比值为1/5，确定目标高度对应的目标刻度值为1cm*(1/5)＝0.2cm，则可以将目标数字8与目标刻度值0.2cm之和8.2cm作为水尺的水位值。可见，相比于第一种实施方式，在该第二种实施方式中，可以实现对水尺的水位值的精确估值。
本发明实施例在得到水尺的水位值后，可以输出该水尺的水位值，比如以文本等形式输出。在优选的实施方式中，可以输出一个结果图像，如图4所示，图4为本发明实施例提供的结果图像示意图。该结果图像在待检测水域图像中标注出了水尺的位置信息、识别出的目标数字和目标“E”字符，以及水尺的水位值。其中，水尺的位置信息为包含水尺的矩形框的四个顶点的坐标值，水位值为1.5，水位值的单位可以为米等。这样，通过结果图像可以得到形象直观的水位检测结果。
本领域技术人员可以理解的是，在得到水尺的水位值后，还可以将该水尺的水位值与水尺零点高程求和得到真实的水位值。关于水尺零点高程请参见相关现有技术理解，在此不做说明。
进一步的，本发明实施例中，针对特定水域，可以预先设置针对水尺水位或者真实水位所对应的水位阈值，比如，水位阈值可以是关于最大水位的最大水位阈值，当检测出的水位值大于对应的最大水位阈值时产生提醒信息，提醒信息可以包括声、光等信号，比如提醒信息可以是触发一蜂鸣器发出声音等，以便于提醒监测人员进行对应的处理，实现防洪防涝等目的。或者，水位阈值也可以是关于最小水位的最小水位阈值，当检测出的水位值小于该最小水位阈值时产生提醒信息，实现防旱目的，这都是合理的。
本发明实施例所提供的方案中，针对获取的含有水尺的待检测水域图像，依次通过预先训练的第一水尺检测模型和第二水尺检测模型能够得到水尺图像中各字符对应的坐标信息，并利用各字符对应的坐标信息得到水位值。由于本发明实施例预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到样本水域图像，扩大了样本数据的场景，并利用得到的大量样本水域图像进行模型训练，因此使得本发明实施例的模型可以针对各种复杂场景的图像实现良好的目标检测效果，从而实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。并且，本发明实施例的第一水尺检测模型和第二水尺检测模型为anchor-free的目标检测模型，不用设置anchor等先验信息就能检测出水尺感兴趣区域(roi区域)，使得本发明实施例的两个水尺检测模型适用于更多场景下的水尺检测。
第二方面，相应于上述方法实施例，本发明实施例还提供了一种装置，如图5所示，该装置包括：
第一图像获取模块501，用于获取含有水尺的待检测水域图像；
第一水尺检测模块502，用于将待检测水域图像输入预先训练的第一水尺检测模型，得到待检测水域图像中水尺的位置信息；
第二图像获取模块503，用于利用位置信息从待检测水域图像中得到水尺图像；
第二水尺检测模块505，用于将水尺图像输入预先训练的第二水尺检测模型，得到水尺图像中各字符对应的坐标信息；其中，字符包括数字；
水位值计算模块505，用于利用各字符对应的坐标信息得到水位值；
其中，第一水尺检测模型是根据样本水域图像和样本水域图像中水尺对应的样本位置信息训练得到的；第二水尺检测模型是根据样本水尺图像和样本水尺图像中各字符对应的样本坐标信息训练得到的；样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
可选的，第一水尺检测模型或第二水尺检测模型为anchor-free的目标检测模型。
可选的，位置信息包括：
包含水尺的矩形框的坐标信息；
相应的，第二图像获取模块503，具体用于：
利用矩形框的坐标信息从待检测水域图像中提取矩形框范围内的像素内容得到水尺图像。
可选的，各字符对应的坐标信息包括：
包括字符的矩形框的四个顶点的坐标值。
可选的，水位值计算模块505，具体用于：
从各数字的坐标值中，确定y坐标值最小的数字作为水尺的水位值。
可选的，字符还包括类“E”字符，类“E”字符包括“E”字符和字符。
可选的，各字符对应的坐标信息包括：
包括字符的矩形框的四个顶点的坐标值，以及矩形框的中心点对应的中心坐标值；
相应的，水位值计算模块505，具体用于：
通过对类“E”字符的中心坐标值进行k-means聚类，区分“E”字符和字符；
从各数字的坐标值中，确定y坐标值最小的数字作为目标数字；
利用每个字符的坐标值，确定是否存在位于目标数字之下且与目标数字相邻的目标“E”字符；
如果否，则将目标数字作为水尺的水位值；
如果是，则在水尺图像中，利用目标“E”字符的坐标值，确定目标“E”字符存在于水面上的目标高度；
确定完整“E”字符的标准高度，并利用标准高度、目标高度，以及目标数字，得到水尺的水位值。
关于各个模块的详细内容请参见第一方面的方法步骤，在此不再赘述。
本发明实施例所提供的方案中，针对获取的含有水尺的待检测水域图像，依次通过预先训练的第一水尺检测模型和第二水尺检测模型能够得到水尺图像中各字符对应的坐标信息，并利用各字符对应的坐标信息得到水位值。由于本发明实施例预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到样本水域图像，扩大了样本数据的场景，并利用得到的大量样本水域图像进行模型训练，因此使得本发明实施例的模型可以针对各种复杂场景的图像实现良好的目标检测效果，从而实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。并且，本发明实施例的第一水尺检测模型和第二水尺检测模型为anchor-free的目标检测模型，不用设置anchor等先验信息就能检测出水尺感兴趣区域(roi区域)，使得本发明实施例的两个水尺检测模型适用于更多场景下的水尺检测。
第三方面，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如第一方面的基于水尺的水位检测方法的步骤。
该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：针对获取的含有水尺的待检测水域图像，依次通过预先训练的第一水尺检测模型和第二水尺检测模型能够得到水尺图像中各字符对应的坐标信息，并利用各字符对应的坐标信息得到水位值。由于本发明实施例预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到样本水域图像，扩大了样本数据的场景，并利用得到的大量样本水域图像进行模型训练，因此使得本发明实施例的模型可以针对各种复杂场景的图像实现良好的目标检测效果，从而实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。并且，本发明实施例的第一水尺检测模型和第二水尺检测模型为anchor-free的目标检测模型，不用设置anchor等先验信息就能检测出水尺感兴趣区域(roi区域)，使得本发明实施例的两个水尺检测模型适用于更多场景下的水尺检测。
第四方面，相应于第一方面所提供的基于水尺的水位检测方法，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的基于水尺的水位检测方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的基于水尺的水位检测方法的应用程序，因此能够实现：针对获取的含有水尺的待检测水域图像，依次通过预先训练的第一水尺检测模型和第二水尺检测模型能够得到水尺图像中各字符对应的坐标信息，并利用各字符对应的坐标信息得到水位值。由于本发明实施例预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到样本水域图像，扩大了样本数据的场景，并利用得到的大量样本水域图像进行模型训练，因此使得本发明实施例的模型可以针对各种复杂场景的图像实现良好的目标检测效果，从而实现针对不同的复杂水文环境得到准确率高的水位检测结果的目的。并且，本发明实施例的第一水尺检测模型和第二水尺检测模型为anchor-free的目标检测模型，不用设置anchor等先验信息就能检测出水尺感兴趣区域(roi区域)，使得本发明实施例的两个水尺检测模型适用于更多场景下的水尺检测。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述基于水尺的水位检测方法的装置、电子设备及存储介质，则上述基于水尺的水位检测方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (7)
1.一种基于水尺的水位检测方法，其特征在于，包括：
获取含有水尺的待检测水域图像；
将所述待检测水域图像输入预先训练的第一水尺检测模型，得到所述待检测水域图像中水尺的位置信息；
利用所述位置信息从所述待检测水域图像中得到水尺图像；
将所述水尺图像输入预先训练的第二水尺检测模型，得到所述水尺图像中各字符对应的坐标信息；其中，所述字符包括数字；所述字符还包括类“E”字符，所述类“E”字符包括“E”字符和字符；所述第一水尺检测模型或所述第二水尺检测模型为anchor-free的目标检测模型；
利用各字符对应的坐标信息得到水位值；其中，所述各字符对应的坐标信息包括：包括字符的矩形框的四个顶点的坐标值，以及所述矩形框的中心点对应的中心坐标值；所述利用各字符对应的坐标信息得到水位值，包括：通过对类“E”字符的中心坐标值进行k-means聚类，区分所述“E”字符和所述字符；从各数字的所述坐标值中，确定y坐标值最小的数字作为目标数字；利用每个字符的所述坐标值，确定是否存在位于所述目标数字之下且与所述目标数字相邻的目标“E”字符；如果否，则将所述目标数字作为水尺的水位值；如果是，则在所述水尺图像中，利用所述目标“E”字符的所述坐标值，确定所述目标“E”字符存在于水面上的目标高度；确定完整“E”字符的标准高度，并利用所述标准高度、所述目标高度，以及所述目标数字，得到水尺的水位值；
其中，所述第一水尺检测模型是根据样本水域图像和所述样本水域图像中水尺对应的样本位置信息训练得到的；所述第二水尺检测模型是根据样本水尺图像和所述样本水尺图像中各字符对应的样本坐标信息训练得到的；所述样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
2.根据权利要求1所述的方法，其特征在于，所述位置信息包括：
包含水尺的矩形框的坐标信息；
所述利用所述位置信息从所述待检测水域图像中得到水尺图像，包括：
利用所述矩形框的坐标信息从所述待检测水域图像中提取所述矩形框范围内的像素内容得到水尺图像。
3.根据权利要求1所述的方法，其特征在于，所述各字符对应的坐标信息包括：
包括字符的矩形框的四个顶点的坐标值。
4.根据权利要求3所述的方法，其特征在于，所述利用各字符对应的坐标信息得到水位值，包括：
从各数字的所述坐标值中，确定y坐标值最小的数字作为水尺的水位值。
5.一种基于水尺的水位检测装置，其特征在于，包括：
第一图像获取模块，用于获取含有水尺的待检测水域图像；
第一水尺检测模块，用于将所述待检测水域图像输入预先训练的第一水尺检测模型，得到所述待检测水域图像中水尺的位置信息；
第二图像获取模块，用于利用所述位置信息从所述待检测水域图像中得到水尺图像；
第二水尺检测模块，用于将所述水尺图像输入预先训练的第二水尺检测模型，得到所述水尺图像中各字符对应的坐标信息；其中，所述字符包括数字；所述字符还包括类“E”字符，所述类“E”字符包括“E”字符和字符；所述第一水尺检测模型或所述第二水尺检测模型为anchor-free的目标检测模型；
水位值计算模块，用于利用各字符对应的坐标信息得到水位值；其中，所述各字符对应的坐标信息包括：包括字符的矩形框的四个顶点的坐标值，以及所述矩形框的中心点对应的中心坐标值；所述利用各字符对应的坐标信息得到水位值，包括：通过对类“E”字符的中心坐标值进行k-means聚类，区分所述“E”字符和所述字符；从各数字的所述坐标值中，确定y坐标值最小的数字作为目标数字；利用每个字符的所述坐标值，确定是否存在位于所述目标数字之下且与所述目标数字相邻的目标“E”字符；如果否，则将所述目标数字作为水尺的水位值；如果是，则在所述水尺图像中，利用所述目标“E”字符的所述坐标值，确定所述目标“E”字符存在于水面上的目标高度；确定完整“E”字符的标准高度，并利用所述标准高度、所述目标高度，以及所述目标数字，得到水尺的水位值；
其中，所述第一水尺检测模型是根据样本水域图像和所述样本水域图像中水尺对应的样本位置信息训练得到的；所述第二水尺检测模型是根据样本水尺图像和所述样本水尺图像中各字符对应的样本坐标信息训练得到的；所述样本水域图像是通过预先获取各种场景的水域水面图像和水尺模板图像进行图像融合得到的。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互相的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099933.0A CN112949624B (zh) | 2021-01-25 | 2021-01-25 | 基于水尺的水位检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099933.0A CN112949624B (zh) | 2021-01-25 | 2021-01-25 | 基于水尺的水位检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949624A CN112949624A (zh) | 2021-06-11 |
| CN112949624B true CN112949624B (zh) | 2024-02-13 |
Family
ID=76236638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110099933.0A Active CN112949624B (zh) | 2021-01-25 | 2021-01-25 | 基于水尺的水位检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949624B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537129A (zh) * | 2021-07-29 | 2021-10-22 | 河南浩宇空间数据科技有限责任公司 | 一种基于机器视觉的水位标尺定位及水位计算方法 |
| CN113971779B (zh) * | 2021-10-29 | 2022-07-01 | 中国水利水电科学研究院 | 一种基于深度学习的水尺自动读数方法 |
| CN115661438B (zh) * | 2022-10-21 | 2024-03-08 | 广州地铁集团有限公司 | 一种基于机器视觉的站外水位监测及防汛预警方法 |
| CN115546793B (zh) * | 2022-12-05 | 2023-04-18 | 安徽大学 | 水尺刻度自动读数方法、系统及电子设备 |
| CN115880683B (zh) * | 2023-03-02 | 2023-05-16 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 一种基于深度学习的城市内涝积水智能水位检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018184058A1 (en) * | 2017-04-07 | 2018-10-11 | Technological Resources Pty. Limited | Automated draft survey |
| CN108759973A (zh) * | 2018-04-28 | 2018-11-06 | 南京昊控软件技术有限公司 | 一种水位测量方法 |
| CN109543596A (zh) * | 2018-11-20 | 2019-03-29 | 浙江大华技术股份有限公司 | 一种水位监测方法、装置、电子设备及存储介质 |
| CN110427933A (zh) * | 2019-06-20 | 2019-11-08 | 浙江大学 | 一种基于深度学习的水尺识别方法 |
| JP2020173781A (ja) * | 2019-04-11 | 2020-10-22 | 富士通株式会社 | 番号認識装置、方法及び電子機器 |
| CN112013921A (zh) * | 2019-05-30 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 一种基于水位尺测量图像获取水位信息的方法、装置和系统 |
-
2021
- 2021-01-25 CN CN202110099933.0A patent/CN112949624B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018184058A1 (en) * | 2017-04-07 | 2018-10-11 | Technological Resources Pty. Limited | Automated draft survey |
| CN108759973A (zh) * | 2018-04-28 | 2018-11-06 | 南京昊控软件技术有限公司 | 一种水位测量方法 |
| CN109543596A (zh) * | 2018-11-20 | 2019-03-29 | 浙江大华技术股份有限公司 | 一种水位监测方法、装置、电子设备及存储介质 |
| JP2020173781A (ja) * | 2019-04-11 | 2020-10-22 | 富士通株式会社 | 番号認識装置、方法及び電子機器 |
| CN112013921A (zh) * | 2019-05-30 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 一种基于水位尺测量图像获取水位信息的方法、装置和系统 |
| CN110427933A (zh) * | 2019-06-20 | 2019-11-08 | 浙江大学 | 一种基于深度学习的水尺识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张振 ; 周扬 ; 王慧斌 ; 高红民 ; 刘海韵 ; .标准双色水尺的图像法水位测量.仪器仪表学报.2018,(第09期),全文. * |
| 陈翠 ; 刘正伟 ; 陈晓生 ; 骆曼娜 ; 牛智星 ; 阮聪 ; .基于图像处理的水位信息自动提取技术.水利信息化.2016,(第01期),全文. * |
| 黄林 ; 陶青川 ; 沈建军 ; .基于机器视觉的快速水尺刻度提取技术.现代计算机(专业版).2018,(第06期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949624A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949624B (zh) | 基于水尺的水位检测方法、装置、电子设备及存储介质 | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| US10699158B2 (en) | Using a probabilistic model for detecting an object in visual data | |
| CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
| Zhang et al. | Guided mesh normal filtering | |
| US10248854B2 (en) | Hand motion identification method and apparatus | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| CN110516665A (zh) | 识别图像叠加文字区域的神经网络模型构建方法与系统 | |
| CN103154972A (zh) | 基于文本的3d扩增实境 | |
| CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
| Yang et al. | An image-based intelligent system for pointer instrument reading | |
| WO2019080743A1 (zh) | 一种目标检测方法、装置及计算机设备 | |
| CN107301649B (zh) | 一种基于超像素的区域合并sar图像海岸线检测算法 | |
| CN107301408A (zh) | 人体掩膜提取方法及装置 | |
| CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
| Tao et al. | A pipeline for 3-D object recognition based on local shape description in cluttered scenes | |
| Siddiqui et al. | Clustering techniques for image segmentation | |
| CN112288813B (zh) | 基于多目视觉测量与激光点云地图匹配的位姿估计方法 | |
| CN108694411A (zh) | 一种识别相似图像的方法 | |
| CN115953454A (zh) | 基于图像复原的水位获取方法、装置、设备及存储介质 | |
| CN111797832A (zh) | 一种图像感兴趣区域自动生成方法及系统及图像处理方法 | |
| CN116152532A (zh) | 一种遥感影像特征提取与匹配方法、装置及电子设备 | |
| CN114972947B (zh) | 一种基于模糊语义建模的深度场景文本检测方法和装置 | |
| CN116189220A (zh) | 建筑构件检测识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |