CN111598098A - 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 - Google Patents

一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 Download PDF

Info

Publication number
CN111598098A
CN111598098A CN202010386698.0A CN202010386698A CN111598098A CN 111598098 A CN111598098 A CN 111598098A CN 202010386698 A CN202010386698 A CN 202010386698A CN 111598098 A CN111598098 A CN 111598098A
Authority
CN
China
Prior art keywords
water
image
pixel
water gauge
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010386698.0A
Other languages
English (en)
Other versions
CN111598098B (zh
Inventor
张振
周扬
王慧斌
张丽丽
汪崎宇
李嘉辉
沈淏旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010386698.0A priority Critical patent/CN111598098B/zh
Publication of CN111598098A publication Critical patent/CN111598098A/zh
Application granted granted Critical
Publication of CN111598098B publication Critical patent/CN111598098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，包括如下步骤：S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；S2、设计全卷积神经网络结构，进行网络训练；S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；S4、在语义分割图像中检测水尺水位线及识别有效性。本发明检测精度高，鲁棒性强，操作简单。

Description

一种基于全卷积神经网络的水尺水位线检测及有效性识别 方法
技术领域
本发明涉及计算机视觉技术领域，尤其是一种基于全卷积神经网络的水尺水位线检测及有效性识别方法。
背景技术
水位是河流湖库的基本水文要素之一，是反映水体、水流变化的重要指标，水位数据是防汛抗旱、灌溉、航运和水利设施的建设和管理的基本依据，因此，及时可靠的水位测量对于水资源管理规划和可持续发展具有重要意义。水尺通过读数记录水位的高度，是一种最直观和简单的测量工具；然而传统水尺测量需要人工定时观测，自动化程度低，人员劳动强度大。现有的自动水位计主要包括浮子式、压力式、超声波式及雷达式等，但普遍存在设备及安装成本高，测量精度易受环境温度、泥沙含量及现场控制结构的影响，需要工作人员定期维护等缺点。
目前国内许多重要的水位观测点均设有视频监控系统并配有标准水尺，为基于图像的水尺水位检测提供了有利条件。图像法利用图像传感器代替人眼获取水尺图像，通过图像处理技术检测水位线对应的读数，从而自动获取水位信息。然而在野外实际应用中，由于水尺和拍摄设备之间的距离较长，造成图像分辨率较低和背景干扰噪声较多，同时野外环境光照强度的变化对成像效果的影响较大，晴天时水面耀光、水尺倒影强烈，阴雨天气时水尺和水面的灰度值接近，导致常规基于灰度、边缘信息的图像处理技术将很难从中提取出水位线，或者检测误差较大，对于水尺有水草遮挡等测量结果的有效性也无法进行识别。
发明内容
本发明所要解决的技术问题在于，提供一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，检测精度高，鲁棒性强，操作简单。
为解决上述技术问题，本发明提供一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，包括如下步骤：
S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；
S2、设计全卷积神经网络结构，进行网络训练；
S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；
S4、在语义分割图像中检测水尺水位线及识别有效性。
优选的，步骤S1中，所述的获取水尺图像具体包括以下步骤：
S1.1：选取不同天气、光照和水流条件下24位的实际水尺监控图像数据建立图像样本集，按照训练样本集，验证样本集＝8:2的方式进行划分；
S1.2：处理实际水尺监控图像生成24位的正射水尺图像，长为H像素、宽为W像素。
优选的，步骤S1中，所述的将水尺、水草和水体用不同的类别区分，得到标签图是对24位的正射水尺图像进行手工标注，生成的8位PNG格式的标签图，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，将目标物体和背景分离，使得正射水尺图像中的每个像素点都有明确的类别。
优选的，步骤S2中，所述的全卷积神经网络结构具体为：
S2.1：将VGG-19网络作为待搭建全卷积神经网络的基础网络；
S2.2：将待搭建全卷积神经网络中的全连接层FC-4096、FC-4096和FC-1000分别转换为卷积层，卷积核的大小(宽，长，通道数)分别为(7,7,4096)、(1,1,4096)、(1,1,1000)；
S2.3：网络的具体结构如下所示：
CONV1(3×3×64)→CONV2(3×3×64)→AVGP1→CONV3(3×3×128)→CONV4(3×3×128)→AVGP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→CONV8(3×3×256)→AVGP3→CONV9(3×3×512)→CONV10(3×3×512)→CONV11(3×3×512)→CONV12(3×3×512)→AVGP4→CONV13(3×3×512)→CONV14(3×3×512)→CONV15(3×3×512)→CONV16(3×3×512)→MAXP1→CONV17(7×7×4096)→CONV18(1×1×4096)→CONV19(1×1×1000)
其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出，“AVGP”代表均值池化层，“MAXP”代表最大值池化层，池化层的大小均为(2,2)，步长为2；
S2.4：搭建的全卷积神经网络通过分层计算特征图最终得到语义分割结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(1)给出了第m层的卷积特征图的计算公式：
Figure BDA0002484287410000031
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure BDA0002484287410000032
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
S2.5：步骤S2.4中所述的激活函数选用的是“ReLU”，公示(2)给出了其函数运算公式：
f(x)＝max(0,x) (2)
S2.6：经过AVGP1后特征图缩小为原图像尺寸的1/2；AVGP2后缩小为原图像的1/4；AVGP3后缩小为原图像的1/8，保留AVGP3输出的特征图；AVGP4后缩小为原图像的1/16，保留AVGP4输出的特征图；最后经过MAXP1后缩小为原图像的1/32；CONV17、CONV18和CONV19不改变图像大小，经过CONV19后特征图仍为原图像的1/32；
S2.7：为了将分辨率变小的特征图恢复到和原图一样的尺寸大小，对特征图进行上采样操作：将经过最后一层卷积层CONV19的特征图进行2倍上采样，并将采样结果与AVGP4输出的特征图进行融合；再将融合结果进行2倍上采样，并将采样结果与AVGP3输出的特征图进行融合；再将融合结果进行8倍上采样，将特征图恢复和原图一样的尺寸大小；
S2.8：最后使用softmax分类器做逐像素预测，softmax多分类层会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；
S2.9：步骤S2.8中所述的“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
S2.10：步骤S2.8中所述的损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax多分类层的输出向量和标注的样本数据的标签值做交叉熵处理，公示(3)给出了交叉熵的计算公式：
Figure BDA0002484287410000041
其中，yi′指标注的标签值当中的第i个元素的值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。
优选的，步骤S3中，所述的利用训练得到的全卷积神经网络对待测图像进行语义分割后生成像素值在[0,2]之间的8位JPG格式的分割结果图，其长为H像素、宽为W像素，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，为便后续进行水位线检测，将该分割结果图内的各部分像素值均扩大100倍，即水体部分的像素值为0，水尺部分的像素值为100，水草部分的像素值为200。
优选的，步骤S4中，所述的在语义分割图像中检测水尺水位线及识别有效性包括以下步骤：
S4.1：根据公式(4)计算8位分割结果图像素值水平投影：
S(r)＝B(r,1)+B(r,2)+B(r,3)+…+B(r,W) (4)
其中，B(r,w)为像素(r,w)处的像素值，r为像素的行坐标，w为像素的列坐标，r＝1,2,3,…,H，w＝1,2,3,…,W；
S4.2：设定固定阈值Tr和Tg，Tr确定水尺部分，Tg确定水草部分，在分割结果图像素值水平投影中自上而下进行遍历，S(r)＜Tr的像素行坐标为水体部分，记为rw，Tr＜S(r)＜Tg的像素行坐标为水尺部分，记为rr，S(r)＞Tg的像素行坐标为水草部分，记为rg；
S4.3：通过计算水体部分的垂直方向的像素长度确定水位线位置L；
L＝rw2-rw1 (5)
其中，rw2为水体部分顶端的像素行坐标，rw1为水体部分底端的像素行坐标；
S4.4：识别检测结果的有效性，若rr＜rg＜rw，即水草部分的像素行坐标位于水尺部分像素行坐标和水体部分像素行坐标之间，则判断水位线区域有水草遮挡，标记该检测结果有水草干扰需要进行人工复检。
本发明的有益效果为：(1)检测精度高；本发明利用全卷积神经网络实现了对图像的逐像素预测，通过对每个像素点进行分类，实现整幅图像的语义分割，水位线的检测精度可以达到像素级；(2)鲁棒性强；本发明的训练数据集包含不同时间、不同条件下的实际监控图像数据，利用全卷积神经网络自动提取水尺、水草和水体区域信息特征，通过训练中的反向传播算法自动更新参数，保证了系统的统一性，使得模型鲁棒性强，能够适应野外应用中不同光照、天气等复杂环境，对于水草遮挡水尺的特殊情况能够自动识别检测结果的有效性，便于后期进行人工核验；(3)操作简单；本发明是一种端到端的全自动检测方法，在网络模型训练完成后，用户直接输入待检测图像，即可得到网络模型输出的分割结果和水位线检测结果，操作简单，自动化程度高，实用性强。
附图说明
图1为本发明的方法流程示意图。
图2(a)为本发明具体实施例中获取的正射水尺图像示意图。
图2(b)为本发明具体实施例中生成的标签示意图。
图2(c)为本发明具体实施例中生成的标签图像素值扩大100倍的结果示意图。
图3为本发明具体实施方式中全卷积神经网络结构示意图。
图4(a)为本发明具体实施例中无水草遮挡的待测图像示意图。
图4(b)为本发明具体实施例中无水草遮挡的分割结果图像示意图。
图4(c)为本发明具体实施例中无水草遮挡的水位线检测结果示意图。
图5(a)为本发明具体实施例中有水草遮挡的待测图像示意图。
图5(b)为本发明具体实施例中有水草遮挡的分割结果图像示意图。
图5(c)为本发明具体实施例中有水草遮挡的水位线检测结果示意图。
具体实施方式
如图1所示，一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，包括如下步骤：
S1、获取水尺图像并进行人工标注，将水尺、水草和水体(背景)用不同的类别区分，得到标签图；
S2、设计全卷积神经网络结构，进行网络训练；
S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；
S4、在语义分割图像中检测水尺水位线及识别有效性。
步骤S1所述的获取水尺图像包括以下步骤：
S1.1：选取不同天气、光照和水流条件下24位的实际水尺监控图像数据建立图像样本集，按照训练样本集：验证样本集＝8：2的方式进行划分；
S1.2：处理实际水尺监控图像生成24位的正射水尺图像，长为H＝2000像素、宽为W＝200像素，如图2(a)所示。
步骤S1所述的将水尺、水草和水体(背景)用不同的类别区分，得到标签图是对24位的正射水尺图像进行手工标注，生成的8位PNG格式的标签图，如图2(b)所示，其中水体(背景)部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，将目标物体和背景分离，使得正射水尺图像中的每个像素点都有明确的类别。为便于观察标签图，将生成的标签图像素值扩大100倍，结果如图2(c)所示。
步骤S2所述的全卷积神经网络结构如图3所示，包括：
S2.1：将VGG-19网络作为待搭建全卷积神经网络的基础网络；
S2.2：将待搭建全卷积神经网络中的全连接层FC-4096、FC-4096和FC-1000分别转换为卷积层，卷积核的大小(宽，长，通道数)分别为(7,7,4096)、(1,1,4096)、(1,1,1000)；
S2.3：网络的具体结构如下所示：
CONV1(3×3×64)→CONV2(3×3×64)→AVGP1→CONV3(3×3×128)→CONV4(3×3×128)→AVGP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→CONV8(3×3×256)→AVGP3→CONV9(3×3×512)→CONV10(3×3×512)→CONV11(3×3×512)→CONV12(3×3×512)→AVGP4→CONV13(3×3×512)→CONV14(3×3×512)→CONV15(3×3×512)→CONV16(3×3×512)→MAXP1→CONV17(7×7×4096)→CONV18(1×1×4096)→CONV19(1×1×1000)
其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出，“AVGP”代表均值池化层，“MAXP”代表最大值池化层，池化层的大小均为(2,2)，步长为2；
S2.4：搭建的全卷积神经网络通过分层计算特征图最终得到语义分割结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(1)给出了第m层的卷积特征图的计算公式：
Figure BDA0002484287410000071
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure BDA0002484287410000072
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
S2.5：步骤S2.4中所述的激活函数选用的是“ReLU”，公示(2)给出了其函数运算公式：
f(x)＝max(0,x) (2)
S2.6：经过AVGP1后特征图缩小为原图像尺寸的1/2；AVGP2后缩小为原图像的1/4；AVGP3后缩小为原图像的1/8，保留AVGP3输出的特征图；AVGP4后缩小为原图像的1/16，保留AVGP4输出的特征图；最后经过MAXP1后缩小为原图像的1/32；CONV17、CONV18和CONV19不改变图像大小，经过CONV19后特征图仍为原图像的1/32；
S2.7：为了将分辨率变小的特征图恢复到和原图一样的尺寸大小，对特征图进行上采样操作：将经过最后一层卷积层CONV19的特征图进行2倍上采样，并将采样结果与AVGP4输出的特征图进行融合；再将融合结果进行2倍上采样，并将采样结果与AVGP3输出的特征图进行融合；再将融合结果进行8倍上采样，将特征图恢复和原图一样的尺寸大小；
S2.8：最后使用softmax分类器做逐像素预测，softmax多分类层会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；
S2.9：步骤S2.8中所述的“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果。
S2.10：步骤S2.8中所述的损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax多分类层的输出向量和标注的样本数据的标签值做交叉熵处理，公式(3)给出了交叉熵的计算公式：
Figure BDA0002484287410000081
其中，y′i指标注的标签值当中的第i个元素的值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。
步骤S3所述的利用训练得到的全卷积神经网络对待测图像进行语义分割，待测图像如图4(a)和图5(a)所示，其中图4(a)为无水草遮挡时的待测图像，图5(a)为有水草遮挡时的待测图像。进行语义分割后生成像素值在[0,2]之间的8位JPG格式的分割结果图，其长为H像素、宽为W像素，其中水体(背景)部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，为便后续进行水位线检测，将该分割结果图内的各部分像素值均扩大100倍，即水体(背景)部分的像素值为0，水尺部分的像素值为100，水草部分的像素值为200，如图4(b)和图5(b)所示，其中图4(b)为无水草遮挡时的分割结果示意图，图5(b)为有水草遮挡时的分割结果示意图。
步骤S4所述的在语义分割图像中检测水尺水位线及识别有效性包括以下步骤：
S4.1：根据公式(4)计算8位分割结果图像素值水平投影：
S(r)＝B(r,1)+B(r,2)+B(r,3)+…+B(r,W) (4)
其中，B(r,w)为像素(r,w)处的像素值，r为像素的行坐标，w为像素的列坐标，r＝1,2,3,…,H，w＝1,2,3,…,W；
S4.2：设定固定阈值Tr和Tg，Tr确定水尺部分，Tg确定水草部分。在分割结果图像素值水平投影中自上而下进行遍历，S(r)＜Tr的像素行坐标为水体部分，记为rw，Tr＜S(r)＜Tg的像素行坐标为水尺部分，记为rr，S(r)＞Tg的像素行坐标为水草部分，记为rg；
S4.3：通过计算水体部分的垂直方向的像素长度确定水位线位置L；
L＝rw2-rw1 (5)
其中，rw2为水体部分顶端的像素行坐标，rw1为水体部分底端的像素行坐标，水位线检测结果示意图如图4(c)和图5(c)所示，其中图4(c)为无水草遮挡时的水位线检测结果示意图，图5(c)为有水草遮挡时的水位线检测结果示意图；
S4.4：识别检测结果的有效性，若rr＜rg＜rw，即水草部分的像素行坐标位于水尺部分像素行坐标和水体部分像素行坐标之间，如图5(b)所示，则判断水位线区域有水草遮挡，标记该检测结果有水草干扰需要进行人工复检。
不同于常规图像处理只能提取浅层次的视觉特征，卷积神经网络可以提取更高层次的视觉特征，在图像语义分割和分类等多种图像分析任务中取得极具优势的效果，并显现出高效的学习性能和良好的应用效果。而全卷积神经网络通过将卷积神经网络中最后的全连接层用卷积层来替代，并结合上采样和特征层裁剪操作，实现了对图像的逐像素预测。本发明将全卷积神经网络引入水尺水位线检测中。首先获取水尺图像并进行人工标注，将水尺、水草和水体(背景)用不同的类别区分，得到标签图，再设计全卷积神经网络结构，进行网络训练。然后利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记，最后在语义分割图像中检测水尺水位线并识别检测结果的有效性。

Claims (6)

1.一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，包括如下步骤：
S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；
S2、设计全卷积神经网络结构，进行网络训练；
S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；
S4、在语义分割图像中检测水尺水位线及识别有效性。
2.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S1中，所述的获取水尺图像具体包括以下步骤：
S1.1：选取不同天气、光照和水流条件下24位的实际水尺监控图像数据建立图像样本集，按照训练样本集，验证样本集＝8:2的方式进行划分；
S1.2：处理实际水尺监控图像生成24位的正射水尺图像，长为H像素、宽为W像素。
3.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S1中，所述的将水尺、水草和水体用不同的类别区分，得到标签图是对24位的正射水尺图像进行手工标注，生成的8位PNG格式的标签图，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，将目标物体和背景分离，使得正射水尺图像中的每个像素点都有明确的类别。
4.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S2中，所述的全卷积神经网络结构具体为：
S2.1：将VGG-19网络作为待搭建全卷积神经网络的基础网络；
S2.2：将待搭建全卷积神经网络中的全连接层FC-4096、FC-4096和FC-1000分别转换为卷积层，卷积核的大小(宽，长，通道数)分别为(7,7,4096)、(1,1,4096)、(1,1,1000)；
S2.3：网络的具体结构如下所示：
CONV1(3×3×64)→CONV2(3×3×64)→AVGP1→CONV3(3×3×128)→CONV4(3×3×128)→AVGP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→CONV8(3×3×256)→AVGP3→CONV9(3×3×512)→CONV10(3×3×512)→CONV11(3×3×512)→CONV12(3×3×512)→AVGP4→CONV13(3×3×512)→CONV14(3×3×512)→CONV15(3×3×512)→CONV16(3×3×512)→MAXP1→CONV17(7×7×4096)→CONV18(1×1×4096)→CONV19(1×1×1000)
其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出，“AVGP”代表均值池化层，“MAXP”代表最大值池化层，池化层的大小均为(2,2)，步长为2；
S2.4：搭建的全卷积神经网络通过分层计算特征图最终得到语义分割结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(1)给出了第m层的卷积特征图的计算公式：
Figure FDA0002484287400000021
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure FDA0002484287400000022
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
S2.5：步骤S2.4中所述的激活函数选用的是“ReLU”，公示(2)给出了其函数运算公式：
f(x)＝max(0,x) (2)
S2.6：经过AVGP1后特征图缩小为原图像尺寸的1/2；AVGP2后缩小为原图像的1/4；AVGP3后缩小为原图像的1/8，保留AVGP3输出的特征图；AVGP4后缩小为原图像的1/16，保留AVGP4输出的特征图；最后经过MAXP1后缩小为原图像的1/32；CONV17、CONV18和CONV19不改变图像大小，经过CONV19后特征图仍为原图像的1/32；
S2.7：为了将分辨率变小的特征图恢复到和原图一样的尺寸大小，对特征图进行上采样操作：将经过最后一层卷积层CONV19的特征图进行2倍上采样，并将采样结果与AVGP4输出的特征图进行融合；再将融合结果进行2倍上采样，并将采样结果与AVGP3输出的特征图进行融合；再将融合结果进行8倍上采样，将特征图恢复和原图一样的尺寸大小；
S2.8：最后使用softmax分类器做逐像素预测，softmax多分类层会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；
S2.9：步骤S2.8中所述的“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
S2.10：步骤S2.8中所述的损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax多分类层的输出向量和标注的样本数据的标签值做交叉熵处理，公示(3)给出了交叉熵的计算公式：
Figure FDA0002484287400000031
其中，y′i指标注的标签值当中的第i个元素的值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。
5.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S3中，所述的利用训练得到的全卷积神经网络对待测图像进行语义分割后生成像素值在[0,2]之间的8位JPG格式的分割结果图，其长为H像素、宽为W像素，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，为便后续进行水位线检测，将该分割结果图内的各部分像素值均扩大100倍，即水体部分的像素值为0，水尺部分的像素值为100，水草部分的像素值为200。
6.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S4中，所述的在语义分割图像中检测水尺水位线及识别有效性包括以下步骤：
S4.1：根据公式(4)计算8位分割结果图像素值水平投影：
S(r)＝B(r,1)+B(r,2)+B(r,3)+…+B(r,W) (4)
其中，B(r,w)为像素(r,w)处的像素值，r为像素的行坐标，w为像素的列坐标，r＝1,2,3,…,H，w＝1,2,3,…,W；
S4.2：设定固定阈值Tr和Tg，Tr确定水尺部分，Tg确定水草部分，在分割结果图像素值水平投影中自上而下进行遍历，S(r)＜Tr的像素行坐标为水体部分，记为rw，Tr＜S(r)＜Tg的像素行坐标为水尺部分，记为rr，S(r)＞Tg的像素行坐标为水草部分，记为rg；
S4.3：通过计算水体部分的垂直方向的像素长度确定水位线位置L；
L＝rw2-rw1 (5)
其中，rw2为水体部分顶端的像素行坐标，rw1为水体部分底端的像素行坐标；
S4.4：识别检测结果的有效性，若rr＜rg＜rw，即水草部分的像素行坐标位于水尺部分像素行坐标和水体部分像素行坐标之间，则判断水位线区域有水草遮挡，标记该检测结果有水草干扰需要进行人工复检。
CN202010386698.0A 2020-05-09 2020-05-09 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 Active CN111598098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386698.0A CN111598098B (zh) 2020-05-09 2020-05-09 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386698.0A CN111598098B (zh) 2020-05-09 2020-05-09 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法

Publications (2)

Publication Number Publication Date
CN111598098A true CN111598098A (zh) 2020-08-28
CN111598098B CN111598098B (zh) 2022-07-29

Family

ID=72183883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386698.0A Active CN111598098B (zh) 2020-05-09 2020-05-09 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法

Country Status (1)

Country Link
CN (1) CN111598098B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164224A (zh) * 2020-09-29 2021-01-01 杭州锘崴信息科技有限公司 信息安全的交通信息处理系统、方法、设备及存储介质
CN112163496A (zh) * 2020-09-22 2021-01-01 广东华南水电高新技术开发有限公司 一种基于语义分割的嵌入式终端水库水位预警方法
CN112508986A (zh) * 2020-12-04 2021-03-16 武汉大学 一种基于深度卷积网络与随机场的水位测量方法
CN112883969A (zh) * 2021-03-01 2021-06-01 河海大学 一种基于卷积神经网络的降雨强度检测方法
CN112926386A (zh) * 2021-01-21 2021-06-08 徐一帆 一种水文地质中含水层与隔水层的识别方法
CN115359430A (zh) * 2022-10-19 2022-11-18 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN115546235A (zh) * 2022-11-23 2022-12-30 成都见海科技有限公司 一种基于图像分割的水位识别方法、系统及存储介质
CN116229339A (zh) * 2023-02-06 2023-06-06 南京航空航天大学 一种基于语义分割和由粗到精策略的船闸水位检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、系统及相关组件

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、系统及相关组件

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163496A (zh) * 2020-09-22 2021-01-01 广东华南水电高新技术开发有限公司 一种基于语义分割的嵌入式终端水库水位预警方法
CN112163496B (zh) * 2020-09-22 2024-05-28 广东华南水电高新技术开发有限公司 一种基于语义分割的嵌入式终端水库水位预警方法
CN112164224A (zh) * 2020-09-29 2021-01-01 杭州锘崴信息科技有限公司 信息安全的交通信息处理系统、方法、设备及存储介质
CN112508986A (zh) * 2020-12-04 2021-03-16 武汉大学 一种基于深度卷积网络与随机场的水位测量方法
CN112508986B (zh) * 2020-12-04 2022-07-05 武汉大学 一种基于深度卷积网络与随机场的水位测量方法
CN112926386B (zh) * 2021-01-21 2022-11-01 徐一帆 一种水文地质中含水层与隔水层的识别方法
CN112926386A (zh) * 2021-01-21 2021-06-08 徐一帆 一种水文地质中含水层与隔水层的识别方法
CN112883969B (zh) * 2021-03-01 2022-08-26 河海大学 一种基于卷积神经网络的降雨强度检测方法
CN112883969A (zh) * 2021-03-01 2021-06-01 河海大学 一种基于卷积神经网络的降雨强度检测方法
CN115359430A (zh) * 2022-10-19 2022-11-18 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN115359430B (zh) * 2022-10-19 2023-02-28 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN115546235A (zh) * 2022-11-23 2022-12-30 成都见海科技有限公司 一种基于图像分割的水位识别方法、系统及存储介质
CN116229339A (zh) * 2023-02-06 2023-06-06 南京航空航天大学 一种基于语义分割和由粗到精策略的船闸水位检测方法

Also Published As

Publication number Publication date
CN111598098B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
Jianya et al. A review of multi-temporal remote sensing data change detection algorithms
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
CN109376591B (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN111914767B (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112801227B (zh) 一种台风识别模型的生成方法、装置、设备及存储介质
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN115880594A (zh) 一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN116434230A (zh) 一种复杂环境下的船舶水尺读数方法
CN113378642A (zh) 一种对农村违法占地建筑物进行检测的方法
CN115578695B (zh) 一种自由拍摄视角的水尺水位机器视觉检测方法及装置
CN116129320A (zh) 基于视频sar的目标检测方法、系统及设备
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
CN115205704A (zh) 高分辨率遥感影像小样本高精度建筑分割提取方法及装置
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant