CN110956172B - 一种基于图像语义分割的水尺识别方法 - Google Patents

一种基于图像语义分割的水尺识别方法 Download PDF

Info

Publication number
CN110956172B
CN110956172B CN201911128971.3A CN201911128971A CN110956172B CN 110956172 B CN110956172 B CN 110956172B CN 201911128971 A CN201911128971 A CN 201911128971A CN 110956172 B CN110956172 B CN 110956172B
Authority
CN
China
Prior art keywords
water gauge
image
semantic segmentation
water
trans
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911128971.3A
Other languages
English (en)
Other versions
CN110956172A (zh
Inventor
单森华
庄自成
吴闽帆
戴诗琪
陈佳佳
林永清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Istrong Technology Co ltd
Original Assignee
Istrong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Istrong Technology Co ltd filed Critical Istrong Technology Co ltd
Priority to CN201911128971.3A priority Critical patent/CN110956172B/zh
Publication of CN110956172A publication Critical patent/CN110956172A/zh
Application granted granted Critical
Publication of CN110956172B publication Critical patent/CN110956172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像语义分割的水尺识别方法，包括以下步骤：步骤S1:采集水尺图像样本，并进行预处理；步骤S2:构建水尺语义分割模型，并预训练；步骤S3:训练水尺语义分割模型，并微调得到最佳水尺语义分割模型；步骤S4:对待识别水尺图像进行ROI截取与预处理；步骤S5:生成掩膜图片；步骤S6:筛选出最终的水尺候选区域；步骤S7:采用Canny算子进行边缘检测，获得候选区域边缘的点，之后区分出上下左右四条边的候选点，并使用基于Ransac的直线拟合算法，分别拟合出上下左右四条边；步骤S8:将识别出的水尺区域与识别出的水尺读数位置投射到原图像中,并计算得到的实际水尺刻度。本发明利用远程水尺监控图像，识别出水尺水位进而计算出图像水域当前水位。

Description

一种基于图像语义分割的水尺识别方法
技术领域
本发明涉及一种基于图像语义分割的水尺识别方法。
背景技术
水位测量的主要方式有利用水位计测量和借助水尺测量等。在传 统的水位观测中，往往使用水位计来实现水位的远程和自动化采集， 但水位计测量的准确性容易受到水面波动等各种因素的影响，所以实 际应用中也会结合其他检测信息来确保水尺检测的准确性。而利用水 尺进行水位测量则是另一种十分直观和常见的方式。近年来摄像头远 程监控已经成为水文检测单位的标准配置。因监控摄像头技术相对成 熟，维护成本低，一些水位监测单位在进行水位测量时，会采取水位 计测量结合水尺监控图像读取水位的方式。
近几年来，人工智能及图像识别技术快速发展，已经出现许多基 于深度学习的目标识别和图像分割算法。这使得基于监控图像来进行 高精度的自动化水尺检测及水位测量成为可能。
发明内容
有鉴于此，本发明的目的在于提供一种基于图像语义分割的水尺 识别方法，利用远程水尺监控图像，识别出水尺水位进而计算出图像 水域当前水位。
为实现上述目的，本发明采用如下技术方案：
一种基于图像语义分割的水尺识别方法，包括以下步骤：
步骤S1:采集水尺图像样本，并进行ROI截取，预处理和样本增广；
步骤S2:构建水尺语义分割模型，并预训练；
步骤S3:根据预处理后的水尺图像样本，训练水尺语义分割模型， 并进行微调和超参数调节得到最佳水尺语义分割模型；
步骤S4:对待识别水尺图像进行ROI截取与预处理；
步骤S5:将预处理后的待识别水尺图像输入最佳水尺语义分割模型， 生成水尺区域的掩膜图片；
步骤S6:根据得到的水尺区域的掩膜图片，采用筛选算法，结合 白色区域的大小，位置和长宽方向信息，筛选出最终的水尺候选区域；
步骤S7:根据得到的最终的水尺候选区域，采用Canny算子进行 边缘检测，获得候选区域边缘的点，之后区分出上下左右四条边的候 选点，并使用基于Ransac的直线拟合算法，分别拟合出上下左右四 条边；
步骤S8:将识别出的水尺区域与识别出的水尺读数位置投射到原 图像中,并计算得到的实际水尺刻度。
进一步的，所述步骤S1具体为：
步骤S11:采集包含有水尺的监控图像,并保存为图片形式；
步骤S12:对水尺图片进行ROI标注和水尺语义分割标注处理；
步骤S13:根据水尺语义分割标注，生成表示水尺区域的掩膜图片， 并根据ROI标注，对原水尺图片和生成掩膜图片进行剪裁，剪裁后 形成的图片与掩膜，通过缩放到特定大小作为水尺图像样本。
步骤S14：对以上样本进行样本增广扩充样本，样本增广的方式包 括：斜切，平移，缩放，左右翻转，亮度变化，饱和度变化，锐度变 化，颜色变化。
进一步的，所述水尺语义分割模型采用的是深度卷积神经网络模型。
进一步的，所述深度卷积神经网络为融合了resnet34的Unet网络， 具体为：
(1)网络输入图片为3通道的宽为W高为H的图片，其中W和 H为32的整数倍；
(2)图片首先经过Conv1，进行了一个通道数为64的卷积核大小 为7×7卷积层的操作，并在激活函数操作后传给下一层；
(3)在Conv2中，先进行了3×3的最大池化操作，再经过了一个
Figure BDA0002277738470000031
的残差模块；
(4)Conv3，Conv4，Conv5分别对应了拥有4，6，3个残差学习 结构的残差模块；
(5)Conv5的结果经过转置卷积，传给了Trans_conv1。Trans_conv1 为一个
Figure BDA0002277738470000032
的上采样模块；
(6)Trans_conv1同时接受了Conv5经过上采样的结果和Conv5的 直接结果，将两者拼接，作为该层的输入；
(7)Trans_conv2，Trans_conv3，Trans_conv4和Trans_conv5都为 
Figure BDA0002277738470000033
的上采样模块，且Trans_conv2,Trans_conv3和Trans_conv4 首先接受了自身上一层的结果并同时分别接受了Conv4，Conv3， Conv2的结果作为额外的输入，之后将上一层的结果和额外输入拼接， 作为本层的输入，而Trans_conv5并不接受额外的拼接层；
(8)Full_connnect，先对Trans_conv5进行通道数为1的1×1卷积 操作，相当于一个全连接层，之后接一个sigmoid函数作为输出的激 活函数；
(9)输出一个宽为W，高为H的单通道图片。
进一步的，所述水尺语义分割模型通过使用COCO或ImageNet或 同等量级的开源数据集中的任一数据集进行预训练。
进一步的，所述步骤S3具体为：
步骤S31:将预处理后的水尺图像样本分为训练集样本和验证集样 本；
步骤S32:根据增广后的训练集样本，对预训练后的水尺语义分割模 型进行迭代训练；
步骤S33:用不同的超参数设置，找到最优的超参数组合，使模型在 验证集上的损失函数最低，得到最佳水尺语义分割模型。
进一步的，所述步骤S8具体为：
步骤S81:针对每个水尺场景设置三条刻度线，记录下刻度线的在 水尺中的读数；
步骤S82：将识别出的水尺区域换算到原始图像，并计算其底边中 点的高度像素值y_p。
步骤S83：分别获得预设三条刻度线中上面两条线的读数差 d1_scale_top_mid，上面两条线在图像中的像素高度差 d1_pixels_top_mid；
步骤S84:获得下面两条线的读数差d2_scale_mid_bot,和像素高度 差d2_pixels_mid_bot；
步骤S85:计算出每单位长度所含像素点的畸变系数；
步骤S86:根据畸变系数，将对应于水尺读数方向的区域按照厘米切 割；
步骤S87:实际计算水位读数时，根据语义分割模块拟合出的底边所 对应的像素点y_p，以及所处的厘米块的像素位置，根据就近原则来 获取读数；
步骤S88:根据获取的读数，再加上0刻度的实际水位数字，即为最 终的水尺读数。
进一步的，所述像素点的畸变系数为：
Figure BDA0002277738470000051
本发明与现有技术相比具有以下有益效果：
1、本发明基于深度卷积神经网络，并运用截取ROI，图像增广， 昼夜分类识别的水尺语义分割网络训练方法，得到效果更好的水尺语 义分割模型。
2、本发明基于候选区域筛选模块，Ransac算法以及修正模块的 水尺拟合方法，得到的水尺读数精度好、正确率高。
附图说明
图1是本发明一实施例中水尺语义分割的深度卷积神经网络训 练方法流程图；
图2是本发明一实施例中用于训练水尺语义分割网络的样本；
图3是本发明一实施例中ROI标注和水尺语义分割标注示意图；
图4是本发明一实施例中根据水尺语义分割标注生成的掩膜示 意图；
图5是本发明一实施例中裁剪后的水尺图片和掩膜示意图；
图6是本发明一实施例中融合resnet34的Unet；
图7是本发明一实施例中resnet34的残差模块；
图8是本发明一实施例中Unet的上采样模块；
图9是本发明一实施例中基于图像语义分割的水尺识别流程图；
图10是本发明一实施例中水尺站点设置示意图；
图11是本发明一实施例中水尺语义分割候选区域示意图；
图12是本发明一实施例中水尺识别的输入，掩膜与投射到原图 的结果；
图13是本发明一实施例中水尺识别的输入，掩膜与投射原图区 域结果。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于图像语义分割的水尺刻度识别 方法，包括以下步骤：
步骤S1:采集水尺图像样本，并进行ROI截取，预处理与样本增广；
步骤S2:构建水尺语义分割模型，并预训练；
步骤S3:根据预处理后的水尺图像样本，训练水尺语义分割模型， 并进行微调和超参数调节得到最佳水尺语义分割模型；
步骤S4:对待识别水尺图像进行ROI截取与预处理；
步骤S5:将预处理后的待识别水尺图像输入最佳水尺语义分割模型， 生成水尺区域的掩膜图片；
步骤S6:根据得到的水尺区域的掩膜图片，采用筛选算法，结合 白色区域的大小，位置和长宽方向信息，筛选出最终的水尺候选区域；
步骤S7:根据得到的最终的水尺候选区域，采用Canny算子进行 边缘检测，获得候选区域边缘的点，之后区分出上下左右四条边的候 选点，并使用基于Ransac的直线拟合算法，分别拟合出上下左右四 条边；
步骤S8:将识别出的水尺区域与识别出的水尺读数位置投射到原 图像中,并计算得到的实际水尺刻度。
在本实施例中，所述步骤S1具体为：
步骤S11:采集包含有水尺的监控图像,作为水尺图像样本，每一张 监控图像即为一份样本。收集样本的时候要求拍摄画面清晰，同时需 要尽量收集不同类型的水尺样本，包括并不限于：水尺干净清晰的普 通样本，水尺底部有严重污染的样本，水尺被轻微遮挡的样本，水尺 上有光斑的样本，水尺在水面上倒影明显的样本，画面中无水尺得样 本等。参考样本如图2所示；
步骤S12:对水尺图像样本进行ROI标注和水尺语义分割标注处理；
ROI(region of interest)即感兴趣区域，指图片当中将实际被用于 训练的区域，此处标注为水尺所处的区域。对同一个水尺监控站点的 不同时段都会收集样本，而同一个水尺监控站点的样本中，要求水尺 在图片中的位置是固定的。因此针对同一个水尺站点，只需要标注一 次ROI。如图3所示，红色矩形框即为该水尺对应站点的ROI。
水尺语义分割标注即为标注出图像在水尺中的位置。首先要标注出 水尺的边缘位置，并根据标注生成掩膜。图3中绿色线段围绕成的封 闭区域即为水尺区域。
对之后用于训练的样本都需要进行ROI和水尺语义分割标注。
步骤S13:根据水尺语义分割标注，生成表示水尺区域的掩膜图片， 并根据ROI标注，对原水尺图片和生成掩膜图片进行剪裁，剪裁后 形成的图片与掩膜，得到预处理后的水尺图像样本。根据样本语义标 注，首先要生成表示水尺区域的掩膜图片，而后再根据ROI标注， 对原水尺图片和生成掩膜图片进行剪裁，剪裁后形成的图片与掩膜， 将作为用于训练神经网络的实际样本。图4展示了生成的原始大小的 掩膜。剪裁后的原始图片，剪裁后的掩膜如图5所示。本实施例采用 了深度学习领域常用的图像增广方法对样本进行了扩充。
在本实施例中，所述水尺语义分割模型采用的是深度卷积神经网 络模型。所述深度卷积神经网络为融合了resnet34的Unet网络，其 网络的基本思路为，以Unet为基本结构，特征提取部分采用resnet34 的结构，而上采样模块采保留Unet的原始结构。该网络的整体结构 如图6所示，表格1描述了详细的每个模块的输出大小。
表1融合resnet34的Unet结构
Figure BDA0002277738470000091
在本实施例中，首先要介绍两种在网络中使用的模块，一种是取 自resnet34中的残差模块，另一种是取自Unet中的上采样模块。
图6和表格1中
Figure BDA0002277738470000092
表示与resnet34中相同的残差模块.一个 resenet34的残差模块中包含B个相连的残差学习结构，单个残差学 习结构如图7所示：首先对输入进行了“卷积-激活-卷积”操作，其中 “N×N,F”表示通道数为F的N×N卷积核。并把输入和这一操作的结 合相加，对相加的结果再进行激活函数作为整个残差学习结构的输出。
此外，图6和表格1中的
Figure BDA0002277738470000093
表示与Unet中的上采样模块。 上采样模块的结构如图8所示：首先对输入进行转置卷积操作，如果 有额外输入的拼接层，则拼接上采样的结果与拼接层，之后再对该结 果进行“卷积-激活-卷积-激活”操作，并输出结果。卷积核采用的是通 道数为F，大小为N×N的卷积核。该模块中，拼接的方式为对通道 进行拼接，例如当转置卷积后的结果大小为a1×b1×F1，额外输入的 拼接层的大小为a2×b2×F2，要求转置卷积与拼接层的除通道外的特 征大小相同(即a1和a2是相同的，b1和b2也是相同的)，拼接后的 结果为a1×b1×(F1+F2)。
基于以上，融合resnet34的Unet网络整体描述如下：
(1)网络输入图片为3通道的宽为W高为H的图片，其中W和 H为32的整数倍；
(2)图片首先经过Conv1，进行了一个通道数为64的卷积核大小 为7×7卷积层的操作，并在激活函数操作后传给下一层；
(3)在Conv2中，先进行了3×3的最大池化操作，再经过了一个
Figure BDA0002277738470000101
的残差模块；
(4)Conv3，Conv4，Conv5分别对应了拥有4，6，3个残差学习 结构的残差模块；
(5)Conv5的结果经过转置卷积，传给了Trans_conv1。Trans_conv1 为一个
Figure BDA0002277738470000102
的上采样模块；
(6)Trans_conv1同时接受了Conv5经过上采样的结果和Conv5的 直接结果，将两者拼接，作为该层的输入；
(7)Trans_conv2，Trans_conv3，Trans_conv4和Trans_conv5都为 
Figure BDA0002277738470000103
的上采样模块，且Trans_conv2,Trans_conv3和Trans_conv4 首先接受了自身上一层的结果并同时分别接受了Conv4，Conv3， Conv2的结果作为额外的输入，之后将上一层的结果和额外输入拼接， 作为本层的输入，而Trans_conv5并不接受额外的拼接层；
(8)Full_connnect，先对Trans_conv5进行通道数为1的1×1卷积 操作，相当于一个全连接层，之后接一个sigmoid函数作为输出的激 活函数；
(9)输出一个宽为W，高为H的单通道图片。
进一步的，所述水尺语义分割模型通过使用COCO或ImageNet或 同等量级的开源数据集中的任一数据集进行预训练。
在本实施例中，水尺语义分割模型首先通过使用COCO或 ImageNet或同等量级的开源数据集中的任一数据集进行预训练，之 后在预训练过的模型基础上，使用步骤1.3中制作的增广样本进行训 练，训练样本将被分为训练集和验证集。训练需要执行一定次数的迭 代，在一定迭代次数内模型的损失函数将会降低。运用不同的超参数 设置，以求找到最好的超参数组合，使模型在验证集上的损失函数最 低，损失函数使用的是基于Dice函数的二元交互熵损失函数。
此外微调过程中需要对超参数进行参数调优，即模型在不同的超 参数设置下，运用上述数据集进行训练，并找出能使模型在验证集上 获得最低损失函数的超参数组合。超参数包括，输入图片的W，H 的大小，学习率，每个批次的样本量，训练总批次，训练提前停止的 条件等。
微调后最后训练出的最佳水尺语义分割模型，用于水尺识别。
在本实施例中，针对每个水尺站点，要预先设置好拍摄位置，以 及相对应的ROI区域(如图10的红色矩形框)。每次识别时，拍摄 的照片是相同位置的照片。此外，还需要设置如图10中的三条绿色 线及其水尺读数，该线平行于水尺读数线，并要求刻度线尽量分开。最后还需要输入水尺0刻度的实际水位。
在获取某一时刻的水尺照片后，要根据预设值的ROI进行图片 截取，如图10所示。根据步骤1.5中经过模型训练和超参数调优， 可以确定输入图片的宽W和高H，之后将截取的水尺图片用双线性 插值法调整到该大小。
在本实施例中，对最终候选区域，首先用Canny算子进行边缘检 测，获得候选区域边缘的点，之后区分出上下左右四条边的候选点， 并使用基于Ransac的直线拟合算法，分别拟合出上下左右四条边[7]。 其中，由于实际拟合情况下，底部容易受水尺脏污影响，导致拟合的 底边与实际水尺底边位置有偏差。此时对水尺底边进行修正，取事先 设置的三条水尺读数线的平均斜率，作为新底边斜率，取识使用 Ransac别出的底边的中点，作为新底边的中点。该步骤返回即为水尺 所在区域的四边形。
在本实施例中，所述步骤S8具体为：
步骤S81:针对每个水尺场景设置三条刻度线，记录下刻度线的在水 尺中的读数；
步骤S82：将识别出的水尺区域换算到原始图像，并计算其底边中 点的高度像素值y_p。
步骤S83：分别获得预设三条刻度线中上面两条线的读数差 d1_scale_top_mid，上面两条线在图像中的像素高度差 d1_pixels_top_mid；
步骤S84:获得下面两条线的读数差d2_scale_mid_bot,和像素高度 差d2_pixels_mid_bot；
步骤S85:计算出每单位长度所含像素点的畸变系数；
步骤S86:根据畸变系数，将对应于水尺读数方向的区域按照厘米切 割；
步骤S87:实际计算水位读数时，根据语义分割模块拟合出的底边所 对应的像素点y_p，以及所处的厘米块的像素位置，根据就近原则来 获取读数；
步骤S88:根据获取的读数，再加上0刻度的实际水位数字，即为最 终的水尺读数。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所 做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于图像语义分割的水尺识别方法，其特征在于，包括以下步骤：
步骤S1:采集水尺图像样本，并进行ROI截取，预处理和样本增广；
步骤S2:构建水尺语义分割模型，并预训练；
步骤S3:根据预处理后的水尺图像样本，训练水尺语义分割模型，并进行微调和超参数调节得到最佳水尺语义分割模型；
步骤S4:对待识别水尺图像进行ROI截取与预处理；
步骤S5:将预处理后的待识别水尺图像输入最佳水尺语义分割模型，生成水尺区域的掩膜图片；
步骤S6:根据得到的水尺区域的掩膜图片，采用筛选算法，结合白色区域的大小，位置和长宽方向信息，筛选出最终的水尺候选区域；
步骤S7:根据得到的最终的水尺候选区域，采用Canny算子进行边缘检测，获得候选区域边缘的点，之后区分出上下左右四条边的候选点，并使用基于Ransac的直线拟合算法，分别拟合出上下左右四条边；
步骤S8:将识别出的水尺区域与识别出的水尺读数位置投射到原图像中,并计算得到的实际水尺刻度；
所述步骤S1具体为：
步骤S11:采集包含有水尺的监控图像,并保存为图片形式；
步骤S12:对水尺图片进行ROI标注和水尺语义分割标注处理；
步骤S13:根据水尺语义分割标注，生成表示水尺区域的掩膜图片，并根据ROI标注，对原水尺图片和生成掩膜图片进行剪裁，剪裁后形成的图片与掩膜，通过缩放到特定大小作为水尺图像样本；
步骤S14：对水尺图像样本进行样本增广扩充样本；
所述水尺语义分割模型采用的是深度卷积神经网络模型；
所述深度卷积神经网络为融合了resnet34的Unet网络，具体为：
(1)网络输入图片为3通道的宽为W高为H的图片，其中W和H为32的整数倍；
(2)图片首先经过Conv1，进行了一个通道数为64的卷积核大小为7×7卷积层的操作，并在激活函数操作后传给下一层；
(3)在Conv2中，先进行了3×3的最大池化操作，再经过了一个
Figure FDA0004045247310000021
的残差模块；
(4)Conv3，Conv4，Conv5分别对应了拥有4，6，3个残差学习结构的残差模块；
(5)Conv5的结果经过转置卷积，传给了Trans_conv1；Trans_conv1为一个
Figure FDA0004045247310000022
的上采样模块；
(6)Trans_conv1同时接受了Conv5经过上采样的结果和Conv5的直接结果，将两者拼接，作为该层的输入；
(7)Trans_conv2，Trans_conv3，Trans_conv4和Trans_conv5都为
Figure FDA0004045247310000023
的上采样模块，且Trans_conv2,Trans_conv3和Trans_conv4首先接受了自身上一层的结果并同时分别接受了Conv4，Conv3，Conv2的结果作为额外的输入，之后将上一层的结果和额外输入拼接，作为本层的输入，而Trans_conv5并不接受额外的拼接层；
(8)Full_connnect，先对Trans_conv5进行通道数为1的1×1卷积操作，相当于一个全连接层，之后接一个sigmoid函数作为输出的激活函数；
(9)输出一个宽为W，高为H的单通道图片；
所述步骤S8具体为：
步骤S81:针对每个水尺场景设置三条刻度线，记录下刻度线的在水尺中的读数；
步骤S82：将识别出的水尺区域换算到原始图像，并计算其底边中点的高度像素值y_p；
步骤S83：分别获得预设三条刻度线中上面两条线的读数差d1_scale_top_mid，上面两条线在图像中的像素高度差d1_pixels_top_mid；
步骤S84:获得下面两条线的读数差d2_scale_mid_bot,和像素高度差d2_pixels_mid_bot；
步骤S85:计算出每单位长度所含像素点的畸变系数；
步骤S86:根据畸变系数，将对应于水尺读数方向的区域按照厘米切割；
步骤S87:实际计算水位读数时，根据语义分割模块拟合出的底边所对应的像素点y_p，以及所处的厘米块的像素位置，根据就近原则来获取读数；
步骤S88:根据获取的读数，再加上0刻度的实际水位数字，即为最终的水尺读数。
2.根据权利要求1所述的基于图像语义分割的水尺识别方法，其特征在于，所述水尺语义分割模型通过使用COCO或ImageNet或同等量级的开源数据集中的任一数据集进行预训练。
3.根据权利要求1所述的基于图像语义分割的水尺识别方法，其特征在于，所述步骤S3具体为：
步骤S31:将预处理后的水尺图像样本分为训练集样本和验证集样本；
步骤S32:根据增广后的训练集样本，对预训练后的水尺语义分割模型进行迭代训练；
步骤S33:用不同的超参数设置，找到最优的超参数组合，使模型在验证集上的损失函数最低，得到最佳水尺语义分割模型。
4.根据权利要求1所述的基于图像语义分割的水尺识别方法，其特征在于，所述像素点的畸变系数为：
Figure FDA0004045247310000041
CN201911128971.3A 2019-11-18 2019-11-18 一种基于图像语义分割的水尺识别方法 Active CN110956172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128971.3A CN110956172B (zh) 2019-11-18 2019-11-18 一种基于图像语义分割的水尺识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128971.3A CN110956172B (zh) 2019-11-18 2019-11-18 一种基于图像语义分割的水尺识别方法

Publications (2)

Publication Number Publication Date
CN110956172A CN110956172A (zh) 2020-04-03
CN110956172B true CN110956172B (zh) 2023-04-07

Family

ID=69977624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128971.3A Active CN110956172B (zh) 2019-11-18 2019-11-18 一种基于图像语义分割的水尺识别方法

Country Status (1)

Country Link
CN (1) CN110956172B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476785B (zh) * 2020-04-20 2023-04-07 四创科技有限公司 基于位置记录的夜间红外反光水尺检测方法
CN111626190B (zh) * 2020-05-26 2023-07-07 浙江大学 基于聚类分区进行刻度识别的水位监测方法
CN112215907A (zh) * 2020-09-17 2021-01-12 上海电机学院 一种焊缝缺陷自动提取方法
CN112183470B (zh) * 2020-10-28 2022-07-19 长江大学 一种船舶水尺识别方法、设备及存储介质
CN112766274B (zh) * 2021-02-01 2023-07-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN112785592A (zh) * 2021-03-10 2021-05-11 河北工业大学 基于多重扩张路径的医学影像深度分割网络
CN113223073B (zh) * 2021-04-16 2022-04-19 北京科技大学 一种河道水位评估方法
CN113516081A (zh) * 2021-07-16 2021-10-19 廖佳庆 一种通过深度学习图像识别技术实现虚拟水尺识别水位的方法
CN115218798B (zh) * 2022-09-20 2022-12-09 西安中科慧远视觉技术有限公司 测量板材孔和/或槽尺寸的光学测量系统、方法及介质
CN115359430B (zh) * 2022-10-19 2023-02-28 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN115880683B (zh) * 2023-03-02 2023-05-16 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于深度学习的城市内涝积水智能水位检测方法
CN116453104B (zh) * 2023-06-15 2023-09-08 安徽容知日新科技股份有限公司 液位识别方法、装置、电子设备及计算机可读存储介质
CN116883808A (zh) * 2023-06-27 2023-10-13 浪潮智慧科技有限公司 一种提升水尺水位识别响应速度的方法、设备及存储介质
CN117437519B (zh) * 2023-11-06 2024-04-12 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072636A (ja) * 2006-09-15 2008-03-27 Nagaoka Univ Of Technology 画像処理システム、画像処理方法、及びプログラム
CN102494733A (zh) * 2011-12-12 2012-06-13 西安电子科技大学 基于图像处理的水位监测系统及方法
CN103123723A (zh) * 2013-01-23 2013-05-29 中国人民解放军信息工程大学 一种基于Canny边缘检测与主动轮廓模型的水边线提取方法
CN103886612A (zh) * 2014-04-08 2014-06-25 马鸿旭 一种基于水库监控摄像头的水位自动提取方法及系统
CN110211142A (zh) * 2019-05-31 2019-09-06 南京深地智能建造技术研究院有限公司 一种基于视频图像处理的深基坑的坑外水位在线检测方法
CN110443243A (zh) * 2019-08-07 2019-11-12 浙江大华技术股份有限公司 水位监测方法、存储介质、网络设备和水位监测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072636A (ja) * 2006-09-15 2008-03-27 Nagaoka Univ Of Technology 画像処理システム、画像処理方法、及びプログラム
CN102494733A (zh) * 2011-12-12 2012-06-13 西安电子科技大学 基于图像处理的水位监测系统及方法
CN103123723A (zh) * 2013-01-23 2013-05-29 中国人民解放军信息工程大学 一种基于Canny边缘检测与主动轮廓模型的水边线提取方法
CN103886612A (zh) * 2014-04-08 2014-06-25 马鸿旭 一种基于水库监控摄像头的水位自动提取方法及系统
CN110211142A (zh) * 2019-05-31 2019-09-06 南京深地智能建造技术研究院有限公司 一种基于视频图像处理的深基坑的坑外水位在线检测方法
CN110443243A (zh) * 2019-08-07 2019-11-12 浙江大华技术股份有限公司 水位监测方法、存储介质、网络设备和水位监测系统

Also Published As

Publication number Publication date
CN110956172A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956172B (zh) 一种基于图像语义分割的水尺识别方法
CN105184779B (zh) 一种基于快速特征金字塔的车辆多尺度跟踪方法
US20090232358A1 (en) Method and apparatus for processing an image
CN101558355B (zh) 聚焦辅助系统和方法
US8953900B2 (en) Increased quality of image objects based on depth in scene
CN104048969A (zh) 一种隧道病害的识别方法
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN110909640A (zh) 水位线的确定方法及装置、存储介质、电子装置
CN111738229B (zh) 一种指针表盘刻度的自动读取方法
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN109635743A (zh) 一种结合stn模块的文本检测深度学习方法及系统
CN103544505A (zh) 面向无人机航拍图像的船只识别系统及方法
CN111724445B (zh) 一种大视野小尺寸识别码的识别方法及系统
CN109714530A (zh) 一种航空相机图像调焦方法
CN114913074A (zh) 一种深度网络语义分割的超像素无缝拼接方法及系统
CN116758136A (zh) 一种货物体积实时在线识别方法、系统、设备以及介质
CN106254855B (zh) 一种基于变焦测距的三维建模方法及系统
CN113627427B (zh) 一种基于图像检测技术的仪器仪表读数方法及系统
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN110751690B (zh) 铣床刀头视觉定位方法
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN112801195A (zh) 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN116721344A (zh) 基于航拍设备的植被检测方法、装置和设备
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116523885A (zh) 一种基于多尺度融合及深度学习的pcb缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant