CN117437519B - 一种无水尺水位识别方法及装置 - Google Patents

一种无水尺水位识别方法及装置 Download PDF

Info

Publication number
CN117437519B
CN117437519B CN202311462782.6A CN202311462782A CN117437519B CN 117437519 B CN117437519 B CN 117437519B CN 202311462782 A CN202311462782 A CN 202311462782A CN 117437519 B CN117437519 B CN 117437519B
Authority
CN
China
Prior art keywords
water level
feature
model
attention
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311462782.6A
Other languages
English (en)
Other versions
CN117437519A (zh
Inventor
丁晓嵘
张新
李晓梅
聂明杰
李楠
王柏春
张兴业
高涵
王娜
田晓宇
项乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smart Water Development Research Institute
Original Assignee
Beijing Smart Water Development Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smart Water Development Research Institute filed Critical Beijing Smart Water Development Research Institute
Priority to CN202311462782.6A priority Critical patent/CN117437519B/zh
Publication of CN117437519A publication Critical patent/CN117437519A/zh
Application granted granted Critical
Publication of CN117437519B publication Critical patent/CN117437519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提出了一种无水尺水位识别方法及装置，联合sift与MoCB‑Unet网络进行无水尺水位识别。所述方法包括：构建MoCB‑Unet网络用于分割水位图像中的水位线；对MoCB‑Unet模型，使用训练集训练模型，进行参数更新；将训练后参数最优的模型输出到文件；把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度。本发明在解码部分与相邻的高层特征进行跳跃式连接，逐层提升水位线分割的精度；最后，联合sift算子和Flann算法修正相机抖动造成的水位线错位问题，同时可部署于边缘端设备上无水尺水位智能识别技术。

Description

一种无水尺水位识别方法及装置
技术领域
本发明涉及计算机视觉和模式识别领域，具体涉及一种可部署于边缘端设备的无水尺水位智能识别方法及装置，尤其涉及一种联合sift与MoCB-Unet进行无水尺水位识别的方法及装置。
背景技术
水位的高低和变化趋势等测量数据作为水文研究的必要数据，在水文学和水资源管理中不可或缺。传统的水位监测方法通常依赖于人工测量或使用传感器设备。人工测量水位的方式，需要人员进行实地测量和手工传录数据，不仅造成人力资源的浪费，且具有测量效率低效、数据相对离散和易出错等问题。而能够实现实时监测的水位测量传感器，虽然具备监测精度较高、低功耗、数据传输方便等优势，但存在安装维护成本高、依赖电力供应、测量范围有限以及受环境影响较大等问题。现在越来越多的水库、河道等水域区域安装了视频监控设备，这些设备能够提供高分辨率的图像和视频数据，利用这些视频数据进行水位识别成为了一种可行的方案。
随着GPU等硬件技术的快速发展和视频监控系统在智慧水务中的推广普及，基于深度学习的智能水位识别已成为研究的主导。该技术利用深度神经网络搭建水位智能识别模型，实现无接触式水位实时自动读取，为水利管理决策提供支持。现有的水位识别方法如：基于SSD检测模型的自动检测识别水尺上的水位高度，以及基于图像分割模型的水位线检测算法，通过对目标图像分割水位线，拟合预测水位高度；或对水位标尺图像进行分割，用来提取水平面坐标，从而计算实际水位值。上述方法对光照变化、异物遮挡、图像模糊具有一定的鲁棒性，但在实时连续的水位检测时，识别精度较低。另外，上述方法均将水尺作为水位识别的主体。
然而，在全天候实时水位监测过程中，由于不同河湖水库的地面环境与光照气候条件不同，存在着水位识别现场是否部署水尺、恶劣环境图像色差大、相机抖动等问题，因此把水尺作为研究主体进行水位识别存在一定的局限性。此外，将结构复杂参数庞大的分割模型部署于边缘端设备时，对网络参数量以及模型大小有着一定的限制。在这种情况下，亟需一种可部署于边缘端设备上的无水尺水位智能识别技术。
发明内容
本发明意在提供一种无水尺水位识别方法及装置，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明的一个实施方式，提出一种无水尺水位识别方法，联合sift与MoCB-Unet进行无水尺水位识别，包括如下步骤：
S1 构建MoCB-Unet网络用于分割水位图像中的水位线；
S2 对MoCB-Unet模型，使用训练集训练模型，进行参数更新；
S3 模型输出，将训练后参数最优的模型输出到文件；
S4 模型使用，把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度。
进一步地，所述S1具体包括：
S1.1 在传统U-net网络编码部分的主干特征提取网络部分，使用MobilenetV2的深度可分离卷积取代传统卷积，进行特征提取；
S1.2 对所述特征，采用MobilenetV2的倒残差结构，实现U-net编码部分的特征提取；
S1.3 对上述获取的最高层编码特征，采用倒残差网络和卷积核为3×3的卷积操作，扩大原特征通道数，并上采样到与相邻低层特征相同的尺度，用于与相邻低层特征的跳跃式连接。
进一步地，还包括：
S1.4 除最高层特征外，将编码部分获取的逐层特征，首先分别输入CBAM模块，生成通道注意力特征映射；
S1.5 将CBAM模块获取逐层通道注意力特征作为输入，接着分别输入CBAM模型的空间注意力部分，得到空间注意力特征映射；
S1.6 将空间注意力特征和通道注意力特征点乘，最终得到结合了CBAM注意力机制的特征映射；
S1.7 将所述结合了CBAM注意力机制的特征映射，在跳跃式连接部分，与上采样后的相邻高层特征相融合。
进一步地，所述S1.1中的MobileNetV2的深度可分离卷积分为深度卷积和逐点卷积，深度卷积将图像中每个输入通道与一个独立的卷积核进行卷积，将每个通道之间的特征分离；然后，对每个通道的输出特征采用1×1卷积核进行逐点卷积，将深度卷积得到的特征图进行特征融合。
进一步地，所述倒残差结构包括，首先使用1×1卷积核进行上采样，提升通道数， 再使用深度可分离卷积对升维后的特征图进行特征提取，最后使用1×1卷积核进行下采 样，降低特征通道数；重复上述操作直到深度可分离卷积提取特征步长为1时，对输入特征与输出特征进行残差连接，每个残差块的输入和输出之间的关系可以表示为：
（1）
其中，为特征的倒残差提取。
进一步地，所述S1.4生成通道注意力特征映射具体包括：
采用公式（2）所示的通道注意力模型，即：分别经过全局平均池化和全局最大池 化，生成池化后的特征描述子，将二者分别输入全连接层后相加；经过卷积后，采用激活函 数sigmoid进行非线性化，得到通道注意力映射，最后将通道注意力映射和原特征相乘，生 成通道注意力特征映射为：
（2）
其中，为输入特征，为全局平均池化操作，为全局最大池化 操作，表示全连接操作，表示Sigmoid激活函数，为点乘。
进一步地，所述S1.5得到空间注意力特征映射，具体包括：
采用公式（3）所示的空间注意力模型，即：分别进行全局平均池化和全局最大池 化，并将这两个池化结果首尾连接后，进行卷积操作，将通道数压缩到一维，经过sigmoid激 活函数，得到结合了空间注意力机制的特征映射为：
（3）
其中，为输入特征，为全局平均池化操作，为全局最大池化 操作，表示Sigmoid激活函数，表示连接操作，表示卷积核为7×7 的卷积操作。
进一步地，所述S1.6得到结合了CBAM注意力机制的特征映射，具体包括：
采用公式（4）将空间注意力特征和通道注意力特征点乘，最终得到结 合了CBAM注意力机制的特征映射为：
（4）
进一步地，所述S4模型使用具体包括：
S4.1 把模型部署在边缘侧设备，将摄像头获取到的实时水位图像送入设备模型 进行图像分割，得到水位分割结果坐标为；
S4.2 使用Sift算法，获取实时水位图像与该站点特征水位图像的sift 特征描述子：；
S4.3 使用FLANN特征匹配算法，将特征水位图像的sift特征描述子和 实时水位图像的sift特征描述子快速搜索匹配，搜索出二者相匹配的特征描 述子；根据匹配点坐标，修正水位像素坐标为；
S4.4 通过最小二乘多项式拟合，求得 现实世界坐标与像素高度坐标映射函数，将水位像素高度转换为现实水位高度；
其中，为水位实际高程；为水位像素高程；为标定物实际高度与标 定值的偏差；—拟合得到的系数。
本发明的另一实施方式，提出一种无水尺水位识别装置，联合sift与MoCB-Unet进行无水尺水位识别，该装置包括：
构建模块，用于构建MoCB-Unet网络用于分割水位图像中的水位线；
模型训练模块，用于对MoCB-Unet模型，使用训练集训练模型，进行参数更新；
模型输出模块，用于将训练后参数最优的模型输出到文件；
模型使用模块，用于把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度。
本发明方案相对于现有技术具有以下有益效果：
（1）本发明使用轻量级的MobilenetV2用以编码部分的特征提取，将提取到的各层特征结合CBAM注意力模块，在解码部分与相邻的高层特征进行跳跃式连接，逐层提升水位线分割的精度。
（2）本发明的MoCB-Unet网络通过改进传统的U-net分割网络，对实时采集的水位图像进行水位线分割；对于分割后的图像，针对现场常见的相机抖动以及其他外部干扰造成的图像发生畸变问题，用同一场景中稳态下的水位图像作为特征水位图像，使用Sift分别获取特征水位图像与待识别水位图像的sift特征描述子，并使用Flann算法对二者的特征点进行快速匹配，进行畸变图像的矫正，修正水位线坐标。
附图说明
下面结合附图和具体实施方式对本发明作进一步的说明。
图1为本发明的一种联合sift与MoCB-Unet的无水尺水位识别方法流程图；
图2为本发明的一种训练样本示例图；
图3为本发明的一种MoCB-Unet网络结构示意图；
图4为本发明的一种Mobilenetv2的深度可分离卷积结构示意图；
图5为本发明的一种Mobilenetv2的倒残差结构示意图；
图6为本发明的一种CBAM注意力结构示意图；
图7为本发明的一种摄像机左抖动时图像特征匹配图；
图8为本发明的一种联合sift与MoCB-Unet的无水尺水位识别装置结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明主要基于U-net图像分割模型，提供一种无水尺水位识别方法及装置，联合sift与MoCB-Unet（结合Mobile-Net与CBAM注意力机制的Unet网络）网络进行无水尺水位识别。其中，MoCB-Unet网络通过改进传统的U-net分割网络，对实时采集的水位图像进行水位线分割；对于分割后的图像，针对现场常见的相机抖动以及其他外部干扰造成的图像发生畸变问题，用同一场景中稳态下的水位图像作为特征水位图像，使用Sift分别获取特征水位图像与待识别水位图像的sift特征描述子，并使用Flann（快速最近邻逼近搜索函数库）算法对二者的特征点进行快速匹配，进行畸变图像的矫正，修正水位线坐标。
图1为本发明的一种无水尺水位识别方法，联合sift与MoCB-Unet网络进行无水尺水位识别方法的流程图，下面将对本发明的具体实施进行阐述。
步骤1，数据准备：数据采集、数据标注和数据划分；
步骤1.1，实地采集1280×720像素的无水尺水位图像做为样本图像，如图2所示。
图2为本发明的一种训练样本示例图。所采样本包含来自于强光照、低光照、雾景、雨景、冰面、倒影、阴影以及摄像机抖动等不同因素的干扰。
步骤1.2，使用标注软件labelme将每一副样本图像标注为水面区域和背景区域，生成掩码图像。并将标注内容存于txt文件，原图像和标注内容存放于同一个文件夹。
步骤1.3，将样本图像和其标注信息划分为训练集、验证集和测试集，分别占比60%、20%、20%。
步骤2，构建MoCB-Unet网络用于分割水位图像中的水位线，包含以下子步骤：
步骤2.1，如图3所示，在传统U-net网络编码部分的主干特征提取网络；使用MobilenetV2的深度可分离卷积取代的传统卷积，进行特征提取。
图3为本发明的一种MoCB-Unet网络结构示意图，在传统U-net网络编码部分的主干特征提取网络；并且加入了深度卷积，跳跃连接，CBAM模块。
图3的网络是一个经典的全卷积网络（即网络中没有全连接操作）。网络的输入是一张 512×512 的边缘经过镜像操作的图片（input image tile），网络的左侧是由卷积和Max Pooling构成的一系列降采样操作，将这一部分叫做压缩路径（contracting path）。压缩路径由4个block组成，每个block使用了3个有效卷积和1个Max Pooling降采样，每次降采样之后Feature Map的个数乘2，因此有了图中所示的Feature Map尺寸变化。最终得到了尺寸为 32×32 的Feature Map。
网络的右侧部分中叫做扩展路径（expansive path）。同样由4个block组成，每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半（最后一层略有不同），然后和左侧对称的压缩路径的Feature Map合并，由于左侧压缩路径和右侧扩展路径的Feature Map的尺寸不一样，U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的（即图3中左侧虚线部分）。扩展路径的卷积操作依旧使用的是有效卷积操作，最终得到的Feature Map的尺寸是 256×256 。由于该任务是一个二分类任务，所以网络最终有两个输出，分别代表输出的两个不同的类别，即水面与背景。
图4为本发明的一种Mobilenetv2的深度可分离卷积结构示意图；分为深度卷积和逐点卷积，深度卷积将图像中每个输入通道与一个独立的卷积核进行卷积，将每个通道之间的特征分离；其后，对每个通道的输出特征采用1×1卷积核进行逐点卷积，将深度卷积得到的特征图进行特征融合。
步骤2.2，如图3所示，对步骤2.1输出的主干特征，采用MobilenetV2的倒残差结构，实现U-net编码部分的特征提取。
如图5所示为本发明的一种Mobilenetv2的倒残差结构示意图。所述倒残差结构具 体包括：首先使用1×1卷积核进行上采样，提升通道数，再使用深度可分离卷积对升维后的 特征图进行特征提取，最后使用1×1卷积核进行下采样，降低特征通道数；重复上述操作直 到深度可分离卷积提取特征步长为1时，对输入特征与输出特征进行残差连接。每 个残差块的输入和输出之间的关系可以表示为：
（1）
其中，为特征的倒残差提取。图5中左侧进行深度可分离卷积时步长为2，在 卷积同时会压缩特征图大小；右侧进行深度可分离卷积时步长为1，卷积时不会压缩特征图 大小，当步长为1时，进行残差连接。残差连接是将输入加入到输出里。
步骤2.3，对上述获取的最高层（压缩路径最终结果）编码特征，采用步长为1的倒残差网络和卷积核为3×3的卷积操作，将原特征通道数从原160维扩大到1280维，并上采样到与相邻低层特征相同的尺度，用于与相邻低层特征的跳跃式连接。
步骤2.4，除最高层编码特征外，将编码部分获取的逐层特征，分别输入到图6所示 的CBAM模块，生成通道注意力特征映射。
图6为本发明的一种CBAM注意力结构示意图，具体为：首先采用公式（1）所示的通 道注意力模型，即：分别经过全局平均池化和全局最大池化，生成池化后的特征描述子，将 二者分别输入全连接层后相加；经过通道数为C/2的1×1卷积和通道数为C的1×1卷积后， 采用激活函数sigmoid进行非线性化，得到通道注意力映射，最后将通道注意力映射和原特 征相乘，生成通道注意力特征映射。
（2）
步骤2.5，如图6所示，将CBAM模块获取逐层通道注意力特征作为输入特征， 接下来采用公式（2）所示的空间注意力模型，即：分别进行全局平均池化和全局最大池化， 并将这两个池化结果首尾连接后，进行一次7×7的卷积操作，将通道数压缩到一维，经过 sigmoid激活函数，得到结合了空间注意力机制的特征映射。
（3）
其中，为输入特征，为全局平均池化操作，为全局最大池化 操作，表示全连接操作，表示Sigmoid激活函数，表示连接操作，表示卷积核为7×7的卷积操作，为点乘。
步骤2.6，如图6所示，采用公式（3）将空间注意力特征和通道注意力特征点乘，最终得到结合了CBAM注意力机制的特征映射。
（4）
步骤2.7，将上述每层结合了CBAM注意力机制的特征映射，在跳跃式连接部分，与上采样后的相邻高层特征相融合。
步骤3，对MoCB-Unet模型，使用训练集训练模型，进行参数更新，每训练10轮后，使用验证集验证模型的分割精度，这个过程迭代100轮，当损失函数保持稳定，多次不连续下降时，终止迭代。
步骤4，模型输出：将训练后参数最优的模型输出到*.h5文件，以方便模型可移植到边缘端设备。
步骤5，模型使用：包含以下子步骤：
步骤5.1，把模型部署在边缘侧设备，将摄像头获取到的实时水位图像送入 设备模型进行水位线分割，得到水面分割结果的像素坐标；
步骤5.2，选用同一场景稳态下的水位图像作为特征水位图像，使用Sift算 法，分别获取实时水位图像与特征水位图像的sift特征描述子：和；
步骤5.3，以为输入的参照特征，使用FLANN库提供的KNN算法构建一个 针对的索引结构，将实时水位图像中的sift特征描述子作为查询 对象，利用索引结构进行近似最近邻搜索，找与相似的特征描述 子，筛选出二者相匹配的特征点；使用单应性矩阵变换，对实时水位图像进行旋转、变 换等操作，与特征水位图像进行对齐，得到修正后的实时水位图像和水位线像素坐标。
如图7所示为本发明的一种摄像机左抖动时图像特征匹配图。其中，图中(a-b)为选用的特征水位图像和摄像机向左抖动时实时水位图像示例，图中(c)为选用的正常视角下的特征水位图像，图中(d)为利用sift算子畸变矫正后的实时水位图像。
步骤5.4，通过最小二乘多项式拟合，求 得现实世界坐标与像素高度坐标映射函数，将水位像素高度转换为现实水位高度。
其中，为水位实际高程；为水位像素高程；为标定物实际高度与标 定值的偏差；为拟合得到的系数。
图8所示为本发明的另一实施方式，提出一种无水尺水位识别装置，联合sift与MoCB-Unet网络进行无水尺水位的识别，该装置具体包括：
构建模块，用于构建MoCB-Unet网络用于分割水位图像中的水位线；
模型训练模块，用于对MoCB-Unet模型，使用训练集训练模型，进行参数更新；
模型输出模块，用于将训练后参数最优的模型输出到文件；
模型使用模块，用于把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度。
本发明通过构建最优网络模型，进行训练，将训练得到的模型部署在边缘侧设备，利用设备在现场进行全天候不间断水位识别。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无水尺水位识别方法，联合sift与MoCB-Unet网络进行无水尺水位的识别，其特征在于，包括如下步骤：
S1 构建MoCB-Unet网络用于分割水位图像中的水位线；
S2 对MoCB-Unet模型，使用训练集训练模型，进行参数更新；
S3 模型输出，将训练后参数最优的模型输出到文件；
S4 模型使用，把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度；
所述S1构建MoCB-Unet网络用于分割水位图像中的水位线具体包括：
S1.1 在传统U-net网络编码部分的主干特征提取网络部分，使用MobilenetV2的深度可分离卷积取代传统卷积，进行特征提取；
S1.2 对所述特征，采用MobilenetV2的倒残差结构，实现U-net编码部分的特征提取；
S1.3 对上述获取的最高层编码特征，采用倒残差网络和卷积核为3×3的卷积操作，扩大原特征通道数，并上采样到与相邻低层特征相同的尺度，用于与相邻低层特征的跳跃式连接；
S1.4 除最高层特征外，将编码部分获取的逐层特征，首先分别输入CBAM模块，生成通道注意力特征映射；
S1.5 将CBAM模块获取逐层通道注意力特征作为输入，接着分别输入CBAM模型的空间注意力部分，得到空间注意力特征映射；
S1.6 将空间注意力特征和通道注意力特征点乘，最终得到结合了CBAM注意力机制的特征映射；
S1.7 将所述结合了CBAM注意力机制的特征映射，在跳跃式连接部分，与上采样后的相邻高层特征相融合。
2.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S1.1中的MobileNetV2的深度可分离卷积分为深度卷积和逐点卷积，深度卷积将图像中每个输入通道与一个独立的卷积核进行卷积，将每个通道之间的特征分离；然后，对每个通道的输出特征采用1×1卷积核进行逐点卷积，将深度卷积得到的特征图进行特征融合。
3.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S1.2中的倒残差结构包括，首先使用1×1卷积核进行上采样，提升通道数，再使用 深度可分离卷积对升维后的特征图进行特征提取，最后使用1×1卷积核进行下采样，降低 特征通道数；重复上述操作直到深度可分离卷积提取特征步长为1时，对输入特征与输 出特征进行残差连接，每个残差块的输入和输出之间的关系表示为：
（1）
其中，为特征的倒残差提取。
4.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S1.4生成通道注意力特征映射具体包括：
采用公式（2）所示的通道注意力模型，即：分别经过全局平均池化和全局最大池化，生 成池化后的特征描述子，将二者分别输入全连接层后相加；经过卷积后，采用激活函数 sigmoid进行非线性化，得到通道注意力映射，最后将通道注意力映射和原特征相乘，生成 通道注意力特征映射为：
（2）
其中，为输入特征，为全局平均池化操作，为全局最大池化操作，表示全连接操作，表示Sigmoid激活函数，为点乘。
5.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S1.5得到空间注意力特征映射，具体包括：
采用公式（3）所示的空间注意力模型，即：分别进行全局平均池化和全局最大池化，并 将这两个池化结果首尾连接后，进行卷积操作，将通道数压缩到一维，经过sigmoid激活函 数，得到结合了空间注意力机制的特征映射为：
（3）
其中，为输入特征，为全局平均池化操作，为全局最大池化操作，表示Sigmoid激活函数，表示连接操作，表示卷积核为7×7的卷积 操作。
6.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S1.6得到结合了CBAM注意力机制的特征映射，具体包括：
采用公式（4）将空间注意力特征和通道注意力特征点乘，最终得到结合了 CBAM注意力机制的特征映射为：
（4）。
7.根据权利要求1所述的无水尺水位识别方法，其特征在于，
所述S4模型使用具体包括：
S4.1 把模型部署在边缘侧设备，将摄像头获取到的实时水位图像送入设备模型进行 图像分割，得到水位分割结果坐标为；
S4.2 使用Sift算法，获取实时水位图像与站点特征水位图像的sift特征描 述子：；
S4.3 使用FLANN特征匹配算法，将特征水位图像的sift特征描述子和实时 水位图像的sift特征描述子快速搜索匹配，搜索出二者相匹配的特征描述子； 根据匹配点坐标，修正水位像素坐标为；
S4.4 通过最小二乘多项式拟合，求得现实 世界坐标与像素高度坐标映射函数，将水位像素高度转换为现实水位高度；
其中，为水位实际高程；为水位像素高程；为标定物实际高度与标定值的 偏差；—拟合得到的系数。
8.一种无水尺水位识别装置，联合sift与MoCB-Unet网络进行无水尺水位识别，其特征在于，该装置包括：
构建模块，用于构建MoCB-Unet网络用于分割水位图像中的水位线；
模型训练模块，用于对MoCB-Unet模型，使用训练集训练模型，进行参数更新；
模型输出模块，用于将训练后参数最优的模型输出到文件；
模型使用模块，用于把模型部署在边缘侧设备，将获取到的实时水位图像送入设备模型进行水位线分割，得到水面分割结果的像素坐标，通过拟合将像素坐标转换为实际水位高度；
所述构建模块，用于构建MoCB-Unet网络用于分割水位图像中的水位线，具体包括：
在传统U-net网络编码部分的主干特征提取网络部分，使用MobilenetV2的深度可分离卷积取代传统卷积，进行特征提取；
对所述特征，采用MobilenetV2的倒残差结构，实现U-net编码部分的特征提取；
对上述获取的最高层编码特征，采用倒残差网络和卷积核为3×3的卷积操作，扩大原特征通道数，并上采样到与相邻低层特征相同的尺度，用于与相邻低层特征的跳跃式连接；
除最高层特征外，将编码部分获取的逐层特征，首先分别输入CBAM模块，生成通道注意力特征映射；
将CBAM模块获取逐层通道注意力特征作为输入，接着分别输入CBAM模型的空间注意力部分，得到空间注意力特征映射；
将空间注意力特征和通道注意力特征点乘，最终得到结合了CBAM注意力机制的特征映射；
将所述结合了CBAM注意力机制的特征映射，在跳跃式连接部分，与上采样后的相邻高层特征相融合。
CN202311462782.6A 2023-11-06 2023-11-06 一种无水尺水位识别方法及装置 Active CN117437519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311462782.6A CN117437519B (zh) 2023-11-06 2023-11-06 一种无水尺水位识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311462782.6A CN117437519B (zh) 2023-11-06 2023-11-06 一种无水尺水位识别方法及装置

Publications (2)

Publication Number Publication Date
CN117437519A CN117437519A (zh) 2024-01-23
CN117437519B true CN117437519B (zh) 2024-04-12

Family

ID=89553157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311462782.6A Active CN117437519B (zh) 2023-11-06 2023-11-06 一种无水尺水位识别方法及装置

Country Status (1)

Country Link
CN (1) CN117437519B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117606587B (zh) * 2024-01-24 2024-04-02 熊猫智慧水务有限公司 一种基于智慧水务plc的电磁波液位动态测量方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956172A (zh) * 2019-11-18 2020-04-03 四创科技有限公司 一种基于图像语义分割的水尺识别方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN113516081A (zh) * 2021-07-16 2021-10-19 廖佳庆 一种通过深度学习图像识别技术实现虚拟水尺识别水位的方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN115965641A (zh) * 2023-01-16 2023-04-14 杭州电子科技大学 一种基于deeplabv3+网络的咽部图像分割及定位方法
CN116486224A (zh) * 2022-12-28 2023-07-25 北京石油化工学院 一种基于改进U-Net的换热器管口图像识别算法
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法
CN116863347A (zh) * 2023-06-30 2023-10-10 四川轻化工大学 一种高效率和精度的遥感图像语义分割方法及应用

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220301297A1 (en) * 2021-03-16 2022-09-22 9419-6979 Québec inc. System, method and apparatus for obtaining sensitive and specific predictions from deep neural networks
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956172A (zh) * 2019-11-18 2020-04-03 四创科技有限公司 一种基于图像语义分割的水尺识别方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN113516081A (zh) * 2021-07-16 2021-10-19 廖佳庆 一种通过深度学习图像识别技术实现虚拟水尺识别水位的方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置
WO2023185243A1 (zh) * 2022-03-29 2023-10-05 河南工业大学 基于注意力调制上下文空间信息的表情识别方法
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN116486224A (zh) * 2022-12-28 2023-07-25 北京石油化工学院 一种基于改进U-Net的换热器管口图像识别算法
CN115965641A (zh) * 2023-01-16 2023-04-14 杭州电子科技大学 一种基于deeplabv3+网络的咽部图像分割及定位方法
CN116863347A (zh) * 2023-06-30 2023-10-10 四川轻化工大学 一种高效率和精度的遥感图像语义分割方法及应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chenbo Shi 等.Detection of Microcrack in Eggs Based on Improved U-Net.《2023 IEEE 9th International Conference on Cloud Computing and Intelligent Systems (CCIS)》.2023,全文. *
张小娟 ; 汪西莉 ; .完全残差连接与多尺度特征融合遥感图像分割.遥感学报.2020,(第09期),全文. *
李新叶 ; 宋维 ; .基于深度学习的图像语义分割研究进展.科学技术与工程.2019,(第33期),全文. *

Also Published As

Publication number Publication date
CN117437519A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111767801B (zh) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN110245678B (zh) 一种基于异构孪生区域选取网络的图像匹配方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN117437519B (zh) 一种无水尺水位识别方法及装置
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN111080794A (zh) 一种耕地现场边云协同的三维重建方法
CN112528862B (zh) 基于改进的交叉熵损失函数的遥感图像目标检测方法
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN114359130A (zh) 一种基于无人机影像的道路裂缝检测方法
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN107845066B (zh) 基于分段仿射变换模型的城市遥感图像拼接方法及装置
CN110070545A (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
Towner et al. Fireball streak detection with minimal CPU processing requirements for the Desert Fireball Network data processing pipeline
Manzari et al. Pyramid transformer for traffic sign detection
CN116503705A (zh) 一种数字城市多源数据的融合方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN110826364A (zh) 一种库位识别方法及装置
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
CN109215122B (zh) 一种街景三维重建系统及方法、智能小车
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
Jiang et al. Pavement crack measurement based on aerial 3D reconstruction and learning-based segmentation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant