CN117274355A - 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 - Google Patents
一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 Download PDFInfo
- Publication number
- CN117274355A CN117274355A CN202311084920.1A CN202311084920A CN117274355A CN 117274355 A CN117274355 A CN 117274355A CN 202311084920 A CN202311084920 A CN 202311084920A CN 117274355 A CN117274355 A CN 117274355A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- model
- drainage pipeline
- gas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 41
- 230000001133 acceleration Effects 0.000 title claims abstract description 27
- 238000000691 measurement method Methods 0.000 title claims abstract description 19
- 239000007788 liquid Substances 0.000 claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 230000004913 activation Effects 0.000 claims abstract description 15
- 238000012706 support-vector machine Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 28
- 230000007786 learning performance Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013049 sediment Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000020411 cell activation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种排水管道流量智能测量方法，包括基于加速引导区域卷积神经网络的图像识别算法和并行多尺度统一网络的图像分割算法。本发明包括如下步骤：采集获取管道“气‑液”交界面图像，进行数据预处理；构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气‑液”交界面图像进行识别和筛选；构建基于并行多尺度统一网络的图像分割模型，对识别和筛选后的“气‑液”交界面图像进行分割；提出排水管道流量智能测量方法，精确测量排水管道流量。本发明引入基于支持向量机的选择性丢弃层，提高人为引导，增强隐藏层的学习性能；引入参数化整流线性单元激活函数，减少激活函数信息损失，实现高精度准确识别；融合多尺度模块卷积内核，提高图像分割的精度。本发明所述模型可以有效实现排水管道“气‑液”交界面的智能识别与分割，最终通过流量测量智能算法，实现对排水管道流量的准确测量。
Description
技术领域
本发明属于市政排水管网流量测量技术、数据处理技术、网络技术、人工智能技术以及系统集成技术领域，涉及一种排水管道流量的智能测量方法。
背景技术
排水管道流量的准确测量对于城市排水系统的运行和管理至关重要，通过对管道流量的实时监测，可以及时发现管道堵塞、故障和泄漏等问题，对于管网维护和灾害预警，确保排水系统的正常运行和安全具有重要意义。传统的流量测量方法通常需要人工参与，费时费力且容易受到人为因素的影响，并且无法实时监测。随着深度学习与人工智能的蓬勃发展，将智能算法技术运用到地下排水管道的流量测量成为了一种趋势。加速引导区域卷积神经网络和并行多尺度统一网络都是当今前沿的智能算法，可以为管道流量的分割测量提供一种思路和方法。本发明基于加速引导区域卷积神经网络和并行多尺度统一网络算法，实现“气-液”边界的智能识别和分割，具有高精度、高效率的优点。
选择性丢弃是一种基于支持向量机的目标检测方法中常用到的技术。在基于支持向量机的目标检测中，通常会使用滑动窗口的方式对图像进行扫描，并使用支持向量机分类器对每个窗口进行分类，判断图像中是否包含目标对象。但是由于窗口之间存在重叠以及背景噪声的存在，可能会导致一些错误的分类结果。选择性丢弃的思想是，对支持向量机分类器的输出结果中置信度较低的窗口进行丢弃，从而减少误分类的影响。
加速区域卷积神经网络是一种基于深度学习的目标检测方法，结合了卷积神经网络和区域生成网络来实现目标检测。区域生成网络是一个小型的卷积神经网络，它在特征图上滑动窗口，并为每个窗口生成候选区域，同时预测每个候选区域是否包含目标。区域生成网络网络通过利用卷积特征来生成候选框，极大地减少了计算量，从而提高了目标检测的速度。
加速引导区域卷积神经网络就是在加速区域卷积神经网络的基础上引入基于支持向量机的选择性丢弃层，提高人为引导，增强隐藏层的学习性能，进一步提高检测的准确性和鲁棒性。在区域生成网络生成的候选区域特征上引入基于支持向量机的选择性丢弃层。选择性丢弃层会对候选区域进行评分，并根据置信度阈值对一些置信度较低的候选区域进行丢弃。这样可以减少误分类的影响，提高目标检测的准确性。再利用卷积神经网络，将经过选择性丢弃层筛选过的候选区域特征与原始图像对齐，并进行特征提取。然后，将提取的特征输入到分类器和回归器中，分别用于判断区域的类别和精确定位目标区域。
非极大值抑制是一种用于对象检测和边界框回归任务中的后处理技术，能够通过去除冗余的边界框来提高检测结果的准确性和稳定性。在利用加速引导区域卷积神经网络对“气-液”边界进行目标检测时，对于多个重叠的检测框，采用非极大值抑制，根据置信度和重叠度进行筛选，保留最准确的目标框，从而避免重复检测，提高检测结果的精度。
语义分割网络是一种用于图像分割的卷积神经网络模型，它由对称的下采样路径和上采样路径组成，将特征提取和上采样过程结合起来，使得网络能够更好地捕捉到不同尺度的特征，同时保留了较高分辨率的空间信息，使得语义分割网络在图像分割任务中能够更好地处理目标的边界和细节信息，为了提高图像分割的性能，通过跳跃连接将不同层次的特征进行融合。
并行多尺度统一网络引入了可分离卷积、多尺度特征融合、深度可分离跳跃连接等，将传统的语义分割网络结构进行了改进。可分离卷积在计算上比标准卷积要更加高效，因为它使用了更少的参数和计算量。这使得并行多尺度统一网络在保持较好性能的同时，减少了模型的复杂度和计算负担。并行多尺度统一网络引入了不同尺度的特征图，通过串联或级联方式进行融合，以提供更丰富的语义信息和更好的分割结果。这样可以对不同尺度的目标物体进行更好的检测和分割。并行多尺度统一网络跳跃连接中采用了深度可分离卷积，以进一步减少参数数量和计算量，同时保持信息的传递和细节的保留。总的来说，与传统的语义分割网络相比，并行多尺度统一网络在计算量和参数数量上更加轻量化，同时能够更好地捕捉不同尺度的特征，提高图像分割的准确性和效果。
综上，采用加速引导区域卷积神经网络算法和并行多尺度统一网络算法能够实现地下排水管道“气-液”边界的智能识别和分割，智能高效地实现地下排水管道流量的准确测量。
发明内容
为了实现地下排水管道瞬时流量的准确测量，本发明提供了一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法。利用加速引导区域卷积神经网络的机器学习算法训练获得管道图像智能识别模型，对高清红外摄像机提取的图像进行识别和筛选，并利用并行多尺度统一网络的机器学习算法训练获得管道图像智能分割模型，对识别后的排水管道图像进行分割。该方法可以解决现行液体识别方法无法适应复杂的管道环境、不稳定、精度较低的弊端，实现准确、智能化的流量测量。
本发明提供了一种新型的地下排水管道流量智能测量方法，其目的是为了利用机器学习方法和计算机视觉技术智能测量瞬时流量参数，在提高测量效率的同时，实现管道流量的准确和智能测量。
本发明采用的技术方案如下：一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，是对于排水管道“气-液”交界面进行流量测量，包括以下步骤：
步骤一，输入采集到的管道“气-液”交界面图像，对图像进行数据预处理，提高构建模型的准确性，接着将数据集划分为训练集、验证集和测试集，确保数据集的多样性和充分性；
步骤二，在特征提取的基础上，构建区域生成网络，生成多个候选框，设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对候选框进行训练，得到含有目标的候选区域，构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气-液”交界面图像进行识别和筛选；
步骤三，输入识别和筛选过后的“气-液”交界面图像，构建编码器与解码器，通过编码器的卷积层与池化层实现特征的提取，再通过解码器的反卷积进行分割图像重建，在跳跃连接中加入多尺度特征融合机制和注意力机制，增强网络的信息传递与特征共享能力，定义损失函数进行模型训练，得到使损失函数最小的模型参数，构建并行多尺度统一网络管道图像分割模型；
步骤四，构建排水管道流量智能测量方法，精确测量排水管道流量。通过分割后的图像，得到过水断面的横截面积，与多普勒测得的瞬时流速相乘，计算出测量时管道的瞬时流量。
本发明输入采集到的管道“气-液”交界面图像后，首先对输入图像进行数据的预处理，该处理操作包括数据去噪、数据增强、数据标注、数据扩充四部分内容，具体如下：
步骤S11：数据去噪方法，具体步骤如下：
所述数据去噪为采用高斯滤波器对图像进行平滑滤波来消除图像中的噪声；将高斯滤波器应用于“气-液”交界面图像上，滑动滤波器窗口，计算“气-液”交界面图像像素点与滤波器内像素点的加权平均值，得到滤波后的图像，使图像更易于特征提取；
步骤S12：数据增强方法，具体步骤如下：
所述数据增强为使用随机裁剪和缩放对数据做增强处理；从输入的“气-液”边界图像数据集中随机选择4张图像，作为整合操作的输入；对随机选择的每张图像进行随机裁剪和缩放，适应整合模块的大小；将处理后的4张图像再随机排列拼接成一张图像，以增强数据的质量和多样性；
步骤S13：数据标注方法，具体步骤如下：
所述数据标注为使用lalimgV2.0软件对原始图像进行标注，得到矩形框标记的“气-液”交界面图像，为后续的图像分析和处理提供准确的参考；
步骤S14：数据扩充方法，具体步骤如下：
所述数据扩充采用深度卷积生成对抗网络和单一生成对抗网络的组合构建梯度惩罚生成对抗网络，扩充更多逼真的标注图像，增加更多真实场景中的标注图像，提高模型的性能和泛化能力。
进一步的，将步骤一中数据预处理后的图像构建用于模型训练的训练集、验证集、测试集，用于模型训练集、验证集、测试集比例为3∶1∶1，从预处理过后的图像集里随机抽取60％作为训练集，训练集用于模型的训练和参数的优化，随机抽取20％作为验证集，验证集用于调整模型的超参数和验证模型的性能，随机抽取20％作为测试集，测试集用于最终评估模型的性能。
进一步的，步骤二，构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气-液”交界面图像进行识别和筛选，具体步骤包括：
步骤S21：通过使用卷积神经网络对排水管道图像进行卷积和池化操作，实现特征提取，得到初始特征图；
步骤S22：使用参数化整流线性单元激活函数，进行非线性激活响应，在输入小于零时引入一定的斜率，减少激活函数信息损失，增加模型的鲁棒性。激活函数定义为公式：
步骤S23：在特征提取的基础上，构建区域生成网络，通过滑动窗口的方式，将一个固定大小的窗口在图像上滑动，每次滑动一定的步长，生成多个候选框，以覆盖图像中的不同位置和尺度；
步骤S24：为了避免重复检测和减少冗余，使用非极大值抑制，设定一个重叠阈值，当两个候选框之间的重叠度超过阈值时，保留最具代表性的候选框，对候选框进行筛选，去除高度重叠区域；
步骤S25：候选框传入感兴趣区域池化层，将不同大小的候选区域对齐到固定大小的特征图上，确保不同大小的候选框都能得到相同尺寸的特征表示，以保持候选区域的空间尺度一致性，方便后续的分类和回归网络处理；
步骤S26：设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对经过感兴趣区域池化层处理后的候选框进行训练，得到含有目标的候选区域，以得到更准确的目标检测结果；
步骤S27：经过分类与回归网络的训练后，候选区域将得到准确的目标检测结果，通过对候选区域进行边界框的标记与定位，确定“气-液”边界的位置和尺度信息，输出“气-液”边界框。
进一步的，步骤三，构建基于并行多尺度统一网络的管道图像分割模型，对“气-液”交界面图像进行分割，具体步骤包括：
步骤S31：输入由加速引导区域卷积神经网络模型从原始图像中检测出的包含“气-液”交界面的区域；
步骤S31：构建编码器与解码器，编码器部分通过卷积层和池化层，提取并融合图像的特征信息。卷积层通过一系列的卷积操作，捕捉到图像的局部特征，池化层通过降采样的方式，进一步提取图像的全局特征。解码器部分则通过反卷积层，将编码器提取到的特征进行逆操作，实现图像的重建和分割。反卷积层通过上采样的方式，逐步恢复图像的分辨率，并将特征进行重建。通过这样的架构，网络能够学习到图像的局部和全局信息，从而实现对“气-液”交界面图像的准确分割；
步骤S32：在跳跃连接中加入多尺度特征，进行下采样与上采样的特征融合。
假设xer、xel、xskipl、xskipr代表特征融合模块的输入特征，xdl和xdr，代表特征融合模块中的输出特征。xmel、xmer表示两种池化操作后的特征。Maxpooling和Avgpooling为两种池化操作，它们分别对特征图进行最大值和平均值的提取。Cat为向量拼接操作，它将两个池化后的特征向量在同一个维度上进行连接。
下采样阶段的特征融合模块可以被表示为：
xmel＝Maxpooling(xel)
xmer＝Avgpooling(xer)
xdl＝xdr＝Cat(xmel，xmer)
上采样阶段的特征融合模块可以被表示为：
xdel＝Deconv(xel)
xder＝Deconv(xer)
xde＝Cat(xdel，xder)
xl＝wl(Cat(xskipl，xde))+bl
xl＝wl(Cat(xskipr，xde))+br
xdl＝xdr＝Cat(xl，xr)
其中，xdel和xder代表上采样得到的特征，xde是xdel和xder融合后的特征，xl和xr代表由1×1卷积降维后的特征。Deconv是一种逆卷积操作，它可以将低分辨率的特征图上采样到高分辨率，并与其他层的特征图进行连接或相加，从而实现特征融合。
下采样阶段的特征融合模块是将两个编码器输出的特征分别用最大池化和平均池化下采样后融合，保留了图像的背景和纹理信息，为后续卷积提供了更完整的特征。跳跃连接部分直接将两个编码器的特征输入到上采样阶段的特征融合模块。上采样阶段的特征融合模块先用反卷积上采样并融合特征，然后与跳跃连接的特征再次融合，最后用1x1卷积降维并融合，输入到解码器。这种方式减少了语义信息的损失，提高了特征信息的共享和整合，增强了网络的语义能力，提高分割的精度和鲁棒性；
步骤S33：定义损失函数进行模型训练，得到使损失函数最小的模型参数。
使用Dice损失作为分割网络的损失函数，将图像分割的预测结果和真实标签视为两个集合，计算它们的Dice损失函数，然后使用梯度下降法更新网络参数，使得Dice损失函数最小，从而使得Dice系数最大，即预测结果和真实标签的相似度最高。
Dice损失函数的具体细节如下所示：
其中，N表示像素的数量，i表示像素的索引，pi表示像素i预测的分割结果，gi表示像素i的真实值。
进一步的，步骤四，构建排水管道流量智能测量方法，精确测量排水管道流量，具体步骤包括：
步骤S41：利用加速引导区域卷积神经网络算法识别与筛选地下排水管道图像，将识别和筛选后的结果输入并行多尺度统一网络图像分割算法，得到分割的“气-液”边界；
步骤S42：根据多普勒雷达检测到的管径和水面高度自动完成分割面下的弧，结合分割后的“气-液”边界，准确地获得管道水流剖面的形状和尺寸；
步骤S43：提取排水管道水流横截面积信息，与多普勒雷达测得实时流速相乘获得精确流量，实现对排水管道流量的精确测量；
与最接近的现有技术相比，本发明具有以下效益：
1.本发明采用的技术方案利用计算机视觉和图像处理技术来测量地下排水管道流量，可以实现准确、复杂环境测量。
2.本发明利用机器学习方法，用高清红外摄像机提取的图像来训练加速引导区域卷积神经网络和并行多尺度统一网络模型，无需任何经验值，可以实现智能测量。
3.与现行地下排水管道流量测量方法相比，本发明可以适应各种复杂恶劣的管道环境，实现流量的准确、智能测量。
附图说明
图1为本发明目标识别与分割方法流程示意图
图2为本发明构建的基于加速引导区域卷积神经网络的管道图像识别算法流程示意图
图3为本发明构建的基于并行多尺度统一网络的图像分割算法流程示意图
图4为本发明中并行多尺度统一网络详细结构示意图
图5为本发明中多尺度模块的具体细节示意图
图6为本发明中下采样阶段的特征融合模块示意图
图7为本发明中上采样阶段的特征融合模块示意图
图8为本发明测量所得的流量真实数据示意图
具体实施方式
下面结合附图对本发明的具体实施方式做详细说明
为了使本发明实施例中的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种新颖的排水管道流量智能测量方法，包括：
步骤一：采用高斯滤波器对图像进行平滑滤波进行数据去噪；使用镜像、旋转、添加高斯噪声技术对数据做增强处理；使用lalimgV2.0软件对原始图像进行标注，得到矩形框标记的“气-液”交界面图像；采用深度卷积生成对抗网络生成对抗网络，扩充更多逼真的标注图像。
步骤二：如图2所示，对步骤一中训练集图像进行特征提取，得到图像的初始特征图；进入非线性激活层，进行非线性的激活响应，优化激活函数，通过使用调节参数对整流线性单一激活函数进行了修改，减少激活函数信息损失；在特征提取的基础上，构建区域生成网络，生成多个候选框；使用非极大值抑制对候选框进行筛选，去除高度重叠区域，减少计算量；候选框传入感兴趣区域池化层层，将不同大小的候选区域对齐到固定大小的特征图上；设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对候选框进行训练，得到含有目标的候选区域；最终输出“气-液”边界框，如图6所示。
步骤三：如图3所示，首先构建并行多尺度统一网络。传统的语义分割网络需要改进，首先对利用加速引导区域卷积神经网络算法得到的识别结果做数据增强处理，将图像随机旋转、缩放、翻转、平移等，增加训练样本多样性，提高模型泛化能力；引入注意力机制，通过将特征图进行全局平均池化，然后通过一个小型的全连接网络来学习每个通道的权重，最后将这些权重应用到特征图上，以增强重要特征的表示能力。并行多尺度统一网络使模型更加关注图像中的重要区域，提高分割准确性；将原有语义分割网络每层中选用不同多尺度卷积核组合替换，将原语义分割网络中的卷积块替换为多尺度块，得到多尺度统一网络编码器，将原语义分割网络解码器中的卷积块替换为多尺度块，得到多尺度统一网络，将卷积块并行排列处理，形成多重卷积序列。这种处理保留了图像更丰富的语义信息。此外，对多重卷积序列的卷积核进行调整，使其具有不同的接受域。具有不同接受野的卷积核使网络能够更好地提取和恢复特征；用x表示输入特征，x1和x2表示不同大小卷积核得到的特征。F为多尺度块的输出结果。F的计算公式如下：
x1＝w22(w21x+b21)+b22
x2＝w92(w91x+b91)+b92
X＝Cat[x1，x2]
F＝wfX+bf
依据交并比评价结果选取最佳卷积核组合，使用交并比作为评价指标，对不同多尺度块组合进行比较。最佳卷积核组合结果如图5所示，首先使用两个2×2和9×9的卷积核提取特征，将提取的特征进行特征融合，最终通过1×1的卷积核降维后输出融合的特征；利用梯度优化模块反复迭代训练，确定最佳超参数值。所述模型批量大小、学习率、权重衰减分别为16、0.0001、0.0002，最终精度为99.53％。
步骤四：在使用红外高清摄像机捕捉的“气-液”交界面图像经过加速引导区域卷积神经网络算法模型进行识别和筛选，然后输入到基于并行多尺度统一网络的图像分割算法中。经过并行多尺度统一网络训练成熟后，从验证集中得到的分割图像如图7所示。根据多普勒雷达检测到的管道直径和水面高度，完成分割表面下方的弧线绘制。然后，使用多普勒雷达检测到的测量点的沉积物高度绘制出流量截面。在获取排水管道内水流的横截面积后，通过将多普勒雷达实时测得的流速与实时流速结合起来计算出管道的实时流量。
实施例：以设计并构建排水管道和丙烯酸模拟循环系统的流量智能测量为例进一步说明本发明的具体的方法：
步骤一：通过高清红外摄像机采集获取管道“气-液”交界面图像，对收集到的图像进行数据预处理，构建用于模型训练、验证、测试的数据集，该步骤包括
(1)运用高清红外摄像机采集“气-液”交界面的图像，高清红外摄像机提取的分辨率为960*960的图像，采集频率为30分钟间隔。高清红外摄像机捕获的“气-液”交界面的真实红外图像数量为1500张。
(2)原始图像通过lalimgV2.0软件进行标记。在图像识别和图像分割流量测量过程中，用矩形框标注标签，用标签img手工绘制红色分界线。
(3)为了保证训练加速引导区域卷积神经网络和并行多尺度统一网络的标记“气-液”交界面图像的数量，采用深度卷积生成对抗网络，实现标记图像数据集从1500增加到6000。
(4)根据深度学习算法的不同阶段，将图像数据集分为训练集、验证集和测试集三部分，比例为3∶1∶1。
表1训练集、验证集和测试集的数量
步骤二：构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气-液”交界面图像进行识别和筛选，将“气-液”交界面图像序列输入到提出的模型中，该模型引入了基于支持向量机的选择性丢弃层，在加速区域卷积神经网络模型中增加了人工引导，提高了隐层的学习性能；为了减少激活函数的信息损失，通过调节参数来修改整流线性单元激活函数。参数化整流线性单元激活函数如下图所示，通过反复训练，得到参数a的精确值。
排水管道中“气-液”交界面识别和分割的深度学习训练过程如下：
在排水管道中“气-液”交界面识别和分割的深度学习训练过程中，通过优化的超参数组合提高模型的收敛速度和准确率。通过对加速引导区域卷积神经网络和并行多尺度统一网络两个模型的多种超参数组合进行实验和比较，确定了最优的超参数组合，从而提高了模型的准确率。
(1)统计并分析了加速引导区域卷积神经网络的动量、批大小、学习率、权重衰减和最大迭代次数的10个组合，并计算了并行多尺度统一网络的5组超参数结果。
表2所提出的“气-液”交界面识别算法
注：“NaN”表示所提出的深度学习算法不能被训练到稳定状态。
表3针对不同的超参数组合，提出了“气-液”交界面分割算法
注：“NaN”表示所提出的深度学习算法不能被训练到稳定状态。
(2)对于“气-液”交界面识别算法的超参数值进行了详细的记录和分析，通过绘制基于反向传播的损失函数值的调优曲线，发现在前30000次迭代中，模型的损失值收敛迅速，接近初始值的95％。当动量超过0.90时，模型面临消失梯度问题，损失值的收敛效果不如动量值低于0.90的超参数组合。通过30000次迭代，训练了具有第8组超参数的智能图像识别算法，取得了最佳性能，准确率、准确率、查全率和得分分别为99.17％、97.62％、98.13％和89.59％。
(3)根据实验结果，设置迭代次数为30000，准确率、准确率、查全率和得分分别为99.17％、97.62％、98.13％和89.59％作为加速引导区域卷积神经网络算法训练的初始配置。
步骤三：构建基于并行多尺度统一网络的图像分割模型对识别和筛选后“气-液”交界面图像进行分割。
(1)并行多尺度统一网络图像分割方法，用于将图像识别的标记数据输入分割算法，将提出的并行多尺度统一网络首先扩展到两个并行架构中。在特征提取模块中，采用多尺度块来提高图像分割精度，这些多尺度块由矩阵连接模块和卷积核组成。通过对比实验分析，不同卷积核组合的多尺度块分割效果表明，使用2×2和9×9卷积核的方案的交并比评价结果最符合要求。梯度优化模块不断调整训练权值和参数值，减小训练误差，形成成熟的分割算法。
(2)输入基于并行多尺度统一网络的图像分割算法。在并行多尺度统一网络训练成熟后，从验证集得到的分割图像所示，根据多普勒雷达检测到的管径和水面高度自动补充分割面下的弧。
步骤四：利用多普勒雷达测点的沉积物高度绘制流量剖面图，在获得排水管道水流横截面积的情况下，结合多普勒雷达测量的实时流速，将分割后的流边界得到的横截面积与多普勒测得的瞬时流速相乘，计算出测量时管道的瞬时流量，当管道流量测量模型训练成熟后，测量得到的真实流量数据。
通过收集全尺寸试验模型和丙烯酸模拟循环系统的50套实际测量值进行误差比较试验，基于加速引导区域卷积神经网络和并行多尺度统一网络的验证结果的平均精度可达到92％±1％。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (9)
1.一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，是对于排水管道“气-液”交界面进行目标检测与分割，其特征在于：包括如下步骤：
步骤一，输入采集到的管道“气-液”交界面图像，对图像进行数据预处理，提高构建模型的准确性，接着将数据集划分为训练集、验证集和测试集，确保数据集的多样性和充分性；
步骤二，在特征提取的基础上，构建区域生成网络，生成多个候选框，设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对候选框进行训练，得到含有目标的候选区域，构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气-液”交界面图像进行识别和筛选；
步骤三，输入识别和筛选过后的“气-液”交界面图像，构建编码器与解码器，通过编码器的卷积层与池化层实现特征的提取，再通过解码器的反卷积进行分割图像重建，在跳跃连接中加入多尺度特征融合机制和注意力机制，增强网络的信息传递与特征共享能力，定义损失函数进行模型训练，得到使损失函数最小的模型参数，构建基于并行多尺度统一网络的图像分割模型；
步骤四，提出排水管道流量智能测量方法，精确测量排水管道流量。通过分割后的“气-液”交界面图像，得到过水断面的横截面积，将其与多普勒测得的瞬时流速相乘，计算出测量时管道的瞬时流量。
2.根据权利要求1所述的一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，其特征在于：所述步骤一中，所述的数据预处理包括：数据去噪、数据增强、数据标注、数据扩充，具体如下：
所述数据去噪为采用高斯滤波器对图像进行平滑滤波来消除图像中的噪声，使图像更清晰、更易于特征提取；
所述数据增强为使用镜像、旋转、添加高斯噪声技术对数据做增强处理，以增强数据的质量和多样性；
所述数据标注为使用lalimgV2.0软件对原始图像进行标注，得到矩形框标记的“气-液”交界面图像，为后续的图像分析和处理提供准确的参考；
所述数据扩充采用深度卷积生成对抗网络和单一生成对抗网络的组合，构建梯度惩罚生成对抗网络，扩充更多逼真的标注图像，增加更多真实场景中的标注图像，提高模型的性能和泛化能力。
3.根据权利要求1所述的一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，其特征在于：所述用于模型训练集、验证集、测试集比例为3：1：1，训练集用于模型的训练和参数的优化，验证集用于调整模型的超参数和验证模型的性能，测试集用于最终评估模型的性能。
4.根据权利要求1所述的一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，其特征在于：所述步骤二中，所述在特征提取的基础上，构建区域生成网络，生成多个候选框，设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对候选框进行训练，得到含有目标的候选区域，构建基于加速引导区域卷积神经网络的管道图像智能识别模型，对“气-液”交界面图像进行识别和筛选，具体步骤包括：
步骤S21：使用卷积神经网络对排水管道图像进行卷积和池化操作，实现特征提取，得到初始特征图；
步骤S22：使用参数化整流线性单元激活函数，在输入小于零时引入一定的斜率，减少激活函数信息损失，增加模型的鲁棒性；
步骤S23：为了从图像中检测出目标，基于特征提取的结果，建立一个区域建议网络。区域建议网络可以根据输入的图像特征图，在不同的位置和尺度上生成多个候选框，每个候选框都有一定的概率包含目标。为了生成这些候选框，使用滑动窗口的方式，在特征图上滑动一个小型卷积核，对每个窗口输出一组固定数量和大小的候选框，以覆盖图像中的不同位置和尺度，提取出可能包含目标的区域；
步骤S24：为了避免重复检测和减少冗余，使用非极大值抑制对候选框进行筛选，去除高度重叠区域；
步骤S25：候选框传入感兴趣区域池化层，将不同大小的候选区域对齐到固定大小的特征图上，以保持候选区域的空间尺度一致性，方便后续的分类和回归网络处理；
步骤S26：设置基于支持向量机的选择性丢弃层，利用分类与回归网络，对候选框进行训练，得到含有目标的候选区域，以得到更准确的目标检测结果；
步骤S27：对候选区域进行边界框的标记与定位，输出“气-液”边界框。
5.根据权利要求1所述的一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，其特征在于：所述步骤三中，所述构建基于并行多尺度统一网络模型的具体步骤包括：
步骤S31：输入识别和筛选过后的“气-液”交界面图像；
步骤S32：构建编码器与解码器，通过编码器的卷积层与池化层实现特征的提取，再通过解码器的反卷积进行分割图像重建，通过这样的架构，网络能够学习到图像的局部和全局信息，实现对“气-液”交界面图像的准确分割；
步骤S33：在跳跃连接中加入多尺度特征融合机制和注意力机制，增强网络的信息传递与特征共享能力，提高分割的精度和鲁棒性；
步骤S34：定义损失函数进行模型训练，得到使损失函数最小的模型参数。
6.根据权利要求4所述的基于加速引导区域卷积神经网络的管道图像智能识别模型，其特征在于：所述模型动量、批量大小、学习率、权重衰减、最大迭代次数分别设置为0.90、32、0.0005、0.0002、40000，精度达到99.17％。
7.根据权利要求1所述的基于并行多尺度统一网络图像分割模型，其特征在于：选取最佳卷积核组合为2×2和9×9。
8.根据权利要求5所述的基于并行多尺度统一网络图像分割模型，其特征在于：所述模型批量大小、学习率、权重衰减分别设置为16、0.0001、0.0002，精度达到99.53％。
9.根据权利要求1所述的基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法，其特征在于：所述步骤4中，排水管道流量智能测量方法具体实施步骤为：
步骤S41：将利用加速引导区域卷积神经网络模型识别与筛选后的结果输入并行多尺度统一网络图像分割模型中，得到分割的“气-液”边界；
步骤S42：根据多普勒雷达检测到的管径和水面高度，自动补充分割面下的弧，结合分割后的“气-液”边界，获得管道水流剖面；
步骤S43：提取排水管道水流横截面积信息，与多普勒雷达测得实时流速相乘获得精确流量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084920.1A CN117274355A (zh) | 2023-08-25 | 2023-08-25 | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084920.1A CN117274355A (zh) | 2023-08-25 | 2023-08-25 | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117274355A true CN117274355A (zh) | 2023-12-22 |
Family
ID=89213315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311084920.1A Pending CN117274355A (zh) | 2023-08-25 | 2023-08-25 | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274355A (zh) |
-
2023
- 2023-08-25 CN CN202311084920.1A patent/CN117274355A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111696094B (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN111612008B (zh) | 基于卷积网络的图像分割方法 | |
| CN111028217A (zh) | 一种基于全卷积神经网络的图像裂缝分割方法 | |
| CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN110969632B (zh) | 一种深度学习模型的训练方法、图像处理方法及装置 | |
| CN113313706B (zh) | 基于检测参考点偏移分析的电力设备缺陷图像检测方法 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN114627106A (zh) | 一种基于Cascade Mask R-CNN模型的焊缝缺陷检测方法 | |
| CN114612472A (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN116416503A (zh) | 一种基于多模态融合的小样本目标检测方法、系统及介质 | |
| CN110659572B (zh) | 基于双向特征金字塔的视频动作检测方法 | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| CN113344005B (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
| CN114240822A (zh) | 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法 | |
| CN117274355A (zh) | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |