CN115375945A - 一种水面油污识别和污染面积测算方法 - Google Patents

一种水面油污识别和污染面积测算方法 Download PDF

Info

Publication number
CN115375945A
CN115375945A CN202211043217.1A CN202211043217A CN115375945A CN 115375945 A CN115375945 A CN 115375945A CN 202211043217 A CN202211043217 A CN 202211043217A CN 115375945 A CN115375945 A CN 115375945A
Authority
CN
China
Prior art keywords
probability
random
module
image
water surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211043217.1A
Other languages
English (en)
Inventor
陈立
隋晓峰
唐野
龚健
姚晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaao Data Technology Co Ltd
Original Assignee
Shenzhen Huaao Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaao Data Technology Co Ltd filed Critical Shenzhen Huaao Data Technology Co Ltd
Priority to CN202211043217.1A priority Critical patent/CN115375945A/zh
Publication of CN115375945A publication Critical patent/CN115375945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水面油污识别和污染面积测算方法，包括以下步骤：步骤S1：数据采集，步骤S2：数据标注，步骤S3：模型构建，步骤S4：模型训练，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像，25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡，解决了现有水面油污识别及污染面积计算准确度不高，设备结构复杂建设维护成本高、场景适应性不好等问题，为基于视频的实时水体质量监控提供了重要技术支撑。

Description

一种水面油污识别和污染面积测算方法
技术领域
本发明涉及水面污染面积测算技术领域，具体为一种水面油污识别和污染面积测算方法。
背景技术
水面污染是严重影响水体质量的重要方面，严重威胁水体中动植物的生存，污染土壤和水源，危害人体健康，必须要对油污进行实时检测，传统的油污检测通常采用传感器方法，但这种方法设备结构复杂，要求部署点位多，建设及维护的成本较高，而且对于污染面积无法进行准确评估；
传统技术中，基于图像的油污识别方法需要深入研究水面油污的特点，寻找水面油污不随光照、角度、范围等变化的鲁棒特征，利用边缘提取、二值化、空间变换等进行油污区域检测识别，然而这种方式在复杂自然场景下容易受到光线、拍摄角度、水体及油污颜色、漂浮物、倒影等多种因素影响，场景适应性极差，无法对水面油污进行精准识别，并且对水面油污的污染面积计算准确度不高，因此亟需设计一种能够对复杂自然场景下水面油污进行精准识别，且对污染面积进行精确测算的系统。
发明内容
为了克服现有技术方案的不足，本发明提供一种水面油污识别和污染面积测算方法。
本发明解决其技术问题所采用的技术方案是：一种水面油污识别和污染面积测算方法，包括以下步骤：步骤S1：数据采集，通过水体质量监控视频、抓拍图像和网络抓取相结合方式，建立水面油污污染数据集；
步骤S2：数据标注，采用Labelme作为标注工具，对2500张水体监控图像进行标注，将每张标注图像通过中心裁剪方式调整为正方形，通过大小缩放将图像分辨率统一调整为1000x1000，根据图像中是否存在油污污染特征将图像中的每个像素标记为3种类型，分别为非水体、洁净水体以及存在明显油污的水体；
步骤S3：模型构建，通过VGG16模块中3x3的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并将所有子层的输出被级联起来，传送至下一个VGG16模块，形成模块的级联，在原来VGG16模块之间的短连接基础上加入了相邻模块的特征图，通过Align模块进行分辨率对齐后融合，再输入解码器进行输出，不同解码器之间通过一个反卷积模块Conv Transpose输出显著图，分别与真值图计算损失，在编码器的最后加入两个全连接层输出是否有油污的分类指标并加入到了最后输出中；
步骤S4：模型训练，采用迁移学习技术，分为两个阶段的进行模型训练，第一阶段，将VOC预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的特征对齐融合及解码模块，冻结其他层参数，第二阶段，冻结的VGG16模块中提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到水体油污的图像特征，对油污产生更好的识别效果。
优选地，步骤S4，模型训练中，初始学习率等于0.0001，学习率衰减采用分段常数衰减，衰减率为0.1，衰减点为训练过程的60％和80％，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作。
优选地，步骤S4，模型训练采用基于Unet架构的全卷积神经网络模型，整个架构分为编码器和解码器两个部分，编码器部分由1个VGG16卷积再加上一个maxpooling层组成一个下采样的模块，解码器部分由一个Align的特征对齐融合及一个上采样的反卷积模块构成。
优选地，步骤S1，数据采集为保证标本拍摄数据的代表性和多样性，针对选取上百个不同场景，在多种环境下进行拍摄，提高数据集中图像样本的多样性。
优选地，步骤S4，模型训练中的数据增强操作为50％的概率进行垂直翻转、50％的概率进行水平镜像、25％的概率进行随机裁剪、50％的概率进行随机亮度调节、50％的概率进行随机对比度调节、50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
与现有技术相比，本发明的有益效果是：
1、在VGG16模块后引入Align特征对齐和融合模块，在原来VGG16模块之间的短连接的基础上加入了相邻模块的特征图，通过Align模块进行分辨率对齐后融合，再输入解码器进行输出；
2、不同解码器之间通过一个反卷积模块Conv Transpose输出显著图，分别与真值图计算损失；
3、在编码器的最后加入两个全连接层输出是否有油污的分类指标，加入到了最后输出中，同时实现油污图像的分类和语义分割；
4、为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像，25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡；
解决了现有水面油污识别及污染面积计算准确度不高，设备结构复杂建设维护成本高、场景适应性不好等问题，为基于视频的实时水体质量监控提供了重要技术支撑。
附图说明
图1为本发明水面油污识别和污染面积测算方法的步骤流程图；
图2为本发明模型构建。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明提供了一种水面油污识别和污染面积测算方法，包括以下步骤：步骤S1：数据采集，通过水体质量监控视频、抓拍图像和网络抓取相结合方式，建立水面油污污染数据集；
步骤S2：数据标注，采用Labelme作为标注工具，对2500张水体监控图像进行标注，将每张标注图像通过中心裁剪方式调整为正方形，通过大小缩放将图像分辨率统一调整为1000x1000，根据图像中是否存在油污污染特征将图像中的每个像素标记为3种类型，分别为非水体、洁净水体以及存在明显油污的水体；
步骤S3：模型构建，通过VGG16模块中3x3的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并将所有子层的输出被级联起来，传送至下一个VGG16模块，形成模块的级联，在原来VGG16模块之间的短连接基础上加入了相邻模块的特征图，通过Align模块进行分辨率对齐后融合，再输入解码器进行输出，不同解码器之间通过一个反卷积模块Conv Transpose输出显著图，分别与真值图计算损失，在编码器的最后加入两个全连接层输出是否有油污的分类指标并加入到了最后输出中；
步骤S4：模型训练，采用迁移学习技术，分为两个阶段的进行模型训练，第一阶段，将VOC预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的特征对齐融合及解码模块，冻结其他层参数，第二阶段，冻结的VGG16模块中提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到水体油污的图像特征，对油污产生更好的识别效果。
步骤S4，模型训练中，初始学习率等于0.0001，学习率衰减采用分段常数衰减，衰减率为0.1，衰减点为训练过程的60％和80％，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作。
步骤S4，模型训练采用基于Unet架构的全卷积神经网络模型，整个架构分为编码器和解码器两个部分，编码器部分由1个VGG16卷积再加上一个maxpooling层组成一个下采样的模块，解码器部分由一个Align的特征对齐融合及一个上采样的反卷积模块构成。
步骤S1，数据采集为保证标本拍摄数据的代表性和多样性，针对选取上百个不同场景，在多种环境下进行拍摄，提高数据集中图像样本的多样性。
步骤S4，模型训练中的数据增强操作为50％的概率进行垂直翻转、50％的概率进行水平镜像、25％的概率进行随机裁剪、50％的概率进行随机亮度调节、50％的概率进行随机对比度调节、50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
综上所述：1、在VGG16模块后引入Align特征对齐和融合模块，在原来VGG16模块之间的短连接的基础上加入了相邻模块的特征图，通过Align模块进行分辨率对齐后融合，再输入解码器进行输出；
2、不同解码器之间通过一个反卷积模块Conv Transpose输出显著图，分别与真值图计算损失；
3、在编码器的最后加入两个全连接层输出是否有油污的分类指标，加入到了最后输出中，同时实现油污图像的分类和语义分割；
4、为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像，25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡；
解决了现有水面油污识别及污染面积计算准确度不高，设备结构复杂建设维护成本高、场景适应性不好等问题，为基于视频的实时水体质量监控提供了重要技术支撑。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.一种水面油污识别和污染面积测算方法，其特征在于，包括以下步骤：步骤S1：数据采集，通过水体质量监控视频、抓拍图像和网络抓取相结合方式，建立水面油污污染数据集；
步骤S2：数据标注，采用Labelme作为标注工具，对2500张水体监控图像进行标注，将每张标注图像通过中心裁剪方式调整为正方形，通过大小缩放将图像分辨率统一调整为1000x1000，根据图像中是否存在油污污染特征将图像中的每个像素标记为3种类型，分别为非水体、洁净水体以及存在明显油污的水体；
步骤S3：模型构建，通过VGG16模块中3x3的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并将所有子层的输出被级联起来，传送至下一个VGG16模块，形成模块的级联，在原来VGG16模块之间的短连接基础上加入了相邻模块的特征图，通过Align模块进行分辨率对齐后融合，再输入解码器进行输出，不同解码器之间通过一个反卷积模块Conv Transpose输出显著图，分别与真值图计算损失，在编码器的最后加入两个全连接层输出是否有油污的分类指标并加入到了最后输出中；
步骤S4：模型训练，采用迁移学习技术，分为两个阶段的进行模型训练，第一阶段，将VOC预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的特征对齐融合及解码模块，冻结其他层参数，第二阶段，冻结的VGG16模块中提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到水体油污的图像特征，对油污产生更好的识别效果。
2.根据权利要求1所述的一种水面油污识别和污染面积测算方法，其特征在于，步骤S4，模型训练中，初始学习率等于0.0001，学习率衰减采用分段常数衰减，衰减率为0.1，衰减点为训练过程的60％和80％，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作。
3.根据权利要求1所述的一种水面油污识别和污染面积测算方法，其特征在于，步骤S4，模型训练采用基于Unet架构的全卷积神经网络模型，整个架构分为编码器和解码器两个部分，编码器部分由1个VGG16卷积再加上一个maxpooling层组成一个下采样的模块，解码器部分由一个Align的特征对齐融合及一个上采样的反卷积模块构成。
4.根据权利要求1所述的一种水面油污识别和污染面积测算方法，其特征在于，步骤S1，数据采集为保证标本拍摄数据的代表性和多样性，针对选取上百个不同场景，在多种环境下进行拍摄，提高数据集中图像样本的多样性。
5.根据权利要求1所述的一种水面油污识别和污染面积测算方法，其特征在于，步骤S4，模型训练中的数据增强操作为50％的概率进行垂直翻转、50％的概率进行水平镜像、25％的概率进行随机裁剪、50％的概率进行随机亮度调节、50％的概率进行随机对比度调节、50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
CN202211043217.1A 2022-08-29 2022-08-29 一种水面油污识别和污染面积测算方法 Pending CN115375945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211043217.1A CN115375945A (zh) 2022-08-29 2022-08-29 一种水面油污识别和污染面积测算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211043217.1A CN115375945A (zh) 2022-08-29 2022-08-29 一种水面油污识别和污染面积测算方法

Publications (1)

Publication Number Publication Date
CN115375945A true CN115375945A (zh) 2022-11-22

Family

ID=84069544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211043217.1A Pending CN115375945A (zh) 2022-08-29 2022-08-29 一种水面油污识别和污染面积测算方法

Country Status (1)

Country Link
CN (1) CN115375945A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452511A (zh) * 2023-03-17 2023-07-18 西南交通大学 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452511A (zh) * 2023-03-17 2023-07-18 西南交通大学 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质
CN116452511B (zh) * 2023-03-17 2024-05-03 西南交通大学 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
Cui et al. Improved swin transformer-based semantic segmentation of postearthquake dense buildings in urban areas using remote sensing images
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115375945A (zh) 一种水面油污识别和污染面积测算方法
CN116311254A (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN110728178B (zh) 一种基于深度学习的事件相机车道线提取方法
CN114241310B (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
CN114550135B (zh) 一种基于注意力机制和特征聚合的车道线检测方法
CN113627427B (zh) 一种基于图像检测技术的仪器仪表读数方法及系统
CN113642651B (zh) 一种基于深度学习的偏振成像海上溢油识别方法
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
CN114359102A (zh) 一种基于注意力机制与边缘引导的图像深度修复取证方法
CN117911885A (zh) 一种赤潮检测方法、系统、介质、计算机设备及终端
CN116824352A (zh) 一种基于语义分割与图像异常检测的水面漂浮物识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination