CN116721385A - 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法 - Google Patents

一种基于机器学习的rgb摄像头数据蓝藻水华监测方法 Download PDF

Info

Publication number
CN116721385A
CN116721385A CN202310716563.XA CN202310716563A CN116721385A CN 116721385 A CN116721385 A CN 116721385A CN 202310716563 A CN202310716563 A CN 202310716563A CN 116721385 A CN116721385 A CN 116721385A
Authority
CN
China
Prior art keywords
learning model
bloom
algal bloom
deep learning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310716563.XA
Other languages
English (en)
Inventor
谭振宇
段洪涛
杨辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202310716563.XA priority Critical patent/CN116721385A/zh
Publication of CN116721385A publication Critical patent/CN116721385A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器学习的RGB摄像头数据蓝藻水华监测方法,包括:获取RGB摄像头采集的湖泊监控图像,利用训练好的第一深度学习模型对图像进行场景分类,包括无藻华、有藻华、无法判定是否存在藻华三类;对存在藻华的图像,通过训练好的第二深度学习模型进行水体提取;利用训练好的传统机器学习模型对水体提取结果进行藻华识别,获取蓝藻水华监测结果。本发明基于普通摄像头拍摄的RGB图像进行湖泊蓝藻水华识别,通过“场景分类—水体提取—蓝藻识别”三步法,有效降低了湖泊周边地物、光线、波浪以及水生植被等复杂环境下的且只有RGB三个有效光谱波段下蓝藻水华识别难度。

Description

一种基于机器学习的RGB摄像头数据蓝藻水华监测方法
技术领域
本发明属于湖泊水环境领域,特别涉及一种复杂环境下基于RGB摄像头数据进行湖泊蓝藻水华自动识别的方法。
背景技术
近年来,受人类生产活动以及气候环境的变化导致湖泊水体富营养化程度加剧,氮、磷等营养元素的积累导致湖泊蓝藻水华频发,对人类生产生活用水以及环境造成极大的危害。目前,湖泊蓝藻水华监测主要使用人工巡测和基于卫星遥感数据进行监测的方法。人工巡测耗时耗力,成本高昂。基于光学卫星数据监测受限于遥感影像的时间和空间分辨率。常用的高时间分辨率卫星,例如MODIS传感器可以提供每日的观测数据,但是光学影像易受云雨天气的影响导致某些地区在蓝藻频发的季节缺少观测数据。普通RGB摄像头价格相对低廉,可以提供全天候实时监控。作为传统人工巡测和遥感监测的辅助手段,可以帮助湖泊管理部门快速实时掌握蓝藻的发生情况。
现有技术中已有对RGB摄像头拍摄的图像进行藻华识别以实现藻华监控的技术,但现有技术往往需要对摄像头设置最优姿态,如固定摄像头拍摄高度和角度来获取有利于藻华识别的图像,而对摄像头随机拍摄的图像难以实现准确的藻华识别,其存在的问题有:1.摄像头拍摄的RGB图像,藻华多呈绿色,很容易和其他绿色的物体进行混淆;2.摄像头的拍摄角度是随机的,可能存在因拍摄角度和光线问题导致的错误识别。
发明内容
本发明的目的在于提供一种能够对摄像头随机拍摄的图像实现准确的藻华识别的方法。
为实现上述技术目的,本发明采用如下方案:
一种基于机器学习的RGB摄像头数据蓝藻水华监测方法,包括:
获取RGB摄像头采集的湖泊监控图像,利用训练好的第一深度学习模型对图像进行场景分类,包括无藻华、有藻华、无法判定是否存在藻华三类;
对存在藻华的图像,通过训练好的第二深度学习模型进行水体提取;
利用训练好的传统机器学习模型对水体提取结果进行藻华识别,获取蓝藻水华监测结果。
作为一种优选的实施方式,所述第一深度学习模型、第二深度学习模型和传统机器学习模型分别采用独立训练样本进行训练。
作为一种优选的实施方式,训练样本的制作方式为:
将湖泊监控图像通过目视解译划分为无藻华、有藻华、无法判定是否存在藻华三类场景,作为第一深度学习模型的训练样本;
选取目视解译分类为有藻华的湖泊监控图像,标记水体样本和非水体样本,作为第二深度学习模型的训练样本;
在湖泊监控图像的水体范围内标记藻华样本,作为传统机器学习模型的训练样本。
作为一种优选的实施方式,对第一深度学习模型、第二深度学习模型和传统机器学习模型进行模型训练时,对输入的图像进行随机增强处理,以扩充样本量。对图像进行随机增强处理可以扩充样本量,让模型学习如何针对各种光线环境下拍摄到的图像都能做出比较准确的识别,能够提高模型的普适性。
作为一种优选的实施方式,所述增强处理包括图像剪裁、图像标准化、对比度调整、亮度调整、饱和度调整、色调调整中的一种或几种。
作为一种优选的实施方式,所述第一深度学习模型选用Inception或MobileNet模型。优选MobileNet模型。
作为一种优选的实施方式,所述第二深度学习模型为深度学习语义分割模型。
作为一种优选的实施方式,所述第二深度学习模型选用UNet+CBAM,DeepLab或MobileNet+LR-ASPP模型组合;优选MobileNet+LR-ASPP。
作为一种优选的实施方式,所述传统机器学习模型选用人工神经网络、随机森林或极限梯度提升树;优选极限梯度提升树。
本发明中,先利用第一深度学习模型进行场景分类,通过对图片整体情况进行判断,剔除掉无明显藻华特征的以及由于摄像头拍摄角度和光线问题导致的无法判断是否存在藻华的图片。之后通过深度学习语义分割模型对存在藻华的图像进行水体提取,排除非水体部分对藻华识别的干扰。最后一步藻华识别,考虑藻华分布可能是成片的,也可能是零星的,因此使用传统机器学习算法在像素级进行识别。
本发明基于普通摄像头拍摄的RGB图像进行湖泊蓝藻水华识别,通过“场景分类—水体提取—蓝藻识别”三步法,有效降低了湖泊周边地物、光线、波浪以及水生植被等复杂环境下的且只有RGB三个有效光谱波段下蓝藻水华识别难度。
附图说明
图1是本发明利用“三步法”进行RGB摄像头数据蓝藻水华监测的流程图。
图2是本发明基于卷积神经网络进行湖泊图像场景分类的结果图。
图3是本发明基于卷积神经网络进行水体提取的结果图。
图4是本发明基于卷积网络和典型机器学习模型进行藻华识别的结果图。
图5是本发明通过消融实验验证“三步法”中每一步对模型性能的影响;图中S1表示只使用“三步法”中的最后一步,S2表示使用最后两步;S3表示使用完整的“三步法”。
图6是基于本发明在试验区不同摄像头采集的图像进行藻华识别的结果。
图7是基于本发明在试验区同一摄像头不同时刻采集的图像进行藻华识别的结果。
具体实施方式
下面结合附图说明和具体实施方式对本发明的技术方案作进一步阐述。
本发明使用“三步法”进行RGB摄像头数据蓝藻水华监测,每一步中均使用深度卷积神经网络进行实现。卷积神经网络可自定义地构建,也可以使用现有公开模型。因为“三步法”中的每个模型都使用监督学习方式,故需要准备训练样本,而且需要对每一步中的模型分别进行样本制作。即“三步法”中每个步骤训练一个模型,需要三个独立的样本数据集。具体流程如图1所示,包括如下步骤:
(1)样本制作;
获取RGB摄像头采集的湖泊监控图像,对于采集的摄像头监控数据,首先根据是否有藻华存在进行分类,通过人工目视判断,选择完全没有藻华的图像、有可能存在藻华但是由于各种原因无法确定和识别的图像、以及确定有藻华存在的图像,将三类图像分为三大场景。三种分类的图像作为第一个模型(场景分类模型)的训练样本。
后续样本标记工作只在第三类确定有藻华存在的图像上进行。例如,可以通过Labelme样本绘制软件在图像上通过目视解译的方法勾选水体样本和非水体样本。样本标记过程中注意要选择具有代表性的特征像素点。标记好的水体样本和非水体样本作为第二个模型(水体提取模型)的训练样本。
最后,在图像中的水体范围内,进一步勾选藻华样本。由于藻华受周边环境的影响勾选工作量较大,人工判读需要尽可能准确。一般藻华样本制作过程中勾选容易区分的面积较大的藻华范围即可。标记好的样本作为第三个模型(藻华识别模型)的训练样本。
(2)模型训练与验证;
①场景分类模型;
完成样本制作之后,通过自定义的模型或者采用已有的公开模型,分别对场景分类、水体提取和藻华识别三个任务进行模型训练。模型训练过程中随机对原始图像进行增强处理,输入模型进行训练。做图像增强可以增加训练样本的数量和多样性,有利于提高训练模型的精度。
本实施例中,收集的原始数据是534张RGB图像,训练过程中通过随机做图像增强达到扩充样本库的目的。在模型训练完成以后,我们通过图像增强制作了1969张额外扩充的图像数据集,用于模型精度评价。
增强处理采用常见的预处理方式,包括剪裁、亮度调整、对比度调整等,利用训练好的模型进行模型识别时可直接采用原始图像,不进行增强处理。
对场景分类模型,我们测试了InceptionV3和MobileNetV3模型,其在验证数据集上的性能评价结果如表1所示:
表1InceptionV3和MobileNetV3模型用于场景识别时在验证数据集上的性能评价
基于我们的实验测试的结果,场景分类建议使用MobileNetV3模型,利用MobileNetV3对实测图像进行分类,结果如图2所示。
②水体提取模型;
对场景分类模型,我们测试了三种模型组合:UNet+CBAM(ConvolutionalBlockAttention Module),DeepLab V3以及MobileNet+LR-ASPP(Lite ReducedAtrousSpatial PyramidPooling)三种模型,其在验证数据集上的性能评价结果如表2所示:
表2三种模型组合用于水体提取时在验证数据集上的性能评价
基于我们的实验测试的结果,水体提取建议使用MobileNet+LR-ASPP模型,其水体提取结果如图3所示。
③藻华识别模型;
对藻华识别模型,我们测试了表2中的三种深度卷积网络模型和人工神经网络(Artificial Neural Network,ANN)、随机森林(Random Forest,RF)以及极限梯度提升树(eXtreme Gradient Boosting,XGB)这三种经典机器学习模型,结果如表3,表中每个模型对应的两行定量指标分别是模型在原始验证数据集和经过图像增强处理以后的数据集上的预测结果评价。由于增强后的图像数量更多包含的情况也更复杂,有的图像经过增强以后由于色彩、对比度等原因反而会导致识别难度增加,所以在增强的扩充数据集上精度会降低。
表3常用深度卷积网络和经典机器学习模型用于藻华识别时在验证数据集上的性能评价
基于我们的实验测试的结果,藻华识别建议使用XGB模型。其识别结果如图4所示。
此外,我们通过消融实验在深度卷积网络和经典机器学习模型上验证了本申请所述“三步法”中每一步对模型性能的影响,结果如表4所示,表中每个模型对应的三行定量指标分别是使用“三步法”,只使用第二步和第三步和只使用第三步进行藻华识别的结果评价。
表4“三步法”中每一步对模型性能的影响验证
可以看出,本申请的三步法大大提高了藻华的识别精度。
(3)基于训练好的模型,将原始RGB数据输入第一个模型,然后顺次执行这三个模型,即可得到最终的预测结果。图6和图7分别是基于本发明提出的“三步法”在试验区不同摄像头和某个摄像头在不同时刻采集的图像进行藻华识别的结果,可以看出,本申请对随机摄像头不同时刻拍摄的图像均有良好的识别效果。

Claims (10)

1.一种基于机器学习的RGB摄像头数据蓝藻水华监测方法,其特征在于,包括:
获取RGB摄像头采集的湖泊监控图像,利用训练好的第一深度学习模型对图像进行场景分类,包括无藻华、有藻华、无法判定是否存在藻华三类;
对存在藻华的图像,通过训练好的第二深度学习模型进行水体提取;
利用训练好的传统机器学习模型对水体提取结果进行藻华识别,获取蓝藻水华监测结果。
2.根据权利要求1所述的方法,其特征在于,所述第一深度学习模型、第二深度学习模型和传统机器学习模型分别采用独立训练样本进行训练。
3.根据权利要求1或2所述的方法,其特征在于,训练样本的制作方式为:
将湖泊监控图像通过目视解译划分为无藻华、有藻华、无法判定是否存在藻华三类场景,作为第一深度学习模型的训练样本;
选取目视解译分类为有藻华的湖泊监控图像,标记水体样本和非水体样本,作为第二深度学习模型的训练样本;
在湖泊监控图像的水体范围内标记藻华样本,作为传统机器学习模型的训练样本。
4.根据权利要求1所述的方法,其特征在于,对第一深度学习模型、第二深度学习模型和传统机器学习模型进行模型训练时,对输入的图像进行随机增强处理。
5.根据权利要求4所述的方法,其特征在于,所述增强处理包括图像剪裁、图像标准化、对比度调整、亮度调整、饱和度调整、色调调整中的一种或几种。
6.根据权利要求1所述的方法,其特征在于,所述第一深度学习模型选用Inception或MobileNet模型。
7.根据权利要求6所述的方法,其特征在于,所述第一深度学习模型选用MobileNet模型。
8.根据权利要求1所述的方法,其特征在于,所述第二深度学习模型为深度学习语义分割模型。
9.根据权利要求1或8所述的方法,其特征在于,所述第二深度学习模型选用UNet+CBAM,DeepLab或MobileNet+LR-ASPP模型组合;优选MobileNet+LR-ASPP。
10.根据权利要求1所述的方法,其特征在于,所述传统机器学习模型选用人工神经网络、随机森林或极限梯度提升树;优选极限梯度提升树。
CN202310716563.XA 2023-06-16 2023-06-16 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法 Pending CN116721385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310716563.XA CN116721385A (zh) 2023-06-16 2023-06-16 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310716563.XA CN116721385A (zh) 2023-06-16 2023-06-16 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法

Publications (1)

Publication Number Publication Date
CN116721385A true CN116721385A (zh) 2023-09-08

Family

ID=87867556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310716563.XA Pending CN116721385A (zh) 2023-06-16 2023-06-16 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法

Country Status (1)

Country Link
CN (1) CN116721385A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052377A (zh) * 2024-04-16 2024-05-17 中国环境监测总站 一种基于水生境自动反演的水生态综合评价方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052377A (zh) * 2024-04-16 2024-05-17 中国环境监测总站 一种基于水生境自动反演的水生态综合评价方法和系统

Similar Documents

Publication Publication Date Title
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
CN111860351B (zh) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN112183209A (zh) 一种基于多维特征融合的区域农作物分类方法及系统
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN111784721A (zh) 基于深度学习的超声内窥图像智能分割与量化方法及系统
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
CN109522929A (zh) 一种基于多源图像融合的自然环境下麦田杂草识别方法
CN112907520B (zh) 基于端到端深度学习方法的单株树冠检测方法
CN102855485B (zh) 一种小麦抽穗的自动检测方法
Ji et al. In-field automatic detection of maize tassels using computer vision
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
Liang et al. Low-cost weed identification system using drones
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113887493B (zh) 一种基于id3算法的黑臭水体遥感影像识别方法
CN113312999A (zh) 一种自然果园场景下的柑橘木虱高精度检测方法及装置
CN114612794A (zh) 一种细碎化农业区土地覆被与种植结构的遥感识别方法
CN116721385A (zh) 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用
Suzuki et al. Image segmentation between crop and weed using hyperspectral imaging for weed detection in soybean field
CN118230166A (zh) 基于改进Mask2YOLO网络的玉米冠层器官识别方法及冠层表型检测方法
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN108090910A (zh) 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法
CN112418112A (zh) 一种果园病虫害监测预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination