CN111104860A - 一种基于机器视觉的无人机水质色度监测方法 - Google Patents

一种基于机器视觉的无人机水质色度监测方法 Download PDF

Info

Publication number
CN111104860A
CN111104860A CN201911135262.8A CN201911135262A CN111104860A CN 111104860 A CN111104860 A CN 111104860A CN 201911135262 A CN201911135262 A CN 201911135262A CN 111104860 A CN111104860 A CN 111104860A
Authority
CN
China
Prior art keywords
image
water sample
water
chromaticity
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911135262.8A
Other languages
English (en)
Other versions
CN111104860B (zh
Inventor
陈勇
陈燚
李非里
张高翔
杨锋
俞飞扬
丁建阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911135262.8A priority Critical patent/CN111104860B/zh
Publication of CN111104860A publication Critical patent/CN111104860A/zh
Application granted granted Critical
Publication of CN111104860B publication Critical patent/CN111104860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的无人机水质色度监测方法,它利用无人机在水质监测区域的水面拍摄获得的水样图像实时传输到电脑终端,并对获得的水样图像信息进行图像处理;同时进行现场水样的采集,将采集的水样进行色度等级检测,并建立水样色度数据库。根据处理后的水样图像信息结果以及搭建的水样色度数据库,搭建卷积神经网络监测模型,建立数据水质监测数据库,并进行结果评测,选择最为合适的模型框架。本发明提供了一种监测效率高、成本低,并适用于对大范围水域进行监测的基于机器视觉的无人机监测方法,通过对无人机搜集的图像进行图像分析,实时监测某一水域的水质情况,主要适用于对大面积江河湖泊的水质监测工作。

Description

一种基于机器视觉的无人机水质色度监测方法
技术领域
本发明涉及水质监测,具体涉及一种基于机器视觉的无人机水质色度监测方法。
背景技术
改革开放以来,中国现代化的步伐不断加快。在用水量迅速上升的同时,污水排放量也随之提高,污染物的排放数量已经超过了水环境容量,这给水体自净带来了很多问题。这使得我国的水资源受到了极大的破坏。为了能够更好得保护水资源不被破坏,同时了解水体的实时情况,需要对水体进行实时的监测工作。
现阶段,水环境监测的方法主要包括:实验室监测方法、移动监测方法和自动监测站监测方法。但是这三种水环境监测方法均需要进行样本提取,后进行化学物质监测,虽然监测精度高但是也存在人工成本与设备成本较高,且监测周期较长的缺点。我国疆域辽阔,水域分布广阔,不同的地表水流域需要有着不同的水资源监测体系,我们现有的监测体系来看,在整体的监测模式,预警监测等方面存在明显不足。
发明内容
为了克服传统的水质监测方法监测成本高,监测周期长的缺点,本发明提供了一种监测效率高,成本低,并适用于对大范围水域进行监测的基于机器视觉的无人机监测方法,通过对无人机搜集的图像进行图像分析,实时监测某一水域的水质情况,主要适用于对大面积江河湖泊的水质监测工作。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于包括以下步骤:
1)水样图像的采集:通过无人机的巡航功能,在选定的水质监测区域的水面进行拍摄,并将拍摄获得的水样图像实时传输到电脑终端;
2)图像处理:将电脑终端获得的水样图像信息进行图像处理,即首先对获得的所有水样图像进行光照强度的归一化处理,以避免由于光照强度的差异而对色度监测效果产生影响;然后对水样图像的除水面区域以外的部分进行剔除,以避免干扰因素对监测结果的影响,最终获得相应的处理后图像;
3)现场水样的采集:在无人机进行水样图像搜集的同时进行现场水样的采集,在水质监测区域选取不同的点作为采样点,以避免水样参数测试中误差的产生,对搜集获得的水样样本进行保存;
4)水样色度的化学监测及水样色度数据库搭建:利用化学监测方式对搜集获得的水样进行色度检测,色度精度精确到个位数,以每个数字作为一个等级,共划分60个色度等级;按照色度等级对每一个水样进行标记,并按照色度等级将同一色度等级的水样进行归类处理,得到水样色度的数据库;
5)搭建卷积神经网络监测模型,建立水质监测数据库:水样色度等级的监测方法是采用卷积神经网络的方式训练,为了能够获得最优的预测效果,在本阶段设计多种结构的卷积神经网络分别进行预测,将所有采样点的处理后图像及其对应的水体色度等级作为训练样本数据进行输入,分别进行检测模型的搭建,并训练卷积神经网络参数;选择采用softmax方式进行预测输出,通过检测模型的不断迭代,让水体色度等级预测结果与真实水体色度等级结果的误差减小,达到水样色度的有效监测;
6)监测模型结果的评估与可视化:根据步骤5)构建的多个检测模型,通过输入待测的处理后图像样本,以折线分布图的方式展示不同监测模型水体色度等级预测结果与真实水体色度等级结果的拟合情况,通过色度等级的卷积神经网络模型的误差分析评估检测各模型的有效性,并选择最为合适的模型框架。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤1)水样图像的采集过程中,图像采集时的天气保持基本一致,且无人机的飞行高度相同。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程为:
首先以一张光照强度最为合适的水样图像样本作为模板图像,通过opencv的图像处理模块,提取模板图像的各通道像素点的RGB参数,并通过RGB参数计算模板图像的光照强度均值;
将除模板图像之外的其他每一种水样图像均标记为目标图像,以同样方法计算目标图像的光照强度,并计算模板图像的光照强度均值与目标图像的光照强度的比例系数β,将目标图像的每个通道的每一个像素值乘上比例系数β,达到光照强度的归一化处理,使所有水样图像的光照强度均值均保持一致,从而避免由于拍摄过程当中光照强度的差异对色度监测效果的影响。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于进行归一化处理的具体过程为:
所述模板图像的光照强度均值的计算公式如式(2)所示,
Figure BDA0002279421860000041
Yo—模板图像的光照强度均值;
Rij—模板图像的红色通道i行j列像素块的值;
Gij—模板图像的绿色通道i行j列像素块的值;
Bij—模板图像的蓝色通道i行j列像素块的值;
目标图像与模板图像的光照强度均值的比例系数β的计算公式如式(3)所示:
Figure BDA0002279421860000042
β—水样图像的光照强度比例系数;
YP—目标图像的光照强度;
Bo—目标图像的蓝色通道光强归一化处理前的像素值;
Bn—目标图像的蓝色通道光强归一化处理后的像素值;
Go—目标图像的绿色通道光强归一化处理前的像素值;
Gn—目标图像的绿色通道光强归一化处理后的像素值;
Ro—目标图像的红色通道光强归一化处理前的像素值;
Rn—目标图像的红色通道光强归一化处理后的像素值;
同时由于RGB类型的图像像素值取值范围为[0,255],因此当公式(3)中R、G、B通道内像素值大于255时,均以255代替该像素值。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程,也可以采用以下方式:使用RGB各通道的像素值偏移化的方法进行光照强度处理,首先以一张光照强度最为合适的水样图像样本作为标准图像,将除标准图像之外的其他每一种水样图像均标记为目标图像,计算目标图像与标准图像之间各通道像素的均值差,并根据计算的均值差结果,将目标图像的各通道像素均值进行偏移,以保证目标图像的像素均值与标准图像的像素均值一致,从而起到光照强度均一化的效果;计算公式如式(4)所示:
Figure BDA0002279421860000051
Cij(aim)—光照强度归一化后目标图像C通道i行j列像素点的像素值;
Cij(ori)—标准图像C通道i行j列像素点的像素值;
Cij—光照强度归一化前目标图像C通道i行j列像素点的像素值;
C—C为R,G,B通道中的某一通道。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)中,对水样图像的除水面区域以外的部分进行剔除的过程如下:
S1边缘检测及像素二值化:首先将已经进行光照强度归一化的水样图像进行灰度化处理,即将水样图像的格式从RGB格式转换为GRAY格式,然后使用soble算子进行边缘检测,即分别利用一个3×3的X轴与Y轴卷积算子核与水样图像对应位置的像素进行矩阵乘法,X轴卷积算子核为
Figure BDA0002279421860000061
Y轴卷积算子核为
Figure BDA0002279421860000062
通过卷积处理后,获得对应像素点的图像灰度值,通过以上方法遍历整个目标图像,获得目标图像的全图的水平与垂直边缘检测结果,最后将X轴与Y轴的卷积结果进行绝对值相减获得对应的边缘检测参数,详细过程如公式(5)所示:
Figure BDA0002279421860000063
Gx—目标图像的进行水平边缘检测计算后的参数;
Gy—目标图像的进行垂直边缘检测计算后的参数;
gi,j—目标图像的i行j列像素点的像素值;
G—目标图像的边缘检测判定值;
通过边缘检测参数计算获得的边缘检测判定值|G|,同时设置边缘检测阈值为90,进行边缘处理:
|G|≤90:像素点设置为黑色
|G|>90:像素点设置为白色;
通过以上边缘检测的步骤处理后,水样图像将仅保留区域特征,即水样图像的水面区域由于颜色变化导致边缘检测结果|G|不大被设置为黑色,其他干扰物区域由于边缘检测结果|G|过大而被设置为了白色;
S2目标图像的精确定位:为了进一步的精确水域位置,并消除以上步骤S1中的误判区域,需要进一步进行图像区域的细节刻画,即对某些误判区域进行消除,细节刻画部分主要包括图像的腐蚀处理过程,即以3×3的矩阵A作为结构元素,并以矩阵A中的2行2列处的数值作为矩阵原点,将结构元素A以矩阵原点作为中心锚点遍历整个水样图像的每一个像素点;若在水样图像的全图过程当中,矩阵A中所有9个元素都被包含在目标图像当中,且矩阵A中对应为1的数值在目标图像位置也为1,则将目标图像中与结构元素原点对应的像素点设置为1,否则为0;腐蚀处理的公式如(6)所示:
Figure BDA0002279421860000071
gi,j—水样图像i行j列像素点的像素值;
A—腐蚀结构元素矩阵;
[]—进行“与”运算前选择的图像矩阵;
[]new—进行“与”运算后图像同一位置矩阵;
Figure BDA0002279421860000081
—“与”运算符号
S3目标区域选取:通过以上的方法锁定河道区域之后,通过算法将除河道以外的图像使用cv2.fillPoly()函数全部用其他杂色覆盖,避免其他杂色对后期水质监测结果的影响;同时,通过opencv中的findContours模块获取黑色河道的区域,截取不规则河道的矩形区域,并反馈矩形区域的四个端点坐标X1,X2,Y1,Y2,将矩形区域端点左边进行收缩,提高截取的精确度,详细的处理过程如公式(7)所示:
Figure BDA0002279421860000082
Xmin—矩形区域端点左边经过收缩后的最小的X坐标数值;
Xmax—矩形区域端点左边经过收缩后的最大的X坐标数值;
Ymin—矩形区域端点左边经过收缩后的最小的Y坐标数值;
Ymax—矩形区域端点左边经过收缩后的最大的Y坐标数值;
通过以上的步骤,可完成水样图像的目标区域的准确截取。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤4)中,水体色度的化学监测方式为采用铂钴比色法进行检测。
所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤5)中,选择残差卷积神经网络和VGG16分别进行检测模型的搭建。
相对于现有技术,本发明取得的有益效果是:
1)本发明的方法是以无人机为数据搜集终端,利用无人机本身视野开阔的特点进行优质的数据搜集工作,然后将搜集获得的数据进行前期的图像预处理工作,同时在监测水体区域选取不同的点作为采样点并进行色度检测,利用预处理后的图像和水质色度进行数据库搭建工作,最终结合卷积神经网络进行水质的监测工作。
2)在传统监测方法的基础上,将机器视觉与无人机技术相互结合,应用于河流湖泊的污染物监测。通过识别技术对水体的颜色、水生植物进行分析,初步了解水体的富营养化程度,并对水体中的固态漂浮污染物进行监测,了解水体的污染程度。利用无人机技术与机器视觉技术可以快速地进行大范围水体进行初步监测,具有效率高,成本低的优点,同时可以为之后的化学水质检测进行初步的样本筛选和基本数据分析,加快检测的速度,避免不必要的资源浪费。
附图说明
图1为本发明利用无人机在水质监测区域的水面进行拍摄采集水样图像的结构示意图;
图2为本发明所述水质监测方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明,但本发明的保护范围并不限于此。
实施例1:
本发明提供一种技术方案:一种新的水质色度监测方案,包括以下步骤:
步骤一:利用无人机技术进行水样图像采集。
步骤二:现场水样的搜集。
步骤三:水样色度的化学监测及水样色度数据库搭建。
步骤四:水样图像的光照强度归一化处理。
步骤五:水样图像的边缘检测及目标区域筛选。
步骤六:水样图像的强化。
步骤七:搭建卷积神经网络监测模型,建立数据水质监测数据库。
步骤八:监测模型结果的评估与可视化。本发明所述水质监测方法的流程示意图如图2所示。
1.利用无人机技术进行水体图像采集:
本监测方法的数据搜集主要包括图像搜集以及水样搜集两个部分,图像搜集在保证天气状况良好的情况下,通过无人机进行高空的水样采集工作。具体的采样高度设置为15米,无人机的摄像头垂直往下拍摄取样,尽可能避免水面杂质、反光对采样效果的影响。一个水域拍摄三张照片,避免图像数据过少而导致监测效果不佳。具体的水体图像采集过程如图1所示。
2.现场水样的搜集:
在进行无人机水样图像搜集的同时在相同水域现场进行水样的采集,通过水体取样装置进行水样取样,并将采集获得的水样保存于500ml的取样瓶当中。每个水域在不同搜集点搜集三份,避免水体参数测试中误差的产生。
3.水样色度的化学监测及水样色度数据库搭建:
水样的色度化学监测主要采用铂钴比色法进行检测。将0.0437g重铬酸钾、1.000g七水合硫酸钴以及0.5mLAR级98%的浓硫酸溶于50mL超纯水中,之后用转移到500mL容量瓶中,用水稀释至标线,得到色度标准储备液。
在一组50mL的比色管中,用移液管分别加入0,0.5,1.0,1.5,2.0,2.5,3.0,3.5,4.0,4.5,5.0,6.0及7.0mL色度标准储备液,并用水稀释至标线,混匀,得到标准溶液。配制标准溶液的色度分别为:0,5,10,15,20,25,30,35,40,45,50,60,70度。
将装有待测水样的比色管管底部放在白色表面上,使得比色管与该白色表面应呈合适的角度,使光线被反射自具塞比色管底部向上通过液柱。垂直向下观察液柱,找出与待测水样色度最接近的标准溶液,进行大致读数。(如待测水样的色度≥70度,用超纯水将待测水样适当稀释后,使待测水样的色度落入标准溶液的色度范围之中再行测定。并用下式计算色度,色度计算公式如公式(1)所示。将所有样本的测试结果进行保存,以作为模型训练指标。
Figure BDA0002279421860000111
A0—待测水样的色度;
V1—待测水样稀释后的总体积;
V0—待测水样稀释前的体积;
A1—待测水样稀释后的色度的观察值。
4.水样图像的光照强度归一化处理:
由于在进行现场的拍摄取样过程当中,光线强度往往存在较大的差别,这对后期的神经网络训练存在很大的影响,为了避免光照强度的影响。首先以一张光照强度最为合适的水样图像样本作为模板图像,通过opencv的图像处理模块,提取模板图像的各通道像素点的RGB参数,并通过RGB参数计算模板图像的光照强度均值。计算公式如公式(2)所示。
将除模板图像之外的其他每一种水样图像均标记为目标图像,以同样方法计算目标图像的光照强度,并计算模板图像的光照强度均值与目标图像的光照强度的比例系数β,将目标图像的每个通道的每一个像素值乘上比例系数β,达到光照强度的归一化处理,使所有水样图像的光照强度均值均保持一致,从而避免由于拍摄过程当中光照强度的差异对色度监测效果的影响。目标图像的光照强度公式如公式(3)所示。同时由于RGB类型的图像像素值取值范围为[0,255],因此,当公式(3)中R、G、B通道内像素值大于255时,均以255代替该像素点。
Figure BDA0002279421860000121
Yo——模板图像的光照强度均值;
Rij——模板图像的红色通道i行j列像素块的值;
Gij——模板图像的绿色通道i行j列像素块的值;
Bij——模板图像的蓝色通道i行j列像素块的值;
Figure BDA0002279421860000122
β—水样图像的光照强度比例系数;
YP—目标图像的光照强度;
Bo—目标图像的蓝色通道光强归一化处理前的像素值;
Bn—目标图像的蓝色通道光强归一化处理后的像素值;
Go—目标图像的绿色通道光强归一化处理前的像素值;
Gn—目标图像的绿色通道光强归一化处理后的像素值;
Ro—目标图像的红色通道光强归一化处理前的像素值;
除了以上调整YUV模式下的光照强度参数进行水样图像的光照强度归一化处理方式以外,还可以直接使用RGB各通道的像素值偏移化的方法进行光照强度处理,详细过程如公式(4)所示。该公式主要是提取图像当中RGB通道各像素点的均值。首先以一张光照强度最为合适的水样图像样本作为标准图像,将除标准图像之外的其他每一种水样图像均标记为目标图像,计算目标图像与标准图像之间各通道像素的均值差,并根据计算的均值差结果,将目标图像的各通道像素均值进行偏移,以保证目标图像的像素均值与标准图像的像素均值一致,从而起到光照强度均一化的效果。
Figure BDA0002279421860000131
Cij(aim)——光照强度归一化后目标图像C通道i行j列像素点的像素值;
Cij(ori)——标准图片C通道i行j列像素点的像素值;
Cij——光照强度归一化前目标图像C通道i行j列像素点的像素值;
C——C为R,G,B通道中的某一通道。
5.水样图像的边缘检测及目标区域筛选:
1)边缘检测及像素二值化:在进行现场的水样图像的采样过程当中,往往会将周围除湖泊河流以外的物体拍摄入水样图像内,本方法通过图像处理工具当中的边缘检测方法将湖泊的轮廓进行勾选。首先将已经进行光照强度归一化的水样图像进行灰度化处理,即将水样图像的格式从RGB格式转换为GRAY格式,然后使用soble算子进行边缘检测,其主要方法是分别利用一个3×3的X轴与Y轴卷积算子核与水样图像对应位置的像素进行矩阵乘法,X轴卷积算子核为
Figure BDA0002279421860000141
Y轴卷积算子核为
Figure BDA0002279421860000142
通过卷积处理后,获得对应像素点的图像灰度值,通过以上方法遍历整个目标图像,获得目标图像的全图的水平与垂直边缘检测结果,最后将X轴与Y轴的卷积结果进行绝对值相减获得对应的边缘检测参数,详细过程如公式(5)所示:
Figure BDA0002279421860000143
Gx—目标图像的进行水平边缘检测计算后的参数;
Gy—目标图像的进行垂直边缘检测计算后的参数;
gi,j—目标图像的i行j列像素点的像素值;
G—目标图像的边缘检测判定值;
通过边缘检测参数计算获得的边缘检测判定值|G|,同时设置边缘检测阈值为90,进行边缘处理:
|G|≤90:像素点设置为黑色
|G|>90:像素点设置为白色。
通过以上步骤的处理,水样图像仅保留区域特征,即水样图像的水面区域由于颜色变化导致边缘检测结果|G|不大被设置为黑色,其他干扰物区域由于边缘检测结果|G|过大而被设置为了白色。
2)目标图像的精确定位:为了进一步的精确水域位置,并消除以上步骤中的误判区域。需要进一步进行照片区域的细节刻画,即对某些误判区域进行消除。细节刻画部分主要包括图像的腐蚀处理。
腐蚀处理的公式如(6)所示:腐蚀处理过程主要是以3×3的矩阵A作为结构元素。并以矩阵A中的2行2列处的数值作为矩阵原点,将结构元素A以矩阵原点作为中心锚点遍历整个水样图像的每一个像素点;若在遍历水样图像的全图过程当中,矩阵A中所有9个元素都被包含在目标图像当中,且矩阵A中对应为1的数值在目标图像位置也为1,则将目标图像中与结构元素原点对应的像素点设置为1,否则为0(由于目标图像在之前的边缘检测过程当中已经转变为黑白像素。设黑色对应数值为0,白色对应数值为1。)通过以上的腐蚀处理后,可以避免其他干扰因素对于边缘检测的影响,同时精确河道区域的位置。
Figure BDA0002279421860000161
A—腐蚀结构元素矩阵;
gi,j—水样图像i行j列像素点的像素值;
[]—进行“与”运算前选择的图像矩阵;
[]new—进行“与”运算后图像同一位置矩阵;
Figure BDA0002279421860000162
—“与”运算符号;
3)目标区域选取:通过以上的方法锁定河道区域之后。通过算法将除河道以外的图像使用cv2.fillPoly()函数全部用其他杂色覆盖,避免其他杂色对后期水质监测结果的影响。同时,通过opencv中的findContours模块获取黑色河道的区域,尽可能截取不规则河道的矩形区域,并反馈矩形区域的四个端点坐标X1,X2,Y1,Y2。由于河道区域往往为不规则形状,为了避免矩形区域截取到其他无关信息,将矩形端点左边进行收缩,以提高截取的精确度。详细的处理过程如公式(7)所示。通过以上的步骤,可以完成水样图像的准确截取。
Figure BDA0002279421860000171
Xmin——矩形区域端点左边经过收缩后的最小的X坐标数值;
Xmax——矩形区域端点左边经过收缩后的最大的X坐标数值;
Ymin——矩形区域端点左边经过收缩后的最小的Y坐标数值;
Ymax——矩形区域端点左边经过收缩后的最大的Y坐标数值;
6.水样图像的强化:
图像强化部分主要是对获取的所有水样图像进行翻转、旋转以及随机截取等操作,扩充水样图像样本的数量,增加样本数量,为之后模型的训练提供大量数据,从而提高模型的准确程度。
7.搭建卷积神经网络监测模型,建立数据水质监测数据库:
由于该模型对时效性要求较高,在进行模型训练时本方法采用googlenet神经网络作为基本的网络框架进行模型训练。
为了能够获得最优的预测效果,在本阶段设计多种结构的卷积神经网络(即残差卷积神经网络、VGG16等多种网络模型)分别进行预测,将所有采样点的处理后图像及其对应的水体色度等级作为训练样本数据进行输入,分别进行检测模型的搭建,并训练卷积神经网络参数。也就是说,在进行模型的参数训练过程中,将获取的水样图像样本数据作为模型的x轴输入进入卷积神经网络当中进行训练。而化学监测得到的水样色度等级数据则以模型的y轴作为输出的真实结果输入卷积神经网络。由于化学监测得到的水样色度等级数据取值范围为[1,60]的整数。因此,选择采用softmax方式进行预测输出。通过模型的不断迭代,让水体色度等级预测结果与真实水体色度等级结果的误差尽可能减小,达到预期的水质监测结果。
8.监测模型结果的评估与可视化:
通过以上的模型建立与数据训练获得有关水质色度的监测模型,本训练模型的最终训练结果可能会由于卷积神经网络选择的不同而导致准确率的不同,在进行卷积神经网络的搭建过程中可以选择包括残差卷积神经网络、VGG16等多种网络模型,通过输入待测的处理后图像样本,并以折线图的形式展示损失函数(即以折线图的形式分布展示水体色度等级的实际结果和水体色度等级的预测结果的拟合情况),通过色度等级的卷积神经网络模型的误差分析评估检测各模型的有效性,通过比较选择最为合适的模型框架。
本说明书所述的内容仅仅是对发明构思实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式。

Claims (8)

1.一种基于机器视觉的无人机水质色度监测方法,其特征在于包括以下步骤:
1)水样图像的采集:通过无人机的巡航功能,在选定的水质监测区域的水面进行拍摄,并将拍摄获得的水样图像实时传输到电脑终端;
2)图像处理:将电脑终端获得的水样图像信息进行图像处理,即首先对获得的所有水样图像进行光照强度的归一化处理,以避免由于光照强度的差异而对色度监测效果产生影响;然后对水样图像的除水面区域以外的部分进行剔除,以避免干扰因素对监测结果的影响,最终获得相应的处理后图像;
3)现场水样的采集:在无人机进行水样图像搜集的同时进行现场水样的采集,在水质监测区域选取不同的点作为采样点,以避免水样参数测试中误差的产生,对搜集获得的水样样本进行保存;
4)水样色度的化学监测及水样色度数据库搭建:利用化学监测方式对搜集获得的水样进行色度检测,色度精度精确到个位数,以每个数字作为一个等级,共划分60个色度等级;按照色度等级对每一个水样进行标记,并按照色度等级将同一色度等级的水样进行归类处理,得到水样色度的数据库;
5)搭建卷积神经网络监测模型,建立水质监测数据库:水样色度等级的监测方法是采用卷积神经网络的方式训练,为了能够获得最优的预测效果,在本阶段设计多种结构的卷积神经网络分别进行预测,将所有采样点的处理后图像及其对应的水体色度等级作为训练样本数据进行输入,分别进行检测模型的搭建,并训练卷积神经网络参数;选择采用softmax方式进行预测输出,通过检测模型的不断迭代,让水体色度等级预测结果与真实水体色度等级结果的误差减小,达到水样色度的有效监测;
6)监测模型结果的评估与可视化:根据步骤5)构建的多个检测模型,通过输入待测的处理后图像样本,以折线分布图的方式展示不同监测模型水体色度等级预测结果与真实水体色度等级结果的拟合情况,通过色度等级的卷积神经网络模型的误差分析评估检测各模型的有效性,并选择最为合适的模型框架。
2.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤1)水样图像的采集过程中,图像采集时的天气保持基本一致,且无人机的飞行高度相同。
3.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程为:首先以一张光照强度最为合适的水样图像样本作为模板图像,通过opencv的图像处理模块,提取模板图像的各通道像素点的RGB参数,并通过RGB参数计算模板图像的光照强度均值;
将除模板图像之外的其他每一种水样图像均标记为目标图像,以同样方法计算目标图像的光照强度,并计算模板图像的光照强度均值与目标图像的光照强度的比例系数β,将目标图像的每个通道的每一个像素值乘上比例系数β,达到光照强度的归一化处理,使所有水样图像的光照强度均值均保持一致,从而避免由于拍摄过程当中光照强度的差异对色度监测效果的影响。
4.根据权利要求3所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于进行归一化处理的具体过程为:
所述模板图像的光照强度均值的计算公式如式(2)所示,
Figure FDA0002279421850000031
Yo—模板图像的光照强度均值;
Rij—模板图像的红色通道i行j列像素块的值;
Gij—模板图像的绿色通道i行j列像素块的值;
Bij—模板图像的蓝色通道i行j列像素块的值;
目标图像与模板图像的光照强度均值的比例系数β的计算公式如式(3)所示:
Figure FDA0002279421850000032
β—水样图像的光照强度比例系数;
YP—目标图像的光照强度;
Bo—目标图像的蓝色通道光强归一化处理前的像素值;
Bn—目标图像的蓝色通道光强归一化处理后的像素值;
Go—目标图像的绿色通道光强归一化处理前的像素值;
Gn—目标图像的绿色通道光强归一化处理后的像素值;
Ro—目标图像的红色通道光强归一化处理前的像素值;
Rn—目标图像的红色通道光强归一化处理后的像素值;
同时由于RGB类型的图像像素值取值范围为[0,255],因此当公式(3)中R、G、B通道内像素值大于255时,均以255代替该像素值。
5.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程为:使用RGB各通道的像素值偏移化的方法进行光照强度处理,首先以一张光照强度最为合适的水样图像样本作为标准图像,将除标准图像之外的其他每一种水样图像均标记为目标图像,计算目标图像与标准图像之间各通道像素的均值差,并根据计算的均值差结果,将目标图像的各通道像素均值进行偏移,以保证目标图像的像素均值与标准图像的像素均值一致,从而起到光照强度均一化的效果;计算公式如式(4)所示:
Figure FDA0002279421850000041
Cij(aim)—光照强度归一化后目标图像C通道i行j列像素点的像素值;
Cij(ori)—标准图像C通道i行j列像素点的像素值;
Cij—光照强度归一化前目标图像C通道i行j列像素点的像素值;
C—C为R,G,B通道中的某一通道。
6.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤2)中,对水样图像的除水面区域以外的部分进行剔除的过程如下:
S1边缘检测及像素二值化:首先将已经进行光照强度归一化的水样图像进行灰度化处理,即将水样图像的格式从RGB格式转换为GRAY格式,然后使用soble算子进行边缘检测,即分别利用一个3×3的X轴与Y轴卷积算子核与水样图像对应位置的像素进行矩阵乘法,X轴卷积算子核为
Figure FDA0002279421850000051
Y轴卷积算子核为
Figure FDA0002279421850000052
通过卷积处理后,获得对应像素点的图像灰度值,通过以上方法遍历整个目标图像,获得目标图像全图的水平与垂直的边缘检测结果,最后将X轴与Y轴的卷积结果进行绝对值相减获得对应的边缘检测参数,详细过程如公式(5)所示:
Figure FDA0002279421850000053
Gx—目标图像的进行水平边缘检测计算后的参数;
Gy—目标图像的进行垂直边缘检测计算后的参数;
gi,j—目标图像的i行j列像素点的像素值;
G—目标图像的边缘检测判定值;
通过边缘检测参数计算获得的边缘检测判定值|G|,同时设置边缘检测阈值为90,进行边缘处理:
|G|≤90:像素点设置为黑色
|G|>90:像素点设置为白色;
通过以上边缘检测的步骤处理后,水样图像将仅保留区域特征,即水样图像的水面区域由于颜色变化导致边缘检测结果|G|不大被设置为黑色,其他干扰物区域由于边缘检测结果|G|过大而被设置为了白色;
S2目标图像的精确定位:为了进一步的精确水域位置,并消除以上步骤S1中的误判区域,需要进一步进行图像区域的细节刻画,即对某些误判区域进行消除,细节刻画部分主要包括图像的腐蚀处理过程,即以3×3的矩阵A作为结构元素,并以矩阵A中的2行2列处的数值作为矩阵原点,将结构元素A以矩阵原点作为中心锚点遍历整个水样图像的每一个像素点;若在遍历水样图像的全图过程当中,矩阵A中所有9个元素都被包含在目标图像当中,且矩阵A中对应为1的数值在目标图像位置也为1,则将目标图像中与结构元素原点对应的像素点设置为1,否则为0;腐蚀处理的公式如(6)所示:
Figure FDA0002279421850000061
gi,j—水样图像i行j列像素点的像素值;
A—腐蚀结构元素矩阵;
[]—进行“与”运算前选择的图像矩阵;
[]new—进行“与”运算后图像同一位置的矩阵;
Figure FDA0002279421850000071
—“与”运算符号
S3目标区域选取:通过以上的方法锁定河道区域之后,通过算法将除河道以外的图像使用cv2.fillPoly()函数全部用其他杂色覆盖,避免其他杂色对后期水质监测结果的影响;同时,通过opencv中的findContours模块获取黑色河道的区域,截取不规则河道的矩形区域,并反馈矩形区域的四个端点坐标X1,X2,Y1,Y2,将矩形区域端点左边进行收缩,提高截取的精确度,详细的处理过程如公式(7)所示:
Figure FDA0002279421850000072
Xmin—矩形区域端点左边经过收缩后的最小的X坐标数值;
Xmax—矩形区域端点左边经过收缩后的最大的X坐标数值;
Ymin—矩形区域端点左边经过收缩后的最小的Y坐标数值;
Ymax—矩形区域端点左边经过收缩后的最大的Y坐标数值;
通过以上的步骤,可完成水样图像的目标区域的准确截取。
7.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤4)中,水体色度的化学监测方式为采用铂钴比色法进行检测。
8.根据权利要求1所述的一种基于机器视觉的无人机水质色度监测方法,其特征在于步骤5)中,选择残差卷积神经网络和VGG16分别进行检测模型的搭建。
CN201911135262.8A 2019-11-19 2019-11-19 一种基于机器视觉的无人机水质色度监测方法 Active CN111104860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911135262.8A CN111104860B (zh) 2019-11-19 2019-11-19 一种基于机器视觉的无人机水质色度监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135262.8A CN111104860B (zh) 2019-11-19 2019-11-19 一种基于机器视觉的无人机水质色度监测方法

Publications (2)

Publication Number Publication Date
CN111104860A true CN111104860A (zh) 2020-05-05
CN111104860B CN111104860B (zh) 2022-02-15

Family

ID=70421474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911135262.8A Active CN111104860B (zh) 2019-11-19 2019-11-19 一种基于机器视觉的无人机水质色度监测方法

Country Status (1)

Country Link
CN (1) CN111104860B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816480A (zh) * 2021-02-01 2021-05-18 奎泰斯特(上海)科技有限公司 水质酶底物鉴定方法
CN112857356A (zh) * 2021-01-04 2021-05-28 上海建科环境技术有限公司 无人机水体环境调查和航线生成方法
CN114137170A (zh) * 2021-11-18 2022-03-04 江苏云聚汇科技有限公司 一种水质在线监测控制系统
CN114357210A (zh) * 2021-12-17 2022-04-15 浙江仁欣环科院有限责任公司 一种管网预警污水动态监管的无人机系统及其使用方法
CN114764861A (zh) * 2022-04-19 2022-07-19 江苏禹润水务研究院有限公司 一种基于计算机视觉的污水处理验证方法
CN114965918A (zh) * 2022-04-20 2022-08-30 重庆两江生态渔业发展有限公司 一种基于卫星遥感图像的水质分析方法
CN114993212A (zh) * 2022-07-18 2022-09-02 扬州宇航测绘科技有限公司 基于视觉灰度和延时摄影的测绘方法和系统
CN117723513A (zh) * 2024-02-08 2024-03-19 清华大学 水质检测方法、装置、设备、存储介质和程序产品
CN118071773A (zh) * 2024-04-17 2024-05-24 四川省每文环保科技有限公司 一种基于数据分析的智慧水务灾害监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120024796A1 (en) * 2011-03-30 2012-02-02 Crystal Lagoons Corporation Llc Sustainable method and system for treating water bodies affected by bacteria and microalgae at low cost
CN105718957A (zh) * 2016-01-26 2016-06-29 西安电子科技大学 非下采样轮廓波卷积神经网络的极化sar图像分类方法
CN105912790A (zh) * 2016-04-15 2016-08-31 重庆大学 基于深度回归模型的遥感水质监测方法
CN108647574A (zh) * 2018-04-10 2018-10-12 江河瑞通(北京)技术有限公司 漂浮物图像检测模型生成方法、识别方法及设备
CN108872508A (zh) * 2018-05-08 2018-11-23 苏州科技大学 一种ga-bp优化tsfnn的富营养水质评价方法
CN109187534A (zh) * 2018-08-01 2019-01-11 江苏凯纳水处理技术有限公司 水质检测方法及其水样图像识别装置
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120024796A1 (en) * 2011-03-30 2012-02-02 Crystal Lagoons Corporation Llc Sustainable method and system for treating water bodies affected by bacteria and microalgae at low cost
CN105718957A (zh) * 2016-01-26 2016-06-29 西安电子科技大学 非下采样轮廓波卷积神经网络的极化sar图像分类方法
CN105912790A (zh) * 2016-04-15 2016-08-31 重庆大学 基于深度回归模型的遥感水质监测方法
CN108647574A (zh) * 2018-04-10 2018-10-12 江河瑞通(北京)技术有限公司 漂浮物图像检测模型生成方法、识别方法及设备
CN108872508A (zh) * 2018-05-08 2018-11-23 苏州科技大学 一种ga-bp优化tsfnn的富营养水质评价方法
CN109187534A (zh) * 2018-08-01 2019-01-11 江苏凯纳水处理技术有限公司 水质检测方法及其水样图像识别装置
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOZHEN ZHANG等: "Introduction of rain harvesting treatment in northwest villages of China", 《2012 INTERNATIONAL SYMPOSIUM ON GEOMATICS FOR INTEGRATED WATER RESOURCE MANAGEMENT》 *
闫瑾: "基于机器学习的水质预测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *
陈喜胜: "基于图像处理的污水排放色度检测方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857356A (zh) * 2021-01-04 2021-05-28 上海建科环境技术有限公司 无人机水体环境调查和航线生成方法
CN112857356B (zh) * 2021-01-04 2022-08-02 上海建科环境技术有限公司 无人机水体环境调查和航线生成方法
CN112816480A (zh) * 2021-02-01 2021-05-18 奎泰斯特(上海)科技有限公司 水质酶底物鉴定方法
CN114137170A (zh) * 2021-11-18 2022-03-04 江苏云聚汇科技有限公司 一种水质在线监测控制系统
CN114137170B (zh) * 2021-11-18 2023-02-28 江苏云聚汇科技有限公司 一种水质在线监测控制系统
CN114357210A (zh) * 2021-12-17 2022-04-15 浙江仁欣环科院有限责任公司 一种管网预警污水动态监管的无人机系统及其使用方法
CN114764861A (zh) * 2022-04-19 2022-07-19 江苏禹润水务研究院有限公司 一种基于计算机视觉的污水处理验证方法
CN114965918A (zh) * 2022-04-20 2022-08-30 重庆两江生态渔业发展有限公司 一种基于卫星遥感图像的水质分析方法
CN114993212A (zh) * 2022-07-18 2022-09-02 扬州宇航测绘科技有限公司 基于视觉灰度和延时摄影的测绘方法和系统
CN117723513A (zh) * 2024-02-08 2024-03-19 清华大学 水质检测方法、装置、设备、存储介质和程序产品
CN118071773A (zh) * 2024-04-17 2024-05-24 四川省每文环保科技有限公司 一种基于数据分析的智慧水务灾害监测方法

Also Published As

Publication number Publication date
CN111104860B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN111104860B (zh) 一种基于机器视觉的无人机水质色度监测方法
CN110414334B (zh) 一种基于无人机巡视的智能水质识别方法
CN108759973B (zh) 一种水位测量方法
CN110599552B (zh) 一种基于计算机视觉的pH试纸检测方法
CN112766274A (zh) 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN108009556B (zh) 一种基于定点图像分析的河道漂浮物检测方法
CN102855485B (zh) 一种小麦抽穗的自动检测方法
CN102621154B (zh) 基于改进差分盒多重分形算法的布匹疵点在线自动检测方法
CN111862143A (zh) 一种河堤坍塌自动监测方法
CN102214290B (zh) 车牌定位方法及车牌定位模板训练方法
CN112149543A (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
US20220277546A1 (en) Method and system for pollutant identifying and early warning based on cluster analysis
CN110503623A (zh) 一种基于卷积神经网络的识别输电线路上鸟巢缺陷的方法
CN114639064B (zh) 一种水位识别方法及装置
CN114677594A (zh) 一种基于深度学习的河流水位的智能识别算法
CN111985435A (zh) 一种基于机器视觉的无人机水域监测巡航方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN110211128B (zh) 基于遥感影像和dem的黄土高原梯田提取方法
CN113792638B (zh) 基于Parallelogram-YOLOv4的火电厂雨排口污染物识别方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN111161264B (zh) 一种对含有缺陷的tft电路图像的分割方法
CN115578695B (zh) 一种自由拍摄视角的水尺水位机器视觉检测方法及装置
CN108830834B (zh) 一种爬索机器人视频缺陷信息自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200505

Assignee: Foshan shangxiaoyun Technology Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980000078

Denomination of invention: A machine vision based method for monitoring the chromaticity of water quality in unmanned aerial vehicles

Granted publication date: 20220215

License type: Common License

Record date: 20240104