CN110414334A - 一种基于无人机巡视的智能水质识别方法 - Google Patents

一种基于无人机巡视的智能水质识别方法 Download PDF

Info

Publication number
CN110414334A
CN110414334A CN201910536846.XA CN201910536846A CN110414334A CN 110414334 A CN110414334 A CN 110414334A CN 201910536846 A CN201910536846 A CN 201910536846A CN 110414334 A CN110414334 A CN 110414334A
Authority
CN
China
Prior art keywords
image
coordinate
water quality
unmanned plane
floating material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910536846.XA
Other languages
English (en)
Other versions
CN110414334B (zh
Inventor
林峰
傅晓君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910536846.XA priority Critical patent/CN110414334B/zh
Publication of CN110414334A publication Critical patent/CN110414334A/zh
Application granted granted Critical
Publication of CN110414334B publication Critical patent/CN110414334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机巡视的智能水质识别方法，属于水质识别领域，包括：1)利用无人机按预设轨迹飞行，对待检测水域进行航拍，获取视频数据；2)对拍摄的视频数据进行预处理，得到静态水面图像；3)对水面图像进行识别判断，判断出有漂浮物的水面图像和无漂浮物的水面图像，同时对有漂浮物的水面图像进行分割，将漂浮物分离出来，并将所有图像分类为水体图像和漂浮物图像；4)根据训练好的水体污染分类模型识别出水体图像的污染情况；5)根据训练好的漂浮物污染分类模型识别出漂浮物图像的污染种类。

Description

一种基于无人机巡视的智能水质识别方法
技术领域
本发明涉及水质识别领域，具体地说，涉及一种基于无人机巡视的智能水质识别方法。
背景技术
水环境的保护对经济社会的发展十分重要。传统的水质检测方式主要是在定点定剖面水域内设置采样点，采取水样分析成分，或设置水下镜头采集水体颜色和浑浊度进行分析，也有一些采用智能视觉的水质识别方法，但这些办法需要布设大量监测点，不仅耗时费力成本高，而且可监测区域也受到很大限制。现在使用无人机巡航设备在水面上方低空拍摄水面实况，并对图像信息进行处理识别，可以实现区域水质，如中小型湖泊和河流的水质的动态监测，具有较大的优势。
现在已经有很多检测水质的方法，如：公布号为CN109118548A的中国专利文献公开了一种综合智能水质识别方法，该方法采用智能图像识别技术对水质图像进行分析，进而达到识别水质的目的。公布号为CN104568797A的中国专利文献公开了一种污水色度的在线监测系统，该系统包括清水吸收池、试样水吸收池，光纤探头a、光纤探头b、CCD阵列检测器、数据采集与处理设备，清水吸收池通过光纤探头a连接CCD阵列检测器，试样水吸收池通过光纤探头b连接CCD阵列检测器，CCD阵列检测器连接数据采集与处理设备。公布号为CN108051442A的中国专利文献公开了一种基于智能终端的水质识别方法及水质识别系统。水质识别方法包括如下步骤：采集包含图形标记的待测水资源的当前图像；根据当前图像的颜色，检测待测水资源的当前色度；根据图形标记的清晰度，提取待测水资源的当前浑浊度；计算当前图像中包含的当前悬浮物质含量；根据当前色度、当前浑浊度和当前悬浮物质含量，判断待测水资源的当前质量。水质识别系统包含采集模块、检测模块、提取模块、计算模块和处理模块。采用该水质识别方法及水质识别系统，能够帮助用户便于用户对当地的水资源的质量进行实时检测。
以上技术往往需要特定的装置，使使用范围受到限制。如：当一些偏僻地域水质出现异常的时候，往往不能及时发现及阻止；化学检测方法中也存在化学试剂浓度不稳定，容易造成二次污染等弊端；而智能图像技术的监测摄录设备需要事先安装，且监控区域有限。
发明内容
本发明的目的为提供一种基于无人机巡视的智能水质识别方法，该方法将无人机低空航拍技术引入到中小型湖泊河道水质巡查中，拍摄连续、大范围的水面图像和视频，再进行水质的识别和污染区域的定位，可以实现对水质情况的实时监测。
为了实现上述目的，本发明提供的基于无人机巡视的智能水质识别方法包括以下步骤：
1)利用无人机按预设轨迹飞行，对待检测水域进行航拍，获取视频数据；
2)对拍摄的视频数据进行预处理，得到静态水面图像；
3)对水面图像进行识别判断，判断出有漂浮物的水面图像和无漂浮物的水面图像，同时对有漂浮物的水面图像进行分割，将漂浮物分离出来，并将所有图像分类为水体图像和漂浮物图像；
4)根据训练好的水体污染分类模型识别出水体图像的污染情况；
5)根据训练好的漂浮物污染分类模型识别出漂浮物图像的污染种类。
上述技术方案中，无人机需按预定轨迹直线飞行，无人机携带的摄像机角度、距离等参数需要固定，不能随意改变。然后对获取的视频信息进行单帧图像处理，根据处理得到的水域表面的水质特征，来进行水质识别。无人机能够很轻松地到达人需要交通工具等才能到达的区域，可以及时提供预警信息，为人工及时处置提供决策的依据，具有很强的实用价值，这一点对于大范围水域或偏僻水域的监视尤其具有重要意义。
为了对识别出的问题水域进行报警，作为优选，还包括以下步骤：
6)对步骤4)中识别为污染图像的水体图像以及步骤5)中识别出的漂浮物的坐标位置进行标定；
7)将标定的位置传送至控制中心，控制中心对水面污染情况进行处理。
作为优选，步骤2)包括：
2-1)读取视频，按秒取帧存图并编号；
2-2)模糊度检测，去掉模糊帧；
为提高计算速度与准确度，需要剔除由无人机抖动引起的模糊帧，因此要逐帧对图像进行简单的清晰度判断。本例使用灰度方差函数进行判断，通过计算像素点灰度值的方差可以得到一个统计值，作为清晰度值来比较清晰度。为剔除模糊帧本例以清晰度4.5为阈值剔除模糊帧。具体公式如下所示：
D(f)＝ΣyΣx(|f(x，y)-f(x，y-1)|+|f(x，y)，-f(x+1，y)|)
其中f(x，y)表示坐标(x，y)处像素点的灰度值，D(f)是图像的清晰度值。
2-3)去除重合度高的帧；
为了进一步除去图像信息冗余，需要去除掉重合度过高的帧。通过计算两幅图像的灰度直方图的余弦相似度表示图像重合度。
2-4)基于SIFT特征点匹配图像并对图像进行拼接；
无人机航拍视频的单帧图像像幅较小，很难反映实际情况，且帧间具有较大重合度，因此需要将几张无人机图像拼接成一幅较大图像。通过进行特征点捕捉、选取关键点、关键点归一化、关键点匹配、新图像合成等实现拼接。
2-5)对拼接好的图像进行广角畸变处理，得到静态水面图像。
由于无人机携带的摄像机镜头部分带有广角畸变，为准确识别图像需要进行去广角畸变的步骤，因此要测量摄像机的内参数和广角畸变参数。使用的广角镜头产生的畸变主要为径向畸变中的桶形畸变，径向畸变是由摄像机透视原理、小孔成像原理产生的沿着镜头半径方向的畸变。其数学模型为中心点四周的泰勒级数展开式，使用前两项或前三项，即k1和k2，也可以增加第三项k3来进行描述，经测试取k3为0。除此之外，镜头内参反映的是镜头的焦距，像素长度与实际物理长度关系，图像中心和远点之间的坐标关系。畸变矫正的调节公式为:
x＝(u-cx)/fx
y＝(v-cy)/fy
x0＝x(k1*r2+k2*r4+k3*r6)
y0＝y(k1*r2+k2*r4+k3*r6)
x1＝x0+[2*p1*xy+p2(r2+2*x2)]
y1＝y0+[2*p2*xy+p1(r2+2*y2)]
ud＝x1*fx+cx
vd＝y1*fy+cy
其中，已知无畸变像素坐标(u，v)，求得畸变像素坐标(ud，vd)，即可对无畸变坐标(u，v)进行赋值，从而得到无畸变的图像。(x，y)为无畸变像素坐标(u，v)经归一化计算得到的中间值，其中归一化参数cx、cy、fx、fy皆来自内参矩阵。(x0，y0)和(x1，y1)分别为径向畸变校正和切向畸变畸变矫正后归一化坐标值k1、k2、k3和p1、p2分别为径向畸变和切向畸变参数。最后经去归一化运算，得到畸变像素坐标(ud，vd)。
进行图像的去畸变矫正，需要进行实际图像和畸变图像的坐标系转换。该转换需要两个参数：内参矩阵和径向畸变参数。这两个参数可以通过cameraCalibrator工具箱得到。具体流程是输入广角镜头下的包含棋盘格的照片，输入标准棋盘格参数，计算得到skem畸变和桶形畸变，经测试得到无人机摄像头内参数：M参数(内参矩阵)和D矩阵(径向畸变参数)。分别为：
M＝[1111.08122311080 0 0；-0.983327267230761 1110.38665516028 0；
1006.15055309574 549.730881311447 1]’
D＝[-0.436118851039175 0.187152586939683 0.00173970385581202
-0.00131631711155096 0]
其中，D＝[k1 k2 p1 p2 k3]
在得到摄像头的内参矩阵和畸变参数后，计算校正坐标，在新坐标处取坐标值可以得到校正后的图像。
对于具有漂浮物的水面图像，通过模仿人眼来给出水质是否污染的预警信息，而人眼可以感知水质好坏是通过水面的颜色和直观浑浊程度的判断，以及漂浮物是否为浮游藻类、大量白色垃圾来确定，作为优选，步骤5)包括：通过颜色特征值得到富营养化的图像，再通过纹理特征值提取分类再划分为人工富营养化和工业富营养化。
可以采用RGB空间图像颜色特征(一阶颜色矩和二阶颜色矩)来实现，具体公式如下：
一阶颜色矩(均值)，反映图像明暗程度：(其中，Ei表示第i个颜色通道的一阶原点矩(均值)，pij为第j个像素的第i个颜色通道的颜色分量。N表示图像的像素个数。
二阶颜色矩反映图像颜色分布范围：(其中，Ei表示第i个颜色通道的均值，σi表示第i个颜色通道的二阶颜色矩，pij为第j个像素的第i个颜色通道的颜色分量，N表示图像的像素个数，计算得到颜色特征值后，再利用支持向量机SVM的方法进行分类。
作为优选，步骤4)中水体污染分类模型通过以下训练方法得到：
首先输入训练图片库(包含50张清澈无污染和50张富营养化水面图片)的红色分量均值和红色分量方差作为颜色特征值向量。然后调用MATLAB自带的SVM工具箱中的svmtrain二分类训练函数进行训练，其中分类计算函数为核函数RBF，sigma参数rbf_sigma和惩罚因子boxconstraint均为默认值1。
识别水样图片时，同样输入水样图片红色分量均值和红色分量方差作为颜色特征值向量，再调用svmclassify函数对其进行预测。取检验图片样本库(包含10张清澈无污染和10张富营养化水面图片)进行检验，此模型的分类正确率为0.9。可以大致识别水体污染情况。
作为优选，步骤5)中漂浮物污染分类模型的训练方法如下：
计算漂浮物图像的纹理特征值，利用灰度差分统计法GLDS实现。选取对比度和熵值作为纹理特征向量。同样利用支持向量机SVM的方法进行分类。输入训练图片库(包含50张人工富营养化和50张工业富营养化图片)的对比度、熵值作为纹理特征向量。然后调用MATLAB自带的SVM工具箱中的svmtrain二分类训练函数进行训练，其中分类计算函数为核函数RBF，sigma参数rbf_sigma和惩罚因子boxconstraint均为默认值1。
识别水样图片时，同样输入水样图片的对比度和熵值作为纹理特征向量特征值向量，再调用svmclassify函数对其进行预测。取检验图片样本库(包含10张人工富营养化和10张工业富营养化图片)进行检验，此模型的分类正确率为0.9。可以大致区分水体污染种类。
作为优选，步骤6)中，对目标图像坐标位置进行标定的方法为：
5-1)测量摄像头外参数(包括旋转矩阵的平移矩阵)和比例系数，得到像素坐标和实际坐标的对应关系；
根据摄像机成像原理，由像素坐标对应到实际坐标共有四个坐标系，(1)图像坐标(u，v)，坐标系Op，单位为个(像素个数)；(2)成像坐标(x’，y’，z’)，坐标系Oi，单位毫米；(3)相机坐标(x，y，z)，坐标系Oc，单位毫米；(4)实际坐标(X，Y，Z)，坐标系Ow，单位毫米。
四个坐标之间的转换关系为：实际坐标系通过外参矩阵与相机坐标系对应，相机坐标系通过内参矩阵与成像坐标系对应，成像坐标系通过转换与像素坐标系对应。由实际坐标系到图像坐标系的公式为：
其中，R是旋转参数矩阵，T是平移参数矩阵，M为内参矩阵，s为比例系数。在测得内参矩阵、平移矩阵、旋转矩阵后，可以计算得到比例系数s。
5-2)确定外参矩阵，外参矩阵与内参矩阵计算相似，取摄像头拍摄范围下边沿与标定板棋盘格图像下边沿相切，摄像头中心轴与标定板中轴重合；摄像头高度0.15米，以标定板平面机器及其法线作为实际坐标系，无人机机身水平，摄像机镜头与水平面夹角45°(实际拍摄中此夹角固定)，可以得到确定的旋转参数矩阵和平移矩阵，其值为：
旋转矩阵R＝[1.0000 -0.0006 0.0099；0.0078 0.6740 -0.7387；-0.00620.7387 0.6740]
平移矩阵：T＝[-75，0，252]
5-3)获取图像坐标，通过求取闭环连通域的中心坐标来定位漂浮物；
5-4)求解比例系数，在图像坐标系中，以图像左上角为坐标原点，向右为X轴方向，向下为Y轴方向，计算得到像素坐标(u，v)。由于实际应用中不需要计算水面高度(默认Z值为0)，实际坐标的坐标系以无人机起飞点为坐标原点，以水平方向垂直岸边为Y轴，垂直其方向为X轴。以实测数据进行图像坐标和实际坐标(X,Y)的转换计算。本例中，以摄像头拍摄范围下边沿与标定板棋盘格图像下边沿相切，摄像头中心轴与标定板中轴重合，摄像头高度0.15米，以标定板平面及其法线作为实际坐标系，无人机机身水平，摄像机镜头与水平面夹角45°为例。此时标定板中心的实际坐标为(0.09，0.072)，
R＝[1.0000 -0.0006 0.0099；0.0078 0.6740 -0.7387；-0.0062 0.73870.6740]’；
T＝[-74.2301948764368，252.507052942842]'；
M＝[1110.11207780804 0 0；-0.603214223413944 1109.36646858069
0；1006.21189114491 551.876218280644 1]；
得到：X＝0.09；Y＝0.072；u＝959；v＝778；Z＝0.15；
W＝M*(R*[X；Y；0]+T)；
计算得到S＝179。由实际坐标值逆推回去的图像坐标值为(959，778)，与实际像素坐标值(960，745.5)相差不大。比例系数S是固定不变的值。当拍摄角度45°固定时，旋转矩阵也是固定的。拍摄高度的变化只会影响平移矩阵，故只需要测定高度h下的平移矩阵，就可以由任一图像坐标求解此时的实际坐标，由此得到漂浮物位置。平移矩阵的求取方法相似。
与现有技术相比，本发明的有益效果为：
(1)本发明利用无人机能够很轻松地到达人需要交通工具等才能到达的区域，可以及时提供预警信息，为人工及时处置提供决策的依据，具有很强的实用价值，这一点对于大范围水域或偏僻水域的监视尤其具有重要意义。
(2)本发明将计算机视频图像处理技术引入到水质及漂浮物识别中，实现水质及漂浮物的实时快速预警，为及时处置异常状况提供了技术上的保障。
(3)本发明不仅可以识别水质等状况，而且标定了实际的坐标位置，有利于人工及时准确采取措施。
附图说明
图1为本发明实施例的基于无人机巡视的智能水质识别方法的流程图；
图2为本发明实施例中视频预处理流程图；
图3为本发明实施例中漂浮物识别流程图；
图4为本发明实施例中坐标系关系图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。
实施例
参见图1至图4，本实施例基于无人机巡视的智能水质识别方法包括以下步骤：
S1利用无人机按预定轨迹直线飞行，对待检测水域进行航拍。
S2对拍摄的视频图像进行预处理，得到静态水面图像，如图2所示，具体包括：
S201读取视频，按秒取帧存图并编号；
S202模糊度检测，去掉模糊帧；为提高计算速度与准确度，需要剔除由无人机抖动引起的模糊帧，因此要逐帧对图像进行简单的清晰度判断。本实施例使用灰度方差函数进行判断，通过计算像素点灰度值的方差可以得到一个统计值，作为清晰度值来比较清晰度。为剔除模糊帧本例以清晰度4.5为阈值剔除模糊帧。具体公式如下所示：
D(f)＝ΣyΣx(|f(x,y)-f(x,y-1)|+|f(x,y),-f(x+1,y)|)
其中f(x，y)表示坐标(x，y)处像素点的灰度值，D(f)是图像的清晰度值。
S203去除重合度高的帧；为了进一步除去图像信息冗余，需要去除掉重合度过高的帧。本实施例通过计算两幅图像的灰度直方图的余弦相似度作为图像重合度。
S204基于SIFT特征点匹配与图像拼接；无人机航拍视频的单帧图像像幅较小，很难反映实际情况，且帧间具有较大重合度，因此需要将几张无人机图像拼接成一幅较大图像。本例通过进行特征点捕捉、选取关键点、关键点归一化、关键点匹配、新图像合成等实现拼接。
S205去广角畸变；由于无人机携带的摄像机镜头部分带有广角畸变，为准确识别图像需要进行去广角畸变的步骤，因此要测量摄像机的内参数和广角畸变参数。本实施例使用的广角镜头产生的畸变主要为径向畸变中的桶形畸变，径向畸变是由摄像机透视原理、小孔成像原理产生的沿着镜头半径方向的畸变。其数学模型为中心点四周的泰勒级数展开式，使用前两项或前三项，即k1和k2，也可以增加第三项k3来进行描述，本例经测试取k3为0。除此之外，镜头内参反映的是镜头的焦距，像素长度与实际物理长度关系，图像中心和远点之间的坐标关系。畸变矫正的调节公式为:
x＝(u-cx)/fx
y＝(v-cy)/fy
x0＝x(k1*r2+k2*r4+k3*r6)
y0＝y(k1*r2+k2*r4+k3*r6)
x1＝x0+[2*p1*xy+p2(r2+2*x2)]
y1＝y0+[2*p2*xy+p1(r2+2*y2)]
ud＝x1*fx++x
vd＝y1*fy+cy
其中，已知无畸变像素坐标(u，v)，求得畸变像素坐标(ud,vd)，即可对无畸变坐标(u，v)进行赋值，从而得到无畸变的图像。(x，y)为无畸变像素坐标(u，v)经归一化计算得到的中间值，其中归一化参数cx、cy、fx、fy皆来自内参矩阵。(x0,y0)和(x1,y1)分别为径向畸变校正和切向畸变畸变矫正后归一化坐标值,k1、k2、k3和p1、p2分别为径向畸变和切向畸变参数。最后经去归一化运算，得到畸变像素坐标(ud,vd)。
进行图像的去畸变矫正，需要进行实际图像和畸变图像的坐标系转换。该转换需要两个参数：内参矩阵和径向畸变参数。这两个参数可以通过cameraCalibrator工具箱得到。具体流程是输入广角镜头下的包含棋盘格的照片，输入标准棋盘格参数，计算得到skem畸变和桶形畸变，经测试得到无人机摄像头内参数:M参数(内参矩阵)和D矩阵(径向畸变参数)。分别为：
M＝[1111.08122311080 0 0；
-0.983327267230761 1110.38665516028 0；
1006.15055309574 549.730881311447 1]
D＝[-0.436118851039175 0.187152586939683 0.00173970385581202
-0.00131631711155096 0]
其中D＝[k1 k2 p1 p2 k3]
在得到摄像头的内参矩阵和畸变参数后，计算校正坐标，在新坐标处取坐标值可以得到校正后的图像。
S3对图像进行识别判断，如图3所示，具体方法为；
S301导入水面图像。
S302转化为灰度图像。
S303灰度图像滤波；本例滤波操作为空域(无漂浮物区域)滤波，目的是强化漂浮物与水面的灰度区别，以确定漂浮物的位置。
S304用连通域求质心法计算图像坐标。
S4根据水质数据库训练好的分类模型进行识别，具体方法为：
本实施例是通过模仿人眼来给出水质是否污染的预警信息，而人眼可以感知水质好坏是通过水面的颜色和直观浑浊程度的判断，以及漂浮物是否为浮游藻类、大量白色垃圾来确定。本实施例中，通过颜色特征值分类得到的富营养化的图像，通过纹理特征值提取分类再划分为人工富营养化和工业富营养化。其中，人工富营养化标志为纹理区域较大的树叶、水生阔叶植物等；工业富营养化标志物为较为密集的浮游藻类，其纹理特征区域较小。本例采用支持向量机SVM的方法来实现水质图像的识别分类。具体包括如下步骤：
(1)水面空域(无漂浮物区域)的图像特征及分类；通过对水面背景提取颜色特征，可以有效地进行水质分类。本例采用RGB空间图像颜色特征(一阶颜色矩和二阶颜色矩)来实现，具体公式如下：
一阶颜色矩(均值)，反映图像明暗程度:(其中，Ei表示第i个颜色通道的一阶原点矩(均值)，pij为第j个像素的第i个颜色通道的颜色分量。N表示图像的像素个数。
二阶颜色矩反映图像颜色分布范围：(其中，Ei表示第i个颜色通道的均值，σi表示第i个颜色通道的二阶颜色矩，pij为第j个像素的第i个颜色通道的颜色分量，N表示图像的像素个数。
计算得到颜色特征值后，再利用支持向量机SVM的方法进行分类。
(2)漂浮物的图像特征及分类：对于采集得到的漂浮物灰度信息，本例通过计算灰度纹理信息进行特征值的提取，可以较好的区分浮游藻类(细小的纹理)和水生植物或落叶(纹理区域较大)。本例采用GLDS(灰度差分统计)提取纹理特征值。经测试，提取对比度和熵值参数可以较好地反映并区分图像的纹理信息，再利用支持向量机SVM的方法进行分类。
S5对图像中的目标物体坐标位置进行标定；对污染水面或漂浮物的位置标定主要是解决图像坐标系与实际坐标系的对应关系，其方法为：
(1)测量正常拍摄角度和高度的摄像头外参数(包括旋转矩阵的平移矩阵)和比例系数，得到像素坐标和实际坐标的对应关系。
根据摄像机成像原理，如图4所示，由像素坐标对应到实际坐标共有四个坐标系：(1)图像坐标(u，v)，坐标系Op，单位为个(像素个数)；(2)成像坐标(x’，y’，z’)，坐标系Oi，单位毫米；(3)相机坐标(x，y，z)，坐标系Oc，单位毫米；(4)实际坐标(X，Y，Z)，坐标系Ow，单位毫米。
四个坐标之间的转换关系为：实际坐标系通过外参矩阵与相机坐标系对应，相机坐标系通过内参矩阵与成像坐标系对应，成像坐标系通过转换与像素坐标系对应。由实际坐标系到图像坐标系的公式为：
其中，R是旋转参数矩阵，T是平移参数矩阵，M为内参矩阵，S为比例系数。在测得内参矩阵、平移矩阵、旋转矩阵后，可以计算得到比例系数s，本例内参矩阵由以下步骤(2)计算得到。
(2)确定外参矩阵；外参矩阵与内参矩阵计算相似，本实施例取摄像头拍摄范围下边沿与标定板棋盘格图像下边沿相切；摄像头中心轴与标定板中轴重合；摄像头高度0.15米，以标定板平面机器及其法线作为实际坐标系，无人机机身水平，摄像机镜头与水平面夹角45°(实际拍摄中此夹角固定)，可以得到确定的旋转参数矩阵和平移矩阵，其值为：
旋转矩阵R＝[1.0000 -0.0006 0.0099；0.0078 0.6740 -0.7387；-0.00620.7387 0.6740]
平移矩阵：T＝[-75，0，252]
(3)获取图像坐标；本实施例通过求取闭环连通域的中心坐标来定位漂浮物。
(4)求解比例系数；在图像坐标系中，以图像左上角为坐标原点，向右为X轴方向，向下为Y轴方向，可以计算得到图像坐标(u，v)。由于实际应用中不需要计算水面高度(默认Z值为0)，实际坐标的坐标系以无人机起飞点为坐标原点，以水平方向垂直岸边为Y轴，垂直其方向为X轴。以实测数据进行图像坐标和实际坐标(X，Y)的转换计算。本例中，以摄像头拍摄范围下边沿与标定板棋盘格图像下边沿相切，摄像头中心轴与标定板中轴重合，摄像头高度0.15米，以标定板平面及其法线作为实际坐标系，无人机机身水平，摄像机镜头与水平面夹角45°为例。此时标定板中心的实际坐标为(0.09，0.072)，
R＝[1.0000 -0.0006 0.0099；0.0078 0.6740 -0.7387；
-0.0062 0.7387 0.6740]’；
T＝[-74.2301948764368，0，252.507052942842]'；
M＝[1110.11207780804 0 0；-0.603214223413944 1109.36646858069 0；1006.21189114491 551.876218280644 1]；
得到：X＝0.09；Y＝0.072；u＝959；v＝778；Z＝0.15；
W＝M*(R*[X；Y；0]+T)；
计算得到S＝179。由实际坐标值逆推回去的图像坐标值为(959，778)，与实际像素坐标值(960，745.5)相差不大。比例系数S是固定不变的值。当拍摄角度45°固定时，旋转矩阵也是固定的。拍摄高度的变化只会影响平移矩阵，故只需要测定高度h下的平移矩阵，就可以由任一图像坐标求解此时的实际坐标，由此得到漂浮物位置。平移矩阵的求取方法相似。

Claims (8)

1.一种基于无人机巡视的智能水质识别方法，其特征在于，包括以下步骤：
1)利用无人机按预设轨迹飞行，对待检测水域进行航拍，获取视频数据；
2)对拍摄的视频数据进行预处理，得到静态水面图像；
3)对水面图像进行识别判断，判断出有漂浮物的水面图像和无漂浮物的水面图像，同时对有漂浮物的水面图像进行分割，将漂浮物分离出来，并将所有图像分类为水体图像和漂浮物图像；
4)根据训练好的水体污染分类模型识别出水体图像的污染情况；
5)根据训练好的漂浮物污染分类模型识别出漂浮物图像的污染种类。
2.根据权利要求1所述的基于无人机巡视的智能水质识别方法，其特征在于，还包括以下步骤：
6)对步骤4)中识别为污染图像的水体图像以及步骤5)中识别出的漂浮物的坐标位置进行标定；
7)将标定的位置传送至控制中心，控制中心对水面污染情况进行处理。
3.根据权利要求1所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤2)包括：
2-1)读取视频，按秒取帧存图并编号；
2-2)模糊度检测，去掉模糊帧；
2-3)去除重合度高的帧；
2-4)基于SIFT特征点匹配图像并对图像进行拼接；
2-5)对拼接好的图像进行广角畸变处理，得到静态水面图像。
4.根据权利要求3所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤2-2)中，使用灰度方差函数进行模糊度检测，计算图像中像素点灰度值的方差得到一个统计值，将该统计值作为清晰度值比较清晰度，设定清晰度阈值提出模糊帧。
5.根据权利要求3所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤2-3)中，通过计算两幅图像的灰度直方图的余弦相似度表示图像重合度。
6.根据权利要求1所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤4)包括：提取水体颜色特征，通过颜色特征识别污染水质。
7.根据权利要求1所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤5)包括：通过颜色特征值得到富营养化的图像，再通过纹理特征值提取分类再划分为人工富营养化和工业富营养化。
8.根据权利要求2所述的基于无人机巡视的智能水质识别方法，其特征在于，步骤6)中，对目标图像坐标位置进行标定的方法为：
5-1)测量摄像头外参数和比例系数，得到像素坐标和实际坐标的对应关系；
5-2)确定外参矩阵，取摄像头拍摄范围下边沿与标定板棋盘格图像下边沿相切，摄像头中心轴与标定板中轴重合；摄像头高度0.15米，以标定板平面机器及其法线作为实际坐标系，无人机机身水平，摄像机镜头与水平面夹角45°；
5-3)获取图像坐标，通过求取闭环连通域的中心坐标来定位漂浮物；
5-4)求解比例系数，在图像坐标系中，以图像左上角为坐标原点，向右为X轴方向，向下为Y轴方向，计算得到像素坐标(u，v)。
CN201910536846.XA 2019-06-20 2019-06-20 一种基于无人机巡视的智能水质识别方法 Active CN110414334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910536846.XA CN110414334B (zh) 2019-06-20 2019-06-20 一种基于无人机巡视的智能水质识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910536846.XA CN110414334B (zh) 2019-06-20 2019-06-20 一种基于无人机巡视的智能水质识别方法

Publications (2)

Publication Number Publication Date
CN110414334A true CN110414334A (zh) 2019-11-05
CN110414334B CN110414334B (zh) 2021-05-11

Family

ID=68359407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910536846.XA Active CN110414334B (zh) 2019-06-20 2019-06-20 一种基于无人机巡视的智能水质识别方法

Country Status (1)

Country Link
CN (1) CN110414334B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111060079A (zh) * 2019-12-31 2020-04-24 华东理工大学 河道异物识别方法以及河道异物监控平台系统
CN111104860A (zh) * 2019-11-19 2020-05-05 浙江工业大学 一种基于机器视觉的无人机水质色度监测方法
CN112149505A (zh) * 2020-08-25 2020-12-29 合肥工业大学 基于图像的无人机自主地面污染物定位方法及系统
CN112149507A (zh) * 2020-08-25 2020-12-29 合肥工业大学 基于图像的无人机自主地面污染物推理与定位方法及系统
CN112241692A (zh) * 2020-09-25 2021-01-19 天津大学 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN112884039A (zh) * 2021-02-05 2021-06-01 慧目(重庆)科技有限公司 一种基于计算机视觉的水体污染识别方法
CN113026700A (zh) * 2021-03-24 2021-06-25 中国长江电力股份有限公司 清污机器人漂浮物清污方法
CN113240026A (zh) * 2021-05-24 2021-08-10 中国科学院重庆绿色智能技术研究院 一种矢栅结合的内陆水面漂浮物批量识别提取方法
CN113800711A (zh) * 2021-09-02 2021-12-17 江苏南大华兴环保科技股份公司 一种高浓含油香料废水的预处理方法及系统
CN113807238A (zh) * 2021-09-15 2021-12-17 河海大学 一种河道水面漂浮物面积的视觉测量方法
CN114220044A (zh) * 2021-11-23 2022-03-22 慧之安信息技术股份有限公司 一种基于ai算法的河道漂浮物检测方法
CN114882130A (zh) * 2022-06-16 2022-08-09 平安普惠企业管理有限公司 基于水色图像的水质评分方法、装置、设备及介质
CN115330349A (zh) * 2022-08-23 2022-11-11 中国水产科学研究院珠江水产研究所 一种基于图像采集的水产养殖尾水处理系统和方法
WO2023048017A1 (ja) * 2021-09-21 2023-03-30 東芝デジタルソリューションズ株式会社 水質監視システム
CN116129362A (zh) * 2023-04-14 2023-05-16 四川三思德科技有限公司 一种基于坐标横向断面图的河流漂浮污染物的监测方法
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法
CN117383768A (zh) * 2023-12-08 2024-01-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622231A (zh) * 2017-09-08 2018-01-23 内蒙古大学 一种水天一体智能漂浮物收集系统及其收集方法
CN108051442A (zh) * 2017-12-28 2018-05-18 上海传英信息技术有限公司 一种基于智能终端的水质识别方法及水质识别系统
CN108357669A (zh) * 2018-01-03 2018-08-03 华南农业大学 一种基于无人机的河湖排污遥感智能监测系统
CN109118548A (zh) * 2018-07-17 2019-01-01 浙江大学 一种综合智能水质识别方法
US20190050948A1 (en) * 2017-08-08 2019-02-14 Indigo Ag, Inc. Machine learning in agricultural planting, growing, and harvesting contexts
CN109508641A (zh) * 2018-10-15 2019-03-22 广州地理研究所 一种城市水体的识别方法、装置、储存介质及设备
CN208921175U (zh) * 2018-10-23 2019-05-31 武汉奥恒胜科技有限公司 一种水质在线监测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050948A1 (en) * 2017-08-08 2019-02-14 Indigo Ag, Inc. Machine learning in agricultural planting, growing, and harvesting contexts
CN107622231A (zh) * 2017-09-08 2018-01-23 内蒙古大学 一种水天一体智能漂浮物收集系统及其收集方法
CN108051442A (zh) * 2017-12-28 2018-05-18 上海传英信息技术有限公司 一种基于智能终端的水质识别方法及水质识别系统
CN108357669A (zh) * 2018-01-03 2018-08-03 华南农业大学 一种基于无人机的河湖排污遥感智能监测系统
CN109118548A (zh) * 2018-07-17 2019-01-01 浙江大学 一种综合智能水质识别方法
CN109508641A (zh) * 2018-10-15 2019-03-22 广州地理研究所 一种城市水体的识别方法、装置、储存介质及设备
CN208921175U (zh) * 2018-10-23 2019-05-31 武汉奥恒胜科技有限公司 一种水质在线监测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FENG YANG 等: "A Radiation-Hardened Trench Power MOSFET for Aerospace Applications", 《IEEE》 *
冯雅清: "基于无人机和图像识别技术的城市水系垃圾清理方法", 《神州》 *
徐德 等: "《机器人视觉测量与控制（第3版）》", 31 January 2016, 国防工业出版社 *
王冲 等: "《现代信息检索技术基本原理教程》", 30 November 2013, 西安电子科技大学出版社 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104860A (zh) * 2019-11-19 2020-05-05 浙江工业大学 一种基于机器视觉的无人机水质色度监测方法
CN111104860B (zh) * 2019-11-19 2022-02-15 浙江工业大学 一种基于机器视觉的无人机水质色度监测方法
CN111060079A (zh) * 2019-12-31 2020-04-24 华东理工大学 河道异物识别方法以及河道异物监控平台系统
CN112149507B (zh) * 2020-08-25 2023-01-13 合肥工业大学 基于图像的无人机自主地面污染物推理与定位方法及系统
CN112149505B (zh) * 2020-08-25 2023-01-13 合肥工业大学 基于图像的无人机自主地面污染物定位方法及系统
CN112149507A (zh) * 2020-08-25 2020-12-29 合肥工业大学 基于图像的无人机自主地面污染物推理与定位方法及系统
CN112149505A (zh) * 2020-08-25 2020-12-29 合肥工业大学 基于图像的无人机自主地面污染物定位方法及系统
CN112241692A (zh) * 2020-09-25 2021-01-19 天津大学 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN112884039A (zh) * 2021-02-05 2021-06-01 慧目(重庆)科技有限公司 一种基于计算机视觉的水体污染识别方法
CN112884039B (zh) * 2021-02-05 2022-10-21 慧目(重庆)科技有限公司 一种基于计算机视觉的水体污染识别方法
CN113026700A (zh) * 2021-03-24 2021-06-25 中国长江电力股份有限公司 清污机器人漂浮物清污方法
CN113026700B (zh) * 2021-03-24 2022-03-15 中国长江电力股份有限公司 清污机器人漂浮物清污方法
CN113240026A (zh) * 2021-05-24 2021-08-10 中国科学院重庆绿色智能技术研究院 一种矢栅结合的内陆水面漂浮物批量识别提取方法
CN113240026B (zh) * 2021-05-24 2022-03-25 中国科学院重庆绿色智能技术研究院 一种矢栅结合的内陆水面漂浮物批量识别提取方法
CN113800711A (zh) * 2021-09-02 2021-12-17 江苏南大华兴环保科技股份公司 一种高浓含油香料废水的预处理方法及系统
CN113807238B (zh) * 2021-09-15 2024-04-02 河海大学 一种河道水面漂浮物面积的视觉测量方法
CN113807238A (zh) * 2021-09-15 2021-12-17 河海大学 一种河道水面漂浮物面积的视觉测量方法
WO2023048017A1 (ja) * 2021-09-21 2023-03-30 東芝デジタルソリューションズ株式会社 水質監視システム
CN114220044A (zh) * 2021-11-23 2022-03-22 慧之安信息技术股份有限公司 一种基于ai算法的河道漂浮物检测方法
CN114882130A (zh) * 2022-06-16 2022-08-09 平安普惠企业管理有限公司 基于水色图像的水质评分方法、装置、设备及介质
CN115330349B (zh) * 2022-08-23 2023-11-03 中国水产科学研究院珠江水产研究所 一种基于图像采集的水产养殖尾水处理系统和方法
CN115330349A (zh) * 2022-08-23 2022-11-11 中国水产科学研究院珠江水产研究所 一种基于图像采集的水产养殖尾水处理系统和方法
CN116129362A (zh) * 2023-04-14 2023-05-16 四川三思德科技有限公司 一种基于坐标横向断面图的河流漂浮污染物的监测方法
CN116129362B (zh) * 2023-04-14 2023-06-30 四川三思德科技有限公司 一种基于坐标横向断面图的河流漂浮污染物的监测方法
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法
CN116310999B (zh) * 2023-05-05 2023-07-21 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法
CN117383768A (zh) * 2023-12-08 2024-01-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法
CN117383768B (zh) * 2023-12-08 2024-03-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法

Also Published As

Publication number Publication date
CN110414334B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110414334A (zh) 一种基于无人机巡视的智能水质识别方法
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN103984979B (zh) 无透镜衍射成像的藻类自动检测计数装置及方法
CN109410207A (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN106530281B (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN112241692B (zh) 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN109191421A (zh) 柱形锂电池圆周面凹坑视觉检测方法
CN106803070A (zh) 一种基于遥感图像的港口区域舰船目标变化检测方法
CN106778540B (zh) 停车检测准确的基于双层背景的停车事件检测方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
CN110288623A (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
Ma et al. An all-weather lane detection system based on simulation interaction platform
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
Xu et al. Car license plate extraction using color and edge information
CN109284759A (zh) 一种基于支持向量机（svm）的魔方颜色识别方法
CN115713736A (zh) 一种基于仿射变换的全天候车牌单目测距方法及装置
CN113205139A (zh) 一种基于密度聚类的无人艇水上球体检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant