CN112241692B - 基于航拍图超像素纹理的渠道异物智能检测与分类方法 - Google Patents

基于航拍图超像素纹理的渠道异物智能检测与分类方法 Download PDF

Info

Publication number
CN112241692B
CN112241692B CN202011021420.XA CN202011021420A CN112241692B CN 112241692 B CN112241692 B CN 112241692B CN 202011021420 A CN202011021420 A CN 202011021420A CN 112241692 B CN112241692 B CN 112241692B
Authority
CN
China
Prior art keywords
super
foreign
foreign matter
pixel
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011021420.XA
Other languages
English (en)
Other versions
CN112241692A (zh
Inventor
刘东海
李欣
陈俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011021420.XA priority Critical patent/CN112241692B/zh
Publication of CN112241692A publication Critical patent/CN112241692A/zh
Application granted granted Critical
Publication of CN112241692B publication Critical patent/CN112241692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于航拍图超像素纹理的渠道异物智能检测与分类方法：包括以下步骤：步骤1：无人机巡检航拍图像采集；步骤2：SLIC超像素分割；步骤3：超像素LBP纹理特征描述向量提取；步骤4：基于超像素LBP纹理的异物检测模型建立；步骤5：异物存在性检测与异物个体提取；步骤6：异物个体超像素分类SVM模型训练；步骤7：基于“层级投票”机制的异物个体分类；步骤8：异物个体的空间位置确定。本发明基于图像识别技术，提出了一种适用于输水渠道水面异物智能识别，并对牲畜、坠车、泛舟异物进行智能分类的方法，克服了手动处理图像数据效率低、准确性易受干扰的缺点，提高了输水渠道水面异物识别效率。

Description

基于航拍图超像素纹理的渠道异物智能检测与分类方法
技术领域
本发明属于长距离输水渠道运行安全管理技术领域，涉及输水渠道全线水面异物的快速识别技术，尤其是一种基于航拍图超像素纹理的渠道异物智能检测与分类方法。
背景技术
输水渠道作为敞开式结构，其输水质量与水质安全面临诸多外来异物入侵的风险，如牲畜闯入、交通事故坠车、外来人员泛舟等。牲畜尸体与坠车如不及时发现并打捞，存留水体内可能引发细菌滋生和油类泄露进而污染水体；外来人员泛舟如不及时发现制止则可能给渠道运行管理与安全带来潜在风险。传统的异物识别方式如人工巡检和定点水质监测，其效率低且无法覆盖渠道全线，难以实现对输水渠道水面异物的快速识别与分类。而无人机具有高度机动性，可在短时间内完成输水渠道巡检航拍作业，进而基于图像处理技术对无人机巡检航拍图进行自动异物识别，能够有效克服上述不足。
现有技术中的水面异物图像识别技术的研究主要集中在人工景观湖、市政渠道等小型水域中的漂浮物的识别，如落叶、水槽、生产生活垃圾等，然而，输水渠道中常见的却是牲畜、坠车、泛舟等大型异物，在尺度和图像特征上与小型水域漂浮物存在显著区别，现有方法与模型无法直接对输水渠道异物进行检测并分类。
发明内容
本发明提供一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，克服了传统方法效率低、监测范围小的缺点，实现输水渠道全线水面异物的快速识别，保证其安全运行。
本发明解决其技术问题是采取以下技术方案实现的：
本发明针对传统水面异物识别方式效率低、覆盖范围小的问题，以及当前异物识别算法不适用于大尺度的输水渠道航拍图的问题，发明了一种基于超像素纹理特征的渠道水面异物智能检测与识别方法，对无人机巡检采集的航拍图像进行水面异物智能识别。主要包括以下 8个步骤：
步骤1：无人机巡检航拍图像采集。
选择长距离适航、适应输水渠道工区复杂环境(如高海拔、严寒、刮风等)且具有卫星导航与定位功能的无人机，携带具备足够分辨率与储存容量的航拍相机，沿渠道进行常态化或应急巡检，采集输水渠道航拍视频图像。
步骤2：SLIC超像素分割。
将无人机采集的含有异物(牲畜、泛舟、坠车)和不含异物的输水渠道航拍图像划分为图像训练集与图像测试集，并对图像进行兴趣区提取，以去除图像中的渠道边坡、天空、植被等无关背景。采用SLIC(Simple Liner Iterative Clustering，简单线性迭代聚类)算法，设置合适超像素数量与紧密度参数，对训练集与测试集中所有图像进行超像素分割，把像素级的图像划分成区域级的图像。最终得到以超像素为基本单元的训练集与测试集。
步骤3：超像素LBP纹理特征描述向量提取。
由于水体图像普遍具有重复性的水波波纹，而坠车、牲畜等异物图像则呈现显著不同的纹理特点，故采用LBP(Local Binary Patter，局部二值模式)纹理特征描述子来表征超像素的特征。按照下述方法对步骤2中得到的所有超像素特征向量进行计算。
取包含某超像素图像的最小矩形区域作为输入单元，计算该超像素的36位LBP纹理特征描述子(旋转不变模式)。同时，引入一个元素描述超像素相对渠边位置：该元素值为0代表超像素不在渠道边界附近，1则反之。该元素值与36位LBP纹理特征描述子共同构成一个超像素特征向量，共37个元素。
步骤4：基于超像素LBP纹理的异物检测模型建立。
标注超像素训练集超像素的标签类型(0代表异物，1代表水体)，与步骤3中计算得到的特征向量共同构成一个异物检测模型的训练样本集。以超像素特征向量为输入，超像素类型(水体或异物)输出，采用支持向量机(Support Vector Machine,SVM)训练超像素异物检测模型，并用测试集对模型的识别精度的进行验证，以达到工程要求。
步骤5：异物存在性检测与异物个体提取。
利用步骤4中建立的渠道异物检测模型，对图像中每个超像素的类型(水体或异物)进行判断。然后，综合所有超像素的判别结果，若一张图像上存在划分为异物的超像素，则判断该图像所拍摄的渠段内存在异物。
对被判断为异物存在的图像中不同类型的超像素(水体或异物)赋予不同的标签值，实现语义分割和异物区域提取。此时同一张图片上可能存在多个被判断为异物的区域，这些不连通的区域可能是不同的异物个体也可能是超像素误分割造成本属于同一异物个体的区域分离。因此，需根据区域间距进一步对异物个体进行提取，具体步骤如下：
(1)相邻矩阵生成。假设异物-水体语义分割后图像存在N个不互通的异物区域，初始化相邻矩阵M，其维度为N×N，所有元素值均为0。每个区域用Ri(i＝1,2,……,N)表示，计算Ri与Rj(j＝i,i+1,……,N)形心间的距离disti-j(式(1))，并与阈值thi-j(式(2)) 比较。若disti-≤thi-j则认为Ri与Rj相邻，并令矩阵中相应元素Mij＝1，Mji＝1。按照上述方法遍历所有不连通区域，得到最终的相邻矩阵M，M中元素值为0代表不相邻，为1代表相邻。
Figure RE-GDA0002799575680000021
thi-j＝h(Di+Dj) (2)
其中，(xi,yi)、(xj,yj)分别为区域Ri、Rj的形心坐标；Di和Dj分别为区域Ri、Rj的等效直径，h为比例因子。
(2)异物个体标注与提取。遍历所有区域Ri，根据相邻矩阵M判断是否存在与其相邻或第三方相邻的区域。若不存在，则判断Ri属于一个新的异物个体，为其赋予新的ID号；若存在，则给Ri赋予与其相邻区域相同的ID号。所有ID号相同异物区域构成一个异物个体。
步骤6：异物个体超像素分类SVM模型训练。
对于判断为异物存在的航拍图，需进一步判断其中的异物类型。本方法中考察的异物包括牲畜、泛舟与坠车三大类型。
首先，标注异物超像素的类型标签(牲畜、泛舟或坠车)，与按照步骤3计算得到的36 位LBP纹理特征描述子共同构建异物个体超像素分类模型的训练样本集。然后，以超像素LBP 特征为输入，异物超像素类型(牲畜、泛舟或坠车)为输出，使用支持向量机SVM训练异物个体超像素分类模型。最后，用测试集对模型的精度进行验证，以达到工程要求。
步骤7：基于“层级投票”机制的异物个体分类。
利用步骤6建立的模型可对构成异物个体的超像素进行分类，然而，一个异物个体可能包含多个超像素，且每个超像素可能有不同的异物类型识别结果。因此，提出利用层级投票机制确定异物个体的类型。层级投票机制原理如下：
假设某个异物个体由K个超像素组成，则可在所有超像素中选择k(k＝1,2,……,K)个 超像素构成新的组合，以包含新的超像素组合的最小矩形区域内的图像为输入单元，按照步 骤3计算其LBP纹理特征描述子。然后，以新的超像素组合的LBP特征描述子为输入，利用 步骤6建立的异物个体超像素分类模型对其进行分类(即牲畜、泛舟或坠车3种类型)。由K 个超像素组成的异物个体共能得到
Figure RE-GDA0002799575680000031
个判别结果，统计所有判别结果中每个异物类型(牲 畜、泛舟或坠车)的“得票”数目(即被识别成某种类型的次数)，选取其中“得票”数目最 高的类型作为异物个体的类型(当出现票数相等时，输出类型为“不确定”)。
步骤8：异物个体的空间位置确定
无人机航拍影像是带有地理标签信息的。由于无人机在进行巡检时，一般位于拍摄物的正上或斜上方，可以用无人机的位置作为异物空间位置的估计。对异物个体分类完成后，提取含有异物的航拍图片，并读取无人机在拍摄相应图片时的经纬度坐标，或将其转化为渠道工区坐标，可以作为异物在渠道发生的大概位置，与异物图片同时提供给渠道管理人员，辅助其进行决策，为异物打捞与应急响应提供依据。
本发明的优点和积极效果是：
1、本发明利用无人机对输水渠道进行全线巡检，并通过航拍图像进行输水渠道水面异物识别，避免了人工巡检费时费力、定点水质监测覆盖范围小，难以及时反馈输水渠道水面异常情况的弊端。
2、本发明基于图像识别技术，提出了一种适用于输水渠道水面异物智能识别，并对牲畜、坠车、泛舟异物进行智能分类的方法，克服了手动处理图像数据效率低、准确性易受干扰的缺点，提高了输水渠道水面异物识别效率。
附图说明
图1为本发明渠道水面异物智能识别方法流程图；
图2为本发明SLIC超像素纹理提取与异物判别模型训练流程图；
图3为本发明水体-异物二元语义分割示例图；
图4为本发明异物个体提取过程图；
图5为本发明含异物图像的检测及异物个体提取结果图；
图6为本发明无异物图像的检测及异物个体提取结果；
图7为本发明异物类型识别的“层级投票”机制示意图；
图8为本发明测试集上异物类型识别结果图。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
本发明针对传统水面异物识别方式效率低、覆盖范围小的问题，以及当前异物识别算法不适用于大尺度的输水渠道航拍图的问题，发明了一种基于超像素纹理特征的渠道水面异物智能检测与识别方法，对无人机巡检采集的航拍图像进行水面异物智能识别。主要包括以下 8个步骤：
步骤1：无人机巡检航拍图像采集。
选择长距离适航、适应输水渠道工区复杂环境(如高海拔、严寒、刮风等)且具有卫星导航与定位功能的无人机，携带具备足够分辨率与储存容量的航拍相机沿渠道巡检并采集航拍图像。巡检过程中共采集到137张输水渠道航拍视频图像，其中只含水体(无异物)40张，“牲畜+水体”35张，“泛舟+水体”22张，“坠车+水体”40张。
步骤2：SLIC超像素分割。
在步骤1采集的航拍图像中，选取其中121张输水渠道航拍图片作为图像训练集，包括只含水体(无异物)的图像33张，“牲畜+水体”32张，“泛舟+水体”19张，“坠车+水体” 39张；16张航拍图作为图像测试集，包括只含水体(无异物)的图像7张，“牲畜+水体”3 张，“泛舟+水体”3张，“坠车+水体”3张。对所有图片进行兴趣区提取，以去除图像中的渠道边坡、天空、植被等无关背景，并在保证高宽比不变的情况下将所有图像调整至1600像素。
设置超像素“数量＝300、紧密度＝200”对所有图像进行SLIC超像素分割，得到以超像素为基本单元的训练集与测试集。SLIC超像素分割具体步骤如下：
(1)初始化种子点。假设分析图像共有N个像素组成，预设的目标超像素个数为K，则在图像上按等间隔步长
Figure BDA0002700724020000041
设置种子点，初始化的超像素面具为N/K。
(2)优化初始种子点。以初始化种子点为中心，计算其n×n(一般n取3)邻域内所有像素点的梯度值，并将种子点移到邻域内梯度值最小的地方，以防止种子点落在梯度较大的轮廓边界上，影响后续聚类效果。
(3)图像像素K-means聚类。以优化后的种子点为初始聚类中心进行K-means聚类。为加快收敛速度，将聚类的搜索范围限制在聚类中心周边2S×2S的区域内，聚类依据的距离度量由式(3)～(5)确定。
Figure BDA0002700724020000051
Figure BDA0002700724020000052
Figure BDA0002700724020000053
其中，dc和ds分别为颜色距离和空间距离，D为最终的距离度量；l、a、b分别为Lab颜色空间的三个通道值，x、y为图像像素位置坐标，i、j别代表种子像素和待聚类像素；m为一固定常数，取值范围为[1,40]，一般取10。
(4)增强连通性。按照从左到右、从上到下的顺序将不连续或尺寸过小超像素重新分配给邻近超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完为止。
步骤3：超像素LBP纹理特征描述向量提取。
经过观察可知，水体图像普遍具有重复性的水波波纹，而坠车、牲畜等异物图像则呈现显著不同的纹理特点，故采用LBP(Local Binary Patter，局部二值模式)纹理特征描述子来描述超像素的特征。按照如下步骤计算训练集与测试集中所有超像素的特征向量。
对SLIC分割得到的某超像素，取包含其图像的最小矩形区域作为该超像素的输入单元，计算其LBP纹理特征描述子(旋转不变模式)与特征向量，其具体步骤如下：
首先，逐个分析中心像素8邻域(3×3的窗口)的8个像素，按照周围像素的灰度值是否小于中心像素，将该位置像素标记为0或1。这样，8个周边点的像素值按顺序组合构成了一个8位的二进制数，通常将其转化为十进制，即为窗口中心像素的LBP值。对输入单元中所有像素进行上述操作，可得到输入单元的LBP编码图。LBP值共有256种可能，统计LBP 编码图上256个编码值出现的次数并进行累加计数与归一化处理，得到LBP直方图，直方图中256个通道数值形成的向量即为原始图像的LBP描述子。
然后，对得到的LBP描述子进行旋转不变处理。通过不断旋转像素邻域得到一系列初始定义的LBP值，取其中的最小值作为该邻域的LBP值。旋转不变处理后，LBP描述子的长度缩减到36位。
同时，由于渠道边树木等植被倒影的影响，渠道边界附近的超像素往往呈现不同于正常水面纹理的特征，因此引入一个元素描述超像素相对渠边位置：该元素值为0代表超像素不在渠道边界附近，1则反之。该元素值与36位LBP纹理特征描述子共同构成一个37个元素的超像素特征向量。
步骤4：基于超像素LBP纹理特征的异物检测模型训练。
标注训练集中所有超像素的标签类型(0代表异物，1代表水体)，与超像素特征向量共同构成异物检测模型的训练样本集，如图2右下角所示。以超像素特征向量为输入，超像素类型(水体或异物)为输出，训练SVM模型。
采用Python机器学习库scikit-learn的支持向量机模块SVC进行模型训练，并设置参数“class_weight＝’balanced”以错分惩罚系数处理样本不均衡问题，然后对超参数kernel、C和 gamma进行试算与调试，使得训练模型最优。此时模型超参数为kernel＝‘rbf’,C＝100, gamma＝220，模型在测试集上的准确率达到了0.97。
步骤5：异物存在性检测与异物个体提取。
首先，利用步骤4得到的判别模型，对图片中所有超像素的类型(水体或异物)进行判别，若某张图片中存在划分为异物的超像素，则判断该图片所拍摄的渠段内存在异物。
然后，对被判断为异物存在的图片中不同类型的超像素(水体或异物)赋予不同的标签值，实现水体-异物的二元语义分割，如图3所示。
语义分割后一张图片上可能存在多个判断为异物的区域，这些不连通的区域可能是不同的异物个体(见图3(a))，也可能是超像素误分割造成本属于同一异物个体的区域分离(见图3(b))。因此，需根据区域间距进一步对异物个体进行提取，提取过程如图4所示，具体步骤如下：
(1)相邻矩阵生成。假设异物-水体语义分割后图像存在N个不互通的异物区域，每个区域可用Ri(i＝1,2,……,N)表示。
首先，初始化相邻矩阵M，其维度为N×N，所有元素值均为0。然后，计算Ri与Rj (j＝i,i+1,……,N)形心间的距离disti-j(式(6))和阈值thi-j(式(7))。
Figure BDA0002700724020000061
thi-j＝h(Di+Dj) (7)
其中，(xi,yi)、(xj,yj)分别为区域Ri、Rj的形心坐标；Di和Dj分别为区域Ri、Rj的等效直径， h为比例因子，本例中取1。
比较disti-与thi-j，若disti-≤thi-j则认为Ri与Rj相邻，并令矩阵中相应元素Mij＝1，Mji＝1。按照上述方法遍历所有不连通区域，对任意两两超像素组合重复上述计算过程，得到最终的图像内不连通区域间的相邻矩阵M(见图4(b))，M中元素值为0代表不相邻，为1代表相邻。
(2)异物个体标注算法。定义任意两个相邻的区域属于同一个异物个体，算法的输出为异物个体标注向量I，其维度为N，其元素Ii表示区域Ri对应的异物个体ID号，所有ID号相同异物区域构成一个异物个体，I的初始值均为1。
首先，从i＝2开始遍历所有区域Ri，通过条件q判断是否存在与区域Ri相邻或第三方相邻的区域，条件q如式(8)所示。
M(i,k)＝＝1&&M(k,j)＝＝1,j∈[1,i-1],k∈[1,N] (8)
若条件q不成立，则区域Ri与其之前的任一区域均不相邻或第三方相邻，因此判断其为一个新的异物个体，为其赋予新的ID号Ii＝max(I)+1。如图4(c)中，区域#6之前不存在与之相邻的区域，故为其赋予新的ID为③。若条件q成立，则说明之前存在一个或多个区域与 Ri相邻或第三方相邻，这些区域对应的ID构成集合向量preLa，Ri与preLa中所有向量均属于同一个异物个体，则Ii和所有与Ri相邻或第三方相邻的区域的ID更新为min(preLa)。如图 4(c)所示，#7区域与其之前的#6相邻(ID号③)，与#4第三方相邻(ID号①)，则其ID 与#6的ID均更新为两者中较小的①。
对测试集中16张图片按照上述方法进行异物存在性判断与异物个体提取，结果如图5、图6所示。图片中第一行为原图像，第二行为根据真实标注得到的分割图像，第三行为利用异物判别模型得到的分割图像，绿色框为异物个体提取的结果。由图5可以看出，所有图像均检测到了异物存在，只有少数图像(#2、#3)误将水体超像素识别为异物。图6为无异物图像的检测结果，只有一张图像产生了误判。综合16张图片的检测结果，以14.3％的误判率实现了100％的异物检测，说明本发明方法效果良好。
步骤6：异物个体超像素分类SVM模型训练。
对于判断为异物存在的航拍图，需进一步判断其中的异物类型。本方法中考察的异物包括牲畜、泛舟与坠车三大类型。
首先，标注异物超像素的类型标签(牲畜、泛舟或坠车)，与步骤3中计算得到的36位LBP纹理特征描述子共同构建异物个体超像素分类模型的训练样本集。然后，以超像素LBP 特征为输入，异物超像素类型(牲畜、泛舟或坠车)为输出，使用Python机器学习库scikit-learn 的支持向量机模块SVC进行模型训练。对训练超参数进行调试使得模型效果最佳，最终设置为kernel＝‘rbf’,C＝100,gamma＝30，此时测试集的总体预测准确率达到0.71。
步骤7：基于“层级投票”机制异物个体类型识别。
一个异物个体可能包含多个超像素，且每个超像素的识别结果可能不同。因此，采用“层级投票”机制以综合多个超像素的分类结果来确定异物实例类型，其原理如图7所示。
如图7所示，某异物个体由4个超像素组成，在其中超像素中选择k(k＝1,2,3,4)个超像素构成新的组合，以包含新的超像素组合的最小矩形区域内的图像为输入单元，按照步骤3 提取其特征向量并利用步骤6得到的模型对组合后的超像素进行分类。共能得到
Figure BDA0002700724020000071
个异物类型判别结果，汇总分类并统计每个类型(牲畜、坠车和泛舟)的“得票”数目(即被识别成某种类型的次数)，选取其中“得票”数目最高的类型作为异物个体类型(当出现票数相等时，输出类型为“不确定”)。
基于“层级投票”机制与异物类型识别模型，对测试集中所有提取出来的异物个体进行分类，结果如图8所示。图8中，图像#2、#6、#15都在异物判别时出现了误判，即将水体作为异物输入分类模型中进行异物类型识别。若不考虑此误判，10张图片中共10个异物个体，对其中7个进行了准确分类，总体准确率达到70％。
步骤8：异物个体的空间位置确定
无人机航拍影像是带有地理标签信息的，包括无人机的三维坐标(一般为WGS-84地理坐标，即经度、维度、高程)、相机姿态以及相机焦距和分辨率。由于无人机在进行巡检时，一般位于拍摄物的正上或斜上方，可以用无人机的位置作为异物空间位置的估计。对异物个体分类完成后，提取含有异物的航拍图片，并读取无人机在拍摄相应图片时的经纬度坐标，或将其转化为渠道工区坐标，可以作为异物在渠道中发生的大概位置，与异物图片同时提供给渠道管理人员，辅助其进行决策，为异物打捞与应急响应提供依据。
尽管为说明目的公开了本发明的实施例，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例所公开的内容。

Claims (7)

1.一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：包括以下步骤：
步骤1：无人机巡检航拍图像采集：
选择具有卫星导航与定位功能的无人机，携带具备足够分辨率与储存容量的航拍相机，沿渠道进行常态化或应急巡检，采集输水渠道航拍视频图像；
步骤2：SLIC超像素分割：
将无人机采集的含有异物和不含异物的输水渠道航拍图像划分为图像训练集与图像测试集，并对图像进行兴趣区提取，采用SLIC算法，对训练集与测试集中所有图像进行超像素分割，把像素级的图像划分成区域级的图像，最终得到以超像素为基本单元的训练集与测试集；
步骤3：超像素LBP纹理特征描述向量提取：
采用LBP纹理特征描述子来表征超像素的特征，对步骤2中得到的所有超像素特征向量进行计算；
步骤4：基于超像素LBP纹理的异物检测模型建立：
标注超像素训练集超像素的标签类型，0代表异物，1代表水体，与步骤3中计算得到的特征向量共同构成一个异物检测模型训练样本集，以超像素特征向量为输入，超像素类型输出，采用支持向量机训练超像素异物检测模型，并用测试集对模型识别精度进行验证；
步骤5：异物存在性检测与异物个体提取：
利用步骤4中建立的渠道异物检测模型，对图像中每个超像素的类型进行判断，然后，综合所有超像素的判别结果，对被判断为异物存在的图像中不同类型的超像素赋予不同的标签值，实现语义分割和异物区域提取，再根据区域间距进一步对异物个体进行提取；
步骤6：异物个体超像素分类SVM模型训练：
对于判断为异物存在的航拍图，需进一步判断其中的异物类型；
步骤7：基于“层级投票”机制的异物个体分类：
利用步骤6建立的模型可对构成异物个体的超像素进行分类；
步骤8：异物个体的空间位置确定：
对异物个体分类完成后，提取含有异物的航拍图片，并读取无人机在拍摄相应图片时的经纬度坐标，或将其转化为渠道工区坐标，对异物在渠道发生位置进行定位。
2.根据权利要求1所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：步骤3中超像素特征向量计算方法包括：取包含某超像素图像的最小矩形区域作为输入单元，计算该超像素的36位LBP纹理特征描述子，同时，引入一个元素描述超像素相对渠边位置：该元素值为0代表超像素不在渠道边界附近，1则反之，该元素值与36位LBP纹理特征描述子共同构成一个超像素特征向量，共37个元素。
3.根据权利要求1所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：超像素类型包括水体和异物。
4.根据权利要求1所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：步骤5中根据区域间距进一步对异物个体进行提取，具体步骤如下：
(1)相邻矩阵生成
假设异物-水体语义分割后图像存在N个不互通的异物区域，初始化相邻矩阵M，其维度为N×N，所有元素值均为0，每个区域用Ri表示，其中i＝1,2,……,N，计算Ri与Rj形心间的距离disti-j，并与阈值 thi-j 比较， disti-j计算公式如式(1)表示，其中，j＝i,i+1,……,N，thi-j计算公式如式(2)表示，若disti-≤thi-j则认为Ri与Rj相邻，并令矩阵中相应元素Mij＝1，Mji＝1，按照上述方法遍历所有不连通区域，得到最终的相邻矩阵M，M中元素值为0代表不相邻，为1代表相邻，
Figure FDA0003786336230000021
thi-j＝h(Di+Dj) (2)
其中，(xi,yi)、(xj,yj)分别为区域Ri、Rj的形心坐标；Di和Dj分别为区域Ri、Rj的等效直径，h为比例因子；
(2)异物个体标注与提取
遍历所有区域Ri，根据相邻矩阵M判断是否存在与其相邻或第三方相邻的区域，若不存在，则判断Ri属于一个新的异物个体，为其赋予新的ID号，若存在，则给Ri赋予与其相邻区域相同的ID号，所有ID号相同异物区域构成一个异物个体。
5.根据权利要求2所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：步骤6中对于判断为异物存在的航拍图，需进一步判断其中的异物类型，具体判断方法如下：首先，标注异物超像素的类型标签，与按照步骤3计算得到的36位LBP纹理特征描述子共同构建异物个体超像素分类模型的训练样本集，然后，以超像素LBP特征为输入，异物超像素类型为输出，使用支持向量机SVM训练异物个体超像素分类模型，最后，用测试集对模型的精度进行验证，以达到工程要求。
6.根据权利要求1所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：步骤7中层级投票方法如下：假设某个异物个体由K个超像素组成，则可在所有超像素中选择k个超像素构成新的组合 ，其中，k＝1,2,……,K，以包含新的超像素组合的最小矩形区域内的图像为输入单元，按照步骤3计算其LBP纹理特征描述子，然后，以新的超像素组合的LBP特征描述子为输入，利用步骤6建立的异物个体超像素分类模型对其进行分类，由K个超像素组成的异物个体共能得到
Figure FDA0003786336230000022
个判别结果，统计所有判别结果中每个异物类型的“得票”数目，选取其中“得票”数目最高的类型作为异物个体的类型。
7.根据权利要求6所述的一种基于航拍图超像素纹理的渠道异物智能检测与分类方法，其特征在于：当出现票数相等时，输出类型为“不确定”。
CN202011021420.XA 2020-09-25 2020-09-25 基于航拍图超像素纹理的渠道异物智能检测与分类方法 Active CN112241692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021420.XA CN112241692B (zh) 2020-09-25 2020-09-25 基于航拍图超像素纹理的渠道异物智能检测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021420.XA CN112241692B (zh) 2020-09-25 2020-09-25 基于航拍图超像素纹理的渠道异物智能检测与分类方法

Publications (2)

Publication Number Publication Date
CN112241692A CN112241692A (zh) 2021-01-19
CN112241692B true CN112241692B (zh) 2022-09-13

Family

ID=74171676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021420.XA Active CN112241692B (zh) 2020-09-25 2020-09-25 基于航拍图超像素纹理的渠道异物智能检测与分类方法

Country Status (1)

Country Link
CN (1) CN112241692B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763491B (zh) * 2021-08-26 2024-03-12 浙江中烟工业有限责任公司 一种烟丝桶残余物的视觉检测方法
CN115170569B (zh) * 2022-09-07 2022-12-02 新乡学院 一种基于图像的高熵材料涂层刀具的失效检测方法
CN115797813B (zh) * 2023-02-10 2023-04-25 山东汇蓝环保科技有限公司 基于航拍图像的水环境污染检测方法
CN116168026B (zh) * 2023-04-24 2023-06-27 山东拜尔检测股份有限公司 基于计算机视觉的水质检测方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930815B (zh) * 2016-05-04 2022-10-04 中国农业大学 一种水下生物检测方法和系统
CN107220982A (zh) * 2017-04-02 2017-09-29 南京大学 一种抑制船尾拖纹的船舶显著性视频检测方法
CN108038450A (zh) * 2017-12-14 2018-05-15 海安常州大学高新技术研发中心 基于无人机和图像识别的水面污染物检测方法
CN109636758B (zh) * 2018-12-15 2022-10-14 四创科技有限公司 一种基于时空动态算子的水面漂浮物检测方法
CN109766830B (zh) * 2019-01-09 2022-12-27 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别系统及方法
CN109460754B (zh) * 2019-01-31 2019-05-14 深兰人工智能芯片研究院（江苏）有限公司 一种水面异物检测方法、装置、设备及存储介质
CN109829507B (zh) * 2019-02-21 2023-09-19 国网上海市电力公司 航拍高压输电线路环境检测方法
CN110414334B (zh) * 2019-06-20 2021-05-11 浙江大学 一种基于无人机巡视的智能水质识别方法
CN111696123A (zh) * 2020-06-15 2020-09-22 荆门汇易佳信息科技有限公司 超像素分类识别的遥感图像水域分割提取方法

Also Published As

Publication number Publication date
CN112241692A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112241692B (zh) 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN109993056B (zh) 一种识别车辆违章行为的方法、服务器及存储介质
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN110866430B (zh) 一种车牌识别方法及装置
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN106503638B (zh) 用于颜色识别的图像处理、车辆颜色识别方法和系统
CN109784392A (zh) 一种基于综合置信的高光谱图像半监督分类方法
CN112417931B (zh) 一种基于视觉显著性的水面物体检测和分类的方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN109255279A (zh) 一种交通标志检测识别的方法及系统
CN106709412A (zh) 交通标志检测方法和装置
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
Guofeng et al. Traffic sign recognition based on SVM and convolutional neural network
CN113536946A (zh) 一种基于摄像头关系的自监督行人重识别方法
CN112241691B (zh) 基于无人机巡检与图像特征的渠道冰情智能识别方法
CN103810487A (zh) 一种海洋航拍图像的目标检测与识别方法及系统
CN111428752B (zh) 一种基于红外图像的能见度检测方法
Gou et al. License plate recognition using MSER and HOG based on ELM
CN115984546A (zh) 一种针对固定场景的异常检测用的样本底库生成方法
Pedersen et al. Model and feature selection for the classification of dark field pollen images using the classifynder system
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
CN113642430A (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant