CN112241691B - 基于无人机巡检与图像特征的渠道冰情智能识别方法 - Google Patents

基于无人机巡检与图像特征的渠道冰情智能识别方法 Download PDF

Info

Publication number
CN112241691B
CN112241691B CN202011021395.5A CN202011021395A CN112241691B CN 112241691 B CN112241691 B CN 112241691B CN 202011021395 A CN202011021395 A CN 202011021395A CN 112241691 B CN112241691 B CN 112241691B
Authority
CN
China
Prior art keywords
image
ice
aerial vehicle
unmanned aerial
ice condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011021395.5A
Other languages
English (en)
Other versions
CN112241691A (zh
Inventor
刘东海
邵琦
陈俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011021395.5A priority Critical patent/CN112241691B/zh
Publication of CN112241691A publication Critical patent/CN112241691A/zh
Application granted granted Critical
Publication of CN112241691B publication Critical patent/CN112241691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于无人机巡检与图像特征的渠道冰情智能识别方法，包含无人机巡检航拍、冰情图像数据预处理、图像特征指标选取和设计、支持向量机分类模型建立、SVM模型的冰情识别应用五个步骤，本发明利用图像识别技术，结合无人机巡检，通过无人机巡检视频图像的自动处理识别技术实现长距离输水工程冬季冰情的快速、全渠道巡检，克服传统人工巡检效率低下的弊端，可及时了解渠道冰情，以实时辅助运行决策，有效避免了人工查看巡检视频的低效和易于识别偏差的技术问题。

Description

基于无人机巡检与图像特征的渠道冰情智能识别方法
技术领域
本发明属于水利工程供水安全领域，涉及数字图像处理技术，尤其是一种基于无人机巡检与图像特征的渠道冰情智能识别方法。
背景技术
供水渠道的运行安全对于充分发挥工程效益、保障输水质量至关重要。大型长距离输水渠道纬度跨越范围大，渠口开敞，水体直接与空气接触，因此寒区输水渠道往往面临流凌冰塞等问题，不仅会影响正常输水，而且威胁渠道及相关附属建筑(如水闸、跨渠桥梁等)的结构安全。
长距离渠道人工巡检不便，勘察的效率较低。传统的冰情识别方式通过流量、水位等间接指标反推冰情状况，往往难以做到冰情事件的直接识别和准确分类。对渠内冰情状况(尤其是潜在危险冰情)进行及时的评估识别，可以为工程调度和应急响应提供关键信息，有助于减少由冰凌冰塞等问题引起的危害。
无人机作为近年来广受关注的新型空中检测平台，具有机动灵活、视野开阔的特点，已广泛应用于工程巡检、搜救、安全巡视等领域。采用无人机进行沿渠巡检，可以快速地获得覆盖工程全线的渠内水体图像，克服人工巡检的效率低下问题。
但是，常规采用人工查看长时间巡检视频图像，进而来识别冰情的方法，不仅效率较低，而且往往会有识别偏差。因此，有必要发明一种适用于渠道日常运行维护、利用无人机进行快速巡检完成图像采集后，能对图像进行快速智能识别判断渠内冰情状态的方法。
发明内容
本发明的目的在于克服现有技术的不足之处，提供一种基于无人机巡检与图像特征的渠道冰情智能识别方法，结合无人机巡检，实现长距离输水工程冬季冰情的快速、全渠道巡检，克服传统人工巡检效率低下的弊端，可及时了解渠道冰情，以实时辅助运行决策。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于无人机巡检与图像特征的渠道冰情智能识别方法，利用支持向量机分类的渠道冰情状态智能识别方法，共包含无人机巡检航拍、冰情图像数据预处理、图像特征指标选取和设计、支持向量机(Support Vector Machine，SVM)分类模型建立、SVM模型的冰情识别应用五个步骤。
步骤一：无人机巡检航拍
运用无人机对渠道进行安全巡检，为适应输水工程距离长、气象地理条件复杂的特点，应选择具有长距离适航(抗风、防冻、长航距、防水等)能力的无人机。无人机需安装具有足够高分辨率的航拍相机及全球卫星导航定位系统(global navigation satellitesystem,GNSS)，可实时采集无人机坐标及拍摄渠道图像，且能将其采集的图像数据和相应无人机坐标信息进行同步存储和传输。同时，将某时刻通过GNSS定位的无人机坐标，记为此时对应航拍图像的坐标。
从无人机采集的图像中，选取冰情图像来构成图像特征分析的数据集。选择的冰情图像尽可能的覆盖不同的视角、不同的工程场景和不同的光照条件，以提高图像数据样本的多样性。
步骤二：冰情图像数据预处理
对无人机航拍的视频图像进行预处理。首先，将图像中属于渠内液面兴趣区的像素从无关背景中提取出来；然后，在兴趣区内进行图像的截取，在保证宽高比不变的前提下，统一调整截取的矩形图像宽度。经过预处理后，对数据集中的每张图像所属的冰情阶段(明流、冰盖、流凌或冰塞)以及若发生流凌时相应的流凌强度进行标注(包括轻微或剧烈)，从而构成冰情图像样本。
步骤三：图像特征指标选取和设计
采用能够表征区分图像所属的冰情阶段及流凌强度的图像纹理和颜色特征指标来识别渠道冰情。图像特征指标包括基于HSV(Hue Saturation Value，色调饱和值)色彩特征的描述指标StV(Saturation times Value，饱和度乘明度)、基于纹理密度特征的描述指标EP(Edge Proportion，边缘占比)、基于纹理方向特征的描述指标δ-EHD(the Varianceof Edge Histogram Descriptor，边缘直方图描述符差异)和δ-HOG(the Variance ofHistogram of Oriented Gradient，方向梯度直方图差异)。
色彩特征指标StV定义式如下：
StVi-j＝k·PSi·PVj \*MERGEFORMAT(1)
式中，k为常数比例因子；PSi表示HSV色彩空间中S通道分布在区间[0,i]内的像素个数占总像素数的比例；PVj表示HSV色彩空间中V通道分布在区间[j,255]内的像素个数占总像素数的比例。StV值越大，图像呈现出的白色成分越多，相应地，渠道液面图像中出现冰的可能性越大。反之当StV值越小时，渠道液面图像中出现冰的可能性越小，渠道存在冰情威胁的可能性越小。
纹理密度特征指标EP定义为：
EP＝Qedge/Qsum \*MERGEFORMAT(2)
式中，Qedge和Qsum分别为一幅图像中边缘像素的数量和所有像素的数量。流凌和冰塞图像EP值大；反之，当EP值较小时，图像中的渠道液面冰情状态更倾向于明流和冰盖。
基于边缘直方图描述符(Edge Histogram Descriptor，EHD)和方向梯度直方图(Histogram of Oriented Gradient，HOG)的特征，采用纹理方向特征指标δ-EHD和δ-HOG，用于表征流凌和冰塞在纹理方向分布的不同。
δ-EHD用来反映图像不同边缘方向间的差异程度，其定义如下式：
Figure BDA0002700724160000031
式中，std(·)和ave(·)分别为求标准差和平均值的函数。QHi、QVi、QDi和QAi分别为EHD子图i中水平方向、竖直方向、45度对角方向和135度对角方向的边缘数目；i＝1,2,3,…,n；n为将图像分割成子图的数量。δ-EHD值越大，说明图像中检测出来的边缘越有可能指向统一的一个方向，则图像冰情更倾向于流凌；反之，说明图像中检测出来的边缘指向分散，则图像冰情更倾向于冰塞。
δ-HOG用来刻画纹理梯度方向分布的差异程度，其定义如下式：
Figure BDA0002700724160000032
式中，Qhogj表示方向梯度直方图HOG中刻度j对应的取值，j＝1,2,…,n；n为HOG的总刻度数量。δ-HOG值越大，说明图像中纹理梯度方向分布的差异越大，图像冰情更倾向于冰塞。反之当δ-HOG值越小，说明图像中纹理梯度方向分布较为统一，图像冰情更倾向于流凌。
采用冰情图像特征指标相关程度η2，定量分析上述指标与不同冰情状态(冰情阶段和流凌强度)间的相关程度，计算公式如下所示：
Figure BDA0002700724160000033
式中，SSbetween为组间离差平方和(简称组间平方和)，SStotal为总离差平方和(简称总平方和)。η2越大，说明特征指标越能表征某类冰情状态。相关程度大的若干个指标作为冰情识别模型的输入变量。一般而言，StV、EP、δ-EHD和δ-HOG四个指标综合，可以有效区分“明流”、“冰盖”、“流凌”和“冰塞”等四个冰情阶段；综合StV、EP和δ-EHD可以用于区分“轻微”和“剧烈”等不同的流凌强度。
步骤四：支持向量机分类模型建立
利用前期无人机巡检航拍图像，通过步骤二得到渠道冰情状态的训练数据集(已标注每一幅图像的冰情类型标签)。利用步骤三，计算数据集中每一幅图像的四个特征指标值，并利用步骤三相关性程度分析，确定若干个特征指标作为模型输入，图像上所标签的渠道冰情类型为输出。
冰情图像识别的支持向量机分类模型由两个SVM分类器构成，分别为分类器#1(含3个子分类器)和分类器#2。分类器#1对图像反映的冰情阶段(明流、冰盖、流凌和冰塞)进行分类，其中分类器#1-1将图像表征的冰情分为明流或冰盖，以及流凌或冰塞等两种情况；在此基础上，利用分类器#1-2进一步区分前一种情况，明确该图像表征的是明流还是冰盖；分类器#1-3用于进一步区分后一种情况，明确该图像表征的是流凌还是冰塞。分类器#2则适用于流凌强度(轻微或剧烈)的识别分类
利用足够多的样本，来分别训练上述SVM分类器，并需通过检验样本来检验模型识别精度。当模型识别精度满足要求时，从而确定上述SVM分类器的各个模型参数，可用于渠道冰情类型的识别。
步骤五：SVM模型的冰情识别应用
采用无人机对渠道进行巡检航拍，然后对采集的航拍图像利用建立的上述模型进行冰情状态识别，可自动快速地得到图像所属的冰情阶段(明流、冰盖、流凌或冰塞)，以及若发生流凌时相应的流凌强度(轻微或剧烈)，从而用于判断渠内冰情状态。
同时，根据无人机航拍过程中记录的航拍图像的坐标，可以定位冰情发生的位置，进而为渠道管理与应急响应提供决策依据。
本发明的优点和积极效果是：
1、本发明提供一种适用于渠道日常运行维护，利用无人机快速巡检完成图像采集后，能对图像进行快速智能识别，进而判断渠内冰情状态的方法。共包含无人机巡检航拍、冰情图像数据预处理、图像特征指标选取和设计、支持向量机分类模型建立、SVM模型的冰情识别应用五个步骤。
2、本发明根据渠道冰情状态表现出来的特点，采用能够表征区分图像所属的冰情阶段及流凌强度的图像纹理和颜色特征指标来识别渠道冰情，包括基于HSV色彩特征的描述指标StV，基于纹理密度特征的描述指标EP，基于纹理方向特征的描述指标δ-EHD和δ-HOG。
3、本发明利用图像识别技术，结合无人机巡检，通过无人机巡检视频图像的自动处理识别技术实现长距离输水工程冬季冰情的快速、全渠道巡检，克服传统人工巡检效率低下的弊端，可及时了解渠道冰情，以实时辅助运行决策，有效避免了人工查看巡检视频的低效和易于识别偏差的技术问题。
附图说明
图1为本发明方法流程图；
图2为本发明冰情识别SVM模型结构图；
图3为本发明StV特征指标相关程度分析StV、EP、δ-EHD和δ-HOG结果；
图4为本发明EP特征指标相关程度分析图；
图5为本发明纹理方向特征指标δ-EHD计算流程图；
图6为本发明δ-EHD特征指标相关程度分析图；
图7为本发明δ-HOG特征指标相关程度分析图。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
本发提供了一种适用于渠道日常运行维护，利用无人机快速巡检完成图像采集后，能对图像进行快速智能识别，进而判断渠内冰情状态的方法。如图1所示，共包含无人机巡检航拍、冰情图像数据预处理、图像特征指标选取和设计、支持向量机分类模型建立、SVM模型的冰情识别应用五个步骤。
步骤一：无人机巡检航拍
运用无人机对渠道进行安全巡检，为适应输水工程距离长、气象地理条件复杂的特点，应选择具有长距离适航(抗风、防冻、长航距、防水等)能力的无人机。无人机需带具有足够高分辨率的航拍相机及全球卫星导航定位系统，来实时采集无人机坐标及拍摄渠道图像，且能将其采集的图像数据和相应无人机坐标信息进行同步存储和传输。
基于上述分析，采用成都纵横公司的CW-10D机型(安装RTK-GNSS定位系统及高精度航拍相机)进行输水渠道巡检的实例应用。由于无人机在进行巡检时，一般位于拍摄物的正上或斜上方，可以用无人机的位置作为航拍图像空间位置的估计。因此，将某时刻无人机通过RTK-GNSS定位的坐标，记为此时对应航拍图像的坐标，从而可对图像中冰情发生的位置进行定位。
从无人机采集的图像中，选取冰情图像来构成图像特征分析的数据集。选择的冰情图像尽可能的覆盖不同的视角、不同的工程场景和不同的光照条件，以提高图像数据样本的多样性。
步骤二：冰情图像数据预处理
利用无人机航拍图像，搜集构建渠内液面冰情状态的样本数据集,共获得了276张冰情图像。首先，将图像中属于渠内液面兴趣区的像素从无关背景中提取出来；然后，在兴趣区内进行矩形区域图像的截取，为确保每张图像分辨率尺度的一致，在保证宽高比不变的前提下，统一将截取的矩形图像宽度调整为400像素。
经过预处理后，对数据集中的每张图像所属的冰情阶段(明流、冰盖、流凌或冰塞)以及若发生流凌时相应的流凌强度(轻微或剧烈)进行标注，从而构成冰情图像样本。在276张图像中，有明流图像51张，冰盖图像73张，流凌图像98张，冰塞图像54张；在流凌图像中，划分为轻微和剧烈两个强度等级的图像数目分别为57张和41张。
步骤三：图像特征指标选取和设计
根据渠道冰情状态表现出来的特点，采用能够表征区分图像所属的冰情阶段及流凌强度的图像纹理和颜色特征指标来识别渠道冰情，包括基于HSV色彩特征的描述指标StV，基于纹理密度特征的描述指标EP，基于纹理方向特征的描述指标δ-EHD和δ-HOG。
采用冰情图像特征指标相关程度η2，定量分析上述指标与不同冰情状态(冰情阶段和流凌强度)间的相关程度，确定后续识别模型输入的强相关特征指标和指标参数。采用IBMSPSS软件计算所提出特征指标与冰情状态间的η2值，计算公式如下所示：
Figure BDA0002700724160000061
式中，SSbetween为组间离差平方和(简称组间平方和)，SStotal为总离差平方和(简称总平方和)。η2值越大，说明图像指标与冰情相应状态间的相关程度越大，图像指标用来评价图像所处冰情状态的可靠程度越高。评价工作采用如下的经验准则：η2在0.01到0.06之间，相关程度小；η2在0.06到0.14之间，相关程度中等；η2大于0.14，相关程度大。
冰情图像的颜色特征可以由HSV色彩空间中S通道和V通道直方图的分布来共同表征，色彩特征指标StV定义式如下：
StVi-j＝k·PSi·PVj \*MERGEFORMAT(2)
式中，k为常数比例因子，取为1；PSi表示HSV色彩空间S通道分布在区间[0,i]内的像素个数占总像素数的比例，PVj表示HSV色彩空间V通道分布在区间[j,255]内的像素个数占总像素数的比例。StV值越大，图像呈现出的白色成分越多，相应地，渠道液面图像中出现冰的可能性越大。反之当StV值越小时，渠道液面图像中出现冰的可能性越小，渠道存在冰情威胁的可能性越小。
对冰情图像的HSV色彩空间进行分离，进而对其S通道和V通道的直方图进行分析，将S(或V)通道直方图的水平轴的取值范围等分成255个间隔，纵轴则相应的表示位于取值间隔内的像素个数，从而计算出图像的StV指标。计算不同的i值和j值下数据集内图像的StV指标，结合图像对应的冰情状况，计算相关程度的度量值η2，对相关程度进行判断。StV特征指标相关程度分析见图3，依此分别选取StV65-180和StV25-180作为冰情阶段分类模型和流凌强度分类模型的输入。
流凌和冰塞图像识别出来的边缘密度明显高于明流和冰盖图像。基于此采用纹理密度特征指标EP，其定义如下式：
EP＝Qedge/Qsum \*MERGEFORMAT(3)
式中，Qedge和Qsum分别为一幅图像中边缘像素的数量和所有像素的数量。流凌和冰塞图像识别出来的边缘密度更高，相应地，EP值也会更大。反之当EP值较小时，图像中的渠道液面冰情状态更倾向于明流和冰盖。
为表征图像的纹理密集程度，以Canny算子对图像进行边缘提取，统计图像中边缘像素的数量和所有像素的数量，进而计算图像对应的EP值。冰情图像的EP值受Canny算子所采用的阈值(threshold)的影响，计算不同阈值下数据集内图像的EP指标，结合图像对应的冰情状况，计算相关程度的度量值η2，对相关程度进行判断。图4反映了取不同阈值(图中以Th表示)时，不同冰情阶段和流凌强度的EP值箱形图分布及相应的η2值。对于冰情阶段，当Th取值为0.6时，相关程度η2达到最大值，故采用该值作为冰情阶段识别模型的EP指标阈值；而对于流凌强度，当Th等于0.2时，η2值达到峰值，故采用0.2作为流凌强度识别模型的EP指标计算的阈值。
基于边缘直方图描述符(Edge Histogram Descriptor，EHD)和方向梯度直方图(Histogram of Oriented Gradient，HOG)的特征，采用纹理方向特征指标δ-EHD和δ-HOG，用于表征流凌和冰塞在纹理方向分布的不同。
δ-EHD用来反映图像不同边缘方向间的差异程度，其定义式如下：
Figure BDA0002700724160000081
式中，std(·)和ave(·)为分别为求标准差和平均值的函数。QHi、QVi、QDi和QAi分别为EHD子图i中水平方向、竖直方向、45度对角方向和135度对角方向的边缘数目；i＝1,2,3,…,n，n为将图像分割成子图的数量。δ-EHD值越大，说明图像中检测出来的边缘越有可能指向统一的一个方向，图像冰情更倾向于流凌。反之，说明图像中检测出来的边缘指向分散，图像冰情更倾向于冰塞。
纹理方向特征指标δ-EHD的计算流程图如图5所示。首先计算边缘直方图描述符EHD，将输入图像分成4×4分布的16个子图，用canny算子提取图像的边缘并计算生成每个子图的边缘直方图。每个边缘直方图包括五个表示不同方向边缘类型(竖直、水平、45度对角、135度对角和无方向)的刻度。对得到的所有子图(共16个)的边缘直方图进行首尾相接，得到由80个元素构成的EHD描述符。将EHD描述符中各子图的各个方向边缘数目取值代入式(4)中计算得到δ-EHD。
对于δ-EHD指标，关键的超参数是canny算子进行边缘检测时的阈值(Th)。计算取用不同阈值下的δ-EHD指标，结合图像对应的冰情状况，计算相关程度的度量值η2，对相关程度进行判断。δ-EHD特征指标相关程度分析见图6。分别选取Th＝0.05和Th＝0.001作为冰情阶段分类模型和流凌强度分类模型的输入。
δ-HOG用来刻画纹理梯度方向分布的差异程度，其定义式如下：
Figure BDA0002700724160000082
式中，Qhogj表示方向梯度直方图HOG中刻度j对应的取值，j＝1,2,…,n，n为HOG的总刻度数量。δ-HOG值越大，说明图像中纹理梯度方向分布的差异越大，图像冰情更倾向于冰塞。反之当δ-HOG值越小，说明图像中纹理梯度方向分布较为统一，图像冰情更倾向于流凌。
方向梯度直方图HOG算法的一般流程为：首先，将目标图像划分成小的单元格(cell)；然后，对每个单元格(cell)进行梯度(包括大小和方向)的计算，以梯度方向角度为横轴刻度，梯度大小作为权值，统计不同方向角度出现的次数生成方向梯度直方图；最后，以若干个单元格大小的区块(block)对整个图像进行滑动扫描，实现直方图的拼接。将方向梯度直方图HOG中不同刻度的对应取值代入式(5)中计算得到δ-HOG。
对于δ-HOG指标而言，超参数“单元格大小(cell size)”直接决定特征提取的精细程度。取用不同cellsize取值下的δ-HOG指标，结合图像对应的冰情状况，计算相关程度的度量值η2，对相关程度进行判断。δ-HOG特征指标相关程度分析见图7。选取48×48的cellsize作为δ-HOG指标冰情阶段识别的超参数,δ-HOG指标与流凌强度的相关性低于标准，将δ-HOG指标排除出流凌强度识别模型。
由上述分析可知，StV、EP、δ-EHD和δ-HOG四个指标综合，可以有效区分“明流”、“冰盖”、“流凌”和“冰塞”等四个冰情阶段；综合StV、EP和δ-EHD可以用于区分“轻微”和“剧烈”等不同的流凌强度，并将各指标在分类模型中的最优参数进行了确定。
步骤四：支持向量机分类模型建立
利用前期无人机巡检航拍图像，通过步骤二得到渠道冰情状态的训练数据集(已标注每一幅图像的冰情类型标签)。利用步骤三，计算数据集中每一幅图像的四个特征指标值，并利用步骤三相关性程度分析，确定若干个特征指标及其参数作为模型输入，图像上所标签的渠道冰情类型为输出。
冰情图像识别的支持向量机分类模型由两个SVM分类器构成，如图2所示，分别为分类器#1(含3个子分类器)和分类器#2。分类器#1对图像反映的冰情阶段(明流、冰盖、流凌和冰塞)进行分类，其中分类器#1-1将图像表征的冰情分为明流或冰盖，以及流凌或冰塞等两种情况；在此基础上，利用分类器#1-2进一步区分前一种情况，明确该图像表征的是明流还是冰盖；分类器#1-3用于进一步区分后一种情况，明确该图像表征的是流凌还是冰塞。分类器#2则适用于流凌强度(轻微或剧烈)的识别分类。
利用足够多的样本，来分别训练上述SVM分类器，并通过检验样本来检验模型识别精度。用Python的机器学习库scikit-learn进行SVM模型的训练和测试。调试该库的三个超参数kernel、C和gamma使训练模型最优，经过参数调试，采用二维(degree＝2)的“poly”kernel，C＝300以及gamma＝10时，分类器#1的预测效果最好；当采用“rbf”kernel，C＝15以及gamma＝30时，分类器#2的预测效果最好。此时，分类器#1和分类器#2的预测准确率(accuracy)分别达到了0.72和0.75，分类器能以较高的精度对各阶段冰情和流凌强度进行识别划分，从而认为模型可用于渠道冰情类型的识别。
步骤五：SVM模型的冰情识别应用
采用无人机对渠道进行巡检航拍，然后对采集的航拍图像利用建立的模型进行冰情状态识别，可自动快速地得到图像所属的冰情阶段(明流、冰盖、流凌或冰塞)，以及若发生流凌时相应的流凌强度(轻微或剧烈)，从而用于判断渠内冰情状态。
同时，根据无人机航拍过程中记录的航拍图像的坐标，可以定位冰情发生的位置，进而为渠道管理与应急响应提供决策依据。
本发明提供了一种基于图像特征分析的渠道冰情状态图像智能识别方法，在水利工程供水安全领域定会有广泛的应用。
尽管为说明目的公开了本发明的实施例，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例所公开的内容。

Claims (5)

1.一种基于无人机巡检与图像特征的渠道冰情智能识别方法，其特征在于：包含无人机巡检航拍、冰情图像数据预处理、图像特征指标选取和设计、支持向量机分类模型建立、SVM模型的冰情识别应用五个步骤：
步骤一：无人机巡检航拍
无人机安装航拍相机及全球卫星导航定位系统，采集无人机坐标及拍摄渠道图像，将采集的图像数据和相应无人机坐标信息进行同步存储和传输，从无人机采集的图像中，选取冰情图像来构成图像特征分析的数据集；
步骤二：冰情图像数据预处理
对无人机航拍的视频图像进行预处理，首先，将图像中属于渠内液面兴趣区的像素从无关背景中提取出来；然后，在兴趣区内进行图像的截取，在保证宽高比不变的前提下，统一调整截取的矩形图像宽度，经过预处理后，对数据集中的每张图像所属的冰情阶段以及发生流凌时相应的流凌强度进行标注，从而构成冰情图像样本；
步骤三：图像特征指标选取和设计
采用能够表征区分图像所属的冰情阶段及流凌强度的图像纹理和颜色特征指标识别渠道冰情；
步骤四：支持向量机分类模型建立
冰情图像识别的支持向量机分类模型由SVM分类器构成，利用样本训练SVM分类器，并需通过检验样本来检验模型识别精度，当模型识别精度满足要求时，确定SVM分类器的各个模型参数，可用于渠道冰情类型的识别；
用前期无人机巡检航拍图像，通过步骤二、步骤三计算数据集中每一幅图像的特征指标值，并利用步骤三相关性程度分析，确定若干个特征指标作为模型输入，图像上所标签的渠道冰情类型为输出；
步骤五：SVM模型的冰情识别应用
采用无人机对渠道进行巡检航拍，然后对采集的航拍图像利用建立的上述模型进行冰情状态识别，从而用于判断渠内冰情状态，根据无人机航拍过程中记录的航拍图像的坐标，定位冰情发生的位置，
所述图像特征指标包括基于HSV色彩特征的描述指标StV、基于纹理密度特征的描述指标EP、基于纹理方向特征的描述指标δ-EHD和δ-HOG，
基于HSV色彩特征的描述指标StV定义式如下：
StVi-j＝k·PSi·PVj (1)
式中，k为常数比例因子；PSi表示HSV色彩空间中S通道分布在区间[0,i]内的像素个数占总像素数的比例；PVj表示HSV色彩空间中V通道分布在区间[j,255]内的像素个数占总像素数的比例；
基于纹理密度特征的描述指标EP定义为：
EP＝Qedge/Qsum (2)
式中，Qedge和Qsum分别为一幅图像中边缘像素的数量和所有像素的数量，
基于纹理方向特征的描述指标δ-EHD和δ-HOG，用于表征流凌和冰塞在纹理方向分布的不同，
δ-EHD用来反映图像不同边缘方向间的差异程度，其定义如下式：
Figure FDA0003504057200000021
式中，std(·)和ave(·)分别为求标准差和平均值的函数；QHi、QVi、QDi和QAi分别为EHD子图i中水平方向、竖直方向、45度对角方向和135度对角方向的边缘数目；i＝1,2,3,…,n；n为将图像分割成子图的数量；
δ-HOG用来刻画纹理梯度方向分布的差异程度，其定义如下式：
Figure FDA0003504057200000022
式中，Qhogj表示方向梯度直方图HOG中刻度j对应的取值，j＝1,2,…,n；n为HOG的总刻度数量；
采用冰情图像特征指标相关程度η2，定量分析上述指标与不同冰情状态间的相关程度，计算公式如下所示：
Figure FDA0003504057200000031
式中，SSbetween为组间离差平方和简称组间平方和，SStotal为总离差平方和简称总平方和。
2.根据权利要求1所述的一种基于无人机巡检与图像特征的渠道冰情智能识别方法，其特征在于：冰情图像识别的支持向量机分类模型由两个SVM分类器构成，分别为分类器#1和分类器#2，分类器#1含3个子分类器。
3.根据权利要求2所述的一种基于无人机巡检与图像特征的渠道冰情智能识别方法，其特征在于：分类器#1对图像反映的冰情阶段进行分类，其中分类器#1-1将图像表征的冰情分为明流或冰盖，以及流凌或冰塞两种情况。
4.根据权利要求2所述的一种基于无人机巡检与图像特征的渠道冰情智能识别方法，其特征在于：利用分类器#1-2进一步区分明确该图像表征的是明流还是冰盖。
5.根据权利要求2所述的一种基于无人机巡检与图像特征的渠道冰情智能识别方法，其特征在于：分类器#1-3用于进一步区分明确该图像表征的是流凌还是冰塞。
CN202011021395.5A 2020-09-25 2020-09-25 基于无人机巡检与图像特征的渠道冰情智能识别方法 Active CN112241691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021395.5A CN112241691B (zh) 2020-09-25 2020-09-25 基于无人机巡检与图像特征的渠道冰情智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021395.5A CN112241691B (zh) 2020-09-25 2020-09-25 基于无人机巡检与图像特征的渠道冰情智能识别方法

Publications (2)

Publication Number Publication Date
CN112241691A CN112241691A (zh) 2021-01-19
CN112241691B true CN112241691B (zh) 2022-03-25

Family

ID=74171728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021395.5A Active CN112241691B (zh) 2020-09-25 2020-09-25 基于无人机巡检与图像特征的渠道冰情智能识别方法

Country Status (1)

Country Link
CN (1) CN112241691B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100548A (zh) * 2022-06-09 2022-09-23 国网江苏省电力有限公司泰州供电分公司 一种基于无人机巡检的冬季配电区覆雪状态检测方法
CN115762756A (zh) * 2022-11-07 2023-03-07 南京脑科医院 早期认知障碍量表绘图结果判别装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599780A (zh) * 2016-10-27 2017-04-26 国家电网公司 一种电网巡检图像智能识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503344B (zh) * 2016-10-31 2019-09-27 济南大学 一种冰盖下明渠输水渠道及其水力最优断面的求解方法
CN110458402A (zh) * 2019-07-08 2019-11-15 武汉科技大学 一种串联输水渠系冰塞风险评估方法
CN111350160A (zh) * 2020-03-17 2020-06-30 天津大学 一种利用地下水库的输水工程消冰装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599780A (zh) * 2016-10-27 2017-04-26 国家电网公司 一种电网巡检图像智能识别方法及装置

Also Published As

Publication number Publication date
CN112241691A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN110414334B (zh) 一种基于无人机巡视的智能水质识别方法
CN109460753B (zh) 一种检测水上漂浮物的方法
CN109145830B (zh) 一种智能水尺识别方法
CN106290388A (zh) 一种绝缘子故障自动检测方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN112241691B (zh) 基于无人机巡检与图像特征的渠道冰情智能识别方法
CN112241692B (zh) 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
CN111582084B (zh) 基于弱监督学习的空基视角下的铁轨异物检测方法及系统
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN117677969A (zh) 一种缺陷检测的方法和装置
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN102855485A (zh) 一种小麦抽穗的自动检测方法
CN116843691B (zh) 光伏板热斑检测方法及存储介质、电子设备
CN114882400A (zh) 一种基于ai智能机器视觉技术的骨料检测分类方法
CN116309407A (zh) 一种铁路接触网螺栓异常状态的检测方法
CN115439763A (zh) 一种基于YOLOv5模型的水工程表面裂缝检测方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN114627286A (zh) 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法
CN117058620A (zh) 一种城市内涝受灾状态监测方法及系统
CN117269193A (zh) 合成革表观质量智能化检测方法
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN106886609B (zh) 街区式农村居民地遥感快速标注方法
JP3817611B2 (ja) 可視画像式路面状況把握装置における路面状況判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant