CN109559310A - 基于显著性检测的输变电巡检图像质量评价方法及系统 - Google Patents

基于显著性检测的输变电巡检图像质量评价方法及系统 Download PDF

Info

Publication number
CN109559310A
CN109559310A CN201811457825.0A CN201811457825A CN109559310A CN 109559310 A CN109559310 A CN 109559310A CN 201811457825 A CN201811457825 A CN 201811457825A CN 109559310 A CN109559310 A CN 109559310A
Authority
CN
China
Prior art keywords
image
quality evaluation
value
inspection image
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811457825.0A
Other languages
English (en)
Other versions
CN109559310B (zh
Inventor
张旭
王万国
王振利
许玮
慕世友
傅孟潮
李建祥
白万建
李冬
李勇
杨波
孙晓斌
李振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Shandong Luneng Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd, Shandong Luneng Intelligence Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201811457825.0A priority Critical patent/CN109559310B/zh
Publication of CN109559310A publication Critical patent/CN109559310A/zh
Application granted granted Critical
Publication of CN109559310B publication Critical patent/CN109559310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性检测的巡检图像质量评价方法及系统,对于一幅待评测巡检图像,本发明通过一种基于全局和局部相结合的显著性检测算法对原始的巡检图像进行预处理,得到巡检图像的显著图。基于显著图采用基于边缘描述的算法计算得到刻画图像模糊度的两个指标,根据模糊度指标得出整幅图像的质量评分。另外,基于深度学习的卷积神经网络算法采用分块评测策略计算得到该图像另一个的质量评分结果。最后采用加权融合策略将两种算法的评测结果综合处理得出该图像质量的最终得分。

Description

基于显著性检测的输变电巡检图像质量评价方法及系统
技术领域
本发明涉及一种基于显著性检测的输变电巡检图像质量评价方法及系统。
背景技术
随着计算机技术水平的提升及近年来深度学习技术的突破发展,人工智能技术风靡全球,被世界上越来越多的国家所重视。国家电网公司科技部组织编写的《国家电网公司2030年中长期科技发展规划》中也将“行业领域融合渗透的人工智能技术”列入基础和共性技术领域中的重点任务之一,明确提出“研发具备推理、感知、自我训练学习能力的人机交互智能系统,在电网运检和客服领域推广应用,实现80%以上的电网运检缺陷自动智能识别,90%以上客户问题智能响应”。
为了提高输变电领域巡检的自动化和智能化水平,以无人机、机器人等为载体的一系列自动巡检手段逐步替代人工巡检方式成为电网运检的主要方式,从而降低了巡检人员的劳动强度,提高了巡检作业的效率。数字图像作为电力设备缺陷识别信息的主要来源之一,蕴含着大量有价值的信息。目前通过智能手段采集到的巡检图像中,一些电力设备或微小器件在图像中的分辨率相对较低,图像的背景十分复杂,尤其是无人机拍摄的图像经常包含森林、山川、田地、房屋、道路等不同的自然景物。另外,光照的影响、目标相对运动的复杂性和随机性等也将影响采集巡检图像的质量。面对海量的输变电巡检图像,亟待需要一种有效的图像质量评价算法,满足巡检人员对图像质量的各种要求,尽可能的改进和提高图像质量。
变电站巡检图像与输电线路巡检线路具有不同的人眼关注区域和背景信息,现有的图像质量评价算法多为图像整体的质量评分,只考虑了图像的自然统计特征信息,忽略了人眼观察图像中视觉关注区域。显著性检测方法可以很好的体现人眼视觉关注区域,但现有的显著性检测算法大多为全局性检测算法,忽略了图像局部纹理结构对比度的信息。另外,输变电巡检图像的质量评价也不能完全依靠显著性检测的前景区域,背景中的相关信息同样也是巡检人员的关注区域,例如输电线路巡检图像中线路走廊的环境信息也是巡检人员观测的目标区域。因此针对输变电巡检图像需要一种综合性评价算法,得到一个与电力巡检人员人眼主观感受相一致的图像质量评价指标。
发明内容
本发明为了解决上述问题,提出了一种基于显著性检测的输变电巡检图像质量评价方法及系统,本发明特别针对输变电巡检图像的特点,利用全局和局部相结合的显著性检测对巡检图像进行预处理,对处理后的图像进行不同过程的质量评价,融合不同过程的评价结果,最终得到综合评价结果,保证质量评价的综合性、准确性。
为了实现上述目的,本发明采用如下技术方案:
一种基于显著性检测的输变电巡检图像质量评价方法,包括以下步骤:
分别利用局部和全局对比度显著性检测算法得到巡检图像的显著图,融合两者,得到最终的显著图,利用基于图像边缘特征的图像评价算法对得到的显著图进行图像质量评价,得到第一质量评价值;
利用基于深度学习的卷积神经网络模型,采用分块评测策略的图像质量评价算法,对原始巡检图像进行质量评价值,得到第二质量评价值;
对第一质量评价值和第二质量评价值按照巡检设备的种类不同,分别赋予权重参数,至少融合第一质量评价值和第二质量评价值计算得到巡检图像的最终图像质量评价值。
进一步的,基于全局和局部相结合的显著性检测算法分别对原始的巡检图像进行预处理,并将两者得到的显著图进行点乘,得到巡检图像的显著图。
更进一步的,具体过程包括:
(1-1)将每幅巡检图像,由RGB颜色空间转化为CIE LAB颜色空间,以像素点(x,y)为中心,取预定大小的区域R1,计算区域R1内每个像素点的颜色、亮度特征,进而计算得到像素点(x,y)为中心所在区域R1的显著性表示特征;
(1-2)依据步骤(1-1)分别计算以距离像素点(x,y)的各坐标值相同设定距离的像素点为中心点的区域R2、R3、R4、R5的显著性表示特征;
(1-3)分别计算区域R1与R2、R3、R4、R5显著性特征的欧式距离,根据欧氏距离的平均值得到像素点(x,y)的显著值SL(x,y);
(1-4)按步骤(1-1)-(1-3)计算图像中每个像素点的显著值,得到基于局部对比度的显著性图像SL
(1-5)采用基于全局对比度的显著性区域检测算法计算得到显著图SG
(1-6)根据局部显著图SL和全局显著图SG计算得到巡检图像最终的显著性值SF
进一步的,基于显著图采用基于边缘描述的算法计算得到刻画图像模糊度的两个指标,根据模糊度指标得出整幅图像的第一质量评价值。
更进一步的,具体包括:
(2-1)通过计算得到的变电站巡检显著图像分辨率为M×N,将无人机拍摄的输电线路图像通过线性插值降采样为分辨率为M×N的图像,图像中的某一像素点f(x,y),其中x∈[1,M],y∈[1,N],计算该像素点垂直方向的绝对灰度差,进而计算整幅图像的灰度差平均值;
(2-2)若像素点灰度差的值大于平均值,则定义为边缘候选Ch(x,y),如果像素点Ch(x,y)值大于垂直方向相邻像素点{Ch(x,y-1),Ch(x,y+1)},则该像素点(x,y)定义为边缘点,对每一个边缘点按下面公式计算该点的垂直与水平模糊度;
(2-3)将像素点(x,y)的垂直与水平模糊度的最大值与设定的阈值进行比较,如果所述最大值大于设定的阈值,则判断是模糊点,该点的模糊度值为水平方向模糊度与垂直方向模糊度中的最大值;
(2-4)重复上述步骤,得到整幅图像的平均模糊值和模糊度,进而计算得到该显著图的评价参数;
(2-4)利用多幅图像的评价参数与人工主观评分结果进行拟合,得到评价参数与评分结果的拟合关系,对于一幅待评分图像,利用该拟合关系计算该图像的评价参数,得到该图像的第一质量评价值。
进一步的,第二质量评价值的计算过程包括:
(3-1)对于变电站巡检机器人拍摄的原始图像,每幅图像选择若干个互不重叠、相同大小的图像块,每个图像块进行归一化,利用归一化后的图像块作为训练样本图像,训练标签值为评价人员对整幅图像的主观质量评价分数;
(3-2)构建卷积神经网络;
(3-3)利用训练样本和对应的分数标签,训练得到用于图像质量评价的卷积神经网络模型;
(3-4)对于一幅待评价的变电站巡检图像,按照(3-1)分块策略进行分块并归一化得到若干图像块,对每一个图像块用步骤(3-3)训练的卷积神经网络模型进行质量评价,对这若干图像块的质量评价分数取平均得到该图像最终的第二质量评价值。
进一步的,对于无人拍摄的高分辨率图像,第二质量评价值的计算过程和变电站巡检机器人拍摄的原始图像的处理过程一致,但图像块的划分大小大于变电站巡检机器人拍摄的原始图像的图像块的大小。
进一步的,针对无人机搭载的单反相机拍摄的高分辨率图像,设置融合参数,使得第一质量评价值的影响因子小于第二质量评价值的影响因子,计算得到无人机采集的巡检图像质量评价结果;
针对变电站巡检机器人搭载的网络相机拍摄的图像,设置融合参数,使得第一质量评价值的影响因子等于第二质量评价值的影响因子,计算得到机器人采集的巡检图像质量评价结果。
上述做法的工作原理为:
变电站巡检图像为网络相机拍摄的图像,分辨率在200万左右,无人机图像为机载相机拍摄的高清图像,分辨率达到2000万以上。第二种质量评价算法(基于全卷积神经网络的评价)对高分辨图像评分更接近于人眼主观感觉,因此对于无人机巡检图像增加第二种质量评价得分的权重。无人机拍摄的图像分辨率太大,采用分块策略进行质量评价时如果按变电站巡检图像的分块大小则分块太多,增加了计算的开销。变电站巡检图像的背景多为天空,背景比较简单,经过显著性检测可以有效滤除背景信息干扰,无人机拍摄图像背景有田地、房屋、山川等,背景比较复杂,显著性检测有时不能完全滤除背景信息的干扰,因此无人机图像评价时不能过多依赖显著性图的质量评价结果,相应减少了第一种质量评价算法的权重。通过上述的设置,能够特别根据输变电巡检图像采集设备的特点,以及配套采集的图像的特点进行有根据、有针对性的融合,即保证了评价结果的综合性、正确性,又减少了处理的过程、降低了处理干扰因素的困难度。
相应的,还提供一种基于显著性检测的输变电巡检图像质量评价系统,运行于处理器或者存储器上,被配置为执行以下指令:
分别利用局部和全局对比度显著性检测算法得到巡检图像的显著图,融合两者,得到最终的显著图,利用基于图像边缘特征的图像评价算法对得到的显著图进行图像质量评价,得到第一质量评价值;
利用基于深度学习的卷积神经网络模型,采用分块评测策略的图像质量评价算法,对原始巡检图像进行质量评价值,得到第二质量评价值;
对第一质量评价值和第二质量评价值按照巡检设备的种类不同,分别赋予权重参数,至少融合第一质量评价值和第二质量评价值计算得到巡检图像的最终图像质量评价值。
与现有技术相比,本发明的有益效果为:
(1)本发明提出了一种基于全局和局部相结合的显著性检测方法,可以有效的将巡检图像中的设备区域与背景相分离;
(2)针对无人机、机器人不同相机拍摄的图像特征,提出了一种基于分数层融合的图像质量评价算法,得到了与人眼主观评测相近的图像评价结果,通过不同采集设备分别设置不同的融合参数,能够特别根据输变电巡检图像采集设备的特点,以及配套采集的图像的特点进行有根据、有针对性的融合,即保证了评价结果的综合性、正确性,又减少了处理的过程、降低了处理干扰因素的困难度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1(a)和图1(b)为电力设备原始检测结果和显著性检测结果;
图2为本实施例提供的巡检图像质量评价流程图;;
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中,术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本发明各部件或元件结构关系而确定的关系词,并非特指本发明中任一部件或元件,不能理解为对本发明的限制。
本发明中,术语如“固接”、“相连”、“连接”等应做广义理解,表示可以是固定连接,也可以是一体地连接或可拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员,可以根据具体情况确定上述术语在本发明中的具体含义,不能理解为对本发明的限制。
如图2所示,一种基于显著性检测的输变电巡检图像质量评价方法,包括以下步骤:
(1)采用局部对比度显著性检测算法得到巡检图像的显著图SL,采用全局对比度显著性检测算法计算得到巡检图像的显著图SG,利用下面的公式计算得到最终的显著图SF:
SF=SL×SG
公式中“×”为矩阵点乘运算。
(2)针对巡检图像的显著图,利用传统的基于图像边缘特征的图像评价算法,计算得到图像的质量评价值vul1
(3)针对采集的原始巡检图像,利用基于深度学习的CNN模型,采用分块评测策略的图像质量评价算法,计算得到图像的质量评价值vul2
(4)针对无人机和巡检机器人拍摄的图像,设定不同的参数α和β,按照下面加权融合公式计算得到巡检图像的最终图像质量评价值vul。
vul=αvul1+βvul2
步骤(1)中,具体步骤包括:
(1-1)对于巡检图像I,将图像I由RGB颜色空间转化为CIE LAB颜色空间,得到图像ILAB。以像素点(x,y)为中心,取大小5×5的区域R1,计算区域R1内每个像素点的颜色、亮度特征V,根据下面公式,计算得到像素点(x,y)为中心所在区域R1的显著性表示特征VR1
(1-2)依据步骤(1-1)分别计算以像素点(x-7,y-7)、(x+7,y-7)、(x-7,y+7)、(x+7,x+7)为中心点的区域R2、R3、R4、R5的显著性表示特征VR2、VR3、VR4、VR5
(1-3)分别计算区域R1与R2、R3、R4、R5显著性特征的欧式距离
根据下面公式计算得到像素点(x,y)的显著值SL(x,y)
(1-4)按上述步骤计算图像中每个像素点的显著值,得到基于局部对比度的显著性图像SL
(1-5)采用基于全局对比度的显著性区域检测算法计算得到显著图SG
(1-6)根据局部显著图SL和全局显著图SG计算得到巡检图像最终的显著性值SF
如图1(a)和图1(b)所示,本实施例提供的方法具有很好的处理效果。
步骤(2)中,具体步骤包括:
通过步骤(1)计算得到的变电站巡检显著图像分辨率为M×N,其中M=1920,N=1080。将无人机拍摄的输电线路图像通过线性插值降采样为分辨率为1920×1080的图像。图像中的某一像素点f(x,y),其中x∈[1,1920],y∈[1,1080],该像素点垂直方向的绝对灰度差通过下面公式计算:
Dh=|f(x,y+1)-f(x,y-1)|
然后按下面公式计算整幅图像的灰度差平均值:
若像素点Dh的值大于Dh-mean,则定义为边缘候选Ch(x,y)。如果像素点Ch(x,y)值大于垂直方向相邻像素点{Ch(x,y-1),Ch(x,y+1)},则该像素点(x,y)定义为边缘点。边缘点Eh(x,y)通过下面公式计算求得:
对每一个边缘点按下面公式计算该点的模糊度:
BRh(x,y)即为像素点(x,y)的垂直方向模糊度。
按以上类似的步骤,计算得到像素点(x,y)的水平方向模糊度BRv(x,y)。
然后根据像素点(x,y)的BRh(x,y)和BRv(x,y)的最大值判断是否是模糊点,即:
其中ThB是设定的阈值,此处取值为3.5。若一个像素点的水平模糊度或垂直模糊度大于阈值ThB,则认为该点是模糊点,该点的模糊度值为水平方向模糊度与垂直方向模糊度中的最大值,最终整幅图像的平均模糊值和模糊度为:
这里,Sumblur表示图像中模糊点的模糊度值总和,Blurcnt表示图像中模糊点的总个数。根据下面公式计算得到该显著图的评价参数vulblur
根据5000幅图像的评价参数与人工主观评分结果(0分~10分)进行拟合,得到评价参数与评分结果的拟合关系,对于一幅待评分图像,计算该图像的评价参数,然后带入拟合公式,即得该图像的评分结果vul1
步骤(3)中,具体步骤包括:
(3-1)对于3000幅变电站巡检机器人拍摄的原始图像,每幅图像选择50个互不重叠、大小为100×100图像块,每个图像块按下面公式进行归一化操作:
I′(x,y)代表归一化后的颜色值,I(x,y)代表图像原始颜色值,μ(x,y)代表该图像块颜色值均值,σ(x,y)为该图像块的颜色值方差。利用归一化后的图像块作为训练样本图像,训练标签值为变电站工作人员对整幅图像的主观质量评价分数(0分~10分,分数值向下取整)。
(3-2)设计卷积神经网络,这里CNN模型采用三个卷积层、三个池化层和四个全连接层组成,卷积层与池化层之间、全连接层之间均采用ReLU函数作为激活函数。CNN的第1个卷积层的卷积核大小为5×5,卷积核个数为20;第2个卷积层卷积核大小与第1层相同,卷积核个数为40;第3个卷积层卷积核大小与前两个卷基层一致,卷积核个数为80。每个卷积层后面连接一个窗口大小为2×2的池化层。4个全连接层的维数分别是1200、400、200和100。最后一层为输出层,维数为11。
(3-3)利用(3-1)的150000个训练样本和对应的分数标签,训练得到用于图像质量评价的CNN模型。
(3-4)对于一幅待评价的变电站巡检图像,按照(3-1)分块策略进行分块并归一化得到50个图像块,对每一个图像块用步骤(3-3)训练的CNN模型进行质量评价,对这50个图像的质量评价分数取平均得到该图像最终的质量评价得分vul2
(3-5)对于2000幅无人拍摄的高分辨率图像,每幅图像选择50个互不重叠大小为200×200的图像块,然后按与变电站巡检图像相同的图像评价策略得到无人机巡检图像的质量评价得分vul2
步骤(4)中,针对无人机搭载的单反相机拍摄的高分辨率图像,设置融合参数α=0.25、β=0.75,计算得到无人机采集的巡检图像质量评价结果vul;针对变电站巡检机器人搭载的网络相机拍摄的1080P图像,设置融合参数α=0.5、β=0.5,计算得到机器人采集的巡检图像质量评价结果vul。
综上,本实施例提供了一种基于显著性检测的巡检图像质量评价方法。对于一幅待评测巡检图像,本发明通过一种基于全局和局部相结合的显著性检测算法对原始的巡检图像进行预处理,得到巡检图像的显著图。基于显著图采用基于边缘描述的算法计算得到刻画图像模糊度的两个指标,根据模糊度指标得出整幅图像的质量评分。另外,基于深度学习的卷积神经网络(CNN)算法采用分块评测策略计算得到该图像另一个的质量评分结果。最后采用加权融合策略将两种算法的评测结果综合处理得出该图像质量的最终得分。
相应的,本实施例还提供一种基于显著性检测的输变电巡检图像质量评价系统,运行于处理器上,被配置为执行以下指令:
(1)采用局部对比度显著性检测算法得到巡检图像的显著图SL,采用全局对比度显著性检测算法计算得到巡检图像的显著图SG,利用下面的公式计算得到最终的显著图SF:
SF=SL×SG
公式中“×”为矩阵点乘运算。
(2)针对巡检图像的显著图,利用传统的基于图像边缘特征的图像评价算法,计算得到图像的质量评价值vul1
(3)针对采集的原始巡检图像,利用基于深度学习的CNN模型,采用分块评测策略的图像质量评价算法,计算得到图像的质量评价值vul2
(4)针对无人机和巡检机器人拍摄的图像,设定不同的参数α和β,按照下面加权融合公式计算得到巡检图像的最终图像质量评价值vul。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:包括以下步骤:
分别利用局部和全局对比度显著性检测算法得到巡检图像的显著图,融合两者,得到最终的显著图,利用基于图像边缘特征的图像评价算法对得到的显著图进行图像质量评价,得到第一质量评价值;
利用基于深度学习的卷积神经网络模型,采用分块评测策略的图像质量评价算法,对原始巡检图像进行质量评价值,得到第二质量评价值;
对第一质量评价值和第二质量评价值按照巡检设备的种类不同,分别赋予权重参数,至少融合第一质量评价值和第二质量评价值计算得到巡检图像的最终图像质量评价值。
2.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:基于全局和局部相结合的显著性检测算法分别对原始的巡检图像进行预处理,并将两者得到的显著图进行点乘,得到巡检图像的显著图。
3.如权利要求2所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:具体过程包括:
(1-1)将每幅巡检图像,由RGB颜色空间转化为CIE LAB颜色空间,以像素点(x,y)为中心,取预定大小的区域R1,计算区域R1内每个像素点的颜色、亮度特征,进而计算得到像素点(x,y)为中心所在区域R1的显著性表示特征;
(1-2)依据步骤(1-1)分别计算以距离像素点(x,y)的各坐标值相同设定距离的像素点为中心点的区域R2、R3、R4、R5的显著性表示特征;
(1-3)分别计算区域R1与R2、R3、R4、R5显著性特征的欧式距离,根据欧氏距离的平均值得到像素点(x,y)的显著值SL(x,y);
(1-4)按步骤(1-1)-(1-3)计算图像中每个像素点的显著值,得到基于局部对比度的显著性图像SL
(1-5)采用基于全局对比度的显著性区域检测算法计算得到显著图SG
(1-6)根据局部显著图SL和全局显著图SG计算得到巡检图像最终的显著性值SF
4.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:基于显著图采用基于边缘描述的算法计算得到刻画图像模糊度的两个指标,根据模糊度指标得出整幅图像的第一质量评价值。
5.如权利要求4所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:具体包括:
(2-1)通过计算得到的变电站巡检显著图像分辨率为M×N,将无人机拍摄的输电线路图像通过线性插值降采样为分辨率为M×N的图像,图像中的某一像素点f(x,y),其中x∈[1,M],y∈[1,N],计算该像素点垂直方向的绝对灰度差,进而计算整幅图像的灰度差平均值;
(2-2)若像素点灰度差的值大于平均值,则定义为边缘候选Ch(x,y),如果像素点Ch(x,y)值大于垂直方向相邻像素点{Ch(x,y-1),Ch(x,y+1)},则该像素点(x,y)定义为边缘点,对每一个边缘点按下面公式计算该点的垂直与水平模糊度;
(2-3)将像素点(x,y)的垂直与水平模糊度的最大值与设定的阈值进行比较,如果所述最大值大于设定的阈值,则为判断是模糊点,该点的模糊度值为水平方向模糊度与垂直方向模糊度中的最大值;
(2-4)重复上述步骤,得到整幅图像的平均模糊值和模糊度,进而计算得到该显著图的评价参数;
(2-4)利用多幅图像的评价参数与人工主观评分结果进行拟合,得到评价参数与评分结果的拟合关系,对于一幅待评分图像,计算该图像的评价参数,继续拟合,得到该图像的第一质量评价值。
6.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:第二质量评价值的计算过程包括:
(3-1)对于变电站巡检机器人拍摄的原始图像,每幅图像选择若干个互不重叠、相同大小的图像块,每个图像块进行归一化,利用归一化后的图像块作为训练样本图像,训练标签值为评价人员对整幅图像的主观质量评价分数;
(3-2)构建卷积神经网络;
(3-3)利用训练样本和对应的分数标签,训练得到用于图像质量评价的卷积神经网络模型;
(3-4)对于一幅待评价的变电站巡检图像,按照(3-1)分块策略进行分块并归一化得到若干图像块,对每一个图像块用步骤(3-3)训练的卷积神经网络模型进行质量评价,对这若干图像的质量评价分数取平均得到该图像最终的第二质量评价值。
7.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:对于无人拍摄的高分辨率图像,第二质量评价值的计算过程和变电站巡检机器人拍摄的原始图像的处理过程一致,但图像块的划分大小大于变电站巡检机器人拍摄的原始图像的图像块的大小。
8.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:针对无人机搭载的单反相机拍摄的高分辨率图像,设置融合参数,使得第一质量评价值的影响因子小于第二质量评价值的影响因子,计算得到无人机采集的巡检图像质量评价结果。
9.如权利要求1所述的一种基于显著性检测的输变电巡检图像质量评价方法,其特征是:针对变电站巡检机器人搭载的网络相机拍摄的图像,设置融合参数,使得第一质量评价值的影响因子等于第二质量评价值的影响因子,计算得到机器人采集的巡检图像质量评价结果。
10.一种基于显著性检测的输变电巡检图像质量评价系统,其特征是:运行于处理器或者存储器上,被配置为执行以下指令:
分别利用局部和全局对比度显著性检测算法得到巡检图像的显著图,融合两者,得到最终的显著图,利用基于图像边缘特征的图像评价算法对得到的显著图进行图像质量评价,得到第一质量评价值;
利用基于深度学习的卷积神经网络模型,采用分块评测策略的图像质量评价算法,对原始巡检图像进行质量评价值,得到第二质量评价值;
对第一质量评价值和第二质量评价值按照巡检设备的种类不同,分别赋予权重参数,至少融合第一质量评价值和第二质量评价值计算得到巡检图像的最终图像质量评价值。
CN201811457825.0A 2018-11-30 2018-11-30 基于显著性检测的输变电巡检图像质量评价方法及系统 Active CN109559310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811457825.0A CN109559310B (zh) 2018-11-30 2018-11-30 基于显著性检测的输变电巡检图像质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811457825.0A CN109559310B (zh) 2018-11-30 2018-11-30 基于显著性检测的输变电巡检图像质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN109559310A true CN109559310A (zh) 2019-04-02
CN109559310B CN109559310B (zh) 2020-11-24

Family

ID=65868333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811457825.0A Active CN109559310B (zh) 2018-11-30 2018-11-30 基于显著性检测的输变电巡检图像质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN109559310B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163855A (zh) * 2019-05-17 2019-08-23 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110400335A (zh) * 2019-07-25 2019-11-01 广西科技大学 基于深度学习的纹理图像质量估计方法
CN111027589A (zh) * 2019-11-07 2020-04-17 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价系统及方法
CN111047575A (zh) * 2019-12-12 2020-04-21 青海奥珞威信息科技有限公司 无人机电力巡线影像质量盲评估方法
CN112215827A (zh) * 2020-10-20 2021-01-12 中广核核电运营有限公司 电迁移区域检测方法、装置、计算机设备和存储介质
CN112434600A (zh) * 2020-11-23 2021-03-02 国网安徽省电力有限公司淮南供电公司 一种无人机巡检方法及系统
CN112581461A (zh) * 2020-12-24 2021-03-30 深圳大学 基于生成网络的无参考图像质量评价方法及装置
CN112700425A (zh) * 2021-01-07 2021-04-23 云南电网有限责任公司电力科学研究院 一种用于电力设备x射线图像质量的判定方法
CN113640830A (zh) * 2021-08-18 2021-11-12 上海同陆云交通科技有限公司 一种无人机桥底检测系统
CN113867405A (zh) * 2021-11-09 2021-12-31 广东电网有限责任公司江门供电局 一种基于5g网络回传的输电线路无人机巡检方法及系统
CN113936197A (zh) * 2021-09-30 2022-01-14 中国人民解放军国防科技大学 一种基于视觉显著性对图像进行目标检测的方法和系统
CN113988957A (zh) * 2021-12-27 2022-01-28 苏州优鲜信网络生活服务科技有限公司 基于元素识别的图像自动化评分方法与评分系统
CN117351001A (zh) * 2023-11-16 2024-01-05 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117806496A (zh) * 2023-12-29 2024-04-02 安徽国智数据技术有限公司 基于虚拟现实技术的综合管廊动态虚拟巡检方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911716A (zh) * 2008-01-18 2010-12-08 汤姆森许可贸易公司 评估感知质量的方法
US20140363085A1 (en) * 2007-05-07 2014-12-11 The Penn State Research Foundation On-site composition and aesthetics feedback through exemplars for photographers
CN105205504A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种基于数据驱动的图像关注区域质量评价指标学习方法
CN106651829A (zh) * 2016-09-23 2017-05-10 中国传媒大学 一种基于能量和纹理分析的无参考图像客观质量评价方法
WO2017144881A1 (en) * 2016-02-23 2017-08-31 Magic Pony Technology Limited Training end-to-end video processes
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN108665460A (zh) * 2018-05-23 2018-10-16 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140363085A1 (en) * 2007-05-07 2014-12-11 The Penn State Research Foundation On-site composition and aesthetics feedback through exemplars for photographers
CN101911716A (zh) * 2008-01-18 2010-12-08 汤姆森许可贸易公司 评估感知质量的方法
CN105205504A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种基于数据驱动的图像关注区域质量评价指标学习方法
WO2017144881A1 (en) * 2016-02-23 2017-08-31 Magic Pony Technology Limited Training end-to-end video processes
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN106651829A (zh) * 2016-09-23 2017-05-10 中国传媒大学 一种基于能量和纹理分析的无参考图像客观质量评价方法
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN108665460A (zh) * 2018-05-23 2018-10-16 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163855A (zh) * 2019-05-17 2019-08-23 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN110163855B (zh) * 2019-05-17 2021-01-01 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN110278415A (zh) * 2019-07-02 2019-09-24 浙江大学 一种网络摄像机视频质量提升方法
CN110278415B (zh) * 2019-07-02 2020-04-28 浙江大学 一种网络摄像机视频质量提升方法
CN110400335A (zh) * 2019-07-25 2019-11-01 广西科技大学 基于深度学习的纹理图像质量估计方法
CN111027589A (zh) * 2019-11-07 2020-04-17 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价系统及方法
CN111047575A (zh) * 2019-12-12 2020-04-21 青海奥珞威信息科技有限公司 无人机电力巡线影像质量盲评估方法
CN112215827A (zh) * 2020-10-20 2021-01-12 中广核核电运营有限公司 电迁移区域检测方法、装置、计算机设备和存储介质
CN112434600A (zh) * 2020-11-23 2021-03-02 国网安徽省电力有限公司淮南供电公司 一种无人机巡检方法及系统
CN112581461A (zh) * 2020-12-24 2021-03-30 深圳大学 基于生成网络的无参考图像质量评价方法及装置
CN112700425A (zh) * 2021-01-07 2021-04-23 云南电网有限责任公司电力科学研究院 一种用于电力设备x射线图像质量的判定方法
CN112700425B (zh) * 2021-01-07 2024-04-26 云南电网有限责任公司电力科学研究院 一种用于电力设备x射线图像质量的判定方法
CN113640830A (zh) * 2021-08-18 2021-11-12 上海同陆云交通科技有限公司 一种无人机桥底检测系统
CN113936197A (zh) * 2021-09-30 2022-01-14 中国人民解放军国防科技大学 一种基于视觉显著性对图像进行目标检测的方法和系统
CN113867405A (zh) * 2021-11-09 2021-12-31 广东电网有限责任公司江门供电局 一种基于5g网络回传的输电线路无人机巡检方法及系统
CN113988957A (zh) * 2021-12-27 2022-01-28 苏州优鲜信网络生活服务科技有限公司 基于元素识别的图像自动化评分方法与评分系统
CN113988957B (zh) * 2021-12-27 2022-03-22 苏州优鲜信网络生活服务科技有限公司 基于元素识别的图像自动化评分方法与评分系统
CN117351001A (zh) * 2023-11-16 2024-01-05 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117351001B (zh) * 2023-11-16 2024-05-28 肇庆市大正铝业有限公司 一种再生铝合金模板表面缺陷识别方法
CN117806496A (zh) * 2023-12-29 2024-04-02 安徽国智数据技术有限公司 基于虚拟现实技术的综合管廊动态虚拟巡检方法及系统
CN117806496B (zh) * 2023-12-29 2024-05-28 安徽国智数据技术有限公司 基于虚拟现实技术的综合管廊动态虚拟巡检方法及系统

Also Published As

Publication number Publication date
CN109559310B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN109559310A (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN110458077A (zh) 一种车辆颜色识别方法及系统
CN109584248A (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN108010049A (zh) 使用全卷积神经网络分割定格动画中人手部区域的方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN104881879B (zh) 一种基于暗通道先验的遥感图像雾霾仿真方法
CN111126325A (zh) 一种基于视频的智能人员安防识别统计方法
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN101493980A (zh) 一种基于多特征融合的快速视频火焰探测方法
CN109523551B (zh) 一种获取机器人行走姿态的方法及系统
CN108596102A (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN107392890A (zh) 一种fpc铜线表面氧化缺陷检测方法及其检测系统
CN108389181A (zh) 一种基于深度学习和法向图的零件缺陷检测和定位方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN110307903B (zh) 一种家禽特定部位无接触温度动态测量的方法
CN109117717A (zh) 一种城市行人检测方法
CN112396635A (zh) 一种基于多设备的复杂环境下多目标检测方法
CN103605171A (zh) 全天空成像仪及基于全天空成像仪的云层特性分析方法
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
Saini et al. DroneRTEF: development of a novel adaptive framework for railroad track extraction in drone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Wang Yue Central Road Ji'nan City, Shandong province 250003 City No. 2000

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: National Network Intelligent Technology Co., Ltd.

Applicant after: State Grid Corporation of China

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250003 City No. 2000

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant before: State Grid Corporation of China

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20201030

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant after: National Network Intelligent Technology Co.,Ltd.

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250003 City No. 2000

Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Applicant before: National Network Intelligent Technology Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant