CN112396572A - 基于特征增强和高斯金字塔的复合绝缘子双光融合方法 - Google Patents

基于特征增强和高斯金字塔的复合绝缘子双光融合方法 Download PDF

Info

Publication number
CN112396572A
CN112396572A CN202011293993.8A CN202011293993A CN112396572A CN 112396572 A CN112396572 A CN 112396572A CN 202011293993 A CN202011293993 A CN 202011293993A CN 112396572 A CN112396572 A CN 112396572A
Authority
CN
China
Prior art keywords
image
composite insulator
visible light
gray level
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011293993.8A
Other languages
English (en)
Other versions
CN112396572B (zh
Inventor
梅冰笑
李特
刘黎
王振国
王海涛
赵淳
梁文勇
范鹏
刘辉
周自强
周盛
徐驰
洪骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan NARI Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Wuhan NARI Ltd
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan NARI Ltd, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Wuhan NARI Ltd
Priority to CN202011293993.8A priority Critical patent/CN112396572B/zh
Publication of CN112396572A publication Critical patent/CN112396572A/zh
Application granted granted Critical
Publication of CN112396572B publication Critical patent/CN112396572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明所设计的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，包括如下步骤：步骤1、图像预处理；步骤2、特征识别；步骤3、特征匹配和几何变换；步骤4、图像融合。本发明解决了现有双光融合方法中配准速度低，配准效果差，图像融合效果不理想的问题，满足实际需求。

Description

基于特征增强和高斯金字塔的复合绝缘子双光融合方法
技术领域
本发明涉及图像融合技术领域，具体地指一种基于特征增强和高斯金字塔的复合绝缘子双光融合方法。
技术背景
随着电力传输的要求不断提高，输电等级越来越高，高压/超高压巡检维护作业对于电网系统的安全性、稳定性和效率提升的作用尤为重要。输电线路所处区域多为自然环境恶劣、交通闭塞的野外，电力线路在自然环境中长期受到机械拉力、雷击、温度变化、雨雪天气的影响，电力线塔杆上的复合绝缘子在自然环境中也容易出现损坏、老化、腐蚀等现象，均要求对电力线进行巡检。传统的人工巡检方式采用目测，效率低下、劳动强度大、巡检精度低等问题，而且在部分线路巡检任务中，人员无法达到，极大的限制了人工巡检的效率和有效性。
无人机搭载可见光和红外装置采集复合绝缘子可见光图像数据和红外图像数据是一种替代传统人工巡检复合绝缘子的新型巡检方式。通过对复合绝缘子可见光图像数据和红外图像数据进行图像融合处理，可以更高效率的发现复合绝缘子存在的隐患和缺陷。
但目前，由于无人机搭载可见光和红外装置采集的复合绝缘子图像背景颜色空间完全不同，图像数据分辨率差距比较大(可见光像素>2000万，红外20～30万)，直接采用传统像素配准方式，其配准速度和配准效果均不理想，同时由于绝缘子本身存在的角点较少，而电力杆塔结构角点较多，且三角形结构类似，因此容易导致特征识别错误，或者无法识别，传统的图像融合方法效果十分不理想。为此，需要设计一种新的技术方案给予解决。
发明内容
本发明的目的就是要提供一种基于特征增强和高斯金字塔的复合绝缘子双光融合方法，本发明旨在解决现有双光融合方法中配准速度低，配准效果差，图像融合效果不理想的问题，满足实际使用需求。
为实现此目的，本发明所设计的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于，它包括如下步骤：
步骤1：对复合绝缘子的红外光和可见光图像进行灰度处理和梯度直方均衡化处理，得到复合绝缘子的红外光和可见光的灰度图像；
步骤2：对复合绝缘子的红外光和可见光的灰度图像利用基于特征增强和高斯金字塔的SIFT(Scale-invariant feature transform，尺度不变特征变换)算法分别在红外光和可见光图像上查找复合绝缘子图像特征点，获取所有复合绝缘子图像特征点梯度信息组成的图像特征信息，根据所有复合绝缘子图像特征点梯度信息组成的图像特征信息确定坐标变换时使用的单应性矩阵；
步骤3：计算复合绝缘子的红外光和可见光的灰度图像中两个对应复合绝缘子图像特征点的距离，利用SIFT算法分别将复合绝缘子的红外光和可见光的灰度图像中对应的复合绝缘子图像特征点进行匹配，确定对应的复合绝缘子图像特征配对点，根据两个对应复合绝缘子图像特征点的距离将复合绝缘子图像特征配对点通过单应性矩阵转换到红外光图像坐标下，并以复合绝缘子图像特征配对点为基准采用基于间隔分块的配准方法，将复合绝缘子的可见光灰度图像配准到复合绝缘子的红外光灰度图像中；
步骤4：采用基于拉普拉斯算子的高斯金字塔图像融合算法获取可见光灰度图像与红外光灰度图像融合后的残差图像，并调整残差图像中可见光与红外光的融合比例，得到最后的融合图像。
本发明具有以下有益效果：
1、由于绝缘子本身存在的角点较少，而电力杆塔结构角点较多，且三角形结构类似，因此容易导致特征识别错误，或者无法识别，基于此，本发明对SIFT算法进行了改进，在基于传统灰度高斯金字塔的基础上，添加了梯度高斯金字塔和方向高斯金字塔，使得图像特征识别的敏感性增强，对于质量不好的图像也能够找到足够多的特征点，此外，由于做了三个维度的金字塔，使得算法能够获取较深的图像特征信息。
2、传统的特征匹配算法通常采用knn或者暴力求解法，对于图像特征的距离进行描述，并根据特正点找到合适的配对，再通过单应性矩阵来获取变换矩阵，由于绝缘子局部区域相似，且杆塔支架对特征提取会造成非常大的影响。本发明采用基于局部特征统计的特征匹配算法，采用基于灰度、梯度和方向统计的局部特征匹配方法，去局部统计特征向量相同的特征点，使得特征匹配的更加准确。
3、由于通常无人机采集的红外图像和可见光图像并不是光学同轴数据，大部分是独立挂载或者物理同轴设备拍摄，采集的图像存在一定的角度差，融合的过程中会产生拉伸的形变，并且由于电力杆塔存在，配准异常以后会导致视觉效果十分差，采用单纯的分块配准方式会在部分分块的边界处产生明显错位现象，基于此，本发明采用本项目采用基于间隔分块的配准方法，配准效果可满足图像融合的要求。
附图说明
图1为本发明的流程图；
图2为可见光图像灰度化处理示意图；
图3为红外图像灰度化处理示意图；
图4为基于特征增强和高斯金字塔的SIFT算法的特征识别效果示意图；
图5为基于局部特征统计的特征匹配算法的特征匹配效果示意图；
图6为几何变换间隔分块配准示意图及效果图；
图7为高斯金字塔算法模型图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
本发明是所涉及的一种基于特征增强和高斯金字塔的复合绝缘子双光融合方法，如图1所示，它包括如下步骤：
步骤1：图像预处理，对复合绝缘子的红外光和可见光图像进行灰度处理和梯度直方均衡化处理，得到复合绝缘子的红外光和可见光的灰度图像，效果如图2图3所示；无人机采集的复合绝缘子可见光图像和红外图像背景颜色空间完全不同，为了减少环境因素对配准目标的影响，提升图像的整体清晰度，采用图像灰度归一化的方式进行图像预处理；
步骤2：特征识别，对复合绝缘子的红外光和可见光的灰度图像利用基于特征增强和高斯金字塔的SIFT算法分别在红外光和可见光图像上查找复合绝缘子图像特征点，获取所有复合绝缘子图像特征点梯度信息组成的图像特征信息，根据所有复合绝缘子图像特征点梯度信息组成的图像特征信息确定坐标变换时使用的单应性矩阵，效果如图4所示；所述基于特征增强和高斯金字塔的SIFT算法是对传统的SIFT算法进行了改进，在基于传统灰度高斯金字塔的基础上，添加了梯度高斯金字塔和方向高斯金字塔，使得图像特征识别的敏感性增强，对于质量不好的图像也能够找到足够多的特征点；
步骤3：特征匹配和几何变换，计算复合绝缘子的红外光和可见光的灰度图像中两个对应复合绝缘子图像特征点的距离，利用SIFT算法分别将复合绝缘子的红外光和可见光的灰度图像中对应的复合绝缘子图像特征点进行匹配，确定对应的复合绝缘子图像特征配对点，根据两个对应复合绝缘子图像特征点的距离将复合绝缘子图像特征配对点通过单应性矩阵转换到红外光图像坐标下(将可见光图像投影到红外光图像的像素坐标系下，达到像素点坐标对应相等，为局部透视变换)，效果如图5所示；并以复合绝缘子图像特征配对点为基准采用基于间隔分块的配准方法，将复合绝缘子的可见光灰度图像配准到复合绝缘子的红外光灰度图像中(可见光和红外光图像融合区域，对每块进行透视变换，进行透视变换后，可见光图像可以和红外光图像处在同一个尺度空间，即每个像素点位置对应相等，为全局透视变换)，效果如图6所示；
步骤4：图像融合，采用基于拉普拉斯算子的高斯金字塔图像融合算法获取可见光灰度图像与红外光灰度图像融合后的残差图像，并调整残差图像中可见光与红外光的融合比例(融合后可见光和红外光图像根据原图像占据的像素比，将红外光叠加在可见光图像上的透明度，是最终展现形式，调节比例只是可视化结果的一个参数，如果要红外光显示强可以将红外的比例调高)，得到最后的融合图像，将可见光图像配准到红外光的图像后，进行图像融合，在保留可见光图像的细节后还添加了红外光信息。
上述技术方案的步骤1中，进行灰度处理是将图像放在一个通道上进行特征点的匹配，效果更好。将梯度直方均衡化是对图像细节做更好的处理，对像素点做更均匀的分布，将边缘信息区分开，更好的识别到轮廓、细节信息。
上述技术方案的步骤3中，采用基于局部特征统计的特征匹配算法计算复合绝缘子的红外光和可见光的灰度图像中两个对应复合绝缘子图像特征点的距离。
上述技术方案中，基于局部特征统计的特征匹配算法为汉明距离算法或欧式距离算法。
上述技术方案中，所述复合绝缘子图像特征点为灰度图像中不因光照、仿射变换和噪音改变而变化的图像点，如角点、边缘点、暗区的亮点及亮区的暗点。
上述技术方案的步骤3中所述基于间隔分块的配准方法，是指先将可见光图像粗略配准到红外光图像上，从而减少参与运算的区域，提升速度；然后将可见光图像和红外光图像进行间隔拼接，并使用小图像块交替配准；最后根据配准结果，计算拼接边界的适应程度，再利用全变分方程调整边界，使得图像平滑。
上述技术方案的步骤4中采用基于拉普拉斯算子的高斯金字塔图像融合算法将可见光灰度图像和红外光灰度图像分别分成六层高斯金字塔，并将可见光灰度图像和红外光灰度图的对应层高斯金字塔进行融合，融合后的图像每层高斯金字塔序号逐层递减获取残差图像，如图7所示，这样底层图像会保留较多的细节信息，而顶层图像会有更多全局信息。
本发明适用于通过无人机搭载的可见光和红外装置采集的复合绝缘子可见光图像数据和红外图像数据融合处理。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于，它包括如下步骤：
步骤1：对复合绝缘子的红外光和可见光图像进行灰度处理和梯度直方均衡化处理，得到复合绝缘子的红外光和可见光的灰度图像；
步骤2：对复合绝缘子的红外光和可见光的灰度图像利用基于特征增强和高斯金字塔的SIFT算法分别在红外光和可见光图像上查找复合绝缘子图像特征点，获取所有复合绝缘子图像特征点梯度信息组成的图像特征信息，根据所有复合绝缘子图像特征点梯度信息组成的图像特征信息确定坐标变换时使用的单应性矩阵；
步骤3：计算复合绝缘子的红外光和可见光的灰度图像中两个对应复合绝缘子图像特征点的距离，利用SIFT算法分别将复合绝缘子的红外光和可见光的灰度图像中对应的复合绝缘子图像特征点进行匹配，确定对应的复合绝缘子图像特征配对点，根据两个对应复合绝缘子图像特征点的距离将复合绝缘子图像特征配对点通过单应性矩阵转换到红外光图像坐标下，并以复合绝缘子图像特征配对点为基准采用基于间隔分块的配准方法，将复合绝缘子的可见光灰度图像配准到复合绝缘子的红外光灰度图像中；
步骤4：采用基于拉普拉斯算子的高斯金字塔图像融合算法获取可见光灰度图像与红外光灰度图像融合后的残差图像，并调整残差图像中可见光与红外光的融合比例，得到最后的融合图像。
2.根据权利要求1所述的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于：所述步骤3中，采用基于局部特征统计的特征匹配算法计算复合绝缘子的红外光和可见光的灰度图像中两个对应复合绝缘子图像特征点的距离。
3.根据权利要求2所述的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于：基于局部特征统计的特征匹配算法为汉明距离算法或欧式距离算法。
4.根据权利要求1所述的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于：所述复合绝缘子图像特征点为灰度图像中不因光照、仿射变换和噪音改变而变化的图像点。
5.根据权利要求1所述的基于特征增强和高斯金字塔的复合绝缘子双光融合方法，其特征在于：所述步骤4中采用基于拉普拉斯算子的高斯金字塔图像融合算法将可见光灰度图像和红外光灰度图像分别分成六层高斯金字塔，并将可见光灰度图像和红外光灰度图的对应层高斯金字塔进行融合，融合后的图像每层高斯金字塔序号逐层递减获取残差图像。
CN202011293993.8A 2020-11-18 2020-11-18 基于特征增强和高斯金字塔的复合绝缘子双光融合方法 Active CN112396572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011293993.8A CN112396572B (zh) 2020-11-18 2020-11-18 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011293993.8A CN112396572B (zh) 2020-11-18 2020-11-18 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Publications (2)

Publication Number Publication Date
CN112396572A true CN112396572A (zh) 2021-02-23
CN112396572B CN112396572B (zh) 2022-11-01

Family

ID=74607334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293993.8A Active CN112396572B (zh) 2020-11-18 2020-11-18 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Country Status (1)

Country Link
CN (1) CN112396572B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627511A (zh) * 2021-08-04 2021-11-09 中国科学院科技战略咨询研究院 气候变化对交通业的影响模型训练方法及影响监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109670522A (zh) * 2018-09-26 2019-04-23 天津工业大学 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法
US20200357104A1 (en) * 2018-02-09 2020-11-12 Huawei Technologies Co., Ltd. Image processing method and related device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法
US20200357104A1 (en) * 2018-02-09 2020-11-12 Huawei Technologies Co., Ltd. Image processing method and related device
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109670522A (zh) * 2018-09-26 2019-04-23 天津工业大学 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘晓康等: "基于红外可见光图像配准的电力设备分割算法", 《计算机与现代化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627511A (zh) * 2021-08-04 2021-11-09 中国科学院科技战略咨询研究院 气候变化对交通业的影响模型训练方法及影响监测方法
CN113627511B (zh) * 2021-08-04 2024-02-02 中国科学院科技战略咨询研究院 气候变化对交通业的影响模型训练方法及影响监测方法

Also Published As

Publication number Publication date
CN112396572B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN113744270B (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN109472776B (zh) 一种基于深度显著性的绝缘子检测及自爆识别方法
CN107704844B (zh) 基于无人机双目视差图像的输电线路覆冰厚度辨识方法
CN110264448B (zh) 一种基于机器视觉的绝缘子故障检测方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN111428748A (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN103810462B (zh) 一种基于线状目标的高压输电线检测方法
CN107818303B (zh) 无人机油气管线影像自动对比分析方法、系统及软件存储器
CN110765528A (zh) 一种基于虚拟仿真技术的三维重构变电站实现方法
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
CN110288571B (zh) 一种基于图像处理的高铁接触网绝缘子异常检测方法
CN112561899A (zh) 电力巡检图像识别方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN115937517A (zh) 一种基于多光谱融合的光伏故障自动检测方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN110276747B (zh) 一种基于图像分析的绝缘子故障检测和故障评级方法
CN112396572B (zh) 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN112598777B (zh) 一种基于暗通道先验的雾霾融合方法
CN113963107B (zh) 一种基于双目视觉的大型目标三维重建方法及系统
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN110956640B (zh) 一种异源图像边缘点检测与配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant