CN115578256A - 一种无人机航拍绝缘子红外视频全景拼接方法及系统 - Google Patents

一种无人机航拍绝缘子红外视频全景拼接方法及系统 Download PDF

Info

Publication number
CN115578256A
CN115578256A CN202211166423.1A CN202211166423A CN115578256A CN 115578256 A CN115578256 A CN 115578256A CN 202211166423 A CN202211166423 A CN 202211166423A CN 115578256 A CN115578256 A CN 115578256A
Authority
CN
China
Prior art keywords
insulator
frame
infrared
image
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211166423.1A
Other languages
English (en)
Inventor
吴立军
阮啸寅
李强
吴钰
段尧明
李洲
吴晗
冯伟豪
王宇倩
付超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202211166423.1A priority Critical patent/CN115578256A/zh
Publication of CN115578256A publication Critical patent/CN115578256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人机航拍绝缘子红外视频全景拼接方法及系统，为相邻视频帧计算一个单应矩阵，通过单应矩阵可将后一帧关键帧投影变换到前一帧关键帧所在平面；通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当长度超过两幅图像时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，从而实现绝缘子全景图像的拼接；本发明仅需拍摄红外视频记录绝缘子信息，后期自动输出绝缘子全景图像，提高了电网对绝缘子故障检测的效率。

Description

一种无人机航拍绝缘子红外视频全景拼接方法及系统
技术领域
本发明涉及图像拼接技术领域，具体涉及一种无人机航拍绝缘子红外视频全景拼接方法及系统。
背景技术
为保障输电线路的正常运行，需要电网巡检人员定期对电力线路进行巡检。而电力线路所在的地理往往都十分复杂，给电网巡检人员的巡检工作带来了极大的不便。近年来，随着无人机技术和红外技术的发展，电网巡检人员可以通过无人机搭载红外摄像头对电力线路进行航拍，进而通过相应的图像或视频分析完成电力线路的巡检工作。
在无人机航拍的过程中，无人机与拍摄目标的距离越近，图像能够包含的细节信息越多，图像的视场则会较小；而无人机与拍摄目标的距离越远，图像的视场会增大，但图像所能够包含的细节信息则会减少。因此，在无人机航拍过程中需要对图像细节信息和视场进行取舍，难以获得细节信息丰富的大视场图像。为获取内容丰富的大视场图像，需要通过拍摄视频，对视频进行拼接，得到大视场的全景图像，从而给巡检分析提供更多的信息。
红外成像在军事、工业、医学上均具有广泛的应用，相比较于可见光探测器，红外探测器可以采用非接触的形式采集物体的温度信息，并且在夜晚、大雨、大雾、大雪等弱光环境下也能够拍摄到可见光不能拍摄到的景象。由于红外热成像探测器制造技术的制约，红外探测器的每个传感元件相较于可见光探测器的更大，同样机械尺寸的传感器，红外探测器的分辨率要远低于可见光传感器的分辨率。此外，由于红外探测器的材料和工业上的缺陷，会造成各个像敏元具有不同的响应特性，这些响应特性中所存在的数值差异也导致了红外图像中非均匀性的存在。而在红外探测器拍摄过程中，目标周围的亮度不均匀以及成像系统中电路元件自身的噪声及其之间的相互影响均可能造成点状高斯噪声。因此巡检过程中常用的红外探测器的分辨率为640×480，所拍摄的红外图像存在着分辨率低、细节少、大量的非均性噪声和点状高斯噪声的特点。
在电网巡检人员对电力设施巡检的过程中，需要确认故障绝缘子片在绝缘子串中的位置。通过航拍绝缘子红外全景图像可以快速确认故障绝缘子片的位置。电力巡线无人机航拍红外全景图像的制作主要分为视频帧预处理、特征点检测、特征点配准、计算变换矩阵、图像拼接等步骤。视频帧预处理主要包含图像去噪和绝缘子区域图像分割。
无人机航拍绝缘子红外视频全景拼接为获取更丰富的绝缘子信息，需要使得无人机与绝缘子空间距离较近，属于一种近景图像拼接。与常见的远景图像拼接不同，在航拍红外绝缘子视频中，由于无人机的水平移动及旋转导致前景与背景角度变化差异较大，而背景的特征又远强于前景的特征，采用背景的特征点及配准信息计算的单应矩阵并不适用于前景绝缘子部分的投影变换。此外，绝缘子串中的绝缘子片具有极高的重复度，在对绝缘子片的特征点进行配准时，采用传统图像拼接中的间隔采样的方式获取视频帧极易将相邻绝缘子特征点匹配错位导致全景图像中绝缘子片的缺失或冗余。
发明内容
有鉴于此，为了解决现有技术中的问题，本发明提出一种无人机航拍绝缘子红外视频全景拼接方法及系统，基于深度学习，输入无人机航拍绝缘子红外视频，得到对应的红外全景图像，实现无人机航拍绝缘子红外视频全景拼接，从而实现了红外图像去噪及红外绝缘子图像分割等预处理以及针对绝缘子的少细节、弱特征、多噪声、高重复度等特点的特定拼接方案。
本发明通过以下技术手段解决上述问题：
一方面，本发明提出一种无人机航拍绝缘子红外视频全景拼接方法，包括如下步骤：
输入无人机航拍的绝缘子红外视频，获得多张绝缘子红外图像；
搭建及训练红外图像噪声去除网络模型，采用训练好的红外图像噪声去除网络模型对绝缘子红外图像进行去噪处理，得到不含噪声的绝缘子红外图像；
搭建及训练红外绝缘子图像分割网络模型，采用训练好的红外绝缘子图像分割网络模型对不含噪声的绝缘子红外图像进行背景剔除处理，得到仅包含绝缘子串部分的不含噪声的绝缘子红外图像；
选用特征点检测算法对预处理之后的绝缘子红外图像进行特征点检测；
提取特征点后采用特征点匹配算法对提取的特征点进行配准，并使用优化算法对配准进行筛选；
为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面；
通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；
当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当绝缘子串的长度超过两幅图像拼接的长度时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，将拼接帧投影变换到基准帧所在平面，输出绝缘子拼接全景图像，从而实现绝缘子全景图像的拼接。
作为优选地，搭建及训练红外图像噪声去除网络模型，具体包括：
采用无人机搭载红外热成像设备拍摄多个绝缘子红外视频；
根据非均匀噪声的数学模型和高斯噪声的数学模型，通过仿真软件进行仿真确定噪声数学模型中对应的参数值；
在红外热成像设备拍摄的绝缘子红外视频中，挑选出多张接近无噪的绝缘子红外图像，向其中添加服从所述噪声数学模型的非均匀性噪声和高斯噪声，构成供红外图像噪声去除网络模型训练的输入图像和参考图像；
将大部分绝缘子红外图像对作为训练集，剩余绝缘子红外图像对作为测试集，最终针对两种噪声数学模型分别获得多组训练对；
搭建及训练基于卷积神经网络的红外图像噪声去除网络模型。
作为优选地，搭建及训练红外绝缘子图像分割网络模型，具体为：
采用无人机搭载红外热成像设备拍摄多个绝缘子红外视频；
在无人机航拍的绝缘子红外视频中，根据不同绝缘子类别，均衡采样多组绝缘子红外图像；
采用多边形框将整个绝缘子区域包围起来的方式构建图像分割训练数据集；将采样的绝缘子红外图像通过数据标注工具将其制成图像分割训练数据集，构成供红外绝缘子图像分割网络模型训练的输入图像和参考图像；
将大部分绝缘子红外图像对作为训练集，剩余绝缘子红外图像对作为测试集，最终针对红外绝缘子图像分割网络模型获得多组训练对；
搭建及训练基于FCN网络的红外绝缘子图像分割网络模型。
作为优选地，所述红外图像噪声去除网络模型中，包含特征提取、非线性映射和重建；特征提取是通过卷积对输入的红外图像中的噪声进行提取特征，得到多个含有红外噪声特征的高维空间矩阵；非线性映射将含有红外噪声特征的高维空间矩阵映射至另一个高维空间矩阵，同时引入了池化层、激活层和反卷积层，采用最大值池化的方式，能够更加突出噪声的特征，同时对图像进行一个下采样的操作；激活层引入了非线性激活函数，使得网络层数的增加不至于被线性化简而抵消；反卷积层则对图像进行一个上采样操作；重建过程采用长残差的方式，将反卷积层之后的特征矩阵与池化层之前的特征矩阵进行维度上的叠加得到融合后的特征矩阵，最后通过一个卷积层将其重建为条状噪声的残差图像。
作为优选地，所述红外图像噪声去除网络模型包含9个卷积层、一个池化层、一个亚像素卷积层和一个维度叠加层；输入图像仅为一幅图像的Y通道，第一个卷积层的层参数设置为Conv(1,32,3,1,1)，之后的卷积层设置为Conv(32,32,3,1,1)，亚像素卷积之前的卷积层参数设置为(32,128,3,1,1)，亚像素卷积层参数为2，在叠加层之后的卷积层设置为Conv(64,1,3,1,1)；池化层卷积核为2，步长为2。
作为优选地，所述红外绝缘子图像分割网络模型中，包含特征提取、特征融合和像素分类；特征提取部分采用VGGNet16网络结构，VGGNet16网络中采用了多个小卷积核代替一个大卷积核的方式，使用2个3x3的卷积核堆叠获得的感受野相当于一个5x5的卷积核的感受野，而3个3x3的卷积核堆叠获得相当于7x7的卷积核的感受野，因此使用小的卷积核在同样感受野的情况下减少参数，此外，使用小卷积核还相当于进行了更多的特征映射；特征融合部分，FCN网络在VGGNet16网络的后三个池化层之后，分别建立了8倍、16倍和32倍上采样层，第5层池化层之后直接进行32倍上采样得到FCN-32s的输出，同时将第5层池化层上采样2倍与第4层池化层进行叠加，再将叠加结果上采样16倍得到FCN-16s的输出，最后将第5层池化层与第4层池化层叠加的结果再上采样两倍与第3层池化层相叠加，将叠加结果进行8倍上采样得到最终的FCN-8s输出；像素分类则是使用一个卷积层作为分类器，输入通道数为32，输出通道数为类别数。
作为优选地，根据非均匀噪声的数学模型和高斯噪声的数学模型，通过仿真软件进行仿真确定噪声数学模型中对应的参数值，具体包括：
假定红外图像上某点的实际像素值为V(i,j)，其中i为横坐标，j为纵坐标；则条状噪声S(i,j)表示为：
S(i,j)＝G(V(i,j))
其中G表示条状噪声的非线性映射函数，通常采用一个多项式去模拟噪声，第j列的噪声表示为：
Figure BDA0003861577680000061
其中
Figure BDA0003861577680000062
为第j列多项式的系数，其设置为范围在[-0.1,0.1]之间的随机数，多项式阶数M设置为3；Vm(i,j)、Vm-1(i,j)…V0(i,j)均为V(i,j)的实例化，指坐标(i,j)处的像素值的M次方，其中m、m-1…0均为M的实例化；假定红外图像上某点的实际像素值为V(i,j)，则点状噪声F(i,j)表示为：
F(i,j)＝H(V(i,j))
其中H表示点状噪声的非线性映射函数，采用高斯函数的形式进行模拟；
Figure BDA0003861577680000063
其中σ2为高斯噪声的方差，u为高斯噪声的均值；根据仿真软件仿真结果，将高斯噪声的方差设置为范围在[0.003,0.004]之间的随机数，期望设置为0。
作为优选地，对单应矩阵的参数增加如下限制：
对于单应矩阵h：
Figure BDA0003861577680000064
其中hij表示单应矩阵h中第i行j列的参数，限制：
5＜|h13|＜50
|h21|＜0.01
|h31|＜0.01
当相邻帧的单应矩阵参数不满足上述要求时，即调过此帧，用下一帧和前一帧求解单应矩阵，直到符合上述要求。
作为优选地，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面，具体为：
在投影过程中，变换矩阵和矩阵乘法构成群，记作：
G＝(A,·),
其中A为变换矩阵，·为矩阵乘法，G为由变换矩阵和矩阵乘法构成的群；由于群的封闭性，即：
Figure BDA0003861577680000072
其中，A1、A2为变换矩阵集合A中的一个具体的元素；而在连续投影过程，相当于是对相邻的单应矩阵作乘法，第n帧图像到第一帧图像的单应矩阵为：
Figure BDA0003861577680000071
其中H为全局单应矩阵，hi为第i+1帧到第i帧的单应矩阵，直接将多个变换矩阵通过矩阵乘法相乘得到的即为后续较远视频帧到基准帧的变换矩阵，仅通过一次投影变换即可将后续较远视频帧变换到基准帧所在平面。
另一方面，本发明提出一种无人机航拍绝缘子红外视频全景拼接系统，包括：
视频输入模块，用于输入无人机航拍的绝缘子红外视频，获得多张绝缘子红外图像；
图像去噪模块，用于搭建及训练红外图像噪声去除网络模型，采用训练好的红外图像噪声去除网络模型对绝缘子红外图像进行去噪处理，得到不含噪声的绝缘子红外图像；
背景剔除模块，用于搭建及训练红外绝缘子图像分割网络模型，采用训练好的红外绝缘子图像分割网络模型对不含噪声的绝缘子红外图像进行背景剔除处理，得到仅包含绝缘子串部分的不含噪声的绝缘子红外图像；
特征点检测模块，用于选用特征点检测算法对预处理之后的绝缘子红外图像进行特征点检测；
特征点配准模块，用于提取特征点后采用特征点匹配算法对提取的特征点进行配准，并使用优化算法对配准进行筛选；
单应矩阵计算模块，用于为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面；
全局单应矩阵计算模块，用于通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；
图像拼接模块，用于当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当绝缘子串的长度超过两幅图像拼接的长度时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，将拼接帧投影变换到基准帧所在平面，输出绝缘子拼接全景图像，从而实现绝缘子全景图像的拼接。
与现有技术相比，本发明的有益效果至少包括：
本发明从拼接无人机航拍绝缘子红外全景图像的方向出发，提出一种包含红外图像预处理及针对绝缘子特定特征的全景图像拼接方案。制作了红外图像去噪训练集和红外绝缘子图像分割训练集，解决了在深度学习中，缺乏特定红外数据集，通常只能采用可见训练集训练再迁移到红外数据中应用的问题。设计并训练了红外图像去噪网络，达到了较好的去噪效果且满足实时性的需要。基于FCN图像分割网络训练了特定的绝缘子图像分割网络，剔除了在特征点检测和特征点配准过程中具有强特征的背景部分对前景绝缘子部分的干扰。本发明提出一种针对绝缘子高重复度、少细节、多噪声、像素值易受温度影响的特定拼接方案。实现了电网巡检人员在巡检时仅需用无人机搭载红外设备，拍摄红外视频记录绝缘子信息，后期自动输出绝缘子全景图像。提高了电网对绝缘子故障检测的效率，为绝缘子串中心线检测及进一步封故障分析提供思路。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明制作的非均性噪声去噪训练集中的部分图片；
图2为本发明制作的高斯噪声去噪训练集中的部分图片；
图3为本发明制作的两种不同类别的绝缘子图像分割训练集中的部分图片；
图4为本发明红外图像噪声去除网络模型图；
图5为本发明无人机航拍绝缘子红外视频全景图像拼接方法的流程图；
图6为本发明对两种不同类型的绝缘子串进行全景图像拼接的拼接结果图；
图7为本发明无人机航拍绝缘子红外视频全景图像拼接系统的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明提出一种无人机航拍绝缘子红外视频全景拼接方法，主要包括以下三大步骤。
步骤1：构建红外数据集
采用无人机搭载红外热成像设备拍摄了300个有关绝缘子的视频，拍摄方式为尽可能使无人机与绝缘子串保持平行，从绝缘子串的一端缓慢移动至另一端，完整地记录下一串绝缘子。本发明中“绝缘子”是指一个完整的绝缘子子结构，其包含一到三串“绝缘子串”，每串“绝缘子串”中包含多片“绝缘子片”。
根据非均匀噪声的数学模型和高斯噪声的数学模型，通过MATLAB仿真软件进行仿真确定了噪声数学模型中对应的参数值。其中，假定红外图像上某点的实际像素值为V(i,j)，其中i为横坐标，j为纵坐标；则条状噪声S(i,j)可以表示为：
S(i,j)＝G(V(i,j))
其中G表示条状噪声的非线性映射函数，通常采用一个多项式去模拟噪声，第j列的噪声可以表示为：
Figure BDA0003861577680000101
其中
Figure BDA0003861577680000102
为第j列多项式的系数，其设置为范围在[-0.1,0.1]之间的随机数，多项式阶数M设置为3。Vm(i,j)、Vm-1(i,j)…V0(i,j)均为V(j,j)的实例化，指坐标(i,j)处的像素值的M次方，其中m、m-1…0均为M的实例化。假定红外图像上某点的实际像素值为V(i,j)，则点状噪声F(i,j)可以表示为：
F(i,j)＝H(V(i,j))
其中H表示点状噪声的非线性映射函数，采用高斯函数的形式进行模拟
Figure BDA0003861577680000103
其中σ2为高斯噪声的方差，u为高斯噪声的均值。根据MATLAB仿真结果，将高斯噪声的方差设置为范围在[0.003,0.004]之间的随机数，期望设置为0。
在红外设备拍摄的视频中，挑选了200张近似于无噪的红外图像，向其中添加服从上述模型的非均匀性噪声和高斯噪声，构成供神经网络训练的输入图像和参考图像。将其中180组图像对作为训练集，剩余20组图像对作为测试集。为使数据量增大，增加神经网络的迭代次数，将其随机裁剪为54x54的子图像，并通过旋转、水平翻转等方式进行数据增强，最终针对两种噪声模型分别获得了100000组训练对，图1为其中的部分非均匀性噪声模型去噪训练对，其中第一行为不含非均匀性噪声的红外图像，作为神经网络训练的参考数据，第二行为添加了非均性噪声的红外图像，作为神经网络训练的输入数据。图2为其中部分高斯噪声模型去噪训练对，其中第一行为不含高斯噪声的红外图像，作为神经网络训练的监督数据，第二行为添加了高斯噪声的红外图像，作为神经网络训练的输入数据。
在构建图像分割网络时，发现按照传统的沿着物体轮制作图像分割数据集会导致在配准时绝缘子的边缘的角点丢失，并且会增添一些图像分割掩模带来错误角点导致配准精度下降。而绝缘子视频中，在绝缘子串的前景区域，绝缘子的占比极高，故采用多边形框将整个绝缘子区域包围起来的方式构建图像分割数据集。在无人机航拍绝缘子外原始视频数据，根据不同绝缘子类别，均衡采样了1000组原始图像数据，并通过labelme数据标注工具将其制成图像分割训练数据集。其中900组图像对作为训练集，剩余100组图像对作为测试集。图3为其中部分绝缘子图像分割模型训练对，其中第一行为经过去噪的视频帧，作为图像分割网络训练的输入数据，第二行为使用labelme数据标注工具标注的分割掩模，作为图像分割网络训练的监督数据。
步骤2：预处理神经网络的搭建及训练
基于卷积神经网络的红外噪声去除模型中，主要包含特征提取、非线性映射和重建三个部分。特征提取主要是通过卷积对输入的红外图像中的噪声进行提取特征，得到多个含有红外噪声特征的高维空间矩阵。非线性映射将含有红外噪声特征的高维空间矩阵映射至另一个高维空间矩阵，在此过程中，同时引入了池化层、激活层和反卷积层。采用最大值池化的方式，能够更加突出噪声的特征，同时对图像进行一个类似于下采样的操作，减少运算开销，同时还能增大感受野；激活层引入了非线性激活函数，使得网络层数的增加不至于被线性化简而抵消；反卷积层则将相当于上采样操作。重建过程采用长残差的方式，将反卷积层之后的特征矩阵与池化层之前的特征矩阵进行维度上的叠加得到融合后的特征矩阵。最后通过一个卷积层将其重建为条状噪声的残差图像，其网络结构模型如图4所示。
图4示的卷积神经网络包含9个卷积层、一个池化层、一个亚像素卷积层和一个维度叠加层。输入图像仅为一幅图像的Y通道。第一个卷积层的层参数设置为Conv(1,32,3,1,1)，之后的卷积层设置为Conv(32,32,3,1,1)，亚像素卷积之前的卷积层参数设置为(32,128,3,1,1)，亚像素卷积层参数为2，在叠加层之后的卷积层设置为Conv(64,1,3,1,1)；池化层卷积核为2，步长为2。优化器选用Adam优化器，bitch_size设置为64，初始学习速率为0.0003，每经过40次循环之后学习速率衰减为原来的十分之一。整个网络的训练在操作系统为Windows10的个人电脑上运行，深度学习平台为PyTorch，CUDA版本为10.1，Cudnn版本为7.0，显卡为英伟达的NVIDIAGTX1060(6GB显存)，CPU为Intel core i5 6300HQ。在CPU上处理一张640x480的图片所用时间大约为0.438秒，在GPU上处理一张图片的时间大约为0.015秒。
基于FCN网络的红外绝缘子图像分割网络中，主要包含特征提取、特征融合、像素分类三个部分。特征提取部分采用VGGNet16网络结构，VGGNet16网络中采用了多个小卷积核代替一个大卷积核的方式，使用2个3x3的卷积核堆叠可以获得的感受野相当于一个5x5的卷积核的感受野，而3个3x3的卷积核堆叠可以获得相当于7x7的卷积核的感受野，因此使用小的卷积核可以在同样感受野的情况下减少参数。此外，使用小卷积核还相当于进行了更多的特征映射，能够进一步地增强网络的拟合能力。特征融合部分，FCN网络在VGGNet16网络的后三个池化层之后，分别建立了8倍、16倍、32倍上采样层。第5层池化层之后直接进行32倍上采样得到FCN-32s的输出，同时将第5层池化层上采样2倍与第4层池化层进行叠加，再将叠加结果上采样16倍得到FCN-16s的输出，最后将第5层池化层与第4层池化层叠加的结果再上采样两倍与第3层池化层相叠加，将叠加结果进行8倍上采样得到最终的FCN-8s输出。因为FCN-8s将VGGNet16网络中提取的特征和上采样输出的特征图相融合，得到了较好的语义分割效果。像素分类则是使用一个卷积层作为分类器，输入通道数为32，输出通道数为类别数。
步骤3：航拍红外绝缘子视频拼接
经过图像去噪和图像分割的预处理，解决了无人机航拍绝缘子红外视频数据中的噪声问题和近景拼接中背景特征强于前景特征的问题。得到仅包含绝缘子串部分的不含噪声的图像。为解决细节少，无人机旋转导致的视频角度变换以及温度导致的图像像素值的改变，选用SIFT特征点检测算法对预处理之后的图像进行特征点检测。SIFT特征点能够充分地考虑在图像变换过程中出现的光照、尺度、旋转等变化，能够提取精确的图像特征，提高后续特征点配准的精度。提取特征点后采用暴力匹配算法对提取的SIFT特征点进行配准，并使用K邻近算法对配准进行筛选。由于绝缘子的高重复度，为解决间隔采样导致的绝缘子特征点配准错误，最终全景图像中出现绝缘子确实或冗余的问题，采用全采样的方式进行全景拼接。在输入的视频中，当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧。当输入长度超过两幅图像时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影。将相邻视频帧的特征点进行配准，并为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面，从而实现全景图像的拼接。通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，导致视频帧分辨率降低，需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；本实施例通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面。在投影过程中，而变换矩阵和矩阵乘法可以构成群，记作：
G＝(A,·),
其中A为变换矩阵，·为矩阵乘法，G为由变换矩阵和矩阵乘法构成的群。由于群的封闭性，即：
Figure BDA0003861577680000141
其中，A1、A2为变换矩阵集合A中的一个具体的元素；而在连续投影过程，相当于是对相邻的单应矩阵作乘法，第n帧图像到第一帧图像的单应矩阵为：
Figure BDA0003861577680000142
其中H为全局单应矩阵，hi为第i+1帧到第i帧的单应矩阵因此可以直接将多个变换矩阵通过矩阵乘法相乘得到的即为后续较远视频帧到基准帧的变换矩阵，仅通过一次投影变换即可将后续较远视频帧变换到基准帧所在平面，极大的减少了分辨率的降低。
但在采用全部视频序列求解单应矩阵的方式中，对无人机航拍视频质量要求较高，当有一帧视频出现问题，即会导致全局单应矩阵出错，降低了拼接的准确率。因此对单应矩阵的参数增加如下限制：
对于单应矩阵h：
Figure BDA0003861577680000143
其中hij表示单应矩阵h中第i行j列的参数，由于在无人机航拍过程中，主要为水平方向运动分量，旋转分量较小，因此限制：
5＜|h13|＜50
|h21|＜0.01
|h31|＜0.01
当相邻帧的单应矩阵参数不满足上述要求时，即调过此帧，用下一帧和前一帧求解单应矩阵，直到符合上述要求。通过增加上述限制，可以筛除由于视频帧质量问题带来的错误，极大地提高了拼接的鲁棒性。
无人机航拍绝缘子红外视频全景拼接方法的流程如图5所示，图6为输入无人机航拍视频，经过全景拼接算法处理后自动输出的全景图像。全景图像中主体绝缘子均拼接良好，其绝缘子片数也与实际绝缘子片数相符。
实施例2
如图7所示，本发明提出一种无人机航拍绝缘子红外视频全景拼接系统，包括视频输入模块、图像去噪模块、背景剔除模块、特征点检测模块、特征点配准模块、单应矩阵计算模块、全局单应矩阵计算模块和图像拼接模块；
所述视频输入模块用于输入无人机航拍的绝缘子红外视频，获得多张绝缘子红外图像；
所述图像去噪模块用于搭建及训练红外图像噪声去除网络模型，采用训练好的红外图像噪声去除网络模型对绝缘子红外图像进行去噪处理，得到不含噪声的绝缘子红外图像；
所述背景剔除模块用于搭建及训练红外绝缘子图像分割网络模型，采用训练好的红外绝缘子图像分割网络模型对不含噪声的绝缘子红外图像进行背景剔除处理，得到仅包含绝缘子串部分的不含噪声的绝缘子红外图像；
所述特征点检测模块用于选用特征点检测算法对预处理之后的绝缘子红外图像进行特征点检测；
所述特征点配准模块用于提取特征点后采用特征点匹配算法对提取的特征点进行配准，并使用优化算法对配准进行筛选；
所述单应矩阵计算模块用于为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面；
所述全局单应矩阵计算模块用于通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；
所述图像拼接模块用于当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当绝缘子串的长度超过两幅图像拼接的长度时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，将拼接帧投影变换到基准帧所在平面，输出绝缘子拼接全景图像，从而实现绝缘子全景图像的拼接。
本实施例中的其他特征与实施例1相同，故在此不再赘述。
本发明从拼接无人机航拍绝缘子红外全景图像的方向出发，提出一种包含红外图像预处理及针对绝缘子特定特征的全景图像拼接方案。制作了红外图像去噪训练集和红外绝缘子图像分割训练集，解决了在深度学习中，缺乏特定红外数据集，通常只能采用可见训练集训练再迁移到红外数据中应用的问题。设计并训练了红外图像去噪网络，达到了较好的去噪效果且满足实时性的需要。基于FCN图像分割网络训练了特定的绝缘子图像分割网络，剔除了在特征点检测和特征点配准过程中具有强特征的背景部分对前景绝缘子部分的干扰。本发明提出一种针对绝缘子高重复度、少细节、多噪声、像素值易受温度影响的特定拼接方案。实现了电网巡检人员在巡检时仅需用无人机搭载红外设备，拍摄红外视频记录绝缘子信息，后期自动输出绝缘子全景图像。提高了电网对绝缘子故障检测的效率，为绝缘子串中心线检测及进一步封故障分析提供思路。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无人机航拍绝缘子红外视频全景拼接方法，其特征在于，包括如下步骤：
输入无人机航拍的绝缘子红外视频，获得多张绝缘子红外图像；
搭建及训练红外图像噪声去除网络模型，采用训练好的红外图像噪声去除网络模型对绝缘子红外图像进行去噪处理，得到不含噪声的绝缘子红外图像；
搭建及训练红外绝缘子图像分割网络模型，采用训练好的红外绝缘子图像分割网络模型对不含噪声的绝缘子红外图像进行背景剔除处理，得到仅包含绝缘子串部分的不含噪声的绝缘子红外图像；
选用特征点检测算法对预处理之后的绝缘子红外图像进行特征点检测；
提取特征点后采用特征点匹配算法对提取的特征点进行配准，并使用优化算法对配准进行筛选；
为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面；
通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；
当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当绝缘子串的长度超过两幅图像拼接的长度时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，将拼接帧投影变换到基准帧所在平面，输出绝缘子拼接全景图像，从而实现绝缘子全景图像的拼接。
2.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，搭建及训练红外图像噪声去除网络模型，具体包括：
采用无人机搭载红外热成像设备拍摄多个绝缘子红外视频；
根据非均匀噪声的数学模型和高斯噪声的数学模型，通过仿真软件进行仿真确定噪声数学模型中对应的参数值；
在红外热成像设备拍摄的绝缘子红外视频中，挑选出多张接近无噪的绝缘子红外图像，向其中添加服从所述噪声数学模型的非均匀性噪声和高斯噪声，构成供红外图像噪声去除网络模型训练的输入图像和参考图像；
将大部分绝缘子红外图像对作为训练集，剩余绝缘子红外图像对作为测试集，最终针对两种噪声数学模型分别获得多组训练对；
搭建及训练基于卷积神经网络的红外图像噪声去除网络模型。
3.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，搭建及训练红外绝缘子图像分割网络模型，具体为：
采用无人机搭载红外热成像设备拍摄多个绝缘子红外视频；
在无人机航拍的绝缘子红外视频中，根据不同绝缘子类别，均衡采样多组绝缘子红外图像；
采用多边形框将整个绝缘子区域包围起来的方式构建图像分割训练数据集；将采样的绝缘子红外图像通过数据标注工具将其制成图像分割训练数据集，构成供红外绝缘子图像分割网络模型训练的输入图像和参考图像；
将大部分绝缘子红外图像对作为训练集，剩余绝缘子红外图像对作为测试集，最终针对红外绝缘子图像分割网络模型获得多组训练对；
搭建及训练基于FCN网络的红外绝缘子图像分割网络模型。
4.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，所述红外图像噪声去除网络模型中，包含特征提取、非线性映射和重建；特征提取是通过卷积对输入的红外图像中的噪声进行提取特征，得到多个含有红外噪声特征的高维空间矩阵；非线性映射将含有红外噪声特征的高维空间矩阵映射至另一个高维空间矩阵，同时引入了池化层、激活层和反卷积层，采用最大值池化的方式，能够更加突出噪声的特征，同时对图像进行一个下采样的操作；激活层引入了非线性激活函数，使得网络层数的增加不至于被线性化简而抵消；反卷积层则对图像进行一个上采样操作；重建过程采用长残差的方式，将反卷积层之后的特征矩阵与池化层之前的特征矩阵进行维度上的叠加得到融合后的特征矩阵，最后通过一个卷积层将其重建为条状噪声的残差图像。
5.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，所述红外图像噪声去除网络模型包含9个卷积层、一个池化层、一个亚像素卷积层和一个维度叠加层；输入图像仅为一幅图像的Y通道，第一个卷积层的层参数设置为Conv(1,32,3,1,1)，之后的卷积层设置为Conv(32,32,3,1,1)，亚像素卷积之前的卷积层参数设置为(32,128,3,1,1)，亚像素卷积层参数为2，在叠加层之后的卷积层设置为Conv(64,1,3,1,1)；池化层卷积核为2，步长为2。
6.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，所述红外绝缘子图像分割网络模型中，包含特征提取、特征融合和像素分类；特征提取部分采用VGGNet16网络结构，VGGNet16网络中采用了多个小卷积核代替一个大卷积核的方式，使用2个3x3的卷积核堆叠获得的感受野相当于一个5x5的卷积核的感受野，而3个3x3的卷积核堆叠获得相当于7x7的卷积核的感受野，因此使用小的卷积核在同样感受野的情况下减少参数，此外，使用小卷积核还相当于进行了更多的特征映射；特征融合部分，FCN网络在VGGNet16网络的后三个池化层之后，分别建立了8倍、16倍和32倍上采样层，第5层池化层之后直接进行32倍上采样得到FCN-32s的输出，同时将第5层池化层上采样2倍与第4层池化层进行叠加，再将叠加结果上采样16倍得到FCN-16s的输出，最后将第5层池化层与第4层池化层叠加的结果再上采样两倍与第3层池化层相叠加，将叠加结果进行8倍上采样得到最终的FCN-8s输出；像素分类则是使用一个卷积层作为分类器，输入通道数为32，输出通道数为类别数。
7.根据权利要求2所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，根据非均匀噪声的数学模型和高斯噪声的数学模型，通过仿真软件进行仿真确定噪声数学模型中对应的参数值，具体包括：
假定红外图像上某点的实际像素值为V(i，j)，其中i为横坐标，j为纵坐标；则条状噪声S(i，j)表示为：
S(i，j)＝G(V(i，j))
其中G表示条状噪声的非线性映射函数，通常采用一个多项式去模拟噪声，第j列的噪声表示为：
Figure FDA0003861577670000041
其中
Figure FDA0003861577670000042
为第j列多项式的系数，其设置为范围在[-0.1，0.1]之间的随机数，多项式阶数M设置为3；Vm(i，j)、Vm-1(i，j)...V0(i，j)均为V(i，j)的实例化，指坐标(i，j)处的像素值的M次方，其中m、m-1…0均为M的实例化；假定红外图像上某点的实际像素值为V(i，j)，则点状噪声F(i，j)表示为：
F(i，j)＝H(V(i，j))
其中H表示点状噪声的非线性映射函数，采用高斯函数的形式进行模拟；
Figure FDA0003861577670000043
其中σ2为高斯噪声的方差，u为高斯噪声的均值；根据仿真软件仿真结果，将高斯噪声的方差设置为范围在[0.003，0.004]之间的随机数，期望设置为0。
8.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，对单应矩阵的参数增加如下限制：
对于单应矩阵h：
Figure FDA0003861577670000051
其中hij表示单应矩阵h中第i行j列的参数，限制：
5＜|h13|＜50
|h21|＜0.01
|h31|＜0.01
当相邻帧的单应矩阵参数不满足上述要求时，即调过此帧，用下一帧和前一帧求解单应矩阵，直到符合上述要求。
9.根据权利要求1所述的无人机航拍绝缘子红外视频全景拼接方法，其特征在于，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面，具体为：
在投影过程中，变换矩阵和矩阵乘法构成群，记作：
G＝(A，·)，
其中A为变换矩阵，·为矩阵乘法，G为由变换矩阵和矩阵乘法构成的群；由于群的封闭性，即：
Figure FDA0003861577670000052
其中，A1、A2为变换矩阵集合A中的一个具体的元素；而在连续投影过程，相当于是对相邻的单应矩阵作乘法，第n帧图像到第一帧图像的单应矩阵为：
Figure FDA0003861577670000061
其中H为全局单应矩阵，hi为第i+1帧到第i帧的单应矩阵，直接将多个变换矩阵通过矩阵乘法相乘得到的即为后续较远视频帧到基准帧的变换矩阵，仅通过一次投影变换即可将后续较远视频帧变换到基准帧所在平面。
10.一种无人机航拍绝缘子红外视频全景拼接系统，其特征在于，包括：
视频输入模块，用于输入无人机航拍的绝缘子红外视频，获得多张绝缘子红外图像；
图像去噪模块，用于搭建及训练红外图像噪声去除网络模型，采用训练好的红外图像噪声去除网络模型对绝缘子红外图像进行去噪处理，得到不含噪声的绝缘子红外图像；
背景剔除模块，用于搭建及训练红外绝缘子图像分割网络模型，采用训练好的红外绝缘子图像分割网络模型对不含噪声的绝缘子红外图像进行背景剔除处理，得到仅包含绝缘子串部分的不含噪声的绝缘子红外图像；
特征点检测模块，用于选用特征点检测算法对预处理之后的绝缘子红外图像进行特征点检测；
特征点配准模块，用于提取特征点后采用特征点匹配算法对提取的特征点进行配准，并使用优化算法对配准进行筛选；
单应矩阵计算模块，用于为相邻视频帧计算一个单应矩阵，通过单应矩阵即可将后一帧关键帧投影变换到前一帧关键帧所在平面；
全局单应矩阵计算模块，用于通过变换矩阵对视频帧进行投影变换时，距离基准帧较远的关键帧需要经过多次投影变换才能投影到基准帧所在的平面中，通过求解全局变换矩阵使得较远基准帧仅通过一次投影即可变换到基准帧所在平面；需要经过三次及以上单个单应矩阵投影变换到基准帧时对应的关键帧即为较远关键帧；
图像拼接模块，用于当绝缘子串的长度不超过两幅图像拼接的长度时，选取第一帧作为基准帧，后续视频帧作为关键帧，最后一帧作为拼接帧；当绝缘子串的长度超过两幅图像拼接的长度时，将全视频的中间帧作为基准帧，向前和向后的中间帧作为关键帧，第一帧和最后一帧作为拼接帧，分别通过变换矩阵向基准帧投影，将拼接帧投影变换到基准帧所在平面，输出绝缘子拼接全景图像，从而实现绝缘子全景图像的拼接。
CN202211166423.1A 2022-09-23 2022-09-23 一种无人机航拍绝缘子红外视频全景拼接方法及系统 Pending CN115578256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211166423.1A CN115578256A (zh) 2022-09-23 2022-09-23 一种无人机航拍绝缘子红外视频全景拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211166423.1A CN115578256A (zh) 2022-09-23 2022-09-23 一种无人机航拍绝缘子红外视频全景拼接方法及系统

Publications (1)

Publication Number Publication Date
CN115578256A true CN115578256A (zh) 2023-01-06

Family

ID=84581451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211166423.1A Pending CN115578256A (zh) 2022-09-23 2022-09-23 一种无人机航拍绝缘子红外视频全景拼接方法及系统

Country Status (1)

Country Link
CN (1) CN115578256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094895A (zh) * 2023-09-05 2023-11-21 杭州一隅千象科技有限公司 图像全景拼接方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094895A (zh) * 2023-09-05 2023-11-21 杭州一隅千象科技有限公司 图像全景拼接方法及其系统
CN117094895B (zh) * 2023-09-05 2024-03-26 杭州一隅千象科技有限公司 图像全景拼接方法及其系统

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN111259758B (zh) 一种针对密集区域的两阶段遥感图像目标检测方法
CN108960261B (zh) 一种基于注意力机制的显著物体检测方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115082674A (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN113205507B (zh) 一种视觉问答方法、系统及服务器
CN112308087B (zh) 基于动态视觉传感器的一体化成像识别方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN115578256A (zh) 一种无人机航拍绝缘子红外视频全景拼接方法及系统
CN115330703A (zh) 基于上下文信息融合的遥感影像云与云阴影检测方法
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Jaffe et al. Remote sensor design for visual recognition with convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination