CN115578378A - 红外与可见光图像融合的光伏缺陷检测方法 - Google Patents
红外与可见光图像融合的光伏缺陷检测方法 Download PDFInfo
- Publication number
- CN115578378A CN115578378A CN202211425124.5A CN202211425124A CN115578378A CN 115578378 A CN115578378 A CN 115578378A CN 202211425124 A CN202211425124 A CN 202211425124A CN 115578378 A CN115578378 A CN 115578378A
- Authority
- CN
- China
- Prior art keywords
- image
- grained
- infrared
- coarse
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000007547 defect Effects 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013136 deep learning model Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种红外与可见光图像融合的光伏缺陷检测方法，对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果；本发明在低纹理、运动模糊或模糊区域也可以产生高效匹配，为图像的精确融合提供了基础，显著提升了目标检测效果。
Description
技术领域
本发明涉及缺陷检测技术领域，特别涉及一种红外与可见光图像融合的光伏缺陷检测方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
随着大型光伏电站的建成，光伏电站的运维问题也日益凸显。无人机光伏巡检是近几年发展的一种新技术，通过数据驱动光伏电站运维，效率高效，结合高精度实时导航系统，定位准确，同时可作业于多种恶劣天气环境，对运维人员来说安全性高。无人机搭载成像传感器，使得无人机巡检技术在军用、民用领域都有突破性的应用。由于光照、气候等环境条件的限制，单源传感器拍摄的图像会受到一定的影响从而导致目标误判。为满足实际应用需求，无人机通过搭载双光相机，将拍摄的红外与可见光图像信息进行充分结合，使得融合图像结果更丰富、更理想，为目标检测技术提供了强大支持。
可见光图像易于获取，分辨率高，对比度强，能够提供更多的颜色、纹理等细节信息，但是受限于光照强度、天气等外在条件，不具备昼夜工作的能力；红外图像依据物体的辐射成像，不易受极端天气条件的影响，具备昼夜工作能力，但是图像分辨率和对比度通常较低，细节较少。因此，将红外图像与可见光图像的信息进行融合，充分利用各自的关键信息和互补性，可以帮助对目标场景有更全面更多层次的理解。
像素级的融合指的是对同一灰度级的同个场景的异源图像进行融合处理。其中，图像配准是图像融合的关键步骤。基于检测的配准方法有三个工作阶段：特征检测、特征描述和特征匹配；在检测阶段，首先从每个图像中检测兴趣点，如SIFT、Harris特征点，然后围绕这些兴趣点的邻域区域提取局部描述符，最后利用最近邻搜索或更复杂的匹配算法找到这些兴趣点的点对点对应关系。无检测的配准方法通常基于CNN提取密集特征，通过保留密集特征匹配中置信度较高的匹配来避免特征检测。
发明人发现，基于检测的配准方法减少了匹配的搜索空间，产生的稀疏对应可以应用于大多数任务，然而由于纹理、运动模糊以及光照变化等因素，特征检测器可能无法提取足够的兴趣点，如果没有充分的兴趣点，即使有完美的描述符，也不可能找到正确的对应关系；无检测的配准方法基于CNN提取的特征的感受野有限，对于图像模糊区域可能无法区分。
发明内容
为了解决现有技术的不足，本发明提供了一种红外与可见光图像融合的光伏缺陷检测方法，使用无检测的特征匹配方法进行图像配准，不仅基于局部邻域，而且考虑了更大的全局上下文信息，与基于检测的配准方法相比，在低纹理、运动模糊或模糊区域也可以产生高效匹配，为图像的精确融合提供了基础，显著提升了目标检测效果。
为了实现上述目的，本发明采用如下技术方案：
本发明第一方面提供了一种红外与可见光图像融合的光伏缺陷检测方法。
一种红外与可见光图像融合的光伏缺陷检测方法，包括以下过程：
对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；
根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；
根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果。
作为可选的一种实现方式，根据图像配准结果得到红外图像的透射变换结果，包括：根据图像配准结果计算透射变换矩阵，利用透射变换矩阵对红外图像进行透射变换，得到透射变换结果。
作为可选的一种实现方式，局部特征提取，包括：
以Resnet18为骨干网络，结合FPN网络进行特征提取，粗粒度特征分辨率为输入图像的1/8，得到第一粗粒度特征和第二粗粒度特征，细粒度特征分辨率为输入图像的1/2，得到第一细粒度特征和第二细粒度特征。
作为进一步的限定，输入图像依次经过三个卷积运算模块得到粗粒度特征，其中每个卷积运算模块均包括两个卷积层，经过三个卷积运算模块的卷积运算后，粗粒度特征分辨率为输入图像的1/8；
将第三个卷积运算模块的输出特征进行2倍上采样与第二个卷积运算模块的输出特征进行融合，再次进行两倍上采样后与第一个卷积运算模块的输出特征进行融合得到细粒度特征，细粒度特征分辨率为输入图像的1/2。
作为进一步的限定，特征转换，包括：
对粗粒度特征应用正弦形式得到位置编码，将位置编码后的粗粒度特征以及flatten后的粗粒度特征进行拼接，拼接之后进行特征转换，得到依赖于位置信息的第一粗粒度转换特征和第二粗粒度转换特征；其中，利用Transformer的自注意力层和交叉注意力层进行特征转换。
作为进一步的限定，粗粒度特征匹配，包括：
将第一粗粒度转换特征和第二粗粒度转换特征进行归一化，通过矩阵乘法计算得分矩阵，在得分矩阵的两个维度分别计算softmax，再计算特征的匹配概率矩阵，选取匹配概率矩阵中高于设定值的数据，进一步采用互近邻MNN方法筛选匹配的粗粒度特征。
作为进一步的限定，细粒度特征匹配，包括：
对于每一个匹配的粗粒度特征
在第一细粒度特征和第二细粒度特征确定映射位置
然后以
为中心选取局部窗口，将该局部窗口的细粒度特征输入由一组自注意力层和交叉注意力层组成的特征转换模块，输出特征
计算
的中心向量与
的所有向量的相关性，所述相关性代表位置
处的特征与
邻域每个像素的匹配概率，通过计算匹配概率的期望，得到匹配特征在图像IB上的亚像素级位置
通过统计所有匹配结果
得到最终细粒度特征匹配结果。
本发明第二方面提供了一种红外与可见光图像融合的光伏缺陷检测系统。
一种红外与可见光图像融合的光伏缺陷检测系统，包括：
图像配准模块，被配置为：对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；
图像融合模块，被配置为：根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；
缺陷检测模块，被配置为：根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果。
本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤。
本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明创新性的提出了一种红外与可见光图像融合的光伏缺陷检测方法，使用无检测的特征匹配方法进行图像配准，不仅基于局部邻域，而且考虑了更大的全局上下文信息，与基于检测的配准方法相比，在低纹理、运动模糊或模糊区域也可以产生高效匹配，为图像的精确融合提供了基础，显著提升了目标检测效果。
2、本发明基于Transformer的自注意力层和交叉注意力层组成特征转换生成图像特征描述，兼顾局部邻域与全局感受野，可以在弱纹理区域产生密集匹配；基于无检测的特征匹配方法进行图像配准，避免了特征检测器感兴趣点提取不足的问题；将红外与可见光图像先融合再进行目标检测，可利用两种图像信息的互补性提升缺陷目标的可识别性。
3、本发明在粗、细粒度两种尺度进行图像配准，既考虑了局部特征，又结合了全局上下文信息，有助于精确特征匹配；光伏组件重复性高，纹理差异小，将红外与可见光图像先融合再进行目标检测可利用两种图像信息的互补性提升缺陷目标的可识别性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的红外与可见光图像融合的光伏缺陷检测方法的流程示意图。
图2为本发明实施例1提供的局部特征提取网络示意图。
图3为本发明实施例1提供的特征转换网络示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本发明实施例1提供了一种基于红外与可见光图像融合的光伏缺陷检测方法，使用无检测的特征匹配方法进行图像配准；其中图像配准包括局部特征提取、特征转换、粗粒度特征匹配、细粒度特征匹配，该配准方法不仅基于局部邻域，而且考虑了更大的全局上下文信息。与基于检测的配准方法相比，在低纹理、运动模糊或模糊区域也可以产生高效匹配，为图像精确融合提供基础，显著提升目标检测效果。
具体的，所述光伏缺陷检测方法，包括：
S1：图像配准
采用无人机搭载双光相机同时拍摄光伏组件图像，同一位置的红外图像与可见光图像分别用IA、IB表示。
S1.1：局部特征提取
如图2所示，以Resnet18为骨干网络，结合特征金字塔FPN分别对输入图像IA、IB进行不同尺度的特征提取，流程如图所示。
具体过程是：输入图像经过3组卷积(Layer1、Layer2、Layer3)运算得到粗粒度特征，其中每组卷积包括两个卷积核为3的卷积层，第一个卷积层的步长为2，第二个卷积层的步长为1，经过3组卷积运算后，粗粒度特征分辨率为输入图像的1/8，记为
(即第一粗粒度特征)、
(即第二粗粒度特征)；
将Layer3输出特征进行2倍上采样与Layer2输出特征进行融合，再次进行2倍上采样与Layer1输出特征进行融合得到细粒度特征，细粒度特征分辨率为输入图像的1/2，记为
(即第一细粒度特征)、
(即第二细粒度特征)；
S1.2：特征转换模块
特征转换模块参考transformer中的注意力机制，由四组self-attention层(自注意力层)和cross-attention层(交叉注意力层)组成，如图3所示；
图像配准是基于两组图像特定位置的同名点进行匹配，Transformer来源于自然语言处理领域，在机器翻译时，单词的位置和顺序定义了语法，也影响了语义。参考这一思想，对输入特征转换模块的待匹配特征进行位置编码有助于在图像纹理不明显区域提取易于匹配的特征；
本实施例中首先对粗粒度特征进行flatten操作得到一维向量，应用正弦函数sin对粗粒度特征进行位置编码，将flatten后的粗粒度特征以及位置编码后的粗粒度特征进行拼接输入特征转换模块，输出依赖于位置信息的特征
S1.3：粗粒度特征匹配
首先将
特征进行归一化，将归一化后的特征相乘计算相似度得分，用二维矩阵S表示，然后在得分矩阵的行列两个维度分别计算softmax将得分转化为概率，再通过式(1)得到矩阵中位置(i,j)处的特征匹配概率Pc(i,j)，其中S(i,·)表示取矩阵中i行的所有值，同理，S(·,j)表示j列的所有值，最终得到所有位置的匹配概率矩阵Pc：
Pc(i,j)＝softmax(S(i,·))j·softmax(S(·,j))i (1)
选取匹配概率矩阵中高于0.2的数据，进一步采用互近邻MNN方法筛选匹配点，匹配矩阵Mc计算如式(2)所述，其中，
表示Pc中位置(i,j)处不小于0.2的匹配概率，MNN(Pc)表示对Pc应用互近邻准则，匹配矩阵的引入为后续细粒度特征进行位置映射提供了支撑，是由粗到细转换的基础。
S1.4：细粒度特征匹配
细粒度特征匹配采用了一种基于相关性的方法。首先对于每一个匹配的粗粒度特征
在细粒度特征
确定映射位置
然后以
为中心选取5×5大小的局部窗口，将该局部窗口的细粒度特征输入由一组自注意力层和交叉注意力层组成的特征转换模块，输出特征
计算
的中心向量与
的所有向量的相关性heatmap，此时的heatmap代表了位置
处的特征与
邻域每个像素的匹配概率，通过计算匹配概率的期望，可以得到匹配特征在图像IB上的亚像素级位置
通过统计所有匹配结果
得到最终细粒度特征匹配结果Mf。
S2：图像融合
S2.1：根据图像配准过程中细粒度匹配结果计算透射变换矩阵；
S2.2：利用透射变换矩阵调用opencv中的warpPerspective方法对红外图像进行透射变换；
S2.3：将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果。
S3：目标识别
S3.1：基于图像融合结果标注缺陷，训练识别模型；
S3.2：识别模型输入为可见光图像叠加红外图像的四通道数据。
S4：缺陷核验
导出红外图像温度数据，根据缺陷识别位置，对应找出温度数据，依据经验温度核实缺陷。
实施例2：
本发明实施例2提供了一种红外与可见光图像融合的光伏缺陷检测系统，包括：
图像配准模块，被配置为：对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；
图像融合模块，被配置为：根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；
缺陷检测模块，被配置为：根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果。
所述系统的工作方法与实施例1提供的红外与可见光图像融合的光伏缺陷检测方法相同，这里不再赘述。
实施例3：
本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤。
实施例4：
本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种红外与可见光图像融合的光伏缺陷检测方法，其特征在于，包括以下过程：
对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；
根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；
根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果。
2.如权利要求1所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
根据图像配准结果得到红外图像的透射变换结果，包括：根据图像配准结果计算透射变换矩阵，利用透射变换矩阵对红外图像进行透射变换，得到透射变换结果。
3.如权利要求1所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
局部特征提取，包括：
以Resnet18为骨干网络，结合FPN网络进行特征提取，粗粒度特征分辨率为输入图像的1/8，得到第一粗粒度特征和第二粗粒度特征，细粒度特征分辨率为输入图像的1/2，得到第一细粒度特征和第二细粒度特征。
4.如权利要求3所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
输入图像依次经过三个卷积运算模块得到粗粒度特征，其中每个卷积运算模块均包括两个卷积层，经过三个卷积运算模块的卷积运算后，粗粒度特征分辨率为输入图像的1/8；
将第三个卷积运算模块的输出特征进行2倍上采样与第二个卷积运算模块的输出特征进行融合，再次进行两倍上采样后与第一个卷积运算模块的输出特征进行融合得到细粒度特征，细粒度特征分辨率为输入图像的1/2。
5.如权利要求3所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
特征转换，包括：
对粗粒度特征应用正弦形式得到位置编码，将位置编码后的粗粒度特征以及flatten后的粗粒度特征进行拼接，拼接之后进行特征转换，得到依赖于位置信息的第一粗粒度转换特征和第二粗粒度转换特征；其中，利用Transformer的自注意力层和交叉注意力层进行特征转换。
6.如权利要求3所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
粗粒度特征匹配，包括：
将第一粗粒度转换特征和第二粗粒度转换特征进行归一化，通过矩阵乘法计算得分矩阵，在得分矩阵的两个维度分别计算softmax，再计算特征的匹配概率矩阵，选取匹配概率矩阵中高于设定值的数据，进一步采用互近邻MNN方法筛选匹配的粗粒度特征。
7.如权利要求3所述的红外与可见光图像融合的光伏缺陷检测方法，其特征在于，
细粒度特征匹配，包括：
对于每一个匹配的粗粒度特征
在第一细粒度特征和第二细粒度特征确定映射位置
然后以
为中心选取局部窗口，将该局部窗口的细粒度特征输入由一组自注意力层和交叉注意力层组成的特征转换模块，输出特征
计算
的中心向量与
的所有向量的相关性，所述相关性代表位置
处的特征与
邻域每个像素的匹配概率，通过计算匹配概率的期望，得到匹配特征在图像IB上的亚像素级位置
通过统计所有匹配结果
得到最终细粒度特征匹配结果。
8.一种红外与可见光图像融合的光伏缺陷检测系统，其特征在于，包括：
图像配准模块，被配置为：对光伏组件的红外图像和可见光图像依次进行局部特征提取、特征转换、粗粒度特征匹配和细粒度特征匹配，得到图像配准结果；
图像融合模块，被配置为：根据图像配准结果得到红外图像的透射变换结果，将红外图像透射变换结果与可见光图像等比例加权融合得到图像融合结果；
缺陷检测模块，被配置为：根据得到的图像融合结果以及预设深度学习模型，得到光伏缺陷检测结果。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的红外与可见光图像融合的光伏缺陷检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425124.5A CN115578378A (zh) | 2022-11-15 | 2022-11-15 | 红外与可见光图像融合的光伏缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425124.5A CN115578378A (zh) | 2022-11-15 | 2022-11-15 | 红外与可见光图像融合的光伏缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115578378A true CN115578378A (zh) | 2023-01-06 |
Family
ID=84589544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211425124.5A Pending CN115578378A (zh) | 2022-11-15 | 2022-11-15 | 红外与可见光图像融合的光伏缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578378A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385449A (zh) * | 2023-06-07 | 2023-07-04 | 江阴市华明电力发展集团有限公司 | 光伏基站全天候智能化视频监控系统 |
| CN117197197A (zh) * | 2023-10-27 | 2023-12-08 | 安徽容知日新科技股份有限公司 | 目标物温度检测方法、装置、电子设备及可读存储介质 |
| CN117557605A (zh) * | 2023-12-29 | 2024-02-13 | 中国科学院长春光学精密机械与物理研究所 | 红外与可见光遥感图像的配准方法 |
| CN117745537A (zh) * | 2024-02-21 | 2024-03-22 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置、计算机设备和存储介质 |
-
2022
- 2022-11-15 CN CN202211425124.5A patent/CN115578378A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385449A (zh) * | 2023-06-07 | 2023-07-04 | 江阴市华明电力发展集团有限公司 | 光伏基站全天候智能化视频监控系统 |
| CN116385449B (zh) * | 2023-06-07 | 2023-08-01 | 江阴市华明电力发展集团有限公司 | 光伏基站全天候智能化视频监控系统 |
| CN117197197A (zh) * | 2023-10-27 | 2023-12-08 | 安徽容知日新科技股份有限公司 | 目标物温度检测方法、装置、电子设备及可读存储介质 |
| CN117557605A (zh) * | 2023-12-29 | 2024-02-13 | 中国科学院长春光学精密机械与物理研究所 | 红外与可见光遥感图像的配准方法 |
| CN117745537A (zh) * | 2024-02-21 | 2024-03-22 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置、计算机设备和存储介质 |
| CN117745537B (zh) * | 2024-02-21 | 2024-05-17 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462126B (zh) | 一种基于边缘增强的语义图像分割方法及系统 | |
| CN115578378A (zh) | 红外与可见光图像融合的光伏缺陷检测方法 | |
| CN107527007B (zh) | 在车辆图像处理系统中检测关注对象的方法 | |
| CN113807187B (zh) | 基于注意力特征融合的无人机视频多目标跟踪方法 | |
| Chandio et al. | Precise single-stage detector | |
| Hoang et al. | Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning | |
| Kim et al. | GAN-based synthetic data augmentation for infrared small target detection | |
| CN107491731A (zh) | 一种面向精确打击的地面运动目标检测与识别方法 | |
| Wang et al. | MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN110598746A (zh) | 一种基于ode求解器自适应的场景分类方法 | |
| CN114550014A (zh) | 道路分割方法及计算机装置 | |
| Zhang et al. | Small target detection based on squared cross entropy and dense feature pyramid networks | |
| CN117576724A (zh) | 一种无人机飞鸟检测方法、系统、设备和介质 | |
| CN115240121B (zh) | 一种用于增强行人局部特征的联合建模方法和装置 | |
| CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 | |
| CN111079585A (zh) | 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法 | |
| Sebastian et al. | Adversarial loss for semantic segmentation of aerial imagery | |
| CN115995027A (zh) | 自监督场景变化检测方法、系统及计算机可读介质 | |
| CN110443817B (zh) | 一种提高图像分割精度的方法 | |
| Jiang et al. | Deep Learning-Based Scene Text Image Super-Resolution Methods: A Survey | |
| Lu et al. | A Robust Vehicle Detection Method in Thermal Images Based on Deep Learning | |
| Song et al. | ResNet with global and local image features, stacked pooling block, for semantic segmentation | |
| Ying et al. | GPK-YOLOv5s: Content-Aware Reassembly of Features and Self Attention for High Altitude Parabolic Detection and Tracking | |
| Li et al. | MarsSeg: Mars Surface Semantic Segmentation with Multi-level Extractor and Connector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |