CN115035168A - 基于多约束的光伏面板多源图像配准方法、装置及系统 - Google Patents

基于多约束的光伏面板多源图像配准方法、装置及系统 Download PDF

Info

Publication number
CN115035168A
CN115035168A CN202210972943.5A CN202210972943A CN115035168A CN 115035168 A CN115035168 A CN 115035168A CN 202210972943 A CN202210972943 A CN 202210972943A CN 115035168 A CN115035168 A CN 115035168A
Authority
CN
China
Prior art keywords
image
visible light
characteristic point
characteristic
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210972943.5A
Other languages
English (en)
Other versions
CN115035168B (zh
Inventor
汪俊
闫号
戴佳佳
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210972943.5A priority Critical patent/CN115035168B/zh
Publication of CN115035168A publication Critical patent/CN115035168A/zh
Application granted granted Critical
Publication of CN115035168B publication Critical patent/CN115035168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及机器视觉和图像处理技术领域，解决了光伏面板纹理重复度高且多源图像成像原理不同，导致难以配准的技术问题，尤其涉及一种基于多约束的光伏面板多源图像配准方法，包括：获取图像采集设备所采集到的红外图像和可见光图像；对红外图像和可见光图像进行预处理；根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐；提取红外图像和可见光图像的特征点集和特征点的描述子；基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配得到最终匹配的特征点对集合；进行图像配准。本发明可自动化配准光伏面板红外图像和可见光图像，降低人为主观干扰，减少配准失败的情况，提高了光伏电站维护效率。

Description

基于多约束的光伏面板多源图像配准方法、装置及系统
技术领域
本发明涉及机器视觉和图像处理技术领域，尤其涉及基于多约束的光伏面板多源图像配准方法、装置及系统。
背景技术
传统的光伏面板巡检方式为人工目视巡检，但随着光伏电站规模的日益增长，巨大的光伏发电面积给人工巡检带来了很大的挑战，为此，市面上出现了无人机巡检方法，而无人机巡检方法的关键在于光伏面板多源图像配准的精度。
根据现有的多源图像配准方法的特性，可将这些方法分为直接求解类和评价优化类，但是，现有的多源图像配准方法存在成像原理不同、纹理特征重复度高导致难以配准等问题。因此，本申请提出基于多约束的光伏面板多源图像配准方法、装置及系统。
发明内容
针对现有技术的不足，本发明提供了基于多约束的光伏面板多源图像配准方法、装置及系统，解决了光伏面板纹理重复度高且多源图像成像原理不同，从而导致难以配准的技术问题，达到了为后续的图像融合及缺陷检测作出突出贡献的目的。
为解决上述技术问题，本发明提供了如下技术方案：一种基于多约束的光伏面板多源图像配准方法，包括以下步骤：
S11、获取由图像采集设备所采集到的红外图像和可见光图像；
S12、对采集到的红外图像和可见光图像进行图像预处理；
S13、根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐；
S14、提取红外图像和可见光图像的特征点集和特征点的描述子；
S15、基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配及筛选，得到最终匹配的特征点对集合；
S16、根据所述最终匹配的特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
进一步地，步骤S12中所述图像预处理包括对采集到的红外图像和可见光图像去畸变、模糊度筛选和方向性筛选。
进一步地，所述步骤S14具体包括以下步骤：
S141、根据角点检测算法分别检测所述红外图像和可见光图像的角点，并加入对应的特征点集；
S142、根据霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线并提取相交直线的交点，若形成交点的两条直线相垂直，则将该交点作为特征点加入对应的所述特征点集；
S143、提取所述红外图像和可见光图像的特征点集中各特征点的描述子。
进一步地，所述步骤S15具体包括以下步骤：
S151、对红外图像的特征点集中的特征点，遍历可见光图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 778804DEST_PATH_IMAGE001
；并对可见光图像的特征点集中的特征点，遍历红外图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 275645DEST_PATH_IMAGE002
；
S152、基于互易性约束筛选对特征点对集合
Figure 457227DEST_PATH_IMAGE001
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 912479DEST_PATH_IMAGE003
；
S153、基于距离约束筛选对特征点对集合
Figure 546723DEST_PATH_IMAGE003
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 549052DEST_PATH_IMAGE004
；
S154、基于相似性约束筛选对特征点对集合
Figure 850720DEST_PATH_IMAGE004
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 742453DEST_PATH_IMAGE005
。
进一步地，所述步骤S11之前还包括步骤S10，所述步骤S10具体为对图像采集设备进行标定，获得图像采集设备的参数。
本发明还提供了另一个技术方案：一种基于多约束的光伏面板多源图像配准装置，包括：
图像获取模块，所述图像获取模块用于获取由图像采集设备所采集到的红外图像和可见光图像；
图像预处理模块，所述图像预处理模块用于对采集到的红外图像和可见光图像进行图像预处理；
初始预对齐模块，所述初始预对齐模块用于根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐；
特征点提取模块，所述特征点提取模块用于提取红外图像和可见光图像的特征点集和特征点的描述子；
特征点匹配模块，所述特征点匹配模块用于基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配，得到最终匹配的特征点对集合；
图像配准模块，所述图像配准模块用于根据所述特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
进一步地，所述特征点提取模块具体包括：
角点提取单元，所述角点提取单元用于根据角点检测算法分别检测所述红外图像和可见光图像的角点；
交点提取单元，所述交点提取单元用于根据霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线并提取直线的交点；
描述子提取单元，所述描述子提取单元用于提取所述红外图像和可见光图像的特征点集中各特征点的描述子。
进一步地，所述特征点匹配模块具体包括：
特征点粗匹配单元，所述特征点粗匹配单元用于对红外图像的特征点集中的特征点，遍历可见光图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 67255DEST_PATH_IMAGE001
；并对可见光图像的特征点集中的特征点，遍历红外图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 702636DEST_PATH_IMAGE002
；
互易性约束筛选单元，所述互易性约束筛选单元用于基于互易性约束筛选对特征点对集合
Figure 62073DEST_PATH_IMAGE001
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 859127DEST_PATH_IMAGE003
；
距离约束筛选单元，所述距离约束筛选单元用于基于距离约束筛选对特征点对集合
Figure 733543DEST_PATH_IMAGE003
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 844718DEST_PATH_IMAGE004
；
相似性约束筛选单元，所述相似性约束筛选单元用于基于相似性约束筛选对特征点对集合
Figure 120979DEST_PATH_IMAGE004
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 88935DEST_PATH_IMAGE005
。
进一步地，还包括图像采集设备参数获取模块，所述图像采集设备参数获取模块用于对图像采集设备进行标定，获取图像采集设备的参数。
本发明还提供了另一个技术方案：一种用于实现基于约束的光伏面板多源图像配准方法的系统，包括图像采集设备和计算机设备；
所述图像采集设备与计算机设备建立数据通信，图像采集设备用于采集红外图像和可见光图像；
所述计算机设备包含至少一个处理器和存储器，用于接收图像采集设备所采集的红外图像和可见光图像，通过处理器调用并运行存储器内的图像匹配算法对输入的图像进行配准处理。
借由上述技术方案，本发明提供了基于多约束的光伏面板多源图像配准方法、装置及系统，至少具备以下有益效果：
1、本发明通过对采集到的红外图像和可见光图像进行预处理及初始预对齐后提取对应图像的特征点，然后通过采用粗匹配方法对红外图像和可见光图像的特征点进行粗匹配，再依次采用互易性约束筛选、距离约束筛选和相似性约束筛选对粗匹配得到的特征点对进行筛选，最后根据最终匹配的特征点对集合可有效完成红外图像和可见光图像匹配，减少了配准失败的情况，从而提高了光伏电站维护效率。
2、本发明通过搭载已标定相机的无人机进行光伏面板图像采集，并通过基于多约束的图像匹配算法自动化配准光伏面板红外图像和可见光图像，降低了认为主观性的干扰，提高了光伏面板维护过程中的智能化检测水平，具有较高的社会价值和应用前景。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明光伏面板多源图像配准方法的流程图；
图2为本发明光伏面板多源图像配准方法所采集的数据；
图3为本发明光伏面板多源图像配准方法中图像预处理的流程图；
图4为本发明光伏面板多源图像配准方法中提取特征点的流程图；
图5为本发明光伏面板多源图像配准方法中基于多约束筛选的特征点匹配的流程图；
图6为本发明光伏面板多源图像配准方法的配准结果；
图7为本发明光伏面板多源图像配准装置的原理框图；
图8为本发明光伏面板多源图像配准装置中特征点提取模块的原理框图；
图9为本发明光伏面板多源图像配准装置中特征点匹配模块的原理框图；
图10为本发明光伏面板多源图像配准系统的原理框图。
图中：10、图像获取模块；20、图像预处理模块；30、初始预对齐模块；40、特征点提取模块；410、角点提取单元；420、交点提取单元；430、描述子提取单元；50、特征点匹配模块；510、特征点粗匹配单元；520、互易性约束筛选单元；530、距离约束筛选单元；540、相似性约束筛选单元；60、图像配准模块；70、图像采集设备参数获取模块；100、图像采集设备；200、计算机设备。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图6，示出了根据本实施例的一种基于多约束的光伏面板多源图像配准方法，如图1所示，具体包括以下步骤：
S10、对图像采集设备进行标定，获得图像采集设备的参数。
本实施例中，图像采集设备使用的是安装在无人机上的红外相机和可见光相机，通过使用可见光相机标定板和红外相机标定板分别对对应的相机进行标定，获取红外相机和可见光相机的参数。
需要说明的是，对图像采集设备进行标定时所使用的标定方法为张氏标定法，所采用的无人机型号为大疆M300RTK搭载禅思H20T。
S11、获取由图像采集设备所采集到的红外图像和可见光图像。
具体的，通过无人机搭载已标定的红外相机和可见光相机执行提前规划完成的航线进行光伏面板数据采集，采集得到光伏面板的红外图像（图2中的（a）所示）与可见光图像（图2中的（b）所示），同时将采集得到的红外图像与可见光图像传输至图像处理设备，则图像处理设备中的处理器调用图像配准算法获取图像。
S12、对采集到的红外图像和可见光图像进行图像预处理。
本实施例中，图像预处理包括对采集到的红外图像和可见光图像去畸变、模糊度筛选和方向性筛选，如图3所示。
S121、图像去畸变，即根据图像采集设备的参数对红外图像和可见光图像去畸变。
具体的，建立径向畸变模型和切向畸变模型。径向畸变模型由泰勒展开式得出：
Figure 388329DEST_PATH_IMAGE006
Figure 365512DEST_PATH_IMAGE007
其中，
Figure 230700DEST_PATH_IMAGE008
，
Figure 369557DEST_PATH_IMAGE009
分别代表x，y方向的径向畸变，
Figure 952985DEST_PATH_IMAGE010
为带畸变图像像素的实际坐标；
Figure 140384DEST_PATH_IMAGE011
，
Figure 860079DEST_PATH_IMAGE012
，
Figure 169837DEST_PATH_IMAGE013
为径向畸变公式中的系数，又叫红外相机或可见光相机的参数，即
Figure 240561DEST_PATH_IMAGE011
，
Figure 526924DEST_PATH_IMAGE012
，
Figure 366704DEST_PATH_IMAGE013
为相机透镜原因，光学中心畸变为0，随着向外扩散畸变越变越严重，其畸变遵循上式；
Figure 847364DEST_PATH_IMAGE014
，表示r为坐标x，y到原点的距离。
切向畸变模型为：
Figure 405384DEST_PATH_IMAGE015
Figure 669006DEST_PATH_IMAGE016
其中，
Figure 628872DEST_PATH_IMAGE017
，
Figure 749275DEST_PATH_IMAGE018
分别代表x，y方向的切向畸变，
Figure 529012DEST_PATH_IMAGE010
为带畸变图像像素的实际坐标；K为常数；
Figure 189801DEST_PATH_IMAGE019
，
Figure 207435DEST_PATH_IMAGE020
为切向畸变公式中的系数，又叫切向畸变参数，即
Figure 295477DEST_PATH_IMAGE019
，
Figure 562510DEST_PATH_IMAGE020
是摄像机安装造成的，当透镜平面不完全平行于图像平面的时候产生；
Figure 964673DEST_PATH_IMAGE021
，表示r为坐标x，y到原点的距离。
则理想坐标
Figure 633551DEST_PATH_IMAGE022
可以表示为：
Figure 626915DEST_PATH_IMAGE023
Figure 115665DEST_PATH_IMAGE024
代入可得：
Figure 852677DEST_PATH_IMAGE025
根据红外相机和可见光相机的参数，对采集到的红外图像和可见光图像去畸变。
S122、模糊度筛选，即剔除虚焦的图像。
具体的，首先将红外图像和可见光图像转化为灰度图像，再将灰度图像与拉普拉斯3×3卷积核作用得到响应图，计算响应图的方差；如果响应图的方差小于预设阈值，则认为图像模糊，并从采集的数据中删除该图像。本实施例中，此处所述预设阈值设定为100。
S123、方向性筛选，即剔除不含光伏面板的图像。
具体的，基于光伏面板的规则性，则含有光伏面板的图像中直线较多且方向固定，而不含光伏面板的边缘区域图像直线较少且方向不固定。
通过利用霍夫直线方法检测红外图像和可见光图像中的直线，并统计其斜率的直方图，当直方图的高度小于给定阈值时，则认为该图像中不包含光伏面板，从采集的数据中删除该图像。本实施例中，此处所述给定阈值设定为20。
S13、根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐。
具体的，设红外图像坐标系中的坐标为
Figure 579325DEST_PATH_IMAGE026
，在地心地固坐标系
Figure 274748DEST_PATH_IMAGE027
中的坐标为
Figure 516374DEST_PATH_IMAGE028
，则存在如下变换关系：
Figure 791497DEST_PATH_IMAGE029
其中，
Figure 402345DEST_PATH_IMAGE030
为相机坐标系中的坐标，即
Figure 940774DEST_PATH_IMAGE031
中的Z轴坐标；
Figure 935274DEST_PATH_IMAGE032
和
Figure 14089DEST_PATH_IMAGE033
为相机x与y方向的焦距，且通常相等；
Figure 512066DEST_PATH_IMAGE034
，
Figure 283713DEST_PATH_IMAGE035
为相机坐标原点在图像坐标系中的坐标；R和t可由拍摄图像时红外相机的POS数据求解得到，且R和t分别是地心地固坐标系
Figure 234352DEST_PATH_IMAGE036
到红外相机坐标系
Figure 788961DEST_PATH_IMAGE037
的旋转和平移，从而可将红外图像在地心地固坐标系
Figure 407024DEST_PATH_IMAGE036
中的坐标
Figure 552835DEST_PATH_IMAGE038
转换到红外相机坐标系
Figure 990769DEST_PATH_IMAGE037
；矩阵
Figure 411386DEST_PATH_IMAGE039
为红外相机的内参矩阵，通过内参矩阵
Figure 352797DEST_PATH_IMAGE039
可将红外相机坐标系下的空间点投影到像素坐标系上。
同理，通过上述操作可将可见光图像在地心地固坐标系中的坐标转换到可见光相机坐标系，并将可见光相机坐标系下的空间点投影至像素坐标系上。
最后，利用红外图像和可见光图像在地心地固坐标系中的位置，可对红外图像和可见光图像进行初始预对齐，并以红外图像为基准改变可见光图像的尺度。
S14、提取红外图像和可见光图像的特征点集和特征点的描述子，其中，特征点提取是指提取图像中的信息，决定每个图像中的点是否属于一个图像特征，如图4所示，具体包括以下步骤：
S141、根据角点检测算法分别检测所述红外图像和可见光图像的角点，并加入对应的特征点集。
具体的，使用CSS（CurvatureScaleSpace）角点检测算法分别检测所述红外图像和可见光图像的角点，并加入对应的特征点集作为特征点集的一部分。
S142、根据霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线并提取直线的交点，若形成交点的两条直线相互垂直，则将该交点作为特征点加入对应的所述特征点集。
具体的，首先使用霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线，然后提取直线的交点，如果形成一个交点的两条直线垂直，则将该交点作为特征点加入对应的特征点集。
需要说明的是，上述两条直线相垂直是指若两条直线斜率相乘值在-1±0.1范围内，则可认为二者相垂直。
S143、提取所述红外图像和可见光图像的特征点集中各特征点的描述子。
具体的，根据SIFT算法提取所述红外图像和可见光图像的特征点集中各特征点的SIFT描述子。
S15、基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配及筛选，得到最终匹配的特征点对集合，如图5所示，具体包括以下步骤：
S151、对红外图像和可见光图像的特征点集中的特征点进行粗匹配。
具体的，对于红外图像的特征点集
Figure 731826DEST_PATH_IMAGE040
中的每个特征点
Figure 860319DEST_PATH_IMAGE041
，遍历可见光图像的特征点集
Figure 84627DEST_PATH_IMAGE042
，寻找与其欧氏距离最近的特征点
Figure 146124DEST_PATH_IMAGE043
，形成一个点对
Figure 430475DEST_PATH_IMAGE044
并存储至特征点对集合
Figure 843002DEST_PATH_IMAGE001
；对于可见光图像的特征点集
Figure 307219DEST_PATH_IMAGE042
中的每个特征点
Figure 754381DEST_PATH_IMAGE045
，遍历红外图像的特征点集
Figure 944054DEST_PATH_IMAGE040
，寻找与其欧氏距离最近的特征点
Figure 843876DEST_PATH_IMAGE046
，形成一个点对
Figure 409987DEST_PATH_IMAGE047
并存储至特征点对集合
Figure 711655DEST_PATH_IMAGE048
；
S152、基于互易性约束筛选对特征点对集合
Figure 744333DEST_PATH_IMAGE001
中的特征点对进行筛选。
具体的，对于特征点对集合
Figure 397032DEST_PATH_IMAGE001
中的点对
Figure 970095DEST_PATH_IMAGE049
，若集合
Figure 860691DEST_PATH_IMAGE048
中存在
Figure 657746DEST_PATH_IMAGE050
，则点对
Figure 266582DEST_PATH_IMAGE051
通过筛选并存储至特征点对集合
Figure 174495DEST_PATH_IMAGE003
；
S153、基于距离约束筛选对特征点对集合
Figure 388438DEST_PATH_IMAGE003
中的特征点对进行筛选。
具体的，基于步骤S13中所述初始预对齐，计算集合
Figure 356394DEST_PATH_IMAGE003
中点对
Figure 452526DEST_PATH_IMAGE052
的像素欧式距离
Figure 164130DEST_PATH_IMAGE053
，若距离
Figure 763739DEST_PATH_IMAGE053
小于第一阈值，则认为
Figure 105859DEST_PATH_IMAGE054
通过筛选并存储至特征点对集合
Figure 689287DEST_PATH_IMAGE004
，本实施例中，所述第一阈值设定为图像分辨率的1/10。
S154、基于相似性约束筛选对特征点对集合
Figure 204582DEST_PATH_IMAGE004
中的特征点对进行筛选。
具体的，计算集合
Figure 189855DEST_PATH_IMAGE004
中点对
Figure 499614DEST_PATH_IMAGE055
的SIFT描述符的欧氏距离，若距离
Figure 570338DEST_PATH_IMAGE056
小于第二阈值，则认为
Figure 794384DEST_PATH_IMAGE057
通过筛选并存入最终匹配的特征点对集合
Figure 899743DEST_PATH_IMAGE005
，本实施例中，所述第二阈值设定为1.5。
S16、根据最终匹配的特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
首先，根据随机抽样一致（RANSAC）算法对步骤S154中得到的集合
Figure 380403DEST_PATH_IMAGE005
中所有点进行拟合，得到红外图像和可见光图像的空间变换参数；然后，根据所述空间变换参数进行配准，得到与红外图像配准后的可见光图像，如图6所示。
请参照图7-图9，本发明还提供了另一个技术方案：一种基于多约束的光伏面板多源图像配准装置，如图7所示，具体包括：
图像获取模块10，图像获取模块10用于获取由图像采集设备所采集到的红外图像和可见光图像。
图像预处理模块20，图像预处理模块20用于对采集到的红外图像和可见光图像进行图像预处理。
初始预对齐模块30，初始预对齐模块30用于根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐。
特征点提取模块40，特征点提取模块40用于提取红外图像和可见光图像的特征点集和特征点的描述子。如图8所示，特征点提取模块40包括：
角点提取单元410，角点提取单元410用于根据角点检测算法分别检测红外图像和可见光图像的角点；
交点提取单元420，交点提取单元420用于根据霍夫直线检测算法分别检测红外图像和可见光图像中的直线并提取直线的交点；
描述子提取单元430，描述子提取单元430用于提取红外图像和可见光图像的特征点集中各特征点的描述子。
特征点匹配模块50，特征点匹配模块50用于基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配，得到最终匹配的特征点对集合。如图9所示，特征点匹配模块50包括：
特征点粗匹配单元510，特征点粗匹配单元510用于对红外图像的特征点集中的特征点，遍历可见光图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 672844DEST_PATH_IMAGE001
；并对可见光图像的特征点集中的特征点，遍历红外图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 529942DEST_PATH_IMAGE002
；
互易性约束筛选单元520，互易性约束筛选单元520用于基于互易性约束筛选对特征点对集合
Figure 224228DEST_PATH_IMAGE001
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 813472DEST_PATH_IMAGE003
；
距离约束筛选单元530，距离约束筛选单元530用于基于距离约束筛选对特征点对集合
Figure 858789DEST_PATH_IMAGE003
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 457260DEST_PATH_IMAGE004
；
相似性约束筛选单元540，相似性约束筛选单元540用于基于相似性约束筛选对特征点对集合
Figure 271633DEST_PATH_IMAGE004
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 562937DEST_PATH_IMAGE005
。
图像配准模块60，图像配准模块60用于根据特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
请参照图10，本发明还提供了另一个技术方案：一种用于实现基于约束的光伏面板多源图像配准方法的系统，包括图像采集设备100和计算机设备200；
图像采集设备100与计算机设备200建立数据通信，图像采集设备100用于采集红外图像和可见光图像；
计算机设备200包含至少一个处理器和存储器，用于接收图像采集设备100所采集的红外图像和可见光图像，通过处理器调用并运行存储器内的图像匹配算法对输入的图像进行配准处理。
通过本实施例，采用搭载已标定相机的无人机进行光伏面板图像采集，先对采集到的红外图像和可见光图像进行预处理及初始预对齐后提取对应图像的特征点，然后通过采用粗匹配方法对红外图像和可见光图像的特征点进行粗匹配，再依次采用互易性约束筛选、距离约束筛选和相似性约束筛选对粗匹配得到的特征点对进行筛选，最后根据最终匹配的特征点对集合可有效完成红外图像和可见光图像匹配，实现了图像自动配准，提高了光伏面板维护过程中的智能化检测水平，降低了认为主观性的干扰，减少了配准失败的情况，从而提高了光伏电站维护效率，具有较高的社会价值和应用前景。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于多约束的光伏面板多源图像配准方法，其特征在于，包括以下步骤：
S11、获取由图像采集设备所采集到的红外图像和可见光图像；
S12、对采集到的红外图像和可见光图像进行图像预处理；
S13、根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐；
S14、提取红外图像和可见光图像的特征点集和特征点的描述子；
S15、基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配，得到最终匹配的特征点对集合；
S16、根据所述最终匹配的特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
2.根据权利要求1所述的光伏面板多源图像配准方法，其特征在于，步骤S12中所述图像预处理包括对采集到的红外图像和可见光图像去畸变、模糊度筛选和方向性筛选。
3.根据权利要求1所述的光伏面板多源图像配准方法，其特征在于，所述步骤S14具体包括以下步骤：
S141、根据角点检测算法分别检测所述红外图像和可见光图像的角点，并加入对应的特征点集；
S142、根据霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线并提取相交直线的交点，若形成交点的两条直线相垂直，则将该交点作为特征点加入对应的所述特征点集；
S143、提取所述红外图像和可见光图像的特征点集中各特征点的描述子。
4.根据权利要求1所述的光伏面板多源图像配准方法，其特征在于，所述步骤S15具体包括以下步骤：
S151、对红外图像的特征点集中的特征点，遍历可见光图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 837416DEST_PATH_IMAGE001
；并对可见光图像的特征点集中的特征点，遍历红外图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 36316DEST_PATH_IMAGE002
；
S152、基于互易性约束筛选对特征点对集合
Figure 908457DEST_PATH_IMAGE001
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 167400DEST_PATH_IMAGE003
；
S153、基于距离约束筛选对特征点对集合
Figure 656151DEST_PATH_IMAGE003
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 596425DEST_PATH_IMAGE004
；
S154、基于相似性约束筛选对特征点对集合
Figure 119810DEST_PATH_IMAGE004
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 549654DEST_PATH_IMAGE005
。
5.根据权利要求1所述的光伏面板多源图像配准方法，其特征在于，所述步骤S11之前还包括步骤S10，所述步骤S10具体为对图像采集设备进行标定，获取图像采集设备的参数。
6.一种基于多约束的光伏面板多源图像配准装置，其特征在于，包括：
图像获取模块（10），所述图像获取模块（10）用于获取由图像采集设备所采集到的红外图像和可见光图像；
图像预处理模块（20），所述图像预处理模块（20）用于对采集到的红外图像和可见光图像进行图像预处理；
初始预对齐模块（30），所述初始预对齐模块（30）用于根据图像采集设备的参数对红外图像和可见光图像进行初始预对齐；
特征点提取模块（40），所述特征点提取模块（40）用于提取红外图像和可见光图像的特征点集和特征点的描述子；
特征点匹配模块（50），所述特征点匹配模块（50）用于基于多约束筛选对红外图像和可见光图像的特征点集中的特征点进行匹配，得到最终匹配的特征点对集合；
图像配准模块（60），所述图像配准模块（60）用于根据所述特征点对集合对红外图像和可见光图像进行配准，得到与红外图像配准后的可见光图像。
7.根据权利要求6所述的光伏面板多源图像配准装置，其特征在于，所述特征点提取模块（40）具体包括：
角点提取单元（410），所述角点提取单元（410）用于根据角点检测算法分别检测所述红外图像和可见光图像的角点；
交点提取单元（420），所述交点提取单元（420）用于根据霍夫直线检测算法分别检测所述红外图像和可见光图像中的直线并提取直线的交点；
描述子提取单元（430），所述描述子提取单元（430）用于提取所述红外图像和可见光图像的特征点集中各特征点的描述子。
8.根据权利要求6所述的光伏面板多源图像配准装置，其特征在于，所述特征点匹配模块（50）具体包括：
特征点粗匹配单元（510），所述特征点粗匹配单元（510）用于对红外图像的特征点集中的特征点，遍历可见光图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 525701DEST_PATH_IMAGE001
；并对可见光图像的特征点集中的特征点，遍历红外图像的特征点集中的特征点，寻找与其欧氏距离最近的特征点形成点对进行粗匹配并存储至特征点对集合
Figure 66403DEST_PATH_IMAGE002
；
互易性约束筛选单元（520），所述互易性约束筛选单元（520）用于基于互易性约束筛选对特征点对集合
Figure 444295DEST_PATH_IMAGE001
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 982724DEST_PATH_IMAGE003
；
距离约束筛选单元（530），所述距离约束筛选单元（530）用于基于距离约束筛选对特征点对集合
Figure 977225DEST_PATH_IMAGE003
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 56039DEST_PATH_IMAGE004
；
相似性约束筛选单元（540），所述相似性约束筛选单元（540）用于基于相似性约束筛选对特征点对集合
Figure 554017DEST_PATH_IMAGE004
中的特征点对进行筛选，并将通过筛选的特征点对存储至特征点对集合
Figure 528926DEST_PATH_IMAGE005
。
9.根据权利要求6所述的光伏面板多源图像配准装置，其特征在于，还包括图像采集设备参数获取模块，所述图像采集设备参数获取模块用于对图像采集设备进行标定，获取图像采集设备的参数。
10.一种用于实现上述权利要1-5任一项所述的光伏面板多源图像配准方法的系统，其特征在于，包括图像采集设备（100）和计算机设备（200）；
所述图像采集设备（100）与计算机设备（200）建立数据通信，图像采集设备（100）用于采集红外图像和可见光图像；
所述计算机设备（200）包含至少一个处理器和存储器，用于接收图像采集设备（100）所采集的红外图像和可见光图像，通过处理器调用并运行存储器内的图像匹配算法对输入的图像进行配准处理。
CN202210972943.5A 2022-08-15 2022-08-15 基于多约束的光伏面板多源图像配准方法、装置及系统 Active CN115035168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972943.5A CN115035168B (zh) 2022-08-15 2022-08-15 基于多约束的光伏面板多源图像配准方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972943.5A CN115035168B (zh) 2022-08-15 2022-08-15 基于多约束的光伏面板多源图像配准方法、装置及系统

Publications (2)

Publication Number Publication Date
CN115035168A true CN115035168A (zh) 2022-09-09
CN115035168B CN115035168B (zh) 2022-11-11

Family

ID=83130202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972943.5A Active CN115035168B (zh) 2022-08-15 2022-08-15 基于多约束的光伏面板多源图像配准方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115035168B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385449A (zh) * 2023-06-07 2023-07-04 江阴市华明电力发展集团有限公司 光伏基站全天候智能化视频监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN113793372A (zh) * 2021-10-15 2021-12-14 中航华东光电有限公司 异源图像的优化配准方法及系统
CN114255197A (zh) * 2021-12-27 2022-03-29 西安交通大学 一种红外与可见光图像自适应融合对齐方法及系统
CN114612698A (zh) * 2022-02-28 2022-06-10 国网山东省电力公司电力科学研究院 一种基于层级匹配的红外与可见光图像配准方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN113793372A (zh) * 2021-10-15 2021-12-14 中航华东光电有限公司 异源图像的优化配准方法及系统
CN114255197A (zh) * 2021-12-27 2022-03-29 西安交通大学 一种红外与可见光图像自适应融合对齐方法及系统
CN114612698A (zh) * 2022-02-28 2022-06-10 国网山东省电力公司电力科学研究院 一种基于层级匹配的红外与可见光图像配准方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385449A (zh) * 2023-06-07 2023-07-04 江阴市华明电力发展集团有限公司 光伏基站全天候智能化视频监控系统
CN116385449B (zh) * 2023-06-07 2023-08-01 江阴市华明电力发展集团有限公司 光伏基站全天候智能化视频监控系统

Also Published As

Publication number Publication date
CN115035168B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN111222395B (zh) 目标检测方法、装置与电子设备
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN103048331B (zh) 基于柔性模板配准的印刷缺陷检测方法
CN107146200B (zh) 一种基于图像拼接质量评价的无人机遥感图像拼接方法
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN112509044A (zh) 一种基于点线特征融合的双目视觉slam方法
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN113012197A (zh) 一种适用于动态交通场景的双目视觉里程计定位方法
CN117635590B (zh) 一种笔记本电脑外壳的缺陷检测方法及装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN114897705A (zh) 一种基于特征优化的无人机遥感图像拼接方法
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN104966283A (zh) 图像分层配准方法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN112800806B (zh) 物体位姿检测追踪方法、装置、电子设备及存储介质
CN109741370B (zh) 一种目标跟踪方法和装置
CN116935013A (zh) 基于三维重建的电路板点云大范围拼接方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant