CN117152218A - 图像配准方法、装置、计算机设备和可读存储介质 - Google Patents

图像配准方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN117152218A
CN117152218A CN202310994433.2A CN202310994433A CN117152218A CN 117152218 A CN117152218 A CN 117152218A CN 202310994433 A CN202310994433 A CN 202310994433A CN 117152218 A CN117152218 A CN 117152218A
Authority
CN
China
Prior art keywords
image
feature
visible light
infrared image
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310994433.2A
Other languages
English (en)
Inventor
杨淼
韩旭峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chint Group R & D Center Shanghai Co ltd
Original Assignee
Chint Group R & D Center Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chint Group R & D Center Shanghai Co ltd filed Critical Chint Group R & D Center Shanghai Co ltd
Priority to CN202310994433.2A priority Critical patent/CN117152218A/zh
Publication of CN117152218A publication Critical patent/CN117152218A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像配准方法，方法包括：获取待配准的红外图像与可见光图像；基于红外图像和可见光图像中各像素点对应的经纬度信息，从可见光图像中提取红外图像对应的目标区域；提取红外图像中的第一特征，以及提取目标区域中的第二特征；根据第一特征和第二特征对红外图像与可见光图像进行配准，得到配准结果。本申请通过经纬度信息作为约束条件提取图像中物理空间重叠区域，从而后续在利用红外图像和目标区域中的特征信息完成对红外图像与可见光图像的配准过程中，能够实现更好的配准的效果。

Description

图像配准方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像配准方法、装置、计算机设备和可读存储介质。
背景技术
光伏组件是一种将太阳能转化为电能的装置，由于其具有高效、可靠、环保等优点，被广泛应用于太阳能发电系统中。近年来，随着红外成像技术的不断发展，光伏组件的红外成像技术也逐渐得到应用。将光伏组件的红外图像与可见光进行配准的需求也迫在眉睫。
然而，由于光伏组件场景中存在着视角、光谱差异，导致目前对光伏组件的红外图像与可见光进行配准的方法还存在着配准效果差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种图像配准方法、装置、计算机设备和可读存储介质，用以解决现有光伏组件场景下对光伏图像的配准还存在配准效果差的技术问题。
第一方面，本申请提供一种图像配准方法，包括：
获取待配准的红外图像与可见光图像；
基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
作为本申请的一种可行实施例，所述基于所述红外图像和所述可见光图像中像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域的步骤之前，所述方法还包括：
获取所述红外图像和所述可见光图像对应的图像属性信息；所述图像属性信息包括图片尺寸信息、图像经纬度信息、拍摄焦距和拍摄高度；
根据所述红外图像对应的图像属性信息确定所述红外图像中各像素点对应的经纬度信息，以及根据所述可见光图像对应的图像属性信息确定所述可见光图像中各像素点对应的经纬度信息。
作为本申请的一种可行实施例，所述提取所述红外图像中的第一特征，包括：
对所述红外图像进行卷积处理，得到对应不同尺度的检测图像，并对所述检测图像进行差分处理，得到差分图像；
提取所述差分图像中的极值点，并根据所述极值点对应的特征信息从所述极值点中提取稠密特征点；
根据所述稠密特征点的梯度信息确定所述稠密特征点对应的方向信息；
将所述稠密特征点的位置信息与所述方向信息确定为所述红外图像中的第一特征。
作为本申请的一种可行实施例，所述极值点对应的特征信息至少包括高斯差分函数值和黑塞矩阵特征值中的一种。
作为本申请的一种可行实施例，所述根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果，包括：
对所述第一特征和所述第二特征进行匹配，得到若干相似特征点对；
根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对；
根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵；
根据所述单应矩阵对所述红外图像进行变换，得到所述红外图像与所述可见光图像之间的配准结果。
作为本申请的一种可行实施例，所述根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对，包括：
对所述相似特征点对构成的向量矩阵的协方差矩阵进行分解，得到若干特征向量以及各所述特征向量对应的特征值；
根据所述特征值之间的大小关系，从所述特征向量中提取目标特征向量；
将向量方向与所述目标特征向量的向量方向相关的相似特征点对确定为目标特征点对。
作为本申请的一种可行实施例，所述根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵，包括：
根据所述目标特征点对中的初始特征点对计算所述红外图像与所述可见光图像之间的初始单应矩阵；
根据所述初始单应矩阵计算所述目标特征点对中除所述初始特征点对之外的剩余特征点对的匹配误差；
根据所述匹配误差对所述初始单应矩阵进行更新，得到更新后的单应矩阵；
直至利用更新后的单应矩阵计算得到的特征点对的匹配误差满足预设条件后，将所述更新后的单应矩阵确定为所述红外图像与所述可见光图像之间的单应矩阵。
作为本申请的一种可行实施例，所述根据红外图像采集装置对目标光伏组件进行拍摄得到初始红外图像，以及根据可见光图像采集装置对所述目标光伏组件进行拍摄，得到初始可见光图像；
根据所述可见光图像采集装置对应的参数对所述初始可见光图像进行畸变校正处理，得到校正后的可见光图像；
将所述初始红外图像和所述校正后的可见光图像确定为待配准的红外图像与可见光图像。
第二方面，本申请提供一种图像配准装置，包括：
获取模块，用于获取待配准的红外图像与可见光图像；
确定模块，用于基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取模块，用于提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
配准模块，用于根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现上述提供的图像配准方法。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行上述提供的图像配准方法。
本申请实施例提供的图像配准方法，在获取待配准的红外图像与可见光图像后，会先基于图像各像素点对应的经纬度信息确定可见光图像中与红外图像对应的目标区域，实现了通过经纬度信息作为约束条件提取图像中物理空间重叠区域，从而后续在利用红外图像和目标区域中的特征信息完成对红外图像与可见光图像的配准过程中，能够实现更好的配准的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像配准方法的步骤流程示意图；
图2为本申请实施例提供的一种确定图像中像素点经纬度信息的步骤流程示意图；
图3为本申请实施例提供的一种提取图像特征的步骤流程示意图；
图4为本申请实施例提供的一种对图像进行配准的步骤流程示意图；
图5为本申请实施例提供的一种基于协方差矩阵对特征点对进行筛选的步骤流程示意图；
图6为本申请实施例提供的一种对单应矩阵进行更新的步骤流程示意图；
图7为本申请实施例提供的一种获取待配准图像的步骤流程示意图；
图8为本申请实施例提供的一种图像配准装置的结构示意图；
图9为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
为便于理解本申请实施例提供的图像配准方法，先对图像配准方法的相关应用场景进行说明。本申请实施例提供的图像配准方法主要是针对于光伏组件的图像配准方法，具体的，光伏组件是一种将太阳能转化为电能的装置，由于其具有高效、可靠、环保等优点，被广泛应用于太阳能发电系统中。目前，现有技术通常是利用无人机同时挂载红外相机和可见光广角相机，并根据电站的布局、面积和特点，制定包括起飞点、航线、高度、速度等参数在内的飞行计划，通过飞行过程中定点拍摄使得拍摄得到的红外图像和可见光图像可完全覆盖光伏电站，从而便于实现对光伏电站中光伏组件的图像配准。然而，由于光伏组件应用场景的复杂性，且光伏组件存在边缘高度相似的问题，导致现有的基于边缘特征对图像进行配准的方法难以很好的实现对光伏组件的红外图像和可见光图像的图像配准。
为了解决现有技术对光伏组件的红外图像和可见光图像进行图像配准所存在的配准效果不够理想的技术问题，本申请提供一种基于拍摄图像时所附带的经纬度信息对图像进行约束，以提取红外图像与可见光广角图像的物理空间重叠区域，从而便于后续基于该物理空间重叠区域对应的区域图像来完成对图像的配准操作。具体的，本申请实施例提供的图像配准方法通常是以计算机程序的方式部署在图像配准装置中，图像配准装置通常是以处理器的形式设置于计算机设备中，计算机设备中的图像配准装置通过运行图像配准方法对应的计算机程序，以执行本申请实施例提供的图像配准方法。具体的，如图1所示，图1为本申请实施例提供的一种图像配准方法的步骤流程示意图，具体的，包括步骤S110～S140：
S110，获取待配准的红外图像与可见光图像。
本申请实施例中，结合前述提供的图像配准方法的相关应用场景可知，待配准的红外图像与可见光图像通常是由挂载有红外相机和可见光广角相机的无人机按照一定的飞行计划，在飞行过程中定点拍摄所得到的完全覆盖光伏电站的红外图像与可见光图像。当然，上述的红外相机或是可见光广角相机仅仅为一种可行的实现方案，采用其他可以采集红外图像和可见光图像的图像采集装置也是可行的，例如通过激光雷达红外成像装置或是红外热像仪采集红外图像，或是通过其他安装有摄像头的图像采集装置，如手机、摄像仪等等采集可见光图像也是可行的
在上述采集得到红外图像与可见光图像的过程中，基于无人机搭载的定位系统可以确定所采集得到的红外图像与可见光图像的一些图像属性信息，例如，可以确定红外图像与可见光图像对应的图像经纬度信息以及拍摄高度等等，此外还可以确定红外图像与可见光图像的图像尺寸以及拍摄焦距等等。
当然，考虑到可见光广角相机的镜头存在畸变，导致采集得到的可见光图像可能也存在一定畸变，影响到后续的配准结果，因此，作为本申请的一种可行实施例，在采集得到可见光图像后，还需要对采集得到的可见光图像可能进行一定的校正处理，具体的实现方案可以参阅后续图7及其解释说明的内容。
S120，基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域。
本申请实施例中，结合前述的相关说明可知，由于拍摄得到的待配准的红外图像与可见光图像包含了一些与经纬度信息相关的属性信息，因此，可以利用这些经纬度信息作为约束，来确定可见光图像和红外图像在物理空间上所存在的重叠区域，从而便于后续的配准处理，也就是从可见光图像中提取与红外图像对应的在物理空间上重叠的目标区域。
具体的，为确定可见光图像与红外图像对应的在物理空间上重叠的目标区域，需要利用到红外图像和可见光图像中各像素点对应的经纬度信息，将各像素点对应的经纬度信息和像素坐标关联起来，就可以以经纬度信息作为约束条件，确定物理空间上重叠的目标区域的像素坐标。具体的，为确定红外图像和可见光图像中各像素点对应的经纬度信息，作为本申请的一种可行实施例，提出了一种利用红外图像和所述可见光图像对应的图像属性信息来计算各像素点对应的经纬度信息的实现方案，具体的步骤流程可以参考后续图2及其解释说明的内容。
S130，提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征。
本申请实施例中，在前述通过经纬度信息作为约束条件后，提取出在物理空间上重叠的红外图像和可见光图像中的目标区域后，通过进一步提取红外图像中的第一特征和目标区域中的第二特征，就可以用于更精准的完成对红外图像和可见光图像的配准。具体的，这里的特征可以是图像特征，当然也可以图像中特征点的特征。具体的，提取特征点的实现方案有很多种，例如比较常见的可以基于D2Net(一种特征点检测网络模型)实现，当然采用其他的算法，例如SIFT(Scale-invariant feature transform，尺度不变特征转换)算法、SURF(Speeded Up Robust Features，加速稳健特征)算法和ORB(Oriented FAST andRotated BRIEF，快速特征点提取和描述)算法来提取图像特征也是可行的。但在本申请的应用场景下，选择D2Net实现特征提取能够得到更好的图像配准结果，具体的实现方案可以参阅后续图3及其解释说明的内容。
S140，根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
本申请实施例中，在前述提取红外图像和目标区域的特征后，基于该图像特征来对红外图像与可见光图像进行配准，就可以得到红外图像可见光图像之间的配准结果。具体的基于图像特征来实现图像配准的算法有很多，例如比较常见的有FLANN(Fast Libraryfor Approximate Nearest Neighbors，快速最近邻搜索包)算法，当然选用其他的匹配方式，例如KD-Tree(k-dimensional tree，K维数，一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构)、Ball-Tree(球状树)及HNSW(Hierarchical NavigableSmall World，可导航小世界网络)算法也是可行的，但在本申请的应用场景下，选择FLANN算法能够得到更好的图像配准结果，具体的实现方案可以参阅后续图4及其解释说明的内容。
本申请实施例提供的图像配准方法，在获取待配准的红外图像与可见光图像后，会先基于图像各像素点对应的经纬度信息确定可见光图像中与红外图像对应的目标区域，实现了通过经纬度信息作为约束条件提取图像中物理空间重叠区域，从而后续在利用红外图像和目标区域中的特征信息完成对红外图像与可见光图像的配准过程中，能够实现更好的配准的效果。
如图2所示，图2为本申请实施例提供的一种确定图像中像素点经纬度信息的步骤流程示意图，具体的，包括步骤S210～S220：
S210，获取所述红外图像和所述可见光图像对应的图像属性信息。
本申请实施例中，图像属性信息至少包括图片尺寸信息、图像经纬度信息、拍摄焦距和拍摄高度，其中图像经纬度信息和拍摄高度是在拍摄过程中基于无人机携带的定位系统确定，图像经纬度信息包括了图像的中心经度以及中心纬度。
S220，根据所述红外图像对应的图像属性信息确定所述红外图像中各像素点对应的经纬度信息，以及根据所述可见光图像对应的图像属性信息确定所述可见光图像中各像素点对应的经纬度信息。
本申请实施例中，计算红外图像和可见光图像中各像素点对应的经纬度信息的具体实现方式如下：
设图片尺寸信息中的图像宽度为w，图像高度为h，图像经纬度信息中的中心经度为lon，中心纬度为lat，拍摄高度为fh，拍摄装置的焦距为f，此外拍摄装置的宽度为sw，此时可以计算得到：
图像长宽比：ar＝w/h
垂直视角：
顶点到地面的距离：
顶点到中心的距离，也就是水平方向一半的实际宽度：
垂直方向一半的实际宽度：
则最终图像中四个顶点topleft，topright，bottomleft和bottomright的经度计算公式为：
图像中四个顶点的纬度计算公式为：
其中，pi是圆周率，cos表示余弦计算，此外，其他参数的含义已在前述提供。
而在确定了图像中四个顶点的经纬度之后，结合图像中各像素点所处的位置，通过插值方式就可以得到图像中各像素点的经纬度信息。具体的，这里的图像包括了红外图像和可见光图像。
如图3所示，图3为本申请实施例提供的一种提取图像特征的步骤流程示意图，详述如下。
本申请实施例提供了一种基于D2Net算法来实现对红外图像和可见光图像中目标区域特征的提取，为便于描述，本申请实施例以对红外图像进行处理的实现方案为例进行说明，具体的，包括步骤S310～S340：
S310，对所述红外图像进行卷积处理，得到对应不同尺度的检测图像，并对所述检测图像进行差分处理，得到差分图像。
本申请实施例中，通过采用高斯滤波器对红外图像进行多次卷积，就可以得到对应不同尺度的卷积后图像。具体的，以每次卷积将图像缩小一倍为例，则得到的检测图像分别为原始红外图像的尺寸的1/2、1/4以及1/8等等，将这些检测图像依次排列，可以形成类似于金字塔的结构，也即高斯金字塔。在此基础上，通过进一步采用DoG(Difference ofGaussians，即高斯差)函数对相邻的检测图像进行差分处理，就可以得到若干差分图像，而将这些差分图像依次排列，同样可以形成类似于金字塔的结构，也即差分金字塔。
S320，提取所述差分图像中的极值点，并根据所述极值点对应的特征信息从所述极值点中提取稠密特征点。
本申请实施例中，在前述得到差分图像的基础上，对每张差分图像中每个像素点在一定邻域内的相邻像素的值进行比较，就可以提取差分图像中的极值点。具体的，这里邻域既包括该像素点在当前差分图像的邻域，也涉及到该像素点在与当前差分图像相邻的差分图像中的邻域，具体的，以3×3×3的邻域为例，此时每个像素点即需要与当前差分图像中3×3范围内的其他像素点比较，也需要与当前差分图像相邻的上下两张差分图像中3×3范围内的像素点比较，即需要与26个相邻像素点比较大小。如果该像素是最大值或最小值，则被认为是一个极值点。
通过上述方式提取得到的极值点可以在一定程度代表图像的特征信息，但为了提高后续图像配准的效果，在本申请实施例中还会进一步基于极值点对应的特征信息从这些极值点中提取更稳定的，特征表现更好的稠密特征点。其中，作为本申请的一种可行实施例，极值点对应的特征信息可以至少包括高斯差分函数值(即DoG值)和黑塞矩阵(Hessian)的特征值，具体的，若极值点对应的DoG值小于预设的阈值，则可以认为此类极值点是对比度的特征点，应该被剔除，若极值点对应的黑塞矩阵的特征值大于预设的阈值，则表明该极值点为边缘响应的特征点，也应当被剔除，因此，可以将DoG值大于预设的阈值以及黑塞矩阵的特征值小于预设的阈值的极值点确定为最终筛选出的稠密特征点。
S330，根据所述稠密特征点的梯度信息确定所述稠密特征点对应的方向信息。
本申请实施例中，在前述得到稠密特征点的基础上，进一步通过计算稠密特征点周围像素的梯度信息可以得到该稠密特征点对应的方向信息。
当然，在确定稠密特征点对应的方向信息之前，作为本申请的一种可行实施例，还可以通过对特征点的响应值进行非极大值抑制处理，从而进一步去除掉冗余的特征点。
S340，将所述稠密特征点的位置信息与所述方向信息确定为所述红外图像中的第一特征。
本申请实施例中，将最终得到的稠密特征点的位置以及方向信息保存下来，就可以作为红外图像中的特征信息以用于后续的图像配准处理。
当然，前述方案是以红外图像为例来进行说明的，事实上针对于可见光图像中的目标区域，同样也可以采用上述的特征点提取方式从而得到目标区域中的第二特征，本申请实施例在此不再赘述。
如图4所示，图4为本申请实施例提供的一种对图像进行配准的步骤流程示意图，具体的，包括步骤S410～S440：
S410，对所述第一特征和所述第二特征进行匹配，得到若干相似特征点对。
本申请实施例中，结合前述所提供的描述，第一特征和第二特征通常是以坐标位置信息和梯度方向信息的形式存在，可以基于坐标位置以及梯度方向信息来实现对红外图像中的第一特征和目标区域中的第二特征进行匹配，从而坐标位置以及梯度方向均相似的相似特征点对。具体的，也就是针对每一特征点，可以将其最相似的k个点作为相似点集合，并表示为一个向量，进一步的，使每个向量的维度等于数据集中每个特征点的特征数，每个维度的值表示相似点集合中对应特征的平均值，然后将所有向量的坐标减去其坐标的平均值，以使得到的向量矩阵的中心位于原点，就可以得到与该相似特征点对对应的向量矩阵。
S420，根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对。
本申请实施例中，在前述得到由相似特征点对构成的向量矩阵后，通过进一步利用此向量矩阵的协方差矩阵，结合主成分分析，可以进一步从相似特征点对中过滤掉异常特征点，并保留最终的目标特征点对。具体的，基于协方差矩阵对特征点对进行筛选的实现方案可以参阅后续图5及其解释说明的内容。
S430，根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵。
本申请实施例中，通过随机选择目标特征点对中的若干匹配点对，然后利用DLT(Direct Linear Transformation，直接线性变换)算法就可以计算出这些匹配点对的单应矩阵。
具体的，前述计算得到的单应矩阵可以在一定程度上理解为红外图像与可见光图像之间的配准结果，但在实际应用过程中，上述单应矩阵还存在一定的误差，因此，作为本申请的一种可行实施例，提出了一种迭代对单应矩阵进行更新优化的实现方案，具体的实现方式可以参阅后续图6及其解释说明的内容。
S440，根据所述单应矩阵对所述红外图像进行变换，得到所述红外图像与所述可见光图像之间的配准结果。
本申请实施例中，通过前述得到的单应矩阵对红外图像进行变换，使其映射到可见光图像中，就可以最终得到红外图像与可见光图像之间的配准结果。
如图5所示，图5为本申请实施例提供的一种基于协方差矩阵对特征点对进行筛选的步骤流程示意图，具体的，包括步骤S510～S530：
S510，对所述相似特征点对构成的向量矩阵的协方差矩阵进行分解，得到若干特征向量以及各所述特征向量对应的特征值。
本申请实施例中，在前述得到由相似特征点对构成的向量矩阵后，通过进一步计算该向量矩阵的协方差矩阵，并采用特征值分解的方式就可以得到此协方差矩阵的特征向量以及特征向量对应的特征值。
S520，根据所述特征值之间的大小关系，从所述特征向量中提取目标特征向量。
本申请实施例中，在前述得到各特征向量对应的特征值之后，利用这些特征值之间的大小关系，保留特征值更大的，也就是选择特征向量中的前k个作为主成分的目标特征向量。
S530，将向量方向与所述目标特征向量的向量方向相关的相似特征点对确定为目标特征点对。
本申请实施例中，在前述从特征向量中提取出作为主成分的目标特征向量后，将原始向量投影到此主成分空间中，只保留与主方向相关的向量，即可得到最终的目标特征点对。
如图6所示，图6为本申请实施例提供的一种对单应矩阵进行更新的步骤流程示意图，具体的，包括步骤S610～S640:
S610，根据所述目标特征点对中的初始特征点对计算所述红外图像与所述可见光图像之间的初始单应矩阵。
本申请实施例中，通过随机选择目标特征点对中的若干初始特征点对，并采用直接线性变换算法，可以计算得到红外图像与可见光图像之间的初始单应矩阵。
S620，根据所述初始单应矩阵计算所述目标特征点对中除所述初始特征点对之外的剩余特征点对的匹配误差。
本申请实施例中，考虑到前述得到的初始单应矩阵存在一定的误差，因此，可以利用初始单应矩阵进一步计算得到的初始特征点对之外的其他剩余特征点对的匹配误差。
S630，根据所述匹配误差对所述初始单应矩阵进行更新，得到更新后的单应矩阵。
本申请实施例中，在前述确定剩余特征点对的匹配误差的基础之上，将匹配误差小于预设阈值的特征点对提取出来，并再次利用直接线性变换算法，就可以完成对初始单应矩阵的更新，重新生成新的单应矩阵。
S640，直至利用更新后的单应矩阵计算得到的特征点对的匹配误差满足预设条件后，将所述更新后的单应矩阵确定为所述红外图像与所述可见光图像之间的单应矩阵。
本申请实施例中，通过迭代对单应矩阵更新，直至利用更新后的单应矩阵计算得到的特征点对的匹配误差满足要求，此时得到的矩阵就可以确定为红外图像与可见光图像之间的单应矩阵，以用于后续对红外图像与可见光图像之间的配准。
如图7所示，图7为本申请实施例提供的一种获取待配准图像的步骤流程示意图，具体的，包括步骤S710～S730：
S710，根据红外图像采集装置对目标光伏组件进行拍摄得到初始红外图像，以及根据可见光图像采集装置对所述目标光伏组件进行拍摄，得到初始可见光图像。
本申请实施例中，红外图像采集装置通常是指具备采集物体的红外图像的红外相机，而可见光图像采集装置则通常是指具备采集物体的可见光图像的可见光广角相机，考虑到在实际应用场景过程中，上述图像采集装置通常是设置于无人机上并按照设定好的飞行路线进行采集，因此，实际上所采集得到的图像中主要包括了目标光伏组件所在的光伏发电站。
S720，根据所述可见光图像采集装置对应的参数对所述初始可见光图像进行畸变校正处理，得到校正后的可见光图像。
本申请实施例中，进一步的，考虑到可见光图像采集装置，也就是可见光广角相机通常是广角镜头，导致采集的初始可见光图像存在着一定的畸变，因此，还需要基于可见光图像采集装置对应的相机参数来对初始可见光图像进行畸变校正处理，从而得到消除畸变后的校正后的可见光图像。其中，相机参数通常包括相机内参以及相机外参，其通常可以是通过相机标定的方式得到，具体的，关于对可见光图像进行畸变校正处理的具体实现方案，可以包括如下步骤：
(1)相机标定：通过采集多张标定图像，获取相机的内部参数和外部参数；
(2)计算畸变矫正的变换矩阵：利用获取的相机的内部参数和外部参数，并根据相机模型计算出畸变矫正的变换矩阵。
(3)图像畸变校正：根据计算出的变换矩阵对可见光图像进行畸变校正，得到畸变校正后的图像。
S730，将所述初始红外图像和所述校正后的可见光图像确定为待配准的红外图像与可见光图像。
本申请实施例中，在前述完成对可见光图像的畸变校正处理后，后续就可以将初始红外图像以及校正后的可见光图像确定为待配准的图像，以用于实现对光伏组件的红外图像配准。
为便于理解本申请实施例提供的图像配准方法的完整实现流程，下述将结合前述图1～图7提供的方案，提供一种图像配准方法的完整执行步骤，具体的，包括如下步骤：
1)通过无人机携带的红外相机以及可见光广角相机，拍摄光伏电站的红外图像和可见光图像；
2)基于可见光广角相机的内部参数和外部参数，对可见光图像进行变换，以消除广角镜头引起的畸变，获取校正后的可见光图像；
3)基于红外图像和校正后的可见光图像的图像属性信息，计算得到红外图像和校正后的可见光图像中各图像顶点的经纬度信息，从而确定各像素点的经纬度信息；
4)根据前述确定的各像素点的经纬度信息，提取广角图片中与红外图像在物理空间上重叠的目标区域；
5)基于D2Net提取红外图像和目标区域中的特征信息，主要是特征点；
6)基于前述提取得到特征信息，依照特征信息之间的相似度匹配相似点，构建特征点对集合向量；
7)基于前述得到的特征点对集合向量，计算向量矩阵的协方差矩阵，对协方差矩阵进行特征值分解，保留主方向特征点对；
8)利用前述步骤得到的主方向特征点对估计获取单应矩阵，通过单应矩阵将红外图像变换到可见光广角图片中获得最终的匹配结果。
为了更好实施本申请实施例提供的图像配准方法，在本申请实施例所提供的图像配准方法的基础之上，本申请实施例中还提供一种图像配准装置，如图8所示，图像配准装置800包括：
获取模块810，用于获取待配准的红外图像与可见光图像；
确定模块820，用于基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取模块830，用于提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
配准模块840，用于根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
在本申请一些实施例中，所述确定模块820用于获取所述红外图像和所述可见光图像对应的图像属性信息；所述图像属性信息包括图片尺寸信息、图像经纬度信息、拍摄焦距和拍摄高度；根据所述红外图像对应的图像属性信息确定所述红外图像中各像素点对应的经纬度信息，以及根据所述可见光图像对应的图像属性信息确定所述可见光图像中各像素点对应的经纬度信息。
在本申请一些实施例中，所述提取模块830用于对所述红外图像进行卷积处理，得到对应不同尺度的检测图像，并对所述检测图像进行差分处理，得到差分图像；
提取所述差分图像中的极值点，并根据所述极值点对应的特征信息从所述极值点中提取稠密特征点；根据所述稠密特征点的梯度信息确定所述稠密特征点对应的方向信息；将所述稠密特征点的位置信息与所述方向信息确定为所述红外图像中的第一特征。
在本申请一些实施例中，所述配准模块840用于对所述第一特征和所述第二特征进行匹配，得到若干相似特征点对；根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对；根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵；根据所述单应矩阵对所述红外图像进行变换，得到所述红外图像与所述可见光图像之间的配准结果。
在本申请一些实施例中，所述配准模块840用于对所述相似特征点对构成的向量矩阵的协方差矩阵进行分解，得到若干特征向量以及各所述特征向量对应的特征值；根据所述特征值之间的大小关系，从所述特征向量中提取目标特征向量；将向量方向与所述目标特征向量的向量方向相关的相似特征点对确定为目标特征点对。
在本申请一些实施例中，所述配准模块840用于根据所述目标特征点对中的初始特征点对计算所述红外图像与所述可见光图像之间的初始单应矩阵；根据所述初始单应矩阵计算所述目标特征点对中除所述初始特征点对之外的剩余特征点对的匹配误差；根据所述匹配误差对所述初始单应矩阵进行更新，得到更新后的单应矩阵；直至利用更新后的单应矩阵计算得到的特征点对的匹配误差满足预设条件后，将所述更新后的单应矩阵确定为所述红外图像与所述可见光图像之间的单应矩阵。
在本申请一些实施例中，所述获取模块810用于根据红外图像采集装置对目标光伏组件进行拍摄得到初始红外图像，以及根据可见光图像采集装置对所述目标光伏组件进行拍摄，得到初始可见光图像；根据所述可见光图像采集装置对应的参数对所述初始可见光图像进行畸变校正处理，得到校正后的可见光图像；将所述初始红外图像和所述校正后的可见光图像确定为待配准的红外图像与可见光图像。
关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定，在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请一些实施例中，图像配准装置800可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像配准装置800的各个程序模块，比如，图8所示的获取模块810、确定模块820、提取模块830和配准模块840。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像配准方法中的步骤。
例如，图9所示的计算机设备可以通过如图8所示的图像配准装置800中的获取模块810执行步骤S110。计算机设备可通过确定模块820执行步骤S120。计算机设备可通过提取模块830执行步骤S130。计算机设备可通过配准模块840执行步骤S140。计该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种图像配准方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请一些实施例中，提供了一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现以下步骤：
获取待配准的红外图像与可见光图像；
基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行以下步骤：
获取待配准的红外图像与可见光图像；
基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、信息库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上对本申请实施例所提供的一种图像配准方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像配准方法，其特征在于，包括：
获取待配准的红外图像与可见光图像；
基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
2.根据权利要求1所述的图像配准方法，其特征在于，所述基于所述红外图像和所述可见光图像中像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域的步骤之前，所述方法还包括：
获取所述红外图像和所述可见光图像对应的图像属性信息；所述图像属性信息包括图片尺寸信息、图像经纬度信息、拍摄焦距和拍摄高度；
根据所述红外图像对应的图像属性信息确定所述红外图像中各像素点对应的经纬度信息，以及根据所述可见光图像对应的图像属性信息确定所述可见光图像中各像素点对应的经纬度信息。
3.根据权利要求1所述的图像配准方法，其特征在于，所述提取所述红外图像中的第一特征，包括：
对所述红外图像进行卷积处理，得到对应不同尺度的检测图像，并对所述检测图像进行差分处理，得到差分图像；
提取所述差分图像中的极值点，并根据所述极值点对应的特征信息从所述极值点中提取稠密特征点；
根据所述稠密特征点的梯度信息确定所述稠密特征点对应的方向信息；
将所述稠密特征点的位置信息与所述方向信息确定为所述红外图像中的第一特征。
4.根据权利要求3所述的图像配准方法，其特征在于，所述极值点对应的特征信息至少包括高斯差分函数值和黑塞矩阵特征值中的一种。
5.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果，包括：
对所述第一特征和所述第二特征进行匹配，得到若干相似特征点对；
根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对；
根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵；
根据所述单应矩阵对所述红外图像进行变换，得到所述红外图像与所述可见光图像之间的配准结果。
6.根据权利要求5所述的图像配准方法，其特征在于，所述根据所述相似特征点对构成的向量矩阵的协方差矩阵，从所述相似特征点对筛选出目标特征点对，包括：
对所述相似特征点对构成的向量矩阵的协方差矩阵进行分解，得到若干特征向量以及各所述特征向量对应的特征值；
根据所述特征值之间的大小关系，从所述特征向量中提取目标特征向量；
将向量方向与所述目标特征向量的向量方向相关的相似特征点对确定为目标特征点对。
7.根据权利要求5所述的图像配准方法，其特征在于，所述根据所述目标特征点对确定所述红外图像与所述可见光图像之间的单应矩阵，包括：
根据所述目标特征点对中的初始特征点对计算所述红外图像与所述可见光图像之间的初始单应矩阵；
根据所述初始单应矩阵计算所述目标特征点对中除所述初始特征点对之外的剩余特征点对的匹配误差；
根据所述匹配误差对所述初始单应矩阵进行更新，得到更新后的单应矩阵；
直至利用更新后的单应矩阵计算得到的特征点对的匹配误差满足预设条件后，将所述更新后的单应矩阵确定为所述红外图像与所述可见光图像之间的单应矩阵。
8.根据权利要求1～7任一项所述的图像配准方法，其特征在于，所述获取待配准的红外图像与可见光图像，包括:
根据红外图像采集装置对目标光伏组件进行拍摄得到初始红外图像，以及根据可见光图像采集装置对所述目标光伏组件进行拍摄，得到初始可见光图像；
根据所述可见光图像采集装置对应的参数对所述初始可见光图像进行畸变校正处理，得到校正后的可见光图像；
将所述初始红外图像和所述校正后的可见光图像确定为待配准的红外图像与可见光图像。
9.一种图像配准装置，其特征在于，包括：
获取模块，用于获取待配准的红外图像与可见光图像；
确定模块，用于基于所述红外图像和所述可见光图像中各像素点对应的经纬度信息，从所述可见光图像中提取所述红外图像对应的目标区域；
提取模块，用于提取所述红外图像中的第一特征，以及提取所述目标区域中的第二特征；
配准模块，用于根据所述第一特征和所述第二特征对所述红外图像与所述可见光图像进行配准，得到配准结果。
10.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至8中任一项所述的图像配准方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的图像配准方法。
CN202310994433.2A 2023-08-08 2023-08-08 图像配准方法、装置、计算机设备和可读存储介质 Pending CN117152218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310994433.2A CN117152218A (zh) 2023-08-08 2023-08-08 图像配准方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310994433.2A CN117152218A (zh) 2023-08-08 2023-08-08 图像配准方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN117152218A true CN117152218A (zh) 2023-12-01

Family

ID=88897811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310994433.2A Pending CN117152218A (zh) 2023-08-08 2023-08-08 图像配准方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN117152218A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351053A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800097A (zh) * 2012-07-19 2012-11-28 中国科学院自动化研究所 多特征多级别的可见光与红外图像高精度配准方法
CN102855621A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于显著区域分析的红外与可见光遥感图像配准方法
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN112907493A (zh) * 2020-12-01 2021-06-04 航天时代飞鸿技术有限公司 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法
CN114092531A (zh) * 2021-10-28 2022-02-25 国网山东省电力公司电力科学研究院 一种红外-可见光图像配准方法及系统
CN114331879A (zh) * 2021-12-15 2022-04-12 中国船舶重工集团公司第七0九研究所 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855621A (zh) * 2012-07-18 2013-01-02 中国科学院自动化研究所 一种基于显著区域分析的红外与可见光遥感图像配准方法
CN102800097A (zh) * 2012-07-19 2012-11-28 中国科学院自动化研究所 多特征多级别的可见光与红外图像高精度配准方法
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质
CN112907493A (zh) * 2020-12-01 2021-06-04 航天时代飞鸿技术有限公司 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN114092531A (zh) * 2021-10-28 2022-02-25 国网山东省电力公司电力科学研究院 一种红外-可见光图像配准方法及系统
CN114331879A (zh) * 2021-12-15 2022-04-12 中国船舶重工集团公司第七0九研究所 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351053A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备
CN117351053B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备

Similar Documents

Publication Publication Date Title
Yahyanejad et al. A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
CN102088569B (zh) 低空无人飞行器序列图像拼接方法和系统
CN112689850A (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
US10482571B2 (en) Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium
CN117152218A (zh) 图像配准方法、装置、计算机设备和可读存储介质
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112085790A (zh) 点线结合的多相机视觉slam方法、设备及存储介质
CN108801225B (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
CN111583119B (zh) 一种正射影像拼接方法、设备以及计算机可读介质
CN114265427A (zh) 一种基于红外图像匹配的巡检无人机辅助导航系统及方法
CN115526781A (zh) 一种基于图像重叠区域的拼接方法、系统、设备及介质
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
KR101982755B1 (ko) 항공 영상을 정합하는 방법 및 장치
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN114897676A (zh) 一种无人机遥感多光谱图像拼接方法、设备及介质
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备
CN113808033A (zh) 图像文档校正方法、系统、终端及介质
CN112907662B (zh) 特征提取方法、装置、电子设备及存储介质
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
CN114241039A (zh) 地图数据处理方法、装置、存储介质与电子设备
Tian et al. High confidence detection for moving target in aerial video
Yang et al. A fast and effective panorama stitching algorithm on UAV aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination