CN117078726A - 一种基于边缘提取的异谱图像配准方法 - Google Patents

一种基于边缘提取的异谱图像配准方法 Download PDF

Info

Publication number
CN117078726A
CN117078726A CN202310839562.4A CN202310839562A CN117078726A CN 117078726 A CN117078726 A CN 117078726A CN 202310839562 A CN202310839562 A CN 202310839562A CN 117078726 A CN117078726 A CN 117078726A
Authority
CN
China
Prior art keywords
edge
image
registration
template
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310839562.4A
Other languages
English (en)
Inventor
胡静
钟卫卫
吴坤
张怡强
黄成阳
吕思琪
陈逸凡
石梓灿
朱晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310839562.4A priority Critical patent/CN117078726A/zh
Publication of CN117078726A publication Critical patent/CN117078726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明公开了一种基于边缘提取的异谱图像配准方法，属于图像配准领域，包括：对红外图像的源图像和可见光图像的源图像分别进行边缘提取，得到两幅边缘图像，将其中一幅作为参考图像，另一幅作为待配准图像；将参考图像划分为多个互不重叠的子图像块，在各子图像块内，从指定大小的所有区域中选取包含边缘点数量最多的区域作为对应子图像块内的子边缘模板，将各子边缘模板按位置组合得到匹配边缘模板；利用匹配边缘模板对待配准图像进行匹配，根据匹配结果计算待配准图像到参考图像的变换矩阵；根据变换矩阵，对待配准图像对应的源图像中的各像素进行位置变换，完成图像配准。本发明能够在保证配准精度的同时兼具良好的配准速度。

Description

一种基于边缘提取的异谱图像配准方法
技术领域
本发明属于图像配准领域，更具体地，涉及一种基于边缘提取的异谱图像配准方法。
背景技术
在众多的多光谱图像中，应用最为广泛的是红外图像和可见光图像。红外图像通过物体的热辐射成像，因此受光照、遮挡等环境因素的影响较小，可以很好地突出图像中的高亮目标信息，但图像分辨率较低；可见光图像通过物体反射的光线进行成像，图像中包含丰富的细节纹理信息，同时具有较高分辨率，更符合人们的视觉感知，但易受光照等环境因素的影响。通过进行红外与可见光图像的配准融合，可以很好地将两者优势进行结合，这样既保证了图像中丰富的细节纹理信息同时也可突出图像中的高亮目标。
在红外图像和可见光图像的实际成像过程中，两种传感器的成像谱段和成像视角往往存在一定的差异，为了更好地将两类图像结合处理，往往需要首先将两者进行配准操作，然后将配准后图像用于后续进一步的图像处理，比如进行图像融合等。目前，红外与可见光图像的配准技术已广泛用于军事探测、电力巡检、医学成像分析、地质监测、遥感图像、自动控制等众多领域。同谱图像配准中大多利用的是图像的灰度信息或由灰度计算得到的相应特征信息。但红外图像和可见光图像的成像机理不同，属于异谱图像，图像间的灰度相关性很弱，这种基于灰度的图像配准的方法无法达到理想效果。
考虑到红外图像和可见光图像之间的边缘信息具有较强的相关性，现有技术提出了基于边缘信息完成红外图像和可见光图像的配准的方法，这些配准方法规避了灰度、梯度等信息不匹配的问题，一定程度上提高了异谱图像的配准精度，但是，在实际应用中，边缘轮廓特征信息的数据结构构建复杂，匹配过程耗时较长，配准速度较慢。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于边缘提取的异谱图像配准方法，其目的在于，在保证配准精度的同时兼具良好的配准速度。
为实现上述目的，按照本发明的一个方面，提供了一种基于边缘提取的异谱图像配准方法，包括如下步骤：
(S1)对待配准的两幅源图像分别进行边缘提取，得到两幅边缘图像，将其中一幅作为参考图像，另一幅作为待配准图像；两幅源图像中，一幅为红外图像，另一幅为可见光图像；
(S2)将参考图像划分为多个互不重叠的子图像块，在各子图像块内，从大小为的所有区域中选取包含边缘点数量最多的区域作为对应子图像块内的子边缘模板，将各子边缘模板按位置组合得到匹配边缘模板；/>和/>分别表示区域的宽和高，/>不超过对应子图像块的宽，且/>不超过对应子图像块的高；
(S3)利用匹配边缘模板对待配准图像进行匹配，根据匹配结果计算待配准图像到参考图像的变换矩阵；
(S4)根据变换矩阵，对待配准图像对应的源图像中的各像素进行位置变换，完成图像配准。
在一些可选的实施方式中，步骤(S3)中，利用匹配边缘模板对待配准图像进行匹配，包括：
以待配准图像作为配准对象，以匹配边缘模板作为模板图像，对配准对象和模板图像进行快速边缘配准，得到待配准图像和匹配边缘模板间的最佳配准位置；
快速边缘配准包括：
(S31)设置与模板图像大小相等的滑动框，并使滑动框对齐配准图像的左上位置，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量NUM，并记录滑动框的当前位置作为最佳边缘配准位置(x,y)NUM；
(S32)若完成所有位置的滑动，则转入步骤(S35)；否则，使滑动框按照预设的步距滑动至下一个位置后，转入步骤(S33)；
(S33)记录当前滑动框内包含的边缘点数量numk，若numk＞NUM，则转入步骤(S34)；否则，转入步骤(S32)；
(S34)将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，若NUMc＞NUM，则按照NUM＝NUMc对最佳配准点数量NUM进行更新，并将最佳边缘配准位置(x,y)NUM更新为滑动框的当前位置，之后转入步骤(S32)；否则，转入步骤(S32)；
(S35)输出当前的最佳边缘配准位置(x,y)NUM，完成匹配。
在一些可选的实施方式中，步骤(S3)中，利用匹配边缘模板对待配准图像进行匹配，包括：
按照相同的下采样率对待配准图像和匹配边缘模板分别进行下采样，得到图像特征和模板特征；
以图像特征为配准对象，以模板特征为模板图像，对配准对象和模板图像进行快速边缘配准，得到图像特征和模板特征间的第一最佳配准位置；
找到待配准图像和匹配边缘模板中与第一最佳配准位置相对应的位置，并在待配准图像中划定包含该位置的区域，作为配准对象，在匹配边缘模板中划定包含该位置的区域，作为模板图像，之后执行快速边缘配准，得到待配准图像和匹配边缘模板间的第二最佳配准位置；
快速边缘配准包括：
(S31)设置与模板图像大小相等的滑动框，并使滑动框对齐配准图像的左上位置，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量NUM，并记录滑动框的当前位置作为最佳边缘配准位置(x,y)NUM；
(S32)若完成所有位置的滑动，则转入步骤(S35)；否则，使滑动框按照预设的步距滑动至下一个位置后，转入步骤(S33)；
(S33)记录当前滑动框内包含的边缘点数量numk，若numk＞NUM，则转入步骤(S34)；否则，转入步骤(S32)；
(S34)将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，若NUMc＞NUM，则按照NUM＝NUMc对最佳配准点数量NUM进行更新，并将最佳边缘配准位置(x,y)NUM更新为滑动框的当前位置，之后转入步骤(S32)；否则，转入步骤(S32)；
(S35)输出当前的最佳边缘配准位置(x,y)NUM，完成匹配。
进一步地，步骤(S34)中，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，包括：
在当前位置下，固定滑动框的中心，并使滑动框按照预设的角度间隔旋转一周，在每一个角度下，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，并记录配准的边缘点的数量；
将各角度下配准的边缘点的数量最大值作为当前位置下配准的边缘点数量NUMc，并记录对应的旋转角度
并且，步骤(S35)中，在输出最佳边缘配准位置(x,y)NUM的同时，会输出对应的旋转角度。
进一步地，下采样为最大值下采样。
进一步地，步骤(S1)中，在选定参考图像和待配准图像之前，还包括：对于每一幅边缘图像，执行以下步骤进行边缘清洗：
对边缘图像中包含的边缘点进行聚类，得到多个边缘类别；剔除掉包含边缘点数量小于预设的第一阈值的边缘类别。
进一步地，步骤(S2)中，在将各子边缘模板按位置组合得到匹配边缘模板之前，还包括：剔除掉包含的边缘点数小于预设的第二阈值的子边缘模板。
进一步地，步骤(S2)中，每个子图像块内构造的子边缘模板的宽和高分别如下：
其中，和/>分别表示子图像块的宽和高；ratio表示比例因子，且ratio＝0.6。
进一步地，步骤(S4)还包括：对待配准图像对应的源图像中的各像素进行位置变换后，将变换后的图像与另一幅源图像进行加权融合。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于边缘提取的异谱图像配准方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明利用红外图像和可见光图像间相关性更强的边缘信息进行配准计算，规避了灰度、梯度等信息不匹配的问题，提高了异谱图像的配准精度；在进行配准时，并不针对完整的边缘图像进行配准，而是将选定的参考图像划分为子图像块，并进一步找出各子图像块中指定大小、包含最多边缘点的区域构造子边缘模板，最终由这些子边缘模板构成匹配边缘模板，相比于完整的边缘图像，该匹配边缘模板在完整保存边缘特征的情况下，边缘点数大大减少，基于该匹配边缘模板进行图像配准，能够在保证配准精度的情况下，有效提高配准速度。
(2)在本发明的优选方案中，在确定匹配边缘模板后，进行图像配准时，采用了一种部分计算的方式，具体来说，会构造与匹配边缘模板大小相等的滑动框，通过移动滑动框并计算不同位置处滑动框与匹配边缘模板的边缘配准程度，确定最佳配准位置；在滑动框移动过程中，会实时记录最佳配准点数量，滑动框每移动到一个位置，都会先将滑动框内包含的边缘点数与当前的最佳配准点数进行比较，在滑动框内包含的边缘点数较少时，不进行配准计算，由此能够避免无效的计算量，进一步提高配准速度。
(3)在本发明的优选方案中，在确定匹配边缘模板后，进行图像配准时，采用了金字塔算法和部分计算相结合的方式，具体来说，先对待配准图像和匹配边缘模板进行下采样，采用部分计算的方式对下采样结果进行配准，确定最佳配准位置后，对应到待配准图像和匹配边缘模板中，并在待配准图像和匹配边缘模板中划定包含最佳配准位置的区域再次采用部分计算的方式进行配准，确定最终的最佳配准位置。通过对下采样的结果进行配准，能够以较少的计算量快速、粗略地确定最佳配准位置，在此基础行，在待配准图像和匹配边缘模板中划定一块区域进行二次配准，则可以精确确定最佳配准位置。因此，通过这种金字塔算法和部分计算相结合的方式，本发明能够进一步提高配准速度。进一步优选地，具体采用最大值下采样，能够保证图像在经过下采样后仍可以较好地保留边缘信息。
(4)本发明在通过部分计算的方式进行快速边缘配准时，在滑动框滑动到的每一个位置下，都会分别计算不同角度下的配准结果，辅助完成最佳配准位置的确定，由此能够充分考虑源图像间的相对旋转关系，保证配准精度。
(5)本发明在进行边缘提取之后，选定参考图像和待配准图像之前，会先对边缘点进行聚类，并剔除包含边缘点数较少的边缘类别，包含边缘点数较少的边缘类别往往为噪声，本发明通过剔除这样的边缘类别，能够有效避免噪声对配准精度的影响，同时，进一步减少配准的计算量。
(6)本发明在构造子边缘模板后，构造匹配边缘模板之前，会剔除其中边缘点数较少的子边缘模板，由此能够避免噪声对配准精度的影响，同时，进一步减少配准的计算量。
(7)本发明在构造子边缘模板时，设定的子边缘模板的宽和高与对应子图像块的宽和高的比例均为0.6，可以在保证配准精度的同时兼具较快的配准速度。
附图说明
图1为本发明实施例提供的基于边缘提取的异谱图像配准方法示意图；
图2为本发明实施例提供的待配准的源图像及融合后的图像示意图；其中，(a)为红外图像，(b)为可见光图像，(c)为融合后的图像；
图3为本发明另一实施例提供的基于边缘提取的异谱图像配准方法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的基于灰度信息的配准方法不适用于红外图像和可见光图像间的配准，而基于边缘信息的配准方法在提高配准精度的同时配准耗时较长的技术问题，本发明提供了一种基于边缘提取的异谱图像配准方法，其整体思路在于：在根据图像边缘进行配准之前，对图像边缘进行处理，在保留边缘特征的情况下，尽量减少配准的计算量，从而在保证配准精度的同时兼具良好的配准速度。
以下为实施例。
实施例1：
一种基于边缘提取的异谱图像配准方法，如图1所示，包括如下步骤：
(S1)对待配准的两幅源图像分别进行边缘提取，得到两幅边缘图像，将其中一幅作为参考图像，另一幅作为待配准图像；两幅源图像中，一幅为红外图像，另一幅为可见光图像。
可选地，本实施例的步骤(S1)中，利用Canny算子对两幅源图像进行边缘提取；容易理解的是，在本发明的其他实施例中，也可以使用Sobel算子、Prewitt算子等其他方式进行图像边缘提取。
考虑到图像易受噪声干扰，为避免图像噪声对配准精度的影响，本实施例的步骤(S1)在提取图像边缘后，会进一步对图像边缘进行清洗，以剔除噪声，具体地，对于每一幅边缘图像，对其中包含的边缘点利用DBSCAN聚类思想进行聚类处理，得到多个边缘类别；其中包含边缘点数量过少(少于预设的第一阈值)的边缘类别，即为噪声所引起的，因此，将其剔除；经过清洗之后的图像边缘更为清晰完整，且更有利于精确配准。
可选地，本实施例中，选取可见光图像的边缘图像作为参考图像，选取红外图像的边缘图像作为待配准图像。
本实施例还包括：(S2)将参考图像划分为多个互不重叠的子图像块，在各子图像块内，从大小为的所有区域中选取包含边缘点数量最多的区域作为对应子图像块内的子边缘模板，将各子边缘模板按位置组合得到匹配边缘模板；和/>分别表示区域的宽和高，/>不超过对应子图像块的宽，且不超过对应子图像块的高。
本实施例将选定的参考图像划分为子图像块，并进一步找出各子图像块中指定大小、包含最多边缘点的区域构造子边缘模板，最终由这些子边缘模板构成匹配边缘模板，用于后续的图像配准。该匹配边缘模板在完整保存边缘特征的情况下，边缘点数大大减少，在后续的配准过程中，能够在保证配准精度的情况下，有效提高配准速度。
可选地，本实施例在构造匹配边缘模板时，具体将参考图像划分为2*2共4个子图像块，设置子边缘模板尺度大小,子边缘模板的大小是子图像块大小的一定比例，计算公式如下所示：
其中，和/>分别表示子边缘模板的宽和高，/>和/>分别表示子图像块的宽和高，ratio是比例因子。比例因子ratio越大，则子边缘模板越大，配准精度越高，但相应的计算速度越慢；作为一种优选的实施方式，本实施例具体将ratio的值设置为0.6，可以在保证配准精度的同时兼具较快的配准速度。应当说明的是，子图像块的划分方案，以及子边缘模板的设置方式可根据实际应用灵活设置，此处仅为一种优选的实施方式，不应理解为对本发明的唯一限定。
考虑到受噪声的影响，部分子图像块中构造的子边缘模板可能在图像配准过程中是无效的，因此，为进一步减小计算量，提高配准速度，本实施例的步骤(S2)在构造各子图像块的子边缘模板后，若子边缘模板中包含的边缘点数量大于子图像块中像素点数量的一定比例，则认为此子边缘模板是有效的，否则认为是无效的，对于无效的子边缘模板会进行剔除。
具体地，可针对每一个子边缘模板设置一个标志位并按照如下方式设置各标志位：
其中，sum(templatei)表示子边缘模板包含的边缘点数量，sum(Ii)表示子图像块包含的像素点数量，ratio′是比例因子，本实施例中设置为0.01；通过上述计算方式，包含边缘点的数量小于整个子图像块内像素点数量的0.01的子边缘模板的标志位将被设置为0，表示该子边缘模板为无效的子边缘模板，否则，子边缘模板的标志为/>将被设置为1，表示该子边缘模板为有效的子边缘模板。最终，标志位为0的子边缘模板将被剔除。
本实施例通过剔除无效的子边缘模板，能够避免噪声对配准精度的影响，同时，进一步减少配准的计算量。
本实施例还包括：(S3)利用匹配边缘模板对待配准图像进行匹配，根据匹配结果计算待配准图像到参考图像的变换矩阵。
对于匹配边缘模板，将其中的边缘点的位置坐标保存至数组Inf＝{(xi,yi)|i＝1,2,3…}中，对于待配准图像中对应区域，只需要计算Inf中的坐标点位置(xi,yi)处是否为边缘点，若是边缘点则认为两者在这一位置的边缘是配准的，统计Inf中所有位置的边缘点配准数量，即可得到边缘模板与待配准图像对应区域的边缘配准程度。待配准图像中边缘配准程度最高的区域，即为最佳配准位置。
为了进一步提高配准速度，本实施例提出了一种部分计算的方式，该方式在配准过程中，会构造与匹配边缘模板大小相等的滑动框，通过移动滑动框并计算不同位置处滑动框与匹配边缘模板的边缘配准程度，确定最佳配准位置；在滑动框移动过程中，会实时记录最佳配准点数量，滑动框每移动到一个位置，都会先将滑动框内包含的边缘点数与当前的最佳配准点数进行比较，在滑动框内包含的边缘点数较少时，不进行配准计算，由此能够避免无效的计算量，进一步提高配准速度。具体地，本实施例的步骤(S3)中，利用匹配边缘模板对待配准图像进行匹配，包括：
以待配准图像作为配准对象，以匹配边缘模板作为模板图像，对配准对象和模板图像进行快速边缘配准，得到待配准图像和匹配边缘模板间的最佳配准位置；
快速边缘配准包括：
(S31)设置与模板图像大小相等的滑动框，并使滑动框对齐配准图像的左上位置，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量NUM，并记录滑动框的当前位置作为最佳边缘配准位置(x，y)NUM；
(S32)若完成所有位置的滑动，则转入步骤(S35)；否则，使滑动框按照预设的步距滑动至下一个位置后，转入步骤(S33)；
(S33)记录当前滑动框内包含的边缘点数量numk，若numk＞NUM，则转入步骤(S34)；否则，转入步骤(S32)；
为了快速计算当前滑动框内包含的边缘点数量numk，本实施例具体采用了如下方法：
将上一位置下滑动框内包含的边缘点数量记为numk-1；计算当前滑动框相对于上一位置下的滑动框新增加的像素点中包含的边缘点数量numa和减少的像素点中包含的边缘点数量nump的差值numd＝numq-nump，更新此时滑动框中包含的边缘点数量为numk＝numk-1+numd；
当前滑动框内包含的边缘点数量numk不满足numk＞NUM时，在该位置下的边缘配准程度不可能最高，该位置也不可能为最佳配准位置，此时不对当前滑动框进行配准计算，而是直接转入到步骤(S32)，使滑动框滑动到下一个位置，由此能够在不影响配准精度的情况下，减少无效计算，进一步提高配准精度；
(S34)将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，若NUMc＞NUM，则按照NUM＝NUMc对最佳配准点数量NUM进行更新，并将最佳边缘配准位置(x,y)NUM更新为滑动框的当前位置，之后转入步骤(S32)；否则，转入步骤(S32)；
(S35)输出当前的最佳边缘配准位置(x,y)NUM，完成匹配。
考虑到源图像间可能存在相对旋转关系，为了保证配准精度，本实施例的步骤(S34)中，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，包括：
在当前位置下，固定滑动框的中心，并使滑动框按照预设的角度间隔旋转一周，在每一个角度下，将滑动框内包含的边缘点与模板图像中的边缘点进行匹配，并记录配准的边缘点的数量；
将各角度下配准的边缘点的数量最大值作为当前位置下配准的边缘点数量NUMc，并记录对应的旋转角度
并且，步骤(S35)中，在输出最佳边缘配准位置(x,y)NUM的同时，会输出对应的旋转角度。
确定最佳边缘配准位置和相应的旋转角度后，依照刚体模型变换公式
可以得到图像最终的变换矩阵参数(xd,yd,θ),(xd,yd)表示的待配准图像相对于参考图像的平移量，θ表示待配准图像相对于参考图像的旋转角度，其中，(x,y)和(x',y')分别表示待配准图像和参考图像中的像素点坐标。
本实施例还包括：(S4)根据变换矩阵，对待配准图像对应的源图像中的各像素进行位置变换，完成图像配准。
为便于后续的图像处理，本实施例的步骤(S4)还包括：对待配准图像对应的源图像中的各像素进行位置变换后，将变换后的图像与另一幅源图像进行加权融合。
图2所示，基于本实施例提供的异谱图像配准方法的配准结果，其中，(a)为待配准的红外图像，(b)为待配准的可见光图像，(c)为融合后的图像。根据图2中的(c)可知，配准后的图像细节更为清晰，由此说明了本实施例提供的配准方法能够精确完成配准，基于该配准结果，本实施例所得到的融合图像既保证了图像中丰富的细节纹理信息同时也可突出图像中的高亮目标。
为了进一步验证本实施例所提供的异谱图像的配准方法所能取得的有益效果，本实施例对融合图像的评价指标进行计算，评价指标包括峰值信噪比PSNR、结构相似性SSIM和平均绝对误差MAE，PSNR和SSIM越大代表融合效果越好，图像配准精度越高，MAE越小代表融合效果越好，图像配准精度越高；由于很多其它方法在某些场景下无法计算出图像变换模型，也就无法实现配准，因此将失配率也作为一个图像配准的评价指标，失配率计算公式如下：
融合图像的各评价指标如表1所示。
表1
指标 PSNR SSIM MAE 失配率 运行时间
值 15.4926 0.6629 24.9165 0 93.59
根据表1所示的结果可知，基于本实施例中所提供的基于边缘提取的异谱图像配准方法得到的融合图像，具有较好的融合效果，且该配准过程运行时间较短。
为了验证本文提出的基于边缘提取的多子模板匹配算法的有效性和优越性，将本发明提供的配准方法和三种现有的基于模板的匹配方法进行了对比分析，三种对比方法的基本流程相同，区别就在于相似度的计算方法不同。下面对这三种相似度计算方法分别进行说明。
(1)互信息MI
两幅图像的MI等于它们的熵之和减去他们之间的联合熵，对于两幅图像I和J，其互信息计算公式如下所示：
MI(I，J)＝H(I)+H(J)-H(I，J)
上式中，H(I)和H(J)分别表示图像I和图像J的熵，表示图像I和图像J的联合熵，它们可通过下述公式进行求解。
H(I)＝-∑iPI(i)logPI(i)
H(J)＝-∑iPJ(j)logPJ(j)
H(I，J)＝-∑i，jPIJ(i，j)logPIJ(i，j)
在上述公式中，PI(i)和PJ(j)表示图像的概率分布函数，即图像中各像素灰度出现的概率，N表示图像的灰度级数。两幅图像的联合概率分布函数用PIJ(i，j)进行表示。若计算得到的两幅图像的MI越大，则表示它们之间的相关性越大。具体到模板匹配算法中，通过统计模板图像和浮动图像之间的互信息量，选择互信息量最大时对应的位置，即可以认为是模板图像和浮动图像相关性最大的位置，因此将此位置作为最终的匹配位置。
(2)归一化互信息NMI
某些情况下，图像中可能存在多个具有相似灰度分布的区域，此时使用归一化互信息相较于互信息可以取得更好的配准效果。归一化互信息中图像熵和联合熵的计算与互信息一致，区别仅在于最后归一化互信息指标的计算有所不同。其计算公式如下所示。
同互信息类似，归一化互信息越大，则表示两幅图像的相关性越大，因此通过寻找模板匹配过程中归一化互信息最大时对应的匹配位置，即可实现两幅图像的配准。
(3)归一化互相关系数NCC
归一化互相关系数同样可以刻画两幅图像之间的相关程度，对于图像I和图像J，它们之间的归一化互相关系数计算公式如下所示。
上式中，I(i,j)和J(i,j)分别表示图像I和图像J中对应位置的像素值，和/>表模板区域内的像素均值。若两幅图像相关性越大，则它们计算出的NCC值也就越大。因此，通过此指标寻找浮动图像中与模板图像相关性最大时的匹配位置，即可实现两幅图像的配准。
进一步选取了3个现有的基于特征的异谱图像配准算法，即SURF-PIIFD-RPM算法、PSO-SIFT算法和CAO-C2F算法作为对比，连同基于MI、NMI、NCC的模板匹配方法，共6个方法，这6个方法的评价指标如表2所示。
表2不同配准方法的评价指标
配准方法 PSNR SSIM MAE 失配率
基于MI的模板匹配 14.1630 0.5851 34.3952 0
基于NMI的模板匹配 14.2951 0.6040 33.2263 0
基于NCC的模板匹配 13.8778 0.5785 35.4041 0
SURF-PIIFD-PRM 14.2556 0.5951 33.6998 51.43％
PSO-SIFT 14.2469 0.5896 33.9196 80％
CAO-CF 14.4738 0.6242 30.6524 28％
对比表1与表2所示的对比结果可知，从各项指标可以看出，采用本发明提供的方法进行配准处理后的图像融合效果是最好的，且无失配现象产生，这说明了本发明具有更优的配准效果。在进行红外与可见光这种光谱距离较大的异谱图像配准时，由于图像间灰度差异明显，因此利用灰度等信息难以实现精确配准。鉴于此，本发明从此类异谱图像间相关性更强的边缘信息出发，采用基于边缘提取的模板匹配方法，达到了较好的配准效果。实验结果证明了本文提出的基于边缘提取多子模板匹配算法更加适用于进行红外与可见光图像的配准。
实施例2：
一种基于边缘提取的异谱图像配准方法，如图3所示，本实施例与上述实施例1类似，所不同之处，为了进一步提高配准速度，本实施例的步骤(S3)，利用匹配边缘模板对待配准图像进行匹配，采用了一种金字塔算法结合部分计算的方式，具体地，步骤(S3)中，利用匹配边缘模板对待配准图像进行匹配，包括：
按照相同的下采样率对待配准图像和匹配边缘模板分别进行下采样，得到图像特征和模板特征；考虑到边缘图像是二值图像，数据只有0和1两种取值，为了保证图像在经过下采样后仍可以较好地保留边缘信息，优选地，本实施例采用的是最大值下采样；可选地，本实施例中，下采样具体采用的是16倍最大值下采样；待配准图像和匹配边缘模板可视作金字塔的底层，下采样得到的图像特征和模板特征可视作金字塔的第二层；
以图像特征为配准对象，以模板特征为模板图像，对配准对象和模板图像进行快速边缘配准，得到图像特征和模板特征间的第一最佳配准位置；
找到待配准图像和匹配边缘模板中与第一最佳配准位置相对应的位置，并在待配准图像中划定包含该位置的区域，作为配准对象，在匹配边缘模板中划定包含该位置的区域，作为模板图像，之后执行快速边缘配准，得到待配准图像和匹配边缘模板间的第二最佳配准位置，该第二最佳配准位置即为最终的最佳配准位置；可选地，本实施例中，进行二次匹配时，划定的区域大小为60*60个像素范围；
本实施例中，快速边缘配准的方式与上述实施例1相同，具体可参考上述步骤(S31)～(S35)中的描述在此将不做复述。
本实施例通过对下采样的结果进行配准，能够以较少的计算量快速、粗略地确定最佳配准位置，在此基础行，在待配准图像和匹配边缘模板中划定一块区域进行二次配准，则可以精确确定最佳配准位置；因此，通过这种金字塔算法和部分计算相结合的方式，本实施例能够进一步提高配准速度。
实施例3：
一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1或2提供的基于边缘提取的异谱图像配准方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘提取的异谱图像配准方法，其特征在于，包括如下步骤：
(S1)对待配准的两幅源图像分别进行边缘提取，得到两幅边缘图像，将其中一幅作为参考图像，另一幅作为待配准图像；所述两幅源图像中，一幅为红外图像，另一幅为可见光图像；
(S2)将所述参考图像划分为多个互不重叠的子图像块，在各子图像块内，从大小为的所有区域中选取包含边缘点数量最多的区域作为对应子图像块内的子边缘模板，将各子边缘模板按位置组合得到匹配边缘模板；/>和分别表示区域的宽和高，/>不超过对应子图像块的宽，且/>不超过对应子图像块的高；
(S3)利用所述匹配边缘模板对所述待配准图像进行匹配，根据匹配结果计算所述待配准图像到所述参考图像的变换矩阵；
(S4)根据所述变换矩阵，对所述待配准图像对应的源图像中的各像素进行位置变换，完成图像配准。
2.如权利要求1所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S3)中，利用所述匹配边缘模板对所述待配准图像进行匹配，包括：
以所述待配准图像作为配准对象，以所述匹配边缘模板作为模板图像，对所述配准对象和所述模板图像进行快速边缘配准，得到待配准图像和所述匹配边缘模板间的最佳配准位置；
所述快速边缘配准包括：
(S31)设置与所述模板图像大小相等的滑动框，并使所述滑动框对齐所述配准图像的左上位置，将所述滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量NUM，并记录所述滑动框的当前位置作为最佳边缘配准位置(x,y)NUM；
(S32)若完成所有位置的滑动，则转入步骤(S35)；否则，使所述滑动框按照预设的步距滑动至下一个位置后，转入步骤(S33)；
(S33)记录当前所述滑动框内包含的边缘点数量numk，若numk＞NUM，则转入步骤(S34)；否则，转入步骤(S32)；
(S34)将所述滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，若NUMc＞NUM，则按照NUM＝NUMc对最佳配准点数量NUM进行更新，并将最佳边缘配准位置(x,y)NUM更新为所述滑动框的当前位置，之后转入步骤(S32)；否则，转入步骤(S32)；
(S35)输出当前的最佳边缘配准位置(x,y)NUM，完成匹配。
3.如权利要求1所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S3)中，利用所述匹配边缘模板对所述待配准图像进行匹配，包括：
按照相同的下采样率对所述待配准图像和所述匹配边缘模板分别进行下采样，得到图像特征和模板特征；
以所述图像特征为配准对象，以所述模板特征为模板图像，对配准对象和模板图像进行快速边缘配准，得到图像特征和模板特征间的第一最佳配准位置；
找到所述待配准图像和所述匹配边缘模板中与所述第一最佳配准位置相对应的位置，并在所述待配准图像中划定包含该位置的区域，作为配准对象，在所述匹配边缘模板中划定包含该位置的区域，作为模板图像，之后执行快速边缘配准，得到所述待配准图像和所述匹配边缘模板间的第二最佳配准位置；
所述快速边缘配准包括：
(S31)设置与所述模板图像大小相等的滑动框，并使所述滑动框对齐所述配准图像的左上位置，将所述滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，将配准的边缘点的数量记录为最佳配准点数量NUM，并记录所述滑动框的当前位置作为最佳边缘配准位置(x,y)NUM；
(S32)若完成所有位置的滑动，则转入步骤(S35)；否则，使所述滑动框按照预设的步距滑动至下一个位置后，转入步骤(S33)；
(S33)记录当前所述滑动框内包含的边缘点数量numk，若numk＞NUM，则转入步骤(S34)；否则，转入步骤(S32)；
(S34)将所述滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，若NUMc＞NUM，则按照NUM＝NUMc对最佳配准点数量NUM进行更新，并将最佳边缘配准位置(x,y)NUM更新为所述滑动框的当前位置，之后转入步骤(S32)；否则，转入步骤(S32)；
(S35)输出当前的最佳边缘配准位置(x,y)NUM，完成匹配。
4.如权利要求2或3所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S34)中，将所述滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，得到配准的边缘点数量NUMc，包括：
在当前位置下，固定所述滑动框的中心，并使所述滑动框按照预设的角度间隔旋转一周，在每一个角度下，将滑动框内包含的边缘点与所述模板图像中的边缘点进行匹配，并记录配准的边缘点的数量；
将各角度下配准的边缘点的数量最大值作为当前位置下配准的边缘点数量NUMc，并记录对应的旋转角度
并且，所述步骤(S35)中，在输出最佳边缘配准位置(x,y)NUM的同时，会输出对应的旋转角度。
5.如权利要求3所述的基于边缘提取的异谱图像配准方法，其特征在于，所述下采样为最大值下采样。
6.如权利要求1～3任一项所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S1)中，在选定参考图像和待配准图像之前，还包括：对于每一幅边缘图像，执行以下步骤进行边缘清洗：
对边缘图像中包含的边缘点进行聚类，得到多个边缘类别；剔除掉包含边缘点数量小于预设的第一阈值的边缘类别。
7.如权利要求1～3任一项所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S2)中，在将各子边缘模板按位置组合得到匹配边缘模板之前，还包括：剔除掉包含的边缘点数小于预设的第二阈值的子边缘模板。
8.如权利要求7所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S2)中，每个子图像块内构造的子边缘模板的宽和高分别如下：
其中，和/>分别表示子图像块的宽和高；ratio表示比例因子，且ratio＝0.6。
9.如权利要求1～3任一项所述的基于边缘提取的异谱图像配准方法，其特征在于，所述步骤(S4)还包括：对所述待配准图像对应的源图像中的各像素进行位置变换后，将变换后的图像与另一幅源图像进行加权融合。
10.一种计算机可读存储介质，其特征在于，包括：存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1～9任一项所述的基于边缘提取的异谱图像配准方法。
CN202310839562.4A 2023-07-10 2023-07-10 一种基于边缘提取的异谱图像配准方法 Pending CN117078726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310839562.4A CN117078726A (zh) 2023-07-10 2023-07-10 一种基于边缘提取的异谱图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310839562.4A CN117078726A (zh) 2023-07-10 2023-07-10 一种基于边缘提取的异谱图像配准方法

Publications (1)

Publication Number Publication Date
CN117078726A true CN117078726A (zh) 2023-11-17

Family

ID=88706895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310839562.4A Pending CN117078726A (zh) 2023-07-10 2023-07-10 一种基于边缘提取的异谱图像配准方法

Country Status (1)

Country Link
CN (1) CN117078726A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765285A (zh) * 2024-02-22 2024-03-26 杭州汇萃智能科技有限公司 一种具有抗噪功能的轮廓匹配方法、系统及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765285A (zh) * 2024-02-22 2024-03-26 杭州汇萃智能科技有限公司 一种具有抗噪功能的轮廓匹配方法、系统及介质

Similar Documents

Publication Publication Date Title
EP3382644B1 (en) Method for 3d modelling based on structure from motion processing of sparse 2d images
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
Brox et al. Large displacement optical flow
CN106960449B (zh) 基于多特征约束的异源配准方法
Navarro et al. Robust and dense depth estimation for light field images
CN103593832A (zh) 一种基于高斯二阶差分特征检测算子的图像拼接方法
Sheng et al. Geometric occlusion analysis in depth estimation using integral guided filter for light-field image
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN104123554B (zh) 基于mmtd的sift图像特征提取方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN101765019B (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
Li et al. Multimodal image registration with line segments by selective search
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN117078726A (zh) 一种基于边缘提取的异谱图像配准方法
CN114782715B (zh) 一种基于统计信息的静脉识别方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN104966283A (zh) 图像分层配准方法
CN112734816B (zh) 基于CSS-Delaunay的异源图像配准方法
CN109840529A (zh) 一种基于局部敏感置信度评估的图像匹配方法
Ivashechkin et al. USACv20: robust essential, fundamental and homography matrix estimation
Priyadharshini et al. Automatic registration of images with simulated rotation and translation estimation using HAIRIS
CN115035089A (zh) 适用于二维脑图像数据的脑解剖结构定位方法
Sarkar et al. A robust method for inter-marker whole slide registration of digital pathology images using lines based features
Yao et al. Depth recovery for unstructured farmland road image using an improved SIFT algorithm
CN113689479B (zh) 一种无人机热红外可见光影像配准的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination