CN111667520B - 红外图像和可见光图像的配准方法、装置及可读存储介质 - Google Patents

红外图像和可见光图像的配准方法、装置及可读存储介质 Download PDF

Info

Publication number
CN111667520B
CN111667520B CN202010518446.9A CN202010518446A CN111667520B CN 111667520 B CN111667520 B CN 111667520B CN 202010518446 A CN202010518446 A CN 202010518446A CN 111667520 B CN111667520 B CN 111667520B
Authority
CN
China
Prior art keywords
image
visible light
infrared
feature point
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010518446.9A
Other languages
English (en)
Other versions
CN111667520A (zh
Inventor
张梁
刘延
黄招吨
丁浩
陈振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No63811 Unit Of Pla
Original Assignee
No63811 Unit Of Pla
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No63811 Unit Of Pla filed Critical No63811 Unit Of Pla
Priority to CN202010518446.9A priority Critical patent/CN111667520B/zh
Publication of CN111667520A publication Critical patent/CN111667520A/zh
Application granted granted Critical
Publication of CN111667520B publication Critical patent/CN111667520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本申请公开了一种红外图像和可见光图像的配准方法、装置及计算机可读存储介质。其中，方法包括对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理得到目标图像特征突出且特征表达一致的红外图像和可见光图像；利用surf算子分别从这两幅图像中提取得到红外surf特征点集和可见surf特征点集；基于最小欧式距离从红外surf特征点集和可见surf特征点集选择两组匹配特征点对；根据两组匹配特征点对的像素坐标计算相机坐标空间转化过程中的平移参数和缩放参数，得到相机坐标变化矩阵，以将待配准红外图像和待配准可见光图像进行图像配准。本申请有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量融合图像。

Description

红外图像和可见光图像的配准方法、装置及可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种红外图像和可见光图像的配准方法、装置及计算机可读存储介质。
背景技术
随着红外技术的快速发展，同时配备可见光相机和红外相机的光学设备越来越多，例如航天靶场光学设备，该设备用于对火箭飞行实况景象进行记录。可以理解的是，不同成像类型的相机的成像特点不同，可见光相机分辨率高，细节信息丰富，红外相机不受背景照度影响，可用性较高。因此，通过融合红外图像与可见光图像将两者的优势进行互补，可以获得质量更高的图像。
由于红外相机和可见光相机的焦距、视场、分辨率均不一致，在进行红外图像和可见光融合过程中，需要将不同相机获取的图像的逐个像素点进行像素匹配对准，使得同一个像素对应的是同一个物体，这样才能保证融合结果不出现失真和假影。由于红外图像与可见光图像成像原理的差异，会导致现有的一部分配准算法直接配准失败，不可用。而相关技术在采用异源图像配准方法进行图像配准时，受限于特定的应用场景，针对航天靶场光学设备的红外图像与可见光图像的配准，该方法可用的匹配特征点对往往较少，造成匹配精度较低，直接影响后续图像融合的质量。
发明内容
本申请提供了一种红外图像和可见光图像的配准方法、装置及计算机可读存储介质，有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量的红外和可见光融合图像。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种红外图像和可见光图像的配准方法，包括：
对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像；
利用surf算子从所述红外图像和所述可见光图像中提取得到红外surf特征点集和可见surf特征点集；
基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对；
根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵；
根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准。
可选的，所述基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对包括：
计算所述红外surf特征点集中每个特征点分别与所述可见surf特征点集中各特征点间欧式距离，基于每两个特征点之间的欧式距离进行排序；
选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集；
从所述候选匹配特征点集中选择与所述第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
可选的，所述对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像包括：
基于自适应阈值的平台直方图均衡方法处理所述红外图像，以得到全局对比度增强的预处理红外图像；
对所述可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓；
利用canny算子检测得到所述预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
可选的，所述根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵包括：
基于两组匹配特征点对的像素坐标值，根据相机坐标变化矩阵计算关系式计算得到所述相机坐标变化矩阵；所述相机坐标变化矩阵计算关系式为：
Figure BDA0002531041020000031
其中，所述相机坐标变化矩阵为
Figure BDA0002531041020000032
式中，a为x坐标轴的缩放因子，c为x坐标轴的平移因子，e为y坐标轴的缩放因子，f为y坐标轴的平移因子，(x1'，y1')、(x1，y1)和(x2'，y2')、(x2，y2)为两组匹配特征点对在各自像素坐标系下的像素坐标值。
可选的，所述根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准包括：
根据所述相机坐标变化矩阵将所述待配准红外图像配准至所述待配准可见光图像中。
本发明实施例另一方面提供了一种红外图像和可见光图像的配准装置，包括：
图像处理模块，用于对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像；
特征提取模块，用于利用surf算子从所述红外图像和所述可见光图像中提取得到红外surf特征点集和可见surf特征点集；
特征点对匹配模块，用于基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对；
变化矩阵计算模块，用于根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵；
图像配准模块，用于根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准。
可选的，所述特征点对匹配模块包括：
欧式距离计算子模块，用于计算所述红外surf特征点集中每个特征点分别与所述可见surf特征点集中各特征点间欧式距离，基于每两个特征点之间的欧式距离进行排序；
匹配特征点选择子模块，用于选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集；从所述候选匹配特征点集中选择与所述第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
可选的，所述图像处理模块包括：
红外图像预处理子模块，用于基于自适应阈值的平台直方图均衡方法处理所述红外图像，以得到全局对比度增强的预处理红外图像；
可见光图像预处理子模块，用于对所述可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓；
边缘检测子模块，用于利用canny算子检测得到所述预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
本发明实施例还提供了一种红外图像和可见光图像的配准装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述红外图像和可见光图像的配准方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有红外图像和可见光图像的配准程序，所述红外图像和可见光图像的配准程序被处理器执行时实现如前任一项所述红外图像和可见光图像的配准方法的步骤。
本申请提供的技术方案的优点在于，在提取surf特征点前，先进行图像处理，使得图像中的目标特征突出且可避免特征表达的不一致问题；利用红外相机与可见光相机的光路近似平行的靶场发射先验信息，简化了匹配矩阵的参数数量，减少了对匹配点对数量的依赖，通过两对匹配点对即可完成特征匹配，不会由于特征点对数量少便对匹配精度造成影响，有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量的红外和可见光融合图像。
此外，本发明实施例还针对红外图像和可见光图像的配准方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种红外图像和可见光图像的配准方法的流程示意图；
图2为本发明实施例提供的红外图像和可见光图像配准后得到的图像；
图3为本发明实施例提供的S103在一种实施方式下的流程示意图；
图4为本发明实施例提供的示意性例子的特征点匹配结果示意图；
图5为本发明实施例提供的S101在一种实施方式下的流程示意图；
图6为本发明实施例提供的示意性例子的待配准红外图像示意图；
图7为本发明实施例提供的示意性例子中图6预处理后的红外图像示意图；
图8为本发明实施例提供的示意性例子的待配准可见光图像示意图；
图9为本发明实施例提供的示意性例子中图8预处理后的可见光图像示意图；
图10为本发明实施例提供的红外图像和可见光图像的配准装置的一种具体实施方式结构图；
图11为本发明实施例提供的红外图像和可见光图像的配准装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种红外图像和可见光图像的配准方法的流程示意图，本发明实施例可包括以下内容：
S101：对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像。
本申请适用于航天靶场光学设备，对该设备中的红外相机和可见光相机于同一时刻拍摄同一目标的红外图像和可见光图像进行图像配置以用于后续的图像融合处理。可以理解的是，相机直接拍摄得到的图像中的目标的图像特征不够突出，边缘轮廓不清楚，影响后续图像配准的精度，在进行配准之前，可对红外图像和可见光图像进行图像处理，以使图像中的目标图像特征突出、此外，在提取S102的surf特征之前，需要图像的特征表达相同，所以需要在S101步骤的图像处理完之后得到特征表达一致的红外图像和可见光图像。
S102：利用surf算子从红外图像和可见光图像中提取得到红外surf特征点集和可见surf特征点集。
在本步骤中，可采用任何一种surf算子从S101中图像处理完的红外图像和可见光图像中提取surf特征，特征提取过程可参阅相关技术记载的实现过程，此处，便不再赘述。利用surf算子从红外图像提取的surf特征构成红外surf特征点集，利用surf算子从可见光图像提取的surf特征构成可见surf特征点集。
S103：基于最小欧式距离从红外surf特征点集和可见surf特征点集选择两组匹配特征点对。
可以理解的是，红外surf特征点集的一个特征点和可见surf特征点集的一个特征点构成一组特征点对，当这组特征点对中两个特征点间的欧式距离满足预设距离要求，如在所有特征点对中欧式距离是最小的，则这组特征点对即为匹配特征点对。
S104：根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵。
可以理解的是，红外surf特征点集中的特征点的像素坐标是在红外相机的坐标系下的坐标值，可见surf特征点集中的特征点的像素坐标是在可见光相机的坐标系下的坐标值，不同相机坐标系不同，但是二者拍摄的是同一目标，也就是说，同一个像素点对应在不同坐标系下的具有不同的像素坐标，需要确定两个相机坐标系之间的坐标转化关系，即相机坐标变化矩阵以将像素点的像素坐标对其在同一个坐标系下，这样便可确定两个图像中属于同一个目标点的像素点。对于航天靶场光学设备，其红外相机和可见光相机的光路平行，两个图像坐标系之间只有平移与缩放变换，而可以忽略旋转变换。故可通过两组匹配特征点对计算得到平移参数和缩放参数，基于平移参数和缩放参数便可确定相机坐标变化矩阵。
S105：根据相机坐标变化矩阵将待配准红外图像和待配准可见光图像进行图像配准。
在S104确定了相机坐标变化矩阵后，可将可见光图像中的每个像素点的像素坐标转化至红外相机坐标下的像素坐标，也可将红外图像中的每个像素点的像素坐标转化至可见光相机坐标系下，这样相同像素坐标的像素点即为同一个像素点，从而实现图像配准。基于航天靶场光学设备为对火箭飞行实况景象进行记录，为了展示更符合用户视觉的图像效果，可根据相机坐标变化矩阵将待配准红外图像配准至待配准可见光图像中，如图2所示，为一个示意性例子采用本申请技术方案进行图像配准后的图像效果。
在本发明实施例提供的技术方案中，在提取surf特征点前，先进行图像处理，使得图像中的目标特征突出且可避免特征表达的不一致问题；利用红外相机与可见光相机的光路近似平行的靶场发射先验信息，简化了匹配矩阵的参数数量，减少了对匹配点对数量的依赖，通过两对匹配点对即可完成特征匹配，不会由于特征点对数量少便对匹配精度造成影响，有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量的红外和可见光融合图像。
在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出匹配特征点对的一种确定方式，如图3所示，S103包括如下步骤：
S1031：计算红外surf特征点集中每个特征点分别与可见surf特征点集中各特征点间欧式距离。
S1032：基于每两个特征点之间的欧式距离进行排序。
例如可按照最小欧氏距离从小到大排序，当然，可以按照欧式距离从大到小排序，这均不影响本申请的实现。
S1033：选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集。
所属领域技术人员可基于实际应用场景选择N值，本申请对此不做任何限定。
S1034：从候选匹配特征点集中选择与第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
例如可选择欧氏距离最小的前8组匹配点对中，距离第1对匹配点对像平面距离最远的匹配点对为第2对匹配点对。如图4所示，为一个示意性例子采用本发明实施例进行配准后的surf匹配点。
由上可知，本发明实施例利用红外相机与可见光相机的光路近似平行的先验信息，简化了匹配矩阵的参数数量，减少了对匹配点对数量的依赖，通过两对匹配点对即可完成特征匹配。在选取匹配点对时，为了保证匹配矩阵的计算精度，在根据最短特征空间欧式距离选择第1对匹配点对的基础上，再基于最远像平面距离选择第2对匹配点对，进一步提升了配准精度。
在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出图像处理的一种实现方式，如图5所示，S101包括如下步骤：
S1011：基于自适应阈值的平台直方图均衡方法处理红外图像，以得到全局对比度增强的预处理红外图像。
如图7和图6所示，采用基于自适应阈值的平台直方图均衡方法处理红外图像，可获得目标增强的红外图像。
S1012：对可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓。
如图9和图8所示，采用S1012步骤处理可见光图像，可获得目标轮廓清晰的可见光图像。
S1013：利用canny算子检测得到预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
由上可知，本发明实施例通过图像预处理和边缘图提取，得到目标特征突出且特征表达一致的红外图像和可见光图像，有利于提高后续图像配准准确度。
作为另外一种实施方式，本申请还针对相机坐标变化矩阵的计算过程给出一种实现方式，可包括下述内容：
相机坐标变化矩阵可表示为
Figure BDA0002531041020000101
根据两组匹配特征点对的像素坐标值构建下述计算关系式：
Figure BDA0002531041020000102
基于上述构建的计算关系式，可得到相机坐标变化矩阵计算关系式，根据相机坐标变化矩阵计算关系式计算得到相机坐标变化矩阵；相机坐标变化矩阵计算关系式可表示为：
Figure BDA0002531041020000103
式中，a为x坐标轴的缩放因子，c为x坐标轴的平移因子，e为y坐标轴的缩放因子，f为y坐标轴的平移因子，(x1'，y1')、(x1，y1)和(x2'，y2')、(x2，y2)为两组匹配特征点对在各自像素坐标系下的像素坐标值。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1、图3和图5只是一种示意方式，并不代表只能是这样的执行顺序。
本发明实施例还针对红外图像和可见光图像的配准方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的红外图像和可见光图像的配准装置进行介绍，下文描述的红外图像和可见光图像的配准装置与上文描述的红外图像和可见光图像的配准方法可相互对应参照。
基于功能模块的角度，参见图10，图10为本发明实施例提供的红外图像和可见光图像的配准装置在一种具体实施方式下的结构图，该装置可包括：
图像处理模块101，用于对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像。
特征提取模块102，用于利用surf算子从红外图像和可见光图像中提取得到红外surf特征点集和可见surf特征点集。
特征点对匹配模块103，用于基于最小欧式距离从红外surf特征点集和可见surf特征点集选择两组匹配特征点对。
变化矩阵计算模块104，用于根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵。
图像配准模块105，用于根据相机坐标变化矩阵将待配准红外图像和待配准可见光图像进行图像配准。
可选的，在本实施例的一些实施方式中，所述特征点对匹配模块103可包括：
欧式距离计算子模块，用于计算红外surf特征点集中每个特征点分别与可见surf特征点集中各特征点间欧式距离，基于每两个特征点之间的欧式距离进行排序；
匹配特征点选择子模块，用于选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集；从候选匹配特征点集中选择与第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
可选的，在本实施例的另一些实施方式中，所述图像处理模块101例如还可以包括：
红外图像预处理子模块，用于基于自适应阈值的平台直方图均衡方法处理红外图像，以得到全局对比度增强的预处理红外图像；
可见光图像预处理子模块，用于对可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓；
边缘检测子模块，用于利用canny算子检测得到预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
本发明实施例所述红外图像和可见光图像的配准装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量融合图像。
上文中提到的红外图像和可见光图像的配准装置是从功能模块的角度描述，进一步的，本申请还提供一种红外图像和可见光图像的配准装置，是从硬件角度描述。图11为本申请实施例提供的另一种红外图像和可见光图像的配准装置的结构图。如图11所示，该装置包括存储器110，用于存储计算机程序；
处理器111，用于执行计算机程序时实现如上述任一实施例提到的红外图像和可见光图像的配准方法的步骤。
其中，处理器111可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器111可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器111也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器111可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器111还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器110可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器110还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器110至少用于存储以下计算机程序1101，其中，该计算机程序被处理器111加载并执行之后，能够实现前述任一实施例公开的红外图像和可见光图像的配准方法的相关步骤。另外，存储器110所存储的资源还可以包括操作系统1102和数据1103等，存储方式可以是短暂存储或者永久存储。其中，操作系统1102可以包括Windows、Unix、Linux等。数据1103可以包括但不限于测试结果对应的数据等。
在一些实施例中，红外图像和可见光图像的配准装置还可包括有显示屏112、输入输出接口113、通信接口114、电源25以及通信总线116。
本领域技术人员可以理解，图11中示出的结构并不构成对红外图像和可见光图像的配准装置的限定，可以包括比图示更多或更少的组件，例如传感器117。
本发明实施例所述红外图像和可见光图像的配准装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量融合图像。
可以理解的是，如果上述实施例中的红外图像和可见光图像的配准方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有红外图像和可见光图像的配准程序，所述红外图像和可见光图像的配准程序被处理器执行时如上任意一实施例所述红外图像和可见光图像的配准方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例有效提高了红外图像和可见光图像的图像配准精度，有利于获取高质量融合图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种红外图像和可见光图像的配准方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种红外图像和可见光图像的配准方法，其特征在于，包括：
对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像；
利用surf算子从所述红外图像和所述可见光图像中提取得到红外surf特征点集和可见surf特征点集；
基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对；
根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵；
根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准；
其中，所述对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像包括：
基于自适应阈值的平台直方图均衡方法处理所述红外图像，以得到全局对比度增强的预处理红外图像；
对所述可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓；
利用canny算子检测得到所述预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
2.根据权利要求1所述的红外图像和可见光图像的配准方法，其特征在于，所述基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对包括：
计算所述红外surf特征点集中每个特征点分别与所述可见surf特征点集中各特征点间欧式距离，基于每两个特征点之间的欧式距离进行排序；
选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集；
从所述候选匹配特征点集中选择与所述第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
3.根据权利要求1或2所述的红外图像和可见光图像的配准方法，其特征在于，所述根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵包括：
基于两组匹配特征点对的像素坐标值，根据相机坐标变化矩阵计算关系式计算得到所述相机坐标变化矩阵；所述相机坐标变化矩阵计算关系式为：
Figure FDA0004107809410000021
其中，所述相机坐标变化矩阵为
Figure FDA0004107809410000022
式中，a为x坐标轴的缩放因子，c为x坐标轴的平移因子，e为y坐标轴的缩放因子，f为y坐标轴的平移因子，(x1'，y1')、(x1，y1)和(x2'，y2')、(x2，y2)为两组匹配特征点对在各自像素坐标系下的像素坐标值。
4.根据权利要求3所述的红外图像和可见光图像的配准方法，其特征在于，所述根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准包括：
根据所述相机坐标变化矩阵将所述待配准红外图像配准至所述待配准可见光图像中。
5.一种红外图像和可见光图像的配准装置，其特征在于，包括：
图像处理模块，用于对航天靶场光学设备于同一时刻拍摄同一目标的待配准可见光图像和待配准红外图像进行图像处理，得到目标图像特征突出且特征表达一致的红外图像和可见光图像；
特征提取模块，用于利用surf算子从所述红外图像和所述可见光图像中提取得到红外surf特征点集和可见surf特征点集；
特征点对匹配模块，用于基于最小欧式距离从所述红外surf特征点集和所述可见surf特征点集选择两组匹配特征点对；
变化矩阵计算模块，用于根据两组匹配特征点对的像素坐标值计算相机坐标空间转化过程中的平移参数和缩放参数，以得到相机坐标变化矩阵；
图像配准模块，用于根据所述相机坐标变化矩阵将所述待配准红外图像和所述待配准可见光图像进行图像配准；
其中，所述图像处理模块包括：
红外图像预处理子模块，用于基于自适应阈值的平台直方图均衡方法处理所述红外图像，以得到全局对比度增强的预处理红外图像；
可见光图像预处理子模块，用于对所述可见光图像进行反转灰度处理，并对反转灰度处理后的图像进行非线性变化以突出目标轮廓；
边缘检测子模块，用于利用canny算子检测得到所述预处理红外图像和处理过的可见光图像的二值化边缘图，得到用于提取特征点的红外图像和可见光图像。
6.根据权利要求5所述的红外图像和可见光图像的配准装置，其特征在于，所述特征点对匹配模块包括：
欧式距离计算子模块，用于计算所述红外surf特征点集中每个特征点分别与所述可见surf特征点集中各特征点间欧式距离，基于每两个特征点之间的欧式距离进行排序；
匹配特征点选择子模块，用于选择欧式距离最小的两个特征点作为第一组匹配特征点对，并选择欧式距离最小的前N组特征点构成候选匹配特征点集；从所述候选匹配特征点集中选择与所述第一组匹配特征点对的像平面距离最远的匹配点对作为第二组匹配特征点对。
7.一种红外图像和可见光图像的配准装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述红外图像和可见光图像的配准方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有红外图像和可见光图像的配准程序，所述红外图像和可见光图像的配准程序被处理器执行时实现如权利要求1至4任一项所述红外图像和可见光图像的配准方法的步骤。
CN202010518446.9A 2020-06-09 2020-06-09 红外图像和可见光图像的配准方法、装置及可读存储介质 Active CN111667520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010518446.9A CN111667520B (zh) 2020-06-09 2020-06-09 红外图像和可见光图像的配准方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518446.9A CN111667520B (zh) 2020-06-09 2020-06-09 红外图像和可见光图像的配准方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111667520A CN111667520A (zh) 2020-09-15
CN111667520B true CN111667520B (zh) 2023-05-16

Family

ID=72386230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518446.9A Active CN111667520B (zh) 2020-06-09 2020-06-09 红外图像和可见光图像的配准方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111667520B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132874B (zh) * 2020-09-23 2023-12-05 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN112184784B (zh) * 2020-09-27 2023-06-06 烟台艾睿光电科技有限公司 一种双光谱图像对齐方法、装置、电子设备及存储介质
CN112132753B (zh) * 2020-11-06 2022-04-05 湖南大学 多尺度结构引导图像的红外图像超分辨率方法及系统
CN112598716B (zh) * 2020-12-01 2024-04-05 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
CN112508033B (zh) * 2021-02-03 2021-06-08 新东方教育科技集团有限公司 检测方法、存储介质和电子装置
CN113066011B (zh) * 2021-04-07 2022-11-11 合肥英睿系统技术有限公司 一种图像处理方法、装置、系统、介质和电子设备
CN113138148B (zh) * 2021-04-21 2022-04-08 中国农业大学 一种基于红外图像的土壤入渗性能自动测量方法及装置
CN113284128B (zh) * 2021-06-11 2023-05-16 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质
CN116843731A (zh) * 2022-03-23 2023-10-03 腾讯科技（深圳）有限公司 对象识别方法以及相关设备
CN116090094A (zh) * 2022-12-27 2023-05-09 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN115965843B (zh) * 2023-01-04 2023-09-29 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN117152218A (zh) * 2023-08-08 2023-12-01 正泰集团研发中心(上海)有限公司 图像配准方法、装置、计算机设备和可读存储介质
CN116704048B (zh) * 2023-08-09 2023-11-17 四川元祉智慧科技有限公司 一种双光配准方法
CN116934815B (zh) * 2023-09-18 2024-01-19 国网山东省电力公司嘉祥县供电公司 电力设备图像配准方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404937A (zh) * 2006-03-22 2009-04-08 柯尼卡美能达医疗印刷器材株式会社 放射线图像处理方法、放射线图像处理装置以及放射线图像摄影系统
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN109902586A (zh) * 2019-01-29 2019-06-18 平安科技（深圳）有限公司 掌纹提取方法、装置及存储介质、服务器
CN110990035A (zh) * 2019-11-01 2020-04-10 中国人民解放军63811部队 一种基于Git的链式软件升级方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404937A (zh) * 2006-03-22 2009-04-08 柯尼卡美能达医疗印刷器材株式会社 放射线图像处理方法、放射线图像处理装置以及放射线图像摄影系统
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN109902586A (zh) * 2019-01-29 2019-06-18 平安科技（深圳）有限公司 掌纹提取方法、装置及存储介质、服务器
CN110990035A (zh) * 2019-11-01 2020-04-10 中国人民解放军63811部队 一种基于Git的链式软件升级方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种从粗到精的红外和可见光卫星图像配准方法;胡永利等;《光谱学与光谱分析》;20131115(第11期);第90-94页 *
医学影像计算机处理和管理系统的研制与开发;万业达等;《天津医科大学学报》;19971230(第04期);第33-34页 *

Also Published As

Publication number Publication date
CN111667520A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN109376667B (zh) 目标检测方法、装置及电子设备
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN107944450B (zh) 一种车牌识别方法及装置
CN111222395A (zh) 目标检测方法、装置与电子设备
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN107959798B (zh) 视频数据实时处理方法及装置、计算设备
CN111985458A (zh) 一种检测多目标的方法、电子设备及存储介质
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN109523570B (zh) 运动参数计算方法及装置
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN115424181A (zh) 目标对象的检测方法和装置
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品
JP5975484B2 (ja) 画像処理装置
CN113095347A (zh) 基于深度学习的标记识别方法和训练方法及其系统和电子设备
CN113128277A (zh) 一种人脸关键点检测模型的生成方法及相关设备
CN110910379A (zh) 一种残缺检测方法及装置
CN112967398B (zh) 一种三维数据重建方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant