CN112215876B - 一种双光谱图像配准融合方法、装置、设备及存储介质 - Google Patents

一种双光谱图像配准融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112215876B
CN112215876B CN202011139160.6A CN202011139160A CN112215876B CN 112215876 B CN112215876 B CN 112215876B CN 202011139160 A CN202011139160 A CN 202011139160A CN 112215876 B CN112215876 B CN 112215876B
Authority
CN
China
Prior art keywords
image
parallax
pixel
infrared image
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011139160.6A
Other languages
English (en)
Other versions
CN112215876A (zh
Inventor
王静
刘宇廷
王立刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202011139160.6A priority Critical patent/CN112215876B/zh
Publication of CN112215876A publication Critical patent/CN112215876A/zh
Application granted granted Critical
Publication of CN112215876B publication Critical patent/CN112215876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种双光谱图像配准融合方法、装置、设备及存储介质，包括：输入双目立体标定后极线对齐的红外图像和可见光图像，分别对红外图像和可见光图像进行图像预处理，并对红外图像进行图像分割；依次对红外图像和可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；当匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；根据视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；对视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。这样能够对每张图进行实时计算，效率高，计算量小，占用资源少，匹配准确性高。

Description

一种双光谱图像配准融合方法、装置、设备及存储介质
技术领域
本发明涉及图像融合技术领域，特别是涉及一种双光谱图像配准融合方法、装置、设备及存储介质。
背景技术
近年来，多源传感器成像技术的快速发展，使得多源图像融合技术得到了广泛的关注和研究，多种产品形态也出现在市面上。红外和可见光图像融合技术作为多源图像融合领域的一个热点分支，在军事、医疗、监控、生物、勘测等领域有着重要的作用。红外图像反映了物体表面的热辐射差异，具有全天候工作特定，被广泛的应用于热源目标探测。但是，由于热扩散作用，红外图像的场景边缘比较模糊，难以对于场景进行精确描述，相反，由可见光成像得到的图像一般可以准确反映图像的场景信息，但是不能探测隐蔽的目标，并且在光线不足的情况下难以正常工作。因此，展开对特性互补的红外与可见光融合技术的研究具有重要意义。而图像配准是图像融合工作的重要前提。目前，一般采用目标距离辅助配准或实时特征点的配准融合方法实现图像配准。
采用目标距离辅助配准的方法是根据距离标定的双光仿射变换特征，进行不同距离的图像配准，配准和融合过程需要通过特定已知物体的大小或距离传感器进行返还距离数据，根据距离对应的仿射变换矩阵进行实时配准。但是，根据距离标定的配准，因为增加了距离的限制，配准过程复杂、耗时长、限制较大，存储不同距离的多组仿射变换矩阵耗费硬件内存资源，且实施测距装置增加了产品的成本，测距模块的增加也降低了配准的不确定性。
采用实时特征点的配准融合方法是根据场景的边缘特征提取双光图像中的对应配准点，利用ORB等角点提取和特征描述算法进行实时的映射变换和图像配准。但是，特征点检测配准不适用于实时快速计算过程，运算量大比较耗费资源；且该方法比较适用于短波红外这种与可见光成像相近的双光配准模块计算中，对于图像差异较大的中长波无法准确查找配准点；该方法也比较适用于分辨率相差不大的双光模组，对于分辨率相差很大(>＝5)的模组无法使用。
因此，如何解决“配准作用距离”和“特征匹配不准确”两个现存问题，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种双光谱图像配准融合方法、装置、设备及存储介质，可以提高匹配的准确性，效率高，效果好，计算量小，占用资源少。其具体方案如下：
一种双光谱图像配准融合方法，包括：
输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
当计算出的所述匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；
根据得到的所述视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
对获取的所述视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割，具体包括：
分别对输入的红外图像和可见光图像进行双边滤波、均值滤波、LOG滤波或统计变换处理；
采用K-mean法、分水岭算法、最大间类方差法或区域生长法对处理后的红外图像进行图像分割；分割后的红外图像的不同分割区域对应不同的数字标记。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，对每个像素进行匹配代价计算，具体包括：
选取红外图像像素的邻域和与红外图像像素对应的可见光图像匹配像素的邻域；
根据不同视差下选取的红外图像像素的邻域和可见光图像匹配像素的邻域，计算互信息，作为红外图像像素的匹配代价。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，选取的红外图像像素(x,y)的邻域为(xL-Ω:xR+Ω,y-δ:y+δ)，可见光图像匹配像素的邻域为(xL-Ω-d:xR+Ω-d,y-δ:y+δ)；
其中，xL是像素(x,y)所在分割平面的同行左边界像素的横坐标，xR是像素(x,y)所在分割平面的同行右边界像素的横坐标；Ω是左右边界的扩展；δ是大于0经验值；d是红外图像像素(x,y)对应可见光图像匹配像素的视差值。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，对每个像素进行匹配代价可信度计算，具体包括：
对每个像素计算最大匹配代价和次级大匹配代价；
根据计算出的所述最大匹配代价、所述次级大匹配代价和设定的可信度上限值，计算匹配代价可信度。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，还包括：
当计算出的所述匹配代价可信度小于设定阈值时，对红外图像进行次级分割，并重新进行匹配代价计算和匹配代价可信度计算，直至所述匹配代价可信度大于或等于设定阈值。
优选地，在本发明实施例提供的上述双光谱图像配准融合方法中，拟合视差平面，具体包括：
分别对不同分割区域的像素进行视差平面拟合，判断视差离散度是否大于预设值；
若是，则对红外图像进行次级分割，并重新拟合视差平面，直至所述视差离散度小于或等于预设值；若否，则将所述视差离散度对应的视差值作为平面拟合视差值。
本发明实施例还提供了一种双光谱图像配准融合装置，包括：
图像处理模块，用于输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
像素计算模块，用于依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
平面拟合模块，用于当计算出的所述匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；
图像匹配模块，用于根据得到的所述视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
图像融合模块，用于对获取的所述视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
本发明实施例还提供了一种双光谱图像配准融合设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述双光谱图像配准融合方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述双光谱图像配准融合方法。
从上述技术方案可以看出，本发明所提供的一种双光谱图像配准融合方法，包括：输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；当计算出的匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；根据得到的视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；对获取的视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
本发明通过上述双光谱图像配准融合方法，能够对每张图进行实时计算，效率高，效果好，计算量小，占用资源少，适用于红外所有波段，也适用于分辨率相差较大的模组，无需计算特征匹配点的匹配算子，且无需手动或辅助测距系统，减少了冗余结构带来的误差和结构复杂度，以及减少了节省标定流程和标定距离的限制，对于任何距离都可以进行实时计算输出，消除了特征点和特征算子无法配准的缺点。并且，上述方法只针对红外图像进行的分割拟合迭代，相对于像素级的匹配方法，提高了匹配的准确性。此外，本发明还针对双光谱图像配准融合方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的双光谱图像配准融合方法的流程图；
图2为本发明实施例提供的双光谱图像配准融合装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种双光谱图像配准融合方法，如图1所示，包括以下步骤：
S101、输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
S102、依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
S103、当计算出的匹配代价可信度大于或等于设定阈值conf时，拟合视差平面，通过合并视差得到视差点云图；
也就是说，对于匹配代价可信度较高的像素，可分别对不同分割区域的像素进行视差平面拟合，对拟合视差平面进行整合可得到各点最佳视差图像；
S104、根据得到的视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
需要说明的是，感兴趣区域可以包括感兴趣距离或感兴趣画面区域；视差匹配图像即为已配准的红外图像和可见光图像；
S105、对获取的视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出；
在实际应用中，在对输入的已配准的可见光和红外光图像进行PCA变换后，输出叠加可见光信息的红外图片到电子显示设备，可实时观看融合画面。
在本发明实施例提供的上述双光谱图像配准融合方法中，能够对每张图进行实时计算，效率高，效果好，计算量小，占用资源少，适用于红外所有波段，也适用于分辨率相差较大的模组，无需计算特征匹配点的匹配算子，且无需手动或辅助测距系统，减少了冗余结构带来的误差和结构复杂度，以及减少了节省标定流程和标定距离的限制，对于任何距离都可以进行实时计算输出，消除了特征点和特征算子无法配准的缺点。并且，上述方法只针对红外图像进行的分割拟合迭代，相对于像素级的匹配方法，提高了匹配的准确性。
在具体实施时，在本发明实施例提供的上述双光谱图像配准融合方法中，步骤S101分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割，具体可以采用下述方式实现：
首先，分别对输入的红外图像和可见光图像进行双边滤波、均值滤波、LOG滤波或统计变换处理；这样可以消除噪声对匹配的影像，起到增强边缘的效果；
然后，采用K-mean法(波峰波谷法、手动分块)、分水岭算法、最大间类方差法或区域生长法等图像分割方法对处理后的红外图像进行图像分割；分割后的红外图像的不同分割区域对应不同的数字标记，分割图像记为(S(i))。
在具体实施时，在本发明实施例提供的上述双光谱图像配准融合方法中，步骤S102对每个像素进行匹配代价计算，具体可以采用下述方式实现：
首先，选取红外图像像素的邻域和与红外图像像素对应的可见光图像匹配像素的邻域；
具体地，选取的红外图像像素(x,y)的邻域为(xL-Ω:xR+Ω,y-δ:y+δ)，可见光图像匹配像素的邻域为(xL-Ω-d:xR+Ω-d,y-δ:y+δ)；
其中，xL是像素(x,y)所在分割平面的同行左边界像素的横坐标，xR是像素(x,y)所在分割平面的同行右边界像素的横坐标；Ω是左右边界的扩展，一般取3～5；δ是大于0经验值；d是红外图像像素(x,y)对应可见光图像匹配像素的视差值；
然后，根据不同视差下选取的红外图像像素(x,y)的邻域和可见光图像匹配像素的邻域，计算互信息，作为红外图像像素(x,y)的匹配代价，得到函数cost(x,y,d)＝MI。需要注意的是，最大MI对应的d为像素(x,y)的最佳匹配视差dbest，得到函数disparity(x,y)＝dbest。
进一步的，在具体实施时，在本发明实施例提供的上述双光谱图像配准融合方法中，步骤S102对每个像素进行匹配代价可信度计算，具体可以采用下述方式实现：
首先，对每个像素计算最大匹配代价MI(即MImax)和次级大匹配代价MI(即MIsecondary)；
然后，根据计算出的最大匹配代价MImax、次级大匹配代价MIsecondary和设定的可信度上限值thresh，计算匹配代价可信度。
具体地，可以采用下述公式计算匹配代价可信度：
匹配代价可信度＝min((MImax-MIsecondary)/MImax,thresh)
其中，thresh是一个不超过1的正数，维持可信度的上限，作为后续迭代优化的依据。
进一步的，在具体实施时，在本发明实施例提供的上述双光谱图像配准融合方法中，在执行完步骤S102之后，还可以包括：
当计算出的匹配代价可信度小于设定阈值conf时，对红外图像进行次级分割，并重新进行匹配代价计算和匹配代价可信度计算，直至匹配代价可信度大于或等于设定阈值。
在具体实施时，在本发明实施例提供的上述双光谱图像配准融合方法中，步骤S103拟合视差平面，具体可以采用该方式实现：分别对不同分割区域的像素进行视差平面拟合，判断视差离散度是否大于预设值diff；若是，则对红外图像进行次级分割，并重新拟合视差平面，直至视差离散度小于或等于预设值diff；若否，则将视差离散度对应的视差值作为平面拟合视差值。
可以理解的是，离散程度较小的视差值即为平面拟合视差值；离散程度较大的像素标记为次级分割Ssub(i)；对于匹配代价可信度较低的像素标记为S(i+1)，重新进行匹配代价计算和匹配代价可信度计算和拟合视差平面，直至没有低可信度像素以及次级分割。
基于同一发明构思，本发明实施例还提供了一种双光谱图像配准融合装置，由于该装置解决问题的原理与前述一种双光谱图像配准融合方法相似，因此该装置的实施可以参见双光谱图像配准融合方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的双光谱图像配准融合装置，如图2所示，具体包括：
图像处理模块11，用于输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
像素计算模块12，用于依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
平面拟合模块13，用于当计算出的匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；
图像匹配模块14，用于根据得到的视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
图像融合模块15，用于对获取的视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
在本发明实施例提供的上述双光谱图像配准融合装置中，可以通过上述五个模块的相互作用，减少冗余结构带来的误差和结构复杂度，以及减少节省标定流程和标定距离的限制，能够对每张图像进行实时计算，效率高，效果好，计算量小，占用资源少，适用于红外所有波段，也适用于分辨率相差较大的模组，并且只针对红外图像进行分割拟合迭代，相对于像素级的匹配方法，提高了匹配的准确性。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种双光谱图像配准融合设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的双光谱图像配准融合方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的双光谱图像配准融合方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。各示例的单元及算法步骤，也可以通过其他平台处理器和设备来实现，如FPGA、海思、骁龙等嵌入式开发板。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种双光谱图像配准融合方法，包括：输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；当计算出的匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；根据得到的视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；对获取的视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。通过该方法，能够对每张图进行实时计算，效率高，效果好，计算量小，占用资源少，适用于红外所有波段，也适用于分辨率相差较大的模组，无需计算特征匹配点的匹配算子，且无需手动或辅助测距系统，减少了冗余结构带来的误差和结构复杂度，以及减少了节省标定流程和标定距离的限制，对于任何距离都可以进行实时计算输出，消除了特征点和特征算子无法配准的缺点。并且，该方法只针对红外图像进行的分割拟合迭代，相对于像素级的匹配方法，提高了匹配的准确性。此外，本发明还针对双光谱图像配准融合方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的双光谱图像配准融合方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种双光谱图像配准融合方法，其特征在于，包括：
输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
当计算出的所述匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；
根据得到的所述视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
对获取的所述视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
2.根据权利要求1所述的双光谱图像配准融合方法，其特征在于，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割，具体包括：
分别对输入的红外图像和可见光图像进行双边滤波、均值滤波、LOG滤波或统计变换处理；
采用K-mean法、分水岭算法、最大间类方差法或区域生长法对处理后的红外图像进行图像分割；分割后的红外图像的不同分割区域对应不同的数字标记。
3.根据权利要求2所述的双光谱图像配准融合方法，其特征在于，对每个像素进行匹配代价计算，具体包括：
选取红外图像像素的邻域和与红外图像像素对应的可见光图像匹配像素的邻域；
根据不同视差下选取的红外图像像素的邻域和可见光图像匹配像素的邻域，计算互信息，作为红外图像像素的匹配代价。
4.根据权利要求3所述的双光谱图像配准融合方法，其特征在于，选取的红外图像像素(x,y)的邻域为(xL-Ω:xR+Ω,y-δ:y+δ)，可见光图像匹配像素的邻域为(xL-Ω-d:xR+Ω-d,y-δ:y+δ)；
其中，xL是像素(x,y)所在分割平面的同行左边界像素的横坐标，xR是像素(x,y)所在分割平面的同行右边界像素的横坐标；Ω是左右边界的扩展；δ是大于0经验值；d是红外图像像素(x,y)对应可见光图像匹配像素的视差值。
5.根据权利要求4所述的双光谱图像配准融合方法，其特征在于，对每个像素进行匹配代价可信度计算，具体包括：
对每个像素计算最大匹配代价和次级大匹配代价；
根据计算出的所述最大匹配代价、所述次级大匹配代价和设定的可信度上限值，计算匹配代价可信度。
6.根据权利要求5所述的双光谱图像配准融合方法，其特征在于，还包括：
当计算出的所述匹配代价可信度小于设定阈值时，对红外图像进行次级分割，并重新进行匹配代价计算和匹配代价可信度计算，直至所述匹配代价可信度大于或等于设定阈值。
7.根据权利要求6所述的双光谱图像配准融合方法，其特征在于，拟合视差平面，具体包括：
分别对不同分割区域的像素进行视差平面拟合，判断视差离散度是否大于预设值；
若是，则对红外图像进行次级分割，并重新拟合视差平面，直至所述视差离散度小于或等于预设值；若否，则将所述视差离散度对应的视差值作为平面拟合视差值。
8.一种双光谱图像配准融合装置，其特征在于，包括：
图像处理模块，用于输入双目立体标定后极线对齐的红外图像和可见光图像，分别对输入的红外图像和可见光图像进行图像预处理，并对处理后的红外图像进行图像分割；
像素计算模块，用于依次对分割后的红外图像和处理后的可见光图像中每个像素进行匹配代价计算和匹配代价可信度计算；
平面拟合模块，用于当计算出的所述匹配代价可信度大于或等于设定阈值时，拟合视差平面，通过合并视差得到视差点云图；
图像匹配模块，用于根据得到的所述视差点云图的各视差值，依照平均视差原则或感兴趣区域原则，对输入的红外图像和可见光图像进行裁剪，获取视差匹配图像；
图像融合模块，用于对获取的所述视差匹配图像进行PCA变换，将可见光图像信息叠加至红外图像并输出。
9.一种双光谱图像配准融合设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的双光谱图像配准融合方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的双光谱图像配准融合方法。
CN202011139160.6A 2020-10-22 2020-10-22 一种双光谱图像配准融合方法、装置、设备及存储介质 Active CN112215876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139160.6A CN112215876B (zh) 2020-10-22 2020-10-22 一种双光谱图像配准融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139160.6A CN112215876B (zh) 2020-10-22 2020-10-22 一种双光谱图像配准融合方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112215876A CN112215876A (zh) 2021-01-12
CN112215876B true CN112215876B (zh) 2022-10-04

Family

ID=74054777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139160.6A Active CN112215876B (zh) 2020-10-22 2020-10-22 一种双光谱图像配准融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112215876B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554675A (zh) * 2021-07-19 2021-10-26 贵州师范大学 一种基于无人机可见光遥感的食用菌产量估算方法
CN113674319A (zh) * 2021-08-23 2021-11-19 浙江大华技术股份有限公司 一种目标跟踪的方法、系统、设备及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法
CN110796691A (zh) * 2018-08-03 2020-02-14 中国科学院沈阳自动化研究所 一种基于形状上下文和hog特征的异源图像配准方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法
CN104835165A (zh) * 2015-05-12 2015-08-12 努比亚技术有限公司 图像处理方法及装置
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法
CN110796691A (zh) * 2018-08-03 2020-02-14 中国科学院沈阳自动化研究所 一种基于形状上下文和hog特征的异源图像配准方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Online Mutual Foreground Segmentation for Multispectral Stereo Videos;Pierre-Luc St-Charles等;《arXiv:1809.02851v2》;20181221;第1-19页 *
基于影像分割的无人机影像密集匹配算法研究与实现;吕佩育;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20140415;正文全文 *
基于红外目标提取的夜视图像融合实时系统研究;胡德超等;《红外技术》;20140220;第36卷(第2期);第1-6页 *

Also Published As

Publication number Publication date
CN112215876A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN106780590B (zh) 一种深度图的获取方法及系统
CN102436652B (zh) 一种多源遥感图像自动配准方法
Ali et al. Guided image filtering in shape-from-focus: A comparative analysis
CN112132906B (zh) 一种深度相机与可见光相机之间的外参标定方法及系统
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN112215876B (zh) 一种双光谱图像配准融合方法、装置、设备及存储介质
Correal et al. Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
US20220036589A1 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
Liu et al. Assessing the quality of building height extraction from ZiYuan-3 multi-view imagery
Malekabadi et al. Disparity map computation of tree using stereo vision system and effects of canopy shapes and foliage density
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
Tan et al. Feature matching in stereo images encouraging uniform spatial distribution
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
CN111160232A (zh) 正面人脸重建方法、装置及系统
CN110992463B (zh) 一种基于三目视觉的输电导线弧垂的三维重建方法及系统
Parmehr et al. Automatic registration of optical imagery with 3d lidar data using local combined mutual information
Zhang et al. Corn ear test using SIFT-based panoramic photography and machine vision technology
CN107392948B (zh) 一种分振幅实时偏振成像系统的图像配准方法
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN111127560B (zh) 一种用于三维重建的三目视觉系统的标定方法及系统
CN112346141A (zh) 一种太赫兹图像与可见光图像映射融合方法及系统
Liu et al. Concealed weapon detection and visualization in a synthesized image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant