CN111681271B - 一种多通道多光谱相机配准方法、系统及介质 - Google Patents

Abstract

本发明公开了一种多通道多光谱相机配准方法，包括预设N组不同距离的场景对应的图像变换矩阵；将待配准多光谱图像通过预设的N组变换矩阵进行变换，得到N组配准结果图像；对得到的N组配准结果图像，分别计算该图像指定通道间的结构相似度，并选择相似度最高的一组配准结果图作为该待配准多光谱图像最终得到的配准结果图。本发明多通道多光谱相机配准方法配准精度高，实时性好，能够在景深变化的实际场景下快速准确地完成配准，能够有效解决现有配准技术中景深变化导致的配准精度降低和实时性不高的问题。

Description

一种多通道多光谱相机配准方法、系统及介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种多通道多光谱相机配准方法、系统及介质。

背景技术

近年来，多光谱成像技术引起了人们的浓厚兴趣，与传统的红绿蓝三通道可见光相机相比，多光谱相机可以获得更多的光谱段信息。多光谱成像技术主要是通过运用多种滤光片、分光器、感光元件，使相机能同时接收到同一物体在不同波长下的信息。随着成像传感器技术的日趋成熟，其成本逐渐降低，基于多传感器的多光谱成像系统开始出现。

基于多传感器的多光谱成像系统具有实时性高、成像质量好的优点，但是由于相机存在非共平面放置的情况，直接拼接多光谱图像将出现通道图像之间的严重错位，在以RGB模式显示下，错位的部分将会显示为多光谱图像的色差，因此在使用多光谱图像之前，需要进行图像配准的工作。图像配准通常分为基于校准的配准方法和基于图像处理的配准方法，基于校准的配准方法配准精度高，实时性好，但当成像距离发生变化时，必须重新利用校准板等辅助工具进行系统校准。

随着近些年图像处理技术的快速发展，越来越多的多光谱相机配准方法采用基于图像处理的方法，其中最为常用的是特征法，基于特征的配准方法的共同之处是首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。基于图像处理的配准方法无需额外的辅助硬件设备，这种方法在图片以及场景固定的视频（景深不发生变化）时可以正确执行，但是在场景不断变化的视频配准任务中，这样种方式计算代价大、效率低、配准结果不佳的劣势完全暴露了出来。因此，对于快速精确配准方法的需求越来越迫切。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种多通道多光谱相机配准方法、系统及介质，本发明配准精度高，实时性好，能够在景深变化的实际场景下快速准确地完成配准，能够有效解决现有配准技术中景深变化导致的配准精度降低和实时性不高的问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种多通道多光谱相机配准方法，包括：

1）输入一组待配准的多通道多光谱图像；

2）将待配准多光谱图像通过预设的N组不同距离的场景对应的变换矩阵进行变换，得到N组配准结果图像，且每一组变换矩阵中包含的变换矩阵数量为m-1，其中m为待配准多光谱图像中所包含的通道数量；

3）对得到的N组配准结果图像，分别计算该图像内部指定通道间的图像相似度，并选择相似度最高的一组配准结果图作为该待配准多光谱图像的最终配准结果图。

可选地，步骤2）之前还包括生成N组不同距离的场景对应的变换矩阵的步骤：

S1）获取N组不同距离的场景下多光谱相机成像获得的多光谱图像；

S2）针对多光谱图像，选择一个通道作为参考通道图像、其余m-1个通道作为待配准通道图像，分别提取参考通道图像、待配准通道图像的特征点；

S3）遍历各个待配准通道图像的特征点，获取参考通道图像中匹配的特征点；

S4）针对各个待配准通道图像的特征点及其参考通道图像中匹配的特征点的坐标对应关系构建变换矩阵作为该待配准通道图像对应的变换矩阵，从而得到N组不同距离的场景对应的变换矩阵。

可选地，步骤S1）中N组不同距离的场景至少包括多光谱相机的远、中、近三种距离的场景。

可选地，步骤S2）中提取参考通道图像、待配准通道图像的特征点时采用的方法为加速稳健特征算法SURF。

可选地，步骤S3）中获取参考通道图像中匹配的特征点具体是指获取参考通道图像中欧氏距离最小的特征点作为参考通道图像中匹配的特征点。

可选地，步骤S3）之后、步骤S4）之前还包括对各个待配准通道图像的特征点在参考通道图像中匹配的特征点采用随机抽样一致算法RANSAC进行错误匹配消除操作的步骤。

可选地，步骤3）中计算指定通道图像间的相似度的函数表达式如下述两式其一所示：

（1）

上式中，SSIM(x,y)为指定通道图像x、y间的相似度，反映了图像间亮度、对比度和结构三种属性的综合相似度，SSIM _s (x,y)为指定通道图像x、y间的结构相似度，μ _x 和μ _y 分别为指定通道图像x、y的均值，σ _x 和σ _y 分别为指定通道图像x、y间的方差，σ _xy 为指定通道图像x、y之间的协方差，c ₁,c ₂,c ₃分别为常数系数。

此外，本发明还提供一种多通道成像多光谱相机配准系统，包括计算机设备，该计算机设备被编程或配置以执行所述多通道多光谱相机配准方法的步骤。

此外，本发明还提供一种多通道成像多光谱相机配准系统，包括计算机设备，该计算机设备的存储器中存储有被编程或配置以执行所述多通道多光谱相机配准方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述多通道多光谱相机配准方法的计算机程序。

和现有技术相比，本发明具有下述优点：

1、高稳定性。在多光谱相机实际拍摄过程中，必然会有较大的景深变化，本发明配准方法通过对每一帧多光谱图像进行实时变换处理，保证景深变化下的多光谱相机配准稳定性。

2、高实时性。本发明与传统基于图像处理的配准方法相比，无需多次计算特征，只需执行快速的图像变换操作，因此在处理速度方面具有明显的优势。

3、高通用性。本发明所使用的方法对硬件和软件的兼容性好，方便移植。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明实施例方法的基本流程示意图。

图2 为本发明实施例中多通道多光谱相机获取的室外场景待配准多光谱图像。

图3 为本发明实施例方法用于室外场景的配准结果。

图4 为本发明实施例中多通道多光谱相机获取的室内场景待配准多光谱图像。

图5 为本发明实施例方法用于室内场景的配准结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合流程图与实施例，对本发明实施例中的技术方案进行详尽的说明与描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例多通道多光谱相机配准方法包括：

1）输入一组待配准的多通道多光谱图像；

2）将待配准多光谱图像通过预设的N组不同距离的场景对应的变换矩阵进行变换，得到N组配准结果图像，且每一组变换矩阵中包含的变换矩阵数量为m-1，其中m为待配准多光谱图像中所包含的通道数量；

3）对得到的N组配准结果图像，分别计算该图像内部指定通道间的图像相似度，并选择相似度最高的一种配准结果图作为该待配准多光谱图像的最终配准结果图。

本实施例中多光谱相机是六通道的，即m=6，因此步骤2）中每一组变换矩阵中包含的变换矩阵数量为5。

本实施例中，步骤2）之前还包括生成N组不同距离的场景对应的变换矩阵的步骤：

S1）获取N组不同距离的场景下多光谱相机成像获得的多光谱图像；

S2）针对多光谱图像，选择一个通道作为参考通道图像、其余m-1个通道作为待配准通道图像，分别提取参考通道图像、待配准通道图像的特征点；

S3）遍历各个待配准通道图像的特征点，获取参考通道图像中匹配的特征点；

S4）针对各个待配准通道图像的特征点及其参考通道图像中匹配的特征点的坐标对应关系构建变换矩阵作为该待配准通道图像对应的变换矩阵，从而得到N组不同距离的场景对应的变换矩阵。

多光谱相机拍摄的场景在一定的深度范围内变化时，其相机通道间的几何关系是固定的，然而实际拍摄过程中，无法保证固定的场景深度，因此需要获取多个距离段的多光谱图像生成多组不同距离的场景对应的变换矩阵来适应待配准多光谱图像以提高配准精度。本实施例中，步骤S1）中N种不同距离的场景至少包括多光谱相机的远、中、近三种距离的场景。其中远、中、近三种距离可以根据多光谱相机的成像场景距离范围进行等级划分，而且每一种距离的场景等级内可以根据需要采用至少一种距离的场景。作为一种具体的实施方式，本实施例中远、中、近三种距离的场景各取一种，选择的场景距离分别是20米、8米和2米，因此对应的N取值为3。

本实施例中多光谱相机是六通道的，步骤S2）具体为针对三个多光谱图像的6个通道，选择1个通道作为参考通道图像、其余5个通道作为待配准通道图像。

本实施例中，步骤S2）中提取参考通道图像、待配准通道图像的特征点时采用的方法为加速稳健特征算法SURF（Speeded Up Robust Features）。加速稳健特征算法SURF（也简称SURF算法）是对SIFT(Scale-invariant feature transform，尺度不变特征变换)的一种改进，相比于SIFT算法，主要提升了特征点的求取速度。由于SURF算法提取图像的特征点为现有方法，本实施例中不涉及对SURF算法的改进，故其实现原理和细节在此不再详述。

本实施例中，步骤S3）中获取参考通道图像中匹配的特征点具体是指获取参考通道图像中欧氏距离最小的特征点作为参考通道图像中匹配的特征点。具体的，对待配准图像中每一个特征点，遍历参考图像的特征点，寻找其欧氏距离最小的特征点，重复操作，直至所有的特征点都找到其对应的特征点。欧氏距离为现有的特征关联度计算方法，本实施例中不涉及对欧氏距离计算方式的改进，故其实现原理和细节在此不再详述。

由于在特征点匹配计算过程中将会不可避免的产生错误匹配对，错误匹配点对的存在将影响配准矩阵的计算结果，从而可能对后续的图像配准精度造成一定的影响。因此，本实施例中，步骤S3）之后、步骤S4）之前还包括对各个待配准通道图像的特征点在参考通道图像中匹配的特征点采用随机抽样一致算法RANSAC（Random Sample Consensus）进行错误匹配消除操作的步骤。随机抽样一致算法RANSAC（简称RANSAC算法）的核心在于将特征点划分为“内点”和“外点”。在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优参数模型的特征点，被定义为“外点”。RANSAC算法在应用于错误匹配特征点消除任务时，是通过寻找一个最佳的单应矩阵，使得满足该矩阵的特征点个数最多，从而达到消除错误匹配对的目的。具体的，首先随机从特征点匹配对中随机抽出4对特征点样本并保证这些特征点样本之间不共线，然后利用这4对特征点样本数据计算出变换矩阵（最优参数模型），最后利用这个变换矩阵（最优参数模型）测试所有剩余的匹配点数据，计算满足这个变换矩阵的样本数和投影误差（代价函数）。通过重复以上操作，寻找最优矩阵，最优矩阵对应的代价函数最小。其中，代价函数的表达式如下式所示。

（2）

上式中，n表示特征点匹配对的总数，(x ₁,y ₁)表示特征点匹配对中待配准通道图像中特征点的坐标，(x ₂,y ₂)表示特征点匹配对中参考通道图像中特征点的坐标。以上的操作总结来说，即通过随机抽样求解得到一个变换矩阵（最优参数模型），然后验证其他的点是否符合该变换矩阵，然后符合的特征点成为“内点”，不符合的特征点成为“外点”。下次依然从“新的内点集合”中抽取点构造新的矩阵，重新计算误差。最后误差最小，特征点数最多的模型就是最终的模型，不符合该模型的匹配点即为误配准点，从而被剔除。

本实施例中，步骤S4）得到N组不同距离的场景对应的变换矩阵分别记为H _near 、H _mid 、H _far ，其中H _near 为近距离场景对应的变换矩阵，H _mid 为中距离场景对应的变换矩阵，H _far 为远距离场景对应的变换矩阵。

步骤S4）针对各个待配准通道图像的特征点及其参考通道图像中匹配的特征点的坐标对应关系构建变换矩阵作为该待配准通道图像对应的变换矩阵的方法如下：计算指定通道图像间的相似度时，若(x ₁,y ₁,1) ^T 表示图像A中的像素点坐标，(x ₂,y ₂,1) ^T 是图像B中的像素点坐标，为了涵盖平移等图像变换，引入齐次坐标，在原有的二维坐标(x,y)的基础上，增广一个维度为(x,y,1)，通过式（3）和式（4）计算得到的变换矩阵H，可以将图像B变换到图像A。

（3）

（4）

最终，式（4）中h ₁₁~h ₃₃构成的矩阵记为变换矩阵H。

本实施例中，2）将待配准多光谱图像通过预设的三组不同距离的场景对应的变换矩阵H _near 、H _mid 、H _far 进行变换，得到三种配准结果图像R _near 、R _mid 、R _far 。作为一种可选的实施方式，本实施例步骤3）中计算指定通道图像具体是指计算第一通道和第二通道之间的相关性，此外也可以根据需要指定其他任一两个通道。

作为一种可选的实施方式，本实施例中，步骤3）中计算指定通道图像间的相似度的函数表达式如下式所示：

（5）

上式中，SSIM(x,y)为指定通道图像x、y间的相似度，反映了图像间亮度、对比度和结构三种属性的综合相似度，SSIM _s (x,y)为指定通道图像x、y间的结构相似度，μ _x 和μ _y 分别为指定通道图像x、y的均值，σ _x 和σ _y 分别为指定通道图像x、y间的方差，σ _xy 为指定通道图像x、y之间的协方差，c ₁,c ₂,c ₃分别为常数系数。

利用衡量两幅图像相似度的指标SSIM(structural similarity index)，SSIM指标是基于样本图像x和y之间的三个比较衡量：亮度、对比度和结构，如式（6）所示。

（6）

上式中，l(x,y)为图像x和y之间的亮度相似度，c(x,y)为图像x和y之间的对比度相似度，s(x,y)为图像x和y之间的结构相似度。

因此，为了提升计算效率，在计算两幅图像相似度的指标SSIM时，可只计算其中的结构部分作为度量通道间相似度的指标，步骤3）中计算指定通道图像间的相似度的函数表达式如下式所示：

（7）

上式中，SSIM _s (x,y)为指定通道图像x、y间的结构相似度，σ _x 和σ _y 分别为指定通道图像x、y间的方差，σ _xy 为指定通道图像x、y之间的协方差，c ₃为常数系数。

此外，作为一种可选的实施方式，本实施例中在步骤3）中计算指定通道图像间的相似度之前还包括将原始图像进行缩小两倍的操作，可以在保证准确度的前提下使计算效率更高。需要说明的是，缩小图像是为了提升计算效率，但是随着缩小的倍数增加，计算出的通道间相似度指标将越来越接近，从而影响最高相似度的判断，本实施例中通过测试，在保证可以选取到最高相似度的情况下选择了缩小两倍，以在保证准确度的前提下使计算效率更高。

图2 和图3分别为多通道多光谱相机获取的室外场景原始图像以及实施例方法的配准结果，图4和图5分别为多通道多光谱相机获取的室内场景原始图像以及实施例方法的配准结果。参见图2、图3、图4和图5可知，本实施例多通道多光谱相机配准方法能够实现室外场景、室内场景的精确配准。

作为一种具体的实施方式，本实施例多通道多光谱相机配准方法是在MicrosoftVisual Studio 2015集成开发环境下，结合开源的OpenCV机器视觉图像处理库，采用C++编写程序的算法代码，此软件可在WINDOWS 7及以上操作系统运行，还可以运行在包括嵌入式系统环境中稳定运行，具有兼容性好、通用性强的优点。

综上所述，本实施例多通道多光谱相机配准方法包括：本发明通过预先获取多距离场景图像；对获取的图像分别提取其通道间参考图像和待配准图像的特征点，生成特征描述符；在参考图像中寻找与待配准图像每一个特征点欧式距离最小的特征点；根据特征点对，计算变换矩阵，得到三种场景下的多光谱图像通道间的对应关系；对之后的每一组多光谱图像，分别进行三次几何变换，获得三组配准结果；分别计算三个结果通道间的相似度；选取通道间最高相似度对应的配准结果作为最终配准结果。本发明提供的多通道多光谱相机配准方法，稳定性高，实时性好，适用于各种多通道成像多光谱相机景深变化场景下的配准。

此外，本实施例还提供一种多通道成像多光谱相机配准系统，包括计算机设备，该计算机设备被编程或配置以执行前述多通道多光谱相机配准方法的步骤。

此外，本实施例还提供一种多通道成像多光谱相机配准系统，包括计算机设备，该计算机设备的存储器中存储有被编程或配置以执行前述多通道多光谱相机配准方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述多通道多光谱相机配准方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种多通道多光谱相机配准方法，其特征在于，包括：

1）输入一组待配准的多通道多光谱图像；

2）将待配准多光谱图像通过预设的N组不同距离的场景对应的变换矩阵进行变换，得到N组配准结果图像，且每一组变换矩阵中包含的变换矩阵数量为m-1，其中m为待配准多光谱图像中所包含的通道数量；

3）对得到的N组配准结果图像，分别计算该图像内部指定通道间的图像相似度，并选择相似度最高的一组配准结果图作为该待配准多光谱图像的最终配准结果图；

步骤2）之前还包括生成N组不同距离的场景对应的变换矩阵的步骤：

S1）获取N组不同距离的场景下多光谱相机成像获得的多光谱图像；

S2）针对多光谱图像，选择一个通道作为参考通道图像、其余m-1个通道作为待配准通道图像，分别提取参考通道图像、待配准通道图像的特征点；

S3）遍历各个待配准通道图像的特征点，获取参考通道图像中匹配的特征点；

S4）针对各个待配准通道图像的特征点及其参考通道图像中匹配的特征点的坐标对应关系构建变换矩阵作为该待配准通道图像对应的变换矩阵，从而得到N组不同距离的场景对应的变换矩阵。

2.根据权利要求1所述的多通道多光谱相机配准方法，其特征在于，步骤S1）中N种不同距离的场景至少包括多光谱相机的远、中、近三种距离的场景。

3.根据权利要求1所述的多通道多光谱相机配准方法，其特征在于，步骤S2）中提取参考通道图像、待配准通道图像的特征点时采用的方法为加速稳健特征算法SURF。

4.根据权利要求1所述的多通道多光谱相机配准方法，其特征在于，步骤S3）中获取参考通道图像中匹配的特征点具体是指获取参考通道图像中欧氏距离最小的特征点作为参考通道图像中匹配的特征点。

5.根据权利要求1所述的多通道多光谱相机配准方法，其特征在于，步骤S3）之后、步骤S4）之前还包括对各个待配准通道图像的特征点在参考通道图像中匹配的特征点采用随机抽样一致算法RANSAC进行错误匹配消除操作的步骤。

6.根据权利要求1所述的多通道多光谱相机配准方法，其特征在于，步骤3）中计算指定通道图像间的相似度的函数表达式如下述两式其一所示：

上式中，SSIM(x,y)为指定通道图像x、y间的相似度，反映了图像间亮度、对比度和结构三种属性的综合相似度，SSIM _s (x,y)为指定通道图像x、y间的结构相似度，μ _x 和μ _y 分别为指定通道图像x、y的均值，σ _x 和σ _y 分别为指定通道图像x、y间的方差，σ _xy 为指定通道图像x、y之间的协方差，c ₁,c ₂,c ₃分别为常数系数。

7.一种多通道成像多光谱相机配准系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～6中任意一项所述多通道多光谱相机配准方法的步骤。

8.一种多通道成像多光谱相机配准系统，包括计算机设备，其特征在于，该计算机设备的存储器中存储有被编程或配置以执行权利要求1～6中任意一项所述多通道多光谱相机配准方法的计算机程序。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～6中任意一项所述多通道多光谱相机配准方法的计算机程序。

Images