CN116718270A - 一种基于余弦相似度图像协同拼接的多波段推扫成像方法 - Google Patents

Abstract

本发明提供一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：步骤一，数据预处理，将红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，以此方法计算所有相邻帧间移位距离，将数据按照时间序列存入空数组中；步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。本发明提供的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，实现相邻两帧之间的最佳匹配方法。

Description

一种基于余弦相似度图像协同拼接的多波段推扫成像方法

技术领域

本发明涉及红外成像技术领域，具体涉及一种基于余弦相似度图像协同拼接的多波段推扫成像方法。

背景技术

红外是一种波长范围为760nm-1mm的电磁波，也叫做红外线。由普朗克黑体辐射定律知，凡是绝对温度高于绝对零度的物体都能辐射电磁波，辐射电磁波的波长与能量与发射源的温度有密切的关系。针对这一特性，红外探测器在大气监测、森林防火监测、地质勘探、兽类迁徙观测等领域有巨大的应用潜力。

在红外高光谱遥感领域，红外探测器主要分为制冷型红外探测器和非制冷型红外探测器。相较于非制冷型红外探测器，制冷型红外探测器工作时需要制冷剂工作降温，故其成像灵敏度高、精度高、误差小，对应的其功耗大、体积大、寿命短、成本高。基于上述问题的影响，制冷型红外探测器在商业红外遥感领域应用较少。而非制冷红外探测器由于其工作环境无需制冷，结构相对简单，已经成为了红外高光谱遥感领域的重要发展方向之一。

星载推扫式非制冷红外相机在对地拍摄的过程中，其记录的多光谱图像数据是沿着轨道方向的条幅，最终要得到拼接后连续的沿轨道方向的二维图像。但是由于卫星在实际飞行过程中速高比失配以及工作温度所引发的采样帧率不稳定等问题导致通过直接将后一帧拼接到前一帧的尾部逐帧拼接得到的图像是不连续的。

图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。

现有技术中，基于底层特征的拼接分为四种：基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。对于特征点较少的拍摄环境，可能会导致相邻两帧之间没有匹配的角点以实现图像的拼接，且在小重叠区域的情况下容易误匹配，而基于余弦相似度的图像拼接适合的场景更加丰富灵活。

相比基于底层特征的传统图像特征匹配算法，基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配。例如，基于深度学习LoFTR算法实现图像拼接，虽然能够实现更佳的拼接结果，但其拼接时间仍然较长，运算成本较大。

因此，如何在较低运算成本的条件下高效地实现多通道图像的相邻两帧之间的最佳匹配是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的在于，针对现有技术中的问题，提供一种基于余弦相似度图像协同拼接的多波段推扫成像方法。

为此，本发明的上述目的通过以下技术方案实现：

一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：

步骤一，数据预处理，将非制冷红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，初始数据包含了四通道，将其按照通道分为四个时间序列排布相同的数据集，在全通道数据集中选择初始帧，通过对速高比的分析，确定相邻帧重合部分的范围，选择时保留部分图像的冗余后，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；

步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，通过步骤一得到的数据，将后一帧的每相邻n列整合后的一维数组与前一帧最后n列整合的一维数组两两做余弦相似度计算，找到余弦相似度最大值所在的位置，计算得到帧间移位距离，以此方法计算所有相邻帧间移位距离，将数据按照时间序列存入空数组中；

步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：所述数据预处理，包括四通道分割、初始帧设定、计算单元整合，首先是四通道分割，通过推扫成像得到的数据是按时间序列排列形成的数据立方体，初始数据包含了四个通道，其中，第一个通道为全通道，其余三个通道为单通道，将其按照通道分为四个时序排列相同的数据立方体；其次是初始帧设定，初始帧是图像拼接的起始点，选定数据立方体中的第一帧为初始帧，在选定初始帧后，按照推扫时间的顺序，选择下一帧作为待拼接帧；最后是计算单元整合，在全通道波段选取连续n列图像作为计算单元，选全通道初始帧的最后n列数据一维展开后形成一维数组，同样再将全通道后续帧的每一个相邻n列图像一维展开为一维数组，得到了全通道初始帧的最后n列图像一维展开得到的一维数组a_p＝[x₁，x₂，...，x_m，...，x_mn]，以及全通道第二帧的每相邻n列图像一维展开的一维数组{b₁＝[y₁，y₂，...，y_m，...，y_mn]，b₂，...，b_p}，其中，n是选取n列数据整合成计算单元的列数，m是每帧数据的行数即一列的像素数，p是全通道每帧相邻n列能取的计算单元的数量，x、y是对应位置的像素灰度值。

作为本发明的优选技术方案：所述余弦相似度计算，具体包括余弦相似度计算和帧间移位距离计算：首先是余弦相似度计算，将下一帧的每一个计算单元与初始帧最后一个计算单元做余弦相似度计算，具体计算公式为：

两两计算完毕后，找到余弦相似度最大值对应的i，即可以找到与初始帧最后n列最相似的连续n列，则第二帧的第i+n列及以后的部分是待拼接部分，设全通道波段单帧共l列，则初始帧与第二帧的帧间移位信息为(l-i-n+1)，将此数据保存在空数组中；

同样的，选取第二帧的最后n列图像一维展开的一维数组与第三帧的每相邻n列图像一维展开后的一维数组做余弦相似度计算得到第二帧与第三帧的帧间移位信息，重复上述操作直至得到记录所有相邻帧间移位信息的数组。

作为本发明的优选技术方案：步骤三中，所述光谱图像拼接基于步骤二得到的帧间移位信息(l-i-n+1)，利用帧间移位信息得到后续每一帧拼接到前一帧尾部的部分，各通道从初始帧开始，按照时间序列逐帧拼接，实现多通道光谱图像拼接。

相对于现有技术本发明公开的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，该方法通过余弦相似度原理计算高信噪比光谱通道的帧间移位信息，并将该位移信息共享给其余光谱通道，实现全部波段精确拼接，得到图像的相邻两帧之间的最佳匹配的方法。本发明中，面阵探测器在推扫成像时，通过数据预处理选择面阵中某一波段固定宽度的图像片段，且保证相邻图像片段之间保留部分重合信息；余弦相似度匹配用于计算相邻图像片段的最佳拼接点，记录帧间移位信息；通过利用上一步骤计算获得的帧间移位信息，明确图像失配参数，完成多波段光谱图像拼接。该方法可在红外推扫成像系统速高比失配的情况下获得精确地多波段光谱图像，在实现星载探测器航拍成像领域极具应用前景。

附图说明

图1为本发明的一种基于余弦相似度图像协同拼接的多波段推扫成像方法的流程图；

图2为本发明的一种基于余弦相似度图像协同拼接的多波段推扫成像方法的探测器面阵示意图；

图3为本发明的一种基于余弦相似度图像协同拼接的多波段推扫成像方法的光谱拼接过程示意图。

具体实施方式

参照附图和具体实施例对本发明作进一步详细地描述。

如图1所示，本发明的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，具体包括以下步骤：

步骤一，数据预处理，使用本发明的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，选择起始帧以及将数据转化为可进行余弦相似度计算的形式；

步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息；

步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。

步骤一中，数据预处理中，将红外推扫成像系统得到的图像按时间序列排列形成数据立方体，初始数据包含了四通道，将其按照通道分为四个时间序列排布相同的数据集，在全通道数据集中选择初始帧，通过对速高比的分析，确定相邻帧重合部分的范围，选择时保留部分图像的冗余，便于通过列数遍历，确定最佳的匹配位置。最后，为了方便余弦相似度算法的实施，将选取的图像进行一维展开。

数据预处理，包括四通道分割、初始帧设定、计算单元整合。首先是四通道分割，通过推扫成像得到的数据是按时间序列排列形成的数据立方体，初始数据包含了四个通道，其中，第一个通道为全通道，其余三个通道为单通道，将其按照通道分为四个时序排列相同的数据立方体。其次是初始帧设定，初始帧是图像拼接的起始点，一般选定数据立方体中的第一帧为初始帧，在选定初始帧后，按照推扫时间的顺序，选择下一帧作为待拼接帧。最后是计算单元整合，为了减小噪声以及重复特征对象的干扰，提高拼接结果的精度，在全通道波段选取连续n列图像作为计算单元，选全通道初始帧的最后n列数据一维展开后形成一维数组，同样再将全通道后续帧的每一个相邻n列图像一维展开为一维数组，转化为可进行余弦相似度计算的形式。

本发明中，红外探测器为非制冷面阵红外探测器，其分为四个通道，其中一个通道是全通，其余三个通道为单通，且同一帧各个通道的速高比匹配情况相同，在系统推扫的过程中全通段接收到的红外辐射信号是最丰富的，其信噪比相较于单通更好，所以在全通道通过余弦相似度计算得到的帧间移位信息更为准确，同时通过全通的帧间位移信息辅助单通道图像拼接能够节省大量计算资源。。故通过全通道计算得到的帧间移位同样适用于单通道，并且全通道接收到的红外辐射信号是最丰富的，图像信噪比相较于其他单通道更高。本发明中的非制冷红外探测器经过推扫得到了四通道图像，通过全通道协助单通道图像拼接，利用全通道得到的帧间移位信息，实现四通道图像拼接，不仅能够大幅节省运行资源，并且能得到更为精确的拼接结果。

步骤二，所述余弦相似度计算，通过数据预处理得到的数据，将后一帧的每相邻n列整合后的一维数组与前一帧最后n列整合的一维数组两两做余弦相似度计算，找到余弦相似度最大值所在的位置即可得帧间移位距离，以此方法计算所有相邻帧间移位距离，将数据按照时间序列存入空数组中，为后续步骤三光谱图像拼接做准备。

所述余弦相似度计算包括，余弦相似度计算和帧间移位距离计算。首先是余弦相似度计算，由步骤一数据预处理得到了全通道初始帧的最后n列图像一维展开得到的一维数组a_p＝[x₁，x₂，...，x_m，...，x_mn]，以及全通道第二帧的每相邻n列图像一维展开的一维数组{b₁＝[y₁，y₂，...，y_m，...，y_mn]，b₂，...，b_p}，

其中，n是选取n列数据整合成计算单元的列数，m是每帧数据的行数即一列的像素数，p是全通道每帧相邻n列能取的计算单元的数量，x、y是对应位置的像素灰度值。再将下一帧的每一个计算单元与初始帧最后一个计算单元做余弦相似度计算，具体计算公式为：

两两计算完毕后，找到余弦相似度最大值对应的i，即可以找到与初始帧最后n列最相似的连续n列。则第二帧的第i+n列及以后的部分是待拼接部分，设全通道波段单帧共l列，则初始帧与第二帧的帧间移位信息为(l-i-n+1)，将此数据保存在空数组中。

同样的，选取第二帧的最后n列图像一维展开的一维数组与第三帧的每相邻n列图像一维展开后的一维数组做余弦相似度计算得到第二帧与第三帧的帧间移位信息。重复上述操作直至得到记录所有相邻帧间移位信息的数组，为后续光谱图像拼接做准备。

步骤三中，所述光谱图像拼接在步骤二余弦相似度计算找到帧间移位距离后，各通道从初始帧开始，将后一帧余弦相似度最大值所在列后面的图像依次拼接到前一帧尾部形成拼接后的图像，直至拼接完毕形成最终的拼接结果。

其中，所述光谱图像拼接基于步骤二得到的帧间移位信息(l-i-n+1)，利用帧间移位信息得到后续每一帧拼接到前一帧尾部的部分，各通道从初始帧开始，按照时间序列逐帧拼接，实现多通道光谱图像拼接。

实施例1

参照图2，本发明的一个基于余弦相似度图像协同拼接的多波段推扫成像方法，通过红外推扫成像系统得到的一帧的图像由是1280*1024个像素构成的，而又通过滤光片将图像平均分为四个通道，其中第一个通道为全通道，其余三个通道为单通道，每一个通道均为1280*256个像素，而每帧之间所拍摄内容是有移位的。

首先是数据预处理，将原始数据按照通道分为四个通道，每个通道均为1280*256，选定初始帧后,参照图3a左图，在全通道波段选取连续n列图像作为计算单元，在本实施例中，选取20列，将最后20列一维展开为[1280*20，1]的一维数组，同样，参照图3a，将第二帧每个相邻20列一维展开为[1280*20，1]的一维数组共237组，将第二帧的每个计算单元与初始帧的最后一个计算单元进行余弦相似度计算，计算公式如下：

假设通过计算后最大余弦相似度为第173个计算单元，则待拼接帧的第193列至256列为待拼接部分，计算得帧间移位距离为64，将64存入空数组中。同样的，参照图3a，将第三帧的每个计算单元与第二帧的最后一个计算单元进行余弦相似度计算，假设计算后最大余弦相似度为第120个计算单元，计算得到第二个帧间移位距离为117，将117存入空数组中。重复上述操作，可以得到{64，117，…}的记录了帧间移位信息的数组。

接下来是光谱图像拼接，利用全通道计算得到的帧间移位距离信息可以得到各个通道初始帧后每一帧拼接到前一帧的部分，参照图3b，阴影部分即为拼接到前一帧尾部的部分。各通道从初始帧后一帧按照时间序列分布逐帧拼接直至拼接完毕，参照图3c。自此，基于余弦相似度图像协同拼接的多波段推扫成像方法拼接流程完毕。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (4)

1.一种基于余弦相似度图像协同拼接的多波段推扫成像方法，包括以下步骤：

步骤一，数据预处理，将红外探测器推扫成像系统得到的图像按时间序列排列形成数据立方体，初始数据包含了四通道，将其按照通道分为四个时间序列排布相同的数据集，在全通道数据集中选择初始帧，在生成计算单元时选取所有连续n列图像，将选取的图像进行一维展开，形成可进行余弦相似度计算的形式；

步骤二，余弦相似度计算，用于选择最佳拼接点，并记录帧间移位信息，通过步骤一得到的数据，将后一帧的每相邻n列整合后的一维数组与前一帧最后n列整合的一维数组两两做余弦相似度计算，找到余弦相似度最大值所在的位置，计算得到帧间移位距离，以此方法计算所有相邻帧间移位距离，将相邻帧间移位距离按照时间序列存入空数组中；

步骤三，光谱图像拼接，通过利用全通道计算得到的帧间移位信息，完成多波段光谱图像拼接。

2.如权利要求1所述的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，其特征在于：所述数据预处理，包括四通道分割、初始帧设定、计算单元整合，首先是四通道分割，通过推扫成像得到的数据是按时间序列排列形成的数据立方体，初始数据包含了四个通道，其中，第一个通道为全通道，其余三个通道为单通道，将其按照通道分为四个时序排列相同的数据立方体；其次是初始帧设定，初始帧是图像拼接的起始点，选定数据立方体中的第一帧为初始帧，在选定初始帧后，按照推扫时间的顺序，选择下一帧作为待拼接帧；最后是计算单元整合，在全通道波段选取连续n列图像作为计算单元，选全通道初始帧的最后n列数据一维展开后形成一维数组，同样再将全通道后续帧的每一个相邻n列图像一维展开为一维数组，得到了全通道初始帧的最后n列图像一维展开得到的一维数组a_p＝[x₁，x₂，...，x_m，...，x_mn]，以及全通道第二帧的每相邻n列图像一维展开的一维数组{b₁＝[y₁，y₂，...，y_m，...，y_mn]，b₂，...，b_p}，其中，a_p是指全通道初始帧最后n列图像一维展开得到的一维数组，x₁、x₂、x_m……x_mn是指全通道初始帧最后n列图像一维展开后每个像元对应的灰度值，b₁、b₂……b_p是指全通道第二帧的所有相邻n列图像一维展开得到的一维数组,y₁、y₂、y_m……y_mn是指全通道第二帧某连续n列图像一维展开后的一维数组中每个像元对应的灰度值,n是选取n列数据整合成计算单元的列数，m是每帧数据的行数即一列的像素数，p是全通道每帧相邻n列能取的计算单元的数量。

3.如权利要求1所述的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，其特征在于：所述余弦相似度计算，具体包括余弦相似度计算和帧间移位距离计算：首先是余弦相似度计算，将下一帧的每一个计算单元与初始帧最后一个计算单元做余弦相似度计算，具体计算公式为：

其中，i为下一帧计算单元的序数，是初始帧最后一个计算单元，/>是下一帧第i个计算单元，x_t、y_t分别是初始帧最后一个计算单元和第二帧的第i个计算单元的第t个像素对应的像素灰度值,两两计算完毕后，得到第二帧每连续n列图像一维展开的数组与初始帧最后n列图像一维展开的数组之间的余弦相似度,通过找到其中余弦相似度最大值所对应的i，根据余弦相似度值越大代表图像相似程度越高，即可以找到第二帧中与初始帧最后n列图像最相似的连续n列图像，则第二帧的第i+n列及以后的部分是待拼接部分，设全通道波段单帧共l列，则初始帧与第二帧的帧间移位信息为(l-i-n+1)，将此数据保存在空数组中；同样的，选取第二帧的最后n列图像一维展开的一维数组与第三帧的每相邻n列图像一维展开后的一维数组做余弦相似度计算得到第二帧与第三帧的帧间移位信息，重复上述操作直至得到记录所有相邻帧间移位信息的数组。

4.如权利要求3所述的一种基于余弦相似度图像协同拼接的多波段推扫成像方法，其特征在于：步骤三中，所述光谱图像拼接基于步骤二得到的帧间移位信息(l-i-n+1)，利用帧间移位信息得到后续每一帧拼接到前一帧尾部的部分，各通道从初始帧开始，按照时间序列逐帧拼接，实现多通道光谱图像拼接。