CN104112278B - 基于协方差的多光谱图像实时配准方法 - Google Patents

Abstract

本发明公开了一种基于协方差的多光谱图像实时配准方法，主要解决卫星拍摄的多光谱图像由于未配准影响实时压缩性能的问题，其实现步骤是：1.输入参考波段图像和待配准波段图像数据；2.对输入的数据进行采样计算；3.对采样后的数据进行协方差计算；4.通过计算出的协方差值确定单行偏移量；5.根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准，并确定块偏移量；6.完成对三块参考谱段的图像配准，并通过得到的三个块偏移量确定最终偏移量；7.根据最终偏移量对未配准的图像进行竖直偏移，得到多光谱图像实时配准的最终输出图像。本发明具有实现简单、配准精度高的优点，可用于进行多光谱图像压缩前的配准计算。

Description

基于协方差的多光谱图像实时配准方法

技术领域

本发明涉及图像处理技术领域，更进一步涉及一种多光谱图像的配准方法，可用于各种星上多光谱数据压缩及传输。

背景技术

多光谱图像是由光谱成像仪对同一地物在几个到几十个不同谱段上成像所获取的一种三维立体图像，同时包含了地物的空间和光谱信息，目前广泛应用于资源勘探、目标识别、环境保护等方面。图像配准就是将不同时间，不同传感器或不同条件下获取的两幅或多幅图像进行匹配和叠加的过程，它已经被广泛的应用于遥感分析、计算机视觉、图像处理等领域。

在多光谱成像中，由于受相机角度等因素的限制，对同一物体进行拍摄所得到的不同谱段的图像之间往往会有一定的偏移，该偏移会导致不同波段图像间的相关性降低，进而影响到对该组图像的压缩效果。

在多光谱图像的压缩过程中，不同波段图像之间的匹配程度直接关系到多光谱图像压缩性能的好坏。因此，在对多光谱图像进行压缩之前，对图像进行配准上的预处理，提高不同波段图像的对齐程度，可以明显的提高多光谱图像的压缩性能。

目前，已有功能相近的配准方法的实现，北京航空航天大学自动化科学与电气工程学院在2008年发表了一种基于图像特征点提取及匹配的方法，采用的提取特征点信息进行匹配的方案。文中介绍：对图像进行sift算法特征分析，提取特征点，以基于欧氏距离的最近邻准则作为特征的相似度量。上述系统方案利用特征点信息，能很好的解决一般图像配准问题，但其缺点主要有以下两个方面：一是特征点提取算法复杂度较高，不利于工程实现。二是针对所要处理的多光谱灰度图像特性，特征点无法准确的被提取，往往导致最后结果偏移较大。

中国科学院中国遥感卫星地面站在2007年发表的“一种新的卫星多光谱图像自动配准算法”采用了互信息、遗传算法和MQ几何校正模型结合的算法进行多光谱图像的自动配准。文中具体介绍为：以互信息作为配准的相似度度量，利用遗传算法提高速度，利用MQ几何模型能够建立几何关系。上述系统方案利用互信息准则，充分利用了图像的灰度信息，很好的解决了多光谱图像的配准，且性能较好，但存的缺点是算法比较复杂，统计图像灰度信息所需计算量过大，占用硬件资源过多，难以在硬件系统上进行实现，且设计较为复杂。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于协方差的多光谱图像实时配准方法，以减小运算复杂度和硬件资源，便于在实时传输的硬件系统实现对星上原始未配准多光谱图像的实时配准。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)输入参考波段图像和待配准波段图像数据，从参考波段图像中找到任意一行作为配准的起始行，在待配准图像中通过初始预测偏移量找到对应的起始行数据，对参考波段图像数据和待配准波段图像数据进行宽度调整；

(2)对输入的两行数据分别进行采样计算，即按顺序将每4个像素点的数据合并为1个新的像素点的数据，得到采样后新的灰度值x：

x＝(x1+x2+x3+x4)/4

其中x1,x2,x3,x4分别为4个像素点的灰度值；

(3)对采样后的两行数据进行协方差计算，得到两行的协方差值z：

其中N为求每行数据像素点的个数，x_i为参考波段行输入的各个像素点的灰度值，为参考波段行像素的均值，y_i待配准波段对应行输入的各个像素点的灰度值，为待配准波段对应行像素的均值；

(4)对于同一行参考波段数据，分别计算待配准波段图像从起始行数据开始在搜索范围内的每一行与该参考行数据的协方差值，比较所有计算出的协方差，找到其中的最大值，该最大的协方差值所对应的待配准波段图像行即为该参考行的匹配行，其中匹配行相对参考行的位移为该参考行偏移量；

(5)根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则计数器加1，并记录本次计算的行偏移量，若绝对值大于1，则计数器清0，并清空所有记录下的行偏移量，当计数器等于8时块配准完成，并将块配准完成时所记录的8次行偏移量的平均值作为块的偏移量；

(6)重复(5)完成对三块参考谱段的图像配准，并将得到的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β；计算α与β差的绝对值γ，再将γ与设定门限值λ相比，若γ≤λ，则对三个块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取平均值得到最终偏移量，其中，λ＝2；

(8)根据最终偏移量对未配准的图像进行竖直偏移，在偏移后的图像的空白部分填充灰度值为0的像素点，得到多光谱图像实时配准的最终输出图像。

本发明与现有技术相比较，具有以下优点：

第一，与常用的基于互信息的算法相比，本发明在保证精度的前提下，采用协方差做为配准准则，从而避免了灰度统计这一复杂耗时的运算，减少了计算量，大大地缩短了配准所需要的时间，降低了多光谱配准算法的复杂度。

第二，与现有的基于特征点的配准算法相比，本发明配准精度高，而且无需提取特征点，避免了多光谱图像特征点提取不准确导致配准误差大的问题；同时由于本发明采用单行匹配，大大地减少了多光谱配准所需的计算量，缩短了运算时间，便于硬件工程实现。因此，本发明不仅更适用于多光谱图像的配准，而且复杂度低，具有很大的时间优势。

第三，与现有其它软件的配准算法相比，本发明采取定点化，即将浮点型数据转换为整形数据进行预算，并采用下采样，按行匹配这些优化算法，其更适合于硬件电路上的实现，在充分保证实时性能的前提下，使硬件电路设计简单，更加节省硬件资源。

附图说明

图1是本发明的实现流程图；

图2是本发明使用的参考图像数据与待配准图像数据输入示意图；

图3是本发明中对输入数据宽度进行调整的示意图；

图4是本发明中确定参考波段单行偏移量的示意图；

图5是本发明中确定参考波段单块偏移量的示意图；

图6是本发明中去除奇异值的示意图。

具体实施方式

以下参照附图，对本发明的技术方案和效果进行详细说明；

本发明具体实施例中采用8-bit的辅助数据和12-bit的图像数据作为配准输入数据流。其软件仿真模型利用Microsoft Visual C++6.0开发平台和C/C++语言完成实现。

参照图1，本发明的实现步骤如下：

步骤1：输入参考图像数据与待配准图像数据

参照图2，从参考波段图像中找到任意一行作为配准的起始行，根据多光谱图像相机参数和卫星轨道高度计算初始预测偏移量m，在待配准波段图像中取出相对参考波段图像起始行偏移为m的行数据作为待配准图像中的起始行数据，其中，初始预测偏移量m的确定可以大大减少后续搜索的范围。

步骤2：对参考波段图像数据和待配准波段图像数据进行宽度调整。

参照图3，对输入的数据进行宽度调整至便于硬件处理的标准宽度，即当数据宽度小于1024时，将数据补齐至1024，当数据宽度大于1024小于2048时，将数据补齐至2048，其中，数据补齐的过程为：先计算出数据实际长度与需要补齐的目标长度的差的绝对值n，再分别截取原始数据的头尾两端各n/2长度的数据，将截取的数据填充至原始数据的尾部，利用原始图像数据进行填充可以避免填充的新的数据对计算出的协方差值产生较大的影响。

步骤3：计算协方差值

对输入的参考波段的数据和待配准波段的数据分别进行采样计算，即按顺序将每4个像素点的数据合并为1个新的像素点的数据，得到采样后新的灰度值x：

x＝(x1+x2+x3+x4)/4，

其中x1,x2,x3,x4分别为4个像素点的灰度值；

对采样后的数据进行协方差计算，得到的协方差值z：

其中N为求平均新的像素点的个数，x_i为参考波段行求均值后每个像素点的灰度值，为参考波段行像素的均值，y_i为待配准波段对应行求均值后每个像素点的灰度值，为待配准波段对应行像素的均值；

在计算的过程中，为了保证硬件电路上的实现，需要提前将运算中所产生的浮点型数据进行定点化处理，即将浮点型数据转化为硬件可以运算的整型数据，从而便于硬件实现。

步骤4：确定参考波段图像单行偏移量

参照图4，对于同一行参考波段数据，分别计算待配准波段图像从起始行数据开始在搜索范围内的每一行与该参考行数据的协方差值，比较所有计算出的协方差，找到其中的最大值，该最大的协方差值所对应的待配准波段图像行即为该参考行的匹配行，其中匹配行相对参考行的位移为该参考行偏移量，其中，待配准波段图像的搜索范围为是在待配准图像起始行上下16个偏移量的范围内，即待配准图像的搜索范围为33。

步骤5：确定单块偏移量

参照图5，根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则计数器加1，并记录本次计算的行偏移量，若绝对值大于1，则计数器清0，并清空所有记录下的行偏移量，当计数器等于8时块配准完成，并将块配准完成时所记录的8次行偏移量的平均值作为块的偏移量。

步骤6：确定最终偏移量

参照图6，本步骤的具体实现如下：

6.1)为了确保对整图数据的无偏性，充分利用图像信息，避免出现局部数据对配准的结果影响过大的情况，本实例将参考波段图像分成3块，对每一块重复1-5步骤，得出3个块偏移量。

6.2)对3个偏移量进行判决，去除其中奇异值，得到最终偏移量：

6.21)将三个图像块求得的偏移量按从小到大的顺序排列为a,b,c，计算a与b的差的绝对值x，b与c的差的绝对值y；

6.22)根据x与y的差的绝对值判断3个偏移量中的奇异值：

当|x-y|>2时，则判为离偏移量b最远的偏移量为奇异值，并去除该奇异值后将剩余两个偏移量的均值作为最终偏移量；

当|x-y|<＝2时，则判为3个偏移量中无奇异值，并用以下公式计算最终偏移量p：

其中a,b,c分别为三个图像块的偏移量。

步骤7：输出配准后的图像。

根据最终偏移量对未配准的图像进行竖直偏移，进行补零操作即在偏移后的图像的空白部分填充灰度值为0的像素点，得到多光谱图像实时配准的最终输出图像。

本发明的效果可以通过以下仿真实验做进一步说明：

(1)仿真实验环境

软件采用Microsoft Visual C++6.0集成开发软件和C语言在Microsoft公司的Windows7环境上实现。本发明选取了16组星上未配准多光谱图像作为仿真测试图像，每组多光谱图像均包含红、绿、蓝和近红外4个谱段，图像的空间大小分别为1024*1024像素、600*1024像素、1000*1024像素、1200*1024像素、2000*1024像素，每个像素均采用10比特存储。

(2)实验内容

实验1，将配准后的偏移量与实际偏移量进行比较

本次实验内容为对含有4个波段的多光谱图像进行配准，通过对比该方法所计算出的偏移量与图像实际偏移量，验证该方法的配准精度。其中，第一个波段为参考波段，其余三个波段为待配准波段，分别计算三个待配准波段相对参考波段的偏移量，三个待配准波段图像相对于参考波段图像的实际偏移量为152，280，408。

如表1所示，输入的多光谱图像包括分辨率为1024*1024像素的共16组，分辨率为600*1024像素、1000*1024像素、1200*1024像素、2000*1024像素的各3组，分别统计各组多光谱图像中第二波段，第三波段和第四波段相对参考波段的偏移量。

表1 多光谱配准偏移量

从表1可以看出，配准所得结果与实际偏移量基本一致，说明本发明具有很好的配准精度。

实验2，配准前后压缩性能比较：

本次实验内容为对16组图像分别进行配准前后的无损与有损压缩实验，通过对比配准前后的无损压缩比和有损压缩下图像的峰值信噪比，比较压缩性能的变化，进而验证图像配准在图像压缩传输中所起的作用。

如表2所示，输入的多光谱图像包括16组分辨率为1024*1024像素的未配准图像，分别统计其无损压缩比以及有损压缩2倍、4倍、6倍、8倍下的峰值信噪比PSNR。

表2 未配准图像压缩性能

如表3所示，输入的多光谱图像包括16组分辨率为1024*1024像素的已配准图像，分别统计其无损压缩比以及有损压缩2倍、4倍、6倍、8倍下的峰值信噪比PSNR。

表3 配准后图像压缩性能

由表2与表3对比可得，经配准之后的图像进行无损或是有损压缩，其压缩性能均有所提高。

综上，本发明在硬件可实现的前提下，有着很高的精确度，其误差小，说明本发明有着很好的稳定性，

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于协方差的多光谱图像实时配准方法，包括如下步骤：

(1)输入参考波段图像和待配准波段图像数据，从参考波段图像中找到任意一行作为配准的起始行，在待配准图像中通过初始预测偏移量找到对应的起始行数据，对参考波段图像数据和待配准波段图像数据进行宽度调整；

(2)对输入的两行数据分别进行采样计算，即按顺序将每4个像素点的数据合并为1个新的像素点的数据，得到采样后新的灰度值x：

x＝(x1+x2+x3+x4)/4

其中x1,x2,x3,x4分别为4个像素点的灰度值；

(3)对采样后的两行数据进行协方差计算，得到两行的协方差值z：

$z=\underset{i=1}{\overset{N}{\&Sigma;}}(x_i-\stackrel{\&OverBar;}{x})(y_i-\stackrel{\&OverBar;}{y}),$

其中N为求每行数据像素点的个数，x_i为参考波段行输入的各个像素点的灰度值，为参考波段行像素的均值，y_i待配准波段对应行输入的各个像素点的灰度值，为待配准波段对应行像素的均值；

(4)对于同一行参考波段数据，分别计算待配准波段图像从起始行数据开始在搜索范围内的每一行与该参考波段行数据的协方差值，比较所有计算出的协方差，找到其中的最大值，该最大的协方差值所对应的待配准波段图像行即为该参考波段行的匹配行，其中匹配行相对参考波段行的位移为该参考波段行偏移量；

(5)根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则计数器加1，并记录本次计算的行偏移量，若绝对值大于1，则计数器清0，并清空所有记录下的行偏移量，当计数器等于8时块配准完成，并将块配准完成时所记录的8次行偏移量的平均值作为块的偏移量；

(6)重复(5)完成对三块参考波段的图像配准，并将得到的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β；计算α与β差的绝对值γ，再将γ与设定门限值λ相比，若γ≤λ，则对三个块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取平均值得到最终偏移量，其中，λ＝2；

(8)根据最终偏移量对未配准的图像进行竖直偏移，在偏移后的图像的空白部分填充灰度值为0的像素点，得到多光谱图像实时配准的最终输出图像。

2.根据权利要求1所述的基于协方差的多光谱图像实时配准方法，其中步骤(1)所述的在待配准图像中通过初始预测偏移量找到对应的起始行数据，是根据多光谱图像相机参数和卫星轨道高度计算初始预测偏移量m，在待配准波段图像中取出相对参考波段图像起始行偏移为m的行数据作为待配准图像中的起始行数据。

3.根据权利要求1所述的基于协方差的多光谱图像实时配准方法，其中步骤(1)所述的对参考波段图像数据和待配准波段图像数据进行宽度调整，是在数据宽度小于1024时，将数据补齐至1024，当数据宽度大于1024小于2048时，将数据补齐至2048。

4.根据权利要求3所述的基于协方差的多光谱图像实时配准方法，其中所述的数据补齐，是先计算出数据实际长度与需要补齐的目标长度的差的绝对值n，再分别截取原始数据的头尾两端各n/2长度的数据，将截取的数据填充至原始数据的尾部。