CN104156954A - 适于多光谱图像压缩的配准预处理系统 - Google Patents

Abstract

本发明公开了一种适于多光谱图像压缩的配准预处理系统，主要解决卫星拍摄的多光谱图像由于未配准影响实时压缩性能的问题。本系统包括：图像输入模块(1)、图像缓存模块(2)和配准计算模块(3)。图像输入模块将全景相机产生的辅助数据和待配准多光谱图像数据重新组织成适于系统内部处理的图像数据，输出给图像缓存模块和配准计算模块；图像缓存模块缓存图像输入模块输入的图像数据；配准计算模块控制图像输入模块和图像缓存模块读入参考谱段和待配准谱段数据，利用该读入数据进行配准，并将配准后的多光谱图像输出到下级系统。本发明实现简单、处理实时、显著提高了后级系统的压缩性能，可用于卫星拍摄的多光谱图像压缩前的配准预处理工作。

Description

适于多光谱图像压缩的配准预处理系统

技术领域

本发明涉及通信技术领域，具体涉及多光谱图像压缩前的预处理工作，可用于卫星拍摄的多光谱图像压缩传输前的配准。

背景技术

图像配准就是将不同传感器或不同条件下获取的两幅或多幅图像进行匹配，叠加的过程，它已经被广泛的应用于遥感分析、计算机视觉和图像处理等领域。

多光谱图像是利用卫星或飞机对同一地区、同一时间的物体，采用不同的谱段拍摄的图像的合集，例如红、绿、蓝和近红外四个谱段拍摄的多光谱图像。多光谱图像由于包含谱段多，信息量大，可以利用其进行地面遥感、地貌分析等等。但由于多光谱图像所需存储空间很大，在传回地面做处理前必须进行充分有效的压缩才能实现实时传输处理。

在多光谱成像中，由于相机角度的问题，对同一物体进行拍摄所得到的不同谱段的图像之间往往会有一定的偏移，该偏移会导致不同谱段图像间的相关性降低，进而影响到对该组图像的压缩效果。因此，在对多光谱图像进行压缩之前，需要对各谱段图像进行配准预处理，以提高不同谱段图像间的对齐程度，进而改善压缩性能。

将图像分辨率为1024×1024像素的多光谱图像MS1分别进行未配准与配准后压缩，对比压缩比和PSNR得出：在无损压缩条件下，未配准图像的压缩比为1.64925，配准后图像的压缩比为1.89259；在2倍有损压缩条件下，未配准图像的压缩比为2.00956，PSNR为57.723dB，配准后图像的压缩比为2.01043，PSNR为61.49dB；在4倍有损压缩条件下，未配准图像的压缩比为4.05134，PSNR为48.275dB，配准后图像的压缩比为4.03851，PSNR为53.1825dB；在6倍有损压缩条件下，未配准图像的压缩比为6.078511，PSNR为43.66dB，配准后图像的压缩比为6.086132，PSNR为48.355dB；在8倍有损压缩条件下，未配准图像的压缩比为7.998718，PSNR为41.1275dB，配准后图像的压缩比为8.079755，PSNR为45.655dB。

除此之外，还对其他多幅多光谱图像做了测试，结果均是配准后的多光谱图像的压缩性能优于未配准的多光谱图像。

配准预处理系统主要实现以下功能：对一组多光谱图像，通过一定的配准准则，确定待配准图像与参考图像的像素偏移量，对待配准图像进行一定的处理，使得该多光谱图像不同谱段之间达到对齐的效果，然后传给后级系统做压缩处理。

现有针对多光谱图像配准大多集中在地面后处理方面，对于配准功能的实现，往往采用较为精确、相对复杂的算法。例如中国科学院上海技术物理研究所在2004年发表于《红外技术》的文章“多光谱图像配准实时处理技术研究”就针对多光谱图像的配准问题，提出了基于边缘特征的匹配算法，并在DSP、FPGA上实现。其他类似方案采用了互信息、遗传算法和MQ几何校正模型结合的算法进行多光谱图像的自动配准。中国科学院中国遥感卫星地面站在2007年发表的“一种新的卫星多光谱图像自动配准算法”就是采用此方案，文中具体介绍为：以互信息作为配准的相似度度量，利用遗传算法提高速度，利用MQ几何模型能够建立几何关系。

上述这些系统方案的缺点是：配准算法复杂度较高，硬件实现较为复杂，需要借助DSP芯片配合FPGA实现；处理延迟较大，不能用于卫星上多光谱图像的实时高效传输。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种适于多光谱图像压缩的配准预处理系统，以简化系统结构，减少硬件资源，实现卫星拍摄的多光谱图像的实时高效传输。

本发明的技术方案是这样实现的：

一种适于多光谱图像压缩的配准预处理系统，其特征在于通过一片FPGA实现，它包括图像输入模块、图像缓存模块和配准计算模块：

所述图像输入模块，用于将电荷耦合元件CCD全景相机产生的辅助数据和待配准多光谱图像各谱段数据重新组织成适于FPGA内部处理的图像数据，并输出给图像缓存模块和配准计算模块；

所述图像缓存模块，用于缓存图像输入模块的输入图像数据；

所述配准计算模块，包括：

两个下采样子模块，用于将从图像输入模块读出的图像数据和从图像缓存模块读出的图像数据重新拆分为图像像素点，再对连续的4个像素点求取平均值得到一个新的下采样像素点以代替原4个像素点，并输出给配准控制子模块；

协方差计算子模块，用于求得配准控制子模块输入的两路谱段图像数据的协方差，并将协方差值输出给配准控制子模块；

配准控制子模块，用于完成多光谱图像配准，即：

在配准开始后，选取三块参考谱段图像分别与待配准谱段图像进行一次块配准，根据初始谱段偏移量判断图像缓存模块是否已经缓存配准计算所需数据：如果已缓存，则输出读指令到图像缓存模块读出所需数据到下采样子模块，如果未缓存，则直接读出图像输入模块数据到下采样子模块；

当协方差计算子模块传回协方差值后，通过协方差值得到行偏移量，并根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则块配准收敛，收敛计数加1，若绝对值大于1，则块配准不收敛，收敛计数清0，当收敛计数等于8时块配准完成，该块偏移量为配准收敛的8次行偏移量的平均值；

在对三块参考谱段图像配准完成后，通过错误判决得到最终偏移量：即将得到的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β；计算|β-α|得到α与β差的绝对值γ，再将γ与设定门限值λ相比，若γ≤λ，则对三个块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取平均值得到最终偏移量，其中，λ＝2；

将最终偏移量输出给图像输出子模块；

图像输出子模块，用于在配准完成后，根据配准控制子模块输入的配准后谱段偏移量发出读信号到图像缓存模块读出缓存的图像数据，将其恢复为原始数据格式输出给下级系统。

本发明与现有技术相比具有以下优点：

(1)本发明采用单片FPGA实现，逻辑资源占用少，实现复杂度低，能够完成多光谱图像配准的实时处理。

(2)本发明通过计算协方差的方法完成配准，处理过程既简单又相对精确，能够很快求得配准后多光谱图像的偏移量，显著提升了后级压缩系统的压缩性能。

(3)本发明设有偏移量错误判决机制，当得到明显错误的偏移量时能够将其剔除掉，避免了对正确结果造成的影响。

附图说明

图1是本发明的整体结构示意图；

图2是本发明中的图像输入模块结构示意图；

图3是本发明中的图像缓存模块结构示意图；

图4是本发明中的配准计算模块结构示意图；

图5是本发明配准计算模块中的协方差计算子模块结构示意图；

图6是本发明配准计算模块中的配准控制子模块结构示意图；

图7是本发明配准计算模块中的图像输出子模块结构示意图。

具体实施方式

本发明具体实施例中采用的输入数据结构为CCD相机产生的辅助数据和多光谱图像数据，以行为单位输入，每行为辅助数据和4个谱段的多光谱图像数据，发送正程逆程持续时间相等；其中辅助数据的比特深度为8-bits无符号，总长度可以根据参数设置为0-64的某个值，多光谱图像数据的比特深度为12-bits无符号，向下兼容更低比特深度的多光谱图像数据，单谱段图像行宽长度可根据参数设置为1024-2048的某个值。

本发明的软件仿真模型利用Microsoft Visual C++6.0开发平台和C/C++语言完成实现，硬件实现结构采用Xilinx ISE 12.4集成开发环境和VHDL语言，在Xilinx公司的型号为XC5Vfx13t-1ff1738的FPGA器件上实现。

下面结合附图对本发明的实现做详细的描述。

参照图1，本发明的系统，包括3个模块：图像输入模块1、图像缓存模块2和配准计算模块3。图像输入模块1接收CCD全景相机产生的辅助数据和待配准多光谱图像各谱段数据，将其重新组织成适于FPGA内部处理的图像数据，输出给图像缓存模块2和配准计算模块3；图像缓存模块2缓存图像输入模块1输入的图像数据，接收配准计算模块3的读指令，在外存空闲的时刻读出缓存的图像数据并输出给配准计算模块3；配准计算模块3控制图像输入模块1和图像缓存模块2读入参考谱段和待配准谱段数据，利用读入数据进行配准，并将配准后的多光谱图像输出到下级系统。

参照图2，所述的图像输入模块1，包括数据组织子模块11、缓存子模块12和输出仲裁器13。由于图像缓存模块2支持的数据位宽为64-bits，所以数据组织子模块11将输入的辅助数据和待配准多光谱图像各谱段数据进行分离并分别拼接成符合要求的64-bits位宽数据，具体拼接过程为：

对于辅助数据，以每8个为一组拼接成1个64-bits数据包；对于图像数据，以每16个像素点为一组拼接成3个连续的64-bits数据包，其中对第6个和第12个像素点，不能通过单个数据包完成全部拼接，故先将12-bits位宽的像素点分为两部分，即将高比特部分写入当前数据包以达到64-bits，其余部分写入下一个数据包；当一行图像完成拼接后最后一个数据包长度不足64-bits时，则对该包的低位补0。

拼接完成后，将数据写入缓存子模块12暂时缓存，该模块由一个双端口RAM实现，待缓存到一整行后连续读出，通过输出仲裁器13判断该读出是辅助数据还是图像数据：若为辅助数据，则只输出给图像缓存模块2，若为图像数据，则同时输出给图像缓存模块2和配准计算模块3。

参照图3，所述的图像缓存模块2，包括用户层子模块21和外存控制子模块22。用户层子模块21根据图像输入模块1、配准控制子模块33和图像输出子模块34的读写缓存指令发送相应指令到外存控制子模块22，外存控制子模块22由MIG控制器软核实现，用于生成缓存芯片工作所需的各种控制信号。缓存芯片采用双倍速率同步动态随机存储器DDR SDRAM实现，其物理地址分为4个区域：BANK0、BANK1、BANK2和BANK3；根据图像输入模块1输入的数据类型对它们进行分类并写入缓存芯片相应的地址区域中，以方便配准计算模块3进行高速读取：CCD全景相机产生的辅助数据存入第一区域BANK0，第一谱段图像数据存入第一区域BANK0，第二谱段图像数据存入第二区域BANK1，第三谱段图像数据存入第三区域BANK2，第四谱段图像数据存入第四区域BANK3。

参照图4，所述的配准计算模块3，包括两个下采样子模块31和32、协方差计算子模块33、配准控制子模块34和图像输出子模块35。第一下采样子模块31采样子模块31接收图像输入模块1输入的数据包，第二下采样子模块32接收图像缓存模块2输入的数据包。这两个下采样子模块对输入数据包的处理过程相同，即将输入的数据包在解包恢复原像素点的同时，以每四个像素点为一组求一个均值以代替原四个像素点值，达到减少协方差计算子模块33计算量的目的。将下采样后的数据以每两个为一组合成24-bits输出给配准控制子模块34：其中高12-bits为一个下采样点，低12-bits为另一个下采样点。协方差计算子模块33，接收配准控制子模块34输入的两行图像数据，计算协方差值并输出给配准控制子模块34。配准控制子模块34，配准开始后接收第一下采样子模块31和第一下采样子模块32配准所需数据并输出到协方差计算子模块33计算协方差，根据协方差计算子模块33返回的协方差值并判断是否完成配准，配准完成后输出配准偏移量到图像输出子模块35。图像输出子模块35，配准完成后，根据配准控制子模块34输入的偏移量发出相应读指令到图像缓存模块2读出所需数据，将其恢复为原始数据格式输出给下级系统。

参照图5，所述的协方差计算子模块33，用于对配准控制子模块34输入的一行256个参考谱段下采样像素点和一行256个待配准谱段下采样像素点求协方差值。该模块包括第一累加器331、第二累加器332、第三累加器333、第四累加器334、第一乘法器335、第二乘法器336、第五累加器337、第六累加器338、第一加法器339、第二加法器3310和第三加法器3311。第一累加器331将输入参考谱段图像数据的高12-bits下采样数据进行累加运算得到第一累加和θ₁，第二累加器332将输入参考谱段图像数据的低12-bits下采样数据进行累加运算得到第二累加和θ₂，第三累加器333将输入待配准谱段图像数据的高12-bits下采样数据进行累加运算得到第三累加和ψ₁，第四累加器334将输入待配准谱段图像数据的低12-bits下采样数据进行累加运算得到第四累加和ψ₂；第一乘法器335将输入参考谱段图像数据的高12-bits下采样数据和输入待配准谱段图像数据的高12-bits下采样数据相乘，并将相乘结果输出给第五累加器337进行累加运算得到第五累加和σ，第二乘法器336将输入参考谱段图像数据的低12-bits下采样数据和输入待配准谱段图像数据的低12-bits下采样数据相乘，并将相乘结果输出给第六累加器338进行累加运算得到第六累加和τ；第一加法器339根据第一累加和θ₁与第二累加和θ₂，计算参考谱段图像下采样数据的像素点值总和：sumX＝θ₁+θ₂；第二加法器3310根据第三累加和ψ₁与第四累加和ψ₂，计算待配准谱段图像下采样数据的像素点值总和：sumY＝ψ₁+ψ₂；第三加法器3311根据第五累加和σ与第六累加和τ，计算参考谱段图像下采样数据的像素点值和待配准谱段图像下采样数据的像素点值对应相乘后的总和：sumXY＝σ+τ；

根据上述已计算得到的数据求得两行图像数据的协方差值：

$\mathrm{COV}(X,Y)=\frac{256\×\mathrm{sumXY}-\left(\mathrm{sumX}\right)\left(\mathrm{sumY}\right)}{256\×256}$

参照图6，所述的配准控制子模块34，包括双端口存储器341和配准控制状态机342。其中：

双端口存储器341，用以暂时缓存两个下采样子模块31和32输入的下采样数据。

配准控制状态机342，用于在配准开始后，选取三块参考谱段图像分别与待配准谱段图像进行一次块配准，根据初始谱段偏移量判断图像缓存模块2是否已经缓存配准计算所需数据：如果已缓存，则输出读指令到图像缓存模块2读出所需数据到下采样子模块32，如果未缓存，则直接读出图像输入模块1数据到下采样子模块31；当双端口存储器341缓存了参考谱段图像下采样数据和待配准谱段下采样数据后，配准控制状态机342控制双端口存储器341输出计算所需数据到协方差计算子模块33。当协方差计算子模块33传回协方差值后，通过协方差值得到行偏移量，并根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则块配准收敛，收敛计数加1，若绝对值大于1，则块配准不收敛，收敛计数清0，当收敛计数等于8时块配准完成，该块偏移量为配准收敛的8次行偏移量的平均值。

在对三块参考谱段图像配准完成后，配准控制状态机342通过错误判决得到最终偏移量：即将得到的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β；计算|β-α|得到α与β差的绝对值γ，再将γ与设定门限值λ相比，若γ≤λ，则对三个块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取平均值得到最终偏移量，其中，λ＝2。

待三个待配准谱段图像均与参考谱段图像完成配准后，配准控制状态机342将三个最终偏移量和配准结束信号输出给图像输出子模块35。

参照图7，所述图像输出子模块35，包括数据存储器351和数据恢复器352。数据存储器351用以缓存配准结束后待输出的图像数据。数据恢复器352用以将数据存储器351缓存的图像数据读出并恢复为原输入格式，即辅助数据、第一谱段、第二谱段、第三谱段和第四谱段的顺序，并逐行输出；若数据存储器351中缓存的图像数据不能满足原输入格式，则在相应位置填充0补满一整行数据后再输出。

本发明的效果可通过以下测试进一步说明：

将本发明在型号为XC5Vfx13t-1ff1738的赛灵思Virtex5 FPGA上实现上述配准系统，经Xilinx ISE 12.4工具综合实现后，可得出其片内Slice的占用率为3％，LUT的占用率为4％，block RAM的占用率为2％，DSP48E的占用率为1％。可以看出，本发明采用单片FPGA即可完成实时配准功能，资源占用率低，功耗小，而同类系统需要其他专用处理器配合FPGA才能完成配准功能，本发明较同类系统有优势。

测试结果表明，本发明所述的配准系统能够达到的性能指标为：多光谱图像谱段数为4，图像像素比特深度为无符号12-bits，向下兼容更低比特深度，每谱段图像行宽为1024-2048；辅助数据比特深度为无符号8-bits，长度为0-64，图像输入速率为100Mbps连续不间断，图像输出速率为100Mbps，逐行输出，行与行之间有逆程，处理延迟约为100ms。该性能指标能够满足卫星拍摄的多光谱图像压缩传输前的实时配准预处理操作的要求。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种适于多光谱图像压缩的配准预处理系统，其特征在于通过一片FPGA实现，它包括图像输入模块(1)、图像缓存模块(2)和配准计算模块(3)：

所述图像输入模块(1)，用于将电荷耦合元件CCD全景相机产生的辅助数据和待配准多光谱图像各谱段数据重新组织成适于FPGA内部处理的图像数据，并输出给图像缓存模块(2)和配准计算模块(3)；

所述图像缓存模块(2)，用于缓存图像输入模块(1)的输入图像数据；

所述配准计算模块(3)，包括：

两个下采样子模块(31)(32)，用于将从图像输入模块(1)读出的图像数据和从图像缓存模块(2)读出的图像数据重新拆分为图像像素点，再对连续的4个像素点求取平均值得到一个新的下采样像素点以代替原4个像素点，并输出给配准控制子模块(34)；

协方差计算子模块(33)，用于求得配准控制子模块(34)输入的两路谱段图像数据的协方差，并将协方差值输出给配准控制子模块(34)；

配准控制子模块(34)，用于完成多光谱图像配准，即：

在配准开始后，选取三块参考谱段图像分别与待配准谱段图像进行一次块配准，根据初始谱段偏移量判断图像缓存模块(2)是否已经缓存配准计算所需数据：如果已缓存，则输出读指令到图像缓存模块(2)读出所需数据到下采样子模块(32)，如果未缓存，则直接读出图像输入模块(1)数据到下采样子模块(31)；

当协方差计算子模块(33)传回协方差值后，通过协方差值得到行偏移量，并根据本次计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于1，则块配准收敛，收敛计数加1，若绝对值大于1，则块配准不收敛，收敛计数清0，当收敛计数等于8时块配准完成，该块偏移量为配准收敛的8次行偏移量的平均值；

在对三块参考谱段图像配准完成后，通过错误判决得到最终偏移量：即将得到的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β；计算|β-α|得到α与β差的绝对值γ，再将γ与设定门限值λ相比，若γ≤λ，则对三个块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取平均值得到最终偏移量，其中，λ＝2；

将最终偏移量输出给图像输出子模块(35)；

图像输出子模块(35)，用于在配准完成后，根据配准控制子模块(34)输入的配准后谱段偏移量发出读信号到图像缓存模块(2)读出缓存的图像数据，将其恢复为原始数据格式输出给下级系统。

2.根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述的配准计算模块(3)在读取数据时，采用输入获取判断机制进行，即当图像缓存模块(2)中已经缓存了配准计算所需数据时，优先读取缓存数据，否则，读取图像输入模块(1)输出的数据。

3.根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述图像输入模块(1)，包括数据组织子模块(11)、缓存子模块(12)和输出仲裁器(13)，该数据组织子模块(11)将输入的辅助数据和待配准多光谱图像各谱段数据分离并重新组织成适于FPGA内部处理的图像数据，输出给缓存子模块(12)进行临时缓存，当缓存数据足够多时通过输出仲裁器(13)连续输出给图像缓存模块(2)和配准计算模块(3)。

4.根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述图像缓存模块(2)，包括用户层子模块(21)和外存控制子模块(22)，该用户层子模块(21)接收图像输入模块(1)、配准控制子模块(33)和图像输出子模块(34)的读写缓存指令，并在外存空闲时发送相应指令到外存控制子模块(22)，令其生成外存工作所需的各种控制信号。