CN109598686B - 一种基于bayer模板的卫星影像重建方法 - Google Patents

Abstract

本发明的技术方案包括一种基于bayer模板的卫星影像重建方法，用于实现：根据bayer模板对原始影像进行子块分解，拆分为R、G、B三个子块影像；针对三个子块影像分别建立统计模型，求解统计参数；根据统计参数和R、G、B三个子块，得到更新后的bayer影像；利用统计参数得到组合梯度影像和方向影像；在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建。本发明的有益效果为：通过拆分子块影像进行分别统计训练，可有效修正纵向条纹对影像重建的误差；联合统计参数和组合梯度，能够准确判断出每个像素位置的方向梯度，有利于提升导向插值精度；在处理的过程中通过整体建模和滤波器设计，能够有效提升处理效率。

Description

一种基于bayer模板的卫星影像重建方法

技术领域

本发明涉及一种基于bayer模板的卫星影像重建方法，属于图像技术领域。

背景技术

为了缓解星上固存、减轻数传压力、降低卫星成本和工艺难度等，视频卫星有效相机载荷中只采用一个CMOS面阵传感器，同时安置一块彩色滤光阵列——bayer模板。在推扫成像时，选取bayer模板其中的连续两行作为线阵探测器，结合卫星飞行实现bayer的条带推扫成像。bayer模板在每一个像素位置只获取一种颜色的灰度值，其他两种颜色被过滤掉。这种方式能够减少三分之二的数据量，有效节省星上存储资源，减轻星地传输压力。但由于bayer影像损失彩色信息，必须通过插值恢复成彩色影像后才能进行后续的处理和应用。此外，与常规面阵bayer探测器成像不同的是，bayer推扫模式由于探测器间的相应差异性，使得原始bayer图像出现明显纵向条纹，这对彩色重建质量和效果产生巨大影响。鉴于此,针对bayer模板推扫模式的卫星影像高质量重建是急需解决的问题。

Bayer影像由于图像的阶跃性，使得纵向条纹也具有阶跃性，平滑性和连续性不佳，采用整体的一套统计参数很难消除纵向条纹的影响。此外，纵向条纹会严重干扰bayer插值时的梯度方向判断和插值度量，影响最终的影像辐射质量。以上都是目前待攻克的难点。

发明内容

为解决上述问题，本发明的目的在于提供一种基于bayer模板的卫星影像重建方法，通过使用bayer模板采集目标原始影像；根据bayer模板对原始影像进行子块分解，拆分为R、G、B三个子块影像；针对三个子块影像分别建立统计模型，求解统计参数；根据统计参数和R、G、B三个子块，得到更新后的bayer影像；利用统计参数得到组合梯度影像和方向影像；在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建。

本发明解决其问题所采用的技术方案是：一种基于bayer模板的卫星影像重建方法，其特征在于，包括以下步骤：使用bayer模板采集目标原始影像；根据bayer模板对原始影像进行子块分解，拆分为R、G、B三个子块影像；针对三个子块影像分别建立统计模型，求解统计参数；根据统计参数和R、G、B三个子块，得到更新后的bayer影像；利用统计参数得到组合梯度影像和方向影像；在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建。

进一步的，所述使用bayer模板采集目标原始影像包括以下步骤：调用面阵探测器中的bayer滤光片，选取连续的两行作为有效推扫线阵探测器；结合卫星飞行和姿态控制实现bayer模板的条带推扫成像；通过分景后生成一系列影像，得到原始bayer影像。

进一步的，所述R、G、B影像三个子块影像的尺寸大小分别为m/2*n/2、m/2*n以及m/2*n/2，其中m、n为原始影像的行、列数。

进一步的，所述针对三个子块影像分别建立统计模型，求解统计参数包括：

建立计算模型，该模型为:

其中μ为基准列所有像素灰度的均值，

其中σ为基准列所有像素灰度的方差，

其中μ′为其他任一列所有像素灰度的均值，

其中σ′为其他任一列所有像素灰度的方差；

对所有列套用计算模型进行计算，得到所有列的参数集{a_i}、{b_i}，

其中i＝1,2,3,...,s，s为影像的列数；

对R、G、B影像三个子块影像按照上一步骤分别计算，得到3组参数集，{a_i}_j、{b_i}_j，

其中j＝R,G,B。

进一步的，所述根据统计参数和R、G、B三个子块，得到更新后的bayer影像包括以下步骤：

所述统计参数为参数集，为{a_i}_j、{b_i}_j，其中j＝R,G,B；

将参数集转换为矩阵形式：

Mat_p,j＝[p_1,jp_2,j...p_s,j]

其中p∈a,b，

其中j＝R,G,B，

其中s为对应影像的列数；

根据参数集得到修正后的各子块bayer影像：

其中j＝R,G,B，

其中m为行数；

将修正后的各子块进行反向合并处理，得到更新后的bayer影像bayerNew。

进一步的，所述利用统计参数得到组合梯度影像和方向影像包括以下步骤：

建立梯度滤波模型，根据更新后的bayer影像获取梯度影像；

建立梯度核滤波模型，根据获得的梯度影像获取组合梯度影像；

建立方向梯度滤波模型，根据更新后的bayer影像获取方向影像。

进一步的，所述建立梯度滤波模型，根据更新后的bayer影像获取梯度影像包括：

建立水平梯度滤波模型：

fh＝[-1/4 1/2 0-1/2 1/4]

对应的水平梯度影像为：

imgGh＝filter(bayerNew,fh)

对应的垂直梯度影像为：

imgGv＝filter(bayerNew,fh′)

其中fh′为矩阵的转置，

其中filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现；

其中bayerNew为更新后的bayer影像。

进一步的，所述建立梯度核滤波模型，根据获得的梯度影像获取组合梯度影像包括：

建立梯度核滤波模型：

根据得到的梯度影像可得到水平和垂直组合梯度影像，其中梯度影像包括水平梯度影像和垂直梯度影像，

水平组合梯度影像：

imgGhK＝filter(imgGh,fk)

垂直组合梯度影像：

imgGvK＝filter(imgGv,fk)

其中filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现，

其中imgGh为水平梯度影像，

其中imgGv为垂直梯度影像。

进一步的，所述建立方向梯度滤波模型，根据更新后的bayer影像获取方向影像包括：

建立水平方向滤波模型：

imgfh＝[-1/4 1/2 1/2 1/2-1/4]

对应的水平方向影像为：

imgH＝filter(bayerNew,imgfh)

对应的垂直方向影像为：

imgV＝filter(bayerNew,imgfh′)

其中fh′为矩阵的转置，

其中filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现，

其中bayerNew为更新后的bayer影像。

进一步的，所述在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建包括：

更新后的bayer影像包括R、G、B三个子块影像；

对各个子块按照先后顺序做绿色波段重建、红色波段重建以及蓝色波段重建；

建立绿色波段重建模型：

其中imgG为重建影像后的绿色波段，

其中imgH为水平方向影像，

其中imgV为垂直方向影像，

其中imgGhk水平组合梯度影像，其中imgGvk垂直组合梯度影像；

建立红色波段重建模型：

imgR＝imgG-filter(filter(imgG-bayerR,dfilter),bfilter)

其中dfilter和bfilter分别表示对角线滤波和线性滤波：

其中imgG为重建影像后的绿色波段，其中bayerR为修正后的R子块bayer影像；

建立蓝色波段重建模型：

imgB＝imgG-filter(filter(imgG-bayerB,dfilter),bfilter)

其中imgG为重建影像后的绿色波段，其中bayerB为修正后的B子块bayer影像。

本发明的有益效果是：本发明采用的一种基于bayer模板的卫星影像重建方法，通过拆分子块影像进行分别统计训练，可有效修正纵向条纹对影像重建的误差；联合统计参数和组合梯度，能够准确判断出每个像素位置的方向梯度，有利于提升导向插值精度；在处理的过程中通过整体建模和滤波器设计，能够有效提升处理效率。

附图说明

图1所示为根据本发明较佳实施例的方法流程示意图；

图2所示为根据本发明的原始影像获取流程示意图；

图3所示为根据本发明的实施例一；

图4所示为根据本发明的实施例二。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。

本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1所示为根据本发明较佳实施例的方法流程示意图，为本发明影像重建的具体流程，

使用bayer模板采集目标原始影像；

根据bayer模板对原始影像进行子块分解，拆分为R、G、B三个子块影像；

针对三个子块影像分别建立统计模型，求解统计参数；

根据统计参数和R、G、B三个子块，得到更新后的bayer影像；

利用统计参数得到组合梯度影像和方向影像；

在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建。

上述步骤可以精简为四大步骤，

1)原始bayer影像获取；

2)子块统计参数估计；

3)对原始bayer影像更新；

4)顾及子块统计参数的影像重建；

首先将原始bayer影像根据bayer模板拆分成R\G\B三个子块影像，针对三子块影像分别建立统计模型，求解统计参数；然后，利用统计参数修正组合梯度，并根据修正值确定插值方向；进而沿着该方向进行修正后的线性插值完成绿色波段的辐射重建。绿色重建后，利用新色差影像的对角、水平和垂直滤波完成红、蓝波段的重建。本发明可对任何bayer推扫影像的重建提供参考，并可有效用于后续的几何处理和应用。

步骤1，原始bayer影像获取

原始影像的获取步骤参考图2所示为根据本发明的原始影像获取流程示意图，

bayer模板推扫模式的成像示意图。在面阵探测器中安置了bayer滤光片，并选取连续的两行作为有效推扫线阵探测器，结合卫星飞行和姿态控制实现bayer模板的条带推扫成像，并通过分景后生成一系列原始bayer影像，参照图3所示为根据本发明的实施例一，为bayer模板推扫模式的成像示意图。

步骤2，子块统计参数估计

步骤2.1，参照图4所示为根据本发明的实施例二，为对bayer原始影像进行子块分解示意图，

对bayer原始影像进行子块分解，分成R、G、B，3个子块影像。分解后各子块的尺寸大小分别为R、B：m/2*n/2；G：m/2*n，其中m、n为原始影像的行、列数。

步骤2.2，对各子块影像进行参数的统计训练，计算模型如式(1)：

其中，μ表示基准列所有像素灰度的均值，σ表示基准列所有像素灰度的方差；μ′表示其他任一列所有像素灰度的均值，σ′表示其他任一列所有像素灰度的方差。对所有列进行式(1)的处理后，我们可以得到所有列的参数集{a_i}、{b_i}，其中，i＝1,2,3,...,s，s表示影像的列数。因此，针对3个子块影像，我们可得到3组参数集{a_i}_j、{b_i}_j，其中，j＝R,G,B。

步骤3，对原始bayer影像更新。将步骤2.2得到的统计参数集{a_i}_j、{b_i}_j写成矩阵形式:

同样地，s表示对应影像的列数。原始bayer影像的各子块的修正结果可以表示为：

j＝R,G,B，m表示行数

将修正后的各子块按照图4进行反向合并处理，可得到原始bayer影像的更新影像bayerNew。

步骤4，顾及子块统计参数的影像重建。在更新的原始bayer影像的基础上进行重建，补偿缺失的灰度信息。

步骤4.1，梯度影像获取。水平梯度滤波可表示为：

fh＝[-1/4 1/2 0-1/2 1/4] (4)

对应地，水平梯度影像表示为：

imgGh＝filter(bayerNew,fh) (5)

其中，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现，下同。同样地，垂直梯度影像可表示为：

imgGv＝filter(bayerNew,fh′) (6)

上式中，运算符(*)′表示矩阵的转置，下同。

步骤4.2，组合梯度影像获取。在4.1基础上，引入梯度核滤波：

进一步可得到水平和垂直组合梯度影像：

步骤4.3，方向影像获取。水平方向影像的滤波为：

imgfh＝[-1/4 1/2 1/2 1/2-1/4] (9)

对应水平方向影像可表示为：

imgH＝filter(bayerNew,imgfh) (10)

而垂直方向影像可表示为：

imgV＝filter(bayerNew,imgfh′) (11)

步骤4.4，根据4.2和4.3中的组合梯度和方向影像进行最终的影像重建。最终重建影像的绿色波段表示为imgG，其每个缺失像素可按下式计算：

绿色波段重建后，可进一步做红、蓝波段的重建。红色波段imgR可按照下式求得：

imgR＝imgG-filter(filter(imgG-bayerR,dfilter),bfilter) (13)

其中，dfilter和bfilter分别表示对角线滤波和线性滤波：

蓝色波段imgB重建同理与imgR。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (7)

1.一种基于bayer模板的卫星影像重建方法，其特征在于，包括以下步骤：

使用bayer模板采集目标原始影像；

根据bayer模板对原始影像进行子块分解，拆分为R、G、B三个子块影像；

针对三个子块影像分别建立统计模型，求解统计参数集，包括以下步骤：S110，建立计算模型，该模型为:

其中,μ为基准列所有像素灰度的均值，σ为基准列所有像素灰度的方差，μ′为其他任一列所有像素灰度的均值，σ′为其他任一列所有像素灰度的方差；S120，对所有列套用计算模型进行计算，得到所有列的参数集{a_i}、{b_i}，其中i＝1,2,3,...,s，s为影像的列数；S130，对R、G、B影像三个子块影像按照上一步骤分别计算，得到3组所述统计参数集，{a_i}_j、{b_i}_j，其中j＝R,G,B；

根据所述统计参数集和R、G、B三个子块，得到更新后的bayer影像，包括以下步骤：S210，将所述统计参数集转换为矩阵形式：

Mat_p,j＝[p_1,jp_2,j...p_s,j]

其中，p∈a,b，j＝R,G,B，s为对应影像的列数；S220，根据转换为矩阵形式的统计参数集得到修正后的各子块bayer影像：

其中，j＝R,G,B，m为行数；S230，将修正后的各子块进行反向合并处理，得到更新后的bayer影像bayerNew；

根据更新后的bayer影像得到组合梯度影像和方向影像；

在更新后的bayer影像的基础上根据组合梯度影像和方向影像完成卫星影像的重建，具体步骤为：对更新后的bayer影像的R、G、B三个子块影像，按照先后顺序做绿色波段重建、红色波段重建以及蓝色波段重建,包括：S310,重建影像的绿色波段，其中每个缺失像素的计算方法为:

其中，(k,l)表示为缺失像素的坐标，imgG为重建影像后的绿色波段，imgH为水平方向影像，imgV为垂直方向影像，imgGhk为水平组合梯度影像，imgGvk为垂直组合梯度影像；

S320,建立红色波段重建模型：

imgR＝imgG-filter(filter(imgG-bayerR,dfilter),bfilter)

其中,imgG为重建影像后的绿色波段，bayerR为修正后的R子块bayer影像，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现，dfilter表示对角线滤波,bfilter表示线性滤波，分别为：

S330,建立蓝色波段重建模型：

imgB＝imgG-filter(filter(imgG-bayerB,dfilter),bfilter)

其中，imgG为重建影像后的绿色波段，bayerB为修正后的B子块bayer影像，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现。

2.根据权利要求1所述的基于bayer模板的卫星影像重建方法，其特征在于，所述使用bayer模板采集目标原始影像包括以下步骤：

调用面阵探测器中的bayer滤光片，选取连续的两行作为有效推扫线阵探测器；

结合卫星飞行和姿态控制实现bayer模板的条带推扫成像；

通过分景后生成一系列影像，得到原始bayer影像。

3.根据权利要求1所述的基于bayer模板的卫星影像重建方法，其特征在于，所述R、G、B影像三个子块影像的尺寸大小分别为m/2*n/2、m/2*n以及m/2*n/2，其中m、n为原始影像的行、列数。

4.根据权利要求1所述的基于bayer模板的卫星影像重建方法，其特征在于，所述根据更新后的bayer影像得到组合梯度影像和方向影像包括以下步骤：

建立梯度滤波模型，根据更新后的bayer影像获取梯度影像；

建立梯度核滤波模型，根据获得的梯度影像获取组合梯度影像；

建立方向梯度滤波模型，根据更新后的bayer影像获取方向影像。

5.根据权利要求4所述的基于bayer模板的卫星影像重建方法，其特征在于，所述建立梯度滤波模型，根据更新后的bayer影像获取梯度影像包括：

建立水平梯度滤波模型：

fh＝[-1/4 1/2 0 -1/2 1/4]

对应的水平梯度影像为：

imgGh＝filter(bayerNew,fh)

对应的垂直梯度影像为：

imgGv＝filter(bayerNew,fh′)

其中，fh′为矩阵的转置，bayerNew为更新后的bayer影像，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现。

6.根据权利要求4所述的基于bayer模板的卫星影像重建方法，其特征在于，所述建立梯度核滤波模型，根据获得的梯度影像获取组合梯度影像包括：

建立梯度核滤波模型：

根据得到的梯度影像可得到水平组合梯度影像和垂直组合梯度影像，其中梯度影像包括水平梯度影像和垂直梯度影像，

水平组合梯度影像：

imgGhK＝filter(imgGh,fk)

垂直组合梯度影像：

imgGvK＝filter(imgGv,fk)

其中，imgGh为水平梯度影像，imgGv为垂直梯度影像，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现。

7.根据权利要求4所述的基于bayer模板的卫星影像重建方法，其特征在于，所述建立方向梯度滤波模型，根据更新后的bayer影像获取方向影像包括：

建立水平方向滤波模型：

imgfh＝[-1/4 1/2 1/2 1/2 -1/4]

对应的水平方向影像为：

imgH＝filter(bayerNew,imgfh)

对应的垂直方向影像为：

imgV＝filter(bayerNew,imgfh′)

其中，fh′为矩阵的转置，bayerNew为更新后的bayer影像，filter为卷积滤波运算符，通过快速傅里叶变换FFT算法实现。

Images