CN104506784A - 基于方向插值修正的贝尔格式图像坏行消除方法 - Google Patents

Abstract

本发明提供基于方向插值修正的贝尔格式图像坏行消除方法，该方法首先检测待插值点的待插值分量的45度，90度和135度方向上的梯度信息，选择与梯度绝对值最大方向正交的方向上的像素进行插值，然后利用待插值点另外两个分量估计值的差值来进行修正。该基于方向插值修正的贝尔格式图像坏行消除方法实施简单，效果较好，在光电成像领域具有广泛的应用和推广价值。

Description

基于方向插值修正的贝尔格式图像坏行消除方法

技术领域

近年来，基于CCD和CMOS的数字成像系统在航空、航天、军事和民用等领域获得了越来越广泛的应用。出于对成本与体积的考虑，大部分的数字成像系统都采用一块CCD或者CMOS作为图像传感器。图像传感器的感光表面上覆盖彩色滤波阵列(CFA，Color Filter Array)，其彩色滤波阵列上每个格点仅允许通过一种彩色分量，使每个感光单元只产生一个分量的灰度值。因此，为了获得全彩色图像，就要用周围像素的像素值计算出被滤掉的彩色分量，即彩色插值。常用的彩色滤波阵列类型有贝尔型、条纹型和马赛克型，由于贝尔型彩色滤波阵列具有较好的彩色信号敏感特性和彩色恢复特性，因此应用最为广泛。常用的贝尔格式如图1所示，其中最左上角的传感器像素值只能输出该位置红色分量的信息，右边的只能输出该位置绿色分量的信息，下方位置的传感器像素值只能输出该位置绿色分量的信息，右下方向的传感器像素值只能输出该位置蓝色分量的信息。如果需要得到每个位置上的红绿蓝三颜色的分量，就需要进行彩色插值操作来得到一幅彩色的图像。

由于制造技术、制造工艺和元材料的原因，图像传感器会偶尔出现某一行无响应的情况，这将导致图像上出现一行坏行。坏行的存在降低了图像的质量，影响了图像去噪，图像贝尔插值、图像增强、目标探测与识别等后续处理。因此，利用先进的图像处理技术，对坏行进行消除处理，对于提高图像探测器的成像质量具有重要的应用价值。

发明内容

为了解决背景技术中所存在的技术问题，本发明提供了基于方向插值修正的贝尔格式图像坏行消除方法，该方法实施简单，效果好，在光电成像领域具有广泛的应用和推广价值。

本发明的技术方案：

基于方向插值修正的贝尔格式图像坏行消除方法，包括以下步骤：

1]设含有坏行的图像为X(i,j),i＝1,2,…,M,j＝1,2,…N，在整个图像中，将坏行分为位于第一行、第二行、倒数第一行、倒数第二行、其余行五种情况；

当坏行位于整个图像第二行时，利用图像第三行和第四行的信息采用插值公式进行坏行消除，所述差值公式为X(2，j)＝2*X(3，j)-X(4，j)；

当坏行位于整个图像第一行时，利用图像第二行和第三行的信息采用插值公式进行坏行消除，所述差值公式为X(1，j)＝2*X(2，j)-X(3，j)；

当坏行位于整个图像倒数第二行时，利用图像倒数第三行和倒数第四行的信息采用插值公式进行坏行消除，所述差值公式为X(M-1，j)＝2*X(M-2，j)-X(M-3，j)；

当坏行位于整个图像倒数第一行时，利用图像倒数第二行和倒数第三行的信息采用插值公式进行坏行消除，所述差值公式为：X(M，j)＝2*X(M-1，j)-X(M-2，j)；

当坏行位于整个图像其余行时，进行步骤2；

2]检测待插值点待插值分量n×n周围相同分量在45度，90度和135度方向上的梯度信息；其中，n为大于等于5的自然数；

对第k_q行，第j列的信息进行坏行消除，分为以下五种情况：

A、当j＝1,2,N-1,N时，消除坏行的差值公式为：

X(k_q,1)＝(X(k_q-2,1)+X(k_q+2,1))/2

X(k_q,2)＝(X(k_q-2,2)+X(k_q+2,2))/2

X(k_q,N-1)＝(X(k_q-2,N-1)+X(k_q+2,N-1))/2

X(k_q,N)＝(X(k_q-2,N)+X(k_q+2,N))/2；

B、当j≠1,2,N-1,N且j为奇数，k_q为奇数时，消除坏行步骤如下：

此时待插值分量为红色分量，计算待插值红色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝|R₃-R₄|

G₉₀＝|R₂-R₅|；

G₁₃₅＝|R₁-R₆|

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_1+R_6)/2$

然后沿着45度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_1-B_4|$

(2)如果梯度的最大值为135方向上的梯度，则沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_3+R_4)/2$

然后沿着135度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_2-B_3|$

(3)如果梯度的最大值为90方向上的梯度，则采用线性插值来对红色分量进行修正：

X＝(R₂+R₅)/2

C、当j≠1,2,N-1,N且j为偶数，k_q为奇数时，消除坏行步骤如下：

此时待插值分量为绿色分量，计算待插值绿色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用下式进行梯度计算：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

然后使用135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_1-R_4|+|B_1-B_6\left|\right)$

(2)如果梯度的最大值为135方向上的梯度，沿着边缘方向上的像素平均来作为初始红色分量估计量：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

然后使用45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_2-R_3|+|B_3-B_4\left|\right)$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

D、当j≠1,2,N-1,N且j为奇数，k_q为偶数时，消除坏行步骤如下：

此时待插值分量为绿色分量；计算待插值绿色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，沿着边缘方向上的像素平均来作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

然后使用135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_1-R_6|+|B_1-B_4\left|\right)$

(2)如果梯度的最大值为135方向上的梯度，沿着边缘方向上的像素平均来作为初始绿色分量估计量：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

再使用45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_4-R_3|+|B_3-B_2\left|\right)$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

E、当j≠1,2,N-1,N且j为偶数，k_q为偶数时，消除坏行步骤如下：

此时待插值分量为蓝色分量；计算待插值蓝色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝|B₃-B₄|

G₉₀＝|B₂-B₅|

G₁₃₅＝|B₁-B₆|

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为蓝色分量估计量：

$\tilde{X}=(B_1+B_6)/2$

然后沿着135度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_1-R_4|$

(2)如果梯度的最大值为135方向上的梯度，则沿着边缘方向上的像素平均作为初始散了分量估计量：

$\tilde{X}=(B_3+B_4)/2$

然后沿着45度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_2-R_3|$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对蓝色分量进行估计：

X＝(B₂+B₅)/2。

上述步骤2中的估计步骤中：45度和135度垂直方向上采用[1 2 2 1]，90度方向上采用线性插值方法。

上述步骤2中的修正步骤中，修正系数分别为：{α＝3.25,β＝0.2,ξ＝0.34,η＝1.65}{α,β,ξ,η}。

上述n＝5。

本发明的优点在于：

该基于方向插值修正的贝尔格式图像坏行消除方法实施简单，效果好，在光电成像领域具有广泛的应用和推广价值

附图说明

图1是贝尔格式图像传感器示例图；

图2是存在坏行的贝尔格式图；

图3是四种贝尔格式排列情况示意图；

图4是坏行像素颜色排列图；

图5是奇数行红色分量插值示意图；

图6是奇数行绿色分量插值示意图；

图7是偶数行绿色分量插值示意图；

图8是偶数行蓝色分量插值示意图；

图9是含有坏行的贝尔格式图像；

图10是本发明的方法处理后的图像。

具体实施方式

对坏行进行消除包括了两方面的内容：首先是要对坏行进行检测，确定坏行在整个图像中的位置。通常在CCD出厂时经过标定可以获得坏行的位置信息，本发明中认为坏行的位置信息已知。本发明是对坏行进行消除，也就说对坏行中的各个像素点的信息进行插值处理。

在坏行的位置确定以后，就需要对坏行的像素点进行插值处理；分为两种情况：一种情况是坏行的位置位于整个图像前两行或后两行。如果坏行的位置位于整个图像的前两行，那么只能利用图像第三和第四行的信息。如果坏行的位置位于整个图像的最后两行，那么只能利用图像倒数第三和第四行的信息。因此，在这种情况下，就可以直接使用紧邻坏行的已有行像素的信息来代替坏行的信息。这种方法简单易行，且不会给人眼视觉造成明显的影响。另外一种情况就是坏行的位置位于整个图像的其余行，此时需要根据CCD的贝尔格式排列类型来决定坏行位置的像素排列情况。

图1-8中，黑色R表示的是实际中的红色，深灰色B表示的是实际中的蓝色，灰色G表示的是实际中的绿色，深黑色表示坏行。

如图3所示，常见的有四种贝尔格式排列情况。根据CCD的出厂手册，可以确定该款CCD的像素排列情况属于以上图3中的哪一种。在确定贝尔格式的排列类型后，根据坏行位置信息就可以确定需要插值像素的颜色信息。

以最常用的‘RGGB’贝尔格式排列(图3中左上角)为例，如果给定坏行的位置信息，就可以确定待插值的坏行的像素颜色排列信息。如图4所示，如果坏行的位置为奇数行，则坏行中的像素颜色排列如图4(a)所示；如果坏行的位置为偶数行，则坏行中的像素颜色排列如图4(b)所示。

针对这样两种情况，就需要制定不同的插值算法来对坏行的像素信息进行插值：

设含有坏行的图像为X(i,j),i＝1,2,…,M,j＝1,2,…N，坏行的位置信息已知为：k₁,k₂,…,k_Q。在通常的插值算法中，一般只使用与待插值颜色分量的颜色信息相同的像素点上值的信息来估计待插值颜色分量的值，这种方法在插值过程中并没有利用这个像素周围的与本身所需要插值的颜色分量不同的颜色像素所共同提供的信息。实际上，待插值颜色像素周围不同颜色分量的像素值也会提供给我们许多有用的信息。如何充分的利用这个信息就是本方案的创新之处。

第一种：坏行位于奇数行

假设此时需要插值的行数为k_q，由于本发明中的插值需要利用待插值像素周围5×5邻域内的信息，对于待插值行的前两个像素和最后两个像素可以直接使用最近的像素来代替，即：

X(k_q,1)＝(X(k_q-2,1)+X(k_q+2,1))/2

X(k_q,2)＝(X(k_q-2,2)+X(k_q+2,2))/2

X(k_q,N-1)＝(X(k_q-2,N-1)+X(k_q+2,N-1))/2

X(k_q,N)＝(X(k_q-2,N)+X(k_q+2,N))/2

对于待插值行中间的像素值，需要分为两种情况：

待插值分量为红色分量

首先计算待插值红色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素进行插值，具体公式为：

计算三个方向上的梯度信息：

G₄₅＝|R₃-R₄|

G₉₀＝|R₂-R₅|

G₁₃₅＝|R₁-R₆|

情况1：

如果梯度的最大值为45方向上的梯度，即G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着135度方向上的，因此使用沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_1+R_6)/2$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。因此，使用同样沿着45度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_1-B_4|$

情况2：

如果梯度的最大值为135方向上的梯度，即G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着45度方向上的，因此使用沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_3+R_4)/2$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。因此，使用同样沿着135度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_2-B_3|$

情况3：

如果梯度的最大值为90方向上的梯度，即G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着水平方向上的，但是水平方向上没有红色分量的信息可用，此时就采用常用的线性插值来对红色分量进行估计：

X＝(R₂+R₅)/2

待插值分量为绿色分量

首先计算待插值红色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素进行插值，具体公式为：

计算三个方向上的梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

情况1：

如果梯度的最大值为45方向上的梯度，即G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着135度方向上的，因此使用沿着边缘方向上的像素平均作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。但此时在135度方向上严格的来说没有其他颜色信息来进行补充，这里使用近似135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_1-R_4|+|B_1-B_6\left|\right)$

情况2：

如果梯度的最大值为135方向上的梯度，即G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着45度方向上的，因此使用沿着边缘方向上的像素平均来作为初始红色分量估计量：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。但此时在45度方向上严格的来说没有其他颜色信息来进行补充，这里使用近似45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_2-R_3|+|B_3-B_4\left|\right)$

情况3：

如果梯度的最大值为90方向上的梯度，即G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着水平方向上的，但是水平方向上没有绿色分量的信息可用，此时就采用常用的线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

第二种：坏行位于偶数行

当坏行位于偶数行时，此时插值的信息跟奇数行是不同的。但边界像素的插值思想跟奇数行边界插值是相同的。假设此时需要插值的行数为k_p，由于本发明中的插值需要利用待插值像素周围5×5邻域内的信息，对于待插值行的前两个像素和最后两个像素可以直接使用最近的像素来代替，即：

X(k_p,1)＝(X(k_p-2,1)+X(k_p+2,1))/2

X(k_p,2)＝(X(k_p-2,2)+X(k_p+2,2))/2

X(k_p,N-1)＝(X(k_p-2,N-1)+X(k_p+2,N-1))/2

X(k_p,N)＝(X(k_p-2,N)+X(k_p+2,N))/2

对于待插值行中间的像素值，也需要分为两种情况：

待插值分量为绿色分量

首先计算待插值绿色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素进行插值，具体公式为：

计算三个方向上的梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

情况1：

如果梯度的最大值为45方向上的梯度，即G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着135度方向上的，因此我们使用沿着边缘方向上的像素平均来作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。但此时在135度方向上严格的来说没有其他颜色信息来进行补充，这里使用近似135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_1-R_6|+|B_1-B_4\left|\right)$

情况2：

如果梯度的最大值为135方向上的梯度，即G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着45度方向上的，因此使用沿着边缘方向上的像素平均来作为初始绿色分量估计量：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。但此时在45度方向上严格的来说没有其他颜色信息来进行补充，这里使用近似45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_4-R_3|+|B_3-B_2\left|\right)$

情况3：

如果梯度的最大值为90方向上的梯度，即G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着水平方向上的，但是水平方向上没有绿色分量的信息可用，此时就采用常用的线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

待插值分量为蓝色分量

首先计算待插值蓝色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素进行插值，具体公式为：

计算三个方向上的梯度信息：

G₄₅＝|B₃-B₄|

G₉₀＝|B₂-B₅|

G₁₃₅＝|B₁-B₆|

情况1：

如果梯度的最大值为45方向上的梯度，即G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着135度方向上的，因此使用沿着边缘方向上的像素平均作为蓝色分量估计量：

$\tilde{X}=(B_1+B_6)/2$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。因此，使用同样沿着135度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_1-R_4|$

情况2：

如果梯度的最大值为135方向上的梯度，即G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着45度方向上的，因此使用沿着边缘方向上的像素平均作为初始散了分量估计量：

$\tilde{X}=(B_3+B_4)/2$

图像中的三个颜色分量在一个边缘方向有着相同的变化规律。因此，使用同样沿着45度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_2-R_3|$

情况3：

如果梯度的最大值为90方向上的梯度，即G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，上式说明边缘的方向是沿着水平方向上的，但是水平方向上没有蓝色分量的信息可用，此时就采用常用的线性插值来对蓝色分量进行估计：

X＝(B₂+B₅)/2

在上述插值公式中，四个修正项因子{α,β,ξ,η}的选择是非常重要的。理论上来说，这四个值应该是自适应的，即随着图像中所要插值点位置的变化和图像局部特征的变化而变化。具体的说，最优的{α,β,ξ,η}由如下方式来确定：给定一幅测试彩色图像，通过人工下采样得到其贝尔格式图像，然后反过来通过在最小二乘准则下计算其重构误差来得到最优的{α,β,ξ,η}值，公式为：

$\mathrm{\α}=\arg \min \{\underset{(i,j)}{\mathrm{\Σ}}R(i,j)-\tilde{R}(i,j)\}$

$\{\mathrm{\β},\mathrm{\ξ}\}=\arg \min \{\underset{(i,j)}{\mathrm{\Σ}}G(i,j)-\tilde{G}(i,j)\}$

$\mathrm{\η}=\arg \min \{\underset{(i,j)}{\mathrm{\Σ}}B(i,j)-\tilde{B}(i,j)\}$

但是这个方法在硬件实现上显然是行不通的。通过对国际上通用的Kodak标准彩色照片库的所有照片进行上述最优的{α,β,ξ,η}确定，最后我们选择{α＝3.25,β＝0.2,ξ＝0.34,η＝1.65}是个比较好的选择，选用这个值可以使最后的均方误差跟最优的均方误差相差在5％以内。

由以上公式可以看出，本方案提出的插值算法实际上是利用了待插值像素点周围的5×5邻域内的信息来进行插值。理论上来说，使用更大的邻域内的信息，如7×7和9×9等，应该可以得到更好的恢复效果，但是计算复杂度会随着增加很多。综合考虑计算复杂度和插值效果两方面的因素，本发明中最终选择5×5的窗来进行插值处理。

以下对本发明的实施过程进行具体描述：

给定一幅含有坏行的贝尔格式图像X(i,j),i＝1,2,…,M,j＝1,2,…N和坏行的位置信息k₁,k₂,…,k_Q，

步骤1：假定当前需要处理的坏行为k_q行，

如果k_q＝1，则X(k_q,j)＝X(k_q+1,j),j＝1,2,…,N

如果k_q＝2或k_q＝M-1，则

X(k_q,j)＝(X(k_q+1,j)+X(k_q-1,j))/2,j＝1,2,…,N

如果k_q＝M，则X(k_q,j)＝X(k_q-1,j),j＝1,2,…,N

如果k_q不属于以上四种情况，则转入步骤2.

步骤2：现在假设需要对第k_q行，第j列的信息进行插值，

如果j＝1,2,N-1,N，此时差值公式为：

X(k_q,1)＝(X(k_q-2,1)+X(k_q+2,1))/2

X(k_q,2)＝(X(k_q-2,2)+X(k_q+2,2))/2

X(k_q,N-1)＝(X(k_q-2,N-1)+X(k_q+2,N-1))/2

X(k_q,N)＝(X(k_q-2,N)+X(k_q+2,N))/2

如果j≠1,2,N-1,N且j为奇数，k_q为奇数，则转入步骤3；

如果j≠1,2,N-1,N且j为偶数，k_q为奇数，则转入步骤4；

如果j≠1,2,N-1,N且j为奇数，k_q为偶数，则转入步骤5；

如果j≠1,2,N-1,N且j为偶数，k_q为偶数，则转入步骤6。

步骤3：如果j≠1,2,N-1,N且j为奇数，k_q为奇数，此时待插值分量为红色分量，如图5所示。首先计算三个方向上的梯度信息：

G₄₅＝|R₃-R₄|

G₉₀＝|R₂-R₅|

G₁₃₅＝|R₁-R₆|

情况1：如果G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，则红色分量的估计值为：

X＝(R₃+R₄)/2+α·|B₁-B₄|

情况2：如果G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，则红色分量的估计值为：

X＝(R₁+R₆)/2+α·|B₂-B₃|

情况3：如果G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，则红色分量的估计值为：

X＝(R₂+R₅)/2

步骤4：如果j≠1,2,N-1,N且j为偶数，k_q为奇数，此时待插值分量为绿色分量，如图6所示。首先计算三个方向上的梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

情况1：如果G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₁+2G₄+2G₇+G₁₀)/6+β·(|R₁-R₄|+|B₁-B₆|)

情况2：如果G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₃+2G₅+2G₆+G₈)/6+β·(|R₂-R₃|+|B₃-B₄|)

情况3：如果G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₄+G₅+G₆+G₇)/4

步骤5：如果j≠1,2,N-1,N且j为奇数，k_q为偶数，此时待插值分量为绿色分量，如图7所示。首先计算三个方向上的梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

情况1：如果G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₁+2G₄+2G₇+G₁₀)/6+ξ·(|R₁-R₆|+|B₁-B₄|)

情况2：如果G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₃+2G₅+2G₆+G₈)/6+ξ·(|R₄-R₃|+|B₃-B₂|)

情况3：

如果G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，则绿色分量的估计值为：

X＝(G₄+G₅+G₆+G₇)/4

步骤6：如果j≠1,2,N-1,N且j为偶数，k_q为偶数，此时待插值分量为蓝色分量，如图8所示。首先计算三个方向上的梯度信息：

G₄₅＝|B₃-B₄|

G₉₀＝|B₂-B₅|

G₁₃₅＝|B₁-B₆|

情况1：如果G₄₅＝max(G₄₅,G₉₀,G₁₃₅)，则蓝色分量的估计值为：

X＝(B₁+B₆)/2+η·|R₁-R₄|

情况2：如果G₁₃₅＝max(G₄₅,G₉₀,G₁₃₅)，则蓝色分量的估计值为：

X＝(B₃+B₄)/2+η·|R₂-R₃|

情况3：

如果G₉₀＝max(G₄₅,G₉₀,G₁₃₅)，则蓝色分量的估计值为：

X＝(B₂+B₅)/2

仿真效果：

本发明中，我们使用一幅分辨率为752*582的贝尔格式图像进行测试，人为的去掉其中的若干行，如图9所示。使用本发明中所提出的贝尔格式图像坏行消除算法进行坏行插值后的图像如图10所示。可以看出，坏行已经被消除，对坏行消除后的图像进行彩色插值即可得到彩色图像。表1为本发明中的方法跟双线性插值算法对不同图像的去除坏行效果比较。可以看出，本发明的方法可以得到更好的峰值信噪比(PSNR),这说明本发明中的方法可以得到更好的坏行去除效果。

表1不同图像的去除坏行峰值信噪比(单位：分贝)

	双线性插值算法	本发明的方法
			Lena	24.49	25.05
Barbara	26.12	26.73
			Pepper	24.02	24.45
Women	22.06	22.57

Claims (4)

1.基于方向插值修正的贝尔格式图像坏行消除方法，其特征在于，包括以下步骤：

1]设含有坏行的图像为X(i,j),i＝1,2,…,M,j＝1,2,…N，在整个图像中，将坏行分为位于第一行、第二行、倒数第一行、倒数第二行、其余行五种情况；

当坏行位于整个图像第二行时，利用图像第三行和第四行的信息采用插值公式进行坏行消除，所述差值公式为X(2，j)＝2*X(3，j)-X(4，j)；

当坏行位于整个图像第一行时，利用图像第二行和第三行的信息采用插值公式进行坏行消除，所述差值公式为X(1，j)＝2*X(2，j)-X(3，j)；

当坏行位于整个图像倒数第二行时，利用图像倒数第三行和倒数第四行的信息采用插值公式进行坏行消除，所述差值公式为X(M-1，j)＝2*X(M-2，j)-X(M-3，j)；

当坏行位于整个图像倒数第一行时，利用图像倒数第二行和倒数第三行的信息采用插值公式进行坏行消除，所述差值公式为：X(M，j)＝2*X(M-1，j)-X(M-2，j)；

当坏行位于整个图像其余行时，进行步骤2；

2]检测待插值点待插值分量n×n周围相同分量在45度，90度和135度方向上的梯度信息；其中，n为大于等于5的自然数；

对第k_q行，第j列的信息进行坏行消除，分为以下五种情况：

A、当j＝1,2,N-1,N时，消除坏行的差值公式为：

X(k_q,1)＝(X(k_q-2,1)+X(k_q+2,1))/2

X(k_q,2)＝(X(k_q-2,2)+X(k_q+2,2))/2

X(k_q,N-1)＝(X(k_q-2,N-1)+X(k_q+2,N-1))/2

X(k_q,N)＝(X(k_q-2,N)+X(k_q+2,N))/2；

B、当j≠1,2,N-1,N且j为奇数，k_q为奇数时，消除坏行步骤如下：

此时待插值分量为红色分量，计算待插值红色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝|R₃-R₄|

G₉₀＝|R₂-R₅|；

G₁₃₅＝|R₁-R₆|

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_1+R_6)/2$

然后沿着45度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_1-B_4|$

(2)如果梯度的最大值为135方向上的梯度，则沿着边缘方向上的像素平均作为初始红色分量估计量：

$\tilde{X}=(R_3+R_4)/2$

然后沿着135度方向上的蓝色分量的信息来对初始估计的红色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\α}\·|B_2-B_3|$

(3)如果梯度的最大值为90方向上的梯度，则采用线性插值来对红色分量进行修正：

X＝(R₂+R₅)/2

C、当j≠1,2,N-1,N且j为偶数，k_q为奇数时，消除坏行步骤如下：

此时待插值分量为绿色分量，计算待插值绿色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用下式进行梯度计算：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

然后使用135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_1-R_4|+|B_1-B_6\left|\right)$

(2)如果梯度的最大值为135方向上的梯度，沿着边缘方向上的像素平均来作为初始红色分量估计量：

然后使用45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

$X=\tilde{X}+\mathrm{\β}\·\left(\right|R_2-R_3|+|B_3-B_4\left|\right)$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

D、当j≠1,2,N-1,N且j为奇数，k_q为偶数时，消除坏行步骤如下：

此时待插值分量为绿色分量；计算待插值绿色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝(|G₅-G₆|+|G₃-G₈|)/2

G₉₀＝|G₂-G₉|

G₁₃₅＝(|G₄-G₇|+|G₁-G₁₀|)/2

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，沿着边缘方向上的像素平均来作为绿色分量估计量：

$\tilde{X}=(G_1+2G_4+2G_7+G_{10})/6$

然后使用135度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_1-R_6|+|B_1-B_4\left|\right)$

(2)如果梯度的最大值为135方向上的梯度，沿着边缘方向上的像素平均来作为初始绿色分量估计量：

$\tilde{X}=(G_3+2G_5+2G_6+G_8)/6$

再使用45度方向上的红色和蓝色分量的信息来对初始估计的绿色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\ξ}\·\left(\right|R_4-R_3|+|B_3-B_2\left|\right)$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对绿色分量进行估计：

X＝(G₄+G₅+G₆+G₇)/4

E、当j≠1,2,N-1,N且j为偶数，k_q为偶数时，消除坏行步骤如下：

此时待插值分量为蓝色分量；计算待插值蓝色分量在45度，90度和135度三个方向上的梯度信息检测，选择与梯度绝对值最大方向正交的方向上的像素采用以下公式计算梯度信息：

G₄₅＝|B₃-B₄|

G₉₀＝|B₂-B₅|

G₁₃₅＝|B₁-B₆|

根据计算出的不同梯度信息进行相应的估计和修正，从而消除坏行：

(1)如果梯度的最大值为45方向上的梯度，则沿着边缘方向上的像素平均作为蓝色分量估计量：

$\tilde{X}=(B_1+B_6)/2$

然后沿着135度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_1-R_4|$

(2)如果梯度的最大值为135方向上的梯度，则沿着边缘方向上的像素平均作为初始散了分量估计量：

$\tilde{X}=(B_3+B_4)/2$

然后沿着45度方向上的红色分量的信息来对初始估计的蓝色分量值进行修正，即：

$X=\tilde{X}+\mathrm{\η}\·|R_2-R_3|$

(3)如果梯度的最大值为90方向上的梯度，采用线性插值来对蓝色分量进行估计：

X＝(B₂+B₅)/2。

2.根据权利要求1所述的基于方向插值修正的贝尔格式图像坏行消除方法，其特征在于：

所述步骤2中的估计步骤中：45度和135度垂直方向上采用[1 2 2 1]，90度方向上采用线性插值方法。

3.根据权利要求1或2所述的基于方向插值修正的贝尔格式图像坏行消除方法，其特征在于：所述步骤2中的修正步骤中，修正系数分别为：{α＝3.25,β＝0.2,ξ＝0.34,η＝1.65}{α,β,ξ,η}。

4.根据权利要求3所述的基于方向插值修正的贝尔格式图像坏行消除方法，其特征在于：所述n＝5。