CN101360247A - 一种图像插值的方法 - Google Patents

Abstract

本发明一种图像插值的方法，考虑了多种插值方向的影响、各个方向插值权重和各个颜色通道间RGB的相关性，充分考虑了边的方向性，沿着边的方向进行插值，使得插值后的图像清晰锐利，同时由于充分考虑了各个颜色通道间的相关性，减少了伪彩的出现，使得插值后的图像颜色更加真实。

Description

一种图像插值的方法

技术领域

本发明涉及一种图像插值的方法，特别是一种贝尔格式图像插值的方法。

技术背景

贝尔格式图像是一种被广泛应用的图像格式，其特点为每一个像素点中只包含RGB中的一种颜色分量。现有技术采用CFA插值(Color Filtered Arrayinterpolation)或去马赛克处理(demosaicking)，利用周围像素点的信息对原始的贝尔格式图像插值，形成一幅可显示的，人眼可看的彩色图像。

比如在贝尔原始图像点的位置只有R分量的值，利用周围点的信息进行CFA插值，可以得到该点上的另两个颜色分量，G分量和B分量。但是现有技术中插值一般只考虑2个方向，不是水平就是垂直，考虑的方向单一。在水平或垂直方向插值时其左右或上下的权重是相同的，因而插值出来的颜色分量容易出现伪彩，且图像不够清晰锐利。

发明内容

有鉴于此，本发明的目的在于提供一种图像插值方法，使得插值后的图像清晰锐利且减少伪彩的出现。

为了达到上述目的，本发明一种图像插值的方法，包括以下步骤：

a)对于图像上只有红色分量像素点中的每一个待计算像素点，利用经过待计算像素点上、下、左和右方向上的只包括绿色和红色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的绿色分量；

对于图像上只有蓝色分量像素点中的每一个待计算像素点，利用经过待计算像素点上、下、左和右方向上的只包括绿色和蓝色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的绿色分量；

b)利用在步骤a)中获取的包含有红色和绿色分量的像素点中的绿色分量和/或包含有蓝色和绿色分量的像素点中的绿色分量和/或只包含有绿色分量的像素点生成待计算像素点上缺失的颜色分量。

进一步地，所述步骤b)进一步包括：

利用在步骤a)中获取的包含有红色和绿色分量像素点中的绿色分量，对于图像上只有红色分量像素点的每一个待计算像素点，利用经过待计算点左上、左下、右下和右上方向上的像素点的绿色分量以及与这些方向平行的方向上的像素点的绿色分量计算每一个待计算像素点上的蓝色分量；

利用在步骤a)中获取的包含有蓝色和绿色分量像素点中的绿色分量，对于图像上只有蓝色分量像素点的每一个待计算像素点，利用经过待计算点左上、左下、右下和右上方向上的像素点的绿色分量以及与这些方向平行的方向上的像素点的绿色分量计算每一个待计算像素点上的红色分量。

进一步地，所述步骤b)进一步包括：

利用在步骤a)中获取的绿色分量，对于图像上只有绿色分量像素点的每一个待计算像素点，利用经过该计算点上、下、左和右方向上的绿色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的红色和蓝色分量。

进一步地，计算所述每一个待计算像素点上的未知颜色分量的方法包括：

利用已知的像素点上的颜色分量对经过待计算点方向上的颜色分量做差分计算获得影响因子，并且根据不同方向上的像素点做差分计算获得加权因子，采用不同的加权因子对影响因子加权平均获得待计算像素点上的位置颜色分量。

进一步地，所述加权因子为不同方向上颜色分量差分和加1的倒数。

进一步地，如果加权因子中一个方向上差分较小，则相应增加权重，如果加权因子中一个方向上差分较大，则相应减少权重。

进一步地，加权因子所涉及的所有方向上的差分中减少经过待计算像素点方向上的权重，增加其他方向上的权重。

进一步地，对于待计算的像素点颜色分量的计算，除了涉及周围像素点中与该颜色分量相同的颜色分量以外，还涉及包括其他颜色分量的差分值。

进一步地，任何所述待计算像素点缺失的颜色分量的计算所涉及的像素点选取的范围为以待计算像素点为中心，5×5像素点组成的矩形范围。

本发明的CFA插值方法，考虑了多种插值方向的影响、各个方向插值权重和各个颜色通道间RGB的相关性，充分考虑了边的方向性，沿着边的方向进行插值，使得插值后的图像清晰锐利，同时由于充分考虑了各个颜色通道间的相关性，减少了伪彩的出现，使得插值后的图像颜色更加真实。

附图说明

图1是原始贝尔格式图像；

图2是B_m，n像素点周围像素点的分布图；

图3是本发明一个具体的实施例中在蓝色待计算像素点中求红色分量的示意图；

图4是G_m，n像素点周围像素点的分布图；和

图5是本发明一个具体的实施例中在绿色待计算像素点中求红色分量的示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细描述。

请参看图1所示，图1是原始贝尔格式图像。图中的待计算像素点R_m，n只包含红色颜色分量。坐标m，n所在的点为待计算的像素点，待计算像素点的上、下、左、右四个点只包括绿色分量。取以待计算像素点为中心，5×5像素点为范围的矩形作为待计算点计算所涉及的像素点范围。后面的实施例中也都采用这个范围。

在一个具体的实施例中，如果要在该点插值出绿色分量

则利用该点上、下、左、右四个只包含绿色像素点的值和周围的只包含红色颜色分量的像素点的值计算出该待计算点R_m，n的绿色分量

上、下、左、右四个方向即是本实施例中的相关方向。具体的，所述绿色颜色分量

由四个影响因子构成：

根据该待计算像素点之上的第一个像素点的绿色颜色分量，和待计算像素点与待计算像素点之上第二个像素点的红色颜色分量的差分值，计算得出第一影响因子；

根据该待计算像素点之右的第一个像素点的绿色颜色分量，和待计算像素点与待计算像素点之右第二个像素点的红色颜色分量的差分值，计算得出第二影响因子；

根据该待计算像素点之下的第一个像素点的绿色颜色分量，和待计算像素点与待计算像素点之下第二个像素点的红色颜色分量的差分值，计算得出第三影响因子；

根据该待计算像素点之左的第一个像素点的绿色颜色分量，和待计算像素点与待计算像素点之左第二个像素点的红色颜色分量的差分值，计算得出第四影响因子。

将这些影响因子加权平均得到该待计算点的绿色分量具体的，

${\hat{G}}_{m,n}=\frac{a1*{\mathrm{PG}}_{m-1,n}+a2*{\mathrm{PG}}_{m,n+1}+a3*{\mathrm{PG}}_{m+1,n}+a4*{\mathrm{PG}}_{m,n-1}}{a1+a2+a3+a4},$

其中PG_m-1，n为第一影响因子，PG_m，n+1为第二影响因子，PG_m+1，n与PG_m，n-1分别为第三、第四影响因子。a1、a2、a3与a4为加权因子，所述影响因子由下列公式获得：

PG_m-1，n＝G_m-1，n+(R_m，n-R_m-2，n)/2

PG_m，n+1＝G_m，n+1+(R_m，n-R_m，n+2)/2

PG_m+1，n＝G_m+1，n+(R_m，n-R_m+2，n)/2

PG_m，n-1＝G_m，n-1+(R_m，n-R_m，n-2)/2

其中，G_m-1，n表示待计算像素点之上像素点的绿色颜色分量，R_m，n与R_m-2，n分别为该待计算像素点的红色颜色分量与该待计算像素点之上第二个像素点的红色颜色分量。其他以此类推。

在一个具体的实施例中，加权因子由对应影响因子周围相关颜色分量方向差分(或称一阶导数、梯度)的倒数计算获得。所述各个方向中经过待计算像素点的方向的权重适当减小，其他方向的权重适当增加。由于在影响因子中已经体现了增加经过待计算像素点方向的权重，因而在加权因子中可以考虑适当增加其他平行方向上的权重。

相关的颜色分量指的是影响因子计算过程中所用到的像素点所在方向上以及与此方向平行的同类型像素点分量。例如第一影响因子中用到了G_m-1，n像素点和R_m，n到R_m-2，n方向，那么相关颜色分量可以为其方向上的R_m，n和R_m-2，n，也可以为其平行方向上的G_m，n-1和G_m-2，m-1或G_m，n+1和G_m-2，n+1。

在一个具体的实施例中，所述加权因子由下式获得：

a1＝1/(1+|R_m，n-R_m-2，n|+|G_m，n-1-G_m-2，n-1|/2+|G_m，n+1-G_m-2，n+1|/2)

a2＝1/(1+|R_m，n-R_m，n+2|+|G_m-1，n-G_m-1，n+2|/2+|G_m+1，n-G_m+1，n+2|/2)

a3＝1/(1+|R_m，n-R_m+2，n|+|G_m，n-1-G_m+2，n-1|/2+|G_m，n+1-G_m+2，n+1|/2)

a4＝1/(1+|R_m，n-R_m，n-2|+|G_m-1，n-G_m-1，n-2|/2+|G_m+1，n-G_m+1，n-2|/2)

其中两个像素颜色分量相减取绝对值表示差分，除以2表示增加其权重。分母上加1为了避免分母为0。所述影响因子和加权因子采用的像素点不仅仅局限于紧邻待计算像素点周边的像素点，还可以包括远离待计算像素点的像素点。

当然对于本领域技术人员来说，可以很容易地根据本发明的发明思想对上式进行变化，生成新的权重因子计算式，由于这些变化未脱离本发明的发明思想，其产生的效果如果与文中描述相吻合，且本发明说明书不能穷尽的列举这些变化，因此应当将这些变化视为与本发明相同。

对上式分析可知：

对于平坦区域，相邻像素点中的对应颜色分量接近，做差分后的值很小，取倒数后加权因子变大；

对于区域中有竖边，由于上下方向相减差值很小，那么取倒数后的权重相应就比较大，而由于左右方向差值较大，取倒数后权重相应比较小，因此采用这种方法可以大大减少图像中竖边带来的影响，并且能够正确地插值，使边缘更加锐化、清晰。

对于区域中的横边与竖边相同，利用本发明同样可以减少横边带来的影响。

通过上述计算，可以在只含有红色颜色分量的R_m，n像素点插值出绿色分量

对于在只含有蓝色颜色分量的B_m，n像素点插值出绿色分量

的方法与上述方法相同，在此不做赘述。

对于在B_m，n像素点插值出红色分量

的方法，在一个具体的实施例中，如图2所示。图2是B_m，n像素点周围像素点的分布图。本发明在一个具体的实施例中首先地运用上述方法中对图2中只含有蓝色颜色分量的像素点插值得到其绿色分量，再进行获取待计算像素点B_m，n的红色分量

的步骤。

图3是本发明一个具体的实施例中在蓝色待计算像素点中求红色分量的示意图。由图中可以看出，由于颜色分量的分布与图1中的分布不同，因而影响因子的选取与前述选取方法不同。待计算像素点计算所需要的像素点分布在其左上、右上、左下、右下方向上。并且由于利用了先前计算出的绿色颜色分量，使得图像中绿色分量像素点分布广泛，同时引入了斜向方向，使得图像边界的影响更小。在引入新的方向的情况下，加权因子更加复杂。具体的，如下列式子中所示：

${\hat{R}}_{m,n}=\frac{a1*{\mathrm{PR}}_{m-1,n-1}+a2*{\mathrm{PR}}_{m-1,n+1}+a3*{\mathrm{PG}}_{m+1,n+1}+a4*{\mathrm{PG}}_{m+1,n-1}}{a1+a2+a3+a4},$

PR_m-1，n-1＝R_m-1，n-1+(G_m，n-G_m-1，n-1)

PR_m-1，n+1＝R_m-1，n+1+(G_m，n-G_m-1，n+1)

PR_m+1，n+1＝R_m+1，n+1+(G_m，n-G_m+1，n+1)

PR_m+1，n-1＝R_m+1，n-1+(G_m，n-G_m+1，n-1)，

a1＝1/(1+|G_m-2，n-2-G_m-1，n-1|+|G_m-1，n-1-G_m，n|+|G_m-1，n-2-G_m，n-1|/2+|G_m-2，n-1-G_m-1，n|/2)

a2＝1/(1+|G_m-2，n+2-G_m-1，n-1|+|G_m-1，n+1-G_m，n|+|G_m-1，n+2-G_m，n+1|/2+|G_m-2，n+1-G_m-1，n|/2)

a3＝1/(1+|G_m+2，n+2-G_m+1，n+1|+|G_m+1，n+1-G_m，n|+|G_m+1，n+2-G_m，n+1|/2+|G_m+2，n+1-G_m+1，n|/2)

a4＝1/(1+|G_m+2，n-2-G_m+1，n-1|+|G_m+1，n-1-G_m，n|+|G_m+2，n-1-G_m+1，n|/2+|G_m+1，n-2-G_m，n-1|/2)

由此可见，加权因子兼顾了斜向的差分值，使得加权因子更加接近真实情况。

通过上述计算，可以在只含有蓝色颜色分量的B_m，n像素点插值出红色分量

对于在只含有红色颜色分量的R_m，n像素点插值出蓝色分量

的方法与上述方法相同，在此不做赘述。

对于在G_m，n像素点插值出红色分量的方法，在一个具体的实施例中，如图4所示。图4是G_m，n像素点周围像素点的分布图。本发明在一个具体的实施例中进一步地运用前述步骤中求出的绿色分量，获取待计算像素点的红色分量

对于图4中的贝尔格式图像运用在此计算中简化为如图5所示的贝尔格式图像。

图5是本发明一个具体的实施例中在绿色待计算像素点中求红色分量的示意图。由图中可以看出，与图3中不同的是，红色像素点分布在待计算像素点的上、下、左、右方向，而不是左上、左下、右上、右下方向，因此在影响因子的计算上与红色像素点插值获取绿色像素点相似，而加权因子由于大量的绿色颜色分量信息进一步复杂化，更加有利于对图像真实性的还原上。具体的，体现在以下式子中：

${\hat{R}}_{m,n}=\frac{a1*{\mathrm{PR}}_{m-1,n}+a2*{\mathrm{PR}}_{m,n-1}+a3*{\mathrm{PG}}_{m,n+1}+a4*{\mathrm{PG}}_{m+1,n}}{a1+a2+a3+a4},$

PR_m-1，n＝R_m-1，n+(G_m，n-G_m-1，n)

PR_m，n-1＝R_m，n-1+(G_m，n-G_m，n-1)

PR_m，n+1＝R_m，n+1+(G_m，n-G_m，n+1)

PR_m+1，n＝R_m+1，n+(G_m，n-G_m+1，n)

a1＝1/(1+|G_m，n-G_m-1，n|+|G_m-1，n-G_m-2，n|+|G_m，n-1-G_m-1，n-1|/2+|G_m-1，n-1-G_m-2，n-1|/2+|G_m，n+1-G_m-1，n+1|/2+|G_m-1，n+1-G_m-2，n+1|/2)

a2＝1/(1+|G_m，n-G_m，n+1|+|G_m，n+1-G_m，n+2|+|G_m-1，n-G_m-1，n+1|/2+|G_m-1，n+1-G_m-1，n+2|/2+|G_m+1，n-G_m+1，n+1|/2+|G_m+1，n+1-G_m+1，n+2|/2)

a3＝1/(1+|G_m，n-G_m+1，n|+|G_m+1，n-G_m+2，n|+|G_m，n-1-G_m+1，n-1|/2+|G_m+1，n-1-G_m+2，n-1|/2+|G_m，n+1-G_m+1，n+1|/2+|G_m+1，n+1-G_m+2，n+1|/2)

a4＝1/(1+|G_m，n-G_m，n-1|+|G_m，n-1-G_m，n-2|+|G_m-1，n-G_m-1，n-1|/2+|G_m-1，n-1-G_m-1，n-2|/2+|G_m+1，n-G_m+1，n-1|/2+|G_m+1，n-1-G_m+1，n-2|/2)

对于不同方向权重可以采用不同的权重值，以适应其他的要求，本发明在此不作赘述。

通过上述计算，可以在只含有绿色颜色分量的G_m，n像素点插值出红色分量

对于在只含有绿色颜色分量的G_m，n像素点插值出蓝色分量

的方法与上述方法相同，在此不做赘述。

通过以上的插值计算，获得了更加接近真实的插值图像，使插值后的图像边缘清晰锐利，同时减少了伪彩的出现，使得插值后的图像颜色更加真实。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像插值的方法，包括以下步骤：

a)对于图像上只有红色分量像素点中的每一个待计算像素点，利用经过待计算像素点上、下、左和右方向上的只包括绿色和红色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的绿色分量；

对于图像上只有蓝色分量像素点中的每一个待计算像素点，利用经过待计算像素点上、下、左和右方向上的只包括绿色和蓝色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的绿色分量；

b)利用在步骤a)中获取的包含有红色和绿色分量的像素点中的绿色分量和/或包含有蓝色和绿色分量的像素点中的绿色分量和/或只包含有绿色分量的像素点生成待计算像素点上缺失的颜色分量。

2.根据权利要求1所述的方法，其特征在于，所述步骤b)进一步包括：

利用在步骤a)中获取的包含有红色和绿色分量像素点中的绿色分量，对于图像上只有红色分量像素点的每一个待计算像素点，利用经过待计算点左上、左下、右下和右上方向上的像素点的绿色分量以及与这些方向平行的方向上的像素点的绿色分量计算每一个待计算像素点上的蓝色分量；

利用在步骤a)中获取的包含有蓝色和绿色分量像素点中的绿色分量，对于图像上只有蓝色分量像素点的每一个待计算像素点，利用经过待计算点左上、左下、右下和右上方向上的像素点的绿色分量以及与这些方向平行的方向上的像素点的绿色分量计算每一个待计算像素点上的红色分量。

3.根据权利要求1所述的方法，其特征在于，所述步骤b)进一步包括：

利用在步骤a)中获取的绿色分量，对于图像上只有绿色分量像素点的每一个待计算像素点，利用经过该计算点上、下、左和右方向上的绿色分量的像素点以及与这些方向平行的方向上的像素点上的绿色分量计算每一个待计算像素点上的红色和蓝色分量。

4.根据权利要求1-3之一所述的方法，其特征在于，计算所述每一个待计算像素点上的未知颜色分量的方法包括：

利用已知的像素点上的颜色分量对经过待计算点方向上的颜色分量做差分计算获得影响因子，并且根据不同方向上的像素点做差分计算获得加权因子，采用不同的加权因子对影响因子加权平均获得待计算像素点上的位置颜色分量。

5.根据权利要求2所述的方法，其特征在于，所述加权因子为不同方向上颜色分量差分和加1的倒数。

6.根据权利要求5所述的方法，其特征在于，如果加权因子中一个方向上差分较小，则相应增加权重，如果加权因子中一个方向上差分较大，则相应减少权重。

7.根据权利要求4所述的方法，其特征在于，加权因子所涉及的所有方向上的差分中减少经过待计算像素点方向上的权重，增加其他方向上的权重。

8.根据权利要求2所述的方法，其特征在于，对于待计算的像素点颜色分量的计算，除了涉及周围像素点中与该颜色分量相同的颜色分量以外，还涉及包括其他颜色分量的差分值。

9.根据权利要求1-8任一所述的方法，其特征在于，任何所述待计算像素点缺失的颜色分量的计算所涉及的像素点选取的范围为以待计算像素点为中心，5×5像素点组成的矩形范围。

Images