CN108171657B - 图像插值方法及装置 - Google Patents

Abstract

本发明涉及一种图像插值方法，包括如下步骤：获取新的Bayer格式的马赛克图像；对所述马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到了对应的第一RGB格式图像；对所述马赛克图像进行下采样处理以得到原Bayer格式的图像；针对所述的原Bayer格式的图像进行插值处理，插值出缺失的另外两通道像素值，再进行上采样处理以得到对应的第二RGB格式图像；以将所述第一RGB格式图像和所述第二RGB格式图像进行融合以得到最终的RGB格式图像并输出。本发明给出了适用于新的Bayer格式的插值方法，利用两种插值方式融合得到最终的图像。能够在不同光照条件下得到较高分辨率的图像。

Description

图像插值方法及装置

技术领域

本发明涉及视频图像处理领域，特指一种图像插值方法及装置。

背景技术

在摄像系统中，大多数CCD或CMOS图像传感器，通常采用彩色滤波器阵列(ColorFilter Array，CFA)，采集得到RGB Bayer域马赛克图像，该Bayer域马赛克图像格式如图1至图4所示，四种格式分别为GRBG格式、GBRG格式、RGGB格式以及BGGR格式。通常需要通过CFA插值处理，得到正常显示的彩色RGB图像。然而，由于图像传感器感光特性的影响，在不同光照条件下，图像分辨率，噪声水平是不一样的；在光照条件较好时，图像分辨率较高，而噪声较小；在光照条件较差时，图像分辨率较低，而噪声较大；通过CFA插值处理得到的图像对不同光照条件采用同一处理方法，无法区别控制不同光照条件下的图像分辨率与噪声水平；为了获得较高的图像分辨率，通常会加大低光照条件下的噪声水平；为了抑制低光照条件下的噪声，通常会牺牲正常光照条件下的图像分辨率，使得图像处理效果不理想。

现有技术中为了平衡图像分辨率和噪声水平，有些做法是采用修改图像传感器的彩色滤波器阵列，通过采用新的彩色滤波器阵列可获得新的马赛克图像格式如图5至图8所示，该新的Bayer域马赛克图像格式为将原Bayer于马赛克图像格式中的像素点变成对应的4个像素点以2×2的矩阵形式排列，新的彩色滤波器阵列可通过对原彩色滤波器进行重新排列而得到。由于新的Bayer格式中的像素点增多，原Bayer格式的插值方法无法适用，故而亟需提出一种针对新的Bayer域马赛克图像的图像插值方法及装置。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种图像插值方法及装置，解决现有的图像插值方法在不同光照条件下采样同一处理方法而存在的图像处理效果不理想的问题。

实现上述目的的技术方案是：

本发明提供了一种图像插值方法，包括如下步骤：

获取新的Bayer格式的马赛克图像，所述的新的Bayer格式为将原Bayer格式中每一像素点变成对应的2×2像素点矩阵；

对所述马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到了对应的第一RGB格式图像；

对所述马赛克图像进行下采样处理以得到原Bayer格式的图像；

针对所述的原Bayer格式的图像进行插值处理，插值出缺失的另外两通道像素值，再进行上采样处理以得到对应的第二RGB格式图像；以

将所述第一RGB格式图像和所述第二RGB格式图像进行融合以得到最终的RGB格式图像并输出。

本发明给出了适用于新的Bayer格式的插值方法，且采用了两种插值处理方式，一种是直接针对新的Bayer格式进行插值得到RGB格式图像，另一种是将该新的Bayer格式下采样回原Bayer格式，在进行插值、上采样得到RGB格式图像，两种方式最后进行融合而获得最终的RGB格式图像。解决了现有的插值方法中因采用同一处理方法而使得图像处理效果不理想的问题，本发明通过两种方式的融合，能够在不同光照条件下得到较高分辨率的图像，且无需通过加大噪声的方式来实现。

本发明图像插值方法的进一步改进在于，对所述马赛克图像中的每一像素点进行插值处理，包括：

插值B像素位置和R像素位置处缺失的G通道像素值，包括：

计算当前像素位置处水平方向上的G通道水平拟合值；

计算所述当前像素位置处水平方向上的水平梯度值；

计算所述当前像素位置处垂直方向上的G通道垂直拟合值；

计算所述当前像素位置处垂直方向上的垂直梯度值；

根据如下公式一计算得出所述当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。

本发明图像插值方法的进一步改进在于，对所述马赛克图像中的每一像素点进行插值处理，还包括：

利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G像素位置处缺失的R通道像素值和B通道像素值。

本发明图像插值方法的进一步改进在于，进行上采样处理以得到对应的第二RGB格式图像，包括：

将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的所述第二RGB格式图像。

本发明图像插值方法的进一步改进在于，还包括：

获取所述马赛克图像的光照强度值；

在将所述第一RGB格式图像和所述第二RGB格式图像进行融合时，根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

本发明还提供了一种图像插值装置，包括：

图像采集单元，用于获取新的Bayer格式的马赛克图像，所述的新的Bayer格式为将原Bayer格式中每一像素点变成对应的2×2像素点矩阵；

第一图像插值单元，与所述图像采集单元连接，用于对所述马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到对应的第一RGB格式图像；

第二图像插值单元，与所述图像采集单元连接，用于对所述马赛克图像进行下采样处理得到原Bayer格式的图像，再对所述的原Bayer格式的图像进行插值处理以插值出缺失的另外两道通像素值，再进行上采样处理并得到对应的第二RGB格式图像；以及

图像融合单元，与所述第一图像插值单元和所述第二图像插值单元连接，用于将所述第一RGB格式图像和所述第二RGB格式图像进行融合并得到最终的RGB格式图像。

本发明图像插值装置的进一步改进在于，所述第一图像插值单元包括G通道插值计算模块；

所述G通道插值计算模块用于插值B像素位置和R像素位置处缺失的G通道像素值，所述G通道插值计算模块包括水平拟合值计算子模块、水平梯度值计算子模块、垂直拟合值计算子模块以及垂直梯度值计算子模块；

所述水平拟合值计算子模块用于计算当前像素位置处水平方向上的G通道水平拟合值；

所述水平梯度值计算子模块用于计算当前像素位置处水平方向上的水平梯度值；

所述垂直拟合值计算子模块用于计算当前像素位置处垂直方向上的G通道垂直拟合值；

所述垂直梯度值计算子模块用于计算当前像素位置处垂直方向上的垂直梯度值；

所述G通道插值计算模块用于根据如下公式一计算得出所述当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。

本发明图像插值装置的进一步改进在于，所述第一图像插值单元还包括RB通道插值计算模块，所述RB通道插值计算模块用于利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G像素位置处缺失的R通道像素值和B通道像素值。

本发明图像插值装置的进一步改进在于，所述第二图像插值单元进行上采样处理时，将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的所述第二RGB格式图像。

本发明图像插值装置的进一步改进在于，所述图像融合单元包括光强获取模块，与所述图像采集单元连接，用于获取所述马赛克图像的光照强度值；

所述图像融合单元用于根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

附图说明

图1至图4为四种原Bayer域马赛克图像格式。

图5至图8为四种新的Bayer域马赛克图像格式。

图9为本发明图像插值装置的系统图。

图10为本发明的图像插值方法及装置中数据窗示意图。

图11为本发明的图像插值方法及装置中下采样处理时数据窗变化的示意图。

图12为本发明的图像插值方法及装置中又一数据窗示意图。

图13至图15为本发明的图像插值方法及装置中上采样处理中RGB通道像素值数据窗变化的示意图。

图16为本发明的图像插值方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参阅图9和图16，本发明提供了一种图像插值方法及装置，用于解决现有的通过CFA插值处理方法无法区别控制不同光照条件下的图像分辨率和噪声水平的问题，即通常采用在低光照条件下加大噪声水平以获得较高的图像分辨率，在正常光照条件下牺牲图像分辨率以抑制噪声水平，从而使得图像处理效果整体上较为不理想。本发明的图像插值方法及装置适用于新的Bayer格式，充分发挥了新的彩色滤波阵列的特性，平衡了图像分辨率与噪声水平，能够获得较高分辨率的图像且同时抑制噪声，提高图像处理的效果，本发明的插值方法在光照条件较好时，能够得到较高分辨率的图像，同时抑制噪声，在光照条件较差时，抑制噪声，同时保持一定的图像分辨率。下面结合附图对本发明图像插值方法及装置进行说明。

如图1至图4所示，显示了四种原Bayer格式，分别是GRBG格式、GBRG格式、RGGB格式以及BGGR格式。如图5至图8所示，显示了四种新的Bayer格式，分别是GGRRBBGG格式、GGBBRRGG格式、RRGGGGBB格式以及BBGGGGRR格式，结合图1和图5所示，新的Bayer格式为将原Bayer格式中每一像素点变成相同通道的四个像素点，且该四个像素点呈2×2矩阵排列，也即图1中的Gr像素位置与图5中的四个Gr像素位置相对应。将原Bayer格式的图像传感器的原彩色滤波器阵列替换成新的彩色滤波器阵列，即可直接获得上述的新的Bayer格式的图像，该新的彩色滤波器阵列可通过将原彩色滤波器阵列中的每一滤波块改成对应的四个滤波块且呈2×2矩阵排列即可得到。

本发明的图像插值装置及方法正是针对该新的Bayer格式提出的，以充分发挥新的彩色滤波器阵列的特性，获得较好的图像处理效果。

参阅图9，显示了本发明图像插值装置的系统图。下面结合图9所示，对本发明图像插值装置进行说明。

如图9所示，本发明的图像插值装置包括图像采集单元21、第一图像插值单元22、第二图像插值单元23以及图像融合单元24；第一图像插值单元22和第二图像插值单元23均与图像采集单元21连接，图像融合单元24连接第一图像插值单元22和第二图像插值单元23。

图像采集单元21用于获取新的Bayer格式的马赛克图像，该图像采集单元21可通过图像传感器获得所需格式的马赛克图像。新的Bayer格式为将原Bayer格式中的每一像素点变成对应的2×2像素点矩阵。

第一图像插值单元22接收图像采集单元21获取的新的Bayer格式的马赛克图像，用于对该马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到对应的第一RGB格式图像。

第二图像插值单元23接收图像采集单元21获取的新的Bayer格式的马赛克图像，用于对该马赛克图像进行下采样处理得到原Bayer格式的图像，再对原Bayer格式的图像进行插值处理以插值出缺失的另外两通道像素值，再进行上采样处理并得到对应的第二RGB格式图像，在进行下采样处理时有利于降低噪声水平，从而达到抑制噪声的效果。

图像融合单元24接收第一图像插值单元22的第一RGB格式图像和第二图像插值单元23的第二RGB格式图像，用于将第一RGB格式图像和第二RGB格式图像进行融合并得到最终的RGB格式图像。

第一图像插值单元的插值处理适于光照条件好的情况，光照越好，其处理后的图像分辨率越好且噪声较小，第二图像插值单元的插值处理适于光照条件差的情况，能够有效抑制噪声，本发明的图像插值装置将两种插值处理方式的结果进行融合，可得到较高分辨率的图像，并抑制噪声。

作为本发明的一较佳实施方式，第一图像插值单元22包括G通道插值计算模块，该G通道插值计算模块用于插值B像素位置和R像素位置处缺失的G通道像素值，该G通道插值计算模块包括有水平拟合值计算子模块、水平梯度值计算子模块、垂直拟合值计算子模块以及垂直梯度值计算子模块；

水平拟合值计算子模块用于计算当前像素位置处水平方向上的G通道水平拟合值，水平拟合值为在水平方向与当前像素位置处左右相邻的两个G像素位置的G通道像素值的加权平均值。具体地，如图10所示，下面以图10所示的数据窗为例对该水平拟合值计算子模块的计算过程进行说明。图10的数据窗显示了8行6列像素点，其数据格式为RRGGGGBB格式。以图10中的B14、B15、B20和B21为例，其对应的水平拟合值Gh14、Gh15、Gh20和Gh21为：

公式组一中，n和m表示权重，其取值可根据需要进行设定，一般n的取值大于m，表示距离当前像素位置较近的G像素位置的权重较大，较佳地，n可取值为2，m可取值为1，上述的公式组一可表示为：

从而水平拟合值计算子模块可计算得出当前像素位置x对应的G通道水平拟合值Gh_x。

水平梯度值计算子模块用于计算当前像素位置处水平方向上的水平梯度值，水平梯度值为在水平方向上以两个相邻的相同通道像素位置为中心选取其上下左右相邻的两个相同通道像素位置的像素值，计算当前相邻的两个相同通道、位于上方相邻的两个相同通道、位于左右的两个相同通道以及位于下方相邻的两个相同通道的像素差的绝对值，求和再加1而得到水平梯度值。具体地，仍以图10所示的数据窗为例对该水平梯度值计算子模块的计算过程进行说明。将水平方向的行以字母i来表示，将垂直方向的列以字母j来表示，B14和B15所在的i-1行与B20和B21所在的i行的水平梯度值为：

从而水平梯度值计算子模块可计算得出当前像素位置x对应的水平梯度值Dh_i，其中i为当前像素位置x对应所在的行。

垂直拟合值计算子模块用于计算当前像素位置处垂直方向上的G通道垂直拟合值，该垂直拟合值为在垂直方向与当前像素位置处上下相邻的两个G像素位置的G通道像素值的加权平均值。具体地，仍以图10所示的数据窗为例对该垂直梯度值计算子模块的计算过程进行说明。以图10中的B14、B15、B20和B21为例，其对应的垂直拟合值Gv14、Gv15、Gv20和Gv21为：

公式组三中，n和m表示权重，其取值可根据需要进行设定，一般n的取值大于m，表示距离当前像素位置较近的G像素位置的权重较大，较佳地，n可取值为2，m可取值为1，上述的公式组三可表示为：

从而垂直拟合值计算子模块可计算得出当前像素位置x对应的G通道垂直拟合值Gv_x。

垂直梯度值计算子模块用于计算当前像素位置处垂直方向上的垂直梯度值，垂直梯度值为在垂直方向上以两个相邻的相同通道像素位置为中心选取其上下左右相邻的两个相同通道像素位置的像素值，计算当前相邻的两个相同通道、位于上下相邻的两个相同通道、位于左侧的两个相同通道以及位于右侧的相邻的两个相同通道的像素差的绝对值，求和再加1而得到垂直梯度值。具体地，仍以图10所示的数据窗为例对该垂直梯度值计算子模块的计算过程进行说明。将水平方向的行以字母i来表示，将垂直方向的列以字母j来表示，B14和B20所在的j-1列与B15和B21所在的j列的垂直梯度值为：

从而垂直梯度值计算子模块可计算得出当前像素位置x对应的垂直梯度值Dv_j，其中j为当前像素位置x对应所在的列。

G通道插值计算模块用于根据如下公式一计算得出当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。具体地，仍以图10中的B14、B15、B20和B21为例，其对应的G通道像素值G14、G15、G20和G21为：

同理，可通过G通道插值计算模块插值出R像素位置处缺失的G通道像素值。

作为本发明的另一较佳实施方式，第一图像插值单元22还包括RB通道插值计算模块，该RB通道插值计算模块用于利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，差值G像素位置处缺失的R通道像素值和B通道像素值。

具体地，仍以图10为例进行说明。RB通道插值计算模块插值B14、B15、B20和B21像素位置处缺失的R14、R15、R20和R21，计算出与B14、B15、B20和B21邻近的四个R像素位置出的G-B色差信息，该四个R像素位置为R7、R10、R25和R28，对应的G-A色差信息为：

根据公式组五计算R14、R15、R20和R21为：

公式组六中，a1、a2、a3和a4为权重，其取值可根据需要进行设定，一般a1至a4依次变小，表示距离当前像素位置较近的权重较大，较佳地，a1取值为9，a2和a3取值为3，a4取值为1。

同理可插值出R像素位置处缺失的B通道像素值。

以图10中G26、G27、G32和G33为例，计算其对应缺失的R通道像素值和B通道像素值，计算该四个G像素位置左右两侧的R像素位置处的G-R的色差信息，上下两侧的B像素位置处的G-B的色差信息，分别为：

根据公式组七计算R26、R27、R32和R33为：

根据公式组七计算B26、B27、B32和B33为：

公式组八和公式组九中，a5和a6为权重，其取值可根据需要进行设定，一般a5的取值大于a6，表示距离当前像素位置较近的权重较大，较佳地，a5取值为2，a6取值为1。

作为本发明的又一较佳实施方式，第二图像插值单元23包括有下采样模块、插值模块以及上采样模块；

下采样模块用于对马赛克图像进行下采样处理，进行下采样处理时，是将新的Bayer格式采样成原Bayer格式，具体参见图11所示，将RRGGGGBB格式采样为RGGB格式，将4个相同通道像素合并为一个像素有利于降低噪声水平，具体地，下采样可取4个相同通道像素的平均值作为采样后的像素值，也即图11中下采样后的像素值为：

插值模块用于对下采样处理后的图像进行插值处理，可采用常用的Bayer域插值算法，如图12所示，下面以图12显示的数据为例对该插值模块的插值过程进行说明。

计算R12像素位置处缺失的G通道像素值G12：

同理可计算得到R10、B6、B8、B16和B18处缺失的G通道像素值。

计算R12像素位置处缺失的B通道像素值B12：

Drg6＝B6-G6

Drg8＝R8-G8

Drg16＝R16-G16

Drg18＝R18-G18

计算G11像素位置处缺失的R通道像素值R11和B通道像素值B11：

同理可计算出其他像素位置处缺失的像素值。

上采样模块用于将插值模块插值后的图像进行上采样，使得其从原Bayer格式采样成新的Bayer格式，将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的第二RGB格式图像。

如图13至图15所示，进行上采样时，r0上采样后对应形成R0、R1、R4和R5，该R0、R1、R4和R5的取值为：

R0＝r0

同理可得出其他R通道像素值的上采样后的像素值。

g0上采样后对应形成G0、G1、G4和G5，该G0、G1、G4和G5的取值为：

G0＝g0

同理可得出其他G通道像素值的上采样后的像素值。

b0上采样后对应形成B0、B1、B4和B5，该B0、B1、B4和B5的取值为：

B0＝b0

同理可得出其他B通道像素值的上采样后的像素值。

作为本发明的再一较佳实施方式，图像融合单元24包括光强获取模块，与图像采集单元21连接，用于获取马赛克图像的光照强度值，较佳地，光强获取模块中设有光照强度映射表，在该映射表中，光照强度Alpha取值范围为[0,1]，在映射表中跟取值范围相对应的参数有图像传感器的参数以及系统亮度参数，图像传感器的参数包括有曝光强度和增益，光强获取模块从图像采集单元21处获取图像传感器的曝光强度参数值，并从映射表中找到对应的光照强度值并反馈给图像融合单元24。

该图像融合单元24根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

光照强度值越大，表明光照好，图像分辨率较好且噪声小，此时倾向于第一RGB格式图像作为最终结果，光照强度值越小，表明光照较差，图像分辨率差且噪声大，此时倾向于第二RGB格式图像作为最终结构。

本发明的插值装置在不同的光照条件下，采用不同的插值处理，使得在光照较好时，得到较高分辨率的图像；在光照较差时，抑制噪声，同时保持一定的图像分辨率。

下面对本发明提供的图像插值方法进行说明。

如图16所示，本发明提供的一种图像插值方法，包括如下步骤：

执行步骤S101，获取新的Bayer格式的马赛克图像，新的Bayer格式为将原Bayer格式中每一像素点变成对应的2×2像素点矩阵；接着执行步骤S102。

执行步骤S102，对马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到了对应的第一RGB格式图像；接着执行步骤S103。

执行步骤S103，对马赛克图像进行下采样处理以得到原Bayer格式的图像；接着执行步骤S104。

执行步骤S104，针对的原Bayer格式的图像进行插值处理，插值出缺失的另外两通道像素值，再进行上采样处理以得到对应的第二RGB格式图像；接着执行步骤S105。

执行步骤S105，将第一RGB格式图像和第二RGB格式图像进行融合以得到最终的RGB格式图像并输出。

本发明给出了适用于新的Bayer格式的插值方法，且采用了两种插值处理方式，一种是直接针对新的Bayer格式进行插值得到RGB格式图像，另一种是将该新的Bayer格式下采样回原Bayer格式，在进行插值、上采样得到RGB格式图像，两种方式最后进行融合而获得最终的RGB格式图像。解决了现有的插值方法中因采用同一处理方法而使得图像处理效果不理想的问题，本发明通过两种方式的融合，能够在不同光照条件下得到较高分辨率的图像，且无需通过加大噪声的方式来实现。

作为本发明的一较佳实施方式，对马赛克图像中的每一像素点进行插值处理，包括：

插值B像素位置和R像素位置处缺失的G通道像素值，包括：

计算当前像素位置处水平方向上的G通道水平拟合值；具体可参见公式组一的计算方法而得到G通道水平拟合值；

计算当前像素位置处水平方向上的水平梯度值；具体可参见公式组二的计算方法而得到水平梯度值；

计算当前像素位置处垂直方向上的G通道垂直拟合值；具体可参见公式组三的计算方法而得到G通道垂直拟合值；

计算当前像素位置处垂直方向上的垂直梯度值；具体可参见公式组四的计算方法而得到垂直梯度值；

根据如下公式一计算得出当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。

本作为本发明的另一较佳实施方式，对马赛克图像中的每一像素点进行插值处理，还包括：

利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G像素位置处缺失的R通道像素值和B通道像素值。具体可参见公式组五至公式组就的计算方法。

作为本发明的又一较佳实施方式，进行上采样处理以得到对应的第二RGB格式图像，包括：

将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的第二RGB格式图像。

在进行下采样处理时，是将新的Bayer格式采样成原Bayer格式，具体参见图11所示，将RRGGGGBB格式采样为RGGB格式，将4个相同通道像素合并为一个像素有利于降低噪声水平，具体地，下采样可取4个相同通道像素的平均值作为采样后的像素值。

而上采样是将插值模块插值后的图像从原Bayer格式采样成新的Bayer格式，将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的第二RGB格式图像。

具体地，如图13至图15所示，进行上采样时，r0上采样后对应形成R0、R1、R4和R5，该R0、R1、R4和R5的取值为：

R0＝r0

同理可得出其他R通道像素值的上采样后的像素值。而B通道像素和G通道像素的原理相同，从而可以得出其对应的上采用后的像素值。

作为本发明的再一较佳实施方式，还包括：

获取马赛克图像的光照强度值；

在将第一RGB格式图像和第二RGB格式图像进行融合时，根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

较佳地，预先设置有光照强度映射表，在该映射表中，光照强度Alpha取值范围为[0,1]，在映射表中跟取值范围相对应的参数有图像传感器的参数以及系统亮度参数，图像传感器的参数包括有曝光强度和增益，从图像采集单元21处获取图像传感器的曝光强度参数值，并从映射表中找到对应的光照强度值。

光照强度值越大，表明光照好，图像分辨率较好且噪声小，此时倾向于第一RGB格式图像作为最终结果，光照强度值越小，表明光照较差，图像分辨率差且噪声大，此时倾向于第二RGB格式图像作为最终结构。

本发明的插值方法在不同的光照条件下，采用不同的插值处理，使得在光照较好时，得到较高分辨率的图像；在光照较差时，抑制噪声，同时保持一定的图像分辨率。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种图像插值方法，其特征在于，包括如下步骤：

获取新的Bayer格式的马赛克图像，所述的新的Bayer格式为将原Bayer格式中每一像素点变成对应的2×2像素点矩阵；

对所述马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到了对应的第一RGB格式图像；

对所述马赛克图像进行下采样处理以得到原Bayer格式的图像；

针对所述的原Bayer格式的图像进行插值处理，插值出缺失的另外两通道像素值，再进行上采样处理以得到对应的第二RGB格式图像；以

将所述第一RGB格式图像和所述第二RGB格式图像进行融合以得到最终的RGB格式图像并输出。

2.如权利要求1所述的图像插值方法，其特征在于，对所述马赛克图像中的每一像素点进行插值处理，包括：

插值B像素位置和R像素位置处缺失的G通道像素值，包括：

计算当前像素位置处水平方向上的G通道水平拟合值；

计算所述当前像素位置处水平方向上的水平梯度值；

计算所述当前像素位置处垂直方向上的G通道垂直拟合值；

计算所述当前像素位置处垂直方向上的垂直梯度值；

根据如下公式一计算得出所述当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。

3.如权利要求2所述的图像插值方法，其特征在于，对所述马赛克图像中的每一像素点进行插值处理，还包括：

利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G像素位置处缺失的R通道像素值和B通道像素值。

4.如权利要求1所述的图像插值方法，其特征在于，进行上采样处理以得到对应的第二RGB格式图像，包括：

将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的所述第二RGB格式图像。

5.如权利要求1所述的图像插值方法，其特征在于，还包括：

获取所述马赛克图像的光照强度值；

在将所述第一RGB格式图像和所述第二RGB格式图像进行融合时，根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

6.一种图像插值装置，其特征在于，包括：

图像采集单元，用于获取新的Bayer格式的马赛克图像，所述的新的Bayer格式为将原Bayer格式中每一像素点变成对应的2×2像素点矩阵；

第一图像插值单元，与所述图像采集单元连接，用于对所述马赛克图像中的每一像素点进行插值处理，插值出缺失的另外两通道像素值，得到对应的第一RGB格式图像；

第二图像插值单元，与所述图像采集单元连接，用于对所述马赛克图像进行下采样处理得到原Bayer格式的图像，再对所述的原Bayer格式的图像进行插值处理以插值出缺失的另外两道通像素值，再进行上采样处理并得到对应的第二RGB格式图像；以及

图像融合单元，与所述第一图像插值单元和所述第二图像插值单元连接，用于将所述第一RGB格式图像和所述第二RGB格式图像进行融合并得到最终的RGB格式图像。

7.如权利要求6所述的图像插值装置，其特征在于，所述第一图像插值单元包括G通道插值计算模块；

所述G通道插值计算模块用于插值B像素位置和R像素位置处缺失的G通道像素值，所述G通道插值计算模块包括水平拟合值计算子模块、水平梯度值计算子模块、垂直拟合值计算子模块以及垂直梯度值计算子模块；

所述水平拟合值计算子模块用于计算当前像素位置处水平方向上的G通道水平拟合值；

所述水平梯度值计算子模块用于计算当前像素位置处水平方向上的水平梯度值；

所述垂直拟合值计算子模块用于计算当前像素位置处垂直方向上的G通道垂直拟合值；

所述垂直梯度值计算子模块用于计算当前像素位置处垂直方向上的垂直梯度值；

所述G通道插值计算模块用于根据如下公式一计算得出所述当前像素位置缺失的G通道像素值：

公式一中，G_x为当前像素位置x对应的G通道像素值，Dh_i为当前像素位置x对应的水平梯度值，Gv_x为当前像素位置x对应的G通道垂直拟合值，Dv_j为当前像素位置x对应的垂直梯度值，Gh_x为前像素位置x对应的G通道水平拟合值。

8.如权利要求7所述的图像插值装置，其特征在于，所述第一图像插值单元还包括RB通道插值计算模块，所述RB通道插值计算模块用于利用G-R或G-B的像素差值进行插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G像素位置处缺失的R通道像素值和B通道像素值。

9.如权利要求6所述的图像插值装置，其特征在于，所述第二图像插值单元进行上采样处理时，将当前通道像素值上采样成对应的4个相同通道像素值，从而形成对应新的Bayer格式的所述第二RGB格式图像。

10.如权利要求6所述的图像插值装置，其特征在于，所述图像融合单元包括光强获取模块，与所述图像采集单元连接，用于获取所述马赛克图像的光照强度值；

所述图像融合单元用于根据公式二进行融合：

RGB＝RGB1*Alpha+RGB2*(1-Alpha) (公式二)

公式二中，RGB为融合后得到最终的RGB格式图像，RGB1为第一RGB格式图像，RGB2为第二RGB格式图像，Alpha为光照强度值。

Images