CN104702925A - 用于对滤色器阵列图像去马赛克的方法和装置 - Google Patents

Abstract

实施例包括一种用于对滤色器阵列图像去马赛克的方法和装置。方法包括：接收包括多个像素的源图像，其中源图像的多个像素的各个像素包括与多种颜色的对应颜色相关的对应像素值，并且其中源图像的多个像素的第一像素包括与多种颜色的第一颜色相关的第一像素值；并且对于源图像的多个像素的第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(iii)与多种颜色的第三颜色相关的第三像素值。

Description

用于对滤色器阵列图像去马赛克的方法和装置

相关申请的交叉引用

本公开要求于2013年12月9日提交的第61/913,652号美国临时专利申请的优先权，通过引用方式将其整体并入于此。

技术领域

本公开的实施例涉及图像处理，并且具体涉及用于对经由滤色器阵列生成的图像去马赛克的方法和装置。

背景技术

彩色图像传感器(例如彩色胶片、使用CCD或者CMOS传感器的数码相机等)通常感测在有限数目的截然不同的光谱分量中的光强度。各种类型的彩色图像传感器的不同在于它们如何分离和测量截然不同的光谱分量。例如，数码相机或者其它人造彩色图像传感器布置通常使用空间滤色器阵列(CFA)，例如拜耳(Bayer)滤色器阵列，该滤色器阵列定位于图像传感器之上以按照对应标称像素类型捕获光的不同光谱分量。

在很多数字图像传感器中使用三色CFA。拜耳过滤器马赛克(mosaic)是用于在光传感器的方形网格上布置红(R)、绿(G)和蓝(B)滤色器的CFA。过滤器图案通常为50％绿、25％红和25％蓝。CFA包括在图像传感器前方的滤色器的马赛克。例如，图像传感器包括像素传感器的阵列，并且CFA包括滤色器的阵列，使得CFA的每个过滤器叠加在图像传感器的对应像素传感器之上。典型的CFA包括针对奇数行的交替红(R)过滤器和绿(G)过滤器，以及针对偶数行的交替绿(G)过滤器和蓝(B)过滤器(虽然R过滤器、G过滤器和B过滤器的任何其它不同布置也可以是可能的)，其中每个过滤器叠加在图像传感器的对应像素之上。

由于图像传感器的每个像素在对应的滤色器后方，图像传感器的输出是像素值的阵列，每个像素值指示来自图像传感器的对应像素的三种颜色之一的光的原始强度。即，由于对图像传感器的各种像素进行过滤以仅记录三种颜色中的一种，所以来自每个像素的数据不能靠其自身完全确定三种颜色。

为了获得全彩色图像，可以使用各种去马赛克算法以针对图像传感器的每个像素插值一套完整的红、绿和蓝值。例如，对于与CFA的绿过滤器叠加的像素，图像传感器输出对应于该像素的绿光的原始强度。去马赛克算法的目标在于针对该像素插值红颜色和蓝颜色的像素值。因此，去马赛克算法是用于从不完整的颜色样本重建全彩色图像的数字图像处理，其中不完整的颜色样本从与CFA叠加的图像传感器输出。去马赛克算法还被称为去除马赛克、去马赛克化或者去拜耳化、CFA插值、颜色重建等。为了确保由去马赛克算法产生的图像的清晰和质量，期望拥有一种有效的去马赛克算法。

发明内容

在各种实施例中，本公开提供了一种方法，其包括：接收包括多个像素的源图像，其中源图像的多个像素的各个像素包括与多种颜色的对应颜色相关的对应像素值，并且其中源图像的多个像素的第一像素包括与多种颜色的第一颜色相关的第一像素值；以及针对源图像的多个像素的第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值，其中估算第二像素值和第三像素值包括：生成像素窗口，该像素窗口包括(i)第一像素以及(ii)多个像素中的围绕第一像素的像素组；基于像素窗口，生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值；基于一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，将第一像素分类为包括在源图像的多种类型的区域之一中；并且基于将第一像素分类为包括在源图像的多种类型的区域之一中，针对第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值。在实施例中，方法还包括：使用滤色器阵列以及图像传感器生成源图像，其中图像传感器包括多个像素传感器，其中滤色器阵列包括多个滤色器，其中滤色器阵列的多个滤色器的每个滤色器被配置为输出多种颜色中的对应颜色的光，其中滤色器阵列的多个滤色器的每个滤色器被叠加在图像传感器的多个像素传感器中的对应像素传感器之上，其中滤色器阵列的多个滤色器中的第一滤色器被配置为(i)输出第一颜色的光并且(ii)叠加在图像传感器的多个像素传感器中的第一像素传感器之上，并且其中图像传感器的多个像素传感器中的第一像素传感器生成源图像的第一像素的第一像素值。在实施例中，生成一个或者多个水平或者竖直颜色梯度值包括：基于第一多个颜色梯度生成第一颜色梯度值，第一多个颜色梯度的每个颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应水平或者竖直像素之间的对应色差；以及基于第二多个颜色梯度生成第二颜色梯度值，第二多个颜色梯度的每个颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应水平或者竖直像素之间的对应色差。在实施例中，源图像的多种类型的区域包括源图像的竖直边缘区、源图像的水平边缘区、源图像的非边缘区、以及源图像的繁杂区。在实施例中，将第一像素分类为包括在源图像的多种类型的区域之一中包括：生成第一像素的初始分类，其中第一像素被初始分类为包括在源图像的多种类型的区域之一中；以及选择性完善第一像素的初始分类以生成第一像素的最终分类。

在各种实施例中，本公开提供了一种装置，其包括：图像传感器，被配置为生成包括多个像素的源图像，其中源图像的多个像素的各个像素包括与多种颜色中的对应颜色相关的对应像素值，并且其中源图像的多个像素的第一像素包括与多种颜色的第一颜色相关的第一像素值；以及去马赛克模块，被配置为针对源图像的多个像素的第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值，其中去马赛克模块包括：像素窗口生成模块，被配置为生成像素窗口，该像素窗口包括(i)第一像素以及(ii)多个像素中的围绕第一像素的像素组；颜色梯度生成模块，被配置为基于像素窗口，生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值；像素分类模块，被配置为基于一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，将第一像素分类为包括在源图像的多种类型的区域之一中；以及像素值估算模块，被配置为基于第一像素的分类，针对第一像素估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值。在实施例中，装置还包括：滤色器阵列，其中图像传感器包括多个像素传感器，其中滤色器阵列包括多个滤色器，其中滤色器阵列的多个滤色器中的每个滤色器被配置为输出多种颜色中的对应颜色的光，其中滤色器阵列的多个滤色器中的每个滤色器被叠加在图像传感器的多个像素传感器中的对应像素传感器之上，其中滤色器阵列的多个滤色器中的第一滤色器被配置为(i)输出第一颜色的光并且(ii)叠加在图像传感器的多个像素传感器中的第一像素传感器之上，并且其中图像传感器的多个像素传感器中的第一像素传感器生成源图像的第一像素的第一像素值。在实施例中，颜色梯度生成模块被配置为通过如下步骤生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值：基于第一多个水平颜色梯度生成第一水平颜色梯度值，第一多个水平颜色梯度的每个水平颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应水平像素之间的对应色差；基于第二多个水平颜色梯度生成第二水平颜色梯度值，第二多个水平颜色梯度的每个水平颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应水平像素之间的对应色差；基于第一多个竖直颜色梯度生成第一竖直颜色梯度值，第一多个竖直颜色梯度的每个竖直颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应竖直像素之间的对应色差；以及基于第二多个竖直颜色梯度生成第二竖直颜色梯度值，第二多个竖直颜色梯度的每个竖直颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应竖直像素之间的对应色差。在实施例中，源图像的多种类型的区域包括源图像的竖直边缘区、源图像的水平边缘区、源图像的非边缘区、以及源图像的繁杂区。像素分类模块被配置为通过如下步骤将第一像素分类为包括在源图像的多种类型的区域之一中：生成第一像素的初始分类，其中第一像素被初始分类为包括在源图像的多种类型的区域之一中；并且选择性完善第一像素的初始分类以生成第一像素的最终分类。在实施例中，在数码相机、摄像机或者扫描仪中的一个中包括该装置。

附图说明

通过以下结合附图的具体实施方式将容易理解本公开的实施例。为了便于描述，相同的附图标记指定相同的结构元件。在附图的图中通过示例的方式而不是通过限制的方式图示各种实施例。

图1示意性地图示包括用于将源图像去马赛克并且生成全彩色图像的去马赛克模块的系统。

图2图示图1中的系统的CFA的示例。

图3A至图3C图示源图像的一部分以及从源图像生成的对应像素窗口。

图4示意性地图示图1中的系统的去马赛克模块。

图5图示图像的示例。

图6是将经由滤色器阵列生成的图像去马赛克的示例方法的流程图。

具体实施方式

I.系统架构

图1示意性地图示了包括用于将源图像112去马赛克并且生成全彩色图像114的去马赛克模块106(此后称为“模块106”)的系统100。系统100被包括在任何数字图像感测设备中，例如数码相机、摄像机、扫描仪和/或类似物。

系统100包括图像传感器104，滤色器阵列(CFA)102被叠加在该图像传感器之上。图像传感器104包括像素传感器阵列，并且CFA 102包括滤色器阵列，使得CFA 102的每个过滤器叠加在图像传感器104的对应像素传感器之上。

图2图示了图1的系统100中的CFA 102的示例。CFA 102包括示例马赛克图案，该马赛克图案具有以重复模式布置的红颜色、蓝颜色和绿颜色透射过滤器。例如，CFA 102针对偶数行具有交替的红过滤器和绿过滤器，以及针对奇数行具有交替的绿过滤器和蓝过滤器。有是红过滤器或者蓝过滤器两倍的绿过滤器，以满足人眼对于绿光更高的灵敏度。每个过滤器叠加在图像传感器104的对应像素传感器之上。

在示例中，CFA 102接收光108，并且选择性地过滤该光以生成经过滤的光110。例如，光108被CFA 102的每个过滤器过滤以生成光110的对应部分。例如，光110被CFA 102的红过滤器过滤的部分将基本上仅包括红光。因此，光110将具有多个部分，每个部分由CFA 102的对应过滤器生成并且将具有红颜色、绿颜色或者蓝颜色中的一种对应颜色。

图像传感器104接收经过滤的光110。图像传感器104具有像素传感器阵列，每个像素传感器被CFA 102的对应过滤器叠加。因此，图像传感器104的每个像素传感器接收光110的具有特定颜色的部分。图像传感器104生成源图像112。源图像112的每个像素由图像传感器104的对应像素传感器生成。因此，源图像112的每个像素具有R颜色、G颜色、B颜色中的一种颜色。因为源图像112基于CFA 102生成，源图像112还被称为滤色器阵列图像(或者经由滤色器阵列生成的图像)。

模块106接收源图像112，并且例如通过将去马赛克算法应用于源图像112，生成全彩色图像114。例如，如果源图像112的像素仅具有红颜色分量，模块106在生成全彩色图像114的同时使用去马赛克算法解译或者估算针对该像素的绿颜色分量和蓝颜色分量。

图3A至图3C图示了源图像112的一部分，以及从源图像生成的对应像素窗口。参照图3A，源图像112包括多个像素，其中源图像112的每个像素包括表示绿颜色、蓝颜色以及红颜色中的一种对应颜色的像素值。例如，源图像112的像素的颜色对应于CFA 102的对应过滤器的颜色，该CFA 102叠加在生成源图像112的像素的图像传感器104的像素传感器之上。

例如，假设CFA 102的第一过滤器(该过滤器是例如绿色过滤器)叠加在图像传感器104的第一像素传感器之上。那么由图像传感器104的第一像素传感器生成的源图像112的第一像素将具有表示绿光的原始强度的像素值，该绿光经由CFA 102的第一过滤器暴露于图像传感器104的第一像素传感器。为了简单起见，源图像112的这种第一像素被称为绿色像素。如图3A所示，源图像112包括多个像素(例如R像素、G像素和B像素)，这些像素被布置为对应于CFA 102的布置。

图4示意性地图示了图1中的去马赛克模块106。在实施例中，模块106包括像素窗口生成模块440、颜色梯度生成模块444、像素分类模块448、以及像素值估算模块452，这些模块中的每个模块将在本文后续部分中详细讨论。

II.像素窗口的生成

模块106接收源图像112，并且处理源图像112以生成全彩色图像114。处理源图像112包括在源图像112内生成像素的移动窗口。例如，在处理源图像112的第一像素的同时，像素窗口生成模块440生成对应的像素窗口，该像素窗口包括(i)第一像素和(ii)源图像112中的多个像素，该多个像素围绕第一像素(例如，与第一像素相邻)使得第一像素是像素窗口的中心像素。当模块106继续处理源图像112的各种像素时，像素窗口继续在源图像112中到处移动。像素窗口可以具有任何适合的大小，例如可以包括5x 5像素、7x 7像素、9x 9像素等的阵列。

图3A还图示了从源图像112生成示例5x 5像素窗口112a。基于相对于像素窗口112a的像素位置坐标来标记像素窗口112a的各种像素。例如，在像素窗口112a的第一行和第一列中的像素被标记为(0,0)，在像素窗口112a的第三行和第三列中的像素被标记为(2,2)等等。像素窗口112a的(2,2)像素(即像素窗口112a的中心像素)是像素窗口112a的目标像素。即，模块106在处理目标像素(2,2)的同时生成像素窗口112a。在图3A的示例中，目标像素是蓝色像素(即，对应于像素(2,2)的源图像112仅具有蓝色像素值)。

像素窗口112a具有作为目标像素(2,2)的蓝色像素，并且模块106的目标在于，在生成全彩色图像114的同时，估算针对目标像素(2,2)的绿色像素值和红色像素值。例如，全彩色图像114的对应于像素窗口112a的目标像素的像素将具有(i)来自源图像112的原始蓝色像素值，以及(ii)如由模块106估算的估算绿色像素值和估算红色像素值。

在本文中，像素窗口内的对应颜色像素的像素值由“p”表示，后面接像素的坐标。例如，像素窗口112a中的p[0,0]指代像素(0,0)的蓝色像素值；像素窗口112a中的p[0,1]指代像素(0,1)的绿色像素值；像素窗口112a中的p[2,2]指代像素(2,2)的蓝色像素值；等等。在示例中，例如像素(2,2)的估算绿色像素值由G’[2,2]给出；并且例如像素(2,2)的估算红色像素值由R’[2,2]给出。在另一示例中，像素(0,1)的估算蓝色像素值由B’[0,0]给出；并且像素(0,1)的估算红色像素值由R’[2,2]给出。

如将在本文后续部分中详细讨论的，如果像素窗口的目标像素是绿色像素或者红色像素(例如，而不是像素窗口112a的蓝色目标像素)，则目标像素的处理将(例如，相对于处理蓝色目标像素)至少部分地不同。图3B图示了像素窗口112b，其中绿色像素是目标像素，并且绿色像素具有两个蓝色像素作为其水平相邻像素。因为像素窗口112b中的目标绿色像素具有两个蓝色像素作为其水平相邻像素，像素窗口112b的目标像素还被称为Gb像素。图3C图示了像素窗口112c，其中绿色像素是目标像素，并且该绿色像素具有两个红色像素作为其水平相邻像素。因为像素窗口112c中的目标绿色像素具有两个红色像素作为其水平相邻像素，像素窗口112c的目标像素还被称为Gr像素。虽然没有在图3A至图3C中图示出，另一像素窗口可以具有红色像素作为目标像素。

III.颜色梯度生成

一旦生成了围绕目标像素的像素窗口，模块106的颜色梯度生成模块444(例如，在图4中所图示的)生成与像素窗口关联的一个或者多个颜色梯度。颜色梯度的生成对于像素窗口112a、112b和112c中的每个像素窗口是相同的(即，不基于目标像素是否是R像素、B像素、Gb像素或者Gr像素)。因此，与颜色梯度的生成关联的操作适用于像素窗口112a、112b、112c中的每个像素窗口。

在实施例中，一旦生成了像素窗口(例如，5x 5像素窗口)，对应于像素窗口的目标像素标识两个水平的和两个竖直的颜色梯度。第一水平梯度GradHor1和第二水平梯度GradHor2被确定如下：

GradHor1＝|2*p[2,2]-p[2,0]-p[2,4]|+|p[2,1]-p[2,3]|+(|p[1,1]-p[1,3]|+|p[3,1]-p[3,3]|)/2+(|p[0,1]-p[0,3]|+|p[4,1]-p[4,3]|)/2+(|2*p[1,2]-p[1,0]-p[1,4]|+|2*p[3,2]-p[3,0]-p[3,4]|)/4；式子1

以及

GradHor2＝|(p[2,3]+p[2,1])/2–p[2,2]|+|(p[3,3]+p[3,1])/2–p[3,2]|/2+|(p[1,3]+p[1,1])/2–p[1,2]|/2,式子2

其中运算符|x|提供x的绝对值。

要注意的是，式子1和式子2可以被应用到像素窗口112a、112b和112c中的任何一个(即，不取决于目标像素的颜色或者相邻像素)。为了简单起见，本文中关于像素窗口112a讨论式子1和式子2以及颜色梯度生成。

式子1具有|2*p[2,2]-p[2,0]-p[2,4]|项，该项为在像素窗口122a中的(i)蓝色像素(2,2)与(ii)蓝色像素(2,0)和(2,4)之间的二阶水平颜色梯度(例如色差)。式子1还具有|p[2,1]-p[2,3]|项，该项表示在绿色像素(2,1)与(2,3)之间的一阶水平颜色梯度(例如色差)。类似地，式子1还具有|p[1,1]-p[1,3]|项，该项表示在红色像素(1,1)与(1,3)之间的一阶水平颜色梯度(例如色差)。因此，式子1的GradHor1中的各种项或者各种分量中的各个项或者分量表示在对应相同颜色的两个或者多个像素的像素值之间的对应水平颜色梯度或者水平色差，其中该两个或者多个像素在同一水平线中。即，式子1的GradHor1中的各种项或者各种分量中的各个项或者分量表示在相同颜色通道内的对应水平颜色梯度或者水平色差。

式子2具有|(p[2,3]+p[2,1])/2–p[2,2]|项，该项为在像素窗口122a中的(i)绿色像素(2,3)和(2,1)与(ii)蓝色像素(2,2)之间的二阶水平颜色梯度(例如色差)。式子2还具有|(p[3,3]+p[3,1])/2–p[3,2]|项，该项表示在(i)红色像素(3,3)和(3,1)与(ii)绿色像素(3,2)之间的二阶水平颜色梯度。类似地，式子2还具有|(p[1,3]+p[1,1])/4–p[1,2]|项，该项表示在(i)红色像素(1,1)和(1,3)与(ii)绿色像素(1,2)之间的二阶水平颜色梯度。因此，式子2的GradHor2中的各种项或者各种分量中的各个项或者分量表示在对应不同颜色的两个或者多个像素的像素值之间的对应水平颜色梯度或者水平色差，其中该两个或者多个像素在同一水平线中。即，式子2的GradHor2中的各种项或者各种分量中的各个项或者分量表示在交叉颜色通道内的对应水平颜色梯度或者水平色差。

第一竖直梯度GradVer1和第二竖直梯度GradVer2被确定如下：

GradVer1＝|2*p[2,2]-p[0,2]-p[4,2]|+|p[1,2]-p[3,2]|+(|p[1,1]-p[3,1]|+|p[1,3]-p[3,3]|)/2+(|p[1,0]-p[3,0]|+|p[1,4]-p[3,4]|)/2+(|2*p[2,1]-p[0,1]-p[4,1]|+|2*p[2,3]-p[0,3]-p[4,3]|)/4；式子3

以及

GradVer2＝|(p[3,2]+p[1,2])/2-p[2,2]|+|(p[3,3]+p[1,3])/4-p[2,3]|/2+|(p[3,1]+p[1,1])/2-p[2,1]|/2.式子4

类似于式子1，在式子3中的Gradver1中，式子3的GradVer1中的各种项或者各种分量中的各个项或者分量表示在对应相同颜色的两个或者多个像素的像素值之间的对应竖直颜色梯度或者竖直色差，其中该两个或者多个像素在同一竖直线中。即，式子3的GradVer1中的各种项或者各种分量中的各个项或者分量表示在相同颜色通道内的对应竖直颜色梯度或者竖直色差。

同样地，类似于式子1，式子4的GradVer2中的各种项或者各种分量中的各个项或者分量表示在对应不同颜色的两个或者多个像素的像素值之间的对应竖直颜色梯度或者竖直色差，其中该两个或者多个像素在同一竖直线中。即，式子4的GradVer2中的各种项或者各种分量中的各个项或者分量表示在交叉颜色通道内的对应竖直颜色梯度或者竖直色差。

IV.(a)像素分类

在与像素窗口相关的水平和竖直梯度确定之后，将像素窗口的目标像素分类在多个类别之一中(例如，分类为包括在源图像112的多个类型的区域之一中)。例如，图4的模块106的像素分类模块448将目标像素分类。

对于像素窗口112a、112b和112c中的每个像素窗口，像素分类是相同的(即，不基于目标像素是否是R像素、B像素、Gb像素或者Gr像素)。因此，与将目标像素分类相关的操作适用于像素窗口112a、112b和112c中的每个像素窗口。为了简单起见并且除非另外提及，本文中关于像素窗口112a来讨论目标像素的像素分类。

在示例中，目标像素被分类为属于源图像112的水平边缘、竖直边缘、非边缘或者繁杂区之一。图5图示了示例图像500。图5还图示了图像500的各种示例类型的区域，例如图像500的水平边缘、竖直边缘、非边缘以及繁杂区。目标像素被分类在水平边缘中提供目标像素位于图像的水平边缘中的强烈指示或者较高可能性。类似地，目标像素被分类在竖直边缘中提供目标像素位于图像的竖直边缘中的强烈指示或者较高可能性。类似地，目标像素被分类在非边缘中提供目标像素不位于图像的任何边缘或者繁杂区附近(例如，位于图像的平滑区中)的强烈指示或者较高可能性。目标像素被分类在繁杂区中提供目标像素位于图像的包括拥挤的、不规则的高对比度边缘(例如，靠近文字)的区中的强烈指示或者较高可能性。

IV.(b)繁杂区分类

为了确定像素窗口(例如，像素窗口112a、…、112c中的任何一个)的目标像素是否被分类为繁杂区像素，首先确定繁杂阈值(busy_thre)。繁杂阈值基于像素窗口的各种像素的像素值(即，繁杂阈值基于像素窗口动态更新)。在示例中，繁杂阈值busy_thre被确定如下：

busy_thre＝min((4*p[2,2]+p[2,1]+p[1,2]+p[2,3]+p[3,2])/16,min_busy_thre),式子5

其中运算符min(x,y)输出x和y中的最小值。min_busy_thre是最小繁杂阈值，并且具有预设的用户配置值。因此，在式子5中，繁杂阈值busy_thre是(i)(4*p[2,2]+p[2,1]+p[1,2]+p[2,3]+p[3,2])/16或者(ii)最小繁杂阈值min_busy_thre中的最小值。(4*p[2,2]+p[2,1]+p[1,2]+p[2,3]+p[3,2])/16项是目标像素和目标像素的四个邻近或者相邻像素的平均像素值，其中四个邻近或者相邻像素在与像素窗口中的目标像素相同的水平和相同的竖直线中。

在生成繁杂阈值busy_thre之后，基于像素窗口的像素选择性递增繁杂区计数器busy_num。选择性递增繁杂区计数器busy_num如下：

如果(min(|p[2,2]-p[0,0]|,|p[2,2]-p[0,2]|,|p[0,0]-p[0,2]|)>busy_thre)，将busy_num增加1；式子6a

如果(min(|p[2,2]-p[0,0]|,|p[2,2]-p[2,0]|,|p[0,0]-p[2,0]|)>busy_thre)，将busy_num增加1；式子6b

如果(min(|p[2,2]-p[0,4]|,|p[2,2]-p[0,2]|,|p[0,4]-p[0,2]|)>busy_thre)，将busy_num增加1；式子6c

如果(min(|p[2,2]-p[0,4]|,|p[2,2]-p[2,4]|,|p[0,4]-p[2,4]|)>busy_thre)，将busy_num增加1；式子6d

如果(min(|p[2,2]-p[4,0]|,|p[2,2]-p[2,0]|,|p[2,0]-p[4,0]|)>busy_thre)，将busy_num增加1；式子6e

如果(min(|p[2,2]-p[4,0]|,|p[2,2]-p[4,2]|,|p[4,0]-p[4,2]|)>busy_thre)，将busy_num增加1；式子6f

如果(min(|p[2,2]-p[4,4]|,|p[2,2]-p[2,4]|,|p[2,4]-p[4,4]|)>busy_thre)，将busy_num增加1；式子6g

如果(min(|p[2,2]-p[4,4]|,|p[2,2]-p[4,2]|,|p[4,2]-p[4,4]|)>busy_thre)，将busy_num增加1。式子6h

要注意的是，式子6a至式子6h中的每个像素值是相同颜色的像素的。例如，如果正在处理像素窗口112a的目标像素，则式子6a至式子6h中的每个像素值是蓝色像素的(即，出现在式子6a至式子6h中的像素(2,2)、(0,0)、(0,2)、(2,0)、(0,4)等是蓝色像素)。在另一示例中，如果正在处理像素窗口112b的目标像素，则式子6a至式子6h中的每个像素的像素值是绿色像素的。

例如，式子6a将min(|p[2,2]-p[0,0]|,|p[2,2]-p[0,2]|,|p[0,0]-p[0,2]|)与繁杂阈值busy_thre比较，并且基于该比较，选择性递增繁杂区计数器busy_num。式子6a确定多个色差的最小值，并且将多个色差的最小值与繁杂阈值busy_thre比较。式子6a中的多个色差的每种色差是在相同颜色(该颜色是源图像112中的目标像素的颜色)的两个像素之间的色差。类似地，式子6b至式子6h中的每个式子将对应的多个色差的最小值与繁杂阈值busy_thre比较，并且基于该比较，选择性递增繁杂区计数器busy_num。式子6b至式子6h中的每个式子中的各个色差是在相同颜色(该颜色是源图像112中的目标像素的颜色)的两个对应像素之间的色差。

在实施例中，在基于式子6a至式子6h选择性递增繁杂区计数器busy_num之后，如果繁杂区计数器busy_num高于阈值(例如，阈值为4)，则像素窗口的目标像素被分类为在繁杂区中，如下：

如果busy_num>4，则class_final＝BUSY，

如果busy_num≤4，则行进至针对像素分类的后续操作，式子7

其中class_final是指示目标像素的最终分类的变量。例如，如果busy_num高于示例阈值4，那么根据式子7，class_fianl为BUSY，指示目标像素在源图像112的繁杂区中的强烈可能性或者强烈指示(例如，目标像素被分类为在繁杂区中)。如果繁杂区计数器busy_num小于或者等于阈值，则像素分类处理行进至后续步骤，如在本文随后部分中讨论的。

IV.(c)边缘、非边缘以及繁杂区分类

如果基于式子7目标像素未被分类为在繁杂区中，则像素分类行进如下。

假设thre_grad1和thre_grad2是针对像素被分类在边缘区(例如水平边缘或者竖直边缘)或者非边缘区中的阈值。thre_grad1和thre_grad2被确定如下：

thre_grad1＝max(min(GradHor1,GradVer1)*k_grad1/32,min_grad_thr)；式子8a

thre_grad2＝max(min(GradHor2,GradVer2)*k_grad2/32,min_grad_thr),式子8b

其中min_grad_thr、k_grad1和k_grad2是用户可配置的预定值。max(a,b)运算符输出a和b中的最大值；并且min(a,b)运算符输出a和b中的最小值。至少部分基于GradHor1和GradVer1确定thre_grad1，如关于式子1和式子3所讨论的，GradHor1和GradVer1是与相同颜色通道相关的水平颜色梯度和竖直颜色梯度。至少部分基于GradHor2和GradVer2确定thre_grad2，如关于式子2和式子4所讨论的，GradHor2和GradVer2是与交叉颜色通道相关的水平颜色梯度和竖直颜色梯度。因此，thre_grad1和thre_grad2分别是与相同颜色梯度和交叉颜色梯度相关的阈值梯度。

变量class_1被确定如下：

如果(GradHor1>GradVer1+thre_grad1),则class_1＝VERTICAL；

否则如果(GradVer1>GradHor1+thre_grad1),则class_1＝HORIZONTAL；

否则class_1＝NON-EDGE.式子9a

另一变量class_2被确定如下：

如果(GradHor2>GradVer2+thre_grad2)，则class_2＝VERTICAL；

否则如果(Gradver2>Gradhor2+thre_grad2)，则class_2＝HORIZONTAL；

否则class_2＝NON-EDGE.式子9b

至少部分基于GradHor1和GradVer1确定变量class_1，如关于式子1和式子3所讨论的，GradHor1和GradVer1是与相同颜色通道相关的颜色梯度。至少部分基于GradHor2和GradVer2确定变量class_2，如关于式子2和式子4所讨论的，GradHor2和GradVer2是与交叉颜色通道相关的颜色梯度。因此，基于式子9a和式子9b，将VERTICAL值、HORIZONTAL值或者NON-EDGE值之一分配给与像素窗口的目标像素相关的变量class_1和变量class_2中的每个变量。例如，参照式子9a，如果相同颜色通道中的水平梯度(即GradHor1)比相同颜色通道中的竖直梯度(即GradVer1)高至少阈值thre_grad1，这暗示在相同颜色通道中的竖直边缘——据此，将VERTICAL值分配给变量class_1。类似地，在式子9a中，如果相同颜色通道中的竖直梯度(即GradVer1)比相同颜色通道中的水平梯度(即GradHor1)高至少阈值thre_grad1，这暗示在相同颜色通道中的水平边缘——据此，将HORIZONTAL值分配给class_1。因此，将例如VERTICAL值分配给class_1指示目标像素在相同颜色通道(例如，目标像素表示的相同颜色通道)的竖直边缘上的可能性或者强烈指示。类似地，例如，将VERTICAL值分配给class_2指示目标像素在交叉颜色通道的竖直边缘上的可能性或者强烈指示。

一旦确定了class_1值和class_2值，就确定了(例如，基于合并class_1值和class_2值)class_final值，其中class_final值提供目标像素的最终分类。在实施例中，class_final值使用以下式子确定：

如果(class_1＝VERTICAL)

{如果(class_2＝HORIZONTAL),则class_final＝NON-EDGE；

否则class_final＝VERTICAL；

}

否则如果(class_1＝HORIZONTAL)

{如果(class_2＝VERTICAL),则class_final＝NON-EDGE；

否则class_final＝HORIZONTAL；

}

否则class_final＝class_2,式子10

其中class_final是指示目标像素的最终分类的变量。注意，如本文中之前关于式子7所讨论的，还可以将class_final分类为BUSY。在式子10中，如果将VERTICAL分配给变量class_1并且将HORIZONTAL分配给变量class_2，则这暗示在相同颜色通道中检测到的潜在竖直边缘与在交叉颜色通道中检测到的潜在水平边缘相矛盾——据此，将NON-EDGE值分配给变量class_final。然而，如果将VERTICAL分配给变量class_1和变量class_2两者，则这暗示针对相同颜色通道和交叉颜色通道两者的竖直边缘——据此，将VERTICAL值分配给变量class_final。同样地，如果将VERTICAL分配给变量class_1并且将NON-EDGE分配给变量class_2，则这暗示针对至少相同颜色通道的竖直边缘——据此，将VERTICAL值分配给变量class_final。水平边缘分配也可以以类似方式执行。

IV.(d)目标像素分类的完善

在实施例中，一旦目标像素被分类(即，一旦如关于式子7和式子10所讨论的确定了class_final)，则可以选择性完善目标像素的分类。例如，如果目标像素被分类为NON-EDGE(即，如果在式子10中class_final为NON-EDGE)并且如果围绕目标像素的一个或者多个像素具有强烈边缘指示(即，如果围绕目标像素的一个或者多个像素被分类为HORIZONTAL或者VERTICAL)，则目标像素可以被重新分类为在对应的边缘中。类似地，如果目标像素被分类为NON-EDGE(即，如果在式子10中class_final为NON-EDGE)并且如果围绕目标像素的一个或者多个像素被分类为BUSY，则目标像素可以被重新分类为BUSY。在实施例中，只有目标像素被初始分类为NON-EDGE(即，如果在式子10中class_final为NON-EDGE)，才可能执行像素窗口中的目标像素分类的完善。

假设num_class_busy、num_class_hor和num_class_ver分别表示3x 3像素窗口内被分类为在繁杂区中、水平边缘区中以及竖直边缘区中的像素的对应数目，其中目标像素在3x 3像素窗口的中心。即，例如，在以目标像素为中心的3x 3像素窗口中，num_class_busy个像素被分类为在繁杂区中，num_class_hor个像素被分类为在水平边缘区中，并且num_class_ver个像素被分类为在竖直边缘区中。

如果目标像素被初始分类为NON-EDGE，则目标像素基于以下式子被选择性重新分类：

(i)如果(num_class_busy>num_busy_th),则将class_final重新分类为BUSY；

(ii)否则如果(num_class_hor>num_class_ver)并且(num_class_hor>num_edge_th),则将class_final重新分类为HORIZONTAL；或者

(iii)否则如果(num_class_ver>num_class_hor)并且(num_class_ver>num_edge_th),则将class_final重新分类为VERTICAL,式子11

其中num_busy_th和num_edge_th是两个用户可配置的预定阈值。因此，在式子11中，(i)如果目标像素被初始分类为NON-EDGE并且(ii)如果被分类为BUSY的相邻像素的数目超过阈值，则目标像素被重新分类为BUSY。类似地，(i)如果目标像素被初始分类为NON-EDGE，(ii)如果被分类为VERTICAL的相邻像素的数目超过被分类为HORIZONTAL的相邻像素的数目，并且(iii)如果被分类为VERTICAL的相邻像素的数目超过阈值，则目标像素被重新分类为VERTICAL。类似地，(i)如果目标像素被初始分类为NON-EDGE，(ii)如果被分类为HORIZONTAL的相邻像素的数目超过被分类为VERTICAL的相邻像素的数目，并且(iii)如果被分类为HORIZONTAL的相邻像素的数目超过阈值，则目标像素被重新分类为HORIZONTAL。

V.像素值插值

一旦像素值被分类为包括在源图像的多个类型的区域之一中(例如，包括在繁杂区、竖直边缘区、水平边缘区或者非边缘区中的一个区中)，就针对目标像素执行各种颜色通道的像素值插值(例如，通过图4中的模块106的像素值估算模块452)。例如，在像素窗口112a中，目标像素(2,2)是蓝色像素。一旦目标像素被分类，就插值或者估算针对像素窗口112a的目标像素(2,2)的绿颜色和红颜色像素值。

在实施例中，使用5x 5像素窗口(例如像素窗口112a)执行针对蓝色目标像素或者红色目标像素的绿颜色的估算。在实施例中，使用范围可以从5x 5像素到9x 9像素的像素窗口执行针对绿色目标像素的红颜色或者蓝颜色的估算，如将在本文后续部分中更详细讨论的。

如本文中之前讨论的，像素窗口内的像素的像素值由“p”表示，后面接像素坐标。例如，像素窗口112a中的p[0,0]指代像素(0,0)的蓝色像素值；像素窗口112a中的p[0,1]指代像素(0,1)的绿色像素值；像素窗口112a中的p[2,2]指代像素(2,2)的蓝色像素值；等等。在示例中，像素窗口112a中的例如像素(2,2)的估算绿色像素值由G’[2,2]给出；并且像素窗口112a中的例如像素(2,2)的估算红色像素值由R’[2,2]给出。在另一示例中，像素(0,1)的估算蓝色像素值由B’[0,0]给出；并且像素(0,1)的估算红色像素值由R’[2,2]给出。

VI.(a)针对红色目标像素或者蓝色目标像素的绿色像素值估算

像素窗口112a具有蓝色像素作为目标像素，并且针对该目标像素估算绿颜色像素值。要注意的是，在本文中关于具有蓝色目标像素的像素窗口112a讨论绿色像素值估算或者插值的同时，该教导还适用于具有红色像素作为目标像素的像素窗口(未在图中图示)。同样地，针对蓝色目标像素或者红色目标像素的绿色像素值估算基于5x 5像素窗口(例如像素窗口112a)。

针对蓝色目标像素或者红色目标像素的绿色像素值估算基于目标像素的分类。如果目标像素被分类为HORIZONTAL(即，如果像素被分类为在图像的水平边缘中)，则用于像素窗口112a的目标像素(2,2)的绿色像素值被估算如下：

G’[2,2]＝(p[2,1]+p[2,3])/2+CLIP_MIN_MAX((2*p[2,2]–p[2,0]–p[2,4])/8,-comp_limit,comp_limit),式子12

其中CLIP_MIN_MAX(x,a,b)是限幅(clip)函数，该限幅函数将输入“x”限幅于最小值“a”和最大值“b”之间。因此，如果(2*p[2,2]–p[2,0]–p[2,4])/8小于-comp_limit，则CLIP_MIN_MAX函数输出-comp_limit。同样地，如果(2*p[2,2]–p[2,0]–p[2,4])/8高于comp_limit，则CLIP_MIN_MAX函数输出comp_limit。如果(2*p[2,2]–p[2,0]–p[2,4])/8在-comp_limit和comp_limit之间，则CLIP_MIN_MAX函数输出(2*p[2,2]–p[2,0]–p[2,4])/8的实际值。comp_limit具有预定的并且用户可配置的值。在式子12中，例如由于目标像素被分类为HORIZONTAL，(p[2,1]+p[2,3])/2项提供与目标像素(2,2)水平邻近的两个绿色像素的平均。(2*p[2,2]–p[2,0]–p[2,4])/8项是来自在同一水平线中的像素的交叉颜色通道的像素值的贡献，并且导致目标像素的绿色像素值的锐化。

如果目标像素被分类为VERTICAL(即，如果像素被分类为在图像的竖直边缘中)，则用于像素窗口112a的目标像素(2,2)的绿色像素值被估算如下：

G’[2,2]＝(p[1,2]+p[3,2])/2+CLIP_MIN_Max((2*p[2,2]–p[0,2]–p[4,2])/8,-comp_limit,comp_limit).式子13

在式子13中，例如由于目标像素被分类为VERTICAL，(p[1,2]+p[3,2])/2项提供与目标像素(2,2)竖直邻近的两个绿色像素的平均。(2*p[2,2]–p[0,2]–p[4,2])/8项是来自在同一竖直线中的像素的交叉颜色通道的像素值的贡献，并且导致目标像素的绿色像素值的锐化。

如果目标像素被分类为BUSY或者NON-EDGE(即，如果像素被分类为在图像的繁杂区或者非边缘区中)，则通过初始形成在像素窗口中的像素的多个色差(CD)估算用于像素窗口112a的目标像素(2,2)的绿色像素值，如下：

CD[2,1]＝p[2,1]-(p[2,0]+p[2,2])/2；式子13a

CD[2,3]＝p[2,3]-(p[2,2]+p[2,4])/2；式子13b

CD[1,2]＝p[1,2]-(p[0,2]+p[2,2])/2；式子13c

CD[3,2]＝p[3,2]-(p[2,2]+p[4,2])/2.式子13d

在式子13a中，与像素(2,1)相关的色差CD[2,1]由p[2,1]-(p[2,0]+p[2,2])/2给出。即，色差CD[2,1]是在(i)像素(2,1)和(ii)两个邻近水平像素的像素值中的差异。在式子13b中，与像素(2,3)相关的色差CD[2,3]由p[2,3]-(p[2,3]+p[2,4])/2给出。即，色差CD[2,3]是在(i)像素(2,3)和(ii)两个邻近水平像素的像素值中的差异。在式子13c中，与像素(1,2)相关的色差CD[1,2]由p[1,2]-(p[0,2]+p[2,2])/2给出。即，色差CD[1,2]是在(i)像素(1,2)和(ii)两个邻近竖直像素的像素值中的差异。式子13d的色差CD[3,2]也以类似的方式确定。假设式子13a至式子13d中的色差有以下顺序：

CD(1)<CD(2)<CD(3)<CD(4),式子14

其中CD(1)表示式子13a至式子13d中的色差当中最小的色差；其中CD(4)表示式子13a至式子13d中的色差当中最大的色差，等等。那么，如果目标像素被分类为BUSY或者NON-EDGE，则用于像素窗口112a的目标像素(2,2)的绿色像素值被估算如下：

G’[2,2]＝(CD(2)+CD(3))/2+p[2,2].式子15

因此，估算的绿色像素值基于式子13a至式子13d中的多个色差当中的中等色差CD(2)和CD(3)，并且不考虑式子13a至式子13d中的多个色差的最小值和最大值。

VI.(b)针对红色目标像素或者蓝色目标像素的绿色像素值估算的 平滑

如本文在之前部分中关于式子12至式子15所讨论的，基于目标像素的分类来估算用于蓝色目标像素或者红色目标像素的绿色像素值(例如G’[2,2])。在实施例中，对估算的绿色像素值进行平滑，例如，以生成更平滑的图像并且减少全彩色图像114中的任何假彩色。

在示例中，g_smooth_mode是用于控制平滑函数以对估算的绿色像素值G’[2,2]进行平滑的变量。g_smooth_mode可以具有例如三个值0、1和2中的一个值。在示例中，值0对应于不执行平滑操作，值1对应于相对中等水平的平滑，并且值2对应于相对高水平的平滑。g_smooth_mode的值是用户可配置参数。在下面的式子中，G’[2,2]smooth表示继平滑操作之后的估算绿色像素值G’[2,2]。

在示例中，对于g_smooth_mode值为0，估算的绿色像素值G’[2,2]的平滑操作被执行如下：

对于g_smooth_mode＝0,

G’[2,2]smooth＝G’[2,2].式子16

即，对于g_smooth_mode值为0，不执行平滑操作，并且经平滑的估算绿色像素值G’[2,2]smooth简单地等于估算绿色像素值G’[2,2]。

在示例中，对于g_smooth_mode值为1，变量Smooth_CD被确定如下：

对于g_smooth_mode＝1,

如果(class_final＝HORIZONTAL),则Smooth_CD＝(6*(p[2,2]-G’[2,2])+p[2,0]–G’[2,0]+p[2,4]–G’[2,4]+4)/8；

否则如果(class_final＝VERTICAL),则Smooth_CD＝(6*(p[2,2]-G’[2,2])+p[0,2]–G’[0,2]+p[4,2]–G’[4,2]+4)/8；

否则Smooth_CD＝(12*(p[2,2]-G’[2,2])+p[2,0]–G’[2,0]+p[2,4]–G’[2,4]+p[0,2]–G’[0,2]+p[4,2]–G’[4,2]+8)/16.式子17

随后，经平滑的估算绿色像素值G’[2,2]smooth如下生成：

G’[2,2]smooth＝p[2,2]-Smooth_CD.式子18

在示例中，对于g_smooth_mode值为2，变量Smooth_CD如下确定：

对于g_smooth_mode＝2,

如果(class_final＝HORIZONTAL),则Smooth_CD＝(2*(p[2,2]-G’[2,2])+p[2,0]–G’[2,0]+p[2,4]–G’[2,4]+2)/4；

否则如果(class_final＝VERTICAL),则Smooth_CD＝(2*(p[2,2]-G’[2,2])+p[0,2]–G’[0,2]+p[4,2]–G’[4,2]+2)/4；

否则Smooth_CD＝(4*(p[2,2]-G’[2,2])+p[2,0]–G’[2,0]+p[2,4]–G’[2,4]+p[0,2]–G’[0,2]+p[4,2]–G’[4,2]+4)/8.式子19

随后，经平滑的估算绿色像素值G’[2,2]smooth如下生成：

G’[2,2]smooth＝p[2,2]-Smooth_CD.式子20

VII.(a)针对绿色(Gb)目标像素的红色像素值和蓝色像素值估算

如本文中之前讨论的，绿色目标像素可以是Gb像素以及Gr像素。例如，在图3B中，像素窗口112b的绿色目标像素具有两个蓝色像素作为其水平相邻像素，并且据此，像素窗口112b的绿色目标像素被称为Gb像素。相比而言，图3C中的像素窗口112c中的绿色目标像素具有两个红色像素作为其水平相邻像素，并且据此，像素窗口112c的绿色目标像素被称为Gr像素。该部分以及以下部分中的至少一些部分适用于估算针对Gb目标像素的红色像素值和蓝色像素值，例如适用于图3B中的像素窗口112b。

VII.(b)针对被分类为在水平边缘中的绿色(Gb)目标像素的红 色像素值和蓝色像素值估算

在像素窗口112b中，假设G’[2,1]和G’[2,3]是针对蓝色像素(2,1)和(2,3)估算的绿色像素值。如本文中先前所详细讨论的，针对这些像素的绿色像素值可以基于式子12至式子20的一个或者多个式子来估算。例如，通过使用式子12至式子20的一个或者多个式子，可以使用以像素(2,1)为中心的5x 5像素窗口估算G’[2,1]。在另一示例中并且为了简化计算(例如，在这些估算的绿色像素值还未确定的情形下)，可以通过将对应的周围绿色像素的像素值取平均来确定这些估算的绿色值中的一个或者多个。例如，用于像素(2,1)的估算的绿色像素值G’[2,1]可以被确定为G’[2,1]＝(G[1,1]+G[2,0]+G[3,1]+G[2,2])/4。

假设Gb目标像素被分类为HORIZONTAL，则用于Gb目标像素(2,2)的蓝色像素值如下估算：

B’[2,2]＝((p[2,1]-G’[2,1])+(p[2,3]-G’[2,3]))/2+p[2,2].式子21

因此，用于像素窗口112b的目标像素(2,2)的估算蓝色像素值包括第一项(p[2,1]-G’[2,1])，该项反应在针对像素(2,1)的蓝色像素值和估算的绿色像素值之间的色差。用于像素窗口112b的目标像素(2,2)的估算蓝色像素值还包括第二项(p[2,3]-G’[2,3])，该项反应在针对像素(2,3)的蓝色像素值和估算的绿色像素值之间的色差。这些与像素(2,1)和(2,3)相关的色差与像素(2,2)有关，因为像素(2,1)、(2,3)、(2,2)均在同一水平像素线中，并且目标像素(2,2)被分类为HORIZONTAL。

为了计算用于目标像素(2,2)的红色像素值，假设G’[1,0]、G’[1,2]、G’[1,4]、G’[3,0]、G’[3,2]、G’[3,4]是用于对应像素的估算绿色值。例如，如果估算的绿色像素值是可得到的，则这些估算绿色像素值可以基于式子12至式子20确定。在另一示例中并且为了简化计算(例如，在这些估算的绿色值还未确定的情形下)，可以通过将对应的周围绿色像素的像素值取平均来确定这些估算绿色值中的一个或者多个。例如，用于像素(1,2)的估算绿色像素值G’[1,2]可以被确定为G’[1,2]＝(G[1,1]+G[0,2]+G[1,3]+G[2,2])/4。对于像素(1,0)、(1,2)、(1,4)、(3,0)、(3,2)和(3,4)中的每个像素，对应的色差如下确定：

CD[1,0]＝R[1,0]-G’[1,0]；式子22

CD[1,2]＝R[1,2]-G’[1,2]；式子23

CD[1,4]＝R[1,4]-G’[1,4]；式子24

CD[3,0]＝R[3,0]-G’[3,0]；式子25

CD[3,2]＝R[3,2]-G’[3,2]；式子26

CD[3,4]＝R[3,4]-G’[3,4].式子27

在式子22中，针对像素位置(1,0)的色差CD[1,0]是在针对像素位置(1,0)的红色像素值和针对像素位置(1,0)的估算绿色像素值中的差异。类似地，在式子23中，针对像素位置(1,2)的色差CD[1,2]是在针对像素位置(1,2)的红色像素值和针对像素位置(1,2)的估算绿色像素值中的差异。式子24至式子27中的色差以类似方式确定。要注意的是，像素窗口112b具有六个红色像素，即像素(1,0)、(1,2)、(1,4)、(3,0)、(3,2)和(3,4)。这些像素位置各自的对应色差分别在式子22至式子27中确定。假设在式子22至式子27中的色差具有以下顺序：

CD(1)<CD(2)<CD(3)<CD(4)<CD(5)<CD(6).式子28

其中CD(1)表示式子22至式子27中的色差当中的最小色差；其中CD(6)表示式子22至式子27中的色差当中的最大色差，等等。那么，用于像素窗口112b的目标像素(2,2)的红色像素值如下估算：

R’[2,2]＝(CD(3)+CD(4))/2+p[2,2].式子29

因此，在式子29中针对目标像素位置(2,2)的估算红色像素值基于式子22至式子27的多个色差当中的中等色差CD(3)和CD(4)。式子29中的估算红色像素值不考虑式子22至式子27的多个色差的极值(例如最小值或者最大值)。

VII.(c)针对被分类为在竖直边缘中的绿色(Gb)目标像素的红色像 素值和蓝色像素值估算

假设G’[0,1]、G’[0,3]、G’[2,1]、G’[2,3]、G’[4,1]、G’[4,3]、G’[1,2]和G’[3,2]是用于对应像素的估算绿色像素值。这些估算像素值可以以如下方式生成，即类似于先前讨论的就在上面的式子22之前的对生成估算绿色像素值的讨论。针对这些像素位置各自的多个色差值被定义如下：

CD[0,1]＝B[0,1]-G’[0,1]；式子30

CD[0,3]＝B[0,3]-G’[0,3]；式子31

CD[2,1]＝B[2,1]-G’[2,1]；式子32

CD[2,3]＝B[2,3]-G’[2,3]；式子33

CD[4,1]＝B[4,1]-G’[4,1]；式子34

CD[4,3]＝B[4,3]-G’[4,3].式子35

在式子30中，针对像素位置(0,1)的色差CD[0,1]是在针对像素位置(0,1)的蓝色像素值和针对像素位置(0,1)的估算绿色像素值中的差异。类似地，在式子31中，针对像素位置(0,3)的色差CD[0,3]是在针对像素位置(0,3)的蓝色像素值和针对像素位置(0,3)的估算绿色像素值中的差异。式子32至式子35中的色差以类似方式确定。要注意的是，像素窗口112b具有六个蓝色像素，即像素(0,1)、(0,3)、(2,1)、(2,3)、(4,1)和(4,3)。这些像素位置各自的对应色差分别在式子30至式子35中确定。假设在式子30至式子35中的色差具有以下顺序：

CD(1)<CD(2)<CD(3)<CD(4)<CD(5)<CD(6),式子36

其中CD(1)表示式子30至式子35中的色差当中的最小色差；其中CD(6)表示式子30至式子35中的色差当中的最大色差，等等。那么，用于像素窗口112b的目标像素(2,2)的蓝色像素值被估算如下：

B’[2,2]＝(CD(3)+CD(4))/2+p[2,2].式子37

因此，用于目标像素位置(2,2)的估算蓝色像素值基于式子30至式子35的多个色差当中的中等色差CD(3)和CD(4)。用于目标像素位置(2,2)的估算蓝色像素值不考虑式子30至式子35的多个色差的极值(例如最小值或者最大值)。

假设G’[1,2]和G’[3,2]分别是用于像素位置(1,2)和(3,2)的估算绿色像素值。则用于像素窗口112b的目标像素(2,2)的红色像素值如下估算：

R’[2,2]＝((p[1,2]-G’[1,2])+(p[3,2]-G’[3,2]))/2+p[2,2].式子38

因此，用于像素窗口112b的目标像素(2,2)的估算红色像素值包括第一项(p[1,2]-G’[1,2])，该项反映在用于像素(1,1)的红色像素值与用于像素(1,1)的估算绿色像素值之间的色差。用于像素窗口112b的目标像素(2,2)的估算红色像素值还包括第二项(p[3,2]-G’[3,2])，该项反映在用于像素(3,2)的红色像素值与用于像素(3,2)的估算绿色像素值之间的色差。这些与像素(1,2)和(3,2)相关的色差与像素(2,2)有关，因为像素(1,1)、(3,2)和(2,2)均在同一竖直像素线中，并且目标像素(2,2)被分类为VERTICAL。

VII.(d)针对被分类为在非边缘中的绿色(Gb)目标像素的红色像素 值和蓝色像素值估算

在实施例中，如果Gb目标像素(2,2)被分类为在非边缘中，则以如下方式估算用于Gb目标像素的蓝色像素值B’[2,2]：类似于如果Gb目标像素被分类为在竖直边缘中的蓝色像素值估算。即，如果Gb目标像素(2,2)被分类为在非边缘中，则使用式子30至式子37估算用于Gb目标像素的蓝色像素值B’[2,2]。

在实施例中，如果Gb目标像素(2,2)被分类为在非边缘中，则以如下方式估算用于Gb目标像素的红色像素值R’[2,2]：类似于如果Gb目标像素被分类为在水平边缘中的红色像素值估算。即，如果Gb目标像素(2,2)被分类为在非边缘中，则使用式子22至式子29估算用于Gb目标像素的红色像素值R’[2,2]。

VII.(e)针对被分类为在繁杂区中的绿色(Gb)目标像素的红色像素 值和蓝色像素值估算

在式子30至式子35中(即，假如Gb目标像素在竖直边缘中，用于生成色差的式子)确定的色差用于估算针对被分类为在繁杂区中的Gb目标像素位置的蓝色像素值。假设在式子30至式子35中确定的色差按以下顺序排序：

CD(1)<CD(2)<CD(3)<CD(4)<CD(5)<CD(6),式子39

其中CD(1)表示在式子30至式子35中的色差当中的最小色差；其中CD(6)表示在式子30至式子35中的色差当中的最大色差，等等。那么用于Gb目标像素位置(其被分类为在繁杂区中)的估算蓝色像素值如下生成：

B’[2,2]＝CD(1)+p[2,2].式子40

式子22至式子27中(即，假如Gb目标像素在水平边缘中，用于生成色差的式子)确定的色差用于估算针对被分类为在繁杂区中的Gb目标像素位置的红色像素值。假设在式子22至式子27中确定的色差按以下顺序排序：

CD(1)<CD(2)<CD(3)<CD(4)<CD(5)<CD(6),式子41

其中CD(1)表示在式子22至式子27中的色差当中的最小色差；其中CD(6)表示在式子22至式子27中的色差当中的最大色差，等等。那么用于Gb目标像素位置(其被分类为在繁杂区中)的估算红色像素值如下生成：

R’[2,2]＝CD(1)+p[2,2].式子42

VIII.针对绿色(Gr)目标像素的红色像素值和蓝色像素值估算

本文的一些前述部分指向针对Gb目标像素位置的红色像素和蓝色像素的像素值估算。在实施例中，类似于分别对Gb目标像素位置的蓝色像素值和红色像素值的估算，估算Gr目标像素(例如，图3C中的像素窗口112c的目标像素)的红色像素值和蓝色像素值。例如，类似于Gb目标像素位置的蓝色像素值的估算来估算Gr目标像素的红色像素值；并且类似于Gb目标像素位置的红色像素值的估算来估算Gr目标像素的蓝色像素值。即，翻转或者交换用于估算与Gb目标像素位置相关的红色像素值和蓝色像素值的式子以生成用于估算与Gr目标像素位置相关的红色像素值和蓝色像素值的式子。因此，针对Gr目标像素位置的红色像素值或者蓝色像素值生成不在本文中更详细地讨论。

IX.针对蓝色目标像素的红色像素值估算

像素窗口112a具有蓝色目标像素。针对像素窗口112a的蓝色目标像素的绿色像素值估算已经在本文前面讨论过。本部分讨论针对例如像素窗口112a的蓝色目标像素的红色像素值估算。

假设G’[1,1]、G’[1,3]、G’[3,1]、G’[3,3]是对应像素位置的估算绿色像素值。这些估算的绿像素值可以以如下方式生成，即类似于先前讨论的就在上面的式子22之前的生成估算绿色像素值的讨论。针对这些像素位置中的每个像素位置的多个色差值如下定义：

CD[1,1]＝R[1,1]-G’[1,1]；式子43

CD[1,3]＝R[1,3]-G’[1,3]；式子44

CD[3,1]＝R[3,1]-G’[3,1]；式子45

CD[3,3]＝R[3,3]-G’[3,3].式子46

在式子43中，针对像素位置(1,1)的色差CD[1,1]是在针对像素位置(1,1)的红色像素值和针对像素位置(1,1)的估算绿色像素值中的差异。要注意的是，像素窗口112a具有四个红色像素，即像素(1,1)、(1,3)、(3,1)和(3,3)。这些像素位置各自的对应色差分别在式子43至式子46中确定。假设在式子43至式子46中的色差具有以下顺序：

CD(1)<CD(2)<CD(3)<CD(4),式子47

其中CD(1)表示式子43至式子46中的色差当中的最小色差；其中CD(4)表示式子43至式子46中的色差当中的最大色差，等等。那么，针对像素窗口112a的目标像素(2,2)的红色像素值如下估算：

R’[2,2]＝CD(1)+G’[2,2]对于繁杂区；式子48

R’[2,2]＝(CD(2)+CD(3))/2+G’[2,2]对于非繁杂区(例如，对于竖直边缘、水平边缘和非边缘区).式子49

因此，在式子48中，如果目标像素被分类为BUSY，则估算的红色像素值基于式子43至式子46中的色差的最小色差。在式子49中，如果目标像素未被分类为BUSY(例如，被分类为包括在竖直边缘、水平边缘或者非边缘区中)，则估算的红色像素值基于式子43至式子46中的色差的中等色差(即CD(2)和CD(3))。

X.针对红色目标像素的蓝色像素值估算

虽然图3A至图3C都没有图示具有红色目标像素的像素窗口，但是源图像112的像素窗口可以是红色像素。假如像素窗口具有红色目标像素，则以与用于蓝色目标像素的红色像素值估算类似的方式估算用于目标像素的蓝色像素值，其中红颜色和蓝颜色被翻转或者互换。例如，前文所讨论的式子43至式子49被导向为蓝色目标像素的红色像素值的估算。在实施例中，使用相同的式子(但是红色和蓝色互换)估算红色目标像素的蓝色像素值。因此，用于估算红色目标像素的蓝色像素值的估算不在本文中更详细地讨论。

XI.操作方法

图6是将经由滤色器阵列生成的图像(例如源图像112)去马赛克的示例方法600的流程图。在604处，(例如，从图像传感器104并且通过模块106)接收源图像(例如，图1中的源图像112)。在实施例中，源图像包括多个像素，其中源图像的多个像素中的各个像素包括与多种颜色中的对应颜色相关的对应像素值，并且其中源图像的多个像素中的第一像素包括与多种颜色中的第一颜色相关的第一像素值。

在608处，(例如，通过图4中的像素窗口生成模块440)生成像素窗口(例如，像素窗口112a、112b或者112c中的一个)。在实施例中，像素窗口包括(i)第一像素以及(ii)多个像素的围绕第一像素的像素组，其中像素窗口的像素被布置在多条水平线和竖直线中。

在612处，基于像素窗口，(例如，通过图4中的颜色梯度生成模块444)生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值。在616处，基于一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，(例如，通过图4中的像素分类模块448)将第一像素分类为包括在源图像的多种类型区域之一中。在620处，基于将第一像素分类为包括在源图像的多种类型区域之一中，针对第一像素，(例如，通过图4中的像素值估算模块452)估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值，从而将源图像的第一像素去马赛克。

XII.总结

描述可以使用词组“在实施例中，”或者“在多个实施例中，”，该词组各自可以指代相同或者不同实施例中的一个或者多个实施例。词组“在一些实施例中”被反复使用。该词组一般不指代相同的实施例；然而，它也可以指代相同的实施例。术语“包括”、“具有”以及“包含”是同义的，除非上下文另外指示。词组“A和/或B”意指(A)、(B)或者(A和B)。类似于词组“A和/或B”，词组“A/B”意指(A)、(B)或者(A和B)。词组“A、B和C中的至少一个”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)。词组“(A)B”意指(B)或者(A和B)，即A是可选的。

虽然本文中已经图示和描述了特定实施例，计划实现相同目的的各种各样的代替和/或等效实施例或者实施方式可以替换所图示的以及所描述的实施例，而不脱离本发明的范围。本申请旨在涵盖本文所讨论的实施例的任何适应体或者变体。因此，明显旨在的是，根据本发明的实施例仅由权利要求及其等效限制。

Claims (20)

1.一种方法，包括：

接收包括多个像素的源图像，其中所述源图像的所述多个像素的各个像素包括与多种颜色的对应颜色相关的对应像素值，并且其中所述源图像的所述多个像素的第一像素包括与所述多种颜色的第一颜色相关的第一像素值；以及

针对所述源图像的所述多个像素的所述第一像素，估算(i)与所述多种颜色的第二颜色相关的第二像素值以及(ii)与所述多种颜色的第三颜色相关的第三像素值，其中估算所述第二像素值和所述第三像素值包括：

生成像素窗口，所述像素窗口包括(i)所述第一像素以及(ii)所述多个像素的围绕所述第一像素的像素组，

基于所述像素窗口，生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，

基于所述一个或者多个水平颜色梯度值以及所述一个或者多个垂直颜色梯度值，将所述第一像素分类为包括在所述源图像的多种类型的区域之一中，以及

基于将所述第一像素分类为包括在所述源图像的所述多种类型的区域之一中，针对所述第一像素，估算(i)与所述多种颜色的所述第二颜色相关的所述第二像素值以及(ii)与所述多种颜色的所述第三颜色相关的所述第三像素值。

2.根据权利要求1所述的方法，还包括：

使用滤色器阵列和图像传感器生成所述源图像，

其中所述图像传感器包括多个像素传感器，

其中所述滤色器阵列包括多个滤色器，

其中所述滤色器阵列的所述多个滤色器的每个滤色器被配置为输出所述多种颜色的对应颜色的光，

其中所述滤色器阵列的所述多个滤色器的每个滤色器叠加在所述图像传感器的所述多个像素传感器的对应像素传感器之上，

其中所述滤色器阵列的所述多个滤色器的第一滤色器被配置为(i)输出所述第一颜色的光并且(ii)叠加在所述图像传感器的所述多个像素传感器的第一像素传感器之上，以及

其中所述图像传感器的所述多个像素传感器的所述第一像素传感器生成所述源图像的所述第一像素的所述第一像素值。

3.根据权利要求2所述的方法，其中所述多个滤色器包括第一数目的红滤色器、第二数目的蓝滤色器、以及第三数目的绿滤色器，其中所述第三数目基本上大于所述第一数目和所述第二数目的每个数目。

4.根据权利要求1所述的方法，其中生成所述一个或者多个水平或者竖直颜色梯度值包括：

基于第一多个颜色梯度生成第一颜色梯度值，每个所述第一多个颜色梯度基于在所述多种颜色的相同对应颜色的两个或者多个对应水平或者垂直像素之间的对应色差；以及

基于第二多个颜色梯度生成第二颜色梯度值，每个所述第二多个颜色梯度基于在所述多种颜色的两种或者多种对应颜色的两个或者多个对应水平或者垂直像素之间的对应色差。

5.根据权利要求1所述的方法，其中所述源图像的所述多种类型的区域包括所述源图像的竖直边缘区、所述源图像的水平边缘区、所述源图像的非边缘区、以及所述源图像的繁杂区。

6.根据权利要求1所述的方法，其中将所述第一像素分类为包括在所述源图像的所述多种类型的区域之一中包括：

生成所述第一像素的初始分类，其中所述第一像素被初始分类为包括在所述源图像的所述多种类型的区域之一中；以及

选择性完善所述第一像素的所述初始分类以生成所述第一像素的最终分类。

7.根据权利要求6所述的方法，其中选择性完善针对所述第一像素的所述初始分类以生成所述第一像素的所述最终分类还包括：

响应于所述第一像素被初始分类为属于所述源图像的所述多种类型的区域中的第一类型的区域，完善所述第一像素的所述初始分类以生成所述第一像素的所述最终分类；以及

响应于所述第一像素被初始分类为属于所述源图像的所述多种类型的区域中的第二类型的区域，避免完善所述第一像素的所述初始分类使得所述第一像素的所述最终分类与所述第一像素的所述初始分类相同。

8.根据权利要求7所述的方法，其中：

所述源图像的所述多种类型的区域中的所述第一类型的区域包括所述源图像的所述多种类型的区域的非边缘区域；并且

所述源图像的所述多种类型的区域中的所述第二类型的区域包括所述源图像的竖直边缘区域、水平边缘区域或者繁杂区区域中的一个区域。

9.根据权利要求1所述的方法，其中所述第一颜色是红颜色或者蓝颜色中的一种颜色，其中所述第二颜色是绿颜色，并且其中估算与所述多种颜色的所述第二颜色相关的所述第二像素值包括：

响应于所述第一像素被分类为包括在所述源图像的水平边缘区域中，针对所述第一像素，基于以下项估算绿色像素值：

(i)第二像素的绿色像素值和第三像素的绿色像素值的平均，所述第二像素和所述第三像素是所述第一像素的紧邻水平相邻像素，以及

(ii)在(A)所述第一像素的所述第一像素值和(B)第四像素的像素值和第五像素的像素值的总和之间的差异，其中所述第一、第二、第三、第四和第五像素处于所述源图像的同一水平像素线中。

10.根据权利要求1所述的方法，其中所述第一颜色是红颜色或者蓝颜色中的一种颜色，其中所述第二颜色是绿颜色，并且其中估算与所述多种颜色的所述第二颜色相关的所述第二像素值包括：

响应于所述第一像素被分类为包括在所述源图像的竖直边缘区域中，针对所述第一像素，基于以下项估算所述绿色像素值：

(i)第二像素的绿色像素值和第三像素的绿色像素值的平均，所述第二像素和所述第三像素是所述第一像素的紧邻竖直相邻像素，以及

(ii)在(A)所述第一像素的所述第一像素值和(B)第四像素的像素值和第五像素的像素值的总和之间的差异，其中所述第一、第二、第三、第四和第五像素处于所述源图像的同一竖直像素线中。

11.根据权利要求1所述的方法，其中所述第一颜色是红颜色或者蓝颜色中的一种颜色，其中所述第二颜色是绿颜色，并且其中估算与所述多种颜色的所述第二颜色相关的所述第二像素值包括：

响应于所述第一像素被分类为包括在所述源图像的繁杂区域中，针对所述第一像素，通过如下步骤估算所述绿色像素值：

生成多个色差，其中每个色差基于在(i)所述像素窗口的对应第二像素的像素值和(ii)所述像素窗口的对应第三像素和对应第四像素的像素值的总和之间的差异，其中所述第三像素、所述第二像素和所述第四像素是所述源图像中的连续像素，

基于所述多个色差的每个色差的对应值将所述多个色差排序，使得所述多个色差包括(i)所述多个色差的最小色差、(ii)所述多个色差的两个或者多个中等色差、以及(iii)所述多个色差的最大色差，以及

针对所述第一像素，基于所述多个色差的所述两个或者多个中等色差的平均，估算所述绿色像素值。

12.根据权利要求1所述的方法，其中所述第一颜色是蓝颜色，其中所述第二颜色是绿颜色，其中所述第三颜色是红颜色，并且其中估算与所述多种颜色的所述第三颜色相关的所述第三像素值包括：

生成多个色差，其中每个色差与所述像素窗口的对应红色像素相关，其中每个色差基于在(i)所述像素窗口的所述对应红色像素的对应红色像素值和(ii)所述像素窗口的所述对应红色像素的估算绿色像素值之间的差异；

基于所述多个色差的每个色差的对应值将所述多个色差排序，使得所述多个色差包括(i)所述多个色差的最小色差、(ii)所述多个色差的两个或者多个中等色差、以及(iii)所述多个色差的最大色差；以及

针对所述第一像素，基于排序的所述多个色差，估算红色像素值。

13.根据权利要求12所述的方法，其中估算与所述多种颜色的所述第三颜色相关的所述第三像素值包括：

响应于所述第一像素被分类为未包括在所述源图像的繁杂区域中，针对所述第一像素，基于所述多个色差的所述两个或者多个中等色差的平均，估算所述第三像素值。

14.根据权利要求12所述的方法，其中估算与所述多种颜色的所述第三颜色相关的所述第三像素值包括：

响应于所述第一像素被分类为包括在所述源图像的所述繁杂区域中，针对所述第一像素，基于所述多个色差的所述最小色差，估算所述第三像素值。

15.一种装置，包括：

图像传感器，被配置为生成包括多个像素的源图像，其中所述源图像的所述多个像素的各个像素包括与多种颜色的对应颜色相关的对应像素值，并且其中所述源图像的所述多个像素的第一像素包括与所述多种颜色的第一颜色相关的第一像素值；以及

去马赛克模块，被配置为针对所述源图像的所述多个像素的所述第一像素估算(i)与所述多种颜色的第二颜色相关的第二像素值以及(iii)与所述多种颜色的第三颜色相关的第三像素值，其中所述去马赛克模块包括：

像素窗口生成模块，被配置为生成像素窗口，所述像素窗口包括(i)所述第一像素和(ii)所述多个像素的围绕所述第一像素的像素组，

颜色梯度生成模块，被配置为基于所述像素窗口生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，

像素分类模块，被配置为基于所述一个或者多个水平颜色梯度值和所述一个或者多个竖直颜色梯度值，将所述第一像素分类为包括在所述源图像的多种类型的区域之一中，以及

像素值估算模块，被配置为基于所述第一像素的所述分类，针对所述第一像素估算(i)与所述多种颜色的所述第二颜色相关的所述第二像素值和(ii)与所述多种颜色的所述第三颜色相关的所述第三像素值。

16.根据权利要求15所述的装置，还包括：

滤色器阵列，

其中所述图像传感器包括多个像素传感器，

其中所述滤色器阵列包括多个滤色器，

其中所述滤色器阵列的所述多个滤色器的每个滤色器被配置为输出所述多种颜色中的对应颜色的光，

其中所述滤色器阵列的所述多个滤色器的每个滤色器叠加在所述图像传感器的所述多个像素传感器的对应像素传感器之上，

其中所述滤色器阵列的所述多个滤色器的第一滤色器被配置为(i)输出所述第一颜色的光以及(ii)叠加在所述图像传感器的所述多个像素传感器的第一像素传感器之上，以及

其中所述图像传感器的所述多个像素传感器的所述第一像素传感器生成所述源图像的所述第一像素的所述第一像素值。

17.根据权利要求15所述的装置，其中所述颜色梯度生成模块被配置为通过如下步骤生成所述一个或者多个水平颜色梯度值和所述一个或者多个竖直颜色梯度值：

基于第一多个水平颜色梯度生成第一水平颜色梯度值，所述第一多个水平颜色梯度的每个水平颜色梯度基于在所述多种颜色的相同对应颜色的两个或者多个对应水平像素之间的对应色差；

基于第二多个水平颜色梯度生成第二水平颜色梯度值，所述第二多个水平颜色梯度的每个水平颜色梯度基于在所述多种颜色的两种或者多种对应颜色的两个或者多个对应水平像素之间的对应色差；

基于第一多个竖直颜色梯度生成第一竖直颜色梯度值，所述第一多个竖直颜色梯度的每个竖直颜色梯度基于在所述多种颜色的相同对应颜色的两个或者多个对应竖直像素之间的对应色差；

基于第二多个竖直颜色梯度生成第二竖直颜色梯度值，所述第二多个竖直颜色梯度的每个竖直颜色梯度基于在所述多种颜色的两种或者多种对应颜色的两个或者多个对应竖直像素之间的对应色差。

18.根据权利要求15所述的装置，其中所述源图像的所述多种类型的区域包括所述源图像的竖直边缘区、所述源图像的水平边缘区、所述源图像的非边缘区、以及所述源图像的繁杂区。

19.根据权利要求15所述的装置，其中所述像素分类模块被配置为通过如下步骤将所述第一像素分类为包括在所述源图像的所述多种类型的区域之一中：

生成所述第一像素的初始分类，其中所述第一像素被初始分类为包括在所述源图像的所述多种类型的区域之一中；以及

选择性完善所述第一像素的所述初始分类以生成所述第一像素的最终分类。

20.根据权利要求15所述的装置，其中所述装置被包括在数码相机、摄像机或者扫描仪之一中。