CN107466410B

CN107466410B - 用于原始图像处理的新边缘感测量度

Info

Publication number: CN107466410B
Application number: CN201680019100.6A
Authority: CN
Inventors: J.西村
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-03-27
Filing date: 2016-02-16
Publication date: 2021-11-05
Anticipated expiration: 2036-02-16
Also published as: CN107466410A; US20160284053A1; WO2016160154A1; US9990695B2

Abstract

描述用于执行去马赛克操作的方法、设备和系统。在一个实施例中，该设备包含：多个内插模块，执行多个内插操作，以生成用于图像区域中的不具有第一颜色的颜色像素值的多个像素位置的第一颜色的颜色像素值；第一模块，生成用于图像区域的第一颜色的颜色像素值的集合，像素值的集合中的一个或多个颜色像素值基于来自多个内插模块中的一个内插模块的第一颜色的颜色像素值来生成；以及第二模块，基于通过颜色强度梯度计算所确定的内插方向来选择一个内插模块，所述颜色强度梯度计算涉及第一颜色和至少一个其他颜色的像素值。

Description

用于原始图像处理的新边缘感测量度

技术领域

本发明的实施例涉及彩色图像处理领域；更特定地，本发明的实施例涉及使用基于色间强度的综合梯度的图像去马赛克。

背景技术

许多彩色照相装置使用图像传感器之上的滤色器阵列来捕获图像，以便仅对各像素方位的基色(红(R)、绿(G)、蓝(B))之一进行取样。更具体来说，滤色器阵列过滤入局光，使得图像传感器的各像素仅接收基色之一。常用滤色器阵列被称作Bayer型滤色器阵列，其在美国专利No. 3971065中被描述。

Bayer型滤色器阵列通常将像素有选择地传递给图像传感器，使得产生马赛克，其中其像素的二分之一为绿色，其像素的四分之一为红色，以及其像素的四分之一为蓝色。也就是说，所捕获的绿色像素G只是由图像捕获传感器所捕获的像素总数的二分之一，以及所捕获的红色像素和蓝色像素各只是由图像捕获传感器所捕获的像素总数的四分之一。

要得到颜色成分的每个的像素的完整全分辨率集合，被称作去马赛克的过程被使用以从输出自被覆盖有滤色器阵列的图像捕获传感器的颜色样本来重构全色图像。去马赛克过程的部分通常要求内插彩色图像数据。内插过程常常使用内插方向估计，以避免导致低图像质量的任何伪影。内插方向估计可使用从交叉颜色强度域所提取的梯度信息来确定。常规方法的许多使用综合梯度，其从颜色强度或色差域来提取梯度信息。在大多数情况下，它们导致精细方向估计，但是它们在图像的高频区域表现欠佳，从而导致拉链、迷宫和假色伪影。如果内插方向不精确，则分辨率通过在高频区域的错误边缘而被降级。

附图说明

通过对发明的各种实施例的以下给出的详细描述和附图，将会更全面地了解本发明，但是不应当被理解为将本发明局限于具体实施例，而是仅用于说明和理解。

图1是用于指定彩色图像处理的系统的一个实施例的框图。

图2图示Bayer型。

图3是去马赛克过程的流程图。

图4图示分辨率图表中的示例高频区域。

图5图示颜色强度域中的梯度。

图6图示色差域中的梯度。

图7图示色间强度域中的梯度。

图8是图像捕获装置的框图。

图9图示被使用于色间强度计算中的Bayer型的像素的示例。

图10图示色差域梯度的一个实施例。

具体实施方式

在以下描述中，提出许多细节，以便提供对本发明的更透彻说明。但是，本领域的技术人员将会清楚地知道，即使没有这些具体细节也可实施本发明。在其他情况下，众所周知的结构和装置以框图形式来示出而不是详细来示出，以免影响对本发明的理解。

描述去马赛克过程和设备。本文所述的技术改进去马赛克过程中所使用的内插方向估计的精度。这些技术的使用导致图像没有迷宫/方格/拉链伪影，其是常规去马赛克算法中的普遍问题。在一个实施例中，本文所述的去马赛克过程从具有滤色器阵列的图像捕获传感器所捕获的红色、绿色和蓝色像素的部分集合来生成红色、绿色和蓝色像素的全分辨率集合。图像捕获传感器捕获单色图像。各所捕获像素被指配适当颜色，并且作为那个颜色的像素来处理。

在一个实施例中，去马赛克过程采用图像捕获单元(其包括Bayer型滤色器阵列和图像捕获传感器)来执行。注意，不要求Bayer滤色器阵列的使用，以及可使用其他滤色器阵列。在一个实施例中，去马赛克过程包括两个重构过程，以创建图像区域(例如3×3区域、5×5区域、7×7区域、帧等)的像素的全分辨率集合。首先，对于产生于滤色器阵列(例如Bayer型滤色器阵列)的图像区域，图像区域的缺失绿色像素使用内插来重构。在一个实施例中，图像区域的缺失绿色像素使用内插和混合来重构。其次，红色和蓝色像素使用绿色像素、从滤色器阵列所输出的原始像素值两者以及使用内插所重构的像素值来构成。

图1图示图像捕获系统的框图。参照图1，图像捕获系统100包括图像捕获单元101，其包括具有Bayer滤色器阵列103的单芯片图像捕获传感器102。Bayer滤色器阵列103具有例如图2中所示的像素布局。在一个实施例中，图像捕获单元101捕获一帧像素。在另一个实施例中，图像捕获单元101捕获少于一帧像素。

控制器104控制帧捕获以及所捕获帧到图像处理系统105的转移。图像处理系统105执行多种技术，以改进被发送给显示单元107的图像的质量。去马赛克模块115对由图像捕获单元101所捕获的图像数据执行去马赛克。图像处理系统105包括去马赛克模块115和附加图像处理系统106。可选图像处理模块106在显示单元107上显示之前从去马赛克模块115接收经处理图像。

图3是由去马赛克模块所执行的处理的一个实施例的数据流程图。该过程可通过可包含硬件(电路系统、专用逻辑等)、软件(例如被运行于通用计算机系统或专用机器)、固件或者这三者的组合的处理逻辑来执行。在一个实施例中，图3的处理由图1的去马赛克模块115来执行。

参照图3，该过程开始于接收原始图像输入数据301。在一个实施例中，原始图像输入数据是来自图像捕获单元102的一帧像素。所接收帧中的像素因Bayer滤色器阵列103而具有图2中所示帧的像素布局。

使用所接收的原始图像输入数据301，去马赛克处理(例如去马赛克模块115)最初重构缺失绿色像素，使得图像数据301中的所有位置具有绿色像素值。在图2中，由图像捕获传感器101所捕获的绿色像素(具有绿色像素值的像素)通过字母“G”来表示(而红色像素通过字母“R”来表示，以及蓝色像素通过字母“B”来表示)。那些缺失绿色像素的像素值通过将内插应用于对图像区域已经存在的绿色像素值来生成。在一个实施例中，缺失绿色像素的多个所内插值使用由多个内插模块所应用的多种类型的内插来生成。

水平内插模块302应用水平内插操作，以生成原始图像输入301中的各缺失绿色像素位置的像素值。在一个实施例中，水平内插模块302执行水平内插操作，以便通过内插相邻位于缺失绿色像素的左边和右边的绿色像素的两个绿色像素值，来生成各缺失绿色像素的绿色像素值。

垂直内插模块303应用垂直内插操作，以生成原始图像输入301中的各缺失绿色像素位置的像素值。在一个实施例中，垂直内插模块303执行垂直内插操作，以便通过内插相邻位于缺失绿色像素的位置上方和下方的绿色像素的两个绿色像素值，来生成各缺失绿色像素的绿色像素值。

非定向内插模块304应用非定向内插操作，以生成原始图像输入301的各缺失绿色像素位置的像素值。在一个实施例中，非定向内插模块304对图像区域中的所有绿色像素(例如原始图像输入301)求平均，以创建被使用于该区域中的所有缺失绿色像素的估计绿色像素值。例如，如果3×3区域具有四个绿色像素，则缺失绿色像素的绿色像素值能够使用该四个绿色像素的值的平均数来估计。

混合模块306混合从水平内插模块302、垂直内插模块303和非定向内插模块304所输出的像素值。由混合模块306所执行的混合是基于来自综合梯度提取模块305的一个或多个控制输入(例如信号)。也就是说，综合梯度提取模块305控制水平内插模块302、垂直内插模块303和非定向内插模块304中的哪一个供应被发送给混合模块306以经受混合的所内插像素值。

注意的是，在一个实施例中，来自非所内插绿色像素(从滤色器阵列曾被输出的那些像素)的值根据水平/垂直/非定向内插块内部所使用的操作来被使用于混合模块中。在一个实施例中，所内插和非所内插绿色(G)像素值的加权所求平均形式被使用以避免伪影。例如，假定如下3×3阵列：

在中间方位G，绿色像素值已经存在，但是在一个实施例中，中心G像素的值与周围四个G像素的值的平均数相混合(或者被求平均)。

在一个实施例中，对水平或垂直像素的值执行类似操作。例如，假定如下

中心G与两个G像素的值的平均数相混合(或者被求平均)。

因此，这些能够被描述为内插结果。如果使用被设置为0(或1)的混合比，则在一个实施例中，使用3个G像素的值的简单平均数。

在一个实施例中，综合梯度提取模块305基于内插方向来确定水平内插模块302、垂直内插模块303和非定向内插模块304中的哪一个提供像素值。在一个实施例中，综合梯度提取模块305基于一个或多个度量的计算来确定内插方向。换言之，综合梯度提取模块305使用度量来估计适当内插方向，以在控制由混合模块306所执行的混合中来使用。综合梯度是不同域中的梯度的局部累加。在一个实施例中，当计算用于5×5图像区域的“综合梯度”的值时，获取从这个5×5区域所计算的梯度之和。这在图10中示出。综合梯度提取模块305基于原始图像输入301来生成用于混合模块306的控制输入。

在一个实施例中，综合梯度提取模块305执行计算以确定水平梯度得分和垂直梯度得分。基于得分的比较(其指示内插方向)，综合梯度提取模块305确定应当如何运算缺失颜色像素值。在一个实施例中，那个运算至少部分基于水平或垂直所内插的值。一般来说，内插方向被挑选成沿边缘而不是跨边缘进行内插。

在一个实施例中，与颜色强度(CI)和色差(CD)域的现有技术方法(其是本领域众所周知的)形成对照，本发明的实施例将色间强度用于综合梯度提取模块305。下面将论述这些的每个，以便为了分类的目的而更清楚地提出。

颜色强度域梯度只是各颜色通道中的梯度。这个量度的使用假定这个梯度的强度在边缘的方向上将是较小的。水平上和垂直上的颜色强度梯度能够被写作

其中，(y, x)是图像区域(例如内核，其中内核

中的(0,0)是内核

的中心)中的垂直和水平坐标；Z(y, x)指的是在(y,x)(其是图2中的中心像素)的输入原始图像；

是某个内核内的权重函数，以及在一个实施例中的范围是

，并且能够被设置为高斯函数)；

是考虑这个度量的预定义内核(例如被使用以计算梯度的图像区域)，例如相对例如图2的(y, x)的5×5图像。

色差域梯度度量假定色差沿边缘是平滑的。因此，水平和垂直色差梯度的比较将给出内插方向。水平上和垂直上的色差(色度)梯度能够被写作

其中，1/N_n、1/M_n的范围是

，配置成使不同权重适应在内核

内的不同空间方位所计算的梯度；以及n是空间方位索引，具有取决于内核

的大小的最大值。

然后，2个域类型的这些梯度与某个权重相累加，以给出用于确定内插方向和各可靠性的度量。

例如，如果

，则确定内插方向为水平，而如果

，则确定内插方向为垂直。

在高频区域，用于综合梯度提取的这两个众所周知域常常表现欠佳。图5和图6是在以图4中的被加亮显示像素为中心的高频感兴趣区域(ROI)的每个域中的梯度(其中x轴表示x坐标，线条501-503分别指示自中心的-1、0、+1偏移，并且其中y轴表示各方位的梯度值)。通过仔细查看，这些域中的梯度导致对水平梯度比垂直梯度更高的值。这意味着它们无法正确地区分水平和垂直边缘。作为结果，输出图像已经错误地在水平区域选择垂直边缘。这是在使用去马赛克算法中通常困难的图像质量问题的根本原因。

要克服这个问题，在一个实施例中，综合梯度提取模块305将色间强度域使用于使用下式的梯度计算：

其中，在一个实施例中，归一化因子1/N_n、1/M_n的范围是

，并且配置成使不同权重适应在内核

的大小的最大值。在一个实施例中，N和M由去马赛克模块设计人员基于例如相对内核的中心像素所计算的梯度的位置来挑选。注意的是，归一化因子的较高值可被使用以对其更低地加权。

色间强度域梯度将所有输入看作它们是其中构成相邻像素之间的色差的颜色通道的部分(而不是将计算限制到相同颜色通道)。换言之，颜色强度梯度计算涉及绿色像素和至少一个其他颜色(红色像素、蓝色像素)的像素值。在一个实施例中，不同权重包括更靠近中心的像素的更高权重以及远离中心的像素的更低权重。

图9图示具有图2中所示Bayer型中被加亮显示的具有3×3像素块的Bayer型的示例。将上式应用于水平梯度得分(值)，其中n等于0，

：3×3，以及N_n和M_n等于2：

因此，来自水平内插模块302(水平方向上所生成的像素值)或垂直内插模块303(垂直方向上所生成的像素值)中的任一个以用于与来自非定向内插模块304的值进行混合的缺失像素值(例如图像内核中的红色像素或蓝色像素的缺失绿色像素值)的选择是基于梯度得分。比较水平和垂直梯度得分，以确定内插方向。在一个实施例中，缺失颜色像素值在具有较低梯度得分的方向上来内插。例如，如果水平梯度得分低于垂直梯度得分，则将水平地内插缺失颜色像素值，并且因此将由混合模块306把来自水平内插模块302的像素值使用于混合中。

一旦已经确定像素的内插方向，能够运算与那个像素所关联的缺失绿色像素值。基于内插方向，混合模块306执行其混合操作。

在一个实施例中，非定向所内插像素如何与水平所内插像素相混合以及非定向所内插像素如何与垂直所内插像素相混合如下所述。例如，

能够将定向成分的权重计算为

然后，如果

低于

+余量，则能够将水平成分与非定向成分相混合，例如

，其中I_H是水平成分，以及I_N是非定向成分。

另一方面，如果

低于

+余量，则能够与垂直和非定向成分相混合。

其中I_V是垂直成分。否则，输出为I_N。

在混合已经完成之后，一旦已经内插绿色通道(即，一旦已经估计缺失绿色值)，帧中的各位置具有绿色像素G或所重构绿色像素g。此后，红色和蓝色内插模块307重构各缺失蓝色像素和各缺失红色像素。换言之，缺失红色和蓝色像素值能够至少部分基于所内插绿色值来估计。假定Bayer域中的操作，红色值对各蓝色像素保持为将被内插以及蓝色值对各红色像素保持为将被内插。红色和蓝色值两者对绿色像素均保持为将被内插。

如同上述绿色估计那样，红色和蓝色值能够水平或垂直地被内插。一旦明白了得到全分辨率G图像，则存在内插R和B的若干备选实施例。例如，如果存在全G图像并且最初原始图像描述如下：

输出OutB是最初原始图像数据的中心中的B。通过使用3×3角中的四个像素以计算(R – G)的平均数并且然后将结果与中心G的值相加，来生成输出OutR。

如果存在全G图像并且最初原始图像描述如下：

通过使用3×3区域中的中间行中的两个像素以计算(B – G)的平均数并且然后将结果与中心G相加，来生成输出OutB。

类似地，通过使用3×3区域中的中间列中的两个像素对(R – G)求平均并且然后将结果与中心G相加，来计算输出OutR。在一个实施例中，在蓝色像素的缺失红色值(或者在红色像素的缺失蓝色值)在与该像素的缺失绿色值相同的方向上来内插。例如，如果红色像素的缺失绿色值曾垂直地被内插(使用红色像素上方和下方的相邻像素的绿色像素值)，则那个红色像素的缺失蓝色像素值也将垂直地被内插(使用红色像素上方和下方的相邻像素的蓝色像素值)。

在执行红色和蓝色内插之后，输出全色图像408。输出可针对显示器(例如监视器、触摸屏等)。

如图7中所示，水平方向上的梯度稳定地比垂直方向上的梯度要小。注意的是，这个色间强度梯度度量的使用不要求Bayer型中的输入图像数据。因此，这个度量可被应用于非Bayer型中的图像数据。

如上所述，公开一种过程的一个实施例，其包括接收使用具有滤色器阵列的图像传感器所捕获的图像数据，并且对图像数据执行去马赛克操作，其包括基于使用颜色强度梯度计算(其涉及第一颜色和至少一个其他颜色的像素值)所确定的内插方向来选择所内插数据。在一个实施例中，对图像数据执行去马赛克操作包含从由滤色阵列使用基于内插为混合所选的内插数据所生成的图像数据来生成缺失绿色像素。因此，去马赛克过程重构红色、绿色和蓝色像素，使得图像区域(例如每个帧)中的各位置不仅具有从滤色器阵列所输出的最初所捕获像素值，而且还具有两个所重构像素值。

图8图示按照一个实现的便携图像捕获装置100。成像装置100含有系统板2。板2可包括多个组件，其中包括但不限于处理器4和至少一个通信封装6。通信封装可被耦合到一个或多个天线16。处理器4被物理和电耦合到板2。

取决于其应用，图像捕获装置100可包括其他组件，其可以或者可以不被物理和电耦合到板2。这些其他组件包括但不限于易失性存储器(例如DRAM)8、非易失性存储器(例如ROM)9、闪速存储器(未示出)、图形处理器12、数字信号处理器(未示出)、密码处理器(未示出)、芯片组14、天线16、显示器18(例如触摸屏显示器)、触摸屏控制器20、电池22、音频编解码器(未示出)、视频编解码器(未示出)、功率放大器24、全球定位系统(GPS)装置26、指南针28、加速计(未示出)、陀螺仪(未示出)、扬声器30、一个或多个照相装置32、话筒阵列34和大容量存储装置(例如硬盘驱动器)10、致密光盘(CD)(未示出)、数字多功能光盘(DVD)(未示出)等)。这些组件可被连接到系统板2、被安装到系统板或者与其他组件的任一个相结合。

照相装置阵列可被耦合到图像芯片36(例如成像信号处理器)，以及直接地或者经过图像芯片来耦合到处理器4。图像芯片可采取多种不同形式，例如图形协处理器或者独立专用成像管理模块。这种模块或装置可包含可操作以捕获、处理、编辑、压缩、存储、打印和/或显示一个或多个图像的逻辑、算法和/或指令。这些过程可包括降噪、图像识别、图像增强和本文所述的其他过程。在一些实施例中，成像管理模块可包含被实现为成像应用或操作系统内的软件的编程例程、功能和/或过程。在各种其他实施例中，成像管理模块可被实现为独立芯片或集成电路，或者被实现为处理器内、CPU内、图形芯片或其他集成电路或芯片内或者照相装置模块内所包含的电路系统。

通信封装6实现用于向/从视频装置100转移数据的无线和/或有线通信。术语“无线”及其派生可被用来描述可通过经由非固态介质使用所调制电磁辐射来传输数据的电路、装置、系统、方法、技术、通信信道等。该术语并不是暗示所关联装置没有包含任何导线，但在一些实施例中它们可能没有包含导线。通信封装6可实现多个无线或有线标准或协议的任一个，包括但不限于Wi-Fi(IEEE 802.11系列)、WiMAX(IEEE 802.16系列)、IEEE802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、以太网及其派生以及被指定为3G、4G、5G和以上的任何其他无线和有线协议。视频装置100可包括多个通信封装6。例如，第一通信封装6可被专用于短程无线通信(例如Wi-Fi和蓝牙)，以及第二通信封装6可被专用于长程无线通信(例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO以及其他)。

照相装置32可包括照相装置的全部组件或者与其他视频装置组件和功能共享资源(例如存储器8、9和10，处理4以及用户界面12和20)。处理器4被耦合到照相装置以及到存储器，以接收帧并且产生所增强图像。在一个实施例中，照相装置32包括上述(一个或多个)图像捕获传感器和滤色器阵列。在一个实施例中，照相装置32还包括图像处理系统，如上所述。

在各种实现中，图像捕获装置100可以是摄像机、数字单镜头反射或无反光镜照相机、蜂窝电话、媒体播放器、膝上型计算机、上网本、笔记本、超级本、智能电话、可穿戴装置、平板、个人数字助理(PDA)、超级移动PC或者数码录像机。图像捕获装置可以是固定、便携或可穿戴的。在其他实现中，图像捕获装置100可以是记录图像帧序列并且处理数据的任何其他电子装置。

在第一示例实施例中，设备包含：多个内插模块，执行多个内插操作，以生成用于图像区域中的不具有第一颜色的颜色像素值的多个像素位置的第一颜色的颜色像素值；第一模块，生成用于图像区域的第一颜色的颜色像素值集合，像素值集合中的一个或多个颜色像素值基于来自多个内插模块中的一个内插模块的第一颜色的颜色像素值来生成；以及第二模块，基于通过颜色强度梯度计算所确定的内插方向来选择一个内插模块，所述颜色强度梯度计算涉及第一颜色和至少一个其他颜色的像素值。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中第一模块是混合模块，其把来自由第二模块所选的一个内插模块的像素值与多个内插模块的第二内插模块相混合。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中多个内插模块包含：水平内插模块，通过在图像区域中的具有缺失颜色像素值的各位置的第一相邻位置内插两个像素值来执行水平内插操作，第一相邻位置在具有缺失颜色像素值的位置的左边和右边；垂直内插模块，通过在图像区域中的具有缺失颜色像素值的所述各位置的第二相邻位置内插两个像素值来执行垂直内插操作，第二相邻位置在具有缺失颜色像素值的位置上方和下方；以及非定向内插模块，执行非定向内插操作，以生成用于图像区域中的缺失颜色像素值的每个的像素值。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中第二模块可操作以便将水平内插模块或垂直模块第二模块选择作为一个内插模块；以及混合模块可操作以便把来自一个内插模块的像素值与来自非定向内插模块的像素值相混合。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中非定向内插模块可操作以执行求平均操作，以便对图像区域中的第一颜色的像素值集合求平均，以产生图像区域中的所述各缺失颜色像素值。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中第二模块将色间强度域使用于梯度计算。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中梯度计算包含水平梯度得分和垂直梯度得分，并且进一步其中第二模块要基于水平和垂直梯度得分的比较来选择一个内插模块。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中图像区域的像素值来自滤色器阵列的输出。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括其中滤色器阵列是Bayer滤色器阵列。

在另一个示例实施例中，第一示例实施例的主题可选地能够包括第三模块，以生成用于图像区域的第二颜色和第三颜色的缺失颜色像素值。

在第二示例实施例中，系统包含：图像捕获单元，具有滤色器阵列和图像捕获传感器；以及图像处理单元，包含去马赛克模块，其具有多个内插模块，执行多个内插操作，以生成用于图像区域中的不具有第一颜色的颜色像素值的多个像素位置的第一颜色的颜色像素值，第一模块，生成用于图像区域的第一颜色的颜色像素值集合，像素值集合中的一个或多个颜色像素值基于来自多个内插模块中的一个内插模块的第一颜色的颜色像素值来生成；以及第二模块，基于通过颜色强度梯度计算所确定的内插方向来选择一个内插模块，所述颜色强度梯度计算涉及第一颜色和至少一个其他颜色的像素值。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中第一模块是混合模块，其把来自由第二模块所选的一个内插模块的像素值与多个内插模块的第二内插模块相混合。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中多个内插模块包含：水平内插模块，通过在图像区域中的具有缺失颜色像素值的各位置的第一相邻位置内插两个像素值来执行水平内插操作，第一相邻位置在具有缺失颜色像素值的位置的左边和右边；垂直内插模块，通过在图像区域中的具有缺失颜色像素值的所述各位置的第二相邻位置内插两个像素值来执行垂直内插操作，第二相邻位置在具有缺失颜色像素值的位置上方和下方；以及非定向内插模块，执行非定向内插操作，以生成用于图像区域中的缺失颜色像素值的每个的像素值。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中第二模块可操作以便将水平内插模块或垂直模块第二模块选择作为一个内插模块；以及混合模块可操作以便把来自一个内插模块的像素值与来自非定向内插模块的像素值相混合。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中第二模块将色间强度域使用于梯度计算。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中梯度计算包含水平梯度得分和垂直梯度得分，并且进一步其中第二模块要基于水平和垂直梯度得分的比较来选择一个内插模块。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括第三模块，以生成用于图像区域的第二颜色和第三颜色的缺失颜色像素值。

在另一个示例实施例中，第二示例实施例的主题可选地能够包括其中滤色器阵列包含Bayer滤色器阵列。

在第三示例实施例中，一种方法包含接收使用具有滤色器阵列的图像传感器所捕获的图像数据，并且对图像数据执行去马赛克操作，包括基于使用颜色强度梯度计算(其涉及第一颜色和至少一个其他颜色的像素值)所确定的内插方向来选择所内插数据。

在另一个示例实施例中，第三示例实施例的主题可选地能够包括其中对图像数据执行去马赛克操作包含从由滤色阵列使用基于内插方向为混合所选的内插数据所生成的图像数据来生成缺失绿色像素。

在另一个示例实施例中，第三示例实施例的主题可选地能够包括其中对图像数据执行去马赛克操作包含将色间强度域使用于梯度计算。

在另一个示例实施例中，第三示例实施例的主题可选地能够包括使用图像传感器和滤色器阵列来捕获图像数据。

在第四示例实施例中，一种制造产品具有存储指令的一个或多个非暂时计算机可读介质，指令在由系统来运行时使系统执行方法，所述方法包含：接收使用具有滤色器阵列的图像传感器所捕获的图像数据；以及对图像数据执行去马赛克操作，包括基于使用颜色强度梯度计算(其涉及第一颜色和至少一个其他颜色的像素值)所确定的内插方向来选择所内插数据。

在另一个示例实施例中，第四示例实施例的主题可选地能够包括其中对图像数据执行去马赛克操作包含从由滤色阵列使用基于内插方向为混合所选的内插数据所生成的图像数据来生成缺失绿色像素。

以上所述的详细描述的一些部分根据对计算机存储器内的数据位的操作的算法和符号表示来呈现。这些算法描述和表示是由数据处理领域的技术人员所使用以向本领域的其他技术人员最有效地传达其工作主旨的方式。算法在此以及一般被认为是引起预期结果的自洽步骤序列。步骤是要求物理量的物理操控的那些步骤。这些量通常但不一定采取能够被存储、转移、组合、比较以及以其他方式来操控的电或磁信号的形式。主要为了一般使用的原因，将这些信号称作位、值、元素、符号、字符、项、编号或诸如此类，已经被证明有时非常便利。

但是应当记住，所有这些及类似项将与适当的物理量来关联，并且只是被应用于这些量的便捷标签。除非另外具体来说明，否则如从以下论述显而易见的，在整个描述中，应该理解利用例如“处理”或“运算”或“计算”或“确定”或“显示”或诸如此类的术语的论述指的是计算机系统或类似电子运算装置的动作和过程，其中所述计算机系统或类似电子运算装置操控被表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其变换为类似地被表示为计算机系统存储器或寄存器或者其他这种信息存储、传送或显示装置内的物理量的其他数据。

本发明还涉及用于执行本文的操作的设备。这种设备可专门被构造用于所需目的，或者其可包含通过计算机中所存储的计算机程序有选择地来激活或重新配置的通用计算机。这种计算机程序可被存储在计算机可读存储介质中，例如但不限于：任何类型的磁盘，包括软盘、光盘、CD-ROM和磁光盘；只读存储器(ROM)、随机存取存储器(RAM)，EPROM、EEPROM、磁或光卡；或者适合于存储电子指令的任何类型的介质；并且上述每个均被耦合到计算机系统总线。

本文所呈现的算法和显示并不是固有地与任何特定计算机或其他设备相关。各种通用系统可与按照本文教导的程序配合来使用，或者构建更专门的设备来执行所需方法步骤可证明是便利的。多种这类系统的所需结构将从以下描述来显现。另外，没有参照任何特定编程语言来描述本发明。将会理解，多种编程语言可被用于实现如本文所述的本发明的教导。

机器可读介质包括用于存储或传送由机器(例如计算机)可读的形式的信息的任何机制。例如，机器可读介质包括只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪速存储器装置等。

虽然在阅读以上描述之后，本发明的许多变更和修改对本领域的技术人员当然变得非常清楚，但是将要理解，作为说明所示和所述的任何特定实施例决不是意在被理解是限制的。因此，提到各种实施例的细节并不是意在限制权利要求书的范围，其本身之中仅列举被认为是本发明的要点的那些特征。

Claims

1.一种与图像处理图像数据一起使用的设备，所述设备包含：

多个内插模块，执行多个内插操作，以生成用于图像区域中的不具有第一颜色的颜色像素值的多个像素位置的所述第一颜色的颜色像素值，其中所述多个内插模块包含：执行水平内插操作的水平内插模块，执行垂直内插操作的垂直内插模块，以及执行非定向内插操作的非定向内插模块；

第一模块，生成用于所述图像区域的所述第一颜色的颜色像素值的集合，像素值的所述集合中的一个或多个颜色像素值基于来自所述多个内插模块中的一个内插模块的所述第一颜色的颜色像素值来生成；以及

第二模块，基于通过颜色强度梯度计算所确定的内插方向来选择所述一个内插模块，所述颜色强度梯度计算涉及所述第一颜色和至少一个其他颜色的像素值，其中所述第二模块操作以便将所述水平内插模块或所述垂直内插模块选择为所述一个内插模块，并且其中，所述第一模块是混合模块，所述混合模块操作以便把来自所述一个内插模块的像素值与来自所述非定向内插模块的像素值相混合。

2.如权利要求1所述的设备，其中，所述水平内插模块，通过在所述图像区域中的具有缺失颜色像素值的各位置的第一相邻位置内插两个像素值来执行所述水平内插操作，所述第一相邻位置在具有所述缺失颜色像素值的所述位置的左边和右边；

其中，所述垂直内插模块，通过在所述图像区域中的具有所述缺失颜色像素值的所述各位置的第二相邻位置内插两个像素值来执行所述垂直内插操作，所述第二相邻位置在具有所述缺失颜色像素值的所述位置的上方和下方；以及

其中，所述非定向内插模块执行所述非定向内插操作，以生成用于所述图像区域中的所述缺失颜色像素值的每个的像素值。

3.如权利要求1所述的设备，其中，所述非定向内插模块操作以执行求平均操作，以便对所述图像区域中的所述第一颜色的像素值的集合求平均，以产生所述图像区域中的各缺失颜色像素值。

4.如权利要求1所述的设备，其中，所述第二模块将色间强度域使用于所述梯度计算。

5.如权利要求1所述的设备，其中，所述梯度计算包含水平梯度得分和垂直梯度得分，并且进一步其中所述第二模块要基于所述水平梯度得分和所述垂直梯度得分的比较来选择所述一个内插模块。

6.如权利要求1所述的设备，其中，所述图像区域的所述像素值来自滤色器阵列的输出。

7.如权利要求1所述的设备，还包含第三模块，以生成用于所述图像区域的第二颜色和第三颜色的缺失颜色像素值。

8.一种与图像处理图像数据一起使用的系统，所述系统包含：

图像捕获单元，具有滤色器阵列和图像捕获传感器；以及

图像处理单元，包含去马赛克模块，所述去马赛克模块具有：

9.如权利要求8所述的系统，其中，所述水平内插模块通过在所述图像区域中的具有缺失颜色像素值的各位置的第一相邻位置内插两个像素值来执行所述水平内插操作，所述第一相邻位置在具有所述缺失颜色像素值的所述位置的左边和右边；

其中，所述垂直内插模块，通过在所述图像区域中的具有所述缺失颜色像素值的所述各位置的第二相邻位置内插两个像素值来执行所述垂直内插操作，所述第二相邻位置在具有所述缺失颜色像素值的所述位置上方和下方；以及

10.如权利要求8所述的系统，其中，所述第二模块将色间强度域使用于梯度计算。

11.如权利要求8所述的系统，其中，所述梯度计算包含水平梯度得分和垂直梯度得分，并且进一步其中所述第二模块要基于所述水平梯度得分和所述垂直梯度得分的比较来选择所述一个内插模块。

12.如权利要求8所述的系统，还包含第三模块，以生成用于所述图像区域的第二颜色和第三颜色的缺失颜色像素值。

13.一种用于对图像数据执行图像处理的方法，所述方法包含：

接收使用具有滤色器阵列的图像传感器所捕获的图像数据；以及

对所述图像数据执行去马赛克操作，包括基于使用颜色强度梯度计算所确定的内插方向来选择所内插数据，所述颜色强度梯度计算涉及第一颜色和至少一个其他颜色的像素值，

其中对所述图像数据执行去马赛克操作进一步包含：基于所述内插方向把来自水平内插模块或垂直内插模块的像素值与来自非定向内插模块的像素值相混合。

14.如权利要求13所述的方法，其中，对所述图像数据执行去马赛克操作包含：从由所述滤色阵列使用基于所述内插方向为混合所选的内插数据所生成的所述图像数据来生成缺失绿色像素。

15.如权利要求13所述的方法，其中，对所述图像数据执行去马赛克操作包含将色间强度域使用于所述梯度计算。

16.一种具有存储指令的一个或多个非暂时计算机可读介质的制造产品，所述指令在由系统运行时使所述系统执行用于对图像数据执行图像处理的方法，所述方法包含：

其中，对所述图像数据执行去马赛克操作进一步包含：基于所述内插方向把来自水平内插模块或垂直内插模块的像素值与来自非定向内插模块的像素值相混合。

17.如权利要求16所述的制造产品，其中，对所述图像数据执行去马赛克操作包含从由所述滤色阵列使用基于所述内插方向为混合所选的内插数据所生成的所述图像数据来生成缺失绿色像素。

18.如权利要求16所述的制造产品，其中，对所述图像数据执行去马赛克操作包含将色间强度域使用于所述梯度计算。

19.一种用于对图像数据执行图像处理的设备，所述设备包含：

用于接收使用具有滤色器阵列的图像传感器所捕获的图像数据的部件；以及

用于对所述图像数据执行去马赛克操作的部件，包括用于基于使用颜色强度梯度计算所确定的内插方向来选择所内插数据的部件，所述颜色强度梯度计算涉及第一颜色和至少一个其他颜色的像素值，

其中，所述用于对所述图像数据执行去马赛克操作的部件进一步包含：用于基于所述内插方向把来自水平内插模块或垂直内插模块的像素值与来自非定向内插模块的像素值相混合的部件。

20.如权利要求19所述的设备，其中，用于对所述图像数据执行去马赛克操作的部件包含用于从由所述滤色阵列使用基于所述内插方向为混合所选的内插数据所生成的所述图像数据来生成缺失绿色像素的部件。

21.如权利要求19所述的设备，其中，用于对所述图像数据执行去马赛克操作的部件包含用于将色间强度域使用于所述梯度计算的部件。