CN116347186A - 用于图像去马赛克的装置和方法 - Google Patents

Abstract

提供一种用于图像去马赛克的方法和处理装置。所述处理装置包括存储器和处理器。所述处理器被配置成针对使用三个颜色分量对获取的图像滤色的拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。

Description

用于图像去马赛克的装置和方法

背景技术

数字成像使用由单个光电传感器组成的图像传感器，这些图像传感器捕获在每个光电传感器接收到的光的强度(即，亮度信息)，但是不能捕获光的选定波长(即，颜色信息)。因此，图像传感器通常覆盖有由单个滤色器组成的滤色器阵列以呈现颜色信息。

每个光电传感器对应于图像的像素，所述像素具有用于表示在每个光电传感器接收到的光的亮度和颜色的亮度值和色值。滤色器阵列覆盖光电传感器以捕获在每个光电传感器接收到的光的颜色信息。根据多种不同的RAW格式，像素的色值被存储为原始数据(即，未经内插、编码或压缩的数据)。

附图说明

能够从结合附图以举例方式给出的以下描述中获得更详细的理解，在附图中：

图1是示例装置的框图，本公开的一个或多个特征能够在所述示例装置中实现；

图2是图1的装置的框图，图示出额外的细节；

图3图示处理装置的示例部件的框图，本公开的一个或多个特征能够在所述处理装置中实现；

图4是图示根据本公开的特征的经由ISP流水线来处理图像的示例流程的框图；

图5是图像传感器的拜耳滤色器阵列的示例部分的图解；

图6是图示根据本公开的特征的图像去马赛克的示例方法的流程图；

图7是图示根据本公开的特征的确定水平斜率和偏移以及垂直斜率和偏移的示例方法的流程图；

图8是用于实现本公开的特征的拜耳图像的示例部分的图解；

图9A图示拜耳图像的部分的像素位置处的水平色差；并且

图9B图示拜耳图像的部分的像素位置处的垂直色差。

具体实施方式

常规图像信号处理(ISP)流水线的输入数据是包括像素的滤色后图像数据的帧。ISP流水线的典型部件包括颜色插值(即，针对每个像素内插红色(R)、绿色(G)和蓝色(B)值)、颜色校正(即，校正色值)、伽马校正(即，从线性空间变到非线性空间)以及色空间转换(例如，从 RGB颜色格式变换成YUV格式)。更复杂的ISP流水线还包括降噪、镜头阴影补偿、使用3维查找表(3DLUT)用于映射色空间、图像锐化、图像裁剪以及图像缩放。然后能够视应用而对YUV像素数据进行压缩、传输、解码和显示。

图像传感器通常包括拜耳滤色器阵列。相应地，拜耳滤色器阵列的图像传感器的输出为滤色后数据。对于ISP流水线，然后通过特定的插值技术将原始图像滤色后数据转换为全彩色图像，所述插值技术是针对拜耳滤色器阵列的图案定制的。

拜耳图像(由拜耳滤色器阵列产生的滤色后图像)使用三个颜色分量(例如，R、G和B)来表示像素。帧的每个像素由三个颜色分量中的一种表示，而其他两个颜色分量从每个对应的像素丢失。ISP流水线包括去马赛克过程，所述过程对丢失的颜色进行内插并且将拜耳图像转换为3色平面中的全分辨率彩色图像以进行显示。

用于内插拜耳图像(由拜耳滤色器阵列产生的图像)的像素的常规去马赛克算法和ISP处理装置通常导致遭受以下项的输出彩色图像或视频帧：丢失精细结构(例如，边缘模糊)、拉链作用(例如，交替的图案)和高频内容(在空间中快速变化的像素值)，这些在图像中引入伪影。

举例来说，常规去马赛克(即，插值)技术包括使用预先设计的滤波器，这些滤波器被应用于拜耳图像的滑动窗口。视滤色器阵列的输出而定，每个像素被分为几个类别，例如平坦区域、纹理区域和边缘区域。然后，根据分类结果，采用不同的去马赛克算法(即，插值算法) 来重建丢失的颜色分量。然而，这些技术效率低下，因为滤波器必须设计良好，分类器需要各种场景下的微调参数以正确区分不同区域，并且不同区域的插值方法需要仔细设计。

另外，因为对拜耳图像的一个颜色分量(通常是G分量)比其他两个颜色分量(例如，R分量和B分量)被采样得更多，并且提供比R分量和B分量更精确的梯度，所以常规去马赛克算法首先内插丢失的G 分量，然后使用全分辨率G分量以内插R分量和B分量，从而需要额外的时钟周期和更多的功耗才能完成。

本公开的特征包括使用单向线性模型和方向权重融合对拜耳图像去马赛克的处理装置和方法。

提供一种图像处理装置，所述图像处理装置包括存储器和处理器。所述处理器被配置成针对使用三个颜色分量对获取的图像进行滤波的拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于方向色差权重来确定第一颜色分量与第二颜色之间的色差和第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。

提供一种图像去马赛克的方法，所述方法包括针对拜耳图像的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二颜色分量与第三颜色分量之间的色差；根据一个颜色分量和所述色差来内插所述像素的色值；以及提供彩色图像以进行显示。

提供一种图像处理装置，所述图像处理装置包括：图像捕获装置，所述图像捕获装置被配置成捕获图像；以及图像传感器，所述图像传感器包括拜耳滤色器阵列，所述拜耳滤色器阵列被配置成根据第一颜色分量、第二颜色分量和第三颜色分量对所述图像进行滤波。所述图像处理装置还包括处理器，所述处理器被配置成针对所述拜耳图像的被表示为所述第一颜色分量、所述第二颜色分量和所述第三颜色分量中的一个的像素进行以下操作：确定水平方向和垂直方向上的方向色差权重；基于所述方向色差权重来确定所述第一颜色分量与所述第二颜色分量之间的色差和所述第二颜色分量与所述第三颜色分量之间的色差；以及根据一个颜色分量和所述色差来内插所述像素的色值

图1是示例装置100的框图，本公开的一个或多个特征能够在所述示例装置中实现。装置100能够包括例如计算机、游戏装置、手持式装置、机顶盒、电视机、移动电话或平板计算机。装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108以及一个或多个输出装置110。装置100还能够任选地包括输入驱动器112 和输出驱动器114。应当理解，装置100能够包括图1未示出的额外部件。

在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一管芯上的CPU和GPU，或一个或多个处理器核，其中每个处理器核能够是CPU或GPU。在各种替代方案中，存储器104与处理器102位于同一管芯上，或与处理器102分开地定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器 (RAM)、动态RAM或高速缓存。

存储装置106包括固定或可移动存储装置，例如硬盘驱动器、固态驱动器、光盘或快闪驱动器。输入装置108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、传声器、加速计、陀螺仪、生物特征扫描仪或网络连接件(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。输出装置110包括但不限于显示器、扬声器、打印机、触觉反馈装置、一个或多个灯、天线或网络连接件(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。

输入驱动器112与处理器102和输入装置108通信，并且容许处理器102接收来自输入装置108的输入。输出驱动器114与处理器 102和输出装置110通信，并且容许处理器102将输出发送到输出装置110。注意，输入驱动器112和输出驱动器114为任选部件，并且装置100在输入驱动器112和输出驱动器114不存在的情况下将以相同方式操作。输出驱动器116包括联接到显示装置118的加速处理装置(“APD”)116。APD接受来自处理器102的计算命令和图形渲染命令，处理那些计算命令和图形渲染命令，并且将像素输出提供给显示装置118以进行显示。如下文更详细地描述，APD 116包括一个或多个并行处理单元，所述一个或多个并行处理单元用于根据单指令多数据(“SIMD”)范式执行计算。因此，虽然各种功能性在本文中被描述为由APD 116执行或与其结合来执行，但是在各种替代方案中，被描述为由APD 116执行的功能性另外地或替代地由具有类似能力的其他计算装置执行，所述其他计算装置不由主机处理器(例如，处理器 102)驱动并且将图形输出给显示装置118。举例来说，可以设想，根据SIMD范式执行处理任务的任何处理系统可执行本文中描述的功能性。替代地，可以设想，不根据SIMD范式来执行处理任务的计算系统执行本文中描述的功能性。

图2是装置100的框图，图示出与在APD 116上执行处理任务有关的额外细节。处理器102在系统存储器104中保持供处理器102 执行的一个或多个控制逻辑模块。所述控制逻辑模块包括操作系统 120、内核模式驱动程序122和应用程序126。这些控制逻辑模块控制处理器102和APD 116的操作的各种特征。举例来说，操作系统 120直接与硬件通信，并且为在处理器102上执行的其他软件提供到硬件的接口。内核模式驱动程序122通过例如提供到在处理器102上执行以访问APD 116的各种功能性的软件(例如，应用程序126)的应用程序编程接口(“API”)来控制APD 116的操作。内核模式驱动程序 122还包括即时编译器，所述即时编译器编译程序以供APD 116的处理部件(例如在下文更详细地论述的SIMD单元138)执行。

APD 116执行选定功能的命令和程序，例如可适合于并行处理的 ISP操作和图形操作。APD 116能够用于基于从处理器102接收到的命令来执行ISP流水线操作，例如像素操作(例如，通道重采样和插值)、几何计算和将图像渲染到显示装置118。APD 116还基于从处理器102接收到的命令来执行与ISP操作和图形操作不直接相关的计算处理操作，例如与物理模拟、计算流体动力学或其他任务相关的操作。

APD 116包括计算单元132，所述计算单元包括一个或多个SIMD 单元138，所述一个或多个SIMD单元根据SIMD范式以并行方式执行处理器102所请求的操作。SIMD范式是这样一种范式：多个处理元件共享单个程序控制流单元和程序计数器，并且因此执行相同的程序，但是能够用不同数据执行所述程序。在一个实例中，每个SIMD 单元138包括十六个通道，其中每个通道与SIMD单元138中的其他通道同时执行同一指令，但是能够用不同数据执行所述指令。如果并非所有通道都需要执行给定指令，则能够利用预测来关闭通道。预测还能够用于执行具有发散控制流的程序。更具体地，对于具有条件分支或其他指令的程序，其中控制流基于由单个通道执行的计算，与当前未执行的控制流路径对应的通道的预测和不同控制流路径的串行执行允许任意的控制流。

计算单元132中的基本执行单位是工作项。每个工作项代表将在特定通道中并行地执行的程序的单个实例。工作项能够作为“波前”在单个SIMD处理单元138上同时地执行。一个或多个波前包括在“工作组”中，所述工作组包括被指定执行同一程序的工作项的集合。工作组能够通过执行构成工作组的波前中的每一者来执行。在替代方案中，波前在单个SIMD单元138上顺序地执行，或者在不同的SIMD 单元138上部分地或完全地并行执行。波前能够被视为能够在单个 SIMD单元138上同时执行的工作项的最大集合。因此，如果从处理器102接收到的命令指示特定程序将被并行化到所述程序不能在单个SIMD单元138上同时执行的程度，则所述程序被分解成在两个或更多个SIMD单元138上并行化或在同一SIMD单元138上串行化 (或根据需要并行化且串行化)的波前。调度器136执行与调度不同计算单元132和SIMD单元138上的各种波前相关的操作。

由计算单元132提供的并行性适合于ISP和图形相关的操作，例如像素值计算、像素值内插、顶点变换以及其他ISP和图形操作。因此，在一些实例中，接受来自处理器102的ISP处理命令的ISP流水线134将计算任务提供给计算单元132以并行执行。

计算单元132还用于执行与ISP和图形无关或不作为ISP流水线 134的“正常”操作的一部分执行的计算任务(例如，补充为ISP流水线 134的操作执行的处理所执行的自定义操作)。在处理器102上执行的应用程序126或其他软件将定义此类计算任务的程序传输到APD 116 以供执行。

图3图示处理装置300的示例部件的框图，本公开的一个或多个特征能够在所述处理装置中实现。如图3所示，处理装置300包括处理器302、存储器304和相机306。相机306包括镜头308、图像传感器310和图像信号处理器318。图像传感器310包括传感器像素 312、读出电路314(例如，包括模数转换器(ADC)电路)和拜耳滤色器阵列316。在一些实例中，图像处理器318被集成为处理器302的一部分，而不是相机306。

镜头308包括收集从物体反射的光和/或从光源直接透射的光的单个透镜或透镜组合件。图像传感器310例如是基于互补金属氧化物半导体(CMOS)的图像传感器，其包括单元阵列，每个单元对应于图像的像素(即，帧)。图像传感器310被配置成将像素暴露于穿过镜头 308的光。穿过每个单元的相应滤色器阵列316并且在每个单元处捕获的光被转换成具有值(即，累积电荷)的电子。在读出时间期间，每个单元的电荷(即，模拟值)被读出，并且被发送到读出电路314，所述读出电路将模拟值转换成数字值。

图像处理器318控制图像传感器310的曝光时序(例如，每一帧的曝光之间或帧的多个行之间的延迟时间段)，使得每个读出时间段的开始之间的时间差至少足够读出电路读出每一行。视频的帧率也通过控制每一帧的行的曝光时序来控制。

处理器302被配置成控制图像传感器310(例如，经由图像处理器318)和图像处理器318的曝光时序。处理器302还被配置成执行如本文中描述的多个功能。举例来说，处理器302被配置成使用单向线性模型和方向权重融合来内插拜耳图像的丢失像素色值。

处理器302还与显示装置118通信(例如，与控制显示装置118 的操作的显示控制器(未示出)通信)以显示由相机306捕获的图像。

图4是图示根据本公开的特征的经由ISP流水线134来处理图像的示例流程的框图。如图4的块402所示，在流水线134处接收原始图像数据。原始图像数据是由图像传感器310产生的滤色后数据。

在块404重采样原始图像数据(例如，未处理的数据)，并且在块 406由拜耳滤色器阵列316根据拜耳HDR格式(即，HDR融合)对所述原始图像数据进行拜耳滤波以产生拜耳图像。

图5是图像传感器500的示例部分的图解，所述示例部分包括拜耳滤色器阵列502(即，拜耳滤色器马赛克)和像素传感器阵列504。拜耳滤色器阵列502(即，图5所示的图像传感器500的前部)包括定义滤色器图案的多个滤色器502a。像素传感器阵列504(即，图5所示的图像传感器500的后部)包括多个光电传感器或像素传感器(即，像素)504a。每个滤色器502a设置在像素传感器阵列504的像素504a 上方以捕获拜耳图像中每个相应像素504a的颜色信息。图5所示的拜耳滤色器阵列502的部分包括5列和5行滤色器的阵列(即，5x5 块)。图5所示的拜耳滤色器阵列502的部分的大小仅为用于简化解释的实例。

滤色器502a根据波长范围来过滤由像素传感器504a感测到的光，使得单独的过滤强度包括关于光的颜色的信息。拜耳滤色器阵列 502提供关于R、G和B波长区域中的光强度的信息。即，图像的每个像素504a的光被过滤以记录三个不同的颜色分量(即，图5所示的第一颜色分量、第二颜色分量和第三颜色分量)中的一者。

三个不同的颜色分量包括R分量、G分量和B分量。通常，第二颜色分量被选为G分量，它是亮度的主要部分，而第一颜色分量和第三颜色分量分别对应于R分量和B分量。因此，如图5处的滤色器图案所示，对于每个2x2块506，第二颜色分量(例如，G分量)被采样的次数是第一分量(例如，R分量)和第二颜色分量(例如，B分量) 的两倍。得到的原始滤色后数据被称为拜耳图案图像(即，拜耳图像)。因为每个像素504a被过滤以仅记录三个颜色中的一个，所以拜耳图像中的每个像素504a的颜色信息不能代表像素502a的R、G和B色值。因此，在块408，通过使用根据对应颜色的周围像素估计每个像素的色值的去马赛克算法，对拜耳图像的像素504a进行颜色内插。

在对拜耳图像进行颜色内插之后，根据图4所示的ISP流水线 410、412、414和416的其他部件来处理像素504a。即，像素将在块 410进行颜色校正，并且在块412进行伽马校正。然后在块414执行色空间转换以将像素504a从RGB色空间转换为块416处的YUV色空间。在更复杂的ISP流水线中，额外的图像处理块能够添加到ISP 流水线134(例如，在ISP流水线134中的块402、404、406、408、410、412、414以及416中的任意两个之间添加)。然后图像被传输、解码并且显示在例如图1所示的显示装置118的显示装置上。

如上所述，用于内插拜耳图像中的像素的像素颜色的常规去马赛克技术(即，图4中的块408处的颜色内插)包括使用应用于拜耳图像上的滑动窗口的预先设计的滤波器。视拜耳滤色器阵列502的输出而定，每个像素504a被分为几个类别，例如平坦区域、纹理区域和边缘区域。然后，根据分类结果，采用不同的去马赛克算法(即，插值算法)来重建丢失的颜色分量。然而，这些技术效率低下，因为滤波器必须设计良好，分类器需要各种场景下的微调参数以正确区分不同区域，并且不同区域的插值方法需要仔细设计。

此外，第二颜色分量(例如，G分量)比第一颜色分量(例如，R分量)和第三颜色分量(例如，B分量)采样得更多，并且提供比第一颜色分量和第三颜色分量更精确的梯度。因此，常规去马赛克算法首先内插丢失的第二颜色分量(例如，G分量)，然后使用全分辨率第二颜色分量来内插第一颜色分量和第三颜色分量，从而需要额外的时钟周期和更多的功耗才能完成。

如下文参考图6到图9B更详细地描述的，本公开的特征包括使用单向线性模型和方向权重融合对拜耳图像去马赛克的处理装置和方法。

图6是图示根据本公开的特征的图像去马赛克的示例方法的流程图；

如块602所示，方法600包括获得拜耳图像。举例来说，由处理器(例如，图3中的处理器302)接收从如图5所示的拜耳滤色器阵列 500产生的拜耳图像。

在块603，对拜耳图像的每个像素位置执行块604到618。如块 604所示，方法600包括使用线性模型来确定水平斜率和偏移以及垂直斜率和偏移。

图7和图8一起用于描述确定在块604示出的拜耳图像的水平和垂直斜率和偏移。图7是图示确定在图6中的块604示出的水平和垂直斜率和偏移的示例方法700的流程图。如下文更详细地描述，在方法700中使用线性模型来确定色差，其中使用局部方差和局部协方差来自适应地确定线性插值系数k(用于斜率)和b(用于偏移)。

图8是用于实现本公开的各特征的拜耳图像800示例部分的图解。图8所示的颜色分量图案和图5所示的图案相同。

图8中的图案中的每个像素504a对应于拜耳图像800中的不同像素位置。所述图案包括5列像素504a和5行像素504a的阵列(即， 5x5阵列)。图8所示的阵列的大小仅是用于简化解释的实例。本公开的特征能够针对具有与图8所示的阵列的尺寸不同的尺寸的阵列来实现。

如图8所示，第一行(即，顶行)像素504a被表示为第j-2行，第二行像素504a被表示为第j-1行，第三行(即，中间行)像素504a被表示为第j行，第四行像素504a被表示为第j+1行，并且第五行(即，底行)像素504a被表示为第j+2行，第一列(即，左列)像素504a被表示为第i-2列，第二列像素504a被表示为第i-1列，第三列(即，中间列)像素504a被表示为第i列，第四列像素504a被表示为第i+1列并且第五列(即，右列)像素504a被表示为第i+2列，

对拜耳图像中的每个像素504a执行块704到712。然而，为了简化的目的，方法700被描述为用于在块702预测当前像素P₁的颜色，所述当前像素对应于图8所示的阵列的中间像素位置(j,i)。如上所述，因为每个像素504a经过滤色以仅记录三个颜色中的一个，所以拜耳图像中的每个像素504a的颜色信息不能代表每个像素502a的R、G 和B色值中的每一个。因此，拜耳图像中表示的颜色在像素之间变化 (即，颜色是位置变化的)。因此，在块704将水平相邻的颜色样本集P₁ ^h和P₂ ^h(即，在像素P₁左侧和右侧的像素的颜色样本集)确定为：

P₁ ^h＝{P₁ ^h(j,i-1),P₁(j,i),P₁ ^h(j,i+1)}

P₂ ^h＝{P₂(j,i-1),P₂ ^h(j,i),P₂(j,i+1)

其中h是水平的，P₂是水平相邻像素的颜色，并且

P₁ ^h(j,i-1)＝(P₁(j,i-2)+P₁(j,i))/2

P₁ ^h(j,i+1)＝(P₁(j,i+2)+P₁(j,i))/2

P₂ ^h(j,i)＝(P₂(j,i-1)+P₁(j,i+1))/2

即，当中心像素为当前像素P₁时，在像素P₁左侧的像素(即， P₁ ^h(j,i-1))的颜色是在像素P₁(j,i-1)左侧的像素的色值和中心像素P₁(j,i) 的色值的均值。在像素P₁右侧的像素(即，P₁ ^h(j,i+1))的颜色是在像素 P₁(j,i+1)右侧的像素的色值和中心像素P₁(j,i)的色值的均值。然后， P₂ ^h(j,i)被确定为P₂(j,i-1)和P₁ ^h(j,i+1)的均值。

类似地，在块706将垂直相邻的颜色样本集P₁ ^v和P₂ ^v(即，像素 P₁上方和下方的像素的颜色)确定为：

P₁ ^v＝{P₁ ^h(j-1,i),P₁(j,i),P₁ ^v(j+1,i)}

P₃ ^v＝{P₃(j-1,i),P₃ ^v(j,i),P₃(j+1,i)}

其中v是垂直的，P₃是垂直相邻像素的颜色，并且

P₁ ^v(j-1,i)＝(P₁(j-2,i)+P₁(j,i))/2

P₁ ^v(j+1,i)＝(P₁(j+2,i)+P₁(j,i))/2

P₃ ^v(j,i)＝(P₃(j-1,i)+P₃(j+1,i))/2

即，当中心像素为当前像素P1时，中心像素P₁上方的像素(即，P₁ ^v(j-1,i))的颜色是像素P₁(j,i-1)上方的像素的色值和中心像素P₁(j,i)) 的色值的均值。而且，在像素P₁下方的像素(即P₁ ^v(j+1,i))的颜色是像素P₁(j,i+1)下方的像素的色值和中心像素P₁(j,i)的色值的均值。然后，将P₃ ^v(j,i)确定为P₃(j-1,i)和P₃(j+1,i)的均值。

上述实例使用三个样本。然而，能够从2个或更多样本扩展颜色集。

如块708所示，然后根据相邻颜色样本集P₁ ^h和P₂ ^h确定协方差、方差和平均值。即，确定水平协方差(cov{P₁ ^h、P₂ ^h})、水平方差(var{P₁ ^h}) 和水平均值(mean{P₁ ^h})和mean{P₂ ^h})，确定垂直协方差(cov{P₁ ^v、P₂ ^v})、垂直方差(var{P₁ ^v})和垂直均值(mean{P₁ ^v})和(mean{P₂ ^v})。

在块710确定线性模型的水平(H)和垂直(V)斜率k和偏移b。如下所述地确定线性模型的斜率k和偏移b：

水平线性模型给出位置(j,i)处的颜色P₂的水平预测P₂ ^h为：P₂ ^h(j,i) ＝k^h×P₁(j,i)+b^h。垂直线性模型给出图8的位置(j,i)处的颜色P₃的垂直预测P₃ ^v为：P₃ ^v(j,i)＝k^v×P₁(j,i)+b^v。

然后在块712预测丢失的颜色。颜色P₁、P₂和P₃因位置而异。举例来说，参考图8中的拜耳图像800，在位置(j,i)，P₁＝R，P₂＝G并且P₃＝G。这个位置被称为R位置。在位置(j,i+1)，P₁＝G，P₂＝R并且 P₃＝B。这个位置被称为GR位置(即，R行处的G)。在位置(j+1,i)， P₁＝G，P₂＝B，P₃＝R。这个位置被称为GB位置(即，B行处的G)。在位置(j+1,i+1)，P1＝B，P2＝G，P3＝G。这个位置被称为B位置。

基于在块606确定的水平色差和垂直色差，在块608确定4个方向上的色差梯度。东向Δ_E(即，右向)的色差梯度确定如下：

Δ_E＝(η₀×|ξ^h(j-1，i)-ξ^h(j-1，i+1)|

+η₁×[ξ^h(j-1，i+1)-ξ^h(j-1，i+1)]

+2η₀×|ξ^h(j，i)-ξ^h(j，i+1)|+2η₁×[ξ^h(j，i+1)-ξ^h(j，i+1)]

+η₀×|ξ^h(j+1，i)-ξ^h(j+1，i+1)|

+η₁×[ξ^h(j+1，i+1)-ξ^h(j+1，i+1)])/(2η₀+2η₁)

类似地确定三个剩余方向上的色差梯度，处理器被配置成：(即，西向、北向和南向。举例来说，如下所述地确定西向Δ_W(即，左向)、北向Δ_N(即，向上方向)和南向Δ_S(即，向下方向)的色差梯度：

Δ_W＝(η₀×|ξ^h(j-1，i)-ξ^h(j-1，i-1)|+η₁×[ξ^h(j-1，i-1)-ξ^h(j-1，i-2)]+ 2η₀×|ξ^h(j，i)-ξ^h(j，i-1)|+2η₁×[ξ^h(j，i-1)-ξ^h(j，i-2)]+η₀×|ξ^h(j+1，i)- ξ^h(j+1，i-1)|+η₁×[ξ^h(j+1，i-1)-ξ^h(j+1，i-2)])/(2η₀+2η₁)

Δ_N＝(η₀×|ξ^h(j，i-1)-ξ^h(j-1，i-1)|+η₁×[ξ^h(j-1，i-1)-ξ^h(j-2，i-1)]+ 2η₀×|ξ^h(j，i)-ξ^h(j-1，i)|+2η₁×[ξ^h(j-1，i)-ξ^h(j-2，i)]+η₀×|ξ^h(j，i+1)- ξ^h(j-1，i+1)|+η₁×[ξ^h(j-1，i+1)-ξ^h(j-2，i+1)])/(2η₀+2η₁)

Δ_s＝(η₀×|ξ^h(j，i-1)-ξ^h(j+1，i-1)|+η₁×[ξ^h(j+1，i-1)-ξ^h(j+2，i-1)]+ 2η₀×|ξ^h(j，i)-ξ^h(j+1，i)|+2η₁×[ξ^h(j+1，i)-ξ^h(j+2，i)]+η₀×|ξ^h(j，i+1)- ξ^h(j+1，i+1)|+η₁×[ξ^h(j+1，i+1)-ξ^h(j+2，i+1)])/(2η₀+2η₁)

其中η₀和η₁都有默认值＝1，但是η₀和η₁的值能够针对不同的调谐参数变化。

回过头来参考图6，在块606如下所述地确定水平色差和垂直色差：

其中ξ^h(j，i)表示(j，i)处的水平色差，ξ^v(j，i)表示(j，i)处的垂直色差。

图9A图示拜耳图像800的部分的各像素位置处的水平色差ξ^h。图9B图示拜耳图像800的部分的各像素位置处的垂直色差ξ^v。

在块610如下所述地确定水平方向和垂直方向上的像素差：

diff^h＝(|P(j-1，i-2)-P(j-1，i-1)|+|P(j-1，i-1)-P(j-1，i)|+ |P(j-1，i)-P(j-1，i+1)|+|P(j-1，i+1)-P(j-1，i+2)|+ 2×[|P(j，i-2)-P(j，i-1)|+|P(j，i-1)-P(j，i)|+|P(j，i)-P(j，i+1)|+ |P(j，i+1)-P(j，i+2)|]+|P(j+1，i-2)-P(j+1，i-1)|+|P(j+1，i-1)- P(j+1，i)|+|P(j+1，i)-P(j+1，i+1)|+|P(j+1，i+1)-P(j+1，i+2)|)/2

diff^v＝(|P(j-2，i-1)-P(j-1，i-1)|+|P(j-1，i-1)-P(j，i-1)|+ |P(j，i-1)-P(j+1，i-1)|+|P(j+1，i-1)-P(j+2，i-1)|+ 2×[|P(j-2，i)-P(j-1，i)|+|P(j-1，i)-P(j，i)|+|P(j，i)-P(j+1，i)|+ |P(j+1，i)-P(j+2，i)|]+|P(j-2，i+1)-P(j-1，i+1)|+|P(j-1，i+1)- P(j，i+1)|+|P(j，i+1)-P(j+1，i+1)|+|P(j+1，i+1)-P(j+2，i+1)|)/2

然后在块612确定N方向权重α′。在这个实例中，使用4个方向。然而，本公开的特征能够通过确定多于4个方向上的权重来实现。在这个实例中，如下所述地确定(j，i)处的4个方向权重和所述方向权重的总和：

Sum＝α′_E+α′_W+α′_N+α′_S

在块614确定当前像素P₁的色差。即，在块614如下所述地确定当前像素P₁的第二颜色分量(C2)与第一颜色分量(C1)之间的色差 (即，

)以及第二颜色分量(C2)与第三颜色分量(C3)之间的色差(即，ξ^G-B(j，i))：

其中，

如上所述，图像的每个像素的光经过拜耳滤色以记录R(红色)分量、G(绿色)分量或B(蓝色)分量。因此，待内插的拜耳滤色后当前像素P₁的原始数据对应于R分量、G分量或B分量。然后通过为当前像素确定丢失的颜色分量(即，不代表来自原始数据的当前像素P1的其他两个颜色分量)来内插当前像素P1的RGB色值(例如，全色值)，对于P₁在块616确定如下：

如果当前像素P₁＝R，则：

R＝P(j，i)

G＝P(j，i)+ξ^G-R(j，i)

B＝P(j，i)+ξ^G-R(j，i)-ξ^G-B(j，i)

如果当前像素P₁＝G，则：

R＝P(j，i)-ξ^G-R(j，i)

G＝P(j，i)

B＝P(j，i)-ξ^G-B(j，i)

如果当前像素P₁＝B，则：

R＝P(j，i)+ξ^G-B(j，i)-ξ^G-R(j，i)

G＝P(j，i)+ξ^G-B(j，i)

B＝P(j，i)

由于上述特征，颜色分量之间的局部结构相似性被用来计算线性模型参数。本公开的特征有效地内插颜色系数，同时在具有不同图像内容的区域中保持高图像质量。

另外，方向融合权重是在积分梯度上计算的，从而产生比常规技术更准确的方向权重。

此外，与内插与R和B分量分离(即之前)的G分量的常规方法相比，拜耳图像的像素的丢失RGB颜色分量被一起有效地重建以再现RGB彩色图像。

应当理解，基于本文的公开内容，许多变型是可能的。虽然上文以特定组合描述了特征和要素，但是每个特征或要素能够单独使用而无需其他特征和要素，或者以具有或不具有其他特征和要素的各种组合使用。

图中所示和/或本文中所描述的各种功能单元(包括但不限于处理器102、302、318、输入驱动器112、输入装置108、输出驱动器114、输出装置110、加速处理装置116、调度器136、图形处理流水线134、计算单元132、SIMD单元138、相机306以及图像传感器310可以实现为通用计算机、处理器或处理器核，或实现为程序、软件或固件，所述程序、软件或固件存储在非暂时性计算机可读介质或另一介质中，可由通用计算机、处理器或处理器核执行。所提供的方法能够在通用计算机、处理器或处理器核中实现。举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。此类处理器能够通过使用处理后的硬件描述语言(HDL)指令的结果和包括连线表的其他中间数据(此类指令能够存储在计算机可读介质上)对制造过程进行配置来制造。此类处理的结果可以是掩模作品，然后在半导体制造过程中使用所述掩模作品来制造实现本公开的各特征的处理器。

本文提供的方法或流程图能够在并入非暂时性计算机可读存储介质的计算机程序、软件或固件中实现，以便由通用计算机或处理器执行。非暂时性计算机可读存储介质的实例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器装置、例如内部硬盘和可移动磁盘的磁性介质、磁光介质以及例如CD- ROM盘和数字通用光盘(DVD)的光学介质。

Claims (20)

1.一种图像处理装置，所述图像处理装置包括：

存储器；以及

处理器，所述处理器被配置成针对拜耳图像的像素进行以下操作；

确定水平方向和垂直方向上的方向色差权重，

基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和第二颜色分量与第三颜色分量之间的色差；

根据一个颜色分量和所述色差来内插所述像素的色值；以及

提供彩色图像以进行显示。

2.如权利要求1所述的图像处理装置，其中所述处理器被配置成：

确定水平方向上的线性斜率和像素位置偏移；以及

确定垂直方向上的线性斜率和像素位置偏移。

3.如权利要求1所述的图像处理装置，其中所述处理器被配置成：

基于所述第一颜色分量和所述第二颜色分量的色差梯度来确定所述第一颜色分量与所述第二颜色分量之间的所述色差；以及

基于所述第二颜色分量和第三颜色分量的色差梯度来确定所述第二颜色分量与所述第三颜色分量之间的所述色差。

4.如权利要求3所述的图像处理装置，其中所述处理器被配置成：

针对所述拜耳图像中的所述像素来确定所述水平方向和所述垂直方向方向上的像素色差；以及

基于以下项来确定所述方向色差权重：

所述水平方向和所述垂直方向上的所述像素色差；

所述第一颜色分量和所述第二颜色分量的所述色差梯度；以及

所述第二颜色分量和所述第三颜色分量的所述色差梯度。

5.如权利要求3所述的图像处理装置，其中所述处理器被配置成确定两个水平方向和两个垂直方向上的色差梯度。

基于所述色差梯度来确定所述方向色差权重。

6.如权利要求1所述的图像处理装置，其中所述处理器被配置成：

基于水平颜色协方差、水平颜色方差和水平平均色值来确定水平方向上的线性斜率和像素位置偏移；以及

基于垂直颜色协方差、垂直颜色方差和垂直平均色值来确定垂直方向上的线性斜率和像素位置偏移。

7.如权利要求1所述的图像处理装置，所述图像处理装置还包括显示装置，其中所述彩色图像显示在所述显示装置上。

8.如权利要求1所述的图像处理装置，所述图像处理装置还包括图像捕获装置，其中所述拜耳图像是由所述图像捕获装置捕获的图像的滤色后图像。

9.一种图像去马赛克的方法，所述方法包括：

针对拜耳图像的像素进行以下操作，

确定水平方向和垂直方向上的方向色差权重，

基于所述方向色差权重来确定第一颜色分量与第二颜色分量之间的色差和所述第二颜色分量与第三颜色分量之间的色差；

根据一个颜色分量和所述色差来内插所述像素的色值；以及

提供彩色图像以进行显示。

10.如权利要求9所述的方法，所述方法还包括：

确定水平方向上的线性斜率和像素位置偏移；以及

确定垂直方向上的线性斜率和像素位置偏移。

11.如权利要求9所述的方法，所述方法还包括：

基于所述第一颜色分量和所述第二颜色分量的色差梯度来确定所述第一颜色分量与所述第二颜色分量之间的所述色差；以及

基于所述第二颜色分量和所述第三颜色分量的色差梯度来确定所述第二颜色分量与所述第三颜色分量之间的所述色差。

12.如权利要求11所述的方法，所述方法还包括：

针对所述拜耳图像中的所述像素来确定所述水平方向和所述垂直方向方向上的像素色差；以及

基于以下项来确定所述方向色差权重：

所述水平方向和所述垂直方向上的所述像素色差；

所述第一颜色分量和所述第二颜色分量的所述色差梯度；以及

所述第二颜色分量和所述第三颜色分量的所述色差梯度。

13.如权利要求12所述的方法，所述方法还包括：

确定两个水平方向和两个垂直方向上的色差梯度。

基于所述色差梯度来确定所述方向色差权重。

14.如权利要求9所述的方法，所述方法还包括：

基于水平颜色协方差、水平颜色方差和水平平均色值来确定所述水平方向上的线性斜率和像素位置偏移；以及

基于垂直颜色协方差、垂直颜色方差和垂直平均色值来确定所述垂直方向上的线性斜率和像素位置偏移。

15.如权利要求9所述的方法，所述方法还包括在显示装置上显示所述彩色图像。

16.如权利要求9所述的方法，所述方法还包括经由图像捕获装置获取由拜耳滤色器阵列滤色的图像。

17.一种图像处理装置，所述图像处理装置包括：

图像捕获装置，所述图像捕获装置被配置成捕获图像；

图像传感器，所述图像传感器包括拜耳滤色器阵列，所述拜耳滤色器阵列被配置成根据第一颜色分量、第二颜色分量和第三颜色分量对所述图像进行滤色；以及

处理器，所述处理器被配置成针对所述拜耳图像的被表示为所述第一颜色分量、所述第二颜色分量和所述第三颜色分量中的一个的像素进行以下操作；

确定水平方向和垂直方向上的方向色差权重，

基于所述方向色差权重来确定所述第一颜色分量与所述第二颜色分量之间的色差和所述第二颜色分量与所述第三颜色分量之间的色差；以及

根据一个颜色分量和所述色差来内插所述像素的色值。

18.如权利要求17所述的图像处理装置，其中所述处理器被配置成：

确定水平方向上的线性斜率和像素位置偏移；以及

确定垂直方向上的线性斜率和像素位置偏移。

19.如权利要求17所述的图像处理装置，其中所述处理器被配置成：

基于所述第一颜色分量和所述第二颜色分量的色差梯度来确定所述第一颜色分量与所述第二颜色分量之间的所述色差；以及

基于所述第二颜色分量和第三颜色分量的色差梯度来确定所述第二颜色分量与所述第三颜色分量之间的所述色差。

20.如权利要求19所述的图像处理装置，其中所述处理器被配置成：

针对所述拜耳图像中的所述像素来确定所述水平方向和所述垂直方向方向上的像素色差；以及

基于以下项来确定所述方向色差权重：

所述水平方向和所述垂直方向上的所述像素色差；

所述第一颜色分量和所述第二颜色分量的所述色差梯度；以及

所述第二颜色分量和所述第三颜色分量的所述色差梯度。

Images