CN109146982A

CN109146982A - 原始图像处理系统及方法

Info

Publication number: CN109146982A
Application number: CN201810622280.8A
Authority: CN
Inventors: C·比特纳
Original assignee: Blackmagic Design Pty Ltd
Current assignee: Blackmagic Design Pty Ltd
Priority date: 2017-06-15
Filing date: 2018-06-15
Publication date: 2019-01-04
Anticipated expiration: 2038-06-15
Also published as: US20220295031A1; US10848730B2; JP2019012998A; CN109146982B; JP2023025085A; US11363246B2; US20180367775A1; EP4050554A1; EP3416128A1; EP3416128B1; US20210084276A1; US11770512B2; JP7182907B2; US20230388466A1

Abstract

一种相机中的处理原始图像数据的方法，该方法包括：从原始图像数据计算亮度图像；以及从原始图像数据计算对应于所述传感器的图像颜色中的至少一种的至少一个色度图像。亮度图像以及一个或多个色度图像可以与能够在原始图像数据中表示的颜色范围表示相同的颜色范围。色度图像可以具有比亮度图像的分辨率更低的分辨率。还公开了一种用于执行该方法的相机。

Description

原始图像处理系统及方法

技术领域

本发明涉及相机中的图像处理方法。示意性实施例将集中在使用RGB拜耳(Bayer)颜色滤波阵列所捕获的图像上，但是其他实施例可以使用不同的图像捕获布置来实现，这些图像捕获布置包括包括白色或未过滤像素的CFA。

背景技术

数码彩色相机使用图像传感器(通常为电荷耦合装置(CCD)或互补金属氧化物半导体传感器(CMOS))来电子地捕获真实场景的彩色图像。由于图像传感器的单色性，数码相机制造商会实施各种解决方案来捕获场景的色彩特性。这些解决方案包括使用每个颜色通道使用一个传感器的三传感器装置；使用垂直颜色敏感的感光点；或者最常见地，使用具有颜色滤波阵列的单传感器装置。单传感器装置表示目前用于彩色成像的最具有成本效益的方法之一，并且被广泛地应用于数码相机。

在单传感器相机中，基本上是颜色滤波器的空间阵列的颜色滤波阵列(CFA)被放置在单图像传感器的前面，以同时捕获不同的光谱成分(颜色)。CFA的滤波器与单图像传感器的感光点在空间上相关联，使得每个感光点都具有相对应的光谱选择性滤波器。由单传感器相机捕获的原始图像通常构成在每个感光点处仅有一个色素的像马赛克的灰度图像。然后对原始图像进行一系列图像处理步骤，以生成真实地表示所捕获的真正的视觉场景的图像。

所使用的最常见类型的CFA是如图2所示的具有交替的红色、绿色和蓝色颜色滤波器的拜耳CFA。由于在每个感光点处仅捕获一种颜色类型，所捕获的原始图像是在不同的感光点处的每一处具有红色值、绿色值和蓝色值的“马赛克”。

使用被称为“去马赛克”的过程以为每个感光点生成全色信息。在这个过程中，感光点的缺失的颜色信息是通过插值过程来根据相邻的感光点确定的。当对具有拜耳CFA的传感器使用三色图像采集时，通过该去马赛克过程，原始图像数据量会增加三倍。也可能需要诸如白平衡、颜色变换、减少噪声、色调映射的进一步处理。这些处理步骤可以执行如下：

(1)在相机存储图像之前进行，使得用户可以在任何时候在显示器上观看准备好的已存储的图像。由于所捕获的图像或视频的即时观看通常是非常需要的，大多数消费类相机应用选择在原始图像数据被存储之前对原始图像数据进行处理。

(2)相机可能会延迟上述一些这样的图像处理步骤，直到后处理前。这种方法在专业相机应用中更为普遍。两种选择各自具有优点和缺点。

如上所述，第一种选择涉及将各种图像处理算法应用于图像传感器的原始数据，例如去马赛克然后对去马赛克的图像数据进行压缩。该选择的主要缺点是后处理的限制以及压缩效率低下。后处理的限制是由于某些颜色处理已经应用于去马赛克数据以及在压缩过程中潜在的某些图像信息丢失。压缩效率低下是由于去马赛克算法导致产生与原始图像数据相比的三倍的数据量。然后，这些附加的数据需要在图像被存储之前进行更大程度的压缩从而达到更小的尺寸或比特率。

第二种选择涉及对图像传感器的原始图像数据进行编码和压缩，然后对经压缩的带马赛克的原始图像数据进行存储，而不进行去马赛克、白平衡等。该选择在后处理中提供了更多的灵活性，因为图像传感器所捕获的所有视觉信息都被保留。与对原始数据进行完全去马赛克之后对图像编码相比，该选择还需要更少的压缩，因为通过去马赛克没有生成额外的图像数据。然而，这需要在解码阶段进行大量的处理，例如完全去马赛克以及可能需要的任何进一步的图像处理。

本发明提供一种相机原始图像数据处理方法和/或系统，其旨在解决上述问题中的至少一些问题，或者至少提供有用的替代方案。

参考说明书中的任何现有技术并非承认或暗示：该现有技术形成任何辖区的公知常识的部分，或者该现有技术可被合理预期被理解，并且被认为是与本领域技术人员所知的其他现有技术有关，和/或与本领域技术人员所知的其他现有技术组合。

发明内容

在宽泛的概念中，本发明提供了一种相机中的处理原始图像数据的方法。该方法广泛地包括：从原始图像数据计算亮度图像；以及从原始图像数据计算对应于传感器的图像颜色中的至少一种的至少一个色度图像。亮度图像和一个或多个色度图像与能够在原始图像数据中表示的颜色范围可以表示相同颜色范围。在本说明书中，如果图像或图像数据被描述为表示来自图像传感器的原始图像数据，那么应该理解为意味着图像或图像数据没有经历处理，该处理会减小能够由图像或图像数据表示的颜色值的范围。即，该图像的数据范围或图像数据与图像传感器能够输出的图像的数据数据范围或图像数据相比没有受到限制或剪除。当然，应该理解的是，任何给定图像类型(例如，亮度图像、色度图像、颜色平面)的图像或图像数据自身可能无法表示能够包含在原始图像数据中的整个颜色范围。

本发明的实施例还提供了一种方法，该方法广泛地包括：对传感器原始图像数据去马赛克，以在每个捕获的颜色处生成相应的去马赛克图像，从去马赛克的图像数据计算亮度图像；以及计算与传感器的图像颜色中的至少一个相对应的色度图像，其中，所述色度图像的分辨率小于所述亮度图像的分辨率。有利地，去马赛克可以以针对相机的图像传感器优化的方式来执行。

在下面的描述中，“颜色滤波器阵列”应理解为除了常规的颜色滤波器阵列之外，还包括在颜色滤波器阵列中具有如下特征的位置的颜色滤波器阵列：

没有颜色过滤，例如根本不存在滤波器，中性密度滤波器，清晰、透光的滤波器元件；

使用与给定颜色不相关联的通带滤波(例如，高通滤波器、低通滤波器、宽通带滤波器等)。

因此，颜色滤波器阵列中的“颜色”或图像的颜色(以及字颜色的相关用途)的概念用作颜色滤波器阵列中对应的滤波器元件的通带的标志符。

一方面，本发明提供了一种相机中的处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值。该方法可以包括：生成表示从图像传感器输出的原始图像数据的具有第一分辨率的亮度图像；以及生成表示从图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于第一分辨率的第二分辨率。

另一方面，本发明提供了一种相机中的处理图像数据的方法，所述相机被配置成使用具有颜色滤波器阵列的图像传感器来捕获原始图像数据，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值；所述方法包括：

对所捕获的原始图像数据去马赛克，以生成与颜色滤波器阵列的多种颜色相对应的多个颜色图像；

生成具有第一分辨率的亮度图像；以及

生成对应于颜色滤波器阵列颜色中的相应的一个颜色的至少一个色度图像，所述至少一个色度图像具有小于第一分辨率的第二分辨率。

去马赛克可以包括生成对应于颜色滤波器阵列的每种颜色的颜色图像。优选地，每种颜色的颜色图像具有第一分辨率。

本发明上述各方面的实施例可以包括各种可选特征。

在优选情况下，生成两个或更多个色度图像。

在以上方面中的任意一个方面，生成(具有给定颜色的)颜色图像可以包括：针对颜色图像中的每个像素，基于围绕该像素的多个像素执行边缘检测和线检测中的至少一个，并且基于所述边缘检测或所述线检测来确定所述像素值。

确定像素值可以包括：选择围绕另一像素的像素的子集，以确定所述像素值。它可替代地或附加地包括在确定所述像素值时将加权应用于子集中的像素。所述子集中的像素的加权可以基于适用于所述子集的被加权的像素或者所述像素的子集的噪声水平来确定。

去马赛克过程优选地基于相邻像素值估计用于每个感光点或者缺失的每个像素的缺失的颜色信息。在优选实施例中所采用的方法优选地保留与由相应颜色类型的像素所捕获的细小的图像细节一样多的细小的图像细节，并且可区分所述细小的图像细节与随机噪声。此外，在每个图像平面中随机噪声水平减少，同时保留细小的细节的边缘。

优选地，所捕获的原始图像数据的分辨率为N×M像素。亮度图像的分辨率也可以为N×M像素。

可以通过组合来自多个去马赛克的颜色图像中的、对应于相同像素位置的多个像素值来生成亮度图像。在一种形式中，组合像素值的步骤包括对每个像素位置的多个像素值进行加权。在一种形式中，在采用具有与常规拜耳RGB CFA相同的红色像素、蓝色像素和绿色像素比值的常规的拜耳RGB颜色滤波器阵列时，通过以下公式来计算位置(i，j)处的亮度值Y：

Y(i,j)＝(R(i,j)+2G(i,j)+B(i,j))/4{i＝1,…,N；j＝1,…,M},

其中，Y(i，j)指示给定像素位置(i，j)的亮度值，并且R、G、B指示像素位置处的红色图像、绿色图像和蓝色图像中的像素值。优选地，亮度图像的第一分辨率是N×M像素的全分辨率。

生成色度图像的步骤包括计算原始图像像素值和在亮度图像中的像素的子集处的亮度图像值之间的差值。优选地，在与CFA中的给定颜色的像素对应的像素处计算色度图像。例如，对于使用单个传感器和标准RGB拜耳滤波器CFA的相机而言，可以生成蓝色色度图像和红色色度图像。蓝色色度图像仅包括与CFA的蓝色像素相对应的像素值，这将细节上的必要修改应用于红色色度图像。因此，色度图像的分辨率是低于亮度图像的第二分辨率。在RGB拜耳滤波器示例中，色度图像的像素数量是亮度图像的像素数量的四分之一。在这种情况下，计算色度图像的每个像素(在位置i、j处)的差值的步骤可以使用以下公式：

CB(i,j)＝(B(i,j)-Y(i,j))/kB{i＝1,…,N/2；j＝1,…,M/2},

CR(i,j)＝(R(i,j)-Y(i,j))/kR{i＝1,…,N/2；j＝1,…,M/2},

其中：kB和kR是比例因子；

CB(i，j)和CR(i，j)指示给定像素位置(i，j)的蓝色差值和红色差值；

R(i，j)，B(i，j)指示像素位置(i，j)处的红色图像、绿色图像和蓝色图像中的像素值；以及

Y(i，j)指示像素位置(i，j)处的亮度值。

优选地，选择kR和kB，以最大化CB(i,j)和CR(i,j)在数据范围内的精度,但是并不对值进行固定，从而保留整个范围的颜色反应。在一个示例中，kR＝kB＝2。

该方法还可以包括：

对所计算的亮度值和差值进行编码和/或压缩。

亮度图像和色度图像可以被压缩为单独的图像，或者被一起压缩为有关的一组图像。优选地，压缩使用变换编码，例如使用小波变换或离散余弦变换等。

更优选地，使用JPEG或JPEG 2000压缩来执行压缩。因为在压缩过程中可以直接使用所计算出的亮度图像和色度图像，这样的压缩算法的使用可以是方便的。在一种情况下，该方法可以包括：

对亮度值和差值编码，以生成可与YCbCr 420格式兼容的图像数据。

另一方面，本发明提供了一种相机中的处理图像数据的方法。该相机可以包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值。该方法可以包括：对所捕获的原始图像数据去马赛克，以生成多个颜色图像，所述多个颜色图像表示从图像传感器输出的所述原始图像数据，并且与所述颜色滤波器阵列的多个颜色相对应，其中，所述去马赛克包括：

生成对应于所述颜色滤波器阵列的每种颜色的颜色图像，其中，对于颜色图像中的每个像素，基于在所捕获的带马赛克的原始图像数据中的围绕所述像素的多个像素执行边缘检测和线检测中的至少一种，并且基于所述边缘检测或所述线检测通过选择围绕给定像素的像素的子集来确定像素值，所述像素的子集与计算子集中的像素的加权平均值的像素具有相同的颜色。

所述子集中的像素的加权优选地基于适合于所述子集内被加权的像素或所述像素的子集的噪声水平来确定。

优选地，每个颜色图像表示从所述图像传感器输出的原始图像数据。该方法还可以包括：生成表示从图像传感器输出的原始图像数据的亮度图像；以及生成表示从图像传感器输出的原始图像数据的至少一个色度图像。优选地，生成至少两个色度图像。另一方面，本发明包括相机，该相机被配置成实施上述方法中任一方法的实施例。该相机可以包括：

图像捕获系统，该图像捕获系统被配置成将所接收到的光转换为原始图像数据；

图像处理系统，该图像处理系统被配置成根据上述方法处理原始图像数据。

如本文所用，除上下文另有要求，否则术语“包括(comprise)”和该术语的变化例如“包括(comprising)”、“包括(comprises)”和“包括(comprised)”并非意在排除其他附加物、成分、整件或步骤。

从下面的通过示例并参照附图所给出的描述，本发明的其他方面以及在前面段落中所描述的方面的其他实施例将变得明显。

附图说明

图1是能够实现本文所描述的方法的相机的示意性框图。

图2示出了被应用于具有N×M像素分辨率的传感器的示例性CFA的布置及其对应的图像格式。

图3是示出了示例性方法的概述的流程图。

图4示出与图2的传感器布置所捕获的图像相对应的一系列完全去马赛克的图像平面。

图5示出了在像素值确定过程中在检测边缘中使用的一组一阶中心差分。

图6示出了当执行像素插值时在检测细线中使用的一组二阶中心差分。

图7示出了当对由图2的传感器布置所捕获的图像去马赛克时可用于执行像素求平均值的一系列像素对。

图8示出了当对由图2的传感器布置所捕获的图像去马赛克时可用于执行像素求平均值的另一系列像素对。

图9是示出了图3的方法的可替代方法的概述的流程图。

图10示出了在图9的实施例中使用3×3滤波器内核来推导亮度图像，以及使用5×5滤波器内核来计算色度图像。

图11示出了可用于推导出图9的实施例中的全分辨率亮度图像的可替代滤波器内核。

具体实施方式

现在将参考具体示例来描述本发明的实施例，但是本发明的范围不应被认为限于这样的示例。例如，将在使用具有常规RGB拜耳颜色滤波器阵列的单个传感器的相机的上下文中描述示意性实施例。然而，本发明的实施例还可以应用于其他颜色滤波器阵列，包括在阵列内包括“白色”、中性密度或未过滤像素的颜色滤波器阵列。

图1是能够实施根据本公开的方法的相机10的示意图。相机10包括图像捕获系统12，该图像捕获系统12被配置成将所接收到的光转换为原始图像数据。在该示例中，图像捕获系统12包括图像传感器12A(例如，CCD或CMOS图像感测芯片或类似物)和相关联的光学滤波器12B(例如，IR截止滤波器或者光学低通滤波器)。还设置了例如透镜的光学系统14，以在图像传感器上形成图像。图像传感器包括颜色滤波器的空间阵列形式的颜色滤波器阵列(CFA)，其被放置在图像传感器芯片的前面以能够捕获颜色图像。CFA的滤波器与单图像传感器的感光点在空间上相关联，使得每个感光点都具有相对应的光谱选择性滤波器。如上所述，在该示例中，所使用的CFA是如图2所示的具有交替的红色滤波器、绿色滤波器和蓝色滤波器的拜耳CFA。由于在每个感光点处仅捕获一种颜色类型，所捕获的原始图像是红色值、绿色值和蓝色值的“马赛克”，每一个位于不同的感光点处。

图2示出了传感器输出的原始图像的格式，它对应于其滤波器元件的布置。原始图像数据具有对应于图像传感器的N×M阵列的感光点的N×M像素的分辨率。由于每个感光点具有相应的滤波器元件，它接收CFA中的多个颜色中相应的一个颜色的光，并且输出说明所捕获的光的强度的像素值。每个感光点处所捕获的光的颜色由图2中的每个像素上的指示符R、G、B来指示。在常规方式中，“R”说明红色像素，“G”说明绿色像素，“B”说明蓝色像素。

由图像捕获系统12所生成的传感器原始视频数据被传送至图像处理子系统18。图像处理子系统18可以包括一个或多个数据处理器(诸如具有相关联软件的ASIC或FPGA或微处理器)，并且被配置成执行一系列图像处理任务。图像处理器16可以执行任务，该任务包括但不限于：校正不希望的光学效应，例如枕形失真或其他，对拜耳马赛克图像去马赛克、减少噪声、通过去除死亡像素以及校正转换效率变化来校正所捕获的视频数据中的像素到像素的变化。设置工作存储器20以在图像处理和/或图像压缩及其他任务期间能够进行数据或软件或类似物的临时存储。

图像处理子系统18还包括视频编码系统22。视频编码系统22通常通过提供被配置成使处理器能够实现一种或多种视频编解码的软件来实现。该系统可以用于将视频数据编码成所期望的格式，以及可选地将视频数据压缩成所期望的格式。例如，视频编码子系统22可以被配置成将视频数据编码成任何已知的视频数据格式。

图像处理子系统18还可以包括格式转换系统24，该格式转换系统24将视频输出数据处理成能够通过视频传输系统26传输的格式。视频传输系统26通常被配置成仅传输符合一个或可能地符合几个视频传输协议的视频数据。格式转换系统24被提供以将视频数据格式化为所述视频传输格式之一，以使得能够在传送至视频传输系统26之前传输。这可以包括将视频数据从其原始格式转码为视频传输系统26的适当的视频传输格式(之一)。

视频传输系统可操作成经由具有至少一个视频输出端口的视频接口来传输(并且可选地接收)视频输出数据。视频接口可以是双向的，并且因此也包括视频输入端口。例如，视频接口可以是SDI接口或其他类似的接口。

相机还包括存储器控制子系统28形式的数据存储系统，该存储器控制子系统28被配置成控制视频数据(以及任何其他数据)在本地非易失性存储器30上的持久存储。本地存储器30可以使用诸如存储卡或可移除的硬盘的可移除的存储器。然而，在一般情况下，存储器控制子系统28被布置成向本地存储器30传输控制信号和/或从本地存储器30接收控制信号，以控制存储器30上的视频数据的存储和检索，并且还被布置成执行用于存储的数据的任何编码或格式化。存储器30可以是根据串行ATA协议操作的固态驱动器，在这种情况下，存储器控制子系统将操作以控制SATA驱动器的操作，并且管理读取数据以及向其写入数据。

图3广义地示出了在示意性实施例中用于处理原始视频数据的方法。

方法100以带马赛克的多种颜色的图像的形式的原始传感器图像数据102开始，所述多种颜色的图像具有N×M像素的分辨率。在优选的实施例中，原始传感器数据优选地大部分是未经处理的传感器数据。通过这样，这想要意味着原始数据保留了传感器所捕获的颜色范围，使得颜色范围不受限制或者剪除。在对经处理的数据解码之后，例如，在后期制作中，可以应用任何白色或颜色平衡。原始传感器图像数据102被去马赛克104以生成相应的去马赛克的图像106R、106G、106B(颜色平面)。每个图像106、106G、106B对应于CFA颜色之一。在此之后，从去马赛克的图像106R...106B来计算108亮度图像110。然后，对应于传感器的图像颜色中的至少一个图像颜色的一个或多个色度图像114B、114R被生成112。去马赛克104生成具有第一分辨率的颜色图像。一般来说，这将是所捕获的图像数据的全分辨率(N×M像素)。亮度图像110通常也会与去马赛克的图像106R，106G，106B具有相同的分辨率，然而色度图像114B、114R通常将处于更低的分辨率。最后执行编码步骤116，在此步骤中，亮度图像和色度图像例如通过压缩和/或格式化而被编码，以供进一步使用(例如存储、传输、显示等)。有利地，从编码步骤输出的数据可以符合已知的标准格式，以使得能够利用已知的工具进行应对和处理。下面将描述这些步骤中的每一个的示例性实施方式。在一个优选实施例中，在整个此过程中，优选的是，图像数据保留传感器所捕获的颜色范围，使得颜色范围不受限制或剪除，因此使得数据在下游处理中能够被有效地对待，就好像它是原始图像数据一样。

去马赛克104

去马赛克从单个、多颜色、带马赛克的原始图像数据102生成用于每个CFA颜色的相应图像106R、106G、106B。如应当理解的那样，每个最终的单色图像106R、106G、106B比最初捕获的图像的每个颜色包含更多的像素，并且因此需要插值来估计每个颜色图像中缺失的像素值。图4示出了去马赛克的单色图像106R、106G、106B的格式。这些单色图像中的每一个的分辨率为N×M像素。

示意性实施例中所选择的去马赛克过程被优化，以保留图像传感器所捕获的细小的细节，并且还减少了可能由图像传感器引入的噪声。

去马赛克过程是基于加权插值方法。然而，不是单纯地计算每个单色图像中的“缺失的”像素的值，而是优选地对所有的感光点(i，j)执行相同的像素值确定过程，以获得3个颜色图像106R、106G和106B。由此，即使所捕获的颜色值在特定的感光点处可用，也可以有利地针对所有位置处的(CFA的)所有颜色执行像素值计算。这可以确保所有感光点之间关于噪声分布平衡，并且在3色拜耳CFA中，这可以补偿2×2拜耳宏像素中2个绿色感光点之间的任何偏差。

总体上，去马赛克中所使用的像素计算涉及：

(a)基于围绕待确定的像素值的像素来检测边缘和/或细线，和/或

(b)使用边缘/细线信息来选择或权衡来自相邻像素的贡献用于插值。

该过程在各种角度对边缘敏感，以保留中间(去马赛克的)图像数据中的边缘和形状。可以通过计算不同颜色滤波器图案内在不同角度下的梯度(第一差)来执行步骤(a)。图5示出了位于绿色感光点(图5(a))或蓝色感光点(图5(b))上的位置(i，j)处的一阶中心差分的示例。在这两种情况中的任一种情况下，可以在4个方向上计算中心差分，因为相同类型的2个感光点之差关于位置(i,j)彼此相对。这些差可以计算如下：

D1h(i,j)＝abs(P(i-1,j)-P(i+1,j))

D1v(i,j)＝abs(P(i,j-1)-P(i,j+1))

D1u(i,j)＝abs(P(i-1,j+1)-P(i+1,j-1))

D1d(i,j)＝abs(P(i-1,j-1)-P(i+1,j+1))

这些是水平方向、垂直方向以及对角线上下方向上的绝对中心差分。从原始感光点P(i，j)在任何感光点(i，j)处独立于感光点的颜色类型计算它们。

虽然这些梯度是在3×3窗口中计算的，以确定任何位置(i，j)的边缘方向，但是在5×5窗口中计算二阶差分，作为用于不同方向上进行线检测的手段。图6(a)和图6(b)分别示出了绿色感光点和蓝色感光点上沿着相同的4个方向上的二阶差分。可以根据如下将这些差分计算为绝对差：

D2h(i,j)＝abs(2*P(i,j)-P(i-2,j)-P(i+2,j))

D2v(i,j)＝abs(2*P(i,j)-P(i,j-2)-P(i,j+2))

D2u(i,j)＝abs(2*p(i,j)-P(i-2,j+2)-P(i+2,j-2))

D2d(i,j)＝abs(2*P(i,j)-P(i-2,j-2)-P(i+2,j+2))

一阶中心差分可用于检测任意中心像素位置或颜色类型的4个不同角度的边缘。二阶中心差分可用于任何中心像素位置或颜色类型的相同的4个不同角度检测细线。一阶差分和二阶差分的组合提供了在这四种不同角度下两种类型的图像细节、边缘以及线的信息。可以通过如下为不同角度添加2个绝对差达到两种探测器类型的组合：

D12h(i,j)＝D1h(i,j)+D2h(i,j)

D12v(i,j)＝D1v(i,j)+D2v(i,j)

D12u(i,j)＝D1u(i,j)+D2u(i,j)

D12d(i,j)＝D1d(i,j)+D2d(i,j)

这是水平方向和垂直方向以及上对角线方向和下对角线方向上的主要的一组角度检测器。可以使用垂直(或水平)方向与其提供另一组4个角度的相邻对角线方向中的每个对角线方向的组合来确定第二组角度检测器。角度检测器传送与具有最小差的角度方向有关的信息，这些最小差用于确定平均方向。

在步骤(b)中，该过程使用这些角度检测器组来确定如何组合相邻像素值以计算每个颜色值106R、106G、106B。这可以包括选择某些像素平均值或对某些像素平均值加权。图7示出了待估计的颜色类型的2个像素之间的不同可能的平均方向。每一对具有以下特征：

像素与中心像素距离相等；

与中心像素直接地相对；

以不同的角度位于围绕中心像素的5×5窗口中；

具有相应的边缘/线检测器，或者每一对中的一个可以通过2个边缘/线检测器的组合来确定。

在图7(a)中，需要在绿色感光点上确定蓝色值。3个不同的像素平均值可以被包括在以绿色感光点为中心的5×5窗口内的像素值确定中。这3个平均值计算如下：

M1h(i,j)＝(P(i-1,j)+P(i+1,j))/2

M2a(i,j)＝(P(i-1,j-2)+P(i+1,j+2))/2

M2b(i,j)＝(P(i-1,j+2)+P(i+1,j-2))/2

图7(b)中的另一示例可以用于计算蓝色感光点处的红色值。在这种情况下，可以包括两个不同的感光点的平均值，其其计算如下：

M1u(i,j)＝(P(i-1,j+1)+P(i+1,j-1))/2

M1d(i,j)＝(P(i-1,j-1)+P(i+1,j+1))/2

相应的角度边缘检测器被用于针对每个平均值确定加权，以估计每个颜色值，同时保留任何边缘或细线。用于特定颜色的像素平均的每个方向的相应的加权因子w()是从特定方向上的一阶差分和二阶差分推导出的。通常，对于在该特定方向上具有更低差的方向期望更高的加权。取决于绝对差，加权函数提供范围为0到1的加权因子。当差低于噪声阈值时，最佳加权函数可以指定最大加权。一旦差上升到噪声阈值以上，加权应该逐渐减小，并且在特定方向上对于较大的差加权最终变为0。可以使用指数函数来创建加权因子，但该方法不限于特定的函数。加权函数还可以考虑2个平均像素相对于中心的距离考虑。在一些实施例中可用的合适的加权函数是：

其中，D表示加权的差值，并且σ是传感器在像素的信号水平处的噪声分布的标准偏差。

图7(b)需要计算蓝色感光点处的红色值。最近的红色感光点在上方向和下方向均与中心位置对角地相对。在这种情况下，5×5窗口内的像素值确定将是

R(i,j)＝(w(D12u(i,j))*M1u(i,j)+w(D12d(i,j))*M1d(i,j))/(w(D12u(i,j))+w(D12d(i,j)))

该示例仅使用一阶梯度边缘检测器。加权函数w()也可应用于绝对一阶差分和二阶差分之和，以在加权插值中包括边缘检测以及线检测。w()中的最小加权因子也应该总是大于0以避免被0除。用于确定红色感光点的蓝色像素值的方案是相同的，但是该方案被置换为集中于红色感光点。

图7(a)需要计算绿色感光点处的蓝色值，并且示出了3个不同的方向，其中，两个方向与一阶差分和二阶差分的4个方向不完全匹配。尽管水平分量具有对应的边缘和线检测器D12h，但是像素平均值M2a和M2b不具有对应的边缘和线检测器。

然后，像素值确定函数遵循与上述用于图7(b)的原理相同的原理。

图7(c)示出了可能的像素对，对所述可能的像素对求平均值，以计算围绕中心感光点的5×5的像素区域内的绿色感光点处的红色像素值。这与图7(a)的情况类似，但是旋转了90度。图7(d)示出了可能的像素对，对所述可能的像素对求平均值，以计算围绕中心感光点的5×5的像素区域内的蓝色感光点处的绿色像素值。用于确定红色感光点的绿色像素值的方案是相同的，但是被置换为集中于红色感光点。

有利地，使用对多个像素求平均值的像素值确定过程导致图像中随机噪声减少。还可以将每个方向上的绝对差与随机噪声引起的预期偏差比较。由于图像传感器对于给定的相机设计是已知的，并且可以其在任何特定模式或配置下关于其输出信号范围内的噪声性能进行表征，可以确定函数，该函数转换图像传感器的输出信号的使得随机噪声在任何信号响应水平处的标准偏差都恒定。这使得算法对任何像素位置以及在任何颜色类型像素的任何信号水平(数字值)的绝对差使用固定的加权函数。该加权函数在随机噪声成分所预期的最大偏差处提供平滑截止，以区分要保留的边缘和细线与要衰减的随机噪声。显示噪声水平以下的绝对差的任何角度方向允许使用该方向上的2个像素平均值。由于通过在该方向噪声加权低通滤波器中包含更多像素来改善噪声的减少，同样的原理也适用于在给定位置捕获的颜色类型的像素。本领域技术人员还将注意到，通过增大噪声检测器的数量以及待平均的像素来增加用于噪声加权低通滤波器的窗口尺寸将提高该方法减少噪声的能力。

图8(a)示出了可能的像素对，使用围绕原始的绿色感光点的5×5的像素区域，对所述可能的像素对求平均值，从而计算原始的绿色感光点处的绿色像素值。图8(b)和图8(c)分别示出了蓝色感光点对和红色感光点对。适合于图8(c)的情况的像素值可以计算如下：

R(i,j)＝(P(i,j)+w(D12h(i,j))*M2h(i,j)+w(D12v(i,j))*M2v(i,j)+w(D12u(i,j))*M2u(i,j)+w(D12d(i,j))*M2d(i,j))/(1+w(D12h(i,j))+w(D12v(i,j))+w(D12u(i,j))+w(D12d(i,j)))

在这种情况下，如果所有方向上的差都很大，或者对噪声水平以下的小差方向上的相邻的像素求平均值，则原始像素的值将支配加权和。当P(i，j)是蓝色感光点时，对蓝色像素值进行相同的像素值计算。绿色感光点的值可以计算如下：

G(i,j)＝(P(i,j)+w(D12h(i,j))*M2h(i,j)+w(D12v(i,j))*M2v(i,j)+w(D12u(i,j))*M2u(i,j)+w(D12d(i,j))*M2d(i,j)+w(D12u(i,j))*M1u(i,j)+w(D12d(i,j))*M1d(i,j))/(1+w(D12h(i,j))+w(D12v(i,j))+2*w(D2u(i,j))+2*w(D12d(i,j)))

在优选实施例中所采用的方法优选地保留与由相应颜色类型的像素所捕获的细小的图像细节一样多的细小的图像细节，并且可以区分所述细小的图像细节与随机噪声。此外，在每个图像平面中随机噪声水平减少，同时保留细节的边缘。

计算亮度图像110

可以通过组合来自多个去马赛克的颜色图像中的每一个的、对应于相同像素位置的多个像素值来生成亮度图像。在优选的形式中，组合像素值的步骤包括对每个像素位置的多个像素值加权。在使用常规拜耳RGB颜色滤波器阵列时，可以通过以下公式计算位置(i，j)处的亮度值Y：

Y(i,j)＝(R(i,j)+2G(i,j)+B(i,j))/4{i＝1,…,N；j＝1,…,M},

其中，Y(i，j)指示给定像素位置(i，j)的亮度值，并且R、G、B指示像素位置处的红色图像、绿色图像和蓝色图像中的像素值。亮度图像将具有去马赛克的颜色图像的全分辨率，即N×M。应当注意的是，所选择的加权在计算上是简单的并且与可以被有效地编码的亮度表示近似。但是，可以使用不同的加权因子。

在优选的实施例中，编码后的数据试图表示原始图像传感器数据，而不是可以直接转换成真实颜色图像的颜色校正表示。换言之，亮度图像具有所选择的系数，这些所选择的系数使得整个范围的所捕获的颜色能够被保留以用于后处理。

计算色度图像112

生成色度图像的步骤110包括计算一个颜色平面的像素与该像素处的对应亮度值之间的差值。这可以优选地包括计算颜色像素值和与CFA中给定颜色的像素对应的像素的亮度图像值之间的差值。在这种情况下，对于其中蓝色像素被捕获的像素，生成色度图像像素以生成蓝色通道色度图像。如此，蓝色色度图像仅包括与CFA的蓝色像素相对应的像素值，这将细节上的必要修改应用于红色色度图像。因此，色度图像的分辨率低于亮度图像的分辨率。在RGB拜耳滤波器示例中，色度图像像素数量是亮度图像的像素数量的四分之一。在该示例中，在CFA使用X＝3种颜色类型的情况下创建X-1个色度图像。这通常是足够的。然而，该概念可以扩展到X>3，这使得能够附加或更精确地表示所捕获的光的光谱成分。在这种情况下，系统仍然存储X-1个色度图像，以保持最大数量的颜色信息可用。如果CFA包括除了3个颜色滤波器以外的白色/清晰的滤波器从而导致X＝4，如果一种颜色主要携带场景中的亮度信息，可能生成X-2个色度图像。例如，这可以通过对R、G、B成分加权以创建第一亮度图像Y来达到，该第一亮度图像Y与利用白色/清晰的滤波器直接捕获的第二亮度图像Y2相匹配。然后，可以将这2个亮度表示组合成单个亮度图像以进行编码。

在优选的形式中，计算用于色度图像的每个像素(在位置i、j处)的色差值的步骤可以使用以下公式：

CB(i,j)＝(B(i,j)-Y(i,j))/kB{i＝1,…,N/2；j＝1,…,M/2}，

CR(i,j)＝(R(i,j)-Y(i,j))/kR{i＝1,…,N/2；j＝1,…,M/2}，

其中：kB和kR是比例因子；

R(i，j)、B(i，j)指示像素位置(i，j)处的红色图像、绿色图像和蓝色图像中的像素值；以及

Y(i，j)指示像素位置(i，j)处的亮度值。

优选地，选择kR和kB以最大化CB(i，j)和CR(i，j)的数据范围中的精度，例如，以保持CB(i，j)和CR(i，j)在范围内。在一个示例中，kR＝kB＝2。

编码116

在生成亮度图像110与色度图像114R和色度图像114B之后，可以传输或存储这些图像。这可以包括压缩、格式化或以其他方式对数据编码以进行使用或存储。例如，可以压缩所得到的亮度图像110与色度图像114R和色度图像114B。压缩可以使用任何合适的压缩技术(例如，包括基于离散余弦变换(例如，JPEG)和小波变换(例如，JPEG 2000)的技术)来执行。所选择的压缩方法可以完全分开地对待亮度图像100和色度图像114R、色度图像114B。然而，可以将它们以常见的方式压缩。具体而言，可以使用已知的技术来有利地压缩它们，所述已知的技术通常包括作为使用诸如JPEG压缩、JPEG 2000的一部分的颜色空间变换。

便利地，本实施例中的亮度图像110与色度图像114R和色度图像114B的相对分辨率及其像素的空间对准意味着可以在进一步处理中将它们视为YCbCr 420图像数据。这使得能够使用众所周知的和所实施的压缩和传输协议而无需修改。

该方法可以进一步包括将YCbCr 420图像变换成不同的图像格式以用于进一步图像处理。这可以包括解码YCbCr图像数据，并且将其转换回RGB图像格式。对于示意性实施例而言，可以使用以下计算来生成每个像素的RGB值：

R(i,j)＝kR×CR(i,j)+Y(i,j)对于{i＝1,…,N；j＝1,…,M}

G(i,j)＝Y(i,j)-kR/2×CR(i,j)-kB/2×CB(i,j)对于{i＝1,…,N；j＝1,…,M}

B(i,j)＝kB×CB(i,j)+Y(i,j)对于{i＝1,…,N；j＝1,…,M}

其中(i，j)说明像素位置。该过程允许重构传感器原始图像102。

该方法可以进一步包括显示解码后的视频数据或重构去马赛克的颜色图像。

然而，如前所述可以理解的是，色度图像具有太少的像素而无法在全分辨率下这样做。因此，如果需要全分辨率数据，则必须通过插值生成一个或多个色度图像的附加像素值。这可以是简单的双线性插值，因为色度成分通常不携带任何高空间频率。

示意性实施例在基于相机的数据处理中具有几个优点，其中最主要的是它以基本上保持传感器原始数据的数据范围的方式对原始图像数据编码，以在后处理中提供应用颜色变换和色调映射的完全灵活性，同时实现相对好的压缩比(与去马赛克的未处理的原始数据相比)。此外，最终的数据适合于现有的RAW工作流程，但是降低RAW解码阶段所需的处理水平，这加快工作流程并且改善了应对大量的图像数据。

在相机上执行去马赛克的主要部分有助于将去马赛克算法定制为相机的特定图像捕获传感器及其噪声特性以及压缩编解码和所期望的压缩比。

图9示出了图3的用于处理原始视频数据的替代方法。方法100以具有分辨率为N×M像素的带马赛克的多种颜色图像形式的原始传感器图像数据102开始。在优选的实施例中，原始传感器数据优选地大多数是未经处理的传感器数据。由此，这意味着原始数据保留了传感器所捕获的颜色范围，使得颜色范围不受限制或者剪除。在图9的过程中，在计算亮度图像和色度图像之前，原始传感器图像数据102没有去马赛克。取而代之的是，在步骤108中，使用合适的滤波器核心900从马赛克图像直接计算亮度图像110。然后，在步骤112中，使用合适的滤波器内核902生成一个或多个色度图像114B、114R。

图10示出了用于从使用常规拜耳CFA的图像传感器捕获的带马赛克的图像1000来生成亮度图像1004和两个色度图像1008.B和1008.R的过程。亮度图像的值Y等同于图3的值。并且表示以如下比例R、G和B值的组合：

Y＝(R+2G+B)/4

然而，在图3的示例中，CB(i，j)和CR(i，j)分别计算为(B-Y)/kB和(R-Y)/kR，在本示例中，色度图像Cb和Cr分别表示(B-G)/kB和(R-G)/kR。也就是说，色度图像不是关于亮度图像的差，而是关于绿色值的差。

在该示例中，亮度图像1004中的每个像素值是使用图10中所示的3×3滤波器内核1002生成的。滤波器内核1002表示应用于由滤波器覆盖并且集中于待计算的像素值的感光点上的像素值的加权之和的加权。该和除以16以使该值回到范围内。示例性滤波器内核使用简化系数来近似具有特定宽度的二维高斯类型滤波器。然而，同样的方法也可以使用更复杂的滤波器来实现以改善用于目标目的的频率响应。图11说明了这样的一个示例。

计算Cb、1008B和Cr值1008R分别使用5×5滤波器内核1006。为了计算Cb值，滤波器内核1006被应用于每个蓝色感光点以计算如上所述的像素值。每个加权之和除以32(滤波器加权的总和)，以使每个像素值进入范围以获得最终像素值。

为了计算Cr值，将滤波器内核1006应用于带马赛克的图像1000中的每个红色感光点，以为如上所述的位置计算对应于Cr像素值的像素。每个加权之和除以32(滤波器加权之和)，使每个像素值进入范围以获得最终的像素值。

如前例所示，Cb图像和Cr图像的分辨率是亮度图像分辨率的四分之一。

如应当理解的是，经修改的方法将需要计算用于比马赛克框1000的边缘更接近半个滤波器宽度的感光点的像素值。

图11示出了可用于代替图10中的内核1002的可替代的2D高斯滤波器内核1102。如应当理解的那样，利用这样的滤波器内核计算的像素值将被512(滤波器系数的总和)除。如将看到的那样，可替代的滤波器内核1102覆盖9×9的区域。滤波器内核越宽，则该滤波器内核将比3×3的像素内核1002达到更大的减少噪声。在一些实施例中，可以基于正被处理的图像帧的一个或多个属性(例如，帧的给定区域中的噪声水平)来(从两个或更多内核，诸如滤波器内核1002和1102中)选择优选的滤波器内核。

返回至图9，可以执行编码步骤116，其中，对亮度图像和色度图像编码，例如，通过压缩和/或格式化以供进一步使用(例如存储、传输、显示等)。如上所述，在优选的形式中，本文描述的实施例的Y、Cr和Cb帧的帧分辨率的比例适合于编码为YCbCr 4:2:0格式。此外，编码图像数据最优选地保留由传感器捕获的颜色的范围，使得颜色的范围不受限制或剪除，因此使得数据在下游处理中能够被有效地对待，就好像该数据是原始图像数据一样。

应该理解的是，在本说明书中所公开和限定的本发明扩展到文本或附图中所提及或从文本或附图中明显看出的两个或更多个单独特征的所有可替代的组合。所有这些不同的组合构成了本发明的各种可替代方面。

Claims

1.一种在相机中处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处捕获的光的强度的像素值；所述方法包括：

生成表示从所述图像传感器输出的原始图像数据的、具有第一分辨率的亮度图像；以及

生成表示从所述图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于所述第一分辨率的第二分辨率。

2.根据权利要求1所述的方法，其中，所述方法包括对由所述图像传感器生成的原始图像数据去马赛克，以生成与所述颜色滤波器阵列的每种颜色相对应的颜色图像。

3.根据权利要求2所述的方法，其中，生成给定颜色的颜色图像包括：

对于所述颜色图像中的每个像素，基于围绕另一像素的多个像素执行边缘检测和线检测中的至少一种，并且基于所述边缘检测或所述线检测确定所述像素值。

4.根据权利要求3所述的方法，其中，确定用于给定像素的所述像素值能够包括：选择围绕所述给定像素的像素的子集，以确定所述像素值。

5.根据权利要求3或4中任一项所述的方法，其中，确定用于给定像素的像素值能够包括在确定所述像素值时对围绕所述给定像素的像素的子集中的像素应用加权。

6.根据权利要求5所述的方法，其中，能够基于适用于所述子集内被加权的像素或者像素的所述子集的噪声水平来确定所述子集中的像素的所述加权。

7.根据前述权利要求中任一项所述的方法，其中，生成色度图像包括计算以下项之一：

各个颜色图像的像素值与所述亮度图像中的像素的子集处的所述亮度图像的像素值之间的差；以及

各个颜色图像的像素值与绿色图像中的像素的子集处的所述绿色图像的像素值之间的差。

8.根据权利要求1所述的方法，其中，使用滤波器内核从所述原始图像数据生成所述亮度图像的任意一个或多个以及一个或多个色度图像。

9.根据权利要求8所述的方法，其中，生成所述亮度图像和一个或多个色度图像而不对所述原始图像数据去马赛克。

10.根据前述权利要求中任一项所述的方法，其中：

所述捕获的原始图像数据具有N×M像素的分辨率；和/或

所述亮度图像具有N×M像素的分辨率。

11.根据前述权利要求中任一项所述的方法，还包括压缩下述项中的至少一项：所述亮度图像、任何一个或多个色度图像。

12.根据权利要求11所述的方法，其中，使用常见压缩算法将所述亮度图像和两个色度图像一起压缩。

13.根据前述权利要求中任一项所述的方法，其中，所述原始图像数据的颜色范围被保持在所述亮度图像和一个或多个色度图像中的一者或两者中。

14.根据前述权利要求中任一项所述的方法，其中，所述亮度图像和两个色度图像被格式化为YCbCr420格式。

15.一种相机中的处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在所述对应的感光点处捕获的光的强度的像素值；所述方法包括：

对捕获的原始图像数据去马赛克，以生成多个颜色图像，所述多个颜色图像表示从所述图像传感器输出的所述原始图像数据并且与所述颜色滤波器阵列的所述多个颜色相对应，其中，所述去马赛克包括：

生成对应于所述颜色滤波器阵列的每种颜色的颜色图像，其中，对于颜色图像中的每个像素，基于带马赛克的、捕获的原始图像数据中的围绕所述像素的多个像素执行边缘检测和线检测中的至少一种，并且基于所述边缘检测或所述线检测通过选择围绕所述给定像素的所述像素的子集来确定像素值，像素的所述子集与计算所述子集中的所述像素的加权平均值的所述像素颜色相同。

16.根据权利要求15所述的方法，其中，所述子集中的所述像素的所述加权基于适用于所述子集内被加权的所述像素或像素的所述子集的噪声水平来确定。

17.根据权利要求15或16所述的方法，其中，每个颜色图像表示从所述图像传感器输出的所述原始图像数据。

18.根据权利要求15或16所述的方法，所述方法还包括：

生成表示从所述图像传感器输出的原始图像数据的亮度图像；以及

生成表示从所述图像传感器输出的原始图像数据的至少一个色度图像。

19.根据权利要求15至18中任一项所述的方法，其中，所述方法还包括权利要求7至14中任一项所述的步骤。

20.一种包括图像处理系统的相机，被配置成执行根据前述权利要求中任一项所述的方法。