CN101652798A - 使用全色像素的边缘映射 - Google Patents

Abstract

一种用于增强场景的全彩图像的方法包括：使用由具有彩色像素和全色像素二者的二维传感器阵列来捕获场景的图像；响应于所捕获的彩色像素来形成全彩图像；响应于所捕获的全色像素来形成参考全色图像；响应于所述参考全色图像来形成边缘图；以及使用所述边缘图来增强全彩图像。

Description

使用全色像素的边缘映射

技术领域

本发明涉及使用边缘图来根据全色图像和彩色图像形成增强的彩色图像。

背景技术

摄像机和数字静物照相机通常使用具有滤色器阵列的单个图像传感器来记录场景。该方法以稀疏构成的单通道(single-channel)图像开始，在该单通道图像中通过滤色器阵列模式来编码色彩信息。相邻像素值的随后插值允许完全三通道全彩(full-color)图像的重构。该全彩图像可以再被噪声清除、锐化或色彩校正以改善或增强图像的外观。通过计算图像的边缘图以将该图像分类成边缘区和平坦区，来大大地促进图像增强。这允许使用对边缘区并且对平坦区执行不同计算的算法。一种普遍的方法是或者直接检测或者合成亮度色彩通道(例如“绿色”)，并且然后根据亮度图像生成边缘图。美国专利No.6,614,474(Malkin等人)描述了计算亮度通道并且然后根据一组定向边缘检测核(kernel)来生成边缘信息。该方法的问题是仅在色度上发生变化而没有在亮度上发生变化的边缘有检测不出的风险。为了解决这一担忧，美国专利No.5,420,971(Westerink等人)教导计算YUV亮度色度图像、根据所有三个通道(Y、U和V)计算边缘信息，以及然后将它们组合成L²范数以检测亮度边缘和色度边缘二者。该方法的问题是通过原始色彩数据(例如RGB)的噪度(noisiness)来定义所计算的亮度色度图像的噪度。此外，通过单个色彩通道的光谱频率响应的相对狭窄(narrowness)来确定在该原始色彩数据中的该噪声等级。当捕获的场景光照很好(例如阳光明媚的景色)时，光谱频率响应的狭窄通常不是问题。当场景光照不好(例如室内)或曝光时间必须很短来减少运动模糊(例如在体育事件)时，单个色彩通道的光谱频率响应的相对狭窄可以产生有噪声的图像。

在低光成像的情况下，具有未被滤波的滤色器阵列中的一个或多个像素(即光谱灵敏度中的白色或全色)是有益的。这些全色像素具有捕获系统的最高的光灵敏度能力。使用全色像素表示在捕获系统中在光灵敏度和色彩空间分辨率之间的折衷。为此，已描述了许多四色滤色器阵列系统。美国专利No.6,529,239(Dyck等人)教导了绿色-青色-黄色-白色模式，其被布置成在传感器表面上的棋盘格状的(tessellated)的2×2块。美国专利No.6,757,012(Hubina等人)公开了红色-绿色-蓝色-白色模式和黄色-青色-品红-白色模式二者。在这两种情况下，色彩被布置成在成像器的表面上的棋盘格状的的2×2块。这样的系统的难点是在滤色器阵列中仅四分之一的像素具有最高的光灵敏度，因此限制了捕获设备的整体的低光性能。

为了解决滤色器阵列中对具有最高光灵敏度的更多像素的需要，美国专利申请公布No.2003/0210332(Frame)描述了具有多数未被滤波的像素的像素阵列。相对较少的像素被专用于从场景捕获色彩信息，以产生具有低色彩空间分辨率能力的系统。此外，Frame教导使用简单的线性插值技术，其不响应于图像中的高频色彩空间细节或者保护图像中的高频色彩空间细节。

发明内容

本发明的目的是根据具有全色和彩色像素的数字图像产生增强的数字彩色图像。

这一目的通过提供场景的增强全彩图像的方法而实现，该方法包括：

(a)使用由具有彩色像素和全色像素二者的二维传感器阵列捕获的场景的所捕获的图像；

(b)响应于所捕获的彩色像素来形成全彩图像；

(c)响应于所捕获的全色像素来形成参考全色图像；

(d)响应于所述参考全色图像来形成边缘图；以及

(e)使用所述边缘图来增强全彩图像。

本发明的特征是利用具有全色像素和彩色像素的传感器来在低光条件下捕获图像，以及处理产生了根据全色像素和彩色像素而产生的增强数字彩色图像。

本发明使用具有全色像素和彩色像素的适当组成的滤色器阵列，以便允许上述方法提供改进的低光灵敏度和改进的色彩空间分辨率保真度。上述方法保持并增强全色和彩色空间细节并且产生增强的全彩图像。

附图说明

图1是包括用于实施本发明的数字照相机的计算机系统的透视图；

图2是本发明的优选实施例的框图；

图3是更详细地示出图2中的框210的框图；

图4是详细地示出图2中的框210的可替换实施例的框图；

图5是在执行图4的框228中的非最大值抑制(nonmaximumsuppression)期间所使用的像素邻域；以及

图6是本发明的可替换实施例的框图。

具体实施方式

在下面的说明中，将以通常被实施为软件程序的方式来描述本发明的优选实施例。本领域技术人员容易认识到这样的软件的等同物也可以以硬件构造。因为图像操纵算法和系统是公知的，所以本说明将特别针对形成根据本发明的系统和方法的一部分的算法和系统或更直接地与根据本发明的系统和方法相合作的算法和系统。此处没有具体示出或描述的这样的算法和系统的其他方面和用于产生并以其他方式处理所涉及的图像信号的硬件或软件可以从本领域中公知的这样的系统、算法、组件和元件中进行选择。给定下面的素材中根据本发明描述的系统，此处没有具体示出、建议或描述的用于实施本发明的软件是常规的软件并且被本领域普通技术人员所知道。

更进一步地，如此处所使用的，计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质可包括例如：诸如磁盘(诸如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备；或用于存储计算机程序的任何其他物理设备或介质。

在描述本发明之前，指出本发明优选地用在任何公知的计算机系统(例如个人计算机)上有助于理解。因此，此处将不会详细地讨论计算机系统。指出图像或者直接地输入到计算机系统(例如通过数字照相机)或者在输入到计算机系统之前被数字化(例如通过扫描诸如卤化银薄膜之类的底片(original))也是有益的。

参考图1，图示了用于实施本发明的计算机系统110。尽管为了图示优选的实施例的目的而示出了计算机系统110，但本发明不限于所示出的计算机系统110，而是可以在诸如家庭计算机、信息站(kiosk)、零售或批发冲洗照片服务之类的任何电子处理系统或者用于处理数字图像的任何其他系统上使用。计算机系统110包括基于微处理器的单元112，其用于接收并处理软件程序并用于执行其他处理功能。显示器114电连接到基于微处理器的单元112，以用于例如通过图形用户接口来显示与软件相关联的用户相关的信息。键盘116也连接到基于微处理器的单元112，以允许用户输入信息到软件。作为使用键盘116来输入的替换，鼠标118可以用来移动显示器114上的选择器120，并且用来选择该选择器120所覆盖的项，如本领域所公知的。

通常包括软件程序的光盘只读存储器(CD-ROM)124被插入到基于微处理器的单元，以提供将软件程序和其他信息输入到基于微处理器的单元112的方法。此外，软盘126也可以包括软件程序，并且被插入到基于微处理器的单元112以输入软件程序。光盘只读存储器(CD-ROM)124或软盘126可以可替换地插入到外部定位的盘驱动单元122中，所述盘驱动单元122连接到基于微处理器的单元112。更进一步地，如本领域所公知的，基于微处理器的单元112可以被编程以用于在内部存储软件程序。基于微处理器的单元112还可以具有到外部网络(例如局域网或因特网)的网络连接127(例如电话线)。打印机128也可以被连接到基于微处理器的单元112，以用于打印来自计算机系统110的输出的硬拷贝。

图像也可以经由个人计算机卡(PC卡)130而显示在显示器114上，例如，所述个人计算机卡如之前公知(基于个人计算机存储器卡国际联合会的规范)的PCMCIA卡，其包含包括在PC卡130中的电子地数字化的图像。PC卡130最终被插入到基于微处理器的单元112，以允许在显示器114上的图像的视觉显示。可替换地，PC卡130可以被插入在连接到基于微处理器的单元112的外部定位的PC卡读取器132中。图像也可以经由光盘124、软盘126或网络连接127而被输入。存储在PC卡130、软盘126或光盘124的、或者经由网络连接127输入的任何图像可以从各种源(例如数字照相机(未示出)或扫描仪(未示出)获得。图像也可以经由连接到基于微处理器的单元112的照相机扩展(docking)端口136直接从数字照相机134输入，或者经由到基于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140直接从数字照相机134输入。

根据本发明，算法可以被存储迄今为止所提到的任何存储设备并且应用于图像，从而锐化该图像。

图2是本发明的优选实施例的高级图。数字照相机134(图1)负责创建原始的数字红色-绿色-蓝色-全色(RGBP，red-green-blue-panchromatic)滤色器阵列(CFA)图像200，其也被称为数字RGBP CFA图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。全色图像插值块202根据RGBP CFA图像200产生参考全色图像204。边缘图生成块210根据参考全色图像204产生边缘图216。根据RGBP CFA图像200，RGBP CFA图像插值块206随后产生全彩图像208。全彩图像增强块214根据全彩图像208和边缘图216产生增强的全彩图像212。

在图2中，全色图像插值块202和RGB CFA图像插值块206可以以本领域技术人员公知的任何适当的方式执行。可以在美国专利公开No.2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全彩图像。

图3是优选实施例的边缘图生成块210(图2)的详细框图。高通滤波块218根据参考全色图像204(图2)产生高频图像220。高通滤波通常由下列两个方法中的一个执行：直接卷积或作为反锐化掩模(unsharp masking)的一部分。对于直接卷积，将参考全色图像204(图2)与高通核(high-pass kernel)进行卷积，并且结果的绝对值是高频图像220。适当的高通核的示例是：

$\left(\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right).$

本领域的技术人员知道怎样创建其他适当的高通核。对于反锐化掩模的情况，参考全色图像204(图2)与低通核进行卷积，且从参考全色图像204(图2)减去所得到的低频图像。该减法的绝对值是高频图像220。适当的低通核的示例是：

$\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right).$

本领域的技术人员知道怎样创建其他适当的低通核。继续描述图3，阈值块222根据高频图像220来产生边缘图216(图2)。通常通过对照给定的阈值来测试在高频图像220中的每个像素值来执行块222中的阈值处理(thresholding)。如果在高频图像220中的像素值等于或大于给定的阈值，则在边缘图中对应的像素值被标记为边缘像素，并且设置为指示边缘的存在的值(例如1)。如果在高频图像220中的像素值小于给定的阈值，则在边缘图中的对应的像素值被标记为平坦像素，并且设置为指示边缘不存在的值(例如0)。还可以使用多个阈值。例如，在利用相对大的第一阈值产生第一边缘图之后，利用较小的第二阈值根据第一边缘图和高频图像220来产生第二边缘图。在这种情况下，在第一边缘图中的被标记为边缘像素的每个像素位置被自动地标记为在第二边缘图的对应位置处的边缘像素。在第一边缘图中的像素位置被标记为平坦像素并且至少一个相邻的像素位置被标记为边缘像素的情况下，将对应的高频图像220像素值与第二阈值进行比较。如果在高频图像220中的像素值等于或大于第二阈值，则在第二边缘图中的对应像素值被标记为边缘像素。如果在高频图像220中的像素值小于第二阈值，则在第二边缘图中的对应的像素值被标记为平坦像素。本领域技术人员清楚可以使用附加的阈值来继续该过程。

图4是可替换实施例的边缘图生成块210(图2)的详细框图。高通滤波块224根据参考全色图像204(图2)来产生高频图像226。高频图像226具有三个通道。第一通道包含边缘幅度(magnitude)值，其是通过与高通滤波块218(图3)执行的计算相同的计算所产生的结果。第二通道包含通过对用水平梯度核的卷积取绝对值(bytaking the absolute value of a convolution with a horizontalgradient kernel)而产生的水平梯度值。这样的核的示例是：

(-1 0 1)。

第三通道包含通过对用垂直梯度核的卷积取绝对值而产生的垂直梯度值。这样的核的示例是：

$\left(\begin{array}{c}-1\\ 0\\ 1\end{array}\right)$

接着，非最大值抑制块228根据高频图像226产生边缘变薄的高频图像230。通常将每个边缘幅度像素位置的水平梯度值和垂直梯度值进行比较来执行块228中的非最大值抑制。如果水平梯度值大于或等于垂直梯度值，则非最大值抑制的方向是水平的。如果垂直梯度值大于水平值，则非最大值抑制的方向是垂直的。图5是边缘幅度值的示例像素邻域，其中正对边缘幅度值E₃进行操作。如果非最大值抑制的方向是水平的，则如果E₃大于或等于E₂和E₄，则留着不改变。否则，将E₃设置为零。如果非最大值抑制的方向是垂直的，则如果E₃大于或等于E₁和E₅二者，则留着不改变。否则，将E₃设置为零。在图4中，阈值处理块222的操作与先前对图3的描述的操作相同。

本领域技术人员将明白，边缘图216(图2)可以以任何数量的方式来增强(例如通过使用形态处理)，来根据其随后的使用降低噪声的影响或改变在边缘图216(图2)中的特征的厚度。

返回到图2，现在给出了全彩图像增强块214的一些示例。一个这样的全彩图像增强是噪声降低。对于全彩图像208中的每个像素(随后被称为中心像素)，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果该中心像素是边缘像素，则该像素值的噪声降低可以被跳过以保存边缘细节。如果中心像素是平坦像素，则在中心像素的给定距离中的所有其他平坦像素一起被平均以产生噪声降低的中心像素值。

全彩图像增强的另一个示例是锐化(边缘增强)。如在2007年1月9日提交的美国专利申请No.11/621,139中教导的，锐化通道可以由全彩图像208或由参考全色图像204产生。接着，对于全彩图像208中的每个像素(随后被称为中心像素)，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果该中心像素是边缘像素，则所有的对应锐化通道值被添加到中心像素值以锐化边缘细节。如果中心像素是平坦像素，则或者对应锐化通道值的一部分或没有对应的锐化通道值被添加到中心像素以降低全彩图像中不希望的噪声放大。

全彩图像增强的另一个示例是色彩校正。色彩校正通常通过将全彩图像208的色彩通道值乘以3×3矩阵来执行以产生增强的全彩图像212。该计算可以是下面的形式：

$\left(\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

其中(R，G，B)指全彩图像208色彩通道值，而(R’，G’，B’)指增强的全彩图像212。对于全彩图像208中的每个像素，检查边缘图216中的对应值来看其是否被标记为边缘像素或平坦像素。如果像素是边缘像素，则将全部对应的色彩校正应用于全彩图像208像素值。如果像素是平坦像素，则或者部分色彩校正或者没有色彩校正被应用于全彩图像208像素值以降低噪声和图像处理赝像的可见性。

图6是本发明的可替换实施例的高级图。在图1中示出的数字照相机134负责创建原始的数字红色-绿色-蓝色-全色(RGBP)滤色器阵列(CFA)图像200，其也被称为数字RGBP CFA图像或RGBP CFA图像。在这点上应该指出，下面描述中其他色彩通道组合(例如青色-品红-黄色-全色)可以被用来代替红色-绿色-蓝色-全色。关键项是包括全色通道。该图像被认为是稀疏采样的图像，因为在图像中的每个像素仅包含红色、绿色、蓝色或全色数据的一个像素值。全色图像插值块202根据RGBP CFA图像200产生参考全色图像204。边缘图生成块210根据参考全色图像204产生边缘图216。根据RGBP CFA图像200和参考全色图像204，RGB CFA图像插值块232随后产生全彩图像234。全彩图像增强块214根据全彩图像234和边缘图216产生增强的全彩图像236。

在图6中，全色图像插值块202和RGB CFA图像插值块232可以以本领域技术人员公知的任何适当的方式执行。可以在美国专利申请No.2007/0024934中找到示例。包括在该参考文献中的示例使用仅仅所捕获的全色像素来产生参考全色图像，使用所捕获的全色像素和所捕获的彩色像素来产生参考图像；使用仅仅所捕获的彩色像素来产生全彩图像以及使用所捕获的彩色像素和所捕获的全色像素来产生全彩图像。图6的其他块的细节与在图中示出的优选实施例中的相同。

在本发明的优选实施例中公开的基于边缘图的算法可以在各种用户背景和环境中使用。示例性的背景和环境包括但不限于：批发数字冲洗照片服务(其包括示例性处理步骤或阶段，例如形成胶片(filmin)、数字处理、打印)；零售数字冲洗照片服务(形成胶片、数字处理、打印)；家庭打印(家庭扫描的胶片或数字图像、数字处理、打印)；桌面软件(将算法应用于数字打印物以使它们更好或甚至仅改变它们的软件)；数字实现(数字图像输入：从介质或通过web，数字处理，数字图像输出：以介质上的数字形式、通过web的数字形式、或打印在硬拷贝打印物上)；信息站(数字或扫描的输入、数字处理、数字或扫描的输出)；移动设备(例如，可以被用作处理单元、显示单元或给出处理指示的单元的PDA或蜂窝电话)以及作为经由万维网而提供的业务。

在每种情况下，基于边缘图的算法可以单独或可以成为更大系统解决方案的组件。此外，与算法的接口(例如扫描或输入、数字处理、显示给用户(如果需要的话)、用户请求或处理指令的输入(如果需要的话)、输出)，每个都可以在相同或不同的设备和物理位置上，并且设备和位置之间的通信可以经由公共或专用网络连接或基于介质的通信。与本发明之前的公开相一致，算法本身可以是全自动化的。然而，用户输入可以被使用或操作员可以查看以接受/拒绝结果。也可以使用由(例如在照相机中的)测量设备提供的元数据。此外，算法可以与各种各样的工作流用户接口方案接口连接。

根据本发明的此处公开的基于边缘图的算法可以具有使用各种数据检测和缩小技术(例如面部检测、眼睛检测、皮肤检测、闪光检测)的内部组件。

部件列表

110计算机系统

112基于微处理器的单元

114显示器

116键盘

118鼠标

120显示器上的选择器

122盘驱动单元

124光盘只读存储器

126软盘

127网络连接

128打印机

130个人计算机卡(PC卡)

132 PC卡读取器

134数字照相机

136照相机扩展端口

138电缆连接

140无线连接

200 RGBP CFA图像

202全色图像插值

204参考全色图像

206 RGB CFA图像插值

208全彩图像

210边缘图生成

212增强的全彩图像

214全彩图像增强

216边缘图

218高通滤波

220高频图像

222阈值处理

224高通滤波

226高频图像

228非最大值抑制

230边缘变薄的高频图像

232 RGB CFA图像插值

234全彩图像

236增强的全彩图像

Claims (7)

1、一种用于提供场景的增强的全彩图像的方法，该方法包括：

a.使用由具有彩色像素和全色像素二者的二维传感器阵列捕获的场景的所捕获的图像；

b.响应于所捕获的彩色像素来形成全彩图像；

c.响应于所捕获的全色像素来形成参考全色图像；

d.响应于所述参考全色图像来形成边缘图；以及

e.使用所述边缘图来增强全彩图像。

2、根据权利要求1所述的方法，其中组成部分b包括使用所捕获的彩色像素和所捕获的全色像素二者来形成全彩图像。

3、根据权利要求1所述的方法，其中组成部分c包括使用所捕获的彩色像素和所捕获的全色像素二者来形成参考全色图像。

4、根据权利要求2所述的方法，还使用参考全色图像来形成全彩图像。

5、根据权利要求1所述的方法，其中所述边缘图被用来提供噪声清除。

6、根据权利要求1所述的方法，其中所述边缘图被用来提供锐化。

7、根据权利要求1所述的方法，其中所述边缘图被用来提供色彩校正。

Images