CN101803391A - 使用全色像素的像素纵横比校正 - Google Patents

使用全色像素的像素纵横比校正 Download PDF

Info

Publication number
CN101803391A
CN101803391A CN200880103332A CN200880103332A CN101803391A CN 101803391 A CN101803391 A CN 101803391A CN 200880103332 A CN200880103332 A CN 200880103332A CN 200880103332 A CN200880103332 A CN 200880103332A CN 101803391 A CN101803391 A CN 101803391A
Authority
CN
China
Prior art keywords
image
aspect ratio
resolution
pixel
pixel aspect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880103332A
Other languages
English (en)
Inventor
M·奥布赖恩
J·F·哈米尔顿
J·E·亚当斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101803391A publication Critical patent/CN101803391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

一种形成具有第一像素纵横比的增强的数字全色图像的方法包括：使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；从捕获的图像中提供数字低分辨率色差滤色器阵列图像；从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。

Description

使用全色像素的像素纵横比校正
技术领域
本发明涉及从具有不同像素纵横比的全色图像和彩色图像中形成具有期望的像素纵横比的彩色图像。
背景技术
摄像机和数字静态照相机通常采用具有滤色器阵列的单个图像传感器来记录场景。这种方法始于稀疏分布的单信道图像，其中彩色信息由滤色器阵列图形编码。随后对邻近像素值的内插允许重构完整的三通道全色图像。通常理解的假设是这个全色图像由在正方形像素网格上采样的像素值组成，即图像像素是正方形。这对于大量的图像显示器是重要的并且打印装置使用正方形像素进行随后的图像再现。然而，在全色图像中需要正方形像素并不要求单个图像传感器使用正方形像素。使用矩形(非正方形)像素的传感器在本领域中是众所周知的。从矩形像素捕获中产生正方形像素图像的一般实践是用矩形像素产生全色图像并且然后作为最后步骤将全色图像转换成具有正方形像素的图像。这种方法由美国专利No.5,778,106(Juenger等人)所例证。参见图2，配有矩形像素的单个传感器的数码相机200产生RGB CFA图像202。CFA内插方框204从RGB CFA图像202产生全色图像206。像素纵横比校正方框208从全色图像206中产生像素纵横比校正的全色图像210。在这个示例中，能够看出在图像处理链中需要额外的操作(方框208)以便从具有非正方形像素的初始图像(方框202)中产生具有正方形像素的图像(方框210)。更好的解决方案将是将像素纵横比校正方框208直接并入CFA内插方框204中。在美国专利No.7,092,020(Yoshikawa)中教导了这种方法的相关示例。参见图3，数码相机212(配有正方形像素的单个传感器)产生RGB CFA图像214。通过直接计算数字缩放(放大)的全色图像而不用将该操作分成两个单独步骤(内插然后调整大小)或产生对应的中间图像，CFA内插和调整大小方框216从RGB CFA图像214中产生调整大小后的全色图像218。
在低光成像情形下，有利的是让滤色器阵列中的一个或多个像素未经过滤，即光谱敏感度中的白色或全色。这些全色像素具有捕获系统的最高光敏感度能力。采用全色像素代表捕获系统中光敏感度和彩色空间分辨率之间的折衷。为此，已经描述了许多四色滤色器阵列系统。美国专利No.6,529,239(Dyck等人)教导了绿-青-黄-白图形，其被布置成镶嵌在传感器表面上的2×2块。美国专利No.6,757,012(Hubina等人)公开了红-绿-蓝-白图形和黄-青-品红-白图形两者。在这两种情况下，彩色被布置成镶嵌在成像器表面上的2×2块。使用这样的系统的困难在于滤色器阵列中的像素的仅四分之一具有最高光敏感度，因而限制捕获装置的整体低光性能。
为了解决在滤色器阵列中具有更多具有最高光敏感度的像素的需要，美国专利申请公开No.2003/0210332(Frame)描述了其中大多数像素未经过滤的像素阵列。相对少的像素专用于从场景捕获彩色信息，从而产生具有低彩色空间分辨率能力的系统。另外，Frame教导了使用对图像中的高频彩色空间细节不做响应或保护的简单线性内插技术。
发明内容
本发明的目标是从具有有不同像素纵横比的全色和彩色像素的数字图像中产生具有期望的像素纵横比的数字彩色图像。
这个目标是通过一种形成具有第一像素纵横比的增强的数字全色图像的方法而完成的，所述方法包括：
(a)使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；
(b)从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；
(c)从捕获的图像中提供数字低分辨率色差滤色器阵列图像；
(d)从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及
(e)使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。
本发明的一个特征是能够用具有有第一像素纵横比的全色和彩色像素的传感器在低光条件下捕获图像并且处理产生从全色和彩色像素中产生的数字彩色图像中期望的像素纵横比。
本发明利用具有适当组成的全色和彩色像素的滤色器阵列以便允许上述方法提供改进的低光敏感度和改进的彩色空间分辨率保真度。上述方法保留并增强了全色和彩色空间细节并且产生全色全分辨率图像。
附图说明
图1是用于实施本发明的包括数码相机的计算机系统的透视图；
图2是现有技术像素纵横比校正图像处理链的方框图；
图3是组合CFA内插和调整大小图像处理链的现有技术的方框图；
图4是本发明的优选实施例的方框图；
图5A是更详细示出图4中的方框302的方框图；
图5B是更详细示出本发明替代实施例的图4中的方框302的方框图；
图6A是更详细示出图4中的方框316的方框图；
图6B是更详细示出本发明替代实施例的图4中的方框316的方框图；
图6C是更详细示出本发明替代实施例的图4中的方框316的方框图；
图6D是更详细示出本发明替代实施例的图4中的方框316的方框图；
图6E是更详细示出本发明替代实施例的图4中的方框316的方框图；
图6F是更详细示出本发明替代实施例的图4中的方框316的方框图；
图7A和7B是图6A中的方框316中所用的像素区域；
图8A和8B是图6C中的方框316中所用的像素区域；
图9A和9B是图6D中的方框316中所用的像素区域；
图10A和10B是图6E中的方框316中所用的像素区域；以及
图11A和11B是图6F中的方框316中所用的像素区域；
具体实施方式
在以下描述中，本发明的优选实施例将以通常实施为软件程序的方式进行描述。本领域技术人员将容易意识到这样的软件的等同物也能够以硬件进行构造。因为图像操纵算法和系统是众所周知的，本描述将具体涉及于形成依据本发明的系统和方法的一部分的或者更直接地与所述系统和方法协作的算法和系统。这样的算法和系统的其它方面以及用于产生和以其它方式处理其中所涉及的图像信号的硬件或软件(这里未具体示出或描述)能够从本领域已知的这样的系统、算法、部件和元件中加以选择。鉴于在以下材料中根据发明所描述的系统，在这里未具体示出、提出或描述的、用于实施发明的软件是常规的并且属于本领域的通常技术。
更进一步，如在这里所用的，计算机程序能够存储在计算机可读存储介质中，所述计算机可读存储介质能够例如能够包括：磁存储媒介，诸如磁盘(诸如硬盘驱动器或软盘)或磁带；光存储媒介，诸如光盘、光带、或机器可读条形码；固态电子存储装置，诸如随机存取存储器(RAM)、或只读存储器(ROM)；或者任何其它用来存储计算机程序的物理装置或介质。
在描述本发明之前，要注意为便于理解起见本发明优选用在任何众所周知的计算机系统诸如个人计算机上。因此，在这里不将详细描述计算机系统。注意图像被直接输入到计算机系统中(例如通过数码相机)或者在输入到计算机系统中之前被数字化(例如通过扫描原件，诸如卤化银胶卷)也是有益的。
参照图1，说明了用于实施本发明的计算机系统110。尽管计算机系统110被示出用于说明优选实施例的目的，但是本发明不限于所示的计算机系统110，而是能够用于诸如在家用计算机、信息亭、零售或批发照相洗印加工中见到的任何电子处理系统或者任何其它用于处理数字图像的系统。计算机系统110包括基于微处理器的单元112以用于接收和处理软件程序以及用于执行其它处理功能。显示器114被电连接到基于微处理器的单元112以例如通过图形用户接口来显示与软件相关联的用户相关信息。键盘116还连接到基于微处理器的单元112以允许用户把信息输入到软件。作为使用键盘116进行输入的备选方案，鼠标118能够用于移动显示器114上的选择器120并且用于选择选择器120覆盖其上的项，这在本领域中是众所周知的。
一般包括软件程序的光盘只读存储器(CD-ROM)124被插入到基于微处理器的单元中以提供一种向基于微处理器的单元112输入软件程序和其它信息的方式。另外，软盘126也能够包括软件程序，并且插入到基于微处理器的单元112以输入软件程序。光盘只读存储器(CD-ROM)124或软盘126能够可替代地插入到位于外部的盘驱动单元122，所述盘驱动单元122连接到基于微处理器的单元112。更进一步，基于微处理器的单元112能够如本领域众所周知地进行编程以把软件程序存储在内部。基于微处理器的单元112还能够具有到外部网络诸如局域网或互联网的网络连接127，诸如电话线。打印机128也能够连接到基于微处理器的单元112以打印从计算机系统110输出的硬拷贝。
图像也能够经由个人计算机卡(PC卡)130显示在显示器114上，所述个人计算机卡，诸如先前已知的PCMCIA卡(基于个人计算机存储卡国际协会的规范)，其含有被电子实现在PC卡130中的数字化图像。PC卡130最终插入到基于微处理器的单元112以允许图像在显示器114上的视觉显示。可替代地，PC卡130能够插入到位于外部的PC卡读取器132中，所述PC卡读取器132连接到基于微处理器的单元112。也能够经由光盘只读存储器(CD-ROM)124、软盘126或者网络连接127来输入图像。在PC卡130、软盘126或光盘只读存储器(CD-ROM)124中存储的或者经过网络连接127所输入的任何图像能够从各种源诸如数码相机(未示出)或扫描仪(未示出)获取。图像也能够经由连接到基于微处理器的单元112的相机底座端口(docking port)136而直接从数码相机134输入或者经由到基于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140而直接从数码相机134输入。
依据该发明，算法能够存储在以前提及的任何存储装置中并且应用于图像以便内插稀疏分布图像。
图4是优选实施例的高级图。数码相机134(图1)负责创建原始的数字红-绿-蓝全色(RGBP)滤色器阵列(CFA)图像300，也称为数字RGBP CFA图像或RGBP CFA图像。在这一点上要注意，其它彩色通道组合诸如青-品红-黄全色能够在以下描述中用来替代红-绿-蓝全色。关键项是包括全色信道。这个图像被认为是稀疏采样图像，因为图像中的每个像素仅含有红、绿、蓝或全色数据中的一个像素值。全色内插方框302从RGBP CFA图像300中产生高分辨率全色图像304和低分辨率全色图像306。在这一点上在图像处理链中，每个彩色像素位置具有相关的全色值以及红、绿或蓝色值。低分辨率彩色抽取方框310从RGBP CFA图像300中产生低分辨率RGB CFA图像312。色差生成方框308从低分辨率RGB CFA图像312和低分辨率全色图像306中产生低分辨率色差CFA图像314。色差CFA内插和调整大小方框316从低分辨率色差CFA图像314和低分辨率全色图像306中产生校正后的高分辨率色差图像318。像素纵横比校正方框320从高分辨率全色图像304中产生校正后的高分辨率全色图像322。最后，色差和全色图像总和方框324从校正后的高分辨率色差图像318和校正后的高分辨率全色图像322产生增强的全色图像326。
图5A是优选实施例的方框302(图4)的更详细视图。高分辨率全色内插方框328从RGBP CFA图像300(图4)中产生高分辨率全色图像330。高分辨率全色图像330的拷贝变成高分辨率全色图像304(图4)。低分辨率全色抽取方框332从高分辨率全色图像330产生低分辨率全色图像306(图4)。
在图5A中，高分辨率全色内插方框328和低分辨率全色抽取方框332能够以对本领域技术人员已知的任何方式被执行。在上面引用的共同转让的美国专利申请公开No.2007/0024934和美国专利申请序列No.11/564,451中教导了合适的方法。
图5B是替代实施例的方框302(图4)的更详细视图。高分辨率全色内插方框328从RGBP CFA图像300(图4)中产生高分辨率全色图像304(图4)。低分辨率全色内插方框334从RGBP CFA图像300(图4)中产生低分辨率全色图像306(图4)。高分辨率全色内插方框328已经根据图5A进行了讨论。低分辨率全色内插方框334与高分辨率全色内插方框328不同仅在于所捕获的全色像素值在内插计算后被自动丢弃以便产生内插的全色像素值的低分辨率全色图像。
图6A是优选实施例的方框316(图4)的更详细视图。色差CFA内插方框336从低分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。高分辨率调整大小方框340从低分辨率色差图像338中产生高分辨率色差图像342。像素纵横比校正方框344从高分辨率色差图像342中产生校正后的高分辨率色差图像318(图4)。
在图6A中，色差CFA内插方框336可以以对本领域技术人员已知的任何方式被执行。在上面引用的共同转让的美国专利申请公开No.2007/0024934和美国专利申请序列No.11/564,451中教导了合适的方法。高分辨率调整大小方框340是用也在共同转让的美国专利申请公开No.2007/0024934中描述的适当方法的标准数字图像调整大小(内插或重采样)操作。像素纵横比校正方框344也是具有水平比例因子不同于垂直比例因子的显著特征的标准数字图像调整大小操作。作为示例，图7B(Q1-QC)代表图7A(P1-PC)的像素纵横比校正版本。使用双线性内插，像素纵横比计算如下：
Q1＝P1
Q2＝(2P2+P3)/3
Q3＝(P3+2P4)/3
Q4＝(P1+3P5)/4
Q5＝(2P2+P3+6P6+3P7)/12
Q6＝(P3+2P4+3P7+6P8)/12
Q7＝(P5+P9)/2
Q8＝(2P6+P7+2PA+PB)/6
Q9＝(P7+2P8+PB+2PC)/6
QA＝(3P9+PD)/4
QB＝(6PA+3PB+2PE+PF)/12
QC＝(3PB+6PC+PF+2PG)/12
对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。
图6B是替代实施例的方框316(图4)的更详细视图。色差CFA内插方框336从低分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。像素纵横比校正方框346从低分辨率色差图像338中产生校正后的色差图像348。高分辨率调整大小方框350从校正后的色差图像348中产生校正后的高分辨率色差图像318(图4)。
在图6B中，色差CFA内插方框336如同先前根据图6A所描述的。像素纵横比校正方框346与图6A的像素纵横比校正方框344相同，除了方框346对低分辨率数据操作而方框344对高分辨率数据操作。高分辨率调整大小方框350与高分辨率调整大小方框340相同，除了方框350对像素纵横比校正数据操作而方框340不是。
图6C是替代实施例的方框316(图4)的更详细视图。色差CFA内插方框336从低分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。高分辨率调整大小和像素纵横比校正方框352从低分辨率色差图像338中产生校正后的高分辨率色差图像318(图4)。
在图6C中，色差CFA内插方框336如同先前根据图6A所描述的。高分辨率调整大小和像素纵横比校正方框352将高分辨率调整大小和像素纵横比校正执行为单个操作。方框352通过具有对水平和垂直方向的不同比例因子的标准调整大小操作来完成。作为示例，图8B(Q1-Qm)代表图8A(P1-PC)的高分辨率调整大小后且像素纵横比校正后的版本。使用双线性内插，像素纵横比计算部分地如下：
Q1＝P1
Q2＝(P1+2P2)/3
Q3＝(2P2+P3)/3
Q7＝(5P1+3P5)/8
Q8＝(5P1+10P2+3P5+6P6)/24
Q9＝(10P2+5P3+6P6+3P7)/24
QD＝(P1+3P5)/4
QE＝(P1+2P2+3P5+6P6)/12
QF＝(2P2+P3+6P6+3P7)/6
QJ＝(7P5+P9)/8
QK＝(7P5+14P6+P9+2PA)/24
QL＝(14P6+7P7+2PA+PB)/24
如何扩展这些计算以产生图8B中的其它Q值对本领域技术人员将是显而易见的。对本领域技术人员也将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。
图6D是替代实施例的方框316(图4)的更详细视图。色差CFA内插和像素纵横比校正方框354从低分辨率色差CFA图像314(图4)中产生校正后的低分辨率色差图像356。高分辨率调整大小方框358从校正后的低分辨率色差图像356中产生校正后的高分辨率色差图像318(图4)。
在图6D中，高分辨率调整大小方框358与高分辨率调整大小方框340(图6A)相同，除了方框358对像素纵横比校正后的数据进行操作。色差CFA内插和像素纵横比校正方框354是组合的内插操作。作为示例，图9B(Q1-QC)代表图9A(R1-GC)的CFA内插后且像素纵横比校正后的版本。注意在图9A中，每个像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以对于Q1不需要像素纵横比校正。因此，仅执行CFA内插。采用如下的标准双线性内插：
Q1R＝R1
Q1G＝(GE+GJ+G2+G5)/4
Q1B＝(BD+BF+BL+B6)/4
在Q2的情况下，执行CFA内插和像素纵横比校正二者。中间步骤被示出以说明最终计算的确定。
Q2R＝(2R2+R3)/3→(2(R1+R3)/2+R3)/3→(R1+2R3)/3
Q2G＝(2G2+G3)/3→(2G2+(GG+G2+G7+G4)/4)/3→(9G2+GG+G7+G4)/12
Q2B＝(2B2+B3)/3→(2(BF+B6)/2+(BF+BH+B6+B8)/4)/3→(5BF+5B6+BH+B8)/12
因此，为确定Q2像素值而由方框354执行的计算为：
Q2R＝(R1+2R3)/3
Q2G＝(9G2+GC+G7+G4)/12
Q2B＝(5BF+5B6+BH+B8)/12
下面给出该示例中的其余计算。
Q3R＝(2R3+RK)/3
Q3G＝(9G4+GG+G2+G7)/12
Q3B＝(5BH+5B8+BF+B6)/12
Q4R＝(5R1+3R9)/8
Q4G＝(13G5+G2+GE+GJ)/16
Q4B＝(7BL+7B6+BD+BF)/16
Q5R＝(10R3+6RB+5R1+3R9)/24
Q5G＝(GG+15G2+6G5+G4+19G7+6GA)/48
Q5B＝(35B6+7B8+5BF+BH)/48
Q6R＝(10R3+6RB+5RK+3RO)/24
Q6G＝(GG+G2+15G4+19G7+6GM+6GC)/48
Q6B＝(BF+5BH+7B6+35B8)/48
Q7R＝(R1+3R9)/4
Q7G＝(GA+5G5+GN+GQ)/8
Q7B＝(3B6+3BL+BP+BR)/8
Q8R＝(6RB+R1+2R3+3R9)/12
Q8G＝(11GA+GC+2G2+2G5+7G7+GS)/24
Q8B＝(15B6+3B8+5BR+BT)/24
Q9R＝(6RB+RK+3RO+2R3)/12
Q9G＝(GA+11GC+2G4+7G7+2GM+GS)/24
Q9B＝(3B6+15B8+BR+5BT)/24
QAR＝(7R9+RW)/8
QAG＝(3GA+3G5+3GN+7GQ)/16
QAB＝(3B6+3BL+5BP+5BR)/16
QBR＝(14RB+7R9+RW+2RY)/24
QBG＝(29GA+3GC+3G7+2GQ+9GS+2GX)/48
QBB＝(15B6+3B8+25BR+5BT)/48
QCR＝(Ra+14RB+7RO+2RY)/24
QCG＝(3GA+29GC+3G7+9GS+2GU+2GZ)/48
QCB＝(3B6+15B8+5BR+25BT)/48
对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。
图6E是替代实施例的方框316(图4)的更详细视图。色差CFA内插和高分辨率调整大小方框360从低分辨率色差CFA图像314(图4)中产生高分辨率色差图像362。像素纵横比校正方框364从高分辨率色差图像362中产生校正后的高分辨率色差图像318(图4)。
在图6E中，像素纵横比校正方框364与像素纵横比校正方框344(图6A)相同。色差CFA内插和高分辨率调整大小方框360是组合的内插操作。作为示例，图10B(Q1-QG)代表图10A(R1-B4)的CFA内插后且高分辨率调整大小后的版本。注意在图10A中，每个像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以对于Q1不需要高分辨率调整大小。因此，仅执行CFA内插。采用如下的标准双线性内插：
Q1R＝R1
Q1G＝(G6+GA+G2+G3)/4
Q1B＝(B5+B7+BD+B4)/4
在Q2的情况下，执行CFA内插和高分辨率调整大小二者。中间步骤被示出以说明最终计算的确定。
Q2R＝(R1+R2)/2→(R1+(R1+RB)/2)/2→(3R1+RB)/4
Q2G＝(G1+G2)/2→((GA+G2+G6+G3)/4+G2)/2→(5G2+GA+G6+G3)/8
Q2B＝(B1+B2)/2→((B5+B7+BD+B4)/4+(B7+B4)/2)/2→(3B4+B5+3B7+BD)/8
因此，为确定Q2像素值而由方框360执行的计算为：
Q2R＝(3R1+RB)/4
Q2G＝(5G2+GA+G6+G3)/8
Q2B＝(3B4+B5+3B7+BD)/8
下面给出该示例中的其余计算。
Q3R＝(R1+RB)/2
Q3G＝G2
Q3B＝(B7+B4)/2
Q4R＝(R1+3RB)/4
Q4G＝(3G2+GC)/4
Q4B＝(3B4+B9+3B7+BF)/8
Q5R＝(3R1+RH)/4
Q5G＝(GA+G2+5G3+G6)/8
Q5B＝(3B4+B5+B7+3BD)/8
Q6R＝(3RB+3RH+RJ+9RI)/16
Q6G＝(GA+6G2+6G3+G6+GE+GI)/16
Q6B＝(9B4+B5+3B7+3BD)/16
Q7R＝(3RB+RH+RJ+3RI)/8
Q7G＝(5G2+G3+GE+GI)/8
Q7B＝(3B4+B7)/4
Q8R＝(9RB+RH+3RJ+3RI)/16
Q8G＝(GC+6G2+G3+G8+6GE+GI)/16
Q8B＝(9B4+3B7+B9+3BF)/16
Q9R＝(RI+RH)/2
Q9G＝G3
Q9B＝(BD+B4)/2
QAR＝(RB+3RH+RJ+3RI)/8
QAG＝(G2+5G3+GE+GI)/8
QAB＝(3B4+BD)/4
QBR＝(RI+RB+RH+RJ)/4
QBG＝(G2+G3+GE+GI)/4
QBB＝B4
QCR＝(3RB+RH+3RJ+RI)/8
QCG＝(G2+G3+5GE+GI)/8
QCB＝(3B4+BF)/4
QDR＝(3RH+R1)/4
QDG＝(GG+5G3+GM+GI)/8
QDB＝(3B4+3BD+BL+BN)/8
QER＝(RB+9RH+3RJ+3RI)/16
QEG＝(GG+G2+6G3+GM+GE+6GI)/16
QEB＝(9B4+3BD+BL+3BN)/16
QFR＝(RB+3RH+3RJ+RI)/8
QFG＝(G2+G3+GE+5GI)/8
QFB＝(3B4+BN)/4
QGR＝(3RB+3RH+9RJ+RI)/16
QGG＝(G2+G3+GK+GO+6GE+6GI)/16
QGB＝(9B4+3BF+3BN+BP)/16
对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。
图6F是替代实施例的方框316(图4)的更详细视图。色差CFA内插、高分辨率调整大小和像素纵横比校正方框366从低分辨率色差CFA图像314(图4)中产生校正后的高分辨率色差图像318(图4)。方框366是组合的内插操作。作为示例，图11B(Q1-Q0)代表图11A(R1-G6)的经CFA内插、高分辨率调整大小和像素纵横比校正后的版本。注意在图11A中，每个像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以对于Q1不需要高分辨率调整大小或像素纵横比校正。因此，仅执行CFA内插。采用如下的标准双线性内插：
Q1R＝R1
Q1G＝(G8+GD+G2+G4)/4
Q1B＝(B7+B9+BG+B5)/4
在Q2的情况下，执行CFA内插、高分辨率调整大小和像素纵横比校正。中间步骤被示出以说明最终计算的确定。
Q2R＝(R1+3R2)/4→(R1+3(R1+R3)/2)/4→(5R1+3R3)/8
Q2G＝(G1+3G2)/4→((G8+GD+G4+G2)/4+3G2)/4→(GD+13G2+G4+G8)/16
Q2B＝(B1+3B2)/4→((B7+B9+BG+B5)/4+(B9+B5)/2)/4→(7B5+B7+7B9+BG)/16
因此，为确定Q2像素值而由方框360执行的计算为：
Q2R＝(5R1+3R3)/8
Q2G＝(GD+13G2+G4+G8)/16
Q2B＝(7B5+B7+7B9+BG)/16
下面给出该示例中的其余计算。
Q3R＝(R1+3R3)/4
Q3G＝(GA+5G2+G6+GE)/8
Q3B＝(BB+3B5+3B9+BH)/8
Q4R＝(RF+7R3)/8
Q4G＝(3GA+3G2+3G6+7GE)/16
Q4B＝(5BB+3B5+3B9+5BH)/16
Q5R＝(RK+5R1)/6
Q5G＝(GD+G2+3G4+G8)/6
Q5B＝(2B5+B7+B9+2BG)/6
Q6R＝(5RK+3RM+25R1+15R3)/48
Q6G＝(2GD+29G2+9G4+3G6+2G8+3GL)/48
Q6B＝(14B5+B7+7B9+2BG)/24
Q7R＝(RK+3RM+5R1+19R3)/24
Q7G＝(2GA+11G2+G4+7G6+GL+2GE)/24
Q7B＝(BB+6B5+3B9+2BH)/12
Q8R＝(5RF+7RM+RO+35R3)/48
Q8G＝(6GA+6G2+19G6+GN+15GE+GI)/48
Q8B＝(7BB+9B5+3B9+17BH)/48
Q9R＝(RK+2RI)/3
Q9G＝(GD+G2+9G4+G8)/12
Q9B＝(5B5+B7+B9+5BG)/12
QAR＝(5RK+3RM+10R1+6R3)/24
QAG＝(GD+19G2+15G4+6G6+G8+6GL)/48
QAB＝(35B5+B7+7B9+5BG)/48
QBR＝(RK+3RM+2R1+6R3)/12
QBG＝(GA+7G2+2G4+11G6+2GL+GE)/24
QBB＝(BB+15B5+3B9+5BH)/24
QCR＝(2RF+7RM+RO+14R3)/24
QCG＝(3GA+3G2+29G6+2GN+9GE+2GI)/48
QCB＝(5BB+15B5+3B9+25BH)/48
QDR＝(R1+RK)/2
QDG＝G4
QDB＝(BG+B5)/2
QER＝(5RK+3RM+5R1+3R3)/16
QEG＝(3G2+7G4+3G6+3GL)16
QEB＝(7B5+BG)/8
QFR＝(RK+3RM+R1+3R3)/8
QFG＝(G2+G4+5G6+GL)/8
QFB＝(3B5+BH)/4
QGR＝(RF+7RM+RO+7R3)/16
QGG＝(13G6+GN+GE+GI)/16
QGB＝(3B5+5BH)/8
QHR＝(2RK+RI)/3
QHG＝(9G4+GJ+GL+GQ)/12
QHB＝(5B5+5BG+BP+BR)/12
QIR＝(10RK+6RM+5R1+3R3)/24
QIG＝(6G2+15G4+6G6+GJ+19GL+GQ)/48
QIB＝(35B5+5BG+BP+7BR)/48
QJR＝(2RK+6RM+R1+3R3)/12
QJG＝(2G2+2G4+11G6+7GL+GN+GS)/24
QJB＝(15B5+5BH+3BR+BT)/24
QKR＝(RF+14RM+2RO+7R3)/24
QKG＝(29G6+3GL+9GN+3GS+2GE+2GI)/48
QKB＝(15B5+25BH+3BR+5BT)/48
QLR＝(5RK+R1)/6
QLG＝(3G4+GJ+GL+GQ)/6
QLB＝(2B5+2BG+BP+BR)/6
QMR＝(25RK+15RM+5R1+3R3)/48
QMG＝(3G2+9G4+3G6+2GJ+29GL+2GQ)/48
QMB＝(14B5+2BG+BP+7BR)/24
QNR＝(5RK+15RM+R1+3R3)/24
QNG＝(G3+G4+7G6+11GL+2GN+2GS)/24
QNB＝(6B5+2BH+3BR+BT)/12
QOR＝(RF+35RM+5RO+7R3)/48
QOG＝(19G6+6GL+15GN+6GS+GE+GI)/48
QOB＝(6B5+10BH+3BR+5BT)/24
对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。
本发明的优选实施例中所公开的像素纵横比校正算法能够被用于各种用户上下文和环境中。示例性上下文和环境包括但不限于批发数字照相洗印加工(其涉及诸如装胶卷、数字处理、打印输出的示例性处理步骤或阶段)、零售照相洗印加工(装胶卷、数字处理、打印输出)、家庭打印(家庭扫描的胶卷或数字图像、数字处理、打印输出)、桌面软件(将算法应用于数字打印以使得它们更好-或者甚至仅改变它们)、数字实现(数字图像输入-从媒介或通过网络，数字处理，图像输出-以媒介上的数字形式，网络上的数字形式，或者打印在硬拷贝印刷品上)、信息亭(数字或扫描输入、数字处理、数字或扫描输出)、移动装置(例如PDA或蜂窝电话，其能够用作处理单元、显示单元或用于给出处理指令的单元)以及作为经由万维网提供的服务。
在每种情况下，像素纵横比校正算法能够独立存在或者能够是较大系统解决方案的部件。而且，与算法的接口，例如扫描或输入、数字处理、向用户显示(如果需要的话)、输入用户请求或处理指令(如果需要的话)、输出，每个都能够位于相同或不同装置和物理位置上，并且装置和位置之间的通信能够是经由公共或专用网络连接、或者基于媒介的通信。这些算法在符合本发明的前面公开的情况下能够是全自动的，能够让用户输入(是全部或部分人工的)，能够让用户或操作员查看以接收/拒绝结果，或者能够由元数据(能够由用户提供、由测量装置(例如在相机中)提供、或由算法确定的元数据)辅助。此外，算法能够与各种工作流用户接口方案接口。
在这里依据该发明所公开的像素纵横比校正算法能够具有利用各种数据检测和简化技术(例如人脸检测、眼睛检测、皮肤检测、闪光检测)的内部部件。
部件列表
110计算机系统
112基于微处理器的单元
114显示器
116键盘
118鼠标
120显示器上的选择器
122盘驱动单元
124光盘只读存储器(CD-ROM)
126软盘
127网络连接
128打印机
130个人计算机卡(PC卡)
132PC卡读取器
134数码相机
136相机底座端口
138电缆连接
140无线连接
200数码相机
202RGB CFA图像
204CFA内插
206全色图像
208像素纵横比校正
210校正后的全色图像
212数码相机
214RGB CFA图像
216CFA内插和调整大小
218调整大小后的全色图像
300RGBP CFA图像
302全色内插
304高分辨率全色图像
306低分辨率全色图像
308色差生成
310低分辨率彩色抽取
312低分辨率RGB CFA图像
314低分辨率色差CFA图像
316色差CFA内插和调整大小
318校正后的高分辨率色差图像
320像素纵横比校正
322校正后的高分辨率全色图像
324色差和全色图像总和
326增强的全色图像
328高分辨率全色内插
330高分辨率全色图像
332低分辨率全色抽取
334低分辨率全色内插
336色差CFA内插
338低分辨率色差图像
340高分辨率调整大小
342高分辨率色差图像
344像素纵横比校正
346像素纵横比校正
348校正后的色差图像
350高分辨率调整大小
352高分辨率调整大小和像素纵横比校正
354色差CFA内插和像素纵横比校正
356校正后的低分辨率色差图像
358高分辨率调整大小
360色差CFA内插和高分辨率调整大小
362高分辨率色差图像
364像素纵横比校正
366色差CFA内插、高分辨率调整大小、和像素纵横比校正

Claims (8)

1.一种形成具有第一像素纵横比的增强的数字全色图像的方法，包括：
(a)使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；
(b)从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；
(c)从捕获的图像中提供数字低分辨率色差滤色器阵列图像；
(d)从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及
(e)使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。
2.权利要求的方法1，其中步骤(a)包括具有光响应红、绿和蓝的彩色像素。
3.权利要求的方法1，其中步骤(a)包括具有光响应青、品红和黄的彩色像素。
4.权利要求的方法1，其中步骤(c)包括从高分辨率全色图像中产生数字低分辨率全色图像并且使用低分辨率全色图像和捕获的彩色像素来产生数字低分辨率色差滤色器阵列图像。
5.权利要求的方法1，其中步骤(d)包括滤色器阵列内插色差像素值。
6.权利要求的方法1，其中步骤(d)包括将色差像素值的像素纵横比从第二像素纵横比改变到第一像素纵横比。
7.权利要求的方法1，其中步骤(d)包括将色差像素值从低分辨率调整大小到高分辨率。
8.权利要求的方法1，其中第一像素纵横比定义正方形而第二像素纵横比定义非正方形的矩形。
CN200880103332A 2007-08-14 2008-08-06 使用全色像素的像素纵横比校正 Pending CN101803391A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/838,318 US20090046182A1 (en) 2007-08-14 2007-08-14 Pixel aspect ratio correction using panchromatic pixels
US11/838,318 2007-08-14
PCT/US2008/009448 WO2009038618A1 (en) 2007-08-14 2008-08-06 Pixel aspect ratio correction using panchromatic pixels

Publications (1)

Publication Number Publication Date
CN101803391A true CN101803391A (zh) 2010-08-11

Family

ID=39765020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880103332A Pending CN101803391A (zh) 2007-08-14 2008-08-06 使用全色像素的像素纵横比校正

Country Status (6)

Country Link
US (1) US20090046182A1 (zh)
EP (1) EP2177039A1 (zh)
JP (1) JP2010537228A (zh)
CN (1) CN101803391A (zh)
TW (1) TW200926759A (zh)
WO (1) WO2009038618A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106921854A (zh) * 2017-03-24 2017-07-04 深圳安芯微电子有限公司 一种色彩滤镜阵列及图像传感器
CN108780572A (zh) * 2017-02-22 2018-11-09 华为技术有限公司 图像校正的方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
JP2016177373A (ja) * 2015-03-18 2016-10-06 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
CA2990063A1 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
WO2019226194A2 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0133835A3 (en) * 1983-08-11 1986-05-28 FAIRCHILD CAMERA & INSTRUMENT CORPORATION Ccd area image sensor and method for color imaging
US5778106A (en) * 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6097835A (en) * 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
US6529239B1 (en) * 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
JP4657564B2 (ja) * 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7095420B2 (en) * 2002-10-17 2006-08-22 Lockheed Martin Corporation System and related methods for synthesizing color imagery
JP2004304712A (ja) * 2003-04-01 2004-10-28 Canon Inc 画像処理方法及び装置
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780572A (zh) * 2017-02-22 2018-11-09 华为技术有限公司 图像校正的方法及装置
CN108780572B (zh) * 2017-02-22 2021-04-20 华为技术有限公司 图像校正的方法及装置
CN106921854A (zh) * 2017-03-24 2017-07-04 深圳安芯微电子有限公司 一种色彩滤镜阵列及图像传感器
CN106921854B (zh) * 2017-03-24 2019-03-29 深圳安芯微电子有限公司 一种色彩滤镜阵列及图像传感器

Also Published As

Publication number Publication date
TW200926759A (en) 2009-06-16
EP2177039A1 (en) 2010-04-21
JP2010537228A (ja) 2010-12-02
WO2009038618A1 (en) 2009-03-26
US20090046182A1 (en) 2009-02-19

Similar Documents

Publication Publication Date Title
CN101803391A (zh) 使用全色像素的像素纵横比校正
EP1977613B1 (en) Interpolation of panchromatic and color pixels
US20080123997A1 (en) Providing a desired resolution color image
US7876956B2 (en) Noise reduction of panchromatic and color image
US7082218B2 (en) Color correction of images
US8224085B2 (en) Noise reduced color image using panchromatic image
TWI430202B (zh) 使用全色像素之銳化方法
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
US20060152596A1 (en) Noise cleaning sparsely populated color digital images
US7072509B2 (en) Electronic image color plane reconstruction
TW200903347A (en) Edge mapping using panchromatic pixels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100811