CN101375610B - 生成数字彩色图像的方法 - Google Patents

生成数字彩色图像的方法 Download PDF

Info

Publication number
CN101375610B
CN101375610B CN2007800034839A CN200780003483A CN101375610B CN 101375610 B CN101375610 B CN 101375610B CN 2007800034839 A CN2007800034839 A CN 2007800034839A CN 200780003483 A CN200780003483 A CN 200780003483A CN 101375610 B CN101375610 B CN 101375610B
Authority
CN
China
Prior art keywords
image
value
square
digital
colour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800034839A
Other languages
English (en)
Other versions
CN101375610A (zh
Inventor
J·E·小亚当斯
J·F·小哈米尔顿
M·奥布赖恩
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN101375610A publication Critical patent/CN101375610A/zh
Application granted granted Critical
Publication of CN101375610B publication Critical patent/CN101375610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

一种用于形成最终的数字彩色图像的方法，包括：使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色像素；根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像。

Description

生成数字彩色图像的方法
技术领域
本发明通常涉及数字图像处理操作领域，所述数字图像处理操作特别适用于各种成像设备。
背景技术
视频照相机和数字静止照相机一般采用具有滤色器阵列的单一图像传感器来记录场景。这种方法以稀疏分布的单通道图像开始，其中颜色信息由滤色器阵列模式进行编码。对相邻像素值的随后插值允许重建完整的三通道全彩色图像。在Hamilton等人的美国专利No.5506619中可以看到这个过程的一个实例。
在微光成像情况下，有利的是不对滤色器阵列中的一个或多个像素进行滤波，即在光谱灵敏度方面呈白色或全色。这些全色像素具有捕捉系统的最大光敏度能力。采用全色像素代表捕捉系统中光敏度和色空间分辨率之间的折衷。为此，描述了许多四颜色滤色器阵列系统。Dyck等人的美国专利No.6529239教导了一种排列成呈棋盘格状镶嵌在传感器表面上的2×2块的绿-青-黄-白模式。Hubina等人的美国专利No.6757012公开了红-绿-蓝-白模式和黄-青-品红-白模式二者。在这两种情况下，颜色排列在呈棋盘格状镶嵌在成像器的表面上的2×2块中。这种系统的困难在于，滤色器阵列中只有四分之一的像素具有最大光敏度，从而限制了该捕捉设备的总体微光性能。
为了满足在滤色器阵列中使更多像素具有最大光敏度的需要，Frame的美国专利申请公开2003/0210332描述了一种大多数像素未加滤波的像素阵列。相对较少的像素专用于捕捉来自场景的颜色信息，得到具有低的色空间分辨率性能的系统。此外，Frame还教导了使用简单的线性插值技术，所述简单的线性插值技术不响应或者保护图像中的高频色空间细节。
所需要的是具有全色和彩色像素的适当组成的滤色器阵列，以便提供改善的微光灵敏度和改善的色空间分辨率保真度。此外，需要处理由这种滤色器阵列产生的图像数据以便保护和增强全色和彩色空间细节 并且最终产生全彩色全分辨率的图像的方法。
发明内容
本发明提供了一种用于形成最终的数字彩色图像的方法，该方法包括：
(a)使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色像素；
(b)根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及
(c)使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像。
本发明的一个特征在于，可以以改善的图像保真度在微光捕捉下捕捉图像。
本发明的另一个特征在于，通过使用自适应图像处理策略来改善图像保真度。
附图说明
图1为用于实现本发明的包括数字照相机的计算机系统的透视图；
图2为优选实施例的框图；
图3为图2中的方块204的更详细的框图；
图4为在图2的方块200中的像素区域；
图5为在图2的方块202中使用的像素区域；
图6为在图2的方块202中产生的像素区域；
图7为在图2的方块204中使用的像素区域；
图8为在图2的方块204中产生的像素区域；
图9为在图2的方块206中产生的像素区域；
图10为在图2的方块210中产生的像素区域；
图11为可替换实施例的图2中的方块200中产生的像素区域；
图12为可替换实施例的图2中的方块202中使用的像素区域；
图13为可替换实施例的图2中的方块204中使用的像素区域；
图14为可替换实施例的图2中的方块200中产生的像素区域；
图15为可替换实施例的图2中的方块202中使用的像素区域；
图16为可替换实施例的图2中的方块204中使用的像素区域；
图17为可替换实施例的图2中的方块204中产生的像素区域；
图18为可替换实施例的图2中的方块210中的像素区域；
图19为可替换实施例的图2中的方块200中产生的像素区域；
图20为可替换实施例的图2中的方块202中使用的像素区域；
图21为可替换实施例的图2中的方块204中使用的像素区域；以及
图22为可替换实施例的图2中的方块204中产生的像素区域。
具体实施方式
在下面的说明中，将按照通常将实现为软件程序的方面来描述本发明的优选实施例。本领域技术人员应当容易认识到，也可以以硬件构造这种软件的等效物。由于图像操纵算法和系统是众所周知的，因此本说明书将特别着眼于形成依照本发明的系统和方法的一部分或者更加直接地与依照本发明的系统和方法协同操作的算法和系统。本文没有具体示出或者描述的这种算法和系统的其他方面以及用于产生和以其他方式处理与其有关的图像信号的硬件或软件可以从本领域中已知的这种系统、算法、部件和元件中选取。给定在下列材料中依照本发明描述的系统，本文没有具体示出、建议或者描述的、对实现本发明有用的软件是常规的并且为本领域中的普通技术人员所熟悉。
另外，如在本文中所使用的，所述计算机程序可以存储于计算机可读存储介质上，所述计算机可读存储介质可以包括例如：诸如磁盘(例如硬盘驱动器或软盘)或磁带之类的磁存储介质；诸如光盘、光带或机器可读条形码之类的光学存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备；或者用来存储计算机程序的任何其他物理设备或介质。
在描述本发明之前，有助于理解的是，应当指出本发明优选地用于例如个人计算机的任何公知的计算机系统上。因此，本文将不对计算机系统详加讨论。另外有指导意义的是，应当指出图像或者直接输入到计算机系统中(例如通过数字照相机)，或者在输入到计算机系统之前进行数字化(例如通过扫描诸如卤化银胶片的原物)。
参照图1，其示出了用于实现本发明的计算机系统110。尽管示出 的计算机系统110用于说明优选实施例的目的，但是本发明并不限于所示出的计算机系统110，而是可以用于诸如在家用计算机、售货亭、零售或批发照相洗印加工中看到的任何电子处理系统上，或者可以用于处理数字图像的任何其他系统上。计算机系统110包括用于接收和处理软件程序并且用于执行其他处理功能的基于微处理器的单元112。显示器114电连接到基于微处理器的单元112，用于例如通过图形用户接口显示与软件关联的用户相关信息。键盘116也连接到基于微处理器的单元112，用于允许用户向软件输入信息。作为对使用键盘116进行输入的可选方案，鼠标118可以用于移动显示器114上的选择器120并且用于选择选择器120所覆盖的项目，这在本领域中是众所周知的。
将通常包含软件程序的光盘只读存储器(CD-ROM)124插入基于微处理器的单元，用于提供一种向基于微处理器的单元112输入软件程序和其他信息的方式。此外，软盘126也可以包含软件程序，并被插入到基于微处理器的单元112中以便输入该软件程序。可替换地，光盘只读存储器(CD-ROM)124或者软盘126可以插入位于外部的盘驱动单元122，该盘驱动单元122连接到基于微处理器的单元112。此外，如本领域中众所周知的，可以对基于微处理器的单元112进行编程，以便内部存储软件程序。基于微处理器的单元112还可以具有到诸如局域网或因特网之类的外部网络的网络连接127，例如电话线。打印机128也可以连接到基于微处理器的单元112，用于打印来自计算机系统110的输出的硬拷贝。
图像也可以通过个人计算机卡(PC卡)130显示在显示器114上，所述PC卡例如先前所知的PCMCIA卡(基于个人计算机存储卡国际协会规范)，其包含在PC卡130内电子实现的数字化图像。PC卡130最终插入到基于微处理器的单元112中，用于允许图像在显示器114上的视觉显示。可替换地，PC卡130可以插入到位于外部的PC卡读取器132中，该PC卡读取器132连接到基于微处理器的单元112。图像也可以经由光盘124、软盘126或者网络连接127来输入。存储于PC卡130、软盘126或光盘124中或者通过网络连接127输入的任何图像可以从诸如数字照相机(未示出)或扫描仪(未示出)之类的各种来源获取。图像还可以经由连接到基于微处理器的单元112的照相机对接(docking)端口136直接从数字照相机134输入，或者经由到基于微处理器的单元 112的电缆连接138或经由到基于微处理器的单元112的无线连接140直接从数字照相机134输入。
依照本发明，所述算法可以存储于之前提及的任何存储设备并且应用于图像以便对稀疏分布的图像进行插值。
图2为该优选实施例的高级示图。数字照相机134负责创建原始的数字红-绿-蓝-全色(RGBP)滤色器阵列(CFA)图像200，该图像200也称为数字RGBP CFA图像或者RGBP CFA图像。该图像被认为是稀疏采样的图像，因为图像中的每个像素只包含红、绿、蓝或全色数据的一个像素值。方块200的拷贝被传送到低分辨率RGB CFA图像创建方块202。方块202根据RGBP CFA图像创建数字低分辨率RGB CFA图像，该数字低分辨率RGB CFA图像也称为低分辨率RGB CFA图像。方块200的另一拷贝被传送到高分辨率全色图像创建方块204。方块204根据RGBP CFA图像创建数字高分辨率全色图像，该数字高分辨率全色图像也称为高分辨率全色图像。方块204的输出被传送到低分辨率全色图像创建方块206。方块206根据高分辨率全色图像创建数字低分辨率全色图像，该数字低分辨率全色图像也称为低分辨率全色图像。方块206的输出和方块202的输出被传送到低分辨率色差创建方块208。方块208通过从低分辨率RGB CFA图像中减去低分辨率全色图像来创建低分辨率色差图像。方块208的输出被传送到低分辨率色差图像插值方块216。方块216对这些低分辨率色差执行Bayer CFA插值操作。Hamilton等人的美国专利No.5506619中可以看到这种Bayer CFA插值的一个实例，但是对于本领域技术人员显而易见的是，可以使用其他Bayer CFA插值方法。方块216的结果是数字插值低分辨率色差图像，也称为插值低分辨率色差图像，其中每个像素具有三个色差值。方块216的输出被传送到高分辨率色差创建方块210。方块210通过对低分辨率色差图像进行双线性插值(尺寸增大(upsizing))来创建数字高分辨率色差图像，该数字高分辨率色差图像也称为高分辨率色差图像。方块210的输出和方块204的输出被传送到高分辨率全彩色图像创建方块212。方块212通过将高分辨率全色图像添加到高分辨率色差图像来创建数字高分辨率全彩色图像，该数字高分辨率全彩色图像也称为高分辨率全彩色图像214。
图3为图2中的高分辨率全色图像创建方块204的更详细的示图。RGBP CFA图像200(图2)被传送到像素邻域预测器计算方块300。方 块300计算一组像素邻域预测器值。方块300的结果被传送到像素邻域分类器计算方块302。方块302计算一组像素邻域分类器值，每个分类器值与方块300中计算的一个预测器值对应。方块302的结果被传送到计算方向确定方块304。方块304基于方块302中产生的该组分类器值确定优选的计算方向。方块304的结果和方块300的结果被传送到高分辨率全色像素值计算方块306。方块306从方块300的结果中选择与方块304确定的方向对应的适当的预测器值。然后，这个选定的预测器值成为插值的高分辨率全色像素值。方块306的结果成为方块204(图2)的输出。
图4为在整个RGBP CFA图像方块200(图2)中重复的像素区域。图4的突出方面在于，两行全色像素由交替的红色和绿色像素行以及绿色和蓝色像素行分开。
图5为由低分辨率RGB CFA图像创建方块202(图2)用来产生图6中所示像素区域的像素区域。在所述优选实施例中，使用下列表达式来产生图6中的像素值：
R1′＝k(R1+R3+R5)
G2′＝k(G4+G6+G8)
G3′＝k(G9+G11+G13)
B4′＝k(B12+B14+B16)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为：1/3，用于产生平均像素值；以及1，用于产生总和像素值。应当指出的是，在本发明的范围内，从三个像素值创建一个像素值是一种二次采样(subsample)形式。在本发明的一个可替换实施例中，如下使用了方块202的一组不同的表达式：
R1′＝k(R1+R3+R5)
G2′＝k(G2+G4+G6)
G3′＝k(G9+G11+G13)
B4′＝k(B10+B12+B14)
图7为像素邻域预测计算方块300(图3)和像素邻域分类器计算 方块302(图3)二者使用的像素区域。存在由方块300(图3)计算的两组预测器值。对于像素邻域的中心像素为绿色像素(例如图7中的G15)时的情况而言，计算下列预测器值。
p斜线＝(P10+P20)/2
p竖直＝(P9+P21)/2
p反斜线＝(P8+P22)/2
p水平＝G15
p左＝G15
p右＝G15
p立体＝(-·P3+4P9+4P21-P27)/6
对于像素邻域的中心像素不是绿色像素(例如图7中的B16)时的情况而言，计算下列预测器值。
p斜线＝(P11+P21)/2
p竖直＝(P10+P22)/2
p反斜线＝(P9+P23)/2
p水平＝(G15+G17)/2
p左＝G15
p右＝G17
p立体＝(-P4+4P10+4P22-P28)/6
存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是使用相同的表达式计算这些分类器。现在给出两个实例。对于像素邻域的中心像素为绿色像素(例如图7中的G15)时的情况而言，计算下列分类器值。
c斜线＝|P11-P21|+|P10-P20|+|P9-P19|+|2p立体-P10-P20|/4
c竖直＝|P10-P22|+|P9-P21|+|P8-P20|+|2p立体-P9-P21|/4
c反斜线＝|P9-P23|+|P8-P22|+|P7-P21|+|2p立体-P8-P22|/4
c水平＝|B14-B16|+|P8-P10|+|P20-P22|+|2G15-G13-G17|/8+t1
c左＝|G15-G13|+|P9-P21|+|P8-P20|+|2G15-G13-G17|/8+t2
c右＝|G15-G17|+|P9-P21|+|P10-P22|+|2G15-G13-G17|/8+t2
值t1和t2为阈值，选择该阈值来降低但不是消除c水平、c左和c右小于c 斜线、c竖直或c反斜线的似然率。对于8比特像素值数据范围而言，t1和t2 的典型值为20和40。对于像素邻域的中心像素不是绿色像素(例如图7中的B16)的情况而言，计算下列分类器值。
c斜线＝|P12-P22|+|P11-P21|+|P10-P20|+|2p立体-P11-P21|/4
c竖直＝|P11-P23|+|P10-P22|+|P9-P21|+|2p立体-P10-P22|/4
c反斜线＝|P10-P24|+|P9-P23|+|P8-P22|+|2p立体-P9-P23|/4
c水平＝|G15-G17|+|P9-P11|+|P21-P23|+|2B16-B14-B18|/8+t1
c左＝|B16-B14|+|P10-P22|+|P9-P21|+|2B16-B14-B18|/8+t2
c右＝|B16-B18|+|P10-P22|+|P11-P23|+|2B16-B14-B18|/8+t2
应当指出的是，这些表达式在这两个实例中基本上是相同的。对于红色像素为中心的邻域而言，可以取第二个实例的分类器并且用红色像素值交换蓝色像素值。
回到图3，方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性(activity)阈值t活性进行比较。对于8比特像素值数据范围而言，t活性的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值p立体关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图8中图解说明了所得到的高分辨率全色通道的一部分。在图8中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图8为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选实施例中，使用下列表达式来产生图9中的像素值。
P1′＝k(P1+P3+P5)
P2′＝k(P4+P6+P8)
P3′＝k(P9+P11+P13)
P4′＝k(P12+P14+P16)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3，用于产生平均像素值。在本发明的可替换实施例中，如下使用了方块206(图2)的一组不同的表达式。
P1′＝k(P1+P3+P5)
P2′＝k(P2+P4+P6)
P3′＝k(P9+P11+P13)
P4′＝k(P10+P12+P14)
图10为从高分辨率色差创建方块210(图2)创建的像素区域。在图10中，X1和X4代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。插值的色差值X2和X3在方块210(图2)中利用下列表达式来计算：
X2＝(2X1+X4)/3
X3＝(X1+2X4)/3
作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。
现在描述本发明的可替换实施例。图2和图3如同在所述优选实施例中一样。图11为在整个RGBP CFA图像方块200(图2)中重复的可替换像素区域。图11的突出方面在于，两行全色像素由交替的三邻接红色像素接着是三邻接绿色像素的行和三邻接绿色像素接着是三邻接蓝色像素的行分开。
图12为由低分辨率RGB CFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。
R1′＝k(R11+R12+R13)
G2′＝k(G14+G15+G16)
G3′＝k(G21+G22+G23)
G4′＝k(B24+B25+B26)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为：1/3，用于产生平均像素值；以及1，用于产生总和像素值。应当指出的是，在本发明的范围内，从三个像素值创建一个像素值是一种二次采样形式。
图13为像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的可替换像素区域。对于像素邻域的中心像素为蓝色或红色像素(例如图13中的B33)时的情况而言，计算下列预测器值。
p斜线＝(P42+P24)/2
p竖直＝(P23+P43)/2
p反斜线＝(P22+P44)/2
Figure S2007800034839D00101
p左＝(P23+P43)/2
p右＝(P23+P43)/2
p立体＝(-P13+4P23+4P43-P53)/6
对于像素邻域的中心像素为绿色像素时的情况而言，那么p水平就简化成绿色中心像素值。存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是相同的表达式用于计算这些分类器。回到图13，像素邻域的中心像素为B33，对于其计算下列分类器值。
c斜线＝|P25-P43|+|P24-P42|+|P23-P41|+|2p立体-P24-P42|/4
c竖直＝|P24-P44|+|P23-P43|+|P22-P42|+|2p立体-P23-P43|/4
c反斜线＝|P23-P45|+|P22-P44|+|P21-P43|+|2p立体-P22-P44|/4
Figure S2007800034839D00111
Figure S2007800034839D00112
Figure S2007800034839D00113
值t1和t2为阈值，其被选择来降低但不是消除c水平、c左和c右小于c斜线、c竖直或c反斜线的似然率。对于8比特像素值数据范围而言，t1和t2的典型值为50和50。
回到图3，方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阈值t活性进行比较。对于8比特像素值数据范围而言，t活性的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值p立体关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图8中图解说明了所得到的高分辨率全色通道的一部分。在图8中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图8为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。
P1′＝k(P1+P3+P5)
P2′＝k(P4+P6+P8)
P3′＝k(P9+P11+P13)
P4′＝k(P12+P14+P16)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/3，用于产生平均像素值。在本发明的可替换实施例中，
如下使用了方块206(图2)的一组不同的表达式。
P1′＝k(P1+P3+P5)
P2′＝k(P2+P4+P6)
P3′＝k(P9+P11+P13)P4′＝k(P10+P12+P14)
图10为从高分辨率色差创建方块210(图2)创建的像素区域。在图10中，X1和X4代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差值X2和X3：
X2＝(2X1+X4)/3
X3＝(X1+2X4)/3
作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。
现在描述本发明的第二可替换实施例。图2和图3如所述优选实施例中的一样。图14为在整个RGBP CFA图像方块200(图2)中重复的可替换像素区域。图14的突出方面在于，单行全色像素由交替的四邻接红色像素接着是四邻接绿色像素的行和四邻接绿色像素接着是四邻接蓝色像素的行分开。
图15为由低分辨率RGB CFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。
R1′＝k(R11+R12+R13+R14+R21+R22+R23+R24)
G2′＝k(G15+G16+G17+G18+G25+G26+G27+G28)
G3′＝k(G31+G32+G33+G34+G41+G42+G43+G44)
B4′＝k(B35+B36+B37+B38+B45+B46+B47+B48)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为：1/8，用于产生平均像素值；以及1，用于产生总和像素值。应当指出的是，在本发明的范围内，从八个像素值创建一个像素值 是一种二次采样形式。
图16示出了像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的四个可替换像素区域。对于像素邻域的中心像素之一为蓝色像素(例如图16A中的B24)时的情况而言，计算下列预测器值。
Figure S2007800034839D00131
Figure S2007800034839D00132
Figure S2007800034839D00133
Figure S2007800034839D00134
对于像素邻域的中心像素之一为红色像素(例如图16B中的R24)时的情况而言，计算下列预测器值。
Figure S2007800034839D00136
Figure S2007800034839D00141
Figure S2007800034839D00142
对于像素邻域的中心像素之一为绿色像素(例如图16C中的G24)时的情况而言，计算下列预测器值。
Figure S2007800034839D00143
Figure S2007800034839D00144
对于像素邻域的中心像素之一为绿色像素(例如图16D中的G24)时的情况而言，计算下列预测器值。
Figure S2007800034839D00151
Figure S2007800034839D00152
Figure S2007800034839D00153
Figure S2007800034839D00154
存在由方块302(图3)计算的一组分类器值。尽管给定邻域中的中心像素的颜色可能不同，但是相同的表达式用于计算这些分类器。参照图16A，像素邻域的中心像素为B24，并且计算下列分类器值。
Figure S2007800034839D00155
Figure S2007800034839D00156
Figure S2007800034839D00161
Figure S2007800034839D00162
值t为阈值，其被选择来降低但不是消除c水平小于c斜线、c竖直或c反斜线 的似然率。对于8比特像素值数据范围而言，t的典型值为20。参照图16B，像素邻域的中心像素为R24，并且计算下列分类器值。
Figure S2007800034839D00163
Figure S2007800034839D00166
值t为阈值，其被选择来降低但不是消除c水平小于c斜线、c竖直或c反斜线 的似然率。对于8比特像素值数据范围而言，t的典型值为20。参照图16C，像素邻域的中心像素为G24，并且计算下列分类器值。
Figure S2007800034839D00171
Figure S2007800034839D00172
Figure S2007800034839D00173
Figure S2007800034839D00174
值t为阈值，其被选择来降低但不是消除c水平小于c斜线、c竖直或c反斜线 的似然率。对于8比特像素值数据范围而言，t的典型值为20。
回到图3，方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阈值t活性进行比较。对于8比特像素值数据范围而言，t活性的典型值为200。如果所有分类器值都大于或等于活性阈值，那么计算方向就变成与预测器值p立体关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图17中图解说明了所得到的高分辨率全色通道的一部分。在图17中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图17为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。
P1′＝k(P20+P21+P22+P23+P40+P41+P42+P43)
P2′＝k(P24+P25+P26+P27+P44+P45+P46+P47)
P3′＝k(P60+P61+P62+P63+P80+P81+P82+P83)
P4′＝k(P64+P65+P66+P67+P84+P85+P86+P87)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/8，用于产生平均像素值。
图18为从高分辨率色差创建方块210(图2)创建的像素区域。在图18中，X1和X5代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差值X2、X3和X4：
X2＝(3X1+X5)/4
X3＝(X1+X5)/2
X4＝(X1+3X5)/4
作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。
现在描述本发明的第三可替换实施例。图2和图3如所述优选实施例中的一样。图19为在整个RGBP CFA图像方块200(图2)中重复的可替换像素区域。图19的突出方面在于，交替的单行和单列全色像素由分隔的红色、绿色和蓝色像素分开。
图20为由低分辨率RGB CFA图像创建方块202(图2)用来产生图6中所示像素区域的可替换像素区域。在这个可替换实施例中，使用下列表达式来产生图6中的像素值。
R1′＝k(R11+R12+R21+R22)
G2′＝k(G13+G14+G23+G24)
G3′＝k(G31+632+G41+G42)
B4′＝k(B33+B34+B43+B44)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。 k的典型值为：1/4，用于产生平均像素值；以及1，用于产生总和像素值。应当指出的是，在本发明的范围内，从四个像素值创建一个像素值是一种二次采样形式。
图21示出了像素邻域预测计算方块300(图3)和像素邻域分类器计算方块302(图3)二者使用的可替换像素区域。中心像素X22为红色、绿色或蓝色像素。对于所述可替换像素区域，计算下列预测值。
Figure S2007800034839D00191
p平面＝(P11+P12+P13+P21+P23+P31+P32+P33)/8
对于相同的所述可替换像素区域，计算下列分类器。
c斜线＝|P21-P12|+|P31-P13|+|P32-P23|+|-P31+P21+P12-P13|+|-P31+P32+P23-P13|
c垂直＝|P11-P31|+|P12-P32|+|P13-P33|+|-P11+2P21-P31|+|-P13+2P23-P33|
c反斜线＝|P11-P33|+|P12-P23|+|P21-P32|+|-P11+P21+P32-P33|+|-P11+P12+P23-P33|
c水平＝|P11-P13|+|P21-P23|+|P31-P33|+|-P11+2P12-P13|+|-P31+2P32-P33|
回到图3，方块302中计算的分类器值被传送到计算方向确定方块304。在方块304中，将每个分类器值与活性阈值t活性进行比较。对于8比特像素值数据范围而言，t活性的典型值为160。如果所有分类器值都小于或等于活性阈值，那么计算方向就变成与预测器值p平面关联的特例。不满足该第一测试时，则确定具有最小值的分类器。与该分类器关联的方向就成为方块304的输出。方块304的输出和方块300的输出被传送到高分辨率全色像素值计算方块306。在方块306中，对于以红色、绿色或蓝色像素为中心的每个像素邻域而言，与方块304中确定的计算方向对应的预测器值成为插值的全色值。图22中图解说明了所得到的高分辨率全色通道的一部分。在图22中，没有下标的值代表原始存在的全色值，带下标的值代表插值的全色值。此外，图22为由低分辨率全色图像创建方块206(图2)用来产生图9中所示的像素区域的像素区域。在所述优选的实施例中，使用下列表达式来产生图9中的像素值。
P1′＝k(P11+P12+P21+P22)
P2′＝k(P13+P14+P23+P24)
P3′＝k(P31+P32+P41+P42)
P4′＝k(P33+P34+P43+P44)
在这些表达式中，k为产生输出值的希望的像素值范围的缩放因子。k的典型值为1/4，用于产生平均像素值。
图18为从高分辨率色差创建方块210(图2)创建的像素区域。在图18中，X1和X5代表由方块208(图2)创建的低分辨率色差图像中的现有色差值。在方块210(图2)中利用下列表达式来计算插值的色差值X2、X3和X4：
X2＝(3X1+X5)/4
X3＝(X1+X5)/2
X4＝(X1+3X5)/4
作为双线性插值的标准做法，这个操作首先在每行上执行以便使每行中的色差值的量增至三倍。然后，沿竖直方向在每列上重复该计算以便使每列中的色差值的量增至三倍。方块210的输出被传送到高分辨率全彩色图像创建方块212。
在本发明的优选实施例中公开的插值算法可以用于各种用户上下文(user context)和环境中。示范性上下文和环境包括但不限于批发数字照相洗印加工(其涉及诸如摄影(film in)、数字处理、打印输出之类的示范性工艺步骤或阶段)、零售数字照相洗印加工(摄影、数字处理、打印输出)、家庭打印(家庭扫描胶片或数字图像、数字处理、打印输出)、桌面软件(向数字打印施加算法以便使其更好或者甚至将其改变的软件)、数字实现(来自媒体或者通过网络的数字图像输入；数字处理；以媒体上的数字形式、通过网络的数字形式或者在硬拷贝印制品上打印的图像输出)、售货亭(数字或扫描输入、数字处理、数字或扫描输出)、移动设备(例如可以用作处理单元的PDA或者蜂窝电话、显示单元或者给出处理指令的单元)，以及作为通过万维网提供的服务。
在每种情况下，所述插值算法可以是独立的或者可以是更大的系统解决方案的一个部分。此外，算法的接口例如扫描或输入、数字处理、 对用户的显示(如果需要的话)、用户请求或处理指令的输入(如果需要的话)、输出，可以处于相同或不同的设备和物理位置，并且这些设备和位置之间的通信可以经由公共或私有网络连接或者基于媒体的通信。在与本发明的前述公开一致的情况下，所述算法本身可以是完全自动的，可以具有用户输入(完全或部分手动的)，可以让用户或操作员查看以接受/拒绝结果，或者可以借助于元数据(可以由用户提供或者通过测量设备(例如在相机中)提供或者由算法确定的元数据)。而且，所述算法可以与各种工作流用户接口方案相接口。
此处公开的依照本发明的插值算法可以具有利用各种数据检测和约简(reduction)技术(例如脸部检测、眼睛检测、皮肤检测、闪光检测)的内部组件。
元件列表
110计算机系统
112基于微处理器的单元
114显示器
116键盘
118鼠标
120显示器上的选择器
122盘驱动单元
124光盘只读存储器(CD-ROM)
126软盘
127网络连接
128打印机
130个人计算机卡(PC卡)
132PC卡读取器
134数字静止照相机
136照相机对接端口
138电缆连接
140无线连接
200RGBP CFA图像
202低分辨率RGB CFA图像创建
204高分辨率全色图像创建
206低分辨率全色图像创建
208低分辨率色差创建
210高分辨率色差创建
212高分辨率全彩色图像创建
214高分辨率全彩色图像
216低分辨率色差图像插值
300像素邻域预测器计算
302像素邻域分类器计算
304计算方向确定
306高分辨率全色像素值计算

Claims (12)

1.一种用于形成最终的数字彩色图像的方法，包括：
(a)使用图像传感器捕捉图像，所述图像传感器具有全色像素和与至少两种彩色光响应对应的彩色像素；
(b)根据捕捉的图像提供数字高分辨率全色图像和数字高分辨率色差图像；以及
(c)使用所述数字高分辨率全色图像和数字高分辨率色差图像来产生最终的数字高分辨率全彩色图像，
其中，提供数字高分辨率全色图像包括：
根据捕捉的图像计算一组像素邻域预测器值；
计算一组像素邻域分类器值，其中每个分类器值与所述预测器值之一相对应；
基于该组分类器值确定优选的计算方向；
从该组像素邻域预测器值中选择与所述优选的方向相对应的适当的预测器值；以及
使用所选择的预测器值作为插值的高分辨率全色像素值。
2.权利要求1的方法，其中步骤(a)包括具有光敏度红色、绿色和蓝色的彩色像素。
3.权利要求1的方法，其中步骤(a)包括具有光敏度青色、品红色和黄色的彩色像素。
4.权利要求2的方法，其中步骤(b)包括使用数字插值的低分辨率色差图像来产生数字高分辨率色差图像。
5.权利要求4的方法，其中步骤(b)还包括使用低分辨率全色图像和低分辨率RGB CFA图像来产生数字插值的低分辨率色差图像。
6.权利要求5的方法，其中步骤b)还包括使用低分辨率全色图像和低分辨率RGB CFA图像来产生低分辨率色差图像，以及使用低分辨率色差图像来产生数字插值的低分辨率色差图像。
7.权利要求5的方法，包括平均和二次采样所述数字高分辨率全色图像以便产生数字低分辨率全色图像。
8.权利要求5的方法，包括对数字RGBP CFA图像进行求和或平均以及二次采样以便产生数字低分辨率RGB CFA图像。
9.权利要求6的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B)：
R G
P P
P P
G B
P P
P P
10.权利要求6的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B)：
R R R G G G
P P P P P P
P P P P P P
G G G B B B
P P P P P P
P P P P P P
11.权利要求6的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B)：
R R R R G G G G
P P P P P P P P
R R R R G G G G
P P P P P P P P
G GG G B B B B
P P P P P P P P
G G G G B B B B
P P P P P P P P
12.权利要求6的方法，其中图像传感器具有如下排列的全色像素(P)和彩色像素红色(R)、绿色(G)和蓝色(B)：
R P R P G P G P
P P P P P P P P
R P R P G P G P
P P P P P P P P
G P G P B P B P
P P P P P P P P
G P G P B P B P
P P P P P P P P
CN2007800034839A 2006-01-27 2007-01-17 生成数字彩色图像的方法 Active CN101375610B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/341,206 2006-01-27
US11/341,206 US7830430B2 (en) 2005-07-28 2006-01-27 Interpolation of panchromatic and color pixels
PCT/US2007/001113 WO2007089426A1 (en) 2006-01-27 2007-01-17 Interpolation of panchromatic and color pixels

Publications (2)

Publication Number Publication Date
CN101375610A CN101375610A (zh) 2009-02-25
CN101375610B true CN101375610B (zh) 2011-09-21

Family

ID=38141171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800034839A Active CN101375610B (zh) 2006-01-27 2007-01-17 生成数字彩色图像的方法

Country Status (6)

Country Link
US (1) US7830430B2 (zh)
EP (1) EP1977613B1 (zh)
JP (1) JP5123212B2 (zh)
KR (1) KR101342806B1 (zh)
CN (1) CN101375610B (zh)
WO (1) WO2007089426A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493583A (zh) * 2018-08-03 2019-11-22 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0503545D0 (en) * 2005-02-21 2005-03-30 E2V Tech Uk Ltd Low light level colour camera
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US20080123997A1 (en) * 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US20090046182A1 (en) * 2007-08-14 2009-02-19 Adams Jr James E Pixel aspect ratio correction using panchromatic pixels
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
US8411766B2 (en) * 2008-04-09 2013-04-02 Wi-Lan, Inc. System and method for utilizing spectral resources in wireless communications
US20100149393A1 (en) * 2008-05-22 2010-06-17 Panavision Imaging, Llc Increasing the resolution of color sub-pixel arrays
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US8164669B2 (en) * 2008-12-19 2012-04-24 Truesense Imaging, Inc. Charge-coupled device image sensor with efficient binning of same-color pixels
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5169994B2 (ja) * 2009-05-27 2013-03-27 ソニー株式会社 画像処理装置、撮像装置及び画像処理方法
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5454075B2 (ja) 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20110205384A1 (en) * 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
JP5724185B2 (ja) 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101671927B1 (ko) 2010-07-21 2016-11-04 삼성전자주식회사 이미지 처리 장치 및 방법
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
EP2630802B1 (en) * 2010-10-22 2019-12-04 University of New Brunswick Camera imaging systems and methods
US20120236173A1 (en) 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
EP2677732B1 (en) * 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
CN108432049B (zh) 2015-06-16 2020-12-29 阿卜杜拉阿齐兹国王科技城 有效平面相控阵列天线组件
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US20180288281A1 (en) * 2016-01-25 2018-10-04 Hewlett-Packard Development Company, L.P. Interpolating pixel values
CN105979233B (zh) * 2016-06-30 2018-10-19 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
WO2019226194A2 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
US10863128B2 (en) * 2019-01-15 2020-12-08 Bae Systems Information And Electronic Systems Integration Inc. RCCC to monochrome interpolator
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0472299A1 (en) * 1990-07-31 1992-02-26 Canon Kabushiki Kaisha Image signal processing apparatus
CN1234680A (zh) * 1997-12-26 1999-11-10 佳能株式会社 图象拾取装置
EP1035729A2 (en) * 1999-03-08 2000-09-13 Sharp Kabushiki Kaisha Image capturing method and image capturing device
CN1300505A (zh) * 1998-05-08 2001-06-20 松下电器产业株式会社 固体彩色摄像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US472299A (en) * 1892-04-05 Bean pickerand sorter
US1035729A (en) * 1911-08-03 1912-08-13 Stanley C Peters Composition of matter.
US1411471A (en) * 1921-10-21 1922-04-04 Ebenezer H Booth Pipe wrench
JPH0488784A (ja) * 1990-07-31 1992-03-23 Canon Inc カラー撮像素子及び信号処理方式
US5374956A (en) * 1992-05-29 1994-12-20 Eastman Kodak Company Electronic imaging apparatus with dithered color filter array
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US6529239B1 (en) 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6697107B1 (en) * 1998-07-09 2004-02-24 Eastman Kodak Company Smoothing a digital color image using luminance values
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
JP4626007B2 (ja) * 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
AU756842B2 (en) * 2000-08-29 2003-01-23 Hoya Corporation Optical element having antireflection film
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US7199122B2 (en) * 2001-10-02 2007-04-03 Fox Chase Cancer Center Methods for inhibiting angiogenesis
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7084906B2 (en) 2002-10-15 2006-08-01 Eastman Kodak Company Reducing computation time in removing color aliasing artifacts from color digital images
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
KR100699831B1 (ko) * 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0472299A1 (en) * 1990-07-31 1992-02-26 Canon Kabushiki Kaisha Image signal processing apparatus
CN1234680A (zh) * 1997-12-26 1999-11-10 佳能株式会社 图象拾取装置
CN1300505A (zh) * 1998-05-08 2001-06-20 松下电器产业株式会社 固体彩色摄像装置
EP1035729A2 (en) * 1999-03-08 2000-09-13 Sharp Kabushiki Kaisha Image capturing method and image capturing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493583A (zh) * 2018-08-03 2019-11-22 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2007089426A1 (en) 2007-08-09
JP5123212B2 (ja) 2013-01-23
JP2009524989A (ja) 2009-07-02
US20070024934A1 (en) 2007-02-01
KR101342806B1 (ko) 2013-12-17
KR20080096522A (ko) 2008-10-30
EP1977613A1 (en) 2008-10-08
US7830430B2 (en) 2010-11-09
EP1977613B1 (en) 2015-10-07
CN101375610A (zh) 2009-02-25

Similar Documents

Publication Publication Date Title
CN101375610B (zh) 生成数字彩色图像的方法
US20080123997A1 (en) Providing a desired resolution color image
CN101652798B (zh) 使用全色像素的边缘映射
CN101675454B (zh) 采用全色像素的边缘绘图
US8224085B2 (en) Noise reduced color image using panchromatic image
US7876956B2 (en) Noise reduction of panchromatic and color image
US7652717B2 (en) White balance correction in digital camera images
CN101103374A (zh) 稀疏分布的彩色数字图像的噪声清除
US20090046182A1 (en) Pixel aspect ratio correction using panchromatic pixels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FULL VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110706

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: NEW YORK STATE, THE USA TO: CALIFORNIA STATE, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110706

Address after: California, USA

Applicant after: Full Vision Technology Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Full Vision Technology Co., Ltd.