CN102640501B - 用于数字成像的滤色器和逆马赛克变换技术 - Google Patents
用于数字成像的滤色器和逆马赛克变换技术 Download PDFInfo
- Publication number
- CN102640501B CN102640501B CN201080041144.1A CN201080041144A CN102640501B CN 102640501 B CN102640501 B CN 102640501B CN 201080041144 A CN201080041144 A CN 201080041144A CN 102640501 B CN102640501 B CN 102640501B
- Authority
- CN
- China
- Prior art keywords
- response element
- color
- pixel
- color response
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 230000003595 spectral effect Effects 0.000 claims description 109
- 108091027981 Response element Proteins 0.000 claims description 99
- 238000003491 array Methods 0.000 claims description 31
- 238000002834 transmittance Methods 0.000 claims description 27
- 230000035945 sensitivity Effects 0.000 claims description 22
- 230000003252 repetitive effect Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 8
- 238000012937 correction Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 71
- 230000004044 response Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000013213 extrapolation Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 241000579895 Chlorostilbon Species 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 3
- 229910052876 emerald Inorganic materials 0.000 description 3
- 239000010976 emerald Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000287680 Garcinia dulcis Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Optical Filters (AREA)
Abstract
提供用于使用衍射受限光学器件对景象成像的滤色器阵列或马赛克。颜色类型在滤色器阵列中的分布被朝向较小的波长偏置，以避免或减小由在较高的波长的更大程度的衍射导致的在较高的波长的空间分辨率信息的损失。用于从原始图像数据重建部分的或全部的彩色图像的逆马赛克变换方法涉及应用校正因子以将衍射考虑在内。校正因子是基于像素大小和/或对衍射的程度的测量(例如对于滤色器阵列中的每个波长的艾里斑直径)。
Description
相关申请的交叉引用
本申请涉及并且要求保护从以下列出的申请(“相关申请”)的最早可获得的实际申请日的权益(例如，要求非临时专利申请的最早可获得的优先权日或根据35USC§119(e)要求对临时专利申请、对相关申请的任何和全部母申请、母申请的母申请、母申请的母申请的母申请等等的权益)。相关申请的以及相关申请的任何和所有的母申请、母申请的母申请、母申请的母申请的母申请等申请的所有的主题都通过引用到这样的主题并不与本文不一致的程度来并入本文。
相关申请：
为了USPTO额外的法定要求的目的，本申请要求于2009年7月17日提交的以NathanP.Myhrvold为发明人的名称为COLORFILTERSFORDIGITALIMAGINGANDDEMOSAICINGTECHNIQUES(用于数字成像和逆马赛克变换技术的滤色器)的美国临时专利申请第61/271,195号的优先权的权益，该美国临时专利申请是在本申请的申请日之前十二个月内提交的，或是目前共同待审的申请有资格要求其申请日的权益的申请。
美国专利局(USPTO)已经公布了实施通知，USPTO计算机程序要求专利申请人引用序号并且指示申请是继续申请还是部分继续申请。StephenG.Kunin，在先提交的申请的权益，可从下述网址获得http://www.uspto.gov/web/offices/com/sol/og/2003/weekl1/patbene.htm，USPTO官方公报2003年3月18日。本申请人实体(以下称为“申请人”)已经在上文提供对源自受到法规所述内容保护的优先权的申请进行特别引用。申请人理解，法规在其具体引用语言方面是明确的，并且不需要序号或用于要求美国专利申请的优先权的任何特征化，例如“继续申请”或“部分继续申请”。尽管有以上内容，但是申请人理解，USPTO的计算机程序具有某些数据输入要求，并且因此申请人指定本申请为其如上文提出的母申请的部分继续申请，但是明确地指出，这样的指定不以任何方式被解释为是关于本申请是否含有除了其母申请的内容之外的任何新内容的任何类型的解释和/或承认。
技术领域
本申请大体上涉及彩色成像技术。具体地，本申请涉及图像的光谱内容。
背景技术
颜色是基于光的光谱(光能相对于波长的分布)与眼睛中的受光体的相互作用的心理现象，眼睛中的受光体具有对于光的特定的光谱波长谱带或区域(下文称为“光谱分量”)的特定的敏感性。颜色种类和颜色的物理规格还与物体、材料、光源等等相关联，这取决于它们的物理性质，例如光吸收、反射或发射光谱。
在物理学意义上，颜色是在电磁波谱的不同的光谱分量中测量的强度的比率。在生理学意义上，在人体中，不同的光谱分量被眼睛中的三个不同类型的接收体的光谱敏感曲线(即所谓的红色、蓝色和绿色锥体)定义。人脑处理和组合来自红色、蓝色和绿色锥体的信号以创造景象的复合的印象或图像。景象中的所有的颜色被作为红色、蓝色和绿色锥体信号的组合感知。被人感知的颜色的范围或色域被例如CEE1931色度图代表。
人造彩色图像传感器(例如彩色胶片或使用CCD或CMOS传感器的数字照相机)还传感在有限数量的不同的光谱分量中的光强度。各种类型的彩色图像传感器在它们如何分离和测量不同的光谱分量方面不同。例如，彩色胶片可以具有分别被光的红色分量、绿色分量和蓝色分量曝光的三个不同的乳液层的堆叠。数字照相机可以使用分层传感器的阵列，使得每个像素，与彩色胶片相似地，含有对分别的颜色敏感的传感器的堆叠(例如，以Foveon商标可得到的传感器)。更普遍地，数字照相机或其他的人造彩色图像传感器装置使用被定位在CMOS或CCD传感器的顶部的空间滤色器阵列(例如Bayer滤色器阵列)，将光的不同的光谱分量捕获在相应的标称像素类型中。
人造彩色图像传感器装置传感和收集对于每个被从景象接收的不同的光谱分量的强度数据。对于每个光谱分量的数据是单色的，即其仅包括强度信息，而不包括颜色信息。为了创造近似的彩色图像或景象的再现，对于不同的光谱分量的不同的强度数据被处理，对某些颜色和强度编码，并且组合。
三色的Bayer滤色器阵列被在大多数单芯片数字图像传感器(在数字照相机、摄录像机和扫描仪中)中使用以创造彩色图像。Bayer滤色器马赛克是用于将红色(R)、绿色(G)、蓝色(B)滤色器排列在光电传感器的正方形网格上的滤色器阵列。滤色器型式典型地是50％绿色、25％红色和25％蓝色。从Bayer的美国专利第3,971,065号改编的图1示出了另一个示例性的Bayer滤色器马赛克型式，其中红色颜色、蓝色颜色和绿色颜色透射性滤色器被以重复的型式排列。在该型式中，亮度元件(绿色，由“G”表示)采取每隔一个的阵列位置。色度元件(红色，由“R”表示)在交替的行中与G亮度元件交替。R元件还与其他的色度元件(蓝色，由“B”表示)交替，填充其余的阵列位置。
Bayer滤色器马赛克型式被设计为模拟人眼的对绿光的较大的分辨能力。例如，在图1中示出的Bayer滤色器阵列中，B元件占据元件总数的仅八分之一，这是考虑到人类视觉系统的对辨别蓝色细节的相对有限的能力。人类视觉系统对红色细节更加敏感，且借助于R元件的相对较大的数量以比蓝色细节更高的速率对红色细节采样。人眼对其最敏感的亮度细节通过阵列中的G元件的大的数量被以最高的速率采样。
Bayer滤色器图像传感器的原始输出可以被称为Bayer型式图像。由于图像传感器的每个像素都被过滤以记录三个颜色中的仅一个，所以来自每个像素的数据不完全自身地确定颜色。为了获得全色图像，各种逆马赛克变换算法可以被用于插值对于图像传感器的每个像素的完全的红色值、绿色值和蓝色值的集合。
所建议的与人造彩色图像传感器共同使用的其他的类型的三色滤色器阵列和四色滤色器阵列也基于对模拟人眼的颜色感知的亮度-色度考虑。(见例如Roddy等人美国专利第7,057,654号、Bawolek等人美国专利第6,771,314B1号和第5,914,748号、Vook等人美国专利第6,771,314B1号、Silverstein等人美国专利第4,800,375号、Merril等人美国专利第5,965,875号和Chang美国专利申请公布第US2007/0145273A1号)。
在任何成像系统中，衍射设置基本的图像分辨率限制，其仅取决于图像传感器光学器件的光圈的f制光圈(或焦距比数)设置以及取决于正在被成像的光的波长。上文的基于亮度-色度的所考虑的滤色器阵列未解决会在图像传感器光学器件处发生的依赖于波长的衍射效应。
现在考虑当被图像传感器光学器件导致的衍射效应可以是显著的时的用于彩色成像的滤色器阵列。
发明内容
提供用于修改彩色图像的信息含量的系统、装置和方法。
示例性的彩色成像装置包括颜色响应性元件或颜色敏感元件的阵列，其具有数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件。每个颜色响应性元件可以包括光传感器元件和透射性滤色器元件。第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以被排序为NB>NG并且NB>NR。
另一个示例性的彩色成像装置包括聚焦元件，其具有焦距(F)并且被耦合于具有有效直径(effectivediameter)(D)的光圈。彩色成像装置还包括被布置在焦距处或接近焦距处的颜色响应性或选择性元件。颜色响应性或选择性元件相应于分离的颜色通道(i)的集合，其中i＝1、2、3、n。每个颜色通道i与分别的颜色波长λi相关联。此外，在阵列中的相应于具有最低的波长λ1的颜色通道的颜色响应性元件的数量(N1)大于在阵列中的相应于具有更高的波长λ2的颜色通道的颜色响应性元件的近似数量(N2)。例如，相应于颜色通道i的颜色响应性元件的数量(Ni)可以被排序为使得N1>N2≥...≥Nn。此外，例如，相应于颜色通道i的颜色响应性元件的数量(Ni)可以按与在约焦距处的、光圈衍射的光的艾里斑直径1.22*F/Dλi的平方近似相同的比例排序。
示例性的用于逆马赛克变换或重建原始图像传感器数据的方法包括提供由具有f制光圈(f)的成像装置采样的景象的光强度像素值构成的二维阵列，其中像素值的第一子阵列相应于与第一颜色波长λ1相关联的被采样的光强度值I被采样的(λ1)，并且像素值的不重叠的第二子阵列相应于与第二颜色波长λ2相关联的被采样的光强度值I被采样的(λ2)。方法可以还包括，对于在具有被采样的光强度值I被采样的(λ1)的第一子阵列中的一个或多个像素，估计相应于第二颜色波长λ2的未采样的光强度值I被估计的(λ2)，以及对于在具有被采样的光强度值I被采样的(λ2)的第二子阵列中的一个或多个像素，估计相应于第一颜色波长λ1的未采样的光强度值I被估计的(λ1)。方法还包括根据与成像装置对波长λ的光衍射相关联的艾里斑直径1.22*f*λ修改在像素中的一个或多个中的被采样的和/或被估计的光强度值，以及输出被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的部分的或全部的彩色图像代表或再现。
示例性的用于逆马赛克变换或重建原始图像传感器数据的系统包括被配置为接收具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素的二维阵列的电路，其中像素值的第一子阵列相应于与第一颜色波长λ1相关联的被采样的光强度值Is(λ1)，并且像素值的不重叠的第二子阵列相应于与第二颜色波长λ2相关联的被采样的光强度值Is(λ2)。系统还包括被配置为，对于分别具有被采样的光强度值Is(λ1)和Is(λ2)的第一子阵列和第二子阵列中的一个或多个像素，估计分别相应于第二颜色波长λ2和第一颜色波长λ1的未采样的光强度值Ie(λ2)和Ie(λ1)的电路。电路还被配置为根据与成像装置对波长λ的光衍射相关联的艾里斑直径1.22*f*λ修改在像素中的一个或多个中的被采样的和/或被估计的光强度值，以及被配置为将被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的全部的或部分的彩色图像代表或再现输出。
附图说明
在附图中：
图1是Bayer滤色器马赛克的示意性的图示；
图2是根据本文描述的解决方案的原理的用于滤色器阵列或马赛克的红色、绿色和蓝色滤色器元件的示例性的型式的示意性的图示；
图3A-3E是根据本文描述的解决方案的原理的用于滤色器阵列或马赛克的示例性的3颜色和4颜色重复型式单元的示意性的图示；
图4和5是根据本文描述的解决方案的原理的示例性的成像装置的示意性的图示；
图6和7是图示了根据本文描述的解决方案的原理的示例性的彩色成像方法的流程图；
图8和9是图示了根据本文描述的解决方案的原理的示例性的用于处理原始光强度数据以进行景象的彩色成像的方法800和900的流程图；以及
图10是根据本文描述的解决方案的原理的示例性的用于对来自原始图像传感器/滤色器阵列数据的经衍射校正或补偿的图像进行逆马赛克变换或重建的系统的示意性的图示。
在所有图中，除非另有定义，否则相同的参考数字和字母被用于表示被图示的实施方案的相似的特征、元件、部件或部分。
具体实施方式
在以下的详细描述中，参照了附图，附图形成详细描述的一部分。在附图中，相似的符号通常标识相似的部件，除非内容指示不是这样。在详细描述、附图和权利要求中描述的例证性的实施方案不意图作为限制。可以利用其他的实施方案，并且可以作出其他的改变，而不偏离本文提出的主题内容的精神或范围。
如本文所使用的术语“图像”和“景象的再现”将被理解为包括但不限于对图像和景象再现数据和/或信号的分别的指代。在上下文中，该术语还可以是指这样的数据和/或信号的显示或输出。此外，如本文所使用的术语“外推”数据或值将被理解为包括但不限于对数据或值的“插值”。更一般地，任何在本文中被用于指代物理的、数学的、概念的、感知的、抽象的对象或方面的名词性术语(例如光谱功率分布、光的光谱分量、光谱响应函数等等)将被理解为包括但不限于对数据和/或信号或所提到的目的或方面的其他的有形的代表的指代。
常规的(例如在数字照相机、摄录像机和扫描仪中的)数字颜色传感器使用单一的检测器阵列捕获景象的图像。滤色器(例如BayerCFA)在检测器阵列上部分地交错。阵列中的检测器元件中的每个相应于一个图像像素，其测量在例如红色、绿色或蓝色等特定的波长范围内的输入光的强度。滤色器的各种马赛克或型式可以在传感器阵列上重叠。检测器元件和/或被耦合于它们的滤色器元件可以被称为传感器元件、像素传感器或，简单地，像素。由它们传感的强度采样值经插值之后可以被称为图像像素。
本文公开了用于数字成像的颜色马赛克或滤色器阵列(CFA)和逆马赛克变换技术。所公开的CFA和逆马赛克变换技术可以被在数字成像中使用以最小化、减小或补偿由图像传感器光学器件导致的衍射效应。将理解，虽然颜色马赛克变换和逆马赛克变换技术可以是在本文中参照颜色传感器的具体的实例描述的(例如参照单芯片、彩色CCD摄像机)，但是本文描述的CFA和逆马赛克变换技术不限于任何具体的颜色传感器。
本文描述的CFA和逆马赛克变换技术解决了图像传感器光学器件中的衍射效应的问题。在图像传感器中，像素大小与图像分辨率相关。随着数字技术和制造技术的进步，用于增加图像分辨率的越来越小的像素大小现在是符合实际的。然而，当像素大小减小时(或相反地，当像素计数增加时)，衍射效应可以影响图像分辨率。衍射的程度的一种计量是艾里斑。艾里斑代表对于理想的圆形光圈的二维衍射图样。艾里斑的宽度或直径可以被用于限定光学系统的理论最大分辨率。当图像传感器像素大小接近图像传感器光学器件的艾里斑尺寸时，由衍射导致的分辨率的损失可以被预期。(见例如网页：cambridgeincolour.com/tutorials/diffraction-photography)。
当艾里斑的中央峰的直径相对于图像传感器中的像素大小成为大的时，衍射可以具有对图像的视觉影响。可选择地，如果两个艾里斑成为比它们的宽度的一半更接近，那么它们也再不可分辨(瑞利判据)。因此，衍射设置了独立于兆象素的数量或图像传感器的电影格式的尺寸的基本的分辨率极限。分辨率极限仅取决于光圈的f制光圈(或焦距比数)以及正在被成像的光的波长。
本文的CFA(以及相关联的逆马赛克变换技术)通过将滤色器元件在CFA中的分布朝向相应于较小的艾里斑尺寸的波长加权或偏置以减小或补偿衍射效应，以实现给定的成像传感器空间分辨率。例如，对于蓝色波长的艾里斑实质上小于对于红色或绿色波长的艾里斑。据此，CFA可以例如被优先于绿色或红色波长地朝向蓝色波长偏置或加权。示例性的红色-绿色-蓝色CFA可以具有比红色像素或绿色像素(例如每个25％)多的蓝色像素(例如50％)。使用这样的示例性的CFA可实现的空间分辨率可以被以蓝色波长的较小的艾里斑尺寸的艾里斑来设置或确定，而非以对于绿色和红色波长的较大的艾里斑来设置或确定。
被引导至像素的图像光强度因衍射而可能溢出或模糊化，导致空间分辨率信息的损失。由衍射导致的空间分辨率信息的损失可以通过将滤色器元件在CFA中的分布朝向较小的波长加权或偏置被减小，较小的波长衍射得小于较大的波长。
示例性的具有占优势的蓝色波长像素的CFA也可以被用于在黑色-白色或单色的图像(例如与单色的成像传感器共同地)中增加或改进空间分辨率。在这样的排列中，蓝色过滤的像素可以设置成像传感器的可实现的空间分辨率。非蓝色颜色像素可以提供另外的景象/图像信息，用于构建合适的或适宜的黑色-白色或单色。
本文描述的CFA可以被设计为将成像传感器中的衍射考虑在内。CFA可以被设计为在给予最高的空间分辨率的光带中更多地采样，并且然后向后作用以估计或改进发光度分辨率。相似地，用于将图像传感器像素数据作为景象的图像重建的逆马赛克变换算法可以将成像传感器中的衍射以及颜色在CFA中的“颜色加权”或颜色的分布考虑在内。逆马赛克变换算法可以，例如，基于对以下的考虑，即，超过蓝色像素数据的模糊化或过滤，绿色和红色像素数据可以通过衍射过程被另外地模糊化或过滤。
图2示出了示例性的用于滤色器阵列的RGB型式200，其通过将滤色器元件的数量朝向较低的波长(例如蓝色)加权而将衍射程度(例如艾里斑尺寸)的随增加的波长的增加考虑在内。以最低的波长(例如蓝色)的滤色器元件的数量可以大于以较高的波长(例如红色或绿色)的滤色器元件的数量。例如，在RGB型式CFA200中的各种滤色器元件的比率可以是：50％蓝色、25％绿色和25％红色。
相似的为了减小或补偿衍射效应的设计考虑可以被用于基于其他的颜色组合(例如RGBE、CYYM、CYGM、RGBW等等)的CFA。例如，在RGBW组合的情况下，CFA可以具有R、G、B、W像素的合适的颜色加权的空间型式或分布。W像素可以包括或允许白光和/或不可见红外光。用于型式或分布中的特定的颜色的像素的相对数量可以与以该颜色的艾里斑的尺寸成比例。示例性的RGBW可以具有被排序为蓝色>绿色>红色>白色的像素数量。
示例性的CFA可以，在一维上，具有与波长的比率成比例的B、G和R的像素计数。示例性的CFA可以，在二维上，具有与波长的平方的比率成比例的B、G和R的像素计数。例如，如果CFA中的B、G和R像素分别相应于400、550、和700nm波长，那么像素的比率可以是约53.9％蓝色、28.5％绿色、17.6％红色。对于颜色的不同的中心频率，像素的比率可以相应地调整。B、G和R像素可以被随机地或以重复型式分布。
示例性的CFA型式可以包括N×N重复单元。图3A-3H示出了分别相应于以下的示例性的重复单元300A-300H：具有2个B像素、1个R像素、1个G像素的2×2阵列；具有5个B像素、2个R和2个G的3×3阵列，具有5个B像素、1个R像素和3个G像素的3×3阵列；具有8个B像素、3个R像素和5个G像素的4×4阵列；具有13个B像素、5个R像素和7个G像素的5×5阵列；具有4个B像素、1个R像素、2个G像素和1个W像素的3×3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4×4阵列；以及具有13个B像素、4个R像素、6个G像素和2个W像素的5×5阵列。
用于从在衍射存在时的像素数据重建图像的逆马赛克变换算法可以是基于认识到，对于足够小的像素，衍射给予根据颜色分离的结果。每个颜色被模糊化为与艾里斑成比例的不同的空间尺寸。逆马赛克变换算法可以利用以下事实，即每个颜色通道具有不同的程度的衍射。
图4示出了示例性的彩色成像装置400。装置400可以包括光传感器(例如单芯片成像传感器410)、透射性滤色器阵列420以及合适的成像光学器件(例如光圈430)。成像传感器410包括传感和/或记录入射光强度的多个传感器单元或像素410a。成像传感器410被耦合于透射性滤色器阵列420。成像传感器410中的每个传感器单元或像素410a被耦合于滤色器阵列420的分别的颜色元件420a。滤色器元件420a过滤入射在所耦合的传感器单元或像素410a上的光。每个滤色器阵列元件420a可以允许仅在分别的光谱区(例如相应于红色、蓝色或绿色光谱区)内的光经过到达相关联的传感器单元或像素410a。因此，每个传感器单元或像素410a可以仅传感或响应于在分别的颜色光谱区内的光强度。
为了描述的便利，传感器单元或像素410a和/或它们的分别的滤色器阵列元件420a可以在本文中被分别地或以成对的组合地称为颜色选择性或响应性元件。因此，示例性的彩色成像装置400包括颜色响应性元件410a/420a的阵列。颜色响应性元件的阵列可以，例如，包括数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件。
彩色成像装置400的实施方案解决了例如在其中成像传感器光学器件被衍射限制的情况下的衍射效应。在这样的装置400中，第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量被排序为NB>NG并且NB>NR。颜色响应性元件的数量被加权为偏向较低的波长(例如蓝色)，以允许成像传感器410在较不易经受衍射模糊化的波长处传感和/或记录景象的更多的分辨率信息。
在装置400的一个形式中，NB/(NB+NG+NR)大于约1/2。在装置400的其中颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列的另一个形式中，蓝色(B)、绿色(G)、红色(R)像素的数量以约50％蓝色：25％绿色：和25％红色的比率。
颜色响应性元件(410a/420a)的阵列可以包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有M×M重复单元的二维阵列。M×M重复单元可以例如包括：具有2个B像素、1个R像素和1个G像素的2×2阵列；具有5个B像素、2个R像素和2个G像素的3×3阵列；具有5个B像素、1个R像素和3个G像素的3×3阵列；具有8个B像素、3个R像素和5个G像素的4×4阵列；和/或具有13个B像素、5个R像素和7个G像素的5×5阵列。
在装置400的又另一个形式中，颜色响应性元件(410a/420a)的阵列可以包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。蓝色(B)像素、绿色(G)像素、红色(R)像素的数量可以以约50％蓝色：25％绿色：和25％红色的比率。此外，蓝色(B)像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为：蓝色>绿色、蓝色>红色并且蓝色>白色。透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列可以包括M×M重复单元。M×M重复单元可以例如包括：具有4个B像素、1个R像素、2个G像素和1个W像素的3×3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4×4阵列；和/或具有13个B像素、4个R像素、6个G像素和2个W像素的5×5阵列。
在波长的方面，装置400中的颜色响应性元件(410a/420a)的阵列可以是对分别以波长λB、λG和λR为特征的蓝色光谱区、绿色光谱区和红色光谱区响应性的或选择性的。颜色响应性元件的阵列可以包括分别与λB、λG和λR的平方成比例的透射性蓝色(B)、绿色(G)和红色(R)滤色器像素420a的二维阵列。颜色响应性元件的阵列可以还包括数量为N4的对以波长λ4为特征的第四光谱区敏感的第四类型的颜色响应性元件。在这样的情况下，颜色响应性元件的阵列可以包括以分别与λB、λG、λR和λ4的近似平方成比例的数量的透射性蓝色(B)、绿色(G)、红色(R)和第四滤色器像素的二维阵列。
虽然第一光谱区、第二光谱区、第三光谱区和第四光谱区在本文被标记或称呼作为蓝色区域、绿色区域、红色区域和白色区域，但是将理解，每个区域可以被识别为或相应于一个或多个其他颜色。例如，蓝色光谱区、绿色光谱区和红色光谱区相应于青色(cyan)颜色光谱区、黄色(yellow)颜色光谱区和洋红色(magenta)颜色光谱区。绿色光谱区可以例如相应于绿色光谱区和翡翠(emerald)光谱区，或相应于绿色光谱区和洋红色(magenta)光谱区。另外地或可选择地，蓝色光谱区可以，例如，相应于紫色(violet)光谱区。
图5示出了示例性的彩色成像装置500。成像装置500可以包括聚焦元件，其具有焦距(F)并且被耦合于具有有效直径(D)的光圈。颜色响应性或敏感性元件(光传感器元件410a/透射性滤色器元件420a)的阵列可以在约焦距处被布置在成像平面中。颜色响应性或敏感性元件可以相应于与一个或多个分别的颜色波长λi，其中i＝1、2、3、...n，相关联的一个或多个分离的颜色通道(i)。在阵列中的相应于具有最低的波长λ1的颜色通道的颜色响应性元件的数量可以大于在阵列中的相应于具有更高的波长λ2的颜色通道的颜色响应性元件的近似数量(N2)。
在装置500的实施方案中，颜色响应性元件的数量(Ni)可以被排序为使得N1>N2、N1>N3等等。例如，颜色响应性元件的数量Ni可以被排序为使得N1>N2≥...≥Nn。此外，例如，相应于颜色通道i的颜色响应性元件的数量Ni可以被排序为以与由具有直径D的圆形的光圈衍射的光的、近似在焦距F处的艾里斑直径1.22*F/Dλi的平方近似相同的比例。
在装置500中，具有最低的波长λ1的颜色通道可以相应于蓝色光谱区、紫色光谱区或青色光谱区。具有高于λ1的波长的颜色通道可以相应于黄色光谱区、绿色光谱区、翡翠光谱区、洋红色光谱区、红色光谱区和白色光谱区中的一个或多个。
在示例性的装置500中，颜色通道i，i＝1、2和3，可以分别相应于蓝色(B)光谱区、绿色(G)光谱区和红色(R)光谱区。此外，在颜色通道i，i＝1、2和3，中的颜色响应性元件的相应的数量N1、N2和N3可以被排序为N1>N2并且N1>N3。在示例性的装置500中，N1/(N1+N2+N3)可以大于约1/2。
在示例性的装置500中的颜色响应性或选择性元件的阵列可以例如包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列，其中蓝色(B)、绿色(G)、红色(R)像素的数量以约50％蓝色：25％绿色：和25％红色的比率。颜色响应性或选择性元件的阵列可以包括透射性滤色器像素的具有M×M重复单元的二维阵列。M×M重复单元可以例如是：具有2个B像素、1个R像素和1个G像素的2×2阵列；具有5个B像素、2个R像素和2个G像素的3×3阵列；具有5个B像素、1个R像素和3个G像素的3×3阵列；具有8个B像素、3个R像素和5个G像素的4×4阵列；和/或具有13个B像素、5个R像素和7个G像素的5×5阵列。
可选择地或另外地，在示例性的装置500中的颜色响应性或选择性元件的阵列可以例如包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列，其中蓝色(B)、绿色(G)、红色(R)像素的数量以约2个蓝色：2个绿色：和1个红色的比率。蓝色(B)像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为：蓝色>绿色、蓝色>红色、蓝色>白色。例如，蓝色(B)像素、绿色(G)像素、红色(R)像素和(W)像素的数量可以被排序为：蓝色>绿色≥红色≥白色。
此外，颜色响应性元件的阵列可以包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有M×M重复单元的二维阵列。M×M重复单元可以例如是：具有4个B像素、1个R像素、2个G像素和1个W像素的3×3阵列；具有8个B像素、2个R像素、4个G像素和2个W像素的4×4阵列；和/或具有12个B像素、4个R像素、6个G像素和2个W像素的5×5阵列。
另外地参照图5，成像装置400和500可以还包括或以其他方式被耦合于数据或信号处理器500，数据或信号处理器500包括合适的用于从被装置400和/或500传感或记录的像素强度数据逆马赛克变换或重建景象的彩色图像的数据处理例程。
图6和7分别示出了示例性的彩色成像方法600和700。方法600包括提供颜色响应性元件的阵列(610)，以及将来自景象的光引导至颜色响应性元件的阵列上(620)。提供颜色响应性元件的阵列可以包括提供具有数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件的颜色响应性元件的阵列(例如被耦合于透射性滤色器元件420a的阵列的光传感器410a)。第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以被排序为NB>NG并且NB>NR。第一类型的颜色响应性元件、第二类型的颜色响应性元件和第三类型的颜色响应性元件的数量可以，例如，被排序为NB>NG≥NR。
用于对景象成像的方法700可以包括：提供具有焦距(F)的聚焦元件(710)，以及提供被耦合于聚焦元件的光圈，光圈具有有效直径(D)(720)。方法700可以还包括提供被布置在焦距处或接近焦距处的颜色响应性或敏感性元件的阵列(730)。颜色响应性或敏感性元件可以相应于分离的颜色通道(i)的集合，其中i＝1、2、3...n。具有焦距F的聚焦元件可以被配置为将来自景象的光通过光圈引导在颜色响应性元件的阵列上(740)。
在方法700中，每个颜色通道i可以与分别的颜色波长λi相关联。在阵列中的相应于具有最低的波长λ1的颜色通道的颜色响应性元件的数量(N1)可以大于在阵列中的相应于具有更高的波长λ2的颜色通道的颜色响应性元件的近似数量(N2)，并且相应于颜色通道i的颜色响应性元件的数量Ni可以被排序为使得N1>N2、N1>N3...N1>Nn。相应于颜色通道i的颜色响应性元件的数量Ni可以，例如，被排序为使得N1>N2≥...≥Nn。此外，例如，相应于颜色通道i的颜色响应性元件的数量Ni可以按与由光圈衍射的波长λi的光的、近似焦距处的艾里斑直径1.22*F/Dλi的平方近似相同的比例来排序。
图8和9示出了另外的示例性的用于处理光强度数据以对景象成像的方法800和900。方法800和900可以例如使用数据或信号处理器500(图5)或其他的被耦合于照相机或数字图像传感器(例如装置400或500)的处理装置来实施。将理解，照相机或数字图像传感器可以是具有常规的滤色器阵列(例如Bayer滤色器阵列)或任何其他的滤色器阵列(例如本文描述的CFA100、200和300a-300h)的装置。方法800依赖于校正或去模糊化(de-smearing)被衍射模糊化的数据像素。
参照图8，方法800包括提供具有由具有f制光圈(f)的成像装置采样的景象的光强度值的N个像素构成的阵列(810)。在N个像素构成的阵列中的N1个像素构成的第一子阵列可以具有相应于第一光谱波长λ1的光强度采样值。方法800还包括通过根据与成像装置对波长λ的光衍射相关联的艾里斑直径1.22*f*λ修改第一子阵列中的N1个像素中的一个或多个中的光强度采样值来修改N个像素构成的阵列(820)，以及输出被修改的N个像素构成的阵列作为景象的图像代表(830)。修改光强度采样值820可以例如包括将光强度采样值与艾里斑直径1.22*f*λ(例如艾里斑直径1.22*f*λ1)成比例地缩放。
提供具有被成像装置采样的景象的光强度值的N个像素构成的阵列810可以，除提供N1个像素构成的第一子阵列之外，还包括提供具有相应于第二光谱波长λ2的光强度采样值的由N2个像素构成的第二子阵列。此外，修改在第一子阵列中的N1个像素中的一个或多个中的光强度采样值可以，例如，包括与成像装置对第二光谱波长λ2的光衍射相关联的艾里斑直径1.22*f*λ2成比例地修改光强度采样值和/或根据像素尺寸和艾里斑直径1.22*f*λ2来修改强度采样值。
方法800还可以包括估计在第一子阵列中的N1个像素中的一个或多个中的相应于第二光谱波长λ2的光强度值，和/或进一步将在第一子阵列中的N1个像素中的一个或多个中的相应于第二光谱波长λ2的所估计的光强度值根据与成像装置对波长λ的光衍射相关联的艾里斑直径1.22*f*λ的和/或根据像素尺寸和艾里斑直径1.22*f*λ来修改。这样的修改可以，例如，校正可能已经因为衍射扩散或溢出像素边界的光强度。在被隔离的像素(例如被隔离的红色像素)的情况下，这样的修改可以例如增加被采样的强度值，以根据像素大小和对于红色波长的艾里斑直径来补偿可能已经因为衍射扩散或溢出像素边界的光强度。
估计在第一子阵列中的N1个像素中的一个或多个中的相应于第二光谱波长λ2的光强度值可以包括采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值、Lanczos重采样和/或像素值的空间相关和/或光谱相关中的一个或多个。
另外地或可选择地，估计在第一子阵列中的N1个像素中的一个或多个中的相应于第二光谱波长λ2的光强度值可以包括例如在频域中将像素值外推(或插值)。
在方法800中，外推(或插值)相应于第二光谱波长λ2的光强度采样值可以是基于相应于第一光谱波长λ1的光强度采样值。相反地，方法800可以另外地或可选择地涉及基于相应于第二光谱波长λ2的光强度采样值外推(或插值)相应于第一光谱波长λ1的光强度采样值。
方法800可以包括估计在第一子阵列中的N1个像素中的一个或多个中的相应于另外的波长(例如第三光谱波长λ3)的光强度值。
参照图9，方法900包括：提供由具有f制光圈(f)的成像装置采样的景象的光强度像素值的二维阵列(910)。二维阵列可以包括相应于与第一颜色波长λ1相关联的被采样的光强度值I被采样的(λ1)的像素值的第一子阵列，和相应于与第二颜色波长λ2相关联的被采样的光强度值I被采样的(λ2)的像素值的不重叠的第二子阵列。方法900还包括：对于在分别具有被采样的光强度值I被采样的(λ1)和I被采样的(λ2)的第一子阵列和第二子阵列中的一个或多个像素，估计分别相应于第二颜色波长λ2和第一颜色波长λ1的未被采样的光强度值I被估计的(λ2)和I被估计的(λ1)(920)。方法900还包括通过根据与成像装置对波长λ的光衍射相关联的艾里斑直径1.22*f*λ修改在像素中的一个或多个中的被采样的和/或被估计的光强度值来修改N个像素构成的阵列(930)。根据艾里斑直径1.22*f*λ和像素尺寸修改像素中的一个或多个中的被采样的和/或被估计的光强度值可以，例如，校正可能已经因为在成像传感器光学器件中的衍射溢出或扩散超过像素边界的光强度。
当λ1小于λ2时，方法900可以涉及根据像素尺寸与相应于成像装置对较大的波长λ2的光衍射的艾里斑直径1.22*f*λ2修改在像素中的一个或多个中的被采样的和/或被估计的光强度值。
与在方法800中相似地，在方法900中，修改和/或估计对于一个或多个像素的未采样的光强度值可以涉及采用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值、Lanczos重采样和/或像素值的空间相关和/或光谱相关中的一个或多个。
另外地或可选择地，修改在像素中的一个或多个中的被采样的和/或被估计的光强度值可以包括在例如频域中将像素值外推(或插值)。外推(或插值)可以是基于相应于第一光谱波长λ1和/或第二光谱波长λ2的光强度采样值。另外地或可选择地，修改和/或估计光强度值可以包括在例如频域中将像素值外推(或插值)。此外，估计对于一个或多个像素的相应于第二光谱波长λ2的光强度值可以是基于相应于第一光谱波长λ1的光强度采样值，并且反之亦然。
方法900可以还包括，对于分别具有被采样的光强度值Is(λ1)和Is(λ2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第三光谱波长λ3的未采样的光强度值。
方法900还包括输出被采样的和/或被估计的光强度值的像素的被修改的阵列，作为景象的被逆马赛克变换的或被重建的图像代表或再现(940)。
在方法800和900的上文的描述中指代的各种波长(例如λ1、λ2和λ3)可以相应于具体的光谱区(例如与成像装置中的滤色器阵列相关联的光谱区)。例如，第一光谱波长λ1可以相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。
用于通过对衍射效应进行补偿或校正而从图像传感器像素数据逆马赛克变换或重建彩色图像的方法(例如方法800和900)可以使用任何合适的数据和/或信号处理装置来实施。图10示出了示例性的用于从图像传感器/滤色器阵列数据来逆马赛克变换或重建图像的系统1000的部件，系统1000包括电路1010、电路1020、电路1030和电路1040，它们可以被合适地配置为相继地、迭代地或并行地处理图像传感器像素数据。
电路1010可以被配置为接收原始图像数据，例如具有由具有f制光圈(f)的成像装置采样的景象的光强度值的像素的二维阵列。像素的阵列可以包括相应于与第一颜色波长λ1相关联的被采样的光强度值Is(λ1)的像素值的第一子阵列，和相应于与第二颜色波长λ2相关联的被采样的光强度值Is(λ2)的像素值的不重叠的第二子阵列。第一光谱波长λ1可以，例如，相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。第二光谱波长λ1可以相应于另一个颜色光谱带。
电路1020可以被配置为，对于在分别具有被采样的光强度值Is(λ1)和Is(λ2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第二颜色波长λ2的未采样的光强度值Ie(λ2)和相应于第一颜色波长λ1的未采样的光强度值Ie(λ1)。电路1020可以包括被配置为应用多变量插值、最邻近插值、双线性插值、双三次插值、样条插值和/或Lanczos重采样中的一个或多个的电路和/或被配置为对像素值应用空间相关和/或光谱相关的电路。另外地或可选择地，电路1020可以包括在例如频域中将像素值外推(或插值)的电路。被配置为外推(或插值)像素值的电路可以被配置为基于相应于第一光谱波长λ1的光强度采样值外推(或插值)相应于第二光谱波长λ2的光强度采样值，和/或反之亦然。可选择地或另外地，被配置为估计对于一个或多个像素的未采样的光强度值的电路可以包括被配置为，对于分别具有被采样的光强度值Is(λ1)和Is(λ2)的第一子阵列和第二子阵列中的一个或多个像素，估计相应于第三光谱波长λ3的未采样的光强度值的电路。
电路1030可以被配置为通过根据与在成像装置中对波长λ的光衍射相关联的艾里斑直径1.22*f*λ修改在像素中的一个或多个中的被采样的和/或被估计的光强度值(例如Is(λ1)、Is(λ2)、Ie(λ1)和/或Ie(λ2))来修改N个像素构成的阵列。
被配置为通过修改被采样的和/或被估计的光强度值修改N个像素构成的阵列的电路1030可以包括被配置为根据像素尺寸与相应于成像装置对波长λ的光衍射的艾里斑直径1.22*f*λ的比率修改在像素中的一个或多个中的被采样的和/或被估计的光强度值的电路。对于其中λ1小于λ2的情况，电路可以被配置为根据像素尺寸与相应于成像装置对波长λ2的光衍射的艾里斑直径1.22*f*λ2的比率修改在像素中的一个或多个中的被采样的和/或被估计的光强度值。
最后，电路1040可以被配置为将被采样的和/或被估计的光强度值的像素的被修改的阵列作为景象的部分的或全部的彩色图像代表或再现输出至显示器或另外的处理器。
在系统1000的上文的描述中指代的各种波长(例如λ1、λ2和λ3)可以相应于具体的光谱区(例如与成像装置中的滤色器阵列相关联的光谱区)。例如，第一光谱波长λ1可以相应于在蓝色颜色、绿色颜色或红色颜色光谱带中的波长。
将理解，本文公开的主题内容的各种方面和实施方案的描述仅是为了例证的目的，并且不意图限制本公开内容的真正的范围和精神。
还将理解，本文公开的主题内容可以使用硬件和软件的任何合适的组合实施。用于实施和操作上文提到的成像系统和相关联的逆马赛克变换技术的软件(即指令)可以在计算机可读的介质上提供，计算机可读的介质可以包括但不限于固件、存储器、存储设备、微控制器、微处理器、集成电路、ASICS、可在线下载的介质、和其他的可用的介质。
Claims (18)
1.一种彩色成像装置，包括：
颜色响应性元件的阵列，
其中所述颜色响应性元件的阵列包括数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件，
其中所述第一类型的颜色响应性元件、所述第二类型的颜色响应性元件和所述第三类型的颜色响应性元件的所述数量被排序为NB>NG并且NB>NR，并且
其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
2.根据权利要求1所述的装置，其中所述蓝色(B)光谱区、所述绿色(G)光谱区和所述红色(R)光谱区分别以波长λB、λG和λR为特征，并且其中所述颜色响应性元件的阵列包括数量分别与λB、λG和λR的平方成比例的透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列。
3.根据权利要求1所述的装置，其中NB/(NB+NG+NR)大于1/2。
4.根据权利要求1所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50％蓝色：25％绿色：25％红色。
5.根据权利要求1所述的装置，其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素和所述白色(W)像素的数量被排序为：蓝色>绿色、蓝色>红色和蓝色>白色。
6.根据权利要求1所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的具有M×M重复单元的二维阵列，其中M是正整数。
7.根据权利要求1所述的装置，其中所述蓝色(B)光谱区、所述绿色(G)光谱区和所述红色(R)光谱区分别以波长λB、λG和λR为特征，其中所述颜色响应性元件的阵列还包括数量为N4的对以波长λ4为特征的白色(W)光谱区敏感的第四类型的颜色响应性元件，并且其中所述颜色响应性元件的阵列包括数量分别与λB、λG、λR和λ4的近似平方成比例的透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
8.根据权利要求1所述的装置，其中所述颜色响应性元件的阵列中的颜色响应性元件包括光传感器和透射性滤色器。
9.一种彩色成像装置，包括：
颜色响应性元件的阵列，
其中所述颜色响应性元件的阵列包括数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件，
其中所述第一类型的颜色响应性元件、所述第二类型的颜色响应性元件和所述第三类型的颜色响应性元件的所述数量被排序为NB>NG并且NB>NR，并且
其中所述颜色响应性元件的阵列包括透射性蓝色(B)滤色器像素、绿色(G)滤色器像素和红色(R)滤色器像素的二维阵列，并且其中所述蓝色(B)像素、所述绿色(G)像素、所述红色(R)像素的数量的比率为约50％蓝色：25％绿色：25％红色。
10.根据权利要求9所述的装置，其中所述蓝色(B)光谱区、所述绿色(G)光谱区和所述红色(R)光谱区分别以波长λB、λG和λR为特征，并且其中所述颜色响应性元件的阵列包括数量分别与λB、λG和λR的平方成比例的透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的二维阵列。
11.根据权利要求9所述的装置，其中NB/(NB+NG+NR)大于1/2。
12.根据权利要求9所述的装置，其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)和红色(R)滤色器像素的具有M×M重复单元的二维阵列，其中M是正整数。
13.根据权利要求12所述的装置，其中所述M×M重复单元包括以下中的一个：
具有2个B像素、1个R像素和1个G像素的2×2阵列；
具有5个B像素、2个R像素和2个G像素的3×3阵列；
具有5个B像素、1个R像素和3个G像素的3×3阵列；
具有8个B像素、3个R像素和5个G像素的4×4阵列；
具有13个B像素、5个R像素和7个G像素的5×5阵列。
14.根据权利要求9所述的装置，其中所述蓝色(B)光谱区、所述绿色(G)光谱区和所述红色(R)光谱区分别以波长λB、λG和λR为特征，其中所述颜色响应性元件的阵列还包括数量为N4的对以波长λ4为特征的第四光谱区敏感的第四类型的颜色响应性元件，并且其中所述颜色响应性元件的阵列包括数量分别与λB、λG、λR和λ4的近似平方成比例的透射性蓝色(B)、绿色(G)、红色(R)和第四滤色器像素的二维阵列。
15.根据权利要求9所述的装置，其中所述颜色响应性元件的阵列中的颜色响应性元件包括光传感器和透射性滤色器。
16.一种成像装置，包括：
聚焦元件，其具有焦距F；
光圈，其耦合于所述聚焦元件，所述光圈具有有效直径D；以及
根据以上权利要求中的任一项所述的装置，其被布置在所述焦距处或接近所述焦距处。
17.根据权利要求16所述的装置，其中相应于颜色通道i的颜色响应性元件的数量Ni按与在由具有所述有效直径D的所述光圈在波长λi衍射的光的、近似在所述焦距F处的艾里斑直径1.22*F/Dλi的平方近似相同的比例排序。
18.一种成像方法，包括：
提供颜色响应性元件的阵列；以及
将光从景象引导至所述颜色响应性元件的阵列上，
其中所述颜色响应性元件的阵列包括数量为NB的对蓝色(B)光谱区敏感的第一类型的颜色响应性元件、数量为NG的对绿色(G)光谱区敏感的第二类型的颜色响应性元件以及数量为NR的对红色(R)光谱区敏感的第三类型的颜色响应性元件，
其中所述第一类型的颜色响应性元件、所述第二类型的颜色响应性元件和所述第三类型的颜色响应性元件的数量被排序为NB>NG≥NR，并且
其中所述颜色响应性元件的阵列包括透射性蓝色(B)、绿色(G)、红色(R)和白色(W)滤色器像素的二维阵列。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US27119509P | 2009-07-17 | 2009-07-17 | |
| US61/271,195 | 2009-07-17 | ||
| US12/590,041 | 2009-10-30 | ||
| US12/590,041 US20110013056A1 (en) | 2009-07-17 | 2009-10-30 | Color filters and demosaicing techniques for digital imaging |
| PCT/US2010/002018 WO2011008300A1 (en) | 2009-07-17 | 2010-07-15 | Color filters and demosaicing techniques for digital imaging |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102640501A CN102640501A (zh) | 2012-08-15 |
| CN102640501B true CN102640501B (zh) | 2016-02-10 |
Family
ID=43449654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080041144.1A Expired - Fee Related CN102640501B (zh) | 2009-07-17 | 2010-07-15 | 用于数字成像的滤色器和逆马赛克变换技术 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US20110013056A1 (zh) |
| EP (1) | EP2454884A4 (zh) |
| CN (1) | CN102640501B (zh) |
| WO (1) | WO2011008300A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5554139B2 (ja) * | 2010-05-11 | 2014-07-23 | パナソニック株式会社 | 複合型撮像素子およびそれを備えた撮像装置 |
| KR101739880B1 (ko) * | 2010-12-01 | 2017-05-26 | 삼성전자주식회사 | 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치 |
| RU2548567C1 (ru) * | 2011-03-09 | 2015-04-20 | Фуджифилм Корпорэйшн | Элемент формирования цветных изображений |
| US9596398B2 (en) * | 2011-09-02 | 2017-03-14 | Microsoft Technology Licensing, Llc | Automatic image capture |
| EP2847998B1 (en) | 2012-05-11 | 2017-11-15 | Intel Corporation | Systems, methods, and computer program products for compound image demosaicing and warping |
| JP5927068B2 (ja) * | 2012-07-06 | 2016-05-25 | 富士フイルム株式会社 | カラー撮像素子 |
| CN104412583B (zh) * | 2012-07-06 | 2016-03-30 | 富士胶片株式会社 | 彩色摄像元件和摄像装置 |
| WO2014007281A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子及び撮像装置 |
| CN102801984B (zh) * | 2012-07-31 | 2016-04-20 | 陶霖密 | 彩色图像传感器及获取彩色数字图像的方法 |
| WO2014083489A1 (en) * | 2012-11-28 | 2014-06-05 | Corephotonics Ltd. | High-resolution thin multi-aperture imaging systems |
| CN103310416B (zh) * | 2013-05-08 | 2016-03-02 | 华为技术有限公司 | Raw图像中g点滤波方法和滤波装置 |
| US10349015B2 (en) | 2015-06-08 | 2019-07-09 | Trustees Of Dartmouth College | Image sensor color filter array pattern |
| CN105516697B (zh) * | 2015-12-18 | 2018-04-17 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
| US10969277B2 (en) * | 2017-11-28 | 2021-04-06 | Texas Instruments Incorporated | Spatial light modulator spectroscopy |
| CA3084679C (en) | 2017-12-05 | 2023-03-07 | Airy3D Inc. | Light field image processing method for depth acquisition |
| KR20210017460A (ko) * | 2019-08-08 | 2021-02-17 | 에스케이하이닉스 주식회사 | 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템 |
| CN113452968B (zh) * | 2020-03-25 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 图像处理方法 |
| US20220303515A1 (en) * | 2021-03-17 | 2022-09-22 | Mediatek Inc. | High Sensitivity Color Image Generation Using Hybrid Sensor |
| KR102650663B1 (ko) * | 2021-09-15 | 2024-03-25 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 전자 장치 |
| US20240169497A1 (en) * | 2022-11-23 | 2024-05-23 | Samsung Electronics Co., Ltd. | Airy-Disk Correction for Deblurring an Image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4800375A (en) * | 1986-10-24 | 1989-01-24 | Honeywell Inc. | Four color repetitive sequence matrix array for flat panel displays |
| US5251019A (en) * | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
| CN1441603A (zh) * | 2002-02-26 | 2003-09-10 | 伊斯曼柯达公司 | 四色图像感测装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69014281T2 (de) * | 1989-06-30 | 1995-04-27 | Matsushita Electric Ind Co Ltd | Optische plattenanordnung. |
| US6573961B2 (en) | 1994-06-27 | 2003-06-03 | Reveo, Inc. | High-brightness color liquid crystal display panel employing light recycling therein |
| JP3318811B2 (ja) * | 1994-12-29 | 2002-08-26 | ソニー株式会社 | 半導体発光素子のパッケージ及びその製造方法 |
| US6714243B1 (en) * | 1999-03-22 | 2004-03-30 | Biomorphic Vlsi, Inc. | Color filter pattern |
| AUPQ056099A0 (en) | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
| US6456435B1 (en) * | 2000-01-28 | 2002-09-24 | Eastman Kodak Company | Method and apparatus for adjusting spot size of one color component of a multiple color co-axial laser beam |
| US6950242B2 (en) | 2001-07-20 | 2005-09-27 | Michel Sayag | Design and fabrication process for a lens system optically coupled to an image-capture device |
| US20060232668A1 (en) * | 2005-04-18 | 2006-10-19 | Given Imaging Ltd. | Color filter array with blue elements |
| US20070145273A1 (en) | 2005-12-22 | 2007-06-28 | Chang Edward T | High-sensitivity infrared color camera |
| JP4804194B2 (ja) * | 2006-03-30 | 2011-11-02 | キヤノン株式会社 | レンズ装置及び撮像装置 |
| EP2439727B1 (en) | 2006-06-02 | 2017-11-29 | Samsung Display Co., Ltd. | Display apparatus having multiple segmented backlight comprising a plurality of light guides |
| WO2008111927A2 (en) * | 2007-03-08 | 2008-09-18 | Nikon Corporation | Underwater image apparatus with red bias filter array |
| US7990445B2 (en) * | 2008-05-30 | 2011-08-02 | Omnivision Technologies, Inc. | Image sensor having differing wavelength filters |
| US8179457B2 (en) * | 2009-06-23 | 2012-05-15 | Nokia Corporation | Gradient color filters for sub-diffraction limit sensors |
-
2009
- 2009-10-30 US US12/590,041 patent/US20110013056A1/en not_active Abandoned
- 2009-12-08 US US12/653,172 patent/US8094208B2/en not_active Expired - Fee Related
-
2010
- 2010-07-15 CN CN201080041144.1A patent/CN102640501B/zh not_active Expired - Fee Related
- 2010-07-15 EP EP10800173.6A patent/EP2454884A4/en not_active Withdrawn
- 2010-07-15 WO PCT/US2010/002018 patent/WO2011008300A1/en active Application Filing
-
2012
- 2012-07-31 US US13/563,336 patent/US8576313B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4800375A (en) * | 1986-10-24 | 1989-01-24 | Honeywell Inc. | Four color repetitive sequence matrix array for flat panel displays |
| US5251019A (en) * | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
| CN1441603A (zh) * | 2002-02-26 | 2003-09-10 | 伊斯曼柯达公司 | 四色图像感测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8576313B2 (en) | 2013-11-05 |
| US20110013054A1 (en) | 2011-01-20 |
| EP2454884A1 (en) | 2012-05-23 |
| EP2454884A4 (en) | 2015-11-18 |
| CN102640501A (zh) | 2012-08-15 |
| WO2011008300A1 (en) | 2011-01-20 |
| US20110013056A1 (en) | 2011-01-20 |
| US20120327277A1 (en) | 2012-12-27 |
| US8094208B2 (en) | 2012-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102640501B (zh) | 用于数字成像的滤色器和逆马赛克变换技术 | |
| US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
| US8934034B2 (en) | Generalized assorted pixel camera systems and methods | |
| US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
| EP2664153B1 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
| CN102037734B (zh) | 照相机传感器校正 | |
| EP1908301B1 (en) | Processing color and panchromatic pixels | |
| US8294797B2 (en) | Apparatus and method of generating a high dynamic range image | |
| US8035710B2 (en) | Solid-state imaging device and signal processing method | |
| Bertalmío | Image processing for cinema | |
| CN106341628A (zh) | 具有宽动态范围的图像传感器、像素电路和操作方法 | |
| CN102369721A (zh) | 具有合成全色图像的彩色滤光器阵列(cfa)图像 | |
| JP2009511960A (ja) | 高機能カラーフィルタモザイクアレイのためのシステムおよび方法 | |
| JP2004228662A (ja) | 撮像装置 | |
| GB2488519A (en) | Multi-channel image sensor incorporating lenslet array and overlapping fields of view. | |
| CN206506600U (zh) | 含有成像设备的系统 | |
| CN113141488A (zh) | 一种小尺寸像元图像传感器的色彩还原方法 | |
| WO2020059050A1 (ja) | 撮像素子、撮像装置、撮像方法およびプログラム | |
| Wainscoat et al. | A New Color Image of the Crab Nebula | |
| Yasuma et al. | Generalized Assorted Pixel Camera: Post-Capture Control of |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| GR01 | Patent grant | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160119 Address after: Washington State Applicant after: SEARETE LLC Address before: Washington State Applicant before: Searete LLC A. Ltd Liability Co. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160210 Termination date: 20170715 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |