CN105847772A - 具有透明滤波器像素的成像系统 - Google Patents

具有透明滤波器像素的成像系统 Download PDF

Info

Publication number
CN105847772A
CN105847772A CN201610353124.7A CN201610353124A CN105847772A CN 105847772 A CN105847772 A CN 105847772A CN 201610353124 A CN201610353124 A CN 201610353124A CN 105847772 A CN105847772 A CN 105847772A
Authority
CN
China
Prior art keywords
picture signal
image
signal
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610353124.7A
Other languages
English (en)
Other versions
CN105847772B (zh
Inventor
马尔科·姆利纳尔
布赖恩·基兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN105847772A publication Critical patent/CN105847772A/zh
Application granted granted Critical
Publication of CN105847772B publication Critical patent/CN105847772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及具有透明滤波器像素的成像系统。一种图像传感器可具有布置在彩色滤波器单位单元中的图像传感器像素的阵列，每一单元具有产生红图像信号的一个红图像像素、产生蓝图像信号的一个蓝图像像素，以及产生白图像信号的两个透明图像传感器像素。所述图像传感器可耦合到处理电路，所述处理电路对所述红、蓝和白图像信号执行滤波操作以增加所述图像信号中的噪声相关，这减少当将彩色校正矩阵应用于所述图像信号时的噪声放大。所述处理电路可从所述白图像信号提取绿图像信号。所述处理电路可计算包含所述红、蓝、白和绿图像信号的线性组合的定标值。所述定标值可应用于所述红、蓝和绿图像信号以产生具有改进的图像质量的经校正的图像信号。

Description

具有透明滤波器像素的成像系统
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2013年3月19日、申请号为201310088517.6、发明名称为“具有透明滤波器像素的成像系统”的发明专利申请案。
本申请案主张2013年1月8日申请的第13/736,768号美国专利申请案以及2012年3月19日申请的第61/612,819号美国临时专利申请案的权益，所述专利申请案在此全文以引用的方式并入本文中。
技术领域
本发明大体涉及成像装置，且更特定来说涉及具有透明图像像素的成像装置。
背景技术
图像传感器普遍用于例如蜂窝式电话、相机和计算机等电子装置中来俘获图像。在典型的布置中，电子装置具备布置成像素行和像素列的图像像素的阵列。电路通常耦合到每一像素列用于从图像像素读出图像信号。
常规的成像系统采用单一图像传感器，其中可见光谱通过布置成拜耳马赛克图案的红、绿和蓝(RGB)图像像素取样。拜耳马赛克图案由二乘二图像像素的重复单元组成，其中两个绿像素彼此对角相对，且其它隅角为红和蓝。然而，拜耳图案不能经由较小图像像素大小容易地实现图像传感器的进一步小型化，因为从图像像素俘获的图像信号中的信噪比(SNR)具有局限性。
一种改进SNR的手段是通过增加低光级下的曝光来增加可用图像信号，其中SNR限制了图像质量。一种常规方法是使用相减滤波器，其中，举例来说，红、绿和蓝图像像素被和青、品红和黄图像像素代替。然而，这些信号通常必须转换为RGB或某一等效输出图像信号颜色以能够驱动大多数常规图像显示器。此变换通常涉及使用彩色校正矩阵(CCM)修改所俘获的图像信号，这可放大噪声，使得曝光增加的效应受到损害。
因此，将需要能够提供具有俘获和处理图像信号的改进的手段的成像装置。
发明内容
已描述各种实施例，其说明具有透明图像像素滤波器和用于减少图像信号产生的图像信号中的噪声的图像处理技术(例如，色度去马赛克、应用点滤波器等)的图像传感器。
一种图像传感器可具有图像传感器像素的阵列，所述图像传感器像素包含响应于红光产生红图像信号的红图像像素、响应于蓝光产生蓝图像信号的蓝图像像素，以及响应于至少红光、绿光和蓝光(例如，白光)产生白图像信号的透明图像传感器像素。图像像素可布置在像素单位单元的阵列中，每一像素单位单元包含若干不同颜色的图像像素。图像传感器可耦合到处理电路，所述处理电路对红、蓝和白图像信号执行滤波操作以增加与红、蓝和白图像信号相关联的噪声相关。所述处理电路可针对给定图像像素例如通过产生由图像像素阵列中的至少25个图像像素产生的图像信号的加权和来执行滤波操作。加权和可包含可调整权重(例如，基于观察到的图像特征调整的权重)。可针对在多个时间帧期间或从多个图像传感器俘获的图像信号产生加权和。通过产生多个时间帧的加权和，处理电路可减小图像像素的核的大小，同时成功减少图像信号噪声。
此实例仅为示范性的。一般来说，图像传感器像素的阵列可包含任何所要颜色的图像传感器像素(例如，响应于任何颜色的光的图像传感器像素)。举例来说，图像传感器像素的阵列可包含响应于第一颜色的光的图像传感器像素的第一群组、响应于第二颜色的光的图像传感器像素的第二群组，以及响应于第三颜色的光(例如，红、蓝和白光)的图像传感器像素的第三群组。第一图像信号可具有第一光谱响应水平(例如，作为图像传感器像素的第一群组所接收的光的频率的函数的集成信号功率电平)，第二图像信号可具有第二光谱响应水平(例如，作为图像传感器像素的第二群组所接收的光的频率的函数的集成信号功率电平)，且第三图像信号可具有第三光谱响应水平(例如，作为图像传感器像素的第三群组所接收的光的频率的函数的集成信号功率电平)。第三图像信号可具有大于第一和第二光谱响应水平的光谱响应水平(例如，第三光谱响应水平可大于第一和第二光谱响应水平之和的百分之75)。换句话说，第三图像信号可响应于比第一和第二图像信号广的范围的光频率而俘获。
处理电路可视需要使用第一、第二和第三图像信号产生估计的亮度值(例如，LCH空间中的亮度值)。处理电路可通过将第一、第二和第三图像信号变换为导出的三色空间(例如，线性sRGB空间、CIE空间、XYZ空间、拜耳空间等)来产生经变换的第一、第二和第三图像信号。处理电路可例如通过对第一、第二和第三图像信号执行线性组合来产生经变换的第一、第二和第三图像信号。处理电路可通过组合经变换的第一、第二和第三图像信号来产生导出的亮度值(例如，LCH空间中的亮度值)。处理电路可将导出的亮度值与所估计的亮度值进行比较且修改经变换的第一、第二和第三图像信号，使得导出的亮度值接近所估计的亮度值(例如，使得导出的亮度值与所估计的亮度值充分匹配)。
处理电路可视需要使用具有处理电路的图像传感器处理包含第一颜色的第一图像信号、不同于第一颜色的第二颜色的第二图像信号以及白图像信号的图像数据。处理电路可使用白图像信号产生不同于第一和第二颜色的第三颜色的第三图像信号。处理电路可将第一图像信号、第二图像信号和第三图像信号组合以形成导出的亮度值，且可从第一颜色图像信号、第二颜色图像信号和白图像信号计算所估计的亮度值。处理电路可通过将白图像信号与第一、第二和第三图像信号组合来形成导出的亮度值。
处理电路可使用导出的亮度值和所估计的亮度值修改第一图像信号、第二图像信号和第三图像信号。举例来说，处理电路可基于导出的亮度值和所估计的亮度值计算定标值，且可将第一、第二和第三图像信号与所产生的定标值相乘。处理电路可组合第一、第二和第三图像信号以通过使用加权因子计算第一、第二和第三图像信号的线性组合来形成导出的亮度值。
处理电路可视需要对所俘获的图像信号执行无限脉冲响应(IIR)滤波。处理电路可通过基于图像像素190俘获的图像信号的特性调整应用于所俘获的图像信号的滤波器(例如，如结合图6-8描述的滤波器)来执行IIR滤波。执行IIR滤波可增加处理电路处理所俘获的图像信号的效率。
处理电路可视需要对红、蓝和白图像信号执行白平衡操作。处理电路可将彩色校正矩阵应用于白图像信号以从每一白图像信号提取例如绿图像信号等不同颜色的图像信号。处理电路可组合红图像信号、蓝图像信号、绿图像信号和白图像信号以形成亮度值(例如，通过计算红、蓝、绿和白图像信号的线性组合或加权和)。处理电路可将白图像信号除以亮度值以产生定标值。处理电路可通过将红、绿和蓝图像信号乘以定标值来修改红、绿和蓝图像信号。定标值可充当在对红、绿和蓝图像信号操作时的点滤波器。视需要，可使用任何颜色的图像像素与白图像信号组合。视需要，处理电路可对来自多个图像像素阵列、多个图像传感器上的图像像素阵列和/或多个时间帧期间俘获的图像信号的图像信号执行这些操作。
可在一系统中实施透明图像像素和相关联的滤波技术，所述系统还包含中央处理单元、存储器、输入-输出电路，以及成像装置，所述成像装置进一步包含像素阵列、用于将光聚焦到像素阵列上的透镜，和数据转换电路。
附图说明
图1是根据本发明的一实施例的具有成像系统的说明性电子电路的图。
图2是根据本发明的一实施例的说明性像素阵列以及用于从沿着图像传感器中的列线的图像像素读出像素数据的相关联控制电路的图。
图3-5是根据本发明的实施例的具有透明滤波器像素的说明性像素单位单元的图。
图6是根据本发明的一实施例的可由成像系统中的处理电路执行以处理从经滤波像素阵列接收的图像信号的说明性步骤的流程图。
图7是根据本发明的一实施例的可由成像系统中的处理电路执行以对从经滤波像素阵列接收的图像信号进行去马赛克和滤波的说明性步骤的流程图。
图8是根据本发明的一实施例的可由成像系统中的处理电路执行以将点滤波器应用于从经滤波像素阵列接收的图像信号的说明性步骤的流程图。
图9是根据本发明的一实施例的采用图1的实施例的处理器系统的框图。
具体实施方式
例如数码相机、计算机、蜂窝式电话和其它电子装置等电子装置包含聚集入射光以俘获图像的图像传感器。所述图像传感器可包含图像像素的阵列。图像传感器中的像素可包含将入射光转换为图像信号的例如光电二极管等光敏元件。图像传感器可具有任何数目的像素(例如，数百或数千或更多)。典型的图像传感器可例如具有数百或数千或数百万像素(例如，兆像素)。图像传感器可包含控制电路，例如用于操作图像像素的电路，以及用于读出对应于光敏元件产生的电荷的图像信号的读出电路。读出电路可包含耦合到像素的每一列的可选择读出电路，其可经启用或停用以减少装置中的功率消耗并改进像素读出操作。
图1是使用图像传感器来俘获图像的说明性电子装置的图。图1的电子装置10可为例如相机、蜂窝式电话、摄像机或俘获数字图像数据的其它成像装置等便携式电子装置。相机模块12可用于将入射光转换为数字图像数据。相机模块12可包含一个或一个以上透镜14，以及一个或一个以上对应的图像传感器16。在图像俘获操作期间，来自场景的光可通过透镜14聚焦到图像传感器16上。图像传感器16可包含用于将模拟像素数据转换为待提供到处理电路18的对应的数字图像数据的电路。视需要，相机模块12可具备透镜14的阵列和对应的图像传感器16的阵列。
处理电路18可包含一个或一个以上集成电路(例如，图像处理电路、微处理器、例如随机存取存储器和非易失性存储器等存储装置，等等)，且可使用与相机模块12分离的组件和/或形成相机模块12的一部分的组件(例如，形成包含图像传感器16的集成电路或模块12内的与图像传感器16相关联的集成电路的一部分的电路)来实施。已由相机模块12俘获的图像数据可使用处理电路18来处理和存储。经处理的图像数据可视需要使用耦合到处理电路18的有线和/或无线通信路径提供到外部设备(例如，计算机或其它装置)。
如图2所示，图像传感器16可包含含有图像传感器像素190(有时称为图像像素190)的像素阵列200以及控制和处理电路122。阵列200可含有例如数百或数千行和列的图像传感器像素190。控制电路122可耦合到行解码器电路124和列解码器电路126。行解码器电路124可接收来自控制电路122的行地址，且将例如复位、行选择、转移和读取控制信号等对应的行控制信号经由控制路径128供应到像素190。例如列线40等一个或一个以上导电线可耦合到阵列200中的像素190的每一列。列线40可用于从像素190读出图像信号，且用于将偏置偏压信号(例如，偏置电流或偏置电压)供应到像素190。在像素读出操作期间，阵列200中的像素行可使用行解码器电路124来选择，且与所述像素行中的图像像素190相关联的图像数据可沿着列线40读出。
列解码器电路126可包含取样与保持电路、放大器电路、模/数转换电路、偏置电路、列存储器、用于选择性地启用或停用列电路的锁存器电路，或耦合到阵列200中的像素的一列或一列以上用于操作像素190且用于从像素190读出图像信号的其它电路。列解码器电路126可用于选择性地在列线40的选定子集上将功率提供到列电路。例如与列解码器电路126相关联的信号处理电路(例如，取样与保持电路，以及模/数转换电路)等读出电路可用于针对选定像素列中的像素在路径210上将数字图像数据供应到处理器18(图1)。
例如图像像素190等图像传感器像素常规上具备彩色滤波器阵列，其允许单一图像传感器使用布置成拜耳马赛克图案的对应的红、绿和蓝图像传感器像素对红、绿和蓝(RGB)光进行取样。拜耳马赛克图案由二乘二图像像素的重复单位单元组成，其中两个绿图像像素彼此对角相对且邻近于同蓝图像像素对角相对的红图像像素。然而，与拜耳马赛克图案相关联的信噪比(SNR)的局限性使得难以减小例如图像传感器16等图像传感器的大小。因此，可能需要能够提供具有俘获图像的改进的手段的图像传感器。
在本文中有时作为实例论述的一个适宜的实例中，拜耳图案中的绿像素由透明图像像素代替，如图3所示。如图3所示，图像像素190的单位单元192可由两个透明图像像素(本文中有时称为白(W)图像像素)形成，所述两个透明图像像素彼此对角相对且邻近于同蓝(B)图像像素对角相对的红(R)图像像素。单位单元192中的白图像像素190可利用视觉上透明的彩色滤波器形成，所述视觉上透明的彩色滤波器发射可见光谱上的光(例如，白像素190可俘获白光)。透明图像像素190可具有由形成透明彩色滤波器的材料和/或形成图像传感器像素的材料(例如，硅)界定的自然敏感度。透明图像像素190的敏感度可视需要经调整以通过使用例如颜料等光吸收剂实现较好的颜色再现和/或噪声特性。单位单元192可在图像像素阵列200上重复以形成红、白和蓝图像像素190的马赛克。以此方式，红图像像素可响应于红光产生红图像信号，蓝图像像素可响应于蓝光产生蓝图像信号，且白图像像素可响应于白光产生白图像信号。白图像信号也可由白图像像素响应于红、蓝和/或绿光的任何适宜的组合而产生。
图3的单位单元192仅为说明性的。视需要，可形成邻近于单位单元192中的对角相对的白图像像素的任何颜色的图像像素。举例来说，单位单元194可由两个白图像像素190界定，所述两个白图像像素190形成为彼此对角相对且邻近于同绿(G)图像像素对角相对的红图像像素，如图4所示。在又一适宜的布置中，单位单元196可由两个白图像像素190界定，所述两个白图像像素190形成为彼此对角相对且邻近于同绿图像像素对角相对的蓝图像像素，如图5所示。
白图像像素W可有助于通过与具有较窄彩色滤波器(例如，发射可见光谱的子集上的光的滤波器)的图像像素(例如，绿图像像素)相比聚集额外的光来增加图像像素190俘获的图像信号的信噪比(SNR)。白图像像素W可尤其改进低光条件下的SNR，在低光条件下SNR有时可能会限制图像的图像质量。从具有白图像像素(例如，如图3-5所示)的图像像素阵列200聚集的图像信号可转换为待与用于驱动大多数图像显示器(例如，显示屏、监视器等)的电路和软件兼容的红、绿和蓝图像信号。此转换通常涉及使用彩色校正矩阵(CCM)修改所俘获的图像信号。如果不注意的话，彩色校正操作可能不合需要地放大噪声。
在一个适宜的布置中，CCM产生的噪声可通过在将CCM应用于所聚集的图像信号之前实施强去噪(例如，色度去噪)来减少。色度去噪可由处理电路18(图1)通过将色度滤波器应用于图像像素190所聚集的图像信号来执行。色度滤波器可用以增加来自不同颜色的图像像素的图像信号(例如，红、白和蓝图像信号)之间的噪声相关。增加来自不同颜色的图像像素的图像信号之间的噪声相关可减少CCM进行的噪声放大，从而产生改进的最终图像质量。在另一布置中，由CCM放大的噪声可通过将所谓的“点滤波器”应用于所俘获的图像信号来补偿。点滤波器可使用高保真白图像信号来增强使用CCM产生的红、绿和蓝图像信号的质量。视需要，图像传感器16可实施色度去噪和点滤波器两者来减少CCM进行的噪声放大以产生最终图像中的改进的亮度性能。
图6展示可由例如图1的处理电路18等处理电路执行以处理由例如像素阵列200等经滤波的像素阵列(例如，无绿图像像素的像素阵列)聚集的图像信号的说明性步骤的流程图。图6的步骤可例如由处理电路18执行以减少使用具有例如图3-5所示的白图像像素的单位单元俘获的图像信号中的噪声。
在步骤100处，图像传感器16可从场景俘获图像信号。图像传感器16俘获的图像信号可包含响应于随白像素聚集的光而产生的白图像信号。视需要，图像信号还可包含红图像信号、蓝图像信号或绿图像信号中的一者或一者以上，这取决于所使用的图像像素的配置(例如，如果使用图3的单位单元192，那么图像信号可包含红、白和蓝图像信号；如果使用图4的单位单元194，那么图像信号可包含红、白和绿图像信号，等等)。在图6的实例中，可俘获红(R')、白(W')和蓝(B')图像信号。红图像信号可具有第一光谱响应值(作为红图像传感器像素接收的光的频率的函数的集成信号功率电平)、蓝图像信号可具有第二光谱响应值，且白图像信号可具有例如大于第一和第二光谱响应值之和的百分之七十五的第三光谱响应值(例如，在标准CIE发光体E的情况下，白图像信号具有可见光谱上的针对相等能量辐射体的广敏感度)。图像信号可具有对应于每一图像像素190俘获的光的图像值(例如，红图像信号可包含红图像值、蓝图像信号可包含蓝图像值，等等)。所俘获的图像信号可传达到处理电路18以进行图像处理。
在步骤102处，可对所俘获的图像信号执行白平衡操作。在图6的实例中，可产生白平衡红图像信号(R)、白平衡白图像信号(W)和白平衡蓝图像信号(B)。
在步骤104处，处理电路18可对白平衡图像信号去马赛克且应用色度滤波器以从白平衡图像信号提取红、白和蓝图像数据。色度滤波器可应用于对白平衡图像信号进行色度去噪。处理电路18可例如对图像信号去马赛克且同时、循序地或以散置方式应用色度滤波器。此对图像信号应用色度滤波器和去马赛克的过程可在本文中称为“色度去马赛克”。色度滤波器可增加每一颜色的图像信号之间的噪声相关(例如，红、白和蓝通道中的噪声波动可以相关方式一起增加或减小)。举例来说，处理电路18可将红、白和绿图像信号之间的相关噪声增加到达与红、白和绿图像信号相关联的所有噪声的70％或更多。
通过增加噪声相关，处理电路18可减少当CCM应用于图像信号时产生的噪声放大的量。对图像信号进行色度去马赛克可允许从可用彩色图像信号确定遗失的彩色图像信号(例如，未由图像像素产生的颜色的图像信号)。在此实例中，绿图像信号可能从所聚集的图像信号遗失，因为单位单元192中不使用绿彩色滤波器(图3)。绿图像信号可使用白、红和蓝图像信号(例如，通过执行减法运算)确定。一般来说，原色加色(例如，红、绿和蓝)的任一者可使用可用彩色图像信号确定。可能需要产生红、绿和蓝图像信号，而不管图像像素阵列200上使用的彩色滤波器如何，因为显示器系统通常使用红、绿和蓝像素显示图像。
在步骤106处，处理电路18可将彩色校正矩阵(CCM)应用于红图像数据、白图像数据和蓝图像数据。CCM可例如从白图像数据提取绿图像数据以产生红、绿和蓝图像数据。举例来说，CCM可将图像数据转换为标准红、标准绿和标准蓝图像数据(有时统称为线性sRGB图像数据或简称为sRGB图像数据)。在另一适宜的布置中，CCM可从红和/或蓝图像数据提取绿图像数据。视需要，可对线性sRGB图像数据执行伽马校正过程。在伽马校正之后，sRGB图像数据可用于使用图像显示装置来显示。在一些情况下，可能需要提供额外噪声减小(例如，通过将点滤波器应用于sRGB图像数据)以进一步缓解由于将CCM应用于红、白和蓝图像数据而产生的噪声放大。处理电路18可保存白图像数据以用于任选步骤108期间sRGB图像数据的进一步处理。
在任选步骤108处，处理电路18可将点滤波器应用于图像数据(例如，应用于在将CCM应用于红、白和蓝图像数据之后产生的sRGB图像数据)。点滤波器可对sRGB图像数据操作以产生经校正的sRGB数据。点滤波器可用以进一步减少由于将CCM应用于红、白和蓝图像数据而引起的噪声放大。当使用显示系统显示时，经校正的sRGB数据借此提供与在应用点滤波器之前的sRGB数据相比更好的图像质量(例如，更好的亮度性能)。
图7展示可由处理电路18执行以对从图像像素阵列200接收的图像信号去马赛克和滤波的说明性步骤的流程图。图7的步骤可例如由处理电路18执行以对图像像素190聚集的红、白和蓝图像信号执行色度去马赛克，从而产生红、白和蓝图像数据中的充分噪声相关。图7的步骤可例如作为图6的步骤104的一部分执行。
在步骤110处，处理电路18可对白图像信号去马赛克以产生白图像数据(例如，每一图像像素的白图像值)。在另一适宜的布置中，可针对可用图像像素190的组合产生白图像值。白图像值可用于计算使用红和蓝图像信号的不同值以增加红、白和蓝图像信号之间的噪声相关。
在步骤112处，处理电路18可通过针对每一像素从红图像值减去白图像值来产生红差值。处理电路18可通过从蓝图像值减去白图像值来产生蓝差值。红差值可例如针对每一红图像像素计算，且蓝差值可针对图像像素阵列200的每一蓝图像像素计算。
在步骤114处，处理电路18可使用色度滤波器对红差值和蓝差值滤波。可例如通过执行图像像素190的核上计算的差值的加权平均(例如，通过执行步骤112计算的差值的群组的加权平均)而将色度滤波器应用于红和蓝差值。图像像素的核可界定为上面正执行色度滤波的图像像素阵列200中的图像像素的子集(例如，核可包含图像像素阵列200中的图像像素中的一些或全部)。举例来说，当使用5像素乘5像素核时，在执行色度滤波时针对图像像素阵列200中的图像像素190的5像素乘5像素子集计算差值的加权平均(例如，使用图像像素阵列200中的25个环绕图像像素处的差值针对给定图像像素190计算差值的加权平均)。一般来说，可使用任何所要大小的核。
在步骤116处，可将白图像值加上经色度滤波的红差值和经色度滤波的蓝差值以分别产生经色度滤波的红图像值和经色度滤波的蓝图像值。
在步骤118处，处理电路18可对经色度滤波的红图像值和经色度滤波的蓝图像值去马赛克以产生具有增加的相关噪声的红图像数据和蓝图像数据(例如，已进行色度去马赛克的红和蓝图像数据)。经去马赛克的白图像数据以及经色度去马赛克的红和蓝图像数据可接着使用CCM操作以产生如上文结合图6的步骤106描述的标准红、标准绿和标准蓝(sRGB)图像数据。
图7仅为说明性的。视需要，处理电路18可在产生红和蓝差值之前对经色度滤波的红和蓝图像值去马赛克(例如，处理电路18可在步骤112之前执行步骤118)。
如果在图像像素190的足够大的核上执行差值的色度滤波，那么来自红和蓝图像信号的最小噪声可在色度滤波之后(例如，执行步骤114之后)保留在红和蓝差值中。举例来说，如果核具有15像素乘15像素或更大的大小，那么色度滤波可将红和蓝经色度滤波的差值中的噪声减小到可忽略的电平。视需要，图像像素190的核可包含位于多个图像像素阵列200中的图像像素、位于多个图像传感器16中的图像像素，和/或多个时间帧期间使用(例如，以允许时间去噪)的图像像素。当将白图像值加上经色度滤波的差值时，白图像值中的噪声可支配差值中的噪声。以此方式，步骤116处产生的红和蓝图像数据中的噪声可大体等于白图像数据中的噪声。红和蓝图像数据中的噪声可借此高度相关，从而产生CCM引起的减小的噪声放大。当针对图像像素阵列200使用拜耳图案时，此过程可产生CCM引起的较少噪声放大。
在步骤106(图6)处，CCM可对红、白和蓝图像数据操作以产生线性sRGB数据。举例来说，CCM可从白图像数据提取信息以产生标准绿数据。白图像数据(例如，步骤104处产生的经去马赛克的白图像数据)可在利用CCM对图像数据操作之后保留。sRGB图像数据可在例如亮度-色度-色调(LCH)空间等三维空间中表示。在LCH空间中，亮度通道(L)可与图像传感器16俘获的图像的亮度相关，且色度通道(C)可与图像的颜色饱和度相关，且色调通道可与图像的特定颜色(例如，红、紫、黄、绿等)相关。所显示图像中的噪声和锐度的感知可受亮度通道中的噪声和信号变化影响。图像数据中的SNR可通过将sRGB数据变换为LHC数据，用白图像值(其归因于白图像信号的广频谱而与总体图像亮度较好地相关)代替亮度通道中的亮度值，以及将LHC数据变换回到sRGB数据来改进。以此方式，CCM引起的噪声放大可在亮度通道中被抑制，其中当观察所显示图像时噪声特别可被观察者注意到。
如上文结合图6的任选步骤108所描述，点滤波器可应用于线性sRGB数据以使用白图像数据产生经校正的sRGB数据。点滤波器可在无来自邻近图像像素190的信息的情况下对单一图像像素190操作，而色度去马赛克当应用于单一图像像素190处的图像信号时可需要来自多个图像像素(例如，图像像素的核)的图像信号(例如，差值)。举例来说，点滤波器可针对每一图像像素对标准红值、标准绿值和标准蓝值操作。为对sRGB数据执行点滤波器操作，处理电路18可使用红图像数据、白图像数据和蓝图像数据(例如，在应用CCM之前的图像数据)来计算原始(原本)亮度信号。原始亮度信号可为白图像数据、红图像数据和蓝图像数据的线性组合(例如，加权和)。视需要，白图像数据可在线性组合中比红和蓝图像数据更重程度地加权。处理电路18可计算作为标准红、标准绿和标准蓝图像数据的线性组合的所暗示亮度信号(例如，在将CCM应用于图像数据之后)。视需要，用于计算所暗示亮度信号的线性组合中的权重可大体类似于用于计算原始亮度信号的权重。所述权重可经调整以修改点滤波器的“强度”(例如，点滤波器变换或校正sRGB数据的程度)。
处理电路18可在最简单情况下通过将原始亮度信号除以所暗示亮度信号来产生定标值(例如，待应用于经彩色校正的图像值的定标因子)。视需要，定标因子可包含分子和分母。定标值的分子和/或分母可包含原始亮度信号和所暗示亮度信号的加权和。定标值可包含可变化以调整点滤波器的强度的可调整加权参数(例如，所述加权参数可持续变化以将点滤波器的强度从零调整为完全强度)。为将点滤波器应用于sRGB数据(例如，应用于标准红、绿和蓝图像数据)，处理电路18可将sRGB数据乘以定标值以产生经校正的sRGB数据。举例来说，处理电路18可将标准红图像数据乘以定标值，将标准绿图像数据乘以定标值，等等。视需要，经校正的sRGB数据可具有从应用点滤波器之前(例如，在将经校正的sRGB数据转换到LCH空间后)近似保留的色调和色度通道。经校正的sRGB数据可具有归因于白图像信号的继承的保真度的改进的噪声和/或锐度。
在最简单情况下，原始亮度信号可通过白图像数据来近似。图8展示可由处理电路18执行以在将CCM应用于红、白和蓝图像数据之后将点滤波器(在最简单情况下)应用于sRGB数据的说明性步骤的流程图(作为一实例)。处理电路18可例如针对图像像素阵列200中的每一图像像素190将点滤波器应用于sRGB数据。图8的步骤可例如作为图6的步骤108的一部分执行。
在步骤130处，处理电路18可通过组合红、绿、蓝图像数据(例如，在应用CCM之后)针对给定图像像素190产生所暗示的亮度值(例如，LCH空间中的亮度值)。所暗示的亮度值可例如计算作为红、绿和蓝图像数据的线性组合。
在步骤132处，处理电路18可通过将白图像值除以所暗示的亮度值来产生定标值。视需要，可通过将白图像值除以所暗示的亮度值与白图像值的加权和来产生定标因子。定标因子可包含可变化以调整点滤波器的强度的可调整加权参数(例如，所述加权参数可持续变化以将点滤波器的强度从零调整为完全强度)。定标值可例如为对sRGB数据操作的运算子。
在步骤134处，处理电路18可将sRGB数据乘以定标值以产生经校正的sRGB数据(例如，经校正的标准红、绿和蓝图像数据)。举例来说，处理电路18可将标准红图像数据乘以定标值，将标准绿图像数据乘以定标值，等等。经校正的sRGB数据可视需要提供到图像显示器。经校正的sRGB数据可具有与应用点滤波器之前的sRGB数据相比改进的噪声和/或锐度。
图6-8的实例仅为说明性的。任何所要彩色滤波器可结合图3-5所示的白色滤波器使用以获得彩色图像信号。可使用所要彩色滤波器的任何组合(例如，红色滤波器、绿色滤波器、青色滤波器、红外滤波器、紫外滤波器、蓝色滤波器、黄色滤波器、品红滤波器、紫色滤波器等的任何组合)。视需要，任何其它适宜的三维空间可用于执行点滤波器操作。
视需要，可使用形成在任何数目的图像传感器16上的任何数目的图像像素阵列200来俘获图像。所使用的每一图像像素阵列可例如用于不同颜色的图像信号。举例来说，第一图像像素阵列可具有用于产生白图像信号的透明滤波器，第二图像像素阵列可具有用于产生红图像信号的红色滤波器，且第三图像像素阵列可具有用于产生蓝图像信号的蓝色滤波器。来自这些阵列的每一者的图像信号可进行色度去马赛克和/或使用点滤波器操作。每一图像像素阵列可视需要形成在装置10中的例如图像传感器16等不同的图像传感器上(例如，多个图像传感器16可形成在装置10中)。此实施例可例如允许较短相机焦距和较薄相机模块。
图9以简化形式展示典型的处理器系统300，例如数码相机，其包含成像装置2000(例如，比如图1-8的采用透明彩色滤波器以及用于上文描述的操作的技术的成像传感器16等成像装置2000)。处理器系统300是具有可包含成像装置2000的数字电路的示范性系统。在不限定的情况下，此系统可包含计算机系统、静态或视频相机系统、扫描仪、机器视觉、车辆导航、视频电话、监督系统、自动聚焦系统、星象跟踪仪系统、运动检测系统、图像稳定系统，以及采用成像装置的其它系统。
处理器系统300通常包含：透镜396，其用于当按压快门释放按钮397时将图像聚焦在装置2000的像素阵列200上；中央处理单元(CPU)395，例如微处理器，其控制相机以及一个或一个以上图像流功能，其经由总线393与一个或一个以上输入/输出(I/O)装置391通信。成像装置2000也经由总线393与CPU 395通信。系统300还包含随机存取存储器(RAM)392，且可包含可拆卸式存储器394，例如快闪存储器，其也经由总线393与CPU 395通信。成像装置2000可在具有或不具有单一集成电路上或不同芯片上的存储器存储的情况下与CPU组合。尽管总线393说明为单一总线，但其可为用于将系统组件互连的一个或一个以上总线或桥接器或其它通信路径。
根据一实施例，提供一种成像系统，其包含：具有图像传感器像素阵列的图像传感器，其中所述图像传感器像素阵列包含经配置以响应于红光产生红图像信号的红图像传感器像素、经配置以响应于蓝光产生蓝图像信号的蓝图像传感器像素，以及经配置以响应于至少红光、绿光和蓝光产生白图像信号的透明图像传感器像素；以及处理电路，其经配置以对红图像信号、蓝图像信号和白图像信号执行滤波操作，这增加与红图像信号、蓝图像信号和白图像信号相关联的噪声相关。
根据另一实施例，处理电路经配置以将与红图像信号、蓝图像信号和白图像信号相关联的噪声相关增加到大于与红图像信号、蓝图像信号和白图像信号相关联的所有噪声的百分之70。
根据另一实施例，处理电路经配置以通过针对给定颜色的每一图像传感器像素产生由至少25个图像传感器像素产生的图像信号的加权和来执行滤波操作。
根据另一实施例，处理电路经配置以对红图像信号、蓝图像信号和白图像信号执行白平衡操作。
根据另一实施例，处理电路经配置以将彩色校正矩阵应用于白图像信号，其中所述彩色校正矩阵从每一白图像信号提取绿图像信号。
根据另一实施例，图像传感器进一步包含额外图像传感器像素阵列。
根据另一实施例，成像系统进一步包含具有至少一个图像传感器像素阵列的额外图像传感器。
根据一实施例，提供一种使用具有处理电路的图像传感器处理图像数据的方法，所述图像数据包含第一颜色的第一图像信号、不同于第一颜色的第二颜色的第二图像信号，以及白图像信号，所述方法包含：利用处理电路，使用白图像信号产生不同于第一和第二颜色的第三颜色的第三图像信号；利用处理电路，组合第一图像信号、第二图像信号和第三图像信号以形成导出的亮度值；利用处理电路，基于第一图像信号、第二图像信号和白图像信号计算所估计的亮度值；以及利用处理电路，使用导出的亮度值和所估计的亮度值修改第一图像信号、第二图像信号和第三图像信号。
根据另一实施例，所述方法进一步包含利用处理电路，基于导出的亮度值和所估计的亮度值计算定标值，其中修改第一图像信号、第二图像信号和第三图像信号包含将第一图像信号、第二图像信号和第三图像信号乘以所产生的定标值。
根据另一实施例，组合第一图像信号、第二图像信号和第三图像信号以形成导出的亮度值包含使用加权因子计算第一图像信号、第二图像信号和第三图像信号的线性组合。
根据另一实施例，组合第一图像信号、第二图像信号和第三图像信号以形成导出的亮度值进一步包含将白图像信号与第一图像信号、第二图像信号和第三图像信号组合以形成导出的亮度值。
根据另一实施例，使用白图像信号产生第三颜色的第三图像信号包含使用彩色校正矩阵从白图像信号提取第三图像信号。
根据另一实施例，第一图像信号包含红图像信号，第二图像信号包含蓝图像信号，且第三图像信号包含绿图像信号。
根据另一实施例，第一图像信号包含红图像信号，第二图像信号包含绿图像信号，且第三图像信号包含蓝图像信号。
根据另一实施例，第一图像信号包含蓝图像信号，第二图像信号包含绿图像信号，且第三图像信号包含红图像信号。
根据一实施例，提供一种系统，其包含：中央处理单元、存储器、输入-输出电路和成像装置，其中所述成像装置包含：像素阵列；将图像聚焦在像素阵列上的透镜；具有图像像素阵列的图像传感器，其中所述图像像素阵列包含经配置以响应于红光产生红图像信号的红图像像素、经配置以响应于蓝光产生蓝图像信号的蓝图像像素，以及经配置以响应于至少红光、绿光和蓝光产生白图像信号的透明图像像素；以及处理电路，其经配置以产生作为白图像信号与至少红图像信号、蓝图像信号和绿图像信号的线性组合的比率的定标值，且使用所产生的定标值修改红图像信号、蓝图像信号和绿图像信号。
根据另一实施例，所述图像像素阵列包含若干像素单位单元，每一像素单位单元包含红图像像素的一者、蓝图像像素的一者，以及透明图像像素的两者。
根据另一实施例，处理电路进一步经配置以对红图像信号、蓝图像信号和白图像信号执行滤波操作以增加与红图像信号、蓝图像信号和白图像信号相关联的噪声相关。
根据另一实施例，处理电路进一步经配置以产生白图像信号与红图像信号之间以及白图像信号与蓝图像信号之间的差值。
根据另一实施例，处理电路进一步经配置以使用所产生的差值对红图像信号、蓝图像信号和白图像信号执行滤波操作。
根据一实施例，提供一种使用图像传感器处理图像信号的方法，其中所述图像传感器包含图像传感器像素阵列以及处理电路，且其中图像传感器像素包含红图像传感器像素、蓝图像传感器像素和透明图像传感器像素，且所述方法包含：利用红图像传感器像素，响应于红光产生红图像信号；利用蓝图像传感器像素，响应于蓝光产生蓝图像信号；利用透明图像传感器像素，响应于至少红光、绿光和蓝光产生白图像信号；以及利用处理电路，对红图像信号、蓝图像信号和白图像信号执行滤波操作，这增加与红图像信号、蓝图像信号和白图像信号相关联的噪声相关。
根据另一实施例，执行滤波操作包含将与红图像信号、蓝图像信号和白图像信号相关联的噪声相关增加到大于与红图像信号、蓝图像信号和白图像信号相关联的所有噪声的百分之70。
根据另一实施例，执行滤波操作包含针对给定颜色的每一图像传感器像素产生由至少25个图像传感器像素产生的图像信号的加权和。
根据一实施例，提供一种使用图像传感器处理图像信号的方法，其中所述图像传感器包含图像传感器像素阵列以及处理电路，且其中图像传感器像素阵列包含响应于第一颜色的光的图像传感器像素的第一群组、响应于第二颜色的光的图像传感器像素的第二群组，以及响应于第三颜色的光的图像传感器像素的第三群组，且所述方法包含：利用图像传感器像素的第一群组，响应于第一颜色的光产生第一图像信号；利用图像传感器像素的第二群组，响应于第二颜色的光产生第二图像信号；利用图像传感器像素的第三群组，响应于至少第一和第二颜色的光产生第三图像信号；以及利用处理电路，对第一图像信号、第二图像信号和第三图像信号执行滤波操作，这增加与第一图像信号、第二图像信号和第三图像信号相关联的噪声相关。
根据另一实施例，第一图像信号具有第一光谱响应水平，第二图像信号具有第二光谱响应水平，且响应于至少第一和第二颜色的光产生第三图像信号包含产生具有大于第一和第二信号响应水平之和的百分之75的第三光谱响应水平的第三图像信号。
根据另一实施例，产生第一图像信号包含响应于红光产生红图像信号，产生第二图像信号包含响应于蓝光产生蓝图像信号，且产生第三图像信号包含响应于至少红光和蓝光产生白图像信号。
根据另一实施例，红图像信号具有第一光谱响应水平，蓝图像信号具有第二光谱响应水平，且产生白图像信号包含产生具有大于第一和第二光谱响应水平之和的百分之75的第三光谱响应水平的白图像信号。
根据另一实施例，对第一图像信号、第二图像信号和白图像信号执行滤波操作包含对第一图像信号、第二图像信号和第三图像信号执行无限脉冲响应滤波器。
根据一实施例，提供一种使用图像传感器处理图像信号的方法，其中所述图像传感器包含处理电路、响应于第一颜色的光产生第一图像信号的图像传感器像素的第一群组、响应于第二颜色的光产生第二图像信号的图像传感器像素的第二群组，以及响应于第三颜色的光产生第三图像信号的图像传感器像素的第三群组，其中第一图像信号具有第一光谱响应，其中第二图像信号具有第二光谱响应，且其中第三图像信号具有大于第一和第二光谱响应的第三光谱响应，且所述方法包含：利用处理电路，使用第一图像信号、第二图像信号和第三图像信号产生所估计的亮度值；利用处理电路，通过将第一、第二和第三图像信号变换到导出的三色空间中来产生经变换的第一图像信号、经变换的第二图像信号和经变换的第三图像信号；利用处理电路，通过组合经变换的第一、第二和第三图像信号产生导出的亮度值；以及利用处理电路，修改经变换的第一、第二和第三图像信号使得导出的亮度值接近所估计的亮度值。
根据另一实施例，将第一、第二和第三图像信号变换到导出的三色空间中包含将第一、第二和第三图像信号变换到标准红-绿-蓝空间中。
根据另一实施例，产生经变换的第一、第二和第三图像信号包含产生第一、第二和第三图像信号的线性组合。
根据另一实施例，第一图像信号包含由图像传感器像素的第一群组响应于红光俘获的红图像信号，第二图像信号包含由图像传感器像素的第二群组响应于蓝光俘获的蓝图像信号，第三图像传感器信号包含由图像传感器像素的第三群组响应于至少蓝光和红光俘获的白图像信号，且产生第一、第二和第三图像信号的线性组合包含使用红、蓝和白图像信号产生线性组合。
根据一实施例，提供一种成像系统，其包含具有图像传感器像素阵列的图像传感器，其中所述图像传感器像素阵列包含经配置以响应于第一颜色的光产生第一图像信号的图像传感器像素的第一群组、经配置以响应于第二颜色的光产生第二图像信号的图像传感器像素的第二群组，以及经配置以响应于至少第一和第二颜色的光产生第三图像信号的图像传感器像素的第三群组；以及处理电路，其经配置以对第一图像信号、第二图像信号和第三图像信号执行滤波操作，这增加与第一图像信号、第二图像信号和第三图像信号相关联的噪声相关。
根据另一实施例，第一图像信号具有第一光谱响应水平，第二图像信号具有第二光谱响应水平，且第三图像信号具有大于第一和第二光谱响应水平之和的百分之75的第三光谱响应水平。
根据另一实施例，图像传感器像素的第一群组包含经配置以响应于红光产生红图像信号的红图像传感器像素，图像传感器像素的第二群组包含经配置以响应于蓝光产生蓝图像信号的蓝图像传感器像素，且图像传感器像素的第三群组包含经配置以响应于至少红光和蓝光产生白图像信号的透明图像传感器像素。
根据另一实施例，图像传感器像素的第一群组包含经配置以响应于红光产生红图像信号的红图像传感器像素，图像传感器像素的第二群组包含经配置以响应于绿光产生绿图像信号的绿图像传感器像素，且图像传感器像素的第三群组包含经配置以响应于至少红光和绿光产生白图像信号的透明图像传感器像素。
以上仅说明可在其它实施例中实践的本发明的原理。

Claims (20)

1.一种使用具有图像传感器像素阵列和处理电路的图像传感器处理图像信号的方法，其中所述图像传感器像素阵列包括响应于第一颜色的光的第一组图像传感器像素、响应于第二颜色的光的第二组图像传感器像素以及响应于第三颜色的光的第三组图像传感器像素，所述方法包括：
利用所述第一组图像传感器像素，响应于所述第一颜色的光产生第一图像信号；
利用所述第二组图像传感器像素，响应于所述第二颜色的光产生第二图像信号；
利用所述第三组图像传感器像素，响应于所述第三颜色的光产生第三图像信号；以及
利用所述处理电路，对所述第一图像信号、所述第二图像信号以及所述第三图像信号执行滤波操作以增加与所述第一图像信号、所述第二图像信号和所述第三图像信号相关联的噪声相关。
2.根据权利要求1所述的方法，其中，执行所述滤波操作包括在所述第一图像信号、所述第二图像信号和所述第三图像信号上执行滤波操作以使得所述第一图像信号、所述第二图像信号和所述第三图像信号中的噪声波动可以以相关方式一起增加或减小。
3.根据权利要求1所述的方法，其中所产生的第一图像信号具有第一光谱响应宽度，其中所产生的第二图像信号具有第二光谱响应宽度，以及其中所产生的第三图像信号具有比所述第一光谱响应宽度和所述第二光谱响应宽度要大的第三光谱响应宽度。
4.根据权利要求3所述的方法，其中所产生的第三图像信号的所述第三光谱响应宽度比所述第一光谱响应宽度和所述第二光谱响应宽度之和大百分之75。
5.根据权利要求1所述的方法，其中对所述第一图像信号、所述第二图像信号和所述第三图像信号执行所述滤波操作包括：
将与所述第一图像信号、所述第二图像信号和所述第三图像信号相关联的所述噪声相关增加到大于与所述第一图像信号、所述第二图像信号和所述第三图像信号相关联的所有噪声的百分之70。
6.根据权利要求1所述的方法，其中对所述第一图像信号、所述第二图像信号和所述第三图像信号执行所述滤波操作包括：
对给定颜色的每个图像传感器像素产生由至少25个图像传感器像素产生的图像信号的加权和。
7.根据权利要求1所述的方法，进一步包括：
利用所述处理电路，将彩色校正矩阵应用于所述第三图像信号，其中所述彩色校正矩阵从所述第三图像信号中提取绿色图像信号。
8.一种成像系统，其包括：
具有图像传感器像素阵列的图像传感器，其中所述图像传感器像素阵列包含经配置以响应于第一颜色的光产生第一图像信号的第一组图像传感器像素、经配置以响应于第二颜色的光产生第二图像信号的第二组图像传感器像素，以及经配置以响应于第三颜色的光产生第三图像信号的第三组图像传感器像素；以及
处理电路，其经配置以对所述第一图像信号、所述第二图像信号以及所述第三图像信号执行滤波操作以增加与所述第一图像信号、所述第二图像信号以及所述第三图像信号相关联的噪声相关。
9.根据权利要求8所述的成像系统，其中所述处理电路经配置以执行所述滤波操作以使得所述第一图像信号、所述第二图像信号和所述第三图像信号中的噪声波动可以以相关方式一起增加或减小。
10.根据权利要求8所述的成像系统，其中所述处理电路经配置以将彩色校正矩阵应用于所述第三图像信号，其中所述彩色校正矩阵从所述第三图像信号中提取绿色图像信号。
11.根据权利要求8所述的成像系统，其中所述处理电路经配置以对给定颜色的每个图像传感器像素产生由至少25个图像传感器像素产生的图像信号的加权和来对所述第一图像信号、所述第二图像信号和所述第三图像信号执行所述滤波操作。
12.根据权利要求11所述的成像系统，其中所述第三图像信号的所述第三光谱响应宽度比所述第一光谱响应宽度和所述第二光谱响应宽度之和大百分之75。
13.一种使用具有处理电路的图像传感器处理图像数据的方法，其中所述图像数据包括第一颜色的第一图像信号、第二颜色的第二图像信号以及第三颜色的第三图像信号，所述方法包括：
利用所述处理电路，使用所述第三图像信号产生第三颜色的第四图像信号；
利用所述处理电路，组合所述第一图像信号、所述第二图像信号以及所述第四图像信号以形成导出的亮度值；
利用所述处理电路，基于所述第一图像信号、所述第二图像信号和所述第三图像信号计算估计的亮度值；以及
利用所述处理电路，使用所述导出的亮度值和所述估计的亮度值修改所述第一图像信号、所述第二图像信号以及所述第四图像信号。
14.根据权利要求13所述的方法，其中所述第一颜色不同于所述第二颜色，而且所述第三颜色不同于所述第一颜色和所述第二颜色。
15.根据权利要求13所述的方法，进一步包括：
使用所述处理电路，基于所述导出的亮度值和所述估计的亮度值计算定标值，其中修改所述第一图像信号、所述第二图像信号和所述第四图像信号包括将所述第一图像信号、所述第二图像信号和所述第四图像信号和所产生的定标值相乘。
16.根据权利要求13所述的方法，其中所述第一图像信号具有第一光谱响应，其中所述第二图像信号具有第二光谱响应，其中所述第三图像信号具有第三光谱响应，其中第三光谱响应比所述第一光谱响应大，且其中所述第三光谱响应比所述第二光谱响应大。
17.根据权利要求16所述的方法，其中所述第三光谱响应比所述第一光谱响应和所述第二光谱响应之和大百分之75。
18.根据权利要求13所述的方法，其中，组合所述第一图像信号、所述第二图像信号以及所述第四图像信号以形成所述导出的亮度值包括使用加权因子计算所述第一图像信号、所述第二图像信号和所述第四图像信号的线性组合。
19.根据权利要求13所述的方法，其中，组合所述第一图像信号、所述第二图像信号以及所述第四图像信号以形成所述导出的亮度值包括组合所述第三图像信号、所述第一图像信号、所述第二图像信号以及所述第四图像信号以形成所述导出的亮度值。
20.根据权利要求13所述的方法，进一步包括：
利用所述处理电路，对所述第一图像信号、所述第二图像信号和所述第三图像信号执行滤波操作以增加与所述第一图像信号、所述第二图像信号和所述第三图像信号相关联的噪声相关；
使用所述处理电路，产生介于所述第三图像信号和所述第一图像信号之间的不同值以及介于所述第三图像信号和所述第二图像信号之间的不同值，以及
使用所述处理电路，使用所产生的不同值对所述第一图像信号、所述第二图像信号和所述第三图像信号执行所述滤波操作以增加所述噪声相关。
CN201610353124.7A 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统 Active CN105847772B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261612819P 2012-03-19 2012-03-19
US61/612,819 2012-03-19
US13/736,768 US9191635B2 (en) 2012-03-19 2013-01-08 Imaging systems with clear filter pixels
US13/736,768 2013-01-08
CN201310088517.6A CN103327342B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310088517.6A Division CN103327342B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统

Publications (2)

Publication Number Publication Date
CN105847772A true CN105847772A (zh) 2016-08-10
CN105847772B CN105847772B (zh) 2018-07-27

Family

ID=48128065

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201310088517.6A Active CN103327342B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统
CN201810843965.5A Active CN108650497B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统
CN201610353124.7A Active CN105847772B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201310088517.6A Active CN103327342B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统
CN201810843965.5A Active CN108650497B (zh) 2012-03-19 2013-03-19 具有透明滤波器像素的成像系统

Country Status (6)

Country Link
US (4) US9191635B2 (zh)
EP (2) EP3054675B1 (zh)
JP (2) JP6134879B2 (zh)
KR (2) KR101446419B1 (zh)
CN (3) CN103327342B (zh)
HK (2) HK1222962A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769635A (zh) * 2018-05-30 2018-11-06 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN114422766A (zh) * 2018-08-03 2022-04-29 杭州海康威视数字技术股份有限公司 一种图像采集设备

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
JPWO2014132465A1 (ja) * 2013-02-28 2017-02-02 株式会社ニコン 電子機器および表示方法
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557520B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Synchronized image capture methods and apparatus
US9325906B2 (en) 2013-10-18 2016-04-26 The Lightco Inc. Methods and apparatus relating to a thin camera device
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9548336B2 (en) 2014-04-24 2017-01-17 Samsung Electronics Co., Ltd. Image sensors and electronic devices including the same
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
US9888198B2 (en) 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
KR102219784B1 (ko) 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN104700353B (zh) 2015-02-11 2017-12-05 小米科技有限责任公司 图像滤镜生成方法及装置
US9467633B2 (en) 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
US9793306B2 (en) 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US9686486B2 (en) 2015-05-27 2017-06-20 Semiconductor Components Industries, Llc Multi-resolution pixel architecture with shared floating diffusion nodes
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US9712792B2 (en) 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
CN105430359B (zh) * 2015-12-18 2018-07-10 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN106934317A (zh) * 2015-12-29 2017-07-07 我查查信息技术(上海)有限公司 条码扫描识别方法及装置
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
CN108781278A (zh) * 2016-03-30 2018-11-09 Lg 电子株式会社 图像处理装置和移动终端
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
US10262399B2 (en) * 2017-01-09 2019-04-16 Samsung Electronics Co., Ltd. Image denoising with color-edge contrast preserving
US10960237B2 (en) * 2017-07-19 2021-03-30 Honeywell International Inc. Powered air-purifying respirator (PAPR) with eccentric venturi air flow rate determination
EP3625761B1 (en) * 2017-07-28 2023-08-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
US10616536B2 (en) * 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
CN112514375B (zh) * 2018-06-07 2023-04-04 御眼视觉技术有限公司 高分辨率汽车透镜和传感器
CN111835977B (zh) * 2019-04-18 2021-11-02 北京小米移动软件有限公司 图像传感器、图像生成方法及装置、电子设备、存储介质
KR20210017460A (ko) * 2019-08-08 2021-02-17 에스케이하이닉스 주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템
CN114342362A (zh) * 2019-09-09 2022-04-12 Oppo广东移动通信有限公司 图像传感器、摄像头模组、移动终端及图像采集方法
KR102230609B1 (ko) * 2019-11-26 2021-03-19 가천대학교 산학협력단 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체
KR20220010285A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
KR20220081532A (ko) * 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 시그널 프로세서 및 이미지 처리 시스템
KR20230024063A (ko) 2021-08-11 2023-02-20 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018006A (en) * 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
CN101080022A (zh) * 2006-04-14 2007-11-28 索尼株式会社 成像设备
US20090160992A1 (en) * 2007-12-21 2009-06-25 Sony Corporation Image pickup apparatus, color noise reduction method, and color noise reduction program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450374B2 (ja) 1993-05-28 2003-09-22 キヤノン株式会社 カラー撮像装置
US6330029B1 (en) 1998-03-17 2001-12-11 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
JP4011861B2 (ja) * 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
EP2315448B1 (en) 2004-01-26 2018-03-07 DigitalOptics Corporation Thin camera having sub-pixel resolution
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
JP2008078922A (ja) 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
US7876956B2 (en) 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
CN101193319B (zh) * 2006-11-29 2011-04-27 帆宣系统科技股份有限公司 显示装置的灰度级白平衡的增益决定方法及装置
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP2009005262A (ja) * 2007-06-25 2009-01-08 Olympus Imaging Corp 半導体装置および撮像装置
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8295631B2 (en) 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US8345130B2 (en) 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018006A (en) * 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
CN101080022A (zh) * 2006-04-14 2007-11-28 索尼株式会社 成像设备
US20090160992A1 (en) * 2007-12-21 2009-06-25 Sony Corporation Image pickup apparatus, color noise reduction method, and color noise reduction program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769635A (zh) * 2018-05-30 2018-11-06 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN108769635B (zh) * 2018-05-30 2020-01-21 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN114422766A (zh) * 2018-08-03 2022-04-29 杭州海康威视数字技术股份有限公司 一种图像采集设备
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备

Also Published As

Publication number Publication date
KR20140066684A (ko) 2014-06-02
HK1222962A1 (zh) 2017-07-14
EP2642757A2 (en) 2013-09-25
US9521380B2 (en) 2016-12-13
KR101446419B1 (ko) 2014-10-01
US9942527B2 (en) 2018-04-10
JP2013198160A (ja) 2013-09-30
EP3054675B1 (en) 2020-04-29
US20170078627A1 (en) 2017-03-16
US9191635B2 (en) 2015-11-17
US20160021345A1 (en) 2016-01-21
CN103327342B (zh) 2016-06-22
CN105847772B (zh) 2018-07-27
CN103327342A (zh) 2013-09-25
EP3054675A1 (en) 2016-08-10
US10070104B2 (en) 2018-09-04
JP6096243B2 (ja) 2017-03-15
CN108650497A (zh) 2018-10-12
CN108650497B (zh) 2021-08-10
EP2642757B1 (en) 2019-09-11
HK1189731A1 (zh) 2014-06-13
JP6134879B2 (ja) 2017-05-31
KR101490653B1 (ko) 2015-02-06
KR20130106328A (ko) 2013-09-27
US20180192011A1 (en) 2018-07-05
JP2015167399A (ja) 2015-09-24
US20130242148A1 (en) 2013-09-19
EP2642757A3 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
CN103327342B (zh) 具有透明滤波器像素的成像系统
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN205726019U (zh) 成像系统、成像设备和图像传感器
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
CN209345244U (zh) 成像系统和相机模块
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
WO2005099247A2 (en) The reproduction of alternative forms of light from an object using a digital imaging system
CN113556526A (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
US9179110B2 (en) Imaging systems with modified clear image pixels
Heimann et al. Color filter array and color correction for high dynamic range CMOS image sensors
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
KR20070071003A (ko) 이미지 센서 및 이미지 센서의 이미지 윤곽선 검출방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1222962

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant