CN101490694A - 马赛克域中的图像增强 - Google Patents

马赛克域中的图像增强 Download PDF

Info

Publication number
CN101490694A
CN101490694A CNA2006800503593A CN200680050359A CN101490694A CN 101490694 A CN101490694 A CN 101490694A CN A2006800503593 A CNA2006800503593 A CN A2006800503593A CN 200680050359 A CN200680050359 A CN 200680050359A CN 101490694 A CN101490694 A CN 101490694A
Authority
CN
China
Prior art keywords
subimage
input
pixel value
output
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800503593A
Other languages
English (en)
Other versions
CN101490694B (zh
Inventor
安纳托利·里特维诺夫
亚历克斯·阿隆
伊琳娜·阿隆
埃纳特·基德隆
乌里·基恩罗特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Corp
Original Assignee
BLUR TECHNOLOGIES Ltd D
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BLUR TECHNOLOGIES Ltd D filed Critical BLUR TECHNOLOGIES Ltd D
Publication of CN101490694A publication Critical patent/CN101490694A/zh
Application granted granted Critical
Publication of CN101490694B publication Critical patent/CN101490694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种成像设备，包括马赛克图像传感器(24)，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射到马赛克图像传感器的不同的、各自的颜色的光。图像恢复电路(26)被耦合用于对每个输入子图像的输入像素值进行接收并数字滤波，以便产生相应的多个增强输出子图像。图像信号处理器(ISP)(28)被耦合用于接收并组合上述多个输出子图像，从而产生彩色视频输出图像。

Description

马赛克域中的图像增强
相关申请的交叉引用
本申请要求提交于2005年11月10日的美国临时专利申请60/735,520，该申请已转让给本专利申请的受让人并且其公开内容通过引用而并入本文。
技术领域
本发明主要涉及数字成像，具体涉及在数字相机中用于提高成像质量的方法和设备。
背景技术
受尺寸、成本、光圈尺寸以及相机制造商所施加的其它因素的限制的影响，用在数字相机中的物镜系统通常设计用于使光学点扩散函数(PSF)最小化并使调制传递函数(MTF)最大化。由于焦点变化和像差，所得的光学系统的PSF仍然可能与理想的有所不同。本领域中有多种公知的用于通过数字图像处理对这种PSF偏离进行补偿的方法。例如，美国专利6,154,574，描述了一种在图像处理系统中对没有对准焦点的图像进行数字聚焦的方法，该申请的公开内容通过引用而并入本文。通过将散焦图像分解成子图像，获得平均阶跃响应，并对每个子图像计算边缘方向的阶跃响应。平均阶跃响应用于计算PSF系数，这些系数依次用于确定图像恢复传递函数。在频域内，通过将没有对准焦点的图像乘以该函数来获得对准焦点的图像。
PCT国际公开WO2004/063989A2的公开内容通过引用于而并入本文，该申请描述了一种电子成像相机，包括图像传感器阵列和图像处理器，该图像处理器将去模糊函数-通常以去卷积滤波器(DCF)的形式-应用于由阵列输出的信号，以产生模糊程度降低的输出图像。这种模糊程度的降低使得可能设计和应用具有较低固有PSF的相机光学器件，同时恢复由传感器阵列产生的电子图像以提供可接受的输出图像。
低成本的彩色摄影机通常采用覆盖有多色马赛克滤波器的单一的固态成像传感器。马赛克滤波器是微型彩色滤波元件的掩模，其中滤波元件放置在图像传感器的每个检测器元件前。例如，美国专利4,697,208描述了一种具有固态图像传感元件和补色型马赛克滤波器的彩色摄像器件，该申请的公开内容通过引入而并入本文。本文中所称的“马赛克图像传感器”可以指任何一种带有彩色马赛克滤波器的图像传感器，而不管马赛克中颜色的选择和排列。
马赛克滤波器中的滤波元件一般在RGB原色之间或在互补色青色、绛红色和黄色之间交替。一种普通类型的彩色马赛克滤波器被称为“拜耳传感器”(Bayer sensor)或“拜耳马赛克”(Bayer mosaic)，其具有下面的一般形式(其中字母代表颜色-R表示红，G表示绿以及B表示蓝)：
 
R G R G R G
G B G B G B
R G R G R G
G B G B G B
R G R G R G
G B G B G B
不同颜色的滤波器具有各自的通频带，各频带可能重叠。在美国专利3,971,065中描述了拜耳马赛克，该专利的公开内容通过引入而并入本文。
对由马赛克传感器产生的图像的处理通常包括，通过从传感器输出中提取三色信号(红、绿和蓝)来重建完整的彩色图像。图像信号处理器(ISP)处理图像传感器输出，以便计算输出图像的每个像素的亮度(Y)和色度(C)值。然后，ISP将这些值(或相应的R、G和B颜色值)以标准视频格式输出。
发明内容
本发明的实施方式提供用于处理和增强电子图像，尤其是由马赛克图像传感器产生的图像的方法和设备。该传感器输出属于多个输入子图像的像素流，每个子图像均是因入射在马赛克传感器上的不同的、各自的颜色的光而产生的。图像恢复电路对每个输入子图像的像素值进行滤波从而产生相应的输出子图像，该输出子图像的质量被提高，例如模糊程度降低。然后，图像信号处理器(ISP)将输出子图像组合，从而产生彩色视频输出图像。
已经发现，同传统的方法(其中在去模糊之前，首先将马赛克子图像组合以重建彩色输出图像)相比，这种设置提供较好的结果。此外，在一些实施方式中，由图像恢复电路所产生的输出子图像在格式上与由马赛克图像传感器所产生的输入子图像相同，从而使得图像恢复电路可以同现有的传感器/ISP的组合相集成，在传感器和ISP之间，传感器或ISP的设计很少改变或不改变。
因此，根据本发明的实施方式，提供一种成像设备，包括：
马赛克图像传感器，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自颜色的光；
图像恢复电路，其被耦合用于对所述输入子图像中的每一个的输入像素值进行接收并数字滤波，从而产生相应的多个增强的输出子图像；以及
图像信号处理器(ISP)，其被耦合用于接收并组合所述多个输出子图像，以产生彩色视频输出图像。
在公开的实施方式中，输入子图像和输出子图像具有相同的格式，因此可以将ISP耦合用于接收并组合输出子图像或输入子图像。典型地，在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述输出子图像包括输出像素值，所述图像恢复电路使所述输出像素值根据所述预定的交叉图案在输出像素流中交叉。。
在一些实施方式中，每个子图像均具有输入模糊，而所述输出子图像具有输出模糊，在由所述图像恢复电路滤波后，所述输出模糊比所述输入模糊小。在一个实施方式中，设备包括物镜系统，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF)，并且其中所述图像恢复电路包括去卷积滤波器(DCF)，所述DCF具有根据所述PSF确定的滤波核。所述PSF可以在所述图像传感器的平面上变化，并且所述图像恢复电路可被布置用于响应于所述图像传感器的平面上的所述PSF的变化，将不同的滤波核施加到来自所述图像传感器的不同区域的输入像素值。附加地或可选地，所述图像恢复电路可被布置用于根据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。
在一些实施方式中，所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。在一个实施方式中，所述输入像素值包括绿和蓝像素交替的第一行和以及绿和红像素交替的第二行，并且所述图像恢复电路包括绿平衡单元，所述绿平衡单元被耦合用于补偿在所述第一行和所述第二行之间的绿像素的敏感度的变化。所述敏感度的变化在所述图像传感器的区域内上是不均匀的，并且其中所述绿平衡单元被布置用于响应于所述敏感度的不均匀变化而施加不均匀的补偿。
在公开的实施方式中，所述设备包括物镜系统，所述物镜系统被配置用于以预定的模糊程度将所述光聚焦到所述马赛克图像传感器上，并且所述图像恢复电路包括尖峰去除单元，所述尖峰去除单元识别缺陷像素，所述缺陷像素的输入像素值与在所述输入子图像中的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且所述尖峰去除单元修正所述缺陷像素的输入像素值。
在一些实施方式中，所述图像恢复电路包括噪声滤波器，所述噪声滤波器被布置用于对输入子图像中的每一个进行数字滤波以便减少所述子图像中的噪声。在一个实施方式中，所述噪声滤波器被布置用于确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少所述噪声的滤波核。
附加地或可选地，所述图像恢复电路包括去卷积滤波器(DCF)，所述DCF被布置用于在所述噪声由所述噪声滤波器减少后对所述输入子图像进行滤波。在一个实施方式中，所述图像恢复电路包括边缘检测器，所述边缘检测器被布置用于在所述输入图像中识别边缘区域，并且用于控制所述DCF的输入，以使得所述DCF在所述边缘区域中接收没有噪声滤波的输入像素值，而在所述边缘区域外从所述噪声滤波器接收噪声减少的输入像素值。所述边缘检测器可被布置用于检测边缘像素，并且所述图像恢复电路包括加宽单元，所述加宽单元被布置用于通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。典型地，所述加宽单元被布置用于从所述边缘检测器接收在所述子图像的第一个中的边缘像素的识别，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素相邻的像素。
在公开的实施方式中，所述图像恢复电路包括数字滤波器和取景扩展单元，其中，所述数字滤波器被布置用于将所述输入子图像同给定尺寸的核进行卷积，所述取景扩展单元被布置用于在所述输入子图像周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。
在一些实施方式中，在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述图像恢复电路包括数字滤波器，所述数字滤波器被布置用于将所述输入子图像中的每一个同各自的核进行卷积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。
根据本发明的实施方式，还提供了一种用于成像的方法，包括：
从马赛克图像传感器接收属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自的颜色的光；
对所述输入子图像的每一个中的输入像素值进行数字滤波，从而产生相应的多个增强的输出子图像；以及
在图像信号处理器(ISP)中组合所述输出子图像，以便产生彩色视频输出图像。
从下面实施方式的详细描述并组合附图，可以更全面地理解本发明，其中：
附图说明
图1是示意性地说明了根据本发明实施方式的电子成像相机的框图；
图2是示意性地示出了根据本发明实施方式的图像恢复电路细节的框图；
图3是根据本发明实施方式的输入缓冲器一部分内容的详细示图，其说明了用在图像恢复电路中的图像取景技术；
图4是根据本发明实施方式，在图像恢复电路中用于尖峰去除的掩膜的示意图；
图5是根据本发明实施方式，在图像恢复电路中用于边缘增强的掩膜的示意图；
图6是示意性地说明了根据本发明实施方式的用于噪声滤波的方法的流程图；
图7是根据本发明实施方式，在恢复过程中应用到图像不同部分的一组去卷积滤波器的示意图；以及
图8A和8B是根据本发明实施方式，应用到由马赛克图像传感器输出的子图像的去卷积核掩膜的示意图。
具体实施方式
总则
图1是示意性地说明了根据本发明实施方式的电子成像相机20的框图。这里通过示例的方式示出的这种特定的、简化的相机设计，是为了说明本发明的原理并使其具体化。然而，这些原理并不仅限于这种设计，而是可以应用在其它类型的成像系统中以减轻图像的模糊，在上述的其它类型系统中传感器产生多个不同颜色的子图像，随后将这些子图像组合用于产生增强的彩色输出图像。
在相机20中，物镜系统22将光从场景聚焦在马赛克图像传感器24上。在相机中，可以使用任意合适类型的图像传感器，例如CCD或CMOS。在这个示例中，并且在下面的描述中，都假定传感器具有拜耳-类型马赛克滤波器，因此由传感器输出的图像信号中的每个像素32均响应于红光、绿光或蓝光中的一个。因此，马赛克传感器输出可以看成包括由对应于传感器元件的像素值组成的红、绿和蓝子图像。典型地，属于不同子图像的像素值根据马赛克滤波器中彩色元件的顺序在输出信号中交叉，即，传感器输出一行RGRGRG...(红和绿滤波器交替)，随后跟一行GBGBGB...(绿和蓝交替)，以此类推交替排列。可选地，其它类型的马赛克传感器图案加以适当变通也可以使用下面描述的方法和电路。
图像传感器24输出的像素值流可以由数字恢复电路26接收并处理。参照下面的附图对该电路进行了详细描述。像素值在由电路26处理之前，先由模数转换器(图中未示出)进行数字化，该数模转换器可以同传感器24或电路26集成，或者可以是单独的部件。，如下所述，在任意情况下，为了减轻图像模糊，电路26处理由传感器24产生的红、绿和蓝输入子图像。然后，电路26输出模糊减轻的红、绿和蓝子图像。
典型地，电路26以与其从传感器24接收的子图像相同的格式输出子图像。例如，电路26可以在输出子图像中交叉像素值以产生单一输出流，其中上述像素值与来自传感器24的输入像素值具有相同的交叉方式。可选地，电路26可以被配置用于反多路转换(demultiplex)并将每个子图像作为单独的数据块或数据流输出。
ISP28接收来自恢复电路26的去模糊的红、绿和蓝输出子图像，并将子图像组合以产生标准视频格式的彩色视频输出图像(或图像序列)。可以将该输出图像显示在显示屏30上，也可以将其通过通讯链接传输和/或存储在存储器中。在电路26输出子图像的格式与其从传感器24接收的子图像的格式相同的实施方式中，ISP28可以互换地用于处理电路26的输出或直接处理传感器24的输出。恢复电路的这种特性是有利的，尤其是其允许恢复电路可以利用现有的传感器和ISP，而不需要改变传感器或ISP。其还允许电路26的恢复功能在打开或者关闭之间的切换可简单地通过对传感器和ISP之间的支路链接(未示出)进行激活或去激活来实现。
由ISP28产生的彩色视频输出图像典型地包含图像中每个像素的亮度和颜色信息。该信息可以根据亮度和色度(例如，Y/C，或其它颜色坐标)、或根据单独颜色值(例如RGB)进行编码。相反，由恢复电路26处理并输出的子图像是单色图像，其只包含关于它们所代表的具体颜色的亮度信息。每个子图像均仅包含一个将出现在彩色视频输出图像中的像素子集，即，由图像传感器的元件所产生的这些像素将被相应的颜色滤波器覆盖。换句话说，在图1所示的拜耳矩阵的例子中，每个R和B子图像都将在输出图像中包含四分之一的像素，而G子图像将包含剩余的一半。
典型地，恢复电路26和ISP28在一个或多个集成电路芯片中实施，该一个或多个集成电路芯片可以包括定制的或半定制的部件。虽然图1中的恢复电路26和ISP28作为单独的功能性模块而示出，但是该恢复电路和ISP的功能可以在一个单一的集成电路部件中实现。任意地，在系统芯片(SoC)或相机芯片设计中的同一半导体基底上，图像传感器24可以同电路26组合并且还可能同ISP28组合。可选地，恢复电路26和ISP28的一些或所有的功能可以在诸如数字信号处理器的可编程处理器上的软件中实现。这种软件可以以电子形式被下载到处理器上，或者可选地，该软件可以配在有形介质上，例如光、磁或电子存储介质。
图2是示意性地示出了根据本发明的实施方式的恢复电路26的功能组件的框图。典型地，这些功能组件在单一的定制的或半定制的集成电路设备中形成在一起。可选地，图2中所示的功能可以被分在多个组件中，这些组件可以在硬件或软件中实现这些功能。在图2所示的示例性实施方式中，电路26通过去卷积滤波执行图像恢复，以在子图像被ISP28组合为单一颜色输出图像之前减少子图像的模糊。由电路26在子图像上执行的其它图像恢复功能包括尖峰去除和噪声滤波。可选地或另外地，电路26可以被配置用于仅实现这些恢复功能中的一个或两个，或者用于在马赛克子图像的空间中实现附加的数字滤波功能。
绿平衡单元40对用于可能的幅值变化的绿-红(Gr)和绿-蓝(Gb)像素值进行平衡。Gr和Gb是指分别出现在RGRGRG...行和GBGBGB...行中的绿像素。下面题为“绿平衡”的部分对单元40的详细操作进行了描述。
绿平衡图像数据保存在输入模糊拜耳(Input Blurred Bayer)(IBB)缓冲器42中。结构扩展单元44向缓冲器增加虚拟像素的行和列，以保证对真实图像边缘的像素进行正确地处理。缓冲器42的组织和内容以及单元44的操作将参照图3在下文中描述。
尖峰去除单元46识别并更正缺陷像素的值，以便防止来自这些像素的噪声传播进入经处理的图像。尖峰去除操作将参照图4在下文中描述。
边缘检测单元48基于自适应阈值50来确定每个子图像中边缘像素的位置。然后，加宽单元52应用形态学运算以产生包含边缘区域的输出边缘掩码(OEM)。例如，该掩码在边缘区域中的像素值可以是“1”，而在其它区域中是“0”。为了避免边缘信息的损失，电路26控制对这些边缘区域施加噪声抑制。这些边缘识别功能参照图5在下文中进行描述。
拟动力噪声滤波器54用来减少每个子图像中的噪声，从而产生IBB更改(IBBM)的像素值。滤波器54的操作参照图6在下文中描述。然后，选择器56基于由单元52提供的OEM的相应值来选取每个像素的合适值，以传到去卷积滤波器60。选择器选择非边缘像素的IBBM值和边缘区域像素的未更改的IBB原始值(IBBO)，其中IBBO值是从IBB缓冲器42直接获取的。为了维持像素流中IBBO和IBBM的适当同步，IBBO的值由延迟线58延迟。
去卷积滤波器(DCF)60单独地对每个子图像执行去模糊操作。为了“抵消”光学器件的像差影响，滤波器60通常采用与光学器件22的点扩散函数(PSF)大致相反的核。用于计算这种去卷积核的方法在例如上述的WO2004/063989A2中，以及在2006年3月31日提交的美国专利申请11/278,255中进行了描述，该美国专利申请已转让给本专利申请的受让人并且其公开内容通过引入而并入本文。可选地，不管是用于去模糊还是用于本领域公知的其它图像处理功能，滤波器60都可以采用其他类型的滤波核。典型地，对该核进行掩模，以使得尽管输入像素流中的子图像交叉，但是每个子图像相对于其它子图像被独立地滤波。示例性的掩模图案如图8A和8B所示。
在很多相机中，光学器件的PSF在相机的整个视场上不均匀。这样，例如在相机20中，图像传感器24的不同区域可以属于不同的PSF轮廓。因此，为了使去模糊最优化，DCF选择器62对图像的不同部分的像素应用不同的滤波核。在下文中参照图7对这种滤波核的示例性排列进行了描述。在经滤波器60处理后，然后去模糊的子图像被输出到ISP28。
绿平衡
这部分将更详细地描述绿平衡单元40的操作。理论上，传感器元件对应于Gr-类型和Gb-类型绿像素的光敏感度应该相等，但实际上，由于设计和制造误差，该敏感度可能不同。对敏感度不同的修正失败会导致在输出图像中的固定图案的伪影(artifact)。因此，电路40用修正因子乘以Gr或Gb像素值(或两者)。
为了确定修正因子，假定绿色子图像的连续行中的像素值的平均值(以及由此所得的总和)相等。总和由电路40计算并分别由绿红总和以及绿蓝总和表示。总和的商给出了修正因子f：
Figure A200680050359D00181
Figure A200680050359D00182
为了避免产生弱光条件下(其中所包含的值接近于0)的伪影，电路40只有在绿红总和以及绿蓝总和超过某些最小阈值时才计算f。此外，
Figure A200680050359D0019084421QIETU
限于一定预期范围内的绿不平衡，例如-1/32≤ε≤1/32。像素Gb的值通过将它们乘以f来进行修正。
Gb-输出＝Gb*f       (3)
这些修正的值在随后的计算中取代原始Gb像素值。可选地，该修正因子可以被计算并应用于Gr像素值来代替，或者分开来修正Gb和Gr。
Gr和Gb像素的敏感度变化在传感器24的区域内可能是不均匀的。这种情况下，电路40可以响应于敏感度的不均匀变化对图像区域应用变量值f。
取景和缓冲
在绿平衡以后，像素被插入输入模糊拜耳(IBB)缓冲器42中。假定电路26在“匆忙地”运行中，处理像素值由传感器24输出，并且滤波器60使用包含L行(例如L＝15)的值的核，缓冲器42可以被设计用于保存L个完整行的输入像素值。当每个新行被读入缓冲器中时，最老的行从该缓冲器移除。附加的虚拟像素的行和列被添加到真实图像帧的上、下、左和右，以避免由于对图像边缘附近的滤波而产生的伪影。
图3是在由传感器24捕捉到的图像的上部边缘附近的、缓冲器42内容的一部分70的详细示图，说明了根据本发明的实施方式的用于对图像取景的方法。缓冲器中的行72包含的实际像素值，在行GBGB...和行RGRG...之间交替。下标1，2，3，4，....表示行数，在输入图像的上部边缘从行1开始。在输入图像的第一行上方，加入七个附加行的取景边缘76。这些附加行反映在实际输入框架的第一个两行中的像素值。在输入图像的下面和左面以及右面加入反映两个边缘行或列的类似边缘。
取景扩展单元44添加边缘76，以保证DCF60不将假(spurious)数据引入到传送至ISP28的输出像素值中。取景边缘的范围依赖于DCF核的尺寸。因此，如图3所示，对于L＝15，为了此目的需要7个取景行和列。可选地，可以使用不同尺寸的核和取景边缘。边缘检测单元48可以在取景边缘76的行中找到假边，并且滤波器60可以将取景边缘的内容同之前框架的较低取景边缘中的像素进行卷积，但是这些操作不会影响行72中的真实像素数据。(如果需要，为了避免OEM中的伪造边缘从取景边缘进入真实像素数据的框架，可以根据边缘检测单元48和加宽单元52所使用的核，使用附加的取景行和/或列。)
取景边缘的行和列中的像素值只在电路26内部使用。这些像素值在滤波器60完成其操作后就被放弃而且并不传到ISP28。
尖峰去除
如在上面提及的WO 2004/063989A2和美国专利申请11/278,255中所说明的那样，在电路26的一些应用中，光学器件22具有相对低的质量并在图像传感器24上产生模糊的图像。换句话说，光学器件的PSF在多个相邻像素上延伸，并且该光学器件起到一种低通的空间滤波器的作用。因此，图像传感器24中的每个检测器元件均感应从图像场景的区域中收集的光，该图像场景的区域同相邻检测器元件的感应区域是交迭的。因此，输入图像中的边缘和其它局部变化被平滑了，从而使得给定像素值在物理上不可能与相同颜色的相邻像素值相差太大。光学器件的PSF能够用来确定阈值，以使得必须是由于图像传感器中的噪声或缺陷，才会导致像素值与相同颜色的相邻像素的值的差别大于该阈值。
图4根据本发明的实施方式，尖峰去除单元46所使用的用于识别和修正缺陷像素的掩模90的示意图。对于像素p(i，j)，尖峰去除单元考虑相同颜色的相邻像素92，即，当前像素的上面或下面两行像素以及左面或右面两列像素，如图所示。(因此，典型地，Gr和Gb像素被分别考虑，虽然为了尖峰去除的目的，两种绿像素类型可能被交替地组合。如上所述，对于图像框架边缘的像素，尖峰去除单元可以只考虑落在掩模90中的真实像素的值，而不考虑边缘76的镜像值。)对于每个输入像素值p(i，j)，尖峰去除单元确定输出像素值的公式如
Figure A200680050359D00211
方程(4)
换句话说，如果p(i，j)的值大于其相同颜色的相邻像素的最大值(如由掩模90提供)的量超过正阈值(threshold+)，那么其值由这些相邻像素的最大值加上正阈值来代替。类似地，如果p(i，j)的值小于其相同颜色的相邻像素的最小值的量超过负阈值(threshold-)，那么其值由这些相邻像素的最小值减去负阈值来代替。阈值可以基于相机的光学性质和/或图像的类型(表明是否预期在像素值中存在高度局部化(highly-localized)的背离)来计算，或者该阈值可以根据其它标准来探索式地设定。由于单元46的作用，比相邻的其它像素亮很多或暗很多的像素被消除了，使得其不会进一步与其相邻像素偏离所允许的范围。
边缘检测和加宽
边缘检测单元48可以采用任何合适的核来检测输入图像中的边缘位置。为了计算简单，发明人发现在边缘检测核中，只包括与边缘计算中的当前像素在相同的行或列中的像素是有利的。可选地，该核也可以包括对角元素。下文中描述了一些示例性的核和边缘检测程序。在对于可能保留在OEM的边缘区域中的残余噪声的边缘锐化进行折衷时，核的最优化选择取决于图像的内容和用户参数。可选地，单元48可以采用本领域已知的其它边缘检测方法。
如以上所述的那样，单元48应用的边缘检测方法使用自适应阈值50，该阈值在下面的描述中称为“边缘阈值”。该阈值通常基于被处理图像的光条件来计算。这些条件可以在电路26内部基于平均像素值来测量。可选地，阈值可以基于由ISP28自动计算并输出的颜色增益参数来计算。例如，该阈值可以当成颜色增益或其它亮度参数的加权和来计算。可以选取加权系数以提供边缘锐化对残留噪声所需的折衷。
模式1-简单梯度边缘检测器
这种边缘检测器在具有高分辨率的像素p(i，j)附近检测边缘。下面公式中的像素根据图4中的图解进行标记，并且梯度值计算如下：
dx-1＝|p(i，j)-p(i-2，j)|
dx+1＝|p(i，j)-p(i+2，j)|             (5)
dy-1＝|p(i，j)-p(i，j-2)|
dy+1＝|p(i，j)-p(i，j+2)|
当像素p(i，j)在边缘时，输出到加宽单元52的边缘值e(i，j)为1，否则为0，因此如果任意一个梯度值大于阈值，即，如果任意一个下面不等式的值为真，则e(i，j)＝1：
模式2-复杂梯度边缘检测器
该边缘检测器为在高分辨率和具有最小化错误检测的良好阶跃检测之间的折衷。在这个例子中，梯度值通过给定为：
dx-1＝p(i-2，j)-p(i，j)     gx-1＝p(i-4，j)-p(i-2，j)
dx+1＝p(i+2，j)-p(i，j)     gx+1＝p(i+4，j)-p(i+2，j)     (7)
dy-1＝p(i，j-2)-p(i，j)     gy-1＝p(i，j-4)-p(i，j-2)
dy+1＝p(i，j+2)-p(i，j)     gy+1＝p(i，j+4)-p(i，j+2)
如果下面不等式中任意一个的值为真，则边缘值e(i，j)设定为1：
Figure A200680050359D00231
模式3-阶跃边缘检测器
这种边缘检测方法检测阶跃边缘。其采用边缘阶跃参数、其值通常设定为2的边缘阶跃。本方法的操作如下：
计算delta_minus1_x＝|p(i-3*边缘阶跃，j)-p(i-边缘阶跃，j)|
计算delta_null_x＝|p(i-边缘阶跃，j)-p(i+边缘阶跃，j)|
计算delta_plus1_x＝|p(i+3*边缘阶跃，j)-p(i+边缘阶跃，j)|
计算delta_minus1_y＝|p(i，j-3*边缘阶跃)-p(i，j-边缘阶跃)|
计算delta_null_y＝|p(i，j-边缘阶跃)-p(i，j+边缘阶跃)|
计算delta_plus1_y＝|p(i，j+3*边缘阶跃)-p(i，j+边缘阶跃)|
如果以下两个条件都满足，则边缘值e(i，j)设定为1：
delta-null_y-max(delta_minus1_y，delta_plus1_y)>边缘阈值或
delta_null_x-max(delta_minus1_x，delta_plus1_x)>边缘阈值
注意在这个例子中，e(i，j)的值不依赖于像素p(i，j)的实际强度。
边缘加宽
图5是根据本发明的实施方式，由加宽单元52使用的掩模100的示意图。边缘检测单元48输出边缘图E(x，y)，该边缘图包含为每个像素确定的边缘值e(i，j)。加宽单元采用掩模100对边缘图施加形态学膨胀操作，其表示为W(x，y)。该加宽步骤的输出为OEM：
OEM ( x , y ) = E ( x , y ) ⊕ W ( x , y ) - - - ( 9 )
如上所述，该OEM被作为转换输入应用到选择器56。
施加到边缘的加宽程度取决于掩模参数W1。在图5所示的例子中，W1＝3。换句话说，如果在掩模100中心处的给定像素102被边缘检测单元48识别为边缘位置(e(i，j)＝1)，则该像素及掩模区域中的周围像素104在OEM中接收值的为“1”。经发现，将该边缘加宽扩展到不同颜色，即，属于不同子图像(不像在颜色特定的电路26中执行的其它数字滤波方法)，是有利的。W1的值可以根据应用需求和用户参数(取决于将被从低通噪声滤波中保护的边缘区域的期望宽度)来选取。
噪声滤波器
噪声滤波器54使用这样一种核，即，该核利用相同颜色的相邻像素的值来对当前像素值进行平均，例如图4中的像素92。滤波器按下式确定输出像素值：
p ~ ( i , j ) = Σ a = - 2,0,2 Σ b = - 2,0,2 v ( i + a , j + b ) ·p ( i + a , j + b ) - - - ( 10 )
这里，v(i，j)是(i，j)滤波核系数的值，而p(i，j)是输入像素值。在下面的描述中，滤波核v(i，j)的中心元件表示为vc；滤波器的周边元件v(i±2，j)和v(i，j±2)表示为vp；并且滤波器的角元件v(i±2，j±2)表示为vf。
图6是示意性地说明根据本发明的实施方式，用于由滤波器54施加的拟动力噪声滤波的方法的流程图。该方法的目的在于，当滤波器不加选择地在像素值中具有变化梯度的图像区域上进行操作时，避免图像分辨率和对比度的下降。为了这个目的，滤波器54在微分计算步骤110计算在每个像素上局部方向的微分。该微分可以如下计算：
Δv＝|p(i，j-2)-p(i，j+2)|
Δh＝|p(i-2，j)-p(i+2，j)|                   (11)
Δd1＝|p(i-2，j-2)-p(i+2，j+2)|
Δd2＝|p(i-2，j+2)-p(i+2，j-2)|
(垂直微分项Δv不应该与核系数v(i，j)混淆。)
然后，滤波器54基于方向微分的大小，在核选择步骤112选取合适的核。为了此目的，对所计算的值Δv、Δh同垂直/水平阈值thvh进行比较，并且将Δd1、Δd2的值同对角阈值thd比较：
●如果Δv>thvh，则v(i，j±2)不参与噪声去除，并且相应的vp值为0。
●如果Δh>thvh，则v(i±2，j)不参与噪声去除，并且相应的vp值为0。
●如果Δd1>thd，则v(i+2，j+2)和v(i-2，j-2)不参与噪声去除，并且相应的vf值为0。
●如果Δd2>thd，则v(i-2，j+2)和v(i+2，j-2)不参与噪声去除，并且相应的vf值为0。
滤波器54选择满足上述条件的用于每个像素的核。可以用于该目的的示例性的一组9个滤波核列在下文的附录A中。本领域技术人员应该了解，也可以类似地使用其它噪声去除核(动态或静态的)。
为了在滤波步骤114中产生用于每个像素的输出像素值
Figure A200680050359D0025102657QIETU
，滤波器54将所选择的核应用到与每个像素相邻的输入像素值。
去卷积滤波
图7是根据本发明的实施方式，由选择器56应用到输入到DCF60的像素值的DCF核122的组120的示意图。在本例中，假定具有1600 x 1200像素的输入图像被分为192个部分，每部分具有100 x 100个像素。DCF60根据图像相应位置的局部PSF，将不同的核122(表示为K0，K1，...，K32)应用到每个部分。因为光学器件22的圆对称性，假定PSF变化在图像平面上也是对称的，因此在该配置中只需要存储和使用33个不同的核。中心区域124均使用同一组的21个核，而周边区域126使用另一组的12个核。可选地，为了分配核，图像区域可以被分成更大或更小的部分，或者可以将一个单独的核应用到整个图像。
附加地或可选地，根据由相机20捕捉到的图像(以及因此的输入子图像)的特性，DCF选择器62可以在运行中改变滤波核的组。例如，根据图像的照明水平、图像内容的类型或其它因素，DCF选择器可以选择不同的滤波核。
图8A和8B是示出了根据本发明的实施方式、由DCF60所应用的核掩模130和140的各自布局的示意图。每个掩模表示各自的颜色的像素，即，属于15 x 15的像素掩模范围中的特定子图像的像素。掩模130适用于绿像素，而掩模140适用于红和蓝像素。因此，当由掩模130覆盖的中心像素132是绿色时，阴影像素134表示在中心像素周围的15 x 15个像素附近的其它绿像素。当由掩模140覆盖的中心像素132是红或蓝时，阴影像素134表示在相邻像素中的其它红或蓝像素。
对于输入图像中的每个像素，DCF60为该像素所处的区域122选择合适的15 x 15的核，然后根据当前像素的颜色使用掩模130或140对该核进行掩模。在每种情况下，只有适当掩模的阴影像素134参与DCF操作。非阴影像素的系数被设定为0。因此，每个像素值只与属于相同子图像(即，相同颜色的像素)的像素值卷积。如上所述，待卷积的像素值由选择器56选择，选择器56在边缘区域选择由延迟线58输出的IBBO值，并在非边缘区域选择噪声降低的IBBM值。
如先前所述的那样，可以选择由DCF60应用的核的系数，以响应于光学器件22的不完美PSF而对输出图像进行去模糊。该核可以根据像平面中当前像素的位置和诸如图像距离的其它因素而变化。可以选择光学器件和DCF核以提供特定的图像增强功能，例如增加相机20的有效景深。可选地，具有交替地施加在不同颜色的子图像上的不同滤波操作的DCF60设置，可以用来在马赛克颜色空间中实现多种其它的图像增强功能。
因此，应该理解，上面描述的实施方式通过示例的方式进行说明，而本发明不限于上文中所已具体示出和说明的内容。相反，本发明的范围包括上文中所描述特性的组合和次组合，也包括本领域技术人员在阅读前述现有技术没有公开的描述的基础上进行的变化和修改。
附录A-噪声去除滤波核
下表示例性地示出了在不同边缘条件下噪声滤波器的系数值。在每个滤波器中所有系数的总和为1，使得在滤波之后平均像素值不会改变。在下面的例子中，清晰地写出了用于滤波器54中可能的核的所有系数值。可选地，可以只明确地给出一些系数的值，而其它的根据总和为1这个条件来推断。为了简化，可以假定中心系数vc等于1减去所有用在特定核中的其它系数的和。
 
中心滤波器值vc   非0周边vp滤波器值  非0核滤波器值  条件
1 0.375 0.125 0.03125 Δv≤thvh和Δh≤thvh和Δd1≤thd和Δd2≤thd
2 0.375 0.1875 0.0625 [(Δv>thvh和Δh≤thvh)或(Δv≤thvh和Δh>thvh)]和Δd1≤hd和Δd2≤thd                         
3 0.625 - 0.09375 (Δv>thvh和Δh>thvh)和Δd1≤thd和Δd2≤thd
4 0.375 0.125 0.0625 (Δv≤thvh和Δh≤thvh)和[(Δd1>thd和Δd2≤thd)或(Δd1≤thd和Δd2>thd)]
5 0.5 0.185 0.0625 [(Δv>thvh和Δh≤thvh)或(Δv≤thvh和Δh>thvh)]和(Δd1>thd和Δd2≤thd)或(Δd1≤thd和Δd2>thd)                                       
6 0.75 - 0.125 (Δv>thvh和Δh>thvh)和[(Δd1>thd和Δd2≤thd)或(Δd1≤thd和Δd2>thd)]
7 0.5 0.125 - (Δv≤thvh和Δh≤thvh)和(Δd1>thd和Δd2>thd)
8 0.5 0.25 - [(Δv>thvh和Δh≤thvh)或(Δv≤thvh和Δh>thvh)]和(Δd1>thd和Δd2>thd)                        
9 1.0 - - 其它

Claims (38)

1.一种成像设备，包括：
马赛克图像传感器，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自颜色的光；
图像恢复电路，其被耦合用于对所述输入子图像中的每一个的输入像素值进行接收并数字滤波，从而产生相应的多个增强的输出子图像；以及
图像信号处理器(ISP)，其被耦合用于接收并组合所述多个输出子图像，以产生彩色视频输出图像。
2.如权利要求1所述的设备，其中所述输入子图像和所述输出子图像具有相同的格式，从而使得所述ISP可以被耦合用于接收和组合所述输出子图像或所述输入子图像。
3.如权利要求2所述的设备，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述输出子图像包括输出像素值，所述图像恢复电路使所述输出像素值根据所述预定的交叉图案在输出像素流中交叉。
4.如权利要求1所述的设备，其中每个子图像均具有输入模糊，并且所述输出子图像具有输出模糊，在由所述图像恢复电路滤波后，所述输出模糊比所述输入模糊小。
5.如权利要求4所述的设备，还包括物镜系统，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF)，并且所述图像恢复电路包括去卷积滤波器(DCF)，所述DCF具有根据所述PSF确定的滤波核。
6.如权利要求5所述的设备，其中所述PSF在所述图像传感器的平面上变化，并且所述图像恢复电路被布置用于响应于所述图像传感器的平面上的所述PSF的变化，将不同的滤波核施加到来自所述图像传感器的不同区域的输入像素值。
7.如权利要求5所述的设备，其中所述图像恢复电路被布置用于根据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。
8.如权利要求1-7中的任意一项所述的设备，其中所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。
9.如权利要求8所述的设备，其中所述输入像素值包括绿和蓝像素交替的第一行以及绿和红像素交替的第二行，并且所述图像恢复电路包括绿平衡单元，所述绿平衡单元被耦合用于补偿在所述第一行和所述第二行之间的绿像素的敏感度的变化。
10.如权利要求9所述的设备，其中所述敏感度的变化在所述图像传感器的区域上是不均匀的，并且所述绿平衡单元被布置用于响应于所述敏感度的不均匀变化而施加不均匀的补偿。
11.如权利要求1-7中的任意一项所述的设备，还包括物镜系统，所述物镜系统被配置用于以预定的模糊程度将所述光聚焦到所述马赛克图像传感器上，其中所述图像恢复电路包括尖峰去除单元，所述尖峰去除单元识别缺陷像素，所述缺陷像素的输入像素值与在所述输入子图像中的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且所述尖峰去除单元修正所述缺陷像素的输入像素值。
12.如权利要求1-7中的任意一项所述的设备，其中所述图像恢复电路包括噪声滤波器，所述噪声滤波器被布置用于对输入子图像中的每一个进行数字滤波以便减少所述子图像中的噪声。
13.如权利要求12所述的设备，其中所述噪声滤波器被布置用于确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少所述噪声的滤波核。
14.如权利要求12所述的设备，其中所述图像恢复电路包括去卷积滤波器(DCF)，所述DCF被布置用于在所述噪声由所述噪声滤波器减少后对所述输入子图像进行滤波。
15.如权利要求14所述的设备，其中所述图像恢复电路包括边缘检测器，所述边缘检测器被布置用于在所述输入图像中识别边缘区域，并且用于控制所述DCF的输入，以使得所述DCF在所述边缘区域中接收没有噪声滤波的输入像素值，而在所述边缘区域外从所述噪声滤波器接收噪声减少的输入像素值。
16.如权利要求15所述的设备，其中所述边缘检测器被布置用于检测边缘像素，并且所述图像恢复电路包括加宽单元，所述加宽单元被布置用于通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。
17.如权利要求16所述的设备，其中所述加宽单元被布置用于从所述边缘检测器接收在所述子图像的第一个中的边缘像素的识别，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素相邻的像素。
18.如权利要求1-7中的任意一项所述的设备，其中所述图像恢复电路包括数字滤波器和取景扩展单元，其中，所述数字滤波器被布置用于将所述输入子图像同给定尺寸的核进行卷积，所述取景扩展单元被布置用于在所述输入子图像周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。
19.如权利要求1-7中的任意一项所述的设备，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述图像恢复电路包括数字滤波器，所述数字滤波器被布置用于将所述输入子图像中的每一个同各自的核进行卷积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。
20.一种用于成像的方法，包括：
从马赛克图像传感器接收属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自的颜色的光；
对所述输入子图像的每一个中的输入像素值进行数字滤波，从而产生相应的多个增强的输出子图像；以及
在图像信号处理器(ISP)中组合所述输出子图像，以便产生彩色视频输出图像。
21.如权利要求20所述的方法，其中所述输入子图像和所述输出子图像具有相同的格式，从而使得所述ISP可以被耦合用于接收和组合所述输出子图像或所述输入子图像。
22.如权利要求21所述的方法，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且对所述输入像素值进行数字滤波包括根据所述预定的交叉图案，将输出像素流中的所述输出子图像的输出像素值交叉。
23.如权利要求20所述的方法，其中每个子图像均具有输入模糊，并且对所述输入像素值的数字滤波包括在所述输入子图像的每一个中处理所述输入像素值，从而使得所述输出子图像具有比所述输入模糊小的输出模糊。
24.如权利要求23所述的方法，所述光由物镜系统聚焦到所述马赛克图像传感器上，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF)，并且对所述输入像素值的处理包括将去卷积滤波器(DCF)应用到所述输入子图像的每一个中的输入像素值，所述DCF具有根据所述PSF确定的滤波核。
25.如权利要求24所述的方法，其中所述PSF在所述图像传感器的平面上变化，并且应用所述DCF包括响应于所述PSF在所述图像传感器的所述平面上的变化，将不同的滤波核应用到来自所述图像传感器的不同区域的输入像素值。
26.如权利要求24所述的方法，其中应用所述DCF包括根据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。
27.如权利要求20-26中的任意一项所述的方法，其中所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。
28.如权利要求27所述的方法，其中所述输入像素值包括绿像素和蓝像素交替的第一行以及绿像素和红像素交替的第二行，并且包括在对所述输入像素值进行数字滤波前，处理所述输入像素值以补偿所述第一行和所述第二行之间绿像素的敏感度的变化。
29.如权利要求27所述的方法，其中所述敏感度的变化在所述图像传感器的区域上是不均匀的，并且处理所述输入像素值包括响应于所述敏感度的不均匀变化而施加不均匀的补偿。
30.如权利要求20-26中的任意一项所述的方法，所述光由具有预定的模糊程度的物镜系统聚焦到所述马赛克图像传感器上，并且包括识别缺陷像素，所述缺陷像素的输入像素值与所述输入子图像的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且包括修正所述缺陷像素的输入像素值。
31.如权利要求20-26中的任意一项所述的方法，其中对输入像素值进行数字滤波包括，处理所述输入子图像中的每一个以便减少所述子图像中的噪声。
32.如权利要求31所述的方法，其中处理所述输入子图像中的每一个包括，确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少噪声的滤波核。
33.如权利要求31所述的方法，其中对所述输入像素值进行数字滤波包括，在处理所述输入子图像中的每一个以减少噪声后，应用去卷积滤波器(DCF)来对所述输入子图像进行滤波。
34.如权利要求33所述的方法，其中应用所述DCF包括，在所述输入图像中识别边缘区域，并控制所述DCF的输入，以使得在所述边缘区域中，所述DCF接收没有经减少噪声的处理的输入像素值，并且在边缘区域外，所述DCF接收在减少噪声的处理后的噪声减少的输入像素值。
35.如权利要求34所述的方法，识别所述边缘区域包括，检测边缘像素，并且通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。
36.如权利要求35所述的方法，其中加宽所述边缘区域包括，在所述子图像的第一个中检测边缘像素，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素边缘区域相邻的在至少第二个子图像中的像素。。
37.如权利要求20-26中的任意一项所述的方法，其中对所述输入像素值进行数字滤波包括，将所述输入子图像同给定尺寸的核进行卷积，并且包括在对所述输入像素值进行数字滤波前，在所述输入子图像的周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。
38.如权利要求20-26中的任意一项所述的方法，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且对所述输入像素值进行数字滤波包括，将所述输入子图像中的每一个同各自的核进行卷积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。
CN2006800503593A 2005-11-10 2006-11-07 马赛克域中的图像增强 Active CN101490694B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US73552005P 2005-11-10 2005-11-10
US60/735,520 2005-11-10
PCT/IL2006/001284 WO2007054931A2 (en) 2005-11-10 2006-11-07 Image enhancement in the mosaic domain

Publications (2)

Publication Number Publication Date
CN101490694A true CN101490694A (zh) 2009-07-22
CN101490694B CN101490694B (zh) 2012-06-13

Family

ID=38023662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800503593A Active CN101490694B (zh) 2005-11-10 2006-11-07 马赛克域中的图像增强

Country Status (6)

Country Link
US (1) US8115840B2 (zh)
EP (1) EP1958151B1 (zh)
JP (1) JP5155871B2 (zh)
KR (1) KR101292458B1 (zh)
CN (1) CN101490694B (zh)
WO (1) WO2007054931A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387294A (zh) * 2010-08-26 2012-03-21 富士胶片株式会社 摄像模块以及图像信号处理方法
CN102404580A (zh) * 2010-09-16 2012-04-04 富士胶片株式会社 图像拾取装置和修复增益数据产生方法
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备
CN111835944A (zh) * 2019-04-18 2020-10-27 耐能智慧股份有限公司 图像处理系统
CN112424794A (zh) * 2018-07-11 2021-02-26 索迪欧有限公司 使用马赛克图像传感器检测高分辨率的机器可读标签
CN112424794B (zh) * 2018-07-11 2024-06-07 索迪欧有限公司 使用马赛克图像传感器检测高分辨率的机器可读标签

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
WO2008087627A2 (en) * 2007-01-16 2008-07-24 D-Blur Technologies Passing embedded data through a digital image processor
US7830428B2 (en) * 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
US7876363B2 (en) * 2007-04-19 2011-01-25 Aptina Imaging Corporation Methods, systems and apparatuses for high-quality green imbalance compensation in images
EP2162863B1 (en) * 2007-06-05 2014-07-30 DigitalOptics Corporation International Non-linear transformations for enhancement of images
US8351730B2 (en) 2007-09-19 2013-01-08 Thomson Licensing System and method for scaling images
US8310587B2 (en) * 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
JP5095860B2 (ja) * 2008-06-19 2012-12-12 マーベル ワールド トレード リミテッド 分離エッジ強調アーキテクチャ
KR100992362B1 (ko) * 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치
US8687911B2 (en) * 2009-06-24 2014-04-01 Nokia Corporation Adaptive method for processing digital images, and an image processing device
US20110044554A1 (en) * 2009-08-21 2011-02-24 Konica Minolta Systems Laboratory, Inc. Adaptive deblurring for camera-based document image processing
US20110085729A1 (en) * 2009-10-12 2011-04-14 Miaohong Shi De-noising method and related apparatus for image sensor
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
WO2011049565A1 (en) * 2009-10-21 2011-04-28 Hewlett-Packard Development Company, L.P. Real-time video deblurring
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置
JP5564977B2 (ja) * 2010-02-22 2014-08-06 ソニー株式会社 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
KR101667798B1 (ko) * 2010-03-29 2016-10-20 삼성전자 주식회사 영상 처리 장치 및 이의 영상 처리 방법
KR101665137B1 (ko) 2010-04-07 2016-10-12 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
CN102860012B (zh) * 2010-04-21 2015-06-03 佳能株式会社 图像处理装置及图像处理方法
JP4931266B2 (ja) * 2010-08-27 2012-05-16 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
JP5935237B2 (ja) * 2011-03-24 2016-06-15 ソニー株式会社 固体撮像装置および電子機器
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
JP2013083925A (ja) * 2011-09-29 2013-05-09 Canon Inc 撮像装置及びその制御方法
US8867844B2 (en) * 2012-02-01 2014-10-21 Sharp Laboratories Of America, Inc. Edge based template matching
JP6049358B2 (ja) * 2012-08-31 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101463194B1 (ko) * 2013-05-09 2014-11-21 한국과학기술원 이미지 블러 제거 장치 및 방법
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
KR102192674B1 (ko) * 2014-06-26 2020-12-17 삼성전자 주식회사 이미지 처리 장치 및 방법
CN107534733B (zh) * 2015-04-23 2019-12-20 富士胶片株式会社 摄像装置、该摄像装置的图像处理方法及介质
US10600151B2 (en) * 2015-06-05 2020-03-24 Apple Inc. Automatic determination of a region of influence
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
US11483481B2 (en) * 2017-10-19 2022-10-25 Sony Corporation Electronic instrument
WO2020176007A1 (en) * 2019-02-27 2020-09-03 Huawei Technologies Co., Ltd. An image processing apparatus and method
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
KR20210097448A (ko) 2020-01-30 2021-08-09 삼성전자주식회사 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
CN113269701B (zh) * 2021-05-08 2024-04-26 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
US20230144311A1 (en) * 2021-11-10 2023-05-11 Ati Technologies Ulc Detecting and mitigating artifacts related to high chromatic colors

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4697208A (en) 1985-06-13 1987-09-29 Olympus Optical Co., Ltd. Color image pickup device with complementary color type mosaic filter and gamma compensation means
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6900838B1 (en) * 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US6933970B2 (en) * 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
JP4234420B2 (ja) * 2000-07-06 2009-03-04 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク データ解像度を増す方法および装置
EP1223554A1 (fr) * 2000-11-28 2002-07-17 Koninklijke Philips Electronics N.V. Méthode de réduction de bruit
EP1326416A1 (en) 2002-01-03 2003-07-09 Fujifilm Electronic Imaging Limited Compensation of lens field curvature
JP3958603B2 (ja) * 2002-02-21 2007-08-15 オリンパス株式会社 電子内視鏡システム及び電子内視鏡システム用の信号処理装置
US7135698B2 (en) 2002-12-05 2006-11-14 Lockheed Martin Corporation Multi-spectral infrared super-pixel photodetector and imager
KR20050107741A (ko) * 2003-01-16 2005-11-15 디-블러 테크놀로지즈 리미티드 이미지 인해스먼트 기능을 가진 카메라
US20070236573A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Combined design of optical and image processing elements
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
JPWO2005013622A1 (ja) * 2003-06-30 2006-09-28 株式会社ニコン 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2005027182A (ja) 2003-07-04 2005-01-27 Star Micronics Co Ltd エレクトレットコンデンサマイクロホン
US7269295B2 (en) * 2003-07-31 2007-09-11 Hewlett-Packard Development Company, L.P. Digital image processing methods, digital image devices, and articles of manufacture
KR20050073189A (ko) * 2004-01-09 2005-07-13 삼성전자주식회사 이미지 스캐닝 방법 및 장치
JPWO2005069216A1 (ja) * 2004-01-15 2010-02-25 松下電器産業株式会社 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7643062B2 (en) * 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
US20070236574A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Digital filtering with noise gain limit
US20070239417A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Camera performance simulation
EP2069851A4 (en) * 2006-09-14 2010-02-24 Tessera Tech Hungary Kft IMAGING SYSTEM WITH ASSOUPLY ASSEMBLED TOLERANCES AND ASSOCIATED METHODS
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387294A (zh) * 2010-08-26 2012-03-21 富士胶片株式会社 摄像模块以及图像信号处理方法
CN102387294B (zh) * 2010-08-26 2016-09-21 富士胶片株式会社 摄像模块以及图像信号处理方法
CN102404580A (zh) * 2010-09-16 2012-04-04 富士胶片株式会社 图像拾取装置和修复增益数据产生方法
CN102404580B (zh) * 2010-09-16 2015-04-29 富士胶片株式会社 图像拾取装置和修复增益数据产生方法
CN112424794A (zh) * 2018-07-11 2021-02-26 索迪欧有限公司 使用马赛克图像传感器检测高分辨率的机器可读标签
CN112424794B (zh) * 2018-07-11 2024-06-07 索迪欧有限公司 使用马赛克图像传感器检测高分辨率的机器可读标签
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备
CN111835944A (zh) * 2019-04-18 2020-10-27 耐能智慧股份有限公司 图像处理系统
CN111835944B (zh) * 2019-04-18 2021-08-13 耐能智慧股份有限公司 图像处理系统

Also Published As

Publication number Publication date
EP1958151A4 (en) 2009-11-11
KR20080075515A (ko) 2008-08-18
EP1958151B1 (en) 2014-07-30
KR101292458B1 (ko) 2013-07-31
WO2007054931A2 (en) 2007-05-18
CN101490694B (zh) 2012-06-13
JP5155871B2 (ja) 2013-03-06
EP1958151A2 (en) 2008-08-20
US8115840B2 (en) 2012-02-14
WO2007054931A3 (en) 2008-12-31
JP2009516256A (ja) 2009-04-16
US20090147111A1 (en) 2009-06-11

Similar Documents

Publication Publication Date Title
CN101490694B (zh) 马赛克域中的图像增强
TWI407800B (zh) 馬賽克影像的改良處理
CN101326808B (zh) 提供噪声降低同时保留成像器边缘的方法及设备
CN102959958B (zh) 彩色成像设备
CN105025278B (zh) 具有缩放滤波器阵列和像素内装仓的图像传感器
CN101272503B (zh) 一种保持图像清晰度的网格噪声消除方法及其装置
CN104429056B (zh) 图像处理方法、图像处理装置、摄像装置及图像处理程序
CN103974044A (zh) 镶嵌图像处理方法
US8913842B2 (en) Image smoothing method based on content-dependent filtering
WO2007070464A1 (en) Method and apparatus for image noise reduction
CN106298822A (zh) 用于减少色彩混叠的彩色滤光器阵列及图像传感器
CN113676629B (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
WO2007130503A2 (en) Method and apparatus providing adaptive noise suppression
CN101646090B (zh) 亮度信号生成设备、亮度信号生成方法和摄像设备
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
US8036483B2 (en) Couplet correction in image sensors
EP3973696B1 (en) Color filter array apparatus
TWI419079B (zh) 於馬賽克域之影像加強
CN100367315C (zh) 信号处理方法和设备以及摄影机
CN110324541A (zh) 一种滤波联合去噪插值方法及装置
CN100463030C (zh) 等离子显示装置及其图像处理方法
IL191290A (en) Image enhancement in the mosaic domain
WO2022262997A1 (en) A device and method for creating a high-dynamic range colour image
CN107786858A (zh) 一种基于空间频率抑制伪色的方法、装置及电子设备
JP2005532002A (ja) 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、および、カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DESARA INTERNATIONAL CO., LTD.

Free format text: FORMER OWNER: DI- BULER TECHNOLOGY CO., LTD.

Effective date: 20100122

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20100122

Address after: American California

Applicant after: Tessera International Inc.

Address before: Israel herzliyya

Applicant before: Blur Technologies Ltd D.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: DIGITALOPTICS INTERNATIONAL CORPORATION

Free format text: FORMER NAME: TESSERA INTERNATIONAL INC.

CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Tessera International Inc.

Address before: American California

Patentee before: Tessera International Inc.