CN1835599A - 处理拜耳模式彩色数字图像信号的方法和设备 - Google Patents

处理拜耳模式彩色数字图像信号的方法和设备 Download PDF

Info

Publication number
CN1835599A
CN1835599A CNA2006100711742A CN200610071174A CN1835599A CN 1835599 A CN1835599 A CN 1835599A CN A2006100711742 A CNA2006100711742 A CN A2006100711742A CN 200610071174 A CN200610071174 A CN 200610071174A CN 1835599 A CN1835599 A CN 1835599A
Authority
CN
China
Prior art keywords
pixel
defect
defect information
defective
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006100711742A
Other languages
English (en)
Inventor
赵铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1835599A publication Critical patent/CN1835599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种处理bayer模式彩色数字图像信号的方法和设备。该设备包括：第一缺陷检测器，用于从输入图像数据中生成要被处理的第一像素的第一缺陷信息；第二缺陷检测器，用于从输入图像数据中生成第一像素的第二缺陷信息和水平与垂直梯度；和校正器，用于根据水平和垂直梯度，采用第一和第二缺陷信息，对第一像素中的中心点缺陷、细线缺陷或者边缘缺陷补偿，以输出校正后的图像数据。

Description

处理拜耳模式彩色数字图像信号的方法和设备
技术领域
本发明涉及一种处理数字图像信号的设备，更具体地说，涉及一种处理由固态图像传感装置产生的bayer(拜耳)模式彩色数字图像信号的方法和设备。
背景技术
图1是传统固态图像传感装置100的方框图。参看图1，传统固态图像传感装置100包括互补金属氧化物半导体(CMOS)图像传感器/电荷耦合器件(CIS/CCD)有源像素传感器(APS)阵列110，行驱动器120和模-数转换器(ADC)130。该传统固态图像传感装置100进一步包括产生定时控制信号以控制行驱动器120和模-数转换器130的控制器(未图示)，该控制器还产生地址信号以选择APS阵列110的每个像素和输出由APS阵列110感应到的图像信号。
在彩色固态图像传感装置中，至少三种彩色滤光器设置在APS阵列110的每个像素上方以接收彩色光作为颜色信号。如图2所示，彩色滤光器阵列包括bayer模式，其中红(R)和绿(G)色的2颜色图案重复设置在一行，而绿(G)和蓝(B)色的2颜色图案重复设置在相邻的一行。这里，与亮度信号紧密相关的绿色(G)设置在所有的行上，而红色(R)和蓝色(B)交替设置在每行，以此来提高亮度分辨率。
在包含具有这种bayer模式像素结构的APS阵列110的固态图像传感装置100中，APS阵列110采用光二极管感应光，并将光转换成电信号，并且产生图像信号。从APS阵列110输出的图像信号是具有红(R)、绿(G)和蓝(B)颜色的模拟图像信号。然后模-数转换器(ADC)130从APS阵列110接收模拟图像信号，并将模拟图像信号转换为数字图像信号。
图3是传统图像信号处理系统300的方框图。参看图3，传统图像信号处理系统300包括固态图像传感装置310，图像信号处理器320和显示装置330。图像信号处理器320处理从固态图像传感装置310输出的具有红(R)、绿(G)、蓝(B)颜色的数字图像信号，并输出处理后的数字图像信号到显示装置330如液晶显示器(LCD)。
当图像采用由固态图像传感装置310产生的像素数据显示时，图像可能失真，图像的视觉质量可能恶化。然而，通过使用图像信号处理器320，由固态图像传感装置310产生的像素数据被内插值，然后输出到显示装置330，从而改善了图像的视觉质量。
然而，因为在图像信号处理系统例如移动电话照相机、数字静止照相机等中使用的bayer模式APS阵列的输出可能遭受失真，如混叠、彩色莫阿条纹(color moire)、模糊、误/假彩色效应等等，因此，存在对一种能够通过使用bayer模式APS阵列减小图像信号处理系统中失真的设备和方法的需求。
发明内容
本发明提供了一种处理bayer模式彩色数字图像信号以通过显示装置显示高质量图像的设备和一种校正bayer模式彩色数字图像信号的方法。
依据本发明的一方面，提供一种处理图像信号的方法，包括：从输入图像数据中生成要被处理的第一像素的第一缺陷信息；从输入图像数据中生成第一像素的第二缺陷信息和水平与垂直的梯度；采用第一和第二缺陷信息根据水平与垂直的梯度补偿在第一像素中的中心点缺陷、细线缺陷或者边缘缺陷；根据补偿的结果输出校正后的图像数据。
第一缺陷信息可能是表示第一像素和相邻第一像素的像素之间的差的差值，其中该相邻像素具有和第一像素相同的颜色。水平梯度可能是在水平方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的行的一条线上和在第一象素的行之上或之下的线上具有和第一像素相同的颜色，垂直梯度可能是在垂直方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的列的一条线上和在第一象素的列之左或之右侧的线上具有和第一像素相同的颜色，和第二缺陷信息可包括第一像素和两个像素之间的差，其中该两个像素在水平和垂直梯度中较小的方向上具有与第一像素相同的颜色。
对第一像素的中心点缺陷、细线缺陷或者边缘缺陷的补偿可以包括：采用第一和第二缺陷信息，根据水平和垂直梯度，分类和输出第一像素的第一、第二和第三补偿类信号；响应第一补偿类信号对细线缺陷补偿；响应第二补偿类信号对中心点缺陷补偿；或者响应第三补偿类信号对边缘缺陷补偿。
当补偿细线缺陷时，邻近第一像素的图像可处于复杂区域中，并被补偿；当补偿中心点缺陷和边缘缺陷时，邻近第一像素的图像可处于平坦区域中，并被补偿。
分类和输出第一像素的第一、第二和第三补偿类信号可以包括：如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度大于第二阈值，则激活第一补偿类信号对细线缺陷补偿；如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度之一小于第二阈值，则激活第二补偿类信号对中心点缺陷补偿；而如果第一缺陷信息的差的绝对值之一小于第一阈值，并且水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则激活第三补偿类信号对边缘缺陷补偿。
如果水平和垂直梯度之一小于第二阈值，则生成第二缺陷信息。
该方法可以进一步包括：如果第一缺陷信息的差的绝对值大于第一阈值，则当第一缺陷信息的差为正数时判定产生了白色缺陷，或者当第一缺陷信息的差为负数时判定产生了黑色缺陷；如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则当第二缺陷信息的差为正数时判定产生了白色缺陷，或者当第二缺陷信息的差为负数时判定产生了黑色缺陷。
该方法可以进一步包括：通过对白色缺陷用水平和垂直梯度中较小的方向上的线性平均替换第一像素的数据，并且通过对黑色缺陷用水平和垂直梯度中较小的方向上具有相同颜色的最小像素值替换第一像素的数据，补偿中心点缺陷和边缘缺陷；和通过对白色缺陷用交叉第一像素的四线平均的最大值替换第一像素的数据，并且通过对黑色缺陷用四线平均的最小值替换第一像素的数据，补偿细线缺陷。
每个四线平均(four line means)是被水平线、垂直线和第一、第二对角线之一交叉的具有与第一像素相同颜色的两个像素的平均，其中该平均不包括第一像素。八个像素可能与第一像素相邻。输入图像数据可能是bayer模式彩色数字图像信号。
根据本发明的另一方面，提供一种处理图像信号的设备，包括：第一缺陷检测器，用于从输入图像数据中生成要被处理的第一像素的第一缺陷信息；第二缺陷检测器，用于从输入图像数据中生成第一像素的第二缺陷信息和水平与垂直梯度；和校正器，用于根据水平和垂直梯度，采用第一和第二缺陷信息，对第一像素中的中心点缺陷、细线缺陷或者边缘缺陷补偿，以输出校正后的图像数据。
该第一缺陷信息可以包括表示第一像素和相邻第一像素的像素之间的差的差值，其中相邻像素具有与第一像素相同的颜色。
水平梯度是在水平方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的行的一条线上和在第一象素的行之上或之下的线上具有和第一像素相同的颜色，垂直梯度是在垂直方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的列的一条线上和在第一象素的列之左或之右侧的线上具有和第一像素相同的颜色，和第二缺陷信息包括表示中央像素和两个像素之间的差的差值，其中该两个像素在水平和垂直梯度中较小的方向上具有和第一像素相同的颜色。
校正器包含：缺陷分类器，采用第一和第二缺陷信息，根据水平和垂直梯度，生成第一像素的第一、第二和第三补偿类信号；缺陷补偿器，响应第一补偿类信号在复杂区域内对细线缺陷补偿，响应第二补偿类信号在平坦区域内对中心点缺陷补偿，并且响应第三补偿类信号在平坦区域内对边缘缺陷补偿。
缺陷补偿器包含：第一补偿器，响应第一补偿类信号对第一像素内的细线缺陷补偿；和第二补偿器，响应第二和第三补偿类信号对第一像素内的中心点缺陷和边缘缺陷补偿。
如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度大于第二阈值，则缺陷分类器激活第一补偿类信号对细线缺陷补偿；如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度之一小于第二阈值，则缺陷分类器激活第二补偿类信号对中心点缺陷补偿；如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则缺陷分类器激活第三补偿类信号对边缘缺陷补偿。
如果水平和垂直梯度之一小于第二阈值，则第二缺陷检测器生成第二缺陷信息。
校正器也包括多路复用器，该多路复用器接收第一补偿器的输出和第二补偿器的输出，并选择性地输出第一或第二补偿器的输出作为校正后的图像数据。
如果第一缺陷信息的差的绝对值大于第一阈值，则当第一缺陷信息的差为正数时，缺陷补偿器判定产生了白色缺陷，或者当第一缺陷信息的差为负数时，判定产生了黑色缺陷；如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则当第二缺陷信息的差为正数时，缺陷补偿器判定产生了白色缺陷，或者当第二缺陷信息的差为负数时判定产生了黑色缺陷。
缺陷补偿器通过对白色缺陷用水平和垂直梯度中较小的方向上的线性平均替换第一像素的数据，并且通过对黑色缺陷用水平和垂直梯度中较小的方向上具有相同颜色的最小像素值替换第一像素的数据，补偿中心点缺陷和边缘缺陷；并且通过对白色缺陷用交叉第一像素的四线平均的最大值和对黑色缺陷用四线平均的最小值、替换第一像素的数据，补偿细线缺陷。
每个四线平均是被水平线、垂直线和第一、第二对角线之一交叉的具有与第一像素相同颜色的两个像素的平均，其中该平均不包括第一像素。八个像素可能与第一像素相邻。输入图像数据可能是bayer模式彩色数字图像信号。
附图说明
通过参考附图对示例性实施例进行详细描述，本发明的上述特征和其它特征将变得更加清楚，附图中：
图1是传统固态图像传感装置的方框图；
图2图示bayer模式像素阵列；
图3是传统图像信号处理系统的方框图；
图4是根据本发明示例性实施例的图像信号处理设备的方框图；
图5是图4中所示的校正器的方框图；
图6是说明图4所示图像信号处理设备的操作的流程图；
图7表示中央像素G和相邻像素之间的差；
图8表示中央像素R和相邻像素之间的差；
图9表示像素数据的水平梯度；和
图10表示像素数据的垂直梯度。
具体实施方式
在下文中将参照附图详细说明本发明的示例性实施例。附图中相同的参考标记表示相同的元件。
图4是根据本发明示例性实施例的图像信号处理设备400的方框图。参看图4，图像信号处理设备400包括第一缺陷检测器410、第二缺陷检测器420和校正器430。
图像信号处理设备400可以使用在图像信号处理系统，如移动电话相机、数字静止照相机等中。图像信号处理设备400可以处理由采用CIS/CCD阵列的固态图像传感装置输出的数字图像数据(例如红、绿和蓝色信号)，并补偿数字图像数据的信号失真以显示高质量图像。
如图4所示，第一缺陷检测器410从输入数字图像数据中生成要被处理的中央像素的第一缺陷信息DFT1。输入数字图像数据可以是从固态图像传感装置输出的bayer模式红、绿和蓝数字数据。
第二缺陷检测器420从输入数字图像数据中生成中央像素的第二缺陷信息DFT2、水平梯度GH和垂直梯度GV。
校正器430采用第一和第二缺陷信息DFT1和DFT2根据水平和垂直的梯度GH和GV补偿中心点缺陷、细线缺陷和边缘缺陷，以输出校正后的图像数据(例如校正后的红色、绿色和蓝色信号)。
本领域普通技术人员要理解的是，中心点缺陷是指存在于中心点，例如，图像平坦区域的中央像素中的缺陷。细线缺陷是指存在于图像复杂区域的细线中的缺陷，而边缘缺陷是指存在于图像平坦区域的陡峭线中的缺陷。本领域普通技术人员要进一步理解的是，复杂区域指颜色基本上改变的图像区域，而平坦区域指颜色基本上没有改变的图像区域。
图5是图4所示校正器430的方框图。参看图5，校正器430包括缺陷分类器431、缺陷补偿器432和多路复用器435。
缺陷分类器431采用第一和第二缺陷信息DFT1和DFT2，根据水平和垂直梯度GH和GV生成中央像素的第一、第二和第三补偿类信号CLASS1、CLASS2和CLASS3。
缺陷补偿器432包括第一和第二补偿器433和434。第一补偿器433响应第一补偿类信号CLASS 1补偿中央像素内的细线缺陷，以输出校正的图像数据到多路复用器435。第二补偿器434响应第二和第三补偿类信号CLASS2和CLASS3，补偿中央像素内的中心点缺陷和边缘缺陷，以输出校正的图像数据到多路复用器435。
当在第一补偿器433中补偿细线缺陷时，要被处理的中央像素的附近被确认作为图像的复杂区域，并且输入数字图像数据被处理成适用于该复杂区域以减小输入数字图像数据的失真。当在第二补偿器434补偿中心点缺陷和边缘缺陷时，中央像素的附近被确认作为图像的平坦区域，并且输入数字图像数据被处理成适用于该平坦范围，以减小输入数字图像数据的失真。
正如下面参考图4-10将更详细描述的，中心点缺陷和边缘缺陷基本上是使用相同的方法通过第二校正器434进行校正的。
如图5所示，缺陷分类器431控制多路复用器435以选择地输出第一或第二补偿器433或434的输出。例如，当第一补偿类信号CLASS1被激活时，多路复用器435选择第一补偿器433的输出；而当第二或第三补偿类信号CLASS2或CLASS3被激活时，多路复用器435选择第二补偿器434的输出。
现在将通过参考图4-10更为详细地描述图像信号处理设备400的操作。
图6是表示图像信号处理设备400的操作的流程图。参看图6，在S11的操作中，图像信号处理设备400接收5×5窗口数据。该5×5窗口数据是例如在图2中所示的bayer模式数字数据，并且图像信号处理设备400移动要被处理的中央像素至少一个像素，以为该5×5窗口数据的每个中央像素R、G或B生成校正的图像数据。
相邻中央像素的5×5窗口数据的例子示于图7和8。例如，图7表示邻近要被处理的中央像素G的5×5窗口数据，而图8表示邻近要被处理的中央像素R的5×5窗口数据。邻近要被处理的中央像素B(未显示)的5×5窗口数据根据与中央像素R和G相同的方法接收。
回过参看图6，在S12操作中，第一缺陷检测器410从5×5窗口数据中生成要被处理的中央像素的第一缺陷信息DFT1。该第一缺陷信息DFT1包括表示中央像素和与该中央像素具有相同颜色的8个相邻像素之间差的差值。例如，如图7所示，中央像素G的第一缺陷信息DFT1是“P22-P02”、“P22-P13”、“P22-P24”、“P22-P33”、“P22-P42”、“P22-P31”、“P22-P20”和“P22-P11”。如图8所示，中央像素R的第一缺陷信息DFT1是“P22-P02”、“P22-P04”、“P22-P24”、“P22-P44”、“P22-P42”、“P22-P40”、“P22-P20”和“P22-P00”。中央像素B(未显示)的第一缺陷信息DFT1采用与中央像素R相同的方法计算。
在S13操作中，作出关于第一缺陷信息DFT1的差的绝对值是否大于第一阈值THR的判定。如果判断第一缺陷信息DFT1的差的绝对值大于第一阈值THR，在S20操作中，补偿中心点缺陷，或在S19操作中，补偿细线缺陷。如果判定第一缺陷信息DFT1的差的一些绝对值不大于第一阈值THR，在S16操作中，判断缺陷不存在，或者在S23操作中，补偿边缘缺陷。校正器430执行上述判定。
在S14操作中，第二缺陷检测器420从5×5窗口数据中生成中央像素的水平和垂直梯度GH和GV。
图9表示水平梯度GH。如图9所示，水平梯度GH是在水平方向上与中央像素G相邻的像素之间的差的绝对值的和，其中该相邻像素在沿中央像素G的行的一条线上和在中央像素G的行之上或之下的线上具有和中央像素G相同的颜色。参看图9，水平梯度GH能够以等式1所示来表示：GH＝|P10-P12|+|P12-P14|+|P11-P13|+|P21-P23|+|P30-P32|+|P32-P34|+|P31-P33|
                                                                 (1)
图10表示垂直梯度GV。如图10所示，垂直梯度是在垂直方向上与中央像素R相邻的像素之间的差的绝对值的和，其中该相邻像素在沿中央像素R的列的一条线上和在中央像素R的列之左或之右侧的线上具有和中央像素R相同的颜色。参看图10，垂直梯度GV能够以等式2所示来表示：GV＝|P01-P21|+|P21-P41|+|P11-P31|+|P12-P32|+|P03-P23|+|P23-P43|+|P13-P33|
                                                                 (2)
回过来参看图6，在S15操作中，第二缺陷检测器420将水平和垂直梯度GH和GV与第二阈值THRG比较。如果至少水平和垂直梯度GH和GV其中之一小于第二阈值THRG，那么在S21操作中，生成第二缺陷信息DFT2。该第二缺陷信息DFT2包括表示中央像素和位于水平和垂直梯度中较小的方向上与中央像素具有相同颜色的两个像素之间的差的两个差值。如果水平和垂直梯度GH和GV大于第二阈值THRG，则在S16操作中，判定没有产生缺陷。
因此，如果第一缺陷信息DFT1的差的绝对值大于第一阈值THR，那么在S 17操作中，校正器430的缺陷分类器431对水平和垂直梯度GH和GV与第二阈值THRG进行比较。在S18操作中，缺陷分类器431判定水平和垂直梯度GH和GV是否大于第二阈值THRG。
如果缺陷分类器431在S18操作中判定水平和垂直梯度GH和GV大于第二阈值THRG，则在S19操作中，缺陷分类器431激活第一补偿类信号CLASS1以补偿细线缺陷。如果水平和垂直梯度GH和GV中至少一个小于第二阈值THRG，则在S20操作中，缺陷分类器431激活第二补偿类信号CLASS2以补偿中心点缺陷。
如果在S12操作中生成的第一缺陷信息DFT1的差的绝对值中至少一个小于第一阈值THR，且水平和垂直梯度GH和GV中至少一个小于第二阈值THRG，则在S22操作中，缺陷分类器431对在S21操作中生成的第二缺陷信息DFT2的差的两个绝对值和第一阈值THR进行比较。
如果第二缺陷信息DFT2的两个绝对值中至少一个小于第一阈值THR，在S16操作中，判定缺陷不存在。如果第二缺陷信息DFT2的两个绝对值大于第一阈值THR，缺陷分类器431就激活第三补偿类信号CLASS3以补偿边缘缺陷。
校正器430的第一补偿器433响应第一补偿类信号CLASS 1对中央像素内的细线缺陷补偿，以输出校正的图像数据。校正器430的第二补偿器434响应第二和第三补偿类信号CLASS2和CLASS3，对中央像素内的中心点缺陷和边缘缺陷补偿，以输出校正的图像数据。
为了补偿细线缺陷和边缘缺陷，如果在操作S12中生成的第一缺陷信息DFT1的差的绝对值大于第一阈值THR，当第一缺陷信息DFT1的差值为正数时，第一和第二补偿器433和434判定出现白色缺陷，或者当第一缺陷信息DFT1的差值为负数时，判定出现黑色缺陷。
为了补偿边缘缺陷，如果第一缺陷信息DFT1的差的绝对值中至少一个小于第一阈值THR，水平和垂直梯度GH和GV中至少一个小于第二阈值THRG，且第二缺陷信息DFT2的两个绝对值大于第一阈值THR，当第二缺陷信息DFT2的两个差值为正数时，第一和第二缺陷补偿器433和434判定白色缺陷出现，或者当第二缺陷信息DFT2的两个差值为负数时，判定黑色缺陷出现。
为了补偿在邻近中央像素的复杂区域中的细线缺陷，对于白色缺陷，第一补偿器433替换交叉中央像素的四线平均的最大值作为中央像素的数据。对于黑色缺陷，第一补偿器433替换四线平均的最小值作为中央像素的数据。
每个四线平均是至少两个与中央像素具有相同颜色的像素的平均。该平均不包括被每个水平线、垂直线和第一、第二对角线交叉的中央像素R、G或B。例如，参看图9，中央像素G的水平线平均是P20和P24的平均。中央像素G的垂直线平均是P02和P42的平均。
仍然参看图9，中央像素G的第一对角线平均是如图9所示的P11和P33的平均，且中央像素R和/或B的第一对角线平均是如图10所示的P00和P44的平均。中央像素G的第二对角线平均是如图9所示的P13和P31的平均，且中央像素R和/或B的第二对角线平均是如图10所示的P04和P40的平均。
为了补偿在邻近中央像素的平坦区域中的中心点缺陷和边缘缺陷，对于白色缺陷，第二补偿器434用在(水平或垂直)方向上的线平均替换中央像素的数据，在该方向上水平和垂直梯度GH和GV之一是较小的。对于黑色缺陷，第二补偿器434用在该(水平或垂直)方向上具有与中央像素相同颜色的最小像素值替换中央像素的数据。
如上所述，在根据本发明示例性实施例的图像信号处理设备440中，第一缺陷检测器410从输入数字图像数据中生成要被处理的中央像素的第一缺陷信息DFT1，而第二缺陷检测器420从输入数字图像数据中生成中央像素的第二缺陷信息DFT2、水平梯度GH和垂直梯度GV。然后校正器430采用第一和第二缺陷信息DFT1和DFT2，根据水平和垂直的梯度GH和GV，补偿中心点缺陷、细线缺陷和边缘缺陷。
如上所述，根据本发明示例性实施例的处理bayer模式彩色数字图像信号的设备可以应用到如数字静止相机、移动电话照相机等的系统，来检测bayer模式彩色数字图像信号的缺陷，并且补偿该bayer模式彩色数字图像信号。其结果是，图形失真(alias)、彩色莫阿条纹、图像模糊、错误的/假的彩色效应等能被最小化，以改善图像信号处理系统的视觉质量。
虽然本发明通过参考其示例性实施例已经进行了具体显示和描述，但是本领域普通技术人员会理解，在不脱离如权利要求所限定的本发明的范围和精神的情况下，可对其作出各种形式和细节上的变化。

Claims (25)

1.一种处理图像信号的方法，包括：
从输入图像数据中生成要被处理的第一像素的第一缺陷信息；
从输入图像数据中生成第一像素的第二缺陷信息和水平与垂直梯度；
采用第一和第二缺陷信息，根据水平与垂直的梯度，补偿在第一像素中的中心点缺陷、细线缺陷或者边缘缺陷；
根据补偿的结果输出校正后的图像数据。
2.如权利要求1所述的方法，其中：第一缺陷信息包括表示第一像素和相邻第一像素的像素之间的差的差值，其中该相邻像素具有和第一像素相同的颜色。
3.如权利要求2所述的方法，其中：
水平梯度是在水平方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的行的一条线上和在第一象素的行之上或之下的线上具有和第一像素相同的颜色，
垂直梯度是在垂直方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的列的一条线上和在第一象素的列之左或之右侧的线上具有和第一像素相同的颜色，和
第二缺陷信息包括第一像素和两个像素之间的差，其中该两个像素在水平和垂直梯度中较小的方向上具有与第一像素相同的颜色。
4.如权利要求3所述的方法，其中：对第一像素的中心点缺陷、细线缺陷或者边缘缺陷的补偿包括：
采用第一和第二缺陷信息，根据水平和垂直梯度，分类和输出第一像素的第一、第二和第三补偿类信号；
响应第一补偿类信号对细线缺陷补偿；
响应第二补偿类信号对中心点缺陷补偿；和
响应第三补偿类信号对边缘缺陷补偿。
5.如权利要求4所述的方法，其中：当补偿细线缺陷时，邻近第一像素的图像处于复杂区域中，并被补偿；当补偿中心点缺陷和边缘缺陷时，邻近第一像素的图像处于平坦区域中，并被补偿。
6.如权利要求4所述的方法，其中：分类和输出第一像素的第一、第二和第三补偿类信号包括：
如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度大于第二阈值，则激活第一补偿类信号对细线缺陷补偿；
如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度之一小于第二阈值，则激活第二补偿类信号对中心点缺陷补偿；和
如果第一缺陷信息的差的绝对值之一小于第一阈值，并且水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则激活第三补偿类信号对边缘缺陷补偿。
7.如权利要求6所述的方法，其中：如果水平和垂直梯度之一小于第二阈值，则生成第二缺陷信息。
8.如权利要求4所述的方法，进一步包括：
如果第一缺陷信息的差的绝对值大于第一阈值，则当第一缺陷信息的差为正数时判定产生了白色缺陷，或者当第一缺陷信息的差为负数时判定产生了黑色缺陷；
如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则当第二缺陷信息的差为正数时判定产生了白色缺陷，或者当第二缺陷信息的差为负数时判定产生了黑色缺陷。
9.如权利要求8所述的方法，进一步包括：
通过对白色缺陷用水平和垂直梯度中较小的方向上的线性平均替换第一像素的数据，并且通过对黑色缺陷用水平和垂直梯度中较小的方向上具有相同颜色的最小像素值替换第一像素的数据，补偿中心点缺陷和边缘缺陷；和
通过对白色缺陷用交叉第一像素的四线平均的最大值和对黑色缺陷用四线平均的最小值、替换第一像素的数据，补偿细线缺陷。
10.如权利要求9所述的方法，其中：每个四线平均是被水平线、垂直线和第一、第二对角线之一交叉的具有与第一像素相同颜色的两个像素的平均，其中该平均不包括第一像素。
11.如权利要求2所述的方法，其中八个像素与第一像素相邻。
12.如权利要求1所述的方法，其中输入图像数据是拜耳模式彩色数字图像信号。
13.一种处理图像信号的设备，包括：
第一缺陷检测器，用于从输入图像数据中生成要被处理的第一像素的第一缺陷信息；
第二缺陷检测器，用于从输入图像数据中生成第一像素的第二缺陷信息和水平与垂直梯度；
校正器，用于根据水平和垂直梯度，采用第一和第二缺陷信息，对第一像素中的中心点缺陷、细线缺陷或者边缘缺陷补偿，以输出校正后的图像数据。
14.如权利要求13所述的设备，其中：该第一缺陷信息包括表示第一像素和相邻第一像素的像素之间的差的差值，其中相邻像素具有与第一像素相同的颜色。
15.如权利要求14所述的设备，其中：
水平梯度是在水平方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的行的一条线上和在第一象素的行之上或之下的线上具有和第一像素相同的颜色，
垂直梯度是在垂直方向上与第一像素相邻的像素之间的差的绝对值的和，其中该相邻像素在沿第一像素的列的一条线上和在第一象素的列之左或之右侧的线上具有和第一像素相同的颜色，和
第二缺陷信息包括表示中央像素和两个像素之间的差的差值，其中该两个像素在水平和垂直梯度中较小的方向上具有和第一像素相同的颜色。
16.如权利要求15所述的设备，其中校正器包含：
缺陷分类器，采用第一和第二缺陷信息，根据水平和垂直梯度，生成第一像素的第一、第二和第三补偿类信号；
缺陷补偿器，响应第一补偿类信号在复杂区域内对细线缺陷补偿，响应第二补偿类信号在平坦区域内对中心点缺陷补偿，并且响应第三补偿类信号在平坦区域内对边缘缺陷补偿。
17.如权利要求16所述的设备，其中缺陷补偿器包含：
第一补偿器，响应第一补偿类信号对第一像素内的细线缺陷补偿；和
第二补偿器，响应第二和第三补偿类信号对第一像素内的中心点缺陷和边缘缺陷补偿。
18.如权利要求17所述的设备，其中：如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度大于第二阈值，则缺陷分类器激活第一补偿类信号对细线缺陷补偿；如果第一缺陷信息的差的绝对值大于第一阈值，并且水平和垂直梯度之一小于第二阈值，则缺陷分类器激活第二补偿类信号对中心点缺陷补偿；如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则缺陷分类器激活第三补偿类信号对边缘缺陷补偿。
19.如权利要求18所述的设备，其中：如果水平和垂直梯度之一小于第二阈值，则第二缺陷检测器生成第二缺陷信息。
20.如权利要求17所述的设备，其中校正器还包括：
多路复用器，接收第一补偿器的输出和第二补偿器的输出，并选择性地输出第一或第二补偿器的输出作为校正后的图像数据。
21.如权利要求16所述的设备，其中如果第一缺陷信息的差的绝对值大于第一阈值，则当第一缺陷信息的差为正数时，缺陷补偿器判定产生了白色缺陷，或者当第一缺陷信息的差为负数时，判定产生了黑色缺陷；
如果第一缺陷信息的差的绝对值之一小于第一阈值，水平和垂直梯度之一小于第二阈值，并且第二缺陷信息的绝对值大于第一阈值，则当第二缺陷信息的两个差为正数时，缺陷补偿器判定产生了白色缺陷，或者当第二缺陷信息的两个差为负数时判定产生了黑色缺陷。
22.如权利要求21所述的设备，其中：缺陷补偿器通过对白色缺陷用水平和垂直梯度中较小的方向上的线性平均替换第一像素的数据，并且通过对黑色缺陷用水平和垂直梯度中较小的方向上具有相同颜色的最小像素值替换第一像素的数据，补偿中心点缺陷和边缘缺陷；并且通过对白色缺陷用交叉第一像素的四线平均的最大值和对黑色缺陷用四线平均的最小值、替换第一像素的数据，补偿细线缺陷。
23.如权利要求22所述的设备，其中：每个四线平均是被水平线、垂直线和第一、第二对角线之一交叉的具有与第一像素相同颜色的两个像素的平均，其中该平均不包括第一像素。
24.如权利要求14所述的设备，其中：八个像素与第一像素相邻。
25.如权利要求13所述的设备，其中：输入图像数据是拜耳模式彩色数字图像信号。
CNA2006100711742A 2005-02-07 2006-02-07 处理拜耳模式彩色数字图像信号的方法和设备 Pending CN1835599A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050011443A KR100699834B1 (ko) 2005-02-07 2005-02-07 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
KR1020050011443 2005-02-07

Publications (1)

Publication Number Publication Date
CN1835599A true CN1835599A (zh) 2006-09-20

Family

ID=37003171

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100711742A Pending CN1835599A (zh) 2005-02-07 2006-02-07 处理拜耳模式彩色数字图像信号的方法和设备

Country Status (3)

Country Link
US (1) US20060233439A1 (zh)
KR (1) KR100699834B1 (zh)
CN (1) CN1835599A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588447B (zh) * 2008-05-23 2011-04-20 比亚迪股份有限公司 一种图像坏点的校正方法、系统及图像传感器
CN102055917A (zh) * 2009-11-02 2011-05-11 索尼公司 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序
CN101754027B (zh) * 2008-12-02 2011-09-14 华晶科技股份有限公司 图像补偿方法及其数字摄像装置
CN102844788A (zh) * 2010-03-31 2012-12-26 佳能株式会社 图像处理装置及使用该图像处理装置的图像拾取装置
CN102970463A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
CN103297717A (zh) * 2012-02-22 2013-09-11 联咏科技股份有限公司 自适应图像处理方法及其相关装置
CN104717474A (zh) * 2013-12-16 2015-06-17 瑞昱半导体股份有限公司 图像处理方法与模块
CN105025795A (zh) * 2013-03-27 2015-11-04 株式会社日立医疗器械 图像处理装置、放射线摄影装置以及图像处理方法
CN105611195A (zh) * 2014-11-17 2016-05-25 三星电子株式会社 图像传感器、应用处理器和处理坏像素的方法
CN106504217A (zh) * 2016-11-29 2017-03-15 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106878635A (zh) * 2016-12-14 2017-06-20 中国资源卫星应用中心 一种无效像元的补偿方法
CN108234970A (zh) * 2018-01-04 2018-06-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN111432112A (zh) * 2019-01-10 2020-07-17 爱思开海力士有限公司 处理图像信号的方法、图像信号处理器和图像传感器芯片
CN116168020A (zh) * 2023-04-21 2023-05-26 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100826215B1 (ko) * 2006-07-25 2008-04-29 엠텍비젼 주식회사 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치
EP2026563A1 (en) * 2007-08-14 2009-02-18 Deutsche Thomson OHG System and method for detecting defective pixels
CN103380623B (zh) * 2011-02-21 2016-09-14 富士胶片株式会社 彩色图像拾取元件
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
US11589035B1 (en) 2022-01-18 2023-02-21 Apple Inc. Dynamic defect detection and correction for quadra image sensors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
KR100510532B1 (ko) * 2003-06-10 2005-08-26 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588447B (zh) * 2008-05-23 2011-04-20 比亚迪股份有限公司 一种图像坏点的校正方法、系统及图像传感器
CN101754027B (zh) * 2008-12-02 2011-09-14 华晶科技股份有限公司 图像补偿方法及其数字摄像装置
CN102055917A (zh) * 2009-11-02 2011-05-11 索尼公司 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序
CN102055917B (zh) * 2009-11-02 2013-07-10 索尼公司 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序
CN102844788A (zh) * 2010-03-31 2012-12-26 佳能株式会社 图像处理装置及使用该图像处理装置的图像拾取装置
US8941762B2 (en) 2010-03-31 2015-01-27 Canon Kabushiki Kaisha Image processing apparatus and image pickup apparatus using the same
CN102844788B (zh) * 2010-03-31 2016-02-10 佳能株式会社 图像处理装置及使用该图像处理装置的图像拾取装置
CN102970463A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
CN103297717A (zh) * 2012-02-22 2013-09-11 联咏科技股份有限公司 自适应图像处理方法及其相关装置
CN103297717B (zh) * 2012-02-22 2016-04-27 联咏科技股份有限公司 自适应图像处理方法及其相关装置
CN105025795A (zh) * 2013-03-27 2015-11-04 株式会社日立医疗器械 图像处理装置、放射线摄影装置以及图像处理方法
CN104717474A (zh) * 2013-12-16 2015-06-17 瑞昱半导体股份有限公司 图像处理方法与模块
CN105611195A (zh) * 2014-11-17 2016-05-25 三星电子株式会社 图像传感器、应用处理器和处理坏像素的方法
CN105611195B (zh) * 2014-11-17 2020-06-23 三星电子株式会社 图像传感器、应用处理器和处理坏像素的方法
CN106504217A (zh) * 2016-11-29 2017-03-15 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106504217B (zh) * 2016-11-29 2019-03-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106878635A (zh) * 2016-12-14 2017-06-20 中国资源卫星应用中心 一种无效像元的补偿方法
CN106878635B (zh) * 2016-12-14 2019-06-11 中国资源卫星应用中心 一种无效像元的补偿方法
CN108234970A (zh) * 2018-01-04 2018-06-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN108234970B (zh) * 2018-01-04 2021-05-21 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN111432112A (zh) * 2019-01-10 2020-07-17 爱思开海力士有限公司 处理图像信号的方法、图像信号处理器和图像传感器芯片
US11159722B2 (en) 2019-01-10 2021-10-26 SK Hynix Inc. Method for processing image signal, image signal processor, and image sensor chip
CN116168020A (zh) * 2023-04-21 2023-05-26 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法
CN116168020B (zh) * 2023-04-21 2023-08-25 纳琳科新材料(南通)有限公司 一种皮革缺陷检测方法

Also Published As

Publication number Publication date
US20060233439A1 (en) 2006-10-19
KR20060090507A (ko) 2006-08-11
KR100699834B1 (ko) 2007-03-27

Similar Documents

Publication Publication Date Title
CN1835599A (zh) 处理拜耳模式彩色数字图像信号的方法和设备
CN1086534C (zh) 图象传感设备
CN1278427C (zh) 固态图象读取装置及其驱动方法和摄像系统
CN1893618A (zh) 用于处理拜耳模式数字彩色视频信号的方法和装置
KR101011833B1 (ko) 고체 촬상 소자 및 그것을 이용한 촬상 장치
TWI442780B (zh) 固體攝像裝置，其彩色濾光片配置方法及畫像記錄裝置
CN1812595A (zh) 颜色插值算法
CN1320324A (zh) 数字图像轮廓增强方法和装置
CN1717003A (zh) 图像传感装置中具有更高显示质量的子采样
CN1655588A (zh) 一种对数字图像进行坏点补偿的方法
JP2013026672A (ja) 固体撮像装置及びカメラモジュール
WO2013046828A1 (ja) 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置
CN101080022A (zh) 成像设备
CN1258281C (zh) 可更换显示器的数字像机
JP2009100203A (ja) 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
EP1874034A3 (en) Apparatus and method of recovering high pixel image
CN104717474A (zh) 图像处理方法与模块
CN1398108A (zh) 画像信号处理装置
KR100841895B1 (ko) 이미지 센서 및 컬러 카메라
JP3755921B2 (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
CN104394391B (zh) 相机采集的点阵图像的图像数据处理方法和系统
CN1893548A (zh) 图像处理装置、图像处理方法和程序
CN1617350A (zh) 固态成像设备
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
JP4178250B2 (ja) 撮像素子用のカラーフィルターブロック

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20060920