CN101198965A - 图像传感器中的缺陷像素校正 - Google Patents
图像传感器中的缺陷像素校正 Download PDFInfo
- Publication number
- CN101198965A CN101198965A CNA200680013633XA CN200680013633A CN101198965A CN 101198965 A CN101198965 A CN 101198965A CN A200680013633X A CNA200680013633X A CN A200680013633XA CN 200680013633 A CN200680013633 A CN 200680013633A CN 101198965 A CN101198965 A CN 101198965A
- Authority
- CN
- China
- Prior art keywords
- value
- neighbor
- latent defect
- inferred
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 238000012937 correction Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims 4
- 230000002950 deficient Effects 0.000 abstract description 10
- 239000003086 colorant Substances 0.000 description 8
- 238000013461 design Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001604129 Polydactylus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
一种用于在图像传感器中的缺陷像素校正的方法和设备。该方法可以包括计算潜在缺陷像素的右相邻和左相邻像素值的推断值的中值。
Description
技术领域
本发明涉及图像传感器,特别地,涉及图像传感器中的缺陷像素的校正。
背景技术
固态图像传感器被广泛地应用于照相机系统中。某些照相机系统中的固态图像传感器由与开关和放大器件相连的光敏器件矩阵组成。该光敏器件可以是例如感光器、光敏二极管、光敏晶体管、CCD门或者类似的器件。每一个光敏器件接收所要拍摄场景的一部分的图像。光敏器件以及其附加的电子器件被称为图像元素或像素。光敏器件得到的图像产生一种指示该图像光强度的电信号。光敏器件的电信号通常为与落到该光敏器件上的电磁辐射(光)成比例的电流。
关于以CMOS或者MOS技术实现的图像传感器,具有无源像素的图像传感器和具有有源像素的图像传感器是有区别的。这两类像素结构之间的不同在于有源像素放大在其光敏元件上收集的电荷。无源像素不执行信号放大并且需要未集成于该像素中的电荷感应放大器。
图像传感器的一个较为重要的指标是整饰质量。传感器的图像应该是理想的没有瑕疵的。不幸的是,图像传感器技术并不完美。因为处理的不理想性,统计性等等,传感器阵列中的有限数量的像素会有缺陷或者产生明显偏离正确像素数值的信号。这样的缺点体现在图像上为白色或黑色或者灰色的点。这种类型的像素缺陷被称为独立的缺陷像素。从人的观察角度来看,这些像素相对于例如短暂噪声、轻微的固定图案或者非完美的色彩配准或者灰度值等其他的图像非完美性更加麻烦。
消除这些点的一种方法为在图像传感器的存储器中储存有缺陷的像素及其在图像中的位置的列表。在图像处理步骤中,孤立的像素值之后被例如储存在存储器中的周围像素的平均值所替代。该方法是可行的,但是缺点在于需要图像传感器中具有存储器,从而导致更大的硅元素面积以及额外的费用。而且,该方法不能处理间歇出现的或只是出现在特定情况下的孤立的像素值。一个很好的实例是一种所谓的暗电流像素。这种像素在传感器温度升高时出现,但是在温度较低时表现正常。
还提出了一些其他的消除孤立的像素缺陷的方法,例如,空间中值滤波器或者其他类型的卡尔曼(Kalman)滤波器可以被用来移除这种孤立的缺陷。不幸的是,这些滤波器同样会从图像中移除有用的细节。试想用有些缺陷像素为白色的图像传感器得到布满星星的天空的图像。上述提及的滤波器不能移除因为缺陷而得到的白点,从而留下一些并不是星星的白点。
在黑白传感器中用于校正孤立的缺陷像素的另一种常规手段在B.Dierickx,G.Meynants,″Missing pixel correction Algorithm for image sensors,″AFPAEC Euroopto/SPIE,Zurich 18-21 may 1998;proc.SPIE vol.3410,pp.200-203,1998和WO99/16238中有所描述。在其中描述了缺失像素校正算法,该算法本质上是基于从某像素的相邻像素的灰度值得出的该像素的灰度值的允许范围的预计的小型内核非线性滤波器。该算法的一个难点是它可能不适于使用马赛克(mosaic)彩色图像传感器,因为该算法可能不能够在缺陷像素和因为景象颜色而具有的背离响应的像素之间相区别。
在“原始”彩色图像传感器的图像中,每一个像素仅产生一种颜色的分量(红、绿或者蓝)。在彩色图像中为每一个像素产生所有颜色分量的处理是被称为去马赛克(demosaicing)的重建处理。在去马赛克处理中,缺陷像素中的颜色信息被以内插值替换以获得完整的彩色图像。常规的去马赛克处理的一个问题是缺陷像素的信息会蔓延从而在相邻像素中变成错误的颜色信息。
附图说明
本发明以实例来进行举例说明而并非加以限制,附图包括:
图1示出了在具有缺陷像素的彩色图像中的拜耳模型(Bayer pattem)设计的实例的顶视图;
图2示出了在图像传感器中校正缺陷像素的方法的一个实施例;
图3是参考图2讨论的方法的可效仿的实施例的概念示意图;
图4示出了图像传感器的一个实施例;
图5示出了图像传感器的另一个实施例;
图6示出了图像传感器的再一个实施例。
具体实施方式
在以下描述中,提出了许多具体的细节,如具体的命令、指定的元件、连接关系、帧的个数等等的实例,以便提供本发明的实施例的透彻理解。然而,本领域技术人员将很明显看出本发明的实施例可以在没有这些特殊细节的情况下得到实施。在其他实例中,公知的元件或者方法没有被详细描述而是以框图来描述以避免使本发明变得不够清楚。由此,提出的具体细节仅仅是可效仿的。所述具体细节可以在本发明的精神和范围之内改变并且仍然属于本发明的精神和范围之内。
后续的部分描述以对数据运算的算法和符号的表示法呈现,所述数据可以被存储在存储器中并且由处理器运算。这些算法描述和表示法是本领域技术人员用以有效转达他们工作的手段。算法通常被构思为导致期望结果的动作的有条理的序列。所述动作是量的那些需要的处理。通常,虽然不是必须的,但所述量表现为能够被存储、转移、合并、比较和其他处理的电或磁信号的形式。主要为共同使用的原因,已经证实的是有时将此类信号表示为比特、数值、元素、符号、特征、术语、数量、参数或类似的形式。
以下详细的描述包括将在以下被描述的算法。这些算法可以作为机器可执行指令由硬件(例如,模拟和/或数字)、软硬件结合或软件来执行,该算法可被用于使以该指令编程的通用目的或专用目的处理器执行此处描述的运算。作为选择地,所述运算可由硬件、软硬件结合和软件的组合来执行。此处使用的术语“耦合到”可以表示直接耦合或通过一个或多个插入元件间接耦合。此处描述的在不同总线上提供的任何信号可以与其他信号时间复用并且在一个或多个公共总线上被提供。另外,电路元件或组块之间的相互连接可以由总线或单独信号线表示。每一条总线可以有选地包括一个或多个单独信号线,并且每一条单独信号线可以有选择地为总线。在此使用的术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”和“第七”作为标签以区分不同像素并且除非特别指明,否则不具有依照其指定数字的次序含义。
描述了一种在图像传感器中用于缺陷像素校正的方法和设备。虽然有时以彩色图像传感器来讨论,但是在此讨论的方法和设备也能够被用于校正黑白图像中的缺陷像素。
彩色图像传感器(例如,以下参考图4讨论的图像传感器1000)可被用于采样色谱应用。在一个实施例中,CCD阵列被彩色滤光阵列覆盖,以便每一个像素仅采样一个颜色信道(例如,每个像素仅记录一种颜色而不是三种)。结果就是颜色采样的马赛克,即被提及的拜耳模型。所述拜耳模型设计导致像素矩阵的25%为红、25%为蓝以及50%为绿覆盖。值得注意的是虽然本发明的实施例有时参考拜耳模型来讨论,但是在此讨论的方法和发备可以适应使用不同的其他类型的彩色马赛克设计,例如,伪随机拜耳模型、3补色YeMaCy、混合的主/补色和4色系统,其中第四种颜色是白色或具有移动光谱灵敏度的颜色。
在图1中示出了拜耳模型设计的实施例。图1中示出的拜耳模型100的实施例包括红(R)、蓝(B)和绿(G)像素和缺陷像素110。由于处理的不完善、统计性等等,图像传感器(例如,图像传感器1000)中的有限个像素可能是有缺陷的或者产生显然偏离准确像素值的信号,如由缺陷像素110所示例的。缺陷像素110可以通过使用如下参考图2-3描述的方法而被校正。
图2示出了在图像传感器中校正潜在的缺陷像素的方法的一个实施例。图3是图2的步骤的概念图解,图3是关于在拜耳模型中利用在一条线(例如,图4中的行1022)上的7个连续的像素值的方法的可效仿的实施例。图3所示的内核200在行顺序上包括红色像素P[0]、绿色像素P[1]、红色像素P[2]、绿色像素P[3]、红色像素P[4]、绿色像素P[5]和红色像素P[6]。像素条的高度代表其彼此相对的像素值。
在此实施例中,所述方法可以包括从像素矩阵的行接收N个像素(“内核”)值的输出,并且选择其中一个像素值进行运算,即步骤210。为了便于讨论的目的,在该实施例中假设像素110是具有缺陷值305的缺陷像素。在步骤220中,使用在像素110左侧的两个相邻像素来产生像素110的第一推断值(A)。该推断值A可以通过使用在像素110(将被运算的像素)左侧的与像素110为不同颜色的两个相邻像素(例如,在图3的实施例中的左侧第一个相邻红色像素P[2]和左侧第二个相邻红色像素P[0])对像素值进行估计来确定。所述估计在图3中通过线310示出。因为红色像素P[2]和P[0]与将被运算的绿色像素110是不同颜色的,因此,所述估计是使用像素110左侧的与像素110颜色相同的相邻像素(例如,左侧第三相邻像素P[1])的颜色校正。在图3示出的实施例中,绿色像素P[1]的值被用于将线310向线320偏移,使线320与线310平行。被像素P[1]抵消的像素P[0]和P[2]的差值是推断值(A)。
在步骤230中,使用在像素110右侧相邻的与像素110颜色不同的两个像素(例如,在图3的实施例中的右侧第一个相邻的红色像素P[4]和右侧第二个相邻的红色像素P[6])来产生像素110的第二推断值(B)。这种估计在图3中通过线330示出。因为红色像素P[4]和P[6]与将被运算的绿色像素110是不同颜色的,因此,所述估计是使用像素110右侧的与像素110颜色相同的相邻像素(例如,右侧第三个相邻像素P[5])的颜色校正。绿色像素P[5]的值被用于将线330向线340偏移,使线340与线330平行。被像素P[5]抵消的像素P[4]和P[6]的差值是推断值(B)。
在步骤240中,像素110的第三推断值(C)通过计算在像素110的各边上的相邻同色像素(例如,在图3的实施例中的绿色像素P[1]和P[5])的平均值而产生,如由线350所表示的。值得注意的是步骤220至240可以被以任意顺序并行或串行执行。
在一个实施例中,在步骤250中,确定了A、B和C的最大推断值MAX(A,B,C);并且确定了A、B和C的最小推断值MIN(A,B,C)。在图3的实施例中,A、B和C的最大值是B,并且A、B和C的最小值是A。
在步骤260中,多个值的中值被计算以确定用于缺陷像素110的校正值。在一个实施例中,MAX(A,B,C)、MIN(A,B,C)和缺陷像素值(D)305的中值被计算以确定校正值390,如图3的实施例所示。
在一个实施例中,比例因子α可以在步骤220和230中被应用于相反颜色的相邻像素。α大约可以在0到10的范围内。比例因子可被用于增强(α大于1)或削弱(α小于1)与缺陷像素110不同的特定颜色的存在。值得注意的是在图3的实施例中示出的方法使用了值为1的α。在一个特定实施例中,α被选定为1.5。α值可以根据经验来确定,例如,通过观察到对一个或多个人具有满意效果的α值的实验。作为选择地,其他方法可以被用于确定α值,例如,
上述涉及图2和3的方法可以被执行,例如,以如下算法执行:
for(y=y0;y<ny;y++)//for all line in the image
for(x=x0+3;x<nx-3;x++)//for all pixels in a line
{
A=(α*(pix(x-1,y)))-(α*(pix(x-3,y)))+pix(x-2,y);
B=(α*(pix(x+1,y)))-(α*(pix(x+3,y)))+pix(x+2,y);
C=(pix(x-2,y)+pix(x+2,y))/2;
MAX=max3(A,B,C);
MIN=min3 (A,B,C);
newpix(x,y)=median3(MAX,MIN,pix(x,y));
}
其中pix(x,y)是潜在的缺陷像素值D。
在可选的实施例中,其他步骤可被用于确定缺陷像素110的校正值。在一个可选的实施例中,例如,所述校正值可以被选择为A、B、C和D的中值。所述可选的方法可以由如下算法执行:
for(y=y0;y<ny;y++)//for all lines in the image
for(x=x0+3;x<nx-3;x++)//for all pixels in the line
{
A=(α*(pix(x-1,y)))-(α*(pix(x-3,y)))+pix(x-2,y);
B=(α*(pix(x+1,y)))-(α*(pix(x+3,y)))+pix(x+2,y);
C=(pix(x-2,y)+pix(x+2,y))/2;
newpix(x,y)=median(A,B,C,pix(x,y));
}
关于上述算法的其他变量可以用于执行产生缺陷像素的替代值的可选方法,例如,使用如上描述的一些值的平均。
值得注意的是与缺陷像素110不同颜色的两个相邻的像素和相同颜色的一个相邻像素可以是最近的相邻者(如通过参考图2和3描述的可效仿的实施例示出的)。作为选择地,可以使用像素110的更远的相邻像素。在再一个实施例中,更多数量的相邻像素可以被用于产生推断值A和/或推断值B。因此,虽然上面讨论了使用7个像素“内核”的特定实施例,但其他尺寸的内核可以被用于可选的实施例中。在一个实施例中,内核可以包括连续像素。作为选择地,内核可以包括一个或多个非连续像素。上述方法可以被用于执行在成像中心的流中接收到的每个像素输出(或其子集)。
在再一个实施例中,A、B和C的值中的一个或多个的计算可以使用与执行其他计算所使用的α值不同的α值来执行。另外,不同的α值可以被用在用于缩放缺陷像素的每一侧(如左(减)和右(加))的A、B、C参数中的一个或多个。
在上述执行中,A和B是分别来自潜在缺陷像素的左侧和右侧的推断值。在另一个实施例中,此类推断值可以取自多于所讨论的左侧和右侧这两个方向,例如也可以来自上、下或者斜侧。
在此描述的方法和设备可被用于在从图像传感器输出的视频流中连续地校正缺陷像素。虽然上述讨论涉及彩色图像,但在此讨论的方法和设备也能够被用于校正黑白图像中的缺陷像素。
图4示出了执行在此描述的方法和设备的图像传感器的一个实施例。图像传感器1000包括成像中心1010和与所述成像中心的操作相关的元件。成像中心1010包括具有像素阵列(例如,像素1021)的像素矩阵1020以及用于像素矩阵1020的相应的驱动和感应电路。驱动和感应电路可以包括:在X和Y方向上的以移位寄存器或寻址寄存器形式的一个或多个扫描寄存器1035、1030;用于长重置和选择线路的缓冲器/线路驱动器;可以包含固定模式噪声(FPN)消除和二次采样电路的列放大器1040;以及与输出总线1046耦合的模拟多路复用器(mux)1045。FPN具有这样的效应:阵列中的像素的响应是非均匀的。这种非均匀性的校正需要某些类型的校准,例如,通过将像素的信号乘以或者加/减以像素为基础的校正量。消除FPN的电路和方法可以参考如相关二次采样或者偏移量补偿并且是本领域中公知的;由此,未提供详细的描述。
像素矩阵1020可以被配置为N行像素乘以N列像素(N≥1),其中每一个像素(例如,像素1021)均由至少一个光敏元件和读出开关(未示出)组成。像素矩阵是本领域中已知的,由此,未给出更具体的详细描述。
Y-寻址扫描寄存器1030寻址将被读取的像素矩阵1020的行(例如,行1022)的所有像素,从而使选定行的像素的所有选定开关元件被同时关闭。因此,每一个所选定的像素在垂直输出线(例如,线1023)上给出信号,该信号在列放大器1040中被放大。X-寻址扫描寄存器1035提供控制信号给模拟多路复用器1045以在输出总线1046上给出列放大器1045的输出信号(放大的电荷)。输出总线1046可以被耦合到提供缓冲的缓冲器1048,来自成像中心1010的模拟输出1049。
来自成像中心1010的输出1049被耦合到模拟数字转换器(ADC)1050以将模拟成像中心输出1049转换到数字域。ADC 1050被耦合到数字处理器件1060以处理从ADC 1050接收的数字数据(此类处理可以涉及图像处理或后期处理)。数字处理器件1060可以包括一个或多个通用处理器件,诸如微处理器或中央处理单元、控制器等等。作为选择地,数字处理器件1060可以包括一个或多个专用处理器件,诸如数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等。数字处理器件1060可以包括通用处理器件和专用处理器件的任意组合。
数字处理器件1060耦合到接口模块1070,接口模块1070处理与在图像传感器1000外部的元件的交换的信息输入/输出(I/O)并且顾及其他任务,例如协议、信号交换、电压转换等。接口模块1070可以耦合到序列发生器1080。序列发生器1080可以耦合到图像传感器1000中的一个或多个元件,例如,成像中心1010、数字处理器件1060和ADC 1050。序列发生器1080可以是从接口模块1070接收外部产生的时钟和控制信号并且产生内部脉冲以驱动图像传感器中的电路(例如,成像中心1010、ADC 1050等)的数字电路。
在一个实施例中,在此描述的方法可以以软硬件结合或者包含在机器可读介质(例如,软件)上将被例如数字处理器件1060的数字处理器件执行的软件来实现。在一个实施例中,图像传感器1000也可以包括耦合到数字处理器件1060的存储器(未示出),该存储器存储当被数字处理器件1060访问时导致数字处理器件1060执行在此描述的方法的数据。在再一个实施例中,在此描述的方法可以由图像传感器1000之外的一个或多个元件(例如,数字处理器件和存储器)来实现。
机器可读介质包括以机器(例如,计算机)可读形式提供(例如,存储和/或传送)信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存储器(RAM)、磁盘存储器介质、光存储器介质、闪存设备、DVD的、电子的、光学的、声学的或者其他形式的传播信号(例如,载波、红外信号、数字信号)、EPROM、EEPROM、FLASH、磁或光卡,或者适于存储电子指令的任何类型的介质。表征所述设备和/或存储在机器可读介质上的方法的信息可被用于创建在此描述的设备和/或方法的处理中。
在可选的实施例中,上述讨论的方法可以由硬件来实现,例如,在其中可能涉及滤波电路。滤波电路可以工作在数字域。因此,如图5所示,实现上述讨论的方法的滤波电路590可以位于ADC 1050和数字处理器件1060之间。在一个实施例中,此种滤波电路的操作可以由上述讨论的数字处理器件1060来实现。作为选择地,上述讨论的方法可在模拟域中执行,并且相应地,如图6所示,滤波电路690可以位于成像中心1010的输出和ADC 1050之间。
在此讨论的图像传感器1000可被用于多种应用。在一个实施例中,在此讨论的图像传感器1000可被用于数码相机系统,例如,用于通用摄影(例如,可视电话、照相机、摄像机)或专用摄影。作为选择地,在此讨论的图像传感器1000可被用于其他类型的应用,例如,机器视觉、文档扫描、显微镜法、安全措施、寿命测定等等。
虽然示出了本发明的一些特定实施例,但是本发明并不局限于这些实施例。本发明不应当被理解为被在此描述的特定实施例所限制,而是仅由附加的权利要求的范围来限定。
Claims (20)
1.一种方法,包括:
接收具有潜在缺陷像素的内核,该潜在缺陷像素具有潜在缺陷值,所述潜在缺陷像素是第一颜色的;
使用所述潜在缺陷像素的第一和第二左相邻像素以及具有所述第一颜色的第三左相邻像素来推断所述潜在缺陷像素的第一值,所述第一和第二左相邻像素具有与所述第一颜色不同的颜色;
使用在所述内核中的所述潜在缺陷像素的第一和第二右相邻像素并且使用具有所述第一颜色的第三右相邻像素来推断所述潜在缺陷像素的第二值,所述第一和第二右相邻像素具有与所述第一颜色不同的颜色;以及
基于所述第一值的推断和所述第二值的推断来产生用于所述潜在缺陷像素的校正值。
2.根据权利要求1所述的方法,该方法还包括计算所述第三左相邻像素和所述第三右相邻像素的平均值,并且其中用于所述潜在缺陷像素的校正值还基于所述平均值的计算而产生。
3.根据权利要求1所述的方法,其中所述第一左相邻像素、第三左相邻像素、第二左相邻像素、潜在缺陷像素、第一右相邻像素、第三右相邻像素和第二右相邻像素在所述内核中是连续的。
4.根据权利要求1所述的方法,其中所述第一和第二左相邻像素以及所述第一和第二右相邻像素具有相同的颜色,其中推断所述第一值包括:
计算所述第一和第二左相邻像素之间的第一差值;以及
使用所述第三左相邻像素来抵消所述第一差值;
其中推断所述第二值包括:
计算所述第一和第二右相邻像素之间的第二差值;以及
使用所述第三右相邻像素来抵消所述第二差值而产生第一推断值。
5.根据权利要求4所述的方法,其中产生所述校正值还包括计算所述第一推断值、第二推断值和潜在缺陷值的中值。
6.根据权利要求2所述的方法,其中所述第一和第二左相邻像素具有相同的颜色,其中所述第一和第二右相邻像素具有相同的颜色,其中推断所述第一值包括:
计算所述第一和第二左相邻像素之间的第一差值;以及
使用所述第三左相邻像素来抵消所述第一差值;
其中推断所述第二值包括:
计算所述第一和第二右相邻像素之间的第二差值;以及
使用所述第三右相邻像素来抵消所述第二差值而产生所述第一推断值;以及
其中产生所述校正值还包括计算所述第一推断值、第二推断值、平均值和潜在缺陷值的中值。
7.根据权利要求1所述的方法,其中推断所述第一值包括:
应用第一比例因子到所述第一左相邻像素以产生缩放的第一左相邻像素值;
应用第二比例因子到所述第二左相邻像素以产生缩放的第二左相邻像素值;
计算所述缩放的第一左相邻像素值和所述缩放的第二左相邻像素值之间的第一差值;以及
使用所述第三左相邻像素来抵消所述第一差值而产生所述第一推断值。
8.根据权利要求7所述的方法,其中推断所述第二值包括:
应用第三比例因子到所述第一右相邻像素以产生缩放的第一右相邻像素值;
应用第四比例因子到所述第二右相邻像素以产生缩放的第二右相邻像素值;
计算所述缩放的第一右相邻像素值和所述缩放的第二右相邻像素值之间的第二差值;以及
使用所述第三右相邻像素来抵消所述第二差值而产生所述第二推断值。
9.根据权利要求8所述的方法,其中产生所述校正值还包括计算所述第一推断值、第二推断值和潜在缺陷值的中值。
10.根据权利要求9所述的方法,其中所述第一左相邻像素、第三左相邻像素、第二左相邻像素、潜在缺陷像素、第一右相邻像素、第三右相邻像素和第二右相邻像素在所述内核中是连续的。
11.根据权利要求4所述的方法,还包括:
确定所述第一推断值、第二推断值和平均值中的最大值以产生最大值;
确定所述第一推断值、第二推断值和平均值中的最小值以产生最小值;以及
其中产生所述校正值包括计算至少所述最大值、最小值和潜在缺陷值的中值。
12.根据权利要求8所述的方法,还包括:
确定所述第一推断值、第二推断值和平均值中的最大值以产生最大值;
确定所述第一推断值、第二推断值和平均值中的最小值以产生最小值;以及
其中产生所述校正值包括计算至少所述最大值、最小值和潜在缺陷值的中值。
13.一种制造的产品,包括:
机器可访问介质,该机器可访问介质包括数据,该数据当被机器访问时使得该机器执行操作,该操作包括:
接收具有潜在缺陷像素的内核,该潜在缺陷像素具有潜在缺陷值,所述潜在缺陷像素是第一颜色的;
使用所述潜在缺陷像素的第一和第二左相邻像素以及具有所述第一颜色的第三左相邻像素来推断所述潜在缺陷像素的第一值,所述第一和第二左相邻像素具有与所述第一颜色不同的颜色;
使用在所述内核中的所述潜在缺陷像素的第一和第二右相邻像素并且使用具有所述第一颜色的第三右相邻像素来推断所述潜在缺陷像素的第二值,所述第一和第二右相邻像素具有与所述第一颜色不同的颜色;以及
基于所述第一值的推断和所述第二值的推断产生用于所述潜在缺陷像素的校正值。
14.根据权利要求13所述的制造的产品,其中所述数据当被机器访问时使得该机器执行操作,所述操作还包括计算所述第三左相邻像素和所述第三右相邻像素的平均值,并且其中用于所述潜在缺陷像素的校正值还基于所述平均值的计算而产生。
15.根据权利要求14所述的制造的产品,其中推断所述第一值包括:
计算所述第一和第二左相邻像素之间的第一差值;以及
使用所述第三左相邻像素来抵消所述第一差值;其中推断所述第二值包括:
计算所述第一和第二右相邻像素之间的第二差值;以及
使用所述第三右相邻像素来抵消所述第二差值而产生所述第一推断值;
以及其中产生所述校正值包括计算所述第一推断值、第二推断值、平均值和潜在缺陷值的中值。
16.根据权利要求13所述的制造的产品,其中所述数据当被机器访问时使得该机器执行操作,该操作还包括:
计算所述第三左相邻像素和所述第三右相邻像素的平均值,并且其中用于所述潜在缺陷像素的校正值还基于该平均值的计算而产生;以及
其中推断所述第一值包括:
应用第一比例因子到所述第一左相邻像素以产生缩放的第一左相邻像素值;
应用第二比例因子到所述第二左相邻像素以产生缩放的第二左相邻像素值;
计算所述缩放的第一左相邻像素值和所述缩放的第二左相邻像素值之间的第一差值;以及
使用所述第三左相邻像素来抵消所述第一差值而产生所述第一推断值;
以及其中推断所述第二值包括:
应用第三比例因子到所述第一右相邻像素以产生缩放的第一右相邻像素值;
应用第四比例因子到所述第二右相邻像素以产生缩放的第二右相邻像素值;
计算所述缩放的第一右相邻像素值和所述缩放的第二右相邻像素值之间的第二差值;以及
使用所述第三右相邻像素来抵消所述第二差值而产生所述第二推断值;以及
其中产生所述校正值还包括计算所述第一推断值、第二推断值、平均值和潜在缺陷值的中值。
17.一种设备,包括:
具有像素矩阵的成像中心;以及
滤波电路,该滤波电路被耦合以从所述成像中心接收内核,所述内核具有潜在缺陷像素,该潜在缺陷像素具有潜在缺陷值,所述潜在缺陷像素是第一颜色的;其中所述滤波电路被配置为使用在所述内核中的潜在缺陷像素的第一和第二左相邻像素以及具有所述第一颜色的第三左相邻像素来推断所述潜在缺陷像素的第一值,所述第一和第二左相邻像素具有与所述第一颜色不同的颜色;
其中所述滤波电路还被配置为使用在所述内核中的潜在缺陷像素的第一和第二右相邻像素并且使用具有所述第一颜色的第三右相邻像素来推断所述潜在缺陷像素的第二值,所述第一和第二右相邻像素具有与所述第一颜色不同的颜色;以及
其中所述滤波电路还被配置为基于所述第一值的推断和所述第二值的推断来产生用于所述潜在缺陷像素的校正值。
18.根据权利要求17的设备,其中所述滤波电路还被配置为计算所述第三左相邻像素和所述第三右相邻像素的平均值,并且其中所述滤波电路还被配置为基于所述第一值的推断、所述第二值的推断和所述平均值的计算来产生所述校正值。
19.根据权利要求17的设备,该设备还包括耦合到所述成像中心的模拟数字转换器,其中所述滤波电路被耦合以接收所述模拟数字转换器的数字输出。
20.根据权利要求17的设备,其中所述滤波电路还包括数字处理器件,并且其中所述设备还包括耦合到所述成像中心和所述数字处理器件的模拟数字转换器,其中所述数字处理器件被耦合以通过所述模拟数字转换器从所述成像中心接收所述内核。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/111,287 | 2005-04-20 | ||
US11/111,287 US7313288B2 (en) | 2005-04-20 | 2005-04-20 | Defect pixel correction in an image sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101198965A true CN101198965A (zh) | 2008-06-11 |
Family
ID=37186981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA200680013633XA Pending CN101198965A (zh) | 2005-04-20 | 2006-03-17 | 图像传感器中的缺陷像素校正 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7313288B2 (zh) |
EP (1) | EP1872593A2 (zh) |
CN (1) | CN101198965A (zh) |
WO (1) | WO2006115627A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739918A (zh) * | 2011-03-29 | 2012-10-17 | 索尼公司 | 图像处理装置、方法、记录介质和程序 |
CN102204239B (zh) * | 2008-10-28 | 2014-08-27 | 美商豪威科技股份有限公司 | 基于单一行的缺陷像素修正的系统和方法 |
CN108027965A (zh) * | 2015-09-21 | 2018-05-11 | 爱克发医疗保健公司 | 用于减少在直接射线照相术中由重建的缺陷像素引起的图像干扰的方法 |
CN109218634A (zh) * | 2017-06-30 | 2019-01-15 | 三星电子株式会社 | 包括图像信号处理器的电子设备 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4498149B2 (ja) * | 2005-01-17 | 2010-07-07 | キヤノン株式会社 | 画像読み取り装置 |
US7313288B2 (en) * | 2005-04-20 | 2007-12-25 | Cypress Semiconductor Corporation | Defect pixel correction in an image sensor |
JP2007128497A (ja) * | 2005-10-05 | 2007-05-24 | Sony Corp | 表示装置および表示方法 |
US20090040343A1 (en) * | 2007-08-06 | 2009-02-12 | Mediatek Inc. | Methods and apparatuses for defective pixel detection and correction |
US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
EP2327026A1 (en) * | 2008-08-06 | 2011-06-01 | Nxp B.V. | Simd parallel processor architecture |
US7974805B2 (en) * | 2008-10-14 | 2011-07-05 | ON Semiconductor Trading, Ltd | Image sensor and method |
US8351696B2 (en) | 2010-09-17 | 2013-01-08 | Foveon, Inc. | Correcting defective pixels in digital color images |
US8755625B2 (en) | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
US8699813B2 (en) | 2010-11-19 | 2014-04-15 | Analog Devices, Inc | Adaptive filter for low-light noise reduction |
KR20120079646A (ko) * | 2011-01-05 | 2012-07-13 | 삼성전자주식회사 | 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템 |
TWI492621B (zh) | 2012-02-10 | 2015-07-11 | Novatek Microelectronics Corp | 適應性影像處理方法及其相關裝置 |
US9014504B2 (en) * | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
JP6002599B2 (ja) * | 2013-02-22 | 2016-10-05 | 日本電信電話株式会社 | センサデータ統合装置、センサデータ統合方法及びプログラム |
GB2521408B (en) * | 2013-12-18 | 2015-12-16 | Imagination Tech Ltd | Defective pixel fixing |
US9906742B2 (en) * | 2014-07-22 | 2018-02-27 | Bae Systems Information And Electronic Systems Integration Inc. | Method and system for UV inoperable pixel compensation |
KR20170082883A (ko) * | 2016-01-07 | 2017-07-17 | 삼성전자주식회사 | 열화상 이미지를 제공하는 전자 장치 및 그의 동작 방법 |
US20220384499A1 (en) * | 2021-05-28 | 2022-12-01 | Samsung Electronics Co., Ltd. | Image sensor and image signal processing method |
CN114266771B (zh) * | 2022-03-02 | 2022-06-03 | 深圳市智源空间创新科技有限公司 | 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4914519A (en) | 1986-09-19 | 1990-04-03 | Canon Kabushiki Kaisha | Apparatus for eliminating noise in a solid-state image pickup device |
JP3050583B2 (ja) | 1990-10-17 | 2000-06-12 | ソニー株式会社 | 固体撮像装置 |
JP2931088B2 (ja) * | 1990-11-30 | 1999-08-09 | キヤノン株式会社 | マルチチップ型光電変換装置 |
DE4209536C3 (de) | 1992-03-24 | 2000-10-05 | Stuttgart Mikroelektronik | Bildzelle für einen Bildaufnehmer-Chip |
US5933190A (en) | 1995-04-18 | 1999-08-03 | Imec Vzw | Pixel structure, image sensor using such pixel structure and corresponding peripheral circuitry |
DE69606147T2 (de) | 1995-10-31 | 2000-06-29 | Interuniversitair Micro-Electronica Centrum Vzw, Leuven-Heverlee | Schaltung, Bildelement, Vorrichtung und Verfahren zur Verminderung des Rauschens örtlich unveränderlicher Muster in Festkörperbildaufnahmevorrichtungen |
US5917934A (en) * | 1996-03-15 | 1999-06-29 | Sony Corporation | Automated visual inspection apparatus for detecting defects and for measuring defect size |
WO1999016238A1 (en) | 1997-09-22 | 1999-04-01 | Interuniversitair Micro-Elektronica Centrum | Devices and methods for improving the image quality in an image sensor |
US6816625B2 (en) * | 2000-08-16 | 2004-11-09 | Lewis Jr Clarence A | Distortion free image capture system and method |
US6985180B2 (en) * | 2001-06-19 | 2006-01-10 | Ess Technology, Inc. | Intelligent blemish control algorithm and apparatus |
US6728483B1 (en) * | 2002-10-11 | 2004-04-27 | Eastman Kodak Company | Cameras, methods, and systems with partial-shading encodements |
US7092628B2 (en) * | 2002-10-11 | 2006-08-15 | Eastman Kodak Company | Photography systems and methods utilizing filter-encoded images |
US7206461B2 (en) * | 2003-09-30 | 2007-04-17 | Fotonation Vision Limited | Digital image acquisition and processing system |
US7206012B2 (en) * | 2004-03-24 | 2007-04-17 | Lexmark International, Inc. | Memory device on optical scanner and apparatus and method for storing characterizing information on the memory device |
US7433512B2 (en) * | 2004-11-09 | 2008-10-07 | Dalsa Corporation | Method and apparatus for finding and correcting single-pixel noise defects in a two-dimensional camera pixel field and a camera provided with such an apparatus |
US7313288B2 (en) * | 2005-04-20 | 2007-12-25 | Cypress Semiconductor Corporation | Defect pixel correction in an image sensor |
-
2005
- 2005-04-20 US US11/111,287 patent/US7313288B2/en active Active
-
2006
- 2006-03-17 EP EP06739021A patent/EP1872593A2/en not_active Withdrawn
- 2006-03-17 WO PCT/US2006/010067 patent/WO2006115627A2/en active Application Filing
- 2006-03-17 CN CNA200680013633XA patent/CN101198965A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102204239B (zh) * | 2008-10-28 | 2014-08-27 | 美商豪威科技股份有限公司 | 基于单一行的缺陷像素修正的系统和方法 |
CN102739918A (zh) * | 2011-03-29 | 2012-10-17 | 索尼公司 | 图像处理装置、方法、记录介质和程序 |
CN108027965A (zh) * | 2015-09-21 | 2018-05-11 | 爱克发医疗保健公司 | 用于减少在直接射线照相术中由重建的缺陷像素引起的图像干扰的方法 |
CN109218634A (zh) * | 2017-06-30 | 2019-01-15 | 三星电子株式会社 | 包括图像信号处理器的电子设备 |
CN109218634B (zh) * | 2017-06-30 | 2022-05-31 | 三星电子株式会社 | 包括图像信号处理器的电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2006115627A3 (en) | 2007-12-13 |
EP1872593A2 (en) | 2008-01-02 |
WO2006115627A2 (en) | 2006-11-02 |
US7313288B2 (en) | 2007-12-25 |
US20060239580A1 (en) | 2006-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101198965A (zh) | 图像传感器中的缺陷像素校正 | |
CN101467444B (zh) | 固态图像传感器 | |
US7133073B1 (en) | Method and apparatus for color interpolation | |
US6888568B1 (en) | Method and apparatus for controlling pixel sensor elements | |
US8310577B1 (en) | Method and apparatus for color compensation | |
CN101304484B (zh) | 成像装置、缺陷像素校正装置、和装置中的处理方法 | |
US8023010B2 (en) | Defective pixel correction device | |
JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
US7710483B2 (en) | Solid-state imaging apparatus, driving method thereof, and camera | |
CN103460703B (zh) | 彩色摄像元件及摄像装置 | |
US7525583B2 (en) | Decreasing aliasing in electronic images | |
JP5600812B2 (ja) | 撮像装置 | |
JP2007019820A (ja) | 固体撮像素子 | |
CN103563360B (zh) | 摄像装置及摄像装置的控制方法 | |
WO2010131210A1 (en) | A system and method for correcting non-uniformity defects in captured digital images | |
KR20070011429A (ko) | 디지털 이미징 시스템을 이용하여 오브젝트로부터 광의대안적 형태의 재생 | |
JP2007159141A (ja) | 色補正計算方法 | |
JP2009232146A (ja) | ノイズ低減装置およびデジタルカメラ | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
KR100733010B1 (ko) | 이미지 센서의 결함픽셀 보간 방법 및 장치 | |
WO2018193544A1 (ja) | 撮像装置および内視鏡装置 | |
JP4682070B2 (ja) | 画像信号処理装置 | |
WO2020039909A1 (ja) | 固体撮像素子および電子機器 | |
JP2007053659A (ja) | 計測用撮像装置 | |
WO2018193552A1 (ja) | 撮像装置および内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |