CN101189885B

CN101189885B - 照相系统中照明闪烁检测的方法和设备及其图像传感器

Info

Publication number: CN101189885B
Application number: CN200680014571.4A
Authority: CN
Inventors: B·迪瑞克斯
Original assignee: Cypress Semiconductor Corp
Current assignee: Cypress Semiconductor Corp
Priority date: 2005-04-29
Filing date: 2006-03-20
Publication date: 2013-09-25
Anticipated expiration: 2026-03-20
Also published as: EP1875743A4; JP2008539658A; WO2006118686A2; EP1875743A2; WO2006118686A3; CN101189885A; US20060244843A1

Abstract

使用非线响应像素的图像传感器中用于照明闪烁检测的方法和设备，其包括：在图像传感器的光敏器件中接收光，该光与由所述图像传感器的像素矩阵接收的被处理以用于产生图像的光分离；将由光敏器件接收的光转换成电信号；以参考信号对该电信号进行解调以产生经解调的信号；以及将经解调的信号与阈值电平进行比较以确定在由所述像素矩阵接收的光中闪烁的存在。

Description

照相系统中照明闪烁检测的方法和设备及其图像传感器

技术领域

本发明涉及图像传感器，特别涉及图像传感器中的闪烁检测。

背景技术

固态图像传感器被广泛地应用于照相系统中。某些照相系统中的固态图像传感器由与开关和放大器件相连的光敏器件矩阵组成。所述光敏器件可以是例如感光器、光敏二极管、光敏晶体管、电荷耦合器件(CCD)闸或者类似的器件。每一个光敏器件接收所要成像的一部分场景的图像。光敏器件以及其所附电子器件被称为图像元素或像素。获取图像的光敏器件产生指示该图像光强度的电信号。光敏器件的电信号通常为与落到该光敏器件上的电磁辐射(光)成比例的电流。

对于以金属氧化物半导体(MOS)或者互补型金属氧化物半导体(CMOS)技术实现的图像传感器，具有被动式像素的图像传感器和具有主动式像素的图像传感器是有区别的。这两类像素结构之间的差异在于主动式像素放大/缓冲在其光敏组件上聚集的电荷。被动式像素不执行信号放大，并且需要未集成于该像素中的电荷感应放大器。

图像传感器遇到的一个问题是在由照相系统拍摄的场景中来自照明光源(如灯)的闪烁。某些类型的人工照明如荧光管以100Hz(即欧洲标准)或120Hz(美国标准)的频率闪烁。如果照相机中的图像传感器的帧速率是不同步的或者积分不是照明周期的倍数，由照明机产生的如“暗条纹”的不良非自然信号将出现在图像中。

某些照相系统不提供闪烁检测并且需要用户的手动干以更正所述非自然信号。然而，其它常规照相系统已然提供了某种形式的闪烁检测。一种检测闪烁的常规方法利用分离于图像传感器(多片集成电路)的闪烁检测器。非单块集成电路器件是基于线性响应光学传感器或者来自图像信息本身的检测。检测闪烁的另一种常规方法是基于来自图像传感器信号的跳动频率的抽取。此种常规闪烁检测方法在硬件上昂贵并且/或需要复杂操作和处理(例如线性响应光学传感器)。而且，从图像的本身对闪烁进行检测可能不可靠，并且可能给出错误的触发或者触发缺失。成像的一个主要原因是以特定的帧速率成像。如果这个帧速率恰好是闪烁频率的整数倍，闪烁并不能被检出。

附图说明

本发明以实例进行举例说明而并非加以限制，附图包括：

图1示出了具有闪烁检测电路的图像传感器的一个实施例；

图2示出了在图像传感器中检测闪烁的一个实施例；

图3示出了闪烁检测电路的一个实施例；

图4示出了闪烁检测的方法的一个实施例；

图5为示出了具有在相对于像素矩阵中的像素的平面之外的闪烁检测电路的图像传感器的替换实施例的顶部透视图；

图6为示出了实现图5中的在平面之外的闪烁检测电路的示例的截面图。

具体实施方式

在以下描述中，提出了许多具体的细节，如具体的命令、指定的元件、连接关系、帧的个数等等的实例，以便提供本发明的实施例的透彻理解。然而，本领域技术人员将很明显看出本发明的实施例可以在没有这些特殊细节的情况下得到实施。在其他实例中，公知的元件或者方法没有被详细描述而是用框图来描述以避免使本发明变得不够清楚。由此，提出的具体细节仅仅是可仿效的。所述具体细节可以在本发明的精神和范围之内改变并且仍然属于本发明的精神和范围之内。

以下详细的描述包括将在下文被描述的电路。可替换地，所述电路的操作可由硬件、固件和软件组合执行。此处使用的术语“耦合到”可以表示直接耦合或通过一个或多个插入元件间接耦合。此处描述的在不同总线上被提供的任何信号可以与其他信号时间复用并且在一个或多个公共总线上被提供。另外，电路元件或组块之间的相互连接可以由总线或单独信号线表示。每一条总线可替换地为一条或多条单独信号线，并且每一条单独信号线可替换地为总线。

描述了一种用于图像传感器中的照明闪烁检测的方法和设备。图1示出了具有闪烁检测电路的图像传感器的一个实施例。图像传感器1000包括像素矩阵1020和与成像核心(成像电子器件)的操作相关的电子元件。在一个实施例中，成像核心1010包括具有像素阵列(例如，像素1021)的像素矩阵1020以及用于像素矩阵1020的相应的驱动和感应电路。驱动和感应电路可以包括：在X和Y方向上的移位寄存器或寻址寄存器形式的一个或多个扫描寄存器1035、1030；用于长重置(long reset)和选择线路的缓冲/线驱动器(line driver)；可以包括固定模式噪声(FPN)消除和二次采样电路的列放大器1040；以及与输出总线1046耦合的模拟多路复用器(mux)1045。FPN具有使得对阵列中的像素的响应是非均匀的影响。这种非均匀性的修正需要某些类型的校准，例如，通过将像素的信号乘以或者加/减以像素为基础的修正量。消除FPN的电路和方法可以参考如相关二次采样或者偏移补偿，并且为本领域技术人员所公知。由此，未提供详细的描述。

像素矩阵1020可以被配置为N行像素(具有宽度维度)乘N列像素(具有长度维度)，其中N≥1。每一个像素(例如，像素1021)均由至少一个光敏元件和读出开关(未示出)组成。像素矩阵1020的像素可以是线性响应像素(linear response pixels)(例如具有线性的或者具有分段线性斜率)。在一个实施例中，如在美国专利6,225,670中描述的像素可被用于像素矩阵1020。可替换地，其他类型的像素可被用于像素矩阵1020。像素矩阵为本领域技术人员所公知，由此，未给出更具体的详细描述。

Y-寻址扫描寄存器1030对将被读取的像素矩阵1020的行(例如，行1022)的所有像素进行寻址，从而使被选定行的像素的所有被选定开关元件同时关闭。因此，每一个被选定的像素在垂直输出线路(例如，线路1023)上给出信号，该信号在列放大器1040中被放大。X-寻址扫描寄存器1035提供控制信号给模拟多路复用器1045以在输出总线1046上给出列放大器1045的输出信号(放大的电荷)。输出总线1046可以被耦合到提供来自成像核心1010的模拟输出1049的缓冲器1048。如果期望得到来自成像核心1010的放大的输出信号，缓冲器1048也可代替放大器。

来自成像核心1010的输出1049被耦合到模数转换器(ADC)1050以将模拟成像核心输出1049转换到数字域。ADC 1050被耦合到数字处理器件1060以处理从ADC 1050接收的数字数据(此类处理可以涉及图像处理或后期处理)。数字处理器件1060可以包括一个或多个诸如微处理器或中央处理单元、控制器等等的通用处理器件。可替换地，数字处理器件1060可以包括一个或多个诸如数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等的专用处理器件。数字处理器件1060可以包括通用处理器件和专用处理器件的任意组合。

数字处理器件1060被耦合到接口模块1070，接口模块1070处理与图像传感器1000外部的元件的信息输入/输出(I/O)交换并且担负例如协议、信号交换、电压转换等等的其他任务。接口模块1070可以被耦合到序列发生器1080。序列发生器1080可以被耦合到图像传感器1000中的一个或多个元件，例如成像核心1010、数字处理器件1060和ADC 1050。序列发生器1080 可以是从接口模块1070接收外部产生的时钟和控制信号并且产生内部脉冲以驱动图像传感器中的电路(例如，成像核心1010、ADC 1050等)的数字电路。

像素矩阵1020和相关成像电子器件可被制造在可封装于共同载体中的一个或多个共同集成电路芯片上。在一个实施例中，一个或多个闪烁检测器100被设置在图像传感器1000的一个或多个集成电路芯片上的成像区域(例如像素矩阵1020)之外的集成电路芯片上。在此实施例中，所述闪烁检测器100可以以例如近似等于或小于像素矩阵1020的尺寸(例如，宽度或长度)的距离101被设置在像素矩阵之外。值得注意的是为了便于示出，闪烁检测器仅被示于像素矩阵1020的右侧，并且闪烁检测器100的位置不能过于局限。更适当地，闪烁检测器100可以被设置在像素矩阵1020的任意侧。而且，虽然被示出在成像核心1010的内部，闪烁检测器100可以位于成像核心之外图像传感器1000中的任何位置。另外，值得注意的是为便于讨论的目的有时仅描述并示出了一个闪烁检测器100，但是如上记录的，图像传感器1000可以包括多于一个闪烁检测器100。

专用闪烁检测器100的定位接近成像区域(例如像素矩阵1020)，例如在封装的图像传感器1000的集成电路芯片上(即与在封装的器件下相反)，由于闪烁检测的闪光而使得产生足够的光能量的拾取而不打扰成像区域或成像电子器件。在替换实施例中，闪烁检测器(或者其光接收元件)可以被整合到像素矩阵1020中。例如，矩阵1020的一个或多个像素(例如角或边像素)可以被下面讨论的闪烁检测器的非线性光敏器件205代替。

闪烁检测器100可以被配置为当闪烁被确定存在时输出标记。在一个实施例中，闪烁检测器100可以被耦合以输出所述标记至数字信号处理器件1060。基于标记信号的接收，数字信号处理器件1060可以被配置为使用本领域普通技术人员公知的技术来执行在从像素矩阵1020接收到的亮度中减轻或消除闪烁的操作。

在一个实施例中，如下参考图2和图3所讨论的，闪烁检测器可以被配置为检测通过图像传感器1000看到的环境照明中120Hz美国(100Hz欧洲)闪烁的存在。

图2示出了闪烁检测器的一个实施例。闪烁检测器100包括光敏器件205、非线性电阻器210、缓冲器220、解调器230、低通滤波器240以及比较器250。在一个实施例中，光敏器件205是如图2中示出的光敏二极管。可替换地，亦可使用其他类型的光敏器件(如光敏晶体管、光敏电阻等)。

光敏器件205可在VDD(高电压)和VSS(相对VDD的低电压)之间与非线性电阻器210串联耦合。因此，光敏器件205被非线性电阻器210偏置。可以使用替换构造，例如，光敏器件或非线性电阻器所在的反馈回路。因此，光敏器件205和非线性电阻器210的构造可归因于非线性响应像素。在一个实施例中，非线性电阻器210可以是对数电阻器，并且特别地使用栅极与连接VDD的漏极连接的场效应管(MOSFET)M1来构造。在此实施例中，光敏二极管205被耦合到MOSFET M1的源极。可替换地，可使用本领域技术人员公知的其他不同类型的非线性或对数电阻器，例如，近似于对数电阻器的正向偏置二极管或双极型晶体管的V_BE。

那么，在M1的源极的信号207基本上是在时间上连续的电压并且与从光敏器件205接收的光强对数地成比例。如果光闪烁由光敏器件205接收，则可证明上述情况。值得注意的是光敏器件是基于连续时间、连续响应电阻系数的器件。此类器件不需要定时或者应用时钟信号。在非线性电阻器210是对数的的实施例中，所述器件具有不需任何调整而能够跨度照相机的全部亮度范围的工作范围。

在M1的源极的信号207可以被耦合到缓冲器220。如果期望放大，缓冲器220可以代替放大器。缓冲器/放大器220运行以在低阻抗传播信号207 或者使其振幅变为适于由解调器230解调的电平。缓冲器/放大器220的输出被耦合到解调器230。可替换地，信号207可以被直接耦合到解调器230.

在一个实施例中，由解调器230执行的解调与100Hz(或120Hz)的参考信号230相乘。可替换地，可以使用其他载波频率。在实际执行中，乘法可以以参考信号及其90度相移方案来实现。解调器230的输出被耦合到滤波器240。

滤波器240工作以减少或消除归因于图像场景中的光变化的假性尖峰。在一个实施例中，滤波器240是低通滤波器。可替换地，可使用带通滤波器。值得注意的是解调器和滤波器的操作可以以不同的替换方式实施，例如，带通滤波先于解调。在另一个实施例中，解调器和滤波器的功能可以被整合在单个电路元件内部以并发地对所接收的信号207进行解调和低通滤波。在替换实施例中，不执行滤波并且解调器230的输出被耦合到比较器250，从而在比较之后选择性地执行滤波。

来自滤波器240的经低通滤波的信号输出245表示闪烁的幅度相对于平均亮度等级(如果存在)的比率。输出245被提供给将输出245与阈值电平255进行比较的比较器电路250。在一个实施例中，阈值电平255可以是外部提供的参考电压。在一个实施例中，比较器250的输出259是指示闪烁是否被检出的比特(1或0)。可替换地，输出259可以是多比特输出。然后，输出259还通过图像传感器1000(例如数字信号处理器件1060)内部的或者内部装配了图像传感器1000的成像器件(例如照相机)的元件进行处理以便在更长时间间隔内确认闪烁的存在。例如，在上面讨论的一个实施例中，闪烁检测器100可被耦合以将输出259提供给数字信号处理器件1060进行处理(例如闪烁的存在的修正)。

图3示出了具有开关电容电路360的闪烁检测器的一个替换实施例。在图3的闪烁检测器中，图2中的解调器230以及低通滤波器240的操作是由开关电容电路360来完成的。在该实施例中，开关电容电路360包括四个被耦合以接收输出207以及产生具有0、90、180和270度相移的100Hz波形(例如方波或脉冲序列)的开关电容361-364。0和180度相移波形的输出被耦合到输出相移波形之间的差分信号的差分放大器365。90和270度相移波形的输出被耦合到输出相移波形的差分信号的差分放大器366。差分放大器365和366的输出分别被耦合到输出差分信号的绝对值至选择电路369的绝对值(ABS)电路367和368。选择电路369选择绝对值的最大值(MAX)以输出至比较器250。在另一个实施例中，在独立部分对0和90度、或者0/90/180/270、或者更多的解调可被分离。然而可以使用闪烁检测器的其他替代构造对于本领域普通技术人员是公知的。

图4示出了闪烁检测的方法的一个实施例。在此实施例中，光由非线性响应像素的光敏器件接收，此光不同于在图像传感器中使用的用于产生场景的图像的线性响应像素(以像素矩阵的形式)的光，步骤410。由非线性响应像素的光敏器件接收的光被转换成电信号，步骤420。在一个实施例中，接收到的光使用非线性响应像素的非线性响应(例如对数的或近对数(nearlogarithmic)的)器件被转换成电信号(例如电压)。该信号以参考频率(例如100/120Hz)被解调，步骤430。在一个实施例中，经解调的信号可被滤波。

接下来，将经解调的(以及经滤波的)信号与阈值电平相比较以确定在接收到的光中闪烁是否存在，步骤440。如果闪烁被检出，标记将被设置并且被提供给处理电路以用信号通知检出的闪烁的存在，步骤450。在步骤460中，检出的闪烁可以在从图像传感器的像素矩阵接收到的亮度中被减轻或者消除。

值得注意得是虽然有时对于100/120Hz的闪烁进行讨论，在替换实施例中闪烁检测器100也可以被配置为对具有除100/120Hz之外的频率的闪烁进行检测。

图5是示出了具有在相对于像素矩阵的像素的平面之外的闪烁检测电路的图像传感器的替换实施例的顶部透视图。在此实施例中，闪烁检测器100的非线性光敏器件205可位于像素矩阵1020内部的但相对于像素矩阵1020的像素(例如像素1021)的平面之外的区域。一个或多个光敏器件205可位于像素矩阵的不同平面，例如，在矩阵的像素的前面或后面。这样的不同平面可以具有任一种不同形式，例如：散布在像素中或像素之间的一组更深(或更浅)的光敏二极管；包括所有的或一组像素的更深的光电结；在SOI器件的衬底中实施的单个光敏二极管，从而所述像素在SOI器件的顶层；或者在像素阵列的顶部的半混合顶层(例如非晶硅顶层)，所述顶层是感光器，等等。

图6是示出了实现图5中的在平面之外的闪烁检测电路的示例的截面图。在此实施例中，像素光敏二极管是深p阱620中的n型结610。衬底630结的全局p阱620作为用于闪烁检测的感受器625。由此，闪烁检测感受器625与像素矩阵1020的光敏二极管覆盖了相同区域，但是位于不同平面。注意光640(特别是红光)在硅中具有相当长的穿透深度，并且将由此在层620和630中产生电子空穴对。

在此讨论的图像传感器1000可用于多种应用中。在一个实施例中，在此讨论的图像传感器1000可被用于数码相机系统，例如，用于通用摄影(例如可视电话、照相机、摄像机)或专用摄影。可替换地，在此讨论的图像传感器1000可用于其他类型的应用中，例如，机器视觉、文档扫描、显微学、安全措施、生物统计学等等。

虽然本发明示出了一些特定实施例，但并不限于所述实施例。应当理解的是，本发明不应限于此处描述的特定实施例，而仅限于所附权利要求。

Claims

1.一种在照相系统中用于闪烁检测的方法，该方法包括：

在图像传感器的光敏器件中接收光，所述光与由所述图像传感器的像素矩阵接收的被处理以用于产生图像的光分离；

将由光敏器件接收的光转换成电信号；

以具有载波频率的参考信号对所述电信号进行解调以产生经解调的信号；以及

将经解调的信号与阈值电平进行比较以确定在由所述像素矩阵接收的光中闪烁的存在。

2.根据权利要求1所述的方法，其中对光进行转换包括使用耦合到所述光敏器件的非线性器件将光转换为电信号。

3.根据权利要求2所述的方法，其中所述电信号是在连续时间段以对数方式被转换的。

4.根据权利要求1所述的方法，所述方法还包括对用于产生图像的光进行处理，并且其中对闪烁的存在的确定与对光的处理并行。

5.根据权利要求1所述的方法，其中所述载波频率具有为100赫兹或者120赫兹中一者的频率。

6.根据权利要求1所述的方法，所述方法还包括对经解调的信号进行滤波。

7.根据权利要求1所述的方法，所述方法还包括当已确定光中的闪烁的存在时，减轻或消除由所述像素矩阵接收的光中的闪烁。

8.一种在照相系统中用于闪烁检测的设备，该设备包括：

设置在一个或多个集成电路芯片上的图像传感器，所述图像传感器包括：

像素矩阵；以及

设置在所述像素矩阵之外的一个或多个集成电路芯片上的闪烁检测器，所述一个或多个集成电路芯片封装于共同载体中，其中所述闪烁检测器包括：

光敏器件；

非线性电阻器，所述非线性电阻器耦合到所述光敏器件以输出电信号；

解调电路，所述解调电路被耦合以接收所述电信号，所述解调电路进一步接收具有载波频率的参考信号且以所述参考信号对所述电信号进行解调来产生经解调的信号；以及

比较器，所述比较器耦合到所述解调电路以接收所述经解调的信号，所述比较器进一步接收阈值电平且将所述经解调的信号与所述阈值电平进行比较，以在所述经解调的信号超出所述阈值电平时输出标记。

9.根据权利要求8所述的设备，所述设备还包括一个或多个附加的闪烁检测器。

10.根据权利要求8所述的设备，所述设备还包括多个解调电路，以在所述电信号的不同相移波形上工作。

11.根据权利要求8所述的设备，其中所述非线性电阻器是对数的或近对数的，并且其中所述载波频率具有为100赫兹或120赫兹中一者的频率。

12.一种在照相系统中用于闪烁检测的设备，该设备包括：

多个线性响应像素，所述多个线性响应像素用于接收光以产生场景的图像；

非线性响应像素，所述非线性响应像素包括耦合到非线性电阻器的光敏器件，所述非线性响应像素用于在光中检测闪烁，其中所述非线性响应像素和所述多个线性响应像素被设置在共同的集成电路芯片上，且其中所述非线性响应像素被设置在所述多个线性响应像素的外侧；

解调器，与所述非线性响应像素耦合以从所述非线性响应像素接收电信号，其中所述解调器进一步接收具有载波频率的参考信号且以所述参考信号对所述电信号进行解调；以及

比较器，与所述解调器耦合以接收经解调的信号，其中所述比较器进一步接收阈值电平且将所述经解调的信号与所述阈值电平进行比较以检测闪烁的存在。

13.根据权利要求12所述的设备，其中所述多个线性响应像素形成像素矩阵，并且其中所述非线性响应像素被设置在所述像素矩阵之外。

14.根据权利要求12所述的设备，其中所述载波频率具有为100赫兹或120赫兹或这两者的分频中一者的频率。

15.根据权利要求12所述的设备，其中所述非线性响应像素包括对数或近对数电阻器。

16.根据权利要求12所述的设备，所述设备还包括：

耦合于所述非线性响应像素和所述解调器之间的至少一个缓冲器或放大器；

滤波器，所述滤波器耦合于所述解调器和所述比较器之间；以及耦合到所述比较器的数字处理器件，所述数字处理器件用于在经过一时间段中对检测到所述闪烁的存在进行修正。

17.根据权利要求12所述的设备，所述设备还包括耦合到所述比较器的数字处理器件，所述数字处理器件用于修正由像素矩阵接收的闪烁。

18.根据权利要求13所述的设备，其中所述像素矩阵具有尺寸并且其中所述非线性响应像素被以等于或小于所述像素矩阵的尺寸的距离设置在所述像素矩阵之外。

19.一种在照相系统中用于闪烁检测的设备，该设备包括：

开关电容电路，与所述非线性响应像素耦合以从所述非线性响应像素接收电信号，其中所述开关电容电路进一步接收具有载波频率的参考信号且以所述参考信号对所述电信号进行解调；以及

比较器，与所述开关电容电路耦合以接收经解调的信号，其中所述比较器进一步接收阈值电平且将所述经解调的信号与所述阈值电平进行比较以检测闪烁的存在。

20.根据权利要求19所述的设备，其中所述多个线性响应像素形成像素矩阵，并且其中所述非线性响应像素被设置在所述像素矩阵之外。

21.根据权利要求19所述的设备，其中所述载波频率具有为100赫兹或120赫兹或这两者的分频中一者的频率。

22.根据权利要求19所述的设备，其中所述非线性响应像素包括对数或近对数电阻器。

23.根据权利要求19所述的设备，所述设备还包括：

耦合于所述非线性响应像素和所述开关电容电路之间的至少一个缓冲器或放大器；以及

耦合到所述比较器的数字处理器件，所述数字处理器件用于在经过一时间段中对检测到所述闪烁的存在进行修正。

24.根据权利要求19所述的设备，所述设备还包括耦合到所述比较器的数字处理器件，所述数字处理器件用于修正由像素矩阵接收的闪烁。

25.根据权利要求20所述的设备，其中所述像素矩阵具有尺寸并且其中所述非线性响应像素被以等于或小于所述像素矩阵的尺寸的距离设置在所述像素矩阵之外。

26.一种图像传感器，该图像传感器包括：

像素矩阵，所述像素矩阵被设置在集成电路芯片的一个区域内的第一平面上；以及

闪烁检测器，所述闪烁检测器包括光敏器件、解调器和比较器，所述光敏器件被设置在所述像素矩阵的第一平面之外的区域内，所述解调器与所述光敏器件耦合以输出电信号，且所述比较器与所述解调器耦合以接收经解调的信号，

其中所述解调器进一步接收具有载波频率的参考信号且以所述参考信号对所述电信号进行解调，其中所述比较器进一步接收阈值电平且将所述经解调的信号与所述阈值电平进行比较以检测闪烁的存在，其中所述像素矩阵的像素包括在n型衬底上方的深p阱中的n型结，及其中所述光敏器件包括在所述n型衬底中用于闪烁检测的深p阱结。

27.根据权利要求26所述的图像传感器，其中所述光敏器件被设置在所述像素矩阵的第一平面之下的第二平面。

28.根据权利要求26所述的图像传感器，其中所述像素矩阵包括多个线性响应像素，并且其中所述闪烁检测器包括非线性响应像素，所述非线性响应像素包括耦合至所述光敏器件的非线性电阻器。