CN101278549A - 多次曝光光学成像设备 - Google Patents

多次曝光光学成像设备 Download PDF

Info

Publication number
CN101278549A
CN101278549A CNA2006800366613A CN200680036661A CN101278549A CN 101278549 A CN101278549 A CN 101278549A CN A2006800366613 A CNA2006800366613 A CN A2006800366613A CN 200680036661 A CN200680036661 A CN 200680036661A CN 101278549 A CN101278549 A CN 101278549A
Authority
CN
China
Prior art keywords
light
pixel
transducer
exposure
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800366613A
Other languages
English (en)
Inventor
J·V·加特斯
C·J·努兹曼
S·保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of CN101278549A publication Critical patent/CN101278549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

用于存储对象的光学图像的设备包括具有多个像素的成像设备，各像素包括光传感器和耦合到传感器的多个存储单元。透镜系统把来自对象的光线聚焦到成像设备。在各像素中，存储单元的第一个配置成存储对应于它的传感器对来自对象的光线第一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感器对来自对象的光线第二次曝光的数据。在一个优选实施例中，像素设置在阵列中沿第一方向延伸，并且在第一与第二次曝光之间的时间间隔中，平移器配置成在第二方向产生成像设备与透镜系统的焦点之间的相对平移或偏移。在一个实施例中，第二方向穿过第一方向。在一个优选实施例中，各像素包括感光区域，并且使像素偏移某个距离，该距离近似等于在第二方向所测量的感光区域的间距的一半。这样，通过增加传感器的像素的有效数量而没有增加像素的实际数量，本发明提高空间分辨率。在本发明的备选实施例中，增强传感器的动态范围。

Description

多次曝光光学成像设备
技术领域
本发明涉及用于存储电子形式的光学图像的设备，更具体来说，涉及用于存储静止图像、视频图像或者它们两者的数字照相机。
背景技术
数字照相机发展的趋势是通过增加相机的图像转换器中的像素数量来提高空间分辨率。转换器是一种形式的光检测传感器，通常是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件。对于给定大小的光传感器(例如标准单镜头反光(SLR)照相机的24mm×36mm传感器面积)，增加像素数量意味着减小各像素的大小。但是，更小的像素收集更少光子，它减小照相机的信噪比。已知的是可通过若干方式来缓解这个问题：通过使用微透镜阵列来增加光线收集效率；通过改进像素的设计和制作，以便减小噪声；和/或通过使用信号处理算法从感有噪数据提取实时信号。
然而，现有技术的光传感器仍然受到收集光子的散粒噪声以及转换器电路的电子噪声限制。光线的散粒噪声是基本的并且无法减小，而电子噪声可通过冷却传感器来减小，但是以增加的功耗为代价。因此，对于可放入SLR照相机的典型面积的像素数量存在实际限制。
目前具有最高分辨率(16.7百万像素)的数字SLR照相机是由Canon制造的EOS IDs Mark II照相机。这种照相机的分辨率相当于相同大小的ISO 100胶片，并超过许多ISO 400胶片。有人会说，具有比Canon EOS IDs Mach II更高像素密度的传感器目前是不必要的，但是，对于更高分辨率的需求似乎继续发展-看来始终有摄影师追求具有更高百万像素密度和更高感光度的照相机。(注意，较高像素数量存在于中等帧格式照相机中，但较高密度则没有。)
因此，数字照相机领域中存在对于较高空间分辨率的数字照相机的需要，该较高空间分辨率的数字照相机不会遭受到伴随使用较小大小像素的增加的噪声问题。
另外，在一些数字照相机中，光传感器包含本领域所说的死区，即传感器表面面积中对光线不灵敏或者屏蔽了光线的部分。通过减少传感器表面面积中感光的部分，死区的部分同样减小空间分辨率。各种光传感器设计产生死区；例如，在一种设计中，各像素可包含光电管(photocell)以及由横向相邻的存储单元(或读出单元)形成的死区；在另一种设计中，传感器可包括对不同波长的光线(如原色)进行响应的光电管，其中，例如蓝和绿光电管相对红光电管被认为是死区；以及在又一种设计中，传感器可包括对不同强度的光线进行响应的光电管，其中，例如对较低强度灵敏的光电管相对于对较高强度灵敏的光电管被认为是死区。
不管设计成数字照相机的光传感器的死区的类型，本领域还需要增加这类照相机的空间分辨率。
发明内容
根据本发明的一个方面，用于存储对象的光学图像的设备包括具有多个像素的成像设备，各像素包括光传感器和耦合到传感器的多个存储单元。透镜系统把来自对象的光线聚焦到成像设备。在各像素中，存储单元的第一个配置成存储对应于它的传感器对来自对象的光线第一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感器对来自对象的光线第二次曝光的数据。在一个优选实施例中，像素设置在阵列中沿第一方向延伸，并且在第一与第二次曝光之间的时间间隔中，平移器(translator)配置成在第二方向产生成像设备与透镜系统的焦点之间的相对平移或偏移。在一个实施例中，第二方向穿过第一方向。在一个优选实施例中，各像素包括感光区域，并且使像素偏移某个距离，该距离近似等于在第二方向所测量的感光区域的间距的一半。
这样，通过增加传感器的像素的有效数量而没有增加像素的实际数量，来提高空间分辨率。因此，仅具有N个像素的传感器具有带2N个像素的传感器的有效分辨率。
根据本发明的另一个方面，一种生成表示对象的光学图像的电子数据的方法包括以下步骤：(a)使对象发出的光线入射到光学成像设备的像素上；(b)在步骤(a)中提供像素的多次曝光，每次曝光在像素中生成电子图像数据；以及(c)在每次曝光之后，将数据转移到读出设备的子集，不同子集在连续转移操作期间接收数据。
因此，通过在传感器的不同空间位置的图像数据的多次曝光和读出，来实现空间分辨率的提高。
在本发明的又一个实施例中，增加动态范围而无需在第一与第二曝光之间平移成像设备。但是，在这种情况下，这些曝光具有不同的时长。
附图说明
通过以下结合附图的更详细描述，可易于理解本发明及其各种特征和优点，附图包括：
图1是根据本发明的一个实施例的数字照相机的框图；
图2是根据本发明的一个实施例的CCD像素的示意顶视图；
图3是用于使图1的成像设备、因而使图2或图6的像素偏移的说明性设备的示意顶视图；
图4和图5是示出根据本发明的备选实施例的显示像素偏移的示意顶视图；以及
图6是根据本发明的一个备选实施例的CCD像素的示意顶视图。
具体实施方式
数字照相机配置
详细论述本发明之前，首先来看图1，它示出用于生成和存储或记录表示对象12的光学图像的电子数据的众所周知的光学成像设备10的框图。(术语“对象”表示通过例如反向、折射、散射或内部生成的过程发出光线的任何物体。)为了简洁起见，在以下论述中，假定设备10是数字照相机，它包括用于交替阻挡来自图像12的光线进入照相机或者将这种光线传送到照相机的快门14。众所周知，这类数字照相机具有生成静止图像、视频图像或者它们两者的能力。
当快门14开启时，来自对象12的光线由透镜系统16聚焦到成像设备18。透镜系统通常包括变焦透镜子系统、聚焦透镜子系统和/或成像偏移校正子系统(图1中未示出)。成像设备18说明性地包括众所周知的CCD或CMOS器件，但是同样为了简洁起见，在以下论述中，假定成像设备18是CCD。CCD通常是彩色区域传感器，它包括设置成行和列的像素阵列，其中独立像素配置成接收红、蓝和绿色成分。本领域众所周知，在曝光操作期间，像素以光电方式把来自图像12的光线转换为对应于颜色成分的强度的模拟图像信号形式的电子数据。随后，从像素转移出数据。曝光和转移操作在预定周期、通常大约15ms交替进行。
在本发明的一个说明性实施例中，CCD 18具有以下论文中描述的类型的行间(IL)体系结构：Eastman Kodak Co.，MicroelectronicsTechnology Division(Rochester，NY)发表的标题为“电荷耦合器件(CCD)图像传感器”(Kodak CCD Primer，Document #KCP-001(2001))，通过引用将它结合到本文中。这篇论文可见于以下URL的因特网网站：http://www.kodak.com/US/en/digital/pdf/ccdPrimerPart2.pdf或者http://www.extremetech.com。IL体系结构通过在非灵敏或光屏蔽平行读出CCD的行之间形成隔离感光区域，来分离光电检测和读出功能。但是，本CCD修改成处理多次曝光，如以下结合图2-图6所述。
CCD 18生成的图像信号耦合到信号处理器20、通常为数字信号处理器(DSP)。说明性地，处理器20减小来自CCD 18的图像信号的噪声，并调整图像信号的电平(level)(幅度)。
信号处理器20的输出耦合到模数(A/D)转换器22，它根据定时器34所提供的时钟信号将已处理的模拟图像信号转换成具有预定位长度(例如12位)的数字信号。在许多应用中，信号处理器20和A/D转换器22集成在单个芯片中。
这些数字图像信号作为对图像处理器24的输入来提供，图像处理器24通常执行各种操作，包括例如：(i)黑色电平校正，即，将A/D转换器22生成的数字信号的黑电平校正到参考黑电平；(ii)白平移校正，即，执行来自A/D转换器22的各颜色成分的数字信号的电平转换；以及(iii)伽玛校正，即，校正来自A/D转换器22的数字信号的伽玛特性。
经由双向总线27耦合到控制器28的图像存储器26以照相模式暂时存储来自图像处理器24的已处理数字信号，并以回放模式暂时存储从存储卡32读出的图像数据。
存储卡32经由标准I/F接口(未示出)耦合到控制器28，用于将图像数据写入存储卡32以及从其中读取图像数据。
控制器28通常是微型计算机，它包括：存储器(未示出)(例如用于存储从图像存储器26转移的图像信号的RAM以及用于存储各种照相机功能的程序的ROM)；时钟信号CLK0的定时生成器(未示出)；以及用于分别经由传感器驱动器36、透镜驱动器38和快门驱动器40来控制光传感器18、透镜系统16和快门14的物理移动的控制信号的伺服生成器(未示出)。重要的是，控制器28生成用于经由传感器驱动器36使光传感器18的横向位置相对透镜系统16的焦点偏移的控制信号。下一节更详细地描述后一种操作。
对控制器的外部输入通常通过控制盘(control pad)42生成。这些输入可包括例如快门按钮、模式设置开关和图像偏移校正通/断开关。
增强的有效空间分辨率实施例：作为死区的读出区域
在图2中，示出根据本发明的一个实施例的成像设备18。成像设备18示为具有N个像素18.1的阵列的CCD，例如设置成以上所述类型的IL体系结构，但按照以下方式修改成处理多次曝光并增加照相机的可见空间分辨率。各像素18.1的形状本质上是具有宽度w的矩形，如图2A所示，但是其它几何形状是可行的。各像素包括宽度wp的感光区域(或光传感器)18.1p和宽度各为wr的n个读出区域(或存储单元)18.1r。通常w～wp+wr。读出区域18.1r电子耦合到相应的感光区域18.1p，并且设计成对于对象12发出的光线不灵敏或者屏蔽了那个光线。由于读出区域没有帮助光到电(即电荷)的转换，所以它们构成死区。通常存见于成像设备的另一个死区包括例如布线、存储电容器和逻辑电路占用的面积。
优选地，各像素的死区占用的表面面积不应当小区总像素面积的大约(n-1)/n；例如，对于n＝2，如图2中那样，读出区域占用的面积应当至少为总像素面积的大约一半；对于n＝3，读出区域占用的面积应当至少为总像素面积的大约三分之二。另一方面，在某些情况下，各像素的表面面积中由死区占用的部分可小于(n＝1)/n，比如(n-m)/n，其中1＜m＜2。只要参数m不是太过于接近二，则以下结合图5所述的后处理可用来确保增强的空间分辨率。
读出区域18.1r可设置在感光区域18.1p的同一侧，如图2A所示，或者设置在像素的不同侧。后一种配置在图6的光传感器88中示出，其中，读出区域88.1r设置在感光区域88.1p的相对侧。其它配置虽然稍微更复杂，但可易于由本领域的技术人员想到(例如，一个读出区域沿各感光区域的侧边的一个或多个设置，而一个或多个读出区域沿其顶边和/或底边设置)。另外，虽然图2和图6示出感光区域好像设置在本质上相同的平面，但是，将它们设置在多层成像设备结构的不同平面上也是可行的。例如，将读出区域设置在感光区域之下会增加设备表面面积中感光的部分，但是以更复杂的处理为代价。
仅为了说明的简洁和便利，选择N＝8(各具有四个像素的两列，如图2B和图6所示)以及n＝2(各感光区域18.1p(88.1p)耦合到两个读出区域18.1r(88.1r)，如图2A和图6所示)，只要本领域的技术人员会理解，N通常远远大于八(例如大约106)，并且n可以略大于2(但伴随复杂度的增加)。
CCD 18(88)配置成在快门保持开启的时间段中将其横向位置相对透镜系统16的焦点改变某个量Δ，因而来自对象12的光线落在CCD上。横向位置表示CCD通常以穿过CCD的列的方向移动。因此，移动的方向可与列的方向垂直(图2B)或者倾斜(未示出)。优选地，使像素偏移某个距离Δ，它近似等于阵列中的感光区域的间距的一半。
为了实现这种移动，CCD 18(88)安装在图3A所示类型的机电平移器50中。平移器50包括刚性安装在照相机10中的框架50.1以及CCD 18可滑动地安装在其中的沟槽50.2。在第一位置中，CCD 18邻接沟槽50.2一端的机械光圈(mechanical stop)50.3，以及在第二位置中，它邻接沟槽50.2对端的机械光圈50.5。在第三位置中，CCD 18(88)返回到与光圈50.3邻接。通过响应来自传感器驱动器36和控制器28(图1)的控制信号的众所周知的适当压电驱动器(piezoelectricactuator)(以及关联弹性部件、如弹簧)50.4，来实现CCD的移动或平移。
由于典型像素大小大约为5-10μm，因此，平移器50应当设计成以小且稳的步长来移动CCD 18(88)，用快速阻尼以减小任何振动。具有2-6μm位移和100kHz共振频率的压电驱动器和平移器是市场有售的。(例如参见Physik Instrumente，Auburn，MA andKarlsruhe/Palmbach(Germany)的因特网网站URL http://www.pi.ws。)
本发明可与电子快门(例如焦平面快门，它清除(flush)和重置CCD以便创建独立曝光)或者机械快门(例如，两个可移动幕帘同时动作以便形成实现短曝光时间的狭缝)或者它们两者配合使用。在任何情况下，驱动器50.4应当能够充分迅速地使CCD位置偏移，使得在对象或照相机的任何明显移动之前进行CCD的两次或两次以上连续曝光。(说明性地，驱动器能够以大约10mm/s的速度使CCD偏移。)如下文所述，通过在传感器的不同位置的图像的多次曝光和读出，来实现可见空间分辨率的提高。
在论述本发明的各种实施例的操作之前，首先定义术语“曝光”。本领域众所周知，CCD 18(88)的曝光包括出现两个事件：光学事件，其中，从对象12发出的光线落在CCD 18(88)，入射光生成待收集的图像数据(例如电子形式的电荷截流子)；以及电气事件，其中，施加到CCD 18(88)的定时信号使光传感器18.1p(88.1p)处于电荷收集状态。在光学事件期间，快门14开启，以及透镜系统16把来自对象12的光线聚焦到CCD 18(88)。另一方面，在电气事件期间，来自定时器34的定时信号在各个感光区域18.1p(88.1p)中建立势阱。所收集的电荷保持陷入感光区域18.1p(88.1p)的势阱，直到随后使感光区域处于电荷转换状态为止，也就是说，来自定时器34的后续定时信号将俘获电荷转移到读出区域18.1r(88.1r)。
根据本发明，在快门14开启的时间与下一次闭合的时间之间的间隔中，发生多次曝光。这样，通过在快门开启时光线继续入射到成像设备18(88)，来自定时器34的定时信号使感光区域在其电荷收集状态与电荷转换状态之间循环。每次曝光的长度对应于感光区域在每个周期中保持为电荷收集状态的时间。例如，我们提到第一次曝光，它在使感光区域处于其电荷收集状态的第一定时信号与将所收集电荷转移到第一读出区域的第二定时信号之间发生；并且我们提到第二次曝光，它在使感光区域处于其电荷收集状态的第三定时信号与将所收集电荷转移到第二读出区域的第四定时信号之间发生。类似地可定义第n次曝光。
在操作中，在起动快门按钮时，控制器28向快门驱动器40发送控制信号，快门驱动器40又开启快门14，以及定时器34向CCD 18(88)发送定时信号，以便使感光区域18.1p(88.1p)处于其电荷收集状态。在对应于第一次曝光的这一点上，CCD 18处于第一位置，如图3A以及图2B的顶部所示。在第一位置中，每个像素18.1的各感光区域18.1p暴露于来自对象12的光线，它使电荷填充充当电容器的区域18.1p的势阱。在第一次曝光之后，定时器34向CCD 18(88)发送其它定时信号，使得将这些感光区域18.1p(88.1p)的每个所存储的电荷转移到同样用作电容器的读出区域18.1r(88.1r)的第一子集。例如，在图2A的实施例中，将每个感光区域18.1p中存储的电荷转移到它的上读出区域18.1r1。这样，感光区域18.1p被清除电荷，并准备接收来自下一次曝光的光线(并存储电荷)。与此相比，在图6的实施例中，在第一次曝光之后，来自各感光区域88.1p的电荷例如被转移到其左侧的读出区域88.1r1。这样，感光区域88.1p被清除电荷。
通过快门14仍然开启，使整个CCD 18(88)偏移到新位置；也就是说，控制器28向传感器驱动器36发送控制信号，传感器驱动器36又令驱动器50使CCD 18(88)在垂直于CCD的列的方向平移某个量Δ，如图2B和图3A所示。在CCD偏移操作中，CCD 18仍然暴露于来自对象12的光线。但是，定时器34向CCD 18(88)发送其它定时信号，以便重置或清除感光区域18.1p(88.1p)在偏移操作期间收集的任何寄生电荷，并使它们返回到电荷收集状态。这时，第二次曝光开始；电荷再次填充感光区域18.1p(88.1p)的势阱，但是，这一次所收集电荷对应于对象12的略有不同的部分。重要的是，来自对象12的、先前落在死区的光线这时落在感光区域。在第二次曝光完成之后，定时器34向CCD 18(88)发送其它定时信号，使得将电荷转移到同样用作电容器的读出区域18.1r(88.1r)的第二子集。例如，在图2A的实施例中，把来自每个感光区域18.1p的电荷转移到它的下读出区域18.1r2。在这个阶段，读出区域18.1r1包含来自第一次曝光的电荷，而读出区域18.1r2包含来自第二次曝光的电荷。随后依次把来自整个像素阵列的读出区域的两个集合的电荷输出到信号处理器20。
与此相比，在图6的实施例中，在第二次曝光之后，来自各感光区域88.1p的电荷例如被转移到其右侧的读出区域88.1r2。这样，感光区域88.1p被清除电荷。在这个阶段，读出区域88.1r1包含来自第一次曝光的电荷，而读出区域88.1r2包含来自第二次曝光的电荷。随后并行地把来自整个像素阵列的读出区域的两个集合的电荷输出到信号处理器20。说明性地，将左侧读出区域88.1r1中的电荷沿列88.2偏移，而将右侧读出区域88.1r2中的电荷沿列88.3偏移。
使光传感器18(88)在多次曝光之间偏移的净效应是，通过将像素的表观数量(apparent number)从N增加到2N，来增加照相机的空间分辨率。(空间分辨率表示每个单位长度的可识别行数。)因此，使用图2的图解，传感器18仅具有N＝8个像素(图2B)，但具有带2N＝16个像素的传感器18’(图2C)的分辨率。类似说明适用于图6的光传感器。
一般来说，有效空间分辨率从N提高到nN，只要照相机设计成每个感光区域具有n个读出区域，并且每当快门开启时提供n次曝光。另外，在每个像素中，表面面积中被认为是死区的部分优选地不小于像素的总表面面积的(n-1)/n。
传感器相对焦点的平移
传感器18(88)与焦点之间的相对平移也可通过操纵透镜系统16来实现。在这种情况下，传感器18(88)是固定的，以及成像透镜子系统的组件的一个或多个被移动(例如平移、旋转或者它们两者)，从而引起对象12的图像在多次曝光之间偏移。
另外，如上所述，传感器18(88)的相对偏移可相对CCD列倾斜地(例如沿对角线)执行，它有效地改变在被偏移之前和之后、在感光区域之间发生的重叠的种类。例如，在说明性地具有设置成垂直列和水平行的像素的图2B的光传感器实施例中，如果偏移量Δ的水平成分小于感光区域的宽度wp＝md(如图5中的情况那样)，则存在这样一种重叠，而如果偏移量Δ的成分等于这个宽度(如图4中的情况那样)，则不会存在这种重叠。另外，如果偏移具有水平成分以及垂直成分(即倾斜偏移)，则垂直成分影响哪些感光区域重叠。因此，倾斜偏移可引起第二次曝光(偏移)感光区域各重叠四个第一次曝光感光区域(未示出)而不是图5所示的两个。
在任一种情况下，众所周知的后信号处理软件则可用于在重叠区域的两个读数之间进行内插，以便提供比实际未偏移像素阵列明显更高的分辨率。考虑一个实施例，其中，光传感器18包括具有由其感光区域在垂直于列的方向的中线到中线间隔所确定的间距2d(图4)的像素的行和列的规则阵列(例如图2B)。在本发明的一个简单实现中，使感光区域18.1p的宽度wp等于那些区域之间的间距2d的一半，并且在第一次曝光之后使像素偏移距离d，如图4所示。在第一次曝光期间像素的位置由实线示出；在第二次曝光期间由虚线示出。在第一次曝光之后，使传感器在箭头60的方向上向右偏移，然后发生第二次曝光。因此，在第二次曝光中测量的图像数据实际上建立像素的没有间隔或重叠的邻接序列。
在另一个实施例中，传感器阵列设计成使得各感光区域的面积更大、比如半间距的m倍，如图5所示，其中，像素偏移的方向由箭头70示出。在这种情况下，两次曝光在空间上重叠，从而建立模糊或平滑效果。但是，只要m不是过于接近二，则可通过简单信号处理来消除模糊，从而获得预期半间距分辨率。更具体来说，假定在m＝1的情况下得到的像素值的理想序列为x[1]，x[2]，x[3]，...。则，如果1＜m＜2，那么所得模糊序列为y[1]，y[2]，y[3]，...，其中y[i]由等式(1)给出：
y[i]＝x[i]+ρ(x[i-1]+x[i+1])                            (1)
式中，ρ＝(m-1)/2。通过使用逆滤波器对数据y卷积以得到x＝h*y，可恢复理想序列。包含在图像处理器24中的逆滤波器所需的系数h[i]由等式(2)给出：
h [ i ] = ( - 1 ) i Σ k = | i | ∞ ρ 2 k - | i | 2 k - | i | k - - - ( 2 )
只要ρ不是过于接近1/2，则系数h[i]随|i|增加而迅速减小，使得可将序列截取到少量系数。一个备选实现是设置x1＝y，然后执行若干次等式(3)给出的形式的Jacobi迭代：
xn+1[i]＝y[i]-ρ(xn[i-1]+xn[i+1])                       (3)
其中n＝1，2，...。同样，如果ρ不是过于接近1/2，则在几次迭代之后，这个过程将收敛到x的良好估计。
增强的有效空间分辨率实施例：其它形式的死区
由于存在设置在感光区域之间的光不灵敏或光屏蔽读出区域的形式的死区，以上描述的本发明的实施例是有利的。但是，本文所述的本发明的原理可适用于光传感器包括其它类型的死区的数字照相机，死区包括例如：(1)感光区域的一个子集对光线波长具有与感光区域的至少另一个子集不同的灵敏性(颜色灵敏度)的死区；以及(2)感光区域的一个子集对光线强度具有与感光区域的至少另一个子集具有不同灵敏度的死区。在这些实例中，从使用感光区域的一个子集来收集图像数据的观点来看，其它所有子集都被认为构成死区。因此，即使读出区域置于感光区域之下，也存在死区。
不管死区的类型，本发明的所有这些实施例都包括耦合到各感光区域的多个读出区域、多次曝光以及使光传感器在曝光之间相对焦点偏移，如前面所述。
例如考虑上述Kodak CCD Primer的第10页所述类型的滤色器阵列。滤色器用于渲染(render)对不同光线波长(例如原色即红、蓝和绿色的每个)进行响应的不同感光区域。对一个波长进行响应的感光区域相对其它光线波长可被认为是死区。因此，从红光的角度来看，绿色和蓝色感光区域构成死区。同样，从绿光的观点来看，红色和蓝色感光区域构成死区，依此类推。因此，本偏移和多次曝光方法可用于提供一种填充间隙的方式，由此达到更高的空间分辨率。例如考虑感光区域阵列的以下部分，它们定期重复进行，并且标记为R、G或B，以便分别表示红、绿或蓝光。
                    RBRBRBRB
                    GGGGGGGG
                    RBRBRBRB
                    GGGGGGGG
使光传感器相对透镜系统的焦点、沿对角线在向下和向右的方向偏移。因此，在以下对于红色数据所示类型的图案中，照相机有效地看到绿色数据的完全取样阵列，而仅有效地看到蓝色数据的半取样阵列和红色数据的半取样阵列：
                     R R R R
                      R R R R
                     R R R R
                      R R R R
或者，通过具有以下图案的感光区域的阵列
                   RGBRGBRGB
                   RGBRGBRGB
                   RGBRGBRGB
                   RGBRGBRGB
通过使用两个水平偏移和三次曝光，本照相机有效地看到各色数据的完全取样阵列，或者通过使用一个水平偏移和两次曝光，有效地看到各色数据的2/3取样阵列。
另一方面，考虑对光线强度具有不同灵敏度的感光区域的光传感器(例如，感光区域的一个子集具有较高灵敏度、而至少一个第二子集具有较低灵敏度的阵列)。本领域众所周知，在具有较大表面面积的感光区域中，灵敏度增加。因此，两个子集可对应于具有不同面积的感光区域。因此，具有两种类型的感光区域的光传感器可用来提高空间分辨率，因为更灵敏的区域提供来自对象12的暗区的有用读数，而不太灵敏的区域提供来自对象12的亮区的有用读数。读数的两个集合通过本领域众所周知的后处理技术进行组合，从而获得高对比画面的高质量图像。
增强的有效动态范围实施例
本发明的CCD和CMOS光传感器实施例中所使用类型的感光区域有效地测量乘积αIt提供的能量，其中，α是感光区域的灵敏度，I是入射到感光区域的光线强度，以及t是曝光时间。为了获得用于生成图像的有用数据，该能量必须处于上限与下限之间，这又定义了光传感器因而以及照相机的动态范围。如果对象(或者包含对象的画面)具有较低的对比度，则落在不同感光区域的光线强度没有明显变化。因此，查找适合于所有感光区域的共同曝光时间是简单的；也就是说，在各感光区域所吸收的能量落入动态范围之内的意义上是适合的。另一方面，如果对象或画面具有较高的对比度，则落在不同感光区域的光线强度存在明显变化。因此，可能没有适合于所有感光区域的共同曝光时间。通常发生折衷。如果曝光时间过长，则某些感光区域会饱和；如果过短，则其它区域会丢失噪声基底中的数据。
但是，本发明的另一个实施例增加这类光传感器的有效动态范围，由此使它更适合用于高对比对象或画面。在这种情况下，所有感光区域本质上具有相同灵敏度。但是，第一和第二次曝光具有不同的时长。更具体来说，如果对象12例如构成高对比画面，则第一次曝光具有在感光区域电荷中产生的较短时长(例如大约0.5至5ms)，随后将电荷转移到读出区域的第一子集并存储在其中。另一方面，第二次曝光具有在感光区域电荷中产生的较长时长(例如大约10至100ms)，随后将电荷转移到读出区域的第二子集并存储在其中。然后，两个子集的所存储电荷被读出和处理。
本发明的这个实施例包括耦合到各感光区域的多个读出区域和多次曝光，如前面所述，但是消除了使光传感器相对焦点在曝光之间偏移的需要。
例如，考虑十六个感光区域的阵列，其中如图2C所示本质上没有死区，以及读出区域置于感光区域之下。对于具有较高对比度的对象或画面，照相机首先拍摄短曝光图像，并将十六个数据点存储在读出区域的第一子集，然后拍摄较长曝光图像，并将十六个另外的数据点存储在读出区域的第二不同子集中。(无疑可倒转曝光的顺序。)所存储数据对应于对象或画面的相同的十六个空间位置。对象或画面的亮区的数据点是存储在读出区域的第一子集中的有用数据，但在读出区域的第二子集中饱和。相反，对象或画面的暗区的数据点是存储在读出区域的第二子集中的有用数据，但在读出区域的第一子集中极小(本质上为零)。然后，众所周知的信号处理技术用于组合读出区域的两个子集中存储的数据，从而得到十六个有用数据点。
其他实施例
应该理解，上述配置只是说明可设计成表示本发明的原理的应用的许多可能的具体实施例。其它许多各种配置可由本领域的技术人员根据这些原理来设计，而没有背离本发明的精神和范围。
具体来说，本发明的另一个实施例组合上述若干方法。例如，如果光传感器具有死区，其中包括全部具有本质上相同灵敏度的感光区域阵列以及每个感光区域的三个读出区域，则控制器可设计用于每个周期三次曝光：第一和第二次短曝光(其中CCD在这些曝光之间平移)以及第三次较长曝光(其中CCD没有在第二与第三次曝光之间平移)。这个实施例提供对象12的亮区的增强分辨率以及暗区的常规分辨率。
我们还注意到，如果图像本身比多次曝光的时长更快地改变，则本照相机创建的最终图像可能模糊。在那种情况下，本照相机可配备现有技术所述种类的机构，在曝光期间响应任何外部振动而移动光传感器18。允许摄影师在低光度条件下拍摄清晰照片而无需使用三脚架的这种设计还可用于多次曝光，以便提高现有传感器的分辨率。(例如参见美国已发布专利申请2003/0210343和2004/0240867，通过引用将它们结合到本文中。)
另外，本发明具有以增加少许复杂度的代价在读出期间减小图像斑点的优点。虽然与全帧传感器相比，在一些实施例中使用IL类型的CCD体系结构减少了感光区域的部分，但是，通过众所周知的微透镜阵列可补偿较低的灵敏度，微列将光线集中并重定向到感光区域，如前面的Kodak CCD Primer所述。
此外，虽然将光传感器18表示为设置成列和行的矩形像素的矩形阵列，但是，本领域的技术人员会理解，本发明可使用以不同于行/列的配置来设置像素和/或像素具有与矩形不同的形状的其它类型的阵列来实现，但可能以增加的复杂度为代价。
我们注意到，一般来说，图像可包含多个数据平面，其中，数据平面是对应于特定类型的测量的数值的二维阵列(例如，基于入射光的颜色或强度或者基于曝光时间的测量)。数值在阵列中的位置对应于进行测量的对象或图像上的空间位置。例如，在不同感光区域对颜色具有不同灵敏度的本发明的增强空间分辨率实施例中，黑白照片由一个数据平面组成，而彩色照片具有对应于RGB的三个数据平面，即数值的三个2D阵列。另一方面，在不同感光区域对光线强度具有不同灵敏度的本发明的增强空间分辨率实施例中，存在两个数据平面：使用高灵敏度所测量数值的阵列以及采用低灵敏度区域所测量的阵列。照相机内部或外部的后续处理组合多个数据平面，从而形成单个黑白或彩色照片。在这两种情况中，本发明可用于提高对象或图像中的各个数据平面的空间分辨率，由此提高整体图像的空间分辨率。最后，在本发明的增强动态范围实施例中，存在两个数据平面：使用短曝光所测量数值的阵列以及采用较长曝光所测量的阵列。照相机内部或外部的后续处理将多个数据平面组合为单个照片。

Claims (10)

1.一种用于存储对象的光学图像的设备，所述设备包括：
成像设备，具有多个像素，
各像素包括光传感器和耦合到所述传感器的多个存储单元，
在各像素中，存储单元的第一个配置成存储对应于它的传感器的第一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感器的第二次曝光的数据。
2.如权利要求1所述的设备，还包括：
透镜系统，用于把来自所述对象的光线聚焦到所述成像设备，以及
平移器，配置成产生所述成像设备与所述透镜系统的焦点之间的相对平移，所述平移在所述第一与第二次曝光之间发生。
3.如权利要求2所述的设备，其中，所述多个像素组成设置成在列之间具有均匀间距的列和行的像素阵列，以及所述平移器配置成产生某个量的所述平移，所述量大约是在本质上垂直于所述列的方向上的所述间距的一半。
4.如权利要求1所述的设备，其中，所述光传感器的每个具有多侧，并且它的存储单元的至少两个设置在所述光传感器的同一侧。
5.如权利要求1所述的设备，其中，所述光传感器的每个具有多侧，以及它的存储单元的至少一个设置在所述光传感器的一侧，并且它的存储单元的至少不同的一个设置在所述光传感器的不同侧。
6.如权利要求2所述的设备，还包括：光快门(light shutter)，具有来自所述对象的光线照射所述传感器的所选部分的开启状态以及来自所述对象的光线没有照射所述传感器的闭合状态；以及控制器，配置成(i)开启所述快门，由此使所述传感器暴露于来自所述对象的光线，并在所述传感器中生成表示所述图像的电子数据；(ii)将所述数据从所述传感器转移到所述第一存储单元；(iii)起动所述平移器，以便使所述传感器相对所述焦点偏移，由此使所述偏移传感器暴露于来自所述图像的光线，并在所述传感器中生成表示所述对象的其它数据；(iv)从所述传感器删除在所述偏移操作期间以及在生成所述其它数据之前在其中生成的寄生数据；(v)将所述其它数据从所述传感器转移到所述第二存储单元；以及(vi)闭合所述快门。
7.如权利要求1所述的设备，其中，所述光传感器的第一子集对来自所述对象的光线具有第一曝光灵敏度，以及所述光传感器的第二子集对来自所述对象的光线具有第二曝光灵敏度。
8.如权利要求1所述的设备，其中，所有所述传感器对于来自所述对象的光线强度都具有本质上相同的灵敏度，以及所述第一和第二次曝光具有不同的时长。
9.如权利要求1所述的设备，其中，所述像素的第一子集对于第一原色的光线具有第一频率灵敏度，所述像素的第二子集对第二原色的光线具有第二频率灵敏度，以及所述像素的第三子集对于第三原色的光线具有第三频率灵敏度。
10.如权利要求1所述的设备，其中，所述像素包括死区，所述像素的每个包括n个所述存储单元，以及在所述像素的每个中，所述死区占用的表面面积不小于所述像素的总表面面积的大约(n-1)/n。
CNA2006800366613A 2005-10-04 2006-09-25 多次曝光光学成像设备 Pending CN101278549A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/242,751 2005-10-04
US11/242,751 US20070075218A1 (en) 2005-10-04 2005-10-04 Multiple exposure optical imaging apparatus

Publications (1)

Publication Number Publication Date
CN101278549A true CN101278549A (zh) 2008-10-01

Family

ID=37622126

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800366613A Pending CN101278549A (zh) 2005-10-04 2006-09-25 多次曝光光学成像设备

Country Status (5)

Country Link
US (1) US20070075218A1 (zh)
EP (1) EP1932334A1 (zh)
JP (1) JP2009510976A (zh)
CN (1) CN101278549A (zh)
WO (1) WO2007041078A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739924A (zh) * 2012-05-31 2012-10-17 浙江大华技术股份有限公司 一种图像处理方法和系统
CN103379287A (zh) * 2012-04-13 2013-10-30 株式会社东芝 受光装置、受光方法以及传输系统
CN104702971A (zh) * 2015-03-24 2015-06-10 西安邮电大学 相机阵列高动态范围成像方法
CN106101555A (zh) * 2016-07-29 2016-11-09 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
CN106303272A (zh) * 2016-07-29 2017-01-04 广东欧珀移动通信有限公司 控制方法及控制装置
CN110187355A (zh) * 2019-05-21 2019-08-30 深圳奥比中光科技有限公司 一种距离测量方法及深度相机
CN114882853A (zh) * 2022-04-18 2022-08-09 深圳锐视智芯科技有限公司 曝光时间调整方法、装置、调节设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493900B1 (ko) * 2003-08-21 2005-06-10 삼성전자주식회사 사용자간 콘텐츠에 대한 권한정보의 공유방법
US20090059039A1 (en) * 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
US8169519B1 (en) * 2007-12-26 2012-05-01 Google Inc. System and method for reducing motion blur using CCD charge shifting
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
US8144220B2 (en) * 2009-09-30 2012-03-27 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) * 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194165B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194166B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9357972B2 (en) 2012-07-17 2016-06-07 Cyber Medical Imaging, Inc. Intraoral radiographic sensors with cables having increased user comfort and methods of using the same
JP6063658B2 (ja) * 2012-07-04 2017-01-18 オリンパス株式会社 撮像装置
US10466036B2 (en) 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
CN106791382A (zh) * 2016-12-08 2017-05-31 深圳市金立通信设备有限公司 一种拍照控制方法及终端
CN108270942B (zh) * 2018-01-31 2020-09-25 威海华菱光电股份有限公司 图像扫描装置、控制图像扫描光信号的接收方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US240867A (en) * 1881-05-03 Machine for roasting coffee
US210343A (en) * 1878-11-26 Improvement in bread-cutters
US141564A (en) * 1873-08-05 Improvement in sheaves
EP0934648A4 (en) * 1996-05-03 2001-03-14 Silicon Mountain Design Inc HIGH-SPEED IMAGE SYSTEM, IMAGE PROCESSING AND CAMERA SYSTEM
JPH10126663A (ja) * 1996-10-14 1998-05-15 Ricoh Co Ltd 画像入力装置及び画像入力システム
WO2000005874A1 (en) * 1998-07-22 2000-02-03 Foveon, Inc. Multiple storage node active pixel sensors

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379287A (zh) * 2012-04-13 2013-10-30 株式会社东芝 受光装置、受光方法以及传输系统
CN102739924A (zh) * 2012-05-31 2012-10-17 浙江大华技术股份有限公司 一种图像处理方法和系统
CN102739924B (zh) * 2012-05-31 2014-04-16 浙江大华技术股份有限公司 一种图像处理方法和系统
CN104702971A (zh) * 2015-03-24 2015-06-10 西安邮电大学 相机阵列高动态范围成像方法
CN104702971B (zh) * 2015-03-24 2018-02-06 西安邮电大学 相机阵列高动态范围成像方法
WO2018018928A1 (zh) * 2016-07-29 2018-02-01 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
CN106303272A (zh) * 2016-07-29 2017-01-04 广东欧珀移动通信有限公司 控制方法及控制装置
CN106101555A (zh) * 2016-07-29 2016-11-09 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
CN106303272B (zh) * 2016-07-29 2018-03-16 广东欧珀移动通信有限公司 控制方法及控制装置
CN106101555B (zh) * 2016-07-29 2018-05-29 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
CN110187355A (zh) * 2019-05-21 2019-08-30 深圳奥比中光科技有限公司 一种距离测量方法及深度相机
CN110187355B (zh) * 2019-05-21 2023-07-04 奥比中光科技集团股份有限公司 一种距离测量方法及深度相机
CN114882853A (zh) * 2022-04-18 2022-08-09 深圳锐视智芯科技有限公司 曝光时间调整方法、装置、调节设备及存储介质

Also Published As

Publication number Publication date
WO2007041078A1 (en) 2007-04-12
JP2009510976A (ja) 2009-03-12
US20070075218A1 (en) 2007-04-05
EP1932334A1 (en) 2008-06-18

Similar Documents

Publication Publication Date Title
CN101278549A (zh) 多次曝光光学成像设备
CN102197639B (zh) 用于形成图像的方法以及数字成像设备
CN101821657B (zh) 摄像设备
CN100574384C (zh) 摄像装置以及摄像方法
EP2311249B1 (en) Cmos image sensor with selectable hard-wired binning
EP0981245B1 (en) Solid-state image sensing apparatus including sensor cells for focus measurement and / or cells for photometry
JP4972724B2 (ja) インタリーブ画像を捕捉する方法及び装置
US4489350A (en) Solid-state image pickup device
JP2009268073A (ja) 撮像装置及び撮像装置の信号処理方法
CN101233440A (zh) 利用滚动快门的自适应光平面形成
JP2005106994A (ja) 焦点検出装置、撮像装置、それらの制御方法
CN106559622A (zh) 具有闪烁抑制和高动态范围的成像系统
JP2009055320A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2005176105A (ja) 撮像装置、及び撮像装置の駆動方法
US9667878B2 (en) Image capturing apparatus and control method for image capturing apparatus
JP6860390B2 (ja) 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法
JP5105907B2 (ja) 撮像システム
CN103581578A (zh) 图像拾取装置和图像拾取方法
US8049802B2 (en) CMOS camera adapted for forming images of moving scenes
JP2006333439A (ja) 撮像素子、撮像ユニットおよび撮像装置
CN110352489A (zh) 用于cmos成像传感器的自动对焦系统
US6812963B1 (en) Focus and exposure measurement in digital camera using charge binning
JP2008118571A (ja) 撮像装置及びその制御方法
JPS60125079A (ja) 固体撮像素子の駆動方法
EP0994619A1 (en) Readout method for sub-area of digital camera image sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20081001