CN101637030B - 改进型成像设备 - Google Patents

改进型成像设备 Download PDF

Info

Publication number
CN101637030B
CN101637030B CN2007800522724A CN200780052272A CN101637030B CN 101637030 B CN101637030 B CN 101637030B CN 2007800522724 A CN2007800522724 A CN 2007800522724A CN 200780052272 A CN200780052272 A CN 200780052272A CN 101637030 B CN101637030 B CN 101637030B
Authority
CN
China
Prior art keywords
pixel
row
task
integration period
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800522724A
Other languages
English (en)
Other versions
CN101637030A (zh
Inventor
J·C·安德勒斯
J·H·贝克特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Halla Creedong Electronics Co ltd
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN101637030A publication Critical patent/CN101637030A/zh
Application granted granted Critical
Publication of CN101637030B publication Critical patent/CN101637030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及具有大动态范围的改进型成像设备和装有这种改进型成像设备的监视和自动控制系统。

Description

改进型成像设备
相关申请的交叉引用
本申请按35U.S.C§119(e)要求2007年2月22日递交的美国临时专利申请No.60/902,728和2007年2月9日递交的美国临时专利申请No.60/900,588的优先权。这些临时专利申请的公开内容的全部通过引用被包含于此。
背景技术
在许多领域内正在流行使用包括CMOS和CCD型的成像驱动器。本发明提供了一种具有大动态范围的改进型成像设备和装有这种大动态范围成像设备的各种装置。
附图说明
图1和2示出了复位和行读出调度的模式;
图3示出了定时序列;
图4示出了一个示范性方案的框图;
图5示出了与成像阵列内一列像素关联的电路的简图;
图6示出了自动车辆装备控制系统;
图7示出了带有各种装备的受控车辆;
图8a和8b示出了车辆内部后视镜组合;
图9示出了车辆的附件和后视镜安装组合的分解透视图;以及
图10示出了数字照相机的轮廊图。
具体实施方式
诸如数字照相机、数字录像机、可视电话机之类的消费型电子设备越来越普及。这些设备随着许多住宅、商业、工业和车辆的视觉系统已经使基于CCD和CMOS的图像传感器得到普及。已知的设计成能自动控制车辆对外灯光的系统例如应用了前视数字成像系统来获取通常在受控车辆前方和/或后方的景象图像,通过对图像的分析来检测迎面而来的车辆的前灯和前面行驶的车辆的后灯。保安相机遍及住宅、商业和工业设施,以及所关联的停车区域。这些已知的应用中有许多导致需要大的动态范围;景象内的光源包括激烈改变的相对亮度,使得在强光源还没有引起饱和的情况下给定的像素曝光可能不允许检测到弱的光源。所希望的是应用一种可以在环境照明很宽的范围内提供足够的对比度的数字成像系统,例如来检测夜间的光源,而且能区分白天在给定景象内的各个物体。在白天,景象内的物体主要是受到太阳的照射,而这些物体本身并不是光源(即不是前灯、后灯、路标之类)。本发明提供了一种能精确检测和用数字表示弱光源、强光源和受同一景象内其他光源照射的物体的大动态范围图像传感器。
在现有技术中已知有不少成像技术可以提供大动态范围图像。这些技术包括以各种组合方式将一些像素选择性复位(selective reset)。美国专利6,175,383内的一个实施例包括选择一些可用积分周期(available integration period),对于这些可用积分周期来说,第二个可用积分周期为第一个可用积分周期的二分之一,而第三个可用积分周期为第二个可用积分周期的二分之一,诸如此类。也就是说,对于相继的可用积分周期的列表,每个可用积分周期为上一个可用积分周期的二分之一。这个专利还注意到,可以用非破坏性读出来确定所关心区域的最佳曝光时间。该专利示出了用常规读出一行像素再通过对这行像素的串行化逐像素处理后发送给估值电路来对像素值进行监视。然而,该专利没有详细说明在对给定图像进行顺序读出中确定为图像的每个像素选择积分周期的快速响应的自动化方法。另一种现有技术的设备采用周期性的采样周期(sample period),在每个采样周期期间对成像器内的每个像素进行扫描,采用对每个相继阵列扫描上的每个像素进行条件复位(conditional reset)的机制。这种设备具有一个存储器,用来记录复位任务(reset task)和整个成像阵列按顺序给它的要传送给单个比较器的每个模拟像素值一个的模拟输出。这种解决途径的固有周期性、根据复位个数和最终像素读出重建有用光强度值(useful light level value)的困难和对必需按顺序历经即使是中等尺寸的成像器阵列的所有像素的扫描的重复频率的严格限制,使得将这种解决途径应用于美国专利6,175,383中所揭示的宽量程、越来越短的积分周期是不实际的。此外,在该专利发明的优选实施例中,优选的是判断是否对一个像素复位是根据这个像素的当前所积累的电荷量,甚至对于次最短的积分周期也是这样。在本发明的一个示范性设计中,在上个复位后只有6微秒需要完成累积足以适当指示当前积分周期是否适当的电荷、判断是否开始最短的积分周期的复位再对像素条件复位。词“示范性的”或任何类似的派生词在这里用来指本发明的具体实施例,而不是意味着将本发明的范围局限于任何标为示范性的具体实施例。采用由行内许多像素共享的比较功能,串行地将一行的像素移入一个放大器和串行地将一个个像素输出与门限值相比较所需的附加时间,对于如由具有串行化行比较功能的设备的扩展所蕴涵的典型行长度为100或更多个像素的情况来说,需要快到不现实的电路。而且,采用由行内许多像素共享的比较功能,历经成像阵列循环进行最终的条件复位和再次历经阵列循环读出这些值的能力对于最短的积分周期(在一个示范性设计中仅为2μs)的情况更是不现实的。这些就是在整个图像阵列共享一个所关联的复位比较器的现有技术设备内对条件复位采用等间隔采样的原因。
在本发明的一个优选方案中,为了克服现有技术的限制,采用行并行处理(row parallel processing)来:读表示行每个像素的光感应电荷的信号;将缩指示的光感应电荷量与行每个像素的门限量相比较;向存储器记录查询行每个像素的复位状况;根据比较结果、存储器指示和读出顺序内的阶段确定行每个像素是否需复位;根据需要存储经更新的行每个像素的局部复位历史记录;最后根据各个像素的以上信息对行每个像素进行条件复位。作为一个任选方案,在像素积分时间设置顺序(pixel integration time setting sequence)内先前的条件复位已经确定了一个特定像素的积分时间时,可以在读出这个像素的值前绕过有些甚至所有剩下的以上所指出的步骤。通常,在以上步骤中任何一个确定结果使得在顺序的特定步骤使用其他确定结果成为不必要时,可以任选地不用确定不需要的信息。可以理解,“行并行(rowparallel)”只是本发明的一个实施例。在本说明别处使用术语“并行可寻址像素组(parallel addressable group of pixels)”,作为是包括“行并行”在内的。在本发明范围内“并行可寻址像素组”的另一个实例适用于具有bayer模式的成像器。并行可寻址像素组为构成给定的经光谱过滤的组的像素(即行内经经红色滤光的像素或行内经蓝色滤光的像素或行内经绿色滤光的像素)的集合。在与特定的像素值读出关联的行并行条件复位任务的规定顺序结束时,与所积累的电荷关联的像素值优选的是以常规方式读出和变换成数字形式。优选的是,从像素行读出模拟值以行并行方式执行,然后将所读出的和为行暂时存储的值优选地变换成数字形式。优选的是,将为每个像素选择的积分周期的数字记录与本像素的像素读出值组合在一起,以确定指示该像素接收到的光强度的值。这个值优选的是呈现为直接可用的形式,因此就不必再保留用来将光强度积分以得到像素读出的积分周期的记录。对这个值的编码可以用许多格式中的任何格式,例如,值可以呈现为线性或对数形式。优选的是使经处理的像素值可用作在此的读出。任选的是,这些步骤中的一个或多个步骤可以由不属于成像阵列的处理器执行。
相继被复位的像素开始较短的积分周期,每个相继复位使像素具有近似与顺序的每个复位任务的像素积分周期的缩短成比例的相继减小的有效光灵敏度。优选的是将条件复位逻辑配置成一旦跳过了对一个给定像素的条件复位,在读出这个像素前就不再对这个像素复位。指示所积累的光感应电荷的像素信号是像素在部分而不是整个积分时间期间积累起来的。优选的是将所指示的在部分积分后的像素电荷所比较的比较门限选择成使它高到足以在积分时间结束时可以积累起足够的电荷以合理利用像素的读出范围。另一方面,优选的是,不将门限设置成高到使像素在积分周期结束前就会饱和。这些优先选择表明需要可以随应用、随具体成像器的模拟质量和随进行复位判断的顺序的特定积分周期的持续时间而改变的平衡。因此,优选的是,根据所应用的在可用积分周期组中的具体可用积分周期调整比较门限和/或使比较门限设置的一个或多个属性作为给成像器的设置指令部分成为可选或可编程的。
电路优选地配置成确立用于读出每个像素的积分,为每个行执行行并行复位(row parallel reset)的规定顺序。优选的是,行读出顺序(row read sequence)的第一个行并行复位任务(row parallel resettask)是无条件复位任务(unconditional reset task),并且将与每个像素关联的存储器更新成反映这个初始复位状态。对于所规定的每个行的复位顺序来说,第一个无条件复位之后,相继的对行的复位优选的是如以上所概述的条件复位。优选的是,由每个相继的行并行条件复位任务(row parallel conditional reset task)启动的积分周期的光增益成比例地小于由上个行并行复位任务启动的积分周期的光学增益。光增益通常与积分周期成正比,所以在这个示范性设计中所需的比例将直接应用于积分周期。
刚才所概述的新颖的读出和积分周期确定顺序(readout andintegration period determining sequence)有着许多优点。首先,由于将快速行并行处理用于条件像素复位(conditional pixel reset),实际上在得到像素读出的曝光顺序(exposure sequence)期间为每个像素设置积分周期。其次,每个像素的曝光被分为颇为接近的等级,例如在这个示范性实施例中调整为4∶1的增量,因此如果使用10比特的读出,读出可以从标称满刻度的四分之一扩展到标称满刻度,在整个非常大的光强度范围内给出标称250∶1的读出分辨率,甚至更好。这是理想的,还可以提供某些额外的使像素饱和的可能性减到最小的容限。即使非常保守地选择复位门限(reset threshold),可以在这个示范性实施例的整个16,000∶1的积分范围内保持例如为100∶1左右的最小分辨率,这会给出大于100,000∶1的光强度范围,在这个整个范围内可以保持100∶1的分辨率。实际上,在给定图像内可用的光强度测量范围往往受到光组件内散射的光的限制。尽管如此,这在没有任何曝光调整的情况下是完全可能的,往往可以不用曝光调整在比较大的环境光强度范围内工作。这与具有同样的10比特A/D、对于任何给定图像的100∶1或更好的分辨率只是在10∶1的光强度范围内可得到的常用传感器形成明显的对比。采用以多个步骤在大范围内选择的积分周期,在所选择的已知的和精确确定的积分周期上仍然可实现A/D的完满精度,因此可以实现显著增大的测量范围而不用牺牲A/D的读出精度。与以传统方式获取的图像相比,在阴影区域内的噪声、条纹和全黑区域应该如饱和的高亮度区域那样有显著减少。有一些折衷需做,但有许多为静止图像或视频相机应用作出重大改进的可能性。
非破坏性读出(nondestructive readout)技术许多并不为读出提供完满的精度。例如,像素对于非破坏性读出来说通常不是可复位的,因此,采用这些成像器,对于确定条件复位的中间读数来说,复位后所取得的参考读数不能用来改善读出精度。这意味着往往需要根据可能不是最佳精度的测量作出对像素复位的判断。与有些竞争性技术相比,条件复位的补偿优点是,对复位的判断是确定所选择的读出量程的判断,而作为量程选择依据的值的误差并不直接添加给用所选择的量程进行读出的误差。例如,如果一个仪表具有1伏的满刻度量程和下一个较大的4伏满刻度读出量程,估计为0.8伏的输入如果预计0.8伏的估计在实际值的10%之内就可能用1伏的量程读出,但是如果只预计0.8伏的估计在实际值的30%之内就要用4伏的量程读出。采用不大精确的估计,就可能有较大风险选择一个读出被饱和的读出量程,而这可以造成偏向选择不大精确的较大读出量程;但是在这个例子中,仍然可以期望读出具有比10%或30%还小的误差。
在最后这个方面,与为了增大测量范围使用响应特性有多个斜率的大动态范围传感器相比,这个示范性系统还具有一些固有的优点。首先,对于这些非线性设备来说,每个像素的非线性通常至少部分由每个像素内的组件决定,所以除了在处理读出中分段线性读出带来的困难之外,由于拐点和斜率确定机制的像素级特性的失配,斜率和拐点不大会匹配得好。其次,由于斜率改变通常用于模拟域,因此整个值必须由A/D读出,对于一个给定分辨率的A/D来说读出精度有进一步的损失。第三,数据的分段线性定标不易处理,因为除了由以上因素所引起的读出精度之外,分段线性格式需要计算强度较强的处理来将它变换成计算更为容易的诸如线性或对数之类的形式。
以上指出了由于每个像素多个积分范围而引起的在整个非常大的光强度范围内保持读出分辨率的优点。有许多方式将这个优点用于平衡一个设计的一些特性。为了记录每个像素积分周期设置的指示所增添的存储器要求需要用较大形体尺寸制造工艺而不是较小形体尺寸制造工艺制造的较大硅面积;但是,较小形体尺寸硅工艺在较低电压下操作,这给可以从像素得到的动态范围增添了限制。在许多利用对于给定图像具有单个积分周期的成像器的应用中,较大的动态范围主要用来在整个较大的光量范围内获得适当的分辨率。采用使用本发明的甚至在单个图像内在非常大的动态范围内保持良好分辩率的成像器逐像素选择的积分周期,最大动态范围常常可以降低,换取得到扩展的在各个图像内进行的多个积分周期采集所提供的动态范围。
在这个示范性实施例中,在对于任何给定行由对行内像素执行无条件并行复位以开始用于读出行内每个像素的最长可用积分周期(所给定的成像器设置)作为开始的顺序内,应用为传感阵列内每个像素选择积分周期的行并行复位过程。然后,在即将过去这个积分周期的3/4时,执行如上所述的对行内每个像素的条件复位,以有条件地复位由于当前的积分周期设置而饱和或很可能饱和的像素。这个过程重复6次或更多次,像素被条件复位的每个后继积分周期的长度定成使得读出灵敏度为上个量程的读出灵敏度的四分之一。对于这个示范性设计来说,结果是积分周期可以以4∶1的增量排列,从最长可选积分周期的大约32,768微秒到最短可选积分的2微秒,得到最长与最短的积分周期之比为16,384∶1,这些积分周期是自动和逐个为帧内每个像素设置的。复位和读出过程的定时节奏(timing cadence)优选的是基于历经与扫描行各个像素一一相应的列扫描计数的逐列增量扫描(column by column incremental scan)。对于一个给定行计数,完成了历经列计数或列地址值的增量扫描后,优选的是导致使行扫描计数增量前进到下一个扫描行,直到覆盖了这个图像扫描帧内所有的行,此时可以暂停图像获取或者前进到另一个列和行扫描顺序。通常,在像素/行扫描帧内两个像素位置之间的时间间隔表示为从第一个像素的(列、行)位置前进到第二个像素的(列、行)位置的增量像素时间(incremental pixel time)的个数。开始与结束的像素位置之间的这些增量像素时间可以用定义为第二个像素的列地址减去开始像素的列地址的增量列偏移(incremental column offset)来表示。它在开始像素的列地址大于结束像素的列地址时是负的,否则就是非负的。行偏移(row offset)可以定义为从含有开始像素的行增加到含有结束像素的行所需的增量行偏移(incremental row offset)。在这个示范性设计中,行读出在规定的列时间执行,而8个相应的积分周期各在各自的积分周期所关联的列时间启动,使得复位刚完成的点到行读出的点之间的时间间隔几乎等于所预期的积分时间。在这个示范性设计中,扫描帧内的列和行的数目选择为626列和420行,像素扫描率(pixelscan rate)为每微秒8个像素。采用行数、列数和像素时间数这个组合,积分时间和可用积分行数可以是和被选择成使得行读出任务(rowread task)和8个可用积分时间周期的8个像素复位任务(pixel resettask)中的每个像素复位任务在行列时间间隔的不相重叠的范围内出现。这样,行选择电路(row select circuit)、阵列读出列线(arrayread-out column line)、列并行复位逻辑行(row of column parallelreset logic)和复位历史存储器访问(reset history memory access)就可以被共享,而在8个复位任务和行读出任务之间不会有冲突。8个积分时间专用行复位或条件行复位任务中的每个复位任务和行读出优选的是在所规定的列计数时启动。在本说明中别处将更为深入地涉及到这个问题。在这个示范性实施例中,通常,行长度等被选择成使得行读出和8个各启动一个特定持续时间的积分周期的复位任务中的每个复位任务落在特定的不相重叠的列时间间隔内。优选的是,所规定的列计数值被用来启动这些顺序中的每个顺序,而且被预先选择成按照定时提供适当的列偏移,以便为每个积分周期建立适当的时间间隔。在这个优选配置中,优选的是,对行计数器指向的行执行读出,对行偏移值的可能修改用来提供读出窗口的起点。于是,对于为行复位或条件行复位任务选择的这些行中的每个行,将与正予以复位或条件复位的积分周期相应的附加积分周期专用行偏移值加到行计数上(优选的是用模运算),以选择要施加复位任务的行。所加的积分周期专用行偏移用来设置在复位任务与复位任务当前所施加的行的行读出任务之间的行时间间隔。
对于大动态范围传感器来说,所希望的是自动在大到例如16,000∶1甚至更大的范围内选择积分时间周期。对于这样的传感器,积分周期可以例如在从32ms左右到2μs左右的范围内。更为优选的是行内像素的曝光几乎同时进行。可以说,一种方式是行内像素的曝光周期按时共享至少一个共同的瞬间。
还希望的是,将这些积分周期选择成使得以不同的积分周期所取得的像素值容易合乎单个普通广泛使用的数字表示格式。由于像素值通常用线性或对数加权的二进制形式表示,因此所希望的是将相继积分周期选择成使得从任何一个积分周期得到的成像器灵敏度与下个较短的积分周期的成像器灵敏度之比近似等于2的整数幂。光增益或灵敏度具有较为合意的作为这个比例的基础的属性。然而,大多数成像器的光灵敏度几乎与积分周期成正比改变。因此,在这个示范性设计中,将积分周期的比例选择成使得它们一个为下一个的2的整数幂。可以理解,如果传感器的光灵敏度与积分周期之间有系统性的非线性关系,那么优选的是将积分周期调整成使得光增益从一个量程到下一个较小的量程的比例近似等于2的整数幂。还应该理解的是,即使这对于本发明的许多应用来说是一个良好的选择,但本发明并不局限于按照以上所说明的那样来选择相继的增益量程。此外,可以对一个或多个较长的积分周期的周期作一些小百分比的调整,以消除在使用共享组件中的一些冲突,这使系统精度有些损失,但很小。
如上面所指出的那样,即使采用行并行复位任务(条件和无条件复位任务),也要求体系结构提供时间来交叉需执行的所有复位和行读出任务、保证使用诸如行选择电路、列读出线、复位存储器记录访问和条件复位比较器及所关联的逻辑之类的共享组件的要求不会冲突。在图1至3中用以上已经引用的示范性实施例来例示可以用不冲突的方式来组织顺序的情况。在这个示范性设计中,用普通的卷帘式快门顺序(rolling shutter sequence)来推行复位、积分和读出顺序。扫描是一个重复顺序,对于每个行从列0至列625循环,在完成每个列循环时进到下一行,从行0至行419,对于在读出顺序中需获取许多图像帧的来说,再回到行0,如此等等。如采用传统的只用来读出一个或几个帧或许采用还连续读出的任选方案的卷帘式快门操作那样,扫过图像帧的第一个扫描或者也许是部分扫描通常用来初始化积分周期,在为行提供了积分周期之前行读出是被遏止的。这意味着需要一个初始帧(或部分帧)来执行第一个复位任务,因此为了读出n个帧,对于读出顺序来说需要n个帧再加上初始复位所需的帧的部分。对于有些应用,感兴趣的可以主要是以连续方式读出一系列图像,而在这种情况下可以不必遏止对启动帧的读出。对于这些应用,正如采集第一帧后的一系列后继帧的情况,积分与读出交叉,使得帧重复时间只需比为像素提供的最长的积分时间稍长一些。对于只是用于获取一些非连续的帧的设计,同步可以通过对像素计数来建立。对于为连续或长系列帧采集设计的成像器,或者甚至为了在只获取一个或几个帧时增加稳固性,包括建立行和帧同步的信令的读出格式是合乎需要的。
参见图1,图中例示了对于使用420个扫描行、626个扫描列的示范性方案的成像器所获得的大动态范围图像的情况对行0内的像素进行复位的复位顺序(reset sequence)。所谓扫描在这里用来指在扫描顺序(scan sequence)内定序历经的行和列。不是需要用定序历经的每个值来访问有效行或列,通常只需要具有足够的在扫描顺序列内的行和列来访问在适当顺序实际读出的行和列,或许还需要具有足够的附加扫描行和/或列来为大动态范围传感器的多个积分周期提供无交叠或不冲突的对读出和复位任务的任务调度。实际的成像阵列可以具有比在扫描顺序内循环历经的少一些的行和/或列(或者在有些情况下多一些的行和/或列)。在图1至3中,例示了用扫描顺序产生复位和读出顺序的情况。在图1中只是例示了启动用于行0内像素的复位或条件复位任务情况。这个示范性设计包括大动态范围扫描顺序(highdynamic range scan sequence),列和行计数历经每行626列(列0至625)的相继列计数和历经一帧420行(行0至419)的行计数。这个顺序是对于每个行从列0至625,在从列625循环回列0时指向下一行,再从行419循环回行0。这个顺序一直重复到读出了所需数量的帧。在这个示范性设计中,列计数的速率是每秒8百万个计数,因此在32.865毫秒内顺序历经帧的262,920个像素,所提供的帧速率稍稍超过每秒30帧。
对行0的行读出顺序(101)在行0(121)的列1启动,而有效读出发生在列14。优选的是,这个读出在扫描历经初始帧期间是被遏止的,因此复位顺序可以在这个帧期间启动,优选的是对在读出顺序内所包括的所有的后继帧执行。例如,在只读出一个帧时,提供2个扫描帧,第一个开始启动积分周期,而第二个开始读出和继续处理复位和条件复位,以为所读出的每个行的每个像素提供适当的复位顺序。
32.768ms的对行0(121)的无条件复位顺序(102)在行1(122)的列132启动。需复位的行通过将32.768毫秒积分周期的为419的行偏移加上执行复位的行1计算,得到420的模420,为0,因此行0在顺序(102)中被复位。在列164(112),复位解除,积分周期开始,因此从积分开始(列164)到行读出(列14)的列偏移为:
14-164=-150
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描频率。
(419*626-150)/8=32.768毫秒
提供标准的动态范围模式的一个选项是在刚才所说明的初始复位后禁止有些或所有后继条件复位和提供对行和列偏移以及具有所关联的行和列偏移的积分时间编程的灵活性,以在设置积分周期中给出一些使范围增宽的选项。这种图像控制可以提供调整扫描帧和读出图像数据的子帧的帧尺寸的灵活性。
8.192ms的对行0(121)的逐像素条件复位顺序(103)在行315(123)的列176启动。需复位的行通过将8.192毫秒积分周期的为105的行偏移加上执行复位的行315计算,得到420的模420,为0,因此行0在顺序103中被复位。在列208(113),复位解除,积分周期开始,因此从积分开始(列208)到行读出(列14)的列偏移为:
14-208=-194
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(176*626-194)/8=8.192毫秒
2.048ms的对行0(121)的逐像素条件复位顺序(104)在行393(124)的列500启动。需复位的行通过将2.048毫秒积分周期的为27的行偏移加上执行复位的行393计算,得到420的模420,为0,因此行0在顺序104中被复位。在列532(117),复位解除、积分周期开始,因此从积分开始(列532)到行读出(列14)的列偏移为:
14532=-518
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(27*626-518)/8=2.048毫秒
512μs的对行0(121)的逐像素条件复位顺序(105)在行413(125)的列268启动。需复位的行通过将512微秒积分周期的为7的行偏移加上执行复位的行413计算,得到420的模420,为0,因此行0在顺序105中被复位。在列300(115),复位解除、积分周期开始,因此从积分开始(列300)到行读出(列14)的列偏移为:
14-300=-286
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(7*626-286)/8=512微秒.
128μs的对行0(121)的逐像素条件复位顺序(106)在行418(126)的列210启动。需复位的行通过将128微秒积分周期的为2的行偏移加上执行复位的行418计算,得到420的模420,为0,因此行0在顺序106中被复位。在列242(114),复位解除、积分周期开始,因此从积分开始(列242)到行读出(列14)的列偏移为:
14-242=-228.
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(2*626-228)/8=128微秒.
32μs的对行0(121)的逐像素条件复位顺序(107)在行419(127)的列352启动。需复位的行通过将32微秒积分周期的为1的行偏移加上执行复位的行419计算,得到420的模420,为0,因此行0在顺序107中被复位。在列384,复位解除、积分周期开始(116),因此从积分开始(列384)到行读出(列14)的列偏移为:
14-384=-370
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-370)/8=32微秒
8μs的对行0(121)的逐像素条件复位顺序(108)在行419(127)的列544启动。需复位的行通过将8微秒积分周期的为1的行偏移加上执行复位的行419计算,得到420的模420,为0,因此行0在顺序108中被复位。在列576(118),复位解除、积分周期开始,因此从积分开始(列576)到行读出(列14)的列偏移为:
14-576=-562
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-562)/8=8微秒
2μs的对行0(121)的逐像素条件复位顺序(109)在行419(127)的列592启动。需复位的行通过将2微秒积分周期的为1的行偏移加上执行复位的行419计算,得到420的模420,为0,因此行0在顺序109中被复位。在列624(119),复位解除、积分周期开始,因此从积分开始(列624)到行读出(列14)的列偏移为:
14-624=-610
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-610)/8=2微秒
对于图像扫描帧内其余419行的每个行,执行与图1详细示出的对于行0的复位和读出顺序类似的顺序。在图2中,用在图1中所示的同一个成像阵列例示了对行50内的像素复位的复位顺序。在图2中只例示了启动用于行50内像素的复位或条件复位任务的情况。
对行50的行读出顺序(201)在行50(221)的列1启动,而有效读出发生在列14。优选的是,这个读出在扫描历经初始帧期间是被遏止的,因此复位顺序可以在这个帧期间启动,优选的是对在读出顺序内所包括的所有的后继帧执行。例如,在只读出一个帧时,提供2个扫描帧,第一个开始启动积分周期,而第二个开始读出和继续处理复位和条件复位,以为所读出的每个行的每个像素提供适当的复位顺序。
32.768ms的对行50(221)的无条件复位顺序(202)在行51(222)的列132启动。需复位的行通过将32.768毫秒积分周期的为419的行偏移加上执行复位的行51计算,得到470的模420,为50,因此行50在顺序(202)中被复位。在列164(212),复位解除、积分周期开始,因此从积分开始(列164)到行读出(列14)的列偏移为:
14-64=-150.
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(419*626-150)/8=32.768毫秒
8.192ms的对行50(221)的逐像素条件复位顺序(203)在行365(223)的列176启动。需复位的行通过将8.192毫秒积分周期的为105的行偏移加上执行复位的行365计算,得到470的模420,为50,因此行50在顺序203中被复位。在列208(213),复位解除、积分周期开始,因此从积分开始(列208)到行读出(列14)的列偏移为:
14-208=-194
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(176*626-194)/8=8.192毫秒
2.048ms的对行50(221)的逐像素条件复位顺序(204)在行23(224)的列500启动。需复位的行通过将2.048毫秒积分周期的为27的行偏移加上执行复位的行23计算,得到50的模420,为50,因此行50在顺序204中被复位。在列532(217),复位解除、积分周期开始,因此从积分开始(列532)到行读出(列14)的列偏移为:
14-532=-518
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间的带符号的列偏移再除以扫描率:
(27*626-518)/8=2.048毫秒
512μs的对行50(221)的逐像素条件复位顺序(205)在行43(225)的列268启动。需复位的行通过将512微秒积分周期的为7的行偏移加上执行复位的行43计算,得到50的模420,为50,因此行50在顺序205中被复位。在列300(215),复位解除、积分周期开始,因此从积分开始(列300)到行读出(列14)的列偏移为:
14-300=-286
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(7*626-286)/8=512微秒
128μs的对行50(221)的逐像素条件复位顺序(206)在行48(226)的列210启动。需复位的行通过将128微秒积分周期的为2的行偏移加上执行复位的行48计算,得到50的模420,为50,因此行50在顺序206中被复位。在列242(214),复位解除、积分周期开始,因此从积分开始(列242)到行读出(列14)的列偏移为:
14-242=-228.
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(2*626-228)/8=128微秒.
32μs的对行50(221)的逐像素条件复位顺序(207)在行49(227)的列352启动。需复位的行通过将32微秒积分周期的为1的行偏移加上执行复位的行49计算,得到50的模410,为50,因此行50在顺序207中被复位。在列384(216),复位解除、积分周期开始,因此从积分开始(列384)到行读出(列14)的列偏移为:
14-384=-370
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-370)/8=32微秒
8μs的对行50(221)的逐像素条件复位顺序(208)在行49(227)的列544启动。需复位的行通过将8微秒积分周期的为1的行偏移加上执行复位的行49计算,得到50的模420,为50,因此行50在顺序208中被复位。在列576(218),复位解除、积分周期开始,因此从积分开始(列576)到行读出(列14)的列偏移为:
14-576=-562
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-562)/8=8微秒
2μs的对行50(221)的逐像素条件复位顺序(209)在行49(227)的列592启动。需复位的行通过将2微秒积分周期的为1的行偏移加上执行复位的行49计算,得到50的模420,为50,因此行50在顺序209中被复位。在列624(219),复位解除、积分周期开始,因此从积分开始(列624)到行读出(列14)的列偏移为:
14-624=-610
从解除复位到读出的时间是行偏移乘以每个扫描行的像素数加上在积分周期开始与结束时的像素之间带符号的列偏移再除以扫描率。
(1*626-610)/8=2微秒
图1和2组合在一起例示了所选择的复位和行读出调度的模式。行50为行0后来的第50行。用模运算表示,在行序号表示为以扫描帧内的行数求模的最小非负整数,图2中的复位和行读出任务都出现在行0的相应行读出或复位任务后50行。同样的对应关系适用于成像阵列内任何一对行。也就是说,对于成像阵列内任何一对行,在为这对独立的行执行相应任务的间隔之间有恒定的行偏移(经模运算)。图3例示了这个性质在与行读出和每个行复位任务在相互不冲突和为特定的大动态范围成像器读出顺序预先确定的增列计数值或列时间的范围内执行的性质结合时的意义。在这个示范性设计中,这个性质通过较强的对特定的大动态范围读出顺序的限制满足,使得每个行读出和与积分时间有关的复位任务的处理间隔与优先为读出顺序预先选择的、安排成在不相重叠的列定时值的范围内出现的列时间间隔有关。此外,优选的是将列间隔均匀地用于对成像器在特定的图像读出顺序中读出的每个行的行读出和复位任务的定序。在这个优选设计中,优选的是为特定的读出任务预先选择为每个行执行行读出的列范围。然后,优选的是,将执行与一个特定积分周期关联的复位任务的列计数范围选择成提供与这个特定积分周期关联的所需列偏移,而将行偏移选择成提供与这个特定积分周期关联的所需行偏移。这样,将列和行偏移与扫描顺序的定时节奏结合起来就可以提供所需积分周期。对于在这里所说明的用途,在处理优选的是至少部分行并行进行的情况下,列计数用来提供逐行定时,还用作与行定序任务同步的处理的时基。作为一个任选方案,这定时不必直接与一行内的像素个数或列有关。将列计数与像素的实际列联系在一起只是为了方便,因为这样时基就可以方便地用来对通常直接与逐像素历经图像帧的定序有关的像素A/D变换以及像素格式处理和读出任务定序。
参见图3,扫描帧从303处的列0延伸至304处的列625和从301处的行0延伸至302处的行419。在有些实施例中,可以将总的行或列偏移加到在这里所标出的行和/或列计数上,以有效地调整成像帧的起点。这种任选方案被认为是本发明的一部分,但是为了简化说明,将不包括在对图3的说明内。
每个行的行读出应用于所寻址的行,在由粗线305表示的从列1延伸至列34的时间间隔期间执行。有效读出在列周期14(300)开始时进行。
32.768毫秒的对每个行的行复位应用于地址通过将419(32.768毫秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得到的行上。复位在由粗线306表示的从列132延伸到列165的整个列时间间隔内执行。复位解除成使得积分周期从列周期164(314)开始时开始。这为在列14执行的对于32.768毫秒积分周期的行读出任务提供了为-150列的所需列偏移。
8.192毫秒的对每个行的像素级条件行复位应用于地址通过将105(8.192毫秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线307表示的从列176延伸到列209的整个列时间间隔内执行,复位解除成使得积分周期从列周期208(315)开始时开始。这为在列14执行的对于8.192毫秒积分周期的行读出任务提供了为-194列的所需列偏移。
2.048毫秒的对每个行的像素级条件行复位应用于地址通过将27(2.048毫秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线311表示的从列500延伸到列533的整个列时间间隔内执行。复位解除成使得积分周期从列周期532(319)开始时开始。这为在列14执行的对于2.048毫秒积分周期的行读出任务提供了为-518列的所需列偏移。
512微秒的对每个行的像素级条件行复位应用于地址通过将7(512微秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线309表示的从列268延伸到列301的整个列时间间隔内执行。复位解除成使得积分周期从列周期300(317)开始时开始。这为在列14执行的对于512微秒积分周期的行读出任务提供了为-286列的所需列偏移。
128微秒的对每个行的像素级条件行复位应用于地址通过将2(128微秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线308表示的从列210延伸到列243的整个列时间间隔内执行。复位解除成使得积分周期从列周期242(316)开始时开始。这为在列14执行的对于128微秒积分周期的行读出任务提供了为-228列的所需列偏移。
32微秒的对每个行的像素级条件行复位应用于地址通过将1(32微秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线310表示的从列352延伸到列385的整个列时间间隔内执行。复位解除成使得积分周期从列周期384(318)开始时开始。这为在列14执行的对于32微秒积分周期的行读出任务提供了为-370列的所需列偏移。
8微秒的对每个行的像素级条件行复位应用于地址通过将1(8微秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线312表示的从列544延伸到列577的整个列时间间隔内执行。复位解除成使得积分周期从列周期576(320)开始时开始。这为在列14执行的对于8微秒积分周期的行读出任务提供了为-562列的所需列偏移。
2微秒的对每个行的像素级条件行复位施加到地址通过将1(2微秒积分周期的行偏移)加上行地址再求模420(成像器扫描帧的行数)计算得出的行上。复位在由粗线313表示的从列592延伸到列625的整个列时间间隔内执行。复位解除成使得积分周期从列周期624(321)开始时开始。这为在列14执行的对于2微秒积分周期的行读出任务提供了为-610列的所需列偏移。
对于图3中覆盖总面积一半的这些阴影区,要执行处理强度较强的至少部分行并行任务。这表示,在这个示范性实施例中,已将曝光控制处理分配成使得与曝光控制和图像获取有关的至少部分行并行任务共享行并行处理组件、行选择和列读出选择逻辑、行列交叉点像素可选复位逻辑和积分周期设置存储器访问而不会冲突,而这些任务占用图像获取期间50%左右的时间。通过将积分周期专用复位任务和行读出任务划分成对于每个所关联的积分周期这些任务在一些预先选择的通常不与与其他积分周期关联的列时间交叠的列时间期间执行,以及通过为每个积分周期专用复位任务提供适当的行偏移,对于在给定的列时间范围内对相同的积分周期进行的所有复位,施加相同的行偏移,使得每个复位任务仍然具有它自身的行和它自身的在它可予以执行的行内的专用列范围内的不冲突时隙。
图4示出了大动态范围成像设备的示范性设计的框图。这个成像设备优选的是基于常规的卷帘式快门CMOS设计,增强成具有本发明的动态范围改进能力。该图作了简化,特别是结合了一些从常规的卷帘式快门设计引伸的功能。图中的方框410至415都是以某种方式对与成像器内的像素列有关的信号进行操作。因此,假设与列有关的信号可以通过其中一些方框而不一定在每个方框内都使用,每个方框可以访问适当的与列有关的信号。积分和行读出定时基于扫描列计数器403,在这个示范性设计中扫描列计数器403从零递增地计数到它的最大值(在这个示范性设计中为625),下一个计数转为零,再从零递增地计数到最大值,诸如此类。每当扫描列计数循环回零时,扫描行计数器就递增为它的下一个值。在这个示范性设计中,扫描行计数器从零开始计数,递增地计数到它的最大值(在这个示范性设计中为419),在下一个计数时转为零,再递增地计数到它的最大值,诸如此类。
为了适应自动选择可能的积分周期(在这个示范性设计中总共为8个)中的一个积分周期,优选的是在这些积分周期的最长的积分周期开始时将一行的像素全部复位,然后在每个后继的较短积分周期即将开始前查询每个像素和它所关联的复位记录,再对这行的每个像素根据当前像素值与门限值的比较结果和该像素的复位历史进行条件复位。每当一个像素没有被复位,优选的是这个像素在读出前不再被复位而允许它继续积分,以完成由它的上个复位启动的积分周期。每当一个像素被复位(优选的是包括最初的无条件复位),与这个像素关联的存储器(每个像素3比特,用来标识8个可能的可选复位状态中的一个复位状态)就被更新成指示它被复位的积分周期。优选的是,一个像素的存储器值在这个像素不复位的条件复位任务期间不改变。在积分周期结束时,与像素关联的值指出这些积分周期中哪个积分周期用于读出。这信息优选的是以与对行内像素的读出和A/D变换同步的方式读出,优选的是用来对最终的读出值进行适当定标。在这个优选设计中,一行内的这些积分周期优选的是启动成使它们同时结束,也就是说可以为这行内的所有像素同时执行结束积分周期的行读出,无论每个像素的实际积分周期是多长。在积分周期结束时,进行行读出,优选的是通过一个顺序,将所选行内的像素值传送给一排采样电容器以及优选的是还将复位电压传送给第二排采样电容器,再将这些值数字化后调整成反映所用的积分周期的记录。这值通常是从成像器输出的。
在图4这个框图中,扫描行计数器402、扫描列计数器403、总列偏移加法器404、总行偏移加法器405、行选择电路409、行读出采样保持器411、放大器416和模-数变换器417可以与在常规的现有技术成像阵列内所用的类似。由于有着从现有技术成像器保留下来的所有这些功能部件,因此合理地在本发明的成像器的一个实现中直接提供了灵活性,除了能以一种或多种大动态范围方式工作外,还提供了以标准动态范围方式工作的选项。控制电路400接收传送给成像器的指令,并对下面所说明的指令序列进行控制。
为了获得大动态范围图像,扫描列计数器403对于每个行循环都历经整个列范围,而扫描行计数器402按扫描列计数器403完成一个历经列计数的循环的指示递增,指向一个新的行。像素复位和行读出功能选择电路407对列计数值解码,产生启动和控制行读出和各个复位功能的信号。像素复位门限产生器408产生任选地取决于有效复位任务所启动的特定积分周期的门限值。将这个门限值与所选行的每个像素的所积电荷量相比较,以局部确定对行的每个像素是否需予以复位。优选的是,这种确定逐像素进行。像素复位行偏移产生器406接收来自像素复位行读出功能选择电路407的指示行读出和复位任务(如果有的话)中哪个任务是有效任务的信号,并且为行复位任务产生适合需由复位启动的积分周期的持续时间的行偏移。复位行偏移模加法器401将适合与要处理的复位关联的积分周期的持续时间的偏移值添加到行地址上,优选的是使用模运算,以使所产生的行地址保持在从扫描帧的底循环回顶的范围内。总行和列偏移在方框404和405内可任选地加到行和列值上,以提供附加的控制成像阵列410内图像帧的原点的灵活性。行选择电路409对供所选行的行处理使用的行选择地址和选通控制信号进行解码。成像阵列410具有单独像素复位能力,优选的是通过在每个像素内各提供一个功能部件来实现,从而通过将给每个需复位的像素的行和列信号同时置为有效完成复位。在使用中,为了有选择地复位一行的像素,将所选行的行复位置为有效,而仅将行内选定要复位的像素的列复位线置为有效。行读出采样保持电路411优选的是包括一些分别对成像器内各列像素的模拟值进行采样的采样电容器。这个电路与通常所使用的类似,优选的是包括顺序对每根列读出线上的读出值和复位基准电平两者采样。该电路还响应来自列选择电路412的信号将所选列的模拟值选通给输出放大器416。经放大器416放大优选的是还得到偏移校正的值由模-数变换器417转换成数字形式。像素处理电路418调节来自模-数变换器417的数字值,将这数字值与取得从列可寻址像素行缓冲存储器413得到的读数所用的积分周期的存储器指示组合在一起,以便考虑取得如由存储在存储器内的值所指示的读数所用的积分周期,将输出值定标成正确指示像素接收到的光强度。对于这个操作来说,优选的是像素读出列选择电路412选择来自行读出采样保持电路411和列可寻址像素行缓冲存储器413的相应值。在使用的是流水线式的模-数变换电路时,采用寻址方案内的相应流水线或适当偏移,以便像素处理电路418将经数字化的读出与对本像素所用的积分周期的相应指示组合在一起。列可寻址像素行缓冲存储器优选的是在行读出任务期间访问像素复位存储器415,将本行的复位信息缓存在存储寄存器413内。在这个示范性设计中,像素复位存储器415优选的是含有每像素三个比特。存储器优选的是组织成用供行选择使用的同一个信号可任选地在施加一般行偏移前对存储器进行寻址。优选的是,每像素三个比特对于所选行的每个像素或与像素有关的列是可并行得到的。这个访问优选的是具有读、写能力。像素门限比较和条件复位块414可以访问来自电路408的像素复位门限产生器输出的像素复位门限、用来自成像阵列410的指示阵列的所选行的每个像素上所积电荷量的信号驱动的列线、对像素复位存储器415的与所寻址的列有关的字的读和写访问、接至成像阵列410的列复位线和来自像素复位和行读出功能选择电路407的控制信号。这个电路优选的是含有执行用于正在处理的行的一些有效部分的并行任务的逻辑,它响应控制信号结合所选行的每个像素(或者行内有效部分像素)的像素复位存储器登录项对所积光感应电荷的指示进行操作,以确定是否对行的每个有效像素或有效数目的有效像素进行复位。电路有选择地输出有选择地复位行的像素的列复位信号,并根据需要更新行的像素的复位存储器。这更新优选的是包括写入为被有选择地复位的像素确立的新的积分周期的持续时间的指示。
图5示出了与成像阵列内一列像素关联的电路的简化电路图。在图5这个电路图中,列(例如,在这个示范性设计中含有420个像素)的一个像素示为方框501内的像素516。在一个优选设计中,像素处理通常在噪声抑制特别关键的行读出任务期间是受遏止的,而在这期间遏止像素处理也允许行读出任务的并行部分在对行内像素开始逐像素处理前完成,从而消除了在这两个任务之间的定时冲突。因此,优选的是不实现成像器的前36个左右的列,所提供的是590个左右的可读列。优选的是成像器像素阵列只是那些实际读出的行,围着这个有效成像区域周边的是任意添加的一些保护行和一些受到光屏蔽的暗参考像素的潜在行和列。只需为要读出的列配置列处理电路。因此,对于完全实现这个示范性电路来说,阵列就具有590个列,每列具有420个分别属于这个示范性成像器的420个行的像素。电路的其余部分要复制590次,对于626个像素扫描行内的590个有效像素,每个复制一次。在这里,作为旁注,这个示范性成像器是简化了的,以便很好地例示提供特别大的动态范围的复位过程。也认为是在本专利的范围内的成像器的实现可以包括现有技术成像器提供的几乎任何功能部件。例如,一些功能部件可以包括在读出结构内,以遏止对扫描过程所覆盖的帧的一些比只是可能与行读出任务的并行部分冲突的那些大的部分的读出。成像器指令集可以包括不使用大动态范围能力、因此可以提供附加的诸如高许多的帧重复率的能力的指令。在基于图像的控制应用中,所希望的往往是用一些可以在较快的顺序内用覆盖整个视场的较小部分的较小扫描帧取得的图像补充对大动态范围图像的读出。对于这些图像,曝光例如可以至少部分基于在大动态范围图像内观察到的光强度。对于这样的应用,较为传统的普通动态范围成像,或许结合大动态范围功能部件的灵活设置能力,是可以与本发明的大动态范围功能部件结合使用的常规成像技术的有用结合。扫描帧的大小、每个复位的行和列偏移的选择甚至每个读出的条件复位的个数按需要可以是可编程的。从一个复位到下一个复位的积分周期的比例不必如在这个示范性设计中的那样为4,也不必对于每个相继的积分周期是不变的。例如,成像器可以具有一些从一个到下一个的周期的比例为4而另一个到下一个的比例为8,甚至有些为非整数或者不是2的整数幂。有若干在逻辑上等效的实现行和列计数和寻址电路的方式。计数范围可以在低的与高的值之间延伸,低的值可以是非零的,甚至可以是负的。计数指示可以是后退的,从高到低。如果采用这样的一些改变,必须将模运算的概念扩展成使得将计数值定序保持在预定的帧的界限内和覆盖预定的范围。读出甚至不必是以严格单调的顺序,但是将非标准的扫描顺序用于诸如施加建立积分时间的行偏移之类的功能部件必须谨慎地予以规划,以提供适当操作。还必须将计算扫描时间的公式扩展成适当指示对于经修改的帧扫描结构的积分时间。
在这个示范性设计中,在启动标称32毫秒积分周期的第一个复位与启动标称8毫秒积分周期的下个复位之间有24毫秒的间隔。较靠近的复位连同通常在像素内使用的抗光晕电路一起有助于使从曝光过度的像素溢入邻近像素的电荷减至最少。作为一个任选方案,为了缩短复位之间的长的间隔,可以将第二积分周期选为2∶1的16.384毫秒而不是4∶1的8.192毫秒。于是,后继的积分周期可以延长为2∶1或者可以将一个周期改为8∶1,或者可以用额外的比特来对积分周期的标志编码,从而可以使用超过8个的积分周期。需要为在大动态范围工作模式中使用的每组积分周期评估和适当选择行偏移与行长度之间的平衡和对积分周期的可能调整,以为每个积分周期提供不冲突的列周期间隔。
优选的是,行复位线515(每行一根)、行读出允许线520(每行一根)、列地址总线521、像素读出总线523、像素复位基准值524、行缓冲存储器写入允许526、积分时间输出总线506、无条件像素复位允许529、复位指示触发时钟530、积分周期标志总线513、标志存储器更新允许531和行地址总线534布至每个有效列的相应电路,由这些电路共享。优选的是,列复位线503和列读出线519由列内每个有效像素共享。通过将行选择线520上的选择信号置为有效选定代表性的像素501。将行选择线520上的选择信号置为有效使晶体管电路518可以将列读出线519驱动到表示像素的光收集区517内所收集的电荷的电压电平。复位电路502在行复位线515和列复位线503同时被置为有效时使像素复位。以大大简化的形式示出的电路504含有包括响应列选择地址和控制总线521上的信号的列采样电容器和列选择电路522,列选择电路522响应总线521上的控制信号对列读出线519上的信号进行采样,并响应匹配列选择地址置为有效和总线521上的适当控制信号将所采样的像素读出信号加到读出总线523上。在这个示范性实施例中,在列由于列地址在总线521上置为有效而选定时选择线535上的信号被置为有效。如将要成说明的那样,选择信号535用来将指示读出所选像素所用的积分周期的存储器记录选通给总线506,与读出从一些信号得出的模拟像素值并将模拟值选通给总线523同步。
比较电路525将列读出线519上的指示所选像素上的光感应电荷的信号电平与线524上的门限基准电平相比较。在信号519指出像素上的光感应电荷超过信号524所指示的基准电平时,在输出536上将逻辑真信号置为有效。(注意,光感应电荷是指由于曝光而引起的电荷量的改变,无论是初始电荷量的实际增加还是减少。)
总线513用来传送标识积分周期的存储器标志的数字积分周期。这个数字存储器标志可以用若干方式编码。在这个示范性设计中,为最长至最短的积分周期分别指配0至7的标识数字存储器标志。在这个优选实施例中,对于读出程序中最长的积分周期将对像素进行无条件复位,而对于在读出程序中的相继较短的积分周期,当且仅当像素的比较输出536被置为有效、指出在像素上光感应所积电荷超过524上的门限值并且对于读出程序中的每个先前较长的积分周期都已将像素复位时才对像素复位。为了满足这个停止对错过一次复位的像素再复位的要求,只要检验像素的积分周期标识存储器标志登录项,看看对于上个积分周期像素是否被复位就足够了。如果没有,无论比较输出536的状态如何都禁止对像素的当前复位。如果对于像素的标志指出对于上个积分周期像素已被复位并且如比较输出536所示像素上的所积电荷超过门限值,就将像素复位,并且将像素积分周期的积分周期标识存储器标志更新成标识这个像素复位所确立的积分周期。存储器电路533优选的是具有列每个像素一个的登录项,对于读和写任务,当前像素由传送到总线534上的用作给存储器电路533的地址输入的所选行的行地址选定。比较电路528执行为像素保存的积分周期标识数字标志与在总线513上置为有效的标志值的逐比特匹配比较。“与”门510当且仅当三个逐比特匹配比较都匹配、表示像素的存储器标志值与总线513上传播的标志值匹配并且比较输出536被置为有效、表示列内所选行的像素上光感应所积电荷超过门限值时才将真输出置为有效。“D”型触发器512在被线530上的时钟信号触发时寄存像素的复位指示。对于初始的最长积分周期设置来说,线529在适当时间被置为有效,以迫使像素复位。“或”门511将无条件复位命令与刚才所说明的来自“与”门510的条件复位指示组合在一起。触发器512的输出驱动选定列的列复位线503,列复位线503在被置为有效时而行复位线515在一段重叠时间期间也被置为有效时使像素516复位。复位线515在行处理程序内固有时间被置为有效,以有选择地将也被置为有效的列复位线503所关联的像素复位。作为一个任选方案,可以增添附加的选通逻辑,使得只有在复位任务需置为有效时才将垂直复位线503置为有效。于是,可以任选地将行选择线520和行复位线515的功能合并成单根线,以便在将选择线520和列复位线503同时置为有效时可以使像素复位。在存储器更新允许线531被置为有效时,可以更新存储器533内的正在处理的像素的积分周期标识标志。更新在存储器更新线531被置为有效时对由在地址总线534上置为有效的行地址选定的存储单元执行,而像素在列复位线503被置为有效时被复位。对更新线531和像素列复位线503进行与操作的“与”门514的输出538用作给存储器533的写允许。在写允许538被置为有效时,在总线513上传送的积分周期的数字积分周期标识存储器标志值就写入存储器533内的该像素的登录项。在条件复位任务中,总线513用来传送两个各在顺序内分开的时间间隔传送的分开的积分周期标识标志。靠顺序开始处,将上个积分周期的标志传送到总线513上,供比较电路528使用。靠顺序结束处,将当前积分周期的标志值传送到总线513上,以更新存储器指示,如刚才对将像素复位以启动新的、较短的积分周期所说明的那样。
以上讨论主要集中在与列有关的在所关联的列的所选行内的像素的条件和无条件复位任务上。在复位任务的顺序所确立的积分周期结束时,读行的像素。行读出任务以两个阶段完成。第一个阶段优选的是行并行任务,优选的是在与用于任何复位任务的列计数范围不交叠的列计数范围期间执行。第二个阶段优选的是逐像素或逐小像素组处理阶段,优选的是配置成使这个阶段不需要访问正在进行的复位任务所需要的行选择线、行读出线、列读出线或列复位线。于是,在第二个阶段内的像素处理可以与正在进行的复位任务交叠,并且可以任选地用若干组织方式中的任何一个方式执行。例如,处理可以是逐像素操作或者也许是使用对行内一些像素小组进行流水线或并行处理的顺序操作。对于第一个优选的是并行操作阶段来说,需处理的像素行的读出选择线520被置为有效,将像素值选通给列读出线519。执行可以与在现有技术的成像器内所使用的非常类似的读出顺序,从而在列线519上置为有效的像素值由像素读出处理电路522内的电容器或其他电路采样。这个顺序可以包括对像素的无条件复位和对在最终读出任务内用作像素的零基准的复位值的附加采样。在这个优选实施例中,要读出的行的行地址在地址总线534上被置为有效,因此要读出的像素的积分周期标识标志出现在存储器533的输出线532上。作为行读出过程的一部分,允许写入线526被置为有效,以将要读出的像素的积分周期标识标志存储在标志缓冲存储器507内。任务优选的是对于行的所有有效像素并行执行,因此行的每个像素的积分周期是在重复的列逻辑电路的所关联的缓冲存储器507内可得到的。
在这个示范性实施例中,对于读出顺序的第二阶段来说,列地址在列地址总线521上传送给像素读出电路522。这个依次递增的列地址在电路522内解码后,用来依次选择对所采样的像素值进行模-数变换和对像素进行处理的列采样电容器以及将用于该像素的积分周期选通到总线506上。像素的最终读出值调整成表示在给定用来获得这读数的积分周期时的适当光强度读数。用于像素读出的积分周期的记录缓存在存储器507内。电路522内的列地址解码逻辑在列被选定时将输出线535置为有效,从而使总线驱动器527将存储在存储器507内的积分周期标识标志选通到总线506上。在电路522内采样保持的像素读出信息选通给读出总线523,优选的是用来自选通像素的积分周期标识标志所用的同一个列选择解码电路的选择输出进行选通。在这个示范性设计中,由于就在完成模-数变换和调整成反映所用的积分周期后依次读出,因此给出的是调整成反映积分周期的像素值。
在范围检测与读出同时执行时,有益的是非破坏性读出所积电荷的指示,以确定什么时侯需进行复位。如果采用插针和/或埋入型光电二极管结构或光选通结构,一个任选方案是在最终读出前将电荷传送给读出节点,但是这可能干扰复位和读出读出节点的复位值再传送所积电荷和在相关的双重采样模式中所用的二次读出。对于这些结构来说,优选的可以是执行缩短的读出顺序来确定要使用的积分周期。对于这个任务,可以在读出的积分开始前增添一个范围确定周期,并且可以用一系列优选的是与对组合条件复位范围所说明的类似的行并行比较任务(也许包括在一个比较任务内的多个门限比较以处理确定多于一个的复位周期选项)来确定要使用的范围。所确定的积分周期可以分别保存在与相应像素关联的积分周期存储器内。这个存储器值于是可以在读出阶段期间用来设置每个像素的适当积分周期以及在读出时用来读出像素以适当对读出值定标。
为了分别确定需使用的专用积分周期,优选的可以是,将确定积分周期的比较和/或读出任务安排成使用最短的积分周期的选项首先确定而使用相继较长的积分周期的决策再依次确定。然后,用于实际读出的这些积分周期优选的是按最长的积分周期首先设置的次序设置,使得读出优选地以行并行或部分行并行任务的形式实现,如采用组合的读出和积分周期确定顺序那样。如果采用刚才所说明的顺序,需要像素选择性复位在适当时间启动积分周期,使得组内像素的所有积分周期优选地在适当时间结束。采用这个顺序,有选择地将电荷传送给读出节点可以代替对读出节点的选择性复位。
在至少一个实施例中,成像设备配置成在单个读出帧的正常图像获取周期期间:动态地为每个所需像素分别选择一个积分周期,这个积分周期是自动从一个包括有限个各具有一个标识附标的可选周期的可选积分周期组中选择的;将给定像素的积分周期设置为所选积分周期并且将为像素选择的积分周期的标识附标的指示记录在与给定像素关联的存储器内;执行积分;在预定时间读出和数字化像素读出;以及将数字化读出的指示与所选积分周期的指示一起输出。
在至少一个实施例中,成像设备包括排列成一些各由可并行寻址的像素组成的组的成像像素阵列,以及包括对当前所寻址的并行可寻址组内的像素执行各个并行任务的电路。所有像素读出和复位任务,包括执行条件选择性复位任务的任务,都是要对正被访问的并行可寻址像素组(parallel addressable group of pixels)的所有有效像素进行操作。对于所有这些任务,优选的是为在所寻址的并行可寻址组内任务中受操作的有效像素并行或至少部分并行执行所有以下任务或至少以下任务的实质性部分:像素读出;像素复位;条件选择性像素复位;将部分积分后的像素值与门限相比较;读和写与像素关联的存储器;逻辑确定什么时侯对像素选择性复位,以及在最终像素读出时读出与每个像素关联的积分周期。在至少一个在这里所说明的实施例中,可并行寻址的像素组排列成行,读出以控制像素变换率和为时钟和顺序逻辑功能提供较细的定时增量的像素时钟执行,一次一行。在这个讨论中,术语“行(row)”替换为更为广义的术语“并行可寻址组(paralleladdressable group)”。术语“行时间(row time)”替换为表示用来调度和执行读出并行可寻址组内的像素还用来调度和执行较为不同的复位和选择性复位任务的“任务定序间隔(task seq uencinginterval)”。术语“像素时钟(pixel clock)”替换为更为功能描述性术语“定序时钟(sequencing clock)”。可以理解,本发明的原理不局限于读出以一次一行方式执行或时钟直接依赖于像素率的设备,而是可以扩展到由“并行可寻址组”、“所关联的任务定序间隔”和“定序时钟”所蕴涵的更为广义的范围。并行可寻址组的每个像素根据它对所曝光的光的响应设置积分周期,而并行可寻址组内的每个像素在所关联的任务定序间隔期间在部分并行读出任务中被读出。阵列的像素具有选择性复位能力,从而可以逐像素选择每个并行可寻址组的像素,予以复位。像素优选的是还包括提供在部分积分后优选的是非破坏性读出所积电荷的优选的是模拟的指示。为了获取特定的图像,成像设备优选的是配置成可以通过使用选择性复位能力为每个有效像素从一个优选的是预定的可用积分周期组中选择一些越来越短的积分周期。可用积分周期组的每个可用积分周期优选的是各用一个所关联的积分周期标识附标(integration period identifying index)标识。阵列中的每个有效像素各有一个存储单元,用来存储本像素进行积分的积分周期的积分周期标识附标的指示。为了开始新的读出,每个像素无条件复位成开始它的最长的可用积分周期,而它所关联的存储单元初始化成指示最长的可用积分周期的积分周期标识附标。在给定像素的最长的可用积分周期期间,在这个周期期间的一组预定时间中的每个预定时间,像素经受有条件地启动可用积分周期中一个较短周期的条件选择性复位任务。一般意向是提供一些条件复位准则,这些条件复位准则可以很好利用每个像素的满标量程,而使积分周期短到足以使每个像素会饱和的概率低到可以接受。如在本说明中别处详细说明的那样,有选择地复位每个像素的每个判断部分取决于在部分积分后(即在部分完成像素的当前有效的积分周期后)所读出(优选的是以模拟形式)的所积电荷的指示与预定的门限量(预定的门限量可以是恒定的,也可以取决于施加到像素上的积分周期或许还有像素在阵列内的位置或其他变量)的比较结果。每个选择性复位任务用来有条件地启动可选积分周期组内一个依次较短的积分周期。每当一个像素被复位、开始一个较短的积分周期时,与这个像素关联的存储器内的对于所关联的像素的当前有效积分周期的标识附标就被更新成指示正启动的积分周期的标识附标。最终的像素复位确立了用来读出像素的积分周期。在这个对于给定读出周期的对给定像素的相继复位任务的优选顺序中,一旦由于部分根据比较任务的结果得出的判断而绕过一个对一个像素的条件复位,在读出这个像素前就不再对这个像素执行复位。为了贯彻这个准则,根据需要检验像素的存储器指示,如果一个像素在对它执行的上个条件复位任务中没有被复位,就禁止再对这个像素进行条件复位。对于一个条件复位任务,如果像素在对它执行的上个复位任务中被复位,优选的是这个像素当且仅当对它执行的比较任务的结果指出像素上所积光感应电荷量超过作为所关联的可选积分周期的条件复位任务的一部分与之比较的门限值时才被复位。在对一个给定像素的积分周期结束时,从与这个像素关联的存储单元读出为像素选择的积分周期的标识附标和从像素读出在所选积分周期期间像素上所存储的光感应所积电荷,优选的是经数字化成数字化像素电荷量读出。将优选经数字化的像素电荷量的读出与来自与像素关联的存储器的用于像素的积分周期的指示配成对。数字化像素电荷量读出与为像素所选的积分周期一起指示了像素受到曝光的光强度。这信息通常被汇编成相关的方便形式,从成像设备传送给外部设备,或者任选地传送给成像设备本身内的另一个存储器或图像处理功能。
在一个示范性设计中,将这些可选积分周期选择成按规定比例依次一个比一个短。在至少一个实施例中,每个后继可选积分周期为上个较长可选积分周期的四分之一,因此在任何两个相继可选积分周期之比标称为4∶1。这使得8个可选积分周期的最长的积分周期与最短的积分周期之比标称为16,384∶1。可以选择4之外的其他比例,而且不是所有的相继可选积分周期必须与前个或后个积分周期相差同样的比例,也可以提供多一些或少一些的可选积分周期。在至少一个实施例中,从最长的到最短的积分周期的大约16,384∶1的范围使通过数字化像素上的光感应所积电荷提供的通常大于50dB的动态范围增加84dB。这提供了大于134dB的动态范围,而对于所获得的每个图像的每个像素几乎都是独立线性输出。这些是保守的估计,采用这种设计的一些变型可达到大大超过140dB的动态范围。此外,如在本说明中别处所详细说明的那样,采用10比特的A/D,最小分辨率可以好于100分之一,理论上在大部分总光强度范围内好于250分之一。如果采用较高分辨率的A/D和/或在可选积分周期内较大范围的积分时间,可以扩展动态范围,而采用较高的A/D分辨率或者较靠近的可选积分周期,可以在整个大光强度范围内保持大于250∶1的最小分辨率。
与某些其他大动态范围成像器相比,在存储器电路内只需记录所选积分周期的附标。在至少一个实施例中,用一个3比特的存储器项来存储它所关联的像素的当前有效的积分周期的标识附标。与需要存储一个完整的或几乎完整的图像帧的大动态范围设计相比较,3比特的项需要比存储完整的13比特值所需的四分之一还少的存储器,从而节约了相当大的存储空间。用来标识每个像素的积分周期的存储器电路优选的是与成像阵列被制造在同一个硅基底上,可以任选地由一些动态存储单元构成。每个像素的值只需要被存储所关联的像素的整个积分和读出周期的持续时间。在实际曝光顺序期间所需的有限存储时间限制了值需要保持存储的时间周期,而在条件复位任务期间重复的存储器访问和写任务提供了附加的自然刷新任务,这些自然刷新任务限制甚至消除了在使用动态存储单元时可能需要的附加刷新任务。在一个示范性设计中,在初始的无条件复位与第一个条件复位之间的24ms周期是在为存储器内特定位置提供刷新的相继存储器读写任务之间最长的间隔。对于一些动态存储器设计来说,可以不需要更为频繁的刷新周期。如果需要更为靠近的刷新周期,可以在每个任务定序间隔内在执行并行可寻址组读出任务和/或并行可寻址组复位任务之间的一些空闲周期期间插入一些附加的存储器访问周期,以按需要提供一些附加的刷新周期。可以通过指配任务定序间隔时间周期中适合定时要求的这些任务定序间隔时间周期和指配一个定序时钟计数值(任务定序间隔和定序时钟计数在下面定义)启动执行所增添的刷新周期的访问和重写(根据需要)存储器单元的刷新任务,将这些刷新任务结构和调度为在每个任务定序间隔期间的一个或几个非常像所增添的条件复位任务的刷新任务。由于不同的对定序时钟计数值的选择而引起的定时改变相对由刷新间隔所需的多个任务定序间隔提供的时间周期是非常小的,所以可以选择定序时钟计数时间中不干扰并行可寻址组读出的可用间隔或已经安排在任务定序间隔期间的这些复位间隔之一来提供所增添的存储器刷新周期。
选择一些按比例一个比一个短的积分周期允许在任何两个相邻积分周期之比比较小(在至少一个实施例中为4)但仍可以适当少量的可选积分周期提供非常大的积分时间范围(在以上引用的示范性设计中以8个可选积分周期提供16,384∶1的积分时间范围)。有一种着眼于8个可用积分周期和标称最长积分周期为32ms的倾向,推断处理每个积分范围可用的是标称32ms/8或4ms。带着这个观点,容易忽视在由启动次最短可选积分周期与最短可选积分周期之间的非常短的时间间隔(在至少一个实施例中为6μs)给出的可用处理时间上所增添的定时限制以及为了使成像器能在这样短的时间间隔内对多个像素执行所要求的操作而形成的对调度和硬件性能的要求。在本发明的至少一个实施例中,用卷帘式快门作为出发点再增添一些功能部件的新颖组合,来提供在不同的可用时间周期(包括那些非常短的可用时间周期)期间执行必需的任务的必需设备功能,以得到特别宽的逐像素动态范围。像素被划分成一些读出和复位任务的并行可寻址组,而并行可寻址像素组的读出是按在用来读出图像帧的所有并行可寻址像素组的时间周期内由任务定序间隔提供的均匀时间增量分配,优选的是逐任务定序间隔和所关联的并行可寻址组分配。为每个像素选择和确立适当的积分周期也在任务定序间隔内调度和组织。优选的是,读出一个并行可寻址组内的像素至少部分并行执行,在相继的任务定序间隔期间一次一个并行可寻址组,将所选的并行可寻址组的一些像素值传送给一组采样电路。然后,优选的是将在采样电路组内的与像素有关的值调整和数字化(可任选的是按顺序)成反映指示所采样的并行可寻址组的每个像素的光感应所积电荷的数字化读出。对于每个像素来说,再将指示光感应所积电荷的数字化读出与从本像素所关联的存储器项读出的本像素的积分周期的指示配成对。像素读出和读出的积分周期一起表示像素所检测到的光强度,像素所读出这个光强度指示从成像设备输出。
在一个具有8个可选积分周期的示范性设计的图像获取序列中,为每个可寻址组的像素调度9个任务,以完成对可寻址组的像素的积分和读出。这些任务包括无条件复位和多个条件复位(在第一个可选积分周期后的每个可选积分一个条件复位),以便在任务定序间隔内根据顺序计数通过在适当的任务定序间隔内适当时间调度和执行每个所需任务在适当时间有条件地启动可选积分周期。最后,在给定并行可寻址组的像素的这些积分周期结束时,调度对可寻址组内的像素的读出。在所引用的这个示范性设计中,必须为每个并行可寻址像素组调度8个分开的任务(每个可选积分周期一个任务),以启动或者有条件地启动并行可寻址组的每个有效像素的每个可选积分周期。在将对于给定可选组的像素的所有可选积分周期启动成无论所选的具体积分周期是哪个都使它们同时结束的优选结构中,启动给定并行可寻址组内的像素的各个可选积分周期通常不是发生在同一个任务定序间隔。在所引用的具有8个可选积分周期的这个示范性设计中,对于一个给定并行可寻址组的三个最短的积分周期在同一个任务定序间隔内不同的定序时钟计数处启动,而对于给定并行可寻址组的其余五个可选积分周期的读出和启动或条件启动都在不同的任务定序间隔内启动,因此对于所引用的这个示范性设计来说,对于一个给定并行可寻址组的各个任务由总共7个不同的任务定序间隔定序。可以具有与在一个帧读出顺序内的任务定序间隔一样多的有效并行可寻址像素组,因此通常在每个任务定序间隔期间为某个可寻址像素组(为是有效的每个所寻址的可寻址像素组)执行读出任务和一个分开的启动或有条件地启动每个可选积分周期的任务。对于以上所引用的这个示范性设计,在每个任务定序间隔期间调度读出任务加上8个复位或条件复位任务,通常在一个给定任务定序间隔内执行的9个任务选择7个不同的可寻址组,这7个不同的并行可寻址组包括在所关联的任务定序间隔期间为条件启动三个最短的积分周期中每个积分周期调度的一个并行可寻址组。如果所寻址的是没有配备的或者是非有效的并行可寻址组,硬件就配置成使这些任务是无害的或者使这些任务是受禁止的。在以上说明中,在一个给定任务定序周期内所调度的任务包括各自对不同的并行可寻址组操作的任务。
任务定序时间间隔被分成一些称为定序时钟周期的任务定序时间间隔子增量,而定序时钟周期的计数通常在每个任务定序间隔开始时初始化后逐渐递进,以提供任务定序时间间隔内的时基。对于应用串行数字化和/或输出像素的设计来说,将定序时钟周期方便地选择成与像素处理率有关。在传统的术语中,像素行与并行可寻址组相应,行处理时间间隔与任务定序时间间隔相应,而列或像素时钟计数时间间隔与定序时钟计数时间间隔相应。并行可寻址组内的像素的读出优选的是至少部分以并行方式执行,为读出以及为任务的调度和执行指配所关联的任务定序间隔,以便在任务定序间隔期间为无条件复位或条件复位任务所调度的可寻址组的每个像素选择和确立可选积分周期中的一个正确的积分周期。启动一个给定可寻址像素组的像素的可选积分周期中一个给定可选积分周期的每个无条件和条件复位任务在一个任务定序间隔内和在这个任务定序间隔内的一个定序时钟计数范围内调度和执行,这提供了适当个插入任务定序间隔和小数任务定序间隔(定序时钟偏移计数),以提供特定的可选积分周期的正确持续时间。一个特定的积分周期内的整任务定序间隔的个数用作粗时间增量而附加的定序时钟计数偏移值用来提供细时间增量,以确定特定的可选积分周期的持续时间。在任务定序间隔期间,完成对可寻址组的读出和所关联的对像素的数字化和输出。优选的是,整个行读出任务的并行部分只占整个任务定序间隔时间的比较小的部分。在任务定序间隔的其余部分期间,在一些特定时间,优选的是基于定序时钟计数,并行可寻址像素组中各个像素的各自可选积分周期经受所调度的复位或条件复位任务,以在所调度的时间启动或条件启动可选积分周期,从而适当地为并行可寻址组内受到这些任务作用和将在后继的任务定序任务期间读出的像素确立了积分时间。在分配给任务定序间隔的这些定序时钟计数结束时,用定序时钟计数来将任务定序间隔标识附标定序成指向下一个任务定序间隔和所关联的并行可寻址组,并且开始一个新的任务定序时间间隔。
各个具有任务定序间隔和它们所关联的并行可寻址组和具有它们的定序时钟时间单元的图像帧通常以一种重复的逐帧、逐任务定序间隔和所关联的并行可寻址组和逐定序时钟计数的节奏定序。每个任务定序间隔赋予一个标识它在图像帧截获顺序内的位置的标识附标。任务定序间隔内的定序时钟计数值(或者相应的像素位置)赋予数字附标值,使得在这个帧的图像截获顺序内坐标可以用包括任务定序间隔标识附标和定序时钟计数值或序号的坐标值对表示。这些任务定序间隔标识附标和定序时钟计数以某种形式存储在成像设备的提供时基的电路内的硬件寄存器内,以对图像获取序列内的各个事件,包括积分周期时间间隔的控制、并行可寻址组的选择、组内像素的选择、硬件组件的选择和图像获取序列内事件的启动,进行定序。
通过图像帧、通过帧的相继任务定序间隔和通过任务定序间隔的定序时钟计数范围依次累进有些类似于一个时钟,一个小时可以与一个具有60分钟的图像帧扫描时间相比拟,各分钟可以与具有60秒的任务定序间隔相比拟,而每秒可以与定序时钟计数时间相比拟。这是不严谨的比拟,因为在一个示范性设计中图像帧获取时间大约为32毫秒,分成419个任务定序间隔和所关联的并行可寻址组,每个分成626个定序时钟周期或像素时间,每个像素时间大约持续0.125微秒(在上面引用的这个示范性设计中,行扫描时间用作任务定序间隔,而像素时钟用作定序时钟)。
时间间隔,诸如积分时间之类,方便地通过对作为粗时间增量的任务定序间隔的计数和附加的作为细时间增量的出现在任务定序节奏的起点与终点之间的定序时钟计数偏移确定。一个任务可以从在扫描顺序内一个具有其标识附标的定序间隔和在开始任务定序间隔内的开始定序时钟计数处开始和在扫描顺序内一个具有其标识附标的任务定序间隔和在结束任务定序间隔内结束定序时钟计数处结束。使用任务定序间隔和定序时钟计数作为时基,时间间隔可以用表示时间增量的粗部的任务定序间隔的个数和表示时间增量的细部的定序时钟计数偏移来表示。优选的是,时间增量的细部表示为间隔在结束任务定序间隔内结束的定序时钟计数减去间隔在开始任务定序间隔内开始的时钟计数所得到的带符号的差。为了表示积分周期的时间间隔,优选的是使用模运算取进行读出的结束任务定序间隔的标识附标减去进行复位以开始积分周期的开始任务定序间隔的标识附标所得到的差。结束积分,通常出现读出,在任务定序间隔周期内早些的低定序时钟计数处,而积分周期通常在它们各自的任务定序间隔内迟些的较高定序时钟计数处开始,从而积分周期的定序时钟计数偏移计算为积分周期结束时的定序时钟计数(在任务定序间隔内)减去积分周期开始时的定序时钟计数(在任务定序间隔内)。这个结果是带符号的,因此可以是负的。在至少一个实施例中,优选的是在一个任务定序间隔内将读出像素的定序时钟计数时间的范围选择成使得在这个范围内读出前有效积分结束的定序时钟计数对于每个任务定序间隔是相同的,从而可以标为一个已知的积分周期结束的定序时钟计数值。在以下说明中,将给定任务定序间隔的标识附标指定为等于在给定任务定序间隔期间要读出的并行可寻址组的地址。作为又一个任选方案,可以加上对读出帧的起始地址的偏移来计算物理像素位置。此外,将相继的定序任务周期标识附标值指定为一些从与帧扫描顺序开始相应的值逐渐递增到与帧扫描顺序结束相应的值的相继整数。这便于硬件实现,因为可以用任务定序间隔标识附标直接选择要读出的并行可寻址组,而选择并行可寻址组以对并行可寻址组内的像素进行复位或选择性复位从而启动一个积分周期的“前瞻(look ahead)”功能通过用适当的模运算将积分周期的任务定序间隔的个数加上用来选择要读出的并行可寻址组的并行可寻址组地址来实现。于是,在复位或条件复位任务后,随着扫描节奏的继续,施加了复位任务的并行可寻址组在经过了由以所加的任务定序间隔的个数表示积分周期的值确定的任务定序间隔的个数后将被读出。此外,如果将复位或选择性复位并行可寻址组的定序时钟计数范围选择成使得复位在相对积分周期结束时的定序时钟计数的所规定的、带符号的定序时钟计数偏移处出现,复位将以正确的任务定序间隔数和正确的定序时钟计数偏移间隔执行,以在将得到所需的积分周期的时刻启动积分周期。因此,通过使用模运算将积分周期内的任务定序间隔个数与任务定序间隔标识附标相加、在为启动复位预先选定的提供相对为结束积分周期所选的定序时钟计数时间有所需带符号的定序时钟计数时间偏移的定序时钟计数时间启动复位或条件复位任务,结合选择所需积分时间的所需带符号的定序时钟计数偏移,提供在所需个数任务定序间隔上的积分。
并行读出的像素组的积分间隔,优选的是使用与对读出分组相同的对这些任务分组方式,并行予以复位或条件复位。在至少一个实施例中,提供了适当的执行并行条件像素选择性复位任务的并行比较、逻辑和存储器访问功能。许多组件,包括并行可寻址组选择、任务定序间隔偏移加法器、列读出线、像素所关联的存储器访问和并行条件复位比较设置和逻辑电路,由各个积分周期专用无条件或选择性复位任务和由并行可寻址组读出功能可能还由附加的存储器刷新功能共享。为了避免在使用硬件资源中的冲突,并行可寻址组读出、每个启动专用可选积分周期和附加存储器刷新操作在预先指定的表征为防止在每个任务定序间隔期间争用共享资源的基本上不相重叠的时间间隔内(或者根据需要在指定为共享资源可用的时间间隔期间)执行。在一个优选实现中,这个目的是通过提供一些基于硬件的任务调度功能来达到的,这些任务调度功能将并行可寻址组读出、无条件复位和各个条件复位任务(每个条件可选积分周期一个)定序成使得这些任务分别在任务定序间隔期间基本上不相重叠的定序时钟计数范围内执行。此外,如果需要,还可以将存储器刷新任务添加到在基本上不相重叠的定序时钟计数范围上执行的任务的列表内。为了以避免资源使用冲突的方式进行这种调度,每个特定任务优选的是在每个任务定序间隔期间达到预定的定序时钟计数时启动,这些预定的定序时钟计数被选择成使得会冲突的任务不相交叠。优选的是,为历经相继帧的并行可寻址组地址中的每个任务定序间隔执行刚才所说明的顺序。每当施加适当偏移后选择一个具有处在有效区域内的像素的并行可寻址组时,执行所定序的任务,但是在一个所寻址的并行可寻址组不在有效成像区域内时遏止或者以没有不良影响的方式执行所定序的任务。通过每当所寻址的是一个具有处在有效图像区域内的像素的并行可寻址组时执行并行可寻址组读出和每个复位和条件复位任务,就为每个具有有效像素的并行可寻址组执行了所有任务。
有两组可能冲突准则,用来为并行可寻址组读出和启动各个积分周期的复位任务选择定序时钟计数范围。第一准则是为任务定序间隔内任务指派提供定序时钟计数范围,以便以共享资源在需要时可得到的方式执行不交叠或至少部分不交叠的并行可寻址组读出和复位任务。可能冲突的第二准则是为任务定序间隔内任务指派提供定序时钟计数范围,以便执行提供相应的定序时钟计数偏移的并行可寻址组读出和复位任务,确立每个可选积分周期的所需积分周期。在一个示范性设计中,示出了满足这些准则的组合的范例。通过将任务定序间隔内的定序时钟计数范围选择成适当设置积分时间周期和检查任务指派的交叠的定序时钟计数范围和/或在使用资源中的冲突可以发现冲突。由于较短的积分周期而出现的冲突往往通过在设计中的小调整,诸如将所有的积分周期都用一个小的因子定标或者在每个任务定序间隔的定序时钟周期数上作小的改变之类,来解决。对于较长的积分周期,定序时钟偏移的改变相对在这些积分周期内数量很多的任务定序间隔内的时间来说对积分周期的影响可以非常小,因此往往可以将这些任务的定序时钟范围调整成在使用资源中避免争用,而对最终得到的积分周期影响极小。
可以将积分周期选择成(如在一个示范性设计中那样)使得一个比一个短的积分周期提供像素对每个积分周期的有效灵敏度与像素对下一个依次较短的积分周期的有效灵敏度之比等于用来表示读出的记数制的指数的底。例如,在一个示范性设计中,将每个依次较短的积分周期选择成为所紧接的较长的积分周期的四分之一,得到对每个依次较短的积分周期的灵敏度相应减小为标称4∶1。此外,将指配给积分周期的标识附标(标为i)在一个示范性设计中选择成将0指配给最长的积分周期而对于7个依次较短的积分周期所指配的附标逐渐增大到7。设a表示在像素上的光感应积分电荷的A/D读出。设b表示对于优选的是以近似线性形式表示光强度的读出的数字表示的指数的底。于是,光量v可以表示为
v=a·bi
或者表示为
v=a·4i
其中,a为像素的A/D读出,i为用来得到读出的积分周期的附标,而4为底b,通过将相继的积分周期选择成每个标称为上个较长的积分周期的四分之一确定,因此灵敏度减小的相应因子为4。这也可以表示为
v=a·22·i
在二进制格式中,对于i从0至7的值,可以通过将0指配给二进制数的比特0和将i的比特0至2分别指配给二进制数的比特1至3来得到。可以用包括刚才所概述的示范性过程的各种过程将数v方便地映射成浮点格式。在以指数记数给出的读出中,优选的是将以上的a直接映射或任选地定标和映射成尾数,而将i或2i根据底酌情用任选的偏移和/或比例因子映射成指数。
作为一个任选方案,可以使用以上的像素值的指数表示,以便变换成对数形式。为了将像素值变换成对数形式,优选的是首先将值标准化,以将二进制或小数点置于优选位置(类似于调整指数和尾数,对于科学记数法为非零值提供值大于或等于1而小于10的尾数)。然后,优选的是用基于硬件和/或软件的电路将尾数变换成它的对数等效值。可以将指数经适当定标后添加给尾数的对数,以提供像素的对数值。适当选择可选积分周期的辐射测量间隔,比例因子可以是允许直接将指数插入尾数的对数的2的整数幂,以提供像素读出的对数值。
16比特的浮点格式是特别适当的,因为它只需要比在这个示范性设计中得到的13比特的像素读出多出3个比特。在开放的图形格式的版本中使用的称为半浮点的16比特浮点格式OpenGL,这个格式对于一定的图形处理功能是已经得到承认的16比特浮点格式的一个例子。半浮点格式将一个比特用于符号、5个比特用于指数和10个比特用于尾数。作为一个例子,可以通过将符号比特和指数的最高有效比特和最低有效比特设置为零以及将3比特的指数i(如以上所说明的那样指配的积分周期标识附标)映射成指数的3个中间比特和将表示像素的光感应所积电荷读出的10比特A/D值映射成尾数的10个比特,将以上的光读出值v映射成半浮点格式。这个值可以任选地标准化和/或定标。如果需要的话,可以将这些任选方案留给图像数据所传送到的处理电路来实现。因此,作为本发明的示范性设备的像素级读出结构一部分的这种新颖的极大动态范围的指数格式可以以标准化的浮点格式或者任选地以可以方便地映射成如刚才所例示的标准浮点格式的格式输出。对于许多应用来说,用基于指数和尾数的像素值输出格式可以自动化和简化对在非常大的甚至是全动态范围内的图像像素值的处理,以便使用这些大部分甚至完全消除了几乎所有现有技术的成像系统所固有的为了使图像合乎积分范围而独立执行的曝光量跟踪和调整的示范性成像设备。
现在,从任务、资源和调度的角度来看成像阵列。成像阵列具有一系列组织成多个并行可寻址像素组(在一个示范性设计中为像素行)的像素。可以将每个并行可寻址组的像素编址成作为一个组来选择,以对它们执行,优选的是以至少部分并行的方式执行作为图像获取序列部分的基于硬件的任务。对于要获取的每个图像帧,需为成像阵列中的每个像素执行的个别调度的任务包括读出、数字化和输出的任务,或者任选地对像素执行的其他任务,以及在为像素启动每个可选积分周期时执行的启动积分周期或条件启动新的积分周期的任务。在一个示范性设计中包括8个可选积分周期。因此,对于一个示范性设计来说,对于每个像素有9个任务需调度和执行,以获取本像素的读出。作为一个任选方案(并非优选方案),可以用作为上个对给定像素的读出任务的一部分的复位来启动这个像素的可选积分周期中最长的可选积分周期,而作为第二个任选方案,可以将积分周期中最短的组合为像素的加长读出任务部分。无论是哪个任选方案都应是本发明的一部分,但是并不是优选的,因为每个都对灵活性有所限制。在任何情况下,对于这个示范性设计来说,对于每个像素,有7个至9个用于读出和像素复位的任务加上一些用于诸如存储器刷新之类的可能附加任务需分别调度和执行,以确立适当的可选积分周期和读出像素。可以将这个例子方便地扩展到用于其他数量的可选积分周期,而这样的扩展也应是本发明的一部分。为所获取的每个图像帧的每个有效像素执行这些分别调度的任务。此外,依次缩短的积分周期的积分时间如果成比例或按几何级数减小,那些较短的周期就非常靠近,如在别处所提示的那样。在保证在所需时间完成必需任务的优选成像设备中:执行基于并行硬件的条件复位任务;确立(优选的是以逐个像素的方式)所获取的每个图像的每个像素积分周期;部分根据部分积分后所指示的像素值(优选的是以模拟形式)与门限值的比较结果为每个像素选择较短的可选积分周期;通过在按原来预定的调度完成积分的正确时刻执行对像素的选择性复位启动新的较短的积分周期;在图像获取周期期间和在完成积分周期和最终读出以及像素值数字化前为像素的最长可选积分周期分配的时间期间确定用来读出每个像素的可选积分周期;对于所获取的每个图像,像素值只数字化一次;每个像素当前进行积分的积分周期的指示随着每个为本像素启动的新的条件可选积分周期的启动予以记录。
采用以上简要说明的任务和资源,主要焦点在这里是给定图像获取序列的组织和调度。优选的是,成像设备具有调整诸如选择复位任务的“比较门限”以及包括在一个帧内的任务定序间隔个数、在一个任务定序间隔内的定序时钟周期个数和定序时钟周期的数字持续时间的有效“图像帧大小”之类的许多参数的灵活性。可选积分周期的使用和可选积分周期的个数优选的是也是可编程的。像素被组织成一些并行可寻址组,组内的像素是以至少部分并行方式可访问的,从而可以通过发布并行可寻址组的地址来执行任务。带有有效像素的并行可寻址组优选的是在每个并行可寻址组内含有同样数量的有效像素。图像获取间隔将是在以连续截获模式工作时在截获一个图像与截获下一个图像之间的间隔。图像获取间隔被分成一系列任务定序间隔,这些任务定序间隔优选的是具有同样的持续时间,而且优选的是充满了图像截获间隔。优选的是,存在至少与带有有效像素的并行可寻址组一样多的任务定序间隔。任务定序间隔被分成优选的是数量固定的计数定序时钟周期。优选的是,在一个任务定序间隔内存在至少与在一个可寻址组内的有效像素一样多的定序时钟周期。优选的是,指配同样的数字值用作选择并行可寻址组的地址和用作标识特定的任务定序间隔的附标,而更为优选的是在一个任务定序间隔有效时调度对同样编号的并行可寻址组中的像素的读出。还优选的是按与任务定序间隔成为有效相同的相继次序将地址指配为相继的整数。这样,可以与加法或减法一起使用模运算,以在硬件中和在积分周期的计算中处理地址偏移,其中,定时控制优选的是基于任务定序间隔的个数和根据定序时钟周期的个数得出的任务定序间隔的小数部分。
采用以上规定和术语对每个可寻址组的读出在相应的任务定序间隔期间调度。读出任务优选的是含有对并行可寻址组的有效像素基本上并行执行的部分。在读出的这个基本上并行执行部分期间,积分周期在预定的定序时钟计数时结束,来自每个像素的模拟信息被传送给所关联的采样电路。读出任务的基本上并行执行部分优选的是在定序时钟周期的预定范围内定序。读出的并行执行部分占用任务定序间隔的一个比较小的部分,而这间隔的其余部分可用于包括复位和选择性复位任务的其他一些任务。对于调度复位任务来说,有一些可以观察调度安排的有利视角。在与一个示范性设计有关的图1和2中,可以对这两个图中和有关说明中的行和列或像素值作如下比拟:行时间和有关的行比拟为更为广义的任务定序间隔和与它有关的并行可寻址组;以及像素时钟或计数比拟为更为广义的定序时钟计数。图1和2各示出了对阵列的仅一个行的行读出任务,并且示出了对示为要读出的这个行内的像素执行的无条件行复位和7个条件复位的行和列偏移,用以确定和选择行的每个像素的适当可选积分周期,使行为读出作好准备。在这个观察中,我们从被读出的行开始,回顾使这行为读出作好准备而执行的复位和条件复位任务。每个并行可寻址组的有效像素在超过一个任务定序间隔期间经受条件复位任务。
现在从着眼于为在特定的任务定序间隔期间执行而调度的任务的列表的角度来观察任务调度的情况。在一个给定的任务定序间隔内,调度一个读出一个所关联的并行可寻址组的有效像素的任务,以及调度一些各与可选积分周期之一关联的复位任务。在这个任务定序间隔期间,调度一个对并行可寻址组的像素进行无条件复位的无条件复位任务,为这些像素启动最长的积分周期。其余的复位任务各与较短的可选积分周期中的一个特定的可选积分周期关联,被配置成逐像素地对像素进行选择性复位,以有选择地启动所关联的被选择性复位的像素的较短的积分周期。在任务定序间隔期间,配置了与每个可选积分周期关联的复位任务。与读出一个并行可寻址组的有效像素关联的这些并行任务在任务定序间隔内的一些定序时钟时间范围内调度,而行读出的不需要使用与复位任务共享的资源的部分,诸如对在行读出任务的并行部分采样的像素值数字化,通过任务定序间隔的其余部分调度。每个可选积分周期一个的复位任务优选的是在读出任务的并行任务后通过任务定序间隔的其余部分调度,调度安排成防止对共享资源的争用和在任务定序间隔内提供启动具有所需持续时间的可选积分周期的定序时钟计数处按需要无条件或有选择地启动一个个像素的积分周期。对于每个所调度的复位任务,根据与复位关联的可选积分周期内的任务定序间隔个数将用来选择对之执行任务的并行可寻址像素组的基本地址修改成选择在这个任务定序间隔个数后将要读出的那个并行可寻址组(在一个示范性设计中为“行”),从而提供所需的积分周期。通过在每个任务定序间隔内对所选择的可寻址组内的有效像素按同样的定序时钟间隔重复地执行同一个任务列表内的这些任务,所有的像素读出任务按预定调度的预定次序执行,而所有的无条件和条件复位对每个有效像素执行,以为像素选择可选积分周期中的适当可选积分周期。
对于每个并行可寻址组,一旦为完成一个图像读出了像素,就可以开始为截获下一个图像的积分。随着渐进性地逐任务定序间隔所关联的并行可寻址组读出图像的像素,以上所述意味着,对于逐个截获相继图像的工作模式,截获下个图像帧的图像的积分周期可以在上个帧的所有像素的积分和读出完成前就开始。此外,随着依次逐任务定序间隔所关联的并行可寻址组读出处理,像素值依次按预定顺序读出,对于每个所获取的图像,正好从每个像素得出一个像素值。可选积分周期调度和安排成使得读出根据不取决于为各个像素所选择的个别积分的预定调度进行。这样,经数字化的像素值对于每个图像的每个有效像素来说恰好获取一次,以已知的预定次序给出,供直接输出或进一步处理,而不必在图像获取过程中为一个像素获取多个读出时或者在为大部分阵列上的像素逐步进行和有效散布获取数字化像素值时将图像的主要部分缓存起来以便对像素重新排序或供值选择用。对于阵列中的每个像素:像素的积分周期从可选积分周期的有限集合中选择;记录所选积分周期的指示;调度使得在图像截获顺序内的预定时间结束所选积分周期以及读出和数字化像素值。
首先参见图6,为了例示起见,自动车辆设备控制系统606示为安装在受控车辆605内。虽然控制系统606示为与内部后视镜组件整合在一起,但可以理解,控制系统或其任何独立组件可以安装在受控车辆605内部或外表任何适当位置。术语“受控车辆”在这里是指包括自动车辆对外灯控制系统的车辆。安装所关联的图像传感器的适当位置是那些可以对通常在受控车辆605前方的景像进行自由观察的位置,从而允许图像传感器检测在与受控车辆关联的眩目区域608内迎面而来的车辆615的前灯616和在前面行驶的车辆610的后灯611。
图7示出了包括装有自动车辆对外灯控制系统的内部后视镜组件706的受控车辆705。处理和控制系统的功能有向成像器发送配置数据、从成像器接收图像数据、处理图像和产生对外灯控制信号的功能。这样的自动车辆对外灯控制系统的详细说明可参见共同转让的美国专利No.5,837,994,5,990,469,6,008,486,6,130,448,6,130,421,6,049,171,6,465,963,6,403,942,6,587,573,6,611,610,6,621,616,6,631,316和美国专利申请No.10/208,142,09/799,310,60/404,879,60/394,583,10/235,476,10/783,431,10/777,468和09/800,460,这些专利文件在这里全部列为参考予以引用。受控车辆还示为包括驾驶员外侧后视镜组件710a、乘客外侧后视镜组件710b、中央高安装停车灯(CHMSL)745、A-柱灯750a和750b、B-柱灯755a和755b和C-灯柱760a、760b;可以理解,这些位置中任何一个位置都可以用来安装一个、几个图像传感器或者有关的处理和/或控制组件。可以理解,任何或所有的后视镜可以是自动消光的电光镜。受控车辆示为包括许多对外灯,其中有前灯720a和720b、气象灯730a和730b、前转弯指示/障碍灯735a和735b、后灯725a和725b、后转弯指示灯726a和726b、后障碍灯727a和727b以及倒车灯740a和740b。可以理解,可以配置附加的对外灯,诸如独立的低光束和高光束前灯、包括多用照明的综合灯之类。还可以理解,任何对外灯可以配有调整给定的对外灯所关联的主光轴的位置控制器(未示出)。可以理解,图7的受控车辆通常只是例示性的,可以将诸如在这里列为参考予以引用的专利和专利申请中所揭示的那些适当的自动车辆对外灯控制系统与在这里所说明的和在这里列为参考予以引用的公开内所揭示的其他功能部件一起使用。
现在来看图8a和8b,图中示出了内部后视镜组件800a、800b的一个实施例。反光镜组件包括封在前外壳885a、885b和后外壳890a、890b内的固定附件组合。前外壳包括给定图像传感器可视开口的孔径886b。固定的附件组合与后视镜一起由连接件855a、855b承载。后视镜包括反射镜外罩860a和860b、座圈861a和861b以及反光镜862a。线盖894a、894b用来遮盖有关的接线815b。后视镜组合800a、800b还装有环境光传感器865b、至少一个麦克风866b、眩目光传感器865a、操作员接口863a、指示灯864a和至少一个信息显示器870。
现在来看图9,图中示出了附件和后视镜安装组合905的分解透视图。在一个优选实施例中,附件和后视镜安装组合提供将可重新定位安装的内部后视镜与精确对准的如在共同转让的美国专利申请No.10/783,273(7606)内详细说明的那样固定安装的或者如在共同转让的美国专利申请No.10/645,801中所说明的那样自动重新定位的图像传感器一起安装的刚性结构,这两个美国专利申请因此在这里全部整体列为参考予以引用。优选的附件和后视镜安装组合便于让组合解脱,又保证可重复地使有关组件可靠和精确对准。在至少一个实施例中,将所关联的成像器用于自动对外车灯控制,为此优选的是将图像传感器精确对准。可以理解,除了汽车和消费电子设备应用之外,本发明通常还可以广泛地应用于光传感的光学设备。
成像器板910装有带透镜911的图像传感器。在一个优选实施例中,成像器板还包括图像传感器控制逻辑和定时电路、通信线路驱动器和线束插座913。任选的是,成像器板可以包括接收和至少部分处理从图像传感器得到的图像的处理器。在一个优选实施例中,图像传感器和至少一个其他组件集成在一个共同的ASIC内,最好集成在一个共同的硅片上,这些其他组件是从包括1)图像传感器控制逻辑、2)A/D变换器、3)低压差动信号线驱动器、4)温度传感器、5)控制输出线、6)电压调整器、7)第二图像传感器、8)微处理器、9)湿度传感器和10)指南针的组中选择的。在至少一个实施例中,带有透镜911的图像传感器包括透镜盖钩扣部912,用来咬接透镜盖920的钩扣卡921。透镜盖有与图像传感器和透镜的光轴对准的孔径922。可以使用各种适当的光学系统,诸如在共同转让的美国专利5,990,469、6,008,486、6,130,421、6,130,448、6,049,171和6,403,942以及美国专利申请No.60/495,906(2880)中所示出和说明的那些,这些专利和专利申请在这里全部整体列为参考予以引用。可以理解,按照本发明的光学装置可以省去透镜盖920,如在这里详细说明的那样。可以理解,使用按照本发明的光学元件就可以不用透镜盖钩扣部、透镜盖和钩扣卡。在至少一个实施例中,“透镜盖”如在这里详细说明的那样在模制的有机材料的光学件上用激光形成。
成像器板配线束(未示出)优选的是在它的各端上配有插头。成像器板优选的是配有接纳成像器板配线束(未示出)的插头的插座。
图10示出了按照本发明的具有带透镜1011的成像器的数字照相机1006的轮廓图。可以理解,按照本发明的光学装置可以并入许多组合,包括但不限于:光传感、图像获取、湿度传感、后视系统、车道偏离检测系统、自适应罐控制系统、占位检测系统、安全防范系统、视觉系统、测色系统、前灯控制系统、可变反射率后视镜控制系统、数字录像机和数字照相机。
应该理解,提供以上详细说明以使一般熟悉本技术领域的人员能够实现和使用如在所附权利要求书中所述的本发明。本说明不应被解释为将本发明的范围限制在任何所给出的实施例,因此所附权利要求书旨在涵盖在相应范围内的所有等效结构和等效功能。

Claims (41)

1.一种成像设备,包括:
具有行和列的像素阵列,其中,
所述像素阵列中的每个有效像素各自经受一系列任务;
行读出采样保持电路,其中所述行读出采样保持电路适于对在每个列读出线上的读出值进行顺序采样,并且其中,
对于在行中的每个像素,将该行中的该像素的所积电荷量与任选地取决于有效复位任务所启动的特定积分周期的门限值相比,以局部确定对该行上的该像素是否需予以复位;
为给定像素选择和启动可用积分周期并记录为所述给定像素启动的积分周期的指示;
在至少部分处在所述像素阵列外的场所取得使用所选积分周期在所述给定像素上的光感应所积电荷量的数字化读出,并且根据所述数字化读出和所述所选积分周期输出表示所述给定像素的光强度读出的信号;
其中,复位任务和所述读出任务被交叉,以便在使用所述至少部分处在所述像素阵列外的场所中包含的组件的要求不冲突的情况下被执行。
2.如在权利要求1中所述的成像设备,其中,用像素复位任务来启动可选积分周期。
3.如在权利要求1中所述的成像设备,其中,执行为给定像素选择积分周期的任务被限制在对于所述像素可以进行最长的积分的周期。
4.如在权利要求1中所述的成像设备,其中,并行可寻址像素组构成所述像素阵列内像素行的实质部分。
5.如在权利要求1中所述的成像设备,其中,一个或多个可用积分周期与下一个较短的积分周期之比为2的整数幂,所述整数幂大于1。
6.如在权利要求1中所述的成像设备,其中,在存储器内为每个像素存储4个或少于4个比特的数据。
7.如在权利要求6中所述的成像设备,其中,所述存储器与所述像素阵列被制造在同一个集成电路基底上。
8.如在权利要求1中所述的成像设备,其中,对于每个像素只取得所积电荷量的一个数字化读出,对于各像素按预定次序取得数字化读出。
9.如在权利要求1中所述的成像设备,其中,为不同的图像获取序列提供不同的可选积分周期组。
10.如在权利要求9中所述的成像设备,其中,所述可选积分周期组中的第一个可选积分周期用于高于门限的环境光线条件,而所述可选积分周期组中的第二个可选积分周期用于低于门限的环境光线条件。
11.如在权利要求1中所述的成像设备,其中,对于给定可选组的像素的各可选积分周期被启动,使得无论所选的具体积分周期是哪个,它们都同时结束。
12.如在权利要求2中所述的成像设备,其中,确定对给定像素复位以启动一个较短的积分周期至少部分基于将所述给定像素的当前有效的积分周期的部分积分后在所述给定像素上积累的电荷的指示与门限量相比较的比较任务的结果。
13.如在权利要求12中所述的成像设备,其中,比较任务是以模拟形式的,并且在通常处在所述像素阵列之外的至少一个位置执行。
14.如在权利要求2中所述的成像设备,其中,如果所记录的对于一个像素的有效积分周期的指示表明所述像素没有在对于所述像素的前一条件复位任务期间被复位,就为所述像素绕过开始一个较短积分周期的复位。
15.如在权利要求6中所述的成像设备,其中,动态存储器被用于与每个像素关联的存储器。
16.如在权利要求15中所述的成像设备,其中,所述动态存储器含有存储比特值的电容性元件。
17.如在权利要求15中所述的成像设备,其中,对所述动态存储器的刷新任务与其他图像获取任务一起被调度。
18.如在权利要求1中所述的成像设备,其中,并行可寻址像素组的读出在图像获取序列期间以周期性间隔执行。
19.如在权利要求1中所述的成像设备,其中,最长的可用积分周期与最短的可用积分周期之比大于3500。
20.如在权利要求1中所述的成像设备,其中,除最短的可用积分周期之外的任何可用积分周期与下一个较短的可用积分周期之比小于10。
21.如在权利要求1中所述的成像设备,其中,所述可用积分周期成比例减小。
22.如在权利要求1中所述的成像设备,其中,所述可用积分周期按几何级数减小。
23.一种成像设备,包括:
划分成并行可寻址像素组的像素阵列;
读出所寻址的并行可寻址像素组中的有效像素的像素读出任务,所述读出任务是在至少部分处在所述像素阵列外的场所执行的;以及
多个积分周期启动任务,各个积分周期启动任务用来为各个所寻址的并行可寻址像素组内的所选像素启动一组可用积分周期中的不同的可用积分周期,所述读出任务和每个所述积分周期启动任务在任务定序间隔内的预定时间启动,每个任务被绕过或被指配一个具有要对其执行给定任务的像素的可寻址像素组,其中,所述任务定序间隔用来表示用来调度和执行读出所述并行可寻址组内的像素还用来调度和执行较为不同的复位和选择性复位任务的间隔,
其中,对于在行中的每个像素,将该行中的该像素的所积电荷量与任选地取决于有效复位任务所启动的特定积分周期的门限值相比,以局部确定对该行上的该像素是否需予以复位;
其中,复位任务和所述读出任务被交叉,以便在使用所述至少部分处在所述像素阵列外的场所中包含的组件的要求不冲突的情况下被执行。
24.如在权利要求23中所述的成像设备,被配置成提供重复执行所述任务定序间隔内的任务,以及将不同的并行可寻址像素组指配给每个任务定序间隔的相应任务,使得所有的任务都对每个并行可寻址像素组执行,以完成图像获取序列。
25.如在权利要求23中所述的成像设备,其中,确立最长的可选积分周期的任务执行对所寻址的并行可寻址像素组的每个像素的无条件复位,而每个启动其余较短的可选积分周期之一的任务首先逐像素确定需启动较短的积分周期的像素,再有选择地通过对所述像素的选择性复位启动所述较短的积分周期。
26.如在权利要求23中所述的成像设备,其中,每个像素的有效积分周期的指示记录在存储器内。
27.如在权利要求23中所述的成像设备,其中,由特定的任务定序间隔内的任务启动的积分周期部分地由该任务在任务定序间隔内启动的时间确立而部分地由选来供该任务操作的并行可寻址像素组的选择确立。
28.如在权利要求23中所述的成像设备,其中,并行可寻址像素组构成成像帧内的像素行的实质部分。
29.如在权利要求23中所述的成像设备,其中,在单个图像获取序列期间执行任务定序间隔的这些任务的总次数等于或大于具有有效像素的并行可寻址组的组数。
30.如在权利要求25中所述的成像设备,其中,任务定序间隔内的任务调度成使得由所述任务共享的组件一次仅由一个任务使用。
31.如在权利要求23中所述的成像设备,其中,在一个图像获取序列内读出的像素中至少有一些像素的积分周期在读出前一图像获取序列的所有像素前开始。
32.如在权利要求23中所述的成像设备,其中,动态存储器被用于与每个像素关联的存储器。
33.如在权利要求32中所述的成像设备,其中,刷新所述动态存储器的任务在所述任务定序间隔期间提供和调度。
34.一种成像设备,包括:
像素阵列;
可用积分周期组;
行读出采样保持电路,其中所述行读出采样保持电路适于对在每个列读出线上的读出值进行顺序采样,其中,
在积分周期结束时,将在至少部分处在所述像素阵列外的场所在每个像素上的光感应所积电荷量的读出数字化后以可以直接映射成浮点表示的尾数的形式输出,同时将用来读出所述像素的所述积分周期的相应指示以可以映射成像素值的浮点表示的指数的形式输出,
对于在行中的每个像素,将该行中的该像素的所积电荷量与任选地取决于有效复位任务所启动的特定积分周期的门限值相比,以局部确定对该行上的该像素是否需予以复位;以及
复位任务和光感应所积电荷量的所述读出任务被交叉,以便在使用所述至少部分处在所述像素阵列外的场所中包含的组件的要求不冲突的情况下被执行。
35.如在权利要求34中所述的成像设备,其中,像素的使用第一个可用积分周期的灵敏度与使用所述可用积分周期中另一个可用积分周期的第二灵敏度之比为2的整数幂。
36.一种成像设备,包括:
至少一个并行可寻址像素组,包括在图像获取序列内动态确定的对于在所述并行可寻址像素组内的每个像素的积分周期的起点,以及对于在所述并行可寻址像素组内的每个像素的积分的终点,该终点对于在所述并行可寻址像素组内的所有像素是同时的;
行读出采样保持电路,其中所述行读出采样保持电路适于对在每个列读出线上的读出值进行顺序采样;其中,
对于在行中的每个像素,将该行中的该像素的所积电荷量与任选地取决于有效复位任务所启动的特定积分周期的门限值相比,以局部确定对该行上的该像素是否需予以复位;
使用所选的所述积分在所述每个像素上的光感应所积电荷量的数字化读出是在至少部分处在所述并行可寻址像素组外的场所取得的;以及
复位任务和所述读出任务被交叉,以便在使用所述至少部分处在所述并行可寻址像素组外的场所中包含的组件的要求不冲突的情况下被执行。
37.如在权利要求36中所述的成像设备,其中,在所述并行可寻址像素组内的任何给定像素的积分的起点与在所述并行可寻址像素组内的任何其他像素无关。
38.如在权利要求36中所述的成像设备,其中,至少一个积分起点是从可用积分周期组中选择的。
39.如在权利要求38中所述的成像设备,其中,所述可用积分周期组根据图像获取序列前的指令得出。
40.一种成像设备,包括:
二维像素阵列;
与所述二维像素阵列中的每个像素关联的用来存储为给定像素所选择的积分周期的指示的存储寄存器;
行读出采样保持电路,其中所述行读出采样保持电路适于对在每个列读出线上的读出值进行顺序采样,其中,
对于在行中的每个像素,将该行中的该像素的所积电荷量与任选地取决于有效复位任务所启动的特定积分周期的门限值相比,以局部确定对该行上的该像素是否需予以复位;
使用所述所选择的积分周期在所述给定像素上的光感应所积电荷量的数字化读出是在至少部分处在所述像素阵列外的场所取得的,
所述所选择的积分周期是根据在图像获取周期期间在所述给定像素上所积电荷的指示与门限值的至少一个比较结果从一组至少4个可用积分周期中选择的;以及
复位任务和所述读出任务被交叉,以便在使用所述至少部分处在所述像素阵列外的场所中包含的组件的要求不冲突的情况下被执行。
41.如在权利要求40中所述的成像设备,其中,所述存储寄存器至少部分在由所述二维像素阵列给定的区域之外。
CN2007800522724A 2007-02-09 2007-12-14 改进型成像设备 Active CN101637030B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US90058807P 2007-02-09 2007-02-09
US60/900,588 2007-02-09
US90272807P 2007-02-22 2007-02-22
US60/902,728 2007-02-22
US11/999,623 2007-12-06
US11/999,623 US8289430B2 (en) 2007-02-09 2007-12-06 High dynamic range imaging device
PCT/US2007/025693 WO2008100307A1 (en) 2007-02-09 2007-12-14 Improved imaging device

Publications (2)

Publication Number Publication Date
CN101637030A CN101637030A (zh) 2010-01-27
CN101637030B true CN101637030B (zh) 2013-03-06

Family

ID=39685481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800522724A Active CN101637030B (zh) 2007-02-09 2007-12-14 改进型成像设备

Country Status (9)

Country Link
US (2) US8289430B2 (zh)
EP (1) EP2119249B1 (zh)
JP (1) JP5361072B2 (zh)
KR (1) KR101108536B1 (zh)
CN (1) CN101637030B (zh)
CA (1) CA2677737C (zh)
IL (2) IL200259A (zh)
TW (1) TWI382747B (zh)
WO (1) WO2008100307A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107110648A (zh) * 2014-11-06 2017-08-29 金泰克斯公司 用于可视范围检测的系统和方法

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
US8305471B2 (en) * 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US8629927B2 (en) 2008-04-09 2014-01-14 Gentex Corporation Imaging device
US8587706B2 (en) 2008-01-30 2013-11-19 Gentex Corporation Imaging device
DE102008044322A1 (de) * 2008-12-03 2010-06-10 Robert Bosch Gmbh Steuereinrichtung für eine Kameraanordnung, Kameraanordnung für ein Fahrzeug sowie Verfahren zur Regelung einer Kamera eines Fahrzeuges
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US9041806B2 (en) 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US9911781B2 (en) 2009-09-17 2018-03-06 Sionyx, Llc Photosensitive imaging devices and associated methods
JP4881987B2 (ja) * 2009-10-06 2012-02-22 キヤノン株式会社 固体撮像装置および撮像装置
US8340442B1 (en) * 2010-02-12 2012-12-25 Pacific Data Images Llc Lossy compression of high-dynamic range image files
US8666186B1 (en) 2010-02-12 2014-03-04 Pacific Data Images Llc Lossy compression of high dynamic range video
CN102834309B (zh) 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
US20120146172A1 (en) 2010-06-18 2012-06-14 Sionyx, Inc. High Speed Photosensitive Devices and Associated Methods
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
WO2012103193A1 (en) 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
JP5714982B2 (ja) * 2011-02-01 2015-05-07 浜松ホトニクス株式会社 固体撮像素子の制御方法
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US8963063B2 (en) 2011-05-03 2015-02-24 The Charles Stark Draper Laboratory, Inc. Systems and methods for adding or subtracting pixels
US8836816B2 (en) * 2011-05-19 2014-09-16 Foveon, Inc. Method of adjusting the brightness of a digital camera image
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
JP2014525091A (ja) 2011-07-13 2014-09-25 サイオニクス、インク. 生体撮像装置および関連方法
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
JP5935284B2 (ja) 2011-10-18 2016-06-15 ソニー株式会社 撮像装置および撮像表示システム
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
CN104115211B (zh) 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
KR101513780B1 (ko) * 2012-05-21 2015-04-22 (주)엘지하우시스 보푸라기 방지용 원사 및 이를 이용한 우븐 바닥장식재
WO2013188523A1 (en) 2012-06-12 2013-12-19 Gentex Corporation Vehicle imaging system providing multi-stage aiming stability indication
US8964024B2 (en) 2012-08-02 2015-02-24 Gentex Corporation System and method for controlling exterior vehicle lights responsive to detection of a semi-truck
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US9707896B2 (en) 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow
JP6466346B2 (ja) 2013-02-15 2019-02-06 サイオニクス、エルエルシー アンチブルーミング特性を有するハイダイナミックレンジcmos画像センサおよび関連づけられた方法
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
WO2014151093A1 (en) 2013-03-15 2014-09-25 Sionyx, Inc. Three dimensional imaging utilizing stacked imager devices and associated methods
US9319605B2 (en) * 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US20140317710A1 (en) * 2013-04-23 2014-10-23 Canary Connect, Inc. Method for connecting devices to a network through an audio cable and a user device
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9209345B2 (en) 2013-06-29 2015-12-08 Sionyx, Inc. Shallow trench textured regions and associated methods
EP3036132B1 (en) 2013-08-19 2019-02-27 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
US9619720B2 (en) 2013-08-19 2017-04-11 Gentex Corporation Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
US9307172B2 (en) * 2013-08-23 2016-04-05 Semiconductor Components Industries, Llc Floating point image sensors with tile-based memory
WO2015034773A1 (en) 2013-09-04 2015-03-12 Gentex Corporation A rearview assembly of a vehicle for displaying images
US9575315B2 (en) 2013-09-24 2017-02-21 Gentex Corporation Display mirror assembly
JP6153181B2 (ja) 2013-10-01 2017-06-28 ジェンテックス コーポレイション 高速道路上で外部車両照明を制御するためのシステムおよび方法
KR101794821B1 (ko) 2013-11-15 2017-11-07 젠텍스 코포레이션 차량 앞유리에 대한 컬러 감쇠를 위한 동적 보상을 포함하는 촬상 시스템
EP3078191B1 (en) 2013-12-04 2020-04-29 Rambus Inc. High dynamic-range image sensor
WO2015116915A1 (en) 2014-01-31 2015-08-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
CN106061794B (zh) 2014-03-21 2019-06-07 金泰克斯公司 三态显示镜组件
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
JP6609113B2 (ja) * 2014-06-18 2019-11-20 キヤノン株式会社 撮像装置及びその制御方法
US9694751B2 (en) 2014-09-19 2017-07-04 Gentex Corporation Rearview assembly
JP6505839B2 (ja) 2014-11-07 2019-04-24 ジェンテックス コーポレイション 全画面表示ミラーアクチュエータ
JP6367486B2 (ja) 2014-11-13 2018-08-01 ジェンテックス コーポレイション 表示装置付きバックミラーシステム
CN107107825B (zh) 2014-12-03 2020-08-21 金泰克斯公司 用于车辆的显示镜组件
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
EP3286038B1 (en) 2015-04-20 2024-05-29 Gentex Corporation Rearview assembly with applique
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
JP6526243B2 (ja) 2015-05-18 2019-06-05 ジェンテックス コーポレイション 全画面表示バックミラー装置
US11178353B2 (en) 2015-06-22 2021-11-16 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
US10462391B2 (en) * 2015-08-14 2019-10-29 Kla-Tencor Corporation Dark-field inspection using a low-noise sensor
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
WO2017075473A1 (en) 2015-10-30 2017-05-04 Gentex Corporation Rearview device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
CN108349435B (zh) 2015-10-30 2021-06-15 金泰克斯公司 切换板
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
KR102145985B1 (ko) 2016-03-04 2020-08-19 젠텍스 코포레이션 루프 장착 이미저 모듈
EP3430800B1 (en) * 2016-03-16 2020-04-29 BAE Systems Imaging Solutions Inc. High dynamic range imaging sensor array
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
US10778925B2 (en) 2016-04-06 2020-09-15 Kla-Tencor Corporation Multiple column per channel CCD sensor architecture for inspection and metrology
US10313622B2 (en) 2016-04-06 2019-06-04 Kla-Tencor Corporation Dual-column-parallel CCD sensor and inspection systems using a sensor
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
US20180191966A1 (en) 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
US10452076B2 (en) 2017-01-04 2019-10-22 Magna Electronics Inc. Vehicle vision system with adjustable computation and data compression
KR102519100B1 (ko) 2017-01-27 2023-04-06 젠텍스 코포레이션 모터사이클 기울어짐에 대한 이미지 보상
NL2018852B1 (en) 2017-05-05 2018-11-14 Illumina Inc Optical distortion correction for imaged samples
CN110312641A (zh) 2017-03-17 2019-10-08 金泰克斯公司 双显示倒车摄像系统
US11027657B2 (en) 2018-11-26 2021-06-08 Gentex Corporation System for rearview camera as a glare sensor
CN117859029A (zh) 2021-08-20 2024-04-09 金泰克斯公司 灯光组合件和具有灯光组合件的照明系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990001844A1 (en) 1988-08-02 1990-02-22 Sorex Corporation Wide dynamic range image sensor
JPH0548460A (ja) * 1991-06-05 1993-02-26 Matsushita Electric Ind Co Ltd A/d変換器とこれを用いたセンサ及び3次元集積回路
US5872596A (en) * 1992-09-28 1999-02-16 Canon Kabushiki Kaisha Device for widening the dynamic range of solid-state image pickup elements
US5519514A (en) * 1995-05-22 1996-05-21 Xerox Corporation Color sensor array with independently controllable integration times for each color
US5892541A (en) * 1996-09-10 1999-04-06 Foveonics, Inc. Imaging system and method for increasing the dynamic range of an array of active pixel sensor cells
DK0864223T3 (da) * 1996-09-27 2002-08-12 Boehm Markus Lokal autoadaptiv optisk sensor
DE19644479A1 (de) * 1996-10-25 1998-05-07 Fraunhofer Ges Forschung Verfahren zum Erfassen eines optischen Signals
US6175383B1 (en) * 1996-11-07 2001-01-16 California Institute Of Technology Method and apparatus of high dynamic range image sensor with individual pixel reset
US5748303A (en) * 1996-12-31 1998-05-05 Intel Corporation Light sensing device
US5990469A (en) * 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
EP1127453A1 (en) * 1998-10-19 2001-08-29 Ben-Gurion University Of The Negev Optical imager using a method for adaptive real-time expanding of the dynamic range
US6580454B1 (en) * 1998-11-18 2003-06-17 Agilent Technologies, Inc. CMOS active pixel sensor having in-pixel local exposure control
US6975355B1 (en) * 2000-02-22 2005-12-13 Pixim, Inc. Multiple sampling via a time-indexed method to achieve wide dynamic ranges
AU6756500A (en) 1999-08-02 2001-02-19 Steven G. Morton Video digital signal processor chip
US6765619B1 (en) * 2000-04-04 2004-07-20 Pixim, Inc. Method and apparatus for optimizing exposure time in image acquisitions
US7142240B1 (en) * 2000-07-17 2006-11-28 Psion Teklogix Systems, Inc. Active pixel sensor array reset
US7079178B2 (en) * 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US6963370B2 (en) * 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
EP1324592A1 (en) * 2001-12-19 2003-07-02 STMicroelectronics Limited Image sensor with improved noise cancellation
US6963369B1 (en) * 2002-04-01 2005-11-08 Pixim, Inc. Method for capturing and storing image information for multiple sampling operations in a digital pixel sensor
DE60234810D1 (de) * 2002-04-02 2010-02-04 St Microelectronics Ltd Bildsensor mit verbesserter Ausleseschaltung
US7362365B1 (en) * 2002-06-26 2008-04-22 Pixim, Inc. Digital image capture having an ultra-high dynamic range
WO2004045217A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7362355B1 (en) * 2003-08-04 2008-04-22 Pixim, Inc. Digital CMOS image sensor incorporating a programmable multi-functional lookup table
JP4390100B2 (ja) * 2003-09-08 2009-12-24 大日本印刷株式会社 固体撮像装置およびその駆動方法
JP3814609B2 (ja) * 2003-12-12 2006-08-30 キヤノン株式会社 撮像装置、及び撮像装置の駆動方法
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
EP1829364A2 (en) * 2004-12-07 2007-09-05 Bright Imaging Ltd. Method and apparatus for imaging of scenes having large intensity variance
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
JP4771535B2 (ja) * 2005-05-17 2011-09-14 キヤノン株式会社 撮像装置及び制御方法
US7202463B1 (en) * 2005-09-16 2007-04-10 Adobe Systems Incorporated Higher dynamic range image sensor with signal integration
US7598998B2 (en) * 2005-09-30 2009-10-06 Honeywell International Inc. Method and system for increasing the effective dynamic range of a random-access pixel sensor array
US20070132867A1 (en) * 2005-12-08 2007-06-14 Arizona Board Of Regents For And On Behalf Of Arizona State University Multimode CMOS Image Sensor
US7427736B2 (en) * 2006-03-23 2008-09-23 Micron Technology, Inc. Method and apparatus for providing a rolling double reset timing for global storage in image sensors
US8305471B2 (en) * 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
US7796171B2 (en) * 2007-02-16 2010-09-14 Flir Advanced Imaging Systems, Inc. Sensor-based gamma correction of a digital camera
US7791657B2 (en) * 2007-03-07 2010-09-07 Teledyne Licensing, Llc Dynamic range enhancement scheme for imagers
US8587706B2 (en) * 2008-01-30 2013-11-19 Gentex Corporation Imaging device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107110648A (zh) * 2014-11-06 2017-08-29 金泰克斯公司 用于可视范围检测的系统和方法

Also Published As

Publication number Publication date
US9013616B2 (en) 2015-04-21
US20080192132A1 (en) 2008-08-14
EP2119249B1 (en) 2015-12-09
TWI382747B (zh) 2013-01-11
IL243704A0 (en) 2016-04-21
CN101637030A (zh) 2010-01-27
KR20110028404A (ko) 2011-03-17
KR101108536B1 (ko) 2012-01-30
US20130009042A1 (en) 2013-01-10
WO2008100307A1 (en) 2008-08-21
TW200904150A (en) 2009-01-16
CA2677737C (en) 2015-02-10
JP5361072B2 (ja) 2013-12-04
EP2119249A1 (en) 2009-11-18
IL200259A (en) 2016-02-29
US8289430B2 (en) 2012-10-16
EP2119249A4 (en) 2010-02-24
CA2677737A1 (en) 2008-08-21
JP2010518746A (ja) 2010-05-27
IL200259A0 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
CN101637030B (zh) 改进型成像设备
US9641773B2 (en) High dynamic range imaging device
US8890985B2 (en) Imaging device
US8305471B2 (en) High dynamic range imaging device
JP7424034B2 (ja) 固体撮像素子、撮像装置および認識処理方法
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
US6631316B2 (en) Image processing system to control vehicle headlamps or other vehicle equipment
US20090135271A1 (en) Image taking apparatus and image recorder
CN103901585A (zh) 用于动态后视镜的摄像机硬件设计
WO2009073054A1 (en) Improved imaging device
CN103916610A (zh) 用于动态后视镜的眩光减少
CN110832846B (zh) 像素单元、图像传感器及其运行方法、摄像装置
US11368639B2 (en) Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object
US11575868B2 (en) Photoelectric conversion apparatus, method of driving photoelectric conversion apparatus, photoelectric conversion system, and moving body
KR101078648B1 (ko) 개량된 이미징 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240205

Address after: Inchon, Korea

Patentee after: Halla Creedong Electronics Co.,Ltd.

Country or region after: Republic of Korea

Address before: Michigan

Patentee before: GENTEX Corp.

Country or region before: U.S.A.

TR01 Transfer of patent right