CN102985808A - 宽动态范围成像 - Google Patents

宽动态范围成像 Download PDF

Info

Publication number
CN102985808A
CN102985808A CN2011800342785A CN201180034278A CN102985808A CN 102985808 A CN102985808 A CN 102985808A CN 2011800342785 A CN2011800342785 A CN 2011800342785A CN 201180034278 A CN201180034278 A CN 201180034278A CN 102985808 A CN102985808 A CN 102985808A
Authority
CN
China
Prior art keywords
image
pixel
dark
value
time shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800342785A
Other languages
English (en)
Other versions
CN102985808B (zh
Inventor
C.J.莱斯亚克
A.布奇德
D.弗兰岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Li Cor Inc
Original Assignee
Li Cor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Li Cor Inc filed Critical Li Cor Inc
Publication of CN102985808A publication Critical patent/CN102985808A/zh
Application granted granted Critical
Publication of CN102985808B publication Critical patent/CN102985808B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

用于扩展成像系统的动态范围的系统和方法,以及更具体地用于扩展荧光或冷光成像系统的动态范围的系统和方法,所述成像系统具有低光背景和线性检测器响应。获取一组曝光时间的每一个的样本的图像,从每个图像中减去每个曝光时间的系统级暗估算值以便形成暗校正后的图像,并且将不同的曝光(暗校正后的图像)合并成更宽动态范围的图像。通常在逐个像素的基础上执行合并。

Description

宽动态范围成像
相关申请的交叉引用
本申请要求提交于2010年5月12日的美国临时申请序列号61/334,109(代理人案号020031-011800US)的权益,其公开通过引用整体合并于此。
技术领域
本发明总地涉及成像系统,并且更具体地涉及扩展成像系统的动态范围,特别是扩展荧光成像系统(fluorescence imaging systems)的动态范围。
背景技术
美国专利No.7,286,232和申请公开No.2009/0080194(两者通过引用合并于此)描述基于激光的荧光成像系统,该荧光成像系统利用增强的光学过滤技术和使其能够达到高灵敏度和高动态范围的均匀激光照明(uniform laserillumination)。为了进一步向更大范围的应用提供采用此技术的可重复的定量(repeatable quantification),希望拥有更宽动态范围的能力以便用户不需要猜测使用什么曝光来对样本进行成像。此外,此设计能够生成可重复的信噪性能(repeatable signal-to-noise performance),并且激光功率、过滤效率和CCD曝光时间之间的关系通过设计已知。这使其非常适合于以下描述的高效实施以便扩展其用途以便覆盖具有不同动态范围的应用。
Blinton等(美国专利No.6,496,309)描述使用灯光源、滤光器轮(filterwheel)和具有扩展的动态范围的CCD照相机的装置。如由美国专利No.7,286,232所确立的,特别是对宽区域成像,基于激光的荧光成像更易适合于增强的光谱过滤技术以便抑制光背景(optical background)。这转而转化为采用激光的检测的更好的灵敏度,该灵敏度是实现宽动态范围扩展时的重要因素。Blinton等使用散布图算法方法(scatter-gram algorithm approach)以便检验饱和度,改变曝光时间,并且重复直到捕捉的图像是噪声占主导的(noise-dominated)。然而此方法是低效的,因为其使用不可预测的试错法并且受限于上述光背景噪声和照相机噪声(暗(dark)、高光溢出和辐射事件)。
因此,希望提供克服以上和其他问题的系统和方法。
发明内容
本发明提供用于扩展成像系统的动态范围的系统和方法,更具体地用于扩展荧光成像系统的动态范围的系统和方法。
根据一个实施例,一种用于扩展具有低光背景(low optical background)和线性检测器响应的成像系统的动态范围的过程,包括以一组曝光时间的每一个获取图像,减去每个曝光时间的系统级暗估算值(system-level darkestimate),并且将不同的曝光(exposure)合并为更宽动态范围的图像。
在某些方面,曝光时间的选择包括副本(duplicate),并且被安排在最长曝光时间的周围。在某些方面,通过获取具有低曝光时间的一组低光图像(low-light images)和具有较长曝光时间的另一组并且使用线拟合来找到在其他曝光时间的估算值而获得暗估算值。对于非恒定的发射速率(emissionrate),在线性曝光时间尺度上重新映射获得的零偏移量图像。接着,获得回归线拟合以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面,在回归拟合和线性插值步骤中,使用加权因子来降低使用接近饱和的像素值的重要性。
根据一个实施例,提供一种用于扩展具有检测器的成像系统的动态范围的方法,该检测器具有线性响应。该方法通常包括使用检测器获取样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值。该方法通常还包括从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像以便生成多个暗校正后的图像,并且在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值而确定合并后的像素值。在某些方面,确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。例如,拟合生成线性函数,并且合并后的像素值对应于线性函数的斜率。在某些方面,减法包括访问系统的校准的暗图像数据,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值,以及在每像素的基础上,从像素亮度值中减去像素的暗图像值。在某些方面,通过以下过程确定校准的暗图像数据:以第一曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第一暗图像,以不同于第一曝光时间的第二曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第二暗图像,并且对每个像素,在至少一个第一暗图像和至少一个第二暗图像之间拟合线,由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在某些方面,预先确定暗图像数据并且将其存储到成像系统的存储器中。
根据另一实施例,提供一种成像系统,其通常包括样本平台、具有线性响应的检测器(例如CCD或其他检测器),其中检测器获取在平台上的样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值。该系统通常还包括存储系统的校准的暗图像数据的存储器,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值。该系统通常还包括耦接到检测器和存储器的智能模块(例如处理器),其中智能模块被适配为从检测器中接收图像,从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的系统暗图像以便生成多个暗校正后的图像,以及在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素值确定合并后的像素值。在某些方面,该方法还包括例如在显示设备上显示合并后的像素值的表示。
在某些方面,来自样本的光发射具有基本上随时间恒定的速率(例如荧光),并且检测器以增加或减少曝光时间的顺序获取多个图像。在某些方面,来自样本的光发射具有随时间非恒定的速率(例如冷光),并且检测器以获取重复的短曝光图像的顺序获取多个图像,重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。在此情况下,在某些方面,对每个获取的图像确定有效曝光长度,其中当确定合并后的像素值时使用有效曝光长度。在某些方面,系统还包括与处理器耦接的显示设备,其中处理器在显示设备上显示合并后的像素值的表示。
在某些方面,通过在来自多个暗校正后的图像中的每一个的对应像素值之间拟合线而确定合并后的像素值,由此该拟合线代表像素的像素值。在某些方面,拟合线的斜率代表像素值。
参考说明书的剩余部分(包括附图和权利要求)将了解本发明的其他特征和优点。以下参照附图详细描述本发明的进一步的特征和优点,以及本发明的各种实施例的结构和操作。在附图中,相同的参考标号指示同样的或功能相似的元件。
附图说明
图1示出根据一个实施例的荧光成像系统。
图2示出根据一个实施例的获得扩展的动态范围的方法。
图3a示出获取短曝光暗图像和长曝光暗图像并且可选地对其进行裁切和求平均;图3b示出拟合到获取的暗图像的线的示例结果。
图4示意性示出用于确定宽动态范围的图像的过程。
图5a示出简单的加权因子图,其由用于在接近饱和的限值以下的所有值的1以及用于限值以上的零组成;图5b示出提供向零值的平滑过渡的加权因子。
图6描述发出冷光的基板可以具有的典型发射速率。
图7示出流程图,其总结在发射速率是恒定的和发射速率随时间变化的两种情况下生成宽动态范围的图像的过程。
具体实施方式
本发明提供用于扩展成像系统的动态范围的系统和方法,更具体地用于扩展荧光成像系统的动态范围的系统和方法。
图1示出根据一个实施例的荧光成像系统10。系统10包括至少一个照明源(示出两个照明源1a和1b)。照明源通常包括激光器,然而其他照明源可以根据需要使用。如图所示,在一个实施例中,两个照明源包括激光二极管器件,该激光二极管器件被配置为以希望的一个或多个波长(例如680nm或780nm)(或频率)发射并且被配置为照亮平台5。激光源通常与适当的冷却元件和光学元件封装在一起以便将激光源的输出引导到平台5上。由成像光学器件(imaging optics)2将来自平台5的光引导和聚焦到检测器4(例如CCD检测器)上。提供滤光器元件3以便促进对到达检测器4的光的过滤。在某些方面,系统10装在诸如不透光的壳体结构的结构内。
实施例中的成像系统10包括以远心成像和滤光架构(如美国专利No.7,286,232中所述,其通过引用整体合并于此)配置的基于CCD的成像系统。根据通过引用整体合并于此的美国专利申请公开No.2009/0080194优选地配置照明。系统还使用基于CCD的检测器4,该检测器4被设计和配置为线性地响应检测到的光量以及光暴露在检测器上的时长(曝光时间)。例如,操作在其全阱深度(full-well depth)的下部2/3内的索尼ICX285AL CCD示出对两者的线性响应并且允许约50μs的最短曝光。
系统10还包括与检测器4可通信地耦接的智能模块(未示出),例如一个或多个处理器。智能模块被适配为接收和处理来自检测器4的信号,例如代表在检测器的检测带宽内检测到的照度的信号,或与在检测器的检测带宽内检测到的照度成比例的信号。智能模块可以在接收时自动处理数据和信号,或者其可以接收数据和信号并且随后例如响应于用户命令而处理。在某些实施例中提供可选的显示设备(未示出)以便显示代表各种信号的数据和由系统10捕捉和/或处理的图像。还可以提供存储器模块或设备以便存储由智能模块使用或用于另一系统的数据和代码。例如,存储器可以存储可由处理器执行的用于实施于此公开的方法的代码,并且/或者来自检测器和/或处理器的数据可以存储于其上。例如,如在此讨论的校准的系统暗图像数据可以被存储到存储器中用于如在此讨论的由智能模块稍后访问和使用。存储器可以包括RAM或ROM、硬盘或任何便携的、非短期介质,例如DVD或CD。
图2示出根据一个实施例的用于获得扩展的动态范围的方法100。具体地,方法100包括在步骤110中获得将用于宽范围的曝光时间的系统级暗校准图像:D(t)。如图3a所示,以第一曝光时间获取一个或多个暗图像,并且以不同于第一曝光时间的第二曝光时间获取一个或多个暗图像。如图3b所示,在逐个像素的基础上,基于以第一和第二曝光时间获取的暗图像而确定函数(例如线),其中该函数(例如线)表示作为曝光时间的函数的像素的暗图像值。将在下文中更详细讨论步骤11的方面。在步骤120中,获取具有希望的最长曝光时间的图像并且获取具有较短曝光时间的一组图像(示例:t1=100s,t2=10s,t3=1s,t4=0.1s,t5=0.01s,以及t6=0.001s):im(ti),i=1-6。在步骤130中,从每个获取的图像中减去对应的系统暗值,即im0(ti)=im(ti)-D(ti),以及在步骤140中,确定合并后的像素值。例如,在一个实施例中,通过拟合对于以不同曝光得到的像素值的线性回归,计算作为系统的合并后的响应的度量的每像素斜率(其中每个像素的拟合线的斜率代表暗校正后的图像的像素值)。
系统暗校准
在一个实施例中,通过以下过程确定系统级暗校准图像(例如步骤110):首先以第一曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第一暗图像,接着以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第二暗图像,并且其后,对于每个像素,在至少一个第一暗图像和至少一个第二暗图像之间拟合线,由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在另一实施例中,如上获取多个第一暗图像并且获取多个第二暗图像。其后确定每个像素的平均第一暗图像值并且确定每个像素的平均第二暗图像值,并且拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
根据一个实施例,在系统校准步骤中,获得对直到预设最大值的任意曝光时间可缩放的(scalable)系统级暗图像。此步骤包括:关闭外壳内的所有光源,并且在检测器(例如CCD)前放置不透明堵塞物以便防止由成像光学器件2收集的光到达检测器4。可以在滤光器轮3中的滤光器位置中的一个上放置此堵塞物。可选地,可以在成像光学器件2前的另一个轮中放置此堵塞物。各种子系统的壳体和整体的外壳被设计为将来自外部的漏光和来自内部的任何残留光保持在合理低的水平,因此在CCD暗信号之上的任意经认定的信号(registered signal)为最小。然而,进行“非刺激”或“系统级暗值”测量的一部分原因是为了在此校准步骤中包括这样的残留影响。这样,不需要外壳的绝对不透光。
如图3a所示,还获取一组短曝光图像和一组长曝光图像。例如,12x0.1s和12x30min。使用矩阵微积分,在每像素(矩阵元素)的基础上运算,舍弃顶部的一个或多个(如10%)值和底部的一个或多个(如10%)值,并且在每个组中对剩余值求平均,以便获得短曝光(例如0.1s)的经过裁切的平均图像和长曝光(例如30min)的另一经过裁切的平均图像。该裁切除去与事件相关的噪声,例如来自辐射事件的明亮像素(bright pixel)。求平均(averaging)用来平均掉随机噪声并因此降低噪声水平,以便后续的减法不会大量增加整体噪声。
图3b示出在此系统暗校准过程中的剩余步骤。在一个实施例中,在短曝光和长曝光系统暗值之间拟合线,并且计算作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mij)和偏移量(Bij),即
Dij(t)=Mij·t+Bij
通过使用以上矩阵等式中的t,以后的运算可以使用任意曝光时间t的系统级暗值估算值。例如,在一个实施例中,在图像获取期间将作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mij)和偏移量(Bij)存储到成像系统的存储器中用于稍后使用。
多曝光合并:
在用于生成宽动态范围的图像的过程的一个实施例中,系统以不同曝光获取一组图像,从每个图像中减去对应的系统级暗值以便生成暗校正后的图像,并接着合并暗校正后的图像以便形成宽动态范围的图像。在某些方面,合并包括在逐个像素的基础上使用来自每个暗校正后的图像的对应像素的值确定合并后的像素值。在某些方面,确定合并后的像素值包括将加权最小二乘拟合(回归)应用到这组图像阵列以便获得作为对于所有曝光的合并的“拟合”矩阵。在图4中示意性地描述该过程。
通过获取具有低曝光时间的一组低光图像和具有较长曝光时间的另一组,以及使用线拟合以便找到其他曝光时间的估算值,而获得暗估算值。对于非恒定的发射速率,在线性曝光时间尺度上重新映射获得的零偏移量图像。接着获得回归线拟合,以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面,在回归拟合和线性插值步骤中,使用加权因子来降低使用接近饱和的像素值的重要性。图7示出总结对于发射速率恒定和发射速率随时间变化的两种情况生成宽动态范围的图像的过程的流程图,并且对每种情况给出示例。
1)恒定的发射速率的情况:
对于发射速率是恒定的并因此检测信号随曝光时间线性地缩放的荧光成像,可以在t1=100s,t2=10s,t3=1s,t4=0.1s,t5=0.010s,和t6=0.001s获取图像。拍摄图像的顺序可以根据是否预计到将使用的染料有一些永久光致褪色而变化。在该情况下,希望首先从短曝光开始,因为任何的光致褪色对长曝光比对较短曝光有更少的累积效果。结果是一组图像im(tk),其中k为曝光编号(number)。如图4所示,从每个图像中减去对应曝光时间的系统暗值,并接着在利用图像中的每个像素的“计数/秒”值的每像素的最小二乘拟合中使用得到的这组暗校正后的图像im0(tk)。此零偏移量回归的线性拟合可以被表示为
im0ij(t)=immij·t+errij(t)其中
imm ij = Σ k w ( im 0 ij ( t k ) ) · im 0 ij ( t k ) · t k Σ k w ( im 0 ij ( t k ) ) · t k 2
加权因子w(im0ij(tk))被用来减少饱和的或接近饱和的像素值的影响。图5a示出简单的加权因子图,其具有用于在接近饱和的限值以下的所有像素值的值1以及用于限值以上的零。这样的加权因子可以被用来从回归中除去饱和的像素。但是,不同的加权因子提供向零值的平滑过渡,例如如图5b所示,并且其中4000被用作用于“12位=4096”CCD检测器的饱和值的近似值。
线性拟合本身是链接所有曝光的映射图像,即以“计数/秒”为单位的扩展的动态范围的图像表示。如果作为替代希望的是“计数”,那么可以将imm乘以最大曝光值。对于t=0.001s到100s的例子,动态范围的增加等于10/0.001=10,000。对于12位CCD,得到的系统的扩展的动态范围是>(12位+13位=25位)。
2)变化的发射速率的情况:
有光发射速率随时间非恒定的其他情况,例如在冷光中或当发生严重褪色时。图6描述变化的发射速率的例子,例如发冷光的基板的典型发射速率。根据一个实施例,曝光时间的选择包括副本(duplicate),并且被安排在最长曝光时间周围。为使来自不同类型的基板的集合最大化,在一个实施例中,获取被交错在较长获取时间的一个或多个图像周围的短曝光图像的副本。例如,以获取重复的短曝光图像的顺序获取多个图像,重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。获取顺序的示例可以是:t0=100s,t1=10s,t2=1s,t3=1000s,t4=100s,t5=10s以及t6=1s。接着在一个实施例中应用以下步骤:
1)对每个曝光时间tk,k=0到N=6,减去系统暗图像以便获得零偏移量图像im0(tk)。
2)计算有效曝光长度tk-eff以便估计如果要在线性回归(im0(tk)对时间)图上映射该图像则时间坐标将会是什么。一种可以实现此调整的办法如下:
a)从最长到最短将曝光(连同他们的对应零偏移量图像一起)排序,如t0到tN
b)设定t0-eff=t0
c)使用以下线性最小二乘拟合找到下一个有效曝光时间t1-eff
im0ij(t0)=α·imij(t1)+errij
α = Σ ij w ij im 0 ij ( t 1 ) · im 0 ij ( t 0 ) Σ ij w ij [ im 0 ij ( t 1 ) ] 2
如果im0(t0)<4000,则wij=1否则wij=0。
以及 t 1 - eff = t 0 - eff &alpha;
d)通过重复以上在c)中概述的过程来估算后续的有效曝光t2-eff....TN-eff。对具有重复的Tk的情况,在后续的估算中使用具有最大Tk-eff的有效曝光。
3)应用在以上的“恒定的发射速率的情况”中描述的每像素线性回归映射以便计算宽动态范围映射imm。
可以被求平均以便减少噪声的其他曝光时间和副本的序列可以用于更好地匹配其他成像应用。可以合并额外的滤波方法以便更进一步地减少噪声影响。
还理解,可以使用将以不同曝光拍摄的图像组合到一起以便获得代表在每个中存在的信息的图像的其他方法来实现合并。示例包括将来自较长曝光图像的饱和的信号替换为它们在以较短曝光拍摄的图像中的对应物的适当缩放的复制品。对最常见的荧光和冷光应用,上述的通过最小二乘拟合和线性回归近似进行合并的方法被发现是高效的和精确的。
出于所有目的而将在此提及的所有美国专利和申请通过引用而整体合并于此。
虽然通过示例并且根据特定的实施例描述了本发明,可以理解,本发明不限于公开的实施例。相反,如本领域技术人员所清楚的,意图是包含各种更改和相似的部署。因此,所附权利要求的范围应被给予最宽泛的解释以便包含所有这样的更改和相似的部署。

Claims (39)

1.一种用于扩展具有检测器的成像系统的动态范围的方法,该检测器具有线性响应,所述方法包括:
使用检测器获取样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值;
从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像,以便生成多个暗校正后的图像;以及
在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值确定合并后的像素值。
2.如权利要求1所述的方法,还包括显示合并后的像素值的表示。
3.如权利要求1所述的方法,其中确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。
4.如权利要求3所述的方法,其中拟合生成线性函数,并且其中合并后的像素值对应于线性函数的斜率。
5.如权利要求3所述的方法,其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。
6.如权利要求1所述的方法,其中减法包括:
访问系统的校准的暗图像数据,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值,以及
在每个像素的基础上从像素亮度值中减去像素的暗图像值。
7.如权利要求6所述的方法,其中所述校准的暗图像数据通过以下过程确定:
以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像;
以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像;
对每个像素,在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线,由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。
8.如权利要求7所述的方法,其中获取多个第一暗图像,并且其中获取多个第二暗图像,所述方法还包括:
确定每个像素的平均第一暗图像值;
确定每个像素的平均第二暗图像值;
其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
9.如权利要求8所述的方法,其中确定平均值的每个步骤包括在对暗图像值求平均之前去除一个或多个最高暗图像值和一个或多个最低暗图像值。
10.如权利要求7所述的方法,其中预先确定校准的系统暗图像并且将其存储到存储器中。
11.如权利要求1所述的方法,其中来自样本的光发射具有基本上随时间恒定的速率。
12.如权利要求11所述的方法,其中以增加或减少曝光时间的顺序获取多个图像。
13.如权利要求11所述的方法,其中成像系统是荧光成像系统。
14.如权利要求1所述的方法,其中来自样本的光发射具有随时间非恒定的速率。
15.如权利要求14所述的方法,其中以获取重复的短曝光图像的顺序获取多个图像,所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。
16.如权利要求14所述的方法,其中成像系统是冷光成像系统。
17.如权利要求14所述的方法,还包括确定每个获取的图像的有效曝光长度,其中当确定合并后的像素值时使用所述有效曝光长度。
18.一种成像系统,包括:
样本平台;
检测器,其具有线性响应,其中所述检测器获取在平台上的样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值;
存储器,其存储系统的校准的暗图像数据,其中所述校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值;
智能模块,其耦接到所述检测器和所述存储器,其中所述智能模块被适配为:
——从检测器中接收图像,
——从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的系统暗图像,以便生成多个暗校正后的图像;以及
——在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值确定合并后的像素值。
19.如权利要求18所述的系统,其中所述智能模块通过拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归而确定合并后的像素值。
20.如权利要求19所述的系统,其中拟合生成线性函数,并且其中合并后的像素值对应于线性函数的斜率。
21.如权利要求19所述的系统,其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。
22.如权利要求18所述的系统,其中所述智能模块通过以下过程执行减法:
访问存储器以便获得系统的校准的暗图像数据;以及
在每像素的基础上,从像素亮度值中减去像素的暗图像值。
23.如权利要求18所述的系统,其中校准的暗图像数据通过以下过程确定:
以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像;
以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像;
对每个像素,在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线,由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。
24.如权利要求23所述的系统,其中获取多个第一暗图像并且其中获取多个第二暗图像,
其中对于每个像素确定平均第一暗图像值;
其中对于每个像素确定平均第二暗图像值;以及
其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
25.如权利要求24所述的系统,其中在去除一个或多个最高暗图像值后和去除一个或多个最低暗图像值后确定每个平均暗图像值。
26.如权利要求18所述的系统,其中来自样本的光发射具有基本上随时间恒定的速率。
27.如权利要求26所述的系统,其中所述检测器以增加或减少曝光时间的顺序获取多个图像。
28.如权利要求26所述的系统,其中所述成像系统是荧光成像系统。
29.如权利要求18所述的系统,其中来自样本的光发射具有随时间非恒定的速率。
30.如权利要求29所述的系统,其中所述检测器以获取重复的短曝光图像的顺序获取多个图像,所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。
31.如权利要求29所述的系统,其中所述成像系统是冷光成像系统。
32.如权利要求29所述的系统,其中所述智能模块还确定每个获取的图像的有效曝光长度,其中当确定合并后的像素值时使用有效曝光长度。
33.如权利要求18所述的系统,其中所述检测器包括CCD阵列检测器。
34.如权利要求18所述的系统,其中所述智能模块包括处理器。
35.如权利要求18所述的系统,还包括与处理器耦接的显示设备,其中处理器显示合并后的像素值的表示。
36.如权利要求18所述的系统,其中所述智能模块通过在来自多个暗校正后的图像中的每一个的对应像素的值之间拟合线而确定合并后的像素值,由此该拟合的线代表像素的像素值。
37.如权利要求36所述的系统,其中该拟合的线的斜率代表像素值。
38.如权利要求1所述的方法,其中确定合并后的像素值包括在来自多个暗校正后的图像中的每一个的对应像素的值之间拟合线,由此该拟合的线代表像素的像素值。
39.如权利要求38所述的系统,其中该拟合的线的斜率代表像素值。
CN201180034278.5A 2010-05-12 2011-05-12 宽动态范围成像 Expired - Fee Related CN102985808B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33410910P 2010-05-12 2010-05-12
US61/334,109 2010-05-12
PCT/US2011/036357 WO2011143508A2 (en) 2010-05-12 2011-05-12 Wide dynamic range imaging

Publications (2)

Publication Number Publication Date
CN102985808A true CN102985808A (zh) 2013-03-20
CN102985808B CN102985808B (zh) 2016-08-24

Family

ID=44911477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180034278.5A Expired - Fee Related CN102985808B (zh) 2010-05-12 2011-05-12 宽动态范围成像

Country Status (4)

Country Link
US (1) US8743241B2 (zh)
EP (1) EP2569615A4 (zh)
CN (1) CN102985808B (zh)
WO (1) WO2011143508A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN106507080A (zh) * 2016-11-29 2017-03-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107077727A (zh) * 2014-11-21 2017-08-18 德克萨斯仪器股份有限公司 处理宽动态范围图像的有效方法
CN110503011A (zh) * 2019-08-06 2019-11-26 Oppo广东移动通信有限公司 数据校准方法、电子设备及非易失性计算机可读存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5889323B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法
EP2792137B1 (en) 2011-12-16 2015-09-30 Li-Cor, Inc. Luminescence imaging scanner
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
EP2988490B1 (en) * 2014-08-21 2021-03-31 FUJIFILM Corporation Photographing apparatus and method
JP2016213594A (ja) * 2015-05-01 2016-12-15 株式会社シグマ 撮像装置
FR3073049B1 (fr) * 2017-10-26 2023-12-08 Fluoptics Procede et dispositif de suivi de la fluorescence emise a la surface d’un tissu biologique
CN110149484B (zh) 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
EP4084467B1 (en) * 2021-04-30 2023-02-01 Axis AB A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272458A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像捕获装置、测光方法、亮度计算方法和程序
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
JP2008301332A (ja) * 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5875900A (en) 1999-06-18 2001-01-09 Genomic Solutions, Inc. An automated, ccd-based microarray imaging system
AU2002309241A1 (en) * 2001-06-27 2003-03-03 Bioview Ltd. System and method for capturing multi-color fish images
US6825929B2 (en) 2002-09-30 2004-11-30 Agilent Technologies, Inc. Simultaneously reading different regions of a chemical array
US20060025215A1 (en) * 2004-07-28 2006-02-02 Wms Gaming Inc. Wagering game with popup feature
US7454136B2 (en) 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
DE102005043048A1 (de) * 2005-09-09 2007-03-22 Siemens Ag Verfahren zur Korrektur eines Bilddatensatzes sowie Verfahren zur Erstellung eines Bildes
US7463357B2 (en) 2005-11-29 2008-12-09 Agilent Technologies, Inc. Wide dynamic range chemical array reader
US7286232B2 (en) 2006-02-15 2007-10-23 Li-Cor, Inc. Fluorescence filtering system and method for molecular imaging
US20090080194A1 (en) 2006-02-15 2009-03-26 Li-Cor, Inc. Fluorescence filtering system and method for molecular imaging
US8078265B2 (en) * 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP4956221B2 (ja) 2007-02-21 2012-06-20 キヤノン株式会社 発光検出装置及び蛍光検出装置
US8693803B2 (en) * 2007-09-14 2014-04-08 The Trustees Of The University Of Pennsylvania High linear dynamic range imaging
US20090129653A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Energy balancing for wireless diagnostic imaging system
JP2009284424A (ja) * 2008-05-26 2009-12-03 Sony Corp 撮像装置、撮像方法及びプログラム
DE102008049878A1 (de) * 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272458A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像捕获装置、测光方法、亮度计算方法和程序
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
JP2008301332A (ja) * 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN107077727A (zh) * 2014-11-21 2017-08-18 德克萨斯仪器股份有限公司 处理宽动态范围图像的有效方法
CN106507080A (zh) * 2016-11-29 2017-03-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507080B (zh) * 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10559069B2 (en) 2016-11-29 2020-02-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
US10559070B2 (en) 2016-11-29 2020-02-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
CN110503011A (zh) * 2019-08-06 2019-11-26 Oppo广东移动通信有限公司 数据校准方法、电子设备及非易失性计算机可读存储介质

Also Published As

Publication number Publication date
WO2011143508A3 (en) 2012-03-08
CN102985808B (zh) 2016-08-24
US20110279706A1 (en) 2011-11-17
WO2011143508A2 (en) 2011-11-17
US8743241B2 (en) 2014-06-03
EP2569615A2 (en) 2013-03-20
EP2569615A4 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
CN102985808A (zh) 宽动态范围成像
CN108957514B (zh) 一种核辐射探测方法
BE1025336A9 (nl) Pixelopstelling
US11175404B2 (en) Lidar system and method of operating the lidar system comprising a gating circuit range-gates a receiver based on a range-gating waveform
US20200036918A1 (en) Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors
JP4571179B2 (ja) 撮像装置
US7280141B1 (en) Fixed pattern noise subtraction in a digital image sensor
CN101742123B (zh) 图像处理设备和方法
US11525918B2 (en) Time-of-flight camera
US20120287242A1 (en) Adaptive high dynamic range camera
US20140063234A1 (en) Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon
Bellisai et al. Single-photon pulsed-light indirect time-of-flight 3D ranging
CN102265176A (zh) 具有单光子计数能力的cmos成像器
CN105933603A (zh) 焦点检测装置、摄像装置、摄像系统及焦点检测方法
US20050057670A1 (en) Method and device for extracting and utilizing additional scene and image formation data for digital image and video processing
CN112461360B (zh) 联合物理噪声模型的高分辨率单光子成像方法与系统
CN104620260B (zh) 用于识别用于车辆的至少一个脉冲光源的方法和设备
US8391698B2 (en) Systems and methods of generating Z-buffers for an image capture device of a camera
CN110954919B (zh) 一种面阵激光探测器的固定值噪声确定方法及去除方法
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
US9071763B1 (en) Uniform illumination image capture
Hertel et al. Image quality standards in automotive vision applications
Jenkin et al. Fundamental imaging system analysis for autonomous vehicles
Smith et al. EMCCD technology and its impact on rapid low-light photometry
US20070098387A1 (en) Systems and methods of generating Z-Buffers in cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824