CN102985808A - 宽动态范围成像 - Google Patents
宽动态范围成像 Download PDFInfo
- Publication number
- CN102985808A CN102985808A CN2011800342785A CN201180034278A CN102985808A CN 102985808 A CN102985808 A CN 102985808A CN 2011800342785 A CN2011800342785 A CN 2011800342785A CN 201180034278 A CN201180034278 A CN 201180034278A CN 102985808 A CN102985808 A CN 102985808A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- dark
- value
- time shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000000799 fluorescence microscopy Methods 0.000 claims description 12
- 238000012886 linear function Methods 0.000 claims description 12
- 238000012417 linear regression Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 6
- 238000004020 luminiscence type Methods 0.000 abstract 1
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
用于扩展成像系统的动态范围的系统和方法,以及更具体地用于扩展荧光或冷光成像系统的动态范围的系统和方法,所述成像系统具有低光背景和线性检测器响应。获取一组曝光时间的每一个的样本的图像,从每个图像中减去每个曝光时间的系统级暗估算值以便形成暗校正后的图像,并且将不同的曝光(暗校正后的图像)合并成更宽动态范围的图像。通常在逐个像素的基础上执行合并。
Description
相关申请的交叉引用
本申请要求提交于2010年5月12日的美国临时申请序列号61/334,109(代理人案号020031-011800US)的权益,其公开通过引用整体合并于此。
技术领域
本发明总地涉及成像系统,并且更具体地涉及扩展成像系统的动态范围,特别是扩展荧光成像系统(fluorescence imaging systems)的动态范围。
背景技术
美国专利No.7,286,232和申请公开No.2009/0080194(两者通过引用合并于此)描述基于激光的荧光成像系统,该荧光成像系统利用增强的光学过滤技术和使其能够达到高灵敏度和高动态范围的均匀激光照明(uniform laserillumination)。为了进一步向更大范围的应用提供采用此技术的可重复的定量(repeatable quantification),希望拥有更宽动态范围的能力以便用户不需要猜测使用什么曝光来对样本进行成像。此外,此设计能够生成可重复的信噪性能(repeatable signal-to-noise performance),并且激光功率、过滤效率和CCD曝光时间之间的关系通过设计已知。这使其非常适合于以下描述的高效实施以便扩展其用途以便覆盖具有不同动态范围的应用。
Blinton等(美国专利No.6,496,309)描述使用灯光源、滤光器轮(filterwheel)和具有扩展的动态范围的CCD照相机的装置。如由美国专利No.7,286,232所确立的,特别是对宽区域成像,基于激光的荧光成像更易适合于增强的光谱过滤技术以便抑制光背景(optical background)。这转而转化为采用激光的检测的更好的灵敏度,该灵敏度是实现宽动态范围扩展时的重要因素。Blinton等使用散布图算法方法(scatter-gram algorithm approach)以便检验饱和度,改变曝光时间,并且重复直到捕捉的图像是噪声占主导的(noise-dominated)。然而此方法是低效的,因为其使用不可预测的试错法并且受限于上述光背景噪声和照相机噪声(暗(dark)、高光溢出和辐射事件)。
因此,希望提供克服以上和其他问题的系统和方法。
发明内容
本发明提供用于扩展成像系统的动态范围的系统和方法,更具体地用于扩展荧光成像系统的动态范围的系统和方法。
根据一个实施例,一种用于扩展具有低光背景(low optical background)和线性检测器响应的成像系统的动态范围的过程,包括以一组曝光时间的每一个获取图像,减去每个曝光时间的系统级暗估算值(system-level darkestimate),并且将不同的曝光(exposure)合并为更宽动态范围的图像。
在某些方面,曝光时间的选择包括副本(duplicate),并且被安排在最长曝光时间的周围。在某些方面,通过获取具有低曝光时间的一组低光图像(low-light images)和具有较长曝光时间的另一组并且使用线拟合来找到在其他曝光时间的估算值而获得暗估算值。对于非恒定的发射速率(emissionrate),在线性曝光时间尺度上重新映射获得的零偏移量图像。接着,获得回归线拟合以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面,在回归拟合和线性插值步骤中,使用加权因子来降低使用接近饱和的像素值的重要性。
根据一个实施例,提供一种用于扩展具有检测器的成像系统的动态范围的方法,该检测器具有线性响应。该方法通常包括使用检测器获取样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值。该方法通常还包括从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像以便生成多个暗校正后的图像,并且在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值而确定合并后的像素值。在某些方面,确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。例如,拟合生成线性函数,并且合并后的像素值对应于线性函数的斜率。在某些方面,减法包括访问系统的校准的暗图像数据,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值,以及在每像素的基础上,从像素亮度值中减去像素的暗图像值。在某些方面,通过以下过程确定校准的暗图像数据:以第一曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第一暗图像,以不同于第一曝光时间的第二曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第二暗图像,并且对每个像素,在至少一个第一暗图像和至少一个第二暗图像之间拟合线,由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在某些方面,预先确定暗图像数据并且将其存储到成像系统的存储器中。
根据另一实施例,提供一种成像系统,其通常包括样本平台、具有线性响应的检测器(例如CCD或其他检测器),其中检测器获取在平台上的样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值。该系统通常还包括存储系统的校准的暗图像数据的存储器,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值。该系统通常还包括耦接到检测器和存储器的智能模块(例如处理器),其中智能模块被适配为从检测器中接收图像,从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的系统暗图像以便生成多个暗校正后的图像,以及在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素值确定合并后的像素值。在某些方面,该方法还包括例如在显示设备上显示合并后的像素值的表示。
在某些方面,来自样本的光发射具有基本上随时间恒定的速率(例如荧光),并且检测器以增加或减少曝光时间的顺序获取多个图像。在某些方面,来自样本的光发射具有随时间非恒定的速率(例如冷光),并且检测器以获取重复的短曝光图像的顺序获取多个图像,重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。在此情况下,在某些方面,对每个获取的图像确定有效曝光长度,其中当确定合并后的像素值时使用有效曝光长度。在某些方面,系统还包括与处理器耦接的显示设备,其中处理器在显示设备上显示合并后的像素值的表示。
在某些方面,通过在来自多个暗校正后的图像中的每一个的对应像素值之间拟合线而确定合并后的像素值,由此该拟合线代表像素的像素值。在某些方面,拟合线的斜率代表像素值。
参考说明书的剩余部分(包括附图和权利要求)将了解本发明的其他特征和优点。以下参照附图详细描述本发明的进一步的特征和优点,以及本发明的各种实施例的结构和操作。在附图中,相同的参考标号指示同样的或功能相似的元件。
附图说明
图1示出根据一个实施例的荧光成像系统。
图2示出根据一个实施例的获得扩展的动态范围的方法。
图3a示出获取短曝光暗图像和长曝光暗图像并且可选地对其进行裁切和求平均;图3b示出拟合到获取的暗图像的线的示例结果。
图4示意性示出用于确定宽动态范围的图像的过程。
图5a示出简单的加权因子图,其由用于在接近饱和的限值以下的所有值的1以及用于限值以上的零组成;图5b示出提供向零值的平滑过渡的加权因子。
图6描述发出冷光的基板可以具有的典型发射速率。
图7示出流程图,其总结在发射速率是恒定的和发射速率随时间变化的两种情况下生成宽动态范围的图像的过程。
具体实施方式
本发明提供用于扩展成像系统的动态范围的系统和方法,更具体地用于扩展荧光成像系统的动态范围的系统和方法。
图1示出根据一个实施例的荧光成像系统10。系统10包括至少一个照明源(示出两个照明源1a和1b)。照明源通常包括激光器,然而其他照明源可以根据需要使用。如图所示,在一个实施例中,两个照明源包括激光二极管器件,该激光二极管器件被配置为以希望的一个或多个波长(例如680nm或780nm)(或频率)发射并且被配置为照亮平台5。激光源通常与适当的冷却元件和光学元件封装在一起以便将激光源的输出引导到平台5上。由成像光学器件(imaging optics)2将来自平台5的光引导和聚焦到检测器4(例如CCD检测器)上。提供滤光器元件3以便促进对到达检测器4的光的过滤。在某些方面,系统10装在诸如不透光的壳体结构的结构内。
实施例中的成像系统10包括以远心成像和滤光架构(如美国专利No.7,286,232中所述,其通过引用整体合并于此)配置的基于CCD的成像系统。根据通过引用整体合并于此的美国专利申请公开No.2009/0080194优选地配置照明。系统还使用基于CCD的检测器4,该检测器4被设计和配置为线性地响应检测到的光量以及光暴露在检测器上的时长(曝光时间)。例如,操作在其全阱深度(full-well depth)的下部2/3内的索尼ICX285AL CCD示出对两者的线性响应并且允许约50μs的最短曝光。
系统10还包括与检测器4可通信地耦接的智能模块(未示出),例如一个或多个处理器。智能模块被适配为接收和处理来自检测器4的信号,例如代表在检测器的检测带宽内检测到的照度的信号,或与在检测器的检测带宽内检测到的照度成比例的信号。智能模块可以在接收时自动处理数据和信号,或者其可以接收数据和信号并且随后例如响应于用户命令而处理。在某些实施例中提供可选的显示设备(未示出)以便显示代表各种信号的数据和由系统10捕捉和/或处理的图像。还可以提供存储器模块或设备以便存储由智能模块使用或用于另一系统的数据和代码。例如,存储器可以存储可由处理器执行的用于实施于此公开的方法的代码,并且/或者来自检测器和/或处理器的数据可以存储于其上。例如,如在此讨论的校准的系统暗图像数据可以被存储到存储器中用于如在此讨论的由智能模块稍后访问和使用。存储器可以包括RAM或ROM、硬盘或任何便携的、非短期介质,例如DVD或CD。
图2示出根据一个实施例的用于获得扩展的动态范围的方法100。具体地,方法100包括在步骤110中获得将用于宽范围的曝光时间的系统级暗校准图像:D(t)。如图3a所示,以第一曝光时间获取一个或多个暗图像,并且以不同于第一曝光时间的第二曝光时间获取一个或多个暗图像。如图3b所示,在逐个像素的基础上,基于以第一和第二曝光时间获取的暗图像而确定函数(例如线),其中该函数(例如线)表示作为曝光时间的函数的像素的暗图像值。将在下文中更详细讨论步骤11的方面。在步骤120中,获取具有希望的最长曝光时间的图像并且获取具有较短曝光时间的一组图像(示例:t1=100s,t2=10s,t3=1s,t4=0.1s,t5=0.01s,以及t6=0.001s):im(ti),i=1-6。在步骤130中,从每个获取的图像中减去对应的系统暗值,即im0(ti)=im(ti)-D(ti),以及在步骤140中,确定合并后的像素值。例如,在一个实施例中,通过拟合对于以不同曝光得到的像素值的线性回归,计算作为系统的合并后的响应的度量的每像素斜率(其中每个像素的拟合线的斜率代表暗校正后的图像的像素值)。
系统暗校准
在一个实施例中,通过以下过程确定系统级暗校准图像(例如步骤110):首先以第一曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第一暗图像,接着以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第二暗图像,并且其后,对于每个像素,在至少一个第一暗图像和至少一个第二暗图像之间拟合线,由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在另一实施例中,如上获取多个第一暗图像并且获取多个第二暗图像。其后确定每个像素的平均第一暗图像值并且确定每个像素的平均第二暗图像值,并且拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
根据一个实施例,在系统校准步骤中,获得对直到预设最大值的任意曝光时间可缩放的(scalable)系统级暗图像。此步骤包括:关闭外壳内的所有光源,并且在检测器(例如CCD)前放置不透明堵塞物以便防止由成像光学器件2收集的光到达检测器4。可以在滤光器轮3中的滤光器位置中的一个上放置此堵塞物。可选地,可以在成像光学器件2前的另一个轮中放置此堵塞物。各种子系统的壳体和整体的外壳被设计为将来自外部的漏光和来自内部的任何残留光保持在合理低的水平,因此在CCD暗信号之上的任意经认定的信号(registered signal)为最小。然而,进行“非刺激”或“系统级暗值”测量的一部分原因是为了在此校准步骤中包括这样的残留影响。这样,不需要外壳的绝对不透光。
如图3a所示,还获取一组短曝光图像和一组长曝光图像。例如,12x0.1s和12x30min。使用矩阵微积分,在每像素(矩阵元素)的基础上运算,舍弃顶部的一个或多个(如10%)值和底部的一个或多个(如10%)值,并且在每个组中对剩余值求平均,以便获得短曝光(例如0.1s)的经过裁切的平均图像和长曝光(例如30min)的另一经过裁切的平均图像。该裁切除去与事件相关的噪声,例如来自辐射事件的明亮像素(bright pixel)。求平均(averaging)用来平均掉随机噪声并因此降低噪声水平,以便后续的减法不会大量增加整体噪声。
图3b示出在此系统暗校准过程中的剩余步骤。在一个实施例中,在短曝光和长曝光系统暗值之间拟合线,并且计算作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mij)和偏移量(Bij),即
Dij(t)=Mij·t+Bij
通过使用以上矩阵等式中的t,以后的运算可以使用任意曝光时间t的系统级暗值估算值。例如,在一个实施例中,在图像获取期间将作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mij)和偏移量(Bij)存储到成像系统的存储器中用于稍后使用。
多曝光合并:
在用于生成宽动态范围的图像的过程的一个实施例中,系统以不同曝光获取一组图像,从每个图像中减去对应的系统级暗值以便生成暗校正后的图像,并接着合并暗校正后的图像以便形成宽动态范围的图像。在某些方面,合并包括在逐个像素的基础上使用来自每个暗校正后的图像的对应像素的值确定合并后的像素值。在某些方面,确定合并后的像素值包括将加权最小二乘拟合(回归)应用到这组图像阵列以便获得作为对于所有曝光的合并的“拟合”矩阵。在图4中示意性地描述该过程。
通过获取具有低曝光时间的一组低光图像和具有较长曝光时间的另一组,以及使用线拟合以便找到其他曝光时间的估算值,而获得暗估算值。对于非恒定的发射速率,在线性曝光时间尺度上重新映射获得的零偏移量图像。接着获得回归线拟合,以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面,在回归拟合和线性插值步骤中,使用加权因子来降低使用接近饱和的像素值的重要性。图7示出总结对于发射速率恒定和发射速率随时间变化的两种情况生成宽动态范围的图像的过程的流程图,并且对每种情况给出示例。
1)恒定的发射速率的情况:
对于发射速率是恒定的并因此检测信号随曝光时间线性地缩放的荧光成像,可以在t1=100s,t2=10s,t3=1s,t4=0.1s,t5=0.010s,和t6=0.001s获取图像。拍摄图像的顺序可以根据是否预计到将使用的染料有一些永久光致褪色而变化。在该情况下,希望首先从短曝光开始,因为任何的光致褪色对长曝光比对较短曝光有更少的累积效果。结果是一组图像im(tk),其中k为曝光编号(number)。如图4所示,从每个图像中减去对应曝光时间的系统暗值,并接着在利用图像中的每个像素的“计数/秒”值的每像素的最小二乘拟合中使用得到的这组暗校正后的图像im0(tk)。此零偏移量回归的线性拟合可以被表示为
im0ij(t)=immij·t+errij(t)其中
加权因子w(im0ij(tk))被用来减少饱和的或接近饱和的像素值的影响。图5a示出简单的加权因子图,其具有用于在接近饱和的限值以下的所有像素值的值1以及用于限值以上的零。这样的加权因子可以被用来从回归中除去饱和的像素。但是,不同的加权因子提供向零值的平滑过渡,例如如图5b所示,并且其中4000被用作用于“12位=4096”CCD检测器的饱和值的近似值。
线性拟合本身是链接所有曝光的映射图像,即以“计数/秒”为单位的扩展的动态范围的图像表示。如果作为替代希望的是“计数”,那么可以将imm乘以最大曝光值。对于t=0.001s到100s的例子,动态范围的增加等于10/0.001=10,000。对于12位CCD,得到的系统的扩展的动态范围是>(12位+13位=25位)。
2)变化的发射速率的情况:
有光发射速率随时间非恒定的其他情况,例如在冷光中或当发生严重褪色时。图6描述变化的发射速率的例子,例如发冷光的基板的典型发射速率。根据一个实施例,曝光时间的选择包括副本(duplicate),并且被安排在最长曝光时间周围。为使来自不同类型的基板的集合最大化,在一个实施例中,获取被交错在较长获取时间的一个或多个图像周围的短曝光图像的副本。例如,以获取重复的短曝光图像的顺序获取多个图像,重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。获取顺序的示例可以是:t0=100s,t1=10s,t2=1s,t3=1000s,t4=100s,t5=10s以及t6=1s。接着在一个实施例中应用以下步骤:
1)对每个曝光时间tk,k=0到N=6,减去系统暗图像以便获得零偏移量图像im0(tk)。
2)计算有效曝光长度tk-eff以便估计如果要在线性回归(im0(tk)对时间)图上映射该图像则时间坐标将会是什么。一种可以实现此调整的办法如下:
a)从最长到最短将曝光(连同他们的对应零偏移量图像一起)排序,如t0到tN。
b)设定t0-eff=t0。
c)使用以下线性最小二乘拟合找到下一个有效曝光时间t1-eff:
im0ij(t0)=α·imij(t1)+errij
如果im0(t0)<4000,则wij=1否则wij=0。
以及
d)通过重复以上在c)中概述的过程来估算后续的有效曝光t2-eff....TN-eff。对具有重复的Tk的情况,在后续的估算中使用具有最大Tk-eff的有效曝光。
3)应用在以上的“恒定的发射速率的情况”中描述的每像素线性回归映射以便计算宽动态范围映射imm。
可以被求平均以便减少噪声的其他曝光时间和副本的序列可以用于更好地匹配其他成像应用。可以合并额外的滤波方法以便更进一步地减少噪声影响。
还理解,可以使用将以不同曝光拍摄的图像组合到一起以便获得代表在每个中存在的信息的图像的其他方法来实现合并。示例包括将来自较长曝光图像的饱和的信号替换为它们在以较短曝光拍摄的图像中的对应物的适当缩放的复制品。对最常见的荧光和冷光应用,上述的通过最小二乘拟合和线性回归近似进行合并的方法被发现是高效的和精确的。
出于所有目的而将在此提及的所有美国专利和申请通过引用而整体合并于此。
虽然通过示例并且根据特定的实施例描述了本发明,可以理解,本发明不限于公开的实施例。相反,如本领域技术人员所清楚的,意图是包含各种更改和相似的部署。因此,所附权利要求的范围应被给予最宽泛的解释以便包含所有这样的更改和相似的部署。
Claims (39)
1.一种用于扩展具有检测器的成像系统的动态范围的方法,该检测器具有线性响应,所述方法包括:
使用检测器获取样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值;
从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像,以便生成多个暗校正后的图像;以及
在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值确定合并后的像素值。
2.如权利要求1所述的方法,还包括显示合并后的像素值的表示。
3.如权利要求1所述的方法,其中确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。
4.如权利要求3所述的方法,其中拟合生成线性函数,并且其中合并后的像素值对应于线性函数的斜率。
5.如权利要求3所述的方法,其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。
6.如权利要求1所述的方法,其中减法包括:
访问系统的校准的暗图像数据,其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值,以及
在每个像素的基础上从像素亮度值中减去像素的暗图像值。
7.如权利要求6所述的方法,其中所述校准的暗图像数据通过以下过程确定:
以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像;
以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像;
对每个像素,在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线,由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。
8.如权利要求7所述的方法,其中获取多个第一暗图像,并且其中获取多个第二暗图像,所述方法还包括:
确定每个像素的平均第一暗图像值;
确定每个像素的平均第二暗图像值;
其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
9.如权利要求8所述的方法,其中确定平均值的每个步骤包括在对暗图像值求平均之前去除一个或多个最高暗图像值和一个或多个最低暗图像值。
10.如权利要求7所述的方法,其中预先确定校准的系统暗图像并且将其存储到存储器中。
11.如权利要求1所述的方法,其中来自样本的光发射具有基本上随时间恒定的速率。
12.如权利要求11所述的方法,其中以增加或减少曝光时间的顺序获取多个图像。
13.如权利要求11所述的方法,其中成像系统是荧光成像系统。
14.如权利要求1所述的方法,其中来自样本的光发射具有随时间非恒定的速率。
15.如权利要求14所述的方法,其中以获取重复的短曝光图像的顺序获取多个图像,所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。
16.如权利要求14所述的方法,其中成像系统是冷光成像系统。
17.如权利要求14所述的方法,还包括确定每个获取的图像的有效曝光长度,其中当确定合并后的像素值时使用所述有效曝光长度。
18.一种成像系统,包括:
样本平台;
检测器,其具有线性响应,其中所述检测器获取在平台上的样本的多个图像,每个图像是以不同的曝光时间获取的,每个图像具有多个像素,每个像素具有亮度值;
存储器,其存储系统的校准的暗图像数据,其中所述校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值;
智能模块,其耦接到所述检测器和所述存储器,其中所述智能模块被适配为:
——从检测器中接收图像,
——从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的系统暗图像,以便生成多个暗校正后的图像;以及
——在每像素的基础上,使用来自多个暗校正后的图像中的每一个的对应像素的值确定合并后的像素值。
19.如权利要求18所述的系统,其中所述智能模块通过拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归而确定合并后的像素值。
20.如权利要求19所述的系统,其中拟合生成线性函数,并且其中合并后的像素值对应于线性函数的斜率。
21.如权利要求19所述的系统,其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。
22.如权利要求18所述的系统,其中所述智能模块通过以下过程执行减法:
访问存储器以便获得系统的校准的暗图像数据;以及
在每像素的基础上,从像素亮度值中减去像素的暗图像值。
23.如权利要求18所述的系统,其中校准的暗图像数据通过以下过程确定:
以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像;
以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像;
对每个像素,在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线,由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。
24.如权利要求23所述的系统,其中获取多个第一暗图像并且其中获取多个第二暗图像,
其中对于每个像素确定平均第一暗图像值;
其中对于每个像素确定平均第二暗图像值;以及
其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。
25.如权利要求24所述的系统,其中在去除一个或多个最高暗图像值后和去除一个或多个最低暗图像值后确定每个平均暗图像值。
26.如权利要求18所述的系统,其中来自样本的光发射具有基本上随时间恒定的速率。
27.如权利要求26所述的系统,其中所述检测器以增加或减少曝光时间的顺序获取多个图像。
28.如权利要求26所述的系统,其中所述成像系统是荧光成像系统。
29.如权利要求18所述的系统,其中来自样本的光发射具有随时间非恒定的速率。
30.如权利要求29所述的系统,其中所述检测器以获取重复的短曝光图像的顺序获取多个图像,所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。
31.如权利要求29所述的系统,其中所述成像系统是冷光成像系统。
32.如权利要求29所述的系统,其中所述智能模块还确定每个获取的图像的有效曝光长度,其中当确定合并后的像素值时使用有效曝光长度。
33.如权利要求18所述的系统,其中所述检测器包括CCD阵列检测器。
34.如权利要求18所述的系统,其中所述智能模块包括处理器。
35.如权利要求18所述的系统,还包括与处理器耦接的显示设备,其中处理器显示合并后的像素值的表示。
36.如权利要求18所述的系统,其中所述智能模块通过在来自多个暗校正后的图像中的每一个的对应像素的值之间拟合线而确定合并后的像素值,由此该拟合的线代表像素的像素值。
37.如权利要求36所述的系统,其中该拟合的线的斜率代表像素值。
38.如权利要求1所述的方法,其中确定合并后的像素值包括在来自多个暗校正后的图像中的每一个的对应像素的值之间拟合线,由此该拟合的线代表像素的像素值。
39.如权利要求38所述的系统,其中该拟合的线的斜率代表像素值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33410910P | 2010-05-12 | 2010-05-12 | |
US61/334,109 | 2010-05-12 | ||
PCT/US2011/036357 WO2011143508A2 (en) | 2010-05-12 | 2011-05-12 | Wide dynamic range imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102985808A true CN102985808A (zh) | 2013-03-20 |
CN102985808B CN102985808B (zh) | 2016-08-24 |
Family
ID=44911477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180034278.5A Expired - Fee Related CN102985808B (zh) | 2010-05-12 | 2011-05-12 | 宽动态范围成像 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8743241B2 (zh) |
EP (1) | EP2569615A4 (zh) |
CN (1) | CN102985808B (zh) |
WO (1) | WO2011143508A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
CN106507080A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN107077727A (zh) * | 2014-11-21 | 2017-08-18 | 德克萨斯仪器股份有限公司 | 处理宽动态范围图像的有效方法 |
CN110503011A (zh) * | 2019-08-06 | 2019-11-26 | Oppo广东移动通信有限公司 | 数据校准方法、电子设备及非易失性计算机可读存储介质 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5889323B2 (ja) * | 2011-10-12 | 2016-03-22 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
EP2792137B1 (en) | 2011-12-16 | 2015-09-30 | Li-Cor, Inc. | Luminescence imaging scanner |
US8446481B1 (en) | 2012-09-11 | 2013-05-21 | Google Inc. | Interleaved capture for high dynamic range image acquisition and synthesis |
US9087391B2 (en) | 2012-12-13 | 2015-07-21 | Google Inc. | Determining an image capture payload burst structure |
US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
US8866928B2 (en) | 2012-12-18 | 2014-10-21 | Google Inc. | Determining exposure times using split paxels |
US9247152B2 (en) | 2012-12-20 | 2016-01-26 | Google Inc. | Determining image alignment failure |
US8995784B2 (en) | 2013-01-17 | 2015-03-31 | Google Inc. | Structure descriptors for image processing |
US9686537B2 (en) | 2013-02-05 | 2017-06-20 | Google Inc. | Noise models for image processing |
US9117134B1 (en) | 2013-03-19 | 2015-08-25 | Google Inc. | Image merging with blending |
US9066017B2 (en) | 2013-03-25 | 2015-06-23 | Google Inc. | Viewfinder display based on metering images |
US9131201B1 (en) | 2013-05-24 | 2015-09-08 | Google Inc. | Color correcting virtual long exposures with true long exposures |
US9077913B2 (en) | 2013-05-24 | 2015-07-07 | Google Inc. | Simulating high dynamic range imaging with virtual long-exposure images |
US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
EP2988490B1 (en) * | 2014-08-21 | 2021-03-31 | FUJIFILM Corporation | Photographing apparatus and method |
JP2016213594A (ja) * | 2015-05-01 | 2016-12-15 | 株式会社シグマ | 撮像装置 |
FR3073049B1 (fr) * | 2017-10-26 | 2023-12-08 | Fluoptics | Procede et dispositif de suivi de la fluorescence emise a la surface d’un tissu biologique |
CN110149484B (zh) | 2019-04-15 | 2020-07-10 | 浙江大华技术股份有限公司 | 图像合成方法、装置及存储装置 |
EP4084467B1 (en) * | 2021-04-30 | 2023-02-01 | Axis AB | A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101272458A (zh) * | 2007-03-19 | 2008-09-24 | 索尼株式会社 | 图像捕获装置、测光方法、亮度计算方法和程序 |
US20080253758A1 (en) * | 2007-04-13 | 2008-10-16 | Choon Hwee Yap | Image processing method |
JP2008301332A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU5875900A (en) | 1999-06-18 | 2001-01-09 | Genomic Solutions, Inc. | An automated, ccd-based microarray imaging system |
AU2002309241A1 (en) * | 2001-06-27 | 2003-03-03 | Bioview Ltd. | System and method for capturing multi-color fish images |
US6825929B2 (en) | 2002-09-30 | 2004-11-30 | Agilent Technologies, Inc. | Simultaneously reading different regions of a chemical array |
US20060025215A1 (en) * | 2004-07-28 | 2006-02-02 | Wms Gaming Inc. | Wagering game with popup feature |
US7454136B2 (en) | 2005-07-28 | 2008-11-18 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for acquiring HDR flash images |
DE102005043048A1 (de) * | 2005-09-09 | 2007-03-22 | Siemens Ag | Verfahren zur Korrektur eines Bilddatensatzes sowie Verfahren zur Erstellung eines Bildes |
US7463357B2 (en) | 2005-11-29 | 2008-12-09 | Agilent Technologies, Inc. | Wide dynamic range chemical array reader |
US7286232B2 (en) | 2006-02-15 | 2007-10-23 | Li-Cor, Inc. | Fluorescence filtering system and method for molecular imaging |
US20090080194A1 (en) | 2006-02-15 | 2009-03-26 | Li-Cor, Inc. | Fluorescence filtering system and method for molecular imaging |
US8078265B2 (en) * | 2006-07-11 | 2011-12-13 | The General Hospital Corporation | Systems and methods for generating fluorescent light images |
JP4956221B2 (ja) | 2007-02-21 | 2012-06-20 | キヤノン株式会社 | 発光検出装置及び蛍光検出装置 |
US8693803B2 (en) * | 2007-09-14 | 2014-04-08 | The Trustees Of The University Of Pennsylvania | High linear dynamic range imaging |
US20090129653A1 (en) * | 2007-11-15 | 2009-05-21 | Carestream Health, Inc. | Energy balancing for wireless diagnostic imaging system |
JP2009284424A (ja) * | 2008-05-26 | 2009-12-03 | Sony Corp | 撮像装置、撮像方法及びプログラム |
DE102008049878A1 (de) * | 2008-09-30 | 2010-04-01 | Carl Zeiss Microlmaging Gmbh | Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung |
-
2011
- 2011-05-12 EP EP11781317.0A patent/EP2569615A4/en not_active Ceased
- 2011-05-12 US US13/106,740 patent/US8743241B2/en active Active
- 2011-05-12 WO PCT/US2011/036357 patent/WO2011143508A2/en active Application Filing
- 2011-05-12 CN CN201180034278.5A patent/CN102985808B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101272458A (zh) * | 2007-03-19 | 2008-09-24 | 索尼株式会社 | 图像捕获装置、测光方法、亮度计算方法和程序 |
US20080253758A1 (en) * | 2007-04-13 | 2008-10-16 | Choon Hwee Yap | Image processing method |
JP2008301332A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
CN107077727A (zh) * | 2014-11-21 | 2017-08-18 | 德克萨斯仪器股份有限公司 | 处理宽动态范围图像的有效方法 |
CN106507080A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106507080B (zh) * | 2016-11-29 | 2018-07-17 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
US10559069B2 (en) | 2016-11-29 | 2020-02-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, and electronic device |
US10559070B2 (en) | 2016-11-29 | 2020-02-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, and electronic device |
CN110503011A (zh) * | 2019-08-06 | 2019-11-26 | Oppo广东移动通信有限公司 | 数据校准方法、电子设备及非易失性计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2011143508A3 (en) | 2012-03-08 |
CN102985808B (zh) | 2016-08-24 |
US20110279706A1 (en) | 2011-11-17 |
WO2011143508A2 (en) | 2011-11-17 |
US8743241B2 (en) | 2014-06-03 |
EP2569615A2 (en) | 2013-03-20 |
EP2569615A4 (en) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102985808A (zh) | 宽动态范围成像 | |
CN108957514B (zh) | 一种核辐射探测方法 | |
BE1025336A9 (nl) | Pixelopstelling | |
US11175404B2 (en) | Lidar system and method of operating the lidar system comprising a gating circuit range-gates a receiver based on a range-gating waveform | |
US20200036918A1 (en) | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors | |
JP4571179B2 (ja) | 撮像装置 | |
US7280141B1 (en) | Fixed pattern noise subtraction in a digital image sensor | |
CN101742123B (zh) | 图像处理设备和方法 | |
US11525918B2 (en) | Time-of-flight camera | |
US20120287242A1 (en) | Adaptive high dynamic range camera | |
US20140063234A1 (en) | Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon | |
Bellisai et al. | Single-photon pulsed-light indirect time-of-flight 3D ranging | |
CN102265176A (zh) | 具有单光子计数能力的cmos成像器 | |
CN105933603A (zh) | 焦点检测装置、摄像装置、摄像系统及焦点检测方法 | |
US20050057670A1 (en) | Method and device for extracting and utilizing additional scene and image formation data for digital image and video processing | |
CN112461360B (zh) | 联合物理噪声模型的高分辨率单光子成像方法与系统 | |
CN104620260B (zh) | 用于识别用于车辆的至少一个脉冲光源的方法和设备 | |
US8391698B2 (en) | Systems and methods of generating Z-buffers for an image capture device of a camera | |
CN110954919B (zh) | 一种面阵激光探测器的固定值噪声确定方法及去除方法 | |
CN110231018B (zh) | 一种结构光测距方法、装置及计算机可读存储介质 | |
US9071763B1 (en) | Uniform illumination image capture | |
Hertel et al. | Image quality standards in automotive vision applications | |
Jenkin et al. | Fundamental imaging system analysis for autonomous vehicles | |
Smith et al. | EMCCD technology and its impact on rapid low-light photometry | |
US20070098387A1 (en) | Systems and methods of generating Z-Buffers in cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 |