CN111856739B - 用于改善显微镜图像的信噪比的图像处理设备、系统和方法 - Google Patents

用于改善显微镜图像的信噪比的图像处理设备、系统和方法 Download PDF

Info

Publication number
CN111856739B
CN111856739B CN202010357775.XA CN202010357775A CN111856739B CN 111856739 B CN111856739 B CN 111856739B CN 202010357775 A CN202010357775 A CN 202010357775A CN 111856739 B CN111856739 B CN 111856739B
Authority
CN
China
Prior art keywords
microscope
image
images
microscope images
microscope image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010357775.XA
Other languages
English (en)
Other versions
CN111856739A (zh
Inventor
凯·沃尔特
弗洛里安·齐谢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of CN111856739A publication Critical patent/CN111856739A/zh
Application granted granted Critical
Publication of CN111856739B publication Critical patent/CN111856739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种用于改善显微镜图像的信噪比的图像处理设备,图像处理设备包括被配置用于至少暂时地保存显微镜图像的存储器以及被配置用于基于存储在存储器中的显微镜图像的有序集合的加权滚动平均确定输出图像的处理电路。

Description

用于改善显微镜图像的信噪比的图像处理设备、系统和方法
技术领域
本发明涉及一种用于改善显微镜图像的信噪比的图像处理设备。图像处理设备可以连接到显微镜设备,例如扫描显微镜、光片显微镜或宽场显微镜。
背景技术
在显微镜下捕获试样的图像受到许多图像噪声的来源的影响。相机,例如CCD,累积从试样通过显微镜系统的光子,以产生关于从试样的点发出的辐射强度的信息。当照亮试样的大区域并且由相机捕获从大区域发出的辐射时,图像可以形成为二维图像帧。图像也可以通过照亮试样的小斑点并且由点检测器检测发出的辐射的过程逐点形成。图像也可以通过扫描试样的三维体积而被生成为三维图像。可替换地,三维图像可以由已经由相机或通过扫描过程捕获的二维图像帧的堆栈形成。为了捕获时间相依过程,例如活细胞中的过程,生成后续显微镜图像的堆栈。显微镜图像的堆栈期望地具有足够的帧速率以解析所研究的时间相依过程。
显微镜图像中的噪声可以由显微镜系统的限制和相机中的成像过程的限制引起。特别地,光子检测的统计和累积性质意味着显微镜图像遭受光子噪声。光子噪声既源于由泊松分布函数控制的探测到的光子信号的固有统计变化,又源于诸如杂散光的背景光的光子噪声。通过在较长的探测时间跨度上收集光子,可以减少由于探测到的光子信号中的固有统计变化而导致的光子噪声,然而这与以足够的时间分辨率成像的目标相冲突。显微镜图像中的噪声的另外来源包括检测器噪声、读出噪声、热噪声和放大器噪声。
特别地,对于共焦显微术,接收的光子数量非常小。待被检测的光子来自是弱信号的荧光发射。因此,在共焦显微术中,由于发射的光子信号中的固有统计变化而引起的光子噪声是噪声的主要来源。共焦显微镜的构造的进步允许扫描速度达到12kHz,使得可以以视频帧速率捕获显微镜图像。
发明内容
因此,需要改善显微镜图像的信噪比。本发明克服了现有技术中上述问题中的至少一些。
本发明的目的是改善显微镜图像的信噪比。
该目的通过一种用于改善显微镜图像的信噪比的图像处理设备解决,该设备包括存储器,被配置用于至少暂时地保存显微镜图像;以及处理电路,被配置用于基于存储在所述存储器中的显微镜图像的有序集合的加权滚动平均确定输出图像。
在一些实施例中,加权滚动平均是通过将所述显微镜图像的有序集合中的显微镜图像添加到给定的显微镜图像而计算的,其中每个添加的显微镜图像通过权重加权。
在一些实施例中,显微镜图像的有序集合中的图像是在所述给定的显微镜图像之前的显微镜图像。
在一些实施例中,显微镜图像的有序集合包括在给定的显微镜图像之前的第一数量的显微镜图像和在给定的显微镜图像之后的第二数量的显微镜图像。
在一些实施例中,显微镜图像的权重被确定为加权因子的幂,其中幂由显微镜图像与给定的显微镜图像之间的序号的差确定。
在一些实施例中,显微镜图像的有序集合包括N+1个显微镜图像,以及其中加权因子是
Figure BDA0002474074050000021
其中w是常数,e为欧拉数。
本发明的目的还通过一种用于改善显微镜图像的信噪比的系统来实现,该系统包括:如上所述的任一种图像处理设备,以及检测设备,包括被配置为捕获显微镜图像的图像传感器或点检测器。
在一些实施例中,检测设备捕获试样的图像,其中所述显微镜图像的有序集合包括N+1个显微镜图像,以及其中数量N适应于试样的移动。
在一些实施例中,数量N基于显微镜图像的有序集合的确定的光流。
在一些实施例中,试样的移动以第一周期是周期性的,其中显微镜图像的有序集合包括每第一周期捕获一次的显微镜图像。
在一些实施例中,系统还包括:显微镜,所述显微镜被配置为捕获试样;以及监视器,显示所述输出图像。
在一些实施例中,显微镜是扫描显微镜、光片显微镜或宽场显微镜。
在一些实施例中,在检测设备正捕获显微镜图像的同时执行输出图像的确定,以及给定的显微镜图像是由检测设备最近捕获的显微镜图像。
本发明的目的还通过一种用于改善显微镜图像的信噪比的方法来实现,该方法包括:至少暂时地存储显微镜图像;基于存储的显微镜图像的有序集合的加权滚动平均确定输出图像。
在一些实施例中,加权滚动平均是通过将来自显微镜图像的有序集合的显微镜图像添加到给定的显微镜图像而计算的,其中每个显微镜图像通过权重加权。
本发明的实施例提供了一种用于改善显微镜图像的信噪比的图像处理设备。图像处理设备包括被配置用于至少暂时地保存显微镜图像的存储器和被配置用于基于显微镜图像的加权滚动平均确定输出图像的处理电路。图像处理设备可从显微镜图像的有序集合产生具有改善的信噪比的输出图像的堆栈。特别地,由于统计平均,在随后的图像之间统计独立的噪声,例如光子噪声,以这种方式被减小,而考虑到显微镜图像堆栈的帧速率足够大,捕获到的时间相依过程的信号被保持。同时,加权滚动平均的计算保持了显微镜图像的帧速率,使得维持了输出图像的堆栈的时间分辨率。
在图像处理设备的实施例中,通过将来自显微镜图像的有序集合的数量为N的显微镜图像添加到给定的显微镜图像计算加权滚动平均以确定输出图像,其中,来自显微镜图像的有序集合的每个添加的显微镜图像对输出图像的贡献通过权重进行加权,使得N+1个显微镜图像被用于确定输出图像。
根据图像处理设备的另外的实施例,显微镜图像的有序集合中的显微镜图像是在给定的显微镜图像之前的显微镜图像,以及给定的显微镜图像是最近的显微镜图像。例如,显微镜图像的有序集合可包括来自显微镜图像的堆栈的N个先前的显微镜图像。使用先前的显微镜图像允许一旦捕获了新的显微镜图像就实时产生输出图像。例如,可以与捕获另外的显微镜图像的过程同时地在监视器上显示最近确定的输出图像。
根据图像处理设备的另外的实施例,显微镜图像的集合可包括在给定的显微镜图像之前捕获的显微镜图像以及比给定的显微镜图像更新近地捕获的显微镜图像。在该实施例中,可以执行输出图像的堆栈的确定作为后处理的步骤。由该实施例产生的输出图像的堆栈具有改善的时间分辨率。
根据图像处理设备的另外的实施例,应用于特定的显微镜图像的权重被确定为加权因子g的幂,其中0<g<1,显微镜图像通过权重对输出图像有贡献,以及其中幂由特定的显微镜图像与给定的显微镜图像之间的序号的差确定。当在时间步长k处捕获的特定的显微镜图像被放置于显微镜图像的堆栈中的序号k处,以及在时间步长j处捕获的给定的显微镜图像被放置于显微镜图像的堆栈中的序号j处,序号的差是|k-j|。例如,给定的显微镜图像的贡献可以用权重一加权,在给定的显微镜图像之前的在序号上与给定的显微镜图像相差一的显微镜图像的贡献可以以权重g加权,在给定的显微镜图像之后的显微镜图像的贡献可以以权重g加权,第二落后于给定的显微镜图像的显微镜图像的贡献可以以权重g2加权,等等。
根据实施例,加权因子
Figure BDA0002474074050000041
其中N是添加的显微镜图像的总数,以及w是常数,使得N+1个显微镜图像被用于确定输出图像。
本发明的另外的实施例是一种用于改善显微镜图像的信噪比的系统,系统包括根据上述实施例中的一个的图像处理设备和被配置为捕获显微镜图像的检测设备。
根据系统的另外的实施例,系统中包括的检测设备捕获试样的图像,其中显微镜图像的有序集合包括N+1个显微镜图像,其中数量N适应于试样的移动。例如,试样可以是经历生物过程的活细胞。在实施例中,由包括在系统中的处理器计算数量N关于试样的移动的调整,其中计算基于确定光流。
根据系统的另外的实施例,加权平均可以基于试样的确定的周期性移动。根据该实施例,捕获到的显微镜图像的堆栈表现出试样的移动的周期性,使得在时间步长j和j-M处捕获的显微镜图像示出试样的周期性移动的相同阶段,其中M是第一周期。根据该实施例,显微镜图像的有序集合包括每第一周期M捕获的显微镜图像,使得给定的显微镜图像102-0可以在时间j被捕获,直接在前添加的显微镜图像可以在时间j-M被捕获,下一个较早添加的显微镜图像可以在时间j-2M被捕获,等等。
根据本发明的另外的实施例,根据前述实施例中的一个的系统还包括被配置为捕获试样的显微镜,以及显示输出图像的监视器。在实施例中,系统可以是扫描显微镜、光片显微镜或宽场显微镜。
在实施例中,在相机正在捕获显微镜图像的同时执行输出图像的确定,以及给定的显微镜图像是相机最近捕获的显微镜图像。
根据另外的实施例,一种用于改善显微镜图像的信噪比的方法包括至少暂时存储显微镜图像,以及基于计算存储的显微镜图像的有序集合的加权滚动平均确定输出图像。在另外的实施例中,方法可包括通过将来自显微镜图像的有序集合的显微镜图像添加到给定的显微镜图像计算加权滚动平均,其中,在添加到给定的显微镜图像之前,每个显微镜图像通过权重进行加权。
附图说明
本发明的实施例在附图中示出,其中:
图1A示出通过计算包括N个先前的显微镜图像的加权滚动平均确定输出图像,以及图1B示出通过计算包括在给定的显微镜图像之前和之后的总共N个额外的显微镜图像的加权滚动平均确定输出图像;
图2示出根据本发明的实施例的用于改善显微镜图像的信噪比的系统的表示;
图3示出根据本发明的实施例的用于改善显微镜图像的信噪比的方法的流程图;
图4A和4B再现根据本发明实施例的显微镜图像和具有从加权移动平均获得的改善的信噪比的输出图像。
以下详细描述和附图提供对本发明的优点的更详细的理解。
具体实施方式
下面将详细描述用于改善显微镜图像的信噪比的系统和方法。为了解释的目的,阐述了示例和具体细节以便提供对本发明的实施例的透彻理解。实施例由权利要求限定,并且可以单独地或与下面描述的其它特征组合地包括这些示例中的一些或全部特征,以及还可包括本文所述的特征和概念的修改和等同物。以下描述将参考图1至图3详细解释本发明的实施例。
图1A示出作为N+1个显微镜图像102-0,…,102-N的加权平均的输出图像106的确定。每个显微镜图像102-0,…,102-N对由相应权重104-0,104-1,…,104-N加权的输出图像106有贡献。权重104-0,104-1,…,104-N可以是实数。显微镜图像102-0,…,102-N可以是显微镜图像的堆栈的子集。
在实施例中,给定的显微镜图像102-0以权重一对输出图像106有贡献,而先前的N个显微镜图像以减小的权重有贡献,减小的权重取决于相应的显微镜图像和给定的显微镜图像102-0之间的时滞,如例如由序号的差表示的。分别使用N个先前的显微镜图像,针对每个显微镜图像计算加权平均,使得输出图像106的帧速率与捕获到的显微镜图像的堆栈的帧速率相同。
例如,显微镜图像的堆栈可以捕获快速过程,使得仅显微镜图像102-2至102-0示出该过程的相关特征。因为显微镜图像102-2至102-0获得比更古老的显微镜图像更高的权重,所以相关特征在通过加权移动平均获得的输出图像中仍然可见。
在实施例中,显微镜图像102-1,…,102-N由相机以给定的帧速率连续产生。帧速率通常受显微镜图像的图像分辨率的影响。在典型的分辨率下,可以实现90fps的帧速率,而在高分辨率下,可以实现22fps以及在极限分辨率下,可以实现0.01fps。
在实施例中,数量N可以在1和65之间。在实施例中,数量N可以由用户输入。在其它实施例中,基于在显微镜图像中捕获的时间相依现象,例如生物试样的移动,确定数量N。在实施例中,数量N是11。
显微镜图像102-0,…,102-N中的每一个可以是由离散时间步长i索引的多维阵列Ti。显微镜图像102-0,…,102-N可以是捕获的显微镜图像阵列{Ti}的堆栈的子集。在时间步长j处取得的显微镜图像102-0可以对应于阵列Tj,在时间步长j-1处取得的显微镜图像102-1可以对应于阵列Tj-1,在时间步长j-2处取得的显微镜图像102-2可以对应于阵列Tj-2,等等。例如,阵列Ti可以是对应于二维离散位置处的光强度数据的二维阵列,或者对应于三维离散位置处的光强度数据的三维阵列。另外,图像可以以对应于三个独立的二维或三维阵列的集合的三色RGB格式获得。
显微镜图像102-0,…,102-N对输出图像的贡献可以通过将对应的阵列Ti乘以与权重104-0,104-1,…,104-N对应的实数而获得。可以通过将显微镜图像102-0,…,102-N的贡献相加以获得多维阵列T′j来确定输出图像。
因此,输出图像106具有与显微镜图像102-1,…,102-N相同的图像数据格式,使得输出图像106是具有与阵列Tj相同的维度的多维阵列T′j。输出图像T′i的计算可以与堆栈{Ti}的捕获同时执行,以产生具有改善的信噪比的输出图像{T′i}的堆栈。
根据一个实施例,权重104-0,…,104-N中的每一个可以被确定为加权因子g的幂,其中幂由显微镜图像102-0和应用了权重的相应的显微镜图像之间的序号的差i确定。因此,参考图1A,应用于显微镜图像102-0的权重104-0可以是1=g0,应用于显微镜图像102-1的权重104-1可以是g1,应用于显微镜图像102-2的权重104-2可以是g2,等等,以及应用于显微镜图像102-N的权重104-N可以是gN。因此,输出图像106可以根据以下等式确定为阵列T′j
Figure BDA0002474074050000061
在实施例中,加权因子是
Figure BDA0002474074050000062
其中w是常数,e为自然常数,即欧拉数。在实施例中,常数w可以是0.4。根据其它实施例,w=2或w=0.1。在实施例中,常数w可以由用户输入。在另外的实施例中,常数w可以适应于由显微镜图像捕获的过程的时间相依性,如通过分析显微镜图像的光流确定的。
虽然根据图1A的输出图像的确定使用N个先前的显微镜图像,并且因此可以在显微镜图像102-0一到达时就执行,但是图1B示出使用先前的显微镜图像以及比给定的显微镜图像204-0更新近的显微镜图像形成移动加权平均。因此,输出图像206的计算可以作为图像堆栈的后处理的步骤执行。
类似于图1A中所示的计算,根据图1B确定的输出图像206通过N+1个显微镜图像202-0,202-1,202-2,…,202-N-1,202-N的加权贡献来计算,其中每个显微镜图像通过相应的权重204-0,204-1,204-2,…,204-N-1,204-N加权。在图1B中,N是偶数,以及具有偶数序号202-2,202-4,…,202-N的所有显微镜图像是比给定的显微镜图像202-0更新近的显微镜图像,而具有奇数序号202-1,202-3,…,202-N-1的显微镜图像在给定的显微镜图像202-0之前被捕获。
应用于显微镜图像的权重可以通过相应的显微镜图像和显微镜图像202-0之间的序号的差确定,使得特别地,权重204-1与权重204-2相同,权重204-3与权重204-4相同,以及权重204-N-1与权重204-N相同。
因此,输出图像206可以根据以下等式被确定为具有与对应于显微镜图像202的阵列Tj相同形状的阵列T′j
Figure BDA0002474074050000071
根据等式(2)计算输出图像可以作为后处理执行。根据等式(2)确定加权移动平均改善了在显微镜图像中捕获的过程的时间分辨率。
通过计算移动平均,更多的探测到的光子被用于产生输出图像106,206。因此,在输出图像106,206中,显微镜图像102,202之间的统计上独立的噪声被减少,使得输出图像106,206的信噪比被改善。
图2显示用于改善显微镜图像的信噪比的系统200,包括用于改善显微镜图像的信噪比的图像处理设备。图像处理设备220可包括存储器222或图像存储部分,被配置用于至少暂时地保存显微镜图像,以及处理电路224,被配置用于基于存储在存储器或图像存储部分中的显微镜图像的有序集合的加权滚动平均确定输出图像106,206。例如,存储器222可以存储显微镜图像102-0,…,102-N,或者显微镜图像202-0,…,202-N。可以根据参照图1A和1B解释的计算执行由处理电路224对输出图像106,206的确定。处理电路224可以是执行用于如上所述确定输出图像的软件的通用CPU。根据另外的实施例,处理电路可以被实现为包括可编程逻辑块的现场可编程门阵列(FPGA),可编程逻辑块被配置用于执行如上所述的通过加权滚动平均的输出图像的计算。根据另外的实施例,输出图像106,206的确定的部分由在CPU上执行的软件执行,而计算的另一部分由FPGA执行。
图像处理设备220还可包括另外的通用CPU、输入/输出接口和存储介质。
系统还可包括检测设备240和将图像处理设备220连接到检测设备240的输入连接装置226。检测设备240包括被配置为捕获显微镜图像的图像传感器244。在实施例中,图像传感器可以是CCD或CMOS芯片。图像传感器可以是在多个通道中进行记录的多光谱或高光谱相机。在其它实施例中,检测设备包括扫描试样上的斑点的扫描仪和检测从斑点发射的光的点检测器。点检测器可以是光电倍增管。
图2所示的系统还可包括被配置为捕获试样的显微镜260。根据实施例,显微镜可以是扫描显微镜、光片显微镜或宽场显微镜。扫描显微镜可以是共焦显微镜、多光子显微镜或STED显微镜。扫描显微镜可以使用用于激发控制和激发发射分离的声光元件,以及谐振检流计,允许以高达12kHz的频率进行扫描。显微镜260可包括照明264,270,透镜262,以及可以被配置为观察试样对象266。
在实施例中,扫描试样上的斑点可包括在第一方向上沿着扫描线扫描并且在扫描线已经完成扫描之后在正交方向上移位扫描线。在实施例中,扫描试样上的斑点可包括用荧光染料268对试样染色,以及通过激光器激发荧光染料,以及通过点检测器检测荧光信号。在实施例中,扫描试样上的斑点包括切换激光器以激发另一荧光染料。在实施例中,激发激光器可以随着每个完成的扫描线进行切换。在另一实施例中,可在扫描二维图像已经完成之后切换激发激光器。在扫描二维图像已经完成之后,扫描显微镜的硬件参数也可以改变。
在实施例中,扫描显微镜可以是共焦显微镜,其使用限制光束路径的针孔孔径,使得仅从小体积发射的荧光到达检测器。
在实施例中,检测设备从12kHz的共振扫描显微镜捕获二维显微镜图像。在512×512px的图像分辨率下,可以达到21.9fps的输出图像堆栈的帧速率,而在256×256px的图像分辨率下,可以达到41.1fps的帧速率,以及在128×128px的图像分辨率下,可以达到73.17fps的帧速率。
图2所示的系统还可包括显示输出图像的监视器280和将图像处理设备220连接到监视器的输出连接装置228。
根据实施例,用于计算移动平均的显微镜图像的数量N可以基于计算显微镜图像的有序集合的光流而被确定。确定光流可包括识别显微镜图像中的边缘以及通过识别到的边缘中的移位确定试样的移动。根据如上所述的实施例,确定的光流可以用于调整确定加权因子的数量N和/或常数w。根据另外的实施例,可以使用人工智能和/或深度学习的方法确定最优数量N和常数w。
在另外的实施例中,试样的移动是周期性的,使得例如每第K个捕获的显微镜图像捕获试样的周期性移动的相同阶段。在本实施例中,用于计算输出图像的显微镜图像的有序集合可包括由K-1个显微镜图像分离的显微镜图像。因此,输出图像根据以下等式计算:
Figure BDA0002474074050000091
可替换地,如上文参照图1B所解释的,本实施例中的输出图像也可根据以下等式使用先前的显微镜图像以及比给定的显微镜图像更新近的显微镜图像来计算:
Figure BDA0002474074050000092
根据实施例,输出图像的确定可以与相机捕获显微镜图像同时执行,使得图1A的给定的显微镜图像102-0是相机最近捕获的显微镜图像。由此,在已经完成移动平均的计算之后,输出图像可以被立即显示在监视器280上。
图3示出用于改善显微镜图像的信噪比的方法的流程图。方法包括至少暂时地存储302显微镜图像。方法可以可选地包括确定304加权移动平均的参数,例如等式(1-4)的参数N和w。方法还包括基于存储的显微镜图像的有序集合的加权滚动平均确定306输出图像,例如通过根据等式(1-4)的计算。方法300可包括通过将来自显微镜图像的有序集合的显微镜图像添加到给定的显微镜图像而计算加权滚动平均,其中每个显微镜图像通过权重进行加权。可选地,方法300还可以包括在监视器上显示308确定的输出图像。
图4A和4B示出显微镜图像(例如显微镜图像102或202)与通过加权滚动平均获得的输出图像(例如输出图像106,206)的比较。图4A的上图再现了肌动蛋白细丝的二维显微镜图像,其具有1024×1024px的尺寸,如通过Leica TCS SP8 STED显微镜捕获到的。图像是使用33nm的体素大小捕获的。图4A的上图的显微镜图像中所示的细丝由于光子噪声而几乎不可见。图4A的下图再现根据本发明的教导作为加权移动平均而生成的输出图像,其中由于光子噪声的平均和更多光子的收集,细丝清晰可见。根据等式(1)计算加权移动平均,使用N=11,w=0.4。
图4B示出由Leica SP8 STED显微镜捕获的小鼠神经元的显微镜图像的类似比较,图像具有512×512px的尺寸。图像是用289nm的体素大小捕获的。图4B的左图中所示的细胞和细丝主要由噪声支配,而图4B的右图的图像根据等式(1)的加权移动平均计算,使用N=11,w=0.4,明显更清楚地显示细胞和细丝。
虽然已经在装置的上下文中描述了一些方面,但是显然,这些方面也表示对应方法的描述,其中块或设备与方法步骤或方法步骤的特征对应。类似地,在方法步骤的上下文中描述的方面也表示对对应装置的对应块或项目或特征的描述。方法步骤中的一些或全部可以通过或使用硬件装置执行,例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中,最重要的方法步骤中的某个或多个可以由这样的装置执行。
取决于特定的实现要求,本发明的实施例可以用硬件或软件实现。可以使用非暂时性存储介质执行实现,诸如其上存储有电子可读控制信号的数字存储介质,例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器,电子可读控制信号与可编程计算机系统协作或能够与可编程计算机系统协作,使得执行相应的方法。因此,数字存储介质可以是计算机可读的。根据本发明的一些实施例包括具有电子可读控制信号的数据载体,电子可读控制信号能够与可编程计算机系统协作,以便执行本文所述的方法中的一个。
通常,本发明的实施例可以被实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行所述方法中的一个。程序代码可以例如存储在机器可读载体上。其它实施例包括存储在机器可读载体上的用于执行本文所述的方法中的一个的计算机程序。因此,换句话说,本发明的实施例是一种具有程序代码的计算机程序,当该计算机程序在计算机上运行时,程序代码用于执行本文所述的方法中的一个。
因此,本发明的另外的实施例是一种存储介质或数据载体,或者计算机可读介质,其包括存储在其上的计算机程序,当由处理器执行时,该计算机程序用于执行本文所述的方法中的一个。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时的。本发明的另外的实施例是一种如本文所述的装置,包括处理器和存储介质。
因此,本发明的另外的实施例是表示用于执行本文所述的方法中的一个的计算机程序的数据流或信号序列。例如,数据流或信号序列可以被配置为经由数据通信连接(例如经由因特网)传送。
另外的实施例包括处理装置,例如计算机或可编程逻辑器件,被配置为或适于执行本文所述的方法中的一个。另外的实施例包括一种计算机,其上安装有用于执行本文所述的方法中的一个的计算机程序。
根据本发明的另外的实施例包括一种装置或系统,被配置为例如以电子或光学方式将用于执行本文所述方法中的一个的计算机程序传送到接收器。例如,接收器可以是计算机、移动设备、存储器设备等。例如,装置或系统可包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中,可编程逻辑器件,例如现场可编程门阵列,可以用于执行本文所述的方法的一些或全部功能。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法中的一个。通常,优选地,由任何硬件装置执行所述方法。
附图标记
102-0,…,102-N 显微镜图像
104-0,…,104-N 权重
106 输出图像
202-0,…,202-N 显微镜图像
204-0,…,204-N 权重
206 输出图像
220 图像处理设备
222 存储器
224 处理电路
226 输入连接装置
228 输出连接装置
240 检测设备
244 图像传感器
260 显微镜
264 照明
270 照明
262 透镜
266 试样对象
268 荧光染料
280 监视器

Claims (11)

1.一种用于改善显微镜图像的信噪比的图像处理设备(220),包括:
存储器(222),被配置用于至少暂时地保存显微镜图像;以及
处理电路(224),被配置用于基于存储在所述存储器(222)中的显微镜图像的有序集合(102;202)的加权滚动平均确定输出图像(106;206);
其中所述加权滚动平均是通过将所述显微镜图像的有序集合(102;202)中的显微镜图像(102-1,…,102-N;202-1,…,202-N)添加到给定的显微镜图像(102-0;202-0)而计算的,其中每个添加的显微镜图像(102-1,…,102-N;202-1,…,202-N)通过权重(104-1,…,104-N;204-1,…,204-N)加权;
其中显微镜图像的所述权重(104-1,…,104-N;204-1,…,204-N)被确定为加权因子的幂,其中所述幂由所述显微镜图像与所述给定的显微镜图像(102-0;202-0)之间的序号的差确定;
其中所述显微镜图像的有序集合(102;202)包括N+1个显微镜图像,以及其中所述加权因子是
Figure FDA0003781548030000011
其中w是通过分析所述显微镜图像的光流而确定的常数,e为欧拉数。
2.如权利要求1所述的图像处理设备(220),其中所述显微镜图像的有序集合(102)中的图像(102-1,…,102-N)是在所述给定的显微镜图像(102-0)之前的显微镜图像。
3.如权利要求1所述的图像处理设备(220),其中所述显微镜图像的有序集合(202)包括在所述给定的显微镜图像(202-0)之前的第一数量的显微镜图像和在所述给定的显微镜图像(202-0)之后的第二数量的显微镜图像。
4.一种用于改善显微镜图像的信噪比的系统(200),所述系统包括:
如权利要求1至3中的一项所述的图像处理设备(220);以及
检测设备(240),包括被配置为捕获显微镜图像的图像传感器(244)或点检测器。
5.如权利要求4所述的系统,其中所述检测设备(240)捕获试样(的图像,其中所述显微镜图像的有序集合(102;202)包括N+1个显微镜图像,以及其中所述数量N适应于所述试样的移动。
6.如权利要求5所述的系统(200),其中所述数量N基于所述显微镜图像的有序集合(102;202)的确定的光流。
7.如权利要求5或6所述的系统(200),其中所述试样的移动以第一周期是周期性的,其中所述显微镜图像的有序集合(102;202)包括每第一周期捕获一次的显微镜图像。
8.如权利要求4至6中的一项所述的系统(200),还包括:
显微镜(260),所述显微镜被配置为捕获试样;以及
监视器(280),显示所述输出图像(106;206)。
9.如权利要求8所述的系统(200),其中所述显微镜(260)是扫描显微镜、光片显微镜或宽场显微镜。
10.如权利要求8所述的系统(200),其中在检测设备(240)正捕获所述显微镜图像的同时执行所述输出图像(106;206)的确定,以及所述给定的显微镜图像(102-0)是由所述检测设备(240)最近捕获的显微镜图像。
11.一种用于改善显微镜图像的信噪比的方法(300),所述方法包括:
至少暂时地存储(302)显微镜图像(102;202);
基于存储的显微镜图像的有序集合的加权滚动平均确定(306)输出图像(106;206);
其中所述加权滚动平均是通过将所述显微镜图像的有序集合(102;202)中的显微镜图像(102-1,…,102-N;202-1,…,202-N)添加到给定的显微镜图像(102-0;202-0)而计算的,其中每个添加的显微镜图像(102-1,…,102-N;202-1,…,202-N)通过权重(104-1,…,104-N;204-1,…,204-N)加权;
其中显微镜图像的所述权重(104-1,…,104-N;204-1,…,204-N)被确定为加权因子的幂,其中所述幂由所述显微镜图像与所述给定的显微镜图像(102-0;202-0)之间的序号的差确定;
其中所述显微镜图像的有序集合(102;202)包括N+1个显微镜图像,以及其中所述加权因子是
Figure FDA0003781548030000031
其中w是通过分析所述显微镜图像的光流而确定的常数,e为欧拉数。
CN202010357775.XA 2019-04-30 2020-04-29 用于改善显微镜图像的信噪比的图像处理设备、系统和方法 Active CN111856739B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19171800.6 2019-04-30
EP19171800.6A EP3734345B1 (en) 2019-04-30 2019-04-30 Image processing device, system, and method for improving signal-to-noise of microscopy images

Publications (2)

Publication Number Publication Date
CN111856739A CN111856739A (zh) 2020-10-30
CN111856739B true CN111856739B (zh) 2022-11-01

Family

ID=66334275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010357775.XA Active CN111856739B (zh) 2019-04-30 2020-04-29 用于改善显微镜图像的信噪比的图像处理设备、系统和方法

Country Status (4)

Country Link
US (1) US11238566B2 (zh)
EP (1) EP3734345B1 (zh)
JP (1) JP7009550B2 (zh)
CN (1) CN111856739B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338497A (zh) * 2016-09-13 2017-01-18 南京大学 一种表面等离子体共振显微成像装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937144A (ja) 1995-07-20 1997-02-07 Keyence Corp ディジタル画像処理回路および画像観察装置
JP4662852B2 (ja) 2003-11-12 2011-03-30 株式会社日立メディコ 画像処理方法、画像処理装置、医用画像診断支援システム、及び時間軸方向フィルタリング方法
US7817837B2 (en) * 2004-05-19 2010-10-19 Hitachi Medical Corporation Image processing device and method
US7817841B2 (en) 2005-11-12 2010-10-19 General Electric Company Time-lapse cell cycle analysis of unstained nuclei
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method
CN101930606A (zh) * 2010-05-14 2010-12-29 深圳市海量精密仪器设备有限公司 一种图像边缘检测的景深扩展方法
JP6230333B2 (ja) 2013-08-22 2017-11-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2016123479A1 (en) * 2015-01-31 2016-08-04 Board Of Regents, The University Of Texas System High-speed laser scanning microscopy platform for high-throughput automated 3d imaging and functional volumetric imaging
CN105589188B (zh) 2016-03-10 2018-01-16 清华大学 一种结构光照明显微镜的成像方法及装置
JP2017162391A (ja) * 2016-03-11 2017-09-14 東芝メモリ株式会社 画像処理方法及び画像処理プログラム
JP6774813B2 (ja) * 2016-08-12 2020-10-28 日本電子株式会社 画像処理装置、画像処理方法、および分析装置
CN110023737A (zh) * 2016-12-09 2019-07-16 索尼公司 信息处理装置、信息处理方法及信息处理系统
US11131631B2 (en) * 2017-12-28 2021-09-28 University Of Notre Dame Du Lac Super-resolution fluorescence microscopy by stepwise optical saturation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338497A (zh) * 2016-09-13 2017-01-18 南京大学 一种表面等离子体共振显微成像装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光学显微镜数字化改造的设计及仿真;刘红等;《微型电脑应用》;20110720(第07期);全文 *

Also Published As

Publication number Publication date
JP7009550B2 (ja) 2022-01-25
JP2020184072A (ja) 2020-11-12
US20200349676A1 (en) 2020-11-05
CN111856739A (zh) 2020-10-30
US11238566B2 (en) 2022-02-01
EP3734345A1 (en) 2020-11-04
EP3734345B1 (en) 2023-08-02
EP3734345C0 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
JP4872914B2 (ja) スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
JP2018180635A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US11169368B2 (en) Method and system for localisation microscopy
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
US11854162B2 (en) Microscopy with near-ideal sCMOS camera
US10718715B2 (en) Microscopy system, microscopy method, and computer-readable storage medium
Mailfert et al. A theoretical high-density nanoscopy study leads to the design of UNLOC, a parameter-free algorithm
US20180322329A1 (en) Image processing device, imaging device, microscope device, image processing method, and image processing program
CN114241066A (zh) 用于生成hdr图像的显微镜系统和方法
WO2021001836A1 (en) System and method for generating an image
CN111856739B (zh) 用于改善显微镜图像的信噪比的图像处理设备、系统和方法
JP6681068B2 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
US6961476B2 (en) Autothresholding of noisy images
US20090290780A1 (en) Analysis method for chemical and/or biological samples
WO2021026278A1 (en) Real-time focusing in a slide-scanning system
US20230196513A1 (en) Fluorescence microscope system and method
Cabriel et al. Event-based vision sensor for fast and dense single-molecule localization microscopy
US11841324B2 (en) Method and device for estimating a STED resolution
Ohn et al. High‐speed multicolor microscopy of repeating dynamic processes
CN111476125A (zh) 基于生成对抗网络的三维荧光显微信号去噪方法
EP4312190A1 (en) Fluorescence imaging and visualisation
JP2023084119A (ja) 複数の蛍光体の混合蛍光応答を解析する方法、蛍光解析器、蛍光顕微鏡およびコンピュータプログラム
CN115601255A (zh) 一种电镜成像方法、装置、计算机设备及存储介质
CN117396749A (zh) 信息处理方法、信息处理装置及程序
JP2007135848A (ja) 形態検査方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant