CN108139711A - 数字全息显微术重构中的自动参考 - Google Patents

数字全息显微术重构中的自动参考 Download PDF

Info

Publication number
CN108139711A
CN108139711A CN201680055140.6A CN201680055140A CN108139711A CN 108139711 A CN108139711 A CN 108139711A CN 201680055140 A CN201680055140 A CN 201680055140A CN 108139711 A CN108139711 A CN 108139711A
Authority
CN
China
Prior art keywords
dhm
images
reference picture
dhm images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680055140.6A
Other languages
English (en)
Other versions
CN108139711B (zh
Inventor
N.艾尔-策希里
B.乔治斯库
O.海登
A.卡门
U.菲利皮
S.拉帕卡
L.里希特
A.席克
M.尤格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN108139711A publication Critical patent/CN108139711A/zh
Application granted granted Critical
Publication of CN108139711B publication Critical patent/CN108139711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/16Processes or apparatus for producing holograms using Fourier transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1454Optical arrangements using phase shift or interference, e.g. for improving contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883Reconstruction aspect, e.g. numerical focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/50Nature of the object
    • G03H2210/55Having particular size, e.g. irresolvable by the eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/122Computational image acquisition in electron microscopy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

用于分析针对血液学应用的数字全息显微术(DHM)数据的计算机实现的方法包括接收使用数字全息显微术系统所采集的DHM图像。所述DHM图像包括一个或多个细胞对象和背景的描绘。基于DHM图像生成参考图像。此参考图像然后可以用来将DHM图像中的条纹图案重构到光学深度图中。

Description

数字全息显微术重构中的自动参考
相关申请的交叉引用
本申请要求2015年9月22日提交的美国临时申请序号62/221,764的权益,其整体地通过引用并入本文。
技术领域
本公开总体涉及与数字全息显微术(DHM)重构中的自动参考的使用有关的方法、系统和装置。本文描述的技术可以例如应用在测量血细胞的平均细胞容积(MCV)以及其它基于细胞的诊断技术中。
背景技术
还被称为干涉相位显微术的数字全息显微术(DHM)是提供定量地追踪透明样品中的亚纳米光学厚度改变的能力的成像技术。与其中仅捕获关于样品的强度(幅度)信息的传统数字显微术不同,DHM捕获相位和强度两者。作为全息图而捕获的相位信息可以用于使用计算机算法来重构关于样品的扩展的形态信息(诸如深度和表面特性)。现代DHM实现提供了若干附加益处,诸如快速扫描/数字采集速度、低噪声、高分辨率以及用于无标记样本采集的潜在性。
离轴DHM系统创建全息图,其中由于对象与参考射束之间的小角度而存在整个视场之上的调制正弦条纹图案,换言之,撞击传感器表面的平面波在传感器处的位置处相消地和相长地干涉,并且因而形成正弦图案。此外,如在图1A中所描绘的,在具体建立(setup)中,使用光学傅里叶平面(或者傅里叶平面的共轭平面)的位置处的针孔而从对象射束创建参考射束,以抹去对象空间签名,并且提供用于创建干涉或全息图像的均匀平面波。
图1B示出了在视平面中的任何对象缺失的情况下获得的样本参考条纹图像(顶部)以及在细胞处于视场中的情况下获得的样本对象图像(底部)。如图1B中所示,重构牵涉到离轴建立的调制频率周围的波数的基于傅里叶变换的隔离,以及找到对象和参考图像两者的对应波中的不同的相位。将存在针对以下情况所牵涉的解开步骤(unwrapping step),其中光学深度差异引起比pi更大的绝对相位值。图1B中的参考图像通常在实验之前拍摄,或者在没有视场和一致的背景中的对象的条件下始终更新。
发明内容
本发明的实施例通过提供涉及数字全息显微术(DHM)重构中的自动参考的方法、系统和装置来解决和克服以上缺点和缺陷中的一个或多个。简要地,本文描述的技术从单个对象图像或者图像的时间系列来提取参考图像。提取来自对象图像的其中条纹图案被扰乱的区域,并且利用从图像的其它部分存在的图案来替换那些区域。
根据一些实施例,用于分析针对血液学应用的数字全息显微术(DHM)数据的计算机实现的方法包括接收使用数字全息显微术系统而采集的DHM图像。DHM图像包括一个或多个细胞对象和背景的描绘。基于DHM图像而生成参考图像。此参考图像然后可以用于将DHM图像中的条纹图案重构到光学深度图中。
各种技术可以用于生成参考图像。例如,在一些实施例中,检测DHM图像中存在细胞对象的一个或多个区域,并且从DHM图像分割这些区域。利用来自背景的非扰乱条纹图案来填充DHM图像的所述区域以产生参考图像,例如,使用基于包括在DHM图像中的结构和纹理信息的图像修补方法(例如,基于水平集的方法)或者经压缩的感测方法。在一些实施例中,可以使用基于学习的方法来自动地检测所述区域。每一个区域可以例如包括完全围绕每一个细胞对象的框。在一些实施例中,使用字典学习方法来在DHM图像的所述区域中进行填充。例如,可以学习捕获背景中的可变性的像斑(image patches)的字典。DHM成像然后可以使用该字典来重新投射以在所述区域中进行填充。在一些实施例中,使用稀疏编码来生成像斑的字典。
根据本发明的另一方面,用于分析针对血液学应用的DHM数据的第二个计算机实现的方法包括接收使用DHM系统而采集的DHM图像。DHM图像然后用于生成参考图像,所述参考图像仅包括来自DHM图像的背景的贡献。例如,在一个实施例中,应用滤波算法来基于DHM图像动态地估计参考图像。一旦生成,就使用参考图像来将DHM图像中的条纹图案重构到光学深度图中。然后可以生成一个或多个可视化。例如,在一个实施例中,使用DHM图像和条纹图案来生成一个或多个无条纹的经重构的相位图像的实时可视化。在另一实施例中,使用DHM图像和条纹图案的细胞表面的3D可视化。
在前述第二个方法的一些实施例中,通过向DHM图像和预定数目的之前所接收的DHM图像应用滤波器来更新之前生成的参考图像,以产生新的参考图像。此滤波器可以例如包括移动平均滤波器、高斯滤波器或者中值滤波器。在生成新的参考图像中使用的之前所接收的DHM图像的数目可以由用户选择,或者可以使用预设的值。
附加地,可以向第二个方法添加特征以用于分析以上讨论的DHM数据。例如,在一些实施例中,滤波算法的应用包括针对跨DHM图像的每一个像素区域计算强度统计,并且从那些统计选择对应于背景的稳定分布值。在其它实施例中,通过利用所述一个或多个滤波算法修改无对象的原始参考图像来动态地估计参考图像,以反映发生在DHM图像中的成像条件的改变。在一个实施例中,通过利用微流体或点控制单元从一个患者血液样本切换到另一个而触发参考图像的估计。
根据其它实施例,用于分析针对血液学应用的DHM数据的系统包括DHM系统、一个或多个处理器、以及与处理器可操作通信的非暂时性、计算机可读存储介质。DHM系统配置成采集DHM图像,其中每一个DHM图像包括一个或多个细胞对象和背景的描绘。计算机可读存储介质包括一个或多个编程指令,所述一个或多个编程指令在执行时引起处理器应用滤波算法来(i)动态地生成仅包括来自DHM图像的背景的贡献的参考图像;以及(ii)使用参考图像来将DHM图像中的条纹图案重构到光学深度图中。在前述系统中使用的处理器可以包括图形处理单元(GPU)、中央处理单元(CPU)或者GPU和CPU的组合。附加地,由处理器执行的各个操作可以在各种处理器之中划分以优化处理。
根据关于附图进行的说明性实施例的以下详细描述,本发明的附加特征和优点将变得显而易见。
附图说明
当结合附图阅读时,根据以下详细描述,最佳地理解本发明的前述以及其它方面。出于说明本发明的目的,在附图中示出当前优选的实施例,然而,要理解到,本发明不限于所公开的具体手段。在附图中包括以下各图:
图1A示出了离轴数字全息系统的示例示意图,其中从对象射束来创建参考射束;
图1B示出了在视平面(plane of view)中的任何对象缺失的情况下获得的样本参考条纹图像以及在细胞处于视场中的情况下获得的样本对象图像;
图2示出了在DHM重构可以在一些实施例中应用时的用于DHM重构的流程图;
图3示出了示例的经重构的光学深度图;
图4图示了根据一些实施例的使用来自单个对象图像的参考图像的过程DHM重构;
图5A示出了使用中值滤波而利用30个对象图像的堆叠大小计算的示例参考图像;
图5B示出了使用所计算的参考图像的经重构的对象图像;以及
图6图示了本发明的实施例可以在其内实现的示例性计算环境。
具体实施方式
以下公开描述了根据若干实施例的本发明,所述若干实施例针对涉及数字全息显微术(DHM)重构中的自动参考的使用的方法、系统和装置。测量血细胞的平均细胞容积(MCV)是重要的诊断技术。尤其是对于使用全息术的自动化检测系统而言,保持用于维护和工作流的努力处于最小值是必要的。因而,为了避免任何漂移效应,可以应用自动参考技术。此类技术尤其适用于使用流细胞(flow cell)的系统。为了避免复杂性,有利的是从当前流(current flow)中提取参考全息图。
图2示出了针对通常如何执行DHM重构过程200的流程图。重构技术(诸如,过程200)一般在本领域中已知,并且因而,这些技术仅在此处简要地描述。过程200利用对象图像和参考图像,其每个通过向图像应用傅里叶变换、修切(cropping)、应用逆傅里叶变换以及提取相位信息来单独地重构。接下来,计算经重构的对象图像与经重构的参考图像之间的差异。然后,执行解开以产生光学深度图。在图3中示出示例光学深度图。
图4图示了根据一些实施例的使用来自单个对象图像的参考图像的过程400 DHM重构。简要地,DHM系统405用于采集一个或多个输入图像。数字全息显微术系统405可以是本领域中已知的能够采集DHM图像的任何系统。可以使用各种技术来准备用于分析的样品。例如,在一些实施例中,对象可以在微流体通道中的衬底表面之上滑动或者滚动,并且在反射的传输(使用透明衬底,诸如玻璃或柔性带)中执行显微术。在其它实施例中,可以将对象粘附在衬底表面上(在空气中或者在水中),并且衬底移动(例如,载玻片或者带)。典型的细胞对象具有在1-30μm范围中的直径。细胞聚集(诸如循环肿瘤细胞群集)可以具有超出100μm的直径。在矩形流通道中具有优先地层流和多个堆叠流(样本以及例如底部/顶部鞘流)的典型流细胞具有10-1000μm的典型高度和10-10000μm的宽度。
在图像分割步骤410处处理所采集的图像以检测和分割其中存在对象的区域。检测可以例如在原始全息图或者重构版本上执行,所述重构版本使用在实验开始时拍摄的子光学参考图像来完成。检测可以使用基于学习的方法来完成,并且分割可以仅仅是对象周围的框。步骤410的仅有要求是不要欠分割以及覆盖完整对象。
继续参照图4,在步骤415处重构图像的整个背景。然后,在步骤420处,对象所在的区域被填充有来自背景的非扰乱条纹图案的背景。因为背景图案包括条纹图案,所以使用字典学习或者经压缩的感测方法来重构整个背景是相对简单的。字典学习方法将学习捕获背景可变性的像斑的字典,并且使用所学习的字典来重新投射完整图像以填充在具体区域中。在一些实施例中,使用稀疏编码算法来生成像斑字典并且在字典内查找补片。在一些实施例中,多分辨率像斑捕获背景条纹图案,并且将扰乱的图像图案重新投射到闭合的非扰乱背景版本。作为基于字典的技术的替换,可以使用图像修补方法而基于数据的结构和纹理两者来在缺失的背景区域中填充。例如,基于水平集的方法提供了修补图像的替换措施。
可以使用若干技术来将图4中图示的过程400扩展到对象图像的时间系列。在一些实施例中,对于时间系列的每个帧,执行检测和分割,如上文参照图4所述。假设对象区域没有在图像的相同区域中重合,则我们执行所执行的加权平均以便利用时间系列而使用所有帧的背景区域来创建单个参考帧。任何缺失的区域可以利用以上关于步骤415和420所概述的方法来填充。
在一些实施例中,可以通过流体条件的切换来选择地拍摄或者组合参考图像,其包括借助于鞘流而将细胞推出视场。替换地,人们可以通过例如利用微流体或点控制单元从一个患者血液样本切换到另一个来触发参考图像的记录,从而替代参考图像的连续记录。在一些实施例中,可以作为内部质量控制而应用参考信噪比的阈值,指示例如流通道的污染。
在一些实施例中,用户不需要针对每一个图像或者图像的每一个连续集合来更新参考图像。替代地,用户可以选择使用最近计算的参考图像来每N个DHM对象图像(例如,每100个图像)一次地重构参考图像以用于计算。如果成像速度非常快(每秒许多帧)并且条件没有快速地改变,则那可以尤其有用。
在其中预期参考图像在采集过程内缓慢地改变的条件下,可以使用许多不同的滤波算法来动态地估计当前参考图像,而不要求对象分割。在一些实施例中,针对跨帧的每一个像素或者像素区域来计算强度统计,并且选择对应于背景的稳定分布值。因为图像的某些区域中的对象外观再次比背景图案更不普遍,所以可以通过概率密度函数计算来计算鲁棒估计,并且可以利用所估计的概率密度函数的均值、中值或第一模式来替换较不可能的事件。
另一选项是通过使用各种各样的滤波函数中的任一个来更新连续演进的参考图像。作为一个示例,使用具有K个先前帧的历史的平均滤波器,在每一个新的帧到达时连续地更新参考图像。这可以引入更新参考图像的小增量成本,但是消除了参考图像的周期性采集。存在针对用于计算参考的滤波器的众多选择,包括K个帧之上的中值、移动平均滤波器、高斯滤波器等。
另一个方法是学习傅里叶空间中的稀疏表示。因为参考图像仅包含有限的信息,所以预期它在傅里叶空间中的表示是稀疏的。因此,在图4中图示的过程400将被修改成训练机器学习模型来将傅里叶空间中的对象图像映射到参考图像的对应傅里叶表示。一旦在已知训练数据的足够大样本之上训练,所学习的模型就可以几乎立即地用于从给定对象图像计算参考图像。
随着计算机架构方面的近期发展,存储器的成本已经变得几乎可忽略。对于以上指定的不同算法,人们可以在存储器中节省针对计算所要求的所有之前的帧以加快计算。另外,可能使用图形处理单元和/或计算协处理器,诸如,Intel的Xeon PhiTM或者NVIDIACUDATM,以极大地加速计算。
技术还可以适于牵涉到利用多个波长的光来捕获图像的应用。作为示例,在一些实施例中,计算多个参考图像,一个对应于所使用的每一个不同的波长。然后,不同的经重构的图像连同对象的折射率与光波长的相关的先前知识可以用于准确的重构。其它示例包括隐含地使用关于折射率对波长的相关的先前知识,以建立耦合方程组,或者作为优化问题来求解它。
作为本文描述的技术的适用性的示例,图5A和5B呈现了在DHM成像实验的现有集合上使用自动参考算法而获得的初始结果。对于此示例,使用3840x1000大小的图像的堆叠,并且使用中值滤波方法来计算参考图像。图5A示出了参考图像,而图5B示出了经重构的对象图像。如在这些图中示出的,重构没有伪像。
图6图示了本发明的实施例可以在其内实现的示例性计算环境600。例如,此计算环境600可以配置成执行在图4中图示的过程400的部件中的一个或多个。计算环境600可以包括计算机系统610,所述计算机系统610是在其上可以实现本发明的实施例的计算系统的一个示例。计算机和计算环境(诸如计算机系统610和计算环境600)是本领域技术人员所已知的,并且因而这里被简要地描述。
如图6中所示,计算机系统610可以包括通信机构,诸如总线621或者其它通信机构,以用于在计算机系统610内传送信息。计算机系统610还包括与总线621耦合以用于处理信息的一个或多个处理器620。处理器620可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、或者本领域中已知的任何其它处理器。
计算机系统610还包括耦合到总线621以用于存储要由处理器620执行的指令和信息的系统存储器630。系统存储器630可以包括以易失性和/或非易失性存储器的形式的计算机可读存储介质,诸如只读存储器(ROM)631和/或随机存取存储器(RAM)632。系统存储器RAM 632可以包括(多个)其它动态存储设备(例如,动态RAM、静态RAM和同步DRAM)。系统存储器ROM 631可以包括(多个)其它静态存储设备(例如,可编程ROM、可擦除PROM和电可擦除PROM)。另外,系统存储器630可以用于在由处理器620执行指令期间存储临时变量或其它中间信息。包含基本例程的基本输入/输出系统(BIOS)633可以存储在ROM 631中,所述基本例程帮助在计算机系统610内的元件之间传输信息,诸如在启动期间。RAM 632可以包含处理器620立即可访问和/或当前在处理器620上操作的数据和/或程序模块。系统存储器630可以附加地包括例如操作系统634、应用程序635、其它程序模块636和程序数据637。
计算机系统610还包括耦合到总线621以控制用于存储信息和指令的一个或多个存储设备的磁盘控制器640,诸如硬盘641和可移动介质驱动器642(例如,软盘驱动器、压缩盘驱动器、磁带驱动器和/或固态驱动器)。可以使用适当的设备接口(例如,小型计算机系统接口(SCSI)、集成设备电子器件(IDE)、通用串行总线(USB)或火线)将存储设备添加到计算机系统610。
计算机系统610还可以包括耦合到总线621以控制显示器666的显示控制器665,诸如阴极射线管(CRT)或液晶显示器(LCD),以用于向计算机用户显示信息。计算机系统包括输入接口660和一个或多个输入设备,诸如键盘662和定点设备661,以用于与计算机用户交互并且向处理器620提供信息。定点设备661例如可以是鼠标、轨迹球或者指示棍,以用于向处理器620传送指示信息和命令选择以及用于控制显示器666上的光标移动。显示器666可以提供触摸屏接口,所述触摸屏接口允许输入来补充或者替换通过定点设备661的指示信息和命令选择的传送。
计算机系统610可以响应于处理器620执行包含在存储器(诸如系统存储器630)中的一个或多个指令的一个或多个序列而实施本发明的实施例的处理步骤的一部分或全部。可以从另一个计算机可读介质(诸如硬盘641或者可移动介质驱动器642)向系统存储器630中读取此类指令。硬盘641可以包含由本发明的实施例使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可以被加密以改进安全性。处理器620还可以在多处理布置中采用以执行包含在系统存储器630中的指令的一个或多个序列。在替换实施例中,可以替代软件指令或者与软件指令相结合地使用硬布线电路。因而,实施例不限于硬件电路和软件的任何具体结合。
如上所述,计算机系统610可以包括用于保持根据本发明的实施例所编程的指令以及用于包含本文描述的数据结构、表格、记录或其它数据的至少一个计算机可读介质或存储器。如本文中使用的术语“计算机可读介质”指的是参与向处理器620提供指令以用于执行的任何介质。计算机可读介质可以采用许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘,诸如硬盘641或可移动介质驱动器642。易失性介质的非限制性示例包括动态存储器,诸如系统存储器630。传输介质的非限制性示例包括同轴线缆、铜线和光纤,包括构成总线621的导线。传输介质还可以采用声学或光波的形式,诸如在无线电波和红外数据通信期间生成的那些。
计算环境600可以进一步包括使用到一个或多个远程计算机(诸如远程计算机680)的逻辑连接而操作在联网环境中的计算机系统610。远程计算机680可以是个人计算机(膝上型电脑或台式电脑)、移动设备、服务器、路由器、网络PC、对等设备或其它常见网络节点,并且通常包括以上关于计算机系统610所描述的元件中的许多或全部。当在联网环境中使用时,计算机系统610可以包括用于通过网络671(诸如,互联网)建立通信的调制解调器672。调制解调器672可以经由用户网络接口670或者经由另一适当的机制连接到总线621。
网络671可以是本领域中通常已知的任何网络或系统,包括互联网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或系列连接、蜂窝电话网络、或者能够促进计算机系统610与其它计算机(例如,远程计算机680)之间的通信的任何其它网络或介质。网络671可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线(USB)、RJ-11或者本领域中通常已知的任何其它有线连接来实现。无线连接可以使用Wi-Fi、WiMAX以及蓝牙、红外、蜂窝网络、卫星或者本领域中通常已知的任何其它无线连接方法来实现。附加地,若干网络可以单独地或者彼此通信地工作以促进网络671中的通信。
作为示例性计算环境600向本文描述的技术的一个应用,考虑用于分析DHM数据的示例系统,其包括网络部件、图像处理处理器和GUI。联网部件可以包括网络接口670或者提供类似功能性的硬件和软件的一些组合。联网部件配置成与DHM系统通信以检索DHM图像。因而,在一些实施例中,联网部件可以包括用于与DHM系统通信的专门接口。图像处理处理器包括在计算系统(例如,计算机系统610)中,并且配置有指令,所述指令实现从经由联网部件所接收的单个对象图像或者图像的时间系列来提取参考图像,从对象图像提取其中条纹图案被扰乱的区域,并且利用从图像的其它部分存在的图案来替换那些区域。图像处理处理器可以包括附加功能性,如本公开中所述的,以支持此任务(例如,分割、填充区域等)。GUI然后可以呈现在显示器(例如,显示器666)上以用于由用户审阅。
本公开的实施例可以利用硬件和软件的任何组合来实现。此外,本公开的实施例可以包括在具有例如计算机可读的非暂时性介质的制品(例如,一个或多个计算机程序产品)中。介质具有包含在其中的例如计算机可读程序代码以用于提供和促进本公开的实施例的机制。制品可以作为计算机系统的一部分被包括或者被单独地销售。
虽然已经在本文中公开了各种方面和实施例,但是其它方面和实施例将是本领域技术人员显而易见的。本文公开的各种方面和实施例是用于说明的目的并且不意图是限制性的,其中真正范围和精神由以下权利要求指示。
如本文中使用的可执行应用包括用于例如响应于用户命令或者输入而调节处理器以实现预定的功能的代码或者机器可读指令,诸如操作系统、上下文数据采集系统或者其它信息处理系统的那些。可执行程序是代码段或者机器可读指令、子例程、或者用于执行一个或多个特定过程的可执行应用的部分或代码的其它不同区段。这些过程可以包括接收输入数据和/或参数、在所接收的输入数据上执行操作和/或响应于所接收的输入参数而执行功能、以及提供所得到的输出数据和/或参数。
如本文中使用的图形用户接口(GUI)包括一个或多个显示图像,其由显示处理器生成并且实现与处理器或者其它设备的用户交互以及相关联的数据采集和处理功能。GUI还包括可执行程序或者可执行应用。可执行程序或者可执行应用调节显示处理器以生成表示GUI显示图像的信号。将这些信号供应到显示设备,所述显示设备显示图像以用于由用户观看。处理器在可执行程序或者可执行应用的控制之下响应于从输入设备接收的信号而操纵GUI显示图像。这样,用户可以使用输入设备与显示图像交互,实现与处理器或其它设备的用户交互。
本文中的功能和过程步骤可以自动地或者完全地或部分地响应于用户命令来执行。响应于一个或多个可执行指令或设备操作来执行自动执行的活动(包括步骤),而没有活动的用户直接发起。
各图的系统和过程不是排他性的。可以依照本发明的原理来导出其它系统、过程和菜单以实现相同目标。尽管已经关于特定实施例描述了本发明,但是要理解到,本文示出和描述的实施例和变体仅用于说明的目的。本领域技术人员可以实现对当前设计的修改,而没有脱离本发明的范围。如本文中所述,可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。在本文中没有权利要求元素要根据35 U.S.C.112、第六段的规定来被解释,除非使用短语“用于……的装置”明确地记载了该元素。

Claims (25)

1.一种用于分析针对血液学应用的数字全息显微术(DHM)数据的计算机实现的方法,所述方法包括:
接收使用数字全息显微术系统所采集的DHM图像,所述DHM图像包括一个或多个细胞对象和背景的描绘;
使用DHM图像生成参考图像;以及
使用参考图像来将DHM图像中的条纹图案重构到光学深度图中。
2.权利要求1所述的方法,其中通过以下来生成参考图像:
检测DHM图像中存在细胞对象的一个或多个区域;
从DHM图像分割所述一个或多个区域;以及
利用来自背景的非扰乱条纹图案在DHM图像的所述一个或多个区域中进行填充以产生参考图像。
3.权利要求2所述的方法,其中所述一个或多个区域使用基于学习的方法自动地检测。
4.权利要求2所述的方法,其中所述一个或多个区域每个包括完全围绕每一个细胞对象的框。
5.权利要求2所述的方法,其中使用字典学习方法来在DHM图像的所述一个或多个区域中填充。
6.权利要求5所述的方法,其中字典学习方法包括:
学习捕获背景中的可变性的像斑的字典;以及
使用像斑的字典来重新投射DHM图像以在所述一个或多个区域中填充。
7.权利要求6所述的方法,其中使用稀疏编码来生成像斑的字典。
8.权利要求2所述的方法,其中使用经压缩的感测方法来在DHM图像的所述一个或多个区域中填充。
9.权利要求2所述的方法,其中基于包括在DHM图像中的结构和纹理信息而使用图像修补方法来在DHM图像的所述一个或多个区域中填充。
10.一种用于分析针对血液学应用的数字全息显微术(DHM)数据的计算机实现的方法,所述方法包括:
接收使用数字全息显微术系统所采集的多个DHM图像,每一个DHM图像包括一个或多个细胞对象和背景的描绘;
基于所述多个DHM图像来生成参考图像,所述参考图像仅包括来自所述多个DHM图像的背景的贡献;
使用参考图像来将DHM图像中的条纹图案重构到光学深度图中。
11.权利要求10所述的方法,其中通过以下来生成参考图像:
应用一个或多个滤波算法来动态地估计参考图像。
12.权利要求11所述的方法,其中连续地接收所述多个DHM图像,并且通过以下向每一个DHM图像应用所述一个或多个滤波算法:
通过向DHM图像和预定数目的之前所接收的DHM图像应用滤波器来更新之前生成的参考图像以产生新的参考图像。
13.权利要求12所述的方法,其中滤波器包括移动平均滤波器。
14.权利要求12所述的方法,其中滤波器包括高斯滤波器。
15.权利要求12所述的方法,其中滤波器包括中值滤波器。
16.权利要求12所述的方法,其中所述预定数目的之前所接收的DHM图像由用户来选择。
17.权利要求11所述的方法,其中应用所述一个或多个滤波算法包括:
针对跨所述多个DHM图像的每一个像素区域来计算强度统计;
从强度统计来选择对应于背景的稳定分布值。
18.权利要求10所述的方法,还包括:
接收无对象的原始参考图像,
其中通过修改无对象的原始参考图像以反映发生在所述多个DHM图像中的成像条件的改变来生成参考图像。
19.权利要求10所述的方法,其中通过利用微流体或点控制单元从一个患者血液样本切换到另一个来触发参考图像的生成。
20.权利要求10所述的方法,其中以用户指定的时间间隔来生成参考图像,并且使用最近计算的参考图像来执行DHM图像中的条纹图案到光学深度图中的重构。
21.权利要求10所述的方法,还包括:
使用所述多个DHM图像和条纹图案来生成一个或多个无条纹的经重构的相位图像的实时可视化。
22.权利要求10所述的方法,还包括:
使用所述多个DHM图像和条纹图案来生成细胞表面的3D可视化。
23.一种用于分析针对血液学应用的数字全息显微术(DHM)数据的系统,所述系统包括:
配置成采集多个DHM图像的DHM系统,每一个DHM图像包括一个或多个细胞对象和背景的描绘;
一个或多个处理器;
与处理器可操作通信的非暂时性计算机可读存储介质,其中计算机可读存储介质包括一个或多个编程指令,所述一个或多个编程指令在执行时引起处理器:
生成仅包括来自所述多个DHM图像的背景的贡献的参考图像;以及
使用参考图像来将DHM图像中的条纹图案重构到光学深度图中。
24.权利要求23所述的系统,其中所述一个或多个处理器包括多个图形处理单元。
25.权利要求23所述的系统,其中所述一个或多个处理器还包括多个中央处理单元。
CN201680055140.6A 2015-09-22 2016-09-22 数字全息显微术重构中的自动参考 Active CN108139711B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562221764P 2015-09-22 2015-09-22
US62/221764 2015-09-22
PCT/EP2016/072491 WO2017050861A1 (en) 2015-09-22 2016-09-22 Auto-referencing in digital holographic microscopy reconstruction

Publications (2)

Publication Number Publication Date
CN108139711A true CN108139711A (zh) 2018-06-08
CN108139711B CN108139711B (zh) 2023-12-12

Family

ID=57103978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055140.6A Active CN108139711B (zh) 2015-09-22 2016-09-22 数字全息显微术重构中的自动参考

Country Status (4)

Country Link
US (1) US10957042B2 (zh)
EP (1) EP3353606B1 (zh)
CN (1) CN108139711B (zh)
WO (1) WO2017050861A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109580625A (zh) * 2018-12-17 2019-04-05 李伟 一体化血液检验平台及其使用方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614287B2 (en) 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
JP6503382B2 (ja) 2014-06-16 2019-04-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析
CN111051955B (zh) 2017-08-15 2022-04-15 西门子医疗有限公司 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质
US10431301B2 (en) * 2017-12-22 2019-10-01 Micron Technology, Inc. Auto-referenced memory cell read techniques
CN114981898A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于传递数字生物标志物和基因组组套的系统和方法
CN113485081B (zh) * 2021-07-09 2022-09-16 北京航空航天大学 一种非级联光学扫描全息的多图像并行加密方法
CN113724150A (zh) * 2021-07-27 2021-11-30 清华大学 无需高信噪比真值图像的结构光显微重建方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2230855A2 (en) * 2009-03-17 2010-09-22 Mitsubishi Electric Corporation Synthesizing virtual images from texture and depth images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760901A (en) * 1997-01-28 1998-06-02 Zetetic Institute Method and apparatus for confocal interference microscopy with background amplitude reduction and compensation
EP2224291B1 (en) * 2007-11-22 2016-06-29 National University Corporation Kyoto Institute of Technology Digital holography device and phase shifting array
US20120116703A1 (en) * 2009-04-24 2012-05-10 Nicolas Pavillon Method and apparatus for enhanced spatial bandwidth wavefronts reconstructed from digital interferograms or holograms
US9213899B2 (en) * 2014-03-24 2015-12-15 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2230855A2 (en) * 2009-03-17 2010-09-22 Mitsubishi Electric Corporation Synthesizing virtual images from texture and depth images

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AMARDEEP S.G. SINGH ET AL: "Lateral shearing digital holographic imaging of small biological specimens", 《OPTICS EXPRESS》 *
FABIO SCOTTI: "Robust Segmentation and Measurements Techniques of White Cells in Blood Microscope Images", 《IMTC 2006 - INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE》 *
K.F. TAMRIN ET AL: "An experimental investigation of three-dimensional particle aggregation using digital holographic microscopy", 《OPTICS AND LASERS IN ENGINEERING》 *
LASZLO ORZO ET AL: "Advanced background elimination in digital holographic microscopy", 《CELLULAR NANOSCALE NETWORKS AND THEIR APPLICATIONS》 *
MARIM M ET AL: "Compressed sensing applications for biological microscopy", 《2010 IEEE WORKSHOP ON SIGNAL PROCESSING SYSTEM》 *
THILAGAVATHI M ET AL: "An efficient dictionary learning algorithm for 3d Medical Image Denoising based on Sadct", 《INFORMATION COMMUNICATION AND EMBEDDED SYSTEMS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109580625A (zh) * 2018-12-17 2019-04-05 李伟 一体化血液检验平台及其使用方法

Also Published As

Publication number Publication date
EP3353606A1 (en) 2018-08-01
CN108139711B (zh) 2023-12-12
EP3353606B1 (en) 2024-03-13
US20180232882A1 (en) 2018-08-16
US10957042B2 (en) 2021-03-23
WO2017050861A1 (en) 2017-03-30
EP3353606C0 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
CN108139711A (zh) 数字全息显微术重构中的自动参考
CN108426994A (zh) 分析数字全息显微术数据以用于血液学应用
CN107680088A (zh) 用于分析医学影像的方法和装置
CN107729948A (zh) 图像处理方法及装置、计算机产品和存储介质
Kooij et al. Depth-aware motion magnification
Lu et al. Deep texture and structure aware filtering network for image smoothing
CN106062824B (zh) 边缘检测装置和边缘检测方法
CN115735227A (zh) 反转用于姿态估计的神经辐射场
CN108171694B (zh) 基于卷积神经网络的结节检测方法、系统及设备
DE102017006563A1 (de) Bildpatchabgleich unter Nutzung eines wahrscheinlichkeitsbasierten Abtastens auf Grundlage einer Vorhersage
JP7346726B2 (ja) 深層学習による位相画像の再構築
CN108389172A (zh) 用于生成信息的方法和装置
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
Vergne et al. Implicit Brushes for Stylized Line‐based Rendering
AU2019451945A1 (en) Dynamic image resolution assessment
US11335050B2 (en) Generating digital image editing guides by determining and filtering raster image content boundaries
US20230297843A1 (en) Deep learning method for defect characterization
Govind et al. Deep learning of crystalline defects from TEM images: a solution for the problem of ‘never enough training data’
JP7401537B2 (ja) システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体
Mönch et al. Visually Guided Mesh Smoothing for Medical Applications.
Shao et al. Structural similarity-optimal total variation algorithm for image denoising
Birjukovs et al. An image processing pipeline for in situ dynamic x-ray imaging of directional solidification of metal alloys in thin cells
CN108876898B (zh) 实现原油饱和度预测的方法和装置、机器设备
Nagalakshmi et al. Revolutionizing Magnetic Resonance Imaging Image Reconstruction: A Unified Approach Integrating Deep Residual Networks and Generative Adversarial Networks.
CN108109107A (zh) 视频数据处理方法及装置、计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant