CN111095360A - 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 - Google Patents

使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 Download PDF

Info

Publication number
CN111095360A
CN111095360A CN201880060868.7A CN201880060868A CN111095360A CN 111095360 A CN111095360 A CN 111095360A CN 201880060868 A CN201880060868 A CN 201880060868A CN 111095360 A CN111095360 A CN 111095360A
Authority
CN
China
Prior art keywords
dhm
image
stained
cells
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060868.7A
Other languages
English (en)
Other versions
CN111095360B (zh
Inventor
N.Y.埃尔-泽希里
S.拉帕卡
A.卡门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN111095360A publication Critical patent/CN111095360A/zh
Application granted granted Critical
Publication of CN111095360B publication Critical patent/CN111095360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5094—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for blood cell populations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/487—Physical analysis of biological material of liquid biological material
    • G01N33/49—Blood
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0445—Off-axis recording arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Cell Biology (AREA)
  • Dispersion Chemistry (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Biotechnology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Microbiology (AREA)
  • Evolutionary Biology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Food Science & Technology (AREA)
  • Ecology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

一种细胞可视化系统包括数字全息显微术（DHM）设备、训练设备和虚拟染色设备。DHM设备产生细胞的DHM图像，并且虚拟染色设备基于由训练设备使用生成对抗网络和不成对的训练数据来生成的算法对DHM图像着色。一种用于产生虚拟染色的DHM图像的计算机实现的方法，包括获取使用生成对抗网络训练的图像转换算法，接收具有一个或多个细胞的描绘的DHM图像，以及通过使用图像转换算法处理DHM图像来对DHM图像进行虚拟染色。虚拟染色的DHM图像包括一个或多个细胞的数字着色，以模仿相应的实际染色细胞的外观。

Description

使用通用对抗网络对数字全息显微术图像中的细胞的虚拟 染色
相关申请的交叉引用
本申请要求2017年9月19日提交的美国临时申请系列号62/560,272的权益，该临时申请通过引用整体地被合并于此。
技术领域
本发明一般地涉及细胞的虚拟染色，并且更特别地涉及使用具有循环一致性（cycle consistency）的通用对抗网络对数字全息显微术（microscopy）图像中的细胞的虚拟染色。
背景技术
数字全息显微术（DHM），也称为干涉相位显微术，是提供定量跟踪透明样品中的亚纳米光学厚度变化的能力的成像技术。与其中只捕获关于样品的强度（振幅）信息的传统的数字显微术不同，DHM捕获相位和强度两者。作为全息图捕获的相位信息可被用于使用计算机算法重建关于样品的扩展形态信息（诸如深度和表面特性）。现代DHM实现提供若干附加益处，诸如快速扫描/数据获取速度、低噪声、高分辨率以及无标签样本获取的潜力。
离轴（off-axis）DHM系统产生全息图，其中由于物体和参考光束之间的小角度，在整个视场上存在调制正弦条纹图案。换句话说，撞击（impinge）传感器表面的平面波在传感器的位置处相消和相长地（destructively and constructively）干涉，并且因此形成正弦图案。此外，如图1中所描绘的，使用在光学傅立叶平面（或傅立叶平面的共轭平面）的位置处的针孔从物体光束10产生参考光束20，以擦除物体空间特征并提供均匀的平面波以用于产生可被存储并显示给用户的干涉或全息图图像。
DHM在血液学中被用于对血液样本中的不同细胞成像。当光束穿过要成像的细胞时，它根据细胞特性被折射。这些折射变化可以通过DHM捕获，作为细胞核内光学厚度中的变化。在白细胞（WBC），即嗜碱性粒细胞、嗜酸性粒细胞、淋巴细胞、单核细胞和嗜中性粒细胞中，细胞核和细胞膜具有不同的性质，并且细胞成分的结构根据细胞类型而不同。因此，DHM图像的外观根据细胞类型而改变。
DHM图像因此可以被用于区分血液样本内的不同类型的WBC。WBC的细胞类型区分和计数是全血计数（CBC）的重要方面，因为除其他原因外，不同细胞类型的某些比例中的不平衡可能指示不同的自身免疫性疾病并产生不同的患者诊断。因此，临床医生可以在患者诊断中使用捕获的血液样本的DHM图像。
常规地，可以通过将血液样本提供给执行自动化计数和分析的自动化机器（诸如激光流式细胞仪）来获得不同的WBC类型的计数。为了确认或补充自动化结果，或在没有自动化机器的情况下，还在显微镜下人工检查血细胞，并由临床医生对不同类型的WBC进行计数和检查（review）。为了能够在视觉上区分不同的WBC类型，在检查之前，诸如通过外周血液涂片用染料对血液样本染色。可以通过在载玻片的一端上放置血滴并且使用散布器（spreader）在载玻片的长度上将血液样本分散成单层来制作血膜。每种不同类型的WBC的细胞核不同地吸收染色，例如，如图2中所示，允许临床医生对血液涂片样本中的不同WBC进行计数和检查。
人工血液染色过程是费时和费力的。每个样本必须经过血液涂片过程，并且临床医生必须在显微镜下查看样本以及寻找并对不同的细胞类型计数。该过程是低效率的。DHM图像已成为常规显微术的替代，并且可被用于检查血液样本并对样本中的不同类型的WBC进行计数。然而，诸如在图3的示例DHM图像中示出的那些的DHM图像可能不包括足够的细节或分辨率以便允许由临床医生容易地识别和分类每种细胞类型。
本公开涉及诸如通过提供一种细胞可视化系统来克服现有技术的这些和其他问题，该系统从DHM图像虚拟地生成染色图像，替换或补充对执行人工染色过程的需要。而且，本公开涉及克服DHM成像的问题，该问题使得难以训练自动化系统来确定如何识别和呈现每个虚拟染色的细胞。特别地，因为获得相同细胞的染色图像和相应的DHM图像由于每个过程的性质而是不可行的，所以虚拟染色不能简单地是实际染色的再现。本公开附加地涉及克服与训练细胞可视化系统相关联的这个问题。
发明内容
在一个方面中，本公开的实施例涉及一种用于产生虚拟染色的数字全息显微术（DHM）图像的计算机实现的方法。该方法包括获取使用生成对抗网络训练的图像转换算法，以及接收使用DHM设备获取的DHM图像，该DHM图像包括一个或多个细胞的描绘。该方法进一步包括通过使用图像转换算法处理DHM图像来对DHM图像进行虚拟染色。虚拟染色的DHM图像包括一个或多个细胞的数字着色，以模仿（imitate）相应的实际染色细胞的外观。
在另一方面中，本公开的实施例涉及用于产生虚拟染色的数字全息显微术（DHM）图像的另一种计算机实现的方法。该方法包括接收包括个体（individual）白细胞的DHM图像的第一训练数据集和包括实际染色的白细胞的图像的第二训练数据集，其中第一训练数据集中的图像与第二训练数据集中的图像是不成对的。该方法还包括将使用生成对抗网络的学习过程应用于第一训练数据集和第二训练数据集以生成图像转换算法。该方法进一步包括接收DHM图像，将图像转换算法应用于DHM图像以产生虚拟染色的DHM图像，以及通过图形用户接口显示虚拟染色的DHM图像。
在又一个方面中，本公开的实施例涉及一种被配置成产生虚拟染色的数字全息显微术（DHM）图像的细胞可视化系统。该细胞可视化系统包括虚拟染色设备，该虚拟染色设备被配置成接收一个或多个细胞的DHM图像，并将图像转换算法应用于DHM图像以产生虚拟染色的DHM图像，其中图像转换算法是使用不成对的数据集来生成的。
从参考附图进行的对说明性实施例的以下详细描述中将使得本发明的附加的特征和优点是明显的。
附图说明
在结合附图阅读时，从以下详细描述最好地理解本发明的前述和其他方面。出于图示本发明的目的，在附图中示出了目前优选的实施例，然而，要理解，本发明不限于所公开的具体手段。在附图中包括的是以下附图：
图1是离轴数字全息显微术系统的示例示意图，其中参考光束由物体光束产生；
图2示出了染色的白细胞的示例图像；
图3示出了白细胞的示例DHM图像；
图4A-4B示出了与公开的实施例一致的示例性细胞可视化系统；
图5A-5F示出了实际染色的白细胞和虚拟染色的白细胞的图像的比较；以及
图6图示了可以在其中实现本发明的实施例的示例性计算环境。
具体实施方式
本公开描述了与使用DHM图像的虚拟染色的细胞可视化相关的装置、系统和相关联的方法的实施例。在一些实施例中，细胞可视化系统被配置成接收血液样本并产生样本内细胞（包括白细胞）的DHM图像。细胞可视化系统可以被配置成识别每个白细胞的类型并修改相关联的DHM图像，使得每个白细胞被着色以使用人工染色和显微术来模仿细胞可能看起来的样子。
与公开的实施例一致，细胞可视化系统可以被训练以使用深度学习算法来对白细胞分类，该深度学习算法利用不成对的数据样本。例如，具有循环一致性的生成对抗网络可被用于训练细胞可视化系统，以学习如何识别DHM图像中的不同类型的白细胞，以及如何对图像进行着色，以便使白细胞看起来就像它们已经在类似的（comparable）人工过程中被染色一样。
图4A是根据公开的实施例的细胞可视化系统100的图。细胞可视化系统100包括DHM设备110、训练设备120和虚拟染色设备130。细胞可视化系统100被配置成产生DHM图像，该图像被虚拟地染色以模仿已经被人工染色并在常规显微镜下查看的细胞的外观（例如，图2中的图像）。图2进一步描绘了通过细胞可视化系统100以便产生虚拟染色的DHM图像的示例性的数据的流。
DHM设备110、训练设备120和虚拟染色设备130中的每个可以是分离的，或者可以被选择性地集成到组合设备中。DHM设备110包括本领域中已知的DHM组件，并且被配置成基于接收到的血液样本产生DHM图像。训练设备120被配置成接收DHM图像和训练数据，并执行训练过程，该训练过程导致训练图像转换过程。虚拟染色设备130被配置成接收并执行训练图像转换过程，以便将从DHM设备110接收到的DHM图像转换为虚拟染色的图像。虚拟染色设备130可以被进一步配置成向用户（例如，临床医生）显示虚拟染色的图像以供检查。
图4B是通过细胞可视化系统100的示例性处理流程的示意图。DHM设备110被配置成产生细胞的DHM图像，诸如图3中所示的那些。例如，DHM设备110可以在样本正在流动时使用离轴DHM接收血液样本并捕获周期性数据。捕获的数据可以被转换成包含许多细胞的DHM图像，所述细胞包括红细胞和白细胞。包括许多细胞的这些捕获图像通常可以被称为原始DHM图像。在一些实施例中，DHM设备110被配置成预处理原始DHM图像，以便将原始数据分离成一个或多个细胞的分离图像。例如，DHM设备110可以在原始DHM图像中寻找亮点，并且执行分析以识别亮点中的哪些在尺寸或其他分类器阈值之上，以便识别点中的哪些是细胞。可以将分类的细胞中的每个转换为分离的DHM图像，从而产生分离的细胞图像，诸如图3中所示的那些。
训练设备120被配置成通过一个或多个I/O设备接收图像数据，所述I/O设备包括连接到DHM设备的I/O设备。训练设备120还被配置成通过（一个或多个）I/O设备接收以其他图像的形式的训练数据，所述其他图像不是DHM图像（即，染色样本的图像）。训练数据可以由不同的成像设备提供，所述成像设备诸如被配置成捕获实际染色的细胞的图像的设备，所述实际染色的细胞的图像诸如图2中所示的那些。训练数据还可以包括与在训练中使用的图像相关联的识别信息。例如，每个图像可以包括识别图像中的一个或多个细胞的类型（例如，嗜碱性粒细胞、嗜酸性粒细胞、淋巴细胞、单核细胞或嗜中性粒细胞）的信息。
虚拟染色设备130被配置成与训练设备120通信并从训练设备120接收训练过程。在示例性实施例中，训练过程是由训练设备120通过生成对抗网络生成的算法，该算法将DHM图像转换成虚拟染色的DHM图像。该转换在本文中有时被称为将DHM图像“虚拟染色”，并且在至少一些实施例中，包括对一个或多个细胞的数字着色以模仿相应的人工染色细胞的外观。虚拟染色设备130被配置成执行相关联的过程并产生虚拟染色的DHM图像以便向临床医生显示以供检查。虚拟染色设备130可以被进一步配置成产生和存储与虚拟染色的DHM图像相关联的数据，以用于分析和/或在进一步的过程中使用，所述过程诸如图像过滤、细胞计数、细胞分析等。
训练设备120被配置成使用生成对抗网络，以便训练虚拟染色设备130以将DHM图像转换成虚拟染色的DHM图像。在示例性实施例中，训练设备120使用生成对抗网络作为训练算法。生成对抗网络通常表示属于（fall under）无监督学习的类别的一类人工智能算法。在其最简单的形式中，生成对抗网络是两个神经网络的组合：一个网络正在学习如何从训练数据集（例如，物理染色样本的图像）中生成示例（例如，虚拟染色的图像），并且另一个网络试图区分生成的示例和训练数据集。如果生成网络产生与实际数据会聚（converge）使得鉴别网络无法始终如一地区分两者的示例，则训练过程是成功的。
在生成对抗网络中，训练示例由两个数据集X和Y组成。数据集是不成对的，这意味着在X和Y中没有训练图像的一对一的对应关系。生成器网络学习如何针对X数据集中的任何图像x生成图像y'。更特别地，生成器网络学习映射
Figure 803189DEST_PATH_IMAGE001
，该映射产生图像y'（y'=G（x））。生成器网络训练映射
Figure 720329DEST_PATH_IMAGE001
，使得y'是不可通过鉴别器网络与y区分的，所述鉴别器网络被训练以区分y'与y。换句话说，生成器网络继续产生示例，直到鉴别器网络无法可靠地将示例分类为由生成器网络产生（y'）或作为实际示例提供（y）。
存在可以导致成功的映射
Figure 437749DEST_PATH_IMAGE001
的许多不同的图像的特性。因此，映射在欺骗鉴别器网络时将是成功的，而不产生满足目标的图像y'，这是可能的。例如，生成网络可以产生示例y'，其与y中的图像是相似的，但是在对查看者来说是重要的方面或特性中是不相似的。
为了解决该问题，训练设备120被进一步配置成使用附加的约束，该附加的约束有助于确保训练过程期间的循环一致性。循环一致性是指约束，其中由映射
Figure 832958DEST_PATH_IMAGE001
产生的示例y'应该能够通过逆映射
Figure 585014DEST_PATH_IMAGE002
映射回到x。换句话说，如果使用G将示例x映射到y'，则映射F应该能够将y'转换为与原始x相同的图像x'。更特别地，训练设备120学习逆映射
Figure 407476DEST_PATH_IMAGE002
，使得它产生图像x'（x'=F（y），其是不可通过鉴别器网络与x区分的，所述鉴别器网络被配置成区分x'与x。
为了训练每个映射F、G以产生不可由鉴别器网络区分的图像，训练设备120根据以下等式对每个映射应用对抗损失。
Figure 110728DEST_PATH_IMAGE003
Figure 247311DEST_PATH_IMAGE004
在这些等式中，G是产生与域Y中的图像相似的图像G（x）的映射。Dy是鉴别器，其旨在区分生成的示例G（x）和域Y中的实际示例y。F是逆映射，其产生与域X中的图像相似的图像F（y）。Dx是鉴别器，其旨在区分生成的示例F（y）和域X中的实际示例x。
除了这些对抗损失之外，训练设备120还被配置成对每个映射G、F使用循环一致性损失。循环一致性损失旨在将可接受的成功映射保持在其中所生成的图像是循环一致的领域中，因为它们可以被输入到逆映射中以再现原始图像。循环一致性损失可以使用以下等式来表示。
Figure 916190DEST_PATH_IMAGE005
将对抗损失和循环一致性损失组合在一起，整个目标可以被表示为以下等式，其中λ控制循环一致性损失的相对贡献。
Figure 909554DEST_PATH_IMAGE006
整个损失可被用于求解以下等式，这导致算法G*和F*将图像从一个数据集转换到另一个数据集。
Figure 601566DEST_PATH_IMAGE007
与公开的实施例一致，训练设备120被配置成利用具有循环一致性的生成对抗网络来产生将DHM图像转换成虚拟染色的DHM图像的算法。X数据集包括白细胞的DHM图像，并且Y数据集包括染色的白细胞的图像。映射
Figure DEST_PATH_IMAGE009
表示将图像从X域转换成Y域中的图像，并且映射
Figure DEST_PATH_IMAGE011
表示将图像从Y域转换成X域中的图像。
在细胞可视化系统100中，DHM设备110被配置成产生DHM图像并将图像提供给训练设备120。在一些实施例中，DHM图像可以包括一个或多个白细胞的裁剪图像。DHM图像形成训练数据的X域图像。图3中所示的图像是这些DHM图像的示例。训练设备120还接收包括染色白细胞的图像。这些染色白细胞图像形成训练数据的Y域图像。图2中所示的图像是这些染色细胞图像的示例。图像的两个集合都优选地被裁剪并尺寸设计（size）为选择的图像尺寸。
训练设备120使用这些X和Y域图像作为具有本文中所描述的循环一致性过程的生成对抗网络的输入。因此，训练设备产生算法F*和G*，其中F*将DHM图像转换为虚拟染色的DHM图像，并且G*将染色细胞图像转换为虚拟DHM图像（没有如它们将在DHM图像中出现的那样被染色的细胞的图像）。F*算法被传输或以其他方式提供给虚拟染色设备130。虚拟染色设备130被配置成使用F*算法执行虚拟染色过程，以将DHM图像转换成虚拟染色的DHM图像。
虚拟染色的DHM图像可以包括个体细胞的图像或多个细胞的图像（诸如在人工染色过程期间在显微镜下将被查看到的）。为了产生多个细胞的虚拟染色图像，DHM设备110和/或虚拟染色设备130可以被配置成将较大细胞的DHM图像分割成个体细胞，并且在对个体细胞进行虚拟染色之后重新组合分割的图像。
图5A、5B和5C图示了染色细胞图像的示例，并且图5D、5E和5F图示了各自相应的虚拟染色的DHM图像的示例。图5A图示了人工染色的淋巴细胞的示例，并且图5D图示了虚拟染色的淋巴细胞的示例。图5B图示了人工染色的嗜酸性粒细胞的示例，并且图5E图示了虚拟染色的嗜酸性粒细胞的示例。图5C图示了人工染色的嗜中性粒细胞的示例，并且图5F图示了虚拟染色的嗜中性粒细胞的示例。每个染色部分周围的边界线已被添加到图像，以强调相似性。应当理解，图5A-5C中的染色细胞不对应于图5D-5F中的相同细胞。图5A-5F图示了视觉比较，其示出了虚拟染色的DHM图像与人工染色的细胞之间的相似性。
在使用中，细胞可视化系统100被配置成将血液样本转换为虚拟染色的DHM图像，以供临床医生检查。以该方式，DHM图像可以被临床医生以与以其来检查人工染色细胞的方式类似的方式来检查。然而，虚拟染色过程是时间和劳动密集（time and laborintensive）少得多的，并且提供了更高效的方法，在该方法中可以获得染色细胞以供临床医生检查。
在一些实施例中，细胞可视化系统100（例如，虚拟染色设备130）可以包括细胞分类单元，该细胞分类单元被配置成检查虚拟染色的DHM图像并对细胞类型（例如，嗜碱性粒细胞、嗜酸性粒细胞、淋巴细胞、单核细胞或嗜中性粒细胞）进行分类。细胞分类单元可以被训练以基于虚拟染色的DHM图像中的虚拟染色的呈现来确定细胞类型。细胞类型可以与虚拟染色的DHM图像一起被存储为数据。细胞可视化系统100可以使用识别数据来产生有用的信息，诸如细胞类型计数和比例。此外，细胞可视化系统100可以使用识别数据来识别异常，该异常可以被以优先级排序（prioritize）并呈现给临床医生以进行检查。此外，细胞可视化系统100可以使用识别数据来过滤虚拟染色的DHM图像，从而允许临床医生选择性地检查某些图像。
由细胞可视化系统100产生的虚拟染色的图像数据可以以若干种有利的方式来使用。例如，因为虚拟染色不需要显微镜来查看或捕获图像，所以虚拟染色的DHM图像可以以任何格式和在任何位置处方便地提供给临床医生。例如，可以在一个位置处生成虚拟染色的DHM图像，并将其提供给世界上任何地方的临床医生。临床医生不需要使用显微镜来查看图像，而是代之以可以在任何平台（包括个人计算机或移动设备）上检查图像。例如，虚拟染色过程的结果可以被上传到基于云的系统，并且图像可以在任何地方和任何时间（而不必在实验室中）在移动app上被临床医生立即查看。
虚拟染色也可以是有益的，因为其中可以容易地产生数据用于其他用途。由于这些细胞的人工染色以及图像的捕获的时间和劳动密集性，因此获得染色细胞图像的大的数据集是困难的。DHM图像的虚拟染色解决了该问题，因为可以在更短的时间的量内以大得多的规模产生染色的细胞图像。较大数据集的可用性可以帮助其他过程。
例如，虚拟染色的DHM图像可被用于改善不同类型的白细胞的分类。深度学习算法已被用于对染色的白细胞图像进行分类。已知当使用更多数据时，深度学习方法提供更好的分类结果。虚拟染色可被用于生成染色的细胞图像，该图像可被用于扩大（augment）训练数据集并提供更大的数据集来训练分类算法。
类似地，可以以其来产生染色细胞图像的速度在许多领域中是有益的。例如，虚拟染色可以创建更高效的管线（pipeline）以用于检测诸如疟疾之类的疾病。在该示例中，如果医生怀疑疟疾并且一项检验结果是（come out）阴性，则要求患者在两天内每8小时已重复血液涂片检验（厚涂片和薄涂片）。由于人工染色过程，该过程是费时和费力的。代之以，DHM图像的虚拟染色可被用于识别疟疾寄生虫的更高效管线。
此外，应当理解，本公开不限于所公开的实施例。例如，可以实现其他实施例以产生除白细胞之外的虚拟染色的DHM图像。例如，可视化系统可以包括类似的训练设备，该训练设备可以基于其他图像数据集来训练，该图像数据集基于人工染色是相关的。例如，数据集可以包括将不同类型的细菌与其进行区分的染色细菌细胞，使得可视化系统可以产生虚拟染色的细菌图像，以供临床医生检查。
图6图示了可以在其中实现本发明的实施例的示例性计算环境600。例如，该计算环境600可以被配置成执行DHM设备110的图像捕获过程、由训练设备120实现的训练过程或由虚拟染色设备130实现的图像转换过程的组件中的一个或多个。计算环境600可以包括计算机系统610，计算机系统610是可以在其上实现本发明的实施例的计算系统的一个示例。计算机和计算环境，诸如计算机系统610和计算环境600，对本领域技术人员来说是已知的，并且因此在这里简要描述。
如图6中所示，计算机系统610可以包括通信机构，诸如总线621或用于在计算机系统610内传送信息的其他通信机构。计算机系统610进一步包括与总线621耦合以用于处理信息的一个或多个处理器620。处理器620可以包括一个或多个中央处理单元（CPU）、图形处理单元（GPU）或本领域中已知的任何其他处理器。
计算机系统610还包括耦合到总线621的系统存储器630，以用于存储要由处理器620执行的信息和指令。系统存储器630可以包括以易失性和/或非易失性存储器的形式的计算机可读存储介质，诸如只读存储器（ROM）631和/或随机存取存储器（RAM）632。系统存储器RAM 632可以包括（一个或多个）其他动态存储设备（例如，动态RAM、静态RAM和同步DRAM）。系统存储器ROM 631可以包括（一个或多个）其他静态存储设备（例如，可编程ROM、可擦除PROM和电可擦除PROM）。此外，系统存储器630可以被用于在由处理器620执行指令期间存储临时变量或其他中间信息。包含诸如在启动期间有助于在计算机系统610内的元件之间传递信息的基本例程的基本输入/输出系统（BIOS）633可以被存储在ROM 631中。RAM 632可以包含可立即被处理器620访问和/或目前正在由处理器620对其进行操作的数据和/或程序模块。系统存储器630可以附加地包括例如操作系统634、应用程序635、其他程序模块636和程序数据637。
计算机系统610还包括耦合到总线621的磁盘控制器640，以控制用于存储信息和指令的一个或多个存储设备，所述存储设备诸如硬盘641和可移动介质驱动器642（例如，软盘驱动器、压缩盘驱动器、磁带驱动器和/或固态驱动器）。可以使用适当的设备接口（例如，小型计算机系统接口（SCSI）、集成设备电子器件（IDE）、通用串行总线（USB）或火线（FireWire））将存储设备添加到计算机系统610。
计算机系统610还可以包括耦合到总线621的显示控制器665，以控制显示器666（诸如阴极射线管（CRT）或液晶显示器（LCD）），以便向计算机用户显示信息。计算机系统包括输入接口660以及诸如键盘662和指向设备（pointing device）661的一个或多个输入设备，用于与计算机用户进行交互以及向处理器620提供信息。指向设备661例如可以是用于向处理器620传送方向信息和命令选择以及用于控制光标在显示器666上的移动的鼠标、轨迹球或指向棒。显示器666可以提供触摸屏接口，触摸屏接口允许输入以补充或替换由指向设备661进行的方向信息和命令选择的传送。
计算机系统610可以响应于处理器620执行包含在诸如系统存储器630的存储器中的一个或多个指令的一个或多个序列来执行本发明的实施例的处理步骤的部分或全部。这样的指令可以从诸如硬盘641或可移动介质驱动器642的另一个计算机可读介质被读入系统存储器630中。硬盘641可以包含由本发明的实施例所使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可以被加密以提高安全性。处理器620也可以在多处理装置中被采用以执行系统存储器630中所包括的一个或多个指令的序列。在替代实施例中，可以代替软件指令或结合软件指令使用硬连线电路。因此，实施例不限于硬件电路和软件的任何具体组合。
如以上所陈述的，计算机系统610可以包括至少一个计算机可读介质或存储器，用于保存根据本发明的实施例所编程的指令和用于包含本文中所描述的数据结构、表、记录或其他数据。如本文中所使用的术语“计算机可读介质”是指参与向处理器620提供指令用于执行的任何介质。计算机可读介质可以采用许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，诸如硬盘641或可移动介质驱动器642。易失性介质的非限制性示例包括动态存储器，诸如系统存储器630。传输介质的非限制性示例包括同轴线缆、铜线和光纤，包括组成总线621的线。传输介质也可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间所生成的那些声波或光波。
计算环境600可以进一步包括使用到诸如远程计算机680的一个或多个远程计算机的逻辑连接在联网环境中操作的计算机系统610。远程计算机680可以是个人计算机（膝上型或台式）。移动设备、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括上面相对于计算机系统610所描述的元件的许多或全部。当在联网环境中使用时，计算机系统610可以包括用于通过诸如因特网的网络671建立通信的调制解调器672。调制解调器672可以经由用户网络接口670或经由另一种适当机构连接到总线621。
网络671可以是本领域中通常已知的任何网络或系统，包括因特网、内联网、局域网（LAN）、广域网（WAN）、城域网（MAN）、直接连接或连接的系列、蜂窝电话网络或者能够促进计算机系统610和其他计算机（例如，远程计算机680）之间的通信的任何其他网络或介质。网络671可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线（USB）、RJ-11或者本领域中通常已知的任何其他有线连接来实现。无线连接可以使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或者本领域中通常已知的任何其他无线连接方法来实现。此外，若干网络可以单独工作或者彼此通信地工作以促进网络671中的通信。
作为示例性计算环境600对本文中描述的技术的一个应用，考虑用于分析DHM数据的示例系统，其包括网络组件、图像处理处理器和GUI。联网组件可以包括网络接口670或提供类似功能的硬件和软件的某种组合。联网组件被配置成与DHM系统通信以检索DHM图像。因此，在一些实施例中，联网组件可以包括用于与DHM系统通信的专门化的接口。图像处理处理器被包括在计算系统（例如，计算机系统610）中，并且被配置有指令，该指令使得能够从经由联网组件接收的单个物体图像或图像的时间系列提取参考图像，从物体图像中提取其中条纹图案被干扰的区域，并且用存在于图像的其他部分的图案替换那些区域。如本公开中所描述的，图像处理处理器可以包括附加功能，以支持该任务（例如，分割、填充区域等）。然后可以将GUI呈现在显示器（例如，显示器666）上，以供用户检查。
本公开的实施例可以利用硬件和软件的任何组合来实现。此外，本公开的实施例可以被包括在具有例如计算机可读的非暂时性介质的制品（例如，一个或多个计算机程序产品）中。该介质已经在其中实现例如用于提供和促进本公开的实施例的机构的计算机可读程序代码。该制品可以被包括作为计算机系统的部分或者分离地出售。
虽然本文中已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员而言将是明显的。本文中所公开的各种方面和实施例是出于说明的目的而不旨在是限制性的，其中真实的范围和精神由以下的权利要求来指示。
如本文中所使用的，可执行应用包括代码或机器可读指令，用于例如响应于用户命令或输入而调节处理器以实现预定功能，所述预定功能诸如操作系统、上下文数据获取系统或其他信息处理系统的那些功能。可执行程序是用于执行一个或多个特定过程的代码的分段或机器可读指令、子例程或者其他不同的代码的部分或可执行应用的部分。这些过程可以包括接收输入数据和/或参数，对所接收的输入数据执行操作和/或响应于所接收的输入参数执行功能，以及提供得到的输出数据和/或参数。
如本文中所使用的图形用户接口（GUI）包括一个或多个显示图像，所述显示图像由显示处理器生成并且使得用户能够与处理器或其他设备以及相关联的数据获取和处理功能进行交互。GUI还包括可执行程序或可执行应用，诸如移动设备上的移动应用。可执行程序或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被提供给显示设备，所述显示设备显示图像以供用户查看。在可执行程序或可执行应用的控制下，处理器响应于从输入设备接收到的信号而操纵GUI显示图像。以该方式，用户可以使用输入设备与显示图像交互，使得用户能够与处理器或其他设备交互。
本文中的功能和过程步骤可以自动地执行或者响应于用户命令整体地或部分地执行。响应于一个或多个可执行指令或设备操作来执行自动执行的活动（包括步骤），而无需用户直接发起该活动。
附图的系统和过程不是排他性的。根据本发明的原理可以导出其他系统、过程和菜单以实现相同的目标。虽然已经参考特定实施例描述了本发明，但是要理解的是，本文中示出和描述的实施例和变化仅是出于说明的目的。在不脱离本发明的范围的情况下，可以由本领域技术人员实现对当前设计的修改。如本文中所描述的，可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和过程。本文中没有权利要求要素将在35 U.S.C. 112（f）的规定下被解释，除非使用短语“用于……的装置”明确叙述所述要素。

Claims (20)

1.一种用于产生虚拟染色的数字全息显微术（DHM）图像的计算机实现的方法，包括：
接收使用DHM设备获取的DHM图像，所述DHM图像包括一个或多个细胞的描绘；以及
通过使用图像转换算法处理DHM图像来对DHM图像进行虚拟染色，
其中虚拟染色的DHM图像包括一个或多个细胞的数字着色，以模仿相应的实际染色细胞的外观。
2.根据权利要求1所述的计算机实现的方法，其中，使用生成对抗网络来训练图像转换算法。
3.根据权利要求2所述的计算机实现的方法，其中，使用对抗损失和循环一致性损失来训练图像转换算法。
4.根据权利要求1所述的计算机实现的方法，其中，对DHM图像进行虚拟染色包括基于每个白细胞的类型对白细胞进行着色。
5.根据权利要求4所述的计算机实现的方法，进一步包括基于白细胞的着色来量化样本内的白细胞的类型的比率。
6.根据权利要求1所述的计算机实现的方法，其中，所述一个或多个细胞包括细菌细胞，并且细菌细胞的着色取决于细菌的类型。
7.根据权利要求1所述的计算机实现的方法，进一步包括通过图形用户接口显示虚拟染色的DHM图像。
8.一种用于产生虚拟染色的数字全息显微术（DHM）图像的计算机实现的方法，包括：
接收包括个体白细胞的DHM图像的第一训练数据集和包括实际染色的白细胞的图像的第二训练数据集，其中第一训练数据集中的图像与第二训练数据集中的图像是不成对的；
将使用生成对抗网络的学习过程应用于第一训练数据集和第二训练数据集以生成图像转换算法；
将图像转换算法应用于DHM图像以产生虚拟染色的DHM图像；以及
通过图形用户接口显示虚拟染色的DHM图像。
9.根据权利要求8所述的计算机实现的方法，其中，所述生成对抗网络包括：第一生成网络，其被配置成生成多个虚拟染色的DHM图像；以及第一鉴别网络，其被配置成区分多个虚拟染色的DHM图像和第二训练数据集中的图像。
10.根据权利要求9所述的计算机实现的方法，其中，所述生成对抗网络进一步包括：第二生成网络，其被配置成生成多个虚拟DHM图像；以及第二鉴别网络，其被配置成区分多个虚拟DHM图像和第一训练数据集中的图像。
11.根据权利要求8所述的计算机实现的方法，其中，学习过程使用对抗损失和循环一致性损失来生成图像转换算法。
12.根据权利要求8所述的计算机实现的方法，其中，图形用户接口是在移动设备上执行的移动应用。
13.一种被配置成产生虚拟染色的数字全息显微术（DHM）图像的细胞可视化系统，包括：
被配置成接收一个或多个细胞的DHM图像并将图像转换算法应用于DHM图像以产生虚拟染色的DHM图像的设备，
其中，使用不成对的数据集来生成图像转换算法。
14.根据权利要求13所述的细胞可视化系统，进一步包括：
被配置成使用不成对的数据集来生成图像转换算法的设备，不成对的数据集包括第一训练数据集和第二训练数据集，所述第一训练数据集包括个体细胞的DHM图像，所述第二训练数据集包括实际染色的细胞的图像。
15.根据权利要求14所述的细胞可视化系统，其中，所述训练设备被配置有生成对抗网络，以生成图像转换算法。
16.根据权利要求15所述的细胞可视化系统，其中，所述生成对抗网络包括：
第一生成网络，其被配置成生成虚拟染色的DHM图像的示例；以及第一鉴别网络，其被配置成区分虚拟染色的DHM图像的示例和第二训练数据集中的图像；以及
第二生成网络，其被配置成生成虚拟DHM图像的示例；以及第二鉴别网络，其被配置成区分虚拟DHM图像的示例和第一训练数据集中的图像。
17.根据权利要求14所述的细胞可视化系统，进一步包括DHM设备，所述DHM设备被配置成向训练设备提供第一训练数据集。
18.根据权利要求17所述的细胞可视化系统，其中，DHM设备被进一步配置成向虚拟染色设备提供一个或多个细胞的DHM图像。
19.根据权利要求13所述的细胞可视化系统，其中，所述一个或多个细胞是白细胞。
20.根据权利要求13所述的细胞可视化系统，其中，虚拟染色的DHM图像包括所述一个或多个细胞的数字着色，以模仿相应的实际染色的细胞的外观。
CN201880060868.7A 2017-09-19 2018-09-06 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 Active CN111095360B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762560272P 2017-09-19 2017-09-19
US62/560272 2017-09-19
PCT/US2018/049702 WO2019060141A1 (en) 2017-09-19 2018-09-06 VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS

Publications (2)

Publication Number Publication Date
CN111095360A true CN111095360A (zh) 2020-05-01
CN111095360B CN111095360B (zh) 2023-09-05

Family

ID=63720759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060868.7A Active CN111095360B (zh) 2017-09-19 2018-09-06 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色

Country Status (4)

Country Link
US (1) US11169484B2 (zh)
JP (2) JP2020534627A (zh)
CN (1) CN111095360B (zh)
WO (1) WO2019060141A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308848B2 (ja) * 2018-02-12 2023-07-14 エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト デジタル病理画像の変換
CN110648309B (zh) * 2019-08-12 2024-05-28 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
EP3994656A4 (en) * 2019-09-19 2023-11-29 The Hong Kong University of Science and Technology SLIP-FREE HISTOLOGICAL IMAGING METHOD AND SYSTEM
KR102302333B1 (ko) 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
EP3839884A1 (en) * 2019-12-20 2021-06-23 Fundación Tecnalia Research & Innovation Method, system and computer program product for image transformation
US20230394716A1 (en) * 2022-06-06 2023-12-07 Pictor Labs, Inc. Method of generating inference-based virtually stained image annotations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197768A (zh) * 2006-12-04 2008-06-11 西门子公司 提高移动自组网安全性的方法和节点设备
JP2014233280A (ja) * 2013-06-05 2014-12-15 学校法人関西医科大学 舌上皮幹細胞の単離方法
WO2016107896A1 (en) * 2014-12-30 2016-07-07 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation
CN106462746A (zh) * 2014-06-16 2017-02-22 西门子医疗保健诊断公司 分析数字全息显微术数据以用于血液学应用

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011285527B2 (en) * 2010-08-05 2014-10-30 Abbott Point Of Care, Inc. Method and apparatus for automated whole blood sample analyses from microscopy images
JP2014506122A (ja) * 2010-12-07 2014-03-13 ライフ テクノロジーズ コーポレーション バーチャル細胞染色システム
CN104704348A (zh) * 2012-08-21 2015-06-10 剑桥研究和仪器设备股份有限公司 细胞的可视化和测量
US9135682B2 (en) * 2013-03-15 2015-09-15 Indian Institute Of Technology Delhi Image recovery from single shot digital hologram
US9786050B2 (en) 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197768A (zh) * 2006-12-04 2008-06-11 西门子公司 提高移动自组网安全性的方法和节点设备
JP2014233280A (ja) * 2013-06-05 2014-12-15 学校法人関西医科大学 舌上皮幹細胞の単離方法
CN106462746A (zh) * 2014-06-16 2017-02-22 西门子医疗保健诊断公司 分析数字全息显微术数据以用于血液学应用
WO2016107896A1 (en) * 2014-12-30 2016-07-07 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREA C. MONALDI 等: "Digital holographic microscopy for microalgae biovolume assessment", 《OPTICS COMMUNICATIONS》 *
MARQUET P 等: "Digital holographic microscopy：a noninvasive contrast imaging technique allowing quantitative visualization of living cells with subwavelength axialaccuracy", 《OPTICS LETTERS》 *

Also Published As

Publication number Publication date
WO2019060141A1 (en) 2019-03-28
US11169484B2 (en) 2021-11-09
US20200183327A1 (en) 2020-06-11
JP2022107671A (ja) 2022-07-22
EP3685355A1 (en) 2020-07-29
JP7439165B2 (ja) 2024-02-27
JP2020534627A (ja) 2020-11-26
CN111095360B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US10614287B2 (en) Virtual staining of cells in digital holographic microscopy images using general adversarial networks
CN111095360B (zh) 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色
US11580640B2 (en) Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
US10671833B2 (en) Analyzing digital holographic microscopy data for hematology applications
Ding et al. Augmentation and evaluation of training data for deep learning
JP2022506135A (ja) ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の３ｄ細胞間構造のセグメント化
Zetsche et al. Imaging‐in‐Flow: Digital holographic microscopy as a novel tool to detect and classify nanoplanktonic organisms
JP7418639B2 (ja) 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
RU2732895C1 (ru) Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
Holt et al. Separating morphologically similar pollen types using basic shape features from digital images: A preliminary study1
Weidner et al. Advanced image-free analysis of the nano-organization of chromatin and other biomolecules by Single Molecule Localization Microscopy (SMLM)
EP3685355B1 (en) Virtual staining of cells in digital holographic microscopy images using general adversarial networks
Schaefer Strategies for imbalanced pattern classification for digital pathology
Dmitrieff et al. ConfocalGN: a minimalistic confocal image simulator
Han Fluorescence Microscopy Images Segmentation and Analysis Using Machine Learning
CN117597709A (zh) 用于记录训练数据的方法和设备
Nečasová Statistical methods for comparison of real and synthetic biomedical image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant