CN112088296A - 用于检测细胞学样品中的具有至少一个异常的细胞的方法 - Google Patents

用于检测细胞学样品中的具有至少一个异常的细胞的方法 Download PDF

Info

Publication number
CN112088296A
CN112088296A CN201980028142.XA CN201980028142A CN112088296A CN 112088296 A CN112088296 A CN 112088296A CN 201980028142 A CN201980028142 A CN 201980028142A CN 112088296 A CN112088296 A CN 112088296A
Authority
CN
China
Prior art keywords
cells
sample
nucleus
image
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980028142.XA
Other languages
English (en)
Inventor
泽海拉·哈达德
斯泰凡·赫宾
阿德里恩·钱-洪-童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute Of Aeronautics And Astronautics
Office National dEtudes et de Recherches Aerospatiales ONERA
Original Assignee
National Institute Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute Of Aeronautics And Astronautics filed Critical National Institute Of Aeronautics And Astronautics
Publication of CN112088296A publication Critical patent/CN112088296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251Colorimeters; Construction thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/29Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using visual detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1402Data analysis by thresholding or gating operations performed on the acquired signals or stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)

Abstract

一种用于基于细胞学样品的至少一个第一数字化电子显微镜图像(1)来检测所述样品中的具有至少一个异常的细胞的方法。

Description

用于检测细胞学样品中的具有至少一个异常的细胞的方法
本发明涉及一种用于基于细胞学样品的一个数字化图像或若干个数字化图像来检测相同样品中的具有至少一个异常的细胞的方法。本发明还涉及一种实施此方法的装置。
本发明涉及细胞学领域,其是对来自固定在载玻片上后的细胞学样品的细胞的显微研究。更精确地,本发明涉及正常或非典型细胞的形态、辐射测量或生化方面的研究,所述非典型细胞意指具有至少一个异常的细胞。
癌症筛查是细胞学的应用领域之一,并且由借助于从受试者收集的细胞学样品来寻找和发现癌症组成。由受过用于检测非典型细胞的方法方面的训练的细胞技术人员和细胞病理学家在解剖病理学实验室中部分地进行筛查。细胞学对检测一些癌症非常有用,因为细胞学允许在各个阶段诊断癌症,这是因为例如,一些癌症具有被称为“低级”的早期阶段和被称为“高级”的更晚期阶段。(等级还可以对应于癌症的类型。)癌症的早期诊断显然是一个主要问题,其重大影响与受影响患者的存活率和对应的患者护理费用有关。例如,每年在世界范围内进行了1000万次与膀胱癌有关的尿细胞学研究以帮助诊断膀胱癌;诊断膀胱癌的现行方法是对细胞学载玻片上的来自自发排尿的样品进行分析。
然而,通过细胞学样品分析进行诊断的此方法受人力方面(意指细胞病理学家和细胞技术专家的经验和人数的减少)和对某些癌症的灵敏度较低两者限制。通常,由于非典型或反常细胞尚未经历显著的形态变形并且因此难以用人眼检测,因此对低级膀胱癌进行诊断的灵敏度非常低。因此,需要寻找可以常规且低成本使用的程序,这将有助于提高此整个实践的性能和可靠性。
基于此情况,本发明的目的之一在于提供一种用于基于数字化载玻片图像来检测细胞学样品中的具有至少一个细胞异常的细胞,以便随后帮助检测癌症,具体地膀胱癌的方法。有利地,本发明借助于计算机实施的处理模块提供来自载玻片上存在的样品中的细胞的自动和详尽分析。因此,细胞学样品和所有潜在反常细胞的分析是完整、快速和更精确的,并且用于克服细胞病理学家和细胞技术人员的常见分析错误。进一步地,此方法确保了样品的细胞学分析结果的标准化。但是,再次,此方法进一步通过检测具有微小异常的细胞来用于帮助早期诊断被称为低级癌症的癌症,具体地低级膀胱癌。
本发明旨在解决上文引用的现有技术的缺点,并且其动机是缺少替代性解决方案。为了达到此目的或其它目的,本发明的第一方面提出了一种基于细胞学样品的至少一个第一数字化电子显微镜图像来检测所述样品中的具有至少一个异常的细胞的方法,所述方法的特征在于,所述方法借助于计算机实施的处理模块来进行,具体地完全由所述计算机实施的处理模块来执行。
所述方法包括处理所述第一图像的步骤,所述步骤包括以下子步骤:
-从所述第一图像开始,借助于比色检测来检测所述样品中存在的选自至少一个分离的细胞或一个细胞组的每个元素;
-借助于所述比色检测过滤每个分离的细胞和/或每个细胞组;
-从每个检测的细胞组开始,借助于基于所述细胞组中的轮廓的检测的至少一种分割方法将具有细胞核的至少一个细胞个体化;
另外,所述方法进一步包括细胞异常检测的步骤,所述步骤包括以下子步骤:
-对于在前述步骤中分离或个体化的每个细胞,计算用于不同异常的被称为“专门异常特性”的两个特性的数据并且通过将这些计算的数据与参考数据进行比较来确定所述细胞是否具有至少一个异常;
-以及然后对所述样品中的具有至少一个异常的细胞的总数进行计数;
并且最后,所述方法进一步包括根据所述样品的异常水平表征所述样品的第一步骤,所述第一步骤包括以下子步骤:
-将所述具有至少一个异常的细胞的总数与所述异常水平的阈值,优选地,等于各自具有至少一个异常的至少三个细胞的阈值进行比较;
-如果所述具有至少一个异常的细胞的总数小于所述异常水平的所述阈值,则将所述样品分类为表示具有零异常水平的样品的类别;
-如果所述具有至少一个异常的细胞的总数大于所述异常水平的所述阈值,则将所述样品分类为表示具有已证明的异常水平的样品的类别,所述已证明的异常水平意指低或高异常水平。
根据本发明的此方面,所述检测方法最后基于对至少一个第一图像的分析,优选地利用第二图像,根据细胞异常水平对所述细胞学样品进行分类。本发明中使用的所述处理模块能够将从所述样品的所述第一数字化透射电子显微镜图像和/或第二数字化荧光显微镜图像计算的数据与细胞学中已知的参考数据组合。
应当理解,在先前引用的所述第一图像的所述处理步骤期间,检测到来自所述第一图像的若干个组成元素,具体地分离的细胞、细胞组、要被拒绝的元素或无法被分析并因此被挑出以便所述方法继续的细胞簇。
所述解决方案使得可以从根据两种类别对所述样品进行的分类中受益,并且可以诊断所述样品是具有零细胞异常水平还是具有已证明的细胞异常水平。随后,此结果将极大地帮助专家诊断癌症与否。
进一步地,应当注意的是,根据本发明,细胞的专门异常特性可以被认为是所述细胞的符合性的良好指标。
优选地,所述专门异常特性之一是所述细胞中的所述细胞核的表面面积比率或所述细胞核的不规则性或所述细胞核的斑点比色分析或超比色分析。“斑点比色分析”应理解为意指对某些点或斑点的着色强度的测量。
再优选地,所述专门异常特性是所述细胞核的特性,具体地根据所述细胞的大小的所述细胞核的大小比率、所述细胞核在所述细胞中的定位或所述细胞核的比色特性。更精确地,所述专门异常特性是所述细胞中的所述细胞核的表面面积比率或所述细胞核的不规则性或所述细胞核的斑点比色分析或超比色分析。
有利地,所述专门异常特性中的至少一种专门异常特性是所述细胞核的不规则性,其中所述细胞核的所述不规则性的计算是与每个分析的细胞核与被称为“参考”的细胞的被称为参考的细胞核类型之间的比较相对应的偏差计算。此偏差计算选自以下清单:表面差异、周长差异、所述细胞核的凸度差异、重心差异、检测到的每个细胞核的轮廓的长度之间的差异、所述细胞核的轮廓的不规则性的差异、每个细胞核中的像素数量的差异和所述细胞中的所述细胞核的偏心率的差异。
根据具体实施例,所述至少一种专门异常特性是所述细胞核的所述轮廓的长度,其中此特性的计算进一步包括以下子步骤:
-通过使用所述细胞核的轮廓提取的方法来计算所述细胞核的真实轮廓;
-通过描绘所述细胞核的边界包膜来确定所述细胞核的直径,优选地最大直径;
-描绘作为参考细胞核的边界包膜的C2级闭凸曲线边界包膜;
-计算所述细胞核的实际轮廓与表示参考细胞核的轮廓的所描绘凸曲线之间的差异。
根据具体实施例,所述至少一种专门异常特性是所述细胞核的轮廓的不规则性,其中此特性的计算进一步包括以下子步骤:
-检测所检测的细胞核的所述轮廓中的至少一个角点;
-计算所述细胞核的所述轮廓中的角点的总数;
-测量每个对应的角点的角;以及然后
-通过将每个细胞核的检测到的角点的数量和所述角点的角的数据组合来确定所述细胞核的所述轮廓的不规则性程度。
根据具体实施例,根据本发明的方法包括类型学选择的步骤,所述步骤包括以下子步骤:
-从所述样品的所述第一数字化图像开始,测量所述细胞的大小并且然后根据所述细胞的大小对所述细胞进行分类;
-将细胞的每个类别与对应的细胞类型相匹配,并且然后选择对应于细胞大小的所选至少一种细胞类型,如尿路上皮细胞类型。
根据具体实施例,本发明可以进一步包括按照来自所述样品的所述细胞的所述异常水平表征所述样品的第二步骤。此第二步骤进一步包括以下子步骤:
-从所述样品的第二数字化荧光图像开始,根据在所述第一数字化图像中先前预先限定的所选细胞类型如尿路上皮细胞类型的细胞在所述样品中的位置选择所有所述细胞;
-在每个先前所选细胞周围检测荧光晕圈的存在,优选地测量荧光水平,再优选地测量荧光扩散水平;
-如果检测到荧光晕圈,优选地如果测量到荧光的最低水平,还优选地如果测量到所述荧光的最低扩散水平,则将所述样品分类为表示具有低异常水平的样品的类别;
根据另一个具体实施例,本发明包括根据包括细胞核的细胞的数量并根据最小可用性阈值推荐所述样品的可用性的步骤,优选地,所述最小可用性阈值等于在所述第一图像中的包括细胞核至少七个细胞。
根据本发明,所述方法借助于所述处理模块将所有得到的数据组合,并且将基于所述第一图像和所述第二图像分析的所述细胞学样品分类为与所述细胞异常水平相关联的三种类别之一:零、低或高。
本发明的第二方面提出一种方法,所述方法用于借助于深度学习方法,借助于计算机实施的处理模块,基于第一图像和/或第二图像来检测细胞学样品中的具有至少一个异常的细胞,以将所述样品分配为与所述样品的细胞异常水平相关联的三种类别之一:零、低或高。
此方法的优点在于,所述方法使用通过本发明的所述第一方面的变体中的至少一个变体提供的数据。
优选地,所述细胞学样品是来自自发排尿的尿液样品。
本发明的第三方面提出一种实施如上所述的方法的装置。
本发明的第四方面提出一种所述方法的用途,如下所述,其用于辅助诊断膀胱癌。
本发明的其它细节和优点将在以下参考附图描述的非限制性实施实例中显现,其中:
-图1是示出了根据本发明的优选模式实施的方法的各个步骤的图示。
-图2示出了在处理步骤之前和之后的样品的数字化电子显微镜图像的第一实例。在此,第一图像具体地包括分离的细胞、细胞簇、细胞组和要被拒绝的元素。
-图3示出了在第一图像的处理步骤之前和之后的第二样品的数字化电子显微镜图像的第二实例。在此,第一图像具体地包括分离的细胞、细胞簇、细胞组和要被拒绝的元素。
-图4表示分离的细胞的两个电子显微镜图像和其借助于计算机实施的处理模块提取的细胞核的两个电子显微镜图像。
-图5表示借助于计算机实施的处理模块的分离的细胞、其提取的细胞核以及用于测量细胞核细胞大小比率的迹线的实例的电子显微镜图像。
-图6是示出了根据另一个实施例实施的方法的各个阶段的图示,根据所述另一个实施例,所述方法包括基于第二数字化图像表征样品的第二步骤。
-图7是示出了本发明的第二方面,更精确地,用于深度学习的实施方法的图示,所述深度学习应用于与一组图像片段相对应的至少一个细胞学样品图像的分类。
首先必须注意的是,附图示意性地公开了本发明。这些附图表示非限制性地给出且不必遵循具体时间顺序的实施实例。
本发明属于复杂和众多对象的数字化图像的计算机视觉的应用的一般类别。本发明涉及一种用于基于第一数字化图像并且优选地使用细胞学样品的第二数字化图像来检测同一样品中的具有至少一个异常的细胞的原始方法。第一图像用透射电子显微镜获得,并且第二图像用荧光显微镜获得。所使用的图像来自细胞学样品的具体数字化,所述细胞学样品已经经历适合于所述方法的准备,然后散布在细胞学载玻片上。根据期望的分析,根据本发明的方法可以使用无区别地来自流体或来自从人体收集的元素的细胞学样品。对于在此呈现的实施例,从自发排尿中获取尿液样品。在此背景下,用于检测细胞学样品中的具有至少一个异常的细胞的此方法的结果将用于帮助诊断膀胱癌,具体地处于早期阶段的膀胱癌或所谓的低级膀胱癌。
在描述的其余部分中并且如图1所示,现在将描述优选的实施例,其包括可以是初始步骤、中间步骤或连续步骤的若干个步骤。应当理解,根据所选实施例,可以将这些步骤中的一个或多个步骤添加到根据本发明的方法中或从其中移除。
有利地,根据本发明的检测方法包括借助于由能够将从样品计算的数据与从细胞学已知的参考数据组合的计算机实施的处理模块执行的步骤。由处理模块从至少一个样品的载玻片的至少一个数字化图像中计算和收集被称为计算的数据。因此,处理模块可以使用学习方法将从样品或若干个样品计算和收集的所有数据与从细胞学已知的参考数据组合。
根据在此呈现的优选实施例,根据本发明的检测方法包括初始图像处理步骤110。图1到3所示的此初始图像处理步骤110的目标是尽可能地改善,具体地通过挑出可能干扰并降低检测方法的结果的精细化的构成第一数字化图像1的元素4来改善,细胞的开始选择。为此,此初始处理步骤110包括用于检测112第一图像1中存在的元素4的子步骤。此检测子步骤112至少部分地基于比色检测,所述比色检测可以至少部分地由将来自第一图像1的整个颜色范围分割成若干组组成,最亮和分布最广的组对应于图像的背景颜色6,并且最暗的组对应于细胞核的颜色。认为不是来自图像的背景6的像素的任何像素是来自元素4(意指来自生物学对象)的像素。因此,确定了图像的背景6,并且不是图像的背景6的一部分的每个事物都对应于元素4,意指细胞、细胞组、细胞簇或要被拒绝的元素。然后,通过借助于分割方法创建若干个图像片段8,从图像的背景6中提取所有元素4。为了对检测的各种元素4进行分类,进一步使用检测细胞核的此比色检测;在此,此子步骤被称为“粗步骤(coarse)”。
进一步地,可以将细胞核的检测(意指比色检测)的此第一子步骤与检测的元素4中的每个元素的尺寸的测量组合。例如,如果通过比色检测检测到若干个细胞核,则对此元素的测量将帮助识别检测的元素4的类型。
因此,在检测子步骤112的结果中,可以借助于细胞核的比色检测并且可以从这些元素4的测量中识别构成第一图像1的元素4的各种预先类别,如:
-要被拒绝的元素:这是不构成具有细胞核的细胞的每件事物。实际上,任何没有细胞核的元素都会被拒绝,因为无法解释所述元素,这可能是无用或者错误的检测。
-分离的细胞:这些是仅含有单个细胞核并且因此是分离的细胞的图像片段。
-细胞组:这些是(接触或重叠的)并且因此含有若干个细胞核的分组细胞。
-簇:这些是非常密集(非常暗)的细胞的具体组群,其中细胞非常具体地重叠。将簇与常规的细胞组群区分开的事实是在簇中具有“细胞核”类别中的更大表面面积。
更详细地,图3示出了经历了初始处理步骤110的样品第一图像1。如前所述,在此步骤110期间,第一图像1经历了分割,以便获得包围具有暗色的元素4的图像片段8,其中然后将这些图像片段8预先分类为四种类别:要被拒绝的元素12、隔离的细胞10、细胞组14和(也要拒绝的)细胞簇16。为了本发明的良好操作,必须从这样的细胞开始进行根据本发明的检测方法,所述细胞必须从细胞组分离或个体化并且包括细胞核。在过滤子步骤114期间使用比色检测过滤分离的细胞10和细胞组14。
因此,在过滤子步骤114之后,预先分类的细胞组14经历个体化子步骤116。此子步骤116由将来自细胞组14的细胞个体化组成。“个体化”应理解为意指从细胞组14中提取包括细胞核的至少一个细胞。应当注意的是,对于被预先分类为“细胞簇”16的那些,不执行此个体化子步骤116。实际上,细胞簇16是太复杂而不能个体化的结构,并且考虑细胞簇会产生比可用相关信息多许多的错误。这就是为什么根据本发明不使用簇16的原因。借助于基于轮廓的检测的新分割,通过计算第一图像的梯度或通过使用如Radon、Gabor等具有多向方面的数学变换或多向多尺度变换,来进行细胞的个体化子步骤116。在确定轮廓之后,并且可能借助于数学形态学方法,提取在闭合轮廓中包含的并且因此对应于一个细胞的任何结构,并将所述任何结构定义为个体化的细胞和用于根据本发明的方法的其余部分的感兴趣的细胞。
根据在此优选的实施例,可以进行针对检测潜在癌细胞而推荐样品可用性的任选步骤120。根据实施例,在根据本发明的方法的进展期间,优选地在初始处理步骤110结束时,可以在若干个水平上一次或多次进行此可用性推荐步骤120。此可用性推荐步骤120相当于估算第一图像1是否含有足够数量的包括细胞核的细胞,使得样品中的检测将不会有偏差。为此,确定在第一图像1中存在的具有细胞核的细胞的总数。向将确认是否继续根据本发明的方法的用户传达此细胞总数。优选地,将此具有细胞核的细胞的总数与将提前由用户确定的最小可用阈值的值进行比较。作为变体,用户可以将样品的最小可用阈值的期望值重新输入处理模块中,以便允许自动继续本发明的方法与否。因此,即使第一图像1中的具有细胞核的细胞非常少,但只要这些细胞的总数大于或等于最小可用阈值,就可以继续检测方法。例如,最小可用阈值的值等于样品中检测到的具有细胞核的至少七个细胞;因此,如果具有细胞核的细胞的总数大于或等于七,则继续所述方法。相反,如果具有细胞核的细胞的数量不足,则可用性推荐步骤120可以中断检测方法。
根据在此优选的实施例,为了检测样品中的具有至少一个细胞异常的来自所选细胞类型的细胞,更精确地,潜在地癌细胞,可以进行任选的初始类型学选择步骤130。为此,从第一图像1开始,对来自样品的细胞进行测量,并且然后根据所述细胞的大小对所述细胞进行分类(步骤132)。借助于处理模块,将根据细胞的大小分类的细胞按细胞类型分组,并且然后根据所选细胞类型,如尿路上皮细胞类型或对于其细胞异常水平可能与癌症类型相关的任何其它细胞类型进行选择(步骤134)。根据变体,用户可以自己定义优选的细胞类型。例如,对于应用于尿细胞学样品以辅助诊断膀胱癌的检测方法,优选的细胞类型将是尿路上皮类型。通常,对尿路上皮细胞的研究是用于帮助膀胱癌诊断,具体地用于基于遇到的异常来确定癌症的分期的良好指标。
在初始图像处理步骤110、任选的样品可用性推荐步骤120以及任选的初始类型学分类步骤130之后,获得了对包括一个细胞核和一种所选细胞类型的分离或个体化的细胞的精细化选择。
作为提醒,根据本发明的方法基于至少一个第一图像来检测在细胞学样品中的具有至少一个异常的细胞。样品的细胞异常水平与细胞学样品中遇到的细胞异常的数量和类型相关。换句话说,根据本发明的方法可以用于将样品分类为被称为已证明的细胞异常水平类别或被称为零的细胞异常水平类别。
为此,图1所示的优选实施例进一步包括样品中的细胞异常检测的步骤140。根据本发明,具有异常的细胞被定义为具有与被称为参考的数据相异(意指与常态相异)的专门异常特性的细胞。换句话说,其涉及具有至少一个异常(意指反常的一个专门异常特性)的细胞。因此,一个专门异常特性的计算用于获得帮助确定与常态的偏差并因此确定异常的存在与否的数据。专门异常特性的计算被理解为意指测量或任何其它类型的数学方法。根据本发明,所计算的专门异常特性是细胞核的特性,具体地对应于细胞的细胞核与细胞质之间的大小比率或细胞核的定位的测量或细胞核的比色测量。更精确地,专门异常特性对应于细胞中的细胞核的表面面积比率或细胞核的不规则性或细胞核的斑点比色分析或超比色分析。上文非限制性地提及的各种专门异常特性可以根据样品中计算的值揭示异常。应当理解,可以计算其它类型的专门异常特性并且将其无区别地用作用于分类细胞的参数。
更具体地,每个细胞中寻找和检测到的异常都将与其细胞核有关。为此,需要对细胞核进行精细化检测,以便能够检测与其相关的异常。
通过分割进行细胞核的精细化检测。可以具体地通过仅使用比色分析改进粗分割来进行此分割。在说明书中较早描述的此技术由优选地基于边界包膜围绕细胞核形成矩形组成。此边界包膜将界定围绕细胞核的区域,所述区域始终包含在细胞中并延伸超出细胞核(细胞核的总表面的)10%到40%,优选地介于20%与30%之间。图4和5各自示出了精细化细胞核检测的结果。
根据实施例,在借助于第一分割对细胞核进行粗检测期间,细胞核可能已经在初始图像处理步骤110期间被检测。样品实施方案由以下组成:考虑用于细胞核的粗检测的边界包膜,并通过使用高斯混合模型来估算此包膜中的细胞核的颜色分布和背景的颜色分布。稍后,所述颜色分布用于利用能量函数对像素的标签构造随机马尔可夫链并且基于图形切割来执行优化以干扰能量函数的值,所述能量函数优选具有相同标签的连接区域。由于此估算可能比从边界框提取的原始数据更精确,因此重复这两个步骤,直到它们收敛为止。
通过计算至少两个不同的专门异常特性(步骤142)来部分地进行在来自样品的细胞中的细胞异常检测步骤(140)。
在描述的其余部分中,描述了四种专门异常特性的计算,每种专门异常特性示出了形态细胞异常的存在与否。
首先,将描述细胞中的细胞核/细胞质比率的专门异常特性的计算。
提出了借助于自动处理模块计算NCR(细胞核细胞比率);所述比率由以下公式定义:
NCR=细胞核的最大直径的长度/对应的细胞的最大直径的长度。
图5示出了计算NCR比率的样品实施方案。以下是由处理模块进行的计算的步骤:
1.描绘对应于细胞的最长轴线;
2.计算由细胞界定的轴线的长度;
3.计算由细胞核界定的此相同轴线的长度。
还基于表面面积的计算提出了另一种计算此比率的方法。
NCR=(细胞核的表面面积/细胞的表面面积)1/2
其中:
细胞的表面面积=细胞中的像素的数量;细胞核的表面面积=细胞核中的像素的数量。
此比率是小于1的数,因为细胞核位于细胞内。如果NCR非常接近1,则细胞被视为“裸细胞核”,并且因此在方法期间将被处理模块拒绝。因此,提出了让用户进行控制,以便用户可以输入阈值,在高于所述阈值时,细胞被视为“裸细胞核”。对于指示正常、临界或反常的NCR的阈值,提出了相同的建议。默认情况下,将这些阈值初始化为以下值:
a)NCR<0.5对应于正常NCR
b)0.5<NCR<0.7对应于临界NCR
c)NCR>0.7对应于反常NCR
d)NCR>0.9对应于未被计数且“要被拒绝”的裸细胞核
更精确地,从细胞的最大直径与细胞核的最大直径之间的比率来计算细胞核/细胞比率。如果细胞不是最佳的球形,则不使用实际直径,而是使用与细胞的最大直径相对应的细胞的端到端距离或长度。0.9与1之间包含的所有比率都是无法解释的,因为所述比率对应于裸细胞核。超过0.7的比率对应于较大的异常,而在0.5与0.7之间包含的比率对应于较小的异常。
其次,将描述另一种专门异常特性,即细胞核的不规则性的计算。
不规则细胞核应被理解为意指轮廓偏离被称为参考的非常光滑且规则的常规细胞核轮廓形状的任何细胞核。还可以将不规则细胞核视为具有角点或拐角的轮廓。
为此,提出了通过三种方法计算细胞核的不规则性。所描述的第三种方法是其它两种方法的合并。
首先描述基于计算与来自参考细胞的参考细胞核的差异的第一种方法。
计算出的差异可以是表面面积差异或周长差异或任何其它差异,如重心差异、细胞核的每个区域中的像素差异、每个(参考和真实的)细胞核的轮廓的长度之间的差异、每个细胞核的重心之间的线性差异、与每个细胞核相关的凸区域的像素的数量之间的差异、真实细胞核的偏心率与参考细胞核的偏心率之间的差异。回顾一下,对于圆,偏心率e=0;对于椭圆,0<e<1;并且对于抛物线,e=1,这是凸区域方面的差异。
除了其它以外,此方法基于计算细胞核的真实轮廓与细胞核的参考轮廓之间的差异,所述参考轮廓对应于在细胞核的边界包膜中包含的C2级闭凸曲线。为了确定细胞核的参考轮廓,将细胞核的边界包膜定义为其描绘长度与细胞核的最大直径相对应的边界矩形。使用边界矩形,处理模块将确定所述边界矩形内部的形成细胞核的轮廓的C2曲线。
作为实例,椭圆是C2级闭凸曲线。类似地,圆或椭圆是椭圆形C2闭凸曲线的具体情况。
然后,通过如以下等任何用于提取轮廓的方法来提取细胞核的轮廓:通过线性滤波或通过掩模的梯度检测器(如Sobel、Prewitt或Roberts)、用于提取轮廓的分析方法(如canny或Deriche滤波器)、通过将先前看到的边界包膜作为初始轮廓的活动轮廓、水平组、通过多尺度和多向变换提取的轮廓等。使用细胞核的轮廓的计算来计算细胞核的不规则性的专门异常特性的步骤的总结:
1.通过使用轮廓提取的方法来计算细胞核的真实轮廓;
2.确定细胞核的最大直径;
3.描绘细胞核的边界包膜,意指界定细胞核的长度等于细胞核的最大直径的矩形;
4.基于边界包膜,描绘形成估算的轮廓的C2级闭凸曲线;
5.通过计算和组合来自样品的数据和来自各种专门形状异常特性的参考数据,计算细胞核的真实轮廓与对应于步骤4中描绘的曲线的对应的参考细胞核的参考轮廓之间的差值;
6.使用细胞核的参考轮廓与实际轮廓之间的差值,用于根据用户预定或输入的阈值确定异常的存在,或者用于将此数据与其它关于专门异常特性的数据组合,并根据用户预定或输入的阈值确定异常的存在。
应当理解,这些特性可以在大裕度分离器类型分类器(基于裕度最大化的监督学习技术。裕度是分开的边界与被称为支持向量的最近的样品之间的距离。所述技术在于基于学习实例找到最大裕度分离边界。)的输入处使用和/或被将通过学习确定细胞核的不规则性的神经网络使用。
在第二步骤中,将描述用于基于细胞核轮廓中角点的检测来计算细胞核的不规则性的第二种方法。
在此,理念是通过以下来检测角点:检测“拐角”类型特性点,计算形成的对应的角,并通过考虑检测到的拐角的数量及其对应的角来估算细胞核的不规则性程度。
在此,拐角被定义为细胞核膜轮廓的角。拐角对应于细胞核膜的朝向与拐角的紧密邻域充分不同的两条线或两个轮廓的交叉点。
除了哈里斯检测器(Harris)不验证尺度不变性的特性并且只能检测单尺度的拐角(这可能导致检测到虚假拐角或跳过某些重要拐角,特别是在当图像对比度低时)以外,通常通过哈里斯检测器检测拐角。
哈里斯检测器的另一个主要缺点是,它通常产生对拐角的过度检测。为了解决这一缺点,在提出哈里斯检测器之后,使用最初由Edward Roston和Tom Drummond开发的FAST算法(来自加速分段测试的特征)。实际上,此后一种算法可以证明对消除冗余拐角有用。因此,此后一种算法将被应用于消除由哈里斯检测器检测到的虚假拐角。
进一步地,在本发明的范围内提出的原始和创意的理念是将轮廓波(contourlet)变换(多尺度多向变换)、哈里斯检测器与FAST算法(来自加速分段测试的特征)组合,以检测与细胞核的轮廓相对应的拐角并且然后提取朝向并估算细胞核的不规则性。目标是适当地估算限定细胞核膜的细胞核轮廓的不规则性。原始的理念是使用在揭示的轮廓中表现出色并充分增强轮廓以便能够正确估算其不规则性的变换。以所述方式,估算将不会常规地在初始图像域中进行,而是在由各种尺度构成的域中进行,在所述域中将清楚地示出并且良好地增强轮廓,以便正确地检测其不规则性。因此,变换是完美地表示曲线和轮廓的轮廓波类型多尺度且多向的变换。其是对于每个尺度允许沿不同朝向角分解的多尺度几何分析工具。与常规的小波变换不同,轮廓波完美地捕获了图像的各向异性特性(轮廓、边缘和纹理信息)。因此,毫无疑问,将轮廓波用于揭示细胞核的轮廓的不规则性是非常合适的。
描述的其余部分详细介绍了用于在此第二种方法的范围内提出的细胞核的不规则性的计算的步骤:
1.通过使用轮廓波变换分解第一图像。将存在对应于各种尺度和各种朝向的若干个图像;
2.计算用于每个尺度的每个像素的相关矩阵Me(与哈里斯检测器有关的矩阵);
3.推导与每个尺度相对应的每个像素的拐角的强度(拐角响应函数),其由以下估算:
Rθ=det Mθ-α(迹线Mθ)2,其中0.04<α<0.25
更精确地,通过“拐角响应函数”检测拐角的强度,所述拐角响应函数是在拐角的检测时返回高值的函数。此函数在某个点上的值越大或越强,则是拐角的可能性就越大。因子α限定了检测器的灵敏度。随着α变大,灵敏度变低并且拐角的数量将变小。通常,将α的值设置在0.04与0.06之间。此值可以更大,但不超过0.25。
4.在计算每个像素的拐角强度后,保存具有将与检测到的拐角相对应的高Re值的点的位置。此第一检测将在稍后进行改进,因为第一检测可能含有真实拐角和错误拐角(拐角的过度检测的问题)两者;
5.应用FAST算法来判断在包围检测点p的圆周围的密度。验证圆中是否存在一组n个连续的点,所述点都比强度(p)+t亮或比最终强度(p)-t暗(其中t是阈值)。如果是那种情况,则p是拐角;
6.使用非最大抑制来消除检测到的彼此邻近的拐角:
6.1计算所有检测到的拐角的评分函数V。其中V是拐角p与包围拐角的16个像素之间的绝对差之和;
6.2比较邻近拐角的评分V,以便消除具有最低评分V的拐角。
7.通过计算制成每个拐角或角点的两个分段之间的朝向差异来计算检测到的每个拐角或角点的角;
例如,如果第一分段的朝向为60°并且第二分段的朝向为45°,则绝对值之差为60°-45°=15°。
可替代地,可以不根据估算的分段而是直接使用第一图像1中的像素的值来进行角的计算。
8.通过将来自检测到的角点或拐角的数量和所述角点或拐角相应的角的数据组合来计算细胞核的不规则性程度;
不规则性程度的计算的实例:
细胞核的不规则性程度
Figure GDA0002770775080000171
9.基于在步骤9中获得的结果,根据用户预定或输入的阈值确定细胞核的不规则性水平。
在第三步骤中,将描述第三种方法,所述第三种方法由将计算细胞核的不规则性的第一种方法和第二种方法合并组成。
提出了将前述两种方法合并。可以通过如模糊逻辑等数据合并方法来组合来自前述两种方法的结果。在此,以下是可以应用的规则的实例。
1.如果第一种方法给出“规则细胞核”的结果,而第二种方法给出“具有低不规则性程度的细胞核”的结果,则最终决定将是“规则细胞核”;
2.如果第一种方法给出“不规则细胞核”的结果,而第二种方法给出“具有中等不规则性程度的细胞核”的结果,则最终决定将是“不规则细胞核”;
3.如果第一种方法给出“不规则细胞核”的结果,而第二种方法给出“具有零不规则性的细胞核”的结果,则最终决定将是“规则细胞核”。
第三,将描述另一种专门异常特性,即细胞核的超比色分析的计算。
在此,提出了计算细胞核的超比色分析的程度。步骤如下:
1.对于每个细胞,计算其细胞核的平均光强度,所述平均光强度对应于构成细胞核的像素的光强度之和除以细胞核中的像素的数量;
2.计算存在于第一图像1中的所有细胞的细胞核的平均光强度的平均I ref。Iref是细胞的所有细胞核的平均光强度之和除以细胞的数量;
3.将超比色分析的强度计算为要检查的细胞的细胞核的平均光强度与I ref之间的差异:
将通过分类方法(例如,通过SVM或神经网络类型学习)确定超比色分析阈值。以所述方式,根据所获得的值和超比色分析阈值,将确定细胞的超比色分析与否。
为了计算细胞核的超比色分析,在先前描述的步骤组中,可以用中值的计算任意地代替平均值的计算。
第四,将描述另一种专门异常特性,即细胞核的斑点比色分析的计算。
为此,提出了用于估算细胞核的斑点比色分析的三种方法。第一种方法基于来自图像的像素的光强度的值,第二种方法基于变换域中而不是图像域中的估算(换句话说,第二种方法不应用于来自图像的像素的值,而是应用于变换域中的系数的值),并且第三种方法由合并前述两种方法组成。
在第一步骤中,将描述基于图像域中的估算的第一种方法:
1.计算方差V,
2.计算图像的直方图并检测直方图中的峰的数量(峰数)(如果存在多于一个峰,则意指细胞核不具有均匀的颜色);
3.计算来自图像(或块)的每个像素的基于梯度的张量,以便形成相干图。如果像素的相干性大于其所处区域的相干性的平均值,则像素的相干性是不均匀区域的特性:
如果相干性(x,y)>平均值(包围(x,y)的区域)+3*标准偏差(包围(x,y)的区域),则(x,y)属于不均匀区域;
计算通过相干性(相干性数)检测到的不均匀点(或块)的总和;
4.合并这些特性[V、峰数和相干性数],并使用这些特性检测细胞核的斑点比色分析。
应当理解,这些特性可以用作SVM或神经网络类型分类器的输入。
在第二部分中,将描述基于变换域中的估算的第二种方法:
通过在受影响区域中(意指在细胞核中)存在最低的三个斑点来限定斑点比色分析。在此,理念是检测区域内的最低三个闭合轮廓。为此,提出了通过适当的变换如轮廓波变换来检测轮廓。此变换的区别在于,在均匀区域中的能量系数较低(接近0),而在通常与图像轮廓相对应的各向异性(非均匀)区域中的能量系数非常高。通过以下步骤来估算斑点比色分析:
1.通过适当的多尺度、多向变换如轮廓波或波原子变换来分解图像;
2.通过应用阈值以仅保留与图像的轮廓相对应的系数来检测高能分量区域;
3.将非线性对比增强函数应用于轮廓波中所选(阈值)系数;
4.通过使用逆变换重建来自所选系数的轮廓图像;
5.在轮廓图像中检测闭合轮廓并对其进行计数;
6.如果存在多于三个闭合轮廓,则可以得出结论,细胞核具有斑点比色分析。
在第三部分中,将描述第三种方法,所述第三种方法由将计算斑点比色分析的第一种方法和第二种方法合并组成。
与计算细胞核的不规则性一样,在此提出了将通过前述两种方法中的每一种方法获得的结果组合,以便获得用于每个细胞的细胞核的斑点比色分析异常的专门特性的精细化结果。
应当理解,借助于处理模块,将所计算异常的专门特性的组(细胞核/细胞比率、细胞核的不规则性、超比色分析和斑点比色分析)与由从细胞学已知的参考数据组成的参考数据组合。具体地,这些所计算数据既可以按原样使用,也可以通过分类器使用,或者与通过深度学习计算和生成的其它特性合并,以便确定细胞是正常的还是具有至少一个异常(步骤144)。如果样品不包括具有至少一个异常的至少一个细胞,则检测方法在此停止,并且如果样品具有具有至少一个异常的至少一个细胞,则检测方法继续。
在细胞异常检测步骤140结束时,处理模块确定细胞学样品中的具有至少一个异常的细胞的总数(步骤146)。
然后,在此,可以涉及根据样品的整体异常水平表征样品的第一步骤150。为此,将检测到的具有至少一个异常的细胞的总数与样品的异常水平的阈值进行比较。用户针对所述方法预先限定了样品的异常水平的此阈值。阈值对应于各自具有至少一个异常的至少三个细胞。用户可以根据分类结果的期望精细化以任何方式预先限定异常水平的此阈值。
根据本发明,如果具有至少一个异常的细胞的总数小于异常水平的阈值,则将细胞学样品分类为表示具有零异常水平152的样品的类别,如果具有至少一个异常的细胞的总数大于或等于异常水平的阈值,则将细胞学样品分类为表示具有不可忽略的异常水平154的类别的样品的类别,所述不可忽略的异常水平意指低异常水平和高异常水平154。
简而言之,根据另一个方面,本发明在此阶段以所述方式用于根据两种类别对细胞学样品进行分类:具有零细胞异常水平152的类别和具有不可忽略的细胞异常水平154的类别。此结果用于指出作为癌细胞的特性的细胞异常。以所述方式,此结果通过提供快速且可靠的标准化结果来用于帮助细胞技术人员和细胞病理学家诊断癌症。
如图6所示,检测方法可以包括根据样品的细胞异常水平(尤其具体地示出了样品中的低细胞异常水平)表征样品的第二步骤160。此异常水平对应于尚未经历显著的形态变形的细胞。优选地,根据此具体实施例,本发明用于将样品更精确地分类为被称为“低”的细胞异常水平类别或被称为“高”的细胞异常水平类别或被称为“零”的细胞异常水平类别。
在异常细胞检测之后,根据来自样品的这些细胞的形态或辐射测量异常水平将样品进行分类向医师提供了有关癌症诊断的真实帮助。实际上,被称为“低”的细胞异常水平可以与癌症的被称为“低级”的早期阶段相关联,并且被称为“高”的异常水平可以与癌症的被称为“高级”的晚期阶段相关联。
为此,为了检测在被称为低的水平下的异常,本发明使用荧光成像数字化的第二图像2。基于此第二图像2,由于在第一数字化图像1中预先限定的来自至少一种所选细胞类型如尿路上皮细胞类型的细胞在的样品中的位置,因此在类型学选择步骤162中选择了所述细胞。然后,可以借助于计算机实施的常规配准方法配准第一图像1和第二图像。
应当理解,为了执行此第二表征步骤160,必须在根据本发明的方法中已经较早进行了基于第一图像1的初始类型学选择步骤130,以便能够定位所选细胞类型的细胞。
细胞类型的此类型学选择子步骤162之后是在每个先前所选细胞的周围检测荧光晕圈的子步骤164。术语“晕圈”被定义为由于存在包围细胞且具有鲜明对比的荧光光环而被看到的一种现象。在实施方案变体中,测量晕圈的强度、荧光水平或荧光扩散水平。以所述方式,如果检测到荧光晕圈,优选地如果检测到荧光的最低水平或者还优选地检测到荧光的最低扩散水平,则将样品分类为表示具有低异常水平168的样品的类别。相反,将不具有荧光的细胞分类为零异常水平类别和高异常水平类别166。
根据本发明,提出了三种用于借助于处理模块对样品执行第二表征步骤160的方法。
下文在第一种方法的背景下详细给出了样品的第二表征步骤160的子步骤:
-使用第一图像1,并且使用细胞的重心的计算来检测所选细胞类型的每个细胞的中心;
-描绘沿从细胞的中心开始沿各个角到每个细胞的极限的每个笔直分段的强度剖面。例如,沿8个角:0°、45°、90°、135°、180°、225°、270°和315°;
-检测每个剖面的峰Pmax(最大值点)以及在最大值之前的谷Pmin(最小值点);
-描绘从峰Pmax的右边的谷Pmin到峰Pmax的左边的与强度剖面的曲线的交叉点Pint的强度剖面的曲线上的水平线;
-计算Xmax(峰的横坐标)与Xint(点Pint的横坐标)之间的(沿横坐标的)水平线性距离dx;
-计算Ymax(峰的纵坐标)与Yint=Ymin(Pint和Pmax的纵坐标)之间的(沿纵坐标的)竖直距离dy;
-针对每个细胞计算作为沿8个角的dx和dy的平均值的检测到的Dx和Dy。Dy将表示对晕圈的荧光晕圈的强度的第一估算值,并且Dx将表示对晕圈的扩散的第一估算值。
下文在第二种方法的背景下详细给出了样品的第二表征步骤160的子步骤:
在此,提出了根据细胞的图像片段的拉顿(Radon)剖面测量和计算荧光晕圈的扩散。
拉顿变换将图像表示为各个方向上的投影的集合。沿线的每个投影表示拉顿剖面。
以下是对于第二种方法所要遵循的步骤:
-在第一图像1中定位所选细胞类型的每个细胞的位置;
-在第二图像2中进行对应,以通过经过围绕每个细胞核延伸10%到30%的长度和宽度来提取与所选细胞类型的每个细胞相对应的图像片段;
-计算与各个角,优选地在第一种方法中使用的相同角的图像片段相对应的拉顿剖面;
-对于每个剖面,检测围绕细胞核延伸10%到30%的长度和宽度的每个图像的每个拉顿剖面的两个峰Pmin和Pmax,并且然后按照第一种方法的步骤计算晕圈的强度及晕圈的扩散的第二估算值。
可替代地,在第三种方法的背景下,由处理模块进行的样品的第二表征步骤160在于一种基于对存在的荧光“晕圈”的轮廓的不规则性进行计算的方法。换句话说,如果细胞具有晕圈的轮廓的高不规则性水平,则意指细胞具有荧光晕圈。为此,此第三种方法在于先前呈现的细胞核的不规则性计算的三种方法种之一。
对于上述执行样品的第二表征160的三种方法的组,非限制性地,将用于确定样品类别的结果与用户先前确定或预先输入的荧光强度和/或扩散水平的阈值进行比较。
应当理解,可以通过学习方法来组合和处理所描述的这三种方法,以便获得精细化结果。
因此,样品的此第二表征步骤160最终可以将样品的载玻片(因此将样品)分类为三种可能的类别,意指:可以与来自健康受试者的样品相关联的零异常水平类别;或可以与具有早期阶段的癌细胞或称为“低级”癌症的样品相关联的低细胞异常水平类别;或可以与具有晚期阶段的癌细胞或称为“高级”癌症的样品相关联的高细胞异常水平类别。
本发明的第二方面提出通过使用深度学习方法来使用在细胞学样品中进行细胞异常检测的第二种方法,以根据发现的细胞异常水平对细胞学样品载玻片图像进行直接分类。通常,深度学习方法教导计算机模型如何直接从图像执行如分类等任务。与深度学习和图像处理领域中通常进行的操作不同,此第二种方法的独创性在于,它无需对构成整个图像的图像片段中的每个图像片段进行事先分类就可以对一组图像片段进行分类。更精确地,此方法直接允许对来自载玻片的细胞学样品(意指样品的图像中包含的细胞组)的图像进行分类,而无需对来自样品的每个图像片段或细胞进行分类。应当注意的是,根据本发明的此分类方法在仅通过整体查看载玻片或载玻片的图像而不是通过查看独立于其它细胞的每个细胞才能进行异常或病理的检测时特别有用。为此,用于样品中的具有至少一个异常的细胞的此第二种检测方法使用深度学习计算机模型,以将一组观测值作为输入,并在输出中产生此组的分类。这些观察结果可以直接是细胞学样品的原始图像和/或表征图像片段(或描述性数据)的值的清单,例如使用第一种方法计算的值(应当理解,这些描述性数据将具有训练计算机模块的用途)。为此,此第二种方法使用了采用深度神经网络(NN)架构的深度学习方法。当在原始图像片段上使用此深度神经网络(NN)时,所述深度神经网络涉及深度卷积神经网络(CNN)。CNN将学习到的特性与来自描述符的输入数据进行卷积,并使用非常适合处理如图像等2D数据的2D卷积层。卷积神经网络可以直接通过学习来提取图像的专门表示。同样,深度学习方法需要相当大的计算能力。由于计算是高度可并行的,因此计算通常在图形处理器或GPU上进行。GPU是高性能的并设置有并行架构,所述并行架构对于实施此学习方法有效。GPU集成在处理单元或CPU中。同样,不能使用GPU独立处理条目中的每个条目,因为在时间上,从存储器到CPU和到GPU的数据传输仍然是最昂贵的操作之一。通常,为了解决此问题,深度学习方法使用通常用于通过分组或批次处理条目的四维张量(四维表)。
由于此最初使用的四维张量,细胞异常的此第二种检测方法对图像(意指图像片段的组)进行分类,而无需事先检测图像片段中的每个图像片段。换句话说,此第二种检测方法提出了检测具有至少一个细胞异常的细胞,并且不直接对图像片段进行分类,而是对表示细胞学样品的载玻片(载玻片)的图像的一组图像片段(原始图像片段和/或由以另一种方式计算出的值表征的图像片段)进行分类。为了执行此第二种方法,使用一大组标记的载玻片进行深度学习计算机模型的训练。在不进行此训练的情况下,第二种分类方法不起作用。在此情况下,输入是一组图像片段(原始图像片段和/或由第一种方法表征的图像片段),并且输出是类别之间的用于最终向来自分析的样品的图像片段的组的每个图像分配类别的概率分布。根据本发明,将在低细胞异常水平类别、高细胞异常水平类别和/或零细胞异常水平类别中选择类别。
进一步地,此方法进行“端到端”训练:意指直接将输入连接到输出,而不经过对来自细胞学样品的图像的每个图像片段进行分析的中间阶段。更精确地,从来自细胞学样品的细胞的一组图像片段开始,网络分配要完成的任务(例如,分类)并学习如何使所述任务自动化。此方法的另一个主要优点是学习方法的算法随数据一起发展并随着数据量的增加而持续改进。优选地,这些数据至少部分来自通过根据先前描述的第一方面的检测方法获得的数据。再优选地,检测方法的此第二方面可以有利地耦合来自一个透射图像和一个荧光图像(意指来自一个第一图像和一个第二图像)的数据。
在此提出的检测方法的第二方面是挑出批次功能以便能够处理组的深度学习方法的实施方案。
常规地,四维张量由图像的空间分量的两个维度(图像的高度的一个维度和宽度的一个维度)、通道(如果使用红绿蓝,则为RGB)的一个维度和批次“B”(B:对应于用于构建批次或分组的图像的数量)的一个维度构成。
通常,使用四维张量的唯一效用是加速计算。我们方法的独创性是将此张量用于将群体(在此为图像片段的组)进行分类的另一个目的。与其它学习方法常规进行所不同的是,取图像的批次B并产生B个决定:用于每个图像的一个决定(取B>1仅用于节省时间),取B个图像片段的批次(B:对应于构成整个图像的图像片段的数量),以便基于图像片段的组给出仅一个决定。实际上,在此提出的独创性是使用此功能来制作大量由于计算时间而初始存在的功能,并通过将此功能用于另一个目标和目的来挑出其功能。
考虑一组对应于数B(B应该足够小,使得可以将批次传输到存储器有限的GPU)的图像片段。常规地,学习方法使用为加快计算时间而选择的32到64个图像片段的批次。在本发明的背景下,未选择预先限定的数B,因为此数被用作每个载玻片图像的感兴趣的图像片段(例如,尿路上皮细胞的图像片段)的数量;(根据载玻片上的细胞学样品中存在的尿路上皮细胞的数量),此数随着载玻片图像的不同而不同。因此,可以用这些B个图像片段形成四维张量:B×RGB×H×W(B:图像片段的数量;RGB:三个颜色通道红绿蓝;H和W:分别为图像的高度和宽度)。对于透射电子显微镜,还可以考虑任意数量的常规RGB通道,并且对于透射电子显微镜和荧光显微镜图像对,还可以考虑任意数量的与F(F:荧光)相关联的RGB通道,如RGB(红绿荧光)。接下来,如果将此批次传输到神经网络中,直到完全连接层(意指不考虑前一层的空间方面并且因此每个图像片段仅产生一维向量的神经元层),则输出将因此具有B×F的大小,其中F是此完全连接层的大小(因此,将四维张量变换为二维张量)。
现在,可以将此二维张量B×F转置为1×F×B张量,并且对B,例如(最大或平均的)一维池应用对称操作。此变换在对称操作是本机编程的以便在维度3和4而不是维度1上进行的操作的程度上是有用的-因为需要使用完全连接层实际上是为了释放用于转置的这些维度3和4。因此,此结果给出了1×F张量,其中特性F应该含有有关图像片段的组的信息。应当理解,此1起因于此组必须产生1个与B个图像的批次相关联的单个分类数字。以所述方式,可以使用常规的深度学习方法,以便形成用于细胞学样品图像(意指一组图像)的分类问题的端到端网络。
图7总结了用于深度学习的实施方法,所述深度学习应用于与一组图像片段相对应的细胞学样品图像的分类。
最终类别被分配给一组图像片段。应当理解,此实施方法在此应用于细胞学样品图像分类,但是可以不受限制地任意地应用于其它领域。
根据第二方面,本发明提出了一种细胞学样品分类,利用所述细胞学样品分类,提取和计算样品中存在的专门细胞异常特性,以便借助于计算机视觉帮助诊断癌症。在此,本发明还根据第二方面提出了根据细胞学样品中遇到的细胞异常的水平,通过使用可以借助于计算机视觉来帮助诊断癌症的深度学习方法来进行细胞学样品分类的第二种方法。本发明还涉及一种用于基于至少一个数字化图像来进行细胞学样品分类的装置,所述装置适合于实施此类方法。每个用户可以限定其考虑以用于执行分类方法的阈值。进一步地,提出了一种通用方法,所述通用方法可根据每个用户的需求(意指根据应用领域和分类结果的期望的精细化)而适于每个用户。

Claims (7)

1.一种用于基于细胞学样品的至少一个第一数字化电子显微镜图像(1)来检测所述样品中的具有至少一个异常的细胞的方法,所述方法借助于计算机实施的处理模块进行,
所述方法包括处理所述第一图像的步骤(110),其包括以下子步骤:
-从所述第一图像(1)开始,借助于比色检测来检测所述样品中存在的每个元素(4)(步骤112)并且然后过滤选自至少一个分离的细胞(10)或一个细胞组(14)的每个元素(4);
-从每个检测的细胞组(14)开始,借助于基于所述细胞组(14)中的轮廓的检测的至少一种分割方法将具有细胞核的至少一个细胞个体化(步骤116);
所述方法进一步包括细胞异常检测的步骤(步骤140),其包括以下子步骤:
-对于在前述步骤中分离或个体化的每个细胞(10),计算用于不同异常的被称为“专门异常特性”的两个特性的数据并且通过将这些计算的数据与参考数据进行比较(步骤142)来确定所述细胞是否具有至少一个异常(步骤144);
-以及然后对所述样品中的具有至少一个异常的细胞的总数进行计数(步骤146);
所述方法进一步包括根据所述样品的异常水平表征所述样品的第一步骤(步骤150),其包括以下子步骤:
-将所述具有至少一个异常的细胞的总数与所述异常水平的阈值,优选地,等于各自具有至少一个异常的至少三个细胞的阈值进行比较;
-如果所述具有至少一个异常的细胞的总数小于所述异常水平的阈值,则将所述样品分类为表示具有零异常水平(152)的样品的类别;
-如果所述具有至少一个异常的细胞的总数大于所述异常水平的阈值,则将所述样品分类为表示具有已证明的异常水平(154)的样品的类别;
所述方法的特征在于,所述方法进一步包括类型学选择的步骤(步骤130),其包括以下子步骤:
-从所述样品的第一数字化图像(1)开始,测量所述细胞的大小并且然后根据所述细胞的大小对所述细胞进行分类(步骤132);
-将所测量细胞的每个类别与对应的细胞类型相匹配并且然后选择至少一种所选细胞类型,如尿路上皮细胞类型(步骤134)。
2.根据权利要求1所述的方法,其特征在于,所述专门异常特性中的至少一种专门异常特性是所述细胞中的所述细胞核的表面面积比率或所述细胞核的不规则性或所述细胞核的斑点比色分析或超比色分析。
3.根据权利要求1或2所述的方法,其特征在于,所述专门异常特性中的至少一种专门异常特性是所述细胞核的不规则性,其中所述细胞核的所述不规则性的计算是与每个分析的细胞核与被称为“参考”的细胞的细胞核类型之间的比较相对应的偏差计算,此偏差计算选自以下清单:表面差异、周长差异、所述细胞核的凸度差异、重心差异、检测到的每个细胞核的轮廓的长度之间的差异、所述细胞核的轮廓的不规则性的差异、每个细胞核中的像素数量的差异和所述细胞中的所述细胞核的偏心率的差异。
4.根据前述权利要求中任一项所述的方法,其特征在于,所述方法包括根据来自所述样品的细胞的异常水平表征所述样品的第二步骤(步骤160),其进一步包括以下子步骤:
-从所述样品的第二数字化荧光图像(2)开始,根据在所述第一数字化图像(1)中先前预先限定的所选细胞类型如尿路上皮细胞类型的细胞在所述样品中的位置(步骤134)选择所有细胞(步骤162);
-在每个先前所选细胞周围检测荧光晕圈的存在,优选地测量荧光水平(步骤164),再优选地测量荧光扩散水平;
-如果检测到荧光晕圈,优选地,如果荧光的所测量水平超过荧光的最低参考水平,还优选地,如果所述荧光的所测量扩散水平超过所述荧光的最低扩散水平,则将所述样品分类为表示具有低细胞异常水平(168)的样品的类别。
5.根据前述权利要求中任一项所述的方法,其特征在于,所述方法包括根据包括细胞核的细胞的数量并根据最小可用性阈值推荐所述细胞学样品的可用性的步骤(步骤120),优选地,所述最小可用性阈值等于在所述第一图像中检测到的包括细胞核(1)的至少七个细胞。
6.根据权利要求4和根据前述权利要求中任一项所述的方法,其特征在于,所述方法借助于所述处理模块将所有得到的数据组合并且将基于所述第一图像(1)和所述第二图像(2)分析的所述细胞学样品分类为与所述样品的细胞异常水平相关联的三种类别之一:零、低或高。
7.根据前述权利要求中任一项所述的方法,其特征在于,所述细胞学样品是来自自发排尿的尿液样品。
CN201980028142.XA 2018-03-29 2019-03-28 用于检测细胞学样品中的具有至少一个异常的细胞的方法 Pending CN112088296A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1800251 2018-03-29
FR1800251A FR3079617B1 (fr) 2018-03-29 2018-03-29 Methode de detection de cellules presentant au moins une anomalie dans un echantillon cytologique
PCT/FR2019/050718 WO2019186073A1 (fr) 2018-03-29 2019-03-28 Methode de detection de cellules presentant au moins une anomalie dans un echantilllon cytologique

Publications (1)

Publication Number Publication Date
CN112088296A true CN112088296A (zh) 2020-12-15

Family

ID=63014596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028142.XA Pending CN112088296A (zh) 2018-03-29 2019-03-28 用于检测细胞学样品中的具有至少一个异常的细胞的方法

Country Status (9)

Country Link
US (1) US11790673B2 (zh)
EP (1) EP3775840B1 (zh)
JP (1) JP7326316B2 (zh)
KR (1) KR102624956B1 (zh)
CN (1) CN112088296A (zh)
BR (1) BR112020019709A2 (zh)
CA (1) CA3095089A1 (zh)
FR (1) FR3079617B1 (zh)
WO (1) WO2019186073A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022093906A1 (en) * 2020-10-29 2022-05-05 Paige Ai, Inc. Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens
CN114241478A (zh) * 2021-11-25 2022-03-25 上海浦东发展银行股份有限公司 宫颈细胞图像中异常细胞图像识别方法、装置
WO2023195405A1 (ja) * 2022-04-04 2023-10-12 京セラコミュニケーションシステム株式会社 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
WO2024075274A1 (ja) * 2022-10-07 2024-04-11 日本電気株式会社 細胞分類装置、細胞分類方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933519A (en) * 1994-09-20 1999-08-03 Neo Path, Inc. Cytological slide scoring apparatus
WO2000003246A2 (en) * 1998-07-13 2000-01-20 Cellomics, Inc. A system for cell-based screening
CN101243192A (zh) * 2005-09-22 2008-08-13 艾可尼西斯公司 用于检测和定量多种亚细胞组分的方法
CN101484806A (zh) * 2006-05-17 2009-07-15 协乐民公司 一种对组织进行自动分析的方法
CN103907023A (zh) * 2011-09-13 2014-07-02 皇家飞利浦有限公司 检测生物学样品中的异常的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346200B1 (en) * 1999-11-18 2008-03-18 Ikonisys, Inc. Method and apparatus for computer controlled cell based diagnosis
KR20020080574A (ko) * 2001-04-16 2002-10-26 디엑스오 텔레콤(주) 자동 영상 분류를 통한 디지털 컬러 영상 화질 개선 방법
US20050136549A1 (en) * 2003-10-30 2005-06-23 Bioimagene, Inc. Method and system for automatically determining diagnostic saliency of digital images
US7760927B2 (en) * 2003-09-10 2010-07-20 Bioimagene, Inc. Method and system for digital image based tissue independent simultaneous nucleus cytoplasm and membrane quantitation
CA2833258A1 (en) 2011-04-15 2012-10-18 Constitution Medical, Inc. Measuring volume and constituents of cells
KR101677171B1 (ko) * 2015-04-24 2016-11-17 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
KR101700887B1 (ko) * 2015-07-24 2017-02-02 한밭대학교 산학협력단 영상 처리를 이용한 세포 계수 장치 및 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR102245021B1 (ko) * 2016-05-09 2021-04-26 인스티튜트 내셔널 드 라 싼테 에 드 라 리셰르셰 메디칼르 (인 썸) 고형 암을 갖는 환자의 분류 방법
US20170371886A1 (en) * 2016-06-22 2017-12-28 Agency For Science, Technology And Research Methods for identifying clusters in a dataset, methods of analyzing cytometry data with the aid of a computer and methods of detecting cell sub-populations in a plurality of cells
CN109562377A (zh) * 2016-06-30 2019-04-02 通用自动化实验技术公司 用于高通量微生物学应用的使用联合培养基策略的高分辨率系统、试剂盒、设备和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933519A (en) * 1994-09-20 1999-08-03 Neo Path, Inc. Cytological slide scoring apparatus
WO2000003246A2 (en) * 1998-07-13 2000-01-20 Cellomics, Inc. A system for cell-based screening
CN101243192A (zh) * 2005-09-22 2008-08-13 艾可尼西斯公司 用于检测和定量多种亚细胞组分的方法
CN101484806A (zh) * 2006-05-17 2009-07-15 协乐民公司 一种对组织进行自动分析的方法
CN103907023A (zh) * 2011-09-13 2014-07-02 皇家飞利浦有限公司 检测生物学样品中的异常的系统和方法

Also Published As

Publication number Publication date
US20210012088A1 (en) 2021-01-14
JP2021519920A (ja) 2021-08-12
US11790673B2 (en) 2023-10-17
FR3079617B1 (fr) 2023-12-22
EP3775840B1 (fr) 2024-10-23
JP7326316B2 (ja) 2023-08-15
BR112020019709A2 (pt) 2021-02-09
EP3775840A1 (fr) 2021-02-17
WO2019186073A1 (fr) 2019-10-03
KR20200136004A (ko) 2020-12-04
FR3079617A1 (fr) 2019-10-04
KR102624956B1 (ko) 2024-01-12
CA3095089A1 (fr) 2019-10-03

Similar Documents

Publication Publication Date Title
CN107274386B (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN110334706B (zh) 一种图像目标识别方法及装置
Agaian et al. Automated screening system for acute myelogenous leukemia detection in blood microscopic images
US8139831B2 (en) System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence
US6947586B2 (en) Multi-neural net imaging apparatus and method
US20130094750A1 (en) Methods and systems for segmentation of cells for an automated differential counting system
JP7326316B2 (ja) 細胞学的試料中の少なくとも1つの異常を有する細胞を検出するための方法
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
CN112990214A (zh) 一种医学图像特征识别预测模型
AU2021349226A1 (en) Critical component detection using deep learning and attention
Saxena et al. Study of Computerized Segmentation & Classification Techniques: An Application to Histopathological Imagery
CN109507193A (zh) 一种基于局部对比度增强与二值模式的织物瑕疵检测方法
Arunachalam Applications of Machine learning and Image processing techniques in the detection of leukemia
Yıldırım et al. Effect of color normalization on nuclei segmentation problem in h&e stained histopathology images
Alomari et al. Iterative randomized irregular circular algorithm for proliferation rate estimation in brain tumor Ki-67 histology images
CN117853806A (zh) 妇科肿瘤图像处理系统及其方法
CN116403211B (zh) 一种基于单细胞病理图像细胞核的分割和聚类方法及系统
JPH11507565A (ja) 画像改善装置及び方法
Beevi et al. Analysis of nuclei detection with stain normalization in histopathology images
Masood et al. Orientation sensitive fuzzy C means based fast level set evolution for segmentation of histopathological images to detect skin cancer
Polejowska et al. Impact of Visual Image Quality on Lymphocyte Detection Using YOLOv5 and RetinaNet Algorithms
Guan et al. Nuclei enhancement and segmentation in color cervical smear images
Arhami et al. A Semantic Segmentation of Nucleus and Cytoplasm in Pap-smear Images using Modified U-Net Architecture
Chen et al. What can machine vision do for lymphatic histopathology image analysis: a comprehensive review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201215

WD01 Invention patent application deemed withdrawn after publication