CN115210779A - 生物样品中对象的系统性表征 - Google Patents

生物样品中对象的系统性表征 Download PDF

Info

Publication number
CN115210779A
CN115210779A CN202180018102.4A CN202180018102A CN115210779A CN 115210779 A CN115210779 A CN 115210779A CN 202180018102 A CN202180018102 A CN 202180018102A CN 115210779 A CN115210779 A CN 115210779A
Authority
CN
China
Prior art keywords
class
objects
countable
object detection
connected components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018102.4A
Other languages
English (en)
Inventor
蒂博·特鲁德
弗洛朗·库齐尼耶-德维
利雅得·芬赞尼
马林·斯卡尔贝
李淑娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vitades International
Original Assignee
Vitades International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vitades International filed Critical Vitades International
Publication of CN115210779A publication Critical patent/CN115210779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种对可从处理到载玻片上的尿样中回收的对象进行分类和计数的方法，该方法包括以下步骤：接收整个载玻片的至少一幅数字化图像；通过分割整个载玻片的图像来检测连通分量；使用分类器将检测到的连通分量分类为可计数连通分量和不可计数连通分量；对于可计数个连通分量，使用对象检测模型来获得每个类的对象数量；对于不可计数分量，使用语义分割模型获得每一类的对象数量；对从语义分割模型和对象检测模型获得的每个类的对象数量求和，输出每个类的对象数量。

Description

生物样品中对象的系统性表征
发明领域
本发明涉及生物分析领域，特别是用于检测泌尿病理学。更具体地说，本发明涉及一种方法，该方法提供至少一种，优选多种对象的特征的准确信息，这些对象可以在受试者的体液样品，特别是尿液样品中发现。
本发明涉及一种用于分析体液样本中相关对象的方法和系统，该体液样本优选为尿样。本发明的方法和系统可用于检测、区分和/或计数至少一个样本中的对象，所述对象包括例如细胞或细菌。
本发明还涉及从生物样品，特别是尿样中对象的系统性研究和表征所得到的可靠信息的显示。
背景技术
样本分析是提供受试者健康状况概览的最常见测试之一。样本中某些特征对象的出现可能具有临床意义和/或指示受试者的病理状况。
尿样可能含有多种对象，如细胞团、细胞团块或细胞薄片；血细胞，例如红细胞或红血细胞(RBC)；尿路上皮细胞，尤其是非典型尿路上皮细胞；晶体；淋巴细胞、白细胞或白血球(WBC)；中性粒细胞、单核细胞、嗜酸性粒细胞；或者微生物，例如细菌。
进行尿沉淀分析的常用方法是将样本中存在的尿细胞沉积在显微镜载玻片上，然后使用明场光学技术对载玻片进行数字化处理。然而，尽管细胞被小心地沉积到载玻片上，载玻片上仍可能出现不规则的细胞层、细胞团和其他细胞堆。
这个问题在现有技术中已经提出。
作为现有技术样本中细胞分析的实例，FR2996036报道了一种用于识别生物组织中细胞的方法，每个细胞包含由细胞膜界定的细胞质，该方法包括以下步骤：a)获取包含待识别细胞的生物组织切片的原始数字化图像，该原始图像包含多个具有不同强度值的像素；b)自动生成至少一个阈值图像；c)在阈值图像中自动搜索由具有相同预定强度值的多个连续像素形成的表面，由此找到的每个表面构成候选细胞。根据本发明，预定强度值是对应于细胞质的第一和第二强度值的强度值。
然而，该方法在具有细胞重叠、细胞堆、细胞堆叠和/或细胞团的样品中并不准确。
WO2015102948旨在在去除环境光和散焦噪声的影响之后，通过计算外围区域中的平均像素值和中心区域中的平均像素值之间的差来提高形成尿的成分的分类的准确性。
然而，这种技术对处理细胞团没有帮助。
WO2015168365描述了一种用于处理尿沉淀图像的待处理块的方法，包括以下步骤：
-将待处理的块中的像素的颜色近似为编码簿中的kc颜色之一(其中编码簿是在一组尿样块中生成的一组kc颜色)；
-获得颜色近似结果落在kc颜色的每种颜色上的像素数的分布直方图；
-使用出现频率校正因子来校正颜色近似结果落在分布直方图中每种颜色上的像素数；
-标准化校正的像素数量，其颜色近似结果落在分布直方图中每种颜色上；将标准化分布直方图作为块处理特征集中的特征集，对待处理块进行处理。
当块被很好地定义时，这种技术特别有用，但是当图像模糊或者没有完全聚焦在相关块上时，可能不会给出准确的结果。
此外，该方法需要数据增强和预处理的步骤，包括旋转、缩放、平移、裁剪、镜像、弹性变形中的至少一个。
因此，需要找到成本效益好、简单、可靠且可重复的方法和系统，其能够处理通过明场成像获得的大量图像，以便提出一种尿液样本筛查方法，该方法适合于筛查大量人群，尤其是有患上与年龄、吸烟习惯或工业暴露相关的泌尿系统疾病风险的人群。
这就是发明涉及一种满足上述未满足需求的方法的原因，该方法通过使用成本效益好的、可再现的和精确的装置来计算数字化图像，以识别和计数尿样的对象，并立即显示所述计数。本发明还包括一种逐个地快速操作大量样品的方法。
发明内容
本发明涉及一种用于对可从处理到载玻片上的尿样中回收的对象进行分类和计数的方法，其中该方法包括以下步骤：
-接收整个载玻片的至少一幅数字化图像；
-通过分割整个载玻片的图像来检测连通分量；
-使用分类器将检测到的连通分量分类为可计数连通分量和不可计数连通分量；
-对于可计数连通分量：
·将每个可计数连通分量输入到对象检测模型中，以便检测对象并获得输出，该输出包含每个检测到的对象的边界框和相关联的类；
·对与每个类相关联的边界框进行计数，获得每个类的对象数量；
-对于不可计数分量：
·将每个不可计数连通分量输入到语义分割模型中，并获得分割掩模作为输出，在该分割掩模中，所有像素被分类到预定义的可用类中的一个类中；
·对于每个对象类，将对象数量计数为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
其中语义分割模型和对象检测模型的所述类是相同的，
-对从语义分割模型和对象检测模型获得的每个类的对象数量求和；
-输出每个类的对象数量。
有利的是，本发明的方法允许对对象进行精确计数，即使当对象的边界由于未聚焦的图像或载玻片上对象的厚度而难以检测，事实上，当单个对象或重叠对象具有相当大的厚度时，对象的一些部分可能失焦，导致图像模糊/有噪声。这种方法大大减少了由于不准确的分割造成的不准确性。
在一个实施方案中，语义分割模型是U-Net。
根据一个实施方案，对象检测神经网络是Faster-RCNN、CenterNet、SOLO或YOLO。
根据一个实施方案，接收的数字化图像由明场光学系统生成。
根据一个实施方案，使用标记的数字化图像的数据集来训练模型。
在一个实施方案中，使用由临床医生标记的数字化图像的数据集来训练语义分割模型和对象检测模型。
在一个实施方案中，使用随机梯度下降训练方法来训练语义分割模型和对象检测模型。随机梯度下降优化方法有利地允许在每个优化步骤节省计算时间。
它包括用估计值(根据随机选择的数据子集计算)代替实际梯度值(根据整个训练数据集计算)。这在诸如本发明中的大规模机器学习问题的情况下非常有效。
在一个实施方案中，每个类与以下列表中的至少一个对象相关联：
-白细胞：嗜碱性粒细胞、中性粒细胞、巨噬细胞、单核细胞和嗜酸性粒细胞；
-红细胞；
-细菌；
-尿晶体；
-柱状体；
-健康的和非典型的尿路上皮细胞；
-鳞状细胞；
-反应性尿路上皮细胞，
-酵母菌。
根据一个实施方案，该方法还包括在整个载玻片的至少一部分的数字化图像旁边显示每个类的对象总计数的步骤。
根据一个实施方案，该方法还包括显示至少一个字符串的步骤，该字符串向数字化图像提供关于类中存在或不存在对象的信息。
在一个实施方案中，通过巴氏染色或本领域技术人员已知的任何其他多色细胞学染色对样品进行染色。
本发明还涉及一种用于对可从处理到载玻片上的尿样中回收的对象进行分类和计数的系统，所述系统包括：
-至少一个输入，其适配为接收包含多个对象的整个载玻片的至少一幅数字化图像；
-至少一个处理器，其被配置为：
·通过分割整个载玻片的图像来检测连通分量；
·使用分类器将检测到的连通分量分类为可计数连通分量和不可计数连通分量；
·对于可计数连通分量：
i.将每个可计数连通分量输入到对象检测模型中，该对象检测模型被配置成检测对象并为每个对象输出一个边界框和相关联的类；
ii.对与每个类相关联的边界框进行计数，获得每个类的对象数量；
·对于不可计数分量：
i.将每个不可计数连通分量输入到语义分割模型中，并获得分割掩模作为输出，在该分割掩模中，所有像素被分类到预定义的可用类中的一个类中；
ii.对于每个类，将对象数量计数为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
·对从语义分割模型和对象检测模型获得的每个类的对象数量求和；
其中该针对语义分割模型和对象检测模型的类是相同的，
-至少一个输出，其适配为提供每个类的对象数量。
以等效的方式，该系统可以包括：
-采集模块，被配置为接收包含多个对象的整个载玻片的至少一幅数字化图像；
-计算模块，被配置为：
·通过分割整个载玻片的图像来检测连通分量；
·使用分类器将检测到的连通分量分类为可计数连通分量和不可计数连通分量；
·对于可计数连通分量：
·将每个可计数连通分量输入到对象检测模型中，该对象检测模型被配置成检测对象并为每个对象输出一个边界框和相关联的类；
·对与每个类相关联的边界框进行计数，获得每个类的对象数量；
·对于不可计数分量：
·将每个不可计数连通分量输入到语义分割模型中，并且获得分割掩模作为输出，在该分割掩模中，所有像素被分类到预定义的可用类中的一个类中；
·对于每个类，将对象数量计数为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
其中该针对语义分割模型和对象检测模型的类是相同的，
-对从语义分割模型和对象检测模型获得的每个类的对象数量求和；
-输出模块，其被配置为输出每个类的对象数量。
本发明还涉及一种用于对可从尿样中回收的对象进行分类和计数的计算机程序产品，该计算机程序产品包含指令，当程序由计算机执行时，该指令使计算机执行根据上述任一实施方案的方法的步骤。
本发明还涉及一种计算机可读存储介质，其包含指令，当程序由计算机执行时，该指令使计算机执行根据上述任一实施方案的方法的步骤。
定义
在本发明中，以下术语具有以下意思：
·细胞的“非典型”是指具有至少一种在非病理情况下没有报道的细胞特征。
·“非典型尿路上皮细胞”(AUC)在此参照Paris System for Reporting UrinaryCytology(TPSRUC)进行定义。
·“明场光学系统”指的是如下成像技术，其通过均匀照射整个样品产生图像，使得样品在明亮的背景下显示为暗图像。明场成像被用作观察和检查样品的一般成像技术。
·“分类”是指将受试者样本中的对象分类为不同的目标类，例如红细胞。
·“连通分量”指的是一个对象或一组对象，其中所有像素共享相似的像素强度值，并且以某种方式相互连通。图2显示了连通分量的实例。
·“计数”是指在受试者的样本中，计算每个目标类的对象的数量。
·“可计数连通分量”是指如下一组分量，在本发明的情况下，这些分量被称为对象(即白细胞、细胞、细菌等)，受过训练的医生会将其识别为一个组，其中他/她可以识别每个单个对象，因此他/她能够计算该组中包含的对象的数量。另一方面，“不可计数连通分量”指的是与可计数连通分量相反的情况，其中受过训练的医生可以识别一组对象，但是不能识别该组中的单个对象。图2提供了可计数和不可计数分量的实例。通常由一组训练有素的医生来定义连通分量的客观标度，该标度类似于标准，并被细胞学图像分析领域的技术人员所接受。
·“数据集”是指用于建立机器学习(ML)数学模型以便进行数据驱动的预测或决策的数据集合。在监督学习中(即，以标记的训练数据的形式从已知的输入-输出实例中推断函数)，三种类型的ML数据集(也称为ML集合)通常专用于三种相应的任务：训练，即拟合参数，验证，即调整ML超参数(其是用于控制学习过程的参数)，以及测试，即独立于用于建立数学模型的训练数据集，检查后者是否提供令人满意的结果。
·“神经网络或人工神经网络(ANN)”指定了ML的类别，其包含节点(称为神经元)，以及通过权重建模的神经元之间的连接。对于每个神经元，输出是由激活函数根据一个输入或一组输入给出的。神经元通常被组织成多层，使得一层的神经元仅与紧邻的前一层和紧邻的后一层的神经元连接。
·“YOLO”或“You Only Look Once”指的是单个卷积网络，其架构被显著地配置为用于对象检测。
·“SOLO”(按位置分割对象)指的是一种如下人工神经网络(ANN)，其结合了自组织特征图(SOFM)、主成分分析和多元线性回归，以产生鲁棒、稳定的网络架构，并给出高质量的预测。
·“Faster R-CNN”：指的是属于两阶段对象检测器家族的对象检测模型。FasterR-CNN中的两个阶段分别对应于两个神经网络。第一个称为区域提议网络(RPN)，输出一组候选边界框。第二个细化边界框坐标，并将边界框分类到预定义的类中。
·术语“处理器”不应该被解释为局限于能够执行软件的硬件，而是泛指处理设备，例如可以包括计算机、微处理器、集成电路或可编程逻辑器件(PLD)。处理器还可以包含一个或多于一个图形处理单元(GPU)，无论是用于计算机图形和图像处理还是用于其他功能。此外，能够执行相关和/或最终功能的指令和/或数据可以存储在任何处理器可读介质上，例如集成电路、硬盘，CD(光盘)、诸如DVD(数字通用光盘)的光盘，RAM(随机存取存储器)或ROM(只读存储器)。值得注意的是，指令可以存储在硬件、软件、固件或其任意组合中。
·“语义分割”：指的是被配置为将图像的每个像素单独分类到预定义类中的算法。
·术语“适配”和“配置”在本公开中被用作广泛地包含本设备的初始配置、之后的适配或补充，或其类似的任何组合，无论是通过材料还是软件手段(包括固件)来实现。
附图说明
本发明的特征和优点将出现在下面的描述中。将解释关于本发明的设备和方法的几种实现模式。
图1是表示根据一个实施方案的本发明方法的步骤的框图。
图2提供了包含连通分量的数字化的整个载玻片图像的图示，以及如何在可计数连通分量和不可计数连通分量之间分类连通分量的说明性实例。
具体实施方式
本发明涉及一种成本效益好且高通量的筛选生物样品的方法，该生物样品特别是处理成载玻片的尿样。更准确地说，本发明的方法旨在区分和计数存在于受试者生物样品中的对象。
从受试者获得尿样。样品也可以是另一种体液，例如血液、血浆、血清、淋巴、腹水、囊液、尿、胆汁、乳头渗出物、滑液、支气管肺泡灌洗液、痰、羊水、腹膜液、脑脊液、胸膜液、心包液、精液、唾液、汗液、粪便、粪便和肺泡巨噬细胞。样品可以被浓缩或富集。
在一个实施方案中，本发明的方法不包括从受试者获得样品。在一个实施方案中，受试者的样品是先前从受试者获得的样品。在根据本发明的方法使用之前，所述样品可以储存在适当的条件下。
样品可以从健康受试者或呈现肿瘤细胞或有发展成泌尿病理学风险的不健康受试者中收集。本发明的方法被设计用于大量受试者。
在一个实施方案中，样品被均质化，沉积在过滤器上，然后与载玻片接触，以便将细胞沉积在其中。载玻片的材料优选是玻璃，但也可以是其它材料，例如聚碳酸酯。该材料可以是一次性材料。
根据巴氏染色方案对载玻片沉积物进行染色，以检测细胞的形态变化，这些变化是癌症风险的指标。或者，可以一起使用不同的着色方法。
染色后，盖上载玻片。例如，载玻片可以被盖玻片或塑料膜覆盖。
根据一个实施方案，尿样载玻片的图像从明场光学系统，例如全载玻片扫描仪获得。
对于扫描步骤，可以使用任何合适的明场光学系统，例如Hamamatsu Nanozoomer-S60载玻片扫描仪来将安装的载玻片数字化。也可以用Hamamatsu Nanozoomer-S360载玻片扫描仪或3DHistech的P250或P1000实现数据采集。
载玻片的数字化图像可以是矩形的。待分析的数字化图像可以被裁剪，以定义目标区域，其中对每个目标区域进行分析。可以在目标区域内划分敏感区域，以提高分析的准确性。
这里公开的实施方案包括本说明书中描述的各种操作。这些操作可以由硬件组件来执行和/或可以包含在机器可执行指令中，这些指令可以用于使用执行该操作的指令所编程的通用或专用处理器。或者，这些操作可以通过硬件、软件和/或固件的组合来执行。
这里描述的一个或多于一个操作的性能可以分布在一个或多于一个处理器中，这些处理器不仅设置在单个机器中，而且设置在多个机器上。在一些实例中，一个或多于一个处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他实施方案中，一个或多于一个处理器或处理器实现的模块可以分布在多个地理位置。
如图1所示，根据一个实施方案，方法100的第一步骤110包括接收整个载玻片的至少一幅数字化图像或整个载玻片的至少一部分。
在一个实施方案中，该方法还包括通过分割整个载玻片或整个载玻片的至少一部分的图像来执行连通分量的步骤120。分割方法可以是基于阈值的方法，允许从背景中分离前景。可以从分割掩模中找回前景中的连通分量。连通分量包含一个对象或一组对象。
在一个实施方案中，使用分类器(步骤130)，例如卷积神经网络将检测的连通分量分类为可计数连通分量和不可计数连通分量。可计数连通分量是人类能够在视觉上识别包含在其中的每个对象的连通分量。相反，不可计数连通分量是人类无法视觉识别的对象。图2提供了这些可计数和不可计数连通分量的实例。
根据一个实施方案，本发明的方法包括对于可计数的连通分量，将每个可计数连通分量输入到对象检测模型中的步骤140。对象检测模型被配置成检测包含在可计数连通分量中的对象，并获得一个边界框和每个检测的对象的相关类作为输出，其中该类是从预定义的可用类中选择的。因此，该步骤包括输出从对象检测模型中检测的每个对象的边界框和一个相关联的类。
根据一个实施方案，对象检测模型是Faster-RCNN、CenterNet、SOLO或YOLO。
在Faster R-CNN中，图像作为输入被提供给卷积网络，该网络提供卷积特征图。Faster R-CNN由两个模块组成。第一个模块是建议区域的深度全卷积网络，第二个模块是使用所建议的区域的Faster R-CNN检测器。整个系统是单一的、统一的对象检测网络。具有‘注意(attention)’机制的神经网络，用于生成区域建议的RPN模块。这里与Faster R-CNN的主要不同在于，后者使用选择性搜索来生成区域建议。当RPN与对象检测网络共享大部分计算时，RPN中生成区域建议的时间消耗比选择性搜索小得多。简而言之，RPN对区域框(称为锚点)进行排序，并提出最有可能包含对象的那些。
与其他两个对象检测模型(YOLO的CenterNet)不同，Faster R-CNN是两阶段的对象检测器，这意味着首先提出边界框，然后对其进行细化。在一阶段检测器中，边界框不被细化。因此，该模型的性能通常优于单阶段对象检测器。
CenterNet将每个对象检测为三个一组的关键点，而不是成对的关键点，这提高了精确度和召回率。CenterNet探索建议的中心部分，即靠近几何中心的区域，带有一个额外的关键点。CenterNet的架构包含卷积主干网，其应用级联角池(cascade corner pooling)和中心池(center pooling)来分别输出两个角热图和一个中心关键点热图。类似于CornerNet，使用一对检测的角和相似的嵌入来检测潜在的边界框。然后，使用检测的中心关键点来确定最终的边界框。CenterNet相对于其他模型的优势在于，它通常更容易实现，训练和推理时间更快。
YOLO使用较少的锚框(将输入图像分成S×S网格)来进行回归和分类。更详细地说，YOLO是受GoogleNet“启发”的网络。它有24个卷积层作为特征提取器，两个全连通层用于进行预测。特征提取器的架构被称为Darknet。总之，输入图像被馈送到特征提取器(Darknet)，特征提取器输出形状为S×S的特征图。因此，图像被分成S×S单元的网格。特征图的每个单元被馈送到由两个连续的完全连通的层组成的块，该块利用它们在K个类上的置信度得分和类概率来预测B边界框。置信度得分以IOU(交集/并集)度量的形式给出，IOU度量基本上测量检测到的对象与地面真实对象重叠的程度。算法最小化的损失考虑了边界框位置(x，y)的预测、它们的尺寸(h，w)、所述预测的置信度得分(obj得分)和预测的类(类概率)。
另一方面，SOLO使用“实例类别”，根据实例的位置和大小为实例内的每个像素分配类别，从而将实例分割转换为单次分类可解决的问题。有利地，SOLO提供了更简单和灵活的具有强大性能的实例分割框架，实现了与Mask R-CNN相当的准确度，并且在准确度上超过了最近的单次实例分割器。
YOLO和SOLO的更简单的架构对于在医学领域中的实施特别有利，在医学领域中，仅有少量的数据可用于训练数据集，并且还提供了更快的推断，这在每个待分析的单个载玻片上存在数千个细胞的情况下很重要的。
根据一个实施方案，该方法还包括对与作为对象检测模型的输出而获得的每个类相关联的边界框进行计数，以便获得每个类的对象总数的步骤150。
根据一个实施方案，该方法包括步骤160，将每个不可计数连通分量输入到语义分割模型中，并获得分割掩模作为输出，在该分割掩模中，所有像素被分类到预定义的可用类中的一个类中。在一些情况下，当对象之间存在严重重叠时，人类无法单独识别这些对象。因此，在这种情况下，对象检测模型将无法检测每个单独对象。因此，分割模型有利地允许计算对象的近似计数。
根据一个实施方案，语义分割模型是U-Net。U-Net的架构看起来名副其实地像一个“U”。该架构由三部分组成：(1)收缩段(contraction section)，(2)瓶颈段(bottlenecksection)和(3)膨胀段(expansion section)。
收缩段由几个收缩块组成。每个块接受输入，应用两个3×3卷积层，后跟2×2最大池。每个块之后的核或特征映射的数量加倍，使得架构可以有效地学习复杂的结构。
瓶颈介于收缩段和膨胀段之间。它使用两个3×3卷积层，后跟2×2上采样层。
和收缩段一样，膨胀段也由几个膨胀块组成。在每个膨胀块的开始，相应收缩块的输出特征图和前一个膨胀块的输出串联。然后，该串联块通过两个3×3卷积层和一个2×2上采样层。对于每个膨胀块，在第一个3×3卷积层之后，特征图的数量除以2。
最后，得到的特征图通过最后的1×1卷积层，其中得到的特征图的数量等于类的数量。
根据一个实施方案，该方法包括步骤170，对于语义分割模型的每个类，将对象的数量计数为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与所述类相关联的分割掩模的像素数量而获得的。
根据一个实施方案，其中针对语义分割模型和对象检测模型的预定义的类是相同的，
根据一个实施方案，使用标记的数字化图像的数据集来训练语义分割模型和对象检测模型。
根据一个实施方案，使用随机梯度下降训练方法来训练语义分割模型和对象检测模型。
根据一个实施方案，每个类与以下列表中的至少一个对象相关联：
-白细胞：嗜碱性粒细胞、中性粒细胞、巨噬细胞、单核细胞和嗜酸性粒细胞；
-红细胞；
-细菌；
-尿晶体；
-柱状体；
-健康的和非典型的尿路上皮细胞；
-鳞状细胞；
-反应性尿路上皮细胞，和/或
-酵母菌。
根据一个实施方案，该方法还包括在整个载玻片的至少一部分的数字化图像旁边显示每个类的对象总计数的步骤。在这种情况下，用户可以有利地可视化用该方法获得的对象计数结果以及数字化图像。
根据一个实施方案，该方法还包括显示至少一个字符串的步骤，该字符串向数字化图像提供关于类中存在或不存在对象的信息。字符串可以与数字化图像一起显示。
本发明还涉及一种用于对可从处理到载玻片上的尿样中回收的对象进行分类和计数的系统。在下文中，模块将被理解为功能实体，而不是物质的、物理上不同的组件。因此，它们可以被体现为一起组合在同一个有形和具体的组件中，或者被分布到几个这样的组件中。此外，这些模块中的每一个本身可能在至少两个物理组件之间共享。此外，这些模块也可以用硬件、软件、固件或它们的任何组合形式来实现。它们优选地包含在系统的至少一个处理器中。
本发明的系统可以包括采集模块，该采集模块被配置为接收包含多个对象的整个载玻片的至少一幅数字化图像。采集模块可以与配置成采集整个载玻片的至少一个图像的明场光学系统连接。
在一个实施方案中，该系统包含计算模块，该计算模块被配置为：
-通过分割整个载玻片的图像来检测连通分量；
-使用分类器将检测的连通分量分类为可计数连通分量和不可计数连通分量；
-对于可计数连通分量：
·将每个可计数连通分量输入到对象检测模型中，该对象检测模型被配置成检测对象并为每个对象输出一个边界框和相关联的类；
·对与每个类相关联的边界框进行计数，获得每个类的对象数量；
-对于不可计数分量：
·将每个不可计数连通分量输入到语义分割模型中，并获得分割掩模作为输出，在该分割掩码中，所有像素被分类到预定义的可用类中的一个类中；
·对于每个类，将对象数量计数为该类的总像素面积与该类的对象的平均面积比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
其中针对语义分割模型和对象检测模型的预定义的类是相同的，
-对从语义分割模型和对象检测模型获得的每个类的对象数量求和。
根据一个实施方案，该系统包括输出模块，该输出模块被配置为为每个类输出多个对象。
本发明还包括一种用于对可从尿样中回收的对象进行分类和计数的计算机程序产品，该计算机程序产品包含指令，当程序由计算机执行时，该指令使计算机执行根据上述任一实施方案的方法的步骤。
执行如上所述的方法的计算机程序产品可以被写成计算机程序、代码段、指令或其任意组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机来操作，以执行由硬件组件执行的操作。在一个实例中，计算机程序产品包含由处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个实例中，计算机程序产品包含由处理器或计算机使用解释器执行的高级代码。本领域普通技术人员可以基于附图中示出的框图和流程图以及说明书中的相应描述来容易地编写指令或软件，其公开了用于执行如上所述的方法的操作的算法。
本发明还包括一种计算机可读存储介质，该介质包含指令，当程序由计算机执行时，该指令使计算机执行根据上述任一实施方案的方法的步骤。
根据一个实施方案，计算机可读存储介质是非暂时性计算机可读存储介质。
实现本实施方案的方法的计算机程序通常可以在分布式计算机可读存储介质上分配给用户，所述分布式计算机可读存储介质例如但不限于SD卡、外部存储设备、微芯片、闪存设备、便携式硬盘驱动器和软件网站。计算机程序可以从分布介质复制到硬盘或类似的中间存储介。可以通过将计算机指令从它们的分布介质或它们的中间存储介质加载到计算机的执行存储器中，配置计算机根据本发明的方法来运行计算机程序。所有这些操作对于计算机系统领域的技术人员来说都是已知的。
控制处理器或计算机实现硬件组件和执行上述方法的指令或软件，以及任何相关联的数据、数据文件和数据结构，被记录、存储或固定在一个或多于一个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质的实例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储设备、光数据存储设备、硬盘、固态盘，以及本领域普通技术人员已知的任何设备，其能够以非暂时性的方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得处理器或计算机能够执行指令。在一个实例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由处理器或计算机以分布方式存储、访问和执行。

Claims (15)

1.一种用于对可从处理到载玻片上的尿样中回收的对象进行分类和计数的方法(100)，该方法包括：
-接收(110)整个载玻片的至少一幅数字化图像；
-通过分割整个载玻片的图像来检测(120)连通分量；
-使用分类器将检测到的连通分量分类(130)为可计数连通分量和不可计数连通分量；
-对于可计数连通分量：
·将每个可计数连通分量输入(140)到对象检测模型中，以便检测对象并获得输出，该输出包含每个检测的对象的边界框和相关联的类；
·对与每个类相关联的边界框进行计数(150)，获得每个类的对象数量；
-对于不可计数分量：
·将每个不可计数连通分量输入(160)到语义分割模型中，并获得分割掩模作为输出，在该分割掩模中，所有像素被分类到多个预定义的可用类中的一个类中；
·对于每个类，将对象数量计数(170)为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
-对从语义分割模型和对象检测模型获得的每个类的对象数量求和；
-输出每个类的对象数量；
其中该针对语义分割模型和对象检测模型的类是相同的。
2.根据权利要求1所述的方法，其中语义分割模型是U-Net。
3.根据权利要求1或2所述的方法，其中对象检测模型是Faster-RCNN、CenterNet、SOLO或YOLO。
4.根据权利要求1至3中任一项所述的方法，其中接收的数字化图像由明场光学系统生成。
5.根据权利要求1至4中任一项所述的方法，其中使用标记的数字化图像的数据集来训练语义分割模型和对象检测模型。
6.根据权利要求1至5中任一项所述的方法，其中使用随机梯度下降训练方法来训练语义分割模型和对象检测模型。
7.根据权利要求1至6中任一项所述的方法，其中语义分割模型和对象检测模型的每个类与以下列表中的至少一个对象相关联：
-白细胞：嗜碱性粒细胞、中性粒细胞、巨噬细胞、单核细胞和嗜酸性粒细胞；
-红细胞；
-细菌；
-尿晶体；
-柱状体；
-健康的和非典型的尿路上皮细胞；
-鳞状细胞；
-反应性尿路上皮细胞，和/或
-酵母菌。
8.根据权利要求1至7中任一项所述的方法，其还包括在整个载玻片的至少一部分的数字化图像旁边显示每个类的对象总计数。
9.根据权利要求1至8中任一项所述的方法，其还包括显示至少一个字符串，该字符串向数字化图像提供关于类中存在或不存在对象的信息。
10.根据权利要求1至9中任一项所述的方法，其中样品通过巴氏染色法染色。
11.一种用于对可从处理到载玻片上的尿样中回收的对象进行分类和计数的系统，该系统包括：
-至少一个输入，其适配为接收包含多个对象的整个载玻片的至少一幅数字化图像；
-至少一个处理器，其被配置为：
·通过分割整个载玻片的图像来检测连通分量；
·使用分类器将检测的连通分量分类为可计数连通分量和不可计数连通分量；
·对于可计数连通分量：
i.将每个可计数连通分量输入到对象检测模型中，该对象检测模型被配置成检测对象并为每个对象输出一个边界框和相关联的类；
ii.对与每个类相关联的边界框进行计数，获得每个类的对象数量；
·对于不可计数分量：
i.将每个不可计数连通分量输入到语义分割模型中，并获得分割掩模作为输出，在该分割掩模中，所有像素被分类到预定义的可用类中的一个类中；
ii.对于每个类，将对象数量计数为该类的总像素面积与该类的对象的平均面积之比，该总像素面积是作为与该类相关联的分割掩模的像素数量而获得的；
·对从语义分割模型和对象检测模型获得的每个类的对象数量求和；
其中该针对语义分割模型和对象检测模型的类是相同的，
-至少一个输出，其适配为提供每个类的对象数量。
12.根据权利要求11所述的系统，其中对象检测模型是Faster-RCNN、CenterNet、SOLO或YOLO。
13.根据权利要求11或12所述的系统，其中使用标记的数字化图像的数据集来训练语义分割模型和对象检测模型。
14.一种用于对可从尿样中回收的对象进行分类和计数的计算机程序产品，该计算机程序产品包含指令，当程序由计算机执行时，该指令使计算机执行根据权利要求1至10中任一项的方法。
15.一种计算机可读存储介质，其包含指令，当程序由计算机执行时，该指令使计算机执行根据权利要求1至10中任一项的方法。
CN202180018102.4A 2020-01-30 2021-01-29 生物样品中对象的系统性表征 Pending CN115210779A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20305082 2020-01-30
EP20305082.8 2020-01-30
PCT/EP2021/052105 WO2021152089A1 (en) 2020-01-30 2021-01-29 Systematic characterization of objects in a biological sample

Publications (1)

Publication Number Publication Date
CN115210779A true CN115210779A (zh) 2022-10-18

Family

ID=69528727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018102.4A Pending CN115210779A (zh) 2020-01-30 2021-01-29 生物样品中对象的系统性表征

Country Status (7)

Country Link
US (1) US20230066976A1 (zh)
EP (1) EP4097631A1 (zh)
JP (1) JP2023513022A (zh)
KR (1) KR20220133918A (zh)
CN (1) CN115210779A (zh)
CA (1) CA3166288A1 (zh)
WO (1) WO2021152089A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230056175A (ko) * 2021-10-20 2023-04-27 주식회사 뷰노 의료 영상 분석 방법
CN114047109B (zh) * 2022-01-11 2022-06-21 深圳市帝迈生物技术有限公司 一种样本分析仪及其计数方法
CN114049569B (zh) * 2022-01-13 2022-03-18 自然资源部第三地理信息制图院 一种深度学习模型性能评价方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11047791B2 (en) * 2011-06-17 2021-06-29 Roche Diagnostics Hematology, Inc. Systems and methods for sample display and review
FR2996036B1 (fr) 2012-09-25 2014-10-24 Ecole Norm Superieure Lyon Procede d'identification de cellules dans un tissu biologique
CN104751167A (zh) 2013-12-31 2015-07-01 西门子医疗保健诊断公司 尿液有形成分分类方法和装置
CN105096293B (zh) 2014-04-30 2018-12-07 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images

Also Published As

Publication number Publication date
EP4097631A1 (en) 2022-12-07
WO2021152089A1 (en) 2021-08-05
KR20220133918A (ko) 2022-10-05
US20230066976A1 (en) 2023-03-02
JP2023513022A (ja) 2023-03-30
CA3166288A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11901077B2 (en) Multiple instance learner for prognostic tissue pattern identification
US20220237788A1 (en) Multiple instance learner for tissue image classification
US20230186657A1 (en) Convolutional neural networks for locating objects of interest in images of biological samples
US20230127698A1 (en) Automated stereology for determining tissue characteristics
Vaickus et al. Automating the Paris System for urine cytopathology—A hybrid deep‐learning and morphometric approach
Deshpande et al. A review of microscopic analysis of blood cells for disease detection with AI perspective
CN115210779A (zh) 生物样品中对象的系统性表征
Bakker et al. Morphologically constrained and data informed cell segmentation of budding yeast
Di Ruberto et al. A leucocytes count system from blood smear images: Segmentation and counting of white blood cells based on learning by sampling
Shirazi et al. Extreme learning machine based microscopic red blood cells classification
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
US20230245431A1 (en) Critical component detection using deep learning and attention
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Simon et al. A deep learning approach for patch-based disease diagnosis from microscopic images
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Ashour et al. Comparative study of multiclass classification methods on light microscopic images for hepatic schistosomiasis fibrosis diagnosis
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
Alférez Baquero Methodology for automatic classification of atypical lymphoid cells from peripheral blood cell images
RU2732895C1 (ru) Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
Merone et al. On using active contour to segment HEp-2 cells
Elvana et al. Lymphatic filariasis detection using image analysis
WO2020120039A1 (en) Classification of cell nuclei
Ben Taieb Analyzing cancers in digitized histopathology images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination