CN112703531A - 生成组织图像的注释数据 - Google Patents
生成组织图像的注释数据 Download PDFInfo
- Publication number
- CN112703531A CN112703531A CN201980060292.9A CN201980060292A CN112703531A CN 112703531 A CN112703531 A CN 112703531A CN 201980060292 A CN201980060292 A CN 201980060292A CN 112703531 A CN112703531 A CN 112703531A
- Authority
- CN
- China
- Prior art keywords
- image data
- data
- image
- staining
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010186 staining Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 65
- 239000000090 biomarker Substances 0.000 claims abstract description 59
- 238000010801 machine learning Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000003364 immunohistochemistry Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 239000013642 negative control Substances 0.000 claims description 12
- 239000013641 positive control Substances 0.000 claims description 11
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 29
- 230000007170 pathology Effects 0.000 abstract description 8
- 210000001519 tissue Anatomy 0.000 description 88
- 230000000875 corresponding effect Effects 0.000 description 51
- 239000000523 sample Substances 0.000 description 51
- 210000004940 nucleus Anatomy 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 239000003550 marker Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 210000003855 cell nucleus Anatomy 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 210000004698 lymphocyte Anatomy 0.000 description 3
- 238000012758 nuclear staining Methods 0.000 description 3
- 102000017420 CD3 protein, epsilon/gamma/delta subunit Human genes 0.000 description 2
- 108050005493 CD3 protein, epsilon/gamma/delta subunit Proteins 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 102100027834 DNA repair protein XRCC1 Human genes 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000649341 Homo sapiens DNA repair protein XRCC1 Proteins 0.000 description 1
- 101000851376 Homo sapiens Tumor necrosis factor receptor superfamily member 8 Proteins 0.000 description 1
- 102000011782 Keratins Human genes 0.000 description 1
- 108010076876 Keratins Proteins 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 102100036857 Tumor necrosis factor receptor superfamily member 8 Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 210000004443 dendritic cell Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000001744 histochemical effect Effects 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- XMBWDFGMSWQBCA-UHFFFAOYSA-N hydrogen iodide Chemical compound I XMBWDFGMSWQBCA-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- DCYOBGZUOMKFPA-UHFFFAOYSA-N iron(2+);iron(3+);octadecacyanide Chemical compound [Fe+2].[Fe+2].[Fe+2].[Fe+3].[Fe+3].[Fe+3].[Fe+3].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-].N#[C-] DCYOBGZUOMKFPA-UHFFFAOYSA-N 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000011862 kidney biopsy Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012317 liver biopsy Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000274 microglia Anatomy 0.000 description 1
- 210000001616 monocyte Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 229960003351 prussian blue Drugs 0.000 description 1
- 239000013225 prussian blue Substances 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000005239 tubule Anatomy 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/34—Purifying; Cleaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
当前，存在对应用机器学习技术以自动地分析数字病理学图像的兴趣。机器学习技术常常依赖于利用真实状况图像输入来训练。训练数据的质量和量确定如以真和假阳性的比率表达的检测器的质量以及对输入图像的外观的变化的鲁棒性。本申请建议在至少一个重新染色步骤之前和之后获得相同样本的图像数据(首先利用结构揭示染色剂并且其次利用生物标记揭示染色剂)。具有好的配准关系的第一和第二图像数据的部分被选择，以及检测期望候选对象(诸如核)的概率和生物标记揭示染色剂呈现适于训练第一和/或第二图像数据上的机器学习算法的注释数据的概率被提供。
Description
技术领域
本发明涉及用于自动地生成组织图像的注释数据的装置、以及相关的计算机实施的医学图像注释方法、用于生成组织图像的注释数据的方法、用于训练机器学习模型的方法、以及计算机程序单元、计算机可读介质、以及计算机数据结构。
背景技术
当前，存在对应用机器学习技术自动分析数字病理学图像的兴趣。机器学习技术常常依赖于利用真实状况图像输入的训练。训练数据的质量和量确定如由真和假阳性的比率表达的检测器的质量，以及对输入图像的外观的变化的鲁棒性。
真实状况训练图像(或图像片块)通常从由病理学家注释的手动注释的图像提供。尽管这可以对于病理学图像的较大区(诸如组织类型)是可行的，但是由于通常几千个对象需要注释，注释大量的细胞对象是耗时的。
US 2017/0103521 A1讨论了一种用于识别生物标记阳性肿瘤细胞的方法。
A.Can等人：“Techniques for Cellular Analysis for LifescienceApplications”、在“Analytical Chemistry”(在“american Chemical Society”中、2018年6月1日、第89卷、第1-29页)提供了基于多组织的生物标记的量化要求若干步骤的技术和总结说明的概述，包括利用以荧光试剂标记的靶特异性抗体的组织染色、图像捕获、预处理、配准、分割和亚细胞量化。描述了这提供量化超过一个细胞区室中的生物标记的灵活性，因此使存在于组织图像中的数据量最大化，并且使能更广泛地分析生物标记在预测对治疗和患者存活的响应中的角色。
然而，还可以改进这样的方法。
发明内容
具有用于组织图像的自动注释的经改进的方法将是有利的。
根据第一方面，提供了根据所附权利要求1所述的用于自动地生成组织图像的注释数据的装置。
根据第二方面，提供了根据所附权利要求9所述的用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法。
根据第一实施例，提供了一种用于自动地生成组织图像的注释数据的装置，包括：输入单元和处理器。
所述输入单元被配置为：采集第一图像数据，所述第一图像数据包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；并且采集第二图像数据，所述第二图像数据包括利用用于揭示所述组织样本中的生物标记的存在的第二染色剂染色的所述组织样本的表示。
所述处理器被配置为：检测所述第一图像数据中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；生成所述第二图像数据的染色置信度数据，所述染色置信度数据表示所述组织样本的对应的部分包括由所述第二染色剂靶向的所述生物标记的可能性；并且生成包括所述多个候选对象的表示的图像注释数据，其中，在个体候选对象到达基于所述检测到的候选对象的所述对应的多个检测概率、所述对应的染色置信度数据以及所述候选对象的所述第一图像数据与所述第二图像数据之间的对应的配准质量阈值的组合置信度的情况下，所述多个候选对象中的个体候选对象被注释以指示所述第二图像数据的对应的部分中的生物标记存在。
效果在于，可以更容易得多地提供可以用作机器学习算法的输入的可靠的训练数据集。在将这样的数据处理方法应用到第一和第二染色图像的情况下，组织样本的单个重新染色步骤对于为机器学习算法的训练提供真实状况数据是必要的(尽管可以提供更多重新染色步骤)。此外，由于所述图像注释数据的生成基于所述候选对象的第一和第二图像数据之间的对应的配准质量阈值，因此图像注释数据未针对具有不佳配准的片块生成。因此，所述训练数据集可以利用高得多的计算效率生成(例如，这意指其可以利用低得多的计算延时或利用更不高级得多的计算硬件实施)。
任选地，所述处理器还被配置为生成所述第一图像数据与所述第二图像数据之间的配准质量图，其中，所述处理器被配置为当所述配准质量图指示所述第一图像数据和所述第二图像数据中的所述候选对象的对应的位置之间的所述配准超过配准质量阈值时注释所述多个候选对象中的候选对象以指示生物标记存在。
效果在于，如果所述候选对象的位置在第一和第二图像之间不佳地配准，则生成候选对象的注释的计算昂贵的操作不发生，因此增加了计算效率。
任选地，所述处理器还被配置为生成所述多个候选对象中的所述个体候选对象的所述图像注释数据，所述图像注释数据包括所述多个候选对象中的第一候选对象的阳性注释和所述多个候选对象中的第二候选对象的阴性注释。
效果在于，所生成的图像注释数据是可以被提供为适于将可靠输入提供到基于机器学习的检测器中的真实状况数据。
任选地，所述处理器还被配置为通过以下操作来生成所述染色置信度数据：使用所述第二图像数据来生成染色置信度的直方图，并且提供与所述第一图像数据中的所述多个候选对象的位置相对应的多个染色置信度结果作为所述对应的染色置信度数据。
效果在于，所述第二图像数据中的正和负候选对象之间的决策具有高准确度，因为其包含来自更多对象的染色信息。
任选地，所述处理器被配置为通过以下操作来生成所述染色置信度数据：生成所述第二图像数据的第一信道以用作阳性对照，生成所述第二图像数据的第二信道以用作阴性对照。所述处理器还被配置为生成染色置信度的直方图，包括使用所述第二图像数据的所述第一信道来生成第一直方图信道，使用所述第二图像数据的所述第二信道来生成第二直方图信道，并且使用所述第一直方图信道和所述第二直方图信道来生成所述染色置信度的直方图。
效果在于，所述第二图像数据的像素颜色(DAB信道值)的直方图可以被绘制以提供变换曲线以将所述染色值匹配到染色置信度值，这改进所生成的图像注释数据的准确度。
任选地，所述处理器被配置为使用核检测器检测所述第一图像数据中的多个候选对象，并且检测所述检测到的候选对象的对应的多个检测概率。
效果在于，所生成的图像注释数据中的候选对象的注释可以基于其可能性被加权为识别细胞核。这意指在所述第一图像数据中揭示的细胞核的位置可以与所述第二图像数据中的对应的标记染色空间相关。在所生成的注释数据中，较少重点可以置于具有不佳的细胞核识别可能性的第二图像数据中的标记染色上，例如，因此改进了所生成的图像注释数据的可靠性。
所述处理器被配置为：分割所述第一图像数据中的所述多个候选对象，基于所述第一图像数据与所述第二图像数据之间的所述配准将所述第一图像数据中的所述多个候选对象的分割转移到所述第二图像数据，并且将所述第二图像数据中的所述多个候选对象的所述位置中的所述对应的染色置信度数据进行求和。
任选地，所述装置还包括输出单元。
所述输出单元被配置为任选地与所述第一图像数据和/或所述第二图像数据组合地在图形用户接口上显示所述图像注释数据。
效果在于，所述装置的用户可以容易地监测图像注释数据的生成并且与原始第一和第二图像数据比较，以提供所生成的训练数据的可靠性的独立验证。
根据第二实施例，提供了一种用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法，包括：
a)采集第一图像数据，所述第一图像数据包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；
b)采集第二图像数据，所述第二图像数据包括利用用于揭示所述组织样本中的生物标记的存在的第二染色剂染色的所述组织样本的表示；
c)检测所述第一图像数据中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；
d)生成所述第二图像数据的染色置信度数据，所述染色置信度数据表示所述组织样本的对应的部分包括由所述第二染色剂靶向的所述生物标记的可能性；并且
e)生成包括所述多个候选对象的表示的图像注释数据，其中，在个体候选对象到达基于所述检测到的候选对象的所述对应的多个检测概率、所述对应的染色置信度数据以及所述候选对象的所述第一图像数据与所述第二图像数据之间的对应的配准质量阈值的组合置信度的情况下，所述多个候选对象中的个体候选对象被注释以指示所述第二图像数据的对应的部分中的生物标记存在。
任选地，所述第一染色剂是苏木精和伊红(H&E)染色剂，并且所述第二染色剂是免疫组织化学(IHC)染色剂。
根据第三方面，提供了一种用于生成组织图像的注释数据的方法，包括：
a1)采集患者的组织样本；
a2)使用第一染色剂在所述组织样本上执行第一染色协议；
a3)使用数字显微镜成像器来采集所述组织样本的第一图像数据；
a4)执行所述组织样本的清洗协议以基本上移除所述第一染色剂；
a5)使用第二染色剂在所述组织样本上执行第二染色协议；并且
a6)使用所述数字显微镜成像器来采集所述组织样本的第二图像数据；并且
执行根据第二方面的用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法。
效果在于，大量的图像注释数据可以通过执行只有一个样本重新染色步骤自动地生成(尽管技术可以应用于重新染色样本的第三、第四和更多输入图像数据)。
根据第四方面，提供了一种用于训练机器学习模型的方法，包括：
f1)采集根据第二方面生成的图像注释数据；
f2)使用所述图像注释数据训练机器学习模型；并且
f3)输出经训练的机器学习模型。
效果在于，由于利用大得多范围的样本输入数据产生所生成的图像注释数据是可能的，因此利用所生成的图像注释数据训练的机器学习模型具有更高的准确度。
根据第五方面，提供了一种计算机程序单元，其当由处理器执行时，适于执行第一方面或第四方面的方法。
根据第六方面，提供了一种存储有第五方面的计算机程序单元的计算机可读介质。
根据第七方面，一种计算机数据结构，包括依据根据要求保护的第一或第四方面的方法生成的图像注释数据。
在以下应用中，术语“注释数据”指代描述输入图像数据的性质的元数据。例如，注释数据可以包括第一和/或第二输入图像数据中的点坐标的列表，其中，列表中的每个项利用逻辑“1”或逻辑“0”标记，这定义给定点坐标处的像素满足检测准则或者不满足检测准则。例如，注释数据可以定义特定像素表示具有针对给定生物标记测试的强匹配的候选核的区域。当然，所述注释数据可以定义满足所述条件的图像数据的任意区。此外，所述注释数据可以是概率性的而不是二进制的。在一个选项(适于显示给人类操作者)，注释数据被显示在输出图像上作为着色区域，但是这不是必要的。注释数据可以被提供以定义输入图像数据中的参考坐标的若干条件，并且这些条件可以是独立或互相排斥的。自动机器学习算法可以读取定义满足特定生物标记条件的细胞的区域的注释数据的点坐标，并且参考所述注释数据指代的图像的输入图像数据。自动机器学习算法可以然后导入被定义为满足所述特定生物标记条件的输入图像数据的部分作为满足特定生物标记条件的输入图像的范例。自动机器学习算法可以然后参与参考满足特定生物标记条件的输入图像数据的训练操作将以这种方式停止，注释数据可以组合图像数据来使用以提供更准确的训练。
在以下应用中，“第一图像数据”和“第二图像数据”是生物样本的图像的数字表示，例如使用例如数字亮视野显微镜、数字荧光显微镜等获得的组织病理学样本。因此，第一和第二图像数据可以至少从数字显微镜直接采集，或者可以从PACS图像存储系统下载。
在以下应用中，术语“候选对象”可以指代病理学样本、个体细胞、细胞核、小管、特定类型的细胞诸如淋巴细胞、红细胞、单核细胞、树突细胞、小胶质细胞中的组织的区。本申请讨论的注释方法具有基于应用于前驱组织样本的特定染色技术的宽应用。
在以下应用中，术语“染色置信度数据”反映染色剂存在于第二输入图像数据的特定像素或任意区域处的概率。染色置信度图是对应于示出特定染色剂存在于第二图像数据中的概率的第二图像数据的图像。
在以下应用中，“用于指示组织结构的染色剂”是例如常规苏木精和伊红(H&E)染色剂，但是可以应用使能组织结构的辨别的其他染色剂，例如碘酸雪夫氏(针对肾或肝活检)、波尔斯的普鲁士蓝铁(针对肝染色)、格莫瑞毛状体(针对肌肉和胶原结构)、阿尔新蓝(针对动脉粥样硬化检测)。技术人员将意识到，可以应用揭示染色剂的许多类型的组织结构。
在以下应用中，“用于揭示生物标记的存在的染色剂”可以例如指代免疫组织化学(IHC)标记。这样的标记的范例是CD3、CD20、CD30、CD3、RCC、角蛋白、蛋白)。技术人员将意识到，可以应用许多类型的生物标记显示染色剂。
以下应用指代可以应用在组织化学染色中的技术。
因此，本发明的思想是在至少一个重新染色操作之前和之后获得相同样本的图像数据(首先利用结构揭示染色剂，并且其次利用生物标记揭示染色剂)。选择具有好的配准关系的第一和第二图像数据的部分，以及提供检测期望候选对象(诸如核)的概率和生物标记揭示染色剂呈现适于训练第一和/或第二图像数据上的机器学习算法的注释数据的概率。
附图说明
将参考以下附图在下文中描述本发明的示范性实施例：
图1示意性地图示了根据第一方面的装置。
图2示意性地图示了根据第二方面的方法的应用。
图3图示了叠加在原始H&E图像之上的配准质量图的实验获得的范例。
图4a)图示了针对阴性对照的实验获得的玻片。
图4b)图示了针对阳性对照的实验获得的玻片。
图4c)图示了针对阴性对照的实验获得的分离的DAB信道。
图4d)图示了针对阳性对照的实验获得的分离的DAB信道。
图5a)图示了跟随颜色反卷积的DAB信道值的实验获得的直方图。
图5b)图示了使用图5a)的实验获得的直方图定义的变换曲线。
图6图示了生物标记染色图像的感兴趣区域的实验获得的DAB信道。
图7图示了对应于生物标记染色图像的DAB信道的生成的染色置信度值。
图8图示了包括根据本申请的方法获得的细胞核边界内和周围的标记的实验获得的染色置信度图。
图9a)图示了实验获得的H&E组织图像。
图9b)以与图9a)相同比例和原点图示了实验获得的H&E组织图像的核分割数据的线表示。
图9c)图示了包括CD3/20染色剂的实验获得的IHC组织图像。
图9d)以与图9c)相同比例和原点图示了实验获得的IHC组织图像的核染色标记的线表示。
图10图示了包括根据本申请中讨论的范例技术生成的注释数据的叠加的病理学图像。
图11a)图示了另一实验获得的IHC染色病理学图像。
图11b)图示了与图11a)相同比例和原点处的图11a)的图像的线叠加的形式的注释数据。
图12示意性地图示了根据第四方面的方法。
图13示意性地图示了用于使用根据本文所描述的技术获得的注释数据训练数据模型以生成包括根据第七方面的图像注释数据的计算机数据结构的装置。
具体实施方式
建立用于训练并且验证使用在计算病理学中的图像分析算法的大注释数据集是重要任务。对于深度学习，大注释数据集的可用性对于在这种情况下这样的算法停止的成功是重要的，数据集可以涉及几百或几千个病理学玻片。将计算识别过程应用到这样的大图像数据集可能涉及过量的计算机时间。在数据集中的个体单元必须被识别并且归类(注释)的情况下，这样的大数据集将难以使用人类注释器准确地操纵。
因此，已经提出使用生物标记染色注释大数据集。在该方法中，使用特别地结合到需要被注释的细胞或组织类型的生物标记。通过分析这样的生物标记染色组织的图像数据，并且注释掩码(注释数据)可以通过计算机处理方法高效地创建。例如，注释数据可以然后用作在H&E图像上训练算法的输入。然而，该技术要求H&E图像中的图像与生物标记染色图像之间的近乎完美的对准。如果在H&E图像与生物标记染色图像之间不存在近乎完美的对准，则注释数据将不正确地训练深度学习算法。
针对图像的对准，维持高组织质量是重要的，并且大量的组织重新染色周期是不可取的。因此，需要克服该限制。
建议使用所谓的重新染色，使得相同组织玻片可以被用于使得能够移除H&E染色剂并且然后应用生物标记染色。根据该技术，H&E染色图像与生物标记染色图像(例如)之间的未对准被最小化。
用于提供针对深度学习算法训练的注释数据(真实状况数据)的单个重新染色步骤的使用建议使用对一类对象进行染色的生物标记，所述一类对象是候选对象的初始集合的子集。可能性图被生成以指示候选对象属于染色类(感兴趣类)的概率。可能性图至少基于配准质量(在组织结构图像与生物标记图像之间)、初始检测结果的概率(组织结构图像中的候选对象的)和生物标记存在(在生物标记图像中)的概率。可能性图可以基于输入图像的任意部分大小生成并且可以指代例如图像中的细胞、核、或任意放置的片块的区。尽管上文指出用于提供注释数据的单个重新染色步骤是优选的，但是本发明不是这样限制的，并且可以提供第二、第三、第四和后续重新染色步骤，例如靶向不同的生物标记，但是存在用于后续重新染色步骤以享有较低配准质量的潜力。
基于所生成的可能性图，阳性和阴性样本可以被选择为组成用于深度学习算法的训练集。
因此，根据第一方面，提供了用于自动地生成组织图像的注释数据的装置10。
图1图示了根据第一方面的装置10。装置包括输入单元12和处理器14。
输入单元12被配置为：采集第一图像数据18，其包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；并且采集第二图像数据20，其包括利用用于揭示组织样本中的生物标记的存在的第二染色剂染色的组织样本的表示。
处理器14被配置为：检测第一图像数据18中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；生成表示组织样本的对应的部分包括由第二染色剂靶向的生物标记的可能性的第二图像数据20的染色置信度数据；并且生成包括多个候选对象的表示的图像注释数据22，其中，多个候选对象中的个体候选对象被注释以指示第二图像数据的对应的部分中的生物标记存在，如果个体候选对象基于检测到的候选对象的对应的多个检测概率、对应的染色置信度数据、以及候选对象的第一和第二图像数据之间的对应的配准质量阈值来到达组合置信度。
任选地，装置10包括输出单元16。
装置10的示范性实施方式是使用个人计算机(PC)。在该范例中，PC从计算机网络(例如，医院的PACS系统)采集第一图像数据18和第二图像数据20，并且这样一来，输入单元12可以是网络接口。处理器14是通用PC数据处理器14a(诸如Intel i5(TM)处理器)、随机存取存储器(RAM)14b、和任选的图形处理单元(GPU)图像处理加速器、以及硬盘驱动器(14d)的组合。处理器14可以被配置为加载被配置为根据存储在被加载到RAM14b中的硬盘驱动器14d上的程序指令来实施本发明的程序，并且根据程序指令执行程序。数据处理器14a可以从输入单元12、RAM 14b和/或硬盘驱动器14d采集第一图像数据18和第二图像数据20，并且生成经由输出单元16传递的可以存储在硬盘驱动器14d上的注释数据(例如，到被显示在监测器上的GUI、通过网络接口到外部PACS服务器等)。然而，将由技术人员意识到，这仅是范例实施方式，并且装置10还可以被实施为任选地使用GPU阵列和/或FPGA和/或例如专用深度学习处理阵列加速的大规模计算机集群。
图2示意性地图示了使用用于生成注释数据的装置10执行的数据处理。
提供了包括组织样本(通常通过H&E染色过程)的组织结构的表示的第一图像数据24a和包括利用用于揭示组织样本中的生物标记的存在的染色剂染色的相同样本组织的表示的第二图像数据24b。图像数据可以采取专有或开源图像格式。例如，与20mm x 15mm组织样品的20x扫描相关联的图像文件可以是任选地利用诸如JPEG2000的格式压缩的大约4GB大小。
本范例利用被训练为检测基于H&E染色核检测器检测广泛类别的淋巴细胞的检测器的范例解释，包括T淋巴细胞(利用CD-3标记染色)，然而将意识到，可以使用染色剂的许多备选组合。
图2的步骤1图示了第一图像数据(例如，H&E图像)与第二图像数据(例如，IHC图像)的配准。图像使用本领域技术人员已知的自动配准算法来配准。图像可以针对相互对应的片块或者例如在第一和第二图像的任意计算部分之间配准。
简要地转向图3，示出了叠加在原始H&E图像之上的配准质量图的实验获得的范例。部分23被突出显示为具有相对低配准质量的区，而区域25被图示为具有相对好的配准质量的区域。因此，部分23中的正方形片块从注释数据生成过程排除。将意识到，基于图像的配准质量图的生成不是实质性的，并且以许多方式存储图像数据的坐标的配准质量信息。
图2的步骤2图示了针对配准片块T1的坐标L1和L2的配准质量度量QL1和QL2的提供(当与第二图像数据比较时)。在这种情况下，第一和第二图像数据的相同部分之间的片块中的像素的组合配准质量是合理地好的，并且分别地选择可以使用在后续数据处理中的片块对的第一和第二图像数据中的片块对T1和T2。通过拒绝具有不佳配准质量的片块，最后注释数据集是更准确的，从而导致使用注释数据集的算法的更准确的训练。此外，在具有不佳配准的第一和第二图像数据的对应片块上执行本发明是计算努力的浪费。
图2的步骤3图示了使用第二图像数据的染色置信度数据的生成。例如，被认为是良好配准到第一图像数据中的对应的部分(片块)T1的部分(片块)T2被分析以产生染色置信度数据。
在本范例中，第二图像数据可以包括具有CD标记的IHC图像。因此，生成反映IHC图像的部分T2中的特定生物标记标记的存在的概率的染色置信度图。例如，染色置信度图是颜色反卷积DAB信道图像的变换。
简要地转到图4，染色置信度图通过将对应于第一图像数据中的T1的第二图像数据的部分T2中的染色值映射到置信度值来生成。任选地，置信度值可以在0与1之间的标度上，但是将意识到，可以应用任何数值。例如，DAB反卷积被用于生成图4a)中所示的阴性对照(NC)的玻片，以及图4b)中所示的阳性对照(PC)的玻片。如所期望的，图4c)中所示的阴性对照的分离的DAB信道是几乎空白的，并且图4d)中所示的阳性对照的分离的DAB信道在表达被检测的条件的存在的生物标记的区上发生。因此，阳性对照玻片和阴性对照玻片的像素值被用于校准用于生成染色置信度图的映射曲线。
在图5a)中图示了这样的校准过程的一个范例。DAB信道值的直方图具有绘制的三条曲线。直方图30的x轴表示DAB信道的染色值分箱，并且直方图的y轴32表示存在于DAB信道的相关染色值分箱中的第二图像数据的部分(或片块)中的像素的数目。
第一直方图34表示阳性对照值的直方图。第二直方图36表示阴性对照值的直方图。图5b)图示了具有被索引到直方图的像素分箱轴30的变换曲线38的染色置信度图。变换曲线38被生成以将第二图像数据的反卷积信道的染色值匹配到0与1之间的染色置信度值。当然，这是用于生成在阳性对照值和阴性对照值之间区分的变换曲线的一个范例，以用于处理第二图像数据。任选地，变换曲线38可以包括其中像素未归类为阳性或阴性对照值的过渡区域。这具有减少由阳性对照值与阴性对照值之间的过渡边界附近的像素值引起的噪声的效果。
图6图示了生物标记染色图像的感兴趣区域的实验获得的DAB信道数据。图7图示了在其像素值已经映射到图5b)的染色置信度函数之后的图6的DAB信道数据。因此，图7提供了具有表示第二图像数据的染色部分的低概率的区和具有表示第二图像数据的染色部分的高概率的区的“热图”。
图8图示了包括根据本申请的方法获得的细胞核边界内和周围的染色置信度标记的实验获得的IHC图像。
图9a)图示了实验获得的H&E组织图像。
图9b)以与图9a)相同比例和原点图示了实验获得的H&E组织图像的核分割数据的线表示。
图9c)图示了包括CD3/20染色剂的实验获得的IHC组织图像。
图9d)以与图9c)相同比例和原点图示了实验获得的IHC组织图像的核染色标记的线表示。
来自对应的H&E图像(第一图像数据)的核分割被转移到图8的IHC(第二图像数据)中的对应位置。在图8中辨别具有相对弱染色(指示阴性样本的位置)的位置42和具有带有指示阳性样本的相对强染色44的核的位置是可能的。任选地，如在图8中所指示的，标记的位置在细胞核边界内和周围检查。
再次参考图2，步骤2，在第一图像数据中检测多个候选对象。任选地，核检测器被用于检测第一图像数据中的多个候选对象。例如，核可以使用多参考水平集(MRL)算法、随机森林算法、或图割算法、或例如任何其他基于机器学习的训练算法来分割。技术人员将能够应用其他形式的核检测器算法。在本范例中，核检测器应用于片块T1。基于在图2的步骤1中计算的配准结果，对应的核分割坐标被转移到第二图像数据的片块T2。这提供在组织结构图像(第一图像数据)中检测到的核与组织生物标记图像(第二图像数据)之间的对应性。
在该范例中，第一图像数据中的每个检测到的细胞核内和周围的染色置信度值求和。与核检测置信度值组合(第一图像数据中的检测到的候选对象的检测概率的范例)，定义候选核对于第二图像数据中靶向的生物标记而言为阳性的可能性评分值(在这种情况下，CD3/20阳性)。
等式(1)定义核面积上的染色可能性值的积分，除以核的总面积。该积分通过核可能性值添加。该总和然后除以二以将针对核的总可能性的平均(积分)值获得为标记阳性的。
在上文中，术语“核”意指每个核轮廓内和周围的区域。将意识到，以上表达是用于将个体候选核的可能性评分确定为针对给定生物标记的阳性的一个品质因数。然而，可以导出许多表达。在变型中，可以仅考虑核染色自己。在其中感兴趣候选对象不是核或核区的情况下，可能要求不同的分割方法。例如，检测肺组织中的纤维结构可能要求不同的分割算法。
返回图2，第四步涉及基于对应的染色置信度数据来选择候选对象。在本范例中，对应的染色置信度数据是核水平可能性评分，但是将应用不同对应的染色置信度数据的不同染色协议。
为了选择检测器的阳性和阴性样本前景实况训练，对具有足够高对应的染色置信度(PCD)的候选对象(核)进行选择。例如，候选对象的对应的染色置信度可以高于预定义阈值。具有高于第一阈值的染色置信度数据的第一图像数据T1的片块中的多个感兴趣候选对象可以任选地标记为例如阳性样本。这是第一注释数据类型的范例。任选地，具有低对应染色置信度(小于第二染色对应性阈值)的第一图像数据T1的片块中的候选对象被标记为例如阴性样本。这是第二注释数据类型的范例。任选地，具有不确定的对应染色置信度的第一图像数据T1的片块中的候选对象可以被标记为例如不确定样本。这是第三注释数据类型的范例。因此，注释数据可以包括多个不同类型的注释，每个具有不同生物学意义。
因此，已经生成包括第一、第二和第三注释数据类型中的一个或多个的生成的注释数据。将意识到，注释数据不需要被提供为图像，但是可以被提供为具有图像坐标的列表的数据结构，以及特定次序的相关注释。任选地，注释数据可以定义图像的部分的注释类型。换句话说，注释数据可以参考对应图像解释并且叠加在对应图像(并且例如第一或第二图像数据)之上以使得能够将注释显示给人类观察者。实际上，所生成的注释数据与已经被用于生成注释数据的第一和/或第二图像数据组合被供应到机器学习算法，以使得机器学习算法能够使用第一和/或第二图像数据以改进其模型。
图10图示了IHC染色图像的实验获得的范例，具有用于注释具有比某个阈值更大染色置信度的图像的区域的染色置信度图。例如，区域50指示IHC图像(第二图像数据)中的弱染色区域，其因此尚未标记在染色置信度图中。区域52更强地染色，并且已经标记在染色置信度图中。
图11a)图示了另一实验获得的IHC染色病理学图像。
图11b)以与图11a)相同比例和原点图示了图11a)的图像的线叠加的形式的注释数据。注释数据包括表示阳性样本的大框53以及例如表示阴性样本的较小点。例如，利用轮廓51指代的区域任选地被标记为“未知”。
因此，在处理之前，流程可以完全自动化例如到批处理模式中。系统的用户仅必须选择一批玻片图像对(例如，H&E和IHC)，并且系统将自动CD标记验证淋巴细胞的真实状况位置。
装置10任选地包括输出单元16。输出单元16能够输出所生成的注释数据。一个输出数据格式例如是包括注释像素的像素位置的列表的数据结构。更复杂的数据格式包括包含像素位置的列表的层次数据结构，并且像素位置是否已经利用例如特定注释类型注释。任选地，输出单元16被配置为解释输出数据结构并且生成像素注释到第一和/或第二图像数据上的叠加。因此，输出单元16可以包括诸如监测器的输出显示器，并且输出单元16可以生成显示信号以将注释输出图像显示给用户。因此或者组合地，输出单元16可以被配置为任选地与第一和/或第二图像数据一起将所生成的注释数据转移到PACS服务器或归档，用于机器学习算法的未来使用和训练。
根据第二方面，提供了一种用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法，包括：
a)采集70第一图像数据，其包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；
b)采集72第二图像数据，其包括利用用于揭示所述组织样本中的生物标记的存在的第二染色剂染色的组织样本的表示；
c)检测74第一图像数据中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；
d)生成78表示组织样本的对应的部分包括由第二染色剂靶向的生物标记的可能性的第二图像数据的染色置信度数据；并且
e)生成80包括多个候选对象的表示的图像注释数据，其中，如果个体候选对象到达基于检测到的候选对象的对应的多个检测概率、对应的染色置信度数据、以及候选对象的第一和第二图像数据之间的对应的配准质量阈值的组合置信度，则多个候选对象中的个体候选对象被注释以指示第二图像数据的对应的部分中的生物标记存在。
任选地，第一染色剂是苏木精和伊红(H&E)染色剂，并且第二染色剂是免疫组织化学(IHC)染色剂。
图12图示了根据第二方面的方法。
根据第三方面，提供了一种用于生成组织图像的注释数据的方法，包括：
a1)采集82患者的组织样本；
a2)使用第一染色剂在组织样本上执行84第一染色协议；
a3)使用数字显微镜成像器采集86组织样本的第一图像数据；
a4)执行88组织样本的清洗协议以基本上移除第一染色剂；
a5)使用第二染色剂在组织样本上执行90第二染色协议；并且
a6)使用数字显微镜成像器采集92组织样本的第二图像数据；并且
执行根据第二方面的用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法。
根据第三方面的方法定义实验室专业人员将承担的前驱步骤。例如，组织活检将从患者获得并且准备用于组织病理学分析。组织样本利用能够揭示组织结构(诸如H&E)的第一染色剂染色。组织玻片是生成第一图像数据的图像。随后地，组织样本通过移除其盖玻片，洗掉H&E染色剂，预处理玻片并且利用针对预期生物标记的IHC染色剂(诸如CD标记)将其免疫染色并且将样本盖玻片来处理。因此，获得第二图像数据，包括利用用于揭示组织样本中的生物标记的存在的第二染色剂染色的组织样本的表示。因此，根据该方法获得的第一和第二图像数据可以是根据第二方面的计算机亲密的方法的输入。将意识到，根据第二方面的方法不限于执行染色，并且在某些情况下，除了利用能够揭示组织结构的第一染色剂染色的组织样本之外，可以获得三个、四个、或更多个染色协议。
根据方面，提供了一种用于训练机器学习模型的计算机修正的方法，包括：
f1)采集依据根据第二方面的计算机实施的方法生成的图像注释数据；
f2)使用图像注释数据训练机器学习模型；并且
f3)输出经训练的机器学习模型。
因此，图13图示了用于训练机器学习模型的装置的方面。机器学习模型采集例如H&E图像和/或IHC染色图像的图像数据90和依据根据第二方面的计算机实施的方法生成的对应的注释数据92。机器学习引擎被配置为识别对应的注释数据92与对应的图像数据90的像素之间的关系中的结构，并且根据部署的机器学习算法的类型更新其层的配置。例如，机器学习模型94可以包括自动编码器算法、稀疏自动编码器算法、变化自动编码器算法、妖魔化自动编码器算法、深度信念网络、卷积或神经网络、反卷积网络、或反卷积或逆图形网络。机器学习模型94被配置为输出经训练的机器学习模型96，其能够识别类似于来自已经提供注释数据的图像的输入图像数据的输入图像数据中的候选对象。
在本发明的另一示范性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。
因此，所述计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行本发明的方法。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。
根据本发明的另一示范性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面部分描述。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
然而，所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，其中，所述计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被对准以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他单元或步骤，并且，词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定特征，但是这并不指示不能有利地使用这些特征的组合。权利要求中的任何附图标记不应被解释为对范围的限制。
Claims (15)
1.一种用于自动地生成组织图像的注释数据的装置(10)，包括：
-输入单元(12)；以及
-处理器(14)；
其中，所述输入单元(12)被配置为：采集第一图像数据，所述第一图像数据包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；并且采集第二图像数据，所述第二图像数据包括利用用于揭示所述组织样本中的生物标记的存在的第二染色剂染色的所述组织样本的表示；并且
其中，所述处理器(14)被配置为：检测所述第一图像数据中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；生成所述第二图像数据的染色置信度数据，所述染色置信度数据表示所述组织样本的对应的部分包括由所述第二染色剂靶向的所述生物标记的可能性；并且生成包括所述多个候选对象的表示的图像注释数据，其中，在个体候选对象到达基于所述检测到的候选对象的所述对应的多个检测概率、所述对应的染色置信度数据以及所述候选对象的所述第一图像数据与所述第二图像数据之间的配准的对应的配准质量阈值的组合置信度的情况下，所述多个候选对象中的所述个体候选对象被注释以指示所述第二图像数据的对应的部分中的生物标记存在。
2.根据权利要求1所述的装置(12)，
其中，所述处理器(14)还被配置为生成所述第一图像数据与所述第二图像数据之间的配准质量图，其中，所述处理器被配置为当所述配准质量图指示所述第一图像数据和所述第二图像数据中的所述候选对象的对应的位置之间的所述配准超过配准质量阈值时注释所述多个候选对象中的候选对象以指示生物标记存在。
3.根据权利要求1或2中的一项所述的装置(10)，
其中，所述处理器(14)还被配置为通过以下操作来生成所述染色置信度数据：使用所述第二图像数据来生成染色置信度的直方图，并且提供与所述第一图像数据中的所述多个候选对象的位置相对应的多个染色置信度结果作为所述对应的染色置信度数据。
4.根据前述权利要求中的一项所述的装置(10)，
其中，所述处理器(14)还被配置为生成所述多个候选对象中的所述个体候选对象的所述图像注释数据，所述图像注释数据包括所述多个候选对象中的第一候选对象的阳性注释和第二候选对象的阴性注释。
5.根据前述权利要求中的一项所述的装置(10)，
其中，所述处理器(14)被配置为通过以下操作来生成所述染色置信度数据：生成所述第二图像数据的第一信道以用作阳性对照；生成所述第二图像数据的第二信道以用作阴性对照，并且
其中，所述处理器还被配置为生成染色置信度的直方图，包括使用所述第二图像数据的所述第一信道来生成第一直方图信道，使用所述第二图像数据的所述第二信道来生成第二直方图信道，并且使用所述第一直方图信道和所述第二直方图信道来生成所述染色置信度的直方图。
6.根据前述权利要求中的一项所述的装置(10)，
其中，所述处理器(14)被配置为使用核检测器来检测所述第一图像数据中的多个候选对象以及检测到的候选对象的所述对应的多个检测概率。
7.根据前述权利要求中的一项所述的装置(10)，
其中，所述处理器(14)被配置为：分割所述第一图像数据中的所述多个候选对象，基于所述第一图像数据与所述第二图像数据之间的所述配准将所述第一图像数据中的所述多个候选对象的分割转移到所述第二图像数据，并且将所述第二图像数据中的所述多个候选对象的所述位置中的所述对应的染色置信度数据进行求和，其中，经求和的染色置信度数据能与所述检测到的候选对象的所述多个检测概率一起使用以确定对于由所述第二染色剂靶向的所述生物标记而言候选对象是阳性的可能性评分值。
8.根据前述权利要求中的一项所述的装置(10)，还包括：
-输出单元(16)；
其中，所述输出单元被配置为任选地与所述第一图像数据和/或所述第二图像数据组合地在图形用户接口上显示所述图像注释数据。
9.一种用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法，包括：
a)采集(70)第一图像数据，所述第一图像数据包括利用用于指示组织结构的第一染色剂染色的组织样本的表示；
b)采集(72)第二图像数据，所述第二图像数据包括利用用于揭示所述组织样本中的生物标记的存在的第二染色剂染色的所述组织样本的表示；
c)检测(74)所述第一图像数据中的多个候选对象，以及检测到的候选对象的对应的多个检测概率；
d)生成(76)所述第二图像数据的染色置信度数据，所述染色置信度数据表示所述组织样本的对应的部分包括由所述第二染色剂靶向的所述生物标记的可能性；并且
e)生成(78)包括所述多个候选对象的表示的图像注释数据，其中，在个体候选对象到达基于所述检测到的候选对象的所述对应的多个检测概率、所述对应的染色置信度数据以及所述候选对象的所述第一图像数据与所述第二图像数据之间的配准的对应的配准质量阈值的组合置信度的情况下，所述多个候选对象中的个体候选对象被注释以指示所述第二图像数据的对应的部分中的生物标记存在。
10.根据权利要求9所述的计算机实施的方法，
其中，所述第一染色剂是苏木精和伊红(H&E)染色剂，并且所述第二染色剂是免疫组织化学(IHC)染色剂。
11.一种用于生成组织图像的注释数据的方法，包括：
a1)采集(82)患者的组织样本；
a2)使用第一染色剂在所述组织样本上执行(84)第一染色协议；
a3)使用数字显微镜成像器来采集(86)所述组织样本的第一图像数据；
a4)执行(88)所述组织样本的清洗协议以基本上移除所述第一染色剂；
a5)使用第二染色剂在所述组织样本上执行(90)第二染色协议；并且
a6)使用所述数字显微镜成像器来采集(92)所述组织样本的第二图像数据；并且
执行根据权利要求9或10中的一项所述的用于自动地生成组织图像的注释数据的计算机实施的医学图像注释方法。
12.一种用于训练机器学习模型的方法，包括：
f1)采集根据在权利要求9或10中记载的所述计算机实施的方法生成的图像注释数据；
f2)使用所述图像注释数据来训练机器学习模型；并且
f3)输出经训练的机器学习模型。
13.一种计算机程序单元，其当由处理器执行时适于执行根据权利要求9或10所述的计算机实施的方法。
14.一种存储有根据权利要求13所述的计算机程序单元的计算机可读介质。
15.一种计算机数据结构，包括依据根据权利要求9或10所述的计算机实施的方法生成的图像注释数据。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18189097.1A EP3611695A1 (en) | 2018-08-15 | 2018-08-15 | Generating annotation data of tissue images |
| EP18189097.1 | 2018-08-15 | ||
| PCT/EP2019/071769 WO2020035514A1 (en) | 2018-08-15 | 2019-08-14 | Generating annotation data of tissue images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112703531A true CN112703531A (zh) | 2021-04-23 |
Family
ID=63311798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980060292.9A Pending CN112703531A (zh) | 2018-08-15 | 2019-08-14 | 生成组织图像的注释数据 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12008750B2 (zh) |
| EP (2) | EP3611695A1 (zh) |
| CN (1) | CN112703531A (zh) |
| WO (1) | WO2020035514A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3953861A1 (en) * | 2019-04-11 | 2022-02-16 | Agilent Technologies, Inc. | User interface configured to facilitate user annotation for instance segmentation within biological sample |
| US11508481B2 (en) * | 2020-03-06 | 2022-11-22 | Salesforce, Inc. | Machine-learned hormone status prediction from image analysis |
| WO2022090205A1 (en) * | 2020-10-30 | 2022-05-05 | Genfit | A method and a system for obtaining a training dataset usable for training a neural network to detect cells, using color deconvolutions and geometrical attributes |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100254589A1 (en) * | 2007-12-04 | 2010-10-07 | University College Dublin National University Of Ireland | Method and system for image analysis |
| CN105027165A (zh) * | 2013-03-15 | 2015-11-04 | 文塔纳医疗系统公司 | 用于数字完整载片的自动化评分的基于组织对象的机器学习系统 |
| US20170103521A1 (en) * | 2014-02-21 | 2017-04-13 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
| US20170270666A1 (en) * | 2014-12-03 | 2017-09-21 | Ventana Medical Systems, Inc. | Computational pathology systems and methods for early-stage cancer prognosis |
| GB201716060D0 (en) * | 2017-10-02 | 2017-11-15 | Room4 Group Ltd | Histopathological image analysis |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8060348B2 (en) | 2006-08-07 | 2011-11-15 | General Electric Company | Systems for analyzing tissue samples |
| US8189884B2 (en) * | 2008-03-26 | 2012-05-29 | General Electric Company | Methods for assessing molecular expression of subcellular molecules |
| US20110091081A1 (en) * | 2009-10-16 | 2011-04-21 | General Electric Company | Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin |
| IN2014CN01734A (zh) * | 2011-09-13 | 2015-05-29 | Koninkl Philips Nv | |
| EP2613278A2 (en) * | 2011-12-05 | 2013-07-10 | Koninklijke Philips Electronics N.V. | Retroactive extraction of clinically relevant information from patient sequencing data for clinical decision support |
| US9513224B2 (en) * | 2013-02-18 | 2016-12-06 | Theranos, Inc. | Image analysis and measurement of biological samples |
| CA2878957A1 (en) * | 2012-07-25 | 2014-01-30 | Theranos, Inc. | Image analysis and measurement of biological samples |
| WO2014089499A1 (en) * | 2012-12-06 | 2014-06-12 | Clarient Diagnostic Services, Inc. | Selection and display of biomarker expressions |
| WO2015177268A1 (en) | 2014-05-23 | 2015-11-26 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
| WO2015189264A1 (en) | 2014-06-10 | 2015-12-17 | Ventana Medical Systems, Inc. | Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides |
| JP6571694B2 (ja) * | 2014-06-30 | 2019-09-04 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 生体試料用の試料ホルダ |
| JP7356904B2 (ja) * | 2016-10-27 | 2023-10-05 | コーニンクレッカ フィリップス エヌ ヴェ | １つ又は複数の組織サンプルにおける細胞組成情報を決定する装置 |
| EP3776337A1 (en) * | 2018-04-13 | 2021-02-17 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
| US20200388033A1 (en) * | 2019-06-10 | 2020-12-10 | Omics Data Automation, Inc. | System and method for automatic labeling of pathology images |
-
2018
- 2018-08-15 EP EP18189097.1A patent/EP3611695A1/en not_active Withdrawn
-
2019
- 2019-08-14 US US17/267,846 patent/US12008750B2/en active Active
- 2019-08-14 EP EP19752513.2A patent/EP3837664A1/en active Pending
- 2019-08-14 CN CN201980060292.9A patent/CN112703531A/zh active Pending
- 2019-08-14 WO PCT/EP2019/071769 patent/WO2020035514A1/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100254589A1 (en) * | 2007-12-04 | 2010-10-07 | University College Dublin National University Of Ireland | Method and system for image analysis |
| CN105027165A (zh) * | 2013-03-15 | 2015-11-04 | 文塔纳医疗系统公司 | 用于数字完整载片的自动化评分的基于组织对象的机器学习系统 |
| US20170103521A1 (en) * | 2014-02-21 | 2017-04-13 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
| US20170270666A1 (en) * | 2014-12-03 | 2017-09-21 | Ventana Medical Systems, Inc. | Computational pathology systems and methods for early-stage cancer prognosis |
| GB201716060D0 (en) * | 2017-10-02 | 2017-11-15 | Room4 Group Ltd | Histopathological image analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020035514A1 (en) | 2020-02-20 |
| US12008750B2 (en) | 2024-06-11 |
| US20210312620A1 (en) | 2021-10-07 |
| EP3611695A1 (en) | 2020-02-19 |
| EP3837664A1 (en) | 2021-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657503B2 (en) | Computer scoring based on primary stain and immunohistochemistry images related application data | |
| US11682192B2 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
| JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
| JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
| CN109791693B (zh) | 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 | |
| JP2020205063A (ja) | コンテキストフィーチャを用いた画像解析システム | |
| US11959848B2 (en) | Method of storing and retrieving digital pathology analysis results | |
| US12008750B2 (en) | Generating annotation data of tissue images | |
| AU2021349226B2 (en) | Critical component detection using deep learning and attention | |
| EP4275052A1 (en) | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| JP7431753B2 (ja) | デジタルパソロジーのための感度分析 | |
| CN116868229A (zh) | 用于数字化病理学样本中的生物标志物检测的系统和方法 | |
| CN117237328A (zh) | 一种基于数字化病理切片的膀胱癌tnm分期方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |