CN111542830A - 利用卷积神经网络处理组织学图像以识别肿瘤 - Google Patents

利用卷积神经网络处理组织学图像以识别肿瘤 Download PDF

Info

Publication number
CN111542830A
CN111542830A CN201880084713.7A CN201880084713A CN111542830A CN 111542830 A CN111542830 A CN 111542830A CN 201880084713 A CN201880084713 A CN 201880084713A CN 111542830 A CN111542830 A CN 111542830A
Authority
CN
China
Prior art keywords
histological
image
tissue
images
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880084713.7A
Other languages
English (en)
Inventor
W.乔治斯库
A.奥尔森
B.安纳尔达斯
D.劳勒
K.希尔德斯
K.萨利格拉马
M.格雷格森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of CN111542830A publication Critical patent/CN111542830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

一种卷积神经网络(CNN)应用于识别组织学图像中的肿瘤。所述CNN为待识别的多个组织类别中的每一个分配有一个通道，对于非肿瘤和肿瘤组织类型中的每一个存在至少一个类别。对从所述组织学图像中提取的图像块执行多级卷积，随后进行多级转置卷积，以使层恢复成大小与所述输入图像块相匹配。因此，所述输出图像块与所述输入图像块具有一对一的像素对像素对应关系，使得所述输出图像块中的每个像素都分配有所述多个可用类别中的一个。然后，所述输出图像块被组装成概率图，所述概率图可以与所述组织学图像一起并排地或者以叠加方式共同呈现。然后可以将所述概率图链接到所述组织学图像进行存储。

Description

利用卷积神经网络处理组织学图像以识别肿瘤
相关申请的交叉引用
本申请要求2017年12月29日提交的美国临时专利申请号62/611,915的优先权，该专利申请通过引用方式并入本文，如同在本文中完整阐述。
背景技术
技术领域
本公开涉及利用卷积神经网络(CNN)处理组织学图像以便识别肿瘤。
相关技术
癌症是北美女性的第二大死亡原因。在女性患有的所有类型的癌症中，乳腺癌是最常见的，也是第二大癌症死亡原因。因此，乳腺癌治疗的准确性对于在其生命的某个时间点将受乳腺癌影响的相当大比例的女性的寿命和生活质量具有重大影响。
基于特定基因的表达，乳腺癌可以分为不同的分子亚型。常用的分类方案如下：
1.管腔A型：ER+、PR+、HER2-
2.管腔B型：ER+、PR-、HER2+
3.三阴性乳腺癌(TNBC)：ER-、PR-、HER2-
4.HER2富集型：HER2+、ER-、PR-
5.正常乳腺样型。
ER代表雌激素受体。PR代表孕激素受体。HER2代表人类表皮生长因子受体2。
这些亚型中的一些(诸如管腔A型)是激素受体阳性的，并且可以用激素疗法进行治疗。其他乳腺癌是HER2阳性的，并且可以用靶向HER2的药物治疗，所述药物诸如商品名为郝赛汀(Herceptin)(F.Hoffmann-La Roche AG公司的注册商标)的曲妥珠单抗(trastuzumab)。重要的是要确定乳腺癌是ER、PR还是HER2阳性的，因为非阳性的癌症不会对这种类型的治疗产生反应，并且需要以另一种方式进行治疗。传统上，由病理学家在显微镜下检查载玻片上的组织学样本来确定阳性。在载玻片上，使用免疫组织化学(IHC)技术将激素特异性抗体施加于取自患者的福尔马林固定石蜡包埋乳腺组织切片。IHC染色完成后，免疫反应组织可在显微镜下显示为棕色沉淀。美国病理学家协会(CAP)建议对所有染色呈阳性的含肿瘤区域进行评估，以获得阳性百分率。为了提高观察者间和观察者内的可再现性，CAP指南推荐使用图像分析计算阳性百分率。目前，进行图像分析的病理学家必须手动勾勒肿瘤区域，因为必须仅计算肿瘤细胞区域上的阳性百分率。勾勒过程本身很繁琐且容易出错，并且可能导致降低的可再现性。
原则上，这个问题适合于计算机自动化，可以使用分割、边界寻找等常规图像处理方法，也可以通过人工智能方法，特别是神经网络和深度学习。然而，在实践中，多年来已证明该问题极难使计算机自动化达到所需的准确度水平，即达到与病理学家一样好或比病理学家更好的水平。
已经尝试将CNN用于乳腺癌和其他癌症的组织学图像的图像处理。
Wang等人2016[1]描述了检测乳腺癌向淋巴结转移的CNN方法。
US2015213302A1[2]描述了如何在癌组织的区域中检测细胞有丝分裂。在训练CNN之后，基于执行有丝分裂计数的自动化细胞核检测系统进行分类，然后将其用于对肿瘤分级。
Hou等人2016[3]处理脑癌和肺癌图像。来自全切片图像(WSI)的图像块用于进行由块级CNN给出的块级预测。
Liu等人2017[4]使用CNN处理从十亿像素乳腺癌组织学图像中提取的图像块，以检测和定位肿瘤。
Bejnordi等人[2017][5]应用两个堆叠的CNN以对从利用苏木精-伊红(H&E)染色剂染色的乳腺组织的WSI提取的图像块中的肿瘤进行分类。我们还注意到，Bejnordi等人还提供了应用于乳腺癌样本的其他基于CNN的肿瘤分类方法的概述(参见参考文献10-13)。
发明内容
根据本公开的一个方面，提供了一种在组织学图像或组织学图像集合中识别肿瘤的方法，所述方法包括：
从存储在数据存储库中的记录接收组织学图像或组织学图像集合；
从所述组织学图像或组织学图像集合提取图像块，所述图像块是所述组织学图像或组织学图像集合的大小由宽度和高度中的像素数限定的区域部分；
提供具有一组权重和多个通道的卷积神经网络，每个通道对应于待识别的多个组织类别中的一个，其中所述组织类别中的至少一个代表非肿瘤组织，并且所述组织类别中的至少一个代表肿瘤组织；
将每个图像块作为输入图像块输入到所述卷积神经网络中；
执行多级卷积以生成尺寸不断减小直到并包括最小尺寸的最终卷积层的卷积层，随后进行多级转置卷积以通过生成尺寸不断增大的反卷积层使所述卷积反转，直到层恢复到大小与所述输入图像块相匹配为止，所述恢复层中的每个像素包含属于所述组织类别中的每一个的概率；以及
基于所述概率将组织类别分配给所述恢复层中的每个像素，以获得输出图像块。
在分配步骤之后，该方法还可以包括以下步骤：将所述输出图像块组装成所述组织学图像或组织学图像集合的概率图。
在组装步骤之后，该方法还可以包括以下步骤：将所述概率图存储到所述数据存储库中的所述记录中，使得所述概率图链接到所述组织学图像或组织学图像集合。
在我们当前的实现方式中，在每个连续的卷积阶段中，随着尺寸减小，深度增加，使得卷积层具有不断增加的深度以及不断减小的尺寸，并且在每个连续的转置卷积阶段中，随着尺寸增加，深度减小，使得反卷积层具有不断减小的深度以及不断增加的尺寸。然后，最终卷积层具有最大深度以及最小尺寸。代替分别通过卷积和反卷积阶段连续增加和减小深度的方法，一种替代方案是设计一种神经网络，在该神经网络中除了输入层和输出层之外的每一层都具有相同的深度。
该方法还可包括：在显示器上与所述概率图一起显示所述组织学图像或组织学图像集合，例如叠加在概率图上或彼此并排显示。概率图可以用于确定哪些区域应当由将使用的任何IHC评分算法来评分。概率图还可以用于生成可以在显示器中呈现的肿瘤细胞周围的轮廓集合，例如以允许病理学家评估CNN生成的结果。
在某些实施方案中，卷积神经网络具有一个或多个跳跃连接。每个跳跃连接从卷积层中具有比最终卷积层更大尺寸的至少一个卷积层获得中间结果，并且根据需要使这些结果经受尽可能多的转置卷积，以获得在大小上与输入图像块相匹配的至少一个另外的恢复层，其中所经受的转置卷积可为零个、一个或多于一个。然后在将组织类别分配给每个像素的所述步骤之前，将这至少一个另外的恢复层与上述恢复层组合。进一步的处理步骤会将恢复层与另外的恢复层中的每一个组合，以便重新计算概率，从而将从跳跃连接获得的结果考虑在内。
在某些实施方案中，使用softmax运算来生成概率。
从一个或多个组织学图像提取的图像块可以覆盖一个或多个图像的整个区域。这些块可以是不重叠的图像图块或在其边缘处重叠以帮助拼接概率图的图像图块。虽然每个图像块应该在宽度和高度上具有固定数量的像素以与CNN匹配，因为CNN将被设计为仅接受固定大小的像素阵列，但这并不意味着每个图像块必须对应于组织学图像上的相同物理区域，因为组织学图像中的像素可以被组合成覆盖较大区域的较低分辨率块，例如，相邻像素的每个2×2阵列可以组合成一个“超”像素，以形成具有四倍于以组织学图像的原始分辨率提取的块的物理区域的块。
一旦训练了CNN，即可执行该方法进行预测。训练的目的是为层间连接分配适当的权重值。为了训练，所使用的记录将包括地面真值数据，该地面真值数据将组织学图像或组织学图像集合中的每个像素分配给组织类别中的一个。地面真值数据将基于专家临床医生使用的对足够大量的图像的注释。通过迭代地应用CNN来执行训练，其中每次迭代涉及基于将地面真值数据与输出图像块进行比较来调节权重值。在我们当前的实现方式中，在训练期间通过梯度下降法调节权重。
存在用于设置组织类别的各种选项，但大多数(如果不是全部)实施方案将具有共同之处，即在非肿瘤组织和肿瘤组织之间的类别中将进行区分。非肿瘤组织类别可以包括一个、两个或多个类别。肿瘤组织类别也可以包括一个、两个或多个类别。例如，在我们当前的实现方式中，有三种组织类别：一种代表非肿瘤组织，另外两种代表肿瘤组织，其中所述两种肿瘤组织类别代表浸润性肿瘤和原位肿瘤。
在一些实施方案中，CNN一次应用于一个组织学图像。在其他实施方案中，可以将CNN应用于通过组合从组织区域的不同地染色的相邻切片获取的组织学图像集合而形成的合成组织学图像。在另外的实施方案中，可以将CNN并行地应用于从组织区域的不同地染色的相邻切片获取的图像集合中的每个图像。
利用来自CNN的结果，该方法可以扩展为包括基于像素分类以及参考概率图从该分类定义的肿瘤的评分过程。例如，该方法还可包括：根据概率图定义组织学图像中对应于肿瘤的区域；根据评分算法对每个肿瘤进行评分，以为每个肿瘤分配分数；并且将分数存储在数据存储库中的记录中。因此，评分在组织学图像上进行，但仅限于由概率图识别为包含肿瘤组织的区域。
结果可以在显示器上显示给临床医生。即，组织学图像可以与其相关联的概率图一起显示，例如叠加在概率图上或彼此并排显示。肿瘤分数也可以以某种方便的方式显示，例如，利用在肿瘤上或指向肿瘤的文本标签，或者在图像旁边显示。
卷积神经网络可以是完全卷积神经网络。
本发明的另一方面涉及一种用于识别组织学图像或组织学图像集合中的肿瘤的计算机程序产品，所述计算机程序产品承载用于执行上述方法的机器可读指令。
本发明的又一方面涉及一种用于识别组织学图像或组织学图像集合中的肿瘤的计算机设备，所述设备包括：
输入，所述输入可操作以从存储在数据存储库中的记录接收组织学图像或组织学图像集合；
预处理模块，所述预处理模块被配置为从所述组织学图像或组织学图像集合提取图像块，所述图像块是所述组织学图像或组织学图像集合的大小由宽度和高度中的像素数限定的区域部分；以及
卷积神经网络，所述卷积神经网络具有一组权重和多个通道，每个通道对应于待识别的多个组织类别中的一个，其中所述组织类别中的至少一个代表非肿瘤组织，并且所述组织类别中的至少一个代表肿瘤组织，所述卷积神经网络可操作以：
作为输入将每个图像块接收为输入图像块；
执行多级卷积以生成尺寸不断减小直到并包括最小尺寸的最终卷积层的卷积层，随后进行多级转置卷积以通过生成尺寸不断增大的反卷积层使所述卷积反转，直到层恢复到大小与所述输入图像块相匹配为止，所述恢复层中的每个像素包含属于所述组织类别中的每一个的概率；以及
基于所述概率将组织类别分配给所述恢复层中的每个像素，以获得输出图像块。
该计算机设备还可包括：后处理模块，所述后处理模块被配置为将所述输出图像块组装成所述组织学图像或组织学图像集合的概率图。而且，该计算机设备还可包括：输出，所述输出可操作以将概率图存储到数据存储库中的记录中，使得该概率图链接到组织学图像或组织学图像集合。该设备还可包括：显示器和显示器输出，该显示器输出可操作以将组织学图像或组织学图像集合和概率图传输到显示器，使得组织学图像与概率图一起显示，例如叠加在概率图上或与概率图并排显示。
本发明的另一方面是一种临床网络，所述临床网络包括：如上所述的计算机设备；数据存储库，所述数据存储库被配置为存储包括组织学图像或组织学图像集合的患者数据记录；以及网络连接，所述网络连接使得能够在所述计算机设备与所述数据存储库之间传送患者数据记录或其部分。临床网络可以另外包括图像采集设备，诸如显微镜，所述图像采集设备可操作以采集组织学图像或组织学图像集合并将其存储到所述数据存储库中的记录中。
应当理解，在至少一些实施方案中，一个或多个组织学图像是通过显微镜(特别地，光学显微镜)从切片组织样本获取的二维图像的数字表示，所述显微镜可以是常规光学显微镜、共焦显微镜或适合于获得未染色或染色的组织样本的组织学图像的任何其他种类的显微镜。在组织学图像集合的情况下，这些组织学图像可以是从组织区域的相邻切片(即薄片)获取的一系列显微镜图像，其中每个切片可以被不同地染色。
附图说明
在下文中，将仅通过示例方式参考附图中示出的示例性实施方案进一步描述本发明。
图1A是根据本发明的一个实施方案的神经网络体系结构的示意图。
图1B示出了如何在图1A的神经网络体系结构中对全局特征图和局部特征图进行组合以生成预测输入图像块中的每个像素的单独类别的特征图。
图2是示出由以下各项所生成的块级预测之间的差异的彩图：Liu等人(左边的图块A是原始图像，右边的图块B是CNN预测，其中暗红色是预测的肿瘤区域)；以及我们使用图1A和图1B的CNN做出的预测(左边的图块C是具有病理学家手写注释(红色)和CNN预测(粉色和黄色)的原始图像，右边的图块D是我们的CNN预测，其中绿色是非肿瘤，红色(＝图块C中的粉色)是浸润性肿瘤，并且蓝色(＝图块C中的黄色)是非浸润性肿瘤)。
图3是示出输入RGB图像块(左边的图块A)和最终输出肿瘤概率热图(右边的图块B)的实例的彩图。图块A另外示出病理学家手动勾勒的浸润性肿瘤(红色轮廓)，并且另外示出了如图块B中单独示出(分别为红棕色和蓝色)的我们的神经网络的预测(粉色和黄色阴影区域)的叠加。
图4是示出训练CNN所涉及的步骤的流程图。
图5是示出使用CNN进行预测所涉及的步骤的流程图。
图6是TPU的框图，该TPU可用于执行实现图1A和图1B的神经网络体系结构所涉及的计算。
图7示出了可以与本发明的实施方案结合使用的示例性计算机网络。
图8是可以例如用作图6的TPU的主机计算机的计算设备的框图。
具体实施方式
在以下详细描述中，出于解释而非限制的目的，阐述了具体细节以便提供对本公开的更好的理解。对于本领域的技术人员将显而易见的是，可以在脱离这些具体细节的其他实施方案中实践本公开。
我们描述了一种计算机自动化的肿瘤发现方法，其自动检测和勾勒浸润性和原位乳腺癌细胞核。该方法应用于单个输入图像(诸如WSI)或输入图像集合(例如WSI集合)。每个输入图像是数字化的组织学图像，诸如WSI。在输入图像集合的情况下，这些图像可以是相邻组织切片的不同地染色的图像。我们使用术语“染色”广义地包括用生物标记染色以及用常规对比增强染色剂染色。
由于计算机自动化勾勒肿瘤要比手动勾勒快得多，因此其使得能够处理整个图像，而不是仅仅手动注释从图像中选择的提取图块。因此，所提出的自动肿瘤勾勒应使得病理学家能够计算图像中所有肿瘤细胞的阳性(或阴性)百分率，这将产生更准确和可再现的结果。
所提出的用于肿瘤发现、勾勒和分类的计算机自动化方法使用卷积神经网络(CNN)在WSI上发现每个细胞核像素，然后将每个此类像素分类为非肿瘤类别中的一个以及多个肿瘤类别(在我们当前的实现方式中，乳腺肿瘤类别)中的一个。
我们的实现方式中的神经网络在设计上类似于VGG-16体系结构，该体系结构可在http://www.robots.ox.ac.uk/～vgg/research/very_de ep/获得，并且在Simonyan和Zisserman 2014[6]中描述，其全部内容通过引用方式并入本文。
输入图像是用若干种常规染色剂中的任何一种进行染色的病理学图像，如本文档其他地方更详细讨论的。对于CNN，提取特定像素尺寸的图像块，例如，128×128、256×256、512×512或1024×1024像素。应当理解，图像块可以是任意大小并且不必是正方形的，但是块的行和列中的像素数符合2n，其中n是正整数，因为这样的数量通常更适合于由合适的单个CPU(中央处理单元)、GPU(图形处理单元)或TPU(张量处理单元)或其阵列进行直接数字处理。
我们注意到，“块”是用于指从WSI取得的图像部分的技术术语，其通常具有正方形或矩形形状。在这方面，我们注意到，WSI可能包含十亿个或更多的像素(十亿像素图像)，因此图像处理通常将应用于具有可管理大小(例如，约500×500像素)的块，以供CNN处理。因此，将基于将WSI分割成块、用CNN分析块、然后将输出(图像)块重新组装成与WSI相同大小的概率图来处理WSI。然后，概率图可以例如半透明地叠加在WSI或其一部分上，使得病理学图像和概率图两者可以一起查看。在这个意义上，概率图被用作病理学图像上的叠加图像。由CNN分析的块可全部具有相同的放大率，或者可具有不同放大率的混合，例如5倍、20倍、50倍等，并且因此对应于样本组织的不同大小的物理区域。通过不同的放大率，这些可以对应于采集WSI的物理放大率，或者通过以数字方式缩小更高放大率(即更高分辨率)的物理图像而获得的有效放大率。
图1A是我们的神经网络体系结构的示意图。层C1、C2...C10是卷积层。层D1、D2、D3、D4、D5和D6是转置卷积(即反卷积)层。互连特定层的线指示卷积C层和反卷积D层之间的跳跃连接。跳跃连接允许将来自较大尺寸、较浅深度层的局部特征(其中“较大”和“浅”意指具有较低索引的卷积层)与来自最后(即最小、最深)卷积层的全局特征进行组合。这些跳跃连接可提供更准确的轮廓。最大池化层(每个最大池化层用于将块的宽度和高度减小至二分之一)存在于层C2、C4和C7之后，但未在示意图中直接示出，不过最大池化层通过块的相应减小的尺寸被隐含地示出。在我们的神经网络的某些实现方式中，最大池化层被1×1卷积代替，从而产生完全卷积网络。
神经网络的卷积部分依次具有以下层：输入层(RGB输入图像块)；两个卷积层C1、C2；第一最大池化层(未示出)；两个卷积层C3、C4；第二最大池化层(未示出)；三个卷积层C5，C6，C7；和第三最大池化层(未示出)。除了分别到层C5和C8的正常连接之外，使用跳跃连接将来自第二最大池化层和第三最大池化层的输出直接连接到反卷积层。
然后将最终卷积层C10、来自第二最大池化层(即层C4之后的层)的输出和来自第三最大池化层(即层C7之后的层)的输出分别连接到“反卷积层”的单独序列，所述反卷积层将它们放大回与输入(图像)块相同的大小，即将卷积特征图转换为具有与输入图像块相同宽度和高度并具有等于待检测的组织类别(即非肿瘤类型和一种或多种肿瘤类型)的数量的通道数量(即特征图的数量)的特征图。对于第二最大池化层，由于只需要一级反卷积，因此可以看到直接链接到层D6。对于第三最大池化层，需要经由中间反卷积层D4到达层D5的两级反卷积。对于最深卷积层C10，需要经由D1和D2到层D3的三级反卷积。结果是大小等于输入块的三个阵列D3、D5、D6。
图1A中所示内容的简化版本(虽然可能表现不佳)可以省略跳跃连接，在这种情况下，将不存在层D4、D5和D6，并且将仅从层D3中计算输出块。
图1B更详细地示出了图1A的神经网络体系结构的最终步骤是如何执行的。即，将全局特征图层D3和局部特征图层D5、D6组合以生成预测输入图像块的每个像素的单独类别的特征图。具体地，图1B示出了如何将最后三个转置卷积层D3、D5、D6处理为肿瘤类别输出块。
现在，我们讨论上述方法与当前在数字病理学中使用的已知CNN有何不同。这种已知的CNN将从多个可用类别中选择的一个类别分配给每个图像块。这种类型的CNN的实例在Wang等人2016[1]、Liu等人2017[4]、Cruz-Roa等人2017[8]和Vandenberghe等人2017[9]的论文中给出。然而，我们刚刚描述的是，在给定的图像块中，将从多个可用类别选择的一个类别分配给每一个像素。因此，代替针对每个图像块生成单个类别标签，我们的神经网络针对给定块的每个单独的像素输出一类别标签。我们的输出块与输入块具有一对一的像素对像素对应关系，使得输出块中的每个像素都分配有多种可用类别(非肿瘤、肿瘤1、肿瘤2、肿瘤3等)中的一种。
在此类已知的CNN[1,4,8,9]中，为了给每个块分配单个类别，采用一系列卷积层，之后是一个或若干个全连接层，之后是具有与待检测的类别一样多的值的输出向量。预测类别由输出向量中的最大值的位置确定。
为了预测各个像素的类别，我们的CNN在卷积层之后使用不同的体系结构。代替一系列全连接层，我们在卷积层之后跟随有一系列转置卷积层。此体系结构中移除了全连接层。每个转置层将特征图的宽度和高度加倍，同时将通道数减半。以这种方式，将特征图放大回输入块的大小。
另外，为了改善预测，我们使用了如Long等人2015[10]中所述的跳跃连接，其全部内容通过引用方式并入本文。
跳跃连接使用较浅的特征，以改善通过从最终卷积层C10进行放大而得出的粗略预测。将图1A的层D5和D6中包含的来自跳跃连接的局部特征与通过对来自最终卷积层的包含在图1A的层D3中的全局特征进行放大而生成的特征进行联接(concatenate)。然后，如图1B所示，全局特征层D3和局部特征层D5和D6被联接成组合层。
从图1B的联接层(或者替代地在不使用跳跃连接的情况下，直接从最终反卷积层D3)，通过组合层的1×1卷积，通道的数量被减少以匹配类别的数量。然后，在此分类层上进行的softmax运算将组合层中的值转换为概率。输出块层具有N×N×K的大小，其中N是输入块的宽度和高度(单位为像素)，K是检测的类别的数量。因此，对于图像块中的任何像素P，存在大小为K的输出向量V。然后可以通过最大值在其对应向量V中的位置为每个像素P分配唯一的类别。
因此，CNN将每个像素标记为非癌性或属于若干种不同癌症(肿瘤)类型中的一种或多种。特别关注的癌症是乳腺癌，但是该方法也适用于其他癌症的组织学图像，诸如膀胱癌、结肠癌、直肠癌、肾癌、血癌(白血病)、子宫内膜癌、肺癌、肝癌、皮肤癌、胰腺癌、前列腺癌、脑癌、脊柱癌和甲状腺癌。
据我们所知，这是第一次在CNN中使用这种方法来勾勒和分类乳腺癌。我们已经确定，与我们所知道的先前的计算机自动化方法相比，这种方法的性能有所改进，因为轮廓更接近病理学家所画出的那些轮廓，而这些轮廓被认为是地面真值。
我们的特定神经网络实现方式被配置为对具有特定固定像素尺寸的输入图像进行操作。因此，作为预处理步骤，为了进行训练和预测两者，从WSI提取具有期望像素尺寸(例如N×N×n像素)的块，其中当WSI是由常规可见光显微镜采集的彩色图像时，在每个物理位置具有与三原色(典型地RGB)相关联的三个像素的情况下，n＝3(如下文进一步所述，在两种或更多种颜色的WSI被组合的情况下，“n”可以是合成WSI的数量的3倍)。而且，在单个单色WSI的情况下，“n”的值为1。为了加快训练，在此阶段还对输入块进行居中和标准化。
我们的优选方法是处理整个WSI，或者至少处理WSI的包含组织的整个区域，因此在我们的案例中，块是至少覆盖WSI的整个组织区域的图块。这些图块可以邻接而没有重叠，或者具有例如1、2、3、4、5、6、7、8、9或10个像素宽的重叠边缘边际区域，使得CNN的输出块可以在考虑到任何差异的情况下被拼接在一起。然而，如果需要，我们的方法也可以应用于WSI上具有相同或不同放大率的块的随机样本，如现有技术中那样，或者可以由病理学家执行。
我们的神经网络在设计上与Simonyan和Zisserman 2014[6]的VGG-16体系结构类似。其在所有卷积滤波器中使用非常小的3×3卷积核。最大池化是利用较小的2×2窗口和步长2执行的。与在卷积层之后具有一系列全连接层的VGG-16体系结构相比，我们在卷积层之后跟随有一系列“反卷积”(更准确地说，转置卷积)以生成分割掩码。这种类型的用于语义分割的上采样先前已经被Long等人2015[10]用于自然图像处理，其全部内容通过引用方式并入本文。
每个反卷积层在宽度和高度尺寸上将输入特征图放大两倍。这抵消了最大池化层的收缩效果，并且产生与输入图像大小相同的类别特征图。来自每个卷积和反卷积层的输出由非线性激活层进行转换。目前，非线性激活层使用整流函数RoLU(x)＝max(0，x)。可以根据需要使用不同激活函数，诸如RELU、带泄露RELU、ELU等。
所提出的方法可以在不修改任何期望数量的组织类别的情况下应用。仅约束适当训练数据的可用性，该训练数据已经以期望在神经网络中进行复制的方式被分类。更多乳腺病理的实例是浸润性小叶癌或浸润性导管癌，即先前实例的单个浸润性肿瘤类别可以用多个浸润性肿瘤类别代替。
将softmax回归层(即多项式逻辑回归层)应用于通道块中的每一者，以将特征图中的值转换为概率。
在通过softmax回归进行最终变换之后，最终特征图中的通道C的位置(x,y)处的值包含概率P(x,y)，即输入图像块中的位置(x,y)处的像素属于由通道C检测的肿瘤类型。
应当理解，卷积和反卷积层的数量可以根据需要增加或减少，并且受到运行神经网络的硬件的存储器限制。
我们使用小批量梯度下降来训练神经网络。使用指数式衰减将学习速率从初始速率0.1降低。我们通过使用由Srivastava等人2014[2017]描述的“丢弃(dropout)”程序来防止神经网络过拟合，其全部内容通过引用方式并入本文。可以使用若干种可用的深度学习框架中的任何一种在GPU、CPU或FPGA上完成网络的训练。对于我们当前的实现方式，我们使用Google Tensorflow，但是可以在另一个深度学习框架(诸如Microsoft CNTK)中实现相同的神经网络。
神经网络输出大小为N×N×K的概率图，其中N是输入块的宽度和高度(单位为像素)，并且K是检测的类别的数量。这些输出块被拼接在一起形成大小为W×H×K的概率图，其中W和H是被分成块之前的原始WSI的宽度和高度。
然后，通过在标签图像中的每个位置(x,y)处记录具有最大概率的类别索引，可以将概率图折叠为W×H标签图像。
在其当前的实现方式中，我们的神经网络将每个像素分配给以下三个类别中的一个：非肿瘤、浸润性肿瘤和原位肿瘤。
当使用多个肿瘤类别时，可以将输出图像后处理为非肿瘤和肿瘤的更简单的二元分类，即将多个肿瘤类别组合。当从基础数据创建图像时，二元分类可以用作选项，而将多类肿瘤分类保留在保存的数据中。
尽管对本发明的特定实现方式的上述描述集中于使用CNN的特定方法，但是应当理解，我们的方法可以在多种不同类型的卷积神经网络中实现。一般来讲，使用卷积来检测越来越复杂的特征并且随后使用转置卷积(“反卷积”)将特征图放大回输入图像的宽度和高度的任何神经网络都应该是合适的。
实例1
图2是彩色的，并且示出了块级预测(诸如，由谷歌的CNN方案针对Camelyon竞赛(Liu等人.2017[4])所生成的那些预测和由我们的CNN所生成的像素级预测)之间的差异。
图2中的图块A和B是从Liu等人2017[4]的图7中复制的，而图块C及D是根据本发明的实例的具可比性的图块。
图块A是来自H&E染色的WSI的块，其中右下象限中较大的深紫色细胞簇是肿瘤，而较小的深紫色细胞是淋巴细胞。
图块B是Liu等人2017[4]的CNN生成的肿瘤概率热图，作者指出该图准确地识别了肿瘤细胞，而忽略了结缔组织和淋巴细胞。
图块C是来自应用了体现本发明的CNN方法的示例WSI的原始图像块。除原始图像外，图块C还示出了由病理学家手动画出的轮廓(红色周边实线)。另外，参考图块D，图块C还示出了来自我们的CNN方法的结果(具有粉色周边线的第一粉色阴影区域对应于第一肿瘤类型，即图块D中示出为红色的肿瘤类型；具有粉色周边线的第二黄色阴影区域对应于第二肿瘤类型，即图块D中的蓝色阴影的肿瘤类型)。
图块D是由我们的CNN生成的肿瘤概率热图。可以看出，我们的像素级预测方法是如何产生具有平滑周边轮廓的区域的。对于我们的热图，不同(任意选择)的颜色指示不同的类别，即绿色代表非肿瘤，红色代表第一肿瘤类型，蓝色代表第二肿瘤类型。
实例2
图3是彩色的，并且示出了输入RGB图像块(左边的图块A)和最终输出肿瘤概率热图(右边的图块B)的实例。
图块A另外示出病理学家手动勾勒的浸润性肿瘤(红色轮廓)，并且另外示出了如图块B中单独示出的我们的神经网络的预测(粉色和黄色阴影区域)的叠加。
图块B是由我们的CNN生成的肿瘤概率热图。对于我们的热图，不同(任意选择)的颜色指示不同的类别，即绿色代表非肿瘤，红棕色代表浸润性肿瘤(在图块A中示出为粉色)，蓝色代表原位肿瘤(在图块A中示出为黄色)。同样，可以看出，我们的像素级预测方法是如何产生具有平滑周边轮廓的区域的。而且，可以看出，CNN预测与病理学家的手动标记如何兼容。另外，CNN提供了浸润性和非浸润性(原位)组织之间的进一步区分，这是病理学家所未执行的，并且是我们的多通道CNN设计的固有部分，该多通道CNN设计可以被编程并训练以用于根据需要并临床相关地将组织分类为任何数量的不同类型。
采集和图像处理
该方法的起点是组织样本已被切片，即切成薄片，并且相邻的切片已经用不同的染色剂染色。由于切片较薄，因此相邻切片将具有非常相似的组织结构，但由于它们具有不同的层，因而并不完全相同。
例如，可能有5个相邻的切片，每个切片利用不同的染色剂，诸如ER、PR、p53、HER2、H&E和Ki-67。然后采集每个切片的显微镜图像。尽管相邻切片将具有非常相似的组织形状，但染色剂将突出显示不同的特征，例如细胞核、细胞质、通过一般对比度增强显现的所有特征等。
然后将不同的图像对准、翘曲或以其他方式进行预处理，以将一个图像上的任何给定特征的坐标映射到其他图像上的相同特征。映射将处理图像之间的任何差异，这些差异是由诸如略微不同的放大率、由于显微镜中的载玻片对准差异或将组织薄片安装在载玻片上的差异引起的取向差异等因素造成的。
应当指出，利用包括不同地染色的相邻切片的集合中的不同WSI之间的坐标映射，可以将这些WSI合并为单个合成WSI，可以从该合成WSI提取合成块以供CNN处理，其中此类合成块将具有N×N×3m的尺寸，其中“m”是形成集合的合成WSI的数量。
然后对图像执行一些标准处理。可以在WSI级别或在单独图像块级别执行这些图像处理步骤。如果CNN被配置为对单色图像而不是彩色图像进行操作，则可以将图像从彩图转换为灰度图。可以通过应用对比度增强滤波器来修改图像。然后可以执行一些分割以识别图像集合中的公共组织区域或简单地拒绝与组织无关的背景。分割可涉及以下任何或全部图像处理技术：
基于方差的分析以识别种子组织区域
自适应阈值处理
形态学操作(例如，blob分析)
轮廓识别
基于邻近启发式规则的轮廓合并
不变图像矩的计算
边缘提取(例如，Sobel边缘检测)
曲率流滤波
直方图匹配以消除连续切片之间的强度变化
多分辨率刚体/仿射图像配准(梯度下降优化器)
非刚体变形/变换
超像素聚类
还应当理解，上述类型的图像处理步骤可以在WSI上执行或者在块提取之后在各个块上执行。在某些情况下，在块提取之前和之后执行相同类型的图像处理可能是有用的。也就是说，在块提取之前，可以在WSI上进行一些图像处理，而在从WSI提取块之后，可以在块上进行其他图像处理。
这些图像处理步骤通过示例的方式描述，并且不应解释为以任何方式限制本发明的范围。例如，如果有足够的处理能力，CNN可以直接处理彩色图像。
训练和预测
图4是示出训练CNN所涉及的步骤的流程图。
在步骤S40中，检索包含用于处理的WSI的训练数据，这些WSI已经由临床医生注释以发现、勾勒和分类肿瘤。临床医生的注释代表地面真值数据。
在步骤S41中，将WSI分解为图像块，这些图像块是用于CNN的输入图像块。也就是说，从WSI中提取图像块。
在步骤S42中，如上所述对图像块进行预处理。(替代地或另外地，可以在步骤S41之前如上所述对WSI进行预处理。)
在步骤S43中，为CNN权重(即层间权重)设置初始值。
在步骤S44中，如上面参考图1A和图1B进一步描述的，将一批输入图像块中的每一个输入到CNN中，并且对其进行处理以在逐个像素的基础上发现、勾勒和分类块。这里的术语“勾勒”在严格技术意义上不一定是正确使用的术语，因为我们的方法识别每个肿瘤(或肿瘤类型)像素，因此说CNN确定每个肿瘤类型的肿瘤区域可能更准确。
在步骤S45中，将CNN输出图像块与地面真值数据进行比较。这可以在每个块的基础上完成。替代地，如果已经提取了覆盖整个WSI的块，则这可以在WSI级别完成，或者在WSI的由一批连续块构成的子区域(例如，WSI的一个象限)中完成。在此类变型中，输出图像块可被重新组装成整个WSI或其连续部分的概率图，并且概率图可由计算机以及由用户在视觉上(如果概率图作为WSI的半透明叠加呈现在显示器上)与地面真值数据进行比较。
在步骤S46中，CNN然后从该比较中学习并且例如使用梯度下降方法更新CNN权重。因此，学习通过过程流中的返回循环被反馈回训练数据的重复处理中，如图4中所示，使得CNN权重可以被优化。
训练后，CNN可以独立于任何地面真值数据应用于WSI，即实时地用于预测。
图5是示出使用CNN进行预测所涉及的步骤的流程图。
在步骤S50中，例如从实验室信息系统(LIS)或其他组织学数据存储库检索一个或多个WSI用于处理。例如，如上所述对WSI进行预处理。
在步骤S51中，从该WSI或每个WSI提取图像块。块可以覆盖整个WSI，或者可以是随机或非随机选择。
在步骤S52中，例如如上所述对图像块进行预处理。
在步骤S53中，如上面参考图1A和图1B进一步描述的，将一批输入图像块中的每一个输入到CNN中，并且对其进行处理以在逐个像素的基础上发现、勾勒和分类块。然后，输出块可以被重新组装为从中提取输入图像块的WSI的概率图。例如，可以由计算机设备在数字处理中以及由用户在视觉上(如果概率图作为WSI上的半透明叠加或与WSI并排地呈现在显示器上)将概率图与WSI进行比较。
在步骤S54中，对肿瘤区域进行筛选，从而排除可能是假阳性的肿瘤，例如过小的区域或可能是边缘伪影的区域。
在步骤S55中，运行评分算法。评分是细胞特定的，并且评分可以针对每个肿瘤进行聚合，并且/或者针对WSI(或WSI的子区域)进一步进行聚合。
在步骤S56中，例如通过在适当的高分辨率监视器上显示带注释的WSI，将结果呈现给病理学家或其他相关熟练的临床医生以进行诊断。
在步骤S57中，将CNN的结果(即概率图数据和可选地与CNN参数有关的元数据连同由病理学家添加的任何附加诊断信息)以链接到包含已由CNN处理的WSI或WSI集合的患者数据文件的方式保存。因此，LIS或其他组织学数据存储库中的患者数据文件将补充有CNN结果。
计算平台
所提出的图像处理可以在各种计算体系结构上执行，特别是针对神经网络优化的计算体系结构，所述计算体系结构可以基于CPU、GPU、TPU、FPGA和/或ASIC。在一些实施方案中，使用在来自加利福尼亚州圣克拉拉市的英伟达公司(Nvidia Corporation)的NvidiaGPU(诸如Tesla K80 GPU)上运行的Google Tensorflow软件库来实现神经网络。在其他实施方案中，神经网络可以在通用CPU上运行。通过专门设计的用于执行CNN计算的处理器(例如Jouppi等人2017[11]中公开的TPU)可以获得更快的处理，其全部内容通过引用方式并入本文。
图6示出了Jouppi等人2017[11]的TPU，其是Jouppi的图1的简化再现。TPU 100具有脉动矩阵乘法单元(MMU)102，所述MMU包含可对有符号或无符号整数执行8位乘加的256×256MAC。通过权重FIFO缓冲器104提供MMU的权重，该权重FIFO缓冲器又经由合适的存储器接口108从呈芯片外8GB DRAM形式的存储器106中读取权重。提供统一缓冲器(UB)110以存储中间结果。MMU 102被连接以(经由脉动数据设置单元112)接收来自权重FIFO接口104和UB 110的输入，并且将MMU处理的16位乘积输出到累加器单元114。激活单元116对保存在累加器单元114中的数据执行非线性函数。在由归一化单元118和池化单元120进一步处理之后，中间结果被发送到UB 110，以经由数据设置单元112重新提供给MMU 102。池化单元120可以根据需要执行最大池化(即maxpooling)或平均池化。可编程DMA控制器122向或从TPU的主机计算机和UB 110传送数据。TPU指令经由主机接口124和指令缓冲器126从主机计算机发送到控制器122。
应当理解，用于运行神经网络的计算能力(无论是基于CPU、GPU还是TPU)可以本地托管在临床网络中，例如下面描述的网络，或者远程托管在数据中心。
所提出的计算机自动化方法在实验室信息系统(LIS)的脉络中操作，该实验室信息系统通常又是更大的临床网络环境(诸如医院信息系统(HIS)或影像存档和通信系统(PACS))的一部分。在LIS中，WSI将保留在数据库中，该数据库通常是包含各个患者的电子病历的患者信息数据库。WSI将取自安装在载玻片上的经染色的组织样本，载玻片承载打印的条形码标签，通过该条形码标签，WSI标记有合适的元数据，因为采集WSI的显微镜配备有条形码读取器。从硬件的角度来看，LIS将是常规的计算机网络，诸如具有所需的有线和无线连接的局域网(LAN)。
图7示出了可以与本发明的实施方案结合使用的示例性计算机网络。网络150包括医院152中的LAN。医院152配备有多个工作站154，每个工作站可以经由局域网访问具有相关联存储装置158的医院计算机服务器156。LIS、HIS或PACS存档存储在存储装置158上，使得可以从任何工作站154访问该存档中的数据。工作站154中的一个或多个可以访问图形卡和软件，以用于计算机实现如上所述的生成图像的方法。该软件可以被本地存储在该工作站154或每个工作站处，或者可以被远程存储并且在需要时通过网络150下载到工作站154。在其他实例中，可以在工作站154作为终端操作的情况下在计算机服务器上执行体现本发明的方法。例如，工作站可以被配置为接收定义期望组织学图像数据集的用户输入，并且在系统中其他位置执行CNN分析时显示结果图像。此外，许多组织学和其他医学成像装置160、162、164、166连接到医院计算机服务器156。利用装置160、162、164、166收集的图像数据可以直接存储在存储装置156上的LIS、HIS或PACS存档中。因此，可以在记录对应的组织学图像数据后立即查看和处理组织学图像。局域网通过医院互联网服务器170连接到互联网168，医院互联网服务器允许远程访问LIS、HIS或PACS存档。这可用于远程访问数据和在医院之间传送数据(例如，如果病人被转移)，或者允许进行外部研究。
图8是示出可以结合本文描述的各种实施方案使用的示例性计算设备500的框图。例如，计算设备500可以用作上述LIS或PACS系统中的计算节点，例如，结合适当的GPU或图6所示的TPU从中执行CNN处理的主机计算机。
计算设备500可以是服务器或任何常规的个人计算机，或者是能够进行有线或无线数据通信的任何其他处理器使能的装置。如本领域技术人员将清楚的，还可以使用其他计算设备、系统和/或体系结构，包括不能够进行有线或无线数据通信的装置。
计算设备500优选地包括一个或多个处理器，诸如处理器510。处理器510可以是例如CPU、GPU、TPU或其阵列或组合，诸如CPU与TPU组合或CPU与GPU组合。可以提供附加的处理器，诸如管理输入/输出的辅助处理器、执行浮点数学运算的辅助处理器(例如，TPU)、具有适于快速执行信号处理算法的体系结构的专用微处理器(例如，数字信号处理器、图像处理器)、从属于主处理系统的从处理器(例如，后端处理器)、用于双处理器或多处理器系统的附加微处理器或控制器、或者协处理器。此类辅助处理器可以是离散的处理器，或者可以与处理器510集成在一起。可以与计算设备500一起使用的CPU的实例是奔腾(Pentium)处理器、酷睿i7(Core i7)处理器和至强(Xeon)处理器，所有这些处理器都可以从加利福尼亚州圣克拉拉市的英特尔公司(Intel Corporation)获得。可以与计算设备500一起使用的示例GPU是加利福尼亚州圣克拉拉市的英伟达公司的Tesla K80GPU。
处理器510连接到通信总线505。通信总线505可以包括用于促进存储装置与计算设备500的其他外围部件之间的信息传送的数据通道。通信总线505还可以提供用于与处理器510通信的一组信号，所述通信总线包括数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准或非标准总线体系结构，诸如符合工业标准体系结构(ISA)、扩展工业标准体系结构(EISA)、微通道体系结构(MCA)、外围部件互连(PCI)局部总线或者由电气和电子工程师协会(IEEE)颁布的标准(包括IEEE 488通用接口总线(GPIB)、IEEE696/S-100等)的总线体系结构。
计算设备500优选地包括主存储器515，并且还可以包括二级存储器520。主存储器515为在处理器510上执行的程序提供指令和数据的存储，诸如以上讨论的功能和/或模块中的一种或多种。应当理解，存储在存储器中并由处理器510执行的计算机可读程序指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或者用一种或多种编程语言的任意组合撰写和/或编译的源代码或目标代码，所述编程语言包括但不限于Smalltalk、C/C++、Java、JavaScript、Perl、Visual Basic、.NET等。主存储器515通常是基于半导体的存储器，诸如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其他基于半导体的存储器类型包括例如同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等，包括只读存储器(ROM)。
计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机以及部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在远程计算机或服务器上执行的情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
二级存储器520可以可选地包括内部存储器525和/或可移动介质530。可移动介质530以任何公知的方式被读取和/或写入。可移动存储介质530可以是例如磁带驱动器、光盘(CD)驱动器、数字通用光盘(DVD)驱动器、其他光学驱动器、闪存驱动器等。
可移动存储介质530是其上存储有计算机可执行代码(即软件)和/或数据的非暂时性计算机可读介质。存储在可移动存储介质530上的计算机软件或数据被读取到计算设备500以由处理器510执行。
二级存储器520可以包括其他类似的元件，用于允许将计算机程序或其他数据或指令加载到计算设备500中。此类装置可以包括例如外部存储介质545和通信接口540，该通信接口允许将软件和数据从外部存储介质545传送到计算设备500。外部存储介质545的实例可以包括外部硬盘驱动器、外部光学驱动器、外部磁光驱动器等。二级存储器520的其他实例可以包括基于半导体的存储器，诸如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)或闪存(类似于EEPROM的面向块的存储器)。
如上所述，计算设备500可以包括通信接口540。通信接口540允许软件和数据在计算设备500与外部装置(例如，打印机)、网络或其他信息源之间传送。例如，可以经由通信接口540将计算机软件或可执行代码从网络服务器传送到计算设备500。通信接口540的实例包括内置网络适配器、网络接口卡(NIC)、个人计算机存储卡国际协会(PCMCIA)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外接口、IEEE 1394火线、或能够将系统550与网络或另一计算装置对接的任何其他装置。通信接口540优选地实现工业颁布的协议标准，诸如以太网IEEE 802标准、光纤通道、数字用户线(DSL)、异步数字用户线(ADSL)、帧中继、异步传送模式(ATM)、综合数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/互联网协议(TCP/IP)、串行线路互联网协议/点对点协议(SLIP/PPP)等，但是也可以实现定制的或非标准的接口协议。
经由通信接口540传送的软件和数据通常呈电通信信号555的形式。这些信号555可以经由通信信道550被提供给通信接口540。在一个实施方案中，通信信道550可以是有线或无线网络，或者任何各种其他通信链路。通信信道550运载信号555，并且可以使用各种有线或无线通信装置来实现，包括电线或电缆、光纤、常规电话线、蜂窝电话链路、无线数据通信链路、射频(“RF”)链路或红外链路，这里仅举几个例子。
计算机可执行代码(即计算机程序或软件)存储在主存储器515和/或二级存储器520中。还可以经由通信接口540接收计算机程序，并且将其存储在主存储器515和/或二级存储器520中。此类计算机程序在被执行时使计算设备500能够执行如本文其他地方所描述的所公开的实施方案的各种功能。
在本文档中，术语“计算机可读介质”用于指用于向计算设备500提供计算机可执行代码(例如，软件和计算机程序)的任何非暂时性计算机可读存储介质。此类介质的实例包括主存储器515、二级存储器520(包括内部存储器525、可移动介质530和外部存储介质545)，以及与通信接口540通信地耦合的任何外围装置(包括网络信息服务器或其他网络装置)。这些非暂时性计算机可读介质是用于向计算设备500提供可执行代码、编程指令和软件的装置。[90]在使用软件实现的实施方案中，软件可以存储在计算机可读介质上，并且通过可移动介质530、I/O接口535或通信接口540加载到计算设备500中。在此类实施方案中，软件以电通信信号555的形式被加载到计算设备500中。当由处理器510执行时，该软件优选地使处理器510执行本文其他地方描述的特征和功能。
I/O接口535在计算设备500的一个或多个部件与一个或多个输入和/或输出装置之间提供接口。示例输入装置包括但不限于键盘、触摸屏或其他触敏装置、生物特征感测装置、计算机鼠标、轨迹球、基于笔的指针装置等。输出装置的实例包括但不限于阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射显示器(SED)、场发射显示器(FED)等。
计算装置500还包括促进通过语音网络和/或数据网络进行无线通信的可选无线通信部件。无线通信部件包括天线系统570、无线电系统565和基带系统560。在计算设备500中，在无线电系统565的管理下，通过天线系统570在空中传输和接收射频(RF)信号。
天线系统570可以包括一个或多个天线和一个或多个多路复用器(未示出)，所述一个或多个天线以及一个或多个多路复用器执行切换功能以向天线系统570提供传输和接收信号路径。在接收路径中，可以将接收到的RF信号从多路复用器耦合到低噪声放大器(未示出)，该低噪声放大器放大接收到的RF信号并将放大后的信号发送到无线电系统565。
无线电系统565可以包括被配置为在各种频率上进行通信的一个或多个无线电装置。在一个实施方案中，无线电系统565可以在一个集成电路(IC)中组合解调器(未示出)和调制器(未示出)。解调器和调制器也可以是独立的部件。在输入路径中，解调器剥离RF载波信号，留下基带接收音频信号，该基带接收音频信号从无线电系统565发送到基带系统560。
如果接收到的信号包含音频信息，则基带系统560对该信号进行解码并将其转换为模拟信号。然后信号被放大并发送到扬声器。基带系统560还从传声器接收模拟音频信号。这些模拟音频信号被转换为数字信号，并且由基带系统560进行编码。基带系统560还对数字信号进行编码以进行传输，并生成被路由至无线电系统565的调制器部分的基带传输音频信号。调制器将基带传输音频信号与RF载波信号混合，从而生成RF传输信号，该RF传输信号被路由至天线系统570，并且可以通过功率放大器(未示出)。功率放大器放大RF传输信号并将其路由至天线系统570，在天线系统中，信号被切换到天线端口以进行传输。
基带系统560还与处理器510通信地耦合，该处理器可以是中央处理单元(CPU)。处理器510可以访问数据存储区515和520。处理器510优选地被配置为执行可以被存储在主存储器515或二级存储器520中的指令(即计算机程序或软件)。还可以从基带处理器560接收计算机程序，并且将其存储在主存储器510或二级存储器520中，或者在接收时执行。此类计算机程序在被执行时使计算设备500能够执行所公开的实施方案的各种功能。例如，数据存储区515或520可以包括各种软件模块。
该计算设备还包括直接附接到通信总线505的显示器575，该显示器可以被提供来代替或外加到连接到上述I/O接口535的任何显示器。
例如，各种实施方案也可以使用诸如专用集成电路(ASIC)、可编程逻辑阵列(PLA)或现场可编程门阵列(FPGA)等部件主要在硬件中实现。能够执行本文描述的功能的硬件状态机的实现方式对于相关领域的技术人员来说也是显而易见的。各种实施方案也可以使用硬件和软件两者的组合来实现。
此外，本领域技术人员将理解，结合上述附图和本文公开的实施方案描述的各种说明性逻辑块、模块、电路和方法步骤通常可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已大致在其功能性方面描述了各种说明性部件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式实现所描述的功能，但是这种实现决定不应被解释为导致脱离本发明的范围。另外，模块、块、电路或步骤内的功能分组是为了易于描述。在不脱离本发明的情况下，特定的功能或步骤可以从一个模块、块或电路移动到另一个模块、块或电路。
而且，结合本文公开的实施方案描述的各种说明性逻辑块、模块、功能和方法可用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何处理器、控制器、微控制器或状态机。处理器也可以被实现为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其他此类配置。
另外，结合本文公开的实施方案描述的方法或算法的步骤可以直接体现在硬件中、在由处理器执行的软件模块中或在两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以耦合到处理器，使得处理器可以从该存储介质读取信息，以及向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质也可以驻留在ASIC中。
如本文所提到的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。
本文所述的任何软件部件可以采用多种形式。例如，部件可以是独立软件包，或者其可以是作为“工具”结合在较大软件产品中的软件包。部件可以作为独立产品或附加包从网络(例如，网站)下载，以安装在现有软件应用程序中。部件也可以作为客户端-服务器软件应用程序、web使能软件应用程序和/或移动应用程序。
这里参考根据本发明的实施方案的方法、设备(系统)和计算机程序产品的流程图图示和/或框图描述了本发明的实施方案。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。
可以将计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理设备和/或其他装置以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理设备或其他装置上，以使一系列操作步骤在计算机、其他可编程设备或其他装置上执行，从而产生计算机实现的过程，使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
所示出的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系结构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定的一个或多个逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中指出的功能可以按不同于图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时地执行，或者这些框有时可以以相反的顺序执行。还要注意，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
体现本发明的设备和方法能够被托管在云计算环境中并由其交付。云计算是一种服务交付模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用程序、虚拟机和服务)的共享池的方便的按需网络访问，该可配置计算资源可以用最少的管理工作或与服务提供商的交互来快速预配(provision)和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下：
按需自助服务：云消费者在无需与服务提供商进行人为交互的情况下能够单方面自动地按需预配诸如服务器时间和网络存储等计算能力。
广泛的网络接入：能力可以通过网络获取并通过标准机制访问，所述标准机制促进了通过不同种类的瘦客户端平台或厚客户端平台(例如，移动电话、膝上型电脑和个人数字助理(PDA))的使用。
资源归池：提供商的计算资源被归到池以通过多租户(multi-tenant)模型服务于多个消费者，其中按需将不同的物理资源和虚拟资源动态地分配和再分配。存在消费者通常不能控制或不知晓所提供的资源的确切位置但可能能够在较高抽象程度上指定位置(例如，国家、州或数据中心)的位置独立性的情况。
快速弹性：能力能够快速且有弹性地(有时是自动地)预配以迅速扩展，并且能快速释放来快速缩小。对于消费者，可用于预配的能力往往显得是无限的，并且可以在任意时间购买任意数量。
测量的服务：云系统通过利用适于服务类型(例如，存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源使用。可以监测、控制和报告资源使用，从而为被利用的服务的提供商和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供商在云基础设施上运行的应用程序。可以通过诸如web浏览器的瘦客户端接口(例如，基于web的电子邮件)从各种客户端装置访问应用程序。除了可能的有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至各个应用能力的底层云基础设施。
平台即服务(PaaS)：向消费者提供的能力是在云基础设施上部署消费者创建或者获取的应用程序，这些应用程序使用提供商所支持的编程语言和工具而创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础设施，但对所部署的应用程序具有控制权，对应用程序托管环境配置可能也具有控制权。
基础设施即服务(IaaS)：向消费者提供的能力是预配消费者能够在其中部署并运行可以包括操作系统和应用程序的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层云基础设施，但是对操作系统、存储和所部署的应用程序具有控制权，对选择的网络部件(例如，主机防火墙)可能具有有限的控制权。
部署模型如下：
私有云：云基础设施单独为某个组织运行。其可以通过该组织或第三方来管理，并且可以存在于内部(on-premise)或外部(off-premise)。
社区云：云基础设施被若干组织共享并支持具有共同的关注点(例如，任务使命、安全要求、政策和合规考虑)的特定社群。其可以由组织或第三方来管理，且可以存在于内部或外部。
公有云：云基础设施对公众或大型产业群可用并由出售云服务的组织拥有。
混合云：云基础设施由两个或更多云(私有云、社区云或公有云)组成，这些云依然是独特的实体，但是通过使数据和应用程序能够移植的标准化技术或专有技术(例如，用于云之间的负载平衡的云爆发)绑定在一起。
云计算环境是面向服务的，着重于无状态性、低耦合性、模块性和语义的互操作性。云计算的核心是包含互连节点网络的基础设施。
本领域技术人员将清楚，在不脱离本公开的范围的情况下，可以对前述示例性实施方案进行许多改进和修改。
参考资料
Wang，Dayong，Aditya Khosla，Rishab Gargeya，Humayun Irshad，and Andrew HBeck.2016.“Deep Learning for Identifying Metastatic Breast Cancer.”ArXivPreprint ArXiv：1606.05718.
US2015213302A1(Case Western Reserve University)
Le Hou，Dimitris Samaras，Tahsin M.Kurc，Yi Gao，James E.Davis，and JoelH.Saltz″Patch-based Convolutional Neural Network for Whole Slide Tissue ImageClassification″，Proc.IEEE Comput Soc Conf Comput Vis Pattern Recognit.2016，pages 2424-2433.doi：10.1109/CVPR
Liu，Yun，Krishna Gadepalli，Mohammad Norouzi，George E Dahl，TimoKohlberger，Aleksey Boyko，Subhashini Venugopalan，et al.2017.“Detecting CancerMetastases on Gigapixel Pathology Images.”ArXiv Preprint ArXiv：1703.02442.
Babak Ehteshami Bejnordi，Guido Zuidhof，Maschenka Balkenhol，MeykeHermsen，Peter Bult，Bram van Ginneken，Nico Karssemeijer，Geert Litjens，Jeroenvan der Laak″Context-aware stacked convolutional neural networks forclassification of breast carcinomas in whole-slide histopathology images″10May 2017，ArXiv：1705.03678v1
Simonyan and Zisserman.2014.“Very Deep Convolutional Networks forLarge-Scale Image Recognition.”ArXiv Preprint ArXiv：1409.1556
Srivastava，Nitish，Geoffrey E Hinton，Alex Krizhevsky，Ilya Sutskever，and Ruslan Salakhutdinov.2014.“Dropout：A Simple Way to Prevent NeuralNetworks from Overfitting.”Journal of Machine Learning Research vol.15(1)：pages 1929-58.
Angel Cruz-Roa，Hannah Gilmore，Ajay Basavanhally，Michael Feldman，Shridar Ganesan，Natalie N.C.Shih，John Tomaszewski，Fabio A.González&AnantMadabhushi.″A Deep Learning approach for quantifying tumor extent″ScientificReports 7，Article number：46450(2017)，doi：10.1038/srep46450
Michel E.Vandenberghe，Marietta L.J.Scott，Paul W.Scorer，Magnus
Figure BDA0002559396150000351
Denis Balcerzak&Craig Barker.″Relevance of deep learning tofacilitate the diagnosis of HER2 status in breast cancer″.Scientific Reports7，Article number：45938(2017)，doi：10.1038/srep45938
Long，Jonathan，Evan Shelhamer，and Trevor Darrell.2015.“FullyConvolutional Networks for Semantic Segmentation.”In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，pages 3431-40 ComputerVision and Pattern Recognition(cs.CV)，arXiv：1411.4038[cs.CV]
Jouppi，Young，Patil et al″ln-Datacenter Performance Analysis of aTensor Processing Unit″44th International Symposium on Computer Architecture(ISCA)，Toronto，Canada，24-28 June 2017(submitted 16 April 2017)，arXiv：1704.04760[cs.AR]

Claims (22)

1.一种在组织学图像或组织学图像集合中识别肿瘤的方法，所述方法包括：
从存储在数据存储库中的记录接收组织学图像或组织学图像集合；
从所述组织学图像或组织学图像集合提取图像块，所述图像块是所述组织学图像或组织学图像集合的大小由宽度和高度中的像素数限定的区域部分；
提供具有一组权重和多个通道的卷积神经网络，每个通道对应于待识别的多个组织类别中的一个，其中所述组织类别中的至少一个代表非肿瘤组织，并且所述组织类别中的至少一个代表肿瘤组织；
将每个图像块作为输入图像块输入到所述卷积神经网络中；
执行多级卷积以生成尺寸不断减小直到并包括最小尺寸的最终卷积层的卷积层，随后进行多级转置卷积以通过生成尺寸不断增大的反卷积层使所述卷积反转，直到层恢复到大小与所述输入图像块相匹配为止，所述恢复层中的每个像素包含属于所述组织类别中的每一个的概率；以及
基于所述概率将组织类别分配给所述恢复层中的每个像素，以获得输出图像块。
2.如权利要求1所述的方法，其还包括：
将所述输出图像块组装成所述组织学图像或组织学图像集合的概率图。
3.如权利要求2所述的方法，其还包括：
将所述概率图存储到所述数据存储库中的所述记录中，使得所述概率图链接到所述组织学图像或组织学图像集合。
4.如权利要求2所述的方法，其还包括：
在显示器上显示所述组织学图像或组织学图像集合以及所述概率图。
5.如权利要求1所述的方法，其还包括：
为所述卷积神经网络提供至少一个跳跃连接，所述跳跃连接中的每一个从所述卷积层中具有比所述最终卷积层更大尺寸的至少一个卷积层获得中间结果，并且根据需要使这些结果经受尽可能多的转置卷积，以获得在大小上与所述输入图像块相匹配的至少一个另外的恢复层，其中所经受的转置卷积可为零个、一个或多于一个；以及
在向每个像素分配组织类别的所述步骤之前，进一步处理所述恢复层以将所述恢复层与所述至少一个另外的恢复层组合，以便重新计算所述概率以将所述至少一个跳跃连接考虑在内。
6.如权利要求1所述的方法，其中使用softmax运算生成所述概率。
7.如权利要求1所述的方法，执行所述方法以进行预测，其中所述卷积神经网络已经在先前的训练期间分配了其权重值。
8.如权利要求1所述的方法，执行所述方法以进行训练，其中所述记录包括将所述组织学图像或组织学图像集合中的每个像素分配给所述组织类别中的一个的地面真值数据，权利要求1所述的方法被迭代地执行，其中每个迭代涉及基于所述地面真值数据与所述输出图像块的比较来调节用于所述卷积神经网络的其权重值。
9.如权利要求8所述的方法，其中在训练期间调节所述权重是通过梯度下降法执行的。
10.如权利要求1所述的方法，其中所述组织类别包括针对肿瘤组织的至少两个类别。
11.如权利要求1所述的方法，其中对于非肿瘤组织存在一种组织类别，并且对于肿瘤组织存在两种组织类别，即针对浸润性肿瘤的第一类别，以及针对原位肿瘤的第二类别。
12.如权利要求1所述的方法，其中所述组织学图像或组织学图像集合是从组织区域的不同地染色的相邻切片获得的一组组织学图像。
13.如权利要求2所述的方法，其还包括：
根据所述概率图定义所述组织学图像中对应于肿瘤的区域；
根据评分算法对每个肿瘤进行评分，以为每个肿瘤分配分数；并且
将所述分数存储在所述数据存储库中的所述记录中。
14.如权利要求2所述的方法，其还包括：
在所述显示器上显示所述组织学图像或组织学图像集合以及所述概率图和所述分数。
15.一种用于在组织学图像或组织学图像集合中识别肿瘤的计算机程序产品，所述计算机程序产品承载用于执行权利要求1所述的方法的机器可读指令。
16.一种用于在组织学图像或组织学图像集合中识别肿瘤的计算机设备，所述设备包括：
输入，所述输入可操作以从存储在数据存储库中的记录接收组织学图像或组织学图像集合；
预处理模块，所述预处理模块被配置为从所述组织学图像或组织学图像集合提取图像块，所述图像块是所述组织学图像或组织学图像集合的大小由宽度和高度中的像素数限定的区域部分；以及
卷积神经网络，所述卷积神经网络具有一组权重和多个通道，每个通道对应于待识别的多个组织类别中的一个，其中所述组织类别中的至少一个代表非肿瘤组织，并且所述组织类别中的至少一个代表肿瘤组织，所述卷积神经网络可操作以：
a)作为输入将每个图像块接收为输入图像块；
b)执行多级卷积以生成尺寸不断减小直到并包括最小尺寸的最终卷积层的卷积层，随后进行多级转置卷积以通过生成尺寸不断增大的反卷积层使所述卷积反转，直到层恢复到大小与所述输入图像块相匹配为止，所述恢复层中的每个像素包含属于所述组织类别中的每一个的概率；以及
c)基于所述概率将组织类别分配给所述恢复层中的每个像素，以获得输出图像块。
17.如权利要求16所述的设备，其还包括：
后处理模块，所述后处理模块被配置为将所述输出图像块组装成所述组织学图像或组织学图像集合的概率图；以及
18.如权利要求17所述的设备，其还包括：
输出，所述输出可操作以将所述概率图存储到所述数据存储库中的所述记录中，使得所述概率图链接到所述组织学图像或组织学图像集合。
19.如权利要求17所述的设备，其还包括：
显示器；以及
显示器输出，所述显示器输出可操作以将所述组织学图像或组织学图像集合和所述概率图传输到所述显示器，使得所述组织学图像与所述概率图一起显示。
20.如权利要求16所述的设备，
其中所述卷积神经网络具有至少一个跳跃连接，所述跳跃连接中的每一个从所述卷积层中具有比所述最终卷积层更大尺寸的至少一个卷积层获得中间结果，并且根据需要使这些结果经受尽可能多的转置卷积，以获得在大小上与所述输入图像块相匹配的至少一个另外的恢复层，其中所经受的转置卷积可为零个、一个或多于一个；以及
其中所述卷积神经网络被配置为在向每个像素分配组织类别的所述步骤之前进一步处理所述恢复层，使得所述恢复层与所述至少一个另外的恢复层组合，以便重新计算所述概率以将所述至少一个跳跃连接考虑在内。
21.一种临床网络，其包括：
权利要求16所述的计算机设备；
数据存储库，所述数据存储库被配置为存储包括组织学图像或组织学图像集合的患者数据记录；以及
网络连接，所述网络连接使得能够在所述计算机设备与所述数据存储库之间传送患者数据记录或其部分。
22.如权利要求21所述的临床网络，其还包括：
图像采集设备，所述图像采集设备可操作以采集组织学图像或组织学图像集合并将其存储到所述数据存储库中的记录中。
CN201880084713.7A 2017-12-29 2018-12-21 利用卷积神经网络处理组织学图像以识别肿瘤 Pending CN111542830A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762611915P 2017-12-29 2017-12-29
US62/611,915 2017-12-29
PCT/US2018/067349 WO2019133538A2 (en) 2017-12-29 2018-12-21 Processing of histology images with a convolutional neural network to identify tumors

Publications (1)

Publication Number Publication Date
CN111542830A true CN111542830A (zh) 2020-08-14

Family

ID=67057727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084713.7A Pending CN111542830A (zh) 2017-12-29 2018-12-21 利用卷积神经网络处理组织学图像以识别肿瘤

Country Status (6)

Country Link
US (2) US10740896B2 (zh)
EP (1) EP3625765B1 (zh)
JP (2) JP2021509713A (zh)
CN (1) CN111542830A (zh)
AU (1) AU2018394106B2 (zh)
WO (1) WO2019133538A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233151A (zh) * 2020-10-14 2021-01-15 苏州优纳医疗器械有限公司 一种自动确认浸润性乳腺癌区域系统
CN112580748A (zh) * 2020-12-30 2021-03-30 电子科技大学 一种对Ki67染色图像癌细胞计数的方法
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112950587A (zh) * 2021-03-02 2021-06-11 中国科学院自动化研究所 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
CN113205111A (zh) * 2021-04-07 2021-08-03 零氪智慧医疗科技(天津)有限公司 适用于肝脏肿瘤的识别方法、装置及电子设备
US11449998B2 (en) 2017-12-29 2022-09-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3046035A1 (en) * 2016-12-05 2018-06-14 Avigilon Coporation System and method for cnn layer sharing
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102590482B1 (ko) * 2018-08-30 2023-10-19 어플라이드 머티어리얼스, 인코포레이티드 자동 종양 검출 및 분류를 위한 시스템
TWI681406B (zh) * 2018-12-20 2020-01-01 中國醫藥大學附設醫院 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
US10949649B2 (en) * 2019-02-22 2021-03-16 Image Metrics, Ltd. Real-time tracking of facial features in unconstrained video
CN110084309B (zh) * 2019-04-30 2022-06-21 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
CN117234356A (zh) * 2019-05-08 2023-12-15 义隆电子股份有限公司 用于触控装置的控制系统及方法
US11176696B2 (en) * 2019-05-13 2021-11-16 International Business Machines Corporation Point depth estimation from a set of 3D-registered images
EP3970158A1 (en) * 2019-05-16 2022-03-23 PAIGE.AI, Inc. Systems and methods for processing images to classify the processed images for digital pathology
JP7346603B2 (ja) * 2019-06-07 2023-09-19 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications
CN112288672B (zh) * 2019-07-10 2023-12-08 富泰华工业（深圳）有限公司 肿瘤检测方法及肿瘤检测装置
CN114746907A (zh) * 2019-08-13 2022-07-12 赛诺菲 预测患者对化学物质的反应
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
JP7544338B2 (ja) * 2019-09-27 2024-09-04 国立大学法人 東京大学 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11367189B2 (en) * 2019-10-18 2022-06-21 Carnegie Mellon University Method for object detection using hierarchical deep learning
US11341635B2 (en) * 2019-10-31 2022-05-24 Tencent America LLC Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion
EP3816934A1 (en) * 2019-11-04 2021-05-05 Nathan Vinçon Method of, and computerized system for labeling an image of cells of a patient
DE102019130930A1 (de) * 2019-11-15 2021-05-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren mit Ausführen eines faltenden neuronalen Netzes
CN112905132B (zh) * 2019-11-19 2023-07-18 华为技术有限公司 投屏方法及设备
CN110827275B (zh) * 2019-11-22 2023-12-22 吉林大学第一医院 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法
CN111126187A (zh) * 2019-12-09 2020-05-08 上海眼控科技股份有限公司 火情检测方法、系统、电子设备及存储介质
US11538146B2 (en) * 2019-12-19 2022-12-27 Qeexo, Co. Automated machine vision-based defect detection
EP4088220A1 (en) * 2020-01-11 2022-11-16 NantCell, Inc. Deep learning models for tumor evaluation
CN111383328B (zh) * 2020-02-27 2022-05-20 西安交通大学 一种面向乳腺癌病灶的3d可视化方法及系统
EP4121888A1 (en) * 2020-03-18 2023-01-25 Sanofi Systems and methods for predicting expression levels
KR20230021665A (ko) 2020-05-08 2023-02-14 페이지.에이아이, 인크. 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들
US11379697B2 (en) * 2020-05-20 2022-07-05 Bank Of America Corporation Field programmable gate array architecture for image analysis
US11790533B2 (en) 2020-07-02 2023-10-17 Sony Group Corporation Machine learning based image segmentation training with contour accuracy evaluation
EP3975110A1 (en) * 2020-09-25 2022-03-30 Panakeia Technologies Limited A method of processing an image of tissue and a system for processing an image of tissue
TWI762055B (zh) * 2020-11-30 2022-04-21 鴻海精密工業股份有限公司 卷積神經網路、運算優化方法、裝置、電子設備及介質
CN112634208B (zh) * 2020-12-09 2022-07-05 浙江求是数理医学研究院 基于深度学习的超声影像混合训练方法
RU2764705C1 (ru) * 2020-12-22 2022-01-19 Общество с ограниченной ответственностью «Аби Продакшн» Извлечение нескольких документов из единого изображения
WO2022183078A1 (en) * 2021-02-25 2022-09-01 California Institute Of Technology Computational refocusing-assisted deep learning
US11482319B2 (en) 2021-03-09 2022-10-25 PAIGE.AI, Inc. Systems and methods for processing electronic images to determine testing for unstained specimens
EP4288975A1 (en) * 2021-03-18 2023-12-13 Leica Biosystems Imaging, Inc. Apparatus and method for training of machine learning models using annotated image data for pathology imaging
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113077440A (zh) * 2021-03-31 2021-07-06 中南大学湘雅医院 病理图像的处理方法、装置、计算机设备和存储介质
US20220319002A1 (en) * 2021-04-05 2022-10-06 Nec Laboratories America, Inc. Tumor cell isolines
US20220327810A1 (en) * 2021-04-12 2022-10-13 Texas Instruments Incorporated Multi-Label Image Classification in a Deep Learning Network
TWI790689B (zh) * 2021-07-21 2023-01-21 財團法人資訊工業策進會 乳房斷層影像處理方法與電子裝置
US20230029335A1 (en) * 2021-07-23 2023-01-26 Taiwan Semiconductor Manufacturing Company, Ltd. System and method of convolutional neural network
US20230077353A1 (en) * 2021-08-31 2023-03-16 University Of South Florida Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images
CN113946538B (zh) * 2021-09-23 2024-04-12 南京大学 一种基于行缓存机制的卷积层融合存储装置及方法
CN114239811B (zh) * 2021-12-21 2024-05-31 支付宝(杭州)信息技术有限公司 基于隐私保护的多方联合卷积处理方法、装置和系统
CN114973244B (zh) * 2022-06-12 2023-04-11 桂林电子科技大学 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
CN107330263A (zh) * 2017-06-26 2017-11-07 成都知识视觉科技有限公司 一种计算机辅助乳腺浸润性导管癌组织学分级的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
GB201307590D0 (en) * 2013-04-26 2013-06-12 St Georges Hosp Medical School Processing imaging data to obtain tissue type information
US9946953B2 (en) * 2013-05-10 2018-04-17 Koninklijke Philips N.V. Apparatus and method for processing images of tissue samples
US9585627B2 (en) * 2013-08-14 2017-03-07 Siemens Healthcare Gmbh Histological differentiation grade prediction of hepatocellular carcinoma in computed tomography images
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CA2944829C (en) 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
WO2016075096A1 (en) 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
US9785848B2 (en) * 2015-04-30 2017-10-10 Ge Healthcare Bio-Sciences Corp. Automated staining and segmentation quality control
US9965719B2 (en) 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10049450B2 (en) * 2015-12-03 2018-08-14 Case Western Reserve University High-throughput adaptive sampling for whole-slide histopathology image analysis
CN114386567A (zh) * 2016-02-18 2022-04-22 谷歌有限责任公司 图像分类神经网络
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
EP3432784B1 (en) * 2016-03-24 2020-09-23 The Regents of The University of California Deep-learning-based cancer classification using a hierarchical classification framework
CN110073404B (zh) * 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖
US10373312B2 (en) * 2016-11-06 2019-08-06 International Business Machines Corporation Automated skin lesion segmentation using deep side layers
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
US11195274B2 (en) * 2017-08-03 2021-12-07 Nucleai Ltd Systems and methods for analysis of tissue images
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US10832406B2 (en) * 2017-11-15 2020-11-10 President And Fellows Of Harvard College Quantitative pathology analysis and diagnosis using neural networks
US10740896B2 (en) 2017-12-29 2020-08-11 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
CN107330263A (zh) * 2017-06-26 2017-11-07 成都知识视觉科技有限公司 一种计算机辅助乳腺浸润性导管癌组织学分级的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《HTTPS://EXPORT.ARXIV.ORG/PDF/1505.04597》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449998B2 (en) 2017-12-29 2022-09-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN112233151A (zh) * 2020-10-14 2021-01-15 苏州优纳医疗器械有限公司 一种自动确认浸润性乳腺癌区域系统
CN112233151B (zh) * 2020-10-14 2023-10-03 北京优纳科技有限公司 一种自动确认浸润性乳腺癌区域系统
CN112580748A (zh) * 2020-12-30 2021-03-30 电子科技大学 一种对Ki67染色图像癌细胞计数的方法
CN112580748B (zh) * 2020-12-30 2022-10-14 电子科技大学 一种对染色图像的分类细胞计数的方法
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112801939B (zh) * 2020-12-31 2022-07-22 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112950587A (zh) * 2021-03-02 2021-06-11 中国科学院自动化研究所 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备
CN113205111A (zh) * 2021-04-07 2021-08-03 零氪智慧医疗科技(天津)有限公司 适用于肝脏肿瘤的识别方法、装置及电子设备
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
CN113035334B (zh) * 2021-05-24 2021-10-29 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置

Also Published As

Publication number Publication date
WO2019133538A3 (en) 2020-03-26
AU2018394106B2 (en) 2022-02-10
AU2018394106A1 (en) 2020-07-16
JP7384960B2 (ja) 2023-11-21
US20190206056A1 (en) 2019-07-04
EP3625765B1 (en) 2024-03-20
WO2019133538A2 (en) 2019-07-04
JP2021509713A (ja) 2021-04-01
JP2022119882A (ja) 2022-08-17
EP3625765A2 (en) 2020-03-25
US10740896B2 (en) 2020-08-11
US11449998B2 (en) 2022-09-20
US20200364867A1 (en) 2020-11-19
EP3625765A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
US11449998B2 (en) Processing of histology images with a convolutional neural network to identify tumors
US11893732B2 (en) Computer supported review of tumors in histology images and post operative tumor margin assessment
US11205266B2 (en) Systems and methods for detection of structures and/or patterns in images
Mohanakurup et al. Breast cancer detection on histopathological images using a composite dilated Backbone Network
US12094182B2 (en) Neural network based identification of areas of interest in digital pathology images
US11164316B2 (en) Image processing systems and methods for displaying multiple images of a biological specimen
Khameneh et al. Automated segmentation of cell membranes to evaluate HER2 status in whole slide images using a modified deep learning network
US20220084660A1 (en) Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
Kothari et al. Pathology imaging informatics for quantitative analysis of whole-slide images
Kumar et al. Convolutional neural networks for prostate cancer recurrence prediction
US11176412B2 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
WO2022133104A1 (en) Detection of annotated regions of interest in images
Aljuhani et al. Whole slide imaging: deep learning and artificial intelligence
Naqvi et al. Automated gland segmentation leading to cancer detection for colorectal biopsy images
Sun et al. Two-tier classifier for identifying small objects in histological tissue classification: experiments with colon cancer tissue mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination