CN114207661A - 基于图像分析的机器学习激素状态预测 - Google Patents

基于图像分析的机器学习激素状态预测 Download PDF

Info

Publication number
CN114207661A
CN114207661A CN202080054255.XA CN202080054255A CN114207661A CN 114207661 A CN114207661 A CN 114207661A CN 202080054255 A CN202080054255 A CN 202080054255A CN 114207661 A CN114207661 A CN 114207661A
Authority
CN
China
Prior art keywords
image
hormone receptor
block
subset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054255.XA
Other languages
English (en)
Inventor
N·奈克
A·迈达尼
N·S·克斯卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Salesforce Inc
Original Assignee
Salesforce com Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Salesforce com Inc filed Critical Salesforce com Inc
Publication of CN114207661A publication Critical patent/CN114207661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

分析系统使用一个或多个机器学习模型从H&E染色图像预测激素受体状态。该系统将每个H&E染色图像分割为多个图像块。通过对图像块的采样来创建块的袋。分析系统通过训练具有阳性或阴性受体状态的H&E染色图像来训练一个或多个机器学习模型。分析系统经由块特征化模型针对每个图像块生成块特征向量，针对测试H&E染色图像生成测试袋。分析系统经由注意模型通过聚合测试袋的块特征向量来生成测试袋的聚合特征向量，其中，为每个块特征向量确定注意权重。分析系统通过将预测模型应用于测试袋的聚合特征向量而预测激素受体状态。

Description

基于图像分析的机器学习激素状态预测
背景技术
公开文本总体上涉及使用机器学习模型来预测来自苏木精和伊红(haematoxylinand eosin，H&E)染色图像的激素受体状态(例如，雌性激素受体状态或ERS)。
对于新诊断的乳腺癌，ERS是用于预后和治疗决策的关键分子标志物。在临床治疗期间，针对目标受体，病理学家通过活检组织的免疫组织化学(IHC)染色来确定ERS。因为需要经过IHC染色和评估的病理学家来确定ERS，所以IHC染色通常是一个昂贵和耗时的过程。然而，由于IHC制备和病理学家主观性的差异，依赖人类病理学家可能导致结果不一致。
发明内容
一种使用机器学习模型预测激素受体状态的方法，方法包括：获得测试组织样本的测试苏木精和伊红(H&E)染色图像；将测试H&E染色图像分割为多个图像块(imagetile)；从测试H&E染色图像的多个图像块采样图像块的子集；针对采样的图像块的子集的每个图像块生成块特征向量；通过聚合采样的子集中的图像块的块特征向量，针对测试H&E染色图像生成聚合特征向量；以及通过将预测模型应用于测试H&E染色图像的聚合特征向量而预测激素受体状态，其中，使用来自具有阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有阴性激素受体状态的第二组组织样本的第二组H&E染色图像，来训练预测模型。在附加实施方案中，非暂时性计算机可读存储介质存储用于执行本文描述的方法的指令。在附加实施方案中，被配置为执行本文描述的方法的系统包括处理器和非暂时性计算机可读存储介质。
一种用于训练一个或多个被配置为预测激素受体状态的模型的方法，方法包括：获得来自具有阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有阴性激素受体状态的第二组组织样本的第二组H&E染色图像；将每个H&E染色图像分割为多个图像块；对于每个H&E染色图像，从多个图像块采样图像块的子集；初始化被配置为生成图像块的特征向量的块特征化模型、被配置为通过聚合来自H&E染色图像的采样的图像块的子集的特征向量来生成H&E染色图像的聚合特征向量的注意模型(attention model)、以及被配置为根据聚合特征向量生成激素受体状态的预测的预测模型；以及与第一组H&E染色图像和第二组H&E染色图像同步训练块特征化模型、注意模型和预测模型。在附加实施方案中，非暂时性计算机可读存储介质存储用于执行本文描述的方法的指令。在附加实施方案中，被配置为执行本文描述的方法的系统包括处理器和非暂时性计算机可读存储介质。
附图说明
图1A示出了根据一个或多个实施方案的通过从H&E染色图像预测激素受体状态来个性化治疗的通用流程图。
图1B示出了根据一个或多个实施方案的用于预测激素受体状态的分析系统的环境。
图2示出了根据一个或多个实施方案的用于预测激素受体状态的分析系统的架构。
图3示出了根据一个或多个实施方案的用于训练用于从H&E染色图像预测激素受体状态的一个或多个模型的流程图。
图4示出了根据一个或多个实施方案的用于从测试H&E染色图像预测激素受体状态的流程图。
图5示出了根据一个或多个实施方案的演示分析系统的示例ERS预测能力的图表。
图6示出了根据一个或多个实施方案的演示通过附加因素筛选的分析系统的示例ERS预测能力的图表。
这些图仅出于示出的目的描绘了本发明的各种实施方案。本领域的技术人员将容易地从以下讨论中认识到，在不偏离本文描述的原理的情况下，可以采用本文所示的结构和方法的替代实施方案。
具体实施方式
概述
全世界每年有超过170万妇女被诊断出患有乳腺癌，导致每年50万人死亡。绝大多数浸润性乳腺癌是激素受体阳性——肿瘤细胞在雌性激素(ER)和/或黄体酮(PR)存在下生长。激素受体阳性肿瘤患者通常从接受针对雌性激素信号通路的激素治疗中受益。美国国家综合癌症网络指南要求对每一个新的乳腺癌患者确定激素受体状态，包括雌性激素受体状态，因为这在临床决策中至关重要。
在一个诊断工作流程中，患者的样本被薄切片到显微镜玻片上，由临床技术人员染色，然后由病理学家进行视觉诊断。对于乳腺癌，ERS也是使用IHC染色和针对雌性激素受体的抗体来检测的。ERS作为预后标志物和内分泌治疗反应的预测指标都很重要。IHC染色和分析有几个局限性。首先，IHC染色昂贵并且耗时。测试输出以颜色表示：染色强度，或达到可检测的染色强度的细胞百分比，或存在/不存在染色；所有这些都是由训练有素的病理学家确定的。由于技术人员的组织处理和固定、抗体来源和克隆以及更一般的技术人员的技能水平的差异，组织样本质量也可能有显著的差异。最后，病理学家的决策过程本质上是主观的，可能导致人为错误。这些因素导致ERS确定不一致，使患者面临次优治疗的风险。
本文进一步描述的方法从H&E染色的整个载玻片图像预测ERS。在H&E染色图像中显示的形态是生物学的反映；在这种情况下，对激素信号的依赖和细胞的排列可能因生物学而异。用H&E染色图像预测ERS有几个优点。首先，执行H&E染色要比执行IHC染色便宜得多。此外，H&E染色图像在各成像中心表现出较小的可变性，并且在全球组织病理学工作流程中普遍使用。因此，用H&E染色图像预测ERS可以减少定制乳腺癌治疗的错误-这通常会改善治疗结果-并且重要的是可以减少制定治疗决策的时间。
此外，这种方法可以扩展到识别分子标志物的区别形态学特征，并有可能提供激素如何驱动肿瘤生长的生物学见解。有关方法和示例结果的更多细节在随附的附录A中提供。
图1A示出了根据一个或多个实施方案的通过从H&E染色图像115预测激素受体状态来个性化治疗的通用流程图100。分析系统120被配置为从个人的活检组织样本接收H&E染色图像115。分析系统120根据H&E染色图像115生成ERS预测125，其过程将在下面的图2-图4中进一步描述。ERS预测125可以由医生或其他健康护理提供者用于为个人制定个性化治疗135治疗计划。注意，本文描述的方法可以更普遍地应用于从H&E染色图像预测其他激素受体状态。
在一个或多个实施方案中，分析系统120实现机器实例学习(MIL)。MIL算法通常从一组有标记的未标记实例的袋的训练集中学习。正标记的袋至少包含一个阳实例，而负标记的袋仅包含阴实例。经过训练的MIL算法能够预测测试袋的正或负标记。在预测ERS的情况下，正标记的ERS训练H&E染色图像具有被认为是阳实例的划分H&E染色图像的至少一个图像块，该图像块有助于正标记。
分析系统环境
图1B示出了根据一个或多个实施方案的用于预测激素受体状态的分析系统120的环境100。在环境100中，存在通过网络140通信的客户端设备110、分析系统120和第三方系统130。在其他实施方案中，环境100包括比这里列出的组件更多或更少的组件。例如，在具有分析系统120的网络中可以存在任意数量的客户端设备110或任意数量的第三方系统130。
客户端设备110是与分析系统120交互的计算系统(例如移动电话、计算机等)。客户端设备110可以被配置为经由网络140与分析系统120无线通信。为了解释和清晰起见，至少识别两种不同类型的用户是有用的。患者111是寻求医疗服务的用户。另一类型的用户是向患者111提供医疗服务的健康护理提供者112。根据公开文本，患者111使用医疗设施，其中健康护理提供者112执行活检以获得组织样本。健康护理提供者112(或另一医学专业人员)用苏木精染色和伊红染色对组织样本执行H&E染色。健康护理提供者112进一步(例如经由配备有相机的显微镜)捕获H&E染色图像。客户端设备110将患者111的H&E染色图像提供给分析系统120。此外，由分析系统120基于患者的H&E染色图像做出的激素受体状态的预测被提供回客户端设备110。在一些实施方案中，健康护理提供者112可以根据来自分析系统120的激素受体状态预测来确定医疗状况的诊断。在其他实施方案中，健康护理提供者112可以根据激素受体状态预测来确定个性化治疗。例如，在预测患者111具有阳性ERS之后，健康护理提供者112可以推荐激素治疗，或者作为治疗的主要疗程，或者与其他治疗组合。可替代地，如果预测患者111具有阴性ERS，则健康护理提供者112可以推荐排除激素治疗的其他形式的治疗，例如，外科手术、化疗、生物治疗、放射治疗或其某些组合。
分析系统120是根据活检组织样本的测试H&E染色图像预测激素受体状态(例如，ERS)的计算系统(例如服务器、分布式网络系统等)。分析系统120训练用于从测试H&E染色图像预测激素受体状态的一个或多个模型。分析系统120使用(例如由病理学家确定的)标记有激素受体状态的训练H&E染色图像，训练模型。可以从第三方系统130获得训练的H&E染色图像。分析系统120向提供测试H&E染色图像的客户端设备110提供测试H&E染色图像的激素受体状态的预测。将在图2中进一步描述分析系统120。
第三方系统130向分析系统120提供训练H&E染色图像。第三方系统130收集关于各种癌症类型的生物数据，该生物数据包括具有ERS标记的各种个体的H&E染色图像。其他生物数据可以包括，例如，由经训练的医学专业人员进行的定性分析(例如，H&E染色图像上的注释)、其他激素受体状态标记、测序数据、蛋白质表达数据、代谢数据等。在一个或多个示例中，第一第三方系统130存储由癌症基因组图谱(Cancer Genome Atlas(TCGA))程序获得的数据，第二第三方系统130存储由澳大利亚乳腺癌组织库(Australian Breast CancerTissue Bank(ABCTB)获得的数据。
网络140表示客户端设备110、传感器120、应用服务器130和数据库服务器140之间的各种有线和无线通信路径。网络140使用标准互联网通信技术和/或协议。因此，网络140可以包括使用诸如以太网、IEEE 802.11、综合业务数字网(ISDN)、异步传输模式(ATM)等技术的链路。类似地，在网络140上使用的网络协议可以包括传输控制协议/互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。在网络140上交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)、JavaScript对象表示法(JSON)等的技术和/或格式来表示。此外，可以使用诸如安全套接字层(SSL)、安全HTTP(HTTPS)和/或虚拟专用网络(VPN)的常规加密技术来加密所有或部分链路。在另一个实施方案中，实体可以使用自定义和/或专用数据通信技术来代替或补充上述技术。
分析系统架构
图2示出了根据一个或多个实施方案的用于预测激素受体状态的分析系统120的架构200。分析系统120预测来自活检组织样本的测试H&E染色图像的激素受体状态(例如，ERS)。分析系统120可进一步训练用于预测过程中的一个或多个模型。分析系统120至少包括特征化模块210、预测模块220、训练模块230、块特征化模型240、注意模型250、预测模型260、样本数据库270和模型数据库280。分析系统120可以包括比这里列出的组件更多或更少的组件。在其他实施方案中，由组件执行的各种操作可以与公开文本这里描述的不同地分布。
特征化模块210将H&E染色图像分割为多个图像块(更一般地也称为“块”)。块的尺寸可以是，例如256像素乘256像素。也可以将块分割为使得块不重叠。特征化模块210过滤块以获得具体与染色的活检组织相关的初始块集。在一个实施方式中，特征化模块210使用Otsu阈值化，该Otsu阈值化确定每个图像块是属于前景还是背景，例如，其中，前景与染色的活检组织相关，而背景与放置活检组织的载玻片相关。在Otsu阈值化中，特征化模块210在所有可用像素强度中搜索最小化类内方差(或等效地，最大化类间方差)的最优阈值像素强度--前景方差和背景方差的加权和。前景中的图像块(与染色的活检组织相关，而不是载玻片)保留在用于H&E染色图像的初始块集中。
特征化模块210为H&E染色图像生成聚合特征向量，用于从图像的初始块集预测激素受体状态。特征化模块210从初始块集中对块子集进行采样(块子集也可称为块袋或简称为“袋”)。对于采样集中的每个块，特征化模块210将块特征化模型240应用于块，以生成块特征向量。块特征向量是包括从图像块中的像素提取的多个特征的向量。在其他实施方案中，特征化模块210将块特征化模型240应用于采样的子集中的所有块，以生成特征矩阵。特征化模块210通过将注意模型250应用于采样的子集的块特征向量来生成H&E染色图像的聚合特征向量。注意模型240通过计算块特征向量或块特征向量内的条目的加权和来组合块特征向量，以产生聚合特征向量。在实现MIL算法的实施方案中，注意模型240确定注意权重，以基于块特征向量应用每个块特征向量或每个块特征向量条目。注意模型240根据注意权重对块特征向量求和，以生成聚合特征向量。在该实施方案中，H&E染色图像的聚合特征向量与每个块特征向量具有相同的维度。注意权重有利于增加对预测激素受体状态更具差别的图像块的注意。如上所述，阳性袋具有至少一个阳性实例，使得注意权重旨在识别和增加测试H&E染色图像中潜在阳性实例的影响。
预测模块220根据用于H&E染色图像的聚合特征向量生成激素受体状态的预测。预测模块220将预测模型260应用于聚合特征向量，以生成激素受体状态预测。激素受体状态预测可以是二元的(阳性或阴性)，或者可以是激素受体状态为阳性或阴性的可能性，例如，90％的可能性为阳性。可以将激素受体状态预测提供给例如与健康护理提供者112相关联的客户端设备110，以供健康护理提供者112在确定个性化治疗时使用。
在一个或多个实施方案中，分析系统120根据测试H&E染色图像创建多个袋。特征化模块210分割测试H&E染色图像，然后创建多袋随机采样的块(例如，已经过滤了与染色的活检组织相关的块)。特征化模块210为每个袋生成聚合特征向量，并且预测模型220为每个袋生成预测。测试H&E染色图像对激素受体状态的总体预测可能是多袋预测的累加。
训练模块230训练特征化模型240、注意模型250、预测模型260或其任何组合。训练模块230获得样本数据库270中存储的具有标记的激素受体状态(阳性或阴性)的训练H&E染色图像。可以由分析系统120从一个或多个第三方系统130获得训练H&E染色图像，并将其存储在样本数据库270中。训练模块230根据上述用于特征化模块210的类似原则，将每个训练H&E染色图像分割为多个图像块。训练模块230创建一个或多个训练袋块，作为从训练H&E染色图像随机采样的图像块子集。每个训练袋从训练H&E染色图像分配标记，从该染色图像中创建训练袋。训练模块230可以通过在模型中传播训练袋和调整模型的模型参数同步地训练特征化模型240、注意模型250和预测模型260，以使为每个袋分配的标记和由模型输出的预测标记之间的误差最小化。模型的训练可以通过成批的训练袋(通过从一批到另一批的交叉验证)进行，其中在多个时期内训练模型，以成批的充分学习训练袋。在其他实施方案中，训练模块230可以单独地训练每个模型。训练模块230可以使用多批训练袋完成训练阶段，并跨多批训练进行交叉验证。当充分训练时，特征化模型240、注意模型250和预测模型260可以由特征化模块210和预测模块220用于预测测试H&E染色图像的激素受体状态。
在一个或多个实施方案中，模型中的一个或多个(特征化模型240、注意模型250和预测模型260)是神经网络。每个神经网络具有多个层，至少包括具有输入维数的输入层和具有输出维数的输出层。特征化模型240至少具有被配置为接收采样的子集(或袋)中的图像块的输入层和被配置为基于图像块输出块特征向量的输出层。注意模型240具有被配置为接收采样的子集(或袋)的块特征向量的输入层和被配置为输出采样的子集的聚合特征向量的输出层。注意模型240的内部层可以确定采样的子集中的每个块特征向量的注意权重。预测模型260至少具有被配置为接收采样的子集的聚合特征向量的输入层和被配置为输出激素受体状态预测标记的输出层。在模型的训练期间，训练模块230通过模型传播训练袋以预测激素受体状态，并通过模型反向传播(调整每个模型的参数)以最小化预测和正确标记之间的误差。
在一个示例中，特征化模型240的输入层接收256像素乘256像素图像块的像素强度；输出层输出512个特征的向量。继续该示例，注意模型240的输入层接收五十个块特征向量，每个维度为512；输出层输出维度为512的聚合特征向量。最后，预测模型260的输入层接收维度为512的聚合特征向量；输出层输出对激素受体状态的阳性或阴性的预测。
在其他实施方案中，可以为每个模型实现其他机器学习(ML)算法。可使用的其他ML算法包括但不限于回归算法、分类器算法、决策树算法、混合模型、卷积神经网络或另一有监督学习方法。
在一个或多个实施方案中，分析系统120使用单个聚合模型，该聚合模型被配置为执行块特征化模型240、注意模型250和预测模型260的操作。训练的聚合模型被配置为接收用于H&E染色图像的块袋，并输出激素受体状态的预测。在训练块特征化模型240、注意模型250和预测模型260的实施方案中，训练模块230以类似的方式训练聚合模型。
在一个或多个实施方案中，训练模块230对训练H&E染色图像实施裁剪正则化。在裁剪正则化(cutout regularization)中，训练模块230在训练阶段中排除训练H&E染色图像的部分。然后从训练H&E染色图像的剩余部分对训练袋进行采样。训练模块230可以具有指示裁剪正则化的各种裁剪正则化参数。例如，可能存在训练模块230将裁剪正则化应用于训练H&E染色图像或应用裁剪正则化的频率(例如，每50个训练H&E染色图像)的某种概率。裁剪正则化有利于彻底学习H&E染色图像中的差别性特征，否则在存在更强特征时可能会忽略这些特征。
在一个或多个实施方案中，训练模块230对训练袋实施平均像素正则化。在平均像素正则化中，训练模块230通过将所有像素值替换为训练H&E染色图像的平均像素强度来覆盖袋中的块。与裁剪正则化一样，对袋中的块执行平均像素正则化的概率(或频率)可以是可调节的参数。平均像素正则化有利于防止模型训练阶段的过拟合。还可以对一个或多个块实施其他正则化，以增加训练中的方差。作为一个或多个示例，旋转正则化旋转块，镜像正则化镜像块(左-右或上-下)，颜色抖动正则化抖动块的一种或多种颜色。
在一个或多个实施方案中，训练模块230在训练阶段期间实现硬负挖掘(hardnegative mining)。在硬负挖掘的一个实施方案中，训练模块230识别在训练时期中错误预测的训练袋，并在随后的训练时期中保留这种训练袋。在另一个实施方案中，训练模块230在一批训练完成时保留错误预测的训练袋，以便在后续批次中使用。硬负挖掘可能有助于确保在一批中使用所有训练袋进行充分的学习。
样本数据库270存储来自染色的活检组织样本的H&E染色图像。样本数据库270存储从一个或多个第三方系统130获得的训练H&E染色图像和从客户端设备110接收的测试H&E染色图像。每个训练H&E染色图像可以包括一个或多个用于各种激素受体状态的标记。根据一个实施方案，每个训练H&E染色图像至少具有针对ERS的阳性或阴性标记。
模型数据库280存储分析系统120使用的模型。模型包括特征化模型240、注意模型250和预测模型260。在一个或多个实施方案中，模型数据库280存储经训练以预测不同激素受体状态的模型集。例如，训练第一组模型以预测ERS，训练第二组模型以预测另一激素受体状态。作为另一示例，特征化模型240通常可以用于预测不同的激素受体状态，而每个激素受体状态可以具有唯一训练的注意模型250和预测模型260。在存储模型中，模型数据库280存储例如由训练模块230训练的每个模型的所有模型参数。
激素受体状态预测流程图
图3示出了根据一个或多个实施方案的用于训练一个或多个模型用于从H&E染色图像预测激素受体状态的方法300的流程图。可以由分析系统120(并且更具体地，由分析系统120的训练模块230)执行方法300。在其他实施方案中，在保持训练阶段的核心原则的同时，可以有比本文所列的操作更多或更少的操作。
分析系统120获得310具有阳性激素受体状态的组织样本的第一组H&E染色图像和具有阴性激素受体状态的组织样本的第二组H&E染色图像。可以从第三方系统获得第一组和第二组。
对于每个H&E染色图像，分析系统120将H&E染色图像分割320成多个图像块。多个图像块可以是非重叠的。此外，分析系统120可以(例如，使用Otsu阈值)过滤掉不属于染色的活检组织的图像块。在此步骤中，分析系统120可附加地实施裁剪正则化，以从第一组和第二组中排除一个或多个H&E染色图像的部分。
对于每个H&E染色图像，分析系统120从H&E染色图像的图像块(例如，定义为训练袋)中采样330图像块的子集。采样可以是随机的。此外，可以从用于训练的每个H&E染色图像中导出多个训练袋。在此步骤中，分析系统120可附加地实施平均像素正则化，以在第一组和第二组上用平均像素强度覆盖一个或多个训练袋中的一个或多个块。
分析系统120训练340特征化模型，该特征化模型被配置为生成图像块的块特征向量。分析系统120训练350注意模型，该注意模型被配置为通过聚合采样的子集中的图像块的块特征向量，针对测试H&E染色图像生成聚合特征向量。分析系统120训练360预测模型，该预测模型被配置为使用来自H&E染色图像的聚合特征向量而预测激素受体状态。在图3的实施方案中，分析系统120使用从第一组和第二组导出的训练袋来训练特征化模型、注意模型和预测模型。
在一个或多个实施方案中，分析系统120同步地训练特征化模型、注意模型和预测模型。可以整理成批的训练袋，并将其用于模型的迭代成批训练。可以在训练阶段期间实施硬负挖掘。训练后的模型可用于预测未知激素受体状态的H&E染色图像的激素受体状态。
图4示出了根据一个或多个实施方案的用于从测试H&E染色图像预测激素受体状态的方法400的流程图。可以由分析系统120(并且更具体地，由分析系统120的特征化模块210和预测模块220)执行方法400。在其他实施方案中，在保持预测阶段的核心原则的同时，可以有比本文所列的操作更多或更少的操作。
分析系统120获得410测试组织样本的测试H&E染色图像。可以从客户端设备110获得测试H&E染色图像，客户端设备110例如与对测试组织样本进行活检、染色和成像的医学专业人员相关联。
分析系统120将测试H&E染色图像分割420成多个图像块。多个图像块可以是非重叠的。此外，分析系统120可以(例如，使用Otsu阈值)过滤掉不属于染色的活检组织的图像块。
分析系统120从用于测试H&E染色图像的多个图像块采样430图像块的子集。分析系统120可以随机采样(例如，袋中的50块)图像块。在一个或多个实施方案中，分析系统120根据测试H&E染色图像创建多个袋，以用于预测--多袋预测。可以检查每个袋，以确保独一无二。
分析系统120经由特征化模型针对采样的图像块的子集的每个图像块生成440块特征向量。特征化模型例如根据流程图300进行训练，并且被配置为接收图像块并输出块特征向量。
分析系统120通过聚合采样的子集中的图像块的块特征向量，针对测试H&E染色图像生成450聚合特征向量。分析系统120可以将注意模型(例如，根据流程图300训练)应用于采样的子集中的块特征向量。训练注意模型以确定对每个块特征向量的注意权重，以在聚合生成聚合特征向量时增加高差别性的块特征向量的注意。注意模型还可以输出每个图像块的注意权重。在多袋预测的实施方案中，分析系统120分别为从测试H&E染色图像导出的每个袋生成聚合特征向量。
分析系统120使用测试H&E染色图像的聚合特征向量而预测460测试H&E染色图像的激素受体状态。分析系统120可以将预测模型(例如，根据流程图300训练)应用于聚合特征向量，以便生成激素受体状态的预测。预测可以是二元的，阳性的或阴性的。可替代地或除了二元结果之外，预测可以是阳性的或阴性的百分率。在多袋预测实施方案中，分析系统120为每个袋生成预测，并累加多个袋上的预测。
分析系统120可以基于测试H&E染色图像的激素受体状态来确定470治疗。可以根据阳性或阴性结果定制治疗。如上所述，阳性激素受体状态可能表明在治疗癌症类型中对激素治疗的阳性受体。另一方面，阴性激素受体状态可能表明对激素治疗缺乏反应，从而导致对激素替代疗法的建议。
示例数据
在图5和图6的实施方案中，分析系统120根据流程图300用如下所述的实现细节训练模型(本文称为“注意网络(AttentionNet)”)。分析系统120使用从澳大利亚乳腺癌组织库(ABCTB)数据集(其包含来自2,535名患者的2,535张H&E图像)和癌症基因组图谱(TCGA)数据集(其包含来自939名患者的1014张H&E图像)获得的H&E图像训练模型。为了初始化特征化模型240，使用ImageNet32预先训练的权重初始化的分析系统和使用HE初始化31随机初始化全连接层。注意模型250的第一部分包含线性层，该线性层将每个块特征向量减少到128个维度，并应用按元素的双曲正切非线性，该双曲正切非线性将特征缩放到包括在-1和1之间的值，并促进块之间的相似性和对比性的学习。该线性层的输出，随后是切线双曲线函数，乘以另一个线性层和softmax函数，该softmax函数计算特定块的0-1之间的标量“注意权重”。注意向量与包括块特征向量的特征矩阵的内积，获得聚合特征向量。聚合特征向量被馈送到预测模型260，随后是sigmoid函数，该sigmoid函数为块的袋输出在0和1之间的概率。
图5示出了根据一个或多个实施方案的演示分析系统120的示例ERS预测能力的图表。
图表510和520示出接收器操作特征(ROC)曲线，其在用于预测阳性和阴性ERS之间的阈值域上绘制灵敏度(真阳性率)到特异性(假阳性率)。图表510示出了用于训练模型的交叉验证的ROC曲线，该曲线演示了该曲线下面积(AUC)度量为0.90，对于二元分类，其95％置信区间在0.884和0.913之间，其中AUC度量为1是完美的二元分类，并且AUC度量为0.5与随机二元分类一样好。图表520示出了用于H&E染色图像测试集的ROC曲线，该曲线演示了用于二元分类的AUC度量为0.92，其95％置信区间在0.892和0.946之间。
图表530将注意网络的性能与其他竞争的MIL算法均值池化(Meanpool)和最大池化(MaxPool)进行了比较。在测试集上，竞争的算法的性能不如注意网络。均值池化获得0.827(95％CI：0.786，0.866)的AUC度量，并且最大池化获得0.880(95％CI：0.846，0.912)的AUC度量。使用病理学家提供的组织学类型和肿瘤分级的基线逻辑回归模型也进行了比较，演示了AUC度量为0.809(95％CI：0.766，0.848)，显著低于注意网络。
图6示出了根据一个或多个实施方案的演示通过附加因素筛选的分析系统120的示例ERS预测能力的图表。
图表610比较了注意网络对人表皮生长因子受体2(HER2)的ERS预测能力。HER2过表达是肿瘤的主要转化机制。注意网络在HER2阴性样本(AUC＝0.927，95％CI：0.912，0.943)上的执行明显优于HER2阳性样本(AUC＝0.768，95％CI：0.719，0.813)。
图表620比较了注意网络对黄体酮(PR)的ERS预测能力。注意网络在PR阳性样本(AUC＝0.906，95％CI：0.869，0.940)上的执行优于PR阴性样本(AUC＝0.827，95％CI：0.795，0.855)，这反映了ER和PR状态之间的高度相关性。
图表630比较了注意网络对乳腺癌的不同肿瘤分级(1、2或3)的ERS预测能力，1级的AUC度量为0.949(95％CI：0.925、0.973)、2级的AUC度量为0.810(95％CI：0.716、0.888)和3级的AUC度量为0.865(95％CI：0.840、0.887)。
图表640比较了注意网络根据肿瘤来源是导管型(IDC)还是小叶型(ILC)的ERS预测能力。IDC和ILC之间无统计学差异。
图表650比较了注意网络对TCGA或ABCTB的H&E染色图像来源的ERS的预测能力。无统计学差异。在训练集的交叉验证上，TCGA的AUC度量为0.861(95％CI：0.828，0.893)；ABCTB的AUC度量为0.905(95％CI：0.889，0.921)。
图表660比较了注意网络对在TCGA下采集的H&E染色图像的部位的ERS预测能力。无统计学差异。42个TCGA组织源部位的性能相似，并且不依赖于从给定位置收集的训练样本的比例。
图表670比较了注意网络对绝经状态的ERS预测能力。绝经后妇女的AUC度量为0.872(95％CI：0.832，0.908)。绝经前妇女的AUC度量为0.838(95％CI：0.779，0.893)。无统计学差异。
图表680比较了注意网络对种族的ERS预测能力。AUC度量对非裔美国患者为0.859(95％CI：0.785，0.921)。其余患者的AUC为0.858(95％CI：0.817，0.896)。无统计学差异。
其他注意事项
应当理解，已经简化公开文本的附图和描述，以示出与清楚理解公开文本相关的元素，同时为了清楚的目的，消除了在典型系统中发现的许多其他元素。本领域的普通技术人员可以认识到，在实施公开文本中期望和/或需要其他元素和/或步骤。然而，由于这些元素和步骤在本领域中是众所周知的，并且由于它们不利于更好地理解公开文本，因此本文不提供对这些元素和步骤的讨论。本文公开的内容涉及本领域技术人员已知的对这些元素和方法的所有这些变化和修改。
以上描述的一些部分根据对信息的操作的算法和符号表示来描述实施方案。这些算法描述和表示通常被数据处理领域的技术人员用来将他们工作的实质有效地传达给本领域的其他技术人员。虽然在功能上、计算上或逻辑上描述了这些操作，但被理解为由计算机程序或等效电路、微代码等来实施。所描述的操作及其相关模块可以体现在软件、固件、硬件或其任何组合中。
如本文所使用的，对“一个实施方案”或“实施方案”的任何引用意味着结合该实施方案描述的特定元件、特征、结构或特性包括在至少一个实施方案中。在说明书的各个地方出现的短语“在一个实施方案中”并不一定都是指相同的实施方案，从而为所描述的实施方案的各种可能性一起发挥作用提供了框架。
如本文所使用的，术语“包括”、“包含”、“涵盖”、“容纳”、“具有”、“含有”或其任何其他变体旨在涵盖非排他包括。例如，包括元件列表的处理、方法、物品或装置不一定仅限于这些元件，而是可以包括未明确列出或此类处理、方法、物品或装置固有的其他元件。此外，除非有相反的明文规定，否则“或”指的是包容性的或，而不是排他性的或。例如，条件A或B满足下列任一项：A为真(或存在)并且B为假(或不存在)，A为假(或不存在)并且B为真(或存在)，和A和B都为真(或存在)。
此外，使用“一种”或“一个”来描述本文的实施方案的元件和组件。这样做仅仅是为了方便并且给出本发明的一般意义。这种描述应该被理解为包括一个或至少一个，并且单数也包括复数，除非明显另有含义。
尽管已经说明和描述了特定的实施方案和应用，但是应当理解，所公开的实施方案不限于本文公开的精确结构和组件。在不脱离所附权利要求书限定的精神和范围的情况下，可以在本文公开的方法和装置的布置、操作和细节中进行对本领域技术人员显而易见的各种修改、改变和变化。

Claims (20)

1.一种使用机器学习预测激素受体状态的方法，包括：
获得测试组织样本的测试苏木精和伊红(H&E)染色图像；
将所述测试H&E染色图像分割为多个图像块；
从所述测试H&E染色图像的多个图像块采样图像块的子集；
针对采样的图像块的子集的每个图像块生成块特征向量；
通过聚合采样的子集的图像块的块特征向量，针对所述测试H&E染色图像生成聚合特征向量；和
通过将机器学习预测模型应用于所述测试H&E染色图像的聚合特征向量而预测激素受体状态，其中使用来自具有阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有阴性激素受体状态的第二组组织样本的第二组H&E染色图像训练所述机器学习预测模型。
2.根据权利要求1所述的方法，其中所述激素受体状态包括雌性激素受体状态。
3.根据权利要求1所述的方法，其中所述多个图像块是不重叠的。
4.根据权利要求1所述的方法，还包括过滤所述多个图像块以保留属于所述测试组织样本的图像块，其中所述采样的图像块的子集是从属于所述测试组织样本的图像块采样的。
5.根据权利要求1所述的方法，其中针对每个图像块生成块特征向量包括将块特征化模型应用于每个图像块。
6.根据权利要求5所述的方法，其中生成所述聚合特征向量包括将注意模型应用于所述采样的图像块的子集的块特征向量，其中所述注意模型被配置为基于每个块特征向量针对所述采样的子集的每个块特征向量确定注意权重，并且将每个注意权重与相应块特征向量的乘积求和，以产生所述聚合特征向量。
7.根据权利要求6所述的方法，其中使用来自具有所述阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有所述阴性激素受体状态的第二组组织样本的第二组H&E染色图像同步地训练所述特征化模型、所述注意模型和所述机器学习预测模型。
8.根据权利要求1所述的方法，其中预测的激素受体状态是如下一种：
阳性状态或阴性状态；和
阳性状态的可能性或阴性状态的可能性。
9.根据权利要求1所述的方法，还包括：
从所述测试H&E染色图像的多个图像块采样图像块的第二子集；
针对第二个采样的图像块的子集的每个图像块生成块特征向量；
通过聚合第二个采样的子集的图像块的块特征向量，针对所述测试H&E染色图像生成第二聚合特征向量；和
通过将所述机器学习预测模型应用于所述第二聚合特征向量而预测第二激素受体状态，其中激素受体状态的累积预测组合所述激素受体状态和所述第二激素受体状态。
10.一种存储指令的非暂时性计算机可读存储介质，当由处理器执行时，所述指令使得所述处理器执行包括如下的操作：
获得测试组织样本的测试苏木精和伊红(H&E)染色图像；
将所述测试H&E染色图像分割为多个图像块；
从所述测试H&E染色图像的多个图像块采样图像块的子集；
针对采样的图像块的子集的每个图像块生成块特征向量；
通过聚合采样的子集中的图像块的块特征向量，针对所述测试H&E染色图像生成聚合特征向量；和
通过将机器学习预测模型应用于所述测试H&E染色图像的聚合特征向量而预测激素受体状态，其中使用来自具有阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有阴性激素受体状态的第二组组织样本的第二组H&E染色图像训练所述机器学习预测模型。
11.根据权利要求10所述的存储介质，所述操作还包括：过滤所述多个图像块以保留属于所述测试组织样本的图像块，其中所述采样的图像块的子集是从属于所述测试组织样本的图像块采样的。
12.根据权利要求10所述的存储介质，
其中针对每个图像块生成块特征向量包括将块特征化模型应用于每个图像块，
其中生成所述聚合特征向量包括将注意模型应用于所述采样的图像块的子集的块特征向量，其中所述注意模型被配置为基于每个块特征向量针对所述采样的子集的每个块特征向量确定注意权重，并且将每个注意权重与相应块特征向量的乘积求和，以产生所述聚合特征向量，并且
其中使用来自具有所述阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有所述阴性激素受体状态的第二组组织样本的第二组H&E染色图像同步地训练特征化模型、所述注意模型和所述机器学习预测模型。
13.根据权利要求10所述的存储介质，所述操作还包括：
从所述测试H&E染色图像的多个图像块采样图像块的第二子集；
针对第二个采样的图像块的子集的每个图像块生成块特征向量；
通过聚合第二个采样的子集的图像块的块特征向量，针对所述测试H&E染色图像生成第二聚合特征向量；和
通过将所述机器学习预测模型应用于所述第二聚合特征向量而预测第二激素受体状态，其中激素受体状态的累积预测组合所述激素受体状态和所述第二激素受体状态。
14.一种用于训练配置为预测激素受体状态的一个或多个机器学习模型的方法，包括：
获得来自具有阳性激素受体状态的第一组组织样本的第一组H&E染色图像和来自具有阴性激素受体状态的第二组组织样本的第二组H&E染色图像；
将所述第一组H&E染色图像和所述第二组H&E染色图像中的每个H&E染色图像分割为多个图像块；
针对每个分割的H&E染色图像，从所述多个图像块采样图像块的子集；
初始化块特征化模型、注意模型和预测模型，所述块特征化模型配置为生成图像块的特征向量、所述注意模型配置为通过聚合来自H&E染色图像的采样的图像块的子集的特征向量而生成所述H&E染色图像的聚合特征向量，所述预测模型配置为基于聚合特征向量生成激素受体状态的预测；和
使用所述第一组H&E染色图像和所述第二组H&E染色图像训练所述块特征化模型、所述注意模型和所述预测模型。
15.根据权利要求11所述的方法，还包括：
排除一个或多个H&E染色图像的确定为与激素受体状态无关的部分，其中所述采样的图像块的子集不包括来自H&E染色图像的排除部分的图像块。
16.根据权利要求11所述的方法，还包括：
以图像块从其被分割的H&E染色图像的平均像素强度覆盖采样的子集中的所述图像块。
17.根据权利要求11所述的方法，其中所述块特征化模型、所述注意模型和所述预测模型中的至少一个是经由反向传播训练的神经网络。
18.根据权利要求11所述的方法，其中训练所述块特征化模型、所述注意模型和所述预测模型在多批次采样的子集中进行，其中每批次采样的子集在多个时期内进行训练。
19.根据权利要求11所述方法，其中训练所述预测模型还包括：
在第一时期中，识别由所述预测模型错误预测的一个或多个采样的子集；和
在所述第一时期之后的第二时期中包括错误预测的所述一个或多个采样的子集。
20.根据权利要求11所述的方法，还包括对采样的子集应用如下一种：
旋转正则化，其旋转一个或多个图像块；
镜像正则化，其镜像翻转一个或多个图像块；和
颜色抖动正则化，其抖动一个或多个图像块的一种或多种颜色。
CN202080054255.XA 2020-03-06 2020-12-22 基于图像分析的机器学习激素状态预测 Pending CN114207661A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062986479P 2020-03-06 2020-03-06
US62/986,479 2020-03-06
US16/895,983 2020-06-08
US16/895,983 US11508481B2 (en) 2020-03-06 2020-06-08 Machine-learned hormone status prediction from image analysis
PCT/US2020/066501 WO2021178025A1 (en) 2020-03-06 2020-12-22 Machine-learned hormone status prediction from image analysis

Publications (1)

Publication Number Publication Date
CN114207661A true CN114207661A (zh) 2022-03-18

Family

ID=77555894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054255.XA Pending CN114207661A (zh) 2020-03-06 2020-12-22 基于图像分析的机器学习激素状态预测

Country Status (4)

Country Link
US (2) US11508481B2 (zh)
EP (1) EP3991135A1 (zh)
CN (1) CN114207661A (zh)
WO (1) WO2021178025A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230225702A1 (en) * 2022-01-14 2023-07-20 Telemed, UAB Real-time image analysis for vessel detection and blood flow differentiation
WO2024137801A1 (en) * 2022-12-22 2024-06-27 Verily Life Sciences Llc Gene expression prediction from whole slide images
TWI845365B (zh) * 2023-06-30 2024-06-11 台灣基督長老教會馬偕醫療財團法人馬偕紀念醫院 建立識別荷爾蒙受體狀態模型的方法、測定荷爾蒙受體狀態的方法及系統

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3155592B1 (en) * 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US10692607B2 (en) * 2015-08-18 2020-06-23 Case Western Reserve University Treatment planning and evaluation for rectal cancer via image analytics
US10346975B2 (en) * 2016-06-06 2019-07-09 Case Western Reserve University Computerized analysis of computed tomography (CT) imagery to quantify tumor infiltrating lymphocytes (TILs) in non-small cell lung cancer (NSCLC)
WO2018165103A1 (en) * 2017-03-06 2018-09-13 University Of Southern California Machine learning for digital pathology
US10769783B2 (en) * 2018-02-09 2020-09-08 Case Western Reserve University Predicting prostate cancer biochemical recurrence using combined nuclear NF-KB/P65 localization and gland morphology
WO2019222289A1 (en) * 2018-05-14 2019-11-21 Tempus Labs, Inc. A generalizable and interpretable deep learning framework for predicting msi from histopathology slide images
EP3611695A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. Generating annotation data of tissue images
US11455807B2 (en) * 2018-09-20 2022-09-27 Nvidia Corporation Training neural networks for vehicle re-identification
CN112868024A (zh) * 2018-10-15 2021-05-28 文塔纳医疗系统公司 用于细胞分类的系统和方法
US11138469B2 (en) * 2019-01-15 2021-10-05 Naver Corporation Training and using a convolutional neural network for person re-identification
JP7270058B2 (ja) * 2019-03-12 2023-05-09 エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト 予測的組織パターン特定のためのマルチプルインスタンスラーナ

Also Published As

Publication number Publication date
US20210280311A1 (en) 2021-09-09
WO2021178025A1 (en) 2021-09-10
US11810298B2 (en) 2023-11-07
EP3991135A1 (en) 2022-05-04
US11508481B2 (en) 2022-11-22
US20230042318A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
Hekler et al. Deep learning outperformed 11 pathologists in the classification of histopathological melanoma images
US11741365B2 (en) Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US10573003B2 (en) Systems and methods for computational pathology using points-of-interest
US11810298B2 (en) Machine-learned hormone status prediction from image analysis
Zeng et al. A machine learning model for detecting invasive ductal carcinoma with Google Cloud AutoML Vision
EP3833777A1 (en) A multi-modal approach to predicting immune infiltration based on integrated rna expression and imaging features
US11107573B2 (en) Systems and methods for processing electronic images for generalized disease detection
CN113261012B (zh) 处理图像的方法、装置及系统
CN113628199B (zh) 病理图片染色组织区域检测方法、检测系统及预后状态分析系统
Zhang et al. Deep learning-based methods for classification of microsatellite instability in endometrial cancer from HE-stained pathological images
WO2012100190A2 (en) Identifying location biomarkers
Mani et al. A bio-inspired method for breast histopathology image classification using transfer learning
B. K et al. Detection and Classification of Tumor Tissues in Colorectal Cancer Using Pathology Images
Baskar DeepNet model empowered cuckoo search algorithm for the effective identification of lung cancer nodules
Zhou et al. DeepNet model empowered cuckoo search algorithm for the effective identification of lung cancer nodules
RAO et al. BREAST CANCER IMAGE CLASSIFICATION USING CUSTOM CNN
Del Amor et al. Annotation protocol and crowdsourcing multiple instance learning classification of skin histological images: The CR-AI4SkIN dataset
Kodagali et al. Classification and Precision Diagnosis of Endometrial Cancer-Survey.
Kumar et al. IoT with Cloud Based Breast Cancer Diagnosis Using Deep Learning Techniques
Pattanayak et al. Prognosis of Pathological Complete Response to Neoadjuvant Chemotherapy in Breast Cancer Using DCE-MRI and InceptionV3
CN117152552A (zh) 用于训练模型的方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Shuo Power Co.

Address before: California, USA

Applicant before: SALESFORCE.COM, Inc.