CN116157846A - 用于分析来自转移部位的病理学数据的机器学习模型 - Google Patents

用于分析来自转移部位的病理学数据的机器学习模型 Download PDF

Info

Publication number
CN116157846A
CN116157846A CN202180060558.7A CN202180060558A CN116157846A CN 116157846 A CN116157846 A CN 116157846A CN 202180060558 A CN202180060558 A CN 202180060558A CN 116157846 A CN116157846 A CN 116157846A
Authority
CN
China
Prior art keywords
site
prediction model
primary
biomedical image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180060558.7A
Other languages
English (en)
Inventor
D·V·K·亚布拉达
M·汉娜
P·舒弗勒
T·富克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Memorial Sloan Kettering Cancer Center
Original Assignee
Memorial Sloan Kettering Cancer Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Memorial Sloan Kettering Cancer Center filed Critical Memorial Sloan Kettering Cancer Center
Publication of CN116157846A publication Critical patent/CN116157846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本文描述了从生物医学图像确定原发部位的系统和方法。计算系统可以识别来自与第一受试者的病症相关联的原发部位或继发部位中的一者的第一样本的第一生物医学图像。所述计算系统可将所述第一生物医学图像应用于包括多个权重的部位预测模型以确定所述病症的所述原发部位。所述计算系统可以存储所述第一生物医学图像与使用所述部位预测模型确定的原发部位之间的关联。

Description

用于分析来自转移部位的病理学数据的机器学习模型
相关申请的交叉引用
本申请要求2020年6月2日提交的名称为“Machine Learning Model forAnalyzing Pathology Data from Metastatic Sites”的美国临时申请号63/033,730的优先权，该临时申请全文以引用方式并入本文。
背景技术
计算设备可以使用各种计算机视觉算法来识别和检测图像中的各种特征。计算设备还可以确定关于图像内的特征的特性。
发明内容
本公开的方面涉及从生物医学图像确定原发部位的系统和方法。计算系统可以识别来自与第一受试者的病症相关联的原发部位或继发部位中的一者的第一样本的第一生物医学图像。所述计算系统可将所述第一生物医学图像应用于包括多个权重的部位预测模型以确定所述病症的原发部位。可使用具有多个实例的训练数据集训练部位预测模型。每个实例可包括：第二样本的第二生物医学图像，所述第二样本来自第二样本所获自的第二受试者的病症的原发部位或继发部位中的一者；识别第二生物医学图像所获自的第二样本的原发部位或继发部位中的一者的第一标记；以及识别第二受试者的病症的原发部位的第二标记。所述计算系统可以存储所述第一生物医学图像与使用所述部位预测模型确定的原发部位之间的关联。
在一些实施方案中，计算系统可以提供第一生物医学图像与原发部位之间的关联。在一些实施方案中，计算系统可将第一生物医学图像应用于部位预测模型以确定第一受试者的病症的多个候选原发部位。
在一些实施方案中，计算系统可将第一生物医学图像应用于部位预测模型以确定病症的原发部位的置信度分数。在一些实施方案中，计算系统可将第一生物医学图像应用于部位预测模型以确定多个候选原发部位的排名。
在一些实施方案中，计算系统可经由组织学图像制备器获得第一样本的第一生物医学图像。在一些实施方案中，部位预测模型中的多个权重可被布置成(i)多个卷积块，以从生物医学图像生成多个特征图，以及(ii)激活层，以基于多个特征图确定病症的原发部位。
本公开的方面涉及训练模型以从生物医学图像确定原发部位的系统和方法。计算系统可以识别具有多个实例的训练数据集。所述多个实例中的每个实例可包括：样本的生物医学图像，所述样本来自所述样本所获自的第二受试者的病症的原发部位或继发部位中的一者；识别生物医学图像所获自的第二样本的原发部位或继发部位中的一者的第一标记；识别第二受试者的病症的原发部位的第二标记。计算系统可将训练数据集的多个实例中的每个实例中的生物医学图像应用于包括多个权重的部位预测模型以确定样本的病症的部位。计算系统可以针对训练数据集中的多个实例中的每个实例，比较在实例的标记中识别的原发部位和由部位预测模型确定的部位。计算系统可基于在每个实例的标记中识别的第一部位与由部位预测模型确定的第二部位之间的比较来更新部位预测模型中的多个权重中的至少一个权重。计算系统可将部位预测模型中的多个权重存储在一个或多个数据结构中。
在一些实施方案中，计算系统可将所获取的第二样本的生物医学图像应用于部位预测模型以确定第二样本的第二部位。在一些实施方案中，计算系统可响应于确定多个实例中的至少一个实例的损失度量超过阈值，将所述至少一个实例的生物医学图像重新应用于部位预测模型。
在一些实施方案中，计算系统可使用基于比较确定的分类损失来更新部位预测模型中的多个权重中的至少一个权重。在一些实施方案中，计算系统可将生物医学图像应用于训练数据集的多个实例中的每个实例中以确定第一受试者的病症的多个候选原发部位。
在一些实施方案中，计算系统可将生物医学图像应用于训练数据集的多个实例中的每个实例中以确定病症的原发部位的置信度分数。在一些实施方案中，部位预测模型中的多个权重可被布置成(i)多个卷积块，以从生物医学图像生成多个特征图，以及(ii)激活层，以基于多个特征图确定病症的原发部位。
附图说明
通过结合附图参考以下描述，本公开的前述和其他目的、方面、特征和优点将变得更加显而易见且更好理解，其中：
图1A描绘了根据例示性实施方案的用于使用全玻片图像识别转移部位中的起源原发部位的过程的概况的框图；
图1B描绘了根据例示性实施方案的用于训练模型的过程的概况的框图，该模型用于使用全玻片图像(whole slide image)识别转移部位中的起源原发部位；
图1C描绘了示出根据例示性实施方案的用于训练模型的训练数据中的原发部位与转移部位之间的关系的图，所述模型用于识别转移部位中的起源原发部位；
图2描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统的框图；
图3描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统中的部位预测模型的训练过程的框图；
图4A描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统中的部位预测模型的架构的框图；
图4B描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统的部位预测模型中的编码器块的架构的框图；
图4C描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统的部位预测模型中的变换堆栈(transform stack)的架构的框图；
图5描绘了根据例示性实施方案的用于从生物医学图像确定原发部位的系统中的部位预测模型的推断过程的框图；
图6A描绘了根据例示性实施方案的训练模型以确定原发部位的方法的流程图；
图6B描绘了根据例示性实施方案的应用模型来确定原发部位的方法的流程图；并且
图7描绘了根据例示性实施方案的服务器系统和客户端计算机系统的框图。
具体实施方式
以下是与用于从生物医学图像确定原发部位的系统和方法相关的各种概念，以及用于从生物医学图像确定原发部位的系统和方法的实施方案的更详细描述。应当了解，上文引入且下文更详细论述的各种概念可以许多方式中的任一方式实施，因为所公开的概念不限于任何特定实现方式。提供具体实现方式和应用的实例主要是为了例示的目的。
章节A描述了用于从生物医学图像确定原发部位的系统和方法；并且
章节B描述了可用于实践本文所述的各种计算相关实施方案的网络环境和计算环境。
A.确定生物医学图像的原发部位的系统和方法
癌细胞可起源于原发部位并扩散到受试者全身的一个或多个继发部位(在本文中也称为转移部位)。根据肿瘤部位，继发部位处的癌细胞可能在特性上看起来与原发部位中的癌细胞相似。对原发部位的估计可能是设计用于减轻和抑制癌症在体内扩散的治疗的关键因素。病理学家可以手动检查来自受试者的组织的全玻片图像以确定癌症的起源原发部位。然而，该过程可能缓慢且麻烦，尤其是在要检查来自多个受试者的大量图像时。此外，检查的手动性质可能导致不准确的诊断，从而导致不正确的治疗建议。解决这些问题中的一些问题的一种方法可以是使用计算机视觉技术识别全玻片图像中描绘的给定组织内的癌细胞。但是，这种方法不能解决提供对癌细胞的原发部位的估计。为了解决这些和其他挑战，可以训练模型来学习形态学模式以基于全玻片图像预测癌细胞的原发部位。该模型可以识别与转移风险高度相关的形态学模式。
现在参见图1A，描绘了用于使用全玻片图像识别转移部位中的起源原发部位的过程100的概况的框图。如图所示，可以从病理学记录的数据记录中自动提取基本事实(ground truth)。路径报告可包括肿瘤类型，诸如分级(例如，高级别骨肉瘤、低级别严重癌或高级别多形性肉瘤)、分化(例如，分化不良的甲状腺癌、未分化的多形性肉瘤、分化良好的粘液性腺癌和去分化的脂肪肉瘤)、肿瘤(例如，神经母细胞性肿瘤、Muellerian肿瘤和小圆细胞肿瘤)、亚肿瘤类型(例如，尤因肉瘤(Ewing sarcoma)、血管肉瘤和视网膜母细胞瘤)、特性(例如，浸润性癌、恶性肿瘤和转移性平滑肌瘤)和细胞肿瘤或异常(例如，鳞状细胞癌、生殖细胞肿瘤、透明细胞癌和非小细胞癌)等。通过肿瘤类型索引的全玻片图像(WSI)的数据集可以从若干受试者编译。肿瘤区域可以在标记提取、病理学家注释和类别激活图下提取。使用相关区域，可以训练分类器来定位图像中描绘的肿瘤的原发部位。可通过从组织样本预测原发部位来分析附加的转移风险因素。
现在参见图1B，描绘了用于训练模型的过程105的概况的框图，该模型用于使用全玻片图像识别转移部位中的起源原发部位。如图所示，可使用训练数据以自我监督方式训练模型。可训练模型来识别肿瘤类型。标记注释以及病理学家注释可用于检测肿瘤细胞在全玻片图像中的位置。现在参见图1C，描绘了图110，其示出用于训练模型的训练数据中的原发部位与转移部位之间的关系，该模型用于识别转移部位中的起源原发部位。如图所示，癌症的原发部位与转移部位之间可能存在相关性。使用这些数据训练的模型可以形成权重和连接关系(connection)以推断新输入图像的相关性。
现在参见图2，描绘了用于从生物医学图像确定原发部位的系统200的框图。总的来说，系统200可包括至少一个图像处理系统205、至少一个成像设备210和至少一个显示器215，它们经由至少一个网络220彼此通信地联接。图像处理系统205可包括至少一个模型训练器225、至少一个模型应用器230、至少一个部位预测模型235和至少一个数据库240等。数据库240可以存储、维护或以其他方式包括至少一个训练数据集245。如本文详述的系统200中的每个组件可使用如本文在章节B中详述的硬件(例如，与存储器联接的一个或多个处理器)或者硬件和软件的组合来实现。
更详细地，图像处理系统205本身及其中的组件诸如模型训练器225、模型应用器230和部位预测模型235可具有训练模式和运行时间模式(在本文中有时称为评估或干预模式)。在训练模式下，图像处理系统205可调用模型训练器225和模型应用器230来使用训练数据集245训练部位预测模型235。在运行时间模式下，图像处理系统205可调用模型应用器230来将部位预测模型235应用于新的生物医学图像，以预测生物医学图像中描绘的组织所来自的受试者的病症的原发部位。
现在参见图3，描绘了用于从生物医学图像确定原发部位的系统200中的部位预测模型235的训练过程300的框图。过程300可对应于或包括由图像处理系统205在训练模式下执行的操作。在过程300下，在图像处理系统205上执行的模型训练器230可以初始化、训练或建立部位预测模型235。在一些实施方案中，作为初始化的一部分，模型训练器230可以将随机值分配给部位预测模型235中的权重集合。为了训练部位预测模型235，模型训练器225可以访问数据库240以检索、获取或识别训练数据集245。可使用至少一个数据结构(例如，阵列、矩阵、堆、列表、树或数据对象)将训练数据集245存储和维护在数据库240上。利用该识别，模型训练器225可使用训练数据集245训练部位预测模型235。部位预测模型235的训练可遵循受监督(例如，主动或弱监督)的学习技术。
训练数据集325可包括一个或多个实例。训练数据集245的每个实例可包括来自受试者320的至少一个图像305、至少一个原发部位标记310和至少一个图像部位标记315等。训练数据集325中的实例可以从多个受试者325获得。在每个训练数据集245中，图像305可以从来自受试者320的至少一个样本325获取、导出或以其他方式获得。样本325可以是从受试者320(例如，人、动物或植物群)取得或获得的组织切片。就人或动物受试者而言，组织切片可包括例如肌肉组织、结缔组织、上皮组织、神经组织或器官组织。样本325可以从受试者320的至少一个原发部位330或至少一个继发部位335(在本文中有时称为转移部位)获得。样本325本身可具有或包括一个或多个患有病症的受试者。例如，样本325的组织切片可以在其上含有肿瘤细胞或病变。在该实例中，癌细胞或病变可对应于对象，并且病症可对应于患有肿瘤或病变。原发部位330可对应于受试者320中的病症所起源自的位置。继发部位335可对应于受试者320中的病症扩散到的位置。例如，对于患有扩散到脑的肺癌的受试者320，原发部位330可以是肺内的位置，而继发部位335可以是脑内的位置。
图像305本身可根据显微镜技术或组织病理学图像制备器，诸如使用光学显微镜、共焦显微镜、荧光显微镜、磷光显微镜、电子显微镜等获取。图像305可以是例如具有苏木精和伊红(H&E)染色、免疫染色、血铁黄素染色、苏丹染色、席夫染色(Schiff stain)、刚果红染色、革兰氏染色、Ziehl-Neelsen染色、金胺-罗丹明染色、三色染色、银染色和瑞氏染色(Wright’s Stain)等的组织学切片。图像305可包括一个或多个感兴趣区域(ROI)。每个ROI可对应于样本图像305内含有、涵盖或包括病症(例如，图像中的特征或对象)的区域、部分或边界。例如，样本图像305可以是样本325中的组织切片的数字病理学的全玻片图像(WSI)，并且ROI可对应于样本组织中具有病变和肿瘤的区域。在一些实施方案中，样本图像305的ROI可对应于不同的病症。每种病症可限定或指定ROI的分类。例如，当图像305是样本组织的WSI时，病症可对应于各种组织病理学特性，诸如癌组织、良性上皮组织、基质组织、坏死组织和脂肪组织等。在一些实施方案中，训练数据集245可包括识别关联图像305中的ROI的至少一个注释。
此外，原发部位标记310可以识别样本325中的病症所起源自的受试者320中的原发部位330。图像部位标记315可以识别受试者320中的从中获得样本325的部位。原发部位标记310和图像部位标记315都可含有对应于受试者320中的潜在位置之一的值(例如，字母数字或数字)。图像部位标记315可以是原发部位330或继发部位335。原发部位标记310和图像部位标记315可以不同或者可以相同。当图像305是从原发部位330获得的样本325的图像时，原发部位标记310和图像部位标记315可以相同。在这种情况下，原发部位标记310和图像部位标记315都可以识别原发部位330。当图像305是从继发部位335获得的样本325的图像时，原发部位标记310和图像部位标记315可以不同。在这种情况下，原发部位标记310可以识别原发部位330，并且图像部位标记315可以识别受试者320中的继发部位335。原发部位标记310和图像部位标记315可以由检查受试者320或样本325的病理学家或临床医生输入或生成。在一些实施方案中，可以从训练数据集245中省略图像部位标记315。
在训练中，在图像处理系统205上执行的模型应用器230可以将来自训练数据集245的图像305应用于部位预测模型230。部位预测模型235可包括或具有权重集合(在本文中有时称为参数、内核或滤波器)以处理至少一个输入并产生至少一个输出。例如，可根据卷积神经网络(CNN)架构诸如ResNet-50 CNN阵列来布置部位预测模型235中的权重集合。在应用中，模型应用器230可以将来自训练数据集245的每个实例的图像305提供或馈送到部位预测模型235的输入。在一些实施方案中，模型应用器230可以将整个图像305馈送到部位预测模型235。在一些实施方案中，模型应用器230可以从图像305中选择或识别一个或多个图块(tile)以输入到部位预测模型235。
在馈送时，模型应用器230可根据布置在部位预测模型235中的权重集合处理输入图像305以生成至少一个输出。该输出可包括一个或多个预测的原发部位340。每个预测的原发部位340可以识别输入图像305的样本325中描绘的病症的原发部位330。预测的原发部位340可包括对应于受试者320中的部位之一(例如，器官)的值(例如，字母数字或数字)。在一些实施方案中，该输出可包括病症的每个预测的原发部位340的置信度分数。置信度分数可限定或指示病症的预测的原发部位340是病症的实际原发部位330的可能性程度。下文结合图4A至图4C描述了部位预测模型235的架构和运作的细节。
现在参见图4A，描绘了用于从生物医学图像确定原发部位的系统205中的部位预测模型235的架构400的框图。在架构400下，部位预测模型235可包括一个或多个编码器405A-N(在下文中统称为编码器405)、至少一个聚集器410和至少一个激活器415(在本文中有时统称为激活层)等。部位预测模型235的权重集合可以横跨一个或多个编码器405、聚集器410和激活器415等进行配置、排列或以其他方式布置。部位预测模型235可具有一个或多个输入和至少一个输出。该输入可包括图像305或来自图像305的图块420A-N(在下文中统称为图块420)的集合。图块420可对应于图像305的一部分。该输出可包括预测的原发部位340(例如，如图所描绘)。在一些实施方案中，该输出可包括预测的原发部位340的置信度分数。编码器405、聚集器410和激活器415的输入和输出可以例如以所描绘的方式彼此连接。
每个编码器405可接收、检索或以其他方式识别作为输入的图像305的至少一部分。该输入可以是整个图像305或来自图像305的对应图块420。根据编码器405中的权重，编码器405可处理该输入。编码器405中的权重集合可以例如根据卷积神经网络(CNN)来布置。在一些实施方案中，权重集合可以在编码器405之间共享。例如，编码器405内的权重的值和互连关系(interconnectio)在部位预测模型235中的整个编码器405中可以是相同的。在一些实施方案中，权重集合可以不在编码器405之间共享。例如，一个编码器405中的权重的值或互连关系可以不同，或者可以独立于其他编码器405中的权重的值或互连关系。编码器405可使用本文结合图4B和图4C详述的架构来实现。通过处理输入，编码器405可产生或生成至少一个特征图425A-N(在下文中统称为特征图425)。特征图425可以是输入图像305或图块420的较低维度表示。例如，特征图425可以是输入图像305或相应图块420中的潜在特征的表示。编码器405的输出可作为聚集器410的输入来提供或馈送。
聚集器410继而可接收、检索或以其他方式识别由对应编码器405生成的特征图425。在接收后，聚集器410可以连结或组合特征图425以输入到在聚集器410中限定的权重集合中。聚集器410可根据权重集合来处理输入。在一些实施方案中，聚集器410中的权重集合可根据完全卷积网络(FCN)来布置。聚集器410可使用本文结合图4B和图4C详述的架构来实现。通过处理，聚集器410可确定、产生或以其他方式生成至少一个聚集特征图430。聚集特征图430可以是接收到的特征图425的组合集合的较低维度表示。例如，聚集特征图430可以是来自编码器405的特征图425的组合集合中的潜在特征的表示。聚集器410的输出可以作为激活器415的输入来提供或馈送。
激活器415可接收、检索或以其他方式识别由聚集器401生成的聚集器特征图430。激活器415可根据权重集合来处理输入聚集特征图430。激活器415中的权重集合可根据激活层，诸如softmax函数、maxout函数、整流线性单元(ReLU)、线性激活函数、heavyside函数、径向函数或逻辑函数等来布置。激活器415可使用本文结合图4B和图4C详述的架构来实现。通过处理，激活器415可产生或生成至少一个输出。该输出可包括至少一个预测的原发部位340。预测的原发部位340可对应于受试者320中的限定部位，诸如肺、乳房、脑、肝、胃、甲状腺、皮肤或任何其他器官等。在一些实施方案中，该输出可包括预测的原发部位340的置信度分数。置信度分数可限定或指示病症的预测的原发部位340是病症的实际原发部位330的可能性程度。
现在参见图4B，描绘了用于从生物医学图像确定原发部位的系统200的部位预测模型235中的编码器块445的架构440的框图。编码器块445可用于实现部位预测模型245中的各个编码器405以及聚集器410。例如，每个编码器405和聚集器410可以是编码器块445的例子。在架构440下，编码器块445可包括一个或多个卷积堆栈450A-N(在下文中统称为卷积堆栈450)。编码器块415还可包括至少一个输入455和至少一个输出，诸如特征图460。输入455和输出特征图460可经由在卷积堆栈450中限定的权重集合相关。当用于实现编码器405时，编码器块445的输入455可对应于或包括图像305或对应图块420，并且输出特征图460可对应于特征图425。当用于实现聚集器410时，编码器块445的输入455可对应于或包括特征图425的组合集合，并且输出460可对应于聚集特征图430。每个卷积堆栈450可限定或包括编码器块445的权重。卷积堆栈450的集合可以串联(例如，如图所描绘)或并联配置、或以任何组合布置。在串联配置中，一个卷积堆栈450的输入可包括先前卷积堆栈450的输出(例如，如图所描绘)。在并联配置中，一个卷积堆栈450的输入可包括整个编码器块445的输入。本文下文结合图4C提供了关于卷积堆栈450的架构的细节。
现在参见图4C，描绘了用于从生物医学图像确定原发部位的系统200的部位预测模型235中的变换堆栈475的架构470的框图。变换堆栈475可用于实现用作部位预测模型235中的编码器405或聚集器410的例子的编码器块445的卷积堆栈450。变换堆栈475还可用于实现预测模型235中的激活器415。变换堆叠475可包括一个或多个变换层480A-N(在下文中统称为变换层480)。变换堆栈475还包括至少一个输入485和至少一个输出特征图490。输入485和输出490可经由在变换堆栈475的变换层480中限定的权重集合相关。当用于实现激活器415时，输入485可对应于聚集特征图430，并且输出490可对应于预测的原发部位340和置信度分数等。变换层480的集合可串联布置，其中一个变换层480的输出作为输入被馈送到后续变换层480。每个变换层480可具有非线性输入-输出特性。变换层480可包括卷积层、归一化层和激活层(例如，整流线性单元(ReLU))等。在一些实施方案中，变换层480的集合可以是卷积神经网络(CNN)。例如，卷积层、归一化层和激活层(例如，softmax函数)可根据CNN来布置。
在图3的上下文中，模型训练器225可以从图像305的应用中检索、获得或以其他方式识别由部位预测模型235产生的输出。输出可包括例如至少一个预测的原发部位340和预测的原发部位340的置信度分数等。同时，模型训练器225可以在用于生成预测的原发部位340的训练数据集245中识别实例的输入图像305、原发部位标记310或图像部位标记315。在一些实施方案中，模型训练器225可以识别在用于生成预测的原发部位340的训练数据集245的实例中识别的原发部位标记310。在一些实施方案中，模型训练器225可以识别在同一实例中识别的图像部位标记315。
通过识别，模型训练器225可以将由部位预测模型235生成的预测的原发部位340与如在来自训练数据集245的实例中识别的原发部位标记310进行比较。当存在由部位预测模型235输出的多个预测的原发部位340时，模型训练器225可以选择或识别具有最高置信度分数的预测的原发部位340以用于训练目的。在一些实施方案中，模型训练器225可以将包括在预测的原发部位340中的值与由原发部位标记310指示的值进行比较。
通过比较，模型训练器225可以确定由部位预测模型235生成的预测的原发部位340是否正确。当预测的原发部位340与原发部位标记310匹配时，模型训练器225可以确定预测的原发部位340是正确的。在一些实施方案中，模型训练器225可以将用于产生预测的原发部位340的训练数据集245中的实例识别为正确确定的。模型训练器225还可以将来自训练数据集245的实例排除在再训练数据集之外。相反，当预测的原发部位340与原发部位标记310不匹配时，模型训练器225可以确定预测的原发部位340是不正确的。在一些实施方案中，模型训练器225可以将用于产生预测的原发部位340的训练数据集245中的实例识别为不正确确定的(在本文中有时称为硬实例)。模型训练器225可将来自训练数据集245的实例包括在再训练数据集中。
在一些实施方案中，模型训练器225可以将训练数据集325中的实例的图像部位标记315纳入再训练数据集中的包括实例中。模型训练器225可以识别具有针对受试者320中的特定部位的图像部位标记315的再训练数据集中的实例数目。模型训练器225可以将实例数目与阈值进行比较。该阈值可限定将所有具有相同图像部位标记315的实例包括到再训练数据集中时的实例数目的值。当实例数目大于或等于阈值时，模型训练器225可以将所有来自具有相同图像部位标记315的训练数据集245的实例包括到再训练数据集中。否则，当实例数目小于阈值时，模型训练器225可以维护再训练数据集中的当前实例数目。
基于比较，模型训练器225可计算、生成或以其他方式确定至少一个损失度量(在本文中有时称为误差度量)，以更新部位预测模型235的权重。可以使用来自使用训练数据集245的许多实例生成的站点预测模型235的许多输出来确定损失度量。损失度量可指示来自部位预测模型235的输出(例如，预测的原发部位340)与如训练数据集245中指示的预期结果(例如，原发部位标记310)的偏差程度。例如，损失度量可以测量由于将图像305不正确地分类到如在原发部位标记310中识别的正确部位之外的部位之一而产生的分类损失。可根据任意数目的损失函数，诸如Huber损失、范数损失(例如，L1或L2)、均方误差(MSE)、二次损失和交叉熵损失等来计算损失度量。一般来讲，损失度量越高，输出可能偏离输入的预期结果越多。相反，损失度量越低，输出可能偏离预期结果越少。在一些实施方案中，当使用实例生成的预测的原发部位340的损失度量大于阈值时，该实例可包括在再训练数据集中。阈值可限定或描绘将对应实例包括在再训练数据集中时的损失度量的值。在一些实施方案中，模型训练器225可以组合关于输出和训练数据集245的比较的结果以计算损失度量。
使用损失度量，模型训练器225可修改、设置或以其他方式更新部位预测模型235中的一个或多个权重。权重的更新可以跨越部位预测模型245内的编码器405、聚集器410和激活器415。权重的更新可遵循部位预测模型235的优化函数(或目标函数)。优化函数可限定部位预测网络235的权重将被更新时的一个或多个速率或参数。部位预测模型235中的内核的更新可以重复，直到达到收敛条件。
在一些实施方案中，模型训练器225可使用再训练数据集继续训练部位预测模型235。再训练数据集可包括部位预测模型235先前产生不正确的预测的原发部位340的一个或多个实例。使用再训练数据集对预测模型235的训练可以类似于如上所述使用原始数据集245的训练。例如，模型应用器230可以将来自包括在再训练数据集中的每个实例的图像305重新应用到部位预测模型235。使用由部位预测模型235产生的预测的原发部位340，模型训练器225可计算另一损失度量并相应地更新部位预测模型235的权重。
在收敛后，模型训练器225可以存储和维护部位预测模型235的权重集合。收敛可对应于部位预测模型235中的权重值低于阈值的变化。可使用诸如阵列、矩阵、堆、列表、树或数据对象等的一个或多个数据结构来存储部位预测模型235的权重集合。在一些实施方案中，模型训练器225可以将部位预测模型235的权重集合存储在数据库240中。
现在参见图5，描绘了用于从生物医学图像确定原发部位的系统200中的部位预测模型235的推断过程500的框图。过程500可对应于或包括由图像处理系统205在运行时间模式下执行的操作。在过程500下，成像设备210可扫描、获得或以其他方式获取来自受试者515的至少一个样本510的至少一个图像505。图像505可以类似于上述图像305。样本510可以是从受试者515取得或获得的组织切片。样本510可以从受试者515的至少一个原发部位520或至少一个继发部位525(在本文中有时称为转移部位)获得。样本510本身可具有或包括一个或多个患有病症的受试者。例如，样本510的组织切片可以在其上含有肿瘤细胞或病变。原发部位520可对应于受试者515中的病症所起源自的位置。继发部位525可对应于受试者515中的病症扩散到的位置。例如，对于患有扩散到脑的肺癌的受试者515，原发部位520可以是肺内的位置，而继发部位525可以是脑内的位置。图像505可根据显微镜技术或组织病理学成像获取。在获取后，成像设备210可将所获取的图像505发送、传输或以其他方式提供到成像处理系统205。
模型应用器230继而可以从成像设备210检索、接收或以其他方式识别图像505。模型应用器230可以将图像505提供或馈送到部位预测模型235的输入。在一些实施方案中，模型应用器230可以将整个图像505馈送到部位预测模型235。在一些实施方案中，模型应用器230可以从图像505中选择或识别一个或多个图块(例如，类似于图块420)以输入到部位预测模型235。在馈送后，模型应用器230可根据布置在部位预测模型235中的权重集合处理输入图像505以生成至少一个输出。该输出可包括一个或多个预测的原发部位530。每个预测的原发部位530可以识别输入图像505的样本325中描绘的病症的原发部位520。预测的原发部位530可包括对应于受试者515中的部位之一(例如，器官)的值(例如，字母数字或数字)。在一些实施方案中，输出可包括病症的每个预测的原发部位530的置信度分数。置信度分数可限定或指示病症的预测的原发部位530是病症的实际原发部位520的可能性程度。在一些实施方案中，模型应用器230可通过置信度分数对预测的原发部位530进行排名。
通过该生成，模型应用器230可以存储和维护图像505与来自部位预测模型235的输出之间的关联。所述输出可包括预测的原发部位430和对应的置信度分数中的一者或多者。所述关联可使用一个或多个数据结构存储在数据库240上。此外，模型应用器230可以将来自部位预测模型235的输出发送、传输或以其他方式提供到显示器215以用于呈现或渲染。在一些实施方案中，模型应用器230还可以将图像505与对应输出之间的关联提供到显示器215。显示器215可渲染或呈现来自部位预测模型235的输出，诸如预测的原发部位530和置信度分数。在一些实施方案中，显示器215还可以将图像505连同来自部位预测模型235的输出一起呈现。显示器215可以将来自图像处理系统205的信息呈现在图形用户界面中。例如，图形用户界面可提供图像505、根据置信度分数排名的预测的原发部位530，以及置信度分数本身。图形用户界面还可包括关于图像505所获自的受试者515或样本510的其他信息。以这种方式，图像处理系统205的部位预测模型235可能能够从图像505学习形态学潜在特征，以确定来自受试者515的样本510的图像505的预测的原发部位530。图像505可以来自继发部位525或实际的原发部位520本身。
现在参见图6A，描绘了训练模型来确定原发部位的方法600的流程图。方法600可以由本文结合图2至图5描述的系统300或本文结合章节B详述的系统700来执行或者使用该系统来实现。简而言之，在方法600下，计算系统(例如，图像处理系统205)可以识别训练数据集(例如，训练数据集245)(605)。计算系统可将图像(例如，图像305)应用于模型(例如，部位预测模型235)(610)。计算系统可以将结果(例如，预测的原发部位340)与标记(例如，原发部位标记310)进行比较(615)。计算系统可以更新该模型(620)。计算系统可以存储该模型的权重(625)。
现在参见图6B，描绘了应用模型来确定原发部位的方法650的流程图。方法650可以由本文结合图2至图5描述的系统300或本文结合章节B详述的系统700来执行或者使用该系统来实现。在方法650下，计算系统(例如，图像处理系统205)可以识别所获取的图像(例如，图像505)(655)。计算系统可将图像应用于模型(例如，部位预测模型235)(660)。计算系统可以提供结果(例如，预测的原发部位530)(665)。
B.计算和网络环境
本文所述的各种操作可以在计算机系统上实现。图7示出了可用于实现本公开的某些实施方案的代表性服务器系统700、客户端计算机系统714和网络726的简化框图。在各种实施方案中，服务器系统700或类似系统可实现本文所述的服务或服务器或它们的部分。客户端计算机系统714或类似系统可实现本文所述的客户端。本文所述的系统300可以类似于服务器系统700。服务器系统700可具有并入有多个模块702(例如，刀片服务器实施方案中的刀片)的模块化设计；虽然示出了两个模块702，但可以提供任何数目。每个模块702可包括一个或多个处理单元704和本地存储装置706。
一个或多个处理单元704可包括可具有一个或多个核的单个处理器，或多个处理器。在一些实施方案中，一个或多个处理单元704可包括通用主处理器以及一个或多个专用协处理器诸如图形处理器、数字信号处理器等。在一些实施方案中，一些或全部处理单元704可使用定制电路，诸如特殊应用集成电路(application specific integratedcircuit,ASIC)或现场可编程门阵列(FPGA)来实现。在一些实施方案中，此类集成电路执行存储在电路本身上的指令。在其他实施方案中，一个或多个处理单元704可以执行存储在本地存储装置706中的指令。一个或多个处理单元704中可包括呈任何组合的形式的任何类型的处理器。
本地存储装置706可包括易失性存储介质(例如，DRAM、SRAM、SDRAM等)和/或非易失性存储介质(例如，磁盘或光盘、闪存等)。并入在本地存储装置706中的存储介质可根据需要是固定的、可移动的或可升级的。本地存储装置706可在物理上或逻辑上划分为各种子单元，诸如系统存储器、只读存储器(ROM)和永久存储设备。系统存储器可以是读写存储器设备或易失性读写存储器，诸如动态随机存取存储器。系统存储器可以存储一个或多个处理单元704在运行时需要的指令和数据中的一些或全部。ROM可以存储一个或多个处理单元704所需的静态数据和指令。永久存储设备可以是非易失性读写存储设备，其即使在模块702掉电时也可以存储指令和数据。如本文所用的术语“存储介质”包括其中可以无限期地存储数据(经受重写、电干扰、功率损耗等)并且不包括无线地或通过有线连接传播的载波和瞬态电子信号的任何介质。
在一些实施方案中，本地存储装置706可以存储将由一个或多个处理单元704(诸如操作系统)执行的一个或多个软件程序和/或实现各种服务器功能(诸如图5的系统500或本文所述的任何其他系统，或与系统500或本文所述的任何其他系统相关联的任何一个或多个其他服务器的功能)的程序。
“软件”一般是指当由一个或多个处理单元704执行时使得服务器系统700(或其部分)执行各种操作，从而限定执行和实施软件程序的操作的一个或多个特定机器实施方案的指令序列。指令可被存储为驻留在只读存储器中的固件和/或存储在非易失性存储介质中的程序代码，该程序代码其可被读取到易失性工作存储器中以供一个或多个处理单元704执行。软件可以作为单个程序或单独程序的集合或根据需要进行交互的程序模块来实现。从本地存储装置706(或下文所述的非本地存储装置)，一个或多个处理单元704可检索要执行的程序指令和要处理的数据以便执行上文所述的各种操作。
在一些服务器系统700中，多个模块702可经由总线或其他互连(interconnect)708互连，从而形成支持模块702与服务器系统700的其他组件之间的通信的局域网。互连708可使用包括服务器机架、集线器、路由器等的各种技术来实现。
广域网(WAN)接口710可以提供局域网(互连708)和网络726(例如因特网)之间的数据通信能力。可使用包括有线(例如，以太网、IEEE 702.3标准)和/或无线技术(例如，Wi-Fi、IEEE 702.11标准)的技术。
在一些实施方案中，本地存储装置706旨在为一个或多个处理单元704提供工作存储器，从而提供对要处理的程序和/或数据的快速访问，同时减少互连708上的流量。可通过可连接到互连708的一个或多个大容量存储子系统712在局域网上提供对较大量的数据的存储。大容量存储子系统712可基于磁性、光学、半导体或其他数据存储介质。可使用直接附接存储、存储区域网络、网络附接存储等。在本文中被描述为由服务或服务器产生、消耗或维护的任何数据存储或其他数据集合可存储在大容量存储子系统712中。在一些实施方案中，附加数据存储资源可经由WAN接口710访问(潜在地具有增加的延迟)。
服务器系统700可响应于经由WAN接口710接收到的请求而操作。例如，模块702之一可实现监督功能，并且响应于接收到的请求而将离散任务分配给其他模块702。可使用工作分配技术。当请求被处理时，结果可以经由WAN接口710返回给请求者。此类操作通常可以是自动化的。另外，在一些实施方案中，WAN接口710可将多个服务器系统700彼此连接，从而提供能够管理大量活动的可扩展系统。可使用用于管理服务器系统和服务器群(合作的服务器系统的集合)的其他技术，包括动态资源分配和再分配。
服务器系统700可经由广域网诸如互联网与各种用户拥有的或用户操作的设备交互。用户操作的设备的实例在图7中被示出为客户端计算系统714。客户端计算系统714例如可以实现为诸如智能电话、其他移动电话、平板计算机、可穿戴计算设备(例如，智能手表、眼镜)、台式计算机、膝上型计算机等消费设备。
例如，客户端计算系统714可经由WAN接口710通信。客户端计算系统714可包括诸如一个或多个处理单元716、存储设备718、网络接口720、用户输入设备722和用户输出设备724的计算机组件。客户端计算系统714可以是以多种形式因素(form factor)实现的计算设备，诸如台式计算机、膝上型计算机、平板计算机、智能手机、其他移动计算设备、可穿戴计算设备等。
处理器716和存储设备718可以类似于上文所述的一个或多个处理单元704和本地存储装置706。可基于要置于客户端计算系统714上的需求来选择合适的设备；例如，客户端计算系统714可被实现为具有有限处理能力的“瘦”客户端或实现为高功率计算设备。客户端计算系统714可配备有可由一个或多个处理单元716执行以实现与服务器系统700的各种交互的程序代码。
网络接口720可以提供到网络726的连接，诸如服务器系统700的WAN接口710也连接到的广域网(例如因特网)。在各种实施方案中，网络接口720可包括有线接口(例如，以太网)和/或实现各种RF数据通信标准诸如Wi-Fi、蓝牙或蜂窝数据网络标准(例如，3G、4G、LTE等)的无线接口。
用户输入设备722可以包括用户可以经由其向客户端计算系统714提供信号的任何设备(或多个设备)；客户端计算系统714可以将信号解释为特定用户请求或信息的指示。在各种实施方案中，用户输入设备722可包括键盘、触摸板、触摸屏、鼠标或其他定点设备、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风等中的任一者或全部。
用户输出设备724可包括客户端计算系统714可经由其向用户提供信息的任何设备。例如，用户输出设备724可包括显示器以显示由客户端计算系统714生成或递送到客户端计算系统的图像。显示器可以并入有各种图像生成技术，例如液晶显示器(LCD)、包括有机发光二极管(OLED)的发光二极管(LED)、投影系统、阴极射线管(CRT)等，以及支持电子器件(例如，数模或模数转换器、信号处理器等)。一些实施方案可包括既用作输入设备又用作输出设备的设备，诸如触摸屏。在一些实施方案中，作为显示器的补充或替代，可以提供其他用户输出设备724。实例包括指示灯、扬声器、触觉“显示”设备、打印机等。
一些实施方案包括将计算机程序指令存储在计算机可读存储介质中的电子组件，诸如微处理器、存储装置和存储器。本专利说明书所描述的许多特征可被实现为被指定为在计算机可读存储介质上编码的程序指令集合的过程。当这些程序指令由一个或多个处理单元执行时，它们使得该一个或多个处理单元执行程序指令中指示的各种操作。程序指令或计算机代码的实例包括诸如由编译器产生的机器代码，以及包括由计算机、电子组件或使用解释器的微处理器执行的高级代码的文件。通过适当的编程，处理单元704和716可以为服务器系统700和客户端计算系统714提供各种功能，包括在本文中被描述为由服务器或客户端执行的任何功能，或其他功能。
应当理解，服务器系统700和客户端计算系统714是例示性的，并且其变型和修改是可能的。结合本公开的实施例使用的计算机系统可以具有这里未具体描述的其他能力。另外，虽然服务器系统700和客户端计算系统714是参照特定块来描述的，但应当理解，这些块是为了便于描述而定义的，并不旨在暗示组成部件的特定物理布置。例如，不同的块可以但不必位于同一设施、同一服务器机架或同一主板上。进一步地，块不必对应于物理上不同的组件。块可被配置为例如通过对处理器编程或提供适当的控制电路来执行各种操作，并且各种块可能是或可能不是可重新配置的，这取决于初始配置是如何获得的。本公开的实施方案可以在包括使用电路和软件的任何组合实现的电子设备在内的各种装置中实现。
虽然已相对于特定实施方案描述了本公开，但本领域技术人员将认识到许多修改是可能的。本公开的实施方案可使用各种计算机系统和通信技术来实现，包括但不限于本文所述的具体实例。本公开的实施方案可使用专用组件和/或可编程处理器和/或其他可编程设备的任何组合来实现。本文所述的各种过程可以在相同的处理器或任何组合的不同处理器上实现。在将组件描述为被配置为执行某些操作的情况下，此类配置可例如通过设计电子电路来执行操作、通过对可编程电子电路(诸如微处理器)进行编程来执行操作或它们的任何组合来实现。进一步地，虽然上述实施方案可以参考特定的硬件和软件组件，但本领域技术人员将认识到，也可以使用硬件和/或软件组件的不同组合，并且被描述为在硬件中实现的特定操作也可以在软件中实现，反之亦然。
并入有本公开的各种特征的计算机程序可以被编码并存储在各种计算机可读存储介质上；合适的介质包括磁盘或磁带、诸如压缩盘(CD)或DVD(数字多功能盘)的光存储介质、闪存和其他非瞬态介质。用程序代码编码的计算机可读介质可以与兼容的电子设备封装在一起，或者程序代码可以与电子设备分开提供(例如，经由因特网下载或作为分开封装的计算机可读存储介质)。
因此，尽管已相对于特定实施方案描述了本公开，但应当理解，本公开旨在覆盖所附权利要求范围内的所有修改和等同物。

Claims (20)

1.一种从生物医学图像确定原发部位的方法，所述方法包括：
由计算系统识别来自与第一受试者的病症相关联的原发部位或继发部位中的一者的第一样本的第一生物医学图像；
由所述计算系统将所述第一生物医学图像应用于包括多个权重的部位预测模型以确定所述病症的所述原发部位，所述部位预测模型使用具有多个实例的训练数据集来训练，每个实例包括：
第二样本的第二生物医学图像，所述第二样本来自所述第二样本所获自的第二受试者的病症的原发部位或继发部位中的一者，
第一标记，所述第一标记识别所述第二生物医学图像所获自的所述第二样本的所述原发部位或所述继发部位中的一者，以及
第二标记，所述第二标记识别所述第二受试者的所述病症的所述原发部位；以及
由所述计算系统存储所述第一生物医学图像与使用所述部位预测模型确定的所述原发部位之间的关联。
2.如权利要求1所述的方法，所述方法进一步包括由所述计算系统提供所述第一生物医学图像与所述原发部位之间的关联。
3.如权利要求1所述的方法，其中应用进一步包括将所述第一生物医学图像应用于所述部位预测模型以确定所述第一受试者的所述病症的多个候选原发部位。
4.如权利要求1所述的方法，其中应用进一步包括将所述第一生物医学图像应用于所述部位预测模型以确定所述病症的所述原发部位的置信度分数。
5.如权利要求1所述的方法，其中应用进一步包括将所述第一生物医学图像应用于所述部位预测模型以确定所述多个候选原发部位的排名。
6.如权利要求1所述的方法，其中识别所述第一生物医学图像进一步包括经由组织学图像制备器获得所述第一样本的所述第一生物医学图像。
7.如权利要求1所述的方法，其中所述部位预测模型中的所述多个权重被布置成(i)多个卷积块，以从所述生物医学图像生成多个特征图，以及(ii)激活层，以基于所述多个特征图确定所述病症的所述原发部位。
8.一种训练模型以从生物医学图像确定原发部位的方法，所述方法包括：
由计算系统识别具有多个实例的训练数据集，所述多个实例中的每个实例包括：
样本的生物医学图像，所述样本来自所述样本所获自的第二受试者的病症的原发部位或继发部位中的一者，
第一标记，所述第一标记识别所述生物医学图像所获自的第二样本的所述原发部位或所述继发部位中的一者，以及
第二标记，所述第二标记识别所述第二受试者的所述病症的所述原发部位；
由所述计算系统将所述训练数据集的所述多个实例中的每个实例中的所述生物医学图像应用于包括多个权重的部位预测模型以确定所述样本的所述病症的部位；
由所述计算系统针对所述训练数据集中的所述多个实例中的每个实例，比较在所述实例的所述标记中识别的所述原发部位和由所述部位预测模型确定的所述部位；
由所述计算系统基于在每个实例的所述标记中识别的第一部位与由所述部位预测模型确定的第二部位之间的比较来更新所述部位预测模型中的所述多个权重中的至少一个权重；以及
由所述计算系统将所述部位预测模型中的所述多个权重存储在一个或多个数据结构中。
9.如权利要求8所述的方法，所述方法进一步包括由所述计算系统将所获取的第二样本的生物医学图像应用于所述部位预测模型以确定所述第二样本的所述第二部位。
10.如权利要求8所述的方法，所述方法进一步包括由所述计算系统响应于确定所述多个实例中的至少一个实例的损失度量超过阈值，将所述至少一个实例的所述生物医学图像重新应用于所述部位预测模型。
11.如权利要求8所述的方法，其中更新进一步包括使用基于所述比较确定的分类损失来更新所述部位预测模型中的所述多个权重中的至少一个权重。
12.如权利要求8所述的方法，其中应用进一步包括将所述生物医学图像应用于所述训练数据集的所述多个实例中的每个实例以确定所述第一受试者的所述病症的多个候选原发部位。
13.如权利要求8所述的方法，其中应用进一步包括将所述生物医学图像应用于所述训练数据集的所述多个实例中的每个实例以确定所述病症的所述原发部位的置信度分数。
14.如权利要求8所述的方法，其中所述部位预测模型中的所述多个权重被布置成(i)多个卷积块，以从所述生物医学图像生成多个特征图，以及(ii)激活层，以基于所述多个特征图确定所述病症的所述原发部位。
15.一种用于从转移部位的生物医学图像确定原发部位的系统，所述系统包括：
计算系统，所述计算系统具有与存储器联接的一个或多个处理器，所述计算系统被配置为：
识别来自与第一受试者的病症相关联的原发部位或继发部位中的一者的第一样本的第一生物医学图像；
将所述生物医学图像应用于包括多个权重的部位预测模型以确定所述病症的所述原发部位，所述部位预测模型使用具有多个实例的训练数据集来训练，每个实例包括：
第二样本的第二生物医学图像，所述第二样本来自所述第二样本所获自的第二受试者的病症的原发部位或继发部位中的一者，
第一标记，所述第一标记识别所述第二生物医学图像所获自的所述第二样本的所述原发部位或所述继发部位中的一者，以及
第二标记，所述第二标记识别所述第二受试者的所述病症的所述原发部位；以及
存储所述第一生物医学图像与使用所述部位预测模型确定的所述原发部位之间的关联。
16.如权利要求15所述的系统，其中所述计算系统被进一步配置为提供所述第一生物医学图像与所述原发部位之间的所述关联。
17.如权利要求15所述的系统，其中所述计算系统被进一步配置为将所述第一生物医学图像应用于所述部位预测模型以确定所述第一受试者的所述病症的多个候选原发部位。
18.如权利要求15所述的系统，其中所述计算系统被进一步配置为将所述第一生物医学图像应用于所述部位预测模型以确定所述病症的所述原发部位的置信度分数。
19.如权利要求15所述的系统，其中所述计算系统被进一步配置为将所述第一生物医学图像应用于所述部位预测模型以确定所述多个候选原发部位的排名。
20.如权利要求15所述的系统，其中所述部位预测模型中的所述多个权重被布置成(i)多个卷积块，以从所述生物医学图像生成多个特征图，以及(ii)激活层，以基于所述多个特征图确定所述病症的所述原发部位。
CN202180060558.7A 2020-06-02 2021-06-01 用于分析来自转移部位的病理学数据的机器学习模型 Pending CN116157846A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063033730P 2020-06-02 2020-06-02
US63/033,730 2020-06-02
PCT/US2021/035133 WO2021247491A1 (en) 2020-06-02 2021-06-01 Machine learning model for analyzing pathology data from metastatic sites

Publications (1)

Publication Number Publication Date
CN116157846A true CN116157846A (zh) 2023-05-23

Family

ID=78705178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180060558.7A Pending CN116157846A (zh) 2020-06-02 2021-06-01 用于分析来自转移部位的病理学数据的机器学习模型

Country Status (9)

Country Link
US (2) US11449994B2 (zh)
EP (1) EP4158539A1 (zh)
JP (1) JP2023529609A (zh)
KR (1) KR20230018404A (zh)
CN (1) CN116157846A (zh)
AU (1) AU2021284253A1 (zh)
BR (1) BR112022024406A2 (zh)
CA (1) CA3181124A1 (zh)
WO (1) WO2021247491A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449994B2 (en) * 2020-06-02 2022-09-20 Memorial Sloan Kettering Cancer Center Machine learning model for analyzing pathology data from metastatic sites
CN116664966B (zh) * 2023-03-27 2024-02-20 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346688B2 (en) 2009-11-25 2013-01-01 International Business Machines Corporation Predicting states of subjects
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US10049447B2 (en) 2013-11-06 2018-08-14 H. Lee Moffitt Cancer Center and Research Insititute, Inc. Pathology case review, analysis and prediction
US9760990B2 (en) 2014-12-14 2017-09-12 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition
CN107530452A (zh) * 2015-02-02 2018-01-02 诺瓦达克技术公司 用于表征受试者的组织的方法和系统
US9704066B2 (en) * 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Multi-stage image classification
US10049450B2 (en) * 2015-12-03 2018-08-14 Case Western Reserve University High-throughput adaptive sampling for whole-slide histopathology image analysis
US10769501B1 (en) * 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
CN110326024B (zh) * 2017-02-21 2023-11-03 株式会社高迎科技 用于处理由医学成像装置捕获的组织学图像的方法和装置
US11636288B2 (en) * 2017-11-06 2023-04-25 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
US11120307B2 (en) * 2019-08-23 2021-09-14 Memorial Sloan Kettering Cancer Center Multi-task learning for dense object detection
GB201913616D0 (en) * 2019-09-20 2019-11-06 Univ Oslo Hf Histological image analysis
US11449994B2 (en) * 2020-06-02 2022-09-20 Memorial Sloan Kettering Cancer Center Machine learning model for analyzing pathology data from metastatic sites

Also Published As

Publication number Publication date
US20230021031A1 (en) 2023-01-19
KR20230018404A (ko) 2023-02-07
BR112022024406A2 (pt) 2022-12-27
US11449994B2 (en) 2022-09-20
WO2021247491A1 (en) 2021-12-09
EP4158539A1 (en) 2023-04-05
CA3181124A1 (en) 2021-12-09
JP2023529609A (ja) 2023-07-11
AU2021284253A1 (en) 2023-01-05
US20210374954A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
Arvaniti et al. Automated Gleason grading of prostate cancer tissue microarrays via deep learning
Yu et al. Classifying non-small cell lung cancer types and transcriptomic subtypes using convolutional neural networks
US10176574B2 (en) Structure-preserving composite model for skin lesion segmentation
Tseng et al. Application of machine learning to predict the recurrence-proneness for cervical cancer
US11682117B2 (en) Deep interactive learning for image segmentation models
US20230021031A1 (en) Machine learning model for analyzing pathology data from metastatic sites
JP2021509713A (ja) 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
WO2018209057A1 (en) System and method associated with predicting segmentation quality of objects in analysis of copious image data
US20230298172A1 (en) Systems and methods for image classification using visual dictionaries
CN113628157A (zh) 利用病理图像来表征肿瘤微环境的系统和方法
US20210406611A1 (en) Multi-task learning for dense object detection
Sweeney et al. Combined mapping of multiple clustering algorithms (communal): a robust method for selection of cluster number, K
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
Amgad et al. A population-level digital histologic biomarker for enhanced prognosis of invasive breast cancer
US20230070874A1 (en) Learning representations of nuclei in histopathology images with contrastive loss
WO2021041342A1 (en) Semantic image retrieval for whole slide images
US20230289955A1 (en) End-to-end part learning for image analysis
Kazerouni et al. A mass classification and image retrieval model for mammograms
US20230077504A1 (en) Determining scores indicative of times to events from biomedical images
CN113780445B (zh) 癌症亚型分类预测模型的生成方法及装置、存储介质
US20240169688A1 (en) Image texture manipulation for machine learning data augmentation
Kundale et al. CSPO-DCNN: competitive swarm political optimisation for breast cancer classification using histopathological image
Lupo et al. Machine learning in computational pathology through self-supervised learning and vision transformers
Gliozzo et al. Resource-Limited Automated Ki67 Index Estimation in Breast Cancer
WO2024026255A1 (en) Systems and methods for automated tumor segmentation in radiology imaging using data mined line annotations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination