CN107492090B - 根据合成数据利用机器学习的基于图像的肿瘤表型分析 - Google Patents

根据合成数据利用机器学习的基于图像的肿瘤表型分析 Download PDF

Info

Publication number
CN107492090B
CN107492090B CN201710431721.1A CN201710431721A CN107492090B CN 107492090 B CN107492090 B CN 107492090B CN 201710431721 A CN201710431721 A CN 201710431721A CN 107492090 B CN107492090 B CN 107492090B
Authority
CN
China
Prior art keywords
tumor
machine
model
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710431721.1A
Other languages
English (en)
Other versions
CN107492090A (zh
Inventor
D.科马尼丘
A.卡门
刘大元
B.马耶
T.曼西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN107492090A publication Critical patent/CN107492090A/zh
Application granted granted Critical
Publication of CN107492090B publication Critical patent/CN107492090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/70—Mechanisms involved in disease identification
    • G01N2800/7023—(Hyper)proliferation
    • G01N2800/7028—Cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及根据合成数据利用机器学习的基于图像的肿瘤表型分析。机器训练以及机器训练的分类器的应用被用于医学系统中的基于图像的肿瘤表型分析。为了利用已知表型信息创建训练数据库，合成医学图像被创建。计算肿瘤模型创建组织中的肿瘤的各种示例。使用所述计算肿瘤模型允许一个人创建不可从实际的患者得到的示例，从而增加用于机器学习以预测肿瘤表型的示例的数量和变化。成像系统的模型从所述示例生成合成图像。所述机器训练的分类器被应用于来自实际的患者的图像，以基于从所述合成图像学习到的知识来预测该患者的肿瘤表型。

Description

根据合成数据利用机器学习的基于图像的肿瘤表型分析
相关申请
本专利文件根据美国法典第35条119(e)款要求2016年6月9日提交的临时美国专利申请序号62/347,864的权益，其据此通过引用结合。
背景技术
本实施例涉及针对肿瘤的医学诊断、治疗计划和/或预后。
成像是用于预测和监测癌症的治疗反应的一个重要的诊断工具。当前的方法一般地依赖从医学图像得到的肿瘤的聚合特性。这些特性可以包括肿瘤大小(例如，被测量为线性尺寸或体积)或强度参数(例如，灌注特性)。这些方法未计及常常通过解剖、生理和分子图像的纹理和多参数空间图案所捕获的可从肿瘤基质和生理学的空间分布得到的丰富信息。根据单个图像时间点或根据作为时间的函数的图像中的改变的反应预测就是这样的。
发明内容
通过介绍，在下面所描述的优选实施例包括用于机器训练的方法、计算机可读介质和系统以及机器训练的分类器对于医学系统中的基于图像的肿瘤表型分析（phenotyping）的应用。为了利用已知表型信息创建足够丰富的训练数据库，合成医学图像被创建。这是至关重要的，因为每个肿瘤是唯一的并且数据扩增是机器训练的算法的最优性能所必要的。计算肿瘤模型创建肿瘤类型的各种示例。使用所述计算肿瘤模型提供不可从实际的患者得到的训练数据示例，从而增加用于机器学习以预测肿瘤表型的示例的数量和变化。成像系统的模型从所述示例生成合成图像。所述机器训练的分类器被应用于来自实际的患者的图像，以基于从所述合成图像学习到的知识来预测该患者的肿瘤表型。
在第一方面，提供了一种用于医学系统中的基于图像的肿瘤表型分析的方法。表示患者的组织中的肿瘤的医学扫描数据被获取。从所述医学扫描数据中提取一组特征。所述特征被输入到机器训练的分类器。所述机器训练的分类器至少部分地根据不特定于针对现有患者案例的训练数据的合成地生成的图像并且基于肿瘤模型被训练。通过将所述机器训练的分类器应用于所述特征，所述肿瘤的表型信息被确定。所述表型信息被输出。
在第二方面，提供了一种用于医学系统中的基于图像的肿瘤表型分析的机器训练的方法。计算肿瘤模型的参数被改变。所述改变提供肿瘤的一组合成地生成的示例。医学图像是从所述肿瘤的合成地生成的示例仿真的。机器使用所仿真的医学图像来训练机器学习分类器。
在第三方面，提供了一种用于医学系统中的基于图像的肿瘤表型分析的机器训练的方法。肿瘤生长或萎缩被建模。合成图像根据对肿瘤生长或萎缩的所述建模利用图像模型来创建。机器被训练以根据包括从对所述肿瘤生长或萎缩的所述建模创建的所述图像的训练数据的数据库来预测。
本发明由以下权利要求来限定，并且此部分中没什么应该被视为是对那些权利要求的限制。本发明的进一步方面和优点在下面结合优选实施例被讨论，并且可以被稍后独立地或相结合地要求保护。
附图说明
组件和图未必按比例绘制，重点替代地被放在图示本发明的原理上。而且，在图中，相同的附图标记在不同的视图中自始至终指代对应的部分。
图1是示出了基于肿瘤的计算模型的机器学习的布置；
图2是用于医学系统中的基于图像的肿瘤表型分析的方法的一个实施例的流程图；
图3是用于医学系统中的基于图像的肿瘤表型分析的机器训练的方法的一个实施例的流程图；以及
图4是用于基于图像的肿瘤表型分析的医学系统的一个实施例的框图。
具体实施方式
来自患者图像和测量结果的数据的合集呈现关于患者的非常复杂的信息网络。此复杂的信息网络可以通过现代的机器学习算法有效地理清。机器学习分类器提供快速的患者评估和疗效分析。现代的机器学习和人工智能算法很适于管理大量的异构数据。一致预测是以自动化方式提供的。机器学习算法在复杂任务方面具有优良的预测能力，示出专家级性能。综合患者评估模型组合来自患者的所有可用的信息，以呈现对患者状态的综合理解以及使得临床医师能够指导治疗。
机器学习可以被用于基于图像的非侵入性肿瘤表型分析以用于诊断、预后和治疗。量化预测并反映响应于特定治疗的进展并且与最终患者疗效有关的肿瘤表型特性可能潜在地由于若干原因而显著地受益于自动化计算机分析。计算机分析是高度可再现的并且不取决于主观评估。精确量化很可能改进对肿瘤的微妙特性和响应于治疗的改变的检测，这预测将来的疗效。使用大量数据来训练的机器学习工具可以在标识哪些成像(和非成像)特征和图案及其对治疗的改变时非常有效，是诊断、反应和/或疗效的最佳预测器并且用作知识发现工具。
针对个性化肿瘤治疗，癌症正被以日益精细的尺度分类。例如，图像特征、临床数据、病史和/或基因测定用于唯一地标识肿瘤表型。在此类情形下，每一癌症变成唯一疾病。针对每个表型来训练机器学习分类器需要针对每个表型访问许多示例。由于精细尺度，来自实际的患者的此类数据可能在足够数量方面不可用和/或可能难以获取。结果，获取必要量的数据以在没有数据扩增的情况下训练复杂的放射组学(radiomics)或放射基因组学(radiogenomics)机器学习系统变得极有挑战性。
合成示例可以用于扩增训练数据库。特征检测和学习范例基于使用肿瘤表型的多尺度模型而不是从图像的合成示例开始所创建的合成样本。目的旨在不仅检测微妙表型图案，而且基于较低尺度生理和/或分子信息使它们与更接近于给定分子或细胞水平模型的已知根本原因相关。为了应付用于训练的有限量的可用标记数据，肿瘤生长的多尺度模型与成像模型耦合来为机器学习创建合成图像。
图1示出了用于训练机器学习分类器以输出肿瘤表型信息的方法的一个实施例。训练数据被扩增。训练数据包括肿瘤的图像的示例和已标记的地面真值(ground truth)或疗效(例如，表型信息)。肿瘤模型接收参数的各组值以生成示例肿瘤。样本数据点使用肿瘤的模型来针对肿瘤中的差异反映图像中的表观改变。合成成像引擎接收图像参数、示例肿瘤、系统变化性(例如，来自成像的模型化噪声)和/或实现成像的模拟的其他患者数据。合成成像引擎按疗效创建示例图像作为模型驱动训练数据的数据库。其中不仅已经发现的知识被表示而且来自患者人口、图像形成和总系统噪声的变化性被结合的知识驱动数据集被创建。可以提供具有不同的、附加的或更少的动作的其他方法。
在一个实施例中，其中虚拟肿瘤具有已知细胞和组织特性的图像的扩增合成数据库被创建。数据库的每个图像是通过获取图像模板、选择器官、在所选择的器官内执行虚拟肿瘤建模以及生成虚拟癌症、按虚拟癌症创建合成图像并且将该合成图像添加到数据库来生成的。机器根据可利用真实患者数据补充的扩增合成数据库来训练放射组学或放射基因组学预测模型。放射组学或放射基因组学模型是用于使用早期阶段肿瘤模型的早期肿瘤诊断、主动监视的模型和/或用于虚拟活组织检查(biopsy)的模型。放射组学或放射基因组学模型被应用于看不见的图像数据以得到针对患者的诊断、监测和/或治疗计划。
在一个方法中，合成样本基于较低尺度生理信息(例如，基于患者数据或一组基于人口的参数)使用肿瘤生理学(包括由于治疗而导致的生长、浸润、转移和/或萎缩)的模型来创建。例如，在高水平上，通过确立的研究，已经发现具有某些人口统计资料和基因排列的患者具有带特定水平的血管生成、低氧、肿瘤形状不规则的肿瘤生长的某种图案。此“模型”可以是用于为训练生成此表型的合成样本的基础，其中变化性被引入到诸如密度、位置和大小的肿瘤特性的这些和/或其他方面。疗效匹配图像的此“基于模型”生成的训练集可以允许学习过程集中于知道什么并且结合规定的变化性。通过合成标记数据扩增的完全数据驱动学习基于已经通过各种肿瘤模型发现具体化的东西。
机器学习具有两个主要阶段：训练阶段和应用或检验阶段。在训练期间，根据标记临床数据学习模型以识别肿瘤表型。图3示出了训练的一个实施例。在检验或应用阶段期间，模型然后被应用于看不见的数据以得到早期诊断和/或虚拟活组织检查。图2示出了应用的一个实施例。图3的训练作为图2的应用的一部分被讨论，以便描述被训练以用于应用的机器学习分类器。
图2是用于医学系统中的基于图像的肿瘤表型分析的方法的一个实施例的流程图。该方法涉及机器训练的分类器对于诊断、预后、治疗计划、交付（delivery）和/或监测的应用。机器训练的分类器被训练以用于对癌症肿瘤进行表型分析。成像系统模型从自肿瘤建模创建的肿瘤生成合成图像作为训练数据。基于由于建模而可用的大量此类训练数据，机器训练的分类器可以更准确地表型和/或可以在更罕见情形下识别肿瘤。结果协助医师和患者，提供指导或推荐，和/或提供二次病理回顾。
图4的医学系统或其他医学系统实现动作。该系统可以是医学成像系统、医院工作站、患者医学记录计算机、医学服务器、基于云的系统或其他安全的医学数据处理系统。医学系统可以或者可以不包括存储器或数据库，诸如患者医学记录数据库、来自肿瘤学信息系统的肿瘤学数据和/或图片存档和通信系统(PACS)。
图2的动作被以所示次序(数值或自顶向下)或其他次序执行。例如，动作20和22同时或者以任何次序发生。作为另一示例，动作24和/或26可以作为动作28的一部分被执行，诸如在深度学习分类器被使用的情况下。
可以提供附加的、不同的或更少的动作。例如，可以不执行动作30。作为另一示例，动作22未被执行。示例附加的动作包括特征到其他机器学习分类器的输入和/或机器学习分类的其他使用。
在动作20中，医学系统获取医学扫描数据。医学扫描数据是通过从存储器加载来获取的。可替换地或附加地，医学扫描数据由医学成像系统获取，所述医学成像系统诸如x射线、计算机断层扫描(CT)、磁共振成像(MRI)、分子成像(例如，正电子发射断层摄影术(PET)、单光子发射计算机断层扫描(SPECT))、超声、相机或另一扫描器。医学成像系统是医学系统的一部分或者是医学系统本身，或者医学系统通过在计算机网络上从成像系统转移来获取扫描数据。
医学扫描数据表示患者的一维、二维或三维区域。例如，在使用不同模态中的任一个的3D成像中，表示分布在三个维度上的不同体素处的强度的一组扫描数据被获取。在其他实施例中，医学扫描数据是通过患者的平面或投影的二维表示。医学扫描数据可以是在成像之前格式化的数据(例如，体素)和/或被格式化为图像以用于显示的数据(例如，多平面重建或体积渲染)。
医学扫描数据表示一个或多个患者的解剖结构。可以表示任何解剖，诸如具有可疑或已知肿瘤的器官的一部分(例如，对心脏和周围或连接血管的CT扫描)或可替换地整个身体图像。表示患者的组织中的肿瘤的医学扫描数据被获取。可以表示任何组织和任何数量的肿瘤。肿瘤在从医学扫描数据生成的图像中可能是未知的和/或不可容易地识别为肿瘤。肿瘤可以是任何类型和阶段的。
医学系统可以从患者的过去的扫描获取扫描数据。可以同时或者在不同的时间获取用于针对给定患者训练模型或应用的不同数据。例如，患者的过去的医学信息和医学图像与当前的医学信息相结合地使用以得到患者状况的综合图片以及该状况已如何演变。可以在训练数据库中对此信息进行采样，诸如使用疾病进展的数学模型(例如，肿瘤生长的模型)、连同在给定时间的信息一起或这些方法的组合。可以在系统中同时使用若干组扫描数据，诸如按不同的设定扫描以表示肿瘤或患者的不同的特性。
医学扫描数据是针对给定患者而获取的。为了诊断、预后和/或治疗，患者的医学扫描数据被获取。医学扫描数据将用于确定关于肿瘤的表型信息。可以使用一个或多个医学扫描。表型信息包括患者中的肿瘤的任何表征特征中的一个或多个。例如，将至少部分地根据医学扫描数据来确定大小、生长率、边界、形状、纹理、细胞信息、分子信息、阶段、类型、血管质、发生的器官、与肿瘤相关联的患者特性、任何参数的值随着时间的推移的改变和/或其他表型信息。
在动作22中，医学系统获得患者的其他数据。数据是通过访问存储器、从存储器加载或通过接口装置或网络转移来获得的。例如，数据作为网络（web）服务的一部分被获得以提供表型信息。其他数据在一个或多个存储器中和/或来自一个或多个传感器。数据是从计算机化医学记录、计费数据库、部门记录、图片存档和通信系统(PACS)或另一源获得的。可以挖掘患者的文本临床报告。
可以使用数据的多个不同的源来训练或者应用模型。机器学习算法和结果得到的机器学习分类器使用如临床报告中的文本、医学图像、医学扫描数据、血液生物标志物信息、患者人口统计资料(例如，年龄、种族、性别、体量、BMI（身体质量指数）或其他)、病史(例如，吸烟、饮酒、高血压、药物使用、正在使用的当前药物或其他)、非侵入性测量结果(例如，血压、心率、ECG（心电图）信号或其他)这样的信息和/或来自其他装置和传感器的信息。模型也可以使用来自患者的基因组或分子信息。例如，特定基因组标志物的存在用于评估当前经历的概率或发展任何病理状况的倾向。也可以使用像miRAN、mRNA、蛋白质组这样的分子标志物。模型可以使用将患者数据用作输入(例如，血流、电生理学、生物力学量或其他)的生理建模的结果。
数据来自患者的过去的检查(例如，先前的图像、人口统计资料和病史)和/或包括当前的信息。例如，先前的检查提供一些信息。当前经历的症状也被获得。其他当前的测量结果(诸如CT成像和血液生物标志物)被获得。从不同的时间获得相同类型的数据可以示出进展。
在动作24中，医学系统从医学扫描数据和/或其他数据中提取一组特征。特征提取由医学成像扫描器或者在另一装置(诸如成像工作站)上执行。处理器在有或没有通过用户界面的用户输入的情况下执行提取。针对源所格式化的请求、挖掘或搜索获得数据。
结果得到的特征的值的列表被存储为训练数据库的一部分或者被用于机器学习分类器的应用。
来自图像的特征提取的过程是完全自动化的、半自动化的、手动的或其组合。在手动方法下，解剖或其他特征由人类操作员或用户输入、做注释或者测量。例如，成像扫描器或工作站显示用户可编辑以插入特征的对话。图像用于确定特征的值。作为另一示例，用户对图像进行跟踪。
在自动化提取下，医学系统计算特征的值。分段、取阈值、滤波、模板匹配、检测(例如，机器学习检测)、其他图像处理或其组合用于提取特定于扫描数据中所表示的解剖或肿瘤的值。可替换地或附加地，哈尔（Haar）小波、可操纵特征、没有处理的强度值或不管表示的解剖如何都遍及扫描数据计算出的其他特征被使用。
特征也可以作为深度学习模型的一部分被自动地提取。在此上下文中，数据被直接给予深度学习网络，所述深度学习网络将自动地提取特征并且按照端到端方式执行机器学习任务。
在医学扫描数据内，模型可以使用多个特征。例如，通过图像处理来确定肿瘤大小、形状、血管质、纹理、位置和/或其他特性。模型可以利用从图像推断出的高级放射基因组表型信息。例如，肿瘤被检测。肿瘤的纹理可以指示患者和/或肿瘤的基因组成。具有不同基因的患者具有不同类型或纹理的肿瘤。可以提取其他图像指示的表型信息。在其他实施例中，表型是从基因报告或分析中提取的。
机器学习检测器或分类器可以用于提取特征的值。在一个实施方式中，定量特征(诸如哈尔小波特征)是从图像中提取的。这些特征然后用于训练机器学习模型。一旦模型被训练，特征的类似集合就也针对新患者被计算并且然后作为输入馈送给模型。模型然后产生所需要的输出作为从图像中提取的特征。一个机器学习分类器被训练以提取输入到被训练来输出肿瘤表型信息的另一机器学习分类器的特征，从而提供两个或更多个机器学习或训练的分类器的级联。模型可以以级联方式使用各式各样的学习算法的组合。级联可以被用于成像和/或其他数据。例如，临床报告中的文本使用机器学习自然语言处理工具来处理以标识关键信息内容。
作为另一示例，医学扫描数据和/或其他数据由包括深度卷积神经网络、基于内核的方法或其他的任何机器学习模型来处理。例如，深度学习网络自动地提取最相关的特征并且一起执行学习任务。从这些不同的源中提取的信息和特征然后被聚合以训练复杂的高阶模型或机器学习分类器，其预测诊断、预后和/或治疗疗效。在深度学习分类器被使用的情况下，神经网络的初始层在动作24中学习提取特征。在应用中，医学扫描数据和/或其他数据被作为特征输入到机器训练的分类器。初始层在动作24中提取另外的特征并且在动作26中将那些提取的特征输入到神经网络的后续层中以用于动作28的确定，所以提取和输入是确定28的一部分。在此上下文中，扫描数据和/或其他数据是被提取且输入的特征。
在动作26和28中，医学系统应用一个或多个机器学习分类器。在动作26中输入来自动作24的所提取的特征导致动作28的输出或确定。处理器输入特征，对所输入的特征应用机器学习分类器以确定诊断、预后、治疗疗效和/或表型信息。在一个实施例中，确定是对肿瘤特性的确定。此输出用于基于肿瘤特性的已知关系得到诊断、预后和/或治疗疗效(例如，治疗推荐)。在其他实施例中，确定是对作为分类器的输出的诊断、预后和/或治疗疗效的确定。
输出可以是诊断，诸如肿瘤的类型、阶段、良性或恶性或另一特性。输出可以是预后，诸如达到下一个阶段的时间、预期寿命、蔓延时间、预测大小、复发或另一预测。输出可以是治疗疗效，诸如一个或多个治疗的很可能的有效性、治疗的成本、治疗的副作用和/或其他治疗相关的指导。
为了训练，针对训练数据的样本的所提取的特征和已知地面真值(即，肿瘤表型信息、诊断、治疗疗效和/或预后)用于学习分类。针对许多样本的所输入的特征向量和对应结果被用在机器学习中。几十、几百或几千个示例用于训练。更大数量的训练示例可以产生更可靠的分类。所对应的特征值用于将特征值映射到结果。
一个分类器预测一个结果。可以训练一个分类器以预测多个类型的结果。例如，相同分类器预测诊断、预后和/或治疗疗效中的两个或更多个。分类器可以预测诊断并且然后查找（look-up）用于确定预后。可替换地，不同的分类器被用于不同类型的结果，诸如一个分类器指示诊断并且级联中的另一分类器指示预后和/或治疗疗效。
不是训练一个分类器，而是该分类器可以作为不同模型的网络被学习，其中每个模型对特征空间的某个子集或全体起作用。可以将来自每个模型的输出用作其他模型的输入，从而创建新特征。可以将来自一个模型的输出用作相同模型的输入以产生递归模型估计。可以训练分类器以从绝对、离散和/或连续特征中学习。分类器可以是多个相互作用的机器学习分类器的组合，所述多个相互作用的机器学习分类器中的每一个都使用特征的相同的或不同的子集。来自一个模型的输出可被用作另一分类器的输入。
在一个实施例中，机器学习模型被实现为神经网络。此类网络具有用于确定在手边的任务的公共特征的共享层和被训练以用于根据特征分类的附加层的池。可以使用任何类型的机器学习算法，诸如支持向量机。机器学习是监督、半监督或无人监督的。使用监督学习的一些示例包括递归、基于实例的方法、规则化方法、判定树学习、贝叶斯、内核方法、聚类方法、关联规则学习、人工神经网络、降维和集总方法。可以使用概率提升树、分层或其他过程。
机器学习可以使用所输入的特征中的全部。可替换地，机器学习确定确定性特征并且选择待用于分类的特征集合。所提取的特征的子集可以被用于像根据特征选择和排名、特征组合或其他过程所确定的那样学习。
收集统计上显著数量的训练样本(例如，针对给定状况或许多状况具有已知结果的几千个患者)可能是困难的。许多样本是每个唯一布置(例如，特定于肿瘤和/或包括与肿瘤相关的患者特性的肿瘤特性)所期望的。从实际的患者获取样本可能是困难的，特别是在待在训练中用作地面真值的已知疗效的情况下。可以合成地生成训练数据中的一些以填充任何间隙，或者合成地生成训练数据的全体。可能难以定位遭受一个或多个状况、状况的组合或状况的细节(例如，两个肿瘤、罕见癌症、异常生长图案、具有乳腺癌的男性、非典型硬或软组织中的肿瘤、不是患者的特定基因所共有的类型的肿瘤)的患者的许多样本。可以创建合成示例。不是将特定现有患者案例用于训练数据，而是不特定于现有或先前处理的患者的数据被使用。合成样本是按已知疗效经由计算机模拟生成的。实际的患者可以是起始点，但是建模创建不特定于给定患者的肿瘤表示。肿瘤模型的一个或多个参数的值被改变以创建与由实际的患者所提供的不同的样本。机器训练的分类器仅根据合成数据或根据来自一批患者的数据和合成数据的组合被训练。
合成数据可以用于其他数据和/或医学扫描数据。在一个实施例中，合成数据是医学图像或其他医学扫描数据。机器训练的分类器使用体外或经由计算机模拟模型和对应的地面真值根据利用计算机建模、物理建模或计算机建模和物理建模两者所生成的扫描数据的示例来训练。肿瘤模型被提供有一个或多个参数的不同值，从而产生不同的合成肿瘤。图像模拟器然后模拟从肿瘤模型中的每一个生成一组或多组扫描数据。结果得到的合成扫描数据样本被存储在数据库中。参数的值、合成肿瘤和/或从其得到的信息(例如，被建模的病理状况)被作为合成图像的地面真值存储在数据库中。
图3是针对使用至少部分地通过合成地生成的扫描数据所填充的数据库的医学系统中的基于图像的肿瘤表型分析的机器训练的方法的一个实施例的流程图。使用合成图像和数据集的方法具有能够横跨相对罕见且难以从足够数量的患者人口采样的病理状况的优点。大量变化可用是将合成数据用于训练的一个好处。来自患者的实际的示例也可以用于填充数据库或者不使用实际的示例。
动作被以所示次序或不同的次序执行。可以使用附加的、不同的或更少的动作，诸如组合动作38和40。
该方法由作为使用肿瘤模型的医学系统的服务器(本地的或基于云的)、计算机或工作站来实现。可以使用用于训练机器以针对肿瘤确定表型信息的任何医学系统。用于实现图2的方法的相同或不同的医学系统被用于实现图3的方法。
在动作38中，医学系统对肿瘤进行建模。可以使用任何机械或计算肿瘤建模。不是使用来自实际的患者的肿瘤，而是肿瘤的模型被使用。研究或其他调查可以提供计算模型。计算模型通过控制合成肿瘤的特性的参数来定义。可以通过参数的不同值来创建不同的肿瘤。
在一个实施例中，计算模型是肿瘤生理学(例如，生长和/或萎缩)的。模型通过根据初始几何形状(种子、球体等)表示肿瘤的生长或萎缩来提供肿瘤特性(例如，大小、形状、血管质等)。计算模型可以用于除生长外的其他特性。
癌症的数学建模作为用于疾病理解、假设检验、药物设计和临床前试验检验的工具已经是广泛研究领域。已经提出了从肿瘤中牵涉的分子相互作用的药代动力学模型横跨到三维(3D)现象学组织级方法的各种模型。可以使用这些或其他模型中的任一个。
在一个实施例中，肿瘤的3D计算模型扩增用于训练放射组学或放射基因组学预测模型(即，机器学习分类器)的数据库。肿瘤模型是再生的，所以任何类型的肿瘤在肿瘤发展过程的任何时间和/或因此对任何“宿主”组织或器官来说可用于生成具有已知特性的合成3D病变。
在一个实施例中，癌症的数学建模使用肿瘤生理学的多尺度模型。多尺度模型包括在分子、细胞、组织和/或其他尺度中的两个或更多个下的信息。可以使用除多尺度外的其他模型。在组织尺度下，肿瘤生长被建模为反应-扩散过程，其中反应链接到肿瘤生长和活动的细胞方面并且扩散链接到细胞运动性。可以使用传统法则(例如，龚帕兹（Gompertz）或指数肿瘤生长模型)在宏观尺度下对反应和扩散项进行建模。更详细的模型可以用于为训练生成附加的或更大数量的似乎真实的合成癌症配置。例如，血管生成和肿瘤血管化耦合到生长模型以考虑肿瘤的代谢部分。这使得能够模拟细胞坏死和静止(例如，由于缺氧而导致)及血管生成(例如，宏观或3D类分形模型)。生长模型也与细胞外基质(例如，细胞之间的空间)耦合以考虑由于肿瘤而导致的间质压力变化，其触发血管生成和肿瘤浸润。间质压力梯度也调节营养物质流动，并且因此调节对肿瘤细胞机能(例如，复制、死亡、静止)和形状。肿瘤生长也使用生物力学模型与邻近组织耦合以模仿由于肿瘤质量而对健康组织导致的位移。生物力学模型可以计及实现与模型化肿瘤的相互作用的组织刚度或其他特性。
附加的、不同的或更少的机制可以由肿瘤模型重复。可以使用用于对肿瘤进行建模的任何复杂性。可以使用包括基因数据、基因表达、miRNA和mRNA通路分析或其他类型的分子、细胞或临床数据的模型。
机械或计算肿瘤模型通过一个或多个方程来表示。用于机制的方程可以包括任何空间表示，诸如在3D中使用有限元方法来求解为一系列偏微分（partialdifferentiations）。为了处理大量模拟，格子波尔兹曼（Lattice Boltzmann）方法可以用于使用点或网格节点计算来求解与模型有关的反应-扩散-平流方程。与观测尺度相比在非常短的时间帧中发生的生物现象然后可以作为行波被建模并且使用基于图的算法(例如，最短路径)来非常高效地求解。肿瘤的边界被视为行波。
在附加的或不同的实施例中，机械或计算模型是或者包括机器学习分类器。肿瘤生长模型使用人工智能方法(诸如多代理系统和深度强化学习)来学习。每个细胞是在3D细胞外基质中演变并且与其他代理进行通信或相互作用的代理。支配代理的法则被显式地建模，这可能需要高计算时间。基于代理的系统是另一解算器。代理法则可以是使用深度学习方法来学习以减少计算时间的机器。细胞生理方程由神经网络近似，所述神经网络考虑到代理及其环境的状态(例如，氧和其他营养物质、激素、分子标志物、间质压力等的水平)，返回下一个似乎真实的细胞动作(例如，复制、死亡、静止等)。深度强化学习技术能用于训练代理以直接实现由宏观模型模拟的端点。
机器学习分类器根据来自实际的患者的数据和/或根据实际的肿瘤或肿瘤细胞(诸如在潮湿实验室中)的测量结果被训练。可替换地，显式代理模型用于创建用于训练计算肿瘤模型的合成示例。代理通过与环境相互作用(细胞外基质的模型)来学习，并且得到0的奖励直到当前的全局状态等于目标状态为止，其中奖励将是1。利用这种框架，目标状态不仅来自模拟(宏观模型)，而且来自肿瘤生长的体外3D模型，其中可以执行高分辨率分子成像。
虽然可以使用实际的示例，但是结果得到的肿瘤模型能够使用通过机器学习所获得的知识来创建其他合成示例。在计算或机械肿瘤模型将机器学习分类器用于仅一个方面(例如，细胞状态)的情况下，方程或其他计算建模也用于创建合成数据。在其他实施例中，机器学习用于创建计算模型作为整个肿瘤模型。
在动作40中，医学系统(例如，处理器)改变计算肿瘤模型的参数。肿瘤模型通过一个或多个参数(诸如在方程中或者用作计算模型中的输入特征的建模参数中的任一个)来定义。可以使具有健康组织的模型化肿瘤的相互作用参数化，所以可以改变用于此相互作用的参数的值。
可以从给定患者创建起始模型，但是训练示例的大多数基于来自起始模型的更改。可替换地，一个或多个起始模型是平均数或不直接与给定患者有关的其他模型。数据通过不从特定患者的数据中提取以表示该特定患者而是合成的(即，模型不特定于患者)。数字表示被生成并且存储在计算机上。在替代实施例中，训练示例中的一些或大多数被从多个患者的患者特定数据中提取并且仅示例中的一些是那些模型的更改或在没有实际的示例作为起始点的情况下创建的。如果真实患者解剖是可用的，则可以通过随机地使患者或肿瘤解剖的特征和/或计算模型中的变量的值扰动来构建另外的合成模型。此添加的合成数据可以用于得到更丰富的表示，所述表示可以计及数据中的不确定性。
为了对任何给定状况进行建模，参数的值被设定。可以为其他参数提供其他值以针对给定状况产生另外的示例。一些参数的其他值可以用于对不同的状况进行建模。通过改变值，一组肿瘤模型被合成地生成。用于训练的附加的示例是通过针对肿瘤更改变量的一个或多个值来创建的。可以改变任何数量的不同的参数。可以从单个起始模型生成用于训练的几百个或几千个不同的示例。
可以控制或者用户设定变化。可替换地或附加地，变化是随机的。例如，对合成肿瘤模型的几千个随机扰动产生几千个对应的肿瘤模型。因为肿瘤模型具有已知状况(例如，待用作地面真值的已知表型信息)，所以要在上面训练机器学习模型的丰富数据集被提供。随机变化可以是参数在相同状况或类型的肿瘤情况下的变化。可替换地，随机变化跨越肿瘤的状况或类型采样。
为了填充数据库，可以使用不同的方法。其特性然后被随机地或有系统地扰动以获得大量模型的一个或多个基线模型被创建。在另一方法中，单独地通过遵循一组规则并且通过随机地或有系统地使这些规则的参数值扰动来生成每个模型。定标法则可以被用于生成逼真的合成模型。
参数的值是为每个合成示例随机地选择的(例如，二进制变量的真或假或用于连续变量的预定义范围中的值)或者整个参数空间在生成合成示例的数据库时在有限范围内被有系统地考察。任何类型的分布可以被用于连续变量，诸如均匀的、正态的或其他。可以使用已知的、估计的或标准的正态分布。变化性的其他源可以用于为训练创建合成示例。
肿瘤模型的库被创建。肿瘤模型的最终结果是受虚拟3D肿瘤影响的虚拟3D“宿主”器官。3D肿瘤可以包括异源组织和细胞特性。不同的细胞类型可以导致不同的癌症形态学和生理学，这可以用不同的数学法则或学习到的代理来捕获。可以创建针对肿瘤模型的不同合集(诸如按肿瘤的类型)的不同库。可替换地，诸如针对一个或多个期望类型的肿瘤，单个库被创建。可以在合成数据的生成期间自动地或交互地选择肿瘤模型的库。该库对于给定肿瘤类型来说包含不同的模型，同时根据癌症的阶段要模仿潜在不同的法则。可以可替换地或附加地包括根据种子细胞类型的不同的肿瘤模型。
在一个实施例中，基于健康组织或具有肿瘤的组织的模板图像或扫描数据(例如，3D网格或体素表示)创建库。考虑到模板扫描数据，自动图像解析被执行以提取感兴趣的主要器官和/或组织。用户或处理器针对肿瘤拾取在器官或组织内的种子位置。系统然后将识别哪一个器官已被选择，并且在具有各种扰动的那个位置处最可能的肿瘤(例如，基于人口分析)被自动地选择且虚拟地模拟。可替换地，可以在那个位置处生成(例如，根据细胞特性确定)的似乎真实的癌症的列表被给予用户或处理器。一个或多个似乎真实的癌症在模板中被选择和建模。另一选项是向用户或处理器给予在所选择的位置处移植任何肿瘤种子细胞(诸如以模拟转移)的完全自由。在其他实施例中，位置由用户或处理器改变以创建肿瘤模型。
一旦患者的肿瘤表型被标识就可以使用肿瘤建模。给予虚拟癌症系统的模板图像来自患者。系统自动地识别肿瘤的位置。虚拟肿瘤是基于所输出的表型信息而选择的。肿瘤被模拟。因为底层图像是病理的，所以系统然后可以将所模拟的虚拟肿瘤的外观与真实图像进行比较以自动地调谐肿瘤模型的参数并且进一步改进虚拟肿瘤的现实，从而产生更逼真的合成肿瘤模型。此肿瘤模型可以被用于此患者，诸如以针对该患者考察治疗的效果。在其他实施例中，此改进的肿瘤模型或扰动变化可以被包括在库中以用于训练。
可以被改变的建模的一个参数是时间。肿瘤在发展的不同阶段或周期被建模。此变化用于为训练创建样本。在所输入的特征向量将来自不同时间的扫描数据用于进展分析的情况下，则来自不同时间的样本可以用于示出进展中的变化。
来自肿瘤建模的结果得到的虚拟病理解剖然后被用作用于合成图像生成的基础。具有或没有表示健康组织的扫描数据的合成肿瘤中的每一个用于生成一个或多个图像。“图像”表示在重新格式化以便于显示之前的扫描数据，诸如3D体素表示，或如被格式化以便显示在2D显示装置上的扫描数据。图像的使用计及成像模态的效果。
在动作42中，医学系统根据该组合成地生成的肿瘤模型来仿真医学图像。各种肿瘤模型用于生成一个或多个图像。合成图像根据对肿瘤生长的建模利用图像模型来创建。图像仿真由医学成像系统或扫描器对肿瘤和健康组织进行扫描。通过对图像形成过程或医学扫描器进行建模，从合成肿瘤模型生成合成图像。例如，CT扫描器的图像形成过程被应用于解剖模型，从而产生模拟合成和/或实际的解剖的医学扫描的合成图像。任何正向建模或图像形成模型都可以产生合成图像。
图像重建使用提供虚拟医学扫描器与合成肿瘤之间的相互作用(例如，灵敏度)的系统矩阵或系统操作员来执行。在一个实施例中，合成肿瘤通过生成或者使用与正被合成的成像模态相关的参数图并且然后使用参数图通过成像模态来模拟扫描而被转换为合成医学图像。一般而言，参数图是对在每个体素处结果得到的图像有影响的所有组织特性的一组定量图像。图的确切性质取决于模态。一旦参数图被合成，就可以通过改变扫描器的配置来合成肿瘤的任何虚拟扫描。
参数图中的参数对于不同的模态来说可以是不同的。可以使用任何模态，诸如x射线、CT、MRI、PET、SPECT或超声(例如，对比度增强超声)。X射线模态(包括CT)测量x射线衰减并且重建X射线吸收系数图像。可以根据组织的化学组分和目前同位素的已知质量吸收系数来计算吸收系数。通过针对肿瘤模型中所指示的一种或多种典型组分进行校准，可以从计算肿瘤模型生成图像。可以在组织和/或细胞尺度下执行针对组分的校准。从细胞角度，宏观组织分数是根据细胞和间质大小建模的。
基本MR成像对纵向和横向组织质子弛豫常数T1和T2敏感，其中水和脂类分子是被观测质子的优势源。在比原子水平更粗的尺度下，自旋弛豫取决于温度、质子的分子键联和化学交换可能性。可以使用任何MR模型，诸如用于动态对比度增强MRI的模型。再生交换率可以从MRI图像估计并且用于对MR成像进行建模。可以按照类似的方式对各向同性扩散进行建模。T1和T2是利用针对单独的组件(细胞类型、间质空间、血管等)的校准基础值及其之间的交换率以及从计算组织模型获得的体积分数从多室组织模型生成的。
用于训练的附加的样本是通过更改所仿真的图像或模拟图像形成的图像模型来创建的。例如，处理器将不同程度的统计噪声添加到所仿真的医学图像中的每一个，从而对于所仿真的医学图像中的每一个产生多个附加的图像。可以更改除噪声外的其他参数，诸如更改成像设定(例如，动态范围、增益、源强度、检测器灵敏度、聚焦和/或其他)。结果是用于训练的具有已知地面真值的附加的合成图像。
为了提高鲁棒性，可以对训练数据应用不同的变换以产生附加的训练样本。例如，不同程度的统计噪声被应用于医学图像(合成的或实际的)以产生附加的合成医学图像。噪声的添加不更改地面真值，从而允许机器训练学习不管噪声水平如何都提供相同的最终预测。可以将噪声引入到肿瘤模型中。可以使用图像和/或模型中的其他变化，诸如用于从给定样本产生附加的图像的平移、定标和/或旋转。
在一个实施例中，肿瘤和/或图像模型的参数通过组合来自具有已知表型的肿瘤的医学图像情况下可用的微观成像和化学检验的数据来调整。最大似然训练基于微观成像、化学检验和/或成像被使用。肿瘤和图像模型以可以不直接测量的隐藏参数为特征。最大似然训练改进模型以帮助说明可用的可观察量，诸如图像、化学检验和/或病理切片。一旦参数图被生成，扫描模拟工具就生成图像或其他扫描数据。
基于合成肿瘤样本至少部分地或完全从模拟的图像创建的库被用于训练。在动作44中，机器至少部分地使用所模拟的医学图像来训练机器学习分类器。处理器使用训练数据来执行机器学习。
为了训练数据使用合成建模代替需要来自一大批患者的示例提供若干优点。可以自动地生成非常大数量的案例，从而导致巨大的数据库。可以生成复杂的病理配置，诸如多个肿瘤、非典型位置中的肿瘤、非典型肿瘤、非典型患者中的肿瘤或其他情形。可以更好地对罕见病理案例进行采样。因为合成的经由计算机模拟肿瘤的生成可以是完全自动化的，所以与聚合患者示例相比生成大型数据库的成本降低了。可以容易地将示例扩展到不同的人口统计组。可以按照全局方式或站点特定方式做训练，从而允许系统基于患者人口统计和流行病学说明肿瘤趋势。在本地区域中找到足够的示例可能是困难的，但是在使用合成地生成的肿瘤和扫描数据时不成问题。可以用更多的数据或者用特征的更好表示迭代地改进训练。
一旦合成图像(例如，扫描数据)已被生成，就从图像中提取被用于训练机器学习算法的特征。相同的特征或特征的某个子集是在应用中从患者的医学图像中提取的并且用于使用经训练的模型来预测结果。取决于输入数据的源和类型，所提取的特征可以是二进制的、数值的、绝对的、序数、二项式、区间、基于文本的或其组合。来自扫描数据的特征和/或来自其他数据的特征(参见动作22)可以被用于训练。
可以使用任何类型的特征。可以使用形态学特征。机器学习过程可以提供待使用的某些特征和将不使用的其他特征。为了训练，待使用的特征可以由程序设计员选择。一些示例特征可以包括被使用或者选择来定义或者创建解剖模型的参数。可以附加地或可替换地提取其他或不同的特征。针对深度学习，输入是数据并且学习从该数据创建特征的滤波器内核或其他定义。
所模拟的医学图像和/或其他数据用于由机器训练机器学习分类器。可以使用任何类型的机器学习。在一个实施例中，深度学习分类器诸如使用神经网络来训练。机器学习分类器被训练以根据包括从肿瘤的建模创建的图像的训练数据的数据库来预测，诸如对肿瘤生长进行建模。已知疗效或地面真值表型信息用于统计上使所输入的特征与表型信息的预测相关。表示机器学习分类器的一个或多个矩阵是从训练数据和地面真值创建的。
机器学习分类器被训练以输出表型信息，诸如针对与输入数据相关联的肿瘤的诊断、预后和/或治疗疗效。例如，机器学习分类器被训练以预测肿瘤分级、肿瘤阶段、治疗反应、良性或恶性、肿瘤细胞分化或预后。机器学习分类器是放射组学模型。在基因信息被包括的情况下，机器学习分类器是放射基因组学模型。
在合成之后，逼真的图像被生成，可以训练不同类型的放射组学模型。放射组学模型可以是单时间点预测模型。预测任务可以包括但不限于肿瘤分级预测、肿瘤分期、治疗反应预测、肿瘤良性/恶性分类、肿瘤细胞分化、预后指示、治疗计划，或基于来自一个时间点的扫描数据的表型的其他分类。其他数据可以来自那个时间点或其他时间点。覆盖肿瘤和周围组织的图像分块是从用于训练的合成医学图像中提取的。在训练阶段期间，从所有合成医学图像中提取的分块的集合被馈送到机器学习算法中，所述机器学习算法学习用于预测输出的最优特征呈现。机器学习算法学习可以被稍后应用于来自真实医学图像或扫描数据的一个或多个图像分块的表示或放射组学模型。
放射组学模型可以是多点预测模型。机器学习分类器被训练成随着时间的推移根据患者图像来分类。基于肿瘤生长模型，可以生成在不同时间点与相同肿瘤相对应的肿瘤图像。前述单时间点预测任务也适用于多时间点。在训练阶段期间，从不同时间点提取的图像分块被作为不同的输入通道呈现给机器学习算法。
除协助单独的患者之外，机器学习分类器可以用于创建计划或指导方针。与典型的CT或PET扫描不同，在合成图像获取期间不关心辐射剂量。通过建模来创建的成本少于通过实际的扫描创建的成本(例如，MRI是昂贵的)。在没有这些限制的情况下，可以包括更大数量的时间点。可以使用非常大数量的(例如，几十个或几百个)时间点。这样的一系列时间点可以允许确定成本、辐射剂量及预测准确性之间的权衡。机器学习是针对许多时间点基于成本、剂量和/或准确性结果来训练的。可以基于研究确立保健管理和策略。回答(例如，针对最优成本、剂量和/或准确性的指导方针)可以是国家特定的和/或医院特定的。使用训练，可以为每家医院提供最优的诊断、判定支持和/或治疗计划。
从临床观点看，可以确定用于实际的患者的成像的最优时间点。可以确定不同的图像模态的最优组合。可以确定针对不同类型的癌症的最优分期准则。可以确定肿瘤图像外观与其他临床数据(患者人口统计资料、年龄、性别等)之间的关系。
在机器训练的分类器是神经网络或其他分层分类器的情况下，可以输出来自机器学习分类器内的处理的信息。例如，从深度学习分类器输出提取的特征值。可以使来自分类器的一个或多个层的这些提取的特征可视化以提供信息。为了帮助理解不同时间点的互相作用，可以使多层(深度)神经网络的不同层可视化。这类似于使流形可视化并且在仅有限数量的时间点要采样的情况下可能是不可能的。使用虚拟实验，可以生成连续流形。
在其他实施例中，机器训练在单个时间点提供多肿瘤相互作用。在具有多个肿瘤(例如，由主肿瘤和/或转移瘤构成)的患者中，放射组学模型可以针对具体地作为目标的肿瘤来学习治疗选项。在仍然其他的实施例中，多肿瘤多时间点放射组学模型被学习。
返回到图2的机器学习分类器的应用，医学系统在动作28中确定结果。在动作26中输入针对特定患者所提取的特征。结果是表型信息或从表型信息得到的信息(诸如诊断、预后和/或治疗疗效(例如，治疗反应))中的任一个。经训练的机器被应用于患者的图像以预测患者的图像中所表示的肿瘤的肿瘤特性。针对给定患者，机器学习分类器根据所输入的特征向量来确定结果。机器学习分类器诸如基于示出关系的临床研究或专家知识来确定结果或者确定可以用于得到结果的信息。
一旦被训练，机器学习分类器就被实例化为一个或多个矩阵。矩阵将所输入的特征的值映射到结果的值(例如，表型信息)。此映射用于在28中预测结果。例如，肿瘤的类型、肿瘤的阶段、预后、预期寿命、针对患者的治疗的疗效或其组合通过处理器将特征的值应用于机器训练的分类器来预测。预测或结果可以包括概率信息，诸如针对结果或遍及一系列不同可能的结果的概率或置信分数(例如，70%第三阶段、25%第二阶段和5%第四阶段)。
机器学习模型作为例如直接在连接到患者信息系统的医学扫描器或工作站上运行的本地应用被托管。可替换地，机器学习模型作为联网机器上的服务(诸如具有托管机器学习模型的服务器的公用或专用云部署)被托管。
在动作30中，输出表型信息和/或从其得到的信息。输出到存储器、网络、计算机化患者医学记录和/或显示装置。来自模型的输出可以是具有以结构化格式呈现以便于容易搜索和检索的关键发现的临床报告。可以使用其他输出，诸如警报、通知、填入患者医学记录中的一个或多个字段或者到显示器。肿瘤的任何图像可以被提供有来自结果的注释。可以输出和患者的肿瘤最佳匹配的计算模型的参数的值。
图4示出了用于训练和/或应用机器学习分类器以得到肿瘤信息的医学系统。该医学系统包括医学成像系统11、处理器13、存储器15和显示器16。处理器13和存储器15被示出为与医学成像系统11分离，诸如与除医学成像系统11之外的计算机或工作站相关联。在其他实施例中，处理器13和/或存储器15是医学成像系统11的一部分。在替代实施例中，该医学系统是工作站、计算机或服务器。例如，医学成像系统11未被提供或者被提供用于获取表示体积的数据，并且单独的数据库、服务器、工作站和/或计算机被提供用于提取特征和应用分类器来预测一个或多个结果。可以使用附加的、不同的或更少的组件。
该系统被用于机器学习模型(例如，一个或多个机器学习分类器)的应用。在替代实施例中，该系统被用于利用机器学习训练和/或数据库中的示例的生成。在仅从肿瘤的计算模型生成的合成样本被使用的情况下，可以不提供医学成像系统11。在库的样本(即使来自实际的患者(例如，表示实际的扫描的扫描数据))被存储在存储器15中的情况下，可以不提供医学成像系统11。
该医学系统的计算组件、装置或机器(诸如医学成像系统11和/或处理器13)由硬件、软件和/或固件配置成执行计算或其他动作。计算组件独立地或者彼此相结合地操作以执行任何给定动作，诸如上面所描述的方法中的任一个的动作。动作由计算机组件中的一个、计算组件中的另一个或计算组件的组合来执行。其他组件可以由计算组件使用或者控制以扫描或者执行其他功能。
医学成像系统11是用于对患者进行扫描的任何现在已知的或稍后开发的模态。医学成像系统11对患者进行扫描。例如，C臂x射线系统(例如，来自西门子的DynaCT)、类CT系统或CT系统被使用。其他模态包括MR、x射线、血管造影术、荧光镜检查、PET、SPECT或超声。医学成像系统11被配置成获取表示患者的医学成像数据。扫描数据是通过由扫描器使用透射对患者进行扫描和/或通过从患者接收信号来获取的。
存储器15是缓冲器、高速缓存器、RAM、可移动介质、硬盘、磁存储器、光学存储器、数据库存储器，或其他现在已知的或稍后开发的存储器。存储器15是单个装置或两个或更多个装置的组。存储器15在系统11内，是具有处理器13的计算机的一部分，或者在其他组件外部或者远离其他组件。
存储器15被配置成存储医学扫描数据、其他数据、提取的特征、示例(例如，训练数据或来自其他患者的数据)和/或其他信息。输出结果、从结果得到的信息或用于确定结果的计算被存储在存储器15中。存储器15存储一个或多个机器学习分类器的一个或多个矩阵。
存储器15附加地或可替换地是具有处理指令的非暂时性计算机可读存储介质。存储器15存储表示可由经编程的处理器13执行的指令的数据。用于实现本文中所讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器上，所述计算机可读存储介质或存储器诸如高速缓存器、缓冲器、RAM、可移动介质、硬盘或其他计算机可读存储介质。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。在图中图示的或在本文中描述的功能、动作或任务响应于存储在计算机可读存储介质中或存储在其上的一组或多组指令而被执行。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特定类型，并且可以由单独或相结合地操作的软件、硬件、集成电路、固件、微码等等来执行。同样地，处理策略可以包括多处理、多任务处理、并行处理等。在一个实施例中，指令被存储在可移动介质装置上以便由本地或远程系统读取。在其他实施例中，指令被存储在远程位置中以便通过计算机网络或在电话线路上传送。在仍然其他的实施例中，指令被存储在给定计算机、CPU、GPU或系统内。
处理器13是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合，或用于对数据进行处理的其他现在已知的或稍后开发的装置。处理器13是单个装置、多个装置或网络。针对超过一个装置，可以使用处理的并行或顺序划分。组成处理器13的不同的装置可以执行不同的功能，诸如由一个装置提取特征的值以及由另一装置应用机器学习分类器。在一个实施例中，处理器13是医学成像系统11的控制处理器或其他处理器。处理器13依照存储的指令来操作以执行本文中所描述的各种动作。
处理器13被配置成提取特征的值，输入值，输出结果，和/或从输出的结果得到信息。处理器13对一个或多个患者的数据应用机器学习模型。诊断、预后、治疗反应和/或其他信息由处理器13针对患者的一个或多个肿瘤来确定。
显示器16是CRT、LCD、等离子体、投影仪、打印机或用于示出图像的其他输出装置。显示器16显示结果或从结果得到的信息。与任何预测、支持数据(例如，输入特征的值)、来自医学扫描数据的图像和/或其他信息相关联的概率被输出以协助医师。
虽然已经在上面通过参考各种实施例对本发明进行了描述，但是应该理解，可在不脱离本发明的范围的情况下做出许多改变和修改。因此意图是，上述详细描述被认为是说明性的而不是限制性的，并且应理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。

Claims (20)

1.一种用于医学系统中的基于图像的肿瘤表型分析的方法，所述方法包括：
获取表示患者的组织中的肿瘤的医学扫描数据；
从所述医学扫描数据中提取一组特征；
将所述特征输入到机器训练的分类器，所述机器训练的分类器至少部分地根据不特定于现有患者案例的包括合成地生成的图像的训练数据训练的，所述合成地生成的图像基于肿瘤模型；
通过所述医学系统使用所述机器训练的分类器到所述特征的应用来确定所述肿瘤的表型信息；以及
输出表征患者的组织中的肿瘤的所述表型信息。
2.根据权利要求1所述的方法，其中，获取包括获取计算机断层扫描数据、磁共振数据或分子成像数据。
3.根据权利要求1所述的方法，还包括获得所述患者的其他数据，所述其他数据包括症状、患者人口统计资料、血液生物标志物、病史、非侵入性测量结果，从临床报告、基因学或其组合中提取，其中，输入包括输入所述其他数据，并且其中，确定包括通过将所述机器训练的分类器应用于所述特征和其他数据来确定。
4.根据权利要求1所述的方法，其中，所述机器训练的分类器包括深度学习分类器，并且其中，提取包括提取该组特征作为所述确定的在所述应用将所述特征输入到所述机器训练的分类器的后续层的情况下的一部分。
5.根据权利要求1所述的方法，其中，确定包括利用所述机器训练的分类器的应用来确定，其中所述机器训练的分类器至少部分地根据所述合成地生成的图像被训练，其中所述合成地生成的图像是一个或多个扫描模态的模型与所述肿瘤模型的组合。
6.根据权利要求1所述的方法，其中，确定包括利用所述机器训练的分类器来确定，其中所述机器训练的分类器至少部分地根据所述合成地生成的图像被训练，其中所述合成地生成的图像使用肿瘤生理学的多尺度模型作为所述肿瘤模型来生成，所述多尺度模型包括分子、细胞和组织尺度。
7.根据权利要求1所述的方法，其中，确定包括利用所述机器训练的分类器的应用来确定，其中所述机器训练的分类器至少部分地根据所述合成地生成的图像被训练，其中所述合成地生成的图像从所述肿瘤模型的扰动生成。
8.根据权利要求1所述的方法，其中，确定包括利用所述机器训练的分类器的应用来确定，其中所述机器训练的分类器至少部分地根据所述合成地生成的图像被训练，其中所述合成地生成的图像从所述肿瘤模型的细胞生理学的机器学习模型生成。
9.根据权利要求1所述的方法，其中，确定包括利用所述机器训练的分类器的应用来确定，其中所述机器训练的分类器至少部分地根据所述合成地生成的图像被训练，其中所述合成地生成的图像利用扫描模态的至少一个模型来生成。
10.根据权利要求1所述的方法，其中，确定所述表型信息包括确定所述肿瘤的诊断和/或治疗反应。
11.一种用于医学系统中的基于图像的肿瘤表型分析的机器训练的方法，所述方法包括：
改变计算肿瘤模型的参数，所述改变提供肿瘤的一组合成地生成的示例；
根据所述肿瘤的合成地生成的示例来仿真医学图像；以及
利用所述医学系统的机器使用所仿真的医学图像来训练机器学习分类器。
12.根据权利要求11所述的方法，其中，改变包括利用包括多尺度模型、机器学习模型或两者的所述计算肿瘤模型改变所述参数。
13.根据权利要求12所述的方法，其中，所述机器学习模型包括细胞状态的机器学习模型。
14.根据权利要求11所述的方法，其中，改变包括利用包括所述肿瘤与健康组织的相互作用的所述计算肿瘤模型来改变，并且其中，仿真包括根据所述肿瘤和健康组织的示例来仿真。
15.根据权利要求11所述的方法，其中，仿真包括生成与来自所述肿瘤的示例的成像模态相互作用的特性的参数图，以及使用所述参数图通过所述成像模态来模拟扫描。
16.根据权利要求11所述的方法，其中，训练包括训练所述机器学习分类器以预测肿瘤分级、肿瘤阶段、治疗反应、良性或恶性、肿瘤细胞分化或预后。
17.根据权利要求11所述的方法，其中，训练包括将深度学习分类器训练为所述机器学习分类器。
18.根据权利要求11所述的方法，其中，改变包括改变时间的量，并且其中，训练包括训练所述机器学习分类器以随着时间的推移根据患者图像来分类。
19.一种用于医学系统中的基于图像的肿瘤表型分析的机器训练的方法，所述方法包括：
对肿瘤生理学进行建模；
从对肿瘤生理学的所述建模利用图像模型创建合成图像；以及
通过所述机器训练训练机器以根据包括从对所述肿瘤生理学的所述建模创建的所述图像的训练数据的数据库来预测。
20.根据权利要求19所述的方法，还包括将经训练的机器应用于患者的图像以预测所述患者的所述图像中所表示的肿瘤的肿瘤特性。
CN201710431721.1A 2016-06-09 2017-06-09 根据合成数据利用机器学习的基于图像的肿瘤表型分析 Active CN107492090B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662347864P 2016-06-09 2016-06-09
US62/347864 2016-06-09
US15/584,393 US10282588B2 (en) 2016-06-09 2017-05-02 Image-based tumor phenotyping with machine learning from synthetic data
US15/584393 2017-05-02

Publications (2)

Publication Number Publication Date
CN107492090A CN107492090A (zh) 2017-12-19
CN107492090B true CN107492090B (zh) 2021-03-12

Family

ID=60574032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710431721.1A Active CN107492090B (zh) 2016-06-09 2017-06-09 根据合成数据利用机器学习的基于图像的肿瘤表型分析

Country Status (2)

Country Link
US (1) US10282588B2 (zh)
CN (1) CN107492090B (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042421A1 (en) * 2013-09-20 2015-03-26 Siemens Aktiengesellschaft Biopsy-free detection and staging of cancer using a virtual staging score
US11515039B2 (en) * 2017-04-28 2022-11-29 University Of Southern California System and method for predicting survival time
US11080855B1 (en) 2017-06-06 2021-08-03 Path AI, Inc. Systems and methods for predicting tissue characteristics for a pathology image using a statistical model
US10636512B2 (en) 2017-07-14 2020-04-28 Cofactor Genomics, Inc. Immuno-oncology applications using next generation sequencing
WO2019060787A1 (en) * 2017-09-21 2019-03-28 Lexset.Ai Llc DETECTION OF AT LEAST ONE OBJECT IN AN IMAGE, OR A SEQUENCE OF IMAGES, AND DETERMINATION OF A CATEGORY AND AT LEAST ONE DESCRIPTOR FOR EACH OF THESE OBJECTS, GENERATION OF SYNTHETIC LEARNING DATA, AND FORMATION OF A NEURONAL NETWORK USING SYNTHETIC LEARNING DATA
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
JP2019076529A (ja) * 2017-10-25 2019-05-23 テルモ株式会社 治療方法
KR20190046471A (ko) * 2017-10-26 2019-05-07 삼성전자주식회사 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
US10984905B2 (en) 2017-11-03 2021-04-20 Siemens Healthcare Gmbh Artificial intelligence for physiological quantification in medical imaging
EP3709877A4 (en) * 2017-11-17 2021-08-25 Mayo Foundation for Medical Education and Research METHOD OF USING MACHINE LEARNING AND MECHANISTIC MODELS FOR BIOLOGICAL FEATURE MAPPING WITH MULTIPARAMETRIC MRI
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
EP3509069A1 (en) * 2018-01-04 2019-07-10 Koninklijke Philips N.V. Combining ph and metabolic activity imaging for response assessment in immune therapy
JP7087397B2 (ja) * 2018-01-17 2022-06-21 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
WO2019143737A1 (en) 2018-01-17 2019-07-25 Unlearn Ai, Inc. Systems and methods for modeling probability distributions
EP3514756A1 (en) * 2018-01-18 2019-07-24 Koninklijke Philips N.V. Medical analysis method for predicting metastases in a test tissue sample
US11568236B2 (en) 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
WO2019190641A1 (en) * 2018-02-08 2019-10-03 General Electric Company System and method for evaluation of dynamic data
US11783603B2 (en) 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images
CN108710890A (zh) * 2018-03-30 2018-10-26 中国科学院深圳先进技术研究院 脑胶质瘤术前分级方法、装置、设备及存储介质
CN108564123B (zh) * 2018-04-10 2021-11-02 复旦大学附属肿瘤医院 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN108564026B (zh) * 2018-04-10 2021-11-02 复旦大学附属肿瘤医院 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
US20210228128A1 (en) * 2018-05-08 2021-07-29 Abbott Diabetes Care Inc. Sensing systems and methods for identifying emotional stress events
US11497478B2 (en) * 2018-05-21 2022-11-15 Siemens Medical Solutions Usa, Inc. Tuned medical ultrasound imaging
US11756667B2 (en) 2018-05-30 2023-09-12 Siemens Healthcare Gmbh Decision support system for medical therapy planning
US11491350B2 (en) 2018-05-30 2022-11-08 Siemens Healthcare Gmbh Decision support system for individualizing radiotherapy dose
EP3575815A1 (en) * 2018-06-01 2019-12-04 IMEC vzw Diffusion mri combined with a super-resolution imaging technique
DE102018208955A1 (de) * 2018-06-06 2019-12-12 Siemens Healthcare Gmbh Bestimmung eines Schwellwertes für wenigstens ein Energieband eines direkt-konvertierenden Detektors
WO2020014286A1 (en) * 2018-07-12 2020-01-16 Flir Commercial Systems, Inc. Closed loop automatic dataset creation systems and methods
US11630995B2 (en) * 2018-06-19 2023-04-18 Siemens Healthcare Gmbh Characterization of amount of training for an input to a machine-learned network
CN109124660B (zh) * 2018-06-25 2022-06-10 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和系统
CN112771622A (zh) * 2018-07-18 2021-05-07 辉达公司 用于推理、高级处理和机器学习应用程序的虚拟化计算平台
US20200027530A1 (en) * 2018-07-18 2020-01-23 International Business Machines Corporation Simulating Patients for Developing Artificial Intelligence Based Medical Solutions
WO2020024058A1 (en) * 2018-08-02 2020-02-06 The Royal Institution For The Advancement Of Learning/Mcgill University Predicting outcomes using universal models
ES2966999T3 (es) * 2018-08-03 2024-04-25 Siemens Healthcare Diagnostics Inc Procedimiento y dispositivo para entrenar una rutina de aprendizaje automático para el control de un sistema técnico
US20210327563A1 (en) * 2018-08-21 2021-10-21 Koninklijke Philips N.V. Salient visual explanations of feature assessments by machine learning models
JPWO2020066209A1 (ja) * 2018-09-27 2021-09-09 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
US11462325B2 (en) * 2018-09-29 2022-10-04 Roche Molecular Systems, Inc. Multimodal machine learning based clinical predictor
US10929973B2 (en) * 2018-10-02 2021-02-23 Siemens Healtcare Gmbh Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms
CN109598266A (zh) * 2018-10-24 2019-04-09 深圳大学 基于机器学习的下肢深静脉血栓溶栓疗效预测方法及系统
US11507822B2 (en) * 2018-10-31 2022-11-22 General Electric Company Scalable artificial intelligence model generation systems and methods for healthcare
US20220058798A1 (en) * 2018-12-12 2022-02-24 Koninklijke Philips N.V. System and method for providing stroke lesion segmentation using conditional generative adversarial networks
EP3673955A1 (en) * 2018-12-24 2020-07-01 Koninklijke Philips N.V. Automated detection of lung conditions for monitoring thoracic patients undergoing external beam radiation therapy
CN109815870B (zh) * 2019-01-17 2021-02-05 华中科技大学 细胞表型图像定量分析的高通量功能基因筛选方法及系统
US11357396B1 (en) 2019-01-25 2022-06-14 Verily Life Sciences Llc Diagnostic model optimization for variations in mechanical components of imaging devices
US10867375B2 (en) * 2019-01-30 2020-12-15 Siemens Healthcare Gmbh Forecasting images for image processing
US10997475B2 (en) * 2019-02-14 2021-05-04 Siemens Healthcare Gmbh COPD classification with machine-trained abnormality detection
US11969239B2 (en) 2019-03-01 2024-04-30 Siemens Healthineers Ag Tumor tissue characterization using multi-parametric magnetic resonance imaging
US10973472B2 (en) * 2019-03-05 2021-04-13 Siemens Healthcare Gmbh Artificial intelligence-based material decomposition in medical imaging
US20200394459A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Cell image synthesis using one or more neural networks
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
EP3771449A1 (de) * 2019-07-31 2021-02-03 Siemens Healthcare GmbH Verfahren zur verformungssimulation und vorrichtung
EP4018394A4 (en) * 2019-08-23 2023-09-20 Unlearn.AI, Inc. SYSTEMS AND METHODS FOR ENRICHING DATA WITH GENERATIVE MODELS
CN113329688B (zh) 2019-09-18 2023-11-28 拜耳公司 用于确定组织体素的特征的方法、系统和计算机可读介质
CN113330483A (zh) 2019-09-18 2021-08-31 拜耳公司 由监督学习训练的预测模型预测磁共振成像图像
US11617528B2 (en) * 2019-10-08 2023-04-04 GE Precision Healthcare LLC Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems
KR102280047B1 (ko) * 2019-10-11 2021-07-21 서울여자대학교 산학협력단 딥 러닝 기반 종양 치료 반응 예측 방법
CN112712875B (zh) * 2019-10-25 2022-12-02 台湾中国医药大学附设医院 迁移学习辅助预测系统及方法
DE102019216745A1 (de) * 2019-10-30 2021-05-06 Siemens Healthcare Gmbh Anonymisierung von medizinischen Bilddaten
WO2021081836A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 基于vrds 4d医学影像的胃肿瘤识别方法及相关产品
CN111027590B (zh) * 2019-11-11 2023-03-24 郑州大学第一附属医院 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
US20210174960A1 (en) 2019-12-09 2021-06-10 Medtronic Minimed, Inc. Generative modeling methods and systems for simulating sensor measurements
CN111178449B (zh) * 2019-12-31 2021-11-05 浙江大学 结合计算机视觉特征和影像组学特征的肝癌图像分类方法
WO2021138087A1 (en) * 2020-01-03 2021-07-08 PAIGE.AI, Inc. Systems and methods for processing electronic images for generalized disease detection
AU2021213131B2 (en) * 2020-01-28 2023-02-02 PAIGE.AI, Inc. Systems and methods for processing electronic images for biomarker localization
WO2021162488A2 (ko) * 2020-02-10 2021-08-19 주식회사 바디프랜드 질환을 예측하는 방법 및 이를 수행하는 장치
WO2021163618A1 (en) * 2020-02-14 2021-08-19 Novartis Ag Method of predicting response to chimeric antigen receptor therapy
US11562482B2 (en) 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models
US20210350935A1 (en) * 2020-05-06 2021-11-11 Quantitative Imaging Solutions, Llc Therapeutic response prediction based on synthetic tumor models
EP3910597A1 (en) * 2020-05-12 2021-11-17 Siemens Healthcare GmbH Body representations
CN111666895B (zh) * 2020-06-08 2023-05-26 上海市同济医院 基于深度学习的神经干细胞分化方向预测系统及方法
CN114144135A (zh) * 2020-07-03 2022-03-04 瓦里安医疗系统公司 射频消融处理系统和方法
CN112262440A (zh) * 2020-07-15 2021-01-22 北京肿瘤医院(北京大学肿瘤医院) 一种通过影像组学特征判断癌症治疗反应的方法及系统
KR102561318B1 (ko) * 2020-07-27 2023-07-31 재단법인 아산사회복지재단 인공 신경망을 이용하여 질병에 대한 치료 반응을 예측하는 방법 및 상기 방법을 수행하는 치료 반응 예측 장치
CN111862091A (zh) * 2020-08-05 2020-10-30 昆山杜克大学 一种基于表型测量早期发现综合征的系统
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
JP2023546921A (ja) 2020-10-23 2023-11-08 ペイジ．エーアイ インコーポレイテッド 診断検査を識別するために電子画像を処理するシステム及び方法
EP3992850A1 (en) * 2020-10-30 2022-05-04 Friedrich-Alexander-Universität Erlangen-Nürnberg Method and system for feature detection in imaging applications
CN112365980B (zh) * 2020-11-16 2024-03-01 复旦大学附属华山医院 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN112489035A (zh) * 2020-12-14 2021-03-12 青岛大学附属医院 一种基于机器学习的软组织肉瘤等级判断方法
EP4020375A1 (en) * 2020-12-23 2022-06-29 Koninklijke Philips N.V. System and methods for augmenting x-ray images for training of deep neural networks
CN113113130A (zh) * 2021-03-15 2021-07-13 湖南医云智享医疗科技有限公司 一种肿瘤个体化诊疗方案推荐方法
CN113241196B (zh) * 2021-05-17 2022-03-08 中国科学院自动化研究所 基于云-终端协同的远程医疗与分级监控系统
CN113628325B (zh) * 2021-08-10 2024-03-26 海盐县南北湖医学人工智能研究院 一种小器官肿瘤演化的模型建立方法及计算机可读存储介质
CN113674254B (zh) * 2021-08-25 2024-05-14 上海联影医疗科技股份有限公司 医学图像异常点识别方法、设备、电子装置和存储介质
WO2023107933A1 (en) * 2021-12-06 2023-06-15 The Regents Of The University Of Colorado, A Body Corporate Machine learning-based lesion identification using synthetic training data
US20230206431A1 (en) * 2021-12-28 2023-06-29 International Business Machines Corporation Three-dimensional delineation of tumor boundaries via supervised machine learning algorithms and augmented reality
CN114694748B (zh) * 2022-02-22 2022-10-28 中国人民解放军军事科学院军事医学研究院 一种基于预后信息与强化学习的蛋白质组学分子分型方法
WO2024030326A1 (en) * 2022-08-05 2024-02-08 Vetology Innovations, LLC Methods and systems with additive ai models
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统
US11868900B1 (en) 2023-02-22 2024-01-09 Unlearn.AI, Inc. Systems and methods for training predictive models that ignore missing features

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513354A (zh) * 2008-02-04 2009-08-26 株式会社东芝 摄像装置、医用图像处理装置和医用图像处理方法
CN101904753A (zh) * 2009-06-08 2010-12-08 株式会社东芝 超声波诊断装置、图像处理的装置及方法和图像显示方法
CN103260701A (zh) * 2010-12-16 2013-08-21 皇家飞利浦电子股份有限公司 采用大腔膛的核及磁共振成像或者大腔膛的ct及磁共振成像的辐射治疗规划和跟踪系统
CN103501859A (zh) * 2011-03-02 2014-01-08 博格有限责任公司 基于细胞的探询式分析及其应用
CN103705265A (zh) * 2012-09-28 2014-04-09 富士胶片株式会社 放射线照相图像生成设备和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020042681A1 (en) * 2000-10-03 2002-04-11 International Business Machines Corporation Characterization of phenotypes by gene expression patterns and classification of samples based thereon
JP2005507997A (ja) * 2001-10-26 2005-03-24 イムニベスト・コーポレイション 同一試料についての包括的核酸および形態学的特徴のマルチパラメーター分析
US9235887B2 (en) * 2008-02-19 2016-01-12 Elucid Bioimaging, Inc. Classification of biological tissue by multi-mode data registration, segmentation and characterization
WO2009105530A2 (en) * 2008-02-19 2009-08-27 The Trustees Of The University Of Pennsylvania System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors
JP5321145B2 (ja) * 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
US8666148B2 (en) * 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
US20120136255A1 (en) * 2010-06-07 2012-05-31 Shu Feng Fan Tissue malignant tumor detection method and tissue malignant tumor detection apparatus
US8757377B2 (en) * 2011-05-20 2014-06-24 Milwaukee Electric Tool Corporation Security hanger tag for saw blade
US9655563B2 (en) * 2013-09-25 2017-05-23 Siemens Healthcare Gmbh Early therapy response assessment of lesions
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN103984959B (zh) * 2014-05-26 2017-07-21 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
EP3155592B1 (en) * 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US9349178B1 (en) 2014-11-24 2016-05-24 Siemens Aktiengesellschaft Synthetic data-driven hemodynamic determination in medical imaging
US9537808B1 (en) * 2015-07-14 2017-01-03 Kyocera Document Solutions, Inc. Communication between peripheral device and client device
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513354A (zh) * 2008-02-04 2009-08-26 株式会社东芝 摄像装置、医用图像处理装置和医用图像处理方法
CN101904753A (zh) * 2009-06-08 2010-12-08 株式会社东芝 超声波诊断装置、图像处理的装置及方法和图像显示方法
CN103260701A (zh) * 2010-12-16 2013-08-21 皇家飞利浦电子股份有限公司 采用大腔膛的核及磁共振成像或者大腔膛的ct及磁共振成像的辐射治疗规划和跟踪系统
CN103501859A (zh) * 2011-03-02 2014-01-08 博格有限责任公司 基于细胞的探询式分析及其应用
CN103705265A (zh) * 2012-09-28 2014-04-09 富士胶片株式会社 放射线照相图像生成设备和方法

Also Published As

Publication number Publication date
CN107492090A (zh) 2017-12-19
US20170357844A1 (en) 2017-12-14
US10282588B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
CN107492090B (zh) 根据合成数据利用机器学习的基于图像的肿瘤表型分析
CN108784655B (zh) 针对医疗患者的快速评估和后果分析
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10825167B2 (en) Rapid assessment and outcome analysis for medical patients
US10339653B2 (en) Systems, methods and devices for analyzing quantitative information obtained from radiological images
US9959486B2 (en) Voxel-level machine learning with or without cloud-based support in medical imaging
EP3043318A1 (en) Analysis of medical images and creation of a report
US10282840B2 (en) Image reporting method
CN111563523B (zh) 利用机器训练的异常检测的copd分类
US11430119B2 (en) Spatial distribution of pathological image patterns in 3D image data
WO2010115885A1 (en) Predictive classifier score for cancer patient outcome
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
EP4002387A1 (en) Cad device and method for analysing medical images
CN111815643A (zh) 基于人工智能的copd评估
Marti-Bonmati et al. Considerations for artificial intelligence clinical impact in oncologic imaging: an AI4HI position paper
Amorim et al. Interpreting deep machine learning models: an easy guide for oncologists
Yang et al. Prediction of single pulmonary nodule growth by CT radiomics and clinical features—a one-year follow-up study
CN111145140B (zh) 使用深度学习确定肺结节的恶性程度
Gupta et al. Texture and Radiomics inspired Data-Driven Cancerous Lung Nodules Severity Classification
CN109727660A (zh) 在医学成像中针对血液动力学量化的不确定性或敏感性的机器学习预测
US20220375077A1 (en) Method for generating models to automatically classify medical or veterinary images derived from original images into at least one class of interest
Farrag Towards a trustworthy data-driven clinical decision support system: breast cancer use-case
US20230401697A1 (en) Radiogenomics for cancer subtype feature visualization
US20240087697A1 (en) Methods and systems for providing a template data structure for a medical report
US20240078089A1 (en) System and method with medical data computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant