CN107818821A - 在医学成像中的基于机器学习的组织定征 - Google Patents

在医学成像中的基于机器学习的组织定征 Download PDF

Info

Publication number
CN107818821A
CN107818821A CN201710805375.9A CN201710805375A CN107818821A CN 107818821 A CN107818821 A CN 107818821A CN 201710805375 A CN201710805375 A CN 201710805375A CN 107818821 A CN107818821 A CN 107818821A
Authority
CN
China
Prior art keywords
feature
tissue
data
classification
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710805375.9A
Other languages
English (en)
Inventor
周少华
D.刘
B.基费尔
A.P.吉拉利
B.L.奥德里
R.格里姆
潘莉
I.卡梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Johns Hopkins University
Original Assignee
Siemens AG
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Johns Hopkins University filed Critical Siemens AG
Publication of CN107818821A publication Critical patent/CN107818821A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

在医学成像中的基于机器学习的组织定征。使用机器学习分类来定征组织。由机器学习分类根据从医学扫描数据的帧提取的特征来找到相似情况的形式的预后、诊断或证据。可以使用深度学习来学习用于组织定征的纹理特征。在一个示例中，使用特征，根据治疗之前和之后的磁共振功能测量预测疗法响应。使用机器学习分类，与用于预测治疗的结果的RECIST相比可以减少治疗之后的测量的数量，允许疗法的更早终止或变更。

Description

在医学成像中的基于机器学习的组织定征
背景技术
本实施例涉及在医学成像中的组织定征（tissue characterization）。
磁共振（magnetic resonance）图像被广泛地使用于医学诊断和疗法中。例如，磁共振被用于遵循胸部成像报告和数据系统（BIRADS）的指导的胸部肿瘤（breast tumor）诊断，其基于临床描述性标签（clinically descriptive tag），比如肿块（mass）(形状、边界（margin）、肿块增强)、对称性或不对称性、在不是肿块的区域中的非混乱状增强（non-mess-like enhancement）(分布修改器（distribution modifier）、内部增强)、动力学曲线评估（kinetic curve assessment）以及其他发现。相似地对于前列腺，前列腺成像和报告以及数据系统（PIRADS）指定用于诸如边周区（peripheral zone）、中心区以及过渡区之类的专门的前列腺区的临床描述性标签。对于肝组织定征，基于对磁共振图像的读取（reading），纤维化分期（fibrosis staging）是可能的。相似的方法被使用于诸如超声、计算断层摄影术（computed tomography）、正电子发射断层摄影术（positron emissiontomography）或单光子发射计算断层摄影术（single photon emission computedtomography）之类的其他成像模态（modality）中。
为了评估疗法，在疗法之前和之后获取多模态磁共振扫描。在肿瘤治疗评估中通常执行简单的形态学（morphological）（例如基于大小的）评分，诸如实体肿瘤中的响应评价标准（RECIST）标准。在确定继续治疗的过程中，治疗响应的评估是关键的，因为化学疗法（chemotherapy）药物可能对患者有不利的影响。在基本的临床设置中，利用肿瘤大小在形态学上完成治疗评估。归因于该简单的方法，可以耗费较长时间来确定治疗是否是成功的。
通过采用功能的磁共振信息，停止疗法的决定可以比用RECIST标准更早发生。例如，通过使用诸如功能测量的基于强度的直方图之类的基于图像的功能测量可以更早地确定治疗有效性。这些基于直方图的强度值在临床实践中被人工地分析并且可能不一定捕捉涉及可以更好地表示对临床诊断重要的细胞密度、脉管系统（vasculature）、坏死（necrosis）或出血特性（hemorrhage characteristics）的图像纹理和局部不相似性（local dissimilarity）的细微差别（subtlety）。
发明内容
通过介绍的方式，以下描述的优选的实施例包括用于在医学成像中的组织定征的方法、系统、指令和非暂态计算机可读介质。使用机器学习分类来对组织定征。在具有或不具有诸如年龄、性别和血液生物标记之类的外部数据的情况下，由机器学习分类根据从医学扫描数据的帧提取的特征来找到相似情况的形式的预后（prognosis）、诊断或证据。可以使用深度学习来学习用于组织定征的纹理或其他特征。在一个示例中，使用特征，根据治疗之前和之后的磁共振功能测量预测疗法响应。使用机器学习分类，当与用于预测治疗的结果的RECIST相比时，可以减少在治疗之后的测量之间的数量和时间，允许疗法的更早终止或变更。
在第一方面中，提供一种用于在医学成像中的组织定征的方法。医学扫描器扫描患者，其中扫描提供表示在患者中的感兴趣的组织区的数据的多个帧。处理器从数据的帧提取特征的值。由处理器实现的机器学习分类器根据作为到机器学习分类器的输入的特征的值对组织区的组织的疗法响应进行分类。传输疗法响应。
在第二方面中，提供一种用于在医学成像中的组织定征的方法。医学扫描器扫描患者，其中扫描提供表示在患者中的对于组织的测量的不同类型的数据的不同的帧。处理器从数据的帧提取特征的值。由处理器实现的机器学习分类器根据作为到机器学习分类器的输入的特征的值对患者的组织进行分类。传输组织分类。
在第三方面中，提供一种用于在医学成像中的组织定征的方法。用医学扫描器扫描患者，其中扫描提供表示在患者中的肿瘤的数据的帧。处理器从数据的帧提取深度学习特征的值。由处理器实现的深度机器学习分类器根据作为到机器学习分类器的输入的特征的值对肿瘤进行分类。传输肿瘤的分类。
通过以下权利要求书来限定本发明，并且在该部分中没有什么应被看作是对那些权利要求的限制。以下结合优选的实施例讨论本发明的其他方面和优点并且之后可以独立地或组合地要求保护本发明的其他方面和优点。
附图说明
部件和图不一定按比例，代之以重点在于说明本发明的原理。此外，在图中，相同的附图标号贯穿不同的视图指定对应的部分。
图1是用于在医学成像中定征组织的方法的一个实施例的流程图；
图2表示根据一个实施例的用于组织定征的用户交互；
图3是用于在医学成像中定征组织的方法的机器学习分类器实施例的流程图；
图4是用于在医学成像中定征组织的方法的深度学习实施例的流程图；
图5是合并了非成像特征的基于深度学习卷积层（deep-learning convolutionlayer-based）的分类网络的示例；
图6图示了通过分类标识的相关情况的示例输出；
图7图示了组织定征的机器学习分类的四个示例应用；
图8A示出了用于依赖于在治疗之后的在多次的趋势测量疗法响应的示例时间线，并且图8B示出了用于依赖于在治疗之后的仅一次测量测量疗法响应的示例时间线；以及
图9是用于在医学成像中的组织定征的系统的一个实施例。
具体实施方式
在先进的图像分析中，诸如图像纹理之类的复杂的特征被自动地找到并且以能够在临床使用情况中被采用的自动格式被包括。使用机器学习分类来询问（interrogate）图像具有提取在临床使用情况中用于分类的纹理和/或其他基于图像的信息的可能性。一般管线（generic pipeline）和用户接口能够发现和处理来自医学图像数据的复杂的特征。
用于肿瘤预后和结果的若干方法允许此类分析连同接口使得分析对医师和支持人员（support staff）而言可容易地访问。第一方法使用由计算机提取的鲁棒的图像纹理和/或其他图像特征作为用于进一步分析的特征集合。第二方法使用涉及Siamese网络的深度学习管线以在并行卷积网络中针对相同的患者在两个不同的时间点处和/或以测量的不同的类型自动创建并且分类特征。提供深度学习网络和接口用于针对病变（lesion）和/或组织定征以及疗法预测的图像分析。
在针对肿瘤预后、诊断或相似情况的发现的一个实施例中，从多个图像对比和/或多个检验时间点提取一系列特征。在分类器中使用纹理和/或其他图像特征。可以将Siamese深度学习神经网络用于标识特征。非图像数据、此类血液测试结果年龄、性别或血清生物标记也可以被用作特征。使用机器学习分类器针对彼此计算提取的特征以确定诊断、预后或发现相似情况。对于发现相似情况，从先前文档情况的数据库获得来自相似情况的图像。使用先前文档化的情况来确定一个或多个参考情况。可以经由传递结果的基于云的服务来执行诊断、预后或相似情况的发现。
对于用户接口，用户可能以单个点击来标记在时间系列的一个或多个图像中的感兴趣的肿瘤，并且在响应中计算机产生诊断、预后或相似情况报告。该临床产品和接口可以将交互最小化。每图像的单个点击协助区的分割和/或更精确的标识。通过仅要求在治疗之前和之后图像中的单个点击或区指定，交互被最小化，增加了方法的临床可行性。输出报告可以包括数量的形式（例如，对导致决定的纹理特征进行量化）或对先前临床情况的参考的形式的临床证据。单个点击接口确定结果，虑及临床上可行的方法以将复杂图像特征合并到肿瘤预后和疗法中。
图1示出了用于在医学成像中的组织定征的方法的流程图的一个实施例。针对诸如肿瘤类型、对治疗的肿瘤响应、在其他患者中的相似肿瘤的标识、肿瘤预后或肿瘤诊断之类的组织定征，应用机器学习分类器。机器学习分类器使用来自数据的一个或多个帧的信息对肿瘤进行分类。可以使用来自不同次或不同类型的测量的数据的帧来分类。在一种方法中，从帧提取的特征作为信息被人工地定义。在另一种方法中，深度学习标识对肿瘤最好地定征的特征。用深度学习学习的特征可以是诸如来自帧或临床数据的特征之类的纹理和/或非纹理。
以示出的顺序（例如，上到下）或其他顺序执行动作。可以提供附加的、不同的或较少的动作。例如，在没有在动作20中的传输分类的情况下执行方法。作为另一个示例，不执行动作14的分割，代之以将分类应用于数据的整个帧。
在动作12中，获取一个或多个医学图像或数据集合。医学图像是表示患者的数据的帧。数据可以是任何格式的。当使用术语“图像”和“成像”时，图像或成像数据可以是先于图像的实际显示的格式。例如，医学图像可以是与显示格式不同的笛卡尔的或极坐标格式的表示不同位置的多个标量值。作为另一个示例，医学图像可以是输出到显示器用于生成显示格式的图像的多个红、绿、蓝（例如，RGB）值。医学图像也可以不是显示的图像，可以是当前显示的图像或可以是显示的或其他格式的先前显示的图像。图像或成像是可以被用于诸如扫描表示患者的数据之类的成像的数据集合。
可以使用医学图像的任何类型。在一个实施例中，获取表示患者的数据的磁共振帧。通过用磁共振系统进行扫描来获取磁共振数据。使用成像序列，磁共振系统扫描患者。获取表示患者的内部区的数据。磁共振数据是k空间（k-space）数据。执行傅里叶分析以将来自k空间的数据重建成为三维对象或图像空间，提供数据的帧。在其他实施例中，x射线、计算断层摄影术、超声、正电子发射断层摄影术、单光子发射计算断层摄影术或其他医学成像扫描器扫描患者。可以使用诸如磁共振和正电子发射断层摄影术或计算断层摄影术以及正电子发射断层摄影术系统之类的组合扫描器来扫描。扫描导致由医学成像扫描器获取的并且被直接地提供用于进一步处理或被存储用于随后的访问和处理的数据的帧。
数据的帧表示患者的一维、二维或者三维区。例如，数据的多维的帧表示患者的区域（例如片）或体积。针对以二维或三维分布的多个位置中的每个提供值。在患者中的肿瘤或可疑组织由数据的帧的值来表示。
数据的帧表示在给定时间或时段处的扫描区。数据集合可以表示随时间的区域或体积，诸如提供患者的4D表示。在获取多于一个帧的情况下，数据的不同的帧可以表示不同次的患者的相同的或重叠的区。例如，数据的一个或多个帧表示治疗之前的患者，并且数据的一个或多个帧表示治疗之后的患者或与正在进行的治疗交错（interleave）的患者。
在获取多于一个帧的情况下，不同的帧可以表示不同的对比。例如，在患者中注射或提供不同类型的对比剂（contrast agent）。通过调谐到或特定于不同类型的对比的扫描，提供表示不同的对比剂的数据的不同的帧。
在获取多于一个帧的情况下，不同的帧可以表示不同类型的测量（数据的多模态（multi-modal）或多参数（multi-parametric）帧）。通过配置医学扫描器，可以执行对组织的不同类型的测量。例如在磁共振中，执行解剖学和功能测量两者。作为在磁共振中的另一个示例，执行不同的解剖学或不同的功能测量。对于不同的解剖学测量，T1和T2是两个示例。对于不同的功能测量，表观扩散系数（apparent diffusion coefficient）（ADC）、静脉灌注（venous perfusions）和高B值是三个示例。在一个实施例中，计算数据的T2帧和数据的ADC帧（例如获取不同的b值图像以计算ADC数据的帧）。可以使用来自不同类型的扫描器的数据的帧。
可以使用测量的不同次和类型的组合。例如，数据的帧的一个集合表示针对治疗前（pre-treatment）的不同类型的测量（例如，T2和ADC），并且数据的帧的另一个集合表示针对治疗后（post-treatment）的相同的不同类型的测量（例如，T2和ADC）。每次提供多维的和多模态的图像数据。在其他实施例中，通过扫描获取表示针对一次的仅一个类型的测量的数据的单个帧。
在多个帧表示不同次的组织的情况下，帧被空间上配准（spatiallyregistered）。配准去除了在帧之间的平移、旋转和/或缩放（scaling）。替代地，不使用配准。
在动作14中，对感兴趣的组织进行标识。将感兴趣的组织标识为围绕和/或包括肿瘤的区。例如，定位包括肿瘤的框或其他形状。替代地，将感兴趣的组织标识为表示肿瘤的组织，并且对标识的肿瘤组织进行分割用于进一步分析。
由用户执行标识。用户使用用户输入（例如，鼠标、轨迹球、键盘、按钮、滑动器和/或触摸屏）对要被用于特征提取、分类和分类结果的传输的组织区进行标识。例如，用户选择肿瘤的中心，处理器在其周围放置框或其他区指定器。用户可以在具有或不具有中心选择的情况下对区指定器设置大小（size）或定位。在其他方法中，用户指示在可疑组织上的位置，并且处理器基于用户放置的种子（seed）来分割可疑组织。替代地，在没有用户选择的情况下处理器自动地标识感兴趣的组织区。
图2示出了用于组织定征的具有最小用户交互的示例图形用户接口或方法。在图2的示例中，分类用于关于疗法的报告。提供对应于两次的数据的两个帧的两个图像，一个治疗前和一个治疗后。鉴于两个治疗前和后图像集合，用户在每个时间点中点击在肿瘤中心（由箭头尖表示）。放置以用户选择的点为中心的边界框，指定感兴趣的组织区。
响应于选择，计算机然后在自动的报告中返回预测的治疗的成功。报告还可以包含作为参考的在数据库中先前已经被回顾的相似情况的诊断。在无需执行任何人工的和/或自动的分割的情况下，经由在每个图像或数据的帧上的单个点击来确定治疗结果或其他分类。提供“单个点击”或简单的用户输入用于肿瘤诊断、治疗计划和/或治疗响应评估。在基于从扫描器获取的数据来检验肿瘤预后和治疗的任何医学成像产品中可以使用相同的方法和技术。
对具有或不具有周围组织的肿瘤组织进行分割。从帧提取数据用于进一步处理。隔离感兴趣的区的像素或体素（voxel）值。替代地，在没有从在数据的帧中的其他位置分离的情况下，标志或标记在区中的位置。
在图1的动作16中，处理器提取特征的值。处理器是医学成像扫描器、分离的工作站或服务器的部分。在一个实施例中，提取值的处理器是诸如在云中的服务器之类的远离医学扫描器的服务器。医学扫描器的生产商或第三方提供分类作为服务，因此将数据的帧通过计算机网络传送到服务器用于特征的提取和根据提取的值的分类。
从数据的一个或多个帧提取任何数量的特征的值。提取由数据的帧中的至少一个表示的组织的纹理的值。组织的纹理由数据的帧的测量来表示。针对感兴趣的组织区来执行每个特征的值的提取，避免应用于感兴趣的区之外的其他组织。替代地，提取感兴趣的区之外的其他区的值。
每个特征定义用于与数据的卷积的核（kernel）。卷积的结果是特征的值。通过将核放置在不同的位置处，提供在不同的位置处的该特征的值。给定一个特征，计算在不同的位置处的特征的值。可以使用除卷积之外的其他纹理信息的特征，诸如标识最大值或最小值。可以使用除纹理信息之外的其他特征。
在一个实施例中，人工地设计特征。基于程序员的经验或测试来预先确定要使用的一个或多个特征。示例特征包括缩放不变特征变换（scaled invariant featuretransformation）、定向梯度的直方图（histogram of oriented gradients）、局部二进制模式（local binary pattern）、灰度级共生矩阵（gray-level co-occurrence matrix）、哈尔小波（Haar wavelet）、方向可控（steerable）或其组合。特征提取模块计算来自图像的特征以更好地捕捉涉及对组织的临床诊断或预后重要的细胞密度、脉管系统、坏死和/或出血的基本的细微差别。
图3示出了使用人工编程的特征的示例。从存储器或直接从扫描器获取一个或多个图像。从图像提取纹理特征。将特征的值用于分类以提供结果。
在另一个实施例中，使用深度学习特征。从用于从机器学习学习的特征的数据的帧提取值。深度机器学习学习在训练数据以及训练分类器而不是根据人工指定的特征仅训练分类器中表示的特征。
可以使用任何深度学习方法或架构。在一个实施例中，动作16和18的提取和分类是基于孪生（twin）或Siamese卷积网络的。图4示出了用于深度学习的示例。训练孪生或Siamese卷积网络以分别从诸如表示治疗前和后的多模态帧之类的给定的多模态、多维度图像IM1和IM2提取特征。相关的特征被自动地确定为训练的部分。该能力虑及关于可以内部确定诸如纹理之类的特征的任意数据（即具有已知的结果的训练数据）的一般训练。链接Siamese卷积网络，使得在两个支路中使用用于定义网络的参数的相同的权重（W）。Siamese网络使用两个输入图像（例如，一个支路用于治疗前并且另一个支路用于治疗后）。使用网络的两个支路来学习用于卷积的核权重，并且优化用于卷积的核权重以向Gw提供值。
还训练Siamese深度学习网络以对在时间点之间的小的改变、大的改变或者没有改变进行分类。此类特征的定义是基于当不存在改变或存在小的改变时将在时间点之间的差异最小化并且当在它们之间存在大的改变时将该差异最大化的具体损耗函数Ew的。从训练数据学习指示在两个输入之间的相关的差异的特征。通过用标记的结果来训练网络，网络学习对于确定预后、诊断或发现相似情况而言什么特征是相关的或者可以被忽略。在训练期间，由完全具有相同的参数的卷积网络学习低级别（low-level）特征和不变量。这些网络基于在差异网络的学习期间的反馈来确定在两个输入数据集合之间不同的核心特征集合。
图5示出了用于学习以提取特征的示例基于卷积层的网络。每个支路或孪生具有相同的层或网络结构。将网络本身示出为卷积的层、子采样（例如，最大池化（maxpooling））和完全连接的层。通过使用卷积，限制要被测试的可能的特征的数量。在图5中完全连接的层（FC）操作以完全连接如在最大池化之后由卷积层（CL）限制的特征。可以将诸如非成像或临床信息之类的其他特征添加到FC层。可以提供层的任何组合。可以提供附加的、不同或较少层。在一个替代中，使用完全连接的网络代替卷积网络。
回到图4，两个并行的网络分别处理疗法之前和之后的数据。在Siamese网络中，用完全相同的参数来训练网络。在网络的训练期间，自动地开发基于损耗函数Ew最佳地辨别的特征。例如，多模态输入帧每次用于T2和ADC。学习醒目显示来自治疗前和后的差异的涉及T2图像的纹理信息和在ADC图像中的局部偏差的特征。这些学习的特征然后被应用到用于具体患者的数据的帧，导致用于具体患者的Gw值。
在图1的动作18中，机器学习分类器根据提取的特征的值对患者的组织进行分类。将值输入到由处理器实现的机器学习分类器。通过应用分类器对组织进行分类。例如，根据作为到机器学习分类器的输入的特征的值对在组织区中的组织的疗法响应进行分类。
在图3的方法中，可以使用任何机器学习分类器。训练分类器以将种类标签（输出）关联到一个或多个特征的提取的值。分类器的机器学习使用具有地面实情（ground truth）的训练数据，诸如从具有已知结果的用于患者的数据的帧提取的特征的值，以学习基于输入特征矢量进行分类。得到的机器学习分类器是用于输入、加权和组合的矩阵以输出分类。使用一个或多个矩阵，处理器输入提取的特征的值并且输出分类。
可以使用任何机器学习或训练。可以使用概率提升树（probabilistic boostingtree）、支持矢量机器（support vector machine）、神经网络、稀疏自动编码分类器（sparseauto-encoding classifier）、贝叶斯网络或其他现在已知的或以后开发的机器学习。可以使用任何半监督（semi-supervised）、监督或无监督学习。可以使用层级的或其他方法。
在一个实施例中，由机器学习分类器以深度学习来学习分类。作为标识在不同的结果之间区分的特征的部分，分类器也是机器学习的。例如在图4中，训练分类器18以基于特征值Gw对组织进行分类，所述特征值Gw是从已经优化的/训练以使来自不同的种类的图像的差异最大化并且使来自相同的种类的图像的差异最小化的Siamese网络获得的。例如，分类器根据特征值对肿瘤进行归类，诸如对肿瘤的类型、对疗法的肿瘤响应或其他组织特性进行分类。在图4的示例中，分类是基于来自Gw的特征的，其是根据损耗Ew来优化的。首先，Siamese网络训练和/或定义核，使得特征矢量Gw可以帮助辨别所有种类。一旦训练了网络，分类器18就使用Gw并且然后定义来自不同时间点的两个图像具有零差异、小差异或大差异的可能性。
在两种方法（例如，图3或图4）的任何一种中，附加的信息可以用于提取和/或分类。例如，使用对于患者的临床测量的值。训练分类器以基于数据的帧中的特征的提取的值以及附加的测量进行分类。遗传数据、基于血液的诊断、家族史、性别、体重和/或其他信息是作为用于分类的特征的输入。
训练分类器以对肿瘤进行分类。训练分类器以将组织分类成为两个或更多类中的一个。通过输入对于具体患者的提取的值，机器学习分类器将该患者的肿瘤分类成为类中的一个。可以使用各种应用中的任何应用。
在一个实施例中，分类器标识相似情况。相似情况包括对于具有与当前患者的组织区相似的组织区的另一个患者的示例治疗和结果。可以标识任何数量的这些参考情况。使用可能的参考情况的数据库。由分类器对与当前患者最相似的一个或多个情况进行标识。使用具有或不具有其他特征的纹理特征的提取值，分类器将类标识为一个或多个参考情况。在基于证据的医学中，通过强调对来自完善设计和进行的研究的证据的使用来优化做出决定。一个关键成分是使用当前情况来检索其他情况的形式的证据。例如，如在图6中那样，一旦用户标记病变，则由分类器提取纹理特征的值并且使用该纹理特征的值以检索最接近的情况。这些最接近的情况提供证据，诸如具有用于参考情况的肿瘤的缩略图（thumbnail）图像的相似情况的列表。
另一个类是疗法响应。预测疗法的成功或失败作为诊断或预后。在替代中，不是成功或失败的二元（binary）指示，而是提供成功或失败的量和/或可能性的范围是作为类的输出。输出患者是否可能响应（即，响应者）、不太可能响应（即，非响应者）或可能部分地响应（即，部分或半响应者）。患者的预测的生存时间可以是输出。
图7示出了将组织分类为成功的或不成功的疗法的两个示例。在应用#3和#4中，对肿瘤的疗法响应进行分类。将跨动脉化学栓塞（trans arterial chemo embolization）（TACE）用作示例疗法。在应用#3中，使用多参数（例如，T2和ADC）数据一次（例如，治疗之后1个月）。在针对肿瘤标识感兴趣的组织区之后，应用分类以确定肿瘤是否对治疗做出响应。可以输出响应的级别或率，其通知关于任何继续的治疗和治疗的级别的决定。在替代中，不应用治疗。使用先于治疗的数据的帧以基于先于治疗的提取的纹理的和/或其他特征对是否预期治疗是成功的进行分类。
在应用#4中，执行多个治疗。使用每个治疗之后的数据的帧。基于来自随时间的数据的分类测量或预测肿瘤的响应。在替代中，执行仅第二治疗并且在1个月时的数据的第一帧是治疗前帧。使用来自不同次的帧以预测或测量疗法响应。
通过针对应用到组织区的疗法推断疗法成功或成功的级别，可以更多通知和/或更早执行关于是否继续疗法和/或改变疗法的决定。图8A示出了预测疗法结果的示例。在该示例中，使用RECIST，因此肿瘤的大小改变在治疗后被测量N次。最终，由临床医生确定足够的趋势以预测结果。图8B示出了使用机器学习分类器的替代的方法。需要较少的信息，诸如数据的疗法后帧的仅一个集合（例如，来自一次或针对扫描的预约）。以纹理的和/或其他特征分析和机器学习分类，可以在没有趋势的人工感知的情况下推断疗法成功或失败决定。需要较少数量的扫描和较少量的时间来做出疗法决定。推断应用于肿瘤的疗法的成功并且应用于肿瘤的疗法的成功被用于优化治疗。
可以使用用于机器学习分类的其他类。可以对分类器进行机器训练以将肿瘤（例如，可疑组织区）分类为良性的（benign）或恶性的（malignant）。一旦分割或标识了病变，就针对病变计算纹理特征的值。将该值馈送到机器学习分类器中用于恶性的标记。
可以训练分类器以输出用于对肿瘤进行分期（staging）的值。使用由机器学习分类器提供的先进的组织定征，输出分期。例如在肝组织中，分类器使用提取的纹理特征来输出纤维化分期的测量。在其他示例中，训练分类器以输出用于分期的标签，诸如输出用于对肿瘤进行分期的测量。分类器使用特征的值以提供标签或分期测量。在用于胸部检验的定量的BIRADS中，提取纹理特征，并且然后分类器将临床描述性标签（例如，肿块、对称性和非混乱状增强的测量）的种类标记关联到提取的特征。然后使用推断的标签以人工地或自动地对胸部肿瘤进行分期。在用于前列腺检验的定量的PIRADS中，提取纹理特征，并且然后分类器将临床描述性标签（例如，用于边周区、中心区和过渡区的标签）的种类标记关联到提取的特征。然后使用推断的标签来人工地或自动地对前列腺进行分期。
在另一个实施例中，训练分类器以输出对于诊断或预后有用的任何信息。例如，输出用于增强疗法监视的信息。在没有分类器的情况下，计算并且输出强度直方图、在表示肿瘤的强度中的在时间上的差异的直方图和/或表示在不同次的肿瘤的强度的直方图的差异。分类器补充这些或其他图像强度统计或直方图。使用从纹理特征和/或其他特征导出的信息来向临床医生提供有用的任何信息。
可以使用多于一个机器训练的分类器。由不同的分类器使用相同的或不同的特征以输出相同的或不同的信息。例如，训练分类器用于预测疗法响应，并且训练另一个分类器以输出用于分期的标签。在替代的实施例中，训练一个分类器以输出信息的不同类型，诸如使用层级分类器。
图7示出了使用数据的多参数磁共振帧的分类的四个示例使用情况。“定位病变”表示通过分割或通过用户区指定（例如，动作14）来标识感兴趣的组织区（ROI）。在应用#1、#2和#3中，到系统的输入是来自单个时间点的多参数磁共振图像的集合，并且系统执行三个不同的任务中的一个或多个：在应用#1中，任务是预测肿瘤是良性的还是恶性的。结果可以是离散的（例如，是对否）或连续的（例如，给出诸如在0和1之间的数字之类的恶性的严重性的指示）。在应用#2中，任务是预测肿瘤是低还是高等级的。定级可以是离散的（例如，低对高）或连续的（例如，在0到N之间的数字，其中N是可能的最高等级）。在应用#3中，任务是预测患者是否对疗法做出响应。响应可以是离散的（例如，响应对未响应）或连续的（诸如在0和1之间之类的指示响应的程度的数字）。在应用#4中，到系统的输入是来自两个或更多时间点的多参数磁共振图像的集合，并且系统执行与应用#3中相同的任务，其是基于从图像中的每个提取的值来预测响应。
在图1的动作20中，传输组织分类。传输由分类器输出的组织分类中的任何组织分类。替代地，传输从分类的输出导出的信息，诸如从标签的分类导出的分期。
传输去往诸如监视器、工作站、打印机、手持式设备或计算机之类的显示器。替代地或附加地，传输去往诸如患者记录的数据库之类的存储器，或去往诸如计算机网络之类的网络。
输出组织分类以协助预后、诊断或基于证据的医学。例如，输出包括相似患者的治疗制度（regime）和结果的相似患者的列表。作为另一个示例，在针对患者的报告中输出预测的疗法响应。
将组织分类输出为文本。以字母数字文本来注释或标记肿瘤的图像以指示分类。在其他实施例中，显示组织的图像，并且将分类作为添加到图像上的符号、着色、醒目显示或其他信息来传送。替代地，在没有肿瘤的图像的情况下在报告中输出分类或分类与肿瘤的图像分离（例如，间隔开）。
还可以非常局部地对组织进行分类（例如，每个体素的独立分类）。将得到的分类作为在组织的图像上的着色的或醒目显示的覆盖来输出，在空间上视觉上指示可能响应或非响应的可能的区。
也可以输出其他信息。其他信息包括特征的值、临床测量、来自图像处理的值、治疗制度或其他信息（例如实验室结果）。
图9示出了用于在医学成像中的组织定征的系统。系统包括成像系统80、存储器84、用户输入85、处理器82、显示器86、服务器88和数据库90。可以提供附加的、不同的或更少的部件。例如，提供网络或网络连接，诸如用于与医学成像网络或数据档案系统联网。在另一个示例中，不提供用户输入85。作为另一个示例，不提供服务器88和数据库90。在其他示例中，服务器88通过网络与许多成像系统80和/或处理器82连接。
处理器82、存储器84、用户输入85和显示器86是医学成像系统80的部分。替代地，处理器82、存储器84、用户输入85和显示器86是诸如与医学记录数据库工作站或服务器关联的、与成像系统80分离的档案和/或图像处理系统的部分。在其他实施例中，处理器82、存储器84、用户输入85和显示器86是诸如台式或膝上计算机之类的个人计算机、工作站、服务器、网络或其组合。在没有用于通过扫描患者来获取数据的其他部件的情况下，可以提供处理器82、显示器86、用户输入85和存储器84。
成像系统80是医学诊断成像扫描器。可以使用超声、计算断层摄影术（CT）、x-射线、荧光透视法（fluoroscopy）、正电子发射断层摄影术、单光子发射计算断层摄影术和/或磁共振（MR）系统。成像系统80可以包括发射机并且包括用于扫描或接收表示患者的内部的数据的检测器。
在一个实施例中，成像系统80是磁共振系统。磁共振系统包括诸如低温磁体（cryomagnet）之类的主场磁体（main field magnet）和梯度线圈（gradient coil）。提供用于传输和/或接收的整体线圈（whole body coil）。可以使用局部线圈（local coil），诸如用于响应于脉冲接收原子发射的电磁能量。可以提供其他处理部件，诸如用于基于序列来规划和生成用于线圈的传输脉冲和用于接收并处理接收的k-空间数据。用傅里叶处理将接收的k-空间数据转换成对象或图像空间数据。可以使用解剖学的和/或功能扫描序列来扫描患者，导致表示组织的解剖学的和/或功能数据的帧。
存储器84可以是用于存储数据或视频信息的图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合或其他现在已知的或以后开发的存储器设备。存储器84是成像系统80的部分、是与处理器82关联的计算机的部分、是数据库的部分、是另一个系统的部分、是图片档案存储器或者是独立的设备。
存储器84存储表示患者的医学成像数据、分割或组织区信息、特征核、提取的特征的值、分类结果、机器学习矩阵和/或图像。存储器84可以替代地或附加地在处理期间存储数据，诸如存储种子位置、检测的边界、图形覆盖、数量或在本文中讨论的其他信息。
存储器84或其他存储器替代地或附加地是存储表示可由编程的处理器82执行的用于在医学成像中的组织分类的指令的数据的非暂态计算机可读存储介质。在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质之类的非暂态计算机可读存储介质或存储器上提供用于实现在本文中讨论的过程、方法和/或技术的指令。非暂态计算机可读存储介质包括各种类型的易失性的和非易失性的存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的指令的一个或多个集合，执行在图中图示的或在本文中描述的功能、动作或任务。功能、动作或任务独立于指令集合的特定类型、存储介质、处理器或处理策略并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等等执行。同样地，处理策略可以包括多处理、多任务、并行处理等等。
在一个实施例中，将指令存储在用于由本地或远程系统读取的可移动介质设备上。在其他实施例中，将指令存储在远程位置中用于通过计算机网络或在电话线上传递。在又一其他实施例中，将指令存储在给定的计算机、CPU、GPU或系统内。
用户输入85是键盘、鼠标、轨迹球、触摸板、按钮、滑动器、其组合或其他输入设备。用户输入85可以是显示器86的触摸屏。由用户输入接收用户交互，所述用户交互诸如组织的区的指定（例如，点击或点击并且拖曳以放置感兴趣的区）。可以接收诸如用于激活分类之类的其他用户交互。
处理器82是用于分割、提取特征值和/或对组织进行分类的通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、场可编程门阵列、数字电路、模拟电路、其组合或其他现在已知的或以后开发的设备。处理器82是单个设备或串行、并行或分离地操作的多个设备。处理器82可以是诸如膝上或台式计算机之类的计算机的主处理器，或可以是用于在诸如在成像系统80中之类的较大系统中处理一些任务的处理器。处理器82被指令、设计、硬件和/或软件配置成执行在本文中讨论的动作。
处理器82被配置成执行以上讨论的动作。在一个实施例中，处理器82被配置成基于用户输入来标识感兴趣的区、针对区提取特征的值、对在区中的肿瘤进行分类（例如，应用机器学习分类器）以及输出分类的结果。在其他实施例中，处理器82被配置成将获取的数据的帧或提取的特征的值传输到服务器88并且从服务器88接收分类结果。服务器88而不是处理器82执行机器学习分类。处理器82可以被配置成生成用于接收一个或多个图像上的种子点（seed point）或感兴趣的区的指定的用户接口。
显示器86是用于输出视觉信息的监视器、LCD、投影仪、等离子显示器、CRT、打印机或其他现在已知的或以后开发的设备。显示器86从处理器82、存储器84、成像系统80或服务器88接收图像、图形、文本、数量或其他信息。显示一个或多个医学图像。图像是关于患者的区的。在一个实施例中，图像是关于肿瘤的，诸如具有通过不透明度或颜色来醒目显示的肿瘤的肝脏的三维渲染。图像包括肿瘤的分类的指示，诸如文本、图形或着色。替代地或附加地，图像包括基于分类的数量，诸如标签值。在没有患者的医学图像表示的情况下，可以将数量或分类输出显示为图像。替代地或附加地，输出具有分类的报告。
服务器88是处理器或处理器的组。可以提供多于一个服务器88。服务器88被硬件和/或软件配置成接收数据的帧（例如，多参数图像）、来自数据的帧的提取的特征和/或患者的其他临床信息，并且返回分类。服务器88可以从接收的数据的帧提取特征的值。为了分类，服务器88将机器学习分类器应用于接收的信息。在分类标识与给定的患者的情况相似的一个或多个参考情况的情况下，服务器88与数据库90进行交互。
数据库90是诸如存储器组之类的存储器，用于存储包括针对肿瘤的治疗、数据的帧和/或提取的特征的值以及基于证据的医学的结果的参考情况。服务器88使用数据库90来标识在数据库中的与当前患者的当前情况最相似或足够地相似的情况。服务器88向处理器82传输参考的标识和/或参考信息。在替代的实施例中，不提供服务器88和数据库90，诸如处理器82和存储器84提取、分类和输出分类的情况。
虽然以上通过参考各种实施例已经描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以做出许多改变和修改。因此旨在将前述的详细的描述视为说明性的而不是限制的，并且要理解，包括所有等同物的以下的权利要求书旨在限定本发明的精神和范围。

Claims (22)

1.一种用于在医学成像中的组织定征的方法，所述方法包括：
用医学扫描器扫描患者，所述扫描提供表示在所述患者中的感兴趣的组织区的数据的多个帧；
由处理器从数据的所述帧提取特征的值；
通过由所述处理器实现的机器学习分类器根据作为到所述机器学习分类器的输入的所述特征的所述值对所述组织区的组织的疗法响应进行分类；以及
传输所述疗法响应。
2.如权利要求1所述的方法，其中扫描包括用磁共振扫描器、计算断层摄影术扫描器、超声扫描器、正电子发射断层摄影术扫描器、单光子发射计算断层摄影术扫描器或其组合来扫描。
3.如权利要求1所述的方法，其中扫描包括用磁共振扫描器来扫描，所述数据的帧包括通过磁共振扫描器的功能测量。
4.如权利要求1所述的方法，其中提取值包括提取作为缩放不变特征变换、定向梯度的直方图、局部二进制模式、灰度级共生矩阵或其组合的所述值。
5.如权利要求1所述的方法，其中分类包括根据从所述数据的帧提取的所述特征的所述值和针对所述患者的临床测量的值进行分类。
6.如权利要求1所述的方法，其中扫描包括以不同的次、不同的对比或不同的类型进行扫描，所述帧对应于所述不同的次、对比或类型，并且其中分类包括基于由于在所述帧中的差异对所述疗法响应进行分类。
7.如权利要求1所述的方法，其中提取包括提取所述特征的所述值，其中所述特征包括来自深度学习的深度学习特征，并且其中分类包括由用所述深度学习学习的所述机器学习分类器进行分类。
8.如权利要求7所述的方法，其中提取和分类包括基于Siamese卷积网络进行提取和分类。
9.如权利要求1所述的方法，其中对所述疗法响应进行分类包括针对应用于所述组织区的疗法推断疗法成功。
10.如权利要求1所述的方法，其中对所述疗法响应进行分类包括标识具有所述特征的相似提取值的另一个患者的示例治疗和结果。
11.如权利要求1所述的方法，其中传输所述疗法响应包括在报告中显示所述疗法响应。
12.如权利要求1所述的方法，进一步包括由响应于用户选择的用户输入设备标识所述组织区，其中在所述标识之后没有用户输入的情况下执行所述提取、分类和传输。
13.如权利要求1所述的方法，其中由远离所述医学扫描器的所述处理器执行所述提取和分类。
14.如权利要求1所述的方法，其中疗法响应包括响应者分类、非响应者分类或生存时间的预测。
15.如权利要求1所述的方法，其中传输所述疗法响应包括将所述疗法响应显示为在所述组织区的图像之上的覆盖。
16.一种用于在医学成像中的组织定征的方法，所述方法包括：
用医学扫描器扫描患者，所述扫描提供表示在患者中的对于组织的测量的不同类型的数据的不同的帧；
由处理器从所述数据的帧提取特征的值；
通过由所述处理器实现的机器学习分类器根据作为到所述机器学习分类器的输入的所述特征的所述值对所述患者的所述组织进行分类；以及
传输所述组织分类。
17.如权利要求16所述的方法，其中扫描包括用磁共振扫描器来扫描，测量的不同的类型包括表观扩散系数。
18.如权利要求16所述的方法，其中提取包括提取由所述数据的帧中的至少一个表示的所述组织的纹理的所述值。
19.如权利要求16所述的方法，其中对所述组织进行分类包括对疗法的所述组织的响应的预测进行分类、对良性或恶性进行分类、对分期标签进行分类、情况的相似性或其组合。
20.如权利要求16所述的方法，其中提取包括提取是深度学习特征的特征的所述值，并且其中分类包括由是深度学习分类器的所述机器学习分类器进行分类，所述深度学习特征和深度学习分类器在多个卷积网络上被执行。
21.一种用于在医学成像中的组织定征的方法，所述方法包括：
用医学扫描器扫描患者，所述扫描提供表示在患者中的肿瘤的数据的帧；
由处理器从所述数据的帧提取深度学习特征的值；
通过由所述处理器实现的深度机器学习分类器根据作为到所述机器学习分类器的输入的所述特征的所述值对所述肿瘤进行分类；以及
传输所述肿瘤的所述分类。
22.如权利要求21所述的方法，其中所述深度学习特征和所述深度机器学习分类器来自Siamese卷积网络。
CN201710805375.9A 2016-09-09 2017-09-08 在医学成像中的基于机器学习的组织定征 Pending CN107818821A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/261,124 US10748277B2 (en) 2016-09-09 2016-09-09 Tissue characterization based on machine learning in medical imaging
US15/261124 2016-09-09

Publications (1)

Publication Number Publication Date
CN107818821A true CN107818821A (zh) 2018-03-20

Family

ID=59811106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710805375.9A Pending CN107818821A (zh) 2016-09-09 2017-09-08 在医学成像中的基于机器学习的组织定征

Country Status (3)

Country Link
US (1) US10748277B2 (zh)
EP (1) EP3293736B1 (zh)
CN (1) CN107818821A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846840A (zh) * 2018-06-26 2018-11-20 张茂 肺部超声图像分析方法、装置、电子设备及可读存储介质
CN109124660A (zh) * 2018-06-25 2019-01-04 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和系统
CN110313930A (zh) * 2019-07-24 2019-10-11 东软医疗系统股份有限公司 一种扫描部位的确定方法、装置及终端设备
CN110444276A (zh) * 2018-05-04 2019-11-12 西门子医疗有限公司 产生图像数据的方法、计算机断层扫描设备、程序产品和数据载体
CN110702792A (zh) * 2019-09-29 2020-01-17 中国航发北京航空材料研究院 一种基于深度学习的合金组织超声检测分类方法
WO2020087838A1 (zh) * 2018-10-29 2020-05-07 深圳先进技术研究院 血管壁斑块识别设备、系统、方法及存储介质
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
WO2021155829A1 (zh) * 2020-02-05 2021-08-12 杭州依图医疗技术有限公司 一种基于医学影像的诊断信息处理方法、装置及存储介质
CN113272915A (zh) * 2019-01-11 2021-08-17 谷歌有限责任公司 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法
CN113362958A (zh) * 2021-06-01 2021-09-07 深圳睿心智能医疗科技有限公司 治疗方案的应用后效果的预测方法及装置
CN113951931A (zh) * 2021-10-25 2022-01-21 中国人民解放军总医院第一医学中心 基于孪生原型网络的肝外伤超声诊断设备及系统
US11282193B2 (en) * 2020-03-31 2022-03-22 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for tumor characterization

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
US10283221B2 (en) 2016-10-27 2019-05-07 International Business Machines Corporation Risk assessment based on patient similarity determined using image analysis
US10282843B2 (en) * 2016-10-27 2019-05-07 International Business Machines Corporation System and method for lesion analysis and recommendation of screening checkpoints for reduced risk of skin cancer
US10242442B2 (en) 2016-10-27 2019-03-26 International Business Machines Corporation Detection of outlier lesions based on extracted features from skin images
WO2018127497A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for deriving imaging data and tissue information
WO2018178212A1 (en) * 2017-03-28 2018-10-04 Koninklijke Philips N.V. Ultrasound clinical feature detection and associated devices, systems, and methods
US20180310918A1 (en) * 2017-04-27 2018-11-01 Siemens Medical Solutions Usa, Inc. Variable focus for shear wave imaging
CN107562805B (zh) * 2017-08-08 2020-04-03 浙江大华技术股份有限公司 一种以图搜图的方法及装置
JP2019049884A (ja) * 2017-09-11 2019-03-28 株式会社東芝 画像処理装置、および故障診断制御方法
US11893729B2 (en) * 2017-11-22 2024-02-06 GE Precision Healthcare LLC Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN111971688A (zh) * 2018-04-09 2020-11-20 皇家飞利浦有限公司 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
EP3794551A4 (en) 2018-05-14 2022-02-09 Tempus Labs, Inc. FRAMEWORK FOR GENERALIZABLE AND INTERPRETABLE DEEP LEARNING FOR PREDICTING MSI FROM HISTOPATHOLOGICAL SLIDE IMAGES
US11348239B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
CN109584995B (zh) * 2018-06-20 2023-07-18 新影智能科技(昆山)有限公司 Tace治疗结果图像分析方法、系统、设备及存储介质
JP7167515B2 (ja) * 2018-07-17 2022-11-09 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
CN112513674A (zh) * 2018-07-26 2021-03-16 皇家飞利浦有限公司 基于器官检测自动动态设置成像参数的超声系统
CN110910340A (zh) * 2018-08-28 2020-03-24 奥林巴斯株式会社 注解装置和注解方法
JP6987721B2 (ja) * 2018-08-31 2022-01-05 富士フイルム株式会社 画像処理装置、方法およびプログラム
US10835761B2 (en) 2018-10-25 2020-11-17 Elekta, Inc. Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC)
US11083913B2 (en) 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
CN109740626A (zh) * 2018-11-23 2019-05-10 杭州电子科技大学 基于深度学习的乳腺癌病理切片中癌症区域的检测方法
JP6915604B2 (ja) 2018-11-28 2021-08-04 横河電機株式会社 装置、方法およびプログラム
JP7308258B2 (ja) * 2019-02-19 2023-07-13 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法
CN110491502B (zh) * 2019-03-08 2021-03-16 腾讯科技（深圳）有限公司 显微镜视频流处理方法、系统、计算机设备和存储介质
CN110555827B (zh) * 2019-08-06 2022-03-29 上海工程技术大学 基于深度学习驱动的超声成像信息计算机处理系统
US11854676B2 (en) * 2019-09-12 2023-12-26 International Business Machines Corporation Providing live first aid response guidance using a machine learning based cognitive aid planner
US11508066B2 (en) 2020-08-13 2022-11-22 PAIGE.AI, Inc. Systems and methods to process electronic images for continuous biomarker prediction
CN113240677B (zh) * 2021-05-06 2022-08-02 浙江医院 一种基于深度学习的视网膜视盘分割方法
CN113689382B (zh) * 2021-07-26 2023-12-01 北京知见生命科技有限公司 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042421A1 (en) * 2013-09-20 2015-03-26 Siemens Aktiengesellschaft Biopsy-free detection and staging of cancer using a virtual staging score
CN104602638A (zh) * 2012-06-27 2015-05-06 曼特瑞斯医药有限责任公司 组织的图像引导治疗
CN105765629A (zh) * 2013-09-25 2016-07-13 西门子公司 病变的早期治疗反应评估

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1236173A2 (en) 1999-10-27 2002-09-04 Biowulf Technologies, LLC Methods and devices for identifying patterns in biological systems
US9235887B2 (en) * 2008-02-19 2016-01-12 Elucid Bioimaging, Inc. Classification of biological tissue by multi-mode data registration, segmentation and characterization
US9275456B2 (en) * 2010-10-29 2016-03-01 The Johns Hopkins University Image search engine
US9177105B2 (en) * 2013-03-29 2015-11-03 Case Western Reserve University Quantitatively characterizing disease morphology with co-occurring gland tensors in localized subgraphs
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
EP3155592B1 (en) * 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US9537808B1 (en) * 2015-07-14 2017-01-03 Kyocera Document Solutions, Inc. Communication between peripheral device and client device
CN107851194A (zh) 2015-08-04 2018-03-27 西门子公司 用于脑肿瘤分类的视觉表示学习
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US10521911B2 (en) * 2017-12-05 2019-12-31 Siemens Healtchare GmbH Identification of defects in imaging scans

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104602638A (zh) * 2012-06-27 2015-05-06 曼特瑞斯医药有限责任公司 组织的图像引导治疗
WO2015042421A1 (en) * 2013-09-20 2015-03-26 Siemens Aktiengesellschaft Biopsy-free detection and staging of cancer using a virtual staging score
CN105765629A (zh) * 2013-09-25 2016-07-13 西门子公司 病变的早期治疗反应评估

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李凡长等编: "《李群机器学习》", 30 April 2013, 中国科学技术大学出版社 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444276A (zh) * 2018-05-04 2019-11-12 西门子医疗有限公司 产生图像数据的方法、计算机断层扫描设备、程序产品和数据载体
CN109124660A (zh) * 2018-06-25 2019-01-04 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和系统
CN109124660B (zh) * 2018-06-25 2022-06-10 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和系统
CN108846840A (zh) * 2018-06-26 2018-11-20 张茂 肺部超声图像分析方法、装置、电子设备及可读存储介质
CN108846840B (zh) * 2018-06-26 2021-11-09 张茂 肺部超声图像分析方法、装置、电子设备及可读存储介质
WO2020087838A1 (zh) * 2018-10-29 2020-05-07 深圳先进技术研究院 血管壁斑块识别设备、系统、方法及存储介质
CN113272915A (zh) * 2019-01-11 2021-08-17 谷歌有限责任公司 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法
CN110313930A (zh) * 2019-07-24 2019-10-11 东软医疗系统股份有限公司 一种扫描部位的确定方法、装置及终端设备
CN110702792A (zh) * 2019-09-29 2020-01-17 中国航发北京航空材料研究院 一种基于深度学习的合金组织超声检测分类方法
WO2021155829A1 (zh) * 2020-02-05 2021-08-12 杭州依图医疗技术有限公司 一种基于医学影像的诊断信息处理方法、装置及存储介质
US11282193B2 (en) * 2020-03-31 2022-03-22 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for tumor characterization
CN112336381B (zh) * 2020-11-07 2022-04-22 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN113362958A (zh) * 2021-06-01 2021-09-07 深圳睿心智能医疗科技有限公司 治疗方案的应用后效果的预测方法及装置
CN113951931A (zh) * 2021-10-25 2022-01-21 中国人民解放军总医院第一医学中心 基于孪生原型网络的肝外伤超声诊断设备及系统
CN113951931B (zh) * 2021-10-25 2024-02-13 中国人民解放军总医院第一医学中心 基于孪生原型网络的肝外伤超声诊断设备及系统

Also Published As

Publication number Publication date
US10748277B2 (en) 2020-08-18
EP3293736B1 (en) 2023-08-23
EP3293736A1 (en) 2018-03-14
US20180075597A1 (en) 2018-03-15
EP3293736C0 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN107818821A (zh) 在医学成像中的基于机器学习的组织定征
Mazurowski et al. Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI
US10489907B2 (en) Artifact identification and/or correction for medical imaging
Parvaiz et al. Vision transformers in medical computer vision—A contemplative retrospection
Ben-Cohen et al. Fully convolutional network and sparsity-based dictionary learning for liver lesion detection in CT examinations
CN105938628B (zh) 源自图像的生物标志的直接计算
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
US11488306B2 (en) Immediate workup
Mehmood et al. Prioritization of brain MRI volumes using medical image perception model and tumor region segmentation
CN106056126A (zh) 医学成像中的斑块易损性评定
EP3375376B1 (en) Source of abdominal pain identification in medical imaging
Rubin et al. Biomedical imaging informatics
Lee et al. Machine learning and coronary artery calcium scoring
Khalil et al. Multi-Scale Network for Thoracic Organs Segmentation.
Dong et al. Identifying carotid plaque composition in MRI with convolutional neural networks
Barbhuiya et al. Application of convolutional neural networks in cancer diagnosis
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
Kim et al. The role of AI in prostate MRI quality and interpretation: Opportunities and challenges
Bhushan Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN)
Wang et al. Spatial attention lesion detection on automated breast ultrasound
Rout et al. GLCM Based Feature Extraction and Medical X-ray Image Classification Using Machine Learning Techniques
US20240071604A1 (en) Artificial intelligence supported reading by redacting of a normal area in a medical image
Vasudevan et al. Analysis of MRI Images to Discover Brain Tumor Detection Using CNN and VGG-16
Tripathi et al. Medical Image Segmentation Using Deep Learning Method
Nguyen et al. Recognition and 3D Visualization of Human Body Parts and Bone Areas Using CT Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination