CN111563523B - 利用机器训练的异常检测的copd分类 - Google Patents

利用机器训练的异常检测的copd分类 Download PDF

Info

Publication number
CN111563523B
CN111563523B CN202010092805.9A CN202010092805A CN111563523B CN 111563523 B CN111563523 B CN 111563523B CN 202010092805 A CN202010092805 A CN 202010092805A CN 111563523 B CN111563523 B CN 111563523B
Authority
CN
China
Prior art keywords
copd
image
network
machine
learned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010092805.9A
Other languages
English (en)
Other versions
CN111563523A (zh
Inventor
徐宙冰
S.查甘地
S.格比奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN111563523A publication Critical patent/CN111563523A/zh
Application granted granted Critical
Publication of CN111563523B publication Critical patent/CN111563523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/085—Measuring impedance of respiratory organs or lung elasticity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/091—Measuring volume of inspired or expired gases, e.g. to determine lung capacity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

对于医学成像系统中的COPD分类，机器学习用于学习对患者是否患有COPD进行分类。图像到图像网络深度学习指示各种或任何类型的COPD的空间特征。肺部功能测试可以用作训练所述特征和从空间特征的分类的基础事实。由于肺部功能测试结果和对应的CT扫描的可用性高，因此有很多训练样本。然后，来自图像到图像网络的经学习的特征的值用于创建COPD级别的空间分布，从而提供对区分COPD的类型有用的信息，而无需在训练中对COPD的空间分布的基础事实注释。

Description

利用机器训练的异常检测的COPD分类
背景技术
本实施例涉及慢性阻塞性肺部疾病(COPD)分类。COPD是由于气流不足导致的阻塞性肺疾病。COPD的两个主要基础原因是肺气肿和气道疾病。通常通过使用呼吸管的肺部功能测试来诊断COPD。功能性肺部测试的主要输出是1秒内的用力呼气值(FEV1)和用力肺活量(FVC)。这些值基于人口分布被正则化，并计算GOLD分数(COPD严重性分数)，其中GOLD 0：FEV1/FVC>0.7(无COPD)；GOLD1(COPD的轻度/风险)：FEV1/FVC<0.7和FEV1>0.8；GOLD2(中度COPD)：FEV1/FVC<0.7和0.79>FEV1>0.5；GOLD3(中度-严重COPD)：FEV1/FVC<0.7和0.5>FEV1>0.3；以及GOLD 4(严重COPD)：FEV1/FVC<0.7和0.3>FEV1。肺部功能变化可归因于几种不同的状况，诸如支气管炎和哮喘，因此无法提供完整的诊断。
肺的计算机断层摄影(CT)扫描用于确认诊断。肺气肿是肺组织的破坏，这在高分辨率CT扫描上可检测到。肺气肿的特征是在吸气式CT扫描上低衰减(<-950亨氏(Hounsfield)单位)的总区域。气道疾病的特征是支气管壁增厚，这在高分辨率CT扫描上也可见。COPD的特征还在于CT扫描上可见的各种其他结构变化，诸如脉管系统的变化。在CT上注释这些多个结构变化是耗时的且难以建立。通常，使用简单的度量(诸如低衰减区域的百分比)来表征CT扫描。这些测量值足以检测出严重的COPD，但却漏掉对具有不十分明显的CT特性的轻度和中度情况的检测。
成像生物标记物用于在预后预测和治疗管理中识别COPD。CT上可见的结构变化与COPD的预后因素和症状相关。研究示出了这些成像生物标记物的相关性，但未展现其预测能力。自动检测聚焦于通过使用CT扫描中的基于纹理的特征来识别肺气肿和对肺气肿类型进行分类。肺气肿仅占COPD的一部分。在机器学习方法中，吸气和呼气之间的相对差异可以用于识别受肺气肿、气道疾病或这两者影响的肺区域。但是，由于在CT扫描中区分COPD类型的注释数据集数量有限，因此准确识别或甚至对指导识别有用的信息都难以捉摸。
发明内容
作为介绍，以下描述的优选实施例包括用于医学成像系统中的COPD分类的方法、计算机可读介质和系统。机器学习用于学习对患者是否患有COPD进行分类。图像到图像网络深度学习指示各种或任何类型的COPD的空间特征。肺部功能测试可以用作训练特征和根据空间特征分类的基础事实(ground truth)。由于肺部功能测试结果和对应的CT扫描的可用性很高，因此有很多训练样本。然后，来自图像到图像网络的已学习特征的值用于创建COPD级别的空间分布，从而提供有用的信息用于区分COPD类型，而无需在训练中对COPD的空间分布进行基础事实注释。
在第一方面，提供了一种用于医学成像系统中的COPD分类的方法。医学扫描仪扫描患者的肺。所述扫描提供第一成像数据，第一成像数据表示患者的肺的多维区域。成像数据是要用于成像的扫描数据或被格式化用于显示的数据。图像处理器将机器学习的生成网络应用于第一成像数据。机器学习的生成网络已被训练为输出COPD分类。根据来自机器学习的生成网络的特征的值生成激活映射。激活映射按照多维区域内的位置表示COPD的级别。在显示器上输出来自激活映射的图像。
在一个实施例中，CT系统扫描三维区域，并且激活映射是三维映射。所述图像可以作为激活映射的二维表示被输出。
机器学习的生成网络可以是图像到图像卷积深度学习网络，诸如编码器-解码器卷积网络。其他网络结构可以包括将第一多个空间特征输出到全局平均层的卷积层，所述全局平均层向线性-S形激活层输出。对于每个位置，激活映射被生成为来自第一多个空间特征中的每一个空间特征的加权和，其中加权和的权重来自全局平均层。所述空间特征可以用于来自机器学习的生成网络的最后卷积层的特征。
在一个实施例中，机器学习的生成网络是利用针对第二成像数据的样本的是否患有COPD的二元分类的基础事实来训练的。例如，利用来自肺部功能测试中使用呼吸管的测量的基础事实来训练机器学习的生成网络和/或仅利用针对损失的二元分类来训练机器学习的生成网络。在没有针对激活映射的任何损失的情况下训练了机器学习的生成网络。
在第二方面，提供了一种用于COPD分类的系统。医学扫描仪被配置为扫描患者的肺。所述扫描产生表示患者的肺的图像数据。图像处理器被配置为利用包括编码器和解码器的机器学习的网络，根据图像数据按照肺中的位置生成COPD级别的空间分布。显示器被配置为根据COPD级别的空间分布显示图像。
医学扫描仪可以是包括图像处理器的计算机断层摄影扫描仪。机器学习的网络可以是生成网络，该生成网络被训练为输出针对肺的COPD分类的值。在一个实施例中，图像处理器被配置为基于解码器的特征进行生成，其中机器学习的网络在没有针对空间分布的损失的情况下被训练。在另一个实施例中，仅基于具有来自肺部功能测试的基础事实的COPD分类的值在有损失的情况下对机器学习的网络进行训练。
在第三方面，提供了一种用于医学成像系统中的COPD分类的方法。表示患者的肺中COPD的空间分布的映射根据来自图像到图像网络的中间特征生成，所述图像到图像网络已利用深度学习被训练为根据肺部功能测试结果对COPD进行分类。显示所述映射。
在一个实施例中，所述中间特征来自图像到图像网络的最后卷积层。在另一个实施例中，作为中间特征的加权和生成所述映射，其中所述加权和的权重来自图像到图像网络的全局平均层。
本发明由所附权利要求限定，并且本章节中的任何内容均不应被理解为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且以后可以独立地或组合地要求保护本发明的其他方面和优点。
附图说明
组件和附图不一定按比例，而是将重点放在图示本发明的原理上。此外，在附图中，遍及不同的视图，相似的附图标记表示对应的部分。
图1是用于医学成像系统中的COPD分类的方法的一个实施例的流程图；
图2是示例生成网络；
图3是用于COPD分类的示例生成网络；
图4图示了示例肺图像和COPD激活映射的示例图像；和
图5是用于COPD分类的系统的一个实施例的框图。
具体实施方式
COPD分类使用异常区域的弱监督检测。在没有可用于训练的基于图像的CT注释的情况下，创建用于分类和检测COPD中感兴趣区域的模型。从肺部功能测试获得的分数(例如GOLD分数)用于在机器训练中将高分辨率CT扫描分类为患有COPD或健康。3-DU-net架构学习执行此分类。使用类别激活映射的概念，所述网络的最后卷积层用于自动识别重要区域。经训练的网络用于根据临床获取的CT成像对COPD进行分类，从而提供对COPD的重要区域的自动检测。
图1示出了用于医学成像系统中的COPD分类的方法。来自深度机器学习的分类器的特征用于根据输入的医学扫描来确定COPD级别的空间分布。
图1的方法以所示顺序(例如，从上到下或按数字)或不同顺序实现。可以执行附加的、不同的或更少的动作。例如，动作18可以被省略。作为另一示例，可以在不执行动作12的情况下执行动作14和16，诸如从存储器加载扫描数据的情况。可以提供用于配置扫描仪、其他医学成像和/或诊断工作流程的动作。
该方法由医学成像系统实现，诸如用于处理来自医学扫描的图像的任何系统。医学成像系统可以是医学诊断成像系统、查验站、工作站、计算机、图片存档和通信系统(PACS)站、服务器、移动设备、上述各项的组合或另一图像处理器。例如，图5中所示或针对图5描述的系统实现该方法，但是可以使用其他系统。与存储器(例如，PACS数据库或云存储)、显示器和/或医学扫描仪交互的任何类型的系统的硬件图像处理器可以执行所述动作。
所述动作可以被自动执行。用户使患者被扫描或从先前的扫描获得患者的扫描数据。用户可以激活该过程。一旦被激活，带有或不带有非空间分类的激活映射就被生成，并被输出到显示器或医学记录。可以避免用户在任何扫描数据中输入解剖结构位置。由于在使用肺部功能或其他广义肺功能测试的许多样本上训练所述生成网络，因此与依赖于较少数量的经注释的激活映射进行训练相比，可以更准确地生成COPD激活映射。可以提供一些用户输入，诸如用于确认准确度或执行诊断。
在动作12中，医学扫描仪扫描患者的肺。这里，使用了多个肺，但是可以扫描单个肺或部分肺。医学扫描仪生成表示患者内部的成像数据。所述图像或成像数据可通过医学扫描仪或在医学扫描仪内变得可用。替代地，该获取来自存储设备或存储器，诸如从PACS获取先前创建的数据集。处理器可以从PACS或医学记录数据库提取所述数据。
所述数据可以采用任何格式。尽管使用术语“图像”和“成像”，但是图像或成像数据可以采用在实际显示图像之前的格式。例如，医学成像数据可以是多个标量值，表示与显示格式不同的笛卡尔坐标或极坐标格式中的不同位置。作为另一个示例，医学图像可以是输出到显示器以生成显示格式的图像的多个红色、绿色、蓝色(例如RGB)值。医学图像可以是显示器中当前或先前显示的图像或另一种格式。成像数据是可用于成像的数据集，诸如表示患者的所生成的图像或扫描数据。
可以使用任何类型的医学成像数据和对应的医学扫描仪。在一个实施例中，成像数据是利用CT系统获取的计算机断层摄影(CT)图像。例如，可以通过使用安装到可移动机架的X射线源和检测器扫描肺来获取胸部CT数据集。对于CT，图像处理器将来自检测器的原始数据重构为三维表示。作为另一示例，利用磁共振(MR)系统获取表示患者的MR数据。使用用于扫描患者的成像序列来获取数据。表示患者的内部区域的K空间数据被获取。执行傅立叶分析以将来自k空间的数据重构为三维对象或图像空间。该数据可以是超声数据。波束形成器和换能器阵列以声学方式扫描患者。极坐标数据被检测到并且被波束形成为表示患者的超声数据。
医学成像数据表示患者的组织和/或骨骼结构。为了对肺成像，成像数据可以包括来自肺和肺周围的解剖结构(例如，上躯干)的响应。表示肺的数据可以被分割，以便不包括表示患者其他部分的数据。医学成像或扫描数据可以针对尺度和/或动态范围被正则化。
医学成像数据表示肺的多维区域，诸如患者的二维或三维区域。例如，医学成像数据将患者的区域或切片表示为像素值。作为另一个示例，医学成像数据表示体积或体素的三维分布。三维表示可以被格式化为二维平面或切片的堆叠或多个二维平面或切片。为以二维或三维分布的多个位置中的每个位置提供值。医学成像数据被获取作为一或多个数据帧。数据帧表示给定时间或时段的扫描区域。数据集可以表示随时间变化的面积或体积，诸如提供患者的4D表示。
在一个实施例中，获取针对吸气和呼气扫描二者的成像数据。吸气扫描通过评估低衰减区域示出肺气肿。呼气扫描可用于检测肺气肿和小气道疾病二者，小气道疾病在经由气体捕获区域(<-850HU)的吸气扫描中不清晰可见。在一个实施例中，具有3mm分辨率的呼气扫描被用于训练和分类任务，因为该分类对于COPD的两种主要类型都是通用的。可以使用来自较高或较低分辨率扫描的成像数据。在其他实施例中，仅使用呼气扫描，仅使用吸气扫描或使用呼吸周期中其他时间的扫描。
在动作14中，图像处理器将机器学习的生成网络应用于成像数据。成像数据被输入到机器学习的生成网络。该应用导致创建被学习以指示CPOD类别的一个或多个空间特征的值。该类别可以是二元的，诸如是否患有COPD，或可以包括三个或更多组，诸如0-4的GOLD分数。
机器学习的生成网络生成二维或三维分布中特征的值。所生成的特征可以具有与输入的成像数据相同和/或不同的空间分辨率。
可以使用任何机器学习的生成网络。该生成网络是图像到图像卷积深度学习网络。图像被输入，并诸如以经学习的空间特征的形式基于深度学习的卷积、池化、平均、连接、权重和/或其他操作生成合成图像。为了应用学习的生成网络，该网络仅将成像数据作为输入，但是可以提供其他输入，诸如患者的临床数据。
所述生成网络将成像数据编码为一些独立的潜在变量，并通过对潜在变量进行采样来生成合成数据。在深度学习中，潜在变量和合成数据生成被机器训练学习。所述生成网络返回先前的对数概率，被并实现为逐段可微分函数，诸如在深度学习中使用。例如，所述生成网络是使用受限的Boltzmann机器、深度置信网络、神经自回归密度估计器、变分自动编码器、以及它们的扩展或其他用于生成建模的深度学习方法深度学习的模型。在一个实施例中，训练的深度生成网络是具有以下内容的深度神经网络：由j个卷积层和k个完全连接层组成的集合，每一层后面都跟随有非线性激活函数；用于特征约简的池化层的集合；以及用于图像生成的升级层的集合。可以使用其他层布置。
在一个实施例中，机器学习的生成网络是基于编码器-解码器的卷积网络。图2示出了针对生成网络20的一部分的层架构的一个实施例。在编码器22中布置了各种卷积层，该编码器22向解码器24输出。编码器降低来自输入的分辨率，从而提供越来越大的抽象。随着分辨率降低，特征的数量可能会增加也可能不会增加。瓶颈将编码器22的输出连接到解码器24的输入。瓶颈可以是直接的，或者可以包括一个或多个层，诸如卷积层。解码器24降低抽象量，诸如作为卷积的一部分的上采样和级联。随着分辨率的提高，特征的数量可能会减少也可能不会减少。输出通道是解码器24的最后层处的空间特征。可以使用其他编码器-解码器或图像到图像网络。
输入的成像数据可以是随时间变化的2D切片、3D平板、3D体积或4D体积。可以提供任何数量的输出通道(即，输出的空间特征的数量)。每个输出通道表示合成图像(例如，解码器24的最终或最高分辨率空间特征)。
训练所述图像到图像网络以生成所述空间特征。由于COPD的空间分布可能无法用作训练的基础事实，因此使用另一基础事实，诸如从医学记录挖掘的肺部功能测试结果或COPD诊断。基础事实可以不是空间分布。机器学习的生成网络架构包括一个或多个层，所述层使用所述空间特征训练以确定类别成员资格。例如，在图2的图像到图像网络的输出通道之后，完全连接层、池化层、最大池化层、全局平均池化层、线性S形层、SoftMax层和/或其他层以任何顺序连接和/或与任何数量的层连接。
图3示出了一个示例机器学习的生成网络20。该网络是基于由编码器22和解码器24形成的U-net分段架构的深度图像到图像架构。该网络的输入是正则化的三维肺CT扫描30，示出为128x128x128的体积(可以使用其他大小)。编码器22具有由粗黑箭头表示的10个卷积层，包括在瓶颈处的卷积层。可以使用其他数量的卷积层。提供了由第一卷积层输出的16个输入通道或特征，但是可以使用其他数量的特征。每个抽象或分辨率级别提供两个卷积层，以便16个输入通道在编码器22的输出处产生128个特征。
解码器24包括由垂直箭头表示的四个去卷积层。去卷积是通过上采样和应用卷积来实现的。来自瓶颈的128个特征在去卷积中被上采样和级联，以形成处于输入的三维肺CT扫描30的分辨率的8个特征。可以使用其他数量的特征和/或层。
图3示出了从编码器22到解码器24的跳过连接。在每个去卷积操作之前，将来自编码器22的对应通道级联到来自先前层的经上采样的通道。可以使用其他数量的跳过连接，包括没有跳过连接。
生成网络20中包括三个附加层。提供了卷积层32、全局平均层34和线性S形层36。可以提供附加的、不同的或更少的用于分类的层。针对来自学习的空间特征的分类训练这些附加层。
机器学习的生成网络20具有输出多个空间特征的卷积层32。解码器24之后是最终卷积层32，具有16通道输出，该通道输出的大小(例如分辨率)与输入的三维肺CT扫描30相同。解码器24输出的8个空间特征被卷积以形成处于相同分辨率的16个空间特征。可以提供其他数量的特征、分辨率和/或层。
卷积层32输出到全局平均层34。全局平均池化被应用于最终卷积层32。全局平均层34将16个空间特征转换为16个值，诸如利用在机器训练中学习到的权重对每个特征的各个值进行平均。可以使用其他连接或池化。
全局平均层34输出到线性S形激活层36(例如，线性层和S形输出激活)。在替代实施例中，使用SoftMax或其他分类层。全局平均层34的16个值被组合以输出患者是否患有COPD(即，二元分类)。替代地，使用完全连接层或其他层来输出多于两个类别(诸如GOLD分数的5个类别)中成员资格的概率。
附加的、不同的和/或更少的层或类型的层可以用于生成网络、编码器22、解码器24或分类器层(例如32、34和36)。可以使用跳过连接(即，将特征向前馈送到不相邻的层)、反馈和/或最大池化索引。
利用针对分类的基础事实训练所述机器学习的生成网络。泛化到患者或肺的二元或多级别COPD分类而不是空间分布被用作基础事实来训练所述网络。每个样本CT扫描或成像数据被标记有针对COPD的类型通用的COPD的基础事实诊断或测量。例如，基础事实来自肺部功能测试中使用呼吸管的测量(吸气或呼气测量)。可以使用GOLD分数。将每个样本的GOLD分数阈值化，以找到是否存在COPD的二元分类(例如0＝无COPD和1-4＝COPD)。替代地，将COPD分数用作基础事实，以分类到五个类别(0-5GOLD分数)之一中。
激活映射不用作基础事实。空间分布不用于确定训练中的损失。替代地，所述生成网络被训练用于估计全局或针对肺的整个扫描区域的类别成员资格。可以学习空间特征以更好地确定该类别成员资格，但空间特征用于基于更常见的可用COPD诊断或测量的基础事实来确定非空间分类。以这种弱监督方式学习所述空间特征。
为了训练生成网络，计算机、工作站、服务器或其他处理器访问具有数百或数千个示例图像的数据库，所述示例图像具有已知COPD诊断(例如，是/否或GOLD分数)。所述机器根据数据库的基础事实或图像学习所述生成网络。所述机器使用逐段可微分函数或其他深度学习函数来训练深度生成网络以便学习空间特征和来自经学习的空间特征的分类，从而输出所述分类。
为了训练所述生成模型，输出的对数概率被最大化。所述生成模型对空间特征(即卷积层的内核)进行编码。利用深度机器学习来训练所述生成网络，以输出类别成员资格。网络参数(例如机器训练的特征、内核、连接、权重或层值)被学习。
可以使用任何损失函数，诸如L1或L2。损失函数可以用于损失的二元分类，诸如基于患者是否患有COPD的正确估计的L1损失。损失函数可以用于任何数量的类别。没有用于COPD的空间分布或激活映射的损失函数。在使用训练数据和损失函数的训练中可以使用任何优化，诸如Adam或Ada。
学习的网络可以被存储在具有训练数据的存储器中或存储在其他存储器中。例如，将学习的网络的副本分发给不同的医学扫描仪或在不同的医学扫描仪上，以用于医院或医学实践。作为另一示例，将副本存储在一个或多个服务器的存储器中，用于作为服务的COPD诊断辅助或用于远程COPD诊断辅助。
在替代实施例中，机器学习的网络被训练为针对COPD的类型进行分类。在训练中使用图像级别(例如，患者或全局分类)标记或针对COPD子类型(例如，肺气肿与气道疾病)的基础事实。这些类别可以是各种子类型和无COPD(例如，肺气肿、气道疾病和无COPD三个类别)。通过针对分类进行训练，经学习的空间特征可以更好地区分COPD的类型。在再其他实施例中，所述网络包括长-短期存储器单元，其中使用在不同时间从患者获取的图像数据的序列。
在图1的动作16中，图像处理器生成表示在患者肺中COPD的空间分布的映射。该映射按位置表示COPD级别。可以使用任何分辨率级别，诸如二、三、四、五或更多。COPD级别的数量可以与用于训练机器学习的生成网络的类别的数量不同。所述映射表示患者的肺的二维或三维(即多维区域)中的空间分布。例如，生成COPD的三维映射。对于每个像素或体素，生成针对所表示的位置的COPD级别。
机器学习的生成网络不被训练为生成所述映射。例如，所述网络被训练为在给定输入的CT扫描数据的情况下对肺部功能测试结果的估计进行分类。该映射是根据针对COPD的分类而学习的空间特征生成的。可以使用任何空间分布特征。由于这些特征被深度学习以区分全局COPD类别，这是类别激活的一部分，因此这些特征本身会按位置反映COPD的级别。
可以使用机器学习的生成网络的任何中间特征。例如，可以使用来自编码器、解码器和/或分类器的任何特征。这些功能是输出的分类的中间物。可以使用来自一层或多层的特征的子集或所有特征。响应于将成像数据应用于机器学习的网络，生成针对各种空间特征的值用于分类。然后，针对任何空间分布特征的值用于生成COPD激活映射。使用来自图像到图像网络(包括分类器)的经深度学习的特征。
一个或多个特征的值的任何组合用于生成所述映射。例如，单个特征按空间位置提供各个值。该特征的各个值用作所述映射。作为另一示例，针对来自生成网络的一个或多个卷积层的全部特征或特征的子集的各个值被组合，诸如被平均。对于每个位置，合并来自不同特征的值。可以使用来自不同层处的特征的值，诸如在内插、上采样或下采样之后。
对于每个位置，可以使用任何组合。例如，可以使用加权和或平均。可以使用任何权重，诸如根据经验选择的权重。可以使用比率、最小、最大或其他组合。
组合是手工编码的。不是学习合并以生成映射，而是使用程序员创建的结合所述值的软件指令。在替代实施例中，所述网络被训练为进行组合以生成激活映射，诸如通过多任务学习。
图3示出了组合的一个实施例。使用来自最后卷积层32中的特征的值的加权和。最后卷积层32用于获得类别激活映射38，该类别激活映射38突出显示每个输入的扫描中的重要特征。最后卷积层32中的16个通道中的每个通道都对类别激活映射38有贡献。对于每个位置，对来自16个特征的16个值进行加权，并对加权结果求和。权重是由全局平均层34输出的向量中的值。这些权重表示每个空间分布特征对分类的学习的贡献。
每个通道k中位置(x，y，z)的激活对应于输入图像中位置(x，y，z)处的体素。fk(x，y，z)被表示为通道k中体素(x，y，z)的激活。该层之后是全局平均池，因此每个通道k的输出是Ok＝fk(x，y，z)。该层后面是权重为wk的线性层，其输出由S形函数给出。分类生成网络的输出y可以写成：
类别激活映射用M表示，其中并且因此输出y＝∈(∑x，y，zM(x，y，z))。因此，在每个位置(x，y，z)处M的激活直接对应于输入图像的体素(x，y，z)在COPD预测中的重要性。可以使用其他函数。
在图1的动作18中，图像处理器在显示器上输出图像。显示激活映射或从激活映射导出的数据的表示。为了显示，图像以显示格式形成为像素的二维图像。替代地，图像被输出到存储器或患者医学记录以供以后查看。
显示所述映射。从激活映射生成图像。在激活映射表示体积的情况下，将体素的值渲染为像素值。可以使用任何体积渲染，诸如alpha混合、投影、最大强度投影或电影渲染。替代地，在体积中定义切片或平面，并且从最近的体素选择或内插切片或平面中的像素值。
根据激活映射中COPD的级别来调制每个像素的灰度级别。替代地，根据激活映射中COPD的级别来选择或控制颜色。
图4示出了两个示例图像。左侧的图像是针对输入的CT扫描的冠状平面的图像。右侧的图像是使用加权和从图3的生成网络获得的类别激活映射。为了清楚，所述激活被叠加在输入的扫描上。类别激活映射示出了非常重要的区域较暗，而具有较低重要性的区域较亮。来自生成网络的特征的值的组合自动检测受COPD影响的区域，诸如示出肺织破坏的低衰减区域。通过知道在哪里更仔细地检查CT图像和/或通过COPD位置的分布来帮助医师。该信息可以帮助确认COPD和/或区分COPD的类型。
该图像可以包括分类的字母数字或图形表示，诸如由机器学习的网络输出的非空间或全局估计。显示激活映射的图像和估计的分类二者。
扫描数据可用于生成肺的图像。该图像可以是穿过肺的横截面。替代地，图像是三维分布到二维显示器、3D全息显示器、增强现实显示器或虚拟现实显示器的渲染。激活映射被显示在CT图像附近或叠加在CT图像上。
在一个示例中，图3的生成网络被训练和测试。训练数据集是从COPDgene群组获得的，COPDgene群组包括10306名患有和未患有COPD的受试者的成像和临床数据。基于GOLD分数分类，3311名受试者患有COPD，6247名受试者健康，并且748名受试者的状态未知。该群组中有53％是男性，并且该群组的总体年龄分布为59.54±9.05岁。存在针对COPDgene群组中的受试者的吸气和呼气扫描二者。具有3mm分辨率的呼气扫描用于训练和分类，以发现两种主要类型的COPD。
将图3的模型与逻辑回归进行比较，该逻辑回归使用对通过计算低衰减区域计算出的COPD的基于CT的测量值进行的深度学习。对于每个输入的呼气扫描，以下度量被计算作为逻辑回归的输入特征向量：整个肺中低衰减区域(<-850HU)的百分比、每个肺叶中低衰减区域(<-850HU)的百分比、低衰减区域的平均、最大和最小体积、低衰减区域的平均、最大和最小强度以及总肺体积。使用不同的机器学习方法，生成不同的模型以基于这些特征来预测COPD。直接逻辑回归具有最佳性能，其AUC为0.87。
将图3的模型与利用卷积神经网络的深度学习进行比较。执行使用卷积神经网络(即3D Res50架构)进行的训练，所述卷积神经网络已经在来自Kinetics数据集的视频上被预训练。使用3D肺CT以三种不同方式训练所述模型：(1)利用轴向平面作为输入到视频网络的平面内图像来训练所述模型，其中切片从上到下被视为“时间”，(2)利用矢状平面作为输入到视频网络的平面内图像来训练所述模型，其中切片从左到右被视为“时间”，以及(3)利用冠状平面作为输入到视频网络的平面内图像来训练所述模型，其中切片从前到后被视为“时间”。这三个模型的集成(ensemble)给出了AUC为0.91的最佳结果。
图3的生成网络(即UNET+GAP架构)性能优于来自度量的逻辑回归和使用卷积神经网络的集成。图3的生成网络的AUC为0.93。
将图3的模型与COPD中的其他计算机辅助诊断(CAD)模型进行比较。大多数图像处理和CAD模型都聚焦于根据健康对照组对肺气肿进行分类或对不同类型的肺气肿进行分类。COPD包括各种子类型。由于COPD是一种异质性状况，因此聚焦于肺气肿的CAD模型无法检测到没有可见的肺气肿但具有存在的小的气道疾病的轻度COPD情况。此外，这些CAD模型也无法评估肺气肿和气道疾病对该状况的相对贡献。不同疾病子类型的相对贡献的知识在临床上可用于预后预测和管理治疗计划。通过提供激活映射，图3的模型提供了可用于更好地评估相对贡献的信息。
图3的模型可以预测所有COPD情况，包括那些具有轻度状况的情况。可以提供轻度COPD的早期检测，使患者能够在早期阶段开始针对疾病管理的治疗。
激活映射提供对重要区域的自动检测，并且是可解释和可泛化的。在机器训练中无需明确的图像注释即可检测输入的CT肺扫描中的感兴趣区域。这增加了通常被认为是黑盒方法的深度学习网络的结果的可解释性。这也将有助于增加临床医生和放射科医生的信心和清晰度。
当用于COPD时，该架构可以适应于广泛的以下医学问题，这些医学问题缺乏明确的图像注释，但是具有关于疾病诊断或分级的一些元信息或图像级信息。图像级标记(即，针对整个扫描区域为一个类别)可用于训练和解释各种CAD任务中的输入扫描，各种CAD任务诸如是：肺结节、前列腺病变、乳腺癌、脑肿瘤、肝肿瘤等的检测和分类。
图5示出了用于COPD分类的系统50。系统50实现图1的方法或另一种方法。系统50用于应用机器学习的生成网络。给定输入的成像数据，系统50使用生成网络根据用于分类的经学习的空间特征的值生成COPD映射。虽然下面在应用先前学习的生成网络的情境中描述系统50，但是系统50可以用于对生成网络进行机器训练。
系统50包括图像处理器54、存储器56、显示器58和医学扫描仪52。图像处理器54、存储器56和显示器58被示为与医学扫描仪52分离，诸如是工作站、计算机或服务器的一部分。在替代实施例中，图像处理器54、存储器56和/或显示器58是医学扫描仪52的一部分。在又其他实施例中，系统50不包括医学扫描仪52。可以使用附加的、不同的或更少的组件。
医学扫描仪52是CT、MR、超声、照相机或其他用于扫描患者的肺的扫描仪。在一个实施例中，医学扫描仪52是具有安装到可移动台架的检测器和X射线源的CT系统，用于对患者的上躯干进行三维扫描。医学扫描仪52的图像处理器54或其他处理器执行计算机断层摄影术，以确定三维中组织对X射线的响应的标量值。
所述扫描提供表示肺的扫描数据。通过用户设置或预设置来配置医学扫描仪52以扫描患者的肺，从而产生表示患者的全部或至少部分肺的扫描数据。该成像数据采用任何格式，诸如以规则或均匀分散的3D网格(即均匀体素)分布的标量值。
存储器56是缓冲器、高速缓存、RAM、可移动介质、硬盘驱动器、磁性、光学、数据库或其他现在已知或以后开发的存储器。存储器56是单个设备或两个或更多个设备的组。存储器56被示为与图像处理器54相关联或为图像处理器54的一部分，但是可以在系统50的其他组件之外或远离系统50的其他组件。例如，存储器56是存储来自医学扫描仪52的扫描数据的PACS数据库。
存储器56存储扫描数据、机器学习的网络(ML网络)55、映射生成器57、特征的值、激活映射、图像和/或在图像处理中用于生成激活映射的信息。例如，存储针对存储的成像数据的激活映射和分类。为了训练，训练数据(即，扫描数据和基础事实测量值、分数或诊断)被存储在存储器56中。
存储器56附加地或替代地是具有处理指令的非暂时性计算机可读存储介质。存储器56存储表示可由编程的图像处理器54执行的指令的数据。用于实现本文讨论的过程、方法和/或技术的指令在计算机可读存储介质或存储器(诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质)上提供。机器学习的生成网络可以被存储为用于分类或映射生成的指令的一部分。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的一个或多个指令集，执行附图中所示或本文所述的功能、动作或任务。所述功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特定类型，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。同样，处理策略可以包括多处理、多任务、并行处理等。在一个实施例中，所述指令被存储在可移动介质设备上，以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置，以通过计算机网络或通过电话线传输。在又其他实施例中，所述指令被存储在给定的计算机、CPU、GPU或系统内。
图像处理器54是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、人工智能处理器、上述各项的组合或用于通过应用机器学习的分类器或机器学习的网络55生成激活映射的其他现在已知或以后开发的设备。图像处理器54是单个设备、多个设备或网络。对于多于一个设备，可以使用并行或顺序的处理划分。组成图像处理器54的不同设备可以执行不同的功能，诸如一个处理器应用机器学习的网络55，而另一个处理器使用映射生成器57根据通过应用机器学习的网络55产生的特征的值生成激活映射。在一个实施例中，图像处理器54是医学诊断成像系统(例如，医学扫描仪52)的控制处理器或其他处理器。图像处理器54是由存储的指令、设计(例如，专用集成电路)、固件或硬件配置或根据其操作以执行本文描述的各种动作的硬件设备。
图像处理器54被配置为利用包括编码器和解码器的机器学习的网络55，根据图像数据按照肺中的位置生成COPD级别的空间分布。响应于将表示患者的肺的图像数据输入到被训练为输出针对肺的COPD分类的值的机器学习的网络55，图像处理器54利用映射生成器57生成类别激活映射。解码器的特征用于生成所述映射，即使机器学习的网络55在没有针对空间分布的损失(即，没有针对COPD的空间分布的基础事实)的情况下被训练。例如，仅基于针对具有来自肺部功能测试的基础事实的COPD分类的值在具有损失的情况下训练所述机器学习的网络55。
图像处理器54可以生成图像。所生成的映射、分类和/或成像数据用于生成图像。该图像是患者的肺的图像，突出显示或相对指示不同部分的COPD级别。该图像提供了对COPD诊断有贡献的位置的附加可视化。
显示器58是CRT、LCD、等离子体、投影仪、打印机或其他输出设备，用于示出图像处理器54和/或医学扫描仪52的图像或其他输出。显示器58显示作为COPD级别的空间分布的函数的图像。该图像可以是激活映射，其作为颜色或亮度叠加在肺或部分肺的CT图像上。该图像可以包括针对图像或扫描区域级别的注释、COPD诊断和/或严重性的全局或患者一般估计。
尽管以上已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下可以做出许多改变和修改。因此，旨在将前面的详细描述视为说明性的而不是限制性的，并且应当理解，旨在限定本发明的精神和范围的是包括所有等同物的所附权利要求。

Claims (19)

1.一种用于医学成像系统中的慢性阻塞性肺部疾病COPD分类的方法，所述方法包括：
由医学扫描仪扫描患者的肺，所述扫描提供表示患者的肺的多维区域的第一成像数据；
由图像处理器将机器学习的生成网络应用于第一成像数据，所述机器学习的生成网络被训练为输出COPD分类；
根据来自所述机器学习的生成网络的特征的值来生成激活映射，所述激活映射按照所述多维区域内的位置表示COPD的级别；以及
在显示器上输出来自所述激活映射的图像。
2.根据权利要求1所述的方法，其中，扫描包括：利用作为计算机断层摄影系统的医学扫描仪进行扫描，其中，所述多维区域包括三维区域，并且其中所述激活映射是三维映射。
3.根据权利要求1所述的方法，其中，应用包括：应用所述机器学习的生成网络作为图像到图像卷积深度学习的网络。
4.根据权利要求1所述的方法，其中，应用包括：应用所述机器学习的生成网络作为编码器-解码器卷积网络。
5.根据权利要求1所述的方法，其中，应用包括：应用具有卷积层的所述机器学习的生成网络，所述卷积层输出第一多个空间特征到全局平均层，所述全局平均层向线性S形激活层输出。
6.根据权利要求5所述的方法，其中，生成所述激活映射包括：针对每个位置，所述第一多个空间特征中每一个空间特征的加权和，其中所述加权和的权重来自所述全局平均层。
7.根据权利要求1所述的方法，其中，生成所述激活映射包括：基于来自所述机器学习的生成网络的最后卷积层的特征的值进行生成。
8.根据权利要求1所述的方法，其中，应用包括：应用已经利用基础事实训练的所述机器学习的生成网络，所述基础事实针对第二成像数据的样本的是否患有COPD的二元分类。
9.根据权利要求8所述的方法，其中，应用包括：应用已经利用来自于肺部功能测试中使用呼吸管的测量的基础事实训练的所述机器学习的生成网络。
10.根据权利要求8所述的方法，其中，应用包括：应用已经仅利用针对损失的二元分类训练的所述机器学习的生成网络。
11.根据权利要求1所述的方法，其中，应用包括：应用已经在没有针对所述激活映射的任何损失的情况下训练的所述机器学习的生成网络。
12.根据权利要求1所述的方法，其中，输出包括：作为所述激活映射的二维表示输出所述图像。
13.一种用于慢性阻塞性肺部疾病COPD分类的系统，所述系统包括：
医学扫描仪，被配置为扫描患者的肺，所述扫描产生表示患者的肺的图像数据；
图像处理器，被配置为利用包括编码器和解码器的机器学习的网络，根据图像数据按照肺中的位置生成COPD级别的空间分布；以及
显示器，被配置为根据COPD级别的空间分布显示图像，
其中，所述机器学习的网络包括生成网络，所述生成网络被训练为输出针对肺的COPD分类的值。
14.根据权利要求13所述的系统，其中，所述医学扫描仪包括计算机断层摄影扫描仪，所述计算机断层摄影扫描仪包括所述图像处理器。
15.根据权利要求13所述的系统，其中，所述图像处理器被配置为：当所述机器学习的网络在没有针对所述空间分布的损失的情况下被训练时，基于所述解码器的特征进行生成。
16.根据权利要求13所述的系统，其中，仅基于具有来自肺部功能测试的基础事实的COPD分类的值，在有损失的情况下训练所述机器学习的网络。
17.一种用于医学成像系统中的慢性阻塞性肺部疾病COPD分类的方法，所述方法包括：
生成表示患者的肺中COPD的空间分布的映射，所述映射根据来自图像到图像网络的空间分布特征生成，所述图像到图像网络已经被利用深度学习训练为根据肺部功能测试结果对COPD进行分类，所述空间分布特征被深度学习以区分全局COPD类别，因此按位置反映COPD的级别；
显示所述映射。
18.根据权利要求17所述的方法，其中，生成包括：在所述空间分布特征来自所述图像到图像网络的最后卷积层的情况下，生成所述映射。
19.根据权利要求17所述的方法，其中，生成包括：作为所述空间分布特征的加权和进行生成，所述加权和的权重来自所述图像到图像网络的全局平均层。
CN202010092805.9A 2019-02-14 2020-02-14 利用机器训练的异常检测的copd分类 Active CN111563523B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/275780 2019-02-14
US16/275,780 US10997475B2 (en) 2019-02-14 2019-02-14 COPD classification with machine-trained abnormality detection

Publications (2)

Publication Number Publication Date
CN111563523A CN111563523A (zh) 2020-08-21
CN111563523B true CN111563523B (zh) 2024-03-26

Family

ID=72042569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092805.9A Active CN111563523B (zh) 2019-02-14 2020-02-14 利用机器训练的异常检测的copd分类

Country Status (2)

Country Link
US (1) US10997475B2 (zh)
CN (1) CN111563523B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231703B2 (en) * 2019-08-14 2022-01-25 Hitachi, Ltd. Multi task learning with incomplete labels for predictive maintenance
CN111240743B (zh) * 2020-01-03 2022-06-03 格兰菲智能科技有限公司 人工智能集成电路
US20210393187A1 (en) * 2020-06-19 2021-12-23 Biosense Webster (Israel) Ltd. Ventricular far field estimation using autoencoder
CN112071424A (zh) * 2020-08-31 2020-12-11 吾征智能技术(北京)有限公司 一种基于肺活量数据的疾病预测模型的构建方法及系统
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112560999B (zh) * 2021-02-18 2021-06-04 成都睿沿科技有限公司 一种目标检测模型训练方法、装置、电子设备及存储介质
CN112967260B (zh) * 2021-03-17 2024-01-26 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN113313699A (zh) * 2021-06-09 2021-08-27 光华临港工程应用技术研发(上海)有限公司 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备
CN114532253B (zh) * 2022-04-26 2022-07-22 华南农业大学 一种种蛋活性自动智能检测装置
CN115804585B (zh) * 2023-02-08 2023-06-13 浙江大学 一种基于机械通气波形检测气道高阻力的方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463548A (en) * 1990-08-28 1995-10-31 Arch Development Corporation Method and system for differential diagnosis based on clinical and radiological information using artificial neural networks
US6754380B1 (en) * 2003-02-14 2004-06-22 The University Of Chicago Method of training massive training artificial neural networks (MTANN) for the detection of abnormalities in medical images
CN107492090A (zh) * 2016-06-09 2017-12-19 西门子保健有限责任公司 根据合成数据利用机器学习的基于图像的肿瘤表型分析
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质及设备
CN108010013A (zh) * 2017-11-03 2018-05-08 天津大学 一种肺ct图像肺结节检测方法
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
WO2018205922A1 (en) * 2017-05-08 2018-11-15 Suzhou Complexis Medical Inc. Methods and systems for pulmonary function test based on diagnostic medical imaging and machine learning
CN109065165A (zh) * 2018-07-25 2018-12-21 东北大学 一种基于重建气道树图像的慢性阻塞性肺病预测方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2727080B1 (en) * 2011-06-29 2019-03-13 The Regents of The University of Michigan Analysis of temporal changes in registered tomographic images
US20180192987A1 (en) * 2015-07-07 2018-07-12 Koninklijke Philips N.V. Ultrasound systems and methods for automatic determination of heart chamber characteristics
CN108348204B (zh) * 2015-09-30 2021-09-03 皇家飞利浦有限公司 生成肺状况图
US10043088B2 (en) * 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
EP3489861A1 (en) * 2017-11-24 2019-05-29 Siemens Healthcare GmbH Computer-based diagnostic system
US10258304B1 (en) * 2017-11-29 2019-04-16 Siemens Healthcare Gmbh Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
JP7137935B2 (ja) * 2018-02-27 2022-09-15 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US11756667B2 (en) * 2018-05-30 2023-09-12 Siemens Healthcare Gmbh Decision support system for medical therapy planning
US10973472B2 (en) * 2019-03-05 2021-04-13 Siemens Healthcare Gmbh Artificial intelligence-based material decomposition in medical imaging

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463548A (en) * 1990-08-28 1995-10-31 Arch Development Corporation Method and system for differential diagnosis based on clinical and radiological information using artificial neural networks
US6754380B1 (en) * 2003-02-14 2004-06-22 The University Of Chicago Method of training massive training artificial neural networks (MTANN) for the detection of abnormalities in medical images
CN107492090A (zh) * 2016-06-09 2017-12-19 西门子保健有限责任公司 根据合成数据利用机器学习的基于图像的肿瘤表型分析
WO2018205922A1 (en) * 2017-05-08 2018-11-15 Suzhou Complexis Medical Inc. Methods and systems for pulmonary function test based on diagnostic medical imaging and machine learning
CN108010013A (zh) * 2017-11-03 2018-05-08 天津大学 一种肺ct图像肺结节检测方法
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质及设备
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109065165A (zh) * 2018-07-25 2018-12-21 东北大学 一种基于重建气道树图像的慢性阻塞性肺病预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习的声纹识别方法研究;李晓坤 等；;黑龙江大学工程学报;第09卷(第01期);第64-70页 *
张晓彪 等.基于DR图像处理技术的肺部异常检测概述.中国体视学与图像分析.2018,23(02),第141-149页. *
李晓坤 等.基于深度学习的声纹识别方法研究.黑龙江大学工程学报.2018,09(01),第64-70页. *

Also Published As

Publication number Publication date
CN111563523A (zh) 2020-08-21
US10997475B2 (en) 2021-05-04
US20200265276A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111563523B (zh) 利用机器训练的异常检测的copd分类
JP7069359B2 (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
US10607114B2 (en) Trained generative network for lung segmentation in medical imaging
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10489907B2 (en) Artifact identification and/or correction for medical imaging
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN110121749B (zh) 用于图像采集的深度学习医疗系统和方法
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US10025479B2 (en) Advanced medical image processing wizard
US20180061049A1 (en) Systems and methods for analyzing in vivo tissue volumes using medical imaging data
JP7357927B2 (ja) 診断支援システムおよび方法
US10918309B2 (en) Artificial intelligence-based COPD assessment
US11464491B2 (en) Shape-based generative adversarial network for segmentation in medical imaging
US20050010445A1 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
JP2008521468A (ja) デジタル医療画像分析
US20190354882A1 (en) Artificial intelligence-based self-learning in medical imaging
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN111666966B (zh) 医学成像中基于人工智能的材料分解
US20190130074A1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
US20210142480A1 (en) Data processing method and apparatus
CN112004471A (zh) 用于成像系统快捷模式的系统和方法
EP3477551A1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant