CN110996789B - 执行筛查、诊断或其他基于图像的分析任务的系统和方法 - Google Patents

执行筛查、诊断或其他基于图像的分析任务的系统和方法 Download PDF

Info

Publication number
CN110996789B
CN110996789B CN201880052339.2A CN201880052339A CN110996789B CN 110996789 B CN110996789 B CN 110996789B CN 201880052339 A CN201880052339 A CN 201880052339A CN 110996789 B CN110996789 B CN 110996789B
Authority
CN
China
Prior art keywords
network
data
tomographic
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880052339.2A
Other languages
English (en)
Other versions
CN110996789A (zh
Inventor
王革
M·卡尔拉
J·哈恩
U·克鲁格
丛文相
单洪明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rensselaer Polytechnic Institute
Original Assignee
Rensselaer Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rensselaer Polytechnic Institute filed Critical Rensselaer Polytechnic Institute
Publication of CN110996789A publication Critical patent/CN110996789A/zh
Application granted granted Critical
Publication of CN110996789B publication Critical patent/CN110996789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

使用一个或多个网络和/或算法执行计算机断层扫描(CT)筛查、诊断或其他图像分析任务，以集成互补的断层扫描图像重建和放射组学或将断层扫描原始数据直接映射到机器学习框架中的诊断结果。训练一个或多个重建网络，以从CT投影数据的训练集合重建断层扫描图像。训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征。将网络/算法集成到端到端网络中并进行训练。断层扫描数据(例如CT投影数据)的集合和来自个体的其他相关信息被输入到端到端网络，并基于由端到端网络提取的特征生成针对个体的可能的诊断。所述系统和方法可以应用于CT投影数据、MRI数据、核成像数据、超声信号、光学数据、其他类型的断层扫描数据，或其组合。

Description

执行筛查、诊断或其他基于图像的分析任务的系统和方法
相关申请的交叉引用
本申请要求2017年6月16日提交的美国临时申请62/520,682的权益，该申请全文以引用方式并入，如在本文中公开一样。
背景技术
根据世界卫生组织的数据，癌症是全球死亡的主要原因，仅肺癌在2015年就导致169万人死亡。在美国，肺癌占癌症相关死亡人数的近三分之一。美国国家肺癌筛查试验(NLST)报告，连续三年每年进行低剂量CT(LDCT)肺癌筛查，可使与肺癌相关的死亡人数减少20％。虽然这是一个积极的结果，但筛查提出了主要的临床挑战。例如，LDCT上出现假阳性肺结节的频率很高，放射科医生通常难以可靠地区分恶性肺结节和良性肺结节，导致需要进行后续CT扫描，且有时是侵入性的(肺活检)和昂贵的(PET-CT)测试。一个密切相关的挑战是在肺外癌症患者中，在基线CT对不确定的肺结节的恶性/迁移可能的检测不准确。这些病例通常需要在3、6、9、12和24个月进行后续CT，PET-CT或组织活检以表征这些肺结节。此外，据预测，LDCT将需要在5年内提供274亿美元的医疗保险预算，相当于每避免一个额外肺癌死亡约240,000美元(假设LDCT筛查的依从率为75％)。相对于针对乳腺癌的数字化乳腺X线摄影筛查，LDCT的费用大约高三倍。
放射组学(radiomics)已被提出作为评估筛查LDCT时检测到的肺结节的有前景的方法。放射组学概念背后的关键思想是图像包含的信息多于视觉上能够感知的信息，并且可以提取隐藏的信息。因此，尽管目前的放射组学技术从根本上受到限制，但放射组学具有通过降低成本和加快诊断肺癌的时间来转变筛查LDCT的潜力。
发明内容
所公开的主题的一些实施例涉及用于执行筛查、诊断或其他基于图像的分析任务的系统。在一些实施例中，所述系统包括与计算机设备耦合的非暂时性计算机存储介质，所述计算机设备包括一个或多个处理器，所述一个或多个处理器配置为执行在所述非暂时性计算机存储介质上编码的一个或多个计算机程序，用于对个体进行检查。在一些实施例中，所述一个或多个计算机程序包括经训练的端对端网络，包括重建模块，所述重建模块包括一个或多个重建算法，例如，滤波反投影(FBP)类型算法或迭代压缩感测算法，和/或网络，经训练用于从个体的断层扫描数据的集合重建强调一个或多个图像特征(例如边界、纹理等)的断层扫描图像，以及与重建模块集成的放射组学模块，所述放射组学模块包括一个或多个经训练用于提取断层扫描图像中的特征的放射组学网络以对个体进行诊断性检查。在一些实施例中，所述系统包括网络训练模块，所述网络训练模块用断层扫描训练数据进行训练以将它们映射到相关联的训练诊断数据、真实断层扫描样本图像、人类注释的目标区域分割训练图像以及特征标记的目标区域训练图像。在一些实施例中，所述系统将断层扫描训练数据直接映射到最终诊断结果，而无需明确涉及中间图像，即，绕过重建的图像。在一些实施例中，断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等，或其组合。
在一些实施例中，所述一个或多个重建网络包括经训练以将断层扫描数据重建为粗糙图像的第一网络，所述第一网络包括基于网络的FBP，其包括至少CNN层和反投影层，所述CNN层包括一个或多个滤波器；以及经训练以细化粗糙图像并输出断层扫描图像的第二网络，所述第二网络包括CNN层，所述CNN层包括一个或多个滤波器或稀疏连接层，或其组合。在一些实施例中，所述第二网络包括具有鉴别器的第一GAN，所述第一GAN用至少一些真实的断层扫描样本图像进行训练。
在一些实施例中，所述一个或多个放射组学网络包括经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像的第三网络，所述第三网络包括CNN层或稀疏连接层或其组合，以及第四网络，所述第四网络经训练以提取目标区域和相关联的诊断数据中的特征，以输出特征提取的断层扫描图像，并针对断层扫描数据的集合识别可能的诊断，所述第四网络包括第四CNN层，所述第四CNN层包括一个或多个滤波器或稀疏连接层或其组合。在一些实施例中，第三网络包括具有鉴别器的第二GAN，所述第二GAN利用至少一些人类注释的目标区域分割训练图像进行训练。在一些实施例中，所述第四网络包括具有第三鉴别器的第三GAN，所述第三GAN首先利用来自第三网络的目标区域分割输出图像以无监督的方式训练，以去除噪声和/或伪像，并基于提取的特征学习分类，随后以受监督的方式使用特征标记的目标区域训练图像、诊断训练数据或其组合进行训练，以从目标区域提取特征。
所公开的主题的一些实施例涉及执行计算机断层扫描(CT)筛查、诊断或其他基于CT的图像分析任务的方法。在一些实施例中，所述方法包括提供来自目标个体的CT投影数据的训练集合和相关联的训练诊断数据。在一些实施例中，所述方法包括训练一个或多个重建网络和/或使用一个或多个重建算法以从CT投影数据的训练集合重建断层扫描图像。在一些实施例中，所述方法包括训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征以诊断性地检查目标个体。在一些实施例中，所述方法包括将一个或多个重建网络/算法和一个或多个放射组学网络集成到端到端网络中。在一些实施例中，所述方法包括训练端到端网络。在一些实施例中，所述方法包括将来自个体的至少CT投影数据集合输入至端到端网络中。在一些实施例中，所述方法包括基于由端到端网络提取的特征为个体生成可能的诊断。
在一些实施例中，所述一个或多个重建网络包括经训练以从CT投影数据集合重建粗糙图像的第一网络和经训练以细化粗糙图像并输出断层扫描图像的第二网络。在一些实施例中，所述第一网络为基于网络的滤波反投影(FBP)，其包括至少卷积神经网络(CNN)层和反投影层，所述CNN层包括一个或多个滤波器。在一些实施例中，所述第二网络至少包括具有一个或多个滤波器的CNN层，以及具有鉴别器的第一生成式对抗网络(GAN)，所述GAN确定重建的断层扫描图像和真实的断层扫描样本图像之间的损失。
在一些实施例中，所述一个或多个放射组学网络包括经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像的第三网络，以及经训练以提取目标区域和相关联的诊断数据中的特征的第四网络，以输出特征提取的断层扫描图像，并从CT投影数据的集合中识别可能的诊断。在一些实施例中，其中所述第三网络包括至少CNN或稀疏连接层，以及具有鉴别器的第二GAN，所述第二GAN确定目标区域分割输出图像与人类注释的目标区域分割训练图像之间的损失。在一些实施例中，所述第四网络包括CNN层，所述CNN层包括一个或多个滤波器；以及具有鉴别器的第三GAN，所述第三GAN确定特征提取的断层扫描图像与特征标记的目标区域训练图像之间的损失。在一些实施例中，所述第四网络用目标区域分割输出图像以无监督和/或迁移学习方式训练，以去除噪声和/或伪像，并基于提取的特征学习分类。在一些实施例中，在无监督的训练和/或迁移学习之后，所述第四网络以有监督的方式进行微调。
在一些实施例中，相关联的训练诊断数据包括病理结果、组织学发现、临床报告、实验室测试、遗传概况、基因组测定、蛋白质组测定等，或其组合。
所公开的主题的一些实施例涉及一种执行CT筛查、诊断或其他基于CT的图像分析任务的方法，所述方法绕过断层扫描图像重建以直接执行“原始数据组学(rawdiomics)”；即，原始数据直接端到端映射到放射组学而不明确涉及中间图像。在一些实施例中，所述方法包括：提供来自目标个体的断层扫描训练数据的集合和相关联的训练诊断数据；训练一个或多个网络以从目标个体的断层扫描训练数据和相关的训练诊断数据中提取特征；将一个或多个网络整合到统一端到端网络；使用来自目标个体的断层扫描训练数据和相关联的训练诊断数据来训练统一网络；将来自个体的断层扫描数据(例如X射线超声图等的原始数据)的集合输入到所述统一端到端网络；以及基于由所述统一端到端网络提取的特征为所述个体生成可能的诊断。
附图说明
为了解释本发明，附图示出了所公开的主题的实施例。但是，应当理解，本申请不限于附图中示出的精确布置和手段，其中：
图1为根据现有技术的用于执行图像分析和放射组学的工作流程的示意图；
图2A为根据所公开的主题的一些实施例的用于执行图像分析和放射组学的系统的示意图；
图2B为根据所公开的主题的一些实施例的用于执行图像分析的网络的示意图；
图2C为根据所公开的主题的一些实施例的用于执行放射组学的网络的示意图；
图3A为根据所公开的主题的一些实施例的用于执行图像分析和放射组学的工作流程的示意图；
图3B为根据所公开的主题的一些实施例的执行图像分析和放射组学的方法；
图4为根据所公开的主题的一些实施例的用于执行原始数据组学的系统的示意图；
图5A为根据所公开的主题的一些实施例的用于执行原始数据组学的工作流的示意图；
图5B为根据所公开的主题的一些实施例的执行原始数据组学的方法的流程图；
图6A为示出来自同一数据集的不同重建图像的图表；和
图6B为示出通过迁移学习使用神经网络提取放射组学特征的图表。
具体实施方式
现在参照图2A，所公开的主题的各方面包括系统200，用于执行筛查、诊断或与个体(例如病人)的检查和/或诊断有关的其他基于图像的分析任务。在一些实施例中，系统200包括与计算设备204耦合的非暂时性计算机存储介质202，所述计算设备204包括一个或多个处理器206。非临时性计算机存储介质202可以是能够临时地、永久地或其组合以电子方式存储数据的任何合适的存储介质。计算设备204可以是用于经由有线或无线通信与系统200的数据进行交互的任何合适的设备，例如台式计算机、膝上型计算机、智能设备等。所述一个或多个处理器206配置为执行在非临时性计算机存储介质202上编码的一个或多个计算机程序208。
所述一个或多个计算机程序208配置为单独或以某种组合的方式检查和帮助诊断个体，例如针对一种或多种疾病、病情等。在一些实施例中，所述一个或多个计算机程序208包括网络210，例如人工神经网络(ANN)。在一些实施例中，对网络210进行训练，如将在下面更详细地讨论的。网络210在本文中被描述为软件，但是本公开不限于此，因为可以想到其他配置，包括其中网络210作为软件和硬件的组合或者纯硬件来操作。
在一些实施例中，网络210包括重建模块212，所述重建模块212包括一个或多个重建网络214、算法216，或其组合。训练重建模块212以从来自正在接受检查或筛查的个体的断层扫描数据重建断层扫描图像。在一些实施例中，多个不同的断层扫描图像从同一训练数据集重建，例如使用一个或多个重建网络214、算法216或以上所述的组合，其中，不同的断层扫描图像强调一个或多个图像特征，例如边界/纹理等。然后，连接在一起考虑多个不同的断层扫描图像来整体训练模块。断层扫描数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等或其组合。在一些实施例中，网络210包括放射组学模块218，其包括一个或多个放射组学网络220。对放射组学模块218进行训练以提取断层扫描图像(例如，从重建模块212重建的断层扫描图像)中的特征，以诊断性地检查正在接受检查或筛查的个体。在一些实施例中，将重建模块212和放射组学模块218集成为端到端网络，其有利地将断层扫描数据的重建集成到断层扫描图像、图像处理/分析和特征提取(例如放射组学)，以有利地提供用于根据个体自己的原始断层扫描数据、相关的诊断数据或其组合来筛查和/或诊断个体。可以筛查或诊断的示例性疾病和/或病症包括但不限于良性和恶性肿瘤、癌症(例如肺癌、肝癌、结肠癌等)、肺气肿、慢性阻塞性肺疾病(COPD)等。
为了针对网络210提供准确的筛查、诊断和/或其他信息处理任务，在来自并代表人群中的一组目标个体的训练数据集222上对网络210进行训练。在一些实施例中，网络210包括用于在训练数据集222上训练网络210的网络训练模块224。有利的是，训练数据集包括尽可能多的代表性数据，并且数据本身尽可能准确，以使训练模块224提供给网络210的训练质量最大化，从而使来自网络的筛查、检查和/或诊断的可靠性最大化。在一些实施例中，训练数据集222包括但不限于断层扫描训练数据(例如，正弦图)、相关的训练诊断数据、真实的断层扫描样本图像、人类注释的目标区域分割训练图像、特征标记的目标区域训练图像，或其组合。在一些实施例中，断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等或其组合。在一些实施例中，相关的训练诊断数据包括但不限于病理结果、组织学发现、临床报告、实验室测试、遗传概况、基因组测定、蛋白质组测定等，或其组合。
在一些实施例中，网络训练模块224配置为训练重建模块212，以从来自正在接受检查或筛查的个体的断层扫描数据的集合重建断层扫描图像。系统200和重建模块212的框架部分地用于建立从原始数据和/或低质量输入图像到较高质量输出图像的数据驱动的关系。不希望受到理论的束缚，令X∈m×m为带有噪声和伪影的输入图像，并且Y∈Rm×n为对应的地面真实图像(ground truth image)，其关系公式为等式1
Y＝f(X) (1)
其中f：Rm×n→Rm×n表示使用重建模块212通过训练数据集222或更一般地在先知识库学习的映射。在一些实施例中，该过程的公式为：
重建模块212设计为作为示例实现等式2(具有根据平方误差的示例性损失函数)，如将在下面更详细地描述的。
在一些实施例中，网络训练模块224配置为训练放射组学模块218以提取断层扫描图像中的特征以诊断性地检查正在接受检查或筛查的个体。在一些实施例中，当将重建模块212和放射组学模块218集成为端到端网络时，网络训练模块224配置为将端到端网络从原始数据训练到最终诊断，用于执行筛查、诊断或与个体的检查和/或诊断有关的其他基于图像的分析任务，如下文将更详细地讨论的。
现在参照图2B，在一些实施例中，重建模块212包括第一网络214A，其被训练以从断层扫描数据(例如，CT投影数据的集合)重建一个或多个粗糙图像。在一些实施例中，第一网络214A包括基于网络的滤波反投影(FBP)，其至少包括卷积神经网络(CNN)层和反投影层。如本文所使用的，CNN包括至少一个卷积层。在一些实施例中，CNN层包括一个或多个滤波器。在一些实施例中，重建模块212包括第二网络214B，其被训练以细化粗糙图像并输出断层扫描图像。在一些实施例中，网络214A和214B被组合成联合网络以直接重建图像。例如，参见H.Chen等人，“LEARN：Learned Experts’Assessment-Based ReconstructionNetwork for Sparse-Data CT(学习：用于稀疏数据CT的基于专家经验评估的重建网络)”，IEEE Transactions on Medical Imaging(IEEE医学影像汇刊)，第37卷，第6期，第1333-1347页，2018年6月，其全部内容通过引用并入，如在本文中公开一样。在一些实施例中，第二网络214B至少包括诸如CNN层等的稀疏连接层。在一些实施例中，CNN层包括一个或多个滤波器。在一些实施例中，第二网络214B至少包括生成式对抗网络(GAN)。在不希望受到理论的束缚的情况下，GAN包括两个组件：生成器和鉴别器。生成器旨在提供输出(例如，重建的图像)，鉴别器旨在区分生成器输出和输出的真正/真实对应项，即测量它们之间的差异以做出判断。在GAN的训练中，生成器和鉴别器彼此竞争，直到鉴别器无法分辨出生成器的人工输出与真实对应项之间的差异。在一些实施例中，第二网络214B GAN具有用至少一个真实断层扫描样本图像训练的鉴别器。训练第二网络214B GAN，以在例如由网络214A和/或214B重建的断层扫描图像与真实断层扫描样本图像之间区分，例如确定差异。
现在参照图2C，在一些实施例中，放射组学模块218包括第三网络220A，第三网络220A经训练以在断层扫描图像中识别例如肺结节、肝脏肿块或其他生长周围的目标区域，并输出其中对目标区域从图像的背景进行了分割的图像，即作为目标区域分割输出图像。在一些实施例中，第三网络220A至少包括稀疏连接层，诸如CNN层。在一些实施例中，CNN层包括一个或多个滤波器。在一些实施例中，第三网络220A包括至少具有鉴别器的GAN，所述GAN用至少一个人类注释的目标区域分割训练图像进行训练。训练第三网络220A GAN以在目标区域分割输出图像与人类注释的目标区域分割训练图像之间进行区分，例如确定差异。
在一些实施例中，放射组学模块218包括第四网络220B，第四网络220B经训练以从目标区域分割图像、相关联的诊断数据或其组合中提取目标区域中的特征，并输出特征提取的断层扫描图像和/或针对断层扫描数据的集合识别出的可能的诊断。在一些实施例中，第四网络220B至少包括诸如CNN层等的稀疏连接层。在一些实施例中，CNN层包括一个或多个滤波器。在一些实施例中，第四网络220B包括至少具有鉴别器的GAN。训练第四网络220BGAN，以在特征提取的断层扫描图像和特征标记的目标区域训练图像之间进行区分，例如确定差异。在一些实施例中，用来自第三网络220A的目标区域分割输出图像以无监督的方式来训练第四网络220B，以去除噪声和/或伪像，并基于提取的特征学习分类。在一些实施例中，第四网络220B以受监督的方式用特征标记的目标区域训练图像、诊断训练数据或其组合进行训练，以从目标区域提取特征。在一些实施例中，第四网络220B通过迁移学习来训练。在一些实施例中，第四网络的训练是无监督的、有监督的、经由迁移学习，或其组合。在一些实施例中，首先以无监督的方式训练网络220A和/或220B，然后以有监督的方式对其进行微调。在一些实施例中，网络220A和220B被组合成单个网络并且一起进行训练。
现在参考图1、3A和3B，本公开有利地改进了与个体检查和/或诊断有关的基于图像的分析任务的现有技术的方法。具体参考图3B，本公开的一些方面涉及执行筛查、诊断或其他基于图像的分析任务(例如，CT筛查)的方法300。在方法300的一些实施例中，在302，提供来自目标个体的断层扫描训练数据的集合和相关联的训练诊断数据。如上所述，在一些实施例中，所述断层扫描训练数据的集合包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等或其组合的训练集合。在一些实施例中，在304A，训练一个或多个重建网络以从断层扫描训练数据的集合重建断层扫描图像。在一些实施例中，在304B，使用一种或多种重建算法来从断层扫描训练数据的集合重建断层扫描图像。在一些实施例中，方法300同时包括训练重建网络304A和使用算法304B。
在306，训练一个或多个放射组学网络以从断层扫描图像、相关联的训练诊断数据或其组合提取特征，以诊断性地检查目标个体。在308，将所述一个或多个重建网络/算法和所述一个或多个放射组学网络集成到端到端网络中。在一些实施例中，在310，对端到端网络本身训练(同时或以交替的方式)，例如在相同的断层扫描训练数据的集合和相关联的训练诊断数据上，或在不同的断层扫描训练数据的集合和相关的训练诊断数据上，或其组合。
在312，来自个体的至少断层扫描数据(例如，CT投影数据)的集合输入到经训练的端到端网络。在314，基于由经训练的端到端网络提取的特征，输出针对个体的可能诊断。
现在参照图4，在一些实施例中，如上所述的用于筛查或诊断个体的系统200提取特征并直接从断层扫描数据识别出诊断，绕开了明确的断层扫描图像重建。在这些实施例中，这里称为系统400，非暂时性计算机存储介质402与包括一个或多个处理器406的计算设备404耦合。所述一个或多个处理器406配置为执行在非临时性计算机存储介质402上编码的一个或多个计算机程序408。
正如上述系统200，在系统400中，所述一个或多个计算机程序408配置为，单独或以某种组合，经由经训练的统一端到端网络410检查和帮助诊断个体，例如针对一种或多种疾病、病情等。在一些实施例中，经训练的统一端到端网络410包括放射组学模块412，所述放射组学模块412包括一个或多个网络414、图像处理/分析算法416，或其组合。以上文关于网络214A、214B等讨论的相同方式，在系统400中，构造一个或多个网络414，并且对放射组学模块412进行训练，以直接从来自目标个体的断层扫描训练数据和相关联的训练诊断数据中提取特征，以诊断性地检查个体。
在一些实施例中，网络410包括用于在训练数据集420上训练网络410的网络训练模块418，如以上关于网络训练模块224所描述的。在一些实施例中，训练数据集420包括但不限于来自目标个体群体的断层扫描训练数据和相关联的训练诊断数据。在一些实施例中，断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据等，或其组合。在一些实施例中，相关的训练诊断数据包括但不限于病理结果、组织学发现、临床报告、实验室测试、遗传概况、基因组测定、蛋白质组测定等，或其组合。
现在参考图1、5A和5B，本公开的一些方面涉及执行筛查、诊断或其他基于图像的分析任务的方法500，所述方法绕过断层扫描图像重建以执行“原始数据组学”，即将原始数据直接端到端映射到诊断特征/发现。具体参考图5B，在502，提供来自目标个体的断层扫描训练数据的集合和相关联的训练诊断数据。在504，训练一个或多个网络以从来自例如目标人群中的目标个体的断层扫描训练数据和相关联的训练诊断数据中提取特征。在506，将所述一个或多个网络集成到统一端到端网络中。在508，利用来自目标个体的断层扫描训练数据和相关联的训练诊断数据来训练统一网络。在510，来自个体(例如患者)的断层扫描数据的集合被输入到统一端到端网络中。在512，基于由统一端到端网络提取并输出的特征来识别针对个体的可能的诊断。
本公开的方法和系统有利地提供用于筛查、诊断或与个体检查有关的其他基于图像的分析任务的优化的整体工作流程。这是断层扫描重建和放射组学的协同统一的特征，因此原始数据中固有的信息可以在机器学习框架中得到充分利用。通过应用深度学习和相关技术，系统提供相对于标准分析和/或迭代方法的全面断层扫描重建以及丰富的诊断相关特征的大型搜索空间。本公开的系统和方法显著改善了与放射组学相关的任务的性能，例如目标区域分割和特征提取，这使用传统技术可能是繁琐的、昂贵的并且相对不可靠。具体地，传统的手工制作的特征通常限于基于形状和基于纹理的特征，而本公开的网络能够提取数百万甚至数十亿个特征以极大地提升分类和筛查能力。最终，即使在唯一可用的数据是原始断层扫描数据的情况下，即，图像重建可能会或可能不会明确涉及有效的诊断，本文所述的集成框架也允许对个体进行显著更快、更可靠的检查和诊断。因此，通过使用本公开的系统来减少操作员的矛盾并更好地将真正有风险的患者与广泛定义的患者人群中的低风险患者区分开来(例如具有结肠癌、肝癌和肺癌等病史的人，传统上通常会对该人群的所有成员进行相同的治疗)，能够将医疗护理的总体成本以及对患者过度治疗和测试的偏差降到最低。
实例
均进行了患者断层扫描数据的断层图像重建和重建图像的放射组学分析。现在参照6A，分别使用三种代表性图像重建算法从原始患者数据重建CT图像，以突出显示不同类型的特征：(a)使用我们新开发的揭示丰富特征的基于低维流形(LDM)的方法，(b)使用SART-TV算法获得精细的阴影差异，以及(c)使用FBP算法获得高空间分辨率。参见，例如Cong,W.、Wa ng,G.、Yang,Q.、Hsieh,J.、Li,J.&Lai,R.(2017).CT Image Reconstructionin a Low Dimensional Manifold(低维流形的CT图像重建).CoRR，abs/1704.04825，其通过引用并入本文，如同其全文在此公开。现在参照图6B，描绘了基于CNN的肺结节分类：(a)经过微调和特征选择后从预先训练的AlexNet中用于特征提取的网络结构，(b)在二维空间中可视化的学习特征，其中水平轴和垂直轴将前两个主要成分(PC)分开恶性(红色)和良性(蓝色)样本，以及(c)我们提出的方法FTCov4的性能优于现有技术的纹理描述符，例如定向梯度的直方图(HOG)和局部二进制模式(LBP)。参见例如Shan H、Wang G、Kalra MK、de Souza R、Zhang J：Enhancing Transferability of Features from Pretrained DeepNeura l Networks for Lung Nodule Classification(增强来自预训练的深度神经网络的特征的可迁移性以进行肺结节分类)。在：The Proceedings of the 2017InternationalConferenc e on Fully Three-Dimensional Image Reconstruction in Radiology andNuclear Medic ine(Fully3D)(2017年放射与核医学全三维图像重建国际会议论文集(全3D))，中国西安，2017，其通过引用并入本文，如同其全文在此公开。该实例示出了本公开中所描述的原始数据组学系统和方法的潜力和力量，即以前要接受统一治疗(例如，相同的检查频率、预防性筛查等)的患者群体现在可以更好地进行细分，以便可以将时间和资源按比例分配给迁移风险较高的患者，而迁移风险较低的患者则不必接受不必要的治疗。
尽管已经针对本公开的实施例描述和说明了所公开的主题，但是本领域技术人员应当理解，所公开的实施例的特征可以进行组合、重新设置等，以得到在本发明的范围内的其他实施例。在不脱离本发明的精神和范围的情况下，可以对其进行各种其他改变、省略和添加。

Claims (20)

1.一种执行计算机断层扫描(CT)筛查、诊断或其他基于CT的图像分析任务的方法，包括：
提供来自目标个体的CT投影数据的训练集合和相关联的训练诊断数据；
训练一个或多个重建网络，以从CT投影数据的训练集合重建断层扫描图像；
训练一个或多个放射组学网络以从断层扫描图像和相关联的训练诊断数据中提取特征以诊断性地检查目标个体；
将所述一个或多个重建网络和所述一个或多个放射组学网络集成到端到端网络；
训练所述端到端网络；
将至少来自个体的CT投影数据的集合输入至所述端到端网络中；以及
基于由所述端到端网络提取的特征为所述个体提供可能的诊断。
2.根据权利要求1所述的方法，其中，所述一个或多个重建网络包括：
第一网络，经训练以将所述CT投影数据的集合重建为粗糙图像；和
第二网络，经训练以细化所述粗糙图像并输出断层扫描图像。
3.根据权利要求2所述的方法，其中，所述第一网络为基于网络的滤波反投影(FBP)，其包括至少卷积神经网络(CNN)层和反投影层，所述CNN层包括一个或多个滤波器。
4.根据权利要求2所述的方法，其中，所述第二网络包括至少CNN层，所述CNN层包括一个或多个滤波器，以及第一生成式对抗网络(GAN)，所述第一生成式对抗网络具有鉴别器，确定重建的断层扫描图像和真实的断层扫描样本图像之间的损失。
5.根据权利要求1所述的方法，其中，所述一个或多个放射组学网络包括：
第三网络，经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像；以及
第四网络，经训练以提取目标区域中的特征和相关联的诊断数据以输出特征提取的断层扫描图像并从所述CT投影数据的集合识别可能的诊断。
6.根据权利要求5所述的方法，其中，所述第三网络包括至少CNN和第二GAN，所述第二GAN具有鉴别器，确定所述目标区域分割输出图像与人类注释的目标区域分割训练图像之间的损失。
7.根据权利要求5所述的方法，其中，所述第四网络包括CNN层，所述CNN层包括一个或多个滤波器，以及第三GAN，所述第三GAN具有鉴别器，确定所述特征提取的断层扫描图像与特征标记的目标区域训练图像之间的损失。
8.根据权利要求7所述的方法，其中，所述第四网络用目标区域分割输出图像以无监督方式进行训练以去除噪声和/或伪像，以及通过迁移学习基于提取的特征来学习分类，或其组合。
9.根据权利要求8所述的方法，其中，在无监督的训练、迁移学习或其组合之后，所述第四网络以有监督的方式进行微调。
10.根据权利要求1所述的方法，其中，所述相关联的训练诊断数据包括病理结果、组织学发现、临床报告、实验室测试、遗传概况、基因组测定、蛋白质组测定，或其组合。
11.一种用于执行筛查、诊断或其他基于图像的分析任务的系统，包括：
与计算机设备耦合的非暂时性计算机存储介质，所述计算机设备包括一个或多个处理器，所述一个或多个处理器配置为执行在所述非暂时性计算机存储介质上编码的一个或多个计算机程序，用于对个体进行检查，所述一个或多个计算机程序包括：
经训练的端到端网络，包括：
重建模块，包括一个或多个重建网络，所述重建网络经训练以从来自个体的断层扫描数据的集合重建断层扫描图像；以及
与所述重建模块集成的放射组学模块，所述放射组学模块包括一个或多个放射组学网络，其经训练以提取断层扫描图像中的特征以诊断性地检查个体。
12.根据权利要求11所述的系统，还包括网络训练模块，所述网络训练模块包括断层扫描训练数据、相关联的训练诊断数据、真实断层扫描样本图像、人类注释的目标区域分割训练图像以及特征标记的目标区域训练图像。
13.根据权利要求12所述的系统，其中，所述一个或多个重建网络包括：
第一网络，经训练以将断层扫描数据重建为粗糙图像，所述第一网络包括基于网络的FBP，所述基于网络的FBP包括至少CNN层和反投影层；以及
第二网络，经训练以细化所述粗糙图像并输出断层扫描图像，所述第二网络包括至少CNN层或稀疏连接层。
14.根据权利要求12所述的系统，其中，所述一个或多个放射组学网络包括：
第三网络，经训练以识别断层扫描图像中的目标区域并输出目标区域分割输出图像，所述第三网络包括至少CNN层或稀疏连接层；以及
第四网络，经训练以提取目标区域和相关联的诊断数据中的特征以输出特征提取的断层扫描图像并针对断层扫描数据的集合识别的可能的诊断，所述第四网络包括至少CNN层或稀疏连接层。
15.根据权利要求13所述的系统，其中，所述第二网络包括利用至少一些真实断层扫描样本图像训练的GAN。
16.根据权利要求14所述的系统，其中，所述第三网络包括利用至少一些人类注释的目标区域分割训练图像训练的GAN。
17.根据权利要求14所述的系统，其中，所述第四网络包括GAN，所述GAN首先利用来自第三网络的目标区域分割输出图像以无监督的方式训练，以去除噪声和/或伪像，以及基于提取的特征学习分类，随后以受监督的方式利用特征标记的目标区域训练图像、诊断训练数据或其组合进行训练，以从目标区域提取特征。
18.根据权利要求12所述的系统，其中，所述断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据，或其组合。
19.一种执行筛查、诊断或其他基于图像的分析任务的方法，包括：
提供来自目标个体的断层扫描训练数据的集合和相关联的训练诊断数据；
训练一个或多个网络以从来自目标个体的断层扫描训练数据和相关联的训练诊断数据中提取特征以及以将提取的特征直接映射到诊断特征；
将所述一个或多个网络集成到统一端到端网络中；
利用来自目标个体的断层扫描训练数据和相关联的训练诊断数据训练统一网络；
将来自个体的断层扫描数据的集合输入至统一端到端网络；以及
基于由统一端到端网络提取的特征为个体提供可能的诊断。
20.根据权利要求19所述的方法，其中，所述断层扫描训练数据包括CT投影数据、MRI数据、核成像数据、超声信号、光学数据，或其组合。
CN201880052339.2A 2017-06-16 2018-06-18 执行筛查、诊断或其他基于图像的分析任务的系统和方法 Active CN110996789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762520682P 2017-06-16 2017-06-16
US62/520,682 2017-06-16
PCT/US2018/038040 WO2018232388A1 (en) 2017-06-16 2018-06-18 Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks

Publications (2)

Publication Number Publication Date
CN110996789A CN110996789A (zh) 2020-04-10
CN110996789B true CN110996789B (zh) 2024-04-16

Family

ID=64659550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052339.2A Active CN110996789B (zh) 2017-06-16 2018-06-18 执行筛查、诊断或其他基于图像的分析任务的系统和方法

Country Status (6)

Country Link
US (1) US11049244B2 (zh)
EP (1) EP3638115A4 (zh)
JP (1) JP7123983B2 (zh)
KR (1) KR102645120B1 (zh)
CN (1) CN110996789B (zh)
WO (1) WO2018232388A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183584A1 (en) * 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
US10956785B2 (en) 2018-04-27 2021-03-23 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for selecting candidates for annotation for use in training classifiers
WO2020003533A1 (en) * 2018-06-29 2020-01-02 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
KR102175923B1 (ko) * 2018-12-27 2020-11-06 건양대학교 산학협력단 초음파 진단 영상의 스페클 패턴 축소 시스템
JP7086878B2 (ja) * 2019-02-20 2022-06-20 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US20200381096A1 (en) * 2019-06-03 2020-12-03 The Board Of Trustees Of The Leland Stanford Junior University Methods of Predicting Disorder Progression for Control Arms Within an Experimental Trial
CN110534192B (zh) * 2019-07-24 2023-12-26 大连理工大学 一种基于深度学习的肺结节良恶性识别方法
JP7394588B2 (ja) * 2019-11-07 2023-12-08 キヤノン株式会社 情報処理装置、情報処理方法、および撮像システム
US11139072B2 (en) 2019-12-04 2021-10-05 International Business Machines Corporation Three-dimensional medical image generation
WO2021184389A1 (zh) * 2020-03-20 2021-09-23 深圳先进技术研究院 一种图像重建方法、图像处理装置及具有存储功能的装置
CN111388000B (zh) * 2020-03-27 2023-08-25 上海杏脉信息科技有限公司 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端
US11810312B2 (en) 2020-04-21 2023-11-07 Daegu Gyeongbuk Institute Of Science And Technology Multiple instance learning method
KR102348869B1 (ko) * 2020-05-04 2022-01-12 재단법인대구경북과학기술원 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
WO2021230687A1 (ko) * 2020-05-13 2021-11-18 주식회사 루닛 의학 데이터로부터 바이오마커와 관련된 의학적 예측을 생성하는 방법 및 시스템
KR102644841B1 (ko) * 2020-12-09 2024-03-11 한국과학기술원 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 다중 초음파 영상 처리 방법 및 그 장치
KR102510221B1 (ko) * 2020-12-24 2023-03-15 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
KR102506203B1 (ko) * 2021-02-01 2023-03-07 한국과학기술원 메탈 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
NL2028271B1 (en) * 2021-05-21 2022-12-06 Acad Ziekenhuis Maastricht Method of performing radiomics analysis on image data.
KR102466061B1 (ko) * 2021-07-02 2022-11-10 가천대학교 산학협력단 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
CN114241407B (zh) * 2021-12-10 2023-05-23 电子科技大学 一种基于深度学习的近距离屏幕监控方法
DE102021214741B3 (de) * 2021-12-20 2023-02-23 Siemens Healthcare Gmbh Verfahren zum Generieren von synthetischen Röntgenbildern, Steuereinheit und Computerprogramm
KR102690591B1 (ko) * 2021-12-21 2024-07-31 조상욱 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법
CN117372556B (zh) * 2023-09-20 2024-07-02 深圳市元甪科技有限公司 肺部成像方法、装置、计算机设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
CN1820274A (zh) * 2003-06-27 2006-08-16 美国西门子医疗解决公司 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN101061490A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 利用支持向量机（svm）在计算机辅助检测（cad）中进行假阳性降低的系统和方法
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法
CN106530366A (zh) * 2015-09-09 2017-03-22 清华大学 能谱ct图像重建方法及能谱ct成像系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748044B2 (en) * 2002-09-13 2004-06-08 Ge Medical Systems Global Technology Company, Llc Computer assisted analysis of tomographic mammography data
JP4480508B2 (ja) 2004-08-02 2010-06-16 富士通株式会社 診断支援プログラムおよび診断支援装置
CN101065762A (zh) 2004-11-23 2007-10-31 伊斯曼柯达公司 使用组织信息的自动放射线照片分类
WO2009020687A2 (en) 2007-05-18 2009-02-12 Henry Ford Health System Mri estimation of contrast agent concentration using a neural network approach
US9478022B2 (en) * 2011-08-22 2016-10-25 Siemens Medical Solutions Usa, Inc. Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring
WO2015023732A1 (en) * 2013-08-13 2015-02-19 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
WO2015134665A1 (en) * 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
EP3190963A4 (en) * 2014-09-11 2018-04-25 The Medical College of Wisconsin, Inc. Systems and methods for estimating histological features from medical images using a trained model
US9687199B2 (en) * 2014-09-15 2017-06-27 Wisconsin Alumni Research Foundation Medical imaging system providing disease prognosis
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
US10004471B2 (en) * 2015-08-06 2018-06-26 Case Western Reserve University Decision support for disease characterization and treatment response with disease and peri-disease radiomics
US9569736B1 (en) * 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US20170362585A1 (en) * 2016-06-15 2017-12-21 Rensselaer Polytechnic Institute Methods and apparatus for x-genetics
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
KR101768812B1 (ko) 2016-07-05 2017-08-17 고려대학교 산학협력단 흉부 단층영상에서 검색된 폐결절의 암 진단 보조 시스템 및 프로그램
CN106372390B (zh) 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106780460B (zh) 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
US11039805B2 (en) * 2017-01-05 2021-06-22 General Electric Company Deep learning based estimation of data for use in tomographic reconstruction
US11315221B2 (en) * 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1820274A (zh) * 2003-06-27 2006-08-16 美国西门子医疗解决公司 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN101061490A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 利用支持向量机（svm）在计算机辅助检测（cad）中进行假阳性降低的系统和方法
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN106530366A (zh) * 2015-09-09 2017-03-22 清华大学 能谱ct图像重建方法及能谱ct成像系统
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法

Also Published As

Publication number Publication date
US20200380673A1 (en) 2020-12-03
JP7123983B2 (ja) 2022-08-23
WO2018232388A1 (en) 2018-12-20
CN110996789A (zh) 2020-04-10
JP2020524018A (ja) 2020-08-13
EP3638115A1 (en) 2020-04-22
US11049244B2 (en) 2021-06-29
EP3638115A4 (en) 2021-03-10
KR102645120B1 (ko) 2024-03-08
KR20200021082A (ko) 2020-02-27

Similar Documents

Publication Publication Date Title
CN110996789B (zh) 执行筛查、诊断或其他基于图像的分析任务的系统和方法
Oulefki et al. Automatic COVID-19 lung infected region segmentation and measurement using CT-scans images
US7653263B2 (en) Method and system for volumetric comparative image analysis and diagnosis
Fanizzi et al. Fully automated support system for diagnosis of breast cancer in contrast-enhanced spectral mammography images
Kaur et al. Artificial intelligence techniques for cancer detection in medical image processing: A review
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
Dodia et al. Recent advancements in deep learning based lung cancer detection: A systematic review
US20070014448A1 (en) Method and system for lateral comparative image analysis and diagnosis
Sreenivasu et al. [Retracted] Dense Convolutional Neural Network for Detection of Cancer from CT Images
Costaridou Medical image analysis methods
Nair et al. Mamif: multimodal adaptive medical image fusion based on b-spline registration and non-subsampled shearlet transform
Kaur et al. Computer-aided diagnosis of renal lesions in CT images: a comprehensive survey and future prospects
Dey et al. Histopathological image analysis in medical decision making
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
Chen [Retracted] Models of Artificial Intelligence‐Assisted Diagnosis of Lung Cancer Pathology Based on Deep Learning Algorithms
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
Mandour An Exhaustive Review of Neutrosophic Logic in Addressing Image Processing Issues
Kim et al. Automated Detection and Segmentation of Bone Metastases on Spine MRI Using U-Net: A Multicenter Study
Zeng et al. Clinical application of a novel computer-aided detection system based on three-dimensional CT images on pulmonary nodule
Sivasankaran et al. Lung Cancer Detection Using Image Processing Technique Through Deep Learning Algorithm.
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Muthiah et al. Fusion of MRI and PET images using deep learning neural networks
Ye et al. Automated segmentation of mass regions in DBT images using a dilated DCNN approach
Pandey et al. Morphological active contour based SVM model for lung cancer image segmentation
Abd Hamid et al. Incorporating attention mechanism in enhancing classification of alzheimer’s disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant