CN112292691A - 用于使用深度学习提高癌症检测的方法与系统 - Google Patents

用于使用深度学习提高癌症检测的方法与系统 Download PDF

Info

Publication number
CN112292691A
CN112292691A CN201880094795.3A CN201880094795A CN112292691A CN 112292691 A CN112292691 A CN 112292691A CN 201880094795 A CN201880094795 A CN 201880094795A CN 112292691 A CN112292691 A CN 112292691A
Authority
CN
China
Prior art keywords
model
cancer
probability
stage
dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880094795.3A
Other languages
English (en)
Inventor
A.基拉里
S.谢蒂
S.巴拉德瓦杰
D.阿迪拉
B.崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112292691A publication Critical patent/CN112292691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

描述了一种在纵向和当前的图像数据集和/或多模态图像数据集中生成癌症的存在/不存在的概率预测以及癌症的位置的方法和系统。所述方法和系统使用深度学习模型的集成。所述集成包括基于全局从数据集中提取指示癌症存在的特征的3D卷积神经网络(CNN)形式的全局模型。所述集成也包括两阶段预测模型，所述两阶段预测模型包括：第一阶段或检测模型，识别癌症检测候选(数据集中3D数据的含有可能是癌症的候选的不同裁剪体积)；以及第二阶段或概率模型，合并纵向数据集(或多模态数据集中的多模态图像)和来自全局模型的提取特征，并且将癌症概率p分配给每个癌症检测候选。例如，使用Noisy‑OR方法，从由第二阶段模型分配的概率获得癌症概率的总体预测。

Description

用于使用深度学习提高癌症检测的方法与系统
对相关申请的交叉引用
本申请要求于2018年6月18日提交的美国临时申请序列号为62/686,541和于2018年8月31日提交的美国临时申请序列号为62/726,178的优先权。
背景技术
本公开涉及一种用于提高癌症检测和筛查的方法和系统。所述方法适合与各种成像数据集一起使用，包括，例如，来自计算机断层扫描(CT)的用于肺癌检测的CT数据集以及用于前列腺癌检测的多模态核磁共振成像(MRI)。本公开的特征可以应用于低剂量胸部CT(LDCT)数据集的情境和来自诊断胸部CT数据集的一般肺癌检测。所述方法和系统可以使用深度学习方法来实现。
纵向和多模态成像技术有助于提高癌症筛查诊断。“纵向成像”是指在检测和诊断癌症中可用于与当前的或最近的图像进行比较的先前患者图像。“多模态MRI”用于指在单次核磁共振成像(MRI)研究期间获得的多个脉冲序列。术语“多模态成像”也用于表示获得对象的不同类型的图像，例如MRI，CT扫描和正电子发射断层扫描(PET)，以及可以或不可以同时获得的此类图像。
通常，成像数据集的解释是由放射科医生通过跨多个时间点或模态比较图像的同一区域手动或半自动执行的。使用深度学习的自动化方法能够提供跨多个图像识别微妙线索以识别和分类癌症的能力。我们提出了一种结合纵向或多模态成像以检测和分类癌症的通用方法。
在以下描述中，呈现了根据LDCT图像进行肺癌筛查的主题。但是，所描述的方法可以推广到其他癌症主题，例如用于前列腺癌检测和分类的多模态MRI。
作为背景，低剂量筛查CT是用于处于和早于55-80岁吸烟者的早期肺癌检测的推荐指南的一部分。作为美国国家肺癌筛查试验(NLST)的结果，每年使用CT或X射线对患者进行一次筛查，所述结果表明CT组的患者死亡率比X射线组的患者的低。美国放射科学院(ACR)已发布了肺部CT筛查报告和数据系统(Lung-RADS)TM指南，该指南用于基于对各种发现的图像评估来对低剂量肺癌筛查CT病例进行解释和管理，各种发现包括：是否存在肺结节；结节大小和密度；结节形态；和肿瘤的继发体征(例如淋巴结肿大)。在通常通过CT扫描的肺癌检测的情境下，Fleischner Society指南描述了用于识别和表征可能是或可能不是癌性的肺结节的标准。手动设计的指南，例如Lung-RADS和Fleischner指南，相对于影像学研究的主观评估具有多种优势，包括更高的一致性、标准化程度以及通常提高的总体性能。但是，这些系统固有地受到定义它们的标准的限制，从而为更复杂的分析系统提供了另外地提高性能的机会，可能同时提高灵敏度和特异性。
美国食品药品监督管理局(FDA)已明确或批准了各种软件设备以增强对肺部CT图像中的肺结节的检测(筛查、诊断或其他方式)。通常对这些系统进行优化，以提高放射科医生读取者查找结节的灵敏度，同时最大限度降低成本，从而使其落入计算机辅助检测或CADe的类别。检测器通常会突出显示否则可能会被遗漏的小结节(通常<1cm)，并且通常会突出显示包含结节的多个潜在区域，而将临床决策留给放射科医生。近年来，用于辅助诊断的更深入评估的计算机辅助诊断或CADx在放射线学的其他领域——尽管尚未在肺癌领域——获得了更多的关注甚至获得了首批临床批准。尤其是，深度学习平台有望基于临床验证的端点快速开发新算法，允许这些系统确定其自身的独立于临床结论的途径，给出增强的性能和潜在的新的临床视野。深度学习方法提供了自动详细评估、获取否则被忽视的细微的整体影像发现并且统一用于CT扫描分级和评估的方法的潜力。
几篇论文针对使用深度学习的根据CT扫描进行肺结节的检测和诊断，包括，Xiaojie Huang等，Lung Nodule Detection in CT Using 3D Convolutional NeuralNetworks，2017IEEE国际生物医学影像研讨会，2017年4月；Francesco Ciompi等，Towardsautomatic pulmonary nodule management in lung cancer screening with deeplearning，《科学报告》第7期，文章号No.46479，2017年4月17日；Wenqing Sun等，ComputerAided lung cancer diagnosis with deep learning，医学影像2016，Proc.SPIE第785卷(2016年3月)；Albert Chon等，Deep Convolutional Neural Networks for Lung CancerDetection，斯坦福大学报告(2017)，www.cs231n.stanford.edu/reports/2017/pdfs/ 518.pdf；以及Wafaa Alakwaa等，Lung Cancer Detection and Classification with 3DConvolutional Neural Network(3D-CNN)，《国际先进计算机科学与应用杂志》，第8卷，8号，第409-417页(2017)。本领域也描述了已经假定已经检测到结节并且产生了恶性风险的预测的情况。
发明内容
在一方面，我们描述了一种使用诸如深度学习模型之类的模型集成(ensemble)来生成CT数据集中的肺癌存在/不存在的概率预测和癌症的位置的方法和系统。所述模型集成包括3D卷积神经网络(CNN)形式的全局预测模型，其被训练为基于全局(例如在整个CT体积上)来在CT数据集中预测肺组织中的癌症的存在概率和位置。因此，全局模型可以将整个CT体积作为输入并且输出以CT体积表示的感兴趣区域中癌症存在的全局预测。此全局模型的输出表示单个模型在整个CT体积上对癌症的端到端预测。可选地，所述全局模型包括在胸部CT数据集中将肺组织与非肺组织孤立的特征，并仅在肺组织中预测癌症存在的概率和位置。
所述集成也包括两阶段预测模型，所述两阶段预测模型包括：第一阶段或检测模型，识别癌症检测候选(CT数据集中不同裁剪体积的3D数据，包含可能是癌症的候选，不仅仅为可能是或可能不是癌变的结节)；和第二阶段或概率模型，将癌症概率p分配给每个癌症检测候选。两阶段预测模型的检测和概率模型也能够基于卷积神经网络。因此，检测模型可以处理CT数据集以生成表示成像的感兴趣区域的一部分的CT数据集的候选体积，并且概率模型可以处理CT数据集的候选体积以确定候选体积表示成像的感兴趣区域中的一部分指示患者患有癌症的概率，例如包括一个或多个癌细胞的部分。
实际上，可能存在多于一个，诸如三个或五个，不同的第二阶段概率模型，例如模型A、B、C、D等，每个模型具有其自己的一组参数，并且每个模型对每个检测候选中癌症的概率做出预测。定义这样的第二阶段模型的参数的可能差异包括：1)不同的图像块大小(即，数据集中裁剪的3D数据的各异的体积大小，以便于以不同的规模检测癌症)；2)学习期间使用的不同优化参数，诸如学习速率；3)在训练过程期间在多个点的采取模型(在训练过程中权重改变，因此每个模型会有略微不同的预测)；4)训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。特别地，在一种实现方式中，可以修改训练数据以在训练期间生成额外的训练数据，以便使模型面临更多的变化。例如，可以将小的随机旋转应用于输入体积以生成额外的训练体积。这种数据增强具有可以在集成的成员中变化的参数，例如随机旋转量。
然后，由全局模型和每个第二阶段概率模型生成的预测概率被组合，例如，依据一些定义的函数f或算法，来生成CT数据集中癌症/非癌症的总体或最终概率预测(例如，“恶性可能性分数”，通常以0到100的百分比表示)和可能的癌症的位置。在一种配置中，这些概率也能够被用在新颖的评分方法中，近似现有的评分方案或通过定义新的评分方案。定义的函数f可以包括全局模型的预测概率以及每个第二阶段模型的每个最终或全概率的平均值，即，对所有癌症检测候选进行计算，或者以加权平均值的方式。
因此，在一方面中，提供了一种用于根据对患者获得的计算机断层扫描数据集来改进肺癌筛查和检测的方法。所述方法包括步骤：a)将数据集提供给包含三维深度卷积神经网络的全局预测模型，所述三维深度卷积神经网络被训练为基于全局至少预测数据集中的肺组织中的癌症存在的概率；b)将数据集提供给两阶段预测模型，所述两阶段预测模型包含1)在数据集中检测一个或多个三维癌症候选的位置的第一阶段检测模型和2)对由第一阶段检测模型检测到的一个或多个三维癌症候选进行操作并为每个三维癌症候选分配癌症概率p的第二阶段概率模型；以及c)生成数据，该数据表示(1)使用全局预测模型的预测和由第二阶段概率模型分配给每个三维癌症候选的癌症概率p二者的在数据集中癌症的概率的总体预测、以及(2)数据集中癌症的位置，其中癌症的位置由全局预测模型或两阶段预测模型确定。
在另一方面中，公开了一种计算机实现的用于根据对患者获得的计算机断层扫描数据集来改进肺癌筛查和检测的系统。所述系统包括：a)全局预测模型，包含三维深度卷积神经网络，所述三维深度卷积神经网络被训练为基于全局至少预测数据集中肺组织中的癌症存在的概率；b)两阶段预测模型，所述两阶段预测模型包含1)在数据集中检测一个或多个三维癌症候选的位置的第一阶段检测模型和2)对由第一阶段检测模型检测到的一个或多个三维癌症候选进行操作并为每个三维癌症候选分配癌症概率p的第二阶段概率模型；以及c)计算机系统执行代码，所述代码用于生成数据，该数据表示(1)使用全局预测模型的预测和由第二阶段概率模型分配给每个三维癌症候选的癌症概率p二者的在数据集中癌症的概率的总体预测、以及(2)数据集中癌症的位置。癌症的位置由全局预测模型或两阶段预测模型确定。
在一种配置中，存在多个第二阶段模型，其采用每个具有与特征图相关联的中间卷积层的深度卷积神经网络的形式。所述全局概率模型包括与特征图相关联的中间卷积层。在步骤c)中，数据集的癌症概率的总体预测是通过以下任一方式获得的：(1)将来自第二阶段模型的特征图附加到全局模型的中间卷积层的特征图，并从全局模型生成预测；或者(2)将来自全局模型的特征图附加到第二阶段模型的中间卷积层的特征图，并根据第二阶段模型的输出生成预测。
在一方面中，描述了一种用于根据对患者获得的计算机断层扫描数据集来确定在患者的感兴趣区域中癌症的存在概率的方法。所述方法包括步骤：
a)使用包含三维深度卷积神经网络的预测模型(全局预测模型)来处理计算机断层扫描数据集，所述三维深度卷积神经网络被训练为根据计算机断层扫描数据集而生成患者患癌症的全局概率；
b)使用两阶段预测模型处理计算机断层扫描数据集，所述处理包含：
1)使用检测模型处理计算机断层扫描数据集以生成数据集中的一个或多个三维候选体积，作为表示一个或多个癌细胞的候选感兴趣区域，和
2)处理由检测模型生成的一个或多个三维候选体积，以生成每个三维候选体积的概率，所述每个三维候选体积的概率指示所述三维候选体积表示一个或多个癌细胞的概率；以及
c)使用患者患癌症的全局概率和每个三维候选体积的概率二者来生成患者患癌症的概率。
每个方面可以可选地包括一个或多个以下特征。将所述一个或多个三维癌症候选提供给对由第一阶段检测模型检测出的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型为每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型的每个由不同的模型参数表征。不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)在学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。在步骤c)中，总体概率包含由全局模型生成的全局概率以及由多个第二阶段概率模型中的每个计算的每个候选的全概率的平均值。全局预测模型被训练为除数据集中的癌症的存在概率之外还预测以下至少一项：a)癌症结果；b)存在二维尺寸至少为20毫米大小的结节；c)5年内死亡的概率；d)在2年内诊断出肺癌。全局模型使用基本特征提取器来识别数据集中肺癌的存在并且其中第一阶段检测模型使用基本特征提取器。第一阶段检测模型和第二阶段概率模型包含深度卷积神经网络。第一阶段检测模型对整个数据集体积进行操作。全局预测模型进一步包含肺分割特征，其识别数据集中的组织使得预测数据集中的癌症的存在概率仅在所识别的肺组织内全局操作。在一种配置中，所述方法将数据集中的癌症概率的总体预测放入风险分层方案的桶中。所述风险分层方案近似于现有的风险分层方案，例如Lung-RADS TM。
在另一方面中，描述了一种用于生成用于提高计算机断层扫描数据集的肺癌筛查的特异性的深度学习系统的方法。所述方法包括步骤：
a)训练三维深度卷积神经网络形式的全局预测模型以全局地在计算机断层扫描数据集中至少预测肺组织中的癌症的存在概率，其中利用指示癌症的存在或不存在的正确标注(ground truth)注释对计算机断层扫描数据集的主体执行训练；
b)训练第一阶段检测模型以检测计算机断层扫描数据集中的一个或多个三维癌症候选；
c)训练对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型为每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型的每个由不同的模型参数表征，以及
d)定义算法或函数，用于以集成方式组合全局预测模型和第二阶段概率模型的预测，以生成CT扫描数据集中的癌症概率的集成或总体预测。
每个方面可以包括一个或多个以下特征。不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)在学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。算法是平均计算。全局预测模型被训练为除计算机断层扫描数据集中癌症的存在概率之外还预测以下至少一项：a)癌症结果；b)存在二维尺寸至少为30毫米大小的结节；c)5年内死亡的概率；d)在2年内诊断出肺癌。全局预测模型进一步被训练为在计算机断层扫描数据集中将肺组织与非肺组织进行分割。在一种配置中，所述全局模型包括注意力机制，诸如积分梯度。在一种配置中，所述方法包括多个桶形式的风险分层方案，其中数据集中的癌症概率的总体预测被放入该风险分层方案的一个桶中。所述风险分层方案近似于现有的风险分层方案，诸如Lung-RADS TM。
将理解的是，可以以任何方便的形式来实现各方面。例如，可以通过适当的计算机程序来实现各方面，所述计算机程序可以在可以是有形的载体介质(例如，磁盘)或无形的载体介质(例如，通信信号)的适当的载体介质上被承载。也可以使用合适的装置来实现各方面，所述合适的装置可以采取运行被布置为实现本发明的计算机程序的可编程计算机的形式。
将理解的是，可以组合各方面，使得在一方面的上下文中描述的特征可以在另一方面的上下文中实现。
尽管通常在肺癌的情境下讨论这些技术，但是将理解的是，技术可以被应用于除肺癌以外的癌症。
此外，我们在本文中描述了在新型深度学习框架中合并纵向和多模态成像以增强癌症检测和诊断。部分或完全自动化促进基于图像的筛查的缩放，以推动广泛的可访问性。从以下讨论中将理解，当存在一组给定成像模态——诸如CT扫描数据集——的纵向图像——诸如3D体积数据集——时，可以使用本公开的系统和方法。所述系统和方法也可以在存在一组多模态数据集的情况下使用，所述多模态数据集可以包括或可以不包括受试者(subject)的纵向(先前的)成像数据集。所述方法和系统也能够被扩展到既有纵向图像数据集又有多模态图像数据集可用于给定受试者的情况，并且它们全部可以在以下所述的深度学习框架中被组合以提高癌症检测和诊断的准确性。
在一方面中，我们描述了一种方法和系统，所述方法和系统用于使用深度学习模型的集成在包括最近的(例如当前的)和纵向(先前的)图像数据集的基于医学图像的数据集中生成肺癌的存在/不存在的概率预测和癌症的位置。所述方法包括步骤：
a)将最近的和可选的纵向数据集提供给包括三维深度卷积神经网络的全局预测模型，所述三维深度卷积神经网络提取数据集中指示癌症存在的特征；
b)将最近的和纵向数据集提供给两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在当前数据集中检测一个或多个癌症候选，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作并合并纵向数据集和来自全局模型的提取特征，并且为每个三维癌症候选分配癌症概率p；以及
c)根据由第二阶段概率模型分配给每个三维癌症候选的癌症概率p生成数据集中癌症概率的总体预测。
每个方面可以可选地包括一个或多个以下特征。在一种配置中，关于由两阶段模型中的检测模型检测的癌症候选，最近的和纵向数据集被局部配准。在另一种可能的配置中，最近的和纵向数据集在生成预测的步骤之前被全局配准。在一个实施例中，所述数据集包括为癌症筛查获得的低剂量肺部CT成像。在另一个实施例中，肺部CT图像被获得为诊断研究的一部分。在另一个实施例中，所述数据集为用于癌症筛查的核磁共振成像(MRI)数据集的形式，或最近的和纵向PET图像数据集的形式。
以下是所述方法的额外可选特征。一个或多个三维癌症候选被提供给多个第二阶段概率模型。每个第二阶段概率模型为每个三维癌症候选分配癌症概率p。在一种可能的配置中，多个第二阶段概率模型的每个由不同的模型参数表征。然而，对于单个第二阶段模型，在处理一个或多个候选中使用共享的权重。不同的模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)在学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。在步骤c)中，总体概率包含由多个第二阶段概率模型中的每个计算的每个候选的概率的平均值。在一种配置中，第一阶段检测模型和第二阶段概率模型包含深度卷积神经网络。第一阶段检测模型对整个数据集体积进行操作。在一种可能的配置中，全局预测模型包括肺分割特征，其识别数据集中的组织使得提取指示癌症的特征仅在所识别的肺组织内操作。在一种配置中，所述方法将数据集中癌症概率的总体预测放入风险分层方案的桶中。所述风险分层方案近似于现有的风险分层方案，例如Lung-RADS TM。
所述方法通过扩展到患者的其他类型的图像数据集而应用，并且尤其是多模态图像。特别地，在另一方面中，描述了一种用于根据基于多模态图像的数据集的基于医学图像的癌症筛查和检测的方法。所述方法包括步骤：
a)将多模态数据集提供给全局预测模型，所述全局预测模型包含提取数据集中指示癌症存在的特征的三维深度卷积神经网络；
b)将多模态数据集提供给两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在多模态数据集(例如3D CT图像数据集)中的一个图像中检测一个或多个癌症候选，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选和多模态数据集(诸如PET图像和MRI图像)中的其他图像以及从全局模型中提取的特征进行操作，并且为每个三维癌症候选分配癌症概率p；以及
c)根据由第二阶段概率模型分配给每个三维癌症候选的癌症概率p生成数据集中癌症概率的总体预测。
将理解的是，可以组合各方面，使得在一方面的上下文中描述的特征可以在另一方面的上下文中实现。
尽管通常在肺癌的情境下讨论这些技术，但是将理解的是，技术可以应用于除肺癌以外的癌症，诸如前列腺癌或乳腺癌。
在本公开的另一方面，进一步描述了一种用于预测患者是否有患衰老相关脑部疾病的风险的方法。所述方法根据属于同一时间年龄组的认知障碍受试者和正常受试者的3D图像(例如结构核磁共振成像(SMRI)或CT)的数据集，利用在没有领域知识的情况下开发的针对大脑年龄的预测模型。所述方法包括步骤：
a)从患者获得一个或多个3D图像，并将一个或多个3D图像提供给预测模型；
b)使用预测模型生成受试者的大脑年龄预测；以及
c)将大脑年龄预测与患者的实际年龄进行比较，其中如果大脑年龄预测实质上大于患者的实际年龄，则患者被识别为患有衰老相关脑部疾病的风险增加。
附图说明
图1是我们的系统和方法的图示，所述系统和方法用于使用深度学习来改善根据计算机断层扫描数据集的肺癌筛查和检测，包括全局预测模型、第一阶段检测模型以及一个或多个第二阶段概率模型。图1的系统可以被部署在云环境中，其中可以远程实现全局和两阶段预测模型并将指示癌症可能性的最终概率分数以及癌症在数据集中的位置返回给获取CT数据集的诊所或办公室。可替换地，图1的系统可以例如利用位于办公室或诊所本地的计算资源和深度学习模型而在本地实现。
图2是通过图1的第二阶段概率模型生成癌症概率预测以及通过单个第二阶段模型针对一组候选1、2、3生成总体癌症预测的图示。如果系统包括多于一个的第二阶段模型，则对每个第二阶段模型重复图2的过程。
图3是针对给定的输入癌症候选3D体积生成每个实例的预测的多尺度特征提取方法的图示。每个实例的预测可以基于某些函数被组合为最终预测，下面将介绍其示例。此外，我们可以在深度学习模型的不同级别上处理实例，包括特征的预登陆级别级联、特征图的预池化级联等等。
图4是受试者工作特性曲线下方的面积(AUC)的图，其示出了图1的系统相对于经过训练的读取器对NLST数据集的Lung-RADS TM标准的回顾性比较的性能。
图5是深度学习系统的图示，所述深度学习系统用于合并纵向图像以执行基于医学图像数据集的检测和分类。
图6是普适的深度学习系统的图示，所述深度系统用于合并纵向或多模态图像以执行基于医学图像数据集的检测和分类。
图7A-7C是受试者工作特性曲线下方的面积(AUC)的图，其示出了具有当前图像数据集且不具有纵向图像数据集的图5的系统相对于经过训练的读取器对NLST数据集的Lung-RADS TM标准的回顾性比较的性能。
图8A-8C是具有框的患者的CT扫描图像，框示出了由两阶段模型检测的对其预测癌症概率的感兴趣区域。
图9A-9C是具有框的患者的CT扫描图像，框示出了由两阶段模型检测的对其预测癌症概率的感兴趣区域。注意，结节周围的大的境况可用于第二阶段模型。
图10A和图10B示出了先前的和当前的CT扫描图像中的ROI的配准。
图11A-11C示出了从第二阶段概率模型导出的归因区域的结果。
图12是示出了用于无需任何领域知识从大脑的3D结构核磁共振成像(SMRI)图像预测大脑年龄的深度学习模型的图。下面描述了图12的模型的两个变体，它们以两种不同的方式预测大脑年龄：1)使用回归器，以及2)使用桶分类器。
图13A和图13B分别是回归模型和桶分类模型在调整数据集中认知正常受试者的预测年龄对比真实年龄的散点图。
图14A和图14B示出了在相同预测年龄组中非认知障碍受试者和认知障碍受试者的真实年龄分布的箱形图。这些图形示出，当他们被预测为处于同一年龄组时，认知障碍受试者的真实年龄分布的平均值始终低于非认知障碍受试者的平均值。由于测试数据集中没有足够的样本，所以我们排除了真实年龄<60和>90的受试者。另外，在回归方法和桶分类方法中，认知障碍受试者的预测年龄比他们的生理年龄分别高平均3.24±2.12和2.67±2.35岁。
具体实施方式
本文档描述了一种深度学习方法的开发和实现，所述深度学习方法用于评估从患者处获得的肺癌筛查CT数据集，目的是基于该数据集生成对患者的癌症存在/不存在的概率的预测，以及如果存在癌症，则生成在CT数据集中癌症的位置的预测。本公开的方法提高了CT数据集中肺癌检测的特异性和灵敏度。在一个可能的实施例中，系统可以被配置为基于计算机的深度学习肺癌检测和筛查工具，其可以帮助经过训练的放射科医生诊断和管理癌症患者的治疗。
在下面对图1-4、第一部分的讨论中，我们将描述我们的深度学习模型的概述及其利用不包含纵向或多模态成像数据集的成像数据集的使用。通过所述概述和解释，本公开将随后在第二部分中结合图5-11描述使用深度学习模型的集成(ensemble)的使用，所述深度学习模型使用最近的和纵向图像数据集或多模态数据集。
在本文件的第三部分中阐述了将图1和图5的全局模型的开发扩展到SMRI脑图像和脑年龄预测模型的开发及其使用，以识别患者患年龄相关脑部疾病的增加风险。
I.概述，模型的集成及其在没有纵向或多模态图像数据集的情况下的使用(图1-4)
对于在本公开中描述的模型的开发和训练，我们分析了国家肺部筛查试验(NLST)数据集，包括来自14863名患者的42943项CT研究，其中620例患了活检证实的癌症。可通过美国国立卫生研究院(NIH)癌症数据访问系统[https://biometry.nci.nih.gov/cdas/learn/nlst/images/]获得有关数据集中病例的更多详细信息：简要地说，从多个机构以低剂量获得的病例，切片厚度从1.25到2.5毫米不等(NLST数据集的更大切片厚度数据已被排除在考虑范围之外)，并且扫描仪供应商因地点而异。病例被划分为三组：训练(70％)、调整(15％)和测试(15％)。执行步骤以确保所有三个组中均出现癌症病例，因此病例的划分并不是完全随机的。通过确定患者在筛查年度期间是否被诊断为活检或手术确诊的肺癌(即真正的阳性)来确定癌症存在的正确标注。根据NLST结果(患者的中位随访时间为6.5年)，“阴性”被定义为不存在癌症。数据集包括与CT数据集相关联的患者的临床数据，CT数据集用于在全局模型中开发除癌症/非癌症之外的不同二元分类，如下所述。
我们的方法被涉及为在0-100％的基础上分配“恶性可能性分数”(或以下集成概率PE)。然后，可以通过阈值将该概率预测转换为1和2对3/4A和4B的分组Lung-RADS类别，或其他已知的替代风险分层桶。如将在下面进一步详细说明的，可以从我们集成预测定义可替代的、可能是全新的风险分类桶。
从高层次上讲，我们从CT数据集生成癌症概率预测的方法对现有技术进行了改进，因为它包括经过训练的全局模型，以在全局基础上(例如在整个CT体积内)预测CT数据集中的肺组织中的癌症存在的概率。可选地，癌症在CT体积中的位置可以通过全局模型来确定，例如，通过使用如下所述的注意力机制。此全局模型是模型集成的一部分，包括两阶段预测模型，所述两阶段预测模型包括：第一阶段或“检测”模型，识别3D癌症候选1、2、3，…(数据集中的裁剪的3D体积)；以及第二阶段或“概率”模型，用于为由第一阶段模型检测的癌症候选生成癌症概率p1、p2、p3，…。然后，通过将全局模型的结果与第二阶段预测模型生成的癌症概率p组合，例如通过对癌症检测候选的全局模型的概率和第二阶段概率模型的总体概率或全概率求平均值，获得CT数据集中癌症的最终分数或概率。如所指出的，优选地，存在分别针对每个检测候选生成癌症预测的多个第二阶段概率模型，例如，4个或5个这样的第二阶段概率模型，每个具有不同参数，如下所述。所述系统和方法生成表示CT数据集中的总体或最终预测概率以及癌症位置的数据。
图1是实现我们的方法的系统100的图示，该方法用于使用深度学习来提高肺癌筛查计算机断层扫描数据集的特异性。患者102被插入常规的CT扫描仪104中，并且扫描仪如常规的那样生成3D CT数据集106。然后该CT数据集106被提供给全局预测模型110。全局预测模型110优选地采取三维深度卷积神经网络的形式，其基本上作为模式识别器，并且被训练为识别CT扫描数据中的肺组织中的癌症。在文献中描述了这样的网络，例如JoaoCarreira等，Action Recognition？A New Model and the Kinetics Dataset，arXiv：1705.07750[cs.CV](2017)；Huang等，先前的在p380引用的论文。Carreira等和Huang等的论文通过引用被并入本文。
此模型被训练为从带有正确标注注释的CT扫描数据集的主体中识别癌症。在当前的情况下，国家肺部筛查试验(NLST)数据集被用于训练。但是，其他用于训练的数据集在文献中也有提及并且能够使用，例如Huang等人的论文提到的肺图像数据库协会(LIDC)数据集，以及斯坦福小组的论文中提到的Kaggle的“数据科学碗2017”挑战赛中使用的CT扫描数据集。在一个实施例中，由于有效使用图形处理单元(gpu)存储器，所以使用了用于全局模型110的3D膨胀的Inception V1。在科学文献中描述了Inception深度卷积神经网络架构。参见以下参考文献，其内容通过引用被合并于此：C.Szegedy等，Going Deeper withConvolutions，arXiv：1409.4842[cs.CV](2014年9月)；C.Szegedy等，Rethinking theInception Architecture for Computer Vision，arXiv：1512.00567[cs.CV](2015年12月)；还参见C.Szegedy等在2015年8月28日提交的的美国专利申请，“Processing ImagesUsing Deep Neural Networks”，序列号为14/839,452。
此全局模型110被训练为基于全局至少预测数据集106中的肺组织中的癌症的存在概率。在一个实施例中，此全局模型110包括肺分割特征，以在CT数据集中将肺组织与非肺组织分离。全局模型仅预测肺组织中癌症存在的概率。在一个实施例中，使用基于掩模R-CNN的肺分割模型以决定在何处对数据集进行中心裁剪以去除非肺组织，并且代替全体积CT扫描数据，使用仅经过训练的模型来用于肺组织中的癌症检测。当我们的预测模型仅在用于肺癌(即肺组织中的癌症)的正确标注注释的数据集上进行训练时，该过程消除了在非肺组织中潜在检测出癌症的异常可能性。
利用几个二进制头或分类器训练全局模型110(即根据训练数据做出的预测)：NLST的筛查结果、癌症结果以及存在>20mm的结节。例如，可以训练全局模型来预测5年内的死亡概率和2年内的肺癌诊断概率。也利用3D数据增强训练全局模型，包括沿所有轴的随机翻转和随机移位。
另外，全局模型110以及两阶段模型的第二阶段可以包括归因机制，诸如积分梯度，其基本上识别出数据集中对模型预测贡献最大的那些部分/区域，即位置。然后，可以通过在从注意力机制识别出的围住癌症区域的图像中添加边界框来突出显示CT数据集的这些部分，从而允许用户使用用于可视化CT体积中的癌症的工具，并给予用户由模型集成生成的最终预测是值得信赖的信心。积分梯度算法在M.Sundararajan等的论文AxiomaticAttribution for Deep Networks，arXiv：1703.01365[cs.LG](2017年6月)中进行了描述，其全部内容通过引用并入本文。将在整个图像的分类中归因图像中各个像素的上下文中从概念上描述该方法。基本上，从基线(零信息，每个像素黑色，α＝0)到输入图像中的全部信息(α到输入)，通过输入图像信息内容(此示例中为亮度频谱)的均匀缩放(α)来计算图像中每个像素i的积分梯度分数IGi(或归因权重或值，其中IGi(每个像素的分数)由等式(1)给出。
(1)
Figure BDA0002844644210000141
其中F是用于贴标签的预测函数；
imagei是第i个像素的值；
IGi(image)是关于第i个像素的积分梯度，例如第i个像素的归因；以及
Figure BDA0002844644210000142
是关于imagei的梯度运算符。
Sundararajan等人的论文的第3节进一步解释了该算法，并且其描述通过引用被合并于此。如在CT扫描中，该技术对3D体积的适配被认为在本领域技术人员的能力范围内。
注意力机制在深度学习神经网络中的使用在D.Bahdanau等人的会议演讲，NeuralMachine Translation by Jointly Learning to Align and Translate，2014年1月(arXiv：1409.0473[cs.CL])中进行了描述。注意力机制在医疗保健上下文中的进一步解释包括：Choi等人，GRAM:Graph-based attention model for Healthcare RepresentationLearning，arXiv：1611.07012v3[cs.LG]2017年4月和Choi等人，《RETAIN：可解释的预测使用逆时注意机制的医疗保健模型》，arXiv：1608.05745v3[cs.GL]，2017年2月。
如前所述，全局预测模型110基于全局生成反映CT数据集中肺组织中的癌症的存在概率的预测Pg。例如通过使用诸如积分梯度的注意力机制，也可以识别可能癌症的位置。反映他的癌症概率112和位置的数据被存储在存储器，诸如实现图1的方法的计算机系统122的存储器120。
CT数据集106也被提供给包括第一阶段检测模型130和第二阶段概率模型132的两阶段预测模型。第一阶段检测模型130——也可以采用3D深度CNN的形式——识别一个或多个癌症检测候选134(图1中显示了其中的三个)，并为每个候选生成裁剪的3D体积，例如包围可能癌症的45mm3或90mm3体积。裁剪的3D体积也可以用来突出显示检测的癌症的位置，作为诸如积分梯度的注意力机制的替代。我们的检测模型基于在以下论文中描述的检测模型架构，但被普适到三个维度：Tsung-Yo Lin等，Focal Loss for Dense Object Detection，arXiv：1708.02002[cs.CV](2017年8月)。此模型类似于具有焦点损耗单级检测器的RetinaNet，但具有全3D卷积和目标分配。为了训练此模型，收集在NLST数据集中所有癌症阳性的边界框及其先验条件。使用了基于图像块的模型训练，但是通过全体积推断来生成检测候选。检测模型使用与全局模型110相同的基本特征提取器。在一个实施例中，检测模型也在不同数据集(LIDC)的结节检测任务上被预训练，但是在该集中仅对结节进行了标注并且不知道结节是否为癌症。
然后，在一个实施例中，图1的这些检测候选134被馈入第二阶段概率模型132，其也采用普适到三维的深度CNN的形式，然后针对每个候选生成癌症概率预测p。此模型也利用焦点损失被训练(参见上文引用的Lin等人的论文)。基于检测概率，在训练时间对检测候选进行随机采样。对于90mm3的图像块，各种特征层的预测被分别进行并组合，就好像它们是单独的检测候选一样(请参见图3和以下说明)。此模型还从检测模型130的权重开始训练。
例如，再次参考图1，如果存在三个候选134(1,2,3)，则第二阶段模型132生成一组概率[p1，p2，p3]，每个候选一个。
如前所述，系统可选地并且优选地包括多个第二阶段模型132A、132B、132C…。每个第二阶段模型132A、132B、132C等使用不同的参数集来对检测候选做出概率预测p。参数中的可能差异包括：1)由检测模型生成的不同的图像块大小(即，数据集中不同体积的裁剪的3D数据)，例如45mm3或90mm3的体积；2)学习期间使用的不同的优化参数，诸如学习率；3)在训练过程期间在不同点的采取模型(在训练过程中权重改变，因此每个模型会有略微不同的预测)；4)训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。作为4)的示例，在一种实现中，在第二阶段概率模型132的训练期间随机地改变训练数据，以使模型面临更多的变化。例如，在一个实施例中，生成输入体积的小的随机旋转。此数据增强具有可以在集成(132A、132B...)的成员之间变化的参数，例如随机旋转的量。作为5)的示例，不同的第二阶段概率模型的每个是深度卷积神经网络，但每个具有不同的模型架构，例如，模型在深度、核大小和/或卷积数方面有所不同。
因此，尽管实际上在图1中示出了三个这样的第二阶段概率模型132，但实际上可以使用的这种模型的数量可以变化，可以说是2、4、5、6、10或更多，并且每个模型的模型参数根据上一段的讨论而变化。
图2是通过图1的第二阶段概率模型生成癌症概率预测以及通过单个第二阶段模型132针对一组候选1、2、3生成总体癌症预测的图示。如果系统包括多于一个的第二阶段模型，则对每个第二阶段模型重复图2的过程。裁剪的3D体积形式的候选1被应用于第二阶段概率模型132并生成癌症概率预测p1。类似地，裁剪的3D体积形式的候选2被应用于第二阶段概率模型132并生成癌症概率预测p2。对每个候选重复此过程，图1的示例中示出了其中三个。根据等式2计算无癌症的概率P(无癌症)：
(2)P(no cancer)＝(1-p1)x(1-p2)x(1-p3)
然后，通过等式3给出来自该模型的总体癌症预测：
(3)P(cancer)＝1-P(no cancer)
如果系统中存在第二阶段模型132B，132C等，则对每个进行相同的计算。
再次参考图1，集成预测(ensemble prdiction)PE作为CT数据集106中存在癌症的总体预测或集成预测，然后被计算为全局预测模型PG和由第二阶段模型132A、132B等产生的预测集[p1,p2,p3]A、[p1,p2,p3]B等的预测函数f。在一个实施例中，预测集[p1,p2,p3]A、[p1,p2,p3]B…根据等式(2)和(3)被转换为P(cancer)，可以被写作PA、PB…，并且f是求平均计算。例如，如果存在三个第二阶段模型，则PE由等式(4)给出
(4)PE＝(PG+PA+PB+PC)/4
其中PG是全局模型概率预测，例如在0-100的百分比范围上。
对各种模型的贡献进行实验以得出集成概率PE可以决定除求平均计算以外的其他可能解决方案，诸如通过为一个或多个第二阶段模型提供不同的权重，或者通过对全局模型预测PG进行多于或少于与第二阶段模型预测PA、PB…相同的加权。作为另一个示例，可以对第二阶段模型预测PA、PB…求平均然后将该平均值与全局概率PG进行平均(直接或加权)。针对不同函数f的如图4所示的受试者工作特性(ROC)AUC图的研究能够被用于确定最优函数f，以组合全局和第二阶段模型预测。
另外，在全局模型是神经网络、例如具有许多不同层(例如卷积层、全连接层、注意力机制等)的深度神经网络的配置中，生成癌症预测概率的最终步骤是最后一层(只具有一个输出)。中间卷积层(例如倒数第二层)往往包含非常丰富的信息，通常比仅一个数字的最终预测要多。这些隐藏的中间单元或层产生输出(被称为“特征图”，即，特征及其位置)，输出可以被附加到第二阶段模型(或多个)(也是深度卷积神经网络)的中间层的特征图，以在全局模型中训练改进的最终层/分类器。这表示将第二阶段模型(或多个)和全局模型组合以生成癌症的最终或集成概率预测的另一种方式。
另外，可以在相反方向附加特征图。也就是说，来自全局模型中的中间层的特征图可以被级联到第二阶段模型中的中间层的特征图，并从第二阶段模型生成最终预测，如图5所示。因此，可以在任一方向上附加特征图，并且也可以在两个方向上附加特征图，即，来自全局模型中的中间层的特征图被级联到第二阶段模型中的中间层的特征图，并且来自第二阶段模型中的中间层的特征图被级联到全局模型中的中间层的特征图。例如，在全局模型和第二阶段模型的开发中，可以继续精调第二阶段模型及其层，但冻结全局模型特征。另一个方向是可能的，其中冻结第二阶段模型，并且可以通过将第二阶段模型的特征图附加到全局模型来继续精调全局模型。一旦模型被完全开发并冻结，则可以在任一方向或两个方向上执行特征图的附加操作，以生成如上所述的集成概率。
然后，基于如上所述的模型集成的概率预测，可以提出现有Lung-RADS TM风险分层桶的替代方案。例如，可以设定这个最终概率的截止点(cutoff)，以便将CT扫描癌症预测结果放入风险桶中。例如，使用假设的概率截止点，如果0<PE<0.1，则那将是第一个风险桶。如果0.1<PE<0.2，则那将是第二个桶，依此类推。通过为我们的概率预测确定适当的截止点，可以做出类似于当今在Lung-RADS TM中存在的风险桶的桶。可以通过以下来确定这样的截止点：对给定数据集(例如NLST数据集)应用追溯地生成集成概率的方法，研究在所提出的截止点方案的每个分组中与患者相关联的临床数据，以及调整截止点直到分组中患者的临床数据匹配或近似现有的已知分组(例如Lung-RADS TM)，或可以设计的任何新分组方案为止。我们提出复制先前存在的方案来估计Lung-RADS 3+、Lung-RADS 4A+和Lung-RADS4B/X的PPV。然后，我们选择我们的调谐集上的匹配这些PPV值的操作点，以便与三个现有风险桶进行比较。这些操作点被标记为3+，4a+和4b/x的“gRADS”分数，被设计为与具有相同Lung-RADS分数的恶性阳性的Lung-RADS截止点相关。
图3是多尺度特征提取方法的图示，该方法生成特征图，并且然后通过单个第二阶段模型132为给定输入癌症候选3D体积134生成预测p1、p2、p3。模型132由包括层200、202、204的3D Inception深度卷积神经网络组成。平均池化层通过对输出的矩形区域求平均进行下采样。平均池化生成用于分类的多个特征(例如576个特征)的向量，所述向量被提供给以预测p1的形式生成分类的密集分类层206。3D Inception模型中的其他层202和204生成另外的体积和相应的分类特征，并且密集分类层生成分类预测p2和p3。因此，在此示例中，馈入第二阶段模型的单个癌症检测候选产生三个不同的癌症概率预测，即p1、p2和p3。
图4示出了我们的集成方法的性能作为受试者工作特性(ROC)AUC曲线的图。图4绘制了所提出方法的灵敏度和特异性。与使用没有先验的Lung-RADS TM人类阅读者比较，示出了高特异性工作点。深度学习模型的受试者工作曲线下的面积为94.2％(95％置信区间(CI)91.0，96.9)。与对测试集使用Lung-RADS TM的放射科医生相比，经过训练的模型在统计学上达到了显著的特异性提高绝对9.2％(95％CI 8.4，10.1)并且趋向灵敏度提高3.4％(95％CI-5.2，12.6)(无统计学意义)。放射科医生定性地回顾了模型与Lung-RADS TM之间的分歧。初步分析表明，模型在区分瘢痕形成和早期恶性肿瘤方面可能更胜一筹。
因此，本公开提出了改进的用于肺癌检测和筛查的深度学习方法。通过帮助放射线医生避免CT扫描数据集中的假阳性，模型的集成可以潜在地帮助减少不必要的侵入性手术(例如活检，手术)。
Ⅱ.具有当前和纵向图像数据集和/或多模态图像数据集的深度学习模型的集成。
如上文在本文档的背景技术部分所述，纵向图像数据集(即，可用于与当前的或最近的图像数据集进行比较的先前的患者图像数据集)和多模态图像数据集可以帮助改进诊断图像中的癌症筛查诊断或癌症检测。通常，这样的数据集的解释是由放射科医生通过多次比较图像的同一区域来手动或半自动进行的。使用深度学习的自动化方法可以提供跨多个图像识别细微线索以识别和分类癌症的能力。出于使用深度学习模型的集成来进行癌症检测和分类的目的，我们在本文档的此部分中呈现一种用于合并纵向或多模态成像的通用方法。
在下面的描述中，通过示例的方式呈现来自低剂量(LD)胸部计算机断层扫描(CT)图像的肺癌筛查的主题，其中包括当前的和先前的图像数据集。然而，所描述的方法可以推广到其他癌症主题和放射学成像模式，诸如用于前列腺癌检测和分类的纵向核磁共振成像(MRI)数据集。
深度学习模型的集成包括3D卷积神经网络(CNN)形式的全局模型，例如使用3DInception架构，其基于全局在数据集中提取指示癌症存在的特征。可以训练该全局模型以基于全局(例如，在整个CT体积上，其中医学图像数据集包括3D体积图像数据集)预测在基于医学图像的数据集中癌症的存在概率和位置，并且识别或提取与此预测相关联的特征。全局预测模型使用最近图像数据集和可选的纵向图像数据集作为输入。因此，全局模型可以将整个体积数据集(例如，最近的数据集，以及可选的纵向数据集)作为输入，并提取指示癌症存在的特征。可选地，在关于肺癌的CT数据集的示例中，此全局模型包括在胸部CT数据集中将非肺组织与肺组织分离并提取指示仅在肺组织中存在癌症的一组特征的特征。
深度学习模型的集成也包括接收最近图像数据集和纵向图像数据集作为输入的两阶段预测模型。此两阶段模型包括第一阶段或检测模型和第二阶段或概率模型。检测模型对当前CT数据集的全部体积进行操作并且识别癌症检测候选(例如，在CT数据集中，CT数据集中的不同裁剪体积的3D数据含有可能是癌症的候选，而不仅仅可能是或可能不是癌变的结节)。然后，通过配准或相对界标定位过程将癌症检测候选体积定位在先前的完整体积数据集中。每个癌症检测候选体积被传递到包括3D特征提取器——例如，全局模型中使用的深度卷积神经网络，诸如3D Inception架构——的第二阶段模型。
在卷积层进行平均池化和/或操作后，来自特征提取器的关于每个癌症检测候选的所有特征(在本文档中称为“特征图”)被级联。这些特征也与从全局模型中提取的特征(特征图)级联。在这样的级联之后，第二阶段或概率模型执行分类操作(例如，通过对神经网络架构中的一个或多个全连接层的操作)，将癌症概率p分配给每个癌症检测候选。换句话说，从全局模型中提取的特征与来自第二阶段模型的每个癌症检测候选图像块的特征级联，以便所有预测依赖于结节级位置信息(来自两阶段模型的第一阶段)以及全局模型的全局上下文。对于每个癌症检测候选的预测能够被组合为关于成像数据集的单个恶性分数，例如，基于如下所述的Noisy-OR方法计算。简而言之，来自每个癌症检测候选的预测被解释为对该候选的恶性概率，而最终预测(在整个体积上)是这些ROI中的至少一个是恶性的概率，如下所述。此最终概率预测在下文中称为“恶性分数”。
给定恶性分数，可以通过从导致最高分数的两阶段模型的第一阶段或检测模型中选取子体积，来突出显示体积中可能是癌症的可能位置的区域或位置。在子体积内，归因方法，在本领域中也被称为“注意力机制”，诸如积分梯度，可以用于更精确地识别位置。另外，对全局模型的归因方法能够用于识别图像中导致癌症预测的多个区域。这可能包括癌变结节周围的异常淋巴结或甚至血管组织。
在一种配置中，可能存在多于一个，诸如三个、五个或甚至是十个不同的第二阶段概率模型，例如模型A，B，C，D等，每个模型具有其自己的一组参数，并且每个模型使用最近图像数据集和先前图像数据集以及从全局和检测模型提取的特征二者，做出每个检测候选中癌症概率的预测。定义这样的第二阶段模型的参数中的可能差异包括：1)不同的图像块大小(即，数据集中裁剪的3D数据的体积大小各异，以便于以不同的规模检测癌症)；2)学习期间使用的不同的优化参数，诸如学习率；3)在训练过程期间在不同点的采取模型(在训练过程中权重改变，因此每个模型会有略微不同的预测)；4)在训练期间作为数据增强的结果的不同参数；以及5)不同的模型架构设置，诸如每个模型的深度、核大小和卷积数。特别地，在一种实现方式中，可以修改训练数据以在训练期间生成额外的训练数据，以便使模型面临更多的变化。例如，可以将小的随机旋转应用于输入体积以生成额外的训练体积。这种数据增强具有可以在集成的成员中改变的参数，例如随机旋转量。
由第二阶段概率模型生成的预测概率能够例如依据一些定义的函数f或算法被组合，以生成基于医学图像的数据集中的癌症/非癌症的总体或最终概率预测(例如，“恶性分数”，通常以从0到100的百分比表示)和可能癌症的位置。在一种配置中，这些概率也能够被用在新颖的评分方法中，近似现有的评分方案或定义新的评分方案。定义的函数f能够包括对每个第二阶段模型的预测的概率的求平均，即，对所有癌症检测候选进行计算，或者以加权平均的方式。
图5图示了我们使用纵向成像基于深度学习进行癌症分类的系统和方法。读者将注意到与上面图1中描述的系统的普遍相似，但有一些区别：它包括将纵向图像数据集用作输入的额外能力，并且全局模型本身并不用于预测，而是用于提取数据集中指示癌症存在的特征(即，特征图)，并且这些特征被附加或级联到第二阶段概率模型的提取特征，以在一个或多个检测的癌症候选中生成癌症的概率预测。
我们的方法，在较高层次上，包括两阶段模型502，包含：第一阶段或检测模型502A，用于对3D CT图像块的癌变结节检测，包括当前的CT体积520和纵向或先的CT体积522；然后是第二阶段或概率模型502B对于检测到的最重要的感兴趣区域(ROI)进行恶性预测。另外，系统包括在整个体积上操作的端到端全局卷积模型500，分别使用当前CT体积504和可选地先前CT体积506，以基于全局在数据集中提取指示癌症的特征。使用先前CT体积506可以对模型的性能稍作改善，并且被认为是可选的，而不是必需的。来自全局模型的特征被附加到从第二阶段模型中提取的特征，使得所有预测(由538指示的分类器生成)依赖于结节级局部信息以及全局上下文二者。输出540是给定当前的和先前的CT图像数据集，对于患者的癌症的概率预测，其使用诸如以下描述的Noisy-OR方法的算法或函数。
当前图像和纵向图像的可选重采样全体积通过全局模型500的3D特征提取器，例如，3D Inception深度CNN，以捕获全局上下文。特征被表示为具有1,024个特征通道的8x8x8较小体积(510)。如图5的上部所示，这些特征在通道维度上被级联，并且如514所示，在512个特征的卷积层和平均池化中被组合。然后，所述特征图如536所示被级联到来自第二阶段概率模型的特征图。
两阶段模型502接收全体积当前高分辨率CT数据集520和先前全体积高分辨率CT数据集522作为输入。两阶段模型包括结节检测器524形式的第一阶段或检测模型502A，其被训练为检测癌症候选，而不仅仅是结节本身。528示出了这些癌症候选(子体积)之一。使用配准或相对界标定位过程，该更小的子体积或ROI也在先前全体积CT数据集522中被标识，如526所示。可替换地，结节检测器524可以对先前全体积CT数据集进行操作以识别对应的ROI 526。每个子体积或者ROI 526、528通过包括3D特征提取器(530)，例如3D Inception深度卷积神经网络，的第二阶段概率模型。3D特征提取器530使用共享权重，即指示如何处理特征的权重。这些权重不需要与全局模型的3D特征提取器508的权重相同。小体积532表示1,024个特征通道的压缩体积(1x2x2)。如图5所示，这些体积在通道维度上被级联，并如534所示经历平均池化和/或卷积层，以得到512个特征。来自534的此特征图和来自全局模型的512个特征的特征图在536处被级联，并且然后组合的1024个特征经历如538所示的分类操作(例如，第二阶段概率模型502B中的全连接层的输出)。此分类步骤是针对由结节检测或第一阶段模型524识别的每个ROI生成概率预测。作为输出540，基于Noisy-OR方法计算单个恶性分数。注意，子体积或ROI的数量可以取决于应用和要求而变化。同样，在先前成像不可用的情况下，可以通过网络馈送空白图像。只要模型被训练为接受空白图像即可。
来自每个ROI的预测使用Noisy-OR方法在整个体积的输出步骤(540)中被组合为单个恶性分数：来自每个ROI的预测被解释为该ROI的恶性概率，而最终预测(在整个体积上)是这些ROI中的至少一个是恶性的概率：
Figure BDA0002844644210000221
其中P[ROI malignancy]是由分类处理(538)针对给定ROI生成的预测。如上所述，这类似于在图1中为没有先验的系统生成概率预测的解释。
将意识到，以上在图5中描述的系统适用于不同类型的3D体积数据集，诸如具有先前图像数据集或纵向和当前图像数据集的MRI、PET或CT扫描。还应理解，图5的系统还适用于以下情况：代替当前的和纵向数据集，您有多模态数据集替代“先前的”体积，例如图5中的CT体积522；例如，您输入了不同类型的3D体积数据集，诸如CT和MRI数据集对，或CT和PET数据集对，或MRI、CT和PET数据集三元组，或在单个MRI扫描操作中获得的一组MRI图像，例如，通过控制扫描仪的设置以获得不同类型的MRI图像，例如，在本领域中有时称为多模态MRI图像数据集。
图6示出了考虑到先前的或其他模态图像数据集的深度学习系统的推广的图示。如562和560所示，最好执行初始融合或配准步骤，以便将所有图像数据集放入公共3D坐标系，以使图像重叠或配准。配准或融合的准确性程度不是特别关键。
然后，全局模型500使用特征提取器508(例如3D Inception架构深度卷积神经网络)在全体积图像数据集上进行操作，以基于全局提取指示在全体积中存在癌症的特征。这些特征在通道维度上被级联并且在514处经历卷积层和平均池化。在全局模型中使用先前的或其他模态图像(506)再次被认为是可选的，而不是必不可少的；使用先前的图像或其他模态图像可以略微提高总体模型性能。
同时，全体积数据集520、522中的一个经历3D检测模型524，其识别作为癌症检测候选528的子体积(子体积1)，并且使用早期融合的结果处理在其他体积522中识别的对应子体积或ROI 526。在此示例中，存在由检测模型524识别的n个癌症检测候选，其中n是大于或等于1的整数，通常说2、3或5。因此，存在n个ROI。n个子体积或ROI的每个经历3D特征提取器530(深度卷积神经网络，诸如3D Inception)，其生成在通道维度上具有1024个特征的压缩体积。
对于这n个ROI中的每个，这些体积在通道维度中被级联。在通过额外卷积层和平均池化处理之后(534)，然后每个实例由来自全局模型的特征图进行级联，然后经历如538所示的分类操作，产生针对n个ROI的每个的概率预测。然后，使用如上所述的Noisy-OR方法组合这些概率预测。
应当理解，图5和图6的描述已经使用了单个第二阶段概率模型502B。但是，可以使用多个第二阶段概率模型，如在第1节的说明中所解释的，其中每个第二阶段概率模型具有略有不同的模型参数，并且然后第二阶段概率模型的结果被组合并且根据一些函数f在所有模型中进行平均，然后在平均之后根据Noisy-OR方法生成最终概率。
图7A-7C是受试者工作特性ROC曲线下方的面积(AUC)的图，其示出了具有当前图像数据集且不具有纵向图像数据集的图5的系统相对于经过训练的读取者对NLST数据集的Lung-RADS TM标准的回顾性比较的性能。
图8A-8C是患者的纵向CT扫描图像，所述CT扫描图像具有定义由两阶段模型的第一阶段或检测模型识别为潜在癌变的感兴趣区域的边界框800。
图9A-9C是患者的三个不同CT扫描图像的另一示例，所述CT扫描图像具有示出了由两阶段模型的第一阶段或检测模型识别为潜在癌变的感兴趣区域的框902。较大的边界框900可用于第二阶段模型的预测模块，以对癌症的概率做出预测并提供周围的上下文信息。
图10A和10B图示了基于所识别的ROI的中心的先前CT扫描图像和当前CT扫描图像的配准的示例。
图11A-11C示出了在第二阶段模型使用诸如积分梯度的注意力机制的示例。在图11A中，示出了CT扫描图像1100的一部分，其示出了被预测为可能是癌变的感兴趣区域。图11B示出了将注意力机制应用于图11A的图像1100的结果，即，以对比色图示的小区域1102指示图像1100的特定区域，其对可能的癌症的预测贡献最大。在图11C中，再次呈现图像1100，但是具有图11B的注意力机制结果1102的叠加。简而言之，作为使用了注意力机制的结果，放射科医生研究图11C的图像被指引到图像中对癌症的预测负最大责任的部分(1102)。
进一步的考虑
图1的系统能够被部署在云环境中，其中远程实现全局和两阶段预测模型(例如，在云端，例如，由训练和开发模型的服务提供商)。在此配置中，CT扫描数据集通过计算机网络(例如，因特网)被发送并且服务提供商将最终概率分数和位置返回到获得CT数据集的诊所或办公室，在那里，放射科医生正在考虑CT扫描，或者医师可能正在就从患者处获得的CT扫描与患者进行磋商并计划进一步的治疗。可替换地，图1的系统能够在本地实现，即，借助位于获取CT数据集的办公室、诊所或医院本地的计算资源和深度学习模型，或在工作站上查看，例如，通过放射科医生或初级保健医师。
Ⅲ.使用结构神经成像和深度学习预测大脑年龄
本节将描述使用提出的深度学习模型用于根据结构核磁共振成像数据集的脑年龄预测的。
与年龄有关的疾病和失能给社会带来了越来越大的负担。由于衰老效应是受试者特定的，因此需要基础(underlying)生物衰老过程的标记来识别处于与年龄相关的身体和认知障碍的风险增加的人。结构MRI图像在测量大脑中与年龄相关的变化方面非常有用。因此，本研究的目的是基于SMRI图像开发大脑年龄预测算法，并研究作为大脑中衰老相关疾病的生物标记的预测的大脑年龄。
衰老相关疾病的早期检测需要基础生物衰老过程的模型。在本节中，我们通过使用结构核磁共振成像(SMRI)和深度学习来描述大脑年龄预测器，并评估作为大脑衰老的标记的预测的大脑年龄。我们的方法不需要领域知识(domain knowledge)，因为它使用了迁移学习范例，并且已经在从老年受试者收集的真实SMRI数据上进行了训练和验证。我们基于提出的具有回归的卷积神经网络(CNN)和桶分类开发了两个不同的预测模型以从SMRI图像预测大脑年龄。基于回归和分类的模型在预测认知正常受试者的大脑年龄中分别达到了5.54和6.44(岁)的均方根误差(RMSE)。进一步的分析表明，在相同的生理年龄组内，认知障碍受试者的预测大脑年龄与正常受试者的预测大脑年龄之间存在显著差异。
本节中描述的模型通常对应于图1的“全局模型”110和图5的全局模型500。在下面描述的工作中，我们没有使用图1和图5的两阶段模型。
我们的方法与之前在此问题上所做的努力之间的主要差异是：1)我们使用深度学习从原始SMRI图像学习相关特征，而无需领域知识；以及2)我们利用从有患阿尔茨海默病(一种主要的衰老相关疾病)风险的受试者收集的数据验证了提出的方法。先前的研究已经提出了基于机器学习的方法，其使用高斯过程回归以从SMRI图像预测大脑年龄。参见J.H.Cole等，“Predicting brain age with deep learning from raw imaging dataresults in a reliable and heritable biomarker”，神经影像，卷163，第115-124页，2017年；J.H.Cole等，“Brain age predicts mortality”，分子精神病学，2017年。但是，这些方法依赖于源自人脑结构的领域知识的特征。另一方面，P.Sturmfels等，“A domainguided CNN architecture for predicting age from structural brain images”，arXiv预印本arXiv：1808.04362，2018年，提出了一种基于CNN的架构，使用最少的领域信息来预测大脑年龄。但是，这项研究是使用从儿童那里收集的SMRI成像数据进行的，尚不清楚它是否可以预测老年患者的衰老相关疾病风险。
我们基于预训练的3D Inception-V1特征提取器采用迁移学习方法并且重新训练以根据SMRI图像预测大脑年龄，作为回归和分类问题。类似于本文档前面各节所述的“全局模型”，此模型不需要任何领域知识并且以两种不同方式预测大脑年龄：1)使用回归器，以及2)使用桶分类器(下面描述)。我们使用阿尔茨海默病神经影像主动(ADNI)数据集评估了我们的方法。回归和桶分类器方法在预测认知正常受试者的大脑年龄中分别达到了5.54和6.44(岁)的均方根误差(RMSE)。另外，进一步的分析表明，当分别使用回归和桶分类方法时，认知障碍受试者的预测大脑年龄比其生理年龄平均分别高3.24±2.12和2.67±2.35岁。本质上，我们的方法利用基于CNN的模型，用于基于SMRI图像预测大脑年龄而无需使用任何领域知识，并且证明了通过使用我们的方法预测的大脑年龄可以用于识别衰老相关疾病风险。
方法
我们的方法的总体流程在图12中示出。图5的上部——全局模型——指示了图12的此模型。相同物理维度的3D SMRI图像被馈入作为流水线的输入。使用3D特征提取器从输入图像中提取特征图。然后，使用全连接层做出年龄预测，作为回归任务或桶分类任务。
数据和预处理：我们使用从阿尔茨海默病神经影像主动(ADNI)研究收集的数据来验证我们的方法。细节参见http://adni.loni.usc.edu/。ADNI是一项正在进行的纵向研究，它定期收集有患痴呆症(主要是阿尔茨海默病(AD))风险的老年受试者的影像和血液生物标志物。ADNI的主要目标是测试是否能够组合顺序的核磁共振成像(MRI)、正电子发射断层扫描(PET)、其他生物标记以及临床和神经心理学评估来衡量轻度认知障碍(MCI)和早期阿尔茨海默病。我们分析了1484位独特参与者的12,988张SMRI图像，有关他们AD临床阶段的正确标注信息和生理年龄可从数据集中获得。AD的临床阶段包括认知正常(CN)、轻度认知障碍(MCI)和阿尔茨海默病(AD)，并且年龄为50至100的真实数字。数据集包括在不同时间点拍摄的多个SMRI图像以及一些患者的对应的正确标注信息。使用MPRAGE序列获得此数据集中的3D SMRI图像。在执行模型训练之前，我们将原始SMRI图像重新调整为相同的物理尺寸(体素大小)，对SMRI图像进行直方图均衡，并在中心周围将其裁剪为256×256×256(体素)的形状。
模型描述(图12)：如在2017年IEEE计算机视觉和模式识别会议(CVPR)上的J.Carreira和A.Zisserman，“Quo vadis,action recognition？a new model and thekinetics dataset”，IEEE 2017，第4724–4733页中描述的，使用一种基于在ImageNet数据集上预训练的Inception-V1网络的3D特征提取器来从输入图像提取特征图。使用一个全连接层生成年龄预测。我们使用回归器和桶分类器来预测大脑年龄。在桶分类方法中，受试者的真实年龄被分为离散范围，并且使用神经网络来预测SMRI图像所属的范围。在我们的方法中，我们将年龄分装进5个桶中，50–60、60–70、70–80、80–90以及90–100，并且以{1，2，3，4，5}为它们分配类别标签。在模型训练期间使用这些类别标签。
评估：在模型训练期间，我们利用输入数据集的50％训练、25％调整和25％测试划分进行五折交叉验证和基于患者的分层。利用基于患者的分层以确保同一患者的SMRI图像不会出现在三个数据集中的多于一个中。此外，仅使用认知正常受试者的SMRI图像训练基于CNN的模型，即，训练和调整集仅包括非认知障碍受试者。我们采用这种方法来开发健康老化下的基线年龄预测因子。然后，训练的模型被用于预测认知障碍受试者和非认知障碍受试者的混合的大脑年龄。回归模型预测真实数字年龄，而桶分类方法预测离散值，即{55，65，75，85，95}中的一个。我们在测试集中包括了一些非认知障碍受试者，以保持公正的测试样本。首先，我们使用在调整集上达到的均方根误差(RMSE)度量来评估模型拟合。其次，我们评估了测试集中非认知障碍受试者和认知障碍受试者在大脑年龄预测上的差异。我们仅使用测试数据集中的受试者执行分析，并且在MCI和AD中的受试者被认为是认知障碍的。我们基于用于桶分类的相同范围对回归模型的真实数字预测年龄进行分组，以得出预测的年龄组(参见图14A)。
结果
图13a和13b分别示出回归模型和桶分类模型的调整数据集中认知正常受试者的预测年龄与实际年龄的散点图。回归模型达到5.54的RMSE，而桶分类模型达到6.44的RMSE。图14A和图14B示出在相同预测年龄组中非认知障碍受试者和认知障碍受试者的实际年龄分布的箱形图。这些图形示出，当他们被预测为在同一年龄组中时，认知障碍受试者的实际年龄分布的平均值始终低于非认知障碍受试者的平均值。由于测试数据集中没有足够的样本，所以我们排除了实际年龄<60和>90的受试者。另外，在回归和桶分类方法中，认知障碍受试者的预测年龄比他们的生理年龄分别高3.24±2.12和2.67±2.35岁。
结论
我们基于迁移学习范式开发了两种不同的基于卷积神经网络(CNN)的方法以从SMRI图像预测大脑年龄。我们的两个模型在预测非认知障碍受试者的大脑年龄中达到了5.54和6.44(岁)的RMSE。进一步的分析示出，认知障碍受试者的预测大脑年龄与属于同一生理年龄组的正常受试者的预测大脑年龄之间存在显著差异。因此，我们相信预测的大脑年龄能够被证明在生命的早期阶段就识别出在生命的早期阶段中患衰老相关脑部疾病(诸如阿尔茨海默病)的风险较大的个人是临床有用的。在将来的工作中，我们将获得额外的数据以验证发现并执行模型优化以提高预测性能。
在此工作的一个可能的实施例中，能够执行测试以预测患者或受试者是否处于患衰老相关脑部疾病的较高风险中。测试利用针对大脑年龄的预测模型，所述模型从属于同一年龄组的认知障碍受试者和正常受试者的3D图像数据集开发而无需领域知识。所述方法包括步骤：a)从患者获得一个或多个3D图像并且将所述一个或多个3D图像提供给预测模型；b)使用预测模型生成受试者的大脑年龄预测；以及c)将大脑年龄预测与患者的实际年龄进行比较。如果大脑年龄预测实质上大于患者的实际年龄(可以定制或调整参数，例如3、5或10年)，则该患者被识别为具有患年龄有关脑部疾病的增加风险，诸如认知障碍或阿尔茨海默病。“显著大于”的标准能够是用户特定的，并且可能的示例是7年或10年。标准可以被期望是大于模型预测的误差容限的值。
虽然示出的实施例使用SMRI图像来用于模型生成和预测，但是方法也可以被应用于脑部的其他3D体积图像数据集，诸如、例如CT扫描图像。

Claims (54)

1.一种用于根据对患者获得的计算机断层扫描数据集来改进肺癌筛查和检测的方法，包含步骤：
a)将数据集提供给包含三维深度卷积神经网络的全局预测模型，所述三维深度卷积神经网络被训练为基于全局至少预测数据集中肺组织中的癌症的存在概率；
b)将数据集提供给两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在数据集中检测一个或多个三维癌症候选的位置，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作，并且为每个三维癌症候选分配癌症概率p；以及
c)生成数据，所述数据表示：(1)使用全局预测模型的预测和由第二阶段概率模型分配给每个三维癌症候选的癌症概率p的在数据集中癌症概率的总体预测，以及(2)数据集中癌症的位置，其中癌症的位置由全局预测模型或两阶段预测模型确定。
2.根据权利要求1所述的方法，其中，所述一个或多个三维癌症候选被提供给对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型向每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型中的每个由不同的模型参数表征。
3.根据权利要求2所述的方法，其中，多个第二阶段概率模型的不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练时期间作为数据增强的结果的不同参数；和5)不同的模型架构设置，例如每个模型的深度、核大小和卷积数。
4.根据权利要求2或3所述的方法，其中，在步骤c)中，总体概率包含由全局模型生成的全局概率与由多个第二阶段概率模型中的每个计算的每个候选的全概率的平均值。
5.根据前述权利要求中任一项所述的方法，其中，全局预测模型被训练为除了数据集中癌症的存在概率之外还预测以下中的至少一个：
a)癌症结果；
b)存在二维尺寸至少为20毫米大小的结节；
c)5年内死亡的概率；
d)在2年内诊断出肺癌。
6.根据前述权利要求中任一项所述的方法，其中，全局模型使用基本特征提取器来识别数据集中肺癌的存在，并且其中第一阶段检测模型使用基本特征提取器。
7.根据前述权利要求中任一项所述的方法，其中，第一阶段检测模型和第二阶段概率模型包含深度卷积神经网络。
8.根据前述权利要求中任一项所述的方法，其中，第一阶段检测模型对整个体积的数据集进行操作。
9.根据前述权利要求中任一项所述的方法，其中，所述全局预测模型进一步包含肺分割特征，其识别数据集中的肺组织，使得数据集中癌症存在概率的预测仅在所识别的肺组织内全局操作。
10.根据前述权利要求中任一项所述的方法，进一步包含步骤：将数据集中癌症概率的总体预测放入风险分层方案的桶中。
11.根据权利要求10所述的方法，其中，所述风险分层方案近似于现有的风险分层方案，例如Lung-RADS TM。
12.根据权利要求1所述的方法，其中，所述多个第二阶段模型包含深度卷积神经网络，每个深度卷积神经网络具有与特征图相关联的中间卷积层，并且其中所述全局概率模型包括与特征图相关联的中间卷积层，并且其中在步骤c)中，数据集中的癌症概率的总体预测是通过以下任一方式获得的：(1)将来自第二阶段模型的特征图附加到全局模型的中间卷积层的特征图，并由全局模型生成预测；或者(2)将来自全局模型的特征图附加到第二阶段模型的中间卷积层的特征图，并根据第二阶段模型的输出生成预测。
13.一种用于根据对患者获得的计算机断层扫描数据集来改进肺癌筛查和检测的计算机实现的系统，包括：
a)包含三维深度卷积神经网络的全局预测模型，所述三维深度卷积神经网络被训练以基于全局至少预测数据集中肺组织中的癌症的存在概率；
b)两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在数据集中检测一个或多个三维癌症候选，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作，并且为每个三维癌症候选分配癌症概率p；以及
c)计算机系统执行代码，用于生成数据，所述数据表示：(1)使用全局预测模型的预测和由第二阶段概率模型分配给每个三维癌症候选的癌症概率p的、数据集中癌症的概率的总体预测，以及(2)数据集中癌症的位置。
14.根据权利要求13所述的系统，进一步包含：多个第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作，每个第二阶段概率模型为每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型中的每个由不同的模型参数表征。
15.根据权利要求14所述的系统，其中，不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；和4)训练时期间作为数据增强的结果的不同参数。
16.根据权利要求13-15中任一项所述的系统，其中，所述总体概率包含由全局模型生成的全局概率与由多个第二阶段概率模型中的每个计算的每个候选的全概率的平均值。
17.根据权利要求13-16中任一项所述的系统，其中，全局预测模型被训练为除了数据集中癌症的存在概率之外还预测以下中的至少一个：
a)癌症结果；
b)存在二维尺寸至少为20毫米大小的结节；
c)5年内死亡的概率；
d)在2年内诊断出肺癌。
18.根据权利要求13-17中任一项所述的系统，其中，全局模型使用基本特征提取器来识别数据集中肺癌的存在，并且其中第一阶段检测模型使用基本特征提取器。
19.根据权利要求13-18中任一项所述的系统，其中，第一阶段检测模型和第二阶段概率模型包含深度卷积神经网络。
20.根据权利要求13-19中任一项所述的系统，其中，所述计算机系统进一步执行代码，用于将数据集中的癌症概率的总体预测放入风险分层方案的桶中。
21.一种用于生成深度学习系统的方法，所述深度学习系统用于提高计算机断层扫描数据集的肺癌筛查的特异性，包含步骤：
a)训练三维深度卷积神经网络形式的全局预测模型，以在计算机断层扫描数据集中至少预测肺组织中癌症的存在概率，其中在具有指示癌症的存在或不存在的正确标注注释的计算机断层扫描数据集的主体上执行训练；
b)训练第一阶段检测模型，以在计算机断层扫描数据集中检测一个或多个三维癌症候选；
c)训练对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型为每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型中的每个由不同的模型参数表征；以及
d)定义算法，所述算法用于以集成方式组合全局预测模型和第二阶段概率模型的预测，以生成CT扫描数据集中的癌症概率的集成预测，
其中，进一步训练全局模型或两阶段模型以识别CT扫描数据集中癌症的位置。
22.根据权利要求21所述的方法，其中，不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；和4)训练时期间作为数据增强的结果的不同参数。
23.根据权利要求21或22所述的方法，其中，所述算法是平均计算。
24.根据权利要求21-23中任一项所述的方法，其中，全局预测模型被训练为除了计算机断层扫描数据集中的癌症的存在概率之外还预测以下中的至少一个：
a)癌症结果；
b)存在二维尺寸至少为30毫米大小的结节；
c)5年内死亡的概率；
d)在2年内诊断出肺癌。
25.根据权利要求21-24中任一项所述的方法，其中，全局预测模型合并肺分割过程，以在生成肺组织中的癌症的概率预测之前，在计算机断层扫描数据集中将肺组织与非肺组织进行分割。
26.根据权利要求1-12中任一项所述的方法，其中，全局模型或第二阶段概率模型包括注意力机制。
27.根据权利要求26所述的方法，其中，所述注意力机制包含积分梯度。
28.根据权利要求13-20中任一项所述的系统，其中，全局模型或第二阶段概率模型包括注意力机制。
29.根据权利要求28所述的系统，其中，所述注意力机制包含积分梯度。
30.根据权利要求21-25中任一项所述的方法，其中，全局模型或第二阶段概率模型包括注意力机制。
31.根据权利要求30所述的方法，其中，所述注意力机制包含积分梯度。
32.根据权利要求21-25中任一项所述的方法，进一步包含步骤：定义多个桶形式的风险分层方案，其中数据集中癌症概率的总体预测被放入风险分层方案中的一个桶中。
33.根据权利要求32所述的方法，其中，所述风险分层方案近似于现有的风险分层方案，例如Lung-RADS TM。
34.一种用于根据最近基于医学图像的数据集和纵向基于医学图像的数据集的基于医学图像的癌症检测的方法，包含步骤：
a)将最近数据集和并可选地将纵向数据集提供给包括三维深度卷积神经网络的全局预测模型，所述三维深度卷积神经网络提取数据集中指示癌症存在的特征；
b)将最近数据集和纵向数据集提供给两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在最近数据集中检测一个或多个癌症候选，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作以及将纵向数据集与从全局模型中提取的特征合并，并且为每个三维癌症候选分配癌症概率p；以及
c)根据由第二阶段概率模型分配给每个三维癌症候选的癌症概率p生成数据集中癌症概率的总体预测。
35.根据权利要求34所述的方法，其中，所述一个或多个三维癌症候选被提供给对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型向每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型中的每个由不同的模型参数表征。
36.根据权利要求35所述的方法，其中，多个第二阶段概率模型的不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练时期间作为数据增强的结果的不同参数；和5)不同的模型架构设置，例如每个模型的深度、核大小和卷积数。
37.根据权利要求34-36中任一项所述的方法，其中，所述最近基于医学图像的数据集和纵向基于医学图像的数据集包含3D计算机断层扫描(CT)图像数据集。
38.根据权利要求34-36中任一项所述的方法，其中，所述最近基于医学图像的数据集和纵向基于医学图像的数据集包含3D核磁共振成像(MRI)图像数据集。
39.根据权利要求34-36中任一项所述的方法，其中，所述最近基于医学图像的数据集和纵向基于医学图像的数据集包含3D正电子发射断层扫描(PET)图像数据集。
40.根据权利要求33-39中任一项所述的方法，其中，第一阶段检测模型对整个体积的最近数据集进行操作。
41.根据权利要求34-40中任一项所述的方法，其中，所述全局预测模型进一步包含肺分割特征，其识别所述最近数据集和纵向数据集中的肺组织，使得仅在所识别的肺组织内发生特征的提取。
42.根据权利要求34-41中任一项所述的方法，进一步包含步骤：将数据集中癌症概率的总体预测放入风险分层方案的桶中。
43.根据权利要求42所述的方法，其中，所述风险分层方案近似于现有的风险分层方案，例如Lung-RADS TM。
44.根据权利要求34所述的方法，其中，所述第二阶段概率模型包含具有与特征图相关联的中间卷积层的深度卷积神经网络，并且其中所述全局概率模型包括与特征图相关联的中间卷积层，并且其中在步骤c)中，通过将来自全局模型的特征图与第二阶段概率模型的中间卷积层的特征图级联并且从第二阶段概率模型的输出生成预测，获得数据集中癌症概率的总体预测。
45.一种用于根据基于多模态图像的数据集的基于医学图像的癌症检测的方法，包含步骤：
a)将多模态数据集中的图像中的至少一个提供给全局预测模型，所述全局预测模型包含提取数据集中指示癌症存在的特征的三维深度卷积神经网络；
b)将多模态数据集提供给两阶段预测模型，所述两阶段预测模型包含：
1)第一阶段检测模型，在多模态数据集中的图像中的一个内检测一个或多个癌症候选，和
2)第二阶段概率模型，对由第一阶段检测模型检测的一个或多个三维癌症候选以及多模态数据集中的其他图像和来自全局模型的提取特征进行操作，并且为每个三维癌症候选分配癌症概率p；以及
c)根据由第二阶段概率模型分配给每个三维癌症候选的癌症概率p生成数据集中癌症概率的总体预测。
46.根据权利要求45所述的方法，其中，所述一个或多个三维癌症候选被提供给对由第一阶段检测模型检测的一个或多个三维癌症候选进行操作的多个第二阶段概率模型，每个第二阶段概率模型向每个三维癌症候选分配癌症概率p，其中多个第二阶段概率模型中的每个由不同的模型参数表征。
47.根据权利要求45所述的方法，其中，多个第二阶段概率模型的不同模型参数选自参数组，所述参数包括：1)数据集中不同体积的裁剪的3D数据；2)学习期间使用的不同优化参数；3)在训练过程期间在不同点的采取模型；4)训练时期间作为数据增强的结果的不同参数；和5)不同的模型架构设置，例如每个模型的深度、核大小和卷积数。
48.根据权利要求45-47中任一项所述的方法，其中，所述基于多模态图像的数据集包含3D计算机断层扫描(CT)图像数据集、3D核磁共振成像(MRI)图像数据集和3D正电子发射断层扫描(PET)图像数据集中的两个或更多个的组合。
49.根据权利要求45-47中任一项所述的方法，其中，所述多模态数据集包含多模态MRI图像数据集。
50.根据权利要求45-47中任一项所述的方法，进一步包含步骤：将数据集中癌症概率的总体预测放入风险分层方案的桶中。
51.根据权利要求45所述的方法，其中，所述第二阶段概率模型包含具有与特征图相关联的中间卷积层的深度卷积神经网络，并且其中所述全局概率模型包括与特征图相关联的中间卷积层，并且其中在步骤c)中，通过将来自全局模型的特征图与第二阶段概率模型的中间卷积层的特征图级联并且从第二阶段概率模型的输出生成预测，获得数据集中癌症概率的总体预测。
52.根据权利要求34-44中任一项所述的方法，进一步包含配准最近数据集和纵向数据集的步骤。
53.根据权利要求45-51中任一项所述的方法，进一步包含配准多模态数据集中的图像的步骤。
54.一种用于预测患者是否有患衰老相关脑部疾病的风险的方法，其中，所述方法利用针对大脑年龄的预测模型，所述预测模型根据属于同一时间年龄组的认知障碍受试者和正常受试者的3D图像的数据集、在没有领域知识的情况下开发，所述方法包含步骤：
a)从患者获得一个或多个3D图像，并将所述一个或多个3D图像提供给预测模型；
b)使用预测模型为受试者生成大脑年龄预测；以及
c)将大脑年龄预测与患者的实际年龄进行比较，其中
如果大脑年龄预测实质大于患者的实际年龄，则该患者被识别为患衰老相关脑部疾病的风险增加。
CN201880094795.3A 2018-06-18 2018-11-20 用于使用深度学习提高癌症检测的方法与系统 Pending CN112292691A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686541P 2018-06-18 2018-06-18
US62/686,541 2018-06-18
US201862726178P 2018-08-31 2018-08-31
US62/726,178 2018-08-31
PCT/US2018/061956 WO2019245597A1 (en) 2018-06-18 2018-11-20 Method and system for improving cancer detection using deep learning

Publications (1)

Publication Number Publication Date
CN112292691A true CN112292691A (zh) 2021-01-29

Family

ID=64902378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094795.3A Pending CN112292691A (zh) 2018-06-18 2018-11-20 用于使用深度学习提高癌症检测的方法与系统

Country Status (5)

Country Link
US (1) US20210225511A1 (zh)
EP (1) EP3788546A1 (zh)
JP (1) JP7069359B2 (zh)
CN (1) CN112292691A (zh)
WO (1) WO2019245597A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN113610845A (zh) * 2021-09-09 2021-11-05 汕头大学医学院附属肿瘤医院 肿瘤局部控制预测模型的构建方法、预测方法及电子设备
CN115600160A (zh) * 2022-10-20 2023-01-13 浙江大学（Cn） 基于积分梯度可解释算法的网络模型窃取行为的检测方法
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361868B2 (en) * 2017-08-16 2022-06-14 The Johns Hopkins University Abnormal tissue detection via modal upstream data fusion
JP7114347B2 (ja) * 2018-06-04 2022-08-08 浜松ホトニクス株式会社 断層画像予測装置および断層画像予測方法
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
US11294367B2 (en) * 2018-12-21 2022-04-05 Canvass Analytics Inc. Predictive analysis of industrial processes
US10936160B2 (en) * 2019-01-11 2021-03-02 Google Llc System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications
US11165954B1 (en) * 2019-06-19 2021-11-02 Objectvideo Labs, Llc Scene-aware custom tuned video surveillance detection system
GB2585005B (en) * 2019-06-24 2021-06-23 Roadmetric Ltd Training a machine to recognize a motor vehicle driver using a mobile device
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
US11403493B2 (en) * 2020-01-17 2022-08-02 Ping An Technology (Shenzhen) Co., Ltd. Device and method for universal lesion detection in medical images
CN115362470A (zh) * 2020-01-17 2022-11-18 强生企业创新公司 用于预测未来肺癌的风险的系统和方法
CN111415743B (zh) * 2020-03-17 2021-07-09 推想医疗科技股份有限公司 肺炎分类方法、装置、介质及电子设备
EP3893198A1 (en) * 2020-04-08 2021-10-13 Siemens Healthcare GmbH Method and system for computer aided detection of abnormalities in image data
EP3901903B1 (en) * 2020-04-23 2023-06-14 Siemens Healthcare GmbH Classifying a lesion based on longitudinal studies
KR102231698B1 (ko) * 2020-06-15 2021-03-24 주식회사 루닛 정상 의료 영상을 필터링하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
EP4182844A1 (en) * 2020-06-16 2023-05-24 Verily Life Sciences LLC Systems and methods for directly predicting cancer patient survival based on histopathology images
CN111814726B (zh) * 2020-07-20 2023-09-22 南京工程学院 一种探测机器人视觉目标检测方法
US20220068467A1 (en) * 2020-08-31 2022-03-03 International Business Machines Corporation Simulated follow-up imaging
US20220067509A1 (en) * 2020-09-02 2022-03-03 Alibaba Group Holding Limited System and method for learning from partial compressed representation
CN112201328B (zh) * 2020-10-09 2022-06-21 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
KR20220049754A (ko) * 2020-10-15 2022-04-22 삼성에스디에스 주식회사 영상 분류 모델 학습 장치 및 방법
CN112508884A (zh) * 2020-11-24 2021-03-16 江苏大学 一种癌变区域综合检测装置及方法
CA3204907A1 (en) * 2020-12-09 2022-06-16 Imidex, Inc. Methods of assessing lung disease in chest x-rays
CN112861480A (zh) * 2021-01-28 2021-05-28 中山大学 一种基于Albert模型的改进预测方法、系统及装置
TWI790572B (zh) * 2021-03-19 2023-01-21 宏碁智醫股份有限公司 影像相關的檢測方法及檢測裝置
CN113191413B (zh) * 2021-04-25 2022-06-21 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN113284615A (zh) * 2021-06-16 2021-08-20 北京大学人民医院 一种基于XGBoost算法的胃肠道间质瘤预测方法和系统
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
CN115063349A (zh) * 2022-05-18 2022-09-16 北京理工大学 基于sMRI多维张量形态特征预测脑年龄的方法及装置
CN114677677B (zh) * 2022-05-30 2022-08-19 南京友一智能科技有限公司 一种质子交换膜燃料电池气体扩散层材料比例预测方法
CN114814776B (zh) * 2022-06-24 2022-10-14 中国空气动力研究与发展中心计算空气动力研究所 基于图注意力网络和迁移学习的pd雷达目标检测方法
EP4307224A1 (en) 2022-07-15 2024-01-17 Median Technologies Method and system for computer aided diagnosis using ensembled 2d and 3d neural networks based on medical images
KR102583160B1 (ko) * 2022-07-18 2023-09-26 주식회사 래디센 X-ray 이미지의 노듈위치 결정방법
CN115375665B (zh) * 2022-08-31 2024-04-16 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN116563524B (zh) * 2023-06-28 2023-09-29 南京航空航天大学 一种基于多视觉记忆单元的扫视路径预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106548192A (zh) * 2016-09-23 2017-03-29 北京市商汤科技开发有限公司 基于神经网络的图像处理方法、装置和电子设备
WO2017079843A1 (en) * 2015-11-10 2017-05-18 Exact Imaging, Inc. A system comprising indicator features in high-resolution micro-ultrasound images
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
US20170337687A1 (en) * 2015-11-30 2017-11-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107945167A (zh) * 2017-11-27 2018-04-20 北京医拍智能科技有限公司 基于深度神经网络的慢性阻塞性肺病的检测系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873824A (en) * 1996-11-29 1999-02-23 Arch Development Corporation Apparatus and method for computerized analysis of interstitial infiltrates in chest images using artificial neural networks
US7499578B2 (en) 2002-10-18 2009-03-03 Cornell Research Foundation, Inc. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US20060018524A1 (en) 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
US8923577B2 (en) 2006-09-28 2014-12-30 General Electric Company Method and system for identifying regions in an image
US10265040B2 (en) * 2015-07-13 2019-04-23 Scott Anderson Middlebrooks Method and apparatus for adaptive computer-aided diagnosis
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017079843A1 (en) * 2015-11-10 2017-05-18 Exact Imaging, Inc. A system comprising indicator features in high-resolution micro-ultrasound images
US20170337687A1 (en) * 2015-11-30 2017-11-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106548192A (zh) * 2016-09-23 2017-03-29 北京市商汤科技开发有限公司 基于神经网络的图像处理方法、装置和电子设备
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN107945167A (zh) * 2017-11-27 2018-04-20 北京医拍智能科技有限公司 基于深度神经网络的慢性阻塞性肺病的检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JANEE ALAM: ""Multi-Stage Lung Cancer Detection and Prediction Using Multi-class SVM Classifie"", 《2018 INTERNATIONAL CONFERENCE ON COMPUTER, COMMUNICATION, CHEMICAL, MATERIAL AND ELECTRONIC ENGINEERING(IC4ME2)》, pages 1 - 4 *
机器之心: ""深度 | 从数据结构到Python实现：如何使用深度学习分析医学影像"", Retrieved from the Internet <URL:《https://cj.sina.com.cn/article/detail/3996876140/258110》> *
王进科: ""CT图像的肝脏及肺部肿瘤检测方法研究"", 《中国博士学位论文全文数据库 医药卫生科技辑》, no. 2018, pages 072 - 13 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112494063B (zh) * 2021-02-08 2021-06-01 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN113610845A (zh) * 2021-09-09 2021-11-05 汕头大学医学院附属肿瘤医院 肿瘤局部控制预测模型的构建方法、预测方法及电子设备
CN113610845B (zh) * 2021-09-09 2024-04-26 汕头大学医学院附属肿瘤医院 肿瘤局部控制预测模型的构建方法、预测方法及电子设备
CN115600160A (zh) * 2022-10-20 2023-01-13 浙江大学（Cn） 基于积分梯度可解释算法的网络模型窃取行为的检测方法
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Also Published As

Publication number Publication date
WO2019245597A1 (en) 2019-12-26
JP7069359B2 (ja) 2022-05-17
JP2021528751A (ja) 2021-10-21
US20210225511A1 (en) 2021-07-22
EP3788546A1 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
CN112292691A (zh) 用于使用深度学习提高癌症检测的方法与系统
US6125194A (en) Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
Xie et al. Computer-aided system for the detection of multicategory pulmonary tuberculosis in radiographs
Ypsilantis et al. Recurrent convolutional networks for pulmonary nodule detection in CT imaging
EP2208183B1 (en) Computer-aided detection (cad) of a disease
Patro et al. SCovNet: A skip connection-based feature union deep learning technique with statistical approach analysis for the detection of COVID-19
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
Hao et al. Lung adenocarcinoma diagnosis in one stage
Yar et al. Lung nodule detection and classification using 2D and 3D convolution neural networks (CNNs)
Li et al. A novel radiogenomics framework for genomic and image feature correlation using deep learning
Cifci Segchanet: A novel model for lung cancer segmentation in ct scans
Reddy et al. Intelligent deep learning algorithm for lung cancer detection and classification
Gopinath et al. Enhanced Lung Cancer Classification and Prediction based on Hybrid Neural Network Approach
Rafael-Palou et al. Detection, growth quantification, and malignancy prediction of pulmonary nodules using deep convolutional networks in follow-up CT scans
Chen et al. Detection and classification of breast lesions using multiple information on contrast-enhanced mammography by a multiprocess deep-learning system: A multicenter study
Happila et al. Logistic Segmentation and Multistage Categorization based Predictive Modeling of Lung Cancer
Afshar et al. Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark
Abdullah et al. Lung Lesion Identification Using Geometrical Feature and Optical Flow Method from Computed Tomography Scan Images
Bharathi Neural Network based Earlier Stage Lung Cancer Prediction Scheme with Differential Learning Assistance
Negi Deep learning-based automated detection of lung cancer from ct scans: A comparative study
Gupta et al. Lungs Disease Classification using VGG-16 architecture with PCA
Nandula et al. Lung Cancer Detection by Harnessing the Power of Deep Learning with Convolutional Neural Networks
Lalitha et al. Segmentation and Classification of 3D Lung Tumor Diagnoses Using Convolutional Neural Networks
Wang Deep Learning Applications in Bone Mineral Density Estimation, Spine Vertebra Detection, and Liver Tumor Segmentation
Hage Chehade et al. A Systematic Review: Classification of Lung Diseases from Chest X-Ray Images Using Deep Learning Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination