CN106897573A

CN106897573A - 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统

Info

Publication number: CN106897573A
Application number: CN201710163688.9A
Authority: CN
Inventors: 高大山; 钟新
Original assignee: 12 Sigma Holdings Ltd
Current assignee: Shenzhen Shen Wei medical technology (Suzhou) Co., Ltd.
Priority date: 2016-08-01
Filing date: 2017-03-17
Publication date: 2017-06-27
Anticipated expiration: 2037-03-17
Also published as: US9589374B1; WO2018026431A1; EP3491625A1; JP2019530488A; CN106897573B; EP3491625A4

Abstract

描述了用于对医学图像应用深度卷积神经网络以生成实时或近实时诊断的系统、介质和方法。

Description

使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统

背景技术

疾病诊断是健康检查中的重要步骤。医学成像是用于诊断很多疾病和提供非侵入性诊断的有用工具，非侵入性诊断比其他工具拥有更大优势。然而，医学成像生成大量数据，并且分析医学图像需要较长的过程。在疾病诊断的早期阶段，即使在高分辨率成像模式下，异常组织也可能并不突出。由此，解决问题的新技术是必要的。

发明内容

用于医学图像的计算机辅助诊断(CAD)系统目的是帮助医生通过减少检查时间，增加诊断准确度，并且减少由于经验和个人条件造成的诊断变化而更加有效地诊断疾病。使用先进的计算机技术，CAD系统为医生突出潜在医疗状况的区域，以便详细检查并且做出最后的诊断决策。本公开内容提供了一种具有高灵敏度和选择性的成功的CAD系统，使得在不包括很多错误分类的区域的情况下，检测到所有可能的异常。

CAD系统可以依赖于手工制作的特征来描述不健康的组织。此类特征的一些示例包括强度、边缘、2D/3D曲率、形状和其他2D/3D几何特性。设计此类特征可能涉及对具体问题的许多领域知识，虽然其大部分仍然是非常启发式的。一旦考虑到某个特征，就难以适应新的数据和情况。因此，系统经常经受低的检测率和高的假阳性，并且无法满足临床使用的需要。另外，传统的CAD系统的另一问题是慢的处理速度。很多传统的CAD系统花费很长时间用于数据处理。然而，一些应用和医学处理(例如，计算机引导的外科手术)需要获得实时或近实时结果。

本公开内容通过实时自动图像分析而解决了这些困难。为了创建较快的处理，本文公开的技术将感兴趣的区域分割，并且将以下处理应用于该区域而不是整个图像域。另外，在各2D切片而不是3D体空间(3D volumetric space)上执行初始筛选，以节约计算资源。接下来，对初始筛选结果应用精细检测步骤。分割和级联的处理允许快速处理，并且获得了实时或近实时结果。另一方面，为了获得高准确度，所公开的技术使用具有随机优化的卷积神经网络。所公开的技术包括基于深度学习的解决方案，诸如深度(多层)卷积神经网络(DCNN)，以通过扫描大量的专家标注的医学图像来自动学习关于疾病的关键特征及其特性。自动学习的特征比手动选择的特征更加具有判别力，并且可以更加容易地适应新的数据/情况。

在一个方面，本文公开了一种计算机实现的系统，包括数字处理设备，该数字处理设备包括：至少一个处理器，配置用于执行可执行指令的操作系统，存储器和包括指令的计算机程序，所述指令由所述数字处理设备可执行以创建应用，所述应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述应用包括：a)执行多个医学图像的图像分割的软件模块，所述图像分割包括从每个图像中隔离感兴趣的区域；b)对分割的图像应用级联深度卷积神经网络检测结构的软件模块，所述检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度(random scale)和随机视角在每个体内选择至少一个随机位置来筛选由所述候选位置构造的3D体，以标识一个或多个精细位置，并且对所述精细位置进行分类；以及c)自动生成包括诊断或诊断建议的报告的软件模块。在一些实施方式中，所述医学图像来自于CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，所述应用还包括执行图像预处理的软件模块，所述图像预处理包括所述多个医学图像的归一化。在一些实施方式中，所述归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，所述图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，所述感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，所述候选位置包括所述分割的医学图像的2D切片中的少于10％的位置。在一些实施方式中，所述第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，所述第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，所述滑动窗口是小于100像素×小于100像素的窗口。在一些实施方式中，所述滑动窗口是10-40像素×10-40像素的窗口。在一些实施方式中，所述滑动窗口是约31像素×约31像素的窗口。在一些实施方式中，所述滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，所述第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，所述3D体在每个方向少于100个像素。在进一步的实施方式中，所述3D体在每个方向10-40个像素。在又一些实施方式中，所述3D体在每个方向约32个像素。在一些实施方式中，所述3D体在每个方向约16个像素。在一些实施方式中，所述第二卷积神经网络在每个体内选择多个随机位置。在一些实施方式中，所述第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，所述第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，所述第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述应用还包括执行所述精细位置的后处理的软件模块。在另一些实施方式中，所述后处理包括表征以下中的一个或多个：质心位置(centroid location)、体积(volume)、形状、强度、密度、透明度和规则性。在又一些实施方式中，所述后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，其中所述应用实时地或近实时地运行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，所述诊断或诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，所述报告包括所述医学图像中的一个或多个上的信息叠加。在进一步的实施方式中，所述叠加包括点位置指示符、区域指示符或轮廓指示符。在一些实施方式中，所述报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，所述报告包括被热映射以指示诊断置信水平一个或多个医学图像。在一些实施方式中，所述报告包括通过对在两个或更多个时间点捕获的医学图像施加所述应用而生成的时间进程。在一些实施方式中，所述第一卷积神经网络和所述第二卷积神经网络被训练成标识疾病的关键临床征象。在进一步的实施方式中，所述第一卷积神经网络和所述第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像间距、图像对比度和图像取向的医学图像来训练的。在一些实施方式中，所述第一卷积神经网络和所述第二卷积神经网络是使用针对正常和疾病位置进行均衡的医学图像来训练的。

在另一方面，本文公开了编码有计算机程序的非暂时性计算机可读存储介质，所述计算机程序包括用于创建应用的处理器可执行的指令，所述应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述应用包括：(a)执行多个医学图像的图像分割的软件模块，所述图像分割包括从每个图像隔离感兴趣的区域；(b)对分割的图像应用级联深度卷积神经网络检测结构的软件模块，所述检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角在每个体内选择至少一个随机位置来筛选由所述候选位置构造的3D体，以标识一个或多个精细位置，并且对所述精细位置进行分类；以及(c)自动生成包括诊断或诊断建议的报告的软件模块。在一些实施方式中，所述医学图像来自于CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，所述应用还包括执行图像预处理的软件模块，所述图像预处理包括所述多个医学图像的归一化。在一些实施方式中，所述归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，所述图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，所述感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，所述候选位置包括所述分割的医学图像的2D切片中的少于10％的位置。在一些实施方式中，所述第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，所述第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，所述滑动窗口是小于100像素×小于100像素的窗口。在一些实施方式中，所述滑动窗口是10-40像素×10-40像素的窗口。在进一步的实施方式中，所述滑动窗口是约31像素×约31像素的窗口。在进一步的实施方式中，所述滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，所述第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，所述3D体是在每个方向少于100个立体像素(voxel)。在一些实施方式中，所述3D体是在每个方向10-40个立体像素。在一些实施方式中，所述3D体是在每个方向约32个立体像素。在一些实施方式中，所述3D体是在每个方向约16个立体像素。在一些实施方式中，所述第二卷积神经网络在每个体内选择多个随机位置。在一些实施方式中，所述第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，所述第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，所述第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述应用还包括执行所述精细位置的后处理的软件模块。在一些实施方式中，所述后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在一些实施方式中，所述后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，所述应用实时地或近实时地运行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，所述诊断或诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，所述报告包括所述医学图像中的一个或多个上的信息叠加。在一些实施方式中，所述叠加包括点位置指示符、区域指示符或轮廓指示符。在一些实施方式中，所述报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，所述报告包括被热映射以指示诊断置信水平一个或多个医学图像。在一些实施方式中，所述报告包括通过对在两个或更多个时间点捕获的医学图像施加所述应用而生成的时间进程。在一些实施方式中，所述第一卷积神经网络和所述第二卷积神经网络被训练成标识疾病的关键临床征象。在进一步的实施方式中，所述第一卷积神经网络和所述第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像间距、图像对比度和图像取向的医学图像来训练的。在一些实施方式中，所述第一卷积神经网络和所述第二卷积神经网络是使用针对正常和疾病位置进行均衡的医学图像来训练的。

在又一方面，公开了一种计算机实现的方法，所述方法对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述方法包括：a)由计算机执行多个医学图像的图像分割，所述图像分割包括从每个图像隔离感兴趣的区域；b)由所述计算机对分割的图像应用级联深度卷积神经网络检测结构，所述检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角在每个体内选择至少一个随机位置来筛选由所述候选位置构造的3D体，以标识一个或多个精细位置，并且对所述精细位置进行分类；以及(c)由所述计算机自动生成包括诊断或诊断建议的报告。在一些实施方式中，所述医学图像来自于CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，所述方法还包括由所述计算机执行图像预处理，所述图像预处理包括所述多个医学图像的归一化。在一些实施方式中，所述归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，所述图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，所述感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，所述候选位置包括所述分割的医学图像的2D切片中的少于10％的位置。在一些实施方式中，所述第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，所述第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，所述滑动窗口是小于100像素×小于100像素的窗口。在进一步的实施方式中，所述滑动窗口是10-40像素×10-40像素的窗口。在一些实施方式中，所述滑动窗口是约31像素×约31像素的窗口。在一些实施方式中，所述滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，所述第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，所述3D体是在每个方向少于100个立体像素。在一些实施方式中，所述3D体是在每个方向10-40个立体像素。在一些实施方式中，所述3D体是在每个方向约32个立体像素。在一些实施方式中，所述3D体是在每个方向约16个立体像素。在一些实施方式中，所述第二卷积神经网络在每个体内选择多个随机位置。在一些实施方式中，所述第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，所述第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，所述第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，所述方法还包括由所述计算机执行所述精细位置的后处理。在一些实施方式中，所述后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在一些实施方式中，所述后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，所述方法实时地或近实时地执行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，所述诊断或诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，所述报告包括所述医学图像中的一个或多个上的信息叠加。在一些实施方式中，所述叠加包括点位置指示符、区域指示符或轮廓指示符。在一些实施方式中，所述报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，所述报告包括被热映射以指示诊断置信水平一个或多个医学图像。在一些实施方式中，所述报告包括通过对在两个或更多个时间点捕获的医学图像施加所述应用而生成的时间进程。在一些实施方式中，所述方法还包括训练所述第一卷积神经网络和所述第二卷积神经网络以标识疾病的关键临床征象。在一些实施方式中，使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像间距、图像对比度和图像取向的医学图像来训练所述第一卷积神经网络和所述第二卷积神经网络。在一些实施方式中，使用针对正常和疾病位置进行均衡的医学图像来训练所述第一卷积神经网络和所述第二卷积神经网络。

附图说明

图1示出了处理流程图的一个非限制性示例；在这种情况下，图示出了用于将深度卷积神经网络应用于医学图像以生成实时或近实时诊断的整体处理。

图2示出了处理流程图的一个非限制性示例；在这种情况下，图示出了用于将深度卷积神经网络应用于医学图像以生成实时或近实时诊断的初始筛选处理。

图3示出了处理流程图的一个非限制性示例；在这种情况下，图示出了用于将深度卷积神经网络应用于医学图像以生成实时或近实时诊断的精细筛选处理。

图4示出了本文描述的报告的一个非限制性示例；在这种情况下，报告包括肺结节分析。

图5示出了本文描述的报告的一个非限制性示例；在这种情况下，报告包括检测到的肺结节的图像。

图6示出了数据图表的一个非限制性示例；在这种情况下，图表示出了本文所描述的技术相比较于现有技术的性能。

图7示出了数字处理设备的一个非限制性示例；在这种情况下，设备具有一个或多个CPU、存储器、通信接口和显示器。

具体实施方式

现有的CAD系统依赖于手工制作的特征来描述不健康的组织。然而，手工工作涉及对具体问题的大量领域知识，虽然其大部分仍然是非常启发式的。一旦考虑了某个特征，就难以适应新的数据和情况。因此，系统经常遭受低检测率和高的假阳性，并且无法满足临床使用的需要。本文公开的技术采用人工智能算法来自动地分析医学图像以标识疾病特征。所标识的特征基本被用于具有高准确度的疾病诊断。

另一方面，现有的CAD系统面临较慢的处理时间。医学成像生成大量图像数据，其处理和分析通常需要很长的时间。在一些应用中，处理太过复杂以致于无法实时执行。本文公开的技术包括实时自动图像分析。为了创建较快的处理，本文公开的技术开始于分隔感兴趣的区域，并且将以下处理应用于该区域而不是整个图像域。另外，对个体2D切片而不是3D体空间执行初始筛选，以节约计算资源。接下来，对初始筛选结果应用精细检测步骤。分割和级联的处理允许快速处理，并且获得了实时或近实时结果。另一方面，为了获得高准确度，所公开的技术使用具有随机优化的卷积神经网络。所公开的技术包括基于深度学习的解决方案，诸如深度(多层)卷积神经网络(DCNN)，以通过扫描大量的专家标注的医学图像来自动学习关于疾病的关键特征及其特性。自动学习的特征比手动选择的特征更加具有判别力，并且可以更加容易地适应新的数据/情况。

本文所描述的在特定实施方式中是一种计算机实现的系统，包括：数字处理设备，其包括：至少一个处理器，配置用于执行可执行指令的操作系统，存储器以及计算机程序，所述计算机程序包括用于创建应用的、由数字处理设备可执行的指令，所述应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述应用包括：(a)执行多个医学图像的图像分割的软件模块，图像分割包括从每个图像隔离感兴趣的区域；(b)对分割的图像应用级联深度卷积神经网络检测结构的软件模块，检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中所有可能的位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角来选择每个体内的至少一个随机位置来筛选由候选位置构造的3D体，以标识一个或多个精细位置，并且对精细位置进行分类；以及(c)自动生成包括诊断或者诊断建议的报告的软件模块。在一些实施方式中，医学图像来自CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，应用还包括执行图像预处理的软件模块，图像预处理包括多个医学图像的归一化。在一些实施方式中，归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，候选位置包括分割的医学图像的2D切片中的少于10％的位置。在一些实施方式中，第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，滑动窗口是小于100像素×小于100像素的窗口。在一些实施方式中，滑动窗口是10-40像素×10-40像素的窗口。在一些实施方式中，滑动窗口是约31像素×约31像素的窗口。在一些实施方式中，滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，3D体是在每个方向小于100个立体像素。在另一些实施方式中，3D体是在每个方向10-40个立体像素。在又一些实施方式中，3D体是在每个方向约30个立体像素。在一些实施方式中，3D体是在每个方向约16个立体像素。在一些实施方式中，第二卷积神经网络选择每个体内的多个随机位置。在一些实施方式中，第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，应用还包括执行对精细位置的后处理的软件模块。在另一些实施方式中，后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在又一些实施方式中，后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，其中应用实时地或近实时地运行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，诊断或者诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，报告包括医学图像中的一个或多个上的信息叠加。在另一些实施方式中，叠加包括点位置指示符、区域指示符或者轮廓指示符。在一些实施方式中，报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，报告包括被映射以指示诊断置信水平的一个或多个医学图像。在一些实施方式中，报告包括通过对在两个或更多个时间点捕获的医学图像施加应用而生成的时间进程。在一些实施方式中，第一卷积神经网络和第二卷积神经网络被训练成标识疾病的关键临床征象。在另一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像强度、图像对比度和图像取向的医学图像来训练的。在一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用针对正常和疾病位置而进行均衡的医学图像来训练的。

在某些实施方式中，本文还描述了一种编码有计算机程序的非暂时性计算机可读存储介质，计算机程序包括用以创建应用的处理器可执行的指令，该应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，该应用包括：(a)执行多个医学图像的图像分割的软件模块，图像分割包括从每个图像隔离感兴趣的区域；(b)对分割的图像应用级联深度卷积神经网络检测结构的软件模块，该检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角来选择每个体内的至少一个随机位置而筛选由候选位置构造的3D体，以标识一个或多个精细位置，并且对精细位置进行分类；以及(c)自动生成包括诊断或者诊断建议的报告的软件模块。在一些实施方式中，医学图像来自CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，应用还包括执行图像预处理的软件模块，图像预处理包括多个医学图像的归一化。在一些实施方式中，归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，候选位置包括分割的医学图像的2D切片中的少于10％的位置。在一些实施方式中，第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，滑动窗口是少于100像素×小于100像素的窗口。在一些实施方式中，滑动窗口是10-40像素×10-40像素的窗口。在另一些实施方式中，滑动窗口是约31像素×约31像素的窗口。在另一些实施方式中，滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，3D体是每个方向小于100个立体像素。在一些实施方式中，3D体是每个方向10-40个立体像素。在一些实施方式中，3D体是每个方向约32个立体像素。在一些实施方式中，3D体是每个方向约16个立体像素。在一些实施方式中，第二卷积神经网络选择每个体内的多个随机位置。在一些实施方式中，第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，应用还包括执行精细位置的后处理的软件模块。在一些实施方式中，后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在一些实施方式中，后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，应用实时地或近实时地运行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，诊断或诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，报告包括医学图像中的一个或多个上的信息叠加。在一些实施方式中，叠加包括点位置指示符、区域指示符或者轮廓指示符。在一些实施方式中，报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，报告包括被热映射以指示诊断置信水平的一个或多个医学图像。在一些实施方式中，报告包括通过对在两个或更多个时间点捕获的医学图像施加应用而生成的时间进程。在一些实施方式中，第一卷积神经网络和第二卷积神经网络被训练成标识疾病的关键临床征象。在一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像强度、图像对比度和图像取向的医学图像来训练的。在一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用针对正常和疾病位置而进行平衡的医学图像来训练的。

在某些实施方式中，本文还描述了一种对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议的计算机实现的方法，包括：(a)由计算机执行多个医学图像的图像分割，图像分割包括从每个图像隔离感兴趣的区域；(b)由计算机对分割的图像应用级联深度卷积神经网络检测结构，该检测结构包括：(1)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及(2)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角来选择每个体内的至少一个随机位置来筛选由候选位置构造的3D体，以标识一个或多个精细位置，并且对精细位置进行分类；以及(c)由计算机自动生成包括诊断或诊断建议的报告。在一些实施方式中，医学图像来自CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。在一些实施方式中，方法还包括由计算机执行图像预处理，图像预处理包括多个医学图像的归一化。在一些实施方式中，归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，图像被归一化为DICOM格式、NIfTI格式或者原始二进制格式。在一些实施方式中，感兴趣的区域是器官、器官的一部分或者组织。在一些实施方式中，候选位置包括分割的医学图像的2D切片中少于10％的位置。在一些实施方式中，第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。在一些实施方式中，第一卷积神经网络具有3-8个卷积层和3-5个完全连接层。在一些实施方式中，滑动窗口是小于100像素×小于100像素的窗口。在另一些实施方式中，滑动窗口是10-40像素×10-40像素的窗口。在一些实施方式中，滑动窗口是约31像素×约31像素的窗口。在一些实施方式中，滑动窗口是约16像素×约16像素的窗口。在一些实施方式中，第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。在一些实施方式中，第二卷积神经网络具有五个或更多个卷积和完全连接层。在一些实施方式中，3D体是每个方向少于100个立体像素。在一些实施方式中，3D体是每个方向10-40个立体像素。在一些实施方式中，3D体是每个方向约32个立体像素。在一些实施方式中，3D体是每个方向约16个立体像素。在一些实施方式中，第二卷积神经网络选择每个体内的多个随机位置。在一些实施方式中，第二卷积神经网络在每个位置处选择多个随机尺度。在一些实施方式中，第二卷积神经网络针对每个位置选择多个随机视角。在一些实施方式中，第二卷积神经网络包括从多个神经网络实例随机选择的至少一个神经网络实例。在一些实施方式中，方法还包括由计算机执行精细位置的后处理。在一些实施方式中，后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在一些实施方式中，后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。在一些实施方式中，方法实时地或近实时地执行，并且生成实时或近实时诊断或诊断建议。在一些实施方式中，诊断或诊断建议包括确定任何位置是否是疾病部位。在一些实施方式中，报告包括医学图像中的一个或多个上的信息叠加。在一些实施方式中，叠加包括点位置指示符、区域指示符或者轮廓指示符。在一些实施方式中，报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，报告包括被热映射以指示诊断置信水平的一个或多个医学图像。在一些实施方式中，报告包括通过对在两个或更多个时间点捕获的医学图像施加应用而生成的时间进程。在一些实施方式中，方法还包括训练第一卷积神经网络和第二卷积神经网络以标识疾病的关键临床征象。在一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像强度、图像对比度和图像取向的医学图像来训练的。在一些实施方式中，第一卷积神经网络和第二卷积神经网络是使用针对正常和疾病位置而进行平衡的医学图像来训练的。

特定定义

除非另外定义，否则本文使用的所有技术术语都具有如本发明所属领域技术人员所普遍理解的相同的意义。如本说明书和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。本文对“或者”的任何引用都旨在包括“和/或”，除非另外陈述。

医学图像

在各种实施方式中，本文描述的平台、系统、介质和方法包括医学图像。参考图1，医学成像机扫描主体并且生成对系统的输入扫描105。扫描的示例包括但不限于CT扫描、SPECT扫描、MRI、X射线、超声、内窥镜检查、结肠镜检查、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。

图像预处理

在各种实施方式中，本文描述的平台、系统、介质和方法包括图像预处理。再次参考图1，系统还执行预处理步骤100。在一些实施方式中，预处理100包括格式转换110。在一些实施方式中，预处理100包括多个医学图像的归一化。在一些实施方式中，归一化包括在x轴、y轴和z轴上的归一化采样空间(115)。在一些实施方式中，归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。在一些实施方式中，归一化包括将图像归一化为DICOM或NIfTI格式。在一些实施方式中，预处理100包括强度和对比度归一化120。

图像分割

再次参考图1，当预处理100完成时，执行对感兴趣的区域的分割125。在另一些实施方式中，感兴趣的区域是器官、腔、组织结构、器官的组成或者器官的一部分。在又一些实施方式中，在用于初始筛选的第一级DCNN 130下，处理分割的图像。在又一些实施方式中，在用于精细检测的第二级DCNN 135下，处理分割的图像。DCNN的分析结果经过用于统计分析的后处理140，例如肺结节标识。最后的步骤145包括可定制的结果呈现。

在一些实施方式中，感兴趣的区域包括用于进一步分析的候选位置。在一些实施方式中，候选位置包括分割的医学图像的2D切片中的少于5％、10％、15％、20％、25％、30％、35％或40％(包括其中的增量)的位置。

级联深度卷积神经网络检测结构

在各种实施方式中，本文描述的平台、系统、介质和方法包括级联深度卷积神经网络(DCNN)检测结构或其使用。在一些实施方式中，检测结构在两个级中包括两个或更多个深度卷积神经网络。再次参考图1，级联DCNN检测结构包括用于初始筛选的第一级DCNN 130和用于精细检测的第二级DCNN 135。

参考图2，第一级开始于步骤200，其获取预处理之后的3D扫描的医学图像。另一方面，一个或多个离线训练的DCNN模型205被馈送至分析中。步骤210使用DCNN模型在个体2D横向切片上处理分割的区域。在一些实施方式中，基于滑动窗口方法来应用DCNN。在各种另一些实施方式中，滑动窗口包括以下的窗口：小于10像素×小于10像素，小于20像素×小于20像素、小于30像素×小于30像素、小于50像素×小于50像素、小于100像素×小于100像素或者小于200像素×小于200像素，包括其中的增量。在特定实施方式中，滑动窗口是约31像素×约31像素的窗口。在该特定实施方式中，DCNN具有三个卷积层和两个完全连接层。另外，在该实施方式中，步骤220将每个切片的网络输出的大小调整为原始图像大小。在另一些实施方式中，步骤230应用阈值以生成二元掩模(binary mask)，从而标识诊断特征的候选位置。在一些情况下，候选位置包括分割的医学图像的2D切片中的少于10％位置。在一些实施方式中，基于第一级DCNN的受试者操作特性(ROC)分析来选择步骤230中的阈值。在各种其他实施方式中，阈值选择为使得候选位置包括训练集中的多于约90％、多于约91％、多于约92％、多于约93％、多于约94％、多于约95％、多于约96％、多于约97％、多于约98％或者多于约99％的病灶部位。在特定实施方式中，阈值选择为使得候选位置包括训练集中的多于约95％的病灶位置。最后，二元掩模被传播至第二级检测。

在一些实施方式中，第二级分析采用第二DCNN，以通过利用随机尺度和随机视角来选择每个体内的至少一个随机位置，来筛选由候选位置构造的3D体，以标识一个或多个精细位置，并且对精细位置进行分类。在一些实施方式中，3D体是每个方向少于50个立体像素、100个立体像素、200个立体像素或300个立体像素，包括其中的增量。在特定实施方式中，3D体是每个方向约8个、16个、32个、48个或64个立体像素，包括其中的增量。在一些实施方式中，第二DCNN在每个体内选择多个随机位置。在一些实施方式中，第二DCNN在每个位置处选择多个随机尺度。在一些实施方式中，第二DCNN针对每个位置选择多个随机视角。

在一些实施方式中，第一级中的卷积神经网络包括3-8个卷积层和3-5个完全连接层。在一些实施方式中，该第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。多个神经网络实例具有不同的参数，或者具有不同的网络结构。

以下描述第二级分析的实施方式。参考图3，由第一级筛选生成的候选位置300被馈送到第二级分析中。在步骤305中，针对每个位置，系统利用随机选择的尺度和视角来提取一个或多个样本。另一方面，离线训练的第二级DCNN模型310被馈送到分析。在步骤315中，针对每个样本，应用一个或多个DCNN实例。在一些实施方式中，第二DCNN具有五个或更多个卷积和完全连接层。在步骤320中，系统继而收集具有正DCNN响应的所有位置，以及尺度和DCNN分类置信度(由A表示)。在步骤325中，系统在A中找到具有最大置信度的位置L。在步骤330中，系统组合位置L的邻区内的所有正响应。另外，步骤335确定是否检测到异常(例如，肺结节)。如果检测到了，则步骤345记录异常的位置及其尺度和置信度，随后是步骤350，其中系统从集合A中移除位置L和其邻区内的所有位置。如果在步骤335没有检测到异常，则系统从集合A中移除位置L。继而，系统在步骤355中检查集合A是否为空。如果集合A为空，则第二级终止，并且输出具有异常的所有记录位置360。如果在步骤355中集合A不为空，则系统利用A中的另一元素重复分析开始步骤325。

在一些实施方式中，致力于第二级分析，以通过利用随机尺度和随机视角来选择每个体内的至少一个随机位置而筛选由候选位置构造的3D体，从而标识一个或多个精细位置，并且对精细位置进行分类。在一些实施方式中，3D体在每个方向包括少于100个立体像素。在一些实施方式中，3D体在每个方向包括10-40个立体像素。在一些实施方式中，3D体在每个方向包括约32个立体像素。在一些实施方式中，3D体在每个方向包括约16个立体像素。

在一些实施方式中，第二级中的DCNN在每个体内选择多个随机位置。在一些实施方式中，第二级中的DCNN在每个位置处选择多个随机尺度。在一些实施方式中，第二级中的DCNN针对每个位置选择多个随机视角。在一些实施方式中，随机化算法基于概率建模；例如，位置基于均匀分布或正态分布。

在一些实施方式中，第二级中的卷积神经网络包括至少1个、2个、3个、4个、5个、6个、7个、8个、9个或10个卷积或完全连接层。在一些实施方式中，该卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。多个神经网络实例具有不同的参数，或者具有不同的网络结构。

后处理和报告

在各种实施方式中，本文描述的平台、系统、介质和方法包括精细位置的后处理或其使用。在一些实施方式中，后处理包括表征以下中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。在一些实施方式中，后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。

在各种实施方式中，本文描述的平台、系统、介质和方法包括报告生成或其使用。在自动检测之后，向用户呈现候选异常位置(例如，肺结节)以用于最后的审阅。取决于用户偏好，可以按照不同的方式呈现结果。

在一些实施方式中，报告包括医学图像中的一个或多个上的信息叠加。在一些实施方式中，报告包括被颜色编码以指示疾病类型的一个或多个医学图像。在一些实施方式中，报告包括被热映射以指示诊断置信水平的一个或多个医学图像。在一些实施方式中，报告包括通过对在两个或更多个时间点捕获的医学图像施加应用而生成的时间进程。在另一些实施方式中，叠加包括点位置指示符、区域指示符或者轮廓指示符。在又一些实施方式中，叠加包括针对分割的区域和/或异常位置的颜色编码。

在一些实施方式中，报告包括基于信息文本的报告。参考图4，在具有检测到的肺结节的2D或3D图像之上呈现肺结节检测的汇总报告。在附加实施方式中，基于文本的报告包括测量结果(例如，大小、体、长度、快递、深度、尺寸、位置和直径)。在附加实施方式中，基于文本的报告包括置信水平，诸如概率或统计测量。

在一些实施方式中，报告包括来自回顾扫描的生物标志物跟踪。系统寄存先前扫描中检测到的损伤，并且呈现该损伤的进展。在一些实施方式中，报告包括动画可视化。

本文公开的技术分割感兴趣的区域，并且对感兴趣的区域而不是整个图像域应用以下级联检测结构。另外，对个体2D切片而不是3D体积空间执行初始筛选，以便节约计算资源。接下来，对初始筛选结果应用精细检查步骤。分割和级联检测处理允许较少的数据加载在存储器中，并且分析较小的分割数据的体需要较少的用于计算的CPU周期。消耗较少存储器和CPU周期的总体效果导致快速的处理，并且实现了实时或近实时的图像处理和报告生成。在另一些实施方式中，报告包括诊断建议或诊断，例如，任何位置是否是疾病部位的指示/概率。

卷积神经网络训练

在一些实施方式中，在训练步骤中训练DCNN。在一些实施方式中，训练步骤开始于如上所述的预处理。在另一些实施方式中，训练收集样本来执行对多个尺度、多个角度/视野、多个位置、随机位置的分析。此外，训练步骤包括针对不同分类对数据进行均衡。

在一些实施方式中，第一卷积神经网络和第二卷积神经网络被训练成标识疾病的关键临床征象。在一些实施方式中，使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像强度、图像对比度和图像取向的医学图像来训练第一卷积神经网络和第二卷积神经网络。在一些实施方式中，使用针对正常和疾病位置而进行均衡的医学图像来训练第一卷积神经网络和第二卷积神经网络。

在一些实施方式中，DCNN设计和训练包括在学习率和/或迭代方面的考虑。在一些实施方式中，训练步骤包括考虑性能(例如，ROC分析)或者操作点选择。

数字处理设备

在一些实施方式中，本文描述的平台、系统、介质和方法包括数字处理设备或其使用。在另一些实施方式中，数字处理设备包括实现该设备的功能的一个或多个硬件中央处理单元(CPU)或通用图形处理单元(GPGPU)。在又一些实施方式中，数字处理设备还包括配置用于执行可执行指令的操作系统。在一些实施方式中，数字处理设备可选地连接计算机网络。在另一些实施方式中，数字处理设备可选地连接至因特网，使得其访问万维网。在又一些实施方式中，数字处理设备可选地连接至云计算基础架构。在其他实施方式中，数字处理设备可选地连接至内联网。在其他实施方式中，数字处理设备可选地连接至数据存储设备。

根据本文的描述，适合的数字处理设备以非限制性示例的方式包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、次笔记本计算机、上网本计算机、上网平板计算机、手持式计算机和平板计算机。合适的平板计算机包括本领域技术人员已知的具有小册子、平台和可转换配置的那些平台计算机。

在一些实施方式中，数字处理设备包括配置用于执行可执行指令的操作系统。操作系统例如是软件，其包括程序和数据，管理设备的硬件并且提供用于应用的执行的服务。本领域技术人员将认识到，合适的服务器操作系统以非限制性示例的方式包括FreeBSD、OpenBSD、Linux、Mac OS XWindows和本领域技术人员将认识到，合适的个人计算机操作系统以非限制性示例的方式包括 Mac OS和诸如的类UNIX操作系统。在一些实施方式中，操作系统通过云计算来提供。

在一些实施方式中，设备包括存储和/或存储器设备。存储和/或存储器设备是用于在临时或永久的基础上存储数据或程序的一个或多个物理装置。在一些实施方式中，设备是易失性存储器，并且需要电力来维持所存储的信息。在一些实施方式中，设备是非易失性存储器，并且在数字处理设备不供电时保持所存储的信息。在另一些实施方式中，非易失性存储器包括闪速存储器。在一些实施方式中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施方式中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施方式中，非易失性存储器包括相变随机存取存储器(PRAM)。在其他实施方式中，设备是存储设备，以非限制性示例的方式包括CD-ROM、DVD、闪速存储器设备、磁盘驱动器、磁带、光盘驱动器和基于存储的云计算。在另一些实施方式中，存储和/或存储器设备是诸如本文所公开的那些设备的组合。

在一些实施方式中，数字处理设备包括显示器，用于向用于发送视觉信息。在一些实施方式中，显示器是阴极射线管(CRT)。在一些实施方式中，显示器是液晶显示器(LCD)。在另一些实施方式中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施方式中，显示器是有机发光二极管(OLED)显示器。在各种其他实施方式中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施方式中，显示器是等离子体显示器。在其他实施方式中，显示器是视频投影仪。在又一些实施方式中，显示器是诸如本文所公开的那些设备的组合。

在一些实施方式中，数字处理设备包括用于从用户接收信息的输入设备。在一些实施方式中，输入设备是键盘。在一些实施方式中，输入设备是定点设备，以非限制性示例的方式包括鼠标、轨迹球、跟踪板、操纵杆、游戏控制器或者触笔。在一些实施方式中，输入设备是触摸屏幕或者多点触摸屏幕。在其他实施方式中，输入设备是用于捕获语音或其他声音输入的麦克风。在其他实施方式中，输入设备是摄影机或者用于捕获动作或视觉输入的其他传感器。在又一些实施方式中，输入设备是本文所公开的那些设备的组合。

在各种实施方式中，本文描述的平台、系统、介质和方法包括云计算环境。在一些实施方式中，云计算环境包括多个计算处理器。云计算环境位于一个或多个地理定位中。云计算环境经由网络与医学扫描仪耦合。在一些实施方式中，扫描仪生成图像集合，并且将图像传输至云计算环境。图像的传输可以是串行模式或者批处理模式。一旦云计算环境接收到一个或多个图像，系统就执行分割、级联检测、报告生成等等。

参考图7，在特定实施方式中，示例性数字处理设备701被编程或者以其他方式被配置用于执行图像处理。设备701可以调节本公开内容的图像处理的各个方面，例如，分割，检测，DCNN，报告生成和训练。在该实施方式中，数字处理设备701包括中央处理单元(CPU，本文也称“处理器”和“计算机处理器”)705，其可以是单核处理器或多核处理器，或者用于并行处理的多个处理器。如本文描述的，促进并行处理的图形处理单元(GPU)也是合适的。数字处理设备701还包括存储器或存储器位置710(例如，随机存取存储器、只读存储器、闪速存储器)、电子存储单元715(例如，硬盘)、用于与一个或多个其他系统通信的通信接口720(例如，网络适配器)以及外围设备725，诸如高速缓冲存储器、其他存储器、数据存储和/或电子显示器适配器。存储器710、存储单元715、接口720和外围设备725通过诸如母板的通信总线(实线)与CPU 705通信。存储单元715可以是用于存储数据的数据存储单元(或数据储存库)。数字处理设备701可以借助于通信接口720而可操作地耦合至计算机网络(“网络”)730。网络730可以是因特网、互联网和/或外联网，或者与互联网通信的内联网和/或外联网。在一些情况下，网络730是电信和/或数据网络。网络730可以包括一个或多个计算机服务器，其可以实现分布式计算，诸如云计算。在一些情况下，网络730借助于设备701可以实现对等网络，其可以使得耦合至设备701的设备能够充当客户端或服务器。

继续参考图7，CPU 705可以执行机器可读指令序列，其可以在程序或软件中具体化。指令可以存储在存储器位置中，诸如存储器710。指令可以被引导至CPU 705，其随后可以编程或者以其他方式配置CPU 705实现本公开内容的方法。由CPU 705执行的操作的示例可以包括取得、解码、执行和写回。CPU 705可以是诸如集成电路的电路的一部分。设备701的一个或多个其他组件可以包括在电路中。在一些情况下，电路可以是专用集成电路(ASIC)或者现场可编程门阵列(FPGA)。

继续参考图7，存储单元715可以存储文件，诸如驱动程序、库和保存的程序。存储单元715可以存储用户数据，例如用户偏好和用户程序。在一些情况下，数字处理设备701可以包括外部的一个或多个附加数据存储单元，诸如位于通过内联网或因特网通信的远程服务器上。

继续参考图7，数字处理设备701可以通过网络730与一个或多个远程计算机系统通信。例如，设备701可以与用户的远程计算机系统735通信。远程计算机系统的示例包括个人计算机(例如，便携式PC)、板或平板PC(例如，iPad、Galaxy Tab)、电话、智能电话(例如，iPhone、支持Android的设备、)或者个人数字助理。

本文描述的方法能够以存储在数字处理设备101的电子存储位置上的机器(例如，计算机处理器)可执行代码的形式实现，电子存储位置例如存储器710或者电子存储单元715。机器可执行代码或者机器可读代码能够以软件的形式提供。在使用期间，代码可以由处理器705来执行。在一些情况下，可以从存储单元715取回代码并且存储在存储器710上，以便处理器705容易存取。在一些情况下，可以排除电子存储单元715，并且机器可执行指令存储在存储器710上。

非暂时性计算机可读存储介质

在一些实施方式中，本文公开的平台、系统、介质和方法包括利用程序编码的一个或多个计算机可读存储介质，程序包括可选地联网的数字处理设备的操作系统可执行的指令。在另一些实施方式中，计算机可读存储介质是数字处理设备的有形组件。在又一些实施方式中，计算机可读存储介质可选地从数字处理设备可移除。在一些实施方式中，计算机可读存储介质以非限制性示例的方式包括CD-ROM、DVD、闪速存储器设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等等。在一些情况下，程序和指令是永久地、基本永久地、半永久地或者非暂时性地编码在介质上。

计算机程序

在一些实施方式中，本文公开的平台、系统、介质和方法包括至少一个计算机程序或其使用。计算机程序包括被编写为执行指定任务的、在数字处理设备的CPU中可执行的指令序列。计算机可读指令可以实现为程序模块，诸如功能、对象、应用编程接口(API)、数据结构等，其执行特定任务或者实现特定抽象数据类型。根据本文提供的公开内容，本领域技术人员将认识到，计算机程序能够以各种语言的各种版本来编写。

计算机可读指令的功能性可以按照各种环境中的期望来组合或分布。在一些实施方式中，计算机程序包括一个指令序列。在一些实施方式中，计算机程序包括多个指令序列。在一些实施方式中，从一个位置提供计算机程序。在其他实施方式中，从多个位置提供计算机程序。在各种实施方式中，计算机程序包括一个或多个软件模块。在各种实施方式中，计算机程序部分或全部地包括一个或多个网络应用、一个或多个独立应用、一个或多个网络浏览器插件、扩展件、添加插件或加载项，或者其组合。

网络应用

在一些实施方式中，计算机程序包括网络应用。根据本文提供的公开内容，本领域技术人员将认识到，在各种实施方式中，网络应用使用一个或多个软件框架和一个或多个数据库系统。在一些实施方式中，在诸如.NET或Ruby on Rails(RoR)的软件框架上创建网络应用。在一些实施方式中，网络应用使用一个或多个数据库系统，以非限制性示例的方式包括关系型、非关系型、面向对象的、关联和XML数据库系统。在另一些实施方式中，合适的关系型数据库系统以非限制性示例的方式包括SQL Server、MySQL^TM和本领域技术人员将认识到，在各种实施方式中，网络应用以一种或多种语言的一个或多个版本来编写。网络应用能够以一种或多种标记语言、表示定义语言、客户端脚本语言、服务器端编码语言、数据库查询语言或者其组合来编写。在一些实施方式中，网络应用在一定程度上以标记语言来编写，诸如超文本标记语言(HTML)、可扩展超文本标记语言(XHTML)或可扩展标记语言(XML)。在一些实施方式中，网络应用在一定程度上以表示定义语言来编写，诸如层叠样式表(CSS)。在一些实施方式中，网络应用在一定程度上以客户端脚本语言来编写，诸如异步Javascript和XML(AJAX)、ActionScript、Javascript或在一些实施方式中，网络应用在一定程度上以服务器端编码语言来编写，诸如动态服务器页面(ASP)、Perl、Java^TM、Java服务器页面(JSP)、超文本预处理器(PHP)、Python^TM、Ruby、Tcl、Smalltalk、或Groovy。在一些实施方式中，网络应用在一定程度上以数据库查询语言来编写，诸如结构化查询语言(SQL)。在一些实施方式中，网络应用集成了企业服务器产品，诸如Lotus在一些实施方式中，网络应用包括媒体播放器元素。在各种其他实施方式中，媒体播放器元素使用很多合适的多媒体技术中的一种或多种，以非限制性示例的方式包括HTML 5、 Java^TM和

独立应用

在一些实施方式中，计算机程序包括独立应用(standalone application)，其是作为独立的计算机程序而不是对已有程序的加载项(例如，不是插件)而运行的。本领域技术人员将认识到，独立应用经常被编译。编译器是将以编程语言编写的源代码转换为二进制对象代码(诸如汇编语言或机器代码)的计算机程序。合适的编译编程语言以非限制性示例的方式包括C、C++、Objective-C、COBOL、Delphi、Eiffel、Java^TM、Lisp、Python^TM、VisualBasic和VB.NET，或者其组合。经常或者至少部分地执行编译，以创建可执行的程序。在一些实施方式中，计算机程序包括一个或多个可执行编译应用。

软件模块

在一些实施方式中，本文公开的平台、系统、介质和方法包括软件、服务器和/或数据库模块或其使用。考虑到本文提供的公开内容，通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块以多种方式实现。在各种实施方式中，软件模块包括文件、代码段、编程对象、编程结构，或者其组合。在另外的各种实施方式中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或者其组合。在各种实施方式中，一个或多个软件模块以非限制性示例的方式包括网络应用、移动应用和独立应用。在一些实施方式中，软件模块在一个计算机程序或应用中。在其他实施方式中，软件模块在不止一个计算机程序或应用中。在一些实施方式中，软件模块在一个机器上托管。在其他实施方式中，软件模块在不止一个机器上托管。在另一些实施方式中，软件模块在云计算平台上托管。在一些实施方式中，软件模块在一个位置的一个或多个机器上托管。在其他实施方式中，软件模块在不止一个位置的一个或多个机器上托管。

数据库

在一些实施方式中，本文公开的平台、系统、介质和方法包括一个或多个数据库或其使用。考虑到本文提供的公开内容，本领域技术人员将认识到，很多数据库适合于个人(例如，患者)、医学图像和神经网络/训练信息的存储和取回。在各种实施方式中，合适的数据库以非限制性示例的方式包括关系型数据库、非关系型数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。另外的非限制性示例包括SQL、PostgreSQL、MySQL、Oracle、DB2和Sybase。在一些实施方式中，数据库是基于互联网的。在另一些实施方式中，数据库是基于网络的。在又一些实施方式中，数据库是基于云计算的。在其他实施方式中，数据库基于一个或多个本地计算机存储设备。

实施例

以下说明性实施例是本文描述的软件应用、系统和方法的实施方式的代表，并且不是为了以任何方式进行限制。

实施例1-报告的生成

图4示出了分析包括的实施例。系统标识的结节位置处于右上肺。结节被确定为非实心和毛玻璃样的。结节的质心的x-y-z坐标是195-280-43。结节沿长轴的直径是11mm，而沿短轴的直径是7mm。结节的边界形状是不规则的。恶性的概率是84％。

图5示出了诊断报告的实施例。在该实施例中，报告包括用户界面。向用户呈现了肺CT扫描的三个投影视图501、502和503。视图501、502和503包括光标以允许用户精确指明某个位置。窗口504示出了分割的肺和检测到的结节候选(正方形点)的3D模型。3D模型叠加在投影的视图501、502和503中。

实施例2-肺结节检测的验证

本文公开的技术被应用于由国家卫生研究院(NIH)提供的公开可用的肺结节数据库(LIDC-IDRI)。该数据库包括来自1012名患者的1018个CT肺扫描。扫描是使用多种CT机和多种参数设置集合而捕获的。已经由四名放射科医生将扫描内的每个立体像素仔细地注释为正常(非结节)或异常(结节)。在训练步骤中，采用五重交叉验证来用于评估。所有的扫描首先被分为五个集合，每个集合包含大约相同数目的扫描。每个扫描被随机指派给五个集合之一。每次评估迭代使用五个集合中的四个来训练肺结节检测器，并且剩余的集合用于评估经训练的检测器。在训练迭代中，向数据库应用分割和级联检测。评估重复五次，使得五个集合中的每一个都被用作测试集合。

针对每次评估，以下两个度量用于测量检测准确度：灵敏度(或者检测率)：成功检测到的被标注结节的百分比；选择性(或每检测到的结节的假阳性)：每检测到的真正结节的错误检测到的候选结节的数目。来自5轮评估的检测准确度被平均，以产生整个数据库上的总体检测准确度。

再次参考图6，基于本文公开的技术的总体检测准确度在图中被绘制为正方形点，并且基于传统方法的准确度被绘制为圆形。相比较于现有系统，所公开的技术实现了98.5％的更好灵敏度(结节检测率)和4的选择性(每真正结节的假阳性)。被比较的系统来自过去10年中的学术出版物，并且图中报告的其检测准确度直接引用自其原始出版物。

虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员明显的是，这样的实施方式仅是以示例的方式提供的。在不脱离本发明的情况下，本领域技术人员现在将想到多种变体、改变和替换。应当理解，在实践本发明中可以采用对本文描述的本发明的实施方式的各种替代物。

Claims

1.一种计算机实现的系统，包括数字处理设备，该数字处理设备包括：至少一个处理器，配置用于执行可执行指令的操作系统，存储器和包括指令的计算机程序，所述指令由所述数字处理设备可执行以创建应用，所述应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述应用包括：

a)执行多个医学图像的图像分割的软件模块，所述图像分割包括从每个图像中隔离感兴趣的区域；

b)对分割的图像应用级联深度卷积神经网络检测结构的软件模块，所述检测结构包括：

i)采用第一卷积神经网络的第一级，其用于通过滑动窗口方法来筛选分割的医学图像的每个2D切片中的所有可能位置，以标识一个或多个候选位置；以及

ii)采用第二卷积神经网络的第二级，其用于通过利用随机尺度和随机视角在每个3D体内选择至少一个随机位置来筛选由所述候选位置构造的多个所述3D体，以标识一个或多个精细位置，并且对所述精细位置进行分类；以及

c)自动生成包括诊断或诊断建议的报告的软件模块。

2.如权利要求1所述的系统，其中所述应用实时地或近实时地运行，并且生成实时或近实时诊断或诊断建议。

3.如权利要求1所述的系统，其中所述诊断或诊断建议包括确定任何位置是否是疾病部位。

4.如权利要求1所述的系统，其中所述医学图像来自于CT扫描、PET/CT扫描、SPECT扫描、MRI、超声、X射线、乳房X线照片、血管造影片、荧光照片、显微照片或者其组合。

5.如权利要求1所述的系统，其中所述应用还包括执行图像预处理的软件模块，所述图像预处理包括所述多个医学图像的归一化。

6.如权利要求5所述的系统，其中所述归一化包括图像格式、图像切片间距、图像强度、图像对比度和图像取向的归一化。

7.如权利要求1所述的系统，其中所述感兴趣的区域是器官、器官的一部分或者组织。

8.如权利要求1所述的系统，其中所述候选位置包括所述分割的医学图像的2D切片中的少于10％的位置。

9.如权利要求1所述的系统，其中所述第一卷积神经网络具有2-20个卷积层和1-10个完全连接层。

10.如权利要求1所述的系统，其中所述滑动窗口包括小于100像素×小于100像素的窗口。

11.如权利要求10所述的系统，其中所述滑动窗口包括约31像素×约31像素或者约16像素×约16像素的窗口。

12.如权利要求1所述的系统，其中所述第一卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例，并且其中所述第二卷积神经网络包括从多个神经网络实例中随机选择的至少一个神经网络实例。

13.如权利要求1所述的系统，其中所述第二卷积神经网络具有五个或更多个卷积和完全连接层。

14.如权利要求1所述的系统，其中所述3D体在每个方向少于100个立体像素。

15.如权利要求1所述的系统，其中所述第二卷积神经网络在每个3D体内选择多个随机位置。

16.如权利要求1所述的系统，其中所述第二卷积神经网络在每个位置处选择多个随机尺度。

17.如权利要求1所述的系统，其中所述第二卷积神经网络针对每个位置选择多个随机视角。

18.如权利要求1所述的系统，其中所述应用还包括执行所述精细位置的后处理的软件模块。

19.如权利要求18所述的系统，其中所述后处理包括表征以下项中的一个或多个：质心位置、体积、形状、强度、密度、透明度和规则性。

20.如权利要求18所述的系统，其中所述后处理包括确定两个或更多个精细位置是否是相同疾病部位的部分。

21.如权利要求1所述的系统，其中所述报告包括所述医学图像中的一个或多个上的信息叠加。

22.如权利要求21所述的系统，其中所述叠加包括点位置指示符、区域指示符或轮廓指示符。

23.如权利要求1所述的系统，其中所述报告包括被颜色编码以指示疾病类型的一个或多个医学图像。

24.如权利要求1所述的系统，其中所述报告包括被热映射以指示诊断置信水平一个或多个医学图像。

25.如权利要求1所述的系统，其中所述报告包括时间进程，该时间进程是通过对在两个或更多个时间点捕获的医学图像施加所述应用而生成的，用以测量疾病的进展或者肿瘤随时间的生长和移动。

26.如权利要求1所述的系统，其中所述第一卷积神经网络和所述第二卷积神经网络被训练成标识疾病的关键临床征象。

27.如权利要求26所述的系统，其中所述第一卷积神经网络和所述第二卷积神经网络是使用由人类专家标注并且经过预处理以归一化图像格式、图像切片间距、图像间距、图像对比度和图像取向的医学图像来训练的。

28.如权利要求26所述的系统，其中所述第一卷积神经网络和所述第二卷积神经网络是使用针对正常位置和疾病位置进行均衡的医学图像来训练的。

29.编码有计算机程序的非暂时性计算机可读存储介质，所述计算机程序包括用于创建应用的处理器可执行的指令，所述应用对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述应用包括：

a)执行多个医学图像的图像分割的软件模块，所述图像分割包括从每个图像隔离感兴趣的区域；

c)自动生成包括诊断或诊断建议的报告的软件模块。

30.一种计算机实现的方法，所述方法对医学图像应用深度卷积神经网络以生成实时或近实时诊断或诊断建议，所述方法包括：

a)由计算机执行多个医学图像的图像分割，所述图像分割包括从每个图像隔离感兴趣的区域；

b)由所述计算机对分割的图像应用级联深度卷积神经网络检测结构，所述检测结构包括：

c)由所述计算机自动生成包括诊断或诊断建议的报告。