CN113168912A - 使用深度学习确定3d数据集中对象的增长速度 - Google Patents

使用深度学习确定3d数据集中对象的增长速度 Download PDF

Info

Publication number
CN113168912A
CN113168912A CN201980073082.3A CN201980073082A CN113168912A CN 113168912 A CN113168912 A CN 113168912A CN 201980073082 A CN201980073082 A CN 201980073082A CN 113168912 A CN113168912 A CN 113168912A
Authority
CN
China
Prior art keywords
data set
voi
neural network
vois
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980073082.3A
Other languages
English (en)
Other versions
CN113168912B (zh
Inventor
马克-扬·哈特
G·范费嫩达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edens Ltd.
Original Assignee
Edens Ip Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edens Ip Ltd filed Critical Edens Ip Ltd
Publication of CN113168912A publication Critical patent/CN113168912A/zh
Application granted granted Critical
Publication of CN113168912B publication Critical patent/CN113168912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种用于自动确定3D数据集中对象的增长速度的方法，其中，该方法可以包括：第一经训练的3D检测深度神经网络(DNN)确定当前的3D数据集中的一个或多个第一VOI和先前的3D数据集中的一个或多个第二VOI，VOI与异常相关联；配准算法，优选地，基于经训练的3D配准DNN的配准算法，确定一个或多个第一VOI和一个或多个第二VOI之间的映射，该映射为当前的3D数据集中的第一VOI提供先前的3D数据集中对应的第二VOI；第二经训练的3D分割DNN将第一VOI的体素分割成表示异常的第一体素并将对应的第二VOI的体素分割成表示异常的第二体素；以及基于第一体素确定异常的第一体积且基于第二体素确定异常的第二体积，并使用第一体积和第二体积来确定增长速度。

Description

使用深度学习确定3D数据集中对象的增长速度
技术领域
本发明涉及使用深度学习自动确定3D数据集中对象的增长速度；并且尤其涉及但不仅限于，使用深度学习自动确定3D数据集中对象的增长速度的方法和系统、对用于自动确定3D数据集中对象的增长速度的深度神经网络进行训练的训练方法、以及执行这种方法的计算机程序产品。
背景技术
异常或病变是癌症的先兆。因此，及早检测这些病变是重要的放射学任务，放射学任务可以进行治疗性干预。美国国家癌症研究所的国家肺部筛查试验(NLST)证明了筛查肺结节的成本效益。因此，已经开发了计算机辅助检测与诊断(CAD)系统，其可以帮助建立有效且可靠的筛查方案。这样的CAD系统现在已经在市场上销售了很多年，并且能够实现肺结节的(半)自动检测。通常，这些系统灵敏度低(或者相反地，假阳性率非常高)，并且因此医学界的采用率很低。随着深度学习技术的最新发展，肺结节检测已经变得更加准确，并且多家公司正在开发基于AI的系统。申请人已经成功开发出了用于检测3D数据集(例如，由诸如CT扫描系统之类的扫描系统生成的3D x射线数据)中的异常的高准确度检测模型，并已获准用于法规用途。
医学专家可以从3D数据集中得出的信息包括异常的大小、体积和形状。另外，基于3D数据集的时间序列，可以得出异常的增长速度。这样的参数可能具有很大的诊断重要性。然而，对于计算机而言，自动确定这些参数并不是一件容易的事。虽然理论上可以手动检测并在每个出现的图像中分割异常，但是在实践中，这种方法非常耗时，并且容易出错或至少不准确。因此，常规上，计算机辅助的检测与诊断系统使用计算机视觉与机器学习算法，以通过让合格的用户手动选择“种子点”并应用公知的“区域增长”算法找到这种异常的边界，从而半自动地创建异常的分割。例如，R.Wiemker等人在其文章Aspects of computer-aided detection(CAD)and volumetry of pulmonary nodules using multislice CT(使用多层CT的计算机辅助检测(CAD)和肺结节体积的各方面)，The British Journal ofRadiology(英国放射学杂志)，78(2005)中描述了一种用于检测、分割和配准结节的系统。检测、分割和配准是人工操作员执行的单独任务，并且不提供单个自动化管线(pipeline)。此外，分割是基于区域增长方法，并且配准是基于刚性仿射变换。这种方案具有明显的缺点，即，要求用户将其放射学工作流程从其阅读流程中移开，并在不同的软件应用中执行手动操作。这需要几分钟，并且在实践中通常不会完成。相反，使用数字卡尺进行2D测量是出于必要性而作为近似执行的，使得放射科医生从图像中得出的信息不是很准确。更一般地，依赖于常规图像处理技术的CT扫描中的结节的检测和体积定量的已知CAD系统不能提供全自动系统，该全自动系统以至少与医学专家的准确度相匹配的准确度提供关于结节的体积信息。
最近，深度学习技术已成功用于肺结节的自动检测。Zhao等人在其文章A deep-learning based automatic pulmonary nodule detection system(基于深度学习的自动肺结节检测系统)，SPIE，医学影像2018：计算机辅助诊断，2018年2月27日中描述了一种用于检测CT图像中的结节的系统，该系统包括两个深度神经网络。该文章表明，深度神经网络可用于分析复杂的3D数据集，例如，3D CT扫描。但是，这些系统仅处理CT扫描中异常的检测和定位。这些系统无法基于深度学习来处理3D数据集(例如，CT扫描)中异常的增长速度的自动且准确的确定，即，无需任何人工干预就可以得出与检测到的异常有关的参数，并且准确度至少达到与医学专家相似的准确度的系统。因此，从以上可以得出，在本领域中需要的是用于使用深度学习自动配准3D数据集中的对象(例如，异常)并自动确定3D数据中配准的对象的增长速度的改进的方法和系统。
发明内容
如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合软件和硬件方面(本文中可以通常都称为“电路”、“模块”或“系统”)的实施例的形式。本公开中描述的功能可以被实现为由计算机的微处理器执行的算法。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质上的计算机程序产品的形式，该计算机可读介质具有例如存储在其上的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一根或多根线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包括或存储供指令执行系统、装置或设备使用或与其结合使用的程序。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播数据信号，其具有体现在其中的计算机可读程序代码。这样的传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是并非计算机可读存储介质并且可以通信、传播或传输供指令执行系统、装置或设备使用或与其结合使用的程序的任何计算机可读介质。
包含在计算机可读介质上的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤、电缆、RF等或者上述的任何合适的组合。可以以一种或多种编程语言的任何组合来编写用于执行本发明的各方面的操作的计算机程序代码，所述编程语言包括诸如Java(TM)、Scala、C++、Python等的功能或面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的常规程序编程语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机、服务器或虚拟化服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机连接(例如，通过使用因特网服务提供商的因特网)。
下面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解的是，流程图和/或框图的每个框，以及流程图和/或框图中的各框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，特别是微处理器或中央处理单元(CPU)或图形处理单元(GPU)以产生机器，使得经由计算机的处理器、其他可编程数据处理装置或其他设备执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的部件。
这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生制品，其包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令。
也可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以导致一系列操作步骤在计算机、其他可编程装置或其他设备上执行从而产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图示出了根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这点而言，流程图或框图中的每个框可以表示代码的模块、节段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，在框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图的每个框，以及框图和/或流程图中的各框的组合可以由执行指定功能或动作的基于专用硬件的系统来实现或者由专用硬件和计算机指令的组合来实现。
一方面，本发明涉及一种用于自动确定3D数据集中的对象的增长速度的方法。在实施例中，该方法可以包括：第一经训练的3D检测DNN确定当前的3D数据集中的一个或多个第一VOI和先前的3D数据集中的第二VOI，该VOI与异常相关联；配准算法，优选地，基于经训练的3D配准DNN的配准算法，确定一个或多个第一VOI和第二VOI之间的映射，该映射为当前的3D数据集中的第一VOI提供先前的3D数据集中对应的第二VOI；第二经训练的3D分割DNN将第一VOI的体素分割成表示异常的第一体素，并且将对应的第二VOI的体素分割成表示异常的第二体素；以及基于第一体素确定异常的第一体积且基于第二体素确定异常的第二体积，并使用第一体积和第二体积来确定增长速度。
在另一个实施例中，该方法可以包括：处理器将与第一时间实例相关联的当前的3D数据集提供给第一3D深度神经网络(DNN)系统的输入，当前的3D数据集定义患者的身体部位的体素表示，第一3D DNN系统被训练为接收3D数据集，并且如果3D数据集包括一个或多个异常(例如，结节或病变)，则分别输出3D数据集中的一个或多个VOI；以及响应于输入，处理器从第一3D DNN的输出中接收当前的3D数据集中的一个或多个第一VOI；处理器将与第二时间实例相关联的先前的3D数据集提供给第一3D深度神经网络(DNN)系统的输入，先前的3D数据集定义患者的身体部位的体素表示；以及响应于输入，处理器从第一3D DNN的输出中接收先前的3D数据集中的一个或多个第二VOI；处理器使用配准算法将一个或多个第一VOI与一个或多个第二VOI进行配准，配准算法生成映射，映射为当前的3D数据集中的第一VOI确定先前的3D数据集中对应的第二VOI，处理器使用所述映射来确定第一VOI和第二VOI包括与相同异常有关的体素；处理器将第一VOI和对应的第二VOI的体素提供给第二3D DNN的输入，第二3D DNN被训练为接收VOI的体素并输出定义VOI的体素的概率的3D图，与体素相关联的概率定义体素是异常的一部分的可能性，处理器从第二3D DNN的输出中接收第一3D图和第二3D图，并使用第一3D图标识当前的3D数据集中表示异常的第一体素，并使用第二3D图标识先前的数据集中表示异常的第二体素；以及处理器基于第一体素确定异常的第一体积且基于第二体素确定异常的第二体积，并使用第一体积和第二体积来确定增长速度。因此，本发明提供了一种用于准确地确定3D数据集(例如，由扫描装置生成的3D CT扫描)中的异常(例如，结节或病变)的增长速度的全自动过程。经训练的深度神经网络的使用提供了一种至少可以像医学专家一样准确地确定异常的增长速度和体积的系统。可以自动且即时地提供有价值的信息，以准确且快速地解释CT扫描。
在实施例中，该方法还可以包括：在处理器接收到一个或多个第一VOI之后，处理器使用与当前的3D数据集相关联的元数据来构建请求消息并将该请求消息发送至数据库(优选地，图片存档及通信系统(PACS))，该请求消息指示数据库将相同患者和相同身体部位的先前的3D数据集发送给处理器。因此，将基于当前的3D数据集的元数据自动检索先前的3D数据集。
在实施例中，第一经训练的3D深度神经网络系统可以包括：至少第一3D深度卷积神经网络(CNN)(优选地，深度全卷积神经网络)，其被训练为在其输入处接收3D数据集并在其输出处确定一个或多个候选VOI在3D数据集内的位置，每个候选VOI定义3D数据集中可能存在异常的位置；以及至少第二3D深度CNN，其被训练为从第一3D CNN的输出中接收候选VOI，并确定关于候选VOI的体素表示异常的可能性的概率。因此，用于检测异常的深度神经网络系统包括用于生成候选VOI的第一3D CNN和对候选VOI进行评估以减少假阳性的第二3D CNN。
在实施例中，配准算法可以包括非刚性变换，用于将当前的3D数据集的体素与先前的3D数据集的体素进行配准。
在实施例中，配准算法可以包括第三3D深度神经网络(DNN)系统，其被训练为在其输入处接收当前的3D数据集的第一VOI和先前的3D数据的第二VOI，并在其输出处确定相似度分数，相似度分数定义关于第一VOI的体素与第二VOI的体素之间的相似度的度量。与对两个3D数据集的所有体素进行配准的现有配准算法相比，基于经训练的DNN进行的配准是对3D数据集中的VOI进行配准。因此，该过程的计算强度大大降低。
在实施例中，第三3D DNN可以被配置为3D深度暹罗神经网络，暹罗神经网络包括：第一3D深度神经网络部分，优选地，第一3D深度CNN，用于接收和处理第一VOI；以及第二3D深度神经网络部分，优选地，第二3D深度CNN，其中，第一3D深度神经网络部分和第二3D深度神经网络部分共享相同的权重。
在实施例中，所述配准算法生成映射，可以包括：确定相似度矩阵，相似度矩阵包括与从当前的3D数据集中的一个或多个第一VOI中选择的第一VOI和从先前的3D数据集中的一个或多个第二VOI中选择的第二VOI的组合相关联的概率分数；基于相似度矩阵，使用线性优化算法来确定当前的3D数据集的一个或多个第一VOI与先前的3D数据集的一个或多个第二VOI之间的最佳映射。
在实施例中，分别地，可以将第一阈值应用于第一3D图中的概率以形成标识当前的3D数据集中的第一体素的第一3D二进制图，并且将第二阈值应用于第二3D图中的概率以形成标识先前的3D数据集中的第二体素的第二3D二进制图。
在实施例中，可以选择第一阈值，使得由第一3D二进制图标识的体素体积的总和表示当前的3D数据集中的异常的体积，并且可以选择第二阈值，使得由第二3D二进制图标识的体素体积的总和表示先前的3D数据集中的异常的体积。因此，在本实施例中，由3D DNN基于VOI(其中，图的概率之和表示异常的体积V的度量)所生成的概率3D图被转换为3D二进制图，其中，由3D二进制图标识的体素的总和表示异常的体积的估计。
在实施例中，该方法还可以包括：生成与当前的3D数据集和先前的3D数据集相关联的数字报告，该数字报告包括当前的3D数据集中的异常的3D图形表示和先前的3D数据集中的异常的3D图形表示以及异常的增长速度。
在实施例中，第一3D DNN系统和/或第二DNN可以包括一个或多个卷积层块，每个块包括3D CNN和2D CNN，其中，重塑操作将3D CNN的切片重塑为多个2D切片，其中，每个切片由2D CNN处理。
在实施例中，2D CNN可以被配置为2D残差CNN。
在实施例中，第一3D DNN系统或第三3D深度神经网络可以包括3D残差卷积神经网络。
在实施例中，当前的3D数据集和先前的3D数据集的存储和检索可以基于DICOM标准。
另一方面，本发明可以涉及一种训练多个3D深度神经网络的方法，该方法包括：处理器接收用于训练多个3D DDN的训练集，该训练集包括患者的身体部位的3D数据集，优选地为3D CT扫描，其中，每个3D数据集包括零个或者一个或多个异常(例如，病变或结节)；至少一部分3D数据集的一个或多个感兴趣的体积(VOI)，每个VOI与异常相关联；为每个VOI接收：VOI的像素表示、指示VOI在3D数据集中所处的位置的位置信息以及定义VOI的体素的概率的概率3D图，与体素相关联的概率定义体素是异常的一部分的可能性；使用3D数据集的体素表示作为输入并将位置信息作为目标，训练第一3D深度神经网络；使用VOI的体素表示作为输入并将与VOI的体素表示相关联的概率3D图作为目标，训练第二3D深度神经网络；以及使用VOI的体素表示和VOI的体素表示的非线性图像变换作为输入并将相似度分数作为目标，训练第三3D深度神经网络，相似度分数定义VOI的体素表示与体素表示的非线性图像变换之间的相似度。
一方面，本发明可以涉及一种用于自动确定3D数据集中的对象的增长速度的计算机系统，包括：其上实施有计算机可读程序代码的计算机可读存储介质，该程序代码包括至少一个经训练的3D深度神经网络；以及至少一个处理器(优选地，微处理器)，其耦接到计算机可读存储介质，其中，响应于执行计算机可读程序代码，至少一个处理器被配置为执行可执行的操作，包括：将与第一时间实例相关联的当前的3D数据集提供给第一3D深度神经网络(DNN)系统的输入，当前的3D数据集定义患者的身体部位的体素表示，第一3D DNN系统被训练为接收3D数据集，并且如果3D数据集包括一个或多个异常(例如，结节或病变)，则分别输出3D数据集中的一个或多个VOI；以及响应于输入，处理器从第一3D DNN的输出中接收当前的3D数据集中的一个或多个第一VOI；将与第二时间实例相关联的先前的3D数据集提供给第一3D深度神经网络(DNN)系统的输入，先前的3D数据集定义患者的身体部位的体素表示；以及响应于输入，处理器从第一3D DNN的输出中接收先前的3D数据集中的一个或多个第二VOI；使用配准算法将一个或多个第一VOI与一个或多个第二VOI进行配准，该配准算法生成映射，该映射为当前的3D数据集中的第一VOI确定先前的3D数据集中对应的第二VOI，处理器使用所述映射来确定第一VOI和第二VOI包括与相同异常有关的体素；将第一VOI和对应的第二VOI的体素提供给第二3D DNN的输入，第二3D DNN被训练为接收VOI的体素并输出定义VOI的体素的概率的3D图，与体素相关联的概率定义该体素是异常的一部分的可能性，处理器从第二3D DNN的输出中接收第一3D图和第二3D图，并使用第一3D图标识当前的3D数据集中表示异常的第一体素，并使用第二3D图标识先前的数据集中表示异常的的第二体素；以及基于第一体素确定异常的第一体积且基于第二体素确定异常的第二体积，并使用第一体积和第二体积来确定增长速度。
在实施例中，用于自动确定3D数据集中的对象的增长速度的计算机系统可以实现如上所述的任何方法步骤。
本发明还可以涉及包括软件代码部分的计算机程序产品，该软件代码部分被配置为在计算机的存储器中运行时执行如上所述的根据权利要求中任一项的方法步骤。
另一方面，本发明还可以涉及包括软件代码部分的计算机程序产品，该软件代码部分被配置为在计算机的存储器中运行时执行根据上述任何过程步骤的方法步骤。
将参照附图进一步说明本发明，附图将示意性地示出根据本发明的实施例。将理解的是，本发明不以任何方式限于这些特定实施例。
附图说明
图1描绘了根据本发明实施例的用于自动确定3D数据集中的异常的增长速度的系统；
图2描绘了根据本发明实施例的基于3D深度神经网络系统的检测模块；
图3A和3B描绘了根据本发明实施例的用于检测模块的3D深度神经网络的网络架构；
图4描绘了根据本发明实施例的用于在3D数据集中映射VOI的系统的示意图；
图5描绘了根据本发明实施例的分割模块；
图6描绘了根据本发明实施例的用于分割模块的3D深度神经网络的网络架构；
图7描绘了根据本发明实施例的配准模块；
图8描绘了根据本发明另一实施例的配准模块；
图9描绘了根据本发明实施例的用于配准模块的3D深度神经网络的网络架构；
图10描绘了根据本发明实施例的用于确定增长速度的模块；
图11描绘了根据本发明实施例的用于对检测、分割和配准3D数据集中的异常的深度神经网络进行训练的训练模块；
图12描绘了用于存储和检索3D数据集的客户端服务器系统的示例；
图13描绘了用于检索3D数据集的协议消息的序列；
图14描绘了根据本发明实施例的用于自动确定3D数据集中的异常的增长速度的过程的流程图；
图15描绘了根据本发明另一实施例的用于自动确定3D数据集中的异常的增长速度的过程的流程图；
图16描绘了根据本发明实施例的由用于自动确定3D数据集中的异常的增长速度的系统生成的电子报告的示例；
图17是示出可用于执行本申请中描述的方法和软件产品的示例性数据处理系统的框图。
具体实施方式
在本公开中，描述了计算机系统和计算机实现的方法的实施例，其使用3D深度神经网络(DNN)来自动确定由扫描系统(例如，X射线扫描系统，例如，CT扫描系统或CBCT扫描系统)生成的3D数据集中的一个或多个对象(例如，一个或多个组织异常，例如，病变或结节)。通常，这样的扫描系统被配置为生成3D数据集，其中，每个3D数据集定义患者的身体部位的3D表示。系统可以包括被配置为基于深度学习来自动检测3D数据集中的组织异常的模块。此外，系统可以包括被配置为基于深度学习来分割3D数据集中检测到的组织异常的模块。另外，系统可以包括用于基于深度学习来配准相同患者的不同3D数据集(例如，当前的3D数据集和先前的3D数据集)中检测到的组织异常的模块。最后，系统可以包括用于确定配准的组织异常的增长速度的模块。该模块可以基于深度学习或其他算法。系统的处理器可以控制各模块，从而可以在没有任何人工干预的情况下完全自动地确定在当前的3D数据集中检测到的组织异常的增长速度。由系统确定的增长速度可以具有至少可与金标准(参考标准(ground truth))相媲美的准确度，该金标准是基于医学专家使用例如软件应用处理和解释3D数据。在下文中更详细地描述本发明的示例性实施例。
图1描绘了根据本发明实施例的系统。特别地，图1描绘了用于自动确定3D数据集中的对象的增长速度的系统100。该系统可以在配置为执行多个模块的一个或多个计算机上实现，包括3D深度神经网络，其可以被训练为接收一个或多个3D数据集(的部分)作为其输入并根据训练模型处理数据。该系统可以实现为连接到数据存储与检索系统102的独立系统(例如，服务器系统或诸如云应用之类的网络应用)，数据存储与检索系统102例如是数据库系统等，包括PACS系统的一个或多个存储单元103，例如，数据库。3D数据集可以包括当前的3D数据集104(即，将由系统处理的患者的3D数据集)以及一个或多个先前的3D数据集106(即，相同患者较早的3D数据集)。在医学领域，这种数据存储与检索系统可以称为图片存档及通信系统(PACS)。可替代地，系统的至少一部分可以是扫描系统(例如，CT扫描系统等)的一部分。
PACS系统可以经由网络连接(例如，互联网)连接到其他计算机(未示出)，例如，位于不同医院的扫描系统的一个或多个服务器。3D数据集可以定义患者的身体部位的3D表示，其中，数据可以根据某种数据格式来布置。例如，在实施例中，3D数据集可以定义由(CB)CT扫描仪生成的X射线数据的体素表示。每个体素可以定义3D网格中某些尺寸的单位体积，其中，每个体素可以与体素值相关联，例如，无线电密度，以亨氏单位(HUs)为单位进行测量。3D数据集可以存储为某种格式(例如，DICOM格式)的文件。3D数据集可以被视为一系列2D数据集，其中，每个2D数据集具有不同的获取平面(例如，矢状或冠状类型)。通常，就分辨率而言，3D数据集的体素是各向异性的，即，xy方向上的分辨率显著地高于z方向上的分辨率。
此外，3D数据集可以包括元数据，该元数据包括关于获取平面的类型的信息、由生成3D数据集的扫描系统的图像处理计算机使用的重建核、以及时间信息(例如，时间戳)，该时间信息定义扫描系统生成数据的时间。在此，重建核可以与滤波前向投影算法相关联，该算法用于从扫描系统的检测器输出生成体素表示。元数据可以具有DICOM格式。
系统可以包括接口处理器108，用于与包括PACS系统的外部系统对接。如将在下文中更详细地描述的那样，处理器可以包括应用(例如，客户端应用)，其被配置为使用例如用于访问数据库的客户端服务器协议来与PACS系统进行通信。与PACS系统的通信可以基于已知协议。例如，DICOM查询/检索协议可用于例如访问具有DICOM格式的3D数据集。接口处理器还可以被配置为处理与包括由系统处理的3D数据集的文件相关联的元数据，并且向系统中的模块提供相关的元数据。接口处理器还连接到包括经训练的3D深度神经网络的模块的数据处理管线。预处理模块109可以被配置为在将数据集提供给数据处理管线的模块之一的输入之前预处理3D数据集。预处理可以包括标准化处理，该标准化处理注意的是将要由数据处理管线中的其他模块处理的3D数据集(当前的和先前的)在所有3D维度上都具有相同的分辨率。
系统被配置为自动确定组织异常(例如，病变)的增长速度(例如，将增长速度确定为“体积倍增时间”或“VDT”)。为此，系统(例如，中央处理器)可以确定接口处理器从PACS系统接收患者当前的3D数据集(在时间实例T1处生成)，并将接收到的当前的3D数据集转发给检测模块，以确定当前的3D数据集中的一个或多个VOI，其中，每个VOI包括与异常相关联的体素。如果检测到这种VOI，则中央处理器可以指示接口处理器寻找相同患者相关的先前的3D数据集(在较早的时间实例T0处生成)。此外，如果中央处理器确定接口处理器已经确定了相关的先前的3D数据集，则它可以将先前的3D数据集转发给检测模块以确定先前的3D数据集中的一个或多个VOI。如果在当前的3D数据集和先前的3D数据集中均检测到一个或多个VOI，则中央处理器可以指示配准模块对当前的3D数据集和先前的3D数据集中检测到的VOI进行评估，以便确定当前的数据集中的VOI的体素是否和先前的数据中的VOI的体素表示相同异常。此外，中央处理器可以指示分割模块将检测到的VOI中的体素分类为检测到的异常的一部分。分类为属于异常的体素的体素体积可以用于导出异常的体积。优选地，基于相同版本的分割算法来执行当前的3D数据集和先前的3D数据集的分割，因为已知的是算法的变化可能导致可以从分割后的体素中导出的体积的变化。
此外，基于与处理后的3D数据集相关联的元数据，可以确定扫描之间经过的时间。异常的体积和经过的时间可以用于确定异常的增长速度的度量。例如，用于诊断和/或治疗的增长速度参数是所谓的“体积倍增时间”，其由以下公式定义：
Figure BDA0003052049370000131
其中，V0和V1分别是时间实例T0和T1处的组织异常的体积。如果V0＝V1或如果V0与V1之差很小，则VDT的数值将变得在数值上不稳定。在这种情况下，另一个指标(metric)(例如，增长百分比(GP))可由系统计算：
Figure BDA0003052049370000132
由于系统基于当前的3D数据集自动确定增长速度，因此系统可以自动检索相关的先前的3D数据集。为此，接口处理器可以生成用于访问数据库的协议消息并基于当前的3D数据集的元数据(例如，DICOM元数据标签)的查询标准和评估来检索3D数据集。系统被配置为以至少与医学专家基于3D数据集确定增长速度一样准确的准确度来确定增长速度。
为了实现能够自动确定异常的增长速度的准确度量的系统，该系统可以包括：检测模块110，其包括被训练为检测3D数据集中的异常的3D深度神经网络系统；分割模块112，其包括被训练为对由检测模块检测到的异常进行分割的3D深度神经网络；以及配准模块114，其被配置为基于在当前的3D数据集和先前的3D数据集中检测到的异常来对异常进行配准。分割模块的输出(当前的3D数据集和先前的3D数据集中检测到的异常的分割后的体素)和配准模块的输出(关于在当前的3D数据集和先前的3D数据集中检测到的异常的相似度的度量)可以被馈送到增长速度模块116的输入。增长速度模块还可以被配置为接收由模块处理的3D数据集的元数据(例如，当前的3D数据集的元数据118和先前的3D数据集的元数据120)，这是确定增长速度的度量所必需的。系统中的模块对3D数据集的检索和对3D数据集的处理可以由中央处理器101控制。
因此，与专家基于图像处理系统提供的信息来估计增长速度的现有技术相比，本发明提供了一种系统，该系统自动确定提供给系统的输入的3D数据集中的异常的增长速度。增长速度的准确度至少与金标准一样准确，在金标准中，医学专家通过以下方式处理3D数据集：人工检查和分割3D数据的2D切片，并且基于分割后的3D数据确定体积。准确度由深度神经网络的集合提供，这些深度神经网络是为系统的数据处理管线中的特定功能专门设计和训练的。在下文中更详细地描述模块、深度神经网络和由模块执行的过程。
图2描绘了根据本发明实施例的基于3D深度神经网络系统的检测模块。如该图所示，检测模块202可以包括(至少)两个3D深度神经网络、第一3D深度神经网络和第二3D深度神经网络210。第一3D深度神经网络206可以被训练为确定3D数据集204在空间(例如，体素空间)内的一个或多个感兴趣的体积的位置，其中，每个VOI可能包括异常。以体素集形式的输入数据203(例如，3D数据集或至少其大部分)可以被提供给经训练的第一深度神经网络的输入，并且作为响应，第一3D深度神经网络可以标识可能包括异常的候选VOI的位置。候选VOI的位置周围的体素集可以由第二3D深度神经网络评估，第二3D深度神经网络被训练为在其输入处接收3D数据中候选VOI的体素集，并且生成关于VOI是否包括异常的概率。阈值可以用于确定由网络确定的概率是否足够高，以使得检测模块推断出VOI包括表示异常的体素。这样，检测模块的输出数据214可以包括3D数据集203中一个或多个VOI 218,220的一个或多个体素集，其中，每个体素集的一部分表示异常。分割模块随后可以对这些体素进行分类和分割。
检测模块的深度神经网络可以被配置为使得检测模块能够处理不同大小的输入数据，即，体素的体积。因此，在实施例中，第一3D深度神经网络可以具有全卷积网络架构，其可以仅包括有效的填充层而不包括跨步(striding)层或池化层。另外，由于生成3D数据集(例如，(CB)CT数据集)的扫描仪系统的成像设置，许多成像模式通常包括高度各向异性的体素，这意味着并非所有三个维度都具有相同的分辨率。xy平面(切片)中的图像分辨率可能比z方向上的分辨率高得多(超过十倍)。因此，在xy平面内可获得比z维度更多的信息。将3D卷积神经网络(CNN)直接应用于此类高度各向异性的体素的集合可能引起问题，因为可能难以使用许多3D CNN所使用的3x3x3和1x1x1核来学习有用的3D特征。
由3D深度神经网络(例如，3D CNN)处理高度各向异性的3D数据集的问题可以通过2D卷积层和3D卷积层两者并使用重塑操作在它们之间进行转换来解决。
图3A和3B描绘了根据本发明实施例的用于检测模块的3D深度神经网络的网络架构。特别地，该图描绘了被训练为处理高度各向异性的3D数据集(即，z维度上的分辨率远低于x和y维度上的分辨率)的3D深度神经网络的架构，并得出对感兴趣的体积VOI在输入数据的体积中的位置的预测。
如图3A所示，深度神经网络可以包括3D CNN和2D CNN，其中，公知的重塑操作负责3D CNN和2D CNN之间的转换。例如，第一重塑操作R1可以将第一3D(输入)块300的切片重塑为多个2D切片，其中，每个切片可以由第一2D CNN 302处理，在第一2D CNN 302中，切片的尺寸减小。此后，第二重塑操作R2可以使用处理后的切片来构建具有减小的xy尺寸的第二3D块304。随后，第一3D卷积操作可以将3D块处理成在三个维度上具有减小的尺寸的第二3D块308。之后，第二3D块可以由第二2D CNN 310以与上述类似的方式进行处理。该过程可以重复几次。通过仅在xy平面中进行操作，2D卷积层的引入可以扩展网络深度。这样，网络学习高各向异性3D数据集的有用特征的能力得以提高。
在实施例中，2D CNN的网络架构可以包括残差网络块(ResNet)或提供与ResNet块相似功能的块(例如，ResNeXt块)，其中，块的输入被裁剪并添加到输出中，这对于残差网络是典型的。使用“添加”层来实现添加。残差块可以改善网络深度(并因此提高确定有用特征的能力)，而不会遇到所谓的“梯度消失(vanishing gradient)”问题。
在另一个实施例中，2D CNN可以被配置为使用膨胀卷积，以便获得每个特征的更大视场，而不需要非常大的卷积滤波器，其在存储器使用率和计算资源方面通常效率较低。例如，2D CNN可以包括可以使用膨胀卷积来处理数据的块。例如，第一2D CNN 302可以包括膨胀卷积层1，第二2D CNN 310可以包括膨胀卷积层2，第三2D CNN(未示出)可以包括膨胀卷积层3，等等。
图3B描绘了根据本发明实施例的神经网络实现的概述。下面参考表1更详细地描述网络的各层及其尺寸。如图3B所示，网络可以具有预定尺寸(在该示例中为7×128×128)的输入3D输入层320。由于馈送到输入层的3D数据集的输入形状是可变的，因此网络可以被实现为全卷积网络(网络的3D部分和2D部分两者)。因此，输入层的尺寸适合于提供给网络的输入的3D数据集的尺寸。在输入层之后可以进行重塑操作R1，使得3D输入层的切片可以由第一2D CNN 322处理，第一2D CNN 322包括处于残差网络配置的多个2D卷积层C1-C9。例如，C1-C3可以形成第一残差块，其具有基于3x3卷积核的两个层C1、C2和基于1x1卷积核的层C3，其中，C1的尺寸为128x128，C2的尺寸为126x126，并且C3尺寸为124x124。在此，第一2DCNN可以包括第一残差块，其中，使用相加操作M1将层C1的输入添加到C3层的输出。以类似的方式，第一2D CNN可以包括第二残差块和第三残差块。第二残差块可以包括分别基于3x3和1x1卷积核的两个层C4、C5，其中，C4的尺寸为124x124，而C5的尺寸为122x122，并且其中，使用相加操作M2将C4层的输入添加到C5层的输出。类似地，第三残差块可以包括分别基于3x3和1x1卷积核的两个层C6、C7，其中，C6的尺寸为122x122，而C5的尺寸为120x120，并且其中，使用相加操作M3将C6层的输入添加到C7层的输出。此后，可以执行重塑操作R2，重塑操作R2使用输入块的处理后的切片成为7x120x120 3D块。进一步的3D卷积操作可以将3D块减小为5x118x118 3D块。针对2D CNN重塑3D块、通过2D CNN处理3D块的切片以及将处理后的切片重塑为尺寸减小的处理后的3D块的过程可以重复几次。在该过程的结尾处，最后的重塑操作R6在该示例中构建1x58x58块，其经历S形操作(sigmoid operation)。S形操作的结果是定义输入的体积中的候选VOI的矩形块。S形产生每个体素的概率。基于阈值的后处理用于定位表示候选VOI的位置的最大值。表1描述了示例性网络架构的各层。
Figure BDA0003052049370000161
Figure BDA0003052049370000171
表1：用于确定3D数据集中的候选VOI的深度神经网络的网络层的概述
表1的示例描述了示例，其中，提供给网络的输入层的7x128x128 3D数据集随后被减小为1x58x58数据集，但是网络被配置为接收可变大小的3D数据集。例如，由当前技术水平的扫描系统生成的包括大约150x500x500体素的3D数据集可以被馈送到神经网络的输入，该神经网络生成144x430x430体素的输出标签，其中，每个体素定义该体素是异常的一部分的概率。可以填充输入数据集，使得输出标签具有与输入数据集相同的形状。可以基于阈值评估体素值，使得具有足够高概率的体素的位置可以用于标识提供给网络的输入层的3D数据集的体素空间中的候选VOI的一个或多个位置。
图4描绘了根据本发明实施例的用于检测模块的3D深度神经网络的网络架构。该网络可以被训练为在其输入处接收3D数据集中候选VOI的体素(集)。如参考图3A和3B所述，3D数据集中候选VOI的位置可以基于深度神经网络的输出来确定，并且可以确定VOI是否包括异常的指示符。网络的输入是固定的，使得可以使用诸如跨步(striding)和填充之类的技术。此外，3D深度神经网络包括一系列“超级”残差网络(resnet)块(例如，块402)，其包括处于残差网络类型配置的3D CNN层，以便改善网络深度。为了能够添加相同尺寸的块，resnet块包括下采样操作(在表2中，2x2x2的跨步可以被视为下采样操作，因为分辨率在下一层中减半)。最后，公知的全局平均池化层用作最后各层之一，以便有效地获得单个值，而无需其他卷积层。表2描述了示例性网络架构的各层。
Figure BDA0003052049370000181
Figure BDA0003052049370000191
Figure BDA0003052049370000201
表2：用于确定候选VOI是否包含异常的深度神经网络的网络层的概述
图5描绘了根据本发明实施例的分割模块。如该图所示，该模块可以包括数据存储器502，其包括3D数据集中的一个或多个VOI，如先前所述的检测模块所检测到的。该模块可以使用3D深度神经网络来从VOI中分割异常。因此，3D深度神经网络可以被训练为在其输入处接收VOI的体素，并确定VOI的每个体素是否属于异常。网络的输出可以是概率图，该概率图定义位于VOI 506的中心周围的3D体素块。每个体素与概率值关联，并且阈值可用于确定体素是否属于异常。VOI的体素的概率之和提供了对结节体积V的估计。为了基于概率输出创建二进制分割，可以选择阈值，使得具有大于阈值的概率的体素的体积之和尽可能接近V。由于每个分割的这种阈值都不同，因此可以使用自适应阈值方案来基于搜索算法估计阈值。该自适应阈值方案可以被执行为分割推断的后处理步骤。这样，分割模块可以确定VOI的体素表示的3D二进制体素图，其指示该体素表示的哪些体素属于异常而哪些体素属于结节周围的背景。3D二进制体素图位于VOI的中心周围，并且其尺寸可能小于VOI的体素表示的尺寸。
图6描绘了根据本发明实施例的用于分割模块的3D深度神经网络的网络架构。分割深度神经网络应该能够处理在分辨率方面高度各向异性的体素集。为此，可以使用的网络架构与被训练为生成候选VOI的检测模块中的网络的网络架构相似。因此，网络可以包括3D CNN和2D CNN两者，残差网络块和/或膨胀卷积操作，以从呈现给神经网络的输入的VOI的体素中得出有用的特征。但是，在这种情况下，网络的输入的大小是固定的，并且可以等于VOI的体素表示的大小。表3描述了示例性网络架构的各层。
Figure BDA0003052049370000211
Figure BDA0003052049370000221
表3：用于分割包括异常的VOI体素的深度神经网络的网络层的概述
图7描绘了根据本发明实施例的配准模块。如参考图1所述，如果在当前的3D数据集中检测到包括与异常相关联的体素的至少一个第一VOI 704，则系统可以寻找相同患者相关的先前的3D数据集，并确定先前的3D数据集中是否存在表示异常的至少一个第二VOI702。如果在当前的3D数据集和先前的3D数据集中均检测到至少一个VOI，则可以由配准模块704对检测到的VOI进行评估，以便确定VOI是否与相同异常相关联。为此，配准模块包括至少两个输入，例如，第一输入，其用于接收当前的3D数据集中的VOI的体素集和先前的3D数据集中的VOI的体素集。可以基于被应用于两个3D数据集的整个体素空间的非刚性变换来对这两个数据集进行评估。非刚性变换将对两个3D数据集的体素空间进行配准，包括两个3D数据集中的VOI。基于配准的VOI，可以确定映射函数M。基于检测模块检测到的包括异常a的VOI，映射函数M将返回先前的3D数据集中包括对应的异常b的VOI，即：b＝M(a)。公知的非刚性变换(例如，B样条变换等)可以用于对3D数据集进行配准。这样，当前的3D数据集中的第一VOI可以被链接到先前的3D数据集中的第二VOI。
图7中描绘的配准模块的一个缺点在于，通过非刚性变换对整个3D数据集的处理可能是计算密集型的。因此，在实施例中，可以使用基于3D深度神经网络的配准过程。这种配准模块的示意图在图8A和8B中描绘。如图8A所示，该模块包括存储器，其用于存储先前的3D数据集802中的一个或多个VOI的位置以及当前的3D数据集804的一个或多个VOI的位置，以及3D深度神经网络806，其被训练为确定两个体素表示(即，当前的3D数据集的VOI的体素表示和先前的3D数据集的VOI的体素表示)之间的相似度分数。然后，基于存储的VOI，模块可以确定先前的3D数据集的VOI和当前的3D数据集的VOI的体素表示集的所有组合，并通过将每个集合的体素表示提供给3D深度神经网络的输入来确定这些集合中的每一个的相似度分数。这样，配准模块可以确定来自先前的3D数据集和当前的3D数据集的VOI的所有可能组合的相似度分数808，其中，相似度分数定义当前的3D数据集中VOI的体素表示和先前的3D数据集中VOI的体素表示代表相同异常的概率。相似度分数可以在相似度矩阵中排序。此外，如图8B所示，在第二阶段，配准模块的处理器812可以被配置为基于相似度矩阵S 810执行线性优化算法，以确定当前的3D数据集的VOI和先前3D数据集的VOI之间的最佳映射函数M 814。因此，映射函数的确定可能如下所示：
输入：分别在时间戳T0和T1处的3D数据集的异常位置L0和L1的列表。
对于L0中的每个异常A0
对于L1中的每个异常A1
计算相似度分数S(A0,A1)
输出：尺寸为|L0|x|L1|的相似度矩阵S。
给定相似度矩阵S，通过将最佳映射M的确定公式化为线性规划问题并应用单纯型算法(Simplex algorithm)，计算L0和L1之间的最佳映射M，该最佳映射M使映射似然性最大化。
与L0中的5个异常和L1中的4个异常相关联的相似度矩阵的示例如下所示：
[1. 0.47 0. 0. 0.]
[0.34 1. 0. 0. 0.]
[0. 0. 1. 0. 0.]
[0. 0. 0. 0.2 0.04]
映射函数M将返回包括先前的3D数据集中对应的异常b的VOI，即：b＝M(a)。因此，图8A和8B的配准模块基于经训练的3D深度神经网络来确定映射函数，该经训练的3D深度神经网络被配置为将先前的3D数据集的VOI与当前的3D数据集的VOI进行比较。这样，配准模块不需要确定整个3D数据集的配准。相反，与基于常规的非刚性变换配准算法的配准模块相比，仅对先前的3D数据集和当前的3D数据集的补丁(patch)(小的子部分)进行配准，从而大大减少了配准模块的计算负荷。
图9描绘了根据本发明实施例的用于配准模块的3D深度神经网络的网络架构。深度神经网络可以被配置为所谓的暹罗双胞胎网络(Siamese twin network)，包括被训练为处理VOI的第一体素表示的第一深度神经网络分支902和被训练为处理VOI的第二体素表示的第二神经网络分支904，其中，第一神经网络和第二神经网络是相同的(权重相同)。第一神经网络和第二神经网络的输出由第三神经网络906处理，第三神经网络906比较两个网络的输出并确定相似度度量。表4提供了示例性网络架构的各层。
Figure BDA0003052049370000241
Figure BDA0003052049370000251
Figure BDA0003052049370000261
表4：用于确定两个3D数据集中异常的配准的深度神经网络的网络层的概述
如该表所示，第一深度神经网络分支和第二深度神经网络分支可以包括一系列“超级”残差网络(resnet)块，其包括处于残差网络类型配置的3D卷积，以改善网络深度(类似于参照图4描述的网络架构)。
图10描绘了根据本发明实施例的增长速度模块。如参考图1所述，增长速度模块被配置为确定当前的3D数据集中检测到的异常和先前的3D数据集中对应的异常的体积。该体积可以基于由分割图确定的二进制图来确定。如已经参考图5所述，3D二进制图对VOI中有资格属于异常的体素的那些体素进行标识，其中，由二进制图标识的体素的体积之和提供了对该异常的体积的估计。因此，基于3D二进制图以及当前的3D数据集的VOI的体素表示和先前的3D数据集的对应VOI的体素表示，可以分别确定先前的3D数据集和当前的3D数据集中的异常的体积V0和V1 1010。在此，异常的体积可以通过对由二进制图标识为属于异常的体素的体积进行求和来确定。基于这些体积以及可选地附加的元数据，可以确定增长速度指标1012。例如，可以计算增长百分比(GP)。另外，基于与先前的3D数据集和当前的3D数据集相关联的元数据，特别是生成3D数据集的时间实例T0和T1，可以与体积一起使用，以确定体积倍增时间(VDT)。
系统的模块的输出可用于生成当前的3D数据集和先前的3D数据集中异常的3D渲染。例如，基于VOI的分割后的体素，可以确定异常的3D表面网格。此外，可以生成包括3D渲染和与3D渲染相关联的增长速度指标的数字报告。
图11A描绘了用于训练系统中的模块的3D深度神经网络的训练模块。图11B描绘了系统的检测模块的经训练的3D DNN系统的FROC曲线。在3D DNN的训练阶段，3D训练数据集1108，即，合适的3D数据集(通常是3D CT扫描)的大数据集，与手动和/或计算机创建的标签一起用于多次迭代地更新模型(通过神经网络的网络参数(例如，权重)表示)。公知的随机梯度下降优化方法可以用于通过减少神经网络的输出和正确的标签之间的误差来缓慢地学习每个3D DNN的网络参数的正确值。当误差率停止降低时，网络的训练阶段便完成。
将该过程应用于系统的每个3D DNN，至少包括：用于检测异常的3D深度神经网络1110、用于分割VOI中的异常的3D DNN 1114、以及用于对先前的3D数据集和当前的3D数据集的异常进行配准的3D DNN 1118。
训练阶段可以包括预处理步骤，其可能涉及以下步骤中的一个或多个：
1.将大量3D数据集(例如，不同患者的研究，包括相关身体部位的3DCT扫描)确定为训练集，其中，研究通常可以包括几个3D数据集，每个3D数据集采用不同的获取平面(例如，矢状或冠状)和重建核；
2.基于放射学专业知识来选择与病变的检测具有最高相关性的一个或多个3D数据集，优选地，选择的3D数据集具有DICOM格式(或另一种合适的标准)或被转换成DICOM格式(或另一种合适的标准)；
3.将一个或多个选择的3D数据集转换为适合于由系统中的模块随后进行处理的格式，特别地，作为转换的一部分，可以在3个维度上对一个或多个选择的3D数据集的分辨率进行标准化。
接下来为选择的3D数据集生成注释1122。注释可以由有资格的读者(通常是经验丰富的放射科医生)来确定，以指示每个3D数据集的切片中的异常。计算机辅助图像注释系统可以用于对切片进行注释。注释系统可以被配置为在3D数据集的切片中进行浏览，选择和显示切片，并将图像处理应用于切片(包括在多个平面中进行图像重建和最大强度投影(MIP))。注释系统可以允许用户以图形方式确定切片中的异常的位置，并确定3D训练数据集的切片中的每个异常的轮廓。为了进行分割，注释系统可以包括用于绘制3D数据集的切片中的异常的轮廓的触敏笔或触控笔。此外，对于配准模型，读者可以指示先前的3D数据集的切片中的哪个异常属于当前的数据集的切片中的异常。注释，即，确定的异常位置1112、异常分割1116和异常配准1120，可以被存储并由训练模块使用以训练系统的3D深度神经网络。
检测模块包括两个3D深度神经网络(DNN)：用于生成候选VOI的第一3D DNN，其接收3D数据集(或其大部分)作为输入，并输出表示一个或多个潜在异常位置的3D坐标的目标标签；以及用于减少假阳性的第二3D DNN，其接收与3D数据集中的VOI相关联的体素，并输出表示一分数的目标标签，该分数对应于VOI的体素表示异常的概率，其中，VOI的位置由第一(候选生成)3D DNN提供。第一3D DNN和第二3D DNN都在大量手动注释的位置1112(通常至少数千个)上进行训练。
分割模块的3D DNN被训练为接收与3D输入数据集中的VOI相关联的体素。网络的输出是3D概率掩码，其指示输入数据集上的体素属于异常的概率。该网络在大量(通常约一千个)手动分割的异常1116上进行训练。
配准模块的3D DNN被配置为在其输入处接收第一VOI和第二VOI的第一体素集和第二体素集(由检测模块确定)，并被训练为输出介于0和1之间的分数，其指示两个体素集包括与相同异常相关的异常的概率。该网络在大量手动注释的异常配准1120上进行训练，其中，通过在原始第一VOI上应用3D非线性变换来创建第二VOI。
例如，基于图11A的方案对分割模块的3D DNN的训练可以包括以下步骤：
1.提取训练数据集的多个切片序列中的ROI和ROI的位置。这里，切片序列可以形成3D数据集，并且不同切片的ROI可以形成3D数据集中特定位置处的VOI的体素；
2.确定与每个VOI相关联的目标标签，其中，目标标签表示与提供给3D DNN的输入的VOI的体素块相同或相似尺寸的概率3D图。3D图的元素对应于VOI的体素，其中，每个元素与关于对应体素属于异常的可能性的概率相关联；
3.将训练集的VOI的体素提供给3D DNN的输入，并使用损失函数基于3D DNN的输出和与VOI相关联的正确输出标签来确定误差；
4.应用反向传播以改善网络参数，并重复此过程，直到预测的输出标签和正确的输出标签之间的误差收敛为止。
可以基于适当的输入数据和目标标签以相似的方式对每个3D DNN进行训练(如图11A所示)。基于经训练的3D DNN和医学专家(通常是放射科医生)二者处理过的3D数据集对经训练的3D DNN的性能进行评估。
表1中提供了用于分割VOI的3D DNN的性能。该表描述了由医学专家执行的结节分割(即，通过使用标准软件工具处理VOI切片进行“手动”分割)与由被训练为执行VOI的分割的3D DNN执行的分割(如本申请中所述)之间的比较。结果是在代表结节集合的428个结节的基础上得出的，根据组成和大小分布，这可以被认为是临床实践的适当代表，并且因此适合于临床评估性能的目的。该表包括分割结果以及基于分割结果的体积和直径的确定二者：
Figure BDA0003052049370000301
表1：分割网络的性能以及基于分割后的VOI的结节的体积和直径的确定
如表1所示，在医学专家确定的体积与系统基于被训练为分割VOI的3D DNN确定的体积之间仅存在很小的差异。结果表明，该系统能够以至少可与医学专家的准确度相媲美的准确度来确定结节的体积。因此，分割模块的性能等同于放射科医生的能力，这对于临床实践而言是可接受的。此外，可以通过改进神经网络的训练来实现系统的改进。
检测的3D DNN的性能以FROC曲线的形式给出，如图11B所示。该曲线是基于对269个结节(直径大于5mm且体积大于80mm3)的分析，这些结节由医学专家和经训练的3D CNN对(即，被训练为确定3D数据集中的候选VOI的3D CNN和被训练为评估候选VOI的3D CNN)进行评估。该图示出了灵敏度与假阳性率之间的权衡。FROC曲线越高越好。FROC曲线上的每个点都对应于一阈值(在左侧边缘，阈值为1，而在右侧边缘，阈值为零)。当平均地每个研究的检测阈值设置为≥1假阳性时，检测模块的性能优于医学专家。如FROC曲线所示，在每次扫描平均4次假阳性的情况下，灵敏度约为94％，检测模块的性能被认为对于临床实践而言是可接受的。
表2中提供了用于配准VOI的3D DNN的性能。该表描述了26对结节的配准之间的比较结果。如果匹配的3D DNN标识出阳性对，则将其计为真的阳性对(TP对)。当匹配的3D DNN根据参考标准匹配出并非一对的结节时，则将其计为假阳性对(FP对)。如表所示，神经网络未预测到假阳性对：
结果匹配
Figure BDA0003052049370000311
该性能表明，用于将当前研究的结节与先前研究的结节相匹配的配准模块被认为是对于临床实践而言可接受的。因此，经训练的神经网络的性能表明，该系统能够以至少类似于医学专家对3D数据集进行评估的准确度来检测、分割和配准3D数据集中的异常。
如参考图1所述，系统能够接收患者当前的3D数据集，并且-如果系统确定当前的3D数据集包括一个或多个异常-则基于当前的3D数据集的元数据来自动确定相同患者先前的3D数据集。为此，系统的接口处理器和PACS系统可以基于适当的协议相互通信。优选地，协议可以基于DICOM标准，该DICOM标准是用于传输、存储、检索、处理和显示医学成像信息的国际标准。
图12描绘了客户端服务器系统的示例，该客户端服务器系统包括用于以标准化的数据格式(例如，DICOM数据格式)存储3D数据集的服务器1202。3D数据集可以由客户端装置1206访问，该客户端装置1206被配置为基于标准化协议1204(例如，DICOM协议)与服务器进行通信。在典型的配置中，图1的系统的接口处理器可以包括客户端装置，并且服务器可以是PACS系统的一部分。客户端服务器系统被配置为对先前的研究、先前的3D数据集进行检索，先前的研究、先前的3D数据集可以用于比较以评估异常的增长速度。
图13中示出了用于检索3D数据集的协议消息的典型序列。该示例是基于DICOM标准进行说明的，但是该过程可以在任何合适的数据库查询协议上实现。在第一步骤1302中，客户端装置可以接收与当前的3D数据集相关联的文件名。客户端装置可以使用与文件名相关联的元数据来确定请求消息(步骤1304)，该请求消息用于请求服务器确定关于与当前的3D扫描数据集相关联的一个或多个先前的3D扫描数据集的信息。此后，客户端装置可以向服务器发送请求消息C-FIND-RQ(步骤1306)。该请求消息可以包括发送到服务器的一个或多个Q/R查询。此类查询的示例可以如下所示：
查询检索水平:研究
查询模型:P(患者)
查询参数:
PatientID＝<patient_id>
StudyDate＝<range>(例如，'20080101-20180505')
StudyInstanceUID＝”#empty(由PACS在响应消息中提供)
AccessionNumber＝”#empty(由PACS在响应消息中提供)
服务器可以确定患者的一个或多个先前的研究(步骤1308)，并将响应消息C-FIND-RSP中的信息发送回客户端装置(步骤1310)。客户端装置可以对该信息进行过滤，以便将列表简化为与CT模态有关并包含有关身体胸部的信息的那些研究。优选地，该列表包括比当前研究至少早两个月的先前研究。如果存在多个先前研究，则可以选择最近的研究。可以基于服务器提供的信息来为客户端装置建立另一请求消息(步骤1312)。另一请求消息C-MOVE-RQ可以被发送到服务器(步骤1314)，并且作为响应，服务器发送与当前的3D扫描数据集相关联的选定的先前的3D数据集(步骤1316)。
图14描绘了根据本发明实施例的用于自动确定3D数据集中的异常的增长速度的过程的流程图。特别地，该流程图示出了从PACS系统自动检索先前的3D数据集，如参考图12和13所述。如该图所示，该过程由系统的中央处理器CPU管理，该中央处理器CPU控制并执行系统的不同模块。该过程可以开始于CPU指示接口处理器检索当前的研究(例如，当前的3D数据集)，当前的研究需要在临床上针对异常的存在进行判断，包括对异常增长速度的估计。接口处理器可以向PACS系统发送(至少)请求消息(步骤1402)以请求当前的3D数据集，并且响应于该请求，PACS系统可以(至少)发送包括当前的3D数据集和与当前的3D数据集相关联的元数据的响应消息给接口处理器(步骤1404)。取决于为接口处理器和PACS系统之间的通信实现的协议，接口处理器和PACS系统之间的通信可以包括多个请求和响应消息，例如，如图13中关于DICOM协议所示。所选择的3D数据集可以由预处理器标准化(步骤1406)，并且随后由检测模块和分割模块进行处理(步骤1408)。在此，检测模块检测3D数据集中的一个或多个VOI，其中，每个VOI包含与异常相关联的体素，并且分割模块对每个检测到的VOI的体素进行分割并产生该VOI的体素的概率3D图。可以基于例如自适应阈值处理而将概率3D图转换成3D二进制图。3D二进制图标识当前的3D数据集中作为异常的一部分的体素，其中，由3D二进制图标识的体素的体素体积之和表示异常的体积。
如果CPU推断出检测到并分割了一个或多个VOI，则CPU指示接口处理器检索先前的研究，例如相同位患者先前的3D数据集。为此，接口处理器基于当前的3D数据集的元数据构建请求消息，并将请求消息发送到PACS(步骤1412)，PACS使用请求消息中的元数据来寻找合适的先前的3D数据集。如果PACS系统找到合适的先前的3D数据集，则它将在响应消息中向接口处理器发送先前的数据集和与先前的数据集相关联的元数据(步骤1414)。同样在这种情况下，基于所使用的协议，接口处理器和PACS之间的消息交换可以包括多个消息。然后，可以以与当前的3D数据集相似的方式处理先前的3D数据集，包括标准化(步骤1416)以及检测与分割(步骤1418)，从而产生一个或多个包括异常的VOI，并且对于每个VOI，产生3D二进制图，用于标识先前的3D数据中属于异常的体素。因此，如果CPU推断出先前的3D数据集包含异常，则其将当前的3D数据集和先前的3D数据集的VOI发送给配准模块以对当前的3D数据集和先前的3D数据集的异常进行配准(步骤1420)。配准模块可以在当前的3D数据集和先前的3D数据集中的VOI之间产生映射M，其中，映射M将当前的3D数据集中与异常相关联的VOI链接到先前的3D数据集中与相同异常相关联的VOI。此后，增长速度模块可以接收映射M，该映射M指示与相同异常有关的一对或多对VOI(一个VOI在当前的3D数据集中，而一个VOI在先前的3D数据集中)、与当前的3D数据集和先前的3D数据集相关联的元数据(特别是在生成数据的时间实例处的信息)以及一对或多对VOI中的每一个的3D二进制图，其中，每个3D二进制图提供了异常的体积的度量。基于该信息，增长速度模块可以确定每个异常的增长速度指标(步骤1422)。该过程的结果可以以人类可读的格式传达给专家。为此，可以生成电子报告，该电子报告包括由模块确定的信息，例如，增长速度指标、当前的3D数据集和先前的3D数据集中异常的3D分割后的VOI等。由于整个过程是全自动的，因此重要的是，该信息使医学专家能够对增长速度指标的计算是否正确执行进行核实。因此，该报告还包括分割模型的可视化，当前的3D数据集和先前的3D数据集的2D或3D渲染。在图16中描绘了电子报告的示例，其示出了由系统确定的检测到的当前的结节和先前的结节的指标1602(体积和直径)；当前的3D数据集和先前的3D数据集的切片1604，其中，结节(的形状和位置)通过轮廓在视觉上标识；以及检测到的当前的结节和先前的结节的3D渲染1606。
图15描绘了根据本发明实施例的自动确定3D数据集中的异常的增长速度的总体流程图。如该图所示，本发明包括以下步骤：第一3D DNN确定当前的3D数据集中的一个或多个第一VOI和先前的3D数据集中的一个或多个第二VOI，VOI与异常相关联(步骤1502)；配准算法，优选地，包括第三3D DNN的配准算法，确定一个或多个第一VOI和一个或多个第二VOI之间的映射，该映射为当前的3D数据集中的第一VOI提供先前的3D数据集中对应的第二VOI(步骤1504)；第二3D DNN将第一VOI的体素分割成表示异常的第一体素，并且将对应的第二VOI的体素分割成表示异常的第二体素(步骤1506)；以及基于第一体素确定异常的第一体积且基于第二体素确定异常的第二体积，并使用第一体积和第二体积来确定增长速度(步骤1508)。
图16是示出可用于本公开中的描述的示例性数据处理系统的框图。数据处理系统1600可以包括通过系统总线1606耦接到存储器元件1604的至少一个处理器1602。这样，数据处理系统可以将程序代码存储在存储器元件1604内。此外，处理器1602可以执行经由系统总线1606从存储器元件1604访问的程序代码。在一方面，数据处理系统可以被实现为适合用于存储和/或执行程序代码的计算机。然而，应当理解，数据处理系统1600可以以能够执行本说明书内描述的功能的包括处理器和存储器的任何系统的形式来实现。
存储器元件1604可以包括一个或多个物理存储器装置，诸如例如本地存储器1608和一个或多个大容量存储装置1610。本地存储器可以是指随机存取存储器或在程序代码的实际执行期间通常使用的其他非持久性存储器装置。大容量存储装置可以被实现为硬盘驱动器或其他持久性数据存储装置。处理系统1600还可以包括一个或多个高速缓冲存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储装置1610中检索程序代码的次数。
描绘为输入装置1616和输出装置1614的输入/输出(I/O)装置可以可选地耦接到数据处理系统。输入装置的示例可以包括但不限于例如键盘、诸如鼠标的定点装置等。输出装置的示例可以包括但不限于例如监视器或显示器、扬声器等。输入装置和/或输出装置可以直接或通过中间I/O控制器耦接到数据处理系统。网络适配器1616也可以耦接到数据处理系统，以使其能够通过中间专用或公共网络耦接到其他系统、计算机系统、远程网络装置和/或远程存储装置。网络适配器可以包括用于接收由所述系统、装置和/或网络传输到所述数据的数据的数据接收器，以及用于将数据传输到所述系统、装置和/或网络的数据发射器。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统1600一起使用的不同类型的网络适配器的示例。
如图16所示，存储器元件1604可以存储应用程序1618。应当理解，数据处理系统1600还可以执行可以促进应用程序的执行的操作系统(未示出)。以可执行程序代码的形式实现的应用程序可以由数据处理系统1600执行，例如由处理器1602执行。响应于执行应用程序，数据处理系统可以被配置为执行本文将进一步详细描述的一个或多个操作。
一方面，例如，数据处理系统1600可以表示客户端数据处理系统。在这种情况下，应用程序1618可以表示客户端应用程序，所述客户端应用程序在执行时对数据处理系统1600进行配置以执行本文中参照“客户端”描述的各种功能。客户端的示例可以包括但不限于个人计算机、便携式计算机、移动电话等。
本文所使用的术语仅出于描述特定实施例的目的，而无意于限制本发明。如本文所使用的，单数形式“一”、“一个(种)”和“该(所述)”也意图包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用术语“包括”和/或“包含”时，指的是存在所述特征、整体、步骤、操作、元件和/或组件，但并不排除存在或附加一个或多个其他的特征、整体、步骤、操作、元件、组件和/或其组。
以下权利要求中的所有部件或步骤加上功能元件的对应结构、材料、作用和等同物旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或作用。已经出于说明和描述的目的给出了本发明的描述，但并不意图是穷举的或将本发明限制为所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。选择并描述实施例是为了最好地解释本发明的原理和实际应用，并使本领域的其他普通技术人员能够理解本发明的各种实施例以及适合于预期的特定用途的各种修改。

Claims (15)

1.一种用于自动确定3D数据集中的对象的增长速度的方法，包括：
处理器将与第一时间实例相关联的当前的3D数据集提供给第一3D深度神经网络DNN系统的输入，所述当前的3D数据集优选地为3D CT扫描，所述当前的3D数据集定义患者的身体部位的体素表示，所述第一3D DNN系统被训练为接收3D数据集，并且所述第一3D DNN系统被训练为，如果所述3D数据集包括一个或多个异常，则输出所述3D数据集中的一个或多个感兴趣的体积VOI，所述异常例如为结节或病变，所述一个或多个VOI与所述一个或多个异常相关联；以及响应于所述输入，所述处理器从所述第一3D DNN的输出中接收所述当前的3D数据集中的一个或多个第一VOI；
所述处理器将与第二时间实例相关联的先前的3D数据集提供给所述第一3D深度神经网络DNN系统的输入，所述先前的3D数据集优选地为3D CT扫描，所述先前的3D数据集定义所述患者的所述身体部位的体素表示；以及响应于所述输入，所述处理器从所述第一3DDNN的输出中接收所述先前的3D数据集中的一个或多个第二VOI；
所述处理器使用配准算法将所述一个或多个第一VOI与所述一个或多个第二VOI进行配准，所述配准算法生成映射，所述映射为所述当前的3D数据集中的第一VOI确定所述先前的3D数据集中对应的第二VOI，所述第一VOI和所述对应的第二VOI与相同异常相关；
所述处理器将所述第一VOI的体素和所述对应的第二VOI的体素提供给第二3D DNN的输入，所述第二3D DNN被训练为接收VOI的体素并输出定义所述VOI的体素的概率的3D图，与体素相关联的概率定义所述体素是异常的一部分的可能性，所述处理器从所述第二3DDNN的输出中接收第一3D图和第二3D图，并且所述处理器使用所述第一3D图标识所述当前的3D数据集中表示所述异常的第一体素并使用所述第二3D图标识所述先前的数据集中表示所述异常的第二体素；以及
所述处理器基于所述第一体素确定所述异常的第一体积且基于所述第二体素确定所述异常的第二体积，并且所述处理器使用所述第一体积和所述第二体积来确定增长速度。
2.根据权利要求1所述的方法，还包括：
在所述处理器接收到所述一个或多个第一VOI之后，所述处理器使用与所述当前的3D数据集相关联的元数据来构建请求消息并将所述请求消息发送到数据库，所述数据库优选地为图片存档及通信系统PACS，所述请求消息指示所述数据库将相同患者和相同身体部位的先前的3D数据集发送到所述处理器。
3.根据权利要求1或2所述的方法，其中，第一经训练的3D深度神经网络系统包括：至少第一3D深度卷积神经网络CNN，所述第一3D深度卷积神经网络CNN优选地为深度全卷积神经网络，所述第一3D深度卷积神经网络CNN被训练为在其输入处接收3D数据集并在其输出处确定所述3D数据集内一个或多个候选VOI的位置，每个候选VOI定义所述3D数据集中可能存在异常的位置；以及至少第二3D深度CNN，所述第二3D深度CNN被训练为从所述第一3D CNN的输出中接收候选VOI，并确定关于候选VOI的体素表示异常的可能性的概率。
4.根据权利要求1-3中任一项所述的方法，其中，所述配准算法包括非刚性变换，用于将所述当前的3D数据集的体素与所述先前的3D数据集的体素进行配准。
5.根据权利要求1-3中任一项所述的方法，其中，所述配准算法包括第三3D深度神经网络DNN系统，所述第三3D深度神经网络DNN系统被训练为在其输入处接收所述当前的3D数据集的第一VOI和所述先前的3D数据集的第二VOI，并在其输出处确定相似度分数，所述相似度分数定义关于所述第一VOI的体素与所述第二VOI的体素之间的相似度的度量；
优选地，所述第三3D DNN被配置为3D深度暹罗神经网络，所述暹罗神经网络包括：第一3D深度神经网络部分，用于接收和处理所述第一VOI；以及第二3D深度神经网络部分，所述第一3D深度神经网络部分优选地为第一3D深度CNN，所述第二3D深度神经网络部分优选地为第二3D深度CNN，其中，所述第一3D深度神经网络部分和所述第二3D深度神经网络部分共享相同的权重。
6.根据权利要求5所述的方法，其中，所述配准算法生成映射，包括：
确定包括概率分数的相似度矩阵，所述概率分数与从所述当前的3D数据集中的所述一个或多个第一VOI中选择的第一VOI和从所述先前的3D数据集中的所述一个或多个第二VOI中选择的第二VOI的组合相关联；
基于所述相似度矩阵，使用线性优化算法来确定所述当前的3D数据集的所述一个或多个第一VOI与所述先前的3D数据集的所述一个或多个第二VOI之间的最佳映射。
7.根据权利要求1-6中任一项所述的方法，其中，分别地，将第一阈值应用于所述第一3D图中的概率以形成标识所述当前的3D数据集中的第一体素的第一3D二进制图，并且将第二阈值应用于所述第二3D图中的概率以形成标识所述先前的3D数据集中的第二体素的第二3D二进制图，优选地，选择所述第一阈值，使得由所述第一3D二进制图标识的体素体积的总和表示所述当前的3D数据集中的异常的体积，并且选择所述第二阈值，使得由所述第二3D二进制图标识的体素体积的总和表示所述先前的3D数据集中的异常的体积。
8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：
生成与所述当前的3D数据集和所述先前的3D数据集相关联的数字报告，所述数字报告包括所述当前的3D数据集中的异常的3D图形表示和所述先前的3D数据集中的异常的3D图形表示以及所述异常的增长速度。
9.根据权利要求1至9中任一项所述的方法，其中，所述第一3D DNN系统和/或所述第二DNN包括一个或多个卷积层块，每个块包括3D CNN和2D CNN，其中，重塑操作将所述3D CNN的切片重塑为多个2D切片，其中，由所述2D CNN处理每个切片，优选地，所述2D CNN被配置为2D残差CNN。
10.根据权利要求1至9中任一项所述的方法，其中，所述第一3D DNN系统或所述第三3D深度神经网络包括3D残差卷积神经网络。
11.根据权利要求1至8中任一项所述的方法，其中，所述当前的3D数据集和所述先前的3D数据集的存储和检索是基于DICOM标准。
12.一种训练多个3D深度神经网络的方法，包括：
接收用于训练多个3D DDN的训练集，所述训练集包括患者的身体部位的3D数据集，所述3D数据集优选地为3D CT扫描，其中，每个3D数据集包括：零个或者一个或多个异常，所述异常例如为病变或结节；至少一部分所述3D数据集的一个或多个感兴趣的体积VOI，每个VOI与异常相关联，所述异常例如为病变或结节；
为每个VOI接收：VOI的像素表示、指示VOI位于3D数据集中的位置的位置信息、以及定义VOI的体素的概率的概率3D图，与体素相关联的概率定义所述体素是异常的一部分的可能性；
使用所述3D数据集的体素表示作为输入并将所述位置信息作为目标，训练第一3D深度神经网络；
使用所述VOI的体素表示作为输入并将与所述VOI的体素表示相关联的概率3D图作为目标，训练第二3D深度神经网络；以及
使用所述VOI的体素表示和所述VOI的体素表示的非线性图像变换作为输入并将相似度分数作为目标，训练第三3D深度神经网络，相似度分数定义VOI的体素表示与所述体素表示的非线性图像变换之间的相似度。
13.一种用于自动确定3D数据集中的对象的增长速度的计算机系统，包括：
计算机可读存储介质，所述计算机可读存储介质上实施有计算机可读程序代码，所述程序代码包括至少一个经训练的3D深度神经网络；以及耦接到所述计算机可读存储介质的至少一个处理器，所述处理器优选地为微处理器，其中，响应于执行所述计算机可读程序代码，所述至少一个处理器被配置为执行包括以下的可执行操作：
将与第一时间实例相关联的当前的3D数据集提供给第一3D深度神经网络DNN系统的输入，所述当前的3D数据集优选地为3D CT扫描，所述当前的3D数据集定义患者的身体部位的体素表示，所述第一3D DNN系统被训练为接收3D数据集，并且所述第一3D DNN系统被训练为，如果所述3D数据集包括一个或多个异常，则输出所述3D数据集中的一个或多个感兴趣的体积VOI，所述异常例如为结节或病变，所述一个或多个VOI与所述一个或多个异常相关联；以及响应于所述输入，所述处理器从所述第一3D DNN的输出中接收所述当前的3D数据集中的一个或多个第一VOI；
将与第二时间实例相关联的先前的3D数据集提供给所述第一3D深度神经网络DNN系统的输入，所述先前的3D数据集优选地为3D CT扫描，所述先前的3D数据集定义所述患者的所述身体部位的体素表示；以及响应于所述输入，所述处理器从所述第一3D DNN的输出中接收所述先前的3D数据集中的一个或多个第二VOI；
使用配准算法将所述一个或多个第一VOI与所述一个或多个第二VOI进行配准，所述配准算法生成映射，所述映射为所述当前的3D数据集中的第一VOI确定所述先前的3D数据集中对应的第二VOI，所述第一VOI和所述对应的第二VOI与相同异常相关；
将所述第一VOI的体素和所述对应的第二VOI的体素提供给第二3D DNN的输入，所述第二3D DNN被训练为接收VOI的体素并输出定义所述VOI的体素的概率的3D图，与体素相关联的概率定义所述体素是异常的一部分的可能性，所述处理器从所述第二3D DNN的输出中接收第一3D图和第二3D图，并且所述处理器使用所述第一3D图标识所述当前的3D数据集中表示所述异常的第一体素并使用所述第二3D图标识所述先前的数据集中表示所述异常的第二体素；
基于所述第一体素确定所述异常的第一体积且基于所述第二体素确定所述异常的第二体积，并且使用所述第一体积和所述第二体积来确定增长速度。
14.根据权利要求13所述的计算机系统，
其中，第一经训练的3D深度神经网络系统包括：至少第一3D深度卷积神经网络CNN，所述第一3D深度卷积神经网络CNN优选地为深度全卷积神经网络，所述第一3D深度卷积神经网络CNN被训练为在其输入处接收3D数据集并在其输出处确定所述3D数据集内一个或多个候选VOI的位置，每个候选VOI定义所述3D数据集中可能存在异常的位置；以及至少第二3D深度CNN，所述第二3D深度CNN被训练为从所述第一3D CNN的输出中接收候选VOI，并确定关于候选VOI的体素表示异常的可能性的概率；和/或，
其中，所述配准算法包括第三3D深度神经网络DNN系统，所述第三3D深度神经网络DNN系统被训练为在其输入处接收所述当前的3D数据集的第一VOI和所述先前的3D数据集的第二VOI，并在其输出处确定相似度分数，所述相似度分数定义关于所述第一VOI的体素与所述第二VOI的体素之间的相似度的度量；优选地，所述第三3D DNN被配置为3D深度暹罗神经网络，所述暹罗神经网络包括：第一3D深度神经网络部分，用于接收和处理所述第一VOI；以及第二3D深度神经网络部分，所述第一3D深度神经网络部分优选地为第一3D深度CNN，所述第二3D深度神经网络部分优选地为第二3D深度CNN，其中，所述第一3D深度神经网络部分和所述第二3D深度神经网络部分共享相同的权重。
15.一种包括软件代码部分的计算机程序产品，所述软件代码部分被配置为在计算机的存储器中运行时，执行根据权利要求1至12中任一项所述的方法步骤。
CN201980073082.3A 2018-09-04 2019-09-04 使用深度学习确定3d数据集中对象的增长速度 Active CN113168912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2021559A NL2021559B1 (en) 2018-09-04 2018-09-04 Determination of a growth rate of an object in 3D data sets using deep learning
NL2021559 2018-09-04
PCT/NL2019/050574 WO2020050721A1 (en) 2018-09-04 2019-09-04 Determination of a growth rate of an object in 3d data sets using deep learning

Publications (2)

Publication Number Publication Date
CN113168912A true CN113168912A (zh) 2021-07-23
CN113168912B CN113168912B (zh) 2023-12-01

Family

ID=64607249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073082.3A Active CN113168912B (zh) 2018-09-04 2019-09-04 使用深度学习确定3d数据集中对象的增长速度

Country Status (7)

Country Link
EP (1) EP3847665A1 (zh)
JP (1) JP7346553B2 (zh)
CN (1) CN113168912B (zh)
AU (1) AU2019334755A1 (zh)
CA (1) CA3111320A1 (zh)
NL (1) NL2021559B1 (zh)
WO (1) WO2020050721A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266185A1 (en) * 2009-04-21 2010-10-21 Sloan Kettering Institute of Cancer Malignant tissue recognition model for the prostate
US20150279034A1 (en) * 2014-03-27 2015-10-01 Riverain Technologies Llc Suppression of vascular structures in images
US20160005193A1 (en) * 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107636659A (zh) * 2015-05-11 2018-01-26 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
CN107997778A (zh) * 2016-10-31 2018-05-08 西门子保健有限责任公司 在计算机断层扫描血管造影术中基于深度学习的骨移除
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173213A (ja) * 2007-01-17 2008-07-31 Hitachi Medical Corp 医用画像診断支援装置
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
WO2012138871A2 (en) * 2011-04-08 2012-10-11 Algotec Systems Ltd. Image analysis for specific objects
JP6565422B2 (ja) * 2015-07-24 2019-08-28 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
AU2017363608A1 (en) * 2016-11-22 2019-05-23 Hyperfine Operations, Inc. Systems and methods for automated detection in magnetic resonance images
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266185A1 (en) * 2009-04-21 2010-10-21 Sloan Kettering Institute of Cancer Malignant tissue recognition model for the prostate
US20150279034A1 (en) * 2014-03-27 2015-10-01 Riverain Technologies Llc Suppression of vascular structures in images
US20160005193A1 (en) * 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung
CN107636659A (zh) * 2015-05-11 2018-01-26 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107997778A (zh) * 2016-10-31 2018-05-08 西门子保健有限责任公司 在计算机断层扫描血管造影术中基于深度学习的骨移除
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RIKIYA YAMASHITA等: "Convolutional neural networks: an overview and application in radiology", INSIGHTS INTO IMAGING, no. 9 *
杨晶晶;王骞;宣晓华;: "基于深度卷积神经网络算法的肺结节检测模型", 数学建模及其应用, no. 04 *
蒋涛: "深度学习在医学图像分析中的应用", 中国优秀硕士学位论文全文数据库, no. 02 *

Also Published As

Publication number Publication date
CN113168912B (zh) 2023-12-01
NL2021559B1 (en) 2020-04-30
AU2019334755A1 (en) 2021-04-08
WO2020050721A1 (en) 2020-03-12
CA3111320A1 (en) 2020-03-12
US20210327583A1 (en) 2021-10-21
EP3847665A1 (en) 2021-07-14
JP7346553B2 (ja) 2023-09-19
JP2021536330A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
Park et al. Fully automated lung lobe segmentation in volumetric chest CT with 3D U-Net: validation with intra-and extra-datasets
US9959486B2 (en) Voxel-level machine learning with or without cloud-based support in medical imaging
EP2693951B1 (en) Image analysis for specific objects
EP3611699A1 (en) Image segmentation using deep learning techniques
WO2019103912A2 (en) Content based image retrieval for lesion analysis
EP3629898A1 (en) Automated lesion detection, segmentation, and longitudinal identification
Sang et al. Automated detection and classification for early stage lung cancer on CT images using deep learning
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
Göçeri Fully automated liver segmentation using Sobolev gradient‐based level set evolution
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
US20060023927A1 (en) GGN segmentation in pulmonary images for accuracy and consistency
Wang et al. Pulmonary nodule detection in CT images based on shape constraint CV model
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP4156096A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
CN107567638A (zh) 对解剖结构的基于模型的分割
US20140314294A1 (en) Shape-Based Image Segmentation
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2022056297A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
Dong et al. An improved supervoxel 3D region growing method based on PET/CT multimodal data for segmentation and reconstruction of GGNs
EP4235566A1 (en) Method and system for determining a change of an anatomical abnormality depicted in medical image data
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
CN115527655A (zh) 提供第二结果数据集的方法、系统和计算机可读存储介质
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning
US20220351000A1 (en) Method and apparatus for classifying nodules in medical image data
EP3794550B1 (en) Comparison of a region of interest along a time series of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240105

Address after: Amsterdam

Patentee after: Edens Ltd.

Address before: Amsterdam

Patentee before: Edens IP Ltd.