CN113327225B - 用于提供气道信息的方法 - Google Patents

用于提供气道信息的方法 Download PDF

Info

Publication number
CN113327225B
CN113327225B CN202110217473.7A CN202110217473A CN113327225B CN 113327225 B CN113327225 B CN 113327225B CN 202110217473 A CN202110217473 A CN 202110217473A CN 113327225 B CN113327225 B CN 113327225B
Authority
CN
China
Prior art keywords
airway
medical image
segment
image data
img
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110217473.7A
Other languages
English (en)
Other versions
CN113327225A (zh
Inventor
多米尼克·纽曼
王普阳
安娜·伯姆
萨沙·格尔比奇
徐宙冰
刘思奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN113327225A publication Critical patent/CN113327225A/zh
Application granted granted Critical
Publication of CN113327225B publication Critical patent/CN113327225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20168Radial search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Abstract

本申请公开了用于提供气道信息的方法。一种用于提供定量气道信息(INFO1)的计算机实现的方法,其包括:接收(REC‑1)和/或确定(DET‑1)气道段(AS1、AS2)的第一医学图像数据(IMG1);对第一医学图像数据(IMG1)应用(APP‑1)第一经训练的函数,其中,生成了输出数据;基于输出数据确定(DET‑2)气道段(AS1、AS2)的至少一个定量气道信息(INFO1);提供(PROV‑1)至少一个定量气道信息(INFO1)。

Description

用于提供气道信息的方法
技术领域
本发明描述了用于基于医学图像自动确定气道信息的方法和装置。
背景技术
慢性阻塞性肺疾病(简称“COPD”)是全球第三大死亡原因,并在2016年夺走了300万人的生命。临床研究已经表明小气道中的壁增厚与指示COPD的气流受限之间的相关性。因此,对异常气道壁的检测和量化具有高的临床价值。壁增厚可以通过成像——特别是肺部/胸部的高分辨率计算机断层扫描(简称“CT”)——来评估。
肺部CT图像可以由放射科医生或其他有经验的医学专家通过手动浏览CT切片并搜索异常壁厚度或其他炎症迹象的视觉指示来手动分析。然而,该过程是非常繁琐、耗时的,并且由于大量的气道段特别是对于COPD评估最相关的小气道而导致该过程会是易于出错的。已经描述了针对大中型气道的气道尺寸的半自动估计或自动估计的一些工作(Nakano,Y.等人,The prediction of small airway dimensions using computedtomography,Am.J.Res.Crit.Care,171(2),pp.142-146,2005)。然而,由于数据集的数目非常有限,因此这些方法通常不能对看不见的数据进行适当的验证和测试。大多数方法旨在分析三维CT图像的所提取的二维片上的气道壁。为此,需要将气道中心线树作为输入,以便精确定义二维片提取的位置和方向,以获得最佳的量化结果。理想地,气道应当位于2D片的中心并呈圆形。换句话说,气道方向应当与二维平面正交。然后,通常应用“半峰全宽”(缩写为“FWHM”)或相关方法来分析强度轮廓,以描绘出内气道壁和外气道壁。例如,如Reinhardt等人“Accurate measurement of intrathoracic airways”(IEEE Trans.Med.Imaging,16(6),pp.820-827,1997)所描述的,对这样的2D片应用标准的FWHM可以为直径大且壁厚的气道提供良好的结果,但对于小气道和薄壁是有偏差的。
胸部容积CT扫描中的气道树的提取被定义为尽可能准确和完整地提取肺气道树结构及其图像坐标。这在分析肺气道疾病中起重要作用。气道树提取的一个应用是在气道内腔和壁尺寸的测量中,这已被证明与COPD的存在具有良好的相关性。由于肺部是基于气道树而在解剖学上细分的,因此气道树提取对于其他分割任务诸如肺叶的分割也是有用的输入。此外,气道树提取在导航的支气管镜检查系统中也起着重要作用,在导航的支气管镜检查系统中,通常使用术前图像到患者的解剖结构的基于气道中心线的配准。
由于较小的气道分支的薄且不清楚的管状结构,气道中心线提取会非常具有挑战性。由于这种结构上的复杂性,使用手动或半自动方法进行提取是非常繁琐且耗时的,相应地需要超过7小时或高达2.5小时。此外,注释可能易于出错且不一致。已经报道了许多自动方法,包括基于阈值的方法、基于形态学的方法和基于2D学习的方法。然而,由于无法利用3D空间信息和间隙连接能力,导致所提取的气道分支通常在深度和连续性上受到限制。
发明内容
因此,气道树的全自动提取对于提供全自动COPD评估是有益的。本发明的目的是基于医学图像提供全自动COPD评估。
该目的通过根据本公开内容的技术方案的方法、提供系统、计算机程序产品和计算机可读存储介质来实现。在本公开内容的技术方案和以下说明书中列出了有利的进一步发展。
在下文中,关于所要求保护的提供系统以及关于所要求保护的方法描述了根据本发明的解决方案。本文中的特征、优点或可替选实施方式可以分配给其他要求保护的对象,反之亦然。换句话说,可以使用在方法的上下文中描述或要求保护的特征来改进提供系统的权利要求。在这种情况下,该方法的功能性特征由提供系统的目标单元实现。
此外,在下文中,关于用于提供至少一个定量气道信息的方法和系统以及关于用于提供经训练的函数的方法和系统来描述根据本发明的解决方案。本文中的特征、优点或可替选的实施方式可以分配给其他要求保护的对象,反之亦然。换句话说,可以使用在用于提供至少一个定量气道信息的方法和系统的上下文中描述或要求保护的特征来改进用于提供经训练的函数的方法和系统的权利要求,反之亦然。
特别地,在用于提供至少一种定量气道信息的方法和系统内使用的经训练的函数可以通过用于提供经训练的函数的方法和系统来改编。此外,在用于提供至少一种定量气道信息的方法和系统中使用的输入数据可以包括在用于提供经训练的函数的方法和系统中使用的训练输入数据的有利特征和实施方式,反之亦然。此外,在用于提供至少一种定量气道信息的方法和系统中使用的输出数据可以包括在用于提供经训练的函数的方法和系统中使用的输出训练数据的有利特征和实施方式,反之亦然。
在第一方面,本发明涉及用于提供至少一个定量气道信息的计算机实现的方法。该计算机实施的方法包括接收和/或确定气道段的第一医学图像数据。在另外的步骤中,该方法包括对第一医学图像数据应用第一经训练的函数,其中,生成了输出数据。在另外的步骤中,该方法包括基于输出数据确定气道段的至少一个定量气道信息。在另外的步骤中,该方法包括提供至少一个定量气道信息。
特别地,接收和/或确定第一医学图像数据的步骤由接口和/或计算单元执行,特别是由提供系统的接口和/或计算单元执行。特别地,应用第一经训练的函数的步骤由计算单元执行,特别是由提供系统的计算单元执行。特别地,确定至少一个定量气道信息的步骤由计算单元执行,特别是由提供系统的计算单元执行。特别地,提供至少一个定量气道信息的步骤由接口单元执行,特别是由提供系统的接口单元执行。
特别地,在接收和/或确定第一医学图像数据的步骤之后执行应用第一经训练的函数的步骤。特别地,在应用第一经训练的函数的步骤之后执行确定至少一个定量气道信息的步骤。特别地,在确定至少一个定量气道信息的步骤之后执行提供至少一个定量气道信息的步骤。
第一医学图像数据可以至少包括第一医学图像和/或第一医学图像的第一元数据。特别地,第一医学图像数据可以通过医学成像装置例如计算机断层扫描装置、磁共振断层扫描装置、正电子发射断层扫描装置、单光子发射计算机断层扫描装置、平场X射线装置、超声装置等来获取。特别地,第一医学图像是检查体积的医学图像,特别地,检查体积是患者的子区域。特别地,可以通过前述装置的组合来获取第一医学图像数据。特别地,第一医学图像数据可以包括三维的和/或二维的第一医学图像。第一医学图像可以包括多个像素或体素。特别地,如果第一医学图像是三维医学图像,则其包括多个体素,而如果第一医学图像是二维医学图像,则其包括多个像素。特别地,多个像素或体素中的每个像素或体素可以包括像素值或体素值,由此像素值或体素值包括关于在第一医学图像中相应位置处成像的组织的信息。特别地,像素值或体素值可以包括强度值。强度值可以例如对应于X射线衰减系数和/或以亨氏为单位给出。第一元数据可以包括:用于获取第一医学图像的获取参数;作为医学图像的主体的患者的特定于患者的数据例如年龄、体重、性别等;在第一医学图像中测量的参数例如以亨氏为单位的强度值;磁共振图像中的参数等。
特别地,第一医学图像数据特别是可以由计算单元确定。可以基于可替选的输入数据例如另外的医学图像或元数据来确定第一医学图像。示例性地,第一医学图像数据可以包括第一医学图像,并且第一医学图像可以是基于三维医学图像确定的二维切片。
气道段包括气道的至少一部分。特别地,气道包括患者的以下各项中至少之一:气管、支气管、细支气管、肺泡及其组合和/或子结构。特别地,患者的气道分支成甚至更小的结构。特别地,气道段包括气道的至少一部分。特别地,气道段可以包括患者的气道的在气道的两个分支点之间延伸的一部分。可替选地,气道段可以包括患者的气道的一部分,该部分小于气道的两个分支点之间的部分。可替选地,气道段可以包括患者的气道整体或患者的气道的任何部分。
通常,经训练的函数模拟将人与其他人的思维相关联的认知功能。特别地,通过基于训练数据进行训练,经训练的函数能够适应新的情况并检测和推断模式。
通常,可以借助于训练来改编经训练的函数的参数。特别地,可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外,可以使用表示学习(替选术语是“特征学习”)。特别地,可以通过一些训练步骤来迭代地改编经训练的函数的参数。
特别地,经训练的函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络,和/或经训练的函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。特别地,神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外,神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
输出数据可以包括基于第一医学图像数据的经处理的图像数据。特别地,经处理的图像数据可以与第一医学图像数据具有相同的大小。经处理的图像数据具有与第一医学图像数据相同的大小意味着经处理的数据也是如下医学图像:其具有与第一医学图像相同的维数并且关于维度中的每个维度包括相同数目的像素或体素。
特别地,定量气道信息与患者的气道的气道段有关,并且包括关于气道段的信息。特别地,气道信息可以包括关于气道段的几何特性的信息。替选地或另外地,至少一个定量气道信息可以包括关于气道段的衰减特性的信息。衰减特性可以基于描绘第一医学图像中的气道段的多个像素或体素的强度值。特别地,衰减特性取决于气道段的衰减系数。可以基于第一经训练的函数的输出数据来确定定量气道信息。特别地,至少一个定量气道信息可以包括与COPD有关的信息。
提供至少一个定量气道信息可以包括显示、存储和/或发送至少一个定量气道信息。特别地,提供至少一个定量气道信息可以包括通过监视器显示至少一个定量气道信息。替选地或另外地,可以在进一步的分析步骤中使用至少一个气道信息。
发明人认识到基于第一经训练的函数来确定至少一个定量气道信息是有利的。与用户的手动确定相比,使用第一经训练的函数使得能够更快地确定至少一个气道信息。此外,与现有技术中已知的其他算法相比,特别是与非学习算法相比,使用第一经训练的函数提供比非学习算法较少的错误结果。特别地,发明人认识到,第一经训练的函数还提供针对至少一个定量气道信息甚至是针对气道的小部分的结果。
根据本发明的另一方面,第一经训练的函数包括卷积神经网络。
特别地,第一经训练的函数可以包括密集单元网络。特别地,密集单元网络包括卷积层、最大池化层和解卷积层。特别地,密集单元网络包括至少两个部分:第一部分和第二部分。特别地,在密集单元网络的第一部分中,输入数据被下采样。下采样意味着输入数据的维度减小。特别地,在输入数据是医学图像的情况下,减少了输入数据的像素或体素的数目。输入数据可以是第一医学图像数据。在该网络的第二部分中,再次对下采样的数据进行上采样,使得输出数据具有与输入数据相同的格式。特别地,在输入层的节点与输出层的节点之间存在一一对应的关系,特别是还关于这些节点可以表示的数值存在一一对应的关系。特别地,如果输入数据等效于第一医学图像数据,则输出数据具有相同大小意味着输出数据也是以下医学图像,其具有与第一医学图像相同的维数,并且关于维度中的每个维度包括相同数目的像素或体素。此外,密集单元网络的各层被连接。例如,最后一层可以与密集单元网络的第一层连接。换句话说,最后一层可以从第一层接收信息。例如,以下文献提供了密集单元网络的详细描述:等人,“3D U-Net:Learning Dense VolumetricSegmentation from Sparse Annotation”(MICCAI,Springer,Vol.9901:424-432,2016)。
发明人认识到卷积神经网络特别是密集单元网络适合于处理图像数据。他们认识到,可以通过对第一医学图像数据包括的第一医学图像应用包括卷积网络的第一经训练的函数来确定输出数据。
根据可替选的另一方面,第一经训练的函数可以包括另一机器学习算法,例如任意神经网络和/或随机森林算法。
发明人认识到可以使用更少的训练数据来训练其他机器学习算法。他们认识到,如果可用的训练数据很少,则这样的机器学习算法特别适合。
根据另一方面,通过非学习算法来执行确定至少一个定量气道信息。
特别地,非学习算法是不依赖于训练数据集的算法。换句话说,第一经训练的函数的输出数据可以用作非学习算法的输入数据。
发明人认识到,如果通过非学习算法确定至少一个定量气道信息,则不需要训练数据。因此,在不能执行训练的情况下,或者如果至少一个气道信息的确定被标准化使得可以通过非学习算法合理地执行该确定,该应用适合于提供至少一个定量气道信息。
根据可替选的另一方面,通过另外的经训练的函数来执行确定至少一个定量气道信息。
另外的经训练的函数接收第一经训练的函数的输出数据作为输入数据。
发明人认识到,通过另外的经训练的函数确定至少一个输出数据可以有助于使确定至少一个定量气道信息的过程加速。
根据可替选的另一方面,输出数据包括气道段的至少一个定量气道信息。
特别地,可以通过第一经训练的函数来确定至少一个定量气道信息。
特别地,确定至少一个定量气道信息的步骤包括从输出数据中提取和/或选择气道段的至少一个定量气道信息。特别地,输出数据可以是至少一个定量气道信息。特别地,在这种情况下,提取和/或选择至少一个定量气道信息意味着使用输出数据。
发明人认识到,像这样,可以在一个步骤内从第一医学图像数据确定至少一个定量气道信息。他们认识到,像这样,在该方法的不同步骤之间需要缓存的数据更少。这有助于节省存储空间并加速计算过程例如应用第一经训练的函数或确定至少一个定量气道信息。
根据本发明的另一方面,输出数据包括气道段的壁的掩模。
特别地,气道段的壁可以是管状的并且将气道段的内部与外部或环境分开。特别地,气道段的内部可以包括呼吸空气。气道的壁上散布着能够进行气体交换的血管。特别地,如果气道段的第一医学图像是三维的,则壁是三维物体。特别地,三维壁的掩模也可以是三维的。可替选地,三维壁的掩模可以包括例如三维壁的截面的至少一个二维掩模。如果气道段的第一医学图像是二维的,则壁以及因此还有掩模也是二维的。
特别地,医学图像数据可以至少包括第一医学图像。
特别地,掩模可以与第一医学图像的像素值——相应地体素值——相关。换句话说,掩模可以与第一医学图像的像素或体素的强度值相关。
发明人认识到,掩模适合于对气道壁进行分割。他们认识到,通过壁描述的几何特性是COPD的状态的良好指标。他们认识到掩模适用于确定至少一个定量气道信息。他们还认识到,掩模适用于研究至少气道段的几何特性。发明人认识到,通过应用第一经训练的函数确定掩模是有利的。这允许以与手动分割类似的质量但更快的速度对壁进行分割。特别地,医生不需要用手对壁进行分割。这节省了成本和时间,并使医生能够专注于不能轻易地被学习网络取代的更具体的任务。特别地,在某些情况下,如果壁的分割是由第一经训练的函数执行的,则其分割可以比例如由经验不足的医生执行的分割的错误少。
根据另一方面,掩模是气道段的壁的二进制掩模。
特别地,掩模的大小与第一医学图像的大小相同。特别地,掩模具有与第一医学图像相同的大小意味着该掩模也是以下医学图像:其具有与第一医学图像的相同维数,并且关于维度中的每个维度包括相同数目的像素或体素。特别地,掩模的像素值或体素值可以包括表示医学图像内的壁的像素或体素的“1”或“真”以及表示其他地方的壁的像素或体素的“0”或“假”。可替选地,掩模的像素值或体素值可以包括表示医学图像内的壁的像素或体素的“0”或“假”以及表示其他地方的像素或体素的“1”或“真”。
发明人认识到,壁的二进制掩模包括用于提取壁的几何特性的所有信息。特别地,二进制掩模不包括关于几何特性非必要的信息。这节省了存储空间。特别地,他们认识到,可以基于壁的二进制掩模容易地提取壁的几何特性。
根据本发明的可替选的方面,掩模包括关于壁的密度的另外的信息。
壁的密度可以例如是放射照相密度。换句话说,壁的密度可以与壁的X射线衰减有关。关于壁的密度的信息可以被编码为掩模的图像内的像素或体素的强度值。关于壁的密度的信息例如可以基于与壁对应的像素或体素的强度值的亨氏单位,或者基于根据第一医学图像数据的另外的定量信息。
发明人认识到,除了壁的几何特性之外,还可以使用关于壁的密度的信息。他们认识到,关于密度的信息可以包括关于气道段的壁的组织的结构变化的信息。组织的改变可以帮助诊断另外的肺部疾病和/或COPD。
根据另一方面,如果基于三维医学图像确定气道段的第一医学图像,则掩模基于气道段的二维投影。
换句话说,气道段的第一医学图像可以是气道段沿着投影方向的二维投影。那么可以在气道段的二维投影中确定掩模。特别地,掩模可以包括气道段的二维投影的二值化。
发明人认识到在气道壁的二维投影内确定壁的掩模是有利的。他们认识到,由于投影的壁厚度与沿着投影的气道壁段的多个壁厚度的平均值相当,因此可以通过基于二维投影确定掩模来减少误差。此外,他们认识到,如果针对气道壁的二维投影确定掩模而不是沿气道段确定多个掩模,则节省了计算时间。特别地,医生仅可以考虑有限数目的数据以用于诊断患者。发明人认识到,没有必要提供比医生可以分析的数据更多的数据。
根据另一个可能的方面,在第一医学图像是三维医学图像的情况下,该掩模可以包括气道段的至少子段的二维投影的至少一个子掩模。
子段包括气道段的至少一部分。换句话说,气道段可以分为较小的部分,称为子段。对于子段中的每个子段,可以确定二维投影。对于每个二维投影,可以确定二维掩模。换句话说,气道段的三维的第一医学图像的壁可以通过多个子掩模来描述。
发明人认识到,对于弯曲的气道段,确定气道段的子段的多个二维投影的多个子掩模是有利的。他们认识到弯曲的气道段的二维投影可以导致在气道段的二维投影内的模糊的壁。因此,他们认识到将弯曲的气道段分成较小的子段是有利的。每个子段的曲率应可忽略不计。
根据可替选的方面,掩模是基于第一医学图像数据的三维掩模,其中,第一医学图像数据包括三维的第一医学图像。
发明人认识到三维掩模包括气道壁的所有几何信息而没有近似值。他们还认识到,如果掩模是三维的,则可以向用户提供气道壁的形象的图示。
根据本发明的方面,至少一个定量气道信息与气道段的壁厚度相关。
特别地,至少一个定量气道信息可以包括描述气道段的壁厚度的至少一个值。随后,将描述壁厚度的值称为壁厚度。
特别地,气道段的壁可以是管状的。气道段的中心线段可以平行于管布置。特别地,中心线段平行于管的纵轴布置。特别地,气道壁段可以在三维图像中沿着中心线段延伸。有利地,中心线段位于气道段的中心。特别地,对于弯曲的气道段,中心线段显示出与气道段相同的曲率。
特别地,可以在大致垂直于气道段的中心线段的平面内确定壁厚度。以此方式,可以确保透视变形对确定的壁厚度不产生影响。
二维图像中的气道段的壁可以是圆形或椭圆形的,由此二维图像可以是气道段的截面。在这种情况下,中心线段在一点处与二维图像相交。该点位于气道段的二维投影的中心内。换句话说,该点位于由气道段的壁所描述的圆或椭圆的中心。
特别地,可以沿着从中心线段开始并且大致垂直于中心线段的射线状的线来确定壁厚度。因此,该线与壁相交。可以相对于该线确定壁厚度。
特别地,可以基于第一经训练的函数的输出数据特别是基于非学习算法来确定气道段的壁厚度。
特别地,可以基于气道段的壁的掩模来确定壁厚度。对于二进制掩模,壁厚度可以例如是沿垂直于壁的线或路径的像素值之和。
发明人认识到壁厚度值是COPD评估的重要指标。
根据另一方面,定量气道信息可以包括第一多个壁厚度值。
特别地,近似垂直于中心线段地确定所有壁厚度值。特别地,可以针对相对于中心线段的多个旋转角度来确定第一多个壁厚度值。
发明人认识到,针对相对于中心线段的多个旋转角度确定第一多个壁厚度值是有利的。他们认识到,壁厚度可以针对相对于中心线段的不同旋转角度而变化。
根据另一方面,至少一个定量气道信息包括第一多个壁厚度值的平均值或中值。
发明人认识到,确定多个壁厚度值的中值减小了异常值的影响。
根据本发明的另一可能的方面,可以将固定旋转角的壁厚度确定为第二多个壁厚度值的平均值或中值,第二多个壁厚度值包括中心线段处两点的至少两个壁厚度值。
换句话说,第二多个壁厚度值包括至少两个壁厚度值,所述至少两个壁厚度值是针对沿着气道段的中心线段的两个不同位置处的相同旋转角而确定的。
特别地,如果第一医学图像是三维图像,则至少一个气道信息可以包括第二多个壁厚度值。第二多个壁厚度值中的壁厚度值的数目取决于三维医学图像沿着中心线段的采样或插值。采样取决于体素的大小。可以执行插值以计算两个体素值之间的值。
特别地,可以确定针对第一多个壁厚度值的每个旋转角度的第二多个壁厚度值。
特别地,定量气道信息可以包括第一多个壁厚度值和第二多个壁厚度值的组合的平均值或中值。
发明人认识到,确定沿着中心线段的不同位置的第二多个壁厚度值有助于避免尤其是对于气道段的三维的第一医学图像而言由于气道段的曲率而引起的变形。特别地,他们认识到计算第一多个壁厚度值和/或第二多个壁厚度值的平均值或中值减小了异常值的影响。
根据另一方面,可以基于多个输出数据来确定固定旋转角度的概述的壁厚度值。
可以针对多个气道段的多个第一医学图像数据确定多个输出数据。定量气道信息可以包含概述的壁厚度值。可替选地,可以基于与多个第一医学图像数据相关的多个定量气道信息来确定固定角度的概述的壁厚度值。特别地,概述的壁厚度值可以是第三多个壁厚度值的平均值或中值。可以相对于多个第一医学图像数据中的第一医学图像数据确定第三多个壁厚度值中的每个壁厚度值。
发明人认识到,概述的壁厚度值可以帮助医生快速概览气道的较大部分的壁厚度。这有助于医生提供对COPD的快速诊断。
根据本发明的另一方面,定量气道信息包括以下各项中至少之一:
·气道段的壁厚度,
·气道段的内腔半径,
·气道段的外壁半径,以及
·气道段的壁百分比。
特别地,定量气道信息可以以上面针对壁厚度值所描述的方式确定。
内腔半径是气道壁的内壁的半径。壁百分比描述了被气道壁覆盖的包括中空的内部区域的气道(管)的比例。
特别地,定量气道信息可以包括以下各项中至少之一的多个值:
·气道段的壁厚度,
·气道段的内腔半径,
·气道段的外壁半径,以及
·气道段的壁百分比。
特别地,可以针对气道段的相对于气道段的中心线段的多个旋转角度确定多个值。
发明人认识到,可以利用第一经训练的函数来确定这些特征。此外,他们认识到,以此方式,可以提供用于确定至少一个上述特征的标准化方法。他们认识到,这提高了患者或不同患者之间的检查的可比性。
根据本发明的另一方面,该方法还包括基于定量气道信息确定COPD状态的分类值的步骤。
特别地,分类值可以与特定患者的COPD的类型和/或严重性相关。特别地,分类值涉及患者与COPD的至少两种类别中的至少一种类别的关联(同义词是“COPD的状态”)。这些类别可以是例如“COPD”和“无COPD”,或“强COPD”,“中间COPD”和“无COPD”,其中,强和中间与COPD的状态有关。可替选地,类别可以涉及COPD的临床定义的状态。
分类值可以基于气道段的壁厚度值,相应地第一多个壁厚度值和/或第二多个壁厚度值和/或第三多个壁厚度值。分类可以基于壁厚度的阈值,相应地多个气道段的壁厚度的平均值或中值。这样的阈值可以由表格提供。阈值可以取决于气道段的直径。特别地,气道段的直径越小,壁厚度的阈值越小。
发明人认识到,提供分类值有助于医生例如放射科医生或肺科医生诊断早期状态下的COPD。此外,分类值可以帮助医生为患者提供适合的疗法。另外,分类值为医生提供了对COPD的状态的快速概览,而无需深入细节。医生可以决定是否需要进一步检查。发明人还认识到,与先前的手动或非学习技术例如FWHM相比,与第一经训练的函数的输出数据相关的分类提供了关于患者的COPD状态的更快和更可靠的信息。
根据本发明的另一方面,从第二医学图像数据中提取第一医学图像数据,其中,第一医学图像数据是二维的,并且第二医学图像数据是三维的。
特别地,如果第一医学图像数据包括二维的第一医学图像,则该第一医学图像数据是二维的,而如果第二医学图像数据包括三维的医学图像,则该第二医学图像数据是三维的。特别地,第二医学图像数据包括至少描绘气道段、患者的整个肺和/或患者的整个肺的一部分的第二医学图像。特别地,肺包括气道。特别地,第二医学图像数据包括多个体素。每个体素包括与由该体素表示的组织的特性有关的强度值。
特别地,第二医学图像可以通过医学成像装置获取,特别是通过X射线装置(例如,计算机断层扫描装置或C型臂X射线装置)、磁共振断层扫描装置、正电子发射断层扫描装置、单光子发射计算机断层扫描装置等获取。特别地,第二医学图像可以通过其组合来获取。
特别地,第二医学图像可以通过基于X射线的医学成像检查(例如,计算机断层扫描检查和/或使用C形臂的检查)来获取。
特别地,第一医学图像可以例如是第二医学图像的切片。可替选地,第一医学图像可以是第二医学图像的部分——相应的区段——的二维投影。第二医学图像的部分——相应的区段——可以例如是肺的被分割部分或在计算机断层扫描重建期间获取的多个切片。
发明人认识到,将二维医学图像数据提供给第一经训练的函数是有利的。他们认识到,与提供三维医学数据相比,由于输入变量和输出变量的数目较小,提供二维医学图像数据减少了计算时间。此外,由于基于单个三维成像训练数据集,多个二维成像训练数据集可以被确定并用作用于训练第一经训练的函数的输入训练数据,因此更大量的二维训练数据是可用的。
根据本发明的另一方面,该方法还包括:接收第二医学图像数据;对第二医学图像数据应用第二经训练的函数,其中,生成了气道概率图;以及将骨架化算法应用于气道概率图,确定气道中心线树,其中,基于气道中心线树和第二医学图像数据确定第一医学图像数据。
特别地,第二医学图像数据包括描绘肺和/或气管的至少一部分的第二医学图像。特别地,第二医学图像是三维图像。肺包括气管以外的气道。第二医学图像至少包括气道段。
气道概率图基于第二医学图像数据,该第二医学图像数据提供关于气道在第二医学图像数据内的出现的信息。特别地,气道概率图提供第二医学图像数据内的每个体素的概率值。概率值对应于各个体素与通过第二医学图像所成像的气道的一部分相关的概率。特别地,气道概率图可以被理解为三维图像,其中,关于维度中每一个维度的就体素而言的气道概率图的大小等于关于所述维度的第二医学图像的大小。
特别地,气道可以在概率图中被描绘为在气管处开始并在肺泡处结束。
特别地,气道概率图可以是第二医学图像中的气道的三维表示。特别地,气道概率图可以包括三维图像内被连接的一维结构。换句话说,关于第二医学图像中的描绘气道的体素的维度可以等于气道概率图中的描绘第一医学图像中的气道的出现的体素的维度。
骨架化算法用于确定第二医学图像内的气道——相应地气道段——的中心线树。可以通过对气道概率图应用骨架化算法来计算气道中心线树。特别地,骨架化算法可以被配置成确保气道中心线树的弯曲平滑度和/或连通性,并且可以处理背景噪声。弯曲平滑度意指气道中心线树遵循气道的有机结构。连通性意指气道中心线树在第二医学图像中描绘的气道内不包含间隙。气道的连通性通常在人中进行以能够使空气流动。处理背景噪声意指骨架化算法识别出噪声与气道不对应。具有这些特性的骨架化算法可以例如基于Rivulet算法的改编。Siqi等人(“Automated 3-D Neuron Tracing With Precise BranchErasing and Confidence Controlled Back Tracking”,IEEE Transactions on MedicalImaging,Vol.37,No.11:2441-2452,2018)描述了这样的改编。
气道中心线树涉及气道或至少气道段的路线。气道包括至少一个气道段。气道中心线树至少包括气道段的中心线段。中心线位于气道的中心。换句话说,气道中心线跟随管状气道的中心。特别地,气道中心线树可以是第二医学图像内的气道的三维表示。
特别地,第一医学图像的像素强度基于第二医学图像的体素强度。特别地,第一医学图像包括第二医学图像的体素强度的至少一部分以作为像素强度。有利地,第一医学图像包括第二医学图像的一部分和/或切片。可以相对于气道中心线树确定第二医学图像数据内的一部分和/或切片的位置。该部分和/或切片至少包括气道段的描绘。
发明人认识到,计算气道中心线树提供了关于气道的路线的信息。他们认识到,这使得能够相对于气道的路线——相应地气道段的路线——确定第一医学图像数据。特别地,他们认识到,可以利用气道中心线树的知识从第二医学图像中自动确定出第一医学图像。特别地,他们认识到,自动确定第一医学图像与应用第一经训练的函数相结合允许完全自动提供定量气道信息。
发明人认识到,因为气道与周围组织的对比度非常弱,所以难以执行基于第二医学图像的体素的强度值的阈值的气道的标准分割。他们认识到,第二经训练的函数提供了概率图,该概率图考虑了确定第二医学图像内的气道的不确定性。
根据本发明的另一方面,气道段集中在第一医学图像中。
特别地,与气道段有关的气道中心线段在第一医学图像的中心与第一医学图像的平面相交。
发明人认识到,如果气道段集中在第一医学图像内,则简化并加快了对第一医学图像的进一步分析。
根据本发明的另一方面,第一医学图像数据是第二医学图像数据的切片,其中,该切片与气道中心线树的对应于至少一个气道段的一部分正交。
特别地,切片包括气道段的截面。气道段可以是第二医学图像数据中描绘的气道的分段。第二医学图像数据的分段可以沿着在切片中成像的气道段的中心线段延伸。气道段的中心线段是气道中心线树的一部分。气道段沿中心线段投影到切片上。换句话说,中心线段被布置成在第一医学图像的平面上正交。特别地,气道段可以优选地沿着气道中心线段延伸大约7mm。可替选地,投影到切片上的气道段可以从气道段的一个分支点延伸到下一个分支点。特别地,在这种背景下,被投影的气道段的气道中心线段应该是非弯曲的。如果气道中心线段在气道段内弯曲,则应将该气道中心线段进一步细分为子段,在这些子段中可以忽略气道中心线子段的曲率。然后可以将这些子段投影到切片上。像这样,可以避免由于投影引起的变形。
特别地,切片与气道中心线树的对应于至少一个气道段的一部分正交。换句话说,与至少一个气道段对应的气道中心线树的一部分、气道中心线段被布置成与第一医学图像的图像平面正交。第一医学图像的图像平面——相应地投影平面——是第一医学图像的切片的平面。由于中心线段在第一医学图像的平面上的正交性,气道段的截面优选地是圆形形状。
发明人认识到,第一医学图像数据有利地包括气道段的截面。他们认识到,截面有利地垂直于气道段的路线,相应地中心线段。这样,引起掺杂的壁厚度值的变形可以被最小化。特别地,可以通过提供垂直于气道段的气道中心线段的截面来加快对气道段的几何特性的评估。
此外,发明人认识到,像这样,可以提供全自动COPD相关的检查。可以基于三维医学图像数据自动地确定气道中心线树。基于气道中心线树,可以自动确定至少一个二维的第一医学图像数据。该二维的第一医学图像数据可以用作用于自动确定气道壁的掩模的输入数据。该掩模可以用于自动地确定至少一个定量气道信息以及特别地分类值。因此,除了获取第二医学图像数据之外,不需要用户输入。
在第二方面,本发明涉及用于提供第一经训练的函数的计算机实现的方法。该方法包括:接收第一气道段的第一医学图像数据;接收第一注释的数据,其中,第一注释的数据基于第一医学图像数据,其中,第一注释的数据是气道段的壁的掩模;基于第一医学图像数据和第一注释的数据训练第一经训练的函数;以及提供第一经训练的函数。
特别地,通过对第一医学图像数据进行注释来确定第一注释的数据。
可以通过提供多个第一医学图像数据作为输入训练数据以及提供相应的第一注释的数据作为输出训练数据来对第一经训练的函数进行训练。
特别地,可以由技术人员诸如放射科医生来进行注释。特别地,技术人员可以在第一医学图像内对气道段的壁进行手动注释。特别地,技术人员基于第一医学图像数据提供气道段的壁的掩模。
特别地,该手动注释的数据用作用于对第一经训练的函数进行训练的训练输出数据。
发明人认识到,手动注释的数据是用于对数据进行注释的最精确的方法。
根据本发明的另一方面,用于提供第一经训练的函数的方法还包括:接收第二气道段的第一预训练医学图像数据;基于第一确定性算法确定气道段的壁的预训练掩模;基于第一预训练医学图像数据和预训练掩模对函数进行预训练。
特别地,第一预训练医学图像数据是预训练输入训练数据,以及预训练掩模是预训练输出训练数据。
特别地,在使用手动第一注释的数据作为输出训练数据进行训练之前,执行与使用预训练输入训练数据和预训练输出训练数据进行的训练有关的训练。
特别地,第一确定性算法适合于对第一预训练医学图像数据进行自动注释。特别地,确定性算法可以应用于确定第一预训练医学图像数据的气道段的壁的预训练掩模。特别地,第一预训练医学图像数据可以是第一医学图像数据。换句话说,第一气道段可以是第二气道段。
发明人认识到,与通过手动注释相比,通过利用第一确定性算法对第一预训练医学图像数据进行注释,可以提供更大量的训练数据以用于对经训练的函数进行训练。他们认识到,自动注释的数据比优选地手动注释的第一注释的数据更容易出错。他们认识到,可以在第一训练步骤中使用自动注释的数据对第一经训练的函数进行预训练。在第二训练步骤中,第一注释的数据可以用于对经训练的函数进行微调。发明人认识到以下优点:通过将训练过程分为两个步骤,可以在无需大量的手动注释的数据的情况下增加训练数据的量。
根据本发明的另一方面,第一确定性算法基于半峰全宽分割。
特别地,确定性算法基于像素值或体素值——相应地第一预训练医学图像数据的强度值——来确定预训练掩模。确定性算法确定像素值或体素值跨气道段的壁和周围组织的变化。近似垂直于气道段的壁并垂直于与气道段对应的中心线段的像素值或体素值的线图——相应地射线——包括极值,特别是最大值或最小值。根据“半峰全宽”,可以确定相对于平滑曲线上的极值的两个点。这些点中的一个点位于极值的左侧,而另一个点位于极值的右侧。在两点之间的部分中的多个像素或体素可以被分割为气道段的壁。该多个像素或体素可以被称为分段的多个像素或体素。该方法的详细描述可以例如在Reinhardt等人(Accurate measurement of intrathoracic airways,IEEE transactions on medicalimaging,16(6),pp.820-827,1997)中找到。特别地,被分割的多个像素或体素可以被注释为“1”或“真”。可替选地,被分割的多个像素或体素可以被注释为“0”或“假”。可以针对多个线图重复该过程,以对气道段的整个壁进行分割。有利地,线图以射线状的方式覆盖气道段的整个壁。如果被分割的多个像素或体素用“1”或“真”来注释,则不是被分割的多个像素或体素的一部分的像素或体素可以用“0”或“假”来注释。可替选地,如果被分割的多个像素或体素用“0”或“假”来注释,则不是被分割的多个像素或体素的一部分的像素或体素可以用“1”或“真”来注释。确定性算法的结果是气道段的壁的预训练掩模。
确定性算法基于强度值。确定性算法不能在导致相似强度值的第一预训练医学图像中的对象之间进行区分。因此,例如,如果与气道段的壁直接接触的血管和壁本身两者显示出相似的强度值,则确定性算法不能在与气道段的壁直接接触的血管和壁本身之间进行区分。
发明人认识到,可以通过已知的“半峰全宽”方法来确定预训练掩模。他们认识到,由于这种基于“半峰全宽”的简单的、易于出错的分割方法而导致的第一经训练的函数的不确定性可以通过使用手动注释的数据进行后续的或微调的训练来纠正。
在第三方面,本发明涉及用于提供定量气道信息的第一提供系统。第一提供系统包括接口和计算单元,其中,接口和/或计算单元被配置成用于接收和/或确定气道段的第一医学图像数据,其中,计算单元还被配置成用于对第一医学图像数据应用第一经训练的函数,其中,生成了输出数据,其中,计算单元还被配置成用于基于输出数据确定气道段的至少一个定量气道信息,其中,接口还被配置成用于提供至少一个定量气道信息。
特别地,第一提供系统可以被配置成执行用于提供至少一个气道信息的前述方法。第一提供系统被配置成通过第一接口和第二接口以及被配置成执行相应的方法步骤的计算单元来执行该方法及其各方面。特别地,接口可以包括一个或更多个子接口。特别地,计算单元可以包括一个或更多个计算子单元。
在另一方面,本发明涉及用于提供第一经训练的函数的训练提供系统。训练提供系统包括训练接口和训练计算单元。训练接口被配置成用于接收第一气道段的第一医学图像数据。训练接口还被配置成用于接收第一注释的数据,其中,第一注释的数据基于第一医学图像数据,其中,第一注释的数据是气道段的壁的掩模。训练计算单元被配置成用于基于第一医学图像数据和第一注释的数据来训练第一经训练的函数。训练接口还被配置成用于提供第一经训练的函数。
在第四方面,本发明涉及具有计算机程序和计算机可读介质的计算机程序产品。主要基于软件的实现具有以下优点:即使先前使用的第一提供系统也可以通过软件更新而被容易地升级,以便以所述方式工作。除了计算机程序之外,这样的计算机程序产品可以可选地包括另外的组件诸如文档和/或另外的部件,以及用于使用软件的硬件部件诸如例如硬件密钥(加密狗等)。
在另一方面,本发明涉及计算机程序产品,该计算机程序产品包括能够直接加载到第一提供系统的存储单元中的程序单元,当由第一提供系统执行程序单元时,该计算机程序产品促使第一提供系统执行根据所要求保护的方法及其各方面的方法。
在第五方面,本发明涉及计算机可读存储介质,该计算机可读存储介质包括能够由第一提供系统读取和执行的程序单元,以当由第一提供系统执行程序单元时,执行所要求保护的方法及其各方面。
在另一方面,本发明涉及计算机可读存储介质,该计算机可读存储介质包括所要求保护的第一经训练的函数。
以下项也是本公开内容的一部分:
项1:一种用于提供第一经训练的函数的第一训练系统,该系统包括第一训练接口和第一训练计算单元,
-其中,第一训练接口和/或第一训练计算单元被配置成用于接收和/或确定气道段的第一医学图像数据,
-其中,第一训练接口还被配置成用于接收输出数据,其中,气道段的第一医学图像数据与输出数据有关,
-其中,第一训练计算单元被配置成用于基于气道段的第一医学图像数据和输出数据来训练第一经训练的函数,
-其中,第一训练接口还被配置成用于提供第一经训练的函数。
特别地,第一训练接口可以包括一个或更多个第一训练接口。特别地,第一训练计算单元可以包括一个或更多个第一训练计算单元。
项2:一种计算机程序产品,其包括能够直接加载到第一训练系统的存储器中的计算机程序,该计算机程序产品包括程序单元,当程序单元由第一训练系统执行时,该程序单元用于执行前述方法及其各方面的步骤。
项3:一种计算机可读存储介质,其包括能够由第一训练系统读取和执行的程序单元,以当程序单元由第一训练系统执行时,执行前述方法及其各方面的方法。
项4:一种用于提供第二经训练的函数的计算机实现的方法,包括:
-接收第一气道的至少一部分的第二医学图像数据,
-接收第二注释的数据,其中,第二注释的数据基于第二医学图像数据,其中,第二注释的数据是气道概率图,
-基于第二医学图像数据和第二注释的数据来训练第二经训练的函数,以及
-提供第二经训练的函数。
特别地,第二医学图像数据可以是第一气道——相应地至少气道段——的至少一部分的三维医学图像。特别地,可以通过对第二医学图像数据进行注释来确定第二注释的数据。特别地,第二医学图像数据可以由技术人员手动注释。
发明人认识到,对第二医学图像数据进行手动注释提供高质量且几乎没有错误的注释的数据。
项5:根据项4所述的方法,还包括:
-接收第二气道的至少一部分的第二预训练医学图像数据,
-基于第二确定性算法确定预训练气道概率图,其中,该第二确定性算法基于基于形态学的分割,
-基于第二预训练医学图像数据和预训练气道概率图对函数进行预训练。
特别地,第二预训练医学图像数据可以是第二医学图像数据。换句话说,第一气道的至少一部分可以是第二气道的至少一部分。特别地,用于确定预训练气道概率图的基于形态学的分割是技术人员所已知的。可以用作第二确定性算法的示例性算法例如通过以下项进行描述:Irving等人(3D segmentation of the airway tree using a morphologybased method,第二届国际肺图像分析研讨会论文集,第297至307页,2009年),Feuerstein等人(Adaptive Branch Tracing and Image Sharpening for Airway Tree Extractionin 3-D Chest CT,第二届国际肺图像分析研讨会论文集,第273至284页,2009年),Lo等人(Multiscale Vessel-guided Airway Tree Segmentation,第二届国际肺图像分析研讨会论文集,第323至332页,2009年),以及Bauer等人(Airway Tree Reconstruction Based onTube Detection,第二届国际肺图像分析研讨会论文集,第203至213页,2009年)。
特别地,可以在使用手动第二注释的数据对第二经训练的函数进行训练之前应用第二预训练。
发明人认识到,即使预训练气道概率图不如手动第二注释的数据那样精确(尤其是在气道树的较小部分中),也可以将该预训练气道概率图用于对第二经训练的函数进行预训练。他们认识到,可以通过使用手动第二注释的数据的第二训练步骤对经训练的函数进行微调。这样,大量的预训练气道概率图可以用于对第二经训练的函数进行预训练。他们认识到,像这样,可以使用少量的手动第二注释的数据来对第二经训练的函数进行训练,相应地微调。
项6:一种第二提供系统,其包括第二接口和第二计算单元,
-其中,第二接口被配置成用于接收第一肺的第二医学图像数据,
-其中,第二接口还被配置成用于提供第一肺的气道概率图,
-其中,第二计算单元被配置成对第一肺的第二医学图像数据应用第二经训练的函数,其中,生成了第一肺的气道概率图。
项7:一种第二计算机程序产品,其包括能够直接加载到第二提供系统的存储器中的计算机程序,该计算机程序产品包括程序单元,当程序单元由第二提供系统执行时,该程序单元用于执行上述方法之一及其各方面的步骤。
项8:一种第二计算机可读存储介质,其包括能够由第二提供系统读取和执行的程序单元,以当程序单元由提供系统执行时,执行前述方法之一及其各方面。
根据以下结合附图考虑的详细描述,本发明的其他目的和特征将变得明显。然而,应当理解的是,附图仅是出于说明的目的而设计的,而不是作为对本发明的限制的定义。
附图说明
图1示出了用于提供定量气道信息的方法的第一实施方式的示意性流程图,
图2示出了用于提供定量气道信息的方法的第二实施方式的示意性流程图,
图3示出了用于提供定量气道信息的方法的第三实施方式的示意性流程图,
图4示出了用于提供定量气道信息的方法的第四实施方式的示意性流程图,
图5示出了根据依照图4的第四实施方式的数据的示意性流程图,
图6示出了根据图5的数据的图解流程图,
图7示出了用于提供第一经训练的函数的方法的实施方式的示意性流程图,
图8示出了提供系统,以及
图9示出了训练系统。
具体实施方式
图1示出了用于提供定量气道信息INFO1的方法的第一实施方式的示意性流程图。该方法包括以下步骤:接收REC-1气道段AS1、AS2的第一医学图像数据IMG1;应用APP-1第一经训练的函数用于生成输出数据;基于该输出数据确定DET-2至少一个定量气道信息INFO1;以及提供PROV-1至少一个定量气道信息INFO1。
在该实施方式中,第一医学图像数据IMG1是气道段AS1、AS2的截面的投影的至少一个二维图像,其在接收REC-1第一医学图像数据IMG1的步骤中由第一提供系统接收。有利地,气道段AS1、AS2沿着气道段AS1、AS2的中心线段的投影是到气道段AS1、AS2的截面上的投影。在优选实施方式中,气道段AS1、AS2沿着中心线段包括大约7mm的长度。特别地,通过接口SYS.IF执行第一医学图像IMG1的接收REC-1。
在可替选实施方式中,在第一医学图像IMG1中描绘的气道段AS1、AS2包括肺的气道的在两个分支点之间延伸的一部分。
在优选实施方式中,接收多个第一医学图像IMG1。有利地,多个第一医学图像IMG1中的每个第一医学图像IMG1描绘了不同的气道段AS1、AS2。多个气道段AS1、AS2可以是气道的一部分,相应地患者的肺的至少一部分。有利地,多个气道段AS1、AS2形成患者的整个肺。
在可替选实施方式中,第一医学图像数据IMG1是肺的气道的至少一部分的至少三维医学图像。
在应用APP-1第一经训练的函数的步骤中,基于第一医学图像数据IMG1生成输出数据。在该实施方式中,输出数据包括第一医学图像IMG1的掩模MASK1。在在先前的步骤中接收到多个第一医学图像IMG1的情况下,通过应用APP-1第一经训练的函数生成多个掩模MASK1。有利地,生成多个医学图像IMG1中的每个第一医学图像IMG1的掩模MASK1。特别地,掩模MASK1具有与对应的第一医学图像IMG1的尺寸相同的尺寸。特别地,掩模MASK1包括与第一医学图像IMG1相同数目的像素、相应地体素。特别地,关于每个维度中的像素或体素的数目的维数在掩模MASK1和第一医学图像IMG1中对应。在该优选实施方式中,掩模MASK1是二进制掩模。该二进制掩模包括作为描绘第一医学图像IMG1的气道段AS1、AS2的壁的一部分的像素值或体素值的“1”或“真”以及作为描绘其他地方的像素值或体素值的“0”或“假”。因此,掩模MASK1适合于在第一医学图像IMG1中对气道段AS1、AS2的壁进行分段。在可替选实施方式中,如果第一医学图像数据IMG1是三维的,则掩模MASK1也是三维的。特别地,由计算单元SYS.CU执行第一经训练的函数的应用APP-1。
在该实施方式中,第一经训练的函数包括人工神经网络,特别是密集单元网络。在两个步骤中对第一经训练的函数进行训练。在第一预训练步骤中,提供一组第一预训练医学图像作为预训练输入训练数据以及一组相应的预训练掩模作为预训练输出训练数据。可以通过对第一预训练医学图像应用第一确定性算法来确定预训练掩模。第一确定性算法可以通过基于第一预训练医学图像的像素值应用半峰全宽算法来包括气道壁的分割。在该实施方式中,基于对第一预训练医学训练图像应用第一经训练的函数的结果与相应的预训练掩模的比较(例如,基于被错误分类的像素或体素的数目),通过反向传播算法来执行训练。在第二步骤中,对第一经训练的函数进行微调。出于该目的,提供一组第一医学图像作为预训练输入训练数据以及相应的一组第一注释的数据作为预训练输出训练数据。一组第一注释的数据是一组掩模。通过对相应的第一医学图像的气道段的壁的手动注释来确定掩模。使用这些数据继续上述训练。由于手动注释更加精确,所以对已经使用由第一确定性算法确定的预训练掩模进行训练的第一经训练的函数进行了微调。然而,使用第一确定性算法对预训练掩模的确定允许使用大量的预训练掩模进行预训练。由于手动注释是耗时的,所以如此数量的掩模难以通过手动注释来确定。
在确定DET-2的步骤中,基于前一步骤的输出数据确定至少一个定量气道信息INFO1。在此,定量气道信息INFO1包括气道壁的壁厚度的值。在可替选实施方式中,至少一个定量气道信息INFO1还包括气道段AS1、AS2的几何信息,例如气道段AS1、AS2的内腔半径、气道段AS1、AS2的外壁半径以及气道段AS1、AS2的壁百分比。特别地,确定DET-2至少一个定量气道信息INFO1由计算单元SYS.CU执行。
特别地,基于气道段AS1、AS2的掩模MASK1确定气道段AS1、AS2的壁厚度。特别地,气道段AS1、AS2的掩模MASK1包括气道段AS1、AS2的壁的截面的投影。针对相对于气道段AS1、AS2的中心线段的多个旋转角度确定壁厚度。中心线段位于截面的中心处并且垂直于图像平面,相应地投影平面PJ1、PJ2。投影平面PJ1、PJ2是第一医学图像IMG1的平面。特别地,壁厚度的值可以是关于多个旋转角度的多个壁厚度值。可替选地,壁厚度的值是与多个旋转角度相关的多个壁厚度值的中值或均值。特别地,在多个掩模MASK1的情况下,可以针对掩模MASK1中的每个掩模确定壁厚度值。概述的壁厚度值可以被确定为与多个掩模MASK1对应的或至少与多个掩模MASK1中的一部分掩模对应的壁厚度值的中值或平均值。可以由定量气道信息INFO1包含该概述的壁厚度值。
对于二进制掩模MASK1,相对于中心线段的针对给定旋转角度的壁厚度可以通过沿着掩模的相应线图积分来确定。掩模的线图垂直于中心线段。有利地,线图从截面的中心开始并且朝向壁径向扩展。
在提供PROV-1至少一个定量气道信息INFO1的步骤中,提供信息INFO1。特别地,至少一个定量气道信息INFO1可以被存储、发送或显示给用户。例如,可以以二维描绘或三维描绘示出气道段AS1、AS2。气道段AS1、AS2的壁可以用颜色编码来描绘,其中,颜色对壁的相应旋转角度的壁厚度进行编码。可替选地或另外地,壁厚度的中值或平均值可以经由接口提供给用户。有利地,多个第一医学图像IMG1的壁厚度可以以颜色编码的三维描绘来描绘。特别地,提供PROV-1至少一个定量气道信息INFO1由接口SYS.IF执行。
图2示出了用于提供定量气道信息INFO1的方法的第二实施方式的示意性流程图。以与根据图1所述的方式相同的方式执行以下步骤:接收REC-1第一医学图像IMG1;应用APP-1第一经训练的函数;确定DET-2至少一个定量气道信息INFO1;以及提供PROV-1至少一个定量气道信息INFO1。
与图1中描述的实施方式相反,第一医学图像数据IMG1是基于第二医学图像数据IMG2的二维医学图像。在确定DET-1第一医学图像数据IMG1的步骤中,基于第二医学图像数据IMG2确定第一医学图像数据IMG1。在图6中给出了关于基于第二医学图像数据IMG2确定第一医学图像数据IMG1的另外的细节。在该实施方式中,第二医学图像数据IMG2是三维医学图像。三维医学图像随后被称为第二医学图像IMG2。特别地,第一医学图像IMG1是第二医学图像IMG2的二维切片。第一医学图像IMG1描绘了气道段AS1、AS2的投影截面。在第二医学图像IMG2中三维地描绘了气道段AS1、AS2。在该实施方式中,使用计算机断层扫描装置或C型臂装置来获取第二医学图像IMG2。可替选地,可以通过磁共振装置、正电子发射断层扫描装置、单光子发射计算机断层扫描装置或其组合来获取第二医学图像IMG2。特别地,由计算单元SYS.CU执行确定DET-1第一医学图像数据IMG1。
图3示出了用于提供定量气道信息INFO1的方法的第三实施方式的示意性流程图。以与根据图1所述的方式相同的方式执行以下步骤:接收REC-1第一医学图像IMG1;应用APP-1第一经训练的函数;确定DET-2至少一个定量气道信息INFO1;以及提供PROV-1至少一个定量气道信息INFO1。在可替选实施方式中,该图中所描绘的方法可以另外包括如根据图2所述的基于第二医学图像数据IMG2确定DET-1第一医学图像数据IMG1的步骤。
确定DET-3COPD状态的分类值CLASS1的步骤基于至少一个定量气道信息INFO1。特别地,关于气道段的(中间或平均)壁厚度的信息可以用于确定COPD相关的分类值CLASS1。分类值CLASS1可以例如通过阈值化、通过使用与至少一个定量气道信息INFO1对应的表格或者通过机器学习来确定。特别地,基于至少一个定量气道信息INFO1,可以执行二进制分类。类别的分类值CLASS1之一可以是“非COPD”,另一个类别可以是“COPD”。这些分类值CLASS1可以提供给医生。医生可以将该信息用作用于决定关于进一步检查、诊断或治疗的基础。可替选地,可以确定基于至少一个定量气道信息INFO1的具有两种以上类别的分类。例如,可以确定基于COPD的临床分类状态的分类。该信息也可以提供给医生。特别地,由计算单元SYS.CU执行确定DET-3分类值CLASS1。
图4示出了用于提供定量气道信息INFO1的方法的第四实施方式的示意性流程图。以与根据图1所述的方式相同的方式执行以下步骤:接收REC-1第一医学图像IMG1;应用APP-1第一经训练的函数;确定DET-2至少一个定量气道信息INFO1;以及提供PROV-1至少一个定量气道信息INFO1。在可替选实施方式中,在该图中所描绘的方法可以另外包括如根据图2所述的确定DET-3分类值CLASS1的步骤。
与图1中描述的实施方式相反,在该实施方式中,第一医学图像数据IMG1是二维医学图像。
确定DET-1第一医学图像数据IMG1的步骤包括以下子步骤:接收REC-2第二医学图像数据IMG2;对第二医学图像数据IMG2应用APP-2第二经训练的函数以确定气道概率图PROB1;对气道概率图PROB1应用APP-3骨架化算法用于确定气道中心线树CTREE1;以及基于第二医学图像数据IMG2和气道中心线树CTREE1确定DET-4第一医学图像数据IMG1。
在接收REC-2的步骤中,由系统SYS接收第二医学图像数据IMG2,该第二医学图像数据IMG2是肺的至少一部分——相应地气道的一部分——的三维图像。三维医学图像随后被称为第二医学图像IMG2。在第二医学图像IMG2中描绘的气道的一部分至少包括气道段AS1、AS2。特别地,通过接口SYS.IF执行接收REC-2第二医学图像IMG2。
在应用APP-2第二经训练的函数的步骤中,基于第二医学图像IMG2生成第二医学图像IMG2中描绘的气道的一部分的气道概率图PROB1。气道概率图PROB1提供第二医学图像IMG2的每个体素的概率值,其中,气道概率图PROB1的体素的概率值与所述体素在对应的医学图像IMG2中描绘气道的一部分的概率相关。特别地,应用APP-2第二经训练的函数由计算单元SYS.CU执行。
在该实施方式中,第二经训练的函数包括人工神经网络,特别是三维卷积神经网络。这样的网络例如由Schlemper等人(Attention-Gated Networks for ImprovingUltrasound Scan Plane Detection,2018年第一届深度学习医学成像(MIDL)会议,arXiv:1804:05338v1,2018)公布。第二经训练的函数在两个步骤中进行训练。在第一步骤中,提供一组第二预训练医学图像作为预训练输入训练数据以及相应的一组预训练气道概率图作为预训练输出训练数据。可以通过对预训练第二医学图像数据应用第二确定性算法来确定预训练气道概率图。可以用作第二确定性算法的示例性算法例如通过以下项进行描述:Irving等人(3D segmentation of the airway tree using a morphology basedmethod,第二届国际肺图像分析研讨会论文集,第297至307页,2009年),Feuerstein等人(Adaptive Branch Tracing and Image Sharpening for Airway Tree Extraction in3-D Chest CT,第二届国际肺图像分析研讨会论文集,第273至284页,2009年),Lo等人(Multiscale Vessel-guided Airway Tree Segmentation,第二届国际肺图像分析研讨会论文集,第323至332页,2009年),以及Bauer等人(Airway Tree Reconstruction Based onTube Detection,第二届国际肺图像分析研讨会论文集,第203至213页,2009年)。在该实施方式中,基于对第二预训练医学图像应用第二经训练的函数的结果与相应的预训练气道概率图的比较(例如,基于被错误分类的像素或体素的数目),通过反向传播算法来执行预训练训练。在第二步骤中,执行对第二经训练的函数的微调。为此,提供了一组微调的第二医学图像作为微调的输入训练数据,以及相应的一组第二注释的数据作为微调的输出训练数据。第二注释的数据包括手动注释的气道概率图的集合。通过对微调的第二医学图像进行手动注释来确定手动注释的气道概率图。利用该数据,继续进行上述训练。
在应用APP-3骨架化算法的步骤中,确定第二医学图像IMG2中描绘的气道的中心线树CTREE1。对气道概率图PROB1应用骨架化算法。气道中心线树CTREE1有利地提供关于在第二医学图像IMG2中描绘的气道或气道的至少一部分的路线的信息。骨架化算法有利地提供被平滑且被连接的气道中心线树。另外地,骨架化算法可以处理背景噪声。特别地,骨架化基于改编的Rivulet算法(Siqi等人,(“Automated 3-D Neuron Tracing With PreciseBranch Erasing and Confidence Controlled Back Tracking”,IEEE Transactions onMedical Imaging,Vol.37,No.11:2441-2452,2018)。特别地,应用APP-3骨架化算法由计算单元SYS.CU执行。
在确定DET-4第一医学图像IMG1的步骤中,基于气道中心线树CTREE1确定第一医学图像IMG1。特别地,第一医学图像IMG1是第二医学图像IMG2的二维切片或切片的至少二维部分。特别地,在第一医学图像IMG1中描绘的气道段AS1、AS2的中心线段垂直于气道段AS1、AS2在第一医学图像IMG1——相应地投影平面PJ1、PJ2——上的投影。换句话说,气道段AS1、AS2沿着气道中心线树的对应部分——中心线段——投影在第一医学图像IMG1上。特别地,气道段AS1、AS2的投影截面在第一医学图像IMG1的中心。特别地,气道段AS1、AS2的中心线段在第一医学图像IMG1的中心。由于中心线段被布置成垂直于第一医学图像IMG1,因此截面应该是圆形形状。特别地,第一医学图像IMG1的确定DET-4由计算单元SYS.CU执行。
图5示出了根据依照图4的第四实施方式的数据的示意性流程图。
第二医学图像IMG2是在计算机断层扫描检查或使用C形臂的检查期间获取的三维医学图像。该第二医学图像IMG2描绘了患者的肺的至少一部分。
基于该第二医学图像IMG2,确定气道概率图PROB1。气道概率图PROB1可以被理解为三维图像,该三维图像关于每个维度具有与第二医学图像IMG2相同的大小(以体素的数目进行测量)。因此,气道概率图PROB1包含与第二医学图像IMG2相同数目的体素。特别地,在第二医学图像IMG2的体素与气道概率图PROB1的体素之间存在一一对应的关系。气道概率图PROB1的体素包括概率值,该概率值描述第二医学图像IMG2的对应体素对应于肺的气道的概率。
基于气道概率图PROB1,可以确定气道中心线树CTREE1。气道中心线树CTREE1也是三维图像。在该图像中,体素值为“1”的体素描述气道中心线。气道中心线以外的所有其他体素值都被设置为“0”。气道中心线树CTREE1也具有与第二医学图像IMG2相同数目的体素和相同的维度。通过对气道概率图PROB1应用先进的骨架化算法来确定气道中心线树CTREE1。先进的骨架化算法可以基于Rivulet算法。除常规的骨架化算法外,先进的骨架化算法还确保弯曲平滑度、连通性并能够处理背景噪声。
气道中心线树CTREE1和第二医学图像IMG2用于确定第一医学图像IMG1。为此,确定气道中心线树CTREE1的气道段。气道段在气道中心线树CTREE1上的两个点之间延伸。气道中心线树CTREE1的相应部分被称为中心线段。为了确定第一医学图像IMG1,第二医学图像IMG2中的与中心线段对应的气道沿着中心线段投影。因此,第一医学图像IMG1是第二医学图像IMG2的与气道段对应的部分沿着中心线段的二维投影。因此,第一医学图像IMG1描绘了气道段的截面。
第一医学图像IMG1用于确定气道段的二维投影的壁的掩模MASK1。
基于该掩模MASK1,确定至少一个定量气道信息INFO1。
定量气道信息INFO1用于确定分类值CLASS1。分类值CLASS1包括关于第二医学图像IMG2中描绘的肺的COPD的状态的信息。可替选地,分类值CLASS1可以仅包括在第二医学图像IMG2中描绘了其肺的患者是否患有COPD的信息或概率。
图6示出了根据图5的数据的图示流程图,更详细地描述了气道段AS1、AS2的确定。图6示出了沿着气道中心线树CTREE1'的负片描绘确定了一些点。基于沿着气道中心线树CTREE1'的这些点来确定多个气道段AS1、AS2。气道段AS1、AS2在两个点之间延伸。在该实施方式中,沿气道中心线树CTREE1'的点彼此之间具有约7mm的距离。可替选地,例如,可以仅存在气道中心线树CTREE1的分支点处的点。对于弯曲的中心线段,这些点应更靠近在一起。两点之间的中心线段可以近似为非弯曲的。与这些近似值的偏差将导致气道段AS1、AS2的投影是模糊的。气道段AS1、AS2在第二医学图像IMG2内的投影平面PJ1、PJ2中沿着气道中心线树CTREE1的对应中心线段投影。由此,相应的气道段AS1、AS2的中心线段位于投影平面PJ1、PJ2的中心。这样,确定了多个第一医学图像IMG1。对于每个第一医学图像IMG1,确定相应气道段AS1、AS2的二维投影的壁的掩模MASK1。在图6中描绘了第一医学图像IMG1和对应的掩模MASK1的叠加IMG1+MASK1。
基于掩模MASK1,确定相应气道段AS1、AS2的第一定量气道信息INFO1。对于气道段AS1、AS2的壁的管状或圆形或椭圆形的投影,可以确定管的中心的种子点。有利地,种子点位于气道段AS1、AS2的相应中心线段上。种子点用作用于确定多个壁厚度值的中心。针对始于种子点并且垂直于中心线段的一些旋转角度确定多个壁厚度值。这些射线在图中被描绘为箭头。特别地,如果掩模是二进制掩模,则可以通过将沿着每个射线的掩模MASK1的像素值求和——相应地积分——来确定与一条射线对应的壁厚度。
图7示出了用于提供第一经训练的函数的方法的实施方式的示意性流程图。
在接收TREC-1的第一步骤中,接收第一气道段AS1、AS2的第一医学图像IMG1。在接收TREC-2的第二步骤中,接收第一注释的数据。第一注释的数据基于第一医学图像IMG1。特别地,第一注释的数据是第一医学图像IMG1中描绘的气道段的气道壁的掩模。特别地,第一医学图像IMG1以及第一注释的数据是图像数据。第一医学图像IMG1和第一注释的数据两者都包含相同数目的像素或体素,其中这两者的大小在每个维度中都彼此对应。特别地,通过训练接口TSYS.IF执行接收TREC-1第一医学图像IMG1和接收TREC-2第一注释的数据。
在确定TDET-1的下一步骤中,通过应用第一经训练的函数来确定第一医学图像IMG1中描绘的气道段AS1、AS2的气道壁的掩模MASK1。特别地,经训练的函数可以包括神经网络。这样的神经网络可以是密集单元网络。密集单元网络的详细描述例如由以下提供:等人,“3D U-Net:Learning Dense Volumetric Segmentation from SparseAnnotation(3D U-Net:从稀疏注释中学习密集的体积分割)”(MICCAI,Springer,第9901卷:424至432页,2016年)。特别地,神经网络可以包括节点和权重。特别地,神经网络包括多个层。每一层包括多个节点。输入层的节点的数目对应于第一医学图像IMG1的像素的数目。输出层的节点的数目对应于掩模MASK1的像素的数目。由于掩模MASK1和第一医学图像包括相同数目的像素,因此在该实施方式中,输入层的节点的数目等于输出层的节点的数目。可替选地,如果像素的数目太大,换言之,如果由于像素的数目而导致的必要的存储器不可用,则可以将第一医学图像IMG1划分为相等大小的部分。对于每个部分,确定局部掩模。掩模MASK1可以由局部掩模组装而成。在该实施方式中,输入层和输出层的节点的数目对应于第一医学图像IMG1的一部分——相应地局部掩模——的像素的数目。特别地,确定TDET-1掩模由训练计算单元TSYS.CU执行。
所示出的实施方式的下一步骤是调节TADJ-1第一经训练的函数。特别地,将确定的掩模MASK1与第一注释的数据进行比较。可以通过应用损失函数执行该比较。这样的损失函数可以例如包括计算MSE(均方误差)。计算MSE包括对掩模MASK1和注释的数据之间的像素方向的平方差求和并取该和的平均值。可替选地,损失函数可以包括计算BCE(二进制交叉熵)。这些和另外可能的损失函数例如在https://pytorch.org/docs/stable/nn.html#loss-functions处进行了描述。根据该比较,神经网络的权重被调节,以便使所确定的掩模和注释的数据之间的差最小化。特别地,可以通过反向传播算法来执行该调节。特别地,调节TADJ-1第一经训练的函数由训练计算单元TSYS.CU执行。
以下步骤可以被重复多次:接收TREC-1第一医学图像IMG1;接收TREC-2第一注释的数据;确定TDET-1第一医学图像IMG1中描绘的气道壁的掩模MASK1;以及调节TADJ-1第一经训练的函数。特别地,在每次重复中,接收另一个第一医学图像IMG1。因此,由于第一注释的数据和确定的掩模MASK1与第一医学图像IMG1相关,因此第一注释的数据和确定的掩模MASK1在重复之间也有所不同。该方法的这种重复执行可以被表示为训练第一经训练的函数。
在对第一经训练的函数进行训练的第一步骤中,第一注释的数据是基于第一多个第一医学图像IMG1的自动注释的数据。该训练序列可以被称为预训练。第一自动注释的数据是易于出错的。然而,第一自动注释的数据可以用于对第一经训练的函数的权重进行预训练。特别地,在预训练中使用的训练数据集的数目比手动训练(参见训练的第二步骤)中的训练数据集的数目高2倍,特别是高5倍、特别是高10倍、特别是高20倍。这使得能够基于该大量的第一注释的数据来对第一经训练的函数进行预训练,这提高了第一经训练的函数的质量。随着训练数据越来越多,这意味着随着更多的具有相应的第一注释的数据的第一医学图像IMG1可用于训练,第一经训练的函数的输出数据也越来越好。
在对第一经训练的函数进行训练的第二步骤中,第一注释的数据是基于第二多个第一医学图像IMG1的第一手动注释的数据。已经使用第一自动注释的数据进行预训练的第一经训练的函数的权重可以以此方式被微调。特别地,第一手动注释的数据比第一自动注释的数据更精确并且更不易于出错。然而,根据上述第一自动注释的数据和手动注释的数据的关系,由于第二多个第一医学图像IMG1的手动注释是耗时的,所以特别地,可用的第一手动注释的数据比第一自动注释的数据少2倍(特别是少5倍、特别是少10倍、特别是少20倍)。然而,可以通过仅使用少量第一手动注释的数据进行训练来调节适当预训练的函数的权重。
所示实施方式的最后一个步骤是提供TPROV-1第一经训练的函数。
特别地,用于提供第一经训练的函数的方法的该实施方式可以被模拟地转移到用于提供第二经训练的函数的方法。仅有的差异是输入数据、注释的数据和输出数据。对于第一经训练的函数,输入数据包括至少一个第一医学图像,注释的数据包括被自动注释或手动注释的至少一个掩模,以及输出数据包括至少一个掩模。对于第二经训练的函数,输入数据包括至少一个第二医学图像,注释的数据包括被自动注释或手动注释的至少一个气道概率图,以及输出数据包括至少一个气道概率图。
图8显示了提供系统SYS,图9示出了训练系统TSYS。所示出的提供系统SYS被配置成执行根据本发明的用于提供至少一个定量气道信息INFO1或用于提供气道中心线树CTREE1的方法。所示的训练系统TSYS被设计成执行根据本发明的用于提供经训练的函数的方法。以下描述适用于根据本发明的第一提供系统和第二提供系统以及第一训练系统和第二训练系统。提供系统SYS包括接口SYS.IF、计算单元SYS.CU和存储单元SYS.MU。训练系统TSYS包括训练接口TSYS.IF、训练计算单元TSYS.CU和训练存储单元TSYS.MU。
特别地,提供系统SYS和/或训练系统TSYS可以是计算机、微控制器或集成电路。可替选地,提供系统SYS和/或训练系统TSYS可以是计算机的真实网络或虚拟网络(真实网络的技术术语是“集群”,虚拟网络的技术术语是“云”)。提供系统SYS和/或训练系统TSYS还可以被设计为在计算机、计算机的真实网络或计算机的虚拟网络上执行的虚拟系统(技术术语为“虚拟化”)。
接口SYS.IF和/或训练接口TSYS.IF可以是硬件接口或软件接口(例如PCI总线、USB或火线)。计算单元SYS.CU和/或训练计算单元TSYS.CU可以具有硬件元件或软件元件,例如微处理器或所谓的FPGA(“现场可编程门阵列”的缩写)。存储单元SYS.MU和/或训练存储单元TSYS.MU可以被实现为非永久性工作存储器(随机存取存储器,简称RAM)或永久性大容量存储装置(硬盘、USB记忆棒、SD卡、固态磁盘)。
特别地,接口SYS.IF和/或训练接口TSYS.IF可以包括多个子接口,所述多个子接口执行相应方法的不同步骤。换句话说,接口SYS.IF和/或训练接口TSYS.IF也可以被理解为多个接口SYS.IF和/或多个训练接口TSYS.IF。特别地,计算单元SYS.CU和/或训练计算单元TSYS.CU可以包括多个子计算单元,所述多个子计算单元执行相应方法的不同步骤。换句话说,计算单元SYS.CU和/或训练计算单元TSYS.CU也可以被理解为多个计算单元SYS.CU和/或多个训练计算单元TSYS.CU。
在没有明确描述的地方,可以在不限制或扩宽所描述的发明的范围的情况下将各个实施方式或其各个方面和特征彼此组合或交换,只要这样的组合或交换是有意义的并且在本发明的意义上。关于本发明的一个实施方式描述的优点在适用的情况下也是本发明的其他实施方式的优点。

Claims (11)

1.一种用于提供定量气道信息(INFO1)的计算机实现的方法,包括:
-确定(DET-1)气道段(AS1,AS2)的第一医学图像数据(IMG1),
-对所述第一医学图像数据(IMG1)应用(APP-1)第一经训练的函数以生成输出数据,
-基于所述输出数据确定(DET-2)所述气道段(AS1,AS2)的定量气道信息(INFO1),
-通过接口提供(PROV-1)所述定量气道信息(INFO1),
其中,所述第一医学图像数据(IMG1)是从第二医学图像数据(IMG2)中提取的,
其中,所述第一医学图像数据(IMG1)是二维的,以及所述第二医学图像数据(IMG2)是三维的,
其中,确定(DET-1)所述第一医学图像数据(IMG1)包括:
-接收(REC-2)所述第二医学图像数据(IMG2),
-对所述第二医学图像数据(IMG2)应用(APP-2)第二经训练的函数以生成气道概率图(PROB1),
-对所述气道概率图(PROB1)应用(APP-3)骨架化算法,确定气道中心线树(CTREE1),
-基于所述气道中心线树(CTREE1)和所述第二医学图像数据(IMG2)确定所述第一医学图像数据(IMG1),
其中,所述气道段(AS1,AS2)是所述第二医学图像数据(IMG2)中描绘的气道的沿着中心线段延伸的分段,其中,所述中心线段是所述气道中心线树(CTREE1)的一部分;
其中,所述第一医学图像数据(IMG1)是所述第二医学图像数据(IMG2)的切片,
其中,所述切片与所述气道中心线树(CTREE1)的对应于所述气道段(AS1,AS2)的部分正交,并且
其中,所述气道段(AS1,AS2)沿着所述中心线段投影到所述切片上。
2.根据权利要求1所述的方法,其中,所述输出数据包括所述气道段(AS1,AS2)的壁的掩模(MASK1)。
3.根据权利要求1或2中的一项所述的方法,其中,所述定量气道信息(INFO1)与所述气道段(AS1,AS2)的壁厚度相关。
4.根据权利要求3所述的方法,其中,所述定量气道信息(INFO1)包括以下各项中至少之一:
·所述气道段(AS1,AS2)的壁厚度,
·所述气道段(AS1,AS2)的内腔半径,
·所述气道段(AS1,AS2)的外壁半径,以及
·所述气道段(AS1,AS2)的壁百分比。
5.根据权利要求4所述的方法,还包括:
-基于所述定量气道信息(INFO1)确定(DET-3)COPD状态的分类值(CLASS1)。
6.根据权利要求1所述的方法,其中,所述第一经训练的函数通过下述方式得到:
-接收(TREC-1)第一气道段的第一医学图像数据,
-接收(TREC-2)第一注释的数据,其中,所述第一注释的数据基于所述第一医学图像数据,其中,所述第一注释的数据是所述气道段的壁的掩模,
-基于所述第一医学图像数据和所述第一注释的数据对所述第一经训练的函数进行训练,
-得到所述第一经训练的函数。
7.根据权利要求6所述的方法,其中,对所述第一经训练的函数进行训练还包括:
-接收第二气道段的第一预训练医学图像数据,
-基于第一确定性算法确定所述气道段的壁的预训练掩模,
-基于所述第一预训练医学图像数据和所述预训练掩模对所述第一经训练的函数进行预训练。
8.根据权利要求7所述的方法,
其中,所述第一确定性算法基于半峰全宽分割。
9.一种用于提供定量气道信息的第一提供系统(SYS),所述第一提供系统(SYS)包括接口(SYS.IF)和计算单元(SYS.CU),
-其中,所述接口(SYS.IF)和/或所述计算单元(SYS.CU)被配置成用于确定(DET-1)气道段的第一医学图像数据,
-其中,所述计算单元(SYS.CU)还被配置成用于对所述第一医学图像数据应用(APP-1)第一经训练的函数以生成输出数据,
-其中,所述计算单元(SYS.CU)还被配置成用于基于所述输出数据确定(DET-2)所述气道段的定量气道信息,
-其中,所述接口(SYS.IF)还被配置成用于提供(PROV-1)所述定量气道信息,
其中,所述第一医学图像数据(IMG1)是从第二医学图像数据(IMG2)中提取的,
其中,所述第一医学图像数据(IMG1)是二维的,以及所述第二医学图像数据(IMG2)是三维的,
其中,确定(DET-1)所述第一医学图像数据(IMG1)包括:
-接收(REC-2)所述第二医学图像数据(IMG2),
-对所述第二医学图像数据(IMG2)应用(APP-2)第二经训练的函数以生成气道概率图(PROB1),
-对所述气道概率图(PROB1)应用(APP-3)骨架化算法,确定气道中心线树(CTREE1),
-基于所述气道中心线树(CTREE1)和所述第二医学图像数据(IMG2)确定所述第一医学图像数据(IMG1),
其中,所述气道段(AS1,AS2)是所述第二医学图像数据(IMG2)中描绘的气道的沿着中心线段延伸的分段,其中,所述中心线段是所述气道中心线树(CTREE1)的一部分;
其中,所述第一医学图像数据(IMG1)是所述第二医学图像数据(IMG2)的切片,
其中,所述切片与所述气道中心线树(CTREE1)的对应于所述气道段(AS1,AS2)的部分正交,并且
其中,所述气道段(AS1,AS2)沿着所述中心线段投影到所述切片上。
10.一种包含指令的计算机产品,所述指令当由计算机执行时使所述计算机执行根据权利要求1至8中的任一项所述的方法。
11.一种包含指令的计算机可读存储介质,所述指令当由计算机执行时使所述计算机执行根据权利要求1至8中的任一项所述的方法。
CN202110217473.7A 2020-02-28 2021-02-26 用于提供气道信息的方法 Active CN113327225B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20160072.3 2020-02-28
EP20160072.3A EP3872755B1 (en) 2020-02-28 2020-02-28 Method for providing airway information

Publications (2)

Publication Number Publication Date
CN113327225A CN113327225A (zh) 2021-08-31
CN113327225B true CN113327225B (zh) 2024-04-09

Family

ID=69742935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110217473.7A Active CN113327225B (zh) 2020-02-28 2021-02-26 用于提供气道信息的方法

Country Status (3)

Country Link
US (1) US20210272287A1 (zh)
EP (1) EP3872755B1 (zh)
CN (1) CN113327225B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11316775B2 (en) * 2016-12-21 2022-04-26 Juniper Networks, Inc. Maintaining coherency in distributed operating systems for network devices
US11316744B2 (en) 2016-12-21 2022-04-26 Juniper Networks, Inc. Organizing execution of distributed operating systems for network devices
CN114203297B (zh) * 2021-12-14 2022-09-16 清华大学 用于医学影像的呼吸道疾病随诊辅助方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10326817A1 (de) * 2003-06-13 2004-12-30 Map Medizin-Technologie Gmbh Verfahren und Anordnung zur Titration physiologischer Messsignale im Zusammenhang mit der Observation eines Patienten hinsichtlich schlafbezogener Atmungsstörungen
DE102008061170A1 (de) * 2008-01-11 2009-07-23 Siemens Aktiengesellschaft Verfahren zur Segmentierung von 3D-Bilddaten bildgebender medizinischer Modalitäten sowie Vorrichtung zur Bildverarbeitung
CN110378923A (zh) * 2019-07-25 2019-10-25 杭州健培科技有限公司 一种智能肺部气管树分割提取和分级的方法与装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773311B2 (en) * 2011-06-29 2017-09-26 The Regents Of The University Of Michigan Tissue phasic classification mapping system and method
KR101578770B1 (ko) * 2013-11-21 2015-12-18 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
EP3422939A4 (en) * 2016-03-04 2020-04-15 4DX Limited IMAGING METHOD AND SYSTEM
EP3633612A4 (en) * 2017-06-30 2020-06-03 Shanghai United Imaging Healthcare Co., Ltd. IMAGE SEGMENTATION METHOD AND SYSTEM
US10258304B1 (en) * 2017-11-29 2019-04-16 Siemens Healthcare Gmbh Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
KR102516154B1 (ko) * 2019-12-31 2023-03-30 주식회사 코어라인소프트 정량화 파라미터를 이용하는 의료 영상 분석 시스템 및 유사 증례 검색 시스템, 및 그 시스템에서 실행되는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10326817A1 (de) * 2003-06-13 2004-12-30 Map Medizin-Technologie Gmbh Verfahren und Anordnung zur Titration physiologischer Messsignale im Zusammenhang mit der Observation eines Patienten hinsichtlich schlafbezogener Atmungsstörungen
DE102008061170A1 (de) * 2008-01-11 2009-07-23 Siemens Aktiengesellschaft Verfahren zur Segmentierung von 3D-Bilddaten bildgebender medizinischer Modalitäten sowie Vorrichtung zur Bildverarbeitung
CN110378923A (zh) * 2019-07-25 2019-10-25 杭州健培科技有限公司 一种智能肺部气管树分割提取和分级的方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jun Tan,et al.Two-dimensional airway analysis using probabilistic neural networks.《Proc. SPIE 7626, Medical Imaging 2010: Biomedical Applications in Molecular, Structural, and Functional Imaging》.2010,第1-9页. *

Also Published As

Publication number Publication date
EP3872755B1 (en) 2023-03-29
CN113327225A (zh) 2021-08-31
US20210272287A1 (en) 2021-09-02
EP3872755A1 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
CN113327225B (zh) 用于提供气道信息的方法
CN109074639B (zh) 医学成像系统中的图像配准系统和方法
Hua et al. Segmentation of pathological and diseased lung tissue in CT images using a graph-search algorithm
Van Rikxoort et al. Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review
Gan et al. Toward accurate tooth segmentation from computed tomography images using a hybrid level set model
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
JP2003225231A (ja) 肺疾患検出のための方法及びシステム
WO2005008591A2 (en) System and method for endoscopic path planning
JP2011212156A (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP7346553B2 (ja) 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定
EP3971830B1 (en) Pneumonia sign segmentation method and apparatus, medium and electronic device
US20100266173A1 (en) Computer-aided detection (cad) of a disease
US20220092786A1 (en) Method and arrangement for automatically localizing organ segments in a three-dimensional image
Nardelli et al. Generative-based airway and vessel morphology quantification on chest CT images
Peng et al. Pulmonary lobe segmentation in CT images based on lung anatomy knowledge
US20070121787A1 (en) System and method for airway detection
US20050002548A1 (en) Automatic detection of growing nodules
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
JP2015029860A (ja) 画像処理装置および医用画像診断装置
Lee et al. Automatic left and right lung separation using free-formed surface fitting on volumetric CT
US11837352B2 (en) Body representations
WO2021213053A1 (zh) 基于软组织表面形变估计组织内部目标运动的系统与方法
Tan et al. Automatic extraction of 3d airway tree from multislice computed tomography images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant