CN113744215B - 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 - Google Patents

三维断层扫描图像中树状管腔结构中心线的提取方法和装置 Download PDF

Info

Publication number
CN113744215B
CN113744215B CN202110975331.7A CN202110975331A CN113744215B CN 113744215 B CN113744215 B CN 113744215B CN 202110975331 A CN202110975331 A CN 202110975331A CN 113744215 B CN113744215 B CN 113744215B
Authority
CN
China
Prior art keywords
image
network
node
training
over
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110975331.7A
Other languages
English (en)
Other versions
CN113744215A (zh
Inventor
冯建江
郭占强
张一帆
杨光明
秦岚
周杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Union Strong Beijing Technology Co ltd
Tsinghua University
Original Assignee
Union Strong Beijing Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Union Strong Beijing Technology Co ltd, Tsinghua University filed Critical Union Strong Beijing Technology Co ltd
Priority to CN202110975331.7A priority Critical patent/CN113744215B/zh
Publication of CN113744215A publication Critical patent/CN113744215A/zh
Application granted granted Critical
Publication of CN113744215B publication Critical patent/CN113744215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种三维断层扫描图像中树状管腔结构中心线的提取方法和装置，涉及图像处理领域，该方法包括获取待处理的三维断层扫描图像，并分别进行过分割预处理和特征提取预处理，将过分割预处理后的图像通过过分割网络得到第一过分割的图像，并对其进行细化以获得第一中心线图像；将特征提取预处理后的图像通过特征提取网络提取图像中每个像素点对应的深度特征；以第一中心线图像上的每个像素点为结点，根据每个结点的空间特征和深度特征构建第一图模型，并将其通过图卷积网络获得初始中心线，并通过最小生成树算法进行优化，输出树状管腔结构中心线的提取结果。通过本发明能够准确地提取中心线，提升了中心线提取的稳定性与鲁棒性。

Description

三维断层扫描图像中树状管腔结构中心线的提取方法和装置
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种三维断层扫描图像中树状管腔结构中心线的提取方法和装置。
背景技术
目前，在医学图像处理技术领域，利用计算机断层扫描技术根据人体的不同组织对于X光的吸收程度不同，可以提供人体内部组织的视觉表达，断层成像能够产生人体组织的二维断层图像，通过一系列二维图像来记录人体组织的三维信息，该成像方式具有速度快、分辨率高等优点，是目前主流的一种医学成像方式。三维断层扫描图像中的树状管腔包括动脉、静脉、气管等，对这些结构进行检查分析是诊断治疗相关疾病的重要辅助手段。以冠状动脉为例，通过血管的中心线可以帮助医生比较清楚地了解血管的连接情况和具体的走势方向，进而简化医生的诊断流程，同时通过中心线可以帮助医生绘制出三维图像，为医生提供感兴趣区域的直观感受，帮助医生更好的判断疾病，在进行实时的机械手术时提供较大的便利，目前在心血管疾病的预防与诊断方面已经得到了大量研究和广泛应用。
三维断层扫描图像对于医生诊断心血管疾病以及肺部疾病起着越来越重要的作用。该图像中包含了各个器官组织重要的生理信息与病理信息。在临床应用上，医生希望能够直接观察到气管或者冠脉的三维树结构，进而判断其空间位置，具体走向等，帮助其更好地诊断疾病。管腔的中心线可以很好地提供这些信息，因而在临床上，从三维断层扫描图像上提取中心线是一项基础的任务。此外中心线可以为后续的器官分割提供重要的信息，在已知气管或者冠脉中心线的基础上对其进行分割，可以很大地提升其分割性能与效率。另外多种基于三维断层扫描图像进行可视化重建的技术已经被用于医疗诊断中，比如曲面重建技术，最大信号投影和多平面重建技术等，这些任务中，中心线的提取都是其重要步骤之一。然而由于一些管腔与背景之间的边界可能是高度模糊的，导致感兴趣的区域与背景之间的特征相似度很高，难以区分，并且无论是在冠脉中还是在气管上，由于存在较多的分支，分支之间可能由于图像质量问题出现粘连的情况，导致管腔的结构很复杂，并且变化较大，对中心线的提取造成较大的困难，所以树状管腔中心线的提取还面临着很大的挑战。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维断层扫描图像中树状管腔结构中心线的提取方法，该方法先获取待处理的三维断层扫描图像，通过树状管腔中心线的提取方法，得到相应的树状管腔结构的中心线预测结果。然后由卷积神经网络完成管腔的过分割，再结合图卷积网络实现最终的预测结果。其中过分割可以尽可能保证管腔的完整性，经过对管腔的细化操作，得到带有噪声的中心线图像，结合卷积神经网络和图网络提取结点的结构特征和图像特征，去除错误的中心线采样点，最后结合最小生成树算法进一步优化中心线。卷积神经网络可以充分利用图像空间信息，图网络又能结合管腔的结构信息，实现了准确的中心线提取，保证了中心线的提取方法的稳定性与鲁棒性。
本发明的第二个目的在于提出一种三维断层扫描图像中树状管腔结构中心线的提取装置。
本发明的第三个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出的方法，包括：
获取待处理的三维断层扫描图像，所述三维断层扫描图像中包括树状管腔结构；
对所述三维断层扫描图像分别进行过分割预处理和特征提取预处理；
将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像；
将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取所述特征提取预处理后的图像中的每个像素点对应的深度特征；
以所述包含噪声的第一中心线图像上的每个像素点为结点，计算每个所述结点的空间特征，并根据每个所述结点的空间特征和深度特征构建第一图模型；
将所述第一图模型输入至预先训练完成的图卷积网络中，通过所述图卷积网络预测每个所述结点是否为中心线上的点，以获得初始中心线；
通过最小生成树算法对所述初始中心线进行优化，输出树状管腔结构中心线的提取结果。
可选地，在本申请的一个实施例中，获取待处理的三维断层扫描图像之前，还包括：获取原始数据集，并对所述原始数据集进行标注，所述原始数据集中的三维断层扫描图像的树状管腔结构与所述待处理的三维断层扫描图像中的树状管腔结构相同；
对标注后的所述原始数据集中的三维断层扫描图像分别进行过分割预处理和特征提取预处理，以生成训练数据集；
构建过分割网络和特征提取网络，并通过所述训练数据集中过分割预处理后的三维断层扫描图像训练所述过分割网络，以及通过所述训练数据集中特征提取预处理后的三维断层扫描图像训练所述特征提取网络；
通过训练完成的过分割网络对标注后的所述原始数据集中的三维断层扫描图像进行分割预测，输出第二过分割的图像，并对所述第二过分割的图像进行细化以获得包含噪声的第二中心线图像；
通过训练完成的特征提取网络提取所述训练数据集中特征提取预处理后的三维断层扫描图像中的每个像素点对应的深度特征；
以所述包含噪声的第二中心线图像上每个像素点为结点，计算所述结点的空间特征，并根据所述结点的空间特征和深度特征构建第二图模型；
构建图卷积网络，并将所述第二图模型输入至所述图卷积网络以训练所述图卷积网络。
可选地，在本申请的一个实施例中，所述过分割预处理，包括：
将三维断层扫描图像切分为多个图像块，所述多个图像块中每相邻两块间具有重叠的数据；
对每个所述图像块进行灰度归一化处理；
所述特征提取预处理，包括：
统一三维断层扫描图像的分辨率；
裁剪统一分辨率后的三维断层扫描图像的尺寸，并进行灰度归一化处理。
可选地，在本申请的一个实施例中，所述结点的空间特征，包括：所述结点的三维坐标位置、三维方向，以及距离所述结点最近的十个结点与所述结点的距离中的最大距离值和最小距离值。
可选地，在本申请的一个实施例中，所述第一图模型包括结点的集合和连接结点形成的边的集合，所述通过所述图卷积网络预测每个所述结点是否为中心线上的点，包括：
通过所述图卷积网络对每个所述结点的特征和边的特征进行更新，其中，对任一结点的特征进行更新时并联所述任一结点所在的边的特征；
在更新至预设次数后，通过全连接网络对每个所述结点进行分类，输出每个所述结点属于中心线上的点的概率值。
可选地，在本申请的一个实施例中，通过以下公式对所述结点的特征进行更新：
其中，
其中，u是所述结点，表示所述结点在第l层时的特征，/>表示更新后的第(l+1)层的特征，N(u)表示与所述结点u连接的结点的集合，aggregate()表示聚合函数，concat()表示特征并联函数，δ()表示激活函数，norm()表示特征归一化函数，W表示训练参数；
通过以下公式对所述边的特征进行更新：
其中，
其中，表示边(u,v)在第l层时的特征，concat()为特征并联函数，mlp()为全连接函数。
可选地，在本申请的一个实施例中，所述通过所述训练数据集中过分割预处理后的三维断层扫描图像训练所述过分割网络，包括：
在每向所述过分割网络输入一个第一训练数据后，计算对应的损失函数值Lseg；
使用梯度下降法最小化所述损失函数值，并调整所述过分割网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第一训练阈值；
其中，通过以下公式计算损失函数值Lseg：
Lseg＝L1+Ldice
其中，L1为交叉熵损失，
其中，K表示第一训练数据的类别数，是所述过分割网络预测为第k类的值，/>为第k类的目标值，X表示当前输入的第一训练数据。
可选地，在本申请的一个实施例中，所述通过所述训练数据集中特征提取预处理后的三维断层扫描图像训练所述特征提取网络，包括：
在每向所述特征提取网络输入一个第二训练数据后，进行向前传播并计算对应的损失函数值FL；
使用梯度下降法最小化所述损失函数值FL，并调整所述特征提取网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第二训练阈值；
其中，通过以下公式计算损失函数值FL：
其中，p是经过预设的激活函数之后的输出值，α是调节正负样本之间不平衡性的预设定值。
为达到上述目的，本发明第二方面实施例提出的装置，包括：
第一图像获取模块，获取待处理的三维断层扫描图像，所述三维断层扫描图像中包括树状管腔结构；
图像预处理模块，对所述三维断层扫描图像分别进行过分割预处理和特征提取预处理；
第二图像获取模块，将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像；
深度特征提取模块，将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取所述特征提取预处理后的图像中的每个像素点对应的深度特征；
图模型构建模块，以所述包含噪声的第一中心线图像上的每个像素点为结点，计算每个所述结点的空间特征，并根据每个所述结点的空间特征和深度特征构建第一图模型；
预测模块，将所述第一图模型输入至预先训练完成的图卷积网络中，通过所述图卷积网络预测每个所述结点是否为中心线上的点，以获得初始中心线；
优化模块，通过最小生成树算法对所述初始中心线进行优化，输出树状管腔结构中心线的提取结果。
为了实现上述实施例，本申请第三方面实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的三维断层扫描图像中树状管腔结构中心线的提取方法和装置。
本发明的实施例提供的技术方案至少带来以下有益效果：该方法先获取待处理的三维断层扫描图像，通过树状管腔中心线的提取方法，得到相应的树状管腔结构的中心线预测结果。然后由卷积神经网络完成管腔的过分割，再结合图卷积网络实现最终的预测结果。其中过分割可以尽可能保证管腔的完整性，经过对管腔的细化操作，得到带有噪声的中心线图像，结合卷积神经网络和图网络提取结点的结构特征和图像特征，去除错误的中心线采样点，最后结合最小生成树算法进一步优化中心线。卷积神经网络可以充分利用图像空间信息，图网络又能结合管腔的结构信息，实现了准确的中心线提取，保证了三维断层扫描图像中树状管腔结构中心线的提取方法的稳定性与鲁棒性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一实施例提出一种三维断层扫描图像中树状管腔结构中心线的提取方法的流程示意图；
图2为本发明一实施例的提出的一种具体的三维断层扫描图像中树状管腔结构中心线的提取方法的流程框图；
图3为本发明一实例中冠脉与气管的原图、标注的分割图以及中心线；
图4为本发明一实施例中过分割网络的结构示意图；
图5为本发明一实施例中特征提取网络结构示意图；
图6为本发明一实施例中图卷积网络结构示意图；
图7为本发明一实施例在提取冠脉中心线和气管中心线的结果展示；
图8为本发明一实施例中部分中心线结果在原三维断层扫描图像上显示的结果；
图9为本发明一实施例提出的一种三维断层扫描图像中树状管腔结构中心线的提取装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参考附图描述本发明实施例所提出的一种三维断层扫描图像中树状管腔结构中心线的提取方法和装置。
图1为本发明实施例提出的一种三维断层扫描图像中树状管腔结构中心线的提取方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取待处理的三维断层扫描图像，三维断层扫描图像中包括树状管腔结构。
其中，待处理的三维断层扫描图像是需要提取中心线的三维断层扫描图像，其中包含了树状管腔结构，在本发明的一个实施例中，树状管腔结构图像可以采用胸部断层扫描图像和心脏断层扫描图像。
步骤102，对三维断层扫描图像分别进行过分割预处理和特征提取预处理。
在本发明的一个实施例中，为了提升网络训练和预测的速度，需要先对三维断层扫描数据进行一定的预处理，该预处理过程包括过分割数据预处理和特征提取数据预处理两个方面。
其中，过分割预数据预处理过程包括：
先将三维断层扫描图像随机切分为指定个数固定大小的图像块，并且图像块中每相邻两块间具有重叠的数据；然后对每个图像块进行灰度归一化处理。
特征提取预处理过程，包括：
统一三维断层扫描图像的分辨率；然后将图像中感兴趣的区域裁剪出来，并进行灰度归一化处理。在本实施例中对应处理后的分辨率及裁剪的尺寸没有具体的要求，裁剪出的图像只要包括感兴趣的区域，即原图像的解剖学树状管腔结构。
步骤103，将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像。
其中，过分割网络是以U-Net网络为主干的分割预测网络，将过分割预处理后的图像输入到过分割网络中，可以得到管腔与背景的预测概率，尽可能的保证了管腔的完整性。
其中，预测阈值是本发明实施例中使用的预测前景的通道的阈值，在本发明实施例中选取较小的阈值得到最终的分割结果，作为一种示例，预测阈值可以是0.0005。
在本申请的一个实施例中，由于在过分割预处理过程中，相邻图像块之间有重叠的数据，所以使用三维高斯分布加工过分割预处理后的每一个图像块，这样能够保证每个块越靠近边缘权值越小，然后将加工后的每一个图像块输入到离线阶段训练得到的过分割网络中进行分割预测，得到每一个小块的预测概率值，然后将每个小块的预测概率值相加的结果作为最终的概率值，最后根据设定的预测阈值得到过分割的图像，对其进行细化后得到带有噪声的第一中心线图像。
步骤104，将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取特征提取预处理后的图像中的每个像素点对应的深度特征。
其中，特征提取网络是在离线阶段训练好的，特征提取网络是一个编码器的结构，由编码部分和解码部分组成。在本申请实施例中，将步骤102中得到的特征提取预处理后的图像输入至特征提取网络中，得到特征提取预处理后的图像中每个像素点对应的深度特征，每一个像素点对应一个特征向量。
步骤105，以包含噪声的第一中心线图像上的每个像素点为结点，计算每个结点的空间特征，并根据每个结点的空间特征和深度特征构建第一图模型；
其中，空间特征包括：包含噪声的第一中心线图像上结点的三维坐标位置、三维方向，以及距离该结点最近的十个结点与该结点的距离中的最大距离值和最小距离值。
第一图模型包括带有噪声的中心线上的结点的集合和连接结点形成的边的集合。
在本申请的一个实施例中，通过步骤103得到了所述的带有噪声的第一中心线，以该第一中心线图像上的每个像素点为结点，计算得到每个结点的空间特征。在本实施例中，具体的空间特征选择方法为：根据中心线本身的特征，选取的空间特征为坐标位置特征、方向特征和最大最小距离特征，将每个结点的空间特征与步骤104得到的每个结点的深度特征结合，按照预设的规则得到一个图模型。本实施例预设的规则是：每个点都根据预设距离阈值范围内的最近的n个点相连接，n>0。与点的特征相似，本实施例也为边赋予特征：将每条边上的两个点之间距离的倒数作为这条边的特征。由此可以得到第一图模型G＝(V,E)，其中V表示结点的集合，E表示边的集合。
步骤106，将第一图模型输入至预先训练完成的图卷积网络中，通过图卷积网络预测每个结点是否为中心线上的点，以获得初始中心线。
在本申请的一个实施例中，通过图卷积网络预测每个结点是否为中心线上的点，包括：
通过图卷积网络对每个结点的特征和边的特征进行更新，其中，对任一结点的特征进行更新时并联所述任一结点所在的边的特征；
在更新至预设次数后，通过全连接网络对每个所述结点进行分类，输出每个所述结点属于中心线上的点的概率值。
详细过程为：通过步骤105可以得到图卷积网络的输入，即第一图模型，包括：一是包含噪声的第一中心线图像上每个结点u的特征xu，对于有N个结点的图来说，结点的特征X∈RN×D，其中D表示每一个结点特征的维数；二是节点之间的连接关系图，本实施例中使用的是邻接矩阵A。
在本发明的一个实施例中，构建的图卷积网络如图6所示。主要包含结点的特征更新与边的特征更新。
在图6中，GraphConv表示对结点特征进行卷积操作；表示对边特征进行更新，其中/>表示第t层时边(i,j)的特征，/>分别表示第t+1层结点i,j的特征，φ(·)表示特征更新函数，在本发明实施例中可以采用的全连接函数，P(Z|X,Y)表示网络在输入结点特征X以及边的特征Y后，预测每一个结点属于中心线的概率。
其中结点特征的更新为：
其中，
其中，u是所述结点，表示所述结点在第l层时的特征，/>表示更新后的第(l+1)层的特征，N(u)表示与所述结点u连接的结点的集合，aggregate()表示聚合函数，concat()表示特征并联函数，δ()表示激活函数，norm()表示特征归一化函数，W表示训练参数；
边特征的更新为：用表示边(u,v)在第l层时的特征，其初始特征是两个结点之间距离的倒数，每次更新时都将两个顶点的特征与边本身的特征进行并联，然后经过一个全连接函数进行更新：
其中concat()为特征并联函数，mlp()为全连接函数，在本实施例中使用最简单的一层全连接函数。每次更新后的特征维度依然保持1不变。
除了对结点以及边的特征进行依次更新之外，本实施例中借鉴了神经网络中densenet的思想，每次在对结点进行更新时都会并联上之前所得到的所有的边的特征，即：
最后一次对结点特征进行更新之后使用一个全连接网络对每一个结点进行分类，输出该点属于中心线上的点的概率值，进一步地，预测每个所述结点是否为中心线上的点，从而得到初始中心线。
步骤107，通过最小生成树算法对初始中心线进行优化，输出树状管腔结构中心线的提取结果。
需要说明的是，步骤106中每个点都是单独进行分类，可能由于假阳性和假阴性的存在使得中心线出现较多的断裂情况，所以使用最小生成树算法对结果进一步优化。
为了能够加快处理速度，将步骤106中每个结点的分类结果进行采样，以长宽高同样大小的小块逐步处理3D图像，如果小块图像中的像素有一个或以上的正样本，则随机选取其中一个作为该算法的结点。
结点选择好之后，将每个结点与最近的n个结点建立连接关系图，同时设置一定阈值，即当该结点与最近的n个结点中的某个距离大于该阈值时，设定这两个点之间没有连接关系，这样可以有效的去除噪声。之后将建立的连接关系图使用最小生成树算法进行处理得到该关系图中每一个结点的连接关系，然后根据这些关系将两点之间连线所经过的所有像素点都当作中心线上的点，即可得到最终优化后的结果。
还需要说明的是，在本申请的一个实施例中，在获取待处理的三维断层扫描图像之前，还包括离线阶段的网络模型训练，具体包括：获取原始数据集，并对原始数据集进行标注，原始数据集中的三维断层扫描图像的树状管腔结构与待处理的三维断层扫描图像中的树状管腔结构相同；对标注后的原始数据集中的三维断层扫描图像分别进行过分割预处理和特征提取预处理，以生成训练数据集；构建过分割网络和特征提取网络，并通过训练数据集中过分割预处理后的三维断层扫描图像训练过分割网络，以及通过训练数据集中特征提取预处理后的三维断层扫描图像训练特征提取网络；通过训练完成的过分割网络对标注后的原始数据集中的三维断层扫描图像进行分割预测，输出第二过分割的图像，并对第二过分割的图像进行细化以获得包含噪声的第二中心线图像；
通过训练完成的特征提取网络提取训练数据集中特征提取预处理后的三维断层扫描图像中的每个像素点对应的深度特征；以包含噪声的第二中心线图像上每个像素点为结点，计算结点的空间特征，并根据结点的空间特征和深度特征构建第二图模型；构建图卷积网络，并将第二图模型输入至图卷积网络以训练图卷积网络。
进一步地，通过训练数据集中过分割预处理后的三维断层扫描图像训练过分割网络，包括：
在每向过分割网络输入一个第一训练数据后，计算对应的损失函数值Lseg；
使用梯度下降法最小化所述损失函数值，并调整所述过分割网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第一训练阈值；
其中，通过以下公式计算损失函数值Lseg：
Lseg＝L1+Ldice
其中，L1为交叉熵损失，
其中，K表示第一训练数据的类别数，是所述过分割网络预测为第k类的值，/>为第k类的目标值，X表示当前输入的第一训练数据。
进一步地，通过训练数据集中特征提取预处理后的三维断层扫描图像训练特征提取网络，包括：
在每向特征提取网络输入一个第二训练数据后，进行向前传播并计算对应的损失函数值FL；
使用梯度下降法最小化损失函数值FL，并调整特征提取网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第二训练阈值；
其中，通过以下公式计算损失函数值FL：
其中，p是经过预设的激活函数之后的输出值，α是调节正负样本之间不平衡性的预设定值。
综上所示，本发明实施例的三维断层扫描图像中树状管腔结构中心线的提取方法，该方法先获取待处理的三维断层扫描图像，通过树状管腔中心线的提取方法，得到相应的树状管腔结构的中心线预测结果。然后由卷积神经网络完成管腔的过分割，再结合图卷积网络实现最终的预测结果。其中过分割可以尽可能保证管腔的完整性，经过对管腔的细化操作，得到带有噪声的中心线图像，结合卷积神经网络和图网络提取结点的结构特征和图像特征，去除错误的中心线采样点，最后结合最小生成树算法进一步优化中心线。卷积神经网络可以充分利用图像空间信息，图网络又能结合管腔的结构信息，实现了准确的中心线提取，保证了方法的稳定性与鲁棒性。
为了更加清楚的说明本发明三维断层扫描图像中树状管腔结构中心线的提取方法的具体实现过程，下面结合图2，以一个具体的实施例进行详细描述：
如图2所示，为了更加清楚的描述实施的过程，将本实施例分为离线阶段和在线阶段。离线阶段是准备阶段，主要是用训练数据训练过分割网络、特征提取网络和图卷积网络。这个过程中训练得到的网络模型将会在在线阶段中用到。
离线阶段的具体步骤为：
第一步，获取原始数据集并进行标注。
使用包含相同树状管腔结构的三维断层扫描数据作为原本的数据集(在本实例中分别采用了胸部断层扫描和心脏断层扫描数据)。应用医学图像处理软件(如3D Slicer)对数据集中的每张图像进行人工标注，主要标注三维树状管腔的语义分割，即每个像素点对应的二值图(在该二值图中，树状管腔区域对应的像素值为1，其余对应的像素值为0)，将这一分割的标注进行细化可以得到对应的中心线标注。
本实例两个不同的原始断层扫描图像数据集，对应的管腔分割标注以及相应的中心线标注分别如图3(A)，3(B)，3(C)所示。
第二步，数据预处理。
该过程分为过分割数据预处理、特征提取数据预处理和训练数据集的准备
过分割数据处理时，直接使用三维断层扫描数据进行网络训练和预测是比较慢的，所以需要对其进行一定的预处理，在过分割时，本实施例将其分成90×160×160大小的图像块，并且切分图像块时，相邻两块之间有重叠，在将每一个小图像块合并为原图时，用一个三维高斯分布处理得到的结果图，这样能够保证每个块越靠近边缘权值越小，把相加的结果作为最终的概率值。另外，为了统一各个图像灰度值的大小，需要将图像进行归一化处理。本发明中将每张图片的灰度值线性映射到[0,1]区间。
在特征提取数据处理时，需要对每一个像素点有唯一对应的特征序列，所以需要另一种数据预处理方案。在本实施例中首先对图像进行统一分辨率，根据统计信息先将感兴趣区域的大小裁剪出相同的大小，然后将灰度归一化到[0,1]区间。在本实施例中对应的处理后分辨率以及裁剪的尺寸没有具体要求，只要包括原图像的解剖学树状管腔结构(在本实例中，胸部断层扫描最终得到的图像大小为192×256×256，对应的分辨率为1.0×1.0×1.5。心脏断层臊面得到的图像大小为208×256×256，对应的分辨率为0.7×0.7×0.7。
接下来是准备训练数据集，经过对特征提取数据的处理，可以得到统一大小后的三维断层扫描图像和对应的分割标注，用以特征提取网络的训练。使用第一步中标注后的数据对可分别用于训练过分割网络和图卷积网络。
第三步，训练网络模型。
该步骤主要训练过分割网络模型、特征提取网络模型，构建并训练图卷积网络模型。
具体步骤如下：
首先，训练过分割网络。
从训练数据中随机选取图像，按照过分割数据处理的方法随机得到指定个数的图像块，输入过分割网络，可以输出两通道的预测图像，分别表示前景与背景的概率值，使用多类适应的dice损失函数和交叉熵损失：
Lseg＝L1+Ldice
其中L1为交叉熵损失，Ldice定义为：
其中K表示类别数。是网络预测为第k类的值，/>为第k类的目标值，X表示输入的图像。Dice损失函数能够较好的解决正负样本不平衡的问题，因为这是一个区域相关的损失函数，当前像素的损失不至于当前像素的预测值相关，与其它点的值也有关。
此外，在上采样时的每一个步骤中都计算了分割损失，这样的处理方法可以保证每一步的上采样结果都能够尽可能与分割标注相似。每一层监督使用的标签是原图的分割标注以最近邻方法进行resize操作得到的。
每输入一个训练数据对，网络计算得到的损失函数值Lseg，使用梯度下降法最小化损失函数值、调整参数，完成一次训练。当训练次数达到设定的上限时(本实例中设定为150)，完成对过分割网络的训练结果，得到参数θ1。
需要说明的是，过分割网络是以U-Net网络为主干，如图4所示，包含对称的压缩路径与扩张路径。其中压缩路径是由5个残差模块和4个最大池化层组合，每一个残差模块包含两个卷积操作和一个跨连在输入输出之间的短连结构组成(短连结构是为了防止在网络训练时出现梯度消失的现象)。在数据前向传播过程中，每一个残差模块会将输入的特征图通道数变为2倍，不改变图像的大小，对应的最大池化层会将图像的尺寸变小，且不改变特征的通道数(第一层池化会将x,y维度变为1/2，z轴维度大小不变，这是为了先将各轴的分辨率进行统一，其余各池化层将特征图的各维度大小缩减为原来的1/2)。扩张路径由4个残差模块和4个反卷积层组成，其中第一个反卷积层的输入为压缩路径第5个残差模块的输出，反卷积层与残差模块交替分布。扩张路径使用的残差模块与压缩路径一致，每个反卷积层会改变特征图维度的大小(与压缩路径对称，在最上一层的反卷积操作x,y维度变为原来的2倍，z轴维度大小不变，其它层都将各维度变为原来的2倍)，同时反卷积层会将特征图的通道数变为原来的1/2。压缩路径与扩张路径对称，保证主干部分的输出与输入保持相同的尺寸。
另外，为了更好的保留局部特征，实现全局与局部特征的融合，在压缩路径与扩张路径之间添加了对应层之间的跳跃连接结构，即相同尺寸的特征图之间进行拼接操作。具体来说：压缩路径上的第4个残差模块输出的特征图与扩张路径上第1个反卷积操作输出的特征图进行并联作为扩张路径上第1个残差模块的输入；压缩路径上的第3个残差模块输出的特征图与扩张路径上第2个反卷积操作输出的特征图进行并联作为扩张路径上第2个残差模块的输入；压缩路径上的第2个残差模块输出的特征图与扩张路径上第3个反卷积操作输出的特征图进行并联作为扩张路径上第3个残差模块的输入；压缩路径上的第1个残差模块输出的特征图与扩张路径上第4个反卷积操作输出的特征图进行并联作为扩张路径上第4个残差模块的输入。扩张路径上的最后一个残差模块输出的特征图经过一个1×1×1的卷积结构得到一个2通道的特征图，再经过一个Softmax函数可以得到管腔与背景的预测概率。
在本发明中使用预测前景的通道，选取较小的阈值得到最终的分割结果(在使用的实例中，采用的阈值都是0.0005)。
其次，训练特征提取网络。
从特征提取数据处理后得到的训练图像集，每次随机选择一个图像，输入到网络中，输出两通道的预测图像，然后计算Focal loss:
其中p是经过激活函数之后的输出,当一个正样本被分错时，p较小，(1-p)接近1，损失不收影响；当分对时，(1-p)比较小，损失会变得比较小，对于负样本也是一样，所以总体来说分得比较好的权值就会降低，使得网络更注重困难的样本。另外α可以用来调节正负样本之间的不平衡(在本实例中γ去的是2，α取值为0.5)。
每输入一个训练数据对，进行前向传播，计算损失函数，使用梯度下降法最小化损失函数值、调整参数，完成一次训练。与过分割一样，当达到指定上限时(本实例中采用150)，训练结束，得到特征提取网络的参数θ2。
本实施例中，特征提取网络是一个编码器的结构。在编码部分，采用4个由3×3×3卷积层与最大池化层组成的模块，每次卷积时将输入的特征图通道数变为原来的2倍，同时保证图像的尺寸不变，最大池化层将输入的特征图各维度的尺寸变为原来的1/2，保证特征图的通道数不变。在解码部分，采用4个由3×3×3的卷积层和反卷积层组成的模块，其中在通过3×3×3的卷积时输入的特征图通道数变为原来的1/2，同时保证图像的尺寸不变，反卷积操作时将输入的特征图各维度的尺寸变为原来的2倍，保证特征图的通道数不变。将解码器最后一部分输出的特征层一个1×1×1的卷积结构得到一个2通道的特征图，再经过一个Softmax函数可以得到管腔与背景的预测概率。
为了使提取的特征能够结合局部信息与全局信息，将编码路径的最后一个模块输出的特征图与解码路径上每次反卷积得到的特征图进行插值还原到网络输入的特征大小，并联之后作为最终编码器提取的特征。最后按照特征提取数据处理过程的逆方向将特征图转换到原图大小，其中裁剪掉部分的特征用全0表示。
再者，构建并训练图卷积网络。
在对过分割网络的过分割结果进行细化可以得到带有噪声的树状管腔中心线图像后，使用图卷积网络可以去除噪声，得到完整的中心线图像。这一步骤中首先需要将三维图像转为图，然后通过图卷积网络得到属于中心线上的点，最后经过最小生成树算法进行后处理，输出树状结构的中心线预测结果。
在构建并训练图卷积网络时，首先是空间特征选择，根据中心线本身的特征，本发明一共选取了8个空间特征：坐标位置[x,y,z],方向[dx,dy,dz]，以及最近的十个点中最大最小距离[dismin,dismax]。结点的空间位置直接使用的该点所处的像素坐标。方向的计算方法：假设计算点A出的中心线方向，首先以点A为中心取一个3×3×3的图像块，如果该图像块中只有这一个点，则定义该点的方向为[0,0,0]，如果该图像块中有两个点，则计算两点的方向即可；若图像中有三个点，则计算除点A之外另外两个点之间的方向；当图像块中的点个数大于3个时(这种情况比较少)，认为该处的细化不够合理，也将其方向设置为[0,0,0]。为了只保留方向信息，需要对其进行归一化(以dx为例)：
另外在噪声图中可以看出一些噪声点有些是单独的，也有些是聚集到一起的，从离周围点的距离可以大致区分出来，所以在本发明中添加了另外两个空间特征：距离该点最近的十个点中最大最小距离，如果是中心线上的点，最小距离应该不会超过2，最大距离也应该比较小，所以这一特征可以有效的区分噪声点与中心线上的点。
除了上述结点的空间特征外，本发明也结合了在特征提取网络步骤中得到的图像深度特征。
其次是构建图，图卷积网络的输入为图模型G＝(V,E)，其中V表示结点的集合，E表示边的集合。本发明中使用带有噪声的中心线上的每一个点作为图的结点，结点的特征选择(1-4-1)得到的特征，另外需要将它们按照一定规则连接起来形成图。本发明中采用的方法是：每个点都与其最近的n个点相连接(在实际操作中n取的是10)。与点的特征相似，本发明也为边赋予特征：将每条边上的两个点之间距离的倒数作为这条边的特征。
由此可以得到图卷积网络的输入：一是每个结点u的特征xu，对于有N个结点的图来说，结点的特征X∈RN×D，其中D表示每一个结点特征的维数；二是节点之间的连接关系图，本发明中使用的是邻接矩阵A。
接着使用图卷积网络对接结点进行分类，有了上一步构建的图，可以利用图卷积网络对结点进行分类。本发明构建的图卷积网络如图6示。图中各参数的含义如上述实施例所述，主要包含结点的特征更新与边的特征更新。
其中，结点特征的更新：对于结点u，用表示其在第l层时的特征，则第(l+1)层的特征定义为：
其中，N(u)表示与结点u连接的所有结点的集合。aggregate()表示聚合函数，可以选择取均值或者最大值(本实例中采用的是均值)，concat()是指将特征并联起来，δ()表示激活函数(本实例中采用的是RELU函数)；norm()表示将特征进行归一化，W表示可训练的参数。
边特征的更新：用表示边(u,v)在第l层时的特征，其初始特征是两个结点之间距离的倒数，每次更新时都将两个顶点的特征与边本身的特征进行并联，然后经过一个全连接函数进行更新：
其中concat()为特征并联函数，mlp()为全连接函数，在本发明中使用是最简单的一层全连接函数。每次更新后的特征维度依然保持1不变。
除了对结点以及边的特征进行依次更新之外，本发明中借鉴了神经网络中densenet的思想，每次在对结点进行更新时都会并联上之前所得到的所有的边的特征，即：
最后一次对结点特征进行更新之后使用一个全连接网络对每一个结点进行分类，输出该点属于中心线上的点的概率值，然后计算交叉熵损失，使用梯度下降法最小化损失函数值、调整参数，完成一次图卷积网络的训练，到训练次数超过指定次数时(本实例中采用的是400)，停止训练可以得到图卷积网络的参数θ3。
然后是在线阶段，具体步骤为：
第一步，获取一张在离线阶段第一步中原始数据集包含相同解剖学树状结构的三维断层扫描图像作为测试数据，本实施例以胸部三维断层扫描图像和心脏三维断层扫描图像为例。
第二步，对第一步中获取的图像进行预处理，过分割图像的预处理包括图像归一化，切分图像块；特征提取网络的预处理包括，图像分辨率调整、裁剪到相同尺寸、灰度值归一化；分别与离线过程中的过分割图像预处理和特征提取网络的预处理规则保持一致。
第三步，首先输入到过分割网络中可以得到每一个小块的预测概率值，使用三维高斯分布处理每个小块后合并可以得到与原图大小相同的分割预测，根据设定的阈值(本实例采用0.005)得到过分割的图像，然后对其进行细化得到带有噪声的中心线图像。将按照特征提取数据处理的图像输入到特征提取网络可以得到每一个像素点对应的一个特征向量。对带有噪声的中心线图像上的每一个点计算其空间特征，并与图像深度特征结合，按照设定好规则得到一个图模型，输入到图卷积网络中可以预测得到中心线图像，
第四步，最小生成树进一步优化。
在图卷积网络步骤中每个点都是单独进行分类的，所以可能由于假阳性和假阴性的存在出现较多的断裂情况，在本发明中使用最小生成树算法对结果进一步优化。
首先对上一步的结果进行采样，以2×2×2的小块逐步处理3D图像，如果这8个像素中有一个或以上的正样本，则随机选取其中一个作为该算法的结点，这一步骤之后结点的数量能够从几千个下降至几百个，该算法也就能够较快的处理。
选择好结点之后，按照一定的规则确定各节点之间的连接关系：将每个结点与最近的n个结点建立连接关系(本实例中采取的是10)，同时为了避免在结点分类后还可能存在的噪声点，设置一定的阈值，即当该结点与最近的n个结点中的某个距离大于该阈值时，设定这两个点之间没有连接关系，这样可以有效的去除噪声。
有了上述定义好的图，就可以使用最小生成树算法进行处理。首先将所有的结点分成两个集合U，V，其中U是已经完成最小生成树的结点的集合，V和所有还未添加的结点的集合，初始状态下U是空集，V是所有结点的集合，V中每一个结点到U中结点的距离都是无穷，定义为MAXdist。首先随机选取一个结点加入到集合U中，然后更新V中所有结点到U中所有结点的最小距离，取V中距离U最小的结点重复上一个步骤直到V中所有的结点距离U的最小距离都是MAXdist或者V中为空。如果上述循环结束后V中结点不为空，说明不止一棵树(比如在本实例中，使用的心脏断层扫描图像中的冠脉就是会生成至少两棵树，而胸部断层扫描图像中的气管树为1棵树)，则将U中结点清空，重复上述循环，直到所有的结点都被加入到V中。
该算法输出的结果是每一个结点的连接关系，然后根据这些关系将两点之间连线所经过的所有像素点都当做中心线上的点即可得到最终的结果。
图7展示了本实施例树状管腔结构中心线提取方法在胸部三维断层扫描图像和心脏三维断层扫描图像中的输出结果。图8展示了部分中心线结果在原胸部三维断层扫描图像上的显示。
为了实现上述实施例，本发明还提出了一种三维断层扫描图像中树状管腔结构中心线的提取装置。图9为本发明实施例所提出的一种三维断层扫描图像中树状管腔结构中心线的提取装置的结构示意图。
如图9所示，该装置包括第一图像获取模块100，图像预处理模块200，第二图像获取模块300，深度特征提取模块400，图模型构建模块500，预测模块600，优化模块700。
第一图像获取模块100，具体用于获取待处理的三维断层扫描图像，所述三维断层扫描图像中包括树状管腔结构；
图像预处理模块200，具体用于对所述三维断层扫描图像分别进行过分割预处理和特征提取预处理；
第二图像获取模块300，具体用于将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像；
深度特征提取模块400，具体用于将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取所述特征提取预处理后的图像中的每个像素点对应的深度特征；
图模型构建模块500，具体用于以所述包含噪声的第一中心线图像上的每个像素点为结点，计算每个所述结点的空间特征，并根据每个所述结点的空间特征和深度特征构建第一图模型；
预测模块600，具体用于将所述第一图模型输入至预先训练完成的图卷积网络中，通过所述图卷积网络预测每个所述结点是否为中心线上的点，以获得初始中心线；
优化模块700，具体用于通过最小生成树算法对所述初始中心线进行优化，输出树状管腔结构中心线的提取结果。
可选地，在本申请的一个实施例中，所述的中心线提取装置中，所述图像预处理模块，具体用于：
将三维断层扫描图像切分为多个图像块，所述多个图像块中每相邻两块间具有重叠的数据；
对每个所述图像块进行灰度归一化处理；
所述特征提取预处理，包括：
统一三维断层扫描图像的分辨率；
裁剪统一分辨率后的三维断层扫描图像的尺寸，并进行灰度归一化处理。
可选地，在本申请的一个实施例中，所述的中心线提取装置中，所述第一图模型模块包括第一中心线图像中结点的集合和连接结点形成的边的集合，具体用于计算第一中心线图像中结点的空间特征，节点的空间特征包括：结点的三维坐标位置、三维方向，以及距离结点最近的十个结点与结点的距离中的最大距离值和最小距离值。
可选地，在本申请的一个实施例中，第一图模型包括结点的集合和连接结点形成的边的集合，初始中心线获取模块具体用于，通过图卷积网络预测每个结点是否为中心线上的点，包括：
通过图卷积网络对每个结点的特征和边的特征进行更新，其中，对任一结点的特征进行更新时并联所述任一结点所在的边的特征；
在更新至预设次数后，通过全连接网络对每个结点进行分类，输出每个结点属于中心线上的点的概率值。
可选地，在本申请的一个实施例中，所述的中心线提取装置中，所述初始中心线获取模块具体用于通过以下公式对所述结点的特征进行更新：
其中，
其中，u是所述结点，表示所述结点在第l层时的特征，/>表示更新后的第(l+1)层的特征，N(u)表示与所述结点u连接的结点的集合，aggregate()表示聚合函数，concat()表示特征并联函数，δ()表示激活函数，norm()表示特征归一化函数，W表示训练参数；
进一步地，通过以下公式对边的特征进行更新：
/>
其中，
其中，表示边(u,v)在第l层时的特征，concat()为特征并联函数，mlp()为全连接函数。
可选地，在本申请的一个实施例中，所述的中心线提取装置中，所述图像预处理模块，还具体用于训练数据集中过分割预处理后的三维断层扫描图像训练过分割网络，包括：
在每向过分割网络输入一个第一训练数据后，计算对应的损失函数值Lseg；
使用梯度下降法最小化所述损失函数值，并调整过分割网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第一训练阈值；
其中，通过以下公式计算损失函数值Lseg：
Lseg＝L1+Ldice
其中，L1为交叉熵损失，
其中，K表示第一训练数据的类别数，是所述过分割网络预测为第k类的值，/>为第k类的目标值，X表示当前输入的第一训练数据。
可选地，在本申请的一个实施例中，所述的中心线提取装置中，所述图像预处理模块，还具体用于通过训练数据集中特征提取预处理后的三维断层扫描图像训练特征提取网络，包括：
在每向特征提取网络输入一个第二训练数据后，进行向前传播并计算对应的损失函数值FL；
使用梯度下降法最小化所述损失函数值FL，并调整特征提取网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第二训练阈值；
其中，通过以下公式计算损失函数值FL：
其中，p是经过预设的激活函数之后的输出值，α是调节正负样本之间不平衡性的预设定值。
综上所述，本发明实施例的三维断层扫描图像中树状管腔结构中心线的提取装置，该方法先获取待处理的三维断层扫描图像，通过树状管腔中心线的提取方法，得到相应的树状管腔结构的中心线预测结果。然后由卷积神经网络完成管腔的过分割，再结合图卷积网络实现最终的预测结果。其中过分割可以尽可能保证管腔的完整性，经过对管腔的细化操作，得到带有噪声的中心线图像，结合卷积神经网络和图网络提取结点的结构特征和图像特征，去除错误的中心线采样点，最后结合最小生成树算法进一步优化中心线。卷积神经网络可以充分利用图像空间信息，图网络又能结合管腔的结构信息，实现了准确的中心线提取，保证了方法的稳定性与鲁棒性。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的一种三维断层扫描图像中树状管腔结构中心线的提取方法
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种三维断层扫描图像中树状管腔结构中心线的提取方法，其特征在于，包括以下步骤：
获取待处理的三维断层扫描图像，所述三维断层扫描图像中包括树状管腔结构；
对所述三维断层扫描图像分别进行过分割预处理和特征提取预处理；
将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像；
将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取所述特征提取预处理后的图像中的每个像素点对应的深度特征；
以所述包含噪声的第一中心线图像上的每个像素点为结点，计算每个所述结点的空间特征，并根据每个所述结点的空间特征和深度特征构建第一图模型；
将所述第一图模型输入至预先训练完成的图卷积网络中，通过所述图卷积网络预测每个所述结点是否为中心线上的点，以获得初始中心线；
通过最小生成树算法对所述初始中心线进行优化，输出树状管腔结构中心线的提取结果。
2.根据权利要求1所述的方法，其特征在于，在所述获取待处理的三维断层扫描图像之前，还包括：
获取原始数据集，并对所述原始数据集进行标注，所述原始数据集中的三维断层扫描图像的树状管腔结构与所述待处理的三维断层扫描图像中的树状管腔结构相同；
对标注后的所述原始数据集中的三维断层扫描图像分别进行过分割预处理和特征提取预处理，以生成训练数据集；
构建过分割网络和特征提取网络，并通过所述训练数据集中过分割预处理后的三维断层扫描图像训练所述过分割网络，以及通过所述训练数据集中特征提取预处理后的三维断层扫描图像训练所述特征提取网络；
通过训练完成的过分割网络对标注后的所述原始数据集中的三维断层扫描图像进行分割预测，输出第二过分割的图像，并对所述第二过分割的图像进行细化以获得包含噪声的第二中心线图像；
通过训练完成的特征提取网络提取所述训练数据集中特征提取预处理后的三维断层扫描图像中的每个像素点对应的深度特征；
以所述包含噪声的第二中心线图像上每个像素点为结点，计算所述结点的空间特征，并根据所述结点的空间特征和深度特征构建第二图模型；
构建图卷积网络，将所述第二图模型输入至所述图卷积网络并训练所述图卷积网络。
3.根据权利要求1或2所述的方法，其特征在于，所述过分割预处理，包括：
将三维断层扫描图像切分为多个图像块，所述多个图像块中每相邻两块间具有重叠的数据；
对每个所述图像块进行灰度归一化处理；
所述特征提取预处理，包括：
统一三维断层扫描图像的分辨率；
裁剪统一分辨率后的三维断层扫描图像的尺寸，并进行灰度归一化处理。
4.根据权利要求1所述的方法，其特征在于，所述结点的空间特征，包括：所述结点的三维坐标位置、三维方向，以及距离所述结点最近的十个结点与所述结点的距离中的最大距离值和最小距离值。
5.根据权利要求1所述的方法，其特征在于，所述第一图模型包括结点的集合和连接结点形成的边的集合，所述通过所述图卷积网络预测每个所述结点是否为中心线上的点，包括：
通过所述图卷积网络对每个所述结点的特征和边的特征进行更新，其中，对任一结点的特征进行更新时并联所述任一结点所在的边的特征；
在更新至预设次数后，通过全连接网络对每个所述结点进行分类，输出每个所述结点属于中心线上的点的概率值。
6.根据权利要求5所述的方法，其特征在于，通过以下公式对所述结点的特征进行更新：
其中，
其中，u是所述结点，表示所述结点在第l层时的特征，/>表示更新后的第(l+1)层的特征，N(u)表示与所述结点u连接的结点的集合，aggregate()表示聚合函数，concat()表示特征并联函数，δ()表示激活函数，norm()表示特征归一化函数，W表示训练参数；
通过以下公式对所述边的特征进行更新：
其中，
其中，表示边(u,v)在第l层时的特征，concat()为特征并联函数，mlp()为全连接函数。
7.根据权利要求2所述的方法，其特征在于，所述通过所述训练数据集中过分割预处理后的三维断层扫描图像训练所述过分割网络，包括：
在每向所述过分割网络输入一个第一训练数据后，计算对应的损失函数值Lseg；
使用梯度下降法最小化所述损失函数值，并调整所述过分割网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第一训练阈值；
其中，通过以下公式计算损失函数值Lseg：
Lseg＝L1+Ldice
其中，L1为交叉熵损失，
其中，K表示第一训练数据的类别数，是所述过分割网络预测为第k类的值，/>为第k类的目标值，X表示当前输入的第一训练数据。
8.根据权利要求2所述的方法，其特征在于，所述通过所述训练数据集中特征提取预处理后的三维断层扫描图像训练所述特征提取网络，包括：
在每向所述特征提取网络输入一个第二训练数据后，进行向前传播并计算对应的损失函数值FL；
使用梯度下降法最小化所述损失函数值FL，并调整所述特征提取网络的参数完成一次训练；
重复执行训练步骤，直至训练次数达到预设的第二训练阈值；
其中，通过以下公式计算损失函数值FL：
其中，p是经过预设的激活函数之后的输出值，α是调节正负样本之间不平衡性的预设定值。
9.一种三维断层扫描图像中树状管腔结构中心线的提取装置，其特征在于，包括：
第一图像获取模块，用于获取待处理的三维断层扫描图像，所述三维断层扫描图像中包括树状管腔结构；
图像预处理模块，用于对所述三维断层扫描图像分别进行过分割预处理和特征提取预处理；
第二图像获取模块，用于将过分割预处理后的图像输入至预先训练完成的过分割网络中进行分割预测，根据预设的预测阈值得到第一过分割的图像，并对所述第一过分割的图像进行细化以获得包含噪声的第一中心线图像；
深度特征提取模块，用于将特征提取预处理后的图像输入至预先训练完成的特征提取网络中，提取所述特征提取预处理后的图像中的每个像素点对应的深度特征；
图模型构建模块，用于以所述包含噪声的第一中心线图像上的每个像素点为结点，计算每个所述结点的空间特征，并根据每个所述结点的空间特征和深度特征构建第一图模型；
预测模块，用于将所述第一图模型输入至预先训练完成的图卷积网络中，通过所述图卷积网络预测每个所述结点是否为中心线上的点，以获得初始中心线；
优化模块，用于通过最小生成树算法对所述初始中心线进行优化，输出树状管腔结构中心线的提取结果。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的三维断层扫描图像中树状管腔结构中心线的提取方法。
CN202110975331.7A 2021-08-24 2021-08-24 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 Active CN113744215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110975331.7A CN113744215B (zh) 2021-08-24 2021-08-24 三维断层扫描图像中树状管腔结构中心线的提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110975331.7A CN113744215B (zh) 2021-08-24 2021-08-24 三维断层扫描图像中树状管腔结构中心线的提取方法和装置

Publications (2)

Publication Number Publication Date
CN113744215A CN113744215A (zh) 2021-12-03
CN113744215B true CN113744215B (zh) 2024-05-31

Family

ID=78732529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110975331.7A Active CN113744215B (zh) 2021-08-24 2021-08-24 三维断层扫描图像中树状管腔结构中心线的提取方法和装置

Country Status (1)

Country Link
CN (1) CN113744215B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114203297B (zh) * 2021-12-14 2022-09-16 清华大学 用于医学影像的呼吸道疾病随诊辅助方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563983A (zh) * 2017-09-28 2018-01-09 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111461065A (zh) * 2020-04-24 2020-07-28 上海联影医疗科技有限公司 管状结构识别方法、装置、计算机设备和可读存储介质
CN111476796A (zh) * 2020-03-10 2020-07-31 西北大学 一种结合多种网络的半监督冠状动脉分割系统及分割方法
CN112446877A (zh) * 2020-12-14 2021-03-05 清华大学 一种三维图像中多分支管状结构分割与标记方法
CN112489047A (zh) * 2021-02-05 2021-03-12 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
CN112541893A (zh) * 2020-12-11 2021-03-23 清华大学 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN113192069A (zh) * 2021-06-03 2021-07-30 清华大学 三维断层扫描图像中树状结构的语义分割方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563983A (zh) * 2017-09-28 2018-01-09 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN111476796A (zh) * 2020-03-10 2020-07-31 西北大学 一种结合多种网络的半监督冠状动脉分割系统及分割方法
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111461065A (zh) * 2020-04-24 2020-07-28 上海联影医疗科技有限公司 管状结构识别方法、装置、计算机设备和可读存储介质
CN112541893A (zh) * 2020-12-11 2021-03-23 清华大学 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN112446877A (zh) * 2020-12-14 2021-03-05 清华大学 一种三维图像中多分支管状结构分割与标记方法
CN112489047A (zh) * 2021-02-05 2021-03-12 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
CN113192069A (zh) * 2021-06-03 2021-07-30 清华大学 三维断层扫描图像中树状结构的语义分割方法和装置

Also Published As

Publication number Publication date
CN113744215A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111899245B (zh) 图像分割、模型的训练方法及装置，电子设备及存储介质
CN109584252B (zh) 基于深度学习的ct影像的肺叶段分割方法、装置
CN111696089B (zh) 一种动静脉确定方法、装置、设备和存储介质
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN112541893B (zh) 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN109685768A (zh) 基于肺部ct序列的肺结节自动检测方法及系统
CN111932554A (zh) 一种肺部血管分割方法、设备及存储介质
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN113192069A (zh) 三维断层扫描图像中树状结构的语义分割方法和装置
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN110852987A (zh) 基于深形态学的血管斑块检测方法、设备及存储介质
CN112785581A (zh) 基于深度学习的提取训练大血管cta成像的培训方法和装置
JP7349018B2 (ja) 冠状動脈の分割方法、装置、電子デバイス及びコンピュータ読取可能な記憶媒体
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN115880200A (zh) 基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统
CN114519722A (zh) 一种基于卷积神经网络的颈动脉提取方法
CN114549396A (zh) 一种基于图神经网络的脊椎交互式与自动分割细化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant