CN113470107A - 支气管中心线提取方法及其系统和存储介质 - Google Patents

支气管中心线提取方法及其系统和存储介质 Download PDF

Info

Publication number
CN113470107A
CN113470107A CN202110623801.3A CN202110623801A CN113470107A CN 113470107 A CN113470107 A CN 113470107A CN 202110623801 A CN202110623801 A CN 202110623801A CN 113470107 A CN113470107 A CN 113470107A
Authority
CN
China
Prior art keywords
bronchus
central line
predicted
dimensional
fcn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110623801.3A
Other languages
English (en)
Other versions
CN113470107B (zh
Inventor
关伟杰
钱元新
简文华
张冬莹
李洽胜
黎剑宇
郑劲平
陈德彦
蔡文娟
梁翠霞
吕晓凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Guangzhou Medical University
Original Assignee
First Affiliated Hospital of Guangzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Guangzhou Medical University filed Critical First Affiliated Hospital of Guangzhou Medical University
Priority to CN202110623801.3A priority Critical patent/CN113470107B/zh
Publication of CN113470107A publication Critical patent/CN113470107A/zh
Application granted granted Critical
Publication of CN113470107B publication Critical patent/CN113470107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种建立支气管中心线提取模型的方法，包括（a）获取支气管二值掩码和人工标注的真实支气管中心线；（b）将所述支气管二值掩码输入到三维FCN中，通过编码器、解码器网络，得到支气管的预测端点；（c）根据所得到的支气管的预测端点，确定初始中心线；（d）通过编码器对初始中心线进行采样，将采样得到的特征输入一维FCN，输出预测中心线；（e）根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重；（f）重复步骤（a）至（e），直至获得符合预期的模型参数，建立支气管中心线提取模型。本申请通过预测支气管端点，以及通过一维卷积预测中心线坐标，不需要任何后处理，因此也不需要任何人工介入，方法简洁，优化了中心线提取的性能。

Description

支气管中心线提取方法及其系统和存储介质
技术领域
本发明涉及肺部支气管中心线提取方法及系统，以及相应的计算机存储介质。
背景技术
支气管是将空气从呼吸道输往肺部的通道，在免疫功能中扮演着重要的角色。支气管与很多疾病相关，如支气管炎、哮喘、慢性阻塞性肺疾病、肺癌等。支气管的定量化测量对疾病诊断起着重要的作用，重要的指标有支气管管壁厚度、支气管管壁面积占支气管面积比例、支气管管壁面积与周长之比等。为了计算以上参数，需要先提取支气管的中心线，然后沿着中心线计算切面，在切面上进一步计算。因此，支气管中心线提取，是支气管定量化参数的一个重要过程。
现有支气管中心线提取算法主要分两种，一种是掩码的细化，另一种是距离图编码。掩码细化算法是在不改变掩码的拓扑结构下，迭代式的剥离掩码外围像素，直至只留下中心线上的像素。而距离图编码算法是通过给支气管掩码进行距离图编码，从而通过局部极值点确认中心线像素。但是，这两种方法，都存在计算时间较长，提取的中心线容易存在噪声等缺点。针对这些问题，有许多学者提出了改进方案，但依然未能较好的解决该问题。
随着深度学习技术的发展，全卷积神经网络（Fully Connected Networks, FCNs）在计算机视觉领域取得了广泛的应用。有学者将深度学习算法引入到医学影像中，如肋骨的中心线提取、冠状动脉中心线提取等。在上述肋骨中心线提取算法中，首先计算肋骨中心线附近区域的概率图，在此基础上，首先计算肋骨的中心线的起始点，然后通过不停的移动起始点到下一个中心点，依次不停迭代地得到肋骨中心线。在上述冠状动脉中心线提取算法中，提出了一个多任务网络，在网络训练过程中，同时学习掩码的距离图，以及分支的端点，然后依据分支端点以及距离图，通过后处理算法得到中心线。
可见，现有的基于深度学习的中心线提取算法，都是首先计算中心线的概率图或者距离图，然后通过后处理的方式得到最终的中心线。因此，后处理算法将中心线提取过程变得更为复杂，并且后处理过程中一些参数并不适用所有的情况，最终会影响到算法的性能。
发明内容
为提升中心线提取算法的性能，本申请提供了一种通过端到端的深度学习直接提取中心线的方法、系统及相应的计算机可读介质，该方法避免复杂的后处理操作，因此也不需要任何的人工介入，更加简洁。
在一个方面，本申请提供一种建立支气管中心线提取模型的方法，包括以下步骤：（a）获取支气管掩码和人工标注的真实支气管中心线；（b）将所述支气管二值掩码输入到三维FCN中，通过三维FCN编码器、解码器网络，得到支气管的预测端点，所述支气管的预测端点包括支气管的根节点以及末端的端点；（c）根据所得到的支气管的预测端点，确定初始中心线；（d）通过三维FCN编码器对初始中心线进行采样，得到初始中心线的特征，将采样得到的特征输入一维FCN，输出预测中心线；（e）根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重；（f）重复步骤（a）至（e），直至获得符合预期的模型参数，建立支气管中心线提取模型。
在一个实施方式中，在步骤（f）中，当三维FCN权重连续复数次不下降时即认为符合预期。
在另一个方面，本申请提供一种建立支气管中心线提取模型的系统，其包括：（a）数据获取模块，用于获取支气管二值掩码以及人工标注的真实支气管中心线；（b）端点预测模块，用于将所述CT影像数据输入到三维FCN中，通过三维FCN编码器、解码器网络，得到支气管的预测端点，所述支气管的预测端点包括支气管的根节点以及末端的端点；（c）初始中心线生成模块，根据所得到的支气管的预测端点，确定初始中心线；（d）中心线预测模块，用于通过三维FCN编码器对初始中心线进行采样，得到初始中心线的特征，将采样得到的特征输入一维FCN，输出预测中心线；（e）损失计算模块，用于根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重；（f）控制模块，用于重复以上步骤直至获得符合预期的模型参数，建立支气管中心线提取模型。
在一个实施方式中，控制模块在三维FCN权重连续复数次不下降时即认为符合预期。
在又一个方面，本申请提供一种提取支气管中心线的方法，其包括：（a）获取根据上述方法建立的支气管中心线提取模型；和（b）基于所述支气管中心线提取模型提取中心线。在一些实施方式中，步骤（b）进一步包括将支气管二值掩码输入到所述模型中，得到预测端点；根据预测端点确定初始中心线；以及通过编码器对初始中心线进行采样，将采样得到的特征输入一维FCN，输出预测中心线。
在又一个方面，本申请提供一种计算机存储介质，其上存储有计算机可执行指令，所述指令被执行以实现本申请所述的建立支气管中心线提取模型的方法或提取支气管中心线的方法。
本申请通过预测支气管端点，以及通过一维卷积预测中心线坐标，是一套端到端的深度学习方法，不需要任何的后处理，因此也不需要任何的人工介入，方法简洁，优化了中心线提取的性能。
附图说明
图1示例性显示了本发明的建立支气管中心线提取模型以及利用该模型提取支气管中心线的理论示意图。
图2示例性显示了本发明的建立支气管中心线提取模型的流程图。
图3显示了本发明的建立支气管中心线提取模型的系统。
图4显示了本申请的一种提取支气管中心线的示例性方法。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可根据具体情况改变。
图1示例性显示了示例性显示了本发明的建立支气管中心线提取模型以及利用该模型提取支气管中心线的理论示意图。本发明通过输入支气管二值掩码，该方法是最终输出支气管的端点以及中心线。一方面，通过三维FCN编码器，解码器方式，得到支气管的端点，包含支气管的根节点，以及末端的端点。另一方面，通过支气管的根节点和末端的端点，先确定一条初始中心线，通过三维FCN编码器对初始中心线进行采样，得到初始化中心线的特征，将采样得到的特征输入一维FCN网络，最终输出中心线特征。对于中心线任务，训练时可以用真实的端点来生成初始中心线，测试时可以用端点预测任务的输出生成初始中心线。
图2示例性显示了本发明的建立支气管中心线提取模型的流程图。该方法开始于步骤S100，获取支气管二值掩码和人工标注的真实支气管中心线。随后，方法进行步骤S110，将所述支气管二值掩码输入到三维FCN，通过编码器、解码器网络，得到支气管的预测端点，包括支气管的根节点以及末端的端点。随后，根据所得到的支气管的预测端点，确定初始中心线（步骤S120）。在步骤S130中，通过编码器对初始中心线进行采样，将采样得到的特征输入一维FCN，输出预测中心线。随后，方法进行步骤140，根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重。所述损失例如是L1、L2等距离损失函数。L1、L2等距离损失函数可通过本领域常规方法获得。在步骤150中，该方法判断是否获得符合预期的模型参数，如是，进行步骤160，建立支气管中心线提取模型，如否，进行步骤S100以循环多次直至模型参数符合预期。在本发明的一些实施方式中，当网络权重连续复数次（例如2至10次）不下降时即认为符合预期。
图3显示了本发明的一种建立支气管中心线提取模型的系统，其包括控制模块200、数据获取模块210、端点预测模块220、初始中心线生成模块230、中心线预测模块240以及损失计算模块250。控制模块200按照系统预定的逻辑和程序执行控制功能，数据获取模块210用于获取支气管二值掩码和人工标注的真实支气管中心线。端点预测模块220用于将所述CT影像数据输入到三维FCN中，通过三维FCN编码器、解码器网络，得到支气管的预测端点，所述支气管的预测端点包括支气管的根节点以及末端的端点。初始中心线生成模块230用于根据所得到的支气管的预测端点，确定初始中心线。中心线预测模块240用于通过三维FCN编码器对初始中心线进行采样，得到初始中心线的特征，将采样得到的特征输入一维FCN，输出预测中心线。损失计算模块250用于根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重。控制模块200判断模型参数是否符合预期，以决定是否循环执行网络权重更新，或停止更新，建立中心线提取模型。
图4显示了本申请的一种提取支气管中心线的示例性方法。如图4所示，方法开始于S400，获取根据上述方法建立的支气管中心线提取模型。随后，基于所述支气管中心线提取模型提取中心线，包括：步骤S410，将支气管二值掩码输入到所述模型中，得到预测端点；步骤S420，根据预测端点确定初始中心线；以及步骤S430，通过编码器对初始中心线进行采样，将采样得到的特征输入一维FCN，输出预测中心线。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种建立支气管中心线提取模型的方法，包括以下步骤：
（a）获取支气管二值掩码以及人工标注的真实支气管中心线；
（b）将所述支气管二值掩码输入到三维FCN中，通过三维FCN编码器、解码器网络，得到支气管的预测端点，所述支气管的预测端点包括支气管的根节点以及末端的端点；
（c）根据所得到的支气管的预测端点，确定初始中心线；
（d）通过三维FCN编码器对初始中心线进行采样，得到初始中心线的特征，将采样得到的特征输入一维FCN，输出预测中心线；
（e）根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重；
（f）重复步骤（a）至（e），直至获得符合预期的模型参数，建立支气管中心线提取模型。
2.根据权利要求1所述的方法，其特征在于，在步骤（f）中，当三维FCN权重连续复数次不下降时即认为符合预期。
3.一种建立支气管中心线提取模型的系统，其包括：
（a）数据获取模块，用于获取支气管二值掩码以及人工标注的真实支气管中心线；
（b）端点预测模块，用于将所述支气管二值掩码输入到三维FCN中，通过三维FCN编码器、解码器网络，得到支气管的预测端点，所述支气管的预测端点包括支气管的根节点以及末端的端点；
（c）初始中心线生成模块，根据所得到的支气管的预测端点，确定初始中心线；
（d）中心线预测模块，用于通过三维FCN编码器对初始中心线进行采样，得到初始中心线的特征，将采样得到的特征输入一维FCN，输出预测中心线；
（e）损失计算模块，用于根据预测的端点及预测中心线，以人工标注的真实支气管中心线作为金标准计算损失，并更新网络权重；
（f）控制模块，用于重复以上步骤直至获得符合预期的模型参数，建立支气管中心线提取模型。
4.根据权利要求3所述的系统，其特征在于，控制模块在三维FCN权重连续复数次不下降时即认为符合预期。
5.一种提取支气管中心线的方法，其包括：
（a）获取根据权利要求1或2的方法所建立的支气管中心线提取模型；
（b）基于所述支气管中心线提取模型提取中心线。
6.根据权利要求5所述的方法，其特征在于，步骤（b）进一步包括：
（b1）将支气管二值掩码输入到所述模型中，得到预测端点；
（b2）根据预测端点确定初始中心线；以及
（b3）通过编码器对初始中心线进行采样，将采样得到的特征输入一维FCN，输出预测中心线。
7.一种计算机存储介质，其上存储有计算机可执行指令，所述指令被执行以实现权利要求1或2所述的方法。
8.一种计算机存储介质，其上存储有计算机可执行指令，所述指令被执行以实现权利要求5或6所述的方法。
CN202110623801.3A 2021-06-04 2021-06-04 支气管中心线提取方法及其系统和存储介质 Active CN113470107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110623801.3A CN113470107B (zh) 2021-06-04 2021-06-04 支气管中心线提取方法及其系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110623801.3A CN113470107B (zh) 2021-06-04 2021-06-04 支气管中心线提取方法及其系统和存储介质

Publications (2)

Publication Number Publication Date
CN113470107A true CN113470107A (zh) 2021-10-01
CN113470107B CN113470107B (zh) 2023-07-14

Family

ID=77872412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110623801.3A Active CN113470107B (zh) 2021-06-04 2021-06-04 支气管中心线提取方法及其系统和存储介质

Country Status (1)

Country Link
CN (1) CN113470107B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392910A (zh) * 2017-07-06 2017-11-24 沈阳东软医疗系统有限公司 一种基于ct图像的肺叶分割方法及装置
CN110060263A (zh) * 2018-04-24 2019-07-26 深圳科亚医疗科技有限公司 医学图像的分割方法、分割装置、分割系统及计算机可读介质
CN111476757A (zh) * 2020-03-10 2020-07-31 西北大学 一种冠脉斑块数据检测方法、系统、存储介质、终端
CN111709925A (zh) * 2020-05-26 2020-09-25 深圳科亚医疗科技有限公司 用于血管斑块分析的装置、系统及介质
WO2021040258A1 (ko) * 2019-08-30 2021-03-04 국민대학교산학협력단 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN112446877A (zh) * 2020-12-14 2021-03-05 清华大学 一种三维图像中多分支管状结构分割与标记方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392910A (zh) * 2017-07-06 2017-11-24 沈阳东软医疗系统有限公司 一种基于ct图像的肺叶分割方法及装置
CN110060263A (zh) * 2018-04-24 2019-07-26 深圳科亚医疗科技有限公司 医学图像的分割方法、分割装置、分割系统及计算机可读介质
US20190325579A1 (en) * 2018-04-24 2019-10-24 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
WO2021040258A1 (ko) * 2019-08-30 2021-03-04 국민대학교산학협력단 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN111476757A (zh) * 2020-03-10 2020-07-31 西北大学 一种冠脉斑块数据检测方法、系统、存储介质、终端
CN111709925A (zh) * 2020-05-26 2020-09-25 深圳科亚医疗科技有限公司 用于血管斑块分析的装置、系统及介质
CN112446877A (zh) * 2020-12-14 2021-03-05 清华大学 一种三维图像中多分支管状结构分割与标记方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUO, ZH 等: "DeepCenterline: A Multi-task Fully Convolutional Network for Centerline Extraction", 《IPMI 2019: INFORMATION PROCESSING IN MEDICAL IMAGING》, vol. 11492, pages 441 - 453 *
张保昌: "基于深度学习的TOF-MRA图像脑血管提取与拓扑路径分析", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, pages 070 - 69 *

Also Published As

Publication number Publication date
CN113470107B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN106780543A (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
WO2015188445A1 (zh) 点云三维模型重建方法及系统
CN111709984B (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN110245550A (zh) 一种基于总体余弦分布的人脸噪音数据集cnn训练方法
CN113011509B (zh) 肺部支气管的分类方法、装置、电子设备和存储介质
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN113516677B (zh) 一种结构化分级管状结构血管的方法、装置及电子设备
CN111079826B (zh) 融合slam和图像处理的施工进度实时识别方法
CN113838005A (zh) 基于维度转换的岩体裂隙智能识别与三维重构方法及系统
CN115170510B (zh) 一种病灶检测方法、装置、电子设备及可读存储介质
CN113807340A (zh) 一种基于注意力机制的不规则自然场景文本识别方法
CN113129447A (zh) 基于单张手绘草图的三维模型生成方法、装置和电子设备
CN116310222A (zh) 一种牙冠三维模型的表面重建方法
CN113255569B (zh) 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN109035311B (zh) 一种弯骨骨折自动配准及内固定钢板预弯建模方法
CN113470107A (zh) 支气管中心线提取方法及其系统和存储介质
KR102228128B1 (ko) 자기조직 생성망 학습 방법 및 시스템
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN116543259A (zh) 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质
CN112734814A (zh) 三维颅面锥形束ct图像配准方法
CN113450364B (zh) 一种基于三维通量模型的树状结构中心线提取方法
JP7497188B2 (ja) 校正装置、訓練装置、及びコンピュータ・プログラム
CN114663983A (zh) 网状拓扑结构获取方法、装置、电子设备及存储介质
CN113470086A (zh) 肺部呼吸双相ct影像的配准方法及其系统和存储介质
CN112435321A (zh) 一种Leap Motion手部骨骼运动数据优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant