CN110956635B - 一种肺段分割方法、装置、设备及存储介质 - Google Patents

一种肺段分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110956635B
CN110956635B CN201911119958.1A CN201911119958A CN110956635B CN 110956635 B CN110956635 B CN 110956635B CN 201911119958 A CN201911119958 A CN 201911119958A CN 110956635 B CN110956635 B CN 110956635B
Authority
CN
China
Prior art keywords
lung
image
segmentation
result
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911119958.1A
Other languages
English (en)
Other versions
CN110956635A (zh
Inventor
韩妙飞
隗英
高耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201911119958.1A priority Critical patent/CN110956635B/zh
Publication of CN110956635A publication Critical patent/CN110956635A/zh
Application granted granted Critical
Publication of CN110956635B publication Critical patent/CN110956635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种肺段分割方法、装置、设备及存储介质,所述方法包括:获取待识别图像和对应的肺叶分割结果;基于肺段粗分割模型对待识别图像进行肺段粗分割,得到肺区域分割结果;确定待识别图像中与所述肺区域分割结果对应的第一子图像;确定肺叶分割结果中与肺区域分割结果对应的第二子图像;将第一子图像和第二子图像作为双通道肺段细分割模型的输入,基于双通道肺段细分割模型对第一子图像进行肺段细分割,得到第一肺段分割结果。利用本申请提供的技术方案可以快速进行肺段的粗定位,提高数据获取的速度,肺段细分割仅需在粗分割得到的肺区域分割结果上进行,且通过肺叶分割结果辅助肺段分割,更加准确高效。

Description

一种肺段分割方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种肺段分割方法、装置、设备及存储介质。
背景技术
医学研究表明,肺癌的症状与肺癌发生的类型(包括病变的生长部位、病变的大小、生长速度等)密切相关,其中病变的生长部位是一个非常重要的指标,每一肺段支气管及其分支分布的肺组织称为支气管肺段,通过在CT影像中对肺叶和肺段进行分割,可以为肺部肿瘤的疾病诊断以及肺段切除手术提供精准的解剖结构,对肺癌的疾病诊断和手术治疗均具有非常重要的意义。
现有技术首先需要检测肺叶的关键点位置,基于这些检测的关键点位置,再将肺部病灶的坐标映射到预先制作的肺部三维模型中,从而确定病灶在肺部的具体肺叶、肺段。该方法没有充分考虑不同病人之间的肺部结构差异,仅依赖检测的关键点将病灶映射到预先制作的模型中,不能针对该病人进行结果在原始图像上的直观显示,病灶位置映射结果的好坏很难评价,因此需要提供更加可靠高效的方案。
发明内容
为了解决现有技术的问题,本发明提供了一种肺段分割方法、装置、设备及存储介质。所述技术方案如下:
本申请一方面提供了一种肺段分割方法,所述方法包括:
获取待识别图像和对应的肺叶分割结果;
基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果;
确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
将所述第一子图像和所述第二子图像作为双通道肺段细分割模型的输入,基于所述双通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第一肺段分割结果。
本申请另一方面提供了另一种肺段分割方法,所述方法包括:
获取待识别图像及对应的肺叶分割结果和支气管分割结果;
基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果;
确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;
将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果。
本申请另一方面提供了一种肺段分割装置,所述装置包括:
第一图像获取模块,用于获取待识别图像和对应的肺叶分割结果;
第一肺段粗分割模块,用于基于肺段粗分割模型对待识别图像进行肺段粗分割,得到肺区域分割结果;
第一子图像确定模块,用于确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
第二子图像确定模块,用于确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
第一肺段细分割模块,用于将所述第一子图像和所述第二子图像作为双通道肺段细分割模型的输入,基于所述双通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第一肺段分割结果。
本申请另一方面提供了一种肺段分割装置,所述装置包括:
第二图像获取模块,用于获取待识别图像及对应的肺叶分割结果和支气管分割结果;
第二肺段粗分割模块,用于基于肺段粗分割模型对待识别图像进行肺段粗分割,得到肺区域分割结果;
第三子图像确定模块,用于确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
第四子图像确定模块,用于确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
第五子图像确定模块,用于确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;
第二肺段细分割模块,用于将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果。
本申请另一方面提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述的一种肺段分割方法。
本申请另一方面提供了另一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述的另一种肺段分割方法。
本申请另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的肺段分割方法。
本申请实施例提供的肺段分割方法、装置、设备及存储介质,具有如下技术效果:
本申请实施例通过获取待识别图像和对应的肺叶分割结果,基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果,能够快速进行肺段的粗定位,提高了数据测试和获取的速度,有利于后续的肺段细分割;通过确定所述待识别图像中与所述肺区域分割结果对应的第一子图像,确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像,再将所述第一子图像和所述第二子图像作为双通道肺段细分割模型的输入,基于所述双通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第一肺段分割结果,肺段细分割仅需在粗分割得到的肺区域分割结果上进行,且通过获取肺叶分割结果辅助进行肺段分割,更加准确高效。另一种肺段分割方法,通过获取待识别图像及对应的肺叶分割结果和支气管分割结果,基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果,能够快速进行肺段的粗定位,提高了数据测试和获取的速度,有利于后续的肺段细分割;确定所述待识别图像中与所述肺区域分割结果对应的第一子图像,确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像,确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像,再通过将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果,将支气管分割结果也作为肺段细分割模型输入,能够得到更加精确的肺段分割结果。
本发明实施例的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种肺段分割方法的流程图;
图2是本申请实施例提供的待识别图像的示意图;
图3是本申请实施例提供的左右肺叶分割结果的示意图;
图4是本申请实施例提供的左肺叶分割结果的示意图;
图5是本申请实施例提供的右肺叶分割结果的示意图;
图6是本申请实施例提供的左右肺段分割结果的示意图;
图7是本申请实施例提供的左肺段分割结果的示意图;
图8是本申请实施例提供的右肺段分割结果的示意图;
图9是本申请实施例提供的获取肺段标注结果的流程图;
图10是本申请实施例提供的支气管分割结果示意图;
图11是本申请实施例提供的左右肺支气管分支标识结果的示意图;
图12是本申请实施例提供的左肺支气管分支标识结果的示意图;
图13是本申请实施例提供的右肺支气管分支标识结果的示意图;
图14是本申请实施例提供的基于所述支气管分支标识结果对所述肺叶分割结果进行肺段分割,得到肺段标注结果的流程图;
图15是本申请实施例提供的另一种肺段分割方法的流程图;
图16是本申请实施例提供的一种肺段分割装置示意图;
图17是本申请实施例提供的另一种肺段分割装置示意图;
图18是本申请实施例提供的一种肺段分割方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
近年来,随着人工智能技术研究和进步,人工智能技术在多个领域得到广泛应用,本申请实施例提供的方案涉及人工智能的机器学习/深度学习等技术,具体通过如下实施例进行说明:
图1是本申请实施例提供的一种肺段分割方法的流程图,请参照图1,本实施例提供的肺段分割方法包括如下步骤:
S101,获取待识别图像和对应的肺叶分割结果。
具体地,所述肺叶分割结果可以包括左右肺叶分割结果、左肺叶分割结果、右肺叶分割结果中的任一。
在实际应用中,所述待识别图像可以包括计算机断层图像(CT图像),计算机断层图像具有扫描时间快,图像清晰等特点,可用于多种疾病的检查;所述待识别图像还可以包括但不限于磁共振图像、X光图像及B超图像。图2是本申请实施例提供的待识别图像的示意图,请参照图2,在本申请实施例中,所述待识别图像可以包括胸部CT图像。
具体地,获取肺叶分割结果可以包括:
基于肺叶分割模型对所述待识别图像进行肺叶分割处理,得到肺叶分割结果;
具体地,所述肺叶分割模型是基于样本图像及对应的肺叶标注结果进行肺叶分割训练得到的。
具体地,所述肺叶标注结果可以包括左右肺叶标注结果、左肺叶标注结果及右肺叶标注结果中的任一。当需要获取的肺叶分割结果为左右肺叶分割结果时,对应的肺叶标注结果为左右肺叶标注结果;当需要获取的肺叶分割结果为左肺叶分割结果时,对应的肺叶标注结果为左肺叶标注结果;当需要获取的肺叶分割结果为右肺叶分割结果时,对应的肺叶标注结果为右肺叶标注结果。
具体地,所述肺叶分割模型的训练方法可以包括:
1)获取待识别样本图像和对应的肺叶标注结果;
2)基于所述待识别样本图像对第四神经网络模型进行肺叶分割训练;
3)基于第一损失函数计算所述第四神经网络模型输出的肺叶分割结果与所述待识别样本图像对应的肺叶标注结果之间的误差值;
4)判断所述误差值是否满足第一预设条件;
5)当判断的结果为否时,调整所述第四神经网络模型中的模型参数,重复上述肺叶分割至判断的步骤;
6)当判断的结果为是时,将当前的第四神经网络模型作为所述肺叶分割模型。
具体地,所述第一损失函数可以包括但不限于Dice损失函数和Focal损失函数。本申请实施例中,所述肺叶分割模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net、U-Net。
图3是本申请实施例提供的左右肺叶分割结果的示意图,图4是本申请实施例提供的左肺叶分割结果的示意图,图5是本申请实施例提供的右肺叶分割结果的示意图;图中示出了对所述待识别图像进行肺叶分割处理后得到的左右肺叶分割结果,具体地,左肺分为上叶和下叶,右肺分为上叶、中叶和下叶,通过肺叶分割能够得到清楚的肺叶分割结果,通过肺叶分割结果辅助进行后续的肺段分割。
基于肺叶分割模型对所述待识别图像进行肺叶分割处理,得到肺叶分割结果能够通过肺叶分割模型方便快速地获得待识别图像的肺叶分割结果,后续能够利用肺叶分割结果辅助进行肺段分割,更加灵活高效。
S103,基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果。
具体地,所述肺区域分割结果可以包括左右肺区域分割结果、左肺区域分割结果及右肺区域分割结果中的任一。
具体地,所述肺段粗分割模型是基于样本图像及对应的肺区域标注结果进行肺段粗分割训练得到的。
具体地,所述肺区域标注结果可以包括左右肺区域标注结果、左肺区域标注结果及右肺区域标注结果中的任一。当需要获取的肺区域分割结果为左右肺区域分割结果时,对应的肺区域标注结果为左右肺区域标注结果;当需要获取的肺区域分割结果为左肺区域分割结果时,对应的肺区域标注结果为左肺区域标注结果;当需要获取的肺区域分割结果为右肺区域分割结果时,对应的肺区域标注结果为右肺区域标注结果。
具体地,所述肺段粗分割模型的训练方法可以包括:
1)获取待识别样本图像和对应的肺区域标注结果;
2)对所述待识别样本图像进行第一预处理;
本申请实施例中,所述对所述待识别样本图像进行第一预处理可以包括:
(1)将所述待识别样本图像重采样为第一分辨率的图像。
在实际应用中,所述第一分辨率是基于大量不同分辨率的待识别样本图像进行肺段粗分割训练测试的结果归纳得到的,具体地,所述第一分辨率可以取[6mm,6mm,6mm],即X轴、Y轴、Z轴分辨率均为6mm。
(2)对所述待识别样本图像进行归一化处理。
具体地,所述对所述待识别样本图像进行归一化处理可以包括:
选择肺窗,将窗宽及窗位设置为预设值。
在实际应用中,这里的预设值可以结合大量待识别样本图像和对应的肺区域分割结果的信息进行归纳确定。具体地,所述预设值可以取窗位为-400,窗宽为1500,通过将窗宽及窗位设为预设值可以将待识别样本图像的像素值归一化到-1~1之间。
(3)随机从待识别样本图像中获取预设尺寸的子图像。
在实际应用中,这里的预设尺寸可以结合大量待识别样本图像中不同尺寸的子图像进行测试归纳确定。具体地,所述预设尺寸可以取[96,96,96],通过采用预设尺寸的子图像即图像块进行模型训练,占用的内存较少,能够提高模型训练的效率,使得模型性能更优。
3)基于经过预处理的待识别样本图像对第一神经网络模型进行肺段粗分割的训练;
4)基于第二损失函数计算所述第一神经网络模型输出的肺区域分割结果与所述待识别样本图像对应的肺区域标注结果之间的误差值;
5)判断所述误差值是否满足第二预设条件;
6)当判断的结果为否时,调整所述第一神经网络模型中的模型参数,重复上述肺段粗分割至判断的步骤;
7)当判断的结果为是时,将当前的第一神经网络模型作为所述肺段粗分割模型。
具体地,所述第二损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述肺段粗分割模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net和U-Net。
本申请实施例中,所述基于肺段粗分割模型对待识别图像进行肺段粗分割之前还包括:
对所述待识别图像进行第二预处理,所述对所述待识别图像进行第二预处理包括将所述待识别图像重采样为第一分辨率的图像;
所述基于肺段粗分割模型对所述待识别图像进行肺段粗分割可以包括基于肺段粗分割模型对经过预处理的待识别图像进行肺段粗分割。
在实际应用中,所述第一分辨率是基于大量不同分辨率的待识别样本图像进行肺段粗分割训练测试的结果归纳得到的,一般来说,分辨率数值越小,则图像的分辨率越高,具体地,所述第一分辨率数值可以取[6mm,6mm,6mm],即X轴、Y轴、Z轴分辨率数值均为6mm。由于所述肺段粗分割仅需得到肺区域分割结果,通过将所述待识别图像重采样为较低的分辨率,图像较小,且仅需前向网络计算,运行速度较快,能够高效快速地实现肺段粗分割,得到肺区域分割结果,占用内存较少。
通过肺段粗分割模型能够方便快速地获得待识别图像的肺区域分割结果,且通过将所述待识别图像重采样为第一分辨率的图像,使得肺段粗分割仅需在较低分辨率的图像上进行,占用内存较少,提高分割处理的速度和效率。
S105,确定所述待识别图像中与所述肺区域分割结果对应的第一子图像。
具体地,所述肺区域分割结果可以包括左右肺区域分割结果、左肺区域分割结果及右肺区域分割结果中的任一。
具体地,所述确定所述待识别图像中与所述肺区域分割结果对应的第一子图像可以包括:
1)基于所述肺区域分割结果确定所述肺区域分割结果对应的边界框。
在本申请实施例中,所述边界框具体可以为长方体,具体地,基于所述肺区域分割结果确定所述肺区域分割结果对应的边界框可以包括:基于所述肺区域分割结果中各像素点的坐标范围信息确定所述边界框的长、宽及高的信息;基于所述边界框的长、宽及高的信息确定边界框的中心点的世界坐标,得到所述肺区域分割结果对应的边界框。
2)对所述肺区域分割结果对应的边界框进行放大处理。
具体地,所述对所述肺区域分割结果对应的边界框进行放大处理可以包括:
对所述边界框的长、宽和高中的至少一个进行预设尺寸的放大;
或;
基于边界框中心点的世界坐标对所述边界框整体进行预设比例的放大;
具体地,所述预设尺寸和预设比例可以根据实际应用需要进行设定。在实际应用中,所述对所述边界框的长、宽和高中的至少一个进行预设尺寸的放大可以包括,例如,仅对边界框的长进行放大;或;对边界框的长和宽分别进行放大,其中,在对边界框的长和宽分别进行放大时,可以取不同的预设尺寸。
3)将经过放大处理的边界框作为裁剪框。
4)基于裁剪框的属性信息和所述待识别图像,确定所述待识别图像中与所述肺区域分割结果对应的第一子图像。
具体地,所述裁剪框的属性信息可以包括裁剪框的中心点的世界坐标和长、宽及高的信息。
通过确定所述待识别图像中与所述肺区域分割结果对应的第一子图像,即确定了待识别图像中与所述肺区域分割结果对应的感兴趣区域,使得后续肺段分割仅需在感兴趣区域(左右肺区域、左肺区域或右肺区域)上进行,提高了肺段分割的效率。通过对所述重采样后的肺区域分割结果的轮廓进行预设比例的放大,是为了能够让感兴趣区域被完全包含,提高肺段分割的准确性。
S107,确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像。
具体地,若此时的肺区域分割结果为左右肺区域分割结果,则此时的肺叶分割结果为左右肺叶分割结果;若此时的肺区域分割结果为左肺区域分割结果,则此时的肺叶分割结果为左肺叶分割结果;若此时的肺区域分割结果为右肺区域分割结果,则此时的肺叶分割结果为右肺叶分割结果。
具体地,S107的具体过程与S105类似,但此时是基于裁剪框的属性信息和所述肺叶分割结果,确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像,具体步骤可以参见上述步骤S105中的相关描述,在此不再赘述。
通过确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像,即确定出了待识别图像及肺叶分割结果中与所述肺区域分割结果对应的感兴趣区域,使得后续肺段分割仅需在感兴趣区域(左右肺区域、左肺区域或右肺区域)上进行,提高了肺段分割的效率。
通过对所述肺区域分割结果对应的边界框进行放大处理,能够确保左右肺区域、左部肺区域或右部肺区域被完全包含,便于后续进行肺段细分割,提高了后续获得的肺段分割结果的可靠性和准确性。
S109,基于双通道肺段细分割模型对所述第一子图像和第二子图像进行肺段细分割,得到第一肺段分割结果。
具体地,所述肺段分割结果可以包括第一左右肺段分割结果、第一左肺段分割结果及第一右肺段分割结果中的任一。
具体地,所述双通道肺段细分割模型是基于样本图像及对应的肺叶分割结果和肺段标注结果进行肺段分割训练得到的。
具体地,当需要获取的第一肺段分割结果为第一左右肺段分割结果时,双通道肺段细分割模型训练中对应的肺叶分割结果为左右肺叶分割结果,肺段标注结果为左右肺段标注结果;当需要获取的第一肺段分割结果为第一左肺段分割结果时,双通道肺段细分割模型训练中对应的肺叶分割结果为左肺叶分割结果,肺段标注结果为左肺段标注结果;当需要获取的第一肺段分割结果为第一右肺段分割结果时,双通道肺段细分割模型训练中对应的肺叶分割结果为右肺叶分割结果,肺段标注结果为右肺段标注结果。
具体地,所述方法可以包括:
1)获取待识别样本图像及对应的肺叶分割结果和肺段标注结果;
2)对所述待识别样本图像及对应的肺叶分割结果进行第四预处理;
本申请实施例中,所述对所述待识别样本图像及对应的肺叶分割结果进行第四预处理还可以包括:
(1)将所述待识别样本图像及对应的肺叶分割结果重采样为第二分辨率的图像。
在实际应用中,所述第二分辨率是基于大量不同分辨率的待识别样本图像进行肺段细分割训练测试的结果归纳确定的,具体地,所述第二分辨率数值可以取[1mm,1mm,1mm],即X轴、Y轴、Z轴分辨率数值均为1mm。
(2)对所述待识别样本图像及对应的肺叶分割结果进行归一化处理。
具体地,所述对所述待识别样本图像及对应的肺叶分割结果进行归一化处理可以包括:
对所述待识别样本图像选择肺窗,将窗宽及窗位设置为第一预设值;
将待识别样本图像对应的肺叶分割结果的窗宽及窗位设置为第二预设值。
在实际应用中,这里的第一预设值和第二预设值可以结合大量待识别样本图像及对应的肺叶分割结果信息进行测试归纳确定。具体地,所述第一预设值可以取窗位为-400,窗宽为1500;当肺叶分割结果为左肺叶分割结果时,所述第二预设值可以取窗位为1,窗宽为2;当肺叶分割结果为右肺叶分割结果时,所述第二预设值可以取窗位为1.5,窗宽为3。通过分别对所述待识别样本图像及所述待识别样本图像对应的肺叶分割结果选择肺窗,将窗宽及窗位分别设为第一预设值和第二预设值可以分别将待识别图像及对应的肺叶分割结果的像素值归一化到-1~1之间。
(3)随机从待识别样本图像及对应的肺叶分割结果中获取预设尺寸的子图像。
在实际应用中,这里的预设尺寸可以结合大量待识别样本图像及对应的肺叶分割结果中不同尺寸的子图像进行测试归纳确定。具体地,所述预设尺寸可以取[96,96,96],通过采用预设尺寸的子图像即图像块进行模型训练,占用的内存较少,能够提高模型训练的效率,使得模型性能更优。
3)基于经过预处理的待识别样本图像和对应的肺叶分割结果对第二神经网络模型进行肺段细分割的训练;
4)基于第三损失函数计算所述第二神经网络模型输出的肺段分割结果与所述待识别样本图像对应的肺段标注结果之间的误差值;
5)判断所述误差值是否满足第三预设条件;
6)当判断的结果为否时,调整所述第二神经网络模型中的模型参数,重复上述肺段细分割至判断的步骤;
7)当判断的结果为是时,将当前的第二神经网络模型作为所述双通道肺段细分割模型。
具体地,所述第二损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述双通道肺段细分割模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net和U-Net。
本申请实施例中,所述基于双通道肺段细分割模型对所述第一子图像和第二子图像进行肺段细分割之前还包括:
对所述第一子图像和第二子图像进行预处理。
具体地,所述对所述第一子图像和第二子图像进行预处理包括将所述第一子图像和第二子图像重采样为第二分辨率的图像;
其中,所述第二分辨率高于所述第一分辨率。
通过将第一子图像和第二子图像重采样为较高分辨率的图像,能够提高肺段分割结果的精确性和可靠性,使得肺段分割更加准确。
所述基于双通道肺段细分割模型对所述第一子图像和第二子图像进行肺段细分割可以包括基于双通道肺段细分割模型对经过预处理的第一子图像和第二子图像进行肺段细分割。
在实际应用中,所述第二分辨率是基于大量不同分辨率的待识别样本图像进行肺段细分割训练测试的结果归纳确定的,所述第二分辨率数值可以取为[1mm,1mm,1mm],即X轴、Y轴、Z轴分辨率均为1mm。
图6是本申请实施例提供的左右肺段分割结果的示意图,图7是本申请实施例提供的左肺段分割结果的示意图,图8是本申请实施例提供的右肺段分割结果的示意图,如上述图例所示,在本申请实施例中,左肺分为8个肺段,右肺分为10个肺段。
通过将第一子图像和第二子图像重采样为较高分辨率的图像,能够提高肺段分割结果的精确性和可靠性,使得肺段分割更加准确;通过确定待识别图像中与所述肺区域分割结果对应的第一子图像和肺叶分割图像中与所述肺区域分割结果对应的第二子图像,使得肺段细分割仅需在感兴趣区域(左右肺区域、左肺区域或右肺区域)上进行,能够减少内存消耗,并且利用肺叶分割图像中与所述肺区域分割结果对应的第二子图像来辅助进行肺段细分割提升了肺段分割的准确性,更加快速高效,且能够根据需要进行左右肺段分割;或;仅进行左肺段分割或右肺段分割,更加灵活,方便快捷。
如图9所示,在本申请实施例中,所述获取肺段标注结果包括:
S901,获取分辨率高于预设阈值的图像。
在实际应用中,所述预设阈值是基于大量不同分辨率的样本图像进行支气管分割测试归纳确定的,一般来说,Z轴分辨率数值越低,即图像越薄,图像分辨率越高,这里的预设阈值可以取Z轴分辨率数值为1mm,即获取Z轴分辨率数值小于1mm的CT图像。
S903,对所述分辨率高于预设阈值的图像进行肺叶分割处理,得到肺叶分割结果。
具体地,所述肺叶分割结果可以包括左右肺叶分割结果、左肺叶分割结果及右肺叶分割结果中的任一。
具体地,这里对所述分辨率高于预设阈值的图像进行肺叶分割处理,得到肺叶分割结果的具体步骤与S101中获取肺叶分割结果的步骤类似,但此时是对所述分辨率高于预设阈值的图像进行肺叶分割处理,具体步骤可以参见S101中获取肺叶分割结果的相关描述,在此不再赘述。
通过肺叶分割能够得到清楚的肺叶分割结果,通过肺叶分割结果辅助进行后续的肺段分割;通过肺叶分割模型能够方便快速地获得所述分辨率高于预设阈值的图像的肺叶分割结果,利用肺叶分割结果辅助进行肺段分割,更加高效。
S905,对所述分辨率高于预设阈值的图像进行支气管分支标识,得到支气管分支标识结果。
具体地,所述支气管分支标识结果可以包括左右肺支气管分支标识结果、左肺支气管分支标识结果及右肺支气管分支标识结果中的任一。
具体地,所述对所述分辨率高于预设阈值的图像进行支气管分支标识,得到支气管分支标识结果包括:
S9051,基于支气管分割模型对所述分辨率高于预设阈值的图像进行支气管分割,得到支气管分割结果。
具体地,所述支气管分割结果可以包括左右肺支气管分割结果、左肺支气管分割结果及右肺支气管分割结果中的任一。
具体地,所述支气管分割模型是基于分辨率高于预设阈值的样本图像及对应的支气管标注结果进行支气管分割训练得到的。
具体地,所述支气管标注结果可以包括左右肺支气管标注结果、左肺支气管标注结果及右肺支气管标注结果中的任一。
具体地,当需要获取的支气管分割结果为左右肺支气管分割结果时,对应的支气管标注结果为左右肺支气管标注结果;当需要获取的支气管分割结果为左肺支气管分割结果时,对应的支气管标注结果为左肺支气管标注结果;当需要获取的支气管分割结果为右肺支气管分割结果时,对应的支气管标注结果为右肺支气管标注结果。
具体地,所述方法可以包括:
1)获取待识别分辨率高于预设阈值的样本图像和对应的支气管标注结果;
2)基于所述待识别分辨率高于预设阈值的样本图像对第五神经网络模型进行支气管分割的训练;
3)基于第四损失函数计算所述第五神经网络模型输出的支气管分割结果与所述待识别分辨率高于预设阈值的样本图像对应的支气管标注结果之间的误差值;
4)判断所述误差值是否满足第四预设条件;
5)当判断的结果为否时,调整所述第五神经网络模型中的模型参数,重复上述支气管分割至判断的步骤;
6)当判断的结果为是时,将当前的第五神经网络模型作为所述支气管分割模型。
具体地,所述第四损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述支气管分割模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net、U-Net。
图10是本申请实施例提供的一种支气管分割结果示意图,如图10所示,图中示出的白色部分即支气管结构,黑色部分为背景区域。
S9053,基于支气管分支标识模型对所述支气管分割结果进行支气管分支标识,得到支气管分支标识结果。
具体地,所述支气管分支标识结果可以包括左右肺支气管分支标识结果、左肺支气管分支标识结果及右肺支气管分支标识结果中的任一。
具体地,所述支气管分支标识模型是基于支气管分割样本图像及对应的支气管分支标识标注结果进行支气管分支标识训练得到的。
具体地,所述支气管分支标识标注结果可以包括左右肺支气管分支标识标注结果、左肺支气管分支标识标注结果及右肺支气管分支标识标注结果中的任一。
具体地,当需要获取的支气管分支标识结果为左右肺支气管分支标识结果时,对应的支气管分支标识标注结果为左右肺支气管分支标识标注结果;当需要获取的支气管分支标识结果为左肺支气管分支标识结果时,对应的支气管分支标识标注结果为左肺支气管分支标识标注结果;当需要获取的支气管分支标识结果为右肺支气管分支标识结果时,对应的支气管分支标识标注结果为右肺支气管分支标识标注结果。
具体地,所述方法可以包括:
1)获取支气管分割样本图像和对应的支气管分支标识标注结果;
2)基于所述支气管分割样本图像对第六神经网络模型进行支气管分支标识的训练;
3)基于第五损失函数计算所述第六神经网络模型输出的支气管分支标识结果与所述支气管分割样本图像对应的支气管分支标识标注结果之间的误差值;
4)判断所述误差值是否满足第五预设条件;
5)当判断的结果为否时,调整所述第六神经网络模型中的模型参数,重复上述支气管分支标识至判断的步骤;
6)当判断的结果为是时,将当前的第六神经网络模型作为所述支气管分支标识模型。
具体地,所述第五损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述支气管分支标识模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net、U-Net。
图11是本申请实施例提供的左右肺支气管分支标识结果的示意图,图12是本申请实施例提供的左肺支气管分支标识结果的示意图,图13是本申请实施例提供的右肺支气管分支标识结果的示意图;如图11、图12、图13所示,图中灰色部分为标识出来的支气管分支。
由于低分辨率厚层CT图像中支气管分支的连续性较差,本申请通过获取分辨率高于预设阈值的样本图像,即高分辨率薄层CT图像进行支气管分割从而进一步进行支气管分支标识,能够确保得到的支气管分支结果更加准确可靠,有利于接下来基于支气管分支结果进行肺段分割;通过训练支气管分割模型和支气管分支标识模型能够快速高效地获取支气管分割结果和支气管分支标识结果,通用性强,且能够针对每个病人根据其支气管走形确认支气管分支标识,适应不同个体的差异,较为准确高效。
S907,基于所述支气管分支标识结果对所述肺叶分割结果进行肺段分割,得到肺段标注结果。
具体地,所述肺段标注结果可以包括左右肺段标注结果、左肺段标注结果及右肺段标注结果中的任一。当需要获取的肺段标注结果为左右肺段标注结果时,对应的支气管分支标识结果为左右肺支气管分支标识结果,肺叶分割结果为左右肺叶分割结果;当需要获取的肺段标注结果为左肺段标注结果时,对应的支气管分支标识结果为左肺支气管分支标识结果,肺叶分割结果为左肺叶分割结果;当需要获取的肺段标注结果为右肺段标注结果时,对应的支气管分支标识结果为右肺支气管分支标识结果,肺叶分割结果为右肺叶分割结果。
具体地,如图14所示,所述基于所述支气管分支标识结果对所述肺叶分割结果进行肺段分割,得到肺段标注结果包括:
S1401,基于支气管分支标识结果,确定所述肺叶分割结果中每一像素点到对应的肺叶中的每一支气管分支的距离。
本说明书实施例中,上述生成支气管分支标识的过程中,为了区分不同的支气管分支,可以为每一支气管分支生成一个唯一标识信息,使得支气管分支之间能够相互区分。在实际应用中,例如,所述支气管分支可以按序编码,具体地,例如,对于左右肺支气管分支,可以依次以数字1~18进行编码,且肺段标识与支气管分支标识一一对应。
具体地,基于得到的支气管分支标识结果,对于肺叶分割结果中的一个像素点,可以得到它到对应肺叶中的每个支气管分支的距离,例如,由于左肺上叶的肺段只能是1、2、3或4号肺段,对于左肺上叶的一个像素点,只需分别确定该像素点到1、2、3和4号支气管分支的距离。
S1403,基于所述肺叶分割结果中每一像素点到对应的肺叶中的每一支气管分支的距离,确定最小距离对应的支气管分支的标识。
具体地,确定所述肺叶分割结果中每一像素点到对应的肺叶中的每一支气管分支的距离后,比较所述每一像素点到对应的肺叶中的每一支气管分支的距离的大小,可以确定其中最小距离对应的支气管分支的标识。以上述左肺上叶的像素点为例,分别确定出该像素点到1、2、3和4号支气管分支的距离后,比较该像素点到1、2、3和4号支气管分支的距离的大小,例如,该像素点到1号支气管分支的距离最小,则该像素点对应的支气管分支的标识为1。
S1405,基于所述最小距离对应的支气管分支的标识,确定所述每一像素点对应的肺段标识。
具体地,确定最小距离对应的支气管分支的标识后,由于肺段标识与支气管分支标识一一对应,能够根据所述最小距离对应的支气管分支的标识得到所述每一像素点对应的肺段。以上述左肺上叶的像素点为例,该像素点到对应的肺叶中的每一支气管分支的距离中的最小距离对应的支气管分支的标识为1,则可以确定该像素点对应的肺段标识为1,即1号肺段,在本申请实施例中,1号肺段具体可以表示左肺上叶/尖后段,在进行输出显示时,可以显示为左肺上叶/尖后段。
S1407,基于所述每一像素点对应的肺段,得到肺段标注结果。
具体地,遍历所有像素点,整合所有像素点对应的肺段,即可得到肺段标注结果。
在获取肺段标注结果时,由于低分辨率厚层CT图像中支气管分支的连续性较差,本申请通过获取分辨率高于预设阈值的样本图像,即高分辨率薄层CT图像进行支气管分割从而进一步进行支气管分支标识,能够确保得到的支气管分支结果更加准确可靠,有利于接下来基于支气管分支结果进行肺段分割;通过训练支气管分割模型和支气管分支标识模型能够快速高效地获取支气管分割结果和支气管分支标识结果,通用性强,且能够针对每个病人根据其支气管走形确认支气管分支标识,适应不同个体的差异,更加准确高效,能够根据需要针对左右肺(整个肺部)进行肺段分割或单独对左肺或右肺进行肺段分割,获取左右肺段标注结果;或;仅获取左肺段标注结果或右肺段标注结果,更加灵活。
如图15所示,在另一些实施例中,所述肺段分割方法可以包括:
S1501,获取待识别图像、对应的肺叶分割结果及对应的支气管分割结果。
具体地,这里获取待识别图像及对应的肺叶分割结果具体步骤与S101中获取待识别图像及对应的肺叶分割结果的步骤类似,具体步骤可以参见S101中获取待识别图像及对应的肺叶分割结果的相关描述,在此不再赘述。
具体地,获取支气管分割结果可以包括:
基于支气管分割模型对所述待识别图像进行支气管分割处理,得到支气管分割结果;
具体地,所述支气管分割模型是基于样本图像及对应的支气管标注结果进行支气管分割训练得到的。
具体地,训练方法与S9051中的方法类似,具体步骤可以参见步骤S9051中的相关描述,在此不再赘述。
S1503,基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果。
S1505,确定所述待识别图像中与所述肺区域分割结果对应的第一子图像。
S1507,确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像。
S1509,确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像。
具体地,S1509中确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像的具体步骤与S107确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像的步骤类似,所述支气管分割结果可以包括左右肺支气管分割结果、左肺支气管分割结果及右肺支气管分割结果中的任一。具体地,若此时的肺区域分割结果为左右肺区域分割结果,则此时的支气管分割结果为左右肺支气管分割结果;若此时的肺区域分割结果为左肺区域分割结果,则此时的支气管分割结果为左肺支气管分割结果;若此时的肺区域分割结果为右肺区域分割结果,则此时的支气管分割结果为右肺支气管分割结果。具体步骤可以参见S107中的相关描述,在此不再赘述。
具体地,这里S1503~S1507的具体过程与S103~S107的步骤类似,具体过程可以参见S103~S107中的相关描述,在此不再赘述。
S1511,将所述第一子图像、第二子图像及第三子图像作为所述三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果。
具体地,所述三通道肺段细分割模型是基于样本图像及对应的肺叶分割结果、支气管分割结果及肺段标注结果进行肺段分割训练得到的。
具体地,所述方法可以包括:
1)获取待识别样本图像、对应的肺叶分割结果、支气管分割结果及对应的肺段标注结果;
2)对所述待识别样本图像及对应的肺叶分割结果进行预处理;
具体地,这里对所述待识别样本图像及对应的肺叶分割结果进行预处理的具体步骤与S109的步骤类似,具体步骤可以参见S109中的相关描述,在此不再赘述。
3)基于经过预处理的待识别样本图像和对应的肺叶分割结果和支气管分割结果对第三神经网络模型进行肺段细分割的训练;
4)基于第六损失函数计算所述第三神经网络模型输出的第二肺段分割结果与所述待识别样本图像对应的肺段标注结果之间的误差值;
5)判断所述误差值是否满足第六预设条件;
6)当判断的结果为否时,调整所述第三神经网络模型中的模型参数,重复上述肺段细分割至判断的步骤;
7)当判断的结果为是时,将当前的第三神经网络模型作为所述三通道肺段细分割模型。
具体地,所述第六损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述三通道肺段细分割模型使用的神经网络可以包括但不限于二维卷积神经网络、三维卷积神经网络中的V-Net、U-Net。
通过确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果,能够利用肺叶分割图像中与所述肺区域分割结果对应的第二子图像和支气管分割图像中与所述肺区域分割结果对应的第三子图像来辅助进行肺段细分割,能够使得得到的肺段分割结果准确性更高,可靠性更强。
本申请实施例还提供了一种肺段分割装置,如图16所示,所述装置包括:
第一图像获取模块1610,用于获取待识别图像和对应的肺叶分割结果;
第一肺段粗分割模块1620,用于基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果;
第一子图像确定模块1630,用于确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
第二子图像确定模块1640,用于确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
第一肺段细分割模块1650,用于将所述第一子图像和所述第二子图像作为双通道肺段细分割模型的输入,基于所述双通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第一肺段分割结果。
本申请另一方面提供了另一种肺段分割装置,如图17所示,所述装置包括:
第二图像获取模块1710,用于获取待识别图像及对应的肺叶分割结果和支气管分割结果;
第二肺段粗分割模块1720,用于基于肺段粗分割模型对待识别图像进行肺段粗分割,得到肺区域分割结果;
第三子图像确定模块1730,用于确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;
第四子图像确定模块1740,用于确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
第五子图像确定模块1750,用于确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;
第二肺段细分割模块1760,用于将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果。
在一些实施例中,所述肺段分割装置还包括:
第一样本图像获取模块,用于获取样本图像和对应的肺区域标注结果;
第一训练模块,用于基于所述样本图像对第一神经网络模型进行肺段粗分割的训练,在肺段粗分割的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型输出的肺区域分割结果与所述样本图像对应的肺区域标注结果相匹配;
肺段粗分割模型确定模块,用于当所述第一神经网络模型输出的肺区域分割结果与所述样本图像对应的肺区域标注结果相匹配时,将当前的第一神经网络模型作为所述肺段粗分割模型。
在一些实施例中,所述肺段分割装置还包括:
第二样本图像获取模块,用于获取样本图像及对应的肺叶分割结果及肺段标注结果;
第二训练模块,用于基于所述样本图像及对应的肺叶分割结果对第二神经网络模型进行肺段细分割的训练,在肺段细分割的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型输出的肺段分割结果与所述样本图像对应的肺段标注结果相匹配;
双通道肺段细分割模型确定模块,用于当所述第二神经网络模型输出的第一肺段分割结果与所述样本图像对应的肺段标注结果相匹配时,将当前的第二神经网络模型作为所述双通道肺段细分割模型。
在一些实施例中,所述肺段分割装置还包括:
第三样本图像获取模块,用于获取待识别样本图像、对应的肺叶分割结果、支气管分割结果及对应的肺段标注结果;
第三训练模块,用于基于所述样本图像、样本图像对应的肺叶分割结果及样本图像对应的支气管分割结果对第三神经网络模型进行肺段细分割的训练,在肺段细分割的训练中调整所述第三神经网络模型的模型参数至所述第三神经网络模型输出的肺段分割结果与所述样本图像对应的肺段标注结果相匹配;
三通道肺段细分割模型确定模块,用于当所述第三神经网络模型输出的第二肺段分割结果与所述样本图像对应的肺段标注结果相匹配时,将当前的第三神经网络模型作为所述三通道肺段细分割模型。
所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例提供了一种肺段分割设备,该肺段分割设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的一种肺段分割方法。
本申请实施例提供了另一种肺段分割设备,该肺段分割设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的另一种肺段分割方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图18是本申请实施例提供的一种肺段分割方法的服务器的硬件结构框图。如图18所示,该服务器1800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)1810(处理器1810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1830,一个或一个以上存储应用程序1823或数据1822的存储介质1820(例如一个或一个以上海量存储设备)。其中,存储器1830和存储介质1820可以是短暂存储或持久存储。存储在存储介质1820的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1810可以设置为与存储介质1820通信,在服务器1800上执行存储介质1820中的一系列指令操作。服务器1800还可以包括一个或一个以上电源1860,一个或一个以上有线或无线网络接口1850,一个或一个以上输入输出接口1840,和/或,一个或一个以上操作系统1821,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口1840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1800的通信供应商提供的无线网络。在一个实例中,输入输出接口1840包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1840可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图18所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1800还可包括比图18中所示更多或者更少的组件,或者具有与图18所示不同的配置。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种肺段分割方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的肺段分割方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的肺段分割方法、装置、服务器或存储介质的实施例可见,本申请中肺段分割方法可以获取待识别图像和对应的肺叶分割结果;基于肺段粗分割模型对所述待识别图像进行肺段粗分割,得到肺区域分割结果;能够利用肺叶分割结果辅助进行肺段分割,更加灵活高效,通过肺段粗分割模型能够方便快速地获得待识别图像的肺区域分割结果,且通过将所述待识别图像重采样为第一分辨率的图像,使得肺段粗分割仅需在较低分辨率的图像上进行,占用显存较少,分割较为快速高效。确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;基于双通道肺段细分割模型对所述第一子图像和第二子图像进行肺段细分割,得到第一肺段分割结果;通过将第一子图像和第二子图像重采样为较高分辨率的图像,能够提高肺段分割结果的精确性和可靠性,使得肺段分割更加准确;通过确定待识别图像中与所述肺区域分割结果对应的第一子图像和肺叶分割图像中与所述肺区域分割结果对应的第二子图像,使得肺段细分割仅需在感兴趣区域(左右肺区域、左肺区域或右肺区域)上进行,并且利用肺叶分割图像中与所述肺区域分割结果对应的第二子图像来辅助进行肺段细分割提升了肺段分割的效率,更加快速高效;且能够根据需要针对左右肺(整个肺部)进行肺段分割或单独对左肺或右肺进行肺段分割,更加灵活。另一种肺段分割方法通过确定所述待识别图像中与所述肺区域分割结果对应的第一子图像;确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;将所述第一子图像、第二子图像及第三子图像作为三通道肺段细分割模型的输入,基于所述三通道肺段细分割模型对所述第一子图像进行肺段细分割,得到第二肺段分割结果,利用肺叶分割图像中与所述肺区域分割结果对应的第二子图像和支气管分割图像中与所述肺区域分割结果对应的第三子图像来辅助进行肺段细分割,能够使得得到的肺段分割结果准确性更高,可靠性更强。
在获取肺段标注结果时,通过获取分辨率高于预设阈值的图像;对所述分辨率高于预设阈值的图像进行肺叶分割处理,得到肺叶分割结果;对所述分辨率高于预设阈值的图像进行支气管分支标识,得到支气管分支标识结果;基于所述支气管分支标识结果对所述肺叶分割结果进行肺段分割,得到肺段标注结果。由于低分辨率厚层CT图像中支气管分支的连续性较差,本申请通过获取分辨率高于预设阈值的样本图像,即高分辨率薄层CT图像进行支气管分割从而进一步进行支气管分支标识,能够确保得到的支气管分支结果更加准确可靠,有利于接下来基于支气管分支结果进行肺段分割;通过训练支气管分割模型和支气管分支标识模型能够快速高效地获取支气管分割结果和支气管分支标识结果,通用性强,且能够针对每个病人根据其支气管走形确认支气管分支标识,适应不同个体的差异,更加准确高效,能够根据需要针对左右肺(整个肺部)进行肺段分割或单独对左肺或右肺进行肺段分割,获取左右肺段标注结果;或;仅获取左肺段标注结果或右肺段标注结果,更加灵活。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种肺段分割方法,其特征在于,所述方法包括:
获取待识别胸部图像和对应的肺叶分割结果;
将所述待识别胸部图像重采样为第一分辨率的图像;
基于肺段粗分割模型对所述第一分辨率的图像进行肺段粗分割,得到肺区域分割结果;
确定所述待识别胸部图像中与所述肺区域分割结果对应的第一子图像;
确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
将所述第一子图像和所述第二子图像分别重采样为第二分辨率的第一子图像和所述第二分辨率的第二子图像,所述第二分辨率高于所述第一分辨率;
将所述第二分辨率的第一子图像和所述第二分辨率的第二子图像作为双通道肺段细分割模型的输入,根据所述第二分辨率的第二子图像对所述第二分辨率的第一子图像进行肺段细分割,得到第一肺段分割结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本图像和对应的肺区域标注结果;
基于所述样本图像对第一神经网络模型进行肺段粗分割的训练,在肺段粗分割的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型输出的肺区域分割结果与所述样本图像对应的肺区域标注结果相匹配;
将当前的第一神经网络模型作为所述肺段粗分割模型。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本图像及对应的肺叶分割结果及肺段标注结果;
基于所述样本图像及对应的肺叶分割结果对第二神经网络模型进行肺段细分割的训练,在肺段细分割的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型输出的第一肺段分割结果与所述样本图像对应的肺段标注结果相匹配;
将当前的第二神经网络模型作为所述双通道肺段细分割模型。
4.根据权利要求3所述的方法,其特征在于,获取肺段标注结果包括:
获取分辨率高于预设阈值的图像;
对所述分辨率高于预设阈值的图像进行肺叶分割处理,得到肺叶分割结果;
对所述分辨率高于预设阈值的图像进行支气管分支标识,得到支气管分支标识结果;
基于所述支气管分支标识结果对所述肺叶分割结果进行肺段分割,得到肺段标注结果。
5.根据权利要求4所述的方法,其特征在于,所述对所述分辨率高于预设阈值的图像进行支气管分支标识,得到支气管分支标识结果包括:
基于支气管分割模型对所述分辨率高于预设阈值的图像进行支气管分割,得到支气管分割结果;
基于支气管分支标识模型对所述支气管分割结果进行支气管分支标识,得到支气管分支标识结果。
6.根据权利要求1所述的方法,其特征在于,所述获取肺叶分割结果包括:
基于肺叶分割模型对所述待识别胸部图像进行肺叶分割处理,得到肺叶分割结果;
其中,所述肺叶分割模型是基于样本图像及对应的肺叶标注结果进行肺叶分割训练得到的。
7.一种肺段分割方法,其特征在于,所述方法包括:
获取待识别胸部图像及对应的肺叶分割结果和支气管分割结果;
将所述待识别胸部图像重采样为第一分辨率的图像;
基于肺段粗分割模型对所述第一分辨率的图像进行肺段粗分割,得到肺区域分割结果;
确定所述待识别胸部图像中与所述肺区域分割结果对应的第一子图像;
确定所述肺叶分割结果中与所述肺区域分割结果对应的第二子图像;
确定所述支气管分割结果中与所述肺区域分割结果对应的第三子图像;
将所述第一子图像、所述第二子图像和所述第三子图像分别重采样为第二分辨率的第一子图像、所述第二分辨率的第二子图像和所述第二分辨率的第三子图像,所述第二分辨率高于所述第一分辨率;
将所述第二分辨率的第一子图像、所述第二分辨率的第二子图像及所述第二分辨率的第三子图像作为三通道肺段细分割模型的输入,根据所述第二分辨率的第二子图像和所述第二分辨率的第三子图像对所述第二分辨率的第一子图像进行肺段细分割,得到第二肺段分割结果。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取样本图像、样本图像对应的肺叶分割结果、样本图像对应的支气管分割结果及肺段标注结果;
基于所述样本图像、样本图像对应的肺叶分割结果及样本图像对应的支气管分割结果对第三神经网络模型进行肺段细分割的训练,在肺段细分割的训练中调整所述第三神经网络模型的模型参数至所述第三神经网络模型输出的第二肺段分割结果与所述样本图像对应的肺段标注结果相匹配;
将当前的第三神经网络模型作为所述三通道肺段细分割模型。
9.根据权利要求7所述的方法,其特征在于,所述获取支气管分割结果包括:
基于支气管分割模型对所述待识别胸部图像进行支气管分割处理,得到支气管分割结果;
其中,所述支气管分割模型是基于样本图像及对应的支气管标注结果进行支气管分割训练得到的。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6和7至9任一所述的肺段分割方法。
CN201911119958.1A 2019-11-15 2019-11-15 一种肺段分割方法、装置、设备及存储介质 Active CN110956635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911119958.1A CN110956635B (zh) 2019-11-15 2019-11-15 一种肺段分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911119958.1A CN110956635B (zh) 2019-11-15 2019-11-15 一种肺段分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110956635A CN110956635A (zh) 2020-04-03
CN110956635B true CN110956635B (zh) 2023-12-01

Family

ID=69977481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911119958.1A Active CN110956635B (zh) 2019-11-15 2019-11-15 一种肺段分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110956635B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561884A (zh) * 2020-02-24 2021-03-26 广州柏视医疗科技有限公司 肺气管和血管的分段命名系统
CN111563902B (zh) * 2020-04-23 2022-05-24 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111524579B (zh) * 2020-04-27 2023-08-29 北京百度网讯科技有限公司 肺功能曲线检测方法、装置、设备以及存储介质
CN111681247B (zh) * 2020-04-29 2023-08-25 杭州深睿博联科技有限公司 肺叶肺段分割模型训练方法和装置
CN111861988A (zh) * 2020-06-09 2020-10-30 深圳市旭东数字医学影像技术有限公司 基于支气管的自动及半自动肺分叶分段的方法及其系统
CN111932497B (zh) * 2020-06-30 2021-02-09 数坤(北京)网络科技有限公司 一种冠状动脉识别方法及装置
CN112017136A (zh) * 2020-08-06 2020-12-01 杭州深睿博联科技有限公司 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质
CN112070790B (zh) * 2020-09-11 2023-04-07 杭州微引科技有限公司 一种基于深度学习和图像处理的混合肺部分割系统
CN112116623B (zh) * 2020-09-21 2021-04-23 推想医疗科技股份有限公司 图像分割方法及装置
CN112308077A (zh) * 2020-11-02 2021-02-02 中科麦迪人工智能研究院(苏州)有限公司 样本数据获取方法、图像分割方法、装置、设备和介质
CN113222006B (zh) * 2021-05-08 2021-10-08 推想医疗科技股份有限公司 一种亚段支气管分级的方法、装置、设备及存储介质
CN113269764A (zh) * 2021-06-04 2021-08-17 重庆大学 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法
CN114049344A (zh) * 2021-11-23 2022-02-15 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备
CN114511885B (zh) * 2022-02-10 2024-05-10 支付宝(杭州)信息技术有限公司 手掌感兴趣区域提取系统和方法
CN114913145B (zh) * 2022-05-09 2023-04-07 北京安德医智科技有限公司 一种图像分割方法、装置、电子设备和存储介质
CN115147359B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN115797376B (zh) * 2023-02-08 2023-04-28 珠海横琴圣澳云智科技有限公司 基于气管树搜索与最近邻分配的肺段分割方法和装置
CN116152687B (zh) * 2023-04-21 2023-07-14 深圳市慧明捷科技有限公司 一种无人机数据采集模块
CN117115156B (zh) * 2023-10-23 2024-01-05 天津医科大学第二医院 一种基于双模型分割的鼻咽癌图像处理方法及系统
CN117830302A (zh) * 2024-03-04 2024-04-05 瀚依科技(杭州)有限公司 肺段分割的优化方法及装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109215032A (zh) * 2017-06-30 2019-01-15 上海联影医疗科技有限公司 图像分割的方法及系统
CN109685787A (zh) * 2018-12-21 2019-04-26 杭州依图医疗技术有限公司 Ct影像的肺叶段分割中的输出方法、装置
CN109712131A (zh) * 2018-12-27 2019-05-03 上海联影智能医疗科技有限公司 肺结节特征的量化方法、装置、电子设备及存储介质
CN109754394A (zh) * 2018-12-28 2019-05-14 上海联影智能医疗科技有限公司 三维医学图像处理装置及方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110136145A (zh) * 2019-05-17 2019-08-16 东北大学 基于多通道可分离卷积神经网络的mr脑部图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215032A (zh) * 2017-06-30 2019-01-15 上海联影医疗科技有限公司 图像分割的方法及系统
CN109215033A (zh) * 2017-06-30 2019-01-15 上海联影医疗科技有限公司 图像分割的方法及系统
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109685787A (zh) * 2018-12-21 2019-04-26 杭州依图医疗技术有限公司 Ct影像的肺叶段分割中的输出方法、装置
CN109712131A (zh) * 2018-12-27 2019-05-03 上海联影智能医疗科技有限公司 肺结节特征的量化方法、装置、电子设备及存储介质
CN109754394A (zh) * 2018-12-28 2019-05-14 上海联影智能医疗科技有限公司 三维医学图像处理装置及方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110136145A (zh) * 2019-05-17 2019-08-16 东北大学 基于多通道可分离卷积神经网络的mr脑部图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multiple-Channel Local Binary Fitting Model for Medical Image Segmentation;Qi Guo, Long Wang, Shuting Shen;《Chinese Journal of Electronics》;20151001;第802-806页 *
基于深度神经网络的小目标语义分割算法研究;胡太;《中国优秀硕士学位论文数据库信息科技辑》;20190115;第27-41页 *

Also Published As

Publication number Publication date
CN110956635A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956635B (zh) 一种肺段分割方法、装置、设备及存储介质
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN109754396B (zh) 图像的配准方法、装置、计算机设备和存储介质
CN106340015B (zh) 一种关键点的定位方法和装置
CN109124662B (zh) 肋骨中心线检测装置及方法
JP4640845B2 (ja) 画像処理装置およびそのプログラム
CN111311655B (zh) 多模态图像配准方法、装置、电子设备、存储介质
CN114261095B (zh) 一种基于ai的骨科3d打印方法和装置
US20210271914A1 (en) Image processing apparatus, image processing method, and program
CN112382359B (zh) 患者注册方法、装置、电子设备及计算机可读介质
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN109191475B (zh) 椎体终板分割方法、装置及计算机可读存储介质
CN112349391A (zh) 一种优化肋骨自动标号方法
CN110634554A (zh) 脊椎影像注册方法
CN109087357B (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN113974920A (zh) 膝关节股骨力线确定方法和装置、电子设备、存储介质
CN113706514A (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN113077499A (zh) 骨盆配准方法、骨盆配准装置和骨盆配准系统
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
CN116433976A (zh) 图像处理方法、装置、设备和存储介质
CN112862975B (zh) 骨骼数据处理方法、系统、可读存储介质和设备
CN112085698A (zh) 左右乳腺超声图像自动分析方法及装置
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant