CN115187582B - 一种淋巴结分割方法、装置、电子设备及可读存储介质 - Google Patents

一种淋巴结分割方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115187582B
CN115187582B CN202210987431.6A CN202210987431A CN115187582B CN 115187582 B CN115187582 B CN 115187582B CN 202210987431 A CN202210987431 A CN 202210987431A CN 115187582 B CN115187582 B CN 115187582B
Authority
CN
China
Prior art keywords
lymph node
information
image
endpoint
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210987431.6A
Other languages
English (en)
Other versions
CN115187582A (zh
Inventor
安南
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202210987431.6A priority Critical patent/CN115187582B/zh
Publication of CN115187582A publication Critical patent/CN115187582A/zh
Application granted granted Critical
Publication of CN115187582B publication Critical patent/CN115187582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种淋巴结分割方法、装置、电子设备及可读存储介质,该方法包括:获取待处理图像,待处理图像包括多个待分割淋巴结;对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。如此,可实现自动化分割出待处理图像中每一个独立的淋巴结。

Description

一种淋巴结分割方法、装置、电子设备及可读存储介质
技术领域
本申请涉及医学图像处理技术领域,尤其涉及一种淋巴结分割方法、装置、电子设备及可读存储介质。
背景技术
淋巴结是人体免疫系统中的基础组织,短径大于10mm的肿大淋巴结通常被认为是恶性淋巴结,可能与体内肿瘤转移等疾病相关。临床医生可根据CT影像中淋巴结的情况,对患者的病情进行评估,并制定相应的治疗方案。因此,准确识别CT影像中肿大的淋巴结,对肺癌等其他疾病的诊治有着关键作用。
纵隔区域是淋巴结肿大的常见区域之一。纵隔区域包含心脏、出入心脏的大血管、胸腺、气管、食管等多种组织,其中的一些组织,如大血管,在CT影像中与淋巴结具有相近的密度,从而该一些组织与淋巴结之间的界线不够清晰;此外,淋巴结之间尺寸差异较大,以及存在多个淋巴结在解剖位置上相距较近的情况,因此,依靠临床医生肉眼识别纵隔区域内肿大的淋巴结需要耗费大量的时间。如何自动化分割出纵隔区域内每一个独立的淋巴结是一个亟需解决的问题。
发明内容
有鉴于此,本申请实施例通过提供一种淋巴结分割方法、装置、电子设备及可读存储介质,用以至少解决现有技术中存在的上述技术问题。
根据本申请第一方面,本申请实施例提供了一种淋巴结分割方法,包括:获取待处理图像,待处理图像包括多个待分割淋巴结;对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
可选地,淋巴结分割模型的训练步骤包括:获取多个训练样本,每个训练样本包括样本图像和对应的标签信息,样本图像包括至少一个样本淋巴结区域,标签信息包括与至少一个样本淋巴结区域对应的样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,以及样本淋巴结轮廓信息;针对每个样本图像:采用神经网络模型对样本图像进行处理,得到对应的样本淋巴结分割结果,样本淋巴结分割结果包括预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息;根据样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,样本淋巴结轮廓信息,预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息计算损失函数;根据损失函数对神经网络模型的网络参数进行调整;将各样本进行多次迭代训练,直至损失函数满足预设条件;基于训练好的神经网络模型得到淋巴结分割模型。
可选地,神经网络模型包括分割子网络和计算子网络;
采用神经网络模型对样本图像进行处理,得到对应的样本淋巴结分割结果,样本淋巴结分割结果包括预测淋巴结掩膜信息、预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,包括:采用分割子网络对样本图像进行处理,得到预测淋巴结掩膜信息;采用计算子网络对预测淋巴结掩膜信息进行处理,得到预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息。
可选地,采用计算子网络对预测淋巴结掩膜信息进行处理,得到预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,包括:基于预测淋巴结掩膜信息,采用计算子网络计算每层淋巴结的面积,将面积最大的淋巴结层对应的长径端点、短径端点信息,作为预测淋巴结长径端点、短径端点信息;基于预测淋巴结掩膜信息,采用计算子网络按照预设规则选取预设数量的淋巴结轮廓点信息,作为预测淋巴结轮廓信息。
可选地,根据样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,样本淋巴结轮廓信息,预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息计算损失函数,包括:根据样本淋巴结掩膜信息及预测淋巴结掩膜信息计算淋巴结掩膜回归损失;根据样本淋巴结长径端点、短径端点信息以及预测淋巴结长径端点、短径端点信息计算淋巴结长径端点、短径端点回归损失;根据样本淋巴结轮廓信息以及预测淋巴结轮廓信息计算淋巴结轮廓回归损失;将淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权求和处理,得到损失函数。
可选地,获取待处理图像,待处理图像包括多个待分割淋巴结,包括:获取原始图像;采用淋巴结识别模型对原始图像进行处理,得到待处理图像,待处理图像包括多个待分割淋巴结;其中,淋巴结识别模型用于对图像中的淋巴结进行识别,标注出待分割的淋巴结。
可选地,对待处理图像进行预处理,得到多个目标图像,包括:以每个待分割淋巴结的中心为目标图像的中心,从待处理图像中截取待分割淋巴结预设倍数大小的图像,作为目标图像。
根据本申请第二方面,本申请实施例提供了一种淋巴结分割装置,包括:获取模块,用于获取待处理图像,待处理图像包括多个待分割淋巴结;预处理模块,用于对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;处理模块,用于采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
根据本申请第三方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行如第一方面或第一方面任意实施方式中的淋巴结分割方法。
根据本申请第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行如第一方面或第一方面任意实施方式中的淋巴结分割方法。
本申请实施例提供的淋巴结分割方法、装置、电子设备及可读存储介质,通过获取待处理图像,待处理图像包括多个待分割淋巴结;对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息;如此,可实现自动化分割出待处理图像中每一个独立的淋巴结,并得到淋巴结长径端点、短径端点信息以及淋巴结轮廓信息,便于用户直接评估分割出的淋巴结是否为恶性淋巴结;并且,淋巴结分割模型训练时的损失函数中加入了淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失,从而采用该淋巴结分割模型进行淋巴结分割时,可获得更加精准的淋巴结分割结果,获得更加精准的淋巴结分割轮廓信息和淋巴结长径端点、短径端点信息,能够有效区分在空间中相邻较近的多个淋巴结。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例中一种淋巴结分割方法的流程示意图;
图2为本申请实施例中相邻淋巴结分割结果的示意图;
图3为本申请实施例中淋巴结分割模型的训练流程示意图;
图4为本申请实施例中一种淋巴结分割装置的结构示意图;
图5为本申请实施例中一种电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种淋巴结分割方法,可应用于对纵隔区域淋巴结进行分割等场景中,如图1所示,淋巴结分割方法包括:
S101,获取待处理图像,待处理图像包括多个待分割淋巴结。
在本实施例中,待处理图像为标注有多个待分割淋巴结的图像。
在一些实施方式中,获取待处理图像的步骤包括:获取原始图像;采用淋巴结识别模型对原始图像进行处理,得到待处理图像,待处理图像包括多个待分割淋巴结;其中,淋巴结识别模型用于对图像中的淋巴结进行识别,标注出待分割的淋巴结。
在本实施例中,原始图像包括但不限于:电子计算机断层扫描(ComputedTomography,CT)图像、CT血管造影(CT Angiography,CTA)图像、磁共振成像(MagneticResonance Imaging,MRI)图像、正电子发射计算机断层显像-核磁共振成像(PET-MRI)图像等。例如,应用于对纵膈区域CT图像中纵膈区域淋巴结进行分割的实例中,原始图像可以为纵膈区域CT图像。
具体实施时,首先,可以应用软组织窗(例如窗宽360,窗位60)对原始图像进行处理,并将加窗后的原始图像的体素值归一化到[-1,1]范围内。相对于原始图像,在软组织窗下,淋巴结更容易被识别。然后将加窗后的原始图像输入到淋巴结识别模型中,得到标注好多个待分割淋巴结的待处理图像。
在本实施方式中,通过采用淋巴结识别模型对原始图像进行处理,得到标注出待分割的淋巴结的待识别图像,可以初步确定原始图像中待分割的淋巴结的位置,对原始图像中其他的组织进行去噪处理,便于后续对淋巴结的分割。
S102,对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结。
在本实施例中,在获取到待处理图像后,接下来,需要获取淋巴结分割模型所需要的目标图像,也即感兴趣区域(Region of Interest,ROI)图像。由于淋巴结在待检测图像中,所占据的区域较小,将一例完整的待检测图像作为一个整体,输入到淋巴结分割模型中,既会导致大量的计算量,也会使得分割结果较差,因此,可以以每个待分割淋巴结为对象,从待处理图像中截取预设尺寸或该待分割淋巴结预设倍数大小的图像,作为目标图像。
在一种实施方式种,对待处理图像进行预处理,得到多个目标图像,包括:以每个待分割淋巴结的中心为目标图像的中心,从待处理图像中截取待分割淋巴结预设倍数大小的图像,作为目标图像。
具体实施时,以标注的每个待分割淋巴结的中心,作为目标图像的中心,切取待分割淋巴结2倍大小的图像,作为目标图像。
S103,采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
在本实施例中,淋巴结分割模型为通过样本数据进行预先训练得到。淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到。
在本实施例中,由于淋巴结分割模型训练过程中,使用加权混合的损失函数,从而目标图像通过训练好的淋巴结分割模型后,能够有效地获得精准的淋巴结分割结果,有效分割出在空间中相邻较近的多个淋巴结,如图2所示的淋巴结1、淋巴结2、淋巴结3和淋巴结4。
在一些实施方式中,淋巴结分割模型包括分割子模型和计算子模型,分割子模型用于对各目标图像进行处理,得到对应的淋巴结掩膜信息;计算子模型用于基于淋巴结掩膜信息,计算淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
本申请实施例提供的淋巴结分割方法,通过获取待处理图像,待处理图像包括多个待分割淋巴结;对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息;如此,可实现自动化分割出待处理图像中每一个独立的淋巴结,并得到淋巴结长径端点、短径端点信息以及淋巴结轮廓信息,便于用户直接评估分割出的淋巴结是否为恶性淋巴结;并且,淋巴结分割模型训练时的损失函数中加入了淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失,从而采用该淋巴结分割模型进行淋巴结分割时,可获得更加精准的淋巴结分割结果,获得更加精准的淋巴结分割轮廓信息和淋巴结长径端点、短径端点信息,能够有效区分在空间中相邻较近的多个淋巴结。
在一些实施例中,淋巴结分割模型的训练步骤包括:
1、获取多个训练样本,每个训练样本包括样本图像和对应的标签信息,样本图像包括至少一个样本淋巴结区域,标签信息包括与至少一个样本淋巴结区域对应的样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,以及样本淋巴结轮廓信息。
2、针对每个样本图像:采用神经网络模型对样本图像进行处理,得到对应的样本淋巴结分割结果,样本淋巴结分割结果包括预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息;根据样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,样本淋巴结轮廓信息,预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息计算损失函数;根据损失函数对神经网络模型的网络参数进行调整。
3、将各样本进行多次迭代训练,直至损失函数满足预设条件。
4、基于训练好的神经网络模型得到淋巴结分割模型。
具体实施时,针对步骤1,获取每个训练样本的标签的步骤可以包括:采用人工标注的方式确定与至少一个样本淋巴结区域对应的样本淋巴结掩膜信息;然后基于样本淋巴结掩膜信息,通过逐层计算淋巴结在每个层面上的面积,找出面积最大的层面作为淋巴结的最大层面,在该层面上获取长径端点,记作gla,glb,短径端点,记作gsa,gsb,从而得到样本淋巴结长径端点、短径端点信息;然后分别在淋巴结的每个层面上,计算该层面上淋巴结的中心,记为xi,i表示淋巴结所在的掩膜层面,然后以xi为中心,在层面i上,作一组等角度的射线,射线与掩膜层面边界相交的点记为xji,从而得到点集G={xji},j的大小根据射线之间的角度确定。由于每个淋巴结所占层数可能不同,因此,每个淋巴结对应的点集G内所包含的点的数目可能不同。对于每个淋巴结,我们在点集G中随机选取固定数目的点,作为样本淋巴结轮廓信息。
针对步骤2,在一种实现方式中,可设置神经网络模型包括分割子网络和计算子网络。从而,采用神经网络模型对样本图像进行处理,得到对应的样本淋巴结分割结果,样本淋巴结分割结果包括预测淋巴结掩膜信息、预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,包括:采用分割子网络对样本图像进行处理,得到预测淋巴结掩膜信息;采用计算子网络对预测淋巴结掩膜信息进行处理,得到预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息。
在一个可选的实施方式中,采用计算子网络对预测淋巴结掩膜信息进行处理,得到预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,包括:基于预测淋巴结掩膜信息,采用计算子网络计算每层淋巴结的面积,将面积最大的淋巴结层对应的长径端点、短径端点信息,作为预测淋巴结长径端点、短径端点信息;基于预测淋巴结掩膜信息,采用计算子网络按照预设规则选取预设数量的淋巴结轮廓点信息,作为预测淋巴结轮廓信息。
在该实现方式中,通过设置分割子网络对样本图像进行处理,得到预测淋巴结掩膜信息;采用计算子网络对预测淋巴结掩膜信息进行处理,得到预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,从而使得淋巴结掩膜和淋巴结长短径端点、淋巴结轮廓分开计算,使得仅需要采用训练样本对分割子网络进行训练,并将训练好的分割子网络,即分割子模型,与计算子网络,即计算子模型,进行组合,就可以得到完整的淋巴结分割模型,减少模型训练的计算量和难度。
在一个可选的实施方式中,根据样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,样本淋巴结轮廓信息,预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息计算损失函数,包括:根据样本淋巴结掩膜信息及预测淋巴结掩膜信息计算淋巴结掩膜回归损失;根据样本淋巴结长径端点、短径端点信息以及预测淋巴结长径端点、短径端点信息计算淋巴结长径端点、短径端点回归损失;根据样本淋巴结轮廓信息以及预测淋巴结轮廓信息计算淋巴结轮廓回归损失;将淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权求和处理,得到损失函数。
具体实施时,分割子网络包括但不限于三维U-Net网络、FCN(Fully ConvolutionNetwork)、Mask R-CNN、DeepLab、SegNet等,以及这些网络的改动,如加入Attention模块等。下述以三维U-Net网络(3d UNet)为例进行介绍。如图3所示,一方面,基于样本图像中标注的至少一个样本淋巴结区域,即标注数据,确定标签信息,即标注结果,包括与至少一个样本淋巴结区域对应的样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,以及样本淋巴结轮廓信息,即标注的掩膜(mask)信息、标注的长短径端点信息以及标注的轮廓关键点信息。其中,标注的长径端点记作gla,glb,短径端点记作gsa,gsb
另一方面,将样本图像,即输入图像,输入到3d UNet中,得到预测结果,预测结果包括预测淋巴结掩膜信息,即预测的mask信息。然后采用计算子网络,基于预测结果计算预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓关键点信息,即预测的长短径端点信息、预测的轮廓关键点信息。其中,计算子网络基于预测结果计算预测淋巴结长短径端点信息,以及预测淋巴结轮廓关键点信息的计算方式与确定标签信息的计算方式相同。其中,预测的长径端点记作pla,Plb,短径端点记作psa,psb
然后根据距离,将预测的mask信息与标注的mask信息进行匹配,计算淋巴结掩膜回归损失,即mask回归损失Lmask;将预测的长短径端点信息与标注的长短径端点信息进行匹配,计算淋巴结长径端点、短径端点回归损失,即长短径回归损失Lendpoint;将预测的轮廓关键点信息与标注的轮廓关键点信息进行匹配,计算淋巴结轮廓回归损失,即轮廓回归损失Lcontour
然后将淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权求和处理,得到损失函数。
其中,损失函数Loss的表达形式如下:
Loss=w1*Lmask+w2*Lcontour+w3*Lendpoint
Figure BDA0003802726550000121
Figure BDA0003802726550000131
Figure BDA0003802726550000132
其中,w1,w2,w3,分别表示mask、轮廓以及长短径端点的回归损失的权重。X为标注的mask,Y为预测的mask,ε为常数,取值为0.001,m为轮廓上所取点的个数,Δxyi为预测的轮廓关键点信息与标注的轮廓关键点信息中匹配的点对之间的距离;ΔgPi为预测的长短径端点信息与标注的长短径端点信息中匹配的点对之间的距离。
然后将训练集中的所有训练样本迭代训练数次,直至Loss降低到一定阈值下,认为模型训练结束,得到最终的淋巴结分割模型。
在本实施例中,使用Lcontour衡量淋巴结轮廓回归损失,在网络训练过程中不断降低Lcontour,可以使得分割获取的淋巴结轮廓更为精准;使用Lendpoint衡量淋巴结长短径端点回归损失,在网络训练过程中,不断降低Lendpoint,可以使得分割获取的淋巴结长短径端点更为精准,从而获取更为准确的长短径;
在网络训练过程中,使用加权混合的损失函数能够更为有效的获取精准的淋巴结分割结果。
本申请实施例提供了一种淋巴结分割装置,如图4所示,包括:
获取模块41,用于获取待处理图像,待处理图像包括多个待分割淋巴结;
预处理模块42,用于对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;
处理模块43,用于采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
本申请实施例提供的淋巴结分割装置,通过获取待处理图像,待处理图像包括多个待分割淋巴结;对待处理图像进行预处理,得到多个目标图像,目标图像的尺寸小于待处理图像的尺寸,目标图像包括至少一个待分割淋巴结;采用淋巴结分割模型对各目标图像进行处理,得到对应的淋巴结分割结果;其中,淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割结果包括至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息;如此,可实现自动化分割出待处理图像中每一个独立的淋巴结,并得到淋巴结长径端点、短径端点信息以及淋巴结轮廓信息,便于用户直接评估分割出的淋巴结是否为恶性淋巴结;并且,淋巴结分割模型训练时的损失函数中加入了淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失,从而采用该淋巴结分割模型进行淋巴结分割时,可获得更加精准的淋巴结分割结果,获得更加精准的淋巴结分割轮廓信息和淋巴结长径端点、短径端点信息,能够有效区分在空间中相邻较近的多个淋巴结。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
图5示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如淋巴结分割方法。例如,在一些实施例中,淋巴结分割方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的淋巴结分割方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行淋巴结分割方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种淋巴结分割方法,其特征在于,包括:
获取待处理图像,所述待处理图像包括多个待分割淋巴结;
对所述待处理图像进行预处理,得到多个目标图像,所述目标图像的尺寸小于所述待处理图像的尺寸,所述目标图像包括至少一个待分割淋巴结;
采用淋巴结分割模型对各所述目标图像进行处理,得到对应的淋巴结分割结果;其中,所述淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割模型包括分割子模型和计算子模型,分割子模型用于对各目标图像进行处理,得到对应的淋巴结掩膜信息;计算子模型用于基于淋巴结掩膜信息,计算淋巴结长径端点、短径端点信息以及淋巴结轮廓信息;所述淋巴结分割结果包括所述至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
2.根据权利要求1所述的淋巴结分割方法,其特征在于,所述淋巴结分割模型的训练步骤包括:
获取多个训练样本,每个所述训练样本包括样本图像和对应的标签信息,所述样本图像包括至少一个样本淋巴结区域,所述标签信息包括与所述至少一个样本淋巴结区域对应的样本淋巴结掩膜信息,样本淋巴结长径端点、短径端点信息,以及样本淋巴结轮廓信息;
针对每个样本图像:采用神经网络模型对所述样本图像进行处理,得到对应的样本淋巴结分割结果,所述样本淋巴结分割结果包括预测淋巴结掩膜信息,预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息;根据所述样本淋巴结掩膜信息,所述样本淋巴结长径端点、短径端点信息,所述样本淋巴结轮廓信息,所述预测淋巴结掩膜信息,所述预测淋巴结长径端点、短径端点信息,以及所述预测淋巴结轮廓信息计算损失函数;根据所述损失函数对所述神经网络模型的网络参数进行调整;
将各所述样本进行多次迭代训练,直至所述损失函数满足预设条件;
基于训练好的神经网络模型得到淋巴结分割模型。
3.根据权利要求2所述的淋巴结分割方法,其特征在于,所述神经网络模型包括分割子网络和计算子网络;
所述采用神经网络模型对所述样本图像进行处理,得到对应的样本淋巴结分割结果,所述样本淋巴结分割结果包括预测淋巴结掩膜信息、预测淋巴结长径端点、短径端点信息,以及预测淋巴结轮廓信息,包括:
采用所述分割子网络对所述样本图像进行处理,得到所述预测淋巴结掩膜信息;
采用所述计算子网络对所述预测淋巴结掩膜信息进行处理,得到所述预测淋巴结长径端点、短径端点信息,以及所述预测淋巴结轮廓信息。
4.根据权利要求3所述的淋巴结分割方法,其特征在于,所述采用所述计算子网络对所述预测淋巴结掩膜信息进行处理,得到所述预测淋巴结长径端点、短径端点信息,以及所述预测淋巴结轮廓信息,包括:
基于所述预测淋巴结掩膜信息,采用所述计算子网络计算每层淋巴结的面积,将面积最大的淋巴结层对应的长径端点、短径端点信息,作为所述预测淋巴结长径端点、短径端点信息;
基于所述预测淋巴结掩膜信息,采用所述计算子网络按照预设规则选取预设数量的淋巴结轮廓点信息,作为所述预测淋巴结轮廓信息。
5.根据权利要求2所述的淋巴结分割方法,其特征在于,所述根据所述样本淋巴结掩膜信息,所述样本淋巴结长径端点、短径端点信息,所述样本淋巴结轮廓信息,所述预测淋巴结掩膜信息,所述预测淋巴结长径端点、短径端点信息,以及所述预测淋巴结轮廓信息计算损失函数,包括:
根据所述样本淋巴结掩膜信息及所述预测淋巴结掩膜信息计算淋巴结掩膜回归损失;
根据所述样本淋巴结长径端点、短径端点信息以及所述预测淋巴结长径端点、短径端点信息计算淋巴结长径端点、短径端点回归损失;
根据所述样本淋巴结轮廓信息以及所述预测淋巴结轮廓信息计算淋巴结轮廓回归损失;
将所述淋巴结掩膜回归损失,所述淋巴结长径端点、短径端点回归损失,以及所述淋巴结轮廓回归损失进行加权求和处理,得到所述损失函数。
6.根据权利要求1所述的淋巴结分割方法,其特征在于,所述获取待处理图像,所述待处理图像包括多个待分割淋巴结,包括:
获取原始图像;
采用淋巴结识别模型对所述原始图像进行处理,得到所述待处理图像,所述待处理图像包括多个待分割淋巴结;其中,所述淋巴结识别模型用于对图像中的淋巴结进行识别,标注出待分割的淋巴结。
7.根据权利要求1所述的淋巴结分割方法,其特征在于,所述对所述待处理图像进行预处理,得到多个目标图像,包括:
以每个所述待分割淋巴结的中心为所述目标图像的中心,从所述待处理图像中截取所述待分割淋巴结预设倍数大小的图像,作为所述目标图像。
8.一种淋巴结分割装置,其特征在于,包括:
获取模块,用于获取待处理图像,所述待处理图像包括多个待分割淋巴结;
预处理模块,用于对所述待处理图像进行预处理,得到多个目标图像,所述目标图像的尺寸小于所述待处理图像的尺寸,所述目标图像包括至少一个待分割淋巴结;
处理模块,用于采用淋巴结分割模型对各所述目标图像进行处理,得到对应的淋巴结分割结果;其中,所述淋巴结分割模型训练时的损失函数是基于淋巴结掩膜回归损失,淋巴结长径端点、短径端点回归损失,以及淋巴结轮廓回归损失进行加权计算得到;淋巴结分割模型包括分割子模型和计算子模型,分割子模型用于对各目标图像进行处理,得到对应的淋巴结掩膜信息;计算子模型用于基于淋巴结掩膜信息,计算淋巴结长径端点、短径端点信息以及淋巴结轮廓信息;所述淋巴结分割结果包括所述至少一个待分割淋巴结的淋巴结掩膜信息,淋巴结长径端点、短径端点信息以及淋巴结轮廓信息。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-7任意一项所述的淋巴结分割方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行如权利要求1-7任意一项所述的淋巴结分割方法。
CN202210987431.6A 2022-08-17 2022-08-17 一种淋巴结分割方法、装置、电子设备及可读存储介质 Active CN115187582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210987431.6A CN115187582B (zh) 2022-08-17 2022-08-17 一种淋巴结分割方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210987431.6A CN115187582B (zh) 2022-08-17 2022-08-17 一种淋巴结分割方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN115187582A CN115187582A (zh) 2022-10-14
CN115187582B true CN115187582B (zh) 2023-04-14

Family

ID=83524136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210987431.6A Active CN115187582B (zh) 2022-08-17 2022-08-17 一种淋巴结分割方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115187582B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381779A (zh) * 2020-11-11 2021-02-19 杭州依图医疗技术有限公司 肺癌tnm分期获取方法、装置及显示方法
CN112686897A (zh) * 2021-03-15 2021-04-20 四川大学 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802028A (zh) * 2019-11-13 2021-05-14 北京深睿博联科技有限责任公司 用于纵膈器官分割的图像处理方法及装置
US11701066B2 (en) * 2020-01-17 2023-07-18 Ping An Technology (Shenzhen) Co., Ltd. Device and method for detecting clinically important objects in medical images with distance-based decision stratification
CN111476290A (zh) * 2020-04-03 2020-07-31 北京推想科技有限公司 检测模型训练方法、淋巴结检测方法、装置、设备及介质
CN111899273A (zh) * 2020-06-10 2020-11-06 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381779A (zh) * 2020-11-11 2021-02-19 杭州依图医疗技术有限公司 肺癌tnm分期获取方法、装置及显示方法
CN112686897A (zh) * 2021-03-15 2021-04-20 四川大学 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法

Also Published As

Publication number Publication date
CN115187582A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Li et al. Optimal surface segmentation in volumetric images-a graph-theoretic approach
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
US11508059B2 (en) Methods and systems for detecting a centerline of a vessel
CN105574859B (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
Badura et al. Soft computing approach to 3D lung nodule segmentation in CT
Egger et al. Pituitary adenoma volumetry with 3D Slicer
Danilov et al. Methods of graph network reconstruction in personalized medicine
CN111127466A (zh) 医学图像检测方法、装置、设备及存储介质
CN111340756B (zh) 一种医学图像病变检出合并方法、系统、终端及存储介质
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
Wang et al. Uncertainty-guided efficient interactive refinement of fetal brain segmentation from stacks of MRI slices
Ren et al. An unsupervised semi-automated pulmonary nodule segmentation method based on enhanced region growing
Tan et al. An approach for pulmonary vascular extraction from chest CT images
Rajchl et al. Fast interactive multi-region cardiac segmentation with linearly ordered labels
CN113706473A (zh) 超声图像中病灶区域的长短轴确定方法和超声设备
CN114693604A (zh) 脊椎医学影像处理方法、装置、设备及存储介质
US7835555B2 (en) System and method for airway detection
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN112116623B (zh) 图像分割方法及装置
CN115187582B (zh) 一种淋巴结分割方法、装置、电子设备及可读存储介质
CN116245832B (zh) 一种图像处理方法、装置、设备及存储介质
CN115147360B (zh) 一种斑块分割方法、装置、电子设备及可读存储介质
CN115147359B (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN115482261A (zh) 血管配准方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address