CN113066090B - 血管分割模型的训练方法及装置、应用方法及装置 - Google Patents

血管分割模型的训练方法及装置、应用方法及装置 Download PDF

Info

Publication number
CN113066090B
CN113066090B CN202110296142.7A CN202110296142A CN113066090B CN 113066090 B CN113066090 B CN 113066090B CN 202110296142 A CN202110296142 A CN 202110296142A CN 113066090 B CN113066090 B CN 113066090B
Authority
CN
China
Prior art keywords
blood vessel
pixel point
segmentation model
central line
centerline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110296142.7A
Other languages
English (en)
Other versions
CN113066090A (zh
Inventor
刘恩佑
张欢
王瑜
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110296142.7A priority Critical patent/CN113066090B/zh
Publication of CN113066090A publication Critical patent/CN113066090A/zh
Application granted granted Critical
Publication of CN113066090B publication Critical patent/CN113066090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本申请提供了一种血管分割模型的训练方法及装置、应用方法及装置。该血管分割模型的训练方法包括：提取血管样本图像中的血管中线；根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；根据第一损失函数值对血管分割模型进行训练，能够解决不同部分血管的类别不平衡的问题，提高训练效果和分割效果。

Description

血管分割模型的训练方法及装置、应用方法及装置
技术领域
本申请涉及深度学习技术领域，具体涉及一种血管分割模型的训练方法及装置、应用方法及装置。
背景技术
近年来，学者们运用深度学习技术对疾病诊断分析，深度学习运用于医学领域提高疾病诊断和辅助治疗已经成为一种趋势，并且在医学图像分割中具有重大的研究意义。
但是，目前血管分割算法的精确度还有待提升，经过血管分割模型所获得的血管分割结果中会存在一些缺陷，例如，肺血管动静脉的分类结果存在错误混乱的现象，其主要原因是其本身的血管分割标签(Ground Truth，GT)中的纵膈部分和肺内血管部分的类别的数量不平衡。
通常情况下，业内会使用焦点损失函数(focalloss)或者难样本挖掘的方式来解决这种类别不平衡的问题。但是由于计算机断层扫描(CT)图像边缘不清晰，使用这种策略会使得血管分割模型主要关注一些边缘，最后会导致训练关注点偏离，从而导致训练效果不佳。
发明内容
有鉴于此，本申请实施例提供了一种血管分割模型的训练方法及装置、应用方法及装置，能够解决不同部分血管的类别不平衡的问题，提高训练效果和分割效果。
根据本申请实施例的第一方面，提供一种血管分割模型的训练方法，包括：提取血管样本图像中的血管中线；根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；根据第一损失函数值对血管分割模型进行训练。
在本申请的一些实施例中，上述方法还包括：获取每个像素点对应的血管中线中与其距离最近的中线点的深度，其中，中线点的深度为中线点到血管主干原点之间的中线距离；其中，上述根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重，包括：根据血管样本图像中的每个像素点与血管中线的距离和中线点的深度，确定每个像素点的损失权重。
在本申请的一些实施例中，上述第一损失函数值的计算公式为：
CHL＝W*FL
W＝aD*G(Dist)
其中，W为每个像素点对应的损失权重，D为中线点的深度，Dist为每个像素点与血管中线的距离，a为调节系数，G为高斯函数，FL为Focalloss损失函数。
在本申请的一些实施例中，上述方法还包括：根据血管样本图像对应的血管中线标签和血管样本图像中的每个像素点位于血管中线上的预测概率，确定第二损失函数值；其中，上述根据第一损失函数值对血管分割模型进行训练，包括：根据第一损失函数值和第二损失函数值对血管分割模型进行训练。
在本申请的一些实施例中，上述第二损失函数值的计算公式为：
Figure BDA0002984415990000021
其中，Scenterline为血管样本图像对应的血管中线标签中的所有中线点的集合，Vpred为血管样本图像中的每个像素点位于血管中线上的预测概率。
根据本申请实施例的第二方面，提供一种血管分割模型的应用方法，包括：获取待分割血管图像；利用根据上述任一血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割。
根据本申请实施例的第三方面，提供一种血管分割模型的训练装置，包括：提取模块，用于提取血管样本图像中的血管中线；权重模块，用于根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；确定模块，用于根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；训练模块，用于根据第一损失函数值对血管分割模型进行训练
根据本申请实施例的第四方面，提供一种血管分割模型的应用装置，其特征在于，包括：获取模块，用于获取待分割血管图像；分割模块，用于利用根据上述任一血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如上述任一所述的方法。
根据本申请实施例的第六方面，提供一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。
根据本申请实施例提供的技术方案，通过根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；根据第一损失函数值对血管分割模型进行训练，能够对每个像素点进行惩罚，解决不同部分的血管的类别不平衡的问题，并提高训练效果和分割效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本申请一实施例提供的血管分割标签的示意图。
图2所示为采用focal loss损失函数训练得到的血管分割模型输出的血管分割结果的示意图。
图3所示为本申请实施例所提供的一种实施环境的示意图。
图4所示为本申请一实施例提供的血管分割模型的训练方法的流程示意图。
图5所示为本申请另一实施例提供的血管分割模型的训练方法的流程示意图。
图6所示为本申请另一实施例提供的血管分割模型的训练方法的流程示意图。
图7所示为根据本申请一实施例提供的血管分割模型的训练方法训练得到的血管分割模型输出的血管分割结果的示意图。
图8所示为本申请一实施例提供的血管分割模型的应用方法的流程示意图。
图9所示为本申请一实施例提供的血管分割模型的训练装置的框图。
图10所示为本申请一实施例提供的血管分割模型的应用装置的框图。
图11所示为本申请一实施例提供的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
但是，目前血管分割算法的精确度还有待提升，经过血管分割模型所获得的血管分割结果中会存在一些缺陷，例如，肺血管动静脉的分类结果存在错误混乱的现象，其主要原因是其本身的血管分割标签(例如图1所示，中间部分为纵膈动静脉，周围区域为肺内血管动静脉，虽然附图使用灰度图表示，但实际产品中动脉血管和静脉血管可以分别用不用的颜色显示)中的纵膈部分和肺内血管部分的类别的数量不平衡。通常情况下，业内会使用focalloss或者难样本挖掘的方式来解决这种类不平衡的问题。但是由于CT图像边缘不清晰，使用这种策略会使得血管分割模型主要关注一些边缘，最后会导致训练关注点偏离，从而导致训练效果不佳。
具体地，在胸外科项目的任务上，其主要关注肺内血管的分割和分类的准确性，只关注纵膈部分的大概形状就可以了，即，纵膈处的心脏部分的边缘准确性是不怎么被关注的，而当采用focal loss损失函数训练血管分割模型时，血管分割模型挖掘纵膈边缘部分的程度比较大，浪费了模型学习能力；并且由于血管分割模型重点关注了纵膈部分，在最终的分割结果上会表现为肺内血管分割较短(例如图2所示)，从而导致分割效果不佳。
针对如前所述的技术问题，本申请的基本构思是提出一种血管分割模型的训练方法，主要是先提取血管样本图像中的血管中线；再根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；然后根据第一损失函数值对血管分割模型进行训练，这样可以对每个像素点进行惩罚，解决不同部分的血管的类别不平衡的问题，并提高训练效果和分割效果。例如，针对肺血管图像，可以解决纵膈部分和肺内血管部分的类别不平衡的问题，从而在保留纵膈分割前提下，尽量地获得精准的肺内血管动静脉。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图3所示为本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪330、服务器320和计算机设备310。计算机设备310可以从CT扫描仪330处获取CT图像，同时，计算机设备310还可以与服务器320之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
CT扫描仪330用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪330对肺部进行扫描，可以得到肺部图像。但是需要说明的是，本申请实施例并不限定CT图像为哪个人体组织的图像，只要包含有血管的图像均符合要求，为了方便对本申请进行说明，以下以肺部图像为例进行描述。
计算机设备310可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备310可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备310的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备310可以为一个，或者上述计算机设备310为几十个或几百个，或者更多数量。本申请实施例对计算机设备310的数量和设备类型不加以限定。
在一实施例中，计算机设备310中可以部署有血管分割模型，用于对肺部图像进行肺血管的分割。计算机设备310可以利用其上部署的血管分割模型，将其从CT扫描仪330获取的肺部图像进行肺血管分割，从而得到肺血管分割图像。
服务器320是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，服务器320接收计算机设备310采集到的训练图像，并通过训练图像对神经网络进行训练，以得到血管分割模型。计算机设备310可以将其从CT扫描仪330获取到的肺部图像发送给服务器320，服务器320利用其上训练出的血管分割模型进行肺血管分割，从而得到肺血管分割图像。
示例性方法
图4所示为本申请一实施例提供的血管分割模型的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图4所示，该方法包括如下内容。
S110：提取血管样本图像中的血管中线。
该血管样本图像可以为电子计算机断层成像(Computed Tomography，CT)、核磁共振成像(Magnetic Resonance Imaging，MRI)、计算机放射成像(Computed Radiography，CR)或数字放射成像(Digital radiography，DR)等医学图像，本申请对此不作具体限定。
血管样本图像可以为二维图像，也可以为三维图像，本申请对此不作具体限定。
血管样本图像可以为肺部图像、视网膜图像等包含有血管的图像，本申请对此不作具体限定。为了方便对本申请进行说明，以下以肺部图像为例进行描述。
具体地，可以对血管样本图像中的血管进行中线提取，获得血管中线。例如，在本申请的一个实施例中，可以采用图像细化的方法进行中线提取，即，经过一层层的剥离，从血管样本图像中去掉一些点，但仍要保持血管原来的形状，直到得到的血管的骨架，即血管的中线。应当理解，还可以采取形态学(morphology)函数等其他方法进行中线提取，本申请实施例对中线提取的实现方式不作具体限定，本领域技术人员可以根据实际需求，采用不同的中线提取方法。
S120：根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重。
具体地，可以获取血管样本图像中的每个像素点到血管中线的距离，通过对像素点到血管中线的距离进行高斯加权等，确定每个像素点的损失权重。
在本申请的一些实施例中，针对某一像素点，可以先确定血管中线上与该像素点距离最近的中线点，然后获取该像素点与该中线点的距离，从而获取该像素点与该血管中线的距离。应当理解，上述描述仅为示例性描述，本申请对像素点与血管中线之间距离的获取方式不作限定。
像素点与中线点的距离可以用欧氏距离、余弦距离等方式表示，本申请对此也不作具体限定。
S130：根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值。
本申请实施例对该血管分割模型的具体类型不作限定，该网络模型可以由任意类型的神经网络构成，且这些网络可以以ResNet、ResNeXt或DenseNet等为主干网络，通过深度学习所获得的网络模型可以提高模型分割的准确性。可选地，该网络模型可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)，U型神经网络(U-net)等。该网络模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本申请实施例对此不作具体限定。另外，本申请实施例对每一种神经网络层的个数也不作限定。
以基于切块的U-net血管分割模型进行血管分割为例，在本申请的一个实施例中，可以先根据步骤S110和步骤S120，获得权重图像，即每个像素点的损失权重；然后将权重图像和血管分割标签(即，血管样本图像的标记数据)一起进入切块操作，获得多个切块图像，并将多个切块图像分别输入U-net血管分割模型进行分割，获得血管分割模型输出的预测的血管分割结果。然后，根据血管分割标签、血管分割结果和每个像素点的损失权重计算第一损失函数值(center-weighted loss)。应当理解，上述描述仅为示例性描述，本申请对此不作具体限定。
S140：根据第一损失函数值对血管分割模型进行训练。
也就是说，可以将第一损失函数值进行反向传播，从而更新血管分割模型的参数。
根据本申请实施例提供的技术方案，通过根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；根据第一损失函数值对血管分割模型进行训练，能够对每个像素点进行惩罚，保证不同部分血管的权重平衡性，从而解决不同部分血管的类别的数量不平衡的问题，并提高血管分割模型的训练效果和分割效果。例如，针对肺血管图像，通过根据每个像素点到血管中线的距离进行加权的损失函数，可以解决纵膈部分和肺内血管部分的类别不平衡的问题，从而在保留纵膈分割前提下，尽量地获得精准的肺内血管动静脉。
图5所示为本申请另一实施例提供的血管分割模型的训练方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本申请实施例提供的血管分割模型的训练方法包括如下步骤。
S210：提取血管样本图像中的血管中线。
S220：获取血管样本图像中的每个像素点与血管中线的距离。
S230：获取每个像素点对应的血管中线上与其距离最近的中线点的深度，其中，中线点的深度为中线点到血管主干原点之间的中线距离。
中线点的深度为中线点到血管主干原点之间的中线距离，也可以理解为中线点到血管主干原点的在中线上的行走距离。血管主干的深度较低，肺内血管尤其是血管的末端深度较高。
具体地，中线点的深度的获取方法可以为：在获得血管中线后，可以从血管主干原点开始，利用区域生长(regiongrowth)算法向外生长。在第N次生长后可以访问到该中线点，则该中线点在中线上的深度即为N。
在本申请的一些实施例中，针对某一像素点，可以先确定血管中线上与该像素点距离最近的中线点，然后获取该中线点的深度以及该像素点与该中线点的距离，进而根据该中线点的深度以及该像素点与该中线点的距离，确定该像素点对应的损失权重。
S240：根据血管样本图像中的每个像素点与血管中线的距离和中线点的深度，确定每个像素点的损失权重。
也就是说，每个像素点的损失权重可以分为两个维度，分别为基于像素点到中线距离的加权和对中线深度层次的加权。
例如，在本申请的一些实施例中，每个像素点的损失权重的计算公式可以为：
W＝aD*G(Dist)
其中，W为每个像素点对应的损失权重，D为中线点的深度，Dist为每个像素点与血管中线的距离，a为调节系数，G为高斯函数。
应当理解，上述每个像素点的损失权重的计算公式仅为示例性描述，本申请对此不作具体限定。
S250：根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值。
例如，在本申请的一些实施例中，上述第一损失函数值(center-weightedhierachical loss，CHL)的计算公式可以为：
CHL＝W*FL
其中，W为每个像素点对应的损失权重，FL为Focalloss损失函数。
例如，Focalloss公式如下：
Figure BDA0002984415990000111
其中，y为血管分割标签中的类别，p为像素点为正样本的概率，α，γ为可调参数，这个参数和难易样本的挖掘程度有关。
应当理解，上述公式仅为示例性描述，本申请对此不作具体限定。
S260：根据第一损失函数值对血管分割模型进行训练。
根据本申请实施例提供的技术方案，在获得血管样本图像中的每个像素点与血管中线的距离基础上，结合中线点的深度确定每个像素点的损失权重；并根据上述每个像素点的损失权重计算得到第一损失函数值，并将第一损失函数值进行反向传播，更新血管分割模型的参数，能够进一步地解决上述类别不平衡的问题，提高血管分割模型的训练效果和分割效果。
图6所示为本申请另一实施例提供的血管分割模型的训练方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图6所示实施例，下面着重叙述图6所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本申请实施例提供的血管分割模型的训练方法包括如下步骤。
S310：提取血管样本图像中的血管中线。
S320：获取血管样本图像中的每个像素点与血管中线的距离。
S330：根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重。
S340：根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值。
S350：根据血管样本图像对应的血管中线标签和血管样本图像中的每个像素点位于血管中线上的预测概率，确定第二损失函数值。
需要说明的是，上述血管中线标签可以为血管分割标签的中线，也可以为血管中线标注数据，本申请对此不作具体限定。
在本申请的一些实施例中，上述第二损失函数值(topology loss)的计算公式为：
Figure BDA0002984415990000121
其中，Scenterline为血管样本图像对应的血管中线标签中的所有中线点的集合，Vpred为血管样本图像中的每个像素点位于血管中线上的预测概率。
该血管分割模型优化的目标是使第二损失函数值趋于0，即，将血管中线上的中线点尽量都向概率为1的方向优化，从而可以优先保证血管拓扑(topo)结构的完整性。
S360：根据第一损失函数值和第二损失函数值对血管分割模型进行训练。
具体地，可以计算第一损失函数值和第二损失函数值的和，获得总损失函数值，并将该总损失函数值进行反向传播，以更新血管分割模型的参数。
即，Total_loss＝center-weighted loss+topology loss
应当理解，也可以通过计算第一损失函数值和第二损失函数值的加权和，获得总损失函数值，本申请对此不作具体限定。
通过将上述总损失函数值进行反向传播，更新血管分割模型的参数，可以提高图像分割的粒度。例如图7所示，图7为根据本申请实施例提供的上述技术方案训练得到的血管分割模型输出的血管分割结果，可以看出，该血管分割结果相对于血管分割标签(如图1所示)，图像分割粒度有了较大提升。
根据本申请实施例提供的技术方案，通过引入追求血管拓扑结构的完整性的第二损失函数，可以提醒模型细血管和粗血管同样重要，能够解决肺内不同粗细的血管存在的类别不平衡的问题。通过将基于血管样本图像中的每个像素点与血管中线的距离加权的第一损失函数(center-weightedloss)和追求血管拓扑结构的完整性的第二损失函数(topology loss)结合，能够提升血管分割模型的分割粒度，获得比血管分割标签更细粒度的血管分割结果，提高了分割效果。
在本申请的另一个实施例中，上述方法还可以包括步骤S370。
S370：获取每个像素点对应的血管中线中与其距离最近的中线点的深度，其中，中线点的深度为中线点到血管主干原点之间的中线距离。
其中，上述步骤S330包括：根据血管样本图像中的每个像素点与血管中线的距离和中线点的深度，确定每个像素点的损失权重。
在本申请实施例中，首先根据血管样本图像中的每个像素点与血管中线的距离和中线点的深度，确定每个像素点的损失权重，即第一损失函数值center-weightedhierachical loss；然后计算第一损失函数值和第二损失函数值(topology loss)的和，获得总损失函数值，即，Total_loss＝center-weighted hierachical loss+topology loss；其次，将上述总损失函数值进行反向传播，更新血管分割模型的参数。通过本申请实施例提供的技术方案，能够进一步提高血管分割模型的训练效果和分割效果。
图8所示为本申请一实施例提供的血管分割模型的应用方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图8所示，该方法包括如下内容。
S410：获取待分割血管图像。
S420：利用根据上述任一实施例提供的血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割。
根据本申请实施例提供的技术方案，通过利用根据上述任一实施例提供的血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割，能够提高血管分割模型分割的准确性。
例如，在本申请的一个实施例中，以基于切块的U-net血管分割模型进行血管分割为例，可以先提取待分割血管图像的血管中线，根据待分割血管图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重，即，获得权重图像；然后进入切块操作，获得多个切块图像(patch)，并将多个切块图像分别输入U-net血管分割模型进行分割，获得血管分割模型输出的多个patch对应的血管分割结果。为了使最终的分割效果更加准确，可以只保留每个patch的核心部分(coresize)，然后将多个核心部分重建为该待分割血管图像对应的最终的血管分割结果。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
示例性装置
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9所示为本申请一实施例提供的血管分割模型的训练装置的框图。如图9所示，该血管分割模型的训练装置900包括：
提取模块910，用于提取血管样本图像中的血管中线；
权重模块920，用于根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；
确定模块930，用于根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；
训练模块940，用于根据第一损失函数值对血管分割模型进行训练。
根据本申请实施例提供的技术方案，通过根据血管样本图像中的每个像素点与血管中线的距离，确定每个像素点的损失权重；根据每个像素点的损失权重、血管样本图像对应的血管分割标签和血管分割模型输出的血管分割结果，确定第一损失函数值；根据第一损失函数值对血管分割模型进行训练，能够对每个像素点进行惩罚，解决不同部分的血管的类别不平衡的问题，并提高训练效果和分割效果。
在本申请的一些实施例中，上述装置还包括获取模块950，用于获取每个像素点对应的血管中线中与其距离最近的中线点的深度，其中，中线点的深度为中线点到血管主干原点之间的中线距离；其中，上述确定模块930用于根据血管样本图像中的每个像素点与血管中线的距离和中线点的深度，确定每个像素点的损失权重。
在本申请的一些实施例中，上述第一损失函数值的计算公式为：
CHL＝W*FL
W＝aD*G(Dist)
其中，W为每个像素点对应的损失权重，D为中线点的深度，Dist为每个像素点与血管中线的距离，a为调节系数，G为高斯函数，FL为Focalloss损失函数。
在本申请的一些实施例中，上述确定模块930还用于根据血管样本图像对应的血管中线标签和血管样本图像中的每个像素点位于血管中线上的预测概率，确定第二损失函数值；其中，上述训练模块940用于根据第一损失函数值和第二损失函数值对血管分割模型进行训练。
在本申请的一些实施例中，上述第二损失函数值的计算公式为：
Figure BDA0002984415990000161
其中，Scenterline为血管样本图像对应的血管中线标签中的所有中线点的集合，Vpred为血管样本图像中的每个像素点位于血管中线上的预测概率。
图10所示为本申请一实施例提供的血管分割模型的应用装置的框图。如图10所示，该血管分割模型的应用装置1000包括：
获取模块1010，用于获取待分割血管图像；
分割模块1020，用于利用根据上述任一实施例提供的血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割。
根据本申请实施例提供的技术方案，通过利用根据上述任一实施例提供的血管分割模型的训练方法训练得到的血管分割模型对待分割血管图像进行血管分割，能够提高血管分割模型分割的准确性。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
示例性电子设备
下面，参考图11来描述根据本申请实施例的电子设备。图11所示为本申请一实施例提供的电子设备1100的框图。
如图11所示，电子设备1100包括一个或多个处理器1110和存储器1120。
处理器1110可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1100中的其他组件以执行期望的功能。
存储器1120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1110可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备1100还可以包括：输入装置1130和输出装置1140，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置1130可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1130可以是通信网络连接器。
此外，该输入设备1130还可以包括例如键盘、鼠标等等。
该输出装置1140可以向外部输出各种信息，包括确定出的征象类别信息等。该输出设备1140可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备1100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本申请的具体实施例，显然本申请不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本申请公开的内容直接导出或联想到的所有变形，均应属于本申请的保护范围。
应当理解，本申请实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本申请实施例的技术方案使用，并不能用以限制本申请的保护范围。
以上仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种血管分割模型的训练方法，其特征在于，包括：
提取血管样本图像中的血管中线；
根据所述血管样本图像中的每个像素点与所述血管中线的距离，确定所述每个像素点的损失权重；
根据所述每个像素点的损失权重、所述血管样本图像对应的血管分割标签和所述血管分割模型输出的血管分割结果，确定第一损失函数值；
根据所述第一损失函数值对所述血管分割模型进行训练，
其中，所述方法还包括：
获取所述每个像素点对应的所述血管中线上与其距离最近的中线点的深度，其中，所述中线点的深度为所述中线点到血管主干原点之间的中线距离；
其中，所述根据所述血管样本图像中的每个像素点与所述血管中线的距离，确定所述每个像素点的损失权重，包括：
根据所述血管样本图像中的每个像素点与所述血管中线的距离和所述中线点的深度，确定所述每个像素点的损失权重。
2.根据权利要求1所述的方法，其特征在于，所述第一损失函数值的计算公式为：
CHL＝W*FL
W＝aD*G(Dist)
其中，W为每个像素点对应的损失权重，D为所述中线点的深度，Dist为每个像素点与所述血管中线的距离，a为调节系数，G为高斯函数，FL为焦点损失函数focalloss。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
根据所述血管样本图像对应的血管中线标签和所述血管样本图像中的每个像素点位于血管中线上的预测概率，确定第二损失函数值；
其中，所述根据所述第一损失函数值对血管分割模型进行训练，包括：
根据所述第一损失函数值和所述第二损失函数值对所述血管分割模型进行训练。
4.根据权利要求3所述的方法，其特征在于，所述第二损失函数值的计算公式为：
Figure FDA0003326397710000021
其中，Scenterline为所述血管样本图像对应的血管中线标签中的所有中线点的集合，Vpred为所述血管样本图像中的每个像素点位于血管中线上的预测概率。
5.一种血管分割模型的应用方法，其特征在于，包括：
获取待分割血管图像；
利用根据权利要求1至4中任一项所述的血管分割模型的训练方法训练得到的血管分割模型对所述待分割血管图像进行血管分割。
6.一种血管分割模型的训练装置，其特征在于，包括：
提取模块，用于提取血管样本图像中的血管中线；
权重模块，用于根据所述血管样本图像中的每个像素点与所述血管中线的距离，确定所述每个像素点的损失权重；
确定模块，用于根据所述每个像素点的损失权重、所述血管样本图像对应的血管分割标签和所述血管分割模型输出的血管分割结果，确定第一损失函数值；
训练模块，用于根据所述第一损失函数值对所述血管分割模型进行训练，
所述训练装置还包括：
获取模块，用于获取所述每个像素点对应的所述血管中线上与其距离最近的中线点的深度，其中，所述中线点的深度为所述中线点到血管主干原点之间的中线距离；
其中，所述权重模块用于根据所述血管样本图像中的每个像素点与所述血管中线的距离和所述中线点的深度，确定所述每个像素点的损失权重。
7.一种血管分割模型的应用装置，其特征在于，包括：
获取模块，用于获取待分割血管图像；
分割模块，用于利用根据权利要求1至4中任一项所述的血管分割模型的训练方法训练得到的血管分割模型对所述待分割血管图像进行血管分割。
8.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至5中任一项所述的方法。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至5中任一项所述的方法。
CN202110296142.7A 2021-03-19 2021-03-19 血管分割模型的训练方法及装置、应用方法及装置 Active CN113066090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110296142.7A CN113066090B (zh) 2021-03-19 2021-03-19 血管分割模型的训练方法及装置、应用方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110296142.7A CN113066090B (zh) 2021-03-19 2021-03-19 血管分割模型的训练方法及装置、应用方法及装置

Publications (2)

Publication Number Publication Date
CN113066090A CN113066090A (zh) 2021-07-02
CN113066090B true CN113066090B (zh) 2022-02-08

Family

ID=76562618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110296142.7A Active CN113066090B (zh) 2021-03-19 2021-03-19 血管分割模型的训练方法及装置、应用方法及装置

Country Status (1)

Country Link
CN (1) CN113066090B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870215B (zh) * 2021-09-26 2023-04-07 推想医疗科技股份有限公司 中线提取方法及装置
CN114511599B (zh) * 2022-01-20 2022-09-20 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN114445391B (zh) * 2022-01-30 2022-10-28 推想医疗科技股份有限公司 血管分段方法及其装置、电子设备和计算机可读存储介质
CN116503605B (zh) * 2023-06-01 2023-10-13 南京大学 基于迭代主干生长和弱监督学习的胰周血管分割标记方法
CN117036253A (zh) * 2023-07-18 2023-11-10 强联智创（北京）科技有限公司 用于对分割脑血管的分割模型进行训练的方法和相关产品
CN117635538A (zh) * 2023-10-24 2024-03-01 上海贝特威自动化科技有限公司 一种基于分割模型中心距离loss的检测锂电池极耳的检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111899245A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260665B (zh) * 2020-01-17 2022-01-21 北京达佳互联信息技术有限公司 图像分割模型训练方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111899245A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust retinal blood vessel segmentation using line detectors with multiple masks;B Biswal等;《IET Image Processing》;20171130;第1-11页 *
基于眼底图像的视网膜血管分割方法综述;向陈君等;《工业技术创新》;20190430;第110-114页 *

Also Published As

Publication number Publication date
CN113066090A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN111899245B (zh) 图像分割、模型的训练方法及装置，电子设备及存储介质
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
US20210042564A1 (en) Medical image recognition method, model training method, and computer device
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US20190065897A1 (en) Medical image analysis method, medical image analysis system and storage medium
US10452957B2 (en) Image classification apparatus, method, and program
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
US10258304B1 (en) Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
US11100678B2 (en) Learning device, learning method, and recording medium
US10726948B2 (en) Medical imaging device- and display-invariant segmentation and measurement
CN112132815B (zh) 肺结节检测模型训练方法、检测方法及装置
US20230177698A1 (en) Method for image segmentation, and electronic device
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN112396606B (zh) 一种基于用户交互的医学图像分割方法、系统和装置
CN111524109B (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN113256672A (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN112132981A (zh) 图像处理的方法及装置，电子设备及存储介质
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
CN111445456A (zh) 分类模型、网络模型的训练方法及装置、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant