CN115861713A - 一种基于多任务学习的颈动脉斑块超声图像处理方法 - Google Patents

Abstract

本发明涉及一种基于多任务学习的颈动脉斑块超声图像处理方法，包括以下步骤：引入颈动脉斑块超声图像数据集，并进行预处理，得到训练数据集；构建多任务网络框架；添加区域权重模块；添加样本权重模块；将训练数据集作为训练样本输入多任务网络进行训练，在测试集上判定斑块类别和预测斑块分割图像。该基于多任务学习的颈动脉斑块超声图像处理方法，通过对多个任务同时进行训练、共享所学习的特征达到输入一次训练样本解决多个问题的目的，如此，提升了深度学习模型泛化能力，使得任务之间互相联动，促进训练效果，提升分割与分类任务的准确度，解决了在颈动脉斑块超声图像领域深度学习模型泛化能力差，学习特征有限的问题。

Description

一种基于多任务学习的颈动脉斑块超声图像处理方法

技术领域

本发明涉及医学图像处理技术领域，具体为一种基于多任务学习的颈动脉斑块超声图像处理方法。

背景技术

近年来，深度学习在自然图像、自然语言处理、强化学习等领域快速发展，传统的深度学习模型主要是单任务学习，这种学习方式专注于某一特定任务，如自然语言处理中的情感分类问题或自然图像中的分类问题；单任务学习可以从大量的标记样本中学习任务的相关特征，从而完成某一特定任务。

在颈动脉斑块超声图像(以下简称“斑块”)领域，已有的大量研究主要专注于单一任务，如斑块分类任务或斑块分割任务，存在深度学习模型泛化能力差，学习特征有限的问题，故而提出了一种基于多任务学习的颈动脉斑块超声图像处理方法来解决上述问题。

发明内容

针对现有技术的不足，本发明提供了一种基于多任务学习的颈动脉斑块超声图像处理方法，具备输入一次训练样本解决多个问题等优点，解决了在颈动脉斑块超声图像领域，已有的大量研究主要专注于单一任务，如斑块分类任务或斑块分割任务，深度学习模型泛化能力差，学习特征有限的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多任务学习的颈动脉斑块超声图像处理方法，包括以下步骤：

1)引入颈动脉斑块超声图像数据集，并进行预处理，得到训练数据集；

2)构建多任务网络框架；

3)添加区域权重模块；

4)添加样本权重模块；

5)将训练数据集作为训练样本输入多任务网络进行训练，在测试集上判定斑块类别和预测斑块分割图像；

优选地，步骤1中所述的颈动脉斑块超声图像数据集为：

X＝[x₁,…,x_i,…x_n]

i∈[1,n]

其中，X表示颈动脉斑块超声图像数据集，x_i表示第i个颈动脉斑块超声图像数据样本。

优选地，步骤1中所述的训练数据集通过预处理方法将图像样本进行裁剪(因图像样本中并非所有内容都为感兴趣区域)，图像中有(a₁,b₁)，…，(a_k,b_k)共k个感兴趣区域标签标注点，取(a_min,b_max)与(a_max,b_min)相连作为矩形的对角线，再将该矩形通过图像缩放函数调整为统一的大小，将所有进行预处理后的图像组成数据集作为训练数据集。

优选地，步骤2中所述的多任务网络框架结合了Unet++网络模型与Resnet网络模型的特点(网络框架内的编码器部分为残差结构，将数据样本进行前向传播经过编码器后，可以得到编码器的分类高级特征，即斑块分类任务的高级特征，同时会在解码器部分得到四个解码器的输出，并对四个输出使用归一化指数函数得到一个概率分布图)。

优选地，步骤3中所述添加区域权重模块的具体步骤为：首先，使用最近邻插值将概率分布图的尺寸缩放到与斑块分类任务高级特征尺寸相同；然后，将斑块的高级特征与斑块的分割结果进行对应位置点乘，斑块的高级特征中对应于斑块位置部分的特征值将会增大而非斑块位置部分的权值将会降低，即增大斑块的高级特征中对应于斑块位置部分的特征值同时降低非斑块位置部分的权值，即使得神经网络模型的判断更关注于斑块分类任务高级特征中的感兴趣区域，以提高分类训练任务的准确度，得到融合特征图，再将融合特征图进行平均池化下采样，输入全连接层。

优选地，所述平均池化采样操作为Avgpoo l平均池化(在每一个2*2的区域内选取平均值作为输出)。

优选地，步骤4中所述样本权重模块具体步骤为：使用KL散度计算斑块分类任务中每个样本的预测概率分布与真实概率分布的差异(对于正确分类的样本，KL散度值越低相似度越高，相反对于错误分类的样本，KL散度值越高相似度越低)；使用KL散度的值作为斑块分割任务损失函数的权值，即可着重于使神经网络学习训练预测错误的样本，经过反复迭代后可得到更好的训练效果。

优选地，所述KL算法为KL对称量化算法，即用KL散度来衡量真实数据分布和量化数据分布之间的相似性，KL算法公式如下：

其中，ω_i为两个分布的相似度，q(x_i)表示目标标签的分布，p(x_i)表示预测目标标签的概率分布。

优选地，步骤5中所述的多任务网络中斑块分类任务使用的损失函数为：

其中，n为总样本数，C为样本类别数(C∈{1，2，3}，其中C＝1代表分类类别为硬斑块，C＝2代表分类类别为软斑块，C＝3代表分类类别为混合斑块)，y_ic为分类任务真实标签，p_ic为预测值；

步骤5中所述的多任务网络中斑块分割任务在加入样本权重模块之前所使用的损失函数为：

其中，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值；

将步骤4中所述样本权重模块所得出的结果作为分割任务的损失函数的权值计算即替换原本的权值

新的损失函数计算公式为：

其中，ω_i为上述样本权重模块所得出的结果，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值。

优选地，所述神经网络的损失函数计算则为斑块分类任务的损失函数加上斑块分割任务的损失函数，即：

loss＝loss_cla+loss_seg

其中，loss_cla为步骤3中所述斑块分类任务中使用的损失函数，loss_seg为斑块分割任务中的损失函数。

与现有技术相比，本申请的技术方案具备以下有益效果：

该基于多任务学习的颈动脉斑块超声图像处理方法，通过对多个任务同时进行训练、共享所学习的特征达到输入一次训练样本解决多个问题的目的，如此，提升了深度学习模型泛化能力，使得任务之间互相联动，促进训练效果，提升分割与分类任务的准确度。

附图说明

图1为本发明提出的一种基于多任务学习的颈动脉斑块超声图像处理方法的具体实施流程图；

图2为本发明提出的一种基于多任务学习的颈动脉斑块超声图像处理方法的网络模型结构图；

图3为本发明提出的一种基于多任务学习的颈动脉斑块超声图像处理方法的网络模型中残差结构示意图；

图4为本发明提出的一种基于多任务学习的颈动脉斑块超声图像处理方法的实施结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本实施例中的一种基于多任务学习的颈动脉斑块超声图像处理方法，包括以下步骤：

1)引入颈动脉斑块超声图像数据集，并进行预处理，得到训练数据集；

2)构建多任务网络框架；

3)添加区域权重模块；

4)添加样本权重模块；

5)将训练数据集作为训练样本输入多任务网络进行训练，在测试集上判定斑块类别和预测斑块分割图像；

本实施例中，步骤1中的颈动脉斑块超声图像数据集为：

X＝[x₁,…,x_i,…x_n]

i∈[1,n]

其中，X表示颈动脉斑块超声图像数据集，x_i表示第i个颈动脉斑块超声图像数据样本。

本实施例中，步骤1中的训练数据集通过预处理方法将图像样本进行裁剪(因图像样本中并非所有内容都为感兴趣区域)，图像中有(a₁,b₁)，…，(a_k,b_k)共k个感兴趣区域标签标注点，取(a_min,b_max)与(a_max,b_min)相连作为矩形的对角线，再将该矩形通过图像缩放函数调整为统一的大小，将所有进行预处理后的图像组成数据集作为训练数据集。

本实施例中，步骤2中的多任务网络框架结合了Unet++网络模型与Resnet网络模型的特点，如图2所示，X(0，0)、X(1，0)、X(2，0)、X(3，0)、X(4，0)五个节点为残差结构，残差结构如图3所示，样本进行前向传播经过X(0，0)、X(1，0)、X(2，0)、X(3，0)、X(4，0)五个节点后，可以得到编码器的分类高级特征，即斑块分类任务的高级特征，同时会在X(0，1)、X(0，2)、X(0，3)、X(0，4)四个节点得到四个解码器的输出，并对四个输出使用归一化指数函数得到一个概率分布图。

本实施例中，步骤3中添加区域权重模块的具体步骤为：首先，使用最近邻插值将概率分布图的尺寸缩放到与斑块分类任务高级特征尺寸相同；然后，将斑块的高级特征与斑块的分割结果进行对应位置点乘，斑块的高级特征中对应于斑块位置部分的特征值将会增大而非斑块位置部分的权值将会降低，即增大斑块的高级特征中对应于斑块位置部分的特征值同时降低非斑块位置部分的权值，即使得神经网络模型的判断更关注于斑块分类任务高级特征中的感兴趣区域，以提高分类训练任务的准确度，得到融合特征图，再将融合特征图进行平均池化下采样，输入全连接层。

本实施例中，平均池化采样操作为Avgpoo l平均池化(在每一个2*2的区域内选取平均值作为输出)。

本实施例中，步骤4中样本权重模块具体步骤为：使用KL散度计算斑块分类任务中每个样本的预测概率分布与真实概率分布的差异(对于正确分类的样本，KL散度值越低相似度越高，相反对于错误分类的样本，KL散度值越高相似度越低)；使用KL散度的值作为斑块分割任务损失函数的权值，即可着重于使神经网络学习训练预测错误的样本，经过反复迭代后可得到更好的训练效果。

本实施例中，KL算法为KL对称量化算法，即用KL散度来衡量真实数据分布和量化数据分布之间的相似性，KL算法公式如下：

其中，ω_i为两个分布的相似度，q(x_i)表示目标标签的分布，p(x_i)表示预测目标标签的概率分布。

本实施例中，步骤5中的多任务网络中斑块分类任务使用的损失函数为：

其中，n为总样本数，C为样本类别数(C∈{1，2，3}，其中C＝1代表分类类别为硬斑块，C＝2代表分类类别为软斑块，C＝3代表分类类别为混合斑块)，y_ic为分类任务真实标签，p_ic为预测值；

步骤5中的多任务网络中斑块分割任务在加入样本权重模块之前所使用的损失函数为：

其中，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值；

将步骤4中样本权重模块所得出的结果作为分割任务的损失函数的权值计算即替换原本的权值

新的损失函数计算公式为：

其中，ω_i为上述样本权重模块所得出的结果，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值。

本实施例中，神经网络的损失函数计算则为斑块分类任务的损失函数加上斑块分割任务的损失函数，即：

loss＝loss_cla+loss_seg

其中，loss_cla为步骤3中斑块分类任务中使用的损失函数，loss_seg为斑块分割任务中的损失函数。

上述实施例的有益效果为：

该基于多任务学习的颈动脉斑块超声图像处理方法，通过对多个任务同时进行训练、共享所学习的特征达到输入一次训练样本解决多个问题的目的，如此，提升了深度学习模型泛化能力，使得任务之间互相联动，促进训练效果，提升分割与分类任务的准确度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，包括以下步骤：

1)引入颈动脉斑块超声图像数据集，并进行预处理，得到训练数据集；

2)构建多任务网络框架；

3)添加区域权重模块；

4)添加样本权重模块；

5)将训练数据集作为训练样本输入多任务网络进行训练，在测试集上判定斑块类别和预测斑块分割图像。

2.根据权利要求1所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤1中所述的颈动脉斑块超声图像数据集为：

X＝[x₁，…，x_i，…x_n]

i∈[1，n]

其中，X表示颈动脉斑块超声图像数据集，x_i表示第i个颈动脉斑块超声图像数据样本。

3.根据权利要求1所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤1中所述的训练数据集通过预处理方法将图像样本进行裁剪(因图像样本中并非所有内容都为感兴趣区域)，图像中有(a₁，b₁)，…，(a_k，b_k)共k个感兴趣区域标签标注点，取(a_min，b_max)与(a_max，b_min)相连作为矩形的对角线，再将该矩形通过图像缩放函数调整为统一的大小，将所有进行预处理后的图像组成数据集作为训练数据集。

4.根据权利要求1所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤2中所述的多任务网络框架结合了Unet++网络模型与Resnet网络模型的特点(网络框架内的编码器部分为残差结构，将数据样本进行前向传播经过编码器后，可以得到编码器的分类高级特征，即斑块分类任务的高级特征，同时会在解码器部分得到四个解码器的输出，并对四个输出使用归一化指数函数得到一个概率分布图)。

5.根据权利要求4所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤3中所述添加区域权重模块的具体步骤为：首先，使用最近邻插值将概率分布图的尺寸缩放到与斑块分类任务高级特征尺寸相同；然后，将斑块的高级特征与斑块的分割结果进行对应位置点乘，斑块的高级特征中对应于斑块位置部分的特征值将会增大而非斑块位置部分的权值将会降低，即增大斑块的高级特征中对应于斑块位置部分的特征值同时降低非斑块位置部分的权值，即使得神经网络模型的判断更关注于斑块分类任务高级特征中的感兴趣区域，以提高分类训练任务的准确度，得到融合特征图，再将融合特征图进行平均池化下采样，输入全连接层。

6.根据权利要求5所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，所述平均池化采样操作为Avgpoo l平均池化(在每一个2*2的区域内选取平均值作为输出)。

7.根据权利要求1所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤4中所述样本权重模块具体步骤为：使用KL散度计算斑块分类任务中每个样本的预测概率分布与真实概率分布的差异(对于正确分类的样本，KL散度值越低相似度越高，相反对于错误分类的样本，KL散度值越高相似度越低)；使用KL散度的值作为斑块分割任务损失函数的权值，即可着重于使神经网络学习训练预测错误的样本，经过反复迭代后可得到更好的训练效果。

8.根据权利要求7所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，所述KL算法为KL对称量化算法，即用KL散度来衡量真实数据分布和量化数据分布之间的相似性，KL算法公式如下：

其中，ω_i为两个分布的相似度，q(x_i)表示目标标签的分布，p(x_i)表示预测目标标签的概率分布。

9.根据权利要求1所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，步骤5中所述的多任务网络中斑块分类任务使用的损失函数为：

其中，n为总样本数，C为样本类别数(C∈{1，2，3}，其中C＝1代表分类类别为硬斑块，C＝2代表分类类别为软斑块，C＝3代表分类类别为混合斑块)，y_ic为分类任务真实标签，p_ic为预测值；

步骤5中所述的多任务网络中斑块分割任务在加入样本权重模块之前所使用的损失函数为：

其中，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值；

将步骤4中所述样本权重模块所得出的结果作为分割任务的损失函数的权值计算即替换原本的权值

新的损失函数计算公式为：

其中，ω_i为上述样本权重模块所得出的结果，n为总样本数，M为像素类别数(M∈{1，2}，其中M＝1代表像素值为0，M＝2代表像素值为255)，y_im为像素的类别，p_im为预测值。

10.根据权利要求9所述的一种基于多任务学习的颈动脉斑块超声图像处理方法，其特征在于，所述神经网络的损失函数计算则为斑块分类任务的损失函数加上斑块分割任务的损失函数，即：

loss＝loss_cla+loss_seg

其中，loss_cla为步骤3中所述斑块分类任务中使用的损失函数，loss_seg为斑块分割任务中的损失函数。

Images