CN115222007B - 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法 - Google Patents

Abstract

本发明提供了一种面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，包括：步骤1：构建脑胶质瘤患者数据集：步骤2：进行数据预处理；步骤3：构建多任务学习框架；步骤4：构建多任务损失函数；步骤5：通过改进的粒子群优化算法对多任务学习框架进行优化训练，得到损失函数中两个任务的最佳权重；步骤6：在网络中载入训练集，确定网络模型的参数，得到训练好的网络模型并保存，载入训练好的网络模型，输入测试集进行预测，得到结果并根据标签计算各评价指标值。本发明使用改进的粒子群优化算法可以根据粒子适应度来调节惯性权重，实现惯性权重的自适应调整。

Description

面向胶质瘤多任务一体化网络的改进粒子群参数优化方法

技术领域

本发明涉及医学图像处理技术领域，具体地，涉及一种面向胶质瘤多任务一体化网络的改进粒子群参数优化方法。

背景技术

脑胶质瘤是中枢神经系统中最常见的原发性脑肿瘤，在组织学上表现出神经胶质细胞的特征，占主要脑肿瘤疾病的约45％。高级别脑胶质瘤(High Grade Glioma，HGG)是致死率最高的脑胶质瘤，由世界卫生组织定义的III级和IV级脑胶质瘤组成，占所有级别脑胶质瘤的75％左右，严重威胁患者的生命健康。目前，临床治疗不能很有效地治愈高级别脑胶质瘤，同时考虑到高级别脑胶质瘤致死率高和难治疗的特点，若能使用计算机辅助诊断技术帮助医生准确进行早期诊断和预后，将对制定治疗方案、延长患者寿命、提高生活质量等方面有重要临床价值和现实意义。

脑肿瘤图像精准分割可以有效地帮助临床医生进行胶质瘤的早期诊断、治疗方案的制定、和治疗效果的跟踪随访等，同时也是相关研究中不可缺少的图像处理过程。由于脑胶质瘤生长具有浸润性，其病变能侵入到血管周围或神经纤维束间的空隙中，与未病变脑组织之间没有明显得边界。不同肿瘤组织结构的灰度差异大，不同患者肿瘤的大小、形状、位置和肿瘤类型都不尽相同。同一个胶质瘤患者在不同医院、不同类型的磁共振扫描下、不同型号的影像采集序列获得的影像差异非常大，这些现实因素都对脑肿瘤精准自动分割算法造成了较大的挑战。

此外，结合肿瘤形态学和基因分子学特征对患者进行个性化治疗得到越来越多的外科医生和学者的认可。例如，异柠檬酸脱氢酶(IDH)被认为脑胶质瘤分类的基础生物标志物，其突变状态的确认关系到脑胶质瘤的确诊、治疗和治疗效果的判断，在临床方面具有重要意义。通过手术或活检获取到病变组织的样本来确认IDH突变状态可能会产生神经功能缺损的后遗症，给患者的正常生活造成更大的影响。磁共振成像MRI是最常规的分析脑胶质瘤的无创技术，但目前通过MRI鉴别相关基因状态的敏感性和特异性波动极大，即使是神经放射科医生也很难根据这些图像表型准确区分脑胶质瘤基因型。因此研究一种具有较高稳定性和临床应用价值的方法，以通过MRI预测脑胶质瘤的基因状态具有重要意义。

近年来，以深度学习为代表的机器学习在图像识别及分类领域中发挥着重要的作用。U-net网络的提出使人们开始利用计算机强大的计算能力对医学图像进行处理和分析，在医学图像分割方面取得了巨大的成功，但它缺乏对长期依赖关系进行显式建模的能力。Transformer由于具有利用自注意机制进行全局信息建模的能力，逐渐在医学图像处理中得到广泛应用。

专利文献CN108875788A(申请号：CN201810500520.7)公开了一种基于改进的粒子群算法的SVM分类器参数优化方法，包括：(1)对采集的样本数据进行10重交叉验证，选择影响分类器性能的参数作为待优化参数；(2)初始化分类器和粒子群算法的相关参数，根据所述相关参数更新粒子速度和位置；(3)将分类器的待优化参数设置为粒子当前位置的相应维度值，计算得到粒子当前位置对应的适应度值；(4)根据所述粒子当前位置对应的适应度值得到适应度值评估粒子，更新所述个体最优位置和种群最优位置。

虽然基于深度学习的方法在肿瘤分割、基因预测等方面取得了一定进展，但仍存在一些问题：在肿瘤分割时，胶质瘤区域在整个大脑中所占的比例很小，存在像素不平衡；在基因型分类预测时，存在类别不平衡；并且患者基因分子信息的稀缺，通过活检方法进行分子状态识别可能会给患者带来危险。此外，现有的基于自动的方法大多基于单任务方法，没有考虑两个任务之间的相关性。因此，需要一种高效准确的深度学习网络来联合训练两个任务，以实现胶质瘤分割和术前基因分子型准确预测。

利用多任务网络模型联合训练两个任务时，以最小化多任务损失函数为目标对网络进行训练，通过手动设置参数来平衡两个任务的差异具有不确定性，难以得到最优效果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向胶质瘤多任务一体化网络的改进粒子群参数优化方法。

根据本发明提供的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，包括：

步骤1：构建脑胶质瘤患者数据集：

步骤2：进行数据预处理，首先对原始数据进行数据增强操作，对原始图像进行裁剪、翻转、旋转操作生成新的图像并添加到数据集中，其次对图像进行标准化处理以增强图像目标区域的特征；

步骤3：构建多任务学习框架，包括用于特征提取的编码器、实现分割的解码器、进行分类预测的分类器；

步骤4：构建多任务损失函数，基于Dice系数的损失函数被用作分割损失，对于基因型的预测，Poly loss被用作分类损失；

步骤5：通过改进的粒子群优化算法对多任务学习框架进行优化训练，得到损失函数中两个任务的最佳权重；

步骤6：在网络中载入训练集，确定网络模型的参数，得到训练好的网络模型并保存，载入训练好的网络模型，输入测试集进行预测，得到结果并根据标签计算各评价指标值。

优选的，所述步骤1包括：

MRI图像预处理包括颅骨去除、配准到统一空间、重采样到1mm3的分辨率，获得分辨率统一、灰度分布相同的多模态MRI数据，预处理后的所有数据大小为240×240×240。

优选的，所述步骤2包括：

将所有原始图像在-10到10度范围内进行随机旋转，以0.5的概率在轴向、冠状和矢状面上随机翻转，图像随机裁剪到128×128×128的体素大小来扩充数据集I_data，标签L_mask也进行相同的数据增强操作；

对所有图像进行标准化处理，公式如下：

其中，μ为图像的均值，x表示图像矩阵，σ和N分别表示图像的标准差和图像体素数量。

优选的，所述步骤3包括：

给定MRI扫描输入X∈R^C×H×W×D，空间分辨率为H×W，深度维度为D，通道数为C，利用3D CNN生成捕捉空间和深度信息的特征图，然后利用Transformer编码器对全局空间中的长距离依赖性进行建模；

在实现胶质瘤分割任务的分支中，为减少编码特征和解码特征间的语义差异，用通道交叉Transformer模型CCT和通道交叉注意力模块CCA来代替普通U-net网络中的跳跃连接，编码部分的多尺度特征通过CCT模块进行交叉融合，对于编码部分的4层输出E_i，首先对特征进行token化，将特征变形为块大小的序列，使得这些块在4种尺度下映射到编码特征的相同区域，然后将token输入到多头交叉注意力模块和具有残差结构的多层感知机MLP中，以编码通道关系和依赖；

将第i级Transformer的输出O_i和第i级解码特征D_i作为CCA模块的输入，并通过全局平均池化操作进行空间压缩，之后对通道依赖进行编码，嵌入全局空间信息到通道注意力图中，最终根据每个通道的重要性重新激活O_i得到

再将/>

与第i级解码器的上采样特征进行拼接融合，之后通过反卷积操作逐步恢复图像的分辨率，产生高分辨率的分割结果；

在实现基因预测任务的分支中，使用全局平均池化和全局最大池化将编码部分获取的最后两级特征变换到每个通道中的相同尺寸，并加入临床数据通过级联进行融合，然后输入到三个全连接层中，最后由Softmax函数输出基因型的预测概率，实现基因型预测。

优选的，所述用于特征提取的编码器包括：

采用一系列卷积和Transformer操作从输入中提取全局语义特征，输入先进行3×3×3的初始卷积操作，产生具有16个通道的特征图，接着通过3次下采样操作来捕获空间和深度特征表示，下采样操作通过步长为2的3×3×3的卷积来实现，每一次下采样操作后，输出的通道数量翻一倍，大小变为原来的一半，编码后的低分辨特征表示为

为确保每个体素的全面表示，使用线性投影将通道维度从128增加到512，并把空间维度和深度维度扩展成一维，得到

大小的特征图f；为了对位置信息进行编码，引入可学习的位置嵌入，并通过与特征图f融合，得到如下的特征嵌入：

z₀＝f+PE＝W×F+PE

其中，W为线性投影操作，PE∈R^d×N为位置嵌入，z₀∈R^d×N为特征嵌入，之后z₀被送到L层堆叠的Transformer中；

每一层Transformer层由一个多头注意力MHA和一个前馈网络FFN组成，对于第l层，自注意力的输入是根据z_l-1计算的三元组(Q，K，V)：

Q＝z_l-1W_Q，K＝z_l-1W_K，V＝z_l-1W_V

其中，W_Q，W_K，W_V∈R^d×d是三个线性投影层的可学习参数，d是(Q，K，V)的维数；

自注意力计算如下：

MHA是Transformer层重要的组成部分，允许模型同时关注来自不同位置的不同子空间的表示信息，通过将Transformer层的输入分成n个独立部分，并行处理每个部分，然后使用线性投影对级联结果进行投影，MHA操作表示如下：

MHA(z_l-1)＝Concat(SA₁(z_l-1),...,SA_n(z_l-1))W_O

其中，W_O是线性投影层的可学习参数，Concat()是连接操作；

然后，MHA的输出送入FFN模块得到第l个Transformer层的输出，第l个Transformer层的输出计算为：

z′_l＝MHA(LN(z_l-1))+z_l-1

z_l＝FFN(LN(z′_l))+z′_l

LN(*)表示层归一化操作，z_l表示第l层的输出，l∈[1,2,...,L]；

通道交叉融合模块代替普通的跳跃连接：通道交叉融合模块由通道交叉Transformer模型CCT和通道交叉注意模块CCA组成，通道交叉Transformer用于编码部分特征转换，先将编码部分的各级特征变形为序列进行标记化，再将各层的标记T_i进行级联，得到键和值T_∑＝Concat(T₁，T₂，T₃，T₄)，三个标记T_i作为查询和一个级联的Token作为键和值，分别得到：

K＝T_∑W_K

V＝T_∑W_V

其中，

W_K、W_V是不同输入的权重，i＝1,2,3,4；

通过交叉注意力机制对V进行加权：

其中，φ(·)表示正则化操作，σ(·)表示softmax函数，M_i为相似矩阵；

得到多头交叉注意后的输出MCA_i：

其中，N为头数；

通过MLP和残差操作后，得到如下输出：

O_i＝MCA_i+MLP(Q_i+MCA_i)

第L层的四个输出O₁、O₂、O₃和O₄通过上采样和卷积操作进行重建，并与解码部分特征串联；

通道交叉注意模块融合多尺度特征和解码阶段的特征，以解决语义层不一致的问题，将第i级Transformer层输出O_i∈R^C×H×W和第i级解码特征D_i∈R^C×H×W作为该模块的输入，并通过全局平均池化进行空间压缩，得到G(X)，并通过该操作嵌入全局空间信息并产生注意力标签：

M_i＝L₁·G(O_i)+L₂·G(D_i)

其中，L₁和L₂是两个线性层的权重和Relu算子的权重；

使用一个单一的线性层和sigmoid激活函数来建立通道注意图，结果向量最终表示为：

其中，σ(M_i)表示每个通道重要性；

最终，将

和第i层解码器的上采样特征进行拼接融合。

优选的，所述实现分割的解码器包括：

由多个级联的上采样操作组成，通过级联的上采样操作逐渐恢复全分辨率H×W×D，每一次上采样操作由1×1×1的卷积和步长为2的反卷积组成，最后经过1×1×1的卷积和sigmoid函数作为解码器的分割层，以产生分割结果，表示为：

其中，φ是解码器参数，

为解码器输出，/>

是解码器的输入。

优选的，所述进行分类预测的分类器包括：

使用全局平均池化和全局最大池化将捕获的多尺度特征变换到每个通道中的相同尺寸，并加入临床数据通过级联进行融合，然后输入到三个全连接层中，最后由Softmax函数输出基因型的预测概率，概率表示为：

H_j＝Concat(GAP(F_j),GMP(F_j))

其中，

表示编码器第j层的特征图；/>

和/>

是融合的特征，/>

是类别c中样本i的输出概率。

优选的，所述步骤4包括：

对于胶质瘤分割中前景和背景像素之间的不平衡问题，采用基于dice系数的损失函数作为分割损失，记作Loss₁，表达式为：

其中，p⁽ⁱ⁾为分割网络经过Softmax函数的输出；g⁽ⁱ⁾为相应的真实标签值；K为类别数；∈为防止被0除的小常数；

对于基因型预测中存在的类别不平衡问题，采用Poly-1loss作为损失函数，记作Loss₂，表达式为：

Loss₂＝L_Poly-1＝L_CE+∈₁(1-P_t)＝-log(p_t)+∈₁(1-P_t)

其中，p_t为模型对目标类的预测概率，∈₁在本研究中设置为2；

综上，多任务损失函数为：

Loss_total＝a·Loss₁+b·Loss₂

其中，a、b为Loss₁和Loss₂之间的任务权重。

优选的，所述步骤5包括：

对粒子群各参数进行初始化，所述参数包括粒子群的种群规模s、最大迭代次数T、搜索空间维度D、搜索范围最大值P_max、搜索范围最小值P_min，粒子群中每个粒子的最大速度V_max、最小速度V_min、位置x、自我学习因子c₁、社会学习因子c₂；

其中，对粒子群中的每个粒子的速度和位置初始化按下式进行随机赋值，rand()为区间[0，1]之间的随机数；

v＝rand()

x＝200·rand()-100

将初始化后的每个粒子的位置初始值代入适应度函数，得到每个粒子的适应度；

粒子群在初始化后，每个粒子得到一个初始位置，把位置的初始值映射为多任务损失函数中的任务权重a和b，根据该多任务损失函数对模型进行训练，得到基于下式的适应度：

F＝max(-Loss_total)＝max(-a·Loss₁-b·Loss₂)

根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及粒子群的种群最优位置、种群最优适应度；

个体最优适应度为每个粒子在整个迭代过程中得到的适应度最大的值；种群最优适应度为粒子群中所有粒子在整个迭代过程中的个体最优适应度的最大值；个体最优位置为个体最优适应度的粒子所对应的位置；种群最优位置为种群最优适应度的粒子所对应的位置；

基于种群最优适应度和个体最优适应度计算惯性权重；

将种群最优适应度和个体最优适应度代入下式进行计算，得到惯性权重；

其中，i表示第i个粒子，t表示迭代次数，w表示惯性权重；w_i(t)表示第i个粒子迭代至t次时的惯性权重值；fitness(gbest)(t)表示粒子群迭代至t次时的种群最优适应度；fitness(pbest)_i(t)表示第i个粒子迭代至t次时的个体最优适应度；

基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和粒子群的种群最优位置，更新每个粒子的速度和位置；

代入下式，得到粒子更新后的速度：

v_ij(t+1)＝wv_ij(t)+c₁r₁[pbest_ij(t)-x_ij(t)]+c₂r₂[gbest_j(t)-x_ij(t)]

得到粒子更新后的位置：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，v_ij(t)表示第i个粒子迭代到第t次时在第j维空间的速度；v_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的速度；x_ij(t)表示第i个粒子迭代到第t次时在第j维空间的位置；x_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的位置；pbest_ij(t)表示第i个粒子迭代到第t次时在第j维空间的个体最优位置；gbest_j(t)表示粒子群迭代到第t次时粒子群在第j维空间的种群最优位置；c₁为社会学习因子，取值为0.25；c₂为自我学习因子，取值为0.25；

计算每个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值，将所述比值与预定阈值进行比较，若所述某个粒子比值小于预定阈值，则判定该粒子搜索成功；

设定预定阈值为1，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值小于1，则判断该粒子搜索成功，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值等于1，则判断该粒子搜索失败；设置粒子搜索成功的表示值为1，粒子搜索失败的表示值为0，基于下式判断每个粒子是否搜索成功；

其中，SS(i,t)＝1表示第i个粒子搜索成功，SS(i,t)＝0表示第i个粒子搜索失败；

表示第i个粒子迭代至t次时的个体最优适应度；

计算搜索成功的粒子的位置到所述种群最优位置的欧氏距离，并对所有搜索成功的粒子所对应的欧氏距离取平均值，得到距离阈值；

其中，dist_i表征第i个粒子的位置到种群最优位置的欧氏距离，gbest_j表征第j维的种群最优位置，x_ij表征第i个粒子的第j维的位置，D表征搜索空间维度；

并根据下式计算所有搜索成功的粒子到种群最优位置的欧式距离的平均值：

其中，dist_average表示平均值(即距离阈值)；m表征搜索成功的粒子的个数；

其中，dist_i表示第i个粒子的位置到种群最优位置的欧氏距离，mut_i表示判断结果；若mut_i＝1表示该粒子落入距离阈值内，mut_i＝0表示该粒子没有落入距离阈值内；

判断每个粒子的位置到所述种群最优位置的欧氏距离是否小于所述距离阈值，若是，则对距离阈值内的部分粒子进行变异操作；

变异操作如下所示，得到所述部分粒子中每个粒子在变异后的位置：

pop(i)＝(pop_max-pop_min)·rand()+pop_min

其中，pop(i)表示第i个粒子在变异后的位置；pop_max表示粒子群的搜索范围最大值；pop_min表示粒子群的搜索范围最小值；rand()为区间[0,1]内的随机数；

判断当前迭代次数是否小于设定的迭代次数，若否，则执行步骤j；

输出粒子群在当前的种群最优位置，并将所述种群最优位置映射为多任务框架中的任务权重参数a和b；

根据当前得到的a和b构建多任务损失函数，并对网络模型进行训练，训练完毕后，得到每个粒子的适应度，并将适应度代入步骤c中。

优选的，所述步骤6包括：

将数据集中的80％作为训练集，剩余的20％作为测试集，所有的卷积层都采取Xavier初始化，初始学习率设置为0.0001，使用Adam优化器；

利用粒子群优化算法对多任务损失函数中的任务权重参数进行优化，先对粒子群中的各参数进行赋值，对粒子的速度和位置进行随机初始化，把粒子得到的初始值映射为所求参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算初始化后粒子的适应度；

根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及种群最优位置、种群最优适应度，基于种群最优适应度和个体最优适应度得到惯性权重；

基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和种群最优位置，对每个粒子的速度和位置进行更新，并根据设定阈值判断是否搜索成功，搜索成功后判断是否需要进行变异操作，并将当前种群最优位置映射为参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算粒子的适应度；

重复以上操作直到满足迭代次数，找到最优参数a和b确定Loss_total，通过最小化Loss_total函数使得网络模型识别性能达到最高并且保存模型参数；

最后将测试集载入训练好的网络模型进行预测得到分割结果和基因型，并根据专家标注计算各评价指标。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明提出了一种面向胶质瘤分类分割多任务一体化网络的改进粒子群参数优化方法，用于同时实现脑胶质瘤分割和基因型预测，具有最新的性能；

(2)本发明使用基于dice系数的损失函数和Poly loss，并使用改进的粒子群优化算法可以根据粒子适应度来调节惯性权重，实现惯性权重的自适应调整；

(3)同时利用搜索成功的粒子计算出的阈值作为变异的条件，能更好地控制粒子变异时机，从而跳出局部最优解的能力得到提升，有利于找到平衡两个任务损失的最优权重，有助于解决胶质瘤分割时肿瘤区域像素占比小、基因型预测时基因类别数量不平衡的问题；

(4)通过粒子在搜索空间中不断更新自身位置并互相交换信息，直至搜索到全局最优值，避免了手动设置参数的不确定性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的面向胶质瘤分类分割多任务一体化网络的改进粒子群参数优化方法的流程图；

图2为本发明中使用的多任务学习框架图；

图3为通道交叉融合模块示意图，图3a为CCT模块，图3b为CCA模块。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

如图1所示，本实施例的面向胶质瘤分类分割多任务一体化网络的改进粒子群参数优化方法，包括以下步骤：

1)构建脑胶质瘤患者数据集

所需的脑胶质瘤数据集包含多个病例，每个病例的数据包括多模态MRI影像数据、经活检验证的基因信息，且各病例数据所含有的数据项及数据格式需保持一致。每一例样本均提供了分割的标签，该标签是由专家手工标记出来的。分割的标签类别包括以下3类：坏死区，水肿区，增强区。对多模态MRI数据进行预处理，得到统一标准的脑胶质瘤多模态MRI数据I_data；

所述的基因信息包括但不限于：IDH突变状态、1p/19q缺少状态、MGMT启动子甲基化状态等信息。

所述临床信息包括但不限于：年龄、性别、肿瘤级别、肿瘤位置。

2)数据预处理

首先对原始数据进行数据增强操作，对原始图像进行裁剪、翻转、旋转操作生成新的图像并添加到数据集中，其次对图像进行标准化处理以增强图像目标区域的特征。其中80％的数据用于模型训练，20％的数据用于参数调整。

3)多任务学习框架的构建

如图2，通过共享从编码器中提取的空间和全局特征表示，可以同时实现胶质瘤分割和基因型预测任务。该多任务学习框架由三部分组成：用于特征提取的编码器、实现分割的解码器、进行分类预测的分类器。

编码器采用一系列卷积和Transformer操作从输入中提取全局语义特征。输入先进行3×3×3的初始卷积操作，以产生具有16个通道的特征图。接着通过3次下采样操作来捕获空间和深度特征表示，下采样操作通过步长为2的3×3×3的卷积来实现，每一次下采样操作后，输出的通道数量翻一倍，大小变为原来的一半。编码后的低分辨特征表示为

低分辨特征经过线性投影、位置编码的操作送入四个Transformer层中。

并且，采用通道交叉融合模块代替普通U-net中的跳跃连接，通道交叉融合模块由通道交叉Transformer(CCT)和通道交叉注意模块(CCA)组成。CCT用于将编码部分的多尺度特征进行转换，CCA将多尺度特征和解码阶段的特征进行融合，以解决语义层不一致的问题，如图3a和图3b所示。

解码器由多个级联的上采样操作组成。对拼接后的特征进行上采样操作逐渐恢复全分辨率H×W×D，每一次上采样操作由1×1×1的卷积和步长为2的反卷积组成，最后，经过1×1×1的卷积和sigmoid函数作为解码器的分割层，以产生分割结果。

对编码部分的最后两级特征分别使用全局平均池化和全局最大池化，以将捕获的多尺度特征变换到每个通道中的相同尺寸，并加入临床数据通过级联进行特征融合，然后输入到三个全连接层中，最后由Softmax函数输出基因型的预测概率。

4)多任务损失函数构建

多任务损失函数由两部分构成，对于脑胶质瘤的分割，前景和背景的不平衡可能会导致分割偏差。为此，基于Dice系数的损失函数被用作分割损失，记作Loss₁。对于基因型的预测，由于不同基因型的数量差异较大且样本数量有限，因此，Poly loss被用作分类损失，记作Loss₂。

综上，多任务损失函数为：Loss_total＝a·Loss₁+b·Loss₂

其中，a、b为Loss₁和Loss₂之间的任务权重。

5)构造优化问题，通过改进的粒子群优化算法进行迭代训练，直到满足迭代终止条件，得到损失函数中两个任务的最佳权重。

a)对粒子群各参数进行初始化，所述参数包括粒子群的种群规模s、最大迭代次数T、搜索空间维度D、搜索范围最大值P_max、搜索范围最小值P_min，粒子群中每个粒子的最大速度V_max、最小速度V_min、位置x、自我学习因子c₁、社会学习因子c₂。

其中，对粒子群中的每个粒子的速度和位置初始化按下式进行随机赋值，rand()为区间[0，1]之间的随机数。

v＝rand()

x＝200·rand()-100

b)粒子群在初始化后，每个粒子得到一个初始位置，把位置的初始值映射为多任务损失函数中的任务权重a和b，根据该多任务损失函数对模型进行训练，得到基于下式的适应度。

F＝max(-Loss_total)＝max(-a·Loss₁-b·Loss₂)

c)根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及粒子群的种群最优位置、种群最优适应度。

个体最优适应度为每个粒子在整个迭代过程中得到的适应度最大的值；

种群最优适应度为粒子群中所有粒子在整个迭代过程中的个体最优适应度的最大值；

个体最优位置为个体最优适应度的粒子所对应的位置；

种群最优位置为种群最优适应度的粒子所对应的位置。

d)基于种群最优适应度和个体最优适应度计算惯性权重。

将种群最优适应度和个体最优适应度代入下式进行计算，得到惯性权重；

其中，i表示第i个粒子，t表示迭代次数，w表示惯性权重；w_i(t)表示第i个粒子迭代至t次时的惯性权重值；fitness(gbest)(t)表示粒子群迭代至t次时的种群最优适应度；fitness(pbest)_i(t)表示第i个粒子迭代至t次时的个体最优适应度；

e)基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和粒子群的种群最优位置，更新每个粒子的速度和位置。

代入下式，得到粒子更新后的速度：

v_ij(t+1)＝wv_ij(t)+c₁r₁[pbest_ij(t)-x_ij(t)]+c₂r₂[gbest_j(t)-x_ij(t)]

得到粒子更新后的位置：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，v_ij(t)表示第i个粒子迭代到第t次时在第j维空间的速度；v_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的速度；x_ij(t)表示第i个粒子迭代到第t次时在第j维空间的位置；x_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的位置；pbest_ij(t)表示第i个粒子迭代到第t次时在第j维空间的个体最优位置；gbest_j(t)表示粒子群迭代到第t次时粒子群在第j维空间的种群最优位置；c₁为社会学习因子，取值为0.25；c₂为自我学习因子，取值为0.25。

f)计算每个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值，将所述比值与预定阈值进行比较，若所述某个粒子比值小于预定阈值，则判定该粒子搜索成功；

设定预定阈值为1，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值小于1，则判断该粒子搜索成功，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值等于1，则判断该粒子搜索失败。进一步，可以设置粒子搜索成功的表示值为1，粒子搜索失败的表示值为0，基于下式可判断每个粒子是否搜索成功。

其中，SS(i,t)＝1表示第i个粒子搜索成功，SS(i,t)＝0表示第i个粒子搜索失败。

表示第i个粒子迭代至t次时的个体最优适应度。

g)计算搜索成功的粒子的位置到所述种群最优位置的欧氏距离，并对所有搜索成功的粒子所对应的欧氏距离取平均值，得到距离阈值；

其中，dist_i表示第i个粒子的位置到种群最优位置的欧氏距离，gbest_j表示第j维的种群最优位置，x_ij表示第i个粒子的第j维的位置，D表示搜索空间维度。

并根据下式计算所有搜索成功的粒子到种群最优位置的欧式距离的平均值：

其中，dist_average表示平均值(即距离阈值)；m表示搜索成功的粒子的个数。

其中，dist_i表示第i个粒子的位置到种群最优位置的欧氏距离，mut_i表示判断结果。若mut_i＝1表示该粒子落入距离阈值内，mut_i＝0表示该粒子没有落入距离阈值内。

h)判断每个粒子的位置到所述种群最优位置的欧氏距离是否小于所述距离阈值，若是，则对距离阈值内的部分粒子进行变异操作；

变异操作如下所示，得到所述部分粒子中每个粒子在变异后的位置：

pop(i)＝(pop_max-pop_min)·rand()+pop_min

其中，pop(i)表示第i个粒子在变异后的位置；pop_max表示粒子群的搜索范围最大值；pop_min表示粒子群的搜索范围最小值；rand()为区间[0,1]内的随机数。

i)判断当前迭代次数是否小于设定的迭代次数，若否，则执行步骤j；

j)输出粒子群在当前的种群最优位置，并将所述种群最优位置映射为多任务框架中的任务权重参数a和b；

k)根据当前得到的a和b构建多任务损失函数，并对网络模型进行训练，训练完毕后，得到每个粒子的适应度，并将适应度代入步骤c中。

6)训练网络模型并测试

将数据集中的80％作为训练集，剩余的20％作为测试集，所有的卷积层都采取Xavier初始化，初始学习率设置为0.0001，使用Adam优化器。利用粒子群优化算法对多任务损失函数中的任务权重参数进行优化。先对粒子群中的各参数进行赋值，对粒子的速度和位置进行随机初始化，把粒子得到的初始值映射为所求参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算初始化后粒子的适应度。根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及种群最优位置、种群最优适应度。基于种群最优适应度和个体最优适应度得到惯性权重，之后，基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和种群最优位置，对每个粒子的速度和位置进行更新，并根据设定阈值判断是否搜索成功，搜索成功后判断是否需要进行变异操作，并将当前种群最优位置映射为参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算粒子的适应度，重复以上操作直到满足迭代次数，找到最优参数a和b确定Loss_total，通过最小化Loss_total函数使得网络模型识别性能达到最高并且保存模型参数。将测试集载入训练好的网络模型进行预测得到分割结果和基因型，并根据专家标注计算各评价指标。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，包括：

步骤1：构建脑胶质瘤患者数据集：

步骤2：进行数据预处理，首先对原始数据进行数据增强操作，对原始图像进行裁剪、翻转、旋转操作生成新的图像并添加到数据集中，其次对图像进行标准化处理以增强图像目标区域的特征；

步骤3：构建多任务学习框架，包括用于特征提取的编码器、实现分割的解码器、进行分类预测的分类器；

步骤4：构建多任务损失函数，基于Dice系数的损失函数被用作分割损失，对于基因型的预测，Poly loss被用作分类损失；

步骤5：通过改进的粒子群优化算法对多任务学习框架进行优化训练，得到损失函数中两个任务的最佳权重；

步骤6：在网络中载入训练集，确定网络模型的参数，得到训练好的网络模型并保存，载入训练好的网络模型，输入测试集进行预测，得到结果并根据标签计算各评价指标值；

所述步骤2包括：

将所有原始图像在-10到10度范围内进行随机旋转，以0.5的概率在轴向、冠状和矢状面上随机翻转，图像随机裁剪到128×128×128的体素大小来扩充数据集I_data，标签L_mask也进行相同的数据增强操作；

对所有图像进行标准化处理，公式如下：

其中，μ为图像的均值，x表示图像矩阵，σ和N分别表示图像的标准差和图像体素数量；

所述步骤5包括：

对粒子群各参数进行初始化，所述参数包括粒子群的种群规模s、最大迭代次数T、搜索空间维度D、搜索范围最大值P_max、搜索范围最小值P_min，粒子群中每个粒子的最大速度V_max、最小速度V_min、位置x、自我学习因子c₁、社会学习因子c₂；

其中，对粒子群中的每个粒子的速度和位置初始化按下式进行随机赋值，rand()为区间[0，1]之间的随机数；

v＝rand()

x＝200·rand()-100

将初始化后的每个粒子的位置初始值代入适应度函数，得到每个粒子的适应度；

粒子群在初始化后，每个粒子得到一个初始位置，把位置的初始值映射为多任务损失函数中的任务权重a和b，根据该多任务损失函数对模型进行训练，得到基于下式的适应度：

F＝max(-Loss_total)＝max(-a·Loss₁-b·Loss₂)

根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及粒子群的种群最优位置、种群最优适应度；

个体最优适应度为每个粒子在整个迭代过程中得到的适应度最大的值；种群最优适应度为粒子群中所有粒子在整个迭代过程中的个体最优适应度的最大值；个体最优位置为个体最优适应度的粒子所对应的位置；种群最优位置为种群最优适应度的粒子所对应的位置；

基于种群最优适应度和个体最优适应度计算惯性权重；

将种群最优适应度和个体最优适应度代入下式进行计算，得到惯性权重；

其中，i表示第i个粒子，t表示迭代次数，w表示惯性权重；w_i(t)表示第i个粒子迭代至t次时的惯性权重值；fitness(gbest)(t)表示粒子群迭代至t次时的种群最优适应度；fitness(pbest)_i(t)表示第i个粒子迭代至t次时的个体最优适应度；

基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和粒子群的种群最优位置，更新每个粒子的速度和位置；

代入下式，得到粒子更新后的速度：

v_ij(t+1)＝wv_ij(t)+c₁ r₁[pbest_ij(t)-x_ij(t)]+c₂r₂[gbest_j(t)-x_ij(t)]

得到粒子更新后的位置：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，v_ij(t)表示第i个粒子迭代到第t次时在第j维空间的速度；v_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的速度；x_ij(t)表示第i个粒子迭代到第t次时在第j维空间的位置；x_ij(t+1)表示第i个粒子迭代到第t+1次时在第j维空间的位置；pbest_ij(t)表示第i个粒子迭代到第t次时在第j维空间的个体最优位置；gbest_j(t)表示粒子群迭代到第t次时粒子群在第j维空间的种群最优位置；c₁为社会学习因子，取值为0.25；c₂为自我学习因子，取值为0.25；

计算每个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值，将所述比值与预定阈值进行比较，若某个粒子比值小于预定阈值，则判定该粒子搜索成功；

设定预定阈值为1，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值小于1，则判断该粒子搜索成功，若某个粒子在当前迭代次数时的个体最优适应度与前一次迭代次数时的个体最优适应度的比值等于1，则判断该粒子搜索失败；设置粒子搜索成功的表示值为1，粒子搜索失败的表示值为0，基于下式判断每个粒子是否搜索成功；

其中，SS(i,t)＝1表示第i个粒子搜索成功，SS(i,t)＝0表示第i个粒子搜索失败；

表示第i个粒子迭代至t次时的个体最优适应度；

计算搜索成功的粒子的位置到所述种群最优位置的欧氏距离，并对所有搜索成功的粒子所对应的欧氏距离取平均值，得到距离阈值；

其中，dist_i表征第i个粒子的位置到种群最优位置的欧氏距离，gbest_j表征第j维的种群最优位置，x_ij表征第i个粒子的第j维的位置，D表征搜索空间维度；

并根据下式计算所有搜索成功的粒子到种群最优位置的欧式距离的平均值：

其中，dist_average表示平均值(即距离阈值)；m表征搜索成功的粒子的个数；

其中，dist_i表示第i个粒子的位置到种群最优位置的欧氏距离，mut_i表示判断结果；若mut_i＝1表示该粒子落入距离阈值内，mut_i＝0表示该粒子没有落入距离阈值内；

判断每个粒子的位置到所述种群最优位置的欧氏距离是否小于所述距离阈值，若是，则对距离阈值内的部分粒子进行变异操作；

变异操作如下所示，得到所述部分粒子中每个粒子在变异后的位置：

pop(i)＝(pop_max-pop_min)·rand()+pop_min

其中，pop(i)表示第i个粒子在变异后的位置；pop_max表示粒子群的搜索范围最大值；pop_min表示粒子群的搜索范围最小值；rand()为区间[0,1]内的随机数；

判断当前迭代次数是否小于设定的迭代次数，若否，则执行步骤j；

输出粒子群在当前的种群最优位置，并将所述种群最优位置映射为多任务框架中的任务权重参数a和b；

根据当前得到的a和b构建多任务损失函数，并对网络模型进行训练，训练完毕后，得到每个粒子的适应度，并将适应度代入每个粒子的适应度公式中。

2.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述步骤1包括：

MRI图像预处理包括颅骨去除、配准到统一空间、重采样到1mm³的分辨率，获得分辨率统一、灰度分布相同的多模态MRI数据，预处理后的所有数据大小为240×240×240。

3.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述步骤3包括：

给定MRI扫描输入X∈R^C×H×W×D，空间分辨率为H×W，深度维度为D，通道数为C，利用3DCNN生成捕捉空间和深度信息的特征图，然后利用Transformer编码器对全局空间中的长距离依赖性进行建模；

在实现胶质瘤分割任务的分支中，为减少编码特征和解码特征间的语义差异，用通道交叉Transformer模型CCT和通道交叉注意力模块CCA来代替普通U-net网络中的跳跃连接，编码部分的多尺度特征通过CCT模块进行交叉融合，对于编码部分的4层输出E_i，首先对特征进行token化，将特征变形为块大小的序列，使得这些块在4种尺度下映射到编码特征的相同区域，然后将token输入到多头交叉注意力模块和具有残差结构的多层感知机MLP中，以编码通道关系和依赖；

将第i级Transformer的输出O_i和第i级解码特征D_i作为CCA模块的输入，并通过全局平均池化操作进行空间压缩，之后对通道依赖进行编码，嵌入全局空间信息到通道注意力图中，最终根据每个通道的重要性重新激活O_i得到

再将/>

与第i级解码器的上采样特征进行拼接融合，之后通过反卷积操作逐步恢复图像的分辨率，产生高分辨率的分割结果；

在实现基因预测任务的分支中，使用全局平均池化和全局最大池化将编码部分获取的最后两级特征变换到每个通道中的相同尺寸，并加入临床数据通过级联进行融合，然后输入到三个全连接层中，最后由Softmax函数输出基因型的预测概率，实现基因型预测。

4.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述用于特征提取的编码器包括：

采用一系列卷积和Transformer操作从输入中提取全局语义特征，输入先进行3×3×3的初始卷积操作，产生具有16个通道的特征图，接着通过3次下采样操作来捕获空间和深度特征表示，下采样操作通过步长为2的3×3×3的卷积来实现，每一次下采样操作后，输出的通道数量翻一倍，大小变为原来的一半，编码后的低分辨特征表示为

为确保每个体素的全面表示，使用线性投影将通道维度从128增加到512，并把空间维度和深度维度扩展成一维，得到

大小的特征图f；为了对位置信息进行编码，引入可学习的位置嵌入，并通过与特征图f融合，得到如下的特征嵌入：

z₀＝f+PE＝W×F+PE

其中，W为线性投影操作，PE∈R^d×N为位置嵌入，z₀∈R^d×N为特征嵌入，之后z₀被送到L层堆叠的Transformer中；

每一层Transformer层由一个多头注意力MHA和一个前馈网络FFN组成，对于第l层，自注意力的输入是根据z_l-1计算的三元组(Q，K，V)：

Q＝z_l-1W_Q，K＝z_l-1W_K，V＝z_l-1W_V

其中，W_Q，W_K，W_V∈R^d×d是三个线性投影层的可学习参数，d是(Q，K，V)的维数；

自注意力计算如下：

MHA是Transformer层重要的组成部分，允许模型同时关注来自不同位置的不同子空间的表示信息，通过将Transformer层的输入分成n个独立部分，并行处理每个部分，然后使用线性投影对级联结果进行投影，MHA操作表示如下：

MHA(z_l-1)＝Concat(SA₁(z_l-1),...,SA_n(z_l-1))W_O

其中，W_O是线性投影层的可学习参数，Concat()是连接操作；

然后，MHA的输出送入FFN模块得到第l个Transformer层的输出，第l个Transformer层的输出计算为：

z′_l＝MHA(LN(z_l-1))+z_l-1

z_l＝FFN(LN(z′_l))+z′_l

LN(*)表示层归一化操作，z_l表示第l层的输出，l∈[1,2,...,L]；

通道交叉融合模块代替普通的跳跃连接：通道交叉融合模块由通道交叉Transformer模型CCT和通道交叉注意模块CCA组成，通道交叉Transformer用于编码部分特征转换，先将编码部分的各级特征变形为序列进行标记化，再将各层的标记T_i进行级联，得到键和值T_∑＝Concat(T₁，T₂，T₃，T₄)，三个标记T_i作为查询和一个级联的Token作为键和值，分别得到：

K＝T_∑W_K

V＝T_∑W_V

其中，W_Qi、W_K、W_V是不同输入的权重，i＝1,2,3,4；

通过交叉注意力机制对V进行加权：

其中，φ(·)表示正则化操作，σ(·)表示softmax函数，M_i为相似矩阵；

得到多头交叉注意后的输出MCA_i：

其中，N为头数；

通过MLP和残差操作后，得到如下输出：

O_i＝MCA_i+MLP(Q_i+MCA_i)

第L层的四个输出O₁、O₂、O₃和O₄通过上采样和卷积操作进行重建，并与解码部分特征串联；

通道交叉注意模块融合多尺度特征和解码阶段的特征，以解决语义层不一致的问题，将第i级Transformer层输出O_i∈R^C×H×W和第i级解码特征D_i∈R^C×H×W作为该模块的输入，并通过全局平均池化进行空间压缩，得到G(X)，并通过该操作嵌入全局空间信息并产生注意力标签：

M_i＝L₁·G(O_i)+L₂·G(D_i)

其中，L₁和L₂是两个线性层的权重和Relu算子的权重；

使用一个单一的线性层和sigmoid激活函数来建立通道注意图，结果向量最终表示为：

其中，σ(M_i)表示每个通道重要性；

最终，将

和第i层解码器的上采样特征进行拼接融合。

5.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述实现分割的解码器包括：

由多个级联的上采样操作组成，通过级联的上采样操作逐渐恢复全分辨率H×W×D，每一次上采样操作由1×1×1的卷积和步长为2的反卷积组成，最后经过1×1×1的卷积和sigmoid函数作为解码器的分割层，以产生分割结果，表示为：

其中，φ是解码器参数，

为解码器输出，/>

是解码器的输入。

6.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述进行分类预测的分类器包括：

使用全局平均池化和全局最大池化将捕获的多尺度特征变换到每个通道中的相同尺寸，并加入临床数据通过级联进行融合，然后输入到三个全连接层中，最后由Softmax函数输出基因型的预测概率，概率表示为：

H_j＝Concat(GAP(F_j),GMP(F_j))

其中，

表示编码器第j层的特征图；/>

和/>

是融合的特征，/>

是类别c中样本i的输出概率。

7.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述步骤4包括：

对于胶质瘤分割中前景和背景像素之间的不平衡问题，采用基于dice系数的损失函数作为分割损失，记作Loss₁，表达式为：

其中，p⁽ⁱ⁾为分割网络经过Softmax函数的输出；g⁽ⁱ⁾为相应的真实标签值；K为类别数；∈为防止被0除的小常数；

对于基因型预测中存在的类别不平衡问题，采用Poly-1loss作为损失函数，记作Loss₂，表达式为：

Loss₂＝L_Poly-1＝L_CE+∈₁(1-P_t)＝-log(p_t)+∈₁(1-P_t)

其中，p_t为模型对目标类的预测概率，∈₁在本研究中设置为2；

综上，多任务损失函数为：

Loss_total＝a·Loss₁+b·Loss₂

其中，a、b为Loss₁和Loss₂之间的任务权重。

8.根据权利要求1所述的面向胶质瘤多任务一体化网络的改进粒子群参数优化方法，其特征在于，所述步骤6包括：

将数据集中的80％作为训练集，剩余的20％作为测试集，所有的卷积层都采取Xavier初始化，初始学习率设置为0.0001，使用Adam优化器；

利用粒子群优化算法对多任务损失函数中的任务权重参数进行优化，先对粒子群中的各参数进行赋值，对粒子的速度和位置进行随机初始化，把粒子得到的初始值映射为所求参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算初始化后粒子的适应度；

根据每个粒子的适应度，计算每个粒子的个体最优位置、个体最优适应度以及种群最优位置、种群最优适应度，基于种群最优适应度和个体最优适应度得到惯性权重；

基于惯性权重、自我学习因子、社会学习因子、每个粒子的个体最优位置和种群最优位置，对每个粒子的速度和位置进行更新，并根据设定阈值判断是否搜索成功，搜索成功后判断是否需要进行变异操作，并将当前种群最优位置映射为参数a和b，得到Loss_total，并对多任务学习框架进行训练同时根据适应度函数计算粒子的适应度；

重复以上操作直到满足迭代次数，找到最优参数a和b确定Loss_total，通过最小化Loss_total函数使得网络模型识别性能达到最高并且保存模型参数；

最后将测试集载入训练好的网络模型进行预测得到分割结果和基因型，并根据专家标注计算各评价指标。

Images