CN111833356A - 脑部胶质瘤图像分级方法、装置及存储介质 - Google Patents

Abstract

本发明公开了脑部胶质瘤图像分级方法、装置及存储介质，对输入的脑部胶质瘤图像作归一化处理和作感兴趣区域的增强处理，提高鲁棒性和分级的准确性；基于弱监督原理的掩膜处理能精准地为脑部胶质瘤图像中脑部胶质瘤对应的区域加上掩膜，进一步提高鲁棒性和分级的准确性，进而减少了对大量有真值标签的训练样本数据的依赖性；通过宽度学习网络避免了大规模耗时的网络训练，解决了获取更高精度时，增加网络层数而导致梯度消失和训练缓慢的问题。

Description

脑部胶质瘤图像分级方法、装置及存储介质

技术领域

本发明涉及图像处理领域，特别是脑部胶质瘤图像分级方法、装置及存储介质。

背景技术

脑部胶质瘤是常见的原发性颅脑恶性肿瘤，通常从病理学上按照恶性程度逐渐增高，从I级到IV级分为四级。而通过有经验的医师人为地对拍摄CT图像辨认分级，是目前对脑部胶质瘤图像分级的主要手段。也存在通过计算机技术对恶性肿瘤进行分级的技术，但依然存在需要大量标注样本，对样本数据依赖性过强，从而存在网络的训练时间长，且受噪声影响大的缺点。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供脑部胶质瘤图像分级方法、装置及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，脑部胶质瘤图像分级方法，包括以下步骤：

对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，对所述第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中所述脑部胶质瘤图像带有图像级标签，所述感兴趣区域为所述第一处理图像中脑部胶质瘤所对应的区域；

对所述第二处理图像分割，得到多个大小相同的实例；

从多个所述实例中选出第一关键实例和第二关键实例，利用所述第一关键实例训练第一子分类网络和利用所述第二关键实例训练第二子分类网络，其中所述第一关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最大值，所述第二关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最小值，所述第一关键实例的标签和所述第二关键实例的标签均与所述图像级标签相同；

将非关键实例输入已训练的所述第一子分类网络得到第一标签，和将所述非关键实例输入已训练的所述第二子分类网络得到第二标签，根据所述第一标签和所述第二标签对所述非关键实例打上标签，根据所有所述实例的标签对所述第二处理图像作掩膜处理得到第三处理图像，其中所述非关键实例是多个所述实例中除了所述第一关键实例和所述第二关键实例外的其他所述实例；

将所述第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

根据本发明的第一方面，所述将第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果包括以下步骤：

按照m＝flatten(M)将所述第三处理图像转化为行向量，其中m为行向量且

n₁是所述第三处理图像的像素个数，flatten(·)表示转化为一维向量的运算；

将M′＝[m₁，m₂，m₃，...m_i，...，m_n]^T输入至所述宽度学习网络，根据W＝[F|E]⁺Y得到所述宽度学习网络的输出权值矩阵，其中W为所述宽度学习网络的输出权值矩阵，Y为所述宽度学习网络的输出，[F|E]⁺＝lim_λ→0([F|E]^T[F|E]+λI)^-1[F|E]，λ为所述宽度学习网络的超参数，I为单位矩阵，[F|E]表示将特征节点矩阵和增强节点矩阵按行拼接，第i个特征节点表示为F_i＝tanh(M′W_fi+β_fi)，第i个增强节点表示为E_j＝tanh(F_iW_ej+β_ej)，W_fi是第i个特征节点的输出权值矩阵，W_ej是第j个增强节点的输出权值矩阵，β_fi是第i个特征节点的偏置，β_ej是第j个增强节点的偏置；

根据

得到脑部胶质瘤图像的分级结果，其中

是所述脑部胶质瘤图像的分级结果。

根据本发明的第一方面，所述归一化处理具体为：

其中Z为所述第一处理图像，X是输入的脑部胶质瘤图像，(x，y)是输入的脑部胶质瘤图像的像素点位置。

根据本发明的第一方面，所述基于注意力机制的增强处理具体为：

其中f(x，y)是半径为1的高斯核，Z′_(x，y)是经增强处理后的像素点的值。

根据本发明的第一方面，所述实例的大小为2X2；所述第一关键实例表示为：B_InMax-Max＝Max(B′_(x，y))；所述第二关键实例表示为：

其中B′_(x，y)＝{Z′_(x，y)，Z′_(x+1，y)，Z′_(x，y+1)，Z′_(x+1，y+1)}，L是所述标注。

根据本发明的第一方面，所述根据第一标签和第二标签对所述非关键实例打上标签具体为：比较所述第一标签和所述第二标签，若所述第一标签和所述第二标签相同，则将所述第一标签或所述第二标签作为对应的所述非关键实例的标签；若所述第一标签和所述第二标签不相同，则将所述第一标签和所述第二标签中概率值更大的一个作为对应的所述非关键实例的标签。

根据本发明的第一方面，所述根据所有实例的标签对第二处理图像作掩膜处理得到第三处理图像具体为：将所述第一关键实例的标签、所述第二关键实例的标签以及所述非关键实例的标签映射至对应的像素点的图像级标签上，得到掩膜，进而得到所述第三处理图像。

根据本发明的第一方面，所述第一子分类网络和所述第二子分类网络均是全连接网络，其激活函数为：

其损失函数为：loss＝-∑(LlogL′+(1-L)log(1-L′))；其中K′为所述第一标签或所述第二标签，L为所述图像级标签，s为所述第一子分类网络的输出或所述第一子分类网络的输出。

本发明的第二方面，应用如本发明第一方面所述脑部胶质瘤图像分级方法的脑部胶质瘤图像分级装置，包括：

图像预处理模块，用于对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，还用于对所述第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中所述脑部胶质瘤图像带有图像级标签，所述感兴趣区域为所述第一处理图像中脑部胶质瘤所对应的区域；

实例分割模块，用于对所述第二处理图像分割，得到多个大小相同的实例；

分类网络训练模块，用于从多个所述实例中选出第一关键实例和第二关键实例，利用所述第一关键实例训练第一子分类网络和利用所述第二关键实例训练第二子分类网络，其中所述第一关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最大值，所述第二关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最小值，所述第一关键实例的标签和所述第二关键实例的标签均与所述图像级标签相同；

掩膜处理模块，用于将非关键实例输入已训练的所述第一子分类网络得到第一标签，和将所述非关键实例输入已训练的所述第二子分类网络得到第二标签，根据所述第一标签和所述第二标签对所述非关键实例打上标签，根据所有所述实例的标签对所述第二处理图像作掩膜处理得到第三处理图像，其中所述非关键实例是多个所述实例中除了所述第一关键实例和所述第二关键实例外的其他所述实例；

分级模块，用于将所述第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

本发明的第三方面，存储介质，存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本发明第一方面所述的脑部胶质瘤图像分级方法。

上述方案至少具有以下的有益效果：对输入的脑部胶质瘤图像作归一化处理和作感兴趣区域的增强处理，提高鲁棒性和分级的准确性；基于弱监督原理的掩膜处理能精准地为脑部胶质瘤图像中脑部胶质瘤对应的区域加上掩膜，进一步提高鲁棒性和分级的准确性，进而减少了对大量有真值标签的训练样本数据的依赖性；通过宽度学习网络避免了大规模耗时的网络训练，解决了获取更高精度时，增加网络层数而导致梯度消失和训练缓慢的问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例脑部胶质瘤图像分级方法的流程图；

图2是本发明实施例脑部胶质瘤图像分级装置的结构示意图；

图3是第一关键实例和第二关键实例的获取过程图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的某些实施例，提供了脑部胶质瘤图像分级方法，包括以下步骤：

步骤S100、对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，对第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中脑部胶质瘤图像带有图像级标签，感兴趣区域为第一处理图像中脑部胶质瘤所对应的区域；

步骤S210、对第二处理图像分割，得到多个大小相同的实例50；

步骤S220、从多个实例50中选出第一关键实例51和第二关键实例52，利用第一关键实例51训练第一子分类网络和利用第二关键实例52训练第二子分类网络，其中第一关键实例51是标注为1的实例50的最大值和标注为0的实例50的最大值，第二关键实例52是标注为1的实例50的最大值和标注为0的实例50的最小值，第一关键实例51的标签和第二关键实例52的标签均与图像级标签相同；

步骤S230、将非关键实例输入已训练的第一子分类网络得到第一标签，和将非关键实例输入已训练的第二子分类网络得到第二标签，根据第一标签和第二标签对非关键实例打上标签，根据所有实例50的标签对第二处理图像作掩膜处理得到第三处理图像，其中非关键实例是多个实例50中除了第一关键实例51和第二关键实例52外的其他实例50；

步骤S300、将第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

在该实施例中，对输入的脑部胶质瘤图像作归一化处理和作感兴趣区域的增强处理，提高鲁棒性和分级的准确性；基于弱监督原理的掩膜处理能精准地为脑部胶质瘤图像中脑部胶质瘤对应的区域加上掩膜，进一步提高鲁棒性和分级的准确性，进而减少了对大量有真值标签的训练样本数据的依赖性；通过宽度学习网络避免了大规模耗时的网络训练，解决了获取更高精度时，增加网络层数而导致梯度消失和训练缓慢的问题。

进一步，在步骤S100中，归一化处理具体为：

其中Z为第一处理图像，X是输入的脑部胶质瘤图像，(x，y)是输入的脑部胶质瘤图像的像素点位置。

另外，在步骤S100中，基于注意力机制的增强处理具体为：

其中f(x，y)是半径为1的高斯核，Z′_(x，y)是经增强处理后的像素点的值。需要说明的是，X_l为阈值，X_l视具体情况来取值。大于等于X_l的像素点作为感兴趣区域。将感兴趣区域与高斯核卷积，能增大感受野，消除噪声影响，提高鲁棒性和后续分级的准确性。

参照图3，进一步，在步骤S210中，分割得到的实例50的大小为2X2。实例50继承第二处理图像的图像级标签。

在步骤S220中，从多个实例50中选出第一关键实例51和第二关键实例52，利用第一关键实例51训练第一子分类网络和利用第二关键实例52训练第二子分类网络。其中第一关键实例51是标注为1的实例50的最大值和标注为0的实例50的最大值，第二关键实例52是标注为1的实例50的最大值和标注为0的实例50的最小值，第一关键实例51的标签和第二关键实例52的标签均与图像级标签相同。第一关键实例51表示为：B_InMax-Max＝Max(B′_(x，y))；第二关键实例52表示为：

其中B′_(x，y)＝{Z′_(x，y)，Z′_(x+1，y)，Z′_(x，y+1)，Z′_(x+1，y+1)}，L是标注。

进一步，在步骤S230中，将非关键实例输入已训练的第一子分类网络得到第一标签，和将非关键实例输入已训练的第二子分类网络得到第二标签。

另外，根据第一标签和第二标签对非关键实例打上标签具体为：比较第一标签和第二标签，若第一标签和第二标签相同，则将第一标签或第二标签作为对应的非关键实例的标签；若第一标签和第二标签不相同，则将第一标签和第二标签中概率值更大的一个作为对应的非关键实例的标签。

根据所有实例50的标签对第二处理图像作掩膜处理得到第三处理图像具体为：将第一关键实例51的标签、第二关键实例52的标签以及非关键实例的标签映射至对应的像素点的图像级标签上，得到掩膜，进而得到第三处理图像。

需要说明的是，第一子分类网络和第二子分类网络均是全连接网络，其激活函数为：

其损失函数为：loss＝-∑(LlogL′+(1-L)log(1-L′))；其中L′为第一标签或第二标签，L为图像级标签，s为第一子分类网络的输出或第一子分类网络的输出。全连接网络表示为：s＝WB′_(x，y)+b，b为全连接网络的偏置量。

进一步，步骤S300具体包括以下步骤：

按照m＝flatten(M)将第三处理图像转化为行向量，其中m为行向量且

n₁是第三处理图像的像素个数，flatten(·)表示转化为一维向量的运算；

将M′＝[m₁，m₂，m₃，...m_i，...，m_n]^T输入至宽度学习网络，根据W＝[F|E]⁺Y得到宽度学习网络的输出权值矩阵，其中W为宽度学习网络的输出权值矩阵，Y为宽度学习网络的输出，[F|E]⁺＝lim_λ→0([F|E]^T[F|E]+λI)^-1[F|E]，λ为宽度学习网络的超参数，I为单位矩阵，[F|E]表示将特征节点矩阵和增强节点矩阵按行拼接，第i个特征节点表示为F_i＝tanh(M′W_fi+β_fi)，第i个增强节点表示为E_j＝tanh(F_iW_ej+β_ej)，W_fi是第i个特征节点的输出权值矩阵，W_ej是第j个增强节点的输出权值矩阵，β_fi是第i个特征节点的偏置，β_ej是第j个增强节点的偏置；

根据

得到脑部胶质瘤图像的分级结果，其中

是脑部胶质瘤图像的分级结果。

参照图2，本发明的某些实施例，提供了脑部胶质瘤图像分级装置，包括：

图像预处理模块10，用于对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，其中脑部胶质瘤图像带有图像级标签，还用于对第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中脑部胶质瘤图像带有图像级标签，感兴趣区域为第一处理图像中脑部胶质瘤所对应的区域；

实例50分割模块21，用于对第二处理图像分割，得到多个大小相同的实例50；

分类网络训练模块22，用于从多个实例50中选出第一关键实例51和第二关键实例52，利用第一关键实例51训练第一子分类网络和利用第二关键实例52训练第二子分类网络，其中第一关键实例51是标注为1的实例50的最大值和标注为0的实例50的最大值，第二关键实例52是标注为1的实例50的最大值和标注为0的实例50的最小值，第一关键实例51的标签和第二关键实例52的标签均与图像级标签相同；

掩膜处理模块23，用于将非关键实例输入已训练的第一子分类网络得到第一标签，和将非关键实例输入已训练的第二子分类网络得到第二标签，根据第一标签和第二标签对非关键实例打上标签，根据所有实例50的标签对第二处理图像作掩膜处理得到第三处理图像，其中非关键实例是多个实例50中除了第一关键实例51和第二关键实例52外的其他实例50；

分级模块30，用于将第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

在该装置实施例中，脑部胶质瘤图像分级装置应用如方法实施例所述的脑部胶质瘤图像分级方法，能执行脑部胶质瘤图像分级方法的各个步骤，具有和脑部胶质瘤图像分级方法相同的技术效果，在此不再详述。

本发明的某些实施例，提供了存储介质，存储有可执行指令，可执行指令能被计算机执行，使计算机执行如方法实施例所述的脑部胶质瘤图像分级方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.脑部胶质瘤图像分级方法，其特征在于，包括以下步骤：

对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，对所述第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中所述脑部胶质瘤图像带有图像级标签，所述感兴趣区域为所述第一处理图像中脑部胶质瘤所对应的区域；

对所述第二处理图像分割，得到多个大小相同的实例；

从多个所述实例中选出第一关键实例和第二关键实例，利用所述第一关键实例训练第一子分类网络和利用所述第二关键实例训练第二子分类网络，其中所述第一关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最大值，所述第二关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最小值，所述第一关键实例的标签和所述第二关键实例的标签均与所述图像级标签相同；

将非关键实例输入已训练的所述第一子分类网络得到第一标签，和将所述非关键实例输入已训练的所述第二子分类网络得到第二标签，根据所述第一标签和所述第二标签对所述非关键实例打上标签，根据所有所述实例的标签对所述第二处理图像作掩膜处理得到第三处理图像，其中所述非关键实例是多个所述实例中除了所述第一关键实例和所述第二关键实例外的其他所述实例；

将所述第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

2.根据权利要求1所述的脑部胶质瘤图像分级方法，其特征在于，所述将第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果包括以下步骤：

按照m＝flatten(M)将所述第三处理图像转化为行向量，其中m为行向量且

n₁是所述第三处理图像的像素个数，flatten(·)表示转化为一维向量的运算；

将M′＝[m₁，m₂，m₃，...m_i，...，m_n]^T输入至所述宽度学习网络，根据W＝[F|E]⁺Y得到所述宽度学习网络的输出权值矩阵，其中W为所述宽度学习网络的输出权值矩阵，Y为所述宽度学习网络的输出，[F|E]⁺＝lim_λ→0([F|E]^T[F|E]+λI)^-1[F|E]，λ为所述宽度学习网络的超参数，I为单位矩阵，[F|E]表示将特征节点矩阵和增强节点矩阵按行拼接，第i个特征节点表示为F_i＝tanh(M′W_fi+β_fi)，第i个增强节点表示为E_j＝tanh(F_iW_ej+β_ej)，W_fi是第i个特征节点的输出权值矩阵，W_ej是第j个增强节点的输出权值矩阵，β_fi是第i个特征节点的偏置，β_ej是第j个增强节点的偏置；

根据

得到脑部胶质瘤图像的分级结果，其中

是所述脑部胶质瘤图像的分级结果。

3.根据权利要求1所述的脑部胶质瘤图像分级方法，其特征在于，所述归一化处理具体为：

其中Z为所述第一处理图像，X是输入的脑部胶质瘤图像，(x，y)是输入的脑部胶质瘤图像的像素点位置。

4.根据权利要求1所述的脑部胶质瘤图像分级方法，其特征在于，所述基于注意力机制的增强处理具体为：

其中f(x，y)是半径为1的高斯核，Z′_(x，y)是经增强处理后的像素点的值。

5.根据权利要求1所述的脑部胶质瘤图像分级方法，其特征在于，所述实例的大小为2X2；所述第一关键实例表示为：B_InMax-Max＝Max(B′_(x，y))；所述第二关键实例表示为：

其中B′_(x，y)＝{Z′_(x，y)，Z′_(x+1，y)，Z′_(x，y+1)，Z′_(x+1，y+1)}，L是所述标注。

6.根据权利要求5所述的脑部胶质瘤图像分级方法，其特征在于，所述根据第一标签和第二标签对所述非关键实例打上标签具体为：比较所述第一标签和所述第二标签，若所述第一标签和所述第二标签相同，则将所述第一标签或所述第二标签作为对应的所述非关键实例的标签；若所述第一标签和所述第二标签不相同，则将所述第一标签和所述第二标签中概率值更大的一个作为对应的所述非关键实例的标签。

7.根据权利要求6所述的脑部胶质瘤图像分级方法，其特征在于，所述根据所有实例的标签对第二处理图像作掩膜处理得到第三处理图像具体为：将所述第一关键实例的标签、所述第二关键实例的标签以及所述非关键实例的标签映射至对应的像素点的图像级标签上，得到掩膜，进而得到所述第三处理图像。

8.根据权利要求7所述的脑部胶质瘤图像分级方法，其特征在于，所述第一子分类网络和所述第二子分类网络均是全连接网络，其激活函数为：

其损失函数为：loss＝-∑(LlogL′+(1-L)log(1-L′))；其中K′为所述第一标签或所述第二标签，L为所述图像级标签，s为所述第一子分类网络的输出或所述第一子分类网络的输出。

9.应用如权利要求1至8任一项所述脑部胶质瘤图像分级方法的脑部胶质瘤图像分级装置，其特征在于，包括：

图像预处理模块，用于对输入的脑部胶质瘤图像作归一化处理，得到第一处理图像，还用于对所述第一处理图像的感兴趣区域作基于注意力机制的增强处理，得到第二处理图像，其中所述脑部胶质瘤图像带有图像级标签，所述感兴趣区域为所述第一处理图像中脑部胶质瘤所对应的区域；

实例分割模块，用于对所述第二处理图像分割，得到多个大小相同的实例；

分类网络训练模块，用于从多个所述实例中选出第一关键实例和第二关键实例，利用所述第一关键实例训练第一子分类网络和利用所述第二关键实例训练第二子分类网络，其中所述第一关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最大值，所述第二关键实例是标注为1的所述实例的最大值和标注为0的所述实例的最小值，所述第一关键实例的标签和所述第二关键实例的标签均与所述图像级标签相同；

掩膜处理模块，用于将非关键实例输入已训练的所述第一子分类网络得到第一标签，和将所述非关键实例输入已训练的所述第二子分类网络得到第二标签，根据所述第一标签和所述第二标签对所述非关键实例打上标签，根据所有所述实例的标签对所述第二处理图像作掩膜处理得到第三处理图像，其中所述非关键实例是多个所述实例中除了所述第一关键实例和所述第二关键实例外的其他所述实例；

分级模块，用于将所述第三处理图像输入宽度学习网络得到脑部胶质瘤图像的分级结果。

10.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至8任一项所述的脑部胶质瘤图像分级方法。

Images