CN113033636B - 一种卵巢肿瘤自动鉴别系统 - Google Patents

Abstract

本发明提出了一种卵巢肿瘤自动鉴别系统，是一种新型神经网络架构，包括数据获取及预处理、特征提取、多模态特征聚合、预测等步骤。该系统能够直接以多模态磁共振图像作为输入，整个流程无需人工勾画肿瘤病灶区域，也无需人工提取特征，仅通过二维卷积核就能实现基于三维图像的全自动诊断，能够有效提高基于术前磁共振图像的上皮性恶性和交界性卵巢肿瘤鉴别精度。

Description

一种卵巢肿瘤自动鉴别系统

技术领域

本发明要解决的技术问题是交界性和恶性卵巢肿瘤鉴别，该技术属于医学图像信息处理、计算机辅助诊断领域。

背景技术

研究表明多模态磁共振是一种有效鉴别二者的成像手段，但影像科医生凭经验判断来区分二者的诊断精度较低，现有的影像组学方法需要人工勾画肿瘤病灶区域，在勾画的区域内提取人工设计的特征，然后经过特征筛选，构建并训练模型。

由于影像组学方法固有的特性，需要勾画肿瘤病灶区域和人工特征提取两个步骤。勾画肿瘤病灶区域比较费时耗力，需要非常专业的医学知识，且主观性较强，不同医生所勾画的肿瘤区域可能会有差异；所提取的特征没有针对性，无法针对特定的疾病来设计。上述两个原因都会导致模型的性能不稳定，精度差。

发明内容

本发明提供一种卵巢肿瘤自动鉴别系统，其特征在于，包括以下步骤：数据获取及预处理、特征提取、多模态特征聚合、预测。

进一步地，所述数据获取及预处理包括，获取患者j的k个模态的磁共振数据，并将这些磁共振数据对齐，使不同的磁共振模态有相同的大小和空间分辨率。患者j的磁共振数据集合可以表示为

其中m_k代表第k个模态的磁共振数据，

代表第k个模态的第n个切片。

进一步地，所述特征提取包括，使用二维卷积神经网络(Conv(·))对每个切片分别进行特征提取，得到该患者的特征集合

其中

代表从第k个模态的第n个切片中提取到的特征图，w和h为该特征图的宽度和高度，

则为模态k的单模态特征向量。

进一步地，所述多模态特征聚合包括，使用模态注意力模块实现多模态特征聚合，首先使用全局均值池化(f_gp(·))来获取第k模态的描述子d_k和全局模态描述子d：

d＝{d₁，d₂，…_，d_k}

其中，i代表n方向，即沿切片方向的起始值。

随后使用两个全连接层(f_fc1(·)和f_fc2(·))和一个激活层(f_ac(·))对全局模态描述子d进行非线性化和降维操作，从而获取模态注意力向量a：

a＝f_fc2(f_ac(f_fc1(d)))

紧接着，使用一个softmax层(f_sm(·))来对各个模态的注意力值进行校准，以使其权重和为1：

其中，

为校准后的模态注意力向量，最后，根据各个模态的注意力值，对多个单模态磁共振特征向量进行加权求和，来获取最后的多模态磁共振特征向量fea⁽ⁿ⁾：

其中，

为第i个模态的第n个切片中提取的特征图，

代表第个i磁共振模态的注意力值。

进一步地，所述预测包括使用分类器来获取切片级的预测结果、使用上下文多示例池化层(f_cp(·))来聚合切片级的预测结果、获取患者的预测结果。

进一步地，所述使用分类器来获取切片级的预测结果包括，使用多个全连接层构成的分类器f_cls(·)来获取所有切片的预测结果q：

进一步地，所述使用上下文多示例池化层(f_cp(·))来聚合切片级的预测结果包括，首先，对每个切片的预测值进行调整，得到调整后的切片预测值p⁽ⁱ⁾：

其中，c为对每个切片进行调整时所需要考虑的上下文范围，对于

的情况，手动设置q^(j)为0。

进一步地，所述获取患者的预测结果包括，使用池化函数f_pool获取患者的预测结果P：

P＝f_pool(p)＝f_pool(p⁽¹⁾，p⁽²⁾，...，p⁽ⁿ⁾)。

附图说明

图1所示是本发明的主要工作流程图；

图2所示为本发明的多模态特征聚合的流程图；

图3所示为本发明的预测的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1-3，本发明提供一种卵巢肿瘤自动鉴别系统，包括以下步骤：数据获取及预处理、特征提取、多模态特征聚合、预测。

从医院PACS(Picture Archiving and Communication Systems)系统中获取患者j的k个模态的磁共振数据，并将这些磁共振数据对齐，使不同的磁共振模态有相同的大小和空间分辨率。患者j的磁共振数据集合可以表示为

其中m_k代表第k个模态的磁共振数据，

代表第k个模态的第n个切片。

使用二维卷积神经网络(Conv(·))对每个切片分别进行特征提取，得到该患者的特征集合

其中

代表从第k个模态的第n个切片中提取到的特征图，w和h为该特征图的宽度和高度，

则为模态k的单模态特征向量。

使用模态注意力模块实现多模态特征聚合，首先使用全局均值池化(f_gp(·))来获取第k模态的描述子d_k和全局模态描述子d：

d＝{d₁，d₂，…，d_k}

随后使用两个全连接层(f_fc1(·)和f_fc2(·))和一个激活层(f_ac(·))对全局模态描述子d进行非线性化和降维操作，从而获取模态注意力向量a：

a＝f_fc2(f_ac(f_fc1(d)))

紧接着，使用一个softmax层(f_sm(·))来对各个模态的注意力值进行校准，以使其权重和为1：

其中，

为校准后的模态注意力向量，最后，根据各个模态的注意力值，对多个单模态磁共振特征向量进行加权求和，来获取最后的多模态磁共振特征向量fea⁽ⁿ⁾：

其中，

代表第个i磁共振模态的注意力值。

所述预测包括使用分类器来获取切片级的预测结果、使用上下文多示例池化层(f_cp(·))来聚合切片级的预测结果、获取患者的预测结果。

所述使用分类器来获取切片级的预测结果包括，使用多个全连接层构成的分类器f_cls(·)来获取所有切片的预测结果q：

q＝{q⁽¹⁾，q⁽²⁾，...，q⁽ⁿ⁾}＝{f_cls(fea⁽¹⁾)，f_cls(fea⁽²⁾)，...，f_cls(fea⁽ⁿ⁾)}。

所述使用上下文多示例池化层(f_cp(·))来聚合切片级的预测结果包括，首先，对每个切片的预测值进行调整，得到调整后的切片预测值o⁽ⁱ⁾：

其中，c为对每个切片进行调整时所需要考虑的上下文范围，对于

的情况，手动设置q^(j)为0。

所述获取患者的预测结果包括，使用池化函数f_pool获取患者的预测结果P：

P＝f_pool(p)＝f_pool(p⁽¹⁾,p⁽²⁾,…,p⁽ⁿ⁾)。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限制。

Claims (1)

1.一种卵巢肿瘤自动鉴别系统，其特征在于，包括以下步骤：数据获取及预处理、特征提取、多模态特征聚合、预测；

所述数据获取及预处理包括，获取患者j的k个模态的磁共振数据，并将这些磁共振数据对齐，使不同的磁共振模态有相同的大小和空间分辨率，患者j的磁共振数据集合可以表示为

其中m_k代表第k个模态的磁共振数据，

代表第k个模态的第n个切片；

所述特征提取包括，使用二维卷积神经网络Conv(·)对每个切片分别进行特征提取，得到该患者的特征集合

其中

代表从第k个模态的第n个切片中提取到的特征图，w和h为该特征图的宽度和高度，

则为模态k的单模态特征向量；

所述多模态特征聚合包括，使用模态注意力模块实现多模态特征聚合，首先使用全局均值池化f_gp(·)来获取第k模态的描述子d_k和全局模态描述子d：

d＝{d₁,d₂,…,d_k}

其中，i代表n方向，即沿切片方向的起始值；

使用两个全连接层f_fc1(·)和f_fc2(·)，和一个激活层f_ac(·)对全局模态描述子d进行非线性化和降维操作，从而获取模态注意力向量a：

a＝f_fc2(f_ac(f_fc1(d)))

使用一个softmax层f_sm(·)来对各个模态的注意力值进行校准，以使其权重和为1：

其中，

为校准后的模态注意力向量，根据各个模态的注意力值，对多个单模态磁共振特征向量进行加权求和，来获取最后的多模态磁共振特征向量fea⁽ⁿ⁾：

其中，

为第i个模态的第n个切片中提取的特征图，

代表第i个磁共振模态的注意力值；

所述预测包括使用分类器来获取切片级的预测结果、使用上下文多示例池化层f_cp(·)来聚合切片级的预测结果、获取患者的预测结果；

所述使用分类器来获取切片级的预测结果包括，使用多个全连接层构成的分类器f_cls(·)来获取所有切片的预测结果q：

q＝{q⁽¹⁾,q⁽²⁾,…,q⁽ⁿ⁾}＝{f_cls(fea⁽¹⁾),f_cls(fea⁽²⁾),…,f_cls(fea⁽ⁿ⁾)}；

所述使用上下文多示例池化层f_cp(·)来聚合切片级的预测结果包括，首先，对每个切片的预测值进行调整，得到调整后的切片预测值p⁽ⁱ⁾：

其中，c为对每个切片进行调整时所需要考虑的上下文范围，对于

的情况，手动设置q^(j)为0；

所述获取患者的预测结果包括，使用池化函数f_pool获取患者的预测结果P：

P＝f_pool(p)＝f_pool(p⁽¹⁾,p⁽²⁾,…,p⁽ⁿ⁾)。

Images