CN112907525B - 乳腺磁共振图像智能分类方法、装置、设备和介质 - Google Patents

Abstract

本申请公开了一种乳腺磁共振图像智能分类方法、装置、设备和介质，其中，方法包括：获取单侧乳腺的磁共振图像；对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像；将所述磁共振图像和二值图像输入至第一预设模型，得到第一分类结果；将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果；将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。由此，无需人工干预或额外的检测技术即可提取出医生的感兴趣区域，能够实现对目标用户的单侧乳腺图像进行智能分类，极大的提高医生的阅片效率。

Description

乳腺磁共振图像智能分类方法、装置、设备和介质

技术领域

本公开一般涉及医学技术领域，尤其涉及一种乳腺磁共振图像智能分类方法、装置、设备和介质。

背景技术

腺癌是女性所有恶性肿瘤当中发病率最高的一种，在国内约占全部恶性肿瘤的17％左右，正严重危害着女性的健康，而如果乳腺癌能较早期发现，具有较高的治愈率。因此，对乳腺疾病进行筛查具有重要意义。

BI-RADS(Breast Imaging Reporting and Data System，乳腺影像报告与数据系统)分类法能够较好的评价乳腺情况，如何对乳腺MRI (Magnetic Resonance Imaging，磁共振成像)影像进行BI-RADS分类在医学图像分析领域具有重要意义。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种乳腺磁共振图像智能分类方法、装置、设备和介质，能够实现对目标用户的单侧乳腺图像进行智能分类，极大的提高医生的阅片效率。

根据第一方面，本申请实施例提出一种乳腺磁共振图像智能分类方法，包括：

获取单侧乳腺的磁共振图像；

对所述磁共振图像输入预训练模型，获得所述磁共振图像对应的二值图像；

将所述磁共振图像和所述二值图像输入至第一预设模型，得到第一分类结果；

将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果；

将所述第一分类结果和所述第二分类结果进行拼接，输入至第一全连接层，得到所述磁共振图像的分类结果。

可选地，所述将所述磁共振图像和所述二值图像输入至第一预设模型，得到第一分类结果，包括：

从所述磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从所述二值图像中提取与所述第一序列图像、所述第二序列图像和所述第三序列图像对应的第一二值图像、第二二值图像和第三二值图像；

将所述第一序列图像和所述第一二值图像进行裁剪和拼接，得到第一图像、将所述第二序列图像和所述第二二值图像进行裁剪和拼接，得到第二图像、将所述第三序列图像和所述第三二值图像进行裁剪和拼接，得到第三图像；

将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征；

利用第二全连接层计算所述高维抽象特征与每个类别标签之间的空间距离；

将所述空间距离最小所述标签作为所述第一分类结果。

可选地，所述将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征，包括：

分别对所述第一图像、所述第二图像和所述第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；

将所述第一特征图像、所述第二特征图像和所述第三特征图像拼接，得到目标特征图像；

将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征。

可选地，所述将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征，包括：

利用所述第一预设模型中的第一池化层和第二池化层分别对所述目标特征图像进行处理，得到第一描述符和第二描述符；

将所述第一描述符和所述第二描述符分别输入至所述第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；

将所述第一通道注意力权重和所述第二通道注意力权重分别与所述目标特征图像进行逐元素加权相乘，得到低维抽象特征；

将所述低维抽象特征输入至所述第一预设模型中的残差网络，得到所述高维抽象特征。

可选地，所述残差网络包括串联连接的四个3维残差卷积层和一个池化层。

可选地，所述将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果，包括：

对所述磁共振图像和所述二值图像进行聚类分析，得到目标区域的影像组学特征；

利用所述第二预设模型的梯度提升树算法，对上述影像组学特征进行迭代分析，得到所述第二分类结果。

可选地，上述的乳腺磁共振图像智能分类方法，还包括：

在得到至少两个所述分类结果时，将至少两个所述分类结果中对应的标签等级最高的所述分类结果作为输出的所述磁共振图像的分类结果。

根据第二方面，本申请实施例提出一种乳腺磁共振图像智能分类装置，包括：

第一获取模块，用于获取单侧乳腺的磁共振图像；

第二获取模块，用于对所述磁共振图像输入预训练模型，获得所述磁共振图像对应的二值图像；

第一输入模块，用于将所述磁共振图像和所述二值图像输入至第一预设模型，得到第一分类结果；

第二输入模块，用于将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果；

拼接模块，用于将所述第一分类结果和所述第二分类结果进行拼接，输入至第一全连接层，得到所述磁共振图像的分类结果。

可选地，所述第一输入模块，具体用于：

从所述磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从所述二值图像中提取与所述第一序列图像、所述第二序列图像和所述第三序列图像对应的第一二值图像、第二二值图像和第三二值图像；

将所述第一序列图像和所述第一二值图像进行裁剪和拼接，得到第一图像、将所述第二序列图像和所述第二二值图像进行裁剪和拼接，得到第二图像、将所述第三序列图像和所述第三二值图像进行裁剪和拼接，得到第三图像；

将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征；

利用第二全连接层计算所述高维抽象特征与每个类别标签之间的空间距离；

将所述空间距离最小所述标签作为所述第一分类结果。

可选地，所述第一输入模块，还用于：

分别对所述第一图像、所述第二图像和所述第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；

将所述第一特征图像、所述第二特征图像和所述第三特征图像拼接，得到目标特征图像；

将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征。

可选地，所述第一输入模块，还包括：

利用所述第一预设模型中的第一池化层和第二池化层分别对所述目标特征图像进行处理，得到第一描述符和第二描述符；

将所述第一描述符和所述第二描述符分别输入至所述第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；

将所述第一通道注意力权重和所述第二通道注意力权重分别与所述目标特征图像进行逐元素加权相乘，得到低维抽象特征；

将所述低维抽象特征输入至所述第一预设模型中的残差网络，得到所述高维抽象特征。

可选地，所述残差网络包括串联连接的四个3维残差卷积层和一个池化层。

可选地，所述第二输入模块，具体用于：

对所述磁共振图像和所述二值图像进行聚类分析，得到目标区域的影像组学特征；

利用所述第二预设模型的梯度提升树算法，对上述影像组学特征进行迭代分析，得到所述第二分类结果。

可选地，上述的乳腺磁共振图像智能分类装置，还包括：

确定模块，用于在得到至少两个所述分类结果时，将至少两个所述分类结果中对应的标签等级最高的所述分类结果作为输出的所述磁共振图像的分类结果。

根据第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。

根据第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例描述的方法。

由此，可以获取单侧乳腺的磁共振图像，并对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像，并将磁共振图像和二值图像输入至第一预设模型，得到第一分类结果，并将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果，并将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。由此，无需人工干预或额外的检测技术即可提取出医生的感兴趣 区域，能够实现对目标用户的单侧乳腺图像进行智能分类，极大的提高医生的阅片效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了相关技术中的乳腺磁共振图像智能分类的示意图；

图2示出了适于用来实现本申请实施例的乳腺磁共振图像智能分类方法的流程图；

图3示出了适于用来实现本申请一个实施例的乳腺磁共振图像智能分类方法的流程图；

图4示出了适于用来实现本申请一个实施例的得到第一分类结果的流程图；

图5示出了适于用来实现本申请一个实施例的标准归一化预处理的流程图；

图6示出了适于用来实现本申请一个实施例的得到高维抽象特征的示意图；

图7示出了适于用来实现本申请一个实施例的残差网络的示意图；

图8示出了适于用来实现本申请实施例的乳腺磁共振图像智能分类装置的方框示意图；

图9示出了适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请的乳腺磁共振图像智能分类方法、装置、设备和介质。

在介绍本申请实施例的乳腺磁共振图像智能分类方法之前，先简单介绍下相关技术中的方法及缺陷。

目前，现有的关于乳腺核磁辅助模型的学习方法主要分为两大类：(1)利用传统的特征工程学习算法；(2)利用深度神经网络来进行端到端的学习。

其中，特征工程学习算法首先需要选择预先定义的特征函数对乳腺影像的感兴趣区域进行特征提取，再将提取的特征放入到分类器中进行训练，得到分类模型。例如，相关技术中分别利用支持向量机算法，决策树算法，二次判别分析算法来对乳腺图像进行分类识别。基于有一定经验的放射科医师对影像的勾勒情况，提取出勾勒的感兴趣区域的影像组学特征，然后将提取的特征分别放到上述不同的分类器中得到分类识别结果。

近年来，深度学习技术已经成功广泛地应用在视频监控、人脸识别等方面，并在医疗影像辅助方面取得了一定进展，通过对可疑病变进行定量、定性分析，帮助放射科医生做出更为准确的判断，并且可以进一步自动生成报告，在保证图像精度的同时，提升医生的效率。深度学习方法因其优秀的特征自动提取能力，在图像处理领域取得成果显著。相关技术中利用VGG19的网络架构来对乳腺图像进行分类建模。该技术分别用到了不同的三种特征融合的手段来进行乳腺图像分类识别任务的建模。如图1所示，这三种方法分别是：

(1)图像融合：选出乳腺核磁的动态增强序列的第0时刻和第2 时刻的扫描影像，同时结合T2脂肪抑制序列的乳腺核磁影像，将选择出的三个序列进行融合，得到RGB(RGBcolor mode，RGB色彩模式)图像来作为模型的输入，然后输入的VGG19(Visual GeometryGroup，VGG19网络结构)的模型框架中，最后将得到的特征通过支持向量机分类器得到最终的分类识别结果；

(2)特征融合：将乳腺核磁的动态增强序列的第0时刻和第2 时刻的扫描影像与T2脂肪抑制序列的乳腺核磁影像分别输入到 VGG19的模型框架中，然后将输出的特征进行融合再放入到支持向量机分类器中得到最终的分类识别结果；

(3)分类器融合：同2中输入得到的输出特征，然后分别将得到的特征放入到支持向量机分类器中得到分类识别结果，根据得到的分类结果进行投票，得到最终的分类识别结果。

然而，相关技术中方案存在以下缺点：

(1)大多数都只考虑了关于乳腺图像分类的二分类问题，即，将乳腺图像中的感兴趣区域划分为两大类，并没有更细粒度的图像划分；

(2)传统的机器学习依赖于人工手动勾勒出感兴趣区域，然后提取有效的影像特征信息，但人工勾勒过程需要的时间较长，严重影响图像分类的效率；

(3)目前乳腺图像分类模型的输入都为二维图像，没有充分利用乳腺核磁共振图像获得的三维空间特征，对乳腺图像中的感兴趣区域的分类结果会造成一定的影响；

(4)现有基于深度学习的技术方案大都将图像感兴趣区域裁剪出来，并仅对局部区域进行分类建模，未考虑到感兴趣区域的周围区域对分类的影响；

(5)由于BI-RADS分类本身就是一个概率性的分类，所以类别间的差异性相比于其他任务来说较小，所以常见的交叉熵损失函数在现有技术方案上分类效果并没有很好。

本申请正是基于上述缺陷，而提出一种乳腺磁共振图像智能分类方法，可以获取单侧乳腺的磁共振图像，并对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像，并将二值图像输入至第一预设模型，得到第一分类结果，并将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果，并将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。由此，无需人工干预或额外的检测技术即可提取出医生的感兴趣 区域，能够实现对病人单侧乳腺进行分类，极大的提高医生的阅片效率。

请参考图2，图2为本申请实施例的乳腺磁共振图像智能分类方法的流程图。

如图2所示，该乳腺磁共振图像智能分类方法包括以下步骤：

S201，获取单侧乳腺的磁共振图像。

S202，将磁共振图像输入预训练模型，获得磁共振图像对应的二值图像。

可以理解的是，如图3所示，本申请实施例可以首先获取目标用户的单侧乳腺的磁共振图像，并将其输入到预训练模型，其中，该预训练模型可以为预先训练好的用于图像分割的神经网络，从而即可得到目标用户对应的二值掩码图像，该图像可以表示为感兴趣区域的二值图像，其中，感兴趣区域像素值为1，其余区域均为背景，像素值为0，感兴趣区域可为乳腺中的病灶区域，例如肿瘤区域。

S203，将磁共振图像和二值图像输入至第一预设模型，得到第一分类结果。

可选地，在一些实施例中，如图4所示，将磁共振图像和二值图像输入至第一预设模型，得到第一分类结果，包括以下步骤：

S41，从磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从二值图像中提取与第一序列图像、第二序列图像和第三序列图像对应的第一二值图像、第二二值图像和第三二值图像。

其中，第一序列可为磁共振图像中的DCE序列(Dynamic contrast enhancement，动态增强扫描序列)的预扫期，早期，延迟期，第二序列可为磁共振图像中的T2序列(T2weightedimaging，T2加权成像)，第三序列可为磁共振图像中的DWI序列(Diffusionweighted imaging， MRI扩散加权成像)。

可以理解的是，由于每个病人基于各种原因扫描序列的张数不完全相同，因此，本申请实施例可以获取目标用户乳腺磁共振图像中 DCE序列的预扫期，早期，延迟期的图像作为第一序列图像，并获取对应的二值掩码图像作为第一二值图像；获取磁共振图像中T2序列图像作为第二序列图像，并获取对应的二值掩码图像作为第二二值图像；获取磁共振图像中DWI序列图像作为第三序列图像，并获取对应的二值掩码图像作为第三二值图像。

S42，将第一序列图像和第一二值图像进行裁剪和拼接，得到第一图像、将第二序列图像和第二二值图像进行裁剪和拼接，得到第二图像、将第三序列图像和第三二值图像进行裁剪和拼接，得到第三图像。

在本申请实施例中，可将第一序列图像和第一二值图像统一缩放到512*512*128尺寸大小，并将缩放到统一尺寸的第一序列图像和第一二值图像分为左右侧，即，左侧乳腺图像和右侧乳腺图像，并将单侧乳腺图像裁剪至256*384*128像素大小，然后单侧乳腺的第一序列图像和第一二值图像拼接起来，即可得到第一图像，并将第一图像作为分类模型的第一个原始输入数据。

需要说明的是，DCE序列是乳腺MRI检查的关键，一个DCE序列由连续的多个时相组成，注射药物前有一个预扫描的本底图像，一般称为预扫期，注射药物后的图像依次为1，2，3…n时相，n通常可自行设定，注射药物1时相称为增强早期，第n时相为增强延迟期；上述处理方法即为第一预设规则。

本申请实施例还将第二序列图像和第二二值图像统一缩放至 256*256*32尺寸大小，并将缩放到统一尺寸的第二序列图像和第二二值图像分为左右侧，即，左侧乳腺图像和右侧乳腺图像，并将单侧乳腺图像裁剪至128*192*32像素大小，然后将单侧乳腺的第二序列图像和第二二值图像拼接起来得到第二图像，并将第二图像作为模型的第二个输入。

需要说明的是，T2序列为动态增强扫描前施加脂肪抑制的T2对比扫描。上述处理方法即为第二预设规则。

本申请实施例还将第三序列图像和第三二值图像，统一缩放至 256*256*32尺寸大小，并将缩放到统一尺寸的第三序列图像和第三二值图像分为左右侧，并将单侧乳腺图像裁剪至128*192*32像素大小，然后将单侧乳腺的第三序列图像和第三二值图像拼接起来可得到第三图像，并将第三图像作为模型的第三个输入。

需要说明的是，DWI序列是一种检测活体组织水分子微观运动的成像方法，可以通过观测水分子的微观运动来揭示组织病变。上述处理方法即为第三预设规则。

进一步地，本申请实施例还可以运用图像处理技术对上述第一图像、第二图像和第三图像进行标准归一化预处理，具体地，可分别将第一图像、第二图像和第三图像降噪处理，然后针对降噪处理后的结果计算图像灰度值直方图，利用阈值对灰度值直方图进行截图并归一化处理，得到归一化预处理后的图像，如图5所示，从而消除不同目标用户之间由于各种成像原因造成的像素值差异较大的影响。应当理解的式，在对第一预设模型进行模型训练时，可根据归一化后的图像在训练过程中随机的进行图像的翻转等操作，以此进行数据量的扩充，增大样本数量，并根据所有获得的可用的数据量按比例划分为训练集、验证集和测试集。

S43，将第一图像、第二图像和第三图像分别输入至第一预设模型，得到高维抽象特征。

可选地，在一些实施例中，将第一图像、第二图像和第三图像分别输入至第一预设模型，得到高维抽象特征，包括：分别对第一图像、第二图像和第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；将第一特征图像、第二特征图像和第三特征图像拼接，得到目标特征图像；将目标特征图像输入至第一预设模型，得到高维抽象特征。

可以理解的是，本申请实施例可以将预处理好的归一化预处理后的图像作为第一预设模型的三个输入，分别先下采样至同一尺寸大小，得到尺寸大小相同的图像特征，即将第一图像、第二图像和第三图像进行下采样，以得到同一尺寸大小的第一特征图像、第二特征图像和第三特征图像，并将第一特征图像、第二特征图像和第三特征图像进行拼接，得到目标特征图像。

进一步地，在一些实施例中，将目标特征图像输入至第一预设模型，得到高维抽象特征，包括：利用第一预设模型中的第一池化层和第二池化层分别对目标特征图像进行处理，得到第一描述符和第二描述符；将第一描述符和第二描述符分别输入至第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；将第一通道注意力权重和第二通道注意力权重分别与目标特征图像进行逐元素加权相乘，得到低维抽象特征；将低维抽象特征输入至第一预设模型中的残差网络，得到高维抽象特征。

可以理解的是，对于不同通道的特征模型应该有不同程度的关注程度，因此，本申请实施例可以将拼接后得到的目标特征图像输入到图6所示的通道注意力模块中，该模块首先使用第一池化层和第二池化层操作来聚合特征映射的空间信息,生成两个不同的空间上下文描述符，即第一描述符和第二描述符，其中，第一池化层可以为最大池化层，第二池化层可以为平均池化层。

进一步地，将得到的第一描述符和第二描述符输入到共享网络，即感知层，该感知层由多层感知机(Multilayer Perceptron，MLP)和一个隐藏层组成，上述描述符通过该感知层，能够得到两个隐层特征向量，即如图6中所示的特征1和特征2，将两个向量相加经过sigmoid 函数得到一个关于通道权重的权值向量，即通道注意力权重。然后将通道注意力权重与上述目标特征图像相乘，得到加权特征向量，并将加权特征向量输入到残差网络，再经过残差网络训练得到影像的高维抽象特征。由此，能够充分利用不同通道间向量的重要性权值，对于后续分类结果由更高影响的基于更大的权值关注。

需要说明的是，多层感知机也称人工神经网络，神经网络的基本结构，其将输入的多个数据集映射到单一的输出数据集上。通常包括输入层、输出层以及若干隐藏层。

其中，在一些实施例中，如图7所示，残差网络包括串联连接的四个3维残差卷积层和一个池化层。

S44，利用第二全连接层计算高维抽象特征与每个类别标签之间的空间距离；将空间距离最小标签作为第一分类结果。

可以理解的是，本申请实施例利用上述步骤S44中得到的高维特征，经过第二全连接层得到模型对单侧乳腺BI-RADS的分类结果，在本申请实施例中，将传统的softmax分类激活函数换用sigmoid激活函数，并不使用常规的独热编码来表示模型的分类标签，而用[1,0,0,0,0],[1,1,0,0,0],[1,1,1,0,0],[1,1,1,1,0],[1,1,1,1,1]来分别编码 BI-RADS1，BI-RADS2，BI-RADS3，BI-RADS4，BI-RADS5所表示的类别标签，1的个数对应相对的标签数值。最终根据模型的输出向量与类别标签向量之间的欧式距离大小来确定最终的第一分类结果，即距离模型输出向量距离最近的类别向量所对应的BI-RADS分类结果。

由此，采用三维图像作为模型的输入，以及DCE序列三个不同扫描时期(预扫期、早期、延迟期)的序列，充分考虑到了目标用户的空间信息与时间信息；不同于其他技术仅利用DCE序列的信息，本技术充分利用乳腺核磁多成像序列的特征，根据乳腺图像的感兴趣区域在不同序列下的不同成像特点，同时利用T2序列、DWI序列和DCE 序列，充分结合乳腺图像的空间特征表现以及不同成像时刻乳腺图像的像素值变化，使得分类结果更加准确；并且在三个输入拼接过程中加入通道注意力模块，这样做可以使模型学习到不同通道间的注意力，对不同通道间给予不同的注意力权重。

S204，将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果。

可选地，在一些实施例中，将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果，包括：对磁共振图像和二值图像进行聚类分析，得到目标区域的影像组学特征；利用第二预设模型的梯度提升树算法，对上述影像组学特征进行迭代分析，得到第二分类结果。

可以理解的是，本申请实施例可以根据裁剪后得到的乳腺核磁影像及其对应的二值掩码图像，利用空间密度聚类的方法将每个图像中的感兴趣区域从空间上划分开，然后提取每个感兴趣区域对应的各个序列的影像组学特征，并根据梯度提升树算法建立分类模型，通过该算法的不断迭代对上述提取的影像特征进行BI-RADS分类学习，得到第二分类结果。

S205，将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。

由此，将根据第一预设模型得到的第一分类结果和根据第二预设模型得到的第二分类结果进行叠加，并通过第一全连接层加权融合，从而得到磁共振图像的分类结果。

可选地，在一些实施例中，上述的乳腺磁共振图像智能分类方法，还包括：在得到至少两个分类结果时，将至少两个分类结果中对应的标签等级最高的分类结果作为输出的磁共振图像的分类结果。

也就是说，上述仅对单侧乳腺进行BI-RADS分类学习，对于单侧有多个感兴趣区域的情形，即，对单侧乳腺得到多个BI-RADS分类结果时，本申请实施例可以对多个BI-RADS分类结果按照分类标签的数值大小进行降序排列，提取多个BI-RADS分类结果中标签数值最大的分类结果作为当前单侧乳腺的分类结果。

综上，不仅利用到神经网络对影像高层特征进行提取与学习，同时利用到传统的特征工程学习算法对影像组学特征进行学习，既很好利用抽象特征学习到的分类结果，又能结合影像组学特征学习的分类结果，同时对两种学习方式得到的结果进行融合，对乳腺图像进行 BI-RADS分类的结果更加准确，并且最终给出的BI-RADS分类结果能够表达出乳腺图像中感兴趣区域类别的递进关系，而且中间过程无需人工干预，无需通过医生对感兴趣区域进行勾勒，实现了对乳腺核磁共振影像BI-RADS分类的端到端的训练。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。

根据本申请实施例提出的乳腺磁共振图像智能分类方法，可以获取单侧乳腺的磁共振图像，并对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像，并将二值图像输入至第一预设模型，得到第一分类结果，并将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果，并将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。由此，无需人工干预或额外的检测技术来提取出医生的感兴趣 区域，能完全实现对病人单侧乳腺整体BI-RADS级别的评判，极大的提高医生的阅片效率。

进一步参考图8，其示出了根据本申请一个实施例的用于乳腺磁共振图像智能分类装置10的示例性结构框图。

如图8所示，该乳腺磁共振图像智能分类装置包括：第一获取模块100、第二获取模块200、第一输入模块300、第二输入模块400和拼接模块500。

其中，第一获取模块100用于获取单侧乳腺的磁共振图像；

第二获取模块200用于对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像；

第一输入模块300用于将磁共振图像和二值图像输入至第一预设模型，得到第一分类结果；

第二输入模块400用于将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果；

拼接模块500用于将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。

可选地，第一输入模块300具体用于：

从所述磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从所述二值图像中提取与所述第一序列图像、所述第二序列图像和所述第三序列图像对应的第一二值图像、第二二值图像和第三二值图像；

将所述第一序列图像和所述第一二值图像进行裁剪和拼接，得到第一图像、将所述第二序列图像和所述第二二值图像进行裁剪和拼接，得到第二图像、将所述第三序列图像和所述第三二值图像进行裁剪和拼接，得到第三图像；

将第一图像、第二图像和第三图像分别输入至第一预设模型，得到高维抽象特征；

利用第二全连接层计算高维抽象特征与每个类别标签之间的空间距离；

将空间距离最小标签作为第一分类结果。

可选地，在一些实施例中，第一输入模块300还用于：

分别对第一图像、第二图像和第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；

将第一特征图像、第二特征图像和第三特征图像拼接，得到目标特征图像；

将目标特征图像输入至第一预设模型，得到高维抽象特征。

可选地，在一些实施例中，第一输入模块300还包括：

利用第一预设模型中的第一池化层和第二池化层分别对目标特征图像进行处理，得到第一描述符和第二描述符；

将第一描述符和第二描述符分别输入至第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；

将第一通道注意力权重和第二通道注意力权重分别与目标特征图像进行逐元素加权相乘，得到低维抽象特征；

将低维抽象特征输入至第一预设模型中的残差网络，得到高维抽象特征。

可选地，残差网络包括串联连接的四个3维残差卷积层和一个池化层。

可选地，在一些实施例中，第二输入模块400具体用于：

对磁共振图像和二值图像进行聚类分析，得到目标区域的影像组学特征；

利用第二预设模型的梯度提升树算法，对上述影像组学特征进行迭代分析，得到第二分类结果。

可选地，上述的乳腺磁共振图像智能分类装置，还包括：

确定模块，用于在得到至少两个分类结果时，将至少两个分类结果中对应的标签等级最高的分类结果作为输出的磁共振图像的分类结果。

应当理解，装置10中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置10及其中包含的单元，在此不再赘述。装置10可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置10中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

根据本申请实施例提出的乳腺磁共振图像智能分类装置，可以获取单侧乳腺的磁共振图像，并对磁共振图像输入预训练模型，获得磁共振图像对应的二值图像，并将磁共振图像和二值图像输入至第一预设模型，得到第一分类结果，并将磁共振图像和二值图像输入至第二预设模型，得到第二分类结果，并将第一分类结果和第二分类结果进行拼接，输入至第一全连接层，得到磁共振图像的分类结果。由此，无需人工干预或额外的检测技术来提取出医生的感兴趣 区域，能够实现对目标用户的单侧乳腺图像进行智能分类，极大的提高医生的阅片效率。

下面参考图9，图9示出了适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图。

如图9所示，计算机系统包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统的操作指令所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O) 接口905也连接至总线904。

以下部件连接至I/O接口905；包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本申请的实施例，上文参考流程图图2描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901 执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连接表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括乳腺磁共振图像智能分类装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，第一获取模块，还可以被描述为“获取单侧乳腺的磁共振图像”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或多个程序，当上述程序被一个或者一个以上的处理器用来执行描述于本申请的乳腺磁共振图像智能分类方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种乳腺磁共振图像智能分类方法，所述方法包括：

获取单侧乳腺的磁共振图像；

将所述磁共振图像输入预训练模型，获得所述磁共振图像对应的二值图像；

将所述磁共振图像和所述二值图像输入至第一预设模型，得到第一分类结果；

将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果；

将所述第一分类结果和所述第二分类结果进行拼接，输入至第一全连接层，得到所述磁共振图像的分类结果；所述将所述磁共振图像和所述二值图像输入至第一预设模型，得到第一分类结果，包括：

从所述磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从所述二值图像中提取与所述第一序列图像、所述第二序列图像和所述第三序列图像对应的第一二值图像、第二二值图像和第三二值图像；

将所述第一序列图像和所述第一二值图像进行裁剪和拼接，得到第一图像、将所述第二序列图像和所述第二二值图像进行裁剪和拼接，得到第二图像、将所述第三序列图像和所述第三二值图像进行裁剪和拼接，得到第三图像；

将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征；

利用第二全连接层计算所述高维抽象特征与每个类别标签之间的空间距离；

将所述空间距离最小所述标签作为所述第一分类结果；所述将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征，包括：

分别对所述第一图像、所述第二图像和所述第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；

将所述第一特征图像、所述第二特征图像和所述第三特征图像拼接，得到目标特征图像；

将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征；所述将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征，包括：

利用所述第一预设模型中的第一池化层和第二池化层分别对所述目标特征图像进行处理，得到第一描述符和第二描述符；

将所述第一描述符和所述第二描述符分别输入至所述第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；

将所述第一通道注意力权重和所述第二通道注意力权重分别与所述目标特征图像进行逐元素加权相乘，得到低维抽象特征；

将所述低维抽象特征输入至所述第一预设模型中的残差网络，得到所述高维抽象特征。

2.根据权利要求1所述的乳腺磁共振图像智能分类方法，其特征在于，所述残差网络包括串联连接的四个3维残差卷积层和一个池化层。

3.根据权利要求1所述的乳腺磁共振图像智能分类方法，其特征在于，所述将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果，包括：

对所述磁共振图像和所述二值图像进行聚类分析，得到目标区域的影像组学特征；

利用所述第二预设模型的梯度提升树算法，对上述影像组学特征进行迭代分析，得到所述第二分类结果。

4.根据权利要求1所述的乳腺磁共振图像智能分类方法，其特征在于，还包括：

在得到至少两个所述分类结果时，将至少两个所述分类结果中对应的标签等级最高的所述分类结果作为输出的所述磁共振图像的分类结果。

5.一种乳腺磁共振图像智能分类装置，所述装置包括：

第一获取模块，用于获取单侧乳腺的磁共振图像；

第二获取模块，用于将所述磁共振图像输入预训练模型，获得所述磁共振图像对应的二值图像；

第一输入模块，用于将所述磁共振图像、所述二值图像输入至第一预设模型，得到第一分类结果；

第二输入模块，用于将所述磁共振图像和所述二值图像输入至第二预设模型，得到第二分类结果；

拼接模块，用于将所述第一分类结果和所述第二分类结果进行拼接，输入至第一全连接层，得到所述磁共振图像的分类结果；

其中，所述第一输入模块，用于：

从所述磁共振图像中提取第一序列图像、第二序列图像和第三序列图像，并从所述二值图像中提取与所述第一序列图像、所述第二序列图像和所述第三序列图像对应的第一二值图像、第二二值图像和第三二值图像；

将所述第一序列图像和所述第一二值图像进行裁剪和拼接，得到第一图像、将所述第二序列图像和所述第二二值图像进行裁剪和拼接，得到第二图像、将所述第三序列图像和所述第三二值图像进行裁剪和拼接，得到第三图像；

将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征；

利用第二全连接层计算所述高维抽象特征与每个类别标签之间的空间距离；

将所述空间距离最小所述标签作为所述第一分类结果；所述将所述第一图像、所述第二图像和所述第三图像分别输入至所述第一预设模型，得到高维抽象特征，包括：

分别对所述第一图像、所述第二图像和所述第三图像进行下采样，得到尺寸大小相同的第一特征图像、第二特征图像和第三特征图像；

将所述第一特征图像、所述第二特征图像和所述第三特征图像拼接，得到目标特征图像；

将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征；所述将所述目标特征图像输入至所述第一预设模型，得到所述高维抽象特征，包括：

利用所述第一预设模型中的第一池化层和第二池化层分别对所述目标特征图像进行处理，得到第一描述符和第二描述符；

将所述第一描述符和所述第二描述符分别输入至所述第一预设模型中的感知层，得到第一通道注意力权重和第二通道注意力权重；

将所述第一通道注意力权重和所述第二通道注意力权重分别与所述目标特征图像进行逐元素加权相乘，得到低维抽象特征；

将所述低维抽象特征输入至所述第一预设模型中的残差网络，得到所述高维抽象特征。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-4中任一所述的乳腺磁共振图像智能分类方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的乳腺磁共振图像智能分类方法。

Images