CN109064455A - 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法 - Google Patents

Abstract

本发明公开了一种基于BI‑RADS的乳腺超声图像多尺度融合的分类方法，其特征在于：包括步骤：前期数据准备，包括数据采集、数据预处理、数据增强和数据归一；特征提取，包括卷积、激活及池化非线性函数，综合浅层的特征图和深层特征图作为后续分类层的输入；分类；分类评价，采用各类的正确率与总的平均准确率作为分类性能评价标准。本发明公开的上述分类方法，能够对乳腺超声图像输出更精细的分类，契合临床诊断结果，有效减少误诊漏诊。

Description

一种基于BI-RADS的乳腺超声图像多尺度融合的分类方法

技术领域

本发明涉及超声图像领域，尤其涉及一种乳腺超声图像BI-RADS分级方法。

背景技术

乳腺癌是全世界女性发病率最高，也是死亡率最高的恶性肿瘤，早发现早治疗尤为重要。早筛查是乳腺癌防治的第一步，正确有效的筛查更是乳腺癌防治过程中的核心。然而中国的乳腺癌早期检出率非常低，乳腺癌患者在一期就筛查出来的不到20％，而在欧美国家，这个数据是62％。

超声检查无需切片检查、无创实时、诊断成像速度快、价格相对较低、可重复性强。乳腺超声检查自20世纪90年代正式应用于临床以来，技术不断寻求突破，诊疗经验不断提升，目前已成为临床不可或缺的辅助诊疗手段，能为乳腺疾病的诊断、治疗、临床治疗方案的制定、预后的评估等提供必要的信息。因此，超声成像在我国多数地区都被选为乳腺检查的首选方法。

乳腺检查的设备、筛查路径、人员操作水平以及对于微小病变的诊断追踪等要素，成为提升乳腺健康筛查质量的关键所在。超声检查严重依赖于医生的经验、操作手法、仪器的分辨率等，会造成专家内和专家间差异从而导致不同的临床诊结果。此外有时探头的轻微晃动会对乳腺超声图像的质量造成很大影响，容易误诊漏诊。通常超声图像诊断主要是医生对病人的影像数据和信息的个人经验和处理，尤其依赖专家经验，为了提高临床医生的诊断准确性和特异性，基于医学影像分析和机器学习技术的的计算机辅助诊断系统逐渐成为医学影像的“第二分析者”。

存在大量数据、基于深度学习的人工智能技术特别适合临床辅助诊断。首先人工智能特别适合快速高效处理海量数据，尤其能够分析出人无法察觉的数据差异，而这点差异可能就决定了对疾病的判断；其次通过深度学习，人工智能可将专家经验转换为算法模型，使得专家经验实现低成本复制。运用人工智能技术识别、解读医学影像，通过与其它病例记录的对比分析，帮助医生定位病灶，辅助诊断，可以有效弥补影像医生的短缺，减轻医生负荷，减少医学误判，提高诊疗效率。大量的基层医疗机构因此可能更方便地用人工智能专家进行辅助诊断，支持分级诊疗的实现。

目前的的乳腺CAD系统是根据临床诊断是否需要活检的金标准将结节分为良性或恶性，从临床来看这种二分类与临床影像医生的诊断并不匹配，因为结节良性包括良性(BI-RADS 2类)和可能良性的病变(BI-RADS 3类)。良性病变包括两项诊断建议即每半年检查一次和每三个月年检查一次，而恶性的诊断建议始终是活检。这样的二分类方法过于粗略，得到的诊断建议并不利于乳腺癌的早期诊断。

发明内容

为了解决上述技术问题，本发明提供一种基于BI-RADS的乳腺超声图像多尺度融合的分类方法，能够对乳腺超声图像输出更精细的分类，契合临床诊断结果，有效减少误诊漏诊。

为实现上述目的，本发明采用以下技术方案：

一种基于BI-RADS的乳腺超声图像多尺度融合的分类方法，包括步骤：

S1、前期数据准备，包括数据采集、数据预处理、数据增强、不平衡数据集和数据归一处理；

S2、特征提取，使用卷积核，输出特征图，并进行非线性函数激活后进行最大池化处理，得到浅层特征图和深层特征图，作为后续分类层的全连接层的输入；

S3、分类，两个全连接后进行四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同；

S4、分类评价，采用各类的正确率与总的平均准确率作为分类性能评价标准。

作为一种优选，数据增强包括如下步骤：

1)在(-5°，5°)范围内随机旋转2次；

2)原始图片随机剪切8次，之后在(-5°，5°)范围内随机旋转2次，其中随机剪切限制图片剪切的最大宽度为图像的1/4；

3)原始图片在(-5°，5°)范围内随机旋转12次。

作为一种优选，数据不平衡中引入类别纠错编码，对每个类进行长度为4的二进制编码。此时每个码位上的分类器只需要做一个二分类，赋予不同类间较大距离，此时错分为不同类别时的代价函数是不同的。

作为一种优选，步骤S2的特征提取具体包括：1)输入图片是128×96像素的1通道乳腺超声图像；

2)第一层conv1使用7×7的卷积核，滑动步长为2个像素，输出96个特征图，ReLU非线性激活后进行最大池化，并加入局部响应归一化，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，以增加模型的泛化能力。；

3)第二层conv2使用5×5的卷积核，滑动步长为2个像素，卷积产生256个特征图，ReLU非线性激活后先进行LRN层局部响应归一化再进行最大池化；

4)第三层conv3使用3×3的卷积核，输出384个特征图，ReLU非线性激活之后分为两支，一支直接进行最大池化，另一支的第四层使用3×3的卷积核输出384个特征图，第五层使用3×3的卷积核输出256个特征图并进行最大池化将两支的特征图拼接融合，综合浅层的特征图和深层特征图作为后续分类层的全连接层的输入。

作为一种优选，步骤S3的分类具体包括：两个全连接后进行四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同；损失函数为交叉熵和全连接层的权重损失的和，而交叉熵为四个二进制位每一位交叉熵的平均，最后一层的加权输入为：

其中是第j个神经元的第k个权重，b是偏移量，表示该L层(最后一层)网络的j个输出，使用softmax函数进行激活作为输出，即对进行softmax输出；第L层的第j个神经元的激活输出为：

分母部分是全部激活输出的和，全部激活输出的和总是等于1，即

激活输出为正确输出BI-RADS分类j的概率。

与现有技术相比，本发明有益的技术效果为：

针对医学图像中的数据不平衡问题，在数据层面下采样通过聚类去除冗余样本，对负样本(大类样本)进行聚类，使不平衡的样本分布变得比较平衡，从而提高分类器对稀有类的识别率；在算法层面引入基于类别纠错编码的代价敏感学习方式，增大对稀有类的错分惩罚，以提高分类的准确性与特异性。

输入数据的标签为四位二进制编码，分类网络包含5个卷积层，第三个卷积层后分为两支，一支直接进行最大池化，一支两次卷积之后再进行池化，将两支最大池化后的结果contact，实现浅层和深层的特征融合作为后续全连接层的输入，两个全连接后进行四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同。

附图说明

图1为数据准备阶段流程图。

图2为网络的算法结构图。

图3为引入类别纠错编码后分类结果对比。

图4为测试集一个batch分类结果可视化图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

基于BI-RADS的乳腺超声图像多尺度融合的分类方法，主要包括以下四个步骤：前期数据准备、特征提取、分类、分类评价，具体分别为：

S1、前期数据准备

图1为前期的数据准备流程图，具体包括数据采集、数据预处理、数据增强和数据归一化四步。

S1.1数据采集

目前还没有乳腺超声图像的公开数据集，因而从临床采集一定量的数据用于研究。采集超声图像时同时采集诊断报告以核对数据Label及结节位置正确性。共采集BI-RADS 1类、BI-RADS 2类、BI-RADS 3类、BI-RADS 5类各897、802、689、652例，平均年龄48岁。其中采集的BI-RADS 5类包括5类和6类的超声图像，对5类同时查看了病理检验的报告，确定是恶性肿瘤时才采集。数据来源于飞利浦、迈瑞、日立等不同的超声设备。

临床采集的数据会有比较多的标注信息，同时为了丰富数据，减少数据过拟合，因此也从网络爬取了一部分数据。爬虫基于Scrapy+Selenium+Phantomjs框架，爬取相应的文本及超声图像，每一类从中选取50例数据增加训练集。

S1.2数据预处理

最原始的图片包含有各种信息，机器型号、时间等，为适应不同机器的输出会有很大的边框，实验数据需要先把边框去除，并降噪。

S1.3数据增强

通过数据增强方法扩张数据集的范围，作为输入时，以期待网络学习到更多的图像不变性特征。乳腺超声图像为灰度图，只能进行小幅度的旋转、小幅度的裁剪、镜面对称等操作，而其他的一些数据增强方法则会使图像的ROI发生质的变化。

对训练集数据集的增强方法包括：

1)原始图片镜面对称，之后在(-5°，5°)范围内随机旋转2次；

2)原始图片随机剪切8次，之后在(-5°，5°)范围内随机旋转2次，其中随机剪切限制图片剪切的最大宽度为图像的1/4；

3)原始图片在(-5°，5°)范围内随机旋转12次；

测试集只进行了镜面对称操作。

S1.4不平衡数据集

在医学中患病的是少数，而不患病的是多数，即正样本(患病的)较少，而负样本(不患病的)较多，因此最终的预测结果会严重倾向于多数的不患病类，导致正的分类错误率很高。具体到本发明中，即BI-RADS 1类(正常的)、BI-RADS 2类较多，而BI-RADS 5类数据较少，这样模型学习到的结果会倾向于将BI-RADS 5类预测为1类、2类，因此需要不平衡数据集。

目前对不平衡数据集主要从数据和算法层面解决。数据方面是通过某种策略进行重采样，从而使数据相对均衡些，算法层面则考虑不同错分情况代价的差异性优化算法，使得算法层面在不平衡数据集也能有较好的效果。

在数据层面，原始数据集的训练集部分本身是不平衡的，BI-RADS 1类(不患病的)比BI-RADAS 5类(患病的)多了300多例，数据增强后两者相差12000例。整理后的BI-RADS5类有26800例，对数据增强后的BI-RADS 1类、BI-RADS 2类、BI-RADS 3类采用聚类后下采样至27000例以保证数据的均衡性。

在算法层面，采用代价敏感学习方式。在大部分不平衡分类问题中，稀有类是分类的重点，在这种情况下，正确识别出稀有类的样本比识别大类的样本更有价值。反过来说，错分稀有类的样本需要付出更大的代价。代价敏感学习赋予各个类别不同的错分代价，它能很好地解决不平衡分类问题。在两个全连接层直接接一个未引入类别纠错编码前，最后一层的softmax分类输出的是一个4维向量，当分类正确时的输出向量及对应的Label如表1所示。此时BI-RADS 2类错分BI-RADS 3类或者BI-RADS 1类的损失函数是一样的，此时Label1和Label 0，Label 1和Label 2之间的距离是一样的，即类间差异是一样的。而实际从Label0到3疾病是越来越严重的，即将Label 1预测为Label 0和预测为Label 2的错误代价是严重不同的。

表1：类别、Label及对应的输出向量

引入类别纠错编码，把多类分类问题转化为多个两类分类问题的方法，对每个类进行长度为4的二进制编码。此时每个码位上的分类器只需要做一个二分类。编码改进后不同的BI-RADS对应的类如表2所示，赋予不同类间较大距离，此时错分为不同类别时的代价函数是不同的。例如BI-RADS 1类和BI-RADS 3类有两位的编码是不一样的，错分的代价函数不同，类间距离逐渐加大。由表3可知，引入类别纠错编码后大大提高了准确率。

表2：类别纠错编码

S1.4归一化处理

对图像下采样为100×64制成TensorFlow内定标准格式——TF-Records作为输入。

6.2特征提取

特征提取部分一般由卷积、非线性函数激活及池化组成。本发明的特征提取部分由5层卷积层，如图2所示：

1)输入图片是128×96像素的1通道乳腺超声图像。

2)图2中第一层conv1使用7×7的卷积核，滑动步长为2个像素，输出96个特征图，ReLU非线性激活后进行最大池化(Maxpooling，图2中mp1)，并加入局部响应归一化(LocalResponse Normalization，LRN)，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，以增加模型的泛化能力。

3)图2中第二层conv2使用5×5的卷积核，滑动步长为2个像素，卷积产生256个特征图，ReLU非线性激活后先进行LRN层局部响应归一化再进行最大池化(Maxpooling，图中mp2)。

4)图2中第三层conv3使用3×3的卷积核，输出384个特征图，ReLU非线性激活之后分为两支，一支直接进行最大池化(Maxpooling，图2中mp3)，另一支的第四层(图2中conv4)使用3×3的卷积核输出384个特征图，第五层(图1中conv5)使用3×3的卷积核输出256个特征图并进行最大池化(Maxpooling，图2中mp4)将两支的特征图拼接融合，综合浅层特征图和深层特征图作为后续分类层的全连接层的输入。

6.3分类

图2中的fc1到fc2是全连接层，其中fc1层包含256个隐层，fc2包含128个隐层。为避免全连接层过拟合，加入L2正则约束两个全连接层的参数。两个全连接层后是四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同。

损失函数为交叉熵(cross entroy)和全连接层的权重损失的和，而交叉熵为四个二进制位每一位交叉熵的平均。最后一层的加权输入为:

其中是第j个神经元的第k个权重，b是偏移量。表示该L层(最后一层)网络的j个输出。使用softmax函数进行激活作为输出，即对进行softmax输出。第L层的第j个神经元的激活输出为：

分母部分是全部激活输出的和，全部激活输出的和总是等于1，即

激活输出可以看做是正确输出BI-RADS分类j的概率。

训练时使用Dropout随机忽略一部分神经元，防止过拟合，而在测试时则不进行dropout。

6.4分类评价

采用各类的正确率与总的平均准确率作为分类性能评价标准。分类的结果如表3所示，引入类别纠错编码后的显著改进了网络的分类性能，总的分类准确率为0.818，对BI-RADS 3类的改进效果较明显，图4为测试集一个batch分类结果可视化图。

表3：引入类别纠错编码后分类结果对比

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于BI-RADS的乳腺超声图像多尺度融合的分类方法，其特征在于：包括步骤：

S1、前期数据准备，包括数据采集、数据预处理、数据增强、不平衡数据集和数据归一处理；

S2、特征提取，使用卷积核，输出特征图，并进行非线性函数激活后进行最大池化处理，得到浅层特征图和深层特征图，作为后续分类层的全连接层的输入；

S3、分类，两个全连接后进行四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同；

S4、分类评价，采用各类的正确率与总的平均准确率作为分类性能评价标准。

2.如权利要求1所述的方法，其特征在于：数据增强包括如下步骤：

1)在(-5°，5°)范围内随机旋转2次；

2)原始图片随机剪切8次，之后在(-5°，5°)范围内随机旋转2次，其中随机剪切限制图片剪切的最大宽度为图像的1/4；

3)原始图片在(-5°，5°)范围内随机旋转12次。

3.如权利要求1所述的方法，其特征在于：数据不平衡中引入类别纠错编码，对每个类进行长度为4的二进制编码。此时每个码位上的分类器只需要做一个二分类，赋予不同类间较大距离，此时错分为不同类别时的代价函数是不同的。

4.如权利要求1所述的方法，其特征在于：步骤S2的特征提取具体包括：

1)输入图片是128×96像素的1通道乳腺超声图像；

2)第一层conv1使用7×7的卷积核，滑动步长为2个像素，输出96个特征图，ReLU非线性激活后进行最大池化，并加入局部响应归一化，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，以增加模型的泛化能力；

3)第二层conv2使用5×5的卷积核，滑动步长为2个像素，卷积产生256个特征图，ReLU非线性激活后先进行LRN层局部响应归一化再进行最大池化；

4)第三层conv3使用3×3的卷积核，输出384个特征图，ReLU非线性激活之后分为两支，一支直接进行最大池化，另一支的第四层使用3×3的卷积核输出384个特征图，第五层使用3×3的卷积核输出256个特征图并进行最大池化将两支的特征图拼接融合，综合浅层的特征图和深层特征图作为后续分类层的全连接层的输入。

5.如权利要求1所述的方法，其特征在于：步骤S3的分类具体包括：两个全连接后进行四个softmax二分类，每一个二分类对应四位二进制类别编码中的每一位，将类别编码间的差异映射到网络的损失函数中，使得不同错分的代价不同；损失函数为交叉熵和全连接层的权重损失的和，而交叉熵为四个二进制位每一位交叉熵的平均，最后一层的加权输入为：

其中是第j个神经元的第k个权重，b是偏移量，表示该L层(最后一层)网络的j个输出，使用softmax函数进行激活作为输出，即对进行softmax输出；第L层的第j个神经元的激活输出为：

分母部分是全部激活输出的和，全部激活输出的和总是等于1，即

激活输出为正确输出BI-RADS分类j的概率。