CN111539930A - 基于深度学习的动态超声乳腺结节实时分割与识别的方法 - Google Patents

Abstract

本发明涉及医学图像处理技术领域，旨在提供一种基于深度学习的动态超声乳腺结节实时分割与识别的方法。包括：收集有结节的超声乳腺图像、视频以及有手术病理结果的病例数据构建数据集，构造静态图像结节分割网络，在原始图像上训练静态图像结节分割模型；使用LSTM层预测中间帧结节概率，构造视频动态分割网络，训练动态分割模型；使用基础网络构造良恶性识别网络结构，训练良恶性识别模型；实时输出结节位置信息，使用良恶性识别模型识别每帧结节良恶性，检查结束输出结节数和综合良恶性概率。本发明可以避免单张图像的信息不完整性，降低错误检测，减少遗漏的小结节，提高结节良恶性识别准确率。

Description

基于深度学习的动态超声乳腺结节实时分割与识别的方法

技术领域

本发明是关于医学图像处理技术领域，特别涉及基于深度学习的动态超声乳腺结节实时分割以及结节良恶性识别的方法。

背景技术

乳腺癌在全球范围内发病率高，乳腺癌的早期发现在很大程度上能提高生存率和生存质量，改善预后。乳腺癌筛查常用到的无创性辅助检查方式主要有钼靶、超声和磁共振。在三种检查方式中，钼靶检查价格低廉，主要利用X线摄片，对发现微小钙化最具有优势，进而能够发现无症状或触摸不到的肿瘤，诊断效率甚至高于磁共振。而超声的优势在于没有放射性，检查方便，价格低廉，可以根据需要反复检查；且超声能清楚分辨层次，鉴别囊性与实性肿块的准确率可达100％，能大致判断肿瘤的良恶性；超声可引导穿刺活检并且了解腋窝和锁骨上的淋巴结有没有转移，对致密型乳腺和乳腺增生诊断有优势。另一种无创性检查手段是磁共振，这类检查的特点是敏感性较高，无射线危害，但是价格昂贵，因此不能作为普查筛查的手段，一般作为钼靶与彩超后无法确认病情的患者做进一步诊断的手段。超声在基层医院广泛配置，与CT、核磁、X光等影像的采集与阅片的流程分开不同，超声检测的难点在于图像采集与阅片需要同时完成，并且需要医生采集不同切面的动态图像进行诊断，对超声医生的操作技术水平和临床经验要求比较高，医生的扫描手法不同、病人存在个体化差异、医生的观察者差异等因素的影响，极易造成误诊或漏诊。

在超声乳腺结节诊断上，病灶的精确检出和描述对临床指标的计算和疾病的早期诊断和治疗具有重要意义。目前，现有的图像分割方法，如阈值法、活动轮廓模型、图割法、条件随机场等，虽然不需要大量标记样本训练学习，在实际应用时仍然需要人工识别出病灶并做一些交互才能完成病灶勾画。由于乳腺超声图像存在大量散斑噪声、伪影、衰减等，常常出现病灶边缘模糊、内部回声不均匀等现象，此外其他组织如血管等在图像上表现和一些类型的病变相似，加大了病灶精确分割的难度，因此设计一种实时、精确、鲁棒的超声乳腺病灶自动分割算法在临床上具有重要意义。随着现在计算机硬件性能的提升和深度学习算法的迭代更新，人工智能越来越广泛用于医学影像领域，利用人工智能等计算机辅助技术自动实时完成乳腺结节分割，可以减少对医生经验水平的依赖，解决人工分割主观性强的缺点，提高医生工作效率和诊断精度。采用深度卷积神经网络在大量的有临床手术病理结果的乳腺结节超声图像上进行训练，在测试集数据以及临床应用中测试，结节良恶性识别率达到83％,模型敏感度为90％,特异度为69％，随着数据累积和算法优化，准确率可以不断提高，对超声乳腺疾病早期检查的开展和普及具有重要意义。

目前基于单张超声图像的病灶分割可以达到很高准确率，临床应用需要进一步提高敏感性和特异性，通过计算机对超声检查整个过程的持续观测，在时间上有很多信息冗余，从数据融合角度考虑，大量数据冗余可以抵消观测中的噪声，所以理论上用超声视频做病灶探测和分析比单张图像能达到更好效果。超声实时动态分析可以减少对现有检查方式的要求，操作过程无需暂停，实时提示病灶位置和数量，医生可以反复查看感兴趣区域。循环神经网络(Recurrent Neural Networks，RNN)是一种包含循环结构的神经网络，主要用来处理连续的序列问题，比如股票预测、机器翻译、语音识别等，但当网络变深变大后会带来梯度消失或梯度爆炸的问题，非常难以训练。而长短期记忆网络(Long-Short TermMemory，LSTM)是一种改进的RNN网络，部分解决了传统RNN网络难以训练的问题。目前，LSTM在自然语言处理、视频分割识别等领域已经有了很多成功的应用。动态超声需要考虑多帧之间的关联，结合的帧数越多，信息越丰富，每帧图像的分割效率和多帧关联的算法复杂度，直接影响动态分割算法的时效性。从视频分割任务实践中可以看到LSTM取得比传统时序模型更好的效果，但实际应用LSTM的基础网络都很浅，如果有更多的训练样本，需要设计更深的网络，才能提高模型性能。另一方面，由于深度学习的黑盒特性，调节参数需要大量实验，比如LSTM网络层数、序列长度、训练批次大小等，这些参数都有可能对结果产生很大影响，目前对参数调节还缺乏有效理论指导。

发明内容

本发明要解决的技术问题是，克服静态超声图像信息量少的问题，提供一种基于较深网络结构的动态超声乳腺结节实时分割和识别的方法，使用静态图像分割模型初始化基础网络，训练含有LSTM层的动态分割模型，提高训练效率，降低结节探测的假阳性率，提高结节良恶性识别准确率。

为解决上述技术问题，本发明的解决方案是：

提供一种基于深度学习的动态超声乳腺结节实时分割和识别的方法，包括以下步骤：

(1)收集有结节的超声乳腺图像、视频以及有手术病理结果的病例数据；标记结节区域，生成掩模图像，构建结节静态分割、动态分割和良恶性识别的数据集；

(2)选择基础网络结构，使用反卷积上采样和跳层连接方式，构造静态图像结节分割网络；使用足量图像块训练批归一化层参数，在原始图像上训练静态图像结节分割模型；

(3)在静态图像结节分割网络基础上，输入图像序列，使用LSTM层预测中间帧结节概率，构造视频动态分割网络；调整视频样本训练频率，训练动态分割模型；

(4)使用基础网络构造良恶性识别网络结构，在乳腺结节良恶性识别数据集上根据结节区域输入图像和结节信息，训练良恶性识别模型；

(5)应用动态分割网络处理图像序列，实时输出结节位置信息；使用良恶性识别模型识别每帧结节良恶性，检查结束输出结节数和综合良恶性概率。

本发明中，所述步骤(1)包括：

(1.1)以病例为单位，收集静态超声乳腺结节图像数据、超声乳腺结节扫查的视频数据，以及乳腺结节良恶性数据；其中，良恶性结果必须以手术病理为标准，视频数据和无手术病理结果的病例不加入良恶性数据集；对于多结节情况，需要知道每个结节的病理结果；

(1.2)数据收集完成后，进行文件重命名，裁剪图像和视频上非超声区域；按照病灶形态及边界特征在图像和视频中勾画结节，以标记结节区域；结节勾画完成后，产生对应的结节掩模图像，结节区域内的像素值是255，其余区域像素值为0；在此基础上，构建结节静态分割、动态分割和良恶性识别的数据集。

本发明中，所述步骤(2)包括：

(2.1)选择EfficientNet-B4作为基础网络结构，构造静态图像结节分割网络：在基础网络最后1个卷积层之后，连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积调整输出通道数为16，最后使用反卷积进行4倍上采样，输出概率图是输入图像尺寸的1/4，最后对概率图进行4倍上采样，输出与输入图像一样尺寸的分割概率图；

(2.2)静态图像结节分割网络构建完成后，首先使用取足量的固定尺寸图像块训练网络中的所有批归一化层参数；批归一化层参数包括全局均值、全局方差、缩放因子和偏移量，其初始值分别设为0、1、1和0，其他层网络参数则随机初始化；

所有乳腺静态图像分割数据集按照7比1随机划分训练集和测试集，设置训练批量和随机读取训练图像数量，训练的目标图像标签是选取的图像块对应的结节掩模图像块下采样1/4得到，在训练集数据上训练迭代若干次得到分割模型；在测试集图像上使用滑动窗口方法，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到平均交并比最高的分割模型；

(2.3)使用上一步训练的平均交并比最高的模型参数重新初始化网络，调整所有批归一化层的学习率为0，即不更新批归一化层的数值和参数；设置训练批量值为1，即每次训练只输入一张原始图像，使用全零填充方式将原始图像和结节掩模图像的宽和高扩展为32的倍数，训练目标图像标签是扩展后结节掩模图像下采样1/4得到，在训练集数据上训练迭代若干次得到全图分割模型，在测试集上输入整张图像，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到最佳静态图像结节分割模型。

本发明中，所述步骤(3)包括：

(3.1)在静态分割网络的跳层连接之后的卷积层使用多个LSTM单元组成LSTM层，LSTM数量根据卷积层输出特征图尺寸确定，LSTM层之后添加3×3卷积层，卷积层输入是每一帧图像在LSTM层的输出，卷积层输出通道数是16，特征图尺寸保持不变，卷积层之后的结构与静态分割模型保持一致，构建视频动态分割网络；设置动态分割网络每次输入n帧图像序列，保存每一帧图像在LSTM层的输出特征图，连接所有帧的LSTM输出特征图作为下一层卷积层的输入，上采样层保持不变，其中间帧即第n/2帧为动态分割网络需要预测的视频帧，即输出概率图与第n/2帧图像的结节掩模图像求损失函数；

(3.2)根据样本种类数量和视频大小调整每个视频样本的训练频率，减少迭代次数；采用以图像特征的聚类方法，将病理类似、图像信息差异小的样本聚成一类，最后按每类数据的数量调整样本的训练频率；所有乳腺视频数据按照7比1随机划分训练集和测试集；

(3.3)使用静态图像结节分割模型参数初始化视频动态分割网络，新添加的层随机初始化；设置LSTM层之前所有层的学习率为0，只学习LSTM层及其后卷积层参数；每次训练时根据样本训练频率选取视频，随机选取视频中连续的n帧图像序列，使用数据增强方法对图像每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，增强后的图像序列依次输入动态分割网络，采用随机梯度下降方法训练网络；在测试视频上，以每一帧作为预测中间帧，输出整个视频的分割结果，分割结果使用三维的平均交并比评价，修改不同学习率以及学习率衰减策略，选取在测试视频上区域相似度最高的一次结果，作为动态分割模型。

本发明中，所述步骤(4)包括：

(4.1)修改基础网络最后的全连接层输出值为2，使用Sigmoid交叉熵损失函数，定义良性类别标签是0，恶性类别标签是1，使用静态图像结节分割模型参数初始化基础网络，全连接层随机初始化，结节良恶性识别网络构建完成；

(4.2)根据结节区域在超声图像上计算最小外接矩形，以矩形最长边的1.2倍均匀扩展外接矩形区域，矩形最小边扩展到最长边大小，即扩展为正方形区域，裁剪正方形区域，然后缩放到256×256大小，作为识别的图像区域；结节掩模图像按照相同操作，获取要识别的结节掩模图像区域；所有乳腺良恶性数据按照7比1随机划分训练集和测试集；

(4.3)采用随机梯度下降方法在训练集上训练良恶性识别模型，每次训练时在256×256的图像内随机选取224×224图像块，测试时在图像的左上角、右上角、左下角、右下角和中心选取5个224×224的图像块，选取的224×224图像数据放在网络数据输入层的第1、2通道，由于使用的超声图像是灰度图，第1、2通道输入的图像数据是一样的，但在归一化时使用不同均值和方差；在待识别的结节掩模图像内采用相同方法获取224×224对应的结节掩模图像块，使用不同的归一化参数后输入网络第3通道；修改不同学习率以及学习率衰减策略，重复交叉实验，在测试集上预测并做出ROC曲线，选取AUC值最高的一次参数和模型，作为良恶性识别模型。

本发明中，所述步骤(5)包括：

(5.1)良恶性模型训练完成后，在测试视频或实时采集超声图像序列上，使用动态分割模型预测每一帧结节概率图，选取合适阈值进行二值化，实时输出结节轮廓；如果有结节出现，根据预测的结节掩模图像获取待识别的图像块，使用良恶性识别模型预测结节良恶性概率；

(5.2)最终结节的良恶性概率由结节出现的所有视频帧进行综合判断，在视频或实时扫查结束后，根据结节出现的连续帧数确定结节数量，每个结节的良恶性概率由结节出现的所有帧的良恶性概率值做加权平均。

与现有技术相比，本发明的有益效果是：

1、基于动态分割网络的乳腺结节实时分割，结合了多帧超声影像信息，可以避免单张图像的信息不完整性，降低错误检测，减少遗漏的小结节。

2、结节良恶性概率是由结节出现的所有视频帧预测的良恶性概率值做加权平均得到的结果，不再是基于单张切面超声影像预测，可以提高结节良恶性识别准确率。

附图说明

图1为本发明的操作流程图。

图2为实施例视频其中一帧含有乳腺结节的普通B超图像。

图3为乳腺图像对应的结节掩模图像。

图4为实施例中使用静态图像结节分割模型输出的结节概率图。

图5为实施例中使用动态分割模型输出的结节概率图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

本发明采用的基于深度学习的动态超声乳腺结节实时分割与识别的方法，如图1所示，其具体步骤如下：

过程一，收集病例数据，建立静态图像、动态视频和良恶性识别数据集

(1)收集静态超声乳腺结节图像数据，以病例为单位，数据来源主要是医院历年累积用于填写检查报告的图像和新采集图像，医院已有数据只要图像质量符合质量控制标准均可收集，新采集图像要求能最大程度显示结节切面，不同角度方向尽可能都要采集，图像上不要有测量标记；收集病例数不少于1万例，图像总数不少于5万张；

(2)收集超声乳腺结节扫查的视频数据，以病例为单位，数据来源主要是医院填写报告的留存视频和按照要求新采集的视频，视频应包含完整结节扫描，视频中间不能出现造影增强、血流、弹性信息等视频帧；视频数据病例和静态图像病例可以是同一病例，也可以是不同病例，医院留存病例可能没有视频数据或视频数据不符合要求，新采集数据同时收集图像和视频；视频病例总数不少于3千例；

(3)收集乳腺结节良恶性数据，以病例为单位，数据来源主要是医院基于静态图像的结节良恶性手术病理报告，视频数据不用做良恶性数据收集；良恶性结果必须以手术病理为标准，无手术病理结果的病例不加入良恶性数据集，对于多结节情况，需要知道每个结节的病理结果；收集病例数不少于3千例，图像总数不少于2万张；

(4)数据收集完成后，进行文件重命名，裁剪图像和视频上非超声区域；按照病灶形态及边界特征在图像和视频中勾画结节，勾画过程是以人工方式按常规医学图像识别规则进行的。通常情况下，各医院超声检查科室的持证上岗医师均能完成该工作。勾画过程中需要注意：对于后方回声特征明显的病灶，要避免将其后方声影勾画在区域内，对于超声视频，需要勾画结节出现的每一帧，尤其注意在结节开始出现和消失的时候，以静态图像结节可见为标准开始勾画或结束勾画，结节轮廓变化比较大、边界不清晰时，尽量结合前后多帧信息，避免出现形状突变的勾画；每个结节勾画完成后，产生对应的结节掩模图像，结节区域内的像素值是255，其余区域像素值为0，在此基础上，构建结节静态分割、动态分割和良恶性识别的数据集。

过程二，构建静态图像分割网络，在原始图像上训练结节分割模型

(1)一般情况下，网络越深，模型的泛化能力越好，分类准确率越高。考虑硬件配置、网络结构参数量和计算复杂度，本实施例中选择EfficientNet-B4作为基础网络结构，构造静态图像结节分割网络：在基础网络最后1个卷积层之后，连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积调整输出通道数为16，最后使用反卷积进行4倍上采样，输出概率图是输入图像尺寸的1/4，最后对概率图进行4倍上采样，输出与输入图像一样尺寸的分割概率图；

(2)静态图像结节分割网络构建完成后，首先使用取足量批量的固定尺寸图像块训练网络中的所有批归一化层参数，包括全局均值、全局方差、缩放因子和偏移量，其初始值分别设为0、1、1和0，随机初始化其他层网络参数；所有乳腺静态图像分割数据集按照7比1随机划分训练集和测试集，设置训练批量为16，即随机读取16张训练图像，每张图像随机选取1个384×384的图像块，训练的目标图像标签是选取的图像块对应的结节掩模图像块下采样1/4得到，在训练集数据上训练迭代120次得到分割模型；在测试集图像上使用滑动窗口方法，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到平均交并比最高的分割模型；

(3)使用上一步训练的平均交并比最高的模型参数重新初始化网络，调整所有批归一化层的学习率为0，即不更新批归一化层的数值和参数；设置训练批量值为1，即每次训练只输入一张原始图像，使用全零填充方式将原始图像和结节掩模图像的宽和高扩展为32的倍数，训练目标图像标签是扩展后结节掩模图像下采样1/4得到，在训练集数据上训练迭代50次得到全图分割模型，在测试集上输入整张图像，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到最佳静态图像结节分割模型。

过程三，使用LSTM层构建动态分割网络，训练动态分割模型

(1)在静态分割网络的跳层连接之后的卷积层使用多个LSTM单元组成LSTM层，LSTM数量根据卷积层输出特征图尺寸确定，具体方法如下：设t时刻输入视频帧I_t(视频第t帧)，图像大小W×H，在跳层连接层输出大小是W′×H′的m个特征图，表示为

对于

的每一点(i，j),1≤i≤W′,1≤j≤H′,表示I_t内一定感受野的m维描述向量。在跳层连接层之后，使用W′×H′个LSTM单元，

是LSTM的输入，由于LSTM保留了t时刻之前的信息，所以

结合了时间和空间信息，其中S表示空间特征，ST表示空间-时间特征。

在LSTM层之后添加3×3卷积层，卷积层输入是每一帧图像在LSTM层的输出，卷积层输出通道数是16，特征图尺寸保持不变，卷积层之后的结构与静态分割模型保持一致，构建视频动态分割网络；设置动态分割网络每次输入25帧图像序列，保存每一帧图像在LSTM层的输出特征图，连接所有帧的LSTM输出特征图作为下一层卷积层的输入，上采样层保持不变，其中第13帧为动态分割网络需要预测的视频帧，即输出概率图与第13帧图像的结节掩模图像求损失函数；

(2)由于视频样本数据量比较大，训练周期很长，根据样本种类数量和视频大小调整每个视频样本的训练频率，可以减少迭代次数。在所有乳腺结节病例中，常见疾病所占比例很大，疑难病、罕见病种类多但占比少，在训练时若给每个样本分配相同的权重，即训练时间相同，则算法会倾向忽略疑难罕见病。采用以图像特征的聚类方法，将病理类似，图像信息差异较小的样本聚成一类，结合每个视频样本的图像帧数，按照下列公式调整每个样本的训练频率：

其中FEQ(A)是A的训练频率，N(A)是A所在类别的样本例数，L(A)是视频A的帧数，Z是归一化系数。此外，由于动态视频每例数据帧数从几十帧到几百帧不等，如果每例样本的权重一样，那么大结节的训练权重就会被放大，这样会影响小结节识别，在训练时同样需要考虑视频帧数。所有乳腺视频数据按照7比1随机划分训练集和测试集；

(3)使用静态图像结节分割模型参数初始化视频动态分割网络，新添加的层随机初始化，设置LSTM层之前所有层的学习率为0，只学习LSTM层及其后卷积层参数；由于整个网络在特征提取部分使用静态分割模型，所以LSTM层输入的信息就已经是高度抽象特征；LSTM层参数只需要合理配置，网络很容易就收敛。每次训练时根据样本训练频率选取视频，随机选取视频中连续的25帧图像序列，使用数据增强方法对图像每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，增强后的图像序列依次输入动态分割网络，采用随机梯度下降方法训练网络；在测试视频上，以每一帧作为预测中间帧，输出整个视频的分割结果，分割结果使用三维的平均交并比评价，修改不同学习率以及学习率衰减策略，选取在测试视频上区域相似度最高的一次结果，作为动态分割模型。

过程四，构造结节良恶性识别网络，根据结节区域训练良恶性识别模型

(1)修改基础网络最后的全连接层输出值为2，使用Sigmoid交叉熵损失函数，定义良性类别标签是0，恶性类别标签是1，使用静态图像结节分割模型参数初始化基础网络，全连接层随机初始化，结节良恶性识别网络构建完成；

(2)根据结节区域在超声图像上计算最小外接矩形，以矩形最长边的1.2倍均匀扩展外接矩形区域，矩形最小边扩展到最长边大小，即扩展为正方形区域，裁剪正方形区域，然后缩放到256×256大小，作为识别的图像区域；结节掩模图像按照相同操作，获取要识别的结节掩模图像区域；结节位置信息作为独立的特征通道输入网络，可以提高识别准确率。所有乳腺良恶性数据按照7比1随机划分训练集和测试集；

(3)采用随机梯度下降方法在训练集上训练良恶性识别模型，每次训练时在256×256的图像内随机选取224×224图像块，测试时在图像的左上角、右上角、左下角、右下角和中心选取5个224×224的图像块，选取的224×224图像数据放在网络数据输入层的第1、2通道，由于使用的超声图像是灰度图，第1、2通道输入的图像数据是一样的，但在归一化时使用不同均值和方差；在待识别的结节掩模图像内采用相同方法获取224×224对应的结节掩模图像块，使用不同的归一化参数后输入网络第3通道；修改不同学习率以及学习率衰减策略，重复交叉实验，在测试集上预测并做出ROC曲线，选取AUC值最高的一次参数和模型，作为良恶性识别模型；

过程五，应用动态分割模型实时探测结节，综合输出结节良恶性概率

(1)良恶性模型训练完成后，在测试视频或实时采集超声图像序列上，使用动态视频分割模型预测每一帧结节概率图，选取合适阈值进行二值化，实时输出结节轮廓；如果有结节出现，根据预测的结节掩模图像获取待识别的图像块，使用良恶性识别模型预测结节良恶性概率；

(2)最终结节的良恶性概率由结节出现的所有视频帧进行综合判断，在视频或实时扫查结束后，根据结节出现的连续帧数确定结节数量，每个结节的良恶性概率由结节出现的所有帧的良恶性概率值做加权平均。

图2、图3是展示了本实施例中所用超声乳腺扫查视频中的一帧普通B超图像和对应的结节掩模图像；图4展示了使用静态分割模型输出的结节概率图像，可以看出在非结节区域出现较高概率，即假阳性区域；图5是使用动态分割模型的分割结果，在结节区域内有很强响应，没有出现多余分割区域；由于静态图像分割模型是在大量病例数据上训练得到，病例数远多于视频病例数，具有较高检出率，结合多帧信息的动态分割模型可以去除单张图像上难以判别的假阳性结节，如细小血管等。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形和应用场景，如超声甲状腺、超声肝脏等。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (6)

1.一种基于深度学习的动态超声乳腺结节实时分割和识别的方法，其特征在于，包括以下步骤：

(1)收集有结节的超声乳腺图像、视频以及有手术病理结果的病例数据；标记结节区域，生成掩模图像，构建结节静态分割、动态分割和良恶性识别的数据集；

(2)选择基础网络结构，使用反卷积上采样和跳层连接方式，构造静态图像结节分割网络；使用足量图像块训练批归一化层参数，在原始图像上训练静态图像结节分割模型；

(3)在静态图像结节分割网络基础上，输入图像序列，使用LSTM层预测中间帧结节概率，构造视频动态分割网络；调整视频样本训练频率，训练动态分割模型；

(4)使用基础网络构造良恶性识别网络结构，在乳腺结节良恶性识别数据集上根据结节区域输入图像和结节信息，训练良恶性识别模型；

(5)应用动态分割网络处理图像序列，实时输出结节位置信息；使用良恶性识别模型识别每帧结节良恶性，检查结束输出结节数和综合良恶性概率。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：

(1.1)以病例为单位，收集静态超声乳腺结节图像数据、超声乳腺结节扫查的视频数据，以及乳腺结节良恶性数据；其中，良恶性结果必须以手术病理为标准，视频数据和无手术病理结果的病例不加入良恶性数据集；对于多结节情况，需要知道每个结节的病理结果；

(1.2)数据收集完成后，进行文件重命名，裁剪图像和视频上非超声区域；按照病灶形态及边界特征在图像和视频中勾画结节，以标记结节区域；结节勾画完成后，产生对应的结节掩模图像，结节区域内的像素值是255，其余区域像素值为0；在此基础上，构建结节静态分割、动态分割和良恶性识别的数据集。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：

(2.1)选择EfficientNet-B4作为基础网络结构，构造静态图像结节分割网络：在基础网络最后1个卷积层之后，连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积调整输出通道数为16，最后使用反卷积进行4倍上采样，输出概率图是输入图像尺寸的1/4，最后对概率图进行4倍上采样，输出与输入图像一样尺寸的分割概率图；

(2.2)静态图像结节分割网络构建完成后，首先使用取足量的固定尺寸图像块训练网络中的所有批归一化层参数；批归一化层参数包括全局均值、全局方差、缩放因子和偏移量，其初始值分别设为0、1、1和0，其他层网络参数则随机初始化；

所有乳腺静态图像分割数据集按照7比1随机划分训练集和测试集，设置训练批量和随机读取训练图像数量，训练的目标图像标签是选取的图像块对应的结节掩模图像块下采样1/4得到，在训练集数据上训练迭代若干次得到分割模型；在测试集图像上使用滑动窗口方法，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到平均交并比最高的分割模型；

(2.3)使用上一步训练的平均交并比最高的模型参数重新初始化网络，调整所有批归一化层的学习率为0，即不更新批归一化层的数值和参数；设置训练批量值为1，即每次训练只输入一张原始图像，使用全零填充方式将原始图像和结节掩模图像的宽和高扩展为32的倍数，训练目标图像标签是扩展后结节掩模图像下采样1/4得到，在训练集数据上训练迭代若干次得到全图分割模型，在测试集上输入整张图像，输出分割概率图，分割结果使用平均交并比评价，调节学习率得到最佳静态图像结节分割模型。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)包括：

(3.1)在静态分割网络的跳层连接之后的卷积层使用多个LSTM单元组成LSTM层，LSTM数量根据卷积层输出特征图尺寸确定，LSTM层之后添加3×3卷积层，卷积层输入是每一帧图像在LSTM层的输出，卷积层输出通道数是16，特征图尺寸保持不变，卷积层之后的结构与静态分割模型保持一致，构建视频动态分割网络；设置动态分割网络每次输入n帧图像序列，保存每一帧图像在LSTM层的输出特征图，连接所有帧的LSTM输出特征图作为下一层卷积层的输入，上采样层保持不变，其中间帧即第n/2帧为动态分割网络需要预测的视频帧，即输出概率图与第n/2帧图像的结节掩模图像求损失函数；

(3.2)根据样本种类数量和视频大小调整每个视频样本的训练频率，减少迭代次数；采用以图像特征的聚类方法，将病理类似、图像信息差异小的样本聚成一类，最后按每类数据的数量调整样本的训练频率；所有乳腺视频数据按照7比1随机划分训练集和测试集；

(3.3)使用静态图像结节分割模型参数初始化视频动态分割网络，新添加的层随机初始化；设置LSTM层之前所有层的学习率为0，只学习LSTM层及其后卷积层参数；每次训练时根据样本训练频率选取视频，随机选取视频中连续的n帧图像序列，使用数据增强方法对图像每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动，增强后的图像序列依次输入动态分割网络，采用随机梯度下降方法训练网络；在测试视频上，以每一帧作为预测中间帧，输出整个视频的分割结果，分割结果使用三维的平均交并比评价，修改不同学习率以及学习率衰减策略，选取在测试视频上区域相似度最高的一次结果，作为动态分割模型。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)包括：

(4.1)修改基础网络最后的全连接层输出值为2，使用Sigmoid交叉熵损失函数，定义良性类别标签是0，恶性类别标签是1，使用静态图像结节分割模型参数初始化基础网络，全连接层随机初始化，结节良恶性识别网络构建完成；

(4.2)根据结节区域在超声图像上计算最小外接矩形，以矩形最长边的1.2倍均匀扩展外接矩形区域，矩形最小边扩展到最长边大小，即扩展为正方形区域，裁剪正方形区域，然后缩放到256×256大小，作为识别的图像区域；结节掩模图像按照相同操作，获取要识别的结节掩模图像区域；所有乳腺良恶性数据按照7比1随机划分训练集和测试集；

(4.3)采用随机梯度下降方法在训练集上训练良恶性识别模型，每次训练时在256×256的图像内随机选取224×224图像块，测试时在图像的左上角、右上角、左下角、右下角和中心选取5个224×224的图像块，选取的224×224图像数据放在网络数据输入层的第1、2通道，由于使用的超声图像是灰度图，第1、2通道输入的图像数据是一样的，但在归一化时使用不同均值和方差；在待识别的结节掩模图像内采用相同方法获取224×224对应的结节掩模图像块，使用不同的归一化参数后输入网络第3通道；修改不同学习率以及学习率衰减策略，重复交叉实验，在测试集上预测并做出ROC曲线，选取AUC值最高的一次参数和模型，作为良恶性识别模型。

6.根据权利要求1所述的方法，其特征在于，所述步骤(5)包括：

(5.1)良恶性模型训练完成后，在测试视频或实时采集超声图像序列上，使用动态分割模型预测每一帧结节概率图，选取合适阈值进行二值化，实时输出结节轮廓；如果有结节出现，根据预测的结节掩模图像获取待识别的图像块，使用良恶性识别模型预测结节良恶性概率；

(5.2)最终结节的良恶性概率由结节出现的所有视频帧进行综合判断，在视频或实时扫查结束后，根据结节出现的连续帧数确定结节数量，每个结节的良恶性概率由结节出现的所有帧的良恶性概率值做加权平均。

Images