CN109948706A - 结合深度学习与特征多尺度融合的微钙化簇检测方法 - Google Patents

Abstract

本发明公开了一种结合深度学习与特征多尺度融合的微钙化簇检测方法，包括以下步骤：1)生成候选建议框；2得FCE‑Net+MFF网络模型；3)将输入图片的各候选建议框输入到FCE‑Net+MFF网络模型中，得特征图，在特征图中查找输入图片的各候选建议框对应的特征框，再在RoI池化层中将查找到的特征框池化到预设尺寸，经全连接层处理得到特征框的特征向量，将得到的特征框的特征向量经全连接层处理，得softmax的二分类得分输出向量及标定框窗口的修正偏移量输出向量，剔除类别得分低于阈值的微钙化簇检测窗口，并对剩余的微钙化簇检测窗口进行非极大值抑制，剔除重叠候选建议框，得经回归修正后的微钙化簇检测窗口，该方法能够准确实现微钙化簇的目标检测及定位。

Description

结合深度学习与特征多尺度融合的微钙化簇检测方法

技术领域

本发明属于深度学习目标检测技术领域，涉及一种结合深度学习与特征多尺度融合的微钙化簇检测方法。

背景技术

近年，乳腺癌发病率位居成年女性首位，是危害居民生命健康最主要的恶性肿瘤之一。进行早期乳腺X线检查可以有效预防乳腺癌并提高生存率，5年观察生存率为72.7％。乳腺癌的病征表现是以恶性软组织或肿块为主的已发病变，其次是以微钙化簇形式存在的诱发病变。由于微钙化簇的表征检测率很低，检查过程中会出现误诊或漏诊现象，所以对其准确的。

自从人工智能方法在图像识别领域实现比人类更高的准确率后，研究方向已从过去针对特定问题寻找最优方法转向利用机器学习方法研究非特定问题的模式。深度神经网络(DNNs)作为人工智能领域基础，已经在包括自动驾驶、癌症检测、棋类比赛中得到了广泛的应用，并且更深的网络结构及框架使得微小目标的检测及定位能力不断提升。

目前，深度学习方法在医学图像的病变检测方面展现出了良好的应用前景，相比传统手工设计的特征描述，深度卷积特征在语义抽象能力上有着颠覆性的提升，各种目标检测模型相继在多种目标识别任务中取得突破性进展。例如，基于区域建议的模型R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN等方法，以及基于回归方法的模型YOLO、SSD等。对于微钙化簇检测，在提取微钙化簇特征之前，每个像素都可能是病变的中心，需要保证分类效率与定位准确。

以上方法通过不同的医学图像数据集取得了一定的效果，但这些应用中也存在着对原始数列的选取未进行筛选、对其适用性分析不够导致判别能力减弱及精度降低的问题。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种结合深度学习与特征多尺度融合的微钙化簇检测方法，该方法能够准确实现微钙化簇的目标检测及定位。

为达到上述目的，本发明所述的结合深度学习与特征多尺度融合的微钙化簇检测方法包括以下步骤：

1)通过MFF算法获取原图像的疑似目标点，对获取得到的疑似目标点进行多结构元素组合的形态学滤波处理，得候选区域，再根据候选区域生成候选建议框；

2)对步骤1)得到的候选建议框进行FCE-Net+MFF网络训练，得FCE-Net+MFF网络模型；

3)获取输入图片的各候选建议框，再将输入图片的各候选建议框输入到FCE-Net+MFF网络模型中，得特征图，再根据特征图与候选建议框的映射关系，然后在特征图中查找输入图片的各候选建议框对应的特征框，再在RoI池化层中将查找到的特征框池化到预设尺寸，然后经全连接层处理得到特征框的特征向量，然后将得到的特征框的特征向量经全连接层处理，得softmax的二分类得分输出向量及标定框窗口的修正偏移量输出向量，剔除类别得分低于阈值的微钙化簇检测窗口，并对剩余的微钙化簇检测窗口进行非极大值抑制，剔除重叠候选建议框，得经回归修正后的微钙化簇检测窗口。

步骤1)中，首先将1024x1024的高分辨率图像采样为512x512的低分辨率图像，再采用滑动窗口的方法，逐像素进行微钙化簇目标检测，其中，所述滑动窗口包含有目标窗口、保护窗口及背景窗口，当目标窗口像素的亮度均值大于K倍的背景窗口均值时，则认为该目标窗口对应的中心点为疑似目标点，并置为1，否则，则置为0，然后将疑似目标点映射到所述1024x1024的高分辨率图像上，得所述1024x1024的高分辨率图像对应的疑似目标二值图。

所述目标窗口的尺寸为512x512低分辨率条件下的微钙化簇尺寸大小。

步骤1)中对疑似目标点进行多结构元素组合的形态学滤波处理的具体操作为：先对得到的疑似目标二值图进行多尺度的膨胀操作，再进行不同尺度的放缩操作，最后再通过8联通标记得候选区域，然后在原图像上，根据映射关系计算各候选区域的左上点及右下点，得该候选区域对应的候选建议框。

步骤2)中对步骤1)中得到的候选建议框进行FCE-Net+MFF网络训练的具体过程为：

S1)计算训练集中各原图像的真实微钙化簇标定框与所得候选建议框的IOU值，当候选建议框的IOU值大于0.5时，则将该候选建议框标记为微钙化簇，即该候选建议框为目标建议框；当候选建议框的IOU值小于等于0.5，则将该候选建议框标记为背景建议框；

S2)利用步骤S1)得到的目标建议框及背景建议框采用mini-batch策略进行FCE-Net+MFF网络训练。

步骤S2)中，mini-batch的大小为128，训练过程中，目标建议框的数目与背景建议框的数目相同。

步骤S2)中，FCE-Net+MFF网络训练的最后一层结果包含类别信息及修正信息，其中，所述类别信息采用softmax损失函数表示，修正信息采用smooth L1损失函数表示。

步骤3)中，在RoI池化层中将每个特征框池化到7×7的分辨率大小。

步骤3)中，剔除类别得分低于0.5的微钙化簇检测窗口。

本发明具有以下有益效果：

本发明所述的结合深度学习与特征多尺度融合的微钙化簇检测方法在具体操作时，通过对候选建议框进行FCE-Net+MFF网络训练，得FCE-Net+MFF网络模型，再对输入图片进行处理时，将输入图片的各候选建议框输入到FCE-Net+MFF网络模型中，得特征图，然后利用特征多尺度融合，删除类别得分低于阈值的微钙化簇检测窗口，并对剩余的微钙化簇检测窗口进行非极大值抑制，剔除重叠候选建议框，得经回归修正后的微钙化簇检测窗口，以准确实现微钙化簇的目标检测及定位，从而可以帮助医生更好的鉴别微钙化簇存在，增强AI的辅助检测。

附图说明

图1为本发明的模型架构图；

图2为本发明中MFF候选检测的流程图；

图3为实施例一中的检测结果图；

图4为实施例一中不同算法的准确率-召回率示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参考图1及图2，本发明所述的结合深度学习与特征多尺度融合的微钙化簇检测方法包括以下步骤：

1)通过MFF算法获取原图像的疑似目标点，对获取得到的疑似目标点进行多结构元素组合的形态学滤波处理，得候选区域，再根据候选区域生成候选建议框；

2)对步骤1)得到的候选建议框进行FCE-Net+MFF网络训练，得FCE-Net+MFF网络模型；

3)获取输入图片的各候选建议框，再将输入图片的各候选建议框输入到FCE-Net+MFF网络模型中，得特征图，再根据特征图与候选建议框的映射关系，然后在特征图中查找输入图片的各候选建议框对应的特征框，再在RoI池化层中将查找到的特征框池化到预设尺寸，然后经全连接层处理得到特征框的特征向量，然后将得到的特征框的特征向量经全连接层处理，得softmax的二分类得分输出向量及标定框窗口的修正偏移量输出向量，剔除类别得分低于阈值的微钙化簇检测窗口，并对剩余的微钙化簇检测窗口进行非极大值抑制，剔除重叠候选建议框，得经回归修正后的微钙化簇检测窗口。

步骤1)中，首先将1024x1024的高分辨率图像采样为512x512的低分辨率图像，再采用滑动窗口的方法，逐像素进行微钙化簇目标检测，其中，所述滑动窗口包含有目标窗口、保护窗口及背景窗口，当目标窗口像素的亮度均值大于K倍的背景窗口均值时，则认为该目标窗口对应的中心点为疑似目标点，并置为1，否则，则置为0，然后将疑似目标点映射到所述1024x1024的高分辨率图像上，得所述1024x1024的高分辨率图像对应的疑似目标二值图。

其中，所述目标窗口的尺寸为512x512低分辨率条件下的微钙化簇尺寸大小。

步骤1)中对疑似目标点进行多结构元素组合的形态学滤波处理的具体操作为：先对得到的疑似目标二值图进行多尺度的膨胀操作，再进行不同尺度的放缩操作，最后再通过8联通标记得候选区域，然后在原图像上，根据映射关系计算各候选区域的左上点及右下点，得该候选区域对应的候选建议框。

步骤2)中对步骤1)中得到的候选建议框进行FCE-Net+MFF网络训练的具体过程为：

S1)计算训练集中各原图像的真实微钙化簇标定框与所得候选建议框的IOU值，当候选建议框的IOU值大于0.5时，则将该候选建议框标记为微钙化簇，即该候选建议框为目标建议框；当候选建议框的IOU值小于等于0.5，则将该候选建议框标记为背景建议框；

S2)利用步骤S1)得到的目标建议框及背景建议框采用mini-batch策略进行FCE-Net+MFF网络训练。

步骤S2)中，mini-batch的大小为128，训练过程中，目标建议框的数目与背景建议框的数目相同。

步骤S2)中，FCE-Net+MFF网络训练的最后一层结果包含类别信息及修正信息，其中，所述类别信息采用softmax损失函数表示，修正信息采用smooth L1损失函数表示。

步骤3)中，在RoI池化层中将每个特征框池化到7×7的分辨率大小；剔除类别得分低于0.5的微钙化簇检测窗口。

实施例一

本实施例使用Tensorflow 1.3框架，Keras1.x底层调用接口，Python3.5语言环境，在32G、Nvida GTX 1060i GPU加速运算进行实例验证。

采用的数据来源于MIAS(Mini Mammographic)数据库收集的乳房X线摄影照片，所有的微钙化簇点均为证实病灶，通过放射科医生的经验注释，对图像的病灶区域进行初始点位的信息标注，原始图像在标准格式化剪裁与位移后，得到512x512分辨率的初始图像。图像原始信息包含背景组织特征、异常分类及严重程度划分，数据集包含6个类别的1288个图像，如表1所示，其中，1030张用于训练及验证，258张用于测试。

表1

以MIAS数据集图像作为数据源，将传统算法与深度学习检测算法进行对比分析。其中，基于人工特征的微钙化簇检测主要是以嵌在钼靶影像中的不同纹理背景下的小亮点作为检测特征，以经典Fast Marching算法作为人工特征的方法模型；同时，基于机器学习的微钙化簇检测主要是以SVM进行整体与局部的识别策略，以SVM组合优化算法作为机器学习的方法模型。

以相同的检测基准对比算法间的差异，模型的对比实验对于算法进行了适应性修改，将传统检测算法与本发明在相同MIAS数据集上进行了对比分析，结果如表2所示：

表2

对比分析结果中，AP为平均准确率，能够反映全局性能的指标，mAP则是不同种类AP值的平均值，AUC表示ROC曲线下的面积值。ROC曲线由结果的正正值率(TPR)表示纵轴，负正值率(FPR)表示横轴。AUC值越大，则表示分类效果越好。从表2中可以看出，传统算法FastMarching及CS-SVM的平均检测准确率较低，基于深度学习方法的检测模型AP的准确率提高10％以上，相对于传统算法均有较好的提升。同时对于多类别病症的检测，传统算法在多分类检测能力上性能较差，FCE-Net+MFF模型mAP指标为0.853，对于有形态区分度的病征有较好的区分度，通过对比三种指标性能，可以看出FCE-Net+MFF在微钙化簇的检测性能上有明显的提升。

本发明说明书中未作详细描述的内容属于本领域专业技术人员周知的现有公开技术。

以上实施方式仅用于说明本发明，而并非对本发明的限制。尽管为说明目的公开了本发明的相关实施例和附图，但是本领域的技术人员可以理解；在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化、修改都是可能的。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定，而不应局限于最佳实施例和附图所公开的内容。

Claims (9)

1.一种结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，包括以下步骤：

1)通过MFF算法获取原图像的疑似目标点，对获取得到的疑似目标点进行多结构元素组合的形态学滤波处理，得候选区域，再根据候选区域生成候选建议框；

2)对步骤1)得到的候选建议框进行FCE-Net+MFF网络训练，得FCE-Net+MFF网络模型；

3)获取输入图片的各候选建议框，再将输入图片的各候选建议框输入到FCE-Net+MFF网络模型中，得特征图，再根据特征图与候选建议框的映射关系，然后在特征图中查找输入图片的各候选建议框对应的特征框，再在RoI池化层中将查找到的特征框池化到预设尺寸，然后经全连接层处理得到特征框的特征向量，然后将得到的特征框的特征向量经全连接层处理，得softmax的二分类得分输出向量及标定框窗口的修正偏移量输出向量，剔除类别得分低于阈值的微钙化簇检测窗口，并对剩余的微钙化簇检测窗口进行非极大值抑制，剔除重叠候选建议框，得经回归修正后的微钙化簇检测窗口。

2.根据权利要求1所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤1)中，首先将1024x1024的高分辨率图像采样为512x512的低分辨率图像，再采用滑动窗口的方法，逐像素进行微钙化簇目标检测，其中，所述滑动窗口包含有目标窗口、保护窗口及背景窗口，当目标窗口像素的亮度均值大于K倍的背景窗口均值时，则认为该目标窗口对应的中心点为疑似目标点，并置为1，否则，则置为0，然后将疑似目标点映射到所述1024x1024的高分辨率图像上，得所述1024x1024的高分辨率图像对应的疑似目标二值图。

3.根据权利要求2所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，所述目标窗口的尺寸为512x512低分辨率条件下的微钙化簇尺寸大小。

4.根据权利要求2所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤1)中对疑似目标点进行多结构元素组合的形态学滤波处理的具体操作为：先对得到的疑似目标二值图进行多尺度的膨胀操作，再进行不同尺度的放缩操作，最后再通过8联通标记得候选区域，然后在原图像上，根据映射关系计算各候选区域的左上点及右下点，得该候选区域对应的候选建议框。

5.根据权利要求1所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤2)中对步骤1)中得到的候选建议框进行FCE-Net+MFF网络训练的具体过程为：

S1)计算训练集中各原图像的真实微钙化簇标定框与所得候选建议框的IOU值，当候选建议框的IOU值大于0.5时，则将该候选建议框标记为微钙化簇，即该候选建议框为目标建议框；当候选建议框的IOU值小于等于0.5，则将该候选建议框标记为背景建议框；

S2)利用步骤S1)得到的目标建议框及背景建议框采用mini-batch策略进行FCE-Net+MFF网络训练。

6.根据权利要求5所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤S2)中，mini-batch的大小为128，训练过程中，目标建议框的数目与背景建议框的数目相同。

7.根据权利要求5所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤S2)中，FCE-Net+MFF网络训练的最后一层结果包含类别信息及修正信息，其中，所述类别信息采用softmax损失函数表示，修正信息采用smooth L1损失函数表示。

8.根据权利要求1所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤3)中，在RoI池化层中将每个特征框池化到7×7的分辨率大小。

9.根据权利要求1所述的结合深度学习与特征多尺度融合的微钙化簇检测方法，其特征在于，步骤3)中，剔除类别得分低于0.5的微钙化簇检测窗口。