CN110956632A - 钼靶图像中胸大肌区域自动检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种钼靶图像中胸大肌区域自动检测方法及装置，所述方法包括：对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。本发明实施例可为现有的乳腺CAD系统提供准确有效地钼靶图像胸大肌检测结果，从而提高计算分析结果的准确度，为放射科医生提供更好的辅助诊断，最终减少病例病情的漏报和误报。

Description

钼靶图像中胸大肌区域自动检测方法及装置

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种钼靶图像中胸大肌区域自动检测方法及装置。

背景技术

乳腺癌是女性癌症死亡的主要原因之一。目前，乳腺癌早期检测的最有效的方法是乳腺钼靶图像的筛查。然而，目前放射科医生每天分析数百张乳腺钼靶图像，任务繁重耗时耗力，这导致了部分病例病情的漏报和误报。计算机辅助诊断(CAD)系统作为“第二读者意见”有其一致性、可靠性且速度快的优点，因此越来越受欢迎。CAD系统可以为放射科医生提供有效的辅助诊断意见，这能提高了乳腺钼靶图像检测的准确性。

在乳腺的CAD系统中，胸大肌区域的自动检测是钼靶图像计算分析的关键的预处理步骤。准确的胸大肌区域分割对CAD系统诊断有许多帮助，例如，能减少钼靶图像乳腺密度估计的误差，为乳腺钼靶图像多视图分析的图像配准提供参数，提高CAD系统后续计算分析辅助诊断的效果等。然而，胸大肌区域的准确自动分割是一个极具挑战的任务，特别是在筛查的钼靶图像中伪影、乳房皮肤线的低对比度，胸部和乳房组织之间的均匀性等，都极大增加了胸大肌区域准确分割的难度。

目前，钼靶图像中胸大肌区域检测方法中，现有的技术都是基于经典计算机视觉算法实现的。这些胸大肌区域检测方法分为以下几类。

1)基于灰度的胸大肌检测。这一类检测方法应用乳房组织和胸大肌之间的灰度差异，其原理是假定胸大肌的灰度高于其周围组织，利用此信息来进行胸大肌的分割，如简单的使用阈值分割，使用梯度跟踪等等。

2)基于线检测技术的胸大肌检测。这一类检测方法原理是假定胸大肌边界是一条直线，然后使用检测直线的方法进行胸大肌的分割。常用的直线检测方法比如霍夫变换被用来找霍夫空间中正确梯度幅度和方向，投影长度和相应的胸部面积。

3)基于统计分析方法的胸大肌检测。乳房结构根据其纹理、外观和密度被分为不同的类别进行研究。利用此信息，可以推断得到几个统计参数，从而可以运用一些统计技术对乳房密度模式进行分类。比如使用纹理特性来识别胸部边界，方法中可用支持向量回归来识别胸肌的端点。

4)基于小波的胸大肌检测方法。这一类方法运用小波剧透从图形中获取空间频率信息的能力来对钼靶图像胸大肌进行检测。比如使用Dyadic小波分解进行胸肌检测。

5)其他检测方法。比如基于主动轮廓的分割方法用来检测胸大肌。

从上面的阐述可知，目前，钼靶图像中胸大肌区域检测方法中，现有的技术都是基于经典算法实现的，在大多数情况下，这些方法都是具有较强的使用前提假设的，它们更多的是针对一组特定类型的数据或者特定的问题，具有较强的使用条件，无法很好地实现胸大肌的自动检测。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种通用且准确有效的钼靶图像中胸大肌区域自动检测方法及装置，为现有的乳腺CAD系统提供准确的钼靶图像胸大肌检测结果，从而提高计算分析结果的准确度，为放射科医生提供更好的辅助诊断，最终减少病例病情的漏报和误报。

第一方面，本发明实施例提供一种钼靶图像中胸大肌区域自动检测方法，包括：

对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

第二方面，本发明实施例提供一种钼靶图像中胸大肌区域自动检测装置，包括：

预处理模块，用于对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

特征提取模块，用于将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

后处理模块，用于对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的钼靶图像中胸大肌区域自动检测方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的钼靶图像中胸大肌区域自动检测方法的步骤。

本发明实施例提供的钼靶图像中胸大肌区域自动检测方法及装置，可为现有的乳腺CAD系统提供准确有效地钼靶图像胸大肌检测结果，从而提高计算分析结果的准确度，为放射科医生提供更好的辅助诊断，最终减少病例病情的漏报和误报。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的钼靶图像中胸大肌区域自动检测方法的流程示意图；

图2为本发明实施例提供的对待检测的钼靶图像进行预处理的流程示意图；

图3为本发明实施例提供的生成拉普拉斯金字塔残差图的流程示意图；

图4为本发明实施例提供的对所述胸大肌区域的概率图像进行后处理的流程示意图；

图5为本发明实施例提供的训练获得所述胸大肌区域检测模型的流程示意图

图6为本发明实施例所构建的基于深度卷积神经网络的胸大肌区域检测模型的结构示意图；

图7为本发明实施例提供的SE模块的结构示意图；

图8为本发明实施例提供的轻量化卷积模块的结构示意图；

图9为本发明实施例提供的注意力网络模块的结构示意图；

图10为本发明实施例提供的胸大肌区域自动检测方法最终实现的效果图；

图11为本发明实施例提供的钼靶图像中胸大肌区域自动检测装置的结构示意图；

图12为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的钼靶图像中胸大肌区域自动检测方法的流程示意图，包括：

步骤100、对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

具体地，图2为本发明实施例提供的对待检测的钼靶图像进行预处理的流程示意图，具体包括：

步骤200、利用边界检测算法对所述待检测的钼靶图像进行乳腺边界区域提取和修正，获得修正后的最小包围矩形区域图像；

在一个实施例中，可以采用基于Canny算子的边界检测算法提取乳腺边界区域，获得该区域的最小包围矩形区域mask，对原始图像(即待检测的钼靶图像)进行裁剪，得到修正的mask区域，修正的目的是保留图像的有效尺寸以减少输入图像的尺寸。

步骤201、对所述修正后的最小包围矩形区域图像分别进行高斯噪声扰动、滤波平滑、基于不同比例的图像增强、基于指数的图像灰度变换和基于对数的灰度变换，得到第一至第五图像p₁,p₂,p₃,p₄,p₅，合成所述第一图像至第五图像，生成第六图像p；

具体地，对修正后的最小包围矩形区域图像分别依概率阈值选择施加高斯噪声扰动、滤波平滑、基于不同比例的图像增强、基于指数的图像灰度变换和基于对数的灰度变换的操作，分别得到第一至第五图像p₁,p₂,p₃,p₄,p₅，合成所述第一图像至第五图像，生成第六图像p：

p＝ω₀p₀+ω₁p₁+ω₂p₂+ω₃p₃+ω₄p₄+ω₅p₅

其中，ω₀,ω₁,ω₂,ω₃,ω₄,ω₅权重生成方式为：随机生成5个(0,1)的数。

步骤202、对所述第六图像p依次进行平移、旋转变换、尺寸归一化和灰度域归一化，获得第七图像q；

在一个实施例中将图像尺寸归一化到512x512x1，将图像灰度域归一化到[0,1]。

步骤203、计算所述第七图像q分别在x方向、y方向和对角线方向的梯度图，获得第八至第十图像g₁,g₂,g₃；

步骤204、计算所述第七图像q的拉普拉斯金字塔残差图，获得第十一至第十六图像L₁～L₆；

图3为本发明实施例提供的生成拉普拉斯金字塔残差图的流程示意图。参考图3即可计算获得第十一至第十六图像L₁～L₆。

步骤205、将所述第七图像q、第八至第十图像g₁,g₂,g₃以及第十一图像L₁按照通道进行合成，获得经过预处理的钼靶图像n。

在一个实施例中，钼靶图像n的尺寸为512x512x5。

步骤101、将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

具体地，本发明实施例中，所述胸大肌区域检测模型具体为深度卷积神经网络。

所述胸大肌区域检测模型是利用经过预处理的钼靶图像样本作为输入，利用所述钼靶图像样本对应的胸大肌分割金标准作为理想输出，进行训练获得的。其中，胸大肌分割金标准是具有丰富经验的医生手工分割获得的。训练结束后，胸大肌区域检测模型具备了对钼靶图像的胸大肌区域进行自动检测的能力，能够提供准确的钼靶图像胸大肌检测结果。将经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，即可以获得胸大肌区域的概率图像。

步骤102、对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

具体地，胸大肌区域检测模型输出的胸大肌区域的概率图像的边缘往往存在锯齿，不够平滑，因此，还需要对胸大肌区域检测模型输出的胸大肌区域的概率图像进行后处理。

图4为本发明实施例提供的对所述胸大肌区域的概率图像进行后处理的流程示意图，后处理包括如下步骤：

将所述胸大肌区域的概率图像转换为二值图像，并提取所述二值图像的边缘轮廓；

基于原图(即钼靶图像)增强后的图像，利用主动轮廓算法对胸大肌边缘进行微调。

可以利用canny算子提取边缘轮廓。

本发明实施例提供了一种通用且准确有效的钼靶图像中胸大肌区域自动检测方法，可为现有的乳腺CAD系统提供准确的钼靶图像胸大肌检测结果，从而提高计算分析结果的准确度，为放射科医生提供更好的辅助诊断，最终减少病例病情的漏报和误报。

基于上述实施例的内容，如图5所示，为本发明实施例提供的训练获得所述胸大肌区域检测模型的流程示意图，具体包括：

步骤500、构建基于深度卷积神经网络的胸大肌区域检测模型；

图6为本发明实施例所构建的基于深度卷积神经网络的胸大肌区域检测模型的结构示意图。

步骤501、获取钼靶图像样本和各所述钼靶图像样本对应的胸大肌分割金标准，对所述钼靶图像样本进行预处理，获得经过预处理的钼靶图像样本；

其中，采用与图2所示的预处理流程相同的方法对钼靶图像样本进行预处理，即包括：

利用边界检测算法对所述钼靶图像样本进行乳腺边界区域提取和修正，获得修正后的最小包围矩形区域图像；

对所述修正后的最小包围矩形区域图像分别进行高斯噪声扰动、滤波平滑、基于不同比例的图像增强、基于指数的图像灰度变换和基于对数的灰度变换，得到第一至第五图像p₁,p₂,p₃,p₄,p₅，合成所述第一图像至第五图像，生成第六图像p；

对所述第六图像p依次进行平移、旋转变换、尺寸归一化和灰度域归一化，获得第七图像q；

计算所述第七图像q分别在x方向、y方向和对角线方向的梯度图，获得第八至第十图像g₁,g₂,g₃；

计算所述第七图像q的拉普拉斯金字塔残差图，获得第十一至第十六图像L₁～L₆；

将所述第七图像q、第八至第十图像g₁,g₂,g₃以及第十一图像L₁按照通道进行合成，获得经过预处理的钼靶图像样本n。

步骤502、将所述经过预处理的钼靶图像样本输入至所述胸大肌区域检测模型中，获得输出图像；

具体地，对所构建的基于深度卷积神经网络的胸大肌区域检测模型进行训练。

将所述经过预处理的钼靶图像样本输入至所述胸大肌区域检测模型中，获得输出图像，具体包括：

步骤a1，将所述经过预处理的钼靶图像样本n输入至膨胀卷积模块，获得第一特征图e₁，将所述第一特征图e₁输入至SE模块，利用所述SE模块的输出结果更新所述第一特征图e₁；

其中，膨胀卷积模块用于执行以下操作:kernel为3x3，stride为1，膨胀系数为2，padding为2的膨胀卷积，然后执行BN和ReLU。

图7为本发明实施例提供的SE模块的结构示意图。在一个实施例中，第一特征图e₁为512x512x64的特征图。

步骤a2，将所述第一特征图e₁输入至轻量化卷积模块，得到第二特征图e₂，对所述经过预处理的钼靶图像样本n进行隔行采样得到第一采样图像n₁,将所述第一采样图像n₁、第十二图像L₂以及第二特征图e₂依通道连接后输入至第一卷积模块，利用所述第一卷积模块的输出结果更新所述第二特征图e₂；

其中，轻量化卷积模块具体为depthwise残差模块，用于减小网络，降低网络运行时的显存需求和加快推断速度。图8为本发明实施例提供的轻量化卷积模块的结构示意图。在一个实施例中，第二特征图e₂为256x256x128的特征图。第一卷积模块执行1x1x134x128的卷积操作，在本发明实施例中卷积操作均默认包括以下操作：对特征图依次执行卷积、BN和ReLU。

步骤a3，将所述第二特征图e₂输入至所述轻量化卷积模块，得到第三特征图e₃，对所述第一采样图像n₁进行隔行采样得到第二采样图像n₂，将所述第二采样图像n₂、第十三图像L₃以及第三特征图e₃依通道连接后输入至第二卷积模块，利用所述第二卷积模块的输出结果更新第三特征图e₃，将所述第三特征图e₃输入至第一反卷积模块，将所述第一反卷积模块输出的特征图与所述第二特征图e₂依通道连接，将连接得到的特征图输入至第三卷积模块，并将所述第三卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第二特征图e₂；

在一个实施例中，第三特征图e₃为128x128x256的特征图。第二卷积模块执行1x1x262x256的卷积操作；第一反卷积模块执行kernel为2，步长为2，输出通道为128的反卷积操作；第三卷积模块执行1x1x256x128的卷积操作。

步骤a4，将所述第三特征图e₃输入至所述轻量化卷积模块，得到第四特征图e₄，对所述第二采样图像n₂进行隔行采样得到第三采样图像n₃，将所述第三采样图像n₃，第十四图像L₄以及第四特征图e₄依通道连接后输入至第四卷积模块，利用所述第四卷积模块的输出结果更新所述第四特征图e₄，将所述第四特征图e₄输入至第二反卷积模块，将所述第二反卷积模块输出的特征图与所述第三特征图e₃依通道连接，将连接得到的特征图输入至第五卷积模块，并将所述第五卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第三特征图e₃；

在一个实施例中，所述第四特征图e₄为64x64x512的特征图，所述第四卷积模块执行1x1x518x512的卷积操作，得到一个64x64x512的特征图；所述第二反卷积模块执行kernel为2，步长为2，输出通道为256的反卷积操作，连接得到的特征图尺寸为128x128x512，第五卷积模块执行1x1x512x256的卷积操作。

步骤a5，将所述第四特征图e₄输入至所述轻量化卷积模块，得到第五特征图e₅，对所述第三采样图像n₃进行隔行采样得到第四采样图像n₄，将所述第四采样图像n₄，第十五图像L₅以及第五特征图e₅依通道连接后输入至第六卷积模块，利用所述第六卷积模块的输出结果更新所述第五特征图e₅，将所述第五特征图e₅输入至第三反卷积模块，将所述第三反卷积模块输出的特征图与所述第四特征图e₄依通道连接，将连接得到的特征图输入至第七卷积模块，并将所述第七卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第四特征图e₄；

在一个实施例中，所述第五特征图e₅为32x32x1024的特征图，所述第六卷积模块执行1x1x1030x1024的卷积操作，所述第三反卷积模块执行kernel为2，步长为2，输出通道为1024的反卷积操作，所述第七卷积模块执行1x1x1024x512卷积模块操作。

步骤a6，将所述第五特征图e₅输入至所述轻量化卷积模块，得到第六特征图e₆，将所述第六特征图输入至第四反卷积模块，将所述第四反卷积模块输出的特征图与所述第五特征图e₅依通道连接后输入至第八卷积模块，将所述第八卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第五特征图；

在一个实施例中，所述第六特征图e₆为16x16x2048的特征图，所述第四反卷积模块执行kernel为2，步长为2，输出通道为1024的反卷积模块操作，所述第八卷积模块执行1x1x2048x1024的卷积操作。

步骤a7，对所述第四采样图像n₄进行隔行采样得到第五采样图像n₅，将所述第五采样图像n₅、第十六图像L₆以及第六特征图e₆依通道连接后输入至第九卷积模块，将所述第九卷积模块的输出结果输入至所述SE模块，获得第七特征图d₆；

在一个实施例中，所述第九卷积模块执行1x1x2054x2048的卷积操作，得到16x16x2048的特征图。

步骤a8，将所述第七特征图d₆输入至第五反卷积模块，得到第八特征图d₅；

在一个实施例中，所述第五反卷积模块执行kernel为2，步长为2，输出通道为1024的反卷积模块，得到的第八特征图d₅为32x32x1024的特征图。

步骤a9，将所述第七特征图d₆和第五特征图e₅输入至注意力网络模块，利用所述注意力网络模块的输出结果更新所述第五特征图e₅，将所述第五特征图e₅和第八特征图d₅依通道连接后输入至第十卷积模块，利用所述第十卷积模块的输出结果更新所述第八特征图d₅；

图9为本发明实施例提供的注意力网络模块的结构示意图。注意力网络模块结构包括:对输入e执行一个We的运算(首先执行一个3x3xcex1(ce为e的通道数)的卷积操作，而后经过一个BN操作)得到特征图e1，对输入d执行一个Wd的运算(首先执行一个3x3xcd(cd为d的通道数)，然后执行一个BN的操作)得到特征图d1，将e1和d1依通道相加，得到新的特征图，以该特征图更新e1；将e1执行一个ReLU和1x1x1x1的卷积操作，然后执行BN，最后经过一个Sigmoid输出，以该概率图输出更新e1；将e1依通道和e中的每个通道的特征相乘，得到的特征图和e依通道相加，得到新的特征图，以该特征图更新e。

在一个实施例中，所述注意力网络模块的输出结果为一个32x32x1024的特征图，所述第十卷积模块执行3x3x2048x1024的卷积操作。

步骤a10，将所述第八特征图d₅输入至第六反卷积模块，得到第九特征图d₄；

其中，所述第六反卷积模块执行kernel为2，步长为2，输出通道为512的反卷积操作。

步骤a11，将所述第四特征图e₄和第八特征图d₅输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第四特征图e₄，将所述第四特征图e₄和第九特征图d₄依通道连接后输入至第十一卷积模块，利用所述第十一卷积模块的输出结果更新所述第九特征图d₄；

在一个实施例中，所述第十一卷积模块执行3x3x1024x512的卷积操作。

步骤a12，将所述第九特征图d₄输入至第七反卷积模块，获得第十特征图d₃；

其中，所述第七反卷积模块执行kernel为2，步长为2，输出通道为256的反卷积操作。

步骤a13，将所述第三特征图e₃和第九特征图d₄输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第三特征图e₃，将所述第三特征图e₃和第十特征图d₃依通道连接后输入至第十二卷积模块，利用所述第十二卷积模块的输出结果更新所述第十特征图d₃；

在一个实施例中，所述注意力网络模型的输出结果为一个64x64x256的特征图，第十二卷积模块执行3x3x512x256的卷积操作。

步骤a14，将所述第十特征图d₃输入至第八反卷积模块，获得第十一特征图d₂；

在一个实施例中，所述第八反卷积模块执行kernel为2，步长为2，输出通道为128的反卷积操作。

步骤a15，将所述第二特征图e₂和第十特征图d₃输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第二特征图e₂，将所述第二特征图e₂和第十一特征图d₂依通道连接后输入至第十三卷积模块，利用所述第十三卷积模块的输出结果更新所述第十一特征图d₂；

在一个实施例中，所述注意力网络模型的输出结果为一个256x256x128的特征图，第十三卷积模块执行3x3x256x128的卷积操作。

步骤a16，将所述第十一特征图d₂输入至第九反卷积模块，获得第十二特征图d₁；

在一个实施例中，所述第九反卷积模块执行kernel为2，步长为2，输出通道为64的反卷积操作。

步骤a17，将所述第一特征图e₁和第十一特征图d₂输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第一特征图e₁，将所述第一特征图e₁和第十二特征图d₁依通道连接后输入至第十四卷积模块，利用所述第十四卷积模块的输出结果更新所述第十二特征图d₁；

在一个实施例中，所述注意力网络模型的输出结果为一个512x512x64的特征图，第十四卷积模块执行3x3x128x64的卷积操作。

步骤a18，将所述第七特征图d₆输入至第六卷积操作模块T₆，获得第六输出图像f₆，将所述第八特征图d₅输入至第五卷积操作模块T₅，获得第五输出图像f₅，将所述第九特征图d₄输入至第四卷积操作模块T₄，获得第四输出图像f₄，将所述第十特征图d₃分别输入至第三卷积操作模块T_{3_1},T_{3_2}，获得第三输出图像f₃,

将所述第十一特征图d₂分别输入至第二卷积操作模块T_{2_1},T_{2_2}，获得第二输出图像f₂,

将所述第十二特征图d₁分别输入至第一卷积操作模块T_{1_1},T_{1_2}，获得第一输出图像f₁,

其中，第六卷积操作模块T₆、第五卷积操作模块T₅、第四卷积操作模块T₄、第三卷积操作模块T_{3_1},T_{3_2}、第二卷积操作模块T_{2_1},T_{2_2}以及第一卷积操作模块T_{1_1},T_{1_2}执行的具体操作如表1所示。

表1 T系列卷积操作模块功能

步骤a19,将f₂,f₃,f₄,f₅,f₆缩放到和f₁相同的尺寸，f₁,f₂,f₃,f₄,f₅,f₆依权重融合得到输出图像f₀；

f₀＝ω₁f₁+ω₂f₂+ω₃f₃+ω₄f₄+ω₅f₅+ω₆f₆

在一个实施例中，ω₁,ω₂,ω₃,ω₄,ω₅,ω₆设定为0.629，0.524，0.419，0.314，0.21，0.105。

步骤a20，将

缩放到和

相同的尺寸，

依权重融合得到f_e。

在一个实施例中，ω₁,ω₂,ω₃设定为0.801，0.535，0.267。

值得说明的是，在训练结束后，利用所述胸大肌区域检测模型进行胸大肌区域提取时不需要执行步骤a19和a20，胸大肌区域检测模型的最后输出为f₁。

步骤503、基于所述输出图像和所述钼靶图像样本对应的胸大肌分割金标准，计算损失函数值；

具体地，本发明实施例对损失函数进行设计。

首先，将所述钼靶图像样本对应的胸大肌分割金标准m₀放缩到和输出图像f₁,f₂,f₃,f₄,f₅,f₆相同的尺寸，得到m₁,m₂,m₃,m₄,m₅,m₆，对m₀,m₁,m₂,m₃提取胸大肌的边界得到h₀,h₁,h₂,h₃；

基于输出图像f₀,f₁,f₂,f₃,f₄,f₅,f₆,f_e,

和所述钼靶图像样本对应的胸大肌分割金标准m₀,m₁,m₂,m₃,m₄,m₅,m₆,h₀,h₁,h₂,h₃，利用如下公式计算损失函数值：

其中，y′为每像素输出的概率值；y为对应的像素点在胸大肌分割金标准上的标签值；α，γ分别设定为0.25,2；m为m₀,m₁,m₂,m₃,m₄,m₅,m₆，h为h₀,h₁,h₂,h₃；f为f₀,f₁,f₂,f₃,f₄,f₅,f₆，f_e为f_e,

当y属于m₀时，ω(m,h)＝0.8；y属于m₁点时，ω(m,h)＝1.0；当y属于m₂点时，ω(m,h)＝0.6；当y属于m₃时，ω(m,h)＝0.5；当y属于h₀时，ω(m,h)＝1.6；当y属于h₁时，ω(m,h)＝2.0；当y属于h₂时，ω(m,h)＝1.2；当y属于h₃时，ω(m,h)＝0.8。

上述取值是为了让网络更加关注于边界，同时由于作为最终实际使用需要的输出，因此给的权重大一些。

步骤504、通过反向传播算法，从所述胸大肌区域检测模型的输出层开始动态调整所述胸大肌区域检测模型的各个参数，以使所述损失函数值朝最小化方向移动；

步骤505、判断是否达到训练结束条件，若是，则保存当前迭代所述胸大肌区域检测模型的参数，获得训练好的胸大肌区域检测模型。

本发明实施例提供的钼靶图像中胸大肌区域自动检测方法，利用深度卷积神经网络来进行钼靶图像中胸大肌区域的自动检测，准确性非常高。本发明在756个钼靶图像上对比有经验医生的手工分割结果显示本方法和医生的手工分割结果间的平均距离方差为0.77mm。图10为本发明实施例提供的胸大肌区域自动检测方法最终实现的效果图。其中，图10中左边为原图，中间为深度学习网络提取图，右边为后处理后的效果图。

如图11所示，为本发明实施例提供的钼靶图像中胸大肌区域自动检测装置的结构示意图，包括：

预处理模块1110，用于对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

特征提取模块1120，用于将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

后处理模块1130，用于对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

所述钼靶图像中胸大肌区域自动检测装置用于实现前述钼靶图像中胸大肌区域自动检测方法，因此，所述钼靶图像中胸大肌区域自动检测装置中各功能的理解可参照前述实施例的描述，在此不再赘述。

图12为本发明实施例提供的电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储在存储器1230上并可在处理器1210上运行的计算机程序，以执行上述各方法实施例所提供的钼靶图像中胸大肌区域自动检测方法，例如包括：对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的钼靶图像中胸大肌区域自动检测方法，例如包括：对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种钼靶图像中胸大肌区域自动检测方法，其特征在于，包括：

对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

2.根据权利要求1所述的钼靶图像中胸大肌区域自动检测方法，其特征在于，训练获得所述胸大肌区域检测模型的步骤，具体包括：

构建基于深度卷积神经网络的胸大肌区域检测模型；

获取钼靶图像样本和各所述钼靶图像样本对应的胸大肌分割金标准，对所述钼靶图像样本进行预处理，获得经过预处理的钼靶图像样本；

将所述经过预处理的钼靶图像样本输入至所述胸大肌区域检测模型中，获得输出图像；

基于所述输出图像和所述钼靶图像样本对应的胸大肌分割金标准，计算损失函数值；

通过反向传播算法，从所述胸大肌区域检测模型的输出层开始动态调整所述胸大肌区域检测模型的各个参数，以使所述损失函数值朝最小化方向移动；

判断是否达到训练结束条件，若是，则保存当前迭代所述胸大肌区域检测模型的参数，获得训练好的胸大肌区域检测模型。

3.根据权利要求2所述的钼靶图像中胸大肌区域自动检测方法，其特征在于，对所述钼靶图像样本进行预处理，获得经过预处理的钼靶图像样本，具体包括：

利用边界检测算法对所述钼靶图像样本进行乳腺边界区域提取和修正，获得修正后的最小包围矩形区域图像；

对所述修正后的最小包围矩形区域图像分别进行高斯噪声扰动、滤波平滑、基于不同比例的图像增强、基于指数的图像灰度变换和基于对数的灰度变换，得到第一至第五图像p₁,p₂,p₃,p₄,p₅，合成所述第一图像至第五图像，生成第六图像p；

对所述第六图像p依次进行平移、旋转变换、尺寸归一化和灰度域归一化，获得第七图像q；

计算所述第七图像q分别在x方向、y方向和对角线方向的梯度图，获得第八至第十图像g₁,g₂,g₃；

计算所述第七图像q的拉普拉斯金字塔残差图，获得第十一至第十六图像L₁～L₆；

将所述第七图像q、第八至第十图像g₁,g₂,g₃以及第十一图像L₁按照通道进行合成，获得经过预处理的钼靶图像样本n。

4.根据权利要求3所述的钼靶图像中胸大肌区域自动检测方法，其特征在于，将所述经过预处理的钼靶图像样本输入至所述胸大肌区域检测模型中，获得输出图像，具体包括：

将所述经过预处理的钼靶图像样本n输入至膨胀卷积模块，获得第一特征图e₁，将所述第一特征图e₁输入至SE模块，利用所述SE模块的输出结果更新所述第一特征图e₁；

将所述第一特征图e₁输入至轻量化卷积模块，得到第二特征图e₂，对所述经过预处理的钼靶图像样本n进行隔行采样得到第一采样图像n₁,将所述第一采样图像n₁、第十二图像L₂以及第二特征图e₂依通道连接后输入至第一卷积模块，利用所述第一卷积模块的输出结果更新所述第二特征图e₂；

将所述第二特征图e₂输入至所述轻量化卷积模块，得到第三特征图e₃，对所述第一采样图像n₁进行隔行采样得到第二采样图像n₂，将所述第二采样图像n₂、第十三图像L₃以及第三特征图e₃依通道连接后输入至第二卷积模块，利用所述第二卷积模块的输出结果更新第三特征图e₃，将所述第三特征图e₃输入至第一反卷积模块，将所述第一反卷积模块输出的特征图与所述第二特征图e₂依通道连接，将连接得到的特征图输入至第三卷积模块，并将所述第三卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第二特征图e₂；

将所述第三特征图e₃输入至所述轻量化卷积模块，得到第四特征图e₄，对所述第二采样图像n₂进行隔行采样得到第三采样图像n₃，将所述第三采样图像n₃，第十四图像L₄以及第四特征图e₄依通道连接后输入至第四卷积模块，利用所述第四卷积模块的输出结果更新所述第四特征图e₄，将所述第四特征图e₄输入至第二反卷积模块，将所述第二反卷积模块输出的特征图与所述第三特征图e₃依通道连接，将连接得到的特征图输入至第五卷积模块，并将所述第五卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第三特征图e₃；

将所述第四特征图e₄输入至所述轻量化卷积模块，得到第五特征图e₅，对所述第三采样图像n₃进行隔行采样得到第四采样图像n₄，将所述第四采样图像n₄，第十五图像L₅以及第五特征图e₅依通道连接后输入至第六卷积模块，利用所述第六卷积模块的输出结果更新所述第五特征图e₅，将所述第五特征图e₅输入至第三反卷积模块，将所述第三反卷积模块输出的特征图与所述第四特征图e₄依通道连接，将连接得到的特征图输入至第七卷积模块，并将所述第七卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第四特征图e₄；

将所述第五特征图e₅输入至所述轻量化卷积模块，得到第六特征图e₆，将所述第六特征图输入至第四反卷积模块，将所述第四反卷积模块输出的特征图与所述第五特征图e₅依通道连接后输入至第八卷积模块，将所述第八卷积模块的输出结果输入至所述SE模块，利用所述SE模块的输出结果更新所述第五特征图；

对所述第四采样图像n₄进行隔行采样得到第五采样图像n₅，将所述第五采样图像n₅、第十六图像L₆以及第六特征图e₆依通道连接后输入至第九卷积模块，将所述第九卷积模块的输出结果输入至所述SE模块，获得第七特征图d₆；

将所述第七特征图d₆输入至第五反卷积模块，得到第八特征图d₅；

将所述第七特征图d₆和第五特征图e₅输入至注意力网络模块，利用所述注意力网络模块的输出结果更新所述第五特征图e₅，将所述第五特征图e₅和第八特征图d₅依通道连接后输入至第十卷积模块，利用所述第十卷积模块的输出结果更新所述第八特征图d₅；

将所述第八特征图d₅输入至第六反卷积模块，得到第九特征图d₄；

将所述第四特征图e₄和第八特征图d₅输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第四特征图e₄，将所述第四特征图e₄和第九特征图d₄依通道连接后输入至第十一卷积模块，利用所述第十一卷积模块的输出结果更新所述第九特征图d₄；

将所述第九特征图d₄输入至第七反卷积模块，获得第十特征图d₃；

将所述第三特征图e₃和第九特征图d₄输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第三特征图e₃，将所述第三特征图e₃和第十特征图d₃依通道连接后输入至第十二卷积模块，利用所述第十二卷积模块的输出结果更新所述第十特征图d₃；

将所述第十特征图d₃输入至第八反卷积模块，获得第十一特征图d₂；

将所述第二特征图e₂和第十特征图d₃输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第二特征图e₂，将所述第二特征图e₂和第十一特征图d₂依通道连接后输入至第十三卷积模块，利用所述第十三卷积模块的输出结果更新所述第十一特征图d₂；

将所述第十一特征图d₂输入至第九反卷积模块，获得第十二特征图d₁；

将所述第一特征图e₁和第十一特征图d₂输入至所述注意力网络模块，利用所述注意力网络模块的输出结果更新所述第一特征图e₁，将所述第一特征图e₁和第十二特征图d₁依通道连接后输入至第十四卷积模块，利用所述第十四卷积模块的输出结果更新所述第十二特征图d₁；

将所述第七特征图d₆输入至第六卷积操作模块T₆，获得第六输出图像f₆，将所述第八特征图d₅输入至第五卷积操作模块T₅，获得第五输出图像f₅，将所述第九特征图d₄输入至第四卷积操作模块T₄，获得第四输出图像f₄，将所述第十特征图d₃分别输入至第三卷积操作模块T_{3_1},T_{3_2}，获得第三输出图像f₃,

将所述第十一特征图d₂分别输入至第二卷积操作模块T_{2_1},T_{2_2}，获得第二输出图像f₂,

将所述第十二特征图d₁分别输入至第一卷积操作模块T_{1_1},T_{1_2}，获得第一输出图像f₁,

将f₂,f₃,f₄,f₅,f₆缩放到和f₁相同的尺寸，f₁,f₂,f₃,f₄,f₅,f₆依权重融合得到输出图像f₀；

将

缩放到和

相同的尺寸，

依权重融合得到f_e。

5.根据权利要求4所述的钼靶图像中胸大肌区域自动检测方法，其特征在于，基于所述输出图像和所述钼靶图像样本对应的胸大肌分割金标准，计算损失函数值，具体为：

将所述钼靶图像样本对应的胸大肌分割金标准m₀放缩到和输出图像f₁,f₂,f₃,f₄,f₅,f₆相同的尺寸，得到m₁,m₂,m₃,m₄,m₅,m₆，对m₀,m₁,m₂,m₃提取胸大肌的边界得到h₀,h₁,h₂,h₃；

基于输出图像f₀,f₁,f₂,f₃,f₄,f₅,f₆,f_e,

和所述钼靶图像样本对应的胸大肌分割金标准m₀,m₁,m₂,m₃,m₄,m₅,m₆,h₀,h₁,h₂,h₃，利用如下公式计算损失函数值：

其中，y′为每像素输出的概率值；y为对应的像素点在胸大肌分割金标准上的标签值；α，γ分别设定为0.25,2；m为m₀,m₁,m₂,m₃,m₄,m₅,m₆，h为h₀,h₁,h₂,h₃；f为f₀,f₁,f₂,f₃,f₄,f₅,f₆，f_e为f_e,

当y属于m₀时，ω(m,h)＝0.8；y属于m₁点时，ω(m,h)＝1.0；当y属于m₂点时，ω(m,h)＝0.6；当y属于m₃时，ω(m,h)＝0.5；当y属于h₀时，ω(m,h)＝1.6；当y属于h₁时，ω(m,h)＝2.0；当y属于h₂时，ω(m,h)＝1.2；当y属于h₃时，ω(m,h)＝0.8。

6.根据权利要求1所述的钼靶图像中胸大肌区域自动检测方法，其特征在于，对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果，具体为：

将所述胸大肌区域的概率图像转换为二值图像，并提取所述二值图像的边缘轮廓；

基于原图增强后的图像，利用主动轮廓算法对胸大肌边缘进行微调。

7.一种钼靶图像中胸大肌区域自动检测装置，其特征在于，包括：

预处理模块，用于对待检测的钼靶图像进行预处理，获得经过预处理的钼靶图像；

特征提取模块，用于将所述经过预处理的钼靶图像输入至预先训练好的胸大肌区域检测模型中，获得胸大肌区域的概率图像；

后处理模块，用于对所述胸大肌区域的概率图像进行后处理，获得胸大肌区域分割结果；

其中，所述胸大肌区域检测模型是基于经过预处理的钼靶图像样本和所述钼靶图像样本对应的胸大肌分割金标准进行训练获得的。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述钼靶图像中胸大肌区域自动检测方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述钼靶图像中胸大肌区域自动检测方法的步骤。

Images