CN111310839A - 一种钼靶图像中乳头位置的检测方法及系统 - Google Patents

一种钼靶图像中乳头位置的检测方法及系统 Download PDF

Info

Publication number
CN111310839A
CN111310839A CN202010111705.6A CN202010111705A CN111310839A CN 111310839 A CN111310839 A CN 111310839A CN 202010111705 A CN202010111705 A CN 202010111705A CN 111310839 A CN111310839 A CN 111310839A
Authority
CN
China
Prior art keywords
molybdenum target
sample
target image
nipple
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010111705.6A
Other languages
English (en)
Inventor
秦积涛
罗召洋
谢培梁
沈烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boshi Medical Technology Co ltd
Guangzhou Baishi Data Technology Co ltd
Original Assignee
Guangzhou Boshi Medical Technology Co ltd
Guangzhou Baishi Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boshi Medical Technology Co ltd, Guangzhou Baishi Data Technology Co ltd filed Critical Guangzhou Boshi Medical Technology Co ltd
Priority to CN202010111705.6A priority Critical patent/CN111310839A/zh
Publication of CN111310839A publication Critical patent/CN111310839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种钼靶图像中乳头位置的检测方法及系统。其中，方法包括：将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；根据所述输出结果，确定所述待检测钼靶图像中的乳头位置；其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集。本发明实施例提供的方法及系统，通过深度学习技术，可对不同类型的钼靶图像使用同一种神经网络模型进行乳头位置检测，提高了算法的鲁棒性和通用性，保证了检测结果的准确性。并且，该方法检测速度大大提高，可以实时进行乳头位置检测，有效提高了检测效率。

Description

一种钼靶图像中乳头位置的检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种钼靶图像中乳头位置的检测方法及系统。
背景技术
对于乳腺钼靶图像中的乳头位置检测，现阶段有非常多的检测算法，例如：
方法1为Zhou在2004年提出的乳头检测算法。该算法分为两个阶段：第一阶段，基于沿乳房边界的强度值的显著变化检测乳头位置；第二阶段，基于乳头周围的纹理图案的收敛来检测乳头位置。最终乳头位置是基于置信度测量和一组规则找到的。然而，致密的钼靶图像可能具有结构化的噪声，因此使用该算法得到的检测结果不够准确。
方法2为Kinoshita et al在2008年提出的乳头检测算法。Kinoshita et al发现乳头位置处于乳腺组织成分的交叉点，并使用Radon变换检测乳头位置，该算法的局限之处在于不能精确检测出乳房边界。
方法3为Mustra在2009年提出的乳头检测算法。Mustra尝试使用乳房区域的几何性质以及乳头在内部轮廓和乳头外部轮廓累积强度分布不同两种特征组合。该算法的局限之处在于没有在中侧外倾斜(MLO)视图图像上测试，并在最终检测中过度依赖于强度分布。
方法4为Tzikopoulos在2011年提出的乳头检测算法。Tzikopoulos试图将乳头模型化为位于乳房边界外侧的10mm搜索带中的椭圆。但是该算法的实现都是基于强度特征，并且这可能成为限制算法鲁棒性的因素，因为图像采集技术随着时间推移会发生变化，而这将影响图像的对比度和强度等参数。此外，该算法的一个缺点是会将强度类似于乳头的区域错误的检测为乳头。
方法5为Paola Casti在2013年提出的乳头检测算法。该算法为基于海森矩阵的乳头检测算法，包括使用几何约束检测钼靶图像中的乳头的合理存在区域，通过平均和高斯曲率测量分析梯度矢量场以及局部形状条件检测出乳头位置。但是该算法的不足之处在于，将具有最大的平均高斯曲率的连通区域检测为乳头位置不是对于所有钼靶图像都成立，这一算法在检测乳头平坦且较小的钼靶图像时准确率较低。
因此，提出一种检测准确率更高的乳头位置检测方法成为了亟待解决的问题。
发明内容
为了解决现有技术中的问题，本发明实施例提供一种钼靶图像中乳头位置的检测方法及系统。
第一方面，本发明实施例提供一种钼靶图像中乳头位置的检测方法，包括：
将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；
根据所述输出结果，确定所述待检测钼靶图像中的乳头位置；
其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
进一步地，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
将每个样本钼靶图像及对应的样本标签集作为一个训练样本，得到多个训练样本；
将所述多个训练样本作为所述训练集，通过所述训练集对神经网络模型进行训练，得到所述训练后的神经网络模型。
进一步地，通过所述训练集对神经网络模型进行训练，包括：
对于任意一个训练样本，将所述训练样本中的样本钼靶图像输入至所述神经网络模型的特征提取层，输出所述样本钼靶图像对应的多个不同尺度的特征图像；
将多个所述特征图像输入至所述神经网络模型的特征融合层，输出所述样本钼靶图像对应的多组不同尺度的融合图像；
将多组所述融合图像输入至所述神经网络模型的输出层，输出所述样本钼靶图像对应的预测结果；其中，所述预测结果包括所述样本钼靶图像中的乳头边界框的预测位置、所述乳头边界框的预测置信度和所述乳头边界框中包含乳头的预测概率；
基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值；
若所述联合损失值小于预设阈值，则所述神经网络模型训练完成。
进一步地，若所述联合损失值大于或等于所述预设阈值，则基于误差反向传播算法更新所述神经网络模型参数。
进一步地，基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值，包括：
基于所述联合损失函数中的第一损失函数，根据所述样本钼靶图像中的乳头边界框的预测位置和所述样本标签集中的位置标签，获取第一损失函数值；
基于所述联合损失函数中的第二损失函数，根据所述乳头边界框的预测置信度和所述样本标签集中的置信度标签，获取第二损失函数值；
基于所述联合损失函数中的第三损失函数，根据所述乳头边界框中包含乳头的预测概率和所述样本标签集中的分类标签，获取第三损失函数值；
根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，获取所述神经网络模型的联合损失值。
进一步地，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取原始钼靶图像；
剔除所述原始钼靶图像中的背景区域和文字标签信息，得到第一处理图像；
对所述第一处理图像进行下采样，得到第二处理图像；
将所述第二处理图像进行像素归一化，得到第三处理图像，并将所述第三处理图像作为所述待检测钼靶图像。
进一步地，剔除所述原始钼靶图像中的背景区域和文字标签信息，包括：
采用最大化类间方差的分割算法，剔除所述原始钼靶图像中的背景区域；
将剔除背景区域后的图像进行二值化后，保留最大的八连通区域以剔除所述文字标签信息。
第二方面，本发明实施例提供一种钼靶图像中乳头位置的检测系统，包括：
输出结果获取模块，用于将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；
乳头位置确定模块，用于根据所述输出结果，确定所述待检测钼靶图像中的乳头位置；
其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种钼靶图像中乳头位置的检测方法及系统，通过深度学习技术，可对不同类型的钼靶图像使用同一种神经网络模型进行乳头位置检测，提高了算法的鲁棒性和通用性，保证了检测结果的准确性。并且，该方法检测速度大大提高，可以实时进行乳头位置检测，有效提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的神经网络模型的结构示意图；
图2为本发明实施例提供的一种特征提取层的结构示意图；
图3为本发明实施例提供的一种卷积层的结构示意图；
图4为本发明实施例提供的一种残差层的结构示意图；
图5为本发明实施例提供的一种特征融合层的结构示意图；
图6为本发明实施例提供的一种网格划分层的结构示意图；
图7为本发明实施例提供的一种融合层的结构示意图；
图8为本发明实施例提供的一种输出层的结构示意图；
图9为本发明另一实施例提供的神经网络模型的结构示意图；
图10为本发明实施例提供的钼靶图像中乳头位置的检测方法流程图；
图11为本发明实施例提供的一种钼靶图像中乳头位置的检测系统的结构示意图；
图12为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好地对本发明实施例提供的钼靶图像中乳头位置的检测方法进行说明，首先对本发明实施例中提到的神经网络模型的结构进行说明。
图1为本发明实施例提供的神经网络模型的结构示意图，如图1所示，该神经网络模型包括：
特征提取层10、与特征提取层10连接的特征融合层20、以及与特征融合层20连接的输出层30。
其中，特征提取层10用于对输入的钼靶图像进行特征提取。图2为本发明实施例提供的一种特征提取层的结构示意图，如图2所示，特征提取层10包括1个卷积层100和5个下采样层，这5个下采样层分别为依次连接的第一下采样层101、第二下采样层102、第三下采样层103、第四下采样层104和第五下采样层105。其中，每个下采样层包括3个卷积层和1个残差层。每个卷积层的结构如图3所示，每个残差层的结构如图4所示。
输入的钼靶图像依次经过卷积层100和第一下采样层101后，输出的图像的尺度为输入的钼靶图像的1/2，当经过第二下采样层102后，输出的图像的尺度为输入的钼靶图像的1/4，当经过第三下采样层103后，输出的图像的尺度为输入的钼靶图像的1/8，当经过第四下采样层104后，输出的图像的尺度为输入的钼靶图像的1/16，当经过第五下采样层105后，输出的图像的尺度为输入的钼靶图像的1/32。
需要说明的是，输出的图像的尺度为输入的钼靶图像的1/2指的是，输出的图像的长为输入的钼靶图像的长的1/2，输出的图像的宽也为输入的钼靶图像的宽的1/2。
特征提取层10的输出为第三下采样层103的输出(即尺度为输入的钼靶图像的1/8的图像，为了便于后文描述，将其称为第一特征图像)、第四下采样层104的输出(即尺度为输入的钼靶图像的1/16的图像，为了便于后文描述，将其称为第二特征图像)、以及第五下采样层105的输出(即尺度为输入的钼靶图像的1/32的图像，为了便于后文描述，将其称为第三特征图像)。
特征融合层20用于对输入的特征图像(即第一特征图像、第二特征图像和第三特征图像)进行特征融合。图5为本发明实施例提供的一种特征融合层的结构示意图，如图5所示，特征融合层20包括依次连接的第一网格划分层201、第一融合层202、第二网格划分层203、第二融合层204和第三网格划分层205。
其中，每个网格划分层的结构如图6所示，包括依次连接的5个卷积层，这5个卷积层的卷积核大小分别为1*1、3*3、1*1、3*3、1*1。每个融合层的结构如图7所示，包括依次连接的卷积层、上采样层和融合子层。为了便于后文描述，将第一融合层202中的融合子层称为第一融合子层，将第二融合层204中的融合子层称为第二融合子层。
特征融合层20的输入为第一网格划分层201的输入(即第一特征图像)、第一融合子层的输入(即第二特征图像)、以及第二融合子层的输入(即第三特征图像)。
输入的第一特征图像经过第一网格划分层201后，被划分成多个网格图像(为了便于后文描述，将每个网格图像称为第一网格图像)，这多个第一网格图像经过第一融合层202中的卷积层和上采样层之后，转换为多个尺度与第二特征图像一致的网格图像。这多个尺度与第二特征图像一致的网格图像与第二特征图像在第一融合子层中进行特征融合，得到第一融合图像。
第一融合图像经过第二网格划分层203后，被划分为多个网格图像(为了便于后文描述，将每个网格图像称为第二网格图像)，这多个第二网格图像经过第二融合层204中的卷积层和上采样层之后，转换为多个尺度与第三特征图像一致的网格图像。这多个尺度与第三特征图像一致的网格图像与第三特征图像在第二特征融合子层中进行特征融合，得到第二融合图像。
第二融合图像经过第三网格划分层205后，被划分为多个网格图像(为了便于后文描述，将每个网格图像称为第三网格图像)。
特征融合层20的输出为第一网格划分层201的输出(多个第一网格图像)、第二网格划分层203的输出(多个第二网格图像)、以及第三网格划分层205的输出(多个第三网格图像)。
输出层30用于对输入的网格图像(即多个第一网格图像、多个第二网格图像和多个第三网格图像)进行分类和位置回归，预测出输入至特征提取层10中的钼靶图像中的乳头位置，输出层30的结构如图8所示。
图9为本发明实施例提供的神经网络模型的具体结构示意图，由于该结构中的各部分已在上文中详细说明，因此此处不再赘述。
以上为神经网络模型的结构，以下基于该结构对本发明实施例提供的钼靶图像中乳头位置的检测方法进行说明。
图10为本发明实施例提供的钼靶图像中乳头位置的检测方法流程图，如图10所示，该方法包括：
步骤1001，将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果。其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
具体地，待检测钼靶图像为待进行乳头位置检测的乳腺钼靶图像，该待检测钼靶图像可以为原始的未经过预处理的钼靶图像，也可以为对原始钼靶图像进行预处理后的钼靶图像，本发明实施例对此不作具体限定。
其中，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，便于精确地提取出图像的特征，更好的分析图像，以提升后续检测结果的准确性。
需要说明的是，若神经网络模型在训练过程中输入的样本钼靶图像为原始的未经过预处理的钼靶图像，则训练后的神经网络模型在使用过程中，输入的钼靶图像也为原始的未经过预处理的钼靶图像。若神经网络模型在训练过程中输入的样本钼靶图像为预处理后的钼靶图像，则训练后的神经网络模型在使用过程中，输入的钼靶图像也为预处理后的钼靶图像。
将待检测钼靶图像输入至训练后的神经网络模型，可获取该模型的输出结果，输出结果为待检测钼靶图像中的乳头边界框的位置及置信度。
步骤1002，根据所述输出结果，确定所述待检测钼靶图像中的乳头位置。
具体地，将输出结果中的乳头边界框的位置作为待检测钼靶图像中的乳头位置。
本发明实施例提供的方法，通过深度学习技术，可对不同类型的钼靶图像使用同一种神经网络模型进行乳头位置检测，提高了算法的鲁棒性和通用性，保证了检测结果的准确性。并且，该方法检测速度大大提高，可以实时进行乳头位置检测，有效提高了检测效率。
在上述各实施例的基础上，本发明实施例对训练后的神经网络模型的获取进行说明，即，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；将每个样本钼靶图像及对应的样本标签集作为一个训练样本，得到多个训练样本；将所述多个训练样本作为所述训练集，通过所述训练集对神经网络模型进行训练，得到所述训练后的神经网络模型。
具体地，在将待检测钼靶图像输入至训练后的神经网络模型之前，还需对神经网络模型进行训练，具体训练过程如下：
首先，获取多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集。
然后，将一个样本钼靶图像、该样本钼靶图像对应的样本标签集作为一个训练样本，从而可得到多个训练样本。
最后，将多个训练样本依次输入至神经网络模型，根据神经网络模型的每一次输出结果对神经网络模型参数进行调整，最终完成神经网络模型的训练，得到训练后的神经网络模型。
在上述各实施例的基础上，本发明实施例对神经网络模型的训练过程进行进一步具体说明，即，通过所述训练集对神经网络模型进行训练，包括：
对于任意一个训练样本，将所述训练样本中的样本钼靶图像输入至所述神经网络模型的特征提取层，输出所述样本钼靶图像对应的多个不同尺度的特征图像；将多个所述特征图像输入至所述神经网络模型的特征融合层，输出所述样本钼靶图像对应的多组不同尺度的融合图像；将多组所述融合图像输入至所述神经网络模型的输出层，输出所述样本钼靶图像对应的预测结果；其中，所述预测结果包括所述样本钼靶图像中的乳头边界框的预测位置、所述乳头边界框的预测置信度和所述乳头边界框中包含乳头的预测概率；基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值；若所述联合损失值小于预设阈值，则所述神经网络模型训练完成。
此处结合图1～9对本发明实施例进行具体说明。
对于任意一个训练样本，首先，将训练样本中的样本钼靶图像输入至特征提取层10，进而依次通过特征融合层20和输出层30，得到输出层30的输出结果，即，样本钼靶图像对应的预测结果。其中，预测结果包括样本钼靶图像中的乳头边界框的预测位置、乳头边界框的预测置信度和乳头边界框中包含乳头的预测概率。
具体地，样本钼靶图像输入至特征提取层10中的卷积层100，并依次经过第一下采样层101、第二下采样层102、第三下采样层103、第四下采样层104和第五下采样层105。第三下采样层103输出尺度为样本钼靶图像的1/8的第一样本特征图像，第四下采样层104输出尺度为样本钼靶图像的1/16的第二样本特征图像，第五下采样层105输出尺度为样本钼靶图像的1/32的第三样本特征图像。
第三样本特征图像输入至特征提取层20中的第一网格划分层201，第一样本特征图像输入至特征提取层20中的第一融合子层，第二样本特征图像输入至特征提取层20中的第二融合子层。
第三样本特征图像经过第一网格划分层201，被划分成了多个网格图像(为了便于后文描述，将每个网格图像称为第一样本网格图像)，这多个第一样本网格图像经过第一融合层202中的卷积层和上采样层之后，转换为了多个尺度与第二样本特征图像一致的网格图像。这多个尺度与第二样本特征图像一致的网格图像与第二样本特征图像在第一融合子层中进行特征融合，得到第一样本融合图像。
第一样本融合图像经过第三经过第二网格划分层203之后，被划分为了多个网格图像(为了便于后文描述，将每个网格图像称为第二样本网格图像)，这多个第二样本网格图像经过第二融合层204中的卷积层和上采样层之后，转换为多个尺度与第三样本特征图像一致的网格图像。这多个尺度与第三样本特征图像一致的网格图像与第三样本特征图像在第二特征融合子层中进行特征融合，得到第二样本融合图像。
第二样本融合图像经过第三网格划分层205后，被划分为多个网格图像(为了便于后文描述，将每个网格图像称为第三样本网格图像)。
多个第一样本网格图像、多个第二样本网格图像和多个第三样本网格图像均输入至输出层30，输出层30对每个样本网格图像预测3个可能包含乳头的边界框，并最终输出预测得到的包含乳头的边界框的预测位置、边界框的预测置信度以及边界框中包含乳头的预测概率。
其中，边界框的预测位置包括：边界框的中心坐标(bx,by)，以及边界框的宽bw和高bh。
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002390253900000111
Figure BDA0002390253900000112
其中，(tx,ty)为预测的坐标偏移值，也即预测出的边界框相对于样本网格图像的中心坐标，(cx,cy)为样本网格图像相对于样本钼靶图像的坐标偏移量。(pw,ph)是预设的边界框的边长，(tw,th)为尺度缩放因子。
边界框的预测置信度σ(to)为：
σ(to)＝Pr(object)*IOU(b,object)
其中，Pr(object)代表样本网格图像中包含乳头的概率，IOU(b,object)指groundtruth与边界框的交并比。
边界框包含乳头的预测概率的计算方法为：将该边界框的预测位置的预测置信度输入至sigmoid函数，将sigmond函数的输出值作为预测概率。需要说明的是，当预测概率大于0.5时，判定该边界框中包含乳头。
最后，基于联合损失函数，根据边界框的预测位置、边界框的预测置信度以及边界框中包含乳头的预测概率和样本标签集，获取神经网络模型的联合损失值。其中，联合损失函数可以为交叉熵损失函数。在计算获得联合损失值之后，本次训练过程结束，再利用误差反向传播算法更新神经网络模型参数，之后再进行下一次训练。在训练的过程中，若针对某个训练样本计算获得的联合损失值小于预设阈值，则神经网络模型训练完成，得到训练后的神经网络模型。
在上述各实施例的基础上，若所述联合损失值大于或等于所述预设阈值，则基于误差反向传播算法更新所述神经网络模型参数。
在上述各实施例的基础上，本发明实施例对联合损失值的计算过程进行具体说明，即，基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值，包括：
基于所述联合损失函数中的第一损失函数，根据所述样本钼靶图像中的乳头边界框的预测位置和所述样本标签集中的位置标签，获取第一损失函数值；基于所述联合损失函数中的第二损失函数，根据所述乳头边界框的预测置信度和所述样本标签集中的置信度标签，获取第二损失函数值；基于所述联合损失函数中的第三损失函数，根据所述乳头边界框中包含乳头的预测概率和所述样本标签集中的分类标签，获取第三损失函数值；根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，获取所述神经网络模型的联合损失值。
具体地，联合损失函数L为：
L＝l1+l2+l3
其中，l1为第一损失函数，l2为第二损失函数，l3为第三损失函数。
其中，第一损失函数l1为：
Figure BDA0002390253900000131
其中，λcoord为权重，(xi，yi)为位置标签中的边界框的中心坐标，
Figure BDA0002390253900000132
Figure BDA0002390253900000133
为预测结果中的边界框的中心坐标，(wi，hi)为位置标签中的边界框的宽高，
Figure BDA0002390253900000134
为预测结果中的边界框的宽高。
第二损失函数l2为：
Figure BDA0002390253900000135
其中，λnoobj为权重，ci为置信度标签中的置信度，
Figure BDA0002390253900000136
为预测结果中的置信度。
第三损失函数l3为：
Figure BDA0002390253900000137
其中，pi(c)为分类标签中的概率，
Figure BDA0002390253900000138
为预测结果中的概率。
基于上述任一实施例，本发明实施例对待检测钼靶图像的预处理过程进行说明。即，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取原始钼靶图像；剔除所述原始钼靶图像中的背景区域和文字标签信息，得到第一处理图像；对所述第一处理图像进行下采样，得到第二处理图像；将所述第二处理图像进行像素归一化，得到第三处理图像，并将所述第三处理图像作为所述待检测钼靶图像。
其中，采用最大化类间方差的分割方法，剔除所述原始钼靶图像中的背景区域；将剔除背景区域后的图像进行二值化后，保留最大的八连通区域以剔除所述文字标签信息，从而得到第一处理图像。
得到第一处理图像之后，使用双线性插值方法将第一处理图像进行下采样，得到尺度为32的倍数的第二处理图像。
得到第二处理图像之后，将第二处理图像进行归一化，得到像素值均在0-1之间的第三处理图像，并将第三处理图像作为待检测钼靶图像。需要说明的是，对图像进行像素归一化的好处在于可以加快梯度下降的求解速度，即提升神经网络模型的收敛速度。
基于上述任一实施例，图11为本发明实施例提供的一种钼靶图像中乳头位置的检测系统的结构示意图，如图11所示，该系统包括：
输出结果获取模块1101，用于将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；乳头位置确定模块1102，用于根据所述输出结果，确定所述待检测钼靶图像中的乳头位置。其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
本发明实施例提供的系统，具体执行上述各方法实施例流程，具体请详见上述各方法实施例的内容，此处不再赘述。本发明实施例提供的系统，通过深度学习技术，可对不同类型的钼靶图像使用同一种神经网络模型进行乳头位置检测，提高了算法的鲁棒性和通用性，保证了检测结果的准确性。并且，该方法检测速度大大提高，可以实时进行乳头位置检测，有效提高了检测效率。
图12为本发明实施例提供的一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1201、通信接口(Communications Interface)1202、存储器(memory)1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信。处理器1201可以调用存储在存储器1203上并可在处理器1201上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；根据所述输出结果，确定所述待检测钼靶图像中的乳头位置。
此外，上述的存储器1203中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；根据所述输出结果，确定所述待检测钼靶图像中的乳头位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种钼靶图像中乳头位置的检测方法，其特征在于，包括：
将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；
根据所述输出结果，确定所述待检测钼靶图像中的乳头位置；
其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
2.根据权利要求1所述的检测方法，其特征在于，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
将每个样本钼靶图像及对应的样本标签集作为一个训练样本，得到多个训练样本；
将所述多个训练样本作为所述训练集，通过所述训练集对神经网络模型进行训练，得到所述训练后的神经网络模型。
3.根据权利要求2所述的检测方法，其特征在于，通过所述训练集对神经网络模型进行训练，包括：
对于任意一个训练样本，将所述训练样本中的样本钼靶图像输入至所述神经网络模型的特征提取层，输出所述样本钼靶图像对应的多个不同尺度的特征图像；
将多个所述特征图像输入至所述神经网络模型的特征融合层，输出所述样本钼靶图像对应的多组不同尺度的融合图像；
将多组所述融合图像输入至所述神经网络模型的输出层，输出所述样本钼靶图像对应的预测结果；其中，所述预测结果包括所述样本钼靶图像中的乳头边界框的预测位置、所述乳头边界框的预测置信度和所述乳头边界框中包含乳头的预测概率；
基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值；
若所述联合损失值小于预设阈值，则所述神经网络模型训练完成。
4.根据权利要求3所述的检测方法，其特征在于，若所述联合损失值大于或等于所述预设阈值，则基于误差反向传播算法更新所述神经网络模型参数。
5.根据权利要求3所述的检测方法，其特征在于，基于联合损失函数，根据所述样本钼靶图像对应的预测结果和样本标签集，获取所述神经网络模型的联合损失值，包括：
基于所述联合损失函数中的第一损失函数，根据所述样本钼靶图像中的乳头边界框的预测位置和所述样本标签集中的位置标签，获取第一损失函数值；
基于所述联合损失函数中的第二损失函数，根据所述乳头边界框的预测置信度和所述样本标签集中的置信度标签，获取第二损失函数值；
基于所述联合损失函数中的第三损失函数，根据所述乳头边界框中包含乳头的预测概率和所述样本标签集中的分类标签，获取第三损失函数值；
根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，获取所述神经网络模型的联合损失值。
6.根据权利要求1所述的检测方法，其特征在于，将待检测钼靶图像输入至训练后的神经网络模型，之前还包括：
获取原始钼靶图像；
剔除所述原始钼靶图像中的背景区域和文字标签信息，得到第一处理图像；
对所述第一处理图像进行下采样，得到第二处理图像；
将所述第二处理图像进行像素归一化，得到第三处理图像，并将所述第三处理图像作为所述待检测钼靶图像。
7.根据权利要求6所述的检测方法，其特征在于，剔除所述原始钼靶图像中的背景区域和文字标签信息，包括：
采用最大化类间方差的分割算法，剔除所述原始钼靶图像中的背景区域；
将剔除背景区域后的图像进行二值化后，保留最大的八连通区域以剔除所述文字标签信息。
8.一种钼靶图像中乳头位置的检测系统，其特征在于，包括：
输出结果获取模块，用于将待检测钼靶图像输入至训练后的神经网络模型，获取所述训练后的神经网络模型的输出结果；
乳头位置确定模块，用于根据所述输出结果，确定所述待检测钼靶图像中的乳头位置；
其中，所述训练后的神经网络模型根据训练集训练得到，所述训练集包括多个样本钼靶图像以及每个样本钼靶图像对应的样本标签集；
所述样本标签集包括位置标签、置信度标签和分类标签，所述位置标签用于表征所述样本钼靶图像中的乳头边界框的位置，所述置信度标签用于表征所述乳头边界框的置信度，所述分类标签用于表征所述乳头边界框中包含乳头的概率。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202010111705.6A 2020-02-24 2020-02-24 一种钼靶图像中乳头位置的检测方法及系统 Pending CN111310839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111705.6A CN111310839A (zh) 2020-02-24 2020-02-24 一种钼靶图像中乳头位置的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111705.6A CN111310839A (zh) 2020-02-24 2020-02-24 一种钼靶图像中乳头位置的检测方法及系统

Publications (1)

Publication Number Publication Date
CN111310839A true CN111310839A (zh) 2020-06-19

Family

ID=71148385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111705.6A Pending CN111310839A (zh) 2020-02-24 2020-02-24 一种钼靶图像中乳头位置的检测方法及系统

Country Status (1)

Country Link
CN (1) CN111310839A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN114742753A (zh) * 2022-03-02 2022-07-12 清华大学 基于神经网络的图像评估方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109144A (zh) * 2017-12-29 2018-06-01 广州柏视医疗科技有限公司 一种钼靶图像中乳头位置自动检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110766670A (zh) * 2019-10-18 2020-02-07 厦门粉红思黛医学科技有限公司 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109144A (zh) * 2017-12-29 2018-06-01 广州柏视医疗科技有限公司 一种钼靶图像中乳头位置自动检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110766670A (zh) * 2019-10-18 2020-02-07 厦门粉红思黛医学科技有限公司 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FEINIU YUAN 等，: "Deep Smoke Segmentation", 《ARXIV》 *
任嘉锋 等，: "基于改进YOLOv3的火灾检测与识别", 《计算机系统应用》 *
李云鹏 等，: "基于YOLOv3的自动驾驶中运动目标检测", 《计算机工程与设计》 *
李汉冰 等，: "基于YOLOV3改进的实时车辆检测方法", 《激光与光电子学进展》 *
杨晋生 等，: "基于深度可分离卷积的交通标志识别算法", 《液晶与显示》 *
郑秋梅 等，: "基于改进卷积神经网络的交通场景小目标检测", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN112560709B (zh) * 2020-12-18 2023-07-25 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN114742753A (zh) * 2022-03-02 2022-07-12 清华大学 基于神经网络的图像评估方法和装置

Similar Documents

Publication Publication Date Title
CN107767378B (zh) 基于深度神经网络的gbm多模态磁共振图像分割方法
EP3161787B1 (en) Detecting edges of a nucleus using image analysis
Shen et al. An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
Bibiloni et al. A survey on curvilinear object segmentation in multiple applications
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN109102004A (zh) 棉花害虫识别分类方法及装置
CN114529516A (zh) 基于多注意力与多任务特征融合的肺结节检测与分类方法
CN113139549B (zh) 一种基于多任务学习的参数自适应全景分割方法
CN109117746A (zh) 手部检测方法及机器可读存储介质
Vishnumurthy et al. Automatic segmentation of brain MRI images and tumor detection using morphological techniques
CN111310839A (zh) 一种钼靶图像中乳头位置的检测方法及系统
CN114332572A (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN115424093A (zh) 一种识别眼底图像中细胞的方法及装置
CN117635615B (zh) 基于深度学习实现冲孔模具的缺陷检测方法及系统
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN117115117A (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
CN110634119B (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
CN110956623A (zh) 皱纹检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619

RJ01 Rejection of invention patent application after publication