CN109840913B - 一种乳腺x线图像中肿块分割的方法和系统 - Google Patents
一种乳腺x线图像中肿块分割的方法和系统 Download PDFInfo
- Publication number
- CN109840913B CN109840913B CN201910052474.3A CN201910052474A CN109840913B CN 109840913 B CN109840913 B CN 109840913B CN 201910052474 A CN201910052474 A CN 201910052474A CN 109840913 B CN109840913 B CN 109840913B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- segmentation
- neural network
- scale feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种乳腺X线图像中肿块分割的方法和系统，其方法包括：读取乳腺X线图像，从中提取感兴趣区域，得到对应的原始图像；从原始图像中减去灰度分布平面，得到增强图像；通过模板图像对增强图像进行滤波得到预处理图像；根据原始图像和预处理图像构成多通道输入图像；根据多通道输入图像形成训练数据集；构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型；通过乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。本发明通过多通道输入原始图像和具有显著肿块外观的预处理图像，然后再进行多尺度处理，从而得到精度更高的肿块分割图像。
Description
技术领域
本发明涉及机器学习和数字医学图像处理与分析领域，尤指一种乳腺X线图像中肿块分割的方法和系统。
背景技术
在乳腺癌的治疗方法中，早期诊断和早期治疗被认为是提高乳腺癌生存率的主要方法。由于乳房X线检查是乳腺癌早期检测和诊断的标准技术之一，乳腺X线图像中肿块的自动分割对于进一步的定量和定性分析至关重要。然而，由于乳腺X线图像是二维投影图像，当周围的乳腺结构与肿块强度分布相似时，很难清晰地识别肿块，并且肿块可能存在形状不规则、对比度低、大小不一等情况，因此X线照片中肿块分割仍具有相当的挑战性。
乳腺X线图像肿块分割相关研究较多。这些研究提出的方法可以分为两大类：传统的分割方法和基于深度学习的方法。传统方法可以进一步分为基于区域的方法、基于边缘的方法和混合方法。基于区域的乳腺肿块分割方法主要包括区域增长算法、分水岭变换和形态滤波方法等。这些方法通过检测出满足乳腺肿块特征的区域达到肿块分割的目的。在基于边缘的方法中，活动轮廓模型和动态规划是两种常用的乳腺肿块分割方法。这些方法通过优化预定义的能量函数来寻找表示乳腺肿块边缘的最优路径。
当只使用其中一种方法进行乳腺肿块分割时，往往很难得到满意的结果。因此，又提出了一些组合上述的基于区域的方法和基于边缘的方法的混合方法，以进一步提高分割精度。然而，所有这些传统的大规模分割方法都严重依赖于人工设计的特征。因此，需要一种乳腺X线图像中肿块分割的方法和系统能够更加精确地对乳腺X线图像中肿块进行分割。
发明内容
本发明的目的是提供一种乳腺X线图像中肿块分割的方法和系统，实现通过多通道输入原始图像和具有显著肿块外观的预处理图像，然后再进行多尺度处理，从而得到精度更高的肿块分割图像。
本发明提供的技术方案如下：
本发明提供一种乳腺X线图像中肿块分割的方法，包括：读取乳腺X线图像；从所述乳腺X线图像中提取感兴趣区域，得到所述感兴趣区域的原始图像；从所述原始图像中减去灰度分布平面，得到增强图像；通过模板图像对所述增强图像进行滤波得到预处理图像；根据所述原始图像和对应的所述预处理图像构成多通道输入图像；根据所述多通道输入图像形成训练数据集；构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成；通过所述乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
进一步的，根据所述原始图像和对应的所述预处理图像构成多通道输入图像之后，根据所述多通道输入图像形成训练数据集之前还包括：通过数据增强策略根据所述多通道输入图像生成扩增图像，所述数据增强策略包括在水平方向翻转图像、在垂直方向翻转图像、将图像旋转90度、将图像旋转180度、将图像旋转270度以及对图像进行一种或多种随机弹性形变；根据所述多通道输入图像形成训练数据集具体包括：根据所述多通道输入图像和所述扩增图像形成训练数据集。
进一步的，随机弹性形变具体包括：生成和所述多通道输入图像具有相同像素大小的形变场；利用高斯滤波器对所述形变场进行平滑处理；通过进行平滑处理之后的形变场对所述多通道输入图像进行滤波处理得到经过弹性形变之后的扩增图像。
进一步的，从所述原始图像中减去灰度分布平面，得到增强图像具体包括：根据所述原始图像拟合出所述灰度分布平面：z＝f(x,y)＝a0x+a1y+a2(1)，其中，x、y为所述原始图像的坐标，z为所述原始图像中坐标为x和y的像素点的灰度值，所述公式(1)中的系数a0、a1和a2应满足公式(2)的条件：
其中，n表示所述原始图像的像素数，在所述公式(2)中分别关于a0、a1和a2对S求偏导数得到公式(3)：
求解公式(3)得到a0、a1和a2的值；将所述灰度分布平面从所述原始图像中减去，得到所述增强图像。
进一步的，通过模板图像对所述增强图像进行滤波得到预处理图像具体包括：定义所述模板图像，将所述模板图像的中心定义为坐标原点，
其中，T(x,y)是所述模板图像中坐标为x和y的像素点的灰度值，β为所述模板图像的灰度值的变化速率参数，e为自然常数；通过模板图像对所述增强图像进行滤波得到所述预处理图像。
进一步的，构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成具体包括：构建所述全卷积神经网络模型；当利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练只进行一次多尺度特征学习时，选取所述训练数据集中任意一幅多通道输入图像作为训练样本；对所述训练样本进行一次多尺度特征学习，所述多尺度特征学习包括：对所述训练样本进行卷积操作得到卷积特征图，对所述卷积特征图进行池化得到第一尺度特征图；对所述训练样本先进行池化再进行卷积操作得到第二尺度特征图，所述卷积操作为先卷积后归一化最后修正线性单元激活；根据所述第一尺度特征图和所述第二尺度特征图得到多尺度特征图；对所述多尺度特征图先进行卷积操作再进行反卷积操作得到反卷积特征图，所述反卷积操作为先进行反卷积再进行修正线性单元激活；根据所述卷积特征图和所述反卷积特征图得到综合特征图；对所述综合特征图先进行卷积操作再进行卷积得到所述多通道输入图像对应的多通道特征图；根据所述训练样本得到对应的训练肿块分割图像；将利用预设数量的训练样本同时对所述全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；根据所述分割精度调整优化所述全卷积神经网络模型中的参数；当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
进一步的，构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割训练模型，所述全卷积神经网络模型由收缩路径和扩张路径构成还包括：构建所述全卷积神经网络模型；当利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练进行多次多尺度特征学习时，选取所述训练数据集中任意一幅多通道输入图像作为训练样本；对所述训练样本进行一次多尺度特征学习，所述多尺度特征学习包括：对所述训练样本进行卷积操作得到第一次卷积特征图，对所述第一次卷积特征图进行池化得到第一次第一尺度特征图；对所述训练样本先进行池化再进行卷积操作得到第二次第二尺度特征图；根据所述第一次第一尺度特征图和所述第二次第二尺度特征图得到第一次多尺度特征图；按照上述多尺度特征学习的方法进行N次多尺度特征学习，N为整数，且N大于等于2，每次多尺度特征学习得到的多尺度特征图为下一次多尺度特征学习的输入图像；对第N次多尺度特征图先进行卷积操作再进行反卷积操作得到第一次反卷积特征图，所述反卷积操作为先进行反卷积再进行修正线性单元激活；根据第N次卷积特征图和所述第一次反卷积特征图得到第一次综合特征图；对所述第一次综合特征图先进行卷积操作再进行反卷积操作得到第二次反卷积特征图；根据第N-1次卷积特征图和所述第二次反卷积特征图得到第二次综合特征图；以此类推，直至根据所述第一次卷积特征图和第N次反卷积特征图得到第N次综合特征图；对所述第N次综合特征图先进行卷积操作再进行卷积，得到所述训练样本对应的多通道特征图；根据所述多通道特征图对应的训练肿块分割图像；将利用预设数量的训练样本同时对所述全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；根据所述分割精度调整优化所述全卷积神经网络模型中的参数；当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
进一步的，每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度具体包括：根据所述训练肿块分割图像得到分割区域；将所述分割区域和标准区域进行对比，采用区域重叠率、Dice相似系数、区域欠分割率以及区域过分割率评价所述分割区域的分割精度：
其中，AOM为区域重叠率，DSC为Dice相似系数，AUM为区域欠分割率，AVM为区域过分割率，Aseg为分割区域，Ags为标准区域。
进一步的，每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度还包括：根据所述分割区域得到分割轮廓；将所述分割轮廓和标准轮廓进行对比，采用Hausdorff距离评价所述分割轮廓的一致性：
P为分割轮廓，P＝{p1,p2,…,pm}，m为分割轮廓的像素，Q为标准轮廓，Q＝{q1,q2,…,qn}，n为标准轮廓的像素，
为pi到标准轮廓Q上最近点的距离。
本发明还提供一种乳腺X线图像中肿块分割的系统，包括：X线图像读取模块，读取乳腺X线图像；原始图像获取模块，从所述X线图像获取模块获取的所述乳腺X线图像中提取感兴趣区域，得到所述感兴趣区域的原始图像；图像增强模块，从所述原始图像获取模块获取的所述原始图像中减去灰度分布平面，得到增强图像；图像滤波模块，通过模板图像对所述图像增强模块得到的所述增强图像进行滤波得到预处理图像；多通道输入模块，根据所述原始图像获取模块得到的所述原始图像和对应的所述图像滤波模块得到的所述预处理图像构成多通道输入图像；训练集生成模块，根据所述多通道输入模块得到的所述多通道输入图像形成训练数据集；处理模块，构建全卷积神经网络模型，利用所述训练集生成模块生成的所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成；分析模块，通过所述处理模块得到的所述乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
通过本发明提供的一种乳腺X线图像中肿块分割的方法和系统，能够带来以下至少一种有益效果：
1、本发明中，通过使用一个通道加载肿块显著性的预处理图像，另一个通道输入相应的原始图像，前者将形状和外观先验信息引入网络，而后者包含像素细节信息，提高肿块分割的准确率。
2、本发明中，通过多尺度的特征学习，共同进行精细的边界刻画和全局的肿块定位，提高肿块分割的精度。
3、本发明中，通过对原始图像进行一种数据增强策略，扩大进行深度学习的图像样本的数量，提高肿块分割的精度。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种乳腺X线图像中肿块分割的方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种乳腺X线图像中肿块分割的方法的第一实施例的流程图；
图2、图3是本发明一种乳腺X线图像中肿块分割的方法的第二实施例的流程图；
图4是本发明某一个多通道输入图像进行数据增强策略之后得到的扩增图像；
图5是本发明一种乳腺X线图像中肿块分割的方法的第三实施例的流程图；
图6是本发明中对原始图像进行预处理得到相应的预处理图像的工作流程图；
图7是本发明一种乳腺X线图像中肿块分割的方法的第四实施例的流程图；
图8是本发明一种乳腺X线图像中肿块分割的方法的第五实施例的流程图；
图9是本发明中当全卷积神经网络中收缩路径中的多尺度特征学习三次时的工作流程；
图10是本发明当全卷积神经网络模型中收缩路径中的多尺度特征学习为三次时的特征图数量和特征图像素变化示意图；
图11是本发明一种乳腺X线图像中肿块分割的方法的第六实施例的流程图；
图12是本发明一种乳腺X线图像中肿块分割的系统的第七实施例的结构示意图。
具体实施方式
为了能够更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对照说明书附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并且获得其他的实施方式。
为了使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
本发明的第一实施例，如图1所示，一种乳腺X线图像中肿块分割的方法，包括：
读取乳腺X线图像；
从乳腺X线图像中提取感兴趣区域，得到感兴趣区域的原始图像；
从原始图像中减去灰度分布平面，得到增强图像；
通过模板图像对增强图像进行滤波得到预处理图像；
根据原始图像和对应的预处理图像构成多通道输入图像；
根据多通道输入图像形成训练数据集；
构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成；
通过乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后结合有经验的放射科医生圈画的肿块轮廓，从下采样后的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。
通过原始图像首先拟合出代表ROI灰度分布的平面，然后从原始图像中减去，形成增强图像。然后，设计一个具有肿块视觉和统计特性的模板图像来滤波增强图像得到预处理图像，使肿块更加突出。最后，将原始图像和预处理图像组合在一起，构成多通道输入图像，并根据多通道输入图像形成训练数据集。
通常，在FCN(全卷积神经网络)中，分割依赖于目标区域和背景区域(目标轮廓外的区域)之间的对比，输入图像中的每个像素被估计为目标或背景。在这个过程中，大多数FCN模型如U-Net只使用来自原始图像的相关信息作为输入来学习分割模型，而没有提供其他来源的补充信息。然而，周围不相关的结构(在输入图像中)的存在，可能与目标具有相似的灰度分布，可能会影响目标分割的结果。因此，结合多处来源的互补知识可以提高分割性能。肿块的形状和外观先验是肿块分割的重要线索。为了准确地将背景区域从目标区域中分离出来进行分割，这里我们通过网络中一个不同的输入通道来考虑形状和外观信息，使用一个通道加载肿块显著性的预处理图像，另一个通道输入相应的原始图像，前者将形状和外观先验信息引入网络，而后者包含像素细节信息。
构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成，然后通过得到的乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本发明通过使用一个通道加载肿块显著性的预处理图像，另一个通道输入相应的原始图像，形成多通道输入，提高分割性能，从而提高乳腺肿块分割的准确率和精度。
本发明第二实施例，是上述第一实施例的优化实施例，如图2、图3所示，本实施例与上述第一实施例相比，主要改进在于，根据原始图像和对应的预处理图像构成多通道输入图像之后，根据多通道输入图像形成训练数据集之前还包括：
通过数据增强策略根据多通道输入图像生成扩增图像，数据增强策略包括在水平方向翻转图像、在垂直方向翻转图像、将图像旋转90度、将图像旋转180度、将图像旋转270度以及对图像进行一种或多种随机弹性形变；
随机弹性形变具体包括：
生成和多通道输入图像具有相同像素大小的形变场；
利用高斯滤波器对形变场进行平滑处理；
通过进行平滑处理之后的形变场对多通道输入图像进行滤波处理得到经过弹性形变之后的扩增图像。
根据多通道输入图像形成训练数据集具体包括：
根据多通道输入图像和扩增图像形成训练数据集。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后从获取的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。对原始图像进行预处理得到相应的预处理图像，将原始图像和对应的预处理图像组合在一起，构成多通道输入图像。
由于能够直接获取的原始图像的数量有限，从而得到的多通道输入图像有限。但是多通道输入图像的数量越多，进行深度学习训练得到的结果的准确率越高。因此，对多通道输入图像进行一种数据增强策略得到扩增图像，从而扩大用于深度学习的样本。
数据增强策略包括在水平方向翻转图像、在垂直方向翻转图像、将图像旋转90度、将图像旋转180度、将图像旋转270度以及对图像进行一种或多种随机弹性形变。某一个多通道输入图像进行数据增强策略之后得到的扩增图像如图4所示。
其中，对于随机弹性形变，为了确保弹性形变之后的图样是有效的可以进行深度学习的图像，需要对弹性形变的形变场进行一定的处理。具体过程为：生成和多通道输入图像具有相同像素大小的形变场，利用高斯滤波器对形变场进行平滑处理，再通过进行平滑处理之后的形变场对多通道输入图像进行滤波处理得到经过弹性形变之后的扩增图像。
根据多通道输入图像和扩增图像形成训练数据集，构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成，然后通过得到的乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本发明通过对多通道输入图像进行数据增强策略扩大用于深度学习的样本，并且通过对形变场进行处理，保证得到的样本的有效性，提高深度学习的结果的准确率，从而提高乳腺肿块分割的准确率和精度。
本发明第三实施例，是上述第一实施例的优化实施例，如图5所示，本实施例与上述第一实施例相比，主要改进在于，从原始图像中减去灰度分布平面，得到增强图像具体包括：
根据原始图像拟合出灰度分布平面：
z＝f(x,y)＝a0x+a1y+a2 (1)，
其中，x、y为原始图像的坐标，z为原始图像中坐标为x和y的像素点的灰度值，公式(1)中的系数a0、a1和a2应满足公式(2)的条件：
其中，n表示原始图像的像素数，在公式(2)中分别关于a0、a1和a2对S求偏导数得到公式(3)：
求解公式(3)得到a0、a1和a2的值；
将灰度分布平面从原始图像中减去，得到增强图像；
通过模板图像对增强图像进行滤波得到预处理图像具体包括：
定义模板图像，将模板图像的中心定义为坐标原点，
其中，T(x,y)是模板图像中坐标为x和y的像素点的灰度值，β为模板图像的灰度值的变化速率参数，e为自然常数；
通过模板图像对增强图像进行滤波得到预处理图像。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后从获取的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。
对原始图像进行预处理得到相应的预处理图像，处理过程如图6所示。根据原始图像拟合出灰度分布平面：z＝f(x,y)＝a0x+a1y+a2(1)，其中，x、y为原始图像的坐标，z为原始图像中坐标为x和y的像素点的灰度值，为确定灰度分布平面，需要确定公式(1)中的系数a0、a1和a2。公式(1)中的系数a0、a1和a2应满足公式(2)的条件：
其中，n表示原始图像的像素数，为确定公式(2)中a0、a1和a2的值，分别关于a0、a1和a2对S求偏导数得到公式(3)：
通过公式(3)得到a0、a1和a2的值，从而确定原始图像的灰度分布平面。将灰度分布平面从原始图像中减去，得到增强图像。
为了进一步抑制肿块周围小而明亮的区域，定义一个显示肿块的视觉和统计特性的模板图像来滤波增强图像得到预处理图像。在乳腺X线图像中，肿块往往比相邻区域的像素更亮，而且有些圆，尽管肿块与相邻组织的边界会减弱。这种趋势促使我们按照以下方式定义模板图像：
其中，将模板图像的中心定义为坐标原点，T(x,y)是模板图像中坐标为x和y的像素点的灰度值，β为模板图像的灰度值的变化速率参数，e为自然常数。随着x和y的值的增加也就是距离模板图像的中心越来越远，模板图像的灰度值从中心到边缘逐渐减弱，灰度值的变化速率由参数β控制。模板图像是基于大数据统计分析得到的，在同一深度学习过程中使用同样的模板图像。通过模板图像对增强图像进行滤波得到预处理图像。
将原始图像和预处理图像组合在一起，构成多通道输入图像，并根据多通道输入图像形成训练数据集。构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成，然后通过得到的乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本发明为了减小背景对肿块的影响，首先拟合出代表ROI灰度分布的平面，然后从原始图像中减去，形成增强图像。然后，设计一个显示肿块的视觉和统计特性的模板来滤波增强图像，使肿块更加突出。最后将原始图像和预处理图像作为网络的多通道输入，预处理图像提供了肿块的显著外观，原始图像提供了图像的细节。
本发明第四实施例，是上述第一实施例的优化实施例，如图7所示，本实施例与上述第一实施例相比，主要改进在于，构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成具体包括：
构建全卷积神经网络模型；
当利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练只进行一次多尺度特征学习时，选取训练数据集中任意一幅多通道输入图像作为训练样本；
对训练样本进行一次多尺度特征学习，多尺度特征学习包括：对训练样本进行卷积操作得到卷积特征图，对卷积特征图进行池化得到第一尺度特征图；对训练样本先进行池化再进行卷积操作得到第二尺度特征图，卷积操作为先卷积后归一化最后修正线性单元激活；根据第一尺度特征图和第二尺度特征图得到多尺度特征图；
对多尺度特征图先进行卷积操作再进行反卷积操作得到反卷积特征图，反卷积操作为先进行反卷积再进行修正线性单元激活；
根据卷积特征图和反卷积特征图得到综合特征图；
对综合特征图先进行卷积操作再进行卷积得到训练样本对应的多通道特征图；
根据多通道特征图得到对应的训练肿块分割图像；
将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；
根据分割精度调整优化全卷积神经网络模型中的参数；
当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为乳腺肿块分割模型。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后从获取的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。对原始图像进行预处理得到相应的预处理图像，将原始图像和预处理图像组合在一起，构成多通道输入图像，并根据多通道输入图像形成训练数据集。
构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，全卷积神经网络模型由收缩路径和扩张路径构成，其中在全卷积神经网络模型的收缩路径中进行的多尺度特征学习的次数都取决于图像的质量以及用户对分割结果精度的需求，一般来说，多尺度特征学习的次数进行得越多，得到的结果越精确，另外扩展路径中将对多尺度特征图进行一次卷积操作再进行一次反卷积操作定义为一次扩展操作，其中扩展路径中扩展操作的次数和收缩路径中多尺度特征学习的次数相同。
本实施公开的是收缩路径中多尺度特征学习只进行一次的技术方案。选取训练数据集中任意一幅多通道输入图像作为训练样本，对训练样本进行卷积操作得到卷积特征图，再对卷积特征图进行池化得到第一尺度特征图，卷积操作为先卷积后归一化最后修正线性单元激活，对训练样本先进行池化再进行卷积操作得到第二尺度特征图，根据第一尺度特征图和第二尺度特征图得到多尺度特征图，上述根据训练样本得到多尺度特征图的过程为一次多尺度特征学习，即一方面先进行卷积操作再进行池化，另一方面先进行池化再进行卷积操作，通过两个尺度特征进行学习。
在FCN中，距离网络输入层较近的特征具有较小的感知域，可以发现有用的局部线索并定义精细的边界细节，而距离网络输入层较远的特征具有较大的感知域，可以有效捕获全局位置信息。因此，通过多尺度的特征学习，可以共同进行精细的边界刻画和全局的肿块定位。
对收缩路径中进行多尺度特征学习得到的多尺度特征图在扩展路径中先进行卷积操作再进行反卷积操作得到反卷积特征图，反卷积操作为先进行反卷积再进行修正线性单元激活。然后根据收缩路径中对训练样本进行卷积操作得到的卷积特征图和扩展路径中得到的反卷积特征图得到综合特征图。
对综合特征图先进行卷积操作再进行卷积得到训练样本对应的多通道特征图，得到的多通道特征图的像素大小与训练样本的维数相同，每个通道中对应的特征图表示对应位置的像素属于背景区域或目标区域的概率，从而得到训练样本对应的训练肿块分割图像。
本实施例中上述的训练过程为利用一幅多通道输入图像即训练样本对全卷积神经网络模型进行训练，但是实际上都是同时利用多幅多通道输入图像即多个训练样本对全卷积神经网络模型进行训练。将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练，然后每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度。根据分割精度调整优化全卷积神经网络模型中的参数。然后对调整过参数的全卷积神经网络模型进行一次训练，训练之后再进行评估调整参数，直至训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为乳腺肿块分割模型。通过乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本申请通过对输入的多通道输入图像进行多尺度特征学习，可以共同进行精细的边界刻画和全局的肿块定位，从而提高乳腺肿块分割的准确率和精度。
本发明第五实施例，是上述第一实施例的优化实施例，如图8所示，本实施例与上述第一实施例相比，主要改进在于，构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割训练模型，全卷积神经网络模型由收缩路径和扩张路径构成还包括：
构建全卷积神经网络模型；
当利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练进行多次多尺度特征学习时，选取训练数据集中任意一幅多通道输入图像作为训练样本；
对训练样本进行一次多尺度特征学习，多尺度特征学习包括：对训练样本进行卷积操作得到第一次卷积特征图，对第一次卷积特征图进行池化得到第一次第一尺度特征图；对训练样本先进行池化再进行卷积操作得到第二次第二尺度特征图；根据第一次第一尺度特征图和第二次第二尺度特征图得到第一次多尺度特征图；
按照上述多尺度特征学习的方法进行N次多尺度特征学习，N为整数，且N大于等于2，每次多尺度特征学习得到的多尺度特征图为下一次多尺度特征学习的输入图像；
对第N次多尺度特征图先进行卷积操作再进行反卷积操作得到第一次反卷积特征图，反卷积操作为先进行反卷积再进行修正线性单元激活；
根据第N次卷积特征图和第一次反卷积特征图得到第一次综合特征图；
对第一次综合特征图先进行卷积操作再进行反卷积操作得到第二次反卷积特征图；
根据第N-1次卷积特征图和第二次反卷积特征图得到第二次综合特征图；
以此类推，直至根据第一次卷积特征图和第N次反卷积特征图得到第N次综合特征图；
对第N次综合特征图先进行卷积操作再进行卷积，得到训练样本对应的多通道特征图；
根据多通道特征图对应的训练肿块分割图像；
将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；
根据分割精度调整优化全卷积神经网络模型中的参数；
当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为乳腺肿块分割模型。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后从获取的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。对原始图像进行预处理得到相应的预处理图像，将原始图像和预处理图像组合在一起，构成多通道输入图像，并根据多通道输入图像形成训练数据集。
本实施公开的是收缩路径中多尺度特征学习进行多次的技术方案。选取训练数据集中任意一幅多通道输入图像作为训练样本，对训练样本进行一次多尺度特征学习，多尺度特征学习包括：对训练样本先进行卷积操作得到第一次卷积特征图，对第一次卷积特征图再进行池化得到第一次第一尺度特征图；对训练样本先进行池化再进行卷积操作得到第二次第二尺度特征图；根据第一次第一尺度特征图和第二次第二尺度特征图得到第一次多尺度特征图。
按照上述多尺度特征学习的方法进行N次多尺度特征学习，N为整数，且N大于等于2，每次多尺度特征学习得到的多尺度特征图为下一次多尺度特征学习的输入图像。
对第N次多尺度特征图也就是最后一次多尺度特征学习得到的多尺度特征图先进行卷积操作再进行反卷积操作得到第一次反卷积特征图，根据第N次卷积特征图和第一次反卷积特征图得到第一次综合特征图，对第一次综合特征图先进行卷积操作再进行反卷积操作得到第二次反卷积特征图，根据第N-1次卷积特征图和第二次反卷积特征图得到第二次综合特征图，重复上述步骤直至根据第一次卷积特征图和第N次反卷积特征图得到第N次综合特征图。
对第N次综合特征图先进行卷积操作再进行卷积，得到训练样本对应的多通道特征图。将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练，然后每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度。根据分割精度调整优化全卷积神经网络模型中的参数，然后对调整过参数的全卷积神经网络模型进行一次训练，训练之后再进行评估调整参数，直至训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为乳腺肿块分割模型。通过乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
当全卷积神经网络模型中收缩路径中的多尺度特征学习为三次时的工作流程如图9所示，其中扩展路径中的先进行卷积操作再进行反卷积操作的扩展操作同样为三次。此举例仅为了便于理解，实际上多尺度特征学习的次数取决于图像的质量以及用户对分割结果精度的需求，一般来说，多尺度特征学习的次数进行得越多，得到的结果越精确。图9中，Conv为Convolution，卷积；Norm为Normalization，归一化；Pool为MaxPooling，最大池化；Decon为Deconvolution，反卷积；ReLU为RectifiedLinearUnit修正线性单元，并且虽然图中的卷积操作的次数有所限定，但是实际中可以进行灵活调整。
其中上述全卷积神经网络中的特征图都是系列图，并不仅仅是一副图像。图9所示的全卷积神经网络模型中收缩路径中的多尺度特征学习为三次时的特征图数量和特征图像素变化如图10所示，其中每个矩形表示一幅特征图，矩形正上方为特征图中包含的图像的数量，左下角为特征图的像素数目。
本申请中对输入的原始图像和预处理图像构成的多通道输入图像进行多尺度特征学习，并且在收缩路径中进行的收缩操作和在扩展路径中进行的反卷积操作的次数均有多次，从而保证得到精度更高的肿块分割图像。
本发明第六实施例，是上述第四和第五实施例的优化实施例，如图11所示，本实施例与上述第一实施例相比，主要改进在于，每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度具体包括：
根据训练肿块分割图像得到分割区域；
将所述分割区域和标准区域进行对比，采用区域重叠率、Dice相似系数、区域欠分割率以及区域过分割率评价所述分割区域的分割精度：
其中，AOM为区域重叠率，DSC为Dice相似系数，AUM为区域欠分割率，AVM为区域过分割率，Aseg为分割区域，Ags为标准区域；
根据分割区域得到分割轮廓；
将分割轮廓和标准轮廓进行对比，采用Hausdorff距离评价分割轮廓的一致性：
P为分割轮廓，P＝{p1,p2,…,pm}，m为分割轮廓的像素，Q为标准轮廓，Q＝{q1,q2,…,qn}，n为标准轮廓的像素，
为pi到标准轮廓Q上最近点的距离。
具体的，本实施例中，从乳腺X线图像公开数据集中获取乳腺X线图像，然后从获取的乳腺X线图像中提取感兴趣区域(ROI)，得到感兴趣区域对应的原始图像。对原始图像进行预处理得到相应的预处理图像，将原始图像和对应的预处理图像形成多通道输入。
将原始图像和预处理图像组合在一起，构成多通道输入图像，并根据多通道输入图像形成训练数据集。构建全卷积神经网络模型，利用训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到对应的训练肿块分割图像。将利用预设数量的多通道输入图像同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练，然后每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度。
为了便于与其他算法进行比较，采用区域重叠率(AreaOverlapMeasure,AOM)和Dice相似系数(DiceSimilarityCoefficient,DSC)来评价训练肿块分割图像的分割精度。这些度量方法使用重叠来量化分割结果与标准结果之间的一致性。根据深度学习得到的训练肿块分割图像获取分割区域，然后将分割区域和医生确定的标准区域进行对比，Aseg为分割区域，Ags为标准区域。AOM定义为分割区域与标准区域相交并集的比值：
DSC的定义为：
还使用了两个额外的度量:区域欠分割率(AUM)和区域过分割率(AVM)。这些指标分别用于评价目标区域和背景区域的分割精度。AUM和AVM定义为：
在这些定义下，AOM和DSC的值越高肿块分割精度越好，AUM和AVM的值越低肿块分割精度越好。
此外，利用Hausdorff距离(HD)来量化分割方法得到的分割轮廓与放射科医生手工绘制的标准轮廓之间的一致性。根据分割区域得到分割轮廓，假设分割轮廓和标准轮廓的边界的像素分别为m和n，分别表示为P＝{p1,p2,…,pm}和Q＝{q1,q2,…,qn}。HD定义为：
为pi到标准轮廓Q上最近点的距离。HD的值越小肿块分割精度越好。
当分割精度稳定时，局部微调全卷积神经网络模型中的参数，当分割精度不稳定时，全局调整全卷积神经网络模型中的参数。然后对调整过参数的全卷积神经网络模型进行一次训练，训练之后再进行评估调整参数，直至训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为乳腺肿块分割模型。通过乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本发明通过AOM、DSC、AUM、AVM以及HD等多种度量方法来量化分割结果与标准结果之间的一致性，从而量化分割方法的性能，便于分割效果的改善。
本发明的第七实施例，如图12所示，一种乳腺X线图像中肿块分割的系统，包括：
X线图像读取模块，读取乳腺X线图像；
原始图像获取模块，从X线图像获取模块获取的乳腺X线图像中提取感兴趣区域，得到感兴趣区域的原始图像；
图像增强模块，从原始图像获取模块获取的原始图像中减去灰度分布平面，得到增强图像；
图像增强模块具体包括：
拟合单元，根据原始图像获取模块获取的原始图像拟合出灰度分布平面：z＝f(x,y)＝a0x+a1y+a2(1)，
其中，x、y为原始图像的坐标，z为原始图像中坐标为x和y的像素点的灰度值，公式(1)中的系数a0、a1和a2应满足公式(2)的条件：
其中，n表示原始图像的像素数，在公式(2)中分别关于a0、a1和a2对S求偏导数得到公式(3)：
求解公式(3)得到a0、a1和a2的值；
图像增强单元，将拟合单元得到的灰度分布平面从原始图像中减去，得到增强图像。
图像滤波模块，通过模板图像对图像增强模块得到的增强图像进行滤波得到预处理图像；
图像滤波模块具体包括：
模板定义单元，定义模板图像，将模板图像的中心定义为坐标原点，
其中，T(x,y)是模板图像中坐标为x和y的像素点的灰度值，β为模板图像的灰度值的变化速率参数，e为自然常数；
图像滤波单元，通过模板定义单元定义的模板图像对增强图像进行滤波得到预处理图像。
多通道输入模块，根据原始图像获取模块得到的原始图像和图像滤波模块得到的预处理图像构成多通道输入图像；
数据增强模块，通过数据增强策略根据多通道输入模块得到的多通道输入图像生成扩增图像，数据增强策略包括在水平方向翻转图像、在垂直方向翻转图像、将图像旋转90度、将图像旋转180度、将图像旋转270度以及对图像进行一种或多种随机弹性形变；随机弹性形变具体包括：生成和多通道输入图像具有相同像素大小的形变场；利用高斯滤波器对形变场进行平滑处理；通过进行平滑处理之后的形变场对多通道输入图像进行滤波处理得到经过弹性形变之后的扩增图像。
训练集生成模块，根据多通道输入模块得到的多通道输入图像和数据增强模块得到的扩增图像形成训练数据集；
分析模块，构建全卷积神经网络模型，利用训练集生成模块得到的训练数据集对全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，全卷积神经网络模型由收缩路径和扩张路径构成；
分析模块具体包括：
模型构建单元，构建全卷积神经网络模型；
选取单元，当利用训练数据集对模型构建单元得到的全卷积神经网络模型进行多尺度特征学习训练只进行一次多尺度特征学习时，选取训练数据集中任意一幅多通道输入图像作为训练样本；
收缩单元，对训练样本进行一次多尺度特征学习，多尺度特征学习包括：对训练样本进行卷积操作得到卷积特征图，对卷积特征图进行池化得到第一尺度特征图；对训练样本先进行池化再进行卷积操作得到第二尺度特征图，卷积操作为先卷积后归一化最后修正线性单元激活；根据第一尺度特征图和第二尺度特征图得到多尺度特征图；
扩展单元，对收缩单元得到的多尺度特征图先进行卷积操作再进行反卷积操作得到反卷积特征图，反卷积操作为先进行反卷积再进行修正线性单元激活；
扩展单元，根据收缩单元得到的卷积特征图和扩展单元得到的反卷积特征图得到综合特征图；
分析单元，对扩展单元得到的综合特征图先进行卷积操作再进行卷积得到训练样本对应的多通道特征图；
分割单元，根据分析单元得到的多通道特征图得到对应的训练肿块分割图像；
分析单元，将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
评估单元，每次训练之后对分割单元得到的预设数量的训练肿块分割图像进行评估得到分割精度；
调整单元，根据评估单元得到的分割精度调整优化全卷积神经网络模型中的参数；当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
处理模块还包括：
模型构建单元，构建全卷积神经网络模型；
选取单元，当利用训练数据集对模型构建单元得到的全卷积神经网络模型进行多尺度特征学习训练进行多次多尺度特征学习时，选取训练数据集中任意一幅多通道输入图像作为训练样本；
收缩单元，对选取单元选取的训练样本进行一次多尺度特征学习，多尺度特征学习包括：对训练样本进行卷积操作得到第一次卷积特征图，对第一次卷积特征图进行池化得到第一次第一尺度特征图；对训练样本先进行池化再进行卷积操作得到第二次第二尺度特征图；根据第一次第一尺度特征图和第二次第二尺度特征图得到第一次多尺度特征图；
收缩单元，按照上述多尺度特征学习的方法进行N次多尺度特征学习，N为整数，且N大于等于2，每次多尺度特征学习得到的多尺度特征图为下一次多尺度特征学习的输入图像；
扩展单元，对收缩单元得到的第N次多尺度特征图先进行卷积操作再进行反卷积操作得到第一次反卷积特征图，反卷积操作为先进行反卷积再进行修正线性单元激活；
扩展单元，根据收缩单元得到的第N次卷积特征图和扩展单元得到的第一次反卷积特征图得到第一次综合特征图；
扩展单元，对扩展单元得到的第一次综合特征图先进行卷积操作再进行反卷积操作得到第二次反卷积特征图；
扩展单元，根据收缩单元得到的第N-1次卷积特征图和扩展单元得到的第二次反卷积特征图得到第二次综合特征图；
扩展单元，以此类推，直至根据收缩单元得到的第一次卷积特征图和扩展单元得到的第N次反卷积特征图得到第N次综合特征图；
分析单元，对扩展单元得到的第N次综合特征图先进行卷积操作再进行卷积，得到训练样本对应的多通道特征图；
分割单元，根据分析单元得到的多通道特征图得到对应的训练肿块分割图像；
分析单元，将利用预设数量的训练样本同时对全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
评估单元，每次训练之后对分割单元得到的预设数量的训练肿块分割图像进行评估得到分割精度；
调整单元，根据评估单元得到的分割精度调整优化全卷积神经网络模型中的参数；当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
评估单元具体包括：
分割区域获取子单元，根据分割单元得到的训练肿块分割图像得到分割区域；
评估子单元，将分割区域获取子单元得到的分割区域和标准区域进行对比，采用区域重叠率、Dice相似系数、区域欠分割率以及区域过分割率评价分割区域的分割精度：
其中，AOM为区域重叠率，DSC为Dice相似系数，AUM为区域欠分割率，AVM为区域过分割率，Aseg为分割区域，Ags为标准区域；
分割轮廓获取子单元，根据分割区域获取子单元得到的分割区域得到分割轮廓；
评估子单元，将分割轮廓获取子单元得到的分割轮廓和标准轮廓进行对比，采用Hausdorff距离评价分割轮廓的一致性：
P为分割轮廓，P＝{p1,p2,…,pm}，m为分割轮廓的像素，Q为标准轮廓，Q＝{q1,q2,…,qn}，n为标准轮廓的像素，
为pi到标准轮廓Q上最近点的距离。
处理模块，通过分析模块得到的乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
本实施例中的各个模块的具体操作方式在上述对应的方法实施例中已经进行了详细描述，因此不再一一进行赘述。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种乳腺X线图像中肿块分割的方法，其特征在于，包括：
读取乳腺X线图像；
从所述乳腺X线图像中提取感兴趣区域，得到所述感兴趣区域的原始图像；
从所述原始图像中减去灰度分布平面，得到增强图像；
通过模板图像对所述增强图像进行滤波得到预处理图像；
根据所述原始图像和对应的所述预处理图像构成多通道输入图像；
根据所述多通道输入图像形成训练数据集；
构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成；
通过所述乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
2.根据权利要求1所述的乳腺X线图像中肿块分割的方法，其特征在于，根据所述原始图像和对应的所述预处理图像构成多通道输入图像之后，根据所述多通道输入图像形成训练数据集之前还包括：
通过数据增强策略根据所述多通道输入图像生成扩增图像，所述数据增强策略包括在水平方向翻转图像、在垂直方向翻转图像、将图像旋转90度、将图像旋转180度、将图像旋转270度以及对图像进行一种或多种随机弹性形变；
根据所述多通道输入图像形成训练数据集具体包括：
根据所述多通道输入图像和所述扩增图像形成训练数据集。
3.根据权利要求2所述的乳腺X线图像中肿块分割的方法，其特征在于，随机弹性形变具体包括：
生成和所述多通道输入图像具有相同像素大小的形变场；
利用高斯滤波器对所述形变场进行平滑处理；
通过进行平滑处理之后的形变场对所述多通道输入图像进行滤波处理得到经过弹性形变之后的扩增图像。
4.根据权利要求1所述的乳腺X线图像中肿块分割的方法，其特征在于，从所述原始图像中减去灰度分布平面，得到增强图像具体包括：
根据所述原始图像拟合出所述灰度分布平面：
z＝f(x,y)＝a0x+a1y+a2 (1)，
其中，x、y为所述原始图像的坐标，z为所述原始图像中坐标为x和y的像素点的灰度值，所述公式(1)中的系数a0、a1和a2应满足公式(2)的条件：
其中，n表示所述原始图像的像素数，在所述公式(2)中分别关于a0、a1和a2对S求偏导数得到公式(3)：
求解公式(3)得到a0、a1和a2的值；
将所述灰度分布平面从所述原始图像中减去，得到所述增强图像。
5.根据权利要求1所述的乳腺X线图像中肿块分割的方法，其特征在于，通过模板图像对所述增强图像进行滤波得到预处理图像具体包括：
定义所述模板图像，将所述模板图像的中心定义为坐标原点，
其中，T(x,y)是所述模板图像中坐标为x和y的像素点的灰度值，β为所述模板图像的灰度值的变化速率参数，e为自然常数；
通过模板图像对所述增强图像进行滤波得到所述预处理图像。
6.根据权利要求1所述的乳腺X线图像中肿块分割的方法，其特征在于，构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成具体包括：
构建所述全卷积神经网络模型；
当利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练只进行一次多尺度特征学习时，选取所述训练数据集中任意一幅多通道输入图像作为训练样本；
对所述训练样本进行一次多尺度特征学习，所述多尺度特征学习包括：对所述训练样本进行卷积操作得到卷积特征图，对所述卷积特征图进行池化得到第一尺度特征图；对所述训练样本先进行池化再进行卷积操作得到第二尺度特征图，所述卷积操作为先卷积后归一化最后修正线性单元激活；根据所述第一尺度特征图和所述第二尺度特征图得到多尺度特征图；
对所述多尺度特征图先进行卷积操作再进行反卷积操作得到反卷积特征图，所述反卷积操作为先进行反卷积再进行修正线性单元激活；
根据所述卷积特征图和所述反卷积特征图得到综合特征图；
对所述综合特征图先进行卷积操作再进行卷积得到所述训练样本对应的多通道特征图；
根据所述多通道特征图得到对应的训练肿块分割图像；
将利用预设数量的训练样本同时对所述全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；
根据所述分割精度调整优化所述全卷积神经网络模型中的参数；
当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
7.根据权利要求1乳腺X线图像中肿块分割的方法，其特征在于，构建全卷积神经网络模型，利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割训练模型，所述全卷积神经网络模型由收缩路径和扩张路径构成还包括：
构建所述全卷积神经网络模型；
当利用所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练进行多次多尺度特征学习时，选取所述训练数据集中任意一幅多通道输入图像作为训练样本；
对所述训练样本进行一次多尺度特征学习，所述多尺度特征学习包括：对所述训练样本进行卷积操作得到第一次卷积特征图，对所述第一次卷积特征图进行池化得到第一次第一尺度特征图；对所述训练样本先进行池化再进行卷积操作得到第二次第二尺度特征图；根据所述第一次第一尺度特征图和所述第二次第二尺度特征图得到第一次多尺度特征图；
按照上述多尺度特征学习的方法进行N次多尺度特征学习，N为整数，且N大于等于2，每次多尺度特征学习得到的多尺度特征图为下一次多尺度特征学习的输入图像；
对第N次多尺度特征图先进行卷积操作再进行反卷积操作得到第一次反卷积特征图，所述反卷积操作为先进行反卷积再进行修正线性单元激活；
根据第N次卷积特征图和所述第一次反卷积特征图得到第一次综合特征图；
对所述第一次综合特征图先进行卷积操作再进行反卷积操作得到第二次反卷积特征图；
根据第N-1次卷积特征图和所述第二次反卷积特征图得到第二次综合征图；
以此类推，直至根据所述第一次卷积特征图和第N次反卷积特征图得到第N次综合特征图；
对所述第N次综合特征图先进行卷积操作再进行卷积，得到所述训练样本对应的多通道特征图；
根据所述多通道特征图对应的训练肿块分割图像；
将利用预设数量的训练样本同时对所述全卷积神经网络模型进行训练得到对应的预设数量的训练肿块分割图像记为一次训练；
每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度；
根据所述分割精度调整优化所述全卷积神经网络模型中的参数；
当训练次数达到预设次数时，结束训练，将最后一次优化参数之后的全卷积神经网络模型作为所述乳腺肿块分割模型。
8.根据权利要求6或7任一项乳腺X线图像中肿块分割的方法，其特征在于，每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度具体包括：
根据所述训练肿块分割图像得到分割区域；
将所述分割区域和标准区域进行对比，采用区域重叠率、Dice相似系数、区域欠分割率以及区域过分割率评价所述分割区域的分割精度：
其中，AOM为区域重叠率，DSC为Dice相似系数，AUM为区域欠分割率，AVM为区域过分割率，Aseg为分割区域，Ags为标准区域。
9.根据权利要求8乳腺X线图像中肿块分割的方法，其特征在于，每次训练之后对得到的预设数量的训练肿块分割图像进行评估得到分割精度还包括：
根据所述分割区域得到分割轮廓；
将所述分割轮廓和标准轮廓进行对比，采用Hausdorff距离评价所述分割轮廓的一致性：
P为分割轮廓，P＝{p1,p2,…,pm}，m为分割轮廓的像素数目，Q为标准轮廓，Q＝{q1,q2,…,qn}，n为标准轮廓的像素数目，
为pi到标准轮廓Q上最近点的距离。
10.一种乳腺X线图像中肿块分割的系统，其特征在于，包括：
X线图像读取模块，读取乳腺X线图像；
原始图像获取模块，从所述X线图像获取模块获取的所述乳腺X线图像中提取感兴趣区域，得到所述感兴趣区域的原始图像；
图像增强模块，从所述原始图像获取模块获取的所述原始图像中减去灰度分布平面，得到增强图像；
图像滤波模块，通过模板图像对所述图像增强模块得到的所述增强图像进行滤波得到预处理图像；
多通道输入模块，根据所述原始图像获取模块得到的所述原始图像和对应的所述图像滤波模块得到的所述预处理图像构成多通道输入图像；
训练集生成模块，根据所述多通道输入模块得到的所述多通道输入图像形成训练数据集；
处理模块，构建全卷积神经网络模型，利用所述训练集生成模块生成的所述训练数据集对所述全卷积神经网络模型进行多尺度特征学习训练，得到乳腺肿块分割模型，所述全卷积神经网络模型由收缩路径和扩张路径构成；
分析模块，通过所述处理模块得到的所述乳腺肿块分割模型对待分割图像进行处理，得到对应的肿块分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910052474.3A CN109840913B (zh) | 2019-01-21 | 2019-01-21 | 一种乳腺x线图像中肿块分割的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910052474.3A CN109840913B (zh) | 2019-01-21 | 2019-01-21 | 一种乳腺x线图像中肿块分割的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109840913A CN109840913A (zh) | 2019-06-04 |
| CN109840913B true CN109840913B (zh) | 2020-12-29 |
Family
ID=66883981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910052474.3A Active CN109840913B (zh) | 2019-01-21 | 2019-01-21 | 一种乳腺x线图像中肿块分割的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109840913B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689038B (zh) * | 2019-06-25 | 2024-02-02 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
| CN110619633B (zh) * | 2019-09-10 | 2023-06-23 | 武汉科技大学 | 一种基于多路滤波策略的肝脏图像分割方法 |
| CN111062956B (zh) * | 2019-11-08 | 2023-05-23 | 哈尔滨工业大学（深圳） | 钼靶x线乳腺影像肿块目标分割方法及装置 |
| CN112950638B (zh) * | 2019-12-10 | 2023-12-29 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
| CN111429474B (zh) * | 2020-02-27 | 2023-04-07 | 西北大学 | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 |
| CN112489029B (zh) * | 2020-12-10 | 2024-08-20 | 深圳先进技术研究院 | 一种基于卷积神经网络的医学图像分割方法及装置 |
| WO2022120739A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 一种基于卷积神经网络的医学图像分割方法及装置 |
| CN112529914B (zh) * | 2020-12-18 | 2021-08-13 | 北京中科深智科技有限公司 | 一种实时头发分割方法和系统 |
| CN115132357B (zh) * | 2022-08-30 | 2022-12-23 | 深圳大学总医院 | 基于医学影像图预测目标疾病指标状态的装置 |
| CN115700762B (zh) * | 2022-12-28 | 2023-04-07 | 苏州国科康成医疗科技有限公司 | 医学图像的目标元素分割方法、模型、电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408039A (zh) * | 2016-09-14 | 2017-02-15 | 华南理工大学 | 一种基于形变方法进行数据扩展的脱机手写汉字识别方法 |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和系统 |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN108961171A (zh) * | 2018-05-17 | 2018-12-07 | 苏州高新区人民医院 | 一种乳腺dti图像去噪方法 |
| CN109215040A (zh) * | 2018-11-22 | 2019-01-15 | 济南浪潮高新科技投资发展有限公司 | 一种基于多尺度加权学习的乳腺肿瘤分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10575774B2 (en) * | 2017-02-27 | 2020-03-03 | Case Western Reserve University | Predicting immunotherapy response in non-small cell lung cancer with serial radiomics |
-
2019
- 2019-01-21 CN CN201910052474.3A patent/CN109840913B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408039A (zh) * | 2016-09-14 | 2017-02-15 | 华南理工大学 | 一种基于形变方法进行数据扩展的脱机手写汉字识别方法 |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和系统 |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN108961171A (zh) * | 2018-05-17 | 2018-12-07 | 苏州高新区人民医院 | 一种乳腺dti图像去噪方法 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN109215040A (zh) * | 2018-11-22 | 2019-01-15 | 济南浪潮高新科技投资发展有限公司 | 一种基于多尺度加权学习的乳腺肿瘤分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109840913A (zh) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840913B (zh) | 一种乳腺x线图像中肿块分割的方法和系统 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN109447065B (zh) | 一种乳腺影像识别的方法及装置 | |
| CN108053417B (zh) | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 | |
| CN109363698B (zh) | 一种乳腺影像征象识别的方法及装置 | |
| JP6660313B2 (ja) | 画像解析を用いた核のエッジの検出 | |
| US8345976B2 (en) | Systems and methods for segmenting digital images | |
| CN108648182B (zh) | 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN109064470B (zh) | 一种基于自适应模糊聚类的图像分割方法及装置 | |
| CN109363697B (zh) | 一种乳腺影像病灶识别的方法及装置 | |
| US20170032535A1 (en) | Lung segmentation and bone suppression techniques for radiographic images | |
| CN106600621B (zh) | 基于婴幼儿脑瘤多模态mri图的时空协同分割方法 | |
| US20090279778A1 (en) | Method, a system and a computer program for determining a threshold in an image comprising image values | |
| US8577104B2 (en) | Liver lesion segmentation | |
| CN110880177A (zh) | 一种图像识别方法及装置 | |
| CN111784701B (zh) | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 | |
| CN114757950B (zh) | 超声图像处理方法、装置以及计算机可读存储介质 | |
| CN102737382A (zh) | 一种前列腺超声图像自动精确分割方法 | |
| CN116503426B (zh) | 基于图像处理的超声图像分割方法 | |
| CN111815624A (zh) | 基于图像处理算法的肿瘤间质比判定方法及系统 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
| Skounakis et al. | ATD: A multiplatform for semiautomatic 3-D detection of kidneys and their pathology in real time | |
| CN113763404A (zh) | 基于优化标记和边缘约束分水岭算法的泡沫图像分割方法 | |
| CN116485759A (zh) | 一种超声影像中目标边界识别方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |