CN113724267B - 一种乳腺超声图像肿瘤分割方法及装置 - Google Patents

一种乳腺超声图像肿瘤分割方法及装置 Download PDF

Info

Publication number
CN113724267B
CN113724267B CN202110870083.XA CN202110870083A CN113724267B CN 113724267 B CN113724267 B CN 113724267B CN 202110870083 A CN202110870083 A CN 202110870083A CN 113724267 B CN113724267 B CN 113724267B
Authority
CN
China
Prior art keywords
convolution
classification
layer
module
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110870083.XA
Other languages
English (en)
Other versions
CN113724267A (zh
Inventor
张建
张帅
陈皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingkang Technology Co ltd
Original Assignee
Beijing Jingkang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingkang Technology Co ltd filed Critical Beijing Jingkang Technology Co ltd
Priority to CN202110870083.XA priority Critical patent/CN113724267B/zh
Publication of CN113724267A publication Critical patent/CN113724267A/zh
Application granted granted Critical
Publication of CN113724267B publication Critical patent/CN113724267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种乳腺超声图像肿瘤分割方法及装置，所述方法包括获取由超声仪发送来的所述乳腺超声图像的数据集合；对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；以及基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果。通过上述方法或装置，本申请能够大幅度降低乳腺超声图像肿瘤分割结果的假阳性，提高了乳腺超声图像肿瘤分割准确率。

Description

一种乳腺超声图像肿瘤分割方法及装置
技术领域
本申请属于图像处理技术领域，特别涉及一种乳腺超声图像肿瘤分割方法及装置。
背景技术
乳腺肿块是乳腺癌最常见的症状，严重影响人们的生活，临床上有大量乳腺超声图像需要影像学专家来诊断，自动分类超声图像中是否有肿瘤以及自动分割出肿瘤区域对于医生进一步的诊断以及很多后续辅助诊断方法有重要意义。
肿瘤的边界、形状是判断乳腺超声肿瘤良恶性的重要标准之一，如果能自动区分图像中是否有肿瘤并画出肿瘤边界将使得进一步的诊断更加容易。现有技术中，对乳腺肿瘤的图像识别表现出很高的假阳性，检测准确度较低。
发明内容
为了解决上述技术问题至少之一，本申请提供了一种乳腺超声图像肿瘤分割方法及装置，可以自动区分乳腺超声图像中是否存在肿瘤并画出肿瘤边界。
本申请的第一个方面，一种乳腺超声图像肿瘤分割方法，包括：获取由超声仪发送来的所述乳腺超声图像的数据集合；对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；以及基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果。
优选的是，所述预处理包括：删掉所述超声仪自动生成的所述乳腺超声图像的周围信息及黑色边框，保留所述乳腺超声图像的超声部分；以及对所述乳腺超声图像进行数据规范化处理，使图像像素值的范围处于0～1之间。
优选的是，对所述乳腺超声图像进行分类及分割之前，进一步包括构建所述深度学习网络，以及对所述深度学习网络进行训练，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
优选的是，对所述深度学习网络进行训练之前，进一步包括：构建目标图像集，在获取的所述乳腺超声图像样本中，进行肿瘤标示，具有肿瘤的部分赋值为1，其余部分赋值为0，如果所述乳腺超声图像中不存在肿瘤，则目标图像全部赋值为0，目标图像大小与原图一致。
优选的是，所述构建目标图像集进一步包括：对获取的所述乳腺超声图像样本进行预处理，以及通过水平翻转，随机剪切进行数据增强。
优选的是，所述分类模块中的第一层分类卷积模块包括一个卷积核为7×7的卷积层和三个卷积核为3×3的密连接卷积层，第二层分类卷积模块到第四层分类卷积模块均先进行一次2×2的均值池化操作，然后经过多个3×3的密连接卷积层，其中，第二层分类卷积模块包括4个3×3的密连接卷积层，第三层分类卷积模块包括6个3×3的密连接卷积层，第四层分类卷积模块包括12个3×3的密连接卷积层，每个卷积层都附带有RELU激活函数以及批梯度优化函数，每个卷积层输出的特征尺度均为12。
优选的是，对所述深度学习网络进行训练时，训练使用的损失函数L包括：L＝Lcls+tiLseg；其中，Lcls为分类loss损失函数，Lseg为分割loss损失函数，ti表示只在有肿瘤时计算分割损失。
优选的是，所述分割loss损失函数为分类loss损失函数与Dice系数损失函数之和，采用Dice指标对结果精度进行评价，所述分类loss损失函数使用交叉熵损失函数。
本申请第二方面，一种乳腺超声图像肿瘤分割装置，包括：数据集合获取模块，用于获取由超声仪发送来的所述乳腺超声图像的数据集合；预处理模块，用于对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；以及分类分割模块，用于基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果。
优选的是，还包括：深度学习网络构建模块，用于构建所述深度学习网络；以及训练模块，用于对所述深度学习网络进行训练；其中，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
本申请的第三个方面，一种计算机系统，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序用于实现如上的乳腺超声图像肿瘤分割方法。
本申请的第四个方面，一种可读存储介质，可读存储介质存储有计算机程序，计算机程序被处理器执行时用于实现上述的乳腺超声图像肿瘤分割方法。
通过上述方法或装置，本申请能够大幅度降低乳腺超声图像肿瘤分割结果的假阳性，提高了乳腺超声图像肿瘤分割准确率。
附图说明
图1是本申请乳腺超声图像肿瘤分割方法的一实施方式的流程图。
图2是本申请图1所示实施方式的深度学习网络架构图。
图3是本申请图1所示实施方式的分类模块示意图。
图4适于用来实现本申请实施方式的终端或服务器的计算机设备的结构示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。
根据本申请第一方面，提供了一种乳腺超声图像肿瘤分割方法，如图1所示，主要包括：
步骤S100、获取由超声仪发送来的所述乳腺超声图像的数据集合。
步骤S200、对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息。
步骤S300、基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果。
本申请构建了一个深度网络框架，分类系统由四个密集连接的卷积模块(denselyconnected block)、三个下采样模块、一个全局均值池化层以及两层线性层组成，卷积模块用来提取特征，下采样模块用来缩小特征尺度，池化层和线性层用来得到最终的分类结果，本申请可以分辨乳腺超声图像中是否存在肿瘤，准确率达到98％以上。
在一些可选实施方式中，所述预处理包括：删掉所述超声仪自动生成的所述乳腺超声图像的周围信息及黑色边框，保留所述乳腺超声图像的超声部分；以及对所述乳腺超声图像进行数据规范化处理，使图像像素值的范围处于0～1之间。
通常，超声影像仪获取的超声图像边缘会有一圈黑色的区域，区域中有很多标记信息，包括超声仪的设置信息以及病人的个人信息，为了对数据做匿名化处理以及去除边缘的干扰信息，该实施例提出了一种用于去除超声影像仪获取的超声影像中的带有标记的黑色边界区域的算法，主要包括：
S1011，对原始图像进行复制，得到两张相同的原始图像，对这两张原始图像，分别使用不同大小的网格进行分割，获得分割后的若干个图像区域，例如对这两张原始图像分别采用3*3和5*5的格子进行分割。
S1012，计算每个格子内部的局部信息熵，并将信息熵填充到相应的格子内，得到两张与原图大小相同的包含局部熵的超声影像图。
S1013，将两张包含局部熵的超声影像图按像素叠加到一起，得到一张细化的信息熵的图。
S1014，使用大津法(OTSU)对包含信息熵的超声影像图做阈值分割，得到相应的前景与背景，称之为掩码图。
S1015，使用5*5的矩形结构元素对掩码做膨胀运算，以去除一些细小的裂缝，确保超声部分的连贯。
S1016，使用50*50的矩形结构元素对掩码做腐蚀运算，去除掩码中较小(小于50*50)的前景区域(这些区域可能是边界的标注)，并将前景区域相应缩小。
S1017，找出经步骤S1016处理后的前景中的最大联通区域，将其他所有区域都归为背景，得到新的掩码图。
S1018，使用50*50的矩形结构元素对掩码做膨胀运算，还原前景区域。
S1019，得到包含前景区域的最小矩形，此区域即为切割后的区域。
需要说明的是，本实施例中，5*5，50*50的矩形结构元素是经过测试后选取的最适合乳腺超声的超参数，步骤S1011中可以额外增加7*7的网格，或者更大像素的网格，能够提高处理效果，但有可能影响处理速度，综合考虑，叠加3*3和5*5的网格处理效率最好。
在一些可选实施方式中，对所述乳腺超声图像进行分类及分割之前，进一步包括构建所述深度学习网络，以及对所述深度学习网络进行训练，如图2至图3所示，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
本实施例中，缩小图像，或称为下采样(subsampled)或降采样(downsampled)，其主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。对应的，放大图像，或称为上采样(upsampling)或图像插值(interpolating)，其主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上。进行下采样或上采样的采样方式有很多种，如最近邻插值，双线性插值，均值插值，中值插值等方法。
在一些可选实施方式中，进行下采样包括：根据图片统计结果确定发生肿瘤的高危险区域、中危险区域及低危险区域；对高危险区域、中危险区域及低危险区域采用不同的缩比因子进行下采样；其中，高危险区域的肿瘤统计数量最多，缩比因子最小，同理，低危险区域的肿瘤统计数量最小，缩比因子最大。
需要说明的是，本申请在进行深度学习的模型训练过程与模型使用过程中，均连接同一台超声仪，处理由同一台超声仪传送来的图片，因此，针对肿瘤图像的分类及分割，特别是针对肿瘤图像的分类，本申请通过有差别的下采样方式来获取更精准的识别结果，由于所有的图片均采集于同一超声仪，图片中是如果具有肿瘤，则肿瘤的位置相对来说是固定的，本申请首先在深度学习网络训练前，确定肿瘤的位置分布情况，由此将所采集的图片进行大致分区，例如分成三个区域，高危险区域、中危险区域及低危险区域，其中，高危险区域具有肿瘤的概率大于中危险区域具有肿瘤的概率，中危险区域具有肿瘤的概率大于低危险区域具有肿瘤的概率。
确定肿瘤分区后，对不同分区的下采样参数不同，例如高危险区域缩比最小，低危险区域缩比最大，缩比因子需要根据分区的具体大小来定，例如高危险区域大小为x，中危险区域大小为y，低危险区域大小为z，要求整个图片下采样的缩比因子为n，即进行n倍的下采样，则(x+y+z)/n＝x/a+y/b+z/c，其中，a、b、c分别为高危险区域的缩比因子、中危险区域的缩比因子、低危险区域的缩比因子，且a<b<c，n介于a、c之间。例如对于大小为1024*1024的图片，下采样生成大小为256*256的图片，其中根据统计结果，图片中最靠近中心位置的大小为256*256的区域为高危险区域，中间部分为中危险区域，最外层为低危险区域。为描述及计算方便，以图片中心为原点，则高危险区域简记为0～128，128～256的区域为中危险区域，256～512的区域为低危险区域，进行计算时，x可以取值128，y取值128，z取值256，缩比因子n为4，带入上式可以计算出无数组abc，取其中合适的一组作为后续的下采样参数，这里的合适是指进行下采样时对于矩阵形式的图像，便于取点，例如a最好能够为128的约数。
可以理解的是，通过上述有差异化的下采样，能够保留对危险区域的识别敏感度，防止因对图像的下采样导致无法识别该有的肿瘤。
在一些可选实施方式中，对所述深度学习网络进行训练之前，进一步包括：构建目标图像集，在获取的所述乳腺超声图像样本中，进行肿瘤标示，具有肿瘤的部分赋值为1，其余部分赋值为0，如果所述乳腺超声图像中不存在肿瘤，则目标图像全部赋值为0，目标图像大小与原图一致。
在一些可选实施方式中，所述构建目标图像集进一步包括：对获取的所述乳腺超声图像样本进行预处理以及数据增强，具体步骤与步骤S200相似，先将超声图像的超声部分切割出来，删掉超声仪自动生成的周围信息及黑色边框；然后将得到的超声图像缩放至256×256大小，并通过水平翻转，随机剪切进行数据增强，最后对图像进行数据规范化处理，使图像像素值的范围为[0，1]。
在一些可选实施方式中，所述分类模块中的第一层分类卷积模块包括一个卷积核为7×7的卷积层和三个卷积核为3×3的密连接卷积层，第二层分类卷积模块到第四层分类卷积模块均先进行一次2×2的均值池化操作，然后经过多个3×3的密连接卷积层，其中，第二层分类卷积模块包括4个3×3的密连接卷积层，第三层分类卷积模块包括6个3×3的密连接卷积层，第四层分类卷积模块包括12个3×3的密连接卷积层，每个卷积层都附带有RELU激活函数以及批梯度优化函数，每个卷积层输出的特征尺度均为12。
在一些可选实施方式中，对所述深度学习网络进行训练时，训练使用的损失函数L包括：L＝Lcls+tiLseg；其中，Lcls为分类loss损失函数，Lseg为分割loss损失函数，ti表示只在有肿瘤时计算分割损失。
在一些可选实施方式中，所述分割loss损失函数为分类loss损失函数与Dice系数损失函数之和，采用Dice指标对结果精度进行评价，所述分类loss损失函数使用交叉熵损失函数。
本申请利用预处理后的图像集训练深度网络模型，训练使用的损失函数由分类loss损失函数和分割loss损失函数组成，分类loss损失函数使用交叉熵损失函数，Lcls＝-∑tilog(pi)，其中，p为预测，t为目标，i表示类别(0表示无肿瘤，1表示有肿瘤)；分割loss损失函数为交叉熵损失函数和Dice系数损失函数之和，Dice loss公式如下：
LDice＝1-2*∑i，jyi，jpi，j/(∑i，jyi，j+∑i，jpi，j)，
其中，p为预测，y为分割目标(肿瘤部分为1，非肿瘤部分为0)，i，j表示像素。模型总loss可以表示为：
L＝Lcls+tiLseg
其中tiLseg表示只在有肿瘤时计算分割损失。
对结果精度评价使用Dice Metric指标，Dice Metric指标如下：DICE(A，B)＝2|A∩B|/(|A|+|B|)，其中A为分割图，B为ground-truth真实分割，|A|和|B|分别为A和B分割图的体素数量，|A∩B|为两图重合部分的体素数量，本方法在测试集上的平均Dice达到了0.89。
本申请第二方面提供了一种与上述方法对应的乳腺超声图像肿瘤分割装置，主要包括：数据集合获取模块，用于获取由超声仪发送来的所述乳腺超声图像的数据集合；预处理模块，用于对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；以及分类分割模块，用于基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果。
在一些可选实施方式中，还包括：深度学习网络构建模块，用于构建所述深度学习网络；以及训练模块，用于对所述深度学习网络进行训练；其中，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
通过上述方法或装置，本申请先对图像进行是否含有肿瘤的判定，然后再对其进行分割，能够大幅度降低乳腺超声图像肿瘤分割结果的假阳性，提高了乳腺超声图像肿瘤分割准确率。
根据本申请第三方面，一种计算机系统，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序用于实现如上的乳腺超声图像肿瘤分割方法。
根据本申请第四方面，一种可读存储介质，可读存储介质存储有计算机程序，计算机程序被处理器执行时用于实现上述的乳腺超声图像肿瘤分割方法。
下面参考图4其示出了适于用来实现本申请实施方式的计算机设备800的结构示意图。图4出的计算机设备仅仅是一个示例，不应对本申请实施方式的功能和使用范围带来任何限制。
如图4示，计算机设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分708加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有设备800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或单元也可以设置在处理器中，这些模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定。
本申请第四方面提供的计算机可读存储介质可以是上述实施方式中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时按上述方法对数据进行处理。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种乳腺超声图像肿瘤分割方法，其特征在于，包括：
获取由超声仪发送来的所述乳腺超声图像的数据集合；
对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；以及
基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果；
其中，对所述乳腺超声图像进行分类及分割之前，进一步包括构建所述深度学习网络，以及对所述深度学习网络进行训练，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
2.如权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，所述预处理包括：
删掉所述超声仪自动生成的所述乳腺超声图像的周围信息及黑色边框，保留所述乳腺超声图像的超声部分；以及
对所述乳腺超声图像进行数据规范化处理，使图像像素值的范围处于0～1之间。
3.如权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，对所述深度学习网络进行训练之前，进一步包括：
构建目标图像集，在获取的所述乳腺超声图像样本中，进行肿瘤标示，具有肿瘤的部分赋值为1，其余部分赋值为0，如果所述乳腺超声图像中不存在肿瘤，则目标图像全部赋值为0，目标图像大小与原图一致。
4.如权利要求3所述的乳腺超声图像肿瘤分割方法，其特征在于，所述构建目标图像集进一步包括：
对获取的所述乳腺超声图像样本进行预处理，以及通过水平翻转，随机剪切进行数据增强。
5.如权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，所述分类模块中的第一层分类卷积模块包括一个卷积核为7×7的卷积层和三个卷积核为3×3的密连接卷积层，第二层分类卷积模块到第四层分类卷积模块均先进行一次2×2的均值池化操作，然后经过多个3×3的密连接卷积层，其中，第二层分类卷积模块包括4个3×3的密连接卷积层，第三层分类卷积模块包括6个3×3的密连接卷积层，第四层分类卷积模块包括12个3×3的密连接卷积层，每个卷积层都附带有RELU激活函数以及批梯度优化函数，每个卷积层输出的特征尺度均为12。
6.如权利要求1所述的乳腺超声图像肿瘤分割方法，其特征在于，对所述深度学习网络进行训练时，训练使用的损失函数L包括：
L＝Lcls+tiLseg；
其中，Lcls为分类loss损失函数，Lseg为分割loss损失函数，ti表示只在有肿瘤时计算分割损失。
7.如权利要求6所述的乳腺超声图像肿瘤分割方法，其特征在于，所述分割loss损失函数为分类loss损失函数与Dice系数损失函数之和，采用Dice指标对结果精度进行评价，所述分类loss损失函数使用交叉熵损失函数。
8.一种乳腺超声图像肿瘤分割装置，其特征在于，包括：
数据集合获取模块，用于获取由超声仪发送来的所述乳腺超声图像的数据集合；
预处理模块，用于对所述乳腺超声图像的数据集合进行预处理，提取所述乳腺超声图像的特征信息；
分类分割模块，用于基于提取的所述特征信息，利用经预先训练的用于对所述乳腺超声图像进行分类及分割的深度学习网络对所述乳腺超声图像进行分类及分割，得到分类及分割结果；
深度学习网络构建模块，用于构建所述深度学习网络；以及
训练模块，用于对所述深度学习网络进行训练；
其中，所述深度学习网络包括：
分类模块，包括第一层至第四层共计四个密集连接的分类卷积模块，四个分类卷积模块以下采样的方式提取压缩图像特征，每个所述分类卷积模块输出的特征为各分类卷积模块的卷积层输出的堆叠，第四层分类卷积模块之后连接均质化操作层，用于将堆叠的输出特征转为一维数据，之后经过两层线性层得到所述乳腺超声图像的分类结果，所述分类结果包括存在肿瘤或不存在肿瘤；
分割模块，包括第一层至第三层共计三个密集连接的分割卷积模块，三个分割卷积模块以上采样的方式扩张图像特征，其中，第一层分割卷积模块用于对所述分类模块中的第三分类卷积模块与第四分类卷积模块的堆叠特征进行卷积计算，第二层分割卷积模块用于对所述第一层分割卷积模块与所述分类模块中的第二分类卷积模块的堆叠特征进行卷积计算，第三层分割卷积模块用于对所述第二层分割卷积模块与所述分类模块中的第一分类卷积模块的堆叠特征进行卷积计算，之后经过一个特征尺度为1的卷积层，并通过sigmoid激活函数得到最终的分割结果。
CN202110870083.XA 2021-07-30 2021-07-30 一种乳腺超声图像肿瘤分割方法及装置 Active CN113724267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110870083.XA CN113724267B (zh) 2021-07-30 2021-07-30 一种乳腺超声图像肿瘤分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110870083.XA CN113724267B (zh) 2021-07-30 2021-07-30 一种乳腺超声图像肿瘤分割方法及装置

Publications (2)

Publication Number Publication Date
CN113724267A CN113724267A (zh) 2021-11-30
CN113724267B true CN113724267B (zh) 2024-05-24

Family

ID=78674380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110870083.XA Active CN113724267B (zh) 2021-07-30 2021-07-30 一种乳腺超声图像肿瘤分割方法及装置

Country Status (1)

Country Link
CN (1) CN113724267B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416381B (zh) * 2023-03-31 2023-09-29 脉得智能科技(无锡)有限公司 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质
CN117392125B (zh) * 2023-12-08 2024-03-12 中山大学附属第五医院 基于深度卷积神经网络的乳腺超声图像分析方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
CN111275116A (zh) * 2020-01-20 2020-06-12 太原理工大学 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
CN111275116A (zh) * 2020-01-20 2020-06-12 太原理工大学 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Haeyun Lee,Jinhyoung Park,Jae Youn Hwang. Channel Attention Module With Multiscale Grid Average Pooling for Breast Cancer Segmentation in an Ultrasound Image.IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control ( Volume: 67, Issue: 7, July 2020).2020,全文. *
基于多任务学习的肿瘤医学影像语义分割与分类研究;邹致超;中国优秀硕士学位论文全文数据库;正文第6页第3行-第42页第5行 *

Also Published As

Publication number Publication date
CN113724267A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN111696094B (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN111462042B (zh) 癌症预后分析方法及系统
Liu et al. Cx22: A new publicly available dataset for deep learning-based segmentation of cervical cytology images
CN107274402A (zh) 一种基于胸部ct影像的肺结节自动检测方法及系统
CN113808146B (zh) 一种医学图像多器官分割方法及系统
US20170076448A1 (en) Identification of inflammation in tissue images
CN113724267B (zh) 一种乳腺超声图像肿瘤分割方法及装置
US11176412B2 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN112990214A (zh) 一种医学图像特征识别预测模型
CN112949772A (zh) 基于影像组学的胃癌多维特征提取与分析系统
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN117495882B (zh) 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法
US20200019748A1 (en) Image processing method and recording medium
CN116682109B (zh) 一种病理显微图像的分析方法、装置、设备及存储介质
CN113793306A (zh) 一种基于分片处理的乳腺病理图像识别检测方法与系统
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN113269747A (zh) 一种基于深度学习的病理图片肝癌扩散检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant