CN111539959A - 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 - Google Patents

基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 Download PDF

Info

Publication number
CN111539959A
CN111539959A CN202010666468.XA CN202010666468A CN111539959A CN 111539959 A CN111539959 A CN 111539959A CN 202010666468 A CN202010666468 A CN 202010666468A CN 111539959 A CN111539959 A CN 111539959A
Authority
CN
China
Prior art keywords
layer
layers
network
convolution
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010666468.XA
Other languages
English (en)
Other versions
CN111539959B (zh
Inventor
姚劲草
徐栋
欧笛
李伟
杨琛
汪丽菁
王立平
周玲燕
朱乔丹
张含芝
张小�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU CHUANGYING HEALTH MANAGEMENT Co.,Ltd.
Original Assignee
Zhejiang Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cancer Hospital filed Critical Zhejiang Cancer Hospital
Priority to CN202010666468.XA priority Critical patent/CN111539959B/zh
Publication of CN111539959A publication Critical patent/CN111539959A/zh
Application granted granted Critical
Publication of CN111539959B publication Critical patent/CN111539959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，通过建立新颖的跨层空洞卷积网络结构、稀疏约束网络、分离稀疏空洞卷积层、带自适应权重调节和稀疏约束的损失函数，克服了现有方法对甲状腺结节超声图像结节区域语义分辨能力差，结节区域语义特征提取易受相似背景干扰问题，解决了深度学习网络在前向传播步骤中因感受野扩张能力有限而导致的甲状腺结节超声图像语义概率热图提取效果不佳等问题。

Description

基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
技术领域
本发明涉及超声医学图像信息处理领域，尤其涉及一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法。
背景技术
甲状腺结节是一种临床上常见的病变，其中大部分为良性结节，部分为恶性甲状腺癌。超声检查是甲状腺结节的首选诊断方式，如何利用计算机和图像处理方法，准确提取超声图像中结节区域的语义概率热图，是甲状腺结节定位、识别、分割、良恶性判别和结节自动分级等应用的基础。目前，基于深度卷积神经网络的方法是一种有效的语义概率热图提取方法，该方法首先定义深度学习网络结构和相应损失函数，并最小化所述损失函数来驱动网络各层参数迭代优化，待损失函数收敛后，通过网络前向传播获取语义概率热图，进而基于热图对结节进行分割、定位和良恶性判别等处理。传统深度卷积神经网络方法对于结节形状比较清晰完整的情况具有较好的语义概率热图提取效果。然而，当甲状腺结节与周围背景相似或者结节内部灰度值分布变化较大时，因传统深度卷积神经网在前向传播步骤中感受野扩张能力不强，导致网络识别能力受限，输出结果对于甲状腺结节超声图像语义提取效果不佳。
发明内容
本发明要解决的问题是提供一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，以解决现有深度学习网络甲状腺结节超声图像语义提取效果不佳的问题。
本发明通过如下技术方案解决其技术问题：
一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，包括以下步骤：
S1：采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画；
S2：建立图像预处理模块，对输入的超声原始图像进行预处理；
S3：构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码；
S4：构建跨层空洞卷积网络模块，针对所述基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图；
S5：构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作；
S6：建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束；
S7：建立堆叠层模块，将所述基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠；
S8：建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图；
S9：建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
S10：使用所述完整模型对新输入的甲状腺结节超声图像进行处理，获取结节语义概率热图。
进一步的，步骤S2中，对输入的超声原始图像进行预处理具体包括：
S21、对输入的超声原始图像进行中值滤波，降低超声图像斑点噪声的影响；
S22、对进行中值滤波后的图像执行直方图均衡操作，降低像素灰度直方图分布偏差对模型的影响。
进一步的，步骤S3中，构建的深度学习基础编码网络模块包括11层网络，网络内部层编号为第1至11层；各层网络串行排布，其中第1、3、4、6、7、9、10层为卷积层，2、5、8、11层为池化层；所有卷积层卷积核大小为3x3，步长为1；所有池化层均使用最大值池化，池化尺寸为2x2，步长为2；所有卷积层激活函数均使用ReLU函数。
进一步的，步骤S3中，构建的深度学习基础解码网络模块包括8层网络，网络内部层编号为第12至19层；各层网络串行排布，其中第12、14、16、18层为反卷积层，第13、15、17、19层为卷积层；所有反卷积层卷积核大小为3x3，步长为1，反卷积输入特征图长和宽均匀插值为原来的2倍，插值位置填入数值0；所有卷积层的卷积核大小为3x3，步长为1，所有卷积层和反卷积层激活函数均使用ReLU函数。
进一步的，步骤S4具体包括：针对所述基础编码网络模块中的第1、4、7、10层网络的输出构建4组跨层空洞卷积网络模块结构，各跨层空洞卷积网络模块之间为并行排布；其中第一组跨层空洞卷积网络模块网络内部层编号为第20、21、22层；第二组跨层空洞卷积网络模块网络内部层编号为第23、24、25层；第三组跨层空洞卷积网络模块网络内部层编号为第26、27、28层；第四组跨层空洞卷积网络模块网络内部层编号为第29、30、31层；每个跨层空洞卷积网络模块内部的3层网络串行排布，具体顺序为1个卷积核为3x3的卷积层，1个卷积核为3x3且膨胀率为2的空洞卷积层，以及1个卷积核为3x3且膨胀率为5的空洞卷积层；所有卷积层和空洞卷积层步长为1，激活函数使用ReLU函数。
进一步的，步骤S5具体包括：建立归一化堆叠层模块汇总来自4组跨层空洞卷积网络模块的输出，所述归一化堆叠层模块的网络层编号为第32层；其中，第一组跨层空洞卷积网络模块第22层输出特征保持原分辨率不变，并加入第32层归一化堆叠层；对第二组跨层空洞卷积网络模块第25层输出特征图的长、宽分别上采样为原图2倍，并加入第32层归一化堆叠层；对第三组跨层空洞卷积网络模块第28层输出特征图长、宽分别上采样为原图4倍，并加入第32层归一化堆叠层；对第四组跨层空洞卷积网络模块第31层输出特征图长、宽分别上采样为原图8倍，并加入第32层归一化堆叠层。
进一步的，步骤S6中，建立的特征图稀疏约束网络模块包含3层网络，网络层编号为第33、34、35层；其中，第33层和35层为卷积核为3x3，步长为1的卷积层，激活函数使用ReLU函数；第34层为一分离稀疏空洞卷积层，该层的卷积核为3x3且膨胀率为2的空洞卷积核，激活函数使用ReLU函数，卷积方式为：
假设输入卷积特征图
Figure 135549DEST_PATH_IMAGE001
含有
Figure 590801DEST_PATH_IMAGE002
层子图，对于每个子特征图
Figure 693886DEST_PATH_IMAGE003
进行分离稀疏约束空洞卷积，具体计算公式如下：
Figure 259997DEST_PATH_IMAGE004
其中，z表示带有分离稀疏约束的空洞卷积计算结果，c表示第c个通道的子特征图，p表示网络第p层，
Figure 561665DEST_PATH_IMAGE005
表示卷积核，
Figure 391081DEST_PATH_IMAGE006
分别表示二维横纵坐标，r表示空洞膨胀率，b表示偏移量，
Figure 778200DEST_PATH_IMAGE007
表示稀疏系数，
Figure 148001DEST_PATH_IMAGE008
表示第c个通道的稀疏系数，
Figure 304176DEST_PATH_IMAGE009
表示稀疏度约束参数。
进一步的，步骤S7中，建立的堆叠层模块中的堆叠层网络编号为第36层；其中堆叠的特征图第1至128层子图为基础解码网络模块输出的特征图，第129至256层子图为稀疏约束网络模块输出的特征图；步骤S8中，建立的语义概率热图输出网络模块包括3层网络，网络内部层编号为第37至39层；其中第37、38层为卷积层，且卷积层卷积核大小为3x3，步长为1，激活函数使用ReLU函数，第39层为soft-max层。
进一步的，步骤S9具体包括：
基于soft-max交叉熵构建一种带自适应权重调节和稀疏约束的联合约束损失函数，并结合训练集结节语义勾画结果训练网络；其中，
自适应权重调节函数
Figure 304493DEST_PATH_IMAGE010
计算公式为：
Figure 178908DEST_PATH_IMAGE011
其中,
Figure 352401DEST_PATH_IMAGE012
表示某一训练图像中勾画区域的面积，
Figure 566344DEST_PATH_IMAGE013
分别是用于调节函数加权强度和幂次强度的固定参数，
Figure 799880DEST_PATH_IMAGE014
为训练集所有图像中勾画区域面积均值，计算公式为：
Figure 896012DEST_PATH_IMAGE015
其中，
Figure 542369DEST_PATH_IMAGE016
为第
Figure 673136DEST_PATH_IMAGE017
个训练样本勾画区域的面积；
所述联合约束损失函数
Figure 77573DEST_PATH_IMAGE018
的计算公式为：
Figure 864263DEST_PATH_IMAGE019
其中，
Figure 113979DEST_PATH_IMAGE020
表示二维坐标，
Figure 364832DEST_PATH_IMAGE021
表示soft-max层特征图通道编号，
Figure 674590DEST_PATH_IMAGE022
为稀疏项加权系数，
Figure 948577DEST_PATH_IMAGE023
表示稀疏系数，
Figure 267563DEST_PATH_IMAGE024
为稀疏向量的维度；
Figure 107343DEST_PATH_IMAGE025
为soft-max层通道编号为
Figure 791265DEST_PATH_IMAGE026
的输出，其计算公式分别为：
Figure 83706DEST_PATH_IMAGE027
其中，
Figure 206383DEST_PATH_IMAGE028
表示二维坐标,
Figure 103932DEST_PATH_IMAGE029
为通道编号为
Figure 755493DEST_PATH_IMAGE030
的特征图在坐标为
Figure 66388DEST_PATH_IMAGE031
处的值，通道总数记为
Figure 461598DEST_PATH_IMAGE032
。
进一步的，各个模块的训练方法为交替使用小批梯度下降法和软阈值法求解深度学习网络的权重参数和稀疏系数。
与现有技术相比，本发明有如下优点：
本发明的方法，通过建立新颖的跨层空洞卷积网络结构、稀疏约束网络、分离稀疏空洞卷积层、带自适应权重调节和稀疏约束的损失函数，克服了现有方法对甲状腺结节超声图像结节区域语义分辨能力差，结节区域语义特征提取易受相似背景干扰问题，解决了深度学习网络在前向传播步骤中因感受野扩张能力有限而导致的甲状腺结节超声图像语义概率热图提取效果不佳等问题。
基于本发明的方法获得的语义概率热图可为甲状腺结节定位、识别、分割等应用提供高质量语义概率热图基础。
附图说明
图1为本发明的基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法实施例的流程示意图。
图2为根据本发明的方法建立的基于跨层稀疏空洞卷积网络模型的网络结构图，其中网络各层编号以L开头接层编号方式命名。
图3为本发明实施例中所用甲状腺结节原始图片。
图4为专家勾画出的图3中甲状腺结节区域。
图5为基于本发明方法得到的甲状腺结节超声图像结节语义概率热图。
图6为基于本发明方法得到的甲状腺结节超声图像背景语义概率热图。
图7为图5中示出的结节语义概率热图中概率值等于0.5的曲线与原始超声影像叠加图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述。
实施例1
参考附图1，本实施例示出的基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，包括以下步骤：
第一步，采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画。
具体的，采集至少15000张图像包含甲状腺结节的超声图像，对所有图像中的甲状腺结节形状进行勾画，其中随机选取至少10000张图像作为训练集，剩余图像随机选取至少2000张图像作为验证集，剩余图像随机选取至少3000张图像作为测试集。
第二步，建立图像预处理模块，对输入的超声原始图像进行预处理。
具体的，对输入的超声原始图像进行预处理包括：
1）对输入的超声原始图像进行中值滤波，降低超声图像斑点噪声的影响；
2）对进行中值滤波后的图像执行直方图均衡操作，降低像素灰度直方图分布偏差对模型的影响。
第三步，构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码。
其中，如图2所示，构建的深度学习基础编码网络模块包括11层网络，网络内部层编号为第1至11层；各层网络串行排布，其中第L1、L3、L4、L6、L7、L9、L10层为卷积层，L2、L5、L8、L11层为池化层；所有卷积层卷积核大小为3x3，步长为1；所有池化层均使用最大值池化，池化尺寸为2x2，步长为2；所有卷积层激活函数均使用ReLU函数。
构建的深度学习基础解码网络模块包括8层网络，网络内部层编号为第12至19层；各层网络串行排布，其中第L12、L14、L16、L18层为反卷积层，第L13、L15、L17、L19层为卷积层；所有反卷积层卷积核大小为3x3，步长为1，反卷积输入特征图长和宽均匀插值为原来的2倍，插值位置填入数值0；所有卷积层的卷积核大小为3x3，步长为1，所有卷积层和反卷积层激活函数均使用ReLU函数。
第四步，构建跨层空洞卷积网络模块，针对基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图。
具体的，如图2所示，针对基础编码网络模块中的第L1、L4、L7、L10层网络的输出构建4组跨层空洞卷积网络模块结构，各跨层空洞卷积网络模块之间为并行排布；其中第一组跨层空洞卷积网络模块网络内部层编号为第L20、L21、L22层；第二组跨层空洞卷积网络模块网络内部层编号为第L23、L24、L25层；第三组跨层空洞卷积网络模块网络内部层编号为第L26、L27、L28层；第四组跨层空洞卷积网络模块网络内部层编号为第L29、L30、L31层；每个跨层空洞卷积网络模块内部的3层网络串行排布，具体顺序为1个卷积核为3x3的卷积层，1个卷积核为3x3且膨胀率为2的空洞卷积层，以及1个卷积核为3x3且膨胀率为5的空洞卷积层；所有卷积层和空洞卷积层步长为1，激活函数使用ReLU函数。
第五步，构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作。
具体的，如图2所示，建立归一化堆叠层模块汇总来自4组跨层空洞卷积网络模块的输出，所述归一化堆叠层模块的网络层编号为第L32层；其中，第一组跨层空洞卷积网络模块第L22层输出特征保持原分辨率不变，并加入第L32层归一化堆叠层；对第二组跨层空洞卷积网络模块第L25层输出特征图的长、宽分别上采样为原图2倍，并加入第L32层归一化堆叠层；对第三组跨层空洞卷积网络模块第L28层输出特征图长、宽分别上采样为原图4倍，并加入第L32层归一化堆叠层；对第四组跨层空洞卷积网络模块第L31层输出特征图长、宽分别上采样为原图8倍，并加入第L32层归一化堆叠层。
第六步，建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束。
具体的，如图2所示，建立的特征图稀疏约束网络模块包含3层网络，网络层编号为第L33、L34、L35层；其中，第L33层和L35层为卷积核为3x3，步长为1的卷积层，激活函数使用ReLU函数；第L34层为一分离稀疏空洞卷积层，该层的卷积核为3x3且膨胀率为2的空洞卷积核，激活函数使用ReLU函数，卷积方式为：
假设输入卷积特征图
Figure 213653DEST_PATH_IMAGE001
含有
Figure 567274DEST_PATH_IMAGE002
层子图，对于每个子特征图
Figure 834307DEST_PATH_IMAGE003
进行分离稀疏约束空洞卷积，具体计算公式如下：
Figure 970891DEST_PATH_IMAGE004
其中，z表示带有分离稀疏约束的空洞卷积计算结果，c表示第c个通道的子特征图，p表示网络第p层，
Figure 905348DEST_PATH_IMAGE005
表示卷积核，
Figure 164292DEST_PATH_IMAGE006
分别表示二维横纵坐标，r表示空洞膨胀率，b表示偏移量，
Figure 856304DEST_PATH_IMAGE007
表示稀疏系数，
Figure 858895DEST_PATH_IMAGE008
表示第c个通道的稀疏系数，
Figure 647860DEST_PATH_IMAGE009
表示稀疏度约束参数。
第七步，建立堆叠层模块，将基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠。
具体的，如图2所示，建立的堆叠层模块中的堆叠层网络编号为第L36层；其中堆叠的特征图第1至128层子图为基础解码网络模块输出的特征图，第129至256层子图为稀疏约束网络模块输出的特征图。
建立的语义概率热图输出网络模块包括3层网络，网络内部层编号为第L37至L39层；其中第L37、L38层为卷积层，且卷积层卷积核大小为3x3，步长为1，激活函数使用ReLU函数，第L39层为soft-max层。
第八步，建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图。
上述的各个网络模块构成的跨层稀疏空洞卷积网络模型的各层内部设置如下：
Figure 812125DEST_PATH_IMAGE033
第九步，建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型。
具体的，基于soft-max交叉熵构建一种带自适应权重调节和稀疏约束的联合约束损失函数，并结合训练集结节语义勾画结果训练网络；其中，
自适应权重调节函数
Figure 257012DEST_PATH_IMAGE010
计算公式为：
Figure 63294DEST_PATH_IMAGE011
其中,
Figure 441186DEST_PATH_IMAGE012
表示某一训练图像中勾画区域的面积，
Figure 245194DEST_PATH_IMAGE013
分别是用于调节函数加权强度和幂次强度的固定参数，
Figure 974116DEST_PATH_IMAGE014
为训练集所有图像中勾画区域面积均值，计算公式为：
Figure 318509DEST_PATH_IMAGE015
其中，
Figure 19749DEST_PATH_IMAGE016
为第
Figure 525817DEST_PATH_IMAGE017
个训练样本勾画区域的面积；
所述联合约束损失函数
Figure 7614DEST_PATH_IMAGE018
的计算公式为：
Figure 93381DEST_PATH_IMAGE019
其中，
Figure 445865DEST_PATH_IMAGE020
表示二维坐标，
Figure 388414DEST_PATH_IMAGE021
表示soft-max层特征图通道编号，
Figure 826348DEST_PATH_IMAGE022
为稀疏项加权系数，
Figure 715807DEST_PATH_IMAGE023
表示稀疏系数，
Figure 188376DEST_PATH_IMAGE024
为稀疏向量的维度；
Figure 301826DEST_PATH_IMAGE025
为soft-max层通道编号为
Figure 430319DEST_PATH_IMAGE026
的输出，其计算公式分别为：
Figure 654627DEST_PATH_IMAGE027
其中，
Figure 247282DEST_PATH_IMAGE028
表示二维坐标,
Figure 734895DEST_PATH_IMAGE029
为通道编号为
Figure 881843DEST_PATH_IMAGE030
的特征图在坐标为
Figure 175421DEST_PATH_IMAGE031
处的值，通道总数记为
Figure 560266DEST_PATH_IMAGE032
。
本实施例中，模型训练方法为交替使用小批梯度下降法和软阈值法求解深度学习网络权重参数和稀疏系数，稀疏约束损失函数仅在模型训练时有效，在模型应用时不需计算。训练完成后固化网络模型参数和稀疏系数，对于实际应用中输入的超声原始图像，经第二步预处理后，利用已固化参数的网络模型前向传播直接计算获得甲状腺结节语义概率热图和相应背景概率热图输出。
下面通过具体实例对上述实施例中的方法进行检验。
如图3所示为包含甲状腺结节的原始图片，图4为专家勾画出的图3中甲状腺结节区域。
如图5所示为基于上述实施例中的方法得到的甲状腺结节超声图像结节语义概率热图，如图6所示为基于上述实施例中的方法得到的甲状腺结节超声图像背景语义概率热图，如图7所示为图5中示出的语义概率热图中概率值等于0.5的范围（如白色曲线所示）与原始超声影像叠加图。可以看出，基于上述实施例中的方法得到的语义概率热图与原始图片中的甲状腺结节重合度非常高，取得了令人满意的结节提取效果。
基于上述步骤获得的语义概率热图可为甲状腺结节定位、识别、分割等应用提供高质量语义概率热图基础。
以上实施例仅为本发明的一种实施方式，其描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。其具体结构和尺寸可根据实际需要进行相应的调整。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法，其特征在于包括以下步骤：
S1：采集含有甲状腺结节的超声原始图像，基于采集的超声原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的甲状腺结节进行勾画；
S2：建立图像预处理模块，对输入的超声原始图像进行预处理；
S3：构建深度学习基础编码网络模块和深度学习基础解码网络模块，对图像预处理模块预处理后的图像依次进行编码和解码；
S4：构建跨层空洞卷积网络模块，针对所述基础编码网络模块中深度学习网络的不同层次输出跨层空洞卷积特征图；
S5：构建归一化堆叠层模块，对跨层空洞卷积网络模块输出的跨层空洞卷积特征图进行特征图归一化堆叠操作；
S6：建立特征图稀疏约束网络模块，对归一化堆叠后的跨层空洞卷积特征图进行稀疏约束；
S7：建立堆叠层模块，将所述基础解码网络模块和稀疏约束网络模块输出的特征图进行堆叠；
S8：建立语义概率热图输出网络模块，基于堆叠层模块的输出结果计算输出语义概率热图；
S9：建立联合约束损失函数，结合图像训练集中的甲状腺结节勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
S10：使用所述完整模型对新输入的甲状腺结节超声图像进行处理，获取结节语义概率热图。
2.如权利要求1所述的方法，其特征在于，步骤S2中，对输入的超声原始图像进行预处理具体包括：
S21、对输入的超声原始图像进行中值滤波，降低超声图像斑点噪声的影响；
S22、对进行中值滤波后的图像执行直方图均衡操作，降低像素灰度直方图分布偏差对模型的影响。
3.如权利要求1所述的方法，其特征在于，步骤S3中，构建的深度学习基础编码网络模块包括11层网络，网络内部层编号为第1至11层；各层网络串行排布，其中第1、3、4、6、7、9、10层为卷积层，2、5、8、11层为池化层；所有卷积层卷积核大小为3x3，步长为1；所有池化层均使用最大值池化，池化尺寸为2x2，步长为2；所有卷积层激活函数均使用ReLU函数。
4.如权利要求3所述的方法，其特征在于，步骤S3中，构建的深度学习基础解码网络模块包括8层网络，网络内部层编号为第12至19层；各层网络串行排布，其中第12、14、16、18层为反卷积层，第13、15、17、19层为卷积层；所有反卷积层卷积核大小为3x3，步长为1，反卷积输入特征图长和宽均匀插值为原来的2倍，插值位置填入数值0；所有卷积层的卷积核大小为3x3，步长为1，所有卷积层和反卷积层激活函数均使用ReLU函数。
5.如权利要求4所述的方法，其特征在于，步骤S4具体包括：针对所述基础编码网络模块中的第1、4、7、10层网络的输出构建4组跨层空洞卷积网络模块结构，各跨层空洞卷积网络模块之间为并行排布；其中第一组跨层空洞卷积网络模块网络内部层编号为第20、21、22层；第二组跨层空洞卷积网络模块网络内部层编号为第23、24、25层；第三组跨层空洞卷积网络模块网络内部层编号为第26、27、28层；第四组跨层空洞卷积网络模块网络内部层编号为第29、30、31层；每个跨层空洞卷积网络模块内部的3层网络串行排布，具体顺序为1个卷积核为3x3的卷积层，1个卷积核为3x3且膨胀率为2的空洞卷积层，以及1个卷积核为3x3且膨胀率为5的空洞卷积层；所有卷积层和空洞卷积层步长为1，激活函数使用ReLU函数。
6.如权利要求5所述的方法，其特征在于，步骤S5具体包括：建立归一化堆叠层模块汇总来自4组跨层空洞卷积网络模块的输出，所述归一化堆叠层模块的网络层编号为第32层；其中，第一组跨层空洞卷积网络模块第22层输出特征保持原分辨率不变，并加入第32层归一化堆叠层；对第二组跨层空洞卷积网络模块第25层输出特征图的长、宽分别上采样为原图2倍，并加入第32层归一化堆叠层；对第三组跨层空洞卷积网络模块第28层输出特征图长、宽分别上采样为原图4倍，并加入第32层归一化堆叠层；对第四组跨层空洞卷积网络模块第31层输出特征图长、宽分别上采样为原图8倍，并加入第32层归一化堆叠层。
7.如权利要求6所述的方法，其特征在于，步骤S6中，建立的特征图稀疏约束网络模块包含3层网络，网络层编号为第33、34、35层；其中，第33层和35层为卷积核为3x3，步长为1的卷积层，激活函数使用ReLU函数；第34层为一分离稀疏空洞卷积层，该层的卷积核为3x3且膨胀率为2的空洞卷积核，激活函数使用ReLU函数，卷积方式为：
假设输入卷积特征图
Figure 691345DEST_PATH_IMAGE001
含有
Figure 794430DEST_PATH_IMAGE002
层子图，对于每个子特征图
Figure 626120DEST_PATH_IMAGE003
进行分离稀疏约束空洞卷积，具体计算公式如下：
Figure 662209DEST_PATH_IMAGE004
其中，z表示带有分离稀疏约束的空洞卷积计算结果，c表示第c个通道的子特征图，p表示网络第p层，
Figure 491625DEST_PATH_IMAGE005
表示卷积核，
Figure 878744DEST_PATH_IMAGE006
分别表示二维横纵坐标，r表示空洞膨胀率，b表示偏移量，
Figure 451808DEST_PATH_IMAGE007
表示稀疏系数，
Figure 607983DEST_PATH_IMAGE008
表示第c个通道的稀疏系数，
Figure 670617DEST_PATH_IMAGE009
表示稀疏度约束参数。
8.如权利要求7所述的方法，其特征在于，步骤S7中，建立的堆叠层模块中的堆叠层网络编号为第36层；其中堆叠的特征图第1至128层子图为基础解码网络模块输出的特征图，第129至256层子图为稀疏约束网络模块输出的特征图；步骤S8中，建立的语义概率热图输出网络模块包括3层网络，网络内部层编号为第37至39层；其中第37、38层为卷积层，且卷积层卷积核大小为3x3，步长为1，激活函数使用ReLU函数，第39层为soft-max层。
9.如权利要求8所述的方法，其特征在于，步骤S9具体包括：
基于soft-max交叉熵构建一种带自适应权重调节和稀疏约束的联合约束损失函数，并结合训练集结节语义勾画结果训练网络；其中，
自适应权重调节函数
Figure 482715DEST_PATH_IMAGE010
计算公式为：
Figure 390628DEST_PATH_IMAGE011
其中,
Figure 666888DEST_PATH_IMAGE012
表示某一训练图像中勾画区域的面积，
Figure 838107DEST_PATH_IMAGE013
分别是用于调节函数加权强度和幂次强度的固定参数，
Figure 934239DEST_PATH_IMAGE014
为训练集所有图像中勾画区域面积均值，计算公式为：
Figure 911422DEST_PATH_IMAGE015
其中，
Figure 245451DEST_PATH_IMAGE016
为第
Figure 384309DEST_PATH_IMAGE017
个训练样本勾画区域的面积；
所述联合约束损失函数
Figure 967737DEST_PATH_IMAGE018
的计算公式为：
Figure 483032DEST_PATH_IMAGE019
其中，
Figure 671568DEST_PATH_IMAGE020
表示二维坐标，
Figure 246905DEST_PATH_IMAGE021
表示soft-max层特征图通道编号，
Figure 52050DEST_PATH_IMAGE022
为稀疏项加权系数，
Figure 308719DEST_PATH_IMAGE023
表示稀疏系数，
Figure 414079DEST_PATH_IMAGE024
为稀疏向量的维度；
Figure 894739DEST_PATH_IMAGE025
为soft-max层通道编号为
Figure 656021DEST_PATH_IMAGE026
的输出，其计算公式分别为：
Figure 513119DEST_PATH_IMAGE027
其中，
Figure 472984DEST_PATH_IMAGE028
表示二维坐标,
Figure 327808DEST_PATH_IMAGE029
为通道编号为
Figure 107545DEST_PATH_IMAGE030
的特征图在坐标为
Figure 768334DEST_PATH_IMAGE031
处的值，通道总数记为
Figure 785968DEST_PATH_IMAGE032
。
10.如权利要求9所述的方法，其特征在于，各个模块的训练方法为交替使用小批梯度下降法和软阈值法求解深度学习网络的权重参数和稀疏系数。
CN202010666468.XA 2020-07-13 2020-07-13 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 Active CN111539959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010666468.XA CN111539959B (zh) 2020-07-13 2020-07-13 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010666468.XA CN111539959B (zh) 2020-07-13 2020-07-13 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法

Publications (2)

Publication Number Publication Date
CN111539959A true CN111539959A (zh) 2020-08-14
CN111539959B CN111539959B (zh) 2020-10-23

Family

ID=71978360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010666468.XA Active CN111539959B (zh) 2020-07-13 2020-07-13 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法

Country Status (1)

Country Link
CN (1) CN111539959B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112419322A (zh) * 2020-10-16 2021-02-26 北京工业大学 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113449777A (zh) * 2021-06-08 2021-09-28 上海深至信息科技有限公司 一种甲状腺结节自动分级方法和系统
CN113610859A (zh) * 2021-06-07 2021-11-05 东北大学 一种基于超声图像的甲状腺结节自动分割方法
CN113688930A (zh) * 2021-09-01 2021-11-23 什维新智医疗科技(上海)有限公司 一种基于深度学习的甲状腺结节钙化识别装置
CN113687227A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法
CN115239716A (zh) * 2022-09-22 2022-10-25 杭州影想未来科技有限公司 一种基于形状先验U-Net的医学图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636802A (zh) * 2019-01-18 2019-04-16 天津工业大学 基于深度卷积神经网络的肺实质经ct图像分割方法
US20200143204A1 (en) * 2018-11-01 2020-05-07 International Business Machines Corporation Image classification using a mask image and neural networks
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143204A1 (en) * 2018-11-01 2020-05-07 International Business Machines Corporation Image classification using a mask image and neural networks
CN109636802A (zh) * 2019-01-18 2019-04-16 天津工业大学 基于深度卷积神经网络的肺实质经ct图像分割方法
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王攀等: "《优化与控制中的软计算方法研究》", 31 January 2017, 湖北科学技术出版社 *
赵梓淇等: "基于深度学习的CT影像肺结节检测", 《吉林大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419322A (zh) * 2020-10-16 2021-02-26 北京工业大学 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112465834B (zh) * 2020-11-26 2024-05-24 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112837320B (zh) * 2021-01-29 2023-10-27 华中科技大学 一种基于并行空洞卷积的遥感影像语义分割方法
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法
CN113139930B (zh) * 2021-03-17 2022-07-15 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113610859A (zh) * 2021-06-07 2021-11-05 东北大学 一种基于超声图像的甲状腺结节自动分割方法
CN113610859B (zh) * 2021-06-07 2023-10-31 东北大学 一种基于超声图像的甲状腺结节自动分割方法
CN113449777A (zh) * 2021-06-08 2021-09-28 上海深至信息科技有限公司 一种甲状腺结节自动分级方法和系统
CN113687227A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法
CN113688930A (zh) * 2021-09-01 2021-11-23 什维新智医疗科技(上海)有限公司 一种基于深度学习的甲状腺结节钙化识别装置
CN113688930B (zh) * 2021-09-01 2024-03-19 什维新智医疗科技(上海)有限公司 一种基于深度学习的甲状腺结节钙化识别装置
CN115239716A (zh) * 2022-09-22 2022-10-25 杭州影想未来科技有限公司 一种基于形状先验U-Net的医学图像分割方法

Also Published As

Publication number Publication date
CN111539959B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111539959B (zh) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
Tian et al. Image denoising using deep CNN with batch renormalization
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN109598754B (zh) 一种基于深度卷积网络的双目深度估计方法
CN109376611A (zh) 一种基于3d卷积神经网络的视频显著性检测方法
CN113222124B (zh) 用于图像语义分割的SAUNet++网络与图像语义分割方法
CN111523449A (zh) 基于金字塔注意力网络的人群计数方法及系统
CN111914997A (zh) 训练神经网络的方法、图像处理方法及装置
CN115239716B (zh) 一种基于形状先验U-Net的医学图像分割方法
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
WO2021205424A2 (en) System and method of feature detection in satellite images using neural networks
CN114548265A (zh) 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质
CN109948575A (zh) 超声图像中眼球区域分割方法
CN112487915A (zh) 一种基于Embedded YOLO算法的行人检测方法
CN116958687A (zh) 一种基于改进detr的面向无人机的小目标检测方法及装置
CN114863283A (zh) 迁移学习与注意力机制结合的sar图像目标识别方法
CN113392728B (zh) 一种基于ssa锐化注意机制的目标检测方法
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN113538266A (zh) 一种基于wgan的模糊航拍图像处理方法
CN108109153B (zh) 基于sar-kaze特征提取的sar图像分割方法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220816

Address after: Room 316, Block 2, Tongren Essence Building, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: HANGZHOU CHUANGYING HEALTH MANAGEMENT Co.,Ltd.

Address before: 310000 No.1 banshangdong Road, Gongshu District, Hangzhou, Zhejiang Province

Patentee before: Zhejiang Cancer Hospital (Zhejiang Cancer Center)

TR01 Transfer of patent right