CN111583285B - 一种基于边缘关注策略的肝脏影像语义分割方法 - Google Patents

一种基于边缘关注策略的肝脏影像语义分割方法 Download PDF

Info

Publication number
CN111583285B
CN111583285B CN202010397127.7A CN202010397127A CN111583285B CN 111583285 B CN111583285 B CN 111583285B CN 202010397127 A CN202010397127 A CN 202010397127A CN 111583285 B CN111583285 B CN 111583285B
Authority
CN
China
Prior art keywords
edge
image
liver
size
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010397127.7A
Other languages
English (en)
Other versions
CN111583285A (zh
Inventor
张晓龙
佘玉龙
邓春华
程若勤
何新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202010397127.7A priority Critical patent/CN111583285B/zh
Publication of CN111583285A publication Critical patent/CN111583285A/zh
Application granted granted Critical
Publication of CN111583285B publication Critical patent/CN111583285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘关注策略的肝脏影像语义分割方法，其特征在于，包括步骤：S1、原始数据集的格式转换；S2、肝脏影像数据的预处理；S3、分析肝脏影像的边缘特征并设计Encoder‑Decoder深度学习框架模型，所述Encoder‑Decoder深度学习框架模型包括编码阶段和解码阶段；S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；S6、对语义分割后的图像进行降噪处理。本发明通过边缘关注策略模块与深度卷积网络训练及其融合，优化损失函数，提取肝脏影像的深度特征并分割，具有提高肝脏影像语义分割效果的特点。

Description

一种基于边缘关注策略的肝脏影像语义分割方法
技术领域
本发明涉及医学影像语义分割方法，特别是涉及一种基于边缘关注策略的肝脏影像语义分割方法。
背景技术
肝脏是身体内以代谢功能为主的一个器官，是人体内脏里最大的器官。当前，对于关于肝脏疾病的诊断中，肝脏部位的核磁共振检查是最常见的。而对于疾病的分析的主要判断首先是要对大量连续肝脏部位的准确识别，而这其中会出现一些难以避免的问题，比如受主观经验，认知能力，疲劳等因素的影响。计算机医学图像识别有助于提高识别的准确率和稳定性。
最近几年深度学习技术在处理多种计算机视觉任务上取得了巨大的进展，尤其是处理图像分类和目标检测问题的卷积神经网络(Convolution Neural Network,CNN)，越来越多的研究者用CNN以及其衍生出来的各种深度神经网络来处理各种图像问题，其中就包括了图像语义分割。
图像语义分割(Semantic Segmentation)是一种从预定义的一组类中对图像中的每个像素进行分类的方法，而预定义的一组类就是具有特定语义类别属性的一片区域。对于医学领域的语义分割，最经典是Unet和Vnet，此网络是在FCN(Fully ConvolutionalNetworks for Semantic Segmentation)的基础上根据医学映像的特点进行改进，两个网络的特点都是类似U型结构，且都是通过skip-connection将前后对应的stage进行特征的融合；区别是UNet是处理二维数据，VNet是处理三维数据的，后来有学者在此基础上做了改进。例如UNet++是在UNet的基础上，在中间skip-connection结构中添加了短链接，将不同层的特征进行了融合，取得到了更好的分割效果。另外，CE-Net提出了一个上下文编码器网络，获取更多的高层次信息并保留用于2D医学图像分割的空间信息。但这些研究没有在肝脏边缘细节方面做进一步研究，所以对这一方面有待进一步工作。
发明内容
本发明为了克服以上技术的不足，提供了一种基于边缘关注策略的肝脏影像语义分割方法。
术语解释：
1、Encoder-Decoder：表示编码器-解码器深度学习框架模型。
2、labelme：表示深度学习的标注工具。
3、ResNet34：表示深度学习的一种残差网络模型。
4、softmax：表示卷积神经网络分类层。
本发明克服其技术问题所采用的技术方案是：
一种基于边缘关注策略的肝脏影像语义分割方法，包括如下步骤：
S1、原始数据集的格式转换；
S2、肝脏影像数据的预处理；
S3、分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段；
S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；
S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；
S6、对语义分割后的图像进行降噪处理。
进一步地，步骤S1中，将原始的医学dicom数据通过python转换成可视jpeg图像。
进一步地，所述步骤S2具体包括如下：
S21、分析肝脏影像中肝脏部位的边缘特征，并采用labelme进行数据标注得到json文件；
S22、将得到的json文件通过python进行掩码图的生成；
S23、划分训练集和测试集。
进一步地，所述步骤S4具体包括如下：
S41、设置网络初始参数，所述网络初始参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率和γ参数；
S42、加载在ImageNet上预训练好的ResNet34残差网络，并初始化网络权重和偏差参数；
S43、将原图像输入到ResNet34残差网络，进行训练得到若干特征信息，并在每一层的输出加上边缘关注策略模块，所述边缘关注策略模块用于进一步获取肝脏边缘特征信息；
S44、从边缘关注策略模块中的得到的特征信息图继续传递给下一层，此时图像的大小缩小一倍，通道数增加一倍；
S45、按照步骤S44循环，直到图像大小变为16×16，最终得到含有肝脏影像边缘特征信息的边缘注意图。
进一步地，所述步骤S5具体包括如下：
S51、在解码阶段，将步骤S4得到的边缘注意图进行反卷积，反卷积的变换公式如下：
(o+2p-k)％s＝0 (1)
此时反卷积的输入输出尺寸关系为：
o＝s(i-1)-2p+k (2)
式(1)和(2)中，o代表输出的尺寸大小，p代表填充的大小，s代表卷积核移动的步长，i代表输入的尺寸大小，k代表卷积核的尺寸大小；
S52、利用在编码阶段中每层最后一次卷积得到的结果与步骤S51反卷积的结果，分别作为低层特征和高层特征来通过边缘关注策略模块进行训练；
S53、在边缘关注策略模块中，分别有低层特征输入和高层特征输入，所述低层特征输入和高层特征输入的处理操作路径相同，其中，低层特征输入或高层特征输入的处理操作路径包括两条不同的路线，路线一依次包括进行特征图转置变换和进行1×1的卷积操作，路线二依次包括进行全局平均池化操作生成边缘关注向量和进行1×1的卷积操作，然后将路线一和路线二进行同位元素对应相乘；
S54、通过矩阵相加将经过步骤S53处理后的低层特征和高层特征进行融合，然后通过softmax函数进行归一化处理，再依次与原始低层特征输入进行同位元素对应相乘、与原始高层特征输入进行矩阵相加，最后输出特征图像；
S55、在迭代训练中的反向传播过程，通过网络预测的输出与真实标签比较计算损失，不断迭代更新网络参数，使得输出结果接近真实值；
S56、在解码阶段共经过四次反卷积和边缘关注策略模块，将最后一次反卷积得到的特征解析并且输出最后的掩码图。
进一步地，步骤S53中，进行全局平均池化操作后，将全局信息压缩成一个边缘关注向量，所述边缘关注向量的产生如下所示：
F(x，y)＝δ1[Wαg(x)+bα]+δ1[Wβg(y)+bβ] (3)
式(3)和(4)中，x代表高层信息特征图，y代表低层信息特征图，g代表全局平均池化操作，δ1代表Relu函数；δ2代表Softmax函数；Wx代表1×1卷积操作的参数；bx代表偏执量；F(x，y)代表包含全局上文信息的特征图，是生成边缘关注向量的中间参数；Ec代表边缘关注向量。
进一步地，步骤S53中，1×1的卷积操作公式如下：
式(5)中，m代表操作矩阵；c代表常量a＝1，2，......c；W代表操作矩阵的宽；H代表操作矩阵的高；a＝1，2，......H，b＝1，2，......W。
进一步地，步骤S55中，计算损失采用交叉熵损失方法，交叉熵公式如下：
式(6)中，zi表示为实际标签；表示为预测标签；L表示交叉熵损失公式得到的结果。
进一步地，所述步骤S6中的降噪处理包括2D卷积平滑、平均模糊、高斯模糊、中值滤波或双边滤波中的一种。
进一步地，所述双边滤波用到双边滤波滤波器，其采用公式如下：
式(7)和(8)中，q，r代表处理图的像素大小；u，v代表邻域图的像素大小；σd代表空域；σe代表值域。
本发明的有益效果是：
本发明首先利用现有的ResNet34残差网络对原始图像和标注好的图像进行预训练，其次利用边缘关注策略模块对全局上下文信息进行不断提取，然后利用反卷积操作对特征图进行特征解析，再利用跳跃结构和边缘关注策略模块对边缘特征信息再次学习与训练，最后利用反卷积进行分割图像的生成。其中在编码和解码阶段，多次使用了边缘关注策略模块，达到重复获取特征信息的效果，边缘关注策略模块中，分别对低层特征和高层特征，进行了特征图转置变换和全局平均池化操作，从大量训练数据中学习到特征信息，并且进行特征图的拼接整合，进行不同层次特征信息融合。最后，利用图像处理中降噪方法对分割结果做最后的优化。
因此，本发明通过边缘关注策略模块与深度卷积网络训练及其融合，优化损失函数，提取肝脏影像的深度特征并分割，具有提高肝脏影像语义分割效果的特点。
附图说明
图1是本发明中四个肝脏边缘特征分析的边缘细节图。
图2是本发明中Encoder-Decoder深度学习框架模型的基本结构图。
图3是本发明中整体框架设计的深度学习网络结构图。
图4是本发明的边缘关注策略模块的结构设计图。
图5是本发明的降噪前后对比图。
图6是采用GT、U-Net、U-Net++、AHCNet和本发明的方法对图1中展示的四张图像的分割结果对比图。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
本实施例公开了一种基于边缘关注策略的肝脏影像语义分割方法(简称EANet方法)，以在3Dircadb(来自于https://www.ircad.fr/research/3dircadb/发布的医学肝脏公共数据集)，Sliver07(来自于https://sliver07.grand-challenge.org/Download/发布的医学肝脏公共数据集)和某医院肝脏影像数据集为例，其中3Dircadb和Sliver07数据集为肝脏CT影像，某医院肝脏数据集为肝脏MRI影像，全为20个序列，每个序列大约200张图像，像素为512×512。
本实施例所述的基于边缘关注策略的肝脏影像语义分割方法具体包括如下步骤：
步骤S1、原始数据集的格式转换。
具体是，将原始的医学dicom数据通过python转换成可视jpeg图像。
步骤S2、肝脏影像数据的预处理。
S21、分析肝脏影像中肝脏部位的边缘特征，并采用labelme进行数据标注得到json文件。
S22、将得到的json文件通过python进行掩码图的生成。
S23、对给定的图像数据集，随机选取4个序列作为训练集，剩下的16个序列作为测试集。
步骤S3、对图1中所示的肝脏影像进行分析，分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，如图2所示，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段，其中，采用在ImageNet上预训练好的ResNet34残差网络和边缘关注策略模块作为编码阶段，采用反卷积和边缘关注策略模块作为解码阶段，如图3所示。
S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图。具体包括如下：
S41、设置网络初始参数，所述网络初始参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率和γ参数，批处理大小设置为8，学习率设置为0.01，动量设置为0.8，最大迭代次数设置为10000，权重衰减率0.001，γ参数设置为0.1。
S42、加载在ImageNet上预训练好的ResNet34残差网络，并初始化网络权重和偏差参数。
S43、将原图像输入到ResNet34残差网络，进行训练得到丰富的特征信息，首先会进行一次1×1卷积操作，进行不同通道的交互和信息整合，并在每一层的输出加上边缘关注策略模块以获取更丰富的边缘特征，所述边缘关注策略模块用于进一步获取肝脏边缘特征信息。
S44、从边缘关注策略模块中的得到的特征信息图继续传递给下一层，此时图像的大小缩小一倍，图像大小从512×512变为256×256，通道数增加一倍。
S45、按照步骤S44循环，图像大小依次从256×265变为128×128、从128×128变为64×64，直到图像大小变为16×16，通道数量也相应的成倍增加，最终得到含有肝脏影像边缘特征信息的边缘注意图，准备进入解码阶段。
步骤S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成。具体包括如下：
S51、在解码阶段，将步骤S4得到的边缘注意图进行反卷积，反卷积的变换公式如下：
(o+2p-k)％s＝0 (1)
此时反卷积的输入输出尺寸关系为：
o＝s(i-1)-2p+k (2)
式(1)和(2)中，o代表输出的尺寸大小，p代表填充的大小，s代表卷积核移动的步长，i代表输入的尺寸大小，k代表卷积核的尺寸大小。
S52、利用在编码阶段中每层最后一次卷积得到的结果与步骤S51反卷积的结果，分别作为低层特征和高层特征来通过边缘关注策略模块进行训练。
S53、在边缘关注策略模块中，如图4所示，分别有低层特征输入和高层特征输入，未经过卷积或者卷积次数较少的是低层特征，经过多次卷积得到的是高层特征，所述低层特征输入和高层特征输入的处理操作路径相同。其中，低层特征输入或高层特征输入的处理操作路径包括两条不同的路线，路线一依次包括进行特征图转置变换和进行1×1的卷积操作，来实现不同通道的交互和信息整合，并且得到降维的效果；路线二依次包括进行全局平均池化操作提取全局上下文和语义信息，将全局信息压缩生成边缘关注向量，对语义依赖关系进行编码，有助于强调关键特征和过滤背景信息，再进行1×1的卷积操作进一步捕获语义依赖关系，然后将路线一和路线二进行同位元素对应相乘；
所述边缘关注向量的产生如下所示：
F(x，y)＝δ1[Wαg(x)+bα]+δ1[Wβg(y)+bβ] (3)
式(3)和(4)中，x代表高层信息特征图，y代表低层信息特征图，g代表全局平均池化操作，δ1代表Relu函数；δ2代表Softmax函数；Wx代表1×1卷积操作的参数；bx代表偏执量；F(x，y)代表包含全局上文信息的特征图，是生成边缘关注向量的中间参数；Ec代表边缘关注向量；
1×1的卷积操作公式如下：
式(5)中，m代表操作矩阵；c代表常量a＝1，2，......c；W代表操作矩阵的宽；H代表操作矩阵的高；a＝1，2，......H，b＝1，2，......W。
S54、通过矩阵相加将经过步骤S53处理后的低层特征和高层特征进行融合，然后通过softmax函数进行归一化处理，再依次与原始低层特征输入进行同位元素对应相乘、与原始高层特征输入进行矩阵相加，最后输出特征图像。
S55、在迭代训练中的反向传播过程，通过网络预测的输出与真实标签比较计算损失，不断迭代更新网络参数，使得输出结果接近真实值；
其中，计算损失采用交叉熵损失方法，交叉熵公式如下：
式(6)中，zi表示为实际标签；表示为预测标签；L表示交叉熵损失公式得到的结果。
S56、在解码阶段共经过四次反卷积和边缘关注策略模块，将最后一次反卷积得到的特征解析并且输出最后的掩码图。
步骤S6、再得到最后分割图之后，对语义分割后的图像进行降噪处理，如图5所示为降噪前后对比图，所述降噪处理包括2D卷积平滑、平均模糊、高斯模糊、中值滤波或双边滤波中的一种，取其中最佳的一种方法。具体地，每一种降噪方法如下：
2D卷积平滑：与一维信号一样，图像也可以使用各种低通滤波器(LPF)，高通滤波器(HPF)等进行滤波。LPF有助于消除噪声、模糊图像等；HPF滤波器有助于找到边缘图片；在低频区域(图像变化很小的区域)，通过卷积，会将该点的灰度值变成解决0的值，而在高频区域(变化大的区域和/或边缘)，通过卷积会保留下来，灰度值接近1。
平均模糊：是由一个归一化卷积框完成的，它只是用卷积框覆盖区域所以像素的平均值来代替中心元素。
高斯模糊：与平均模糊的不同就是把卷积核换成了高斯核，也就是框里面的值由相等变成了符合高斯分布的，中心值最大到两边递减。
中值滤波：是取相邻像素的点，对相邻像素的点进行排序，取中点的灰度值作为该像素点的灰度值；这个滤波器经常用来去除椒盐噪声，同时又能保留边缘细节。
双边滤波：是在保持边界清晰的情况下有效的去除噪音。双边滤波同时使用空间高斯权重和灰度值相似性高斯权重。空间高斯函数确保只有邻近区域的像素对中心点有影响，灰度值相似性能高斯函数确保只有与中心像素灰度值相近的才会被用来做模糊运算，所以这种方法会确保边界不会被模糊掉，因为边界处的灰度值变化比较大。双边滤波器中，输出像素的值g(i，j)依赖于领域像素的值得加权组合，其采用公式如下：
式(7)和(8)中，q，r代表处理图的像素大小；u，v代表邻域图的像素大小；σd代表空域；σe代表值域。
采用本发明所述的基于边缘关注策略的肝脏影像语义分割方法(EANet)与现有的GT、U-Net、U-Net++、AHCNet方法对图1中展示的四张图像的分割结果对比如图6所示，可以看出，本发明所述的EANet方法得到的分割图效果最好。另外，采用本发明所述的基于边缘关注策略的肝脏影像语义分割方法(EANet)在3Dircadb数据集分割结果对比如下表1所示。
表1采用U-Net、U-Net++、AHCNet和本发明方法(EANet)在3Dircadb数据集的分割结果对比
从表1可以看出，在同一数据集上，相比其他三种网络模型，本实施例所述的方法(EANet)有效降低了体积重叠误差(VOE)、体素相对误差(RVD)和对称位置的平均表面距离(ASD)，且提高了DICE分割精度。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (8)

1.一种基于边缘关注策略的肝脏影像语义分割方法，其特征在于，包括如下步骤：
S1、原始数据集的格式转换；
S2、肝脏影像数据的预处理；
S3、分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段；
S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；所述步骤S4具体包括如下：
S41、设置网络初始参数，所述网络初始参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率和γ参数；
S42、加载在ImageNet上预训练好的ResNet34残差网络，并初始化网络权重和偏差参数；
S43、将经过步骤S2预处理后的图像输入到ResNet34残差网络，进行训练得到若干特征信息，并在每一层的输出加上边缘关注策略模块，所述边缘关注策略模块用于进一步获取肝脏边缘特征信息；
S44、从边缘关注策略模块中得到的特征信息图继续传递给下一层，此时图像的大小缩小一倍，通道数增加一倍；
S45、按照步骤S44循环，直到图像大小变为16×16，最终得到含有肝脏影像边缘特征信息的边缘注意图；
S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；所述步骤S5具体包括如下：
S51、在解码阶段，将步骤S4得到的边缘注意图进行反卷积，反卷积的变换公式如下：
(o+2p-k)％s＝0 (1)此时反卷积的输入输出尺寸关系为：
o＝s(i-1)-2p+k (2)
式(1)和(2)中，o代表输出的尺寸大小，p代表填充的大小，s代表卷积核移动的步长，i代表输入的尺寸大小，k代表卷积核的尺寸大小；
S52、利用在编码阶段中每层最后一次卷积得到的结果与步骤S51反卷积的结果，分别作为低层特征和高层特征来通过边缘关注策略模块进行训练；
S53、在边缘关注策略模块中，分别有低层特征输入和高层特征输入，所述低层特征输入和高层特征输入的处理操作路径相同，其中，低层特征输入或高层特征输入的处理操作路径包括两条不同的路线，路线一依次包括进行特征图转置变换和进行1×1的卷积操作，路线二依次包括进行全局平均池化操作生成边缘关注向量和进行1×1的卷积操作，然后将路线一和路线二进行同位元素对应相乘进行融合得到边缘关注策略模块的输出；
S54、通过矩阵相加将经过步骤S53处理后的低层特征和高层特征进行融合，然后通过softmax函数进行归一化处理，再依次与原始低层特征输入进行同位元素对应相乘、与原始高层特征输入进行矩阵相加，最后输出特征图像；
S55、在迭代训练中的反向传播过程，通过网络预测的输出与真实标签比较计算损失，不断迭代更新网络参数，使得输出结果接近真实值；
S56、在解码阶段共经过四次反卷积和边缘关注策略模块，将最后一次反卷积得到的特征解析并且输出最后的掩码图；
S6、对语义分割后的图像进行降噪处理。
2.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，步骤S1中，将原始的医学dicom数据通过python转换成可视jpeg图像。
3.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述步骤S2具体包括如下：
S21、分析肝脏影像中肝脏部位的边缘特征，并采用labelme进行数据标注得到json文件；
S22、将得到的json文件通过python进行掩码图的生成；
S23、划分训练集和测试集。
4.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，步骤S53中，进行全局平均池化操作后，将全局信息压缩成一个边缘关注向量，所述边缘关注向量的产生如下所示：
F(x,y)＝δ1[Wαg(x)+bα]+δ1[Wβg(y)+bβ] (3)
式(3)和(4)中，x代表高层信息特征图，y代表低层信息特征图，g代表全局平均池化操作，δ1代表Relu函数；δ2代表Softmax函数；Wx代表1×1卷积操作的参数；bx代表偏执量；F(x,y)代表包含全局上文信息的特征图，是生成边缘关注向量的中间参数；Ec代表边缘关注向量。
5.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，步骤S53中，1×1的卷积操作公式如下：
式(5)中，m代表操作矩阵；W代表操作矩阵的宽，b＝1，2，……W；H代表操作矩阵的高，a＝1，2，……H。
6.根据权利要求5所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，步骤S55中，计算损失采用交叉熵损失方法，交叉熵公式如下：
式(6)中，zc表示为实际标签；表示为预测标签；L表示交叉熵损失公式得到的结果。
7.根据权利要求1-6任一项所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述步骤S6中的降噪处理包括2D卷积平滑、平均模糊、高斯模糊、中值滤波或双边滤波中的一种。
8.根据权利要求7所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述双边滤波用到双边滤波滤波器，其采用公式如下：
式(7)和(8)中，q,r代表处理图的像素大小；u,v代表邻域图的像素大小；σd代表空域；σe代表值域。
CN202010397127.7A 2020-05-12 2020-05-12 一种基于边缘关注策略的肝脏影像语义分割方法 Active CN111583285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397127.7A CN111583285B (zh) 2020-05-12 2020-05-12 一种基于边缘关注策略的肝脏影像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397127.7A CN111583285B (zh) 2020-05-12 2020-05-12 一种基于边缘关注策略的肝脏影像语义分割方法

Publications (2)

Publication Number Publication Date
CN111583285A CN111583285A (zh) 2020-08-25
CN111583285B true CN111583285B (zh) 2023-08-04

Family

ID=72126522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397127.7A Active CN111583285B (zh) 2020-05-12 2020-05-12 一种基于边缘关注策略的肝脏影像语义分割方法

Country Status (1)

Country Link
CN (1) CN111583285B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561860B (zh) * 2020-11-23 2022-05-03 重庆邮电大学 一种基于先验形状约束的BCA-UNet肝脏分割方法
CN112734769B (zh) * 2020-12-31 2022-11-04 山东大学 基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质
CN112927255B (zh) * 2021-02-22 2022-06-21 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113487568B (zh) * 2021-07-05 2023-09-19 陕西科技大学 一种基于差分曲率的肝脏表面平滑度的测量方法
CN113555089A (zh) * 2021-07-14 2021-10-26 江苏宏创信息科技有限公司 一种应用于临床影像的人工智能医学影像质控方法
CN114119538A (zh) * 2021-11-24 2022-03-01 广东工业大学 一种肝静脉及肝门静脉的深度学习分割系统
CN114565770B (zh) * 2022-03-23 2022-09-13 中南大学 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN114821524A (zh) * 2022-04-11 2022-07-29 苏州大学 一种基于BiSeNet的轨道交通道路识别优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049175A1 (ja) * 2009-10-22 2011-04-28 株式会社日立製作所 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6994868B2 (ja) * 2017-08-09 2022-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109949309B (zh) * 2019-03-18 2022-02-11 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049175A1 (ja) * 2009-10-22 2011-04-28 株式会社日立製作所 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质

Also Published As

Publication number Publication date
CN111583285A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
Bhalla et al. A fuzzy convolutional neural network for enhancing multi-focus image fusion
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN109345508B (zh) 一种基于两阶段神经网络的骨龄评价方法
Wang et al. A review of image super-resolution approaches based on deep learning and applications in remote sensing
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
Gu et al. Blind image quality assessment via learnable attention-based pooling
CN113205509B (zh) 一种基于位置卷积注意力网络的血管斑块ct影像分割方法
CN113314205A (zh) 一种高效的医学影像标注与学习系统
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116342516B (zh) 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN113781461A (zh) 一种病人智能监控排序方法
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN114445620A (zh) 一种改进Mask R-CNN的目标分割方法
CN111986210B (zh) 一种医学影像小病灶分割方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
Singh et al. HoEnTOA: Holoentropy and Taylor Assisted Optimization based Novel Image Quality Enhancement Algorithm for Multi-Focus Image Fusion
CN115546638A (zh) 基于暹罗级联差分神经网络的变化检测方法
CN114529564A (zh) 一种基于上下文信息的轻量级婴儿脑组织图像分割方法
CN112614092A (zh) 脊柱检测方法和装置
CN112489012A (zh) 一种用于ct图像识别的神经网络架构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant