CN115239716A - 一种基于形状先验U-Net的医学图像分割方法 - Google Patents
一种基于形状先验U-Net的医学图像分割方法 Download PDFInfo
- Publication number
- CN115239716A CN115239716A CN202211154445.6A CN202211154445A CN115239716A CN 115239716 A CN115239716 A CN 115239716A CN 202211154445 A CN202211154445 A CN 202211154445A CN 115239716 A CN115239716 A CN 115239716A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- network
- output
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003709 image segmentation Methods 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 claims description 2
- 229910052750 molybdenum Inorganic materials 0.000 claims description 2
- 239000011733 molybdenum Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 208000009453 Thyroid Nodule Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及医学图像信息处理领域，公开了一种基于形状先验U‑Net的医学图像分割方法，所述方法包括：基于采集的医学图像构建训练集、验证集和测试集，对结节区域进行像素级别的语义勾画；数据预处理；构建U‑Net基础网络、跃层注意力机制和带形状先验的Softmax计算模块，最后通过识别网络输出结果。本发明通过建立新颖的跃层注意力机制结构、带形状先验的Softmax计算模块、活动轮廓感知损失函数，克服了现有方法对结节区域分割结果不连续，结节的边界语义分辨能力差的问题，解决了因结节区域与背景较为相似、边界不清晰的结节医学图像语义概率热图提取效果不佳等问题。
Description
技术领域
本发明涉及医学图像信息处理领域，尤其涉及一种基于形状先验U-Net的医学图像分割方法。
背景技术
恶性肿瘤对人类的健康与生活造成了极大的威胁。通常，病人在术前会进行病变器官的医学成像，医生可以通过医学图像提前判断病变的位置，从而更加精准地对病变部分进行切除，降低手术风险。但对于医生来说，从医学图像中将结节区域与正常组织区分开来并不容易，通常需要耗费较长时间，并且随着工作量的增多，容易出现疲劳导致出错等情况。医学图像分割算法已发展多年，期间不断有新的方法和理论被提出，例如基于区域的方法、基于图论的方法及基于边缘的方法等。但经典图像分割方法仍然存在泛化性能差，针对结节边界分割精度低等问题。由于人工智能的发展和计算机性能的提升，深度学习方法在各个领域得到了巨大的发展。然而，通用深度学习模型通常在ImageNet等非医学图像数据集中预训练，在应对于医学图像中的病灶进行分割时，由于没有针对医学图像特点进行设计，通用深度学习网络的分割结果往往不尽如人意，分割结果通常与临床中对病灶的预期相差甚远。
发明内容
本发明要解决的问题是提供一种基于形状先验U-Net的医学图像分割方法，以解决现有深度学习网络结节区域医学图像语义提取效果不佳的问题。
本发明通过如下技术方案解决其技术问题：
一种基于形状先验U-Net的医学图像分割方法，包括以下步骤：
S1：采集含有结节的超声、CT、钼靶医学图像作为原始图像，基于采集的原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的结节区域进行勾画；
S2：建立图像预处理模块，图像预处理模块对输入的原始图像进行预处理；
S3：构建深度学习U-Net基础网络模块，深度学习U-Net基础网络模块对图像预处理模块预处理后的图像依次进行特征提取；
S4：构建跃层注意力机制模块，跃层注意力机制模块将U-Net基础网络模块提取的浅层特征图上采样并进行1×1卷积生成注意力图，并与深层特征相乘；
S5：构建带形状先验的Softmax计算模块，Softmax计算模块针对U-Net基础网络模块的输出进行计算，输出修正概率特征图；
S6：建立识别网络模块，识别网络模块基于形状先验Softmax计算模块的输出结果计算输出该识别网络模块的语义概率热图与损失函数值；
S7：建立活动轮廓识别网络分支模块，活动轮廓识别网络分支模块基于跃层注意力机制模块的输出结果计算输出该活动轮廓识别网络分支模块的语义概率热图；
S8：建立活动轮廓感知损失函数，活动轮廓感知损失函数结合图像训练集中的结节区域勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
S9：使用所述完整模型对新输入的结节图像进行处理，获取结节区域最终语义概率热图。
进一步的，步骤S2中，对输入的原始图像进行预处理具体包括：对输入的原始图像进行自适应中值滤波，降低超声图像斑点噪声的影响；并对原始图像进行裁剪，去除病案号、仪器信息等多余信息。
进一步的，步骤S3中，构建的深度学习U-Net基础网络模块包括24层网络，网络内部层编号为第1至16层，其中第1、2、4、5、7、8、10、11、13、14层为卷积核大小3×3，步长1的卷积层；第 3、6、9、12层为池化层，使用最大值池化，池化尺寸为2×2，步长为1；第15、18、21、24为卷积核大小2×2，步长1的反卷积层；第16、17、19、20、22、23层为卷积核大小3×3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数。
进一步的，步骤S4具体包括：跃层注意力机制模块，对U-Net基础网络模块第2、5、8、10层输出的特征图进行双线性上采样并进行1×1卷积，具体地：第24、25、26、27层为1倍、2倍、4倍、8倍双线性上采样后接卷积核大小1×1，步长1的卷积层；将第24、25、26、27层输出的特征图在通道维进行堆叠，与第23层输出的特征图进行逐点相乘得到新特征图。
进一步的，步骤S5具体包括：针对所述跃层注意力机制模块中的输出特征图构建带形状先验的Softmax计算模块，具体地：假设跃层注意力机制模块中的输出特征图为，原始Softmax函数可作为泛函的解：
其中，
为Softmax激活函数的输入，
为激活函数的输出，
代表所需要分类的
总类别数。加入形状先验正则项后原始Softmax函数的求解过程改写为：
其中
为卷积符号，
为给定的权重函数，例如图像边缘检测函数，正则项
，初始化令
，通过
对
进行迭代直到给定迭代步数或收敛，返回分割热图
即为针对所述输出特征图进行
计算输出修正概率特征图。
进一步的，步骤S6中，建立的识别网络模块包括语义概率热图输出网络与交叉熵损失函数，语义概率热图输出网络具体包括1层Softmax网络，网络内部编号为第28层，针对输出的语义概率热图构建交叉熵损失函数并计算损失函数值。
进一步的，步骤S7具体包括：针对跃层注意力机制模块的输出结果建立活动轮廓识别网络分支模块，共包括2层网络，内部编号为第29、30层，具体地：第29层为卷积核大小3×3，步长1的卷积层，第30层为原始Softmax层。
进一步的，步骤S8具体包括：
基于Softmax交叉熵构建一种活动轮廓感知损失函数，并结合训练集结节语义勾画结果训练网络；所述活动轮廓感知损失函数的计算公式为：
其中
其中，
为
存在的域， 
表示图像分割的类别总数，
表示医生手动勾画的二
值标注图像，
表示深度神经网络输出的概率图，
表示二维坐标，|·|表示L2范
数，
表示任一极小数。
进一步的，步骤S9具体包括：各个模块的训练方法为交替使用小批梯度下降法求解深度学习网络的权重参数。
与现有技术相比，本发明有如下优点：
本发明的方法，通过建立新颖的跃层注意力机制结构、带形状先验的Softmax计算模块、活动轮廓感知损失函数，克服了现有方法对结节区域分割结果不连续，结节的边界语义分辨能力差的问题，解决了因结节区域与背景较为相似、边界不清晰的结节医学图像语义概率热图提取效果不佳等问题。
基于本发明的方法获得的语义概率热图可为结节区域定位、分割等应用提供高质量语义概率热图基础。
附图说明
图1为本发明的基于形状先验U-Net的医学图像分割方法实施例的流程示意图；
图2为根据本发明建立的基于形状先验U-Net的医学图像分割方法的网络结构示意图；
图3为图2中基于形状先验U-Net骨干网络模型的各层内部设置示意图，其中网络各层编号以L开头接层编号方式命名；
图4为本发明实施例中所用结节原始图；
图5为专家勾画出的图4中结节区域示意图；
图6为基于本发明方法得到的结节超声图像结节分割结果对比示意图；
图7为部分结节语义概率热图与原始超声影像叠加图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述。
实施例1
参考图1，本实施例示出的一种基于形状先验U-Net的医学图像分割方法，包括以下步骤：
第一步，采集含有结节区域的医学原始图像，基于采集的医学原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的结节区域进行勾画。
具体地，采集至少5000张图像包含结节区域的医学图像，对所有图像中的结节区域形状进行勾画，其中随机选取至少3500张图像作为训练集，剩余图像随机选取至少500张图像作为验证集，剩余图像随机选取至少1000张图像作为测试集。
第二步，建立图像预处理模块，对输入的医学原始图像进行预处理。
具体地，对输入的医学原始图像进行预处理包括：对输入的原始图像进行自适应中值滤波，降低超声图像斑点噪声的影响；并对原始图像进行裁剪，去除病案号、仪器信息等多余信息。
第三步，构建深度学习U-Net基础网络模块，对图像预处理模块预处理后的图像依次进行特征提取。
其中，如图2所示，构建的深度学习U-Net基础网络模块包括24层网络，网络内部层编号为第1至16层，其中第1、2、4、5、7、8、10、11、13、14层为卷积核大小3×3，步长1的卷积层；第 3、6、9、12层为池化层，使用最大值池化，池化尺寸为2×2，步长为1；第15、18、21、24为卷积核大小2×2，步长1的反卷积层；第16、17、19、20、22、23层为卷积核大小3×3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数。
第四步，构建跃层注意力机制模块，将U-Net基础网络模块提取的浅层特征图上采样并进行1×1卷积生成注意力图，并与深层特征相乘。
具体地，建立跃层注意力机制模块，对U-Net基础网络模块第2、5、8、10层输出的特征图进行双线性上采样并进行1×1卷积，具体地：第24、25、26、27层为1倍、2倍、4倍、8倍双线性上采样后接卷积核大小1×1，步长1的卷积层；将第24、25、26、27层输出的特征图在通道维进行堆叠，与第23层输出的特征图进行逐点相乘得到新特征图。
第五步，构建带形状先验的Softmax计算模块，针对所述特征图组进行计算输出修正概率特征图。
具体地，针对所述跃层注意力机制模块中的输出特征图构建带形状先验的Softmax计算模块，具体地：假设跃层注意力机制模块中的输出特征图为，原始Softmax函数可作为泛函的解：
其中，
为Softmax激活函数的输入，
为激活函数的输出，
代表所需要分类的
总类别数。加入形状先验正则项后原始Softmax函数的求解过程改写为：
其中
为卷积符号，
为给定的权重函数，例如图像边缘检测函数，正则项
，初始化令
，通过
对
进行迭代直到给定迭代步数或收敛，返回分割热图
即为针对所述输出特征图进行计
算输出修正概率特征图。具体地，取
。
第六步，建立识别网络模块与交叉熵损失函数，基于形状先验Softmax计算模块的输出结果计算输出语义概率热图与损失函数值。
具体地，建立的识别网络模块包括语义概率热图输出网络与交叉熵损失函数，语义概率热图输出网络具体包括1层Softmax网络，网络内部编号为第28层，针对输出的语义概率热图构建交叉熵损失函数并计算损失函数值。
第七步，建立活动轮廓识别网络分支模块，基于跃层注意力机制模块的输出结果计算输出语义概率热图。
具体地，针对跃层注意力机制模块的输出结果建立活动轮廓识别网络分支模块，共包括2层网络，内部编号为第29、30层，具体地：第29层为卷积核大小3×3，步长1的卷积层，第30层为原始Softmax层。
第八步，建立活动轮廓感知损失函数，结合图像训练集中的结节区域勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型。
基于Softmax交叉熵构建一种活动轮廓感知损失函数，并结合训练集结节语义勾画结果训练网络；所述活动轮廓感知损失函数的计算公式为：
其中
其中，
为
存在的域，
表示图像分割的类别总数，
表示医生手动勾画的二
值标注图像，
表示深度神经网络输出的概率图，
表示二维坐标，|·|表示L2
范数，
表示任一极小数。具体地，取
。
第九步，使用所述完整模型对新输入的结节图像进行处理，获取结节区域语义概率热图
具体地，本实施例中，模型训练方法为使用小批梯度下降法求解深度学习网络权重参数，活动轮廓感知损失函数仅在模型训练时有效，在模型应用时不需计算。训练完成后固化网络模型参数，对于实际应用中输入的医学原始图像，经第二步预处理后，利用已固化参数的网络模型前向传播直接计算获得结节区域语义概率热图和相应背景概率热图输出。
下面通过具体实例对上述实施例中的方法进行检验。
如图4所示为包含结节区域的原始图片，图5为专家勾画出的图4中结节区域。
如图6所示为基于上述实施例中的方法得到的结节分割结果对比，图中a列为输入的甲状腺结节原始超声图像，b列为医生根据a列标注的结节区域，作为图像分割结果的参照，c列为利用原始U-Net医学图像分割方法所得的分割结果，d列为本实施例所提出方法所得的分割结果。从图6可看出，本实施例的分割结果与b列最为接近，也就是说本实施例的效果更佳。如图7所示为基于上述实施例中的方法得到的部分结节语义概率热图与原始超声影像叠加图。可以看出，基于上述实施例中的方法得到的语义概率热图与原始图片中的结节区域重合度非常高，取得了令人满意的结节提取效果。
基于上述步骤获得的语义概率热图可为结节区域定位、分割等应用提供高质量语义概率热图基础。
以上实施例仅为本发明的一种实施方式，其描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。其具体结构和尺寸可根据实际需要进行相应的调整。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (9)
1.一种基于形状先验U-Net的医学图像分割方法，其特征在于，包括以下步骤：
S1：采集含有结节的超声、CT、钼靶医学图像作为原始图像，基于采集的原始图像建立图像训练集、验证集和测试集，并对各个图像集合中的结节区域进行勾画；
S2：建立图像预处理模块，图像预处理模块对输入的原始图像进行预处理；
S3：构建深度学习U-Net基础网络模块，深度学习U-Net基础网络模块对图像预处理模块预处理后的图像依次进行特征提取；
S4：构建跃层注意力机制模块，跃层注意力机制模块将U-Net基础网络模块提取的浅层特征图上采样并进行1×1卷积生成注意力图，并与深层特征相乘；
S5：构建带形状先验的Softmax计算模块，Softmax计算模块针对U-Net基础网络模块的输出进行计算，输出修正概率特征图；
S6：建立识别网络模块，识别网络模块基于Softmax计算模块的输出结果计算输出该识别网络模块的语义概率热图与损失函数值；
S7：建立活动轮廓识别网络分支模块，活动轮廓识别网络分支模块基于跃层注意力机制模块的输出结果计算该活动轮廓识别网络分支模块的语义概率热图；
S8：建立活动轮廓感知损失函数，活动轮廓感知损失函数结合图像训练集中的结节区域勾画结果训练各个模块，训练完成后固化各个模块的网络参数形成完整模型；
S9：使用所述完整模型对新输入的结节图像进行处理，获取结节区域最终语义概率热图。
2.如权利要求1所述的医学图像分割方法，其特征在于，步骤S2中，对输入的原始图像进行预处理具体包括：对输入的原始图像进行自适应中值滤波，并对原始图像进行裁剪，去除多余信息。
3.如权利要求1所述的医学图像分割方法，其特征在于，步骤S3中，构建的深度学习U-Net基础网络模块包括24层网络，网络内部层编号为第1至16层，其中第1、2、4、5、7、8、10、11、13、14层为卷积核大小3×3，步长1的卷积层；第 3、6、9、12层为池化层，使用最大值池化，池化尺寸为2×2，步长为1；第15、18、21、24为卷积核大小2×2，步长1的反卷积层；第16、17、19、20、22、23层为卷积核大小3×3，步长1的卷积层；所有卷积层激活函数均使用ReLU函数。
4.如权利要求3所述的医学图像分割方法，其特征在于，步骤S4中跃层注意力机制模块将U-Net基础网络模块提取的浅层特征图上采样并进行1×1卷积生成注意力图，并与深层特征相乘包括：跃层注意力机制模块对U-Net基础网络模块第2、5、8、10层输出的特征图进行双线性上采样并进行1×1卷积生成注意力图，并与深层特征相乘。
5.如权利要求4所述的医学图像分割方法，其特征在于，步骤S4中跃层注意力机制模块对U-Net基础网络模块第2、5、8、10层输出的特征图进行双线性上采样并进行1×1卷积生成注意力图，并与深层特征相乘具体包括：第24、25、26、27层为1倍、2倍、4倍、8倍双线性上采样后接卷积核大小1×1，步长1的卷积层；将第24、25、26、27层输出的特征图在通道维进行堆叠，与第23层输出的特征图进行逐点相乘。
6.如权利要求5所述的医学图像分割方法，其特征在于，步骤S5中构建带形状先验的Softmax计算模块包括：针对所述跃层注意力机制模块中的输出特征图构建带形状先验的Softmax计算模块；
Softmax计算模块针对U-Net基础网络模块的输出进行计算，输出修正概率特征图包括：原始Softmax函数可作为泛函的解：
其中，
为跃层注意力机制模块中的输出特征图，同时也为Softmax激活函数的输入，
为激活函数的输出，
代表所需要分类的总类别数，加入形状先验正则项后原始Softmax函
数的求解过程改写为：
其中
为卷积符号，
为给定的权重函数，正则项
，初始
化令
，通过
对
进行迭代直到给
定迭代步数或收敛，返回分割热图
即为针对所述输出特征图进行计算输出修正概率特征
图。
7.如权利要求6所述的医学图像分割方法，其特征在于，步骤S6中，建立的识别网络模块包括语义概率热图输出网络与交叉熵损失函数，语义概率热图输出网络具体包括1层Softmax网络，网络内部编号为第28层，针对输出的语义概率热图构建交叉熵损失函数并计算损失函数值。
8.如权利要求6所述的医学图像分割方法，其特征在于，步骤S7中，建立活动轮廓识别网络分支模块具体包括：针对跃层注意力机制模块的输出结果建立活动轮廓识别网络分支模块，共包括2层网络，内部编号为第29、30层，第29层为卷积核大小3×3，步长1的卷积层，第30层为原始Softmax层。
9.如权利要求8所述的医学图像分割方法，其特征在于，步骤S8中，建立活动轮廓感知损失函数，结合图像训练集中的结节区域勾画结果训练各个模块具体包括：基于Softmax交叉熵构建一种活动轮廓感知损失函数，并结合训练集结节语义勾画结果训练网络；所述活动轮廓感知损失函数的计算公式为：
其中
其中，
为
存在的域， 
表示医生手动勾画的二值标注图像，
表示深度神经网络
输出的概率图，
表示二维坐标，|·|表示L2范数，
表示任一极小数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211154445.6A CN115239716B (zh) | 2022-09-22 | 2022-09-22 | 一种基于形状先验U-Net的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211154445.6A CN115239716B (zh) | 2022-09-22 | 2022-09-22 | 一种基于形状先验U-Net的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115239716A true CN115239716A (zh) | 2022-10-25 |
| CN115239716B CN115239716B (zh) | 2023-01-24 |
Family
ID=83667433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211154445.6A Active CN115239716B (zh) | 2022-09-22 | 2022-09-22 | 一种基于形状先验U-Net的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239716B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861600A (zh) * | 2022-12-20 | 2023-03-28 | 西北民族大学 | 一种spect图像的roi区域识别方法及系统 |
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | 前列腺超声分割模型的训练方法、分割方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN112561860A (zh) * | 2020-11-23 | 2021-03-26 | 重庆邮电大学 | 一种基于先验形状约束的BCA-UNet肝脏分割方法 |
| CN113688864A (zh) * | 2021-07-14 | 2021-11-23 | 淮阴工学院 | 一种基于分裂注意力的人-物交互关系分类方法 |
| WO2022166800A1 (zh) * | 2021-02-02 | 2022-08-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
| US20220284547A1 (en) * | 2021-02-22 | 2022-09-08 | Southwest University | Super-resolution image reconstruction method based on deep convolutional sparse coding |
| CN115035295A (zh) * | 2022-06-15 | 2022-09-09 | 湖北工业大学 | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 |
-
2022
- 2022-09-22 CN CN202211154445.6A patent/CN115239716B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN112561860A (zh) * | 2020-11-23 | 2021-03-26 | 重庆邮电大学 | 一种基于先验形状约束的BCA-UNet肝脏分割方法 |
| WO2022166800A1 (zh) * | 2021-02-02 | 2022-08-11 | 广州柏视医疗科技有限公司 | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 |
| US20220284547A1 (en) * | 2021-02-22 | 2022-09-08 | Southwest University | Super-resolution image reconstruction method based on deep convolutional sparse coding |
| CN113688864A (zh) * | 2021-07-14 | 2021-11-23 | 淮阴工学院 | 一种基于分裂注意力的人-物交互关系分类方法 |
| CN115035295A (zh) * | 2022-06-15 | 2022-09-09 | 湖北工业大学 | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| CLEMENT ZOTTI 等: "Convolutional Neural Network with Shape Prior", 《DRAFT VERSION FOR IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》 * |
| HENGFEICUI 等: "Multiscale attention guided U-Net architecture for cardiac segmentation in short-axis MRI images", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》 * |
| XINER ZHU 等: "Medical lesion segmentation by combining multimodal images with modality weighted UNet", 《MEDICAL PHYSICS》 * |
| 刘哲等: "结合改进的U-Net和Morphsnakes的肝脏分割", 《中国图象图形学报》 * |
| 朱琳琳等: "基于U-Net网络的多主动轮廓细胞分割方法研究", 《红外与激光工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861600A (zh) * | 2022-12-20 | 2023-03-28 | 西北民族大学 | 一种spect图像的roi区域识别方法及系统 |
| CN115861600B (zh) * | 2022-12-20 | 2023-09-05 | 西北民族大学 | 一种spect图像的roi区域识别方法及系统 |
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | 前列腺超声分割模型的训练方法、分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115239716B (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3639240B1 (en) | A system and computer-implemented method for segmenting an image | |
| CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
| CN112950651B (zh) | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 | |
| CN115239716B (zh) | 一种基于形状先验U-Net的医学图像分割方法 | |
| CN109598722B (zh) | 基于递归神经网络的图像分析方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| CN107203989A (zh) | 基于全卷积神经网络的端对端胸部ct图像分割方法 | |
| CN105957063A (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| CN110570394B (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN112116989B (zh) | 一种多器官勾画方法及装置 | |
| CN112272839A (zh) | 三维扫描中解剖结构的顺序分割 | |
| EP3973508A1 (en) | Sampling latent variables to generate multiple segmentations of an image | |
| CN113506310A (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| KR102419270B1 (ko) | Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법 | |
| CN110945564A (zh) | 基于混合上下文cnn模型的医学图像分割 | |
| CN110599530A (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN111127487B (zh) | 一种实时多组织医学图像的分割方法 | |
| US20220164927A1 (en) | Method and system of statistical image restoration for low-dose ct image using deep learning | |
| Tran et al. | Deep learning-based inpainting for chest X-ray image | |
| CN116935182A (zh) | 基于RepCSC-Net的乳腺肿瘤良恶性识别方法 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |