CN113706546A - 一种基于轻量级孪生网络的医学图像分割方法及装置 - Google Patents
一种基于轻量级孪生网络的医学图像分割方法及装置 Download PDFInfo
- Publication number
- CN113706546A CN113706546A CN202110968957.5A CN202110968957A CN113706546A CN 113706546 A CN113706546 A CN 113706546A CN 202110968957 A CN202110968957 A CN 202110968957A CN 113706546 A CN113706546 A CN 113706546A
- Authority
- CN
- China
- Prior art keywords
- lightweight
- module
- branch
- medical image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 37
- 238000003062 neural network model Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 101150060512 SPATA6 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轻量级孪生网络的医学图像分割方法及装置，利用孪生网络的特点能够更好地对比生成的特征图，通过孪生网络和轻量级模块的结合来达到更好的轻量化效果，在特征图之间加入了一个差异模块，通过对两个特征图作差获取两个相邻切片的差异并用它监督训练，获得更好的边界效果；在编码最后加入了一个联系模块，通过参照其他切片对应位置的信息能更好指导当前切片的分割，减少假阳性，减少误差。
Description
技术领域
本申请属于图像分割技术领域，尤其涉及一种基于轻量级孪生网络的医学图像分割方法及装置。
背景技术
图像分割一直是图像处理和分析领域的难点，也是计算机视觉领域的关键问题之一。在医学图像的处理和分析中，医学图像分割是三维重建、定量分析等处理的基础，医学图像分割的目的是将医学图像中需要强调的部分(例如血管、肿瘤、器官)分割出来，并提取相关特征，并以此来为临床治疗和病理学研究提供一些可靠的依据，辅助专家进行诊断。
通常，在医学图像中存在几个比较明显的难点，不同组织之间的对比度较低，分割目标与其他组织的差异性差，不易分辨，导致边界分割不清晰；另外，对于三维医学图像，现有的各种方法并没有专注于发掘切片间的关系。
医学图像分割网络的结构较为复杂，同时输入多个切片进行跨切片操作会导致巨大的计算量，运行效率会比较低。
发明内容
本申请的目的是提供一种基于轻量级孪生网络的医学图像分割方法及装置，以克服在图像分割时，需要获取切片上下文信息计算量巨大，运行效率比较低的问题。
为了实现上述目的，本申请技术方案如下：
一种基于轻量级孪生网络的医学图像分割方法，包括：
获取用于训练的医学图像样本；
将医学图像相邻两个切片输入到构建的深度神经网络模型进行训练，获得训练好的深度神经网络模型，所述深度神经网络模型包括编码网络和解码网络，所述编码网络包括一个轻量级孪生网络和一个联系模块，所述轻量级孪生网络包括第一分支和第二分支，每个分支包括依次连接的卷积块、第一级轻量级模块、第二级轻量级模块和第三级轻量级模块，两分支对应的各级轻量级模块之间设置有对应第一级差异模块、第二级差异模块和第三级差异模块，所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块，所述解码网络包括与所述各级差异模块对应的第一级解码器、第二级解码器和第三级解码器，所述联系模块的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器，所述第三级解码器上采样后输入到第二级解码器，所述第二级解码器上采样后输入到第一级解码器，所述第一级解码器、第二级解码器和第三级解码器的输出经过上采样融合后输入到分类器中进行分类，输出图像分割结果；
采用训练好的深度神经网络模型对医学图像进行分割。
进一步的，所述第一级差异模块、第二级差异模块和第三级差异模块，执行如下操作：
对来自第一分支和第二分支的两个特征图作元素减法得到差异部分；
将差异部分与来自第一支路的特征图作元素加法得到临时特征图；
将临时特征图经过Sigmoid函数后得到差异特征图。
进一步的，所述联系模块，执行如下操作：
采用池化操作将第二分支各个轻量级模块输出的各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于置信度阈值的像素之后，再作softmax处理，然后与第一分支第三级轻量级模块输出的特征图作元素乘法，再将得到的结果与第一分支第三级轻量级模块输出的特征图作元素加法，生成输出的特征图。
进一步的，所述第一级轻量级模块和第二级轻量级模块均分别包括一个轻量级神经网络层和一个池化层；所述第三级轻量级模块包括一个轻量级神经网络层、一个Squeezeand Excitation层和一个池化层。
进一步的，所述轻量级神经网络层，执行如下操作：
输入分两路，第一路经过一个1*1的卷积块生成特征图F1，继续经过一个深度可分离卷积DWConv生成特征图F2，第二路经过一个深度可分离卷积DWConv生成特征图F3；
所述特征图F2与特征图F3进行连接处理后，依次经过Mish激活操作、深度可分离卷积DWConv操作、Mish激活操作和1*1卷积操作申城特征图F4；
所述特征图F1和特征图F4进行连接处理后输出。
进一步的，所述深度神经网络模型的损失函数为Losstotal＝Ldif+Lrel+LDice，其中：
Losstotal为深度神经网络模型的损失；
LDice＝1-Dice；
本申请还提出了一种基于轻量级孪生网络的医学图像分割装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于轻量级孪生网络的医学图像分割方法的步骤。
本申请提出的一种基于轻量级孪生网络的医学图像分割方法及装置，利用孪生网络的特点能够更好地对比生成的特征图，孪生网络之间参数、权值共享，可以有效减小参数量，另外使用了轻量级模块(Lightweight Module，LW-M)，通过深度可分离卷积(Depthwiseseparable Convolution，DWConv)代替普通卷积减少参数量，通过孪生网络和轻量级模块的结合来达到更好的轻量化效果。同时，在特征图之间加入了一个差异模块(DifferenceModule，Dif-M)，通过对两个特征图作差获取两个相邻切片的差异并用它监督训练，获得更好的边界效果；如果目标本来就比较小，由于在编码的过程中图像信息会被压缩，可能会看不见，在编码最后加入了一个联系模块(Relation Module，Rel-M)，通过参照其他切片对应位置的信息能更好指导当前切片的分割，减少假阳性，减少误差。
附图说明
图1为本申请一种基于轻量级孪生网络的医学图像分割方法流程图；
图2为本申请深度神经网络模型结构示意图；
图3为本申请实施例差异模块结构示意图；
图4为本申请实施例联系模块结构示意图；
图5为本申请实施例轻量级神经网络结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请的总体思路是：在医学图像分割时，考虑切片间的关系。为此，采用了孪生网络，孪生网络由两个结构、参数完全相同的子网络构成，非常善于对两个目标进行对比，并且孪生网络的两个子网络之间权值共享，可以减少很多参数，能够提升网络的运行效率。另外，深度可分离卷积不仅可以达到普通卷积的效果，并且参数量和计算量远小于普通卷积，能够大幅减少网络运行压力，提高整体效率。
在一个实施例中，如图1所示，提供了一种基于轻量级孪生网络的医学图像分割方法，包括：
步骤S1、获取用于训练的医学图像样本。
本申请构建了用于医学图像分割的深度神经网络模型，然后对构建的深度神经网络模型进行训练，采用训练好的深度神经网络模型来对医学图像进行分割。
为了训练构建的深度神经网络模型，首先需要采集三维医学图像，并对采集到的医学图像进行预处理，生成用于训练的医学图像样本。
本实施例对医学图像进行预处理，包括对图像进行平移、翻转、旋转变换、灰度变化、透视变换以及添加高斯噪声等数据增强预处理，以增强网络的泛化能力。
在实际的应用中，还将生成的医学图像样本分为训练集和测试集，训练集用于对构建的深度神经网络模型进行训练，而测试集用于评估训练好的深度神经网络模型的实际效果。
步骤S2、将医学图像相邻两个切片输入到构建的深度神经网络模型进行训练，获得训练好的深度神经网络模型，所述深度神经网络模型包括编码网络和解码网络，所述编码网络包括一个轻量级孪生网络和一个联系模块，所述轻量级孪生网络包括第一分支和第二分支，每个分支包括依次连接的卷积块、第一级轻量级模块、第二级轻量级模块和第三级轻量级模块，两分支对应的各级轻量级模块之间设置有对应第一级差异模块、第二级差异模块和第三级差异模块，所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块，所述解码网络包括与所述各级差异模块对应的第一级解码器、第二级解码器和第三级解码器，所述联系模块的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器，所述第三级解码器上采样后输入到第二级解码器，所述第二级解码器上采样后输入到第一级解码器，所述第一级解码器、第二级解码器和第三级解码器的输出经过上采样融合后输入到分类器中进行分类，输出图像分割结果。
本申请构建的深度神经网络模型如图2所示，包括编码网络和解码网络。其中所述编码网络包括一个轻量级孪生网络和一个联系模块Rel-M，所述轻量级孪生网络包括第一分支和第二分支。
每个分支包括依次连接的卷积块Conv3*3、第一级轻量级模块LW-M+Pooling、第二级轻量级模块LW-M+Pooling和第三级轻量级模块LW-M+SE+Pooling，两分支对应的各级轻量级模块之间设置有对应第一级差异模块Dif-M1、第二级差异模块Dif-M2和第三级差异模块Dif-M3，其中第一级轻量级模块与第一级差异模块对应，第二级轻量级模块与第二级差异模块对应，第三级轻量级模块与第三级差异模块对应。所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块Rel-M。本申请第一级轻量级模块和第二级轻量级模块均分别包括一个轻量级神经网络层LW-M和一个池化层Pooling；所述第三级轻量级模块包括一个轻量级神经网络层LW-M、一个Squeeze and Excitation层(简称SE)和一个池化层Pooling。如图2所示，第一级轻量级模块和第二级轻量级模块均记为LW-M+Pooling，第三级轻量级模块记为LW-M+SE+Pooling。
所述解码网络包括与所述各级差异模块对应的第一级解码器Decoder1、第二级解码器Decoder2和第三级解码器Decoder3。即第一级差异模块Dif-M1连接第一级解码器Decoder1，即第二级差异模块Dif-M2连接第二级解码器Decoder2，即第三级差异模块Dif-M3连接第三级解码器Decoder3。
联系模块Rel-M的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器Decoder3，所述第三级解码器Decoder3上采样后输入到第二级解码器Decoder2，所述第二级解码器Decoder2上采样后输入到第一级解码器Decoder1，所述第一级解码器Decoder1、第二级解码器Decoder2和第三级解码器Decoder3的输出经过上采样融合后输入到分类器Sigmoid中进行分类，输出图像分割结果。
训练的过程如下：
将相邻两个切片slice1和slice2输入到编码网络，slice1输入到轻量级孪生网络的第一分支，slice2输入到轻量级孪生网络的第二分支。slice1和slice2是相邻的两帧图像，在医学图像中，也称为切片。例如一个CT数据包中，有多个切片。
slice1和slice2分别在两个分支中同时进行处理，以一个分支为例，切片经过一个3×3的卷积后，再经过LW-M和一次池化操作后，得到第一张特征图
(s表示第s个切片)；然后经过LW-M和一次池化操作后，得到第二张特征图
然后经过LW-M、SE操作以及池化操作后，得到第三张特征图
孪生网络的两个子网络每个步骤都采取相同的策略和参数，达到权值共享的效果。本申请用
表示i级轻量级模块输出的特征图，s表示第s个切片。
两个分支的第一级轻量级模块输出的第一张特征图送入到第一级差异模块，第二级轻量级模块输出的第二张特征图送入到第二级差异模块，第三级轻量级模块输出的第三张特征图送入到第三级差异模块。
本实施例差异模块的结构示意图如图3所示，差异模块进行如下操作：
对来自第一分支和第二分支的两个特征图作元素减法得到差异部分；
将差异部分与来自第一支路的特征图作元素加法得到临时特征图；
将临时特征图经过Sigmoid函数后得到差异特征图。
具体的，差异模块通过对两个特征图作元素减法得到差异部分(Dif-part)，记为
并且每次记录差异部分的置信度，具体计算公式如下：
其中，s表示是第s张切片，
表示第i级轻量级模块输出的特征图，i等于1、2或3。
差异部分(Dif-part)与slice1的特征图作元素加法得到临时特征图(tempfeature)，临时特征图经过Sigmoid函数后得到该差异模块输出的差异特征图(Dif-feature)，记为
并通过跳跃连接输送到解码器。
表示第i级差异模块输出的特征图，i等于1、2或3。
在一个具体的实施例中，本申请联系模块，执行如下操作：
采用池化操作将第二分支各个轻量级模块输出的各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于置信度阈值的像素之后，再作softmax处理，然后与第一分支第三级轻量级模块输出的特征图作元素乘法，再将得到的结果与第一分支第三级轻量级模块输出的特征图作元素加法，生成输出的特征图。
具体的，本实施例slice2对应的分支网络产生的三个特征图被输入到联系模块Rel-M，在联系模块Rel-M中，采用池化的方法将slice2各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于0.75的像素之后，再作softmax处理，然后与slice1最后的特征图作元素乘法，再将得到的结果与slice1最后的特征图作元素加法，生成特征图
记录
的置信度，最后将
输入到解码器。
如图4所示，第二分支产生的三个特征图
经过池化操作将slice2各个尺度的特征图统一尺寸，然后拼接起来(concat)，经过门限阈值筛选(gate)之后，再作softmax处理，然后与slice1最后的特征图
作元素乘法，再将得到的结果与slice1最后的特征图
作元素加法，生成特征图
输入到第三级解码器Decoder3。
在解码网络中，第三级解码器Decoder3接收第三级差异模块Dif-M3的结果
同时也接收联系模块Rel-M输出的特征图
与slice1最后的特征图
作元素加法得到特征图，并开始解码，生成一个新的特征图Xout3，具体计算公式如下：
其中Xout1表示第三级解码器Decoder3的输出，
表示第s个切片第三级差异模块的输出，另外λ+μ＝1，0<λ,μ<1，λ,μ为
和
的置信度。
再将Xout1进行上采样，恢复到与第二级差异模块得到的差异特征图的尺寸，同时把这个差异特征图输入到第二级解码器Decoder2进行解码，生成新的特征图Xout2，
其中up()为上采样操作，其他参数同上，同理，进行上采样再把第一个差异模块得到的结果输入Decoder1，得到尺寸更大的特征图Xout3，
最后，将所有解码器的输出的各个尺度的特征图进行上采样统一尺寸，并且把结果相加进行特征融合，经过Sigmoid函数处理后生成最后的分割结果。
在一个具体的实施例中，本申请轻量级神经网络层如图5所示，执行如下操作：
输入分两路，第一路经过一个1*1的卷积块生成特征图F1，继续经过一个深度可分离卷积DWConv生成特征图F2，第二路经过一个深度可分离卷积DWConv生成特征图F3；
所述特征图F2与特征图F3进行连接处理后，依次经过Mish激活操作、深度可分离卷积DWConv操作、Mish激活操作和1*1卷积操作申城特征图F4；
所述特征图F1和特征图F4进行连接处理后输出。
具体的，如图5所示，轻量级神经网络层的一路输入(input)经过一个1*1的卷积块生成特征图F1，继续经过一个深度可分离卷积DWConv生成特征图F2，另一路经过一个深度可分离卷积DWConv生成特征图F3。特征图F2与特征图F3进行连接处理(concat)后，依次经过Mish激活操作、深度可分离卷积DWConv操作、Mish激活操作和1*1卷积操作生成特征图F4。特征图F1和特征图F4进行连接处理(concat)后得到输出(output)。本实施例通过轻量级神经网络层可减少网络参数，进一步轻量化网络。
步骤S3、采用训练好的深度神经网络模型对医学图像进行分割。
在训练好深度神经网络模型之后，对于待分割的医学图像，将待分割的医学图像输入到训练好的深度神经网络模型，得到图像分割结果。
本申请在获取训练样本时，还生成测试样本，使用训练好的深度神经网络模型对测试样本进行测试并得到评测数据，来验证深度神经网络模型的效果。
本申请深度神经网络模型的损失函数由以下几部分组成：
Dice系数是一种统计量，用来测量分割预测Pseg和相应的真实值Gseg之间的重叠。具体地说，Dice分数被定义为：
LDice＝1-Dice
差异模块损失计算具体如下：
其中，
表示第i级差异模块的损失，0<α<1，α为
的置信度，N为输入切片的总像素数，yj和
为两张输入切片第j个像素。
联系模块损失计算具体如下：
其中c为联系模块门限中置信度大于置信度阈值的像素数，N为总像素数，
为联系模块输出的特征图，
表示第一分支最后一级轻量级模块输出的特征图。置信度阈值在本实施例中可以设置为0.75。
整体损失表示为：Losstotal＝Ldif+Lrel+LDice。
本申请针对输入多个切片计算量大的问题，引入了共享权值和参数的孪生网络来减少参数量，降低计算量，同时加入轻量级模块，更大程度减少了网络负载；针对医学图像易出现边界分割不清晰的问题，引入了一个差异模块，可以获取与相邻切片的边界差异信息进行边界细化；为了更好定位目标位置和排除假阳性预测，引入了联系模块，根据相邻切片的信息可以更好确定当前切片信息，消除一些假阳性。
需要说明的是，本申请差异模块、联系模块、轻量级神经网络均给出了一种优选的实施例，本领域技术人员还可以对上述网络结构进行不影响功能的调整，这里不再赘述。
在一个实施例中，本申请还提供了一种基于轻量级孪生网络的医学图像分割装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于轻量级孪生网络的医学图像分割方法的步骤。
关于基于轻量级孪生网络的医学图像分割装置的具体限定可以参见上文中对于基于轻量级孪生网络的医学图像分割方法的限定，在此不再赘述。上述基于轻量级孪生网络的医学图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于轻量级孪生网络的医学图像分割方法，其特征在于，所述基于轻量级孪生网络的医学图像分割方法，包括：
获取用于训练的医学图像样本；
将医学图像相邻两个切片输入到构建的深度神经网络模型进行训练，获得训练好的深度神经网络模型，所述深度神经网络模型包括编码网络和解码网络，所述编码网络包括一个轻量级孪生网络和一个联系模块，所述轻量级孪生网络包括第一分支和第二分支，每个分支包括依次连接的卷积块、第一级轻量级模块、第二级轻量级模块和第三级轻量级模块，两分支对应的各级轻量级模块之间设置有对应第一级差异模块、第二级差异模块和第三级差异模块，所述第一分支的第三级轻量级模块和所述第二分支的各个轻量级模块连接到所述联系模块，所述解码网络包括与所述各级差异模块对应的第一级解码器、第二级解码器和第三级解码器，所述联系模块的输出与第一分支的第三级轻量级模块的输出融合后输入到第三级解码器，所述第三级解码器上采样后输入到第二级解码器，所述第二级解码器上采样后输入到第一级解码器，所述第一级解码器、第二级解码器和第三级解码器的输出经过上采样融合后输入到分类器中进行分类，输出图像分割结果；
采用训练好的深度神经网络模型对医学图像进行分割。
2.根据权利要求1所述的基于轻量级孪生网络的医学图像分割方法，其特征在于，所述第一级差异模块、第二级差异模块和第三级差异模块，执行如下操作：
对来自第一分支和第二分支的两个特征图作元素减法得到差异部分；
将差异部分与来自第一支路的特征图作元素加法得到临时特征图；
将临时特征图经过Sigmoid函数后得到差异特征图。
3.根据权利要求1所述的基于轻量级孪生网络的医学图像分割方法，其特征在于，所述联系模块，执行如下操作：
采用池化操作将第二分支各个轻量级模块输出的各个尺度的特征图统一尺寸，然后拼接起来，经过门限阈值筛选置信度大于置信度阈值的像素之后，再作softmax处理，然后与第一分支第三级轻量级模块输出的特征图作元素乘法，再将得到的结果与第一分支第三级轻量级模块输出的特征图作元素加法，生成输出的特征图。
4.根据权利要求1所述的基于轻量级孪生网络的医学图像分割方法，其特征在于，所述第一级轻量级模块和第二级轻量级模块均分别包括一个轻量级神经网络层和一个池化层；所述第三级轻量级模块包括一个轻量级神经网络层、一个Squeeze and Excitation层和一个池化层。
5.根据权利要求4所述的基于轻量级孪生网络的医学图像分割方法，其特征在于，所述轻量级神经网络层，执行如下操作：
输入分两路，第一路经过一个1*1的卷积块生成特征图F1，继续经过一个深度可分离卷积DWConv生成特征图F2，第二路经过一个深度可分离卷积DWConv生成特征图F3；
所述特征图F2与特征图F3进行连接处理后，依次经过Mish激活操作、深度可分离卷积DWConv操作、Mish激活操作和1*1卷积操作申城特征图F4；
所述特征图F1和特征图F4进行连接处理后输出。
6.根据权利要求1所述的基于轻量级孪生网络的医学图像分割方法，其特征在于，所述深度神经网络模型的损失函数为Losstotal＝Ldif+Lrel+LDice，其中：
Losstotal为深度神经网络模型的损失；
LDice＝1-Dice；
7.一种基于轻量级孪生网络的医学图像分割装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求6中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110968957.5A CN113706546B (zh) | 2021-08-23 | 2021-08-23 | 一种基于轻量级孪生网络的医学图像分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110968957.5A CN113706546B (zh) | 2021-08-23 | 2021-08-23 | 一种基于轻量级孪生网络的医学图像分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706546A true CN113706546A (zh) | 2021-11-26 |
| CN113706546B CN113706546B (zh) | 2024-03-19 |
Family
ID=78654089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110968957.5A Active CN113706546B (zh) | 2021-08-23 | 2021-08-23 | 一种基于轻量级孪生网络的医学图像分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706546B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663447A (zh) * | 2022-03-24 | 2022-06-24 | 河北灵畅互动科技有限公司 | 基于计算机视觉的ai医学图像处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| CN112381083A (zh) * | 2020-06-12 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种基于潜在区域对的显著性感知图像裁剪方法 |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
-
2021
- 2021-08-23 CN CN202110968957.5A patent/CN113706546B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN112381083A (zh) * | 2020-06-12 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种基于潜在区域对的显著性感知图像裁剪方法 |
| CN112330681A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于注意力机制的轻量级网络实时语义分割方法 |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663447A (zh) * | 2022-03-24 | 2022-06-24 | 河北灵畅互动科技有限公司 | 基于计算机视觉的ai医学图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706546B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807788B (zh) | 医学图像处理方法、装置、电子设备及计算机存储介质 | |
| CN112651979B (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
| WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN109376381A (zh) | 医保报销异常检测方法、装置、计算机设备和存储介质 | |
| CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
| CN112329871A (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN112767406A (zh) | 一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络 | |
| CN111598844B (zh) | 一种图像分割方法、装置、电子设备和可读存储介质 | |
| Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
| CN114511523B (zh) | 基于自监督学习的胃癌分子亚型分类方法及装置 | |
| CN113706546B (zh) | 一种基于轻量级孪生网络的医学图像分割方法及装置 | |
| CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
| CN114882996A (zh) | 基于多任务学习的肝细胞癌ck19及mvi预测方法 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、系统及电子设备 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| CN116778158A (zh) | 基于改进u形网络的多组织成分图像分割方法及系统 | |
| CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| CN116664587A (zh) | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 | |
| Manzanera et al. | Patient-specific 3d cellular automata nodule growth synthesis in lung cancer without the need of external data | |
| CN113962990B (zh) | 胸部ct图像识别方法、装置、计算机设备和存储介质 | |
| CN115862112A (zh) | 一种人脸图像痤疮疗效评估用目标检测模型 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
| CN115587967A (zh) | 一种基于HA-UNet网络的眼底图像视盘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |