CN114419020A - 医学图像分割方法、装置、计算机设备及存储介质 - Google Patents
医学图像分割方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114419020A CN114419020A CN202210094245.XA CN202210094245A CN114419020A CN 114419020 A CN114419020 A CN 114419020A CN 202210094245 A CN202210094245 A CN 202210094245A CN 114419020 A CN114419020 A CN 114419020A
- Authority
- CN
- China
- Prior art keywords
- prediction
- foreground
- background
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 49
- 230000004913 activation Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 230000007797 corrosion Effects 0.000 claims description 13
- 238000005260 corrosion Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000022131 polyp of large intestine Diseases 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开医学图像分割方法、装置、计算机设备及存储介质。方法包括：将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；对所述低级特征进行卷积处理获得边界预测图；将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；将每一网络特征均输入至前景背景预测模块中得到前景预测图和背景预测图；将前景预测图进行拼接得到全局前景预测图，将背景预测图进行拼接得到全局背景预测图；利用损失函数进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型。本发明使用边界信息指导特征表达且利用前景、背景预测差异的修正机制来实现更精确的分割。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及医学图像分割方法、装置、计算机设备及存储介质。
背景技术
医学图像分割作为医学图像处理领域中最常见的任务之一，能够准确地定位图像中的病灶和器官结构，并将其从图像中分离出来，为临床医生进行进一步的诊断或手术治疗提供重要的线索。然而，由于医学图像具有噪声多、分辨率和对比度低、成像原理复杂多样等特点，医学图像分割仍然是一项具有挑战性的任务。
现有技术中，医学图像分割方法通常使用手工设计的特征对图像中的分割目标进行识别，这类方法需要为不同病灶特点设计不同的特征，且容易受到图像中噪声的干扰而产生错误的预测结果，因此在实际临床实践中并不实用。近年来兴起的深度学习技术由于具有强大的特征表达能力，逐渐成为图像分割领域的首先方法。在医学图像分割任务中，目前这类方法主要基于卷积神经网络进行设计。然而，由于卷积神经网络自身的特点，基于卷积神经网络的方法无法对图像的长距离依赖信息进行有效建模。并且现有医学图像分割方法中存在由于医学图像中边界信息模糊导致分割困难的问题，其分割精度也有待提高。
发明内容
本发明的目的是提供医学图像分割方法、装置、计算机设备及存储介质，旨在解决现有技术中边界信息模糊导致的分割困难及分割准确率有待提高的问题。
第一方面，本发明提供一种基于金字塔视觉转换器的医学图像分割方法，其中，包括：
构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
对所述低级特征进行卷积处理获得边界预测图；
将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
将每一网络特征均输入至前景背景预测模块中进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
第二方面，本发明还提供一种基于金字塔视觉转换器的医学图像分割装置，其中，包括：
数据集构建单元，用于构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
PVT编码单元，用于将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
边界预测单元，用于对所述低级特征进行卷积处理获得边界预测图；
特征金字塔网络单元，用于将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
前景背景预测模块，用于对每一网络特征进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
预测图拼接单元，用于将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
模型优化单元，用于利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
第三方面，本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于金字塔视觉转换器的医学图像分割方法。
第四方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于金字塔视觉转换器的医学图像分割方法。
本发明的有益效果：通过PVT特征编码器得到的低级特征含有图像中待分割目标的纹理、边缘等丰富的细节信息，将该低级特征用边界真值标签图进行有监督学习，并将学习到的特征图和所述高级特征相乘后再相加，能引导模型更充分地挖掘图像中的边界线索；在前景背景预测模块中，前景预测分支的特征和背景预测分支的特征存在的差异来自于图像中待分割目标边缘的困难像素点，通过计算两个分支之间的差异特征，并将差异特征引入前景预测分支中，能进一步引导模型更多地关注这些困难像素点，从而实现更精确的分割；实验表明通过用低级特征对边界进行预测和前景背景预测模块的引入，模型的分割性能在Dice系数评价指标上得到一定的提高。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的医学图像分割方法的流程示意图；
图2为本发明实施例提供的医学图像分割方法中步骤S101的子流程示意图；
图3为本发明实施例提供的医学图像分割方法中步骤S104的子流程示意图；
图4为本发明实施例提供的医学图像分割方法中步骤S105的子流程示意图；
图5为本发明实施例提供的医学图像分割方法中步骤S107的子流程示意图；
图6为本发明实施例提供的医学图像分割方法的网络框架图；
图7为本发明实施例提供的医学图像分割方法中前景背景预测模块的网络框架图；
图8为本发明实施例提供的医学图像分割装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种医学图像分割方法的流程示意图，如图所示，其包括步骤S101～S107：
S101、构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
S102、将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
S103、对所述低级特征进行卷积处理获得边界预测图；
S104、将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
S105、将每一网络特征均输入至前景背景预测模块中进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
S106、将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
S107、利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
本发明实施例提供的基于金字塔视觉转换器(即金字塔视觉Transformer，PyramidVision Transformer,PVT)的医学图像分割方法的网络框架如图6所示。该网络主要由一个PVT编码器，一个边界预测单元、一个特征金字塔网络(Feature PyramidNetwork,FPN)、若干个前景背景预测模块组成。下面具体介绍该网络框架和相关模块功能作用。
首先，在步骤S101中，构建符合要求的数据集。该数据集中包含了样本图像和与之对应的真值标签掩码图(为与后面的背景真值标签掩码图和边界真值标签掩码图区分，此处的真值标签掩码图也可以称为前景真值标签掩码图)。在具体实施时，使用了两个关于不同疾病的医学图像公开数据集。第一个数据集是Kvasir-SEG，该数据集是一个基于内窥镜图像的结直肠息肉分割数据集，一共有1000组图像，每组图像包含1张含有息肉的内窥镜图像(即样本图像)和1张相应的真值标签掩码图，图像分辨率从332×487到1920×1072不等。为了方便实验，本发明实施例在网络训练实验中将所有样本图像和真值标签掩码图的大小调整为352×352，将其中800组图像用于模型的训练，其余200组图像用于测试。本发明实施例使用的第二个数据集为ISIC2018，这是一个皮肤镜图像数据集，其根据不同视觉任务分为病灶分割、特性检测和疾病分类三个部分的数据，本发明实施例使用的是第一个部分，即病灶分割部分的数据。该部分数据集包含了2594组图像，每组图像包括1张皮肤镜图像(即样本图像)和1张相应的皮肤病灶真值标签掩码图。为了方便实验，本发明实施例在网络训练实验中将所有样本图像和真值标签掩码图的大小调整为352×352，将2075组图像用于模型的训练，其余519组用于测试。
此外，本发明实施例为了更好的对训练过程中进行监督，还为以上所述两个公开数据集生成了边界真值标签掩码图和背景真值标签掩码图。
具体来说，如图2所示，所述步骤S101包括：步骤S201～S205。
S201、获取多张样本图像和与之对应的多张真值标签掩码图；
S202、对所述真值标签掩码图进行形态学腐蚀处理，得到对应的腐蚀图像；
S203、将所述真值标签掩码图减去对应的腐蚀图像得到对应的边界真值标签掩码图；
S204、对所述真值标签掩码图进行取反操作，得到对应的背景真值标签掩码图；
S205、将所述样本图像、真值标签掩码图、边界真值标签掩码图和背景真值标签掩码图均调整至同一尺寸。
生成边界真值标签掩码图的方法如下：对真值标签掩码图进行形态学腐蚀处理得到腐蚀图像，然后利用真值标签掩码图减去腐蚀图像，即可得到边界真值标签掩码图。
生成背景真值标签掩码图的方法如下：对所述真值标签掩码图进行取反操作(即将0变为1，1变为0，此处是指图像经二值化处理后，图像的像素值只能取1或0，取反即为将1改为0，将0改为1)，即可得到背景真值标签掩码图。为了方便实验，在训练过程中将边界真值标签掩码图和背景真值标签掩码图的大小调整为352×352。
在步骤S102中，PVT特征编码器用于提取图像的全局语义特征，一张图像输入PVT特征编码器后，可以得到多个不同等级的多尺度特征，等级越高，对应特征图的尺度越小，同时维度也越大。本发明实施例将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征。
具体实施时，如图6所示，可以得到一个低级特征和四个高级特征。设这四个等级的特征从低层到高层依次为X1、X2、X3和X4，本发明实施例将X1视为低级特征，将X2、X3和X4视为高级特征。低级特征包含丰富的细节信息，如纹理、边缘等，而高级特征包含一致的高级语义信息。
在一具体实施例中，所述步骤S103包括：对所述低级特征进行两个3×3的卷积操作得到低层中间特征，再进行过一个1×1的卷积操作，然后经过激活函数进行激活得到最后的边界预测图。
举例来说，如图6所示，以低级特征X1作为输入，经过两个3×3卷积得到中间特征X'1，X'1经过一个1×1卷积，再经过一个Sigmoid(·)函数(激活函数)的激活得到最后的边界预测图PE，PE在网络训练过程中用所述边界真值标签掩码图进行深监督。
在所述步骤S104中，高级特征在输入到特征金字塔网络中之前需进行维度调整，使维度调整至一致，然后输入到特征金字塔网络中进行特征提取。
在一具体实施例中，如图3所示，所述步骤S104包括：步骤S301～S305。
S301、对所述多个高级特征进行卷积操作，以将所述多个高级特征调整至相同维度；
S302、将最高层n的高级特征进行卷积得到特征金字塔网络的最高层n的网络特征；
S303、将最高层n的网络特征进行两倍双线性插值上采样，再加上第n-1层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-1层的网络特征；
S304、将第n-1层的网络特征进行两倍双线性插值上采样，再加上第n-2层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-2层的网络特征；
S305、依此类推，得到特征金字塔网络的每一层网络特征。
在所述步骤S301中，可以使用一次1×1的卷积操作对各个高级特征进行维度变换，将各高级特征的维度降为64维。
然后在步骤S302-步骤S305中，首先对最高层的高级特征进行一次3×3的卷积操作，得到最高层n的网络特征；然后对最高层n的网络特征进行两倍双线性插值上采样，再加上第n-1层的高级特征，再进行一次3×3的卷积操作，得到特征金字塔网络的第n-1层的网络特征；然后对第n-1层的网络特征进行两倍双线性插值上采样，再加上第n-2层的高级特征，再进行一次3×3的卷积操作，得到特征金字塔网络的第n-2层的网络特征；依次类推，得到每一个高层的网络特征。
举例来说，如图6所示，特征金字塔网络从低到高依次有三个输入X2、X3和X4，三个输出X″2、X″3和X″4。三个高级特征X2、X3和X4在进入特征金字塔网络之前分别使用了一次1×1的卷积操作进行维度变换，将特征维度均降为64维，分别得到X'2、X'3和X'4。之后，X'4直接经过一个3×3的卷积操作得到特征金字塔网络的最高一层输出X″4。X″4经过两倍双线性插值上采样后加上X'3，再经过一个3×3卷积后得到特征金字塔网络的第二层输出X″3。X″3经过两倍双线性插值上采样后加上X'2，再经过一个3×3卷积后得到特征金字塔网络的第一层输出X″2。
在所述步骤S105中，各个网络特征均输入至前景背景预测模块中进行同样的处理，即进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图。
在一具体实施例中，如图4所示，所述步骤S105包括：步骤S401～S405。
S401、将每一网络特征与低层中间特征进行相乘处理，再与对应的网络特征进行相加处理，得到预处理后的网络特征；
S402、将每一预处理后的网络特征输入至前景背景预测模块中，通过所述前景背景预测模块中的前景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到前景特征图，以及通过所述前景背景预测模块中的背景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到背景特征图；
S403、对所述背景特征图进行一个1×1的卷积操作，再经过激活函数的激活处理得到背景预测图；
S404、将所述前景特征图减去背景特征图，得到差异特征图，利用1减去所述差异特征图，再进行激活得到激活后的差异特征图；
S405、将所述前景特征图与所述激活后的差异特征图相乘再与对应的前景特征图相加，再经过一个1×1的卷积操作和激活函数的激活操作得到前景预测图。
在上述步骤S401中，网络特征在输入到前景背景预测模块之前，先需要与低层中间特征进行相乘处理，再与对应的网络特征进行相加处理，得到预处理后的网络特征，然后输入到前景背景预测模块中。
步骤S402～S405为前景背景预测模块的实质处理过程，前景背景预测模块的网络结构如图7所示，该前景背景预测模块包括一个前景预测分支(即前景分支)和一个背景预测分支(即背景分支)。
结合图6的实施例对前景背景预测模块的处理过程进行具体说明。首先，X″′2在前景预测分支中经过2个3×3的卷积操作得到前景特征图f21，同时在背景预测分支中也经过2个3×3的卷积操作得到背景特征图f22。
对于背景特征图f22，其在经过一个1×1的卷积操作后，再经过一个Sigmoid(·)函数的激活后得到背景预测图
对于前景特征图f21，先将f21减去f22得到特征f23，再以1减去f23得到特征f'23，即f'23＝1-f22-f21。之后，f'23经过一个Sigmoid(·)函数的激活得到激活后的差异特征图fdiff，将前景特征图f21和所得到的差异特征图fdiff相乘再和f21自身相加，再经过一个1×1的卷积操作和Sigmoid(·)函数的激活得到前景预测图
X″3，X″4依照与X″2相同的方式进行计算，因此，由X″3可以得到前景预测图
和背景预测图
由X″4可以得到前景预测图
和背景预测图
概括上述前景背景预测模块的处理过程，可以得到如下计算过程：
X″′2＝X″2+X″2⊙X′1
X″′3＝X″3+X″3⊙X′1
X″′4＝X″4+X″4⊙X′1
f21＝Conv3×3(Conv3×3(X″′2))
f22＝Conv3×3(Conv3×3(X″′2))
f31＝Conv3×3(Conv3×3(X″′3))
f32＝Conv3×3(Conv3×3(X″′3))
f41＝Conv3×3(Conv3×3(X″′4))
f42＝Conv3×3(Conv3×3(X″′4))
f′23＝1-f22-f21
f′33＝1-f32-f31
f′43＝1-f42-f41
其中⊙表示按元素相乘。
在步骤S106中，对各前景预测图进行融合，以及对各背景预测图进行融合。融合的过程如下：将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图。
结合图6，举例来说，对于前景预测图，首先对
和
进行拼接，得到一个通道数为3的拼接图P1，再将P1用一个1×1的卷积操作将通道数变为1，最后经过一个Sigmoid(·)函数的激活得到最终的全局前景预测图PF。
对于背景预测图，首先对
和
进行拼接，得到一个通道数为3的拼接图P2，再将P2用一个1×1的卷积操作将通道数变为1，最后经过一个Sigmoid(·)函数激活得到最终的全局背景预测图PB。
在一具体实施例中，如图5所示，所述步骤S107包括：S501～S506。
S501、计算边界预测图和边界真值标签掩码图的第一损失；
S502、使用加权IoU损失函数和加权BCE损失函数计算所有前景预测图和真值标签掩码图的第二损失；
S503、使用加权IoU损失函数和加权BCE损失函数计算所有背景预测图和背景真值标签掩码图的第三损失；
S504、计算全局前景预测图和真值标签掩码图的第四损失；
S505、计算全局背景预测图和背景真值标签掩码图的第五损失；
S506、计算所述第一损失、第二损失、第三损失、第四损失和第五损失的损失之和，并进行反向传播，更新网络参数，得到医学图像分割模型。
本发明实施例通过对上述所有前景预测图、背景预测图、边界预测图、全局前景预测图、全局背景预测图均进行损失计算，并进行反向传播和优化，从而能够提高分割准确度。
在一具体实施例中，所述损失之和如下：
其中，
依次为从低到高的三个前景预测图，
依次为从低到高的三个背景预测图，P'E为边界预测图，P'F为全局前景预测图，P'B为全局背景预测图，GE为边界真值标签掩码图，GF为真值标签掩码图，GB为背景真值标签掩码图，
为加权IoU损失函数，
为加权BCE损失函数，DiceLoss(P'E,GE)表示第一损失。
第一，对最低层的边界预测图PE使用Dice Loss(一种用于评估两个样本的相似性的度量函数)进行监督，具体计算方法为：
a1、将边界预测图PE的大小放大为352×352，得到P'E；
a2、用放大得到的P'E和边界真值标签掩码图GE计算损失(即第一损失)，记作：
第二，使用加权IoU损失函数和加权BCE损失函数计算各个前景预测图的损失并求和(即第二损失)，使用加权IoU损失函数和加权BCE损失函数计算各个背景预测图的损失并求和(即三损失)。具体计算方法为：
b1、将
和
以及
和
的大小放大为352×352，分别得到
和
以及
和
b2、用放大后得到的三个前景预测图
和
分别和真值标签掩码图GF(即前景真值标签掩码图)计算损失，记为：
b3、用放大后得到的三个背景预测图
和
分别和背景真值标签掩码图GB计算损失，记为：
第三，对最后产生的全局前景预测图PF和全局背景预测图PB使用加权IoU损失函数和加权BCE损失函数计算损失(即第四损失和第五损失)。具体计算方法为：
c1、先将PF和PB放大为352×352，分别得到P'F和P'B；
c2、用放大后得到的前景预测图P'F和真值标签掩码图GF(即前景真值标签掩码图)计算损失，记为：
c3、用放大后得到的背景预测图P'B和背景真值标签掩码图GB计算损失，记为：
最终，医学图像分割模型在训练时的损失函数为：
需说明的是，在上述过程中对各个预测图均进行了尺寸调整，当然也可以不调整尺寸而直接进行损失计算。
在训练过程中，输入一张训练图像，通过网络前向传播输出一个边界预测图、三个前景预测图、三个背景预测图、一个融合后的全局前景预测图和一个融合后的全局背景预测图，通过上述损失函数计算损失，并进行反向传播，利用AdamW优化器更新网络的参数，使损失值降低。不断迭代这个过程，当损失值收敛时保存训练好的网络参数。本发明的网络模型可以在PyTorch深度学习框架下实现，在Ubuntu 18.04操作系统上运行。网络模型使用AdamW优化器，学习率为0.0001，训练时训练数据的批量大小为32，epoch设置为100。
在测试阶段，一张待分割图像在输入网络之前，其大小被调整为352×352，用训练过程中保存的最佳网络参数对该图像进行计算，生成分割预测图(即全局前景预测图)。由于分割预测图的像素值范围为[0,1]，因此需要对分割预测图进行阈值二值化处理。本发明实施例可将阈值设置为0.5，对于大于0.5的像素区域重新取值为1，视为分割目标区域，对于小于0.5的像素区域重新取值为0，视为背景区域。将二值化后的分割预测图重新调整大小为原始图像大小，最后得到分割结果图。
为了量化和验证本发明所提方法的性能，本发明网络模型采用的评价指标是在图像分割领域被广泛使用的Dice系数。实验结果表明，本发明网络模型的在Kvasir数据集上测试结果Dice系数值为0.9150，在ISIC2018数据集上的测试结果Dice系数值为0.9060。
请参阅图8，本发明实施例还提供一种医学图像分割装置800，包括：
数据集构建单元801，用于构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
PVT编码单元802，用于将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
边界预测单元803，用于对所述低级特征进行卷积处理获得边界预测图；
特征金字塔网络单元804，用于将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
前景背景预测模块805，用于对每一网络特征进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
预测图拼接单元806，用于将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
模型优化单元807，用于利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
在一具体实施例中，所述数据集构建单元801包括：
获取单元，用于获取多张样本图像和与之对应的多张真值标签掩码图；
腐蚀单元，用于对所述真值标签掩码图进行形态学腐蚀处理，得到对应的腐蚀图像；
相减单元，用于将所述真值标签掩码图减去对应的腐蚀图像得到对应的边界真值标签掩码图；
取反单元，用于对所述真值标签掩码图进行取反操作，得到对应的背景真值标签掩码图；
第一调整单元，用于将所述样本图像、真值标签掩码图、边界真值标签掩码图和背景真值标签掩码图均调整至同一尺寸。
在一具体实施例中，所述特征金字塔网络单元804包括：
第二调整单元，用于对所述多个高级特征进行卷积操作，以将所述多个高级特征调整至相同维度；
第一金字塔处理单元，用于将最高层n的高级特征进行卷积得到特征金字塔网络的最高层n的网络特征；
第二金字塔处理单元，用于将最高层n的网络特征进行两倍双线性插值上采样，再加上第n-1层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-1层的网络特征；
第三金字塔处理单元，用于将第n-1层的网络特征进行两倍双线性插值上采样，再加上第n-2层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-2层的网络特征；
循环单元，用于依此类推，得到特征金字塔网络的每一层网络特征。
在一具体实施例中，所述边界预测单元803包括：
边界特征卷积单元，用于对所述低级特征进行两个3×3的卷积操作得到低层中间特征，再进行过一个1×1的卷积操作，然后经过激活函数进行激活得到最后的边界预测图。
在一具体实施例中，所述前景背景预测模块包括：
网络特征处理单元，用于将每一网络特征与低层中间特征进行相乘处理，再与对应的网络特征进行相加处理，得到预处理后的网络特征；
前景背景特征处理单元，用于将每一预处理后的网络特征输入至前景背景预测模块中，通过所述前景背景预测模块中的前景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到前景特征图，以及通过所述前景背景预测模块中的背景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到背景特征图；
背景预测图处理单元，用于对所述背景特征图进行一个1×1的卷积操作，再经过激活函数的激活处理得到背景预测图；
差异特征图，用于将所述前景特征图减去背景特征图，得到差异特征图，利用1减去所述差异特征图，再进行激活得到激活后的差异特征图；
前景预测图处理单元，用于将所述前景特征图与所述激活后的差异特征图相乘再与对应的前景特征图相加，再经过一个1×1的卷积操作和激活函数的激活操作得到前景预测图。
在一具体实施例中，所述模型优化单元807包括：
第一损失计算单元，用于计算边界预测图和边界真值标签掩码图的第一损失；
第二损失计算单元，用于使用加权IoU损失函数和加权BCE损失函数计算所有前景预测图和真值标签掩码图的第二损失；
第三损失计算单元，用于使用加权IoU损失函数和加权BCE损失函数计算所有背景预测图和背景真值标签掩码图的第三损失；
第四损失计算单元，用于计算全局前景预测图和真值标签掩码图的第四损失；
第五损失计算单元，用于计算全局背景预测图和背景真值标签掩码图的第五损失；
优化单元，用于计算所述第一损失、第二损失、第三损失、第四损失和第五损失的损失之和，并进行反向传播，更新网络参数，得到医学图像分割模型。
在一具体实施例中，所述损失之和如下：
其中，
依次为从低到高的三个前景预测图，
依次为从低到高的三个背景预测图，P'E为边界预测图，P'F为全局前景预测图，P'B为全局背景预测图，GE为边界真值标签掩码图，GF为真值标签掩码图，GB为背景真值标签掩码图，
为加权IoU损失函数，
为加权BCE损失函数，DiceLoss(P'E,GE)表示第一损失。
上述装置实施例的具体技术细节与前述方法实施例的内容对应，故此处不再赘述。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的医学图像分割方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的医学图像分割方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于金字塔视觉转换器的医学图像分割方法，其特征在于，包括：
构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
对所述低级特征进行卷积处理获得边界预测图；
将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
将每一网络特征均输入至前景背景预测模块中进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
2.根据权利要求1所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集，包括：
获取多张样本图像和与之对应的多张真值标签掩码图；
对所述真值标签掩码图进行形态学腐蚀处理，得到对应的腐蚀图像；
将所述真值标签掩码图减去对应的腐蚀图像得到对应的边界真值标签掩码图；
对所述真值标签掩码图进行取反操作，得到对应的背景真值标签掩码图；
将所述样本图像、真值标签掩码图、边界真值标签掩码图和背景真值标签掩码图均调整至同一尺寸。
3.根据权利要求1所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征，包括：
对所述多个高级特征进行卷积操作，以将所述多个高级特征调整至相同维度；
将最高层n的高级特征进行卷积得到特征金字塔网络的最高层n的网络特征；
将最高层n的网络特征进行两倍双线性插值上采样，再加上第n-1层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-1层的网络特征；
将第n-1层的网络特征进行两倍双线性插值上采样，再加上第n-2层的高级特征，再经过卷积操作后得到特征金字塔网络的第n-2层的网络特征；
依此类推，得到特征金字塔网络的每一层网络特征。
4.根据权利要求1所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述对所述低级特征进行卷积处理获得边界预测图，包括：
对所述低级特征进行两个3×3的卷积操作得到低层中间特征，再进行过一个1×1的卷积操作，然后经过激活函数进行激活得到最后的边界预测图。
5.根据权利要求4所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述将每一网络特征均输入至前景背景预测模块中进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图，包括：
将每一网络特征与低层中间特征进行相乘处理，再与对应的网络特征进行相加处理，得到预处理后的网络特征；
将每一预处理后的网络特征输入至前景背景预测模块中，通过所述前景背景预测模块中的前景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到前景特征图，以及通过所述前景背景预测模块中的背景分支对所述预处理后的网络特征进行两个3×3的卷积操作得到背景特征图；
对所述背景特征图进行一个1×1的卷积操作，再经过激活函数的激活处理得到背景预测图；
将所述前景特征图减去背景特征图，得到差异特征图，利用1减去所述差异特征图，再进行激活得到激活后的差异特征图；
将所述前景特征图与所述激活后的差异特征图相乘再与对应的前景特征图相加，再经过一个1×1的卷积操作和激活函数的激活操作得到前景预测图。
6.根据权利要求2所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述利用损失函数对所有前景预测图、背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，包括：
计算边界预测图和边界真值标签掩码图的第一损失；
使用加权IoU损失函数和加权BCE损失函数计算所有前景预测图和真值标签掩码图的第二损失；
使用加权IoU损失函数和加权BCE损失函数计算所有背景预测图和背景真值标签掩码图的第三损失；
计算全局前景预测图和真值标签掩码图的第四损失；
计算全局背景预测图和背景真值标签掩码图的第五损失；
计算所述第一损失、第二损失、第三损失、第四损失和第五损失的损失之和，并进行反向传播，更新网络参数，得到医学图像分割模型。
7.根据权利要求6所述的基于金字塔视觉转换器的医学图像分割方法，其特征在于，所述损失之和如下：
其中，
依次为从低到高的三个前景预测图，
依次为从低到高的三个背景预测图，P'E为边界预测图，P'F为全局前景预测图，P'B为全局背景预测图，GE为边界真值标签掩码图，GF为真值标签掩码图，GB为背景真值标签掩码图，
为加权IoU损失函数，
为加权BCE损失函数，DiceLoss(P'E，GE)表示第一损失。
8.一种基于金字塔视觉转换器的医学图像分割装置，其特征在于，包括：
数据集构建单元，用于构建包含多张样本图像和与之对应的多张真值标签掩码图的数据集；
PVT编码单元，用于将样本图像输入PVT特征编码器进行全局语义特征提取，得到低级特征和多个高级特征；
边界预测单元，用于对所述低级特征进行卷积处理获得边界预测图；
特征金字塔网络单元，用于将所述多个高级特征输入特征金字塔网络中进行多次上采样和特征融合，得到对应的多个网络特征；
前景背景预测模块，用于对每一网络特征进行前景分支和背景分支的卷积预测，得到对应每一网络特征的前景预测图和背景预测图；
预测图拼接单元，用于将所有网络特征的前景预测图进行拼接得到全局前景预测图，将所有网络特征的背景预测图进行拼接得到全局背景预测图；
模型优化单元，用于利用损失函数对所有前景预测图、所有背景预测图、全局前景预测图、全局背景预测图和边界预测图进行损失计算，并进行反向传播，更新网络参数，得到医学图像分割模型，并利用所述医学图像分割模型进行医学图像的分割。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于金字塔视觉转换器的医学图像分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于金字塔视觉转换器的医学图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094245.XA CN114419020B (zh) | 2022-01-26 | 2022-01-26 | 医学图像分割方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094245.XA CN114419020B (zh) | 2022-01-26 | 2022-01-26 | 医学图像分割方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114419020A true CN114419020A (zh) | 2022-04-29 |
| CN114419020B CN114419020B (zh) | 2022-10-18 |
Family
ID=81277049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210094245.XA Active CN114419020B (zh) | 2022-01-26 | 2022-01-26 | 医学图像分割方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114419020B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758137A (zh) * | 2022-06-15 | 2022-07-15 | 深圳瀚维智能医疗科技有限公司 | 超声图像分割方法、装置及计算机可读存储介质 |
| CN114926423A (zh) * | 2022-05-12 | 2022-08-19 | 深圳大学 | 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质 |
| CN115147669A (zh) * | 2022-06-24 | 2022-10-04 | 北京百度网讯科技有限公司 | 基于视觉转换器模型的图像处理方法、训练方法和设备 |
| CN115619709A (zh) * | 2022-08-30 | 2023-01-17 | 哈尔滨工业大学（深圳） | 一种3d平面检测与重建方法、装置及存储介质 |
| CN117038088A (zh) * | 2023-10-09 | 2023-11-10 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205716A1 (en) * | 2005-02-11 | 2008-08-28 | Koninklijke Philips Electronics N.V. | Image Processing Device and Method |
| CN106570873A (zh) * | 2016-11-08 | 2017-04-19 | 江苏大学 | 一种医学图像分割方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110443818A (zh) * | 2019-07-02 | 2019-11-12 | 中国科学院计算技术研究所 | 一种基于涂鸦的弱监督语义分割方法与系统 |
| CN113449680A (zh) * | 2021-07-15 | 2021-09-28 | 北京理工大学 | 一种基于知识蒸馏的多模小目标检测方法 |
| CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
| CN113744153A (zh) * | 2021-09-02 | 2021-12-03 | 深圳大学 | 双分支图像修复伪造检测方法、系统、设备及存储介质 |
| CN113780486A (zh) * | 2021-11-15 | 2021-12-10 | 湖南师范大学 | 一种视觉问答的方法、装置及介质 |
-
2022
- 2022-01-26 CN CN202210094245.XA patent/CN114419020B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205716A1 (en) * | 2005-02-11 | 2008-08-28 | Koninklijke Philips Electronics N.V. | Image Processing Device and Method |
| CN106570873A (zh) * | 2016-11-08 | 2017-04-19 | 江苏大学 | 一种医学图像分割方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110443818A (zh) * | 2019-07-02 | 2019-11-12 | 中国科学院计算技术研究所 | 一种基于涂鸦的弱监督语义分割方法与系统 |
| CN113449680A (zh) * | 2021-07-15 | 2021-09-28 | 北京理工大学 | 一种基于知识蒸馏的多模小目标检测方法 |
| CN113744153A (zh) * | 2021-09-02 | 2021-12-03 | 深圳大学 | 双分支图像修复伪造检测方法、系统、设备及存储介质 |
| CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
| CN113780486A (zh) * | 2021-11-15 | 2021-12-10 | 湖南师范大学 | 一种视觉问答的方法、装置及介质 |
Non-Patent Citations (5)
| Title |
|---|
| WENHAI WANG等: "Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions", 《ARXIV》 * |
| YI WANG等: "Deep Attentive Features for Prostate Segmentation in 3D Transrectal Ultrasound", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 冉清等: "人体前景的自动抠图算法", 《计算机辅助设计与图形学学报》 * |
| 肖聪: "基于视觉显著性检测的运动视频摘要化生成方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 胡玉进等: "基于BiSeNet的小儿超声心动图左心分割方法", 《中国生物医学工程学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926423A (zh) * | 2022-05-12 | 2022-08-19 | 深圳大学 | 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质 |
| CN114926423B (zh) * | 2022-05-12 | 2023-02-10 | 深圳大学 | 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质 |
| CN114758137A (zh) * | 2022-06-15 | 2022-07-15 | 深圳瀚维智能医疗科技有限公司 | 超声图像分割方法、装置及计算机可读存储介质 |
| CN115147669A (zh) * | 2022-06-24 | 2022-10-04 | 北京百度网讯科技有限公司 | 基于视觉转换器模型的图像处理方法、训练方法和设备 |
| CN115619709A (zh) * | 2022-08-30 | 2023-01-17 | 哈尔滨工业大学（深圳） | 一种3d平面检测与重建方法、装置及存储介质 |
| CN117038088A (zh) * | 2023-10-09 | 2023-11-10 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
| CN117038088B (zh) * | 2023-10-09 | 2024-02-02 | 北京鹰瞳科技发展股份有限公司 | 糖尿病视网膜病变的发病确定方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114419020B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114419020B (zh) | 医学图像分割方法、装置、计算机设备及存储介质 | |
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| Usman et al. | Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning | |
| CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN111627019A (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN111784628A (zh) | 基于有效学习的端到端的结直肠息肉图像分割方法 | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN115457057A (zh) | 一种采用深监督策略的多尺度特征融合腺体分割方法 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| Arjmand et al. | Deep learning in liver biopsies using convolutional neural networks | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN113610752A (zh) | 乳腺图像配准方法、计算机设备和存储介质 | |
| CN117409030A (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
| CN117392082A (zh) | 基于全尺度跳跃连接的肝脏ct图像分割方法及系统 | |
| CN114926479A (zh) | 图像处理方法及装置 | |
| CN112785575B (zh) | 一种图像处理的方法、装置和存储介质 | |
| CN118229974A (zh) | 一种基于分割一切模型的医学图像快速分割方法 | |
| CN112489062A (zh) | 基于边界及邻域引导的医学图像分割方法及系统 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |