CN116797611A - 一种息肉病灶分割方法、设备及存储介质 - Google Patents
一种息肉病灶分割方法、设备及存储介质 Download PDFInfo
- Publication number
- CN116797611A CN116797611A CN202311039600.4A CN202311039600A CN116797611A CN 116797611 A CN116797611 A CN 116797611A CN 202311039600 A CN202311039600 A CN 202311039600A CN 116797611 A CN116797611 A CN 116797611A
- Authority
- CN
- China
- Prior art keywords
- network model
- teacher
- patch
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 67
- 208000037062 Polyps Diseases 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000006870 function Effects 0.000 claims abstract description 45
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 16
- 230000003902 lesion Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000001994 activation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000000635 electron micrograph Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002627 tracheal intubation Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000018556 stomach disease Diseases 0.000 description 1
- 208000023984 stomach polyp Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公布一种息肉病灶分割方法，包括输入图像和掩膜图像，包括如下步骤：步骤S101：构建基于patch的电镜图片教师分割网络模型，并对电镜图片教师分割网络模型进行训练；步骤S102：基于电镜图片教师分割网络模型增加patch分类分支，在电镜图片教师分割网络模型的训练基础上继续训练新模型，进一步微调电镜图片教师分割网络模型的网络参数，训练patch分类分支参数；步骤S103：构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型。本发明针对临床环境中息肉病灶分割不准确的缺陷，同时采用多任务学习和知识蒸馏等技术手段，提高模型挖掘息肉病灶特征的能力，进而提高模型分割精度，实现临床环境中息肉病灶的快速高精度分割。
Description
技术领域
本发明涉及图像处理领域和计算机视觉领域，具体涉及到一种息肉病灶分割方法、设备及存储介质。
背景技术
随着深度学习技术的发展，尤其是卷积神经网络在计算机视觉任务中的成功运用，卷积神经网络被引入到医学图像视觉处理任务中，包括但不限于病灶图片分类、病灶检测、病灶区域分割等。
插管电镜作为一种人体胃内壁成像技术，具有成像质量高、采集方便等特点，基于插管电镜进行胃部息肉检测已经被广泛应用于临床环境中。采用卷积神经网络方法实现插管电镜图片中息肉病灶区域分割是实现临床环境中胃部疾病实时辅助诊断的有效手段，虽然该项技术相对于传统图像检测方法具有更高的精度，但是由于息肉病灶存在病灶区域小、特征不明显、且与其他病灶特征如非上皮性肿瘤或肿瘤样病变病灶特征易混淆等特点，因此基于卷积神经网络的方法在实时临床环境使用中存在分割精度低等问题。
中国专利申请号2021112859209公开一种基于知识蒸馏的肺部疾病病灶无监督分割方法，该技术方案首先通过构建和训练一个自编码器来获得具有丰富CT图像语义知识的预训练教师网络，然后从预训练教师网络中仅蒸馏正常CT图像的知识来训练一个与教师网络具有相同架构的学生网络，最终利用教师和学生网络对含病灶图像所提特征的差异进行病灶分割。同时，除传统的像素级蒸馏，该方法还设计了考虑像素间关系的亲和力级蒸馏，以便充分蒸馏有效知识。该技术方案仅针对肺部病灶进行识别和分割，并不能对胃肠道的可疑病灶进行识别和分割，且不能适用多任务处理的应用场景。
因此，有必要开发针对胃肠道环境的病灶识别和分割方案，提高胃肠道辅助诊断的准确性。
发明内容
为了开发针对胃肠道环境的病灶识别和分割方案的高效率和准确度，本发明提供一种息肉病灶分割方法、设备及存储介质。
第一方面，本发明提供一种息肉病灶分割方法，包括输入图像和掩膜图像，包括如下步骤：
步骤S101：构建基于patch的电镜图片教师分割网络模型，并对电镜图片教师分割网络模型进行训练；
步骤S102：基于电镜图片教师分割网络模型增加patch分类分支，在电镜图片教师分割网络模型的训练基础上继续训练新模型，进一步微调电镜图片教师分割网络模型的网络参数，训练patch分类分支参数；
步骤S103：构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型。
进一步的，还包括以下步骤：将输入图像划分为64张大小相同的patch，输入电镜图片教师分割网络模型中得到64张patch掩膜，并得到64张patch的类别，并将分类为前景的patch图像输入学生网络模型中，得到patch最终的分类标签，依据分类标签对patch掩膜进行纠正，所述对patch掩膜进行纠正包括以下步骤：
步骤S104：若patch掩膜含有像素值大于0的区域但patch分类标签为0，则将patch掩膜中的所有像素值纠正为0；
步骤S105：若patch掩膜像素值均为0但patch分类标签为1，则保持patch掩膜不变。
进一步的，所述步骤S101具体包括：
步骤101将编码层特征图分别经过步骤102的第一最大池化处理和步骤103的第二平均池化处理；
步骤201将解码层特征图分别经过步骤202的第三最大池化处理和步骤203的第四平均池化处理，从而生成四组特征图；
进而将所述四组特征图分别进行步骤104的第一卷积处理并激活、步骤105的第二卷积处理并激活、步骤204的第三卷积处理并激活及步骤205的第四卷积处理并激活，之后将第一卷积和第二卷积连接进行步骤106的第一连接处理，第三卷积和第四卷积连接进行步骤206的第二连接处理；
步骤107对第一连接处理结果和步骤201的解码层特征图进行交叉点积运算；
步骤207对第二连接处理结果和步骤101的编码层特征图进行交叉点积运算；
将所述步骤107和步骤207的两个交叉点积运算结果进行步骤108的第三连接处理；
步骤109输出卷积结果。
进一步的，所述卷积结果由公式1-3所示：
，公式1；
，公式2；
，公式3；
其中，Fe与Fc分别表示UNet跨越连接对应的编码层输出的特征图组以及解码层输出的特征图组，C代表Concatenate处理，RC表示卷积并进行ReLU激活处理，Conv表示卷积处理，表示最大池化，/>表示平均池化。
进一步的，所述步骤S101的教师分割网络模型的训练过程包括：
步骤S1011：将输入图像和掩膜图像采用均分方式进行分块，每张图片均分成大小相同的64个patch，由图像patch和对应的掩膜patch组成训练样本；
步骤S1012：输入训练样本，采用交叉熵与Dice函数之和作为损失函数对分割模型进行训练；
步骤S1013：训练直至损失函数值趋于稳定并不再下降时截止。
进一步的，所述步骤S102的基于电镜图片教师分割网络模型增加patch分类分支具体包括以下步骤：
步骤S1021：电镜图片教师分割网络模型训练过程完成后，在教师分割网络模型的Bottleneck层之后增加patch分类分支，所述patch分类分支由5个卷积层、2个最大池化层及3个全连接层组成，最终全连接层输出值个数为2，分别对应前景和背景两类。
进一步的，所述电镜图片教师分割网络模型训练过程具体包括：
步骤S10211：固定教师分割模型网络参数，输入训练样本采用交叉熵损失函数训练分类分支参数，直至损失函数值趋于稳定；
步骤S10212：降低学习率，使用训练样本针对整体教师网络模型参数进行训练，直至模型收敛。
进一步的，所述步骤S103构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型具体为：
在整体的电镜图片教师分割网络模型训练完成后，构建学生网络模型，所述学生网络模型整体架构由与电镜图片教师分割网络模型相同的编码器和分类分支组成，令教师网络模型中的分类器为，学生网络模型中的分类其为/>，学生网络模型训练损失函数为，知识蒸馏损失函数为/>，则整体损失函数/>由公式4定义：/>，公式4。
进一步的，采用带温度参数的softmax函数计算教师网络和学生网络中分类器的输出概率，因此最终的整体损失函数的形式为公式5：
，公式5，其中为学生网络模型patch类别标签，/>和/>分别为学生网络分类器和教师网络分类器的logits，/>，/>分别表示损失函数第一项和第二项的权重。
进一步的，所述步骤S103的知识蒸馏损失函数训练学生分类网络模型进一步包括以下步骤：
步骤S1031：调低教师网络模型分类分支中息肉病灶类型的判定置信度，降低模型息肉病灶识别假阴性率，将电镜图片教师分割网络模型中判定为息肉病灶的所有图像patch作为学生网络输入，如patch对应的掩膜图像含有息肉病灶区域则类别为1，否则为0；
步骤S1032：采用上述整体损失函数公式5对学生网络参数进行训练，直至模型收敛。
第二方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的息肉病灶分割方法的步骤。
第三方面，本发明提供一种息肉病灶分割设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如第一方面任一项所述的息肉病灶分割方法的步骤。
本发明针对临床环境中息肉病灶分割不准确的缺陷，同时采用多任务学习和知识蒸馏等技术手段，提高模型挖掘息肉病灶特征的能力，进而提高模型分割精度，实现临床环境中息肉病灶的快速高精度分割。
附图说明
图1：息肉病灶分割模型架构示意图。
图2：息肉病灶分割方法流程图。
图3：交叉注意力机制架构示意图。
图4：息肉病灶分割设备示意图。
实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1本发明息肉病灶分割模型整体架构示意图及图2息肉病灶分割方法流程图，本发明的息肉病灶分割方法包括如下步骤：
步骤S101：构建基于patch的电镜图片教师分割网络模型，并对模型进行训练；
步骤S102：基于教师分割网络模型增加patch分类分支，在模型训练基础上继续训练新模型，微调教师模型网络参数，训练分类分支参数；
步骤S103：构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型。
进一步参考图3交叉注意力机制架构示意图，本发明的息肉病灶分割模型首先构建基于patch的电镜图片教师分割网络模型，并对模型进行训练，为了构建教师分割网络模型，本发明采用基于patch采用基于交叉注意力机制的UNet模型构建教师分割网络模型，并生成输入图片的息肉病灶分割掩膜，步骤101将编码层特征图分别经过步骤102的第一最大池化处理和步骤103的第二平均池化处理，步骤201将解码层特征图分别经过步骤202的第三最大池化处理和步骤203的第四平均池化处理，从而生成四组特征图，进而将所述四组特征图分别进行步骤104的第一卷积处理并激活、步骤105的第二卷积处理并激活、步骤204的第三卷积处理并激活及步骤205的第四卷积处理并激活，之后将所述激活后的卷积结果分别两两连接（即Concatenate处理），即第一卷积和第二卷积连接进行步骤106的第一连接处理，第三卷积和第四卷积连接进行步骤206的第二连接处理，接着由步骤107对第一连接处理结果和步骤201的解码层特征图进行交叉点积运算，由步骤207对第二连接处理结果和步骤101的编码层特征图进行交叉点积运算，进一步将所述两个交叉点积运算结果进行步骤108的第三连接处理，最后步骤109输出卷积结果。
所述卷积结果由公式1-3所示：，公式1；
，公式2；
，公式3；
其中，Fe与Fc分别表示UNet跨越连接对应的的编码层输出的特征图组以及解码层输出的特征图组，C代表Concatenate处理，RC表示卷积并进行ReLU激活处理，Conv表示卷积处理，表示最大池化，/>表示平均池化。
进一步的，所述步骤S101的教师分割网络模型的训练过程包括：
步骤S1011：将训练集图片和掩膜图片采用均分方式进行分块，每张图片均分成大小相同的64个patches，训练样本由图像patch和对应的掩膜patch组成；
步骤S1012：输入训练样本，采用交叉熵与Dice函数之和作为损失函数对分割模型进行训练；
步骤S1013：训练直至损失函数值趋于稳定并不再下降时截止。
进一步的，所述步骤S102的基于教师分割模型增加patch分类分支具体包括：
步骤S1021：教师分割网络模型训练完成后，在教师分割网络模型的Bottleneck层之后增加patch分类分支，所述patch分类分支由5个卷积层、2个最大池化层及3个全连接层组成，最终全连接层输出值个数为2，分别对应前景和背景两类，其训练过程具体包括：
步骤S10211：固定教师分割模型网络参数，输入训练样本采用交叉熵损失函数训练分类分支参数，直至损失函数值趋于稳定；
步骤S10212：降低学习率，使用训练样本针对整体教师网络模型参数进行训练，直至模型收敛。
进一步的，所述步骤S103构建基于patch的学生分类网络模型，并采用知识蒸馏损失函数训练学生分类网络模型具体为：整体教师网络模型训练完成后，构建学生分类网络模型，模型整体架构由与教师网络模型相同的编码器和分类分支组成，令教师网络模型中的分类器为，学生网络模型中的分类其为/>，学生网络模型训练的交叉熵损失函数为/>，知识蒸馏损失函数为/>，则整体损失函数/>由公式4定义：/>，公式4。
本申请技术方案采用交叉熵损失函数作为学生网络训练损失函数，为了使学生网络的类别输出预测分布尽可能拟合教师网络输出预测分布，在上述整体损失函数L的第二项中，采用带温度参数/>的softmax函数计算教师网络和学生网络中分类器的输出概率，因此最终的整体损失函数的形式为公式5：
公式5，
其中为学生网络模型patch类别标签，/>和/>分别为学生网络分类器和教师网络分类器的logits，/>，/>分别表示损失函数第一项和第二项的权重。
进一步的，所述步骤S103的知识蒸馏损失函数训练学生分类网络模型包括以下步骤：
步骤S1031：调低教师网络模型分类分支中息肉病灶类型的判定置信度，降低模型息肉病灶识别假阴性率，将教师网络中判定为息肉病灶的所有图像patch作为学生网络输入，patch类别为该patch真实类别（即如果该patch对应的掩膜图像含有息肉病灶区域则类别为1，否则为0）；
步骤S1032：采用上述整体损失函数公式6对学生网络参数进行训练，直至模型收敛。
本发明的最终测试过程包括以下步骤：将输入图像划分为64张大小相同的patch，输入教师网络模型中得到64张patch掩膜，并得到64张patch的类别，然后将分类为前景的patch图像输入学生网络中，得到这些patch最终的分类标签，依据最终分类标签对patch掩膜进行纠正。
进一步的，所述对patch掩膜进行纠正包括以下步骤：
步骤S104：若patch掩膜含有像素值大于0的区域但该patch分类标签为0，则替换该patch掩膜为背景掩膜；
步骤S105：若patch掩膜像素值均为0但该patch分类标签为1，则保持patch掩膜不变。
进一步参考图4本发明息肉病灶分割设备组成示意图，本发明的息肉病灶分割设备10进一步包括一个或多个存储器20及一个或多个处理器30，其中所述一个或多个计算机程序被存储在所述存储器20中，并且被配置成由所述一个或多个处理器30执行，所述处理器30执行所述计算机程序时实现息肉病灶分割方法的步骤。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行，其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，实施例中记载的技术特征可以进行等同替换或组合。
需要说明的是，对于设备类实施例而言，由于其与方法实施例基本相似，所以描述的较为简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种息肉病灶分割方法，包括输入图像和掩膜图像，其特征在于，包括如下步骤：
步骤S101：构建基于patch的电镜图片教师分割网络模型，并对电镜图片教师分割网络模型进行训练；
步骤S102：基于电镜图片教师分割网络模型增加patch分类分支，在电镜图片教师分割网络模型的训练基础上继续训练新模型，进一步微调电镜图片教师分割网络模型的网络参数，训练patch分类分支参数；
步骤S103：构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型。
2.如权利要求1所述的息肉病灶分割方法，其特征在于，进一步还包括以下步骤：将输入图像划分为64张大小相同的patch，输入电镜图片教师分割网络模型中得到64张patch掩膜，并得到64张patch的类别，并将分类为前景的patch图像输入学生网络模型中，得到patch最终的分类标签，依据分类标签对patch掩膜进行纠正，所述对patch掩膜进行纠正包括以下步骤：
步骤S104：若patch掩膜含有像素值大于0的区域但patch分类标签为0，则将patch掩膜中的所有像素值纠正为0；
步骤S105：若patch掩膜像素值均为0但patch分类标签为1，则保持patch掩膜不变。
3.如权利要求1所述的息肉病灶分割方法，其特征在于，所述步骤S101具体包括：
步骤101将编码层特征图分别经过步骤102的第一最大池化处理和步骤103的第二平均池化处理；
步骤201将解码层特征图分别经过步骤202的第三最大池化处理和步骤203的第四平均池化处理，从而生成四组特征图；
进而将所述四组特征图分别进行步骤104的第一卷积处理并激活、步骤105的第二卷积处理并激活、步骤204的第三卷积处理并激活及步骤205的第四卷积处理并激活，之后将第一卷积和第二卷积连接进行步骤106的第一连接处理，第三卷积和第四卷积连接进行步骤206的第二连接处理；
步骤107对第一连接处理结果和步骤201的解码层特征图进行交叉点积运算；
步骤207对第二连接处理结果和步骤101的编码层特征图进行交叉点积运算；
将所述步骤107和步骤207的两个交叉点积运算结果进行步骤108的第三连接处理；
步骤109输出卷积结果。
4.如权利要求3所述的息肉病灶分割方法，其特征在于，所述卷积结果由公式1-3所示：
，公式1；
，公式2；
，公式3；
其中，Fe与Fc分别表示UNet跨越连接对应的编码层输出的特征图组以及解码层输出的特征图组，C代表Concatenate处理，RC表示卷积并进行ReLU激活处理，Conv表示卷积处理，表示最大池化，/>表示平均池化。
5.如权利要求1所述的息肉病灶分割方法，其特征在于，所述步骤S101的教师分割网络模型的训练过程包括：
步骤S1011：将输入图像和掩膜图像采用均分方式进行分块，每张图片均分成大小相同的64个patch，由图像patch和对应的掩膜patch组成训练样本；
步骤S1012：输入训练样本，采用交叉熵与Dice函数之和作为损失函数对分割模型进行训练；
步骤S1013：训练直至损失函数值趋于稳定并不再下降时截止。
6.如权利要求1所述的息肉病灶分割方法，其特征在于，所述步骤S102的基于电镜图片教师分割网络模型增加patch分类分支具体包括以下步骤：
步骤S1021：电镜图片教师分割网络模型训练过程完成后，在教师分割网络模型的Bottleneck层之后增加patch分类分支，所述patch分类分支由5个卷积层、2个最大池化层及3个全连接层组成，最终全连接层输出值个数为2，分别对应前景和背景两类。
7.如权利要求6所述的息肉病灶分割方法，其特征在于，所述电镜图片教师分割网络模型训练过程具体包括：
步骤S10211：固定教师分割模型网络参数，输入训练样本采用交叉熵损失函数训练分类分支参数，直至损失函数值趋于稳定；
步骤S10212：降低学习率，使用训练样本针对整体教师网络模型参数进行训练，直至模型收敛。
8.如权利要求1所述的息肉病灶分割方法，其特征在于，所述步骤S103构建基于patch的学生网络模型，并采用知识蒸馏损失函数训练学生分类网络模型具体为：
在整体的电镜图片教师分割网络模型训练完成后，构建学生网络模型，所述学生网络模型整体架构由与电镜图片教师分割网络模型相同的编码器和分类分支组成，令教师网络模型中的分类器为，学生网络模型中的分类其为/>，学生网络模型训练损失函数为/>，知识蒸馏损失函数为/>，则整体损失函数/>由公式4定义：/>，公式4。
9.如权利要求8所述的息肉病灶分割方法，其特征在于，进一步采用带温度参数的softmax函数计算教师网络和学生网络中分类器的输出概率，整体损失函数L的形式为公式5：
，公式5，
其中为学生网络模型patch类别标签，/>和/>分别为学生网络分类器和教师网络分类器的logits，/>，/>分别表示损失函数第一项以及第二项的权重。
10.如权利要求8所述的息肉病灶分割方法，其特征在于，所述步骤S103的知识蒸馏损失函数训练学生分类网络模型进一步包括以下步骤：
步骤S1031：调低教师网络模型分类分支中息肉病灶类型的判定置信度，降低模型息肉病灶识别假阴性率，将电镜图片教师分割网络模型中判定为息肉病灶的所有图像patch作为学生网络输入，如patch对应的掩膜图像含有息肉病灶区域则类别为1，否则为0；
步骤S1032：采用上述整体损失函数公式5对学生网络参数进行训练，直至模型收敛。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的息肉病灶分割方法的步骤。
12.一种息肉病灶分割设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的息肉病灶分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311039600.4A CN116797611B (zh) | 2023-08-17 | 2023-08-17 | 一种息肉病灶分割方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311039600.4A CN116797611B (zh) | 2023-08-17 | 2023-08-17 | 一种息肉病灶分割方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797611A true CN116797611A (zh) | 2023-09-22 |
| CN116797611B CN116797611B (zh) | 2024-04-30 |
Family
ID=88044003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311039600.4A Active CN116797611B (zh) | 2023-08-17 | 2023-08-17 | 一种息肉病灶分割方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797611B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118314352A (zh) * | 2024-06-07 | 2024-07-09 | 安徽农业大学 | 一种基于补丁级分类标签的农作物遥感图像分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369565A (zh) * | 2020-03-09 | 2020-07-03 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于图卷积网络的数字病理图像的分割与分类方法 |
| CN113837308A (zh) * | 2021-09-29 | 2021-12-24 | 北京百度网讯科技有限公司 | 基于知识蒸馏的模型训练方法、装置、电子设备 |
| WO2022088665A1 (zh) * | 2020-10-30 | 2022-05-05 | 平安科技（深圳）有限公司 | 病灶分割方法、装置及存储介质 |
| CN114693706A (zh) * | 2022-06-01 | 2022-07-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种内窥镜息肉图像分割方法、装置及存储介质 |
| EP4075325A1 (en) * | 2021-04-15 | 2022-10-19 | Ardigen S.A. | Method and system for the classification of histopathological images based on multiple instance learning |
| CN115331009A (zh) * | 2022-08-17 | 2022-11-11 | 西安理工大学 | 基于多任务MeanTeacher的医学图像分割方法 |
-
2023
- 2023-08-17 CN CN202311039600.4A patent/CN116797611B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369565A (zh) * | 2020-03-09 | 2020-07-03 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于图卷积网络的数字病理图像的分割与分类方法 |
| WO2022088665A1 (zh) * | 2020-10-30 | 2022-05-05 | 平安科技（深圳）有限公司 | 病灶分割方法、装置及存储介质 |
| EP4075325A1 (en) * | 2021-04-15 | 2022-10-19 | Ardigen S.A. | Method and system for the classification of histopathological images based on multiple instance learning |
| CN113837308A (zh) * | 2021-09-29 | 2021-12-24 | 北京百度网讯科技有限公司 | 基于知识蒸馏的模型训练方法、装置、电子设备 |
| CN114693706A (zh) * | 2022-06-01 | 2022-07-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种内窥镜息肉图像分割方法、装置及存储介质 |
| CN115331009A (zh) * | 2022-08-17 | 2022-11-11 | 西安理工大学 | 基于多任务MeanTeacher的医学图像分割方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118314352A (zh) * | 2024-06-07 | 2024-07-09 | 安徽农业大学 | 一种基于补丁级分类标签的农作物遥感图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797611B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706526B (zh) | 内窥镜图像特征学习模型、分类模型的训练方法和装置 | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN111489324B (zh) | 一种融合多模态先验病理深度特征的宫颈图像分类方法 | |
| CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| Muhammad et al. | Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems | |
| CN116797611B (zh) | 一种息肉病灶分割方法、设备及存储介质 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN113129310B (zh) | 一种基于注意力路由的医学图像分割系统 | |
| CN117115448B (zh) | 基于深度神经网络的图像语义分割方法、装置及设备 | |
| CN110648331A (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN113902945A (zh) | 一种多模态乳腺磁共振图像分类方法及系统 | |
| CN115205520A (zh) | 胃镜图像智能目标检测方法、系统、电子设备及存储介质 | |
| CN114399465A (zh) | 良恶性溃疡识别方法及系统 | |
| CN115294086A (zh) | 医学影像分割方法、分割模型训练方法、介质及电子设备 | |
| CN117151162A (zh) | 基于自监督与专家门控的跨解剖区域器官增量分割方法 | |
| Kusakunniran et al. | Encoder-decoder network with RMP for tongue segmentation | |
| Gou et al. | Artificial intelligence multiprocessing scheme for pathology images based on transformer for nuclei segmentation | |
| CN117094963A (zh) | 一种眼底图像病灶分割方法、系统、设备及存储介质 | |
| Zhai et al. | Multi-focus image fusion via interactive transformer and asymmetric soft sharing | |
| CN116310335A (zh) | 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN115272283A (zh) | 一种结直肠肿瘤的内窥oct图像分割方法、设备、介质及产品 | |
| CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
| CN114155251A (zh) | 一种上下文感知卷积神经网络的全脑三维解剖结构分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |