CN116862885A - 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 - Google Patents
超声图像病变检测的分割引导去噪知识蒸馏方法及装置 Download PDFInfo
- Publication number
- CN116862885A CN116862885A CN202310865321.7A CN202310865321A CN116862885A CN 116862885 A CN116862885 A CN 116862885A CN 202310865321 A CN202310865321 A CN 202310865321A CN 116862885 A CN116862885 A CN 116862885A
- Authority
- CN
- China
- Prior art keywords
- network
- lesion
- image
- student
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 134
- 230000011218 segmentation Effects 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 15
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 101150064138 MAP1 gene Proteins 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 108010089741 opacity factor Proteins 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004821 distillation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了超声图像病变检测的分割引导去噪知识蒸馏方法及装置，为解决知识蒸馏中的重构误差失灵问题，对知识蒸馏网络进行改进，搭建了学生教师分割引导的去噪网络模型，包括编码器解码教师网络，去噪的编码器解码器学生网络，分割网络。鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示。并且增加了一个分割网络，用额外的监督信号来指导特征融合。本发明对知识蒸馏中的重构误差失灵问题进行理论研究、推动了分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用，同时能够提高医学超声图像检测的准确性和可靠性，辅助医生进行更好的诊断和评估，降低超声图像检测所需的标注量和计算资源，节省时间和成本。
Description
技术领域
本发明涉及医学超声图像病变检测领域，尤其涉及超声图像病变检测的分割引导去噪知识蒸馏方法及装置。
背景技术
医学图像分割是计算机视觉的研究热点。具体来说，乳腺肿瘤检测是一项医学分割中的任务，肿瘤区域的精确分割对患者肿瘤的鉴别诊断和治疗发挥着关键的作用。目前，传统的人工手动分割肿瘤是一项耗时耗力的任务,并且分割结果在一定程度上取决于医生的经验,有时会出现误判的情况,因此自动、高效的肿瘤分割算法具有很强的临床意义。二维超声图像具有成本低、采集速度快、无创介入等优点，它经常被用作现代医学筛查乳腺癌的首选方法之一。因此，基于深度学习的医学超声图像病变检测算法，有着重要的学术研究价值和市场应用前景。
知识蒸馏即学生教师框架已被证明可应用在医学超声图像病变检测场景中。在该框架中，教师网络已经在大型数据集上进行了预训练，它可以在正常和病变区域生成判别特征表示。因此，利用未进行大规模训练的学生网络无法正常识别病变图像特征的特性，来检测病变图像和病变像素。
过去已经提出了一些解决方案来提高对各种类型病变的识别。例如，集成学习来训练多个学生网络并利用其特征表示的不规则性来识别病变，多级特征表示对齐来捕获低级和高级病变，但存在一些问题。过去基于知识蒸馏的应用于医学超声图像病变检测的解决方案中存在的问题如下：
1、一般用知识蒸馏检测医学图像病变时，教师网络已经在大型数据集上进行了预训练，它可以在正常和病变区域生成判别特征表示。因此，利用未进行大规模训练的学生网络无法正常识别病变图像特征的特性，来检测病变图像。通常会建立一个优化目标来鼓励学生网络生成不同于老师的特定病变特征，此类知识蒸馏网络在训练过程重点是提高网络的特征在正常图像上的相似性，没有主动对病变图像进行约束，因此不能保证网络提取的病变图像特征总是不同的。即使存在病变，学生网络也可能过度泛化，并输出与教师网络相似的特征，即重构误差失灵，所以造成了检测病变图像的准确率低的问题。
2、以往的知识蒸馏网络中教师网络和学生网络架构是相同的编码器，但是不符合鉴于特征重构任务，学生网络不应该等同于教师网络的架构。因为重建早期层的特征的过程，CNN的下层捕获局部信息，如纹理和颜色。相比之下，CNN的上层表示全局语义信息。去噪的学生网络需要被教师网络引导重构出相应的正常图像的特征，这样的任务依赖于图像的全局语义信息，仅靠较低的几个层是无法完美完成的。
3、特征融合方式是将多层次特征的余弦距离直接求和表示每个像素的病变值的这种以经验的方式聚合多层特征差异，然而，所有级别特征的鉴别准确率低。
针对以上总结的目前医学超声图像病变检测的现状和问题，基于知识蒸馏的方法需要进行改进。为此，本发明提出超声图像病变检测的分割引导去噪知识蒸馏方法及装置。
发明内容
本发明的目的是针对目前医学超声图像病变检测的现状和问题，提出超声图像病变检测的分割引导去噪知识蒸馏方法及装置，对知识蒸馏中的重构误差失灵问题进行理论研究，推动分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用。
超声图像病变检测的分割引导去噪知识蒸馏方法，包括如下步骤：
S1，准备正常图像数据集，每张正常图像生成对应病变图像掩膜，生成对应的病变图像，划分训练集和测试集；
S2，构建学生教师网络，预训练学生教师网络，对教师网络输入正常图像，由教师网络得到特征提取器，用于提取正常图像特征，对学生网络输入相对应病变图像，各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离，由学生网络被教师网络的权重引导重建正常图像；
S3，同时对学生教师网络输入病变图像，分别得到三个不同尺度的特征图，计算学生教师网络层之间的特征余弦距离，进行上采样，送入分割网络，训练分割网络，对应的二进制掩膜为真实值，损失函数优化分割病变像素；
S4，测试图像送入学生教师网络，将分割预测上采样到输入图像尺寸大小，作为病变评分图。
优选的，步骤S1包括：
S11，生成随机二维柏林噪声，并按预设阈值进行二值化，得到每个样本的病变掩膜Mi；
S12，利用病变掩膜与正常图像生成对应的病变图像；
S13，数据集为D，将正常图像和对应的病变图像，病变图像、病变图像和对应的掩膜，分别组成图像对划分训练集和测试集/>测试集包括部分病变图像对，训练集与测试集图像互斥。
优选的，步骤S2包括：
S21，构建学生教师去噪网络，这个网络包括，去噪的学生编码器-解码器网络，教师编码器-解码器网络，其骨干架构为U-Net，在跳跃连接线上增加注意力机制，教师网络编码器是一个ImageNet预训练的ResNet18，去掉最后conv5_x块，从剩下的三个块中提取输出特征图，即conv2_x,conv3_x和conv4_x分别记为T1，T2和T3，它可以在正常和病变区域生成判别特征表示，解码器是一个反向ResNet18。对于去噪的学生网络，编码器是一个随机初始化的ResNet18，包含所有块，分别命名为解码器是一个反向ResNet18，有四个残差块，分别命名为/>和/>
S22，使用生成病变图像作为学生网络的输入，而正常图像作为教师网络的输入，教师网络的权重是固定的，训练学生模块，教师模块和学生模块各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离；
S23，损失是三个不同特征层之间的距离之和，由学生网络被教师网络的权重引导重建正常图像。
优选的，步骤S3包括：
S31，构建学生教师分割引导去噪网络，这个网络包括：去噪的学生编码器解码器网络、教师编码器解码器网络、分割网络，分割网络包括两个残差块和一个空间金字塔池化(ASPP)模块；
S32，固定学生网络和教师网络的权重来训练分割网络，利用生成病变图像对作为学生网络和教师网络的输入，对应的病变掩膜为真实值，计算特征图的相似度，并上采样到与X1相同的大小，用focal损失和L1损失对训练进行优化。
优选的，步骤S12的计算公式是：
Ia＝β(M·A)+(1-β)(M·In)+(1-M)·In
(1)
其中，符号·表示逐元素的乘法运算，M指生成随机二维柏林噪声，通过设定阈值进行二值化，得到的病变掩膜M，In指正常图像，A指随机外部图像，Ia指病变图像，β指[0.15,1]之间的随机选择的不透明因子。
优选的，步骤S22的计算公式是：
其中，符号指/>层的特征表示，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，/>指/>层的特征表示，i,j代表特征图上的空间坐标。
优选的，步骤S23的计算公式是：
其中，符号Hk代表特征图的高度，Wk代表特征图的宽度。
优选的，步骤S32的计算公式是：
Lseg＝Lfocal+λLl1 (7)
其中，H1、W1分别代表特征图1的高度和宽度，Mij是下采样病变掩膜，是输出概率图，γ是focal损失的参数，λ是加权系数。
优选的，步骤S4对待测图片进行病变检测得到待测图片的病变得分图Score_map，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的病变区域。步骤S4的计算公式是：
其中，C表示特征图的通道数，Mij是下采样病变掩膜，是输出概率。
超声图像病变检测的分割引导去噪知识蒸馏装置，包括以下功能模块：
特征提取模块，用于对图像进行预训练得到学生教师网络，提取三个不同尺度的特征图；
处理模块，将特征图差异上采样，其差异送入分割网络；
检测模块，将分割预测上采样到输入图像尺寸大小，作为病变评分图，检测病变图像。
与最接近的现有技术相比，本发明提供的技术方案具有如下有益效果：
1、现有技术在训练过程中的重点是提高网络的特征在正常图像上的相似性，没有主动对病变图像进行约束，因此不能保证网络提取的病变图像特征总是不同的；为此，本发明进一步赋予学生网络一个更直接的目标：在病变图像的病变特征上建立正常的特征，鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示；
2、现有技术的知识蒸馏网络中教师网络和学生网络架构是完全相同的，但是不符合鉴于特征重构任务；为此，本发明搭建了学生教师分割引导的去噪网络模型，包括一个编码器解码器教师网络，一个去噪的编码器解码器学生网络，一个分割网络，鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示。
3、现有技术的特征融合方式是将多层次特征的余弦距离直接求和表示每个像素的病变值的这种以经验的方式聚合多层特征差异，然而，所有级别特征的鉴别准确率低；为了解决这一问题，本发明增加了一个分割网络，用额外的监督信号来指导特征融合，经实验验证此方法有效，本发明对知识蒸馏中的重构误差失灵问题进行的理论研究、推动分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用具有非常重要的意义，同时能够提高医学超声图像检测的准确性和可靠性，辅助医生进行更好的诊断和评估，降低超声图像检测所需的标注量和计算资源，节省时间和成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为学生教师去噪网络的训练流程；
图2为学生教师分割引导去噪网络训练流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供一种技术方案：
超声图像病变检测的分割引导去噪知识蒸馏方法，包括如下步骤：
S1，准备正常图像数据集，每张正常图像生成对应病变图像掩膜，生成对应的病变图像，划分训练集和测试集；
S2，构建学生教师网络，预训练学生教师网络，对教师网络输入正常图像，由教师网络得到特征提取器，用于提取正常图像特征，对学生网络输入相对应病变图像，各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离，由学生网络被教师网络的权重引导重建正常图像；
S3，同时对学生教师网络输入病变图像，分别得到三个不同尺度的特征图，计算学生教师网络层之间的特征余弦距离，进行上采样，送入分割网络，训练分割网络，对应的二进制掩膜为真实值，损失函数优化分割病变像素；
S4，测试图像送入学生教师网络，将分割预测上采样到输入图像尺寸大小，作为病变评分图。
进一步的，步骤S1包括：
S11，生成随机二维柏林噪声，并按预设阈值进行二值化，得到每个样本的病变掩膜Mi；
S12，利用病变掩膜与正常图像生成对应的病变图像；
S13，数据集为D，将正常图像和对应的病变图像，病变图像、病变图像和对应的掩膜，分别组成图像对划分训练集和测试集/>测试集包括部分病变图像对，训练集与测试集图像互斥。
进一步的，步骤S2包括：
S21，构建学生教师去噪网络，这个网络包括，去噪的学生编码器-解码器网络，教师编码器-解码器网络，其骨干架构为U-Net，在跳跃连接线上增加注意力机制，教师网络编码器是一个ImageNet预训练的ResNet18，去掉最后conv5_x块，从剩下的三个块中提取输出特征图，即conv2_x,conv3_x和conv4_x分别记为T1，T2和T3，它可以在正常和病变区域生成判别特征表示，解码器是一个反向ResNet18。对于去噪的学生网络，编码器是一个随机初始化的ResNet18，包含所有块，分别命名为解码器是一个反向ResNet18，有四个残差块，分别命名为/>和/>
S22，使用生成病变图像作为学生网络的输入，而正常图像作为教师网络的输入，教师网络的权重是固定的，训练学生模块，教师模块和学生模块各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离；
S23，损失是三个不同特征层之间的距离之和，由学生网络被教师网络的权重引导重建正常图像。
进一步的，步骤S3包括：
S31，构建学生教师分割引导去噪网络，这个网络包括：去噪的学生编码器解码器网络、教师编码器解码器网络、分割网络，分割网络包括两个残差块和一个空间金字塔池化(ASPP)模块；
S32，固定学生网络和教师网络的权重来训练分割网络，利用生成病变图像对作为学生网络和教师网络的输入，对应的病变掩膜为真实值，计算特征图的相似度，并上采样到与X1相同的大小，用focal损失和L1损失对训练进行优化。
进一步的，步骤S12的计算公式是：
Ia＝β(M·A)+(1-β)(M·In)+(1-M)·In
(1)
其中，符号·表示逐元素的乘法运算，M指生成随机二维柏林噪声，通过设定阈值进行二值化，得到的病变掩膜M，In指正常图像，A指随机外部图像，Ia指病变图像，β指[0.15,1]之间的随机选择的不透明因子。
进一步的，步骤S22的计算公式是：
其中，符号指/>层的特征表示，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，/>指/>层的特征表示，i,j代表特征图上的空间坐标。
进一步的，步骤S23的计算公式是：
其中，符号Hk代表特征图的高度，Wk代表特征图的宽度。
进一步的，步骤S32的计算公式是：
Lseg＝Lfocal+λLl1 (7)
其中，H1、W1分别代表特征图1的高度和宽度，Mij是下采样病变掩膜，是输出概率图，γ是focal损失的参数，λ是加权系数。
进一步的，步骤S4对待测图片进行病变检测得到待测图片的病变得分图Score_map，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的病变区域。步骤S4的计算公式是：
其中，C表示特征图的通道数，Mij是下采样病变掩膜，是输出概率。
超声图像病变检测的分割引导去噪知识蒸馏装置，包括以下功能模块：
特征提取模块，用于对图像进行预训练得到学生教师网络，提取三个不同尺度的特征图；
处理模块，将特征图差异上采样，其差异送入分割网络；
检测模块，将分割预测上采样到输入图像尺寸大小，作为病变评分图，检测病变图像。
综上所述，本发明为了提高医学超声图像病变检测精度，解决知识蒸馏中的重构误差失灵问题，搭建了学生教师分割引导的去噪网络模型，包括一个编码器解码器教师网络，一个去噪的编码器解码器学生网络，一个分割网络。鼓励去噪后的学生网络在检测病变图像时产生与教师网络更加不同的特征表示。并且增加了一个分割网络，用额外的监督信号来指导特征融合。本发明对知识蒸馏中的重构误差失灵问题进行的理论研究、推动分割引导的去噪知识蒸馏技术在医学超声图像病变检测的广泛应用具有非常重要的意义。
上述实施方式只是用于图示本发明的技术方案而不是限制，虽然本发明已参考最佳实施例详细描述，但本领域技术人员应该明白，在不背离其精神和范围的情况下，可以对其进行改进或等效替代。
Claims (10)
1.超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，包括如下步骤：
S1，准备正常图像数据集，每张正常图像生成对应病变图像掩膜，生成对应的病变图像，划分训练集和测试集；
S2，构建学生教师网络，预训练学生教师网络，对教师网络输入正常图像，由教师网络得到特征提取器，用于提取正常图像特征，对学生网络输入相对应病变图像，各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离，由学生网络被教师网络的权重引导重建正常图像；
S3，同时对学生教师网络输入病变图像，分别得到三个不同尺度的特征图，计算学生教师网络层之间的特征余弦距离，进行上采样，送入分割网络，训练分割网络，对应的二进制掩膜为真实值，损失函数优化分割病变像素；
S4，测试图像送入学生教师网络，将分割预测上采样到输入图像尺寸大小，作为病变评分图。
2.根据权利要求1所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S1包括：
S11，生成随机二维柏林噪声，并按预设阈值进行二值化，得到每个样本的病变掩膜Mi；
S12，利用病变掩膜与正常图像生成对应的病变图像；
S13，数据集为D，将正常图像和对应的病变图像，病变图像、病变图像和对应的掩膜，分别组成图像对划分训练集和测试集/>测试集包括部分病变图像对，训练集与测试集图像互斥。
3.根据权利要求1所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S2包括：
S21，构建学生教师去噪网络，这个网络包括，去噪的学生编码器-解码器网络，教师编码器-解码器网络，其骨干架构为U-Net，在跳跃连接线上增加注意力机制，教师网络编码器是一个ImageNet预训练的ResNet18，去掉最后conv5_x块，从剩下的三个块中提取输出特征图，即conv2_x,conv3_x和conv4_x分别记为T1，T2和T3，它可以在正常和病变区域生成判别特征表示，解码器是一个反向ResNet18。对于去噪的学生网络，编码器是一个随机初始化的ResNet18，包含所有块，分别命名为解码器是一个反向ResNet18，有四个残差块，分别命名为/>和/>
S22，使用生成病变图像作为学生网络的输入，而正常图像作为教师网络的输入，教师网络的权重是固定的，训练学生模块，教师模块和学生模块各输出三个不同尺度的特征图，最小化学生教师网络层之间的特征图余弦距离；
S23，损失是三个不同特征层之间的距离之和，由学生网络被教师网络的权重引导重建正常图像。
4.根据权利要求1所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S3包括：
S31，构建学生教师分割引导去噪网络，这个网络包括：去噪的学生编码器解码器网络、教师编码器解码器网络、分割网络，分割网络包括两个残差块和一个空间金字塔池化(ASPP)模块；
S32，固定学生网络和教师网络的权重来训练分割网络，利用生成病变图像对作为学生网络和教师网络的输入，对应的病变掩膜为真实值，计算特征图的相似度，并上采样到与X1相同的大小，用focal损失和L1损失对训练进行优化。
5.根据权利要求2所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S12的计算公式是：
Ia＝β(M·A)+(1-β)(M·In)+(1-M)·In (1)
其中，符号·表示逐元素的乘法运算，M指生成随机二维柏林噪声，通过设定阈值进行二值化，得到的病变掩膜M，In指正常图像，A指随机外部图像，Ia指病变图像，β指[0.15,1]之间的随机选择的不透明因子。
6.根据权利要求3所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S22的计算公式是：
其中，符号指/>层的特征表示，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽，/>指/>层的特征表示，i,j代表特征图上的空间坐标。
7.根据权利要求3所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S23的计算公式是：
其中，符号Hk代表特征图的高度，Wk代表特征图的宽度。
8.根据权利要求4所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S32的计算公式是：
Lseg＝Lfocal+λLl1 (7)
其中，H1、W1分别代表特征图1的高度和宽度，Mij是下采样病变掩膜，是输出概率图，γ是focal损失的参数，λ是加权系数。
9.根据权利要求1所述的超声图像病变检测的分割引导去噪知识蒸馏方法，其特征在于，步骤S4对待测图片进行病变检测得到待测图片的病变得分图Score_map，通过设定阈值thresh，将大于该thresh地方的图像区域认为是检测图像上的病变区域。步骤S4的计算公式是：
其中，C表示特征图的通道数，Mij是下采样病变掩膜，是输出概率。
10.超声图像病变检测的分割引导去噪知识蒸馏装置，其特征在于，用于实现权利要求1-9任一项所述的方法，包括以下功能模块：
特征提取模块，用于对图像进行预训练得到学生教师网络，提取三个不同尺度的特征图；
处理模块，将特征图差异上采样，其差异送入分割网络；
检测模块，将分割预测上采样到输入图像尺寸大小，作为病变评分图，检测病变图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310865321.7A CN116862885A (zh) | 2023-07-14 | 2023-07-14 | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310865321.7A CN116862885A (zh) | 2023-07-14 | 2023-07-14 | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116862885A true CN116862885A (zh) | 2023-10-10 |
Family
ID=88230167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310865321.7A Pending CN116862885A (zh) | 2023-07-14 | 2023-07-14 | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862885A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576518A (zh) * | 2024-01-15 | 2024-02-20 | 第六镜科技(成都)有限公司 | 图像蒸馏方法、装置、电子设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902761A (zh) * | 2021-11-02 | 2022-01-07 | 大连理工大学 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
| CN114663392A (zh) * | 2022-03-22 | 2022-06-24 | 聚时科技(上海)有限公司 | 一种基于知识蒸馏的工业图像缺陷检测方法 |
| CN115641443A (zh) * | 2022-12-08 | 2023-01-24 | 北京鹰瞳科技发展股份有限公司 | 训练图像分割网络模型的方法、处理图像的方法及产品 |
-
2023
- 2023-07-14 CN CN202310865321.7A patent/CN116862885A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902761A (zh) * | 2021-11-02 | 2022-01-07 | 大连理工大学 | 基于知识蒸馏的肺部疾病病灶无监督分割方法 |
| CN114663392A (zh) * | 2022-03-22 | 2022-06-24 | 聚时科技(上海)有限公司 | 一种基于知识蒸馏的工业图像缺陷检测方法 |
| CN115641443A (zh) * | 2022-12-08 | 2023-01-24 | 北京鹰瞳科技发展股份有限公司 | 训练图像分割网络模型的方法、处理图像的方法及产品 |
Non-Patent Citations (1)
| Title |
|---|
| XUAN ZHANG等: "DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection", 《ARXIV》, pages 1 - 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576518A (zh) * | 2024-01-15 | 2024-02-20 | 第六镜科技(成都)有限公司 | 图像蒸馏方法、装置、电子设备和计算机可读存储介质 |
| CN117576518B (zh) * | 2024-01-15 | 2024-04-23 | 第六镜科技(成都)有限公司 | 图像蒸馏方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782694B (zh) | 无监督异常检测方法、系统、设备及存储介质 | |
| CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| Santos et al. | A new approach for detecting fundus lesions using image processing and deep neural network architecture based on YOLO model | |
| Liu et al. | ECSD-Net: A joint optic disc and cup segmentation and glaucoma classification network based on unsupervised domain adaptation | |
| CN114219755B (zh) | 基于图像和临床数据的肺结核智能检测方法及系统 | |
| CN115601604B (zh) | 一种基于长短时记忆网络的多任务微泡轨迹追踪方法 | |
| CN110020658A (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN116862885A (zh) | 超声图像病变检测的分割引导去噪知识蒸馏方法及装置 | |
| CN111724365B (zh) | 血管内动脉瘤修复手术的介入器械检测方法、系统及装置 | |
| CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| Nie et al. | Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning | |
| Zhao et al. | Automatic detection and segmentation on gas plumes from multibeam water column images | |
| CN118115507A (zh) | 基于跨域类别感知图卷积对齐的图像分割方法 | |
| Wen | Automatic tongue contour segmentation using deep learning | |
| Hossain et al. | Automated breast tumor ultrasound image segmentation with hybrid UNet and classification using fine-tuned CNN model | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| US20230052145A1 (en) | Explaining a model output of a trained model | |
| CN113764101A (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
| CN116740041B (zh) | 基于机器视觉的cta扫描图像分析系统及其方法 | |
| CN116630286B (zh) | 一种图像异常检测与定位的方法、装置、设备及存储介质 | |
| CN117522891A (zh) | 一种3d医学图像分割系统及方法 | |
| Samudrala et al. | Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet | |
| Jalali et al. | VGA‐Net: Vessel graph based attentional U‐Net for retinal vessel segmentation | |
| Li et al. | BAFormer: A Novel Boundary-Aware Compensation UNet-like Transformer for High-Resolution Cropland Extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20231010 |