CN117274750B - 一种知识蒸馏半自动可视化标注方法及系统 - Google Patents

一种知识蒸馏半自动可视化标注方法及系统 Download PDF

Info

Publication number
CN117274750B
CN117274750B CN202311573882.6A CN202311573882A CN117274750B CN 117274750 B CN117274750 B CN 117274750B CN 202311573882 A CN202311573882 A CN 202311573882A CN 117274750 B CN117274750 B CN 117274750B
Authority
CN
China
Prior art keywords
medical image
feature
image segmentation
model
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311573882.6A
Other languages
English (en)
Other versions
CN117274750A (zh
Inventor
马鹏程
王剑仲
刘莉
许娟
史文钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Health China Technologies Co Ltd
Original Assignee
Digital Health China Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Health China Technologies Co Ltd filed Critical Digital Health China Technologies Co Ltd
Priority to CN202311573882.6A priority Critical patent/CN117274750B/zh
Publication of CN117274750A publication Critical patent/CN117274750A/zh
Application granted granted Critical
Publication of CN117274750B publication Critical patent/CN117274750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种知识蒸馏半自动可视化标注方法及系统，涉及数据标注技术领域。包括得到预训练后的医学图像分割模型，优化模型预训练损失；基于医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；将医学图像数据集输入医学图像分割模型和图像特征预测模型后，提取第一特征图和第二特征图；根据图像分割标注生成语义mask，用语义mask加权平均池化，得到第一特征向量和第二特征向量；计算第一特征向量和第二特征向量之间的余弦相似度，得到医学图像分割模型的蒸馏误差；合并预训练损失和蒸馏误差得到总损失，基于总损失优化医学图像分割模型。本发明实现了协作标注和隐私保护，提升了医学标注效率。

Description

一种知识蒸馏半自动可视化标注方法及系统
技术领域
本发明涉及数据标注技术领域，具体涉及一种知识蒸馏半自动可视化标注方法及系统。
背景技术
随着深度学习在医学图像分析中的广泛应用，对大规模高质量标注数据的需求日益增长。然而，由专业医生进行手工标注费时费力，难以获取充足的标注数据。与此同时，医学院内积累了大量未标注的医学图像，直接丢弃这些数据将造成巨大浪费。近年来，自监督学习技术的发展为此带来机遇。通过设计预训练任务，自监督模型可以学习到数据的内在表征，而无需人工标注。而知识蒸馏技术可以让小型模型压缩大型模型的知识。如果能利用自监督学习预训练一个教师模型，再通过蒸馏使小学生模型模仿教师模型的输出，就可以训练出一个数据标注的“专家”模型。该模型可以为新采集的未标注图像提供自动化标注。医生只需要对其标注结果进行校验修正，就可以获得大量高质量标注数据。目前需要设计一种知识蒸馏半自动可视化标注方法及系统，其能够利用医院内现有的数据资源，满足自监督知识蒸馏的医学图像标注，减轻了医生工作负担，实现了自动化的协作标注和数据隐私的保护，提升了医学数据标注的效率和质量。
发明内容
本发明所要解决的技术问题是医生手动标注工作负担重，医学数据标注的效率和质量不高，目的在于提供一种知识蒸馏半自动可视化标注方法及系统，其能够利用医院内现有的数据资源，实现自监督知识蒸馏的医学图像标注，减轻了医生工作负担，满足了自动化的协作标注和数据隐私的保护，提升了医学数据标注的效率和质量。
本发明通过下述技术方案实现：
一种知识蒸馏半自动可视化标注方法，包括：S1：构建医学图像数据集；选择上述医学图像数据集中的部分图像构成图像子集，对上述图像子集进行图像分割标注，将标注后的上述图像子集分为医学图像样本集和医学图像验证集；S2：基于上述医学图像样本集训练得到医学图像分割模型；通过上述图像分割模型得到上述医学图像验证集的预测分割结果；S3：基于上述医学图像验证集的图像分割标注，计算上述预测分割结果的预训练损失，用以优化上述医学图像分割模型；S4：基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；上述图像特征预测模型用于输出待测试医学图像的预测图像特征；S5：将上述医学图像数据集的各医学图像分别输入上述医学图像分割模型和上述图像特征预测模型后，在上述医学图像分割模型和上述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；S6：根据图像分割的图像分割标注，在上述第一特征图和上述第二特征图上为每个语义区域生成语义mask；S7：分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；S8：计算上述第一特征向量和上述第二特征向量之间的余弦相似度；计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型的蒸馏误差；S9：通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，并基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
上述一种知识蒸馏半自动可视化标注方法还包括：S10：利用上述医学图像分割优化模型给出上述医学图像数据集的其中一个待检测样本的预测标注结果；S11：获取上述医学图像数据集的图像分割标注；根据上述待检测样本的上述预测标注结果对上述图像分割标注进行修正；将上述待检测样本及修正后的最终标注结果输入上述医学图像分割优化模型训练；S12：重复步骤S2~S11，得到最优的上述医学图像分割优化模型，直到上述医学图像数据集的所有图像标注完成。
上述分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量，通过如下公式计算得到：va=∑i xi*mi/∑i mi；vb=∑j xj*mj/∑j mj；
式中，va表示上述第一特征向量；vb表示上述第二特征向量；i表示上述第一特征图的位置标识，j表示上述第二特征图的位置标识；xi表示上述第一特征图的第i个位置上的特征值；xj表示上述第二特征图的j个位置上的特征值；mi表示上述第一特征图第i个位置的注意力权重；mj表示上述第二特征图第j个位置的注意力权重；∑i mi表示第i个上述第一特征图的注意力权重的归一化因子；∑j mj表示第j个上述第二特征图的注意力权重的归一化因子；上述第一特征图/上述第二特征图的上述语义mask基于对应位置的上述注意力权重的归一化因子处理后得到上述注意力权重。
上述计算上述预测分割结果的预训练损失采用交叉熵损失函数，表示为：Lseg=-∑k yk log(pk)；
式中，Lseg表示上述医学图像分割模型的交叉熵损失；yk表示图像中第k个像素的真实类别；pk表示第k个像素预测为yk类别的概率。
上述计算上述第一特征向量和上述第二特征向量之间的余弦相似度，表示为：sim(va,vb)=va·vb/(||va||*||vb||)；
式中，sim(va,vb)表示上述第一特征向量和上述第二特征向量之间的余弦相似度；va表示上述第一特征向量；vb表示上述第二特征向量；||va||表示上述第一特征向量的向量范数；||vb||表示上述第二特征向量的向量范数。
上述计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型和上述图像特征预测模型之间的蒸馏误差，表示为：
Lkd=||sim(va,vb)-sim(ta,tb)||；
式中，Lkd表示上述医学图像分割模型和上述图像特征预测模型之间的蒸馏误差；va表示上述第一特征向量；vb表示上述第二特征向量；sim(va,vb)表示上述第一特征向量和上述第二特征向量之间的余弦相似度；ta表示上述第一特征向量；tb表示上述第二特征向量；sim(ta,tb)表示上述第一特征向量和上述第二特征向量之间的目标相似度；||sim(va,vb)-sim(ta,tb)||表示上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值绝对值。
上述基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型，包括：
随机旋转上述医学图像数据集的所有图像，获得真实角度；将上述医学图像数据集的各图像分别输入预训练的上述图像特征预测模型，得到预测角度；
计算上述医学图像数据集的所有图像的上述预测角度与上述真实角度的均方误差，作为预训练损失，表示为：Lθ=∑i(θi-θi')^2；
式中，θi表示上述医学图像数据集第i个图像的实际旋转角度，θi'表示上述角度预测优化模型输出图像i的上述预测旋转角度；上述预训练损失通过损失反向传播算法更新上述图像特征预测模型的参数。
上述通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，通过如下公式计算得到：L=Lseg+α*Lkd；
式中，L表示上述医学图像分割模型的总损失；Lseg表示上述医学图像分割模型的预训练损失；Lkd表示上述医学图像分割模型的蒸馏误差；α表示上述医学图像分割模型的蒸馏误差权重系数。
上述基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，包括：
上述医学图像分割模型的总损失表示为：
L=f(x1,x2,...,xn)；
其中，x1,x2,...,xn表示上述医学图像分割模型的多个参数；
采用如下公式表示上述医学图像分割模型的总损失的梯度向量：；
式中，表示上述医学图像分割模型的总损失的梯度向量；表示上述医学图像分割模型的各参数的偏导数；
采用梯度下降优化算法减小，通过如下公式分别计算更新后的上述医学图像分割模型的多个参数；/>；
式中，表示参数xi（i=1，2，...，n）的新值，/>表示参数/>的学习率，/>是相对于参数/>的偏导数。
一种知识蒸馏半自动可视化标注系统，包括：医学图像采集模块：用于构建医学图像数据集；选择上述医学图像数据集中的部分图像构成图像子集，对上述图像子集进行图像分割标注，将标注后的上述图像子集分为医学图像样本集和医学图像验证集；图像分割预训练模块：用于基于上述医学图像样本集训练得到医学图像分割模型；通过上述图像分割模型得到上述医学图像验证集的预测分割结果；图像分割优化模块：用于基于上述医学图像验证集的图像分割标注，计算上述预测分割结果的预训练损失，用以优化上述医学图像分割模型；图像特征预训练模块：用于基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；上述图像特征预测模型用于输出待测试医学图像的预测图像特征；图像特征优化模块：用于将上述医学图像数据集的各医学图像分别输入上述医学图像分割模型和上述图像特征预测模型后，在上述医学图像分割模型和上述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；图像语义生成模块：用于根据图像分割的图像分割标注，在上述第一特征图和上述第二特征图上为每个语义区域生成语义mask；图像特征分析模块：用于分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；蒸馏误差分析模块：用于计算上述第一特征向量和上述第二特征向量之间的余弦相似度；计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型的蒸馏误差；图像分割修正模块：用于通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，并基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
本发明与现有技术相比，具有如下的优点和有益效果：
本申请提供一种知识蒸馏半自动可视化标注方法，通过构建医学图像数据集，并从中选择部分数据进行图像分割标注后得到医学图像样本集和医学图像验证集，用于后续医学图像分割模型的初步训练；基于医学图像样本集训练得到医学图像分割模型，然后通过模型得到医学图像验证集的预测分割结果；基于医学图像验证集的图像分割标注，计算预测分割结果的预训练损失，从而用以优化医学图像分割模型；基于医学图像数据集采用无监督预训练方法得到的特征数据训练得到图像特征预测模型，用于输出待测试医学图像的预测图像特征；将医学图像数据集的各医学图像分别输入医学图像分割模型和图像特征预测模型后，在中间层各自提取空间大小相同的第一特征图和第二特征图；根据图像分割的实际标注，在第一特征图和上述第二特征图上为每个语义区域生成语义mask；分别在第一特征图和第二特征图上用语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；计算第一特征向量和第二特征向量之间的余弦相似度；计算第一特征向量和第二特征向量之间的余弦相似度和目标相似度的差值，作为医学图像分割模型的蒸馏误差；通过反向传播算法，合并预训练损失和蒸馏误差得到上述医学图像分割模型的总损失，并基于述医学图像分割模型的总损失更新医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。本发明利用医院内现有的数据资源实现自监督知识蒸馏的医学图像标注，减轻了医生工作负担，满足了自动化的协作标注和数据隐私的保护，解决了医生手动标注工作负担重，医学数据标注的效率和质量不高的问题。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本申请实施例1知识蒸馏半自动可视化标注方法的流程图；
图2为本申请实施例1知识蒸馏半自动可视化标注系统的原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本申请实施例提供一种知识蒸馏半自动可视化标注方法，包括：S1：构建医学图像数据集；选择上述医学图像数据集中的部分图像构成图像子集，对上述图像子集进行图像分割标注，将标注后的上述图像子集分为医学图像样本集和医学图像验证集；S2：基于上述医学图像样本集训练得到医学图像分割模型；通过上述图像分割模型得到上述医学图像验证集的预测分割结果；S3：基于上述医学图像验证集的图像分割标注，计算上述预测分割结果的预训练损失，用以优化上述医学图像分割模型；S4：基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；上述图像特征预测模型用于输出待测试医学图像的预测图像特征；S5：将上述医学图像数据集的各医学图像分别输入上述医学图像分割模型和上述图像特征预测模型后，在上述医学图像分割模型和上述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；S6：根据图像分割的图像分割标注，在上述第一特征图和上述第二特征图上为每个语义区域生成语义mask；S7：分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；S8：计算上述第一特征向量和上述第二特征向量之间的余弦相似度；计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型的蒸馏误差；S9：通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，并基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
其中，收集数据构建医学图像数据集D。用户可以从医学图像数据集中选取10%-20%作为图像子集Ds。其中，图像子集Ds可以通过交互式图像标注工具T进行图像分割标注得到初始标注数据集L0。初始标注数据集L0分为医学图像样本集和医学图像验证集，可以为训练集占80%，验证集占20%；也可以训练集占70%，验证集占30%。训练集用于训练模型的数据集，模型通过学习训练集中的样本来调整自身的参数。验证集用于调整模型的超参数和进行模型选择。通过在验证集上评估模型的性能，可以选择最佳的超参数设置，以及选择最佳的模型。基于标注数据集L0，训练一个基础的全卷积网络医学图像分割模型A。医学图像分割模型A的输入为图像和对应图像分割标注，输出为预测分割结果，其中输出的输出是一个和原图像大小相同的二值图像，即掩膜图像。计算实际标注结果和模型预测结果之间的误差，从而优化模型参数。
在全部医学图像数据集D上，采用无监督预训练方法，训练一个卷积神经网络，得到图像特征预测模型B。可选的，可以采用旋转角度预测、图像颜色抖动、生成对抗网络等无监督预训练方法，获得更好的网络特征表达。比如，当采用旋转角度预测的无监督预训练方法时，图像特征预测模型B的输入为原始图像，输出为角度预测，从而计算得到的图像特征预测模型B为角度预测损失优化模型。
将医学图像数据集的各医学图像分别输入医学图像分割模型和图像特征预测模型，在医学图像分割模型和图像特征预测模型的网络中间层提取空间大小相同的第一特征图Fa和第二特征图Fb。
可选的，图像特征预测模型采用形态学损失来鼓励分割结果保持一个较好的形状。形态学损失是一种用于图像分割任务的无监督损失函数，常见的形态学损失包括：轮廓损失、区域损失、分水岭损失和距形损失；轮廓损失利用轮廓提取算法提取分割结果的轮廓,最小化轮廓图与原图之间的差距，使得分割轮廓更平滑。区域损失则利用形态学打开和闭运算平滑分割结果，最小化平滑前后结果的差距，使得分割区域更加连续。分水岭损失利用分水岭算法获得分割结果的标记图，最小化标记图与原图之间的差距，使得分割结果接近标记图。距形损失利用距离变换获得分割结果的距离图，最小化距离图与原图之间的差距。
根据图像分割标注，在第一特征图Fa和第二特征图Fb上为每个语义区域生成二值mask；分别在Fa和Fb上用mask加权平均池化，得到语义区域代表第一特征向量va和第二特征向量vb。通过最小化两模型学习到的特征相似度与两模型的目标相似度之间的偏差，计算出图像分割模型的总损失，从而通过反向传播算法，基于总损失L更新医学图像分割优化模型A的参数，得到优化后的图像分割优化模型A+。
上述一种知识蒸馏半自动可视化标注方法还包括：S10：利用上述医学图像分割优化模型给出上述医学图像数据集的其中一个待检测样本的预测标注结果；S11：获取上述医学图像数据集的图像分割标注；根据上述待检测样本的上述预测标注结果对上述图像分割标注进行修正；将上述待检测样本及修正后的最终标注结果输入上述医学图像分割优化模型训练；S12：重复步骤S2~S11，得到最优的上述医学图像分割优化模型，直到上述医学图像数据集的所有图像标注完成。
在医学图像数据集的新样本上利用工具T标注，并通过图像分割优化模型A+给出预测标注结果后，在图像预览页面提供用户查看。根据预测标注结果修正图像分割标注的错误，生成新的标注样本。将得到的新标注样本及标注输入图像分割优化模型模型A+进行训练，重复上述步骤S2~S9持续优化医学图像分割模型更新得到图像分割优化模型。循环步骤S10~S12，直至医学图像数据集的所有图像标注完成，最终得到优化后的医学图像分割模型A+，实现了智能协同标注。
上述分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量，通过如下公式计算得到：va=∑i xi*mi/∑i mi；vb=∑j xj*mj/∑j mj；
式中，va表示上述第一特征向量；vb表示上述第二特征向量；i表示上述第一特征图的位置标识，j表示上述第二特征图的位置标识；xi表示上述第一特征图的第i个位置上的特征值；xj表示上述第二特征图的j个位置上的特征值；mi表示上述第一特征图第i个位置的注意力权重；mj表示上述第二特征图第j个位置的注意力权重；∑i mi表示第i个上述第一特征图的注意力权重的归一化因子；∑j mj表示第j个上述第二特征图的注意力权重的归一化因子；上述第一特征图/上述第二特征图的上述语义mask基于对应位置的上述注意力权重的归一化因子处理后得到上述注意力权重。
其中，上述第一特征图上第i个位置的上述语义mask基于对应位置的注意力权重的归一化因子处理后得到注意力权重。上述第二特征图上第j个位置的语义mask基于对应位置的注意力权重的归一化因子处理后得到注意力权重。
加权平均池化是在通道注意力机制下的池化操作，通过注意力权重的学习,可以对重要的特征图给予更高权重，能保留注意到的重要特征信息。
上述计算上述预测分割结果的预训练损失采用交叉熵损失函数，表示为：Lseg=-∑k yk log(pk)；
式中，Lseg表示上述医学图像分割模型的交叉熵损失；yk表示图像中第k个像素的真实类别；pk表示第k个像素预测为yk类别的概率。
利用交叉熵损失函数衡量真实分布和预测分布之间的距离，通过损失最小化使预测分布接近真实分布，由于交叉熵损失函数更强调区分正确类别的置信度，可以得到更加明确的类别分割；使二值图像更接近原始图像比例。使其对图像每个像素的分类预测结果更准确，实现了图像分割模型的有效优化。
上述计算上述第一特征向量和上述第二特征向量之间的余弦相似度，表示为：sim(va,vb)=va·vb/(||va||*||vb||)；
式中，sim(va,vb)表示上述第一特征向量和上述第二特征向量之间的余弦相似度；va表示上述第一特征向量；vb表示上述第二特征向量；||va||表示上述第一特征向量的向量范数；||vb||表示上述第二特征向量的向量范数。
余弦相似度通过计算两个向量夹角的余弦值来判断相似度。两个向量方向越接近，夹角越小，则余弦值越大，表示相似度越高。
上述计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型和上述图像特征预测模型之间的蒸馏误差，表示为：
Lkd=||sim(va,vb)-sim(ta,tb)||；
式中，Lkd表示上述医学图像分割模型和上述图像特征预测模型之间的蒸馏误差；va表示上述第一特征向量；vb表示上述第二特征向量；sim(va,vb)表示上述第一特征向量和上述第二特征向量之间的余弦相似度；ta表示上述第一特征向量；tb表示上述第二特征向量；sim(ta,tb)表示上述第一特征向量和上述第二特征向量之间的目标相似度；||sim(va,vb)-sim(ta,tb)||表示上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值绝对值。
交叉熵为图像分割主任务的损失，知识蒸馏为图像分割分支任务的损失。利用蒸馏误差函数度量两个模型学习到的特征相似度与目标相似度之间的偏差，利用最小化误差使模型特征的相似关系接近目标，蒸馏误差使模型学习能独特表达，增加特征的多样性。
上述基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型，包括：
随机旋转上述医学图像数据集的所有图像，获得真实角度；将上述医学图像数据集的各图像分别输入预训练的上述图像特征预测模型，得到预测角度；
计算上述医学图像数据集的所有图像的上述预测角度与上述真实角度的均方误差，作为预训练损失，表示为：Lθ=∑i(θi-θi')^2；
式中，θi表示医学图像数据集第i个图像的实际旋转角度，θi'表示上述角度预测优化模型输出图像i的上述预测旋转角度；上述预训练损失通过损失反向传播算法更新上述图像特征预测模型的参数。
通过无监督预训练可以更好表达底层特征,有利于下游任务的模型训练。旋转角度预训练损失函数的优化使得模型预测的旋转角度能够尽可能接近每张图像的真实旋转角度。
可替代的，图像颜色抖动通过随机改变输入图像的颜色、对比度和饱和度等，生成抖动图像；输入抖动后的图像得到网络预测颜色抖动的参数，如亮度变化值；计算预测值和真实参数变化的误差作为预训练损失；通过回传更新网络参数，获得对颜色特征的建模。生成对抗网络通过定义一个生成网络G，输入噪声生成假图像，并定义一个判别网络D，输入图像判别真假，形成两网络对抗训练，网络G学习生成更逼真图像，D学习区分生成图像。
上述通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，通过如下公式计算得到：L=Lseg+α*Lkd；
式中，L表示上述医学图像分割模型的总损失；Lseg表示上述医学图像分割模型的预训练损失；Lkd表示上述医学图像分割模型的蒸馏误差；α表示上述医学图像分割模型的蒸馏误差权重系数。
医学图像分割模型的总损失函数是主任务损失Lseg与辅助损失Lkd的加权组合，通过α调节两任务损失的权重比例。主任务损失为分割精度，用于优化模型的主要目标。辅助损失为特征表达的区分性，引入额外的优化目标。α权重使两任务协同训练，模型既考虑分割精度，也考虑特征区分性，两者联合优化，既保证主任务效果，又实现辅助任务。
基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，包括：
上述医学图像分割模型的总损失表示为：L=f(x1,x2,...,xn)；
其中，x1,x2,...,xn表示上述医学图像分割模型的多个参数；
采用如下公式表示上述医学图像分割模型的总损失的梯度向量：；
式中，表示上述医学图像分割模型的总损失的梯度向量；表示上述医学图像分割模型的各参数的偏导数；
采用梯度下降优化算法减小，通过如下公式分别计算更新后的上述医学图像分割模型的多个参数；/>；
式中，表示参数xi（i=1，2，...，n）的新值，/>表示参数/>的学习率，/>是相对于参数/>的偏导数。
上述基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，包括：
上述医学图像分割模型的总损失表示为：
L=f(x1,x2,...,xn)；
其中，x1,x2,...,xn表示上述医学图像分割模型的多个参数；
采用如下公式表示上述医学图像分割模型的总损失的梯度向量：；
式中，表示上述医学图像分割模型的总损失的梯度向量；表示上述医学图像分割模型的各参数的偏导数；
采用梯度下降优化算法减小，通过如下公式分别计算更新后的上述医学图像分割模型的多个参数；/>；
式中，表示参数xi（i=1，2，...，n）的新值，/>表示参数/>的学习率，/>是相对于参数/>的偏导数。
模型参数可以包括权重参数W 和偏置参数b，共同决定了网络映射函数和表达能力，在训练过程中需要学习调整。权重参数表示网络中的权重矩阵，反映不同层之间的连接权重强度。偏置参数为网络层中的偏置向量，与权重参数一起组成一个层的参数。反向传播通过有效计算各项模型参数，调整各项模型参数以最小化总损失，完成网络训练。按梯度方向调整参数，可最大程度降低损失，通过迭代更新参数，使网络训练误差逐步减小，性能提高。
其中，总损失表示整个神经网络的性能，即模型的预测与实际标签之间的差距。偏导数是损失函数相对于模型参数的导数，衡量了总损失函数在参数空间中的局部变化率。梯度是偏导数的集合，总损失相对于模型的每个参数都有一个偏导数，这些偏导数组成了梯度向量，梯度向量包含了每个参数的偏导数。通过计算梯度，可以了解如何同时改变所有参数以最小化总损失。在梯度下降优化算法中，根据损失函数的梯度向量来更新模型的参数，具体将每个参数按照其对应的偏导数和学习率的乘积来更新。通过反向传播算法，能够计算损失函数对每个参数的偏导数，然后使用梯度下降等优化方法来调整参数以改进模型性能，医学图像分割模型达到了较高的分割准确率，同时学习到对图像信息的丰富表达。
实施例2
如图2所示，本申请实施例基于实施例1的方法提供一种知识蒸馏半自动可视化标注系统，包括：医学图像采集模块：用于构建医学图像数据集；选择上述医学图像数据集中的部分图像构成图像子集，对上述图像子集进行图像分割标注，将标注后的上述图像子集分为医学图像样本集和医学图像验证集；图像分割预训练模块：用于基于上述医学图像样本集训练得到医学图像分割模型；通过上述图像分割模型得到上述医学图像验证集的预测分割结果；图像分割优化模块：用于基于上述医学图像验证集的图像分割标注，计算上述预测分割结果的预训练损失，用以优化上述医学图像分割模型；图像特征预训练模块：用于基于上述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；上述图像特征预测模型用于输出待测试医学图像的预测图像特征；图像特征优化模块：用于将上述医学图像数据集的各医学图像分别输入上述医学图像分割模型和上述图像特征预测模型后，在上述医学图像分割模型和上述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；图像语义生成模块：用于根据图像分割的图像分割标注，在上述第一特征图和上述第二特征图上为每个语义区域生成语义mask；图像特征分析模块：用于分别在上述第一特征图和上述第二特征图上用上述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；蒸馏误差分析模块：用于计算上述第一特征向量和上述第二特征向量之间的余弦相似度；计算上述第一特征向量和上述第二特征向量之间的余弦相似度和目标相似度的差值，作为上述医学图像分割模型的蒸馏误差；图像分割修正模块：用于通过反向传播算法，合并上述预训练损失和上述蒸馏误差得到上述医学图像分割模型的总损失，并基于上述医学图像分割模型的总损失更新上述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
本申请实施例与实施例1的原理相同，在此不做重复描述。
综上，本申请提供一种知识蒸馏半自动可视化标注方法及系统：通过构建医学图像数据集，并从中选择部分数据进行图像分割标注后得到医学图像样本集和医学图像验证集，用于后续医学图像分割模型的初步训练；基于医学图像样本集训练得到医学图像分割模型，然后通过模型得到医学图像验证集的预测分割结果；基于医学图像验证集的图像分割标注，计算预测分割结果的预训练损失，从而用以优化医学图像分割模型；基于医学图像数据集采用无监督预训练方法得到的特征数据训练得到图像特征预测模型，用于输出待测试医学图像的预测图像特征；将医学图像数据集的各医学图像分别输入医学图像分割模型和图像特征预测模型后，在中间层各自提取空间大小相同的第一特征图和第二特征图；根据图像分割的实际标注，在第一特征图和上述第二特征图上为每个语义区域生成语义mask；分别在第一特征图和第二特征图上用语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量；计算第一特征向量和第二特征向量之间的余弦相似度；计算第一特征向量和第二特征向量之间的余弦相似度和目标相似度的差值，作为医学图像分割模型的蒸馏误差；通过反向传播算法，合并预训练损失和蒸馏误差得到上述医学图像分割模型的总损失，并基于述医学图像分割模型的总损失更新医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。本发明利用医院内现有的数据资源实现自监督知识蒸馏的医学图像标注，减轻了医生工作负担，满足了自动化的协作标注和数据隐私的保护，解决了医生手动标注工作负担重，医学数据标注的效率和质量不高的问题。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种知识蒸馏半自动可视化标注方法，其特征在于，包括：
S1：构建医学图像数据集；选择所述医学图像数据集中的部分图像构成图像子集，对所述图像子集进行图像分割标注，将标注后的所述图像子集分为医学图像样本集和医学图像验证集；
S2：基于所述医学图像样本集训练得到医学图像分割模型；通过所述图像分割模型得到所述医学图像验证集的预测分割结果；
S3：基于所述医学图像验证集的图像分割标注，计算所述预测分割结果的预训练损失，用以优化所述医学图像分割模型；
S4：基于所述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；所述图像特征预测模型用于输出待测试医学图像的预测图像特征；
S5：将所述医学图像数据集的各医学图像分别输入所述医学图像分割模型和所述图像特征预测模型后，在所述医学图像分割模型和所述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；
S6：根据图像分割的图像分割标注，在所述第一特征图和所述第二特征图上为每个语义区域生成语义mask；
S7：分别在所述第一特征图和所述第二特征图上用所述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量，通过如下公式计算得到：
va=∑i xi*mi/∑i mi；
vb=∑j xj*mj/∑j mj；
式中，va表示所述第一特征向量；vb表示所述第二特征向量；i表示所述第一特征图的位置标识，j表示所述第二特征图的位置标识；xi表示所述第一特征图的第i个位置上的特征值；xj表示所述第二特征图的j个位置上的特征值；mi表示所述第一特征图第i个位置的注意力权重；mj表示所述第二特征图第j个位置的注意力权重；∑i mi表示第i个所述第一特征图的注意力权重的归一化因子；∑j mj表示第j个所述第二特征图的注意力权重的归一化因子；所述第一特征图/所述第二特征图的所述语义mask基于对应位置的所述注意力权重的归一化因子处理后得到所述注意力权重；
S8：计算所述第一特征向量和所述第二特征向量之间的余弦相似度；计算所述第一特征向量和第二特征之间的目标相似度；计算所述第一特征向量和所述第二特征向量之间的余弦相似度和目标相似度的差值绝对值，作为所述医学图像分割模型的蒸馏误差；
S9：通过反向传播算法，合并所述预训练损失和所述蒸馏误差得到所述医学图像分割模型的总损失，并基于所述医学图像分割模型的总损失更新所述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
2.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，还包括：
S10：利用所述医学图像分割优化模型给出所述医学图像数据集的其中一个待检测样本的预测标注结果；
S11：获取所述医学图像数据集的图像分割标注；根据所述待检测样本的所述预测标注结果对所述图像分割标注进行修正；将所述待检测样本及修正后的最终标注结果输入所述医学图像分割优化模型训练；
S12：重复步骤S2~S11持续优化医学图像分割模型，得到最优的所述医学图像分割优化模型，直到所述医学图像数据集的所有图像标注完成。
3.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，所述计算所述预测分割结果的预训练损失采用交叉熵损失函数，表示为：
Lseg=-∑k yk log(pk)；
式中，Lseg表示所述医学图像分割模型的交叉熵损失；yk表示图像中第k个像素的真实类别；pk表示第k个像素预测为yk类别的概率。
4.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，所述计算所述第一特征向量和所述第二特征向量之间的余弦相似度，表示为：
sim(va,vb)=va·vb/(||va||*||vb||)；
式中，sim(va,vb)表示所述第一特征向量和所述第二特征向量之间的余弦相似度；va表示所述第一特征向量；vb表示所述第二特征向量；||va||表示所述第一特征向量的向量范数；||vb||表示所述第二特征向量的向量范数。
5.根据权利要求4所述的一种知识蒸馏半自动可视化标注方法，其特征在于，所述计算所述第一特征向量和所述第二特征向量之间的余弦相似度和目标相似度的差值，作为所述医学图像分割模型和所述图像特征预测模型之间的蒸馏误差，表示为：
Lkd=||sim(va,vb)-sim(ta,tb)||；
式中，Lkd表示所述医学图像分割模型和所述图像特征预测模型之间的蒸馏误差；va表示所述第一特征向量；vb表示所述第二特征向量；sim(va,vb)表示所述第一特征向量和所述第二特征向量之间的余弦相似度；ta表示所述第一特征向量；tb表示所述第二特征向量；sim(ta,tb)表示所述第一特征向量和所述第二特征向量之间的目标相似度；||sim(va,vb)-sim(ta,tb)||表示所述第一特征向量和所述第二特征向量之间的余弦相似度和目标相似度的差值绝对值。
6.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，所述基于所述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型，包括：
随机旋转所述医学图像数据集的所有图像，获得真实角度；
将所述医学图像数据集的各图像分别输入预训练的所述图像特征预测模型，所述图像特征预测模型为角度预测模型；所述角度预测模型用于得到旋转后所述医学图像数据集的预测角度；
计算所述医学图像数据集的所有图像的所述预测角度与所述真实角度的均方误差，作为预训练损失，表示为：
Lθ=∑i(θi-θi')^2；
式中，θi表示所述医学图像数据集第i个图像的真实角度，θi'表示角度预测优化模型输出图像i的所述预测角度；
所述预训练损失通过损失反向传播算法更新所述角度预测模型的参数，得到所述角度预测优化模型。
7.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，所述通过反向传播算法，合并所述预训练损失和所述蒸馏误差得到所述医学图像分割模型的总损失，通过如下公式计算得到：
L=Lseg+α*Lkd；
式中，L表示所述医学图像分割模型的总损失；Lseg表示所述医学图像分割模型的预训练损失；Lkd表示所述医学图像分割模型的蒸馏误差；α表示所述医学图像分割模型的蒸馏误差权重系数。
8.根据权利要求1所述的一种知识蒸馏半自动可视化标注方法，其特征在于，基于所述医学图像分割模型的总损失更新所述医学图像分割模型的多个参数，包括：
所述医学图像分割模型的总损失表示为：
L=f(x1,x2,...,xn)；
其中，x1,x2,...,xn表示所述医学图像分割模型的多个参数；
采用如下公式表示所述医学图像分割模型的总损失的梯度向量：
∇L=(∂L/∂x1,∂L/∂x2,...,∂L/∂xn)；
式中，∇L表示所述医学图像分割模型的总损失的梯度向量；∂L/∂x1, ∂L/∂x2,...,∂L/∂xn表示所述医学图像分割模型的各参数的偏导数；
采用梯度下降优化算法减小∇L，通过如下公式分别计算更新后的所述医学图像分割模型的多个参数；
xi_new=xi-learning_rate*∂L/∂xi；
式中，xi_new表示参数xi（i=1，2，...，n）的新值，learning_rate表示参数xi的学习率，∂L/∂xi是相对于参数xi的偏导数。
9.一种知识蒸馏半自动可视化标注系统，其特征在于，包括：
医学图像采集模块：用于构建医学图像数据集；选择所述医学图像数据集中的部分图像构成图像子集，对所述图像子集进行图像分割标注，将标注后的所述图像子集分为医学图像样本集和医学图像验证集；
图像分割预训练模块：用于基于所述医学图像样本集训练得到医学图像分割模型；通过所述图像分割模型得到所述医学图像验证集的预测分割结果；
图像分割优化模块：用于基于所述医学图像验证集的图像分割标注，计算所述预测分割结果的预训练损失，用以优化所述医学图像分割模型；
图像特征预训练模块：用于基于所述医学图像数据集采用无监督预训练方法得到的数据训练得到图像特征预测模型；所述图像特征预测模型用于输出待测试医学图像的预测图像特征；
图像特征优化模块：用于将所述医学图像数据集的各医学图像分别输入所述医学图像分割模型和所述图像特征预测模型后，在所述医学图像分割模型和所述图像特征预测模型的中间层提取空间大小相同的第一特征图和第二特征图；
图像语义生成模块：用于根据图像分割的图像分割标注，在所述第一特征图和所述第二特征图上为每个语义区域生成语义mask；
图像特征分析模块：用于分别在所述第一特征图和所述第二特征图上用所述语义mask加权平均池化，得到语义区域的第一特征向量和第二特征向量，通过如下公式计算得到：
va=∑i xi*mi/∑i mi；
vb=∑j xj*mj/∑j mj；
式中，va表示所述第一特征向量；vb表示所述第二特征向量；i表示所述第一特征图的位置标识，j表示所述第二特征图的位置标识；xi表示所述第一特征图的第i个位置上的特征值；xj表示所述第二特征图的j个位置上的特征值；mi表示所述第一特征图第i个位置的注意力权重；mj表示所述第二特征图第j个位置的注意力权重；∑i mi表示第i个所述第一特征图的注意力权重的归一化因子；∑j mj表示第j个所述第二特征图的注意力权重的归一化因子；所述第一特征图/所述第二特征图的所述语义mask基于对应位置的所述注意力权重的归一化因子处理后得到所述注意力权重；
蒸馏误差分析模块：用于计算所述第一特征向量和所述第二特征向量之间的余弦相似度；计算所述第一特征向量和第二特征之间的目标相似度；计算所述第一特征向量和所述第二特征向量之间的余弦相似度和目标相似度的差值绝对值，作为所述医学图像分割模型的蒸馏误差；
图像分割修正模块：用于通过反向传播算法，合并所述预训练损失和所述蒸馏误差得到所述医学图像分割模型的总损失，并基于所述医学图像分割模型的总损失更新所述医学图像分割模型的多个参数，得到用于医学图像标注的医学图像分割优化模型。
CN202311573882.6A 2023-11-23 2023-11-23 一种知识蒸馏半自动可视化标注方法及系统 Active CN117274750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311573882.6A CN117274750B (zh) 2023-11-23 2023-11-23 一种知识蒸馏半自动可视化标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311573882.6A CN117274750B (zh) 2023-11-23 2023-11-23 一种知识蒸馏半自动可视化标注方法及系统

Publications (2)

Publication Number Publication Date
CN117274750A CN117274750A (zh) 2023-12-22
CN117274750B true CN117274750B (zh) 2024-03-12

Family

ID=89221883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311573882.6A Active CN117274750B (zh) 2023-11-23 2023-11-23 一种知识蒸馏半自动可视化标注方法及系统

Country Status (1)

Country Link
CN (1) CN117274750B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059740A (zh) * 2019-04-12 2019-07-26 杭州电子科技大学 一种针对嵌入式移动端的深度学习语义分割模型压缩方法
CN113139488A (zh) * 2021-04-29 2021-07-20 北京百度网讯科技有限公司 训练分割神经网络的方法及装置
CN114049512A (zh) * 2021-09-22 2022-02-15 北京旷视科技有限公司 模型蒸馏方法、目标检测方法、装置及电子设备
CN114529551A (zh) * 2022-01-11 2022-05-24 浙江大学 一种面向ct图像分割的知识蒸馏方法
KR20220114320A (ko) * 2021-02-08 2022-08-17 연세대학교 산학협력단 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
CN115210720A (zh) * 2020-03-05 2022-10-18 华为技术有限公司 提供集成教师-学生系统的方法、设备和介质
CN116977712A (zh) * 2023-06-16 2023-10-31 江苏大学 基于知识蒸馏的道路场景分割方法、系统、设备及介质
WO2023210914A1 (en) * 2022-04-27 2023-11-02 Samsung Electronics Co., Ltd. Method for knowledge distillation and model generation
CN117079276A (zh) * 2023-06-21 2023-11-17 江苏大学 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN117099125A (zh) * 2021-12-03 2023-11-21 宁德时代新能源科技股份有限公司 一种基于对比表征蒸馏的快速异常检测方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059740A (zh) * 2019-04-12 2019-07-26 杭州电子科技大学 一种针对嵌入式移动端的深度学习语义分割模型压缩方法
CN115210720A (zh) * 2020-03-05 2022-10-18 华为技术有限公司 提供集成教师-学生系统的方法、设备和介质
KR20220114320A (ko) * 2021-02-08 2022-08-17 연세대학교 산학협력단 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
CN113139488A (zh) * 2021-04-29 2021-07-20 北京百度网讯科技有限公司 训练分割神经网络的方法及装置
CN114049512A (zh) * 2021-09-22 2022-02-15 北京旷视科技有限公司 模型蒸馏方法、目标检测方法、装置及电子设备
CN117099125A (zh) * 2021-12-03 2023-11-21 宁德时代新能源科技股份有限公司 一种基于对比表征蒸馏的快速异常检测方法和系统
CN114529551A (zh) * 2022-01-11 2022-05-24 浙江大学 一种面向ct图像分割的知识蒸馏方法
WO2023210914A1 (en) * 2022-04-27 2023-11-02 Samsung Electronics Co., Ltd. Method for knowledge distillation and model generation
CN116977712A (zh) * 2023-06-16 2023-10-31 江苏大学 基于知识蒸馏的道路场景分割方法、系统、设备及介质
CN117079276A (zh) * 2023-06-21 2023-11-17 江苏大学 一种基于知识蒸馏的语义分割方法、系统、设备及介质

Also Published As

Publication number Publication date
CN117274750A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN112329760B (zh) 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN110852393A (zh) 一种遥感图像的分割方法及系统
CN112734764A (zh) 一种基于对抗网络的无监督医学图像分割方法
CN105825502A (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN114359631A (zh) 基于编码-译码弱监督网络模型的目标分类与定位方法
CN109671019A (zh) 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
CN106021402A (zh) 用于跨模态检索的多模态多类Boosting框架构建方法及装置
CN112884135B (zh) 一种基于边框回归的数据标注校正方法
CN117274750B (zh) 一种知识蒸馏半自动可视化标注方法及系统
CN110533118A (zh) 基于多核学习的遥感图像稀疏表达分类方法
CN116012903A (zh) 一种人脸表情自动标注的方法及系统
CN114170460A (zh) 一种基于多模态融合的艺术品分类方法及系统
CN113361530A (zh) 使用交互手段的图像语义精准分割及优化方法
CN114240844B (zh) 一种医学图像中无监督的关键点定位和目标检测方法
CN113505803B (zh) 基于奇异值分解的实例物体自标注方法
CN108304546A (zh) 一种基于内容相似度和Softmax分类器的医学图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant