CN115359074B - 基于超体素聚类及原型优化的图像分割、训练方法及装置 - Google Patents

基于超体素聚类及原型优化的图像分割、训练方法及装置 Download PDF

Info

Publication number
CN115359074B
CN115359074B CN202211284399.1A CN202211284399A CN115359074B CN 115359074 B CN115359074 B CN 115359074B CN 202211284399 A CN202211284399 A CN 202211284399A CN 115359074 B CN115359074 B CN 115359074B
Authority
CN
China
Prior art keywords
foreground
image
prototype
hyper
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211284399.1A
Other languages
English (en)
Other versions
CN115359074A (zh
Inventor
李亚南
沈倩倩
金纪勇
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211284399.1A priority Critical patent/CN115359074B/zh
Publication of CN115359074A publication Critical patent/CN115359074A/zh
Application granted granted Critical
Publication of CN115359074B publication Critical patent/CN115359074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于超体素聚类及原型优化的图像分割、训练方法及装置，使用训练数据进行无监督超体素聚类；基于超体素聚类结果构造基于伪标签的元学习训练数据集；采用元学习训练数据集构造基于原型优化的小样本医疗图像分割网络；将测试类的有标签训练图片输入上述小样本图像分割网络，提取相应的图片特征，根据图片所对应的真实分割掩码，计算该类别的类原型向量；将测试类的测试图片输入上述网络提取特征，计算测试图片特征与类原型向量之间的余弦相似度，并基于相似度对原型进行优化；计算图片特征与优化后的原型向量之间的余弦相似度，并对余弦相似度进行归一化处理，将相似度大于分类阈值的位置，预测为前景所在位置，得到最终的分割结果。

Description

基于超体素聚类及原型优化的图像分割、训练方法及装置
技术领域
本发明涉及计算机视觉领域，尤其是涉及基于超体素聚类及原型优化的图像分割、训练方法及装置。
背景技术
近年来，深度神经网络在多种计算机视觉任务中取得了显著的进展，如图像分割、物体识别与检测等，其成功因素之一在于使用了大规模的有标签训练数据集。然而，在医疗图像处理领域，考虑到以下因素，通常只有很少量的有标签数据：（1）从数据标注的角度，医学图像数据通常需要临床专家花费大量的时间、精力进行精确标注，大规模有标签数据的标注代价较高；（2）从数据的角度，不同医疗设备、不同医院之间图像采集过程存在一定差距，搜集所有可能的病变类型、组织解剖结构等具有较大难度。医疗图像分割是医疗图像处理领域的关键任务，对疾病诊断、治疗规划、组织量化等实际问题起到重要的支撑作用。因此，如何在小样本情境下进行准确的医疗图像分割正引起越来越多研究人员的关注。
通常，小样本图像分割技术首先从具有大量有标签数据的基础类别中学习出具有迁移能力的先验知识，其次将该知识泛化到只有少量有标签数据的全新类别上，以提升目标类的分割性能。与自然图像上的小样本分割技术相比，医疗图像分割具有一些显著的特点。首先，基础类的训练数据较少，通常只有数十个左右，而自然图像的基础类数据多达上千个，这就导致自然图像的小样本分割技术无法直接用于求解医疗图像分割问题。其次，医疗图像中的单一组织类别内部具有同质化特征，不同图像里组织器官的大小存在较大差异，如同一组织在不同MRI图像切片上的大小不同。再次，医疗图像中的背景信息通常呈现异质化特征，可能存在多种不同类别的组织器官。仅仅使用少量的有标签数据很难同时求解上述难点。
发明内容
为解决现有技术的不足，实现提升未知类图像分割性能的目的，本发明采用如下的技术方案：
一种基于超体素聚类及原型优化的图像分割训练方法，包括如下步骤：
步骤S1：对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；
步骤S2：基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括如下步骤：
步骤S2.1：将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
步骤S2.2：从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
步骤S3：使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括如下步骤：
步骤S3.1：将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；
步骤S3.2：将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；
步骤S3.3：将前景对象的深度特征输入阈值学习器，得到前景分类阈值；
步骤S3.4：将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；
步骤S3.5：基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；
步骤S3.6：重复步骤S3.4，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
进一步地，所述步骤S3.3中，阈值学习器为自适应阈值学习器，采用两层全连接得到。
进一步地，所述步骤S3.4中，计算查询图像的深度特征
Figure 100002_DEST_PATH_IMAGE002
与前景原型向量
Figure 100002_DEST_PATH_IMAGE004
的余弦相似度为：
Figure 100002_DEST_PATH_IMAGE006
其中，
Figure 100002_DEST_PATH_IMAGE008
表示查询图像的深度特征
Figure 787101DEST_PATH_IMAGE002
中第m行第n列的特征向量，
Figure 100002_DEST_PATH_IMAGE010
表示尺度缩放值。
进一步地，所述步骤S3.4中，对比相似度与前景分类阈值的大小，得到如下分割结果：
Figure 100002_DEST_PATH_IMAGE012
其中，
Figure 100002_DEST_PATH_IMAGE014
表示查询图像的深度特征中第m行第n列的特征向量与前景原型向量的相似度，t表示前景分类阈值，σ表示Sigmoid激活函数。
进一步地，所述步骤S3.5中的全局优化，是从分割结果中挑选预测得分最大的K个特征向量，采用加权求和方式，对前景原型向量
Figure 625875DEST_PATH_IMAGE004
进行优化更新，更新后的前景原型向量为：
Figure 100002_DEST_PATH_IMAGE016
Figure 100002_DEST_PATH_IMAGE018
Figure 100002_DEST_PATH_IMAGE020
其中，
Figure 100002_DEST_PATH_IMAGE022
表示第j个最相似的查询图像的深度特征，
Figure 100002_DEST_PATH_IMAGE024
表示规整化后的权重，
Figure 100002_DEST_PATH_IMAGE026
表示第j个最相似的查询图像的深度特征与前景原型向量
Figure 100002_DEST_PATH_IMAGE028
之间的规整化权重，
Figure 100002_DEST_PATH_IMAGE030
表示指数函数，用于对权重进行规整化，上标
Figure 100002_DEST_PATH_IMAGE032
为超参数，
Figure 100002_DEST_PATH_IMAGE034
表示
Figure 919673DEST_PATH_IMAGE022
与
Figure 525097DEST_PATH_IMAGE004
的余弦相似度。
进一步地，所述步骤S3.6中，图像分割网络的优化，采用交叉熵损失：
Figure 100002_DEST_PATH_IMAGE036
其中，H表示特征向量的行数，W表示特征向量的列数，
Figure 100002_DEST_PATH_IMAGE038
表示第m行第n列的特征向量的真实分割结果，
Figure 100002_DEST_PATH_IMAGE040
表示第m行第n列的特征向量的预测分割结果。
同时考虑交叉熵损失和分类阈值损失，总损失函数表示为：
Figure 100002_DEST_PATH_IMAGE042
其中，β为超参数，通过最小化总损失函数L，优化整个图像分割网络。
一种基于超体素聚类及原型优化的图像分割方法，基于所述的基于超体素聚类及原型优化的图像分割训练方法，还包括：
步骤S4：在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
步骤S5：将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
一种基于超体素聚类及原型优化的图像分割训练装置，用于所述的基于超体素聚类及原型优化的图像分割训练方法，包括超体素学习模块、训练数据集构建模块和图像分割网络训练模块；
所述超体素学习模块，对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；
所述训练数据集构建模块，基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括：超体素训练数据集构建模块和元学习情境训练数据集构建模块；
所述超体素训练数据集构建模块，将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
所述元学习情境训练数据集构建模块，从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
所述图像分割网络训练模块，使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括：前景对象深度特征提取模块、前景原型向量生成模块、前景分类阈值生成模块、查询图像分割结果生成模块、前景原型向量优化模块和图像分割网络优化模块；
所述前景对象深度特征提取模块，将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；
所述前景原型向量生成模块，将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；
所述前景分类阈值生成模块，将前景对象的深度特征输入阈值学习器，得到前景分类阈值；
所述查询图像分割结果生成模块，将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；
所述前景原型向量优化模块，基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；
所述图像分割网络优化模块，返回查询图像分割结果生成模块，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
一种基于超体素聚类及原型优化的图像分割装置，基于所述的基于超体素聚类及原型优化的图像分割训练装置，还包括测试图像前景原型向量获取模块和测试图像分割结果生成模块；
所述测试图像前景原型向量获取模块，在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
所述测试图像分割结果生成模块，将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
本发明的优势和有益效果在于：
本发明的基于超体素聚类及原型优化的图像分割、训练方法及装置，通过将少量的有标签基础类数据进行超体素聚类，并基于超体素聚类结果构造出大规模的训练数据对，从而缓解数据量较少所带来的模型困境；在此基础上，进一步采用元学习的情景训练策略，在分割预测过程中对类别原型进行全局迭代，即通过原型优化网络引入测试数据全局信息，从而改善全新类的分割性能。本发明实现简单、灵活，通过元学习训练数据集可有效提升特征学习网络的泛化能力，进而通过引入测试图片的全局信息进行原型优化，可以有效提高特征学习网络的泛化能力，有效提升测试类对象的图像分割性能。
附图说明
图1是本发明的基于超体素聚类及原型优化的图像分割训练方法流程图。
图2是本发明实施例中基于超体素聚类及原型优化的图像分割训练方法架构图。
图3是本发明的基于超体素聚类及原型优化的图像分割方法流程图。
图4是本发明实施例中基于超体素聚类及原型优化的图像分割训练设备的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1、图2所示，一种基于超体素聚类及原型优化的小样本图像分割训练方法，包括以下步骤：
步骤S1：对基础类的有标签数据进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类。
步骤S2：基于超体素聚类结果，构造基于伪标签的元学习情景训练数据集，包括如下步骤：
步骤S2.1：将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
具体地，假设步骤S1有N个超体素，每个超体素作为一种伪标签。对于每个超体素
Figure 100002_DEST_PATH_IMAGE044
，从该超体素中所包含的所有图像中，随机选取
Figure DEST_PATH_IMAGE046
张图像，作为该类别所对应的有标签训练数据。假设第j张图像记为
Figure DEST_PATH_IMAGE048
(
Figure DEST_PATH_IMAGE050
)，在
Figure 820075DEST_PATH_IMAGE048
中，超体素所在位置标注为1，其他位置标注为0，构造出图像
Figure 16701DEST_PATH_IMAGE048
所对应的分割掩码
Figure DEST_PATH_IMAGE052
。第i个超体素中的所有训练数据记为
Figure DEST_PATH_IMAGE054
；
步骤S2.2：从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
具体地，从每个超体素的训练数据
Figure DEST_PATH_IMAGE056
中随机抽取
Figure DEST_PATH_IMAGE058
组训练数据，每组训练数据包括1+K张图像，其中一张图像为支持图像，其余K张图像为查询图像，所有
Figure DEST_PATH_IMAGE060
组训练数据构成整个元学习情景训练数据集。
步骤S3：使用元学习情景训练数据集，训练基于原型优化的小样本医疗图像分割网络，包括如下步骤：
步骤S3.1：将支持图像
Figure DEST_PATH_IMAGE062
与相应的真实分割掩码
Figure DEST_PATH_IMAGE064
输入特征提取网络
Figure DEST_PATH_IMAGE066
，分别提取深度特征及同等大小的分割掩码，根据分割掩码中非零值所在位置，抽取前景对象的深度特征，记为
Figure DEST_PATH_IMAGE068
；
步骤S3.2：将前景对象的深度特征
Figure 719166DEST_PATH_IMAGE068
沿深度方向进行均值池化，得到前景原型向量，记为
Figure 862702DEST_PATH_IMAGE004
；
步骤S3.3：将前景对象的深度特征输入自适应阈值学习器
Figure DEST_PATH_IMAGE070
，得到前景分类阈值，即
Figure DEST_PATH_IMAGE072
，其中学习器
Figure DEST_PATH_IMAGE074
采用两层全连接得到，全连接层参数记为
Figure DEST_PATH_IMAGE076
；
步骤S3.4：将查询图像
Figure DEST_PATH_IMAGE078
输入特征提取网络
Figure 730295DEST_PATH_IMAGE066
，得到相应的深度特征
Figure DEST_PATH_IMAGE080
，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的余弦相似度，并余弦相似度与与分类阈值进行比较，得到查询图像的分割结果
Figure DEST_PATH_IMAGE082
，具体为：
首先，计算深度特征
Figure 504347DEST_PATH_IMAGE002
与前景原型向量
Figure 949235DEST_PATH_IMAGE004
的余弦相似度为：
Figure DEST_PATH_IMAGE006A
其中，
Figure 427621DEST_PATH_IMAGE008
表示
Figure 477616DEST_PATH_IMAGE002
中第m行第n列的特征向量，
Figure 16045DEST_PATH_IMAGE010
为尺度缩放值，通常为-20。
其次，对比上述相似度与分类阈值的大小，得到如下分割结果：
Figure DEST_PATH_IMAGE012A
其中σ表示Sigmoid激活函数；
步骤S3.5：基于查询图像的分割结果
Figure 213808DEST_PATH_IMAGE082
，对前景原型向量进行一次全局优化，获得优化后的前景原型向量
Figure DEST_PATH_IMAGE084
，具体为：
挑选
Figure 958867DEST_PATH_IMAGE082
中预测得分最大的K个特征向量，采用加权求和方式，对前景原型
Figure 863369DEST_PATH_IMAGE004
进行优化更新，更新后的原型为：
Figure DEST_PATH_IMAGE016A
Figure DEST_PATH_IMAGE018A
Figure DEST_PATH_IMAGE020A
其中，
Figure 182486DEST_PATH_IMAGE022
表示第j个最相似的特征向量，
Figure 274070DEST_PATH_IMAGE024
为规整化后的权重，
Figure 687734DEST_PATH_IMAGE026
表示第j个最相似的特征向量与
Figure 446743DEST_PATH_IMAGE028
之间的规整化权重，
Figure 592553DEST_PATH_IMAGE030
表示指数函数，用于对权重进行规整化，上标
Figure 561646DEST_PATH_IMAGE032
为超参数，
Figure 388788DEST_PATH_IMAGE034
表示
Figure 126937DEST_PATH_IMAGE022
与
Figure 646911DEST_PATH_IMAGE004
的余弦相似度。
步骤S3.6：重复步骤S3.4，计算查询图像的深度特征与优化后的前景原型向量
Figure 103300DEST_PATH_IMAGE084
之间余弦相似度，并获得最终的分割结果
Figure DEST_PATH_IMAGE086
，通过预测分割结果与真实分割结果进行比较，优化整个医疗图像分割网络，具体为：
采用步骤S3.4余弦相似度及分割结果公式，获取最终的分类结果
Figure 937395DEST_PATH_IMAGE086
，计算交叉熵损失为：
Figure DEST_PATH_IMAGE036A
其中，H表示特征向量的行数，W表示特征向量的列数；
同时，考虑分类阈值损失，总损失函数表示为：
Figure DEST_PATH_IMAGE042A
其中，β为超参数，通过最小化上述总损失函数L，来学习整个小样本医疗图像分割网络。
如图3所示，一种基于超体素聚类及原型优化的图像分割方法，基于所述的基于超体素聚类及原型优化的图像分割训练方法，还包括：
步骤S4：在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
步骤S5：将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
这部分内容中训练方法的实施方式与上述方法实施例的实施方式类似，此处不再赘述。
一种基于超体素聚类及原型优化的图像分割训练装置，用于所述的基于超体素聚类及原型优化的图像分割训练方法，包括超体素学习模块、训练数据集构建模块和图像分割网络训练模块；
所述超体素学习模块，对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；
所述训练数据集构建模块，基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括：超体素训练数据集构建模块和元学习情境训练数据集构建模块；
所述超体素训练数据集构建模块，将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
所述元学习情境训练数据集构建模块，从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
所述图像分割网络训练模块，使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括：前景对象深度特征提取模块、前景原型向量生成模块、前景分类阈值生成模块、查询图像分割结果生成模块、前景原型向量优化模块和图像分割网络优化模块；
所述前景对象深度特征提取模块，将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；
所述前景原型向量生成模块，将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；
所述前景分类阈值生成模块，将前景对象的深度特征输入阈值学习器，得到前景分类阈值；
所述查询图像分割结果生成模块，将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；
所述前景原型向量优化模块，基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；
所述图像分割网络优化模块，返回查询图像分割结果生成模块，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
这部分内容实施方式与上述方法实施例的实施方式类似，此处不再赘述。
一种基于超体素聚类及原型优化的图像分割装置，基于所述的基于超体素聚类及原型优化的图像分割训练装置，还包括测试图像前景原型向量获取模块和测试图像分割结果生成模块；
所述测试图像前景原型向量获取模块，在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
所述测试图像分割结果生成模块，将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
这部分内容实施方式与上述装置实施例的实施方式类似，此处不再赘述。
与前述基于超体素聚类及原型优化的图像分割训练方法的实施例相对应，本发明还提供了基于超体素聚类及原型优化的图像分割训练设备的实施例。
参见图4，本发明实施例提供的基于超体素聚类及原型优化的图像分割训练设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于超体素聚类及原型优化的图像分割训练方法。
本发明基于超体素聚类及原型优化的图像分割训练设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于超体素聚类及原型优化的图像分割训练设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于超体素聚类及原型优化的图像分割训练方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.一种基于超体素聚类及原型优化的图像分割训练方法，其特征在于包括如下步骤：
步骤S1：对基础类的有标签图像进行无监督超体素学习，并将每个超体素当作一个对象类；
步骤S2：基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括如下步骤：
步骤S2.1：将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
步骤S2.2：从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
步骤S3：使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括如下步骤：
步骤S3.1：将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；
步骤S3.2：将前景对象的深度特征沿深度方向进行池化，得到前景原型向量；
步骤S3.3：将前景对象的深度特征输入阈值学习器，得到前景分类阈值；
步骤S3.4：将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；
步骤S3.5：基于查询图像的分割结果，对前景原型向量进行全局优化，获得优化后的前景原型向量；全局优化，是从分割结果中挑选预测得分最大的K个特征向量，采用加权求和方式，对前景原型向量
Figure DEST_PATH_IMAGE002
进行优化更新，更新后的前景原型向量为：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE010
表示第j个最相似的查询图像的深度特征，
Figure DEST_PATH_IMAGE012
表示规整化后的权重，
Figure DEST_PATH_IMAGE014
表示第j个最相似的查询图像的深度特征与前景原型向量
Figure DEST_PATH_IMAGE016
之间的规整化权重，
Figure DEST_PATH_IMAGE018
表示指数函数，用于对权重进行规整化，上标
Figure DEST_PATH_IMAGE020
为超参数，
Figure DEST_PATH_IMAGE022
表示
Figure 26867DEST_PATH_IMAGE010
与
Figure 350532DEST_PATH_IMAGE002
的余弦相似度；
步骤S3.6：重复步骤S3.4，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
2.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法，其特征在于：所述步骤S3.3中，阈值学习器为自适应阈值学习器，采用两层全连接得到。
3.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法，其特征在于：所述步骤S3.4中，计算查询图像的深度特征
Figure DEST_PATH_IMAGE024
与前景原型向量
Figure DEST_PATH_IMAGE026
的余弦相似度为：
Figure DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE030
表示查询图像的深度特征
Figure 680669DEST_PATH_IMAGE024
中第m行第n列的特征向量，
Figure DEST_PATH_IMAGE032
表示尺度缩放值。
4.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法，其特征在于：所述步骤S3.4中，对比相似度与前景分类阈值的大小，得到如下分割结果：
Figure DEST_PATH_IMAGE034
其中，
Figure DEST_PATH_IMAGE036
表示查询图像的深度特征中第m行第n列的特征向量与前景原型向量的相似度，t表示前景分类阈值，σ表示激活函数。
5.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法，其特征在于：所述步骤S3.6中，图像分割网络的优化，采用交叉熵损失：
Figure DEST_PATH_IMAGE038
其中，H表示特征向量的行数，W表示特征向量的列数，
Figure DEST_PATH_IMAGE040
表示第m行第n列的特征向量的真实分割结果，
Figure DEST_PATH_IMAGE042
表示第m行第n列的特征向量的预测分割结果。
6.根据权利要求5所述的基于超体素聚类及原型优化的图像分割训练方法，其特征在于：所述步骤S3.6中，同时考虑交叉熵损失和分类阈值损失，总损失函数表示为：
Figure DEST_PATH_IMAGE044
其中，β为超参数，通过最小化总损失函数L，优化整个图像分割网络，t表示前景分类阈值。
7.一种基于超体素聚类及原型优化的图像分割方法，其特征在于：基于权利要求1-6任一项所述的基于超体素聚类及原型优化的图像分割训练方法，还包括：
步骤S4：在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
步骤S5：将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
8.一种基于超体素聚类及原型优化的图像分割训练装置，用于权利要求1-6任一项所述的基于超体素聚类及原型优化的图像分割训练方法，包括超体素学习模块、训练数据集构建模块和图像分割网络训练模块，其特征在于：
所述超体素学习模块，对基础类的有标签图像进行无监督超体素学习，并将每个超体素当作一个对象类；
所述训练数据集构建模块，基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括：超体素训练数据集构建模块和元学习情境训练数据集构建模块；
所述超体素训练数据集构建模块，将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；
所述元学习情境训练数据集构建模块，从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
所述图像分割网络训练模块，使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括：前景对象深度特征提取模块、前景原型向量生成模块、前景分类阈值生成模块、查询图像分割结果生成模块、前景原型向量优化模块和图像分割网络优化模块；
所述前景对象深度特征提取模块，将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；
所述前景原型向量生成模块，将前景对象的深度特征沿深度方向进行池化，得到前景原型向量；
所述前景分类阈值生成模块，将前景对象的深度特征输入阈值学习器，得到前景分类阈值；
所述查询图像分割结果生成模块，将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；
所述前景原型向量优化模块，基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；
所述图像分割网络优化模块，返回查询图像分割结果生成模块，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
9.一种基于超体素聚类及原型优化的图像分割装置，其特征在于：基于权利要求8所述的基于超体素聚类及原型优化的图像分割训练装置，还包括测试图像前景原型向量获取模块和测试图像分割结果生成模块；
所述测试图像前景原型向量获取模块，在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；
所述测试图像分割结果生成模块，将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
CN202211284399.1A 2022-10-20 2022-10-20 基于超体素聚类及原型优化的图像分割、训练方法及装置 Active CN115359074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211284399.1A CN115359074B (zh) 2022-10-20 2022-10-20 基于超体素聚类及原型优化的图像分割、训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211284399.1A CN115359074B (zh) 2022-10-20 2022-10-20 基于超体素聚类及原型优化的图像分割、训练方法及装置

Publications (2)

Publication Number Publication Date
CN115359074A CN115359074A (zh) 2022-11-18
CN115359074B true CN115359074B (zh) 2023-03-28

Family

ID=84007649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211284399.1A Active CN115359074B (zh) 2022-10-20 2022-10-20 基于超体素聚类及原型优化的图像分割、训练方法及装置

Country Status (1)

Country Link
CN (1) CN115359074B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937229B (zh) * 2022-12-29 2023-08-04 深圳优立全息科技有限公司 一种基于超体素和图割算法的三维自动分割方法及装置
CN116452897B (zh) * 2023-06-16 2023-10-20 中国科学技术大学 跨域小样本分类方法、系统、设备及存储介质
CN117011672B (zh) * 2023-09-27 2024-01-09 之江实验室 基于类特定元提示学习的小样本类增对象识别方法和装置
CN117830302B (zh) * 2024-03-04 2024-07-30 瀚依科技(杭州)有限公司 肺段分割的优化方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809723A (zh) * 2015-04-13 2015-07-29 北京工业大学 基于超体素和图割算法的三维肝脏ct图像自动分割方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616289A (zh) * 2014-12-19 2015-05-13 西安华海盈泰医疗信息技术有限公司 一种3d ct图像中骨组织的移除方法及系统
CN106296653B (zh) * 2016-07-25 2019-02-01 浙江大学 基于半监督学习的脑部ct图像出血区域分割方法及系统
GB201716893D0 (en) * 2017-10-13 2017-11-29 Chancellor Masters And Scholars Of The Univ Of Oxford Methods and systems for analysing time ordered image data
US10679740B2 (en) * 2018-06-12 2020-06-09 The Chinese University Of Hong Kong System and method for patient privacy protection in medical images
CN110751664B (zh) * 2019-09-29 2022-11-18 东南大学 一种基于超体素匹配的脑组织分割方法
US20230377157A1 (en) * 2020-03-23 2023-11-23 Mars Bioimaging Limited Segmentation in multi-energy ct data
CN112233132A (zh) * 2020-10-26 2021-01-15 上海明略人工智能(集团)有限公司 一种基于无监督学习的脑磁共振图像分割方法及装置
CN112561926A (zh) * 2020-12-07 2021-03-26 上海明略人工智能(集团)有限公司 三维图像分割方法、系统、存储介质及电子设备
CN112465824B (zh) * 2021-01-28 2021-08-03 之江实验室 基于pet/ct图像亚区影像组学特征的肺腺鳞癌诊断装置
CN114581451A (zh) * 2022-02-24 2022-06-03 东南大学 一种基于散射图神经网络的大脑磁共振图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809723A (zh) * 2015-04-13 2015-07-29 北京工业大学 基于超体素和图割算法的三维肝脏ct图像自动分割方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法

Also Published As

Publication number Publication date
CN115359074A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
Mou et al. Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Passalis et al. Learning deep representations with probabilistic knowledge transfer
McNeely-White et al. Inception and ResNet features are (almost) equivalent
CN110363138B (zh) 模型训练方法、图像处理方法、装置、终端及存储介质
Zheng et al. Improving the generalization ability of deep neural networks for cross-domain visual recognition
Andrearczyk et al. Deep learning in texture analysis and its application to tissue image classification
CN111178251A (zh) 一种行人属性识别方法及系统、存储介质及终端
Sun et al. A computation-efficient CNN system for high-quality brain tumor segmentation
Zhao et al. PCA dimensionality reduction method for image classification
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
CN114692732B (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN114897136B (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
Nagamani et al. Tomato leaf disease detection using deep learning techniques
CN116883726B (zh) 基于多分支与改进的Dense2Net的高光谱图像分类方法及系统
Wang et al. Building correlations between filters in convolutional neural networks
Lin et al. Two stream active query suggestion for active learning in connectomics
Korsch et al. End-to-end learning of fisher vector encodings for part features in fine-grained recognition
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
Aljabri et al. Extracting feature fusion and co-saliency clusters using transfer learning techniques for improving remote sensing scene classification
Himabindu et al. A survey on computer vision architectures for large scale image classification using deep learning
Wu Biomedical image segmentation and object detection using deep convolutional neural networks
Yang et al. Robust feature mining transformer for occluded person re-identification
Dobshik et al. Weakly supervised semantic segmentation of tomographic images in the diagnosis of stroke

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant