CN114549842A - 基于不确定性知识域自适应的半监督图像分割方法及系统 - Google Patents

基于不确定性知识域自适应的半监督图像分割方法及系统 Download PDF

Info

Publication number
CN114549842A
CN114549842A CN202210423986.8A CN202210423986A CN114549842A CN 114549842 A CN114549842 A CN 114549842A CN 202210423986 A CN202210423986 A CN 202210423986A CN 114549842 A CN114549842 A CN 114549842A
Authority
CN
China
Prior art keywords
image
supervised
segmentation
segmented
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210423986.8A
Other languages
English (en)
Other versions
CN114549842B (zh
Inventor
袭肖明
孙良运
聂秀山
张光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202210423986.8A priority Critical patent/CN114549842B/zh
Publication of CN114549842A publication Critical patent/CN114549842A/zh
Application granted granted Critical
Publication of CN114549842B publication Critical patent/CN114549842B/zh
Priority to US18/122,690 priority patent/US20230342938A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像分割技术领域，具体涉及一种基于不确定性知识域自适应的半监督图像分割方法及系统，包括以下步骤：获取待分割图像；基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。

Description

基于不确定性知识域自适应的半监督图像分割方法及系统
技术领域
本申请属于图像分割技术领域，具体涉及一种基于不确定性知识域自适应的半监督图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本申请相关的背景技术信息，不必然构成在先技术。
图像分割是计算机视觉的重要研究方向，在图像分析、自动驾驶、疾病诊断等众多任务中具有广泛的应用。近年来，深度卷积神经网络在语义分割方面取得了显著的进展。然而，基于卷积神经网络（Convolutional Neural Networks,简称CNN）的方法的成功得益于大量人工标记的数据。数据标记通常需要昂贵的时间成本，故而全监督语义分割对像素级别的手动标记的需求使得其比目标检测和图像分类等其他视觉任务所花费的成本更为昂贵。半监督分割方法可以利用大量的未标记数据和少量的标记数据学习分割模型，进而解决由于标记数据较少造成的分割精度下降的问题。
据发明人了解，现有的半监督方法虽然可在一定程度上解决标记数据较少的问题，但难以学习异常图像中所包含的不确定性知识（由于设备、外部采集环境等不确定因素造成的异常图像中包含的模糊特征）；例如，设备、外部采集环境等不确定性因素引起光学相干断层扫描仪(Optical Coherence Tomography，简称OCT)图像的异常（例如，噪声，边界模糊等等），影响了分割模型的精度。
发明内容
为了解决上述问题，本申请提出了一种基于不确定性知识域自适应的半监督图像分割方法及系统，引入不确定性知识迁移正则化项，将不确定性知识迁移到图像分割模型中，引入自训练模式，增加有效标记数据的数量，提升半监督分割框架的分割精度，有效地解决标记数据较少和不确定性因素引起的分割精度低问题。
根据一些实施例，本申请的第一方案提供了一种基于不确定性知识域自适应的半监督图像分割方法，采用如下技术方案：
一种基于不确定性知识域自适应的半监督图像分割方法，包括以下步骤：
获取待分割图像；
基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
作为进一步的技术限定，在构建不确定性知识库之前，对数据集进行数据增强的预处理；所述预处理包括随机裁剪、水平翻转、垂直翻转、随机旋转和添加高斯噪声。
进一步的，对预处理后的数据集进行图像尺寸的归一化处理，保证预处理后的数据集中的所有图片尺寸大小统一。
进一步的，在构建不确定性知识库的过程中，通过数据增强构造包含错分区域特征的图像，基于所构造的包含错分区域特征的图像得到不确定性知识。
进一步对，利用预训练好的U-net网络对输入图像进行分割，得到输入图像的分割掩模图，对标签图像的掩模图与输入图像的分割掩模图作差，得到包含错分区域的掩模图，完成错分区域的提取。
进一步的，对所得到的包含错分区域的掩模图取反，得到反向掩模图，实现数据增强框架掩码的重构；将重构后的数据增强框架掩码与反向掩模图进行点乘，得到新掩模图掩码；用新掩模图掩码替换据增强框架掩码，对输入图像进行数据增强，替换未错分区域，完成不确定性知识库的构建。
进一步的，对所得到的包含错分区域的掩模图取反的具体过程为：将所得到的包含错分区域的掩模图中的像素值为1的像素点赋值0，将所得到的包含错分区域的掩模图中的像素值为0的像素点赋值1。
作为进一步的技术限定，所述基于特征迁移的域自适应的过程中，采用不确定知识域自适应的双分支网络，所述包括第一分支和第二分支；所述第一分支通过提取不确定知识库中的图像样本特征，得到中间特征图；结合第二分支提取目标域中有标记输入样本的特征，得到标记目标域特征图；对所得到的中间特征图和所述标记目标域特征图施加知识迁移正则化项，完成特征迁移。
进一步对，所述知识迁移正则化项采用加权的相对熵，通过降低相对熵的数值拉进所述中间特征图与所述标记目标域特征图之间的分布距离。
根据一些实施例，本申请的第二方案提供了一种基于不确定性知识域自适应的半监督图像分割系统，采用如下技术方案：
一种基于不确定性知识域自适应的半监督图像分割系统，包括：
获取模块，被配置为获取待分割图像；
分割模块，被配置为基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
与现有技术相比，本申请的有益效果为：
本申请提出了一种不确定性知识域自适应的半监督分割网络。将域自适应与半监督框架相结合，引入不确定性知识提升了半监督分割网络的精度。不同于传统的分割网络采用单分支结构，本发明提出的网络采用两个分支；第一个分支学习传统的分割模型难以获取的不确定性知识，通过引入域一致性约束将学到的不确定性知识融入到分割模型中。相对于传统的半监督框架而言，本发明针对性地学习了异常图像的专有知识，并将其迁移到分割模型中，对于异常图像可以取得更好的分割效果，融合了正则化一致性和自训练模式，可以更有效地利用未标记数据，进一步提升半监督分割方法的精度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本申请实施例一中的基于不确定性知识域自适应的半监督图像分割方法的流程图；
图2是本申请实施例一中的基于不确定性知识域自适应的半监督图像分割方法的网络学习流程图；
图3是本申请实施例二中的基于不确定性知识域自适应的半监督图像分割系统的结构框图。
具体实施方式
下面结合附图与实施例对本申请作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本申请实施例一介绍了一种基于不确定性知识域自适应的半监督图像分割方法。
如图1所示的一种基于不确定性知识域自适应的半监督图像分割方法，包括以下步骤：
获取待分割图像；
基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
具体的，如图2所示，基于本实施例中的基于不确定性知识域自适应的半监督图像分割方法实现图像分割的网络学习过程包括以下步骤：
步骤S01：数据集预处理；
步骤S02：构建不确定性知识库；
步骤S03：不确定性知识迁移；
步骤S04：构建半监督分割框架；
步骤S05：网络训练。
作为一种或多种实施方式，在步骤S01中，由于原始数据集中包含的图像样本可能出现尺寸大小不一致的情况，不利于深度网络模型进行特征的提取及后续的学习。故而需要对现有数据集进行尺寸大小的归一化操作，归一化操作为针对数据集中的所有图片进行尺度变换，保证所有图片的尺寸大小统一。
为了获得更多的样本数据，需要对现有的数据集中的图像进行数据增强操作，主要的数据增强方式包括随机裁剪、水平翻转、垂直翻转、随机旋转、增加高斯噪声等。
作为一种或多种实施方式，在步骤S02中，利用数据增强的方式构造出包含错分区域特征的图像，进而使得网络通过这些图像学到更多的不确定性知识。
在本实施例中，采用一种difficutycutmix的数据增强方法。使用U-net对图像进行预分割，找到图像中错分的区域，将未错分区域的替换概率提高（使得错分区域特征更为显著），从而增广出的数据具有分错的不确定性区域，进而完成不确定性知识库的构建。
具体的，构建不确定性知识库的第一步是提取错分区域。首先利用预训练好的U-net网络对输入图像进行分割，得到输入图像的分割掩模图InputMask，之后用标签图像的掩模图LabelMask与
Figure 393883DEST_PATH_IMAGE001
作差，得到包含错分区域的掩模图
Figure 60488DEST_PATH_IMAGE002
：
Figure 529516DEST_PATH_IMAGE003
（错分区域的像素值为1，其余区域的像素值均为0）。接着对ErrorMask取反得到反向掩模图NErrorMask，将ErrorMask中像素值为1的像素点赋值为0，将ErrorMask中像素值为0的像素点赋值为1便可得到NErrorMask。NErrorMask的获取是为了重构CutMix框架中的重构后的数据增强框架掩码M。为了保证在执行CutMix的过程中不对错分区域进行剪切操作，需要利用NErrorMask重构CutMix框架中的M，进而在执行CutMix操作的过程中将错分区域保护起来。将M与NErrorMask进行点乘，得到新的掩模图NewM便为重构后的新掩模图掩码。之后用NewM替换CutMix框架的公式中的M对输入图像做数据增强操作，将未错分的区域的替换概率提高（使得错分区域特征更为显著），从而增广出的数据都具有分错的不确定性区域，进而完成不确定性知识库的构建。
改进后的CutMix涉及的公式描述如下：
Figure 761914DEST_PATH_IMAGE004
其中，
Figure 720511DEST_PATH_IMAGE005
和
Figure 608833DEST_PATH_IMAGE006
是两个不同的训练样本，
Figure 678289DEST_PATH_IMAGE007
和
Figure 968456DEST_PATH_IMAGE008
是对应的标签值。
Figure 100885DEST_PATH_IMAGE009
和
Figure 476502DEST_PATH_IMAGE010
是生成的新的训练样本和对应标签。
Figure 84070DEST_PATH_IMAGE011
服从Beta分布：
Figure 494323DEST_PATH_IMAGE012
。
作为一种或多种实施方式，在步骤S03中，本实施例采用一种不确定性知识域自适应的双分支网络。第一个分支用于学习不确定知识，并将学到的知识迁移到分割模型中（第二个分支）。第一个分支的输入是输入图像的difficutycutmix增广图像，使用U-net作为不确定性知识的学习网络。第二个分支的输入是原始输入图像（该图像中的目标与增广图像的目标一致），输入图像与其增广图像分布在两个域中。
为了将不确定性知识迁移到分割模型中，引入知识迁移正则化项，在本实施例中，知识迁移正则化项使用加权的相对熵（即KL散度），保证分割模型与不确定性学习模型的分割结果保持一致。
具体的，利用第一个分支中的尺度自适应特征增强学习器提取不确定性知识库中样本的特征，得到中间特征图Fuc。利用第二个分支中的目标学生网络特征学习器提取目标域中有标记输入样本的特征，得到标记目标域特征图F。对中间特征图Fuc和目标域特征图F施加加权的KL散度，通过降低加权KL散度的值拉近两个特征分布之间的距离，进而达到特征迁移的目的。
为了获取加权KL散度中的样本重要性权重
Figure 794723DEST_PATH_IMAGE013
，需要将不确定性知识库中的部分样本作为训练集预训练U-net网络。利用该网络对不确定性知识库中样本的分割结果便可计算样本重要性权重
Figure 657637DEST_PATH_IMAGE014
。
通过特征迁移，目标网络可以学到不确定性知识库中样本所包含的不确定性知识（样本错分区域所包含的特征）。KL散度的计算公式作为损失函数中正则化项的组成部分，具体公式描述如下：
Figure 68895DEST_PATH_IMAGE015
其中，G表示熵函数，H表示交叉熵损失函数，
Figure 68075DEST_PATH_IMAGE016
为第一个分支中的网络对不确定性知识样本
Figure 542307DEST_PATH_IMAGE017
的分割概率图，
Figure 892516DEST_PATH_IMAGE018
为分割时所考虑的类别数目。H的值越小，G的值越大，权重
Figure 920515DEST_PATH_IMAGE019
的值也越大。
作为一种或多种实施方式，在步骤S04中，半监督框架主要包括一致性正则化和自训练两个过程。一致性正则化采用传统的mean-teacher半监督分割框架的一致性损失训练目标学生网络，在训练目标学生网络的过程中，教师网络会对输入的未标记数据打伪标签。基于这些伪标签可进一步对目标学生网络进行微调，即本实施例中的半监督框架中的自训练过程。
具体的，Mean-teacher框架通过均方误差（MSE）来计算教师网络与目标学生网络之间的一致性损失，通过对学生网络的参数进行指数加权平均处理（EMA）获得教师网络的参数。自训练模块利用Mean-teacher框架中的teacher网络生成未标记样本的伪标签，接着利用未标记样本和未标记样本对应的伪标签训练学生网络。
作为一种或多种实施方式，在步骤S05中，在网络训练过程中主要包括如下损失函数：
（1）标记样本训练过程中涉及的交叉熵损失Lce1和Lce2；
（2）保持第一个分支和第二个分支之间预测结果的一致性损失Lcon1；
（3）Mean-teacher框架中teacher网络与目标学生网络之间的一致性损失Lcon2，以及自训练过程中产生的交叉熵损失Lce3。
网络训练过程中的总损失函数可定义为：
Figure 492311DEST_PATH_IMAGE020
其中，
Figure 416405DEST_PATH_IMAGE021
为不确定性知识库中的样本，
Figure 503178DEST_PATH_IMAGE022
为原始输入图像中的有标记样本，
Figure 69289DEST_PATH_IMAGE023
为原始输入图像中的未标记样本，
Figure 308640DEST_PATH_IMAGE024
为
Figure 856165DEST_PATH_IMAGE025
对应的标签，
Figure 180967DEST_PATH_IMAGE026
为
Figure 728930DEST_PATH_IMAGE023
对应的伪标签，
Figure 557209DEST_PATH_IMAGE027
为第一个分支中不确定性知识分割网络的预测结果，
Figure 744477DEST_PATH_IMAGE028
为目标学生网络的预测结果，
Figure 87733DEST_PATH_IMAGE029
为教师网络的预测结果。
Figure 448176DEST_PATH_IMAGE030
为交叉熵损失，MSE为均方差。
MSE计算预测数据和真实数据之间的欧式距离。预测值和真实值越接近，两者的均方差就越小。其得分最大值所对应类别为预测类别。将现在输出的预测结果与历史加权输出的预测结果做均方差损失计算
Figure 396541DEST_PATH_IMAGE031
。
网络在学习过程中会基于损失函数L重复进行反向传播训练，损失值会随着训练轮次的增多而慢慢下降。当损失值达到最小值时，得到的网络模型即为最佳训练结果。
本实施例采用difficutycutmix的方法构建不确定性知识库，是网络对不确定性知识学习的基础。引入不确定性知识迁移正则化项，将不确定性知识迁移到分割模型中。在mean-teacher框架的基础上引入自训练模式，增加有效标记数据的数量。最终，提升半监督分割框架的分割精度。
实施例二
本申请实施例二介绍了一种基于不确定性知识域自适应的半监督图像分割系统。
如图3所示的一种基于不确定性知识域自适应的半监督图像分割系统，包括：
获取模块，被配置为获取待分割图像；
分割模块，被配置为基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
详细步骤与实施例一提供的基于不确定性知识域自适应的半监督图像分割方法相同，在此不再赘述。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，包括以下步骤：
获取待分割图像；
基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
2.如权利要求1中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，在构建不确定性知识库之前，对数据集进行数据增强的预处理；所述预处理包括随机裁剪、水平翻转、垂直翻转、随机旋转和添加高斯噪声。
3.如权利要求2中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，对预处理后的数据集进行图像尺寸的归一化处理，保证预处理后的数据集中的所有图片尺寸大小统一。
4.如权利要求3中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，在构建不确定性知识库的过程中，通过数据增强构造包含错分区域特征的图像，基于所构造的包含错分区域特征的图像得到不确定性知识。
5.如权利要求4中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，利用预训练好的U-net网络对输入图像进行分割，得到输入图像的分割掩模图，对标签图像的掩模图与输入图像的分割掩模图作差，得到包含错分区域的掩模图，完成错分区域的提取。
6.如权利要求5中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，对所得到的包含错分区域的掩模图取反，得到反向掩模图，实现数据增强框架掩码的重构；将重构后的数据增强框架掩码与反向掩模图进行点乘，得到新掩模图掩码；用新掩模图掩码替换据增强框架掩码，对输入图像进行数据增强，替换未错分区域，完成不确定性知识库的构建。
7.如权利要求6中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，对所得到的包含错分区域的掩模图取反的具体过程为：将所得到的包含错分区域的掩模图中的像素值为1的像素点赋值0，将所得到的包含错分区域的掩模图中的像素值为0的像素点赋值1。
8.如权利要求1中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，所述基于特征迁移的域自适应的过程中，采用不确定知识域自适应的双分支网络，所述包括第一分支和第二分支；所述第一分支通过提取不确定知识库中的图像样本特征，得到中间特征图；结合第二分支提取目标域中有标记输入样本的特征，得到标记目标域特征图；对所得到的中间特征图和所述标记目标域特征图施加知识迁移正则化项，完成特征迁移。
9.如权利要求8中所述的一种基于不确定性知识域自适应的半监督图像分割方法，其特征在于，所述知识迁移正则化项采用加权的相对熵，通过降低相对熵的数值拉进所述中间特征图与所述标记目标域特征图之间的分布距离。
10.一种基于不确定性知识域自适应的半监督图像分割系统，其特征在于，包括：
获取模块，被配置为获取待分割图像；
分割模块，被配置为基于所获取的待分割图像和预设的图像分割模型，进行待分割图像的分割处理；
其中，所述图像分割模型采用半监督分割模型，基于所构建的不确定性知识库提取所获取的待分割图像的图像样本特征，基于特征迁移的域自适应将所提取到的图像样本特征迁移到半监督分割模型，完成待分割图像的分割处理。
CN202210423986.8A 2022-04-22 2022-04-22 基于不确定性知识域自适应的半监督图像分割方法及系统 Active CN114549842B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210423986.8A CN114549842B (zh) 2022-04-22 2022-04-22 基于不确定性知识域自适应的半监督图像分割方法及系统
US18/122,690 US20230342938A1 (en) 2022-04-22 2023-03-16 Adaptive Semi-Supervised Image Segmentation Method Based on Uncertainty Knowledge Domain and System thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423986.8A CN114549842B (zh) 2022-04-22 2022-04-22 基于不确定性知识域自适应的半监督图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN114549842A true CN114549842A (zh) 2022-05-27
CN114549842B CN114549842B (zh) 2022-08-02

Family

ID=81667674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423986.8A Active CN114549842B (zh) 2022-04-22 2022-04-22 基于不确定性知识域自适应的半监督图像分割方法及系统

Country Status (2)

Country Link
US (1) US20230342938A1 (zh)
CN (1) CN114549842B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100491A (zh) * 2022-08-25 2022-09-23 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112990222A (zh) * 2021-05-20 2021-06-18 之江实验室 一种基于图像边界知识迁移的引导语义分割方法
CN113538257A (zh) * 2021-06-15 2021-10-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN113723491A (zh) * 2021-08-24 2021-11-30 哈尔滨理工大学 一种半监督模型对比迁移的滚动轴承及齿轮故障诊断方法
CN114240955A (zh) * 2021-12-22 2022-03-25 电子科技大学 一种半监督的跨领域自适应的图像分割方法
CN114332135A (zh) * 2022-03-10 2022-04-12 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112990222A (zh) * 2021-05-20 2021-06-18 之江实验室 一种基于图像边界知识迁移的引导语义分割方法
CN113538257A (zh) * 2021-06-15 2021-10-22 复旦大学 一种基于双域U-net判别器的生成对抗低剂量CT去噪方法
CN113723491A (zh) * 2021-08-24 2021-11-30 哈尔滨理工大学 一种半监督模型对比迁移的滚动轴承及齿轮故障诊断方法
CN114240955A (zh) * 2021-12-22 2022-03-25 电子科技大学 一种半监督的跨领域自适应的图像分割方法
CN114332135A (zh) * 2022-03-10 2022-04-12 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUAIJUN CHEN 等: "Semi-supervised Domain Adaptation based on Dual-level Domain Mixing for Semantic Segmentation", 《CVPR》 *
何志海 等: "基于对抗方法的非监督域自适应算法研究", 《中国硕士学位论文全文数据库》 *
贾颖霞等: "基于类别相关的领域自适应交通图像语义分割方法", 《计算机研究与发展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100491A (zh) * 2022-08-25 2022-09-23 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN115100491B (zh) * 2022-08-25 2022-11-18 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
US11954917B2 (en) 2022-08-25 2024-04-09 Shandong Kailin Environmental Protection Equipment Co., Ltd. Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof

Also Published As

Publication number Publication date
US20230342938A1 (en) 2023-10-26
CN114549842B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN109741332B (zh) 一种人机协同的图像分割与标注方法
CN110377710B (zh) 一种基于多模态融合的视觉问答融合增强方法
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN110390251B (zh) 一种基于多神经网络模型融合处理的图像文字语义分割方法
CN112381098A (zh) 基于目标分割领域自学习的半监督学习方法和系统
CN111563146B (zh) 一种基于推理的难度可控问题生成方法
CN114912612A (zh) 鸟类识别方法、装置、计算机设备及存储介质
CN112116599A (zh) 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN113469186A (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN116468746B (zh) 一种双向复制粘贴的半监督医学图像分割方法
CN114549842B (zh) 基于不确定性知识域自适应的半监督图像分割方法及系统
CN113988079A (zh) 一种面向低数据的动态增强多跳文本阅读识别处理方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN113808123B (zh) 一种基于机器视觉的药液袋动态检测方法
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN111275646B (zh) 一种基于深度学习知识蒸馏技术的保边图像平滑方法
CN117437647A (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
CN116258861B (zh) 基于多标签学习的半监督语义分割方法以及分割装置
CN117058394A (zh) 一种零样本语义分割方法
CN116543162A (zh) 基于特征差值与上下文感知一致性的图像分割方法及系统
CN113627501A (zh) 一种基于迁移学习的动物图像种类识别方法
CN116977635B (zh) 类别增量语义分割学习方法及语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant