CN113052209B - 融合胶囊相似性的单样本语义分割方法 - Google Patents

融合胶囊相似性的单样本语义分割方法 Download PDF

Info

Publication number
CN113052209B
CN113052209B CN202110261694.4A CN202110261694A CN113052209B CN 113052209 B CN113052209 B CN 113052209B CN 202110261694 A CN202110261694 A CN 202110261694A CN 113052209 B CN113052209 B CN 113052209B
Authority
CN
China
Prior art keywords
similarity
capsule
image
query
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110261694.4A
Other languages
English (en)
Other versions
CN113052209A (zh
Inventor
赵璐
郝琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Chengjian University
Original Assignee
Tianjin Chengjian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Chengjian University filed Critical Tianjin Chengjian University
Priority to CN202110261694.4A priority Critical patent/CN113052209B/zh
Publication of CN113052209A publication Critical patent/CN113052209A/zh
Application granted granted Critical
Publication of CN113052209B publication Critical patent/CN113052209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

融合胶囊相似性的单样本语义分割方法，涉及模式识别、图像处理以及计算机视觉等领域，本方法研究基于深度神经网络的单样本语义分割方法中不清楚的相似性映射问题以及该方法在PASCALVOC 2012数据集的图像语义分割任务中的应用。现有的基于深度神经网络的单样本语义分割方法能快速适应在未知类仅有一张标记图像的情形下完成查询图像的像素级语义类预测任务，但是该方法有时产生的相似性映射图不清楚，使得分割查询图像失败，本方法通过引入胶囊概念建立相似性映射，并设计一个相似性映射上的新边缘损失，与主交叉熵损失共同优化训练网络。基于本方法在PASCALVOC 2012数据集上mIoU值达到58.2％，与原始方法相比，其语义分割的准确率更高，具有一定的实用价值。

Description

融合胶囊相似性的单样本语义分割方法
技术领域
本发明涉及模式识别、图像处理以及计算机视觉等领域，具体涉及一种融合胶囊相似性的单样本图像语义分割方法。
背景技术
作为计算机视觉领域的重要研究课题，图像语义分割是指将输入图像分割为具有语义的多个区域，即对图像中的每个像素分配一个语义类别。近年来，国内外已出现很多基于深度学习的语义分割模型，它们通常需要大量的训练样本才能工作，而且不能处理未知类别。但人类可以通过一个新类的标记图像就轻松分割出其它图像中的相同类别，受此启发研究者提出了单样本语义分割方法，即只凭借单个标记图像就学习到一个新的类别概念。单样本语义分割网络包括两部分：首先将支持图像集和一个查询图像输入到特征提取和密度比较模块，产生支持特征、查询特征和它们的余弦相似性映射，然后再通过卷积预测模块产生查询图像的预测分割结果。而其中的关键在于如何产生相似性映射。
与传统单样本语义分割方法相比，本发明所提出的融合胶囊相似性的单样本语义分割方法具有以下特点：引入胶囊概念建立相似性映射，并设计一个新的边缘损失和主交叉熵损失共同优化训练网络，一定程度上解决了原相似性映射不清楚问题；与其他方法相比，所提方法的语义分割准确率更高。
发明内容
本发明提出融合胶囊相似性的单样本语义分割方法。该方法引入胶囊概念建立相似性映射从而实现单样本语义分割网络中的相似性映射模块，并综合利用相似性映射上的边缘损失以及预测分割结果和目标分割结果上的主交叉熵损失共同优化网络进行学习，与其他方法相比，所提方法对图像的语义分割准确率更高，具有一定的实用价值。
为解决上述技术问题，本发明所采取的技术方案是：
本发明的融合胶囊相似性的单样本语义分割方法，主要包括如下关键步骤：
S1、特征提取器的构建：
S1.1、导入预训练的特征提取器；
S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征；
S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征；
S2、基于胶囊的相似性映射生成器的构建：
S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊；
S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素；
S2.3、重塑相似性向量形成相似性矩阵即相似性映射；
S3、卷积预测模块的构建：
S3.1、对支持图像中级特征执行三个连续操作并调整尺寸，对相似性映射调整尺寸，对查询图像中级特征执行卷积操作，拼接这三个张量以备送入卷积预测模块；
S3.2、建立卷积预测模块结构；
S3.3、产生卷积预测模块输出即查询图像的预测分割结果；
S3.4、通过相似性映射图和目标分割图间的边缘损失以及预测分割图和目标分割图间的主交叉熵损失共同优化并训练单样本网络。
进一步，步骤S1.1中采用ResNet50作为预训练的特征提取器，该网络为包含50个二维卷积操作的残差网络，常作为图像处理和计算机视觉任务主干经典神经网络的一部分。
步骤S1.2中特征提取器针对支持图像分别输出中级特征和高级特征，其中中级特征用于卷积预测模块，高级特征用于基于胶囊的相似性映射生成器。
步骤S1.3中特征提取器针对查询图像分别输出中级特征和高级特征，其中中级特征用于卷积预测模块，高级特征用于基于胶囊的相似性映射生成器。
步骤S2.1中分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊方法如下：首先，查询图像高级特征和掩码后的支持图像高级特征都是三维张量，其每维大小为(c，h，w)，其中c为通道数，h为高度，w为宽度。将张量分裂成h×w个尺寸为c的向量，即对应张量中所有通道的每个位置。其次，通过挤压函数将这些向量转化成胶囊概念，令xq，xs分别代表分裂后的查询向量和支持向量，则上述过程可描述为：
Figure BDA0002970306390000021
该公式的计算结果则为对应的查询胶囊和支持胶囊。
步骤S2.2中计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素，则这一过程可形式化为：
Figure BDA0002970306390000031
其中h和w为特征张量中一个通道的高与宽，该公式的计算结果为查询胶囊xq和支持胶囊xs的余弦相似性。
CQ＝[c1，c2，...，cq，...，ch×w]，
其中cq＝maxs∈{1，2，...，hw}(cos(xq，xs))，q＝1，2，，...，h×w，cq表示查询胶囊xq的相似性值，所有查询胶囊的相似性值组成CQ即相似性向量。
步骤S2.3中所述重塑相似性向量是将尺寸为h×w的相似性向量CQ重塑成尺寸为hC×wC相似性矩阵即相似性映射MQ，其中hC为相似性矩阵的高，wC为相似性矩阵的宽，同时满足hC×wC＝h×w。
步骤S3.1中首先用1×1卷积过滤查询图像中级特征，随后，支持图像中级特征需执行三个连续操作：1×1卷积、支持掩码乘积和全局平均池化；然后依照过滤后的查询图像中级特征张量的大小，将运算后的支持图像中级特征和相似性映射都调整成相等尺寸；最后拼接三个同尺寸张量并输入给卷积预测模块。
步骤S3.2中卷积预测模块结构依次由1个1×1卷积模块，3个3×3卷积模块和1个1×1卷积模块构成，其中最后一个1×1卷积模块用于产生分割结果。
步骤S3.3中通过卷积预测模块输出查询图像预测分割结果，并通过双线性插值法重塑分割结果，最终以原查询图像的尺寸显示预测分割图。
步骤S3.4中共同优化网络的两种损失为交叉熵损失和边缘损失，其中交叉熵损失是比较查询图像预测分割结果和目标分割结果间差距的交叉熵损失，而边缘损失是比较相似性映射和查询图像目标分割结果间差距的，为了使相似性映射对语义分割更有效，此辅助的边缘损失Li，j在相似性映射MQ中位置(i，j)上定义成：
Li，j＝Ti，jmax(0，m+-‖vi，j‖)2+λ(1-Ti，j)max(0，‖vi，j‖-m-)2，
其中vi，j为相似性映射MQ在位置(i，j)的值，‖·‖为取范数操作，如果目标语义类在位置(i，j)出现则Ti，j＝1，否则Ti，j＝0，m+＝0.9，m-＝0.1，，λ＝0.5为像素类错误的损失固定权值，总边缘损失定义为相似性映射MQ中所有位置的边缘损失之和。
本发明采用上述技术方案所产生的有益效果在于：本发明设计了融合胶囊相似性的单样本语义分割方法，主要研究单样本语义分割网络中相似性映射生成器的构建问题及其在图像语义分割准确率上的效果。相似性映射生成器是单样本语义分割网络的关键模块，如何有效描述支持图像特征和查询图像特征间的相似性是设计单样本语义分割网络的关键，现有方法将查询图像特征与掩码化和全局平均池化的支持图像特征进行密度比较，但目标类中许多细节信息在池化过程被忽略，故该方法很可能产生不清楚的映射并最终使得分割失败。为了解决上述问题，本发明引入胶囊概念对支持图像高级特征和查询图像高级特征间的相似性进行描述，并定义了相似性映射和查询图像的目标分割图上的边缘损失，与查询图像的预测分割图和目标分割图上的主交叉熵损失共同优化训练网络。与现有方法相比，本方法建立的相似性映射更清楚，对图像的语义分割准确率更高，具有一定的实用价值。
附图说明
图1是本发明公开的融合胶囊相似性的单样本语义分割举例图；
图2是基于胶囊的相似性映射生成器的结构图；
图3是各种单样本语义分割方法的分割性能比较；
图4是各种5样本语义分割方法的分割性能比较；
图5是本方法与基准方法的分割效果比较。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例
本发明实施例利用Python语言和PyTorch框架构建融合胶囊相似性的单样本语义分割方法。分割的主要目标是将图像中每个像素分配一个语义类别，从而对图像中的区域进行类别划分。主要涉及的实施操作有特征提取模块、相似性映射生成模块和卷积预测模块的构建，其中基于胶囊的相似性映射生成模块是算法最大的创新点。本发明引入胶囊概念对支持图像高级特征和查询图像高级特征间的相似性进行描述，并定义了相似性映射与查询图像目标分割图上的边缘损失，与查询图像预测分割图和目标分割图上的主交叉熵损失共同优化训练网络。
本实施例的融合胶囊相似性的单样本语义分割方法，如图1所示，主要包括如下关键步骤：
S1、特征提取器的构建：
S1.1、导入预训练的特征提取器；
S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征；
S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征；
S2、基于胶囊的相似性映射生成器的构建：
S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊；
S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素；
S2.3、重塑相似性向量形成相似性矩阵即相似性映射；
S3、卷积预测模块的构建：
S3.1、对支持图像中级特征执行三个连续操作并调整尺寸，对相似性映射调整尺寸，对查询图像中级特征执行卷积操作，拼接这三个张量以备送入卷积预测模块；
S3.2、建立卷积预测模块结构；
S3.3、产生卷积预测模块输出即查询图像的预测分割结果；
S3.4、通过相似性映射图和目标分割图间的边缘损失以及预测分割图和目标分割图间的主交叉熵损失共同优化并训练单样本网络。
步骤S1.1中采用ResNet50作为预训练的特征提取器，该网络为包含50个二维卷积操作的残差网络。
步骤S1.2中特征提取器针对支持图像分别输出中级特征和高级特征，其中中级特征用于卷积预测模块，高级特征用于基于胶囊的相似性映射生成器。
步骤S1.3中特征提取器针对查询图像分别输出中级特征和高级特征，其中中级特征用于卷积预测模块，高级特征用于基于胶囊的相似性映射生成器。
步骤S2中基于胶囊的相似性映射生成器的结构如图2所示，详细说明见步骤2.1-2.3。
步骤S2.1中分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊方法如下：首先，查询图像高级特征和掩码后的支持图像高级特征都是三维张量，其每维大小为(c，h，w)，其中c为通道数，h为高度，w为宽度。将张量分裂成h×w个尺寸为c的向量，即对应张量中所有通道的每个位置。其次，通过挤压函数将这些向量转化成胶囊概念，令xq，xs分别代表分裂后的查询向量和支持向量，则上述过程可描述为：
Figure BDA0002970306390000051
该公式的计算结果则为对应的查询胶囊和支持胶囊。
步骤S2.2中计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素，则这一过程可形式化为：
Figure BDA0002970306390000061
其中h和w为特征张量中一个通道的高与宽，该公式的计算结果为查询胶囊xq和支持胶囊xs的余弦相似性。
CQ＝[c1，c2，...，cq，...，ch×w]，
其中cq＝maxs∈{1，2，...，hw}(cos(xq，xs))，q＝1，2，，...，h×w，cq表示查询胶囊xq的相似性值，所有查询胶囊的相似性值组成CQ即相似性向量。
步骤S2.3中所述重塑相似性向量是将尺寸为h×w的相似性向量CQ重塑成尺寸为hC×wC相似性矩阵即相似性映射MQ，其中hC为相似性矩阵的高，wC为相似性矩阵的宽，同时满足hC×wC＝h×w。
步骤S3.1中首先用1×1卷积过滤查询图像中级特征，随后，支持图像中级特征需执行三个连续操作：1×1卷积、支持掩码乘积和全局平均池化；然后依照过滤后的查询图像中级特征张量的大小，将运算后的支持图像中级特征和相似性映射都调整成相等尺寸；最后拼接三个同尺寸张量并输入给卷积预测模块。
步骤S3.2中卷积预测模块结构依次由1个1×1卷积模块，3个3×3卷积模块和1个1×1卷积模块构成，其中最后一个1×1卷积模块用于产生分割结果。
步骤S3.3中通过卷积预测模块输出查询图像预测分割结果，并通过双线性插值法重塑分割结果，最终以原查询图像的尺寸显示预测分割图。
步骤S3.4中共同优化网络的两种损失为交叉熵损失和边缘损失，其中交叉熵损失是比较查询图像预测分割结果和目标分割结果间差距的交叉熵损失，而边缘损失是比较相似性映射和查询图像目标分割结果间差距的，为了使相似性映射对语义分割更有效，此辅助的边缘损失Li，j在相似性映射MQ中位置(i，j)上定义成：
Li，j＝Ti，jmax(0，m+-‖vi，j‖)2+λ(1-Ti，j)max(0，‖vi，j‖-m-)2，
其中vi，j为相似性映射MQ在位置(i，j)的值，‖·‖为取范数操作，如果目标语义类在位置(i,j)出现则Ti,j＝1，否则Ti,j＝0，m+＝0.9，m-＝0.1，，λ＝0.5为像素类错误的损失固定权值，总边缘损失定义为相似性映射MQ中所有位置的边缘损失之和。
最后进行实验对比，将PASCALVOC 2012数据集中20个类分成4折，每折包含5个测试类和15个训练类，随机抽取1000个查询支持图像对用于评估。采用学习率0.0025和批量大小为4对网络训练200趟，并用mIoU值(类平均交并比)作为评估分割准确率的指标。图3和图4分别给出了本方法与其他方法在PASCALVOC 2012数据集上的单样本和5样本的分割性能mIoU值对比结果。无论凭借单样本支持图像还是5样本支持图像执行查询图像的新语义类预测任务，图3和图4表明本方法的mIoU值在同类方法中最高，分别达到58.2％和61.0％，且高出性能第二方法5.05％和6.83％，故融合胶囊产生相似性映射和加入边缘损失优化网络可以有效提高少样本学习时语义分割的准确率。
图5给出本方法与基准方法的分割效果比较，例如第一幅图显示本方法能成功分割出三辆自行车，而基准方法只能分割出两辆自行车；第五幅图为轨道列车图，其显示即使在查询图和支持图间没有很多相似处时本方法也能区分出目标和背景，而基准方法混淆了目标和背景。
本发明基于胶囊的相似性映射能较准确捕捉到查询图和支持图间的相似性，建立更清楚的相似性映射矩阵，并且引入相似性映射和查询目标分割图上的边缘损失能比较相似性映射和查询图像目标分割结果间差距，与主交叉熵损失共同优化网络，最终实现了融合胶囊相似性的单样本语义分割方法在分割准确率上更高的效果。

Claims (8)

1.融合胶囊相似性的单样本语义分割方法，其特征在于，该方法包括如下步骤：
S1、特征提取器的构建：
S1.1、导入预训练的特征提取器；
S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征；
S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征；
S2、基于胶囊的相似性映射生成器的构建：
S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊；
S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素；
S2.3、重塑相似性向量形成相似性矩阵即相似性映射；
S3、卷积预测模块的构建：
S3.1、对支持图像中级特征执行三个连续操作并调整尺寸，对相似性映射调整尺寸，对查询图像中级特征执行卷积操作，拼接这三个张量以备送入卷积预测模块；
步骤S3.1具体过程为：首先用1×1卷积过滤查询图像中级特征，随后，支持图像中级特征需执行三个连续操作：1×1卷积、支持掩码乘积和全局平均池化；然后依照过滤后的查询图像中级特征张量的大小，将运算后的支持图像中级特征和相似性映射都调整成相等尺寸；最后拼接三个同尺寸张量并输入给卷积预测模块；
S3.2、建立卷积预测模块结构；
S3.3、产生卷积预测模块输出即查询图像的预测分割结果；
S3.4、通过相似性映射图和目标分割图间的边缘损失以及预测分割图和目标分割图间的主交叉熵损失共同优化并训练单样本语义分割网络。
2.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S1.1中采用ResNet50作为预训练的特征提取器。
3.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.1中分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊方法如下：首先，查询图像高级特征和掩码后的支持图像高级特征都是三维张量，其每维大小为(c,h,w)，其中c为通道数，h为高度，w为宽度；将张量分裂成h×w个尺寸为c的向量，即对应张量中所有通道的每个位置；其次，通过挤压函数将这些向量转化成胶囊概念，令xq，xs分别代表分裂后的查询向量和支持向量，则上述过程描述为：
Figure FDA0003517290940000021
该公式的计算结果则为对应的查询胶囊和支持胶囊。
4.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.2中计算每个查询胶囊与所有支持胶囊的余弦相似性，取最大值作为每个查询胶囊在相似性向量中的对应元素，其过程形式化为：
Figure FDA0003517290940000022
其中h和w为特征张量在一个通道中的高与宽，该公式的计算结果为查询胶囊xq和支持胶囊xs的余弦相似性；
CQ＝[c1,c2,…,cq,…,ch×w]，
其中cq＝maxs∈{1,2,…,h×w}(cos(xq,xs)),q＝1,2,…,h×w，cq表示查询胶囊xq的相似性值，所有查询胶囊的相似性值组成CQ即相似性向量。
5.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S2.3中所述重塑相似性向量是将尺寸为h×w的相似性向量CQ重塑成尺寸为hC×wC的相似性矩阵即相似性映射MQ，其中hC为相似性矩阵的高，wC为相似性矩阵的宽，同时满足hC×wC＝h×w。
6.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S3.2中所述卷积预测模块结构依次由1个1×1卷积模块，3个3×3卷积模块和1个1×1卷积模块构成，其中最后一个1×1卷积模块用于产生分割结果。
7.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S3.3中通过卷积预测模块输出查询图像预测分割结果，并通过双线性插值法重塑分割结果，最终以原查询图像的尺寸显示预测分割图。
8.如权利要求1所述的融合胶囊相似性的单样本语义分割方法，其特征在于，步骤S3.4中相似性映射MQ在位置(i,j)上的边缘损失Li,j定义为：
Li,j＝Ti,jmax(0,m+-‖vi,j‖)2+λ(1-Ti,j)max(0,‖vi,j‖-m-)2，
其中vi,j为相似性映射MQ在位置(i,j)的值，‖·‖为取范数操作，如果目标语义类在位置(i,j)出现则Ti,j＝1，否则Ti,j＝0，m+＝0.9，m-＝0.1，λ＝0.5为像素类错误的损失固定权值，总边缘损失定义为相似性映射MQ中所有位置的边缘损失之和。
CN202110261694.4A 2021-03-10 2021-03-10 融合胶囊相似性的单样本语义分割方法 Active CN113052209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261694.4A CN113052209B (zh) 2021-03-10 2021-03-10 融合胶囊相似性的单样本语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261694.4A CN113052209B (zh) 2021-03-10 2021-03-10 融合胶囊相似性的单样本语义分割方法

Publications (2)

Publication Number Publication Date
CN113052209A CN113052209A (zh) 2021-06-29
CN113052209B true CN113052209B (zh) 2022-04-01

Family

ID=76511043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261694.4A Active CN113052209B (zh) 2021-03-10 2021-03-10 融合胶囊相似性的单样本语义分割方法

Country Status (1)

Country Link
CN (1) CN113052209B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706487A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于自监督特征小样本学习的多器官分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059741A (zh) * 2019-04-15 2019-07-26 西安电子科技大学 基于语义胶囊融合网络的图像识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056166B (zh) * 2016-06-29 2019-08-16 中科院合肥技术创新工程院 一种胶囊内窥镜相似图像的自适应筛除方法
CN109345575B (zh) * 2018-09-17 2021-01-19 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN109977223B (zh) * 2019-03-06 2021-10-22 中南大学 一种融合胶囊机制的图卷积网络对论文进行分类的方法
CN112069961B (zh) * 2020-08-28 2022-06-14 电子科技大学 一种基于度量学习的少样本文档版面分析方法
CN112150471B (zh) * 2020-09-23 2023-09-05 创新奇智(上海)科技有限公司 基于少样本的语义分割方法及装置、电子设备、存储介质
CN112364870B (zh) * 2020-10-22 2021-10-15 中国科学院大学 一种基于特征和谐激活的小样本语义分割方法
CN112464943B (zh) * 2020-11-25 2023-07-14 创新奇智(南京)科技有限公司 基于少样本的语义分割方法及装置、电子设备、存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059741A (zh) * 2019-04-15 2019-07-26 西安电子科技大学 基于语义胶囊融合网络的图像识别方法

Also Published As

Publication number Publication date
CN113052209A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
Li et al. Neural architecture search for lightweight non-local networks
CN110443805B (zh) 一种基于像素密切度的语义分割方法
CN111858954A (zh) 面向任务的文本生成图像网络模型
JP2009282980A (ja) 画像学習、自動注釈、検索方法及び装置
CN111985538A (zh) 基于语义辅助注意力机制的小样本图片分类模型及方法
CN113177549B (zh) 一种基于动态原型特征融合的少样本目标检测方法及系统
CN114863407B (zh) 一种基于视觉语言深度融合的多任务冷启动目标检测方法
Wang et al. Deep multi-person kinship matching and recognition for family photos
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
US20220188975A1 (en) Image conversion device, image conversion model learning device, method, and program
CN113052209B (zh) 融合胶囊相似性的单样本语义分割方法
Jiang et al. Tabcellnet: Deep learning-based tabular cell structure detection
Zareapoor et al. Local spatial information for image super-resolution
Yang et al. Xception-based general forensic method on small-size images
Huang et al. Efficient attention network: Accelerate attention by searching where to plug
Lin et al. Task-oriented feature-fused network with multivariate dataset for joint face analysis
CN112927783A (zh) 图像检索方法及装置
WO2024027347A9 (zh) 内容识别方法、装置、设备、存储介质及计算机程序产品
Li A deep learning-based text detection and recognition approach for natural scenes
WO2022162427A1 (en) Annotation-efficient image anomaly detection
Cheng et al. Convolution-enhanced vision transformer network for smoke recognition
Yuan et al. M $^ 3$ Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
CN115640401A (zh) 文本内容提取方法及装置
He et al. Two-stage rule-induction visual reasoning on RPMs with an application to video prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant