CN113111205A - 基于元滤波核的图像特征动态对齐方法及装置 - Google Patents

基于元滤波核的图像特征动态对齐方法及装置 Download PDF

Info

Publication number
CN113111205A
CN113111205A CN202110393866.3A CN202110393866A CN113111205A CN 113111205 A CN113111205 A CN 113111205A CN 202110393866 A CN202110393866 A CN 202110393866A CN 113111205 A CN113111205 A CN 113111205A
Authority
CN
China
Prior art keywords
meta
network
filter kernel
query set
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110393866.3A
Other languages
English (en)
Other versions
CN113111205B (zh
Inventor
付彦伟
徐程明
张力
薛向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110393866.3A priority Critical patent/CN113111205B/zh
Publication of CN113111205A publication Critical patent/CN113111205A/zh
Application granted granted Critical
Publication of CN113111205B publication Critical patent/CN113111205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明提供了一种基于元滤波核的动态图像特征对齐方法及装置，用于对小样本的动态图像进行分类得到预测分类结果，其特征在于，包括如下步骤：搭建特征提取网络，并从支持集样本以及查询集样本中提取到图片特征组；搭建元滤波核生成网络，并输入图片特征组得到元滤波核；基于元滤波核并通过元滤波核生成网络对图片特征组进行自适应对齐得到对齐后查询集特征；搭建图像分类网络，对支持集特征以及对齐后查询集特征进行比较分类得到本地预测类别，并进行全局分类得到全局预测类别；构建损失函数，基于该损失函数以及预测类别训练得到训练好的小样本图像分类模型；将动态图像输入训练好的小样本图像分类模型分类得到预测分类结果。

Description

基于元滤波核的图像特征动态对齐方法及装置
技术领域
本发明属于数据识别领域，具体涉及一种基于元滤波核的图像特征动态对齐方法及装置。
背景技术
随着数码照相机、智能手机以及各类专业摄像机等电子产品的普及，再加上宽带网络和大容量存储技术的迅猛发展，图片数据的数量正在急剧增长。然而将这些数据转化为普通深度学习模型训练需要的带标注数据需要大量成本。除此之外，有些类别的数据获取起来相比于常见类别更难，例如某些珍稀品种动物的图像数据。
基于上述原因，在只有少量带标注数据的情况下，不仅需要让模型有足够的泛化能力使得模型能够在有丰富训练数据的其他类别中获取有用知识，也要让模型在少量数据上能够快速学习。这也与人类快速迁移知识的能力相通，比如小孩能在只提供一张熊猫照片的情况下识别其他熊猫。
小样本学习的目的是解决这类问题，以缩短机器智能和人类智能之间的差距。解决小样本学习问题可以对很多现实应用场景产生巨大影响，例如药片识别，机器人等。
然而，在某一个查询集图片对不同支持集图片分类时，当前大多数小样本学习模型不能探索对这张查询集图片更多有价值的信息，这导致了较差的泛化能力。尽管存在一些特征对齐方法，这些方法主要存在以下问题：(1)只关注空间特征的差异，忽视了通道级的信息。(2)使用所有空间特征进行对齐，这会造成严重的信息冗余。(3)由于对齐方式是固定的，这些方法不能处理不同难度的任务之间存在的差异。
综上，在已有的小样本学习模型中，没有较为有效的特征对齐方法来解决模型泛化能力差的问题。
发明内容
为解决上述问题，提供了一种在小样本图像的基础上具有较好分类性能的图像特征对齐方法及装置，本发明采用了如下技术方案：
本发明提供了一种基于元滤波核的图像特征动态对齐方法，用于对小样本的动态图像进行分类得到预测分类结果，其特征在于，包括如下步骤：步骤S1，搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到支持集样本的支持集特征以及查询集样本的查询集特征，并基于支持集特征与查询集特征构建图片特征组；步骤S2，搭建元滤波核生成网络，并将图片特征组输入元滤波核生成网络中，得到元滤波核；步骤S3，基于元滤波核并通过元滤波核生成网络对图片特征组进行自适应对齐得到对齐后查询集特征；步骤S4，搭建图像分类网络，利用图像分类网络对支持集特征以及对齐后查询集特征进行比较分类，得到本地预测类别，并对对齐后查询集特征进行全局分类，从而得到查询集样本对应的整体类别的全局预测类别；步骤S5，基于本地预测类别、全局预测类别以及查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成；步骤S6，将特征提取网络、元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于损失函数以及预测类别训练小样本图像分类模型从而得到训练好的小样本图像分类模型；步骤S7，将动态图像输入训练好的小样本图像分类模型进行分类，从而得到预测分类结果。
根据本发明提供的一种基于元滤波核的图像特征动态对齐方法，还可以具有这样的技术特征，其中，对齐后查询集特征
Figure BDA0003017815350000031
由下式计算得到：
Figure BDA0003017815350000032
式中，F为动态卷积，t为应用对齐的次数，Xq为图片特征组{Xsupp,Xq}中的查询集特征，对于对齐后查询集特征
Figure BDA0003017815350000033
中每个位置(i,j)的
Figure BDA0003017815350000034
Figure BDA0003017815350000035
式中，
Figure BDA0003017815350000036
为查询集特征中位置(i,j)的值，fd(i,j)为元滤波核fd中位置(i,j)的值，*c为c组卷积操作，
Figure BDA0003017815350000037
为空间邻域。
根据本发明提供的一种基于元滤波核的图像特征动态对齐方法，还可以具有这样的技术特征，其中，步骤S2包括如下子步骤：步骤S2-1，搭建卷积神经网络作为元滤波核生成网络；步骤S2-2，利用元滤波核生成网络将图片特征组转化为位移矩阵；步骤S2-3，利用位移矩阵对支持集特征进行采样得到动态特征；步骤S2-4，元滤波核生成网络基于动态特征生成元滤波核。
根据本发明提供的一种基于元滤波核的图像特征动态对齐方法，还可以具有这样的技术特征，其中，步骤S5中损失函数
Figure BDA0003017815350000041
为：
Figure BDA0003017815350000042
Figure BDA0003017815350000043
Figure BDA0003017815350000044
式中，lg为全局分类损失函数，lf为小样本分类损失函数，
Figure BDA0003017815350000045
为全局预测类别，yq为查询集样本对应的实际类别，h,w分别为查询集特征的高宽，s,t为遍历查询集特征各位置的索引，
Figure BDA0003017815350000046
为本地预测类别的分数矩阵，X为一个查询集特征与所有支持集特征计算得到的分数矩阵。
根据本发明提供的一种基于元滤波核的图像特征动态对齐方法，还可以具有这样的技术特征，其中，特征提取网络为残差卷积网络，元滤波核生成网络为动态卷积网络，图像分类网络为卷积网络。
本发明提供了一种基于元滤波核的图像特征动态对齐装置，用于对小样本的动态图像进行分类得到预测分类结果，其特征在于，包括：训练特征提取模块，搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到支持集样本的支持集特征以及查询集样本的查询集特征，并基于支持集特征与查询集特征构建图片特征组；元滤波核生成模块，搭建元滤波核生成网络，并将图片特征组输入元滤波核生成网络中，得到元滤波核；查询集特征对齐模块，基于元滤波核并通过元滤波核生成网络对图片特征组进行自适应对齐得到对齐后查询集特征；类别预测模块，搭建图像分类网络，利用图像分类网络对支持集特征以及对齐后查询集特征进行比较分类，得到本地预测类别，并对对齐后查询集特征进行全局分类，从而得到查询集样本对应的整体类别的全局预测类别；损失函数构建模块，基于本地预测类别、全局预测类别以及查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成；训练更新模块，将特征提取网络、元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于损失函数以及预测类别训练小样本图像分类模型从而得到训练好的小样本图像分类模型；以及分类结果生成模块，将动态图像输入训练好的小样本图像分类模型进行分类，从而得到预测分类结果。
发明作用与效果
根据本发明的一种基于元滤波核的图像特征动态对齐方法及装置，由于先通过元滤波核生成网络基于图片特征组生成了元滤波核，然后在该元滤波核的基础上通过元滤波核生成网络对图片特征组进行了自适应对齐得到对齐后查询集特征，因此，可以找出查询集图像中与目标类别相关的区域，从而获得更有效的图像特征并且降低信息冗余，进而提升训练好的小样本图像分类模型的性能。
通过本发明的基于元滤波核的图像特征动态对齐方法及装置，在小样本数据集下，能够有效进行图像分类。
附图说明
图1为本发明实施例的一种基于元滤波核的图像特征动态对齐方法的流程图；以及
图2为本发明实施例的一种基于元滤波核的图像特征动态对齐装置的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于元滤波核的图像特征动态对齐方法作具体阐述。
<实施例>
图1为本发明实施例的一种基于元滤波核的图像特征动态对齐方法的流程图。
如图1所示，一种基于元滤波核的图像特征动态对齐方法包括如下步骤：
步骤S1，搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到支持集样本的支持集特征以及查询集样本的查询集特征，并基于支持集特征与查询集特征构建图片特征组。
具体地，用于训练的支持集样本以及查询集样本共涉及N个种类，每个种类下的支持集样本与查询集样本分别为K个与Q个，经过特征提取网络提取得到每类支持集特征为
Figure BDA0003017815350000071
(其中，c为特征通道数，h,w分别为特征的长宽)，则在该类支持集特征下，该类别支持集的原型为
Figure BDA0003017815350000072
将所有类别的支持集原型与每个类别中所有查询集样本构成一组图片特征组，即共有N×NQ组图片特征组{Xsupp,Xq}。
本实施例中，特征提取网络为残差卷积网络。
步骤S2，搭建元滤波核生成网络，并将图片特征组输入元滤波核生成网络中，得到元滤波核。
步骤S2-1，搭建卷积神经网络作为元滤波核生成网络。
本实施例中，元滤波核生成网络为动态卷积网络。
步骤S2-2，利用元滤波核生成网络将图片特征组{Xsupp,Xq}转化为位移矩阵M∈R18 ×h×w。
其中，对每个特定位置(h,w)，每个位移向量m＝M:,h,w∈R18表示支持集特征对应位置上需要被采样九个点的位置信息。
步骤S2-3，利用位移矩阵M对支持集特征进行采样得到动态特征
Figure BDA0003017815350000073
其中，(i,j)为支持集特征的各个位置。
步骤S2-4，元滤波核生成网络基于动态特征
Figure BDA0003017815350000074
生成元滤波核fd。
该动态特征被用于通过卷积神经网络生成动态元滤波核fd。其中，对每个位置(i,j)，
Figure BDA0003017815350000075
其中σ,ψ,*分别表示Sigmoid函数、卷积核以及卷积操作。
步骤S3，基于元滤波核fd并通过元滤波核生成网络对图片特征组{Xsupp,Xq}进行自适应对齐得到对齐后查询集特征
Figure BDA0003017815350000081
Figure BDA0003017815350000082
式中，F为动态卷积，t为应用对齐的次数，Xq为图片特征组中的查询集特征。
对于对齐后查询集特征
Figure BDA0003017815350000083
中每个位置(i,j)的
Figure BDA0003017815350000084
Figure BDA0003017815350000085
式中，
Figure BDA0003017815350000086
为查询集特征中位置(i,j)的值，fd(i,j)为元滤波核fd中位置(i,j)的值，*c为c组卷积操作，
Figure BDA0003017815350000087
为空间邻域。
步骤S4，搭建图像分类网络，利用图像分类网络对支持集特征以及对齐后查询集特征进行比较分类，得到本地预测类别，并对对齐后查询集特征进行全局分类，从而得到查询集样本对应的整体类别的全局预测类别。
具体地，利用图像分类网络对支持集特征Xsupp进行全局平均池化，得到池化后支持集特征向量
Figure BDA0003017815350000088
将该池化后支持集特征向量
Figure BDA0003017815350000089
作为卷积核应用在对齐后查询集特征
Figure BDA00030178153500000810
上，从而得到本地预测类别的分数矩阵
Figure BDA00030178153500000811
同时，利用图像分类网络对对齐后查询集特征
Figure BDA00030178153500000812
进行全局分类，得到全局预测类别
Figure BDA00030178153500000813
本实施例中，图像分类网络为卷积网络。
步骤S5，基于本地预测类别、全局预测类别以及查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成。
对每个特征输入输出对
Figure BDA0003017815350000091
构造损失函数
Figure BDA0003017815350000092
如下：
Figure BDA0003017815350000093
Figure BDA0003017815350000094
Figure BDA0003017815350000095
式中，lg为全局分类损失函数，lf为小样本分类损失函数，
Figure BDA0003017815350000096
为全局预测类别，yq为查询集样本对应的实际类别，h,w分别为查询集特征的高宽，s,t为遍历查询集特征各位置的索引，
Figure BDA0003017815350000097
为本地预测类别的分数矩阵，X为一个查询集特征与所有支持集特征计算得到的分数矩阵。
步骤S6，将特征提取网络、元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于损失函数以及预测类别训练小样本图像分类模型从而得到训练好的小样本图像分类模型。
本实施例中，由于在训练集上总共采样到N种类别，并且在被选中的类别中分别采样K张支持集图片和Q张查询集图片，因此构成了多个元学习任务。
将特征提取网络、元滤波核生成网络以及图像分类网络作为小样本图像分类模型，并基于损失函数以及预测类别训练小样本图像分类模型直到模型收敛，从而得到训练好的小样本图像分类模型。
步骤S7，将动态图像输入训练好的小样本图像分类模型进行分类，从而得到预测分类结果。
图2为本发明实施例的一种基于元滤波核的图像特征动态对齐装置的结构框图。
本实施例的基于元滤波核的图像特征动态对齐装置1包括训练特征提取模块11、元滤波核生成模块12、查询集特征对齐模块13、类别预测模块14、损失函数构建模块15、训练更新模块16以及分类结果生成模块17(如图2所示)。本实施例中，基于元滤波核的图像特征动态对齐装置1是由基于元滤波核的图像特征动态对齐方法得到的，可应用于嵌入式设备。
训练特征提取模块11搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到支持集样本的支持集特征以及查询集样本的查询集特征，并基于支持集特征与查询集特征构建图片特征组。
元滤波核生成模块12搭建元滤波核生成网络，并将图片特征组输入元滤波核生成网络中，得到元滤波核。
查询集特征对齐模块13基于元滤波核并通过元滤波核生成网络对图片特征组进行自适应对齐得到对齐后查询集特征。
类别预测模块14搭建图像分类网络，利用图像分类网络对支持集特征以及对齐后查询集特征进行比较分类，得到本地预测类别，并对对齐后查询集特征进行全局分类，从而得到查询集样本对应的整体类别的全局预测类别。
损失函数构建模块15基于本地预测类别、全局预测类别以及查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成。
训练更新模块16将特征提取网络、元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于损失函数以及预测类别训练小样本图像分类模型从而得到训练好的小样本图像分类模型。
分类结果生成模块17将动态图像输入训练好的小样本图像分类模型进行分类，从而得到预测分类结果。
为了验证本发明的基于元滤波核的图像特征动态对齐及装置的效果，在测试集上共采样得到2000个元学习任务，对每个元学习任务利用训练好的小样本图像分类模型进行分类结果预测得到对应的预测分类结果，基于所有预测分类结果计算准确率，从而获得2000个任务的平均准确率为67.76％和95％置信区间。
同时，与现有分类模型TapNet模型、SNAIL模型、MetaOptNet模型、TADAM模型、VFSL模型、CTM模型、FEAT模型、DeepEMD模型、DSN-MR模型、Net-Cosine模型以及E3BM模型进行实验对比，上述各个现有分类模型的准确率分别为：61.65％、55.71％、62.64％、58.50％、61.23％、64.12％、66.78％、65.91％、64.60％、63.85％、63.80％。
而本发明的训练好的小样本图像分类模型准确率为67.76％，高于上述各个现有分类模型的准确率，从而证明本发明的基于元滤波核的图像特征动态对齐方法及装置优于现有的分类模型。
实施例作用与效果
根据本实施例提供的基于元滤波核的图像特征动态对齐方法，由于先通过元滤波核生成网络基于图片特征组生成了元滤波核，然后在该元滤波核的基础上通过元滤波核生成网络对图片特征组进行了自适应对齐得到对齐后查询集特征，因此，可以找出查询集图像中与目标类别相关的区域，从而获得更有效的图像特征并且降低信息冗余，进而提升训练好的小样本图像分类模型的性能。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种基于元滤波核的图像特征动态对齐方法，用于对小样本的动态图像进行分类得到预测分类结果，其特征在于，包括如下步骤：
步骤S1，搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到所述支持集样本的支持集特征以及所述查询集样本的查询集特征，并基于所述支持集特征与所述查询集特征构建图片特征组；
步骤S2，搭建元滤波核生成网络，并将所述图片特征组输入所述元滤波核生成网络中，得到元滤波核；
步骤S3，基于所述元滤波核并通过所述元滤波核生成网络对所述图片特征组进行自适应对齐得到对齐后查询集特征；
步骤S4，搭建图像分类网络，利用所述图像分类网络对所述支持集特征以及所述对齐后查询集特征进行比较分类，得到本地预测类别，并对所述对齐后查询集特征进行全局分类，从而得到所述查询集样本对应的整体类别的全局预测类别；
步骤S5，基于所述本地预测类别、所述全局预测类别以及所述查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成；
步骤S6，将所述特征提取网络、所述元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于所述损失函数以及所述预测类别训练所述小样本图像分类模型从而得到训练好的小样本图像分类模型；
步骤S7，将所述动态图像输入所述训练好的小样本图像分类模型进行分类，从而得到所述预测分类结果。
2.根据权利要求1所述的基于元滤波核的图像特征动态对齐方法，其特征在于：
其中，所述对齐后查询集特征
Figure FDA0003017815340000021
由下式计算得到：
Figure FDA0003017815340000022
式中，F为动态卷积，t为应用对齐的次数，Xq为所述图片特征组{Xsupp,Xq}中的所述查询集特征，
对于所述对齐后查询集特征
Figure FDA0003017815340000023
中每个位置(i,j)的
Figure FDA0003017815340000024
Figure FDA0003017815340000025
式中，
Figure FDA0003017815340000026
为所述查询集特征中位置(i,j)的值，fd(i,j)为所述元滤波核fd中位置(i,j)的值，*c为c组卷积操作，
Figure FDA0003017815340000027
为空间邻域。
3.根据权利要求1所述的基于元滤波核的图像特征动态对齐方法，其特征在于：
其中，所述步骤S2包括如下子步骤：
步骤S2-1，搭建卷积神经网络作为所述元滤波核生成网络；
步骤S2-2，利用所述元滤波核生成网络将所述图片特征组转化为位移矩阵；
步骤S2-3，利用所述位移矩阵对所述支持集特征进行采样得到动态特征；
步骤S2-4，所述元滤波核生成网络基于所述动态特征生成所述元滤波核。
4.根据权利要求1所述的基于元滤波核的图像特征动态对齐方法，其特征在于：
其中，所述步骤S5中所述损失函数
Figure FDA0003017815340000031
为：
Figure FDA0003017815340000032
Figure FDA0003017815340000033
Figure FDA0003017815340000034
式中，
Figure FDA0003017815340000035
为所述全局分类损失函数，
Figure FDA0003017815340000036
为所述小样本分类损失函数，
Figure FDA0003017815340000037
为所述全局预测类别，yq为所述查询集样本对应的实际类别，h,w分别为所述查询集特征的高宽，s,t为遍历所述查询集特征各位置的索引，
Figure FDA0003017815340000038
为所述本地预测类别的分数矩阵，X为一个所述查询集特征与所有所述支持集特征计算得到的分数矩阵。
5.根据权利要求1所述的基于元滤波核的图像特征动态对齐方法，其特征在于：
其中，所述特征提取网络为残差卷积网络，所述元滤波核生成网络为动态卷积网络，所述图像分类网络为卷积网络。
6.一种基于元滤波核的图像特征动态对齐装置，用于对小样本的动态图像进行分类得到预测分类结果，其特征在于，包括：
训练特征提取模块，搭建特征提取网络，利用特征提取网络对用于训练的支持集样本以及查询集样本进行提取特征，从而得到所述支持集样本的支持集特征以及所述查询集样本的查询集特征，并基于所述支持集特征与所述查询集特征构建图片特征组；
元滤波核生成模块，搭建元滤波核生成网络，并将所述图片特征组输入所述元滤波核生成网络中，得到元滤波核；
查询集特征对齐模块，基于所述元滤波核并通过所述元滤波核生成网络对所述图片特征组进行自适应对齐得到对齐后查询集特征；
类别预测模块，搭建图像分类网络，利用所述图像分类网络对所述支持集特征以及所述对齐后查询集特征进行比较分类，得到本地预测类别，并对所述对齐后查询集特征进行全局分类，从而得到所述查询集样本对应的整体类别的全局预测类别；
损失函数构建模块，基于所述本地预测类别、所述全局预测类别以及所述查询集样本对应的实际类别构建损失函数，该损失函数由基于元学习的小样本分类损失函数与基于大规模学习的全局分类损失函数构成；
训练更新模块，将所述特征提取网络、所述元滤波核生成网络以及图像分类网络作为小样本图像分类模型，基于所述损失函数以及所述预测类别训练所述小样本图像分类模型从而得到训练好的小样本图像分类模型；以及
分类结果生成模块，将所述动态图像输入所述训练好的小样本图像分类模型进行分类，从而得到所述预测分类结果。
CN202110393866.3A 2021-04-13 2021-04-13 基于元滤波核的图像特征动态对齐方法及装置 Active CN113111205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110393866.3A CN113111205B (zh) 2021-04-13 2021-04-13 基于元滤波核的图像特征动态对齐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393866.3A CN113111205B (zh) 2021-04-13 2021-04-13 基于元滤波核的图像特征动态对齐方法及装置

Publications (2)

Publication Number Publication Date
CN113111205A true CN113111205A (zh) 2021-07-13
CN113111205B CN113111205B (zh) 2022-06-14

Family

ID=76716280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393866.3A Active CN113111205B (zh) 2021-04-13 2021-04-13 基于元滤波核的图像特征动态对齐方法及装置

Country Status (1)

Country Link
CN (1) CN113111205B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN110490227A (zh) * 2019-07-09 2019-11-22 武汉理工大学 一种基于特征转换的少样本图像分类方法
CN111476301A (zh) * 2019-12-26 2020-07-31 山东中科先进技术研究院有限公司 一种基于机器学习的医学图像分类方法及系统
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN110490227A (zh) * 2019-07-09 2019-11-22 武汉理工大学 一种基于特征转换的少样本图像分类方法
CN111476301A (zh) * 2019-12-26 2020-07-31 山东中科先进技术研究院有限公司 一种基于机器学习的医学图像分类方法及系统
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGMING XU , YANWEI FU: "Pose-Guided Person Image Synthesis in the Non-Iconic Views", 《IEEE TRANSACTIONS》 *
YIKAI WANG, CHENGMING XU CHEN LIU: "Instance Credibility Inference for Few-Shot Learning", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Also Published As

Publication number Publication date
CN113111205B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Ma et al. TS-LSTM and temporal-inception: Exploiting spatiotemporal dynamics for activity recognition
CN114241282B (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN108399435B (zh) 一种基于动静特征的视频分类方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN112307995A (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN113159283A (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
Ji et al. A large-scale varying-view rgb-d action dataset for arbitrary-view human action recognition
Abdulnabi et al. Multimodal recurrent neural networks with information transfer layers for indoor scene labeling
CN113408343B (zh) 基于双尺度时空分块互注意力的课堂动作识别方法
Reddy et al. AdaCrowd: Unlabeled scene adaptation for crowd counting
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN114782752B (zh) 基于自训练的小样本图像集成分类方法及装置
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
Jiang et al. Multi-level graph convolutional recurrent neural network for semantic image segmentation
CN111079900B (zh) 一种基于自适应连接神经网络的图像处理方法及装置
CN113111205B (zh) 基于元滤波核的图像特征动态对齐方法及装置
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant