CN113642665A - 一种基于关系网络的少样本分类方法及系统 - Google Patents

一种基于关系网络的少样本分类方法及系统 Download PDF

Info

Publication number
CN113642665A
CN113642665A CN202110978154.8A CN202110978154A CN113642665A CN 113642665 A CN113642665 A CN 113642665A CN 202110978154 A CN202110978154 A CN 202110978154A CN 113642665 A CN113642665 A CN 113642665A
Authority
CN
China
Prior art keywords
image
model
sample
relational network
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110978154.8A
Other languages
English (en)
Inventor
张碧陶
姚科
高福荣
周表
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou HKUST Fok Ying Tung Research Institute
Original Assignee
Guangzhou HKUST Fok Ying Tung Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou HKUST Fok Ying Tung Research Institute filed Critical Guangzhou HKUST Fok Ying Tung Research Institute
Priority to CN202110978154.8A priority Critical patent/CN113642665A/zh
Publication of CN113642665A publication Critical patent/CN113642665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关系网络的少样本分类方法及系统，该方法包括：引入强化学习，基于图像样本对A2‑RL模型进行训练，得到训练完成的A2‑RL模型；基于训练完成的A2‑RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；基于预构建的关系网络对裁剪后图像进行分类，得到分类结果。该系统包括：强化学习模块、图像裁剪模块和分类模块。通过使用本发明，能够在少样本的情况下实现高精度的样本分类。本发明作为一种基于关系网络的少样本分类方法及系统，可广泛应用于图像处理领域。

Description

一种基于关系网络的少样本分类方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种基于关系网络的少样本分类方法及系统。
背景技术
少样本分类问题是数据稀疏问题，相较于深度学习来说，少样本分类是从少量样本数据中训练和测试，以学得一个良好的分类器。现有的深度学习网络结构对于少样本分类问题不能起到很好的泛化作用，应该考虑采取全新的网络构造样本。此外，目前的少样本分类方法采用复杂的推理机制或者复杂的网络体系结构，或者是对目标问题进行微调，样本分类精度低，现阶段缺乏简单、灵活、容易应用的一般性解决方案。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于关系网络的少样本分类方法及系统，在少样本的情况下实现高精度的样本分类。
本发明所采用的第一技术方案是：一种基于关系网络的少样本分类方法，包括以下步骤：
S1、引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
S2、基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
S3、基于预构建的关系网络对裁剪后图像进行分类。
进一步，所述基于强化学习对A2-RL模型进行训练，得到训练完成的A2-RL模型这一步骤，其具体包括：
S11、初始化A2-RL模型的裁剪窗口和经验池；
S12、输入图像样本；
S13、A2-RL模型根据输入图像和裁剪窗口生成观测值；
S14、A2-RL模型根据观测值和经验池从预定义的动作空间获取相应的动作；
S15、执行该动作，生成美学奖励并调整裁剪窗口的形状和位置；
S16、循环步骤S12-S15直至循环次数达到最大步骤次数，生成最佳裁剪窗口，得到训练完成的A2-RL模型。
进一步，所述回报奖励的生成公式表示如下：
Figure BDA0003226443940000021
上式中，γ作为折扣因子，rt是在步骤t时得到的美学奖励，i表示样本数，V(st；θv)是在状态st时的值输出，θv表示网络结构的参数，k的取值范围为[0，tmax]，tmax表示最大步骤次数。
进一步，所述关系网络包括嵌入模块和关系模块。
进一步，所述基于预构建的关系网络对裁剪后图像进行分类这一步骤之前还包括关系网络的训练步骤，其具体包括：
基于图像样本构建样本数据集、查询数据集；
将查询数据集中的样本与样本数据集中的样本通过嵌入模块生成训练特征映射；
将训练特征映射通过串联函数进行组合，得到深度特征映射级联；
将深度特征映射级联馈送到关系模块，生成训练关系评分；
采用均方误差作为关系网络的损失值计算，优化关系网络参数，得到训练后的关系网络。
进一步，所述基于预构建的关系网络对裁剪后图像进行分类这一步骤，其具体包括：
将裁剪后图像输入至关系网络，经过嵌入模块生成对应的特征映射级联；
将特征映射级联输入至关系模块，生成关系评分；
根据关系评分得到原始图像库中各个图像的相似度。
本发明所采用的第二技术方案是：一种基于关系网络的少样本分类系统，包括：
强化学习模块，用于引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
图像裁剪模块，基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
分类模块，基于预构建的关系网络对裁剪后图像进行分类。
本发明方法及系统的有益效果是：本发明首先采用图像自动裁剪方法，将原始图像进行处理已保留最具有特征性信息，去除无关和冗余的特征。然后提出关系网络模型,将裁剪后的图像输入到该网络中，进行少样本分类学习，提高少样本分类的精度。
附图说明
图1是本发明一种基于关系网络的少样本分类方法的步骤流程图；
图2是本发明一种基于关系网络的少样本分类系统的结构框图；
图3是本发明具体实施例关系网络的示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明将以地质灾害易发性评价为基础，考虑降雨诱发因素下地质灾害发育的规律，对地质灾害发生的可能性进行定性定量评价。
参照图1，本发明提供了一种基于关系网络的少样本分类方法，该方法包括以下步骤：
S1、引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
S2、基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
具体地，把强化学习思想引入到自动图像裁剪中，将整个图像自动裁剪看作是一个序列决策过程。让强化学习模型中的智能体与自动裁剪环境进行交互，从定义的动作空间中采取相应的动作来优化目标。在学习模型中，智能体从输入图像和裁剪窗口接受观测值，然后根据观测值和历史经验从预先定义的动作空间中采取相应动作，智能体执行该动作去调整裁剪窗口的形状和位置。每一次动作之后，智能体根据裁剪图像的美学得分接受一次奖励，通过累积每一次的奖励并将其最大化，从而在原始图像上寻找最佳窗口。
S3、基于预构建的关系网络对裁剪后图像进行分类，得到分类结果。
进一步作为本方法的优选实施例，所述基于强化学习对A2-RL模型进行训练，得到训练完成的A2-RL模型这一步骤，其具体包括：
S11、初始化A2-RL模型的裁剪窗口和经验池；
S12、输入图像样本；
S13、A2-RL模型根据输入图像和裁剪窗口生成观测值；
S14、A2-RL模型根据观测值和经验池从预定义的动作空间获取相应的动作；
S15、执行该动作，生成美学得分和回报奖励并调整裁剪窗口的形状和位置；
S16、循环步骤S12-S15直至循环次数达到最大步骤次数，回报奖励最大化，生成最佳裁剪窗口，得到训练完成的A2-RL模型。
进一步作为本方法的优选实施例，所述回报奖励的生成公式表示如下：
Figure BDA0003226443940000031
上式中，γ作为折扣因子，rt是在步骤t时得到的美学奖励，i表示样本数，V(st；θv)是在状态st时的值输出，θv表示网络结构的参数，k的取值范围为[0，tmax]，tmax表示最大步骤次数。策略输出的优化目标是最大化函数Rt-V(st；θv)和策略输出熵H(π(st；θ))，其中π(st；θ)是策略输出的概率分布，θ表示Actor分支的网络参数，H()是熵函数，用来增加动作的多样性，可以使智能体习得灵活的策略。值输出的优化目标是最小化函数：(R-V(st；θv))2/2。与此同时，actor-critic分支的梯度可以表示为
Figure BDA0003226443940000041
以及
Figure BDA0003226443940000042
其中β用来控制熵值的影响；而π(at|st；θ)是在状态st下所采取动作at的概率。
进一步作为本方法的优选实施例，所述关系网络包括嵌入模块和关系模块。
具体地，所述嵌入模块由四个卷积神经网络模块(Conv Block)构成，每个ConvBlock包含64个33大小的卷积核，一个批量归一化部分与一个ReLU非线性激活函数层，所述关系模块由两个ConvBlock和两个全连接层组成，嵌入模块中的前两个ConvBlock还包含了最大池化(Max-Pooling)操作，而后两个ConvBlock不包含此操作，采取这样设置旨在输出特征映射，以用于关系模块的卷积层。在关系模块中由两个ConvBlock和两个全连接层组成，每个ConvBlock与嵌入模块相同，并且都有Max-Pooling操作。然后是两个全连接层(fully connected layers，FC)，最后一个FC层采用Sigmoid激活函数，而不是ReLU激活函数，旨在为该网络体系结构产生合理范围内的关系评分(Relation score)。
进一步作为本方法优选实施例，所述基于预构建的关系网络对裁剪后图像进行分类这一步骤之前还包括关系网络的训练步骤，其具体包括：
基于图像样本构建样本数据集、查询数据集；
将查询数据集中的样本与样本数据集中的样本通过嵌入模块生成训练特征映射；
将训练特征映射通过串联函数进行组合，得到深度特征映射级联；
将深度特征映射级联馈送到关系模块，生成训练关系评分；
采用均方误差作为关系网络的损失值计算，优化关系网络参数，得到训练后的关系网络。
具体地，参照图3，查询集Q中的样本xj与样本集S中的样本xi通过嵌入模块
Figure BDA0003226443940000043
生成特征映射
Figure BDA0003226443940000044
与
Figure BDA0003226443940000045
然后将这两个特征映射通过串联函数进行组合，即
Figure BDA0003226443940000046
其中假定C(·,·)为深度特征映射级联，查询集Q中的样本xj与样本集S中的样本xi通过嵌入模块
Figure BDA0003226443940000047
生成特征映射
Figure BDA0003226443940000048
与
Figure BDA0003226443940000049
然后将这两个特征映射通过串联函数进行组合，即
Figure BDA00032264439400000410
其中假定C(·,·)为深度特征映射级联。接下来，组合后的特征映射被馈送到关系模块gφ中，最终产生一个0到1之间的标量，用来表示xi与xj之间的相似度，称之为关系评分。将输出的关系评分看做是一个从0到1的数值，0就代表极不相似，而1则代表完全相似。因此，在C-way One-shot设置中，就可以生成C关系分数ri,j表示一个查询数据集输入xj和样本数据集中xi之间的关系：
Figure BDA0003226443940000051
在目标函数及其优化阶段，则直接地采用均方误差MSE作为网络训练的loss，其目标函数及其优化可以表示为：
Figure BDA0003226443940000052
其中将关系分数ri,j回归为一个标准：匹配时相似度为1，不匹配时相似度为0。
进一步作为本方法优选实施例，所述基于预构建的关系网络对裁剪后图像进行分类这一步骤，其具体包括：
将裁剪后图像输入至关系网络，经过嵌入模块生成对应的特征映射级联；
将特征映射级联输入至关系模块，生成关系评分；
根据关系评分得到原始图像库中各个图像的相似度。
如图2所示，一种基于关系网络的少样本分类系统，包括：
强化学习模块，用于引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
图像裁剪模块，基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
分类模块，基于预构建的关系网络对裁剪后图像进行分类。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种基于关系网络的少样本分类方法，其特征在于，包括以下步骤：
S1、引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
S2、基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
S3、基于预构建的关系网络对裁剪后图像进行分类，得到分类结果。
2.根据权利要求1所述一种基于关系网络的少样本分类方法，其特征在于，所述引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型这一步骤，其具体包括：
S11、初始化A2-RL模型的裁剪窗口和经验池；
S12、输入图像样本；
S13、A2-RL模型根据输入图像和裁剪窗口生成观测值；
S14、A2-RL模型根据观测值和经验池从预定义的动作空间获取相应的动作；
S15、执行该动作，生成美学得分和回报奖励并调整裁剪窗口的形状和位置；
S16、循环步骤S12-S15直至循环次数达到最大步骤次数，回报奖励最大化，生成最佳裁剪窗口，得到训练完成的A2-RL模型。
3.根据权利要求2所述一种基于关系网络的少样本分类方法，其特征在于，所述回报奖励的生成公式表示如下：
Figure FDA0003226443930000011
上式中，γ作为折扣因子，rt是在步骤t时得到的美学奖励，i表示样本数，V(st；θv)是在状态st时的值输出，θv表示网络结构的参数，k的取值范围为[0，tmax]，tmax表示最大步骤次数。
4.根据权利要求3所述一种基于关系网络的少样本分类方法，其特征在于，所述关系网络包括嵌入模块和关系模块。
5.根据权利要求4所述一种基于关系网络的少样本分类方法，其特征在于，所述基于预构建的关系网络对裁剪后图像进行分类这一步骤之前还包括关系网络的训练步骤，其具体包括：
基于图像样本构建样本数据集、查询数据集；
将查询数据集中的样本与样本数据集中的样本通过嵌入模块生成训练特征映射；
将训练特征映射通过串联函数进行组合，得到深度特征映射级联；
将深度特征映射级联馈送到关系模块，生成训练关系评分；
采用均方误差作为关系网络的损失值计算，优化关系网络参数，得到训练后的关系网络。
6.根据权利要求5所述一种基于关系网络的少样本分类方法，其特征在于，所述基于预构建的关系网络对裁剪后图像进行分类，得到分类结果这一步骤，其具体包括：
S31、将裁剪后图像输入至关系网络，经过嵌入模块生成对应的特征映射级联；
S32、将特征映射级联输入至关系模块，生成关系评分；
S33、根据关系评分得到原始图像库中各个图像的相似度，得到分类结果。
7.一种基于关系网络的少样本分类系统，其特征在于，包括：
强化学习模块，用于引入强化学习，基于图像样本对A2-RL模型进行训练，得到训练完成的A2-RL模型；
图像裁剪模块，基于训练完成的A2-RL模型对原始图像库的图像进行图像裁剪，得到裁剪后图像；
分类模块，基于预构建的关系网络对裁剪后图像进行分类，得到分类结果。
CN202110978154.8A 2021-08-24 2021-08-24 一种基于关系网络的少样本分类方法及系统 Pending CN113642665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110978154.8A CN113642665A (zh) 2021-08-24 2021-08-24 一种基于关系网络的少样本分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978154.8A CN113642665A (zh) 2021-08-24 2021-08-24 一种基于关系网络的少样本分类方法及系统

Publications (1)

Publication Number Publication Date
CN113642665A true CN113642665A (zh) 2021-11-12

Family

ID=78423659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978154.8A Pending CN113642665A (zh) 2021-08-24 2021-08-24 一种基于关系网络的少样本分类方法及系统

Country Status (1)

Country Link
CN (1) CN113642665A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154464A (zh) * 2017-12-06 2018-06-12 中国科学院自动化研究所 基于强化学习的图片自动裁剪的方法及装置
CN110096202A (zh) * 2019-04-23 2019-08-06 华中师范大学 一种基于深度强化学习的轻量级图像自动裁剪系统及方法
EP3614308A1 (en) * 2018-08-24 2020-02-26 Ordnance Survey Limited Joint deep learning for land cover and land use classification
US20200226735A1 (en) * 2017-03-16 2020-07-16 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
CN111639679A (zh) * 2020-05-09 2020-09-08 西北工业大学 一种基于多尺度度量学习的小样本学习方法
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200226735A1 (en) * 2017-03-16 2020-07-16 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
CN108154464A (zh) * 2017-12-06 2018-06-12 中国科学院自动化研究所 基于强化学习的图片自动裁剪的方法及装置
EP3614308A1 (en) * 2018-08-24 2020-02-26 Ordnance Survey Limited Joint deep learning for land cover and land use classification
CN110096202A (zh) * 2019-04-23 2019-08-06 华中师范大学 一种基于深度强化学习的轻量级图像自动裁剪系统及方法
CN111639679A (zh) * 2020-05-09 2020-09-08 西北工业大学 一种基于多尺度度量学习的小样本学习方法
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张碧陶等: "融合强化学习和关系网络的样本分类", 《计算机工程与应用》, vol. 55, no. 21, pages 189 - 196 *

Similar Documents

Publication Publication Date Title
Jang et al. Learning what and where to transfer
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111368874B (zh) 一种基于单分类技术的图像类别增量学习方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN111178316A (zh) 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法
US20230153577A1 (en) Trust-region aware neural network architecture search for knowledge distillation
CN112434171A (zh) 一种基于强化学习的知识图谱推理补全方法及系统
CN111079780A (zh) 空间图卷积网络的训练方法、电子设备及存储介质
Thrun Lifelong learning: A case study
CN106021990A (zh) 一种将生物基因以特定的性状进行分类与自我识别的方法
CN112686376A (zh) 一种基于时序图神经网络的节点表示方法及增量学习方法
CN111950393A (zh) 一种基于边界搜索智能体的时序动作片段分割方法
CN114357221B (zh) 一种基于图像分类的自监督主动学习方法
CN111178543B (zh) 一种基于元学习的概率域泛化学习方法
CN116030908A (zh) 基于策略梯度和结构信息的抗癌肽生成模型及其训练方法
CN112734037A (zh) 基于记忆引导的弱监督学习方法、计算机设备和存储介质
CN111625457A (zh) 基于改进的dqn算法的虚拟自动驾驶测试优化方法
US20240037918A1 (en) Multi-view fine-grained identification method, apparatus, electronic device and medium
CN117034060A (zh) 基于ae-rcnn的洪水分级智能预报方法
Zhang et al. Adaptive domain generalization via online disagreement minimization
CN113642665A (zh) 一种基于关系网络的少样本分类方法及系统
WO2022111231A1 (zh) Cnn训练方法、电子设备和计算机可读存储介质
CN114170426A (zh) 一种基于代价敏感的稀有肿瘤类别小样本分类的算法模型
Sadasivan et al. Statistical measures for defining curriculum scoring function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination