CN110245683B - 一种少样本目标识别的残差关系网络构建方法及应用 - Google Patents

一种少样本目标识别的残差关系网络构建方法及应用 Download PDF

Info

Publication number
CN110245683B
CN110245683B CN201910394582.9A CN201910394582A CN110245683B CN 110245683 B CN110245683 B CN 110245683B CN 201910394582 A CN201910394582 A CN 201910394582A CN 110245683 B CN110245683 B CN 110245683B
Authority
CN
China
Prior art keywords
image
resolution
preprocessed
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910394582.9A
Other languages
English (en)
Other versions
CN110245683A (zh
Inventor
杨卫东
习思
王祯瑞
霍彤彤
黄竞辉
曹治国
张必银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910394582.9A priority Critical patent/CN110245683B/zh
Publication of CN110245683A publication Critical patent/CN110245683A/zh
Application granted granted Critical
Publication of CN110245683B publication Critical patent/CN110245683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种少样本目标识别的残差关系网络构建方法及应用，包括：获取原始图像集，并将原始图像集中每张原始图像转换为多张不同分辨率的预处理图像；构建残差关系网络结构，包括特征扩展模块，用于基于每张预处理图像对应的原始图像的分辨率及该张预处理图像的分辨率，将预处理图像对应的低分辨率图像特征图扩展为高分辨率图像特征图；基于所有预处理图像，采用多类回归损失函数，训练残差关系网络结构。本发明将用于训练关系网络的训练集中的图像先进行分辨率转换，且引入特征扩展模块，能够有效适应少量且分辨率不同的图像样本集进行目标识别的实际情况，提高了少样本目标识别算法的泛化能力，降低了对图像样本分辨率的敏感性。

Description

一种少样本目标识别的残差关系网络构建方法及应用
技术领域
本发明属于图像处理技术领域，特别是涉及一种少样本目标识别的残差关系网络构建方法及应用。
背景技术
随着社会不断进行数字化、信息化变革以及遥感技术的迅速发展，遥感图像的获取也变得更加容易，分析遥感图像的含义和内容已成为主要研究方向。遥感分析的一个基本挑战是目标识别。其中，通过少量支撑样本使得网络对新的类别具有识别能力在遥感图像分析领域具有重要意义。然而，不同的数据源由于拍摄环境、拍摄器材等因素的影响，其提供的遥感图像在分辨率、对比度和亮度等方面都存在一定差异，这严重影响目标识别的精度。
目前少样本目标识别算法可分为三个方向：微调学习、记忆学习和度量学习。基于微调学习的少样本目标识别算法试图找到一个最佳初始值，这个初始值不仅可以适应各种问题，而且可以快速(只需少量步骤)、高效(只使用几个样本)地学习。然而这该方法遇到新目标类别时需要进行微调，难适应实际应用中的低时延和低功耗要求。基于记忆学习的少样本目标识别算法主要是通过循环网络(Recurrent Neural Networks，RNN)结构迭代学习所给样本，并通过激活它的隐藏层来不断累积存储解决该问题所需要的信息。但是RNN在可靠的存储这些信息并确保信息不被遗忘方面面临着一些问题。
基于度量学习的少样本目标识别算法旨在学习一组投影函数，并通过这组投影函数提取支撑集和比对集样本特征，并用前馈的方式对比对样本进行识别。该类方法注重学习一个具有泛化能力的特征空间，通过特征空间上的距离来度量样本相似度，具有低时延和低功耗的优势，但该类方法的性能受训练集影响较大，通常泛化能力较弱且难以适应不同分辨样本的识别问题。
发明内容
本发明提供一种少样本目标识别的残差关系网络构建方法及应用，用以解决现有基于度量学习的少样本目标识别算法因实际用于目标识别的图像样本的分辨率低或各图像样本分辨率不同而导致难以进行有效地目标识别的技术问题。
本发明解决上述技术问题的技术方案如下：一种少样本目标识别的残差关系网络构建方法，包括：
获取原始图像集，并将所述原始图像集中每张原始图像转换为多张不同分辨率的预处理图像；
构建残差关系网络结构，所述残差关系网络结构包括依次连接的特征提取模块、特征扩展模块和特征度量模块，所述特征扩展模块用于基于每张所述预处理图像对应的原始图像的分辨率及该张预处理图像的分辨率，将所述特征提取模块输出的该预处理图像对应的低分辨率图像特征图扩展为高分辨率图像特征图；
基于所有所述预处理图像，采用损失函数，训练所述残差关系网络结构，得到残差关系网络。
本发明的有益效果是：本发明将关系网络引入少样本目标识别算法，关系网络结构简单，提高识别时效性及精确度。另外，将用于训练关系网络的训练集中的图像先进行分辨率转换，将一张图像转换为不同分辨率的多张低分辨率图像，且关系网络中引入特征扩展模块，以将每张低分辨率图像相对其原始图像丢失的部分特征找回，使得特征扩展模块接收到的特征图相比较特征提取模块接收的图像具有更多的特征，该方法考虑了实际少样本目标识别时图像样本的分辨率往往较低的情况，解决了现有少样本目标识别算法难以根据低分辨率图像样本进行高精度目标识别的问题，另外，该方法还考虑了实际少样本目标识别时所使用的各图像样本的分辨率不同的情况，本发明的残差关系网络构建方法基于多分辨率样本生成以及特征扩展模块，能够有效适应实际少量且分辨率不同的图像样本集进行目标识别的问题。本发明有效提高了少样本目标识别算法的泛化能力，并有效降低了对图像样本分辨率的敏感性。
上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述特征扩展模块包括相互连接两个全连接层，其中，每个全连接层对应一个PRELU激活层。
本发明的进一步有益效果是：采用全连接层实现特征扩展功能，使得关系网络结构简单，另外，全连接层的个数为两个，保证网络能够充分学习到残差特征，以更好的扩展低分辨率图片特征。
进一步，所述原始图像集中的每张原始图像均为高清图像。
本发明的进一步有益效果是：由于特征扩展模块基于低分辨率的预处理图像的分辨率和原始图像的分辨率进行特征图扩展，将低分辨率图像特征图扩展为高分辨率图像特征图，因此用于训练残差关系网络的原始图像选用高分辨率图像，以使得特征扩展模块在经过扩展训练后能够将各种低分辨率图像特征图扩展为尽可能高的高分辨率图像特征图，以提高残差关系网络的目标识别精度。
进一步，所述基于所有所述预处理图像，采用损失函数，训练所述残差关系网络结构，包括：
步骤1、基于所有所述预处理图像，构建多组训练集，每组所述训练集包括支撑图像集和虚拟比对图像；
步骤2、确定任一组所述训练集，并将该组训练集中所述虚拟比对图像及所述支撑图像集内的每张预处理图像分别输入所述特征提取模块；
步骤3、所述特征扩展模块对所述特征提取模块输出的每张低分辨率图像特征图扩展为高分辨率图像特征图；
步骤4、所述特征度量模块将该训练集中所述支撑图像集对应的每张所述高分辨率图像特征图分别与所述虚拟比对图像对应的高分辨率图像特征图进行比对，评估得到该虚拟比对图像的相似度系数；
步骤5、基于该训练集对应的所有所述相似度系数，采用多类回归的损失函数算法，进行一次所述残差关系网络的参数修正；
步骤6、确定另一组所述训练集，并转至所述步骤2，进行迭代训练，直至达到训练终止条件，得到残差关系网络。
本发明的进一步有益效果是：先将预处理图像进行训练集分组，基于一个训练集得到的所有训练结果，采用多类回归损失函数，进行一次网络参数修正，基于多组训练集进行多次网络参数修正，采用分组训练的方式，能够有效提高训练得到的关系网络的鲁棒性。
进一步，所述步骤3中所述扩展的方式具体表示为：
Figure BDA0002057745210000041
其中，xl为所述预处理图像，F(xl)为所述高分辨率图像特征图，φ(xl)为所述低分辨率图像特征图，R(φ(xl))为所述特征扩展模块对所述特征提取模块输出的每张预处理图像对应的低分辨率图像特征图进行残差等射变换得到的残差特征图，γ(xl)为分辨率系数，ks为所述预处理图像对应的所述原始图像的分辨率，k(xl)为所述预处理图像的分辨率。
本发明的进一步有益效果是：将低分辨率图像特征图送入特征扩展模块，通过残差等射变换得到了低分辨率图像特征图的残差特征，通过由原始图像的高分辨率所决定的分辨率系数γ(xl)控制低分辨率图像特征图的扩展程度，以提高残差关系网络的识别精度。
进一步，基于多线程对每组训练集中所述支撑图像集内的各张预处理图像同步执行所述步骤2～所述步骤4。
本发明的进一步有益效果是：对每个训练集中多个预处理图像，同步执行关系网络训练，最后基于该训练集的所有训练结构进行关系网络参数修正，提高训练效率。
进一步，所述原始图像集由多目标类别的图像构成的图像集；
则每组训练集中，所述支撑图像集内所有预处理图像属于多种不同的目标类别的图像，所述虚拟比对图像由多张预处理图像基于每张预处理图像对应的预设线性叠加系数线性叠加形成，其中，所述虚拟比对图像对应的各张预处理图像所属的目标类别不同且属于该组训练集中所述支撑图像集对应的目标类别范围，每个所述预设线性叠加系数随机生成，且加和为1。
本发明的进一步有益效果是：采用K-way N-shot的分组方法，提高训练精度，另外本方法提出虚拟比对图像，该虚拟比对图像由多种预处理图像基于线性叠加系数叠加形成，其中每个预处理图像的线性叠加系数表示该虚拟比对图像有多大的比例像该预处理图像所属的目标类别，虚拟比对图像的引入，相比较传统真实比对图像，能够极大提高残差关系网络对少样本目标识别的精度。
进一步，所述步骤4中，所述相似度系数即为预测线性叠加系数；
则所述步骤5中，所述多类回归的损失函数表示为：
Figure BDA0002057745210000051
其中，n为该组训练集中所述支撑图像集内所述预处理图像的个数，m为所述虚拟比对图像对应的所述预处理图像的个数，λ为所述虚拟比对图像中第j个预处理图像对应的所述预设线性叠加系数；
Figure BDA0002057745210000061
基于所述预设线性叠加系数和所述预测线性叠加系数得到的交叉熵损失值，f(xi)为在所述支撑图像集中第i个预处理图像下所述残差关系网络的预测结果，
Figure BDA0002057745210000062
为预处理图像的标签信息。本发明的进一步有益效果是：本方法提出了一种多类回归的损失函数，即在交叉熵损失基础上，添加了线性约束，对模型起到正则化效果，该损失函数能在提高算法识别精度的同时增强模型的泛化能力，使得残差关系网络对应的算法能够适应不同亮度和对比度的图像样本。
本发明还提供一种少样本目标识别方法，包括：
接收由少量图像样本构成的测试数据集；
基于所述测试数据集，采用如上所述的任一种构建方法构建的少样本目标识别的残差关系网络，进行目标识别。
本发明的有益效果是：采用本发明构建的残差关系网络，进行少样本目标识别，即使用于目标识别的图像样本的分辨率较低和/或各图像样本之间的分辨率不同，也能基于这种图像样本集，进行有效地目标识别，具有较高的目标识别泛化能力，应用范围广。
本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种少样本目标识别的残差关系网络构建方法和/或如上所述的一种少样本目标识别方法。
附图说明
图1为本发明实施例提供的一种少样本目标识别的残差关系网络构建方法的流程框图；
图2为本发明实施例提供的生成不同分辨率图像的流程示意图；
图3为本发明实施例提供的残差关系网络的模块示意图；
图4为本发明实施例提供的构建残差关系网络的整体流程图；
图5为本发明实施例提供的图像样本线性叠加的流程示意图；
图6为本发明实施例提供的少样本情况下各种目标识别网络的识别准确率对比图；
图7为本发明实施例提供的一种少样本目标识别方法的流程框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种少样本目标识别的残差关系网络构建方法100，如图1所示，包括：
步骤110、获取原始图像集，并将原始图像集中每张原始图像转换为多张不同分辨率的预处理图像；
步骤120、构建残差关系网络结构，残差关系网络结构包括依次连接的特征提取模块、特征扩展模块和特征度量模块，特征扩展模块用于基于每张预处理图像对应的原始图像的分辨率及该张预处理图像的分辨率，将特征提取模块输出的该预处理图像对应的低分辨率图像特征图扩展为高分辨率图像特征图；
步骤130、基于所有预处理图像，采用损失函数，训练残差关系网络结构，得到残差关系网络。
需要说明的是，步骤110中，进行多分辨率样本生成，具体的，如图2所示，随机生成缩放因子，基于缩放因子，将一张原始图像经过降采样后升采样，转化为分辨率小于等于原始图像的分辨率、大小同原始图像的多张不同分辨率的低分辨率图像。
另外，本实施例的残差关系网络(Res-RN网络)包括三个子网络，特征提取模块φ(·)、特征度量模块g(·)以及特征扩展模块R(·)。其中特征提取模块主要功能为提取图像样本的特征信息，特征度量模块的主要功能为比较不同图像样本特征的相似度，特征扩展模块的主要功能为扩展低分辨率图像样本的特征信息。
特征提取模块包含四个卷积模块，具体来说每个模块都包含64个3*3卷积核、一个批归一化和一个PRELU非线性激活层。前两个卷积模块包含一个2*2的最大值池化层，后两个卷积模块则没有。这样做的原因是特征图在特征度量子网络中还有进一步进行卷积操作，需要保证特征图在输入特征度量子网络之前还有一定尺度。特征度量模块由两个卷积模块和两个全连接层组成。每个卷积模块都包含64个3*3卷积核、一个批归一化、一个ReLU非线性激活层和2×2最大池化层。为了适应不同分辨率，在特征提取模块和特征度量模块之间添加了一个特征扩展模块，特征扩展模块包含两个全连接层，并使用PRELU激活层进行激活。
本实施例将关系网络引入少样本目标识别算法，关系网络结构简单，提高识别时效性及精确度。另外，将用于训练关系网络的训练集中的图像先进行分辨率转换，将一张图像转换为不同分辨率的多张低分辨率图像，且关系网络中引入特征扩展模块，以将每张低分辨率图像相对其原始图像丢失的部分特征找回，使得特征扩展模块接收到的特征图相比较特征提取模块接收的图像具有更多的特征，该方法考虑了实际少样本目标识别时图像样本的分辨率往往较低的情况，解决了现有少样本目标识别算法难以根据低分辨率图像样本进行高精度目标识别的问题，另外，该方法还考虑了实际少样本目标识别时所使用的各图像样本的分辨率不同的情况，本发明的残差关系网络构建方法基于多分辨率样本生成以及特征扩展模块，能够有效适应实际少量且分辨率不同的图像样本集进行目标识别的问题。本发明有效提高了少样本目标识别算法的泛化能力，并有效降低了对图像样本分辨率的敏感性。
本实施例充分利用了低分辨率样本与高分辨率样本在特征空间上的映射关系，识别精度高，具有较强的泛化能力和分辨率稳定性。
优选的，原始图像集中的每张原始图像均为高清图像。
由于特征扩展模块在特征层面上进行映射变换，将低分辨率图像特征图扩展为高分辨率图像特征图，因此用于训练残差关系网络的原始图像选用高分辨率图像，以使得特征扩展模块在经过扩展训练后能够将各种低分辨率图像特征图扩展为尽可能高的高分辨率图像特征图，以提高残差关系网络的目标识别精度。
优选的，步骤130包括：
步骤131、基于所有预处理图像，构建多组训练集，每组训练集包括支撑图像集和虚拟比对图像；
步骤132、确定任一组训练集，并将该组训练集中虚拟比对图像及支撑图像集内的每张预处理图像分别输入特征提取模块；
步骤133、特征扩展模块对特征提取模块输出的每张低分辨率图像特征图扩展为高分辨率图像特征图；
步骤134、特征度量模块将该训练集中支撑图像集对应的每张高分辨率图像特征图分别与虚拟比对图像对应的高分辨率图像特征图进行比对，评估得到该虚拟比对图像的相似度系数；
步骤135、基于该训练集对应的所有相似度系数，采用多类回归的损失函数算法，进行一次残差关系网络的参数修正；
步骤136、确定另一组训练集，并转至步骤132，进行迭代训练，直至达到训练终止条件，得到残差关系网络。
需要说明的是，步骤310种的分组方法，以K-way N-shot为例，每次训练，都从原始图像对应的所有目标类别中随机选择K个目标类别，且每个目标类别对应随机选取N个预处理图像做作为支撑图像集(即标记数据)，然后从该K个目标类别对应的剩余预处理图像中确定比对图像，该支撑图像集和比对图像构成一个训练集，迭代上述过程，直至得到足够数目的训练集。
残差关系网络及训练流程如图3和图4所示，图中FC1和FC2分别表示全连接层。一个训练集中，虚拟比对图像xj和支撑图像集S中的样本xi送入特征提取模块φ(·)进行前向操作，得到特征图φ(xj)和φ(xi)。再将其送入特征扩展模块，利用分辨率系数进行特征扩展得到特征图R(φ(xj))和R(φ(xi))。特征图R(φ(xj))和R(φ(xi))通过操作C(·,·)进行合并得到特征图C(R(φ(xj)),R(φ(xi)))。通常情况下操作C(·,·)代表特征图深度上的合并，但也可以其他维度上的合并操作。
在合并操作结束后，将组合特征输入到特征度量模块g(·)中。特征度量模块将会输出一个0～1的标量代表xi和xj的相似程度，也叫做关系评分(前述预测线性叠加系数)。
需要说明的是，对于少样本(支撑图像集包含K个类别且每个类别仅包含多张预处理图像)问题，把支撑图像集中每个目标类别所有的预处理样本输入特征提取模块，并对输出的特征图进行求和，形成该类别的特征图。然后将类别的特征图与虚拟比对图像的特征图进行合并送入特征度量模块。因此当支撑图像集包含K个类别时，一个虚拟比对图像xi将得到K个与支撑图像集对应类别的评分ri,j。具体公式如下：ri,j＝g(C(R(φ(xj)),R(φ(xi))))。
因此，无论一个支撑集类别包含几个样本，一张虚拟比对图像的关系评分的数目总是前述K。
本实施例，先将预处理图像进行训练集分组，基于一个训练集得到的所有训练结构，采用多类回归损失函数，进行一次网络参数修正，基于多组训练集进行多次网络参数修正，分组训练的方式，能够有效提高训练得到的关系网络的鲁棒性。
优选的，步骤133中，扩展的方式具体表示为：
Figure BDA0002057745210000111
其中，xl为预处理图像，F(xl)为高分辨率图像特征图，φ(xl)为低分辨率图像特征图，R(φ(xl))为特征扩展模块对特征提取模块输出的每张预处理图像对应的低分辨率图像特征图进行残差等射变换得到的残差特征图，γ(xl)为分辨率系数，ks为预处理图像对应的原始图像的分辨率，k(xl)为预处理图像的分辨率。
将低分辨率图像特征图送入特征扩展模块，通过残差等射变换得到了低分辨率图像特征图的残差特征，通过由原始图像的高分辨率所决定的分辨率系数γ(xl)控制低分辨率图像特征图的扩展程度，以提高残差关系网络的识别精度。
优选的，基于多线程对每组训练集中支撑图像集内的各张预处理图像同步执行步骤132～步骤134。
对每个训练集中多个预处理图像，同步执行关系网络训练，最后基于该训练集的所有训练结构进行关系网络参数修正，提高训练效率。
优选的，原始图像集由多目标类别的图像构成的图像集；则每组训练集中，支撑图像集内所有预处理图像属于多种不同的目标类别的图像，虚拟比对图像由多张预处理图像基于每张预处理图像对应的预设线性叠加系数线性叠加形成，其中，虚拟比对图像对应的各张预处理图像所属的目标类别不同且属于该组训练集中支撑图像集对应的目标类别范围，每个预设线性叠加系数随机生成，且加和为1。
需要说明的是，在原始图像集的采集阶段，例如可使用NWPU-RESISC45高分辨率遥感图像数据集作为训练用图像集，其包含篮球场、机场、火车站、岛屿、停车场等45种场景类别，每一类包含700幅图像，确保了训练数据的真实性与多样性。可将图像集进行划分，例如33种场景类别作为训练用的原始图像集，6种场景作为验证集，用于验证33种场景类别训练得到的残差关系网络的性能，另外6种场景可作为测试集。
另外，虚拟比对图像通过样本增广的方式生成，具体的，如图5所示，例如，基于前述训练集的构建方式，随机选择两个预处理图像，并构成比对图像对(x1,y1)和(x2,y2)，并通过预设线性叠加系数λ进行叠加，其中，x1和x2表示两张预处理图像，其属于不同目标类别，y1为x1的标签信息，y2为x2的标签信息，虚拟比对图像的形成方式如公式所示：
Figure BDA0002057745210000121
Figure BDA0002057745210000122
其中，
Figure BDA0002057745210000123
是新生成的虚拟比对图像，
Figure BDA0002057745210000124
是
Figure BDA0002057745210000125
的标签信息。
例如，选择一张梨的预处理图像，选择一张苹果的预处理图像，预设λ为50％，则虚拟比对图像的标签表示虚拟比对图像的类别有50％像梨、50％像苹果，这种虚拟比对样本用于残差关系网络的训练，相比较传统真实比对样本，能够使得关系网络的目标识别能力更加强大。
采用K-way N-shot的分组方法，提高训练精度，另外本方法提出虚拟比对图像，该虚拟比对图像由多种预处理图像基于线性叠加系数叠加形成，其中每个预处理图像的线性叠加系数表示该虚拟比对图像有多大的比例像该预处理图像所属的目标类别，虚拟比对图像的引入，相比较传统真实比对图像，能够极大提高残差关系网络对少样本目标识别的精度。
进一步，步骤340中，相似度系数即为预测线性叠加系数；则步骤350中，多类回归的损失函数表示为：
Figure BDA0002057745210000126
其中，n为该组训练集中支撑图像集内预处理图像的个数，m为虚拟比对图像对应的预处理图像的个数，λ为虚拟比对图像中第j个预处理图像对应的预设线性叠加系数，
Figure BDA0002057745210000131
基于所述预设线性叠加系数和预测线性叠加系数得到的交叉熵损失值，f(xi)为在支撑图像集中第i个预处理图像下残差关系网络的预测结果，
Figure BDA0002057745210000132
为预处理图像的标签信息。
由于，
Figure BDA0002057745210000133
该损失函数除了要求模型f满足y＝f(x)，也要求模型满足线性叠加，即λ*y1+(1-λ)y2＝f(λ*x1+(1-λ)*x2)。从而达到避免模型过拟合，增强模型泛化能力的目的。
需要说明的是，使用所述测试集测试模型识别精度，识别精度满足要求，则满足训练终止条件，完成残差关系网络的训练。
本实施例，提出了一种多类回归的损失函数，即在交叉熵损失基础上，添加了线性约束，对模型起到正则化效果，该损失函数能在提高算法识别精度的同时增强模型的泛化能力，使得残差关系网络对应的算法能够适应不同亮度和对比度的图像样本。
为了验证本实施例提出的少样本对象识别模型Res-RN的有效性，将其与现有主流的少样本对象识别模型MAML和RN进行对比分析，上述方法使用的数据集与本实施例一致。
采用总体分类识别准确率作为模型评价指标，其值越大表示识别性能越好。本实施例的少样本对象总体识别精度与其他方法的识别效果对比图如图6所示，在原图分辨率情况下Res-RN相较于RN和MAML识别准确率分别提高了3.64％和4.95％，在分辨率不断下降的过程中Res-RN相较于RN和MAML识别准确率分别平均提高了7.30％和9.32％。
实施例二
一种少样本目标识别方法200，如图7所示，包括：
步骤210、接收由少量图像样本构成的测试数据集；
步骤220、基于测试数据集，采用实施例一所述的任一种构建方法构建的少样本目标识别的残差关系网络，进行目标识别。
需要说明的是，步骤220中支撑图像集和虚拟比对图像的构建方法可同实施例一，在此不再赘述。
采用实施例一所述的任一种构建方法构建的残差关系网络，进行少样本目标识别，即使用于目标识别的图像样本的分辨率较低和/或各图像样本之间的分辨率不同，也能基于这种图像样本集，进行有效地目标识别，具有较高的目标识别泛化能力，应用范围广。
实施例三
一种存储介质，存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行实施例一所述的任一种少样本目标识别的残差关系网络构建方法和/或实施例二所述的一种少样本目标识别方法。
相关技术方案同实施例一和实施例二，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种少样本目标识别的残差关系网络构建方法，其特征在于，包括：
获取原始图像集，并将所述原始图像集中每张原始图像转换为多张不同分辨率的预处理图像；
构建残差关系网络结构，所述残差关系网络结构包括依次连接的特征提取模块、特征扩展模块和特征度量模块，所述特征扩展模块用于基于每张所述预处理图像对应的原始图像的分辨率及该张预处理图像的分辨率，将所述特征提取模块输出的该预处理图像对应的低分辨率图像特征图扩展为高分辨率图像特征图；
基于所有所述预处理图像，采用损失函数，训练所述残差关系网络结构，得到残差关系网络；
所述基于所有所述预处理图像，采用损失函数，训练所述残差关系网络结构，包括：
步骤1、基于所有所述预处理图像，构建多组训练集，每组所述训练集包括支撑图像集和虚拟比对图像；
步骤2、确定任一组所述训练集，并将该组训练集中所述虚拟比对图像及所述支撑图像集内的每张预处理图像分别输入所述特征提取模块；
步骤3、所述特征扩展模块对所述特征提取模块输出的每张低分辨率图像特征图扩展为高分辨率图像特征图；
步骤4、所述特征度量模块将该训练集中所述支撑图像集对应的每张所述高分辨率图像特征图分别与所述虚拟比对图像对应的高分辨率图像特征图进行比对，评估得到该虚拟比对图像的相似度系数；
步骤5、基于该训练集对应的所有所述相似度系数，采用多类回归的损失函数算法，进行一次所述残差关系网络的参数修正；
步骤6、确定另一组所述训练集，并转至所述步骤2，进行迭代训练，直至达到训练终止条件，得到残差关系网络。
2.根据权利要求1所述的一种少样本目标识别的残差关系网络构建方法，其特征在于，所述特征扩展模块包括相互连接两个全连接层，其中，每个所述全连接层对应一个PRELU激活层。
3.根据权利要求1或2所述的一种少样本目标识别的残差关系网络构建方法，其特征在于，所述步骤3中，所述扩展的方式具体表示为：
F(xl)＝φ(xl)+γ(xl)*R(φ(xl))，
Figure FDA0003028572560000021
其中，xl为所述预处理图像，F(xl)为所述高分辨率图像特征图，φ(xl)为所述低分辨率图像特征图，R(φ(xl))为所述特征扩展模块对所述特征提取模块输出的每张预处理图像对应的低分辨率图像特征图进行残差等射变换得到的残差特征图，γ(xl)为分辨率系数，ks为所述预处理图像对应的所述原始图像的分辨率，k(xl)为所述预处理图像的分辨率。
4.根据权利要求1或2所述的一种少样本目标识别的残差关系网络构建方法，其特征在于，基于多线程对每组训练集中所述支撑图像集内的各张预处理图像同步执行所述步骤2～所述步骤4。
5.根据权利要求4所述的一种少样本目标识别的残差关系网络构建方法，其特征在于，所述原始图像集由多目标类别的图像构成的图像集；
则每组训练集中，所述支撑图像集内所有预处理图像属于多种不同的目标类别的图像，所述虚拟比对图像由多张预处理图像基于每张预处理图像对应的预设线性叠加系数线性叠加形成，其中，所述虚拟比对图像对应的各张预处理图像所属的目标类别不同且属于该组训练集中所述支撑图像集对应的目标类别范围，每个所述预设线性叠加系数随机生成，且加和为1。
6.根据权利要求5所述的一种少样本目标识别的残差关系网络构建方法，其特征在于，所述步骤4中，所述相似度系数即为预测线性叠加系数；
则所述步骤5中，所述多类回归的损失函数表示为：
Figure FDA0003028572560000031
其中，n为该组训练集中所述支撑图像集内所述预处理图像的个数，m为所述虚拟比对图像对应的所述预处理图像的个数，λj 为所述虚拟比对图像中第j个预处理图像对应的所述预设线性叠加系数；
Figure FDA0003028572560000032
基于所述预设线性叠加系数和所述预测线性叠加系数得到的交叉熵损失值，f(xi)为在所述支撑图像集中第i个预处理图像下所述残差关系网络的预测结果，
Figure FDA0003028572560000033
为预处理图像的标签信息。
7.一种少样本目标识别方法，其特征在于，包括：
接收由少量图像样本构成的测试数据集；
基于所述测试数据集，采用如权利要求1至6任一项所述方法构建的少样本目标识别的残差关系网络，进行目标识别。
8.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述如权利要求1至6任一项所述的一种少样本目标识别的残差关系网络构建方法和/或如权利要求7所述的一种少样本目标识别方法。
CN201910394582.9A 2019-05-13 2019-05-13 一种少样本目标识别的残差关系网络构建方法及应用 Active CN110245683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910394582.9A CN110245683B (zh) 2019-05-13 2019-05-13 一种少样本目标识别的残差关系网络构建方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394582.9A CN110245683B (zh) 2019-05-13 2019-05-13 一种少样本目标识别的残差关系网络构建方法及应用

Publications (2)

Publication Number Publication Date
CN110245683A CN110245683A (zh) 2019-09-17
CN110245683B true CN110245683B (zh) 2021-07-27

Family

ID=67884378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394582.9A Active CN110245683B (zh) 2019-05-13 2019-05-13 一种少样本目标识别的残差关系网络构建方法及应用

Country Status (1)

Country Link
CN (1) CN110245683B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192255B (zh) * 2019-12-30 2024-04-26 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111275686B (zh) * 2020-01-20 2023-05-26 中山大学 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111488948B (zh) * 2020-04-29 2021-07-20 中国科学院重庆绿色智能技术研究院 一种抖动环境下稀疏样本的标记方法
CN115860067B (zh) * 2023-02-16 2023-09-05 深圳华声医疗技术股份有限公司 生成对抗网络训练方法、装置、计算机设备及存储介质
CN117372722B (zh) * 2023-12-06 2024-03-22 广州炫视智能科技有限公司 一种目标识别方法及识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339388A (zh) * 2011-06-27 2012-02-01 华中科技大学 一种基于图像的地面状态种类识别方法
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021656A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 表示装置及びその制御方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339388A (zh) * 2011-06-27 2012-02-01 华中科技大学 一种基于图像的地面状态种类识别方法
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning to Compare:Relation Network for Few-shot Learning;sung F等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20181217;第3.1节、第3.2节、图1 *
Pose-Robust Face Recognition Via Deep Residual;Cao K等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20181217;第3节、第3.2节、图3 *

Also Published As

Publication number Publication date
CN110245683A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN112036249B (zh) 端对端行人检测及属性识别的方法、系统、介质及终端
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN115512169B (zh) 基于梯度和区域亲和力优化的弱监督语义分割方法及装置
CN114863407A (zh) 一种基于视觉语言深度融合的多任务冷启动目标检测方法
CN116310425A (zh) 一种细粒度图像检索方法、系统、设备及存储介质
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN111325134A (zh) 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN113255892B (zh) 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN116266387A (zh) 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统
CN116740069B (zh) 基于多尺度显著信息和双向特征融合的表面缺陷检测方法
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN116051984B (zh) 一种基于Transformer的弱小目标检测方法
CN115984949A (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN113887653B (zh) 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
CN115205527A (zh) 一种基于域适应和超分辨率的遥感图像双向语义分割方法
CN111461130B (zh) 一种高精度图像语义分割算法模型及分割方法
CN111144422A (zh) 一种飞机部件的定位识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant