CN109800811B - 一种基于深度学习的小样本图像识别方法 - Google Patents

一种基于深度学习的小样本图像识别方法 Download PDF

Info

Publication number
CN109800811B
CN109800811B CN201910065984.4A CN201910065984A CN109800811B CN 109800811 B CN109800811 B CN 109800811B CN 201910065984 A CN201910065984 A CN 201910065984A CN 109800811 B CN109800811 B CN 109800811B
Authority
CN
China
Prior art keywords
image
network
images
prototype
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910065984.4A
Other languages
English (en)
Other versions
CN109800811A (zh
Inventor
李玲
刘婉莹
刘丹
杨秀华
黄玉兰
张海蓉
李志军
佟宇琪
戴思达
渠云龙
顾琳
李林
杨泰
梁楫坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910065984.4A priority Critical patent/CN109800811B/zh
Publication of CN109800811A publication Critical patent/CN109800811A/zh
Application granted granted Critical
Publication of CN109800811B publication Critical patent/CN109800811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于深度学习的小样本图像识别方法,该方法包括下述步骤:一、划分训练集;二、生成噪声图像;三、预训练原型空间判别网络;四、训练欺骗图像生成网络;五、训练原型空间判别网络;六、重复步骤四和步骤五进行交叉迭代训练,直到达到预先设定的迭代次数或准确率不再提升;七、图像类别识别。本发明在不改变已经训练好的模型的前提下,借助每类少数几个标注样本,通过泛化这些罕见的类别,识别训练过程中有从未见过的新类,而不需要额外的训练,图像识别准确率高。

Description

一种基于深度学习的小样本图像识别方法
技术领域
本发明属于图像识别技术领域,涉及一种基于深度学习的小样本图像识别方法,更具体地说,本发明涉及一种基于生成对抗网络和原型思想的深度学习小样本图像识别方法。
背景技术
深度学习已经广泛应用于各个领域,解决各类问题,例如在图像识别问题上,往往可以达到很高的准确率。然而,深度学习是一种“数据饥饿型”的技术,需要大量的标注样本才能发挥作用。可是在现实中,很多问题是没有这么多标注图像的,获取标注图像的成本也非常大,例如在医疗领域,安全领域等。随着更多应用场景的涌现,我们越来越面临着样本数量不足的问题。因此,当标注数据量比较少时,如何通过举一反三的方式进行小样本图像学习,成为了一个重要的研究方向。目前小样本问题的场景也就是小样本问题面临的问题是:不改变已经训练好的模型的前提下,只能借助每类少数几个标注样本,泛化这些罕见的类别,识别训练过程中有从未见过的新类,而不需要额外的训练。
图像原型思想来源于原型网络,通过计算样本图片和每个类别的原型表达的距离来进行分类。它假设每个类别都存在一个聚在某单个原型表达周围的嵌入(embedding),该类的原型是支持集(support set)在嵌入空间中的均值。然后,分类问题变成在嵌入空间中的最近邻。该方法思想十分简单高效,效果也非常好。原型网络本身就是一种小样本学习方法,实验表明欧几里得(squared Euclidean)距离比余弦(cosine)距离要好14到17个百分点。目前,利用原型网络进行小样本学习,在miniImageNet数据集上,支持集中每类图像只有1个标注样本的情况下(one-shot-learning),查询图像识别准确率仅达到49.2±0.78%,支持集中每类图像有5个标注样本的情况下(five-shot-learning),查询图像识别准确率达到仅68.20±0.66%。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的小样本图像识别方法,该方法借助每类少数几个标注样本,通过泛化这些罕见的类别,即可识别新图像的类别,而不需要额外的训练,图像识别准确率高。
为解决上述技术问题,本发明的基于深度学习的小样本图像识别方法包括下述步骤:
一、划分训练集
将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目一般不少于600个;其中支持集
Figure BDA0001955662520000021
表示支持集S中包含了n个类别的样本图像,其中
Figure BDA0001955662520000022
为支持集S中属于类别k的样本图像的集合,
Figure BDA0001955662520000023
是支持集S中属于类别k的第m个样本;查询集
Figure BDA0001955662520000024
同样包含了n个类别的样本图像;其中,
Figure BDA0001955662520000025
为查询集Q中属于类别k的样本图像的集合,
Figure BDA0001955662520000026
是查询集Q中属于类别k的第l个样本;
二.生成噪声图像
随机生成噪声图像集合N,N中噪声图像数量是训练集图像类别数,噪声图像形状与训练集中图像相同;
三、预训练原型空间判别网络Dφ
1.将支持集S中各类别样本图像子集{S1,S2,...Sk...Sn},输入原型空间判别网络Dφ,得到支持集S各类别样本图像原型{c1,c2,...ck...cn};
2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集
Figure BDA0001955662520000027
输入原型空间判别网络Dφ,得到其在原型空间内的映射,其中
Figure BDA0001955662520000028
代表查询子集QNM中属于类别k的图像集合;
3.根据原型空间判别网络Dφ的预训练损失函数公式,采用梯度下降算法,预训练原型空间判别网络Dφ的网络参数并更新原型空间判别网络Dφ
4.将步骤2,3重复不少于50次;
对于查询集Q中属于类别k的任意一张图像
Figure BDA0001955662520000029
原型空间判别网络Dφ的预训练损失函数L(φ)′定义如下:
Figure BDA0001955662520000031
其中,
Figure BDA0001955662520000032
的定义如下:
Figure BDA0001955662520000033
其中
Figure BDA0001955662520000034
是查询集Q中属于类别k的图像,
Figure BDA0001955662520000035
为查询集图像
Figure BDA0001955662520000036
在原型空间内的映射;ck是支持集S中属于类别k的样本图像映射到原型空间内的中心点,即类别k样本图像的原型;ck′是支持集S中不属于类别k的图像映射到原型空间内的中心点,即除了类别k样本图像以外的某一类别样本图像的原型;
Figure BDA0001955662520000037
代表两个张量
Figure BDA0001955662520000038
ck之间的欧几里得距离;
Figure BDA0001955662520000039
代表两个张量
Figure BDA00019556625200000310
ck′之间的欧几里得距离;
Figure BDA00019556625200000311
其中,Sk∈S,代表支持集S中属于类别k的样本图像集合,xi代表Sk中第i个样本图像的图像矩阵,yi代表Sk中第i个样本图像的所属类别;Dφ(xi)代表Sk中第i个样本图像在原型空间内的映射;
Figure BDA00019556625200000312
其中,Sk′∈S,代表支持集S中不属于类别k的样本图像集合,xi’代表Sk′中第i个样本图像的图像矩阵,yi’代表Sk′中第i个样本图像的所属类别;Dφ(xi’)代表Sk′中第i个样本图像在原型空间内的映射;
四、训练欺骗图像生成网络
将噪声图像集合N中的所有图像输入欺骗图像生成网络Gθ得到欺骗图像集合F,F=Gθ(N),然后将欺骗图像生成网络Gθ输出的欺骗图像集合F进一步输入通过步骤三更新后的原型空间判别网络Dφ,将欺骗图像映射到原型空间;根据欺骗图像生成网络Gθ的损失函数J(θ),采用梯度下降算法,训练欺骗图像生成网络Gθ的网络参数并更新欺骗图像生成网络Gθ;对于每张欺骗图像
Figure BDA00019556625200000313
来说,生成网络Gθ的损失函数J(θ)定义如下:
Figure BDA00019556625200000314
其中,
Figure BDA0001955662520000041
其中
Figure BDA0001955662520000042
是随机噪声图像xrd输入欺骗图像生成网络Gθ后输出的类别k欺骗图像;
Figure BDA0001955662520000043
是欺骗图像
Figure BDA0001955662520000044
在原型空间内的映射;
Figure BDA0001955662520000045
代表两个张量
Figure BDA0001955662520000046
之间的欧几里得距离;
Figure BDA0001955662520000047
代表两个张量
Figure BDA0001955662520000048
之间的欧几里得距离;
五.训练原型空间判别网络
1.将支持集S中各类图像子集{S1,S2,...Sk...SN}输入原型空间判别网络得到各类图像原型{c1,c2,...ck...cN},
2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集
Figure BDA0001955662520000049
输入原型空间判别网络,得到其在原型空间内的映射;
3.从步骤四中欺骗图像生成网络输出的欺骗图像集合F随机选取M张欺骗图像,输入原型空间判别网络得到其在原型空间内的映射;
4.根据原型空间判别网络Dφ的训练误差函数CD(φ),采用梯度下降算法,训练网络参数并更新原型空间判别网络Dφ
5.重复步骤2,3,4不少于100次;
原型空间判别网络Dφ的训练误差函数CD(φ)定义如下:
CD(φ)=C′D(φ)+NCG(φ) (7)
其中,
Figure BDA00019556625200000410
Figure BDA00019556625200000411
Figure BDA00019556625200000412
Figure BDA00019556625200000413
这里的Gθ是步骤四中更新后的欺骗图像生成网络;
六、重复步骤四和步骤五进行欺骗图像生成网络和原型空间判别网络的交替迭代训练,直到达到预先设定的迭代次数,或准确率不再提升,得到训练好的欺骗图像生成网络和原型空间判别网络;
七、使用训练好的原型空间判别网络,将已知类别的图像归入支持集,通过原型空间判别网络Dφ映射到原型空间得到各类图像原型;将待识别的图像归入查询集,同样通过原型空间判别网络Dφ映射到原型空间得到待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间欧几里得距离最近的图像原型所属类别判为待识别图像的类别。
所述的原型空间判别网络Dφ采用4层卷积神经网络,每层卷积神经网络后接整流线性单元ReLU,并进行批量归一化操作。
所述的欺骗图像生成网络采用2层卷积神经网络后接2层转置卷积神经网络,卷积神经网络卷积核的大小与转置卷积神经网络的卷积核大小相同,这里均采用3x3大小的卷积核,确保欺骗图像生成网络输出的图像与输入图像形状一致;当输入为与真实图像形状相同的随机噪声图像时,欺骗图像生成网络的输出是与真实图像形状一致的欺骗图像;初始时欺骗图像生成网络的网络参数为随机网络参数,通过训练网络参数并更新欺骗图像生成网络;
所述步骤六中,准确率的计算方法如下:
将验证集的多个样本图像归入支持集和查询集;其中验证集的样本图像类别已知,且支持集和查询集样本图像的类别、数目相同;每次原型空间判别网络Dφ迭代训练完成后,将支持集样本图像通过更新后的原型空间判别网络Dφ映射到原型空间得到各类图像原型,将查询集样本图像同样通过更新后的原型空间判别网络Dφ映射到原型空间待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间距离最近的图像原型所属类别判为待识别图像的类别,得到查询集图像的判别标签集合;设查询集图像的数目为p,查询集图像的真实类别标签集合y=(y1,y2,...yp),yp代表查询集第p个图像的真实类别标签;对应的,支持集图像的数目为p,支持集图像的判别标签集合为
Figure BDA0001955662520000051
Figure BDA0001955662520000052
代表支持集第p个判别标签;设查询集图像真实类别标签与判别标签相同的个数为q,则查询集图像原型空间判别网络的准确率计算公式如下:
Figure BDA0001955662520000061
与现有技术相比本发明的有益效果是:
1.本发明所述的一种基于生成对抗网络和原型思想的深度学习小样本图像识别方法-生成对抗原型网络,该方法在不改变已经训练好的模型的前提下,借助每类少数几个标注样本,通过泛化这些罕见的类别,识别训练过程中有从未见过的新类,而不需要额外的训练。
2.利用本发明所述的基于生成对抗网络和原型思想的深度学习小样本图像识别方法,每类只借助一个标注样本的情况下(one-shot-learning),图像识别准确率高于现有方法,以miniImage数据集上的测试结果为例,one-shot-learning准确率51%,高于现有方法。
3.利用本发明所述的基于生成对抗网络和原型思想的深度学习小样本图像识别方法,每类只借助五个标注样本的情况下(five-shot-learning),图像识别准确率高于现有方法,以miniImage数据集上的测试结果为例,five-shot-learning准确率70%以上,高于现有方法。
附图说明
图1是本发明的流程图。
图2是本发明所述的生成对抗原型网络示意图(不包括原型空间判决网络预训练过程)。
具体实施方式
如图1、2所示,本发明的基于深度学习的小样本图像识别方法包括下述步骤:一、划分训练集;二、生成噪声图像;三、预训练原型空间判别网络;四、训练欺骗图像生成网络;五、训练原型空间判别网络;六、重复步骤四和步骤五进行交叉迭代训练,直到达到预先设定的迭代次数或准确率不再提升;七、图像类别识别。
一、划分训练集
将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目一般不少于600个;其中支持集
Figure BDA0001955662520000062
表示支持集S中包含了n个类别的样本图像,其中,其中
Figure BDA0001955662520000071
为支持集S中属于类别k的样本图像的集合,
Figure BDA0001955662520000072
是支持集S中属于类别k的第m个样本;查询集
Figure BDA0001955662520000073
同样包含了n个类别的样本图像;其中,
Figure BDA0001955662520000074
为查询集Q中属于类别k的样本图像的集合,
Figure BDA0001955662520000075
是查询集Q中属于类别k的第l个样本;
2.生成噪声图像
随机生成噪声图像集合N,N中噪声图像数量是训练集图像类别数,噪声图像形状与训练集中图像相同;
三、预训练原型空间判别网络Dφ
1.将支持集S中各类别样本图像子集{S1,S2,...Sk...Sn},输入原型空间判别网络Dφ,得到支持集S各类别样本图像原型{c1,c2,...ck...cn};
2.从查询集Q中样本图像随机选取若干(M)类,每类选取若干(N)个,组成每次训练用的查询子集
Figure BDA0001955662520000076
(
Figure BDA0001955662520000077
代表查询子集QNM中属于类别k的图像集合)输入原型空间判别网络Dφ,得到其在原型空间内的映射,
3.根据原型空间判别网络Dφ的预训练损失函数公式,采用梯度下降算法,预训练原型空间判别网络Dφ的网络参数并更新原型空间判别网络Dφ
4.将步骤2,3重复若干次,一般不少于50次;
对于查询集Q中属于类别k的任意一张图像
Figure BDA0001955662520000078
原型空间判别网络Dφ的预训练损失函数L(φ)′定义如下:
Figure BDA0001955662520000079
其中,
Figure BDA00019556625200000710
的定义如下:
Figure BDA00019556625200000711
其中
Figure BDA00019556625200000712
是查询集Q中属于类别k的图像,
Figure BDA00019556625200000713
为查询集图像
Figure BDA00019556625200000714
在原型空间内的映射;ck是支持集S中属于类别k的样本图像映射到原型空间内的中心点,即类别k样本图像的原型;ck′是支持集S中不属于类别k的图像映射到原型空间内的中心点,即除了类别k样本图像以外的某一类别样本图像的原型;
Figure BDA0001955662520000081
代表两个张量
Figure BDA0001955662520000082
ck之间的欧几里得距离;
Figure BDA0001955662520000083
代表两个张量
Figure BDA0001955662520000084
ck′之间的欧几里得距离;
Figure BDA0001955662520000085
其中,Sk∈S,代表支持集S中属于类别k的样本图像集合,xi代表Sk中第i个样本图像的图像矩阵,yi代表Sk中第i个样本图像的所属类别;Dφ(xi)代表Sk中第i个样本图像在原型空间内的映射;
Figure BDA0001955662520000086
其中,Sk′∈S,代表支持集S中不属于类别k的样本图像集合,xi’代表Sk′中第i个样本图像的图像矩阵,yi’代表Sk′中第i个样本图像的所属类别;Dφ(xi’)代表Sk′中第i个样本图像在原型空间内的映射;
原型空间判别网络Dφ采用4层卷积神经网络,每层卷积神经网络后接整流线性单元ReLU,并进行批量归一化操作(batch normalization)。
四、训练欺骗图像生成网络
将噪声图像集合N中的所有图像输入欺骗图像生成网络Gθ得到欺骗图像集合F,F=Gθ(N),然后将欺骗图像生成网络Gθ输出的欺骗图像集合F进一步输入通过步骤三更新后的原型空间判别网络Dφ,将欺骗图像映射到原型空间;根据欺骗图像生成网络Gθ的损失函数J(θ),采用梯度下降算法,训练欺骗图像生成网络Gθ的网络参数并更新欺骗图像生成网络Gθ;对于每张欺骗图像
Figure BDA0001955662520000087
来说,生成网络Gθ的损失函数J(θ)定义如下:
Figure BDA0001955662520000088
其中,
Figure BDA0001955662520000089
其中
Figure BDA00019556625200000810
是随机噪声图像xrd输入欺骗图像生成网络Gθ后输出的类别k欺骗图像;
Figure BDA00019556625200000811
是欺骗图像
Figure BDA00019556625200000812
在原型空间内的映射;
Figure BDA00019556625200000813
代表两个张量
Figure BDA00019556625200000814
之间的欧几里得距离;
Figure BDA00019556625200000815
代表两个张量
Figure BDA00019556625200000816
之间的欧几里得距离;
所述的欺骗图像生成网络采用2层卷积神经网络后接2层转置卷积神经网络,卷积神经网络卷积核的大小与转置卷积神经网络的卷积核大小相同,这里均采用3x3大小的卷积核,确保欺骗图像生成网络输出的图像与输入图像形状一致;当输入为与真实图像形状相同的随机噪声图像时,欺骗图像生成网络的输出是与真实图像形状一致的欺骗图像;初始时欺骗图像生成网络的网络参数为随机网络参数,通过训练网络参数并更新欺骗图像生成网络;
五.训练原型空间判别网络
1.将支持集S中各类图像子集{S1,S2,...Sk...SN}输入原型空间判别网络得到各类图像原型{c1,c2,...ck...cN},
2.从查询集Q中样本图像随机选取若干(M)类,每类选取若干(N)个,组成每次训练用的查询子集
Figure BDA0001955662520000091
(
Figure BDA0001955662520000092
代表查询子集QNM中属于类别k的图像集合)输入原型空间判别网络,得到其在原型空间内的映射;
3.从步骤四中欺骗图像生成网络输出的欺骗图像集合随机选取若干(M)张图片,输入原型空间判别网络得到其在原型空间内的映射;
4.根据原型空间判别网络Dφ的训练误差函数CD(φ),采用梯度下降算法,训练网络参数并更新原型空间判别网络Dφ
5.重复步骤2,3,4若干次(不少于100次)。
原型空间判别网络Dφ的训练误差函数CD(φ)定义如下:
CD(φ)=C′D(φ)+NCG(φ) (7)
其中,系数N,与上面每类选取N个样本图像的N相同;
Figure BDA0001955662520000093
Figure BDA0001955662520000094
Figure BDA0001955662520000095
Figure BDA0001955662520000096
这里的Gθ是步骤四中参数更新后的生成网络。
六、重复步骤四和步骤五进行欺骗图像生成网络和原型空间判别网络的交替迭代训练,直到达到预先设定的迭代次数,或准确率不再提升,得到训练好的欺骗图像生成网络和原型空间判别网络;(最终识别用得是原型空间判别网络)
七、使用训练好的原型空间判别网络,将已知类别的图像归入支持集,通过原型空间判别网络Dφ映射到原型空间得到各类图像原型;将待识别的图像归入查询集,同样通过原型空间判别网络Dφ映射到原型空间得到待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间欧几里得距离最近的图像原型所属类别判为待识别图像的类别。
所述步骤六中,准确率的计算方法如下:
将验证集的多个样本图像归入支持集和查询集(样本图像类别已知,且支持集和查询集样本图像的类别、数目相同);每次原型空间判别网络Dφ迭代训练完成后,将支持集样本图像通过更新后的原型空间判别网络Dφ映射到原型空间得到各类图像原型,(图像原型的求法与训练过程中原型求法相同),将查询集样本图像同样通过更新后的原型空间判别网络Dφ映射到原型空间待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间距离最近的图像原型所属类别判为待识别图像的类别,得到查询集图像的判别标签集合;设查询集图像的数目为p,查询集图像的真实类别标签集合y=(y1,y2,...yp),yp代表查询集第p个图像的真实类别标签;对应的,支持集图像的数目为p,支持集图像的判别标签集合为
Figure BDA0001955662520000101
Figure BDA0001955662520000102
代表支持集第p个判别标签;设查询集图像真实类别标签与判别标签相同的个数为q,则查询集图像原型空间判别网络的准确率计算公式如下:
Figure BDA0001955662520000103
本发明中,数据集选取了100个类别的图像,训练集选取了64个类别,测试集20个类别,验证集16个类别,每个类别150张图片。

Claims (4)

1.一种基于深度学习的小样本图像识别方法,其特征在于包括下述步骤:
一、划分训练集
将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目不少于600个;其中支持集
Figure FDA0003682747240000011
表示支持集S中包含了n个类别的样本图像,其中
Figure FDA0003682747240000012
为支持集S中属于类别k的样本图像的集合,
Figure FDA0003682747240000013
是支持集S中属于类别k的第m个样本;查询集
Figure FDA0003682747240000014
同样包含了n个类别的样本图像;其中,
Figure FDA0003682747240000015
为查询集Q中属于类别k的样本图像的集合,
Figure FDA0003682747240000016
是查询集Q中属于类别k的第1个样本;
二.生成噪声图像
随机生成噪声图像集合N,N中噪声图像数量是训练集图像类别数,噪声图像形状与训练集中图像相同;
三、预训练原型空间判别网络Dφ
1.将支持集S中各类别样本图像子集{S1,S2,...Sk...Sn},输入原型空间判别网络Dφ,得到支持集S各类别样本图像原型{c1,c2,...ck...cn};
2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集
Figure FDA0003682747240000017
输入原型空间判别网络Dφ,得到其在原型空间内的映射,其中
Figure FDA0003682747240000018
代表查询子集QNM中属于类别k的图像集合;
3.根据原型空间判别网络Dφ的预训练损失函数公式,采用梯度下降算法,预训练原型空间判别网络Dφ的网络参数并更新原型空间判别网络Dφ
4.将步骤2,3重复不少于50次;
对于查询集Q中属于类别k的任意一张图像
Figure FDA0003682747240000019
原型空间判别网络Dφ的预训练损失函数L(φ)′定义如下:
Figure FDA00036827472400000110
其中,
Figure FDA0003682747240000021
的定义如下:
Figure FDA0003682747240000022
其中
Figure FDA0003682747240000023
是查询集Q中属于类别k的图像,
Figure FDA0003682747240000024
为查询集图像
Figure FDA0003682747240000025
在原型空间内的映射;ck是支持集S中属于类别k的样本图像映射到原型空间内的中心点,即类别k样本图像的原型;ck′是支持集S中不属于类别k的图像映射到原型空间内的中心点,即除了类别k样本图像以外的某一类别样本图像的原型;
Figure FDA0003682747240000026
代表两个张量
Figure FDA0003682747240000027
ck之间的欧几里得距离;
Figure FDA0003682747240000028
代表两个张量
Figure FDA0003682747240000029
ck′之间的欧几里得距离;
Figure FDA00036827472400000210
其中,Sk∈S,代表支持集S中属于类别k的样本图像集合,xi代表Sk中第i个样本图像的图像矩阵,yi代表Sk中第i个样本图像的所属类别;Dφ(xi)代表Sk中第i个样本图像在原型空间内的映射;
Figure FDA00036827472400000211
其中,Sk′∈S,代表支持集S中不属于类别k的样本图像集合,xi’代表Sk′中第i个样本图像的图像矩阵,yi’代表Sk′中第i个样本图像的所属类别;Dφ(xi’)代表Sk′中第i个样本图像在原型空间内的映射;
四、训练欺骗图像生成网络
将噪声图像集合N中的所有图像输入欺骗图像生成网络Gθ得到欺骗图像集合F,F=Gθ(N),然后将欺骗图像生成网络Gθ输出的欺骗图像集合F进一步输入通过步骤三更新后的原型空间判别网络Dφ,将欺骗图像映射到原型空间;根据欺骗图像生成网络Gθ的损失函数J(θ),采用梯度下降算法,训练欺骗图像生成网络Gθ的网络参数并更新欺骗图像生成网络Gθ;对于每张欺骗图像
Figure FDA00036827472400000212
来说,生成网络Gθ的损失函数J(θ)定义如下:
Figure FDA00036827472400000213
其中,
Figure FDA00036827472400000214
其中
Figure FDA0003682747240000031
是随机噪声图像xrd输入欺骗图像生成网络Gθ后输出的类别k欺骗图像;
Figure FDA0003682747240000032
是欺骗图像
Figure FDA0003682747240000033
在原型空间内的映射;
Figure FDA0003682747240000034
代表两个张量
Figure FDA0003682747240000035
ck之间的欧几里得距离;
Figure FDA0003682747240000036
代表两个张量
Figure FDA0003682747240000037
ck′之间的欧几里得距离;
五.训练原型空间判别网络
1.将支持集S中各类图像子集{S1,S2,...Sk...SN}输入原型空间判别网络得到各类图像原型{c1,c2,...ck...cN},
2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集
Figure FDA0003682747240000038
输入原型空间判别网络,得到其在原型空间内的映射;
3.从步骤四中欺骗图像生成网络输出的欺骗图像集合F随机选取M张欺骗图像,输入原型空间判别网络得到其在原型空间内的映射;
4.根据原型空间判别网络Dφ的训练误差函数CD(φ),采用梯度下降算法,训练网络参数并更新原型空间判别网络Dφ
5.重复步骤2,3,4不少于100次;
原型空间判别网络Dφ的训练误差函数CD(φ)定义如下:
CD(φ)=C′D(φ)+NCG(φ) (7)
其中,
Figure FDA0003682747240000039
Figure FDA00036827472400000310
Figure FDA00036827472400000311
Figure FDA00036827472400000312
这里的Gθ是步骤四中更新后的欺骗图像生成网络;
六、重复步骤四和步骤五进行欺骗图像生成网络和原型空间判别网络的交替迭代训练,直到达到预先设定的迭代次数,或准确率不再提升,得到训练好的欺骗图像生成网络和原型空间判别网络;
七、使用训练好的原型空间判别网络,将已知类别的图像归入支持集,通过原型空间判别网络Dφ映射到原型空间得到各类图像原型;将待识别的图像归入查询集,同样通过原型空间判别网络Dφ映射到原型空间得到待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间欧几里得距离最近的图像原型所属类别判为待识别图像的类别。
2.根据权利要求1所述的基于深度学习的小样本图像识别方法,其特征在于所述的原型空间判别网络Dφ采用4层卷积神经网络,每层卷积神经网络后接整流线性单元ReLU,并进行批量归一化操作。
3.根据权利要求1所述的基于深度学习的小样本图像识别方法,其特征在于所述的欺骗图像生成网络采用2层卷积神经网络后接2层转置卷积神经网络,卷积神经网络卷积核的大小与转置卷积神经网络的卷积核大小相同,这里均采用3x3大小的卷积核,确保欺骗图像生成网络输出的图像与输入图像形状一致;当输入为与真实图像形状相同的随机噪声图像时,欺骗图像生成网络的输出是与真实图像形状一致的欺骗图像;初始时欺骗图像生成网络的网络参数为随机网络参数,通过训练网络参数并更新欺骗图像生成网络。
4.根据权利要求1所述的基于深度学习的小样本图像识别方法,其特征在于所述步骤六中,准确率的计算方法如下:
将验证集的多个样本图像归入支持集和查询集;其中验证集的样本图像类别已知,且支持集和查询集样本图像的类别、数目相同;每次原型空间判别网络Dφ迭代训练完成后,将支持集样本图像通过更新后的原型空间判别网络Dφ映射到原型空间得到各类图像原型,将查询集样本图像同样通过更新后的原型空间判别网络Dφ映射到原型空间待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间距离最近的图像原型所属类别判为待识别图像的类别,得到查询集图像的判别标签集合;设查询集图像的数目为p,查询集图像的真实类别标签集合y=(y1,y2,…yP),yP代表查询集第p个图像的真实类别标签;对应的,支持集图像的数目为p,支持集图像的判别标签集合为
Figure FDA0003682747240000041
Figure FDA0003682747240000042
代表支持集第p个判别标签;设查询集图像真实类别标签与判别标签相同的个数为q,则查询集图像原型空间判别网络的准确率计算公式如下:
Figure FDA0003682747240000051
CN201910065984.4A 2019-01-24 2019-01-24 一种基于深度学习的小样本图像识别方法 Active CN109800811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910065984.4A CN109800811B (zh) 2019-01-24 2019-01-24 一种基于深度学习的小样本图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910065984.4A CN109800811B (zh) 2019-01-24 2019-01-24 一种基于深度学习的小样本图像识别方法

Publications (2)

Publication Number Publication Date
CN109800811A CN109800811A (zh) 2019-05-24
CN109800811B true CN109800811B (zh) 2022-09-06

Family

ID=66560164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910065984.4A Active CN109800811B (zh) 2019-01-24 2019-01-24 一种基于深度学习的小样本图像识别方法

Country Status (1)

Country Link
CN (1) CN109800811B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276394A (zh) * 2019-06-21 2019-09-24 扬州大学 一种小样本下基于深度学习的电力设备分类方法
CN110288024B (zh) * 2019-06-26 2021-08-27 山东大学 一种基于原型网络少样本学习的图像分类器构建、图像识别方法及系统
CN110490227B (zh) * 2019-07-09 2023-02-03 武汉理工大学 一种基于特征转换的少样本图像分类方法
CN110401488B (zh) * 2019-07-12 2021-02-05 北京邮电大学 一种解调方法及装置
CN110553650B (zh) * 2019-08-29 2021-06-08 华南理工大学 一种基于小样本学习的移动机器人重定位方法
CN110717554B (zh) * 2019-12-05 2023-02-28 广东虚拟现实科技有限公司 图像识别方法、电子设备及存储介质
CN111507419B (zh) * 2020-04-22 2022-09-30 腾讯科技(深圳)有限公司 图像分类模型的训练方法及装置
CN111881957B (zh) * 2020-07-15 2022-09-23 中国科学院自动化研究所 基于信息导向注意力网络的图像识别方法、系统及装置
CN112200262B (zh) * 2020-10-21 2024-04-30 中国空间技术研究院 支持多任务和跨任务的小样本分类训练方法及装置
CN112819075B (zh) * 2021-02-02 2021-10-22 电子科技大学 一种基于转导式推理的均衡小样本任务分类方法
CN113222011B (zh) * 2021-05-10 2022-12-02 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113139536B (zh) * 2021-05-12 2022-11-18 哈尔滨工业大学(威海) 一种基于跨域元学习的文本验证码识别方法、设备及存储介质
CN113408463B (zh) * 2021-06-30 2022-05-10 吉林大学 一种基于距离度量的细胞图像小样本分类系统
CN113705570B (zh) * 2021-08-31 2023-12-08 长沙理工大学 一种基于深度学习的少样本目标检测方法
CN114844583B (zh) * 2022-03-30 2023-04-07 电子科技大学 基于原型网络的端到端通信接收方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268994B2 (en) * 2013-03-15 2016-02-23 Sri International 3D visual proxemics: recognizing human interactions in 3D from a single image
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106980875A (zh) * 2017-03-13 2017-07-25 南京邮电大学 基于属性低秩表示的零样本图像识别方法
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法
CN109190665B (zh) * 2018-07-30 2023-07-04 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN109117877A (zh) * 2018-08-02 2019-01-01 南京师范大学 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法
CN109242829A (zh) * 2018-08-16 2019-01-18 惠州学院 基于小样本深度学习的液晶屏缺陷检测方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Prototypical networks for few-shot learning;J Snell 等;《http://arxiv.org/pdf/1703.05175.pdf》;20170619;1-13 *

Also Published As

Publication number Publication date
CN109800811A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109800811B (zh) 一种基于深度学习的小样本图像识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
Zahisham et al. Food recognition with resnet-50
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN110717554B (zh) 图像识别方法、电子设备及存储介质
CN111353373B (zh) 一种相关对齐域适应故障诊断方法
CN111832650B (zh) 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN102156871B (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN106372581A (zh) 构建及训练人脸识别特征提取网络的方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN103136540B (zh) 一种基于隐结构推理的行为识别方法
CN110414587A (zh) 基于渐进学习的深度卷积神经网络训练方法与系统
CN111832580B (zh) 结合少样本学习与目标属性特征的sar目标识别方法
CN114241564A (zh) 一种基于类间差异强化网络的人脸表情识别方法
CN111371611A (zh) 一种基于深度学习的加权网络社区发现方法及装置
CN106570514A (zh) 一种基于词袋模型和支持向量机的汽车轮毂分类方法
CN112329798A (zh) 一种基于优化视觉词袋模型的图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant