CN113052261A - 一种基于余弦空间优化的图像分类损失函数的设计方法 - Google Patents

一种基于余弦空间优化的图像分类损失函数的设计方法 Download PDF

Info

Publication number
CN113052261A
CN113052261A CN202110434753.3A CN202110434753A CN113052261A CN 113052261 A CN113052261 A CN 113052261A CN 202110434753 A CN202110434753 A CN 202110434753A CN 113052261 A CN113052261 A CN 113052261A
Authority
CN
China
Prior art keywords
loss function
class
expressed
batch
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110434753.3A
Other languages
English (en)
Other versions
CN113052261B (zh
Inventor
李晨
许虞俊
孙翔
曹悦欣
杜文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110434753.3A priority Critical patent/CN113052261B/zh
Publication of CN113052261A publication Critical patent/CN113052261A/zh
Application granted granted Critical
Publication of CN113052261B publication Critical patent/CN113052261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于余弦空间优化的图像分类损失函数的设计方法,该方法基于常用的Additive Margin Softmax优化,提出了一种可以对图像分类的类内距离与类间距离同时进行主动调控的损失函数。该方法在模型训练的前半阶段采用了AM‑Softmax损失函数,拉开类间距离,在训练后半阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。

Description

一种基于余弦空间优化的图像分类损失函数的设计方法
技术领域
本发明涉及计算机视觉与人工智能领域,特别是涉及一种基于余弦空间优化的图像分类损失函数的设计方法。
背景技术
目标分类算法是计算机视觉中基础且重要的研究领域,目前的目标分类算法领域随着深度学习技术的发展,已经可以解决绝大部分的简单分类问题,即AlexNet之后涌现了一系列CNN模型如ResNet、GoogleNet、EfficientNet,不断刷新在ImageNet数据集上的成绩,随着采用更加复杂的网络结构与引入深度残差连接,目前最优的图像分类算法在ImageNet数据集上的Top-1精度已经达到了84.4%,然而这些算法模型通常具有巨大的参数量与计算复杂度。对于需要部署算法的边缘移动场景,由于内存受限,计算力受限的问题,难以使用大型网络,因此轻智能网络的需求逐渐增加。为了提高轻量级图象分类算法的精度,在不增加模型复杂度与数据量的情况下,优化损失函数可以有效提升网络的精度,是解决轻量级图像分类网络精度较低的有效方案。
常用于图像分类领域的损失函数为sigmoid交叉熵损失函数与softmax交叉熵损失函数,其监督能力较为有限,只能在欧式空间中将差异较大物体的分类结果拉开,对于相似度较大的类别,分类能力较弱,因此引入在人脸识别领域中的损失函数,并针对图像分类做进一步优化,以达到图像分类更好的效果,具有较大的实用价值。
发明内容
有鉴于此,本发明的目的在于提供一种基于余弦空间优化的图像分类损失函数的设计方法,通过该方法设计的损失函数能够在不增加网络参数量与训练数据量的前提下,提高分类算法的精度,适用于轻智能网络。
为了实现上述目的,本发明采用如下技术方案:
一种基于余弦空间优化的图像分类损失函数的设计方法,包括如下步骤:
步骤S1、获取数据集,设定超参数并初始化深度学习模型;
步骤S2、对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心,并累计更新所述类内中心;
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
步骤S23、判断当前迭代批次是否达到预先设定的批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型。
进一步的,在所述步骤S1中,所述超参数包括:加权系数α、加权系数β、加权系数γ和紧致系数ε,并且满足:γ>α>β;
所述超参数还包括所述步骤23中的批次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次。
进一步的,所述第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy (1)
公式(1)中,α和γ表示为加权系数,Loss1表示为所述类间损失函数;Losscross-entropy表示为所述交叉熵损失函数。
进一步的,所述类间损失函数的表达式为:
Figure BDA0003032453970000021
公式(2)中,n表示为一个批次内样本数量,s表示为缩放系数,m表示为不同类别的决策边界在余弦空间内的距离,cos
Figure BDA0003032453970000022
表示为i样本在其对应类别yi上的投影,C表示为总类别数,cosθj表示i样本在其他类别j上的投影。
进一步的,所述第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy (3)
公式(3)中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为所述类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
Figure BDA0003032453970000031
进一步的,所述类内损失函数的表达式为:
Figure BDA0003032453970000032
公式(4)中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,
Figure BDA0003032453970000033
表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
本发明的有益效果是:
本发明在模型训练的前半阶段采用了AM-Softmax损失函数,拉开类间距离,在训练后半阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。
附图说明
图1为本发明提供的一种基于余弦空间优化的图像分类损失函数的设计方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实施提供一种基于余弦空间优化的图像分类损失函数,该损失函数由三部分组成,具体表达式如下式所示:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy
式中α为类间损失函数的加权系数,β为类内损失函数的加权系数,γ为交叉熵损失函数的加权系数,采用γ>α>β的比例;Loss1表示为类间损失函数,Losscross-entropy表示为交叉熵损失函数,Loss2表示为类内损失函数;
其中超参β为分段函数,当算法模型训练的批次小于超参数N时,β取0值,当训练批次超过N时,则β取大于0值。
其中超参数N取值则根据模型的收敛情况进行确定,当模型已经收敛后,再启用β,即使用类内损失函数进一步优化网络,保证了在模型训练的前期,类内中心不稳定时,类内损失函数不影响网络的收敛。
具体的说,在本实施例中,上述Truc(x)函数的表达式为:
Figure BDA0003032453970000041
该函数主要用来限制类内损失函数对于整体损失函数的影响,通过超参数ε来控制类内损失函数的紧致,减少因为类内损失函数过于紧致而导致的模型过拟合问题,从而能有效的提升模型的泛化能力,降低其对于训练集图片的过拟合,增加算法模型的鲁棒性。
具体的说,在本实施例中,上述Losscross-entropy为常用的交叉熵损失函数,为计算损失的主体函数。
具体的说,在本实施例中,上述Loss1为类间损失函数,即AM-Softmax函数,其表达式为:
Figure BDA0003032453970000042
式中,n为一个批次内样本数量,超参s为缩放系数,超参m为不同类别的决策边界在余弦空间内的距离,cos
Figure BDA0003032453970000045
为i样本在其对应类别yi上的投影,C为总类别数。该损失函数作为辅助监督,引导不同类别样本的决策边界在余弦空间中尽量分开,有效的提升分类精度。
具体的说,在本实施例中,上述类内损失函数Loss2则主要用来主动约束同一类别的物体的特征在余弦空间内的分布,相较于原AM-Softmax损失函数,能更有效的帮助同一类别物体的特征有效分布在该类别的决策边界内,使得网络模型进一步收敛。
更具体的说,在本实施例中,上述类内损失函数Loss2的表达式为:
Figure BDA0003032453970000043
式中,Cb为一个批次内类别数量,ni为一个批次内第i个类别的样本数量,
Figure BDA0003032453970000044
为第i个类别中第j个样本在其对应类别i上的投影,ci为第i个类别的类内中心。
需要说明的是,在本实施中所采用的类内损失函数,要求网络在训练过程中,不断随训练批次更新余弦空间内的类内中心ci,即由前一个epoch的所有训练样本累计迭代得到。仅当下一个epoch大于N时,即β>0时,使用其作为其计算Loss2的类内中心。
实施例2
本实施例提供一种基于余弦空间优化的图像分类损失函数的设计方法,包括如下步骤:
步骤S1、获取数据集,设定超参数,并初始化深度学习模型;
具体的说,在本实施例中,上述超参数包括:加权系数α、加权系数β、加权系数γ、紧致系数ε和迭代训练的批次数N,并且满足:γ>α>β。
步骤S2、将获取到的数据集,输入初始化后深度学习模型中,对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心ci,并累计更新所述类内中心ci
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
具体的说,上述类间损失函数,即AM-Softmax函数,其表达式为:
Figure BDA0003032453970000051
式中,n为一个批次内样本数量,超参s为缩放系数,超参m为不同类别的决策边界在余弦空间内的距离,cos
Figure BDA0003032453970000053
为i样本在其对应类别yi上的投影,C为总类别数。该损失函数作为辅助监督,引导不同类别样本的决策边界在余弦空间中尽量分开,有效的提升分类精度,cosθj表示i样本在其他类别j上的投影。
步骤S23、判断当前迭代批次是否达到预先设定的次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次,次数N也即是步骤S1中确定的迭代训练批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
具体的说,在本实施例中,第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy
公式中,α和γ表示为加权系数,Loss1表示为上述类间损失函数;Losscross-entropy表示为上述交叉熵损失函数。
类内损失函数的表达式为:
Figure BDA0003032453970000052
公式中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,
Figure BDA0003032453970000061
表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy
公式中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
Figure BDA0003032453970000062
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型。
需要说明的是,本实施例中所采用的类内损失函数Loss2,要求网络在训练过程中,不断随训练批次更新余弦空间内的类内中心ci,即由前一个epoch的所有训练样本累计迭代得到。仅当下一个epoch大于N时,即β>0时,使用其作为其计算Loss2的类内中心。
综上,本发明提出的一种基于余弦空间优化的图像分类损失函数的设计方法,包含了两个阶段,使用超参数N∈(0,Epochend)进行隔断,式中Epochend代表最后一个训练批次。其中第一个阶段使用交叉熵损失函数Losscross-entropy与类间损失函数Loss1计算损失,当训练批次超过N时,进入第二个阶段,增加类内损失函数Loss2
在第一阶段采用了AM-Softmax损失函数,拉开类间距离,在第二阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。
本发明未详述之处,均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,包括如下步骤:
步骤S1、获取数据集,设定超参数并初始化深度学习模型;
步骤S2、对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心,并累计更新所述类内中心;
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
步骤S23、判断当前迭代批次是否达到预先设定的批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型。
2.根据权利要求1所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,在所述步骤S1中,所述超参数包括:加权系数α、加权系数β、加权系数γ和紧致系数ε,并且满足:γ>α>β;
所述超参数还包括所述步骤23中的批次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次。
3.根据权利要求2所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy (1)
公式(1)中,α和γ表示为加权系数,Loss1表示为所述类间损失函数;Losscross-entropy表示为所述交叉熵损失函数。
4.根据权利要求3所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述类间损失函数的表达式为:
Figure FDA0003032453960000021
公式(2)中,n表示为一个批次内样本数量,s表示为缩放系数,m表示为不同类别的决策边界在余弦空间内的距离,
Figure FDA0003032453960000025
表示为i样本在其对应类别yi上的投影,C表示为总类别数,cosθj表示i样本在其他类别j上的投影。
5.根据权利要求4所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy (3)
公式(3)中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为所述类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
Figure FDA0003032453960000022
6.根据权利要求5所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述类内损失函数的表达式为:
Figure FDA0003032453960000023
公式(4)中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,
Figure FDA0003032453960000024
表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
CN202110434753.3A 2021-04-22 2021-04-22 一种基于余弦空间优化的图像分类损失函数的设计方法 Active CN113052261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434753.3A CN113052261B (zh) 2021-04-22 2021-04-22 一种基于余弦空间优化的图像分类损失函数的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434753.3A CN113052261B (zh) 2021-04-22 2021-04-22 一种基于余弦空间优化的图像分类损失函数的设计方法

Publications (2)

Publication Number Publication Date
CN113052261A true CN113052261A (zh) 2021-06-29
CN113052261B CN113052261B (zh) 2024-05-31

Family

ID=76520142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434753.3A Active CN113052261B (zh) 2021-04-22 2021-04-22 一种基于余弦空间优化的图像分类损失函数的设计方法

Country Status (1)

Country Link
CN (1) CN113052261B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705647A (zh) * 2021-08-19 2021-11-26 电子科技大学 一种基于动态间隔的双重语义特征提取方法
CN113763501A (zh) * 2021-09-08 2021-12-07 上海壁仞智能科技有限公司 图像重建模型的迭代方法和图像重建方法
CN116310648A (zh) * 2023-03-23 2023-06-23 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903774A (zh) * 2019-04-12 2019-06-18 南京大学 一种基于角度间隔损失函数的声纹识别方法
CN110222841A (zh) * 2019-06-17 2019-09-10 苏州思必驰信息科技有限公司 基于间距损失函数的神经网络训练方法和装置
CN112613552A (zh) * 2020-12-18 2021-04-06 北京工业大学 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903774A (zh) * 2019-04-12 2019-06-18 南京大学 一种基于角度间隔损失函数的声纹识别方法
CN110222841A (zh) * 2019-06-17 2019-09-10 苏州思必驰信息科技有限公司 基于间距损失函数的神经网络训练方法和装置
CN112613552A (zh) * 2020-12-18 2021-04-06 北京工业大学 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUN YIFAN 等: "Circle Loss: A Unified Perspective of Pair Similarity Optimization", 《ARXIV》, 15 June 2020 (2020-06-15), pages 1 - 10 *
张强 等: "CS-Softmax:一种基于余弦相似性的Softmax损失函数", 《计算机研究与发展》, vol. 59, no. 4, 16 April 2021 (2021-04-16), pages 936 - 949 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705647A (zh) * 2021-08-19 2021-11-26 电子科技大学 一种基于动态间隔的双重语义特征提取方法
CN113705647B (zh) * 2021-08-19 2023-04-28 电子科技大学 一种基于动态间隔的双重语义特征提取方法
CN113763501A (zh) * 2021-09-08 2021-12-07 上海壁仞智能科技有限公司 图像重建模型的迭代方法和图像重建方法
CN113763501B (zh) * 2021-09-08 2024-02-27 上海壁仞智能科技有限公司 图像重建模型的迭代方法和图像重建方法
CN116310648A (zh) * 2023-03-23 2023-06-23 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备和存储介质
CN116310648B (zh) * 2023-03-23 2023-12-12 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN113052261B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN113052261A (zh) 一种基于余弦空间优化的图像分类损失函数的设计方法
CN111461322B (zh) 一种深度神经网络模型压缩方法
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN111079781B (zh) 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN106250939B (zh) 基于fpga+arm多层卷积神经网络的手写体字符识别方法
CN108985457B (zh) 一种受优化算法启发的深度神经网络结构设计方法
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN112766399B (zh) 一种面向图像识别的自适应神经网络训练方法
CN111476346A (zh) 一种基于牛顿共轭梯度法的深度学习网络架构
CN109190666B (zh) 基于改进的深度神经网络的花卉图像分类方法
CN115631393A (zh) 基于特征金字塔与知识引导的知识蒸馏的图像处理方法
CN113837376A (zh) 基于动态编码卷积核融合的神经网络剪枝方法
CN112597979B (zh) 一种实时更新余弦夹角损失函数参数的人脸识别方法
Yang et al. Triple-GAN with variable fractional order gradient descent method and mish activation function
CN111310807B (zh) 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN115601578A (zh) 基于自步学习与视图赋权的多视图聚类方法及系统
An Xception network for weather image recognition based on transfer learning
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN111178174B (zh) 基于深度卷积神经网络的尿液有形成分图像识别方法
CN113112397A (zh) 一种基于风格与内容解耦的图像风格迁移方法
TW202232431A (zh) 神經網路之自適應調節批量大小的訓練方法
Zhao et al. An efficient and flexible automatic search algorithm for convolution network architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant