CN113052261B - 一种基于余弦空间优化的图像分类损失函数的设计方法 - Google Patents
一种基于余弦空间优化的图像分类损失函数的设计方法 Download PDFInfo
- Publication number
- CN113052261B CN113052261B CN202110434753.3A CN202110434753A CN113052261B CN 113052261 B CN113052261 B CN 113052261B CN 202110434753 A CN202110434753 A CN 202110434753A CN 113052261 B CN113052261 B CN 113052261B
- Authority
- CN
- China
- Prior art keywords
- loss function
- class
- loss
- intra
- expressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000013461 design Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 115
- 238000013136 deep learning model Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 6
- 239000000654 additive Substances 0.000 abstract 1
- 230000000996 additive effect Effects 0.000 abstract 1
- 230000001276 controlling effect Effects 0.000 abstract 1
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000007635 classification algorithm Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于余弦空间优化的图像分类损失函数的设计方法,该方法基于常用的Additive Margin Softmax优化,提出了一种可以对图像分类的类内距离与类间距离同时进行主动调控的损失函数。该方法在模型训练的前半阶段采用了AM‑Softmax损失函数,拉开类间距离,在训练后半阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。
Description
技术领域
本发明涉及计算机视觉与人工智能领域,特别是涉及一种基于余弦空间优化的图像分类损失函数的设计方法。
背景技术
目标分类算法是计算机视觉中基础且重要的研究领域,目前的目标分类算法领域随着深度学习技术的发展,已经可以解决绝大部分的简单分类问题,即AlexNet之后涌现了一系列CNN模型如ResNet、GoogleNet、EfficientNet,不断刷新在ImageNet数据集上的成绩,随着采用更加复杂的网络结构与引入深度残差连接,目前最优的图像分类算法在ImageNet数据集上的Top-1精度已经达到了84.4%,然而这些算法模型通常具有巨大的参数量与计算复杂度。对于需要部署算法的边缘移动场景,由于内存受限,计算力受限的问题,难以使用大型网络,因此轻智能网络的需求逐渐增加。为了提高轻量级图象分类算法的精度,在不增加模型复杂度与数据量的情况下,优化损失函数可以有效提升网络的精度,是解决轻量级图像分类网络精度较低的有效方案。
常用于图像分类领域的损失函数为sigmoid交叉熵损失函数与softmax交叉熵损失函数,其监督能力较为有限,只能在欧式空间中将差异较大物体的分类结果拉开,对于相似度较大的类别,分类能力较弱,因此引入在人脸识别领域中的损失函数,并针对图像分类做进一步优化,以达到图像分类更好的效果,具有较大的实用价值。
发明内容
有鉴于此,本发明的目的在于提供一种基于余弦空间优化的图像分类损失函数的设计方法,通过该方法设计的损失函数能够在不增加网络参数量与训练数据量的前提下,提高分类算法的精度,适用于轻智能网络。
为了实现上述目的,本发明采用如下技术方案:
一种基于余弦空间优化的图像分类损失函数的设计方法,包括如下步骤:
步骤S1、获取数据集,设定超参数并初始化深度学习模型;
步骤S2、对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心,并累计更新所述类内中心;
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
步骤S23、判断当前迭代批次是否达到预先设定的批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型。
进一步的,在所述步骤S1中,所述超参数包括:加权系数α、加权系数β、加权系数γ和紧致系数ε,并且满足:γ>α>β;
所述超参数还包括所述步骤23中的批次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次。
进一步的,所述第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy (1)
公式(1)中,α和γ表示为加权系数,Loss1表示为所述类间损失函数;Losscross-entropy表示为所述交叉熵损失函数。
进一步的,所述类间损失函数的表达式为:
公式(2)中,n表示为一个批次内样本数量,s表示为缩放系数,m表示为不同类别的决策边界在余弦空间内的距离,表示为i样本在其对应类别yi上的投影,C表示为总类别数,cosθj表示i样本在其他类别j上的投影。
进一步的,所述第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy (3)
公式(3)中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为所述类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
进一步的,所述类内损失函数的表达式为:
公式(4)中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
本发明的有益效果是:
本发明在模型训练的前半阶段采用了AM-Softmax损失函数,拉开类间距离,在训练后半阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。
附图说明
图1为本发明提供的一种基于余弦空间优化的图像分类损失函数的设计方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实施提供一种基于余弦空间优化的图像分类损失函数,该损失函数由三部分组成,具体表达式如下式所示:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy
式中α为类间损失函数的加权系数,β为类内损失函数的加权系数,γ为交叉熵损失函数的加权系数,采用γ>α>β的比例;Loss1表示为类间损失函数,Losscross-entropy表示为交叉熵损失函数,Loss2表示为类内损失函数;
其中β参数为随训练epoch数动态变化的加权系数,在模型损失波动较大,未稳定收敛时,给予其较小值;当模型效果稳定,在较高精度上来回波动时,再使用较大的β值,即使用较大的类内损失函数进一步优化网络,保证了在模型训练的前期,类内中心不稳定时,类内损失函数不影响网络的收敛。
具体的说,在本实施例中,上述Truc(x)函数的表达式为:
该函数主要用来限制类内损失函数对于整体损失函数的影响,通过超参数ε来控制类内损失函数的紧致,减少因为类内损失函数过于紧致而导致的模型过拟合问题,从而能有效的提升模型的泛化能力,降低其对于训练集图片的过拟合,增加算法模型的鲁棒性。
具体的说,在本实施例中,上述Losscross-entropy为常用的交叉熵损失函数,为计算损失的主体函数。
具体的说,在本实施例中,上述Loss1为类间损失函数,即AM-Softmax函数,其表达式为:
式中,n为一个批次内样本数量,超参s为缩放系数,超参m为不同类别的决策边界在余弦空间内的距离,为i样本在其对应类别yi上的投影,C为总类别数。该损失函数作为辅助监督,引导不同类别样本的决策边界在余弦空间中尽量分开,有效的提升分类精度。
具体的说,在本实施例中,上述类内损失函数Loss2则主要用来主动约束同一类别的物体的特征在余弦空间内的分布,相较于原AM-Softmax损失函数,能更有效的帮助同一类别物体的特征有效分布在该类别的决策边界内,使得网络模型进一步收敛。
更具体的说,在本实施例中,上述类内损失函数Loss2的表达式为:
式中,Cb为一个批次内类别数量,ni为一个批次内第i个类别的样本数量,为第i个类别中第j个样本在其对应类别i上的投影,ci为第i个类别的类内中心。
需要说明的是,在本实施中所采用的类内损失函数,要求网络在训练过程中,不断随训练批次更新余弦空间内的类内中心ci,即由前一个epoch的所有训练样本累计迭代得到。
该实例通过调整损失函数中β系数可以动态的改变类内损失在模型训练过程中的影响,在具体的实用任务中可以使用超参搜索寻找合适的动态变化系数β来适配不同任务。实施例2
本实施例提供一种基于余弦空间优化的图像分类损失函数的设计方法,包括如下步骤:
步骤S1、获取数据集,设定超参数,并初始化深度学习模型;
具体的说,在本实施例中,上述超参数包括:加权系数α、加权系数β、加权系数γ、紧致系数ε和迭代训练的批次数N,并且满足:γ>α>β。
步骤S2、将获取到的数据集,输入初始化后深度学习模型中,对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心ci,并累计更新所述类内中心ci;
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
具体的说,上述类间损失函数,即AM-Softmax函数,其表达式为:
式中,n为一个批次内样本数量,超参s为缩放系数,超参m为不同类别的决策边界在余弦空间内的距离,为i样本在其对应类别yi上的投影,C为总类别数。该损失函数作为辅助监督,引导不同类别样本的决策边界在余弦空间中尽量分开,有效的提升分类精度,cosθj表示i样本在其他类别j上的投影。
步骤S23、判断当前迭代批次是否达到预先设定的次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次,次数N也即是步骤S1中确定的迭代训练批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
具体的说,在本实施例中,第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy
公式中,α和γ表示为加权系数,Loss1表示为上述类间损失函数;Losscross-entropy表示为上述交叉熵损失函数。
类内损失函数的表达式为:
公式中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy
公式中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型。
需要说明的是,本实施例中所采用的类内损失函数Loss2,要求网络在训练过程中,不断随训练批次更新余弦空间内的类内中心ci,即由前一个epoch的所有训练样本累计迭代得到。仅当下一个epoch大于N时,即β>0时,使用其作为其计算Loss2的类内中心。
综上,本发明提出的一种基于余弦空间优化的图像分类损失函数的设计方法,包含了两个阶段,使用超参数N∈(0,Epochend)进行隔断,式中Epichend代表最后一个训练批次。其中第一个阶段使用交叉熵损失函数Losscross-entropy与类间损失函数Loss1计算损失,当训练批次超过N时,进入第二个阶段,增加类内损失函数Loss2。
在第一阶段仅采用了AM-Softmax与Cross-Entropy损失函数,拉开类间距离,在第二阶段加入可以随训练批次动态调节的类内中心,进一步紧致同一类别物体的特征向量,同时拉开不同类别物体特征向量间的余弦距离,能够使得模型更快收敛,既能够充分的区分相似类别,也能进一步提高模型性能。
通过以上两个实施案例可以看到,动态的组合本发明所提出的类内损失函数与常用的类间损失函数,均可得到可用的实施方案,帮助分类任务在较高精度下获得进一步的效果提升。
本发明未详述之处,均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (5)
1.一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,包括如下步骤:
步骤S1、获取数据集,设定超参数并初始化深度学习模型;
步骤S2、对所述深度学习模型进行多批次的迭代训练,且在每个迭代批次中依次执行步骤S21-步骤S23;
步骤S21、根据所述深度学习模型在前向传播过程中得到的特征向量,计算当前迭代批次内每一类别物体的类内中心,并累计更新所述类内中心;
步骤S22、计算当前迭代批次的交叉熵损失函数值和类间损失函数值;
步骤S23、判断当前迭代批次是否达到预先设定的批次数N;
若未达到,则计算当前迭代批次的第一总损失函数,并将所述第一总损失函数进行梯度反向传播,更新模型参数,回到步骤S2进行新一轮的训练;第一总损失函数由类间损失函数AM-Softmax函数与交叉熵损失函数Cross-Entropy组成;
若达到,则计算当前迭代批次的类内损失函数值,并且结合所述第一总损失函数和所述类内损失函数值,计算第二总损失函数值,并将所述第二总损失函数值进行梯度反向传播,更新模型参数,进入步骤S3;
步骤S3、判断所述深度学习模型是否收敛,
若未收敛,则回到步骤S2重新进行迭代训练,直到模型收敛;
若收敛,则输出模型;
所述第二总损失函数的表达式为:
Loss=αLoss1+β·Truc(Loss2-ε)+γLosscross-entropy (3)
公式(3)中,α、β和γ均表示为加权系数,Loss1表示为所述类间损失函数,Losscross-entropy表示为所述交叉熵损失函数,Loss2表示为所述类内损失函数,ε为余弦空间中确定类别的紧致系数,Truc(x)表示为分段函数,其表达式为:
2.根据权利要求1所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,在所述步骤S1中,所述超参数包括:加权系数α、加权系数β、加权系数γ和紧致系数ε,并且满足:γ>α>β;
所述超参数还包括所述步骤S23中的批次数N,所述N∈(0,Epochend),公式中Epochend代表最后一个训练批次。
3.根据权利要求2所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述第一总损失函数的表达式为:
Loss=αLoss1+γLosscross-entropy (1)
公式(1)中,α和γ表示为加权系数,Loss1表示为所述类间损失函数;Losscross-entropy表示为所述交叉熵损失函数。
4.根据权利要求3所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述类间损失函数的表达式为:
公式(2)中,n表示为一个批次内样本数量,s表示为缩放系数,m表示为不同类别的决策边界在余弦空间内的距离,cosθyi表示为i样本在其对应类别yi上的投影,C表示为总类别数,cosθj表示i样本在其他类别j上的投影。
5.根据权利要求4所述的一种基于余弦空间优化的图像分类损失函数的设计方法,其特征在于,所述类内损失函数的表达式为:
公式(4)中,Cb表示为一个批次内类别数量,ni表示为一个批次内第i个类别的样本数量,表示为第i个类别中第j个样本在其对应类别i上的投影,ci表示为所述类内中心。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110434753.3A CN113052261B (zh) | 2021-04-22 | 2021-04-22 | 一种基于余弦空间优化的图像分类损失函数的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110434753.3A CN113052261B (zh) | 2021-04-22 | 2021-04-22 | 一种基于余弦空间优化的图像分类损失函数的设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113052261A CN113052261A (zh) | 2021-06-29 |
CN113052261B true CN113052261B (zh) | 2024-05-31 |
Family
ID=76520142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110434753.3A Active CN113052261B (zh) | 2021-04-22 | 2021-04-22 | 一种基于余弦空间优化的图像分类损失函数的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052261B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705647B (zh) * | 2021-08-19 | 2023-04-28 | 电子科技大学 | 一种基于动态间隔的双重语义特征提取方法 |
CN113763501B (zh) * | 2021-09-08 | 2024-02-27 | 上海壁仞智能科技有限公司 | 图像重建模型的迭代方法和图像重建方法 |
CN116310648B (zh) * | 2023-03-23 | 2023-12-12 | 北京的卢铭视科技有限公司 | 模型训练方法、人脸识别方法、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903774A (zh) * | 2019-04-12 | 2019-06-18 | 南京大学 | 一种基于角度间隔损失函数的声纹识别方法 |
CN110222841A (zh) * | 2019-06-17 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 基于间距损失函数的神经网络训练方法和装置 |
CN112613552A (zh) * | 2020-12-18 | 2021-04-06 | 北京工业大学 | 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法 |
-
2021
- 2021-04-22 CN CN202110434753.3A patent/CN113052261B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903774A (zh) * | 2019-04-12 | 2019-06-18 | 南京大学 | 一种基于角度间隔损失函数的声纹识别方法 |
CN110222841A (zh) * | 2019-06-17 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 基于间距损失函数的神经网络训练方法和装置 |
CN112613552A (zh) * | 2020-12-18 | 2021-04-06 | 北京工业大学 | 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法 |
Non-Patent Citations (2)
Title |
---|
Circle Loss: A Unified Perspective of Pair Similarity Optimization;Sun Yifan 等;《Arxiv》;20200615;第1-10页 * |
CS-Softmax:一种基于余弦相似性的Softmax损失函数;张强 等;《计算机研究与发展》;20210416;第59卷(第4期);第936-949页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113052261A (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052261B (zh) | 一种基于余弦空间优化的图像分类损失函数的设计方法 | |
Li et al. | An improved ResNet based on the adjustable shortcut connections | |
CN111079781B (zh) | 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法 | |
Tang et al. | Automatic sparse connectivity learning for neural networks | |
CN111062382A (zh) | 用于目标检测网络的通道剪枝方法 | |
CN108985457B (zh) | 一种受优化算法启发的深度神经网络结构设计方法 | |
CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
Meng et al. | Constrained discriminative projection learning for image classification | |
Liu et al. | EACP: An effective automatic channel pruning for neural networks | |
CN113837376A (zh) | 基于动态编码卷积核融合的神经网络剪枝方法 | |
CN115631393A (zh) | 基于特征金字塔与知识引导的知识蒸馏的图像处理方法 | |
CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
Yang et al. | Learning to generalize provably in learning to optimize | |
Luo et al. | Adjustable memory-efficient image super-resolution via individual kernel sparsity | |
Torkamani et al. | Learning compact neural networks using ordinary differential equations as activation functions | |
CN110288002A (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
CN115795355A (zh) | 一种分类模型训练方法、装置及设备 | |
CN112598065B (zh) | 一种基于记忆的门控卷积神经网络语义处理系统及方法 | |
Xia et al. | Refining pseudo labels for unsupervised domain adaptive person re-identification | |
CN110472653B (zh) | 一种基于最大化区域互信息的语义分割方法 | |
Hao et al. | Quantized prompt for efficient generalization of vision-language models | |
Kung | XNAS: a regressive/progressive NAS for deep learning | |
CN118381032B (zh) | 基于图神经网络的配电网电压多阶段控制方法及相关设备 | |
CN118151524B (zh) | 一种基于改进非垄断搜索算法的位置式pid优化方法 | |
CN118053045B (zh) | 一种图片风格分类方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |