CN111626340A - 一种分类方法、装置、终端及计算机存储介质 - Google Patents
一种分类方法、装置、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN111626340A CN111626340A CN202010394666.5A CN202010394666A CN111626340A CN 111626340 A CN111626340 A CN 111626340A CN 202010394666 A CN202010394666 A CN 202010394666A CN 111626340 A CN111626340 A CN 111626340A
- Authority
- CN
- China
- Prior art keywords
- target
- constant
- image
- weight
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000013598 vector Substances 0.000 claims abstract description 85
- 230000006870 function Effects 0.000 claims description 137
- 238000012549 training Methods 0.000 claims description 96
- 238000009826 distribution Methods 0.000 claims description 70
- 230000015654 memory Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 8
- 238000007635 classification algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种分类方法,该方法包括:获得待分类的图像集合中每一待分类图像的特征向量;确定目标分类器,采用所述目标分类器对所述每一待分类图像进行分类,得到所述每一待分类图像的分类结果;其中,所述目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;在所述分类结果中,与所述目标权重对应的所述待分类的图像集合中相同类别的目标角度小于或等于所述第一常量,所述相同类别的目标角度对应的余弦距离小于或等于所述第二常量。本申请实施例同时还公开了一种分类装置、终端及计算机存储介质。
Description
技术领域
本申请涉及电子与信息技术领域,尤其是涉及一种分类方法、装置、终端及计算机存储介质。
背景技术
细粒度分类是分类的一个分支,由于其类别都属于同一个大的类别,比如不同品种的狗都属于狗这一个大类,所以其类别的差异性比较小,从而导致细粒度分类的准确度不高。因此,如何提升细粒度分类的准确度,是技术人员一直需要研究的问题。
发明内容
本申请实施例提供一种分类方法、装置、终端及计算机存储介质。
本申请实施例的技术方案是这样实现的:
一种分类方法,包括:
获得待分类的图像集合中每一待分类图像的特征向量;
确定目标分类器,采用所述目标分类器对所述每一待分类图像进行分类,得到所述每一待分类图像的分类结果;
其中,所述目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;在所述分类结果中,与所述目标权重对应的所述待分类的图像集合中相同类别的目标角度小于或等于所述第一常量,所述相同类别的目标角度对应的余弦距离小于或等于所述第二常量。
一种分类装置,包括:
获得模块,用于获得待分类的图像集合中每一待分类图像的特征向量;
确定模块,用于确定目标分类器;其中,所述目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;
分类模块,用于采用所述目标分类器对所述每一待分类图像进行分类,得到所述每一待分类图像的分类结果;在所述分类结果中,与所述目标权重对应的所述待分类的图像集合中相同类别的目标角度小于或等于所述第一常量,所述相同类别的目标角度对应的余弦距离小于或等于所述第二常量。
一种终端,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现上述的分类方法的步骤。
一种计算机存储介质,该计算机存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述的分类方法的步骤。
本申请实施例所提供的分类方法、装置、终端及计算机存储介质,获得待分类的图像集合中每一待分类图像的特征向量;确定目标分类器,采用目标分类器对每一待分类图像进行分类,得到每一待分类图像的分类结果;其中,目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;在分类结果中,与目标权重对应的待分类的图像集合中相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量。如此,由于分类器中包括用于限制类内角度的第一常量和用于限制类内余弦距离的第二常量,从而在对待分类的图像集合进行分类后得到的分类结果中,相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量,从而能够不仅在角度空间上减小类内间距,而且还能够在余弦空间上减小目标角度对应的余弦距离,因此能够增大类间距离,减小类内的距离,进而能够提高分类的准确度。
附图说明
图1为本申请实施例提供的一种分类方法的流程示意图;
图2为本申请实施例提供的另一种分类方法的流程示意图;
图3为本申请实施例提供的又一种分类方法的流程示意图;
图4为softmax交叉熵损失函数和本申请实施例的目标损失函数的类内角度和类间角度的示意图;
图5为本申请实施例提供的一种训练权重参数的流程示意图;
图6为本申请实施例提供的一种分类装置的结构示意图;
图7为本申请实施例提供的一种终端的硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。
细粒度分类是分类的一个分支,由于分类的类别都属于同一个大的类别,比如不同品种的狗都属于狗这一个大类,所以其类别直接的差异性比较小,但是存在背景和外形的多样性等导致类别之间仍然有很多的差异性。
目前的细粒度分类方法大致可以分为以下几个分支:基于现有分类网络的微调、基于细粒度特征学习的方法、基于目标块的检测与分类结合的方法以及基于视觉注意力机制的方法。基于现有分类网络微调的方法通常使用现有的分类网络(如:MobileNet,Xception等)在ImageNet上面进行初步训练得到一个训练好的分类模型,然后继续在细粒度的数据集上进行微调,使得模型能够更适用于区分子类别。基于细粒度特征学习的方法需要两个之网络获取的信息结合,一个网络用来获取目标的位置信息,一个网络用于提取目标的抽象特征表达。基于目标检测与分类结合的细粒度分类方法借鉴了目标检测的思想,先通过目标检测模块将图像的目标区域框出来,然后基于目标区域进行细粒度分类,分类算法可以是传统的支持向量机(Support Vector Machines,SVM)分类器或者通用的分类网络。基于注意力机制的细粒度分类算法相比于通用的分类算法添加了注意力机制使得模型更加关注目标位置的信息表达。
然而,上述现有技术方案主要集中通用分类算法的基础上进行改进的,目前分类算法最常用的损失函数为softmax交叉熵损失函数,而softmax交叉熵损失函数对于细粒度分类的类间区分度不高,存在以下缺点:1)类间特征之间的距离较近,容易造成类间误分问题。2)类内特征不够聚拢,导致多个类别之间的特征分布存在交叠,同样会造成类间误分。3)在基于目标块的检测与分类结合的方法中,由于添加检测模块的算法会引入复杂的运算,增加计算成本造成更多的时延。
通常分类算法采用的是基于softmax的方法,基于softmax的方法中的损失函数为softmax交叉熵损失函数,softmax交叉熵损失函数的表达式如公式(1)所示:
其中,Lsoftmax表示的是softmax交叉熵损失函数;N表示的是训练图像集合中训练图像的数量;xi表示的是第i个图像基于分类网络提取的抽象特征向量;yi表示的是第i个图像的类别;W和b分别表示的是用于神经网络提取特征的分类层权重矩阵和偏置;Wj表示分类层权重中第j列(即j类)权重,bj表示的是第j列的偏执项;C表示的是训练图像集合的真实类别的数量。在softmax交叉熵损失函数中,一个图像的特征向量与权重向量之间的夹角可以为A。
本申请实施例中分类方法可以应用于终端中,终端可以为任一具有数据处理能力的设备,例如服务器、手机、平板电脑、笔记本电脑、增强现实(Augmented Reality,AR)设备、虚拟现实(Virtual Reality,VR)设备、掌上电脑、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、可穿戴设备、智能手环、计步器、数字TV或者台式计算机等,可穿戴设备包括智能手表、智能眼镜、智能头盔、智能戒指、智能项链或智能头带等。
为了解决类间特征之间的间隔较近且类内特征不聚拢的问题,本技术方案可以在通用分类算法的基础上结合引入基于角度度量的神经网络的分类方法,而采用基于角度度量的神经网络的分类方法,得到的目标分类器在对待分类的图像集合进行分类时,能够进一步提升细粒度分类的效果,同时没有引入检测网络使得计算量较小。
在介绍本方案的分类方法之前,首先对文中出现的神经网络的结构做出解释:神经网络可以是卷积神经网络(Convolutional Neural Networks,CNN),一般情况下,神经网络可以分为三层,第一部分是输入层;第二部分由多个卷积层和池化层的组合组成;第三部分由一个全连接的多层感知机分类器构成。输入层用于获得输入至神经网络的数据,卷积层和池化层用于对数据进行卷积和池化运算,从而提取数据的特征,第三部分中的分类器可以为本申请的基于softmax的变形得到的分类器,基于softmax的变形得到的分类器可以是与本申请实施例中分类方法对应的分类器,从而通过本申请提供的目标分类器对待分类的图像集合进行分类。目标分类器通过目标概率获得函数和交叉熵损失函数确定,通过目标概率获得函数可以获得待分类图像在不同类别的概率分布,目标概率获得函数可以是将目标权重代入至概率获得函数中得到。在对权重进行训练时,可以在概率获得函数后增加一个交叉熵损失函数,通过交叉熵损失函数来判断真实概率分布与预测概率分布之间的接近程度。
值得注意的是,本申请实施例中的目标损失函数,在未做特殊说明的情况下,指的是基于角度度量的损失函数,基于角度度量的损失函数是将softmax交叉熵损失函数中的转换成||W*j|| ||xi||cos(θj,i)的形式,并通过其它变换得到的,换句话说,本申请实施例中的目标损失函数是基于softmax交叉熵损失函数演化得到的。
本申请实施例提供一种分类方法,应用于终端,如图1所示,该方法包括以下步骤:
S101、获得待分类的图像集合中每一待分类图像的特征向量。
在实施的过程中,终端可以先得到待分类的图像集合,待分类的图像集合中可以包括多个待分类的图像,终端可以将多个待分类的图像中的每一待分类的图像依次输入至输入层、卷积层、激活层、池化层以及全连接层,从而得到每一待分类图像的特征向量,即每一待分类图像的特征向量是从全连接层之后输出的向量。关于输入层、卷积层、激活层、池化层以及全连接层的详细说明,本领域技术人员可以参阅相关技术中的描述,本申请对此不作详细描述。
在一种实施场景中,终端为AR设备时,AR设备可以不断地获得每一待分类图像的特征向量,例如,AR设备可以每隔预设时长获得一张在当前视野下的图像,预设时长可以是0.1至10秒之间,例如,预设时长可以为0.1秒、1秒或10秒。在另一种实施场景中,终端可以一次性地得到待分类的图像集合,从而对获得到的多个待分类图像进行分类。
S103、确定目标分类器,采用目标分类器对每一待分类图像进行分类,得到每一待分类图像的分类结果。
其中,目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量。
在分类结果中,与目标权重对应的待分类的图像集合中相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量。
本申请实施例中的目标分类器可以命名为XX-softmax分类器,XX为任一字母或至少两个子母的组合,XX-softmax分类器可以理解为基于softmax分类器演化的分类器。目标分类器可以是基于用于确定每一待分类图像的概率分布的目标概率获得函数而确定的,目标概率获得函数中包括目标权重、第一常量以及第二常量。
终端可以将第i个待分类的图像的特征向量输入至目标分类器,从而得到第i个待分类的图像在每一个类别上的概率,并确定最大概率所对应的类别为第i个待分类的图像的预测类别,如此,终端可以实现对待分类的图像集合的每一个图像进行分类。例如,终端得到的第i个待分类的图像在类别哈士奇上的概率是0.3,在类别牧羊犬上的概率为0.1,在类别吉娃娃上的概率为0.6,那么终端可以确定第i个待分类的图像的类别是吉娃娃。
在一种可行的实施方式中,终端可以利用通过具有目标权重的神经网络得到的待分类的图像集合的类别,对目标权重再进行更新,如此,终端每进行一次分类结果,就可以利用该分类结果对神经网络的权重进行更新,从而使得神经网络的权重越来越准确。
在本申请实施例中,由于分类器中包括用于限制类内角度的第一常量和用于限制类内余弦距离的第二常量,从而在对待分类的图像集合进行分类后得到的分类结果中,相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量,从而能够不仅在角度空间上减小类内间距,而且还能够在余弦空间上减小目标角度对应的余弦距离,因此能够增大类间距离,减小类内的距离,进而能够提高分类的准确度。
基于前述实施例,本申请实施例提供另一种分类方法,应用于终端,如图2所示,该方法包括以下步骤:
S201、获得待分类的图像集合中每一待分类图像的特征向量。
S203、确定目标权重和概率获得函数,将目标权重代入概率获得函数,得到目标概率获得函数。
概率获得函数包括权重参数、第一常量以及第二常量。
目标概率获得函数用于确定每一待分类图像的概率分布,包括目标权重、第一常量以及第二常量。第一常量可以用于在角度空间上限制相同类别的角度,第二常量可以用于在余弦空间上限制相同类别的余弦距离。
图3为本申请实施例提供的又一种分类方法的流程示意图,在图3的实施方式中,S203可以通过以下S2031至S2037的步骤实现:
S2031、获得训练图像集合中每一训练图像的特征向量。
在实施时,终端可以先得到训练图像集合,训练图像集合可以包括多个训练图像,多个训练图像中每一训练图像具有与该训练图像对应的真实类别;终端接着可以将训练图像集合输入至神经网络中,训练图像集合经过神经网络中的输入层、卷积层、激活层、池化层以及全连接层之后,终端可以得到每一训练图像的特征向量,第i个图像的特征向量可以对应于上述的第i个图像基于分类网络提取的抽象特征向量。
S2033、基于概率获得函数和设定的交叉熵损失函数,确定目标损失函数。
概率获得函数可以用于获得待分类图像或者训练图像在各个类别下的概率。在一种实施方式中,如果目标分类器的命名为XX-softmax分类器,则概率获得函数可以命名为XX-softmax函数。
目标损失函数中包括权重参数、第一常量以及第二常量。目标损失函数可以为将概率获得函数,代入至交叉熵损失函数中得到的函数。
在一种实施方式中,交叉熵损失函数的表达式为:H(p,q)=-∑xp(x)log q(x),其中,H(p,q)为交叉熵损失函数,p(x)为期望概率分布或真实概率分布,q(x)为预测概率分布。预测概率分布q(x)相当于本申请中的概率获得函数。交叉熵损失函数还有其他的表达形式,对此不作限制。
应理解,在softmax交叉熵损失函数中,并未增加用于限制类内角度的参数,因此通过softmax交叉熵损失函数得到的分类结果中,在角度空间,相同类别所占据的角度大,不同类别之间的间隔不明显。而由于本方案中增加了第一常量和第二常量,不仅在角度空间上,对类内角度做出了限制,还在余弦空间上,对类内角度做出了限制,从而通过本申请的目标损失函数得到的分类结果中,在角度空间,相同类别之间的角度是通过第一常量和第二常量限定的,每一个类别所占据角度小,不同类别之间的间隔明显。
在本申请实施方式中,由于概率获得函数中包括第一常量和第二常量,基于概率获得函数得到的目标损失函数中也包括第一常量和第二常量,第一常量和第二常量可以均设置在用于训练第i个训练图像分类至第i个真实类别的指数项中。值得注意的是,在基于角度度量的神经网络的目标损失函数中,目标损失函数具有两种类型的指数项,第一类为用于训练第i个训练图像分类至第i个真实类别的指数项,第二类为用于训练第i个图像分类至第j个真实类别的指数项,而本申请实施例中通过对第一类指数项添加了第一常量和第二常量,使得第一类指数项的形式为cos(θ+m2)-m3的形式,从而通过第一常量和第二常量的作用,在迭代的过程中,相同类别的角度逐渐靠近第一常量,相同类别的余弦距离逐渐靠近第二常量,实现类内间距逐渐减小,类间间距逐渐增大的目的。
在一种实施方式中,目标损失函数的表达式为公式(2):
其中,在公式(2)中,L为目标损失函数;N为训练图像集合中训练图像的数量;s为用于调整神经网络的权重的收敛程度的参数;θyi,i为训练图像集合中第i个图像的特征向量与第i个图像的真实类别的权重向量的夹角;m2为第一常量;m3为第二常量;C为训练图像集合的真实类别的数量;θj,i为第i个图像的特征向量与第j个真实类别的权重向量的夹角;第i个图像的真实类别与第j个真实类别不同;权重包括第i个图像的真实类别的权重向量和C-1个第j个真实类别的权重向量;第i个图像的特征向量为第i个图像依次输入至神经网络的输入层、卷积层、激活层、池化层以及全连接层后得到的特征向量。
在另一种实施方式中,概率获得函数中还包括用于限制类内角度的第三常量。第三常量用于将相同类别的初始角度缩小至目标角度;目标角度为初始角度除以第三常量得到的角度。例如,终端每得到一个相同类别的初始角度,就可以将该相同类别的初始角度缩小至目标角度。在一种实施方式中,第三常量可以大于1,且在第三常量大于1的情况下,通过第三常量的作用,使得相同类别的初始角度能够进一步缩小。初始角度可以为在公式(2)中相同类别的角度。
在一种实施方式中,目标损失函数的表达式为公式(3):
其中,在公式(3)中,L为目标损失函数;N为训练图像集合中训练图像的数量;s为用于调整神经网络的权重的收敛程度的参数;m1为第三常量;为训练图像集合中第i个图像的特征向量与第i个图像的真实类别的权重向量的夹角;m2为第一常量;m3为第二常量;C为训练图像集合的真实类别的数量;θj,i为第i个图像的特征向量与第j个真实类别的权重向量的夹角;第i个图像的真实类别与第j个真实类别不同;权重包括第i个图像的真实类别的权重向量和C-1个第j个真实类别的权重向量;第i个图像的特征向量为第i个图像依次输入至神经网络的输入层、卷积层、激活层、池化层以及全连接层后得到的特征向量。
在一种实施方式中,在公式(3)中,m1可以为大于或等于1的实数。在公式(2)或(3)中,m2、m3或s的取值可以为大于0的实数。s、m1、m2以及m3的取值情况,可以基于训练图像集合的类别不同而调整,例如,对狗的分类或者对人脸的分类等。在一种可行的实施方式中,m1的取值范围可以是1~1.5,例如,1、1.2或者1.5,m2的取值范围可以是0.1~0.5,例如0.1、0.3或0.5,m3的取值范围可以为0.1~0.3,例如0.1、0.2或0.3,s的取值范围可以为0.1~1,例如0.1、0.5或1。能够理解的是,公式(2)可通过将公式(3)中的m1设置为1而得到。
在一种实施方式中,公式(2)或(3)中的可以是通过以下方式得到:对第i个图像的真实类别的权重向量进行归一化,得到第一单位向量;对第i个图像的特征向量进行归一化,得到第二单位向量;获得第一单位向量与第二单位向量之间的第一内积,并计算第一内积的反余弦值得到
公式(2)或(3)中的θj,i可以是通过以下方式得到:对第j个真实类别的权重向量进行归一化,得到第三单位向量;对第i个图像的特征向量进行归一化,得到第二单位向量;获得第三单位向量与第二单位向量之间的第二内积,并计算第二内积的反余弦值得到θj,i。
S2035、将权重参数设定为初始权重,将初始权重和每一训练图像的特征向量代入目标损失函数,采用目标损失函数,训练权重参数,得到目标权重。
终端可以获得目标损失函数相对于权重的偏导,从而获得与目标损失函数对应的下降梯度,进而可以基于梯度下降法迭代初始权重。在迭代神经网络的初始权重过程中,每迭代一次,就会产生一个针对训练图像集合的分类结果,随着每一次迭代的进行,分类结果越来越靠近真实的分类结果。目标权重可以用于对待分类的图像进行分类。
在本申请实施例中,利用第一常量使同类的训练图像之间的角度不断减小,异类之间的角度不断增大,利用第二常量使同类的训练图像之间的角度的余弦不断增大,异类之间的角度的余弦不断减小,由于角度和角度的余弦成反比关系,因此,类内余弦的不断增大可以表示类内的角度不断的减小,类间角度的余弦不断减小可以表示为类间的角度不断的增大。
在迭代过程中,需要使类内角度越来越小,最好能够使类内角度越来越接近于零,基于此出发,由于目标损失函数中具有第一常量m2和第二常量m3,从而,在训练权重参数,得到目标权重的过程中:与每次训练后的权重参数对应的训练图像集合的相同类别的目标角度逐渐靠近第一常量,相同类别的目标角度对应的余弦距离逐渐靠近第二常量。其中,在相同类别的角度逐渐靠近第一常量的过程中,相邻两个类别的角度逐渐远离第一常量;在相同类别的余弦距离逐渐靠近第二常量的过程中,相邻类别的余弦距离逐渐远离第二常量。其中,余弦距离就是用1减去获得的余弦相似度。余弦相似度是通过计算两个向量的夹角余弦值来评估他们的相似度。
相邻两个类别的角度可以是:第i个类别的图像所占的角度和第j个类别的图像所占的角度之间的角度间隔,角度间隔可以是最小的角度间隔;其中,第i个类别所占的角度和第j个类别所占的角度在一平面上且无交叉。第i个类别的角度可以通过以下方式获得:获得第i个类别中每一个图像的特征向量与迭代后的第i个类别对应的权重向量的第一角度,将第一角度减去通过第一常量限制的角度,并减去通过第二常量限制的角度;第j个类别的角度可以通过以下方式获得:获得第j个类别中每一个图像的特征向量与迭代后的第j个类别对应的权重向量的第二角度,将第二角度减去通过第一常量限制的角度,并减去通过第二常量限制的角度。即本申请实施例对每一个图像的特征向量与权重向量之间的夹角进行了强制性的缩小。在本申请目标损失函数中,一个图像的特征向量与权重向量之间的夹角为A减去通过第一常量限制的角度,并减去通过第二常量限制的角度。
请参阅图4中的(a)和(b),图4中的(a)是二维空间中softmax交叉熵损失函数中的类内角度和类间角度的示意图,图4中的(b)为二维空间中本申请的目标损失函数中类内角度和类间角度的示意图,其中,401和402均为二维平面上的单位圆。无论在softmax交叉熵损失函数中,或者在本申请的目标损失函数中,在得到目标权重后,终端可以获得每一图像的单位向量和目标权重的单位向量之间的角度,最终可以得知第i个类别的图像的特征向量与第i个类别对应的权重向量wi之间的夹角,如果一个图像的特征向量与wi之间越小,表征该图像是第i个类别的概率越大,反之越小。
如图4中的(a)所示,通过获得第i类图像的特征向量与第i类类别对应的权重向量wi之间的夹角,进而可以得到第i类图像的分布角度为α1,通过获得第j类图像的特征向量与第j类类别对应的权重向量wj之间的夹角,进而可以得到第j类图像的分布角度为β1,α1和β1之间的角度间隔为0,也可以说,第i类图像与第j类图像之间的类间角度为0。如图4中的(b)所示,通过获得第i类图像的特征向量与第i类类别对应的权重向量wi之间的夹角,可以得到第i类图像的分布角度为α2,通过获得第j类图像的特征向量与第j类类别对应的权重向量wj之间的夹角,进而可以得到第j类图像的分布角度为β2,α2和β2之间的角度间隔为θ,也可以说,第i类图像与第j类图像之间的类间角度为θ。在迭代的过程中,θ越来越大。
在一种实施方式中,终端可以首先确定训练图像集合中每一训练图像的真实概率分布;接着将初始权重和每一训练图像的特征向量输入至概率获得函数,得到初始权重所对应的预测概率分布;然后基于目标损失函数,确定初始权重所对应的预测概率分布与真实概率分布之间的差距不满足条件;最后再训练权重参数,直到基于目标损失函数,确定训练后的权重参数所对应的预测概率分布与真实概率分布之间的差距满足条件,确定最后得到的训练后的权重参数为目标权重。
在本申请实施例中,基于目标损失函数,确定初始权重所对应的预测概率分布与真实概率分布之间的差距不满足条件,可以包括:基于目标损失函数,计算初始权重所对应的预测概率分布与真实概率分布之间的第一交叉熵,确定第一交叉熵大于或等于目标值;基于目标损失函数,确定训练后的权重参数所对应的预测概率分布与真实概率分布之间的差距满足条件,可以包括:基于目标损失函数,计算训练后的权重参数所对应的预测概率分布与真实概率分布之间的第二交叉熵,确定第二交叉熵小于目标值。其中,交叉熵是信息论中的一个重要概念,用于度量两个概率分布间的差异性。
本申请中的概率获得函数用于接收m维向量,然后把每一维的值转换为(0,1)之间的实数,其中,m维向量可以是一个图像的特征向量,而通过将m维向量转换为(0,1)之间的实数,终端可以确定该图像在每一维的概率。其中m可以等于训练图像集合中的真实类别的数目。终端可以通过获得训练图像集合中每一个图像在每一维的概率,从而得到与初始权重或迭代后的权重对应的训练图像集合的预测概率分布。
S2037、确定概率获得函数,将目标权重代入概率获得函数,得到目标概率获得函数。
S205、基于目标概率获得函数,确定目标分类器,采用目标分类器对每一待分类图像进行分类,得到每一待分类图像的分类结果。
目标概率获得函数用于获得每一个输入至神经网络的图像在每一类别下的概率,目标分类器的作用从每一个类别下的概率,确定出最大概率对应的类别,从而得到该输入至神经网络的图像的类别。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请的实施例中,由于目标损失函数中包括用于限制类内角度的第一常量和用于限制类内余弦距离的第二常量,从而在迭代过程中,相同类别的角度逐渐靠近第一常量,相同类别的余弦距离逐渐靠近第二常量,从而能够增大在类别间距离,减小类内的距离,进而能够通过训练的神经网络提高分类的准确度。从另一方面来说,由于分类是通过本申请实施例提供的目标分类器来进行分类,从而分类结果相对于基于softmax分类器得到的分类结果来说,类内间距更小且类间间距更大,进而在图像分类时,可以避免通过softmax分类器导致的分类的边界模糊不清,两类数据之间存在混淆的情况发生,从而使对图像的分类更准确。
在本申请实施例中,提供了目标损失函数的具体的表达公式,从而可以通过目标损失函数确定每一训练图像的在每一类别上的概率,从而得到训练图像集合的概率密度分布,通过提供的目标损失函数,采用梯度下降法对神经网络的权重不断训练,进而可以得到的越来越靠近真实概率分布的预测概率分布,直到预测概率分布与真实概率分布之前的差异度小于目标值,进而终端可以获得到使类间间距小且类间间距大的神经网络的权重,得到目标权重的方法简单,且得到的目标权重使得分类准确。另外,由于在获得目标权重的过程中并未添加检测模块的算法,不会使分类的算法复杂。
为了系统的说明本申请实施例中训练权重参数的方法的详细步骤,本申请实施例提供以下训练权重参数的实现方式,该方法应用于终端,如图5所示,该方法包括以下步骤:
S501、获得训练图像集合;训练图像集合中包括多个训练图像,每一训练图像具有与其对应的真实概率分布。
S503、确定概率获得函数,概率获得函数包括:权重参数、第三常量m1、第一常量m2以及第二常量m3。
值得注意的是,概率获得函数中的权重参数为未知量。
S505、将训练图像集合输入至神经网络中,经过特征提取得到从全连接层输出的每一训练图像的特征向量。
S507、初始化权重参数。
其中,初始化的权重参数为上述的初始权重,初始权重可以是随机生成的,或者,初始权重可以是预先设定的。
S509、基于训练图像集合和初始化的权重参数,得到预测概率分布。
其中,终端可以将训练图像集合和初始化的权重参数输入至概率获得函数中,从而得到训练图像集合的预测概率分布。
S511、获得交叉熵损失函数,并通过交叉熵损失函数,判断预测概率分布与训练图像的真实概率分布之间的差距是否满足条件。
两个概率分布之间的差距是否满足条件可以包括:计算两个概率分布之间的交叉熵,并判断交叉熵是否小于目标值,如果是,则满足条件,如果否,则不满足条件。
如果差距不满足条件,执行S513,如果差距满足条件,执行S515。
S513、利用目标损失函数,采用梯度下降法训练初始化的权重参数。
每训练一次权重参数W,跳至步骤S509。其中,随着的每次更新,在利用第一常量使同类的训练图像之间的角度不断减小,异类之间的角度不断增大,利用第二常量使同类的训练图像之间的余弦距离不断减小,异类之间的余弦距离不断增大,与迭代后的权重对应的训练图像集合的相同类别的角度逐渐靠近第一常量,相同类别的余弦距离逐渐靠近第二常量。而通过第三常量m1,可以将与迭代后的权重对应的训练图像集合相同类别的初始角度,缩小至目标角度;目标角度为相同类别的初始角度除以第三常量的角度,从而进一步使得类内聚拢,类间区分性大。
S515、训练完成,基于训练完成的权重参数,输出每一训练图像的预测分类结果。
其中,在得到的与训练完成的权重参数所对应的预测分类结果中,与目标权重对应的训练图像集合的相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量。
能够理解地是,在训练完成之后,训练完成的权重参数即为目标权重,可以将目标权重代入至概率获得函数中,得到目标概率获得函数,然后可以基于目标概率获得函数,确定目标分类器。初始权重和目标权重均为已知量。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例中,提供了一种训练权重参数的方法的步骤,通过该方法,得到的分类结果相对于基于softmax交叉熵损失函数得到的分类结果来说,得到的目标权重使类内间距更小且类间间距更大。
基于前述的实施例,本申请实施例提供一种分类装置,该分类装置包括所包括的各单元、以及各单元所包括的各模块,可以通过分类装置中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本申请实施例分类装置的组成结构示意图,如图6所示,分类装置600包括获得模块601、确定模块602以及分类模块603,其中:
获得模块601,用于获得待分类的图像集合中每一待分类图像的特征向量;
确定模块602,用于确定目标分类器;其中,目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;
分类模块603,用于采用目标分类器对每一待分类图像进行分类,得到每一待分类图像的分类结果;在分类结果中,与目标权重对应的待分类的图像集合中相同类别的目标角度小于或等于第一常量,相同类别的目标角度对应的余弦距离小于或等于第二常量。
在一些实施例中,确定模块602,还用于确定所述目标权重和概率获得函数;所述概率获得函数包括权重参数、所述第一常量以及所述第二常量;将所述目标权重代入所述概率获得函数,得到目标概率获得函数;所述目标概率获得函数用于确定所述每一待分类图像的概率分布;基于所述目标概率获得函数,确定所述目标分类器。
在一些实施例中,确定模块602,还用于获得训练图像集合中每一训练图像的特征向量;基于所述概率获得函数和设定的交叉熵损失函数,确定目标损失函数;所述目标损失函数中包括权重参数、所述第一常量以及所述第二常量;将所述权重参数设定为初始权重,将所述初始权重和所述每一训练图像的特征向量代入所述目标损失函数,采用所述目标损失函数,训练所述权重参数,得到所述目标权重;其中,在所述训练所述权重参数,得到所述目标权重的过程中:与每次训练后的权重参数对应的所述训练图像集合的相同类别的目标角度逐渐靠近所述第一常量,所述相同类别的目标角度对应的余弦距离逐渐靠近所述第二常量。
在一些实施例中,确定模块602,还用于确定训练图像集合中每一训练图像的真实概率分布;将初始权重和每一训练图像的特征向量输入至概率获得函数,得到初始权重所对应的预测概率分布;基于目标损失函数,确定初始权重所对应的预测概率分布与真实概率分布之间的差距不满足条件;训练权重参数,直到基于目标损失函数,确定训练后的权重参数所对应的预测概率分布与真实概率分布之间的差距满足条件,确定最后得到的训练后的权重参数为目标权重。
在一些实施例中,基于目标损失函数,确定初始权重所对应的预测概率分布与真实概率分布之间的差距不满足条件,包括:基于目标损失函数,计算初始权重所对应的预测概率分布与真实概率分布之间的第一交叉熵,确定第一交叉熵大于或等于目标值;
基于目标损失函数,确定训练后的权重参数所对应的预测概率分布与真实概率分布之间的差距满足条件,包括:基于目标损失函数,计算训练后的权重参数所对应的预测概率分布与真实概率分布之间的第二交叉熵,确定第二交叉熵小于目标值。
在一些实施例中,分类器还包括用于限制类内角度的第三常量;第三常量为大于1的实数;第三常量用于将相同类别的初始角度缩小至目标角度;目标角度为初始角度除以第三常量得到的角度。
在一些实施例中,获得模块601,还用于获得待分类的图像集合中每一待分类图像;将每一待分类图像依次输入至输入层、卷积层、激活层、池化层以及全连接层,得到每一待分类图像的特征向量。
以上分类装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请分类装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的分类方法,并作为独立的产品销售或使用时,也可以存储在一个计算机存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台分类装置(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
需要说明的是,图7为本申请实施例提供的一种终端的硬件实体示意图,如图7所示,该终端700的硬件实体包括:处理器701和存储器702,其中:
存储器702存储有可在处理器上运行的计算机程序,存储器702配置为存储由处理器701可执行的指令和应用,还可以缓存待处理器701以及终端700中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器701执行程序时实现上述任一项的分类方法的步骤。处理器701通常控制终端700的总体操作。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
基于前述实施例,本申请的实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一项的分类方法的步骤。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在未做特殊说明的情况下,终端执行本申请实施例中的任一步骤,可以是终端的处理器执行该步骤。除非特殊说明,本申请实施例并不限定终端执行下述步骤的先后顺序。另外,不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是,本申请实施例中的任一步骤是终端可以独立执行的,即终端执行上述实施例中的任一步骤时,可以不依赖于其它步骤的执行。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种分类方法,其特征在于,包括:
获得待分类的图像集合中每一待分类图像的特征向量;
确定目标分类器,采用所述目标分类器对所述每一待分类图像进行分类,得到所述每一待分类图像的分类结果;
其中,所述目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;在所述分类结果中,与所述目标权重对应的所述待分类的图像集合中相同类别的目标角度小于或等于所述第一常量,所述相同类别的目标角度对应的余弦距离小于或等于所述第二常量。
2.根据权利要求1所述的方法,其特征在于,所述确定目标分类器,包括:
确定所述目标权重和概率获得函数;所述概率获得函数包括权重参数、所述第一常量以及所述第二常量;
将所述目标权重代入所述概率获得函数,得到目标概率获得函数;所述目标概率获得函数用于确定所述每一待分类图像的概率分布;
基于所述目标概率获得函数,确定所述目标分类器。
3.根据权利要求2所述的方法,其特征在于,所述确定所述目标权重,包括:
获得训练图像集合中每一训练图像的特征向量;
基于所述概率获得函数和设定的交叉熵损失函数,确定目标损失函数;所述目标损失函数中包括权重参数、所述第一常量以及所述第二常量;
将所述权重参数设定为初始权重,将所述初始权重和所述每一训练图像的特征向量代入所述目标损失函数,采用所述目标损失函数,训练所述权重参数,得到所述目标权重;
其中,在所述训练所述权重参数,得到所述目标权重的过程中:与每次训练后的权重参数对应的所述训练图像集合的相同类别的目标角度逐渐靠近所述第一常量,所述相同类别的目标角度对应的余弦距离逐渐靠近所述第二常量。
4.根据权利要求3所述的方法,其特征在于,所述采用所述目标损失函数,训练所述权重参数,得到所述目标权重包括:
确定所述训练图像集合中每一训练图像的真实概率分布;
将初始权重和所述每一训练图像的特征向量输入至所述概率获得函数,得到所述初始权重所对应的预测概率分布;
基于所述目标损失函数,确定所述初始权重所对应的预测概率分布与所述真实概率分布之间的差距不满足条件;
训练所述权重参数,直到基于所述目标损失函数,确定训练后的权重参数所对应的预测概率分布与所述真实概率分布之间的差距满足所述条件,确定最后得到的训练后的权重参数为所述目标权重。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标损失函数,确定所述初始权重所对应的预测概率分布与所述真实概率分布之间的差距不满足条件,包括:
基于所述目标损失函数,计算所述初始权重所对应的预测概率分布与所述真实概率分布之间的第一交叉熵,确定所述第一交叉熵大于或等于目标值;
所述基于所述目标损失函数,确定训练后的权重参数所对应的预测概率分布与所述真实概率分布之间的差距满足所述条件,包括:
基于所述目标损失函数,计算所述训练后的权重参数所对应的预测概率分布与所述真实概率分布之间的第二交叉熵,确定所述第二交叉熵小于所述目标值。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述分类器还包括用于限制类内角度的第三常量;所述第三常量为大于1的实数;
所述第三常量用于将所述相同类别的初始角度缩小至所述目标角度;所述目标角度为所述初始角度除以所述第三常量得到的角度。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述获得待分类的图像集合中每一待分类图像的特征向量,包括:
获得所述待分类的图像集合中所述每一待分类图像;
将所述每一待分类图像依次输入至输入层、卷积层、激活层、池化层以及全连接层,得到所述每一待分类图像的特征向量。
8.一种分类装置,其特征在于,包括:
获得模块,用于获得待分类的图像集合中每一待分类图像的特征向量;
确定模块,用于确定目标分类器;其中,所述目标分类器包括目标权重、用于限制类内角度的第一常量以及用于限制类内余弦距离的第二常量;
分类模块,用于采用所述目标分类器对所述每一待分类图像进行分类,得到所述每一待分类图像的分类结果;在所述分类结果中,与所述目标权重对应的所述待分类的图像集合中相同类别的目标角度小于或等于所述第一常量,所述相同类别的目标角度对应的余弦距离小于或等于所述第二常量。
9.一种终端,其特征在于,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至7任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394666.5A CN111626340B (zh) | 2020-05-11 | 2020-05-11 | 一种分类方法、装置、终端及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394666.5A CN111626340B (zh) | 2020-05-11 | 2020-05-11 | 一种分类方法、装置、终端及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626340A true CN111626340A (zh) | 2020-09-04 |
CN111626340B CN111626340B (zh) | 2024-05-28 |
Family
ID=72270941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010394666.5A Active CN111626340B (zh) | 2020-05-11 | 2020-05-11 | 一种分类方法、装置、终端及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626340B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113011567A (zh) * | 2021-03-31 | 2021-06-22 | 深圳精智达技术股份有限公司 | 一种卷积神经网络模型的训练方法及装置 |
CN113505720A (zh) * | 2021-07-22 | 2021-10-15 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114495243A (zh) * | 2022-04-06 | 2022-05-13 | 第六镜科技(成都)有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
CN114611694A (zh) * | 2022-03-16 | 2022-06-10 | 上海交通大学 | 提升图像分类网络模型鲁棒性的损失函数方法及系统 |
CN118314410A (zh) * | 2024-06-11 | 2024-07-09 | 济南大学 | 一种基于特征注意力的旋转鲁棒三维模型分类方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165672A (zh) * | 2018-07-16 | 2019-01-08 | 华南理工大学 | 一种基于渐进式学习的集成分类方法 |
CN109214360A (zh) * | 2018-10-15 | 2019-01-15 | 北京亮亮视野科技有限公司 | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 |
CN109858362A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法 |
CN109886135A (zh) * | 2019-01-25 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种低分辨率人脸识别方法、装置及存储介质 |
CN109903774A (zh) * | 2019-04-12 | 2019-06-18 | 南京大学 | 一种基于角度间隔损失函数的声纹识别方法 |
US20190279091A1 (en) * | 2018-03-12 | 2019-09-12 | Carnegie Mellon University | Discriminative Cosine Embedding in Machine Learning |
US20190303754A1 (en) * | 2018-03-28 | 2019-10-03 | University Of Maryland, College Park | L2 constrained softmax loss for discriminative face verification |
-
2020
- 2020-05-11 CN CN202010394666.5A patent/CN111626340B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190279091A1 (en) * | 2018-03-12 | 2019-09-12 | Carnegie Mellon University | Discriminative Cosine Embedding in Machine Learning |
US20190303754A1 (en) * | 2018-03-28 | 2019-10-03 | University Of Maryland, College Park | L2 constrained softmax loss for discriminative face verification |
CN109165672A (zh) * | 2018-07-16 | 2019-01-08 | 华南理工大学 | 一种基于渐进式学习的集成分类方法 |
CN109214360A (zh) * | 2018-10-15 | 2019-01-15 | 北京亮亮视野科技有限公司 | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 |
CN109858362A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法 |
CN109886135A (zh) * | 2019-01-25 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种低分辨率人脸识别方法、装置及存储介质 |
CN109903774A (zh) * | 2019-04-12 | 2019-06-18 | 南京大学 | 一种基于角度间隔损失函数的声纹识别方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113011567A (zh) * | 2021-03-31 | 2021-06-22 | 深圳精智达技术股份有限公司 | 一种卷积神经网络模型的训练方法及装置 |
CN113505720A (zh) * | 2021-07-22 | 2021-10-15 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114611694A (zh) * | 2022-03-16 | 2022-06-10 | 上海交通大学 | 提升图像分类网络模型鲁棒性的损失函数方法及系统 |
CN114611694B (zh) * | 2022-03-16 | 2022-09-23 | 上海交通大学 | 提升图像分类网络模型鲁棒性的损失函数方法及系统 |
CN114495243A (zh) * | 2022-04-06 | 2022-05-13 | 第六镜科技(成都)有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
CN114495243B (zh) * | 2022-04-06 | 2022-07-05 | 第六镜科技(成都)有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
CN118314410A (zh) * | 2024-06-11 | 2024-07-09 | 济南大学 | 一种基于特征注意力的旋转鲁棒三维模型分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111626340B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626340A (zh) | 一种分类方法、装置、终端及计算机存储介质 | |
US20220392234A1 (en) | Training neural networks for vehicle re-identification | |
CN111695415B (zh) | 图像识别方法及相关设备 | |
CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
US6594392B2 (en) | Pattern recognition based on piecewise linear probability density function | |
CN111768457B (zh) | 图像数据压缩方法、装置、电子设备和存储介质 | |
CN110414550B (zh) | 人脸识别模型的训练方法、装置、系统和计算机可读介质 | |
WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
CN109918630B (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
CN114495241B (zh) | 一种图像识别方法及装置、电子设备、存储介质 | |
US20210232855A1 (en) | Movement state recognition model training device, movement state recognition device, methods and programs therefor | |
CN114419378B (zh) | 图像分类的方法、装置、电子设备及介质 | |
CN115204301A (zh) | 视频文本匹配模型训练、视频文本匹配方法和装置 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN115879508A (zh) | 一种数据处理方法及相关装置 | |
CN114882305A (zh) | 图像关键点检测方法、计算设备和计算机可读存储介质 | |
CN111753583A (zh) | 一种识别方法及装置 | |
Ramezani et al. | Transfer learning using Tsallis entropy: An application to Gravity Spy | |
Ding et al. | Group feedback capsule network | |
CN111723700B (zh) | 一种人脸识别方法、装置及电子设备 | |
Yi et al. | Learning correlations for human action recognition in videos | |
CN110245302B (zh) | 用于识别欺诈案件的策略生成方法及装置和电子设备 | |
CN114065901A (zh) | 训练神经网络模型的方法和装置 | |
CN118038214B (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |