CN112434722A - 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质 - Google Patents

基于类别相似度的标签平滑计算的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112434722A
CN112434722A CN202011150087.2A CN202011150087A CN112434722A CN 112434722 A CN112434722 A CN 112434722A CN 202011150087 A CN202011150087 A CN 202011150087A CN 112434722 A CN112434722 A CN 112434722A
Authority
CN
China
Prior art keywords
label
similarity
class
individual
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011150087.2A
Other languages
English (en)
Other versions
CN112434722B (zh
Inventor
廖丹萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Smart Video Security Innovation Center Co Ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202011150087.2A priority Critical patent/CN112434722B/zh
Publication of CN112434722A publication Critical patent/CN112434722A/zh
Application granted granted Critical
Publication of CN112434722B publication Critical patent/CN112434722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

本申请公开了一种基于类别相似度的标签平滑计算的方法、装置、电子设备及介质。其中，通过应用本申请的技术方案，可以在标签构成的过程中考虑到给予相似的类别更高的权重，不相似的类别更低的权重性。从而避免与常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。

Description

基于类别相似度的标签平滑计算的方法、装置、电子设备及 介质
技术领域
本申请中涉及图像分类技术，尤其是一种基于类别相似度的标签平滑计算的方法、装置、电子设备及介质。
背景技术
由于通信时代和社会的兴起，利用神经网络模型进行图像分类的业务被越来越多的用户所使用。
进一步的，图像分类的任务是，例如对于一张图像来说，可以从给定的类别集合中给它分配一个或者多个标签。比如，假定一个可能的类别集合A＝{车，狗，狼}，图像分类的目标是判断输入图像属于这三类中的哪一类。相关技术中，基于深度神经网络的图像分类算法得到了广泛的关注和研究。有监督的深度学习算法首先需要对数据进行标注，即为每一张训练图像标记一个对应的类别标签。一般而言，类别向量以一种独热向量(one-hot)的方式呈现，即当图像属于某一类时，类别向量中的那一分量为1，其他分量为0。比如，以车，狗，狼三类分类为例，车的图像的标签为(1,0,0)，狗的标签为(0,1,0)，狼的标签为(0,0,1)。
然而，拟合one-hot的真实概率会带来一个问题，即：1概率和0概率鼓励图像所属类别和其他类别之间的特征差距尽可能加大，这会造成模型过于相信预测的类别，在所属的类别上有很大的值，而在不属的类别上的值非常小。由于类别之间经常不是完全互斥的，使用one-hot标签会使得模型过度相信标记为1的标签，这会降低模型的泛化能力。
发明内容
本申请实施例提供一种基于类别相似度的标签平滑计算的方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的在标签构成的过程中没有考虑到给予不同的类别赋予不同的权重的问题。
其中，根据本申请实施例的一个方面，提供的一种基于类别相似度的标签平滑计算的方法，其特征在于，包括：
获取基于独热向量标签训练得到的第一分类网络模型；
提取所述第一分类网络模型中的全连接分类层，得到所述全连接分类层权重对应的N×K的矩阵，所述N行对应于至少两个特征维度，所述K列对应于至少两个个体类别；
分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；
基于所述至少一个相似度向量值，得到类间关系标签，并利用所述类间关系标签训练得到第二分类网络模型。
可选地，在基于本申请上述方法的另一个实施例中，所述获取基于独热向量标签训练得到的第一分类网络模型，包括：
获取第一数量的训练样本图像；
为每一张训练图像标记以所述独热向量标签表示的类别标签；
利用所述标记有所述独热向量标签表示的类别标签的训练样本图像以及空白的深度学习分类模型，训练得到所述第一分类网络模型。
可选地，在基于本申请上述方法的另一个实施例中，所述分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值，包括：
获取第一个体类别以及第二个体类别；
确定所述第一个体类别在所述N×K的矩阵中对应的K1列，以及，确定所述第二个体类别在所述N×K的矩阵中对应的K2列；
计算所述K1列与所述K2列的余弦相似度，得到第一相似度向量值；
将所述第一相似度向量值作为所述第一个体类别与第二个体类别的相似度指数。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述至少一个相似度向量值，得到类间关系标签，包括：
获取全部的相似度向量值；
对所述全部的相似度向量值进行归一化计算，得到所述类间关系标签，其中所述类间关系标签中，多个相似度向量值的和值为1。
可选地，在基于本申请上述方法的另一个实施例中，利用下述公式对所述全部的相似度向量值进行归一化计算：
s'＝(s1/d,s2/d,...,sK/d)
其中，s为相似度向量，d为s向量的和，即d＝∑ksk。
可选地，在基于本申请上述方法的另一个实施例中，所述全连接分类层权重对应的N×K的矩阵中，每个所述特征维度与所述个体类别一一对应。
其中，根据本申请实施例的又一个方面，提供的一种基于类别相似度的标签平滑计算的装置，其特征在于，包括：
获取模块，被配置为获取基于独热向量标签训练得到第一分类网络模型；
提取模块，被配置为提取所述第一分类网络模型中的全连接分类层，得到所述全连接分类层权重对应的N×K的矩阵，所述N行对应于至少两个特征维度，所述K列对应于至少两个个体类别；
计算模块，被配置为分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；
生成模块，被配置为基于所述至少一个相似度向量值，得到类间关系标签，并利用所述类间关系标签训练得到第二分类网络模型。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述基于类别相似度的标签平滑计算的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述基于类别相似度的标签平滑计算的方法的操作。
本申请中，可以获取基于独热向量标签训练得到第一分类网络模型，并提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，其中N行对应于至少两个特征维度，K列对应于至少两个个体类别，再分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值，并基于至少一个相似度向量值，得到类间关系标签，最后利用类间关系标签训练得到第二分类网络模型。通过应用本申请的技术方案，可以在标签构成的过程中考虑到给予相似的类别更高的权重，不相似的类别更低的权重性。从而避免与常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的基于类别相似度的标签平滑计算的示意图；
图2为本申请基于类别相似度的标签平滑计算的电子装置的结构示意图；
图3为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1来描述根据本申请示例性实施方式的用于进行基于类别相似度的标签平滑计算的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种基于类别相似度的标签平滑计算的方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种基于类别相似度的标签平滑计算的方法的流程示意图。如图1所示，该方法包括：
S101，获取基于独热向量标签训练得到的第一分类网络模型。
进一步的，本申请可以首先获取一个基于one-hot向量标签而训练得到的图像分类网络模型(即第一分类网络模型)。其中，第一分类网络模型用于将图像进行分类处理。其可以根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开识别。分类网络模型利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。
一种方式中，分类网络模型例如可以基于色彩特征进行图像分类、基于纹理特征进行图像分类、基于形状特征进行图像分类、基于空间关系特征进行图像分类等等。
目前，基于深度神经网络的图像分类算法得到了广泛的关注和研究。有监督的深度学习算法首先需要对数据进行标注，即为每一张训练图像标记类别标签。标签通常用一个类别向量来表示。一般而言，类别向量以一种one-hot(独热)向量的方式呈现，即当图像属于某一类时，类别向量中的那一分量为1，其他分量为0。比如，以车，狗，狼三类分类为例，车的图像的标签为(1,0,0)，狗的标签为(0,1,0)，狼的标签为(0,0,1)。
进一步的，第一分类网络模型在训练的过程中，通过使得网络的输出尽可能地接近标签向量，从而实现最小的分类误差，进而提取图像的有区分性的特征。分类网络常用的损失函数之一是交叉熵损失函数，即可以为：
loss＝-∑iyilogzi。
其中，yi是第i类的真实标签，而zi是第i类的预测概率值。如果y由one-hot向量表示，则损失函数还可以写成以下形式：
loss＝-logzk。
其中，k为输入图像所属于的类别索引。通过最小化损失，使得预测概率与真实概率越来越接近。
S102，提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，N行对应于至少两个特征维度，K列对应于至少两个个体类别。
进一步的，拟合one-hot的真实概率会带来一个问题：1概率和0概率鼓励图像所属类别和其他类别之间的特征差距尽可能加大。这会造成模型过于相信预测的类别，在所属的类别上有很大的值，而在不属的类别上的值非常小。由于类别之间经常不是完全互斥的，使用one-hot标签会使得模型过度相信标记为1的标签，这会降低模型的泛化能力。此外，大型数据集通常会包含标签错误的数据，这意味着神经网络在本质上应该对“正确答案”持怀疑态度。
因此，为了缓解模型过度相信某一个标签，进而导致过拟合的问题，标签平滑(label smooth)方法被提出。标签平滑是有监督学习中常用的一个训练技巧，它可以防止模型输出过度自信的概率预测，从而达到正则化的目的。标签平滑改变了目标向量的最小值，使它为ε。因此，当模型进行分类时，其结果不再仅是1或0，而是由如下公式产生：
q'(k)＝(1-ε)δk,y+εμ(k)
其中，δk,y在k＝y时为1，否则为0。μ(k)是均匀分布。即图像所属的类别所对应的真实值为1-ε+ε/K,K为类别总数。
然而，相关技术中加入标签平滑可以鼓励模型平等的对待所有的非目标类别数据，减少不同样本的预测结果之间的方差。
然而，这样的标签平滑方法不考虑类别之间的相关性。将所有其他类别都设置成相同的概率值。然而，类别之间的相关性一般是不相同的。
比如，在狗、狼、汽车的三类分类问题中，狗和狼是更相似的，而狗和汽车是更不相似的。如果采用传统的标签平滑方法，将鼓励网络学到的狗的特征与狼和汽车的距离是一样的。这将会使得模型学到的特征不能符合人的常理认知。
因此，为了避免与常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。本申请对现有技术中的标签进行了重构。具体的，可以利用在训练的到的分类网络模型的全连接层中，两个不同个体类别分别对应的权重向量的相似性比较来判断两种个体类别的相似程度。
因此，本申请实施例方式中，可以提取步骤101中训练得到的第一分类网络模型中的全连接分类层，从而得到全连接分类层权重对应的N×K的矩阵，N行对应于至少两个特征维度，K列对应于至少两个个体类别。
其中，分类网络模型中的全连接层(Fully connected dense layers)，是一个列向量。在计算机图像分类领域正常用于深度神经网络的后面几层，用于图像分类任务。可以理解的，分类层权重是一个N×K的矩阵M，用于神经网络的最后一层，作为图像的分类层。其中，N是特征维度，K是类别数。每一个类别都有一个N维的向量与之对应。
S103，分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值。
进一步的，对某一类个体类别来说(例如为k1)，其与另一类个体类别(例如为k2)的相似度即可以利用M矩阵的第k1列和M矩阵的第k2列的余弦相似度进行计算,即：
similarity(k1,k2)＝cosine(Mk1,Mk2)
其中，similarity为类别相似度、cosine为余弦相似度。
S104，基于至少一个相似度向量值，得到类间关系标签，并利用类间关系标签训练得到第二分类网络模型。
进一步的，本申请在确定每任意两个个体类别的相似度向量之后，即可以基于该多个相似度向量值，得到可以反映个体类别关系的类间关系标签。从而替代现有技术中常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。
本申请中，可以获取基于独热向量标签训练得到第一分类网络模型，并提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，其中N行对应于至少两个特征维度，K列对应于至少两个个体类别，再分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值，并基于至少一个相似度向量值，得到类间关系标签，最后利用类间关系标签训练得到第二分类网络模型。通过应用本申请的技术方案，可以在标签构成的过程中考虑到给予相似的类别更高的权重，不相似的类别更低的权重性。从而避免与常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。
可选的，在本申请一种可能的实施方式中，在S101(获取基于独热向量标签训练得到的第一分类网络模型)中，可以实施下述步骤：
获取第一数量的训练样本图像；
为每一张训练图像标记以独热向量标签表示的类别标签；
利用标记有独热向量标签表示的类别标签的训练样本图像以及空白的深度学习分类模型，训练得到第一分类网络模型。
可选的，对于所使用的第一分类网络模型，一种实施方式中，可以通过第一数量的样本图像对空白的深度学习分类模型进行训练。具体地，可以获取样本图像，并为每一张训练图像标记以独热向量标签表示的类别标签。举例来说，当某一个训练样本图像属于某一类时，类别向量中的那一分量为1，其他分量为0。
当然，本申请不对第一数量做具体限定，例如可以为10张，也可以为1万张等等。
其中，训练样本图像包括至少一个被标记的类别特征，比如，以人，天空，草地三类分类为例，人的图像的类别标签为(1,0,0)，天空的类别标签为(0,1,0)，草地的类别标签为(0,0,1)。
可选的，在本申请一种可能的实施方式中，在S103(分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值)中，可以实施下述步骤：
获取第一个体类别以及第二个体类别；
确定第一个体类别在N×K的矩阵中对应的K1列，以及，确定第二个体类别在N×K的矩阵中对应的K2列；
计算K1列与K2列的余弦相似度，得到第一相似度向量值；
将第一相似度向量值作为第一个体类别与第二个体类别的相似度指数。
需要说明的是，全连接分类层权重对应的N×K的矩阵中，每个所述特征维度与所述个体类别一一对应。
其中，本申请在计算两个个体类别之间的类别相似度过程中，可以通过其中第一个体类别在N×K的矩阵中对应的K1列，与第二个体类别在N×K的矩阵中对应的K2列来计算二者的余弦相似度，从而得到第一相似度向量值(即第一个体类别与第二个体类别的相似度指数)。进一步的，该第一相似度向量值即用于表征类别个体间的相似程度，相似度度量的值越小，说明类别间相似度越小，相似度的值越大说明类别间差异越大。
可选的，在本申请一种可能的实施方式中，在S104(基于至少一个相似度向量值，得到类间关系标签)中，包括：
获取全部的相似度向量值；
对全部的相似度向量值进行归一化计算，得到类间关系标签，其中类间关系标签中，多个相似度向量值的和值为1。
进一步的，本申请在获得各个类别之间的相似度向量值之后，为了得到用于训练分类模型的标签，一种实施方式中，即可以对该多个向量根据预设的公式进行归一化计算，使其相加和为1,得到最终的类间关系标签之后，就可以利用其来训练第一分类网络模型。
可选的，本申请还可以利用下述公式对全部的相似度向量值进行归一化计算：
s'＝(s1/d,s2/d,...,sK/d)
其中，s为相似度向量，d为s向量的和，即d＝∑ksk。
在本申请的另外一种实施方式中，如图2所示，本申请还提供一种基于类别相似度的标签平滑计算的装置。其中，包括获取模块201，提取模块202，计算模块203，生成模块204，其中，
获取模块201，被配置为获取模块，被配置为获取基于独热向量标签训练得到第一分类网络模型；
提取模块202，被配置为提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，N行对应于至少两个特征维度，K列对应于至少两个个体类别；
计算模块203，被配置为分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；
生成模块204，被配置为基于至少一个相似度向量值，得到类间关系标签，并利用类间关系标签训练得到第二分类网络模型。
本申请中，可以获取基于独热向量标签训练得到第一分类网络模型，并提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，其中N行对应于至少两个特征维度，K列对应于至少两个个体类别，再分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值，并基于至少一个相似度向量值，得到类间关系标签，最后利用类间关系标签训练得到第二分类网络模型。通过应用本申请的技术方案，可以在标签构成的过程中考虑到给予相似的类别更高的权重，不相似的类别更低的权重性。从而避免与常规的标签平滑方法中存在的不考虑多个个体类别之间的相关性，将所有其他类别都设置成相同的概率值的问题。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取第一数量的训练样本图像；
获取模块201，被配置为为每一张训练图像标记以独热向量标签表示的类别标签；
获取模块201，被配置为利用标记有独热向量标签表示的类别标签的训练样本图像以及空白的深度学习分类模型，训练得到第一分类网络模型。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取第一个体类别以及第二个体类别；
获取模块201，被配置为确定第一个体类别在N×K的矩阵中对应的K1列，以及，确定第二个体类别在N×K的矩阵中对应的K2列；
获取模块201，被配置为计算K1列与K2列的余弦相似度，得到第一相似度向量值；
获取模块201，被配置为将第一相似度向量值作为第一个体类别与第二个体类别的相似度指数。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取全部的相似度向量值；
获取模块201，被配置为对全部的相似度向量值进行归一化计算，得到类间关系标签，其中类间关系标签中，多个相似度向量值的和值为1。
在本申请的另外一种实施方式中，利用下述公式对全部的相似度向量值进行归一化计算：
s'＝(s1/d,s2/d,...,sK/d)
其中，s为相似度向量，d为s向量的和，即d＝∑ksk。
在本申请的另外一种实施方式中，全连接分类层权重对应的N×K的矩阵中，每个特征维度与个体类别一一对应。
图3是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述基于类别相似度的标签平滑计算的方法，该方法包括：获取基于独热向量标签训练得到的第一分类网络模型；提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，N行对应于至少两个特征维度，K列对应于至少两个个体类别；分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；基于至少一个相似度向量值，得到类间关系标签，并利用类间关系标签训练得到第二分类网络模型。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述基于类别相似度的标签平滑计算的方法，该方法包括：获取基于独热向量标签训练得到的第一分类网络模型；提取第一分类网络模型中的全连接分类层，得到全连接分类层权重对应的N×K的矩阵，N行对应于至少两个特征维度，K列对应于至少两个个体类别；分别计算N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；基于至少一个相似度向量值，得到类间关系标签，并利用类间关系标签训练得到第二分类网络模型。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图3为计算机设备30的示例图。本领域技术人员可以理解，示意图3仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于类别相似度的标签平滑计算的方法，其特征在于，包括：
获取基于独热向量标签训练得到的第一分类网络模型；
提取所述第一分类网络模型中的全连接分类层，得到所述全连接分类层权重对应的N×K的矩阵，所述N行对应于至少两个特征维度，所述K列对应于至少两个个体类别；
分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；
基于所述至少一个相似度向量值，得到类间关系标签，并利用所述类间关系标签训练得到第二分类网络模型。
2.如权利要求1所述的方法，其特征在于，所述获取基于独热向量标签训练得到的第一分类网络模型，包括：
获取第一数量的训练样本图像；
为每一张训练图像标记以所述独热向量标签表示的类别标签；
利用所述标记有所述独热向量标签表示的类别标签的训练样本图像以及空白的深度学习分类模型，训练得到所述第一分类网络模型。
3.如权利要求1所述的方法，其特征在于，所述分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值，包括：
获取第一个体类别以及第二个体类别；
确定所述第一个体类别在所述N×K的矩阵中对应的K1列，以及，确定所述第二个体类别在所述N×K的矩阵中对应的K2列；
计算所述K1列与所述K2列的余弦相似度，得到第一相似度向量值；
将所述第一相似度向量值作为所述第一个体类别与第二个体类别的相似度指数。
4.如权利要求1或3所述的方法，其特征在于，所述基于所述至少一个相似度向量值，得到类间关系标签，包括：
获取全部的相似度向量值；
对所述全部的相似度向量值进行归一化计算，得到所述类间关系标签，其中所述类间关系标签中，多个相似度向量值的和值为1。
5.如权利要求4所述的方法，其特征在于，利用下述公式对所述全部的相似度向量值进行归一化计算：
s'＝(s1/d,s2/d,...,sK/d)
其中，s为相似度向量，d为s向量的和，即d＝∑ksk。
6.如权利要求1所述的方法，其特征在于，所述全连接分类层权重对应的N×K的矩阵中，每个所述特征维度与所述个体类别一一对应。
7.一种基于类别相似度的标签平滑计算的装置，其特征在于，包括：
获取模块，被配置为获取基于独热向量标签训练得到第一分类网络模型；
提取模块，被配置为提取所述第一分类网络模型中的全连接分类层，得到所述全连接分类层权重对应的N×K的矩阵，所述N行对应于至少两个特征维度，所述K列对应于至少两个个体类别；
计算模块，被配置为分别计算所述N×K的矩阵中，每任意两个K列之间的余弦相似度，得到至少一个相似度向量值；
生成模块，被配置为基于所述至少一个相似度向量值，得到类间关系标签，并利用所述类间关系标签训练得到第二分类网络模型。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-6中任一所述基于类别相似度的标签平滑计算的方法的操作。
9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-6中任一所述基于类别相似度的标签平滑计算的方法的操作。
CN202011150087.2A 2020-10-23 2020-10-23 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质 Active CN112434722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011150087.2A CN112434722B (zh) 2020-10-23 2020-10-23 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011150087.2A CN112434722B (zh) 2020-10-23 2020-10-23 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN112434722A true CN112434722A (zh) 2021-03-02
CN112434722B CN112434722B (zh) 2024-03-19

Family

ID=74696003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011150087.2A Active CN112434722B (zh) 2020-10-23 2020-10-23 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112434722B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409136A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 组合服务相似度分析方法、装置、计算机系统及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750289A (zh) * 2011-04-19 2012-10-24 富士通株式会社 标签组分类方法、设备和数据混合方法、设备
CN103283247A (zh) * 2010-11-11 2013-09-04 谷歌公司 用于编索引、相似度搜索和分类的矢量变换
CN107273926A (zh) * 2017-06-12 2017-10-20 大连海事大学 一种基于余弦相似度加权的线性判别分析降维方法
CN108875781A (zh) * 2018-05-07 2018-11-23 腾讯科技（深圳）有限公司 一种标签分类方法、装置、电子设备及存储介质
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN109960763A (zh) * 2019-03-21 2019-07-02 湖南大学 一种基于用户细粒度摄影偏好的摄影社区个性化好友推荐方法
WO2019179100A1 (zh) * 2018-03-20 2019-09-26 苏州大学张家港工业技术研究院 基于生成式对抗网络技术的医疗文本生成方法
CN110472090A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 基于语义标签的图像检索方法以及相关装置、存储介质
US20190354855A1 (en) * 2018-05-15 2019-11-21 CoreDotToday Inc. Method for calculating similarity of cases based on citation relationship
US10528871B1 (en) * 2018-09-24 2020-01-07 Yewno, Inc. Structuring data in a knowledge graph
WO2020015075A1 (zh) * 2018-07-18 2020-01-23 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
CN110890087A (zh) * 2018-09-10 2020-03-17 北京嘉楠捷思信息技术有限公司 一种基于余弦相似度的语音识别方法和装置
CN111325200A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 图像标注方法、装置、设备及计算机可读存储介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
WO2020211387A1 (zh) * 2019-04-18 2020-10-22 深圳壹账通智能科技有限公司 电子合同显示方法、装置、电子设备及计算机存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283247A (zh) * 2010-11-11 2013-09-04 谷歌公司 用于编索引、相似度搜索和分类的矢量变换
CN102750289A (zh) * 2011-04-19 2012-10-24 富士通株式会社 标签组分类方法、设备和数据混合方法、设备
CN107273926A (zh) * 2017-06-12 2017-10-20 大连海事大学 一种基于余弦相似度加权的线性判别分析降维方法
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
WO2019179100A1 (zh) * 2018-03-20 2019-09-26 苏州大学张家港工业技术研究院 基于生成式对抗网络技术的医疗文本生成方法
CN108875781A (zh) * 2018-05-07 2018-11-23 腾讯科技（深圳）有限公司 一种标签分类方法、装置、电子设备及存储介质
US20190354855A1 (en) * 2018-05-15 2019-11-21 CoreDotToday Inc. Method for calculating similarity of cases based on citation relationship
WO2020015075A1 (zh) * 2018-07-18 2020-01-23 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN110890087A (zh) * 2018-09-10 2020-03-17 北京嘉楠捷思信息技术有限公司 一种基于余弦相似度的语音识别方法和装置
US10528871B1 (en) * 2018-09-24 2020-01-07 Yewno, Inc. Structuring data in a knowledge graph
CN111325200A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 图像标注方法、装置、设备及计算机可读存储介质
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN109960763A (zh) * 2019-03-21 2019-07-02 湖南大学 一种基于用户细粒度摄影偏好的摄影社区个性化好友推荐方法
WO2020211387A1 (zh) * 2019-04-18 2020-10-22 深圳壹账通智能科技有限公司 电子合同显示方法、装置、电子设备及计算机存储介质
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
CN110472090A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 基于语义标签的图像检索方法以及相关装置、存储介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴安奇;高清维;孙冬;卢一相;: "多类别相关性结合的类属属性多标签学习", 模式识别与人工智能, no. 08, pages 38 - 48 *
蒋俊钊;程良伦;李全杰;: "基于标签相关性的卷积神经网络多标签分类算法", 工业控制计算机, no. 07, pages 108 - 109 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409136A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 组合服务相似度分析方法、装置、计算机系统及存储介质

Also Published As

Publication number Publication date
CN112434722B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN107169454B (zh) 一种人脸图像年龄估算方法、装置及其终端设备
CN105354307B (zh) 一种图像内容识别方法及装置
Kao et al. Visual aesthetic quality assessment with a regression model
CN109101946B (zh) 一种图像特征的提取方法、终端设备及存储介质
CN112257808B (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN110858327A (zh) 验证训练数据的方法、训练系统以及计算机程序产品
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
CN107818336A (zh) 一种基于城市特定人群和关联政策的匹配推荐方法及系统
Chen et al. Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
CN112183307A (zh) 文本识别方法、计算机设备和存储介质
WO2020023760A1 (en) System and method for clustering products by combining attribute data with image recognition
Wang et al. Energy based competitive learning
Elmahmudi et al. A framework for facial age progression and regression using exemplar face templates
CN110390307B (zh) 表情识别方法、表情识别模型训练方法及装置
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
Yin et al. Classification of eye tracking data in visual information processing tasks using convolutional neural networks and feature engineering
Sun et al. Perceptual multi-channel visual feature fusion for scene categorization
CN112434722B (zh) 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质
Moate et al. Vehicle detection in infrared imagery using neural networks with synthetic training data
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Cai et al. Pedestrian detection algorithm in traffic scene based on weakly supervised hierarchical deep model
CN111126049A (zh) 对象关系预测方法、装置、终端设备及可读存储介质
KR102601684B1 (ko) 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템
CN115393673A (zh) 对象识别模型的训练方法、对象识别的方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant