CN110880018A - 一种基于新型损失函数的卷积神经网络目标分类方法 - Google Patents

一种基于新型损失函数的卷积神经网络目标分类方法 Download PDF

Info

Publication number
CN110880018A
CN110880018A CN201911040260.0A CN201911040260A CN110880018A CN 110880018 A CN110880018 A CN 110880018A CN 201911040260 A CN201911040260 A CN 201911040260A CN 110880018 A CN110880018 A CN 110880018A
Authority
CN
China
Prior art keywords
vector
cosine value
included angle
feature
cosine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911040260.0A
Other languages
English (en)
Other versions
CN110880018B (zh
Inventor
焦继超
邓中亮
刘炜伦
莫耀凯
邱德武
焦剑
崔岩松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911040260.0A priority Critical patent/CN110880018B/zh
Publication of CN110880018A publication Critical patent/CN110880018A/zh
Application granted granted Critical
Publication of CN110880018B publication Critical patent/CN110880018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于新型损失函数的卷积神经网络目标分类方法，通过在模型训练过程中引入一个随目标类特征中心向量与各子类特征中心向量变化的动态加角余量，实现了通过计算样本图像的特征向量与目标类特征中心向量夹角的第一余弦值向量后，根据动态加角余量以及目标类特征中心向量间的夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，从而有效降低训练数据集子类特征中心均匀分布的程度。

Description

一种基于新型损失函数的卷积神经网络目标分类方法
技术领域
本申请涉及信息技术领域，特别是涉及一种基于新型损失函数的卷积神经网络目标分类方法。
背景技术
目前，神经网络模型在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功，尤其在图像分类方面，已经在我们周围有着广泛的应用，例如，数字识别，衣物分类，人脸识别等。而在神经网络中卷积神经网络对于图像分类具有良好的效果，尤其在人脸识别方面卷积神经网络有着广泛用的应用。在基于卷积神经网络的人脸识别系统中，损失函数作为判断所训练神经网络和训练数据集间契合程度的标准，对人脸识别的实际效果有着重要影响。
ArcFace作为目前常用的损失函数，ArcFace在损失函数中引入加角余量，可以增大类间间距，当加角余量取较大值时，加角余量约束也会减小类内距离，从而使人脸识别的效果得到提升。而为了达到好的训练效果，损失函数所取的加角余量较大，从而导致训练数据集所有类的特征中心会远离，特征中心会趋向于均匀分布，这与实际的特征中心在特征空间上散乱分布的情况不符，存在对训练数据集的过拟合问题，影响识别的效果。
发明内容
本申请实施例的目的在于提供一种基于新型损失函数的卷积神经网络目标分类方法，以实现解决特征中心距离变大导致趋向于均匀分布的问题。具体技术方案如下：
第一方面，本申请实施例提供了一种基于新型损失函数的卷积神经网络目标分类方法，应用于模型训练过程，包括：
步骤A，获取样本图像的特征向量；
步骤B，计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量，其中，第一余弦值向量包括样本图像的特征向量与各子类特征中心向量间的夹角的余弦值；
步骤C，根据第一余弦值向量，确定第一余弦值向量的第一夹角，其中，第一夹角为样本图像的特征向量与目标类特征中心向量间的夹角，目标类特征中心向量为样本图像对应的正确分类所对应的子类特征中心向量；
步骤D，分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量；
步骤E，根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量；
步骤F，将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率；
步骤G，通过预设损失函数，根据特征分布概率，计算模型的损失；
步骤H，根据模型的损失，对模型的参数进行调整；
步骤I，重复上述步骤A至步骤H，直至模型的损失小于预设率阈值时，得到训练好的模型。
可选的，分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量，包括：
分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000021
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
可选的，根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，包括：
根据动态加角余量以及目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
根据第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
可选的，通过预设损失函数，根据特征分布概率，计算模型的损失，包括：
通过公式：
Figure BDA0002252641450000031
根据特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
第二方面，本申请实施例提供了一种基于新型损失函数的卷积神经网络目标分类装置，应用于模型训练过程，包括：
向量获取模块，用于获取样本图像的特征向量；
第一余弦值模块，用于计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量，其中，第一余弦值向量包括样本图像的特征向量与各子类特征中心向量间的夹角的余弦值；
第一夹角模块，用于根据第一余弦值向量，确定第一余弦值向量的第一夹角，其中，第一夹角为样本图像的特征向量与目标类特征中心向量间的夹角，目标类特征中心向量为样本图像对应的正确分类所对应的子类特征中心向量；
加角余量模块，用于分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量；
第二余弦值模块，用于根据动态加角余量与第一夹角，根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量；
特征分布模块，用于将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率；
损失计算模块，用于通过预设损失函数，根据特征分布概率，计算模型的损失；
参数调整模块，用于根据模型的损失，对模型的参数进行调整；
模型获取模块，用于返回向量获取模块继续执行，直至模型的损失小于预设率阈值时，得到训练好的模型。
可选的，加角余量模块，包括：
第一预设公式子模块，用于分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000041
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
可选的，第二余弦值模块，包括：
第二预设公式子模块，用于根据动态加角余量以及目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为样本图像特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
余弦函数子模块，用于根据第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
可选的，损失计算模块包括：
损失函数子模块，用于通过公式：
Figure BDA0002252641450000051
根据特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器，用于执行上述存储器上所存放的程序时，实现上述任一基于新型损失函数的卷积神经网络目标分类方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时上述任一基于新型损失函数的卷积神经网络目标分类方法。
本申请实施例提供的一种基于新型损失函数的卷积神经网络目标分类方法，获取样本图像的特征向量；计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量；根据第一余弦值向量，确定第一余弦值向量的第一夹角；分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量；根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量；将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率；通过预设损失函数，根据特征分布概率，计算模型的损失；根据模型的损失，对模型的参数进行调整；重复上述步骤，直至模型的损失小于预设率阈值时，得到训练好的模型。实现了通过计算样本图像的特征向量与各子类特征中心向量间夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量以及目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间而动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类方法的流程图。
图2为本申请实施例的一种神经网络训练流程图。
图3为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类装置的第一种结构图。
图4为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类装置的第二种结构图。
图5为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类方法的流程图，包括：
步骤101，获取样本图像的特征向量。
本申请实施例的基于新型损失函数的卷积神经网络目标分类方法针对的是通过智能终端设备对模型进行训练，因此可以通过智能终端设备执行，具体的，该智能终端设备可以为电脑或服务器等。
本申请实施例的基于新型损失函数的卷积神经网络目标分类方法应用于模型训练过程。特征向量为通过神经网络提取的用于表示一副图片的向量，例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图，其中f[N×1]是输入图像经过神经网络后提取得到的N维特征向量。
步骤102，计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量。
其中，第一余弦值向量包括样本图像的特征向量与各子类特征中心向量间的夹角的余弦值在一种可能的实施方式中，计算样本图像特征向量与各子类特征中心向量夹角的第一余弦值向量，可以为通过样本图像特征向量与各子类特征中心向量相乘，得到两个向量的卷积，得到样本图像特征向量与各子类特征中心向量夹角的第一余弦值向量。
例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图。其中，其中输入图像为样本图像，f[N×1]为输入图像特征向量，W[T×N]为损失函数卷积层的权重，其中，上述损失函数卷积层的权重与各子类特征中心向量基本相等，因此通过上述权重替代各子类特征中心向量，通过特征向量f[N×1]与W[T×N]中各子类特征中心向量相乘，求得输入图像特征向量与各子类特征中心向量间夹角的余弦值logits[T×1]。可选的，可以通过卷积层进行向量相乘，其中N是所提取特征的维度，T是用于训练的人脸类别数。
步骤103，根据第一余弦值向量，确定第一余弦值向量的第一夹角。
其中，第一夹角为样本图像的特征向量与目标类特征中心向量间的夹角，目标类特征中心向量为样本图像对应的正确分类所对应的子类特征中心向量。根据第一余弦值向量，确定第一余弦值向量的第一夹角，可以通过反余弦函数，将所述第一余弦值向量输入反余弦函数，通过反余弦函数进行计算，得到第一余弦值向量的第一夹角。
例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图。根据第一余弦值向量logits[T×1]中输入图像特征向量与目标类特征中心向量间的夹角的余弦值，通过反余弦函数计算特征向量与目标类特征中心向量间的夹角，θyi。
步骤104，分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量。
在一种可能的实施方式中，计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，通过计算目标类特征中心向量与各子类特征中心向量的卷积，得到目标类特征中心向量与各子类特征中心向量夹角的余弦值。由于余弦值随角度的增大而减小，其中最大的余弦值对应的夹角值，为目标类特征中心向量与各子类特征中心向量中最近邻向量之间的夹角。其中，目标类特征中心向量为各子类特征中心向量中上述样本图像正确分类时所对应的子类特征中心向量。
例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图。将正确分类的目标类特征中心向量与各子类特征中心向量相乘，求得目标类特征中心向量与各子类特征中心向量间的余弦值cosθ[T×1]，将目标类特征中心向量自身相乘的对应项cosθ[yi]置0，再求cosθ[T×1]的最大值并经反余弦函数得到θmax，则θmax为正确分类对应的目标类特征中心向量与其最邻近其它子类特征中心向量间的夹角值，而后通过预设公式得到动态加角余量。
可选的，分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量，包括：
分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000091
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
步骤105，根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
其中，根据动态加角余量与第一夹角，通过第二预设公式得到样本图像的特征向量与目标类特征中心向量夹角的第二余弦值向量通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
在一种可能的实施方式中，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式得到样本图像的特征向量与目标类特征中心向量夹角的第二余弦值，可以为计算动态加角余量与目标类特征中心向量间的夹角之和，得到第二夹角，通过余弦函数计算第二夹角的余弦值，即第二余弦值，并利用第二余弦值替换上述第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图，根据动态加角余量与第一夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
可选的，根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，包括：
根据动态加角余量以及目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
用于根据第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
步骤106，将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率。
在一种可能的实施方式中，将第二余弦值向量输入softmax层(归一化层)，通过归一化层计算样本图像对应每种图片分类的特征分布概率。有助于神经网络的参数初始化，避免参数更新时梯度爆炸的出现，有利于学习率的设置。
例如，如图2所示，图2为本申请实施例的一种神经网络训练流程图，将第二余弦值向量Logits[T×1]经过softmax层后得到样本图像的特征分布概率probability[T×1]。例如，当计算的到的第二余弦值向量为(0.4,0.2)，此时尽管第二余弦值向量的大小代表了分类的概率，第二余弦值向量中各余弦值的和(即概率和)为0.4+0.2＝0.6，并不等于1。而且每次输入不同的图像，所计算得到的概率和都是不同的。为了使得这个概率和可以保持一个稳定的数值，通过softmax层进行归一化。将上述第二余弦值向量(0.4，0.2)变为(0.4/0.6，0.2/0.6)＝(0.66666，0.33333)，而此时所得到的特征分布概率的概率和为0.66666+0.33333是约等于1的，即所有的概率和为1。即通过softmax层，可以使得特征分布概率和稳定为1。
步骤107，通过预设损失函数，根据特征分布概率，计算模型的损失。
其中，通过预设损失函数，根据特征分布概率，计算模型的损失，上述预设损失函数可以为交叉熵函数：
Figure BDA0002252641450000101
其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
其中，L可以为分类概率的损失，通过上述分类概率的损失可以指导调整整个模型的参数，使得分类概率的损失渐渐减小，即使得预测分类概率渐渐与实际分类概率相等。
例如，当归一化后所得到的特征分布概率为(0.7，0.3)时，通过损失函数计算所述模型的损失，可以通过交叉熵函数，L＝-log(0.7)＝0.15，而当归一化后所得到的特征分布概率为(1，0)时，通过损失函数计算所述模型的损失L＝-log(1)＝0。此时预测分类概率与实际分类概率相等。
可选的，通过预设损失函数，根据特征分布概率，计算模型的损失，包括：
通过公式：
Figure BDA0002252641450000111
根据特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
具体的，通过预设损失函数，根据特征分布概率，计算模型的损失，包括：
通过公式：
Figure BDA0002252641450000112
根据特征分布概率，计算模型的损失，其中，m是每一次训练时batch size的大小，n是训练数据集中人脸类别数，θj是神经网路所提取特征与softmax层前的全连接层中各类特征中心间的夹角，
Figure BDA0002252641450000113
是所提取特征与正确分类中心间的夹角；
Figure BDA0002252641450000114
是引入的动态加角余量。
步骤108，根据模型的损失，对模型的参数进行调整。
在一种可能的实施方式中，通过计算模型的损失对模型的训练过程进行指导。例如，计算得到的模型损失大于预设阈值，则根据计算得到的模型损失对模型的参数进行调整。具体调整方法为现有技术此处不再赘述。
可选的，如图2所述，图中第一余弦值向量为求没引入动态加角余量前的原始分类概率分布。虚线框中的过程为引入动态加角余量，得到引入加角余量后的分类概率分布即第二余弦值向量。虚线框后的特征分布概率为归一化后的分类概率，并计算损失。
步骤109，重复上述步骤101至步骤108，直至模型的损失小于预设率阈值时，得到训练好的模型。
可见，通过本申请实施例的方法，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
本申请实施例还提供了一种基于新型损失函数的卷积神经网络目标分类方法的实施方式，包括：
步骤1，获取样本图像的特征向量。
步骤2，计算样本图像特征向量与各子类特征中心向量夹角，得到第一余弦值向量。
其中第一余弦值向量包括样本图像特征向量与各子类特征中心向量夹角的余弦值。
步骤3，根据第一余弦值向量，确定第一余弦值向量的第一夹角。
其中，第一夹角为样本图像特征向量与目标类特征中心向量间的夹角，上述目标类特征中心向量为各子类特征中心向量中上述样本图像正确分类时所对应的子类特征中心向量。根据第一余弦值向量，确定第一余弦值向量的第一夹角，可以通过反余弦函数，将所述第一余弦值向量输入反余弦函数，通过反余弦函数进行计算，得到第一余弦值向量的第一夹角。
步骤4，计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身cosθ[yi]相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000131
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
步骤5，根据动态加角余量与目标类特征中心向量间的第二夹角，通过公式：
θ′yi＝θyi+vyi
得到上述第二夹角，其中，vyi为动态加角余量，θyi为特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角。
步骤6，根据所述第二夹角，通过余弦函数得到所述样本图像特征向量与各子类特征中心向量夹角的第二余弦值。
通过上述第二预设公式，可以求得加入动态加角余量后的θyi′。通过求θyi′的余弦值，并用其代替第一余弦值向量logits[yi]，由于动态加角余量随目标类特征中心向量和各子类特征中心向量的变化而变化，所得到的第二余弦值也是随目标类特征中心向量和各子类特征中心向量的变化而变化的值。
步骤7，将第二余弦值输入模型的归一化层，通过归一化层获取样本图像的特征分布概率。
步骤8，通过公式：
Figure BDA0002252641450000132
根据特征分布概率，计算模型的损失。
其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
其中，将上述步骤2到步骤8的公式合并，可以到得到：
Figure BDA0002252641450000133
其中，m是每一次训练时batch size(批尺寸)的大小，n是训练数据集中人脸类别数，θj是神经网路所提取特征与softmax层前的全连接层中各类特征中心间的夹角，
Figure BDA0002252641450000141
是所提取特征与正确分类中心间的夹角；
Figure BDA0002252641450000142
是引入的动态加角余量。
上述损失函数为基于动态加角余量的损失函数——Dyn-arcFace，针对每次用于训练的人脸图像的类别，引入一个动态加角余量。由于训练过程中，对于任一神经网络的参数更新，损失函数的加角余量都是随着人脸类别以及当时各子类特征中心向量分布情况而动态变化的，从而解决类特征中心均匀的问题，从而提高人脸识别的效果。
由于现有技术中，当加角余量设定为一个较小的值时，随着类中心距离的变大，它的类内约束不足，训练效果不好。而当选择一个较大的加角余量时，可以在一定程度上解决类内约束不足的问题，提升训练效果，但同时较大的加角余量也会使得训练数据集类特征中心均匀分布，引入了过拟合的问题。本申请中通过动态的加角余量可以解决类特征中心均匀的问题，从而提高人脸识别的效果。
步骤9，根据模型的损失，对模型的参数进行调整。
其中，根据模型的损失，对模型的参数进行调整，可以包括对除模型参数中的超参数之外的所有参数进行调整。
步骤10，重复上述步骤1至步骤9，直至模型的损失小于预设率阈值时，得到训练好的模型。
可见，通过本申请实施例的方法，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
参见图3，图3为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类装置的第一种结构图，包括：
向量获取模块301，用于获取样本图像的特征向量。
第一余弦值模块302，用于计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量。
其中，第一余弦值向量包括样本图像的特征向量与各子类特征中心向量间的夹角的余弦值。
第一夹角模块303，用于根据第一余弦值向量，确定第一余弦值向量的第一夹角。
其中，第一夹角为样本图像的特征向量与目标类特征中心向量间的夹角，目标类特征中心向量为样本图像对应的正确分类所对应的子类特征中心向量。
加角余量模块304，用于分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量。
第二余弦值模块305，用于根据动态夹角余量与第一夹角，通过第二预设公式得到第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
特征分布模块306，用于将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率。
损失计算模块307，用于通过预设损失函数，根据特征分布概率，计算模型的损失。
参数调整模块308，用于根据模型的损失，对模型的参数进行调整。
模型获取模块309，用于返回向量获取模块继续执行，直至模型的损失小于预设率阈值时，得到训练好的模型。
可选的，加角余量模块304，包括：
第一预设公式子模块，用于分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000161
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
可选的，第二余弦值模块，包括：
第二预设公式子模块，用于根据动态加角余量以及目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为样本图像特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
余弦函数子模块，用于根据第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
可选的，损失计算模块包括：
损失函数子模块，用于通过公式：
Figure BDA0002252641450000162
根据特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
可见，通过本申请实施例的装置，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
参见图4，图4为本申请实施例的一种基于新型损失函数的卷积神经网络目标分类装置的第二种结构图，包括：
向量获取模块301，用于获取样本图像的特征向量。
第一余弦值模块302，用于计算样本图像的特征向量与各子类特征中心向量间的第一余弦值向量。
其中，第一余弦值向量包括样本图像的特征向量与各子类特征中心向量间的夹角的余弦值。
第一夹角模块303，用于根据第一余弦值向量，确定第一余弦值向量的第一夹角。
其中，第一夹角为样本图像的特征向量与目标类特征中心向量间的夹角，目标类特征中心向量为样本图像对应的正确分类所对应的子类特征中心向量。
第一预设公式子模块401，用于分别计算目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure BDA0002252641450000171
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
第二预设公式子模块402，用于根据动态加角余量以及目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为样本图像特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角。
余弦函数子模块403，用于根据第二夹角，通过对第二夹角求余弦，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
特征分布模块306，用于将第二余弦值向量输入模型的归一化层，通过归一化层获取样本图像的特征分布概率。
损失函数子模块404，用于通过公式：
Figure BDA0002252641450000181
根据特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
参数调整模块308，用于根据模型的损失，对模型的参数进行调整。
模型获取模块309，用于返回向量获取模块继续执行，直至模型的损失小于预设率阈值时，得到训练好的模型。
可见，通过本申请实施例的装置，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序。
上述处理器用于执行上述存储器存放的计算机程序时，实现上述任一基于新型损失函数的卷积神经网络目标分类方法。
可选的，参见图5，图5为本申请实施例的电子设备的一种示意图，本申请实施例的电子设备还包括通信接口502和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一基于新型损失函数的卷积神经网络目标分类方法。
可见，通过本申请实施例的电子设备，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一基于新型损失函数的卷积神经网络目标分类方法。
可选的，上述计算机程序被处理器执行时，还能够实现上述任一基于新型损失函数的卷积神经网络目标分类方法。
可见，通过本申请实施例的计算机可读存储介质，可以通过计算特征向量与目标类特征中心向量夹角的第一余弦值向量后，引入动态加角余量，根据动态加角余量与目标类特征中心向量间的夹角，通过第二预设公式和余弦函数，得到第二余弦值，并利用第二余弦值替换第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，根据第二余弦值向量计算模型的损失对模型训练过程进行指导，由于动态加角余量随着目标类特征中心向量以及各子类特征中心向量间的动态变化，从而有效降低训练数据集子类特征中心均匀分布的程度。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种基于新型损失函数的卷积神经网络目标分类方法，其特征在于，应用于模型训练过程，所述方法包括：
步骤A，获取样本图像的特征向量；
步骤B，计算所述样本图像的特征向量与各子类特征中心向量间的第一余弦值向量，其中，所述第一余弦值向量包括所述样本图像的特征向量与各子类特征中心向量间的夹角的余弦值；
步骤C，根据所述第一余弦值向量，确定所述第一余弦值向量的第一夹角，其中，所述第一夹角为所述样本图像的特征向量与目标类特征中心向量间的夹角，所述目标类特征中心向量为所述样本图像对应的正确分类所对应的所述子类特征中心向量；
步骤D，分别计算所述目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量；
步骤E，根据所述动态夹角余量与所述第一夹角，通过第二预设公式得到第二夹角，通过对所述第二夹角求余弦，得到第二余弦值，并利用所述第二余弦值替换所述第一余弦值向量中特征向量与所述目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量；
步骤F，将所述第二余弦值向量输入模型的归一化层，通过所述归一化层获取样本图像的特征分布概率；
步骤G，通过预设损失函数，根据所述特征分布概率，计算模型的损失；
步骤H，根据所述模型的损失，对模型的参数进行调整；
步骤I，重复上述步骤A至步骤H，直至所述模型的损失小于预设率阈值时，得到训练好的模型。
2.根据权利要求1所述的方法，其特征在于，所述分别计算所述目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量，包括：
分别计算所述目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure FDA0002252641440000021
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述动态夹角余量与所述第一夹角，通过第二预设公式得到第二夹角，通过对所述第二夹角求余弦，得到第二余弦值，并利用所述第二余弦值替换所述第一余弦值向量中特征向量与所述目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量，包括：
根据所述动态加角余量以及所述目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
根据第二夹角，通过对所述第二夹角求余弦，得到第二余弦值，并利用所述第二余弦值替换所述第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
4.根据权利要求1所述的方法，其特征在于，所述通过预设损失函数，根据所述特征分布概率，计算模型的损失，包括：
通过公式：
Figure FDA0002252641440000022
根据所述特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
5.一种基于新型损失函数的卷积神经网络目标分类装置，其特征在于，应用于模型训练过程，所述装置包括：
向量获取模块，用于获取样本图像的特征向量；
第一余弦值模块，用于计算所述样本图像的特征向量与各子类特征中心向量间的第一余弦值向量，其中，所述第一余弦值向量包括所述样本图像的特征向量与各子类特征中心向量间的夹角的余弦值；
第一夹角模块，用于根据所述第一余弦值向量，确定所述第一余弦值向量的第一夹角，其中，所述第一夹角为所述样本图像的特征向量与目标类特征中心向量间的夹角，所述目标类特征中心向量为所述样本图像对应的正确分类所对应的子类特征中心向量；
加角余量模块，用于分别计算所述目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过第一预设公式得到动态加角余量；
第二余弦值模块，用于根据所述动态加角余量与所述第一夹角，根据所述动态夹角余量与所述第一夹角，通过第二预设公式得到第二夹角，通过对所述第二夹角求余弦，得到第二余弦值，并利用所述第二余弦值替换所述第一余弦值向量中特征向量与所述目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量；
特征分布模块，用于将所述第二余弦值向量输入模型的归一化层，通过所述归一化层获取样本图像的特征分布概率；
损失计算模块，用于通过预设损失函数，根据所述特征分布概率，计算模型的损失；
参数调整模块，用于根据所述模型的损失，对模型的参数进行调整；
模型获取模块，用于返回所述向量获取模块继续执行，直至所述模型的损失小于预设率阈值时，得到训练好的模型。
6.根据权利要求5所述的装置，其特征在于，所述加角余量模块，包括：
第一预设公式子模块，用于分别计算所述目标类特征中心向量与各子类特征中心向量间夹角的余弦值，将目标类特征中心向量自身相乘的对应项置零，确定其中最大的余弦值对应的夹角值，通过公式：
Figure FDA0002252641440000041
得到动态加角余量，其中，l、s、b是经验值的超参数，θmax为最大的余弦值对应的夹角值，vyi为动态加角余量。
7.根据权利要求5所述的装置，其特征在于，所述第二余弦值模块，包括：
第二预设公式子模块，用于根据所述动态加角余量以及所述目标类特征中心向量间的夹角，通过公式：
θ′yi＝θyi+vyi
得到第二夹角，其中，vyi为动态加角余量，θyi为样本图像特征向量与目标类特征中心向量间的夹角，θyi′为通过第二预设公式求得的第二夹角；
余弦函数子模块，根据第二夹角，通过对所述第二夹角求余弦，得到第二余弦值，并利用所述第二余弦值替换所述第一余弦值向量中特征向量与目标类特征中心向量间的夹角的余弦值，得到第二余弦值向量。
8.根据权利要求5所述的装置，其特征在于，所述损失计算模块包括：
损失函数子模块，用于通过公式：
Figure FDA0002252641440000042
根据所述特征分布概率，计算模型的损失，其中，L为分类概率的损失，yj为第j个样本图像的实际分类的概率，Sj为第j个样本图像的特征分布概率。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的基于新型损失函数的卷积神经网络目标分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的基于新型损失函数的卷积神经网络目标分类方法。
CN201911040260.0A 2019-10-29 2019-10-29 一种卷积神经网络目标分类方法 Active CN110880018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911040260.0A CN110880018B (zh) 2019-10-29 2019-10-29 一种卷积神经网络目标分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911040260.0A CN110880018B (zh) 2019-10-29 2019-10-29 一种卷积神经网络目标分类方法

Publications (2)

Publication Number Publication Date
CN110880018A true CN110880018A (zh) 2020-03-13
CN110880018B CN110880018B (zh) 2023-03-14

Family

ID=69728313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911040260.0A Active CN110880018B (zh) 2019-10-29 2019-10-29 一种卷积神经网络目标分类方法

Country Status (1)

Country Link
CN (1) CN110880018B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN114495243A (zh) * 2022-04-06 2022-05-13 第六镜科技(成都)有限公司 图像识别模型训练及图像识别方法、装置、电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180042A1 (en) * 2014-05-27 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Learning deep face representation
CN106570467A (zh) * 2016-10-25 2017-04-19 南京南瑞集团公司 一种基于卷积神经网络的人员离岗检测方法
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109241988A (zh) * 2018-07-16 2019-01-18 北京市商汤科技开发有限公司 特征提取方法和装置、电子设备、存储介质、程序产品
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110197102A (zh) * 2018-02-27 2019-09-03 腾讯科技（深圳）有限公司 人脸识别方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180042A1 (en) * 2014-05-27 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Learning deep face representation
CN106570467A (zh) * 2016-10-25 2017-04-19 南京南瑞集团公司 一种基于卷积神经网络的人员离岗检测方法
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN110197102A (zh) * 2018-02-27 2019-09-03 腾讯科技（深圳）有限公司 人脸识别方法及装置
CN109241988A (zh) * 2018-07-16 2019-01-18 北京市商汤科技开发有限公司 特征提取方法和装置、电子设备、存储介质、程序产品
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HAO WANG 等: "CosFace: Large Margin Cosine Loss for Deep Face Recognition", 《ARXIV》 *
JIANKANG DENG 等: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《ARXIV》 *
WEIYANG LIU 等: "SphereFace: Deep Hypersphere Embedding for Face Recognition", 《ARXIV》 *
XIAO ZHANG 等: "AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations", 《CVPR 2019》 *
任克强 等: "深度卷积神经网络的判别性人脸识别算法", 《华中科技大学学报（自然科学版）》 *
李建科 等: "增强LLE特征分类性能的人脸识别", 《北京理工大学学报》 *
范雪 等: "基于深度学习的人脸图像扭正算法", 《信息通信》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN111666902B (zh) * 2020-06-10 2022-11-01 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN114495243A (zh) * 2022-04-06 2022-05-13 第六镜科技(成都)有限公司 图像识别模型训练及图像识别方法、装置、电子设备
CN114495243B (zh) * 2022-04-06 2022-07-05 第六镜科技(成都)有限公司 图像识别模型训练及图像识别方法、装置、电子设备

Also Published As

Publication number Publication date
CN110880018B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110163300B (zh) 一种图像分类方法、装置、电子设备及存储介质
CN106897746B (zh) 数据分类模型训练方法和装置
CN110909784B (zh) 一种图像识别模型的训练方法、装置及电子设备
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
CN112446379B (zh) 一种动态大场景自适应智能处理方法
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN110880018B (zh) 一种卷积神经网络目标分类方法
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN112348761B (zh) 设备外观图像亮度调节方法及装置
CN111695624A (zh) 数据增强策略的更新方法、装置、设备及存储介质
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN113920382B (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
Nie et al. Using an improved SIFT algorithm and fuzzy closed-loop control strategy for object recognition in cluttered scenes
CN112836819B (zh) 一种神经网络模型生成方法及装置
CN112418098A (zh) 视频结构化模型的训练方法及相关设备
CN111523598A (zh) 一种基于神经网络和视觉分析的图像识别方法
CN112308197A (zh) 一种卷积神经网络的压缩方法、装置及电子设备
CN110738276A (zh) 图像素材生成方法和装置及电子设备、计算机可读存储介质
CN113486918B (zh) 基于动态调整特征向量分布趋势的图像识别方法及其设备
CN111340138B (zh) 图像分类方法、装置、电子设备及存储介质
CN112288003B (zh) 一种神经网络训练、及目标检测方法和装置
CN111881312B (zh) 一种图像数据集分类划分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant