CN107392129A - 基于Softmax的人脸检索方法和系统 - Google Patents
基于Softmax的人脸检索方法和系统 Download PDFInfo
- Publication number
- CN107392129A CN107392129A CN201710570916.4A CN201710570916A CN107392129A CN 107392129 A CN107392129 A CN 107392129A CN 201710570916 A CN201710570916 A CN 201710570916A CN 107392129 A CN107392129 A CN 107392129A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- training
- retrieval
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明公开了一种基于Softmax的人脸检索方法和系统，其中，方法包括：获取每类回归分类模型的每个训练样本的训练特征向量，对训练特征向量均值处理得到训练均值特征向量；对训练均值特征向量和训练特征向量夹角分布分析得到夹角标准信息；获取检索库中每个检索样本的检索特征向量，根据检索特征向量和训练均值特征向量评估得到检索夹角信息；将检索夹角信息与夹角标准信息通过惩罚系数公式得到每个检索样本的惩罚系数；根据惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。本发明提高了在大规模检索库中人脸相似检索的准确率，并且不依赖于神经网络的结构，任何使用softmax的特征提取方法都能采用本发明提升检索准确性，应用范围广。
Description
技术领域
本发明涉及图像检索技术领域，尤其涉及一种基于Softmax的人脸检索方法和系统。
背景技术
随着视觉监控设备的广泛使用、数字图像拍摄设备的普及以及网络社交网站的迅速发展，人脸图像的数据迅速增长到海量的规模，根据图像内容进行有效的图像检索具有重要的意义。当前广泛使用的人脸特征主要分为：几何特征、PCA、不变特征。基于几何特征方法的基本思想是提取面部显著特征(例如眉毛，眼睛，鼻子，嘴巴等)的相对位置和相对大小作为特征参数，再辅以人脸轮廓的形状信息，形成特征向量，最后利用适当的距离度量和分类方法对特征向量加以分类。PCA方法主要将人脸图像通过主成份分析(PCA)提取出人脸的主要特征，降低特征维度，同时该方法需要进行学习。不变特征是指提取对各种外在变化不敏感的人脸特征。该类方法引入局部纹理特征，扩展空频变换特征，扩展灰度统计特征，扩展几何结构特征。
上述基于人脸特征的检索方法主要是从图像库中检索人脸的图像，但是对于大规模人脸检索问题，如果直接使用传统的人脸识别的方法，检索库的规模除了会影响检索速度外，还会极大地影响检索准确率。对于同一张人脸图片，在数量为10万的检索库中的检索准确率，与在数量为1000万的检索库中的检索准确率是截然不同的；当检索库规模增大时，误检的概率会急剧上升。
发明内容
本发明的目的是提供一种基于Softmax的人脸检索方法和系统，提高了在大规模检索库中人脸相似检索的准确率减少误检的概率，并且不依赖于神经网络的结构，任何使用softmax的特征提取方法都能采用本发明提升检索准确性，应用范围广。
本发明提供了一种基于Softmax的人脸检索方法，包括以下步骤：
获取每类回归分类模型的每个训练样本的训练特征向量，对所述训练特征向量进行均值处理，得到训练均值特征向量；
对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息；
将所述检索夹角信息与所述夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
根据所述惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
作为一种可实施方式，所述对所述训练特征向量进行均值处理，得到训练均值特征向量，包括以下步骤：
设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。
作为一种可实施方式，所述对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息，包括以下步骤：
根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
根据公式(2)推出夹角标准信息为：
公式(1)中，σn为第n类的夹角标准信息。
作为一种可实施方式，所述获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息，包括以下步骤：
根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
根据公式(4)评估得到检索夹角信息为：
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
作为一种可实施方式，所述惩罚系数公式为：
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。
相应的，本发明还提供一种基于Softmax的人脸检索系统，包括获取处理模式、夹角分布分析模块、检索夹角评估模块、惩罚系数处理模块以及排序输出模块；
所述获取处理模式，用于获取每类回归分类模型的每个训练样本的训练特征向量，对所述训练特征向量进行均值处理，得到训练均值特征向量；
所述夹角分布分析模块，用于对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
所述检索夹角评估模块，用于获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息；
所述惩罚系数处理模块，用于将所述检索夹角信息与所述夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
所述排序输出模块，用于根据所述惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
作为一种可实施方式，所述获取处理模式包括均值处理单元；
所述均值处理单元，用于设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。
作为一种可实施方式，所述夹角分布分析模块包括标准信息处理单元；
所述标准信息处理单元，用于根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
根据公式(2)推出夹角标准信息为：
公式(1)中，σn为第n类的夹角标准信息。
作为一种可实施方式，所述检索夹角评估模块包括评估单元；
所述评估单元，用于根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
根据公式(4)评估得到检索夹角信息为：
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
作为一种可实施方式，所述惩罚系数公式为：
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。
与现有技术相比，本技术方案具有以下优点：
本发明提供的基于Softmax的人脸检索方法和系统，基于深度神经网络训练的多类softmax分类器，在网络训练完后，取softmax前一层的输出结果作为训练特征向量，并分析每类回归分类模型的夹角标准信息；在实际检索时，通过度量特征向量的相似度(通常是夹角)来表示人脸的相似度；再通过对检索库中每个检索样本的检索特征向量的进行分析，评估得到检索夹角信息；根据检索夹角信息与夹角标准信息得到每个检索样本的惩罚系数；最后根据惩罚系数对每个检索样本的检索结果进行相似度排序并输出。本发明提高了在大规模检索库中人脸相似检索的准确率减少误检的概率，并且不依赖于神经网络的结构，任何使用softmax的特征提取方法都能采用本发明提升检索准确性，应用范围广。
附图说明
图1为本发明实施例一提供的基于Softmax的人脸检索方法的流程示意图；
图2为本发明实施例二提供的基于Softmax的人脸检索系统的结构示意图。
图中：100、获取处理模式；110、均值处理单元；200、夹角分布分析模块；210、标准信息处理单元；300、检索夹角评估模块；310、评估单元；400、惩罚系数处理模块；500、排序输出模块。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
请参阅图1，本发明实施例一提供的基于Softmax的人脸检索方法，包括以下步骤：
S100、获取每类回归分类模型的每个训练样本的训练特征向量，对训练特征向量进行均值处理，得到训练均值特征向量；
S200、对训练均值特征向量和训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
S300、获取检索库中每个检索样本的检索特征向量，根据检索特征向量和训练均值特征向量评估得到检索夹角信息；
S400、将检索夹角信息与夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
S500、根据惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
于本实施例中，基于深度神经网络训练的多类softmax分类器，在网络训练完后，取softmax前一层的输出结果作为训练特征向量，这里需要说明的是，会建立很多类回归分类模型，而每一类回归分类模型中都会有很多个训练样本。本发明还会涉及到向量维度D。比如：人脸特征维度为200维，训练样本共有10000类，每类150个训练样本共计150万个训练样本；检索库共有100万个样本。而训练均值特征向量就是每类当中150个训练样本的训练特征向量的均值，也就是相当于有10000个的训练均值特征向量。
由于在实际检索时，通过度量特征向量的相似度(通常是夹角)来表示人脸的相似度；也就是说每个训练特征向量与训练均值特征向量的夹角都是不一样的，通过夹角分布分析得到一个标准的夹角标准信息，就能评估每个训练样本的相似度，即人脸的相似度；而在得到每类回归分类模型的夹角标准信息之后，可以将夹角标准信息进行存储建立参考系；方便后续数据的校验和提取使用。
惩罚系数的大小是根据将检索夹角信息与夹角标准信息通过惩罚系数公式进行处理得到的，也就是说检索样本与训练样本的相似度越高，其惩罚系数越小；相似度越低，其惩罚系数越大；这里的相似度直接体现在检索夹角信息与夹角标准信息两者的差异上。
本发明提供的基于Softmax的人脸检索方法，基于深度神经网络训练的多类softmax分类器，在网络训练完后，取softmax前一层的输出结果作为训练特征向量，并分析每类回归分类模型的夹角标准信息；在实际检索时，通过度量特征向量的相似度(通常是夹角)来表示人脸的相似度；再通过对检索库中每个检索样本的检索特征向量的进行分析，评估得到检索夹角信息；根据检索夹角信息与夹角标准信息得到每个检索样本的惩罚系数；最后根据惩罚系数对每个检索样本的检索结果进行相似度排序并输出。本发明提高了在大规模检索库中人脸相似检索的准确率减少误检的概率，并且不依赖于神经网络的结构，任何使用softmax的特征提取方法都能采用本发明提升检索准确性，应用范围广。
进一步的，步骤S100包括以下步骤：
设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。这里的n和m通常来说是整数，而每类训练样本的训练均值特征向量的模，即其到原点的距离，对于第n类的训练均值特征向量其模On即等于其二范数。需要说明的是训练特征向量X是将每个训练样本图片输入神经网络，推理至softmax前一层(一般为全连接层)，取这一层的输出值即为该训练样本的训练特征向量。然而，本发明对神经网络并不做任何限定。
进一步的，步骤S200包括以下步骤：
根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
根据公式(2)推出夹角标准信息为：
公式(1)中，σn为第n类的夹角标准信息。
以每一类为标准进行均值特征向量和均值特征向量的夹角的计算，夹角标准信息其实是每一类中训练特征向量与均值特征向量夹角的标准差，建立多个夹角标准信息的标准有利于提高检索样本对比的精确度。每个训练特征向量与均值特征向量夹角都是不同的，训练样本越多，生成的夹角标准信息就越准确。
进一步的，步骤S300包括以下步骤：
根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
根据公式(4)评估得到检索夹角信息为：
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
需要说明的是检索特征向量R是将每个检索样本图片输入神经网络，推理至softmax前一层(一般为全连接层)，取这一层的输出值即为该训练样本的训练特征向量。然而，本发明对神经网络并不做任何限定。而检索夹角信息是通过评估训练均值特征向量与检索特征向量进行评估，计算筛选夹角最小的函数。也就是说明与检索样本相似度最接近的一类回归分类模型，可以预见的是具有分类越多的回归分类模型，得到的相似度越接近，也就是最终检索结果准确性越高。
进一步的，惩罚系数公式为：
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。通过分析检索库中检索样本在特征空间中的分布情况，对每个检索样本在实际检索中的出错概率进行先验建模，提供相应的惩罚系数。
下面举例对本发明的原理进行具体说明：
假设人脸特征维度为200维，训练样本共有10000类，每类150个样本共计150万个训练样本；检索库共有100万个样本。
对于10000类中的每一类，例如第1类，通过公式(1)计算第1类内150个训练样本的均值训练特征向量(同样也是200维)，即：
第一类训练均值特征向量的模，即其到原点的距离，对于第1类的训练均值特征向量其模O1即等于其二范数。
然后通过公式(2)计算第1类内所有150个训练样本到训练均值特征向量的夹角距离，对于150个中的第m个，其夹角为：
继续通过公式(3)计算第1类内每个训练样本特征向量在夹角分布上的标准差，即第1类的夹角标准信息，其标准差σ1为：
对于检索库中的100万个检索样本，以其中一个样本A为例，获得检索特征向量R和检索特征向量的模，通过公式(4)计算与其夹角最小的训练样本类别i：
假设求得的其夹角最小的训练样本类别i为2，则通过公式(5)中计算出样本A的惩罚系数：
需要对检索库中的100万个检索样本都进行惩罚系数计算，并把得到的每个惩罚系数与之对应的检索样本进行关联；最终在实际检索时，检索样本A的最终相似度为原始相似度乘以惩罚系数；并以最终相似度的排序结果作为最终检索的结果。
基于同一发明构思，本发明实施例还提供一种基于Softmax的人脸检索系统，该系统的实施可参照上述方法的过程实现，重复之处不再冗述。
如图2所示，是本发明实施例二提供的基于Softmax的人脸检索系统的结构示意图，包括获取处理模式100、夹角分布分析模块200、检索夹角评估模块300、惩罚系数处理模块400以及排序输出模块500；
获取处理模式100用于获取每类回归分类模型的每个训练样本的训练特征向量，对训练特征向量进行均值处理，得到训练均值特征向量；
夹角分布分析模块200用于对训练均值特征向量和训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
检索夹角评估模块300用于获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息；
惩罚系数处理模块400用于将检索夹角信息与夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
排序输出模块500用于根据惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
进一步的，获取处理模式100包括均值处理单元110；
均值处理单元110用于设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。
进一步的，夹角分布分析模块200包括标准信息处理单元210；
标准信息处理单元210，用于根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
根据公式(2)推出夹角标准信息为：
公式(1)中，σn为第n类的夹角标准信息。
进一步的，检索夹角评估模块300包括评估单元310；
评估单元310用于根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
根据公式(4)评估得到检索夹角信息为：
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
进一步的，惩罚系数公式为：
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。
本发明提供的基于Softmax的人脸检索系统，基于深度神经网络训练的多类softmax分类器，在网络训练完后，取softmax前一层的输出结果作为训练特征向量，并分析每类回归分类模型的夹角标准信息；在实际检索时，通过度量特征向量的相似度(通常是夹角)来表示人脸的相似度；再通过对检索库中每个检索样本的检索特征向量的进行分析，评估得到检索夹角信息；根据检索夹角信息与夹角标准信息得到每个检索样本的惩罚系数；最后根据惩罚系数对每个检索样本的检索结果进行相似度排序并输出。本发明提高了在大规模检索库中人脸相似检索的准确率减少误检的概率，并且不依赖于神经网络的结构，任何使用softmax的特征提取方法都能采用本发明提升检索准确性，应用范围广。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (10)
1.一种基于Softmax的人脸检索方法，其特征在于，包括以下步骤：
获取每类回归分类模型的每个训练样本的训练特征向量，对所述训练特征向量进行均值处理，得到训练均值特征向量；
对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息；
将所述检索夹角信息与所述夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
根据所述惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
2.如权利要求1所述的基于Softmax的人脸检索方法，其特征在于，所述对所述训练特征向量进行均值处理，得到训练均值特征向量，包括以下步骤：
设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<mo>*</mo>
<msubsup>
<mi>&Sigma;</mi>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。
3.如权利要求2所述的基于Softmax的人脸检索方法，其特征在于，所述对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息，包括以下步骤：
根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
根据公式(2)推出夹角标准信息为：
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(1)中，σn为第n类的夹角标准信息。
4.如权利要求2所述的基于Softmax的人脸检索方法，其特征在于，所述获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息，包括以下步骤：
根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>argmin</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
根据公式(4)评估得到检索夹角信息为：
<mrow>
<msub>
<mi>A</mi>
<mi>R</mi>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
1
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
5.如权利要求1所述的基于Softmax的人脸检索方法，其特征在于，所述惩罚系数公式为：
<mrow>
<msub>
<mi>P</mi>
<mi>R</mi>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msub>
<mi>A</mi>
<mi>R</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>i</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>arccos</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。
6.一种基于Softmax的人脸检索系统，其特征在于，包括获取处理模式、夹角分布分析模块、检索夹角评估模块、惩罚系数处理模块以及排序输出模块；
所述获取处理模式，用于获取每类回归分类模型的每个训练样本的训练特征向量，对所述训练特征向量进行均值处理，得到训练均值特征向量；
所述夹角分布分析模块，用于对所述训练均值特征向量和所述训练特征向量进行夹角分布分析，得到每类回归分类模型的夹角标准信息；
所述检索夹角评估模块，用于获取检索库中每个检索样本的检索特征向量，根据所述检索特征向量和所述训练均值特征向量评估得到检索夹角信息；
所述惩罚系数处理模块，用于将所述检索夹角信息与所述夹角标准信息通过惩罚系数公式进行处理，得到每个检索样本的惩罚系数；
所述排序输出模块，用于根据所述惩罚系数对每个检索样本的检索结果进行相似度排序，输出排序结果。
7.如权利要求6所述的基于Softmax的人脸检索系统，其特征在于，所述获取处理模式包括均值处理单元；
所述均值处理单元，用于设定每个训练样本通过Softmax算法得到其训练特征向量X；训练样本共有n类，每类共有m个样本，则每类训练样本的训练均值特征向量表示为：
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<mo>*</mo>
<msubsup>
<mi>&Sigma;</mi>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(1)中，为第n类的训练均值特征向量，Xnm为第n类中的第m个训练样本的训练特征向量。
8.如权利要求7所述的基于Softmax的人脸检索系统，其特征在于，所述夹角分布分析模块包括标准信息处理单元；
所述标准信息处理单元，用于根据公式(1)得到第n类的第m个训练样本的训练特征向量与第n类的均值特征向量的夹角为：
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
根据公式(2)推出夹角标准信息为：
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(1)中，σn为第n类的夹角标准信息。
9.如权利要求7所述的基于Softmax的人脸检索系统，其特征在于，所述检索夹角评估模块包括评估单元；
所述评估单元，用于根据设定的每个检索样本通过Softmax算法得到其检索特征向量R和训练均值特征向量推算与检索样本最接近的训练样本类别i为：
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>argmin</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>n</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
根据公式(4)评估得到检索夹角信息为：
<mrow>
<msub>
<mi>A</mi>
<mi>R</mi>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(5)中，AR为R的检索夹角信息，为最接近的训练样本类别的训练均值特征向量。
10.如权利要求6所述的基于Softmax的人脸检索系统，其特征在于，所述惩罚系数公式为：
<mrow>
<msub>
<mi>P</mi>
<mi>R</mi>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msub>
<mi>A</mi>
<mi>R</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>i</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>arccos</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>|</mo>
<mover>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mn>1</mn>
<mi>m</mi>
</msubsup>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(6)中，PR为惩罚系数，Aim为与检索样本最接近的训练样本类别i类的夹角标准信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710570916.4A CN107392129A (zh) | 2017-07-13 | 2017-07-13 | 基于Softmax的人脸检索方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710570916.4A CN107392129A (zh) | 2017-07-13 | 2017-07-13 | 基于Softmax的人脸检索方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107392129A true CN107392129A (zh) | 2017-11-24 |
Family
ID=60340557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710570916.4A Pending CN107392129A (zh) | 2017-07-13 | 2017-07-13 | 基于Softmax的人脸检索方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392129A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263196A (zh) * | 2019-05-10 | 2019-09-20 | 南京旷云科技有限公司 | 图像检索方法、装置、电子设备及存储介质 |
| CN110516062A (zh) * | 2019-08-26 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种文档的搜索处理方法及装置 |
| CN110909766A (zh) * | 2019-10-29 | 2020-03-24 | 北京明略软件系统有限公司 | 相似度的确定方法及装置、存储介质、电子装置 |
| CN112529148A (zh) * | 2020-11-20 | 2021-03-19 | 郑州轻工业大学 | 一种基于图神经网络的智能QoS推理方法 |
| CN113454638A (zh) * | 2018-12-19 | 2021-09-28 | 艾奎菲股份有限公司 | 用于使用计算机视觉进行复杂视觉检查任务的联合学习的系统和方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1529278A (zh) * | 2003-10-09 | 2004-09-15 | 重庆大学 | 基于多类别的人脸分类识别方法 |
| CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
-
2017
- 2017-07-13 CN CN201710570916.4A patent/CN107392129A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1529278A (zh) * | 2003-10-09 | 2004-09-15 | 重庆大学 | 基于多类别的人脸分类识别方法 |
| CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李南忘 等: "基于余弦区分度的水体污染物分类方法", 《环境科学与技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113454638A (zh) * | 2018-12-19 | 2021-09-28 | 艾奎菲股份有限公司 | 用于使用计算机视觉进行复杂视觉检查任务的联合学习的系统和方法 |
| CN110263196A (zh) * | 2019-05-10 | 2019-09-20 | 南京旷云科技有限公司 | 图像检索方法、装置、电子设备及存储介质 |
| CN110263196B (zh) * | 2019-05-10 | 2022-05-06 | 南京旷云科技有限公司 | 图像检索方法、装置、电子设备及存储介质 |
| CN110516062A (zh) * | 2019-08-26 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种文档的搜索处理方法及装置 |
| CN110516062B (zh) * | 2019-08-26 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 一种文档的搜索处理方法及装置 |
| CN110909766A (zh) * | 2019-10-29 | 2020-03-24 | 北京明略软件系统有限公司 | 相似度的确定方法及装置、存储介质、电子装置 |
| CN110909766B (zh) * | 2019-10-29 | 2022-11-29 | 北京明略软件系统有限公司 | 相似度的确定方法及装置、存储介质、电子装置 |
| CN112529148A (zh) * | 2020-11-20 | 2021-03-19 | 郑州轻工业大学 | 一种基于图神经网络的智能QoS推理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Localizing and quantifying damage in social media images | |
| CN107392129A (zh) | 基于Softmax的人脸检索方法和系统 | |
| CN107368807B (zh) | 一种基于视觉词袋模型的监控视频车型分类方法 | |
| CN111126482B (zh) | 一种基于多分类器级联模型的遥感影像自动分类方法 | |
| CN110263774A (zh) | 一种人脸检测方法 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN110717534A (zh) | 一种基于网络监督的目标分类和定位方法 | |
| CN109739844B (zh) | 基于衰减权重的数据分类方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN112732916A (zh) | 一种基于bert的多特征融合模糊文本分类模型 | |
| CN106203483A (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
| CN109492230A (zh) | 一种基于感兴趣文本域卷积神经网络提取保险合同关键信息的方法 | |
| CN108764018A (zh) | 一种基于卷积神经网络的多任务车辆再识别方法及装置 | |
| CN109117885A (zh) | 一种基于深度学习的邮票识别方法 | |
| CN111597340A (zh) | 一种文本分类方法及装置、可读存储介质 | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
| CN107273505A (zh) | 基于非参数贝叶斯模型的监督跨模态哈希检索方法 | |
| CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
| Wang et al. | Remote-sensing image retrieval by combining image visual and semantic features | |
| CN110705489A (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN115858785A (zh) | 一种基于大数据的敏感数据识别方法及系统 | |
| CN115660182A (zh) | 基于最大期望样本加权神经网络模型的光伏出力预测方法 | |
| CN111813939A (zh) | 一种基于表征增强与融合的文本分类方法 | |
| Yoshihashi et al. | Evaluation of bird detection using time-lapse images around a wind farm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171124 |