CN107944410A - 一种基于卷积神经网络的跨领域面部特征解析方法 - Google Patents
一种基于卷积神经网络的跨领域面部特征解析方法 Download PDFInfo
- Publication number
- CN107944410A CN107944410A CN201711251399.0A CN201711251399A CN107944410A CN 107944410 A CN107944410 A CN 107944410A CN 201711251399 A CN201711251399 A CN 201711251399A CN 107944410 A CN107944410 A CN 107944410A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- sample
- cross
- facial characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于卷积神经网络的跨领域面部特征解析方法，包括：采集样本数据；根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；对所述模型进行训练；通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务；本发明将自适应特征学习和识别模型训练联合到统一的卷积神经网络框架中，同时优化样本标签预测、领域标签预测和样本相似性预测三个目标函数的损失，确保网络学习到的面部图像特征具有类间判别性和领域不变性，尤其适用于跨领域面部特征解析。
Description
技术领域
本发明涉及计算机视觉、人工智能技术领域，尤其涉及一种基于卷积神经网络的跨领域面部特征解析方法。
背景技术
跨领域面部特征解析方法属于领域自适应方法在面部特征解析上的应用。领域自适应的主要内容是通过最小化源域(训练数据集)和目标域(测试数据集)间的数据分布差异，力求实现将在训练集中学习的识别模型自适应地运用到测试集中。在面部特征解析过程中，最小化数据分布差异的方法大多是基于给定的输入面部图像特征表达学习源域与目标域之间的特征变换，再基于此特征学习具有领域自适应能力的面部特征解析模型。传统的面部特征解析方法主要包括基于面部几何特征、模板匹配、代数特征及神经网络等方法，但是，这些方法大多属于浅层模型，学习能力有限，已经越来越无法满足实际应用需求。
在深度学习模型中，通常使用大数据集进行特征提取，而对于小规模数据集，常采用Fine-tuning技术将已有的深度神经网络模型参数自适应到该小规模目标数据集上进行学习。虽然Fine-tuning技术具有较强的领域自适应性，但其要求目标数据集中具有足够多的有标签数据。而在跨领域面部特征解析问题中，目标域的数据样本通常没有标签信息(无监督领域自适应)或只有少量的有标签信息(半监督自适应)。因此，需要一种新的技术手段，能够在保证学习能力的基础上，具有领域自适应性的面部特征表达。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种基于卷积神经网络的跨领域面部特征解析方法，以克服上述技术问题。
本发明提供的基于卷积神经网络的跨领域面部特征解析方法，包括：
采集样本数据；
根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；
根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；
对所述模型进行训练；
通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务。
进一步，所述跨领域面部特征解析网络模型的结构为卷积神经网络，包括特征提取器、领域标签预测器、相似性预测器和类别标签预测器，所述卷积神经网络包括多个卷积层，并至少包括两个全连接层，通过在最后一个全连接层后插入自适应网络层，形成特征映射层。
进一步，在所述自适应网络层后设置宽度与样本类别数相等的全连接层Ⅰ，并将其作为类别标签预测器，将softmax loss函数作为样本标签预测的损失函数，通过所述类别标签预测器和样本标签预测的损失函数对无标签数据的样本类别进行预测。
进一步，所述跨领域面部特征解析网络模型包括源域数据通道与目标域数据通道，在每条通道的自适应网络层后分别设置全连接层Ⅱ，并将contrastive loss函数作为领域间样本对相似性评估的损失函数，根据所述领域间样本对相似性评估的损失函数预测样本的相似度。
进一步，在所述自适应网络层后设置梯度反向层，并在所述梯度反向层后添加多个堆叠的全连接层，并将cross-entropy loss作为领域标签预测的损失函数，根据所述领域标签预测的损失函数预测样本所属领域。
进一步，对所述跨领域面部特征解析网络模型进行模型优化，所述模型优化包括：
通过最小化有标签样本的标签预测损失函数，对特征映射层和样本类别标签预测函数进行参数优化。
进一步，所述模型优化还包括：通过最大化领域标签预测器对样本领域标签预测的损失函数，对学习图像特征的领域不可区分性进行优化。
进一步，所述模型优化还包括：通过最小化相似性预测器对于样本对相似性预测的损失函数，对基于特征映射层学习的图像特征的类间判别性和领域不变性进行优化。
进一步，所述模型优化通过如下公式表示：
其中，E(θf，θy，θd，θs)为优化的目标函数，Ly(.)为样本类别标签预测的损失函数，Ld(.)领域标签预测的损失函数，Ls(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θf为特征映射参数，θy为类别标签预测参数，θs为相似性映射参数，θd为领域标签映射参数，Gf为特征映射器，Gy为类别标签预测器，Gs为相似性预测器，Gd为领域标签预测器，di为源域数据样本的领域标签，dj为目标域数据样本的领域标签，xi t为目标域的样本数据，xi s为源域的样本数据，sij为样本对的相似度，ns,nt分别指源域和目标域中的样本数量。
进一步，将梯度反转层插入到特征映射层与领域标签预测层之间，所述梯度反转层在前向传播和反向传播中的功能通过如下公式表示：
Rα(x)＝x
其中，I表示单位矩阵，Rα(x)为梯度反转层函数，α为目标函数训练过程中的权重系数。
本发明的有益效果：本发明中的基于卷积神经网络的跨领域面部特征解析方法，针对不同任务建立了相应的特征提取器、类别标签预测器、相似性预测器及领域标签预测器，并对应不同的损失函数，将自适应特征学习和识别模型训练联合到统一的卷积神经网络框架中，同时优化样本标签预测、领域标签预测和样本相似性预测三个目标函数的损失，确保网络学习到的面部图像特征具有类间判别性和领域不变性，尤其适用于跨领域面部特征解析，能够在保证学习能力的基础上，具有领域自适应性的面部特征表达。
附图说明
图1是本发明实施例中基于卷积神经网络的跨领域面部特征解析方法的流程示意图。
图2是本发明实施例中跨领域面部特征解析网络模型的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本实施例中的基于卷积神经网络的跨领域面部特征解析方法，包括：
采集样本数据；
根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；
根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；
对所述模型进行训练；
通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务。
在本实施例中，针对半监督的面部特征解析问题，为了增强识别方法的领域自适应性，本实施例通过在卷积神经网络中加入领域间有标签样本的相似性约束，利用所有的有类别标签和无类别标签样本数据学习同时具有领域自适应性的面部特征表达，本实施例中的跨领域面部特征解析的卷积神经网络针对不同任务建立了相应的特征提取器、类别标签预测器、相似性预测器及领域标签预测器，并对应不同的损失函数，并同时优化面部图像样本的类别标签预测函数、领域标签预测函数和样本相似性预测函数三个目标损失函数来确保网络学习到的面部图像特征具有类间判别性和领域不变性。
在本实施例中，跨领域面部特征解析网络模型搭建的过程如下：对于半监督的跨领域面部特征解析问题，源域数据集S＝(Xs,Ys)，其中Ys为Xs对应的类别标签集，目标域数据集T＝(Xlt,Ylt,Xut)，其中(Xlt,Ylt)为少量的有标签数据，Ylt为Xlt的类别标签，Xut为大量的无标签数据。源域S和目标域T中数据的边缘分布分别为P(Xs),P(Xt),且P(Xs)≠P(Xt)，表征源域与目标域数据相关但是具有不同的数据分布。变量Sij为领域间的相似性标签，若源域S中的某样本(xi s,yi s)与目标域T中的某个样本(xj lt,yj lt)具有相同的类别标签(yi s,yj lt)，则样本对(xi s,xj lt)的相似性标签Sij＝1，反之Sij＝0。di表示数据样本的领域标签，指示其所属领域，源域S中任一样本xi s的领域标签di＝0，目标域T中任一样本xi t的领域标签di＝1。
如图2所示，本实施例中的跨领域面部特征解析网络模型由两条网络通道构成，分别对应源域与目标域数据，图中已由8层卷积神经网络作为基础框架为例进行说明。为了防止网络学习的过拟合，在第二个全连接层后面插入一个宽度为128的自适应网络层fca，与前面的卷积层网络一起形成特征映射层，设特征映射参数为θf，则经特征映射器Gf后提取出的特征表达式为
本实施例中跨领域面部特征解析网络模型的后续网络根据不同任务进行不同的设置：
对于样本类别标签预测任务，在fca后面连接一个宽度与样本类别数相等的全连接层fc8作为类别标签预测器，其采用softmaxloss作为样本标签预测的损失函数。设类别标签映射参数为θy，则通过类别标签映射器Gy预测的样本类别标签表示为
对于样本对相似性估计任务，在每条通道的fca后面连接一个宽度为2的全连接层fcs，采用contrastiveloss作为领域间样本对相似性评估的损失函数。设相似性映射参数为θs，通过相似性映射器Gs预测的样本对相似度
对于样本所属领域标签预测的任务，首先在fca后面连接实现梯度反转的GRL网络层，然后在GRL层后面紧跟由3个全连接层(宽度为1024→1024→1)堆叠组成的fc-domain网络，采用cross-entropyloss作为领域标签预测的损失函数。利用参数为θd的领域标签映射器Gd预测对应样本的领域标签为
在本实施例中，模型训练主要是通过对样本类别标签预测函数、领域标签预测函数和样本相似性预测函数这三个目标损失函数进行求解而确定各个参数，实现面部特征解析的相关任务。其中，训练策略为：通过最小化有标签样本Xs和Xlt的标签预测损失函数，来优化特征映射参数θf和类别标签预测参数θy，使得基于θf学习的图像特征表达具有足够的判别性，并能够加强类别标签预测器Gy的预测准确性。源域与目标域之间的数据相似性衡量问题可以看作一个域间二分类器的损失评估问题，分类损失越大则说明领域之间越不可分，即越相似。因此，本实施例通过最大化领域标签预测器Gd对样本领域标签预测的损失函数，来学习图像特征的领域不可区分性。另外，基于领域间相似和不相似样本对的约束，通过最小化相似性预测器Gs对于样本对相似性预测的损失函数，来进一步提升基于θf学习的图像特征的类间判别性和领域不变性。
本实施例中优化的目标函数为：
其中，E(θf，θy，θd，θs)为优化的目标函数，Ly(.)为样本类别标签预测的损失函数，Ld(.)领域标签预测的损失函数，Ls(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θf为特征映射参数，θy为类别标签预测参数，θs为相似性映射参数，θd为领域标签映射参数，Gf为特征映射器，Gy为类别标签预测器，Gs为相似性预测器，Gd为领域标签预测器，di为源域数据样本的领域标签，dj为目标域数据样本的领域标签，xi t为目标域的样本数据，xi s为源域的样本数据，sij为样本对的相似度，ns,nt分别指源域和目标域中的样本数量。
通过最小化上述目标函数，本发明采用随机梯度下降法求解出的模型最优参数即:
随机梯度下降法的迭代更新过程如下：
其中，参数μ表示迭代更新速率，通过不断地迭代更新直到模型收敛，得到各个参数的最优解。
由于在领域标签预测函数中加入了权重系数-α，而无法直接使用卷积神经网络参数更新中的随机梯度下降法，因此，本实施例采用将梯度反转层GRL插入到特征映射层与领域标签预测层之间。GRL的作用为：在网络前向传播过程中，GRL层是一个单位变换层，即将前一网络层的输出不做任何变化直接作为GRL下一网络层的输入；在网络反向传播过程中，GRL层将后一网络层传递过来的梯度(即损失函数Ld对于相应参数的偏导数)乘上反转系数因子-α，再传递到GRL层的前一层，因此将损失函数最小化问题转变为最大化领域标签分类损失函数。设GRL层功能为一个伪函数Rα(x)，其在前向传播和反向传播中的功能描述为：
Rα(x)＝x (式7)
其中，I表示单位矩阵。因此目标函数变为：
其等价于卷积神经网络中的随机梯度下降法求解过程，经该过程获取的各个参数形成的模型即是能够提取出具有良好类间判别性及领域适应性的面部特征模型。
在训练过程中，由于自fca层起的所有网络层都需要从随机初始值开始学习，因此设置它们的学习率是其他网络层学习率大小的10倍。设置学习目标函数的权重系数α和β分别为1和10。另外，本实施例在构造训练数据时，将每一个训练样本都减去相应的均值，且设置每一批训练数据中源域和目标域数据比例为1:1，以此确保网络学习过程中的平稳性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于卷积神经网络的跨领域面部特征解析方法，其特征在于，包括：
采集样本数据；
根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；
根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；
对所述模型进行训练；
通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务。
2.根据权利要求1所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述跨领域面部特征解析网络模型的结构为卷积神经网络，包括特征提取器、领域标签预测器、相似性预测器和类别标签预测器，所述卷积神经网络包括多个卷积层，以及至少两个全连接层，通过在最后一个全连接层后插入自适应网络层，形成特征映射层。
3.根据权利要求2所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，在所述自适应网络层后设置宽度与样本类别数相等的全连接层，并将其作为类别标签预测器，将softmax loss函数作为样本标签预测的损失函数，通过所述类别标签预测器和样本标签预测的损失函数对无标签数据的样本类别进行预测。
4.根据权利要求3所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述跨领域面部特征解析网络模型包括源域数据通道与目标域数据通道，在每条通道的自适应网络层后分别设置全连接层，并将contrastive loss函数作为领域间样本对相似性评估的损失函数，根据所述领域间样本对相似性评估的损失函数预测样本的相似度。
5.根据权利要求4所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，在所述自适应网络层后设置梯度反向层，并在所述梯度反向层后添加多个堆叠的全连接层，并将cross-entropy loss作为领域标签预测的损失函数，根据所述领域标签预测的损失函数预测样本所属领域。
6.根据权利要求5所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，对所述跨领域面部特征解析网络模型进行模型优化，所述模型优化包括：
通过最小化有标签样本的标签预测损失函数，对特征映射层和样本类别标签预测函数进行参数优化。
7.根据权利要求6所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述模型优化还包括：通过最大化领域标签预测器对样本领域标签预测的损失函数，对学习图像特征的领域不可区分性进行优化。
8.根据权利要求7所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述模型优化还包括：通过最小化相似性预测器对于样本对相似性预测的损失函数，对基于特征映射层学习的图像特征的类间判别性和领域不变性进行优化。
9.根据权利要求8所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述模型优化通过如下公式表示：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>y</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msub>
<mi>L</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>G</mi>
<mi>f</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>t</mi>
</msubsup>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>y</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>&alpha;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msub>
<mi>L</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>d</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>G</mi>
<mi>f</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>t</mi>
</msubsup>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msub>
<mi>L</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>G</mi>
<mi>f</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>t</mi>
</msubsup>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>;</mo>
<msub>
<mi>&theta;</mi>
<mi>s</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>s</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msubsup>
<mi>L</mi>
<mi>y</mi>
<mi>i</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&alpha;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msubsup>
<mi>L</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mrow>
</munderover>
<msubsup>
<mi>L</mi>
<mi>s</mi>
<mi>i</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>f</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，E(θf，θy，θd，θs)为优化的目标函数，Ly(.)为样本类别标签预测的损失函数，Ld(.)领域标签预测的损失函数，Ls(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θf为特征映射参数，θy为类别标签预测参数，θs为相似性映射参数，θd为领域标签映射参数，Gf为特征映射器，Gy为类别标签预测器，Gs为相似性预测器，Gd为领域标签预测器，di为源域数据样本的领域标签，dj为目标域数据样本的领域标签，xi t为目标域的样本数据，xi s为源域的样本数据，sij为样本对的相似度，ns,nt分别指源域和目标域中的样本数量。
10.根据权利要求9所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，将梯度反转层插入到特征映射层与领域标签预测层之间，所述梯度反转层在前向传播和反向传播中的功能通过如下公式表示：
Rα(x)＝x
<mrow>
<mfrac>
<mrow>
<msub>
<mi>dR</mi>
<mi>&alpha;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mi>&alpha;</mi>
<mi>I</mi>
</mrow>
其中，I表示单位矩阵，Rα(x)为梯度反转层函数，α为目标函数训练过程中的权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711251399.0A CN107944410B (zh) | 2017-12-01 | 2017-12-01 | 一种基于卷积神经网络的跨领域面部特征解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711251399.0A CN107944410B (zh) | 2017-12-01 | 2017-12-01 | 一种基于卷积神经网络的跨领域面部特征解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107944410A true CN107944410A (zh) | 2018-04-20 |
| CN107944410B CN107944410B (zh) | 2020-07-28 |
Family
ID=61947339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711251399.0A Active CN107944410B (zh) | 2017-12-01 | 2017-12-01 | 一种基于卷积神经网络的跨领域面部特征解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107944410B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197669A (zh) * | 2018-01-31 | 2018-06-22 | 北京陌上花科技有限公司 | 卷积神经网络的特征训练方法及装置 |
| CN109239082A (zh) * | 2018-09-21 | 2019-01-18 | 杭州安脉盛智能技术有限公司 | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 |
| CN109492666A (zh) * | 2018-09-30 | 2019-03-19 | 北京百卓网络技术有限公司 | 图像识别模型训练方法、装置及存储介质 |
| CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
| CN110060758A (zh) * | 2019-04-11 | 2019-07-26 | 刘刚 | 一种面神经微创切除术在梅杰综合征中的应用系统 |
| CN110223676A (zh) * | 2019-06-14 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 欺骗录音检测神经网络模型的优化方法及系统 |
| CN110490027A (zh) * | 2018-05-15 | 2019-11-22 | 触景无限科技（北京）有限公司 | 一种用于人脸识别的人脸特征提取训练方法及系统 |
| CN110825853A (zh) * | 2018-08-07 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 数据训练方法和装置 |
| CN113392967A (zh) * | 2020-03-11 | 2021-09-14 | 富士通株式会社 | 领域对抗神经网络的训练方法 |
| US11586925B2 (en) * | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160140425A1 (en) * | 2014-11-14 | 2016-05-19 | Thomson Licensing | Method and apparatus for image classification with joint feature adaptation and classifier learning |
| CN106407369A (zh) * | 2016-09-09 | 2017-02-15 | 华南理工大学 | 一种基于深度学习人脸识别的照片管理方法和系统 |
| CN106599863A (zh) * | 2016-12-21 | 2017-04-26 | 中国科学院光电技术研究所 | 一种基于迁移学习技术的深度人脸识别方法 |
-
2017
- 2017-12-01 CN CN201711251399.0A patent/CN107944410B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160140425A1 (en) * | 2014-11-14 | 2016-05-19 | Thomson Licensing | Method and apparatus for image classification with joint feature adaptation and classifier learning |
| CN106407369A (zh) * | 2016-09-09 | 2017-02-15 | 华南理工大学 | 一种基于深度学习人脸识别的照片管理方法和系统 |
| CN106599863A (zh) * | 2016-12-21 | 2017-04-26 | 中国科学院光电技术研究所 | 一种基于迁移学习技术的深度人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 余化鹏等: "基于深度迁移学习的人脸识别方法研究", 《成都大学学报(自然科学版)》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11586925B2 (en) * | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
| CN108197669A (zh) * | 2018-01-31 | 2018-06-22 | 北京陌上花科技有限公司 | 卷积神经网络的特征训练方法及装置 |
| CN110490027B (zh) * | 2018-05-15 | 2023-06-16 | 触景无限科技（北京）有限公司 | 人脸特征提取训练方法及系统 |
| CN110490027A (zh) * | 2018-05-15 | 2019-11-22 | 触景无限科技（北京）有限公司 | 一种用于人脸识别的人脸特征提取训练方法及系统 |
| CN110825853B (zh) * | 2018-08-07 | 2023-05-26 | 阿里巴巴集团控股有限公司 | 数据训练方法和装置 |
| CN110825853A (zh) * | 2018-08-07 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 数据训练方法和装置 |
| CN109239082A (zh) * | 2018-09-21 | 2019-01-18 | 杭州安脉盛智能技术有限公司 | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 |
| CN109239082B (zh) * | 2018-09-21 | 2021-01-26 | 杭州安脉盛智能技术有限公司 | 基于机器视觉技术的烟丝结构质量在线检测方法及系统 |
| CN109492666A (zh) * | 2018-09-30 | 2019-03-19 | 北京百卓网络技术有限公司 | 图像识别模型训练方法、装置及存储介质 |
| CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
| CN110060758A (zh) * | 2019-04-11 | 2019-07-26 | 刘刚 | 一种面神经微创切除术在梅杰综合征中的应用系统 |
| CN110223676A (zh) * | 2019-06-14 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 欺骗录音检测神经网络模型的优化方法及系统 |
| CN113392967A (zh) * | 2020-03-11 | 2021-09-14 | 富士通株式会社 | 领域对抗神经网络的训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107944410B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944410A (zh) | 一种基于卷积神经网络的跨领域面部特征解析方法 | |
| Zhou et al. | Graph neural networks: Taxonomy, advances, and trends | |
| CN103984959B (zh) | 一种基于数据与任务驱动的图像分类方法 | |
| CN104933428B (zh) | 一种基于张量描述的人脸识别方法及装置 | |
| CN110147456A (zh) | 一种图像分类方法、装置、可读存储介质及终端设备 | |
| CN106951825A (zh) | 一种人脸图像质量评估系统以及实现方法 | |
| CN107704877A (zh) | 一种基于深度学习的图像隐私感知方法 | |
| CN106845530A (zh) | 字符检测方法和装置 | |
| CN103198228B (zh) | 基于广义关系隐话题模型的关系网络链接预测方法 | |
| CN107463966A (zh) | 基于双深度神经网络的雷达一维距离像目标识别方法 | |
| CN105184772A (zh) | 一种基于超像素的自适应彩色图像分割方法 | |
| CN110135231A (zh) | 动物面部识别方法、装置、计算机设备和存储介质 | |
| CN106815604A (zh) | 基于多层信息融合的注视点检测方法 | |
| CN106682696A (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
| CN104850890A (zh) | 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法 | |
| CN105046277A (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
| CN104966105A (zh) | 一种鲁棒机器错误检索方法与系统 | |
| CN104217438A (zh) | 基于半监督的图像显著性检测方法 | |
| CN109918642A (zh) | 基于委员会查询的主动学习框架的情感分析方法及系统 | |
| CN115907001B (zh) | 基于知识蒸馏的联邦图学习方法及自动驾驶方法 | |
| CN107729312A (zh) | 基于序列标注建模的多粒度分词方法及系统 | |
| CN105095863A (zh) | 基于相似性权值的半监督字典学习的人体行为识别方法 | |
| CN110263979A (zh) | 基于强化学习模型预测样本标签的方法及装置 | |
| CN103745233B (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
| CN106021990A (zh) | 一种将生物基因以特定的性状进行分类与自我识别的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221110 Address after: Room 06, Floor 4, Building A, Hefeng Science and Technology Innovation Park, No. 2, Taishan Road, High tech Zone, Suzhou City, Jiangsu Province, 215129 Patentee after: Zhongke Hongtuo (Suzhou) Intelligent Technology Co.,Ltd. Address before: 400714 No. 266 Fangzheng Avenue, Beibei District, Beibei District, Chongqing Patentee before: CHONGQING INSTITUTE OF GREEN AND INTELLIGENT TECHNOLOGY, CHINESE ACADEMY OF SCIENCES |