CN113128287A - 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 - Google Patents
训练跨域人脸表情识别模型、人脸表情识别的方法及系统 Download PDFInfo
- Publication number
- CN113128287A CN113128287A CN201911416564.2A CN201911416564A CN113128287A CN 113128287 A CN113128287 A CN 113128287A CN 201911416564 A CN201911416564 A CN 201911416564A CN 113128287 A CN113128287 A CN 113128287A
- Authority
- CN
- China
- Prior art keywords
- domain
- local
- facial expression
- global
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 title claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims abstract description 32
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 10
- 238000013526 transfer learning Methods 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，其中训练方法包括：首先构建人脸全局‑局部特征图，利用源域的表情标签及特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域表情标签利用预设目标函数约束，将预训练好的特征提取器与判别器进行对抗式迁移学习，预训练好的分类器自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人特征图组成跨域人脸表情识别模型，该方法将图传播机制与对抗学习相集成，实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局‑局部图提高跨场景人脸表情识别准确率。
Description
技术领域
本发明涉及人脸表情领域，具体涉及一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统。
背景技术
人脸表情识别属于计算机视觉中的一个方向，用于判断人的情绪状态，通常应用于人机交互或安保监控中。人们构建了许多人脸表情识别数据集(包括受控环境与非受控环境)，并在此基础上提出了许多人脸表情识别算法，取得了不错的成绩。但是由于文化环境以及个体差异，人们对于人脸表情的理解并不完全统一，这使得各个数据集的标注数据存在偏差，导致大部分人脸表情识别算法无法很好的进行跨数据集/跨领域识别，从而导致大部分人脸表情识别算法在工业界落地时需要各个场景下的大量标注数据。有的跨场景/跨领域的人脸表情识别算法，引入领域迁移程度超参，对于不同目标域数据集需将该超参设置不同数值，需大量实验进行探究，无法做到较好的通用设置，且仅使用人脸全局特征，并未考虑人脸局部特征以及人脸全局特征与局部特征间的关联，识别效果不佳。
发明内容
因此，本发明提供的一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，克服了现有技术中进行跨数据集/跨领域的人脸识别时效果差缺陷。
第一方面，本发明实施例提供一种训练跨域人脸表情识别模型的方法，包括如下步骤：根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。
在一实施例中，所述人脸特征全局-局部关联图G通过以下数学表达式进行表示：
G＝(V,A)，
其中，V＝{vs h,vs le,vs re,vs no,vs lm,,vs rm,vt h,vt le,vt re,vt no,vt lm,,vt rm}，
vs h表示源域的全局特征，vs le表示源域的左眼区域的局部特征，vs re表示源域的右眼区域的局部特征，vs no表示源域的鼻子区域的局部特征，vs lm表示源域的左嘴角区域的局部特征，vs rm表示源域的右嘴角区域的局部特征，vt h,vt le,vt re,vt no,vt lm,,vt rm分别表示对应源域的目标域特征，A为人脸特征全局-局部关联图的人脸特征全局-局部关联图的邻接矩阵包括：同域链接和跨域链接，其中，同域链接包括全局-局部链接和局部-局部链接，跨域链接包括对应点链接、全局-局部链接和局部-局部链接。
在一实施例中，所述利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练的步骤，包括：利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。
在一实施例中，预设目标函数约束包括:特征提取器与分类器的损失函数约束及判别器的损失函数约束，通过以下公式计算：
L1＝MIND LOSS(F,G,D)， (1)
L2＝MINF,G(LOSS((F,G)-LOSS((F,G,D))， (2)
其中，F表示特征提取器，G表示分类器，D表示判别器，L1为判别器的损失函数约束，L2为特征提取器与分类器的损失函数约束；
L(F,G)＝E(x_s,y_s)～D_sLOSS(G(F(x_s),y_s))，
其中，E表示交叉熵函数，x_s表示源域的图像，y_s表示源域的表情便签；
L(F,G,D)＝-E(x_s,y_s)～D_slog[D(F(x_s)]-E(x_t)～D_tlog[1-D(F(x_t)]；
其中，x_t表示目标域的图像。
第二方面，本发明实施例提供一种人脸表情识别的方法，包括：获取待识别的人脸图像；将待识别的人脸图像输入根据本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。
在一实施例中，将所述将待识别的人脸图像输入特征提取器获取人脸特征，将所述人脸特征输入人脸全局-局部特征图得到人脸全局和局部特征后，分别输入分类器及判别器，所述分类器识别待识别的人脸图像的人脸表情，所述判别器识别待识别的人脸图像的所属域。
第三方面，本发明实施例提供一种训练跨域人脸表情识别模型的系统，包括：人脸全局-局部特征图构建模块，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；特征提取器及分类器预训练模块，用于利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；特征提取器、分类器及判别器训练模块，用于基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；跨域人脸表情识别模型形成模块，用于将将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。
第四方面，本发明实施例提供一种人脸表情识别的系统，包括：待识别的人脸图像获取模块，用于获取待识别的人脸图像；人脸表情及其所属域识别模块，用于将待识别的人脸图像输入根据本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法，以及本发明实施例第二方面所述的人脸表情识别的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练跨域人脸表情识别模型的方法，以及本发明实施例第二方面所述的人脸表情识别的方法。
本发明技术方案，具有如下优点：
本发明实施例提供一种训练跨域人脸表情识别模型首先构建人脸全局-局部特征图，利用源域的表情标签及特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域表情标签利用预设目标函数约束，将预训练好的特征提取器与判别器进行对抗式迁移学习，预训练好的分类器自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人特征图组成跨域人脸表情识别模型，该方法对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，提高了跨场景人脸表情识别准确率。
2、本发明实施例提供一种人脸表情识别的方法及系统，利用基于对抗式领域自适应图表征以及人脸特征全局-局部图的人脸识别模型进行人脸识别，在相同数据集上与其他跨场景人脸表情识别方法相比，具有明显的优势。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练跨域人脸表情识别模型的方法一个具体示例的流程图；
图2为本发明实施例提供的人脸特征全局-局部关联图的链接关系的示意图；
图3为本发明实施例提供的跨域人脸表情识别模型的一个具体示例的示意图；
图4为本发明实施例提供的人脸表情识别方法的一个具体示例的流程图；
图5为本发明实施例提供的训练跨域人脸表情识别模型的系统的一个具体示例的模块组成图；
图6为本发明实施例提供的人脸表情识别的系统的一个具体示例的模块组成图；
图7为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练跨域人脸表情识别模型的方法，通过构建人脸特征全局-局部关联图以及统计源域/目标域的分布，将源域中的全局/局部人脸表情特征与目标域中的全局/局部人脸表情特征进行关联，从而提出了基于对抗式领域自适应图表征的跨场景人脸表情识别模型对人脸进行识别，如图1所示，该模型的训练方法，包括如下步骤：
步骤S1：根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图。
本发明实施例中，人脸特征全局-局部关联图G通过以下数学表达式进行表示：
G＝(V,A)，
其中，V＝{vs h,vs le,vs re,vs no,vs lm,,vs rm,vt h,vt le,vt re,vt no,vt lm,,vt rm}，vs h表示源域的全局特征，vs le表示源域的左眼区域的局部特征，vs re表示源域的右眼区域的局部特征，vs no表示源域的鼻子区域的局部特征，vs lm表示源域的左嘴角区域的局部特征，vs rm表示源域的右嘴角区域的局部特征，vt h,vt le,vt re,vt no,vt lm,,vt rm分别表示对应源域的目标域特征，A为人脸特征全局-局部关联图的邻接矩阵。
人脸特征全局-局部关联图的邻接矩阵，如图2所示，共有两大类链接：同域链接和跨域链接,同域链接分为全局-局部链接和局部-局部链接，跨域链接分为对应点链接、全局-局部链接和局部-局部链接。
步骤S2:利用源域特征数据集的表情标签及人脸全局-局部特征图对特征提取器及分类器进行预训练。
本发明实施例利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。
在一实施例中，在源域和目标域上统计数据的特征分布，即统计源域和目标域中全局/局部特征的均值分布，以此进行各域特征分布统计器的初始化，学习源域与目标域的统计分布，以便于学习具有域不变性的特征。
在一实施例中，将大小为112x112的源域人脸图像的输入预训练好的特征提取器，特征提取器为残差网络，包括RGB三个通道，根据分辨率的不同，残差网络的输出特征可以分为四组，分辨率分别：A组特征56x56，B组特征28x28，C组特征14x14，D组特征7x7。全局特征由D组特征所得，局部特征由B组特征通过人脸关键点所得，并将全局/局部特征输入到人脸全局-局部特征图中进行关联学习，从而得到全局/局部特征。
本发明实施例在训练方式上，使用源域数据集的表情标签作为监督，交叉熵函数作为损失函数，随机梯度下降作为优化器进行训练，损失函数和优化器仅作为举例说明，不以此为限。
步骤S3:基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器。
本实施例中，预设目标函数约束包括:特征提取器与分类器的损失函数约束及判别器的损失函数约束，使用源域数据集的表情标签作为监督，交叉熵函数作为特征提取器及分类器的损失函数，二分类交叉熵函数作为判别器的损失函数，随机梯度下降作为优化器进行训练。目标函数通过以下公式计算：
L1＝MIND LOSS(F,G,D)， (1)
L2＝MINF,G(LOSS((F,G)-LOSS((F,G,D))， (2)
其中，F表示特征提取器，G表示分类器，D表示判别器，L1为判别器的损失函数约束，L2为特征提取器与分类器的损失函数约束；
L(F,G)＝E(x_s,y_s)～D_sLOSS(G(F(x_s),y_s))，
其中，E表示交叉熵函数，x_s表示源域的图像，y_s表示源域的表情便签；
L(F,G,D)＝-E(x_s,y_s)～D_slog[D(F(x_s)]-E(x_t)～D_tlog[1-D(F(x_t)]；
其中，x_t表示目标域的图像。
步骤S4:将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。
本发明实施例训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型，如图3所示，对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局-局部图提高跨场景人脸表情识别准确率。
实施例2
本发明实施例提供一种人脸表情识别的方法，如图4所示，包括如下步骤：
步骤S21:获取待识别的人脸图像。
在实际应用中，待识别的人脸图像可以为通过图像采集设备直接获取的图像，也可以为在图像数据库中获取的人脸图像，根据实际需求进行合理选取，在此不做限制。
步骤S22:将待识别的人脸图像输入根据实施例1中训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。
本发明实施例为与该领域普遍采取的评测指标一致，以表情识别的准确率作为评测指标进行测评，分别在CK+(The Extended Cohn-Kanade Dataset，用于动作单元与特定表情识别的人脸表情数据集)/SFEW(Static Facial Expressions in the Wild，自然环境下的静态人脸表情数据集)/FER2013(Facial Expression Recognition 2013Dataset,2013年ICML人脸表情识别竞赛的官方数据集)数据集上达到世界领先水平。
在CK+数据集上，对比方法有：CNN-CRF(Convolutional Neural Networks andConditional Random Fields，卷积神经网络-条件随机场)，ECNN(Ensemble of DeepNeural Networks with Probability-Based Fusion，深度神经网络与基于概率的融合的集成)，FDCN(Fine-Tuned Deep Convolutional Network，微调深度卷积网络)，DETN(DeepEmotion transfer Network，深度表情迁移网络)，表1展示了本发明和上述方法在CK+上的跨领域表情识别的准确率的对比。
表1
在SFEW数据集上，对比方法有：RFC(Random Forest Classifiers，随机森林分类器)，AUDN(Au-inspired deep networks，受到Action Unit启发的深度网络)，DNN(DeepNeutral Network，深度神经网络)，DETN(Deep Emotion transfer Network，深度表情迁移网络)，表2展示了本发明和上述方法在SFEW上的跨领域表情识别的准确率的对比。
表2
在FER2013数据集上，对比方法有：DNN(Deep Neutral Network，深度神经网络)，DETN(Deep Emotion transfer Network，深度表情迁移网络)，表3展示了本发明和上述方法在FER2013上的跨领域表情识别的准确率的对比。
表3
通过上述比对结果可以看出，与其他方法相比，本发明实施例提供的方法得到人脸识别的准确率具有明显的优势。
实施例3
本发明实施例提供一种训练跨域人脸表情识别模型的系统，如图5所示，包括：
人脸全局-局部特征图构建模块1，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
特征提取器及分类器预训练模块2，用于利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
特征提取器、分类器及判别器训练模块3，用于基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
跨域人脸表情识别模型形成模块4，用于将将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
本发明实施例提供的训练跨域人脸表情识别模型的系统，对数据标注的需求远小于其他跨场景人脸表情识别算法，将图传播机制与对抗学习相集成，以此实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局-局部图，提高了跨场景人脸表情识别准确率。
实施例4
本发明实施例提供一种人脸表情识别的系统，如图6所示，包括：
待识别的人脸图像获取模块21，用于获取待识别的人脸图像；此模块执行实施例2中的步骤S21所描述的方法，在此不再赘述。
人脸表情及其所属域识别模块22，用于将待识别的人脸图像输入根据实施例1所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。此模块执行实施例2中的步骤S22所描述的方法，在此不再赘述。
本发明实施例将将待识别的人脸图像输入特征提取器获取人脸特征，将人脸特征输入人脸全局-局部特征图得到人脸全局和局部特征后，分别输入分类器及判别器，分类器识别待识别的人脸图像的人脸表情，判别器识别待识别的人脸图像的所属域。
本发明实施例提供的一种人脸表情识别的系统，利用基于对抗式领域自适应图表征以及人脸特征全局-局部图的人脸识别模型进行人脸识别，在相同数据集上与其他跨场景人脸表情识别方法相比，在识别准确率上具有明显的优势。
实施例5
本发明实施例提供一种计算机设备，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练跨域人脸表情识别模型的方法或实施例2中所述的人脸表情识别的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种训练跨域人脸表情识别模型的方法，其特征在于，包括如下步骤：
根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；
利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；
基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；
将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。
2.根据权利要求1所述的训练跨域人脸表情识别模型的方法，其特征在于，所述人脸特征全局-局部关联图G通过以下数学表达式进行表示：
G＝(V,A)，
其中，V＝{vs h,vs le,vs re,vs no,vs lm,,vs rm,vt h,vt le,vt re,vt no,vt lm,,vt rm}，vs h表示源域的全局特征，vs le表示源域的左眼区域的局部特征，vs re表示源域的右眼区域的局部特征，vs no表示源域的鼻子区域的局部特征，vs lm表示源域的左嘴角区域的局部特征，vs rm表示源域的右嘴角区域的局部特征，vt h,vt le,vt re,vt no,vt lm,,vt rm分别表示对应源域的目标域特征，A为人脸特征全局-局部关联图的邻接矩阵。
3.根据权利要求2所述的训练跨域人脸表情识别模型的方法，其特征在于，人脸特征全局-局部关联图的邻接矩阵包括：同域链接和跨域链接，其中，同域链接包括全局-局部链接和局部-局部链接，跨域链接包括对应点链接、全局-局部链接和局部-局部链接。
4.根据权利要求1所述的训练跨域人脸表情识别模型的方法，其特征在于，所述利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练的步骤，包括：
利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；
利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；
将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；
基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。
5.根据权利要求1所述的训练跨域人脸表情识别模型的方法，其特征在于，预设目标函数约束包括:特征提取器与分类器的损失函数约束及判别器的损失函数约束，通过以下公式计算：
L1＝ MIND LOSS(F, G, D) ， (1)
L2＝ MINF,G (LOSS((F, G) - LOSS((F, G, D))， (2)
其中，F表示特征提取器，G表示分类器，D表示判别器，L1为判别器的损失函数约束，L2为特征提取器与分类器的损失函数约束；
L(F,G)＝E(x_s,y_s)～D_sLOSS(G(F(x_s),y_s))，
其中，E表示交叉熵函数，x_s表示源域的图像，y_s表示源域的表情便签；
L(F,G,D)＝-E(x_s,y_s)～D_slog[D(F(x_s)]-E(x_t)～D_tlog[1-D(F(x_t)]；
其中，x_t表示目标域的图像。
6.一种人脸表情识别的方法，其特征在于，包括：
获取待识别的人脸图像；
将待识别的人脸图像输入根据权利要求1-6任一所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。
7.根据权利要求6所述的人脸表情识别的方法，其特征在于，将所述将待识别的人脸图像输入特征提取器获取人脸特征，将所述人脸特征输入人脸全局-局部特征图得到人脸全局和局部特征后，分别输入分类器及判别器，所述分类器识别待识别的人脸图像的人脸表情，所述判别器识别待识别的人脸图像的所属域。
8.一种训练跨域人脸表情识别模型的系统，其特征在于，包括：
人脸全局-局部特征图构建模块，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；
特征提取器及分类器预训练模块，用于利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；
特征提取器、分类器及判别器训练模块，用于基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；
跨域人脸表情识别模型形成模块，用于将将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。
9.一种人脸表情识别的系统，其特征在于，包括：
待识别的人脸图像获取模块，用于获取待识别的人脸图像；
人脸表情及其所属域识别模块，用于将待识别的人脸图像输入根据权利要求1-6任一所述的训练跨域人脸表情识别模型的方法得到跨域人脸表情识别模型中，得到人脸表情及其所属域。
10.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任一所述训练跨域人脸表情识别模型的方法，以及权利要求7-8任一所述的人脸表情识别的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一所述训练跨域人脸表情识别模型的方法，以及权利要求7-8任一所述的人脸表情识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416564.2A CN113128287B (zh) | 2019-12-31 | 2019-12-31 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416564.2A CN113128287B (zh) | 2019-12-31 | 2019-12-31 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128287A true CN113128287A (zh) | 2021-07-16 |
| CN113128287B CN113128287B (zh) | 2024-01-02 |
Family
ID=76769154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911416564.2A Active CN113128287B (zh) | 2019-12-31 | 2019-12-31 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128287B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486875A (zh) * | 2021-09-08 | 2021-10-08 | 浙江大学 | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 |
| CN113887357A (zh) * | 2021-09-23 | 2022-01-04 | 华南理工大学 | 一种人脸表示攻击检测方法、系统、装置及介质 |
| CN114239753A (zh) * | 2022-02-23 | 2022-03-25 | 山东力聚机器人科技股份有限公司 | 可迁移的图像识别方法及装置 |
| CN114926877A (zh) * | 2022-05-10 | 2022-08-19 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
| CN114972661A (zh) * | 2022-08-01 | 2022-08-30 | 深圳元象信息科技有限公司 | 人脸模型构建方法、人脸图像生成方法、设备及存储介质 |
| CN114973350A (zh) * | 2022-03-24 | 2022-08-30 | 西北工业大学 | 一种源域数据无关的跨域人脸表情识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110320387A1 (en) * | 2010-06-28 | 2011-12-29 | International Business Machines Corporation | Graph-based transfer learning |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| CN110188656A (zh) * | 2019-05-27 | 2019-08-30 | 南京邮电大学 | 多角度人脸表情图像的生成与识别方法 |
| CN110363122A (zh) * | 2019-07-03 | 2019-10-22 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
| US20190354801A1 (en) * | 2018-05-16 | 2019-11-21 | Nec Laboratories America, Inc. | Unsupervised cross-domain distance metric adaptation with feature transfer network |
-
2019
- 2019-12-31 CN CN201911416564.2A patent/CN113128287B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110320387A1 (en) * | 2010-06-28 | 2011-12-29 | International Business Machines Corporation | Graph-based transfer learning |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| US20190354801A1 (en) * | 2018-05-16 | 2019-11-21 | Nec Laboratories America, Inc. | Unsupervised cross-domain distance metric adaptation with feature transfer network |
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| CN110188656A (zh) * | 2019-05-27 | 2019-08-30 | 南京邮电大学 | 多角度人脸表情图像的生成与识别方法 |
| CN110363122A (zh) * | 2019-07-03 | 2019-10-22 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486875A (zh) * | 2021-09-08 | 2021-10-08 | 浙江大学 | 基于词分离和自适应的跨域人脸表示攻击检测方法和系统 |
| CN113887357A (zh) * | 2021-09-23 | 2022-01-04 | 华南理工大学 | 一种人脸表示攻击检测方法、系统、装置及介质 |
| CN113887357B (zh) * | 2021-09-23 | 2024-04-12 | 华南理工大学 | 一种人脸表示攻击检测方法、系统、装置及介质 |
| CN114239753A (zh) * | 2022-02-23 | 2022-03-25 | 山东力聚机器人科技股份有限公司 | 可迁移的图像识别方法及装置 |
| CN114239753B (zh) * | 2022-02-23 | 2022-07-22 | 山东力聚机器人科技股份有限公司 | 可迁移的图像识别方法及装置 |
| CN114973350A (zh) * | 2022-03-24 | 2022-08-30 | 西北工业大学 | 一种源域数据无关的跨域人脸表情识别方法 |
| CN114973350B (zh) * | 2022-03-24 | 2024-02-27 | 西北工业大学 | 一种源域数据无关的跨域人脸表情识别方法 |
| CN114926877A (zh) * | 2022-05-10 | 2022-08-19 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
| CN114926877B (zh) * | 2022-05-10 | 2024-02-20 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
| CN114972661A (zh) * | 2022-08-01 | 2022-08-30 | 深圳元象信息科技有限公司 | 人脸模型构建方法、人脸图像生成方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128287B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113128287B (zh) | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 | |
| CN110084216B (zh) | 人脸识别模型训练和人脸识别方法、系统、设备及介质 | |
| CN110084281B (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
| US20230028237A1 (en) | Method and apparatus for training image processing model | |
| WO2020238293A1 (zh) | 图像分类方法、神经网络的训练方法及装置 | |
| US10803359B2 (en) | Image recognition method, apparatus, server, and storage medium | |
| WO2020228376A1 (zh) | 文本处理方法、模型训练方法和装置 | |
| WO2021042828A1 (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN111079639B (zh) | 垃圾图像分类模型构建的方法、装置、设备及存储介质 | |
| US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| EP4167130A1 (en) | Neural network training method and related device | |
| CN109783666B (zh) | 一种基于迭代精细化的图像场景图谱生成方法 | |
| US20220375213A1 (en) | Processing Apparatus and Method and Storage Medium | |
| WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN111133453B (zh) | 人工神经网络 | |
| CN110738102B (zh) | 一种人脸表情识别方法及系统 | |
| US20210390370A1 (en) | Data processing method and apparatus, storage medium and electronic device | |
| WO2020186887A1 (zh) | 一种连续小样本图像的目标检测方法、装置及设备 | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| US20220237917A1 (en) | Video comparison method and apparatus, computer device, and storage medium | |
| WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
| CN113344206A (zh) | 融合通道与关系特征学习的知识蒸馏方法、装置及设备 | |
| CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231101 Address after: No. 6053, 6th Floor, No. 101 West Fourth Ring South Road, Fengtai District, Beijing, 100070 Applicant after: Dark Matter (Beijing) Intelligent Technology Co.,Ltd. Address before: 16 / F, building 1, Xiangjiang international science and technology innovation center, 37 Jinlong Road, Jinsha street, Nansha District, Guangzhou, Guangdong 511400 Applicant before: DMAI (GUANGZHOU) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |