CN113947798A - 应用程序的背景更换方法、装置、设备及存储介质 - Google Patents
应用程序的背景更换方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113947798A CN113947798A CN202111264135.5A CN202111264135A CN113947798A CN 113947798 A CN113947798 A CN 113947798A CN 202111264135 A CN202111264135 A CN 202111264135A CN 113947798 A CN113947798 A CN 113947798A
- Authority
- CN
- China
- Prior art keywords
- facial
- features
- emotion
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000001815 facial effect Effects 0.000 claims abstract description 441
- 230000008909 emotion recognition Effects 0.000 claims abstract description 121
- 238000000605 extraction Methods 0.000 claims abstract description 113
- 230000008451 emotion Effects 0.000 claims abstract description 99
- 238000013528 artificial neural network Methods 0.000 claims description 126
- 230000008921 facial expression Effects 0.000 claims description 103
- 238000012549 training Methods 0.000 claims description 80
- 230000004927 fusion Effects 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000000697 sensory organ Anatomy 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 238000011423 initialization method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000036651 mood Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明涉及人工智能技术领域，公开了一种应用程序的背景更换方法、装置、设备及存储介质。本方法包括：采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种应用程序的背景更换方法、装置、设备及存储介质。
背景技术
随着移动通讯设备的全面屏化，大屏化的趋势日益增加，让App具有更高科技性，更有趣味性；增加皮肤商城页面，提高皮肤商城的可运营性，同时提升用户体验。
为了提高面部表情识别的准确性，保证面部表情能够准确表达用户的需求，目前，智能终端会提取用户在设定时长内作出的一系列面部表情生成动态面部表情图像，并基于动态面部表情图像进行面部表情识别。然而，相较于静态面部表情图像，动态面部表情图像的数据量较大，在进行面部表情识别时，会在一定程度上增加智能终端的运算量，延长运算时长，而面部表情识别又是一项时效性要求很高的功能。因此，以客户情绪作为客户属性标签进行页面展示，成了本领域技术人员需要解决的技术问题。
发明内容
本发明的主要目的在于通过对客户面部情绪精准识别，解决了目前无法以客户情绪作为客户属性标签进行应用程序的背景更换的技术问题。
本发明第一方面提供了应用程序的背景更换方法，包括：通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
可选地，在本发明第一方面的第一种实现方式中，所述面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层；所述将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征包括：将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
可选地，在本发明第一方面的第二种实现方式中，所述基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系包括：通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；根据所述面部特征队列，确定所述面部特征之间的面部特征关系。
可选地，在本发明第一方面的第三种实现方式中，在所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型之前，还包括：获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。
可选地，在本发明第一方面的第四种实现方式中，所述将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型包括：初始化所述待训练神经网络的网络参数；将所述训练图像集按批量输入至所述待训练神经网络，通过预设学习率对所述待训练神经网络进行训练，得到所述待训练神经网络的网络参数的梯度值；根据所述梯度值更新所述待训练神经网络的网络参数，得到已更新网络参数的神经网络；将已更新网络参数的神经网络作为待训练神经网络，并返回将所述训练图像集依次输入至所述待训练神经网络进行训练，直至所述待训练神经网络的损失函数收敛为止，得到目标情绪识别模型。
可选地，在本发明第一方面的第五种实现方式中，所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型包括：将所述人脸图像输入预设情绪识别模型进行预处理，得到预设数量个面部表情单元；基于所述情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征；将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征；将所述面部情绪融合特征输入到预设的高斯分类器，利用所述高斯分类器对所述人脸图像进行情绪分类，得到所述目标用户在当前状态下的情绪类型。
可选地，在本发明第一方面的第六种实现方式中，所述将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征包括：将所述人脸图像进行分割，并所述分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得所述人脸图像的面部特征；将所述面部表情单元的特征和所述面部特征进行特征层面的融合，获得面部情绪融合特征。
本发明第二方面提供了一种应用程序的背景更换装置，包括：采集模块，用于通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；特征提取模块，用于将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；情绪识别模块，用于将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；更换模块，用于基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
可选地，在本发明第二方面的第一种实现方式中，所述特征提取模块包括：特征提取单元，用于将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；确定单元，用于基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；
第一特征融合单元，用于通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；识别单元，用于通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
可选地，在本发明第二方面的第二种实现方式中，所述确定单元具体用于：通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；根据所述面部特征队列，确定所述面部特征之间的面部特征关系。
可选地，在本发明第二方面的第三种实现方式中，所述应用程序的背景更换装置还包括：获取模块，用于获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；检测模块，用于将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；训练模块，用于将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。
可选地，在本发明第二方面的第四种实现方式中，所述训练模块具体用于：初始化所述待训练神经网络的网络参数；将所述训练图像集按批量输入至所述待训练神经网络，通过预设学习率对所述待训练神经网络进行训练，得到所述待训练神经网络的网络参数的梯度值；根据所述梯度值更新所述待训练神经网络的网络参数，得到已更新网络参数的神经网络；将已更新网络参数的神经网络作为待训练神经网络，并返回将所述训练图像集依次输入至所述待训练神经网络进行训练，直至所述待训练神经网络的损失函数收敛为止，得到目标情绪识别模型。
可选地，在本发明第二方面的第五种实现方式中，所述情绪识别模块包括：预处理单元，用于将所述目标用户的人脸图像输入预设情绪识别模型进行预处理，将所述人脸图像预设数量个面部表情单元；识别单元，用于基于所述情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征；第二特征融合单元，用于将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征；分类单元，用于将所述面部情绪融合特征输入到预设的高斯分类器，利用所述高斯分类器对所述人脸图像进行情绪分类，得到所述目标用户在当前状态下的情绪类型。
可选地，在本发明第二方面的第六种实现方式中，所述第二特征融合单元具体用于：将所述人脸图像进行分割，并所述分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得所述人脸图像的面部特征；将所述面部表情单元的特征和所述面部特征进行特征层面的融合，获得面部情绪融合特征。
本发明第三方面提供了应用程序的背景更换设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述应用程序的背景更换设备执行上述的应用程序的背景更换方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的应用程序的背景更换方法的步骤。
本发明提供的技术方案中，通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
附图说明
图1为本发明提供的应用程序的背景更换方法的第一个实施例示意图；
图2为本发明提供的应用程序的背景更换方法的第二个实施例示意图；
图3为本发明提供的应用程序的背景更换方法的第三个实施例示意图；
图4为本发明提供的应用程序的背景更换方法的第四个实施例示意图；
图5为本发明提供的应用程序的背景更换方法的第五个实施例示意图；
图6为本发明提供的应用程序的背景更换装置的第一个实施例示意图；
图7为本发明提供的应用程序的背景更换装置的第二个实施例示意图；
图8为本发明提供的应用程序的背景更换设备的一个实施例示意图。
具体实施方式
本发明实施例提供的应用程序的背景更换方法、装置、设备及存储介质，先通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
本发明的说明书和权利要求书及上述附中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中应用程序的背景更换方法的第一个实施例包括：
101、通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作所述终端的用户；
本实施例中，采集目标用户的人脸图像。目标用户的人脸图像包括第一识别区域和第二识别区域。作为示例，第一识别区域可覆盖目标用户的眉毛和眼睛所在区域，第二识别区域可覆盖目标用户鼻子和嘴巴所在区域。
在本申请实施例中，是针对目标用户的人脸图像的第一识别区域和第二识别区域分别进行面部识别，基于上述面部识别方式，对于第一识别区域和第二识别区域之一被遮挡的情况，仍可以保证针对人脸图像的面部识别具有较高的识别精度。
102、将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；
本实施例中，服务器可以实时或以间隔预设时间获取待识别的人脸图像，该待识别的人脸图像包括用户的面部信息。其中，用户在申请贷款或信用卡时，可以通过终端设备录制包含用户面部信息的人脸图像，并将该人脸图像上传至服务器，服务器存储该人脸图像，服务器将需要审核的人脸图像写入人脸图像审核队列中，便于服务器后续定时或实时的从人脸图像审核队列中获取一个人脸图像作为待识别的人脸图像进行审核，确定申请贷款或信用卡的用户是否存在欺诈嫌疑。进一步地，服务器也可以实时对终端设备上传的人脸图像进行面部识别。
其中，服务器或服务器集群存储有面部特征提取模型，该面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层，该面部特征提取层用于从目标视频中提取面部特征，该面部特征关系处理层用于确定每帧图像的面部特征之间的面部特征关系，该特征融合层用于基于每帧图像的面部特征之间的面部特征关系，对面部特征进行融合，该面部识别层用于从视频中识别用户的面部动作，并得到面部识别结果。其中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
具体地，该面部特征提取模型是基于训练得到的，训练的具体过程为：收集大量的标注有面部动作的人脸图像，并将标注有面部动作的人脸图像作为模型样本数据，然后利用该模型样本数据对面部特征提取模型中的面部情绪识别层进行迭代训练，直到模型收敛。其中，该面部特征提取模型是基于深度神经网络设计，且该面部特征提取模型的待训练模型参数为面部情绪识别层的模型参数。
103、将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；
本实施例中，将训练图像集输入预设的待训练神经网络，以对待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型，具体包括：初始化待训练神经网络的网络参数；将训练图像集按批量输入至待训练神经网络，待训练神经网络基于预设的第一学习率和第二学习率进行训练，将训练好的待训练神经网络作为情绪识别模型。
具体地，利用InsightFace和Xavier初始化方法对待训练神经网络进行网络参数的初始化，其中，InsightFace是一种人脸识别模型。即，通过InsightFace预训练模型的参数初始化本实施例中待训练神经网络中特征层的网络参数，利用Xavier初始化方法初始化本实施例中待训练神经网络中分类层的网络参数。可以理解为，待训练神经网络的全连接层使用Xavier初始化方法进行网络参数的初始化，其他层的网络参数则初始化为InsightFace预训练模型的参数，即将InsightFace预训练模型的参数迁移到待训练神经网络中。当待训练神经网络的网络参数初始化后，将训练图像集按批量(batch)输入至待训练神经网络。即将训练图像集中的面部特征图像按batch分批输入至神经网络，在本实施例中，batch优选为n。可以理解为，将训练图像集中的面部特征图像n张为一批方式输入至网络参数初始化后的待训练神经网络中。待训练网络基于预设的第一学习率和第二学习率，分阶段进行训练。第一学习率为0.001，第二学习率为0.0001。其中，在本实施例中，待训练神经网络的网络结构同样优化的ResNet50模型，即将传统ResNet50模型最后一层全连接层更换成输出通道为12的全连接层。优化器同样使用adam优化器，损失函数优选binarycrossentropy loss(二元交叉熵损失)函数。
在一个实施例中，将训练图像集按批量输入至待训练神经网络，待训练神经网络基于预设的第一学习率和第二学习率进行训练，将训练好的待训练神经网络作为情绪识别模型，包括：将训练图像集按批量输入至待训练神经网络，待训练神经网络基于第一学习率和第二学习率进行第一阶段训练，将第一阶段训练好的待训练神经网络作为初始情绪识别模型；将训练图像集按批量输入至初始情绪识别模型，初始情绪识别模型基于预设的第二学习率进行第二阶段训练，将第二阶段训练好的初始情绪识别模型作为情绪识别模型。进一步地，将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型。
104、基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。
本实施例中，基于面部情绪识别结果，识别用户的喜怒哀乐，把客户情绪当成一种客户属性标签，来做页面展示。确定当前客户心情之后，进入App后，调用换肤方法进行换肤；客户进入后，看到的App就是换肤后的效果，因为用户可用的线上皮肤都有标签，心情和皮肤标签有一个映射关系，然后匹配一个关联度最大的皮肤，App主题氛围都和使用了该皮肤。
进一步地，若是非人脸登陆，且该用户开启了摄像头权限，可以打开摄像头采集客户人脸获取客户心情，然后换肤。若没有开启摄像头，还可以根据用户进入App的时间换肤，例如早上中午晚上午夜，可以对应不同的皮肤。
本发明实施例中，通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
请参阅图2，本发明实施例中应用程序的背景更换方法的第二个实施例包括：
201、通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作所述终端的用户；
202、将人脸图像输入预设面部特征提取模型的面部特征提取层，通过面部特征提取层对人脸图像特征提取，得到所述人脸图像的面部特征；
本实施例中，服务器可以实时或以间隔预设时间获取待识别的人脸图像，该待识别的人脸图像包括用户的面部信息，服务器也可以实时对终端设备上传的人脸图像进行面部识别。
其中，服务器或服务器集群存储有面部特征提取模型，该面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层，该面部特征提取层用于从目标视频中提取面部特征，该面部特征关系处理层用于确定每帧图像的面部特征之间的面部特征关系，该特征融合层用于基于每帧图像的面部特征之间的面部特征关系，对面部特征进行融合，该面部识别层用于从视频中识别用户的面部动作，并得到面部识别结果。其中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
具体地，该面部特征提取模型是基于训练得到的，训练的具体过程为：收集大量的标注有面部动作的人脸图像，并将标注有面部动作的人脸图像作为模型样本数据，然后利用该模型样本数据对面部特征提取模型中的面部情绪识别层进行迭代训练，直到模型收敛。其中，该面部特征提取模型是基于深度神经网络设计，且该面部特征提取模型的待训练模型参数为面部情绪识别层的模型参数。
本实施例中，对该待识别的人脸图像中的每帧图像进行特征提取，得到每帧图像各自对应的面部特征，即通过面部特征提取模型中的面部特征提取层从该待识别的人脸图像中的每帧图像提取出每帧图像各自对应的面部特征。
具体地，将该待识别的人脸图像拆分为每一帧图像，并从每帧图像中分别提取预设数量的面部关键点；根据从每帧图像中分别提取预设数量的面部关键点，确定每帧图像各自对应的面部特征。以一帧图像为例，从一帧图像中提取到n个面部关键点，则将提取到的n个面部关键点作为这一帧图像对应的面部特征。需要说明的是，上述预设数量可基于实际情况进行设置，本申请对此不作具体限定。可选地，面部关键点的数量为n个或m个，则面部特征为由n个或m个面部关键点组成的特征矩阵。其中，面部特征提取算法包括但不限于基于Gabor滤波的面部特征提取算法、基于局部二值化的面部特征提取算法和基于深度神经网络的面部特征提取算法和基于几何特征的面部特征提取算法，本申请对此不作具体限定。
203、基于人脸图像对应的时间点和面部特征关系处理层，确定面部特征之间的面部特征关系；
本实施例中，在获取到每帧图像各自对应的面部特征之后，通过面部特征提取模型中的面部特征关系处理层根据每帧图像各自对应的视频时刻点，确定每帧图像各自对应的面部特征之间的面部特征关系。需要说明的是，该视频时刻点为每帧图像在待识别的人脸图像中的时刻点，用于表示每帧图像的时间顺序。
具体地，按照每帧图像的视频时刻点，对每帧图像各自对应的面部特征进行排序，得到面部特征队列；根据该面部特征队列，确定每帧图像各自对应的面部特征之间的面部特征关系。需要说明的是，视频时刻点越小，则面部特征的排序越靠前，视频时刻点越大，则面部特征的排序越靠后。
其中，基于面部特征队列确定面部特征关系的方式具体为：依次从该面部特征队列中选择一个面部特征作为目标面部特征，并从该面部特征队列中获取与该目标面部特征相邻的面部特征和不与该目标面部特征相邻的面部特征，从而得到该目标面部特征与其余每个面部特征之间的面部特征关系，即相邻关系和非相邻关系。例如，面部特征队列为[A、B、C、D]，则可以得到面部特征A与面部特征B之间的面部特征关系为相邻关系，面部特征A与面部特征C之间的面部特征关系为非相邻关系，面部特征A与面部特征D之间的面部特征关系为非相邻关系，面部特征B与面部特征C之间的面部特征关系为相邻关系，面部特征B与面部特征D之间的面部特征关系为非相邻关系，面部特征C与面部特征D之间的面部特征关系为相邻关系。
204、通过面部特征提取模型的特征融合层和面部特征关系，对面部特征进行特征融合，得到目标面部特征；
本实施例中，在确定每帧图像各自对应的面部特征和面部特征关系之后，基于特征融合层，根据每帧图像各自对应的面部特征关系，对每帧图像各自对应的面部特征进行融合，得到目标面部特征。通过每帧图像各自对应的面部特征关系，对每帧图像各自对应的面部特征进行融合，可以得到准确的面部特征，可以提高面部识别的准确性。
205、通过面部特征提取模型的面部识别层对目标面部特征进行识别处理，得到人脸图像的五官特征；
本实施例中，通过该面部特征提取模型中的面部识别层基于目标面部特征确定人脸图像中用户的人脸图像。
206、将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；
207、基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。
本实施例中步骤201、206-207与第一实施例中的步骤101、103-104类似，此处不再赘述。
本发明实施例中，通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
请参阅图3，本发明实施例中应用程序的背景更换方法的第三个实施例包括：
301、通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像；
302、将人脸图像输入预设面部特征提取模型的面部特征提取层，通过面部特征提取层对人脸图像中的每帧图像进行特征提取，得到每帧图像各自对应的面部特征；
303、通过面部特征关系处理层和人脸图像对应的视频时间点，对人脸图像面部特征进行排序，得到面部特征队列；
本实施例中，在获取到每帧图像各自对应的面部特征之后，通过面部特征提取模型中的面部特征关系处理层根据每帧图像各自对应的视频时刻点，确定每帧图像各自对应的面部特征之间的面部特征关系。需要说明的是，该视频时刻点为每帧图像在待识别的人脸图像中的时刻点，用于表示每帧图像的时间顺序。
在获取到每帧图像各自对应的面部特征和面部特征关系之后，基于特征融合层，根据每帧图像各自对应的面部特征关系，对每帧图像各自对应的面部特征进行排序，得到目标面部特征队列。例如，每帧图像各自对应的面部特征分别为面部特征1、面部特征2、面部特征3和面部特征4，且面部特征关系分别为面部特征1与面部特征3相邻，与面部特征4和面部特征2不相邻；面部特征3与面部特征1和面部特征4相邻，与面部特征2不相邻；面部特征2与面部特征4相邻，与面部特征1和面部特征3不相邻；面部特征4与面部特征3和面部特征2相邻，与面部特征1不相邻，通过上述面部特征关系，得到的面部特征队列为[1、3、4、2]。
304、根据面部特征队列，确定面部特征之间的面部特征关系；
本实施例中，在获取到每帧图像各自对应的面部特征之后，通过面部特征提取模型中的面部特征关系处理层根据每帧图像各自对应的视频时刻点，确定每帧图像各自对应的面部特征之间的面部特征关系。需要说明的是，该视频时刻点为每帧图像在待识别的人脸图像中的时刻点，用于表示每帧图像的时间顺序。
305、通过面部特征提取模型的特征融合层和面部特征关系，对面部特征进行特征融合，得到人脸图像的五官特征；
306、通过面部特征提取模型的面部识别层对目标面部特征进行识别处理，得到目标用户在人脸图像中的人脸图像；
307、将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；
308、基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。
本实施例中步骤301、307-308与第一实施例中的步骤101、103-104类似，此处不再赘述。
本发明实施例中，通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
请参阅图4，本发明实施例中应用程序的背景更换方法的第四个实施例包括：
401、通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像；
402、将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；
403、获取面部情绪识别数据集，其中，面部表情图像识别数据集中包括多种面部表情图像；
本实施例中，面部情绪识别数据集为包括多张面部表情图像的集合，可以理解为，面部表情数据集中的面部表情图像为多种不同类型的图像，例如包括不同表情动作、不同性别、不同年龄、不同造型以及不同颜色等等。面部情绪识别数据集中的面部表情图像可以为人工预先采集存储在数据库中，也可以利用爬虫从开源数据库上获取。
具体地，当用户有训练情绪识别模型需求时，通过操作终端向服务器下发模型训练指令。当服务器接收到模型训练指令之后，响应模型训练指令从数据库中获取预先存储的面部情绪识别数据集。或者，利用模型训练指令中携带的URL(UniformResourceLocator，统一资源定位符)链接从开源上爬虫获取面部情绪识别数据集。
404、将面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过多任务卷积神经网络对面部表情图像进行面部检测，得到多种对应的面部特征图像；
本实施例中，多任务卷积神经网络(Multi-task convolutional neuralnetwork，Mtcnn)是用于人脸检测的神经网络。Mtcnn可分为三大部分，分别为P-Net(ProposalNetwork，提案网络)、R-Net(Refine Network，优化网络)和O-Net(OutputNetwork，输出网络)三层网络结构。P-Net基本的构造是一个全连接神经网络，R-Net基本的构造是一个卷积神经网络，R-Net相比于P-Net来说，增加了一个全连接层，因此R-Net对于输入数据的筛选会更加严格。R-Net而O-Net是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出包括面部特征点的面部特征图像。
具体地，当服务器获取到面部情绪识别数据集后，调用预设的多任务卷积神经网络。将面部情绪识别数据集中的各面部表情图像分别输入至多任务卷积神经网络，面部表情图像依次经过多任务卷积神经网络的P-Net、R-Net和O-Net进行检测，得到对应的面部特征图像。即P-Net输出的图像作为R-Net的输入，R-Net输出的图像作为O-Net的输入。可以理解为，由于面部情绪识别数据集中包括多种不同的面部表情图像，以及每张面部表情图像均能得到对应的面部特征图像，则最终得到的面部特征图像同样多种不同的图像，且每种面部特征图像都有对应的面部表情图像。
405、基于预设规则分别对面部特征图像添加黑块，得到的图像作为训练图像集；
本实施例中，预设规则是指存储有用于指示如何添加黑块的规则的文件。黑块是指颜色为黑色或者灰色的遮挡图形，即灰度值在0-50之间。其中，当灰度值为0的时候，黑块的颜色为全黑色。黑块可以理解为各种形状不一致的图形。例如，黑块可以为三角形、圆形、正方形或者不规则形状。训练数据集则是指添加了黑块的面部特征图像的集合，即训练数据集中包括多张已经添加黑块的面部特征图像。或者，为了增加数据的多样性，训练数据集中可以包括已经添加黑块的面部特征图像，以及确定不添加黑块的面部特征图像，即包括包含黑块和不包含黑块两种类型的面部特征图像。
一个实施例中，基于预设规则分别对面部特征图像添加黑块，得到的图像作为训练图像集，包括：分别为面部特征图像生成对应的随机数，根据随机数确定对应的面部特征图像是否添加图像；若根据随机数确定添加图像，则基于随机数与对应的面部特征图像，确定黑块信息；根据黑块信息，在对应的面部特征图像上添加黑块，得到的图像作为训练图像集。其中，随机数是指随机生成的数值，随机数的范围为0～1，通过随机数确定是否添加黑块。黑块信息包括黑块覆盖位置、覆盖角度以及颜色。
本实施例中，由于传统训练面部表情的数据量过少，且大部分数据集属于无遮挡状态。然而，在实际应用场景中，通常都会遇到面部被遮挡的情况，例如口罩、帽子以及手部动作都会造成一定遮挡。因此以这种无遮挡数据进行训练的面部表情识别模型与实际应用场景不同，使得模型在实际应用中的准确率不高。因此通过对获取到的多种不同的面部特征图像随机添加不同的黑块，使得被添加了黑块的面部特征图像通过黑块遮挡图像中的部分特征，从而保证多样性的训练数据，从而通过无遮挡图像以及有遮挡图像训练神经网络，能够提高神经网络的鲁棒性以及提高模型的准确率。
406、初始化待训练神经网络的网络参数；
本实施例中，利用Xavier方法初始预设待训练神经网络中每一层的网络参数，其中，Xavier是一种很有效的神经网络初始化的方法。确定好待训练神经网络的初始网络参数后，将训练图像集按批量(batch)输入至待训练神经网络。即将训练图像集中的面部特征图像按batch分批输入至神经网络。
407、将训练图像集按批量输入至待训练神经网络，通过预设学习率对待训练神经网络进行训练，得到待训练神经网络的网络参数的梯度值；
本实施例中，batch优选为n。可以理解为，将训练图像集中的面部特征图像n张为一批方式输入至网络参数初始化后的待训练神经网络中，待训练神经网络中的特征层和分类层基于预设的第一学习率对输入的面部特征图像进行前向传播，得到对应的输出值。其中，第一学习率为预先设置好的，第一学习率固定为0.001，可以理解为，待训练神经网络中的特征层和分类层均使用学习率，待训练神经网络根据预设的损失函数以及对应的输出值计算本次训练的损失值，基于损失值在进行反向传播，从而得到每个网络参数的梯度值，根据得到梯度值对网络参数进行更新。
408、根据梯度值更新待训练神经网络的网络参数，得到已更新网络参数的神经网络；
本实施例中，基于损失值在进行反向传播，从而得到每个网络参数的梯度值，根据得到梯度值对网络参数进行更新，得到已更新网络参数的神经网络。
409、将已更新网络参数的神经网络作为待训练神经网络，并返回将训练图像集依次输入至待训练神经网络进行训练，直至待训练神经网络的损失函数收敛为止，得到目标情绪识别模型；
本实施例中，将下一批面部特征图像输入至网络参数更新后的待训练神经网络，待训练神经网络同样基于该第一学习率，重新进行训练。即输入第二批面部特征图像，待训练神经网络基于第一学习率，再次对输入的面部特征图像进行前向传播，同样得到对应的输出值并计算损失值之后进行反向传播再次更新网络参数。重复上述步骤进行迭代训练，直到损失函数收敛为止。可以理解为，若损失函数一直不收敛，则表示神经网络的各个网络参数并未达到最优值，即还需要进行训练，而损失函数收敛，则表示神经网络到了最优，可以将该神经网络作为情绪识别模型投入使用。也就是说，当第二批面部特征图像训练完成后，若损失函数还未收敛，即可在第二次更新网络参数后再次输入第三批面部特征图像，一直到损失函数收敛为止。损失函数收敛可以理解为损失函数计算的损失值趋向于0，趋向于0则表示神经网络的预测值和期望值越接近，表示神经网络训练完成。其中，预设的待训练神经网络的网络结构为优化的ResNet50模型，与传统ResNet50模型的区别在于将最后一层全连接层更换成输出通道为12的全连接层。而输出值包括预测值和真实标签，基于预测值和真实标签，以及损失函数计算损失值。
在本实施例中，损失函数优选binary cross entropy loss(二元交叉熵损失)函数，进行训练所使用的优化器为adam优化器。
在另一个实施例中，将训练图像集输入预设的待训练神经网络，以对待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型，具体包括：初始化待训练神经网络的网络参数；将训练图像集按批量输入至待训练神经网络，待训练神经网络基于预设的第一学习率和第二学习率进行训练，将训练好的待训练神经网络作为情绪识别模型。
410、将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；
411、基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。
本实施例中步骤401-402、410-411与第一实施例中的步骤101-102、103-104类似，此处不再赘述。
在本发明实施例中，通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
请参阅图5，本发明实施例中应用程序的背景更换方法的第五个实施例包括：
501、通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像；
502、将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；
503、将人脸图像输入预设情绪识别模型进行预处理，得到人脸图像预设数量个面部表情单元；
本实施例中，通过人脸关键点检测技术对人脸图像进行预处理，将人脸区域细分成若干个面部表情单元触发区，具体实现过程可以包括：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将目标人脸区域再细分成三个面部表情单元触发区，三个面部表情单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。比如，在具体实施过程中，可基于人脸解刨学与拓扑结构和人脸关键点(特征点)检测算法检测出并提取出人脸上的68个关键点，根据68个关键点从人脸图像中将人脸区域裁剪下来，将其缩放到250*250像素大小实现面部图像的归一化；将人脸区域再细分成眼部动作单元触发区，T区动作单元触发区以及唇部动作单元触发区这三个面部表情单元触发区。
504、基于情绪识别模型对面部表情单元进行识别，得到面部表情单元的特征；
本实施例中，基于情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征。具体实现过程可以包括：选取与表情存在关联关系面部表情单元，并构建所述面部表情单元与所述三个面部表情单元触发区对应关系；利用所述情绪识别模型提取所述面部表情单元在对应面部表情单元触发区的局部特征，获得面部表情单元触发区局部特征；将所述面部表情单元触发区局部特征输入到softmax层中进行面部表情单元的识别，获得所述面部表情单元的特征。比如，在具体实施过程中，根据人脸解刨学与拓扑结构提取人脸上的68个特征点，再根据面部表情单元和表情之间的关联关系从41个表情相关面部表情单元(AU1-AU41)中挑选出13个与表情关联关系较强的13个面部表情单元(Action Unit，AU)，再综合这13个AU的触发区域将人脸分为三个动作单元触发区分别是眼部动作单元触发区，T区动作单元触发区，唇部动作单元触发区，并构建所述13个面部表情单元分别与所述三个面部表情单元触发区对应关系。相应的，利用13个所述情绪识别模型分别提取所述13个面部表情单元在对应面部表情单元触发区的局部特征，获得13个动作单元触发区局部特征；将所述13个动作单元触发区局部特征通入到softmax层中进行13个面部表情特征的识别，获得13个面部表情特征的识别结果，即获得所述面部表情单元的特征，在此不做具体限定。其中，所述情绪识别模型可分为13个并行的3DCNN网络。其中，4个接收眼部动作单元触发区作为输入，AU1(对应特征为眉毛内角抬起)、AU2(对应特征为眉毛外角抬起)、AU4(对应特征为皱眉)、AU7(对应特征为眼轮匝肌圈收紧)的识别结果作为输出；2个接收T区动作单元触发区作为输入，AU9(对应特征为眉毛内角抬起)、AU17(对应特征为眉毛内角抬起)的识别结果作为输出；7个唇部动作单元触发区作为输入，AU10(对应特征为拉动嘴角向上运动)、AU12(对应特征为拉动嘴角倾斜向上)、AU15(对应特征为拉动嘴角向下运动)、AU20(对应特征为推动下唇向上)、AU24(对应特征为嘴角拉伸)、AU25(对应特征为嘴角相互按压)、AU26(对应特征为张嘴)的识别结果作为输出。
505、将人脸图像进行分割，并分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得人脸图像的面部特征；
本实施例中，将目标人脸区域切块并输入到预设的情绪识别模型中提取正脸的特征，获得面部全局特征；将面部表情单元的特征和面部全局特征进行特征层面的融合，获得面部表情融合特征。具体的，可将得到的归一化人脸区域切块通入到另外一个预设的情绪识别模型(3D CNN)中提取正脸的特征。
506、将面部表情单元的特征和面部特征进行特征层面的融合，获得面部情绪融合特征；
本实施例中，将得到的13个局部动作单元触发区特征和得到的整脸特征进行特征层面的融合。在具体实施过程中，可将归一化的人脸区域输入到一个独立的3DCNN网络中进行整脸特征的提取；再将提取得到的整脸特征与之前13个AU的局部特征进行特征层的融合，得到整脸和局部动作单元触发区结合的融合特征。
507、将面部情绪融合特征输入到预设的高斯分类器，利用高斯分类器对人脸图像进行情绪识别，得到目标用户在当前状态下的情绪类型；
本实施例中，所述高斯分类器基于面部表情单元和表情之间的关联关系约束。因此所述的利用所述高斯分类器对人脸面部表情进行识别，输出面部表情识别结果，具体实现过程可以包括：将所述面部表情融合特征输入到所述高斯分类器中得到初步的人脸面部表情的识别结果；将所述面部表情单元的特征，利用面部表情单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。
508、基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。
本实施例中步骤501-502、508与第一实施例中的步骤101-102、104类似，此处不再赘述。
本发明实施例中，通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
上面对本发明实施例中应用程序的背景更换方法进行了描述，下面对本发明实施例中应用程序的背景更换装置进行描述，请参阅图6，本发明实施例中应用程序的背景更换装置的第一个实施例包括：
采集模块601，用于通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；
特征提取模块602，用于将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；
情绪识别模块603，用于将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；
更换模块604，用于基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
本发明实施例中，通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
请参阅图7，本发明实施例中应用程序的背景更换装置的第二个实施例，该应用程序的背景更换装置具体包括：
采集模块601，用于通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；
特征提取模块602，用于将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；
情绪识别模块603，用于将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；
更换模块604，用于基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
在本实施例中，所述特征提取模块602包括：
特征提取单元6021，用于将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；
确定单元6022，用于基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；
第一特征融合单元6023，用于通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；
识别单元6024，用于通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
在本实施例中，所述确定单元6022具体用于：
通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；
根据所述面部特征队列，确定所述面部特征之间的面部特征关系。
在本实施例中，所述应用程序的背景更换装置还包括：
获取模块605，用于获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；
检测模块606，用于将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；
训练模块607，用于将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。
在本实施例中，所述训练模块607具体用于：
初始化所述待训练神经网络的网络参数；
将所述训练图像集按批量输入至所述待训练神经网络，通过预设学习率对所述待训练神经网络进行训练，得到所述待训练神经网络的网络参数的梯度值；
根据所述梯度值更新所述待训练神经网络的网络参数，得到已更新网络参数的神经网络；
将已更新网络参数的神经网络作为待训练神经网络，并返回将所述训练图像集依次输入至所述待训练神经网络进行训练，直至所述待训练神经网络的损失函数收敛为止，得到目标情绪识别模型。
在本实施例中，所述情绪识别模块603包括：
预处理单元6031，用于将所述目标用户的人脸图像输入预设情绪识别模型进行预处理，将所述人脸图像预设数量个面部表情单元；
情绪识别单元6032，用于基于所述情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征；
第二特征融合单元6033，用于将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征；
分类单元6034，用于将所述面部情绪融合特征输入到预设的高斯分类器，利用所述高斯分类器对所述人脸图像进行情绪分类，得到所述目标用户在当前状态下的情绪类型。
本实施例中，所述第二特征融合单元6033具体用于：
将所述人脸图像进行分割，并所述分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得所述人脸图像的面部特征；
将所述面部表情单元的特征和所述面部特征进行特征层面的融合，获得面部情绪融合特征。
本发明实施例中，通过安装有应用程序的终端上的摄像头采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。
上面图6和图7从模块化功能实体的角度对本发明实施例中的应用程序的背景更换装置进行详细描述，下面从硬件处理的角度对本发明实施例中应用程序的背景更换设备进行详细描述。
图8是本发明实施例提供的应用程序的背景更换设备的结构示意图，该应用程序的背景更换设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对应用程序的背景更换设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在应用程序的背景更换设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的应用程序的背景更换方法的步骤。
应用程序的背景更换设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的应用程序的背景更换设备结构并不构成对本申请提供的应用程序的背景更换设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述应用程序的背景更换方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种应用程序的背景更换方法，其特征在于，所述应用程序的背景更换方法包括：
通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；
将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；
将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；
基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
2.根据权利要求1所述的应用程序的背景更换方法，其特征在于，所述面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层；所述将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征包括：
将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；
基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；
通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；
通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
3.根据权利要求2所述的应用程序的背景更换方法，其特征在于，所述基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系包括：
通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；
根据所述面部特征队列，确定所述面部特征之间的面部特征关系。
4.根据权利要求1所述的应用程序的背景更换方法，其特征在于，在所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型之前，还包括：
获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；
将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；
基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；
将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。
5.根据权利要求4所述的应用程序的背景更换方法，其特征在于，所述将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型包括：
初始化所述待训练神经网络的网络参数；
将所述训练图像集按批量输入至所述待训练神经网络，通过预设学习率对所述待训练神经网络进行训练，得到所述待训练神经网络的网络参数的梯度值；
根据所述梯度值更新所述待训练神经网络的网络参数，得到已更新网络参数的神经网络；
将已更新网络参数的神经网络作为待训练神经网络，并返回将所述训练图像集依次输入至所述待训练神经网络进行训练，直至所述待训练神经网络的损失函数收敛为止，得到目标情绪识别模型。
6.根据权利要求1所述的应用程序的背景更换方法，其特征在于，所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型包括：
将所述人脸图像输入预设情绪识别模型进行预处理，得到预设数量个面部表情单元；
基于所述情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征；
将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征；
将所述面部情绪融合特征输入到预设的高斯分类器，利用所述高斯分类器对所述人脸图像进行情绪分类，得到所述目标用户在当前状态下的情绪类型。
7.根据权利要求6所述的应用程序的背景更换方法，其特征在于，所述将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征包括：
将所述人脸图像进行分割，并所述分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得所述人脸图像的面部特征；
将所述面部表情单元的特征和所述面部特征进行特征层面的融合，获得面部情绪融合特征。
8.一种应用程序的背景更换装置，其特征在于，所述应用程序的背景更换装置包括：
采集模块，用于通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；
特征提取模块，用于将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；
情绪识别模块，用于将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；
更换模块，用于基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
9.一种应用程序的背景更换设备，其特征在于，所述应用程序的背景更换设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述应用程序的背景更换设备执行如权利要求1-7中任一项所述的应用程序的背景更换方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的应用程序的背景更换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111264135.5A CN113947798A (zh) | 2021-10-28 | 2021-10-28 | 应用程序的背景更换方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111264135.5A CN113947798A (zh) | 2021-10-28 | 2021-10-28 | 应用程序的背景更换方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113947798A true CN113947798A (zh) | 2022-01-18 |
Family
ID=79337171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111264135.5A Pending CN113947798A (zh) | 2021-10-28 | 2021-10-28 | 应用程序的背景更换方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113947798A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155460A1 (zh) * | 2022-02-16 | 2023-08-24 | 南京邮电大学 | 一种基于强化学习的情绪化图像描述方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825503A (zh) * | 2019-10-12 | 2020-02-21 | 平安科技（深圳）有限公司 | 主题切换方法、装置及存储介质、服务器 |
| CN110909595A (zh) * | 2019-10-12 | 2020-03-24 | 平安科技（深圳）有限公司 | 面部动作识别模型训练方法、面部动作识别方法 |
| CN111176533A (zh) * | 2019-12-27 | 2020-05-19 | 宇龙计算机通信科技(深圳)有限公司 | 壁纸切换方法、装置、存储介质以及终端 |
| CN111597955A (zh) * | 2020-05-12 | 2020-08-28 | 博康云信科技有限公司 | 基于深度学习的表情情绪识别的智能家居控制方法及装置 |
| CN113434227A (zh) * | 2021-06-18 | 2021-09-24 | 深圳掌酷软件有限公司 | 锁屏壁纸切换方法、装置、设备及存储介质 |
-
2021
- 2021-10-28 CN CN202111264135.5A patent/CN113947798A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825503A (zh) * | 2019-10-12 | 2020-02-21 | 平安科技（深圳）有限公司 | 主题切换方法、装置及存储介质、服务器 |
| CN110909595A (zh) * | 2019-10-12 | 2020-03-24 | 平安科技（深圳）有限公司 | 面部动作识别模型训练方法、面部动作识别方法 |
| CN111176533A (zh) * | 2019-12-27 | 2020-05-19 | 宇龙计算机通信科技(深圳)有限公司 | 壁纸切换方法、装置、存储介质以及终端 |
| CN111597955A (zh) * | 2020-05-12 | 2020-08-28 | 博康云信科技有限公司 | 基于深度学习的表情情绪识别的智能家居控制方法及装置 |
| CN113434227A (zh) * | 2021-06-18 | 2021-09-24 | 深圳掌酷软件有限公司 | 锁屏壁纸切换方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155460A1 (zh) * | 2022-02-16 | 2023-08-24 | 南京邮电大学 | 一种基于强化学习的情绪化图像描述方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7075085B2 (ja) | 全身測定値抽出のためのシステムおよび方法 | |
| US10489683B1 (en) | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks | |
| Rao et al. | Deep convolutional neural networks for sign language recognition | |
| Hernandez-Ortega et al. | Deepfakeson-phys: Deepfakes detection based on heart rate estimation | |
| CN113994384A (zh) | 使用机器学习的图像着色 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN111553419B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN111582342B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN110930297A (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| Garain et al. | GRA_Net: A deep learning model for classification of age and gender from facial images | |
| CN115168745B (zh) | 一种基于图像技术的虚拟人物形象再创造的方法和系统 | |
| CN107944398A (zh) | 基于深度特征联合表示图像集人脸识别方法、装置和介质 | |
| CN116097320A (zh) | 用于改进的面部属性分类的系统和方法及其用途 | |
| CN113947798A (zh) | 应用程序的背景更换方法、装置、设备及存储介质 | |
| CN113705301A (zh) | 图像处理方法及装置 | |
| Ruan et al. | Facial expression recognition in facial occlusion scenarios: A path selection multi-network | |
| Usman et al. | Skeleton-based motion prediction: A survey | |
| CN115690276A (zh) | 虚拟形象的视频生成方法、装置、计算机设备和存储介质 | |
| CN114743241A (zh) | 一种人脸表情识别方法、装置、电子设备及存储介质 | |
| CN114612989A (zh) | 人脸识别数据集的生成方法及装置、电子设备及存储介质 | |
| CN113903063A (zh) | 基于深度时空网络决策融合的人脸表情识别方法及系统 | |
| CN111126364A (zh) | 一种基于分组卷积神经网络的表情识别方法 | |
| CN116665283B (zh) | 一种课堂面部数据集的构建方法及系统 | |
| CN112818948B (zh) | 一种嵌入式系统下的基于视觉注意力的行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |