CN110298212B - 模型训练方法、情绪识别方法、表情显示方法及相关设备 - Google Patents

模型训练方法、情绪识别方法、表情显示方法及相关设备 Download PDF

Info

Publication number
CN110298212B
CN110298212B CN201810235671.4A CN201810235671A CN110298212B CN 110298212 B CN110298212 B CN 110298212B CN 201810235671 A CN201810235671 A CN 201810235671A CN 110298212 B CN110298212 B CN 110298212B
Authority
CN
China
Prior art keywords
picture
facial expression
convolution kernel
facial
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810235671.4A
Other languages
English (en)
Other versions
CN110298212A (zh
Inventor
周力
张小山
王松旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810235671.4A priority Critical patent/CN110298212B/zh
Publication of CN110298212A publication Critical patent/CN110298212A/zh
Application granted granted Critical
Publication of CN110298212B publication Critical patent/CN110298212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种面部表情识别模型的训练方法、面部表情图片的情绪识别方法以及面部表情图片的显示方法，通过对面部表情图片整体特征以及面部显著部位特征分别采用不同种类的卷积核进行提取，不仅可以获得面部整体特征，而且可以获得能够表现情绪的局部细节特征，对于能够表现面部情绪的面部显著部位进行单独的处理，提高了面部表情识别的精准度。本申请还提供了一种面部表情识别模型的训练转置、面部表情图片的情绪识别装置以及面部表情图片的显示装置。

Description

模型训练方法、情绪识别方法、表情显示方法及相关设备
技术领域
本申请涉及图像识别技术领域，特别涉及一种面部表情识别模型的训练方法、面部表情图片的情绪识别方法、面部表情图片的显示方法以及相关设备、存储介质、计算机程序产品。
背景技术
随着移动互联网、社交网络等新兴技术的发展，图片已和文字一样成为信息的主要载体。然而，当信息由图片记载时，难以对图片中的内容进行检索，影响了从图片中找到关键内容的效率。为此，图像识别技术应运而生。
在图像识别领域，面部表情识别逐渐成为人类研究的一个重要课题。通过对面部表情图片中的情绪进行识别，可以获得用户当前的心理状态。基于此，面部表情识别在心理学、智能机器人、虚拟现实及合成动画等领域有很大的潜在应用价值。
传统的面部表情识别是通过对静态的面部表情图片进行识别，具体为，将整个静态的面部表情图片作为一个整体进行识别，识别一次即可得到所属的情绪类别。然而，这种识别方法仅对单个静态图片进行处理，无法适应于动态图片的识别，而且其针对单个静态图片进行识别的分类精准度也不够理想，影响了用户体验。
发明内容
发明人对传统的面部表情识别方法进行研究发现，其对面部表情进行识别，是将图片整体作为识别对象，在通过卷积提取图像特征时，对整张图片采用相同的卷积核，而对于眼睛、嘴巴等能够有力体现表情的部位未进行单独处理，因而导致面部表情图片的情绪识别精准度不理想。本申请实施例提供了一种面部表情识别模型的训练方法、面部表情图片的情绪识别方法、面部表情图片的显示方法以及相关设备，以解决传统面部表情识别方法对图片整体进行识别导致的精准度较低的技术问题。
本申请第一方面提供了一种面部表情识别模型的训练方法，所述方法包括：
获取训练样本，所述训练样本包括面部表情图片以及所述面部表情图片对应的情绪类别标签；
采用所述训练样本对预先建立的初始神经网络模型进行训练得到用于对面部表情图片进行情绪分类的面部表情识别模型；所述面部表情识别模型包括主卷积核和辅助卷积核；所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
由上可知，本申请实施例提供的面部表情识别模型的训练方法，通过预先建立初始神经网络模型，该初始神经网络模型至少包括两个相互独立的卷积层，其中一个卷积层采用主卷积核学习面部表情图片的整体特征，另一个卷积层采用辅助卷积核学习面部表情图片的面部显著部位特征，对该初始神经网络模型进行训练得到的面部表情识别模型，由于可以捕捉面部的整体轮廓以及最能够体现面部表情的面部显著部位的细节信息，因而具有较高的识别精准度。并且，采用主卷积核和辅助卷积核独立地进行训练得到面部表情识别模型，相当于在该面部表情识别模型中存在两个子模型，因而，在面对训练样本以外的数据集时，该面部表情识别模型能够较快地学习到数据的规律，也就是说该面部表情识别模型还具有较强的泛化能力。
本申请第二方面提供了一种面部表情图片的情绪识别方法，所述方法包括：
获取面部表情图片；
采用预先训练的面部表情识别模型对所述面部表情图片进行学习得到用于标识所述面部表情图片所属情绪类别的识别结果；
其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
由上可知，本申请实施例提供的面部表情图片的情绪识别方法是基于本申请实施例第一方面提供的面部表情识别模型进行情绪识别的，由于该面部表情识别模型不仅包括具有主卷积核的卷积层，还包括具有辅助卷积核的卷积层，二者相互独立，可以分别学习面部表情图片的整体特征以及面部显著部位特征，因而可以捕捉到面部整体轮廓和面部显著部位细节，根据整体轮廓和最能够体现面部表情的面部显著部位的细节，能够更为准确地判断面部表情图片所属的情绪类型，也就是本实施例提供的面部表情图片的情绪识别方法具有较高的精准度。
本申请第三方面提供了一种面部表情图片的显示方法，所述方法包括：
显示面部表情的情绪类别选项控件；
响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储的数据库；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核；
显示查找到的面部表情图片。
由上可知，面部表情图片库利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储，当用户意图发送面部表情图片时，用户可以通过情绪类别选项控件，触发情绪类别选择操作，可以从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片，并显示查找到的图片，以供用户从中选择意图输入的面部表情图片。由于在面部表情图片库中查询时不需要重新识别面部表情图片的情绪类型，可以直接调用相应情绪类别的面部表情图片，节省了查找时间，相较于用户自行在面部表情图片库中逐个查找，提高了查找效率，从而提高了用户的表情输入体验。
本申请第四方面提供了一种面部表情识别模型的训练装置，所述装置包括：
获取模块，用于获取训练样本，所述训练样本包括面部表情图片以及所述面部表情图片对应的情绪类别标签；
训练模块，用于采用所述训练样本对预先建立的初始神经网络模型进行训练得到用于对面部表情图片进行情绪分类的面部表情识别模型；所述面部表情识别模型包括主卷积核和辅助卷积核；所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
该装置的有益效果可以参见本申请实施例第一方面提供的面部表情识别模型的训练方法的有益效果，在此不再赘述。
本申请实施例第五方面提供了一种面部表情图片的情绪识别装置，所述装置包括：
获取模块，用于获取面部表情图片；
识别模块，用于采用预先训练的面部表情识别模型对所述面部表情图片进行学习得到用于标识所述面部表情图片所属情绪类别的识别结果；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
该装置的有益效果可以参见本申请实施例第二方面提供的面部表情图片的情绪识别装置的有益效果，在此不再赘述。
本申请实施例第六方面提供了一种面部表情图片的显示装置，所述装置包括：
第一显示模块，用于显示面部表情的情绪类别选项控件；
查找模块，用于响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储的数据库；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核；
第二显示模块，用于显示查找到的面部表情图片。
该装置的有益效果可以参见本申请实施例第三方面提供的面部表情图片的情绪识别装置的有益效果，在此不再赘述。
本申请实施例第七方面还提供了一种面部表情图片的显示设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述第三方面的面部表情图片的显示方法。
本申请实施例第八方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于上述第一方面的面部表情识别模型的训练方法，或者，所述程序代码用于执行上述第二方面的面部表情图片的情绪识别方法，或者，所述程序代码用于执行权利要求执行上述第三方面的面部表情图片的显示方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请在实际应用中的场景示例图；
图2为本申请实施例中面部表情识别模型的训练方法的一个实施例示意图；
图3A为本申请实施例中面部表情识别模型的训练方法另一个实施例的技术逻辑框图；
图3B为本申请实施例中面部表情识别模型的训练方法另一个实施例流程示意图；
图4A至图4E为图3B所示实施例中面部表情识别模型的训练方法步骤的效果示意图；
图5为本申请实施例中面部表情图片的情绪识别方法实施例的示意图；
图6为本申请实施例中面部表情图片的情绪识别方法应用于人工智能聊天机器人的效果示意图；
图7为本申请实施例中面部表情图片的显示方法实施例的示意图；
图8为本申请实施例中面部表情图片的显示方法应用于移动终端的效果示意图；
图9为本申请实施例中面部表情图片的显示方法应用于PC端的效果示意图；
图10A至图10C为本申请实施例中情绪类别选项控件在界面中的位置示意图；
图11为本申请实施例中面部表情识别模型的训练装置一个实施例结构示意图；
图12为本申请实施例中面部表情识别模型的训练装置另一个实施例结构示意图；
图13为本申请实施例中面部表情图片的情绪识别装置一个实施例的结构示意图；
图14为本申请实施例中面部表情图片的情绪识别装置另一个实施例的结构示意图；
图15为本申请实施例中面部表情图片的显示装置的一个实施例结构示意图；
图16为本申请实施例中面部表情图片的显示装置的另一个实施例结构示意图；
图17为本申请实施例中面部表情图片的显示装置的又一个实施例结构示意图；
图18为本申请实施例中用于显示面部表情图片的移动终端的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人经过研究发现，传统的面部表情识别方法是对静态图片整体进行识别。具体为，将图片整体作为识别对象，输入到面部表情识别模型中，面部表情识别模型中的卷积层对整张图片采用相同的卷积核进行特征提取，而对于眼睛、嘴巴等能够有力体现表情的部位未进行单独处理，导致识别精准度不高。
有鉴于此，本申请实施例提供了一种面部表情识别模型的训练方法，该方法先获取包括面部表情图片以及面部表情图片对应的情绪类别标签的训练样本，利用训练样本对预先建立的初始神经网络模型进行训练得到面部表情识别模型，由于该初始神经网络模型包括具有主卷积核的卷积层和具有辅助卷积核的卷积层，可以分别学习面部表情图片的整体特征和面部表情图片中的面部显著部位的特征，因此训练得到的面部表情识别模型能够基于学习到的上述特征对面部表情图片的情绪类型作出更准确地判断，也即本申请提供的训练方法训练得到的面部表情识别模型具有较高的精准度。并且，采用了至少两个相互独立的卷积层分别进行训练，相当于在该面部表情识别模型中存在两个子模型，因而，在面对训练样本以外的数据集时，该面部表情识别模型能够较快地学习到数据的规律，也就是说该面部表情识别模型还具有较强的泛化能力。
基于上述面部表情识别模型的训练方法，本申请实施例还提供了一种面部表情图片的情绪识别方法，该方法先获取面部表情图片，采用预先训练好的面部表情识别模型对面部表情图片进行识别，得到用于标识面部表情图片所属情绪类别的识别结果；由于该方法利用了预先训练好的面部表情识别模型，该面部表情识别模型中包括具有主卷积核的卷积层和具有辅助卷积核的卷积层，因此，能够获取到待识别的面部表情图片的整体特征以及最能体现表情的面部显著部位特征，根据整体轮廓信息和面部显著部位的细节信息，能够作出更准确的判断，本申请的面部表情图片的情绪识别方法具有较高的精准度。
上述面部表情图片的情绪识别方法可以应用到许多领域，如社交网络、即时通信、心理学领域等等；为了保证上述方法在实际中的应用，本申请实施例还提供了一种面部表情图片的显示方法，利用该方法为用户提供交互性更好的信息发布方式。该方法利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储，以建立面部表情图片库，基于此，当用户需要发送面部表情图片时，可以通过情绪类别选项控件，触发情绪类别选择操作，对应的，响应于用户的选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片，并显示查找到的图片，以供用户从中选择意图输入的面部表情图片。由于在面部表情图片库中查询时不需要重新识别面部表情图片的情绪类型，可以直接调用相应情绪类别的面部表情图片，节省了查找时间，相较于用户自行在面部表情图片库中逐个查找，提高了查找效率，从而提高了用户的表情输入体验。
本申请实施例提供的面部表情识别模型的训练方法和面部表情图片的情绪识别方法可以通过具有图像处理能力的处理设备来实现，具体的，该处理设备可以为具有图像处理能力的计算机，包括个人计算机（PC，Personal Computer）、小型机或者大型机，也可以是具有图像处理能力的服务器或者服务器集群。本申请实施例提供的面部表情图片的显示方法可以通过具有显示功能的数据处理设备实现，具体的，该数据处理设备可以为移动终端，包括智能手机、平板电脑或者个人数字助理(Personal Digital Assistant，PDA)等等，该数据处理设备还可以是台式机、一体机、笔记本电脑等PC设备。
为了便于理解本申请的技术方案，下面结合图1对本本申请上述方法在实际中的应用场景进行说明。图1示出了本申请在实际中应用场景示例图，参见图1，该应用场景包括训练服务器100、识别服务器200、移动终端300以及面部表情图片库400。为了避免对整张图片进行识别导致面部表情识别精准度不高，在本实施例中，训练服务器100利用训练样本对初始神经网络模型进行训练，其中初始神经网络模型中的主卷积核可以学习训练样本中整张图片的特征，辅助卷积核可以学习整张图片中面部显著部位的特征，基于整张图片的特征可以获取整体轮廓信息，基于面部显著部位特征可以获取最能体现表情的面部显著部位的细节信息，根据整体轮廓信息和面部显著部位的细节信息能够较准确的识别面部表情，因此，通过该方法训练的面部表情识别模型具有较高的精准度。
识别服务器200可以利用训练服务器100预先训练的面部表情识别模型，对面部表情图片进行识别。具体的，可以将面部表情图片输入到识别服务器200中的面部表情识别模型，该面部表情识别模型对输入的面部表情图片的情绪进行识别，输出情绪识别结果。可以理解，识别服务器200可以通过对面部表情图片的情绪类型进行识别，实现面部表情图片的分类。并且，识别服务器200可以将分类后的面部表情图片存储在面部表情图片库400中，例如将识别结果为“喜”的面部表情图片存储在面部表情库中“喜”类型对应的区域。
在通过即时通信软件聊天或者通过社交软件发布信息时，当用户触发了输入表情的操作时，移动终端300可以在面部表情图片库400中查找被用户选中的情绪类型的面部表情图片，并显示查找到的图片，用户可以从显示的图片中快速地选择感兴趣的图片输入。
需要注意的是，上述图1中的训练服务器100和识别服务器200在实际应用中，可以是独立的两个服务器，也可以是集成有模型训练功能和情绪识别功能的服务器；上述应用场景仅是为了便于理解本申请的所有方法而示出，本申请实施例提供的不同方法的具体实施并不局限于此应用场景，不同方法具有不同的应用场景，具体参见下文描述。
下面结合附图，详细说明本申请提供的以上几种方法。
接下来，从具有图像处理能力的处理设备的角度，先对本申请提供的面部表情识别模型的训练方法进行介绍。参见图2，图2为本申请实施例提供的一种面部表情识别模型的训练方法的流程图，该方法可以应用图1所示的训练服务器100，具体包括如下步骤：
S201：获取训练样本，所述训练样本包括面部表情图片以及所述面部表情图片对应的情绪类别标签。
在本实施例中，训练样本是指用于对模型进行训练的数据样本，该数据样本中可以包括大量的面部表情图片，并且针对每个面部表情图片都具有预先标记的情绪类别标签。可以理解的是，训练样本数据量越大，模型训练效果越好，但训练样本数据量也会影响模型训练的效率，因此，本实施例对训练样本的具体数据量不作限定，在具体实现时，可以根据实际的业务需求而定。
在本实施例中，可以采用机器学习中的有监督学习方式对模型进行训练，因此，该训练样本可以包括：训练集样本和验证集样本；可以理解的是，针对训练样本中的所有样本数据，将一部分样本数据作为训练集样本，而将另一部分样本数据作为验证集样本；其中，训练集样本用于对模型进行训练，而验证集样本用来在训练过程中对模型进行验证。例如，将训练样本中的80%的数据作为训练集样本，20%的数据作为验证集样本。
其中，情绪类别标签，也就是标注情绪类别的标签。根据情绪类别划分方式的不同，可以得到不同的情绪类别标签。例如，本实施例可以根据一种心理学定义将情绪分为四类：喜、怒、哀、惧；如此，可以预先设置喜、怒、哀、惧等情绪类别标签。本实施例也可以根据另一种心理学定义将情绪分为爱、喜悦、惊奇、愤怒、悲伤和恐惧这六种基本情绪类别，如此，可以设置爱、喜悦、惊奇、愤怒、悲伤和恐惧等六种情绪类别标签。
当然，在具体实现时，关于情绪分类也可以以上述几种分类为基础在每一种情绪基础上根据强度的变化而细分，如此可以设置更为详细的情绪类别标签。例如，将“喜”细分为大笑、微笑等，将“悲伤”细分为抽泣、大哭等。需要指出，还可以增加“其他”这一情绪类别标签，当面部表情图片不属于喜怒哀惧等情绪类别标签时，可以采用“其他”标签对面部表情图片的情绪类别进行标识。
在本实施例中，面部表情图片是指包含有面部表情特征的图片，例如，人脸特征图片、卡通人物脸部特征图片、动物脸部特征图片等等。另外，该面部表情图片可以是静态图片，也可以是动态图片如GIF图片，Flash动图等。
在具体实现时，可以通过网络爬虫或人工采集以及人工标记等方式采集生成训练样本，将预先采集的训练样本存储在预先建立样本数据库中，基于此，上述步骤在具体实现时，可以是从预先建立的该样本数据库中直接读取训练样本。
S202：采用所述训练样本对预先建立的初始神经网络模型进行训练得到用于对面部表情图片进行情绪分类的面部表情识别模型。
其中，所述面部表情识别模型包括主卷积核和辅助卷积核；所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
本实施例采用神经网络训练方法来训练面部表情识别模型，具体的，需要预先建立初始神经网络模型，进而采用标注有情绪类别的训练样本对预先建立的初始神经网络模型进行训练，训练满足要求后，最终得到用于对面部表情图片进行情绪分类的面部表情识别模型。
为了便于理解，首先对神经网络模型的原理进行简单介绍。神经网络模型一般可以理解为一种模拟人类大脑，由大量处理单元也即“神经元”广泛地互相连接形成的非线性学习系统。由于卷积神经网络的网络结构具有稀疏连接和权重共享的特点，因此在图像处理领域常常采用卷积神经网络模型（Convolutional Neural Networks，CNN）实现图像识别。
可以理解，图像的空间联系是局部的，每个神经元无需感受全局图像，只需感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元进行综合，即可得到全局信息，如此，可以达到减少卷积神经网络需要训练的权值参数的个数。为了进一步地减少训练的权值参数，可以采用权值共享的方式进行训练，具体为对一张图像的不同区域采用相同的卷积核提取出该图像的一种特征，例如沿某一方向的边缘，采用多个卷积核对整张图像分别进行卷积，可以得到整张图像的多种特征，将这些特征进行映射，可以得到对图像的分类结果。
在本实施例中，预先建立的初始神经网络模型，可选的，可以为一种卷积神经网络模型，但有别于传统的卷积神经网络模型，本实施例的初始神经网络模型包括主卷积核和辅助卷积核，通过较大的主卷积核可以获取完整图像的轮廓信息，通过较小的辅助卷积核可以捕获面部显著部位的细节信息。其中，主卷积核和辅助卷积核的尺寸大小可以根据训练样本中的面部表情图片尺寸进行设置，为了保证各种卷积核能够具有较好的学习能力，可以设置主卷积核尺寸大于辅助卷积核的尺寸，例如，面部表情图片的尺寸为128*128时，可以设置主卷积核的尺寸为8*8，辅助卷积核的尺寸为3*3。当然，本实施例对各种卷积核的大小不作具体限制。相较于传统的卷积神经网络模型仅能对整张图像的整体特征进行学习，本实施例的初始神经网络模型在能够对整张图像的整体特征进行学习的同时，还能够对最能够体现面部表情的面部显著部位的特征进行学习。
需要说明，上述采用主卷积核和辅助卷积核进行特征学习的过程是在卷积层中实现的，在卷积层之后还可以包括降采样层，根据图像局部相关性的原理，对图像进行降采样可以减少计算量，同时保持图像旋转不变性。
下面对利用训练样本预先建立的初始神经网络模型进行训练的过程进行介绍。
预先建立的初始神经网络模型可以包括输入层、卷积层、降采样层和输出层，模型的损失函数loss用于衡量预测值和目标值的差异，loss的输出值越小表明预测值越接近目标值，也就是说，模型识别越准确。因此，模型的训练过程实际上就是通过样本数据的训练不断优化模型的参数，以不断缩小模型loss的输出值的过程。当loss的输出值缩小到一定程度，或者loss的输出值趋于平稳，则认为模型处于收敛状态，可以将此时训练的模型作为面部表情识别模型，应用于面部表情识别。
其中，降低loss的输出值主要是通过梯度下降法优化模型参数的方式来实现，具体为，通过使loss值向当前点对应梯度的反方向不断移动，来降低loss值。
在实际应用中，若数据集比较小，也就是训练样本的数量较少，则可以采用全数据集的形式进行训练，全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向，能够更快地收敛。然而，对于训练样本的数量较为庞大的数据集，一次载入所有训练集的可行性较低，而且在迭代训练过程中，各次梯度修正值相互抵消，难以修正，为此，可以对训练集进行采样，分批进行训练。
将其中一批次的训练样本输入到初始神经网络模型，经过卷积层、降采样层、输出层，可以实现对训练样本中的面部表情图片的特征提取和映射，从而得到面部表情图片所属情绪类型的预测结果，根据预测结果和面部表情图片的情绪类别标签可以计算出loss的输出值。基于loss的输出值，可以通过反向传播算法计算出初始神经网络模型中各参数的梯度，并依据梯度更新模型的参数权重。
当样本库中的所有训练样本均被训练过，还可以打乱样本顺序，再训练若干次，当模型的loss输出值稳定在一个较小的值时，可以采用预选划分的验证集中的样本进行验证。当模型对验证集的样本进行识别时，也具有较小的loss输出值时，则认为模型具有较高的识别精准度，可以停止训练将其训练好的模型作为面部表情识别模型，用于面部表情的情绪识别。
还需要说明，本实施例中的面部显著部位是指最能够体现面部表情的面部部位。具体的，该面部显著部位可以包括眉毛、眼睛、鼻子、嘴巴、或脸颊等一个或者多个部位。
尽管传统的面部表情识别方法中，也有基于神经网络对面部表情图片进行识别，但是传统的面部表情识别方法是通过对面部表情图片采用统一的卷积核进行卷积神经网络处理，由于采用了统一的卷积核，则在进行卷积计算的过程中，如果卷积核太大，难以提取面部显著部位特征，也就无法捕捉到面部表情的细节，造成喜怒哀惧几种情绪经过CNN卷积神经网络训练后的区别度不大，不能准确的识别面部情绪，如果卷积核太小，则可以提取到许多与情绪不相关的特征，也即捕捉的细节过多，使得其他一些非情绪相关的细节被捕捉到，对训练结果的干扰较大。由于对整张图像进行卷积神经网络训练，训练过程中没有区分重点，也即对最能够表现表情的面部显著部位和其他部位采用了相同的处理方式，而没有将面部显著部位进行单独训练，导致情绪识别的精准度不高。
本实施例中，由于采用主卷积核和辅助卷积核对模型进行训练，具体为，采用主卷积核对面部表情图片的整体特征进行学习，采用辅助卷积核对面部表情图片中的面部显著部位的特征进行学习，通过较大的主卷积核可以获取完整图像的轮廓信息，通过较小的辅助卷积核可以捕获面部显著部位的细节信息。基于完整图像的轮廓信息和面部显著部位的细节信息可以得到面部表情图片的情绪识别结果，与传统的面部表情识别方法中采用统一的卷积核对整张图像进行训练相比，本实施例提供的训练方法能够对表现面部表情的面部显著部位特征单独提取，可以捕捉面部显著部位的微小差异，因而具有较高的情绪识别精准度。
由上可知，本申请实施例通过对面部表情图片整体特征以及面部显著部位特征分别采用不同种类的卷积核进行提取，不仅可以获得面部整体特征，而且可以获得能够表现情绪的局部细节特征，对于能够表现面部情绪的面部显著部位进行单独的处理，提高了面部表情识别的精准度，解决了传统的面部表情识别方法中对整张面部表情图片采用相同的卷积核进行处理导致对面部情绪的识别精准度不理想的技术问题。
在上述实施例中，当面部表情图片为包括面部表情的动态图片时，还可以从动态图片中抽取包含面部特征的静态图片，从静态图片中裁剪包含面部显著部位特征的局部显著部位图片对预先建立的初始神经网络模型进行训练，得到用于对面部表情图片进行情绪分类的面部表情识别模型。由于采用了动态图片进行训练，因此，训练得到的面部表情识别模型还可以对动态的面部表情图片的情绪类型进行识别。
下面结合图3A和图3B对本申请实施例提供的面部表情识别模型的训练方法的具体实现方式进行详细说明。
首先，结合本申请实施例提供的面部表情识别模型的训练方法的技术逻辑框图，对面部表情识别模型的训练方法的原理进行简单介绍。参见图3A，图3A为一种面部表情识别模型的训练方法的技术逻辑框图。具体的，通过输入一批训练样本，该训练样本包括动态图片及其情绪类别标签，从动态图片中抽帧，可以获得至少一张静态图片，对抽取的静态图片进行人脸定位，可以得到仅包括脸部区域的图片，对脸部区域图片进行裁剪，得到眼睛部位图片和嘴巴部位图片。将眼睛部位图片输入到初始神经网络模型中使用第一种辅助卷积核进行训练的卷积层，将嘴巴部位图片输入到初始神经网络模型中使用第二种辅助卷积核进行训练的卷积层，抽取的静态图片输入到初始神经网络模型中使用主卷积核进行训练的卷积层，分别进行训练，然后输出动态图片的所属情绪类型的预测结果，根据该预测结果与动态图片的情绪类别标签计算损失函数输出值，根据损失函数输出值计算初始神经网络模型中各个参数的梯度，依据该梯度对初始神经网络模型的权重参数进行更新，然后通过迭代的方式，对样本库中的所有样本均进行训练，经过多次训练，可以对初始神经网络模型的权重多次更新，当更新后的模型的损失函数满足预设条件时，可以将该模型作为面部表情识别模型。
接下来，结合本申请实施例提供的面部表情识别模型的训练方法实施例的流程示意图，对面部表情识别模型的训练方法的具体实现方式进行介绍。参见图3B，图3B为本申请实施例提供的一种面部表情识别模型的训练方法的流程示意图，该方法包括如下步骤：
S301：输入一批训练样本，所述训练样本包括动态图片及所述动态图片的情绪类别标签。
将样本数据库中的训练样本分为若干个批次，其中，训练样本的批尺寸可以根据经验值进行设定。每次训练输入一批训练样本，通过多次迭代可以将样本数据库中的所有训练样本均进行训练。
在该实施例中，动态图片具体是指包括面部表情的动态图片。该动态图片可以从预先建立的样本数据库中获得，样本数据库的建立可以参见上文描述。在获取到动态图片以后，可以将该动态输入图片输入到初始神经网络模型进行训练。
S302：从动态图片中抽取包含面部特征的静态图片。
本实施例针对的训练样本中的图片主要是动态图片，由于动态图片本身的特性，即每隔一定的时间切换一张图，并且每一帧的连贯性要求相对较低，因此，在具体处理时，可以从动态图片抽取出一帧或多帧图像。但为了防止一个动态图片中各帧的表情不同，仅通过一帧来进行判断可能会形成误判。例如，一个动图表现的情绪为乐极生悲，其应属于悲的情绪类别，若其包含三帧图片，第一帧是表现乐的情绪，第二帧表现正常情绪，第三帧表现为悲的情绪，若随意选择第一帧或者第二帧图片进行单帧识别时，则其识别结果就不准确，就会造成误判。
另外，有些动态图片是通过多张图片的前后叠加方式生成的，该动态图片所表达的情绪是通过多帧图片中的特征共同表达的，例如，动态图片包含三帧图片，其中第一帧只是一张脸轮廓，第二帧只是眼睛和嘴巴，第三帧是眉毛；基于此，为了更好的识别该动态图片的表情类别，则需要抽取该动态图片的前两帧来进行处理。也就是，在有些情况下，需要从动态图片中抽取多张包含面部特征的图片，以得到完整的面部特征，从而能够更准确地对面部表情进行识别。
需要说明的是，针对动态图片中的一帧静态图片和多帧静态图片的处理过程是相同的，因此，以下仅以从动态图片中抽取一张具有代表性的静态图片为例进行说明。
请参见图4A，图4A为从动态图片中抽帧得到的一张包括面部特征的静态图片。在该示例中，由于这一帧图片包含了较为完整的面部特征，这些面部特征具有代表性，能够表征整个动态图片所表现的情绪。因此，可以仅采用这一帧图片进行训练。在本申请实施例其他可能的实现方式中，也可以采用多帧包含面部特征的图片进行训练。
S303：对抽取的包含面部特征的静态图片进行面部定位。
可以理解，在抽取得到的静态图片中除了包括面部特征外，还可能包括其他特征，如图片的背景特征、身体其他部位特征如头发等，为了避免面部特征以外的其他特征对训练过程产生干扰，可选的，先对静态图片中的所包含的面部区域整体进行定位，获得仅包含面部区域的定位图片。在图像处理领域，对面部进行定位有较多的实现方式，本实施例对定位静态图片的面部特征的具体实现方法不作限定，但需要强调的是，在本实施例中，利用传统的面部识别方法主要是为了从静态图片中识别面部整体区域特征，为了便于理解，下面仅通过一个示例进行说明，例如，可以通过卷积计算得到边缘轮廓，将该边缘轮廓与面部轮廓模板进行匹配，从而定位出面部在图片中的区域，也可以根据定位结果对面部区域进行裁剪得到面部定位后的图片，可以理解的是，面部定位后的图片是指对面部表情图片中的脸部区域进行定位裁剪得到的图片。
需要说明，在有些情况下，也可以不执行步骤S303，而是直接利用抽取到的包含面部特征的静态图片进行训练。例如，当抽取的包含面部特征的静态图片中，背景特征以及身体其他部位特征对面部特征干扰较小时，如背景为纯色，具体内容为面部特写的静态图片，可以直接利用该静态图片进行训练。
下面通过示例对S303的实现情况进行说明。请参见图4B，图4B是对上文所述的图4A所示的静态图片进行面部识别所得到的包含人脸整体特征的图片。需要说明，图4A和图4B是以人脸作为示例进行说明的，在本申请实施例其他可能的实现方式中，面部也可以是动物的脸，漫画或者动画等作品中创作出的虚拟人物或虚拟动物的脸。
S304：对面部定位后的图片裁剪，得到仅包含眼睛和仅包含嘴巴的图片。
由于眼睛、嘴巴等显著部位在面部的相对位置一般具有规律，可以根据这种规律计算眼睛、嘴巴所位于面部区域的相对位置，基于此，可以对面部定位后的图片裁剪，得到仅包含眼睛和仅包含嘴巴的图片。
在本实施例中，可以对面部定位后的图片进行裁剪，以得到面部显著部位，这里的面部显著部位可以包括眉毛、眼睛、鼻子、嘴巴或脸颊等部位中的一个或者多个，裁剪到的面部显著部位对应的图片用于后续的模型训练。而上述步骤S304仅仅为一种可选的示例，其不限制本申请方案的具体实现。
在本实施例中，优选的，采用了眼睛和嘴巴等部位的图片进行训练，相较于采用其他部位，眼睛和嘴巴更能表现面部表情，采用眼睛和嘴巴进行识别的精准度相对较高。当然，在本申请实施例其他可能的实现方式中，可以采用其他面部显著部位对模型进行训练。
请参见图4C和图4D，4C是对上述图4B所示的面部定位后的图片进行裁剪所得到的包括眼睛的图片，而图4D是对上述图4B所示的面部定位后的图片进行裁剪所得到的包括嘴巴的图片。可见，通过对面部定位后的图片进行面部显著部位的裁剪能够得到区域较小的，包含显著特征部分的小图片。
需要说明，S302-S304仅为从动态图片中抽取包含面部特征的静态图片，从静态图片中裁剪包含面部显著部位特征的局部显著部位图片的一个示例，在有些情况下，也可以直接从包含面部特征的静态图片中裁剪得到包含面部显著部位特征的局部显著部位图片，或者采用其他方式裁剪包含面部显著部位特征的局部显著部位图片。
本实施例是以利用动态图片对初始神经网络模型进行训练为例进行说明的，但本申请提供的训练方法并不局限于此，训练样本中也可以包括静态图片，而利用静态图片进行训练时，则不执行上述步骤S301-S304，而是直接执行S305至S307；可以理解的是，上述步骤可以视为在利用动态图片对初始神经网络模型进行训练的预处理过程。
S305：利用初始神经网络模型中的主卷积核学习面部表情图片的整体特征，利用初始神经网络模型中的第一种辅助卷积核对眼部特征进行学习，利用初始神经网络模型中的第二种辅助卷积核对嘴巴部位的特征进行学习。
为了提高面部表情识别的精准度，除了对面部表情图片的整体特征进行学习外，还需要对面部显著部位的特征进行学习。在本实施例中，具体的，采用主卷积核对面部整体特征进行学习，并且同时采用两种独立的辅助卷积核分别对眼睛和嘴巴这两个面部显著部分特征进行针对性学习。例如，作为一种实现方式，具体的，两种独立的辅助卷积核包括第一种辅助卷积核和第二种辅助卷积核；其中，第一种辅助卷积核具体用于对眼部的特征进行学习，第二种辅助卷积核具体用于对嘴巴部位的特征进行学习。
当从动态图片中抽取了多帧静态图片时，则在本步骤中，初始神经网络模型中的主卷积核对该动态图片中抽取的多帧静态图片的整体特征进行学习，初始神经网络模型中的第一种辅助卷积核对多帧静态图片裁剪得到仅包含眼睛的图片的眼部特征进行学习，初始神经网络模型中的第二种辅助卷积核对多帧静态图片裁剪得到仅包含嘴巴的图片的嘴巴部位特征进行学习。
需要说明的是，本申请提供的训练方法并不局限于以上特定的形式，即，辅助卷积核的种类并不局限于上述两种，在一种可选的实现方式中，也可以仅采用一种辅助卷积核对一种面部显著部位的特征进行学习，具体的，上述步骤S305可以具体为利用初始神经网络模型中的主卷积核学习面部表情图片的整体特征，利用初始神经网络模型中的辅助卷积核对一种面部显著部位特征进行学习。在另一种可选的实现方式中，也可以采用多种辅助卷积核分别对多种面部显著部位的特征进行针对性学习，其中，一种辅助卷积核仅用于对特定的一种面部显著部位的特征进行学习，不同种类的辅助卷积核的学习对象不相同。即可以理解的是，在本申请实施例中，该面部表情识别模型具体包括主卷积核和不同种类的辅助卷积核；所述不同种类的辅助卷积核用于对不同的面部显著部位的特征进行学习；所述面部显著部位可以包括：眉毛、眼睛、鼻子、嘴巴或者脸颊。
例如，上述步骤S305可以具体为利用初始神经网络模型中的主卷积核学习面部表情图片的整体特征，利用初始神经网络模型中的三种辅助卷积核分别对眼睛、鼻子、嘴巴这三种面部显著部位特征进行学习。
在该实施例中，不仅对图片整体和面部显著部位采用了不同的卷积核进行学习，对于不同的面部显著部位也采用了不同的卷积核，如此，可以提取出不同面部显著部位的微小差异，进一步提高了面部表情识别模型的精准度。
S306：根据学习的整体特征、眼部特征以及嘴巴部位的特征，输出对应于该动态图片所属情绪类型的预测结果。
在通过包括主卷积核的卷积层学习到面部表情图片的整体特征，包括辅助卷积核的卷积层学习到眼部特征以及嘴巴部位的特征后，可以对特征进行映射，得到该动态图片分别属于各个情绪类别的概率。基于此，可以输出对应于该动态图片所属情绪类型的预测结果。
当从动态图片中抽取单帧静态图片时，可以将该单帧静态图片的分类概率作为该动态图片的分类概率，进而输出对应于该动态图片的情绪识别结果。其中，可以将动态图片分类概率最大的情绪类型作为该动态图片所属情绪类型的预测结果，也可以将动态图片分类概率满足预设概率阈值的情绪类型作为该动态图片所属情绪类型的预测结果。
当从动态图片中抽取多帧静态图片时，对多帧静态图片的整体特征、眼部特征和嘴巴部位特征进行映射，得到各情绪类别的分类概率，可以将该分类概率作为动态图片的分类概率，根据该分类概率可以输出动态图片所属情绪类别的预测结果。如此，可以防止各帧静态图片的表情不同形成误判。
请参见图4E，图4E为根据学习的整体特征、眼部特征以及嘴巴部位的特征，输出对应于该动态图片所属情绪类别的预测结果的效果图。初始神经网络模型对动态图片中如图4A所示的整体图片以及图4C和图4D所示的眼睛和嘴巴的图片分别进行训练，得到图4A所示的面部表情图片对应于各情绪类别的分类概率，其中，概率最高的情绪类别为“大笑”，因此，将 “大笑”作为动态图片的情绪识别结果进行输出。
可以理解，上述步骤是以当前批次的训练样本中的一个作为示例进行说明的，该批次的每一个训练样本经过S301-S306可以得到每一个训练样板中的动态图片所属情绪类别的预测结果。
S307：根据当前批次的每一个动态图片所属情绪类别的预测结果及其情绪类别标签计算损失函数输出值，根据损失函数输出值计算初始神经网络模型中各个参数的梯度，依据梯度更新各个参数的权重，采用迭代方式对样本数据库中的各批次训练样本进行训练，当更新权重后的初始神经网络模型的损失函数的输出值符合预设条件时，则认为模型收敛，可以将更新权重后的模型作为面部表情识别模型。
其中，预设条件是一种模型损失函数的输出值所需要满足的条件。一般而言，预设条件的设置与用户的期望相关，用户期望模型的精准度越高，则模型损失函数的输出值应当越小。作为一个示例，预设条件可以为模型损失函数的输出值小于或等于预设值。在有些情况下，预设条件也可以为模型损失函数的输出值符合预设趋势，例如为平稳趋势。
每次训练，可以对初始神经网络模型的各个参数的权重进行更新，可以将更新后的权重作为下一次训练的初始权重，采用新一批次的样本，对神经网络模型各个参数的权重再次进行更新，如此实现了迭代训练。为了使模型具有较好的泛化能力，应当对样本库中的所有样本均进行训练。进一步地，可以对样本库中的所有样本进行多轮训练，以提高模型的泛化能力和精准度。
由上可知，通过动态图片进行抽帧得到包含面部特征的静态图片，从静态图片中裁剪包含面部显著部位特征的局部显著部位图片，利用整体图片和局部显著部位图片单独对初始神经网络模型进行训练，得到的面部表情识别模型还可以对动态图片进行识别，使得面部表情识别模型的适用范围更为广泛。并且，通过不同种类辅助卷积核对不同面部显著部位进行单独训练，使得可以捕捉到不同面部显著部位的细节信息，进一步提高了面部表情识别模型的精准度。
以上实施例主要对面部表情识别模型的训练方法的具体实现方式进行了介绍。以利用上述训练方法训练得到的面部表情识别模型为技术基础，本申请实施例还提供了一种面部表情图片的情绪识别方法，该方法可以应用于智能终端，该智能终端是指具有图像处理能力的终端设备，例如智能手机、平板、笔记本等设备，该智能终端通过独立运行面部表情识别模型，为用户提供面部表情图片情绪识别的服务；当然，该方法也可以应用于服务器中，从而通过服务器与智能终端交互的方式，由服务器运行面部表情识别模型，为用户提供面部表情图片情绪识别的服务；下面对该方法进行介绍。参见图5，图5为本申请实施例提供的一种面部表情图片的情绪识别方法的流程图，下面仅以该方法应用于如图1所示的识别服务器200为例进行说明，具体包括如下步骤：
S501：获取面部表情图片。
在具体实现时，识别服务器200可以响应用户的操作，获取用户所确定的待识别的图片作为面部表情图片，例如，用户使用智能终端的摄像头拍摄包含面部特征的图片，如用户自拍一张脸部图片，并且，用户确定对该面部表情图片进行情绪识别，则智能终端向识别服务器200发送识别请求，在该识别请求中携带面部表情图片，对应的，识别服务器200接收该识别请求，获取对应的面部表情图片。再例如，用户使用智能终端在浏览网页或使用社交软件时，指定包含面部特征的图片作为面部表情图片；例如，用户点击并长按某个包含面部表情图片，则表明用户需要对该图片进行情绪识别；则智能终端向识别服务器200发送识别请求，在该识别请求中携带面部表情图片，对应的，识别服务器200接收该识别请求，对应的，识别服务器200根据用户触发的操作，获取对应的面部表情图片。
在具体实现时，识别服务器200也可以自动从数据库中获取面部表情图片，该数据库中存储有待识别的面部表情图片，该数据库可以根据业务需求而动态更新。在具体实现时，该数据库可以是某应用所对应的表情库，需要利用本实施例的方法对表情库中的面部表情图片进行情绪识别和分类。
在本实施例中，该面部表情图片可以为静态图片，也可以为动态图片，对应的，本实施例所采用的面部表情识别模型则可以对静态图片进行识别，也可以对动态图片进行识别。
相比于传统的面部表情图片的情绪识别方法仅能对静态图片进行识别，本申请实施例提供的面部表情图片的情绪识别方法还能够对动态图片进行识别，适用范围更为广泛。
S502：采用预先训练的面部表情识别模型对所述面部表情图片进行学习得到用于标识所述面部表情图片所属情绪类别的识别结果。
其中，本实施例所采用的面部表情识别模型的训练方法和具体功能可以参见上文图2和图3A、图3B所示方法实施例的描述，在此不再赘述。采用预先训练的面部表情识别模型，可以利用主卷积核和辅助卷积核分别对面部表情图片的整体特征以及对面部表情图片中的面部显著部位特征进行学习，得到该面部表情图片的整体特征以及所包含的面部显著部位特征，将整体特征和面部显著部位特征进行映射，可以得到该面部表情图片的分类概率，根据该面部表情图片的分类概率，可以得到针对该面部表情图片的识别结果，该识别结果可以用于标识该面部表情图片所属情绪类别。
当面部表情图片为静态图片时，可以直接将面部表情图片输入到面部表情识别模型进行识别得到情绪识别结果，而当面部表情图片为动态图片时，还需要对动态图片进行预处理，具体识别过程可以通过如下步骤实现：
从动态图片中抽取包含面部特征的静态图片，从静态图片中裁剪包含面部显著部位特征的局部显著部位图片；
将静态图片和局部显著部位图片输入至预先训练的面部表情识别模型，通过面部表情识别模型输出得到用于标识动态图片所属情绪类别的识别结果。
其中，裁剪包含面部显著部位特征的局部显著部位图片的具体实现方式可以参见上文图3B所示方法实施例的描述。经过裁剪在得到包含面部显著部位特征的局部显著部位图片后，将静态图片和局部显著部位图片输入至预先训练的面部表情识别模型，面部表情识别模型可以采用主卷积核和辅助卷积核分别学习静态图片的整体特征，以及面部显著部位特征，对上述整体特征、面部显著部位特征进行映射可以得到动态图片的分类概率，根据动态图片的分类概率，可以得到标识动态图片所属情绪类别的识别结果。
还需要说明，在有些情况下，为了提高对动态图片的识别的精准度，可以从动态图片中抽取多张包含面部特征的静态图片。
当从动态图片中抽取包含面部特征的多帧静态图片时，则从抽取的每一帧静态图片中裁剪包含面部显著部位特征的局部显著部位图片，将每一帧静态图片以及相关的局部显著部位图片输入至预先训练的面部表情识别模型，面部表情识别模型对每一帧静态图片以及相关的局部显著部位图片进行学习得到分类概率，该分类概率可以作为动态图片的分类概率，根据该分类概率输出用于标识动态图片所属情绪类别的识别结果。由于结合了抽取的多帧图片学习整体特征和面部显著部位特征，相较于抽取单帧图片，能够学习到较多的特征，可以有效避免多帧静态图片包括的表情不同所造成的误判，从而提高了面部表情识别的精准度。
由上可知，本申请实施例通过将待识别的面部表情图片输入到面部表情识别模型，面部表情识别模型通过主卷积核和辅助卷积核分别对面部表情图片的整体特征以及面部显著部位特征进行学习，由于整体特征表征了图片整体轮廓信息，面部显著部位特征表征了能够表现表情的面部显著部位的细节信息，因此，根据整体轮廓信息和细节信息得到的识别结果，相较于仅根据整体轮廓信息得到的识别结果，更接近真实的面部表情图片所属的情绪类型，因而具有较高的识别精准度。
如上文所述，本申请实施例提供的面部表情图片的情绪识别方法可以应用于许多领域，如社交网络、即时通信、心理学、人工智能、合成动画以及增强现实等等。下面结合具体的应用场景对本申请实施例提供的面部表情图片的情绪识别方法进行详细描述。
下面以应用到社交网络领域进行说明。以微博作为示例，当用户使用智能手机拍摄自身的面部图片，并上传到微博时，微博后台服务器可以获取该面部图片，并通过预先训练好的面部表情识别模型对该面部图片的情绪进行识别，根据识别结果可以为用户推送不同的微博内容。例如，当识别出面部图片的情绪为悲伤时，可以向用户推送符合悲伤情绪的诗词或者其他内容，当识别出面部图片的情绪为高兴时，可以向用户推送符合高兴情绪的歌曲或者其他内容；可见利用这种方式，能够为用户快速推荐符合用户实际情绪的内容，方便用户快速编辑微博内容，以发布符合自己兴趣的内容。
下面以应用到心理学领域进行说明。在犯罪心理学领域，常常使用测谎仪在犯罪调查中协助侦讯，通过获取受询问的嫌疑人的心理状况，判断其是否涉及刑案。传统的测谎仪通过对脉搏、呼吸、皮肤电阻等生理特征进行监测，从而判断是否说谎。然而测谎结果可能受到被测对象自身心理素质的干扰，有较大的几率产生误判。
将本申请实施例提供的面部表情图片的情绪识别方法应用到测谎仪，可以提高测谎仪的准确率。具体的，用户可以通过照相机拍摄被测对象在审讯过程中的面部表情，获得静态图片，或者通过摄像机拍摄被测对象在审讯过程中的面部表情，获得动态图片，然后将上述静态图片或动态图片输入到本实施例提供的面部表情识别模型，面部表情识别模型可以对上述包含面部特征的面部表情图片的情绪进行识别，在被测对象的皮肤电阻等生理特征异常的情况下，若被测对象的面部表情图片的情绪也符合预设条件，则被测对象有较大的几率说谎。其中，预设条件可以是根据经验、测试数据等得到。作为一个示例，预设条件可以为惊讶持续时间超过1秒或者假笑超过1秒等等。
由上可知，在对生理特征进行监测的基础上，结合面部表情对被测对象是否撒谎进行判断，相当于采用了多重检测机制对被测对象进行检测，因而具有较高的准确度。
接下来以在人工智能领域的应用，对本申请实施例提供的面部表情图片的情绪识别方法进行说明。为了便于理解，以人工智能聊天机器人作为示例进行说明，在本应用场景实施例中，人工智能聊天机器人在实际应用中是一种应用于终端设备的程序。
传统的人工智能聊天机器人主要是对文本语义进行分析，从而作出相应的应答，但是当用户通过图片，例如面部表情图片，表达自己的心理状态时，难以识别该图片所表达的信息，也就难以对用户所发出的图片作出相应的应答，影响了交互体验。
本申请实施例了一种人工智能聊天机器人，当用户向人工智能聊天机器人发送面部表情图片时，该人工智能聊天机器人可以通过上述实施例提供的面部表情识别模型，对接收到的面部表情图片的情绪类型进行识别，获得用户当前的心理状态，根据用户当前的心理状态作出相应的应答，提高了人工智能聊天机器人的交互体验。
图6示出了本申请实施例提供的人工智能聊天机器人的交互示意图。在该示例中，用户发送一张“大哭”的动态图片，该人工智能聊天机器人在接收到该动态图片后，利用前述实施例提供的面部表情识别模型对动态图片中的面部表情进行识别，当解析到该动态图片所属的情绪类别为“悲伤”时，可以确定用户意图寻求安慰，可以做出“今天发生了什么事啊？说出来，给你出出主意？”等类似的回复以安慰用户。其中，识别过程可以在后台进行，图6中并未示出具体识别过程。
需要说明，本申请实施例提供的面部表情图片的情绪识别方法还可以应用于其他领域，例如应用于合成动画领域，可以识别面部表情图片所属的情绪，并按照不同的情绪类型分类存储，当需要合成动画时，可以直接调用存储的不同情绪类型的面部表情图片作为合成动画的素材，又例如，应用于增强现实领域，可以识别面部表情图片的情绪类型，在面部表情图片上增加对应的文字，帮助用户理解该面部表情图片所表达的含义，增强互动体验。
目前，在许多领域中推出有涉及发布表情的功能的软件，例如在社交软件、即时通信软件中，都提供了添加聊天表情的功能，用户可以在文字、语音交流过程中，通过添加表情图片作为一种更强情绪的表达，并且增加聊天的趣味性。然而，传统的这些软件的表情发送栏中推荐的表情数目繁多而且顺序杂乱，用户需要根据自己的需求，从表情发送栏中逐个查找，选择出自己想要的表情图片，在聊天界面上显示该表情图片；这种交互方式，需要用户多次滑动表情发送栏的界面，操作次数较多，并且用户很难快速准确定位自己想要的表情图片，用户体验不好。基于此，本申请实施例还提供了一种面部表情图片的显示方法，应用于即时通信或社交网络等场景中，其中，即时通信的应用场景包括在QQ、微信等即时通信软件中聊天，社交网络的应用场景包括微博、脸书等社交软件中的交互。
参见图7，图7为本申请实施例提供的一种面部表情图片的显示方法的流程图，该方法可以应用于如图1所示的移动终端300，具体包括如下步骤：
S701：显示面部表情的情绪类别选项控件。
情绪类别选项控件是指用于实现情绪类别选择的控件，能够根据用户触发的选择操作，筛选用户感兴趣的情绪类别的面部表情图片。该情绪类别选项控件的形式有多种，例如可以是语音控件，也可以是文字控件。
在一种实现方式中，该情绪类别选项控件中可以包括多个用于触发选择不同情绪类别的选择控件，作为一个示例，情绪类别选项控件可以包括分别触发喜、怒、哀、惧及其他5种情绪的选择控件。作为该示例的扩展，情绪类别选项控件中还可以包括返回主页控件，返回主页控件可以用于提供新的面部表情图片的下载功能。例如，用户可以触发该返回主页控件，则移动终端为用户提供新表情图片的下载界面，用户在该下载界面上选择感兴趣的表情图片进行下载。在本实施例中，对情绪类别选项控件的具体形式不作限定，其可以根据实际界面需要设置具体形状，例如可以设置为条形控件，也可以设置为圆形控件等等。作为一个示例，该情绪类别选项控件可以设置为条形。其中，条形控件中承载有多个用于触发选择不同情绪类别的选择控件。
在本实施例中，对情绪类别选项控件的具体展示位置不作限定，该情绪类别选项控件的展示位置可以根据实际界面需求而设定。为了方便操作，可以在表情选择界面的顶部、底部或侧边展示，侧边可以为左侧或者右侧，具体可以参见图10A或图10B。
在一些可能的实现方式中，该情绪类别选项控件的形状还可以设置为可调的。用户可以对情绪类别选项控件的大小、形状等进行调整，以形成符合自己喜好的控件形状，方便用户操作。另外，该情绪类型选项控件中所包括的选择控件是可自定义的，例如，用户可以根据实际需求删除某个不常用的选择控件。
在一些可能的实现方式中，在具体显示时，可以以位置可移动的方式显示该情绪类别选项控件，则该情绪类别选项控件的展示位置可以由用户根据实际需求在显示界面上随意移动。例如，将情绪类别选项控件设置为浮动的，用户可以通过拖拽等方式将其放置在合适的显示位置。参见图10C，图10C示出了一种形状可调整、位置可移动的情绪类别选项控件的示意图。
可以理解，情绪类别选项控件是用于对面部表情进行筛选，方便用户选择相应的表情，当用户没有输入面部表情的意图时，可以不显示该情绪类别选项控件。因此，在一些可能的实现方式中，显示设备可以在接收到用户触发的输入表情操作之后，响应于用户触发的输入表情操作，在表情选择界面上显示面部表情的情绪类别选项控件。作为一个示例，当用户在微信聊天界面，点击了输入框右侧的表情按键，即可触发输入表情操作，则对应的显示设备响应用户的该输入操作，在表情选择界面显示面部表情的情绪类别选项控件，具体可以参见图8和图9。
参见图8，图8为上述面部表情图片的显示方法应用于移动终端的界面示意图，如图8（a）所示，用户通过移动终端触发输入表情操作，则显示设备响应于用户的该操作可以在表情选择界面显示情绪类别选项控件，如图8（b）所示，该情绪类别选项控件上承载有喜怒哀惧四种类别的选择控件，以方便用户选择对应的情绪类别。但需要说明的是，显示设备也可以在显示表情选择界面时同步显示该情绪类别选项控件，无需等待用户触发输入表情操作时再显示。
参见图9，图9为上述面部表情图片的显示方法应用于PC端的界面示意图，如图9（a）所示，用户通过鼠标点击表情输入符号，触发了输入表情操作，则显示设备响应于用户的该操作可以在表情选择界面显示情绪类别选项控件，如图9（b）所示，该情绪类别选项控件上承载有喜怒哀惧四种类别的选择控件，以方便用户选择对应的情绪类别。但需要说明的是，显示设备也可以在显示表情选择界面时同步显示该情绪类别选项控件，无需等待用户触发输入表情操作时再显示。需要说明，由于PC端显示区域的尺寸相对较大，表情选择界面可以通过弹窗的方式呈现，弹窗的大小和位置可以根据需求进行调整，基于此，情绪类别选项控件的大小和位置也可以灵活设置。
S702：响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片。
其中，所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储的数据库。
面部表情识别模型以及根据面部表情识别模型对对面部表情图片进行情绪类别的识别可以参见上文描述。本步骤所提及的面部表情图片库一种按照识别结果对面部表情图片分类存储的数据库。由于采用了面部表情识别模型对数据库中的面部表情图片的情绪进行识别，因此可以实现面部表情图片按情绪进行分类管理。
具体的，当用户意图输入某一种情绪类型的面部表情图片时，可以通过情绪类别选项控件，点击相应情绪类型的情绪类别选项控件，从而实现触发情绪类别选择操作。响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片，相比于用户自行在整个面部表情图片库中逐个查找具有更高的效率，节省了查找时间，提高了用户体验。
如图8(c)所示，用户在移动终端上，点击了情绪类别选项控件中对应情绪“喜”的选择控件，触发了情绪类别选择操作，该移动终端设备可以从面部表情图片库中查找属于被用户选中的情绪类别“喜”的面部表情图片，或者可以向服务器发送查找请求，由服务器查找属于被用户选中的情绪类别“喜”的面部表情图片，需要说明，查找过程在图8中并未示出。
如图9（c）所示，用户在PC上点击了情绪类别选项控件中对应情绪“喜”的选择控件，触发了情绪类别选择操作，该PC可以从面部表情图片库中查找属于被用户选中的情绪类别“喜”的面部表情图片，或者可以向服务器发送查找请求，由服务器查找属于被用户选中的情绪类别“喜”的面部表情图片。
可以理解，用户在即时通信或社交网络的应用场景中，常常会获取到新的面部表情图片。例如，在聊天时，对其他用户使用的面部表情图片感兴趣，进而收藏了该面部表情图片，或者，在应用商店购买了面部表情图片，或者用户自行制作了新的面部表情图片，进而上传到面部表情图片库。为了便于面部表情图片库的统一管理，面部表情图片库可以利用面部表情识别模型将用户上传或者收藏的面部表情图片进行情绪类别的识别，并根据识别结果将用户上传或者收藏的面部表情图片保存至面部表情图片库对应的情绪类别中。如此，可以实现面部表情图片库的更新。
在有些情况下，用户意图输入某种特定风格或主题下的某种情绪类型的面部表情图片时，并不会直接在整个面部表情图片库中筛选相应情绪类型的面部表情图片，而是在特定风格或主题的面部表情图片中进行筛选。例如，在某一面部表情包中进行相应情绪类型的筛选。在一些可能的实现方式中，可以响应于用户触发的面部表情包选择操作，在被用户选中的面部表情包的选择界面上，显示面部表情的情绪类别选择控件。当用户触发了情绪类别选择操作时，可以响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的面部表情包并且属于被用户选中的情绪类别的面部表情图片。通过在表情包中进行相应情绪类别的面部表情图片查找，查找范围大大减小，如此，用户可以更快地找到意图输入的面部表情图片，提高了输入效率。
S603：显示查找到的面部表情图片。
在查找到被用户选中的情绪类别的面部表情图片时，可以在表情选择界面展示相应的面部表情图片，以方便用户选择意图输入的面部表情图片。如图8（d）和图9（d）所示，分别为用户在移动终端设备和PC端，触发情绪类别选择操作后，移动终端设备和PC端对相应的面部表情图片进行显示的示意图。
当用户触发面部表情图片选择操作时，例如，点击表情选择界面中的一张面部表情图片，还可以响应于用户触发的面部表情图片选择操作，在聊天界面上显示被用户选中的面部表情图片。其中，显示查找到的面部表情图片以及在聊天界面上显示被用户选中的面部表情图片的具体实现可以参见图8和图9，在此不再赘述。
由上可知，本申请实施例通过显示面部表情的情绪类别选项控件，当用户触发情绪类别选择操作时，可以从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片，并显示查找到的图片，以供用户从中选择意图输入的面部表情图片。由于面部表情图片库利用预先训练的面部表情识别模型，对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储，因此，在查询时不需要重新识别 面部表情图片的情绪类型，可以直接调用相应情绪类别的面部表情图片，节省了查找时间，相较于用户自行在面部表情图片库中逐个查找，提高了查找效率，提高了用户的表情输入体验。
以上为本申请实施例提供的面部表情图片的情绪识别方法在即时通信或社交网络中的应用场景中的具体实现，接下来，对上述面部表情图片的情绪识别方法在其他领域的应用进行说明。
以上为本申请实施例提供的一种面部表情识别模型的训练方法、面部表情图片的情绪识别方法、面部表情图片的显示方法的具体实现方式，基于此，本申请实施例还提供了一种面部表情识别模型的训练装置、面部表情图片的情绪识别装置、面部表情图片的显示装置的具体实现方式。接下来结合附图对上述装置进行详细说明。
参见图11，图11为一种面部表情识别模型的训练装置的结构图，该装置可以应用于具有图像处理能力的处理设备，包括具有图像处理能力的计算机或服务器，或者由上述设备构成的集群，该装置1100包括：
获取模块1110，用于获取训练样本，所述训练样本包括面部表情图片以及所述面部表情图片对应的情绪类别标签；
训练模块1120，用于采用所述训练样本对预先建立的初始神经网络模型进行训练得到用于对面部表情图片进行情绪分类的面部表情识别模型；所述面部表情识别模型包括主卷积核和辅助卷积核；所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
可选的，所述面部表情图片包括面部表情的动态图片。
可选的，参见图12，图12为本实施例提供的面部表情识别模型的训练装置的另一具体实现方式，该装置1100包括获取模块1110和训练模块1120，所述训练模块1120包括：
裁剪子模块1121，用于从所述动态图片中抽取包含面部特征的静态图片，从所述静态图片中裁剪包含面部显著部位特征的局部显著部位图片；
训练子模块1122，用于利用所述静态图片和所述局部显著部位图片对预先建立的初始神经网络模型进行训练得到用于对面部表情图片进行情绪分类的面部表情识别模型。
可选的，所述面部显著部位包括：
眉毛、眼睛、鼻子、嘴巴、或脸颊。
可选的，所述面部表情识别模型具体包括主卷积核和两种独立的辅助卷积核；不同种类的辅助卷积核用于对不同的面部显著部位的特征进行学习。
可选的，所述两种独立的辅助卷积核包括第一种辅助卷积核和第二种辅助卷积核；所述第一种辅助卷积核是用于对眼部的特征进行学习的卷积核；所述第二种辅助卷积核是用于对嘴巴部位的特征进行学习的卷积核。
接下来，参见图13，图13为一种面部表情图片的情绪识别装置的结构图，该装置可以应用于具有图像处理能力的处理设备，包括具有图像处理能力的计算机或服务器，或者由上述设备构成的集群，该装置1300包括：
获取模块1310，用于获取面部表情图片；
识别模块1320，用于采用预先训练的面部表情识别模型对所述面部表情图片进行学习得到用于标识所述面部表情图片所属情绪类别的识别结果；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核。
可选的，所述面部表情图片为动态图片。
可选的，请参见图14，图14为本本实施例提供的面部表情图片的情绪识别装置的另一具体实现方式，该装置1300包括获取模块1310和识别模块1320，所述识别模块1320包括：
裁剪子模块1321，用于从所述动态图片中抽取包含面部特征的静态图片，从所述静态图片中裁剪包含面部显著部位特征的局部显著部位图片；
输出子模块1322，用于将所述静态图片和所述局部显著部位图片输入至预先训练的面部表情识别模型，通过所述面部表情识别模型输出得到用于标识所述动态图片所属情绪类别的识别结果。
可选的，所述裁剪子模块1321具体用于：
从所述动态图片中抽取包含面部特征的多帧静态图片；
从每一帧静态图片中裁剪包含面部显著部位特征的局部显著部位图片；
所述输出子模块1322具体用于：
将每一帧静态图片以及相关的所述局部显著部位图片输入至预先训练的面部表情识别模型，通过所述面部表情识别模型对每一帧静态图片以及相关的所述局部显著部位图片进行学习得到每一帧静态图片的分类概率；
根据与所述动态图片相关的每一帧静态图片的分类概率输出用于标识所述动态图片所属情绪类别的识别结果。
可选的，所述输出子模块1322具体用于：
对与所述动态图片相关的每一帧静态图片的分类概率进行加权平均得到所述动态图片的分类概率；
根据所述动态图片的分类概率确定所述动态图片所属的情绪类别，输出用于标识所述动态图片所属情绪类别的识别结果。
接下来，参见图15，图15为本实施例提供的一种面部表情图片的显示装置的结构图，该装置可以应用于具有显示功能的数据处理设备，包括具有显示功能的计算机或移动终端设备，移动终端设备可以为智能手机、平板电脑或PDA等等，该装置1500包括：
第一显示模块1510，用于显示面部表情的情绪类别选项控件；
查找模块1520，用于响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储的数据库；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核；
第二显示模块1530，用于显示查找到的面部表情图片。
可选的，参见图16，图16为本实施例提供的面部表情图片显示装置的另一具体实现方式，该装置1500还包括保存模块1540，所述保存模块1540用于：
利用所述面部表情识别模型对用户上传或者收藏的面部表情图片进行情绪类别的识别，并根据识别结果将用户上传或者收藏的面部表情图片保存至所述面部表情图片库对应的情绪类别中。
可选的，所述第一显示模块1510具体用于：
响应于用户触发的输入表情操作，在表情选择界面上显示面部表情的情绪类别选项控件。
可选的，所述第一显示模块1510具体用于：
响应于用户触发的面部表情包选择操作，在被用户选中的面部表情包的选择界面上，显示面部表情的情绪类别选择控件；
则所述查找模块1520具体用于：
响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于所述被用户选中的面部表情包并且属于被用户选中的情绪类别的面部表情图片。
可选的，所述情绪类别选项控件是位置可移动的条形控件；所述条形控件中承载有多个用于触发选择不同情绪类别的选择控件。
可选的，参见图17，图17为本实施例提供的面部表情图片显示装置的又一具体实现方式，该装置1500还包括第三显示模块1550，所述第三显示模块1550用于：
响应于用户触发的面部表情图片选择操作，在聊天界面上显示被用户选中的面部表情图片。
以上从功能模块化的角度对本申请实施例提供的面部表情识别模型的训练装置、面部表情图片的情绪识别装置、面部表情图片的显示装置进行了说明。
接下来，对本申请实施例提供的一种面部表情图片的显示设备的硬件结构进行说明，参见图18，为了便于说明，图18中仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参见本申请实施例方法部分。该显示设备为终端设备，简称终端，该终端可以为包括手机、平板电脑、个人数字助理（英文全称：Personal Digital Assistant，英文缩写：PDA）、车载电脑等任意终端设备，以终端为手机为例：
图18示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图18，手机1800包括：射频（英文全称：Radio Frequency，英文缩写：RF）电路1810、存储器1820、输入单元1830、显示单元1840、传感器1850、音频电路1860、无线保真（英文全称：wireless fidelity，英文缩写：WiFi）模块1870、处理器1880、以及电源1890等部件。本领域技术人员可以理解，图18中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图18对手机1800的各个构成部件进行具体的介绍：
RF电路1810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1880处理；另外，将设计上行的数据发送给基站。通常，RF电路1810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（英文全称：LowNoise Amplifier，英文缩写：LNA）、双工器等。此外，RF电路1810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统 （英文全称：GlobalSystem of Mobile communication，英文缩写：GSM）、通用分组无线服务（英文全称：General Packet Radio Service，GPRS）、码分多址（英文全称：CodeDivision Multiple Access，英文缩写：CDMA）、宽带码分多址（英文全称：Wideband CodeDivision Multiple Access, 英文缩写：WCDMA）、长期演进 （英文全称：LongTermEvolution，英文缩写：LTE）、电子邮件、短消息服务（英文全称：Short Messaging Service，SMS）等。
存储器1820可用于存储软件程序以及模块，处理器1880通过运行存储在存储器1820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1830可包括触控面板1831以及其他输入设备1832。触控面板1831，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1831上或在触控面板1831附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1880，并能接收处理器1880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1831。除了触控面板1831，输入单元1830还可以包括其他输入设备1832。具体地，其他输入设备1832可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1840可包括显示面板1841，可选的，可以采用液晶显示器（英文全称：Liquid Crystal Display，英文缩写：LCD）、有机发光二极管（英文全称：Organic Light-Emitting Diode，英文缩写：OLED）等形式来配置显示面板1841。进一步的，触控面板1831可覆盖显示面板1841，当触控面板1831检测到在其上或附近的触摸操作后，传送给处理器1880以确定触摸事件的类型，随后处理器1880根据触摸事件的类型在显示面板1841上提供相应的视觉输出。虽然在图18中，触控面板1831与显示面板1841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1831与显示面板1841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1841的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1841和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1860、扬声器1861，传声器1862可提供用户与手机之间的音频接口。音频电路1860可将接收到的音频数据转换后的电信号，传输到扬声器1861，由扬声器1861转换为声音信号输出；另一方面，传声器1862将收集的声音信号转换为电信号，由音频电路1860接收后转换为音频数据，再将音频数据输出处理器1880处理后，经RF电路1810以发送给比如另一手机，或者将音频数据输出至存储器1820以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图18示出了WiFi模块1870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1820内的软件程序和/或模块，以及调用存储在存储器1820内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监测。可选的，处理器1880可包括一个或多个处理单元；优选的，处理器1880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1880中。
手机还包括给各个部件供电的电源1890（比如电池），优选的，电源可以通过电源管理系统与处理器1880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1880还具有以下功能：
显示面部表情的情绪类别选项控件；
响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情图片进行情绪类别的识别，并按照识别结果对面部表情图片进行分类存储的数据库；其中，所述面部表情识别模型包括主卷积核和辅助卷积核，所述主卷积核是指用于对所述面部表情图片的整体特征进行学习的卷积核；所述辅助卷积核是指用于对所述面部表情图片中的面部显著部位的特征进行学习的卷积核；
显示查找到的面部表情图片。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种面部表情识别模型的训练方法中的任意一种实施方式。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种面部表情图片的情绪识别方法中的任意一种实施方式。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种显示面部表情图片的方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参见前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本申请方法实施例是从系统角度描述的，与系统实施例基本相似，方法实施例描述的比较简单，相关之处参见系统实施例的部分说明。

Claims (11)

1.一种面部表情识别模型的训练方法，其特征在于，包括：
获取训练样本，所述训练样本包括面部表情的动态图片以及所述面部表情的动态图片对应的情绪类别标签；
从所述面部表情的动态图片中抽取出一帧或多帧包含面部特征的静态图片；
对抽取的所述包含面部特征的静态图片进行面部定位，得到包括脸部区域的图片；
对所述包括脸部区域的图片进行裁剪，得到眼睛部位图片和嘴巴部位图片；
将所述眼睛部位图片输入到初始神经网络模型中使用第一种辅助卷积核进行训练的卷积层；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；
将所述嘴巴部位图片输入到初始神经网络模型中使用第二种辅助卷积核进行训练的卷积层；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；
将抽取的所述包含面部特征的静态图片输入到初始神经网络模型中使用主卷积核进行训练的卷积层；所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；
在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的预测结果；
根据所述动态图片的所属情绪类别的预测结果及所述动态图片的情绪类别标签计算损失函数输出值；
根据所述损失函数输出值计算所述初始神经网络模型中各个参数的梯度；
依据所述梯度对所述初始神经网络模型的权重参数进行更新，采用迭代的方式对样本数据库中的所有训练样本进行训练，当更新权重后的所述初始神经网络模型的损失函数的输出值符合预设条件时，将所述更新权重后的模型作为面部表情识别模型。
2.一种面部表情识别模型的训练装置，其特征在于，包括：
获取模块，用于获取训练样本，所述训练样本包括面部表情的动态图片以及所述面部表情的动态图片对应的情绪类别标签；
训练模块，具体用于：
从所述面部表情的动态图片中抽取出一帧或多帧包含面部特征的静态图片；
对抽取的所述包含面部特征的静态图片进行面部定位，得到包括脸部区域的图片；
对所述包括脸部区域的图片进行裁剪，得到眼睛部位图片和嘴巴部位图片；
将所述眼睛部位图片输入到初始神经网络模型中使用第一种辅助卷积核进行训练的卷积层；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；
将所述嘴巴部位图片输入到初始神经网络模型中使用第二种辅助卷积核进行训练的卷积层；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；
将抽取的所述包含面部特征的静态图片输入到初始神经网络模型中使用主卷积核进行训练的卷积层；所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；
在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的预测结果；
根据所述动态图片的所属情绪类别的预测结果及所述动态图片的情绪类别标签计算损失函数输出值；
根据所述损失函数输出值计算所述初始神经网络模型中各个参数的梯度；
依据所述梯度对所述初始神经网络模型的权重参数进行更新，采用迭代的方式对样本数据库中的所有训练样本进行训练，当更新权重后的所述初始神经网络模型的损失函数的输出值符合预设条件时，将所述更新权重后的模型作为面部表情识别模型。
3.一种面部表情图片的情绪识别方法，其特征在于，包括：
获取面部表情的动态图片；
从所述面部表情的动态图片中抽取出一帧或多帧包含面部特征的静态图片；
对抽取的所述包含面部特征的静态图片进行面部定位，得到包括脸部区域的图片；
对所述包括脸部区域的图片进行裁剪，得到眼睛部位图片和嘴巴部位图片；
将所述眼睛部位图片输入到面部表情识别模型中使用第一种辅助卷积核进行训练的卷积层；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；
将所述嘴巴部位图片输入到面部表情识别模型中使用第二种辅助卷积核进行训练的卷积层；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；
将抽取的所述包含面部特征的静态图片输入到面部表情识别模型中使用主卷积核进行训练的卷积层；所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；
在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的识别结果。
4.根据权利要求3所述方法，其特征在于，所述在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的识别结果，包括：
在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别对每一帧所述静态图片以及所述眼睛部位图片和所述嘴巴部位图片进行学习得到分类概率，将所述分类概率作为所述动态图片的分类概率；
根据所述动态图片的分类概率输出用于标识所述动态图片所属情绪类别的识别结果。
5.一种面部表情图片的情绪识别装置，其特征在于，包括：
获取模块，用于获取面部表情的动态图片；
识别模块，具体用于：
从所述面部表情的动态图片中抽取出一帧或多帧包含面部特征的静态图片；
对抽取的所述包含面部特征的静态图片进行面部定位，得到包括脸部区域的图片；
对所述包括脸部区域的图片进行裁剪，得到眼睛部位图片和嘴巴部位图片；
将所述眼睛部位图片输入到面部表情识别模型中使用第一种辅助卷积核进行训练的卷积层；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；
将所述嘴巴部位图片输入到面部表情识别模型中使用第二种辅助卷积核进行训练的卷积层；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；
将抽取的所述包含面部特征的静态图片输入到面部表情识别模型中使用主卷积核进行训练的卷积层；所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；
在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的识别结果。
6.一种面部表情图片的显示方法，其特征在于，包括：
显示面部表情的情绪类别选项控件；
响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情的动态图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情的动态图片进行情绪类别的识别，并按照识别结果对面部表情的动态图片进行分类存储的数据库；
其中，所述面部表情识别模型包括主卷积核、第一种辅助卷积核和第二种辅助卷积核，所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的预测结果；
显示查找到的面部表情的动态图片。
7.根据权利要求6所述方法，其特征在于，所述方法还包括：
利用所述面部表情识别模型对用户上传或者收藏的面部表情的动态图片进行情绪类别的识别，并根据识别结果将用户上传或者收藏的面部表情的动态图片保存至所述面部表情图片库对应的情绪类别中。
8.根据权利要求6所述方法，其特征在于，所述方法还包括：
响应于用户触发的面部表情包选择操作，在被用户选中的面部表情包的选择界面上，显示面部表情的情绪类别选择控件；
则所述响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情的动态图片，包括：
响应于用户触发的情绪类别选择操作，从所述面部表情图片库中查找属于所述被用户选中的面部表情包并且属于被用户选中的情绪类别的面部表情的动态图片。
9.一种面部表情图片的显示装置，其特征在于，包括：
第一显示模块，用于显示面部表情的情绪类别选项控件；
查找模块，用于响应于用户触发的情绪类别选择操作，从面部表情图片库中查找属于被用户选中的情绪类别的面部表情的动态图片；所述面部表情图片库是利用预先训练的面部表情识别模型对面部表情的动态图片进行情绪类别的识别，并按照识别结果对面部表情的动态图片进行分类存储的数据库；
其中，所述面部表情识别模型包括主卷积核、第一种辅助卷积核和第二种辅助卷积核，所述主卷积核为用于对面部表情图片的整体特征进行学习的卷积核；所述第一种辅助卷积核为用于对眼部的特征进行学习的卷积核；所述第二种辅助卷积核为用于对嘴巴部位的特征进行学习的卷积核；在使用所述第一种辅助卷积核进行训练的卷积层、使用所述第二种辅助卷积核进行训练的卷积层和使用所述主卷积核进行训练的卷积层中，分别进行训练，输出所述动态图片的所属情绪类型的预测结果；
第二显示模块，用于显示查找到的面部表情的动态图片。
10.一种面部表情图片的显示设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求6至8任一项所述的面部表情图片的显示方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1所述的面部表情识别模型的训练方法，或者，所述程序代码用于执行权利要求3至4任一项所述的面部表情图片的情绪识别方法，或者，所述程序代码用于执行权利要求执行权利要求6至8任一项所述的面部表情图片的显示方法。
CN201810235671.4A 2018-03-21 2018-03-21 模型训练方法、情绪识别方法、表情显示方法及相关设备 Active CN110298212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235671.4A CN110298212B (zh) 2018-03-21 2018-03-21 模型训练方法、情绪识别方法、表情显示方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235671.4A CN110298212B (zh) 2018-03-21 2018-03-21 模型训练方法、情绪识别方法、表情显示方法及相关设备

Publications (2)

Publication Number Publication Date
CN110298212A CN110298212A (zh) 2019-10-01
CN110298212B true CN110298212B (zh) 2023-04-07

Family

ID=68025360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235671.4A Active CN110298212B (zh) 2018-03-21 2018-03-21 模型训练方法、情绪识别方法、表情显示方法及相关设备

Country Status (1)

Country Link
CN (1) CN110298212B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866588B (zh) * 2019-11-08 2023-05-02 中国科学院软件研究所 一种实现智能虚拟数字动物的可学习能力模型个性化的训练学习方法与系统
CN112699774B (zh) * 2020-12-28 2024-05-24 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN112348001B (zh) * 2021-01-08 2021-05-25 北京沃东天骏信息技术有限公司 表情识别模型的训练方法、识别方法、装置、设备及介质
CN112905791A (zh) * 2021-02-20 2021-06-04 北京小米松果电子有限公司 表情包生成方法及装置、存储介质
CN113407583A (zh) * 2021-06-24 2021-09-17 山东浪潮科学研究院有限公司 一种基于AIot和TinyML技术进行情绪分析和食品推荐的方法
CN113516513B (zh) * 2021-07-20 2023-04-07 重庆度小满优扬科技有限公司 数据分析方法、装置、计算机设备和存储介质
CN113269173B (zh) * 2021-07-20 2021-10-22 佛山市墨纳森智能科技有限公司 一种建立情感识别模型和识别人物情感的方法和装置
CN113762221B (zh) * 2021-11-05 2022-03-25 通号通信信息集团有限公司 人体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745237A (zh) * 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN107742107A (zh) * 2017-10-20 2018-02-27 北京达佳互联信息技术有限公司 人脸图像分类方法、装置及服务器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577410B2 (ja) * 2008-06-18 2010-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN104935491B (zh) * 2014-03-17 2018-08-07 腾讯科技（深圳）有限公司 一种发送表情图像的方法及装置
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN105373777B (zh) * 2015-10-30 2019-01-08 中国科学院自动化研究所 一种用于人脸识别的方法及装置
CN106599926A (zh) * 2016-12-20 2017-04-26 上海寒武纪信息科技有限公司 一种表情图片推送方法及系统
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107292256B (zh) * 2017-06-14 2019-12-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745237A (zh) * 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN107742107A (zh) * 2017-10-20 2018-02-27 北京达佳互联信息技术有限公司 人脸图像分类方法、装置及服务器

Also Published As

Publication number Publication date
CN110298212A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298212B (zh) 模型训练方法、情绪识别方法、表情显示方法及相关设备
CN110598046B (zh) 一种基于人工智能的标题党识别方法和相关装置
CN111260665B (zh) 图像分割模型训练方法和装置
CN108280458B (zh) 群体关系类型识别方法及装置
CN106792003B (zh) 一种智能广告插播方法、装置及服务器
CN107977928B (zh) 表情生成方法、装置、终端及存储介质
CN111582116B (zh) 一种视频抹除痕迹检测方法、装置、设备和存储介质
CN111046227A (zh) 一种视频查重方法及装置
CN110704661A (zh) 一种图像分类方法和装置
CN108289057B (zh) 视频编辑方法、装置及智能移动终端
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN110516113B (zh) 一种视频分类的方法、视频分类模型训练的方法及装置
CN111651604B (zh) 基于人工智能的情感分类方法和相关装置
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN108549681B (zh) 数据处理方法和装置、电子设备、计算机可读存储介质
CN112214605A (zh) 一种文本分类方法和相关装置
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN111314771B (zh) 一种视频播放方法及相关设备
CN114357278A (zh) 一种话题推荐方法、装置及设备
CN108765522B (zh) 一种动态图像生成方法及移动终端
CN113656557A (zh) 消息回复方法、装置、存储介质及电子设备
CN111611369B (zh) 基于人工智能的交互方法和相关装置
CN113411246B (zh) 一种回复处理方法、装置和用于回复处理的装置
CN109670105B (zh) 搜索方法及移动终端
CN110390102A (zh) 一种情感分析的方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant