CN106228145A - 一种人脸表情识别方法和设备 - Google Patents

一种人脸表情识别方法和设备 Download PDF

Info

Publication number
CN106228145A
CN106228145A CN201610631259.5A CN201610631259A CN106228145A CN 106228145 A CN106228145 A CN 106228145A CN 201610631259 A CN201610631259 A CN 201610631259A CN 106228145 A CN106228145 A CN 106228145A
Authority
CN
China
Prior art keywords
expression
identified
human face
parameter group
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610631259.5A
Other languages
English (en)
Other versions
CN106228145B (zh
Inventor
王文龙
包塔
肖凯
王震
于仰民
李阳
郭靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NET EASE YOUDAO INFORMATION TECHNOLOGY (BEIJING) Co Ltd
Netease Youdao Information Technology Beijing Co Ltd
Original Assignee
NET EASE YOUDAO INFORMATION TECHNOLOGY (BEIJING) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NET EASE YOUDAO INFORMATION TECHNOLOGY (BEIJING) Co Ltd filed Critical NET EASE YOUDAO INFORMATION TECHNOLOGY (BEIJING) Co Ltd
Priority to CN201610631259.5A priority Critical patent/CN106228145B/zh
Publication of CN106228145A publication Critical patent/CN106228145A/zh
Application granted granted Critical
Publication of CN106228145B publication Critical patent/CN106228145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种人脸表情识别方法，该方法包括：获取待识别人脸区域；确定所述待识别人脸区域对应的表情参数组；根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。该方法为用户提供了一个确切的人脸表情识别结果，满足了用户需要一个确切的人脸表情识别结果的需求，为用户带来了更好的体验。此外，本发明的实施方式提供了一种人脸表情识别设备。

Description

一种人脸表情识别方法和设备
技术领域
本发明的实施方式涉及人脸识别技术领域，更具体地，本发明的实施方式涉及一种人脸表情识别方法和设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着人脸识别技术的不断发展，人脸表情识别技术也受到了人们的青睐。目前，微软开发了人脸表情识别接口，用户可利用该接口识别图像的人脸区域中人脸的表情，具体为：从人脸区域中得到八个维度的表情参数的值，并将八个维度的表情参数值作为一个表情参数组提供给用户侧进行显示，这8个维度为：愤怒(anger)、藐视(contempt)、厌恶(disgust)、害怕(fear)、幸福(happiness)、中立(neutral)、悲伤(sadness)、惊奇(surprise)。其中，人脸表情与表情参数组一一对应，表情参数的值用于表征当前人脸表情在该表情参数下的指数。
目前的这种人脸表情识别方式虽然能够得到多个维度的表情参数的值，但是，用户可能无法根据多个表情参数的值得到一个确切的人脸表情，比如：当悲伤和中立两种表情参数的值分别为0.5，其它表情参数的值为0时，用户无法确定当前人脸表情是悲伤还是中立，从而无法满足用户需要一个确切的人脸表情识别结果的需求。
发明内容
现有技术中的人脸表情识别方法无法满足用户需要一个确切的人脸表情识别结果的需求。为此，非常需要一种改进的人脸表情识别方法，从而为用户提供一个确切的人脸表情识别结果，为用户带来更好的体验。
在本上下文中，本发明的实施方式期望提供一种人脸表情识别方法和设备。
在本发明实施方式的第一方面中，提供了一种人脸表情识别方法，包括：
获取待识别人脸区域；
确定所述待识别人脸区域对应的表情参数组；
根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
在本发明实施方式的第二方面中，提供了一种人脸表情识别设备，包括：
获取模块，用于获取待识别人脸区域；
参数确定模块，用于确定所述待识别人脸区域对应的表情参数组；
表情确定模块，用于根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
在本发明实施方式的第三方面中，提供了一种人脸表情识别设备，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：
获取待识别人脸区域；
确定所述待识别人脸区域对应的表情参数组；
根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当所述程序产品运行时，所述程序代码用于执行以下过程：
获取待识别人脸区域；
确定所述待识别人脸区域对应的表情参数组；
根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
根据本发明实施方式的人脸表情识别方法和设备，通过预先存储的表情参数组与表情标签的对应关系，确定待识别人脸区域的表情标签，以描述待识别人脸区域的人脸表情，从而为用户提供了一个确切的人脸表情识别结果，满足了用户需要一个确切的人脸表情识别结果的需求，为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的应用场景示意图；
图2示意性地示出了根据本发明一实施例的一种人脸表情识别方法的流程示意图；
图3示意性地示出了根据本发明一实施例的切换设定位置处显示的待识别人脸区域的表情标签的方法流程示意图；
图4示意性地示出了根据本发明一实施例的确定待识别人脸区域的表情标签的方法流程示意图；
图5示意性地示出了根据本发明实施例的一种人脸表情识别设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种人脸表情识别方法和设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有技术中，人脸表情识别方式虽然能够得到多个维度的表情参数的值，但是，用户可能无法根据多个表情参数的值得到一个确切的人脸表情，比如：当悲伤和中立两种表情参数的值分别为0.5，其它表情参数的值为0时，用户无法确定当前人脸表情是悲伤还是中立，从而无法满足用户需要一个确切的人脸表情识别结果的需求。现有技术中缺乏一种改进的人脸表情识别方法能够满足用户需要一个确切的人脸表情识别结果的需求。
为此，本发明提供了一种人脸表情识别方法和设备，人脸表情识别方法可以包括：获取待识别人脸区域；确定所述待识别人脸区域对应的表情参数组；根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图1，如图1所示，为本发明实施例提供的人脸表情识别方法的应用场景示意图，包括用户终端101和服务器102，其中，用户10利用用户终端101中的摄像头拍摄图像，并将拍摄到的图像发送至用户终端101中的人脸表情识别应用中，该用户终端101中的人脸表情识别应用获取该图像中的待识别人脸区域；确定所述待识别人脸区域对应的表情参数组；根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。用户终端101定期从服务器102表情参数组与表情标签的对应关系并保存。当然，用户终端101中的人脸表情识别应用也可以只是把拍摄到的图像发送到服务器102，由服务器102获取该图像中的待识别人脸区域；确定所述待识别人脸区域对应的表情参数组；根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，并且将确定的所述待识别人脸区域的表情标签发送给用户终端101中的人脸表情识别应用。
示例性方法
下面结合图1的应用场景，参考图2～图4来描述根据本发明示例性实施方式的人脸表情识别方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
图2为本发明提供的一种人脸表情识别方法的一实施例的流程示意图，主要包括人脸表情识别的流程，执行主体可以为应用场景总览中的用户终端101，如图2所示，本发明实施例提供的一种人脸表情识别方法，包括如下步骤：
步骤201，获取待识别人脸区域。
本步骤中，从图像中获取待识别人脸区域，从图像中获取的待识别人脸区域可能仅为一个，也可能为多个，其中每个人脸区域中包含一个人脸。
步骤202，确定所述待识别人脸区域对应的表情参数组。
本步骤中，可利用背景技术中涉及的微软开发的人脸表情识别接口，确定待识别人脸区域对应的表情参数组，也可利用其他已有的可得到人脸表情参数组的人脸表情识别接口确定待识别人脸区域对应的表情参数组，这里不做详述。其中，利用微软开发的人脸表情识别接口对待识别人脸区域进行识别后得到的表情参数组中的表情参数包括：愤怒(anger)、藐视(contempt)、厌恶(disgust)、害怕(fear)、幸福(happiness)、中立(neutral)、悲伤(sadness)、惊奇(surprise)这八个人脸表情参数。
步骤203，根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
本步骤中，预先存储表情参数组与表情标签的对应关系，具体可采用如下方式预先存储表情参数组与表情标签的对应关系：针对每个样本人脸区域，人工识别该样本人脸区域中的人脸表情，并记录该样本人脸区域的表情标签；通过人脸表情识别接口得到该样本人脸区域对应的表情参数组；对应保存该样本人脸区域的表情标签与该样本人脸区域对应的表情参数组，得到预先存储的表情参数组与表情标签的对应关系。
其中，表情标签用于描述人脸表情，比如，表情标签可以为“你在逗我吗？”、“秘汁微笑”、“极其悲伤”等，这样可以描述待识别人脸区域中的人脸表情，从而使给用户一个确定的人脸识别结果，而不是为用户提供一组人脸表情参数。
优选地，表情标签可以包括中文，以及与该中文对应的英文，还可以包括与该中文对应的日文、韩文等，这里不做限定。这种利用多种语言描述人脸表情的方式，可以增加人脸表情识别结果的趣味性，提高用户体验。
需要说明的是，本发明实施例的执行主体也可以为应用场景中的服务器，此时，用户10通过用户终端101将图像传送至服务器，由服务器执行步骤201-203，并将确定的表情标签返回给用户终端101。
利用本发明实施例提供的人脸表情识别方法，通过预先存储的表情参数组与表情标签的对应关系，确定待识别人脸区域的表情标签，以描述待识别人脸区域的人脸表情，从而为用户提供了一个确切的人脸表情识别结果，满足了用户需要一个确切的人脸表情识别结果的需求，为用户带来了更好的体验。
优选地，可按照以下方式获取待识别人脸区域：
方式一：对已存在的图像中的人脸进行识别，得到待识别人脸区域。
其中，已存在的图像为用户已拍摄并存储在用户终端中的图像。
方式二：对通过摄像头实时采集的图像中的人脸进行识别，得到待识别人脸区域。
其中，通过摄像头实时采集的图像为用户终端上的摄像头开启后，用户还未点击拍摄按钮之前所采集的图像，即用户将用户终端上的摄像头开启后，只要摄像头的视角范围内具有待识别人脸区域，即可获取待识别人脸区域并进行人脸表情识别。
方式一和方式二中，可采用现有的人脸识别算法对图像中的人脸进行识别，这里不做详述。
作为一种优选地实施方式，步骤203之后，本发明实施例提供的人脸表情识别方法还包括：
步骤204，将所述待识别人脸区域的表情标签显示在设定位置处。
本步骤中，将待识别人脸区域的表情标签显示在用户终端屏幕的设定位置处，此时，用户终端屏幕上显示包含该待识别人脸区域的图像。设定位置可根据实际应用场景设定，优选为不遮挡该待识别人脸区域的位置，比如设定位置为图像中没有待识别人脸区域的位置。
在具体实施时，一幅图像中的待识别人脸区域可能包含一个，可能包含多个，在待识别人脸区域为一个的情况下，将该待识别人脸区域的表情标签显示在设定位置处。在待识别人脸区域为多个的情况下，可按照以下方式将所述待识别人脸区域的表情标签显示在设定位置处：
选取处于中间位置的待识别人脸区域的表情标签显示在设定位置处，或者，选取最清晰的一个待识别人脸区域的表情标签显示在设定位置处。
其中，当待识别人脸区域为多个时，默认地，可将处于中间位置的待识别人脸区域的表情标签显示在设定位置处，或者将最清晰的一个待识别人脸区域的表情标签显示在设定位置处；最清晰的一个待识别人脸区域为图像中的可识别度最高的一个待识别人脸区域。
也可以采用其它选取一个待识别人脸区域的表情标签的方式，比如选取对应的表情标签为“幸福”的一个待识别人脸区域进行显示，或者从多个待识别人脸区域中随机选取一个待识别人脸区域的表情标签进行显示。
在待识别人脸区域为多个的情况下，利用本发明实施例提供的人脸表情识别方法，识别出一幅图像中的每个待识别人脸区域的表情标签并保存。将待识别人脸区域的表情标签显示在设定位置处时，选取其中一个待识别人脸区域的表情标签显示在设定位置处，并标明在设定位置处显示的表情标签对应的人脸区域，比如可以用不同颜色的矩形框区分当前显示的表情标签对应的待识别人脸区域，即，每个待识别人脸区域用矩形框框选出来，当前显示的表情标签对应的待识别人脸区域的矩形框为红色，其它待识别人脸区域的矩形框为白色，颜色可根据实际应用场景自由设定，这里不做限定，只要当前显示的表情标签对应的人脸区域的矩形框颜色与其他待识别人脸区域的矩形框颜色不同即可。比如，还可以用箭头标明当前显示的表情标签对应的人脸区域。
在待识别人脸区域为多个的情况下，选取其中一个待识别人脸区域的表情标签显示在设定位置处之后，优选地，采用图3提供的内容，切换设定位置处显示的待识别人脸区域的表情标签：
步骤301，确定用户选中其他任一待识别人脸区域时，获取所述其他任一待识别人脸区域的表情标签。
步骤302，将所述其他任一待识别人脸区域的表情标签显示在设定位置处。
其中，其它任一待识别人脸区域为设定位置处当前显示表情标签对应的待识别人脸区域之外的任一待识别人脸区域。
在具体实施时，当用户选中其他任一待识别人脸区域时，获取并在设定位置处显示该其它任一待识别人脸区域的表情标签，这样可以方便用户切换设定位置处显示的待识别人脸区域的表情标签，使得用户根据需要查看各个待识别人脸区域的表情标签。
当然，在显示表情标签的同时，也可以显示相应的表情参数及其值。例如，在表情参数及其值上，叠加显示表情标签。
在具体实施时，可采用图4提供的内容，确定所述待识别人脸区域的表情标签：
步骤401，针对预先存储的每个表情参数组，计算该表情参数组中的每个表情参数与所述确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方，得到该表情参数组对应的平方集合。
本步骤中，针对预先存储的表情参数组与表情标签的对应关系中的每个表情参数组，计算该表情参数组中的每个表情参数与确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方。比如：该表情参数组为(a，b，c)，其中，a、b、c分别为表情参数的值，确定的待识别人脸区域对应的表情参数组为(a’，b’，c’)，其中，a’、b’、c’分别为表情参数的值，则计算该表情参数组中的每个表情参数与所述确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方为：(a-a')2、(b-b')2、(c-c')2，得到的该表情参数组对应的平方集合为{(a-a')2、(b-b')2、(c-c')2}，需要说明的是，在具体实施时，得到的平方集合中的元素为具体数值。
步骤402，计算该表情参数组对应的平方集合中各元素的和值，作为该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度。
其中，该表情参数组对应的平方集合中各元素的和值越大，该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度越小，反之，该表情参数组对应的平方集合中各元素的和值越小，该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度越大。
继续沿用上例，计算该表情参数组对应的平方集合中各元素的和值为：(a-a')2+(b-b')2+(c-c')2。
步骤403，确定所述预先存储的表情参数组中，与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组。
本步骤中，将预先存储的表情参数组中，对应的平方集合中各元素的和值最小的表情参数组，作为与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组。
步骤404，根据预先存储的表情参数组与表情标签的对应关系，确定与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签。
步骤405，将与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签，确定为所述确定的待识别人脸区域对应的表情参数组对应的表情标签。
根据图4提供的实施方式，确定出的待识别人脸区域对应的表情参数组对应的表情标签比较准确。图4提供的实施例方式仅为一种优选地实施方式，也可采用其他方式确定待识别人脸区域对应的表情参数组对应的表情标签，这里不做限定，比如：也可从预先存储的表情参数组中，查找与确定的待识别人脸区域对应的表情参数组中的参数相同最多的表情参数组，并将查找到的表情参数组对应的表情标签作为确定的待识别人脸区域对应的表情参数组对应的表情标签。
示例性设备
在介绍了本发明示例性实施方式的人脸表情识别方法之后，接下来，参考图5描述本发明示例性实施方式的人脸表情识别设备。
图5为本发明实施例提供的一种人脸表情识别设备的结构示意图，如图5所示，可以包括如下模块：
获取模块501，用于获取待识别人脸区域；
参数确定模块502，用于确定所述待识别人脸区域对应的表情参数组；
表情确定模块503，用于根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
优选地，所述获取模块501具体用于：
对已经存在的图像中的人脸进行识别，得到待识别人脸区域。
优选地，所述获取模块501具体用于：
对通过摄像头实时采集的图像中的人脸进行识别，得到待识别人脸区域。
在本实施例的一些实施方式中，可选的，该人脸表情识别设备还包括：
显示模块504，用于将所述待识别人脸区域的表情标签显示在设定位置处。
优选地，所述显示模块504具体用于：
在待识别人脸区域为多个的情况下，选取处于中间位置的待识别人脸区域的表情标签显示在设定位置处，或者，选取最清晰的一个待识别人脸区域的表情标签显示在设定位置处。
优选地，所述显示模块504还用于：
确定用户选中其他任一待识别人脸区域时，获取所述其他任一待识别人脸区域的表情标签；将所述其他任一待识别人脸区域的表情标签显示在设定位置处。
优选地，所述表情确定模块503，包括：
第一计算单元5031，用于针对预先存储的每个表情参数组，计算该表情参数组中的每个表情参数与所述确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方，得到该表情参数组对应的平方集合；
第二计算单元5032，用于计算该表情参数组对应的平方集合中各元素的和值，作为该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度；
第一确定单元5033，用于确定所述预先存储的表情参数组中，与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组；
第二确定单元5034，用于根据预先存储的表情参数组与表情标签的对应关系，确定与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签；
第三确定单元5035，用于将与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签，确定为所述确定的待识别人脸区域对应的表情参数组对应的表情标签。
优选地，所述表情标签包括中文以及与所述中文对应的英文。
应当注意，尽管在上文详细描述中提及了人脸表情识别设备的若干单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种人脸表情识别方法，包括：
获取待识别人脸区域；
确定所述待识别人脸区域对应的表情参数组；
根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
2.根据权利要求1所述的方法，其中，获取待识别人脸区域，包括：
对已经存在的图像中的人脸进行识别，得到待识别人脸区域。
3.根据权利要求1所述的方法，其中，获取待识别人脸区域，包括：
对通过摄像头实时采集的图像中的人脸进行识别，得到待识别人脸区域。
4.根据权利要求1-3任一所述的方法，还包括：
将所述待识别人脸区域的表情标签显示在设定位置处。
5.根据权利要求4所述的方法，其中，将所述待识别人脸区域的表情标签显示在设定位置处，包括：
在待识别人脸区域为多个的情况下，选取处于中间位置的待识别人脸区域的表情标签显示在设定位置处，或者，选取最清晰的一个待识别人脸区域的表情标签显示在设定位置处。
6.根据权利要求5所述的方法，还包括：
确定用户选中其他任一待识别人脸区域时，获取所述其他任一待识别人脸区域的表情标签；
将所述其他任一待识别人脸区域的表情标签显示在设定位置处。
7.根据权利要求1所述的方法，其中，确定所述待识别人脸区域的表情标签，包括：
针对预先存储的每个表情参数组，计算该表情参数组中的每个表情参数与所述确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方，得到该表情参数组对应的平方集合；
计算该表情参数组对应的平方集合中各元素的和值，作为该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度；
确定所述预先存储的表情参数组中，与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组；
根据预先存储的表情参数组与表情标签的对应关系，确定与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签；
将与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签，确定为所述确定的待识别人脸区域对应的表情参数组对应的表情标签。
8.根据权利要求1所述的方法，其中，所述表情标签包括中文以及与所述中文对应的英文。
9.一种人脸表情识别设备，包括：
获取模块，用于获取待识别人脸区域；
参数确定模块，用于确定所述待识别人脸区域对应的表情参数组；
表情确定模块，用于根据预先存储的表情参数组与表情标签的对应关系，以及所述确定的待识别人脸区域对应的表情参数组，确定所述待识别人脸区域的表情标签，其中，所述表情标签用于描述人脸表情。
10.根据权利要求9所述的设备，其中，所述表情确定模块，包括：
第一计算单元，用于针对预先存储的每个表情参数组，计算该表情参数组中的每个表情参数与所述确定的待识别人脸区域对应的表情参数组中的对应表情参数的值的差的平方，得到该表情参数组对应的平方集合；
第二计算单元，用于计算该表情参数组对应的平方集合中各元素的和值，作为该表情参数组与所述确定的待识别人脸区域对应的表情参数组的相似度；
第一确定单元，用于确定所述预先存储的表情参数组中，与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组；
第二确定单元，用于根据预先存储的表情参数组与表情标签的对应关系，确定与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签；
第三确定单元，用于将与所述确定的待识别人脸区域对应的表情参数组的相似度最大的表情参数组对应的表情标签，确定为所述确定的待识别人脸区域对应的表情参数组对应的表情标签。
CN201610631259.5A 2016-08-04 2016-08-04 一种人脸表情识别方法和设备 Active CN106228145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610631259.5A CN106228145B (zh) 2016-08-04 2016-08-04 一种人脸表情识别方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610631259.5A CN106228145B (zh) 2016-08-04 2016-08-04 一种人脸表情识别方法和设备

Publications (2)

Publication Number Publication Date
CN106228145A true CN106228145A (zh) 2016-12-14
CN106228145B CN106228145B (zh) 2019-09-03

Family

ID=57546894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610631259.5A Active CN106228145B (zh) 2016-08-04 2016-08-04 一种人脸表情识别方法和设备

Country Status (1)

Country Link
CN (1) CN106228145B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107219917A (zh) * 2017-04-28 2017-09-29 北京百度网讯科技有限公司 表情符号生成方法及装置、计算机设备与可读介质
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN108942919A (zh) * 2018-05-28 2018-12-07 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN109753950A (zh) * 2019-02-11 2019-05-14 河北工业大学 动态人脸表情识别方法
CN109948426A (zh) * 2019-01-23 2019-06-28 深圳壹账通智能科技有限公司 应用程序调整方法、装置、电子设备及存储介质
CN111079472A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 图像对比方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1602620A (zh) * 2001-12-11 2005-03-30 皇家飞利浦电子股份有限公司 基于情绪的虚拟相册
US20070122005A1 (en) * 2005-11-29 2007-05-31 Mitsubishi Electric Corporation Image authentication apparatus
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN103530313A (zh) * 2013-07-08 2014-01-22 北京百纳威尔科技有限公司 应用信息的搜索方法及装置
CN104063683A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于人脸识别的表情输入方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1602620A (zh) * 2001-12-11 2005-03-30 皇家飞利浦电子股份有限公司 基于情绪的虚拟相册
US20070122005A1 (en) * 2005-11-29 2007-05-31 Mitsubishi Electric Corporation Image authentication apparatus
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN103530313A (zh) * 2013-07-08 2014-01-22 北京百纳威尔科技有限公司 应用信息的搜索方法及装置
CN104063683A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于人脸识别的表情输入方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱明旱 等: "一种人脸表情的矢量分解与合成算法", 《光电子•激光》 *
李竹林 等: "《图像立体匹配技术及其发展和应用》", 31 July 2007, 陕西科学技术出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107219917A (zh) * 2017-04-28 2017-09-29 北京百度网讯科技有限公司 表情符号生成方法及装置、计算机设备与可读介质
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
CN108942919A (zh) * 2018-05-28 2018-12-07 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN111079472A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 图像对比方法和装置
CN109948426A (zh) * 2019-01-23 2019-06-28 深圳壹账通智能科技有限公司 应用程序调整方法、装置、电子设备及存储介质
CN109753950A (zh) * 2019-02-11 2019-05-14 河北工业大学 动态人脸表情识别方法

Also Published As

Publication number Publication date
CN106228145B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN106228145A (zh) 一种人脸表情识别方法和设备
Wang et al. A deep network solution for attention and aesthetics aware photo cropping
CN104854539B (zh) 一种对象搜索方法及装置
CN104917666B (zh) 一种制作个性化动态表情的方法和装置
CN110992449B (zh) 舞蹈动作合成方法、装置、设备及存储介质
CN109587554A (zh) 视频数据的处理方法、装置及可读存储介质
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN104917967A (zh) 一种拍照方法及终端
CN104866323B (zh) 一种解锁界面的生成方法、装置及电子设备
CN105447125A (zh) 一种电子设备及化妆辅助方法
CN108305256B (zh) 视频抠像处理方法、处理装置及计算机可读存储介质
CN104866755B (zh) 应用程序解锁界面背景图片的设置方法、装置及电子设备
CN106354777B (zh) 一种应用于电子终端的搜题方法及装置
CN112770058B (zh) 拍摄方法、装置、电子设备和可读存储介质
EP4300431A1 (en) Action processing method and apparatus for virtual object, and storage medium
CN106372243A (zh) 应用于电子终端的试题搜索方法和装置
CN111770386A (zh) 视频处理方法、视频处理装置及电子设备
CN111191503A (zh) 一种行人属性识别方法、装置、存储介质及终端
CN106155542A (zh) 图片处理方法及装置
CN105786803B (zh) 翻译方法及翻译装置
CN110414001A (zh) 语句生成方法和装置、存储介质及电子装置
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
CN108133209A (zh) 一种文本识别中的目标区域搜索方法及其装置
CN105022480A (zh) 一种输入方法及终端
CN111062362B (zh) 人脸活体检测模型、方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant