CN111598002B - 多面部表情捕捉方法、装置、电子设备及计算机存储介质 - Google Patents
多面部表情捕捉方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111598002B CN111598002B CN202010419566.3A CN202010419566A CN111598002B CN 111598002 B CN111598002 B CN 111598002B CN 202010419566 A CN202010419566 A CN 202010419566A CN 111598002 B CN111598002 B CN 111598002B
- Authority
- CN
- China
- Prior art keywords
- face
- recognition
- expression
- determining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000014509 gene expression Effects 0.000 claims abstract description 94
- 230000000694 effects Effects 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 19
- 230000009471 action Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 210000000887 face Anatomy 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提供了一种多面部表情捕捉方法、装置、电子设备及计算机存储介质。其中，多面部通过多个图像获取装置捕捉；多个图像获取装置的图像捕捉范围为覆盖多面部活动的范围；该多面部表情捕捉方法可以包括：获取多面部的多幅图像；基于多面部活动的范围，对多幅图像进行人脸识别、表情识别和人脸姿态识别；基于人脸识别、表情识别和人脸姿态识别的结果，确定各面部的表情信息。本公开实施例克服了传统技术采用头戴式捕捉设备对人体肢体活动造成限制的缺陷，解决了如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题，实现了无需头戴式面部捕捉设备就可以捕捉面部表情的技术效果。
Description
技术领域
本公开涉及图像处理技术领域，特别是涉及一种多面部表情捕捉方法、装置、电子设备及计算机存储介质。
背景技术
目前，在捕捉面部表情时，现有技术通常通过头戴式面部捕捉设备来实现。
随着实时互动虚拟角色的表演形式的普及，上述现有面部表情捕捉技术在对多个近距离的面部捕捉时，由于人体的肢体动作会造成多个头戴式面部捕捉设备上的摄像头相撞，或者人体的肢体相碰撞，从而影响到人体动作的执行。
因此，提供一种在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的方法是亟待解决的技术问题。
发明内容
本公开实施例的主要目的在于提供一种多面部表情捕捉方法、装置、电子设备及计算机存储介质，以解决如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题。
为了实现上述目的，第一方面，本公开提供了以下技术方案：
一种多面部表情捕捉方法，其中，所述多面部通过多个图像获取装置捕捉；所述多个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围；所述多面部表情捕捉方法包括：
获取所述多面部的多幅图像；
基于所述多面部活动的范围，对所述多幅图像进行人脸识别、表情识别和人脸姿态识别；
基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息。
进一步地，如果针对任一面部，获取多幅图像，则所述方法包括：
对所述多幅图像进行人脸识别、表情识别和人脸姿态识别的步骤，具体包括：
对所述任一面部的所述多幅图像进行人脸识别、表情识别和人脸姿态识别，得到多个识别结果；
基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息的步骤，具体包括：
确定各识别结果的融合权重；
通过所述融合权重，将所述各识别结果进行融合；
基于融合结果，确定所述任一面部的表情信息。
进一步地，所述确定各识别结果的融合权重的步骤，具体包括：
计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的所述各图像中的人脸的朝向；
确定所述任一面部的所述各图像中人脸特征点；
基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离，确定多个第一权重；
基于所述人脸特征点相对于所述人脸朝向的平均可信度，确定所述任一面部的任一表情的多个第二权重；
将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和，得到多个求和结果，作为所述各识别结果的所述融合权重。
为了实现上述目的，第二方面，本公开还提供了以下技术方案：
一种多面部表情捕捉装置，其中，所述多面部通过多个图像获取装置捕捉；所述多个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围；所述多面部表情捕捉装置包括：
获取模块，用于获取所述多面部的多幅图像；
识别模块，用于基于所述多面部活动的范围，对所述多幅图像进行人脸识别、表情识别和人脸姿态识别；
确定模块，用于基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息。
进一步地，如果针对任一面部，获取多幅图像，则所述装置包括：
所述识别模块，具体用于：对所述任一面部的所述多幅图像进行人脸识别、表情识别和人脸姿态识别，得到多个识别结果；
所述确定模块，具体用于：确定各识别结果的融合权重；通过所述融合权重，将所述各识别结果进行融合；基于融合结果，确定所述任一面部的表情信息。
进一步地，所述确定模块具体还用于：
计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的所述各图像中的人脸的朝向；
确定所述任一面部的所述各图像中人脸特征点；
基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离，确定多个第一权重；
基于所述人脸特征点相对于所述人脸朝向的平均可信度，确定所述任一面部的任一表情的多个第二权重；
将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和，得到多个求和结果，作为所述各识别结果的所述融合权重。
为了实现上述目的，第三方面，本公开还提供了以下技术方案：
一种电子设备，其特征在于，包括处理器和存储器；其中：
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本公开第一方面中任意一项所述的方法步骤。
为了实现上述目的，第四方面，本公开还提供了以下技术方案：
一种计算机可读存储介质，其特征在于，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如本公开第一方面中任意一项所述的多面部表情捕捉方法。
与现有技术相比，本公开实施例至少具有以下有益效果：
本公开实施例提供一种多面部表情捕捉方法、装置、电子设备及计算机存储介质。其中，多面部通过多个图像获取装置捕捉；多个图像获取装置的图像捕捉范围为覆盖多面部活动的范围；该多面部表情捕捉方法可以包括：获取多面部的多幅图像；基于多面部活动的范围，对多幅图像进行人脸识别、表情识别和人脸姿态识别；基于人脸识别、表情识别和人脸姿态识别的结果，确定各面部的表情信息。本公开实施例通过对面部图像进行人脸识别、表情识别和人脸姿态识别来确定面部表情信息，克服了传统技术采用头戴式捕捉设备对人体肢体活动造成限制的缺陷，解决了如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题，实现了无需头戴式面部捕捉设备就可以捕捉面部表情的技术效果，例如，可以使得表演者轻松地做出更多的动作。
为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而得以体现。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。所要求保护的主题不限于解决在背景技术中提及的任何或所有缺点。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，附图作为本公开的一部分，用来对本公开作进一步的理解。下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为根据一示例性实施例的多面部表情捕捉方法的流程示意图；
图2为根据一示例性实施例的、多台摄像机捕捉多个人体的面部表情的侧视图；
图3为根据一示例性实施例的、多台摄像机捕捉多个人体的面部表情的俯视图；
图4为根据一示例性实施例的、确定第二权重的示意图；
图5根据一示例性实施例的多面部表情捕捉装置的结构示意图。
上述附图和文字描述并不旨在以任何方式来限制本公开的保护范围，而是通过参考特定实施例，以向本领域技术人员说明本公开的概念。并且，任一附图中的标记和文字仅仅是为了更清楚地说明本公开，不应视为对本公开保护范围的不当限定。
具体实施方式
下面通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合而形成技术方案。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。本公开的示意性实施例及其说明可以用于解释本公开，但不构成对本公开保护范围的不当限定。
为了解决如何在对多个近距离的面部进行表情捕捉时而不影响人物肢体动作执行的技术问题，本公开实施例提供一种多面部表情捕捉方法。其中，多面部通过多各图像获取装置捕捉；该多个图像获取装置的图像捕捉范围为覆盖该多面部活动的范围。如图1所示该方法主要包括步骤S100至步骤120。
S100：获取多面部的多幅图像。
其中，该图像可以包括色彩图像和深度图像。
上述多面部的多幅图像可以通过摄像机(尤其是阵列摄像机)、照相机等图像获取装置获得。
图2示例性地示出了多台摄像机捕捉多个人体的面部表情的侧视图。图2包括地面1、人体2和摄像机3。其中，人体(21,22,23)在地面1上表演节目；摄像机(31,32,33)在人体(21,22,23)的侧面进行面部表情捕捉。
图3示例性地示出了多台摄像机捕捉多个人体的面部表情的俯视图。图3包括地面1、人体2和摄像机3。其中，摄像机(41,42,43,44,45)以弧形排列在人体(21,22,23)的正面，进行面部表情的捕捉。
S110：基于多面部活动的范围，对多幅图像进行人脸识别、表情识别和人脸姿态识别。
其中，通过人脸识别可以从图像中识别出人物来。
人脸识别可以通过以下方法来实现：基于几何特征的方法、基于模板的方法(例如：基于相关匹配的方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配法等)或基于模型的方法(例如：基于隐马尔可夫模型的方法、基于主动形状模型的方法、基于主动外观模型的方法等)。
具体而言，人脸识别的过程可以包括：对面部的图像进行光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波和锐化等处理；基于处理后的图像，进行面部检测，以对眼睛、鼻子、眉毛、嘴角、下巴等面部关键点进行定位；基于关键点，对面部图像进行表征，以提取出视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征；确定关键点间的欧氏距离、曲率和角度；然后，结合提取出的视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征，以及所确定的、关键点间的欧氏距离、曲率和角度，确定出人脸特征数据；接着，将人脸特征数据与预定的人脸特征数据进行匹配；如果匹配程度超过预定阈值，则实现对该面部图像的确认。
表情识别是指对诸如张口、挑眉、闭眼、微笑等的识别。
表情识别的过程可以包括：基于面部动作编码系统(Facial Action CodingSystem，简称FACS)，通过摄像机捕捉面部图像中的人脸特征点，通过分析人脸特征点，识别出眉角、鼻尖、嘴角、眼睛、眉毛等关键区域；获取关键区域的人脸特征点的位置情况；利用机器学习的方法，结合关键区域的人脸特征点的位置情况，进行表情识别。
以表演者为例，通过本步骤可以确定出表演者处于什么表情状态。
S120：基于人脸识别、表情识别和人脸姿态识别的结果，确定各面部的表情信息。
上述表情信息可以包括情感信息和程度信息。其中，情感信息可以包括：高兴、生气、吃惊、恐惧、厌恶、悲伤、轻蔑、嘴角上扬、皱眉、嘟嘴等表情信息。程度信息可以包括正面情绪信息、负面情绪信息等。
本步骤可以通过文字、图像、动画、音视频等形式来确定出各面部的表情信息。
在一个可选的实施例中，在上述实施例的基础上，如果针对任一面部，获取多幅图像；则该方法可以包括：
步骤S110具体可以包括：对任一面部的多幅图像进行人脸识别、表情识别和人脸姿态识别，得到多个识别结果。这里举例说明表情识别的多个结果，比如各图像中，嘴张开程度的结果分别为：0.6，0.7，……，左眼开闭程度的结果分别为：0.2，0.4，……，(取值区间均为[0,1])；以及喜怒哀乐等情绪的程度，如情绪喜的各个结果：0.4，0.8，……，(取值区间均为[0,1])。
步骤S120具体可以包括：步骤S121至步骤S123。其中：
S121：确定各识别结果的融合权重。
S122：通过融合权重，将各识别结果进行融合。
举例来说，如果得到三个识别结果，即A、B和C；并且，所确定的融合权重为λ1、λ2和λ3；则可以通过下式进行融合(即加权平均)：
S123：基于融合结果，确定该任一面部的表情信息。
具体地，本步骤S121可以包括：步骤Sa1至步骤Sa5。其中：
Sa1：计算任一面部的各图像与各图像获取装置之间的距离、以及任一面部的各图像中的人脸的朝向。
其中，该人脸的朝向包括：人脸的俯仰角、人脸的偏航角和人脸的翻滚角。该任一面部的各图像中人脸的朝向可以通过图像获取装置(例如，摄像机)获得。
Sa2：确定任一面部的各图像中的人脸特征点，
本步骤记录下任一表情所使用到的人脸特征点的集合。各图像中任一人脸的任一表情的权重，由任一表情所使用到的人脸特征点的权重的和来确定。
本步骤将所确定的人脸特征点作为分析面部表情的基础。
其中，有关人脸特征点(也可以称为人脸关键点)，一般由鼻尖、左右鼻翼、鼻梁上中下部、嘴巴四周轮廓、左右眼睛轮廓、左右眉毛、脸部轮廓等的点组成，具体的数量由使用的人脸特征点数据集决定，比如文献(参见：https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/)中常被引用的数据集，有68个人脸特征点。基于人脸特征点，进一步分析得到眉角、鼻尖、嘴角、眼睛、眉毛等人脸关键区域，获取关键区域的人脸特征点的位置情况，利用机器学习的方法，结合关键区域的人脸特征点的位置情况，得到面部表情识别结果，举例来说，通过将当前的人脸特征点与平均状态下(默认人脸表情下)的人脸特征点的位置作对比，可以得到对应的人脸肌肉变化幅度(例如，嘴张开的程度)。
Sa3：基于任一面部的各图像与各图像获取装置之间的距离，确定多个第一权重。
本步骤根据任一面部的各图像与各图像获取装置之间的距离，可以确定出α1、α2、α3等第一权重。
Sa4：基于人脸特征点相对于人脸朝向的平均可信度，确定任一面部的任一表情的多个第二权重。
本步骤可以通过图像获取装置(例如，摄像机)获得该任一面部的各图像中人脸的朝向，来确定出任一面部的任一表情的β1、β2、β3等第二权重。
图4a-c示例性地示出了确定第二权重的示意图。其中，图4a示例性地示出了标准朝向的示意图。图4b与图4c分别基于不同的图像获取装置，其中A点为同一个眉毛的特征点(即一个人脸特征点)。根据人脸朝向(其基于X、Y、Z坐标轴而确定)与标准朝向(如图4a所示)之间的偏差率的大小，同一人脸特征点在不同的图像，可以确定出不同人脸特征点的可信度(其中，可信度＝100％-偏差率)。由于任一表情是使用多个人脸特征点计算得来的，则任一表情的多个人脸特征点相对于人脸朝向的平均可信度，可作为任一表情的第二权重。
Sa5：将分别对应于任一面部的各图像中的第一权重与第二权重求和，得到多个求和结果，作为各识别结果的融合权重。
沿用前述示例，融合权重可以通过下式确定：(α1+β1)、(α2+β2)、(α3+β3)。
本实施例基于人脸特征点的识别，从人脸特征点的位置，可以推断出诸如张口、挑眉、闭眼、微笑等人脸的肌肉运动，从而可以将真人脸部的运动映射至虚拟形象上。
S220：基于融合权重，分别将多个面部表情识别结果进行融合。
继续沿用前例，假设多个面部表情识别结果为A、B和C；则可以通过下式进行融合(即加权平均)：
S230：基于融合结果，确定该任一面部的表情信息。
本公开实施例提供的方法可以应用于终端，例如：智能手机、智能电视、可穿戴设备等。该终端可以作为独立设备，也可以与摄像机集成。
下面通过与现有技术比较，来说明本公开实施例的技术效果：
以人体为表演者为例，当该表演者通过头戴式面部捕捉设备进行近距离的舞蹈表演时，如果该表演者的舞蹈动作幅度大(例如，在脸前举手的动作)，则会因头盔重、头盔长度长以及摄像头支撑臂的存在等原因，而导致该表演者能够做的动作受到限制。尤其是，针对多个表演者相互近距离表演的场景，例如，两个表演者面对面靠近站立时，该两个表演者所戴的头盔上的摄像头会相撞。
鉴于上述缺陷，本公开实施例通过对面部图像进行人脸识别、表情识别和人脸姿态识别来确定面部表情信息，克服了传统技术采用头戴式捕捉设备对人体肢体活动造成限制的缺陷，基于人脸特征点的识别，从人脸特征点的位置，可以推断出诸如张口、挑眉、闭眼、微笑等人脸的肌肉运动，解决了如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题，实现了无需头戴式面部捕捉设备就可以捕捉面部表情的技术效果，例如，可以使得表演者轻松地做出更多的动作。
在上文中，虽然按照上述的顺序描述了多面部表情捕捉方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。在本公开各个装置实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
为了解决如何在对多个近距离的面部进行表情捕捉时而不影响人物肢体动作执行的技术问题，本公开实施例还提供一种多面部表情捕捉装置。其中，多面部通过多个图像获取装置捕捉；多个图像获取装置的图像捕捉范围为覆盖多面部活动的范围。如图5所示，该多面部表情捕捉装置可以包括：获取模块61、识别模块62和确定模块63。其中，获取模块61用于获取多面部的多幅图像。识别模块62用于基于多面部活动的范围，对多幅图像进行人脸识别、表情识别和人脸姿态识别。确定模块63用于基于人脸识别、表情识别和人脸姿态识别的结果，确定各面部的表情信息。
在一个可选的实施例中，在上述实施例的基础上，如果针对任一面部，获取多幅图像，则在该装置中，识别模块62具体用于：对任一面部的多幅图像进行表情识别和人脸姿态识别，得到多个识别结果。确定模块63具体用于：确定各识别结果的融合权重；通过融合权重，将各识别结果进行融合；基于融合结果，确定任一面部的表情信息。
在一个可选的实施例中，确定模块63具体还用于：计算任一面部的各图像与各图像获取装置之间的距离、以及任一面部的各图像中的人脸的朝向；确定任一面部的各图像中人脸特征点；计算人脸的朝向与图像获取装置之间的角度；基于任一面部的各图像与各图像获取装置之间的距离，确定多个第一权重；基于所述人脸特征点相对于所述人脸朝向的平均可信度，确定任一面部的任一表情的多个第二权重；将分别对应于任一面部的各图像中的第一权重与第二权重求和，得到多个求和结果，作为各识别结果的融合权重。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
上述多面部表情捕捉装置既可以独立执行上述多面部表情捕捉方法实施例包含的步骤，也可以集成于电子设备(例如，摄像机)中执行上述多面部表情捕捉方法实施例包含的步骤，本公开对此不作限定。
为了解决如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题，本公开实施例还提供一种电子设备。该电子设备包括处理器和存储器；其中，存储器用于存放计算机程序。处理器用于执行该存储器上所存放的程序时，实现前述任意一项多面部表情捕捉方法实施例所述的方法步骤。
上述处理器可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
上述存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行。
在一些示例性的实施例中，该电子设备还可选地包括：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的电子设备的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
为了解决如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执行的技术问题，本公开实施例还提供一种计算机可读存储介质。该计算机可读存储介质用于存储非暂时性计算机可读指令，当该非暂时性计算机可读指令由计算机执行时，使得计算机执行如任意一项多面部表情捕捉方法实施例所述的步骤。
该计算机可读存储介质可应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现。
上述计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)、闪存(例如，NOR型闪存或NAND型闪存)、内容可寻址存储器(CAM)、聚合物存储器(例如，铁电聚合物存储器)、相变存储器、双向开关半导体存储器、硅-氧化物-氮化硅-氧化硅-硅(Silicon-Oxide-Nitride-Oxide-Silicon，SONOS)存储器、磁卡或者光卡，亦或是其他任意适当类型的计算机可读存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明的是，本文中涉及到的流程图和/或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。本领域技术人员在考虑说明书及这里公开的具体实施方式后，会容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开所未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正保护范围由权利要求指出。
以上所述仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进、改变、添加和子组合等，均包含在本公开的保护范围内。
Claims (4)
1.一种多面部表情捕捉方法，其特征在于，所述多面部通过多个图像获取装置捕捉；所述多个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围；所述多面部表情捕捉方法包括：
获取所述多面部的多幅图像；
基于所述多面部活动的范围，对所述多幅图像进行人脸识别、表情识别和人脸姿态识别；
基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息；
如果针对任一面部，获取多幅图像，则所述方法包括：
对所述多幅图像进行人脸识别、表情识别和人脸姿态识别的步骤，具体包括：
对所述任一面部的所述多幅图像进行人脸识别、表情识别和人脸姿态识别，得到多个识别结果；
基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息的步骤，具体包括：
确定各识别结果的融合权重；
通过所述融合权重，将所述各识别结果进行融合；
基于融合结果，确定所述任一面部的表情信息；
所述确定各识别结果的融合权重的步骤，具体包括：
计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的所述各图像中的人脸的朝向；
确定所述任一面部的所述各图像中人脸特征点；
基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离，确定多个第一权重；
基于所述人脸特征点相对于所述人脸朝向的平均可信度，确定所述任一面部的任一表情的多个第二权重；
将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和，得到多个求和结果，作为所述各识别结果的所述融合权重。
2.一种多面部表情捕捉装置，其特征在于，所述多面部通过多个图像获取装置捕捉；所述多个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围；所述多面部表情捕捉装置包括：
获取模块，用于获取所述多面部的多幅图像；
识别模块，用于基于所述多面部活动的范围，对所述多幅图像进行人脸识别、表情识别和人脸姿态识别；
确定模块，用于基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果，确定各面部的表情信息；
如果针对任一面部，获取多幅图像，则所述装置包括：
所述识别模块，具体用于：对所述任一面部的所述多幅图像进行人脸识别、表情识别和人脸姿态识别，得到多个识别结果；
所述确定模块，具体用于：确定各识别结果的融合权重；通过所述融合权重，将所述各识别结果进行融合；基于融合结果，确定所述任一面部的表情信息；
所述确定模块具体还用于：
计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的所述各图像中的人脸的朝向；
确定所述任一面部的所述各图像中人脸特征点；
基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离，确定多个第一权重；
基于所述人脸特征点相对于所述人脸朝向的平均可信度，确定所述任一面部的任一表情的多个第二权重；
将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和，得到多个求和结果，作为所述各识别结果的所述融合权重。
3.一种电子设备，其特征在于，包括处理器和存储器；其中：所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1中所述的方法步骤。
4.一种计算机可读存储介质，其特征在于，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1中所述的多面部表情捕捉方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419566.3A CN111598002B (zh) | 2020-05-18 | 2020-05-18 | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419566.3A CN111598002B (zh) | 2020-05-18 | 2020-05-18 | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598002A CN111598002A (zh) | 2020-08-28 |
| CN111598002B true CN111598002B (zh) | 2023-04-07 |
Family
ID=72183463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010419566.3A Active CN111598002B (zh) | 2020-05-18 | 2020-05-18 | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598002B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778563A (zh) * | 2016-12-02 | 2017-05-31 | 江苏大学 | 一种基于空间连贯特征的快速任意姿态人脸表情识别方法 |
| CN109298783A (zh) * | 2018-09-03 | 2019-02-01 | 北京旷视科技有限公司 | 基于表情识别的标注监控方法、装置及电子设备 |
| CN109472211A (zh) * | 2018-10-16 | 2019-03-15 | 深圳爱莫科技有限公司 | 人脸识别方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170095192A1 (en) * | 2010-06-07 | 2017-04-06 | Affectiva, Inc. | Mental state analysis using web servers |
| TWI430185B (zh) * | 2010-06-17 | 2014-03-11 | Inst Information Industry | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
| JP2017049351A (ja) * | 2015-08-31 | 2017-03-09 | 富士通株式会社 | 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム |
| CN107480613B (zh) * | 2017-07-31 | 2021-03-02 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、移动终端和计算机可读存储介质 |
| CN109145837A (zh) * | 2018-08-28 | 2019-01-04 | 厦门理工学院 | 人脸情感识别方法、装置、终端设备和存储介质 |
| CN110148191B (zh) * | 2018-10-18 | 2023-02-28 | 腾讯科技（深圳）有限公司 | 视频虚拟表情生成方法、装置及计算机可读存储介质 |
| CN109522818B (zh) * | 2018-10-29 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109740511B (zh) * | 2018-12-29 | 2022-11-22 | 广州方硅信息技术有限公司 | 一种人脸表情匹配方法、装置、设备及存储介质 |
| CN109815924B (zh) * | 2019-01-29 | 2021-05-04 | 成都旷视金智科技有限公司 | 表情识别方法、装置及系统 |
-
2020
- 2020-05-18 CN CN202010419566.3A patent/CN111598002B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778563A (zh) * | 2016-12-02 | 2017-05-31 | 江苏大学 | 一种基于空间连贯特征的快速任意姿态人脸表情识别方法 |
| CN109298783A (zh) * | 2018-09-03 | 2019-02-01 | 北京旷视科技有限公司 | 基于表情识别的标注监控方法、装置及电子设备 |
| CN109472211A (zh) * | 2018-10-16 | 2019-03-15 | 深圳爱莫科技有限公司 | 人脸识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598002A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657554B (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| Olszewski et al. | High-fidelity facial and speech animation for VR HMDs | |
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| US8922553B1 (en) | Interactive region-based linear 3D face models | |
| WO2018128996A1 (en) | System and method for facilitating dynamic avatar based on real-time facial expression detection | |
| CN112800903A (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| Arcoverde Neto et al. | Enhanced real-time head pose estimation system for mobile device | |
| CN112633084B (zh) | 人脸框确定方法、装置、终端设备及存储介质 | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| Alabbasi et al. | Real time facial emotion recognition using kinect V2 sensor | |
| CN112836680A (zh) | 一种基于视觉的人脸表情识别方法 | |
| CN112270747A (zh) | 一种人脸识别方法、装置及电子设备 | |
| Ciftci et al. | Partially occluded facial action recognition and interaction in virtual reality applications | |
| US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
| CN110770742A (zh) | 基于面部特征点的摇动动作识别系统和方法 | |
| Rizwan et al. | Automated Facial Expression Recognition and Age Estimation Using Deep Learning. | |
| CN106940792B (zh) | 基于特征点运动的人脸表情序列截取方法 | |
| Almasi | An investigation on face detection applications | |
| CN111598002B (zh) | 多面部表情捕捉方法、装置、电子设备及计算机存储介质 | |
| Teng et al. | Facial expressions recognition based on convolutional neural networks for mobile virtual reality | |
| Zhang et al. | Biometric recognition | |
| CN111597926A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN108399358B (zh) | 一种在视频聊天的表情显示方法及系统 | |
| Liang et al. | Gesture recognition from one example using depth images | |
| CN112287781A (zh) | 一种人脸照片质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100022 13 / F, 1212, building 16, 89 Jianguo Road, Chaoyang District, Beijing Applicant after: Beijing xingludong Technology Co.,Ltd. Address before: 100022 1507, 12 / F, building 8, courtyard 88, Jianguo Road, Chaoyang District, Beijing Applicant before: Beijing Le Element Culture Development Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240531 Address after: 200232 floor 1-3, No.24, Lane 315, Fenggu Road, Xuhui District, Shanghai Patentee after: Shanghai Leyuan World Technology Co.,Ltd. Country or region after: China Address before: 100022 13 / F, 1212, building 16, 89 Jianguo Road, Chaoyang District, Beijing Patentee before: Beijing xingludong Technology Co.,Ltd. Country or region before: China |