CN111880646A - 一种基于具身认知情感控制的增强现实变脸系统及方法 - Google Patents

一种基于具身认知情感控制的增强现实变脸系统及方法 Download PDF

Info

Publication number
CN111880646A
CN111880646A CN202010549099.6A CN202010549099A CN111880646A CN 111880646 A CN111880646 A CN 111880646A CN 202010549099 A CN202010549099 A CN 202010549099A CN 111880646 A CN111880646 A CN 111880646A
Authority
CN
China
Prior art keywords
face
emotion
module
user
facial makeup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010549099.6A
Other languages
English (en)
Inventor
汤晓颖
唐艺英
黄敏
简鑫
莫绮玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010549099.6A priority Critical patent/CN111880646A/zh
Publication of CN111880646A publication Critical patent/CN111880646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于具身认知情感控制的增强现实变脸系统及方法，系统包括神经网络模块、情感捕捉模块、人脸识别模块、脸谱叠加模块、变脸触发模块、人体运动信息跟踪识别模块、显示模块以及脸谱模型数据库。本发明基于神经网络技术和增强现实技术的具身认知情感可控变脸系统及方法，可以根据用户的情感特征自主切换，来控制变脸的内容。这种通过具身情感去控制变脸的内容，让用户掌握认知的主动权。

Description

一种基于具身认知情感控制的增强现实变脸系统及方法
技术领域
本发明涉及神经网络和增强现实的技术领域，尤其涉及到一种基于具身认知情感控制的增强现实变脸系统及方法。
背景技术
虚拟现实技术发展推动着增强现实技术不断前进，使用计算机计算出虚拟的物体来增强用户对真实世界的认知能力。
近几年深度传感技术与AR技术的结合，使得的增强现实技术从在二维图像上进行信息的简单叠加进步到实时深度体感交互的增强现实技术。刚开始的增强现实技术只是在平面上将脸谱叠加到进行交互的脸上，但是深度传感技术使得增强现实更加逼真，深度图像和人体骨骼图像使得增强现实变脸交互更加真实性、实时性。
但是，无论是在现实中的舞台变脸，还是通过增强现实技术实现变脸，脸谱切换均完全随机，且无法根据表演者意志选择与表演情景/情绪相切合的脸谱，变脸内容都是随着身体动作自动切换或人为设定，无法与表演者表演过程切合，观众的交互情绪不高。而具身认知认为身体对心智具有塑造作用和身体与环境的交互作用和整体性，身体的感知觉和动作体验决定了意识和认知的结果。所以感知觉和动作决定认知形成，可以用具身认知的全感知觉来控制增强现实的认知内容，使得增强现实的切换的脸谱可由用户的感知觉和情感来控制。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于具身认知情感控制的增强现实变脸系统。
为实现上述目的，本发明所提供的技术方案为：
一种基于具身认知情感控制的增强现实变脸系统，包括神经网络模块、情感捕捉模块、人脸识别模块、脸谱叠加模块、变脸触发模块、人体运动信息跟踪识别模块、显示模块、脸谱模型数据库；
其中，
所述显示模块，用于显示经过具身认知情感控制以及增强显示后的变脸效果；
所述人脸识别模块，用于用户的人脸实时检测定位、脸部关键点深度定位；实时人脸检测定位，标记出用户人脸在多维空间中的人脸坐标，脸部关键点定位包括脸颊、眉、眼、口、鼻关键点定位；
所述神经网络模块，用于识别用户的情感特征提取与情感分类到一个终端的网络中；其中，分别采用VGG19和Resnet18来完成情感的识别和分类，并为用户情感特征贴上细分的标签，然后检索脸谱模型数据库，输出与用户情感标签匹配最多的脸谱；
所述脸谱叠加模块，用于神经网络模块输出的匹配脸谱与用户脸部关键点信息融合，使脸谱完全贴合在用户的脸部；
所述人体运动信息跟踪识别模块，用于实时跟踪用户的脸部运动轨迹；
所述变脸触发模块，用于实时检测情感捕捉模块返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
所述情感捕捉模块，用于实时检测用户的情感特征变化，实时返回情感特征数值给深度神经网络模块；
所述脸谱模型数据库，用于储存各个情感的脸谱模型。
为了克服现有技术的不足，另外提供一种用于基于具身认知情感控制的增强现实变脸系统的方法，包括以下步骤：
S1、把人类的脸部的情感划分为六大基本情感类别，分别为快乐、气愤、惊讶、害怕、厌恶和悲伤，并每个情感特征打上标签，然后把具体的情感脸谱模型一一存放在脸谱模型库；
S2、用户面对着显示模块，人脸识别模块进行人脸实时检测定位，脸部关键点深度定位，然后把深度脸部关键点信息传给脸谱叠加模块等待神经网络模块传来的脸谱数据；
S3、人脸识别模块运行的同时，情感捕捉模块功能通过传感器实时检测用户的情感特征变化，实时返回情感特征数值给神经网络模块；
S4、神经网络模块分别通过VGG19和Resnet18完成情感的识别和分类，然后贴上分类好的情感特征标签，检索脸谱模型数据库，提取匹配度最高的脸谱模型；
S5、变脸触发模块实时检测返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
S6、脸谱叠加模块把神经网络模块输出的匹配脸谱，与脸谱的深度关键点信息融合，叠加在用户人脸的多维空间坐标上，并完整地贴合在用户脸部上；
S7、运用人体运动信息跟踪识别模块实时定位用户的运动位置信息，脸谱模型随着用户的脸部移动。
进一步地，所述步骤S4中，利用插值算法检索脸谱模型数据库中的情感特征标签。
与现有技术相比，本方案原理及优点如下：
相比现有的基于增强现实的变脸根据肢体动作随意挥动而产生的随机性切换脸谱的体验，基于神经网络技术和增强现实技术的具身认知情感可控变脸系统及方法，可以根据用户的情感特征自主切换，来控制变脸的内容，譬如，用户想切换到开心的脸谱，用户只要表现出愉悦的情感，就会切换一个善意的脸谱，这样的变脸是通过用户的具身情感去认识这个脸谱是一个微笑、善意的脸谱，当用户摆出一个暴躁的情感就会触发变脸，切换成一个凶狠和易躁的脸谱，等等，这种通过具身情感去控制变脸的内容，让用户掌握认知的主动权。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种用于基于具身认知情感控制的增强现实变脸系统的方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
如图1所示，本实施例所述的一种基于具身认知情感控制的增强现实变脸系统，包括神经网络模块1、情感捕捉模块2、人脸识别模块3、脸谱叠加模块4、变脸触发模块5、人体运动信息跟踪识别模块6、显示模块7、脸谱模型数据库8；
其中，
显示模块7，用于显示经过具身认知情感控制以及增强显示后的变脸效果；
人脸识别模块3，用于用户的人脸实时检测定位、脸部关键点深度定位；实时人脸检测定位，标记出用户人脸在多维空间中的人脸坐标，脸部关键点定位包括脸颊、眉、眼、口、鼻关键点定位；
神经网络模块1，用于识别用户的情感特征提取与情感分类到一个终端的网络中；其中，分别采用VGG19和Resnet18来完成情感的识别和分类，并为用户情感特征贴上细分的标签，然后检索脸谱模型数据库，输出与用户情感标签匹配最多的脸谱；
脸谱叠加模块4，用于神经网络模块1输出的匹配脸谱与用户脸部关键点信息融合，使脸谱完全贴合在用户的脸部；
人体运动信息跟踪识别模块6，用于实时跟踪用户的脸部运动轨迹；
变脸触发模块5，用于实时检测情感捕捉模块2返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
情感捕捉模块2，用于实时检测用户的情感特征变化，实时返回情感特征数值给深度神经网络模块；
脸谱模型数据库8，用于储存各个情感的脸谱模型。
具体的工作原理如下：
S1、把人类的脸部的情感划分为六大基本情感类别，分别为快乐、气愤、惊讶、害怕、厌恶和悲伤，并每个情感特征打上标签，然后把具体的情感脸谱模型一一存放在脸谱模型库8；
S2、用户面对着显示模块7，人脸识别模块3进行人脸实时检测定位，脸部关键点深度定位，然后把深度脸部关键点信息传给脸谱叠加模块4等待神经网络模块1传来的脸谱数据；
S3、人脸识别模块3运行的同时，情感捕捉模块2通过传感器实时检测用户的情感特征变化，实时返回情感特征数值给神经网络模块1；
S4、神经网络模块1分别通过VGG19和Resnet18完成情感的识别和分类，然后贴上分类好的情感特征标签，检索脸谱模型数据库8，提取匹配度最高的脸谱模型；
S5、变脸触发模块5实时检测返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
S6、脸谱叠加模块4把神经网络模块1输出的匹配脸谱，与脸谱的深度关键点信息融合，叠加在用户人脸的多维空间坐标上，并完整地贴合在用户脸部上；
S7、运用人体运动信息跟踪识别模块6实时定位用户的运动位置信息，脸谱模型随着用户的脸部移动。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于具身认知情感控制的增强现实变脸系统，其特征在于，包括神经网络模块(1)、情感捕捉模块(2)、人脸识别模块(3)、脸谱叠加模块(4)、变脸触发模块(5)、人体运动信息跟踪识别模块(6)、显示模块(7)、脸谱模型数据库(8)；
其中，
所述显示模块(7)，用于显示经过具身认知情感控制以及增强显示后的变脸效果；
所述人脸识别模块(3)，用于用户的人脸实时检测定位、脸部关键点深度定位；实时人脸检测定位，标记出用户人脸在多维空间中的人脸坐标，脸部关键点定位包括脸颊、眉、眼、口、鼻关键点定位；
所述神经网络模块(1)，用于识别用户的情感特征提取与情感分类到一个终端的网络中；其中，分别采用VGG19和Resnet18来完成情感的识别和分类，并为用户情感特征贴上细分的标签，然后检索脸谱模型数据库，输出与用户情感标签匹配最多的脸谱；
所述脸谱叠加模块(4)，用于神经网络模块(1)输出的匹配脸谱与用户脸部关键点信息融合，使脸谱完全贴合在用户的脸部；
所述人体运动信息跟踪识别模块(6)，用于实时跟踪用户的脸部运动轨迹；
所述变脸触发模块(5)，用于实时检测情感捕捉模块(2)返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
所述情感捕捉模块(2)，用于实时检测用户的情感特征变化，实时返回情感特征数值给深度神经网络模块；
所述脸谱模型数据库(8)，用于储存各个情感的脸谱模型。
2.一种用于权利要求1所述的基于具身认知情感控制的增强现实变脸系统的方法，其特征在于，包括以下步骤：
S1、把人类的脸部的情感划分为六大基本情感类别，分别为快乐、气愤、惊讶、害怕、厌恶和悲伤，并每个情感特征打上标签，然后把具体的情感脸谱模型一一存放在脸谱模型库；
S2、用户面对着显示模块，人脸识别模块进行人脸实时检测定位，脸部关键点深度定位，然后把深度脸部关键点信息传给脸谱叠加模块等待神经网络模块传来的脸谱数据；
S3、人脸识别模块运行的同时，情感捕捉模块功能通过传感器实时检测用户的情感特征变化，实时返回情感特征数值给神经网络模块；
S4、神经网络模块分别通过VGG19和Resnet18完成情感的识别和分类，然后贴上分类好的情感特征标签，检索脸谱模型数据库，提取匹配度最高的脸谱模型；
S5、变脸触发模块实时检测返回的情感特征变化值，当返回的情感特征变化值达到情感切换容差值时，触发变脸；
S6、脸谱叠加模块把神经网络模块输出的匹配脸谱，与脸谱的深度关键点信息融合，叠加在用户人脸的多维空间坐标上，并完整地贴合在用户脸部上；
S7、运用人体运动信息跟踪识别模块实时定位用户的运动位置信息，脸谱模型随着用户的脸部移动。
3.根据权利要求2所述的一种用于基于具身认知情感控制的增强现实变脸系统的方法，其特征在于，所述步骤S4中，利用插值算法检索脸谱模型数据库中的情感特征标签。
CN202010549099.6A 2020-06-16 2020-06-16 一种基于具身认知情感控制的增强现实变脸系统及方法 Pending CN111880646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549099.6A CN111880646A (zh) 2020-06-16 2020-06-16 一种基于具身认知情感控制的增强现实变脸系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549099.6A CN111880646A (zh) 2020-06-16 2020-06-16 一种基于具身认知情感控制的增强现实变脸系统及方法

Publications (1)

Publication Number Publication Date
CN111880646A true CN111880646A (zh) 2020-11-03

Family

ID=73157876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549099.6A Pending CN111880646A (zh) 2020-06-16 2020-06-16 一种基于具身认知情感控制的增强现实变脸系统及方法

Country Status (1)

Country Link
CN (1) CN111880646A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105107200A (zh) * 2015-08-14 2015-12-02 济南中景电子科技有限公司 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN108563327A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 增强现实方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105107200A (zh) * 2015-08-14 2015-12-02 济南中景电子科技有限公司 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN107464291A (zh) * 2017-08-22 2017-12-12 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN108563327A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 增强现实方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭暑秋: "面部动态增强现实的特征点检测方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
He et al. Visual recognition of traffic police gestures with convolutional pose machine and handcrafted features
Betancourt et al. The evolution of first person vision methods: A survey
Mao et al. Using Kinect for real-time emotion recognition via facial expressions
Ong et al. Automatic sign language analysis: A survey and the future beyond lexical meaning
Borges et al. Video-based human behavior understanding: A survey
Metaxas et al. A review of motion analysis methods for human nonverbal communication computing
CN111444488A (zh) 一种基于动态手势的身份认证方法
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN117197878B (zh) 基于机器学习的人物面部表情捕捉方法及系统
CN111680550A (zh) 情感信息识别方法、装置、存储介质及计算机设备
Chanthaphan et al. Facial emotion recognition based on facial motion stream generated by kinect
Wang et al. A comprehensive survey of rgb-based and skeleton-based human action recognition
Neverova Deep learning for human motion analysis
Nam et al. Recognition of hand gestures with 3D, nonlinear arm movement
KR20160049191A (ko) 헤드 마운티드 디스플레이 디바이스의 제공방법
CN112149599A (zh) 表情追踪方法、装置、存储介质和电子设备
CN115713808A (zh) 一种基于深度学习的手势识别系统
CN111880646A (zh) 一种基于具身认知情感控制的增强现实变脸系统及方法
Dornaika et al. Efficient facial expression recognition for human robot interaction
Shah et al. Gesture recognition technique: a review
Periyanayaki et al. An Efficient way of Emotion and Gesture Recognition using Deep Learning Algorithms
Bevacqua et al. Multimodal sensing, interpretation and copying of movements by a virtual agent
Dornaika et al. Inferring facial expressions from videos: Tool and application
Zerrouki et al. Deep Learning for Hand Gesture Recognition in Virtual Museum Using Wearable Vision Sensors
CN112784631A (zh) 一种基于深度神经网络进行人脸情绪识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103