CN102722246A - 一种基于人脸信息识别的虚拟宠物情感表达方法 - Google Patents
一种基于人脸信息识别的虚拟宠物情感表达方法 Download PDFInfo
- Publication number
- CN102722246A CN102722246A CN2012101731096A CN201210173109A CN102722246A CN 102722246 A CN102722246 A CN 102722246A CN 2012101731096 A CN2012101731096 A CN 2012101731096A CN 201210173109 A CN201210173109 A CN 201210173109A CN 102722246 A CN102722246 A CN 102722246A
- Authority
- CN
- China
- Prior art keywords
- face
- people
- pet
- human face
- virtual pet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
基于人脸信息识别的虚拟宠物情感表达方法是将人脸信息识别技术用于虚拟宠物游戏开发，使得这类虚拟宠物游戏系统能够自动定时采集玩家面部图像并进行人脸图像的信息识别，再根据不同的识别结果用各种不同的形式对玩家进行感情慰问和智能人机互动。人脸信息包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息等内容，人脸信息识别就是对人脸信息中各个特征信息进行识别，将人脸信息识别用于虚拟宠物游戏系统的开发，从而使虚拟宠物游戏系统具有其智能性更加接近于人类的学习、观察、分析和表达的能力，整个学习、观察、分析和表达过程即形成了玩家表情与宠物感情的认知反馈链，最终实现人机之间的感情交流。
Description
技术领域
本发明涉及一种将人脸信息识别技术用于虚拟宠物游戏开发的方法。
背景技术
基于人脸信息识别的虚拟宠物情感表达方法是将人脸信息识别技术用于虚拟宠物游戏开发，使得这类虚拟宠物游戏系统能够自动定时采集玩家面部图像并进行人脸图像的信息识别，再根据不同的识别结果用各种不同的形式对玩家进行感情慰问和智能人机互动。
人脸信息包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息等内容，人脸信息识别就是对人脸信息中各个特征信息进行识别，将人脸信息识别用于虚拟宠物游戏系统的开发，从而使虚拟宠物游戏系统具有其智能性更加接近于人类的学习、观察、分析和表达的能力，整个学习、观察、分析和表达过程即形成了玩家表情与宠物感情的认知反馈链，最终实现人机之间的感情交流。
目前，人脸身份识别和面部表情识别的研究已经比较成熟，如模糊C均值聚类法、加权马氏距离法和基于DCT-BP神经网络等多种技术都可用于人脸的身份识别和人脸的表情识别，而且其识别准确率可达80%以上。同样，类似于中医望诊的人脸健康状态特征分析系统也成为家庭保健研究的内容之一。无疑这些算法为虚拟宠物游戏系统的开发奠定了坚实的理论基础。
当前网络上虚拟宠物软件很多，功能也很强大，例如腾讯公司的QQ宠物是一款虚拟社区喂养游戏，贯穿宠物成长全过程，包括打工、学习、游戏、结婚、生子等等，但这些虚拟宠物都仅限于玩家对它的关心和照顾，却对用户的心情状态毫不关心，其智能性跟本人所提出的基于人脸特征识别和表情特征识别的虚拟宠物情感表达方法相差甚远，可见该发明的提出具有很重要的现实意义，它的实现将给玩家带来的不光是娱乐，还带来了一位好友、一位知己。
发明内容
技术问题：本发明的目的是提供一种基于人脸信息识别的虚拟宠物情感表达方法，该方法涉及人脸信息识别的内容、人脸信息识别的过程、虚拟宠物情感表达形式等内容。
技术方案：本发明的基于人脸信息识别的虚拟宠物情感表达方法所涉及的人脸信息识别内容包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息三部分内容；
人脸信息识别的过程是：首先通过摄像头获取人脸图像，通过使用现有的相关图像识别技术进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对通过人脸身份识别后的特定用户进行，按“开心、平常、不开心”三种表情进行分类处理，最后再将该特定用户的面部信息与近期的相关面部信息进行比较，重点比较眼睛、胖瘦、面色的变化和面部有无受伤等健康信息，通过这样设计的先后实施步骤，以有效地提高人脸信息识别的效率和准确度；
虚拟宠物情感表达形式是：建立与玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心、健康-对应脸部无明显变化、比较健康-对应脸部有少许变化、去看医生-对应脸部有明显变化和面部有无受伤 这7个文件库中，然后虚拟宠物系统根据前面人脸信息识别的结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互。
有益效果：基于人脸信息识别的虚拟宠物情感表达方法将人脸身份识别、人脸表情识别和人脸健康望诊结合一体，实现人与虚拟宠物之间的感情交流，把智能控制技术有效地应用于游戏中。
附图说明
图1系统模块结构关系图；
图2虚拟宠物的一种显示效果图。
具体实施方式
一种基于人脸信息识别的虚拟宠物情感表达方法所构成的虚拟宠物游戏系统实现案例可由硬件和软件两个部分组成：
硬件部分：主要是电脑或手持设备以及其摄像头部分。这两部分是图像信号采集和智能信息处理等功能实现的硬件基础。
软件部分：根据功能结构可将本发明分为：宠物玩家，人脸图像采集和预处理，人脸身份识别、人脸表情识别和人脸健康望诊，宠物情感表达和逻辑控制中心等几个模块。如图1所示。
1、宠物玩家，即游戏的特定用户。
2、人脸图像采集和预处理模块，该模块可实现以下功能效果：
（1）驱动摄像头，获取摄像头前玩家的图像信息；
（2）根据轮廓法对玩家人脸进行定位，系统再根据一段时间内玩家的最大面部面积法来采集当前玩家图像；
（3) 对已保存的优质图像进行预处理操作（包括去噪、像素位置或者光照变量的标准化）。
通过三方面的紧密配合为下，使用现有的图像识别技术，比如人工神经网络识别算法进行图像信息处理与分类。
3、人脸身份识别、人脸表情识别和人脸健康望诊模块，该模块的功能包括以下四部分：
（1）人脸身份识别的训练学习部分，系统在使用初期将会用玩家的人脸图像对身份识别模块进行训练，一连串的训练将会为以后人脸身份识别提供分类标准；
（2）人脸身份识别部分，是对玩家的身份进行判定，玩家每次进入系统，首先要对玩家的玩家的人脸信息进行识别，识别结果将会传给互动反馈模块进行交互处理；
（3）表情识别模块的训练学习部分，系统的使用初期将会用玩家的各种表情信息分类对表情识别模块进行训练，一连串的训练将会为玩家的表情识别提供分类标准；
（4）人脸表情识别部分，是对玩家当前的表情进行判定，当玩家正常使用该系统时，人脸表情识别系统将会对玩家的表情信息进行识别，识别结果将会传给互动反馈模块进行交互处理；
（5）人脸健康望诊部分，通过对玩家现在与近期的图像进行比较，重点获取眼睛红肿、胖瘦变化、面色变化和面部有无受伤等信息传给互动反馈模块进行交互处理。
其人脸信息识别的过程是首先进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对特定用户进行，最后再将该特定用户的面部信息与近期的相关面部信息进行对比分析处理。
4、宠物情感表达模块
宠物情感表达模块主要通过互动反馈的宠物动画短片或宠物画面实行人机交互，根据互动反馈的需要，分类保存在玩家身份、开心、平常、不开心和健康（对应脸部无明显变化）、比较健康（对应脸部有少许变化）、去看医生（对应脸部有明显变化和面部有无受伤）等7个文件库中，并且分类保存在有不同的文件库，该模块根据人脸信息识别模块所传来的不同识别结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互，如图2所示。
5、逻辑控制中心模块
逻辑控制中心模块是整个系统的控制中心，该模块保证了系统反馈链中各个环节有序进行。
通过几个模块的紧密配合实现宠物系统的学习、观察分析和感情反馈等能力，从而虚拟宠物情感表达方法其智能性更加接近于人。
本发明的样例所采用的是神经网络识别算法为基础并根据实际需求所改进优化的算法，最终以C++编程来实现的。
发明实现样例具体使用步骤如下：
第一步：虚拟宠物系统的安装，双击智能宠物图标便可执行安装：虚拟宠物系统的操作，该安装文件包括摄像头驱动模块、视频图像筛选模块、视频图像预处理模块、人脸身份识别神经网络系统模块、人脸表情识别神经网络系统模块（经少数典型表情识别样本所训练）、虚拟宠物展现宠物动画短片或宠物画面库模块、虚拟宠物的逻辑控制等模块，提示安装后虚拟宠物系统便可正常工作。
第二步：虚拟宠物的领养期，此阶段系统通过动画互动采集玩家的人脸信息和人脸的各种表情信息，用当前玩家的人脸信息对人脸身份识别神经网络进行训练；然后通过一连串的训练将为人脸身份识别和人脸的表情识别提供分类标准，最后建立与当前玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心和健康、比较健康、去看医生等分类文件库中。
第三步：虚拟宠物的正常使用期，在此阶段，首先系统对当前玩家进行人脸身份识别，确定玩家是否是宠物的主人；其次对玩家当前表情进行识别，确定当前玩家的心情状况；最后互动反馈系统将根据前两次的识别结果对玩家进行适合的感情慰问，其中的一种效果如图2所示。
Claims (1)
1.一种基于人脸信息识别的虚拟宠物情感表达方法，其特征在于：该方法基于人脸信息识别的虚拟宠物情感表达方法所涉及的人脸信息识别内容包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息三部分内容；
人脸信息识别的过程是：首先通过摄像头获取人脸图像，通过使用现有的相关图像识别技术进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对通过人脸身份识别后的特定用户进行，按“开心、平常、不开心”三种表情进行分类处理，最后再将该特定用户的面部信息与近期的相关面部信息进行比较，重点比较眼睛、胖瘦、面色的变化和面部有无受伤等健康信息，通过这样设计的先后实施步骤，以有效地提高人脸信息识别的效率和准确度；
虚拟宠物情感表达形式是：建立与玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心、健康-对应脸部无明显变化、比较健康-对应脸部有少许变化、去看医生-对应脸部有明显变化和面部有无受伤 这7个文件库中，然后虚拟宠物系统根据前面人脸信息识别的结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101731096A CN102722246A (zh) | 2012-05-30 | 2012-05-30 | 一种基于人脸信息识别的虚拟宠物情感表达方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101731096A CN102722246A (zh) | 2012-05-30 | 2012-05-30 | 一种基于人脸信息识别的虚拟宠物情感表达方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102722246A true CN102722246A (zh) | 2012-10-10 |
Family
ID=46948041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101731096A Pending CN102722246A (zh) | 2012-05-30 | 2012-05-30 | 一种基于人脸信息识别的虚拟宠物情感表达方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102722246A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015003287A1 (zh) * | 2013-07-12 | 2015-01-15 | 台湾色彩与影像科技股份有限公司 | 一种行为辨识及追踪系统及其运作方法 |
| CN104573641A (zh) * | 2014-12-26 | 2015-04-29 | 苏州福丰科技有限公司 | 一种光照变化条件下的人脸识别方法 |
| CN104980558A (zh) * | 2014-04-01 | 2015-10-14 | 中国移动通信集团公司 | 一种信息处理的方法、装置、手机宠物客户端及移动终端 |
| CN105141587A (zh) * | 2015-08-04 | 2015-12-09 | 广东小天才科技有限公司 | 一种虚拟玩偶互动方法及装置 |
| CN105477859A (zh) * | 2015-11-26 | 2016-04-13 | 北京像素软件科技股份有限公司 | 一种基于用户颜值的游戏控制方法及装置 |
| CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
| CN106295520A (zh) * | 2016-07-28 | 2017-01-04 | 维沃移动通信有限公司 | 一种胖瘦检测方法及移动终端 |
| CN106599824A (zh) * | 2016-12-09 | 2017-04-26 | 厦门大学 | 一种基于情感对的gif动画情感识别方法 |
| CN106774845A (zh) * | 2016-11-24 | 2017-05-31 | 北京智能管家科技有限公司 | 一种智能交互方法、装置及终端设备 |
| CN107092664A (zh) * | 2017-03-30 | 2017-08-25 | 华为技术有限公司 | 一种内容解释方法及装置 |
| CN107358025A (zh) * | 2017-06-12 | 2017-11-17 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| CN109919090A (zh) * | 2019-03-06 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于推送信息的方法和装置 |
| CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技（深圳）有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
| CN110046580A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种基于情绪识别的人机交互方法及系统 |
| CN110570849A (zh) * | 2019-07-24 | 2019-12-13 | 中国地质大学（武汉） | 基于深度学习的个人专属ai电子宠物及其使用方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| CN101360304A (zh) * | 2008-09-04 | 2009-02-04 | 深圳华为通信技术有限公司 | 移动终端娱乐方法及相应的移动终端 |
| CN101474481A (zh) * | 2009-01-12 | 2009-07-08 | 北京科技大学 | 情感机器人系统 |
| CN101721250A (zh) * | 2008-10-21 | 2010-06-09 | 英业达股份有限公司 | 依据生理状态调整虚拟宠物外观的显示系统及其方法 |
| CN102058983A (zh) * | 2010-11-10 | 2011-05-18 | 无锡中星微电子有限公司 | 基于视频分析的智能玩具 |
-
2012
- 2012-05-30 CN CN2012101731096A patent/CN102722246A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| CN101360304A (zh) * | 2008-09-04 | 2009-02-04 | 深圳华为通信技术有限公司 | 移动终端娱乐方法及相应的移动终端 |
| CN101721250A (zh) * | 2008-10-21 | 2010-06-09 | 英业达股份有限公司 | 依据生理状态调整虚拟宠物外观的显示系统及其方法 |
| CN101474481A (zh) * | 2009-01-12 | 2009-07-08 | 北京科技大学 | 情感机器人系统 |
| CN102058983A (zh) * | 2010-11-10 | 2011-05-18 | 无锡中星微电子有限公司 | 基于视频分析的智能玩具 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015003287A1 (zh) * | 2013-07-12 | 2015-01-15 | 台湾色彩与影像科技股份有限公司 | 一种行为辨识及追踪系统及其运作方法 |
| CN104980558A (zh) * | 2014-04-01 | 2015-10-14 | 中国移动通信集团公司 | 一种信息处理的方法、装置、手机宠物客户端及移动终端 |
| CN104980558B (zh) * | 2014-04-01 | 2019-01-01 | 中国移动通信集团公司 | 一种信息处理的方法、装置、手机宠物客户端及移动终端 |
| CN104573641A (zh) * | 2014-12-26 | 2015-04-29 | 苏州福丰科技有限公司 | 一种光照变化条件下的人脸识别方法 |
| CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
| CN105141587A (zh) * | 2015-08-04 | 2015-12-09 | 广东小天才科技有限公司 | 一种虚拟玩偶互动方法及装置 |
| CN105141587B (zh) * | 2015-08-04 | 2019-01-01 | 广东小天才科技有限公司 | 一种虚拟玩偶互动方法及装置 |
| CN105477859A (zh) * | 2015-11-26 | 2016-04-13 | 北京像素软件科技股份有限公司 | 一种基于用户颜值的游戏控制方法及装置 |
| CN105477859B (zh) * | 2015-11-26 | 2019-02-19 | 北京像素软件科技股份有限公司 | 一种基于用户颜值的游戏控制方法及装置 |
| CN106295520A (zh) * | 2016-07-28 | 2017-01-04 | 维沃移动通信有限公司 | 一种胖瘦检测方法及移动终端 |
| CN106774845A (zh) * | 2016-11-24 | 2017-05-31 | 北京智能管家科技有限公司 | 一种智能交互方法、装置及终端设备 |
| CN106774845B (zh) * | 2016-11-24 | 2020-01-31 | 北京儒博科技有限公司 | 一种智能交互方法、装置及终端设备 |
| CN106599824A (zh) * | 2016-12-09 | 2017-04-26 | 厦门大学 | 一种基于情感对的gif动画情感识别方法 |
| CN106599824B (zh) * | 2016-12-09 | 2019-06-14 | 厦门大学 | 一种基于情感对的gif动画情感识别方法 |
| CN107092664A (zh) * | 2017-03-30 | 2017-08-25 | 华为技术有限公司 | 一种内容解释方法及装置 |
| US11574203B2 (en) | 2017-03-30 | 2023-02-07 | Huawei Technologies Co., Ltd. | Content explanation method and apparatus |
| CN107092664B (zh) * | 2017-03-30 | 2020-04-28 | 华为技术有限公司 | 一种内容解释方法及装置 |
| CN107358025A (zh) * | 2017-06-12 | 2017-11-17 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| CN109919090A (zh) * | 2019-03-06 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于推送信息的方法和装置 |
| CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技（深圳）有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
| CN110046580A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种基于情绪识别的人机交互方法及系统 |
| CN110570849A (zh) * | 2019-07-24 | 2019-12-13 | 中国地质大学（武汉） | 基于深度学习的个人专属ai电子宠物及其使用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102722246A (zh) | 一种基于人脸信息识别的虚拟宠物情感表达方法 | |
| Liu et al. | A facial expression emotion recognition based human-robot interaction system. | |
| CN107894833B (zh) | 基于虚拟人的多模态交互处理方法及系统 | |
| Zhu et al. | Separated channel convolutional neural network to realize the training free motor imagery BCI systems | |
| Chen et al. | A fuzzy deep neural network with sparse autoencoder for emotional intention understanding in human–robot interaction | |
| CN109789550A (zh) | 基于小说或表演中的先前角色描绘的社交机器人的控制 | |
| Javed et al. | Toward an automated measure of social engagement for children with autism spectrum disorder—a personalized computational modeling approach | |
| CN110135497A (zh) | 模型训练的方法、面部动作单元强度估计的方法及装置 | |
| CN109815920A (zh) | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 | |
| CN110135244A (zh) | 一种基于脑-机协同智能的表情识别方法 | |
| CN109805944A (zh) | 一种儿童共情能力分析系统 | |
| Zhang et al. | Intelligent Facial Action and emotion recognition for humanoid robots | |
| Li et al. | EEG-based emotion recognition via efficient convolutional neural network and contrastive learning | |
| CN113053492B (zh) | 基于用户背景和情绪的自适应虚拟现实干预系统及方法 | |
| CN112069916B (zh) | 人脸美丽预测方法、装置、系统及可读存储介质 | |
| Su et al. | Nesterov accelerated gradient descent-based convolution neural network with dropout for facial expression recognition | |
| Mishra et al. | Nadine robot in elderly care simulation recreational activity: using computer vision and observations for analysis | |
| Salekin et al. | Attentional generative multimodal network for neonatal postoperative pain estimation | |
| Nguwi et al. | Support-vector-based emergent self-organising approach for emotional understanding | |
| Yang et al. | An emotion recognition method based on selective gated recurrent unit | |
| Chattopadhyay et al. | Towards developing intelligent autonomous systems in psychiatry: its present state and future possibilities | |
| Ling et al. | Facial emotion recognition based on brain and machine collaborative intelligence | |
| Zhao et al. | Interpretable emotion classification using multi-domain feature of EEG signals | |
| Chu | How should the state of the brain be described?: A call to standardize descriptions of brain states for data collection and research | |
| Meng et al. | A deep tongue image features analysis model for medical application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121010 |