CN105797376A - 一种根据用户表情控制角色模型行为的方法和终端 - Google Patents

Abstract

本发明公开了一种根据用户表情控制角色模型行为的方法和终端，该方法的步骤包括：终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取图像的特征值；终端按照预设模式确定对应特征值的表情所属类型；终端根据确定的表情所属类型，决定角色模型的下一步行为。通过上述方式，本发明能够通过监控用户脸部表情的改变，控制角色模型行为按照用户意愿做进一步变化，充分利用硬件设备对游戏玩法进行扩展，增强游戏的趣味性。

Description

一种根据用户表情控制角色模型行为的方法和终端

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种根据用户表情控制角色模型行为的方法和终端。

背景技术

目前移动终端流行虚拟角色模型游戏，通过触摸角色模型不同部位时迅速做出相应的反应，或者把用户对角色模型说过的语音记录并经过变音后播放出来，伴随角色模型嘴部的动作，给人很强的滑稽感。

现在的这类游戏玩法单一，只是通过用户操作触发角色模型的固定动作，或者模仿用户的话语使角色模型发声，未能充分的利用硬件设备对游戏玩法进行扩展。

发明内容

本发明主要解决的技术问题是提供一种根据用户表情控制角色模型行为的方法和终端，能够控制角色模型行为按照用户的意愿做进一步变化，充分利用硬件设备对游戏玩法进行扩展，增强游戏的趣味性。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种根据用户表情控制角色模型行为的方法，该方法的步骤包括：终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取图像的特征值；终端按照预设模式确定对应特征值的表情所属类型；终端根据确定的表情所属类型，决定角色模型的下一步行为；特征值包括人眼位置，两眼距离，眉毛、嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；角色模型行为的变化由确定的表情所属类型触发。

其中，终端根据确定的表情所属类型，决定角色模型的下一步行为的步骤中，若确定的表情所属类型为正面、积极的表情类型，终端不改变角色模型的行为的基本属性或趋势；若确定的表情所属类型为负面、消极表情类型，终端改变角色模型的行为的基本属性或趋势；角色模型的行为包括角色模型的表情和动作。

其中，终端未确定用户表情所属类型，终端询问用户意图，接收用户输入的表情类型信号，确定表情所属类型以执行终端根据确定的表情所属类型，决定角色模型的下一步行为的步骤。

其中，终端判断用户脸部表情类型为正面、积极的表情时，使角色模型继续或者加快执行当前行为；终端判端用户脸部表情类型为负面、消极的表情时，使角色模型停止执行当前行为，待终端重新设定角色模型的行为。

其中，终端按照预设模式确定对应特征值的表情所属类型的步骤中，预设模式记录用户脸部表情特征值和表情所属类型的对应关系。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种根据用户表情控制角色模型行为的终端，该终端包括：图像获取模块、表情处理模块和角色模型处理模块；图像获取模块用于实时获取用户脸部表情图像并提取图像的特征值；表情处理模块用于按照预设模式确定对应特征值的表情所属类型；角色模型处理模块用于赋予角色模型初始行为以及根据确定的表情所属类型，以决定角色模型下一步行为；特征值包括人眼位置，两眼距离，眉毛、嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；角色模型行为的变化由确定的表情所属类型触发。

其中，角色模型处理模块包括角色模型初始设定单元和第一处理单元；角色模型初始设定单元用于赋予角色模型初始表情；第一处理单元用于在确定的表情所属类型为第一表情类型时，不改变角色模型的行为的基本属性或趋势；在确定的表情所属类型为第二表情类型时，改变角色模型的表情和动作。

其中，角色模型处理模块还包括第二处理单元，第二处理单元用于在第一处理单元未确定用户表情所属类型，询问用户意图，接收用户输入的表情类型信号，确定表情所属类型以使第一处理单元根据确定的表情所属类型，以决定角色模型下一步行为。

其中，第一处理单元在判断用户脸部表情类型为正面、积极的表情时，使角色模型继续或者加快执行当前行为；终端判端用户脸部表情类型为负面、消极的表情时，使角色模型停止执行当前行为，待角色模型初始设定单元重新设定角色模型的行为。

其中，预设模式记录用户脸部表情特征值和表情所属类型的对应关系。

本发明的有益效果是：区别于现有技术的情况，本发明终端利用图像识别技术识别用户的脸部表情的类型，根据确定的所述表情所属类型控制角色模型行为按照用户的意愿做进一步变化，使角色模型继续、停止当前行为或者改变其动作频率，充分利用硬件设备对游戏玩法进行扩展，增加游戏玩法，增强游戏的趣味性。

附图说明

图1是本发明一种根据用户表情控制角色模型行为的方法第一实施方式的流程示意图；

图2是本发明一种根据用户表情控制角色模型行为的方法第二实施方式的流程示意图；

图3是本发明一种根据用户表情控制角色模型行为的方法第三实施方式的流程示意图；

图4是本发明一种根据用户表情控制角色模型行为的终端第一实施方式的流程示意图。

具体实施方式

参阅图1，图1是本发明一种根据用户表情控制角色模型行为的方法第一实施方式的流程示意图。该方法的步骤包括：

S101：终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取图像的特征值。

人脸识别技术的主要技术流程主要有采集、处理、提取特征值和识别等步骤。该技术通常应用于身份验证及安防领域，需精确处理和识别。现在很多手机终端也具备人脸识别功能，可利用人脸识别功能进行脸部表情跟随，通过表情的识别改变模仿的宠物类角色模型游戏中的虚拟角色的行为。目前比较公认的基本表情有六种：高兴、悲伤、厌恶、恐惧、惊讶和愤怒，以上六种基本表情经过人脸识别技术可进行有效识别。

在本实施方式中，用户启动宠物类角色模型游戏，通过游戏选项预先设定角色模型的行为，具体的行为可设定为走路、跑步、跳步等运动行为以及唱歌、跳舞、吃东西等，这些行为选项还可做进一步设定，如设定唱歌、跳舞的曲目及运动的种类。设定完成后，角色模型开始执行上述设定的行为。同时终端通过摄像头实时获取用户脸部表情图像，并对该图像进行人脸识别，提取该脸部表情图像中的脸部表情的特征值。人的脸部最显著的特征有眼睛位置，双眼间距及嘴巴、鼻子和下巴的位置，终端提取上述显著特征点间的相对位置，根据上述脸部特征点之间的距离特性来获得人脸识别的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等，得到用户脸部表情特征值后进入步骤S102。

S102：终端按照预设模式确定对应特征值的表情所属类型。

终端在步骤S101中获取到特征值后，根据特征值中各个特征点的状态及各特征点间的相对位置，根据终端预设模式找出与当前特征值相对应的表情所属类型。终端预设的预设模式记录了不同状态脸部表情特征点的组合与人的表情类型之间的相关对应关系，即根据预设模式确定用户实时脸部表情所属类型。在本实施方式中，终端的数据库中存储了各个特征点在不同状态下的组合及与之对应的表情所属类型。例如，在终端获取用户的脸部表情图像提取到的特征值中，如果眼睛变小，且嘴巴的嘴角位置向上扬，终端根据这些特征值的状态，从预设模式中找出预置对应的表情类型为高兴、喜悦的表情。确定用户脸部表情所属类型后，进入步骤S103。

S103：终端根据确定的表情所属类型，决定角色模型的下一步行为。

在确定了用户表情所属类型后，终端根据用户表情所属类型决定角色模型的下一步行为。在本实施方式中，存在用户表情所属类型和角色模型的下一步行为的对应关系，此对应关系是终端内置或由用户设定。

区别于现有技术，本发明终端利用图像识别技术识别用户的脸部表情的类型，根据确定的所述表情所属类型控制角色模型行为按照用户的意愿做进一步变化，使角色模型继续、停止当前行为或者改变其动作频率，充分利用硬件设备对游戏玩法进行扩展，增加游戏玩法，增强游戏的趣味性。

参阅图2，图2是本发明一种根据用户表情控制角色模型行为的方法第二实施方式的流程示意图。该方法的步骤包括：

S201：终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取图像的特征值。

S202：终端按照预设模式确定对应特征值的表情所属类型。

在本实施方式中，选定角色模型的初始行为及通过摄像头获取用户脸部表情图像提取特征值，并根据预设模式确定提取到的特征值的表情所属类型。该方法步骤和前一实施方式中的相应步骤相似甚至相同，不再赘述。

S203：若确定的表情所属类型为正面、积极的表情类型，终端不改变角色模型的行为的基本属性或趋势。

用户表情所属类型和角色模型的下一步行为存在对应关系，根据表情类型不同的分组标准，可将用户表情依据不同的标准进行分组，通过不同的分组决定角色模型的下一步行为。分组的标准可以是按积极表情类型和消极表情类型分组，也可由用户自行设定分组的标准。而对应的角色模型的下一步行为，具体包括继续当前行为、停止当前行为、加快当前行为的频率以及改变执行当前行为转而执行其他的不同的行为等。在本实施方式中，把用户表情分为积极表情和消极表情两组，其中S202中根据特征值确定表情为高兴、喜悦或带有笑容的表情时，判定为积极表情。同时，在判定表情类型为积极表情时，角色模型继续执行当前的行为，或者加快当前行为的频率。例如，在步骤S201中设定角色模型的初始行为为以一定的频率拍球，当确定了用户表情为积极的表情，如用户在微笑、点头时，角色模型继续拍球，或者加快拍球的频率，没有改变角色模型行为的基本属性和趋势。

S204：若确定的表情所属类型为负面、消极的表情类型，终端改变角色模型的行为的基本属性或趋势。

若确定表情类型为厌恶、生气、悲伤等表情时，将其判定为消极表情，且在判定表情类型为消极表情时，角色模型停止执行当前的行为，或者改变角色模型的行为。例如在步骤S201中依然设定角色模型的初始行为为以一定的频率拍球，当确定用户为消极的表情，如摇头、皱眉时，角色模型停止拍球或者转而执行其他行为，如挠头表示不理解用户生气的原因，或者做鬼脸等。在本实施方式中，当角色模型转而执行其他行为时，其执行的行为也可以由用户设定。

区别于现有技术，本发明终端通过对用户可能出现的脸部表情类型分组，使角色模型在用户表情类型不同时，在初始行为的基础上，分别执行设定的对应行为，使角色模型的行为因用户的表情变化而发生了变化，充分利用硬件设备对游戏玩法进行扩展，增加游戏玩法，增强游戏的趣味性。

参阅图3，图3是本发明一种根据用户表情控制角色模型行为的方法第三实施方式的流程示意图。该方法的步骤包括：

S301：终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取图像的特征值。

角色模型的部分初始行为也可由用户进行设定，如角色模型唱歌或跳舞时的音乐曲目可由用户设定，用户选择喜好的终端预存音乐，作为角色模型跳舞的背景音乐，或者把终端预存音乐经过变音处理，使角色模型在播放变音处理的音乐时配合音乐的停顿进行嘴部运动，再配合角色模型的肢体动作，表现为演唱该歌曲。在赋予角色模型初始行为后，通过摄像头实时获取用户脸部表情，提取图像中的特征值，终端存储提取到的特征值，转化为数据信号。

S302：终端按照预设模式确定对应特征值的表情所属类型。

终端的预设模式记录了S301提取到的特征值和表情类型的对应关系。根据提取到的特征值中各特征点的状态及其组合，确定表情所属类型。例如提取到的特征值中，眉毛上扬、嘴巴嘴角的位置向上、眼睛变小，同时出现上述特征点，根据预设模式记录的对应关系，可判断用户的表情所属类型为高兴的表情。

S303：终端根据确定的表情所属类型，决定角色模型的下一步行为。

在步骤S302中得到表情类型后，对表情所属的类型进行分组。如前一实施方式所述，用户表情可依据不同的标准进行分组。在本实施方式中，把用户表情类型分为正面和负面，其中把高兴及带有笑容的类似的表情归类到正面类型，把包括皱眉、摇头等特征的类似的表情归类到负面类型。当确定表情类型为正面的表情时，角色模型继续执行当前的行为，或者加快当前行为的频率；在判定表情类型为负面的表情时，角色模型停止执行当前的行为，或者改变角色模型的行为。

S304：若终端未确定用户表情所属类型，终端询问用户意图。

当终端未能识别用户表情所属类型，即实时获取到的用户表情图像特征值中不包含用以判断表情类型的特征点时，终端会向用户发出提问，防止终端判断机制进入死循环，增加响应时间。具体的方式是可以是终端的显示界面上在角色模型旁边弹出语言提示框，以角色模型的语气进行询问，并提供选择，选项为步骤S303中的正面和负面，用户根据选项做出判断，终端根据用户的选择，确定表情所属类型，返回步骤S303。

本发明终端通过对用户可能出现的脸部表情类型分组，使角色模型在用户表情类型不同时，在初始行为的基础上，分别执行设定的对应行为，使角色模型的行为因用户的表情变化而发生了变化，并在终端无法判断用户表情类型时提供选项供用户做选择，缩短了终端响应时间，充分利用硬件设备对游戏玩法进行扩展，增加游戏玩法，增强游戏的趣味性。

参阅图4，图4是本发明一种根据用户表情控制角色模型行为的终端第一实施方式的流程示意图。该终端400包括：图像获取模块410、表情处理模块420和角色模型处理模块430。

图像获取模块410利用人脸识别技术实时获取用户脸部表情图像，从图像中提取用户脸部表情的各个特征点，组合为特征值并传输到表情处理模块420。特征值包括人眼位置，两眼距离，眉毛、嘴巴、鼻子、下巴的位置中的一个或两个以上的组合。在图像获取模块410获取到用户表情图像特征值后，表情处理模块420统计获得的表情特征值，并查询终端400预设的预设模式。该预设模式记录了用户脸部表情特征值和表情所属类型的对应，在得到特征值后，表情处理模块420根据预设模式确定特征值所对应的表情类型。例如，在图像获取模块410获取用户的脸部表情图像提取到的特征值中，如果眼睛变小，且嘴巴的嘴角位置向上扬，表情处理模块420根据这些特征值的状态，从预设模式中找出预置对应的表情类型为高兴、喜悦的表情；在图像获取模块410获取用户的脸部表情图像提取到的特征值中，如果眼睛变大，或者眉头皱起时，表情处理模块420根据这些特征值的状态，从预设模式中找出预置对应的表情类型为生气、愤怒的表情。

角色模型处理模块430包括：角色模型初始设定单元431、第一处理单元432和第二处理单元433。角色模型初始设定单元431用于在游戏启动时设定角色模型的初始行为，具体的行为可设定为走路、跑步、跳步等运动行为以及唱歌、跳舞、吃东西等，这些行为选项还可做进一步设定，如设定唱歌、跳舞的曲目及运动的种类。设定完成后，角色模型开始执行为其设定的行为。第一处理单元432判断表情处理模块420确定的表情类型。当该表情类型判断为正面、积极的表情时，角色模型继续执行当前的行为，或者加快当前行为的频率，例如，在步骤S201中设定角色模型的初始行为为以一定的频率拍球，当确定了用户表情为积极的表情，如用户在笑、点头时，角色模型继续拍球，或者加快拍球的频率，并没有改变角色模型行为的基本属性和趋势；当该表情类型判断为负面、消极的表情时，角色模型停止执行当前的行为，或者改变角色模型的行为，例如在步骤S201中设定角色模型的初始行为为以一定的频率拍球，当确定用户为消极的表情，如摇头、皱眉时，角色模型停止拍球，等待角色模型初始设定单元431重新设定角色模型的行为，或者转而执行其他行为，如挠头表示不理解用户生气的原因，或者做鬼脸等。第二处理单元433在第一处理单元432未能识别用户表情所属类型，即实时获取到的用户表情图像特征值中不包含用以判断表情类型的特征点时，向用户发出提问，具体的方式是可以是终端400的显示界面(未标示)上在角色模型旁边弹出语言提示框，以角色模型的语气进行询问，并提供选择，用户可将此时的表情类型确定为积极或消极，并交由第一处理单元432继续处理，防止表情处理模块420在判断表情分类时进入死循环，延长终端400响应时间。

对比于现有技术，本发明的一种跟随用户脸部表情控制角色模型行为的终端通过人脸识别功能监测到脸部表情特征发生变化后，根据用户表情的改变对应地控制改变角色模型行为，在终端未能判断用户表情类型时由用户判断，简化判断机制，节省响应时间，同时充分的利用硬件设备对游戏玩法进行扩展，增加游戏玩法，极大的增强游戏趣味性。

应理解，前文以移动终端电子设备为例进行说明，但本发明的终端不限于此，还可以为多媒体娱乐设备或多媒体信息终端。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种根据用户表情控制角色模型行为的方法，其特征在于，所述方法的步骤包括：

终端赋予角色模型初始行为，实时获取用户脸部表情图像并提取所述图像的特征值；

所述终端按照预设模式确定对应所述特征值的表情所属类型；

所述终端根据确定的所述表情所属类型，决定所述角色模型的下一步行为；

其中，所述特征值包括人眼位置，两眼距离，眉毛、嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；所述角色模型行为的变化由所述确定的表情所属类型触发。

2.根据权利要求1所述的方法，其特征在于，所述终端根据确定的所述表情所属类型，决定所述角色模型的下一步行为的步骤中，若所述确定的表情所属类型为正面、积极的表情类型，所述终端不改变所述角色模型的行为的基本属性或趋势；若所述确定的表情所属类型为负面、消极的表情类型，所述终端改变所述角色模型的行为的基本属性或趋势；所述角色模型的行为包括所述角色模型的表情和动作。

3.根据权利要求2所述的方法，其特征在于，若所述终端未确定用户表情所属类型，所述终端询问用户意图，接收用户输入的表情类型信号，确定所述表情所属类型以执行所述终端根据确定的所述表情所属类型，决定所述角色模型的下一步行为的步骤。

4.根据权利要求2所述的方法，其特征在于，所述终端判断所述用户脸部表情类型为正面、积极的表情时，使所述角色模型继续或者加快执行当前行为；所述终端判端用户脸部表情类型为负面、消极的表情时，使所述角色模型停止执行所述当前行为，待所述终端重新设定所述角色模型的行为。

5.根据权利要求1所述的方法，其特征在于，所述终端按照预设模式确定对应所述特征值的表情所属类型的步骤中，所述预设模式记录所述用户脸部表情特征值和所述表情所属类型的对应关系。

6.一种根据用户表情控制角色模型行为的终端，其特征在于，所述终端包括：图像获取模块、表情处理模块和角色模型处理模块；

其中，所述图像获取模块用于实时获取用户脸部表情图像并提取所述图像的特征值；所述表情处理模块用于按照预设模式确定对应所述特征值的表情所属类型；所述角色模型处理模块用于赋予角色模型初始行为以及根据确定的所述表情所属类型，以决定所述角色模型下一步行为；所述特征值包括人眼位置，两眼距离，眉毛、嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；所述角色模型行为的变化由所述确定的表情所属类型触发。

7.根据权利要求6所述的终端，其特征在于，所述角色模型处理模块包括角色模型初始设定单元和第一处理单元；

其中，所述角色模型初始设定单元用于赋予所述角色模型初始表情；所述第一处理单元用于在所述确定的表情所属类型为正面、积极的表情类型时，不改变所述角色模型的行为的基本属性或趋势；在所述确定的表情所属类型为消极、负面表情类型时，改变所述角色模型的行为的基本属性或趋势。

8.根据权利要求7所述的终端，其特征在于，所述角色模型处理模块还包括第二处理单元，所述第二处理单元用于在所述第一处理单元未确定用户表情所属类型，询问用户意图，接收用户输入的表情类型信号，确定所述表情所属类型以使所述第一处理单元根据确定的所述表情所属类型，以决定所述角色模型下一步行为。

9.根据权利要求7所述的终端，其特征在于，所述第一处理单元在判断所述用户脸部表情类型为正面、积极的表情时，使所述角色模型继续或者加快执行当前行为；所述终端判端用户脸部表情类型为负面、消极的表情时，使所述角色模型停止执行所述当前行为，待所述角色模型初始设定单元重新设定所述角色模型的行为。

10.根据权利要求6所述的终端，其特征在于，所述预设模式记录所述用户脸部表情特征值和所述表情所属类型的对应关系。