CN103631370B - 一种控制虚拟形象的方法及装置 - Google Patents

一种控制虚拟形象的方法及装置 Download PDF

Info

Publication number
CN103631370B
CN103631370B CN201210310115.1A CN201210310115A CN103631370B CN 103631370 B CN103631370 B CN 103631370B CN 201210310115 A CN201210310115 A CN 201210310115A CN 103631370 B CN103631370 B CN 103631370B
Authority
CN
China
Prior art keywords
profile
facial image
key point
displacement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210310115.1A
Other languages
English (en)
Other versions
CN103631370A (zh
Inventor
饶丰
肖斌
陈波
张龙
查文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210310115.1A priority Critical patent/CN103631370B/zh
Publication of CN103631370A publication Critical patent/CN103631370A/zh
Application granted granted Critical
Publication of CN103631370B publication Critical patent/CN103631370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种控制虚拟形象的方法及装置,属于计算机领域。所述方法包括:通过对用户面部进行拍摄获取所述用户对应的第一人脸图像,识别出所述第一人脸图像的轮廓,标识所述第一人脸图像的轮廓包括的关键点;根据预先存储的第二人脸图像的轮廓包括的关键点的位置和所述第一人脸图像的轮廓包括的关键点的位置,计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移;根据所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移控制所述用户的虚拟形象。所述装置包括:识别模块、计算模块和控制模块。本发明能够提高控制虚拟形象的即时性和操作便捷性。

Description

一种控制虚拟形象的方法及装置
技术领域
本发明涉及计算机领域,特别涉及一种控制虚拟形象的方法及装置。
背景技术
在网络虚拟社区里,用户常常创建一个供其他用户认知和识别的虚拟形象,用户可以控制虚拟形象向其他用户展现自己的表情,例如,可以控制虚拟形象呈现大笑的面部动画来向其他用户展现自己大笑的表情。
假设用户需要控制虚拟形象呈现大笑的面部动画,目前用户可以通过以下三种方式来控制虚拟形象,包括:第一、用户可以通过大笑对应的快捷键来控制虚拟形象呈现大笑的面部动画;第二、用户可以通过输入关键字“哈哈”等来控制虚拟形象呈现大笑的面部动画;第三、用户可以通过鼠标点击虚拟形象的脸蛋来控制虚拟形象呈现大笑的面部动画。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
当用户产生一个表情时,现有技术不能立即控制虚拟形象展现用户的表情,即时性较差,另外,需要用户手动控制虚拟形象,操作便捷性较差。
发明内容
为了提高控制虚拟形象的即时性和操作便捷性,本发明提供了一种控制虚拟形象的方法及装置。所述技术方案如下:
一种控制虚拟形象的方法,所述方法包括:
通过对用户面部进行拍摄获取所述用户对应的第一人脸图像,识别出所述第一人脸图像的轮廓,标识所述第一人脸图像的轮廓包括的关键点;
根据预先存储的第二人脸图像的轮廓包括的关键点的位置和所述第一人脸图像的轮廓包括的关键点的位置,计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移,所述第二人脸图像是前一次获取的人脸图像;
根据所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移控制所述用户的虚拟形象。
所述第一人脸图像的轮廓至少包括所述第一人脸图像的脸轮廓、嘴的轮廓、眼睛的轮廓、眉毛的轮廓和鼻子的轮廓。
所述第二人脸图像是在所述第一人脸图像之前获取的一帧人脸图像。
所述根据所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移控制所述用户的虚拟形象,包括:
将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移;
根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓。
所述将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移,包括:
将所述第一人脸图像的脸轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的脸轮廓包括的关键点的位移;
将所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移;
将所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移;
将所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移与预设的系数做乘积运算,计算出所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移;
将所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移。
所述根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓,包括:
根据所述用户对应的虚拟形象的脸轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的脸轮廓;
根据所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的嘴的轮廓;
根据所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眼睛的轮廓;
根据所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眉毛的轮廓;
根据所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的鼻子的轮廓。
所述根据所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移控制所述用户的虚拟形象,包括:
计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移的平均位移,将所述平均位移确定为所述第一人脸图像的轮廓的位移;
根据所述第一人脸图像的轮廓的位移所在的位移范围,从已存储的位移范围与虚拟形象图片的对应关系中获取所述第一人脸图像对应的虚拟形象图片;
显示所述第一人脸图像对应的虚拟形象图片。
所述计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移的平均位移,将所述平均位移确定为所述第一人脸图像的轮廓的位移,包括:
计算所述第一人脸图像的脸轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移的第一平均位移,将所述第一平均位移确定为所述第一人脸图像的脸轮廓的位移;
计算所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移的第二平均位移,将所述第二平均位移确定为所述第一人脸图像的嘴的轮廓的位移;
计算所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移的第三平均位移,将所述第三平均位移确定为所述第一人脸图像的眼睛的轮廓的位移;
计算所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移的第四平均位移,将所述第四平均位移确定为所述第一人脸图像的眉毛的轮廓的位移;
计算所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移的第五平均位移,将所述第五平均位移确定为所述第一人脸图像的鼻子的轮廓的位移。
所述根据所述第一人脸图像的轮廓的位移所在的位移范围,从已存储的位移范围与虚拟形象图片的对应关系中获取所述第一人脸图像对应的虚拟形象图片,包括:
根据所述第一人脸图像的脸轮廓的位移所在位移范围、嘴的轮廓的位移所在位移范围、眼睛的轮廓的位移所在的位移范围、眉毛的轮廓的位移所在的位移范围和鼻子的轮廓的位移所在的位移范围,从已存储的脸轮廓的位移范围、嘴的轮廓的位移范围、眼睛的轮廓的位移范围、眉毛的轮廓的位移范围、鼻子的轮廓的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片。
所述计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移之前,还包括:
根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置。
所述根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置,包括:
根据已存储的样本人脸图像的位置和所述第一人脸图像的位置移动样本人脸图像,使所述样本人脸图像的位置与所述第一人脸图像的位置重合;
根据所述样本人脸图像的大小和所述第一人脸图像的大小对样本人脸图像进行缩放,使所述样本人脸图像的大小与所述第一人脸图像的大小相同;
根据所述样本人脸图像的轮廓包括的关键点的位置,在所述第一人脸图像的轮廓上拟合出对应的关键点,以及获取所述第一人脸图像的轮廓包括的关键点的位置。
所述计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移之后,还包括:
将已存储的所述第二人脸图像更新为所述第一人脸图像。
一种控制虚拟形象的装置,所述装置包括:
识别模块,用于通过对用户面部进行拍摄获取所述用户对应的第一人脸图像,识别出所述第一人脸图像的轮廓,标识所述第一人脸图像的轮廓包括的关键点;
计算模块,用于根据预先存储的第二人脸的轮廓包括的关键点的位置和所述第一人脸的轮廓包括的关键点的位置,计算所述第一人脸的轮廓包括的关键点相对于所述预先存储的第二人脸的轮廓包括的关键点的位移,所述第二人脸图像是前一次获取的人脸图像;
控制模块,用于根据所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移控制所述用户的虚拟形象。
所述第一人脸图像的轮廓至少包括所述第一人脸图像的脸轮廓、嘴的轮廓、眼睛的轮廓、眉毛的轮廓和鼻子的轮廓。
所述第二人脸图像是在所述第一人脸图像之前获取的一帧人脸图像。
所述控制模块包括:
运算单元,用于将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移;
拉抻单元,用于根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓。
所述运算单元包括:
第一运算子单元,用于将所述第一人脸图像的脸轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的脸轮廓包括的关键点的位移;
第二运算子单元,用于将所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移;
第三运算子单元,用于将所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移;
第四运算子单元,用于将所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移与预设的系数做乘积运算,计算出所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移;
第五运算子单元,用于将所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移。
所述拉抻单元包括:
第一拉抻子单元,用于根据所述用户对应的虚拟形象的脸轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的脸轮廓;
第二拉抻子单元,用于根据所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的嘴的轮廓;
第三拉抻子单元,用于根据所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眼睛的轮廓;
第四拉抻子单元,用于根据所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眉毛的轮廓;
第五拉抻子单元,用于根据所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的鼻子的轮廓。
所述控制模块包括:
计算单元,用于计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移的平均位移,将所述平均位移确定为所述第一人脸图像的轮廓的位移;
获取单元,用于根据所述第一人脸图像的轮廓的位移所在的位移范围从已存储的位移范围与虚拟形象图片的对应关系中获取所述第一人脸图像对应的虚拟形象图片;
显示单元,用于显示所述第一人脸图像对应的虚拟形象图片。
所述计算单元包括:
第一计算子单元,用于计算所述第一人脸图像的脸轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移的第一平均位移,将所述第一平均位移确定为所述第一人脸图像的脸轮廓的位移;
第二计算子单元,用于计算所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移的第二平均位移,将所述第二平均位移确定为所述第一人脸图像的嘴的轮廓的位移;
第三计算子单元,用于计算所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移的第三平均位移,将所述第三平均位移确定为所述第一人脸图像的眼睛的轮廓的位移;
第四计算子单元,用于计算所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移的第四平均位移,将所述第四平均位移确定为所述第一人脸图像的眉毛的轮廓的位移;
第五计算子单元,用于计算所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移的第五平均位移,将所述第五平均位移确定为所述第一人脸图像的鼻子的轮廓的位移。
所述获取单元包括:
获取子单元,用于根据所述第一人脸图像的脸轮廓的位移所在位移范围、嘴的轮廓的位移所在位移范围、眼睛的轮廓的位移所在的位移范围、眉毛的轮廓的位移所在的位移范围和鼻子的轮廓的位移所在的位移范围,从已存储的脸轮廓的位移范围、嘴的轮廓的位移范围、眼睛的轮廓的位移范围、眉毛的轮廓的位移范围、鼻子的轮廓的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片。
所述装置还包括:
获取模块,用于根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置。
所述获取模块包括:
移动单元,用于根据已存储的样本人脸图像的位置和所述第一人脸图像的位置移动样本人脸图像,使所述样本人脸图像的位置与所述第一人脸图像的位置重合;
缩放单元,用于根据所述样本人脸图像的大小和所述第一人脸图像的大小对样本人脸图像进行缩放,使所述样本人脸图像的大小与所述第一人脸图像的大小相同;
拟合单元,用于根据所述样本人脸图像的轮廓包括的关键点的位置,在所述第一人脸图像的轮廓上拟合出对应的关键点,以及获取所述第一人脸图像的轮廓包括的关键点的位置。
所述装置还包括:
更新模块,用于将已存储的所述第二人脸图像更新为所述第一人脸图像。
在本发明实施例中,对用户面部进行拍摄得到面部图像,获取面部图像中的第一人脸图像;根据已存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是前一次获取的人脸图像;根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。对用户面部进行拍摄,根据用户面部的轮廓包括的关键点的位移来控制虚拟形象,提高控制虚拟形象的即时性以及操作便捷性。
附图说明
图1是本发明实施例1提供的一种控制虚拟形象的方法流程图;
图2是本发明实施例2提供的一种控制虚拟形象的方法流程图;
图3是本发明实施例2提供的一种样本人脸图像示意图;
图4是本发明实施例2提供的一种第一人脸图像示意图;
图5是本发明实施例3提供的一种控制虚拟形象的方法流程图;
图6是本发明实施例4提供的一种控制虚拟形象的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
如图1所示,本发明实施例提供了一种控制虚拟形象的方法,包括:
步骤101:通过对用户面部进行拍摄获取用户对应的第一人脸图像,识别出第一人脸图像的轮廓,标识第一人脸图像的轮廓包括的关键点;
步骤102:根据预先存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置,计算第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是前一次获取的人脸图像;
步骤103:根据第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。
在本发明实施例中,对用户面部进行拍摄得到面部图像,获取面部图像中的第一人脸图像;根据已存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是前一次获取的人脸图像;根据第一人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。对用户面部进行拍摄,根据用户面部的轮廓包括的关键点的位移来控制虚拟形象,提高控制虚拟形象的即时性以及操作便捷性。
实施例2
本发明实施例提供了一种控制虚拟形象的方法。其中,使用摄像头对用户的面部进行连续拍摄得到该用户对应的面部图像,根据该用户对应的面部图像通过本实施例的方法控制该用户对应的虚拟形象。参见图2,该方法包括:
步骤201:对用户的面部进行拍摄得到面部图像,从该面部图像中获取用户对应的第一人脸图像以及第一人脸图像的大小和位置;
具体地,采用摄像头对用户的面部进行拍摄得到用户对应的面部图像,通过现有的人脸图像识别算法对第一面部图像进行扫描并识别出第一面部图像中的第一人脸图像以及第一人脸图像的大小和位置。
其中,用户对应的第一人脸图像中包括嘴、眼睛、眉毛和鼻子等器官。其中,在本实施例中,位置可以通过坐标来表示,对于本实施例,其他出现的位置都可以用坐标来表示,就不再一一说明。
步骤202:获取第一人脸图像的轮廓包括的至少一个关键点的位置,第一人脸图像的轮廓包括第一人脸图像的脸轮廓和第一人脸图像中的各器官的轮廓;
具体地,根据已存储的样本人脸图像的位置和第一人脸图像的位置移动样本人脸图像,使样本人脸图像的位置与第一人脸图像的位置重合;根据样本人脸图像的大小和第一人脸图像的大小对样本人脸图像进行缩放,使样本人脸图像的大小与第一人脸图像的大小相同;根据样本人脸图像的轮廓包括的关键点,通过现有的线性拟合算法在第一人脸图像的轮廓上拟合出对应的关键点,以及获取第一人脸图像的轮廓包括的关键点的位置。
其中,第一人脸图像中各器官的轮廓包括第一人脸图像的嘴的轮廓,第一人脸图像的眼睛的轮廓,第一人脸图像的眉毛的轮廓以及第一人脸图像的鼻子的轮廓,第一人脸图像的眼睛的轮廓包括第一人脸图像的左眼的轮廓和右眼的轮廓,第一人脸图像的眉毛的轮廓包括第一人脸图像的左眉毛的轮廓和右眉毛的轮廓。样本人脸图像的轮廓包括样本人脸图像的脸轮廓,样本人脸图像的嘴的轮廓,样本人脸图像的眼睛的轮廓,样本人脸图像的眉毛的轮廓以及样本人脸图像的鼻子的轮廓,样本人脸图像的眼睛的轮廓包括样本人脸图像的左眼的轮廓和右眼的轮廓,样本人脸图像的眉毛的轮廓包括样本人脸图像的左眉毛的轮廓和右眉毛的轮廓。
例如,参见图3,事先设置一个样本人脸图像,样本人脸图像的脸轮廓包括多个关键点,例如,样本人脸图像的脸轮廓包括多个关键点分别为关键点A1、A2、A3、A4、A5、A6、A7、A8和A9;根据样本人脸图像的脸轮廓包括的关键点A1、A2、A3、A4、A5、A6、A7、A8和A9,通过现有的线性拟合算法在如图4所示的第一人脸图像的脸轮廓上分别拟合出对应的关键点A11、A12、A13、A14、A15、A16、A17、A18和A19,以及分别获取关键点A11、A12、A13、A14、A15、A16、A17、A18和A19的位置。
其中,参见图3,样本人脸图像的嘴的轮廓包括多个关键点,例如,样本人脸图像的嘴的轮廓包括的多个关键点分别为B1、B2、B3、B4、B5和B6;根据样本人脸图像的嘴的轮廓包括的关键点B1、B2、B3、B4、B5和B6,通过现有的线性拟合算法在如图4所示的第一人脸图像的嘴的轮廓上分别拟合出对应的关键点B11、B12、B13、B14、B15和B16,以及分别获取关键点B11、B12、B13、B14、B15和B16的位置。
其中,参见图3,样本人脸图像的眼睛的轮廓包括多个关键点,例如,样本人脸图像的左眼的轮廓包括多个关键点分别为C1、C2、C3、C4、C5和C6,样本人脸图像的右眼的轮廓包括多个关键点分别为D1、D2、D3、D4、D5和D6;根据样本人脸图像的左眼的轮廓包括的关键点C1、C2、C3、C4、C5和C6,通过现有的线性拟合算法在如图4所示的第一人脸图像的左眼的轮廓上分别拟合出对应的关键点C11、C12、C13、C14、C15和C16,以及分别获取关键点C11、C12、C13、C14、C15和C16的位置;根据样本人脸图像的右眼的轮廓包括的关键点D1、D2、D3、D4、D5和D6,通过现有的线性拟合算法在如图4所示的第一人脸图像的右眼的轮廓上分别拟合出对应的关键点D11、D12、D13、D14、D15和D16,以及分别获取关键点D11、D12、D13、D14、D15和D16的位置。
其中,参见图3,样本人脸图像的眉毛的轮廓包括多个关键点,例如,样本人脸图像的左眉毛的轮廓包括多个关键点分别为E1、E2、E3、E4和E5,样本人脸图像的右眉毛的轮廓包括多个关键点分别为F1、F2、F3、F4和F5;根据样本人脸图像的左眉毛的轮廓包括的关键点E1、E2、E3、E4和E5,通过现有的线性拟合算法在如图4所示的第一人脸图像的左眉毛的轮廓上分别拟合出对应的关键点E11、E12、E13、E14和E15,以及分别获取关键点E11、E12、E13、E14和E15的位置;根据样本人脸图像的右眉毛的轮廓包括的关键点F1、F2、F3、F4和F5,通过现有的线生拟合算法在如图4所示的第一人脸图像的右眉毛的轮廓上分别拟合出对应的关键点F11、F12、F13、F14和F15,以及分别获取关键点F11、F12、F13、F14和F15的位置。
其中,参见图3,样本人脸图像的鼻子的轮廓包括多个关键点,例如,样本人脸图像的鼻子的轮廓包括多个关键点分别为G1、G2、G3、G4、G5、G6和G7;参见图4,根据样本人脸图像的鼻子的轮廓包括的关键点G1、G2、G3、G4、G5、G6和G7,通过现有的线性拟合算法在如图4所示的第一人脸图像的鼻子的轮廓上分别拟合出对应的关键点G11、G12、G13、G14、G15、G16和G17,以及分别获取关键点G11、G12、G13、G14、G15、G16和G17的位置。
其中,技术人员事先拍摄大量的面部图像,标记出每张面部图像中的人脸图像的轮廓包括的关键点,对于样本人脸图像的轮廓中的任一个关键点,在每张面部图像中的人脸图像的轮廓上都有该关键点对应的关键点,例如,对于样本人脸图像的轮廓中的关键点A1,在每张面部图像中的人脸图像的轮廓上都有关键点A1对应的关键点,然后将每张图像输入给终端。
其中,终端接收每张面部图像,根据每张图像的人脸图像的大小,以及每个张图像中的人脸图像的各器官的位置和大小,创建一个样本人脸图像,样本人脸图像的大小为每张面部图像中的人脸图像的平均大小,样本人脸图像中各器官的位置和大小分别为每张面部图像中的人脸图像的器官的平均位置和平均大小;在样本人脸图像的轮廓上标记出关键点,该关键点的位置为每张面部图像中的人脸图像的轮廓上该关键点对应的关键点的平均位置。
步骤203:根据预先存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置,计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是从前一次拍摄的面部图像中识别出的人脸图像;
其中,第二人脸图像是在第一人脸图像之前最近一次获取的人脸图像。第一人脸图像的轮廓上的任一个关键点,在第二人脸图像的轮廓上都有该关键点对应的一个关键点。
例如,假设已存储的第二人脸图像的脸轮廓包括的关键点分别为A21、A22、A23、A24、A25、A26、A27、A28和A29;根据第一人脸图像的脸轮廓包括的关键点A11、A12、A13、A14、A15、A16、A17、A18和A19的位置以及第二人脸图像的脸轮廓包括的关键点A21、A22、A23、A24、A25、A26、A27、A28和A29的位置,分别计算出第一人脸图像的轮廓包括的关键点A11、A12、A13、A14、A15、A16、A17、A18和A19分别相对于第二人脸图像的脸轮廓包括的关键点A21、A22、A23、A24、A25、A26、A27、A28和A29的位移;按上述相同的方法计算出第一人脸图像的嘴的轮廓包括关键点B11、B12、B13、B14、B15和B16分别相对于第二人脸图像的嘴的轮廓包括的关键点B21、B22、B23、B24、B25和B26的位移,第一人脸图像的左眼的轮廓包括关键点C11、C12、C13、C14、C15和C16分别相对于第二人脸图像的左眼的轮廓包括的关键点C21、C22、C23、C24、C25和C26的位移,第一人脸图像的右眼的轮廓包括关键点D11、D12、D13、D14、D15和D16分别相对于第二人脸图像的右眼的轮廓包括的关键点D21、D22、D23、D24、D25和D26的位移,第一人脸图像的左眉毛的轮廓包括关键点E11、E12、E13、E14和E15分别相对于第二人脸图像的左眉毛的轮廓包括的关键点E21、E22、E23、E24和E25的位移,第一人脸图像的右眉毛的轮廓包括的关键点F11、F12、F13、F14和F15分别相对于第二人脸图像的右眉毛的轮廓包括的关键点F21、F22、F23、F24和F25的位移,第一人脸图像的鼻子的轮廓包括的关键点G11、G12、G13、G14、G15、G16和G17分别相对于第二人脸图像的鼻子的轮廓包括的关键点G21、G22、G23、G24、G25、G26和G27的位移。
进一步地,将已存储的第二人脸图像更新为第一人脸图像。
步骤204:根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,计算出虚拟形象上对应的轮廓包括的关键点的位移;
具体地,计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出虚拟形象的轮廓包括的关键点的位移。
其中,第一人脸图像的轮廓包括的任一关键点,在虚拟形象的轮廓上存在该关键点对应的一个关键点;例如,虚拟形象的脸轮廓包括关键点A31、A32、A33、A34、A35、A36、A37、A38和A39,其中,第一人脸图像的脸轮廓包括的关键点A11、A12、A13、A14、A15、A16、A17、A18和A19分别与虚拟形象的脸轮廓包括的关键点A31、A32、A33、A34、A35、A36、A37、A38和A39一一对应。
其中,将第一人脸图像的脸轮廓包括的关键点A11、A12、A13、A14、A15、A16、A17、A18和A19相对于第二人脸图像的脸轮廓包括的关键A21、A22、A23、A24、A25、A26、A27、A28和A29的位移与预设系数做乘积运算,分别计算出虚拟形象的脸轮廓包括的关键点A31、A32、A33、A34、A35、A36、A37的位移、A38和A39的位移。
将第一人脸图像的嘴的轮廓包括的关键点B11、B12、B13、B14、B15和B16分别相对于第二人脸图像的嘴的轮廓包括的关键点B21、B22、B23、B24、B25和B26的位移与预设系数做乘积运算,分别计算出虚拟形象的嘴的轮廓包括的关键点B31、B32、B33、B34、B35和B36的位移。
将第一人脸图像的左眼的轮廓包括关键点C11、C12、C13、C14、C15和C16分别相对于第二人脸图像的左眼的轮廓包括的关键点C21、C22、C23、C24、C25和C26的位移与预设系数做乘积运算,分别计算出虚拟形象的左眼的轮廓包括的关键点C31、C32、C33、C34、C35和C36的位移;将第一人脸图像的右眼的轮廓包括关键点D11、D12、D13、D14、D15和D16分别相对于第二人脸图像的右眼的轮廓包括的关键点D21、D22、D23、D24、D25和D26的位移与预设系数做乘积运算,分别计算出虚拟形象的右眼的轮廓包括的关键点D31、D32、D33、D34、D35和D36的位移。
将第一人脸图像的左眉毛的轮廓包括关键点E11、E12、E13、E14和E15分别相对于第二人脸图像的左眉毛的轮廓包括的关键点E21、E22、E23、E24和E25的位移与预设系数做乘积运算,分别计算出虚拟形象的左眉毛的轮廓包括的关键点E31、E32、E33、E34和E35的位移;将第一人脸图像的右眉毛的轮廓包括的关键点F11、F12、F13、F14和F15分别相对于第二人脸图像的右眉毛的轮廓包括的关键点F21、F22、F23、F24和F25的位移与预设系数做乘积运算,分别计算出虚拟形象的右眉毛的轮廓包括的关键点F31、F32、F33、F34和F35的位移。
将第一人脸图像的鼻子的轮廓包括的关键点G11、G12、G13、G14、G15、G16和G17分别相对于第二人脸图像的鼻子的轮廓包括的关键点G21、G22、G23、G24、G25、G26和G27的位移与预设系数做乘积运算,分别计算出虚拟形象的鼻子的轮廓包括的关键点G31、G32、G33、G34、G35、G36和G37的位移。
步骤205:根据虚拟形象的轮廓包括的关键点的位移,拉伸虚拟形象的轮廓,以实现控制虚拟形象。
具体地,根据虚拟形象的脸轮廓包括的关键点的位移拉伸虚拟形象的脸轮廓;根据虚拟形象的嘴轮廓包括的关键点的位移拉伸虚拟形象的嘴轮廓;根据虚拟形象的眼睛的轮廓包括的关键点的位移拉伸虚拟形象的眼睛的轮廓;根据虚拟形象的眉毛的轮廓包括的关键点的位移拉伸虚拟形象的眉毛的轮廓;根据虚拟形象的鼻子的轮廓包括的关键点的位移拉伸虚拟形象的鼻子。
其中,在本实施例中,实时对用户的面部进行拍摄,每拍摄到用户的面部对应的面部图像就重复执行上述步骤201至205的流程,如此当用户的表情发生变化时,可以立即控制虚拟形象展现用户的表情。
在本发明实施例中,对用户面部进行拍摄得到面部图像,识别该面部图像中的第一人脸图像;根据预先存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像包括的关键点的位移,第二人脸图像是从最近上一次拍摄的面部图像中识别的人脸图像;根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括关键点的位移控制用户的虚拟形象。对用户面部进行拍摄,根据用户面部的轮廓包括的关键点的位移来控制虚拟形象,提高控制虚拟形象的即时性以及操作便捷性。
实施例3
本发明实施例提供了一种控制虚拟形象的方法。其中,使用摄像头对用户的面部进行连续拍摄得到该用户对应的面部图像,根据该用户对应的面部图像通过本实施例的方法控制该用户对应的虚拟形象。参见图5,该方法包括:
步骤301-303:分别与实施例2的步骤201-203相同,在此不再详细说明;
步骤304:根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,计算出第一人脸图像的轮廓的位移;
具体地,计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移的平均位移,将计算的平均位移确定为第一人脸图像的轮廓的位移。
其中,计算第一人脸图像的脸轮廓包括的关键点相对于第二人脸图像的脸轮廓包括的关键点的位移的第一平均位移并将计算的第一平均位移确定为第一人脸图像的脸轮廓的位移;计算第一人脸图像的嘴的轮廓包括的关键点相对于第二人脸图像的嘴的轮廓包括的关键点的位移的第二平均位移并将计算的第二平均位移确定为第一人脸图像的嘴的轮廓的位移;计算第一人脸图像的左眼的轮廓包括的关键点相对于第二人脸图像的左眼的轮廓包括的关键点的位移的左眼平均位移并将计算的左眼平均位移确定为第一人脸图像的左眼的轮廓的位移;计算第一人脸图像的右眼轮廓包括的关键点相对于第二人脸图像的右眼的轮廓包括的关键点的位移的右眼平均位移并将计算的右眼平均位移确定为第一人脸图像的右眼的轮廓的位移;计算第一人脸图像的左眉毛的轮廓包括的关键点相对于第二人脸图像的左眉毛的轮廓包括的关键点的位移的左眉毛平均位移并将计算的左眉毛平均位移确定为第一人脸图像的左眉毛的位移;计算第一人脸图像的右眉毛的轮廓包括的关键点相对于第二人脸图像的右眉毛的轮廓包括的关键点的位移的右眉毛平均位移并将计算的右眉毛平均位移确定为第一人脸图像的右眉毛的轮廓的位移;以及,计算第一人脸图像的鼻子的轮廓包括的关键点相对于第二人脸图像的鼻子的轮廓包括的关键点的位移的第五平均位移并将计算的第五平均位移确定为第一人脸图像的鼻子的轮廓的位移。
其中,第一人脸图像的眼睛的轮廓包括的关键点相对于第二人脸图像的眼睛的轮廓包括的关键点的位移的第三平均位移包括左眼平均位移和右眼平均位移;第一人脸图像的眼睛的轮廓的位移包括第一人脸图像的左眼的轮廓的位移和右眼的轮廓的位移;第一人脸图像的眉毛的轮廓包括的关键眯相对于第二人脸图像的眉毛的轮廓包括的关键的位移的第四平均位移包括左眉毛平均位移和右眉毛平均位移;以及,第一人脸图像的眉毛的轮廓的位移包括第一人脸图像的左眉毛的轮廓的位移和右眉毛的轮廓的位移。
步骤305:根据第一人脸图像的轮廓的位移,获取第一人脸图像对应的虚拟形象图片;
具体地,确定第一人脸图像的轮廓的位移所在的位移范围,根据第一人脸图像的轮廓的位移所在的位移范围,从已存储的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片。
其中,确定第一人脸图像的轮廓的位移所在的位移范围,可以包括:
分别确定第一人脸图像的脸轮廓的位移所在的位移范围,第一人脸图像的嘴的轮廓的位移所在的位移范围,第一人脸图像的左眼的轮廓的位移所在的位移范围,第一人脸图像的右眼的位移所在的位移范围,第一人脸图像的左眉毛的轮廓的位移所在的位移范围,第一人脸图像的右眉毛的轮廓的位移所在的位移范围,以及第一人脸图像的鼻子的轮廓的位移所在的位移范围。
其中,位移范围与虚拟形象图片的对应关系,可以具体为:脸轮廓的位移范围、嘴的轮廓的位移范围、左眼的轮廓的位移范围、右眼的轮廓的位移范围、左眉毛的轮廓的位移范围、右眉毛的轮廓的位移范围、鼻子的轮廓的位移范围与虚拟形象图片的对应关系。
相应地,根据第一人脸图像的轮廓的位移所在的位移范围,从已存储的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片,可以具体为:
根据第一人脸图像的脸轮廓的位移所在的位移范围,第一人脸图像的嘴的轮廓的位移所在的位移范围,第一人脸图像的左眼的轮廓的位移所在的位移范围,第一人脸图像的右眼的位移所在的位移范围,第一人脸图像的左眉毛的轮廓的位移所在的位移范围,第一人脸图像的右眉毛的轮廓的位移所在的位移范围,以及第一人脸图像的鼻子的轮廓的位移所在的位移范围,从已存储的脸轮廓的位移范围、嘴的轮廓的位移范围、左眼的轮廓的位移范围、右眼的轮廓的位移范围、左眉毛的轮廓的位移范围、右眉毛的轮廓的位移范围、鼻子的轮廓的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片。
其中,用户表现一种表情时,用户的人脸图像包括的各轮廓的发生位移在一定的位移范围内波动,在本实施例中为每种表情设置对应的一个或多个虚拟形象图片,例如,对于大笑的表情,可以为大笑的表情设置对应一个或多个表现为大笑的虚拟形象图片,然后将每种表情对应的人脸图像包括的各轮廓的位移范围和该表情对应的虚拟形象图片存储在位移范围与虚拟形象图片的对应关系中。
步骤306:显示第一人脸图像对应的虚拟形象图片。
其中,第一人脸图像对应的虚拟形象图片,即为第一人脸图像当前展现的表情对应的虚拟形象图片,如此可以即时控制虚拟形象展现用户的表情。
其中,在本实施例中,实时对用户的面部进行拍摄,每拍摄到用户的面部对应的面部图像就重复执行上述步骤301至306的流程获取并显示虚拟形象图片,由于是连续拍摄用户的面部图片,可以实现以动画的方式呈现虚拟形象;所以当用户的表情发生变化时,可以立即控制虚拟形象以动画的方式展现用户的表情。
在本发明实施例中,对用户面部进行拍摄得到面部图像,识别面部图像中的第一人脸图像;根据已存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置计算第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是从最近上一次拍摄的面部图像中识别的人脸图像;根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。对用户面部进行拍摄,根据用户面部的轮廓包括的关键点的位移来控制虚拟形象,提高控制虚拟形象的即时性以及操作便捷性。
实施例4
如图6所示,本发明实施例提供了一种控制虚拟形象的装置,包括:
识别模块401,用于通过对用户面部进行拍摄获取用户对应的第一人脸图像,识别出第一人脸图像的轮廓,标识第一人脸图像的轮廓包括的关键点;
计算模块402,用于根据预先存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置,计算第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移,第二人脸图像是前一次获取的人脸图像;
控制模块403,用于根据第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。
其中,第一人脸图像的轮廓至少包括第一人脸图像的脸轮廓、嘴的轮廓、眼睛的轮廓、眉毛的轮廓和鼻子的轮廓。
其中,第二人脸图像是在所述第一人脸图像之前获取的一帧人脸图像。
其中,控制模块403包括:
运算单元,用于将第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出用户对应的虚拟形象的轮廓包括的关键点的位移;
拉抻单元,用于根据用户的虚拟形象的轮廓包括的关键点的位移拉抻用户的虚拟形象的轮廓。
其中,运算单元包括:
第一运算子单元,用于将第一人脸图像的脸轮廓包括的关键点相对于预先存储的第二人脸图像的脸轮廓包括的关键点的位移与预设系数做乘积运算,计算出用户对应的虚拟形象的脸轮廓包括的关键点的位移;
第二运算子单元,用于将第一人脸图像的嘴的轮廓包括的关键点相对于预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移与预设系数做乘积运算,计算出用户对应的虚拟形象的嘴的轮廓包括的关键点的位移;
第三运算子单元,用于将第一人脸图像的眼睛的轮廓包括的关键点相对于预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移与预设系数做乘积运算,计算出用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移;
第四运算子单元,用于将第一人脸图像的眉毛的轮廓包括的关键点相对于预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移与预设的系数做乘积运算,计算出用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移;
第五运算子单元,用于将第一人脸图像的鼻子的轮廓包括的关键点相对于预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移与预设系数做乘积运算,计算出用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移。
拉抻单元包括:
第一拉抻子单元,用于根据用户对应的虚拟形象的脸轮廓包括的关键点的位移,拉伸用户对应的虚拟形象的脸轮廓;
第二拉抻子单元,用于根据用户对应的虚拟形象的嘴的轮廓包括的关键点的位移,拉伸用户对应的虚拟形象的嘴的轮廓;
第三拉抻子单元,用于根据用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移,拉伸用户对应的虚拟形象的眼睛的轮廓;
第四拉抻子单元,用于根据用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移,拉伸用户对应的虚拟形象的眉毛的轮廓;
第五拉抻子单元,用于根据用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移,拉伸用户对应的虚拟形象的鼻子的轮廓。
其中,控制模块403包括:
计算单元,用于计算第一人脸图像的轮廓包括的关键点相对于预先存储的第二人脸图像的轮廓包括的关键点的位移的平均位移,将计算的平均位移确定为第一人脸图像的轮廓的位移;
获取单元,用于根据第一人脸图像的轮廓的位移所在的位移范围从已存储的位移范围与虚拟形象图片中获取第一人脸图像对应的虚拟形象图片;
显示单元,用于显示第一人脸图像对应的虚拟形象图片。
其中,计算单元包括:
第一计算子单元,用于计算第一人脸图像的脸轮廓包括的关键点相对于预先存储的第二人脸图像的脸轮廓包括的关键点的位移的第一平均位移,将第一平均位移确定为第一人脸图像的脸轮廓的位移;
第二计算子单元,用于计算第一人脸图像的嘴的轮廓包括的关键点相对于预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移的第二平均位移,将第二平均位移确定为第一人脸图像的嘴的轮廓的位移;
第三计算子单元,用于计算第一人脸图像的眼睛的轮廓包括的关键点相对于预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移的第三平均位移,将第三平均位移确定为第一人脸图像的眼睛的轮廓的位移;
第四计算子单元,用于计算第一人脸图像的眉毛的轮廓包括的关键点相对于预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移的第四平均位移,将第四平均位移确定为第一人脸图像的眉毛的轮廓的位移;
第五计算子单元,用于计算第一人脸图像的鼻子的轮廓包括的关键点相对于预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移的第五平均位移,将第五平均位移确定为第一人脸图像的鼻子的轮廓的位移。
其中,获取单元包括:
获取子单元,用于根据第一人脸图像的脸轮廓的位移所在位移范围、嘴的轮廓的位移所在位移范围、眼睛的轮廓的位移所在的位移范围、眉毛的轮廓的位移所在的位移范围和鼻子的轮廓的位移所在的位移范围,从已存储的脸轮廓的位移范围、嘴的轮廓的位移范围、眼睛的轮廓的位移范围、眉毛的轮廓的位移范围、鼻子的轮廓的位移范围与虚拟形象图片的对应关系中获取第一人脸图像对应的虚拟形象图片。
进一步地,该装置还包括:
获取模块,用于根据已存储的样本人脸图像的轮廓包括的关键点的位置获取第一人脸图像的轮廓包括的关键点的位置。
其中,获取模块包括:
移动单元,用于根据已存储的样本人脸图像的位置和第一人脸图像的位置移动样本人脸图像,使该样本人脸图像的位置与第一人脸图像的位置重合;
缩放单元,用于根据该样本人脸图像的大小和第一人脸图像的大小对样本人脸图像进行缩放,使该样本人脸图像的大小与第一人脸图像的大小相同;
拟合单元,用于根据该样本人脸图像的轮廓包括的关键点的位置,在第一人脸图像的轮廓上拟合出对应的关键点,以及获取第一人脸图像的轮廓包括的关键点的位置。
进一步地,该装置还包括:
更新模块,用于将已存储的第二人脸图像更新为第一人脸图像。
在本发明实施例中,对用户面部进行拍摄得到第一面部图像,识别第一面部图像中的第一人脸图像;根据已存储的第二人脸图像的轮廓包括的关键点的位置和第一人脸图像的轮廓包括的关键点的位置计算第一人脸图像的轮廓包括的关键点的位移,第二人脸图像是从最近上一次拍摄的第二面部图像中识别的;根据第一人脸图像的轮廓包括的关键点相对于第二人脸图像的轮廓包括的关键点的位移控制用户的虚拟形象。对用户面部进行拍摄,根据用户面部的轮廓包括的关键点的位移来控制虚拟形象,提高控制虚拟形象的即时性以及操作便捷性。
需要说明的是:上述实施例提供的一种控制虚拟形象的装置在控制虚拟形象时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供控制虚拟形象的装置与控制虚拟形象的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种控制虚拟形象的方法,其特征在于,所述方法包括:
通过对用户面部进行拍摄获取所述用户对应的第一人脸图像,识别出所述第一人脸图像的轮廓,标识所述第一人脸图像的轮廓包括的关键点;其中,所述第一人脸图像的轮廓包括所述第一人脸图像的脸轮廓和所述第一人脸图像中的各器官的轮廓;
根据预先存储的第二人脸图像的轮廓包括的关键点的位置和所述第一人脸图像的轮廓包括的关键点的位置,计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移,所述第二人脸图像是前一次获取的人脸图像,所述第二人脸图像是在所述第一人脸图像之前获取的一帧人脸图像;
将已存储的所述第二人脸图像更新为所述第一人脸图像;
将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移;其中,所述第一人脸图像的轮廓包括的任一关键点,在所述虚拟形象的轮廓上存在所述关键点对应的一个关键点;
根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓。
2.如权利要求1所述的方法,其特征在于,所述第一人脸图像的各器官的轮廓包括嘴的轮廓、眼睛的轮廓、眉毛的轮廓和鼻子的轮廓。
3.如权利要求2所述的方法,其特征在于,所述将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移,包括:
将所述第一人脸图像的脸轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的脸轮廓包括的关键点的位移;
将所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移;
将所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移;
将所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移与预设的系数做乘积运算,计算出所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移;
将所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移。
4.如权利要求1或3所述的方法,其特征在于,所述根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓,包括:
根据所述用户对应的虚拟形象的脸轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的脸轮廓;
根据所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的嘴的轮廓;
根据所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眼睛的轮廓;
根据所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眉毛的轮廓;
根据所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的鼻子的轮廓。
5.如权利要求1至3任一项权利要求所述的方法,其特征在于,所述计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移之前,还包括:
根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置。
6.如权利要求5所述的方法,其特征在于,所述根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置,包括:
根据已存储的样本人脸图像的位置和所述第一人脸图像的位置移动样本人脸图像,使所述样本人脸图像的位置与所述第一人脸图像的位置重合;
根据所述样本人脸图像的大小和所述第一人脸图像的大小对样本人脸图像进行缩放,使所述样本人脸图像的大小与所述第一人脸图像的大小相同;
根据所述样本人脸图像的轮廓包括的关键点的位置,在所述第一人脸图像的轮廓上拟合出对应的关键点,以及获取所述第一人脸图像的轮廓包括的关键点的位置。
7.一种控制虚拟形象的装置,其特征在于,所述装置包括:
识别模块,用于通过对用户面部进行拍摄获取所述用户对应的第一人脸图像,识别出所述第一人脸图像的轮廓,标识所述第一人脸图像的轮廓包括的关键点;其中,所述第一人脸图像的轮廓包括所述第一人脸图像的脸轮廓和所述第一人脸图像中的各器官的轮廓;
计算模块,用于根据预先存储的第二人脸图像的轮廓包括的关键点的位置和所述第一人脸图像的轮廓包括的关键点的位置,计算所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移,所述第二人脸图像是前一次获取的人脸图像,所述第二人脸图像是在所述第一人脸图像之前获取的一帧人脸图像;
更新模块,用于将已存储的所述第二人脸图像更新为所述第一人脸图像;
运算单元,用于将所述第一人脸图像的轮廓包括的关键点相对于所述预先存储的第二人脸图像的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的轮廓包括的关键点的位移;其中,所述第一人脸图像的轮廓包括的任一关键点,在所述虚拟形象的轮廓上存在所述关键点对应的一个关键点;
拉抻单元,用于根据所述用户的虚拟形象的轮廓包括的关键点的位移拉抻所述用户的虚拟形象的轮廓。
8.如权利要求7所述的装置,其特征在于,所述第一人脸图像的各器官的轮廓包括嘴的轮廓、眼睛的轮廓、眉毛的轮廓和鼻子的轮廓。
9.如权利要求8所述的装置,其特征在于,所述运算单元包括:
第一运算子单元,用于将所述第一人脸图像的脸的轮廓包括的关键点相对于所述预先存储的第二人脸图像的脸轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的脸轮廓包括的关键点的位移;
第二运算子单元,用于将所述第一人脸图像的嘴的轮廓包括的关键点相对于所述预先存储的第二人脸图像的嘴的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移;
第三运算子单元,用于将所述第一人脸图像的眼睛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眼睛的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移;
第四运算子单元,用于将所述第一人脸图像的眉毛的轮廓包括的关键点相对于所述预先存储的第二人脸图像的眉毛的轮廓包括的关键点的位移与预设的系数做乘积运算,计算出所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移;
第五运算子单元,用于将所述第一人脸图像的鼻子的轮廓包括的关键点相对于所述预先存储的第二人脸图像的鼻子的轮廓包括的关键点的位移与预设系数做乘积运算,计算出所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移。
10.如权利要求7或9所述的装置,其特征在于,所述拉抻单元包括:
第一拉抻子单元,用于根据所述用户对应的虚拟形象的脸轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的脸轮廓;
第二拉抻子单元,用于根据所述用户对应的虚拟形象的嘴的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的嘴的轮廓;
第三拉抻子单元,用于根据所述用户对应的虚拟形象的眼睛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眼睛的轮廓;
第四拉抻子单元,用于根据所述用户对应的虚拟形象的眉毛的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的眉毛的轮廓;
第五拉抻子单元,用于根据所述用户对应的虚拟形象的鼻子的轮廓包括的关键点的位移,拉伸所述用户对应的虚拟形象的鼻子的轮廓。
11.如权利要求7至9任一项权利要求所述的装置,其特征在于,所述装置还包括:
获取模块,用于根据已存储的样本人脸图像的轮廓包括的关键点的位置获取所述第一人脸图像的轮廓包括的关键点的位置。
12.如权利要求11所述的装置,其特征在于,所述获取模块包括:
移动单元,用于根据已存储的样本人脸图像的位置和所述第一人脸图像的位置移动样本人脸图像,使所述样本人脸图像的位置与所述第一人脸图像的位置重合;
缩放单元,用于根据所述样本人脸图像的大小和所述第一人脸图像的大小对样本人脸图像进行缩放,使所述样本人脸图像的大小与所述第一人脸图像的大小相同;
拟合单元,用于根据所述样本人脸图像的轮廓包括的关键点的位置,在所述第一人脸图像的轮廓上拟合出对应的关键点,以及获取所述第一人脸图像的轮廓包括的关键点的位置。
CN201210310115.1A 2012-08-28 2012-08-28 一种控制虚拟形象的方法及装置 Active CN103631370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210310115.1A CN103631370B (zh) 2012-08-28 2012-08-28 一种控制虚拟形象的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210310115.1A CN103631370B (zh) 2012-08-28 2012-08-28 一种控制虚拟形象的方法及装置

Publications (2)

Publication Number Publication Date
CN103631370A CN103631370A (zh) 2014-03-12
CN103631370B true CN103631370B (zh) 2019-01-25

Family

ID=50212544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210310115.1A Active CN103631370B (zh) 2012-08-28 2012-08-28 一种控制虚拟形象的方法及装置

Country Status (1)

Country Link
CN (1) CN103631370B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335991A (zh) * 2014-06-27 2016-02-17 联想(北京)有限公司 一种信息处理方法及电子设备
US9984487B2 (en) 2014-09-24 2018-05-29 Intel Corporation Facial gesture driven animation communication system
CN106778574A (zh) * 2016-12-06 2017-05-31 广州视源电子科技股份有限公司 用于人脸图像的检测方法和装置
CN106919906B (zh) * 2017-01-25 2021-04-20 迈吉客科技(北京)有限公司 一种图像互动方法及互动装置
CN106951095A (zh) * 2017-04-07 2017-07-14 胡轩阁 基于三维扫描技术的虚拟现实互动方法以及系统
CN109345636B (zh) * 2018-07-19 2023-10-24 北京永星互动科技有限公司 获取虚拟人脸图的方法和装置
CN109922355B (zh) * 2019-03-29 2020-04-17 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110827378B (zh) * 2019-10-31 2023-06-09 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN111228655A (zh) * 2020-01-14 2020-06-05 于金明 基于虚拟智能医疗平台的监控方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832604A (zh) * 2005-03-07 2006-09-13 乐金电子(中国)研究开发中心有限公司 一种具有漫画生成功能的移动通信终端及其漫画生成方法
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
TW201108151A (en) * 2009-08-17 2011-03-01 Univ Chaoyang Technology Instant communication control system and its control method
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328908C (zh) * 2004-11-15 2007-07-25 北京中星微电子有限公司 一种视频通信的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832604A (zh) * 2005-03-07 2006-09-13 乐金电子(中国)研究开发中心有限公司 一种具有漫画生成功能的移动通信终端及其漫画生成方法
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
TW201108151A (en) * 2009-08-17 2011-03-01 Univ Chaoyang Technology Instant communication control system and its control method
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法

Also Published As

Publication number Publication date
CN103631370A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN103631370B (zh) 一种控制虚拟形象的方法及装置
CN109410298B (zh) 一种虚拟模型的制作方法及表情变化方法
CN103455984B (zh) 一种Kinect深度图像获取方法与装置
CN105046657B (zh) 一种图像拉伸畸变自适应校正方法
CN106971165B (zh) 一种滤镜的实现方法及装置
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
CN106650615B (zh) 一种图像处理方法及终端
CN106020758B (zh) 一种荧幕拼接显示系统及方法
CN101968892A (zh) 根据一张人脸照片自动调整三维人脸模型的方法
CN106169078B (zh) 图像识别方法
CN107239216A (zh) 基于触摸屏的绘制处理方法和装置
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
WO2023035531A1 (zh) 文本图像超分辨率重建方法及其相关设备
CN103413339B (zh) 十亿像素高动态范围图像重建与显示的方法
CN110769323A (zh) 一种视频通信方法、系统、装置和终端设备
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
CN105357513B (zh) 会话视频中单摄像头眼神纠正方法
CN112348937A (zh) 人脸图像处理方法及电子设备
CN110378839A (zh) 人脸图像处理方法、装置、介质及电子设备
KR20220110493A (ko) 비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
CN105931204B (zh) 图片还原方法及系统
CN109064548A (zh) 视频生成方法、装置、设备及存储介质
WO2022262209A1 (zh) 一种神经网络训练方法、装置、计算机设备及存储介质
CN108961314A (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant