CN110570499A - 一种表情生成方法、装置、计算设备及存储介质 - Google Patents

一种表情生成方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN110570499A
CN110570499A CN201910849397.4A CN201910849397A CN110570499A CN 110570499 A CN110570499 A CN 110570499A CN 201910849397 A CN201910849397 A CN 201910849397A CN 110570499 A CN110570499 A CN 110570499A
Authority
CN
China
Prior art keywords
facial
virtual character
feature points
skeleton
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910849397.4A
Other languages
English (en)
Other versions
CN110570499B (zh
Inventor
李金龙
王斌
冯鸣宇
牛连俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Kingsoft Online Game Technology Co Ltd
Original Assignee
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Zhuhai Kingsoft Online Game Technology Co Ltd
Priority to CN201910849397.4A priority Critical patent/CN110570499B/zh
Publication of CN110570499A publication Critical patent/CN110570499A/zh
Application granted granted Critical
Publication of CN110570499B publication Critical patent/CN110570499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种表情生成方法、装置、计算设备及存储介质。所述方法,包括:采集用户面部特征点的位置数据;基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据;基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量;基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。本申请所述的表情生成方法,可以实时根据用户的面部表情,生成相对应的虚拟角色的动画表情,且生成的虚拟角色的动画表情更加的个性化、生动化。

Description

一种表情生成方法、装置、计算设备及存储介质
技术领域
本申请涉及互联网技术领域,特别涉及一种表情生成方法、装置、计算设备及计算机可读存储介质。
背景技术
网络改变的不仅仅是人类信息传播的速度和质量,还极大地丰富了人类表情传意的方式,形成了独特的网络语言,其中又以大量的非言语的表情符号为其特征。表情符号用来生动呈现和描摹日常面对面交际中的非言语信息,使双方如闻其声,如见其人。
目前,现有的网络表情系统均比较固定,通过调用表情设计者预先设计好的表情包中的表情,进行表情的输出。但是,用户所能调用的表情数量是有限的,风格是类似的,且不同用户所使用的表情包也都是相同的,缺乏个性化。
发明内容
有鉴于此,本申请实施例提供了一种表情生成方法、装置、计算设备及计算机可读存储介质,以解决现有技术中存在的技术缺陷。
本申请实施例公开了一种表情生成方法,包括:
采集用户面部特征点的位置数据;
基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据;
基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量;
基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
进一步地,所述采集用户面部特征点的位置数据,包括:
按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
进一步地,所述用户面部特征点的位置数据包括所述用户面部特征点的实时坐标;
所述采集用户面部特征点的位置数据,包括:
按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标;
基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
进一步地,所述基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据,包括:
将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
进一步地,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标;
所述基于获得的所述虚拟角色面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量,包括:
基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
进一步地,所述基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量,包括:
计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离;
为所述虚拟角色面部骨骼特征点配置权重值;
将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量;
将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
进一步地,所述为所述虚拟角色面部骨骼特征点配置权重值,包括:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
进一步地,所述为所述虚拟角色面部骨骼特征点配置权重值,包括:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数;
统计所述骨骼区域内权重值相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重值相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数;
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
进一步地,所述基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情,包括:
按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量;
基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置数据,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
进一步地,所述基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置数据,包括:
基于所述骨骼区域的面部骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化;
基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列;
将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
进一步地,所述虚拟角色脸部模型包括至少两种不同类型的脸部骨骼蒙皮模型。
进一步地,所述表情生成方法,还包括:
接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令;
在接收到存储指令的情况下,存储所述虚拟角色表情;
在接收到删除指令的情况下,删除所述虚拟角色表情;
在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
本申请实施例公开了一种表情生成装置,包括:
采集模块,被配置为采集用户面部特征点的位置数据;
处理模块,被配置为基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据;
计算模块,被配置为基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量;
生成模块,被配置为基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
可选地,所述采集模块,进一步地被配置为:
按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
可选地,所述用户面部特征点的位置数据包括所述面部特征点的实时坐标;
所述采集用户面部特征点的位置数据,包括:
按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标;
基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
可选地,所述处理模块,进一步地被配置为:
将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
可选地,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标;
所述计算模块,进一步地被配置为:
基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
可选地,所述计算模块,进一步地被配置为:
计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离;
为所述虚拟角色面部骨骼特征点配置权重值;
将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量;
将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
可选地,所述计算模块,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
可选地,所述计算模块,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数;
统计所述骨骼区域内权重值相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重值相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数;
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
可选地,所述生成模块,进一步地被配置为:
按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量;
基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
可选地,所述生成模块,进一步地被配置为:
基于所述骨骼区域的面部骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化;
基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列;
将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
可选地,所述虚拟角色脸部模型包括至少两种不同类型的的脸部骨骼蒙皮模型。
可选地,所述表情生成装置,还包括:
接收模块,被配置为接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令;
在接收到存储指令的情况下,存储所述虚拟角色表情;
在接收到删除指令的情况下,删除所述虚拟角色表情;
在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
本申请实施例公开了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述表情生成方法的步骤。
本申请实施例公开了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述表情生成方法的步骤。
本申请提供的一种表情生成方法、装置、计算设备及计算机可读存储介质,可以实时根据用户的面部表情,生成相对应的虚拟角色的动画表情,且生成的动画表情以用户的表情为基础参照,可以更好的反应用户的喜怒哀乐等情绪,使生成的虚拟角色的动画表情更加的个性化、生动化。
附图说明
图1是本申请一实施例所述的计算设备的结构示意图;
图2是本申请一实施例所述的表情生成方法的流程示意图;
图3是本申请一实施例所述的表情生成方法中骨骼偏移量计算方法的流程示意图;
图4是本申请一实施例所述的表情生成装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本申请中,提供了一种表情生成方法、装置、计算设备及计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
其中,数据库150保存的数据可以是在本申请一实施例中所述表情生成方法过程中产生的各种数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中,处理器120可以执行图2所示方法中的步骤。
如图2所示,图2是示出了根据本申请一实施例的表情生成方法的示意性流程图,包括步骤S210~步骤S240。
步骤S210:采集用户面部特征点的位置数据。
实际应用中,可以按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
其中,骨骼区域是通过对用户的面部进行划分得到的若干区域,骨骼区域的数量可以是一个也可以是多个,既可以将用户的面部看作一个整体的骨骼区域,也可以按照用户的面部特征将用户的面部划分为多个骨骼区域。例如,可以根据用户面部的中线将用户的面部划分为左右或上下两个骨骼区域,可以根据用户面部五官的分布将用户的面部划分为眼部、嘴部等若干骨骼区域,本申请对此不做限制。对骨骼区域的划分既可以是平均划分也可以是不平均划分,即对每一个骨骼区域的面积大小是否必须相等本申请不做限制。
用户面部特征点是采集用户面部数据的一种基准点,且均匀的分布在每一个骨骼区域中,用户面部特征点的数量、位置、大小等本申请均不做限制。
采集用户面部特征点的方式可以是通过各种设备的摄像装置进行录制采集,如通过手机等移动设备的前置摄像装置或后置摄像装置采集、通过笔记本电脑等pc设备的摄像装置采集等,也可以是根据网络上的或存储的视频、动图提取采集人物的面部表情,或其他各种方式均可,本申请对此不做限制。
具体地,所述用户面部特征点的位置数据包括所述用户面部特征点的实时坐标。按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标;基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
用户面部特征点的实时坐标可以是用户面部特征点的实时位置数据的一种表示方式,按照预设的时间间隔定时采集用户面部特征点的实时坐标,预设的时间间隔可以根据实际需求确定,即在进行录制采集的时间内,每秒或每分钟采集用户面部特征点实时坐标的次数可以根据实际需求确定,本申请对此不做限制。
例如,假设以用户面部为基准建立一个三维坐标系,以任意一个用户面部特征点为例,以每秒采集三次的频率采集该用户面部特征点的实时坐标,共录制采集10秒,其中,假设第一秒采集到的该特征点的实时坐标分别为(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3),则上述三个实时坐标即为在第一秒中该用户面部特征点的位置数据。
步骤S220:基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
实际应用中,可以将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
其中,虚拟角色面部骨骼特征点是预先设置的虚拟角色面部骨骼模型上与用户面部特征点的位置相对应的点,可以通过分别为用户面部和虚拟角色面部骨骼模型建立相对应的坐标系等方法,将用户面部特征点的实时坐标转换为虚拟角色面积骨骼特征点的实时坐标,得到虚拟角色面部骨骼特征点的位置数据,本申请对此不做限制。
例如,假设用户面部的眉心处设置有一个用户面部特征点A,则在虚拟角色面部骨骼模型上的眉心处有与用户面部特征点A相对应的虚拟角色面部骨骼特征点B,以用户面部为基准建立一个面部三维坐标系,采集到某一时刻用户面部特征点A的实时坐标为(xa1,ya1,za1),将上述以用户面部为基准建立的面部三维坐标系转换至虚拟空间中,即以虚拟角色面部骨骼模型为基准建立一个与上述面部三维坐标系相对应的虚拟三维坐标系,在虚拟三维坐标系中获取与用户面部特征点A的实时坐标相对应的坐标位置,假设获取到的坐标为(xb1,yb1,zb1),则(xb1,yb1,zb1)为虚拟角色面部骨骼特征点B的实时坐标(位置数据)。
步骤S230:基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量。
具体地,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标;基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
其中,虚拟角色的面部骨骼偏移量是虚拟角色的面部骨骼模型表情变化的一种呈现形式。例如,当用户在做微笑的表情时,对应的虚拟角色的面部骨骼模型同样做出微笑的表情,其嘴角上扬的弧度及高度等均可以通过计算出的虚拟角色的面部骨骼偏移量体现出来。
实际应用中,计算虚拟角色的面部骨骼偏移量包括步骤S231~步骤S234,如图3所示。
步骤S231:计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离。
虚拟角色面部骨骼特征点的偏移距离可以表示虚拟角色面部骨骼特征点的位置变化。
步骤S232:为所述虚拟角色面部骨骼特征点配置权重值。
为虚拟角色面部骨骼特征点配置的权重值可以表示该面部骨骼特征点在其所在的骨骼区域中的重要程度。
实际应用中,可以计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
其中,骨骼区域的中心点是相对于该骨骼区域中所有虚拟角色面部骨骼特征点的位置而言的中心点,其位置并不一定位于骨骼区域的正中心。可以通过比较位于同一骨骼区域内的虚拟角色面部骨骼特征点与中心点之间的距离大小,为虚拟角色面部骨骼特征点配置权重值,虚拟角色面部骨骼特征点与中心点之间的距离越小,权重值越大,虚拟角色面部骨骼特征点与中心点之间的距离越大,权重值越小,且所有虚拟角色面部骨骼特征点的权重值之和为1。
步骤S233:将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量。
虚拟角色面部骨骼特征点的偏移量是虚拟角色面部骨骼特征点位置变化程度的一种表示方式,虚拟角色面部骨骼特征点的位置变化幅度大,则偏移量大,反之成立。
步骤S234:将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
例如,假设以虚拟角色面部骨骼模型为基准建立一个三维坐标系,录制5秒,按照每秒采集1次的频率采集在录制过程中所有虚拟角色面部骨骼特征点的初始坐标和实时坐标,以其中任意一个骨骼区域为例,假设骨骼区域Q中包括q个虚拟角色面部骨骼特征点,取骨骼区域Q中的虚拟角色面部骨骼特征点A,采集到虚拟角色面部骨骼特征点A的初始坐标为(xa0,ya0,za0),经过一秒后,采集到的虚拟角色面部骨骼特征点A的实时坐标为(xa1,ya1,za1)。经过计算得到虚拟角色面部骨骼特征点A的实时坐标与初始坐标之间的距离为m1,则m1为虚拟角色面部骨骼特征点A的偏移距离。其他虚拟角色面部骨骼特征点偏移距离的计算方法相类似,在此不再赘述。
计算骨骼区域Q中虚拟角色面部骨骼特征点A的初始坐标(xa0,ya0,za0)和其他各虚拟角色面部骨骼特征点初始坐标的平均值,得到骨骼区域Q的中心点C的坐标为(xc,yc,zc),其中,xc=(xa0+xb0+……xq0)/q,yc=(ya0+yb0+……yq0)/q,zc=(za0+zb0+……zq0)/q。分别计算骨骼区域Q中每个虚拟角色面部骨骼特征点的初始坐标与中心点C的坐标之间的距离,并基于该距离大小,为每个虚拟角色面部骨骼特征点配置权重值。
假设为虚拟角色面部骨骼特征点A配置的权重值为n1,则在第一秒虚拟角色面部骨骼特征点A的偏移量为m1*n1,其他虚拟角色面部骨骼特征点偏移量的计算方法相类似,在此不再赘述。
将虚拟角色面部骨骼点A所在的骨骼区域内的所有的面部骨骼特征点在第一秒内的偏移量相加,得到该骨骼区域在第一秒的面部骨骼偏移量为m1*n1+m2*n2+……+mq*nq,其他情况相类似,在此不再赘述。
实际应用中,还可以通如下所述的方法在面部骨骼偏移量的计算过程中为虚拟角色面部骨骼特征点配置权重值。
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点。
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数。
统计所述骨骼区域内权重参数相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重参数相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数。
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
具体地,骨骼区域中心点的确定方法和权重参数的配置方法可以参考上述步骤S232,在此不再赘述。虚拟角色面部骨骼特征点的聚集参数可以表示权重参数相同的虚拟角色面部骨骼特征点所占的比重。其中,可以将权重参数看作虚拟角色面部骨骼特征点的第一层权重;聚集参数可以看作是为虚拟角色面部骨骼特征点在第一层权重基础上配置的第二层权重,将权重参数与聚集参数相乘得到最终的权重值,可以有效提高每一个虚拟角色面部骨骼特征点权重值的精确性。
其中,虚拟角色面部骨骼特征点与中心点之间的距离越小,权重参数越大,距离越大,权重参数越小,同一骨骼区域内每一个虚拟角色面部骨骼特征点的权重参数之和为1,且每一个虚拟角色面部骨骼特征点的聚集参数的值均小于等于1。
例如,以骨骼区域Q为例,假设骨骼区域Q中包括q个虚拟角色面部骨骼特征点,其中,虚拟角色面部骨骼特征点A的初始坐标为(xa0,ya0,za0),计算骨骼区域Q中虚拟角色面部骨骼特征点A的初始坐标和其他各虚拟角色面部骨骼特征点初始坐标的平均值,得到骨骼区域Q的中心点C的坐标为(xc,yc,zc),其中,xc=(xa0+xb0+……xq0)/q,yc=(ya0+yb0+……yq0)/q,zc=(za0+zb0+……zq0)/q。分别计算骨骼区域Q中每个虚拟角色面部骨骼特征点的初始坐标与中心点C的坐标之间的距离,并基于计算得到的距离分别为每个虚拟角色面部骨骼特征点配置权重参数,假设为虚拟角色面部骨骼特征点A配置的权重参数为i1,其他虚拟角色面部骨骼特征点配置的权重参数分别为i2、i3……iq
假设骨骼区域Q内与虚拟角色面部骨骼特征点A的权重参数i1相同的虚拟角色面部骨骼特征点的数量为n个,则虚拟角色面部骨骼特征点A的聚集参数为n/q,虚拟角色面部骨骼特征点A的权重值为i1*(n/q)。
步骤S240:基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
实际应用中,可以按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量;基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
具体地,可以基于所述骨骼区域的面部骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化;基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列;将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
其中,预设的时间间隔可以是预先设置的每秒对每一个骨骼区域的面部骨骼偏移量记录n次,也可以与上述采集用户面部特征点实时坐标的时间间隔相对应,即采集一次用户面部特征点的实时坐标,计算并记录一次面部骨骼偏移量,可视具体情况确定,本申请对此不做限制。
在开始采集用户的面部特征点数据之后,结合采集并经过计算后得到的骨骼区域的第一个面部骨骼偏移量与该骨骼区域的原始位置数据,得到骨骼区域的第一个实时位置数据,以此类推,可以得到后续若干骨骼区域的位置数据,将骨骼区域的位置数据按照顺序依次进行记录,得到骨骼区域的位置序列,将骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,即可生成动态的虚拟角色的表情。
例如,以任意一个骨骼区域为例,假设该骨骼区域的初始位置数据为m0,开启录制采集后录制采集5秒,每秒采集一次虚拟角色面部骨骼特征点的位置数据并计算骨骼区域的骨骼偏移量,经过采集并计算后,得到该骨骼区域在第一秒、第二秒、第三秒、第四秒、第五秒内的骨骼偏移量分别为n1、n2、n3、n4、n5,则分别在第一秒、第二秒、第三秒、第四秒、第五秒时该骨骼区域的位置数据为m0±n1,m0±n1±n2,m0±n1±n2±n3,m0±n1±n2±n3±n4,m0±n1±n2±n3±n4±n5,得到如表1所述的骨骼区域的位置序列。将位置序列输入至预设的虚拟角色脸部模型中,即可生成连续的动态虚拟角色表情。
表1
序号 骨骼区域的位置数据
1 m<sub>0</sub>
2 m<sub>0</sub>±n<sub>1</sub>
3 m<sub>0</sub>±n<sub>1</sub>±n<sub>2</sub>
4 m<sub>0</sub>±n<sub>1</sub>±n<sub>2</sub>±n<sub>3</sub>
5 m<sub>0</sub>±n<sub>1</sub>±n<sub>2</sub>±n<sub>3</sub>±n<sub>4</sub>
6 m<sub>0</sub>±n<sub>1</sub>±n<sub>2</sub>±n<sub>3</sub>±n<sub>4</sub>±n<sub>5</sub>
需要注意的是,骨骼区域的位置数据的表示方式既可以是坐标也可以是阿拉伯数字,两者之间可以通过计算互相转换,同样地,骨骼偏移量的表示方式既可以是通过坐标展现每个方向上的偏移量,也可以是通过阿拉伯数字展现综合偏移量,两者之间可以通过计算互相转换。在计算骨骼区域位置数据的变化时,骨骼区域的位置数据和骨骼偏移量采用同样的表示方式以方便计算。
实际应用中,所述虚拟角色脸部模型包括至少两种不同类型的脸部骨骼蒙皮模型。脸部骨骼蒙皮模型可以是各种卡通人物形象的模型、各种卡通动物形象的模型等,如卡通婴儿的脸部骨骼蒙皮模型、卡通小狗的脸部骨骼蒙皮模型等,脸部骨骼蒙皮模型的风格也可以包括多种,如可爱型、搞怪型等等,本申请对此不做限制。
本申请一实施例所述的表情生成方法还包括如下所述的步骤:
接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令。
在接收到存储指令的情况下,存储所述虚拟角色表情;在接收到删除指令的情况下,删除所述虚拟角色表情;在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
本申请一实施例所述的表情生成方法,可以实时根据用户的面部表情,生成多种不同风格不同类型的虚拟角色的动画表情供用户进行选择存储或输出,且生成的动画表情以用户的表情为基础参照,可以更好的反应用户的喜怒哀乐等情绪,使生成的虚拟角色的动画表情更加的个性化。
本申请一实施例所述的表情生成方法,以虚拟角色的面部骨骼偏移量来体现虚拟角色脸部模型随着用户表情的变化而产生的变化,并基于此来实时更新虚拟角色脸部骨骼区域的位置,生成虚拟角色的表情,可以有效提高生成的虚拟角色表情与用户表情之间的贴合度,表情更加精准且生动。
如图4所示,本申请一实施例公开了一种表情生成装置,包括:
采集模块410,被配置为采集用户面部特征点的位置数据。
处理模块420,被配置为基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
计算模块430,被配置为基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量。
生成模块440,被配置为基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
可选地,所述采集模块410,进一步地被配置为:
按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
可选地,所述用户面部特征点的位置数据包括所述面部特征点的实时坐标;
所述采集用户面部特征点的位置数据,包括:
按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标。
基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
可选地,所述处理模块420,进一步地被配置为:
将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
可选地,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标。
所述计算模块430,进一步地被配置为:
基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
可选地,所述计算模块430,进一步地被配置为:
计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离。
为所述虚拟角色面部骨骼特征点配置权重值。
将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量。
将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
可选地,所述计算模块430,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点。
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
可选地,所述计算模块430,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点。
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数。
统计所述骨骼区域内权重值相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重值相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数。
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
可选地,所述生成模块440,进一步地被配置为:
按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量。
基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
可选地,所述生成模块440,进一步地被配置为:
基于所述骨骼区域的骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化。
基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列。
将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
可选地,所述虚拟角色脸部模型包括至少两种不同类型的的脸部骨骼蒙皮模型。
可选地,所述表情生成装置,还包括:
接收模块,被配置为接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令。
在接收到存储指令的情况下,存储所述虚拟角色表情。
在接收到删除指令的情况下,删除所述虚拟角色表情。
在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
本申请一实施例还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现以下步骤:
采集用户面部特征点的位置数据。
基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
基于获得的所述虚拟角色的面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量。
基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
本申请一实施例所述的表情生成装置,可以实时根据用户的表情生成虚拟角色的表情,可以使虚拟角色表情更加生动形象、更加个性化。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述表情生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的表情生成方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述表情生成方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (26)

1.一种表情生成方法,其特征在于,包括:
采集用户面部特征点的位置数据;
基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据;
基于获得的所述虚拟角色面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量;
基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
2.根据权利要求1所述的表情生成方法,其特征在于,所述采集用户面部特征点的位置数据,包括:
按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
3.根据权利要求1所述的表情生成方法,其特征在于,所述用户面部特征点的位置数据包括所述用户面部特征点的实时坐标;
所述采集用户面部特征点的位置数据,包括:
按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标;
基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
4.根据权利要求3所述的表情生成方法,其特征在于,所述基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据,包括:
将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
5.根据权利要求4所述的表情生成方法,其特征在于,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标;
所述基于获得的所述虚拟角色面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量,包括:
基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
6.根据权利要求5所述的表情生成方法,其特征在于,所述基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量,包括:
计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离;
为所述虚拟角色面部骨骼特征点配置权重值;
将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量;
将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
7.根据权利要求6所述的表情生成方法,其特征在于,所述为所述虚拟角色面部骨骼特征点配置权重值,包括:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
8.根据权利要求6所述的表情生成方法,其特征在于,所述为所述虚拟角色面部骨骼特征点配置权重值,包括:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数;
统计所述骨骼区域内权重值相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重值相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数;
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
9.根据权利要求1所述的表情生成方法,其特征在于,所述基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情,包括:
按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量;
基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置数据,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
10.根据权利要求9所述的表情生成方法,其特征在于,所述基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置数据,包括:
基于所述骨骼区域的面部骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化;
基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列;
将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
11.根据权利要求9或10所述的表情生成方法,其特征在于,所述虚拟角色脸部模型包括至少两种不同类型的脸部骨骼蒙皮模型。
12.根据权利要求1所述的表情生成方法,其特征在于,还包括:
接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令;
在接收到存储指令的情况下,存储所述虚拟角色表情;
在接收到删除指令的情况下,删除所述虚拟角色表情;
在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
13.一种表情生成装置,其特征在于,包括:
采集模块,被配置为采集用户面部特征点的位置数据;
处理模块,被配置为基于所述用户面部特征点的位置数据,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据;
计算模块,被配置为基于获得的所述虚拟角色面部骨骼特征点的位置数据和预设的面部骨骼特征点的初始位置数据,计算虚拟角色的面部骨骼偏移量;
生成模块,被配置为基于所述虚拟角色的面部骨骼偏移量,更新虚拟角色的面部骨骼位置数据,并生成虚拟角色的表情。
14.根据权利要求13所述的表情生成装置,其特征在于,所述采集模块,进一步地被配置为:
按照预先划分的骨骼区域,分别采集每个所述骨骼区域中的用户面部特征点的位置数据。
15.根据权利要求13所述的表情生成装置,其特征在于,所述用户面部特征点的位置数据包括所述面部特征点的实时坐标;
所述采集用户面部特征点的位置数据,包括:
按照预设的时间间隔定时采集每个所述骨骼区域内所述用户面部特征点的实时坐标;
基于所述用户面部特征点的实时坐标,得到所述用户面部特征点的位置数据。
16.根据权利要求15所述的表情生成装置,其特征在于,所述处理模块,进一步地被配置为:
将每个所述骨骼区域内所述用户面部特征点的实时坐标转换为每个骨骼区域内相对应的所述虚拟角色面部骨骼特征点的实时坐标,获得与所述用户面部特征点对应的虚拟角色面部骨骼特征点的位置数据。
17.根据权利要求16所述的表情生成装置,其特征在于,所述面部骨骼特征点的初始位置数据包括所述虚拟角色面部骨骼特征点的初始坐标;
所述计算模块,进一步地被配置为:
基于所述虚拟角色面部骨骼特征点的实时坐标和预设的虚拟角色面部骨骼特征点的初始坐标,计算虚拟角色的面部骨骼偏移量。
18.根据权利要求17所述的表情生成装置,其特征在于,所述计算模块,进一步地被配置为:
计算所述虚拟角色面部骨骼特征点的实时坐标与初始坐标的差值,得到所述虚拟角色面部骨骼特征点的偏移距离;
为所述虚拟角色面部骨骼特征点配置权重值;
将所述骨骼区域内所述虚拟角色面部骨骼特征点的偏移距离、权重值相乘,得到所述虚拟角色面部骨骼特征点的偏移量;
将所述骨骼区域内的每个所述虚拟角色面部骨骼特征点的偏移量相加,得到每个所述骨骼区域的面部骨骼偏移量。
19.根据权利要求18所述的表情生成装置,其特征在于,所述计算模块,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重值。
20.根据权利要求18所述的表情生成装置,其特征在于,所述计算模块,进一步地被配置为:
计算所述骨骼区域内所有所述虚拟角色面部骨骼特征点的初始坐标的平均值,得到所述骨骼区域中心点的坐标,确定所述骨骼区域的中心点;
基于所述骨骼区域内所述虚拟角色面部骨骼特征点与所述中心点之间的距离,为所述虚拟角色面部骨骼特征点配置权重参数;
统计所述骨骼区域内权重值相同的虚拟角色面部骨骼特征点的数量,并将所述骨骼区域内所述权重值相同的虚拟角色面部骨骼特征点的数量与所述骨骼区域内虚拟角色面部骨骼特征点的总数量相比,得到所述虚拟角色面部骨骼特征点的聚集参数;
将所述虚拟角色面部骨骼特征点的权重参数与聚集参数相乘,得到所述虚拟角色面部骨骼特征点的权重值。
21.根据权利要求13所述的表情生成装置,其特征在于,所述生成模块,进一步地被配置为:
按照预设的时间间隔记录每个所述骨骼区域的面部骨骼偏移量;
基于所述面部骨骼偏移量的变化计算并更新每个所述骨骼区域的位置数据,并输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
22.根据权利要求21所述的表情生成装置,其特征在于,所述生成模块,进一步地被配置为:
基于所述骨骼区域的面部骨骼偏移量的变化,计算所述骨骼区域的位置数据的变化;
基于所述骨骼区域的位置数据的变化,获得所述骨骼区域的位置序列;
将所述骨骼区域的位置序列输入至预设的虚拟角色脸部模型中,生成虚拟角色的表情。
23.根据权利要求21或22所述的表情生成装置,其特征在于,所述虚拟角色脸部模型包括至少两种不同类型的脸部骨骼蒙皮模型。
24.根据权利要求13所述的表情生成装置,其特征在于,还包括:
接收模块,被配置为接收用户指令,并根据所述用户指令对所述虚拟角色的表情进行处理,所述用户指令包括存储指令、删除指令或发送指令;
在接收到存储指令的情况下,存储所述虚拟角色表情;
在接收到删除指令的情况下,删除所述虚拟角色表情;
在接收到发送指令的情况下,将所述虚拟角色表情发送至目标客户端。
25.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1~12任意一项所述方法的步骤。
26.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1~12任意一项所述方法的步骤。
CN201910849397.4A 2019-09-09 2019-09-09 一种表情生成方法、装置、计算设备及存储介质 Active CN110570499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849397.4A CN110570499B (zh) 2019-09-09 2019-09-09 一种表情生成方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849397.4A CN110570499B (zh) 2019-09-09 2019-09-09 一种表情生成方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN110570499A true CN110570499A (zh) 2019-12-13
CN110570499B CN110570499B (zh) 2023-08-15

Family

ID=68778616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849397.4A Active CN110570499B (zh) 2019-09-09 2019-09-09 一种表情生成方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN110570499B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028322A (zh) * 2019-12-18 2020-04-17 北京像素软件科技股份有限公司 游戏动画表情生成方法、装置及电子设备
CN111462204A (zh) * 2020-02-13 2020-07-28 腾讯科技(深圳)有限公司 虚拟模型的生成方法、装置、存储介质以及电子装置
CN112102451A (zh) * 2020-07-28 2020-12-18 北京云舶在线科技有限公司 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN112241203A (zh) * 2020-10-21 2021-01-19 广州博冠信息科技有限公司 三维虚拟角色的控制装置及方法、存储介质及电子设备
CN113342173A (zh) * 2021-06-30 2021-09-03 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的自适应学习方法
CN117152382A (zh) * 2023-10-30 2023-12-01 海马云(天津)信息技术有限公司 虚拟数字人面部表情计算方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204200A (ja) * 2007-02-20 2008-09-04 Space Vision:Kk 顔解析システム及びプログラム
CN104021584A (zh) * 2014-06-25 2014-09-03 无锡梵天信息技术股份有限公司 一种骨骼蒙皮动画的实现方法
CN105654537A (zh) * 2015-12-30 2016-06-08 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
CN107154069A (zh) * 2017-05-11 2017-09-12 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
US20180268590A1 (en) * 2017-03-20 2018-09-20 Google Inc. Held object stabilization in virtual reality
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN109285209A (zh) * 2018-09-14 2019-01-29 网易(杭州)网络有限公司 游戏角色的面部模型的处理方法、装置、处理器及终端
CN110135226A (zh) * 2018-02-09 2019-08-16 腾讯科技(深圳)有限公司 表情动画数据处理方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204200A (ja) * 2007-02-20 2008-09-04 Space Vision:Kk 顔解析システム及びプログラム
CN104021584A (zh) * 2014-06-25 2014-09-03 无锡梵天信息技术股份有限公司 一种骨骼蒙皮动画的实现方法
CN105654537A (zh) * 2015-12-30 2016-06-08 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
US20180268590A1 (en) * 2017-03-20 2018-09-20 Google Inc. Held object stabilization in virtual reality
CN107154069A (zh) * 2017-05-11 2017-09-12 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN110135226A (zh) * 2018-02-09 2019-08-16 腾讯科技(深圳)有限公司 表情动画数据处理方法、装置、计算机设备和存储介质
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN109285209A (zh) * 2018-09-14 2019-01-29 网易(杭州)网络有限公司 游戏角色的面部模型的处理方法、装置、处理器及终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028322A (zh) * 2019-12-18 2020-04-17 北京像素软件科技股份有限公司 游戏动画表情生成方法、装置及电子设备
CN111462204A (zh) * 2020-02-13 2020-07-28 腾讯科技(深圳)有限公司 虚拟模型的生成方法、装置、存储介质以及电子装置
CN111462204B (zh) * 2020-02-13 2023-03-03 腾讯科技(深圳)有限公司 虚拟模型的生成方法、装置、存储介质以及电子装置
CN112102451A (zh) * 2020-07-28 2020-12-18 北京云舶在线科技有限公司 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN112102451B (zh) * 2020-07-28 2023-08-22 北京云舶在线科技有限公司 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN112241203A (zh) * 2020-10-21 2021-01-19 广州博冠信息科技有限公司 三维虚拟角色的控制装置及方法、存储介质及电子设备
CN113342173A (zh) * 2021-06-30 2021-09-03 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的自适应学习方法
CN117152382A (zh) * 2023-10-30 2023-12-01 海马云(天津)信息技术有限公司 虚拟数字人面部表情计算方法和装置

Also Published As

Publication number Publication date
CN110570499B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN110570499B (zh) 一种表情生成方法、装置、计算设备及存储介质
US11861936B2 (en) Face reenactment
US11062494B2 (en) Electronic messaging utilizing animatable 3D models
CN111369428B (zh) 虚拟头像生成方法和装置
KR102602112B1 (ko) 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체
US20140085293A1 (en) Method of creating avatar from user submitted image
CN114972632A (zh) 基于神经辐射场的图像处理方法及装置
CN112215930A (zh) 一种数据处理方法与装置
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN112419436A (zh) 一种超逼真虚拟人快速重建的方法及系统
CN112995534A (zh) 视频生成方法、装置、设备及可读存储介质
CN109584146A (zh) 美颜处理方法和装置、电子设备和计算机存储介质
CN111402394A (zh) 三维夸张漫画人脸生成方法及装置
KR20210019182A (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
CN110381374B (zh) 图像处理方法和装置
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
CN113095134A (zh) 人脸表情提取模型生成、人脸图像生成方法及装置
CN113657136A (zh) 识别方法及装置
CN111784807A (zh) 一种虚拟角色的绘制方法及装置
CN104715505A (zh) 三维头像产生系统及其装置、产生方法
CN204791190U (zh) 三维头像产生系统及其装置
US11776204B2 (en) 3D dataset generation for neural network model training
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
CN117671090A (zh) 一种表情处理方法、装置、电子设备及存储介质
CN117011430A (zh) 游戏资源处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Applicant after: Zhuhai Jinshan Digital Network Technology Co.,Ltd.

Address before: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant