CN108564641A - 基于ue引擎的表情捕捉方法及装置 - Google Patents
基于ue引擎的表情捕捉方法及装置 Download PDFInfo
- Publication number
- CN108564641A CN108564641A CN201810217893.3A CN201810217893A CN108564641A CN 108564641 A CN108564641 A CN 108564641A CN 201810217893 A CN201810217893 A CN 201810217893A CN 108564641 A CN108564641 A CN 108564641A
- Authority
- CN
- China
- Prior art keywords
- expression
- weight parameter
- virtual
- engines
- virtual role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 279
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000008921 facial expression Effects 0.000 abstract description 18
- 238000011161 development Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 241001125929 Trisopterus luscus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 235000015111 chews Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于计算机视觉技术领域，具体涉及一种基于UE引擎的表情捕捉方法及装置。旨在解决现有技术根据捕捉到的面部表情数据输出表情动画格式不通用的问题。本发明提供一种基于UE引擎的表情捕捉方法，包括根据预先构建的基础表情模型识别用户表情；计算用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；将虚拟角色的表情权重参数输入UE虚拟引擎，UE虚拟引擎渲染输出虚拟角色的表情。本发明的UE虚拟引擎能够通过预先设置的表情转换对应关系输出虚拟角色的表情，从而可以实现实时编辑面部表情动画，为后期开发制作提供了便利。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于UE引擎的表情捕捉方法及装置。
背景技术
随着表情动画在电影、动画、游戏等领域广泛应用，虚拟角色生动的表情带给用户丰富的观感体验。面部表情捕捉是实现真实细腻的表情动画的关键技术，不仅可以将真人表情复现在虚拟角色上，提高虚拟角色的真实性，还可以降低人工干预的代价，减少人工成本。
现有的面部表情捕捉方案包括基于单个普通相机捕捉面部表情以及基于Faceware软件捕捉面部表情，其中基于单个普通相机捕捉面部表情，虽然便于部署并且在自然环境中即可持续操作，但是该方法捕捉的面部表情数据质量不能满足要求，且当背景光照变化时，捕捉效果不稳定；此外，通过单个普通相机捕捉面部表情，只支持静态网络模型，获取的面部表情数据的格式与后续处理软件中虚拟角色模型所用的格式要求不同，对用户进行其他动画编辑时有所限制，为后期的其他动画开发制作造成不便。
基于Faceware软件捕捉面部表情，通过视频、网络相机、Faceware头盔式相机等捕捉人物面部运动，将捕捉到的人物面部运动情况传输至虚拟角色，生成虚拟角色的面部表情动画，但是动画、游戏制作等需要将面部表情动画与肢体动画相结合，生成独立的动画，仅通过面部表情捕捉软件无法实现，通过该方法捕捉到的数据只能使用软件内部将面部表情参数生成角色面部动画的功能，不支持其他功能，降低了动画制作的效率。
现有技术的方案均只能根据获取的面部表情参数生成角色的面部动画，无法直接配合其他部位(如全身动作)动画进行编辑等，例如，动画场景中，有风吹过时，头发会被吹起，但是现有技术的方案表情无法做出相应的改变，用户不能方便地观察捕捉的表情动画是否能与其他动画效果配合起来，只能先录制好表情动画、导出到软件外部，再进行其它动画编辑；如果效果不好就需要重新捕捉再导出，使制作动画效率降低、流程变慢。
因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术捕捉到的面部表情数据无法实时与其他动画进行编辑的问题，本发明提供了一种基于UE虚拟引擎的表情捕捉方法，所述方法包括：
根据预先构建的基础表情模型识别用户表情；
计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；
根据所述预先构建的虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出所述虚拟角色的表情。
在上述方法的优选技术方案中，“将其转换为预先构建的虚拟角色的表情权重参数”，其方法为：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
在上述方法的优选技术方案中，所述预先构建的基础表情模型，其构建方法为：
通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚拟引擎分析拟合出包含多种基础表情的基础表情模型。
在上述方法的优选技术方案中，“根据所述预先构建的虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出所述虚拟角色的表情”，其方法为：
将所述虚拟角色的表情权重参数输入目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎渲染输出所述虚拟角色的表情。
本发明的第二方面提供一种基于UE虚拟引擎的表情捕捉装置，所述装置包括：
识别模块，所述识别模块被配置为根据预先构建的基础表情模型识别用户表情；
转换模块，所述转换模块被配置为计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；
输出模块，所述输出模块被配置为根据所述预先构建的虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出所述虚拟角色的表情。
在上述方法的优选技术方案中，所述转换模块还用于：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
在上述方法的优选技术方案中，所述识别模块还用于：
通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚拟引擎分析拟合出包含多种基础表情的基础表情模型。
在上述方法的优选技术方案中，所述输出模块还用于：
将所述虚拟角色的表情权重参数输入目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎渲染输出所述虚拟角色的表情。
本发明的第三方面提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述任一项所述的基于UE虚拟引擎的表情捕捉方法。
本发明的第四方面提供一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述任一项所述的基于UE虚拟引擎的表情捕捉方法。
与最接近的现有技术相比，本发明提供一种基于UE虚拟引擎的表情捕捉方法，包括根据预先构建的基础表情模型识别用户表情；计算用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；根据预先构建的虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出虚拟角色的表情。
上述技术方案至少具有如下有益效果：
本申请的技术方案通过深度相机采集用户的表情并进行识别，得到用户的表情后计算表情对应的权重参数，将其转换为虚拟角色的表情权重参数，输入UE虚拟引擎，UE虚拟引擎根据输入的表情权重参数实时控制角色的面部动画，通过预先设置的表情转换对应关系输出虚拟角色的表情，从而可以实现在UE引擎中实时生成面部表情动画，便于与其他动画格式同时进行编辑，为后期开发制作提供便利，解决了捕捉到的面部表情数据无法实时与其他动画进行编辑的问题。
附图说明
图1为本发明一种实施例的基于UE引擎的表情捕捉方法的流程示意图；
图2为本发明一种实施例的基于UE引擎的表情捕捉方法的效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中基于UE引擎的表情捕捉方法的流程示意图。如图1所示，本实施例中包括下述步骤：
步骤S1：根据预先构建的基础表情模型识别用户表情；
在本发明实施例中，基础表情模型可以是系统提供的一般用户的基础表情模型，也可以为了提升表情识别的效果，在对表情进行捕捉和识别之前，针对用户创建基础表情库，并训练出基础表情模型，提高表情跟踪的精度。具体地，可以通过体感相机采集用户的表情，用户站立在体感相机前约0.6米处做出表情，为了识别过程中尽可能地识别出用户的表情，用户需要在体感相机前做出23种表情，基于23种表情通过软件分析拟合为包含51种基础表情的基础表情模型，在实际操作过程中，当体感相机获取到用户的表情后，将用户的表情转化为对应的数据，将其与预先构建的基础表情模型中的表情数据进行对比，若数据吻合，则能够确定用户所做出的表情的类型，并且将该表情对应的数据用于后续计算。
在实际应用中，体感相机可以为Kinect，Kinect能够获取用户脸部表情的深度数据，实现对人脸三维数据的实时捕获；23种表情包括：闭嘴中性表情，张嘴，微笑，眉毛上扬，眉毛下沉，鄙视，下巴向左，下巴向右，下巴向前，嘴巴向左，嘴巴向右，酒窝(和微笑类似，但嘴角不上扬)，下巴抬起，嘟嘴，噘嘴(和嘟嘴类似，但嘴唇张开)，嘴角向下，抿嘴，鼓嘴，咀嚼，嘴唇挤压，拉伸嘴角，下嘴唇向下，上嘴唇向上；可以使用面部识别软件FaceShift与UE虚拟引擎相结合，将23种表情分析拟合为包含51种基础表情的基础表情模型，其中，FaceShift能够自动检测体感相机并与其连接，计算表情的权重参数。
步骤S2：计算所述用户表情的表情权重参数，并将其转换为虚拟角色的表情权重参数；
在本发明实施例中，可以用PC机连接一台Kinect，FaceShift能够自动检测体感相机并与其连接，Kinect捕获的人脸表情的深度数据可以实时传输给FaceShift，当FaceShift计算出当前表情的权重参数后，可以事先在UE(Unreal Engine，虚拟引擎)引擎中设置好IP地址和端口号，以便接收FaceShift发送的表情权重参数。FaceShift将Kinect获取的人脸表情深度数据与用户的基础表情模型进行对比分析，FaceShift能够自动计算出当前表情的51个权重参数，记为{wi,i＝1,2,…,51}。
具体地，以n个基础表情组成的blendshape表情模型为例，每一个基础表情都用含有p个顶点的三维网格人脸模型表示，每个顶点有三个分量x、y、z，即每个顶点的空间坐标为(x，y，z)。将每个基础表情的顶点坐标按任意顺序展开为长向量，但是展开后每个基础表情的顶点坐标之后的展开顺序应该是一样的，展开顺序可以为(xxxyyyzzz)或者(xyzxyzxyz)等，这样就得到n个长度为3p的向量bk,k＝1,2,…,n，用b0表示中性表情，bk-b0即为第k个基础表情bk与中性表情b0之差，当前表情可以表示为：其中，wk表示在区间[0,1]内的任意值。因此，51个基础表情模型可以表示为Fi＝bi-b0(i＝1,…,51)，将上述公式简化为其中F＝f-b0。
在实施例的一个优选实施方案中，将用户表情的表情权重参数转换为预先构建的虚拟角色的表情权重参数，其方法为：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
具体地，假定虚拟角色表情库中含有N个基础表情，UE引擎获取FaceShift传来的51个权重参数{wi,i＝1,2,…,51}，其中，表情权重参数的值所在区间为(0,1)；若虚拟角色的基础表情库的表情种类与FaceShift中的设定的表情种类完全一致，那么N＝51，则虚拟角色的表情权重vi＝wi,i＝1,2,…,51；若虚拟角色的基础表情库的表情种类较少，少于51种，则选择FaceShift表情库中与虚拟角色的第j个基础表情最接近的表情i的权重参数wj赋值给vi，即vi＝wj，其中，可以通过人工判断两个表情库中最接近的表情权重参数，具体地，可以在UE引擎或者角色建模软件中更改基础表情权重参数，观察角色面部网格模型如何变形，将网格模型变形区域的效果与FaceShift表情库中的表情进行比较，找到最接近的表情；若角色的基础表情种类较多,多余51种，则选取虚拟角色基础表情库的一个子集与FaceShift中的基础表情一一对应，该子集中的权重参数设置为其余表情的权重参数置为0，通过上述判断和选择，可以根据用户表情权重参数将其转换为虚拟角色的表情权重参数。在实际应用中，可以将基础表情权重的对应关系写入系统文件中，通过读取系统文件中的对应关系进行表情权重转换，将该过程封装成UE引擎的函数，UE引擎通过在蓝图中调用权重参数转换的函数计算虚拟角色最终的表情权重参数。
步骤S3：根据虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出所述虚拟角色的表情；
得到虚拟角色的表情权重参数后，将其输入目标变形设置函数中，控制虚拟角色的面部顶点变形，使虚拟角色做出相应的表情，并通过UE引擎实时渲染输出虚拟角色的表情。
FaceShift捕捉到的表情参数可以通过网络协议实时传输到UE虚拟引擎内，UE虚拟引擎根据网络协议传输来的表情参数实时生成对应的虚拟角色面部动画模块，任意的虚拟角色模型事先配置好了表情转换关系后，均可以使用，由于FaceShift的角色模型只支持静态网络模型，而对于角色骨骼动画(如全身动作)、角色与环境互动动画(如头发被风吹起)等，需要带骨骼的模型或者其他的格式要求，此时FaceShift则不识别或者不支持该格式，将FaceShift捕捉到的表情参数传输至UE虚拟引擎后，用户可以对该角色模型进行其他的动画效果编辑，使得角色动作动画、环境互动动画等效果与表情动画同时展现出来，为后期的其他动画开发制作提供了方便。
如图2所示，图2示例性地给出了基于UE引擎的表情捕捉方法的效果示意图，通过上述步骤，FaceShift捕捉到的表情数据可以在用户需要的任意角色模型上实时的生成，并且不影响用户对该角色模型进行其他的动画效果编辑，为后期的其他动画开发制作提供了方便。
本发明还提供一种基于UE虚拟引擎的表情捕捉装置，所述装置包括：
识别模块，所述识别模块被配置为根据预先构建的基础表情模型识别用户表情；
转换模块，所述转换模块被配置为计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；
输出模块，所述输出模块被配置为根据所述预先构建的虚拟角色的表情权重参数，基于UE虚拟引擎渲染输出所述虚拟角色的表情。
在本发明实施例中的一种优选实施方案中，转换模块还用于：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
在本发明实施例中的一种优选实施方案中，识别模块还用于：
通过体感相机采集用户的23种基础表情，基于采集的23种基础表情使用FaceShift软件分析拟合出包含51种表情的基础表情模型。
在本发明实施例中的一种优选实施方案中，输出模块还用于：
将所述虚拟角色的表情权重参数输入目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎渲染输出所述虚拟角色的表情。
一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述的基于UE虚拟引擎的表情捕捉方法。
一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述的基于UE虚拟引擎的表情捕捉方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例的具体工作过程以及相关说明，可以参考前述实施例中的对应过程，且与上述具有相同的有益效果，在此不再赘述。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于UE虚拟引擎的表情捕捉方法，其特征在于，所述方法包括：
根据预先构建的基础表情模型识别用户表情；
计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；
将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情。
2.根据权利要求1所述的方法，其特征在于，“将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情”，其方法为：
将所述虚拟角色的表情权重参数输入所述UE虚拟引擎的目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎根据预先设置的表情转换对应关系，渲染输出所述虚拟角色的表情。
3.根据权利要求1所述的方法，其特征在于，“将其转换为预先构建的虚拟角色的表情权重参数”，其方法为：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，构建基础表情模型的方法为：
通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚拟引擎分析拟合出包含多种基础表情的基础表情模型。
5.一种基于UE虚拟引擎的表情捕捉装置，其特征在于，所述装置包括：
识别模块，所述识别模块被配置为根据预先构建的基础表情模型识别用户表情；
转换模块，所述转换模块被配置为计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；
输出模块，所述输出模块被配置为将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情。
6.根据权利要求5所述的装置，其特征在于，所述输出模块还用于：
将所述虚拟角色的表情权重参数输入所述UE虚拟引擎的目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎根据预先设置的表情转换对应关系渲染输出所述虚拟角色的表情。
7.根据权利要求5所述的装置，其特征在于，所述转换模块还用于：
判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；
若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；
若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；
其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述识别模块还用于：
通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚拟引擎分析拟合出包含多种基础表情的基础表情模型。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-4任一项所述的基于UE虚拟引擎的表情捕捉方法。
10.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-4任一项所述的基于UE虚拟引擎的表情捕捉方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810217893.3A CN108564641B (zh) | 2018-03-16 | 2018-03-16 | 基于ue引擎的表情捕捉方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810217893.3A CN108564641B (zh) | 2018-03-16 | 2018-03-16 | 基于ue引擎的表情捕捉方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108564641A true CN108564641A (zh) | 2018-09-21 |
| CN108564641B CN108564641B (zh) | 2020-09-25 |
Family
ID=63531827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810217893.3A Active CN108564641B (zh) | 2018-03-16 | 2018-03-16 | 基于ue引擎的表情捕捉方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108564641B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509242A (zh) * | 2018-11-05 | 2019-03-22 | 网易（杭州）网络有限公司 | 虚拟对象面部表情生成方法及装置、存储介质、电子设备 |
| CN109621418A (zh) * | 2018-12-03 | 2019-04-16 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109801350A (zh) * | 2019-01-24 | 2019-05-24 | 湖南深度体验智能技术有限公司 | 一种基于示例动画的人物运动模拟方法 |
| CN109859297A (zh) * | 2019-03-07 | 2019-06-07 | 灵然创智（天津）动画科技发展有限公司 | 一种无标记点面部捕捉装置及方法 |
| CN110766777A (zh) * | 2019-10-31 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
| CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
| CN113633983A (zh) * | 2021-08-16 | 2021-11-12 | 上海交通大学 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
| WO2023185395A1 (zh) * | 2022-03-30 | 2023-10-05 | 北京字跳网络技术有限公司 | 一种面部表情捕捉方法、装置、计算机设备及存储介质 |
| CN117319628A (zh) * | 2023-09-18 | 2023-12-29 | 四开花园网络科技(广州)有限公司 | 一种支持户外led屏的实时互动裸眼3d虚拟场景系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090132914A (ko) * | 2008-06-23 | 2009-12-31 | 주식회사 히씽크 | 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템 |
| CN102289339A (zh) * | 2010-06-21 | 2011-12-21 | 腾讯科技（深圳）有限公司 | 一种显示表情信息的方法及装置 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| US20160275338A1 (en) * | 2015-03-18 | 2016-09-22 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method, and computer-readable storing medium |
| CN106228119A (zh) * | 2016-07-13 | 2016-12-14 | 天远三维（天津）科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
| CN106600668A (zh) * | 2016-12-12 | 2017-04-26 | 中国科学院自动化研究所 | 一种与虚拟角色进行互动的动画生成方法、装置及电子设备 |
| US20170116705A1 (en) * | 2015-10-22 | 2017-04-27 | Korea Institute Of Science And Technology | Method for automatic facial impression transformation, recording medium and device for performing the method |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
-
2018
- 2018-03-16 CN CN201810217893.3A patent/CN108564641B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090132914A (ko) * | 2008-06-23 | 2009-12-31 | 주식회사 히씽크 | 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템 |
| CN102289339A (zh) * | 2010-06-21 | 2011-12-21 | 腾讯科技（深圳）有限公司 | 一种显示表情信息的方法及装置 |
| US20160275338A1 (en) * | 2015-03-18 | 2016-09-22 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method, and computer-readable storing medium |
| US20170116705A1 (en) * | 2015-10-22 | 2017-04-27 | Korea Institute Of Science And Technology | Method for automatic facial impression transformation, recording medium and device for performing the method |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| CN106228119A (zh) * | 2016-07-13 | 2016-12-14 | 天远三维（天津）科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
| CN106600668A (zh) * | 2016-12-12 | 2017-04-26 | 中国科学院自动化研究所 | 一种与虚拟角色进行互动的动画生成方法、装置及电子设备 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JEONG CHANHO 等: "Three Methods for Making of Character Facial Animation based on Game Engine", 《INTERNATIONAL JOURNAL OF ASIA DIGITAL ART AND DESIGN ASSOCIATION》 * |
| YUMENG WANG 等: "Encoder–decoder recurrent network model for interactive character animation generation", 《THE VISUAL COMPUTER》 * |
| 徐士彪 等: "基于形状特征的三维模型检索技术综述", 《中国体视学与图像分析》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509242A (zh) * | 2018-11-05 | 2019-03-22 | 网易（杭州）网络有限公司 | 虚拟对象面部表情生成方法及装置、存储介质、电子设备 |
| CN109621418A (zh) * | 2018-12-03 | 2019-04-16 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109621418B (zh) * | 2018-12-03 | 2022-09-30 | 网易（杭州）网络有限公司 | 一种游戏中虚拟角色的表情调整及制作方法、装置 |
| CN109801350A (zh) * | 2019-01-24 | 2019-05-24 | 湖南深度体验智能技术有限公司 | 一种基于示例动画的人物运动模拟方法 |
| CN109859297A (zh) * | 2019-03-07 | 2019-06-07 | 灵然创智（天津）动画科技发展有限公司 | 一种无标记点面部捕捉装置及方法 |
| CN110766777A (zh) * | 2019-10-31 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
| CN110766777B (zh) * | 2019-10-31 | 2023-09-29 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
| CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
| CN113633983A (zh) * | 2021-08-16 | 2021-11-12 | 上海交通大学 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
| CN113633983B (zh) * | 2021-08-16 | 2024-03-15 | 上海交通大学 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
| WO2023185395A1 (zh) * | 2022-03-30 | 2023-10-05 | 北京字跳网络技术有限公司 | 一种面部表情捕捉方法、装置、计算机设备及存储介质 |
| CN117319628A (zh) * | 2023-09-18 | 2023-12-29 | 四开花园网络科技(广州)有限公司 | 一种支持户外led屏的实时互动裸眼3d虚拟场景系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108564641B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564641A (zh) | 基于ue引擎的表情捕捉方法及装置 | |
| CN105654537B (zh) | 一种实现与虚拟角色实时互动的表情克隆方法及装置 | |
| JP5829371B2 (ja) | モーションキャプチャデータを使用する顔面アニメーション | |
| US8334872B2 (en) | Inverse kinematics for motion-capture characters | |
| CN110634177A (zh) | 一种物体建模运动方法、装置与设备 | |
| US20130226528A1 (en) | Perceptually guided capture and stylization of 3d human figures | |
| CN106778628A (zh) | 一种基于tof深度相机的面部表情捕捉方法 | |
| KR20180070688A (ko) | 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치 | |
| CN108564642A (zh) | 基于ue引擎的无标记表演捕捉系统 | |
| US20120139899A1 (en) | Semantic Rigging of Avatars | |
| CN112150594B (zh) | 表情制作的方法、装置和电子设备 | |
| KR102068993B1 (ko) | 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치 | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| CN109961496A (zh) | 表情驱动方法及表情驱动装置 | |
| WO2005116932A1 (en) | Animation systems | |
| CN111479087A (zh) | 3d监控场景控制方法、装置、计算机设备及存储介质 | |
| CN113763518A (zh) | 基于虚拟数字人的多模态无限表情合成方法及装置 | |
| CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
| KR102118937B1 (ko) | 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체 | |
| Fu et al. | Real-time multimodal human–avatar interaction | |
| KR101780496B1 (ko) | 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법 | |
| CN110008873A (zh) | 面部表情捕捉方法、系统及设备 | |
| JP2023540434A (ja) | 操作順序変形エンジンを用いたコンピュータアニメーションのためのシステム及び方法 | |
| CN113384892A (zh) | 场景模型的素材图片获取和展示方法、装置及存储介质 | |
| Jiang et al. | Animating arbitrary topology 3D facial model using the MPEG-4 FaceDefTables |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |