CN110992455A - 一种实时表情捕捉方法和系统 - Google Patents
一种实时表情捕捉方法和系统 Download PDFInfo
- Publication number
- CN110992455A CN110992455A CN201911246042.2A CN201911246042A CN110992455A CN 110992455 A CN110992455 A CN 110992455A CN 201911246042 A CN201911246042 A CN 201911246042A CN 110992455 A CN110992455 A CN 110992455A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- real
- facs
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 33
- 238000012800 visualization Methods 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 210000003205 muscle Anatomy 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 230000008921 facial expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实时表情捕捉方法和系统，是一个开放框架，能够支持基于FACS(面部动作编码系统)的数据驱动面部动画，包括实时输入模块、输入数据的参数化修改模块、可视化引擎中的机器学习模块和动画模块，实时处理和动画化基于FACS的数据，支持流行的3D创作工具，如Maya、MAX、Blender等，并且可以在游戏行业的流行工具中实时可视化面部数据，例如Unreal和Unity3D游戏引擎。所有的功能都被分解成可以通过网络调用的模式，以便与其他平台轻松集成，实现了一种用于数据驱动动画实时生成AU(控制单元)数据的深度学习模块，本发明的FACS数据平均显示时间为28ms，已经达到了每秒30帧的实时性要求。
Description
技术领域
本发明属于面部动画制作技术领域，具体为一种实时表情捕捉方法和系统。
背景技术
在面部动画制作中，想要与用户进行社会交互的嵌入式会话代理(ECAs)应该能够将其内部状态返回给用户，面部表情是实现这一目标的常用方法。传统的面部动画方法，通常出现在游戏中，是用手或依靠动作捕捉来创建面部动画。对于ECAs，这种类型的动画在基于规则的系统中非常有用，在这些系统中，分析用户以确定其精神状态，然后触发包含面部动画的响应。虽然这种方法提供了高度逼真的动画，但这种动画在运行时很难修改，因此需要一个大型数据库来进行无脚本的面部响应社会设置，制作大量的面部动画对游戏动画等工业来说太昂贵而且太耗时。
Maya、3DMAX和Blender等平台不再依赖于预先制作的动画，而是通过行为标记语言(BML)对面部表情进行编码。面部动画是通过定义具有开始和结束时间的面部表情的目标值来创建的，虽然这种方法对面部动画的控制能力很强，不需要太多的艺术知识，在ECAs的脚本响应中非常有用，但是，由它生成的动画就不那么自然了。
发明内容
(一)解决的技术问题
为了克服现有技术的上述缺陷，使研究人员能够探索生成数据驱动的方法来生成面部动画，本发明提供了一种实时表情捕捉方法和系统，解决了上述背景技术中所提出的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(演员表演)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；
所有模块通过网络协议进行通信，例如，利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议等。
特别需要指出的是，所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉被分成动作单元(AUs)的，所述肌肉强度值存储在一个一维数组中。
所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的
所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值。
所述FACS检测引擎系统包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。
所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。
所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交互模块，其他模块只需知道此模块的地址即可发布或订阅数据。
所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。
所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度，
所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用分布式消息系统ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。
所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。
所述可视化引擎模块用来动画注视和计算头部旋转值，包括Unreal、Unity3D、Maya、Blender和FACSHuman。所述Unreal、Unity3D是对于面部动画的实时可视化；Maya、Blender用于存储、修改录制好的面部形态，以及高质量的图像和视频渲染；FACSHuman包含了经过验证的FACS模型。
整个系统框架是从接收消息到执行代码，再到发布新消息，最后到可视化这一整个过程。
(三)有益效果
与现有技术相比，本发明的有益效果在于：
1.本发明提供的面部动画数据驱动方法是使用真实的演员表演创建一个大型的面部动画数据库，基于FACS(面部动作编码系统)构建的，减少了创造各种面部表情所需要的工作量，同时还可以保持人类面部表情的自然，还允许在可视化之前对数据进行实时操作。
2.使用机器学习技术来学习表情数据的表示，允许端到端学习，情感用户分析可以直接链接到ECA的响应，而不是基于规则的系统。
3.该发明提供了支持基于FACS的人脸驱动模型的机器学习所需的所有组件，这些模块与游戏行业使用的流行软件无缝集成，高度的兼容性，可以大大节省开发时间，提高生产效率。
4.利用本发明提供的一种实时表情捕捉方法和系统可以改变虚拟角色的表情质量，与一般的平滑函数相比，在每个AU的基础上进行不同的平滑可能会得到更精确的动画，同时仍然保持平滑。
5.本发明在本系统内实现了表情捕捉的实时性，从表演演员的表演到虚拟角色在游戏引擎中的实时表情驱动，整个过程可以实现每秒30帧以上的运行速率，这种实时性可以极大地提升生产效率，对于需要直播的虚拟角色尤其适合。
6.FACS的波形可以改善嘴唇动画，本系统允许实时修改AU值的参数，从而实现面部行为的夸大或抑制，还能够将面部配置到其他动画技术工作流之中。
附图说明
图1为本发明中在发布者(演员表演)-订阅者(虚拟角色)模式中传递数据的框架概述流程结构示意图；
图2为本发明使用的模块流程结构示意图；
图3为本发明系统中每个模块所花费的时间流程结构示意图；
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
如图1-3所示，本发明提供一种技术方案：一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(演员表演)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；
所述所有模块通过网络进行消息传输，例如采用利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议。
在本发明实施例中，所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉变化被分成动作单元(AUs)，所述肌肉强度值存储在一个一维数组中。
具体的，所选择的数据表示可以对面部表情进行情感分析和动画化，FACS的肌肉来描述肌肉是如何放松或收缩的，肌肉强度值在一维数组中能够产生一个描述面部结构的小数据足迹，并可以通过网络传输。
在本发明实施例中，所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya和Blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的
具体的，该系统可以用来驱动机器人的面部表情或改变虚拟人物的脸型，所述插件是用于创建3D(虚拟角色)模型的开源工具，提供了基于滑动条的创建过程，减少了所需的艺术技能，MBLAB模型可以直接在Blender中进行动画离线制作。
在本发明实例中，所述基于视频信号的输入是针对FACS检测引擎的数据输入，通过FACS检测引擎，在ZeroMQ4等等网络系统上实时发送AU、眼睛注视和头部旋转值。
具体的，FACS检测引擎离线分析的视频获得的存储数据也可以通过框架以记录的速率发送值来使用，所述AU值的规格化范围是从0-5到0-1。
在本发明实施例中，所述FACS检测引擎包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。
具体的,FACS检测引擎还提供了基于FACS的数据，这些数据可以在FACSHuman中进行微调并以图像的形式输出。
在本发明实施例中，所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。
具体的，经过对CSV文件的读取，并以预定速度发布数据，生成输出数据。
在本发明实例中，所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交换模块，其他模块只需知道此模块的地址即可发布或订阅数据。
具体的，所述消息交换模块还具有数据可以在一个地方修改的优点，如平滑或放大。
在本发明实例中，所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。
具体的，GUI是通过简单的Python代码构造的，可以进行修改。
在本发明实例中，所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度，
具体的，来自MAHNOB模拟数据库的二元对话可用于培训。
在本发明实例中，所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用类似分布式消息系统ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。
具体的，通过检查所有可用的混合形状，并找到混合形状值的最佳匹配组合来匹配每个AU，但没有经过FACS编码器的验证。通过将MBLAB模型的虚拟脸与FACS检测引擎中的AU图像进行可视化比较，找到了最佳组合。
在本发明实例中，所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。
具体的，使用者可以根据具体需求转换成需要的格式文件。
在本发明实例中，所述可视化引擎模块用来动画注视和计算头部旋转值，包括Unreal、Unity3D、Maya、Blender和FACSHuman，所述Unreal、Unity3D是对于面部动画的实时可视化；Maya、Blender用于存储、修改录制好的面部形态，以及高质量的图像和视频渲染；FACSHuman包含了经过验证的FACS模型。
在本发明实例中，整个系统框架是从接收消息到执行代码，再到发布新消息，最后到可视化这一整个过程。
本发明基于一种实时表情捕捉方法和系统，分为发布者(演员表演)-订阅者(虚拟角色)模式中整体使用的模块，实施步骤分别如下：
发布者(演员表演)-订阅者(虚拟角色)模式中整体使用的模块：
步骤S1:由发布者提供需求、信息、数据；
步骤S2:利用FACS检测引擎对输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数到离线记录模块和消息交换模块；
步骤S3:经过对CSV文件的读取，并以预定速度发布数据，生成输出数据；
步骤S4:消息交换模块将接收到的消息从输入模块传递到框架中的AU到混合形状转换模块、AU转换文件模块和可视化引擎模块；
步骤S5:机器学习模块和GUI模块处理后的数据也通过消息交换模块连接；
步骤S6:AU到混合形状转换模块通过将MBLAB模型的虚拟脸与FACS检测引擎中的AU图像进行可视化比较，找到了最佳组合；
步骤S7:AU转换文件模块能够让使用者根据具体需求转换成需要的格式文件；
步骤S8:可视化引擎模块来动画注视和计算头部旋转值；
步骤S9:由订阅者(虚拟角色)接收处理后的数据。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。
Claims (10)
1.一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(表演演员)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；
所述所有模块通过网络协议进行通信，例如，利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议等。
2.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉被分成动作单元(AUs)的，所述肌肉强度值存储在一个一维数组中；
所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya、Blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的；
所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值。
3.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述FACS检测引擎包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。
4.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。
5.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交换模块，其他模块只需知道此模块的地址即可发布或订阅数据。
6.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。
7.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度。
8.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用分布式消息系统，例如ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。
9.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。
10.根据权利要求1-9所述的一种实时表情捕捉方法和系统，其特征在于：本发明基于一种实时表情捕捉方法和系统，分为发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块，实施步骤分别如下：
发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块：
步骤S1:由发布者(表演演员)提供需求、信息、数据；
步骤S2:利用FACS检测引擎系统对输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数到离线CSV模块和消息交换模块；
步骤S3:经过对CSV文件的读取，并以预定速度发布数据，生成输出数据；
步骤S4:消息交换模块将接收到的消息从输入模块传递到框架中的AU到混合形状转换模块、AU转换文件模块和可视化引擎模块；
步骤S5:机器学习模块和GUI模块处理后的数据也通过消息交换模块连接；
步骤S6:AU到混合形状转换模块通过将MBLAB模型的虚拟脸与FACS The Manual8中的AU图像进行可视化比较，找到了最佳组合；
步骤S7:AU转换文件模块能够让使用者根据具体需求转换成需要的格式文件；
步骤S8:可视化引擎模块来动画驱动和计算头部旋转值；
步骤S9:由订阅者(虚拟角色)接收处理后的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911246042.2A CN110992455B (zh) | 2019-12-08 | 2019-12-08 | 一种实时表情捕捉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911246042.2A CN110992455B (zh) | 2019-12-08 | 2019-12-08 | 一种实时表情捕捉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992455A true CN110992455A (zh) | 2020-04-10 |
| CN110992455B CN110992455B (zh) | 2021-03-05 |
Family
ID=70091175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911246042.2A Active CN110992455B (zh) | 2019-12-08 | 2019-12-08 | 一种实时表情捕捉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992455B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885777A (zh) * | 2020-08-11 | 2020-11-03 | 安徽艳阳电气集团有限公司 | 一种室内led灯的控制方法及装置 |
| CN112686978A (zh) * | 2021-01-07 | 2021-04-20 | 网易（杭州）网络有限公司 | 表情资源的加载方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080024505A1 (en) * | 2006-07-28 | 2008-01-31 | Demian Gordon | Facs solving in motion capture |
| CN101458778A (zh) * | 2008-12-26 | 2009-06-17 | 哈尔滨工业大学 | 具有面部表情及多感知功能的仿人头像机器人 |
| CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| KR101736403B1 (ko) * | 2016-08-18 | 2017-05-16 | 상명대학교산학협력단 | 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법 |
| CN108564016A (zh) * | 2018-04-04 | 2018-09-21 | 北京红云智胜科技有限公司 | 一种基于计算机视觉的au分类系统及方法 |
-
2019
- 2019-12-08 CN CN201911246042.2A patent/CN110992455B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080024505A1 (en) * | 2006-07-28 | 2008-01-31 | Demian Gordon | Facs solving in motion capture |
| CN101458778A (zh) * | 2008-12-26 | 2009-06-17 | 哈尔滨工业大学 | 具有面部表情及多感知功能的仿人头像机器人 |
| CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| KR101736403B1 (ko) * | 2016-08-18 | 2017-05-16 | 상명대학교산학협력단 | 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법 |
| CN108564016A (zh) * | 2018-04-04 | 2018-09-21 | 北京红云智胜科技有限公司 | 一种基于计算机视觉的au分类系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885777A (zh) * | 2020-08-11 | 2020-11-03 | 安徽艳阳电气集团有限公司 | 一种室内led灯的控制方法及装置 |
| CN112686978A (zh) * | 2021-01-07 | 2021-04-20 | 网易（杭州）网络有限公司 | 表情资源的加载方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992455B (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102054287B (zh) | 面部动画视频生成的方法及装置 | |
| Morishima et al. | A media conversion from speech to facial image for intelligent man-machine interface | |
| CN109147017A (zh) | 动态图像生成方法、装置、设备及存储介质 | |
| CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
| US20140240324A1 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
| CN110992455B (zh) | 一种实时表情捕捉系统 | |
| CN1460232A (zh) | 至可视语音系统的文字和加入面部情绪的方法 | |
| CN105957129B (zh) | 一种基于语音驱动及图像识别的影视动画制作方法 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN113633983A (zh) | 虚拟角色表情控制的方法、装置、电子设备及介质 | |
| CN117315132A (zh) | 一种基于元宇宙的云展厅系统 | |
| Lokesh et al. | Computer Interaction to human through photorealistic facial model for inter-process communication | |
| CN114445529A (zh) | 一种基于动作及语音特征的人脸图像动画方法和系统 | |
| US20220076409A1 (en) | Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation | |
| CN115984452A (zh) | 一种头部三维重建方法及设备 | |
| CN117593442B (zh) | 一种基于多阶段细粒度渲染的人像生成方法 | |
| CN117218254A (zh) | 通过ai深度学习驱动虚拟人说话口型和动作的方法和系统 | |
| Zeng et al. | Virtual Face Animation Generation Based on Conditional Generative Adversarial Networks | |
| CN116760942B (zh) | 一种全息互动远程会议方法及系统 | |
| CN117689845A (zh) | 虚拟资源处理方法及装置 | |
| CN116503526A (zh) | 一种视频驱动的三维人脸表情动画生成方法 | |
| Trpkoski et al. | Simulation and animation of a 3D avatar from a realistic human face model | |
| CN117292031A (zh) | 一种3d虚拟数字人唇形动画生成模型训练方法及装置 | |
| CN117788651A (zh) | 一种3d虚拟数字人唇形驱动方法及装置 | |
| CN117765137A (zh) | 一种情绪控制的三维虚拟形象表情动画生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd. Address before: 303 platinum international building, block C, fortune World Building, 1 Hangfeng Road, Fengtai District, Beijing Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| CP03 | Change of name, title or address |
Address after: Room 911, 9th Floor, Block B, Xingdi Center, Building 2, No.10, Jiuxianqiao North Road, Jiangtai Township, Chaoyang District, Beijing, 100000 Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd. Country or region after: China Address before: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |