CN113724367A - 一种机器人表情驱动方法及装置 - Google Patents
一种机器人表情驱动方法及装置 Download PDFInfo
- Publication number
- CN113724367A CN113724367A CN202110791164.0A CN202110791164A CN113724367A CN 113724367 A CN113724367 A CN 113724367A CN 202110791164 A CN202110791164 A CN 202110791164A CN 113724367 A CN113724367 A CN 113724367A
- Authority
- CN
- China
- Prior art keywords
- expression
- robot
- facial
- model
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008921 facial expression Effects 0.000 claims abstract description 71
- 230000003068 static effect Effects 0.000 claims abstract description 47
- 230000001815 facial effect Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 29
- 230000000694 effects Effects 0.000 abstract description 6
- 230000009471 action Effects 0.000 abstract description 5
- 239000000741 silica gel Substances 0.000 description 4
- 229910002027 silica gel Inorganic materials 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Toys (AREA)
Abstract
本发明提供一种仿真机器人表情驱动方法及装置，所述方法包括构建机器人面部静态表情模型，获取机器人面部标志点信息；在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型；获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，基于输出的电机参数驱动所述机器人作出与第二真人相同的面部表情。通过真人驱动虚拟人做出高精度表情，再通过面部高精度数据驱动机器人做出相应表情动作。实现机器人表情逼真，完美的呈现效果。
Description
技术领域
本发明涉及仿真机器人领域，尤其涉及一种机器人表情驱动方法及装置。
背景技术
随着人类社会逐步进入老龄化和数字化，仿真机器人应用于金融、医疗、教育、家政、心理陪伴等相关服务领域，具有替代典型应用场景中人的作用和价值，因此，仿真机器人的表情在智能交互性、情感共鸣性和信任构造性上具有重大价值和意义。但是，现有的仿真机器人的驱动表情较少，并且大多数都达不到逼真效果，远没有人类的面部表情丰富细腻，难以跨越“恐怖谷”理论，同时现在虚拟数字人与高仿真机器人面部驱动之间并无联系。
例如，现有技术CN109648574A，一种仿真机器人的面部控制方法，通过实现7路可变PWM脉冲控制信号，同时控制7个舵机，并使其连续运转以实现仿真机器人面部表情的变化控制，但该方式只能通过控制7个舵机实现面部部分运动，缺少更多面部肌肉的控件，无法让面部表情更自然。此外，这种方式仅限于单片机控制电路，控制方式单一，难以复用。现有技术CN108568807A，一种控制机器人面部表情的装置，是一种控制机器人面部表情的装置，包括推板和控制推板上下移动的动力装置，机器人可以做出微笑和忧伤动作，结构简单，稳定性好，易于安装，使用成本低，便于推广应用，但该方式只能产生极少的面部表情，整体表现效果较差，不能体现出机器人的仿真效果。
发明内容
为解决上述技术问题，本发明提出了一种机器人表情驱动方法及装置，所述方法及装置，用于解决现有技术中仿真机器人表情单一、仿真机器人表情驱动难于复用的技术问题。
根据本发明的第一方面，提供一种机器人表情驱动方法，所述方法包括以下步骤：
步骤S1：构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
步骤S2：获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
步骤S3：将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
根据本发明第二方面，提供一种仿真机器人表情驱动装置，所述装置包括：
初始化模块：配置为构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
驱动表情获取模块：配置为获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
驱动模块：配置为将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
根据本发明第三方面，提供一种仿真机器人表情驱动系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的仿真机器人表情驱动方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的仿真机器人表情驱动方法。
根据本发明的上述方案，本发明实时获取人脸表情数据并将之用于实时驱动虚拟数字人面部表情，再将虚拟数字人的包含表情的面部数据传输到仿真机器人面部，达到逼真驱动机器人面部运动，做出表情的效果。本发明能够为现有的高仿真机器人提供面部高精度的驱动数据，并实现了由虚拟数字人面部表情驱动真实机器人面部表情。能够大幅度增加高仿真机器人的面部动作仿真度、提高观赏性，使得机器人的面部表情生动形象；由于面部原始数据由真人驱动获得，所以生成的虚拟数字人以及仿真机器人面部表情自然且活灵活现。本发明通过真人驱动虚拟数字人做出高精度表情，再通过面部高精度数据驱动仿真机器人做出相应表情动作。实现仿真机器人表情最逼真，最完美的呈现效果；获取的面部高精度数据可以复用，实现一次数据采集长久高逼真人脸驱动；整体系统不需要额外硬件设备，成本较低；可以为私人定制虚拟数字人，留存数字资产。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的一种仿真机器人表情驱动方法流程图；
图2为本发明一个实施方式的仿真机器人表情驱动方法详细流程示意图；
图3为本发明一个实施方式的标志点位置和数量的示意图；
图4为本发明一个实施方式的仿真机器人表情驱动装置结构框图；
图5为本发明一个实施方式的面部重建扫描系统示意图；
图6为本发明一个实施方式的由第二真人表情驱动机器人的示意图。
附图标记说明：
1：被采集人员，2：表情驱动设备，3，虚拟数字人面部，4：可驱动的仿真机器人
具体实施方式
首先结合图1-图2、图6说明本发明一个实施方式的一种仿真机器人表情驱动方法流程，所述方法包括以下步骤：
步骤S1：构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
步骤S2：获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
步骤S3：将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
所述步骤S1，构建机器人面部静态表情模型，包括：
步骤S101：在机器人面部绘制标志点，所述标志点为能够表现所述机器人面部表情变化的直径小于预定阈值的点。
本实施例中，所述机器人是仿真机器人，其具有和真人相似的面部，表面材料用硅胶制成并具有眼球和牙齿等内部结构，机器人内部由多个电机来驱动面部的硅胶皮，当电机运动时，机器人面部表面硅胶皮会随之运动，进而使得机器人做出不同的表情。所述标志点是指在机器人面部硅胶表层上用包含但不限于眉笔，碳笔等绘制工具绘制直径小于1mm的黑色小点。绘制标志点的数量和位置应具有一定的密度，足以表现面部表情的变化，包含但不限于如图3所示的绘制示例，标志点的密度还可以进一步提高。
步骤S102：对绘制标志点后的所述机器人进行三维扫描，获取机器人面部静态表情数据，构建机器人面部静态表情模型，提取所述机器人面部静态表情模型中各标志点的位置信息及编号。
本实施例中，三维扫描的方式包含但不限于激光扫描仪，多张照片重建等。所述机器人面部静态表情数据包括机器人面部的几何形体和机器人面部对应的贴图，所述贴图中包括所述标志点的信息。
本实施例中，基于所述机器人面部静态表情数据，通过三维建模软件包括但不限MAYA、MAX，并依据行业标准流程操作，构建机器人面部静态表情模型，所述机器人面部静态表情模型的存储格式包含但不限于FBX,OBJ。
本实施例中，采用深度学习方法包含但不限于YOLOv2、YOLOv3网络或者角点提取算法，依次提取标志点三维坐标，并且标注各标志点的编号，标注方法包含但不限于手工标注，用光流跟踪进行首帧标注之后的连续跟踪等。获得各标志点的三维坐标以及各标志点的编号。
所述步骤S1，所述获取第一真人的多个面部表情，包括获取第一真人的多个面部表情，为所述第一真人的每个面部表情构建一个对应的第一真人面部表情模型。
面部表情的获取方式有多种，优选地，捕获真实真人的极限表情作为面部表情。所述第一真人是一个真实的人的真人，该第一真人能够做出极限表情和多种面部表情，获取第一真人的若干极限面部表情，所述极限面部表情为真人面部所能做到的极限肌肉动作，其包括但不仅限于尽可能张大嘴、充气鼓嘴、尽可能向外噘嘴等。所述极限面部表情包括但不仅限于睁眼、闭眼、撅嘴、左挑眉等，通过三维扫描的方式为所述第一真人的每个面部表情构建一个对应的第一真人面部表情模型。所述三维扫描的方式包含但不限于激光扫描仪，多张照片重建等，如图5所示。
本实施例中，获得了多个极限面部表情对应的面部表情模型。
所述步骤S1，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，本实施例中，绑定方法有多种，例如获取各个所述第一真人的面部表情与所述机器人面部静态表情的差分值，由差分值记录动态表情，实现记录所有的动态表情。所述基于机器人面部静态表情模型的虚拟人模型，是能够驱动表情并具有标志点信息的虚拟人模型。基于不同表情对应的差分值，根据差分值可以在机器人面部静态表情模型的基础上复现不同的面部表情。又由于所述机器人面部静态表情模型中记录了所有标志点的三维坐标和编号，因而，在复现表情时，能够获得该表情下虚拟人面部所有编号的标记点的三维坐标，此时的三维坐标，由于表情的作用，与机器人面部静态表情模型中该标志点的三维坐标存在差异。
所述步骤S2：获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号，包括：
获取第二真人的表情，本实施例通过表情采集软件获取第二真人的面部表情的表情参数，由所述第二真人的面部表情的表情参数驱动所述虚拟人模型做出与所述第二真人相同的面部表情；提取虚拟人模型在当前表情下标志点的位置信息和编号，所述位置信息为三维坐标。
所述第二真人为一个真实的人的真人，所述第二真人的表情可以为实时表情，本实施例的方法对于实时表情的处理非常有效。表情采集软件包含但不限于Arkit、Dynamixyz。本实施例中，驱动方法为行业通用表情驱动方法。如图6所示，虚拟数字人面部(3)与可驱动的仿真机器人(4)之间具有对应关系，通过表情驱动设备(2)采集被采集人员(1)的表情，通过通信协议传输表情数据，驱动所述虚拟人模型，进而再驱动机器人。
所述步骤S3：将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
本实施例中，所述网络模型为深度学习网络，包含但不限于全链接网络，卷积神经网络等。所述网络模型的输入为提取到的所述虚拟人模型在当前表情下标志点的三维坐标，输出为能够驱动机器人做出与当前表情相同的表情所需的电机参数。
所述网络模型的训练过程为：
获取训练数据，所述获取训练数据包括驱动机器人的各电机运动，穷举机器人的全部表情；所述训练数据包括所述机器人各表情与电机参数的对应关系、在各表情下所述机器人面部的标志点的三维坐标以及各标志点的编号；
基于所述训练数据，训练所述网络模型，所述网络模型的输入为表情对应的标志点的位置信息及编号，输出为该表情对应的机器人的全部电机的电机参数。
本实施例中，根据每个电机的调控范围以及总电机数量，设定电机运动的步长，例如，步长的取值为电机调控范围的十分之一或五分之一。以排列组合的方式穷举所有电机在所有步长条件下的全部可能。穷举电机运动的所有可能也就表明穷举了机器人面部表情的所有可达范围。通过三维扫描的方式扫描机器人的所有表情，获取机器人在当前表情下的面部表情数据，构建当前表情下的机器人面部表情模型，获取在当前表情下标志点的位置信息。所述三维扫描设备包括但不限于多视角采集设备和激光扫描仪。本实施例中，能够获得机器人面部所有可达表情的机器人面部表情模型以及所有可达表情对应的机器人内部所有电机的相应参数。所述可达表情为调节机器人内部所有电机的所有调控范围，让机器人作出的所有可以表现出来的表情。各机器人面部表情模型的贴图中均包括标志点，因此，能够获得各表情下所述机器人面部的标志点的三维坐标及各标志点的编号。
本发明实施例进一步给出一种仿真机器人表情驱动装置，如图4所示，所述装置包括：
初始化模块：配置为构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
驱动表情获取模块：配置为获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
驱动模块：配置为将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
本发明实施例进一步给出一种仿真机器人表情驱动系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的仿真机器人表情驱动方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的仿真机器人表情驱动方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种机器人表情驱动方法，其特征在于，所述方法包括以下步骤：
步骤S1：构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
步骤S2：获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
步骤S3：将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
2.如权利要求1所述的机器人表情驱动方法，其特征在于，所述步骤S1，构建机器人面部静态表情模型，包括：
步骤S101：在机器人面部绘制标志点，所述标志点为能够表现所述机器人面部表情变化的直径小于预定阈值的点；
步骤S102：对绘制标志点后的所述机器人进行三维扫描，获取机器人面部静态表情数据，构建机器人面部静态表情模型，提取所述机器人面部静态表情模型中各标志点的位置信息及编号。
3.如权利要求1所述的机器人表情驱动方法，其特征在于，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，绑定方法为获取各个所述第一真人的面部表情与所述机器人面部静态表情的差分值，由差分值记录第一真人的面部表情。
4.如权利要求1所述的机器人表情驱动方法，其特征在于，所述网络模型的训练过程为：
获取训练数据，所述获取训练数据包括驱动机器人的各电机运动，穷举机器人的全部表情；所述训练数据包括所述机器人各表情与电机参数的对应关系、在各表情下所述机器人面部的标志点的三维坐标以及各标志点的编号；
基于所述训练数据，训练所述网络模型，所述网络模型的输入为表情对应的标志点的位置信息及编号，输出为该表情对应的机器人的全部电机的电机参数。
5.一种机器人表情驱动装置，其特征在于，所述装置包括：
初始化模块：配置为构建机器人面部静态表情模型，获取机器人面部标志点信息；获取第一真人的多个面部表情，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，得到基于机器人面部静态表情模型的虚拟人模型，所述虚拟人与机器人相对应；
驱动表情获取模块：配置为获取第二真人的表情，由所述第二真人的当前表情驱动所述虚拟人模型，提取虚拟人模型在当前表情下标志点的位置信息及编号；
驱动模块：配置为将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型，输出当前表情对应的机器人的全部电机的电机参数，基于所述电机参数驱动所述机器人作出与第二真人相同的面部表情。
6.如权利要求5所述的机器人表情驱动装置，其特征在于，所述初始化模块包括：
标志点绘制子模块：配置为在机器人面部绘制标志点，所述标志点为能够表现所述机器人面部表情变化的直径小于预定阈值的点；
标志点获取子模块：配置为对绘制标志点后的所述机器人进行三维扫描，获取机器人面部静态表情数据，构建机器人面部静态表情模型，提取所述机器人面部静态表情模型中各标志点的位置信息及编号。
7.如权利要求5所述的机器人表情驱动方法，其特征在于，在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情，绑定方法为获取各个所述第一真人的面部表情与所述机器人面部静态表情的差分值，由差分值记录第一真人的面部表情。
8.如权利要求5所述的机器人表情驱动方法，其特征在于，所述驱动模块包括：
训练数据获取子模块：配置为获取训练数据，所述获取训练数据包括驱动机器人的各电机运动，穷举机器人的全部表情；所述训练数据包括所述机器人各表情与电机参数的对应关系、在各表情下所述机器人面部的标志点的三维坐标以及各标志点的编号；
训练子模块：配置为基于所述训练数据，训练所述网络模型，所述网络模型的输入为表情对应的标志点的位置信息及编号，输出为该表情对应的机器人的全部电机的电机参数。
9.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4中任一项所述的机器人表情驱动方法。
10.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4中任一项所述的机器人表情驱动方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791164.0A CN113724367A (zh) | 2021-07-13 | 2021-07-13 | 一种机器人表情驱动方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791164.0A CN113724367A (zh) | 2021-07-13 | 2021-07-13 | 一种机器人表情驱动方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724367A true CN113724367A (zh) | 2021-11-30 |
Family
ID=78673265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110791164.0A Pending CN113724367A (zh) | 2021-07-13 | 2021-07-13 | 一种机器人表情驱动方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724367A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346262A (zh) * | 2022-08-23 | 2022-11-15 | 北京字跳网络技术有限公司 | 一种表情驱动参数的确定方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006043780A (ja) * | 2004-07-30 | 2006-02-16 | Shinshu Univ | 曲面顔画像表示を用いたコミュニケーションロボット |
| CN105437247A (zh) * | 2016-01-27 | 2016-03-30 | 龙卷风机电科技（昆山）有限公司 | 一种表情机器人 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| EP3279846A1 (en) * | 2016-08-01 | 2018-02-07 | Giesecke+Devrient Mobile Security GmbH | Method and system for wireless payments using a wearable device |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN109800864A (zh) * | 2019-01-18 | 2019-05-24 | 中山大学 | 一种基于图像输入的机器人主动学习方法 |
| JP2019187917A (ja) * | 2018-04-26 | 2019-10-31 | 高行 藤堂 | 表情可変ロボット |
| CN111814713A (zh) * | 2020-07-15 | 2020-10-23 | 陕西科技大学 | 一种基于bn参数迁移学习的表情识别方法 |
| CN112200894A (zh) * | 2020-12-07 | 2021-01-08 | 江苏原力数字科技股份有限公司 | 基于深度学习框架的数字人面部表情动画自动迁移方法 |
| CN112419436A (zh) * | 2020-11-11 | 2021-02-26 | 广州市大湾区虚拟现实研究院 | 一种超逼真虚拟人快速重建的方法及系统 |
| CN112454390A (zh) * | 2020-11-27 | 2021-03-09 | 中国科学技术大学 | 基于深度强化学习的仿人机器人面部表情模仿方法 |
| CN112541445A (zh) * | 2020-12-16 | 2021-03-23 | 中国联合网络通信集团有限公司 | 人脸表情的迁移方法、装置、电子设备及存储介质 |
| CN112700523A (zh) * | 2020-12-31 | 2021-04-23 | 魔珐(上海)信息科技有限公司 | 虚拟对象面部动画生成方法及装置、存储介质、终端 |
-
2021
- 2021-07-13 CN CN202110791164.0A patent/CN113724367A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006043780A (ja) * | 2004-07-30 | 2006-02-16 | Shinshu Univ | 曲面顔画像表示を用いたコミュニケーションロボット |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| CN105437247A (zh) * | 2016-01-27 | 2016-03-30 | 龙卷风机电科技（昆山）有限公司 | 一种表情机器人 |
| EP3279846A1 (en) * | 2016-08-01 | 2018-02-07 | Giesecke+Devrient Mobile Security GmbH | Method and system for wireless payments using a wearable device |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| JP2019187917A (ja) * | 2018-04-26 | 2019-10-31 | 高行 藤堂 | 表情可変ロボット |
| CN109800864A (zh) * | 2019-01-18 | 2019-05-24 | 中山大学 | 一种基于图像输入的机器人主动学习方法 |
| CN111814713A (zh) * | 2020-07-15 | 2020-10-23 | 陕西科技大学 | 一种基于bn参数迁移学习的表情识别方法 |
| CN112419436A (zh) * | 2020-11-11 | 2021-02-26 | 广州市大湾区虚拟现实研究院 | 一种超逼真虚拟人快速重建的方法及系统 |
| CN112454390A (zh) * | 2020-11-27 | 2021-03-09 | 中国科学技术大学 | 基于深度强化学习的仿人机器人面部表情模仿方法 |
| CN112200894A (zh) * | 2020-12-07 | 2021-01-08 | 江苏原力数字科技股份有限公司 | 基于深度学习框架的数字人面部表情动画自动迁移方法 |
| CN112541445A (zh) * | 2020-12-16 | 2021-03-23 | 中国联合网络通信集团有限公司 | 人脸表情的迁移方法、装置、电子设备及存储介质 |
| CN112700523A (zh) * | 2020-12-31 | 2021-04-23 | 魔珐(上海)信息科技有限公司 | 虚拟对象面部动画生成方法及装置、存储介质、终端 |
Non-Patent Citations (3)
| Title |
|---|
| 云亚文;柯显信;邱本锐;: "仿人机器人面部表情驱动机构设计仿真", 计算机仿真, no. 04, pages 335 * |
| 高翔;黄法秀;刘春平;陈虎;: "3DMM与GAN结合的实时人脸表情迁移方法", 计算机应用与软件, no. 04 * |
| 黄忠;任福继;胡敏;: "基于RBF神经网络的人形机器人在线面部表情模仿", 机器人, no. 02, pages 225 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346262A (zh) * | 2022-08-23 | 2022-11-15 | 北京字跳网络技术有限公司 | 一种表情驱动参数的确定方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Csapó et al. | VR as a medium of communication: from memory palaces to comprehensive memory management | |
| CN108777081B (zh) | 一种虚拟舞蹈教学方法及系统 | |
| Erolin | Interactive 3D digital models for anatomy and medical education | |
| US11748934B2 (en) | Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium | |
| CN105632251B (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
| Kurze | TDraw: a computer-based tactile drawing tool for blind people | |
| US20110032088A1 (en) | Method of encoding haptic information on image, method of decoding haptic information from image and apparatus of processing haptic information for the same | |
| Fish | Cognitive catalysis: Sketches for a time-lagged brain | |
| CN108062796A (zh) | 基于移动终端的手工制品与虚拟现实体验系统及方法 | |
| CN109493403A (zh) | 一种基于运动单元表情映射实现人脸动画的方法 | |
| CN109035415A (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN111383642B (zh) | 基于神经网络的语音应答方法、存储介质以终端设备 | |
| Dyulicheva et al. | The virtual reality simulator development for dental students training: a pilot study. | |
| CN113724367A (zh) | 一种机器人表情驱动方法及装置 | |
| Parke | Control parameterization for facial animation | |
| CN114904268A (zh) | 一种虚拟形象的调整方法、装置、电子设备及存储介质 | |
| CN110298912A (zh) | 三维场景的复现方法、系统、电子装置及存储介质 | |
| Wang | Langwidere: a hierarchical spline based facial animation system with simulated muscles. | |
| CN116630549A (zh) | 人脸建模方法、装置、可读存储介质及电子设备 | |
| CN109711335A (zh) | 通过人体特征对目标图片进行驱动的方法及装置 | |
| Neff et al. | Animation of natural virtual characters | |
| CN113781271A (zh) | 化妆教学方法及装置、电子设备、存储介质 | |
| CN105280028A (zh) | 一种基于三维模拟技术的课堂助手 | |
| CN111882936A (zh) | 一种基于力反馈与虚拟现实的手术预演及教学系统 | |
| CN110288862A (zh) | 三维教学模型控制方法、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |