CN116485957A - 动画生成方法、装置、计算机设备及存储介质 - Google Patents

动画生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116485957A
CN116485957A CN202310237164.5A CN202310237164A CN116485957A CN 116485957 A CN116485957 A CN 116485957A CN 202310237164 A CN202310237164 A CN 202310237164A CN 116485957 A CN116485957 A CN 116485957A
Authority
CN
China
Prior art keywords
hand
gesture
data
dimensional
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310237164.5A
Other languages
English (en)
Inventor
谢远锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310237164.5A priority Critical patent/CN116485957A/zh
Publication of CN116485957A publication Critical patent/CN116485957A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种动画生成方法、装置、计算机设备及存储介质。通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的多个视频数据，基于多个视频数据进行特征提取，得到手部特征点的二维坐标；并根据所述手部特征点的二维坐标、所述拍摄设备的校准后内外参进行三维重建，得到所述手部特征点的三维坐标；从而基于所述手部特征点的三维坐标生成手部姿态数据；最后利用所述手部姿态数据对手部虚拟模型进行驱动，生成手部动画文件。实现基于视频分析的方式确定用于驱动手部虚拟模型的手部姿态数据，不再需要动作演员穿戴数据手套，避免数据手套对动作演员的影响，从而提升手部姿态数据的准确性以及手部动画效果。

Description

动画生成方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种动画生成方法、装置、计算机设备及存储介质。
背景技术
通常，动作演员会穿戴数据手套等穿戴动捕设备来表演手势动作，通过穿戴动捕设备采集动作演员的手部姿态数据，并利用采集到的手部姿态数据驱动虚拟人物模型。
然而，相关技术中穿戴动捕设备的部分部件会影响动作演员的表演，从而影响到手部姿态数据的准确性。
发明内容
本发明提供一种动画生成方法、装置、计算机设备及存储介质，以减少穿戴动捕设备的部分部件对动作演员的影响，从而提升手部姿态数据的准确性。
本发明提供一种动画生成方法，所述方法包括：基于多个视频数据进行特征提取，得到手部特征点的二维坐标；其中，所述多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标；基于所述手部特征点的三维坐标生成所述手部动作对应的手部姿态数据；其中，所述手部姿态数据用于对手部虚拟模型进行驱动。
在其中一个实施例中，所述方法还包括：存储所述手部姿态数据至手部姿势数据库中。
在其中一个实施例中，所述方法还包括：获取目标对象当前手势对应的三维姿态数据；利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配，确定与所述当前手势对应的目标手部姿态数据；利用所述目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
在其中一个实施例中，所述手部虚拟模型绑定连接至虚拟人物模型的肢体部分的腕部；所述方法还包括：获取所述目标对象当前肢体动作对应的肢体动作数据；利用所述肢体动作数据驱动所述虚拟人物模型的肢体部分。
在其中一个实施例中，所述获取目标对象当前手势对应的三维姿态数据，包括：在展示有所述虚拟人物模型的直播过程中，获取所述目标对象当前手势对应的三维姿态数据。
在其中一个实施例中，所述利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配，包括：若拍摄所述当前手势得到的视频数据不满足手势清晰度预设条件，利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配。
在其中一个实施例中，所述方法还包括：若拍摄所述当前手势得到的视频数据满足手势清晰度预设条件，利用所述三维姿态数据驱动所述虚拟人物模型的手部。
在其中一个实施例中，所述手部姿态数据存储在手部姿势数据库，所述手部姿势数据库包括手势类别与手部姿势数据的对应关系；所述方法还包括：根据目标对象当前手势对应的三维姿态数据进行类别预测，确定所述当前手势的类别信息；基于所述类别信息在所述手部姿势数据库进行匹配，确定与所述类别信息对应的目标手部姿态数据；利用所述目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
在其中一个实施例中，所述手部特征点的二维坐标包括任一手部特征点与第一视角对应的二维坐标、与第二视角对应的二维坐标；所述根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标，包括：根据所述与第一视角对应的二维坐标、所述与第二视角对应的二维坐标、所述拍摄设备的校准数据进行三角化计算，得到所述任一手部特征点在指定空间坐标系中的三维坐标。
在其中一个实施例中，所述手部动作发生在手部放置台面上，所述手部放置台面上设置有标定图案；所述标定图案，用于对所述拍摄设备的内参、外参、畸变系数进行校准，以生成所述校准数据。
本发明提供一种手部动画制作装置，其特征在于，所述装置包括：
多个拍摄设备，用于在不同视角对动作对象的手部动作进行拍摄，以得到多个视频数据；
手部放置台面，设置有标定图案，用于放置所述动作对象的手部；其中，所述标定图案，用于对所述拍摄设备的内参和外参进行校准，以生成校准数据；
计算机设备，用于基于所述多个视频数据进行特征提取，得到手部特征点的二维坐标，根据所述手部特征点的二维坐标和所述校准数据进行三维重建，得到所述手部特征点的三维坐标，基于所述手部特征点的三维坐标生成手部姿态数据；利用所述手部姿态数据对手部虚拟模型进行驱动。
在其中一个实施例中，所述装置还包括：拍摄支架，用于放置所述多个拍摄设备；其中，所述手部放置台面与所述拍摄支架相对固定设置；其中，所述手部放置台面具有能够旋转所述手部放置台面的旋转部件；所述拍摄支架具有角度调节部件，所述角度调节部件，用于调节所述拍摄设备的拍摄视角。
本发明提供一种动画生成装置，所述装置包括：
特征提取模块，用于基于多个视频数据进行特征提取，得到手部特征点的二维坐标；其中，所述多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；
坐标三维重建模块，用于根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标；
姿态数据生成模块，用于基于所述手部特征点的三维坐标生成所述手部动作对应的手部姿态数据；其中，所述手部姿态数据用于对手部虚拟模型进行驱动。
本发明提供一种计算机设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令以实现上述任一所述的方法。
本发明提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
本发明提供一种计算机程序产品，所述程序产品包括计算机程序，计算机程序被处理器执行上述任一项所述的方法。
本发明的实施例提供的技术方案至少带来以下有益效果：
通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的多个视频数据，基于多个视频数据进行特征提取，得到手部特征点的二维坐标；并根据所述手部特征点的二维坐标、所述拍摄设备的校准后内外参进行三维重建，得到所述手部特征点的三维坐标；从而基于所述手部特征点的三维坐标生成手部姿态数据；最后利用所述手部姿态数据对手部虚拟模型进行驱动，生成手部动画文件。实现基于视频分析的方式确定用于驱动手部虚拟模型的手部姿态数据，不再需要动作演员穿戴数据手套，避免数据手套对动作演员的影响，从而提升手部姿态数据的准确性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本说明书实施方式提供的动画生成方法的应用场景示意图。
图2a为根据本说明书实施方式提供的动画生成方法的流程示意图。
图2b为根据本说明书实施方式提供的手部特征点的标记示意图。
图2c为根据本说明书实施方式提供的手指姿势的示意图。
图3a为根据本说明书实施方式提供的动画生成方法的流程示意图。
图3b为根据本说明书实施方式提供的驱动虚拟人物模型的手部动作的示意图。
图3c为根据本说明书实施方式提供的动画生成方法的流程示意图。
图3d为根据本说明书实施方式提供的动画生成方法的流程示意图。
图4为根据本说明书实施方式提供的手部动画制作装置的组成示意图。
图5为根据本说明书实施方式提供的手部动画制作装置的框架示意图。
图6为根据本说明书实施方式提供的一种计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了方便理解，下面对本发明实施例中涉及的名词进行解释。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本说明书实施方式中的动画生成方法可用于人工智能技术中的模型使用过程中，从而提高动画生成效率。
数据手套可以是通过在手套内置传感器，采集手部运动数据的硬件设备。
通常，数据手套从传感器技术角度主要分为惯性、光纤以及光学三大类。关于惯性动作捕捉数据手套，发明人发现：一方面大拇指还原的质量有待提升，另一方面手指开合手势的准确性有待提升。关于光纤动作捕捉数据手套，发明人发现：一方面手腕的弯曲会影响手指的姿势，另一方面手指开合手势的准确性有待提升。关于光学动作捕捉数据手套，手部贴点会影响到动作演员的表演，特别是握拳姿势或者指尖点重合或遮挡。可见，数据手套已经影响到动作演员的手势动作的准确性，从而采集到的手部姿态数据的准确性也会受到影响，进而影响到手部虚拟模型的动画效果。
另外，发明人进一步地分析发现，若通过数据手套获取到的手部的动捕数据上传到三维软件中，动画师耗费大量时间和精力在三维软件中调整手指骨骼位置以完成手部动画的制作，以提升动作的准确性。可见，相关技术中制作手部动画的工作量有待减少。
鉴于此，本说明书实施方式提供了动画生成方法。具体地，通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的多个视频数据，基于多个视频数据进行特征提取，得到手部特征点的二维坐标；并根据手部特征点的二维坐标、拍摄设备的校准后内外参进行三维重建，得到手部特征点的三维坐标；从而基于手部特征点的三维坐标生成手部姿态数据；最后利用手部姿态数据对手部虚拟模型进行驱动。实现基于视频分析的方式确定用于驱动手部虚拟模型的手部姿态数据，不再需要动作演员穿戴数据手套，避免数据手套对动作演员的影响，提升手部姿态数据的准确性以及手部动画效果。
进一步地，还可以通过手部姿态数据驱动手部虚拟模型以生成手部动画文件，实现以基于视频分析的方式制作动画，减少动画师手动调整手指骨骼位置的工作量，提升动画制作效率。
本说明书实施方式提供的动画生成方法可以应用于具有数据处理功能的计算机设备，如终端设备、服务器。其中，终端设备具体可以为手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电等，但并不局限于此；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
该计算机设备还可以具备机器学习能力。机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
为了便于理解本申请的技术方案，下面结合实际应用场景，对本说明书实施方式提供的动画生成方法进行介绍。请参阅图1，该图为本说明书实施方式提供的动画生成方法的应用场景示意图。在图1所示的应用场景中，包括具有拍摄功能的第一终端110、具有拍摄功能的第二终端120、与第一终端110、第二终端120分别连接的计算机设备130。通过第一终端110、第二终端120从不同视角对动作演员的手部动作进行拍摄。第一终端110将拍摄得到的视频数据传输至计算机设备130，第二终端110将拍摄得到的视频数据传输至计算机设备130，计算机设备130基于两个视频数据进行特征提取，得到手部特征点的二维坐标，根据手部特征点的二维坐标、拍摄设备的校准数据进行反演，得到手部特征点的三维坐标，基于手部特征点的三维坐标生成手部姿态数据；利用手部姿态数据对手部虚拟模型进行驱动，并进一步地可以生成对应的手部动画文件。
本说明书实施方式所提供的动画生成方法可以由服务器执行。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本说明书实施方式所提供的动画生成方法，或者由终端设备和服务器共同执行本说明书实施方式所提供的动画生成方法，本实施例对此不做限定。
下面结合附图，以前述的计算机设备为例，对本说明书实施方式提供的一种动画生成方法进行介绍。
请参阅图2a，该图为本说明书实施方式提供的一种动画生成方法的流程示意图。该动画生成方法可以包括以下步骤：
S210、基于多个视频数据进行特征提取，得到手部特征点的二维坐标。
其中，多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的。多个拍摄设备可以包括两个以上的拍摄视频。多个视频数据可以包括第一视频数据和第二视频数据。通过一个视频设备在第一视角对手部动作进行拍摄，得到第一视频数据。通过另一个视频设备在第二视角对手部动作进行拍摄，得到第二视频数据。其中，第一视角不同于第二视角。
其中，手部特征点可以用于表示在手部进行标记产生的标记对象，请参阅图2b，标记对象可以是线条、空心圆、实心圆、实心方块、空心方块中的至少一个。手部特征点也可以用于表示手部骨骼点或者关节位置。
在一些情况下，第一视频数据包括的多帧图像为二维画面，第二视频数据包括的多帧图像也为二维画面，由于二维画面缺少深度信息，很难通过单个拍摄设备确定手部动作对应的三维坐标。因此，可以对手部动作进行不同视角的拍摄，得到第一视频数据和第二视频数据，通过对第一视频数据和第二视频数据进行组合，准确地确定手部动作对应的三维坐标，从而捕捉到更精确的手部动作姿态。具体地，对第一视频数据中的任一帧图像进行特征提取，得到该任一帧图像中手部特征点的二维坐标。对第二视频数据中的任一帧图像进行特征提取，得到该任一帧图像中手部特征点的二维坐标。本实施方式中，采用多视频分析的方式进行计算，不仅解决了单视频设备在纵深关系上的不稳定，而且当有手指重叠时，由于拍摄机位是多个也能够看清楚手指姿势，在姿势捕捉创建的过程中，如果在拍摄盲区，可以活动手部位置，从而能清楚地知道手指姿势。另外可以通过特征点进行辅助判断,根据这些特征点的遮挡关系来辅助分析手指姿势。请参阅图2c，指压住食指时由于特征点消失，则能够更快速判断出中指在上。
S220、根据手部特征点的二维坐标、拍摄设备的校准数据进行三维重建，得到手部特征点的三维坐标。
在一些情况下，一方面，由于拍摄设备的镜头在生产和组装过程中的畸变程度各不相同，通过相机标定可以校正这种畸变，生成矫正后的图像；另一方面，通过拍摄设备可以把空间物体信息变成二维画面，这个过程本来是不可逆的。但可以尝试找到一个拍摄设备的数学模型，通过从二维画面和找到的数学模型反演得到三维的空间物体信息。因此，需要对拍摄设备进行标定或者说校准，以得到拍摄设备校准后内参、校准后外参。校准数据可以包括校准后内参、校准后外参。本实施方式中，校准后内参可以是拍摄设备的内参矩阵，内参矩阵取决于相机的内部参数，比如像距f、一个像素在拍摄设备感光板上的物理长度(即一个像素在感光板上是多少毫米)、感光板中心在像素坐标系下的坐标、感光板的横边和纵边之间的角度。校准后外参可以是拍摄设备的外参矩阵外参矩阵取决于相机坐标系和世界坐标系的相对位置。
示例性地，拍摄设备的内参矩阵可以采用如下公式进行表示：
其中，f为像距，dx,dy分别表示X，Y方向上的一个像素在相机感光板上的物理长度，u0，v0分别表示相机感光板中心在像素坐标系下的坐标，θ表示感光板的横边和纵边之间的角度。
示例性地，拍摄设备的外参矩阵可以采用如下公式进行表示：
其中，R表示旋转矩阵，T表示平移矢量。
具体地，通过多个拍摄设备在不同视角对手部动作进行拍摄，针对手部上的任一手部特征点和任一拍摄设备，以沿着该任一拍摄设备的中心出发的“观测射线”，多个拍摄设备在不同视角对该任一手部特征点进行观测，产生多条观测射线，理想情况下这些观测射线相交于空间中一点，该交点就是该任一手部特征点的三维坐标。因此，可以基于这一原理，根据手部特征点的二维坐标、拍摄设备的校准数据进行求解反演，可以确定任一手部特征点的三维坐标。
S230、基于手部特征点的三维坐标生成手部动作对应的手部姿态数据；其中，手部姿态数据用于对手部虚拟模型进行驱动。
其中，手部虚拟模型可以是用于生成手部动画的骨骼模型。具体地，在确定每个手部特征点的三维坐标之后，可以基于每个手部特征点在各时刻的三维坐标生成每个手部特征点的运动数据。对每个手部特征点的运动数据进行整合，得到手部动作对应的手部姿态数据。手部动作对应的手部姿态数据可以对手部虚拟模型进行驱动，以使手部虚拟模型产生对应的手部动画效果。
上述动画生成方法中，通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到多个视频数据，并基于多个视频数据进行特征提取，得到手部特征点的二维坐标，从而根据手部特征点的二维坐标、拍摄设备的校准数据进行三维重建，得到手部特征点的三维坐标，进一步地基于手部特征点的三维坐标生成用于驱动手部虚拟模型的手部姿态数据，实现基于视频分析的方式确定用于驱动手部虚拟模型的手部姿态数据，不再需要动作演员穿戴数据手套，避免数据手套对动作演员的影响，从而提升手部姿态数据的准确性以及手部动画效果；另一方面，若利用手部姿态数据驱动手部虚拟模型生成手部动画文件，也可以减少动画师手动调整手指骨骼位置的工作量，提升动画制作效率。
在一些实施方式中，该动画生成方法还可以包括：存储手部姿态数据至手部姿势数据库中。
其中，手部姿势数据库可以是用于存储手部虚拟模型的驱动数据的数据库，手部虚拟模型的驱动数据可以是手部动作对应的手部姿态数据。本实施方式中，手部姿势数据库中可以包括动作名称的标识信息、该动作名称对应的手部姿态数据。示例性地说明手部姿势数据库的建立过程，预先指导动作演员表演指定手部动作，在表演过程中，通过多个拍摄设备在不同视角对指定手部动作进行拍摄对应得到多个表演视频数据，对多个表演视频数据进行视频分析，得到指定手部动作对应的手部姿态数据并进行存储，以构建手部姿势数据库。可以理解的是，指定手部动作可以是结合动画实际需求预设设计的一系列手部动作，比如O形手势动作、大拇指朝上手势动作、大拇指朝下手势动作、胜利手势动作、不赞同手势动作、故障手势动作、请进手势动作、感谢手势动作等中的至少一个。具体地，由于已经预先建立了手部姿势数据库，可以对手部姿势数据库进行更新，因此可以按照手部姿势数据库的存储格式将新得到手部姿态数据存储至该手部姿势数据库。进一步地，可以借助于镜像(mirro)功能制作镜像手指姿势，例如将左手的姿势应用到右手上，提升动画制作的便捷性。
本实施方式中，可以实现智能化的数据映射，通过命名的方式快速检索出虚拟资产的手指绑定，这样更快速将手指姿势驱动到对应角色模型上，需要说明的是，保留自定义指认数据计算的结果和虚拟三维角色手指对应关系功能，以防止命名不同。
上述实施方式中，通过存储手部姿态数据至手部姿势数据库中，在需要用到相应的手部姿态数据时，可以从手部姿势数据库快速及时地获取，能够及时准确地对手部虚拟模型进行驱动，提升手部虚拟模型的动画效果，进一步地提升虚拟人物模型的逼真性。另一方面，若利用手部姿势数据库中的手部姿态数据生成动画文件，简化动画制作的过程，提升动画制作的效率，而且动画师更能够直观看到手指姿势。
在一些实施方式中，请参阅图3a，该动画生成方法还可以包括以下步骤：
S310a、获取目标对象当前手势对应的三维姿态数据。
S320a、利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配，确定与当前手势对应的目标手部姿态数据。
S330a、利用目标手部姿态数据驱动目标对象对应的虚拟人物模型的手部。
其中，目标对象可以是用于表示动作演员的对象。在一些情况下，由于拍摄设备的拍摄目标为动作演员，而手部只是动作演员的部分，基于动作演员当前手势对应的视频数据进行视频分析，若直接利用当前手势对应的三维姿态数据作为驱动数据源，可能会出现手指脱离虚拟人物模型的错误画面，而手部姿势数据库中存储的手臂姿态数据是相对准确的，因此，可以借助于手部姿势数据库中的手部姿态数据确定用于驱动手摸虚拟模型的目标手部姿态数据。
具体地，通过多个拍摄设备在不同视角对动作演员的手部进行拍摄，对应得到动作演员当前手势对应的多个视频数据，对当前手势对应的多个视频数据进行视频分析，得到当前手势对应的三维姿态数据。可以基于当前手势对应的三维姿态数据与手部姿势数据库中的手部姿态数据之间的相似性，判断当前手势对应的三维姿态数据与手部姿势数据库中的手部姿态数据是否匹配。可以将当前手势对应的三维姿态数据所匹配到的手部姿态数据确定为当前手势对应的目标手部姿态数据。进一步地，请参阅图3b，通过与当前手势对应的目标手部姿态数据对动作演员对应的虚拟人物模型的手部进行驱动，从而动作演员对应的虚拟人物模型的手部动画文件，呈现虚拟人物模型的手部动作。
上述实施方式中，通过视频分析获取动作演员当前手势对应的三维姿态数据，并根据三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配，确定与当前手势对应的目标手部姿态数据。从而通过目标手部姿态数据驱动动作演员对应的虚拟人物模型的手部。提升驱动手摸虚拟模型所使用的数据源的准确性，减少动画制作过程的错误，提升动画制作的质量。另外，通过创建手部姿势数据库，可以借助手部姿势数据库进行机器学习预判。
在一些实施方式中，所述手部虚拟模型绑定连接至虚拟人物模型的肢体部分的腕部。该动画生成方法还可以包括以下步骤：获取所述目标对象当前肢体动作对应的肢体动作数据；利用所述肢体动作数据驱动所述虚拟人物模型的肢体部分。
其中，可以通过动作捕捉(Motion Capture，也称为MoCap)技术采集目标对象的肢体动作数据。动作捕捉是通过捕捉记录动作演员的动作和身体表演，将其数据转化为角色运动动画的一种技术驱动型方法。MoCap可以捕捉目标对象的肢体动作。示例性地，惯性式动作捕捉方法使用惯性传感器，包括多轴陀螺仪、多轴加速度计和多轴磁强计，对人体各肢体部位的运动状态进行测量分析。示例性地，光学式动作捕捉是通过目标对象上特定光点来完成运动捕捉的任务，光学式动作捕捉大多采用计算机视觉原理。
在一些情况下，由于肢体动作属于大动作，手部动作属于精细动作，如果仅仅动作捕捉采集到目标对象的肢体动作，可以得到驱动虚拟人物模型肢体部分的肢体动作数据。但是如前文提到的通过数据手套采集到的手部动作并不精确，所以提出基于视频分析的方式，得到驱动虚拟人物模型手部的手部姿态数据。因此，针对不同的身体部位采用不同的方式确定对应的驱动数据源。
具体地，在通过视频分析方式驱动虚拟人物模型的手部精细动作的同时，可以通过目标对象上配置的动作捕捉设备对目标对象当前肢体动作进行采集，得到当前肢体动作对应的肢体动作数据。将得到的肢体动作数据作为所述虚拟人物模型的肢体部分的数据驱动源，以使虚拟人物模型完成对应的大动作相关动画。
上述实施方式中，通过联合使用动作捕捉和视频分析两种方式确定虚拟人物模型的驱动数据源，针对肢体部分采用动作捕捉确定的肢体动作数据进行驱动，针对手部采用视频分析方式确定的手部姿态数据进行驱动，提升虚拟人物模型的动画逼真性。
在一些实施方式中，请参阅图3c，虚拟人物模型的动画生成方法包括以下步骤：
S310c、获取目标对象当前手势对应的三维姿态数据和目标对象当前肢体动作对应的肢体动作数据。
S320c、利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配，确定与当前手势对应的目标手部姿态数据。
S330c、利用目标手部姿态数据驱动目标对象对应的虚拟人物模型的手部，以及利用肢体动作数据驱动虚拟人物模型的肢体部分。
上述实施方式中，一方面，在通过视频分析的方式确定目标对象当前手势对应的三维姿态数据的基础上，为了降低拍摄设备拍摄的视频数据对虚拟人物模型动画效果的影响，利用三维姿态数据与手部姿势数据库进行匹配，确定与当前手势对应的目标手部姿态数据；另一方面，通过动作捕捉的方式确定目标对象当前肢体动作对应的肢体动作数据；从而可以利用目标手部姿态数据、肢体动作数据分别对应驱动虚拟人物模型的手部和肢体部分，实现对虚拟人物模型的完成驱动，在驱动肢体部分的同时，利用准确的目标手部姿态数据驱动手部，减少错误手部动作出现的几率，展示正确的虚拟人物模型的形象，提升虚拟人物模型的动画逼真性。
在一些实施方式中，获取目标对象当前手势对应的三维姿态数据，包括：在展示有虚拟人物模型的直播过程中，获取目标对象当前手势对应的三维姿态数据。
在一些情况下，为了提升用户对直播活动的参与性或者直播趣味性，虚拟主播会出现直播过程中，虚拟主播对应有以虚拟人格设定、形象的虚拟人物模型，通过虚拟人物模型在视频网站、社交平台上进行在直播活动。因此，在直播过程中展示虚拟人物模型。具体地，在直播过程中，若需要展示虚拟人物模型，则需要驱动该虚拟人物模型的数据源，因此可以通过多个拍摄设备在不同视角对动作演员的手部进行拍摄，对应得到动作演员当前手势对应的多个视频数据，对当前手势对应的多个视频数据进行视频分析，得到当前手势对应的三维姿态数据。
上述实施方式中，通过在直播过程中展示有虚拟人物模型的，并获取目标对象当前手势对应的三维姿态数据，以确定该虚拟人物模型的手部驱动数据源，不仅可以提升直播趣味性，而且提升驱动手摸虚拟模型所使用的数据源的准确性。另外，通过创建手部姿势数据库，可以借助手部姿势数据库进行机器学习预判，可以存储固定的手部姿势，针对不同的手部姿势，可以用在实时直播的动态数据流中。
在一些实施方式中，利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配，包括：若拍摄当前手势得到的视频数据不满足手势清晰度预设条件，利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配。
在一些情况下，由于拍摄设备的拍摄目标为动作演员，而手部只是动作演员的部分，拍摄得到的视频数据包括当前手势部分的画面质量是不确定，若摄得到的视频数据包括当前手势部分的画面质量不高，将会直接影响从中提取到的手部特征点的二维坐标，进而影响当前手势对应的三维姿态数据，因此，需要判断当前手势对应的视频数据是否满足手势清晰度预设条件。
具体地，在虚拟人物直播过程中，若拍摄当前手势得到的视频数据不满足手势清晰度预设条件，表明若直接利用动作演员当前手势对应的三维姿态数据进行模型驱动，可能会出现于动作演员当前手势不符合的动画画面。因此不能够直接利用动作演员当前手势对应的三维姿态数据进行模型驱动，需要利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配，以得到与当前手势对应的目标手部姿态数据。利用目标手部姿态数据驱动动作演员对应的虚拟人物模型的手部。
在一些实施方式中，该动画生成方法还可以包括：若拍摄当前手势得到的视频数据满足手势清晰度预设条件，利用三维姿态数据驱动虚拟人物模型的手部。
具体地，在虚拟人物直播过程中，若拍摄当前手势得到的视频数据满足手势清晰度预设条件，表明能够直接利用动作演员当前手势对应的三维姿态数据进行模型驱动，因此，直接利用三维姿态数据驱动虚拟人物模型的手部。
上述实施方式中，通过判断当前手势对应的视频数据是否满足手势清晰度预设条件，并根据判断结果确定是否需要在手部姿势数据库进行手部姿态数据的匹配，提升虚拟手部模型驱动数据源的准确性，减少拍摄设备的局限性对手部虚拟模型动画效果的影响，在一定程度上确保手部虚拟模型的动画质量。另一方面，若利用在手部姿势数据库中匹配到的手部姿态数据生成动画文件，不仅可以减少动画师的工作量，提升动作制作效率，而且减少动画制作过程的错误，提升动画制作的质量。
在一些实施方式中，手部姿态数据存储在手部姿势数据库，手部姿势数据库包括手势类别与手部姿势数据的对应关系。请参阅图3d,该动画生成方法还可以包括以下步骤：
S310d、根据目标对象当前手势对应的三维姿态数据进行类别预测，确定当前手势的类别信息。
S320d、基于类别信息在手部姿势数据库进行匹配，确定与类别信息对应的目标手部姿态数据。
S330d、利用目标手部姿态数据驱动目标对象对应的虚拟人物模型的手部。
示例性地说明手部姿势数据库的建立过程。预先指导动作演员表演预设手势类别对应的手部动作。在表演过程中，通过多个拍摄设备在不同视角对预设手势类别对应的手部动作进行拍摄，对应得到多个表演视频数据。对多个表演视频数据进行视频分析，得到预设手势类别对应的手部动作的手部姿态数据，将该手部姿态数据以及对应的预设手势类别进行存储，以构建手部姿势数据库。其中，预设手势类别可以是握拳类别、兰花指类别、双手合十类别等中至少一个。
具体地，通过多个拍摄设备在不同视角对目标对象的手部进行拍摄，对应得到目标对象当前手势对应的多个视频数据，对目标对象当前手势对应的多个视频数据进行视频分析，得到目标对象当前手势对应的三维姿态数据。可以通过机器学习模型进行手势类别的预测，预先训练好手势类别预测模型，将目标对象当前手势对应的三维姿态数据输入至手势类别预测模型中进行类别预测，得到当前手势的类别信息。利用当前手势的类别信息在手部姿势数据库进行匹配，得到与当前手势的类别信息对应的目标手部姿态数据，从而利用目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
示例性地，通过目标对象当前手势对应的三维姿态数据预测到所述当前手势为兰花指类别，利用兰花指类别在所述手部姿势数据库进行查找，确定与兰花指类别对应的兰花指姿态数据。利用兰花指姿态数据驱动所述目标对象对应的虚拟人物模型的手部做出兰花指手势。
上述实施方式中，通过根据动作演员当前手势对应的三维姿态数据进行类别预测，得到当前手势的类别信息，并利用当前手势的类别信息在手部姿势数据库中进行匹配，确定与当前手势对应的目标手部姿态数据。从而通过目标手部姿态数据驱动动作演员对应的虚拟人物模型的手部。提升驱动手摸虚拟模型所使用的数据源的准确性，提升手部姿势的精准性，提升动画制作的质量。
在一些实施方式中，手部特征点的二维坐标包括任一手部特征点与第一视角对应的二维坐标、与第二视角对应的二维坐标。根据手部特征点的二维坐标、拍摄设备的校准数据进行三维重建，得到手部特征点的三维坐标，可以包括：根据与第一视角对应的二维坐标、与第二视角对应的二维坐标、拍摄设备的校准数据进行三角化计算，得到任一手部特征点在指定空间坐标系中的三维坐标。
其中，针对任一手部特征点，不同视角对应不同视图(view),通过特征提取，可以确定该任一手部特征点在不同视图中二维坐标。具体地，针对任一手部特征点，根据该任一手部特征点在第一视角对应的二维坐标、该任一手部特征点在第一视角对应的二维坐标进行三角化计算，得到该任一手部特征点的初步三维位置。进一步地，由于该任一手部特征点的位置的准确性影响着部动作对应的手部姿态数据以及动画制作质量，所以需要提升该任一手部特征点的位置准确性，因此，通过拍摄设备的校准数据对初步三维位置进行优化，以得到任一手部特征点在指定空间坐标系中的三维坐标。需要说明的是，指定空间坐标系可以结合建立手部虚拟模型的三维软件对应的空间坐标系。
示例性地，可以通过奇异值分解算法(Singular Value Decomposition，SVD)。基于手部特征点的二维坐标、拍摄视角对应的拍摄位姿信息确定手部特征点的估计三维坐标，进一步地，以重投影误差最小为准则，根据校准后内参、校准后外参对手部特征点的估计三维坐标进行优化，得到手部特征点的三维坐标。
上述实施方式中，通过尽可能地保证任一手部特征点在指定空间坐标系中的三维坐标的准确性，为虚拟人物模型的驱动提供准确的驱动数据源，也可以为动画文件的制作提供准确的驱动数据源。
在一些实施方式中，发生手部动作的手部放置台面上设置有标定图案。标定图案，用于对拍摄设备的内参、外参、畸变系数进行校准，以生成校准数据。
具体地，提供由手部放置台面，动作演员可以在手部放置台面上发出手部动作。台面上设置有标定图案，其中，标定图案可以是分布在预设位置处的二维码图案，也可以是棋盘格。前文已经描述过内参校准过程和外参校准过程，在此不再赘述，示例性地说明畸变系数校准过程。影响视频分析相机内参的可能是两种畸变，分別为径向時畸变和切向畸变。其中，径向畸变产生的原因主要是光线在远离相机透镜中心的地方偏折更大，切向畸变产生的原因主要是相机透镜不完全平行于图像平面。径向畸变可以通过如下的泰勒级数展开式进行校正：
xcorrected＝x(1+k1r2+k2r4+k3r6)
ycorrected＝y(1+k1r2+k2r4+k3r6)
切向畸变可以通过如下公式进行校正：
xcorrected＝x+[2p1xy+p2(r2+2x2)]
ycorrected＝y+[p1(r2+2y2)+2p2xy]
其中，(x，y)、(xcorrected，ycorrected)分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，r为图像像素点到图像中心点的距离，即r2＝x2+y2。从而可以获得拍摄设备的畸变参数，如上式中的(k1,k2,k3,p1,p2)，进而对拍摄的图片进行去畸变处理。
本实施方式中，可以采用张正友标定法，在手部放置台面上设置棋盘格，用作标定板，在得到一张标定板的图像之后，可以利用相应的图像检测算法得到每一个角点的像素坐标。可以将世界坐标系固定于棋盘格上则棋盘格上任一点的物理坐标W＝0，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，可以计算得到每一个角点在世界坐标系下的物理坐标(U，V，W＝0)。可以利用这些信息：每一个角点的像素坐标(u，v)、每一个角点在世界坐标系下的物理坐标(U，V，W＝0)，来进行拍摄设备的标定，获得拍摄设备的内外参矩阵、畸变参数。
本实施方式中，内参数校准后，为所有相机视图保存未失真的图像，在每对近距离相机之间运行外部校准工具。使用Ceres求解器(WITH_CERESCMake中的标志)通过在先前结果之上执行额外的Bundle Adjustment细化步骤来改进校准结果。使用相机0作为内部计算的基线，因此尽量避免奇怪的相机配置，其中相机0与其他相机完全隔离。理想情况下，相机0在物理上应该离所有其他相机最近(即更居中的摄像机)。要对上述示例执行捆绑调整优化，需运行以下过程：
验证外部校准是否成功的提示：
1)束调整步骤的最终重投影误差(重新缩放后)通常约为0.1-0.15像素。
2)平移矢量-全局距离：
(1)从标记指示的文件夹中手动打开每个生成的XML文件(如果未使用前者，则打开标记--camera_parameter_path指示的默认文件)。
(2)该字段CameraMatrix是一个3*4矩阵(可以看到该rows文件中的子字段为3和cols4)。
(3)以该3x4形状排列矩阵(例如，通过复制到具有3行和4列形状的不同文本文件)。
(4)该CameraMatrix字段最后一列的前3个组件定义了translation相对于全局原点(比如相机1)的全局(以米为单位)。
因此，该相机与相机1之间的距离应该(大约)等于translation向量的L2范数。
2)平移矢量-相对xyz距离：
3x1translation向量分别表示到原点相机的x、y和z距离。相机沿正z轴看，y轴在下，x轴在右。这应该与两个相机之间的实际距离相匹配。
在一些实施方式中，本说明书实施方式提供了一种动画生成方法，该动画生成方法可以包括以下步骤：
S402、基于多个视频数据进行特征提取，得到手部特征点的二维坐标；
其中，多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；
S404、根据手部特征点的二维坐标、拍摄设备的校准数据进行反演，得到手部特征点的三维坐标；
其中，发生手部动作的手部放置台面上设置有标定图案；标定图案，用于对拍摄设备的内参和外参进行校准，以生成校准数据。校准数据包括校准后内参、校准后外参。手部特征点的二维坐标包括任一手部特征点与第一视角对应的二维坐标、与第二视角对应的二维坐标。具体地，根据与第一视角对应的二维坐标、与第二视角对应的二维坐标、拍摄设备的校准数据进行三角化计算，得到任一手部特征点在指定空间坐标系中的三维坐标。
S406、基于手部特征点的三维坐标生成手部姿态数据；
其中，手部姿态数据用于对手部虚拟模型进行驱动，生成手部动画文件。
S408、存储手部姿态数据至手部姿势数据库中。
S410、在展示有虚拟人物模型的直播过程中，获取虚拟人物模型对应的动作演员当前手势对应的三维姿态数据；
S412、若拍摄当前手势得到的视频数据不满足手势清晰度预设条件，利用三维姿态数据与手部姿势数据库中的手部姿态数据进行匹配。确定与当前手势对应的目标手部姿态数据；
S414、利用目标手部姿态数据驱动动作演员对应的虚拟人物模型的手部。
S416、若拍摄当前手势得到的视频数据满足手势清晰度预设条件，直接利用三维姿态数据驱动虚拟人物模型的手部。
请参阅图4，本说明书实施方式提供了一种手部动画制作装置400，该手部动画制作装置可以包括多个拍摄设备402、手部放置台面404和计算机设备406。
多个拍摄设备402，用于在不同视角对动作对象412的手部动作进行拍摄，以得到多个视频数据。
手部放置台面404，设置有标定图案410，用于放置动作对象的手部；其中，标定图案，用于对拍摄设备的内参和外参进行校准，以生成校准数据。
计算机设备406，用于基于多个视频数据进行特征提取，得到手部特征点的二维坐标，根据手部特征点的二维坐标、拍摄设备的校准数据进行三维重建，得到手部特征点的三维坐标，基于手部特征点的三维坐标生成手部姿态数据；利用手部姿态数据对手部虚拟模型进行驱动，生成手部动画文件。
上述实施方式中，通过提供包括多个拍摄设备、手部放置台面、计算机设备的手部动画制作装置可以实现手部动画制作，降低手部动画制作的设备成本。为动画师快速制作动作文件提供易搭建的装置设备，便于动画师操作。可以理解的是，计算机设备406可以部署有机器学习算法，用于对多个视频数据进行特征提取，并输出手部特征点的三维坐标。
在一些实施方式中，请继续参阅图4，该手部动画制作装置还可以包括拍摄支架408，用于放置多个拍摄设备402；其中，手部放置台面404与拍摄支架408相对固定设置；其中，手部放置台面404具有能够旋转手部放置台面的旋转部件；拍摄支架408具有角度调节部件，角度调节部件，用于调节拍摄设备的拍摄视角。
关于动画生成装置的具体限定可以参见上文中对于动画生成方法的限定，在此不再赘述。
请参阅图5，本说明书实施方式提供了一种动画生成装置500，动画生成装置500包括特征提取模块510、坐标三维重建模块520、姿态数据生成模块530。
特征提取模块510，用于基于多个视频数据进行特征提取，得到手部特征点的二维坐标；其中，所述多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；
坐标三维重建模块520，用于根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标；
姿态数据生成模块530，用于基于所述手部特征点的三维坐标生成所述手部动作对应的手部姿态数据；其中，所述手部姿态数据用于对手部虚拟模型进行驱动。
在一些实施方式中，动画生成装置还包括存储模块，用于存储所述手部姿态数据至手部姿势数据库中。
在一些实施方式中，动画生成装置还包括三维姿态获取模块、姿态数据匹配模块和手部模型驱动模块。
三维姿态获取模块，用于获取动作演员当前手势对应的三维姿态数据。
姿态数据匹配模块，用于利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配，确定与所述当前手势对应的目标手部姿态数据。
第一模型驱动模块，用于利用所述目标手部姿态数据驱动所述动作演员对应的虚拟人物模型的手部。
在一些实施方式中，所述手部虚拟模型绑定连接至虚拟人物模型的肢体部分的腕部；动画生成装置还包括：肢体数据获取模块和肢体部分驱动模块。
肢体数据获取模块，用于获取所述目标对象当前肢体动作对应的肢体动作数据；
肢体部分驱动模块，用于利用所述肢体动作数据驱动所述虚拟人物模型的肢体部分。
在一些实施方式中，三维姿态获取模块，还用于在展示有所述虚拟人物模型的直播过程中，获取所述动作演员当前手势对应的三维姿态数据。
在一些实施方式中，姿态数据匹配模块，还用于若拍摄所述当前手势得到的视频数据不满足手势清晰度预设条件，利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配。
在一些实施方式中，动画生成装置还包括第二模型驱动模块，用于若拍摄所述当前手势得到的视频数据满足手势清晰度预设条件，利用所述三维姿态数据驱动所述虚拟人物模型的手部。
在一些实施方式中，所述手部姿态数据存储在手部姿势数据库。动画生成装置还包括：手势类别预测模块、手势类别匹配模块和手部模型驱动模块；
手势类别预测模块，用于根据目标对象当前手势对应的三维姿态数据进行类别预测，确定所述当前手势的类别信息；
手势类别匹配模块，用于基于所述类别信息在所述手部姿势数据库进行匹配，确定与所述类别信息对应的目标手部姿态数据；
手部模型驱动模块，用于利用所述目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
在一些实施方式中，所述手部特征点的二维坐标包括任一手部特征点与第一视角对应的二维坐标、与第二视角对应的二维坐标；坐标三维重建模块，还用于根据所述与第一视角对应的二维坐标、所述与第二视角对应的二维坐标、所述拍摄设备的校准数据进行三角化计算，得到所述任一手部特征点在指定空间坐标系中的三维坐标。
在一些实施方式中，所述手部动作发生在手部放置台面上，手部放置台面上设置有标定图案；所述标定图案，用于对所述拍摄设备的内参、外参、畸变系数进行校准，以生成所述校准数据。
关于动画生成装置的具体限定可以参见上文中对于动画生成方法的限定，在此不再赘述。上述动画生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种动画生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
在一些实施方式中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施方式中的方法步骤。
在一些实施方式中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由计算机设备的处理器执行时实现上述实施方式中的方法步骤。
本领域普通技术人员可以理解实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施方式的流程。其中，本说明所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种动画生成方法，其特征在于，所述方法包括：
基于多个视频数据进行特征提取，得到手部特征点的二维坐标；其中，所述多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；
根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标；
基于所述手部特征点的三维坐标生成所述手部动作对应的手部姿态数据；其中，所述手部姿态数据用于对手部虚拟模型进行驱动。
2.根据权利要求1所述的方法，其特征在于，所述手部姿态数据存储在手部姿势数据库；所述方法还包括：
获取目标对象当前手势对应的三维姿态数据；
利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配，确定与所述当前手势对应的目标手部姿态数据；
利用所述目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
3.根据权利要求1或2所述的方法，其特征在于，所述手部虚拟模型绑定连接至虚拟人物模型的肢体部分的腕部；所述方法还包括：
获取目标对象当前肢体动作对应的肢体动作数据；
利用所述肢体动作数据驱动所述虚拟人物模型的肢体部分。
4.根据权利要求2所述的方法，其特征在于，所述获取目标对象当前手势对应的三维姿态数据，包括：
在展示有所述虚拟人物模型的直播过程中，获取所述目标对象当前手势对应的三维姿态数据；
所述利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配，包括：
若拍摄所述当前手势得到的视频数据不满足手势清晰度预设条件，利用所述三维姿态数据与所述手部姿势数据库中的手部姿态数据进行匹配。
5.根据权利要求2或4所述的方法，其特征在于，所述方法还包括：
若拍摄所述当前手势得到的视频数据满足手势清晰度预设条件，利用所述三维姿态数据驱动所述虚拟人物模型的手部。
6.根据权利要求1所述的方法，其特征在于，所述手部姿态数据存储在手部姿势数据库，所述手部姿势数据库包括手势类别与手部姿势数据的对应关系；所述方法还包括：
根据目标对象当前手势对应的三维姿态数据进行类别预测，确定所述当前手势的类别信息；
基于所述类别信息在所述手部姿势数据库进行匹配，确定与所述类别信息对应的目标手部姿态数据；
利用所述目标手部姿态数据驱动所述目标对象对应的虚拟人物模型的手部。
7.根据权利要求1任一项所述的方法，其特征在于，所述手部特征点的二维坐标包括任一手部特征点与第一视角对应的二维坐标、与第二视角对应的二维坐标；所述根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标，包括：
根据所述与第一视角对应的二维坐标、所述与第二视角对应的二维坐标、所述拍摄设备的校准数据进行三角化计算，得到所述任一手部特征点在指定空间坐标系中的三维坐标。
8.根据权利要求1任一项所述的方法，其特征在于，所述手部动作发生在手部放置台面上，所述手部放置台面上设置有标定图案；所述标定图案，用于对所述拍摄设备的内参、外参、畸变系数进行校准，以生成所述校准数据。
9.一种手部动画制作装置，其特征在于，所述装置包括：
多个拍摄设备，用于在不同视角对动作对象的手部动作进行拍摄，以得到多个视频数据；
手部放置台面，设置有标定图案，用于放置所述动作对象的手部；其中，所述标定图案，用于对所述拍摄设备的内参和外参进行校准，以生成校准数据；
计算机设备，用于基于所述多个视频数据进行特征提取，得到手部特征点的二维坐标，根据所述手部特征点的二维坐标和所述校准数据进行三维重建，得到所述手部特征点的三维坐标，基于所述手部特征点的三维坐标生成手部姿态数据；利用所述手部姿态数据对手部虚拟模型进行驱动。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
拍摄支架，用于放置所述多个拍摄设备；其中，所述手部放置台面与所述拍摄支架相对固定设置；其中，所述手部放置台面具有能够旋转所述手部放置台面的旋转部件；所述拍摄支架具有角度调节部件，所述角度调节部件，用于调节所述拍摄设备的拍摄视角。
11.一种动画生成装置，其特征在于，所述装置包括：
特征提取模块，用于基于多个视频数据进行特征提取，得到手部特征点的二维坐标；其中，所述多个视频数据是通过多个拍摄设备在不同视角对手部动作进行拍摄对应得到的；
坐标三维重建模块，用于根据所述手部特征点的二维坐标和所述拍摄设备的校准数据进行三维重建，得到所述手部特征点的三维坐标；
姿态数据生成模块，用于基于所述手部特征点的三维坐标生成所述手部动作对应的手部姿态数据；其中，所述手部姿态数据用于对手部虚拟模型进行驱动。
12.一种计算机设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令以实现权利要求1至8中任一项所述的方法。
CN202310237164.5A 2023-03-02 2023-03-02 动画生成方法、装置、计算机设备及存储介质 Pending CN116485957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310237164.5A CN116485957A (zh) 2023-03-02 2023-03-02 动画生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310237164.5A CN116485957A (zh) 2023-03-02 2023-03-02 动画生成方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116485957A true CN116485957A (zh) 2023-07-25

Family

ID=87210928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310237164.5A Pending CN116485957A (zh) 2023-03-02 2023-03-02 动画生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116485957A (zh)

Similar Documents

Publication Publication Date Title
CN110599605B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110427917B (zh) 用于检测关键点的方法和装置
JP6515813B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
US20200184726A1 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
CN112614213A (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
WO2021052208A1 (zh) 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
CN107646126A (zh) 用于移动设备的相机姿态估计
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP2016530581A (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN114782646B (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
US11373329B2 (en) Method of generating 3-dimensional model data
CN115515487A (zh) 基于使用多视图图像的3d人体姿势估计的基于视觉的康复训练系统
CN118071968B (zh) 一种基于ar技术的智能交互深展示方法及系统
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
Guzov et al. Visually plausible human-object interaction capture from wearable sensors
Schröder et al. Design and evaluation of reduced marker layouts for hand motion capture
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
CN108027647B (zh) 用于与虚拟对象交互的方法和设备
CN116205980A (zh) 一种移动空间内虚拟现实定位追踪方法及装置
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
CN116485957A (zh) 动画生成方法、装置、计算机设备及存储介质
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40090183

Country of ref document: HK