CN116051699B - 动捕数据的处理方法、装置、设备及存储介质 - Google Patents

动捕数据的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116051699B
CN116051699B CN202310318727.3A CN202310318727A CN116051699B CN 116051699 B CN116051699 B CN 116051699B CN 202310318727 A CN202310318727 A CN 202310318727A CN 116051699 B CN116051699 B CN 116051699B
Authority
CN
China
Prior art keywords
foot
data
loss
global displacement
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310318727.3A
Other languages
English (en)
Other versions
CN116051699A (zh
Inventor
成庆荣
张保成
李卓
葛文浩
付星辉
孙钟前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310318727.3A priority Critical patent/CN116051699B/zh
Publication of CN116051699A publication Critical patent/CN116051699A/zh
Application granted granted Critical
Publication of CN116051699B publication Critical patent/CN116051699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种动捕数据的处理方法、装置、设备及存储介质，属于视频动捕技术领域。该方法包括：对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据；基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据；基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失；基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据；采用本申请实施例提供的方法，能够减少视频动捕数据中存在的脚部穿模问题以及滑步问题，提高视频动捕数据的质量。

Description

动捕数据的处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频动捕技术领域，特别涉及一种动捕数据的处理方法、装置、设备及存储介质。
背景技术
人体运动捕捉技术能够直接获取人体的动作并且采用数字化方式表示，进而应用于其他领域。而视频动作捕捉技术是其中成本最低的运动数据获取方式，具有广泛的应用前景。
但是由于视频中的平面运动数据和三维动作数据之间存在显著的语义鸿沟，因而得到的动作数据广泛存在瑕疵，比如脚部穿模问题和滑步问题，相关技术中，主要是通过动画师对动作数据中存在的脚部穿模问题和滑步问题进行后期修复，需要消耗大量的时间和费用，成本较高。
发明内容
本申请实施例提供了一种动捕数据的处理方法、装置、设备及存储介质，能够提高视频动捕数据的质量，减少视频动捕数据中存在的脚部穿模问题以及滑步问题。所述技术方案如下。
一方面，本申请实施例提供了一种动捕数据的处理方法，所述方法包括：
对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；
基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；
基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；
基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。
另一方面，本申请实施例提供了一种动捕数据的处理装置，所述装置包括：
第一分析模块，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；
第二分析模块，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；
损失确定模块，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；
优化模块，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的动捕数据的处理方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的动捕数据的处理方法。
另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的动捕数据的处理方法。
本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。
附图说明
图1示出了本申请一个示例性实施例提供的动捕数据的处理框架图；
图2示出了本申请一个示例性实施例提供的实施环境的示意图；
图3示出了本申请一个示例性实施例提供的动捕数据的处理方法的流程图；
图4示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图；
图5示出了本申请一个示例性实施例提供的通过VIT模型确定2D关键点信息的结构示意图；
图6示出了本申请一个示例性实施例提供的通过TCN模型确定脚部接地数据的结构示意图；
图7示出了本申请一个示例性实施例提供的构建全局位移数据的第二横轴分量以及第二纵轴分量的时序差分关系的示意图；
图8示出了本申请一个示例性实施例提供的分阶段迭代优化的流程图；
图9示出了本申请又一个示例性实施例提供的动捕数据的处理方法的流程图；
图10示出了本申请一个示例性实施例提供的动捕数据的处理装置的结构框图；
图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
相关技术中，通过对动作视频进行视频动捕分析，得到原始视频动捕数据后，直接根据该原始视频动捕数据，生成动画视频，从而由动画后期师对动画视频中出现的脚部穿模问题以及脚部滑步问题进行后期处理，导致动画后期师需要耗费较长的时间和费用，成本较高。
本申请实施例中，除了根据动作视频确定原始视频动捕数据，还根据动作视频确定各个视频帧中目标对象的脚接地数据，从而基于原始视频动捕数据以及脚接地数据，确定原始视频动捕数据中存在的脚部穿模损失以及脚部滑步损失，并根据脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，从而得到目标视频动捕数据，该目标视频动捕数据的数据质量高于原始视频动捕数据。
示意性的，如图1所示，计算机设备获取动作视频101，从而通过视频动捕分析模块103确定原始视频动捕数据，根据接地状态分析模块102确定各个视频帧中目标对象的脚接地数据，进而通过迭代优化模块104，基于脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标视频动捕数据105。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明。
请参考图2，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端220和服务器240。其中，终端220与服务器240之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端220是安装有具有动捕数据处理功能的应用程序的电子设备。其中，该动捕数据处理功能可以为终端中原生应用的功能，或者，第三方应用的功能；该电子设备可以是智能手机、平板电脑、个人计算机、可穿戴式设备或车载终端等等，图2中，以终端220为个人计算机为例进行说明，但并不对此构成限定。
服务器240可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中，服务器240可以为具有动捕数据处理功能的应用的后台服务器。
在一种可能的实施方式下，如图2所示，服务器240和终端220之间存在数据交互。在终端220根据动作视频确定出原始视频动捕数据以及脚接地数据之后，终端220将原始视频动捕数据以及脚接地数据发送给服务器240，从而由服务器240基于原始视频动捕数据以及脚接地数据，确定脚部穿模损失以及脚部滑步损失，并根据脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，并将目标视频动捕数据发送给终端220，进而终端220可以根据该目标视频动捕数据生成动画视频。
请参考图3，其示出了本申请一个示例性实施例提供的动捕数据的处理方法的流程图，本实施例以该方法用于计算机设备（包括终端220和/或服务器240）为例进行说明，该方法包括如下步骤。
步骤301，对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，全局位移数据表征目标对象的中心骨骼节点的位移情况。
在一种可能的实施方式中，计算机设备对目标对象进行视频动捕分析，并得到原始视频动捕数据，可选的，视频动捕分析的方式可以是对目标对象进行实时动作采集和数据分析，也可以是直接对离线动作视频进行动捕数据分析，本申请实施例对此不作限定。
可选的，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，其中，全局位移数据表征目标对象的中心骨骼节点的位移情况，该中心骨骼节点为人体骨盆重心点；骨骼旋转数据表征目标对象的各个骨骼关节点的运动旋转情况。
在一种可能的实施方式中，计算机设备确定目标对象对应的24个骨骼节点，并对动作视频中的目标对象进行视频动捕分析，从而基于各个视频帧中中心骨骼节点的位置，确定出目标对象的全局位移数据；基于各个视频帧中24个骨骼节点的位置，确定出目标对象的骨骼旋转数据。
步骤302，基于动作视频，对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，脚接地数据表征目标对象的脚部接地情况。
在直接根据原始视频动捕数据生成动画数据的过程中，由于视频中的平面运动数据和三维动作数据之间存在语义鸿沟，导致得到的动作数据难免存在瑕疵，比如脚部穿模问题和滑步问题，因此为了对原始视频动捕数据进行优化，提高视频动捕数据的质量，计算机设备可以基于目标对象的脚接地数据，对原始视频动捕数据中存在的脚部穿模问题以及滑步问题进行处理。
在一种可能的实施方式中，计算机设备可以基于动作视频，对目标对象进行脚接地状态分析，从而得到各个视频帧中目标对象的脚接地数据，其中，脚接地数据表征目标对象的脚部接地情况。
可选的，计算机设备可以在目标对象的脚部选取四个关键点，分别为左脚尖、左脚跟、右脚尖以及右脚跟，从而通过确定各个视频帧中四个关键点的接地情况，得到目标对象的脚接地数据。
步骤303，基于原始视频动捕数据以及脚接地数据，确定原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，脚部穿模损失表征各个视频帧中目标对象的脚部陷地情况，脚部滑步损失表征目标对象在脚接地状态下的脚部滑动情况。
在一种可能的实施方式中，为了减少原始视频动捕数据中存在的脚部穿模问题以及脚部滑步问题，计算机设备可以根据原始视频动捕数据以及脚接地数据，确定原始视频动捕数据对应的脚部穿模损失以及脚部滑步损失。
其中，脚部穿模损失表征各个视频帧中目标对象的脚部陷地情况，可选的，计算机设备可以根据目标对象的四个脚部关键点的陷地情况，确定各个视频帧中的脚部穿模损失。脚部滑步损失表征目标对象在脚接地状态下的脚部滑动情况，可选的，在目标对象脚部处于接地状态的情况下，计算机设备可以根据相邻视频帧之间四个脚部关键点的位移情况，确定原始视频动捕数据中的脚部滑步损失。
步骤304，基于脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化，得到目标对象的目标视频动捕数据。
在一种可能的实施方式中，在确定脚部穿模损失以及脚部滑步损失之后，计算机设备对原始视频动捕数据进行迭代优化，从而得到目标对象的目标视频动捕数据，其中，目标视频动捕数据的质量高于原始视频动捕数据，且目标视频动捕数据中存在的脚部穿模问题和脚部滑步问题明显少于原始视频动捕数据。
在一种可能的实施方式中，计算机设备可以先基于脚部穿模损失对原始视频动捕数据进行迭代优化，得到优化后的视频动捕数据，进而再基于脚部滑步损失对优化后的视频动捕数据进行迭代优化，从而得到目标视频动捕数据。
综上所述，本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。
在一种可能的实施方式中，为了提高对原始视频动捕数据中的脚部穿模问题和脚部滑步问题的优化准确性，计算机设备可以根据原始视频动捕数据先构建目标对象的参数化模型，再根据参数化模型确定全局位移数据和各个脚部骨骼节点在三维坐标空间内的三维空间坐标，从而确定出脚部穿模损失以及脚部滑步损失，对原始视频动捕数据进行迭代优化。
请参考图4，其示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图，本实施例以该方法用于计算机设备（包括终端220和/或服务器240）为例进行说明，该方法包括如下步骤。
步骤401，对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，原始视频动捕数据包括各个视频帧中目标对象的全局位移数据以及骨骼旋转数据，全局位移数据表征目标对象的中心骨骼节点的位移情况。
本步骤的具体实施方式可以参考步骤301，本实施例在此不作赘述。
步骤402，基于动作视频，对各个视频帧中的目标对象进行2D关键点提取，得到各个视频帧中目标对象对应的2D关键点信息。
在一种可能的实施方式中，计算机设备根据动作视频，对各个视频帧中的目标对象进行2D关键点提取，其中，2D关键点数量可以和骨骼节点数量相同，也可以多于骨骼节点数量，本申请实施例对此不作限定。
可选的，计算机设备可以通过VIT（Vision Transformer）模型完成对目标对象的2D关键点提取。在一种可能的实施方式中，计算机设备将动作视频输入VIT模型，通过VIT模型对动作视频中的各个视频帧进行编码和解码，从而输出各个视频帧对应的2D关键点信息。
示意性的，如图5所示，计算机设备将动作视频501中的各个视频帧输入VIT模型，VIT模型将各个视频帧划分为固定大小的补丁（Patch）图像输入补丁嵌入层（PatchEmbedding），并通过转换编码器502（Transformer Encoder）对各个补丁图像进行特征点提取，进而通过解码器503（Decoder）对经过特征点提取的补丁图像进行解码，从而得到各个视频帧中的2D关键点信息504。
步骤403，基于2D关键点信息，确定各个视频帧中目标对象的脚接地数据。
在一种可能的实施方式中，计算机设备基于各个视频帧中目标对象的2D关键点信息，确定目标对象的脚部关键点的接地状态，从而得到脚接地数据。
在一种可能的实施方式中，计算机设备根据2D关键点信息，确定各个视频帧中目标对象的脚部骨骼节点的接地状态，包括左脚尖、左脚跟、右脚尖以及右脚跟的接地状态，进而根据接地状态对各个脚部骨骼节点进行标记，生成脚接地数据。比如，计算机设备可以将接地状态的脚部骨骼节点标记为1，将未接地的脚部骨骼节点标记为0。
在一种可能的实施方式中，计算机设备还可以将各个视频帧对应的2D关键点信息输入TCN（Temporal Convolutional Network，时域卷积网络）模型，通过TCN模型获取各个视频帧中目标对象的脚接地数据。
在一种可能的实施方式中，由于TCN模型的时间序列长度是固定的，因此在动作视频的帧数较多的情况下，计算机设备还需要对视频帧进行分割，将视频帧分为多个时间序列长度的子视频帧，从而再将各个子视频帧对应的2D关键点信息输入TCN模型，通过TCN模型输出各个视频帧中的脚接地数据。
示意性的，如图6所示，计算机设备将时间序列长度为
Figure SMS_1
的子视频帧以及各个子视频帧对应的2D关键点信息601输入TCN模型602，通过该TCN模型602输出各个视频帧中目标对象的脚接地数据603。
步骤404，基于原始视频动捕数据，构建目标对象的参数化模型，参数化模型用于指示目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标。
在一种可能的实施方式中，为了能够确定出原始视频动捕数据中的脚部穿模损失和脚部滑步损失，计算机设备需要首先确定出各个视频帧中目标对象的脚部骨骼节点在三维坐标空间内的空间坐标，因此计算机设备可以首先根据原始视频动捕数据，构建目标对象的参数化模型，该参数化模型用于指示目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标。
在一种可能的实施方式中，计算机设备基于原始视频动捕数据中的全局位移数据以及骨骼旋转数据，构建目标对象对应的SMPL模型（Skinned Multi-Person LinearModel），该SMPL模型能够表征目标对象的人体姿态变化，从而根据该SMPL模型得到目标对象对应的各个骨骼节点坐标以及mesh坐标。
步骤405，基于参数化模型，获取各个视频帧中目标对象的脚部骨骼节点坐标。
进一步的，计算机设备从参数化模型中获取各个视频帧中目标对象的脚部骨骼节点坐标，包括左脚尖坐标、左脚跟坐标、右脚尖坐标以及右脚跟坐标。
在一种可能的实施方式中，计算机设备构建目标对象对应的SMPL模型，该SMPL模型上各个点的三维坐标可以表示为
Figure SMS_2
，其中，/>
Figure SMS_3
是指目标对象的骨骼旋转数据，/>
Figure SMS_4
是指目标对象的全局位移数据，/>
Figure SMS_5
可以分为三个维度，分别是/>
Figure SMS_6
，/>
Figure SMS_7
，/>
Figure SMS_8
代表该点在三个不同方向上的位移。
步骤406，基于脚部骨骼节点坐标，确定各个视频帧中的脚部穿模损失。
在一种可能的实施方式中，在确定各个视频帧中目标对象对应的脚部骨骼节点坐标后，计算机设备可以根据脚部骨骼节点坐标，对各个视频帧中的脚部穿模损失进行确定。
在一种可能的实施方式中，考虑到脚部穿模问题是指脚部陷入地面，即在三维坐标空间内可以表现为脚部骨骼节点坐标在竖轴方向上低于地面，因此计算机设备可以首先确定出各个视频帧中脚部骨骼节点坐标的第一竖轴分量，进而根据第一竖轴分量，确定各个视频帧中的脚部穿模损失。
在一种可能的实施方式中，针对各个视频帧，计算机设备分别对左脚尖坐标、左脚跟坐标、右脚尖坐标以及右脚跟坐标的第一竖轴分量进行确定，该第一竖轴分量可以表示为
Figure SMS_9
，表示第/>
Figure SMS_10
帧的第/>
Figure SMS_11
个位置在竖轴/>
Figure SMS_12
轴上的数值，进而在视频帧的帧数为/>
Figure SMS_13
的情况下，脚部穿模损失可以表示为/>
Figure SMS_14
，即在三维空间坐标内地面在竖轴方向上的值为0，在脚部骨骼节点的第一竖轴分量为负值的情况下，即产生脚部穿模损失。
步骤407，基于脚部骨骼节点坐标以及脚接地数据，确定脚部滑步损失。
在一种可能的实施方式中，在确定各个视频帧中目标对象对应的脚部骨骼节点坐标后，计算机设备可以根据脚部骨骼节点坐标以及脚接地数据，对各个视频帧中的脚部滑步损失进行确定。
在一种可能的实施方式中，考虑到脚部滑步问题是指脚部处于接地状态的情况下出现位移的现象，即在三维空间坐标内可以表现为在脚部处于接地状态的情况下，相邻视频帧之间的脚部骨骼节点坐标在水平方向上发生位移变化，该水平方向包括三维坐标空间内的横轴方向和纵轴方向，因此计算机设备可以通过计算相邻帧之间的脚部骨骼节点坐标在横轴方向和纵轴方向的差值，确定脚部滑步损失。
在一种可能的实施方式中，计算机设备可以先确定各个视频帧中脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量，并根据第一横轴分量以及第一纵轴分量，计算相邻视频帧之间目标对象对应的脚部位移差值，从而根据该脚部位移差值以及脚接地数据，确定脚部滑步损失。
在一种可能的实施方式中，计算机设备将脚部骨骼节点坐标表示为
Figure SMS_18
，脚部骨骼节点坐标的第一横轴分量可以表示为/>
Figure SMS_20
，第一纵轴分量可以表示为/>
Figure SMS_23
，从而相邻视频帧之间的脚部位移差值可以表示为/>
Figure SMS_17
，即第/>
Figure SMS_21
帧和第/>
Figure SMS_24
帧之间在第/>
Figure SMS_26
位置处的脚部位移差值，并且第/>
Figure SMS_15
帧的第/>
Figure SMS_19
位置处的脚接地数据可以表示为/>
Figure SMS_22
，用0或1表示，其中，1表示接地，0表示未接地，进而在视频帧的帧数为/>
Figure SMS_25
的情况下，计算机设备可以将脚部滑步损失表示为
Figure SMS_16
，即在脚接地状态下，相邻视频帧之间产生脚部位移差值的情况下，即产生脚部滑步损失。
步骤408，基于全局位移数据以及参数化模型，确定全局位移数据在三维坐标空间内的第二竖轴分量。
在一种可能的实施方式中，为了提高对原始视频动捕数据中存在的脚部穿模问题和脚部滑步问题的优化效率，考虑到脚部穿模损失主要体现在竖直方向上的位移情况，因此针对原始视频动捕数据中存在的脚部穿模问题，计算机设备可以单独对全局位移数据在三维坐标空间内的竖轴分量进行迭代优化。
在一种可能的实施方式中，计算机设备根据全局位移数据以及构建的参数化模型，确定出全局位移数据在三维坐标空间内的第二竖轴分量，可选的，全局位移数据可以表示为
Figure SMS_27
，第二竖轴分量可以表示为/>
Figure SMS_28
。
步骤409，基于脚部穿模损失，对第二竖轴分量进行迭代优化。
在一种可能的实施方式中，在确定出脚部穿模损失以及全局位移数据的第二竖轴分量之后，计算机设备根据脚部穿模损失，对第二竖轴分量进行迭代优化。
在一种可能的实施方式中，计算机设备可以使用Adam优化器，通过脚部穿模损失对第二竖轴分量进行迭代优化，比如，Adam优化器的学习率可以设置为0.001，迭代次数可以设置为200次。
步骤410，基于脚部穿模损失以及脚部滑步损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。
在一种可能的实施方式中，在确定脚部穿模损失以及脚部滑步损失，并且对全局位移数据的第二竖轴分量迭代优化，减少了脚部穿模问题之后，计算机设备还需要根据脚部滑步损失，对原始视频动捕数据中的脚部滑步问题进行优化，并且为了避免在优化脚部滑步问题的过程中，再次引起脚部穿模问题，计算机设备可以在基于脚部滑步损失优化脚部滑步问题的过程中，同时基于脚部穿模损失继续保持对第二竖轴分量的优化。
在一种可能的实施方式中，计算机设备根据脚部穿模损失以及脚部滑步损失，对全局位移数据
Figure SMS_29
以及骨骼旋转数据/>
Figure SMS_30
进行迭代优化，从而得到目标视频动捕数据。
在一种可能的实施方式中，计算机设备可以使用Adam优化器，通过脚部穿模损失以及脚部滑步损失，对全局位移数据以及骨骼旋转数据进行迭代优化，比如，Adam优化器的学习率可以设置为0.001，迭代次数可以设置为600次。
在一种可能的实施方式中，由于全局位移数据的第二横轴分量以及第二纵轴分量在运动过程中变化范围较大，为了降低优化难度，计算机设备还可以对全局位移数据的优化参数进行调整，将全局位移数据中的绝对变化量第二横轴分量
Figure SMS_31
以及第二纵轴分量/>
Figure SMS_32
调整为相邻视频帧之间的相对变化量第二横轴分量差值/>
Figure SMS_33
以及第二纵轴分量差值/>
Figure SMS_34
，从而加快优化速度，提高优化后的效果。
在一种可能的实施方式中，计算机设备首先根据全局位移数据以及参数化模型，确定全局位移数据在三维坐标空间内的第二横轴分量以及第二纵轴分量，并对第二横轴分量以及第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值。
示意性的，如图7所示，计算机设备通过对全局位移数据
Figure SMS_35
中/>
Figure SMS_36
维度构建时序差分关系，将全局位移数据中的绝对变化量第二横轴分量/>
Figure SMS_37
以及第二纵轴分量/>
Figure SMS_38
调整为相邻视频帧之间的相对变化量第二横轴分量差值/>
Figure SMS_39
以及第二纵轴分量差值/>
Figure SMS_40
。
进一步的，计算机设备根据基于脚部穿模损失以及脚部滑步损失，对第二横轴分量差值、第二纵轴分量差值、第二竖轴分量以及骨骼旋转数据进行迭代优化，其中，第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量组成的优化参数可以表示为
Figure SMS_41
，进而计算机设备根据优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定出优化后的全局位移数据，并根据优化后的全局位移数据以及骨骼旋转数据，得到目标视频动捕数据，其中，优化后的全局位移数据可以表示为/>
Figure SMS_42
，优化后的骨骼旋转数据可以表示为/>
Figure SMS_43
。
上述实施例中，通过构建目标对象的参数化模型，确定出脚部骨骼节点坐标，从而根据各个视频帧中脚部骨骼节点坐标的第二竖轴分量确定脚部穿模损失，根据相邻视频帧之间的脚部骨骼节点坐标的变化值确定脚部位移差值，进而得到脚部滑步损失，提高了迭代优化过程中损失计算的效率和准确性。
此外，先针对脚部穿模问题对第二竖轴分量进行迭代优化，再针对脚部滑步问题对全局位移数据以及骨骼旋转数据进行迭代优化，并且在针对脚部滑步问题进行迭代优化的过程中，继续保持对第二竖轴分量的迭代优化，提高了迭代优化的效率的同时，增强了对脚部穿模问题和脚部滑步问题的优化效果。
在一种可能的实施方式中，在针对脚部穿模问题以及脚部滑步问题，对全局位移数据和骨骼旋转数据进行迭代优化的过程中，为了避免优化后的全局位移数据与优化前的全局位移数据之间差值较大，尤其是在优化参数调整为相邻视频帧之间的坐标分量差值的情况下，可能会产生累计误差，导致优化后的全局位移数据与优化前的全局位移数据之间差值较大，计算机设备可以根据优化前的全局位移数据以及优化后的全局位移数据，确定全局位移损失，从而以该全局位移损失，对全局位移数据和骨骼旋转数据进行迭代优化。
在一种可能的实施方式中，在根据脚部穿模损失以及脚部滑步损失，对全局位移数据进行优化，得到优化后的全局位移数据之后，计算机设备根据优化前的全局位移数据以及优化后的全局位移数据，确定出全局位移损失。
在一种可能的实施方式中，考虑到累加误差一般在间隔多个视频帧之后才会产生，计算机设备可以选取间隔视频帧中的全局位移数据，并计算间隔视频帧中优化前的全局位移数据与优化后的全局位移数据之间的全局位移差值，从而确定全局位移损失。
在一种可能的实施方式中，计算机设备首先确定视频帧间隔，从而根据视频帧间隔以及动作视频的视频帧数，确定采样视频帧以及采样视频帧数，进一步的，根据优化前的全局位移数据以及优化后的全局位移数据，确定各个采样视频帧中全局位移数据与优化后的全局位移数据之间的全局位移差值，进而根据采样视频帧数以及全局位移差值，通过均方误差计算公式确定全局位移损失。
在一种可能的实施方式中，优化前的全局位移数据可以表示为
Figure SMS_44
，优化后的全局位移数据可以表示为/>
Figure SMS_45
，采样视频帧数为/>
Figure SMS_46
，全局位移损失可以表示为
Figure SMS_47
。
进而，计算机设备根据脚部穿模损失、脚部滑步损失以及全局位移损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。
上述实施例中，在根据脚部穿模损失以及脚部滑步损失，对全局位移数据进行优化，得到优化后的全局位移数据之后，通过确定间隔视频帧中优化前的全局位移数据与优化后的全局位移数据之间的全局位移差值，通过均方误差公式得到全局位移损失，从而加入全局位移损失对全局位移数据以及骨骼旋转数据进行迭代优化，避免了优化后的全局位移数据与优化前的全局位移数据之间位移相差较大的问题，保证了目标视频动捕数据与原始视频动捕数据尽可能接近，提高了迭代优化的效率以及目标视频动捕数据的数据质量。
在一种可能的实施方式中，为了保证根据目标视频动捕数据能够得到流畅的动画效果，避免视频帧之间的突变，计算机设备还可以根据全局位移数据，对相邻视频帧之间的全局位移速度损失进行确定，从而根据脚部穿模损失、脚部滑步损失以及全局位移速度损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。
在一种可能的实施方式中，相邻视频帧之间的全局位移速度差值可以表示为
Figure SMS_48
，即第/>
Figure SMS_49
帧和第/>
Figure SMS_50
帧之间的全局位移速度差值，即第/>
Figure SMS_51
帧的加速度，从而在视频帧的帧数为
Figure SMS_52
的情况下，全局位移速度损失可以表示为/>
Figure SMS_53
。
上述实施例中，通过在迭代优化过程中加入全局位移速度损失，减少了视频帧之间全局位移数据的突变问题，提高了迭代优化的效率，增加了根据目标视频动捕数据得到的动画的流畅度。
在一种可能的实施方式中，为了能够根据脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失对脚部穿模问题和脚部滑步问题进行针对性的迭代优化，提高迭代优化的效率，计算机设备可以将迭代优化过程分为两个阶段，并且在两个阶段分别设置不同的损失权重。
在一种可能的实施方式中，在第一阶段，计算机设备基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失，从而基于第一加权损失，对全局位移数据进行迭代优化。
在一种可能的实施方式中，在第一阶段，为了针对脚部穿模问题，对全局位移数据中的第二竖轴分量进行迭代优化，可以将第一脚部穿模损失权重设置大于第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重。
在一个示意性的例子中，可以将第一脚部穿模损失权重设置为100，第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重均设置为0。
在一种可能的实施方式中，在完成对全局位移数据中的第二竖轴分量的迭代优化的情况下，在第二阶段，计算机设备基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失，从而基于第二加权损失，对全局位移数据以及骨骼旋转数据进行迭代优化，得到目标视频动捕数据。
在一种可能的实施方式中，在第二阶段，由于基于脚部穿模损失进行迭代优化仅仅是为了避免在优化脚部滑步问题的过程中，再次增加脚部穿模问题，并且第二阶段主要目的是为了针对脚部滑步问题，对全局位移数据以及骨骼旋转数据进行迭代优化，因此可以将第二脚部穿模损失权重设置小于第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重。
在一个示意性的例子中，可以将第二脚部穿模损失权重设置为100，第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重均设置为1000。
在一种可能的实施方式中，计算机设备可以将脚部穿模损失、脚部滑步损失、全局位移损失以及全局位移速度损失对应的损失权重分别表示为
Figure SMS_54
，/>
Figure SMS_55
，/>
Figure SMS_56
以及/>
Figure SMS_57
，从而加权损失可以表示为/>
Figure SMS_58
。
上述实施例中，通过分阶段对全局位移数据以及骨骼旋转数据进行迭代优化，并在不同阶段根据不同的损失权重，对全局位移数据以及骨骼旋转数据进行迭代优化，提高了迭代优化的效率，并且提高了目标视频动捕数据的数据质量。
在一种可能的实施方式中，可以将对全局位移数据以及骨骼旋转数据进行迭代优化的全部过程视为一个通过迭代优化模型对全局位移数据以及骨骼旋转数据进行迭代优化的过程，该迭代优化模型分为两个阶段，该迭代优化模型的输入为全局位移数据、骨骼旋转数据以及脚接地数据，输出为优化后的全局位移数据和优化后的骨骼旋转数据。
请参考图8，示出了本申请一个示例性实施例提供的分阶段迭代优化的流程图。
步骤801，确定全局位移数据、骨骼旋转数据以及脚接地数据。
首先，计算机设备根据原始视频动捕数据，得到全局位移数据
Figure SMS_59
以及骨骼旋转数据/>
Figure SMS_60
，并通过对动作视频进行脚接地状态分析，得到脚接地数据/>
Figure SMS_61
。
步骤802，基于第一加权损失，对全局位移数据中的第二竖轴分量进行迭代优化。
其次，计算机设备获取第一脚部穿模损失权重
Figure SMS_62
、第一脚部滑步损失权重/>
Figure SMS_63
、第一全局位移损失权重/>
Figure SMS_64
、第一全局位移速度损失权重/>
Figure SMS_65
，并获取迭代次数为200次，以及 Adam优化器的学习率为0.001，从而基于脚部穿模损失/>
Figure SMS_66
对全局位移数据中的第二竖轴分量/>
Figure SMS_67
进行迭代优化。
步骤803，基于第二加权损失，对全局位移数据以及骨骼旋转数据进行迭代优化。
在完成对第二竖轴分量
Figure SMS_69
的迭代优化之后，计算机设备获取第二脚部穿模损失权重/>
Figure SMS_72
、第二脚部滑步损失权重/>
Figure SMS_76
、第二全局位移损失权重/>
Figure SMS_70
、第二全局位移速度损失权重/>
Figure SMS_73
，并获取迭代次数为600次，以及 Adam优化器的学习率为0.001，从而基于脚部穿模损失/>
Figure SMS_75
、脚部滑步损失/>
Figure SMS_78
、全局位移损失/>
Figure SMS_68
以及全局位移速度损失/>
Figure SMS_71
，对调整后的全局位移数据/>
Figure SMS_74
以及骨骼旋转数据/>
Figure SMS_77
进行迭代优化。
步骤804，得到优化后的全局位移数据和优化后的骨骼旋转数据。
在达到迭代次数后，计算机设备得到优化后的全局位移数据
Figure SMS_79
和优化后的骨骼旋转数据/>
Figure SMS_80
，从而得到目标视频动捕数据。
请参考图9，示出了本申请另一个示例性实施例提供的动捕数据的处理方法的流程图。
首先，计算机设备对动作视频901进行视频动捕分析，得到原始视频动捕数据902，该原始视频动捕数据902中包括各个视频帧中目标对象的全局位移数据903和骨骼旋转数据904，并且计算机设备对动作视频901进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据905，进而，计算机设备根据原始视频动捕数据902构建目标对象的参数化模型，并根据参数化模型得到各个视频帧中目标对象的脚部骨骼节点坐标906，从而计算机设备根据脚部骨骼节点坐标906，确定各个视频帧中原始视频动捕数据902中的脚部穿模损失907，并根据脚部骨骼节点坐标906以及脚接地数据905，确定原始视频动捕数据902中的脚部滑步损失908，并且为了提高动画视频的流畅性，减少突变，计算机设备还可以根据全局位移数据903确定原始视频动捕数据902中的全局位移速度损失910。
其次，针对原始视频动捕数据902中的脚部穿模问题，计算机设备进行第一阶段迭代优化，通过脚部穿模损失907对全局位移数据903中的第二竖轴分量909进行迭代优化，得到优化后的第二竖轴分量913，在完成对第二竖轴分量909的迭代优化后，针对原始视频动捕数据902中的脚部滑步问题，计算机设备进行第二阶段迭代优化，并且为了避免在优化脚部滑步问题的过程中，增加脚部穿模问题，计算机设备在第二阶段迭代优化过程中可以继续保持对脚部穿模问题的优化，通过脚部穿模损失907、脚部滑步损失908以及全局位移速度损失910，对全局位移数据903以及骨骼旋转数据904进行迭代优化，同时，为了避免优化前后全局位移数据的变化较大，在每次优化过程中，计算机设备还可以根据优化前的全局位移数据903以及优化后的全局位移数据911，确定全局位移损失912，进而计算机设备基于脚部穿模损失907、脚部滑步损失908、全局位移损失912以及全局位移速度损失910，对全局位移数据903以及骨骼旋转数据904进行迭代优化，最终得到目标视频动捕数据914。
请参考图10，其示出了本申请一个示例性实施例提供的动捕数据的处理装置的结构框图，该装置包括。
第一分析模块1001，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；
第二分析模块1002，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；
损失确定模块1003，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；
优化模块1004，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。
可选的，所述损失确定模块1003，包括：
模型构建单元，用于基于所述原始视频动捕数据，构建所述目标对象的参数化模型，所述参数化模型用于指示所述目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标；
坐标获取单元，用于基于所述参数化模型，获取各个视频帧中所述目标对象的脚部骨骼节点坐标；
第一损失确定单元，用于基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失；
第二损失确定单元，用于基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失。
可选的，所述第一损失确定单元，用于：
基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一竖轴分量；
基于所述第一竖轴分量，确定各个视频帧中的所述脚部穿模损失。
可选的，所述第二损失确定单元，用于：
基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量；
基于所述第一横轴分量以及所述第一纵轴分量，确定相邻视频帧之间所述目标对象的脚部位移差值；
基于所述脚部位移差值以及所述脚接地数据，确定所述脚部滑步损失。
可选的，所述优化模块1004，包括：
分量确定单元，用于基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二竖轴分量；
第一优化单元，用于基于所述脚部穿模损失，对所述第二竖轴分量进行迭代优化；
第二优化单元，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
可选的，所述第二优化单元，还用于：
基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据进行优化，得到优化后的全局位移数据；
基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失；
基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
可选的，所述第二优化单元，还用于：
确定视频帧间隔；
基于所述视频帧间隔，确定采样视频帧以及采样视频帧数；
基于所述全局位移数据以及所述优化后的全局位移数据，确定各个采样视频帧中所述全局位移数据与所述优化后的全局位移数据之间的全局位移差值；
基于所述采样视频帧数以及所述全局位移差值，确定所述全局位移损失。
可选的，所述第二优化单元，还用于：
基于所述全局位移数据，确定相邻视频帧之间的全局位移速度损失；
基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移速度损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
可选的，所述第二优化单元，还用于：
基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二横轴分量以及第二纵轴分量；
对所述第二横轴分量以及所述第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值；
基于所述脚部穿模损失以及所述脚部滑步损失，对所述第二横轴分量差值、所述第二纵轴分量差值、所述第二竖轴分量以及所述骨骼旋转数据进行迭代优化；
基于优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定优化后的全局位移数据；
基于所述优化后的全局位移数据以及优化后的骨骼位移数据，得到所述目标视频动捕数据。
可选的，所述装置还包括：
第一损失确定模块，用于基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失；
第二损失确定模块，用于基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失；
所述第一优化单元，用于基于所述第一加权损失，对所述全局位移数据进行迭代优化；
所述第二优化单元，用于在完成对所述全局位移数据的迭代优化的情况下，基于所述第二加权损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
可选的，
所述第一脚部穿模损失权重大于所述第一脚部滑步损失权重、所述第一全局位移损失权重以及所述第一全局位移速度损失权重；
所述第二脚部穿模损失权重小于所述第二脚部滑步损失权重、所述第二全局位移损失权重以及所述第二全局位移速度损失权重。
可选的，所述第二分析模块1002，包括：
关键点提取模块，用于基于所述动作视频，对各个视频帧中的所述目标对象进行2D关键点提取，得到各个视频帧中所述目标对象对应的2D关键点信息；
数据确定模块，用于基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据。
可选的，所述数据确定模块，用于：
基于所述2D关键点信息，确定各个视频帧中所述目标对象的各个脚部骨骼节点的接地状态；
基于各个脚部骨骼节点的接地状态，对各个视频帧中的各个脚部骨骼节点进行标记，得到所述脚接地数据。
综上所述，本申请实施例中，通过对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，并根据动作视频对目标对象进行脚接地状态分析，得到各个视频帧中目标对象的脚接地数据，从而计算机设备可以根据原始视频动捕数据以及脚接地数据，确定脚部滑步损失以及脚部穿模损失，进而根据脚部滑步损失以及脚部穿模损失对原始视频动捕数据进行迭代优化，得到目标视频动捕数据，采用本申请实施例提供的方案，能够减少视频动捕数据中存在的脚部滑步问题以及脚部穿模问题，提高视频动捕数据的数据质量，减少后期动画制作的修复工作以及修复成本。
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
请参考图11，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1100包括中央处理单元（Central Processing Unit，CPU）1101、包括随机存取存储器1102和只读存储器1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统（Input/Output，I/O系统）1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器（未示出）连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者驱动器之类的计算机可读介质（未示出）。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体（RAM，Random Access Memory）、只读存储器（ROM，Read Only Memory）、闪存或其他固态存储其技术，只读光盘（Compact Disc Read-Only Memory，CD-ROM）、数字通用光盘（Digital Versatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1112连接到网络1111，或者说，也可以使用网络接口单元1112来连接到其他类型的网络或远程计算机系统（未示出）。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例所述的动捕数据的处理方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘（SSD，Solid StateDrives）或光盘等。其中，RAM可以包括电阻式随机存取记忆体（ReRAM，Resistance RandomAccess Memory）和动态随机存取存储器（DRAM，Dynamic Random Access Memory）。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的动捕数据的处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种动捕数据的处理方法，其特征在于，所述方法包括：
对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；
基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；
基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；
基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，包括：
基于所述原始视频动捕数据，构建所述目标对象的参数化模型，所述参数化模型用于指示所述目标对象的各个骨骼节点在三维坐标空间内的骨骼节点坐标；
基于所述参数化模型，获取各个视频帧中所述目标对象的脚部骨骼节点坐标；
基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失；
基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失。
3.根据权利要求2所述的方法，其特征在于，所述基于所述脚部骨骼节点坐标，确定各个视频帧中的所述脚部穿模损失，包括：
基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一竖轴分量；
基于所述第一竖轴分量，确定各个视频帧中的所述脚部穿模损失。
4.根据权利要求2所述的方法，其特征在于，所述基于所述脚部骨骼节点坐标以及所述脚接地数据，确定所述脚部滑步损失，包括：
基于所述脚部骨骼节点坐标，确定各个视频帧中所述脚部骨骼节点坐标的第一横轴分量以及第一纵轴分量；
基于所述第一横轴分量以及所述第一纵轴分量，确定相邻视频帧之间所述目标对象的脚部位移差值；
基于所述脚部位移差值以及所述脚接地数据，确定所述脚部滑步损失。
5.根据权利要求2所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据，包括：
基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二竖轴分量；
基于所述脚部穿模损失，对所述第二竖轴分量进行迭代优化；
基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：
基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据进行优化，得到优化后的全局位移数据；
基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失；
基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
7.根据权利要求6所述的方法，其特征在于，所述基于所述全局位移数据以及所述优化后的全局位移数据，确定全局位移损失，包括：
确定视频帧间隔；
基于所述视频帧间隔，确定采样视频帧以及采样视频帧数；
基于所述全局位移数据以及所述优化后的全局位移数据，确定各个采样视频帧中所述全局位移数据与所述优化后的全局位移数据之间的全局位移差值；
基于所述采样视频帧数以及所述全局位移差值，确定所述全局位移损失。
8.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：
基于所述全局位移数据，确定相邻视频帧之间的全局位移速度损失；
基于所述脚部穿模损失、所述脚部滑步损失以及所述全局位移速度损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
9.根据权利要求5所述的方法，其特征在于，所述基于所述脚部穿模损失以及所述脚部滑步损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据，还包括：
基于所述全局位移数据以及所述参数化模型，确定所述全局位移数据在所述三维坐标空间内的第二横轴分量以及第二纵轴分量；
对所述第二横轴分量以及所述第二纵轴分量进行时序差分构建，得到相邻视频帧之间的第二横轴分量差值以及第二纵轴分量差值；
基于所述脚部穿模损失以及所述脚部滑步损失，对所述第二横轴分量差值、所述第二纵轴分量差值、所述第二竖轴分量以及所述骨骼旋转数据进行迭代优化；
基于优化后的第二横轴分量差值、第二纵轴分量差值以及第二竖轴分量，确定优化后的全局位移数据；
基于所述优化后的全局位移数据以及优化后的骨骼位移数据，得到所述目标视频动捕数据。
10.根据权利要求5至9任一所述的方法，其特征在于，所述方法还包括：
基于第一脚部穿模损失权重、第一脚部滑步损失权重、第一全局位移损失权重以及第一全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第一加权损失；
基于第二脚部穿模损失权重、第二脚部滑步损失权重、第二全局位移损失权重以及第二全局位移速度损失权重，对所述脚部穿模损失、所述脚部滑步损失、全局位移损失以及全局位移速度损失进行加权，得到第二加权损失；
基于所述第一加权损失，对所述全局位移数据进行迭代优化；
在完成对所述全局位移数据的迭代优化的情况下，基于所述第二加权损失，对所述全局位移数据以及所述骨骼旋转数据进行迭代优化，得到所述目标视频动捕数据。
11.根据权利要求10所述的方法，其特征在于，
所述第一脚部穿模损失权重大于所述第一脚部滑步损失权重、所述第一全局位移损失权重以及所述第一全局位移速度损失权重；
所述第二脚部穿模损失权重小于所述第二脚部滑步损失权重、所述第二全局位移损失权重以及所述第二全局位移速度损失权重。
12.根据权利要求1所述的方法，其特征在于，所述基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，包括：
基于所述动作视频，对各个视频帧中的所述目标对象进行2D关键点提取，得到各个视频帧中所述目标对象对应的2D关键点信息；
基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据。
13.根据权利要求12所述的方法，其特征在于，所述基于所述2D关键点信息，确定各个视频帧中所述目标对象的所述脚接地数据，包括：
基于所述2D关键点信息，确定各个视频帧中所述目标对象的各个脚部骨骼节点的接地状态；
基于各个脚部骨骼节点的接地状态，对各个视频帧中的各个脚部骨骼节点进行标记，得到所述脚接地数据。
14.一种动捕数据的处理装置，其特征在于，所述装置包括：
第一分析模块，用于对动作视频中的目标对象进行动捕分析，得到原始视频动捕数据，所述原始视频动捕数据包括各个视频帧中所述目标对象的全局位移数据以及骨骼旋转数据，所述全局位移数据表征所述目标对象的中心骨骼节点的位移情况；
第二分析模块，用于基于所述动作视频，对所述目标对象进行脚接地状态分析，得到各个视频帧中所述目标对象的脚接地数据，所述脚接地数据表征所述目标对象的脚部接地情况；
损失确定模块，用于基于所述原始视频动捕数据以及所述脚接地数据，确定所述原始视频动捕数据的脚部穿模损失以及脚部滑步损失，其中，所述脚部穿模损失表征各个视频帧中所述目标对象的脚部陷地情况，所述脚部滑步损失表征所述目标对象在脚接地状态下的脚部滑动情况；
优化模块，用于基于所述脚部穿模损失以及所述脚部滑步损失，对所述原始视频动捕数据进行迭代优化，得到所述目标对象的目标视频动捕数据。
15.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至13任一所述的动捕数据的处理方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至13任一所述的动捕数据的处理方法。
CN202310318727.3A 2023-03-29 2023-03-29 动捕数据的处理方法、装置、设备及存储介质 Active CN116051699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310318727.3A CN116051699B (zh) 2023-03-29 2023-03-29 动捕数据的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310318727.3A CN116051699B (zh) 2023-03-29 2023-03-29 动捕数据的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116051699A CN116051699A (zh) 2023-05-02
CN116051699B true CN116051699B (zh) 2023-06-02

Family

ID=86116660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310318727.3A Active CN116051699B (zh) 2023-03-29 2023-03-29 动捕数据的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116051699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116700499A (zh) * 2023-08-01 2023-09-05 海马云（天津）信息技术有限公司 虚拟数字人驱动方法和装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
CN106447748A (zh) * 2016-09-14 2017-02-22 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
WO2019096160A1 (zh) * 2017-11-16 2019-05-23 陈昭胜 Vr行走机构以及在虚拟现实场景中行走的方法
CN113256684A (zh) * 2021-06-11 2021-08-13 腾讯科技（深圳）有限公司 动捕数据的修复方法、装置、设备及存储介质
CN113592895A (zh) * 2021-01-29 2021-11-02 腾讯科技（深圳）有限公司 一种运动信息确定方法、设备及计算机可读存储介质
CN113781615A (zh) * 2021-09-28 2021-12-10 腾讯科技（深圳）有限公司 一种动画生成方法、装置、设备、存储介质及程序产品
CN114519758A (zh) * 2022-02-28 2022-05-20 广州虎牙科技有限公司 虚拟形象的驱动方法、装置及服务器
CN114550292A (zh) * 2022-02-21 2022-05-27 东南大学 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN114742926A (zh) * 2022-04-18 2022-07-12 网易（杭州）网络有限公司 一种动画重定向方法、装置、计算机设备及存储介质
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN115601482A (zh) * 2022-09-27 2023-01-13 广州华多网络科技有限公司（Cn） 数字人动作控制方法及其装置、设备、介质、产品
CN115797519A (zh) * 2022-10-26 2023-03-14 长沙神漫文化科技有限公司 虚拟角色ik实时重定向方法及相关设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
CN106447748A (zh) * 2016-09-14 2017-02-22 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
WO2019096160A1 (zh) * 2017-11-16 2019-05-23 陈昭胜 Vr行走机构以及在虚拟现实场景中行走的方法
CN113592895A (zh) * 2021-01-29 2021-11-02 腾讯科技（深圳）有限公司 一种运动信息确定方法、设备及计算机可读存储介质
CN113256684A (zh) * 2021-06-11 2021-08-13 腾讯科技（深圳）有限公司 动捕数据的修复方法、装置、设备及存储介质
CN113781615A (zh) * 2021-09-28 2021-12-10 腾讯科技（深圳）有限公司 一种动画生成方法、装置、设备、存储介质及程序产品
CN114550292A (zh) * 2022-02-21 2022-05-27 东南大学 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN114519758A (zh) * 2022-02-28 2022-05-20 广州虎牙科技有限公司 虚拟形象的驱动方法、装置及服务器
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN114742926A (zh) * 2022-04-18 2022-07-12 网易（杭州）网络有限公司 一种动画重定向方法、装置、计算机设备及存储介质
CN115601482A (zh) * 2022-09-27 2023-01-13 广州华多网络科技有限公司（Cn） 数字人动作控制方法及其装置、设备、介质、产品
CN115797519A (zh) * 2022-10-26 2023-03-14 长沙神漫文化科技有限公司 虚拟角色ik实时重定向方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于自适应调节脚高度阈值的脚支撑约束检测;张靖超 等;《电脑与信息技术》;第25卷(第01期);第23-25页 *

Also Published As

Publication number Publication date
CN116051699A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN112862874B (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
JP7386370B1 (ja) 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム
CN109272543B (zh) 用于生成模型的方法和装置
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN116051699B (zh) 动捕数据的处理方法、装置、设备及存储介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN113052955A (zh) 一种点云补全方法、系统及应用
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
He et al. Learning scene dynamics from point cloud sequences
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
Yuan et al. Research on simulation of 3D human animation vision technology based on an enhanced machine learning algorithm
CN113887501A (zh) 行为识别方法、装置、存储介质及电子设备
Zhou et al. Deeptree: Modeling trees with situated latents
Cao et al. Stable image matching for 3D reconstruction in outdoor
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
Sun et al. Real-time memory efficient large-pose face alignment via deep evolutionary network
CN113822293A (zh) 用于图数据的模型处理方法、装置、设备及存储介质
Zhou et al. Improved GCN framework for human motion recognition
CN117593470B (zh) 一种基于ai模型的街景重构方法及系统
Luleci Investigating Emerging Technologies In Civil Structural Health Monitoring: Generative Artificial Intelligence And Virtual Reality
CN117218278A (zh) 三维模型的重建方法、装置、设备及存储介质
CN115345857A (zh) 增广样本图像的获取方法、装置、设备、介质及程序产品
CN117788810A (zh) 一种无监督语义分割的学习系统
Liang Application of graphic image processing technology in 2D game interface design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40086438

Country of ref document: HK