CN111598005A - 动捕数据处理方法、装置、电子设备及计算机存储介质 - Google Patents
动捕数据处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111598005A CN111598005A CN202010420301.5A CN202010420301A CN111598005A CN 111598005 A CN111598005 A CN 111598005A CN 202010420301 A CN202010420301 A CN 202010420301A CN 111598005 A CN111598005 A CN 111598005A
- Authority
- CN
- China
- Prior art keywords
- data
- frame
- point
- current
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 77
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000002093 peripheral effect Effects 0.000 claims description 50
- 230000005540 biological transmission Effects 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000001502 supplementing effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 30
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 241001465754 Metazoa Species 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 241000282405 Pongo abelii Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提供了一种动捕数据处理方法、装置、电子设备及计算机存储介质。其中，该方法可以包括：实时获取当前动捕数据；其中，当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；第一骨骼和第二骨骼的预定位置设置有关键点；建立第一骨骼的关键点数据与第二骨骼的关键点数据之间的映射关系；基于映射关系，将第一骨骼的各关节的角度数据和坐标数据，确定为第二骨骼的各关节的角度数据和坐标数据，以用于驱动与第二骨骼对应的虚拟对象。本公开实施例通过采取上述技术方案，解决了在实时演出过程中存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题。
Description
技术领域
本公开涉及数据处理技术领域，特别是涉及一种动捕数据处理方法、装置、电子设备及计算机存储介质。
背景技术
目前，现有技术通常采用动捕相机进行动作捕捉。具体而言，首先确定人体上的关键点；然后，通过动捕相机对该关键点进行捕捉，以记录和处理该关键点的轨迹。其中，该轨迹包含了每一个人体动作的细节。
然而，上述现有技术在捕捉到动捕数据后，由于捕捉时的光照、磁场、遮挡、网络传输等因素的影响，致使该动捕数据所驱动的虚拟对象会出现掉帧、缺失、部位空白等问题。此时，无法及时对动捕数据进行处理。而且，上述对人体进行动捕的现有技术无法同时对人体、动物和玩偶等多种动捕对象进行动作捕捉。
因此，提供一种在实时演出过程中存在多种动捕对象的情况下，对动捕数据进行实时处理的方法是亟待解决的技术问题。
发明内容
本公开实施例的主要目的在于提供一种动捕数据处理方法、装置、电子设备及计算机存储介质，以解决如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题。
为了实现上述目的，第一方面，本公开提供了以下技术方案：
一种动捕数据处理方法，其包括：
实时获取当前动捕数据；其中，所述当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；所述第一骨骼和所述第二骨骼的预定位置设置有关键点；所述第一骨骼不同于所述第二骨骼；
建立所述第一骨骼的关键点数据与所述第二骨骼的关键点数据之间的映射关系；
基于所述映射关系，将所述第一骨骼的所述各关节的角度数据和坐标数据，确定为所述第二骨骼的所述各关节的角度数据和坐标数据，以用于驱动与所述第二骨骼对应的虚拟对象。
进一步地，在所述实时获取当前动捕数据的步骤之后，所述方法还包括：
将所述当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与所述当前缺失点相距预定距离的周边点的位置数据；其中，所述当前骨骼为所述第一骨骼或所述第二骨骼；
获取历史动捕数据；
基于所述历史动捕数据，确定所述当前骨骼上与所述当前缺失点相同的历史点、以及与所述周边点相同的历史周边点，并确定所述历史点与所述历史周边点之间的位置数据；
根据所述历史点与所述历史周边点之间的所述位置数据、以及所述周边点的位置数据，确定所述当前缺失点的位置数据；
将所确定的所述当前缺失点的位置数据补入所述当前动捕数据。
进一步地，动捕设备捕捉所述虚拟对象的动捕数据；所述方法还包括：
接收所述虚拟对象的所述动捕数据，并作为当前候选的动捕数据；
判断所述当前候选的动捕数据是否缺帧；如果所述当前候选的动捕数据缺帧，则估计缺失帧上所有点的坐标值；
将所述缺失帧上所有点的坐标值作为所述当前动捕数据。
进一步地，以预定帧率传输动捕数据帧；所述判断所述当前候选的动捕数据是否缺帧的步骤，具体包括：
基于所述预定帧率，确定所述当前候选的动捕数据帧的传输时间；
计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；
如果所述时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
进一步地，所述估计所述缺失帧上所有点的坐标值的步骤，具体包括：
选取所述缺失帧上任一点；
确定预定的帧间时间间隔、以及所述缺失帧之前预定数量的帧；
基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度；
根据所述任一点经历所述预定数量的帧中相邻两帧的运动方向，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的运动方向；
根据所述任一点从所述缺失帧的所述前一帧至所述缺失帧的所述运动方向、以及所述缺失帧的所述前一帧至所述缺失帧的速度，估计所述任一点的坐标值；
遍历所述缺失帧上的所有点，得到所述缺失帧上所有点的坐标值。
进一步地，所述基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度的步骤，具体包括：
根据所述预定的帧间时间间隔，计算所述任一点经历所述预定数量的帧中任意相邻两帧的速度；
根据所述任一点经历所述预定数量的帧中所述任意相邻两帧的速度，计算所述任一点经历所述预定数量的帧的加速度；
根据所述任一点经历所述预定数量的帧的所述加速度、以及所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的速度。
进一步地，所述方法还包括：
对所述当前动捕数据进行平滑插值处理。
进一步地，所述方法还包括：
对所述当前动捕数据进行屏蔽遮罩处理。
为了实现上述目的，第二方面，本公开提供了以下技术方案：
一种动捕数据处理装置，其包括：
第一获取模块，用于实时获取当前动捕数据；其中，所述当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；所述第一骨骼和所述第二骨骼的预定位置设置有关键点；所述第一骨骼不同于所述第二骨骼；
建立模块，用于建立所述第一骨骼的关键点数据与所述第二骨骼的关键点数据之间的映射关系；
第一确定模块，用于基于所述映射关系，将所述第一骨骼的所述各关节的角度数据和坐标数据，确定为所述第二骨骼的所述各关节的角度数据和坐标数据，以用于驱动与所述第二骨骼对应的虚拟对象。
进一步地，所述装置还包括：
第二确定模块，用于将所述当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与所述当前缺失点相距预定距离的周边点的位置数据；其中，所述当前骨骼为所述第一骨骼或所述第二骨骼；
第二获取模块，用于获取历史动捕数据；
第三确定模块，用于基于所述历史动捕数据，确定所述当前骨骼上与所述当前缺失点相同的历史点、以及与所述周边点相同的历史周边点，并确定所述历史点与所述历史周边点之间的位置数据；
第四确定模块，用于根据所述历史点与所述历史周边点之间的所述位置数据、以及所述周边点的位置数据，确定所述当前缺失点的位置数据；
补入模块，用于将所确定的所述当前缺失点的位置数据补入所述当前动捕数据。
进一步地，动捕设备捕捉所述虚拟对象的动捕数据；所述装置还包括：
接收模块，用于接收所述虚拟对象的所述动捕数据，并作为当前候选的动捕数据；
判断模块，用于判断所述当前候选的动捕数据是否缺帧；
估计模块，用于在所述当前候选的动捕数据缺帧的情况下，则估计所述缺失帧上所有点的坐标值；
确定模块，用于将所述所有点的坐标值作为所述当前动捕数据。
进一步地，以预定帧率传输动捕数据帧；所述判断模块具体用于：
基于所述预定帧率，确定所述当前候选的动捕数据帧的传输时间；
计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；
如果所述时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
进一步地，所述估计模块具体用于：
选取所述缺失帧上任一点；
确定预定的帧间时间间隔、以及所述缺失帧之前预定数量的帧；
基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度；
根据所述任一点经历所述预定数量的帧中相邻两帧的运动方向，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的运动方向；
根据所述任一点从所述缺失帧的所述前一帧至所述缺失帧的所述运动方向、以及所述缺失帧的所述前一帧至所述缺失帧的速度，估计所述任一点的坐标值；
遍历所述缺失帧上的所有点，得到所述缺失帧上所有点的坐标值。
进一步地，所述估计模块具体用于：
根据所述预定的帧间时间间隔，计算所述任一点经历所述预定数量的帧中任意相邻两帧的速度；
根据所述任一点经历所述预定数量的帧中所述任意相邻两帧的速度，计算所述任一点经历所述预定数量的帧的加速度；
根据所述任一点经历所述预定数量的帧的所述加速度、以及所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的速度。
进一步地，所述装置还包括：
平滑插值处理模块，用于对所述当前动捕数据进行平滑插值处理。
进一步地，所述装置还包括：
屏蔽遮罩处理模块，用于对所述当前动捕数据进行屏蔽遮罩处理。
为了实现上述目的，第三方面，本公开提供了以下技术方案：
一种电子设备，其包括处理器和存储器；其中：
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本公开第一方面中任意一项所述的方法步骤。
为了实现上述目的，第四方面，本公开提供了以下技术方案：
一种计算机可读存储介质，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如本公开第一方面中任意一项所述的动捕数据处理方法。
与现有技术相比，本公开至少具有以下技术效果：
本公开实施例提供一种动捕数据处理方法、装置、电子设备及计算机存储介质。其中，该动捕数据处理方法可以包括实时获取当前动捕数据；其中，当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；第一骨骼和第二骨骼的预定位置设置有关键点；第一骨骼不同于第二骨骼；建立第一骨骼的关键点数据与第二骨骼的关键点数据之间的映射关系；基于映射关系，将第一骨骼的各关节的角度数据和坐标数据，确定为第二骨骼的各关节的角度数据和坐标数据，以用于驱动与第二骨骼对应的虚拟对象。
本公开实施例通过采取上述技术方案，通过实时获取当前动捕数据，然后进行骨骼映射，将第一骨骼的各关节的角度数据和坐标数据，作为第二骨骼的各关节的角度数据和坐标数据，从而可以实时地驱动与第二骨骼对应的虚拟对象，由此实现了在实时演出过程中存在多种动捕对象的情况下，对动捕数据进行实时处理的技术效果，可以实现诸如高个子演员驱动矮个子虚拟对象、人类演员实时驱动动物虚拟对象等跨种群演绎的技术效果，还可以满足实时演出的需求，而且还可以实现影视后期制作中的数据修正等。
当然，实施本公开的任一产品不一定需要同时实现以上所述的所有优点。
为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而得以体现。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。所要求保护的主题不限于解决在背景技术中提及的任何或所有缺点。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，附图作为本公开的一部分，用来对本公开作进一步的理解。下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为根据一示例性实施例的动捕数据处理方法的流程示意图；
图2为根据一示例性实施例的、历史动捕数据中历史点和历史周边点之间的位置关系示意图；
图3为根据一示例性实施例的、当前动捕数据中当前缺失点与周边点之间的位置关系示意图；
图4为根据一示例性实施例的、缺失帧与其前三帧之间的关系、以及缺失帧上任一点经过该前三帧的位置示意图；
图5为根据一示例性实施例的动捕数据处理装置的结构示意图。
上述附图和文字描述并不旨在以任何方式来限制本公开的保护范围，而是通过参考特定实施例，以向本领域技术人员说明本公开的概念。并且，任一附图中的标记和文字仅仅是为了更清楚地说明本公开，不应视为对本公开保护范围的不当限定。
具体实施方式
下面通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合而形成技术方案。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。本公开的示意性实施例及其说明可以用于解释本公开，但不构成对本公开保护范围的不当限定。
为了更清楚地说明本公开，下面简要介绍动作捕捉的过程。
首先在演员身上粘贴若干个使用反光材料制作的关键点。然后，使用摄像机对演员身上的关键点进行监视。每台摄像机将拍摄到的关键点的位置信息传输至动捕系统中的计算机。该计算机接收到关键点的位置信息后，将这些关键点进行重新连接，从而构成了演员的动作，以用于驱动虚拟对象(例如，人物、动物、怪兽等)。
为了解决如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，本公开实施例提供一种动捕数据处理方法。如图1所示，该方法主要包括步骤S100至步骤S120。其中：
S100：实时获取当前动捕数据；其中，当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；第一骨骼和第二骨骼的预定位置设置有关键点；第一骨骼不同于第二骨骼。
其中，当前动捕数据可以通过动捕设备(例如，光学动捕设备)获得。
上述第一骨骼可以为人体的骨骼等。第二骨骼可以为动物骨骼等。
通过摄像机可以获取该第一骨骼和第二骨骼的各关节的角度数据和坐标数据。
S110：建立第一骨骼的关键点数据与第二骨骼的关键点数据之间的映射关系。
在本步骤中，通过建立映射关系，可以实现第一骨骼的关键点与第二骨骼的关键点之间的映射。举例来说，人体骨骼的手部的关键点可以映射于动物爪子上的关键点。
S120：基于映射关系，将第一骨骼的各关节的角度数据和坐标数据，确定为第二骨骼的各关节的角度数据和坐标数据，以用于驱动与第二骨骼对应的虚拟对象。
本公开实施例提供的技术方案可以应用于影视制作、动画、演出活动等。
本公开实施例通过采取上述技术方案，通过实时获取当前动捕数据，然后进行骨骼映射，将第一骨骼的各关节的角度数据和坐标数据，作为第二骨骼的各关节的角度数据和坐标数据，从而可以实时地驱动与第二骨骼对应的虚拟对象，由此解决了如何在实时演出过程中存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，可以实现诸如高个子演员驱动矮个子虚拟对象、人类演员实时驱动动物虚拟对象等跨种群演绎的技术效果，还可以满足实时演出的需求，而且还可以实现影视后期制作中的数据修正等。
在一个可选的实施例中，在步骤S100之后，该方法还可以包括：步骤S101至步骤S105。其中：
S101：将当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与当前缺失点相距预定距离的周边点的位置数据。其中，当前骨骼为第一骨骼或第二骨骼。
其中，预定数据可以为数据库中的初始数据。该初始数据可以在动捕设备初始化过程中生成。具体而言，先确认演员身上携带的关键点的数量，以及该关键点的位置，从而根据关键点及其位置生成初始数据。
在动捕场景中，如果存在一些道具，或者多个演员时，可能会导致演员身上的某个或某些点被过少的或者没有被摄像机拍摄到。当摄像机拍摄不到该点时，该点的信息也就不会被传输给计算机。如果计算机未收到该点，或者信息太少而不足以确定该点的位置时，则认为动捕数据中的该点已经缺失。
上述周边点未丢失，其位置数据可以得知。
在实际应用中，通过本步骤，如果将动捕数据与预定数据相比较的结果是：某个面内的所有点都缺失了，则确定该面缺失。
S102：获取历史动捕数据。
其中，本步骤可以从动捕设备的历史采集结果中获得历史动捕数据。
S103：基于历史动捕数据，确定当前骨骼上与当前缺失点相同的历史点、以及与周边点相同的历史周边点，并确定历史点与历史周边点之间的位置数据。
S104：根据历史点与历史周边点之间的位置数据、以及周边点的位置数据，确定当前缺失点的位置数据。
举例来说，如果历史点与该周边点之间的距离保持不变，则可以将该距离作为当前缺失点与周边点的距离，从而据此距离可以确定出当前缺失点的位置。
S105：将所确定的当前缺失点的位置数据补入当前动捕数据。
通过步骤S105，可以实现对动捕数据的修正，从而可以克服虚拟对象丢点、丢面的缺陷。
为了更清楚地说明本实施例，下面结合图2和图3，以具体实施例对本公开进行详细说明。
图2示例性地示出了历史动捕数据中历史点和历史周边点之间的位置关系示意图。图3示例性地示出了当前动捕数据中当前缺失点与周边点之间的位置关系示意图。
假设存在一个三角形ABC，在该三角形内部存在一个点O。如果通过将当前动捕数据与预定数据进行比较，确定该O点缺失，则该O点作为当前缺失点。然后，基于该O点的位置数据，在历史动捕数据中查找与该O点相同的历史点O'、以及与周边点A、B和C相同的历史周边点A'、B'和C'。再假设，O'历史点分别与历史周边点A'、B'和C'之间的距离保持不变，则根据O'历史点的位置数据、以及O'历史点分别与历史周边点A'、B'和C'之间的距离，可以确定出当前缺失点的位置数据。
本公开实施例通过采取上述技术方案，在判断出演员身上的哪些点或面没有采集到时，可以实时地对动捕数据进行修正，从而能够在设备匮乏、干扰强烈的环境中正确地驱动虚拟对象(例如，猩猩、怪兽等)。
考虑到动捕设备的数据传输速率的波动、网络波动、虚拟对象显示设备性能、重连接等因素的影响，会造成虚拟对象显示画面缺帧的情况，致使缺帧的虚拟对象出现停滞和卡顿等现象。为此，在一个可选的实施例中，动捕设备捕捉虚拟对象的动捕数据。该方法还可以包括：步骤S200至步骤S230。其中：
S200：接收虚拟对象的动捕数据，并作为当前候选的动捕数据。
S210：判断当前候选的动捕数据是否缺帧。
下面举例对本步骤进行详细说明：
假设用于后续虚拟对象显示画面形成的动捕数据，以25帧/秒的速率传输。也就是说，以0.04秒的时间间隔传输动捕数据帧。此时，如果受到网络性能、动捕设备性能和/或虚拟对象显示设备性能等的影响，动捕数据帧的传输速率会受到影响。据此可以判断虚拟对象显示画面是否缺帧。
具体而言，在一个可选的实施例中，以预定帧率传输动捕数据帧；本步骤S210可以包括：
S211：基于预定帧率，确定当前候选的动捕数据帧的传输时间；
S212：计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；
S213：如果该时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
S220：如果虚拟对象显示画面缺帧，则估计缺失帧上所有点的坐标值。
具体地，本步骤S220可以包括：
S221：选取缺失帧上任一点；
S222：确定预定的帧间时间间隔、以及缺失帧之前预定数量的帧；
S223：基于预定的帧间时间间隔，估计任一点从缺失帧的前一帧至缺失帧的速度。
具体地，本步骤S223可以包括：
Sa1：根据预定的帧间时间间隔，计算任一点经历预定数量的帧中任意相邻两帧的速度；
Sa2：根据任一点经历预定数量的帧中任意相邻两帧的速度，计算任一点经历预定数量的帧的加速度；
Sa3：根据任一点经历预定数量的帧的加速度、以及预定的帧间时间间隔，估计任一点从缺失帧的前一帧至缺失帧的速度。
S224：根据任一点经历预定数量的帧中相邻两帧的运动方向，估计任一点从缺失帧的前一帧至缺失帧的运动方向。
S225：根据任一点从缺失帧的前一帧至缺失帧的运动方向、以及缺失帧的前一帧至缺失帧的速度，估计任一点的坐标值。
S226：遍历缺失帧上的所有点，得到缺失帧上所有点的坐标值。
为了便于理解本公开，下面结合图4以具体实施例对本公开进行详细说明。
假设当前帧41缺失，即缺失帧41，且当前帧存在O点，分别经历当前帧之前的三帧(42,43,44)位置为A、B和C。还假设帧间的时间间隔固定。
图4示例性地示出了缺失帧与其前三帧之间的关系、以及缺失帧上任一点经过该前三帧的位置示意图。
本公开实施例可以包括：
Sb1：根据从位置A到位置B的方向、以及从位置B到位置C的方向，可以估计出O点从前一帧42至当前帧41的运动方向；
Sb2：根据预定的帧间时间间隔，可以计算出O点经历过缺失帧41之前的三帧(42,43,44)中相邻两帧的速度；
Sb3：根据O点经历过缺失帧41之前的三帧(42,43,44)中相邻两帧的速度，可以计算得到O点经历三帧(42,43,44)中位置A、B和C的加速度；
Sb4：根据O点经历三帧(42,43,44)中位置A、B和C的加速度、以及帧间的时间间隔，可以计算得到O点从前一帧42至缺失帧41的速度；
Sb5：根据O点从前一帧42至缺失帧41的运动方向、以及O点从前一帧42至缺失帧41的速度，可以估计出O点的坐标；
Sb6：按照前述方法，遍历缺失帧41中所有点，得到所有点的坐标值，作为缺失帧41的数据。
S230：将所有点的坐标值作为当前动捕数据。
本步骤将缺失帧上所有点的坐标值补入当前动捕数据，从而实现了实时地对缺失帧的修复。
本公开实施例针对实际应用中网络、磁场等的影响而造成的缺帧情况，通过估计出缺失帧上所有点的坐标值(即缺失帧的数据状态)，来作为该缺失帧的数据，并将其补入当前动捕数据，从而实现了实时地对动捕数据的修正，由此解决了如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题。
在实际应用中，网络推送当前动捕数据的帧速率和虚拟对象驱动的帧速率往往不完全一致。不相等的帧速率会影响最终驱动结果的流畅性。对此，现有技术通常会将网络推送当前动捕数据的帧速率提高数倍，以克服该缺陷。但是，这种方法存在严重占用带宽的缺陷。鉴于此，本公开实施例不对网络推送当前动捕数据的帧速率进行调整。
具体而言，在一个可选的实施例中，该方法还可以包括：
对当前动捕数据进行平滑插值处理。
本公开实施例对当前动捕数据中多个数据帧进行插值取样，从而计算出精确的数据帧，由此可以实现流畅的虚拟对象的驱动，而不会严重地占用带宽。
在一个可选的实施例中，该方法还可以包括：
对当前动捕数据进行屏蔽遮罩处理。
通过本实施例，可以在对诸如演员等进行全身动作捕捉后，选取一个或多个部位(例如，上半身、下半身等)的动捕数据，而进行虚拟对象的驱动。
在上文中，虽然按照上述的顺序描述了动捕数据处理方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。在本公开各个装置实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
为了解决如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，本公开实施例提供一种动捕数据处理装置。如图5所示，该装置主要可以包括：第一获取模块51、建立模块52和第一确定模块53。其中，第一获取模块51用于实时获取当前动捕数据；其中，当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；第一骨骼和第二骨骼的预定位置设置有关键点；第一骨骼不同于第二骨骼。建立模块52用于建立第一骨骼的关键点数据与第二骨骼的关键点数据之间的映射关系。第一确定模块53用于基于映射关系，将第一骨骼的各关节的角度数据和坐标数据，确定为第二骨骼的各关节的角度数据和坐标数据，以用于驱动与第二骨骼对应的虚拟对象。
在一个可选的实施例中，该装置还可以包括：第二确定模块、第二获取模块、第三确定模块、第四确定模块和补入模块。其中，第二确定模块用于将当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与当前缺失点相距预定距离的周边点的位置数据；其中，当前骨骼为第一骨骼或第二骨骼。第二获取模块用于获取历史动捕数据。第三确定模块用于基于历史动捕数据，确定当前骨骼上与当前缺失点相同的历史点、以及与周边点相同的历史周边点，并确定历史点与历史周边点之间的位置数据。第四确定模块用于根据历史点与历史周边点之间的位置数据、以及周边点的位置数据，确定当前缺失点的位置数据。补入模块用于将所确定的当前缺失点的位置数据补入当前动捕数据。
在一个可选的实施例中，动捕设备捕捉所述虚拟对象的动捕数据；该装置还可以包括：接收模块、判断模块、估计模块和确定模块。其中，接收模块用于接收虚拟对象的动捕数据，并作为当前候选的动捕数据。判断模块用于判断当前候选的动捕数据是否缺帧。估计模块用于在当前候选的动捕数据缺帧的情况下，则估计缺失帧上所有点的坐标值。确定模块确定模块用于将所有点的坐标值作为当前动捕数据。
在一个可选的实施例中，以预定帧率传输动捕数据帧；判断模块具体用于：基于预定帧率，确定当前候选的动捕数据帧的传输时间；计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；如果时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
在一个可选的实施例中，估计模块具体用于：选取缺失帧上任一点；确定预定的帧间时间间隔、以及缺失帧之前预定数量的帧；基于预定的帧间时间间隔，估计任一点从缺失帧的前一帧至缺失帧的速度；根据任一点经历预定数量的帧中相邻两帧的运动方向，估计任一点从缺失帧的前一帧至缺失帧的运动方向；根据任一点从缺失帧的前一帧至缺失帧的运动方向、以及缺失帧的前一帧至缺失帧的速度，估计任一点的坐标值；遍历缺失帧上的所有点，得到缺失帧上所有点的坐标值。
在一个可选的实施例中，估计模块具体用于：根据预定的帧间时间间隔，计算任一点经历预定数量的帧中任意相邻两帧的速度；根据任一点经历预定数量的帧中任意相邻两帧的速度，计算任一点经历预定数量的帧的加速度；根据任一点经历预定数量的帧的加速度、以及预定的帧间时间间隔，估计任一点从缺失帧的前一帧至缺失帧的速度。
在一个可选的实施例中，该装置还可以包括平滑插值处理模块。其中，该平滑插值处理模块用于对当前动捕数据进行平滑插值处理。
在一个可选的实施例中，该装置还可以包括屏蔽遮罩处理模块。其中，该屏蔽遮罩处理模块用于对当前动捕数据进行屏蔽遮罩处理。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
本公开实施例通过采取上述技术方案，通过第一获取模块51实时获取当前动捕数据，然后通过建立模块52建立骨骼映射，最后再通过第一确定模块53进行骨骼映射，将第一骨骼的各关节的角度数据和坐标数据，确定为第二骨骼的各关节的角度数据和坐标数据，从而可以实时地驱动与第二骨骼对应的虚拟对象，由此解决了如何在实时演出过程中存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，可以实现诸如高个子演员驱动矮个子虚拟对象、人类演员实时驱动动物虚拟对象等跨种群演绎的技术效果，还可以满足实时演出的需求，而且还可以实现影视后期制作中的数据修正等。
为了解决如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，本公开实施例还提供一种电子设备，其包括处理器和存储器。其中，存储器用于存放计算机程序。处理器用于执行所述存储器上所存放的程序时，实现任一动捕数据处理方法实施例所述的方法步骤。
上述处理器可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行。
在一些示例性的实施例中，该电子设备还可选地包括：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的电子设备的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
为了解决如何在实时演出过程中且存在多种动捕对象的情况下，对动捕数据进行实时处理的技术问题，本公开实施例还提供一种计算机可读存储介质。该计算机可读存储介质用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行前述任意一项所述的动捕数据处理方法。
该计算机可读存储介质可应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现。
上述计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)、闪存(例如，NOR型闪存或NAND型闪存)、内容可寻址存储器(CAM)、聚合物存储器(例如，铁电聚合物存储器)、相变存储器、双向开关半导体存储器、硅-氧化物-氮化硅-氧化硅-硅(Silicon-Oxide-Nitride-Oxide-Silicon，SONOS)存储器、磁卡或者光卡，亦或是其他任意适当类型的计算机可读存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明的是，本文中涉及到的流程图和/或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。本领域技术人员在考虑说明书及这里公开的具体实施方式后，会容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开所未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正保护范围由权利要求指出。
以上所述仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进、改变、添加和子组合等，均包含在本公开的保护范围内。
Claims (18)
1.一种动捕数据处理方法，其特征在于，所述方法包括：
实时获取当前动捕数据；其中，所述当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；所述第一骨骼和所述第二骨骼的预定位置设置有关键点；所述第一骨骼不同于所述第二骨骼；
建立所述第一骨骼的关键点数据与所述第二骨骼的关键点数据之间的映射关系；
基于所述映射关系，将所述第一骨骼的所述各关节的角度数据和坐标数据，确定为所述第二骨骼的所述各关节的角度数据和坐标数据，以用于驱动与所述第二骨骼对应的虚拟对象。
2.根据权利要求1所述的方法，其特征在于，在所述实时获取当前动捕数据的步骤之后，所述方法还包括：
将所述当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与所述当前缺失点相距预定距离的周边点的位置数据；其中，所述当前骨骼为所述第一骨骼或所述第二骨骼；
获取历史动捕数据；
基于所述历史动捕数据，确定所述当前骨骼上与所述当前缺失点相同的历史点、以及与所述周边点相同的历史周边点，并确定所述历史点与所述历史周边点之间的位置数据；
根据所述历史点与所述历史周边点之间的所述位置数据、以及所述周边点的位置数据，确定所述当前缺失点的位置数据；
将所确定的所述当前缺失点的位置数据补入所述当前动捕数据。
3.根据权利要求1所述的方法，其特征在于，动捕设备捕捉所述虚拟对象的动捕数据；所述方法还包括：
接收所述虚拟对象的所述动捕数据，并作为当前候选的动捕数据；
判断所述当前候选的动捕数据是否缺帧；
如果所述当前候选的动捕数据缺帧，则估计缺失帧上所有点的坐标值；
将所述缺失帧上所有点的坐标值作为所述当前动捕数据。
4.根据权利要求3所述的方法，其特征在于，以预定帧率传输动捕数据帧；所述判断所述当前候选的动捕数据是否缺帧的步骤，具体包括：
基于所述预定帧率，确定所述当前候选的动捕数据帧的传输时间；
计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；
如果所述时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
5.根据权利要求3所述的方法，其特征在于，所述估计所述缺失帧上所有点的坐标值的步骤，具体包括：
选取所述缺失帧上任一点；
确定预定的帧间时间间隔、以及所述缺失帧之前预定数量的帧；
基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度；
根据所述任一点经历所述预定数量的帧中相邻两帧的运动方向，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的运动方向；
根据所述任一点从所述缺失帧的所述前一帧至所述缺失帧的所述运动方向、以及所述缺失帧的所述前一帧至所述缺失帧的速度，估计所述任一点的坐标值；
遍历所述缺失帧上的所有点，得到所述缺失帧上所有点的坐标值。
6.根据权利要求5所述的方法，其特征在于，所述基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度的步骤，具体包括：
根据所述预定的帧间时间间隔，计算所述任一点经历所述预定数量的帧中任意相邻两帧的速度；
根据所述任一点经历所述预定数量的帧中所述任意相邻两帧的速度，计算所述任一点经历所述预定数量的帧的加速度；
根据所述任一点经历所述预定数量的帧的所述加速度、以及所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的速度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述当前动捕数据进行平滑插值处理。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述当前动捕数据进行屏蔽遮罩处理。
9.一种动捕数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于实时获取当前动捕数据；其中，所述当前动捕数据包括第一骨骼的关键点数据和各关节的角度数据和坐标数据、以及第二骨骼的关键点数据和各关节的角度数据和坐标数据；所述第一骨骼和所述第二骨骼的预定位置设置有关键点；所述第一骨骼不同于所述第二骨骼；
建立模块，用于建立所述第一骨骼的关键点数据与所述第二骨骼的关键点数据之间的映射关系；
第一确定模块，用于基于所述映射关系，将所述第一骨骼的所述各关节的角度数据和坐标数据，确定为所述第二骨骼的所述各关节的角度数据和坐标数据，以用于驱动与所述第二骨骼对应的虚拟对象。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于将所述当前动捕数据与预定数据进行比较，确定当前骨骼上的当前缺失点、以及与所述当前缺失点相距预定距离的周边点的位置数据；其中，所述当前骨骼为所述第一骨骼或所述第二骨骼；
第二获取模块，用于获取历史动捕数据；
第三确定模块，用于基于所述历史动捕数据，确定所述当前骨骼上与所述当前缺失点相同的历史点、以及与所述周边点相同的历史周边点，并确定所述历史点与所述历史周边点之间的位置数据；
第四确定模块，用于根据所述历史点与所述历史周边点之间的所述位置数据、以及所述周边点的位置数据，确定所述当前缺失点的位置数据；
补入模块，用于将所确定的所述当前缺失点的位置数据补入所述当前动捕数据。
11.根据权利要求9所述的装置，其特征在于，动捕设备捕捉所述虚拟对象的动捕数据；所述装置还包括：
接收模块，用于接收所述虚拟对象的所述动捕数据，并作为当前候选的动捕数据；
判断模块，用于判断所述当前候选的动捕数据是否缺帧；
估计模块，用于在所述当前候选的动捕数据缺帧的情况下，则估计所述缺失帧上所有点的坐标值；
确定模块，用于将所述所有点的坐标值作为所述当前动捕数据。
12.根据权利要求11所述的装置，其特征在于，以预定帧率传输动捕数据帧；所述判断模块具体用于：
基于所述预定帧率，确定所述当前候选的动捕数据帧的传输时间；
计算本次当前候选的动捕数据帧的传输时间与前一次当前候选的动捕数据帧的传输时间之间的时间差；
如果所述时间差超过时间阈值，则确定本次当前候选的动捕数据帧缺帧。
13.根据权利要求11所述的装置，其特征在于，所述估计模块具体用于：
选取所述缺失帧上任一点；
确定预定的帧间时间间隔、以及所述缺失帧之前预定数量的帧；
基于所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的前一帧至所述缺失帧的速度；
根据所述任一点经历所述预定数量的帧中相邻两帧的运动方向，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的运动方向；
根据所述任一点从所述缺失帧的所述前一帧至所述缺失帧的所述运动方向、以及所述缺失帧的所述前一帧至所述缺失帧的速度，估计所述任一点的坐标值；
遍历所述缺失帧上的所有点，得到所述缺失帧上所有点的坐标值。
14.根据权利要求13所述的装置，其特征在于，所述估计模块具体用于：
根据所述预定的帧间时间间隔，计算所述任一点经历所述预定数量的帧中任意相邻两帧的速度；
根据所述任一点经历所述预定数量的帧中所述任意相邻两帧的速度，计算所述任一点经历所述预定数量的帧的加速度；
根据所述任一点经历所述预定数量的帧的所述加速度、以及所述预定的帧间时间间隔，估计所述任一点从所述缺失帧的所述前一帧至所述缺失帧的速度。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
平滑插值处理模块，用于对所述当前动捕数据进行平滑插值处理。
16.根据权利要求9所述的装置，其特征在于，所述装置还包括：
屏蔽遮罩处理模块，用于对所述当前动捕数据进行屏蔽遮罩处理。
17.一种电子设备，其特征在于，包括处理器和存储器；其中：
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8中任意一项所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1-8中任意一项所述的动捕数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010420301.5A CN111598005A (zh) | 2020-05-18 | 2020-05-18 | 动捕数据处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010420301.5A CN111598005A (zh) | 2020-05-18 | 2020-05-18 | 动捕数据处理方法、装置、电子设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598005A true CN111598005A (zh) | 2020-08-28 |
Family
ID=72185663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010420301.5A Pending CN111598005A (zh) | 2020-05-18 | 2020-05-18 | 动捕数据处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598005A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112891922A (zh) * | 2021-03-18 | 2021-06-04 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN116700499A (zh) * | 2023-08-01 | 2023-09-05 | 海马云（天津）信息技术有限公司 | 虚拟数字人驱动方法和装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289801A (zh) * | 2011-05-16 | 2011-12-21 | 大连大学 | 一种运动捕捉的数据修复方法、系统及运动捕捉系统 |
| CN103456023A (zh) * | 2012-05-28 | 2013-12-18 | 深圳迈瑞生物医疗电子股份有限公司 | 组织运动定量分析方法和系统 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
| CN110176062A (zh) * | 2019-05-05 | 2019-08-27 | 北京当红齐天国际文化发展集团有限公司 | 一种基于运动捕捉数据的虚拟人体的控制方法 |
-
2020
- 2020-05-18 CN CN202010420301.5A patent/CN111598005A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289801A (zh) * | 2011-05-16 | 2011-12-21 | 大连大学 | 一种运动捕捉的数据修复方法、系统及运动捕捉系统 |
| CN103456023A (zh) * | 2012-05-28 | 2013-12-18 | 深圳迈瑞生物医疗电子股份有限公司 | 组织运动定量分析方法和系统 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
| CN110176062A (zh) * | 2019-05-05 | 2019-08-27 | 北京当红齐天国际文化发展集团有限公司 | 一种基于运动捕捉数据的虚拟人体的控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 盛斌 等: "《虚拟现实理论基础与应用开发实践》", 31 July 2019, 上海交通大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112891922A (zh) * | 2021-03-18 | 2021-06-04 | 山东梦幻视界智能科技有限公司 | 一种虚拟现实体感交互方法 |
| CN116700499A (zh) * | 2023-08-01 | 2023-09-05 | 海马云（天津）信息技术有限公司 | 虚拟数字人驱动方法和装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503074B (zh) | 视频帧的信息标注方法、装置、设备及存储介质 | |
| CN111050210B (zh) | 执行操作的方法、视频处理系统及非瞬态计算机可读介质 | |
| CN110246160B (zh) | 视频目标的检测方法、装置、设备及介质 | |
| CN105677395B (zh) | 一种游戏场景像素消隐的系统和方法 | |
| CN107633208B (zh) | 电子装置、人脸追踪的方法及存储介质 | |
| CN112465871A (zh) | 一种视觉跟踪算法准确性的评价方法及系统 | |
| CN109584299B (zh) | 一种定位方法、定位装置、终端及存储介质 | |
| CN111598005A (zh) | 动捕数据处理方法、装置、电子设备及计算机存储介质 | |
| CN112465029A (zh) | 一种实例追踪的方法及装置 | |
| CN110473227A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
| CN114117128A (zh) | 视频标注的方法、系统及设备 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN113365028B (zh) | 一种巡检路径的生成方法、装置及系统 | |
| CN112445995B (zh) | WebGL下的场景融合展示方法及装置 | |
| CN110149476A (zh) | 一种延时摄影方法、装置、系统及终端设备 | |
| CN111161325A (zh) | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 | |
| CN114419102B (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
| CN113486941B (zh) | 直播图像的训练样本生成方法、模型训练方法及电子设备 | |
| CN114037087B (zh) | 模型训练方法及装置、深度预测方法及装置、设备和介质 | |
| CN111382705A (zh) | 逆行行为检测方法、装置、电子设备及可读存储介质 | |
| CN110390226B (zh) | 人群事件识别方法、装置、电子设备及系统 | |
| CN108470368B (zh) | 一种虚拟场景中渲染对象的确定方法、装置及电子设备 | |
| CN111901499B (zh) | 一种计算视频图像中像素实际距离的方法及设备 | |
| US11195322B2 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
| CN113298707A (zh) | 图像帧拼接方法、视频巡检方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100022 13 / F, 1212, building 16, 89 Jianguo Road, Chaoyang District, Beijing Applicant after: Beijing xingludong Technology Co.,Ltd. Address before: 100022 1507, 12 / F, building 8, courtyard 88, Jianguo Road, Chaoyang District, Beijing Applicant before: Beijing Le Element Culture Development Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |