CN109101916A - 基于标识带的视频动作的获取方法和装置 - Google Patents

Abstract

本申请公开了一种基于标识带的视频动作的获取方法和装置。该方法包括：获取相机的标定信息；获取相机拍摄的视频信息，其中，视频信息中至少包括一个标识带的编码图案，标识带由多个不同的唯一的编码图案连接组合而成，标识带设置于目标物体上，用于标记目标物体的运动状况，每个编码图案至少包括四个特征点；获取标识带的目标信息，其中，目标信息至少包括：编码图案和标识带的编码图案的空间结构信息；依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况。通过本申请，解决了相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。

Description

基于标识带的视频动作的获取方法和装置

技术领域

本申请涉及计算机图形和动画领域，具体而言，涉及一种基于标识带的视频动作的获取方法和装置。

背景技术

传统的动作捕捉系统包括电磁式、机械式、光学式等，其中光学式是近年来最成熟和常用的捕捉系统，例如，Vicon、MotionAnalysis、Natural Point等公司的动作捕捉系统已经在CG、影视特效制作等领域有广泛的应用。

这类系统的特点是使用专用标记对目标进行标识，基于立体视觉原理通过多相机阵列准确地测量目标的运动信息。具有精度较高，动作重建准确的优点，但是由于系统庞大复杂，安装工程量大，通常只能在固定的影棚内使用，且对环境光线要求较高，场地内不能太阳直射，场地内的反光物体也会影响数据效果，因此不适合户外使用。

基于上述光学式动作捕捉系统，研究者们为了使动作捕捉系统更加简单，简化现场操作流程，特别提出了采用无标识的图像解析的动作解析技术，基于多视角三维重建或深度图像的人物模型的识别和运动跟踪获取人物运动数据。

这类技术优点是系统结构通常比较简单，现场操作便捷，但由于对于识别和跟踪技术有较强的依赖，往往有较大的局限性，在人物运动速度较快、环境背景复杂等情况下难以得到可靠的结果，且精度不足，导致动作错误率较高，数据噪声较大，动作重建不准确，且难以修复，因而难以达到影视制作的要求。

针对相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种基于标识带的视频动作的获取方法和装置，以解决相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。

根据本申请的一个方面，提供了一种基于标识带的视频动作的获取方法。该方法包括：获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取所述相机拍摄的视频信息，其中，所述视频信息中至少包括一个标识带的编码图案，所述标识带由多个不同的唯一的编码图案连接组合而成，所述标识带设置于目标物体上，用于标记目标物体的运动状况，每个所述编码图案至少包括四个特征点；获取所述标识带的目标信息，其中，所述目标信息至少包括：所述编码图案和所述标识带的编码图案的空间结构信息；依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况。

可选地，所述四个特征点至少包括中心特征点，获取所述标识带的目标信息包括：获取所述标识带的编码图案；获取所述编码图案的空间结构信息，其中，所述编码图案的空间结构信息包括所述编码图案上至少四个特征点在图案坐标系中的坐标信息，所述图案坐标系以中心特征点为坐标系原点。

可选地，在获取所述编码图案的空间结构信息之后，所述方法还包括：采集所述标识带的全方位视频信息，其中，所述全方位视频信息中记录有所述标识带上所有所述编码图案；依据所述全方位视频信息、多个所述编码图案和多个所述编码图案的空间结构信息，确定所述标识带上的多个所述编码图案之间的相对位置姿态关系；依据多个所述编码图案之间的相对位置姿态关系，生成标识带模型。

可选地，依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况包括：对所述视频信息进行识别获取目标编码图案，其中，所述目标编码图案是在所述视频信息中识别出的编码图案；依据所述标定信息和所述视频信息对所述目标编码图案进行三维重建处理，得到所述目标编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与视频信息相对应；依据所述目标编码图案和所述标识带模型，获取所述目标编码图案在目标图案坐标系下的坐标信息，其中，所述目标图案坐标系是所述标识带上目标编码图案的中心特征点为原点而建立的；依据所述目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将所述标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有所述编码图案的空间位姿的变化状况。

可选地，依据所述标定信息和所述视频信息对所述目标编码图案进行三维重建处理，得到所述目标编码图案在相机坐标系下的坐标信息包括：依据所述标定信息和所述视频信息对所述编码图案的空间结构信息进行坐标系变换计算，将图案坐标系下的所述编码图案的特征点的坐标信息转换为相机坐标系下的所述编码图案的特征点的坐标信息；依据相机坐标系下的所述编码图案的特征点的坐标信息，获取所述目标编码图案在相机坐标系下的坐标信息。

可选地，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况包括：依据所述标定信息和所述标识带的目标信息、多个所述视频信息，对所述标识带进行三维重建处理，得到多组相机坐标系下所述标识带的空间位姿的变化状况；对多组相机坐标系下所述标识带的空间位姿的变化状况进行数据匹配处理，获取同一相机坐标系下所述标识带的空间位姿的变化状况。

根据本申请的另一方面，提供了一种基于标识带的视频动作的获取装置。该装置包括：第一获取单元，用于获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；第二获取单元，用于获取所述相机拍摄的视频信息，其中，所述视频信息中至少包括一个标识带的编码图案，所述标识带由多个不同的唯一的编码图案连接组合而成，所述标识带设置于目标物体上，用于标记目标物体的运动状况，每个所述编码图案至少包括四个特征点；第三获取单元，用于获取所述标识带的目标信息，其中，所述目标信息至少包括：所述编码图案和所述标识带的编码图案的空间结构信息；三维重建单元，用于依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况。

可选地，所述四个特征点至少包括中心特征点，所述第三获取单元包括：第一获取模块，用于获取所述标识带的编码图案；第二获取模块，用于获取所述编码图案的空间结构信息，其中，所述编码图案的空间结构信息包括所述编码图案上至少四个特征点在图案坐标系中的坐标信息，所述图案坐标系以中心特征点为坐标系原点。

可选地，所述装置还包括：采集模块，用于在获取所述编码图案的空间结构信息之后，采集所述标识带的全方位视频信息，其中，所述全方位视频信息中记录有所述标识带上所有所述编码图案；确定模块，用于依据所述全方位视频信息、多个所述编码图案和多个所述编码图案的空间结构信息，确定所述标识带上的多个所述编码图案之间的相对位置姿态关系；生成模块，用于依据多个所述编码图案之间的相对位置姿态关系，生成标识带模型。

可选地，所述三维重建单元包括：识别模块，用于对所述视频信息进行识别获取目标编码图案，其中，所述目标编码图案是在所述视频信息中识别出的编码图案；第一三维重建模块，用于依据所述标定信息和所述视频信息对所述目标编码图案进行三维重建处理，得到所述目标编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与视频信息相对应；第三获取模块，用于依据所述目标编码图案和所述标识带模型，获取所述目标编码图案在目标图案坐标系下的坐标信息，其中，所述目标图案坐标系是所述标识带上目标编码图案的中心特征点为原点而建立的；第四获取模块，用于依据所述目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将所述标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有所述编码图案的空间位姿的变化状况。

可选地，所述第一三维重建模块包括：计算子模块，用于依据所述标定信息和所述视频信息对所述编码图案的空间结构信息进行坐标系变换计算，将图案坐标系下的所述编码图案的特征点的坐标信息转换为相机坐标系下的所述编码图案的特征点的坐标信息；获取子模块，用于依据相机坐标系下的所述编码图案的特征点的坐标信息，获取所述目标编码图案在相机坐标系下的坐标信息。

可选地，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，所述三维重建单元包括：第二三维重建模块，用于依据所述标定信息和所述标识带的目标信息、多个所述视频信息，对所述标识带进行三维重建处理，得到多组相机坐标系下所述标识带的空间位姿的变化状况；匹配模块，用于对多组相机坐标系下所述标识带的空间位姿的变化状况进行数据匹配处理，获取同一相机坐标系下所述标识带的空间位姿的变化状况。

为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的基于标识带的视频动作的获取方法。

为了实现上述目的，根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的基于标识带的视频动作的获取方法。

通过本申请，采用以下步骤：获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取所述相机拍摄的视频信息，其中，所述视频信息中至少包括一个标识带的编码图案，所述标识带由多个不同的唯一的编码图案连接组合而成，所述标识带设置于目标物体上，用于标记目标物体的运动状况，每个所述编码图案至少包括四个特征点；获取所述标识带的目标信息，其中，所述目标信息至少包括：所述编码图案和所述标识带的编码图案的空间结构信息；依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况，解决了相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。进而达到了消除对环境光的特殊要求和限制，降低设备的成本和操作复杂性，提升数据解算的可靠性的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的基于标识带的视频动作的获取方法的流程图；

图2是根据本申请一种可选的实施例提供的编码图案的示意图一；

图3是根据本申请一种可选的实施例提供的编码图案的示意图二；

图4是根据本申请一种可选的实施例提供的标识带的示意图；

图5是根据本申请一种可选的实施例提供的视频图像的示意图一；

图6是根据本申请一种可选的实施例提供的视频图像的示意图二；

图7是根据本申请一种可选的实施例提供的多相机系统对应的视频图像的示意图一；

图8是根据本申请一种可选的实施例提供的多相机系统对应的视频图像的示意图二；

图9是根据本申请一种可选的实施例提供的动作捕捉系统的构成框架图；以及

图10是根据本申请实施例提供的基于标识带的视频动作的获取装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

动作捕捉是动态测量并记录物体在真实三维空间中的位置和姿态，可用于在虚拟三维空间中重建运动物体每一时刻运动状态的高新技术。动作捕捉最典型的应用是对人物的动作捕捉，可以将人物肢体动作或面部表情动态进行三维数字化解算，得到三维动作数据，用来在CG制作等领域中逼真地模仿、重现真人的各种复杂动作和表情，从本质上提升CG动作效果；更重要的是让CG动作制作效率提高数百倍，大大节省了人力成本和制作周期，制作者可以将更多精力投入在CG创意和细节刻画等方面，大幅提升产品的整体制作水平。其中，动作捕捉系统是指用来实现动作捕捉的专业技术设备。

根据本申请的实施例，提供了一种基于标识带的视频动作的获取方法。

图1是根据本申请实施例的基于标识带的视频动作的获取方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数。

作为一个可选的示例，获取相机的标定信息的方式可以为：由工作人员输入相机的标定信息；与相机建立数据连接，通过数据连接获取相机的标定信息，其中，具体的获取相机的标定方式可以采用：机器视觉领域的张氏标定法。

作为一个可选的示例，相机的标定信息还可以包括：相机的内参数、相机的外参数和相机的畸变参数。

步骤S102，获取相机拍摄的视频信息，其中，视频信息中至少包括一个标识带的编码图案，标识带由多个不同的唯一的编码图案连接组合而成，标识带设置于目标物体上，用于标记目标物体的运动状况，每个编码图案至少包括四个特征点。

针对编码图案，在本申请实施例中，编码图案具有两种表现形式，即环形编码图案形式和图形码形式(如二维码图案形式)，具体如图2和图3所示。

也即，在本申请实施例提供的基于标识带的视频动作的获取方法中，标识点的编码图案的编码形式为以下任意之一：图形码形式、环状编码形式。

其一，针对环形编码图案形式，环形编码图案的中心图案用于坐标定位，如中心图案的中心为中心特征点，用于生成图像坐标系。外环图案通过不同的黑白二值变化实现编码，形成唯一的编码图案。此外，环形编码图案的尺寸大小已知的情况下，外环图案的特征点(如圆心、四边形的角点等)在环形编码图案坐标系(中心图案的中心为原点)下的坐标也为已知的情况下，可以基于同一环形编码图案上的不同特征点，得到环形编码图案的带有尺度的空间结构信息。

其二，针对二维码图案形式，二维码图案的中心点用于坐标定位，通过黑白二值变化的二维码编码方式，形成唯一的编码图案。此外，在正方形二维编码图案的尺寸大小已知的情况下，正方形二维码图案的四个角点在编码点坐标系(图案中心为原点)下的坐标也为已知的情况下，可以基于该二维码图案的不同特征点，得到二维码图案的带有尺度的空间结构信息。

需要说明的是：每个编码图案均相互唯一，也即，每个编码图案均表示唯一的身份识别号码ID。

进一步地，多个标识点的编码图案相连接可以生成标识带，也即，编码标识带由多个上述编码图案相互连接组合而成，具体如图4所示。

通过将多个上述编码图案相互连接组合形成标识带，并将标识带固定于目标物体上，令目标物体在运动时，相机至少能采集到标识带上的至少一个编码图案，避免了将单一编码图案固定于目标物体上，导致单一的编码图案在目标物体运动过程中被遮挡，导致相机无法采集编码图案，进而导致数据缺失的情况发生。

也即，通过标识带在沿标识带长度方向紧密排列多个编码图案，并将标识带绑缚于目标物体(如胳膊、腿、腰部等)上，令单相机至少获取标识带上至少一个编码图案，进而达到通过单相机即可稳定获取目标物体的运动状态，降低了因遮挡而无法识别身份识别图案的情况发生。

需要说明的是：标识带与目标物体绑紧后相对固定，当目标物体本身没有明显的形变时，标识带上的编码图案间的位姿关系也相对固定，内部相对关系不随目标物体的刚体运动而变化。因此，绑缚在目标物体上的编码标识带具有良好的空间可见性和结构不变性，进而提高了通过标识带识别目标物体运行的精准度。

作为一个可选的示例，获取相机拍摄的视频信息可以通过建立系统与相机的数据连接，进而通过数据连接获取相机拍摄的视频信息。

步骤S103，获取标识带的目标信息，其中，目标信息至少包括：编码图案和标识带的编码图案的空间结构信息。

可选地，在本申请实施例提供的基于标识带的视频动作的获取方法中，四个特征点至少包括中心特征点，获取标识带的目标信息包括：获取标识带的编码图案；获取编码图案的空间结构信息，其中，编码图案的空间结构信息包括编码图案上至少四个特征点在图案坐标系中的坐标信息，图案坐标系以中心特征点为坐标系原点。

进一步地，在获取编码图案的空间结构信息之后，在本申请实施例提供的基于标识带的视频动作的获取方法中，方法还包括：采集标识带的全方位视频信息，其中，全方位视频信息中记录有标识带上所有编码图案；依据全方位视频信息、多个编码图案和多个编码图案的空间结构信息，确定标识带上的多个编码图案之间的相对位置姿态关系；依据多个编码图案之间的相对位置姿态关系，生成标识带模型。

作为一个可选的技术方案，采集标识带的全方位视频信息的方法可以为：在拍摄标识带的同时，令标识带进行自身旋转，达到将标识带上的每个编码图案记录于标识带的全方位视频信息中，也即，达到令标识带上每个编码图案都在视频信息中的某些帧图像内记录。

也即，上述生成标识带模块的方式主要包括：采集标识带的全方位视频信息和标识带模型的计算建立两个部分，针对标识带模型的计算，具体地，在本申请实施例提供的基于标识带的视频动作的获取方法中，依据全方位视频信息和多个编码图案和编码图案的空间结构信息，确定标识带的多个编码图案之间的相对位置姿态关系包括：依据编码图案对全方位视频信息进行识别，得到多个视频图像，其中，每个视频图像中至少包含两个相邻的编码图案；计算视频图像中的多个编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频图像相对应；对多个编码图案在相机坐标系下的坐标信息进行坐标系变换计算，确定多个编码图案在目标图像坐标系的坐标信息，其中，目标图像坐标系由目标编码图案的多个特征点确立；依据多个编码图案在目标图像坐标系的坐标信息，获取目标图像坐标系下多个编码图案之间的相对位置姿态关系。

作为一个可选示例，图5为全方位视频信息中在T₁时刻的帧图像，其中，该帧图像中包括标识带的A1编码图案和A2编码图案，对该帧图像进行三维重建计算，得到A1编码图案和A2编码图案上所有特征点在相机坐标系下的坐标，即和进一步地，为了后续计算方便，将相机坐标系统一变换为A1图案坐标系，得到A2编码图案在A1图案坐标系下的坐标，即X_A2,T1。

其中，将相机坐标系统一变换为A1图案坐标系的变换关系可以为：

X_A2,T1＝[R^·|t^·]×X^· _A2,T1；

其中，R^·是相机坐标系下的旋转矩阵，t^·是相机坐标系下的位移向量。

通过编码图案上多个特征点之间的距离等信息，建立方程组，即可解得[R^·|t^·]。

其中，通过编码图案上多个特征点之间的距离等信息，建立方程组解得[R^·|t^·]的方法具体可以为：

L＝C×[R|t]×X；

其中，L表示目标图像坐标系下的坐标；C表示从相机坐标系到图像坐标系的变换，即内参数矩阵。

依据身份识别图像中的至少四个特征点在其编码图案坐标系的坐标信息，和编码图案中的至少四个特征点在其图像坐标系下的坐标信息，建立包含多个方程的方程组，通过最小二乘法可以计算出[R|t]，进而将[R|t]带入公式X_A2,T1＝[R^·|t^·]×X^· _A2,T1中，得A2编码图案在A1图案坐标系下的坐标，即X_A2,T1。

同理，图6是全方位视频信息中在T2时刻的帧图像，其中，该帧图像中包括标识带的A2编码图案和A3编码图案。计算A3编码图案在A2图案坐标系下的坐标，进一步地，在通过上述[R^·|t^·]，计算A3编码图案在A1图案坐标系下的坐标。

依次类推，将标识带上所有编码图案在A1图案坐标系下的坐标集，并依据该坐标集获取目标图像坐标系下多个编码图案之间的相对位置姿态关系，进而生成标识带模型。也即标识带上所有编码图案在A1图案坐标系下的坐标集为标识带模型的基础数据。

步骤S104，依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况。

基于上述标识带模型，可选地，在本申请实施例提供的基于标识带的视频动作的获取方法中，步骤S104包括：对视频信息进行识别获取目标编码图案，其中，目标编码图案是在视频信息中识别出的编码图案；依据标定信息和视频信息对目标编码图案进行三维重建处理，得到目标编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频信息相对应；依据目标编码图案和标识带模型，获取目标编码图案在目标图案坐标系下的坐标信息，其中，目标图案坐标系是标识带上目标编码图案的中心特征点为原点而建立的；依据目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有编码图案的空间位姿的变化状况。

具体的，在本申请实施例提供的基于标识带的视频动作的获取方法中，依据标定信息和视频信息对目标编码图案进行三维重建处理，得到目标编码图案在相机坐标系下的坐标信息包括：依据标定信息和视频信息对编码图案的空间结构信息进行坐标系变换计算，将图案坐标系下的编码图案的特征点的坐标信息转换为相机坐标系下的编码图案的特征点的坐标信息；依据相机坐标系下的编码图案的特征点的坐标信息，获取目标编码图案在相机坐标系下的坐标信息。

具体的，在本申请实施例提供的基于标识带的视频动作的获取方法中，依据目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有编码图案的空间位姿的变化状况包括：依据目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将标识带模型变换至视频信息中；对视频信息进行拆解，得到多个视频图像，其中，每个视频图像均包含标识带模型；对每个视频图像中的标识带模型进行三维重建处理，得到相机坐标系下标识带模型的空间位姿信息，其中，空间位姿信息为多个；依据视频图像在视频信息中的时间顺序，对多个空间位姿信息进行处理，得到相机坐标系下标识带的空间位姿的变化状况。

通过将视频信息中的编码图案与标识带模型中的编码图案相匹配，进而将标识带模型变换至视频信息中，获取了视频信息中标识带上所有编码图案的位姿信息，避免了由于各种客观原因导致部分编码图案无法采集，进而无法获取全部编码图案的位姿信息的情况发生。此外，通过本申请的实施例还可以对自身旋转的目标物体进行高精度的动作捕捉。

进一步地，在本申请实施例提供的基于标识带的视频动作的获取方法中，依据相机的标定信息和编码图案的空间结构信息，对每个视频图像进行三维重建处理，得到相机坐标系下标识点的空间位姿信息包括：依据相机的标定信息和视频图像对编码图案的空间结构信息进行坐标系变换计算，将图像坐标系下的特征点的坐标信息转换为多个相机坐标系下的特征点的坐标信息，其中，相机坐标系与视频图像相对应；对多个相机坐标系下特征点的坐标信息进行空间姿态解算，得到多个相机坐标系下标识点的空间位姿信息。

需要说明的是：上述对视频图像进行三维重建计算得到编码图案上所有特征点在相机坐标系下的空间位姿信息，其中，空间位姿信息至少包括编码图案的中心点的三维坐标以及编码图案所在平面的姿态坐标，也即编码图案上所有特征点在相机坐标系下的坐标信息，即为编码图案的三维重建。

作为一个可选的示例，在相机图像坐标系下，对编码图像进行识别计算得到编码图像上特征点对应的坐标信息，进一步地根据视觉计算原理可进行编码图案的空间姿态解算。

作为一个可选的示例，针对上述步骤：依据相机的标定信息和视频图像对编码图案的空间结构信息进行坐标系变换计算，将图像坐标系下的特征点的坐标信息转换为多个相机坐标系下的特征点的坐标信息，其中，相机坐标系与视频图像相对应，其具体的步骤解析为：

首先，将编码图案上特征点的三维坐标从图案坐标系到相机坐标系进行转换，需要矩阵[R|t]，其中R是旋转矩阵，t是位移向量。如果图案坐标系下特征点的坐标为X，相机坐标系下特征点的坐标为X’，那么X’＝[R|t]*X。从相机坐标系到图像坐标系的变换即内参数矩阵，记为C。那么图像坐标系下的坐标L＝C*[R|t]*X。已知编码点上4个以上的特征点在编码图案坐标系的坐标X，以及对应的特征点在图像坐标系下的坐标L，可建立至少含8个方程的方程组，通过最小二乘法可计算出变换矩阵[R|t]，再带入X’＝[R|t]*X即可求得编码点上的特征点(包括编码点中心)在相机坐标系下的坐标。

需要说明的是，为了进一步修复单相机因为遮挡造成的数据缺失，相机可以为多个，即在本申请实施例提供的基于标识带的视频动作的获取方法中，在相机为多个的情况下，视频信息由多个相机拍摄的多个视频组成，依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况包括：依据标定信息和标识带的目标信息、多个视频信息，对标识带进行三维重建处理，得到多组相机坐标系下标识带的空间位姿的变化状况；对多组相机坐标系下标识带的空间位姿的变化状况进行数据匹配处理，获取同一相机坐标系下标识带的空间位姿的变化状况。

作为一个可选的示例，图7为在T1时刻相机1记录的标识带的帧图像，图8为在T1时刻相机2记录的标识带的帧图像，即如图7和图8所示，在T1时刻，相机1和相机2同时拍摄到A标识带上的A1编码图案、A2编码图案和A3编码图案。对在T1时刻相机1记录的标识带的帧图像和在T1时刻相机2记录的标识带的帧图像进行三维重建处理，得到相机1坐标系下的A标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集，即X_{A,相机1-相机1}，和相机2坐标系下第一标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集，即X_{A,相机2-相机2}。将相机2拍摄的相机2坐标系下A标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集转换为相机2拍摄的相机1坐标下的第一标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集，即将X_{A,相机2-相机2}转换为X_{A,相机2-相机1}。

也即建立坐标变换方程组：X_{A,相机1-相机1}＝[R|t]×X_{A,相机2-相机2}，其中，[R|t]为相机2坐标系到相机1坐标系的变换矩阵，进一步地，计算[R|t]，依据[R|t]将相机2坐标系下第一标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集转换为相机1坐标下的第一标识带上的A1编码图案、A2编码图案和A3编码图案的坐标集。

最后，对相机1坐标系下的多个相机拍摄的A标识带上的编码图案的坐标集进行优化处理。即在该T1时刻相机1因为遮挡等原因没有采集到B标识带的视频信息，而相机2采集到了B标识带的视频信息，对相机2采集的视频信息经过三维重建，得到相机2坐标系下B标识带上的所有特征点的坐标集合X_{B，相机2-相机2}，通过变换矩阵[R|t]将X_{B，相机2-相机2}变换到相机1坐标系下，得到X_{B，相机2-相机1}，进而达到了填补了相机1由于遮挡导致的B标识带的数据缺失，获得完整的数据信息的技术效果。

本申请实施例提供的基于标识带的视频动作的获取方法，通过获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取相机拍摄的视频信息，其中，视频信息中至少包括一个标识带的编码图案，标识带由多个不同的唯一的编码图案连接组合而成，标识带设置于目标物体上，用于标记目标物体的运动状况，每个编码图案至少包括四个特征点；获取标识带的目标信息，其中，目标信息至少包括：编码图案和标识带的编码图案的空间结构信息；依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况，解决了相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。

进一步地，本申请实施例提供的方案还达到了以下技术效果：其一、本申请通过设定编码图案的空间结构信息，进而对编码图案进行三维重建，进而达到了令视频信息可以由普通摄像机采集，不需要专业的动作捕捉相机的技术效果。也即达到了消除对环境光的特殊要求和限制，并且降低设备的成本和复杂性，同时提升数据解算的可靠性的技术效果。

其二、本申请通过将编码图案连接成标识带，并将标识带固定于目标物体上，进而达到单一相机能采集到至少一个编码图案，并依据采集到的编码图案计算出识别带上其他未采集到的编码图案，避免了因为运动遮挡造成的数据缺失问题，且达到了最少只需一台摄像机就可以进行较高精度的三维空间运动捕捉，大幅地简化了动作捕捉系统结构，提升动作捕捉的操作便捷性及实用性。

其三、本申请通过令编码图案具有唯一性，避免单纯利用跟踪技术鲁棒性差问题，大幅提升数据的可靠性，达到了数据可靠，完整，标记识别错误率低的技术效果。

下面结合另一种实施例对本发明做出说明。

图9是根据本申请一种可选的实施例提供的动作捕捉系统的构成框架图，如图9所示，本实施例中的动作捕捉系统构成的框架图至少包括三个单元，即编码标识单元、采集单元和计算单元。

编码标识单元包括一种特殊空间编码标识点以及由这种标识点相互连接组成的标识带，每个标识点编码信息包含一个唯一的身份识别号码(ID)以及带有尺度的空间结构信息，由这种标识点组合而成的标识带被固定于目标物体上作为标记。

作为一个可选的示例，编码标识单元包括：标识点以及由标识点组成的标识带。其中，每个标识点均表示一个唯一的身份识别号码，而识别带用于固定在目标物体上，进而检测目标物体的运动状况。

视频采集单元包括至少一台数字相机，用于视频图像采集。

需要说明的是：本申请提供的实施例在原理上只需要单相机即可进行编码图案的三维重建，如果使用多相机从不同角度对目标物体进行视频采集，可在后续计算过程中起到优化标识带坐标、提升三维重建精度和减少遮挡造成的数据缺失的作用。此外，为保证标识带三维重建精度，一般地，视频至少采用1080p分辨率，视频帧率与影视作品需求一致即可，例如25fps。

三维重建计算单元包括相机内参标定、编码图案三维重建、标识带模型学习以及数据配准。通过相机标定得到相机内参数，经模型学习得到标识带上编码图案之间不随时间改变的空间相对位姿关系，再通过已知的编码图案的空间结构信息和单相机内参数计算出单个编码图案的空间位姿信息，再根据学习计算的标识带上各编码图案的相对位姿关系解算得到整条标识带上各编码图案的坐标。

此外，若采用多相机(两个或两个以上)采集单元系统，通过数据配准将各相机坐标系下的编码图案坐标对齐至同一坐标系下，可进一步优化所有编码图案空间坐标并修复单相机因为遮挡造成的数据缺失。由此，得到目标物体上各编码图案的空间坐标后，即可输出至多种动画制作软件(如Motionbuilder等)绑定动画角色模型实现动作驱动。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种基于标识带的视频动作的获取装置，需要说明的是，本申请实施例的基于标识带的视频动作的获取装置可以用于执行本申请实施例所提供的用于基于标识带的视频动作的获取方法。以下对本申请实施例提供的基于标识带的视频动作的获取装置进行介绍。

图10是根据本申请实施例的基于标识带的视频动作的获取装置的示意图。如图10所示，该装置包括：第一获取单元11、第二获取单元12、第三获取单元13和三维重建单元14。

第一获取单元11，用于获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数。

第二获取单元12，用于获取相机拍摄的视频信息，其中，视频信息中至少包括一个标识带的编码图案，标识带由多个不同的唯一的编码图案连接组合而成，标识带设置于目标物体上，用于标记目标物体的运动状况，每个编码图案至少包括四个特征点。

第三获取单元13，用于获取标识带的目标信息，其中，目标信息至少包括：编码图案和标识带的编码图案的空间结构信息。

三维重建单元14，用于依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况。

本申请实施例提供的基于标识带的视频动作的获取装置，通过第一获取单元11获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；第二获取单元12获取相机拍摄的视频信息，其中，视频信息中至少包括一个标识带的编码图案，标识带由多个不同的唯一的编码图案连接组合而成，标识带设置于目标物体上，用于标记目标物体的运动状况，每个编码图案至少包括四个特征点；第三获取单元13获取标识带的目标信息，其中，目标信息至少包括：编码图案和标识带的编码图案的空间结构信息；三维重建单元14依据标定信息、标识带的目标信息和视频信息，对标识带进行三维重建处理，得到相机坐标系下标识带的空间位姿的变化状况，解决了相关技术中动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题，进而达到了消除对环境光的特殊要求和限制，降低设备的成本和操作复杂性，提升数据解算的可靠性的效果。

可选地，在本申请实施例提供的基于标识带的视频动作的获取装置中，四个特征点至少包括中心特征点，第三获取单元包括：第一获取模块，用于获取标识带的编码图案；第二获取模块，用于获取编码图案的空间结构信息，其中，编码图案的空间结构信息包括编码图案上至少四个特征点在图案坐标系中的坐标信息，图案坐标系以中心特征点为坐标系原点。

可选地，在本申请实施例提供的基于标识带的视频动作的获取装置中，装置还包括：采集模块，用于在获取编码图案的空间结构信息之后，采集标识带的全方位视频信息，其中，全方位视频信息中记录有标识带上所有编码图案；确定模块，用于依据全方位视频信息、多个编码图案和多个编码图案的空间结构信息，确定标识带上的多个编码图案之间的相对位置姿态关系；生成模块，用于依据多个编码图案之间的相对位置姿态关系，生成标识带模型。

可选地，在本申请实施例提供的基于标识带的视频动作的获取装置中，三维重建单元包括：识别模块，用于对视频信息进行识别获取目标编码图案，其中，目标编码图案是在视频信息中识别出的编码图案；第一三维重建模块，用于依据标定信息和视频信息对目标编码图案进行三维重建处理，得到目标编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频信息相对应；第三获取模块，用于依据目标编码图案和标识带模型，获取目标编码图案在目标图案坐标系下的坐标信息，其中，目标图案坐标系是标识带上目标编码图案的中心特征点为原点而建立的；第四获取模块，用于依据目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有编码图案的空间位姿的变化状况。

可选地，在本申请实施例提供的基于标识带的视频动作的获取装置中，第一三维重建模块包括：计算子模块，用于依据标定信息和视频信息对编码图案的空间结构信息进行坐标系变换计算，将图案坐标系下的编码图案的特征点的坐标信息转换为相机坐标系下的编码图案的特征点的坐标信息；获取子模块，用于依据相机坐标系下的编码图案的特征点的坐标信息，获取目标编码图案在相机坐标系下的坐标信息。

可选地，在本申请实施例提供的基于标识带的视频动作的获取装置中，在相机为多个的情况下，视频信息由多个相机拍摄的多个视频组成，三维重建单元包括：第二三维重建模块，用于依据标定信息和标识带的目标信息、多个视频信息，对标识带进行三维重建处理，得到多组相机坐标系下标识带的空间位姿的变化状况；匹配模块，用于对多组相机坐标系下标识带的空间位姿的变化状况进行数据匹配处理，获取同一相机坐标系下标识带的空间位姿的变化状况。

基于标识带的视频动作的获取装置包括处理器和存储器，上述第一获取单元、第二获取单元、第三获取单元和三维重建单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来消除对环境光的特殊要求和限制，降低设备的成本和操作复杂性，提升数据解算的可靠性。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现基于标识带的视频动作的获取方法。

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行基于标识带的视频动作的获取方法。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于标识带的视频动作的获取方法，其特征在于，包括：

获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；

获取所述相机拍摄的视频信息，其中，所述视频信息中至少包括一个标识带的编码图案，所述标识带由多个不同的唯一的编码图案连接组合而成，所述标识带设置于目标物体上，用于标记目标物体的运动状况，每个所述编码图案至少包括四个特征点；

获取所述标识带的目标信息，其中，所述目标信息至少包括：所述编码图案和所述标识带的编码图案的空间结构信息；

依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况。

2.根据权利要求1所述的方法，其特征在于，所述四个特征点至少包括中心特征点，获取所述标识带的目标信息包括：

获取所述标识带的编码图案；

获取所述编码图案的空间结构信息，其中，所述编码图案的空间结构信息包括所述编码图案上至少四个特征点在图案坐标系中的坐标信息，所述图案坐标系以中心特征点为坐标系原点。

3.根据权利要求2所述的方法，其特征在于，在获取所述编码图案的空间结构信息之后，所述方法还包括：

采集所述标识带的全方位视频信息，其中，所述全方位视频信息中记录有所述标识带上所有所述编码图案；

依据所述全方位视频信息、多个所述编码图案和多个所述编码图案的空间结构信息，确定所述标识带上的多个所述编码图案之间的相对位置姿态关系；

依据多个所述编码图案之间的相对位置姿态关系，生成标识带模型。

4.根据权利要求3所述的方法，其特征在于，依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况包括：

对所述视频信息进行识别获取目标编码图案，其中，所述目标编码图案是在所述视频信息中识别出的编码图案；

依据所述标定信息和所述视频信息对所述目标编码图案进行三维重建处理，得到所述目标编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与视频信息相对应；

依据所述目标编码图案和所述标识带模型，获取所述目标编码图案在目标图案坐标系下的坐标信息，其中，所述目标图案坐标系是所述标识带上目标编码图案的中心特征点为原点而建立的；

依据所述目标编码图案在相机坐标系下的坐标信息和目标图案坐标系下的坐标信息，将所述标识带模型变换至相机坐标系下，获取相机坐标系下标识带上所有所述编码图案的空间位姿的变化状况。

5.根据权利要求4所述的方法，其特征在于，依据所述标定信息和所述视频信息对所述目标编码图案进行三维重建处理，得到所述目标编码图案在相机坐标系下的坐标信息包括：

依据所述标定信息和所述视频信息对所述编码图案的空间结构信息进行坐标系变换计算，将图案坐标系下的所述编码图案的特征点的坐标信息转换为相机坐标系下的所述编码图案的特征点的坐标信息；

依据相机坐标系下的所述编码图案的特征点的坐标信息，获取所述目标编码图案在相机坐标系下的坐标信息。

6.根据权利要求1所述的方法，其特征在于，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况包括：

依据所述标定信息和所述标识带的目标信息、多个所述视频信息，对所述标识带进行三维重建处理，得到多组相机坐标系下所述标识带的空间位姿的变化状况；

对多组相机坐标系下所述标识带的空间位姿的变化状况进行数据匹配处理，获取同一相机坐标系下所述标识带的空间位姿的变化状况。

7.一种基于标识带的视频动作的获取装置，其特征在于，包括：

第一获取单元，用于获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；

第二获取单元，用于获取所述相机拍摄的视频信息，其中，所述视频信息中至少包括一个标识带的编码图案，所述标识带由多个不同的唯一的编码图案连接组合而成，所述标识带设置于目标物体上，用于标记目标物体的运动状况，每个所述编码图案至少包括四个特征点；

第三获取单元，用于获取所述标识带的目标信息，其中，所述目标信息至少包括：所述编码图案和所述标识带的编码图案的空间结构信息；

三维重建单元，用于依据所述标定信息、所述标识带的目标信息和所述视频信息，对标识带进行三维重建处理，得到相机坐标系下所述标识带的空间位姿的变化状况。

8.根据权利要求7所述的装置，其特征在于，所述四个特征点至少包括中心特征点，所述第三获取单元包括：

第一获取模块，用于获取所述标识带的编码图案；

第二获取模块，用于获取所述编码图案的空间结构信息，其中，所述编码图案的空间结构信息包括所述编码图案上至少四个特征点在图案坐标系中的坐标信息，所述图案坐标系以中心特征点为坐标系原点。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项所述的基于标识带的视频动作的获取方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的基于标识带的视频动作的获取方法。