CN115147588A - 数据处理方法及装置、追踪标记、电子设备及存储介质 - Google Patents

Abstract

一种用于运动捕捉的数据处理方法及装置、追踪标记、电子设备及存储介质。该方法包括：对于运动对象的初始图像，获取初始图像中的至少一个追踪标记以及追踪标记中的关键点，追踪标记包括定位元素和背景元素，定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识；对于每个追踪标记，基于关键点得到初始图像中包含追踪标记的部分的矫正变换；对于每个追踪标记，根据矫正变换对初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；识别处理图像中的追踪标记，以确定追踪标记的标识。该方法采用的追踪标记具有可识别性，具有较高的可识别性和抗图像畸变性。

Description

数据处理方法及装置、追踪标记、电子设备及存储介质

交叉引用

本申请要求于2022年4月7日递交的中国专利申请第202210361992.5号的优先权，该中国专利申请的全文以引入的方式并入以作为本申请的一部分。

技术领域

本公开的实施例涉及一种用于运动捕捉的数据处理方法及装置、追踪标记、电子设备及存储介质。

背景技术

运动捕捉技术是利用外部设备记录人体的运动，并在虚拟三维空间中对其进行重构的技术。例如，运动捕捉技术通常借助惯性传感器、光学传感器等获取信息并重建精确的人体三维模型。运动捕捉技术可以应用于电影动画、特效制作、游戏互动、虚拟现实、医疗康复评估、运动员动作分析等领域，具有广阔的市场前景。

发明内容

本公开至少一个实施例提供一种用于运动捕捉的数据处理方法，包括：对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换；对于每个追踪标记，根据所述矫正变换对所述初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

例如，在本公开一实施例提供的方法中，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，包括：采用图像分割算法提取所述初始图像中的多个色块；采用关键点检测算法提取所述初始图像中的关键点并确定所述关键点的识别号，其中，所述关键点的识别号为所述关键点的编号或所述关键点的纹理坐标；基于关联关系，将所述多个色块与所述关键点连通，以构成至少一个备选元素；将各个备选元素与对应的基准元素进行匹配；响应于匹配结果指示所述备选元素与所述基准元素为图同构，确定所述备选元素为所述定位元素，并将所述定位元素所在的图像部位确定为所述追踪标记。

例如，在本公开一实施例提供的方法中，采用所述图像分割算法提取所述初始图像中的所述多个色块，包括：采用所述图像分割算法提取所述初始图像中具有预设颜色的子图案；判断所述子图案的形状是否为预设形状；响应于所述子图案的形状为所述预设形状，确定所述子图案为所需要的色块；响应于所述子图案的形状不是所述预设形状，丢弃所述子图案。

例如，在本公开一实施例提供的方法中，采用所述关键点检测算法提取所述初始图像中的关键点并确定所述关键点的识别号，包括：利用所述关键点检测算法检测得到角点和/或色块交点，并将所述角点和/或所述色块交点作为备选点；判断所述备选点的形状特征和/或颜色特征是否满足预设条件；响应于所述备选点的形状特征和/或颜色特征满足所述预设条件，确定所述备选点为所述关键点，并且得到所述关键点的识别号，其中，不同的预设条件对应于不同的识别号。

例如，在本公开一实施例提供的方法中，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，包括：将所述初始图像作为检测网络的输入，利用所述检测网络得到所述初始图像中的至少一个追踪标记、所述追踪标记中的关键点以及各个关键点的识别号，其中，所述关键点的识别号为所述关键点的编号或所述关键点的纹理坐标。

例如，在本公开一实施例提供的方法中，对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换，包括：对于每个追踪标记，基于所述关键点建立所述定位元素与对应的基准元素之间的坐标映射关系，其中，所述基准元素是对应的定位元素的初始设计形状，所述基准元素未发生形状畸变。

例如，在本公开一实施例提供的方法中，对于每个追踪标记，基于所述关键点建立所述定位元素与对应的基准元素之间的所述坐标映射关系，包括：对于每个追踪标记，根据所述关键点的识别号确定所述追踪标记的各个关键点与对应的基准元素的各个关键点之间的对应关系；基于所述对应关系，建立所述定位元素与对应的基准元素之间的所述坐标映射关系。

例如，在本公开一实施例提供的方法中，对于每个追踪标记，根据所述矫正变换对所述初始图像进行所述图像矫正处理，得到每个追踪标记对应的处理图像，包括：对于所述至少一个追踪标记中的至少之一，基于4个关键点对应的4个坐标映射关系计算得到一个单应性变换，并根据所述单应性变换执行所述图像矫正处理，以得到对应的处理图像；和/或，对于所述至少一个追踪标记中的至少之一，基于P个关键点的P个坐标映射关系计算得到多个单应性变换，并选择所述多个单应性变换中的一个单应性变换执行所述图像矫正处理，以得到对应的处理图像，其中，P为大于4的整数；和/或，对于所述至少一个追踪标记中的至少之一，基于Q个关键点的Q个坐标映射关系计算得到一个缩减自由度的单应性变换，并根据所述缩减自由度的单应性变换执行所述图像矫正处理，以得到对应的处理图像，其中，Q为小于4的正整数。

例如，在本公开一实施例提供的方法中，对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换，包括：对于每个追踪标记，将所述初始图像中包含所述追踪标记的部分输入矫正神经网络，利用所述矫正神经网络计算并输出矫正变换关系。

例如，在本公开一实施例提供的方法中，所述图像矫正处理包括单应性变换、二维样条插值、弹性变换、分片仿射中至少之一。

例如，在本公开一实施例提供的方法中，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：将所述处理图像作为人工智能标记分类器的输入，利用所述人工智能标记分类器识别所述处理图像中的追踪标记并输出所述追踪标记的标识。

例如，在本公开一实施例提供的方法中，所述背景元素包括字符图案，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：利用光学字符识别算法识别所述处理图像中的所述字符图案，以根据所识别的所述字符图案确定所述追踪标记的标识。

例如，在本公开一实施例提供的方法中，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：根据所述处理图像中的追踪标记的关键点的纹理坐标确定所述追踪标记的标识，并用所述关键点的纹理坐标表示所述追踪标记的标识。

例如，在本公开一实施例提供的方法中，所述背景元素包括编码图案，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：识别所述处理图像中的所述编码图案，以根据所识别的所述编码图案的信息确定所述追踪标记的标识。

例如，本公开一实施例提供的方法还包括：输出所述初始图像中与所述关键点的距离在预设范围内的像素点的纹理坐标，以实现所述像素点的运动追踪。

例如，本公开一实施例提供的方法还包括：利用图像采集装置拍摄所述运动对象，以得到所述初始图像。

例如，本公开一实施例提供的方法还包括：根据所述追踪标记的标识，基于所述追踪标记的空间坐标的变化，得到所述追踪标记的运动轨迹。

本公开至少一个实施例还提供一种用于运动捕捉的数据处理方法，包括：对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；对于每个追踪标记，根据预设变换条件，基于所述关键点得到所述定位元素与对应的基准元素之间的多个矫正变换，其中，所述基准元素是对应的定位元素的初始设计形状，所述基准元素未发生形状畸变；对于每个追踪标记，利用所述多个矫正变换对所述初始图像执行图像矫正处理，得到多个备选图像；将所述多个备选图像输入人工智能矫正分类器，利用所述人工智能矫正分类器判断所述多个备选图像中的追踪标记的定位元素是否为对应的基准元素；选择所述多个备选图像中所述定位元素为对应的基准元素的备选图像，以作为所述追踪标记对应的处理图像；识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

例如，在本公开一实施例提供的方法中，所述多个矫正变换的每个矫正变换满足所述预设变换条件；所述预设变换条件包括如下条件至少之一：所述矫正变换是图同构，所述矫正变换不包含镜面变换，所述矫正变换不使所述追踪标记的映射后的图案与映射前的图案相交。

本公开至少一个实施例还提供一种用于运动捕捉的追踪标记，包括定位元素和背景元素，其中，所述定位元素用于提供至少一个关键点；不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识。

例如，在本公开一实施例提供的追踪标记中，所述定位元素包括多条几何线条，所述几何线条的端点、拐点、交点中的至少之一为所述关键点。

例如，在本公开一实施例提供的追踪标记中，所述多条几何线条的颜色彼此不同。

例如，在本公开一实施例提供的追踪标记中，所述定位元素包括一条几何线条，所述几何线条包括多个具有不同颜色的部分，各个不同颜色的部分的交界点为所述关键点。

例如，在本公开一实施例提供的追踪标记中，所述定位元素包括多个几何块，所述多个几何块的颜色彼此不同，各个几何块的边缘突变点为所述关键点。

例如，在本公开一实施例提供的追踪标记中，所述定位元素包括多个关键点，在所述多个关键点中，至少一个关键点的形状特征和/或颜色特征不同于所述多个关键点中其余关键点的形状特征和/或颜色特征。

例如，在本公开一实施例提供的追踪标记中，所述背景元素包括噪声图案、字符图案、编码图案中的至少之一。

例如，在本公开一实施例提供的追踪标记中，所述追踪标记附着于运动对象的表面。

本公开至少一个实施例还提供一种用于运动捕捉的数据处理装置，包括：获取单元，配置为对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；变换单元，配置为对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换；处理单元，配置为对于每个追踪标记，根据所述矫正变换对所述初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；识别单元，配置为识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

本公开至少一个实施例还提供一种电子设备，包括本公开任一实施例所述的用于运动捕捉的数据处理装置。

本公开至少一个实施例还提供一种电子设备，包括：处理器；存储器，包括一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现本公开任一实施例所述的用于运动捕捉的数据处理方法。

本公开至少一个实施例还提供一种存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现本公开任一实施例所述的用于运动捕捉的数据处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A为一种光学动作捕捉服示意图；

图1B为一种用于光学动作捕捉服的红外反射标记点示意图；

图2为一种ArUco标记示意图；

图3A为一种角点检测算法的输入图像示意图；

图3B为图3A所示的输入图像的检测结果示意图；

图4A为一种用于光学动作捕捉的标记点示意图；

图4B为光学动作捕捉应用的标记点在红外相机中的成像示意图；

图5A为一种未发生畸变的图形示意图；

图5B为图5A所示的图形发生形状畸变的示意图；

图6为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的流程示意图；

图7为本公开一些实施例提供的一种用于运动捕捉的追踪标记示意图；

图8为本公开一些实施例提供的一种用于运动捕捉的追踪标记的定位元素示意图；

图9为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中追踪标记的检测与定位的流程图；

图10为图6中步骤S110的示例性流程图；

图11为图10中步骤S111的示例性流程图；

图12为图10中步骤S112的示例性流程图；

图13为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中获取追踪标记及关键点的流程图；

图14为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中采用神经网络检测追踪标记及关键点的示意图；

图15为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中对图像进行矫正的示意图；

图16为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的应用场景示意图；

图17为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的流程示意图；

图18为本公开一些实施例提供的一种用于运动捕捉的数据处理装置的示意框图；

图19为本公开一些实施例提供的一种电子设备的示意框图；

图20为本公开一些实施例提供的另一种电子设备的示意框图；

图21为本公开一些实施例提供的另一种电子设备的示意框图；以及

图22为本公开一些实施例提供的一种存储介质的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

光学式运动捕捉是一种常用的运动捕捉技术。光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上讲，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。

为了便于处理，表演者需要穿上如图1A所示的光学动作捕捉服。该光学动作捕捉服例如为单色服装，并在身体的关键部位，例如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点。这些标志或发光点称为“Marker点”，其可以发射或反射特定波长范围的光线，例如红外光等。如图1B所示，可以采用红外反射标记点，这些标记点是高亮反射式反光球，被粘贴于人体各主要关节部位，可以反射红外光。工作时，动作捕捉相机发出LED红外光，该红外光经反光球反射至动作捕捉相机，由此可以进行标记点的检测和空间定位。例如，视觉系统将识别和处理这些标志，从而实现运动追踪。

另一种常用的运动捕捉技术采用ArUco标记(ArUco Markers)。ArUco标记作为基准标记放置在需要拍摄的对象或场景上。如图2所示，ArUco标记是一个背景为黑色的正方形，正方形内部的白色图案用来表示标记的唯一性，并且存储一些信息。设置为黑色边界是为了提高ArUco标记检测的准确性和性能，其黑色边界的角点可以被计算机视觉精确定位，而其内部的图案使每一个标记都是独一无二的。

光学字符识别也是一种常用的检测技术。光学字符识别是指对文本资料的图像文件进行分析识别处理，获取文字信息的过程。光学字符识别技术可以将任何含有书写文本(例如键入、手写或打印)的文档转换为机器可读的文本数据。光学字符识别技术能从记录或照片中读取并提取详细信息或图案，并且还能将提取的数据转换为电脑可以理解的文本。

角点检测技术也是一种常用的检测技术。角点是图像的重要特征，对图像图形的理解和分析有重要作用。角点检测(Corner Detection)也称为特征点检测，是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。角点通常被定义为两条边的交点，更严格地，角点的局部邻域应该具有两个不同区域的不同方向的边界。在实际应用中，大多数角点检测方法检测的是拥有特定特征的图像点，而不仅仅是角点。这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等。如图3A所示，利用角点检测算法对输入图像进行检测，得到如图3B所示的检测结果，可知，能够检测得到几何形状的角点。

上述各个运动捕捉技术(也可以称为视觉定位与识别技术)主要存在如下问题。一方面，可识别性较差；另一方面，抗图像畸变性较差。

可识别性也叫可分类性，即用于定位的标记是否可以通过自身的信息来区分。当多个标记同时存在时，可识别性就非常重要。因为只有不同的标记可以被识别与区分，才能不至于将它们混淆，从而真正得出每一个标记具体的位置。如图4A所示，上述光学式运动捕捉技术采用的多个标记点彼此相同。如图4B所示，这些标记点通过红外相机拍摄图像后都是一样的，难以实现每个标记的区分。

物体表面不一定是平直的，物体表面上绘制或粘贴的图片会发生变形。同时，由于物体本身的运动与旋转，以及镜头角度的变化，最终得到的物体照片中，物体表面的图像可能已经发生了严重的旋转、压缩、扭曲等畸变。这时，本来可以识别的图案变得难以识别。尤其是对于机器视觉算法而言，对于严重失真扭曲的图像，识别率会大大下降。图5A示出了含有汉字“脚”的图像，该图像未发生畸变。图5B示出了图5A的图形发生形状畸变的图像，该图像仍然含有汉字“脚”，但该图像严重失真变形，因此难以识别。

如前所述，目前的视觉定位与识别技术无法同时满足可识别性和抗图像畸变性。对于光学动作捕捉技术和角点检测技术而言，其标记没有可识别性，这些技术虽然能在图像中定位出标记，但是不能对这些标记进行区别，所有的标记点都是一样的。对于光学字符识别技术和ArUco标记技术而言，其虽然可以识别出标记的独一性，但是当标记存在严重的畸变时，其检测与识别算法都会失效。

本公开至少一个实施例提供一种用于运动捕捉的数据处理方法、用于运动捕捉的数据处理装置、用于运动捕捉的追踪标记、电子设备及存储介质。该方法采用的追踪标记具有可识别性，能够在图像畸变时被有效识别，具有较高的可识别性和抗图像畸变性，可以有效提高标记识别的准确率，提高处理效率。

下面，将参考附图详细地说明本公开的实施例。应当注意的是，不同的附图中相同的附图标记将用于指代已描述的相同的元件。

本公开至少一个实施例提供一种用于运动捕捉的数据处理方法。该方法包括：对于运动对象的初始图像，获取初始图像中的至少一个追踪标记以及追踪标记中的关键点，追踪标记包括定位元素和背景元素，定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识；对于每个追踪标记，基于关键点得到初始图像中包含追踪标记的部分的矫正变换；对于每个追踪标记，根据矫正变换对初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；识别处理图像中的追踪标记，以确定追踪标记的标识。

图6为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的流程示意图。该方法可以应用于机器视觉、传感器等领域，可以实现运动物体的定位、追踪、识别等功能。如图6所示，在一些实施例中，该方法包括如下操作。

步骤S110：对于运动对象的初始图像，获取初始图像中的至少一个追踪标记以及追踪标记中的关键点，其中，追踪标记包括定位元素和背景元素，定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识；

步骤S120：对于每个追踪标记，基于关键点得到初始图像中包含追踪标记的部分的矫正变换；

步骤S130：对于每个追踪标记，根据矫正变换对初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；

步骤S140：识别处理图像中的追踪标记，以确定追踪标记的标识。

例如，在步骤S110中，运动对象例如为需要进行运动捕捉的对象，可以是穿着特定服装的表演者。初始图像可以是通过图像拍摄装置拍摄得到的运动对象的图像，例如用相机拍摄得到的表演者的图像。当然，本公开的实施例不限于此，初始图像也可以是对图像拍摄装置拍摄得到的图像进行图像预处理所得到的图像，例如进行滤波、去噪等预处理，以便于提高后续识别的准确度。例如，运动对象(例如表演者)所穿的服装上设置有追踪标记，追踪标记通过印刷或者粘贴的方式设置在表演者身体的关键部位，例如关节、髋部、肘、腕等位置。在该步骤中，需要获取初始图像中的至少一个追踪标记以及追踪标记中的关键点。

图7为本公开一些实施例提供的一种用于运动捕捉的追踪标记示意图，追踪标记附着于运动对象的表面(例如印刷、贴附在表演者的服装上)，追踪标记作为标记点以实现运动捕捉。如图7所示，追踪标记包括定位元素和背景元素。定位元素例如为图7所示的十字形，定位元素用于提供至少一个关键点。背景元素例如为图7所示的噪声图案或字符图案，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识。将定位元素和背景元素叠加组合，从而可以得到追踪标记。该追踪标记是二维图案，可以通过印刷、手绘、喷涂、制成贴纸等方式附着于运动对象表面(例如表演者所穿的服装表面)。

定位元素用于提供至少一个关键点，主要解决抗畸变性的问题。图7所示的十字形仅为一个示例，定位元素还可以由其他任意的线条、色块等形成。图8为本公开一些实施例提供的一种用于运动捕捉的追踪标记的定位元素示意图。如图8所示，定位元素可以是由数根不同颜色的线条组成的几何图形，也可以是由多个不同颜色的色块组成的几何图形。线条的颜色与形状、色块的颜色与形状都可以有很多种选择，本质是在于通过线条或色块的颜色或形状的变化，形成可以被计算机视觉精确检测到的关键点。同时，由于点周围图案颜色的特性，可以获知该关键点在该图形上的相对位置，从而能够识别和区分不同的关键点。

例如，定位元素可以包括多条几何线条，几何线条的端点、拐点、交点中的至少之一为关键点。多条几何线条的颜色可以彼此不同，从而便于识别关键点。当然，这些几何线条的颜色也可以彼此相同，通过线条的端点、拐点、交点也可以识别关键点。定位元素也可以包括一条几何线条，该几何线条包括多个具有不同颜色的部分，各个不同颜色的部分的交界点为关键点。

例如，在一些示例中，如图8中示出的(a)、(b)、(c)、(d)、(e)，定位元素由多条不同颜色的线条组成，这些线条的交点、端点都可以作为关键点。具体地，在图8中，(a)形状为一端相连的三根不同颜色的线段，其末端和中心作为关键点可以被定位；(b)形状是首尾依次相连的四根线段形成的矩形图案，通过线条和颜色的变化形成了四个角点；(c)形状是两组互相垂直的镂空对置线段，其四个独立的线段提供8个可被检测到的末端关键点；(d)形状是四段颜色变化的圆弧组成的圆形图案，其包含四个独立的圆弧的两端共8个颜色变化的关键点；(e)形状是一端相连的四根不同颜色的线段，其末端和中心作为关键点可以被定位。例如，在另一些示例中，图8中示出的(d)形状也可以看作一条几何线条(也即一个圆形线条)，该几何线条包括多个具有不同颜色的部分(每个部分为一段圆弧)，各个不同颜色的部分的交界点作为关键点。

例如，定位元素也包括多个几何块，多个几何块的颜色彼此不同，各个几何块的边缘突变点为关键点。例如，在一些示例中，如图8中示出的(f)、(g)、(h)，定位元素由多个不同颜色的几何块组成，这些几何块可以为三角形、扇形等，几何块的边缘突变点作为关键点。具体地，在图8中，(f)形状是一个由三个色块组成的三角形，其三个角点与中心构成了4个关键点；(g)形状是一个由四个色块组成的圆形，其通过颜色的变化提供了5个关键点；(h)形状是一个由四个色块组成的菱形图案，其四个角点与中心构成了5个关键点。

例如，定位元素包括多个关键点，在多个关键点中，至少一个关键点的形状特征和/或颜色特征不同于多个关键点中其余关键点的形状特征和/或颜色特征。由此，可以将具有不同的形状特征和/或颜色特征的关键点识别出来，并根据其他关键点与该关键点的相对位置关系识别出其他各个关键点，从而实现所有关键点的识别。例如，在一些示例中，虽然有几个关键点的颜色相同，但是至少有一个关键点的视觉特征与其它关键点的视觉特征不同，因此可以利用其它关键点相对于可区分关键点的相对位置，来区分各个其它相似的关键点。例如，可以基于线条的颜色和几何特征，分辨出至少一个关键点，其他几个不同颜色的线条关键点也可以通过其关于标记中心的旋转角度识别出来，从而生成对应的关键点。由于标记在镜头中不会发生镜面变换，因此在失真后的图像中该旋转关系也是有效的。

例如，在一些示例中，如图8中示出的(i)，其形状为一个由四个线条组成的十字形，其中一个线条的末端的形状(箭头形状)与其它线条不同，其末端和中心作为关键点可以被定位到，也即，(i)形状在上、下、左、右分别有一个关键点，并且在线段的中心处还有一个关键点。上方箭头所在位置对应的关键点的形状特征(箭头形状)不同于其他关键点的形状特征，因此可以识别出箭头形状对应的关键点，再根据其他关键点与该关键点之间的相对位置关系或者关于标记中心的旋转角度识别出其他关键点。

例如，若多个关键点的形状特征和/或颜色特征均彼此不同，则可以直接根据形状特征和/或颜色特征识别各个关键点，而无需考虑关键点之间的相对位置关系。

需要说明的是，在本公开的实施例中，关键点并非指一个像素点，而是预设范围内的多个像素点所组成的整体。例如，形状特征可以指预设范围内的像素点所组成的形状，颜色特征可以指预设范围内的像素点的颜色、各个颜色的像素数量的统计信息等。当然，形状特征和颜色特征还可以包括其他含义，只要能够体现出形状方面的特点和颜色方面的特点即可，本公开的实施例对此不作限制。

这里，识别关键点是指不仅要在图像中确定出关键点，还要获知该关键点是哪个关键点。例如，可以给每个关键点分配一个识别号，该识别号可以是编号或者纹理坐标等，不同的关键点的识别号彼此不同，从而可以根据识别号对多个关键点进行区分。

需要说明的是，图8示出的几种定位元素是示例性的，而非限制性的，本公开的实施例所采用的定位元素还可以是其他形状和颜色，这可以根据实际需求而定，本公开的实施例对此不作限制，只要具有可以被精确定位的关键点即可。

不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识。背景元素主要解决标记可识别性的问题。虽然追踪标记的定位元素可以提供精确的定位信息，然而，若存在多个追踪标记，每个追踪标记的定位元素都是一样的形状和颜色，则这些追踪标记无法互相区分。因此，需要把定位元素叠加设置在背景元素上，由于每个追踪标记的定位元素后面的背景元素都是独一无二的，不同的追踪标记的背景元素彼此不同，从而使每个追踪标记由于背景元素的区分性而可以与其他追踪标记区分，从而使得每个追踪标记具有唯一的标识。

例如，背景元素包括噪声图案、字符图案、编码图案中的至少之一。编码图案例如可以是一维码图案、二维码图案、条形码图案、利用各种颜色和形状信息编码的图案或其他任意类型的编码图案。例如，编码图案还可以由各种颜色的变化来编码形成。当然，本公开的实施例不限于此，背景元素可以是各种不重复的图案组合，比如随机噪声、文字、由线条组成的花纹、由各种方式表达的二进制编码图案、渐变色等。只要是处处不重复的图案，就可以用作背景元素。

在本公开的实施例中，通过定位元素和背景元素组合而形成追踪标记，该追踪标记不仅可以实现在二维图像以及三维空间中的精确定位，还可以仅依靠图像信息实现标记的识别(也即分类)。该追踪标记是可识别空间定位标记，同时解决了可识别性和抗图像畸变性这两个问题。例如，通过对同一个追踪标记中多个关键点的定位，可以矫正初始图像在该追踪标记附近的变形，使之局部变为标准图像(未失真、未变形的图像)。当多个追踪标记同时出现时，可以仅利用一帧的图像识别出各个追踪标记(每个追踪标记由于背景元素的区分性而具有唯一的标识)，从而可以在一段时间内连续追踪这些追踪标记而不至于混淆。

定位元素具有可以被计算机视觉精确检测到的关键点，定位元素被置于处处不重复的背景元素(例如背景图案)上，使得每个追踪标记都是唯一定义的。通过检测关键点，可以矫正追踪标记本身及其附近背景图案的失真，从而增加识别准确率。该追踪标记具有识别准确率高，处理迅速，对图像失真、遮挡以及大量标记同时存在的场景鲁棒等特性。

在设计好追踪标记后，需要给追踪标记中的各个关键点分配识别号(例如给各个关键点编号或者确定各个关键点的纹理坐标)，以便于对多个关键点进行区分。然后将追踪标记设置在需要追踪的运动对象的表面，再用相机拍摄得到运动对象的图像。之后，可以检测拍摄的图像中出现的所有追踪标记，从而得到如下信息：(1)图像中一共出现了多少个追踪标记；(2)每个关键点的识别号，以便于区分各个关键点。例如，在一些示例中，可以按事先编好的顺序，输出图像中每个追踪标记中的关键点在图像中的位置，可以用输出顺序来区分各个关键点。如图9所示，在一个示例中，拍摄得到表演者的图像，表演者的服装上设置有追踪标记，检测得到标记末端位置与标号，从而得到追踪标记上4个关键点预先定义的标号。

图10为图6中步骤S110的示例性流程图。在一些示例中，可以采用基于经典机器视觉的方式来识别追踪标记及关键点。具体地，步骤S110可以进一步包括如下操作。

步骤S111：采用图像分割算法提取初始图像中的多个色块；

步骤S112：采用关键点检测算法提取初始图像中的关键点并确定关键点的识别号，其中，关键点的识别号为关键点的编号或关键点的纹理坐标；

步骤S113：基于关联关系，将多个色块与关键点连通，以构成至少一个备选元素；

步骤S114：将各个备选元素与对应的基准元素进行匹配；

步骤S115：响应于匹配结果指示该备选元素与基准元素为图同构，确定该备选元素为定位元素，并将定位元素所在的图像部位确定为追踪标记。

例如，在步骤S111中，图像分割(Segmentation)算法可以包括漫水填充算法或基于人工智能的分割方法。关于图像分割算法的详细说明可以参考常规设计，此处不再赘述。

图11为图10中步骤S111的示例性流程图。在一些示例中，步骤S111可以进一步包括如下操作。

步骤S1111：采用图像分割算法提取初始图像中具有预设颜色的子图案；

步骤S1112：判断子图案的形状是否为预设形状；

步骤S1113：响应于子图案的形状为预设形状，确定子图案为所需要的色块；

步骤S1114：响应于子图案的形状不是预设形状，丢弃子图案。

例如，在步骤S1111中，由于事先知道追踪标记中应用了什么颜色的定位元素，因此可以利用图像分割算法寻找追踪标记中由单种颜色组成的色块，从而将各个追踪标记中应用的颜色所组成的色块找出来。例如，在步骤S1112中，判断子图案(也即色块)的形状是不是所设计的追踪标记中存在的形状(也即预设形状)。例如，在步骤S1113中，如果子图案的形状为预设形状，则确定该子图案为所需要的色块。例如，在步骤S1114中，如果子图案的形状不是预设形状，则该子图案不是所需要的色块，因此将该子图案丢弃。

返回至图10，在步骤S112中，采用关键点检测算法提取初始图像中的关键点并确定关键点的识别号。例如，关键点的识别号为关键点的编号或关键点的纹理坐标，也可以为其他类型的信息，只要能够将多个关键点彼此区分即可，本公开的实施例对此不作限制。

图12为图10中步骤S112的示例性流程图。在一些示例中，步骤S112可以进一步包括如下操作。

步骤S1121：利用关键点检测算法检测得到角点和/或色块交点，并将角点和/或色块交点作为备选点；

步骤S1122：判断备选点的形状特征和/或颜色特征是否满足预设条件；

步骤S1123：响应于备选点的形状特征和/或颜色特征满足预设条件，确定该备选点为关键点，并且得到关键点的识别号，其中，不同的预设条件对应于不同的识别号。

例如，在步骤S1121中，可以通过角点检测或检测色块交点的方式，将追踪标记中可能的关键点检测出来，以作为备选点。这里，备选点是指还未判断、可能是关键点的点。例如，对于检测色块交点，是指检测一个像素点的邻域是否包含来自多个颜色区域的像素点，如果是，那么该像素点所在的特定范围就是一个备选点。对于角点检测，可以参考常规设计，此处不再赘述。

例如，在步骤S1122中，由于事先知道追踪标记上每一个关键点周围的形状特征和/或颜色特征，因此判断备选点的形状特征和/或颜色特征是否满足预设条件。这里，预设条件是指已知的关键点周围的形状特征和/或颜色特征。例如，形状特征可以指预设范围内的像素点所组成的形状，颜色特征可以指预设范围内的像素点的颜色、各个颜色的像素数量的统计信息等。当然，形状特征和颜色特征还可以包括其他含义，只要能够体现出形状方面的特点和颜色方面的特点即可，本公开的实施例对此不作限制。

例如，在步骤S1123中，若备选点的形状特征和/或颜色特征满足预设条件，则确定该备选点为关键点，并且，由于关键点周围的形状特征和/或颜色特征是已知的，不同的预设条件对应于不同的识别号，因此可以得到关键点的识别号，从而确定该关键点是哪一个关键点。例如，关键点的识别号可以是关键点的编号或关键点的纹理坐标，也可以为其他类型的信息，只要能够将多个关键点彼此区分即可，本公开的实施例对此不作限制。例如，在一些示例中，由于事先知道追踪标记上每一个关键点周围包含的颜色情况，这是唯一定义的，因此可以通过检测关键点周围包含的颜色的情况来分类关键点，颜色情况已经在之前步骤中通过图像分割识别出来，从而获知这些关键点是追踪标记上的哪个点。

返回至图10，在步骤S113中，基于关联关系，将多个色块与关键点连通，以构成至少一个备选元素。由于已经得到了关键点以及追踪标记上色块的信息，因此把这些信息联系起来，使其组成一个完整的标记。同时，从之前的步骤中可以获知关键点与色块之间的相邻与相链接关系的信息，由此，可以将检测到的关键点与色块组成一个图。其中，关键点即为图的节点，而色块则为图的边。这样，图中每一个连通分支就是一个可能的追踪标记。这里，将还未进行判断、可能是追踪标记的图称为备选元素。关联关系可以是关键点与色块之间的相邻与相链接关系的信息，也可以是其他类型的信息，只要能体现关键点与色块的关联即可，本公开的实施例对此不作限制。

例如，在步骤S114中，将各个备选元素与对应的基准元素进行匹配。基准元素是指对应的定位元素的初始设计形状，基准元素未发生形状畸变。将基准元素变为一个图，可以称之为标准图。由于检测到的色块以及关键点都完成了分类(也即已经完成识别，且各个关键点能够彼此区分)，因此，可以利用这些信息建立初始图像中每一个连通分支到标准图的匹配。

例如，在步骤S115中，若匹配结果指示该备选元素与基准元素为图同构，则该连通分支是一个有效的标记，相应的，该备选元素即为定位元素，将定位元素所在的图像部位确定为追踪标记。若匹配结果指示该备选元素与基准元素不是图同构，则相应的备选元素被丢弃。

由此，完成了追踪标记的识别以及追踪标记中关键点的检测与定位。

图13为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中获取追踪标记及关键点的流程图，这是基于经典机器视觉的检测与定位方案。在一些示例中，如图13所示，获取追踪标记及关键点的过程简单介绍如下。首先得到含有标记的输入图像(也即前述的初始图像)，然后用水漫填充算法找出各个色块。接着检测到各个关键点。然后，使用连接关系将检测到的关键点与色块连接成图。将标准标记(例如前述的基准元素)转换成图，其中每一个连通分支有可能就是一个追踪标记。连通的图形中节点(关键点)与边(色块)包含有颜色信息。利用关键点与边的信息建立图匹配，将检测到的图与标准图进行匹配，从而判断是否为图同构。若是图同构，则确定图中的标记为追踪标记。若不是图同构，则说明图中的标记不是所需要的追踪标记。

需要说明的是，图13示出的流程仅为示例性的，而非限制性的，获取追踪标记及关键点的流程还可以采用其他方式，不限于图13所示出的方式，本公开的实施例对此不作限制。

例如，在一些示例中，还可以采用基于人工智能的方式来识别追踪标记及关键点。例如，步骤S110可以包括：将初始图像作为检测网络的输入，利用检测网络得到初始图像中的至少一个追踪标记、追踪标记中的关键点以及各个关键点的识别号。例如，关键点的识别号为关键点的编号或关键点的纹理坐标。

例如，检测网络可以是人工神经网络，将初始图像作为其输入，也即，该检测网络的输入是物体的照片。该检测网络的输出包括两部分数据：(1)图像中一共出现了多少个追踪标记；(2)输出图像中每个追踪标记中的关键点在图像中的位置。例如，可以按事先编好的顺序，输出图像中每个追踪标记中的关键点在图像中的位置，用输出顺序来区分各个关键点。由此，可以得到追踪标记、追踪标记中的关键点以及各个关键点的识别号。

图14为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中采用神经网络检测追踪标记及关键点的示意图，这是基于人工智能的方案。在一些示例中，获取追踪标记及关键点的过程简单介绍如下。如图14所示，假设输入图像(初始图像)的尺寸是M×N个像素，将其划分为W×H像素大小的网格。神经网络(检测网络)接收输入图像之后，输出一个(M/W)×(N/H)×(1+2K)像素大小的图像。这样，输出图像的每一个像素对应了输入图像的一个格子。每个像素的(1+2K)个信道中，包含了一个布尔值。该布尔值例如为一维数据，其信息包含：对应的输入图像中的格子是否包含了一个追踪标记，以及，如果包含了追踪标记，追踪标记中各个关键点的坐标(2K维数据)。由此，一个格子的输出反映了(1+2K)维的数据。例如，K为关键点的数量。例如，每个像素的信道中，不限于包含布尔值，也可以采用其他数据格式和类型，不限于一维数据，也可以是多个维度的数据，本公开的实施例对此不作限制，只要能够输出是否存在追踪标记的信息以及关键点的信息即可。

如图14所示，图14中(a)表示包含追踪标记的输入图像，其中的追踪标记可能已经失真，图14中(b)表示输入图像被划分成由相同大小格子组成的网格。图14中(c)表示神经网络的判断输出，灰色代表神经网络判断该格子没有包含一个追踪标记的中心，白色代表该格子包含一个追踪标记的中心。图14中(d)表示一个包含追踪标记的格子对应的输出。

需要说明的是，图14示出的流程仅为示例性的，而非限制性的，获取追踪标记及关键点的流程还可以采用其他方式，不限于图14所示出的方式，本公开的实施例对此不作限制。

由于关键点是处于颜色或形状变化的临界点，因此可以很容易实现较高的定位精度。前述的两种对追踪标记进行检测与定位的方案分别是基于经典机器视觉的方案和基于人工智能的方案，这两种方案是互相平行的关系，可以互相替代的作为实现检测与定位的方案。

返回至图6，在步骤S120中，对于每个追踪标记，基于关键点得到初始图像中包含追踪标记的部分的矫正变换。

例如，在一些示例中，可以通过建立坐标映射关系的方式来获得矫正变换。在该方式中，步骤S120可以包括：对于每个追踪标记，基于关键点建立定位元素与对应的基准元素之间的坐标映射关系。例如，基准元素是对应的定位元素的初始设计形状，基准元素未发生形状畸变。

例如，在一些示例中，基于关键点建立定位元素与对应的基准元素之间的坐标映射关系，包括：对于每个追踪标记，根据关键点的识别号确定追踪标记的各个关键点与对应的基准元素的各个关键点之间的对应关系；基于对应关系，建立定位元素与对应的基准元素之间的坐标映射关系。由于已经得到了追踪标记及其关键点，因此可以将各个关键点与基准元素(例如标准标记)中的各个关键点对应，从而建立坐标映射关系，该坐标映射关系可以体现初始图像中包含追踪标记的部分的矫正变换，可以用于后续的图像矫正操作。

例如，在另一些示例中，可以通过人工神经网络的方式来获得矫正变换。在该方式中，步骤S120可以包括：对于每个追踪标记，将初始图像中包含追踪标记的部分输入矫正神经网络，利用矫正神经网络计算并输出矫正变换关系。这种方式可以自动得到图像变换。例如，矫正神经网络是一个训练好的神经网络，将初始图像中包含追踪标记的部分输入该矫正神经网络，该矫正神经网络可以自动给出一个矫正变换关系。之后，可以将该矫正变换关系施加于对初始图像进行裁切后的图像上，即可以实现失真矫正。例如，矫正神经网络可以依据图像信息得到矫正变换，也可以根据其他与图像相关的信息得到矫正变换，本公开的实施例对此不作限制。

例如，如图6所示，在步骤S130中，在得到矫正变换之后，对于每个追踪标记，根据矫正变换对初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像，由此实现畸变矫正、空间矫正。例如，上述图像矫正处理可以包括单应性变换、二维样条插值、弹性变换、分片仿射(Piecewise Affine)中至少之一，从而构造矫正变换。当然，本公开的实施例不限于此，图像矫正处理还可以包括其他图像处理操作，这可以根据实际需求而定，本公开的实施例对此不作限制。

在图像矫正处理包括单应性变换的情形，步骤S130可以包括：对于至少一个追踪标记中的至少之一，基于4个关键点对应的4个坐标映射关系计算得到一个单应性变换，并根据单应性变换执行图像矫正处理，以得到对应的处理图像；和/或，对于至少一个追踪标记中的至少之一，基于P个关键点的P个坐标映射关系计算得到多个单应性变换，并选择多个单应性变换中的一个单应性变换执行图像矫正处理，以得到对应的处理图像，其中，P为大于4的整数；和/或，对于至少一个追踪标记中的至少之一，基于Q个关键点的Q个坐标映射关系计算得到一个缩减自由度的单应性变换，并根据缩减自由度的单应性变换执行图像矫正处理，以得到对应的处理图像，其中，Q为小于4的正整数。

也即是，解算单应性变换时，如果是4个对应关系(4个关键点对应的4个坐标映射关系)，可以精确解算出一个单应性变换；如果是4个以上的对应关系(P个关键点的P个坐标映射关系)，可以解算出一个最优的单应性变换，上文描述的选择多个单应性变换中的一个单应性变换可以指选择最优的单应性变换；如果是少于4个的对应关系(Q个关键点的Q个坐标映射关系)，可以将单应性变换的自由度缩减为仿射(Affine)，或变为平移(Translation)、缩放(Scale)、旋转(Rotation)、翻转(Flip)和错切(Shear)几种变换的组合，从而减少自由度。

图15为本公开一些实施例提供的一种用于运动捕捉的数据处理方法中对图像进行矫正的示意图。如图15所示，图15中(a)示出了旋转失真的图像，该图像例如是运动对象的表面的图案，这会有较大的失真、变形、旋转等，从而使其识别非常困难。图15中(b)示出了将检测到的关键点与基准元素(例如标准形状的标记)联系起来，例如通过检测得到了追踪标记上的关键点，同时通过颜色信息得到了关键点与未失真的基准元素(例如标准形状的标记，也称为标准标记)之间的联系。图15中(c)示出了通过对应关系解算出图像的单应性变换，在解算图像变换时，可应用全部或部分关键点之间的对应关系，这个变换同时也是一个图像的变换，不仅可以把失真的标记矫正为标准标记，作用在背景图像上时，还可以矫正背景图像的大部分失真。

本公开实施例采用的追踪标记提供了多个关键点的精确定位，而这多个关键点的信息可以被用来矫正图像的失真和畸变。根据计算机视觉的理论可知，两个图片之间四个或以上关键点的对应关系，可以解算一个单应性变换，从而把两张图片上的关键点最大程度的对应起来。由于知道基准元素(标准标记)的形状，同时又检测到了失真图像中关键点的位置，通过在失真图像与标准标记图形之间建立联系，通过对应关系解算出一个把失真的标记还原为标准标记的图像变换，从而可以矫正掉标记本身和背景图案的大部分失真。

返回至图6，在步骤S140中，在得到追踪标记对应的处理图像后，由于处理图像是经过矫正之后的图像，已经变得接近于标准图案，易于识别，因此，在该步骤中识别处理图像中的追踪标记，以确定追踪标记的标识。例如，每个追踪标记由于背景元素的区分性而具有唯一的标识，不同的追踪标记具有不同的标识。通过识别追踪标记，可以获知该追踪标记是哪个追踪标记，从而便于追踪。

例如，在一些示例中，步骤S140可以包括：将处理图像作为人工智能标记分类器的输入，利用人工智能标记分类器识别处理图像中的追踪标记并输出追踪标记的标识。人工智能标记分类器可以是预先训练好的神经网络。在设计追踪标记时，可以对每一个追踪标记进行预先编号，因此可以通过人工智能标记分类器对输入的矫正后的图像进行识别，从而输出相应的编号。这里，追踪标记的编号即为追踪标记的标识，用于与其他追踪标记进行区分，追踪标记的编号不同于上文描述的关键点的识别号。

例如，在另一些示例中，背景元素可以包括字符图案，步骤S140可以包括：利用光学字符识别算法识别处理图像中的字符图案，以根据所识别的字符图案确定追踪标记的标识。例如，对于背景元素(背景图案)为文字的情形，可以使用光学字符识别工具读出背景的文字，从而实现对追踪标记的识别(分类)。在背景元素采用图15所示的字符图案(该示例为字母图案)的情形，光学字符识别工具可以按顺序输出追踪标记周围的文字“ABEF”。

例如，在另一些示例中，步骤S140可以包括：根据处理图像中的追踪标记的关键点的纹理坐标确定追踪标记的标识，并用关键点的纹理坐标表示追踪标记的标识。例如，可以得到关键点在纹理空间的坐标(也即纹理坐标)，并输出几组二维坐标(u，v)来表示关键点在纹理空间的坐标，由于不同的追踪标记中的关键点的纹理坐标不同，因此可以用关键点的纹理坐标来区分不同的追踪标记。

例如，在另一些示例中，背景元素包括编码图案，步骤S140可以包括：识别处理图像中的编码图案，以根据所识别的编码图案的信息确定追踪标记的标识。编码图案例如包括一维码图案、二维码图案或其他二进制编码的图案，通过识别编码图案的信息可以确定追踪标记的标识，从而将该追踪标记与其他追踪标记进行区分。

例如，本公开实施例提供的数据处理方法还可以包括步骤S150：输出初始图像中与关键点的距离在预设范围内的像素点的纹理坐标，以实现像素点的运动追踪。在该步骤中，输出矫正后追踪标记周围所有像素的稠密纹理坐标，这种输出是针对追踪标记周围每一个像素点都给出其纹理坐标，这些像素点不一定是关键点，也不一定在追踪标记上。这与上文描述的输出追踪标记的关键点在纹理空间的坐标不同。由此，不仅实现了关键点的追踪，而且实现了物体表面上密集点的追踪，即捕捉到的每一个像素都是物体表面可以被定位与识别并实现追踪的一个点。由此，可以实现更高的几何重建分辨率。例如，在一些示例中，可以输出一个与矫正后的图像大小相同的图像，或者输出一个经过采样的图像，该图像每个像素的信道包含对应点的纹理坐标。

例如，本公开实施例提供的数据处理方法还可以包括步骤S160：利用图像采集装置拍摄运动对象，以得到初始图像。图像采集装置例如为多个环绕运动对象布置的相机，也可以为其他类型的图像采集设备，本公开的实施例对此不作限制。步骤S160例如可以在步骤S110之前执行。

例如，本公开实施例提供的数据处理方法还可以包括步骤S170：根据追踪标记的标识，基于追踪标记的空间坐标的变化，得到追踪标记的运动轨迹。由于已经识别了各个追踪标记，因此可以在多帧图像中连续追踪每一个追踪标记，通过追踪标记的空间坐标的变化，得到该追踪标记的运动轨迹，从而实现运动捕捉，进而可以在虚拟三维空间中对其进行重构。

图16为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的应用场景示意图，图16示出了利用本公开实施例提供的用于运动捕捉的数据处理方法做人体动作捕捉的示例。例如，将本公开实施例提供的追踪标记置于衣物之上，该衣物包含了处处不重复的随机噪声图像，该随机噪声图像作为追踪标记中的背景元素。表演者穿上该服装，在同步好的多相机系统内进行表演。表演时，多个相机会连续拍摄来自表演者的图像。然后，把拍摄得到的图像输入用于实现本公开实施例提供的用于运动捕捉的数据处理方法的算法中，从而可以得到表演者身上各个点的运动轨迹。

具体的数据处理过程简述如下。

首先，标定相机系统，例如对相机系统进行初始化，确定相机参数等。接着预先给各定位标记(也即追踪标记)编号，由于动作捕捉服上每一个定位标记都是独一无二的，因此可以事先给各个定位标记编好号，确保每一个标记的编号都不重复。然后，对标记进行检测与定位。例如可以采用前述的检测与定位方法在相机的每张图像上检测出存在的标记，并定位出每一个标记的各关键点的位置。

接着，解算矫正变换。可以利用检测到的关键点到标准定位标记关键点的匹配，利用前述的获得矫正变换的方法，解算出一个图像变换。这个图像变换可以把图像中变形的定位标记近似还原为一个标准标记。同时，该图像变换也可以作用在该标记的背景图案上。例如可以把这个变换作用在标记周围一定范围内的子图像上，从而得到一个W×H大小的矫正后的子图像。子图像的大小以足够识别出该标记为准。然后，利用前述的识别标记的方法来对各个标记进行识别，从而识别出各个不同的标记，例如可以得出每一个检测出的标记的编号。

然后，进行重建与追踪。标记的编号是其固有属性，因此其不会随时间或者拍摄的场景或使用的相机的变化而变化。因此，可以得到一个标记的关键点在各个不同相机的图像上的对应位置(这些相机是已经检测到该标记的相机，关键点在其图像上的位置是已知的)。因此，可以利用标定好的相机参数，加上各个关键点的对应位置，重建出各个关键点的三维坐标。同时，通过追踪一个关键点的三维坐标在一段时间内的三维坐标变化，就可以得出其运动轨迹。由此，可以完成人体表面标记关键点追踪的过程。

在本公开实施例提供的用于运动捕捉的数据处理方法中，通过执行检测与定位、矫正畸变、标记识别等操作，可以从追踪标记获得定位信息和分类信息。定位信息是指追踪标记在初始图像上的精确位置，从而可以还原出追踪标记在三维空间中的精确位置。分类信息可以区分不同的追踪标记，辨别每一个追踪标记，从而还原出每一个追踪标记的独立轨迹。

本公开实施例提供的用于运动捕捉的数据处理方法可以大幅提高标记识别的准确率。常用的标志识别技术，比如ArUco markers检测技术或者光学字符识别技术，都是假设了一个识别对象近似刚性，且相机的摄影变换失真不强的先决条件。在对象剧烈变形，或者相机角度不佳造成标记带有较强的如旋转等摄影变换时，其识别效率会大大降低。本公开实施例提供的数据处理方法可以矫正存在的大部分由于摄影变换或物体变形造成的失真，从而大大提高了处理效率。该数据处理方法的处理效率高，这是一种高效的失真矫正与标记识别机制，其步骤简单，运行效率高，可以实时运行在各种算力不高的机器上，对硬件资源的要求低。在存在遮挡或者大量标记同时存在的场景下，该数据处理方法的处理效果稳定，由于每一个标记都是独一无二的，所以标记数量的增长不会引起混淆。而且，由于仅仅通过一张图片就可以完全识别并定位每一个标记，即使物体被遮挡一段时间，当其再次出现时，追踪也不会失败。因为只要该标记再次出现，可以立刻识别出该标记是哪个标记，从而继续追踪即可。

图17为本公开一些实施例提供的一种用于运动捕捉的数据处理方法的流程示意图。在一些实施例中，该数据处理方法包括如下操作。

步骤S210：对于运动对象的初始图像，获取初始图像中的至少一个追踪标记以及追踪标记中的关键点，其中，追踪标记包括定位元素和背景元素，定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识；

步骤S220：对于每个追踪标记，根据预设变换条件，基于关键点得到定位元素与对应的基准元素之间的多个矫正变换，其中，基准元素是对应的定位元素的初始设计形状，基准元素未发生形状畸变；

步骤S230：对于每个追踪标记，利用多个矫正变换对初始图像执行图像矫正处理，得到多个备选图像；

步骤S240：将多个备选图像输入人工智能矫正分类器，利用人工智能矫正分类器判断多个备选图像中的追踪标记的定位元素是否为对应的基准元素；

步骤S250：选择多个备选图像中定位元素为对应的基准元素的备选图像，以作为追踪标记对应的处理图像；

步骤S260：识别处理图像中的追踪标记，以确定追踪标记的标识。

该实施例提供的数据处理方法适用于各关键点不能互相区分的情形。当图像的分辨率不够时，或者采用灰度相机时，存在若干无法互相区分的多个关键点。或者，在一些应用示例中，标记的关键点本身就不可以互相区分。这时，从失真标记到标准标记的变换就不是唯一的。因此，对于基于经典机器视觉的检测与定位的方案，失去了各个关键点的分类信息；对于应用人工神经网络实现标记的检测与定位的方案，输出的关键点的顺序是不确定。在该实施例中，通过步骤S210～S260，可以在无法区分各个关键点的情形下实现追踪标记的识别，拓宽了该数据处理方法的应用范围和应用场景，有效提高了识别性能。关于步骤S210～S260，详细说明如下。

例如，在步骤S210中，运动对象例如为需要进行运动捕捉的对象，可以是穿着特定服装的表演者。初始图像可以是通过图像拍摄装置拍摄得到的运动对象的图像，例如用相机拍摄得到的表演者的图像。当然，本公开的实施例不限于此，初始图像也可以是对图像拍摄装置拍摄得到的图像进行图像预处理所得到的图像，例如进行滤波、去噪等预处理，以便于提高后续识别的准确度。例如，运动对象(例如表演者)所穿的服装上设置有追踪标记，追踪标记通过印刷或者粘贴的方式设置在表演者身体的关键部位，例如关节、髋部、肘、腕等位置。在该步骤中，需要获取初始图像中的至少一个追踪标记以及追踪标记中的关键点。关于步骤S210的详细说明可以参考前文关于图6中步骤S110的说明，此处不再赘述。

例如，在步骤S220中，假设穷举所有检测出的关键点到标准标记关键点的映射时，每个映射可以解算出一个候选的图像变换，但是穷举的方式会导致效率低下，处理时间较长，因此通过设置预设变换条件来排除一些候选的图像变换(候选的映射)，从而避免穷举所有的可能的映射，只需要得到满足预设变换条件的多个矫正变换即可。例如，每个矫正变换均是满足预设变换条件的变换。预设变换条件包括如下条件至少之一：该矫正变换是图同构，该矫正变换不包含镜面变换，该矫正变换不使相应的追踪标记的映射后的图案与映射前的图案相交(也即，不能使标记在映射后自我相交)。这里列举的三个条件可以同时满足，也可以只满足其中任意一个条件，也可以只满足其中任意两个条件，本公开的实施例对此不作限制。例如，在一些示例中，对于预设变换条件同时包括上述三个条件的情形(也即，矫正变换需同时满足上述三个条件的情形)，首先该候选映射应该是一个图同构，其次其解算出的图像变换不应该包含镜面变换，以及该映射也不能让标记在映射后自我相交。当然，预设变换条件不限于上述列举的条件，还可以包括其他条件，这可以根据实际需求而定，本公开的实施例对此不作限制。当利用预设变换条件排除掉不满足条件的候选图像变换后，将只剩下很少的从失真标记到标准标记的候选图像变换，也即是，不需要穷举所有可能的映射(这些所有可能的映射的数量达到K！，K为关键点的数量)。

例如，在步骤S230中，根据所得到的多个矫正变换对初始图像执行图像矫正处理，得到多个备选图像，每个矫正变换对应得到一个备选图像。例如，备选图像为由候选图像变换矫正过的失真标记图像。

例如，在步骤S240中，将备选图像作为人工智能矫正分类器的输入，该人工智能矫正分类器是一个训练好的人工智能分类器，根据输入的备选图像，可以输出一个值，该值反映了该备选图像对应的图像变换是否为将失真标记矫正为标准标记的图像变换，也即是，人工智能矫正分类器可以判断备选图像中的追踪标记的定位元素是否为对应的基准元素。

例如，在步骤S250中，选择多个备选图像中定位元素为对应的基准元素的备选图像，以作为追踪标记对应的处理图像，也即是，验证从失真标记到标准标记的候选的图像变换(由于无需穷举，因此这些候选图像变换的数量较少)，并在验证所有的候选的图像变换之后可以找到唯一的将失真标记矫正为标准标记的图像变换。

例如，在步骤S260中，在得到追踪标记对应的处理图像后，由于处理图像是经过矫正之后的图像，已经变得接近于标准图案，易于识别，因此，在该步骤中识别处理图像中的追踪标记，以确定追踪标记的标识。例如，每个追踪标记由于背景元素的区分性而具有唯一的标识，不同的追踪标记具有不同的标识。通过识别追踪标记，可以获知该追踪标记是哪个追踪标记，从而便于追踪。关于步骤S260的详细说明可以参考前文关于图6中步骤S140的说明，此处不再赘述。

本公开至少一个实施例还提供一种用于运动捕捉的追踪标记，该追踪标记包括定位元素和背景元素。定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识。

通过定位元素和背景元素组合而形成追踪标记，该追踪标记不仅可以实现在二维图像以及三维空间中的精确定位，还可以仅依靠图像信息实现标记的识别(也即分类)。例如，通过对同一个追踪标记中多个关键点的定位，可以矫正初始图像在该追踪标记附近的变形，使之局部变为标准图像(未失真、未变形的图像)。当多个追踪标记同时出现时，可以仅利用一帧的图像识别出各个追踪标记(每个追踪标记由于背景元素的区分性而具有唯一的标识)，从而可以在一段时间内连续追踪这些追踪标记而不至于混淆。定位元素具有可以被计算机视觉精确检测到的关键点，定位元素被置于处处不重复的背景元素(例如背景图案)上，使得每个追踪标记都是唯一定义的。通过检测关键点，可以矫正追踪标记本身及其附近背景图案的失真，从而增加识别准确率。该追踪标记具有识别准确率高，处理迅速，对图像失真、遮挡以及大量标记同时存在的场景鲁棒等特性。

关于该追踪标记的技术效果和详细说明可以参考上文关于追踪标记的描述，此处不再赘述。

本公开至少一个实施例还提供一种用于运动捕捉的数据处理装置，该数据处理装置采用的追踪标记具有可识别性，能够在图像畸变时被有效识别，具有较高的可识别性和抗图像畸变性，可以有效提高标记识别的准确率，提高处理效率。

图18为本公开一些实施例提供的一种用于运动捕捉的数据处理装置的示意框图。如图18所示，在一些实施例中，数据处理装置10包括获取单元11、变换单元12、处理单元13、识别单元14。

获取单元11配置为对于运动对象的初始图像，获取初始图像中的至少一个追踪标记以及追踪标记中的关键点。例如，追踪标记包括定位元素和背景元素，定位元素用于提供至少一个关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于背景元素的区分性而具有唯一的标识。例如，获取单元11可以执行图6所示的数据处理方法的步骤S110。

变换单元12配置为对于每个追踪标记，基于关键点得到初始图像中包含追踪标记的部分的矫正变换。例如，变换单元12可以执行图6所示的数据处理方法的步骤S120。

处理单元13配置为对于每个追踪标记，根据矫正变换对初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像。例如，处理单元13可以执行图6所示的数据处理方法的步骤S130。

识别单元14配置为识别处理图像中的追踪标记，以确定追踪标记的标识。例如，识别单元14可以执行图6所示的数据处理方法的步骤S140。

例如，获取单元11、变换单元12、处理单元13、识别单元14可以为硬件、软件、固件以及它们的任意可行的组合。例如，获取单元11、变换单元12、处理单元13、识别单元14可以为专用或通用的电路、芯片或装置等，也可以为处理器和存储器的结合。关于获取单元11、变换单元12、处理单元13、识别单元14的具体实现形式，本公开的实施例对此不作限制。

需要说明的是，本公开的实施例中，数据处理装置10的各个单元与前述的数据处理方法的各个步骤对应，关于该数据处理装置10的具体功能可以参考上文中数据处理方法的相关描述，此处不再赘述。图18所示的数据处理装置10的组件和结构只是示例性的，而非限制性的，根据需要，该数据处理装置10还可以包括其他组件和结构。

本公开至少一个实施例还提供一种电子设备。该电子设备采用的追踪标记具有可识别性，能够在图像畸变时被有效识别，具有较高的可识别性和抗图像畸变性，可以有效提高标记识别的准确率，提高处理效率。

图19为本公开一些实施例提供的一种电子设备的示意框图。如图19所示，电子设备20包括数据处理装置21，数据处理装置21可以为本公开任一实施例提供的数据处理装置，例如为前述的数据处理装置10。该电子设备20可以为任意的具有计算功能的设备，例如为服务器、终端设备、个人计算机等，本公开的实施例对此不作限制。

图20为本公开一些实施例提供的另一种电子设备的示意框图。如图20所示，该电子设备30包括处理器31和存储器32，可以用于实现客户端或服务器。存储器32用于非瞬时性地存储有计算机可执行指令(例如一个或多个计算机程序模块)。处理器31用于运行该计算机可执行指令，该计算机可执行指令被处理器31运行时可以执行上文所述的数据处理方法中的一个或多个步骤，进而实现上文所述的数据处理方法。存储器32和处理器31可以通过总线系统和/或其它形式的连接机构(未示出)互连。

例如，处理器31可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器31可以为通用处理器或专用处理器，可以控制电子设备30中的其它组件以执行期望的功能。

例如，存储器32可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器31可以运行一个或多个计算机程序模块，以实现电子设备30的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

需要说明的是，本公开的实施例中，电子设备30的具体功能和技术效果可以参考上文中关于数据处理方法的描述，此处不再赘述。

图21为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备40例如适于用来实施本公开实施例提供的数据处理方法。电子设备40可以是终端设备、个人计算机、服务器等。需要注意的是，图21示出的电子设备40仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。

如图21所示，电子设备40可以包括处理装置(例如中央处理器、图形处理器等)41，其可以根据存储在只读存储器(ROM)42中的程序或者从存储装置48加载到随机访问存储器(RAM)43中的程序而执行各种适当的动作和处理。在RAM 43中，还存储有电子设备40操作所需的各种程序和数据。处理装置41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

通常，以下装置可以连接至I/O接口45：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置46；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置47；包括例如磁带、硬盘等的存储装置48；以及通信装置49。通信装置49可以允许电子设备40与其他电子设备进行无线或有线通信以交换数据。虽然图21示出了具有各种装置的电子设备40，但应理解的是，并不要求实施或具备所有示出的装置，电子设备40可以替代地实施或具备更多或更少的装置。

例如，根据本公开的实施例，上述数据处理方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述数据处理方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置49从网络上被下载和安装，或者从存储装置48安装，或者从ROM 42安装。在该计算机程序被处理装置41执行时，可以实现本公开实施例提供的数据处理方法中限定的功能。

本公开至少一个实施例还提供一种存储介质。利用该存储介质，能够在图像畸变时使追踪标记被有效识别，具有较高的可识别性和抗图像畸变性，可以有效提高标记识别的准确率，提高处理效率。

图22为本公开一些实施例提供的一种存储介质的示意图。例如，如图22所示，存储介质50可以为非暂时性计算机可读存储介质，存储有非暂时性计算机可读指令51。当非暂时性计算机可读指令51由处理器执行时可以实现本公开实施例所述的数据处理方法，例如，当非暂时性计算机可读指令51由处理器执行时，可以执行根据上文所述的数据处理方法中的一个或多个步骤。

例如，该存储介质50可以应用于上述电子设备中，例如，该存储介质50可以为电子设备30中的存储器32。关于存储介质50的说明可以参考电子设备的实施例中对于存储器的描述，重复之处不再赘述。存储介质50的具体功能和技术效果可以参考上文中关于数据处理方法的描述，此处不再赘述。

有以下几点需要说明：

(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (31)

1.一种用于运动捕捉的数据处理方法，包括：

对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；

对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换；

对于每个追踪标记，根据所述矫正变换对所述初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；

识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

2.根据权利要求1所述的方法，其中，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，包括：

采用图像分割算法提取所述初始图像中的多个色块；

采用关键点检测算法提取所述初始图像中的关键点并确定所述关键点的识别号，其中，所述关键点的识别号为所述关键点的编号或所述关键点的纹理坐标；

基于关联关系，将所述多个色块与所述关键点连通，以构成至少一个备选元素；

将各个备选元素与对应的基准元素进行匹配；

响应于匹配结果指示所述备选元素与所述基准元素为图同构，确定所述备选元素为所述定位元素，并将所述定位元素所在的图像部位确定为所述追踪标记。

3.根据权利要求2所述的方法，其中，采用所述图像分割算法提取所述初始图像中的所述多个色块，包括：

采用所述图像分割算法提取所述初始图像中具有预设颜色的子图案；

判断所述子图案的形状是否为预设形状；

响应于所述子图案的形状为所述预设形状，确定所述子图案为所需要的色块；

响应于所述子图案的形状不是所述预设形状，丢弃所述子图案。

4.根据权利要求2所述的方法，其中，采用所述关键点检测算法提取所述初始图像中的关键点并确定所述关键点的识别号，包括：

利用所述关键点检测算法检测得到角点和/或色块交点，并将所述角点和/或所述色块交点作为备选点；

判断所述备选点的形状特征和/或颜色特征是否满足预设条件；

响应于所述备选点的形状特征和/或颜色特征满足所述预设条件，确定所述备选点为所述关键点，并且得到所述关键点的识别号，其中，不同的预设条件对应于不同的识别号。

5.根据权利要求1所述的方法，其中，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，包括：

将所述初始图像作为检测网络的输入，利用所述检测网络得到所述初始图像中的至少一个追踪标记、所述追踪标记中的关键点以及各个关键点的识别号，其中，所述关键点的识别号为所述关键点的编号或所述关键点的纹理坐标。

6.根据权利要求1所述的方法，其中，对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换，包括：

对于每个追踪标记，基于所述关键点建立所述定位元素与对应的基准元素之间的坐标映射关系，其中，所述基准元素是对应的定位元素的初始设计形状，所述基准元素未发生形状畸变。

7.根据权利要求6所述的方法，其中，对于每个追踪标记，基于所述关键点建立所述定位元素与对应的基准元素之间的所述坐标映射关系，包括：

对于每个追踪标记，根据所述关键点的识别号确定所述追踪标记的各个关键点与对应的基准元素的各个关键点之间的对应关系；

基于所述对应关系，建立所述定位元素与对应的基准元素之间的所述坐标映射关系。

8.根据权利要求7所述的方法，其中，对于每个追踪标记，根据所述矫正变换对所述初始图像进行所述图像矫正处理，得到每个追踪标记对应的处理图像，包括：

对于所述至少一个追踪标记中的至少之一，基于4个关键点对应的4个坐标映射关系计算得到一个单应性变换，并根据所述单应性变换执行所述图像矫正处理，以得到对应的处理图像；和/或

对于所述至少一个追踪标记中的至少之一，基于P个关键点的P个坐标映射关系计算得到多个单应性变换，并选择所述多个单应性变换中的一个单应性变换执行所述图像矫正处理，以得到对应的处理图像，其中，P为大于4的整数；和/或

对于所述至少一个追踪标记中的至少之一，基于Q个关键点的Q个坐标映射关系计算得到一个缩减自由度的单应性变换，并根据所述缩减自由度的单应性变换执行所述图像矫正处理，以得到对应的处理图像，其中，Q为小于4的正整数。

9.根据权利要求1所述的方法，其中，对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换，包括：

对于每个追踪标记，将所述初始图像中包含所述追踪标记的部分输入矫正神经网络，利用所述矫正神经网络计算并输出矫正变换关系。

10.根据权利要求1所述的方法，其中，所述图像矫正处理包括单应性变换、二维样条插值、弹性变换、分片仿射中至少之一。

11.根据权利要求1所述的方法，其中，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：

将所述处理图像作为人工智能标记分类器的输入，利用所述人工智能标记分类器识别所述处理图像中的追踪标记并输出所述追踪标记的标识。

12.根据权利要求1所述的方法，其中，所述背景元素包括字符图案，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：

利用光学字符识别算法识别所述处理图像中的所述字符图案，以根据所识别的所述字符图案确定所述追踪标记的标识。

13.根据权利要求1所述的方法，其中，识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：

根据所述处理图像中的追踪标记的关键点的纹理坐标确定所述追踪标记的标识，并用所述关键点的纹理坐标表示所述追踪标记的标识。

14.根据权利要求1所述的方法，其中，所述背景元素包括编码图案，

识别所述处理图像中的追踪标记，以确定所述追踪标记的标识，包括：

识别所述处理图像中的所述编码图案，以根据所识别的所述编码图案的信息确定所述追踪标记的标识。

15.根据权利要求1-14任一项所述的方法，还包括：

输出所述初始图像中与所述关键点的距离在预设范围内的像素点的纹理坐标，以实现所述像素点的运动追踪。

16.根据权利要求1-14任一项所述的方法，还包括：

利用图像采集装置拍摄所述运动对象，以得到所述初始图像。

17.根据权利要求1-14任一项所述的方法，还包括：

根据所述追踪标记的标识，基于所述追踪标记的空间坐标的变化，得到所述追踪标记的运动轨迹。

18.一种用于运动捕捉的数据处理方法，包括：

对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；

对于每个追踪标记，根据预设变换条件，基于所述关键点得到所述定位元素与对应的基准元素之间的多个矫正变换，其中，所述基准元素是对应的定位元素的初始设计形状，所述基准元素未发生形状畸变；

对于每个追踪标记，利用所述多个矫正变换对所述初始图像执行图像矫正处理，得到多个备选图像；

将所述多个备选图像输入人工智能矫正分类器，利用所述人工智能矫正分类器判断所述多个备选图像中的追踪标记的定位元素是否为对应的基准元素；

选择所述多个备选图像中所述定位元素为对应的基准元素的备选图像，以作为所述追踪标记对应的处理图像；

识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

19.根据权利要求18所述的方法，其中，所述多个矫正变换的每个矫正变换满足所述预设变换条件；

所述预设变换条件包括如下条件至少之一：所述矫正变换是图同构，所述矫正变换不包含镜面变换，所述矫正变换不使所述追踪标记的映射后的图案与映射前的图案相交。

20.一种用于运动捕捉的追踪标记，包括定位元素和背景元素，其中，

所述定位元素用于提供至少一个关键点；

不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识。

21.根据权利要求20所述的追踪标记，其中，所述定位元素包括多条几何线条，所述几何线条的端点、拐点、交点中的至少之一为所述关键点。

22.根据权利要求21所述的追踪标记，其中，所述多条几何线条的颜色彼此不同。

23.根据权利要求20所述的追踪标记，其中，所述定位元素包括一条几何线条，所述几何线条包括多个具有不同颜色的部分，各个不同颜色的部分的交界点为所述关键点。

24.根据权利要求20所述的追踪标记，其中，所述定位元素包括多个几何块，所述多个几何块的颜色彼此不同，各个几何块的边缘突变点为所述关键点。

25.根据权利要求20-24任一项所述的追踪标记，其中，所述定位元素包括多个关键点，

在所述多个关键点中，至少一个关键点的形状特征和/或颜色特征不同于所述多个关键点中其余关键点的形状特征和/或颜色特征。

26.根据权利要求20-24任一项所述的追踪标记，其中，所述背景元素包括噪声图案、字符图案、编码图案中的至少之一。

27.根据权利要求20-24任一项所述的追踪标记，其中，所述追踪标记附着于运动对象的表面。

28.一种用于运动捕捉的数据处理装置，包括：

获取单元，配置为对于运动对象的初始图像，获取所述初始图像中的至少一个追踪标记以及所述追踪标记中的关键点，其中，所述追踪标记包括定位元素和背景元素，所述定位元素用于提供至少一个所述关键点，不同的追踪标记的背景元素彼此不同，每个追踪标记由于所述背景元素的区分性而具有唯一的标识；

变换单元，配置为对于每个追踪标记，基于所述关键点得到所述初始图像中包含所述追踪标记的部分的矫正变换；

处理单元，配置为对于每个追踪标记，根据所述矫正变换对所述初始图像进行图像矫正处理，得到每个追踪标记对应的处理图像；

识别单元，配置为识别所述处理图像中的追踪标记，以确定所述追踪标记的标识。

29.一种电子设备，包括权利要求28所述的用于运动捕捉的数据处理装置。

30.一种电子设备，包括：

处理器；

存储器，包括一个或多个计算机程序模块；

其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现权利要求1-19任一项所述的用于运动捕捉的数据处理方法。

31.一种存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现权利要求1-19任一项所述的用于运动捕捉的数据处理方法。

Images