CN111489376B - 跟踪交互设备的方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种跟踪交互设备的方法、装置、终端设备及存储介质。该跟踪交互设备的方法应用于终端设备，所述终端设备与交互设备连接，所述交互设备有标记物及惯性测量单元，所述终端设备包括图像采集装置，所述方法包括：获取在目标时刻时，所述图像采集装置与所述标记物之间的第一自由度信息，以及所述交互设备根据所述惯性测量单元得到的第二自由度信息；将所述第一自由度信息和第二自由度信息转化到目标坐标系下；将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述交互设备在所述目标时刻的目标自由度信息。本方法通过融合第一自由度信息和第二自由度信息实现高精度高频率的跟踪系统。

Description

跟踪交互设备的方法、装置、终端设备及存储介质

技术领域

本申请涉及交互技术领域，更具体地，涉及一种跟踪交互设备的方法、装置、终端设备及存储介质。

背景技术

随着科技的发展，机器智能及信息智能化日益普及，虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)相关的终端设备逐渐走入了人们的日常生活中。增强现实技术借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并带给使用者真实的感观体验。传统的技术中，终端设备可通过在真实场景图像中叠加内容进行增强现实或混合现实等的显示，还可通过交互设备与显示的内容进行交互，如何准确有效的对交互设备进行跟踪是亟待解决的问题。

发明内容

本申请实施例提出了一种跟踪交互设备的方法、装置、终端设备及存储介质，能够实现对交互设备进行高精度高帧率的跟踪。

第一方面，本申请实施例提供了一种跟踪交互设备的方法，应用于终端设备，终端设备与交互设备连接，交互设备有标记物及惯性测量单元，终端设备包括图像采集装置，该方法包括：获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息；将第一自由度信息和第二自由度信息转化到目标坐标系下；将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。

第二方面，本申请实施例提供了一种跟踪交互设备的装置，应用于终端设备，终端设备与交互设备连接，交互设备设置有标记物及惯性测量单元，终端设备包括图像采集装置，该装置包括：信息获取模块、坐标转化模块和信息融合模块。其中，信息获取模块用于获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。坐标转化模块用于将第一自由度信息和第二自由度信息转化到目标坐标系下。信息融合模块用于将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到目标时刻的目标自由度信息。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；图像采集装置；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的跟踪交互设备的方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的跟踪交互设备的方法。

本申请提供的跟踪交互设备的方法、装置、终端设备及存储介质，终端设备先获取在目标时刻时，图像采集装置与交互设备上的标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息，然后将第一自由度信息和第二自由度信息转化到目标坐标系下，最后将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。本申请实施例可以通过融合第一自由度信息和第二自由度信息获取目标自由度信息，使得目标自由度信息能够兼备第一自由度信息的高精度特性以及第二自由度信息的高帧率的特性，从而，终端设备根据该目标自由度信息就可以实现对交互设备进行高精度高帧率的跟踪，提高与虚拟内容的交互性。

为使本申请的上述目的、特征和优点能够更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的跟踪交互系统的结构图；

图2示出了一种适用于本申请实施例的跟踪交互系统中交互设备的结构图；

图3示出了本申请一个实施例的跟踪交互设备的方法虚拟内容的示意图；

图4示出了本申请一个实施例的跟踪交互设备的方法流程图；

图5示出了本申请一个实施例的跟踪交互设备的方法中第一自由度信息和第二自由度信息跟踪结果示意图；

图6示出了本申请一个实施例的跟踪交互设备的方法中坐标转化示意图；

图7示出了本申请另一个实施例的跟踪交互设备的方法流程图；

图8示出了本申请又一个实施例的跟踪交互设备的方法流程图；

图9示出了本申请又一个实施例的跟踪交互设备的方法其他步骤的流程示意图；

图10示出了本申请再一个实施例的跟踪交互设备的方法流程图；

图11示出了根据本申请一个实施例的跟踪交互设备的装置的模块框图；

图12示出了根据本申请一个实施例的跟踪交互设备的装置中坐标转化模块的框图；

图13示出了根据本申请一个实施例的跟踪交互设备的装置中信息融合模块的框图；

图14示出了根据本申请一个实施例的跟踪交互设备的装置中其他模块的框图；

图15示出了根据本申请一个实施例的跟踪交互设备的装置中信息融合模块的其他框图；

图16是本申请实施例的用于执行根据本申请实施例的跟踪交互设备的方法的终端设备的框图；

图17是本申请实施例的用于保存或者携带实现根据本申请实施例的跟踪交互设备的方法的程序代码的存储单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，示出了本申请实施例提供的一种跟踪交互系统100。该跟踪交互系统100包括：终端设备10以及交互设备20。

在一个实施例中，如图2所示，交互设备20设有标记物21。其中，设置于交互设备20上的标记物21的数量可以是一个或多个。终端设备10可显示虚拟内容30，用户通过终端设备10可以看到虚拟内容30叠加显示在现实世界，用户可使用交互设备20与虚拟内容30进行交互，作为一种实施方式，终端设备能够获取交互设备20的六自由度信息，进而获得交互设备20的转动或移动等信息，则通过该转动或移动等信息控制虚拟内容30执行对应的操作，例如，随着交互设备20的转动，虚拟内容30也跟随交互设备20的转动幅度和转动方向而转动。交互设备20在使用时，当交互设备20的标记物21出现在终端设备10的视野范围内，终端设备10可以采集标记物21的图像，并对标记物21进行识别。终端设备10可基于标记物21的空间位置信息对交互设备20进行定位并追踪，从而方便通过交互设备20与显示的虚拟内容进行交互。在一个实施例中，终端设备10还可根据标记物21的空间位置信息显示与交互装设备20对应的虚拟内容30，如图3所显示的虚拟激光剑，即交互设备20对应的虚拟内容30’。用户通过终端设备10可以看到虚拟内容30’叠加显示在现实世界中的交互设备20上，获得增强现实效果的视觉感受。

标记物21可以是包括至少一个具有一定形状的子标记物的标记图像，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形或者其他形状。另外，标记物21的轮廓可以为矩形，当然，标记物21的形状也可以是其他形状，在此不做限定。需要说明的是，具体的标记物21的形状、样式、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物21能被终端设备10识别追踪即可。

在一个实施例中，终端设备10可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备10为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备10也可以是与外接式/插入式头戴显示装置连接的手机等智能终端，即终端设备10可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容(30,30’)进行显示。

终端设备10可以包括图像采集装置，图像采集装置可以安装于终端设备10上。图像采集装置可以为红外摄像头、彩色摄像头等，图像采集装置的具体类型在本申请实施例中并不作为限定。另外，图像采集装置也可以包括图像传感器，图像传感器可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器，或者CCD(Charge-coupled Device，电荷耦合元件)传感器等等。

如图2所示的交互设备20可以是由用户手持，也可以是固定在操作台上，供用户操作或观看虚拟内容(30,30’)。交互设备20上还可以设置触控区域(图中未标出)，可以供用户对触控区域进行触控操作。交互设备20可以通过移动、旋转、触控等动作生成对应的操控指令，并将该操控指令发送给终端设备10。另外，交互设备20还包括惯性测量单元22(Inertial measurement unit，IMU)，该惯性测量单元22用于获取交互设备20的姿态信息。其中，惯性测量单元22用于测量交互设备20的三轴姿态角(或角速率)以及加速度的装置。例如，通常惯性测量单元22包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测交互设备20的三轴加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量交互设备20的角速度和加速度，并以此解算出交互设备20的姿态。

基于视觉的跟踪方法一般具有高精度的优点，其中，基于视觉的跟踪方法指的是对图像序列中的运动目标进行检测、提取、识别和跟踪，获取运动目标的运动参数，如位置、速度、加速度和运动轨迹等。但是，在进行视觉跟踪时会受限于视觉信号(相机)频帧的限制，一般只能按照相当于视觉信号或更低的频率输出跟踪结果，从而伴随着抖动，卡顿的现象，从而无法很好的适配一些频率较高的应用中。另一方面，得益于惯性测量单元传感器本身的高频率输出，惯性测量单元的频率输出通常可以达到上千或者几千帧每秒，因此，基于惯性测量单元的跟踪方法一般具有高帧率的优点。但是，由于基于惯性测量单元的跟踪方法一般都需要对其中加速度计读数进行二次积分，错误容易累积，从而往往伴随着严重的漂移现象，这也限制了其应用于一些高精度场景中。例如，医学上的精确操作，增强现实内容的对齐等。

因此，为了克服上述缺陷，本申请实施例提供了一种跟踪交互设备的方法，可应用于终端设备，且该终端设备与交互设备连接，而交互设备可以包括标记物与惯性测量单元，终端设备则包括图像采集装置，如图4，该跟踪交互设备的方法可以包括步骤S110至步骤S130。

步骤S110：获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。

终端设备可以对其图像采集装置的视野范围内的标记物进行识别，以获得目标时刻终端设备与标记物之间的第一自由度信息，该第一自由度信息为标记物相对于终端设备相的空间位置信息，空间位置信息表示标记物的6DOF(degree of freedom，自由度)信息，6DOF信息可以包括是三个平移自由度和三个旋转自由度，三个平移自由度用于描述三维对象X，Y，Z坐标值；三个旋转自由度包括俯仰角(Pitch)、横滚角(Roll)及横向角(Yaw)。具体地，终端设备可以根据包含有标记物的图像对标记物进行识别追踪，以得到终端设备与标记物之间的第一自由度信息。

第一自由度信息是基于视觉跟踪获取的，视觉跟踪是对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解。具体地，本申请实施例中视觉跟踪主要指的是终端设备获取图像采集装置采集的包含有标记物的目标图像，识别该目标图像内的标记物的图像，分析该标记物的图像以获取标记物的第一自由度信息，并根据该第一自由度信息对虚拟内容进行跟踪。具体地，可以通过识别目标图像中的标记物的特征点来确定第一自由度信息，也可以通过识别标记物图像中的子标记物的位置来确定第一自由度信息。作为一种实施方式，本申请实施例可以利用标记物的目标特征点来确定第一自由度信息，其目标特征点是从目标图像内的所有特征点中任意选取的特定数量的特征点的图像，根据其目标特征点的像素坐标和物理坐标，就可以获取终端设备与标记物之间的旋转自由度和移动自由度，旋转自由度和移动自由度组成第一自由度信息。则由于视觉跟踪方法基于特征点的像素坐标以及各个特征点在世界坐标空间内的位置信息，具备区分性好、可靠性高、独立性强、鲁棒性高和简约性适度等特点，则根据视觉跟踪方法获取的第一自由度信息，具有高精度的优点。

其中，目标特征点的像素坐标指的是该特征点在目标图像中的位置，每个目标特征点在目标图像中的像素坐标可以直接在图像采集装置对应拍摄的标记图片中获得。物理坐标为目标特征点在交互设备对应的物理坐标系内的坐标，目标特征点的物理坐标即为特征点在对应交互设备上的真实位置。在一个实施例中，目标特征点的物理坐标可以预先获取。

第二自由度信息可以通过交互设备的惯性测量单元获取，惯性测量单元是利用小型陀螺仪测量对象在其倾角、偏角和转角方面的数据。惯性测量单元利用陀螺仪测量交互设备的三个旋转自由度的角度变化，利用加速度计测量交互设备三个移动自由度的位移。

在一个实施例中，6DOF信息可以是实时获取的，6DOF信息的格式可以为(X，Y，Z，α，β，γ)，其中，X，Y，Z，α，β，γ表示六个方向的坐标值的数据，目标时刻不相同则6DOF信息也不相同。例如，A时刻的6DOF信息为(17.755，-31.160，-39.181，3.173，-3.089，-1.106)；B时刻的6DOF信息为(6.266，-0.732，0.841，-0.090，-0.035，0.076)；C时刻的6DOF信息为(9.695，.099，-1.191，-37324，63.595，-32.855)；D时刻的6DOF信息为(6.268，-0.738，0.864，-0.042，-0.326，0.132)等。第一自由度信息和第二自由度信息因为获取的方式不相同，所以两者获取的值也存在着一定的偏差，即使是同一时刻、同一物体的第一自由度信息和第二自由度信息也可能不相同。通过统计不同时刻的6DOF信息就可以分别获取到第一自由度信息跟踪结果和第二自由度信息跟踪结果，第一自由度信息跟踪结果如图5(a)所示，第二自由度信息跟踪结果如图5(b)所示。

图5(a)为终端设备与标记物之间的第一自由度信息跟踪结果示意图，图5(b)为惯性测量单元获取的第二自由度信息跟踪结果示意图，作为一种实施方式，可以看到终端设备获取的标记物的第一自由度信息跟踪结果的帧率较低，速度较慢，则第一自由度信息跟踪结果的位置曲线上的点较为跳跃，而惯性测量单元获取的第二自由度信息跟踪结果的帧率较高，速度较快，则第二自由度信息跟踪结果的位置曲线较为平滑。需要说明的是，在一些实施例中，视觉跟踪系统的帧率低于惯性测量单元的帧率，但在另一些实施例中，视觉跟踪系统的帧率也可以高于惯性测量单元的帧率，例如，极高帧率的视觉跟踪系统的帧率就可能高于惯性测量单元的帧率。

其中，图5为第一自由度信息和第二自由度信息跟踪结果示意图，图5中的T1和T2分别指得是不同的两个时间点，这两个时间点均可以作为目标时刻，假设将T1作为目标时刻，则T2可以作为T1之后的新的目标时刻。而图5(a)中的T1和图5(b)中的T1可以指的是同一个时间点，同理，图5(a)中的T2和图5(b)中的T2时刻也可以指的是同一个时间点。图5(a)中的圆点指的是图像采集装置获取的第一自由度信息；图5(b)中的圆点指的是惯性测量单元获取的第二自由度信息。因此，图5(a)和图5(b)中，横坐标为不同的时刻，而纵坐标为每个时刻对应的自由度信息。

通过观察图5(a)中圆点的分布和图5(b)中的圆点的分布可以得出图像采集装置获取的第一自由度信息的帧率较低，速度较慢，而惯性测量单元获取的第二自由度信息的帧率较高，速度较快。这也导致第一自由度信息的位置曲线较为跳跃而第二自由读写信息的位置曲线较为平滑。

步骤S120：将第一自由度信息和第二自由度信息转化到目标坐标系下。

因为第一自由度信息和第二自由度信息是通过不同方式获取的，并且标记物的安装位置和惯性测量单元的安装位置也不同，因此第一自由度信息和第二自由度信息所处的坐标系也是不相同的，为了方便后面的融合计算，可以将第一自由度信息和第二自由度信息转化到同一个坐标系下，则可以将该同一个坐标系称为目标坐标系。

在一个实施例中，坐标系转化可以以第一自由度信息所在的第一坐标系为目标坐标系进行坐标转化，也可以以第二自由度信息所在的第二坐标系为目标坐标系进行坐标转化。当以第一坐标系为目标坐标系时，可以对第二坐标系进行旋转操作、平移操作以及缩放操作；当以第二坐标系为目标坐标系时，可以对第一坐标系进行旋转操作、平移操作以及缩放操作。其中，第一坐标系原点的位置可以为摄像头的位置，则以该角点作为原点而建立的世界坐标系即为第一坐标系。第二坐标系可以为惯性测量单元对应的世界坐标系，第二坐标系的原点可以选择惯性测量单元的芯片中心。在一些实施例中，第一坐标系可以为图6所示的O-XYZ坐标系，第二坐标系可以为图6所示的O’-X’Y’Z’坐标系，假设以第一坐标系O-XYZ为目标坐标系，即第一坐标系为目标坐标系，则可以先对第二坐标系O’-X’Y’Z’执行旋转操作使得第一坐标系和第二坐标系的三个轴之间相互平行，即第一坐标系的X轴和第二坐标系的X’轴相互平行；第一坐标系的Y轴和第二坐标系的Y’轴相互平行；第一坐标系的Z轴和第二坐标系的Z’轴相互平行。如图6所示旋转参数可以为(ε_X，ε_Y，ε_Z)；然后在此基础上对第二坐标系执行平移操作，如图6所示平移参数可以为(ΔX₀，ΔY₀，ΔZ₀)，本实施例中平移操作的主要目标是将第二坐标系的原点O’和第一坐标系的原点O重合；最后可以判断两个坐标系的尺寸是否相同，如果不相同可以对第二坐标系执行缩放操作，如图6所示的m为尺度参数。如此，就可以将第二坐标系转化到第一坐标系下，即将第一自由度信息和第二自由度信息转化到目标坐标系下。

需要注意的是，在将第一自由度信息和第二自由度信息转化到目标坐标系下时，可以是先执行旋转操作再执行平移操作，也可以是先执行平移操作再执行旋转操作。另外，在执行旋转操作的时候可以参考欧拉变换，即可以通过欧拉角

定义刚体旋转，这里的φ为进动角，

为子传角θ而为章动角，通过这三个欧拉角就可以定义刚体旋转变换矩阵，以便进行坐标系的转化，另外，还可以根据标记物与惯性测量单元之间的对齐参数将第一自由度信息和第二自由度信息转化到目标坐标系下，具体地，可以参考后续实施例。

步骤S130：将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。

将第一自由度信息和第二自由度信息转化到目标坐标系下后，可以获取到第一自由度信息在目标坐标系下转化后的结果，该结果为第一信息，也就是说第一信息为所述第一自由度信息转化至所述目标坐标系时，所述第一自由度信息被转化后的数据。将第二自由度信息在目标坐标系下转化后的结果，该结果为第二信息，即第二信息为所述第二自由度信息转化至所述目标坐标系时，所述第二自由度信息被转化后的数据。

然后，将第一信息和第二信息融合，并根据融合后的结果确定目标自由度信息。在本申请实施例中，第一信息和第二信息融合的方式有多种，可以取第一信息和第二信息的平均值作为融合后的结果，或者分配不同的比重对第一信息和第二信息进行加权和计算等。在一个实施例中，也可以采取更复杂的融合系统，例如，卡尔曼滤波器(Kalman Filter)融合系统模型就可以用更高帧率的惯性测量单元值更新系统，而更准确的视觉测量值则可以用于修正系统。

本申请实施例提供的跟踪交互设备的方法通过图像采集装置获取的第一自由度信息和惯性测量单元获取到的第二自由度信息得到目标自由度信息，该目标自由度信息相较于第一自由度信息和第二自由度信息，精度及帧率高，即通过坐标转化和信息融合等操作获取的目标自由度信息不仅可以很好的适配帧率要求较高的应用，而且可以应用于一些高精度要求的场景中。换句话说，本申请实施例提出的方法在解决抖动、卡顿等问题的同时可以解决偏移现象带来的问题。

另外，本申请另一实施例提供了一种跟踪交互设备的方法，可应用于终端设备，且该终端设备与交互设备连接，而交互设备可以包括标记物与惯性测量单元，终端设备则包括图像采集装置，请参阅图7，该跟踪交互设备的方法可以包括步骤S210至步骤S230，其中步骤S230包括步骤S231至步骤S234。

步骤S210：获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。

步骤S220：将第一自由度信息和第二自由度信息转化到目标坐标系下。

步骤S230：将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。

在一些实施方式中，步骤S210至步骤S230的内容可以参阅上述实施例的内容，在此不再赘述。另外，S230的一种实施方式可以包括S231至S234。

步骤S231：确定目标时刻对应的第一信息，其中，第一信息为第一自由度信息转化至目标坐标系时，第一自由度信息被转化后的数据。

将第一自由度信息转化到目标坐标系后可以获取到目标时刻的第一信息。在一个实施例中，终端设备在获取第一信息之前需先确定第一自由度信息是否是有效值，如果第一自由度信息是有效值，则将第一自由度信息作为目标时刻的第一信息；如果第一自由度信息不是有效值，可以获取目标时刻之前的历史第一自由度信息，并根据历史第一自由度信息确定第一信息。其中，第一自由度信息是有效值的含义是，能够成功获取到第一自由度信息，例如，由于第一自由度信息的采样频率比较小，导致在该目标时刻的时候，终端设备还未能够根据图像采集装置所采集的标记物的图像得到标记物的第一自由度信息。则当终端设备在目标时刻未成功获取到第一自由度信息，则表示该目标时刻的第一自由度信息不是有效值，而如果能够成功获取到，在表示该第一自由度信息为有效值。在一个实施例中，如果目标时刻所获取的第一自由度信息相比前一时刻的第一自由度信息的变化过大，也可能是异常值，则当终端设备在目标时刻成功获取到第一自由度信息之后，可获取该目标时刻的第一自由度信息与该目标时刻的前一时刻的第一自由度信息之间的差值的绝对值，判断该差值的绝对值是否大于指定数值，如果大于，则判定该第一自由度信息不是有效值，如果小于或等于指定数值，则判定该第一自由度信息是有效值。具体地，该第一自由度信息是否为有效值的判别方式，可以根据实际使用需求而设定，在此不作限定。

目标时刻不相同，则终端设备获取的第一自由度信息也可能不相同，因此，终端设备可以将图像采集装置获取的每个时刻对应的第一自由度信息进行存储，以便在确定目标时刻的第一自由度信息是无效值时，可以根据历史第一自由度信息来确定目标时刻的第一自由度信息，其中，存储的一个时刻可对应一个第一自由度信息。本申请实施例中可以将存储在终端设备中的目标时刻之前的多个时刻作为历史时刻，而将每个历史时刻对应的第一自由度信息称为历史第一自由度信息。

其中，根据历史第一自由度信息确定第一信息的方式可以是：终端设备根据历史第一自由度信息预测目标时刻对应的预测第一自由度信息，并将预测第一自由度信息作为目标时刻对应的第一自由度信息。在一个实施例中，通过上述介绍可以知道一个历史时刻对应一个历史第一自由度信息，即历史时刻和第一自由度信息根据一一对应关系存储于终端设备中，当终端设备确定目标时刻的第一自由度信息为无效值时，可以取出与目标时刻最接近的一个历史时刻对应的历史第一自由度信息，并将该历史第一自由度信息作为预测第一自由度信息。

考虑到这种方式获取到的预测第一自由度信息与实际的第一自由度信息相比准确率略低，因此，在一个实施例中，也可以同时获取多个历史第一自由度信息，并通过分析多个历史第一自由度信息综合获得预测第一自由度信息，这样获取到的预测第一自由度信息更加准确，即通过这种方式获取到的预测第一自由度信息更加符合图像采集装置实际获取到的第一自由度信息。预测第一自由度信息可以通过预测算法获得，其中，该预测算法可以是线性回归模型、多项式回归模型等。具体地，获取目标时刻之前的指定时间段内的多个历史第一自由度信息，而每个历史第一自由度信息对应一个历史时刻，将每个历史时刻作为该预测算法的输入值，而每个历史时刻对应的历史第一自由度信息作为该预测算法的输出值，就能够得到输入与输出的函数关系，即时刻与第一自由度信息的函数关系，则将目标时刻作为该函数关系的输入值，就能够得到在该函数关系下所对应的输出值，即得到该目标时刻对应的预测第一自由度信息。

步骤S232：确定目标时刻对应的第二信息，其中，第二信息为第二自由度信息转化至目标坐标系时，第二自由度信息被转化后的数据。

与第一信息获取的方式类似，第二信息是第二自由度信息转化至目标坐标系时，第二自由度信息被转化后的数据，通过上述介绍可以知道第二自由度信息是通过交互设备的惯性测量单元获取的。为了保证获取到的目标自由度信息的准确性，终端设备在获取到第二自由度信息后也可以先判断一下该第二自由度信息是否为有效值，如此做的目的是为了避免惯性测量单元故障无法获取到第二自由度信息的情况。当获取的第二自由度信息为无效值时，可以通过语音的形式或者图像的形式通知用户“惯性测量单元发生故障，请检查故障问题”等。其中，第二自由度信息是有效值的含义是，能够成功获取到第二自由度信息，具体地，请参阅前述关于第一自由度信息是否为有效值的描述，在此不再赘述。

另外，目标时刻是一个时间序列内的一个时间点，该时间序列可以根据图像采集装置所采集的标记物的图像得到标记物的第一自由度信息的第一时间周期或者惯性测量单元输出第二自由度信息的第二时间周期而设定，作为一种实施方式，该时间序列内相邻时间点之间的时间间隔与第二时间周期一致，则由于第一时间周期大于第二时间周期，则会存在某个时刻下，惯性测量单元输出第二自由度信息，但是，终端设备未能成功获取到第一自由度信息，由此，可以根据该时刻之前的第一自由度信息确定该时刻下的第一自由度信息。

步骤S233：根据第一信息和第二信息获取目标数据。

终端设备获取到第一自由度信息对应的第一信息和第二自由度信息对应的第二信息后，可以根据该第一信息和第二信息获取目标数据，该目标数据可作为交互设备在目标时刻的目标自由度信息。目标数据可以通过计算第一信息和第二信息的平均值获取，即先将第一信息和第二信息取和，然后求平均，将所得到的平均值作为目标数据。另外，也可以为第一信息和第二信息分配不同的比重进行加权和计算，即根据第一信息和第二信息获取权重，再结合第一信息、第二信息以及权重获取到目标数据。

终端设备可根据交互设备的目标自由度信息对交互设备进行精准的定位及追踪，从而与显示的虚拟内容进行相应的交互操作，提高交互的便捷性和准确性。

步骤S234：将目标信息作为目标时刻的目标自由度信息。

本申请实施例提供的跟踪交互设备的方法根据第一信息和第二信息获取目标自由度信息，在获取第一信息和第二信息的时候充分考虑各种因素使得获取的目标自由度信息更加准确，即本申请实施例将多种非正常情况考虑在内，使终端设备获取的第一自由度信息和第二自由度信息更加精确。例如，当第一自由度信息为无效值时本可以根据历史自由度信息获取第一自由度信息。

请参阅图8，本申请又一实施例提供了一种跟踪交互设备的方法，可应用于终端设备，且该终端设备与交互设备连接，而交互设备可以包括标记物与惯性测量单元，终端设备则包括图像采集装置，该跟踪交互设备的方法通过对齐参数将第一自由度信息和第二自由度信息转化到目标坐标系下，具体地，该方法可以包括步骤S310至步骤S330。

步骤S310：获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。

步骤S320：将第一自由度信息和第二自由度信息转化到目标坐标系下。其中，步骤S320包括步骤S321至步骤S322。

步骤S321：获取标记物和惯性测量单元之间的对齐参数。

标记物和惯性测量单元之间的对齐参数可指的是以标记物为原点的坐标系及以惯性测量单元为原点的坐标系之间的转换参数，该对齐参数可以包括(R，T)参数，其中R可以表示旋转量而T则可以表示平移量。

在一些实施例中，可以通过标记物与惯性测量单元之间的刚体关系来确定标记物和测量单元之间的对齐参数，根据该刚体关系就可以确定对齐参数。其中，标记物与惯性测量单元之间的刚体关系用于表示标记物与惯性测量单元之间在结构上的摆放关系，具体地，该摆放关系可以包括标记物与惯性测量单元之前的距离、方位等信息，该摆放关系是可以通过实际测量或者结构设计值以得到。该摆放关系能够反映出标记物移动至惯性测量单元或者将惯性参量单元移动至标记物所需要的旋转量和平移量，因此，根据该刚体关系能够确定标记物和测量单元之间的对齐参数。

在另一些实施中，可以获取预设参数值，将所述预设参数值作为对齐参数，其中，预设参数值为预先根据经验而设定的参数值，则在融合得到目标自由度信息的过程中实时更新对齐参数，从而使得对齐参数更加准确。

终端设备获取到对齐参数后可以根据该对齐参数确定图像采集装置与惯性测量单元之间的相对关系。其中，图像采集装置与惯性测量单元之间的相对关系可以包括横向距离、纵向距离以及旋转关系等。图像采集装置与惯性测量单元之间的相对关系可以通过图像采集装置与标记物之间的关系获取，因为标记物和惯性测量单元同时设置于标记物上，即标记物和惯性测量单元可以通过实际的测量获得摆放关系，而图像采集装置与标记物之间存在着一定的映射关系。因此，终端设备可以利用图像采集装置与标记物之间的映射关系得到图像采集装置与惯性测量单元之间的相对关系。

步骤S322：根据对齐参数将第一自由度信息和第二自由度信息转化至目标坐标系内，其中，目标坐标系为图像采集装置对应的第一世界坐标系或惯性测量单元对应的第二世界坐标系及标记物对应的第三世界坐标系中的一种。

在将第一自由度信息和第二自由度信息转化至目标坐标时，可以先选取一个坐标系作为目标坐标系，该目标坐标系可以是图像采集装置对应的第一世界坐标系，目标坐标系也可以是惯性测量单元对应的第二世界坐标系。以目标坐标系是惯性测量单元对应的第二世界坐标系为例，根据该对齐参数，能够确定第一世界坐标系经过旋转一定角度和平移一定距离之后，能够使得第一世界坐标系与第二世界坐标系重合，也就是说，第一世界坐标系下的每个坐标点都能够根据该对齐参数投影到第二世界坐标系内，例如，第一世界坐标系内的一个坐标点的坐标为(x1，y1，z1)，则其在第二世界坐标系内的投影为(x2，y2，z2)，且(x1，y1，z1)与(x2，y2，z2)之间的平移量和转动量与该对齐参数相对应。依据此方法，就能够将第一自由度信息映射到第二世界坐标系下，以得到所对应的第一信息，而由于目标坐标系为第二世界坐标系，则第二自由度信息即为第二信息。

需要说明的是，终端设备也可以将标记物对应的坐标系作为第三世界坐标系。换句话说，终端设备可以以标记物的中心位置作为原点，并在此基础上建立第三世界坐标系。当目标坐标系为第三世界坐标系时，可以将第一自由度信息通过旋转、平移以及缩放转化到第三世界坐标系下，同时将第二自由度信息通过旋转、平移以及缩放转化到第三世界坐标系下。具体如何将第一自由度信息和第二自由度信息转化到第三世界坐标系下这里不进行详细描述。选取哪个坐标系作为目标坐标系这里不进行明确限制。

步骤S330：将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。

终端设备通过坐标转化可以获取到第一自由度信息对应的第一信息以及第二自由度信息对应的第二信息，然后将第一信息和第二信息进行融合得到目标时刻的目标自由度信息，具体地实施方式可参考上述实施例。

另外，交互设备上的标记物的数量可以是多个，即可以是2个或2个以上，而不同的标记物在交互设备上的安装和摆放位置不同，因此，不同的标记物与惯性测量单元之间的对齐参数不同。

作为一种实施方式，每个标记物所对应的身份信息不同，而不同的标记物所对应的操作指令不同，而同一个标记物在与终端设备之间的第一自由度信息不同的时候，其所对应的操作指令也可以不同，其中，操作指令为操作虚拟内容的指令，可以包括虚拟内容的放大、旋转或更换等操作。

则当终端设备获取到图像采集装置采集的目标图像之后，识别该目标图像内的标记物，获取该目标图像内的标记物的身份信息，如果识别到多个标记物，则确定每个标记物的身份信息，从而获取每个标记物对应的第一自由度信息。

根据每个标记物的身份信息确定每个标记物与惯性测量单元之间的对齐参数。作为一种实施方式，预先获取每个标记物与惯性测量单元之间的刚体关系，具体地，可以预设标记物与刚体关系的第一对应关系，在该第一对应关系内包括多个标记物的身份信息和每个身份信息对应的刚体关系。则将该目标图像内识别到的标记物的身份信息在该第一对应关系内查找对应的刚体关系，从而就能够获取每个标记物对应的刚体关系，进而根据每个标记物的刚体关系确定每个标记物与惯性测量单元的对齐参数。

作为另一种实施方式，预先设定预设参数值与标记物的第二对应关系，在该第二对应关系内包括多个标记物的身份信息和每个身份信息对应的预设参数值，则将该目标图像内识别到的标记物的身份信息在该第二对应关系内查找对应的预设参数值，作为该标记物与惯性测量单元的对齐参数。

另外，在一些实施例中，在识别到多个标记物的时候，可以从多个标记物中确定目标标记物，作为本次方法需要追踪的标记物。具体地，终端设备可以获取每个标记物的身份信息，再根据预设策略从多个标记物中选定目标标记物。则该预设策略为预先设定的策略，例如，可以根据所显示的虚拟对象不同或者所设定的操作模式不同而确定目标标记物。假设，多个识别标记物为第一标记物和第二标记物，当所显示的虚拟内容为第一内容时，将第一标记物作为目标标记物，而当显示的虚拟内容为第二内容时，将第二标记物作为目标标记物。

当然，也可以将所有的标记物均作为目标标记物，则可以通过多个标记物共同对虚拟内容操作。另外，终端设备在将预设参数值作为标记物和惯性测量单元的对齐参数的实施方式中，可以根据第一自由度信息、第二自由度信息和目标自由度信息调整预设参数值，从而使得对齐参数更加准确，以使坐标转换之后的结果更加准确，具体地，请参阅图9，该跟踪交互设备的方法还可以包括步骤S340与步骤S350。

步骤S340：根据第一自由度信息、第二自由度信息和目标自由度信息调整对齐参数。

为了使目标时刻之后所获取的目标自由度信息更加准确，终端设备可以对对齐参数进行调整。即终端设备可先获取第一自由度信息、第二自由度信息和目标自由度信息之间的偏移值，然后根据该偏移值调整对齐参数，以使第一运动趋势和第二运动趋势一致，其中，第一运动趋势为根据第一自由度信息确定的交互设备的运动趋势，第二运动趋势为根据第二自由度信息确定的交互设备的运动趋势。

交互设备的运动趋势指的是在目标时刻或者下一个目标时刻交互设备的一个运动的趋势，可以包括交互设备的平移轨迹和旋转轨迹等运动轨迹。而第一自由度信息和第二自由度信息均包含平移自由度和旋转自由度，因此，根据不同时刻的多个自由度信息能够得到交互设备在不同时刻对应的在世界坐标系内的世界坐标，根据该世界坐标能够拟合出运动轨迹，则该运动轨迹作为交互设备的运动趋势。在一些实施例中，第一自由度信息、第二自由度信息和目标自由度信息之间的偏移值可以通过比较这三个自由度信息获取的。偏移值可以包括第一自由度信息与第二自由度信息之间的第一差值、第一自由度信息与目标自由度信息之间的第二差值以及第二自由度信息与目标自由度信息之间的第三差值等，根据第一差值、第二差值和第三差值的至少一个获取偏移值。

步骤S350：将调整后的对齐参数作为新的对齐参数，且将目标时刻的下一时刻作为新的目标时刻并返回执行获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息和惯性测量单元的第二自由度信息以及后续步骤。

终端设备可将调整后的对齐参数应用于目标时刻之后的时刻所获取的第一自由度信息和第二自由度信息的融合操作中，则调整后的对齐参数使得第一世界坐标系和第二世界坐标系转化到目标世界坐标系的转化结果更加准确，从而使得所获得的目标自由度信息更加准确，进而使得第一自由度信息、第二自由度信息和目标自由度信息之间的偏移更小。

本申请实施例提供的跟踪交互设备的方法可以利用对齐参数将第一自由度信息和第二自由度信息转化到目标坐标系下，使得坐标转化更加清楚。另外，为了使得坐标转化更加方便快捷本申请实施例引入了第一世界坐标系、第二世界坐标系或者第三世界坐标系，可以根据实际情况选择一个合适的目标坐标系。同时，终端设备可以利用第一自由度信息、第二自由度信息和目标自由度信息或者预设参数值对对齐参数进行调整，如此可以提高对齐参数的精确度，进而可以提高坐标转化的准确率，如此可以使终端设备最终获取的目标自由度信息更加准确。

在一个实施例中，由于惯性测量单元容易出现严重的漂移现象，终端设备可以根据视觉的跟踪结果对惯性测量单元的第二自由度信息和融合的目标自由度信息进行较正，具体地，请参阅图10，该方法包括可以包括步骤S410至步骤S430。

步骤S410：获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。

步骤S420：将第一自由度信息和第二自由度信息转化到目标坐标系下。

步骤S430：将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到交互设备在目标时刻的目标自由度信息。

其中，步骤S430包括步骤S431至步骤S434。

步骤S431：获取在目标时刻之前的预设时间段内的历史目标自由度信息。

在一个实施例中，每个历史时刻都会对应一个第一自由度信息、一个第二自由度信息以及一个目标自由度信息，终端设备可确定一个预设时间段，预设时间段的长短决定了获取的历史目标自由度信息多少，预设时间段越长则获取到的历史目标自由度信息就越多。例如，预设时间段为2分钟，则获取到的历史自由度即为在目标时刻之前2分钟内获取的历史自由度信息。又如，预设时间段是30秒，则获取到的历史自由度就是在目标时刻之前30秒内内获取的历史自由度信息等。时间段长短不同则获取到历史自由度信息数量也不相同。

步骤S432：根据历史目标自由度信息获取目标时刻对应的预测目标自由度信息。

终端设备获取到多个历史自由度信息后，可以根据这多个历史自由度信息获取目标时刻对应的预测目标自由度信息，预测目标自由度信息的获取与预测第一自由度信息的获取类似，其也是利用预测算法分析不同时间时刻的多个历史目标自由度信息而得到目标自由度信息和时刻的函数关系，进而通过该函数关系确定目标时刻对应的预测目标自由度信息，具体地，可参考前述预测第一自由度信息的实施方式，在此不再赘述，即预测目标自由度信息可以通过分析历史自由度信息获取，通过上述介绍可以知道预设时间段不相同则获取到的历史自由度信息数量也不相同，而预设时间段越长获取到的历史自由度信息数量也就越多，通常历史自由度信息数量越多则获取到的预测目标自由度信息越准确。但是，预设时间段也不能太长，因为预设时间段越长则获取信息所要消耗的时间越长，另外，如果预设时间段太长则获取的多个历史自由度信息之间会存在很大的偏差，如此也会降低获取到的预测目标自由度信息的准确度。故选择合适的预设时间段、获取多少历史自由度信息是获得准确的预测目标自由度信息的基础，具体将预设时间段设置为多长时间，这里不进行明确限制，可以根据实际需求进行设置。

步骤S433：将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到目标时刻的目标自由度信息。

步骤S434：根据预测目标自由度信息和第一自由度信息调整目标时刻的目标自由度信息。

在一个实施例中，终端设备获取到目标时刻的目标自由度信息后，还可以通过预测目标自由度信息和第一自由度信息对该目标自由度信息进行调整，同时可以根据该预测目标自由度信息和第一自由度信息对第二自由度信息进行校正。终端设备根据预测目标自由度信息和第一自由度信息确定自由度校正参数，该自由度校正参数是第一自由度信息和预测目标自由度信息之间的偏差值，根据该自由度校正参数可以对目标时刻的目标自由度信息进行调整。本申请实施例中，预测目标自由度信息可以利用预测算法进行获取，常见的预测算法有线性回归预测算法、多项式回归预测算法、逻辑回归预测算法、逐步回归预测算法、岭回归预测算法、LASSO回归预测算法以及ElasticNet回归预测算法等，通过这些预测算法就可以获取到预测目标自由度信息，进而可以获取到预测目标自由度信息与第一自由度信息之间的自由度校正参数。

终端设备获取到自由度校正参数后不仅可以利用该校正参数对目标时刻的目标自由度信息进行调整，而且还可以将其用于第二自由度信息的校正。换句话说，终端设备在利用校正参数对目标时刻的目标自由度信息进行调整的时候，可以产生一个调整参数，该调整参数可以用于在终端设备获取到惯性测量单元的第二自由度信息的时候，根据该调整参数对获取的第二自由度信息校正。

需要说明的是，终端设备既可以实时获取自由度校正参数和调整参数以完成对目标自由度信息的调整和对第二自由度信息的校正。同时，终端设备也可以根据第一自由度信息和预测目标自由度信息之间的偏差值来判断是否需要进行目标自由度信息的调整和第二自由度信息的校正，即当第一自由度信息和预测目标自由度信息之间的偏差值大于偏差阈值时，才进行目标自由度信息的调整和第二自由度信息的校正，否则的话，则不需要进行目标自由度信息的调整和第二自由度信息的校正。

本申请实施例提供的跟踪交互设备的方法中终端设备可以通过分析历史目标自由度信息得到目标时刻对应的预测目标自由度信息，而根据该预测目标自由度信息和第一自由度信息可以对目标时刻的目标自由度信息进行调整。另外，也可以对惯性测量单元获取的第二自由度信息进行校正。因此，本申请提出的跟踪交互设备的方法不仅可以对获取到的目标自由度信息进行调整，而且可以对惯性测量单元获取到的第二自由度信息进行校正，如此，使得最后获取到的目标自由度信息更加准确，以实现高精度高帧频的要求。

请参阅图11，其示出了本申请实施例提供的一种跟踪交互设备的装置500的结构框图，应用于终端设备，该终端设备与交互设备连接，而这个交互设备设置有标记物及惯性测量单元，终端设备包括图像采集装置，该跟踪交互设备的装置可以包括：信息获取模块510、坐标转化模块520以及信息融合模块530。

信息获取模块510，用于获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息，以及交互设备根据惯性测量单元得到的第二自由度信息。

坐标转化模块520，用于将第一自由度信息和第二自由度信息转化到目标坐标系下。

在本申请实施例中，请参阅图12，坐标转化模块520可以包括：对齐参数获取子模块521和坐标转化子模块522。

对齐参数获取子模块521用于获取标记物和惯性测量单元之间的对齐参数。

对齐参数获取子模块521还可以用于获取标记物与惯性测量单元之间的刚体关系，该刚体关系为标记物与惯性测量单元之间在结构上的摆放关系；根据该刚体关系确定标记物和惯性测量单元之间的对齐参数。另外，对齐参数获取单元521还可以用于获取预设参数值，并将该预设参数值作为标记物和惯性测量单元之间的对齐参数。

坐标转化子模块522用于根据对齐参数将第一自由度信息和第二自由度信息转化至目标坐标系内，其中，目标坐标系为图像采集装置对应的第一世界坐标系或惯性测量单元对应的第二世界坐标系及标记物对应的第三世界坐标系中的一种。

信息融合模块530，用于降转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到目标时刻的目标自由度信息。

在本申请实施例中，请参阅图13，信息融合模块530可以包括：第一信息确定子模块531、第二信息确定子模块532、目标信息获取子模块533以及目标自由度信息获取子模块534。

第一信息确定子模块531用于确定目标时刻对应的第一信息，其中，第一信息为第一自由度信息转化至目标坐标系时，第一自由度信息被转化后的数据。

另外，第一信息确定子模块531还用于确定目标时刻对应的第一自由度信息是否为有效值；若是，将第一自由度信息作为目标时刻对应的第一信息；若否，则获取目标时刻之前的历史第一自由度信息，根据历史第一自由度信息确定第一信息。而根据历史第一自由度信息确定第一信息可以包括：根据历史第一自由度信息预测目标时刻对应的预测第一自由度信息；将预测第一自由度信息作为目标时刻对应的第一信息。

第二信息确定子模块532用于确定目标时刻对应的第二信息，其中，第二信息为第二自由度信息转化至目标坐标系时，第二自由度信息被转化后的数据。

目标信息获取子模块533用于根据第一信息和第二信息获取目标信息。

目标自由度信息获取子模块534用于将目标信息作为目标时刻的目标自由度信息。

请参阅图14，跟踪交互设备的装置还可以包括：对齐参数调整模块540和下一时刻信息获取模块550。

对齐参数调整模块540用于根据第一自由度信息、第二自由度信息和目标自由度信息调整对齐参数。

对齐参数调整模块540还可以用于获取第一自由度信息、第二自由度信息和目标自由度信息之间的偏移值；根据偏移值调整对齐参数，以使第一运动趋势和第二运动趋势一致，其中，第一运动趋势为根据第一自由度信息确定的终端设备的运动趋势，第二运动趋势为根据第二自由度信息确定的终端设备的运动趋势。

下一时刻信息获取模块550用于将调整的对齐参数作为新的对齐参数，且将目标时刻的下一时刻作为新的目标时刻并返回执行获取在目标时刻时，图像采集装置与标记物之间的第一自由度信息和惯性测量单元的第二自由度信息以及后续步骤。

请参阅图15，信息融合模块530还可以包括：历史目标自由度信息获取子模块535、预测目标自由度信息获取子模块536、信息融合子模块537以及目标自由度信息调整子模块538。

历史目标自由度信息获取子模块535用于获取在目标时刻之前的预设时间段内的历史目标自由度信息。

预测目标自由度信息获取子模块536用于根据历史目标自由度信息获取目标时刻对应的预测目标自由度信息。

信息融合子模块537用于将转化到目标坐标系下的第一自由度信息和第二自由度信息进行融合，得到目标时刻的目标自由度信息。

目标自由度信息调整子模块538用于根据预测目标自由度信息和第一自由度信息调整目标时刻的目标自由度信息。

目标自由度信息调整子模块538还用于根据预测目标自由度信息和第一自由度信息确定自由度校正参数；根据该自由度校正参数调整目标时刻的目标自由度信息。将自由度校正参数作为第二自由度信息的调整参数，该调整参数用于在终端设备获取到惯性测量子模块的第二自由度信息的时候，根据该调整参数对所获取的第二自由度信息校正。

请参考图16，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备600可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备600可以包括一个或多个如下部件：处理器610、存储器620、图像采集装置630以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个终端设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行终端设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备600在使用中所创建的数据等。

在本申请实施例中，图像采集装置630用于采集标记物的图像。图像采集装置630可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参考图17，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种跟踪交互设备的方法，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述交互设备设置有标记物及惯性测量单元，所述终端设备包括图像采集装置，所述方法包括：

获取在目标时刻时，所述图像采集装置与所述标记物之间的第一自由度信息，以及所述交互设备根据所述惯性测量单元得到的第二自由度信息；

获取所述标记物与所述惯性测量单元之间的刚体关系，所述刚体关系为所述标记物与所述惯性测量单元之间在结构上的摆放关系；

根据所述刚体关系确定所述标记物和所述惯性测量单元之间的对齐参数；

根据所述对齐参数将所述第一自由度信息和第二自由度信息转化至目标坐标系内，其中，所述目标坐标系为所述图像采集装置对应的第一世界坐标系、所述惯性测量单元对应的第二世界坐标系及所述标记物对应的第三世界坐标系中的一种；

将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述交互设备在所述目标时刻的目标自由度信息。

2.根据权利要求1所述的方法，其特征在于，所述将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述目标时刻的目标自由度信息，包括：

确定所述目标时刻对应的第一信息，其中，所述第一信息为所述第一自由度信息转化至所述目标坐标系时，所述第一自由度信息被转化后的数据；

确定所述目标时刻对应的第二信息，其中，所述第二信息为所述第二自由度信息转化至所述目标坐标系时，所述第二自由度信息被转化后的数据；

根据所述第一信息和所述第二信息获取目标信息；

将所述目标信息作为所述目标时刻的目标自由度信息。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标时刻对应的第一信息，包括：

确定所述目标时刻对应的所述第一自由度信息是否为有效值；

若是，将所述第一自由度信息作为所述目标时刻对应的第一信息；

若否，则获取所述目标时刻之前的历史第一自由度信息，根据所述历史第一自由度信息确定所述第一信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述历史第一自由度信息确定所述第一信息，包括：

根据所述历史第一自由度信息预测所述目标时刻对应的预测第一自由度信息；

将所述预测第一自由度信息作为所述目标时刻对应的第一信息。

5.根据权利要求1所述的方法，其特征在于，所述获取所述标记物和所述惯性测量单元之间的对齐参数，包括：

获取预设参数值，将所述预设参数值作为所述标记物和所述惯性测量单元之间的对齐参数。

6.根据权利要求5所述的方法，其特征在于，所述将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述目标时刻的目标自由度信息之后，还包括：

根据所述第一自由度信息、第二自由度信息和目标自由度信息调整所述对齐参数；

将调整后的对齐参数作为新的对齐参数，且将所述目标时刻的下一时刻作为新的目标时刻并返回执行获取在目标时刻时，所述图像采集装置与所述标记物之间的第一自由度信息和所述惯性测量单元的第二自由度信息以及后续步骤。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一自由度信息、第二自由度信息和目标自由度信息调整所述对齐参数，包括：

获取所述第一自由度信息、第二自由度信息和目标自由度信息之间的偏移值；

根据所述偏移值调整所述对齐参数，以使第一运动趋势和第二运动趋势一致，其中，所述第一运动趋势为根据所述第一自由度信息确定的所述终端设备的运动趋势，所述第二运动趋势为根据所述第二自由度信息确定的所述终端设备的运动趋势。

8.根据权利要求1所述的方法，其特征在于，所述将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述目标时刻的目标自由度信息，包括：

获取在所述目标时刻之前的预设时间段内的历史目标自由度信息；

根据所述历史目标自由度信息获取所述目标时刻对应的预测目标自由度信息；

将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述目标时刻的目标自由度信息；

根据所述预测目标自由度信息和所述第一自由度信息调整所述目标时刻的目标自由度信息。

9.根据权利要求8所述的方法，其特征在于，所述根据所述预测目标自由度信息和所述第一自由度信息调整所述目标时刻的目标自由度信息，包括：

根据所述预测目标自由度信息和所述第一自由度信息确定自由度校正参数；

根据所述自由度校正参数调整所述目标时刻的目标自由度信息。

10.根据权利要求9所述的方法，其特征在于，所述根据所述自由度校正参数调整所述目标时刻的目标自由度信息之后，还包括：

将所述自由度校正参数作为所述第二自由度信息的调整参数，所述调整参数用于在终端设备获取到所述惯性测量单元的第二自由度信息的时候，根据该调整参数对所获取的第二自由度信息校正。

11.一种跟踪交互设备的装置，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述交互设备设置有标记物及惯性测量单元，所述终端设备包括图像采集装置，所述装置包括：

信息获取模块，用于获取在目标时刻时，所述图像采集装置与所述标记物之间的第一自由度信息，以及所述交互设备根据所述惯性测量单元得到的第二自由度信息；

坐标转化模块，用于获取所述标记物与所述惯性测量单元之间的刚体关系，所述刚体关系为所述标记物与所述惯性测量单元之间在结构上的摆放关系；根据所述刚体关系确定所述标记物和所述惯性测量单元之间的对齐参数；根据所述对齐参数将所述第一自由度信息和第二自由度信息转化至目标坐标系内，其中，所述目标坐标系为所述图像采集装置对应的第一世界坐标系、所述惯性测量单元对应的第二世界坐标系及所述标记物对应的第三世界坐标系中的一种；

信息融合模块，用于将转化到目标坐标系下的所述第一自由度信息和第二自由度信息进行融合，得到所述目标时刻的目标自由度信息。

12.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

图像采集装置；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-10任一项所述的方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。

Images