CN111787156A - 一种基于智能手机的六自由度跟踪器 - Google Patents

Abstract

本发明公开了一种基于智能手机的六自由度跟踪器，包括：手机客户端，运行于智能手机上，用于检测用户操作手机的行为，获取手机的空间姿态数据并解析，并用于将用户的操作行为信息和所解析的手机空间姿态信息合成为交互消息并输出；服务器端，运行于后台服务器上，服务器端通信连接手机客户端，用于接收手机客户端发来的交互消息并对交互消息进行内容解析，然后将解析的消息内容映射到后台服务器上，以实现后台服务器对手机的六自由度空间姿态和用户操作手机的行为的可视化跟踪。本发明通过智能手机自带的惯性传感器的监测数据可预测手机的六自由度运动姿态，用户只需要通过智能手机并基于视觉跟踪技术即可快速、准确地实现对物体的六自由度跟踪。

Description

一种基于智能手机的六自由度跟踪器

技术领域

本发明涉及姿态跟踪识别和定位跟踪技术领域，具体涉及一种基于智能手机的六自由度 跟踪器。

背景技术

随着VR虚拟现实技术的发展，真正地实现虚拟现实，将引起整个人类生活与发展的很 大变革。人们戴上立体眼镜、数据手套等特制的传感设备，面对一种三维的模拟现实，似乎 置身于一个具有三维视觉、听觉、触觉甚至嗅觉的感觉世界，并且人与这个环境可以通过人 的自然技能和相应的设施进行信息交互。

VR要真正实现虚拟现实，最为关键的一步是实现对人体运动姿态的六自由度跟踪，以保 证虚拟场景的真实感。目前，有VR设备生产厂商通过专用的六自由度跟踪设备实现对人体 运动姿态的六自由度跟踪，但设备售价高昂，难以被普遍推广使用。

近些年，智能手机在全世界范围内得到了普遍应用。智能手机作为一种日常生活通讯设 备，易于携带、移动，其适用空间不受限制。而且手机内集成的摄像头、触摸屏、惯性传感 器、该主频大内存的CPU等为智能手机解算运动姿态提供了硬件基础。比如有学者采用关键 点管理、光流滤波和运动平滑等方法，通过智能手机实现了滚动和缩放图像以及3个自由度 的控制，但其算法复杂程度对于性能一般的智能手机而言要求过高，而且最多仅能实现3个 自由度的运动跟踪，无法实时、准确地实现对物体运动的六自由度跟踪。

发明内容

本发明的目的在于提供一种基于智能手机的六自由度跟踪器，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于智能手机的六自由度跟踪器，包括：

手机客户端，运行于智能手机上，用于检测用户操作手机的行为，获取手机的空间姿态 数据并解析，并用于将用户的操作行为信息和所解析的手机空间姿态信息合成为交互消息并 输出；

服务器端，运行于后台服务器上，所述服务器端通信连接所述手机客户端，用于接收所 述手机客户端发来的所述交互消息并对所述交互消息进行内容解析，然后将解析的消息内容 映射到所述后台服务器上，以实现所述后台服务器对手机的六自由度空间姿态和用户操作手 机的行为的可视化跟踪。

作为本发明的一种优选方案，通过设置在手机中的空间姿态监测设备实时监测手机的空 间姿态，所述空间姿态监测设备包括加速度计、陀螺仪和磁力计中的任意一种或多种。

作为本发明的一种优选方案，所述手机客户端中包括：

数据输入模块，用于输入用户操作手机的行为数据和所述空间姿态监测设备的监测数据；

触屏输入处理模块，连接所述数据输入模块，用于将用户操作手机的行为解释为触屏信 息并输出；

空间姿态解算模块，连接所述数据输入模块，用于根据各所述空间姿态监测设备监测到 的所述监测数据解算手机在当前时刻的六自由度空间姿态，并生成空间姿态信息并输出；

消息合成模块，分别连接所述触屏输入处理模块和所述空间姿态解算模块，用于将所述 触屏信息和所述空间姿态信息通过定义的交互消息格式合成为交互消息并输出。

作为本发明的一种优选方案，所述服务器端中包括：

交互消息内容解析模块，通信连接所述手机客户端中的所述消息合成模块，用于对所述 手机客户端发送的所述交互消息进行内容解析；

交互映射模块，连接所述交互消息内容解析模块，用于将解析后的交互消息内容映射到 一所述后台服务器上，所述后台服务器通过一可视化界面实时显示用户对手机的操作过程， 并实时显示所述服务器端解析的交互消息内容。

作为本发明的一种优选方案，所述手机客户端解算手机的六自由度空间姿态的方法包括 如下步骤：

步骤S1，获取三轴加速度计当前的加速度计值；

步骤S2，判断当前的所述加速度计值与重力加速度g的差值是否小于一阈值，

若是，则判定手机当前处于准静止状态，并转入步骤S32；

若否，则判定手机当前处于运动状态，并转入步骤S31；

步骤S31，获取当前时刻陀螺仪的监测数据，然后根据当前的陀螺仪监测数据，对手机在 下一时刻的空间姿态进行解算，得到陀螺仪空间姿态解算结果并保存；

步骤S32，根据当前的所述加速度计值，以及所述磁力计在预设间隔时间段(在预设间隔 时间内端，手机始终保持准静止状态)内先后两次监测到的磁力值的变化值，计算得到所述 手机客户端在当前时刻绕三维坐标系的3个坐标轴的转角

步骤S4，根据所述步骤S32计算的所述转角

计算手机在当前准静止状态下的 用于表示手机空间姿态的空间四元数Q′；

步骤S5，通过所述空间四元数Q′校正所述步骤S31计算得到的所述陀螺仪空间姿态解算 结果，得到经校正后的空间四元数；

步骤S6，通过经所述步骤S5校正后的空间四元数计算手机在任意时刻的空间姿态角， 并根据手机摄像头实时探测的手机姿态在三维空间各轴向上的位移距离，得到手机六自由度 的空间姿态。

作为本发明的一种优选方案，所述步骤S31中，根据当前时刻t的陀螺仪监测数据，通 过以下公式(1)对所述手机在下一时刻t+T的空间姿态进行解算：

公式(1)中，K₁＝Ω_b(t)Q(t)；

K₄＝Ω_b(t+T)[Q(t)+K₃T]；

ω_x表示所述陀螺仪在当前时刻t监测到的x轴向上的角速度；

ω_y表示所述陀螺仪在当前时刻t监测到的y轴向上的角速度；

ω_z表示所述陀螺仪在当前时刻t监测到的z轴向上的角速度；

T表示当前监测时刻t与下一监测时刻的时间间隔。

作为本发明的一种优选方案，所述步骤S32中，通过下式计算手机在当前时刻t绕三维 坐标系的3个坐标轴的转角

ψ＝M_e-M_b；

a_x为当前时刻t所述加速度计监测到的x轴向上的加速度计值；

a_y为当前时刻t所述加速度计监测到的y轴向上的加速度计值；

a_z为当前时刻t所述加速度计监测到的z轴向上的加速度计值；

M_e为当前时刻t所述磁力计监测到的磁力计值；

M_b为所述磁力计在当前时刻t之前的距离当前时刻t一预设间隔时间的时间点监测到的 磁力计值。

作为本发明的一种优选方案，所述步骤S4中的所述空间四元数Q′通过以下公式计算而 得：

q₀、q₁、q₂、q₃表示手机在准静止状态下的空间姿态的四元数。

作为本发明的一种优选方案，所述步骤S6中，通过以下公式计算手机在任意时刻的空 间姿态角

上式中，q′₀、q′₁、q′₂、q′₃为经所述步骤S5校正后的四元数。

本发明创新提出了一种解算智能手机的空间姿态的算法，通过智能手机自带的惯性传感 器的监测数据可预测手机的六自由度运动姿态，用户只需要通过智能手机并基于视觉跟踪技 术即可快速、准确地实现对物体的六自由度跟踪。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附 图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于智能手机的六自由度跟踪器的框架结构示意图；

图2是所述手机客户端的内部结构示意图；

图3是所述服务器端的内部结构示意图；

图4是本发明一实施例解算手机六自由度空间姿态的方法步骤图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利 的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表 实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中， 需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系 为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置 关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而 言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间 的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一 体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连， 可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言， 可以具体情况理解上述术语在本发明中的具体含义。

图1示出了本发明一实施例提供的基于智能手机的六自由度跟踪器的框架结构示意图。 请参照图1，本发明一实施例提供的基于智能手机的六自由度跟踪器采用客户端/服务器端架 构，客户端运行于智能手机上，服务器端运行于后端服务器上，后端服务器可以是公共大屏 幕，客户端与服务器端通过Wifi或蓝牙实现通讯连接。

具体地，本发明一实施例提供的基于智能手机的六自由度跟踪器，包括：

手机客户端，运行于智能手机上，用于检测用户操作手机的行为，获取手机的空间姿态 数据并解析，并用于将用户的操作行为信息和所解析的手机空间姿态信息合称为交互信息并 输出；

服务器端，运行于后台服务器上，服务器端通信连接手机客户端，用于接收手机客户端 发来的交互消息并对交互消息进行内容解析，然后将解析的消息内容映射到所述后台服务器 上，以实现后台服务器对手机的六自由度空间姿态和用户操作手机的行为的可视化跟踪。也 即是说后台服务器比如一公共大屏幕可实现对解算的手机空间姿态或用户操作手机的行为的 可视化。

请参照图1，手机客户端按照数据流动的方向划分为交互层、应用逻辑层和网络层。交互 层用于检测用户操作手机的行为，将捕获的触屏输入与传感器(包括设置在手机中的加速度 计、陀螺仪和磁力计)输入传递给应用逻辑层。

请参照图2，手机客户端中的应用逻辑层包括：

数据输入模块1，用于输入用户操作手机的行为数据和设置在手机中的空间姿态监测设 备(加速度计、陀螺仪、磁力计、位移传感器)的监测数据；

触屏输入处理模块2，连接数据输入模块1，用于将用户操作手机的行为解释为触屏信息 并输出；

空间姿态解算模块3，连接数据输入模块1，用于根据各空间姿态监测设备监测到的监测 数据解算手机在当前时刻t的六自由度空间姿态，并生成空间姿态信息并输出；

消息合成模块4，分别连接触屏输入处理模块2和空间姿态解算模块3，用于将触屏信息 和空间姿态信息通过定义的交互消息格式合成为交互消息并输出。

请参照图3，服务器端中包括：

交互消息内容解析模块5，通信连接手机客户端中的消息合成模块4，用于对手机客户端 发送的交互消息进行内容解析；

交互映射模块6，连接交互消息内容解析模块5，用于将解析后的交互消息内容映射到后 台服务器上(比如电视等大屏幕上)，后台服务器通过一可视化界面实时显示用户对手机的操 作过程，并实时显示服务器端解析的交互消息内容。

请参照图4，手机客户端解算手机的六自由度空间姿态的方法包括如下步骤：

步骤S1，获取三轴加速度计当前的加速度计值；

步骤S2，判断当前的加速度计值与重力加速度g的差值是否小于一阈值，

若是，则判定手机当前处于准静止状态，并转入步骤S32；

若否，则判定手机当前处于运动状态，并转入步骤S31；

步骤S31，获取当前时刻陀螺仪的监测数据，然后根据当前的陀螺仪监测数据，对手机在 下一时刻的空间姿态进行解算，得到陀螺仪空间姿态解算结果并保存；

步骤S32，根据当前的加速度计值，以及磁力计在预设间隔时间段内先后两次监测到的 磁力值的变化值，计算得到手机在当前时刻绕三维坐标系的3个坐标轴的转角

步骤S4，根据步骤S32计算的转角

计算手机在当前准静止状态下的用于表示 手机空间姿态的空间四元数Q′；

步骤S5，通过空间四元数Q′校正步骤S31计算得到的陀螺仪空间姿态解算结果，得到经 校正后的空间四元数；

步骤S6，通过经步骤S5校正后的空间四元数计算手机在任意时刻的空间姿态角，并根 据手机摄像头实时探测的手机姿态在三维空间各轴向上的位移距离，得到手机六自由度的空 间姿态。

步骤S31中，根据当前时刻t的陀螺仪监测数据，通过以下公式(1)对手机在下一时刻 t+T的空间姿态进行解算：

公式(1)中，K₁＝Ω_b(t)Q(t)；

K₄＝Ω_b(t+T)[Q(t)+K₃T]；

ω_x表示陀螺仪在当前时刻t监测到的x轴向上的角速度；

ω_y表示陀螺仪在当前时刻t监测到的y轴向上的角速度；

ω_z表示陀螺仪在当前时刻t监测到的z轴向上的角速度；

T表示当前监测时刻t与下一监测时刻的时间间隔。

步骤S32中，通过下式计算手机在当前时刻t绕三维坐标系的3个坐标轴的转角

ψ＝M_e-M_b；

a_x为当前时刻t加速度计监测到的x轴向上的加速度计值；

a_y为当前时刻t加速度计监测到的y轴向上的加速度计值；

a_z为当前时刻t加速度计监测到的z轴向上的加速度计值；

M_e为当前时刻t磁力计监测到的磁力计值；

M_b为磁力计在当前时刻t之前的距离当前时刻t一预设间隔时间的时间点监测到的磁力 计值。

步骤S4中，通过以下公式计算手机在准静止状态下表示手机空间姿态的空间四元数Q′：

q₀、q₁、q₂、q₃表示手机在准静止状态下的空间姿态的四元数。

步骤S5中，通过空间四元数Q′校正步骤S31计算得到的陀螺仪空间姿态解算结果，得到 经校正后的空间四元数的方法为现有技术，所以关于空间四元数的校正过程在此不做阐述。

步骤S6中，通过以下公式即可计算出手机在任意时刻的空间姿态角

上式中，q′₀、q′₁、q′₂、q′₃为经步骤S5校正后的四元数。

空间姿态角

表示手机绕空间坐标系3个坐标轴的转角(其中的3个自由度)；

另外手机在三个坐标轴上的位移(另外的3个自由度)可通过手机的测距功能实现，现 有的基于智能手机的位移测量方法有许多，所以关于手机位移的测量方法在此不做阐述。

综上，本发明通过智能手机自带的惯性传感器的监测数据可预测手机的六自由度运动姿 态，用户只需要通过智能手机并基于视觉跟踪技术即可快速、准确地实现对物体的六自由度 跟踪。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领 域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换 只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求 书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (9)

1.一种基于智能手机的六自由度跟踪器，其特征在于，包括：

手机客户端，运行于智能手机上，用于检测用户操作手机的行为，获取手机的空间姿态数据并解析，并用于将用户的操作行为信息和所解析的手机空间姿态信息合成为交互消息并输出；

服务器端，运行于后台服务器上，所述服务器端通信连接所述手机客户端，用于接收所述手机客户端发来的所述交互消息并对所述交互消息进行内容解析，然后将解析的消息内容映射到所述后台服务器上，以实现所述后台服务器对手机的六自由度空间姿态和用户操作手机的行为的可视化跟踪。

2.根据权利要求1所述的基于智能手机的六自由度跟踪器，其特征在于，通过设置在手机中的空间姿态监测设备实时监测手机的空间姿态，所述空间姿态监测设备包括加速度计、陀螺仪和磁力计中的任意一种或多种。

3.根据权利要求2所述的基于智能手机的六自由度跟踪器，其特征在于，所述手机客户端中包括：

数据输入模块，用于输入用户操作手机的行为数据和所述空间姿态监测设备的监测数据；

触屏输入处理模块，连接所述数据输入模块，用于将用户操作手机的行为解释为触屏信息并输出；

空间姿态解算模块，连接所述数据输入模块，用于根据各所述空间姿态监测设备监测到的所述监测数据解算手机在当前时刻的六自由度空间姿态，并生成空间姿态信息并输出；

消息合成模块，分别连接所述触屏输入处理模块和所述空间姿态解算模块，用于将所述触屏信息和所述空间姿态信息通过定义的交互消息格式合成为交互消息并输出。

4.根据权利要求3所述的基于智能手机的六自由度跟踪器，其特征在于，所述服务器端中包括：

交互消息内容解析模块，通信连接所述手机客户端中的所述消息合成模块，用于对所述手机客户端发送的所述交互消息进行内容解析；

交互映射模块，连接所述交互消息内容解析模块，用于将解析后的交互消息内容映射到一所述后台服务器上，所述后台服务器通过一可视化界面实时显示用户对手机的操作过程，并实时显示所述服务器端解析的交互消息内容。

5.根据权利要求3所述的基于智能手机的六自由度跟踪器，其特征在于，所述手机客户端解算手机的六自由度空间姿态的方法包括如下步骤：

步骤S1，获取三轴加速度计当前的加速度计值；

步骤S2，判断当前的所述加速度计值与重力加速度g的差值是否小于一阈值，

若是，则判定手机当前处于准静止状态，并转入步骤S32；

若否，则判定手机当前处于运动状态，并转入步骤S31；

步骤S31，获取当前时刻陀螺仪的监测数据，然后根据当前的陀螺仪监测数据，对所述手机客户端在下一时刻的空间姿态进行解算，得到陀螺仪空间姿态解算结果并保存；

步骤S32，根据当前的所述加速度计值，以及所述磁力计在预设间隔时间段内先后两次监测到的磁力值的变化值，计算得到所述手机客户端在当前时刻绕三维坐标系的3个坐标轴的转角

步骤S4，根据所述步骤S32计算的所述转角

计算手机在当前准静止状态下的用于表示手机空间姿态的空间四元数Q′；

步骤S5，通过所述空间四元数Q′校正所述步骤S31计算得到的所述陀螺仪空间姿态解算结果，得到经校正后的空间四元数；

步骤S6，通过经所述步骤S5校正后的空间四元数计算手机在任意时刻的空间姿态角，并根据手机摄像头实时探测的手机姿态在三维空间各轴向上的位移距离，得到手机六自由度的空间姿态。

6.根据权利要求5所述的基于智能手机的六自由度跟踪器，其特征在于，所述步骤S31中，根据当前时刻t的陀螺仪监测数据，通过以下公式(1)对所述手机在下一时刻t+T的空间姿态进行解算：

公式(1)中，K₁＝Ω_b(t)Q(t)；

K₄＝Ω_b(t+T)[Q(t)+K₃T]；

ω_x表示所述陀螺仪在当前时刻t监测到的x轴向上的角速度；

ω_y表示所述陀螺仪在当前时刻t监测到的y轴向上的角速度；

ω_z表示所述陀螺仪在当前时刻t监测到的z轴向上的角速度；

T表示当前监测时刻t与下一监测时刻的时间间隔。

7.根据权利要求5所述的基于智能手机的六自由度跟踪器，其特征在于，所述步骤S32中，通过下式计算手机在当前时刻t绕三维坐标系的3个坐标轴的转角

ψ＝M_e-M_b；

a_x为当前时刻t所述加速度计监测到的x轴向上的加速度计值；

a_y为当前时刻t所述加速度计监测到的y轴向上的加速度计值；

a_z为当前时刻t所述加速度计监测到的z轴向上的加速度计值；

M_e为当前时刻t所述磁力计监测到的磁力计值；

M_b为所述磁力计在当前时刻t之前的距离当前时刻t一预设间隔时间的时间点监测到的磁力计值。

8.根据权利要求7所述的基于智能手机的六自由度跟踪器，其特征在于，所述步骤S4中的所述空间四元数Q′通过以下公式计算而得：

q₀、q₁、q₂、q₃表示手机在准静止状态下的空间姿态的四元数。

9.根据权利要求8所述的基于智能手机的六自由度跟踪器，其特征在于，所述步骤S6中，通过以下公式计算手机在任意时刻的空间姿态角

上式中，q′₀、q′₁、q′₂、q′₃为经所述步骤S5校正后的四元数。

Images