CN108151738A - 带姿态解算的可编码主动光标识球 - Google Patents

Abstract

一种带姿态解算的可编码主动光标识球，其特征在于：包括无线通信模块、LED灯、9轴传感器模块、姿态解算及控制模块；当标识球进行俯仰角、偏航角和翻滚角的姿态输入时，姿态解算及控制模块对从9轴传感器模块中获得的原始传感器数据进行自校准解算，上位机连接信号接收端模块实时获取通过姿态解算及控制模块自校准解算出的高频的姿态数据，上位机根据姿态数据进行虚拟现实应用程序计算；同时姿态解算及控制模块还按指定频率及16位编码控制LED灯的亮灭，LED灯的亮灭频率为摄像机曝光频率的一半；在识别出编码后对识别出的编码球进行跟踪，在跟踪丢失后可以启用再次识别。在追踪系统中使用主动光标识球作为定位标识使得摄像机使用广角的鱼眼镜成为可能，在同等面积下可减少摄像机数目从而可有效的降低VR系统的成本。

Description

带姿态解算的可编码主动光标识球

技术领域

本发明涉及虚拟现实(VR)技术领域，具体地是一种带姿态解算的可编码主动光标识球。

背景技术

随着科技的迅速发展，人类与计算机类设备交互维度的需求不断增加。在很长时间内，人类与计算机的交互主要是在二维空间内，如平面显示器和鼠标、触控板。使用二维空间描述三维物体会造成使用不便和一定局限，特别是在三维设计和三维娱乐发展的今天，用户无法通过自然的动作交互看到设计中的三维空间。

随着虚拟现实技术的发展，实现动作交互可以通过光学式动作捕捉来实现。运动捕捉就是要测量、跟踪、记录物体在三维空间中的运动轨迹。典型的运动捕捉设备一般包括：传感器、信号捕捉设备、数据传输设备、数据处理设备等部分。光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。典型的光学式运动捕捉系统通常使用多台相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。虽然光学式动作捕捉已经进入了实用化阶段，有多家厂商相继推出了多种应用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等领域的商品化的运动捕捉设备。但是，光学式动作捕捉目前依然存在一些技术问题有待解决。

虚拟现实，特别是光学式运动捕捉技术需要解决的最重要问题之一就是室内空间中的定位问题，目前室内较大空间中可以实现毫米级的精度定位解决方案主要使用计算机视觉技术来实现。通过在室内空间中架设多组摄像机，先对所有摄像机进行标定获取摄像机的内外参数，根据所有摄像机同步曝光后求取图像中标记点的二维坐标，并对追踪到标记点的2个以上图像上的二维点进行匹配，再根据相应摄像机的内外参求取出目标标记点在三维空间中的位置。

在该实现中，如何对多幅图像中的二维点进行匹配，目前大致有以下两种方法。一是，使用带有颜色的标记点用可见光彩色摄像机对标记点进行拍摄，在二维点匹配时使用不同的颜色来区分，但该方案中由于使用可见光，光污染比较严重对追踪极易造成干扰，同时无法对超过一定数量的标记点进行识别。二是，使用不可见反光球的红外光进行反射，这需要使用三个以上的反光球形成刚体才能对每个刚体进行识别，因此会需要较多的标记点，更易造成互相干扰并导致计算量增大，同时该种方法中由于红外光源来自摄像机，因此摄像机间容易造成串扰现象，尤其是在视场角较大的情况下，摄像机覆盖的区域利用率不高，造成系统成本偏高。

发明内容

本发明所要解决的技术问题是：针对现有目标标记点定位方案中光污染严重或摄像机间串扰现象严重、计算量较大、追踪标记点所受干扰较大、标记点数量受限、摄像机覆盖区域利用率不高、定位追踪方案总体成本偏高等缺点，提供一种带姿态解算的可编码主动光标识球。

本发明解决其技术问题所采取的技术方案是：

一种带姿态解算的可编码主动光标识球，包括无线通信模块、LED灯、9轴传感器模块、姿态解算及控制模块；当标识球进行俯仰角、偏航角和翻滚角的姿态输入时，姿态解算及控制模块对从9轴传感器模块中获得的原始传感器数据进行自校准解算，上位机连接信号接收端模块实时获取通过姿态解算及控制模块自校准解算出的高频的姿态数据，上位机根据姿态数据进行虚拟现实应用程序计算；同时姿态解算及控制模块还按指定频率及16位编码控制LED灯的亮灭，LED灯的频率为摄像机频率的一半；在识别出编码后对识别出的编码球进行跟踪，在跟踪丢失后可以启用再次识别。

进一步地，标识球通过无线2.4G信号发送端模块实时向上位机的无线信号接收端模块发送高频姿态数据，上位机获取数据不存在延时。

进一步地，使用不可见光供红外摄像机无光污染的捕捉，不需要提供外部光源，同时易于追踪。

进一步地，主动LED灯亮灭控制的编码为高鲁棒性的唯一编码，有效解决编码的自模拟现象，并且无需同步。

进一步地，使用9轴传感器模块的传感器数据进行解算，实现自校准功能，输出精准的姿态数据。

进一步地，LED灯使用16位的编码可提供40组以上的唯一编码。

进一步地，使用锂电池为LED灯及无线传输模块进行供电。

进一步地，标识球以1k频率将解算后的姿态数据通过无线发送端模块发送，上位机通过连接的无线接收端模块，可直接接收标识球的姿态数据。

进一步地，9轴传感器模块由加速度计、陀螺仪和电子罗盘组成。

一种带姿态解算的可编码主动光标识球的识别追踪系统，包括上位机、摄像机和上述的带姿态解算的可编码主动光标识球。

本发明由于采取了上述技术方案，其具有如下有益效果：

在VR应用中旋转数据的实时性比位置信息更敏感，因此使用高频低延时的惯性传感器来提供姿态信息，使用计算机视觉定位提供高精度的定位数据，将带来更高沉浸感的真实体验。标识球可作为一个外部模块置于任何需要追踪的物体上，通过上位机相机定位及无线传输获取的传感器数据进行信息融合后，实时提供该物体的6自由度信息。在追踪系统中使用主动光标识球作为定位标识，使得摄像机使用广角鱼眼镜头成为可能，在同等面积下可大大减少摄像机数目，从而可有效地降低VR系统的应用成本。

附图说明

图1是本发明所述的一种带姿态解算的可编码主动光标识球的内部结构图；

图2是本发明所述的标识球识别系统示意图。

1、LED灯及支架；2、9轴传感器模块；3、无线通信模块；4、姿态解算及控制模块；5、可分离锂电池。

具体实施方式

以下将对本发明的一种带姿态解算的可编码主动光标识球作进一步的详细描述。

下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须作出大量实施细节以实现开发者的特定目标。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用一方便、清晰地辅助说明本发明实施例的目的。

如图1所示，本实施例的带姿态解算的可编码主动光标识球，包括无线通信模块3、LED灯及支架1、9轴传感器模块2、姿态解算及控制模块4以及可分离锂电池5。LED灯及灯架1位于表示球的最外侧，在灯架背侧依次固定了9轴传感器模块2、无线信号发送端模块3、姿态解算及控制模块4、可分离锂电池5。

其中，无线通信模块3使用2.4GHz～2.5GHz的ISM频段的单片无线收发器芯片，同时可接收6个通道的数据发送，无线通信速度可以达到2M(bps)的通信速率，满足1K频率的姿态及加速度数据的传输，包括信号发送端模块和信号接收端模块，上位机连接信号接收端模块，以实时获取高频的姿态数据。

当标识球进行俯仰角、偏航角和翻滚角的姿态输入时，姿态解算及控制模块4对从9轴传感器模块2中获得的原始传感器数据进行姿态解算，并将解算的结果通过无线发送端模块3发送到上位机中，上位机根据姿态数据进行虚拟现实应用程序计算。9轴传感器模块2优选由加速度计、陀螺仪和电子罗盘组成。

姿态解算及控制模块从9轴传感器模块中获取惯性数据，对数据进行解算，以实现自校准解算功能。其中，自校准姿态解算方式优选可以为：通过提取传感器的信息并进一步滤波处理，剥离干扰信号提高系统精度。以电子罗盘输出的信号为主导，采用四元数为状态变量，利用卡尔曼滤波(KF)方法，得到载体的姿态数据。在数据融合中，引入加速度传感器的信号模作为互补滤波器参数确定的一个重要参量，因为根据加速度的模系统可以判断载体的运动剧烈程度，相比于静态参数更能拟合载体姿态；由于实际系统往往存在一定的可预见性，或者通过用户输入使控制系统预知接下来所处环境特点，主动设置恣态系统的参数，从而提高系统响应速度及姿态测量精度。

根据解算信息，姿态解算及控制模块4还按指定频率及编码控制LED灯的亮灭。LED灯使用850nm波长的不可见光。用连续16个发光状态作为一组编码的编码方式，即16位编码的编码方式。其中前8位为开始位，后8位为信息位。编码中1表示LED灯亮，0表示LED灯灭，编码中应避免存在连续3位为0的情况以及编码差异度应在2以上以避免误判，16位的编码可提供40组以上的唯一编码。LED灯亮或灭的发光状态的保持时长为2个摄像机拍摄周期。即LED灯闪灭频率为摄像机曝光频率的一半，在一个保持时长内LED灯光亮度不变(亮或灭的发光状态)，摄像机利用2个连续拍照周期来辨识发光球的一个发光状态。即摄像机拍取16*2＝32帧连续图片，即能识别出全部16位的唯一编码。

标识球上电后根据已存储配置编码及时长对LED灯进行控制，控制LED灯及支架1上的LED灯，循环输出编码信息。

进一步地，在识别出LED灯的唯一编码后，上位机对识别出的编码球进行跟踪，在跟踪丢失后可以启用再次识别。通过已标定过的多摄像机可以对标识球进行定位。

进一步地，标识球以1k频率将解算后的姿态数据通过无线发送端模块发送，上位机通过连接的无线接收端模块，可直接接收标识球的姿态。

进一步地，为解决上述标识球使用的便捷性问题，LED灯及无线传输模块均采用功耗设计，并使用一块5V锂电池进行供电，锂电池可与标识球分离充电。

如图2所示，根据本实施例的标识球的识别系统包括：上位机、摄像机和标识球。标识球包括LED灯以及在LED灯灯架上安装的9轴传感器模块2，该标识球的运动同步于LED灯和9轴传感器模块2的运动。9轴传感器模块2的运动数据传送至标识球中的姿态解算及控制模块4。当标识球进行俯仰角、偏航角和翻滚角的姿态输入时，姿态解算及控制模块4对从9轴传感器模块2中获得的原始传感器数据进行姿态解算。该姿态解算及控制模块4接受9轴传感器模块2的运动数据后，对该运动数据进行自校正姿态解析，并将该姿态解析数据传送到无线通信模块3，同时根据该姿态解析数据控制LED灯的显示编码。该无线通信模块3包括发送端模块。该无线通信模块3的发送端模块与上位机的接收端模块连接，姿态解析数据通过无线通信模块3的发送端模块发送至上位机的接收模块中，上位机根据姿态数据进行虚拟现实应用程序计算。

根据解算信息，姿态解算及控制模块4还按指定频率及编码控制LED灯的亮灭。LED灯使用850nm波长的不可见光。用连续16个发光状态作为一组编码的编码方式，即16位编码的编码方式。其中前8位为开始位，后8位为信息位。编码中1表示LED灯亮，0表示LED灯灭，编码中应避免存在连续3位为0的情况以及编码差异度应在2以上以避免误判，16位的编码可提供40组以上的唯一编码。LED灯亮或灭的发光状态的保持时长为2个摄像机拍摄周期。即LED灯闪灭频率为摄像机频率的一半，在一个保持时长内LED灯光亮度不变(亮或灭的发光状态)，摄像机利用2个连续拍照周期来辨识发光球的一个发光状态。即摄像机拍取16*2＝32帧连续图片，即能识别出全部16位的唯一编码。

在识别出LED灯的唯一编码后，上位机对识别出的编码球进行跟踪，在跟踪丢失后可以启用再次识别。通过已标定过的多摄像机可以对标识球进行定位。

标识球以1k频率将解算后的姿态数据通过无线发送端模块发送，上位机通过连接的无线接收端模块，可直接接收标识球的姿态。

本发明的标识球使用高频低延时的惯性传感器来提供姿态信息，使用计算机视觉定位提供高精度的定位数据，将带来更高沉浸感的真实体验。标识球可作为一个外部模块置于任何需要追踪的物体上，通过上位机相机定位及无线传输获取的传感器数据进行信息融合后，实时提供该物体的6自由度信息。在追踪系统中使用主动光标识球作为定位标识，使得摄像机使用广角鱼眼镜头成为可能，在同等面积下可大大减少摄像机数目，从而可有效地降低VR系统的应用成本。

以上显示和描述了本发明的基本原理、主要特征和优点，因此以上所述仅为本发明的实施例。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还包括各种等效变化和改进，这些变化和改进都将落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (10)

1.一种带姿态解算的可编码主动光标识球，其特征在于：包括无线通信模块、LED灯、9轴传感器模块、姿态解算及控制模块；当标识球进行俯仰角、偏航角和翻滚角的姿态输入时，姿态解算及控制模块对从9轴传感器模块中获得的原始传感器数据进行自校准解算，上位机连接信号接收端模块实时获取通过姿态解算及控制模块自校准解算出的高频的姿态数据，上位机根据姿态数据进行虚拟现实应用程序计算；同时姿态解算及控制模块还按指定频率及16位编码控制LED灯的亮灭，LED灯的频率为摄像机频率的一半；在识别出编码后对识别出的编码球进行跟踪，在跟踪丢失后可以启用再次识别。

2.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：标识球通过无线2.4G信号发送端模块实时向上位机的无线信号接收端模块发送高频姿态数据，上位机获取数据不存在延时。

3.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：使用不可见光供红外摄像机无光污染的捕捉，不需要提供外部光源，同时易于追踪。

4.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：主动LED灯亮灭控制的编码为高鲁棒性的唯一编码，有效解决编码的自模拟现象，并且无需同步。

5.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：使用9轴传感器模块的传感器数据进行解算，实现自校准功能，输出精准的姿态数据。

6.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：LED灯使用16位的编码可提供40组以上的唯一编码。

7.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：使用锂电池为LED灯及无线传输模块进行供电。

8.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：标识球以1k频率将解算后的姿态数据通过无线发送端模块发送，上位机通过连接的无线接收端模块，可直接接收标识球的姿态数据。

9.根据权利要求1所述的一种带姿态解算的可编码主动光标识球，其特征在于：9轴传感器模块由加速度计、陀螺仪和电子罗盘组成。

10.一种带姿态解算的可编码主动光标识球的识别追踪系统，其特征在于：包括上位机、摄像机和根据权利要求1-9所述的一种带姿态解算的可编码主动光标识球。