CN108965712A - 一种空间定位系统及其同步方法和装置 - Google Patents

Abstract

本发明公开一种空间定位系统及其同步定位和装置。本发明空间定位系统的同步方法包括：控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；获取所述摄像头模组按照所述摄像头模组的工作频率采集的所述定位设备的图像；根据图像中定位设备的亮度信息实现摄像头模组与定位设备之间亮灯控制的同步，使摄像头模组在所述定位设备亮灯时采集定位设备的图像。本发明节省成本、保证系统的可扩展性，降低系统功耗。

Description

一种空间定位系统及其同步方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种空间定位系统及其同步定位和装置。

背景技术

目标，虚拟现实(Virtual Reality，VR)空间定位系统为实现外设之间的同步功能，外设与空间定位系统的上位机之间的无线通信多采用私有通讯协议，以达到低延时通讯，实现多外设之间的同步。

但无线私有协议会导致空间定位系统需要单独添加射频(Radio Frequency，RF)芯片，使得成本提高；且采用私有协议也会导致产品扩展性不高，例如，基于PC的产品需要适配单独的硬件模块，基于一体机的产品需要添加单独的RF芯片。另外，私有协议还需要考虑数据的抗干扰，由于需要低延时，不能使用实时跳频及数据重传等技术，实现可靠的抗干扰非常困难。

发明内容

本发明提供了一种空间定位系统及其同步定位和装置，以解决现有技术方案中的外设采用无线私有协议导致的成本提高、扩展性差和抗干扰性差的问题。

本发明的一个方面提供了一种空间定位系统的同步方法，包括：

控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，所述定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；

获取摄像头模组按照摄像头模组的工作频率采集的定位设备的图像；

根据图像中定位设备的亮度信息实现摄像头模组与定位设备之间亮灯控制的同步，使摄像头模组在定位设备亮灯时采集所述定位设备的图像。

本发明的另一个方面提供了一种空间定位系统的同步装置，包括：

控制单元，用于控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；

图像获取单元，用于获取摄像头模组按照摄像头模组的工作频率采集的所述定位设备的图像；

图像处理单元，用于根据图像中定位设备的亮度信息实现摄像头模组与所述定位设备之间亮灯控制的同步，使摄像头模组在定位设备亮灯时采集所述定位设备的图像。

本发明的另一个方面提供了一种空间定位系统，包括摄像头模组、定位设备和上述的同步装置，摄像头模组与同步装置有线连接，定位设备与同步装置无线连接；

摄像头模组，用于采集定位设备的图像，并将图像发送给同步装置；

定位设备，用于利用IMU采集指示定位设备位置信息的IMU数据并发送给同步装置；

同步装置，用于控制摄像头模组与定位设备之间的同步。

本发明的有益效果是：本发明通过控制定位系统的亮灯方式，利用摄像头模组采集定位设备的图像，通过对采集到的图像进行分析处理，在图像中定位设备的亮度信息符合预设条件时，即可实现摄像头模组与定位设备之间亮灯控制的同步。

本发明无需添加RF芯片，能够节省成本，且未采用无线私有协议，能够保证系统的可扩展性；由于定位设备的亮灯频率与摄像头模组的工作频率相同，定位设备与摄像头模组同步后，能够在摄像头模组的图像采集时刻使定位设备亮灯，保证摄像头模组采集的图像为有效图像，提高图像处理效率，避免由无效图像采集和无效亮等导致的系统功耗的浪费。

附图说明

图1为本发明实施例示出的空间定位系统的同步方法流程图；

图2为本发明实施例示出的空间定位系统的示意图；

图3为本发明实施例示出的第一PWM信号示意图；

图4为本发明实施例示出的IMU中断时间与PWM信号示意图；

图5为本发明实施例示出的空间定位系统的同步装置结构框图；

图6为本发明实施例示出的空间定位系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本发明的一个方面提供了一种空间定位系统的同步方法。

图1为本发明实施例示出的空间定位系统的同步方法流程图，如图1所示，本实施例的回声消除方法包括：

S110，控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同。

本实施例可以利用空间定位系统的上位机向定位设备发送控制指令，使定位设备基于控制指令控制亮灯时间；也可以在定位设备开机上电之后，无线连接到上位机时，自动控制定位设备的亮灯时间。

本实施例中，定位设备包括但不限于VR头戴设备、左无线控制器、右无线控制器，定位设备采用无线连接的方式连接上位机，定位设备采用标准的蓝牙低功耗(BluetoothLow Energy，BLE)协议与上位机进行数据交互，以保证产品具有良好的扩展性，且无需添加RF芯片，节省成本。

其中，定位设备上的灯为红外灯，定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同，以使定位设备与摄像头模组同步之后，在摄像头模组的图像采集时刻打开定位设备的外红灯，保证摄像头模组采集的图像为有效图像。

S120，获取摄像头模组按照摄像头模组的工作频率采集定位设备的图像。

本实施例中的摄像头模组采用有线连接方式连接到上位机，例如，摄像头模组采用USB线连接上位机，以使得摄像头模组可以快速地将采集到的图像发送给上位机进行图像分析预处理。

S130，根据图像中定位设备的亮度信息实现摄像头模组与定位设备之间亮灯控制的同步，使摄像头模组在定位设备亮灯时采集定位设备的图像。

在获得摄像头模组采集的定位设备的图像时，对图像进行分析处理，如图像识别，获得图像中的定位设备的亮度信息，在图像中的定位设备的亮度信息满足预设条件时，如图像中的定位设备的亮度大于亮度阈值时，控制定位设备的亮灯时间对应为摄像头模组的图像采集时间，以使摄像头模组在定位设备亮灯时采集定位设备的图像，保证摄像头模组采集的图像为有效图像。

本实施例通过控制定位系统的亮灯方式，利用摄像头模组采集定位设备的图像，通过对采集到的图像进行分析处理，在图像中定位设备的亮度信息符合预设条件时，即可实现摄像头模组与定位设备之间亮灯控制的同步。本实施例无需添加RF芯片，能够节省成本，且未采用无线私有协议，能够保证系统的可扩展性，且由于定位设备的亮灯频率与摄像头模组的工作频率相同，定位设备与摄像头模组同步后，能够在摄像头模组的图像采集时刻使定位设备亮度，保证摄像头模组采集的图像为有效图像，提高图像处理效率，避免由无效图像采集和无效亮等导致系统功耗的浪费。

本实施例通过下述方法控制定位设备的亮灯方式：

在定位设备无线连接成功时，或者在接收到控制指令时，控制定位设备生成用于控制定位设备亮灯的第一脉冲宽度调制(Pulse Width Modulation，PWM)信号，第一PWM信号的频率为摄像头模组的工作频率，第一PWM信号的脉冲触发时间每预定时间推移固定时间，例如，第一PWM信号的脉冲触发时间每1秒推移1毫秒。其中，可以基于上位机的图像处理时间和上位机与定位机之间的数据无线传输时间设定上述预定时间，基于同步精度要求设定脉冲触发时间的固定时间，固定时间越小(如为500微秒)，同步精度越高。

摄像头模组按照摄像头模组的工作频率采集定位设备的图像，获取图像中定位设备的亮度信息，在图像的亮度信息大于亮度阈值时，基于标准BLE协议向定位设备发送同步信号，使定位设备生成脉冲触发时间固定的第二PWM信号，第二PWM信号的频率为所述亮灯频率，第二PWM信号的脉冲触发时间为接收到所述同步信号时第一PWM信号的脉冲触发时间。

图2为本发明实施例示出的空间定位系统的示意图，如图2所示，空间定位系统包括上位机、摄像头模组、VR头戴设备、左无线控制器和右无线控制器，VR头戴设备具有可控发光的红外光球，左无线控制器和右无线控制器分别具有可控发光的红外灯，摄像头模组通过USB线连接上位机，VR头戴设备、左无线控制器和右无线控制器均通过蓝牙方式连接上位机，当定位设备包括VR头戴设备时，VR头戴设备也可以通过USB有线方式连接上位机，上位机会利用摄像头模组拍摄VR头戴设备、左无线控制器和右无线控制器的图像，以及分别利用VR头戴设备、左无线控制器和右无线控制器中的惯性测量单元(Inertialmeasurement unit，IMU)测量的IMU数据定位相应的VR头戴设备、左无线控制器和右无线控制器的位置。

图3为本发明实施例示出的第一PWM信号示意图，如图3所示，定位设备的控制器按照摄像头模组的工作频率输出第一PWM信号。假设摄像头模组以全局快门方式拍摄定位设备，摄像头模组的曝光时间为2ms，基于图像分析处理过程中算法的抗干扰性考虑，摄像头模组的曝光时间不宜过长，摄像头模组与VR头戴设备、左无线控制器和右无线控制器具有相同的工作频率，以在摄像头模组的曝光时刻打开VR头戴设备中的红外光球和左、右无线控制器中的红外灯，本实施例设定VR头戴设备、左无线控制器和右无线控制器周期性打开红外灯，一方面能够基于对定位设备的亮灯时间实现定位设备与摄像头模组之间的同步控制，另一方面还能够降低定位设备的功耗。

本实施例中第一PWM信号的脉冲信号的持续时间为1毫秒，当然，脉冲信号的持续时间可以基于摄像头模组的有效图像采集距离和系统要求设定预定时间来设定，本实施例不作具体限定。如图3所示，第一PWM信号的脉冲触发时间每预定时间(例如没1秒)右移固定时间(例如右移1毫秒)，由于第一PWM信号的脉冲的触发时间为定位设备的亮灯时间，第一PWM信号的脉冲持续时间为定位设备的持续亮灯时间，在第一PWM信号的脉冲触发时间经过多次右移后，定位设备在某个脉冲的触发下亮灯，定位设备亮灯的同时，摄像头模组曝光采集定位设备的图像，此时采集到的图像为目标图像。

在确定采集到目标图像时，上位机基于标准的BLE协议向定位设备发送同步指令，定位设备的红外灯按照固定的PWM信号亮灯。参考图3，假设第一PWM信号的脉冲触发时间在右移k个固定时间后，摄像头模组采集到图像中定位设备的亮度信息满足预设条件，此时，将第一PWM信号右移k个固定时间后的脉冲触发时间作为第二PWM信号的脉冲触发时间，第二PWM信号为脉冲触发时间固定的信号，即第二PWM信号中的每个脉冲触发时间相对于第一PWM信号中相应的脉冲触发时间均右移k个固定时间。在第二PWM信号的控制下，摄像头模组可以在定位设备的亮灯时刻采集到定位设备的图像，保证采集的每幅附图均为有效图像。

本实施例在摄像头模组与定位设备之间亮灯控制的同步之后，还通过下述方法控制摄像头模组与定位设备的IMU同步：

基于标准BLE协议获得定位设备中IMU采集的IMU数据和定位设备亮灯时间与定位设备中IMU中断时间之间的时间差；根据时间差和摄像头模组与定位设备之间亮灯控制的同步关系，获得摄像头模组的图像采集时间与IMU中断时间之间的时间差；根据IMU数据和摄像头模组的图像采集时间与IMU中断时间之间的时间差，实现摄像头模组与IMU之间数据处理的同步。

由于本实施例中IMU的工作频率远大于摄像头模组的工作频率，即IMU的工作频率远大于定位设备的亮灯频率，如图4所示，在摄像头模组的一次图像采集时间(或一次曝光时间)内，IMU会对应产生多次IMU中断，因此，需要基于摄像头模组的图像采集时间与IMU中断时间的时间差，获得目标IMU数据。由于可以根据第二PWM信号在定位设备中获得定位设备亮灯时间与IMU中断时间之间的时间差，将该时间差上传给上位机后，上位机根据摄像头模组与定位设备之间亮灯控制的同步关系，即摄像头模组的图像采集时间与定位设备的亮灯时间相同，可以根据定位设备亮灯时间与IMU中断时间之间的时间差得到摄像头模组的图像采集时间与IMU中断时间之间的时间差，基于该时间差即可获得目标IMU数据，实现摄像头模组与IMU之间数据处理的同步。

本发明的另一个方面提供了一种空间定位系统的同步装置。

图5为本发明实施例示出的空间定位系统的同步装置结构框图，如图5所示，本实施例的同步装置包括：

控制单元51，用于控制定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；

图像获取单元52，用于获取摄像头模组按照摄像头模组的工作频率采集的定位设备的图像；

图像处理单元53，用于根据图像中所述定位设备的亮度信息实现摄像头模组与定位设备之间亮灯控制的同步，使摄像头模组在定位设备亮灯时采集定位设备的图像。

本实施例的控制单元51，用于控制定位设备生成用于控制定位设备亮灯的第一PWM信号，第一PWM信号的频率为摄像头模组的工作频率，第一PWM信号的脉冲触发时间每预定时间推移固定时间。

在本实施例中，图5所示的同步装置还包括发送单元；

图像处理单元52，用于获取图像中定位设备的亮度信息，在图像的亮度信息大于亮度阈值时，生成同步信号；发送单元，用于基于标准BLE协议向定位设备发送同步信号，使定位设备生成脉冲触发时间固定的第二PWM信号，第二PWM信号的频率为摄像头模组的工作频率，第二PWM信号的脉冲触发时间为接收到同步信号时第一PWM信号的脉冲触发时间。

在本实施例中，图5所示的同步装置还包括接收单元；

接收单元，用于基于标准BLE协议获得定位设备中IMU采集的IMU数据和定位设备亮灯时间与定位设备中IMU中断时间之间的时间差；

控制单元51，还用于根据时间差和摄像头模组与定位设备之间亮灯控制的同步关系，获得摄像头模组的图像采集时间与IMU中断时间之间的时间差；以及，根据IMU数据和摄像头模组的图像采集时间与IMU中断时间之间的时间差，实现摄像头模组与IMU之间数据处理的同步。

本发明装置实施例的各单元的具体工作方式可以参见本发明的方法实施例。

本发明的另一个方面提供了一种空间定位系统。

图6为本发明实施例示出的空间定位系统的结构框图，如图6所示，本实施例的系统包括：

包括摄像头模组61、定位设备62和上文描述的同步装置63，摄像头模组61与同步装置63有线连接，定位设备62与同步装置63无线连接；

摄像头模组61，用于采集定位设备62的图像，并将图像发送给同步装置63；

定位设备62，用于利用IMU采集指示定位设备62位置信息的IMU数据并发送给同步装置63；

同步装置63，用于控制摄像头模组61与定位设备62之间的同步。

本实施例中，定位设备62包括但不限于具有红外线光球和IMU的VR头戴设备，以及具有红外灯和IMU的左无线控制器、右无线控制器。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种空间定位系统的同步方法，其特征在于，包括：

控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，所述定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；

获取所述摄像头模组按照所述摄像头模组的工作频率采集的所述定位设备的图像；

根据所述图像中所述定位设备的亮度信息实现所述摄像头模组与所述定位设备之间亮灯控制的同步，使所述摄像头模组在所述定位设备亮灯时采集所述定位设备的图像。

2.根据权利要求1所述的同步方法，其特征在于，所述控制空间定位系统的定位设备的每次亮灯时刻比上次亮灯时刻延迟固定时间，包括：

控制所述定位设备生成用于控制所述定位设备亮灯的第一脉冲宽度调制PWM信号，第一PWM信号的频率为所述摄像头模组的工作频率，所述第一PWM信号的脉冲触发时间每预定时间推移固定时间。

3.根据权利要求2所述的同步方法，其特征在于，所述根据所述图像中所述定位设备的亮度信息实现所述摄像头模组与所述定位设备之间亮灯控制的同步，包括：

获取所述图像中所述定位设备的亮度信息；

在所述图像的亮度信息大于亮度阈值时，基于标准蓝牙低功耗BLE协议向所述定位设备发送同步信号，使所述定位设备生成脉冲触发时间固定的第二PWM信号，所述第二PWM信号的频率为所述摄像头模组的工作频率，所述第二PWM信号的脉冲触发时间为接收到所述同步信号时所述第一PWM信号的脉冲触发时间。

4.根据权利要求3所述的同步方法，其特征在于，在实现所述摄像头模组与所述定位设备之间亮灯控制的同步之后，所述方法还包括：

基于标准BLE协议获得所述定位设备中惯性测量单元IMU采集的IMU数据和所述定位设备亮灯时间与所述定位设备中IMU中断时间之间的时间差；

根据所述时间差和所述摄像头模组与所述定位设备之间亮灯控制的同步关系，获得所述摄像头模组的图像采集时间与所述IMU中断时间之间的时间差；

根据所述IMU数据和所述摄像头模组的图像采集时间与所述IMU中断时间之间的时间差，实现所述摄像头模组与所述IMU之间数据处理的同步。

5.一种空间定位系统的同步装置，其特征在于，包括：

控制单元，用于控制空间定位系统的定位设备的每次亮灯时间比上次亮灯时间延迟固定时间，所述定位设备的亮灯频率与空间定位系统的摄像头模组的工作频率相同；

图像获取单元，用于获取所述摄像头模组按照所述摄像头模组的工作频率采集的所述定位设备的图像；

图像处理单元，用于根据所述图像中所述定位设备的亮度信息实现所述摄像头模组与所述定位设备之间亮灯控制的同步，使所述摄像头模组在所述定位设备亮灯时采集所述定位设备的图像。

6.根据权利要求5所述的同步装置，其特征在于，

所述控制单元，用于控制所述定位设备生成用于控制所述定位设备亮灯的第一脉冲宽度调制PWM信号，第一PWM信号的频率为所述摄像头模组的工作频率，所述第一PWM信号的脉冲触发时间每预定时间推移固定时间。

7.根据权利要求6所述的同步装置，其特征在于，还包括发送单元；

所述图像处理单元，用于获取所述图像中所述定位设备的亮度信息，在所述图像的亮度信息大于亮度阈值时，生成同步信号；

所述发送单元，用于基于标准蓝牙低功耗BLE协议向所述定位设备发送所述同步信号，使所述定位设备生成脉冲触发时间固定的第二PWM信号，所述第二PWM信号的频率为所述摄像头模组的工作频率，所述第二PWM信号的脉冲触发时间为接收到所述同步信号时所述第一PWM信号的脉冲触发时间。

8.根据权利要求7所述的同步装置，其特征在于，还包括接收单元；

所述接收单元，用于基于标准BLE协议获得所述定位设备中惯性测量单元IMU采集的IMU数据和所述定位设备亮灯时间与所述定位设备中IMU中断时间之间的时间差；

所述控制单元，还用于根据所述时间差和所述摄像头模组与所述定位设备之间亮灯控制的同步关系，获得所述摄像头模组的图像采集时间与所述IMU中断时间之间的时间差；以及，根据所述IMU数据和所述摄像头模组的图像采集时间与所述IMU中断时间之间的时间差，实现所述摄像头模组与所述IMU之间数据处理的同步。

9.一种空间定位系统，其特征在于，包括摄像头模组、定位设备和权利要求5-8任一项所述的同步装置，所述摄像头模组与所述同步装置有线连接，所述定位设备与所述同步装置无线连接；

所述摄像头模组，用于采集所述定位设备的图像，并将所述图像发送给所述同步装置；

所述定位设备，用于利用IMU采集指示所述定位设备位置信息的IMU数据并发送给所述同步装置；

所述同步装置，用于控制所述摄像头模组与所述定位设备之间的同步。

10.根据权利要求9所述的空间定位系统，其特征在于，所述定位设备包括：具有红外线光球和IMU的虚拟现实头戴设备，以及具有红外灯和IMU的左无线控制器、右无线控制器。