CN112527102B - 头戴式一体机系统及其6DoF追踪方法和装置 - Google Patents

头戴式一体机系统及其6DoF追踪方法和装置 Download PDF

Info

Publication number
CN112527102B
CN112527102B CN202011279532.5A CN202011279532A CN112527102B CN 112527102 B CN112527102 B CN 112527102B CN 202011279532 A CN202011279532 A CN 202011279532A CN 112527102 B CN112527102 B CN 112527102B
Authority
CN
China
Prior art keywords
tracking
data
head
6dof
imu sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011279532.5A
Other languages
English (en)
Other versions
CN112527102A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202011279532.5A priority Critical patent/CN112527102B/zh
Publication of CN112527102A publication Critical patent/CN112527102A/zh
Priority to PCT/CN2021/130990 priority patent/WO2022100759A1/zh
Priority to US17/881,138 priority patent/US11797083B2/en
Application granted granted Critical
Publication of CN112527102B publication Critical patent/CN112527102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

本申请公开了一种头戴式一体机系统及其6DoF追踪方法和装置。所述方法包括：控制两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步；根据获取到的两路追踪摄像头的奇数帧图像数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；根据获取到的两路追踪摄像头的偶数帧图像数据，实时计算手柄控制器在三维空间中的6DoF追踪数据。本申请的方案通过奇偶帧单独控制方式，可以缓解用户头部和手部两个6DoF追踪模块一起运行时系统负载压力和CPU资源冲突问题，并进而降低系统功耗和提高追踪性能稳定性。

Description

头戴式一体机系统及其6DoF追踪方法和装置
技术领域
本申请涉及头戴一体机技术领域，具体涉及一种头戴式一体机系统及其6DoF(Degree of Freedom，自由度)追踪方法和装置。
背景技术
在VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)/MR(Mixed Reality，混合现实)技术领域，用户的头部在三维空间中的移动和旋转，以及手部在三维空间中的移动和旋转是最基础的交互数据。近年来随着移动计算能力的提高和用户希望能在VR/AR/MR技术领域中无拘无束尽情的交互诉求，一体机形态的VR、AR或者MR头戴越来越受用户的欢迎和青睐，因此在移动平台上用户的头部和手部的6DoF的追踪精度、追踪范围和追踪稳定性等关键性能参数就显得尤为重要。
目前在头戴式一体机领域，主流的有以下两类方案解决用户的头部和手部的6DoF追踪问题。一类解决方案是：在头戴式一体机上设置多于两个，例如设置四个的大视角的追踪摄像头，通过四个大视角的追踪摄像头实时追踪用户头部在三维空间中的位置和姿态信息6DoF，同时实时追踪用户手柄控制器上的几何图案，通过计算机视觉处理算法实时计算用户手柄控制器在三维空间中的位置和姿态信息6DoF。另一类解决方案是：在头戴式一体机上设置两个大视角的追踪摄像头，通过两个大视角的追踪摄像头实时追踪用户头部在三维空间中的位置和姿态信息6DoF，同时在手柄控制器端内嵌电磁发射器/超声波发射器，同时头戴式一体机上内嵌对应的电磁接收器/超声波接收器，通过电磁追踪原理或超声波位置追踪原理实时解算手柄控制器在三维空间中的位置和姿态信息。
对第一类解决方案，虽然追踪性能可以得到提升，但是从VR头戴式一体机角度考虑，追踪摄像头的个数越多对设备整机的成本、功耗、结构摆放设计和结构散热设计等会带来比较大的挑战，而且追踪摄像头的功耗在VR头戴式一体机里是一个比较大的耗电和成本元件，目前一体机一般都是可充电池操作的，追踪摄像头的个数的增多会严重影响到一体机的工作时长。对第二类解决方案，由于手柄控制器上的电磁传感器/超声波传感器对环境中的电磁信号/超声波信号比较敏感，容易受到环境中复杂的电磁信号/超声波信号的干扰，使其电磁传感器/超声波传感器会产生错误的手柄控制器的电磁/超声追踪数据，使得手柄控制器的追踪性能会受到比较大的挑战，导致手柄控制器在一些应用场景中，会有漂移、抖动、卡顿等现象，比较严重影响用户体验。
发明内容
有鉴于此，本申请的主要目的在于提供了一种头戴式一体机系统及其6DoF追踪方法和装置，用于解决或部分解决上述问题。
依据本申请的第一方面，提供了一种头戴式一体机系统的6DoF追踪方法，所述头戴式一体机系统包括无线通讯连接的头戴式一体机和手柄控制器，所述头戴式一体机上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器，所述手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有第二IMU传感器，所述方法包括：
控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制所述手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
依据本申请的第二方面，提供了一种头戴式一体机，所述头戴式一体机包括处理器、存储计算机可执行指令的存储器，其上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器；其中，
两路所述追踪摄像头的规格相同，具有的规格参数包括：视场角FOV最少在130°*100°*150°(H*V*D)；帧率最少60Hz；分辨率至少为VGA或者720P；采用全局快门曝光方式；镜头可同时通过可见光波段和850nm红外光；
相对于以所述头戴式一体机的中心为坐标系原点建立的垂直坐标系，其中X轴代表水平方向，Y轴代表上下方向，Z轴代表前后方向，两路所述追踪摄像头在所述头戴式一体机上的摆放位置和角度约束限制包括：左侧的追踪摄像头可以绕X轴向上旋转第一角度范围，绕Y轴向左旋转第二角度范围；右侧的追踪摄像头可以绕X轴向下旋转第三角度范围，绕Y轴向右旋转第四角度范围；两路追踪摄像头均可以在X轴方向上和Y轴方向上进行位置移动，且两路追踪摄像头的光轴中心点的距离在X轴方向上位于第一距离范围内，在Y轴方向上位于第二距离范围内；
所述处理器在执行所述存储器内存储的可执行指令时，实现如下的6自由度追踪方法：
控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；其中，所述手柄控制器与所述头戴式显示装置无线通讯连接，其上设置有预设数量个LED灯并设置有第二IMU传感器；
对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
依据本申请的第三方面，提供了一种头戴式一体机系统的6DoF追踪装置，所述头戴式一体机系统包括无线通讯连接的头戴式一体机和手柄控制器，所述种头戴式一体机上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器，所述手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有第二IMU传感器，所述装置包括：
同步控制模块，用于控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制所述手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
奇数帧追踪模块，用于对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
偶数帧追踪模块，用于对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的头戴式一体机系统的6DoF追踪方法。
本申请采用的上述至少一个技术方案能够达到以下有益效果：
本申请实施例的头戴式一体机系统及其6DoF追踪方法和装置，在头戴式一体机上仅设置两路追踪摄像头，相比于设置多于两路追踪摄像头的6DoF追踪解决方案，可以降低成本和功耗；通过优化这两个追踪摄像头在头戴式一体机上的摆放位置和角度，以及通过控制两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步，保证了头戴式一体机和手柄控制器的追踪视场角FOV和追踪精度；通过对两路追踪摄像头的图像进行奇数帧和偶数帧的单独控制，利用奇数帧图像数据计算头戴式一体机也即用户头部在三维空间中的6DoF追踪数据，利用偶数帧图像数据计算手柄控制器也即用户手部在三维空间中的6DoF追踪数据，这样通过奇偶帧单独控制方式，可以缓解用户头部和手部两个6DoF追踪模块一起运行时系统负载压力和CPU资源冲突问题，并进而降低系统功耗和提高追踪性能稳定性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的头戴式一体机的外观示意图；
图2示出了根据本申请一个实施例的手柄控制器的外观示意图；
图3示出了根据本申请一个实施例的头戴式一体机系统的6DoF追踪方法的流程示意图；
图4示出了根据本申请一个实施例的头戴式一体机系统的6DoF追踪方法的实现框架示意图；
图5示出了根据本申请一个实施例的头戴式一体机的6DoF追踪方法的实现框架示意图；
图6示出了根据本申请一个实施例的手柄控制器的6DoF追踪方法的实现框架示意图；
图7示出了本申请一个实施例的头戴式一体机系统的6DoF追踪装置的框图；
图8为本申请一个实施例中头戴式一体机的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。
为解决头戴式一体机系统的用户头部和手部的6DoF追踪问题，本申请提出了在头戴式一体机上按照一定的摆放位置和角度约束限制设置两路追踪摄像头，同时在手柄控制器上按照一定的几何规格约束设置预设数量个LED灯，通过优化这两个追踪摄像头在头戴式一体机上的摆放位置和角度，以及通过控制这两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步，保证了头戴式一体机和手柄控制器的追踪视场角FOV和追踪精度。通过对两路追踪摄像头的图像进行奇数帧和偶数帧的单独控制，利用奇数帧图像数据计算头戴式一体机也即用户头部在三维空间中的6DoF追踪数据，利用偶数帧图像数据计算手柄控制器也即用户手部在三维空间中的6DoF追踪数据，这样通过奇偶帧单独控制方式，可以缓解用户头部和手部两个6DoF追踪模块一起运行时系统负载压力和CPU资源冲突问题，并进而降低系统功耗和提高追踪性能稳定性。
图1示出了根据本申请一个实施例的头戴式一体机的外观示意图。参见图1，本申请实施例的头戴式一体机上按照一定的摆放位置和角度约束限制设置两路追踪摄像头并内嵌有一IMU(Inertial measurement unit，惯性测量单元)传感器(图1中不可见)。为便于区分，将头戴式一体机内的IMU传感器命名为第一IMU传感器。
在一实施例中，两路追踪摄像头均为单色摄像头(Monochrome Camera)，采集的为黑白图像。由于解决6DOF追踪定位问题，只要需要摄像头拍摄到环境中的亮暗信息就可以，不需要颜色信息。采用这种单色摄像头的优势是价格成本比较低，且不会影响追踪定位精度。
在一实施例中，两路追踪摄像头规格相同。这样便于两路追踪摄像头在物理上进行同步的，并通过物理的同步机制控制两路追踪摄像头的每一帧曝光时间段的中心点是相同的。
每路追踪摄像头的一些关键的规格参数说明如下：
a)追踪摄像头的FOV(Field of View，视场角)最少在130°*100°*150°(H*V*D)，其中H代表水平视场角(FOV-H)，V表示垂直视场角(FOV-V)，D表示对角线视场角(FOV-D)。
b)追踪摄像头的帧率最少60Hz，即每路追踪摄像头的拍摄帧率最少为60Hz。
c)追踪摄像头的分辨率为视频图形阵列(Video Graphics Array，VGA)或者720P即可，其中，VGA表示640*480的分辨率。
d)追踪摄像头为全局快门(Global Shutter)曝光方式。
e)追踪摄像头的镜头可同时通过可见光波段(波段范围为480nm–670nm)和850nm红外光。
在一实施例中，追踪摄像头的CMOS(传感器类型)可选用OV7251或者OV9282型号。
两路追踪摄像头在头戴式一体机上具有一定的摆放位置和角度约束限制，为便于区分说明，参见图1，将左侧的追踪摄像头命名为C1，将右侧的追踪摄像头命名为C2，当头戴式一体机佩戴在用户头上时，以头戴式一体机的中心为坐标系原点建立垂直坐标系，X轴代表水平方向，Y轴代表上下方向，Z轴代表前后方向。对这两路追踪摄像头的摆放位置和角度约束限制包括：
a)左侧的追踪摄像头C1可以绕X轴向上旋转第一角度范围，绕Y轴向左旋转第二角度范围。例如C1可以绕着X轴方向往上旋转15°-20°之间的任何一个角度，绕着Y轴往左旋转19°-25°之间的任何一个角度。
b)右侧的追踪摄像头C2可以绕X轴向下旋转第三角度范围，绕Y轴向右旋转第四角度范围。例如C2绕着X轴方向往下旋转25°-35°之间的任何一个角度，绕着Y轴往右旋转19°-25°之间任何一个角度。
c)两路追踪摄像头均可以在X轴方向上和Y轴方向上进行位置移动，且两路追踪摄像头的光轴中心点的距离在X轴方向上位于第一距离范围内，在Y轴方向上位于第二距离范围内。例如C1的光轴中心点和C2的光轴中心点在Y轴上距离可在2mm–5mm范围内，在X轴方向上距离可在80mm-100mm范围内。
利用上述规格及摆放位置和角度约束限制的两路追踪摄像头，可以拼接一个至少170°*150°(H*V)的追踪视场角FOV区域。
图2示出了根据本申请一个实施例的手柄控制器的外观示意图。参见图2，本申请实施例的手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有一IMU传感器(图2中不可见)。为便于区分，将手柄控制器内的IMU传感器命名为第二IMU传感器。
手柄控制器上设置的LED灯的颗数多少，与手柄控制器的大小尺寸信息、追踪精度、追踪稳定性、和头戴式一体机上追踪摄像头的摆放位置和角度均是有关系的。在设计LED灯的颗数及在手柄控制器上的分布时，应综合考虑这些信息。
在一实施例中，手柄控制器上按照一定的几何规则设置了17个LED灯，这些LED灯均是自发光方式，发出的波段可以是红外光波段，也可以是可见光波段。
图3示出了根据本申请一个实施例的头戴式一体机系统的6DoF追踪方法的流程示意图，该头戴式一体机系统包括无线通讯连接的头戴式一体机和手柄控制器，头戴式一体机上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器，手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有第二IMU传感器。参见图3，本申请实施例的头戴式一体机系统的6DoF追踪方法包括如下步骤S310至步骤S330：
步骤S310，控制两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步。
本申请的两路追踪摄像头的规格相同，在物理上是同步的，通过物理上的同步机制可以控制两路追踪摄像头在每一帧曝光时间段的中心点是相同的，也即控制两路追踪摄像头准确地进行同步曝光。
头戴一体机和手柄控制器上内置了无线通讯模块的接收模块和发射模块，该无线通讯模块协议可以是2.4G或者蓝牙通讯。
通过无线通讯模块可以控制手柄控制器上的LED灯亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步，也即控制LED灯在追踪摄像头的偶数帧的曝光时间段内点亮。为了使手柄控制器上的LED灯能充分在追踪摄像头的偶数帧的曝光时间段点亮，考虑到无线通讯模块对手柄控制器的LED灯亮灯时刻和追踪摄像头的曝光时间段的中间时刻同步精度误差问题，可以将LED灯亮灯时长设置为追踪摄像头的曝光时间段的前后时刻多亮一个预定时间，例如30us。
需要说明的是，由于手柄控制器的上的标记点是自发光的LED灯，考虑到追踪摄像头在拍摄运动物体时，曝光时长越长，运动模糊问题越严重，因此在偶数帧的曝光时间参数将根据经验会设置的比较低，这样也使手柄控制器上的LED灯点亮的时间会非常短，一般在100us左右即可满足手柄控制器的追踪算法要求，这样也一定程度上优化了手柄控制器的功耗问题。
步骤S320，对获取到的两路追踪摄像头的奇数帧图像数据，结合当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据。
在实时计算头戴式一体机在三维空间中的6DoF追踪数据时，本申请实施例是选择利用两路追踪摄像头的奇数帧图像数据，并结合当前时刻的头戴式一体机内的IMU传感器的惯性导航数据。
可以理解，本申请还可以设计为选择利用两路追踪摄像头的偶数帧图像数据来实时计算头戴式一体机的6DoF追踪数据。相应的，在实时计算手柄控制器的6DoF追踪数据，将对应设计为选择利用两路追踪摄像头的奇数帧图像数据。
步骤S330，对获取到的两路追踪摄像头的偶数帧图像数据，结合当前时刻的第二IMU传感器的惯性导航数据和当前时刻的头戴式一体机的6DoF追踪数据，实时计算手柄控制器在三维空间中的6DoF追踪数据。
本申请实施例是选择利用两路追踪摄像头的偶数帧图像数据，并结合当前时刻的手柄控制器内的IMU传感器的惯性导航数据，以及当前时刻的头戴式一体机的6DoF追踪数据，来实时计算手柄控制器在三维空间中的6DoF追踪数据。在实时计算手柄控制器的6DoF追踪数据时之所以还要结合当前时刻的头戴式一体机的6DoF追踪数据，这是因为实时计算的手柄控制器在三维空间中的6DoF追踪数据是相对于头戴式一体机中的IMU传感器的坐标原点下的6DoF追踪数据。
上述步骤S320和步骤S330是并列的，在运行时间上是错开的，也即在追踪摄像头的图像为奇数帧时计算头戴式一体机的6DoF追踪数据，运行头戴式一体机的6DoF追踪模块，在追踪摄像头的图像为偶数帧时计算手柄控制器6DoF追踪数据，运行手柄控制器的6DoF追踪模块。这样通过奇偶帧单独控制方式可以缓解两个追踪模块一起运行系统负载压力和CPU资源冲突问题，并进而降低系统功耗和提高追踪性能稳定性。
图4示出了根据本申请一个实施例的头戴式一体机系统的6DoF追踪方法的实现框架示意图。参见图4，本申请实施例需要实时采集到四路数据，包括两路追踪摄像头(C1和C2)的图像数据，一路头戴式一体机内置的第一IMU传感器的惯性导航数据，一路手柄控制器内置的第二IMU传感器的惯性导航数据。本实施例对两路追踪摄像头的奇偶帧图像数据进行独立控制，在获取到两路追踪摄像头的奇数帧图像数据时，则结合当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；在获取到两路追踪摄像头的偶数帧图像数据时，则结合当前时刻的第二IMU传感器的惯性导航数据，并结合当前时刻的头戴式一体机的6DoF追踪数据，实时计算手柄控制器在三维空间中的6DoF追踪数据。
在本申请的一个实施例中，本申请实施例的头戴式一体机系统的6DoF追踪方法还包括：在进行6DoF追踪之前，对两路追踪摄像头和第一IMU传感器进行设备标定，得到的标定校准参数包括：每路追踪摄像头的内参、镜头的畸变参数和相对第一IMU传感器的旋转和平移参数，以及第一IMU传感器的基础校准参数；以及，根据该标定校准参数采用统一坐标系，统一坐标系的原点坐标位置选取为第一IMU传感器的物理位置。
例如可以选用传统的张正友标定法对追踪摄像头的进行标定，当然本领域技术人员也可根据实际情况选用其他标定方法，在此不做具体限定。
为计算上的简便，可以根据标定校准参数在计算头戴式一体机的6DoF追踪数据和手柄控制器的6DoF追踪数据时选用统一坐标系。本申请实施例是将头戴式一体机内嵌的第一IMU传感器的物理位置选取为统一坐标系的原点坐标位置。
在本申请的一个实施例中，上述步骤S320具体包括：
在获取到两路追踪摄像头的当前奇数帧图像数据时，结合标定校准参数和当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；
对当前奇数帧对应帧率下的头戴式一体机在三维空间中的6DoF追踪数据，结合当前时刻的第一IMU传感器的惯性导航数据，实时预积分得到第一预设高帧率下的头戴式一体机在三维空间中的6DoF追踪数据。
如前所述，根据两路追踪摄像头和第一IMU传感器的标定校准参数，申请实施例选取的统一坐标系的原点坐标位置为头戴式一体机内嵌的IMU传感器也即第一IMU传感器的物理位置。
在获取到两路追踪摄像头的当前奇数帧图像数据时，结合当前时刻的第一IMU传感器的惯性导航数据，并结合追踪摄像头和第一IMU传感器的标定校准参数，实时计算头戴式一体机在三维空间的6DoF追踪数据。
对得到的当前奇数帧对应帧率下的头戴式一体机在三维空间中的6DoF追踪数据，再结合当前时刻的高频率的第一IMU传感器的惯性导航数据，实时预积分得到第一预设高帧率下的头戴式一体机在三维空间中的最新的6DoF追踪数据。
第一IMU传感器产生的惯性导航数据的频率一般可以到2000Hz/s个数据包，由于输出频率和惯性导航数据的信噪比成反比，可以将头戴式一体机的6DoF追踪数据预测插帧到1000Hz/s的输出频率，也即将第一预设高帧率设定为1000Hz/s。
在本申请的一个实施例中，选取SLAM(Simultaneous Localization andMapping，同步定位与地图构建)实现架构来实时计算头戴式一体机在三维空间的6DoF追踪数据。SLAM最初的主要应用场景是解决机器人的定位和建图，本申请实施例利用该SLAM实现架构来解决头戴式一体机在三维空间中的定位和建图问题。
需要说明的是，为更好的解决头戴式一体机在三维空间中的定位和建图问题，本申请实施例对传统的SLAM实现架构进行了一些算法改进。
改进算法之一：初始化阶段在对两路追踪摄像头的二维特征识别数据进行立体匹配(Stereo match)得到三维空间数据时，既利用到了两路追踪摄像头的二维特征识别数据的交集部分的数据，也利用到了非交集部分的数据。改进算法一可以充分利用到两路追踪摄像头的全部的二维特征识别数据，增加特征追踪的稳定性。
改进算法之二：仅是在初始化阶段对两路追踪摄像头的二维特征识别数据进行立体匹配(Stereo match)，初始化之后进入追踪阶段不再进行立体匹配，而是将两路追踪摄像头的二维特征识别数据直接传输给跟踪模块进行姿态估计(pose estimation)和特征点追踪(feature tracking)。改进算法二可以减少系统的运算量，且提高追踪精度。
改进算法之三：在跟踪模块进行姿态估计(pose estimation)时，设置滑动窗(sliding window)，利用滑动窗选取非连续的关键帧数据或代表帧数据以及选取连续的有特征变化的帧数据进行姿态估计运算。改进算法三能够降低采样数据的冗余度，并在保证姿态估算精度的前提下减少运算量。
图5示出了根据本申请一个实施例的头戴式一体机的6DoF追踪方法的实现框架示意图。参见图5，本申请实施例需要实时采集到三路数据，包括两路追踪摄像头(C1和C2)的图像数据和一路头戴式一体机内置的第一IMU传感器的惯性导航数据。本实施例仅在接收到两路追踪摄像头的奇数帧图像数据时才运行头戴式一体机的6DoF追踪算法，实时计算头戴式一体机在三维空间中的6DoF追踪数据。对得到的当前奇数帧对应帧率(例如30Hz)的头戴式一体机的6DoF追踪数据，再结合高频率(例如2000Hz)的第一IMU传感器的惯性导航数据，经预积分(预测插帧)得到第一预设高帧率(例如1000Hz)的头戴式一体机的6DoF追踪数据。
在本申请的一个实施例中，上述步骤S330具体包括：
在获取到两路追踪摄像头的当前偶数帧图像数据时，对每一路图像上的手柄控制器上的LED灯对应的发光光斑继续进行光斑检测(blob检测)，获取每一个LED灯的光斑在两路图像上的二维坐标数据；
对每一个LED灯的光斑在两路图像上的二维坐标数据，结合当前时刻的第二IMU传感器的惯性导航数据、当前时刻的头戴式一体机的6DoF追踪数据，以及两路追踪摄像头和第一IMU传感器的标定校准参数，通过PNP求解算法实时计算手柄控制器相对于统一坐标系的6DoF追踪数据，也即手柄控制器相对头戴式一体机中的第一IMU传感器的物理位置作为坐标原点下的6DoF追踪数据；
对当前偶数帧对应帧率下的手柄控制器相对于统一坐标系的6DoF追踪数据，结合当前时刻的第二IMU传感器的惯性导航数据，实时预积分得到第二预设高帧率下的手柄控制器在三维空间中的6DoF追踪数据。
PnP求解算法是指通过多对3D与2D匹配点,在已知或者未知相机内参的情况下,利用最小化重投影误差来求解相机外参的算法。本实施例采用的PNP求解算法选取的是高斯牛顿梯度下降算法进行6DoF追踪数据的计算迭代优化。
手柄控制器6DoF输出频率大小主要取决于手柄控制器的第二IMU传感器的惯性导航频率和第二IMU传感器的惯性导航数据通过无线传输模块的带宽。本实施例是将手柄控制器6DoF输出频率预测插帧到250Hz/s，也即将第二预设高帧率设定为250Hz/s。
图6示出了根据本申请一个实施例的手柄控制器的6DoF追踪方法的实现框架示意图。参见图6，本申请实施例需要实时采集到四路数据，包括两路追踪摄像头(C1和C2)的图像数据、一路当前时刻的头戴式一体机的6DoF追踪数据、一路当前时刻的手柄控制器内置的第二IMU传感器的惯性导航数据。本实施例仅在接收到两路追踪摄像头的偶数帧图像数据时才运行手柄控制器的6DoF追踪算法，实时计算手柄控制器在三维空间中的6DoF追踪数据。对得到的当前偶数帧对应帧率下(例如30Hz)的手柄控制器的6DoF追踪数据，再结合高频率(例如1000Hz)的第二IMU传感器的惯性导航数据，经预积分(预测插帧)得到第二预设高帧率(例如250Hz)下的手柄控制器的6DoF追踪数据。
与前述的头戴式一体机系统的6DoF追踪方法同属于一个技术构思，本申请实施例还提供了头戴式一体机系统的6DoF追踪装置。图7示出了本申请一个实施例的头戴式一体机系统的6DoF追踪装置的框图，参见图7，头戴式一体机系统的6DoF追踪装置700包括：同步控制模块710、奇数帧追踪模块720和偶数帧追踪模块730。其中，
同步控制模块710，用于控制两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
奇数帧追踪模块720，用于对获取到的两路追踪摄像头的奇数帧图像数据，结合当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；
偶数帧追踪模块730，用于对获取到的两路追踪摄像头的偶数帧图像数据，结合当前时刻的第二IMU传感器的惯性导航数据和当前时刻的头戴式一体机的6DoF追踪数据，实时计算手柄控制器在三维空间中的6DoF追踪数据。
需要说明的是，奇数帧追踪模块720和偶数帧追踪模块730为并列模块，二者运行时间错开，也即在追踪摄像头的图像为奇数帧时计算头戴式一体机的6DoF追踪数据，运行头戴式一体机的6DoF追踪模块，在追踪摄像头的图像为偶数帧时计算手柄控制器6DoF追踪数据，运行手柄控制器的6DoF追踪模块。这样通过奇偶帧单独控制方式可以缓解两个追踪模块一起运行系统负载压力和CPU资源冲突问题，并进而降低系统功耗和提高追踪性能稳定性。
在本申请的一个实施例中，本申请实施例的头戴式一体机系统的6DoF追踪装置700还包括：
校准参数标定模块，用于在进行6DoF追踪之前，对两路追踪摄像头和第一IMU传感器进行设备标定，得到的标定校准参数包括：每路追踪摄像头的内参、镜头的畸变参数和相对所述第一IMU传感器的旋转和平移参数，以及第一IMU传感器的基础校准参数；
统一坐标系模块，用于根据标定校准参数采用统一坐标系，统一坐标系的原点坐标位置选取为第一IMU传感器的物理位置。
在本申请的一个实施例中，奇数帧追踪模块720具体用于：
在获取到两路追踪摄像头的当前奇数帧图像数据时，结合标定校准参数和当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；
对当前奇数帧对应帧率下的头戴式一体机在三维空间中的6DoF追踪数据，结合当前时刻的第一IMU传感器的惯性导航数据，实时预积分得到第一预设高帧率下的头戴式一体机在三维空间中的6DoF追踪数据。
在本申请的一个实施例中，所述偶数帧追踪模块730具体用于：
在获取到两路追踪摄像头的当前偶数帧图像数据时，对每一路图像上的手柄控制器上的LED灯对应的发光光斑继续进行光斑检测，获取每一个LED灯的光斑在两路图像上的二维坐标数据；
对每一个LED灯的光斑在两路图像上的二维坐标数据，结合当前时刻的第二IMU传感器的惯性导航数据和当前时刻的头戴式一体机的6DoF追踪数据，以及两路追踪摄像头和第一IMU传感器的标定校准参数，通过PNP求解算法实时计算手柄控制器相对于统一坐标系的6DoF追踪数据；
对当前偶数帧对应帧率下的手柄控制器相对于统一坐标系的6DoF追踪数据，结合第二IMU传感器的惯性导航数据，实时预积分得到第二预设高帧率下的手柄控制器在三维空间中的6DoF追踪数据。
需要说明的是：
图8示意了头戴式一体机的结构示意图。请参考图8，在硬件层面，该头戴式一体机包括存储器和处理器，其上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器。可选地还包括接口模块、通信模块等。存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴式一体机还可能包括其他业务所需要的硬件。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：
控制两路追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
对获取到的两路追踪摄像头的奇数帧图像数据，结合当前时刻的第一IMU传感器的惯性导航数据，实时计算头戴式一体机在三维空间中的6DoF追踪数据；
对获取到的两路追踪摄像头的偶数帧图像数据，结合当前时刻的第二IMU传感器的惯性导航数据和当前时刻的头戴式一体机的6DoF追踪数据，实时计算手柄控制器在三维空间中的6DoF追踪数据。
上述如本申请图3所示实施例揭示的头戴式一体机系统的6DoF追踪方法执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的头戴式一体机系统的6DoF追踪方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种头戴式一体机系统的6DoF追踪方法，其特征在于，所述头戴式一体机系统包括无线通讯连接的头戴式一体机和手柄控制器，所述头戴式一体机上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器，所述手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有第二IMU传感器，所述方法包括：
控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制所述手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在进行6DoF追踪之前，对两路所述追踪摄像头和所述第一IMU传感器进行设备标定，得到的标定校准参数包括：每路追踪摄像头的内参、镜头的畸变参数和相对所述第一IMU传感器的旋转和平移参数，以及所述第一IMU传感器的基础校准参数；
根据所述标定校准参数采用统一坐标系，所述统一坐标系的原点坐标位置选取为所述第一IMU传感器的物理位置。
3.根据权利要求2所述的方法，其特征在于，所述对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据，包括：
在获取到两路所述追踪摄像头的当前奇数帧图像数据时，结合所述标定校准参数和当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对当前奇数帧对应帧率下的所述头戴式一体机在三维空间中的6DoF追踪数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时预积分得到第一预设高帧率下的所述头戴式一体机在三维空间中的6DoF追踪数据。
4.根据权利要求2所述的方法，其特征在于，所述对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据，包括：
在获取到两路所述追踪摄像头的当前偶数帧图像数据时，对每一路图像上的所述手柄控制器上的LED灯对应的发光光斑继续进行光斑检测，获取每一个LED灯的光斑在两路图像上的二维坐标数据；
对每一个LED灯的光斑在两路图像上的二维坐标数据，结合当前时刻的所述第二IMU传感器的惯性导航数据、当前时刻的所述头戴式一体机的6DoF追踪数据，以及所述标定校准参数，通过PNP求解算法实时计算所述手柄控制器相对于所述统一坐标系的6DoF追踪数据；
对当前偶数帧对应帧率下的所述手柄控制器相对于所述统一坐标系的6DoF追踪数据，结合所述第二IMU传感器的惯性导航数据，实时预积分得到第二预设高帧率下的所述手柄控制器在三维空间中的6DoF追踪数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，两路所述追踪摄像头的规格相同，具有的规格参数包括：视场角FOV最少在130°*100°*150°(H*V*D)；帧率最少60Hz；分辨率至少为VGA或者720P；采用全局快门曝光方式；镜头可同时通过可见光波段和850nm红外光；
相对于以所述头戴式一体机的中心为坐标系原点建立的垂直坐标系，其中X轴代表水平方向，Y轴代表上下方向，Z轴代表前后方向，两路所述追踪摄像头在所述头戴式一体机上的摆放位置和角度约束限制包括：左侧的追踪摄像头可以绕X轴向上旋转第一角度范围，绕Y轴向左旋转第二角度范围；右侧的追踪摄像头可以绕X轴向下旋转第三角度范围，绕Y轴向右旋转第四角度范围；两路追踪摄像头均可以在X轴方向上和Y轴方向上进行位置移动，且两路追踪摄像头的光轴中心点的距离在X轴方向上位于第一距离范围内，在Y轴方向上位于第二距离范围内。
6.一种头戴式一体机，其特征在于，所述头戴式一体机包括处理器、存储计算机可执行指令的存储器，其上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器；其中，
两路所述追踪摄像头的规格相同，具有的规格参数包括：视场角FOV最少在130°*100°*150°(H*V*D)；帧率最少60Hz；分辨率至少为VGA或者720P；采用全局快门曝光方式；镜头可同时通过可见光波段和850nm红外光；
相对于以所述头戴式一体机的中心为坐标系原点建立的垂直坐标系，其中X轴代表水平方向，Y轴代表上下方向，Z轴代表前后方向，两路所述追踪摄像头在所述头戴式一体机上的摆放位置和角度约束限制包括：左侧的追踪摄像头可以绕X轴向上旋转第一角度范围，绕Y轴向左旋转第二角度范围；右侧的追踪摄像头可以绕X轴向下旋转第三角度范围，绕Y轴向右旋转第四角度范围；两路追踪摄像头均可以在X轴方向上和Y轴方向上进行位置移动，且两路追踪摄像头的光轴中心点的距离在X轴方向上位于第一距离范围内，在Y轴方向上位于第二距离范围内；
所述处理器在执行所述存储器内存储的可执行指令时，实现如下的6自由度追踪方法：
控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；其中，所述手柄控制器与所述头戴式显示装置无线通讯连接，其上设置有预设数量个LED灯并设置有第二IMU传感器；
对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
7.一种头戴式一体机系统的6DoF追踪装置，其特征在于，所述头戴式一体机系统包括无线通讯连接的头戴式一体机和手柄控制器，所述头戴式一体机上按照一定的摆放位置和角度约束限制设置有两路追踪摄像头并内嵌有第一IMU传感器，所述手柄控制器上按照一定的几何规则约束设置有预设数量个LED灯并内嵌有第二IMU传感器，所述装置包括：
同步控制模块，用于控制两路所述追踪摄像头在每一帧曝光时间段的中心点相同，并控制所述手柄控制器上的LED灯的亮灯时刻与两路所述追踪摄像头在偶数帧的曝光时间段的中间时刻同步；
奇数帧追踪模块，用于对获取到的两路所述追踪摄像头的奇数帧图像数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
偶数帧追踪模块，用于对获取到的两路所述追踪摄像头的偶数帧图像数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，实时计算所述手柄控制器在三维空间中的6DoF追踪数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
校准参数标定模块，用于在进行6DoF追踪之前，对两路所述追踪摄像头和所述第一IMU传感器进行设备标定，得到的标定校准参数包括：每路追踪摄像头的内参、镜头的畸变参数和相对所述第一IMU传感器的旋转和平移参数，以及所述第一IMU传感器的基础校准参数；
统一坐标系模块，用于根据所述标定校准参数采用统一坐标系，所述统一坐标系的原点坐标位置选取为所述第一IMU传感器的物理位置。
9.根据权利要求8所述的装置，其特征在于，所述奇数帧追踪模块具体用于：
在获取到两路所述追踪摄像头的当前奇数帧图像数据时，结合所述标定校准参数和当前时刻的所述第一IMU传感器的惯性导航数据，实时计算所述头戴式一体机在三维空间中的6DoF追踪数据；
对当前奇数帧对应帧率下的所述头戴式一体机在三维空间中的6DoF追踪数据，结合当前时刻的所述第一IMU传感器的惯性导航数据，实时预积分得到第一预设高帧率下的所述头戴式一体机在三维空间中的6DoF追踪数据。
10.根据权利要求8所述的装置，其特征在于，所述偶数帧追踪模块具体用于：
在获取到两路所述追踪摄像头的当前偶数帧图像数据时，对每一路图像上的所述手柄控制器上的LED灯对应的发光光斑继续进行光斑检测，获取每一个LED灯的光斑在两路图像上的二维坐标数据；
对每一个LED灯的光斑在两路图像上的二维坐标数据，结合当前时刻的所述第二IMU传感器的惯性导航数据和当前时刻的所述头戴式一体机的6DoF追踪数据，以及两路所述追踪摄像头和所述第一IMU传感器的标定校准参数，通过PNP求解算法实时计算所述手柄控制器相对于所述统一坐标系的6DoF追踪数据；
对当前偶数帧对应帧率下的所述手柄控制器相对于所述统一坐标系的6DoF追踪数据，结合所述第二IMU传感器的惯性导航数据，实时预积分得到第二预设高帧率下的所述手柄控制器在三维空间中的6DoF追踪数据。
CN202011279532.5A 2020-11-16 2020-11-16 头戴式一体机系统及其6DoF追踪方法和装置 Active CN112527102B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011279532.5A CN112527102B (zh) 2020-11-16 2020-11-16 头戴式一体机系统及其6DoF追踪方法和装置
PCT/CN2021/130990 WO2022100759A1 (zh) 2020-11-16 2021-11-16 头戴式显示系统及其6自由度追踪方法和装置
US17/881,138 US11797083B2 (en) 2020-11-16 2022-08-04 Head-mounted display system and 6-degree-of-freedom tracking method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279532.5A CN112527102B (zh) 2020-11-16 2020-11-16 头戴式一体机系统及其6DoF追踪方法和装置

Publications (2)

Publication Number Publication Date
CN112527102A CN112527102A (zh) 2021-03-19
CN112527102B true CN112527102B (zh) 2022-11-08

Family

ID=74982546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279532.5A Active CN112527102B (zh) 2020-11-16 2020-11-16 头戴式一体机系统及其6DoF追踪方法和装置

Country Status (3)

Country Link
US (1) US11797083B2 (zh)
CN (1) CN112527102B (zh)
WO (1) WO2022100759A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527102B (zh) 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN112926521B (zh) 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统
CN113368486B (zh) * 2021-05-17 2023-03-14 青岛小鸟看看科技有限公司 一种用于vr头戴设备的光学追踪器和运动健身系统
CN113514060A (zh) * 2021-06-02 2021-10-19 青岛小鸟看看科技有限公司 6DoF定位追踪装置、方法及电子设备
US11947740B2 (en) 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus
CN113327244A (zh) * 2021-06-25 2021-08-31 南京爱奇艺智能科技有限公司 一种基于计算机视觉的手柄控制器led灯定位方法和系统
CN113721767B (zh) * 2021-08-30 2024-02-02 歌尔科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN114363513A (zh) * 2021-12-24 2022-04-15 歌尔光学科技有限公司 头戴显示设备及其摄像追踪方法、装置、系统和存储介质
CN116963028A (zh) * 2022-04-13 2023-10-27 北京字跳网络技术有限公司 一种头戴式终端设备及其追踪方法和装置
US11847259B1 (en) * 2022-11-23 2023-12-19 Google Llc Map-aided inertial odometry with neural network for augmented reality devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN211121202U (zh) * 2019-11-12 2020-07-28 天津大学 一种用于空间定位测量的头戴式装置
CN111930226A (zh) * 2020-07-01 2020-11-13 青岛小鸟看看科技有限公司 手势追踪方法及装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20040256561A1 (en) * 2003-06-17 2004-12-23 Allyson Beuhler Wide band light sensing pixel array
JP4885234B2 (ja) * 2006-10-23 2012-02-29 パナソニック株式会社 可視光及び赤外光を用いた光空間伝送システム
US20150371083A1 (en) * 2008-04-24 2015-12-24 Ambrus Csaszar Adaptive tracking system for spatial input devices
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9608727B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US10105149B2 (en) * 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
AU2014228789A1 (en) * 2013-03-15 2015-10-29 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
GB201314984D0 (en) * 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9852238B2 (en) * 2014-04-24 2017-12-26 The Board Of Trustees Of The University Of Illinois 4D vizualization of building design and construction modeling with photographs
US10204406B2 (en) * 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
CN107438775B (zh) * 2015-01-30 2022-01-21 特里纳米克斯股份有限公司 用于至少一个对象的光学检测的检测器
US10455887B2 (en) * 2015-05-21 2019-10-29 Justin London Fitness apparatus
US20180084232A1 (en) * 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
US10708573B2 (en) * 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
JP6824279B2 (ja) * 2016-02-18 2021-02-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
US20170273665A1 (en) * 2016-03-28 2017-09-28 Siemens Medical Solutions Usa, Inc. Pose Recovery of an Ultrasound Transducer
US20190129036A1 (en) * 2016-04-19 2019-05-02 Trinamix Gmbh Detector for an optical detection of at least one object
WO2018025457A1 (ja) * 2016-08-01 2018-02-08 ソニー株式会社 制御装置、制御システム、および制御方法
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US10888773B2 (en) * 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
CN107960989B (zh) * 2016-10-20 2022-02-08 松下知识产权经营株式会社 脉搏波计测装置以及脉搏波计测方法
US10705598B2 (en) * 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US10447265B1 (en) * 2017-06-07 2019-10-15 Facebook Technologies, Llc Hand-held controllers including electrically conductive springs for head-mounted-display systems
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
KR102378472B1 (ko) * 2017-08-10 2022-03-25 삼성전자주식회사 미러를 회전 시킬수 있는 구동 장치를 포함하는 카메라를 이용하여 이미지를 획득하는 방법 및 전자 장치
US10379628B2 (en) * 2017-09-27 2019-08-13 Htc Corporation Tracking system, virtual reality system and attachable device
US10866652B2 (en) * 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US10475196B2 (en) * 2018-03-22 2019-11-12 Microsoft Technology Licensing, Llc Hybrid depth detection and movement detection
US10565678B2 (en) * 2018-03-23 2020-02-18 Microsoft Technology Licensing, Llc Asynchronous camera frame allocation
US10719953B1 (en) * 2018-03-27 2020-07-21 Facebook Technologies, Llc Passive object tracking using camera
JP7014009B2 (ja) * 2018-03-29 2022-02-01 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
US11184967B2 (en) * 2018-05-07 2021-11-23 Zane Coleman Angularly varying light emitting device with an imager
US20210118166A1 (en) * 2019-10-18 2021-04-22 Nvidia Corporation Pose determination using one or more neural networks
CN112567287A (zh) * 2018-06-18 2021-03-26 奇跃公司 具有帧调制功能的增强现实显示
US10754419B2 (en) * 2018-07-12 2020-08-25 Google Llc Hybrid pose tracking system with electromagnetic position tracking
US10853649B2 (en) * 2018-08-27 2020-12-01 Dell Products, L.P. Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US20200097707A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Camera Module and Extended Reality System Using the Same
CN109358754B (zh) * 2018-11-02 2023-03-24 北京盈迪曼德科技有限公司 一种混合现实头戴显示系统
US10871627B1 (en) * 2018-12-12 2020-12-22 Facebook Technologies, Llc Head-mounted display device with direct-current (DC) motors for moving displays
US11885964B2 (en) * 2018-12-26 2024-01-30 Lg Electronics Inc. Electronic device
US10540812B1 (en) * 2019-01-09 2020-01-21 Dell Products, L.P. Handling real-world light sources in virtual, augmented, and mixed reality (xR) applications
US10831286B1 (en) * 2019-01-09 2020-11-10 Facebook, Inc. Object tracking based on detected tracking patterns in a non-visible spectrum range
JP7271245B2 (ja) * 2019-03-18 2023-05-11 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
US11671720B2 (en) * 2019-08-08 2023-06-06 Microsoft Technology Licensing, Llc HDR visible light imaging using TOF pixel
US11127215B1 (en) * 2019-09-20 2021-09-21 Facebook Technologies, Llc LED emitter timing alignment for image-based peripheral device tracking in artificial reality systems
US20210208673A1 (en) * 2020-01-03 2021-07-08 Facebook Technologies, Llc Joint infrared and visible light visual-inertial object tracking
CN111174683B (zh) * 2020-01-07 2021-11-30 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质
EP3893239B1 (en) * 2020-04-07 2022-06-22 Stryker European Operations Limited Surgical system control based on voice commands
CN211554996U (zh) * 2020-04-15 2020-09-22 杭州嘉澜创新科技有限公司 定位装置、定位系统及虚拟现实系统
US11128636B1 (en) * 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US11567528B2 (en) * 2020-05-19 2023-01-31 Microsoft Technology Licensing, Llc LED synchronization for virtual and augmented reality devices
CN112286343A (zh) * 2020-09-16 2021-01-29 青岛小鸟看看科技有限公司 定位追踪方法、平台及头戴显示系统
EP4222951A1 (en) * 2020-09-30 2023-08-09 Snap Inc. Multi-purpose cameras for augmented reality and computer vision applications
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN211121202U (zh) * 2019-11-12 2020-07-28 天津大学 一种用于空间定位测量的头戴式装置
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN111930226A (zh) * 2020-07-01 2020-11-13 青岛小鸟看看科技有限公司 手势追踪方法及装置

Also Published As

Publication number Publication date
US20220374072A1 (en) 2022-11-24
US11797083B2 (en) 2023-10-24
WO2022100759A1 (zh) 2022-05-19
CN112527102A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112527102B (zh) 头戴式一体机系统及其6DoF追踪方法和装置
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
US20170357334A1 (en) Modular extension of inertial controller for six dof mixed reality input
KR20200055010A (ko) 헤드 마운트 디스플레이 추적 시스템
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP2018511098A (ja) 複合現実システム
CN108283018A (zh) 基于影像和非图像传感器数据的电子设备姿态识别
US11100713B2 (en) System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
CN115104134A (zh) 联合的红外及可见光视觉惯性对象跟踪
CN111427452B (zh) 控制器的追踪方法及vr系统
CN110688002A (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
WO2017163648A1 (ja) 頭部装着装置
US11089279B2 (en) 3D image processing method, camera device, and non-transitory computer readable storage medium
CN115769261A (zh) 低功率视觉跟踪系统
US10620436B2 (en) Head-mounted apparatus
CN109917904A (zh) 虚拟现实或增强现实环境中对象的空间位置计算系统
US11822851B2 (en) Information display system, information display method, and processing device
TWI818665B (zh) 資訊顯示方法及其資訊顯示系統與處理裝置
CN111176445B (zh) 交互装置的识别方法、终端设备及可读存储介质
JP2024040034A (ja) プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
CN115144874A (zh) 一种定位方法及相关装置
CN117234281A (zh) 数据处理方法、装置、电子设备、头戴设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant