CN116257134A - 非惯性参考系下手柄头盔追踪方法、装置、设备及介质 - Google Patents

非惯性参考系下手柄头盔追踪方法、装置、设备及介质 Download PDF

Info

Publication number
CN116257134A
CN116257134A CN202310101167.6A CN202310101167A CN116257134A CN 116257134 A CN116257134 A CN 116257134A CN 202310101167 A CN202310101167 A CN 202310101167A CN 116257134 A CN116257134 A CN 116257134A
Authority
CN
China
Prior art keywords
helmet
handle
imu
tracking
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310101167.6A
Other languages
English (en)
Other versions
CN116257134B (zh
Inventor
朱张豪
张腾
张军辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuweia Technology Co ltd
Original Assignee
Shanghai Yuweia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yuweia Technology Co ltd filed Critical Shanghai Yuweia Technology Co ltd
Priority to CN202310101167.6A priority Critical patent/CN116257134B/zh
Publication of CN116257134A publication Critical patent/CN116257134A/zh
Application granted granted Critical
Publication of CN116257134B publication Critical patent/CN116257134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种非惯性参考系下手柄头盔追踪方法、装置、设备及介质，涉及自动驾驶追踪领域，该方法包括根据基站追踪数据和所述头盔追踪数据，采用含有新IMU预积分残差因子的视觉+IMU紧耦合的SLAM技术，获取头盔IMU坐标系在非惯性世界坐标系下的6DoF位姿信息，根据上一阶段系统状态量及多IMU的惯性导航数据，预测当前阶段手柄相对头盔的位姿信息，并根据当前阶段手柄相对头盔的位姿信息匹配手柄上的红外LED光点，得到匹配结果；根据所述匹配结果，采用N点透视算法和BA图优化算法，得到当前阶段手柄相对头盔的6DoF位姿信息。本发明头盔和手柄在非惯性参考系下实现6DoF追踪。

Description

非惯性参考系下手柄头盔追踪方法、装置、设备及介质
技术领域
本发明涉及自动驾驶追踪领域，特别是涉及一种非惯性参考系下手柄头盔追踪方法、装置、设备及介质。
背景技术
视觉SLAM(Simultaneous Localization andMapping，即时定位与地图构建)技术指的是机器人在自身位置不确定的条件下或者在完全未知环境中，根据相机采集的图像创建地图，同时利用此地图进行自主定位和导航的技术。
目前在VR/AR/MR等技术领域中，一般采用多目摄像头来观察手柄内部的一些特殊光学图案的标记点，同时结合手柄内置的IMU(惯性测量单元，Inertialmeasurementunit)，通过计算机视觉技术，主要指上述视觉SLAM技术，来实时捕捉上述光学图案在空间中的运动状态，从而得到手柄在空间中的位置信息、以及姿态和速度等系统状态量信息；其中，包含位置信息和姿态信息的运动状态被称为6DoF(自由度，degreeoffreedom)位姿。
对于手柄+头盔的VR系统而言，往往指地球上不放置相对静止的装置或者不放置定位基站(如摄像头)时的上述追踪过程称为Inside-out式追踪，若地球上放置相对静止的装置或者放置定位基站时的上述追踪过程称为Outside-in式追踪。
为了高速下稳定地追踪，手柄和头盔内部的IMU都会被用来预测下一帧图像来时的特征点位置，从而能够排除相似特征点的误匹配，达到较高精准度和追踪稳定性。在头盔追踪定位时，头盔6DoF位姿是非惯性参考系下的位姿，而头盔内部的IMU对应的位姿是惯性参考系下的位姿，这两种位姿会互相冲突，故通常的VR等视觉+IMU的SLAM系统往往在非惯性参考系下基本上是无法工作的。
手柄追踪定位技术往往依赖于头盔追踪定位结果，故在头盔追踪定位结果不准确时，手柄追踪定位结果也不准确。同时头盔上的摄像头一般是非红外摄像头，看不见黑夜下的环境特征点。因此在黑夜环境下，头盔SLAM系统失效的时候，手柄追踪定位结果同样不准确。
发明内容
鉴于此，本发明的目的是提供一种非惯性参考系下手柄头盔追踪方法、装置、设备及介质。
为实现上述目的，本发明提供了如下方案：
第一方面，本发明提供了一种非惯性参考系下手柄头盔追踪方法，包括：
获取基站追踪数据和头盔追踪数据；所述基站追踪数据至少包括安装在手柄上的或者新的IMU的惯性导航数据；所述头盔追踪数据包括安装在头盔上的IMU的惯性导航数据和摄像头所摄的图像数据；
根据所述基站追踪数据和所述头盔追踪数据，采用含有新IMU预积分残差因子的视觉+IMU紧耦合的SLAM技术，获取头盔IMU坐标系在非惯性世界坐标系下的6DoF位姿信息；
获取手柄追踪数据；所述手柄追踪数据包括安装在手柄上的IMU的惯性导航数据和头盔摄像头所摄的图像数据；
根据上一阶段系统状态量及多IMU的惯性导航数据，预测当前阶段手柄相对头盔的位姿信息，并根据当前阶段手柄相对头盔的位姿信息匹配手柄上的红外LED光点，得到匹配结果；
根据所述匹配结果，采用N点透视算法和BA图优化算法，得到当前阶段手柄相对头盔的6DoF位姿信息。
第二方面，本发明提供了一种非惯性参考系下手柄头盔追踪装置，所述手柄表面设置有光学图案标记点；所述装置包括：
1个IMU，作为基站，设置于非惯性参考系上，相对静止；
多个相机和IMU，设置于头盔上，用于拍摄所述光学图案标记点；
光学传感器和IMU，设置于手柄内部，用于提供所述光学图案标记点；
控制器，用于执行第一方面所述的一种非惯性参考系下手柄头盔追踪方法。
第三方面，本发明提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据第一方面所述的一种非惯性参考系下手柄头盔追踪方法。
第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的一种非惯性参考系下手柄头盔追踪方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
1)本发明中的手柄能在大部分非惯性参考系下实现6DoF追踪，市面上的产品目前做不到这点
2)本发明中的头盔能在大部分非惯性参考系下实现6DoF追踪，市面上的产品目前做不到这点
3)本发明中的头盔能在黑夜等SLAM容易失效的环境中也实现6DoF头盔追踪，市面上的产品目前做不到这点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的非惯性参考系下手柄头盔追踪方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明解决的问题第一就是传统IMU预积分的残差因子会造成上述IMU对应的位姿不是非惯性参考系下的位姿问题，目的是为了使得非惯性参考系如车或飞机等内部应用VR等SLAM系统时，可以使用6DoF位姿。第二就是顺带解决现有手柄方案会要求头盔SLAM系统的6DoF或3DoF输出的问题，目的是更加地解耦手柄和头盔两套SLAM系统，从而可以让带红外LED光点的手柄6DoF追踪在不开灯的黑夜等头盔SLAM失效的环境中也可使用。第三就是提供一种即使是黑夜等环境下头盔SLAM失效时，也能追踪头盔的方案。
实施例一
本发明实施例提供一种即使是黑夜等环境下头盔SLAM失效时，也能追踪头盔的方案：即将带红外LED光点的手柄固定于场景中(可以是非惯性参考系也可以是惯性参考系)，通过本发明的方法去实现手柄相对于头盔的位姿解算，从而反算出头盔相对静止手柄的位姿，也就能在黑夜等环境下，只要保证能看到手柄即可追踪头盔。
本发明实施例提供了一种非惯性参考系下手柄头盔追踪方法，如图1所示，包括：
步骤100：获取基站追踪数据和头盔追踪数据；所述基站追踪数据至少包括安装在手柄上的或者新的IMU的惯性导航数据；所述头盔追踪数据包括安装在头盔上的IMU的惯性导航数据和摄像头所摄的图像数据。
在本发明实施例中，当需要单个手柄进行追踪定位时，另一个手柄中的IMU可以作为基站，此时基站追踪数据包括安装在另一个手柄上的IMU的惯性导航数据和安装在另一个手柄上的红外LED光点被上述头盔摄像头所摄的图像数据；当需要多个手柄进行追踪定位时，需要一个新的IMU作为基站，此时基站追踪数据包括新的IMU的惯性导航数据。
步骤200：根据所述基站追踪数据和所述头盔追踪数据，采用含有新IMU预积分残差因子的视觉+IMU紧耦合的SLAM技术，获取头盔IMU坐标系在非惯性世界坐标系下的6DoF位姿信息。
在本发明实施例中，根据上述所有追踪数据，通过含有新IMU预积分残差因子的视觉+IMU紧耦合同时定位与建图技术的SLAM来获取头盔IMU坐标系Bh在非惯性参考系W下的位姿TWBh，包括但不限于MSCKF、ORBSLAM3等方法。
在本发明实施例中，采用手柄相对于头盔来解释，思路同样适用头盔相对于基站。
首先对基站中的IMU惯性导航数据和头盔中的IMU惯性导航数据进行带协方差更新的预积分操作，具体为：
Figure BDA0004075550310000051
Figure BDA0004075550310000052
Figure BDA0004075550310000053
j按照IMU频率(如1kHz)变化，Δt＝Δtj-1j代表IMU数据时间间隔，i按照关键帧频率变化(一般如0.5s左右)。预积分得到的ti和tj时刻之间(差值一般<3s，可近似这段时间内加速度计和陀螺仪偏差
Figure BDA0004075550310000054
不变)的相对平移量
Figure BDA0004075550310000055
相对速度变化量
Figure BDA0004075550310000056
相对旋转量
Figure BDA0004075550310000057
和
Figure BDA0004075550310000058
分别代表IMU测量数据：加速度计值和陀螺仪值(原始数据经过嵌入式的系数转换)，
Figure BDA0004075550310000059
和
Figure BDA00040755503100000510
代表减掉估计零偏后的值。相对量的初值分别是0平移0速度和单位3x3的旋转矩阵。Exp()为将3d旋转向量指数映射到旋转矩阵的函数，此函数为现有技术，不赘述其表达式。
对应的雅克比
Figure BDA00040755503100000511
和协方差Σij更新简要形式如下：
Figure BDA00040755503100000512
Figure BDA00040755503100000513
Figure BDA00040755503100000514
Figure BDA00040755503100000515
此处雅克比的意义就是估计的零偏变化了小量δbi后对相应相对量(·)ij的增加量δ(·)ij。
Figure BDA00040755503100000516
为已知的陀螺仪和加速度计的白噪声的协方差，用于下述目标函数。雅克比和状态转移矩阵A和B的具体形式较为复杂，且有现有技术，在这里不赘述。
Figure BDA0004075550310000061
xi＝xBhBji＝[pi,Ri,vi,bBji,bBhi]＝[pBhBji,RBhBji,vBhBji,bBji,bBhi]为手柄新系统的状态量，这里是指手柄IMU坐标系Bj相对头盔IMU坐标系Bh的相对平移、旋转、速度量和手柄及头盔各自的IMU零偏bBji和bBhi，由上述带横线的零偏和小量加和构成，即
Figure BDA0004075550310000062
r0项为xi相关的先验相关的残差或者误差项，为现有技术，在这里不赘述。
Figure BDA0004075550310000068
为图像重投影误差。关于协方差的误差的二范数形式为
Figure BDA0004075550310000063
这里ρ()代表了鲁棒核函数，使得二次增速在误差项较大时减缓下来，能够抵抗一定的误匹配LED光点的情况。
其次，将上述相关信息可以代入传统IMU预积分因子的误差公式中，将惯性参考系Bh改成非惯性参考系W后，可以实现对手柄老系统状态量的传统BundleAdjustment束调整式的BA图优化，将非惯性参考系Bj写成Bh则可以得到头盔老系统状态量用的误差公式：
Figure BDA0004075550310000064
Figure BDA0004075550310000065
Figure BDA0004075550310000066
Figure BDA0004075550310000067
上式中g可以代表惯性参考系下的重力，也可以代表非惯性参考系下的惯性加速度+重力加速度，对于车直线加减速时，此特殊加速度g在同一时刻不同空间是一致的，即头盔和手柄IMU处的g在某时刻是同一个向量；对于车的慢转弯运动，即非急转弯运动，或者说速度足够低或者转弯半径足够大的情况，同一时刻不同空间下的惯性加速度是近似相同的，它们之间的误差对于本身优化算法的误差来说可以忽略。
上式也可以把手柄和头盔传统误差看作已知协方差分布的噪声。再将两者广义地相减可以得到：
Figure BDA0004075550310000071
Figure BDA0004075550310000072
Figure BDA0004075550310000073
Figure BDA0004075550310000074
Figure BDA0004075550310000075
Figure BDA0004075550310000076
Figure BDA0004075550310000077
Figure BDA0004075550310000078
Figure BDA0004075550310000079
Figure BDA0004075550310000081
Figure BDA0004075550310000082
Figure BDA0004075550310000083
Figure BDA0004075550310000084
有些手柄或头盔通用的表达式只叙述一种即可，如
Figure BDA0004075550310000085
形式和
Figure BDA0004075550310000086
相似，不赘述。但上述协方差递推会和手柄新系统状态量有关，但这个也没法避免，因此尽量使得其和已经优化过的t1时刻的状态量相关，使得其引起的误差尽可能地小。
接着，将上述残差和对应的协方差可用做新的IMU预积分的残差因子，去优化出头盔相对于基站的相对位姿。由于基站非惯性参考系是相对静止的设置，故此相对位姿也是非惯性参考系下的位姿。注意此基站和市面上大部分其他Outside-in的基站不同，它没有使用摄像头；且当手柄作为基站的时候，对红外LED光点是否出现在头盔的摄像头所摄图片中没有硬性要求。而市面上其他大部分基站都要求有摄像头且基站的摄像头能观测到手柄或头盔上的红外LED光点。
步骤300：获取手柄追踪数据；所述手柄追踪数据包括安装在手柄上的IMU的惯性导航数据和头盔摄像头所摄的图像数据。
步骤400：根据上一阶段系统状态量及多IMU的惯性导航数据，预测当前阶段手柄相对头盔的位姿信息，并根据当前阶段手柄相对头盔的位姿信息匹配手柄上的红外LED光点，得到匹配结果。
根据手柄和头盔的追踪数据就可以通过上述类似头盔的视觉+IMU紧耦合SLAM方法(无闭环功能)来获取手柄IMU坐标系Bj在非惯性头盔IMU坐标系Bh下的位姿TBhBj，从而经过简单的计算得到非惯性世界坐标系W下的位姿TWBj＝TWBhTBhBj，但对于VR应用来说前者才是最重要的用来展示手柄追踪位姿的信息，故即使黑夜等头盔SLAM系统失效的环境下依旧能追踪定位手柄，而以往的方法都是先算出TWBj，后得到绘制手柄所需的模型坐标系相对头盔的位姿
Figure BDA0004075550310000091
此处手柄之于头盔就和前述头盔之于基站的关系一样。
这里大致介绍下已有相关专利介绍的视觉+IMU紧耦合SLAM方法(无闭环功能)的流程，在使用新的IMU预积分因子下的表述为：
(1)根据已知的上一阶段系统状态量及多IMU的惯性导航数据，分别对头盔和手柄进行IMU预积分操作，再通过下式计算得到当前阶段手柄相对头盔的位姿TBhBj0(0代表初值)，所述系统状态量包括手柄的3d矢量位置tBhBj、方向或旋转矩阵RBhBj(两者合称TBhBj)、3d矢量速度vBhBj、陀螺仪偏差bg、加速度计偏差ba、变换TBhC和变换TBjJ。
Figure BDA0004075550310000092
Figure BDA0004075550310000093
Figure BDA0004075550310000094
这里上一次系统状态量有手柄相对头盔的旋转R1、速度v1、平移p1、手柄IMU偏差bBji、头盔IMU偏差bBhi，IMU预积分结果有手柄的相对旋转
Figure BDA0004075550310000095
速度
Figure BDA0004075550310000096
平移
Figure BDA0004075550310000097
头盔的相对旋转
Figure BDA0004075550310000098
速度
Figure BDA0004075550310000099
平移
Figure BDA00040755503100000910
(2)根据上述系统状态量中TBhBj0和TBjJ，得到手柄绘制所需相对头盔的位姿TBhJ0＝TBhBj0TBjJ，提取并匹配红外LED光点2d坐标uv到3d模型坐标P。
步骤500：根据所述匹配结果，采用N点透视算法和BA图优化算法，得到当前阶段手柄相对头盔的6DoF位姿信息。
在本发明实施例中，通过N点透视算法PNP来获取初始位姿，进入前端紧耦合BA图优化，得到这一次的系统状态初值，所述前端为轻量级线程。
所述BA图优化这里具体指非线性优化的一种方法，包含但不限于ceres、g2o等业内优化库，其特征是需要确定系统状态量和给定误差函数e和协方差矩阵Σ，为了加速运算还需要数学上雅克比矩阵J的计算。
这里误差函数e中除了本发明所述的IMU预积分新因子之外，还有一个比较核心的是将3d模型坐标P投影到带畸变的图像平面(对于鱼眼相机可以认为是图像曲面)的观测
Figure BDA0004075550310000101
Figure BDA0004075550310000102
其中，π()为相机的投影模型，包含了对应的畸变模型，这里用匹配出来的光点2d坐标uv减去估计的观测
Figure BDA0004075550310000103
即图像的重投影误差
Figure BDA0004075550310000104
所述紧耦合这里具体指优化系统状态量的时候，误差函数同时包括由视觉测量数据得到的2d坐标位置uv和系统状态量影响所产生的视觉误差及由IMU预积分和系统状态量影响所产生的IMU误差。
之后判断是否是关键帧，是关键帧则加入后端滑动窗口式的BA图优化，得到这一次的系统状态，即下一次1)使用的上一次系统状态会更新为此处的系统状态，所述后端为除了前端外运行较慢的线程，包括但不限于BA优化线程及IMU初始化线程
同时后端的IMU初始化线程会进行IMU相关参数的初始化，所述初始化是指在一定的先验下经过数学推导计算出手柄IMU偏差bBji、头盔IMU偏差bBhi、光点3d模型坐标的尺度s和关键帧的速度vBhBj的初值，最后再经过BA图优化提供给前端预测位姿时使用。
1)本发明应用于非惯性系下的多传感器多手柄的优化多时刻系统状态的方案不仅限于图优化方式，也可以使用滤波器方式。
2)本发明应用于多传感器多手柄的投影模型节点可以扩展包含相机的内参，即焦距参数fx、fy和光心坐标参数cx、cy及畸变参数等，固定或者不固定这些参数，都是可以实现类似的效果的
3)本发明中除了黑夜环境的要求外，红外LED光点即前述光学传感器，包括但不限于已知3d模型坐标P的红外LED光点，可以是已知3d模型坐标的可见光标记marker等
4)本发明中所提只需单个手柄追踪可固定另一个手柄的说法，可以扩展成需要多手柄时，固定额外的辅助用手柄作为基站。
与现有技术相比，本发明具有以下效果。
1)对于多传感器多手柄追踪使用了束调整BA图优化或滤波器优化，能够在头盔和手柄都配置有IMU的前提下，优化非惯性系下多时刻的系统状态，使得手柄在有直线加减速或慢转弯运动的车或飞机内也能够使用6DoF，即这种非惯性系下也能绘制出相对于头部的6DoF手柄。
2)对于有基站配置(如手柄插在非惯性系上)的头盔追踪使用了束调整BA图优化或滤波器优化，能够在基站和头盔都配置有IMU的前提下，优化非惯性系下多时刻的系统状态，使得头盔能在有直线加减速或慢转弯运动的车或飞机内也能够使用6DoF，即这种非惯性系下也能绘制出6DoF头部位姿所看见的VR或AR场景。
3)对于黑夜等SLAM容易失效的环境，在保证能看见手柄的前提下能追踪6DoF头盔。
4)对于上述追踪使用了单线程或多线程，包括但不限于前端线程、后端BA优化线程及隶属于后端的IMU初始化线程三个线程，使得多时刻的系统状态优化或者IMU初始化来不及很快输出时，也能只优化当前时刻的系统状态，从而让手柄追踪持续稳定地输出6DoF位姿。
实施例二
本发明实施例提供了一种非惯性参考系下手柄头盔追踪装置，即一种非惯性参考系下手柄和头盔均能进行6DoF定位的追踪装置，其中，手柄表面设置有光学图案标记点，如红外LED光点。
1个IMU，作为基站，设置于非惯性参考系上，相对静止即可；
多个相机和IMU，设置于头盔上，用于拍摄所述光学图案标记点；
光学传感器和IMU，设置于手柄内部，用于提供所述光学图案标记点。
控制器，用于执行实施例一所述的一种非惯性参考系下手柄头盔追踪方法。
其中，光学传感器包括已知3d模型坐标P的红外LED光点，头盔上的IMU为已知相机坐标系到IMU坐标系变换的惯性测量单元IMU，手柄上的IMU为已知模型坐标系到IMU坐标系变换的惯性测量单元IMU，多个相机包括头盔上的多目摄像头。且若只需单个手柄进行追踪，另一个手柄可以作为基站，固定于车或飞机等非惯性参考系上即可。
实施例三
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的浮标涌浪波高观测数据误差评估方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的浮标涌浪波高观测数据误差评估方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种非惯性参考系下手柄头盔追踪方法，其特征在于，包括：
获取基站追踪数据和头盔追踪数据；所述基站追踪数据至少包括安装在手柄上的或者新的IMU的惯性导航数据；所述头盔追踪数据包括安装在头盔上的IMU的惯性导航数据和摄像头所摄的图像数据；
根据所述基站追踪数据和所述头盔追踪数据，采用含有新IMU预积分残差因子的视觉+IMU紧耦合的SLAM技术，获取头盔IMU坐标系在非惯性世界坐标系下的6DoF位姿信息；
获取手柄追踪数据；所述手柄追踪数据包括安装在手柄上的IMU的惯性导航数据和头盔摄像头所摄的图像数据；
根据上一阶段系统状态量及多IMU的惯性导航数据，预测当前阶段手柄相对头盔的位姿信息，并根据当前阶段手柄相对头盔的位姿信息匹配手柄上的红外LED光点，得到匹配结果；
根据所述匹配结果，采用N点透视算法和BA图优化算法，得到当前阶段手柄相对头盔的6DoF位姿信息。
2.根据权利要求1所述的一种非惯性参考系下手柄头盔追踪方法，其特征在于，当需要一个手柄进行追踪定位时，另一个手柄中的IMU作为基站，所述基站追踪数据包括另一个手柄中的IMU惯性导航数据和安装在另一个手柄上的红外LED光点被上述头盔摄像头所摄的图像数据；当需要多个手柄进行追踪定位时，需要一个新的IMU作为基站，所述基站追踪数据包括新的IMU的惯性导航数据。
3.根据权利要求1所述的一种非惯性参考系下手柄头盔追踪方法，其特征在于，根据所述基站追踪数据和所述头盔追踪数据，采用含有新IMU预积分残差因子的视觉+IMU紧耦合的SLAM技术，获取头盔IMU坐标系在非惯性世界坐标系下的6DoF位姿信息，具体包括：
对基站中的IMU惯性导航数据和头盔中的IMU惯性导航数据进行带协方差更新的预积分操作；
将预积分操作后的信息代入传统IMU预积分因子的误差公式中，得到残差和对应的协方差，并将所述残差和对应的协方差作为新IMU预积分残差因子；
根据所述新IMU预积分残差因子，优化头盔相对于基站的相对位姿，获取头盔IMU坐标系在非惯性参考系下的6DoF位姿信息。
4.根据权利要求1所述的一种非惯性参考系下手柄头盔追踪方法，其特征在于，根据上一阶段系统状态量及多IMU的惯性导航数据，预测当前阶段手柄相对头盔的位姿信息，并根据当前阶段手柄相对头盔的位姿信息匹配手柄上的红外LED光点，得到匹配结果，具体包括：
根据上一阶段系统状态量及多IMU的惯性导航数据，分别对头盔和手柄进行IMU预积分操作，得到IMU预积分操作结果；
根据所述IMU预积分操作，计算当前阶段手柄相对头盔的位姿信息；
根据当前阶段手柄相对头盔的位姿信息，匹配红外LED光点2d坐标uv到3d模型坐标P。
5.一种非惯性参考系下手柄头盔追踪装置，其特征在于，所述手柄表面设置有光学图案标记点；所述装置包括：
1个IMU，作为基站，设置于非惯性参考系上，相对静止；
多个相机和IMU，设置于头盔上，用于拍摄所述光学图案标记点；
光学传感器和IMU，设置于手柄内部，用于提供所述光学图案标记点；
控制器，用于执行权利要求1-4任一项所述的一种非惯性参考系下手柄头盔追踪方法。
6.根据权利要求5所述的一种非惯性参考系下手柄头盔追踪装置，其特征在于，所述标记点为红外LED光点。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至4中任一项所述的一种非惯性参考系下手柄头盔追踪方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的一种非惯性参考系下手柄头盔追踪方法。
CN202310101167.6A 2023-02-09 2023-02-09 非惯性参考系下手柄头盔追踪方法、装置、设备及介质 Active CN116257134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310101167.6A CN116257134B (zh) 2023-02-09 2023-02-09 非惯性参考系下手柄头盔追踪方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310101167.6A CN116257134B (zh) 2023-02-09 2023-02-09 非惯性参考系下手柄头盔追踪方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116257134A true CN116257134A (zh) 2023-06-13
CN116257134B CN116257134B (zh) 2024-04-09

Family

ID=86680409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310101167.6A Active CN116257134B (zh) 2023-02-09 2023-02-09 非惯性参考系下手柄头盔追踪方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116257134B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
US20190041980A1 (en) * 2015-09-11 2019-02-07 Bae Systems Plc Helmet tracker
KR101960722B1 (ko) * 2017-12-21 2019-03-21 재단법인 전주정보문화산업진흥원 다기능 헬멧을 이용한 교통사고 응급처치 및 도주차량 추적시스템
CN111949123A (zh) * 2020-07-01 2020-11-17 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
CN114743674A (zh) * 2022-04-01 2022-07-12 范凌杰 一种基于虚拟现实的外科手术工效学风险评估系统及方法
CN114972514A (zh) * 2022-05-30 2022-08-30 歌尔股份有限公司 Slam定位方法、装置、电子设备和可读存储介质
WO2023003759A1 (en) * 2021-07-22 2023-01-26 Dathomir Laboratories Llc Multi-modal tracking of an input device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190041980A1 (en) * 2015-09-11 2019-02-07 Bae Systems Plc Helmet tracker
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
KR101960722B1 (ko) * 2017-12-21 2019-03-21 재단법인 전주정보문화산업진흥원 다기능 헬멧을 이용한 교통사고 응급처치 및 도주차량 추적시스템
CN111949123A (zh) * 2020-07-01 2020-11-17 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
WO2023003759A1 (en) * 2021-07-22 2023-01-26 Dathomir Laboratories Llc Multi-modal tracking of an input device
CN114743674A (zh) * 2022-04-01 2022-07-12 范凌杰 一种基于虚拟现实的外科手术工效学风险评估系统及方法
CN114972514A (zh) * 2022-05-30 2022-08-30 歌尔股份有限公司 Slam定位方法、装置、电子设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖剑波;胡大斌;胡锦晖;: "交互式机舱漫游系统关键技术研究", 计算机与数字工程, no. 07 *

Also Published As

Publication number Publication date
CN116257134B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN107990899B (zh) 一种基于slam的定位方法和系统
CN110081881B (zh) 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
US20220051031A1 (en) Moving object tracking method and apparatus
CN111932616B (zh) 一种利用并行计算加速的双目视觉惯性里程计方法
CN111279354A (zh) 图像处理方法、设备及计算机可读存储介质
CN110887486B (zh) 一种基于激光线辅助的无人机视觉导航定位方法
CN112734841A (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
US10991105B2 (en) Image processing device
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN111540011A (zh) 基于混合度量-拓扑相机的定位
CN114964276B (zh) 一种融合惯导的动态视觉slam方法
Alliez et al. Real-time multi-SLAM system for agent localization and 3D mapping in dynamic scenarios
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
Zheng et al. SE (2)-constrained visual inertial fusion for ground vehicles
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN112907633B (zh) 动态特征点识别方法及其应用
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
Panahandeh et al. Vision-aided inertial navigation using planar terrain features
CN116257134B (zh) 非惯性参考系下手柄头盔追踪方法、装置、设备及介质
CN115311353B (zh) 一种多传感器多手柄控制器图优化紧耦合追踪方法及系统
Rebert et al. A review of the dataset available for visual odometry
CN112902957B (zh) 一种弹载平台导航方法及系统
KR102406240B1 (ko) 강인한 스테레오 비주얼 관성 항법 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 501, Building 3, No. 1 Jiusong Road, Xinqiao Town, Songjiang District, Shanghai, 2016

Applicant after: Play Out Dreams (Shanghai) Technology Co.,Ltd.

Address before: 8th Floor, Building 3, No. 1 Caosong Road, Xinqiao Town, Songjiang District, Shanghai, 201612

Applicant before: Shanghai yuweia Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant