CN107037880A - 基于虚拟现实技术的空间定位定姿系统及其方法 - Google Patents

基于虚拟现实技术的空间定位定姿系统及其方法 Download PDF

Info

Publication number
CN107037880A
CN107037880A CN201710120819.5A CN201710120819A CN107037880A CN 107037880 A CN107037880 A CN 107037880A CN 201710120819 A CN201710120819 A CN 201710120819A CN 107037880 A CN107037880 A CN 107037880A
Authority
CN
China
Prior art keywords
circuit
helmet
axis
light sensor
helmets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710120819.5A
Other languages
English (en)
Inventor
孙德民
刘鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Geek Captain Network Technology Co Ltd
Original Assignee
Shenzhen Qianhai Geek Captain Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Geek Captain Network Technology Co Ltd filed Critical Shenzhen Qianhai Geek Captain Network Technology Co Ltd
Priority to CN201710120819.5A priority Critical patent/CN107037880A/zh
Publication of CN107037880A publication Critical patent/CN107037880A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本发明公开了一种基于虚拟现实(VR)技术的空间定位定姿系统及其方法,所述空间定位定姿系统主要包括VR头盔、两个基站、两只VR手柄以及一台计算机;所述两只VR手柄与VR头盔之间,基站与VR头盔之间,以及所述头盔与所述计算机之间均通过蓝牙模块进行无线通信。应用本发明的空间定位定姿系统及其方法,能够有效克服现有基于惯性传感器的VR系统空间定位定姿系统中存在固有测量误差并随积分过程向下积累,从而导致位置漂移以至无法提供连续准确的空间位置测量数据的技术缺陷。

Description

基于虚拟现实技术的空间定位定姿系统及其方法
技术领域
本发明涉及虚拟现实(Virtual Reality,VR)技术,尤其涉及一种基于虚拟现实(VR)技术的空间定位定姿系统及其方法。
背景技术
虚拟现实(VR)技术,是利用电脑或其他智能计算设备模拟产生一个三维空间的虚拟世界,提供关于视觉、听觉、触觉等人体感官的模拟,让用户如同身临其境一般,即“完全在场感”。要实现这种“完全在场感”的使用体验,除了对VR系统的视觉性能指标有所要求外,还要求VR系统可以提供空间定位定姿功能。定位即确定载体,如VR头盔、VR控制器、道具等在空间中包含三个自由度的位置信息;定姿即确定载体在空间中包含三个自由度的方向信息,通常使用欧拉角、四元数或旋转矩阵来表达载体的姿态信息。
虚拟现实系统中基于惯性传感器的空间定位定姿系统,通常包括9轴惯性测量单元(IMU)惯性传感器模组、无线传输模块、主控及图形计算单元、头戴式显示头盔。空间定位的一般工作过程为,首先对IMU惯性传感器测量得到的加速度数据进行积分,故而得到载体速度数据,再对速度数据进行积分得到载体位移数据,进而获得载体在空间中的相对位置信息。
在现有技术条件下,实现基于惯性传感器针对虚拟现实系统的空间定位定姿技术时,由于惯性传感器固有的误差会在积分过程中累积,继而会导致位置漂移,最终导致系统无法连续提供准确的空间位置数据和达到实现虚拟现实系统的高精度、实时性要求,因此无法实现虚拟现实系统能提供“完全在场”的使用体验。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于虚拟现实(VR)技术的空间定位定姿系统及其方法,以克服现有基于惯性传感器的VR系统空间定位定姿系统中存在固有测量误差并随积分过程向下积累,从而导致位置漂移以至无法提供连续准确的空间位置测量数据的技术缺陷。
本发明的另一目的在于提供一种基于VR技术的空间定位定姿系统及其方法,通过利用激光传感器融合IMU惯性传感器测量数据,采用基于卡尔曼滤波 (最优估计)的传感器融合算法,实现系统连续正常输出姿态与位置信息,从而解决应用激光测距原理进行测量过程存在遮挡的情况下不能连续正常输出位置数据的技术缺陷。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于虚拟现实VR技术的空间定位定姿系统,包括VR头盔,还包括两个基站、两只VR手柄以及一台计算机;所述两只VR手柄与VR头盔之间,基站与VR头盔之间,以及所述头盔与所述计算机之间均通过蓝牙模块进行无线通信。
其中,所述基站还包括X轴电机驱动控制电路、Y轴电机驱动控制电路、激光器驱动控制电路、LED驱动控制电路、光敏传感器接收调理电路以及蓝牙通信模块;
所述X轴、Y轴电机驱动控制电路,分别用于驱动步进电机沿着X轴及Y 轴在一定角度范围内执行周期性往复式的扫描动作;
所述激光器驱动电路,用于驱动激光器发射激光扫描信号,以形成用于被测载体的姿态和位置测量的激光扫描场;
LED驱动控制电路,控制LED按照固定周期闪烁发光,与被测载体上安装的LED光敏传感器结合,用于触发被测载体启动计时、计算姿态和位置解算需要的时间参数;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式,还用于实现基站之间的通信功能并完成参考坐标系的建立;
蓝牙通信模块,用于实现所述基站与VR头盔之间的无线通信功能。
所述VR头盔,还包括左眼屏幕显示电路、右眼屏幕显示电路、高清视频处理电路、光敏传感器接收调理电路、USB通信电路以及蓝牙通信模块;其中:
左、右眼屏幕显示电路,分别用于驱动左、右OLED屏幕的点亮和正常画面显示;
高清视频处理电路,用于接收和处理从所述计算机通过HDMI线传输过来的视频信号;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式;
USB通信电路,用于所述计算机与VR头盔之间的控制信号的通信传输;
蓝牙通信模块,用于实现所述VR手柄与VR头盔、所述VR头盔与所述基站之间的无线通信功能。
所述VR手柄,还包括按键处理电路、触摸面板处理电路、光敏传感器接收调理电路以及蓝牙通信模块;其中:
所述按键处理电路,用于接收和解码VR手柄上的键位控制信号输入;
触摸面板处理电路,用于接收和解码VR手柄上的触摸板的控制信号输入;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式;以及在所述VR手柄中的作用是用于实现对VR手柄的姿态和位置测量;
蓝牙通信模块,用于实现所述VR手柄与VR头盔之间的无线通信功能。
所述计算机为支持图形处理的主机。
一种基于虚拟现实VR技术的空间定位定姿方法,包括如下步骤:
A、LED阵列发出光信号,头盔上的光敏传感器接收到光信号后,头盔中的单片机开始计时;
B、当LED闪光第一预设时长后,X轴的激光扫描器开始扫描,头盔上的光敏传感器被扫到时,记录当前的计时时刻;
C、当LED闪光第二预设时长后,Y轴的激光扫描器开始扫描,头盔上的光敏传感器被扫到时,记录当前的计时时刻;
D、依据扫描电机的转速、光敏传感器计时的时间间隔计算出角度,该角度为光敏传感器在扫描坐标系下的X轴和Y轴偏角;
E、依据光敏传感器在头盔上的位置是确定的,依据多个传感器的位置差即可确定头盔的位置和姿态。
其中,所述的第一预设时长等于第二预设时长。
步骤D所述光敏传感器在扫描坐标系下的X轴和Y轴偏角为电机转速×时间间隔。
步骤E所述依据多个传感器的位置差确定头盔的位置和姿态的过程,进一步包括如下步骤:
a、设头盔坐标系{H}到基站坐标系{B1}的齐次变换矩阵为:
其中,px、py、pz是头盔坐标系原点在基站坐标系的位置,是头盔坐标系在基站坐标系的旋转矩阵,代表该头盔的姿态;
b、设光敏传感器为空间中一质点P1,其在头盔坐标系的位置是px1、py1、pz1,则存在如下数学关系:
其中,是光敏传感器P1在基站坐标系的位置;所述公式(2) 的物理意义为空间中某个质点在两个不同坐标系下的坐标间的变换关系;
c、依据扫描测量角度的原理还有如下的关系:
其中,tanθy是Y轴的扫描测量角度,tanθx是X轴的扫描测量角度;所述公式(3)的物理意义为绕X轴扫描平面与绕Y轴扫描平面的交线,即穿过基站坐标系原点和光敏传感器的一条空间直线;
d、当有多个光敏传感器被扫描到,根据公式(1)~(3)建立非线性方程组采用最小二乘法求最优解即可确定头盔坐标系位置和姿态。
一种应用于所述空间定位定姿方法的基于融合激光传感器与惯性传感器的测量方法,包括如下步骤:
利用卡尔曼滤波器对惯性测量系统、激光测量系统这两种测量方式获得的测量结果的步骤;
采用反馈校正的间接法估计,将惯导系统导航参数误差的估值反馈到惯导系统内,对误差状态进行校正的步骤;
对多传感器的测量数据进行融合的步骤。
本发明所提供的基于虚拟现实(VR)技术的空间定位定姿系统及其方法,具有以下优点:
1)本发明对载体位置和姿态信息的解算仅使用到时间参数,不涉及到图像处理,对于位置的计算在设备本地就可以完成。并且直接将位置数据传输到电脑上,省略了从摄像头到电脑的高数据传输的步骤。故而系统整体计算量小且功耗极低。
2)本发明采用了带有线性激光器的转台发射机,所述两个激光发射转台以稳定的节拍对空间进行水平和竖直的光束扫描,激光会触发VR手柄和VR头盔上的光敏传感器,通过测量光敏传感器被触发的时间计算出VR手柄与VR 头盔位置和姿态。与传统的测距定位原理(如GPS定位)相比,用这种方法只需要2台激光发射机就可完成测量任务。
3)位置与姿态的解算使用的是时间参数,不涉及到图像处理,对于位置的计算在设备本地即可完成,简化了数据处理过程。
4)本定位系统数据传输方法是直接将位置数据传输到电脑上,省略了从摄像头到电脑的高数据传输的步骤,简化了数据信息处理过程,加快了数据传输速度。
5)本系统多传感器数据融合方法运用了卡尔曼滤波(最优估计)的传感器融合算法,解决了最小二乘数据融合方法不能显示考虑测量不确定性等问题,可获得更高精度的曲面。
6)本系统采用基于快速卡尔曼滤波(最优估计)的传感器融合算法解决了激光传感器激光扫描信号可能被遮挡的问题,实现位置数据信息数据的连续平滑输出,提高了定位系统的性能。
附图说明
图1为本发明实施例基于虚拟现实(VR)技术系统的空间定位定姿系统组成示意图;
图2为本发明实施例的所述空间定位定姿系统的通信连接拓扑示意图;
图2a为所述基站的硬件结构示意图;
图2b为所述VR头盔的硬件结构示意图;
图2c为所述手持式控制器(即VR手柄)的硬件结构示意图;
图3为本发明实施例的空间定位定姿系统进行空间定位定姿的方法流程示意图;
图3a为VR头盔中的单片机开始计时的状态示意图;
图3b为X轴的激光扫描器开始工作VR头盔的光敏传感器被扫描到时记录当前时刻的状态示意图;
图3c为Y轴的激光扫描器开始工作VR头盔的光敏传感器被扫描到时记录当前时刻的状态示意图;
图3d为依据扫描电机的转速和光敏传感器计时的时间间隔计算偏角角度的状态示意图;
图4为基站坐标系与头盔坐标系关系示意图;
图4a为本发明实施例采用的计算原理示意图;
图5为所述VR头盔的三维轨迹仿真结果示意图;
图6为坐标系中XYZ各轴分量运动轨迹仿真结果示意图;
图7为各方位角运动轨迹仿真结果示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明基于虚拟现实(VR)技术的空间定位定姿系统及其方法作进一步详细的说明。
图1为本发明实施例基于虚拟现实(VR)技术系统的空间定位定姿系统组成示意图。
如图1所示,该空间定位定姿系统包括:2台线性激光器的转台发射机(又称激光基站或基站)、2件手持虚拟现实控制器(即VR手柄)、头戴式显示器(即VR头盔)、支持图形处理的高性能的计算机和蓝牙通信模块。
每个基站里设有一个红外LED阵列,两个转轴互相垂直的旋转的红外激光发射器,转速为10ms/圈。
基站的工作状态:每20ms为一个扫描周期,在扫描周期开始时红外LED 闪光,前10ms内X轴的旋转激光扫过用户自由活动区域,Y轴不扫光;下一个10ms内Y轴的旋转激光扫过用户自由活动区域,X轴不扫光。
一对手持虚拟现实控制器(即VR手柄)及头戴式显示器(即VR头盔), VR手柄及VR头盔外部均设有多个激光光敏传感器,在基站的LED闪光之后就会进行信号同步,然后光敏传感器可以测量出X轴激光和Y轴激光分别到达传感器的时间。这个时间就正好是X轴和Y轴激光转到这个特定的、点亮传感器的角度的时间,于是传感器相对于基站的X轴和Y轴角度也就已知了。分布在VR头盔和VR手柄上的光敏传感器的位置也是已知的,于是通过各个传感器的位置差,就可以计算出VR头盔的位置和运动轨迹。
所述的VR手柄及头盔内部安装有九轴IMU惯性传感器模块,IMU惯性传感器模块内部包含微陀螺仪及微加速度计,用于采集VR手柄和头盔的运动姿态信息,包括角速度,加速度、地心加速度方向等。
图2为本发明实施例的所述空间定位定姿系统的通信连接拓扑示意图。如图2所示,各模块之间均以低功耗的无线通信方式进行通信(优选通过蓝牙通信模块进行无线通信),即两只VR手柄与VR头盔之间,基站与VR头盔之间,以及所述头盔与计算机之间均通过蓝牙模块进行无线通信。
图2a为所述基站的硬件结构示意图。如图2a所示,该基站主要包括供电电路、X轴电机驱动控制电路、Y轴电机驱动控制电路、激光器驱动控制电路、 LED驱动控制电路、光敏传感器接收调理电路以及蓝牙通信模块。其中:
供电电路,用于为系统各个电路和通信模块提供稳定的直流供电,包括电机、激光器以及其它功能芯片,同时还用于稳定系统的电压以及进行直流工作电压转换的功能。
X轴、Y轴电机驱动控制电路,分别用于驱动步进电机沿着X轴及Y轴在一定角度范围内执行周期性往复式的扫描动作。
激光器驱动电路,用于驱动激光器发射激光扫描信号,从而形成激光扫描场,用于被测载体的姿态和位置测量。
LED驱动控制电路,控制LED按照固定周期闪烁发光,与被测载体上安装的LED光敏传感器结合,用于触发被测载体启动计时,用于计算姿态和位置解算需要的时间参数。
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式,在本基站的各电路和模块中的功能是实现基站之间的通信功能并完成参考坐标系的建立。
蓝牙通信模块,用于实现所述基站与VR头盔之间的无线通信功能。
图2b为所述VR头盔的硬件结构示意图。如图2b所示,该VR头盔主要包括供电电路,左眼屏幕显示电路、右眼屏幕显示电路、高清视频处理电路、光敏传感器接收调理电路、相机处理电路、HDMI通信电路、音频通信电路、 USB通信电路以及蓝牙通信模块。其中:
供电电路,用于为系统各个功能电路和模块提供稳定的直流供电,包括 OLED屏幕、各个处理电路以及各个功能芯片,同时还用于稳定系统电压以及进行直流工作电压转换的功能。
左、右眼屏幕显示电路,分别用于驱动左、右OLED屏幕的点亮和正常画面显示。
高清视频处理电路,用于接收和处理从PC主机(即所述计算机)通过HDMI 线传输过来的视频信号。
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式。
较佳地,还包括相机处理电路,用于处理从前置摄像头采集的画面信号,还用于支持未来对VR头盔扩展功能的使用。
HDMI通信电路,用于接收PC主机渲染完成的音视频信号。
音频通信电路,用于解码HDMI通信电路接收到的立体音频信号并输出。
USB通信电路,用于PC主机与VR头盔之间的控制信号的通信传输。
蓝牙通信模块,用于实现手持控制器与VR头盔、所述VR头盔与所述基站之间的无线通信功能。
图2c为所述手持式控制器(即VR手柄)的硬件结构示意图。如图2c所示,该VR手柄主要包括供电电路、按键处理电路、触摸面板处理电路、光敏传感器接收调理电路以及蓝牙通信模块。其中:
供电电路,用于为系统各个电路和模块提供稳定的直流供电,包括光敏传感器、各个处理电路模块以及各个功能芯片,同时还用于稳定系统电压以及进行直流工作电压转换的功能。
按键处理电路,用于接收和解码手持控制器即VR手柄上的键位控制信号输入。
触摸面板处理电路,用于接收和解码控制器上的触摸板的控制信号输入。
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式,在本手持控制器模块中的功能是实现对控制器的姿态和位置测量。
蓝牙通信模块,用于实现手持控制器即VR手柄与VR头盔之间的无线通信功能。
图3为本发明实施例的空间定位定姿系统进行空间定位定姿的方法流程示意图。
为了实时地确定VR头盔和手持式控制器即VR手柄的位置和姿态,如图3所示,所述的定位过程分为如下几个步骤:
步骤31、LED阵列发出光信号,VR头盔上的光敏传感器接收到光信号后,头盔中的单片机开始计时。如图3a所示。
步骤32、当LED闪光第一预设时长(假设10ms)后,X轴的激光扫描器开始扫描,VR头盔上的光敏传感器被扫到时,记录当前的计时时刻。如图3b所示。
步骤33、当LED闪光第二预设时长(假设10ms)后,Y轴的激光扫描器开始扫描,头盔上的光敏传感器被扫到时,记录当前的计时时刻。如图3c所示。
这里,所述的第一预设时长等于第二预设时长,可根据实际想要达到的定位、定姿精度的需要设定为5ms、10ms、20ms等。
步骤34、依据扫描电机的转速、光敏传感器计时的时间间隔计算出角度,该角度为光敏传感器在扫描坐标系下的X轴和Y轴偏角。
如图3d所示,所述偏角等于电机转速×时间间隔。具体过程如下:LED 灯触发计时,激光线光源开始启动扫描,光敏传感器接收到激光信号时计时结束,在这个计时周期电机的转速是固定的,这样用这电机转速乘以这个时间间隔,就等于偏角。上述计算偏角的方法,对X轴、Y轴原理相同。
步骤35、依据光敏传感器在头盔上的位置是确定的,依据多个传感器的位置差即可确定头盔的位置和姿态。
由于激光具有直线传播特性,在本实施例中激光扫描信号存在被遮挡的情况下,由于最小二乘数据融合方法不能显式考虑测量的不确定性等问题,所以发明人提出了基于卡尔曼滤波(最优估计)的传感器数据融合算法用于解决位置信息数据的连续平滑输出。
下面为步骤35所述依据多个传感器的位置差确定头盔的位置和姿态的求解过程:
由于光敏传感器在头盔上的位置是确定的,要被定位的并非光敏传感器本身,而是头盔,光敏传感器仅是定位头盔位置和姿态的媒介。对于室内定位而言,未知量是头盔坐标系到基站坐标系的齐次变换矩阵。
假设头盔坐标系{H}到基站坐标系{B1}的齐次变换矩阵为:
其中,px、py、pz是头盔坐标系原点在基站坐标系的位置,是头盔坐标系在基站坐标系的旋转矩阵,它表征该头盔的姿态。
光敏传感器P1在头盔坐标系的位置是确定且不变的(它由头盔的结构外形设计保证)。设光敏传感器可以看成空间中一个质点P1,它在头盔坐标系的位置是px1、py1、pz1,则存在如下数学关系:
其中,是光敏传感器P1在基站坐标系的位置。
该公式(2)的物理意义为:空间中某个质点在两个不同坐标系下的坐标间的变换关系。
例如,对于某个光敏传感器P1,当在头盔坐标系下观测它时,它的坐标是px1、 py1、pz1;当在基站坐标系下观测它时,它的坐标为而两个坐标系之间的关系为这个变换矩阵中的元素px、py、pz就是头盔位置,就是头盔的姿态,定位算法的目的就是求解中的各元素。如图4所示。
另外,依据扫描测量角度的原理还有如下的关系:
其中,tanθy是Y轴的扫描测量角度,tanθx是X轴的扫描测量角度。
该公式(3)的物理意义为:绕X轴扫描平面与绕Y轴扫描平面的交线,即穿过基站坐标系原点和光敏传感器的一条空间直线。
如果有多个光敏传感器被扫描到,那么根据公式(1)~(3)就可以建立非线性方程组求解位置和姿态。理论上如果有3个光敏传感器被扫描到,就可以测量出位置和姿态,实际中被扫描到的点的数量远大于3个,因此采用最小二乘法求最优解即可确定头盔坐标系位置和姿态。
本发明的上述实施例中,采用的基于融合激光传感器与惯性传感器的测量方法,能够达到如下系统性能:定位范围:最大可达5米×5米×3米;定位精度小于5毫米;系统延迟低于5毫秒。
在本空间定位定姿系统中,由于存在激光扫描信号被遮挡的情况,针对这种情况,我们提出了基于卡尔曼滤波原理的多传感器测量数据融合的方法来解决位置与姿态信息数据的连续平滑输出问题。所述卡尔曼滤波(器)原理是采用最优自回归数据处理算法,对多个传感器的数据进行融合。
如图4a所示的本发明实施例具体采用的计算原理示意图,利用卡尔曼滤波器对惯性测量系统、激光测量系统这两种测量方式获得的测量结果做最优估计。
本实施例中具体采用反馈校正的间接法估计,将惯导系统导航参数误差的估值反馈到惯导系统内,对误差状态进行校正。
系统方程和量测方程为:
校正过程为:
其中:是测量位置和姿态的最优估计结果。
其中,多传感器的测量数据融合过程可用下列公式来表征:
已知:
经过多传感器的测量数据融合后,可得到:
Pt|t=(I-KtHt)Pt|t-1
其中,为室内靶标位姿量测值;Kt为室内靶标位姿量测误差;Pt|t为室内靶标位姿估计值。
图5~图7为本发明的实施例在Matlab环境下的实验数据仿真结果示意图。其中,图5为所述VR头盔的三维轨迹仿真结果示意图;图6为坐标系中XYZ 各轴分量运动轨迹仿真结果示意图;图7为各方位角运动轨迹仿真结果示意图。
从图5~图7所示的仿真结果可以直观地观察VR头盔的实际位置与姿态数据的解算结果,从而验证了利用本发明实施例中所述的空间定位定姿系统及其方法,是可以准确且连续地确定头盔坐标系中被测目标的姿态和位置的。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种基于虚拟现实VR技术的空间定位定姿系统,包括VR头盔,其特征在于,还包括两个基站、两只VR手柄以及一台计算机;所述两只VR手柄与VR头盔之间,基站与VR头盔之间,以及所述头盔与所述计算机之间均通过蓝牙模块进行无线通信。
2.根据权利要求1所述基于VR技术的空间定位定姿系统,其特征在于,所述基站还包括X轴电机驱动控制电路、Y轴电机驱动控制电路、激光器驱动控制电路、LED驱动控制电路、光敏传感器接收调理电路以及蓝牙通信模块;
所述X轴、Y轴电机驱动控制电路,分别用于驱动步进电机沿着X轴及Y轴在一定角度范围内执行周期性往复式的扫描动作;
所述激光器驱动电路,用于驱动激光器发射激光扫描信号,以形成用于被测载体的姿态和位置测量的激光扫描场;
LED驱动控制电路,控制LED按照固定周期闪烁发光,与被测载体上安装的LED光敏传感器结合,用于触发被测载体启动计时、计算姿态和位置解算需要的时间参数;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式,还用于实现基站之间的通信功能并完成参考坐标系的建立;
蓝牙通信模块,用于实现所述基站与VR头盔之间的无线通信功能。
3.根据权利要求1所述基于VR技术的空间定位定姿系统,其特征在于,所述VR头盔,还包括左眼屏幕显示电路、右眼屏幕显示电路、高清视频处理电路、光敏传感器接收调理电路、USB通信电路以及蓝牙通信模块;其中:
左、右眼屏幕显示电路,分别用于驱动左、右OLED屏幕的点亮和正常画面显示;
高清视频处理电路,用于接收和处理从所述计算机通过HDMI线传输过来的视频信号;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式;
USB通信电路,用于所述计算机与VR头盔之间的控制信号的通信传输;
蓝牙通信模块,用于实现所述VR手柄与VR头盔、所述VR头盔与所述基站之间的无线通信功能。
4.根据权利要求1所述基于VR技术的空间定位定姿系统,其特征在于,所述VR手柄,还包括按键处理电路、触摸面板处理电路、光敏传感器接收调理电路以及蓝牙通信模块;其中:
所述按键处理电路,用于接收和解码VR手柄上的键位控制信号输入;
触摸面板处理电路,用于接收和解码VR手柄上的触摸板的控制信号输入;
光敏传感器接收调理电路,用于调理激光信号与LED信号,并将其转化为适合下一环节测控单元接口的信号格式;以及在所述VR手柄中的作用是用于实现对VR手柄的姿态和位置测量;
蓝牙通信模块,用于实现所述VR手柄与VR头盔之间的无线通信功能。
5.根据权利要求1所述基于VR技术的空间定位定姿系统,其特征在于,所述计算机为支持图形处理的主机。
6.一种基于虚拟现实VR技术的空间定位定姿方法,其特征在于,包括如下步骤:
A、LED阵列发出光信号,头盔上的光敏传感器接收到光信号后,头盔中的单片机开始计时;
B、当LED闪光第一预设时长后,X轴的激光扫描器开始扫描,头盔上的光敏传感器被扫到时,记录当前的计时时刻;
C、当LED闪光第二预设时长后,Y轴的激光扫描器开始扫描,头盔上的光敏传感器被扫到时,记录当前的计时时刻;
D、依据扫描电机的转速、光敏传感器计时的时间间隔计算出角度,该角度为光敏传感器在扫描坐标系下的X轴和Y轴偏角;
E、依据光敏传感器在头盔上的位置是确定的,依据多个传感器的位置差即可确定头盔的位置和姿态。
7.根据权利要求6所述基于VR技术的空间定位定姿方法,其特征在于,所述的第一预设时长等于第二预设时长。
8.根据权利要求6所述基于VR技术的空间定位定姿方法,其特征在于,步骤D所述光敏传感器在扫描坐标系下的X轴和Y轴偏角为电机转速×时间间隔。
9.根据权利要求6所述基于VR技术的空间定位定姿方法,其特征在于,步骤E所述依据多个传感器的位置差确定头盔的位置和姿态的过程,进一步包括如下步骤:
a、设头盔坐标系{H}到基站坐标系{B1}的齐次变换矩阵为:
其中,px、py、pz是头盔坐标系原点在基站坐标系的位置,是头盔坐标系在基站坐标系的旋转矩阵,代表该头盔的姿态;
b、设光敏传感器为空间中一质点P1,其在头盔坐标系的位置是px1、py1、pz1,则存在如下数学关系:
其中,是光敏传感器P1在基站坐标系的位置;所述公式(2)的物理意义为空间中某个质点在两个不同坐标系下的坐标间的变换关系;
c、依据扫描测量角度的原理还有如下的关系:
其中,tanθy是Y轴的扫描测量角度,tanθx是X轴的扫描测量角度;所述公式(3)的物理意义为绕X轴扫描平面与绕Y轴扫描平面的交线,即穿过基站坐标系原点和光敏传感器的一条空间直线;
d、当有多个光敏传感器被扫描到,根据公式(1)~(3)建立非线性方程组采用最小二乘法求最优解即可确定头盔坐标系位置和姿态。
10.一种应用于权利要求6~9任一项所述空间定位定姿方法的基于融合激光传感器与惯性传感器的测量方法,其特征在于,包括如下步骤:
利用卡尔曼滤波器对惯性测量系统、激光测量系统这两种测量方式获得的测量结果的步骤;
采用反馈校正的间接法估计,将惯导系统导航参数误差的估值反馈到惯导系统内,对误差状态进行校正的步骤;
对多传感器的测量数据进行融合的步骤。
CN201710120819.5A 2017-03-02 2017-03-02 基于虚拟现实技术的空间定位定姿系统及其方法 Pending CN107037880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710120819.5A CN107037880A (zh) 2017-03-02 2017-03-02 基于虚拟现实技术的空间定位定姿系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710120819.5A CN107037880A (zh) 2017-03-02 2017-03-02 基于虚拟现实技术的空间定位定姿系统及其方法

Publications (1)

Publication Number Publication Date
CN107037880A true CN107037880A (zh) 2017-08-11

Family

ID=59533192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710120819.5A Pending CN107037880A (zh) 2017-03-02 2017-03-02 基于虚拟现实技术的空间定位定姿系统及其方法

Country Status (1)

Country Link
CN (1) CN107037880A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845302A (zh) * 2017-10-23 2018-03-27 武汉市晋升科技有限公司 执法情景仿真系统及方法
CN108151738A (zh) * 2017-12-22 2018-06-12 北京轻威科技有限责任公司 带姿态解算的可编码主动光标识球
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法
CN108261761A (zh) * 2018-01-18 2018-07-10 北京凌宇智控科技有限公司 一种空间定位方法和装置、计算机可读存储介质
CN108333579A (zh) * 2018-02-08 2018-07-27 高强 一种基于Vive Lighthouse的光感设备密集部署的系统及方法
CN108376501A (zh) * 2018-04-27 2018-08-07 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN108635845A (zh) * 2018-07-26 2018-10-12 南京诚卫安全装备有限公司 3d单兵演练装置
CN108917751A (zh) * 2018-03-30 2018-11-30 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
CN109407834A (zh) * 2018-10-08 2019-03-01 京东方科技集团股份有限公司 电子设备、计算机设备、空间定位系统及方法
CN109556601A (zh) * 2018-10-29 2019-04-02 中国科学院电子学研究所 一种手势轨迹计算方法及手势轨迹采集装置
CN109582129A (zh) * 2018-10-16 2019-04-05 中国南方电网有限责任公司超高压输电公司检修试验中心 一种虚拟现实场景中物体捕捉辅助定位器及定位系统
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备,手柄及其定位追踪方法
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
TWI669683B (zh) * 2017-09-12 2019-08-21 宏達國際電子股份有限公司 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
EP3539627A1 (de) * 2018-03-16 2019-09-18 VR Coaster GmbH & Co. KG Synchronisierungsvorrichtung mit einer basisstation zum syn-chronisieren von head-mounted-displays mit einer virtuellen welt in einem fahrgeschäft, fahrgeschäft mit einer derarti-gen synchronisierungsvorrichtung sowie verfahren zum betrei-ben eines solchen fahrgeschäfts
CN110650354A (zh) * 2019-10-12 2020-01-03 苏州大禹网络科技有限公司 虚拟动漫角色直播方法、系统、设备及存储介质
CN110672097A (zh) * 2019-11-25 2020-01-10 北京中科深智科技有限公司 一种基于激光雷达的室内定位跟踪方法、装置及系统
CN110796915A (zh) * 2020-01-03 2020-02-14 南昌市小核桃科技有限公司 一种根据大数据的自动化vr机务实训系统及实训方法
CN111580650A (zh) * 2020-04-29 2020-08-25 南京睿悦信息技术有限公司 一种移动端传感器与外部定位系统的低延迟位姿融合方法
CN111614915A (zh) * 2020-05-13 2020-09-01 深圳市欢创科技有限公司 一种空间定位方法、装置、系统和头戴式设备
CN112817322A (zh) * 2020-12-31 2021-05-18 珠海紫燕无人飞行器有限公司 一种头戴式无人直升机控制系统及其控制方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742952B2 (en) 2017-09-12 2020-08-11 Htc Corporation Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof
TWI669683B (zh) * 2017-09-12 2019-08-21 宏達國際電子股份有限公司 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
CN107845302A (zh) * 2017-10-23 2018-03-27 武汉市晋升科技有限公司 执法情景仿真系统及方法
CN108151738B (zh) * 2017-12-22 2019-07-16 北京轻威科技有限责任公司 带姿态解算的可编码主动光标识球
CN108151738A (zh) * 2017-12-22 2018-06-12 北京轻威科技有限责任公司 带姿态解算的可编码主动光标识球
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法
CN108261761A (zh) * 2018-01-18 2018-07-10 北京凌宇智控科技有限公司 一种空间定位方法和装置、计算机可读存储介质
CN108261761B (zh) * 2018-01-18 2021-01-12 北京凌宇智控科技有限公司 一种空间定位方法和装置、计算机可读存储介质
CN108333579A (zh) * 2018-02-08 2018-07-27 高强 一种基于Vive Lighthouse的光感设备密集部署的系统及方法
US11471781B2 (en) 2018-03-16 2022-10-18 Vr Coaster Gmbh & Co. Kg Synchronization device having a base station for synchronizing head-mounted displays with a virtual world in an amusement ride, amusement ride having a synchronization device of this type, and method for operating an amusement ride of this type
WO2019174769A1 (de) * 2018-03-16 2019-09-19 Vr Coaster Gmbh & Co. Kg Synchronisierungsvorrichtung mit einer basisstation zum synchronisieren von head-mounted-displays mit einer virtuellen welt in einem fahrgeschäft, fahrgeschäft mit einer derartigen synchronisierungsvorrichtung sowie verfahren zum betreiben eines solchen fahrgeschäfts
EP3539627A1 (de) * 2018-03-16 2019-09-18 VR Coaster GmbH & Co. KG Synchronisierungsvorrichtung mit einer basisstation zum syn-chronisieren von head-mounted-displays mit einer virtuellen welt in einem fahrgeschäft, fahrgeschäft mit einer derarti-gen synchronisierungsvorrichtung sowie verfahren zum betrei-ben eines solchen fahrgeschäfts
CN108917751A (zh) * 2018-03-30 2018-11-30 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
CN108917751B (zh) * 2018-03-30 2021-11-02 北京凌宇智控科技有限公司 一种免标定的定位方法及系统
CN108376501B (zh) * 2018-04-27 2024-01-16 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN108376501A (zh) * 2018-04-27 2018-08-07 大连理工大学 一种基于vr系统的环境噪声识别系统及其工作方法
CN108635845A (zh) * 2018-07-26 2018-10-12 南京诚卫安全装备有限公司 3d单兵演练装置
CN109407834A (zh) * 2018-10-08 2019-03-01 京东方科技集团股份有限公司 电子设备、计算机设备、空间定位系统及方法
US11392196B2 (en) 2018-10-08 2022-07-19 Beijing Boe Optoelectronics Technology Co., Ltd. Electronic apparatus, spatial positioning system and spatial positioning method
CN109582129A (zh) * 2018-10-16 2019-04-05 中国南方电网有限责任公司超高压输电公司检修试验中心 一种虚拟现实场景中物体捕捉辅助定位器及定位系统
CN109556601A (zh) * 2018-10-29 2019-04-02 中国科学院电子学研究所 一种手势轨迹计算方法及手势轨迹采集装置
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
CN109785392B (zh) * 2018-12-17 2022-07-29 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备,手柄及其定位追踪方法
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备,手柄及其定位追踪方法
CN110650354A (zh) * 2019-10-12 2020-01-03 苏州大禹网络科技有限公司 虚拟动漫角色直播方法、系统、设备及存储介质
CN110672097A (zh) * 2019-11-25 2020-01-10 北京中科深智科技有限公司 一种基于激光雷达的室内定位跟踪方法、装置及系统
CN110796915A (zh) * 2020-01-03 2020-02-14 南昌市小核桃科技有限公司 一种根据大数据的自动化vr机务实训系统及实训方法
CN111580650A (zh) * 2020-04-29 2020-08-25 南京睿悦信息技术有限公司 一种移动端传感器与外部定位系统的低延迟位姿融合方法
CN111614915A (zh) * 2020-05-13 2020-09-01 深圳市欢创科技有限公司 一种空间定位方法、装置、系统和头戴式设备
CN112817322A (zh) * 2020-12-31 2021-05-18 珠海紫燕无人飞行器有限公司 一种头戴式无人直升机控制系统及其控制方法

Similar Documents

Publication Publication Date Title
CN107037880A (zh) 基于虚拟现实技术的空间定位定姿系统及其方法
US11847747B2 (en) Displaying a virtual image of a building information model
US11016116B2 (en) Correction of accumulated errors in inertial measurement units attached to a user
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
TWI522650B (zh) 用於擴增實境裝置之即時導正系統、方法及電腦程式產品
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
CN104750115B (zh) 一种移动设备的激光主动式导航系统及导航方法
CN108885487B (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN106767737A (zh) 基于虚拟现实技术的靶标姿态测量系统及其测量方法
JP2016006415A (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
US11269400B2 (en) Positioning system
CN106851575A (zh) 一种统一定位基站坐标系的方法和定位校准装置
CN107346013A (zh) 一种校准定位基站坐标系的方法及装置
CN106878944A (zh) 一种校准定位基站坐标系的方法和定位校准装置
Islam et al. Full-body tracking using a sensor array system and laser-based sweeps
CN111782064A (zh) 一种运动式无线定位的6dof追踪系统
CN108627157A (zh) 一种基于立体标记板的头显定位方法、装置和立体标记板
CN113077509A (zh) 基于同步定位绘图的空间测绘校准方法及空间测绘系统
US11663786B2 (en) Eyewear display system
CN110554784B (zh) 输入方法、装置、显示设备及存储介质
Polcar et al. ACTIVE CAMERA POSITIONAL TRACKING FOR AUGMENTED REALITY APPLICATIONS.
CN117572399A (zh) 一种基于Lighting house空间定位技术的位置微调算法
WO2023113694A2 (en) Tracking system for simulating body motion
CN113268062A (zh) 一种人体曲面建模方法、建模装置及建模系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170811