CN111061363A - 一种虚拟现实系统 - Google Patents

一种虚拟现实系统 Download PDF

Info

Publication number
CN111061363A
CN111061363A CN201911149777.3A CN201911149777A CN111061363A CN 111061363 A CN111061363 A CN 111061363A CN 201911149777 A CN201911149777 A CN 201911149777A CN 111061363 A CN111061363 A CN 111061363A
Authority
CN
China
Prior art keywords
central processing
processing unit
virtual reality
reality system
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911149777.3A
Other languages
English (en)
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201911149777.3A priority Critical patent/CN111061363A/zh
Publication of CN111061363A publication Critical patent/CN111061363A/zh
Priority to PCT/CN2020/115302 priority patent/WO2021098358A1/zh
Priority to US17/778,781 priority patent/US20230004218A1/en
Priority to EP20890065.4A priority patent/EP4064005A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开一种虚拟现实系统。本发明的虚拟现实系统包括：头戴显示设备、输入设备和定位模组，头戴显示设备上集成有中央处理器和与所述中央处理器连接的镜头模组和无线连接模块；镜头模组包括双目鱼眼镜头、红外镜头和TOF镜头，所述定位模组包括集成在头戴显示设备上的第一惯性测量单元和电磁接收器、集成在输入设备上的第二惯性测量单元和电磁发射器；中央处理器，用于与双目鱼眼镜头、红外镜头、TOF镜头、无线连接模块、第一惯性测量单元和电磁接收器进行数据交互并进行指令控制，实现对所述头戴显示设备的6自由度空间定位，对输入设备的6自由度空间定位、实现所述虚拟现实系统的避障功能、手势识别功能、眼球追踪功能和无线传输功能。

Description

一种虚拟现实系统
技术领域
本发明涉及一种虚拟现实系统。
背景技术
虚拟现实技术，是利用计算机技术将视觉、听觉、触觉等多种信息融合重建，从而生成人机交互式的虚拟场景。用户能够通过虚拟现实(virtual reality，VR)设备所展示的实时动态的三维立体图像，获得身临其境的沉浸式体验。
现有的移动端VR一体机设计中，大部分系统都是支持头部6自由度(即6DoF)和手部3DoF功能，即使有些头戴设备支持手部的6DoF功能，主要也是基于光学解决方案、超声波解决方案实现的，这些方案存在视场角(fieldangle，FOV)等功能的限制，不能很好的适配全景PC游戏的需求。
目前，移动端Inside-out解决方案中，游戏内容是一个瓶颈问题，大部分6DoF的游戏基于PC设计，现有满足PC游戏的6DoF功能的移动端都是有线解决方案，即采用有线方式与PC端连接。这种有线解决方案一是使用不方便，二是移动距离受到很多限制，三是基于外部相机或者光塔设计，成本高。
由此，迫切需要一种满足PC游戏需求，支持Inside-out的头部6DoF和手部6DoF的解决方案。
发明内容
本发明的目的在于提供了一种虚拟现实系统。
本发明提供了一种虚拟现实系统，包括：头戴显示设备、输入设备和定位模组，所述头戴显示设备上集成有中央处理器和与所述中央处理器连接的镜头模组和无线连接模块；
所述镜头模组包括双目鱼眼镜头、红外镜头和TOF镜头，所述定位模组包括集成在所述头戴显示设备上的第一惯性测量单元、集成在所述头戴显示设备上的电磁接收器、集成在所述输入设备上的第二惯性测量单元和集成在所述输入设备上的电磁发射器；
所述中央处理器，还分别与所述第一惯性测量单元和电磁接收器连接，用于与所述双目鱼眼镜头、红外镜头、TOF镜头、无线连接模块、第一惯性测量单元和电磁接收器进行数据交互并进行指令控制，实现对所述头戴显示设备的6自由度空间定位，对所述输入设备的6自由度空间定位、实现所述虚拟现实系统的避障功能、手势识别功能、眼球追踪功能和无线传输功能。
本发明至少取得以下技术效果：
1、本发明通过两个FishEye Camera和IMU1可以实现虚拟现实系统空间位置和空间姿态的追踪，通过输入设备，实现360度全景范围内的高精度追踪；本发明过二者的结合可以实现房间规模(Roomscale)级别的位置跟踪，并且非常适用于Roomscale的游戏场景。
2、本发明通过无线连接模块进行高吞吐量、低延时无线数据的导入，可以将虚拟现实系统应用到PC游戏平台，结合头部与手部6DoF实现方式的优势，可以实现一个低延时、高精度、无需添加外设电池等实用方便的HMD一体机。
3、本发明还通过引入TOF镜头可以实现高精度平面和障碍物检测，能够更好的发挥虚拟现实系统Roomscale的使用优势，也可以用于手势检测，进一步增加虚拟现实系统的交互方式，而且通过IR Camera实现眼球追踪功能即可以实现软件瞳距调整，注释点渲染提高系统帧率，带来更好的Roomscale体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的虚拟现实系统的结构框图；
图2为本发明实施例示出的虚拟现实系统的硬件结构示意图；
图3为本发明实施例示出的虚拟现实系统的电子线路示意图；
图4为本发明实施例示出的头戴显示设备的6DoF空间定位示意图；
图5为本发明实施例示出的输入设备的6DoF空间定位示意图；
图6为本发明实施例示出的无线串流功能示意图；
图7为本发明实施例示出的手势识别原理图；
图8为本发明实施例示出的避障功能原理图；
图9为本发明实施例示出的眼球追踪功能原理图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本发明实施例示出的虚拟现实系统的硬件结构示意图，如图1所示，本实施例的虚拟现实系统包括：头戴显示设备100、输入设备200和定位模组300，头戴显示设备100上集成有中央处理器110和与中央处理器110连接的镜头模组120和无线连接模块130；
镜头模组120包括双目鱼眼镜头(FishEye Camera)121、红外镜头(IR Camera)122和TOF镜头123，定位模组300包括集成在头戴显示设备100上的第一惯性测量单元(IMU1)310、集成在头戴显示设备100上的电磁接收器320、集成在输入设备200上的第二惯性测量单元(IMU2)330和集成在输入设备200上的电磁发射器340；
中央处理器110，还分别与IMU1 310和电磁接收器320连接，用于与双目鱼眼镜头121、红外镜头122、TOF镜头123、无线连接模块130、IMU1 310和电磁接收器320进行数据交互并进行指令控制，实现对头戴显示设备的6自由度(DoF)空间定位，对输入设备的6DoF空间定位、实现虚拟现实系统的避障功能、手势识别功能、眼球追踪功能和无线传输功能。
本实施例通过两个FishEye Camera和IMU1可以实现虚拟现实系统空间位置和空间姿态的追踪，通过输入设备，实现360度全景范围内的高精度追踪；本实施通过二者的结合可以实现房间规模(Roomscale)级别的位置跟踪，并且非常适用于Roomscale的游戏场景。本实施例通过无线连接模块进行高吞吐量、低延时无线数据的导入，可以将虚拟现实系统应用到PC游戏平台，结合头部与手部6DoF实现方式的优势，可以实现一个低延时、高精度、无需添加外设电池等实用方便的HMD一体机。本实施例还通过引入TOF镜头可以实现高精度平面和障碍物检测，能够更好的发挥虚拟现实系统Roomscale的使用优势，也可以用于手势检测，进一步增加虚拟现实系统的交互方式，而且通过IR Camera实现眼球追踪功能即可以实现软件瞳距调整，注释点渲染提高系统帧率，带来更好的Roomscale体验。
图2为本发明实施例示出的虚拟现实系统的硬件结构示意图，如图2所示，本实施例中的FishEye Camera、IR Camera、TOF Camera、无线连接模块(即图2所示的60GHz Wifi)和IMU1与电磁接收器(即图2所示的电磁接收线圈)集成在头戴显示设备(Head-MountedDisplay，HMD)上。而IMU2与电磁发射器(即图2所示的电磁发射线圈)集成在输入设备上，即图2所示的电磁手柄上。
图3为本发明实施例示出的虚拟现实系统的电子线路示意图，如图3所示，本实施例中的中央处理器可以型号为Qualcom mm 845芯片实现，无线连接单元可以通过11ad芯片实现，如3所述，本实施例的虚拟现实系统还包括其他必要部件，例如麦克风、扬声器、支持4k(3840x2160)高清显示的显示器，即图3所示的4k Display，闪存储存器/动态随机存储器UFS/LPDDR，2.45G的Wifi，各种通信线路，如图3所示的I2S(Inter—IC Sound集成电路内置音频总线)、SPI(Serial Peripheral Interface，串行外设接口)、MIPI(Mobile IndustryProcessor Interface，移动产业处理器接口)、USB(Universal Serial Bus，通用串行总线)等等必要部件。
参考图3，本实施例中集成在头戴显示设备的功能部件通过相应的总线与接口与中央处理器芯片连接，例如通过I2S与中央处理器芯片连接的麦克风、扬声器，通过SPI与中央处理器芯片连接的IMU，通过MIPI与中央处理器芯片连接的CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)传感器，通过USB与中央处理器芯片连接的无线连接芯片，通过PCIe(peripheral component interconnect express，高速串行计算机扩展总线标准)与中央处理器芯片连接的2.4/5GWifi、60GHz Wifi等等。
在一个实施例中，双目FishEye Camera用于采集外部图像，并将外部图像发送给中央处理器；IMU1，用于采集头戴显示设备的空间姿态数据，并将空间姿态数据发送给中央处理器；中央处理器，用于根据接收到的外部图像与空间姿态数据实现对头戴显示设备的6DoF空间定位。
如图4所示，FishEye Camera采集数据的帧率30fps，IMU1采集的空间姿态数据的频率为1000Hz，通过IMU1和FishEye Camera采集到的数据实现HMD的支持Roomscale级别的SLAM功能。所涉及的算法处理运行在中央处理器的Qualcom mm 845中。
参考图4，FishEye Left Camera与FishEye Right Camera分别以30fps帧率采集图像数据，通过MIPI发送给Qualcom mm 845，IMU1以1000Hz的频率采集HMD的空间姿态数据，通过SLPI发送给Qualcom mm 845，Qualcom mm 845对图像数据进行图像处理(即图4所示的Camera Feature Processing)，对空间姿态数据进行数据处理(即图4所示的IMU DataProcessing)，基于预设算法对这两种数据进行数据融合，例如进行Relocalization(重定位)、continuous Map optimization(连续映射优化)、Environment mapping(环境纹理映射)等处理，实现位姿生成与预测pose Generation and prediction，进而获得待校正图像Warp image based on the latest head pose和应用渲染，利用应用渲染对待校正图像进行校正，将校正后的图像通过显示器进行显示。
在一个实施例中，输入设备上还设置有无线传输模块，用于与HMD上的无线连接模块配合，实现HMD与输入设备之间数据的无线传输；
IMU2用于采集输入设备的空间姿态数据，并通过无线传输模块与无线连接模块将该空间姿态数据发送给中央处理器；
电磁发射器，用于发射电磁数据；电磁接收器用于接收电磁发射器发射的电磁数据，并将该电磁数据发射给中央处理器；中央处理器用于根据接收到的电磁数据计算所述输入设备与所述头戴显示设备的相对位置关系，基于所述相对位置关系和接收到的所述空间姿态数据，实现对输入设备的6DoF空间定位。
其中，对输入设备的6DoF空间定位的原理如图5所示，在电磁射(传感)器的X轴，Y轴，Z轴产生三个频率不相同的正弦信号，因磁感应强度的变化，电磁接收(传感)器的X’轴，Y’轴，Z’轴产生感应电动势，通过电磁接收器接收三路感应信号，利用定位算法，计算出接收器与发射器的相对位置信息和相对姿态信息。由于电磁发射器设置在输入设备上，而电磁接收器设置HMD上，与显示屏有固定的坐标系关系，通过坐标系转换，可以计算出输入设备与显示屏的坐标系关系，进而可以实现对输入设备的6DoF空间定位，当输入设备具体为电磁手柄时，即可实现对手部的6DoF空间定位。
在一个实施例中，无线连接模块为融合WiGig和Wifi协议的无线连接模块，即为图2所示的60GHz Wifi。中央处理器，通过无线连接模块将6DoF空间定位数据，例如HMD的6DoF空间定位数据和/或输入设备的6DoF空间定位数据发送给虚拟现实系统的对端设备，即如2所示的PC设备，使对端设备根据6自由度空间定位数据对待处理图像进行渲染与压缩处理，并将处理后的图像数据通过所无线连接模块发送给中央处理器；中央处理器，通过所该无线连接模块接收对端设备发送的图像数据，将所述图像数据进行显示。
示例性的，无线连接模块选用11ad芯片，最大支持4.6Gbps的数据传输，保证了大的数据带宽和低的数据传输延时。HMD通过60GHz Wifi将6DoF数据传输给PC端，PC端进行渲染，并编码压缩以后，通过USB3.0/Ethernet/PCIe发送给11ad芯片，11ad芯片通过60GHzWifi发送到HMD，HMD解码后即可显示图像。
在一个实施例中，TOF镜头，用于采集深度图像，并发送给中央处理器；中央处理器，用于根据所述深度图像实现手势识别功能。
其中，本实施例手势识别的原理如图7所示，TOF镜头的深度处理器控制激光发射器的发射时间和发射脉冲宽度，通过控制CCD传感器在不同时间段获取IR图像，分别计算外部环境的红外图像，物体反射后的红外图像，从而计算出外界物体各个点的反射后激光的飞行时间，从而可以计算出每个像素点的深度信息，深度信息(640x480)和IR图像(640x480)合成一副图像后通过MIPI发送给中央处理器，即Qualcom mm 845芯片，基于手势识别算法完成手势功能的判断。
由于深度信息的计算依靠IR图像，而IR图像和深度信息是完全同步的，因此，可以更好的做到手势识别功能。
在一个实施例中，TOF镜头采集深度图像，并发送给中央处理器；双目鱼眼镜头采集外部图像，并发送给中央处理器，外部图像包括灰度图像；中央处理器根据深度图像与灰度图像实现避障功能。
其中，本实施例避障功能的实现原理如图8所示，在应用场景中，如存在障碍物(如会议桌)，在建模的过程中，通过TOF镜头采集的深度数据获取障碍物的轮廓信息，为解决环境较黑时IR图像的问题，本实施例结合Fisheye Camera获取障碍物的灰度图像，建模时将障碍物虚拟到场景中，实现虚拟现实系统的精确避障功能。
在一个实施例中，HMD的两目镜周围分别设置有红外发射器，例如分别在每个目镜周围各设置一圈红外发射器，利用接收到的透过目镜向眼部发射红外线；此时，红外镜头采集眼部的红外图像，并发送给中央处理器；中央处理器根据红外图像实现眼球追踪功能。
其中，本实施例眼球追踪功能的实现原理如图9所示，集成在HMD内部的红外发射器主动发射红外信号，通过分色镜反射红外信号，设置在两目镜相应位置处的两组IRcamera采集IR图像并发送给中央处理，中央处理器通过IR图像分析眼球的角度，实现眼球追踪的目的。
综上所述，本实施例通过两个FishEye Camera和IMU1可以实现虚拟现实系统空间位置和空间姿态的追踪，通过输入设备，实现360度全景范围内的高精度追踪；本实施通过二者的结合可以实现房间规模(Roomscale)级别的位置跟踪，并且非常适用于Roomscale的游戏场景。本实施例通过无线连接模块进行高吞吐量、低延时无线数据的导入，可以将虚拟现实系统应用到PC游戏平台，结合头部与手部6DoF实现方式的优势，可以实现一个低延时、高精度、无需添加外设电池等实用方便的HMD一体机。本实施例还通过引入TOF镜头可以实现高精度平面和障碍物检测，能够更好的发挥虚拟现实系统Roomscale的使用优势，也可以用于手势检测，进一步增加虚拟现实系统的交互方式，而且通过IR Camera实现眼球追踪功能即可以实现软件瞳距调整，注释点渲染提高系统帧率，带来更好的Roomscale体验。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种虚拟现实系统，其特征在于，包括：头戴显示设备、输入设备和定位模组，所述头戴显示设备上集成有中央处理器和与所述中央处理器连接的镜头模组和无线连接模块；
所述镜头模组包括双目鱼眼镜头、红外镜头和TOF镜头，所述定位模组包括集成在所述头戴显示设备上的第一惯性测量单元、集成在所述头戴显示设备上的电磁接收器、集成在所述输入设备上的第二惯性测量单元和集成在所述输入设备上的电磁发射器；
所述中央处理器，还分别与所述第一惯性测量单元和电磁接收器连接，用于与所述双目鱼眼镜头、红外镜头、TOF镜头、无线连接模块、第一惯性测量单元和电磁接收器进行数据交互并进行指令控制，实现对所述头戴显示设备的6自由度空间定位，对所述输入设备的6自由度空间定位、实现所述虚拟现实系统的避障功能、手势识别功能、眼球追踪功能和无线传输功能。
2.根据权利要求1所述的虚拟现实系统，其特征在于，
所述双目鱼眼镜头，用于采集外部图像，并将所述外部图像发送给所述中央处理器；
所述第一惯性测量单元，用于采集所述头戴显示设备的空间姿态数据，并将所述空间姿态数据发送给所述中央处理器；
所述中央处理器，用于根据接收到的所述外部图像与所述空间姿态数据实现对所述头戴显示设备的6自由度空间定位。
3.根据权利要求1所述的虚拟现实系统，其特征在于，所述输入设备上还设置有无线传输模块；
所述第二惯性测量单元，用于采集所述输入设备的空间姿态数据，并通过所述无线传输模块与所述无线连接模块将所述空间姿态数据发送给所述中央处理器；
所述电磁发射器，用于发射电磁数据；
所述电磁接收器，用于接收所述电磁发射器发射的电磁数据，并将所述电磁数据发送给所述中央处理器；
所述中央处理器，用于根据接收到的所述电磁数据计算所述输入设备与所述头戴显示设备的相对位置关系，基于所述相对位置关系和接收到的所述空间姿态数据，实现对所述输入设备的6自由度空间定位。
4.根据权利要求3所述的虚拟现实系统，其特征在于，所述输入设备具体为电磁手柄。
5.根据权利要求1所述的虚拟现实系统，其特征在于，所述无线连接模块为融合WiGig和Wifi协议的无线连接模块。
6.根据权利要求5所述的虚拟现实系统，其特征在于，
所述中央处理器，通过所述无线连接模块将6自由度空间定位数据发送给所述虚拟现实系统的对端设备，使对端设备根据所述6自由度空间定位数据对待处理图像进行渲染与压缩处理，并将处理后的图像数据通过所述无线连接模块发送给所述中央处理器；
所述中央处理器，通过所述无线连接模块接收所述对端设备发送的所述图像数据，将所述图像数据进行显示。
7.根据权利要求1所述的虚拟现实系统，其特征在于，
所述TOF镜头，用于采集深度图像，并发送给所述中央处理器；
所述中央处理器，用于根据所述深度图像实现手势识别功能。
8.根据权利要求1所述的虚拟现实系统，其特征在于，
所述TOF镜头，用于采集深度图像，并发送给所述中央处理器；
所述双目鱼眼镜头，用于采集外部图像，并发送给所述中央处理器，所述外部图像包括灰度图像；
所述中央处理器，用于根据所述深度图像与所述灰度图像实现避障功能。
9.根据权利要求1所述的虚拟现实系统，其特征在于，所述头戴显示设备的两目镜周围分别设置有红外发射器；
所述红外发射器，用于透过目镜向眼部发射红外线；
所述红外镜头，用于采集眼部的红外图像，并发送给所述中央处理器；
所述中央处理器，用于根据所述红外图像实现眼球追踪功能。
10.根据权利要求9所述的虚拟现实系统，其特征在于，所述头戴显示设备上集成有所述两组红外镜头，所述两组红外镜头分别设置在所述两目镜相应位置处。
CN201911149777.3A 2019-11-21 2019-11-21 一种虚拟现实系统 Pending CN111061363A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911149777.3A CN111061363A (zh) 2019-11-21 2019-11-21 一种虚拟现实系统
PCT/CN2020/115302 WO2021098358A1 (zh) 2019-11-21 2020-09-15 一种虚拟现实系统
US17/778,781 US20230004218A1 (en) 2019-11-21 2020-09-15 Virtual reality system
EP20890065.4A EP4064005A4 (en) 2019-11-21 2020-09-15 VIRTUAL REALITY SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911149777.3A CN111061363A (zh) 2019-11-21 2019-11-21 一种虚拟现实系统

Publications (1)

Publication Number Publication Date
CN111061363A true CN111061363A (zh) 2020-04-24

Family

ID=70297988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911149777.3A Pending CN111061363A (zh) 2019-11-21 2019-11-21 一种虚拟现实系统

Country Status (4)

Country Link
US (1) US20230004218A1 (zh)
EP (1) EP4064005A4 (zh)
CN (1) CN111061363A (zh)
WO (1) WO2021098358A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
WO2021098358A1 (zh) * 2019-11-21 2021-05-27 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN113382228A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113866987A (zh) * 2021-09-29 2021-12-31 北京理工大学 利用手势交互调节增强现实头盔显示器瞳距和像面的方法
WO2022142403A1 (zh) * 2020-12-31 2022-07-07 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN117348734A (zh) * 2023-12-06 2024-01-05 山东大学 一种双人漫游模式的交互系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109655789A (zh) * 2018-12-26 2019-04-19 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位追踪装置、方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
CN109074090A (zh) * 2016-02-29 2018-12-21 深圳市大疆创新科技有限公司 无人机硬件架构
US10365712B2 (en) * 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
JP6783950B2 (ja) * 2016-11-23 2020-11-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の障害物回避制御方法および無人航空機
EP3508936B1 (en) * 2017-11-02 2020-03-18 Autel Robotics Co., Ltd. Obstacle avoidance method and apparatus, movable object, and computer-readable storage medium
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US20190204599A1 (en) * 2017-12-28 2019-07-04 Microsoft Technology Licensing, Llc Head-mounted display device with electromagnetic sensor
US10915164B2 (en) * 2018-09-05 2021-02-09 Magic Leap, Inc. Directed emitter/sensor for electromagnetic tracking in augmented reality systems
US10803314B2 (en) * 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN113543863A (zh) * 2019-02-28 2021-10-22 奇跃公司 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统
US11527171B2 (en) * 2019-04-22 2022-12-13 The Commons XR LLC Virtual, augmented and extended reality system
US11360557B2 (en) * 2019-08-06 2022-06-14 Apple Inc. Eye tracking system
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109655789A (zh) * 2018-12-26 2019-04-19 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位追踪装置、方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098358A1 (zh) * 2019-11-21 2021-05-27 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
US11797083B2 (en) 2020-11-16 2023-10-24 Qingdao Pico Technology Co., Ltd. Head-mounted display system and 6-degree-of-freedom tracking method and apparatus thereof
WO2022142403A1 (zh) * 2020-12-31 2022-07-07 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
US11819755B2 (en) 2020-12-31 2023-11-21 Qingdao Pico Technology Co., Ltd. VR system and positioning and tracking method of VR system
EP4192007A4 (en) * 2020-12-31 2024-03-20 Qingdao Pico Technology Co., Ltd. VR SYSTEM AND POSITIONING AND TRACKING METHOD THEREOF
CN113382228A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113382228B (zh) * 2021-05-17 2023-04-18 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
CN113866987A (zh) * 2021-09-29 2021-12-31 北京理工大学 利用手势交互调节增强现实头盔显示器瞳距和像面的方法
CN117348734A (zh) * 2023-12-06 2024-01-05 山东大学 一种双人漫游模式的交互系统及方法
CN117348734B (zh) * 2023-12-06 2024-04-16 山东大学 一种双人漫游模式的交互系统及方法

Also Published As

Publication number Publication date
EP4064005A4 (en) 2023-11-15
WO2021098358A1 (zh) 2021-05-27
EP4064005A1 (en) 2022-09-28
US20230004218A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
CN111061363A (zh) 一种虚拟现实系统
US9710973B2 (en) Low-latency fusing of virtual and real content
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
JP6622395B2 (ja) バーチャルリアリティ画像を調整する方法及び装置
CN107111370B (zh) 现实世界对象的虚拟表示
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
KR20220110205A (ko) 헤드 장착식 디스플레이들에 대한 컨텐츠 안정화
US20130326364A1 (en) Position relative hologram interactions
US20140347391A1 (en) Hologram anchoring and dynamic positioning
JP2018511098A (ja) 複合現実システム
US9626561B2 (en) Method and apparatus for connecting devices using eye tracking
KR20150130495A (ko) 적어도 두 개의 제어 객체들에 의해 수행되는 제스처의 검출
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
WO2014071254A4 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN108885487B (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN105429989A (zh) 虚拟现实设备的模拟旅游方法及系统
WO2018176773A1 (zh) 三维空间的交互系统及其操作方法
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2023502552A (ja) ウェアラブルデバイス、インテリジェントガイド方法及び装置、ガイドシステム、記憶媒体
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
WO2017061890A1 (en) Wireless full body motion control sensor
US11436818B2 (en) Interactive method and interactive system
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
CN114416237A (zh) 显示状态切换方法、装置及系统、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication