CN112181138B - 自适应智能头手vr系统、方法 - Google Patents

自适应智能头手vr系统、方法 Download PDF

Info

Publication number
CN112181138B
CN112181138B CN202010973590.1A CN202010973590A CN112181138B CN 112181138 B CN112181138 B CN 112181138B CN 202010973590 A CN202010973590 A CN 202010973590A CN 112181138 B CN112181138 B CN 112181138B
Authority
CN
China
Prior art keywords
handle
head
electromagnetic
tracking
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010973590.1A
Other languages
English (en)
Other versions
CN112181138A (zh
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010973590.1A priority Critical patent/CN112181138B/zh
Publication of CN112181138A publication Critical patent/CN112181138A/zh
Priority to PCT/CN2021/118544 priority patent/WO2022057833A1/zh
Application granted granted Critical
Publication of CN112181138B publication Critical patent/CN112181138B/zh
Priority to US17/884,973 priority patent/US12026299B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种自适应智能头手VR系统，包括头戴、手柄、控制端和电磁模块，在头戴上设置有头戴摄像头，头戴摄像头用于获取头戴坐标系的外部环境图像；在手柄上设置有手柄摄像头，手柄摄像头用于获取手柄坐标系的外部环境图像；控制端包括和控制端数据库和数据选择模块；控制端数据库用于存放手柄坐标系的外部环境图像；数据选择模块用于判断追踪手柄所采用的追踪模式，该追踪模式包括光学追踪和电磁追踪，电磁模块与数据选择模块相连接，若采用光学追踪，则电磁模块用于将头戴坐标系的外部环境图像，手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪。

Description

自适应智能头手VR系统、方法
技术领域
本发明涉及计算机视觉领域，更为具体地，涉及一种自适应智能头手VR系统、方法。
背景技术
目前在VR视觉领域，现有的All-in-one VR 6DOF一体机设计中，大部分支持头部6DOF追踪，通过光学、超声波、电磁等方案判断头戴与手柄的相对位置关系，在当前头戴的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系，以上方案中，采用光学追踪存在光学限制，采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，采用电磁追踪方案同样存在外界磁场干扰问题，现有产品应用中还不存在能够有效解决上述问题的解觉方案。
因此，亟需一种能够既解决光学限制的问题，又解决在磁场强度较大时电磁手柄不能使用的问题的自适应智能头手VR系统。
发明内容
鉴于上述问题，本发明的目的是提供一种自适应智能头手VR系统，解决现有的All-in-one VR 6DOF一体机设计若采用光学追踪存在FOV的限制，若采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，若采用电磁追踪方案同样存在外界磁场干扰问题，从而导致VR系统的抗干扰能力差、精度低。
本发明提供的一种自适应智能头手VR系统，包括头戴、与所述头戴相匹配的手柄、控制端和电磁模块，其中，
在所述头戴上设置有头戴摄像头，所述头戴摄像头用于获取头戴坐标系的外部环境图像；
在所述手柄上设置有手柄摄像头，所述手柄摄像头用于获取手柄坐标系的外部环境图像；
所述控制端包括和控制端数据库和数据选择模块；
所述控制端数据库用于存放所述手柄坐标系的外部环境图像；
所述数据选择模块用于判断追踪所述手柄所采用的追踪模式，其中，所述追踪模式包括光学追踪；
所述电磁模块与所述数据选择模块相连接，若采用光学追踪，则所述电磁模块用于对所述头戴坐标系的外部环境图像和所述手柄坐标系的外部环境图像进行坐标系转换，以使所述头戴摄像头获取的外部环境图像和所述手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪。
优选地，所述控制端设置在所述头戴上。
优选地，所述电磁模块包括电磁发射模组和电磁接收模组；所述电磁发射模组用于发射电磁信号，所述电磁接收模组用于接收所述电磁发射模组发射的电磁信号。
优选地，所述电磁发射模组设置在所述手柄上；
所述电磁接收模组设置在所述头戴上。
优选地，所述追踪模式还包括电磁追踪；
若采用电磁追踪，则设置在所述头戴上的电磁接收模组接收设置在所述手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪。
优选地，所述头戴和所述手柄还包括IMU传感器模块，所述IMU传感器模块至少包括重力加速度传感器和陀螺仪，用于获取所述头戴与所述手柄的追踪信息及位置预测信息。
优选地，还包括无线芯片，
所述无线芯片包括设置在所述头戴上的头戴无线芯片和设置在所述手柄上的手柄无线芯片，所述手柄无线芯片与所述头戴无线芯片相匹配，用于传输无线信息；
所述无线信息至少包括所述手柄坐标系的外部环境图像、所述手柄的按键信息、所述IMU传感器模块获取的所述手柄的IMU传感信息、所述头戴的时间系统与所述手柄的时间系统的同步信息。
优选地，所述数据选择模块根据预设的阈值，以及所述控制端数据库中所述手柄坐标系的外部环境图像的更新准确度选择追踪手柄采用光学追踪还是电磁追踪。
优选地，若所述控制端数据库中的外部环境图像更新的准确度不小于预设的准确度标准值，，且所述手柄摄像头的光学FOV在所述阈值的范围之内，则自动选择光学追踪；
若所述控制端数据库中的外部环境图像更新的准确度小于预设的准确度标准值，或所述手柄摄像头的光学FOV在所述阈值的范围之外，则自动选择电磁追踪。
本发明还提供一种自适应智能头手VR运行方法，基于上述自适应智能头手VR系统，包括：
通过头戴摄像头、手柄摄像头分别获取头戴坐标系的外部环境图像和手柄坐标系的外部环境图像，并将所述手柄坐标系的外部环境图像存储至控制端数据库；
根据所述控制端数据库中所述手柄坐标系的外部环境图像的更新准确度判断追踪所述手柄所采用的追踪模式；所述追踪模式包括光学追踪和电磁追踪；
若采用光学追踪，则对所述头戴坐标系的外部环境图像和所述手柄坐标系的外部环境图像进行坐标系转换，以使所述头戴摄像头获取的外部环境图像和所述手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪；
若采用电磁追踪，则设置在头戴上的电磁接收模组接收设置在手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪。
从上面的技术方案可知，本发明提供的自适应智能头手VR运行系统、方法，通过在手柄上安装手柄摄像头，使手柄亦能独立获取外部环境图像，且设置有电磁模块，如此，既能够实现电磁追踪，也能够实现图像追踪，具体的，首先通过头戴摄像头、手柄摄像头分别获取头戴坐标系的外部环境图像和手柄坐标系的外部环境图像，并将手柄坐标系的外部环境图像存储至控制端数据库，进而判断追踪手柄采用光学追踪还是电磁追踪，若采用光学追踪，则将头戴坐标系的外部环境图像和手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪；若采用电磁追踪，则设置在头戴上的电磁接收模组接收设置在手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪，该种基于光学和电磁方案的结合，既解决光学限制的问题，又解决了在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学范围以内，使用高精度低延时的光学追踪方案，在光学范围以外，使用支持360度追踪的电磁解决方案，极大地提升了VR产品的抗干扰及环境适应能力。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的自适应智能头手VR系统的系统框架图；
图2为根据本发明实施例的自适应智能头手VR运行方法的方法流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
现有的All-in-one VR 6DOF一体机设计中大部分支持头部6DOF追踪，在当前头戴的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系，从而完成追踪，以上方案中，采用光学追踪存在光学限制，采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，采用电磁追踪方案也同样存在外界磁场干扰问题，因而造成VR产品抗干扰能力若、精度低的问题。
针对上述问题，本发明提供一种自适应智能头手VR系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的自适应智能头手VR系统，图1对本发明实施例的自适应智能头手VR系统进行了示例性标示；图2对本发明实施例的自适应智能头手VR运行方法进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的自适应智能头手VR系统100，包括头戴110、与头戴相匹配的手柄120、控制端112和电磁模块，在头戴110上设置有头戴摄像头111，该头戴摄像头111用于获取头戴坐标系的外部环境图像，在手柄120上设置有手柄摄像头121，该手柄摄像头121用于获取手柄坐标系的外部环境图像，需要说明的是，这里所述的头戴坐标系、手柄坐标系，并非指以头戴或手柄为坐标系原点的地理坐标或数据坐标，而是指所获取的外部环境图像在头戴或手柄中不同的位置描述方式，即头戴对于所获取的外部环境图像有单独的定位/描述方式，手柄对于所获取的外部环境图像也有自己单独的定位/描述方式，二者虽然获取的是相同的外部环境，但头戴坐标系的外部环境图像与手柄坐标系的外部环境图像二者所处坐标系不同，描述方式不同，头戴坐标系的外部环境图像体现头戴与外部环境的相对关系，手柄坐标系的外部环境图像体现手柄与外部环境的相对关系，从而能够推导出头戴与手柄的相对关系，进而使头戴完成对手柄的位置及动态追踪。
在图1所示的实施例中，控制端112包括和控制端数据库112-1和数据选择模块112-2，该控制端112的具体设置位置不作具体限制，在本实施例中，该控制端112设置在头戴110上；控制端112中等控制端数据库112-1用于存放手柄坐标系的外部环境图像，控制端112中的数据选择模块112-2用于判断追踪手柄120所采用的追踪模式，该追踪模式包括光学追踪和电磁追踪，在本实施例中，该数据选择模块112-2根据预设的阈值，以及控制端数据库112-1中手柄坐标系的外部环境图像的更新准确度选择手柄采用光学追踪还是电磁追踪，控制端数据库112-1中的外部环境图像更新的准确度不小于预设的准确度标准值，则说明控制端数据库112-1中的外部环境图像更新准确，若控制端数据库112-1中的外部环境图像更新准确，且手柄摄像头121的光学FOV在预设的阈值范围之内，则自动选择光学追踪；若控制端数据库112-1中的外部环境图像更新的准确度小于预设的准确度标准值，则说明控制端数据库121-1中的外部环境图像更新偏差，若控制端数据库121-1中的外部环境图像更新偏差，或手柄摄像头121的光学FOV在预设的阈值范围之外，则自动选择电磁追踪，该准确度标准值为提前预设的，该标准值可以包括画面分辨率、清晰度、对比度及亮度，具体的数值不作具体限制，比如，在初始的开机阶段、在控制端数据库121-1没有准备好的阶段，使用电磁追踪以保证6DOF追踪的基本功能；在头戴110和控制端数据库121-1处于更新阶段时，通过电磁数据校验该控制端数据库121-1中的外部环境图像是否更新准确，若更新准确，则转换成精度更高的光学追踪；在光学遮挡时，光学FOV已经超过了预设的阈值，则采用电磁追踪，通过电磁数据实时校正追踪位置的偏差；在手柄快速移动等对光学精度影响较大的场景，则采用电磁追踪，通过电磁数据实时校正IMU追踪位置的偏差。
在图1所示的实施例中，电磁模块与数据选择模块121-2相连接，若采用光学追踪，则电磁模块用于对头戴坐标系的外部环境图像和手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和手柄摄像头获取的外部环境图像处于相同的坐标系，从而判断出手柄相对头戴的位置关系，进而完成光学追踪。
在图1所示的实施例中，该电磁模块包括电磁发射模组122和电磁接收模组113；该电磁发射模组122用于发射电磁信号，该电磁接收模组113用于接收该电磁发射模组122发射的电磁信号，在本事实例中，该电磁发射模组122设置在手柄120上，该电磁接收模组113设置在头戴110上，如此，头戴110能够实现对手柄120的电磁追踪，若追踪手柄120采用电磁追踪，则设置在头戴110上的电磁接收模组113接收设置在手柄120上的电磁发射模组122所发出的电磁信号以完成对手柄的电磁追踪，具体的，电磁发射模组122在X轴，Y轴，Z轴产生三个频率不相同的正弦信号，因磁感应强度的变化，在电磁接收模组113的X’轴，Y’轴，Z’轴产生感应电动势以接收三路感应信号，利用6DOF定位算法，计算出电磁发射模组122与电磁接收模组113的相对位置信息和相对姿态信息，电磁接收模组113在头戴110上固定，与头戴110上的显示屏有固定的坐标系关系，通过坐标系转换，可以计算出电磁发射模组122与头戴110上的显示屏的坐标关系，实现手柄120的6DOF功能。
如图1所示的实施例，头戴110和手柄120还包括IMU传感器模块(图中未示出)，该IMU传感器模块至少包括重力加速度传感器和陀螺仪，用于获取头戴与手柄的追踪信息及位置预测信息。
图1所示的自适应智能头手VR系统中还包括无线芯片，该无线芯片包括设置在头戴110上的头戴无线芯片114和设置在手柄120上的手柄无线芯片123，该手柄无线芯片123与头戴无线芯片114相匹配，用于传输无线信息；该无线信息至少包括手柄坐标系的外部环境图像、手柄的按键信息、IMU传感器模块获取的手柄的IMU传感信息、头戴的时间系统与手柄的时间系统的同步信息，从而完成头戴110与手柄120之间的信息传输。
此外，如图1所示的实施例，在自适应智能头手VR系统中的摄像头均包括共有地址与私有地址，该公有地址为广播地址，用于对多个配置相同的摄像头进行快速写入操作，该私有地址用于针对需特殊配置的摄像头进行特殊配置及摄像头寄存器读取操作，在本实施例中，每个摄像头均具备两个I2C的设备地址，一个公有、一个私有，采用一个I2C驱动多个摄像头，在初始化时，通过RST引脚设置摄像头1，摄像头2，摄像头3，摄像头4依次工作，在每个摄像头工作时，分别设置4个摄像头的广播地址和私有地址，4个摄像头I2C地址设置完成以后，通过广播地址和私有地址快速完成4个摄像头的初始化。
如图1所示的实施例，在自适应智能头手VR系统中摄像头的传感器接收到FSIN信号以后，复位输出的时钟，一段时间以后输出MIPI数据，该FSIN信号不改变已经产生的信号，为保证系统的稳定性，FSIN信号在曝光信号结束以后、在Vsync信号输出之前能够完成同步功能，既保证了同步功能，又保证了信号的稳定性，该同步的信号可以和Camera帧率信号相同，也可以是帧率的1/2等。
通过上述实施方式可以看出，本发明提供的自适应智能头手VR系统，包括头戴、手柄、控制端和电磁模块，在头戴上设置有头戴摄像头以获取头戴坐标系的外部环境图像；在手柄上设置有手柄摄像头以获取手柄坐标系的外部环境图像，控制端包括用于存放手柄坐标系的外部环境图像的控制端数据库和用于判断追踪手柄采用光学追踪还是电磁追踪的数据选择模块，电磁模块与数据选择模块相连接，若追踪手柄采用光学追踪，则电磁模块用于对头戴坐标系的外部环境图像和手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和所述手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪，如此，既解决光学限制问题，又解决在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学范围以内，使用高精度低延时的光学追踪方案，在光学范围以外，使用支持360度追踪的电磁解决方案，极大地提升VR产品的抗干扰及环境适应能力，提升用户在使用过程中的沉浸感。
与前述自适应智能头手VR系统相对应，本发明还提供一种自适应智能头手VR运行方法。图2示出了根据本发明实施例的自适应智能头手VR运行方法流程图。
如图2所示，本发明提供的自适应智能头手VR运行方法，基于上述的自适应智能头手VR系统，包括：
S110：通过头戴摄像头、手柄摄像头分别获取头戴坐标系的外部环境图像和手柄坐标系的外部环境图像，并将手柄坐标系的外部环境图像存储至控制端数据库；
S120：根据控制端数据库中手柄坐标系的外部环境图像的更新准确度判断追踪手柄所采用的追踪模式；该追踪模式包括光学追踪和电磁追踪；
S130：若采用光学追踪，则对头戴坐标系的外部环境图像和手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪；
S140：若采用电磁追踪，则设置在头戴上的电磁接收模组接收设置在手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪。
通过上述实施方式可以看出，本发明提供的自适应智能头手VR运行方法，通过在手柄上安装手柄摄像头，使手柄亦能独立获取外部环境图像，且设置有电磁模块，如此，既能够实现电磁追踪，也能够实现图像追踪，具体的，首先通过头戴摄像头、手柄摄像头分别获取头戴坐标系的外部环境图像和手柄坐标系的外部环境图像，并将手柄坐标系的外部环境图像存储至控制端数据库，根据控制端数据库中手柄坐标系的外部环境图像的更新准确度判断追踪手柄采用光学追踪还是电磁追踪；若采用光学追踪，则将头戴坐标系的外部环境图像和手柄坐标系的外部环境图像进行坐标系转换，以使头戴摄像头获取的外部环境图像和手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪；若采用电磁追踪，则设置在头戴上的电磁接收模组接收设置在手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪，该种基于光学和电磁方案的结合，既解决光学限制的问题，又解决了在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学范围以内，使用高精度低延时的光学追踪方案，在光学范围以外，使用支持360度追踪的电磁解决方案，极大地提升了VR产品的抗干扰及环境适应能力。
如上参照附图以示例的方式描述了根据本发明提出的自适应智能头手VR系统的系统、方法。但是，本领域技术人员应当理解，对于上述本发明所提出的自适应智能头手VR系统的系统、方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种自适应智能头手VR系统，其特征在于，包括头戴、与所述头戴相匹配的手柄、控制端和电磁模块，其中，
在所述头戴上设置有头戴摄像头，所述头戴摄像头用于获取头戴坐标系的外部环境图像；
在所述手柄上设置有手柄摄像头，所述手柄摄像头用于获取手柄坐标系的外部环境图像；
所述控制端包括控制端数据库和数据选择模块；
所述控制端数据库用于存放所述手柄坐标系的外部环境图像；
所述数据选择模块用于判断追踪所述手柄所采用的追踪模式，其中，所述追踪模式包括光学追踪；
所述电磁模块与所述数据选择模块相连接，若采用光学追踪，则所述电磁模块用于对所述头戴坐标系的外部环境图像和所述手柄坐标系的外部环境图像进行坐标系转换，以使所述头戴摄像头获取的外部环境图像和所述手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪。
2.如权利要求1所述的自适应智能头手VR系统，其特征在于，
所述控制端设置在所述头戴上。
3.如权利要求2所述的自适应智能头手VR系统，其特征在于，
所述电磁模块包括电磁发射模组和电磁接收模组；所述电磁发射模组用于发射电磁信号，所述电磁接收模组用于接收所述电磁发射模组发射的电磁信号。
4.如权利要求3所述的自适应智能头手VR系统，其特征在于，
所述电磁发射模组设置在所述手柄上；
所述电磁接收模组设置在所述头戴上。
5.如权利要求4所述的自适应智能头手VR系统，其特征在于，
所述追踪模式还包括电磁追踪；
若采用电磁追踪，则设置在所述头戴上的电磁接收模组接收设置在所述手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪。
6.如权利要求1所述的自适应智能头手VR系统，其特征在于，
所述头戴和所述手柄还包括IMU传感器模块，所述IMU传感器模块至少包括重力加速度传感器和陀螺仪，用于获取所述头戴与所述手柄的追踪信息及位置预测信息。
7.如权利要求6所述的自适应智能头手VR系统，其特征在于，还包括无线芯片，
所述无线芯片包括设置在所述头戴上的头戴无线芯片和设置在所述手柄上的手柄无线芯片，所述手柄无线芯片与所述头戴无线芯片相匹配，用于传输无线信息；
所述无线信息至少包括所述手柄坐标系的外部环境图像、所述手柄的按键信息、所述IMU传感器模块获取的所述手柄的IMU传感信息、所述头戴的时间系统与所述手柄的时间系统的同步信息。
8.如权利要求1所述的自适应智能头手VR系统，其特征在于，
所述数据选择模块根据预设的阈值，以及所述控制端数据库中所述手柄坐标系的外部环境图像的更新准确度选择追踪手柄采用光学追踪还是电磁追踪。
9.如权利要求8所述的自适应智能头手VR系统，其特征在于，
若所述控制端数据库中的外部环境图像更新的准确度不小于预设的准确度标准值，且所述手柄摄像头的光学FOV在所述阈值的范围之内，则自动选择光学追踪；
若所述控制端数据库中的外部环境图像更新的准确度小于预设的准确度标准值，或所述手柄摄像头的光学FOV在所述阈值的范围之外，则自动选择电磁追踪。
10.一种自适应智能头手VR运行方法，其特征在于，基于如权利要求1-9任一所述的自适应智能头手VR系统，包括：
通过头戴摄像头、手柄摄像头分别获取头戴坐标系的外部环境图像和手柄坐标系的外部环境图像，并将所述手柄坐标系的外部环境图像存储至控制端数据库；
根据所述控制端数据库中所述手柄坐标系的外部环境图像的更新准确度判断追踪所述手柄所采用的追踪模式；所述追踪模式包括光学追踪和电磁追踪；
若采用光学追踪，则对所述头戴坐标系的外部环境图像和所述手柄坐标系的外部环境图像进行坐标系转换，以使所述头戴摄像头获取的外部环境图像和所述手柄摄像头获取的外部环境图像处于相同的坐标系，完成光学追踪；
若采用电磁追踪，则设置在头戴上的电磁接收模组接收设置在手柄上的电磁发射模组所发出的电磁信号以完成手柄的电磁追踪。
CN202010973590.1A 2020-09-16 2020-09-16 自适应智能头手vr系统、方法 Active CN112181138B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010973590.1A CN112181138B (zh) 2020-09-16 2020-09-16 自适应智能头手vr系统、方法
PCT/CN2021/118544 WO2022057833A1 (zh) 2020-09-16 2021-09-15 自适应智能头手vr系统、方法
US17/884,973 US12026299B2 (en) 2020-09-16 2022-08-10 Adaptive intelligent head-hand VR system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973590.1A CN112181138B (zh) 2020-09-16 2020-09-16 自适应智能头手vr系统、方法

Publications (2)

Publication Number Publication Date
CN112181138A CN112181138A (zh) 2021-01-05
CN112181138B true CN112181138B (zh) 2022-05-03

Family

ID=73920749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973590.1A Active CN112181138B (zh) 2020-09-16 2020-09-16 自适应智能头手vr系统、方法

Country Status (3)

Country Link
US (1) US12026299B2 (zh)
CN (1) CN112181138B (zh)
WO (1) WO2022057833A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181138B (zh) 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112214106B (zh) 2020-09-16 2023-05-30 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106772234A (zh) * 2017-02-10 2017-05-31 武汉大学 一种摄像头与电磁波协同定位追踪的方法和系统
CN108196258A (zh) * 2017-12-26 2018-06-22 青岛小鸟看看科技有限公司 外接设备的位置的确定方法及装置、虚拟现实设备及系统
CN111174683A (zh) * 2020-01-07 2020-05-19 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10747301B2 (en) * 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
CN112181138B (zh) * 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106772234A (zh) * 2017-02-10 2017-05-31 武汉大学 一种摄像头与电磁波协同定位追踪的方法和系统
CN108196258A (zh) * 2017-12-26 2018-06-22 青岛小鸟看看科技有限公司 外接设备的位置的确定方法及装置、虚拟现实设备及系统
CN111174683A (zh) * 2020-01-07 2020-05-19 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质

Also Published As

Publication number Publication date
US12026299B2 (en) 2024-07-02
WO2022057833A1 (zh) 2022-03-24
CN112181138A (zh) 2021-01-05
US20230288982A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
EP3628121B1 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
CN108229332B (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
US10311333B2 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
US11372249B2 (en) Information processing device and information processing method
US20170212585A1 (en) Ar output method and electronic device for supporting the same
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
US11189071B2 (en) Electronic device for providing avatar animation and method thereof
US10628711B2 (en) Determining pose of handheld object in environment
US12026299B2 (en) Adaptive intelligent head-hand VR system and method
US11262857B2 (en) Rendering device and rendering method
TR201815821T4 (tr) Bir cihazın kontrolu için yöntem.
US11733771B2 (en) High-precision anti-interference VR system and operation method
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
US20210385383A1 (en) Method for processing image by using artificial neural network, and electronic device supporting same
CN111061363A (zh) 一种虚拟现实系统
CN112950694A (zh) 图像融合的方法、单颗摄像头模组、拍摄装置及存储介质
KR20200038111A (ko) 전자 장치 및 제스처 인식 방법
CN116261706A (zh) 用于使用融合数据进行对象跟踪的系统和方法
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
KR20190031064A (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
CN108139203A (zh) 信息处理设备和位置信息获取方法
EP4060976A1 (en) Electronic device comprising camera and method thereof
CN109788195B (zh) 电子设备和移动平台
KR20210085256A (ko) 사용자의 위치를 제공하기 위한 전자 장치 및 방법
US20230122019A1 (en) Electronic device and method for performing capturing function in electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant