CN112214106B - 高精度抗干扰的vr系统、运行方法 - Google Patents

高精度抗干扰的vr系统、运行方法 Download PDF

Info

Publication number
CN112214106B
CN112214106B CN202010973572.3A CN202010973572A CN112214106B CN 112214106 B CN112214106 B CN 112214106B CN 202010973572 A CN202010973572 A CN 202010973572A CN 112214106 B CN112214106 B CN 112214106B
Authority
CN
China
Prior art keywords
module
tracking
electromagnetic
handle
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010973572.3A
Other languages
English (en)
Other versions
CN112214106A (zh
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010973572.3A priority Critical patent/CN112214106B/zh
Publication of CN112214106A publication Critical patent/CN112214106A/zh
Priority to PCT/CN2021/118542 priority patent/WO2022057832A1/zh
Priority to US17/885,836 priority patent/US11733771B2/en
Application granted granted Critical
Publication of CN112214106B publication Critical patent/CN112214106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/713—Spread spectrum techniques using frequency hopping
    • H04B1/715—Interference-related aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Communication System (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种高精度抗干扰的VR系统，包括数据选择模块、头戴和与头戴相匹配的手柄，数据选择模块用于根据光学FOV范围选择调用光学追踪模组和电磁追踪模组；光学追踪模组包括设置在手柄中的光学显示模块和设置在头戴上的光学追踪模块，其中，光学显示模块用于通过调整自身亮灭和亮度发出物理信号；光学追踪模块用于获取光学显示模块发出的物理信号，并将物理信号转化为手柄的追踪信息；电磁追踪模组包括设置在手柄上的电磁发射模块和设置在头戴上的电磁接收模块，其中，电磁发射模块用于通过驱动电路产生电磁信号，并发射电磁信号，电磁接收模块用于接收电磁信号，以完成电磁追踪。

Description

高精度抗干扰的VR系统、运行方法
技术领域
本发明涉及计算机视觉领域，更为具体地，涉及一种VR设备管理方法、系统。
背景技术
目前在VR视觉领域，现有的All-in-one VR 6DOF一体机设计中，大部分支持头部6DOF追踪，通过光学、超声波、电磁等方案判断头戴与手柄的相对位置关系，在当前头戴的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系，以上方案中，采用光学追踪存在FOV的限制，采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，采用电磁追踪方案同样存在外界磁场干扰问题，现有产品应用中还不存在能够有效解决上述问题的解觉方案。
因此，亟需一种能够既解决光学FOV较小的问题，又解决在磁场强度较大时电磁手柄不能使用的问题的高精度抗干扰的VR系统、运行方法。
发明内容
鉴于上述问题，本发明的目的是提供一种高精度抗干扰的VR系统，解决现有的All-in-one VR 6DOF一体机设计若采用光学追踪存在FOV的限制，若采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，若采用电磁追踪方案同样存在外界磁场干扰问题，从而导致VR系统的抗干扰能力差、精度低。
本发明提供的一种高精度抗干扰的VR系统，包括数据选择模块、头戴和与所述头戴相匹配的手柄，其中，
所述数据选择模块用于根据光学FOV范围选择调用光学追踪模组和电磁追踪模组；
所述光学追踪模组包括设置在所述手柄中的光学显示模块和设置在所述头戴上的光学追踪模块，其中，
所述光学显示模块用于通过调整自身亮灭和亮度发出物理信号；
所述光学追踪模块用于获取所述光学显示模块发出的物理信号，并将所述物理信号转化为所述手柄的追踪信息；
所述电磁追踪模组包括设置在所述手柄上的电磁发射模块和设置在所述头戴上的电磁接收模块，其中，
所述电磁发射模块用于通过驱动电路产生电磁信号，并发射所述电磁信号；
所述电磁接收模块用于接收所述电磁信号，以完成电磁追踪。
优选地，所述光学追踪模块包括头戴摄像头和参数调整模块，其中，
所述头戴摄像头用于追踪所述手柄和外部环境；
所述参数调整模块用于调整所述头戴摄像头的曝光参数、对齐各个头戴摄像头的曝光中心点，以及预设所述头戴摄像头的追踪规则；
所述追踪规则包括：所述头戴摄像头所获取图像的奇数帧用于追踪外部环境；所述头戴摄像头所获取图像的偶数帧用于追踪所述手柄。
优选地，在所述头戴和手柄中均设置有IMU传感器模块，用于获取所述头戴与所述手柄的追踪信息及位置预测信息，所述IMU传感器模块至少包括重力加速度传感器和陀螺仪；
并且，所述头戴中的IMU传感器模块还用于对所述曝光参数进行调整辅助；所述手柄中的IMU传感器模块还用于根据预测的手柄的追踪信息选择所述光学显示模块的亮灭，调节所述光学显示模块的亮度。
优选地，还包括无线传输模组，
所述无线传输模组包括设置在所述头戴上的头戴无线模块和设置在所述手柄上的手柄无线模块，所述手柄无线模块与所述头戴无线模块相匹配，用于与所述头戴无线模块相配合进行无线信号的传输。
优选地，所述无线信号包括所述手柄的按键信息、所述IMU传感器模块获取的所述手柄的IMU传感信息、所述头戴的时间系统与所述手柄的时间系统的同步信息，以及所述光学显示模块的显示信息。
优选地，所述电磁接收模块还用于对所述电磁信号进行信号放大、A/D转换，并通过FPGA芯片完成I2S到SPI或USB的数据转换以形成追踪数字信号，并将所述追踪数字信号传输至处理器。
优选地，所述处理器用于读取所述电磁发射模块的发射校准信息、获取所述电磁接收模块的接收校准信息以对电磁追踪系统进行初始化处理，并获取所述追踪数字信号以完成电磁追踪。
优选地，还包括时间戳实现模块，
所述时间戳实现模块用于计算手柄追踪过程中的延时时间，以获取追踪行为发生的正确时间戳。
优选地，当所述光学FOV在预设的阈值范围之内，自动选择光学追踪；
当所述光学FOV在所述预设的阈值范围之外，自动选择电磁追踪。
本发明还提供一种高精度抗干扰的VR运行方法，基于上述高精度抗干扰的VR系统，包括：
实时获取VR系统的光学FOV范围；
根据所述光学FOV范围选择调用追踪方式，所述追踪方式包括光学追踪方式和电磁追踪方式；其中，
若选择光学追踪方式，则获取手柄中光学显示模块的物理信号，将所述物理信息转化为数字信号，并将所述数字信号传输至处理器以完成光学追踪；
若选择电磁追踪方式，则获取手柄发射的电磁信号，对所述电磁信号进行数字化处理以形成数字信号，并将所述数字信号发送至处理器以完成电磁追踪。
从上面的技术方案可知，本发明提供的高精度抗干扰的VR系统、方法，该系统通过根据光学FOV范围选择调用光学追踪模组和电磁追踪模组；若选择光学追踪模组，则光学显示模块通过调整自身亮灭和亮度发出物理信号；光学追踪模块获取光学显示模块发出的物理信号，并将物理信号转化为所述手柄的追踪信息；若选择电磁追踪方式模组，则电磁发射模块通过驱动电路产生电磁信号，并发射电磁信号，电磁接收模块接收该电磁信号，以完成电磁追踪；该方法同理，首先实时获取VR系统的光学FOV范围，再根据光学FOV范围选择调用光学追踪方式和电磁追踪方式，如此，基于光学和电磁方案的结合，既解决光学FOV较小的问题，又解决了在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学FOV范围以内，使用高精度低延时的光学追踪方案，在光学FOV范围以外，使用支持360度追踪的电磁解决方案，极大地提升了VR产品的抗干扰及环境适应能力。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的高精度抗干扰的VR系统的系统框架图；
图2为根据本发明实施例的高精度抗干扰的VR运行方法的方法流程图。
具体实施方式
现有的All-in-one VR 6DOF一体机设计中大部分支持头部6DOF追踪，在当前头戴的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系，从而完成追踪，以上方案中，采用光学追踪存在FOV的限制，采用超声波追踪存在FOV限制、外界反射、遮挡等干扰问题，采用电磁追踪方案也同样存在外界磁场干扰问题，因而造成VR产品抗干扰能力若、精度低的问题。
针对上述问题，本发明提供一种高精度抗干扰的VR系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的高精度抗干扰的VR系统，图1对本发明实施例的高精度抗干扰的VR系统进行了示例性标示；图2对本发明实施例的高精度抗干扰的VR运行方法进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的高精度抗干扰的VR系统100，包括数据选择模块(图中未示出)、头戴110和与该头戴110相匹配的手柄120，在本实施例中采用一个头戴110匹配两个手柄120，该数据选择模块为虚拟模块，其用于根据光学FOV范围选择调用光学追踪模组和电磁追踪模组，当光学FOV在预设的阈值范围之内，自动选择光学追踪，当光学FOV在预设的阈值范围之外，自动选择电磁追踪，该范围为提前预设的，在此不作具体限制，即若在预设的光学FOV阈值范围以内，则调用光学追踪模组，使用高精度低延时的光学追踪方案，若在预设的光学FOV阈值范围以外，则调用电磁追踪模组，使用支持360度追踪的电磁解决方案，从而提升了VR产品的抗干扰及环境适应能力。
在图1所示的实施例中，光学追踪模组包括设置在手柄120中的光学显示模块121和设置在头戴110上的光学追踪模块111，该光学显示模块121用于通过调整自身亮灭和亮度发出物理信号；该光学追踪模块111用于获取该光学显示模块121发出的物理信号，并将该物理信号转化为该手柄的追踪信息，在本实施例中，该光学追踪模块111包括头戴摄像头，该光学显示模块121包括设置在手柄120表面上的，且能够被该头戴摄像头捕捉到的LED灯，从而通过扫描该LED灯的方式使头戴获取手柄的追踪信息，具体的，该光学追踪模块111包括不仅包括头戴摄像头，还包括参数调整模块(图中未示出)，其中，该头戴摄像头用于追踪手柄120和外部环境，该参数调整模块用于调整该头戴摄像头的曝光参数、对齐各个头戴摄像头的曝光中心点，以及预设该头戴摄像头的追踪规则；该追踪规则为提前预设的，在此并不作具体限制，在本实施例中，该追踪规则为头戴摄像头所获取图像的奇数帧用于追踪外部环境，头戴摄像头所获取图像的偶数帧用于追踪手柄，以结合外部环境精准追踪手柄，提高整个VR系统的精准度和沉浸感。
在图1所示的实施例中，在头戴110和手柄120中均设置有IMU传感器模块，用于获取头戴110与手柄120的追踪信息及位置预测信息，具体的，该头戴110包括IMU传感器模块113，该手柄120包括IMU传感器123，该IMU传感器模块113和IMU传感器123至少包括重力加速度传感器和陀螺仪，该IMU传感器模块113用于获取该头戴110的追踪信息及位置预测信息，还用于对头戴110上设置的头戴摄像头的曝光参数进行调整辅助；该IMU传感器模块123用于获取该手柄120的追踪信息及位置预测信息；并且还用于根据预测的手柄的追踪信息选择光学显示模块121的亮灭，调节光学显示模块的亮度，即调节本事实例中LED灯的亮灯个数和LED灯的亮度。
在图1所示的实施例中，电磁追踪模组包括设置在该手柄120上的电磁发射模块122和设置在该头戴110上的电磁接收模块112，其中，该电磁发射模块122用于通过驱动电路产生电磁信号，并发射该电磁信号，该电磁接收模块112用于接收该电磁信号，以完成电磁追踪，并且该电磁接收模块112还用于对该电磁信号进行信号放大、A/D转换，并通过FPGA芯片完成I2S到SPI或USB的数据转换以形成追踪数字信号，并将该追踪数字信号传输至处理器，即手柄120通过电磁信号的方式将自身的位置信息传输至头戴110端，头戴110端对所接收的电磁信号进行信号处理，而后将处理后的信号传输至头戴110中的处理器115上。
如图2所示的实施例，处理器115在光学追踪及电磁追踪过程中均有参与，在光学追踪过程中，当光学追踪模块111读取到光学显示模块121发出的物理信号后，将该物理信号转化为数字信号，将该数字信号传输至处理器，从而获取到手柄的追踪信息，并且处理器在光学追踪过程中汇集手柄的IMU传感信息等多种信息，从而完成用户在整个过程中的视觉、听觉等体验；在电磁追踪过程中，该处理器115不仅用于处理手柄的多种信息，还读取该电磁发射模块的发射校准信息、获取该电磁接收模块的接收校准信息以对电磁追踪系统进行初始化处理，并获取上述的追踪数字信号以完成电磁追踪，此外，处理器根据手柄120与头戴110的距离设置不同手柄不同的发射功率，在本实施例中包括两个手柄120，即根据两个手柄120与头戴110的距离设置两个手柄不同的发射功率，从而一方面能够节约手柄本身的功耗，另一方面能够减小距离较近的手柄的发射功率，同时也减小距离较近的手柄对较远距离手柄的信号影响，有利于提升整个系统精度。
如图1所示的实施例，本发明提供的高精度抗干扰的VR系统100还包括无线传输模组，该无线传输模组包括设置在头戴110上的头戴无线模块114和设置在手柄120上的手柄无线模块124，该手柄无线模块124与该头戴无线模块114相匹配，用于与该头戴无线模块114相配合进行无线信号的传输，该无线信号至少包括手柄120的按键信息、IMU传感器模块123获取的手柄120的IMU传感信息、头戴110的时间系统与手柄120的时间系统的同步信息，以及光学显示模块121的显示信息，即关于手柄120地物理按键信息、IMU传感信息以及时间信息等均可通过无线传输的方式，传输至头戴110端。
此外，本发明提供的高精度抗干扰的VR系统100还包括时间戳实现模块(图中未示出)，该时间戳实现模块为虚拟模块，在头戴110与手柄120中均有设置，用于计算手柄追踪过程中的延时时间，以获取追踪行为发生的正确时间戳，该行为可以整个VR系统在工作中过程中所发生的一切行为，比如，无论选择调用光学追踪模组还是电磁追踪模组，头戴110均会获取HMD图像，在获取HMD图像的过程中均有延时，该头戴110获取HMD图像的时间戳为获取中断的时间戳减去该延时时间；具体的，头戴获取HMD图像的时间戳一般按照曝光中心点时刻添加，即使头戴110上的多个摄像头的曝光参数不同时，所获取的每个HMD图像也具有相同的时间戳数据，以IMU传感信息为例，该头戴中IMU传感器模块的时间戳基于数据中断添加，由于IMU传感器模块物理发生到中断产生有一定的延时IMU Latency(该延时IMULatency和IMU配置滤波参数相关)，在中断添加时间戳以后减去该延时IMU Latency即得到精确的时间戳数据；头戴110接收电磁信号的时间戳依靠SPI中断添加，在头戴接收到电磁信号以后，触发SPI中断，处理器115在接收到中断后添加时间戳，由于电磁信号传输，信号放大，A/D转换以及缓存部分数据存在一定延时EM latency，则获取HMD图像的时间戳为在接收到中断后添加的时间戳的基础上减去EM latency得到精确的时间戳数据，同理，手柄120端亦需要添加时间戳，头戴110的时间系统和手柄时间系统同步以后，首先在中断时添加时间戳数据，再将该添加的时间戳数据减去本身的延时时间即得到精确的时间戳数据，以IMU传感器模块123为例，手柄端亦需要添加IMU传感信息的时间戳，头戴的时间系统和手柄时间系统同步以后，在IMU传感器模块中断时添加时间戳数据，再减去IMU传感器模块本身的延时即得到精确的IMU传感信息的时间戳。
通过上述实施方式可以看出，本发明提供的高精度抗干扰的VR系统能够根据光学FOV范围选择追踪方式，无论选择哪种追踪方式，其无线传输模组等其他功能模块如常进行，若选择光学追踪方式，即调用光学追踪模组，从而通过头戴摄像头捕捉LED灯的方式获取手柄的追踪信息，结合手柄的IMU传感信息得到手柄的追踪过程，并预测手柄的追踪信息，若选择电磁追踪方式，即调用电磁追踪模组，从而通过以电磁信号传输的方式将手柄的追踪信息传输至头戴端，而后对该电磁信号进行信号处理，进而结合手柄的IMU传感信息得到手柄的追踪过程，并预测手柄的追踪信息，如此，既解决光学FOV较小的问题，又解决在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学FOV范围以内，使用高精度低延时的光学追踪方案，在光学FOV范围以外，使用支持360度追踪的电磁解决方案，极大地提升VR产品的抗干扰及环境适应能力，提升用户在使用过程中的沉浸感。
与前述高精度抗干扰的VR系统相对应，本发明还提供一种高精度抗干扰的VR运行方法。图2示出了根据本发明实施例的高精度抗干扰的VR运行方法的方法流程图。
如图2所示，本发明提供的高精度抗干扰的VR运行方法，基于上述的高精度抗干扰的VR系统，包括：
实时获取VR系统的光学FOV范围；
根据该光学FOV范围选择调用光学追踪方式和电磁追踪方式；
若选择光学追踪方式，则获取手柄中光学显示模块的物理信号，将该物理信息转化为数字信号，并将该数字信号传输至处理器以完成光学追踪；
若选择电磁追踪方式，则获取手柄发射的电磁信号，对该电磁信号进行数字化处理以形成数字信号，并将该数字信号发送至处理器以完成电磁追踪。
通过上述实施方式可以看出，本发明提供的高精度抗干扰的VR运行方法，首先实时获取VR系统的光学FOV范围，再根据光学FOV范围选择调用光学追踪方式和电磁追踪方式，若选择光学追踪方式，则获取手柄中光学显示模块的物理信号，将物理信息转化为数字信号，并将数字信号传输至处理器以完成光学追踪，若选择电磁追踪方式，则获取手柄发射的电磁信号，对电磁信号进行数字化处理以形成数字信号，并将数字信号发送至处理器以完成电磁追踪，如此，既解决光学FOV较小的问题，又解决在磁场强度较大时电磁手柄不能使用的问题，通过两个技术的组合，在光学FOV范围以内，使用高精度低延时的光学追踪方案，在光学FOV范围以外，使用支持360度追踪的电磁解决方案，极大地提升VR产品的抗干扰及环境适应能力，提升用户在使用过程中的沉浸感。
如上参照附图以示例的方式描述了根据本发明提出的高精度抗干扰的VR系统、方法。但是，本领域技术人员应当理解，对于上述本发明所提出的高精度抗干扰的VR系统、方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种高精度抗干扰的VR系统，其特征在于，包括数据选择模块、头戴和与所述头戴相匹配的手柄，其中，
所述数据选择模块用于根据光学FOV范围选择调用光学追踪模组和电磁追踪模组；
所述光学追踪模组包括设置在所述手柄中的光学显示模块和设置在所述头戴上的光学追踪模块，其中，
所述光学显示模块用于通过调整自身亮灭和亮度发出物理信号；
所述光学追踪模块用于获取所述光学显示模块发出的物理信号，并将所述物理信号转化为所述手柄的追踪信息；
所述光学追踪模块包括头戴摄像头和参数调整模块，其中，
所述头戴摄像头用于追踪所述手柄和外部环境；
所述参数调整模块用于调整所述头戴摄像头的曝光参数、对齐各个头戴摄像头的曝光中心点，以及预设所述头戴摄像头的追踪规则；
所述追踪规则包括：所述头戴摄像头所获取图像的奇数帧用于追踪外部环境；所述头戴摄像头所获取图像的偶数帧用于追踪所述手柄；
所述电磁追踪模组包括设置在所述手柄上的电磁发射模块和设置在所述头戴上的电磁接收模块，其中，
所述电磁发射模块用于通过驱动电路产生电磁信号，并发射所述电磁信号；
所述电磁接收模块用于接收所述电磁信号，以完成电磁追踪。
2.如权利要求1所述的高精度抗干扰的VR系统，其特征在于，
在所述头戴和手柄中均设置有IMU传感器模块，用于获取所述头戴与所述手柄的追踪信息及位置预测信息，所述IMU传感器模块至少包括重力加速度传感器和陀螺仪；
并且，所述头戴中的IMU传感器模块还用于对所述曝光参数进行调整辅助；所述手柄中的IMU传感器模块还用于根据预测的手柄的追踪信息选择所述光学显示模块的亮灭，调节所述光学显示模块的亮度。
3.如权利要求2所述的高精度抗干扰的VR系统，其特征在于，还包括无线传输模组，
所述无线传输模组包括设置在所述头戴上的头戴无线模块和设置在所述手柄上的手柄无线模块，所述手柄无线模块与所述头戴无线模块相匹配，用于与所述头戴无线模块相配合进行无线信号的传输。
4.如权利要求3所述的高精度抗干扰的VR系统，其特征在于，
所述无线信号包括所述手柄的按键信息、所述IMU传感器模块获取的所述手柄的IMU传感信息、所述头戴的时间系统与所述手柄的时间系统的同步信息，以及所述光学显示模块的显示信息。
5.如权利要求1所述的高精度抗干扰的VR系统，其特征在于，
所述电磁接收模块还用于对所述电磁信号进行信号放大、A/D转换，并通过FPGA芯片完成I2S到SPI或USB的数据转换以形成追踪数字信号，并将所述追踪数字信号传输至处理器。
6.如权利要求5所述的高精度抗干扰的VR系统，其特征在于，
所述处理器用于读取所述电磁发射模块的发射校准信息、获取所述电磁接收模块的接收校准信息以对电磁追踪系统进行初始化处理，并获取所述追踪数字信号以完成电磁追踪。
7.如权利要求1所述的高精度抗干扰的VR系统，其特征在于，还包括时间戳实现模块，
所述时间戳实现模块用于计算手柄追踪过程中的延时时间，以获取追踪行为发生的正确时间戳。
8.如权利要求1-7中任一所述的高精度抗干扰的VR系统，其特征在于，
当所述光学FOV在预设的阈值范围之内，自动选择光学追踪；
当所述光学FOV在所述预设的阈值范围之外，自动选择电磁追踪。
9.一种高精度抗干扰的VR运行方法，其特征在于，基于如权利要求1-8任一所述的高精度抗干扰的VR系统，包括：
实时获取VR系统的光学FOV范围；
根据所述光学FOV范围选择调用追踪方式，所述追踪方式包括光学追踪方式和电磁追踪方式；其中，
若选择光学追踪方式，则获取手柄中光学显示模块的物理信号，将所述物理信号转化为数字信号，并将所述数字信号传输至处理器以完成光学追踪；
若选择电磁追踪方式，则获取手柄发射的电磁信号，对所述电磁信号进行数字化处理以形成数字信号，并将所述数字信号发送至处理器以完成电磁追踪。
CN202010973572.3A 2020-09-16 2020-09-16 高精度抗干扰的vr系统、运行方法 Active CN112214106B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010973572.3A CN112214106B (zh) 2020-09-16 2020-09-16 高精度抗干扰的vr系统、运行方法
PCT/CN2021/118542 WO2022057832A1 (zh) 2020-09-16 2021-09-15 高精度抗干扰的vr系统、运行方法
US17/885,836 US11733771B2 (en) 2020-09-16 2022-08-11 High-precision anti-interference VR system and operation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973572.3A CN112214106B (zh) 2020-09-16 2020-09-16 高精度抗干扰的vr系统、运行方法

Publications (2)

Publication Number Publication Date
CN112214106A CN112214106A (zh) 2021-01-12
CN112214106B true CN112214106B (zh) 2023-05-30

Family

ID=74048930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973572.3A Active CN112214106B (zh) 2020-09-16 2020-09-16 高精度抗干扰的vr系统、运行方法

Country Status (3)

Country Link
US (1) US11733771B2 (zh)
CN (1) CN112214106B (zh)
WO (1) WO2022057832A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214106B (zh) * 2020-09-16 2023-05-30 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
CN115134960A (zh) * 2021-03-27 2022-09-30 华为技术有限公司 一种控制方法、相关设备及系统
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
CN113721767B (zh) * 2021-08-30 2024-02-02 歌尔科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN115237258A (zh) * 2022-08-04 2022-10-25 南昌黑鲨科技有限公司 一种vr系统及vr虚拟现实设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8246207B2 (en) * 2009-12-30 2012-08-21 Safety Traffic Equipment Co., Ltd. LED solar traffic marking panel fitted with integrated dimming controller
FR3032586B1 (fr) * 2015-02-05 2018-03-16 Augmented Acoustics Appareil de reception et de lecture de signaux audio et systeme de sonorisation live
CN105572482B (zh) * 2015-12-18 2020-06-09 国网冀北电力有限公司张家口供电公司 一种密闭空间电场测量设备
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10996742B2 (en) * 2017-10-17 2021-05-04 Logitech Europe S.A. Input device for AR/VR applications
DE102018115334B3 (de) * 2018-06-26 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit
CN112055605B (zh) * 2018-10-02 2022-03-15 惠普发展公司，有限责任合伙企业 用于计算设备的反馈控制器
US10540139B1 (en) * 2019-04-06 2020-01-21 Clayton Janes Distance-applied level and effects emulation for improved lip synchronized performance
CN110543814B (zh) * 2019-07-22 2022-05-10 华为技术有限公司 一种交通灯的识别方法及装置
CN110530356B (zh) * 2019-09-04 2021-11-23 海信视像科技股份有限公司 位姿信息的处理方法、装置、设备及存储介质
CN111174683B (zh) * 2020-01-07 2021-11-30 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质
CN112181138B (zh) * 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112214106B (zh) * 2020-09-16 2023-05-30 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法

Also Published As

Publication number Publication date
CN112214106A (zh) 2021-01-12
US20220382365A1 (en) 2022-12-01
WO2022057832A1 (zh) 2022-03-24
US11733771B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112214106B (zh) 高精度抗干扰的vr系统、运行方法
US9081181B2 (en) Head mounted display device and image display control method therefor
WO2022170863A1 (zh) 超宽带定位方法及系统
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
JP2016122975A (ja) 表示装置、及び、表示装置の制御方法
CN111061363A (zh) 一种虚拟现实系统
JP2017224984A (ja) プログラム、装置、キャリブレーション方法
JP2023502552A (ja) ウェアラブルデバイス、インテリジェントガイド方法及び装置、ガイドシステム、記憶媒体
CN103914128B (zh) 头戴式电子设备和输入方法
CN112950694A (zh) 图像融合的方法、单颗摄像头模组、拍摄装置及存储介质
CN112181138B (zh) 自适应智能头手vr系统、方法
US20040001074A1 (en) Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
KR101738433B1 (ko) 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법
CN105898122B (zh) 一种光电感知系统
CN114731372A (zh) 用于校正相机切换时的图像的电子装置及方法
WO2022179412A1 (zh) 识别方法及电子设备
EP4297394A1 (en) Electronic device comprising camera
WO2022107647A1 (ja) 情報処理装置、システム、情報処理方法および情報処理プログラム
JP2024013947A (ja) 撮像装置、撮像装置の撮像方法およびプログラム
CN112581920B (zh) 显示系统、显示控制方法以及记录介质
JP2018085595A (ja) 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
CN112887557A (zh) 追焦方法、装置及电子设备
CN218217526U (zh) 面部捕捉设备与系统
WO2024105800A1 (ja) 測位システム及び測位方法
JP7434207B2 (ja) システム、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant