CN112416125A - Vr头戴式一体机 - Google Patents

Vr头戴式一体机 Download PDF

Info

Publication number
CN112416125A
CN112416125A CN202011286249.5A CN202011286249A CN112416125A CN 112416125 A CN112416125 A CN 112416125A CN 202011286249 A CN202011286249 A CN 202011286249A CN 112416125 A CN112416125 A CN 112416125A
Authority
CN
China
Prior art keywords
tracking
user
data
head
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011286249.5A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202011286249.5A priority Critical patent/CN112416125A/zh
Publication of CN112416125A publication Critical patent/CN112416125A/zh
Priority to US18/037,304 priority patent/US11941167B2/en
Priority to PCT/CN2021/128629 priority patent/WO2022105613A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种VR头戴式一体机，包括前盖板，前盖板的外侧边框上设置有四路第一追踪摄像头，前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头，前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头；其中，四路第一追踪摄像头和IMU传感器构成用户头部6DoF追踪模块，两路第二追踪摄像头构成用户眼球追踪模块，两路第二追踪摄像头和一路第三追踪摄像头构成用户脸部表情识别模块，以及四路第一追踪摄像头经复用构成用户裸手识别追踪模块。本申请的VR头戴式一体机能够同时解决6DoF追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。

Description

VR头戴式一体机
技术领域
本申请涉及头戴显示技术领域，具体涉及一种VR(Virtual Reality，虚拟现实)头戴式一体机。
背景技术
目前主流的VR头戴式一体机，普遍存在几个问题：1.大都采用基于两路追踪摄像头的自内向外(Inside-Out)的6DoF(Degree of Freedom，自由度)追踪方案，所追踪的视场角(FOV)受限。2.无法提供用户的眼球追踪信息，即不能做一些特殊的处理操作比如无法做注视点渲染以减少渲染负载所带来的功耗问题。3.无法提供用户的表情追踪信息，在一些需要用户面部表情信息的场景下，无法使用，这会降低用户在虚拟场景中的沉浸感。4.有些用户通过裸手交互会比较自然的虚拟场景下，需要再额外的增加手势识别追踪器，增加了结构设计的复杂度。
发明内容
有鉴于此，本申请的主要目的在于提供了一种VR头戴式一体机，通过计算机视觉技术和视觉追踪技术同时解决VR头戴式一体机的6DoF追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题。
本申请提供的VR头戴式一体机，内置有IMU传感器，包括前盖板，所述前盖板的外侧边框上设置有四路第一追踪摄像头，所述前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头，所述前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头；其中，
四路所述第一追踪摄像头和所述IMU传感器构成用户头部6DoF追踪模块，两路所述第二追踪摄像头构成用户眼球追踪模块，两路所述第二追踪摄像头和一路所述第三追踪摄像头构成用户脸部表情识别模块，以及四路所述第一追踪摄像头经复用构成用户裸手识别追踪模块。
本申请的技术方案能够达到以下有益效果：
本申请实施例的VR头戴式一体机，通过在其前盖板的不同位置处设置多个摄像头，这些摄像头经组合或复用分别构成了用户头部6DoF追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，使得VR头戴式一体机能够同时解决6DoF追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的VR头戴式一体机的外观示意图；
图2示出了根据本申请一个实施例的用户头部6DoF追踪的实现框架示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。
为同时解决VR头戴式一体机的6DoF追踪问题、眼动追踪、用户脸部表情识别及裸手识别追踪的问题，通过在其前盖板的不同位置处设置多个摄像头，经组合或复用这些摄像头分别构成了用户头部6DoF追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
图1示出了根据本申请一个实施例的VR头戴式一体机的外观示意图。参见图1，本申请实施例的VR头戴式一体机内置有IMU传感器(图1中不可见)，包括前盖板，在前盖板的外侧边框上设置有四路第一追踪摄像头(C1,C2,C3,C4)，在前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头(C5,C6)，在前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头(C7)；其中，
四路第一追踪摄像头(C1,C2,C3,C4)和内置的IMU传感器构成用户头部6DoF追踪模块，两路第二追踪摄像头(C5,C6)构成用户眼球追踪模块，两路第二追踪摄像头(C5,C6)和一路第三追踪摄像头(C7)构成用户脸部表情识别模块，以及四路第一追踪摄像头(C1,C2,C3,C4)经复用构成用户裸手识别追踪模块。
在本申请的一个实施例中，四路第一追踪摄像头(C1,C2,C3,C4)均为单色摄像头(Monochrome Camera)。单色摄像头采集的为黑白图像。由于解决用户头部的6DOF追踪定位问题，只要需要摄像头拍摄到环境中的亮暗信息就可以，并不需要颜色信息。因此采用这种单色摄像头不会影响到追踪定位精度，且可降低用户的体验成本。
在本申请的一个实施例中，两路第二追踪摄像头(C5,C6)和一路第三追踪摄像头(C7)也均采用单色摄像头。同样地，为解决用户眼球动作追踪和嘴巴动作追踪，只要需要摄像头拍摄到环境中的亮暗信息就可以，并不需要颜色信息，因此也不会影响到对用户眼球和嘴巴动作的追踪精度，且可以进一步降低价格成本。
在本申请的一个实施例中，前盖板上设置的这些摄像头选用相同的规格，也即四路第一追踪摄像头(C1,C2,C3,C4)、两路第二追踪摄像头(C5,C6)和一路第三追踪摄像头(C7)采用相同的规格。这样既避免了生产组装VR头戴式一体机时需要区分摄像头的麻烦，也便于对VR头戴式一体机中各路摄像头进行同步控制。
在本申请的一个实施例中，四路第一追踪摄像头(C1,C2,C3,C4)两两轴对称设置在前盖板的外侧边框的四路边角位置处，且各自具有不同的摆放角度。通过对四路第一追踪摄像头(C1,C2,C3,C4)的摆放角度和摆放位置进行整体设计，可以使得四路第一追踪摄像头(C1,C2,C3,C4)拼接出一个较大范围的追踪视场角(Field of View，FOV)，保证头部6DoF的追踪精度和追踪稳定性。
在本申请的一个实施例中，四路第一追踪摄像头(C1,C2,C3,C4)在前盖板的外侧边框的设置位置固定，但可以进行一定角度旋转。例如，以VR头戴式一体机的中心为坐标系原点建立垂直坐标系，X轴代表水平方向，Y轴代表上下方向，Z轴代表前后方向。每路第一追踪摄像头(C1,C2,C3,C4)均可以绕X轴进行一定角度范围的上下旋转，且可以绕Y轴进行一定角度范围的左右旋转。在对VR头戴式一体机进行6DoF追踪或对用户裸手进行识别追踪时，通过控制一路或多路第一追踪摄像头(C1,C2,C3,C4)的角度旋转，可以提高追踪视场角FOV，进而提高用户头部的6DoF追踪的鲁棒性和精度。
在本申请的一个实施例中，每路摄像头的对角线视场角(FOV-D)至少在150°以上，帧率30Hz以上，采用全局快门(Global Shutter)曝光方式，镜头可同时通过可见光波段(波段范围为480nm–670nm)和850nm红外光。
在本申请的一个实施例中，四路第一追踪摄像头(C1,C2,C3,C4)至少拼接出一路230°*210°的水平*垂直(H*V)视场角。这个视场角范围是通过算法大体仿真计算得到的数据，在这个范围下基本上就可以保证6DoF的追踪精度和追踪稳定性。在用户配戴该头戴式一体机时，在现实场景里可以自由走动和自由转动，四路第一追踪摄像头(C1,C2,C3,C4)同时扫描外部环境，结合VR头戴式一体机内置的IMU传感器，实时计算用户头部的6DoF追踪信息(位置信息和姿态信息)。
图2示出了根据本申请一个实施例的用户头部6DoF追踪的实现框架示意图。参见图2，本申请实施例需要实时采集到五路数据，包括四路第一追踪摄像头(C1,C2,C3,C4)的图像数据和一路VR头戴式一体机内置的IMU传感器的惯性导航数据。
在本申请的一个实施例中，用户头部6DoF追踪模块用于：首先根据四路第一追踪摄像头(C1,C2,C3,C4)的每帧图像数据(每路拍摄头的拍摄帧率，例如是30Hz)，结合当前时刻的内置的IMU传感器的惯性导航数据，实时计算用户头部在3D空间中的6DoF追踪数据；然后再结合高帧率(例如是1000Hz，该帧率是由IMU传感器自身采样性能决定)的当前时刻的IMU传感器的惯性导航数据，将当前拍摄帧率(30Hz)下的用户头部在3D空间中的6DoF追踪数据，实时预测插帧到与IMU传感器相同帧率(即1000Hz)下；最后，对预测插帧后得到的用户头部在3D空间中的6DoF追踪数据，经应用渲染(Application Rendering)后采用大于75Hz的帧率进行显示输出。
VR头戴式一体机为了让用户有一定的沉浸感和减少用户的眩晕感，显示帧率最少需要在75Hz，因此本申请实施例采用大于75Hz的帧率进行显示输出，可以保证用户的沉浸感并减少用户的眩晕感。
需要说明的是，四路第一追踪摄像头(C1,C2,C3,C4)在物理上是同步的，通过物理上的同步机制可以控制四路摄像头在每一帧曝光时间段的中心点是相同的，也即控制四路摄像头准确地进行同步曝光。
在本申请的一个实施例中，用户眼球追踪模块用于：根据两路第二追踪摄像头(C5,C6)的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，以便根据用户的眼球动作追踪数据，对用户眼球注视的虚拟场景区域进行高分辨率渲染，其他区域进行低分辨率渲染。进而达到了在不降低用户体验的前提下优化了VR头戴式一体机渲染资源能力，同时也降低了系统的负载和功耗资源。
在一些B端(Business，商业级或企业级)的使用场景下，存在用户的虚拟脸部表情体验需求，用户的虚拟脸部的表情主要是通过用户的眼球动作和嘴巴运动动作生成的，以上两个功能的实现主要是结合在VR头戴式一体机的前盖板上设置的C5,C6,C7三路追踪摄像头实现，其中C5,C6主要实现眼球动作的追踪，C7主要实现嘴巴动作的追踪。
在本申请的一个实施例中，用户脸部表情识别模块用于：根据两路第二追踪摄像头(C5,C6)的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，根据一路第三追踪摄像头(C7)的每帧图像数据以及嘴巴标注数据，获取用户的嘴巴动作追踪数据，以及结合用户头部的6DoF追踪数据，根据同一时刻的用户的追踪数据和嘴巴动作追踪数据，对用户的脸部表情进行识别。
具体的，可以先通过传统的张正友标定法，对两路第二追踪摄像头(C5,C6)和一路第三追踪摄像头(C7)进行标定。
对用户的眼球动作追踪，通过对左右眼分别标注16个标注位置共32个标注点，通过训练半监督卷积神经网络模型，生成眼球追踪模型Model 1，然后根据两路第二追踪摄像头(C5,C6)实时获取人眼的左右眼相机的每帧图像数据，通过模型Model 1对左右眼32个标注点进行检测识别，实时获取32个标注点图像坐标数据，对实时获取的32个标注点图像坐标数据经过归一化处理后可以获得归一化之后的2D的32个眼球追踪标记点位置。
对用户的嘴巴动作追踪，采用类似的处理过程，通过对嘴巴10个标注点，通过训练半监督卷积神经网络模型，生成嘴巴追踪模型Model 2，然后根据一路第三追踪摄像头(C7)实时获取嘴巴的图像数据，通过模型Model 2对嘴巴10个标注点进行检测识别，实时获取10个标注点图像坐标数据，对实时获取的10个标注点图像坐标数据经过归一化处理后可以获得归一化之后的2D的10个嘴巴追踪标记点位置。
最后，结合用户头部的运动和转动姿态数据(用户头部的6DoF追踪数据)，融合归一化之后的2D嘴巴和2D眼球位置数据，把嘴巴和眼球共42个标记点的图像坐标位置，映射为虚拟3D人脸对应标记位置的空间三维坐标，进而可以根据虚拟3D人脸对应标记位置的空间三维坐标，对用户的脸部表情进行识别。
在本申请的一个实施例中，用户裸手识别追踪模块用于：根据四路第一追踪摄像头(C1,C2,C3,C4)的每帧图像数据，结合用户手部的三维骨骼模型数据以及用户头部的6DoF追踪数据，对用户手部的三维骨骼模型数据的位置进行实时识别追踪。
具体的，以一路第一追踪摄像头(进行头部位姿追踪的摄像头)为例，首先离线训练获得手的检测模型Model 3和手的骨骼点识别模型Model 4。通过手的检测模型Model 3在当前帧的头的追踪图像上进行手的检测定位，检测出手在当前帧图像上的位置和对应的区域大小。使用当前帧手的ROI区域(Region Of Interest，感兴趣区域)通过光流追踪算法(Optical Flow Tracking)估计手在下一帧的ROI区域，同时把跟踪的信息保存到跟踪队列Trackhand里，为下一帧该手的三维骨骼点识别提供跟踪信息；接着从Trackhand里获取到手在当前帧图像上的ROI区域，在对应区域的图像数据上通过手的骨骼点识别模型Model 4进行手的21个骨骼点识别。
对获取到的手在当前图像上21个骨骼点的二维坐标，同时结合用户头部的6DoF追踪数据，计算每只手的21个骨骼点在图像坐标下的三维骨骼点坐标。然后对每一只手的21个三维骨骼点坐标通过和历史对应的手的三维骨骼点坐标进行平滑滤波处理，解决某一帧某一个关节点识别不太稳定的可能，提高手指三维骨骼点位置识别精度和稳定性。最后将滤波之后的每只手的21个骨骼点与用户头部的6DoF追踪数据进行融合，把相机坐标系下的手的骨骼点信息变换到头戴坐标系下的手的骨骼点数据，并把该骨骼点数据通过渲染再实时回传给头戴式一体机做显示处理。
需要说明的是，用户裸手识别追踪可以仅通过一路第一追踪摄像头单独完成，通过多路第一追踪摄像头主要是为了弥补单路第一追踪摄像头的捕捉视野范围不能满足用户场景的需要，例如依靠C1，C2，C3，C4可以拼接出一个近似230°*210°(H*V)以上的大视角场景。
综上所述，通过在VR头戴式一体机的前盖板的不同位置处设置多个摄像头，经组合或复用这些摄像头分别构成用户头部6DoF追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，使得VR头戴式一体机能够同时解决6DoF追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
本领域内的技术人员应明白，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种VR头戴式一体机，内置有IMU传感器，包括前盖板，其特征在于，所述前盖板的外侧边框上设置有四路第一追踪摄像头，所述前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头，所述前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头；其中，
四路所述第一追踪摄像头和所述IMU传感器构成用户头部6DoF追踪模块，两路所述第二追踪摄像头构成用户眼球追踪模块，两路所述第二追踪摄像头和一路所述第三追踪摄像头构成用户脸部表情识别模块，以及四路所述第一追踪摄像头经复用构成用户裸手识别追踪模块。
2.根据权利要求1所述的VR头戴式一体机，其特征在于，四路所述第一追踪摄像头、两路所述第二追踪摄像头和一路所述第三追踪摄像头均为单色摄像头。
3.根据权利要求1所述的VR头戴式一体机，其特征在于，四路所述第一追踪摄像头、两路所述第二追踪摄像头和一路所述第三追踪摄像头的规格均相同。
4.根据权利要求1所述的VR头戴式一体机，其特征在于，四路所述第一追踪摄像头两两轴对称设置在所述前盖板的外侧边框的四路边角位置处，且各自具有不同的摆放角度。
5.根据权利要求4所述的VR头戴式一体机，其特征在于，四路所述第一追踪摄像头在前盖板的外侧边框的设置位置固定，但可以进行一定角度旋转。
6.根据权利要求5所述的VR头戴式一体机，其特征在于，每路所述第一追踪摄像头的对角线视场角至少在150°以上，帧率30Hz以上，采用全局快门曝光方式。
7.根据权利要求1-6任一项所述的VR头戴式一体机，其特征在于，所述用户头部6DoF追踪模块，用于根据四路所述第一追踪摄像头的每帧图像数据，结合当前时刻的所述IMU传感器的惯性导航数据，实时计算用户头部在3D空间中的6DoF追踪数据；
结合当前时刻的所述IMU传感器的惯性导航数据，将当前拍摄帧率下的用户头部在3D空间中的6DoF追踪数据，实时预测插帧到与所述IMU传感器相同帧率下；
以及，对所述预测插帧得到的所述用户头部在3D空间中的6DoF追踪数据，经应用渲染后采用大于75Hz的帧率进行显示输出。
8.根据权利要求1-6任一项所述的VR头戴式一体机，其特征在于，所述用户眼球追踪模块，用于根据两路所述第二追踪摄像头的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，以便根据用户的眼球动作追踪数据，对用户眼球注视的虚拟场景区域进行高分辨率渲染，其他区域进行低分辨率渲染。
9.根据权利要求1-6任一项所述的VR头戴式一体机，其特征在于，所述用户脸部表情识别模块，用于根据两路所述第二追踪摄像头的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，根据一路所述第三追踪摄像头的每帧图像数据以及嘴巴标注数据，获取用户的嘴巴动作追踪数据，以及结合用户头部的6DoF追踪数据，根据同一时刻的用户的追踪数据和嘴巴动作追踪数据，对用户的脸部表情进行识别。
10.根据权利要求1-6任一项所述的VR头戴式一体机，其特征在于，所述用户裸手识别追踪模块，用于根据一路或多路所述第一追踪摄像头的每帧图像数据，结合用户手部的三维骨骼模型数据以及用户头部的6DoF追踪数据，对用户手部的三维骨骼模型数据的位置进行实时识别追踪。
CN202011286249.5A 2020-11-17 2020-11-17 Vr头戴式一体机 Pending CN112416125A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011286249.5A CN112416125A (zh) 2020-11-17 2020-11-17 Vr头戴式一体机
US18/037,304 US11941167B2 (en) 2020-11-17 2021-11-04 Head-mounted VR all-in-one machine
PCT/CN2021/128629 WO2022105613A1 (zh) 2020-11-17 2021-11-04 Vr头戴式一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286249.5A CN112416125A (zh) 2020-11-17 2020-11-17 Vr头戴式一体机

Publications (1)

Publication Number Publication Date
CN112416125A true CN112416125A (zh) 2021-02-26

Family

ID=74832118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286249.5A Pending CN112416125A (zh) 2020-11-17 2020-11-17 Vr头戴式一体机

Country Status (3)

Country Link
US (1) US11941167B2 (zh)
CN (1) CN112416125A (zh)
WO (1) WO2022105613A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190115A (zh) * 2021-04-25 2021-07-30 歌尔股份有限公司 眼球追踪方法及虚拟现实设备
CN113368486A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 一种用于vr头戴设备的光学追踪器和运动健身系统
CN113514060A (zh) * 2021-06-02 2021-10-19 青岛小鸟看看科技有限公司 6DoF定位追踪装置、方法及电子设备
WO2022105613A1 (zh) * 2020-11-17 2022-05-27 青岛小鸟看看科技有限公司 Vr头戴式一体机
US11947740B2 (en) 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634248A (zh) * 2023-05-15 2023-08-22 深圳返景星达科技有限公司 一种vr表情捕捉阵列电路及运作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138367A (ja) * 1995-11-15 1997-05-27 Sony Corp 画像表示装置及びそのシステム
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
US20160180574A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc System, device and method for providing user interface for a virtual reality environment
CN108282648A (zh) * 2018-02-05 2018-07-13 北京搜狐新媒体信息技术有限公司 一种vr渲染方法、装置、穿戴式设备及可读存储介质
WO2018224847A2 (en) * 2017-06-09 2018-12-13 Delamont Dean Lindsay Mixed reality gaming system
CN109643145A (zh) * 2016-09-22 2019-04-16 苹果公司 具有世界传感器和用户传感器的显示系统
CN111175972A (zh) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 一种头戴式显示器及其场景显示方法和存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US10523852B2 (en) * 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10524696B2 (en) * 2015-06-14 2020-01-07 Facense Ltd. Virtual coaching based on respiration signals
US10299717B2 (en) * 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
CN106599811B (zh) * 2016-11-29 2019-11-05 苏州虚现数字科技有限公司 一种vr头显的面部表情追踪方法
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10504243B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Calibration system for a head-mounted display tracking system
US10429656B1 (en) * 2018-01-18 2019-10-01 Facebook Technologies, Llc Eye tracking for a head mounted display including a pancake lens block
KR20200106547A (ko) * 2018-01-18 2020-09-14 밸브 코포레이션 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
US10817047B2 (en) * 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
US11042034B2 (en) * 2018-12-27 2021-06-22 Facebook Technologies, Llc Head mounted display calibration using portable docking station with calibration target
US11009964B2 (en) * 2019-06-06 2021-05-18 Finch Technologies Ltd. Length calibration for computer models of users to generate inputs for computer systems
US11327318B2 (en) * 2019-08-13 2022-05-10 Htc Corporation Head-mounted display
CN110673734B (zh) * 2019-09-30 2023-12-01 京东方科技集团股份有限公司 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
US10859843B1 (en) * 2019-10-06 2020-12-08 Facebook Technologies, Llc Backplate for head-mounted displays
US11156830B2 (en) * 2019-11-14 2021-10-26 Facebook Technologies, Llc Co-located pose estimation in a shared artificial reality environment
US11128817B2 (en) * 2019-11-26 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction using cameras of different modalities
CN211603736U (zh) * 2020-04-24 2020-09-29 南京爱奇艺智能科技有限公司 Vr可穿戴设备
CN111696140B (zh) * 2020-05-09 2024-02-13 青岛小鸟看看科技有限公司 基于单目的三维手势追踪方法
CN111709302B (zh) * 2020-05-21 2023-08-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
CN111949123B (zh) * 2020-07-01 2023-08-08 青岛小鸟看看科技有限公司 多传感器手柄控制器混合追踪方法及装置
CN112115799B (zh) * 2020-08-24 2023-12-26 青岛小鸟看看科技有限公司 基于标记点的三维手势的识别方法、装置及设备
CN112286343A (zh) * 2020-09-16 2021-01-29 青岛小鸟看看科技有限公司 定位追踪方法、平台及头戴显示系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
CN112926523B (zh) * 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统
CN113238650B (zh) * 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113262465A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实交互方法、设备及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138367A (ja) * 1995-11-15 1997-05-27 Sony Corp 画像表示装置及びそのシステム
US20160180574A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc System, device and method for providing user interface for a virtual reality environment
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN109643145A (zh) * 2016-09-22 2019-04-16 苹果公司 具有世界传感器和用户传感器的显示系统
WO2018224847A2 (en) * 2017-06-09 2018-12-13 Delamont Dean Lindsay Mixed reality gaming system
CN108282648A (zh) * 2018-02-05 2018-07-13 北京搜狐新媒体信息技术有限公司 一种vr渲染方法、装置、穿戴式设备及可读存储介质
CN111175972A (zh) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 一种头戴式显示器及其场景显示方法和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105613A1 (zh) * 2020-11-17 2022-05-27 青岛小鸟看看科技有限公司 Vr头戴式一体机
US11941167B2 (en) 2020-11-17 2024-03-26 Qingdao Pico Technology Co., Ltd Head-mounted VR all-in-one machine
CN113190115A (zh) * 2021-04-25 2021-07-30 歌尔股份有限公司 眼球追踪方法及虚拟现实设备
CN113190115B (zh) * 2021-04-25 2022-11-22 歌尔股份有限公司 眼球追踪方法及虚拟现实设备
CN113368486A (zh) * 2021-05-17 2021-09-10 青岛小鸟看看科技有限公司 一种用于vr头戴设备的光学追踪器和运动健身系统
CN113368486B (zh) * 2021-05-17 2023-03-14 青岛小鸟看看科技有限公司 一种用于vr头戴设备的光学追踪器和运动健身系统
CN113514060A (zh) * 2021-06-02 2021-10-19 青岛小鸟看看科技有限公司 6DoF定位追踪装置、方法及电子设备
WO2022252450A1 (zh) * 2021-06-02 2022-12-08 青岛小鸟看看科技有限公司 6DoF定位追踪装置、方法及电子设备
US11947740B2 (en) 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus

Also Published As

Publication number Publication date
WO2022105613A1 (zh) 2022-05-27
US20230418370A1 (en) 2023-12-28
US11941167B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
CN112416125A (zh) Vr头戴式一体机
CN109643145B (zh) 具有世界传感器和用户传感器的显示系统
US11099643B1 (en) Headware with computer and optical element for use therewith and systems utilizing same
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
US10838206B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN108170279B (zh) 头显设备的眼动和头动交互方法
CN105264478B (zh) 全息锚定和动态定位
US10810797B2 (en) Augmenting AR/VR displays with image projections
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
US20160225164A1 (en) Automatic generation of virtual materials from real-world materials
CN110050250A (zh) 显示器同步的图像规整
WO2012011044A1 (en) Interactive reality augmentation for natural interaction
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
US20200244996A1 (en) Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (xr) content in connectivity-constrained environments
Mayol-Cuevas et al. On the choice and placement of wearable vision sensors
Chen et al. 3D face reconstruction and gaze tracking in the HMD for virtual interaction
CN114387679A (zh) 基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
US11430086B2 (en) Upsampling low temporal resolution depth maps
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
Steinicke et al. Poster: A virtual body for augmented virtuality by chroma-keying of egocentric videos
JP6461394B1 (ja) 画像生成装置及び画像生成プログラム
El Hafi et al. Stare: Realtime, wearable, simultaneous gaze tracking and object recognition from eye images
US20240095958A1 (en) Methods for Infield Camera Calibrations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226