CN113177434A - 基于单眼球追踪的虚拟现实系统注视渲染方法、系统 - Google Patents

基于单眼球追踪的虚拟现实系统注视渲染方法、系统 Download PDF

Info

Publication number
CN113177434A
CN113177434A CN202110340440.1A CN202110340440A CN113177434A CN 113177434 A CN113177434 A CN 113177434A CN 202110340440 A CN202110340440 A CN 202110340440A CN 113177434 A CN113177434 A CN 113177434A
Authority
CN
China
Prior art keywords
monocular
rendering
virtual reality
tracking
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110340440.1A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110340440.1A priority Critical patent/CN113177434A/zh
Publication of CN113177434A publication Critical patent/CN113177434A/zh
Priority to EP21934408.2A priority patent/EP4206979A4/en
Priority to PCT/CN2021/116750 priority patent/WO2022205769A1/zh
Priority to US17/816,408 priority patent/US11715176B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种基于单眼球追踪的虚拟现实系统注视渲染方法，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。

Description

基于单眼球追踪的虚拟现实系统注视渲染方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
一般而言，虚拟现实是一种在呈现给用户之前以某种方式进行调整的现实形式，可能包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或某种组合和/或衍生组合。
典型的虚拟现实系统包括一个或多个用于向用户呈现和显示内容的设备。例如，一种虚拟现实系统可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴显示器(HMD)。目前比较流行的是一体机配置的虚拟现实系统，即移动计算处理单元，图像图形渲染器等各种硬件设备都集成在一体机设备中。由于目前虚拟现实一体机设备在许多领域场景下应用和普及，有些场景下对虚拟现实一体机设备呈现的渲染内容的图像清晰度等质量参数要求比较高，对虚拟现实一体机设备的移动端的处理能力和渲染能力带来了不小的挑战。
目前解决的方案是有几个方向：①.通过降低整体的虚拟现实头戴式一体机的显示分辨率，减少虚拟内容的计算资源和渲染资源。②.通过高分辨率渲染显示屏幕中心一部分区域的虚拟内容，其他区域降低分辨率渲染和计算处理。优化虚拟内容的计算资源和渲染资源。③.通过眼球追踪技术，获取双眼的眼球位置对应在显示屏幕区域上的眼球注视位置，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理。
上述的方案①和②都对虚拟现实一体机设备呈现的虚拟内容的显示清晰度带来一定的负面影响，很大程度上影响用户体验。③从一定程度上解决了用户眼球注视区域的虚拟内容的显示清晰度的问题，但是目前在虚拟现实一体机设备上主流的眼球追踪技术，主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
因此，亟需一种能够有效避免在标定或者使用时，两个眼球追踪模块光源容易相互干扰的问题，而且能够实时对用户双眼位置区域进行高精度追踪，使其满足用户眼球注视渲染的需求的一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统，以解决虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题。
本发明提供的一种基于单眼球追踪的虚拟现实系统注视渲染方法，包括：
采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；
获取与用户的双眼瞳孔距离相对应的远用瞳距，并根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；
分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；
在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。
优选地，采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置的过程，包括：
向用户的单眼眼球发射光线；
捕捉用户单眼眼球中反射的光线，并通过计算机视觉技术根据所述光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
优选地，所述光线为红外光线或可见光线。
本发明还提供一种基于单眼球追踪的虚拟现实系统注视渲染系统，用于实现前述的基于单眼球追踪的虚拟现实系统注视渲染方法，包括设置在虚拟现实一体机中的虚拟现实系统显示屏幕、内置在所述虚拟现实一体机中的单眼追踪模块、IPD调节功能模块、处理器和渲染模块，其中，
所述单眼追踪模块用于采集用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置；
所述IPD调节功能模块用于与用户的双眼相适应以获取与用户的双眼瞳孔距离相对应的远用瞳距；
所述处理器用于根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置，并且分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；
所述渲染模块用于在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。
优选地，所述单眼追踪模块为红外追踪模块或可见光追踪模块。
优选地，所述红外追踪模块包括红外发光源组件和红外追踪相机；其中，
所述红外发光源组件用于发射红外光线；
所述红外光追踪相机用于捕捉用户单眼眼球中反射的红外光线，并通过计算机视觉技术根据所述红外光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
优选地，所述红外光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；
所述红外发光源组件设置在所述红外光追踪相机的四周。
优选地，所述可见光追踪模块包括可见光源组件和可见光追踪相机；
其中所述可见光源组件用于发射可见光线；
所述可见光追踪相机用于捕捉用户单眼眼球中反射的可见光线，并通过计算机视觉技术根据所述可见光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
优选地，所述可见光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；
所述可见光源组件设置在所述可见光追踪相机的四周。
优选地，所述可见光追踪相机的可追踪光线的波段区间为400～900nm。
从上面的技术方案可知，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法的流程图；
图2为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染系统的示意图。
具体实施方式
有些场景下对虚拟现实一体机设备呈现的渲染内容的图像清晰度等质量参数要求比较高，若通过双眼追踪技术，获取双眼的眼球位置对应在显示屏幕区域上的眼球注视位置，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理，虽能够一定程度上解决了用户眼球注视区域的虚拟内容的显示清晰度的问题，但是目前在虚拟现实一体机设备上主流的眼球追踪技术，主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
针对上述问题，本发明提供一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，图1对本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法进行了示例性标示；图2对本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法，包括：
S110：采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；
S120：获取与用户的双眼瞳孔距离相对应的远用瞳距，并根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；
S130：分别以第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；
S140：在主要渲染区域内进行主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行配合渲染；其中，主要渲染的渲染分辨率高于配合渲染的渲染分辨率。
如图1所示，在步骤S110中，采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置的过程，包括：
S11：向用户的单眼眼球发射光线；该光线可以为红外光线，也可以为可见光线；该单眼眼球可以为左眼也可以为右眼；
S12：捕捉用户单眼眼球中反射的光线，并通过计算机视觉技术根据光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置。
如上所述，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。
如图2所示，本发明还提供一种基于单眼球追踪的虚拟现实系统注视渲染系统100，用于实现前述的基于单眼球追踪的虚拟现实系统注视渲染方法，其包括设置在虚拟现实一体机中的虚拟现实系统显示屏幕101、内置在虚拟现实一体机中的单眼追踪模块102、IPD调节功能模块103、处理器104和渲染模块105，
该单眼追踪模块102用于采集用户的单眼眼球对应在虚拟现实系统显示屏幕101上的第一单眼映射位置；
该IPD调节功能模块103用于与用户的双眼相适应以获取与用户的双眼瞳孔距离相对应的远用瞳距；在本实施例中，在虚拟现实一体机设备内置该IPD调节功能模块103，用户可以根据自身的双眼瞳孔距离，调整适合自身双眼瞳孔距离的IPD值(远用瞳距)，达到虚拟现实一体机设备的两个筒镜间的距离和用户双眼瞳距匹配；
该处理器104用于根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置，并且分别以该第一单眼映射位置、该第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；在本实施例中该预设阈值不作具体限制，依具体应用情况而调整。
该渲染模块105用于在主要渲染区域内进行主要渲染，在该虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，该主要渲染的渲染分辨率高于该配合渲染的渲染分辨率，如此，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理，提高整体运算速率，且实时对用户双眼位置区域进行高精度追踪，极大程度满足用户眼球注视渲染的需求。
在图2所示的实施例中，该单眼追踪模块102为红外追踪模块A或可见光追踪模块B。
若采用红外追踪模块A，则该红外追踪模块A包括红外发光源组件A-1`和红外追踪相机A-2；其中，
该红外发光源组件A-1用于发射红外光线；
该红外光追踪相机A-2用于捕捉用户单眼眼球中反射的红外光线，并通过计算机视觉技术根据该红外光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；
在本实施例中采用一个红外追踪相机，该红外光追踪相机内置在虚拟现实一体机设备中与用户的单眼眼球相对应的位置；该红外发光源组件设置在红外光追踪相机的四周，即在红外追踪相机周围附近安装一定数量的红外发光源组件，该用户的单眼眼球以右眼为例，在红外追踪相机追踪用户单眼眼球位置时，红外发光源组件在眼球上的反射光形成红外追踪图像被捕捉到，而后通过计算机视觉技术获取眼球位置相对应在右眼屏幕上的位置信息；
若采用可见光追踪模块B，该可见光追踪模块B包括可见光源组件B-1和可见光追踪相机B-2；
其中该可见光源组件B-1用于发射可见光线；
该可见光追踪相机B-2用于捕捉用户单眼眼球中反射的可见光线，并通过计算机视觉技术根据可见光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；
在本实施例中，设置一个可见光追踪相机B-2，该可见光追踪相机B-2可以是彩色相机，也可以是单色灰度相机，该可见光追踪相机B-2内置在虚拟现实一体机设备中与用户的单眼眼球相对应的位置，且该可见光追踪相机的可追踪光线的波段区间为400～900nm；该可见光源组件B-1设置在可见光追踪相机的四周，即在可见光追踪相机周围附近安装一定数量的可见光源组件B-1，该可见光源组件B-1不仅仅包括可见光，其包括任意可以被可见光追踪相机B-2捕捉到的光源组件，其波段在400～900nm之间，可以为传统意义上的可见光源组件，也可以为波段为850nm的红外发光源组件，该用户的单眼眼球以右眼为例，在可见光追踪相机追踪用户眼球位置时，可见光源组件在眼球上的反射光形成追踪图像被捕捉到，而后通过计算机视觉技术获取眼球位置相对应在右眼屏幕上的位置信息。
通过上述实施方式可以看出，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染系统，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。
如上参照附图以示例的方式描述了根据本发明提出的基于单眼球追踪的虚拟现实系统注视渲染方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于单眼球追踪的虚拟现实系统注视渲染方法，其特征在于，包括：
采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；
获取与用户的双眼瞳孔距离相对应的远用瞳距，并根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；
分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；
在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。
2.如权利要求1所述的基于单眼球追踪的虚拟现实系统注视渲染方法，其特征在于，采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置的过程，包括：
向用户的单眼眼球发射光线；
捕捉用户单眼眼球中反射的光线，并通过计算机视觉技术根据所述光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
3.如权利要求2所述的基于单眼球追踪的虚拟现实系统注视渲染方法，其特征在于，
所述光线为红外光线或可见光线。
4.一种基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，用于实现如权利要求1-3任一项所述的基于单眼球追踪的虚拟现实系统注视渲染方法，包括设置在虚拟现实一体机中的虚拟现实系统显示屏幕、内置在所述虚拟现实一体机中的单眼追踪模块、IPD调节功能模块、处理器和渲染模块，其中，
所述单眼追踪模块用于采集用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置；
所述IPD调节功能模块用于与用户的双眼相适应以获取与用户的双眼瞳孔距离相对应的远用瞳距；
所述处理器用于根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置，并且分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；
所述渲染模块用于在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。
5.如权利要求4所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述单眼追踪模块为红外追踪模块或可见光追踪模块。
6.如权利要求5所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述红外追踪模块包括红外发光源组件和红外追踪相机；其中，
所述红外发光源组件用于发射红外光线；
所述红外光追踪相机用于捕捉用户单眼眼球中反射的红外光线，并通过计算机视觉技术根据所述红外光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
7.如权利要求6所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述红外光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；
所述红外发光源组件设置在所述红外光追踪相机的四周。
8.如权利要求5所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述可见光追踪模块包括可见光源组件和可见光追踪相机；
其中所述可见光源组件用于发射可见光线；
所述可见光追踪相机用于捕捉用户单眼眼球中反射的可见光线，并通过计算机视觉技术根据所述可见光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。
9.如权利要求8所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述可见光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；
所述可见光源组件设置在所述可见光追踪相机的四周。
10.如权利要求9所述的基于单眼球追踪的虚拟现实系统注视渲染系统，其特征在于，
所述可见光追踪相机的可追踪光线的波段区间为400～900nm。
CN202110340440.1A 2021-03-30 2021-03-30 基于单眼球追踪的虚拟现实系统注视渲染方法、系统 Pending CN113177434A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110340440.1A CN113177434A (zh) 2021-03-30 2021-03-30 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
EP21934408.2A EP4206979A4 (en) 2021-03-30 2021-09-06 METHOD AND SYSTEM FOR FOVEA DISPLAY IN A VIRTUAL REALITY BASED ON SINGLE EYEBALL TRACKING
PCT/CN2021/116750 WO2022205769A1 (zh) 2021-03-30 2021-09-06 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US17/816,408 US11715176B2 (en) 2021-03-30 2022-07-30 Foveated rendering method and system of virtual reality system based on monocular eyeball tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340440.1A CN113177434A (zh) 2021-03-30 2021-03-30 基于单眼球追踪的虚拟现实系统注视渲染方法、系统

Publications (1)

Publication Number Publication Date
CN113177434A true CN113177434A (zh) 2021-07-27

Family

ID=76922580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340440.1A Pending CN113177434A (zh) 2021-03-30 2021-03-30 基于单眼球追踪的虚拟现实系统注视渲染方法、系统

Country Status (4)

Country Link
US (1) US11715176B2 (zh)
EP (1) EP4206979A4 (zh)
CN (1) CN113177434A (zh)
WO (1) WO2022205769A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205769A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445167A (zh) * 2016-10-20 2017-02-22 网易（杭州）网络有限公司 单眼视界自适配调整方法及装置、头戴式可视设备
CN106686365A (zh) * 2016-12-16 2017-05-17 歌尔科技有限公司 用于头戴显示设备的镜头调节方法、装置及头戴显示设备
CN109960035A (zh) * 2017-12-26 2019-07-02 宏碁股份有限公司 头戴式显示器与调整方法
CN111491159A (zh) * 2020-05-29 2020-08-04 上海鸿臣互动传媒有限公司 一种增强现实的显示系统及方法
CN111556305A (zh) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN111988598A (zh) * 2020-09-09 2020-11-24 江苏普旭软件信息技术有限公司 一种基于远近景分层渲染的视景图像生成方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR20180057693A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
CN106980983A (zh) * 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
JP7096836B2 (ja) * 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
CN109429060B (zh) * 2017-07-07 2020-07-28 京东方科技集团股份有限公司 瞳孔距离测量方法、可穿戴眼部设备及存储介质
CN107317987B (zh) * 2017-08-14 2020-07-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
US11435577B2 (en) * 2018-04-25 2022-09-06 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
WO2020236827A1 (en) * 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN110855972B (zh) * 2019-11-21 2021-07-27 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN111128068B (zh) * 2019-11-28 2022-10-21 武汉天马微电子有限公司 一种显示装置和显示面板的驱动显示方法
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445167A (zh) * 2016-10-20 2017-02-22 网易（杭州）网络有限公司 单眼视界自适配调整方法及装置、头戴式可视设备
CN106686365A (zh) * 2016-12-16 2017-05-17 歌尔科技有限公司 用于头戴显示设备的镜头调节方法、装置及头戴显示设备
CN109960035A (zh) * 2017-12-26 2019-07-02 宏碁股份有限公司 头戴式显示器与调整方法
CN111556305A (zh) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN111491159A (zh) * 2020-05-29 2020-08-04 上海鸿臣互动传媒有限公司 一种增强现实的显示系统及方法
CN111988598A (zh) * 2020-09-09 2020-11-24 江苏普旭软件信息技术有限公司 一种基于远近景分层渲染的视景图像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205769A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11715176B2 (en) 2021-03-30 2023-08-01 Qingdao Pico Technology Co, Ltd. Foveated rendering method and system of virtual reality system based on monocular eyeball tracking

Also Published As

Publication number Publication date
WO2022205769A1 (zh) 2022-10-06
US20220366529A1 (en) 2022-11-17
EP4206979A4 (en) 2024-01-24
EP4206979A1 (en) 2023-07-05
US11715176B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US11694353B2 (en) Single depth tracked accommodation-vergence solutions
US10983354B2 (en) Focus adjusting multiplanar head mounted display
US11669160B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11755106B1 (en) Glint-assisted gaze tracker
US10271042B2 (en) Calibration of a head mounted eye tracking system
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US10401953B2 (en) Systems and methods for eye vergence control in real and augmented reality environments
US20170365189A1 (en) Replicating effects of optical lenses
US20120050493A1 (en) Geometric calibration of head-worn multi-camera eye tracking system
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
Bruder et al. Distance estimation in large immersive projection systems, revisited
US11715176B2 (en) Foveated rendering method and system of virtual reality system based on monocular eyeball tracking
WO2020014705A1 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
US20210397253A1 (en) Gaze tracking apparatus and systems
US11640201B2 (en) Virtual reality-based eyeball tracking method and system
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
US11520144B2 (en) Display device, display method thereof, and display system
US20200159027A1 (en) Head-mounted display with unobstructed peripheral viewing
US11675430B1 (en) Display apparatus and method incorporating adaptive gaze locking
Terzioglu et al. Gaze-Contingent Adaptation of VR Stereo Parameters for Cybersickness Prevention
CN115137293A (zh) 用于确定参考注视数据的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination