CN110322818A - 显示装置及操作方法 - Google Patents

显示装置及操作方法 Download PDF

Info

Publication number
CN110322818A
CN110322818A CN201910239748.XA CN201910239748A CN110322818A CN 110322818 A CN110322818 A CN 110322818A CN 201910239748 A CN201910239748 A CN 201910239748A CN 110322818 A CN110322818 A CN 110322818A
Authority
CN
China
Prior art keywords
image data
area
resolution image
display
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910239748.XA
Other languages
English (en)
Other versions
CN110322818B (zh
Inventor
安森·陈
刘乐群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN110322818A publication Critical patent/CN110322818A/zh
Application granted granted Critical
Publication of CN110322818B publication Critical patent/CN110322818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请案涉及一种显示系统及操作方法。所述显示系统包含：显示器，其经定位以向用户展示图像；及传感器，其经定位以监测所述用户的眼睛的注视位置。控制器耦合到所述显示器及所述传感器，且所述控制器包含使所述显示系统执行操作的逻辑。举例来说，所述控制器可从所述传感器接收注视位置信息，且确定所述眼睛的所述注视位置。针对所述图像中的第一区将第一分辨率图像数据输出到所述显示器。针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器。且针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器。

Description

显示装置及操作方法
技术领域
本发明大体来说涉及显示器，且特定来说但并不仅仅涉及眼睛跟踪。
背景技术
虚拟现实(VR)是再现逼真沉浸感的计算机模拟体验。当前的VR体验通常在用户面前利用投射环境。在一些情况下，VR体验也可包含声波沉浸感，例如通过使用耳机来实现。用户可能够使用用户界面在模拟环境中环顾四周或移动。使用户界面振动或向控制提供阻力有时可形成与环境的互动。
通常，对VR头戴式系统的性能要求比蜂窝式电话、平板计算机及电视的显示系统严格。这在一定程度上是由于在操作期间用户的眼睛极靠近显示屏且由于人类眼睛可处理图像的频率。
发明内容
在一个方面中，本申请案提供一种显示系统，所述显示系统包括：显示器，其经定位以向用户展示图像；传感器，其经定位以监测所述用户的眼睛的注视位置且输出注视位置信息；及控制器，其耦合到所述显示器及所述传感器，其中所述控制器包含在由所述控制器执行时使所述显示系统执行操作的逻辑，所述操作包含：由所述控制器从所述传感器接收所述注视位置信息；由所述控制器确定所述眼睛的所述注视位置；针对所述图像中的第一区将第一分辨率图像数据输出到所述显示器，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
在另一方面中，本申请案提供一种头戴式设备，所述头戴式设备包括：壳体，其经塑形以安装在用户的头部上；显示器，其经定位以在所述壳体安装在所述用户的所述头部上时向所述用户展示图像；传感器，其定位在所述壳体中以在所述壳体安装在所述用户的所述头部上时监测所述用户的眼睛的注视位置，并输出注视位置信息；及控制器，其耦合到所述显示器及所述传感器，其中所述控制器包含在由所述控制器执行时使所述头戴式设备执行操作的逻辑，所述操作包含：由所述控制器从所述传感器接收所述注视位置信息；由所述控制器确定所述眼睛的所述注视位置；针对所述图像中的第一区将第一分辨率图像数据输出到所述显示器，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
在另一方面中，本申请案提供一种方法，所述方法包括：由控制器从传感器接收注视位置信息以捕获用户的眼睛的注视位置；由所述控制器确定所述眼睛的所述注视位置；将图像从所述控制器输出到显示器，包含针对所述图像中的第一区输出第一分辨率图像数据，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；及针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
附图说明
参考下图描述本发明的非限制性及非详尽实例，其中除非另有规定，否则贯穿各个视图相似的参考编号指代相似的部分。
图1A描绘根据本发明的教示的实例性头戴式装置。
图1B描绘根据本发明的教示的图1A的实例性头戴式装置的横截面图。
图2A及2B图解说明根据本发明的教示以减小所需带宽的方式将图像数据提供给显示器的实例。
图3展示根据本发明的教示的操作头戴式装置的实例性方法。
图4展示根据本发明的教示的操作头戴式装置的实例性方法。
图5展示根据本发明的教示的操作头戴式装置的实例性方法。
图6展示根据本发明的教示的操作头戴式装置的实例性方法。
在图式的数个视图中，对应的参考字符指示对应的组件。所属领域的技术人员将了解，图中的元件是为简明及清晰起见而图解说明，并不一定按比例绘制。举例来说，可相对于其他元件而放大图中的元件中的一些元件，以帮助增进对本发明的各种实施例的理解。此外，通常不绘示可商业化实施例中有用或必需的常见但透彻理解的元件，以便于更清楚地理解本发明的这些各种实施例。
具体实施方式
本文中描述与显示装置相关的设备、系统及方法的实例。在以下说明中，陈述众多具体细节以提供对实例的透彻理解。然而，相关领域的技术人员将认识到，可在不具有所述具体细节中的一或多者的情况下实践或者可借助其它方法、组件、材料等来实践本文中所描述的技术。在其它例子中，未详细展示或描述众所周知的结构、材料或操作以免使一些方面模糊。
在本说明书通篇提及“一个实例”或“一个实施例”意指结合所述实例所描述的特定特征、结构或特性包含在本发明的至少一个实例中。因此，在本说明书通篇的各个位置出现的短语“在一个实例中”或“在一个实施例中”未必全部皆指代同一实例。此外，特定的特征、结构或特性可以任何适合的方式组合在一或多个实例中。
对虚拟现实(VR)或增强现实(AR)头戴式系统的性能要求比蜂窝式电话、平板计算机及电视的显示系统严格。一个关键的性能要求是高分辨率。通常，中央凹处60像素/度的像素密度通常被称为眼睛极限分辨率。对于VR来说，每一高分辨率的立体平面图像显示两次，每只眼睛一次，以占据用户周边视觉的大部分(例如，垂直视觉是～180度，且水平视觉是～135度)。为呈现高分辨率图像，可需要将大的图像数据集从VR系统的处理器/控制器提供到VR显示器。
另一关键性能参数是短的等待时间。长等待时间可导致用户患上虚拟现实疾病。在一些VR实施例中，理想的等待时间将是7到15毫秒。此等待时间的主要分量是显示器的刷新速率，所述刷新速率被驱动到高达120Hz或甚至240Hz。图形处理单元(GPU)也需要变得更强大以更频繁地呈现帧。在一些VR实例中，为了有无缝衔接之感，帧速率需要为至少90fps。
因此，由于需要大的数据集，因此当前的图形卡及显示器要同时实现至少90fps(帧/秒)、120Hz或更大的刷新速率(对于超过1080p分辨率的立体3D来说)及宽视野这三者是颇具挑战性的。本发明描述一种头戴式装置/系统(及操作方法)以在用户感觉不到图像质量明显下降的情况下减少所需带宽且实现更好的等待时间。
以下说明论述上文所揭示的实例以及与图相关的其它实例。
图1A描绘实例性头戴式装置100，实例性头戴式装置100包含显示器101、壳体121、系带123、数据/电力连接125、控制器131及网络141。控制器131包含存储器132、电源133、数据输入/输出135、处理器137及网络连接139。应了解，所描绘的所有电子装置是经由总线等耦合。应了解，头戴式装置100仅是本发明所涵盖的装置的一个实施例。所属领域的技术人员将了解，本文中所揭示的教示也可适用于车(例如，防风罩)或飞机的抬头式显示器，或甚至可内置在个人计算装置(例如，智能电话等)中。
如所示，壳体121经塑形以通过使用系带123(其可以是弹性材料、维克罗(Velcro)、塑料等且缠绕在用户的头部上)可移除地安装在用户的头部上。壳体121可由金属、塑料、玻璃等形成。显示器101安置到壳体121中且经定位以在壳体121安装在用户的头部上时向用户展示图像。应了解，显示器101可内置到壳体121中，或可能够可移除地附接到壳体121。举例来说，显示器101可以是可插入到壳体121中的智能电话的一部分。在其它或相同实例中，显示器101可包含发光二极管显示器(LED)、有机LED显示器、液晶显示器、全息显示器等。在一些实例中，显示器101可以部分地透明(或不会使用户的全部视觉模糊)以提供增强现实(AR)环境。应了解，显示器101可被构造成其仅定位在用户的一只眼睛前方。
在所描绘的实例中，控制器131耦合到显示器101及传感器(例如，参见图1B的传感器151)。控制器131包含逻辑，所述逻辑在由控制器131执行时使头戴式装置100执行操作(包含控制在显示器131上展示的图像)。应了解，控制器131可以是与头戴式装置100分离的计算机，或可部分地安置在头戴式装置100中(例如，如果显示器100包含智能电话，且智能电话中的处理器处置一些或所有的处理)。此外，控制器131可包含分布式系统，举例来说控制器131可经由因特网或从远程服务器接收指令。在所描绘的实例中，控制器131经耦合以通过网络连接139(例如，无线接收器、以太网端口等)从网络141接收指令。控制器131还包含处理器137，处理器137可包含图形处理单元(例如，一或多个图形卡、通用处理器等)。处理器137可耦合到存储器132，例如RAM、ROM、硬盘、远程存储装置等。数据输入/输出135可将指令从控制器131通过数据连接125输出到头戴式装置100，数据连接125可包含电缆等。在一些实例中，连接125可以是无线的(例如，蓝牙等)。电源133也包含在控制器131中且可包含插到壁式插座、电池、感应充电源等中的电力供应器(例如，AC到DC转换器)。
图1B描绘图1A的实例性头戴式装置100的横截面图。如所示，头戴式装置100还包含透镜光学器件155、传感器151、不可见光照射器153及缓冲垫157(因此头戴式装置100舒服地停留在用户的前额上)。在所描绘的实例中，透镜光学器件155(其可包含一或多个菲涅耳(Fresnel)透镜、凸透镜、凹透镜等)定位在显示器101与用户的眼睛之间的壳体121中，以将来自显示器101上的图像的光聚焦到用户的眼睛中。不可见光照射器153(例如，LED)定位在壳体121中以使用不可见光(例如，红外线光等)来照射眼睛，且传感器151(例如，CMOS图像传感器等)经结构设计(例如，具有IR通过滤波器、窄带隙半导体材料，如Ge/SiGe等)以吸收不可见光且监测眼睛的注视位置。因此，将用户的眼睛完全照射到传感器151，但用户不会看到除来自显示器101的光之外的任何光。
在一些实例中，可仅存在一个传感器151或可存在多个传感器151，且传感器151安置在透镜光学器件155周围的各个地方以监测用户的眼睛。应了解，传感器151可经定位以通过透镜光学器件155对眼睛进行成像，或可不使用中间光学器件来对眼睛进行成像。还应了解，可将系统校准以将眼睛位置与显示器101上用户所观看的位置关联起来。可在工厂中或可在用户购买之后进行校准。
图2A及2B图解说明以减小所需带宽的方式将图像数据提供到显示器201(例如，
图1A及1B的显示器101)的实例。举例来说，图2A展示输出(到显示器201)图像(在此，是花的图像)中的第一区261的第一分辨率图像数据。应了解，第一区261包含眼睛在显示器上的注视位置。换句话说，第一区261是显示器201上眼睛所观看的位置。根据眼睛观看的位置，第一区261会改变位置，且传输到显示器的图像数据也相应地发生改变(例如，不同分辨率、帧速率、刷新速率等)。应了解，由于区261是眼睛看得最清楚的位置，因此区261可被供应有最高分辨率的图像数据。还展示输出(到显示器201)图像中的第二区263的第二分辨率图像数据。第二区263处于眼睛的周边视觉中；因此，供应到第一区261的第一分辨率图像数据具有比供应到第二区263的第二分辨率图像数据高的分辨率。因此，需要传输到显示器201的数据较少，但不会使头戴式装置的用户体验变差。应了解，在一些实例中，对于在第一区261之外的区来说，X个像素中的1个像素可从控制器接收图像数据，因此显示器201在此区中功能性地以1/X分辨率操作。换句话说，每一刷新循环仅1/X像素可更新有新信息。
图2B类似于图2A但包含额外区：第三区265及第四区269。因此，图2B包含多个区。在所描绘的实例中，将图像中的第三区265的第三分辨率图像数据输出到显示器201。第二区263安置于第一区261与第三区265之间，且第二分辨率图像数据具有比第三分辨率图像数据高的分辨率。因此，越移动远离用户注视的中心，图像的分辨率越低。类似地，第四区269包含第四分辨率图像数据，所述第四分辨率图像数据具有比第三分辨率图像数据低的分辨率。
应了解，第二区263与第一区261是同心的，且第二分辨率图像数据的分辨率从第一区261到第三区265逐渐减小。类似地，第三区265的分辨率可朝向第四区269逐渐减小。第二分辨率图像数据及第三分辨率图像数据的分辨率可从第一区到第四区以线性速率或非线性速率减小。
在相同实例或不同实例中，第一分辨率图像数据具有第一帧速率，第二分辨率图像数据具有第二帧速率，第三分辨率图像数据具有第三帧速率，且第四分辨率图像具有第四帧速率。且第一帧速率大于第二帧速率，第二帧速率大于第三帧速率，且第三帧速率大于第四帧速率。减小用户视觉的周边区的帧速率可进一步节约带宽，这是因为需要传送到显示器201的数据变少。应了解，像分辨率一样，第二帧速率可从第一区261到第三区265逐渐减小，且第三帧速率可从第二区263到第四区269逐渐减小。
在另一实例或同一实例中，第一分辨率图像数据可具有第一刷新速率，第二分辨率图像数据可具有第二刷新速率，第三分辨率图像数据可具有第三刷新速率，且第四分辨率图像数据可具有第四刷新速率。且第一刷新速率大于第二刷新速率，第二刷新速率大于第三刷新速率，且第三刷新速率大于第四刷新速率。应了解，第二刷新速率可从第一区261到第三区265逐渐减小，且第三刷新速率可从第二区263到第四区269逐渐减小。像减小帧速率及分辨率一样，减小刷新速率同样可减少操作显示器201所需的数据量。
图3展示操作头戴式装置的实例性方法300。所属领域的技术人员将了解，方法300中的方框301到309可以任何次序且甚至并行地进行。此外，根据本发明的教示，可添加方框或从方法300移除方框。
方框301展示由控制器(例如，图1A的控制器131)从定位在头戴式装置中用以捕获用户的眼睛的注视位置的传感器(例如，图1B的传感器155)接收注视位置信息。在一些实例中，捕获眼睛的注视位置包含捕获显示器上眼睛所观看的位置。此可以是屏幕的具体象限或屏幕上的个别像素群组。
方框303描绘由控制器来确定眼睛的注视位置。在一些实例中，此可包含将用户虹膜或瞳孔的位置与屏幕上用户所观看的位置关联起来。可在工厂中校准系统或用户在使用之前校准头戴式显示器来实现此关联。另外，头戴式显示器可使用机器学习算法(例如，神经网络)等来反复地了解用户正在观看的位置。
方框305图解说明将图像(例如，视频、视频游戏图形等)从控制器(可安置在PC或游戏系统中)输出到包含图像中的第一区的第一分辨率图像数据的显示器。应了解，第一区包含眼睛在显示器上的注视位置(例如，显示器上眼睛所观看的地方)。
方框307展示将图像中的第二区的第二分辨率图像数据输出到显示器。第一分辨率图像数据具有比第二分辨率图像数据(例如，720p或更小)高的分辨率(例如，1080p)。在一些实例中，第二区与第一区是同心的。在一些实例中，所述区可不具有相同的中心且可彼此间具有预定的偏移量。
方框309描绘将图像中的第三区的第三分辨率图像数据输出到显示器。在所描绘的实例中，第二区安置于第一区与第三区之间，且第二分辨率图像数据具有比第三分辨率图像数据高的分辨率。第二分辨率图像数据的分辨率可从第一区到第三区逐渐减小(例如线性地、指数性地、以递减速率减小、以递增的速率减小等)。
在一些实例中，应了解，图像的各个区可具有不同的帧速率。在一个实例中，第一分辨率图像数据具有第一帧速率，第二分辨率图像数据具有第二帧速率，且第三分辨率图像数据具有第三帧速率。且第一帧速率大于第二帧速率，且第二帧速率大于第三帧速率。应了解，像分辨率一样，帧速率可从第一区到第三区逐渐减小(例如线性地、指数性地、以递减速率减小、以递增速率减小等)。应了解，在一些实例中，所有区中的所有像素的帧速率是对准的。换句话说，尽管不同区中的像素具有不同的帧速率，但其同时接收从控制器传送的新图像数据。举例来说，第一区中的像素可在120Hz下从控制器接收图像数据，而第二区中的像素可在60Hz下从控制器接收图像数据；两个像素将在第二(较慢)像素更新时更新。因此，第一帧速率是第二帧速率的整数倍。在其它实施例中，第二帧速率可以是第三帧速率的整数倍。
在一些实例中，应了解图像的各个区可具有不同的刷新速率。在所描绘的实例中，第一分辨率图像数据具有第一刷新速率，第二分辨率图像数据具有第二刷新速率，且第三分辨率图像数据具有第三刷新速率。且第一刷新速率大于第二刷新速率，且第二刷新速率大于第三刷新速率。在一些实例中，第二刷新速率从第一区到第三区逐渐减小(例如线性地、指数性地、以递减速率减小、以递增速率减小等)。应了解，在一些实例中，所有区中的所有像素的刷新周期是对准的。举例来说，第一区中的像素可在240Hz的速率下刷新，而第二区中的像素在120Hz下刷新，因此所述两个不同区中的像素同时但在不同周期内刷新。因此，第一刷新速率是第二刷新速率的整数倍。在其它实施例中，第二刷新速率可以是第三刷新速率的整数倍。
在一个实例中，跨越整个显示器(例如，既在眼睛聚焦区也在眼睛聚焦区之外)以全分辨率通过第一帧起始显示器。这样一来，在执行注视位置计算之前用户体验不会降级。另外，所属领域的技术人员将了解，“帧速率”是指图像数据的频率，而“刷新速率”是指显示器中的像素的刷新速率，且这些速率可不同。
图4展示操作头戴式装置的实例性方法400。应了解，图4可描绘图3中所展示的方法的更具体的实例。所属领域的技术人员将了解，方法400中的方框401到413可以任何次序且甚至并行地进行。此外，根据本发明的教示，可添加方框或从方法400移除方框。
方框401展示由传感器来跟踪眼睛移动(其可包含跟踪眼睛聚焦方向、在显示器上的位置、注视角度等)。接着，可将此信息发送到眼睛跟踪模块(例如控制器中的组件，所述组件可以硬件、软件或两者的组合来实施)以跟踪眼睛的注视位置。
方框403描绘计算注视位置(例如，基于眼睛聚焦角度以及眼睛与显示器之间的距离)且界定显示器上的眼睛聚焦区(例如，注视位置)的边界处的每一像素的地址。接着，将这些地址发送到控制器。应了解，根据本发明的教示，安置在头戴式装置中的处理器或控制电路系统可被视为“控制器”的一部分。
方框405图解说明由控制器来对图像像素数据的地址与所接收到的眼睛聚焦边界地址进行比较。如所示，控制器确定图像像素是否在眼睛聚焦区中。
方框407展示如果图像像素在眼睛聚焦区中，那么针对每一像素地址将图像数据发送到接口模块(例如控制器中的另一组件，其可以硬件、软件或硬件与软件组合来实施)以用于高分辨率成像。
方框409描绘如果图像像素不在眼睛聚焦区中，那么系统继续对邻近的像素进行比较，直至其到达第N像素(例如，第10像素)为止，接着系统仅将第N(例如，第10)像素的图像数据发送到接口模块。因此，数据集可得以极大减小。在一些实例中，第N像素可以是比第10大的像素或小的像素。所属领域的技术人员将了解，也可使用其它方法来减小用于部分低分辨率成像的数据集。
方框411图解说明接口模块将帧经由无线连接或有线连接发送到VR显示器。每一帧在像素地址位于眼睛聚焦区中的情况下包含全分辨率数据集，且在像素地址位于眼睛聚焦区之外的情况下包含1/N(例如，1/10)全分辨率数据集。此有效地减小了将图像数据从控制器(例如，图1A的控制器131)提供到VR头戴式显示器所需的带宽。
方框413展示在眼睛聚焦区处以全分辨率且在眼睛聚焦区之外以1/N全分辨率来显示(例如，在显示器101上)图像。
图5展示操作头戴式装置的实例性方法500。应了解，图5可描绘与图4中所描绘的方法不同但类似的方法。所属领域的技术人员将了解，方法500中的方框501到517可以任何次序且甚至并行地进行。此外，根据本发明的教示，可添加方框或从方法500移除方框。
方框501到方框505描绘与图4的方法400中的方框401到405类似的动作。
方框507展示系统确定图像像素是否在过渡区中，像素是否在眼睛聚焦区中。
方框509展示如果确定图像像素不在过渡区中，那么系统继续对邻近的像素进行比较，直至系统到达第N像素(例如，第10像素)为止，接着系统将第N像素图像数据的发送到接口模块。
方框511展示如果确定图像像素在过渡区中，那么系统继续对邻近的像素进行比较，直至系统到达第(N/2)像素(例如，第5像素)为止，接着系统将第(N/2)像素的图像数据发送到接口模块。
方框513展示如果图像像素在眼睛聚焦区中(参见方框505)，那么针对每一像素地址将图像数据发送到接口模块以用于高分辨率成像。
方框515图解说明利用接口模块将具有三个子帧的一个帧发送到VR显示器(经由无线连接或有线连接)。第一子帧可包含在像素地址在过渡区之外情况下的1/N(例如，1/10)全分辨率数据集。第二子帧可包含在像素地址在过渡区中情况下的2/N(例如，1/5)全分辨率数据集。第三子帧可包含在像素地址在眼睛聚焦区中情况下的全分辨率数据集。因此，极大地减小了将图像数据从控制器提供到VR头戴式显示器所需的带宽。
方框517描绘在眼睛聚焦区处以高分辨率显示一个帧图像，在图像质量无明显损失的情况下分辨率朝向远离注视位置的区较平滑地降级。
图6展示操作头戴式装置的实例性方法600。应了解，图6可描绘与图5中所描绘的方法不同但类似的方法。所属领域的技术人员将了解，方法600中的方框601到621可以任何次序且甚至并行地进行。此外，根据本发明的教示，可添加方框或从方法600移除方框。
方框601展示系统使用传感器(例如，传感器155)来监测眼睛移动，且将眼睛聚焦角度发送到眼睛跟踪模块。
方框603图解说明系统中的眼睛跟踪模块计算(基于眼睛聚焦角度以及眼睛与显示器之间的距离)眼睛的注视位置，且界定显示器上的眼睛聚焦区与过渡区的边界处的每一像素的地址。接着，可将此地址发送到VR控制器。
方框605描绘使用控制器来对图像像素数据的地址与所接收到的眼睛聚焦边界地址进行比较。
方框607展示系统确定图像像素是否在过渡区中，图像像素是否在眼睛聚焦区中。
方框609图解说明如果图像像素不在过渡区中，那么系统继续对邻近的像素进行比较，直至其到达第N像素(例如，第10像素)为止，接着系统将第N像素的图像数据发送到接口模块。
方框611描绘如果图像像素在过渡区中，那么系统继续对邻近的像素进行比较，直至其到达第(N/2)像素(例如，第5像素)为止，接着系统将第(N/2)像素的图像数据发送到接口模块。
方框613展示如果图像像素在眼睛聚焦区中，那么系统针对每一像素地址将图像数据发送到接口模块以用于高分辨率成像。
方框615图解说明，接口模块将具有高的帧速率及高的刷新速率的子帧经由无线连接或有线连接发送到VR显示器。在像素地址位于眼睛聚焦区中的情况下，每一子帧皆包含高分辨率数据集。
方框617描绘接口模块将具有中等帧速率及中等刷新速率的子帧经由无线连接或有线连接发送到VR显示器。在像素地址位于过渡区中的情况下，每一子帧皆包含中等分辨率数据集。
方框619展示接口模块将具有低的帧速率及低的刷新速率的子帧经由无线连接或有线连接发送到VR显示器。在像素地址位于过渡区之外的情况下，每一子帧皆包含低分辨率数据集。
方框621图解说明在图像质量无明显损失的情况下在眼睛聚焦区处以高分辨率、快速帧速率及快速刷新速率显示图像。
对本发明的所图解说明实例的以上说明(包含发明摘要中所描述的内容)并不旨在具穷尽性或将本发明限制在所揭示的精确形式。虽然本文中出于说明目的而在描述了本发明的具体实例，但所属领域的技术人员将认识到可在本发明的范围内做出各种修改。
可鉴于以上详细说明对本发明做出这些修改。所附权利要求书中所使用的术语不应被理解为将本发明限制于本说明书中所揭示的具体实例。而是，本发明的范围将完全由所附权利要求书来决定，所述权利要求书将根据所创建的权利要求解释原则来加以理解。

Claims (22)

1.一种显示系统，其包括：
显示器，其经定位以向用户展示图像；
传感器，其经定位以监测所述用户的眼睛的注视位置且输出注视位置信息；及
控制器，其耦合到所述显示器及所述传感器，其中所述控制器包含在由所述控制器执行时使所述显示系统执行操作的逻辑，所述操作包含：
由所述控制器从所述传感器接收所述注视位置信息；
由所述控制器确定所述眼睛的所述注视位置；
针对所述图像中的第一区将第一分辨率图像数据输出到所述显示器，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；
针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及
针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
2.根据权利要求1所述的显示系统，其进一步包括：
壳体，其经塑形以可移除地安装在用户的头部上，且其中所述显示器经结构设计以在所述壳体安装在所述用户的所述头部上时安置在所述壳体中，且其中所述传感器定位在所述壳体中以在所述壳体安装在所述用户的所述头部上时监测所述眼睛的注视位置。
3.根据权利要求1所述的显示系统，其中所述第二区与所述第一区是同心的，且其中所述第二分辨率图像数据的分辨率从所述第一区到所述第三区逐渐减小。
4.根据权利要求3所述的显示系统，其中所述第二分辨率图像数据的分辨率从所述第一区到所述第三区以线性速率或非线性速率减小。
5.根据权利要求1所述的显示系统，其中所述第一分辨率图像数据具有第一帧速率，所述第二分辨率图像数据具有第二帧速率，且所述第三分辨率图像数据具有第三帧速率，且其中所述第一帧速率大于所述第二帧速率，且所述第二帧速率大于所述第三帧速率。
6.根据权利要求5所述的显示系统，其中所述第二帧速率从所述第一区到所述第三区逐渐减小。
7.根据权利要求1所述的显示系统，其中所述第一分辨率图像数据具有第一刷新速率，所述第二分辨率图像数据具有第二刷新速率，且所述第三分辨率图像数据具有第三刷新速率，且其中所述第一刷新速率大于所述第二刷新速率，且所述第二刷新速率大于所述第三刷新速率。
8.根据权利要求7所述的显示系统，其中所述第二刷新速率从所述第一区到所述第三区逐渐减小。
9.一种头戴式设备，其包括：
壳体，其经塑形以安装在用户的头部上；
显示器，其经定位以在所述壳体安装在所述用户的所述头部上时向所述用户展示图像；
传感器，其定位在所述壳体中以在所述壳体安装在所述用户的所述头部上时监测所述用户的眼睛的注视位置，并输出注视位置信息；及
控制器，其耦合到所述显示器及所述传感器，其中所述控制器包含在由所述控制器执行时使所述头戴式设备执行操作的逻辑，所述操作包含：
由所述控制器从所述传感器接收所述注视位置信息；
由所述控制器确定所述眼睛的所述注视位置；
针对所述图像中的第一区将第一分辨率图像数据输出到所述显示器，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；
针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及
针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
10.根据权利要求9所述的头戴式设备，其进一步包括：
透镜光学器件，其在所述壳体中定位在所述显示器与所述眼睛之间，以将来自所述显示器上的所述图像的光聚焦到所述眼睛中；及
不可见光照射器，其定位在所述壳体中以利用不可见光来照射所述眼睛，其中所述传感器经结构设计以吸收所述不可见光以监测所述眼睛的所述注视位置。
11.根据权利要求9所述的头戴式设备，其中所述第一分辨率图像数据具有第一帧速率，所述第二分辨率图像数据具有第二帧速率，且所述第三分辨率图像数据具有第三帧速率，且其中所述第一帧速率大于所述第二帧速率，且所述第二帧速率大于所述第三帧速率。
12.根据权利要求9所述的头戴式设备，其中所述第一分辨率图像数据具有第一刷新速率，所述第二分辨率图像数据具有第二刷新速率，且所述第三分辨率图像数据具有第三刷新速率，且其中所述第一刷新速率大于所述第二刷新速率，且所述第二刷新速率大于所述第三刷新速率。
13.一种方法，其包括：
由控制器从传感器接收注视位置信息以捕获用户的眼睛的注视位置；
由所述控制器确定所述眼睛的所述注视位置；
将图像从所述控制器输出到显示器，包含针对所述图像中的第一区输出第一分辨率图像数据，其中所述第一区包含所述眼睛在所述显示器上的所述注视位置；及
针对所述图像中的第二区将第二分辨率图像数据输出到所述显示器，其中所述第一分辨率图像数据具有比所述第二分辨率图像数据高的分辨率；及
针对所述图像中的第三区将第三分辨率图像数据输出到所述显示器，其中所述第二区安置在所述第一区与所述第三区之间，且其中所述第二分辨率图像数据具有比所述第三分辨率图像数据高的分辨率。
14.根据权利要求13所述的方法，其中所述第二区与所述第一区是同心的，且其中所述第二分辨率图像数据的分辨率从所述第一区到所述第三区逐渐减小。
15.根据权利要求14所述的方法，其中所述第二分辨率图像数据从所述第一区到所述第三区按照线性速率、递减速率或递增速率中的一者减小。
16.根据权利要求13所述的方法，其中所述第一分辨率图像数据具有第一帧速率，所述第二分辨率图像数据具有第二帧速率，且所述第三分辨率图像数据具有第三帧速率，且其中所述第一帧速率大于所述第二帧速率，且所述第二帧速率大于所述第三帧速率。
17.根据权利要求16所述的方法，其中所述第二帧速率从所述第一区到所述第三区逐渐减小。
18.根据权利要求16所述的方法，其中所述第一帧速率是所述第二帧速率的整数倍，且所述第二帧速率是所述第三帧速率的整数倍。
19.根据权利要求13所述的方法，其中所述第一分辨率图像数据具有第一刷新速率，所述第二分辨率图像数据具有第二刷新速率，且所述第三分辨率图像数据具有第三刷新速率，且其中所述第一刷新速率大于所述第二刷新速率，且所述第二刷新速率大于所述第三刷新速率。
20.根据权利要求19所述的方法，其中所述第二刷新速率从所述第一区到所述第三区逐渐减小。
21.根据权利要求19所述的方法，其中所述第一刷新速率是所述第二刷新速率的整数倍，且所述第二刷新速率是所述第三刷新速率的整数倍。
22.根据权利要求13所述的方法，其中捕获所述眼睛的所述注视位置包含捕获所述显示器上所述眼睛所观看的位置，且其中所述显示器安置在头戴式装置中。
CN201910239748.XA 2018-03-29 2019-03-27 显示装置及操作方法 Active CN110322818B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/940,784 US20190302881A1 (en) 2018-03-29 2018-03-29 Display device and methods of operation
US15/940,784 2018-03-29

Publications (2)

Publication Number Publication Date
CN110322818A true CN110322818A (zh) 2019-10-11
CN110322818B CN110322818B (zh) 2023-03-28

Family

ID=68056093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910239748.XA Active CN110322818B (zh) 2018-03-29 2019-03-27 显示装置及操作方法

Country Status (3)

Country Link
US (1) US20190302881A1 (zh)
CN (1) CN110322818B (zh)
TW (1) TWI711855B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实系统、计算机设备及介质
CN114660802A (zh) * 2020-12-23 2022-06-24 托比股份公司 头戴式显示器和优化方法
WO2023125217A1 (zh) * 2021-12-28 2023-07-06 维沃移动通信有限公司 图像处理电路、方法和电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
US20200166752A1 (en) * 2018-11-26 2020-05-28 Varjo Technologies Oy Display for use in display apparatus
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
US10788893B1 (en) 2019-08-06 2020-09-29 Eyetech Digital Systems, Inc. Computer tablet augmented with internally integrated eye-tracking camera assembly
TWI704378B (zh) * 2019-11-21 2020-09-11 宏碁股份有限公司 頭戴式顯示裝置
US11314327B2 (en) 2020-04-22 2022-04-26 Htc Corporation Head mounted display and control method thereof
US20230115678A1 (en) * 2021-09-24 2023-04-13 Arm Limited Apparatus and Method of Focusing Light

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
US20130070109A1 (en) * 2011-09-21 2013-03-21 Robert Gove Imaging system with foveated imaging capabilites
US20160021351A1 (en) * 2013-03-14 2016-01-21 Nittoh Kogaku K.K. Optical system and device having optical system
US20160133055A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US20160189747A1 (en) * 2014-12-25 2016-06-30 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
US20170011492A1 (en) * 2013-03-04 2017-01-12 Tobii Ab Gaze and saccade based graphical manipulation
WO2017036429A2 (en) * 2016-12-01 2017-03-09 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
US20170178408A1 (en) * 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN107155103A (zh) * 2016-03-04 2017-09-12 罗克韦尔柯林斯公司 用于传输图像至头戴式显示器系统的系统和方法
US20170363873A1 (en) * 2016-06-15 2017-12-21 Vrvaorigin Vision Technology Corp. Ltd. Head-mounted personal multimedia systems and visual assistance devices thereof
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
EP3724858A4 (en) * 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
US20130070109A1 (en) * 2011-09-21 2013-03-21 Robert Gove Imaging system with foveated imaging capabilites
US20170011492A1 (en) * 2013-03-04 2017-01-12 Tobii Ab Gaze and saccade based graphical manipulation
US20160021351A1 (en) * 2013-03-14 2016-01-21 Nittoh Kogaku K.K. Optical system and device having optical system
US20160133055A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US20160189747A1 (en) * 2014-12-25 2016-06-30 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
US20170178408A1 (en) * 2015-12-22 2017-06-22 Google Inc. Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN107155103A (zh) * 2016-03-04 2017-09-12 罗克韦尔柯林斯公司 用于传输图像至头戴式显示器系统的系统和方法
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
US20170363873A1 (en) * 2016-06-15 2017-12-21 Vrvaorigin Vision Technology Corp. Ltd. Head-mounted personal multimedia systems and visual assistance devices thereof
WO2017036429A2 (en) * 2016-12-01 2017-03-09 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN114660802A (zh) * 2020-12-23 2022-06-24 托比股份公司 头戴式显示器和优化方法
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实系统、计算机设备及介质
CN112887646B (zh) * 2021-01-22 2023-05-26 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实系统、计算机设备及介质
WO2023125217A1 (zh) * 2021-12-28 2023-07-06 维沃移动通信有限公司 图像处理电路、方法和电子设备

Also Published As

Publication number Publication date
CN110322818B (zh) 2023-03-28
TWI711855B (zh) 2020-12-01
US20190302881A1 (en) 2019-10-03
TW201942646A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110322818A (zh) 显示装置及操作方法
US11393435B2 (en) Eye mounted displays and eye tracking systems
CN109863533B (zh) 虚拟、增强和混合现实系统和方法
CN105359540B (zh) 头戴式显示设备及用于控制这样的设备的方法
RU2693329C2 (ru) Способ и устройство отображения с оптимизацией перераспределения пикселей
US8786675B2 (en) Systems using eye mounted displays
EP3029550A1 (en) Virtual reality system
CN102918853B (zh) 用于立体三维系统中的自适应稳定图像时序的方法和装置
US20110241976A1 (en) Systems and methods for personal viewing devices
CN205862013U (zh) 一种轻型vr视力保护眼镜系统
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
CN105684074A (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
WO2020140758A1 (zh) 图像显示方法、图像处理方法和相关设备
WO2009094643A2 (en) Systems using eye mounted displays
CN102540467A (zh) 头戴式显示器
CN205195880U (zh) 观看设备及观看系统
WO2019143793A1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
EP2583131B1 (en) Personal viewing devices
WO2021031822A1 (zh) 头戴式显示设备的图像显示方法、装置及系统
US11126001B2 (en) Image generating apparatus, head-mounted display, content processing system and image displaying method
KR20170029144A (ko) 스마트폰을 이용한 가상현실 시스템
Gilson et al. High fidelity immersive virtual reality
WO2022166712A1 (zh) 图像的显示方法、装置、可读介质和电子设备
GB2548151A (en) Head-mountable display
US20190079284A1 (en) Variable DPI Across A Display And Control Thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant