CN110447053A - 基于元素显著性的稀疏外围显示器的选择性绘制 - Google Patents

基于元素显著性的稀疏外围显示器的选择性绘制 Download PDF

Info

Publication number
CN110447053A
CN110447053A CN201880020492.7A CN201880020492A CN110447053A CN 110447053 A CN110447053 A CN 110447053A CN 201880020492 A CN201880020492 A CN 201880020492A CN 110447053 A CN110447053 A CN 110447053A
Authority
CN
China
Prior art keywords
scene
computer
computer system
conspicuousness
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880020492.7A
Other languages
English (en)
Other versions
CN110447053B (zh
Inventor
M·C·克里斯勒
R·T·海尔德
E·格利克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110447053A publication Critical patent/CN110447053A/zh
Application granted granted Critical
Publication of CN110447053B publication Critical patent/CN110447053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

外围可视化基于与场景相关联的各种属性。确定场景中元素的特性。基于这些特性，确定了元素的显著性。当元素是显著的时，则该确定还包括元素的显著性幅度。此后，实施例确定元素的显著性幅度是否超过特定显著性阈值。如果幅度确实超过该阈值，则实施例利用靠近(多个)显著元素的(多个)外围显示器绘制对应的外围可视化。

Description

基于元素显著性的稀疏外围显示器的选择性绘制
背景技术
计算机和计算系统几乎影响了现代生活的每个方面。例如，计算机通常涉及工作、消遣、医疗保健、运输、娱乐、家庭管理等。
包括虚拟现实系统和增强现实系统的混合现实计算机系统最近因其为用户创建沉浸式体验的能力而受到极大关注。常规的增强现实系统通过在现实世界中可视地呈现虚拟对象来创建增强现实场景。相比之下，常规的虚拟现实系统创建了更加沉浸式的体验，因为用户的整个视图受到虚拟世界的阻碍。如本文所使用的，混合现实、增强现实和虚拟现实系统被可互换地描述和引用。除非特别说明或除非特别要求，否则如本领域技术人员所理解的，本文的描述同样适用于任何类型的混合现实系统，包括增强现实系统、虚拟现实系统和/或能够向用户显示虚拟对象的任何其他类似系统。
混合现实计算机系统使用一个或多个体上设备(例如，头戴式设备、手持式设备等)。头戴式设备提供显示器，有时被称为头戴式显示器(下文为“HMD”)，其使得用户能够在用户的周围环境(即用户的视野)中查看重叠和/或集成的视觉信息。例如，混合现实计算机系统可以在实际桌面上呈现模拟对象形式的视觉信息。
硬件能力和绘制技术的持续进步极大地增加了在混合现实环境中向用户显示的虚拟对象的真实性。例如，在混合现实环境中，虚拟对象可以被放置在现实世界中，以便给人以虚拟对象是现实世界的一部分的印象。当用户在现实世界内四处移动时，混合现实环境自动更新，以便向用户提供虚拟对象的适当视角和视图。这种混合现实环境通常被称为计算机生成的场景，或简称为“场景”。
尽管HMD提供通用接口，但是现代HMD在呈现给用户的“视野”量方面受到限制。为了阐明，HMD具有可以显示场景的有限数目的不动产(即空间)。由于这种约束，用户的虚拟体验仅限于HMD上显示的区域。对于该可视区域之外的区域，用户看不到虚拟内容(例如，在增强现实情况下)或完全黑暗(例如，在虚拟现实情况下)。众所周知，一些用户在沉浸在这种环境中时可能感到不适。
为了解决这些问题，混合现实系统设计者已经引入了“稀疏外围显示器”的使用。如其名称所示，稀疏外围显示器是位于主显示器的外周边周围的低分辨率显示器。如本文所使用的，“稀疏外围显示器”和“外围显示器”被可互换地描述和引用。该稀疏外围显示器由低分辨率“像素”的阵列组成，其仅提供场景的一般化的上下文。值得注意的是，像素是指任何发光源(例如，发光二极管“LED”)。
如上面的段落中所提到的，使用户沉浸到混合现实环境(即场景)中产生了许多挑战和困难，这些挑战和困难超出了仅仅将混合现实环境呈现给用户的范围。如上所述，一些混合现实计算机系统利用稀疏外围显示器。然而，常规的混合现实计算机系统在它们使用稀疏外围显示器方面受到某种程度的限制。结果，这些显示器给计算机系统的操作带来了不必要的负担。因此，本领域迫切需要改进使用稀疏外围显示器的方式。
本文所要求保护的主题内容不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是，提供该背景技术仅为了说明可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
所公开的实施例包括用于基于与计算机生成的场景相关联的各种属性来选择性地绘制外围可视化的系统、硬件存储设备和方法。一些实施例包括呈现包括元素的计算机生成的场景。为该元素标识/确定一个或多个特性。该(多个)特性至少描述与计算机生成的场景有关的元素的角色。还至少部分地基于所标识/确定的(多个)特性来确定关于元素是否显著。如果元素是显著的，则确定关于元素的显著性幅度。此后，确定元素的显著性幅度是否超过特定显著性阈值。然后，当显著性幅度达到或超过显著性阈值时，绘制对应的外围可视化。因此，选择性地绘制外围可视化的过程至少部分地基于确定幅度确实超过阈值。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题内容的范围。
附加的特征和优点将在下面的描述中阐述，并且部分地将从描述中明显，或者可以通过本文的教导的实践来学习。借助于所附权利要求中特别指出的工具和组合，可以实现和获得本发明的特征和优点。从以下描述和所附权利要求，本发明的特征将变得更加明显，或者可以通过如下所阐述的本发明的实践来学习本发明的特征。
附图说明
为了描述可以获得上述和其他优点和特征的方式，将通过参考附图中图示的特定实施例来呈现上面简要描述的主题内容的更具体的描述。应当理解，这些附图仅描绘了典型的实施例，因此不应当被认为是对其范围的限制，将通过使用附图，利用附加的特征和细节来描述和解释实施例，其中：
图1图示了计算机系统的抽象视图。
图2图示了以智能方式使用外围显示器的示例性计算机系统。
图3图示了可以由HMD绘制(render)的场景的抽象视图。
图4图示了可以由HMD绘制的现实场景。
图5图示了位于主显示器的有限的视野的边缘区域的元素。
图6图示了HMD的各种组件中的一些，包括主显示器和各种外围显示器。
图7图示了与场景有关的用户的聚焦中心。
图8图示了响应于显著的(salient)元素而发光的外围显示器。
图9图示了响应于显著的元素而发光的另一外围显示器。
图10图示了元素可以基于该元素的其他属性而被表征为是显著的。
图11示出了即使当该显著的元素被其他虚拟元素部分地遮挡时，外围显示器也可以为该显著的元素发光。
图12图示了场景中的元素可能引入显著性噪声。
图13图示了用于以智能方式使用外围显示器的示例性方法。
图14图示了以智能方式使用外围显示器的另一示例性方法。
具体实施方式
所公开的实施例包括用于基于与计算机生成的场景相关联的各种属性来选择性地绘制外围可视化的系统、硬件存储设备和方法。最初，生成具有至少一个元素的场景。确定元素的各种特性。这些(多个)特性描述了与计算机生成的场景有关的元素的角色。还至少部分地基于该(多个)特性来确定元素是否显著。如果元素是显著的，则该确定还包括元素的显著性幅度。此后，实施例确定元素的显著性幅度是否超过特定显著性阈值。如果幅度确实超过该阈值，则绘制对应的外围可视化。
以下公开内容现在将包括对当前技术中普遍存在的一些问题的进一步描述。然后，本公开将使用图1来呈现计算系统的一些介绍性讨论。在该讨论之后，本公开将使用图2来呈现聚焦在示例性计算机系统上的主题内容，该示例性计算机系统基于与计算机生成的场景相关联的各种属性，来选择性地绘制外围可视化。然后将讨论图3-图12。这些图呈现了与外围显示器的“智能”使用有关的各种属性和特性。最后，将关于随后的附图详细描述使用本文描述的新颖原理的附加支持架构和方法。
如前面简要介绍的，在混合现实环境中增加用户的视野存在多个挑战。例如，当试图贯穿用户的整个视野以“相等”的分辨率绘制场景时，出现挑战。在这种情况下，开发人员必须处理功率、热量、光学和HMD重量的复杂性。
这里，值得注意的是，人类视觉不一定需要跨整个场景具有相等的分辨率。鉴于这一事实，重点放在使用渐进分辨率显示器的HMD上。为了说明，这些类型的HMD包括1)高分辨率主显示器和2)各种较低分辨率(例如，稀疏)外围显示器。较低分辨率的显示器被定位于主显示器的外周边周围，这种定位产生术语“外围”的使用。这些HMD利用了用户视觉的外围区域不需要使用高分辨率显示的事实。结果，这些HMD在中央前视区域中显示高分辨率内容并且在外围区域中显示较低分辨率的内容。换句话说，这些类型的HMD仅提供位于主显示器的外围区域处的事件或元素的“上下文”感知。
渐进分辨率HMD是对混合现实技术的有价值贡献。实际上，在人类视觉分辨率受限(即用户的外围视觉)并且由于上述原因所绘制的分辨率不高的区域中提供上下文感知具有很大的价值。结果，利用更稀疏的外围显示器增加“全分辨率”主显示器提供了这种所需的感知。
然而，在一些实例中，这些渐进分辨率HMD可能感觉不自然。实际上，取决于外围显示器提供的分辨率有多低，用户可能会感到不安和不适。更进一步地，这些低分辨率外围显示器可能不必要地遮挡用户的周边的现实世界视觉对象。附加地，一些类型的外围显示器会给计算机系统的电池或图形处理能力带来不必要的负担。
为了解决这些挑战，本实施例利用针对外围显示器中的所有像素的通常“关闭”(即默认)配置。这种默认配置减少了外围显示器的不自然、分散注意力和遮挡的元素，而是绘制由于混合现实场景的运动或其他改变特性和/或基于用户对虚拟环境中的元素的聚焦，而被确定为特别“显著”的像素。响应于确定场景元素是“显著的”，实施例“开启”一个或多个外围显示器的一个或多个像素。关于这些益处的进一步细节将在本公开中稍后提供。“显著”是指元素以某种方式可区分或以其他方式独特。关于“显著性”含义的进一步细节将在本公开中稍后提供。
如本文所描述的，所公开的实施例可以被用来选择性地控制何时激活/利用外围显示器，这可以降低总功耗(例如，与连续外围显示器相比)，并且还可以改善混合现实环境的自然、舒适的感受。
如图1所示，在其最基本的配置中，计算机系统100采用许多不同的形式(例如，包括HMD的头戴式设备100A)。尽管图1将计算机系统100图示为头戴式设备100A，但是当前实施例不仅仅限于图1中图示的实施例。结果，省略号100B表明任何类型的计算设备都可供本实施例使用。
计算机系统100通常包括至少一个处理单元110和存储装置120。存储装置120可以是物理系统存储器，其可以是易失性、非易失性，或两者的某种组合。在本文中也可以使用术语“存储器”来指代非易失性大容量存储装置，诸如物理存储介质。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。如本文所使用的，术语“可执行模块”、“可执行组件”或甚至“组件”可以指代可以在计算系统上执行的软件对象、例程或方法。本文描述的不同组件、模块、引擎和服务可以被实现成在计算系统上执行的对象或处理器(例如，作为分离的线程)。
所公开的实施例包括或利用专用或通用计算机，专用或通用计算机包括计算机硬件，诸如，例如一个或多个处理器(诸如处理器110)和系统存储器(诸如存储装置120)，如在下面更详细地讨论的。本发明范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。以数据的形式存储计算机可执行指令的计算机可读介质是物理计算机存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，本发明的实施例可以包括至少两种截然不同类型的计算机可读介质：计算机存储介质和传输介质。
计算机存储介质包括RAM、ROM、EEPROM、CD-ROM、基于RAM的固态驱动器(SSD)、闪存、相变存储器(PCM)或其他类型的存储器，或其他光盘存储装置、磁盘存储装置或其他磁存储设备，或可以被用来存储期望程序代码手段的任何其他介质，期望程序代码手段的形式为计算机可执行指令、数据或数据结构，并且该介质可以由通用或专用计算机访问。
如图1中所示，计算机系统100包括各种不同的组件，包括(多个)I/O接口130、(多个)图形绘制引擎140和一个或多个传感器150。计算机系统100可以被连接(经由有线或无线连接)到外部传感器160(例如，一个或多个远程相机、加速度计、陀螺仪、声学传感器、磁力计等)。另外，计算机系统100还可以通过一个或多个有线或无线网络170被连接到(多个)远程系统180，远程系统180被配置成执行关于计算机系统100所描述的任何处理。
在使用期间，计算机系统100的用户能够通过被包括在(多个)I/O接口130内的显示屏(例如，HMD)感知信息(例如，计算机生成的场景)。(多个)I/O接口130和传感器150/160还包括姿势检测设备、眼睛跟踪器和/或其他移动检测组件(例如，相机、陀螺仪、加速度计、磁力计、声学传感器、全球定位系统等)，其能够检测一个或多个现实世界对象的定位和移动，现实世界对象诸如是用户的手、触控笔和/或在用户沉浸在场景(即混合现实环境)中时可以与之交互的任何其他(多个)对象。
在一些实例中，用户和对象的定位和移动被连续地监控。该监控专门检测对象的位置和移动的任何变化，诸如检测到的位置、速度、定向或加速度的改变。这些移动可以是绝对移动和/或相对移动，诸如与HMD的相对定位(例如，手持式设备如何相对于HMD定向/定位)相比，并且使得HMD的移动/定位将被计算到场景中呈现的对象的相对移动/定位中。
图形绘制引擎140被配置成与(多个)处理器110一起在计算机生成的场景内绘制一个或多个虚拟对象。该绘制包括手遮挡或其他类型的遮挡，其被映射到现实世界元素/对象的相对位置(术语“对象”和“元素”可以互换地使用)。遮挡通常涉及元素阻挡另一元素的视图的情况。例如，假设计算机生成的场景包括现实世界的桌子和布置在现实世界桌子之上的虚拟灯。因为虚拟灯被定位在现实世界桌子之上，所以虚拟灯将遮挡现实世界桌子的一部分，即使灯是虚拟元素并且桌子是现实元素。因此，元素可以遮挡场景中的其他元素，无论这些元素是虚拟的还是现实的。继续上面的讨论，遮挡被映射到现实世界元素的相对位置，虚拟元素响应于现实世界元素的移动而精确地移动。图形绘制引擎140还被配置成绘制纯粹虚拟(未被映射到现实世界对象)的一个或多个遮挡，但是当用户在场景内进行交互时，其仍响应于用户输入而定位和移动。
可以包括一个或多个GPU的(多个)图形绘制引擎140被配置成绘制具有某些显示性质的遮挡。这些性质包括着色、透明度或不透明度、纹理、边缘清晰度(例如，厚度和/或锐度与模糊和/或羽化)、大小等。当检测到针对遮挡的某些移动阈值时，则针对遮挡的显示性质的一个或多个组合将被修改(至少在所检测到的移动满足或超过移动阈值时)。
移动阈值可以包括以下的任何组合：1)检测到与遮挡相关联的现实世界对象的实际移动，2)检测到虚拟化的遮挡的动画移动，和/或3)检测到现实世界的移动和动画移动之间的差异或滞后。所检测到的移动与速度和/或加速度属性值相关联。这些值被计算机系统100的传感器150/160和/或处理器110检测、测量和/或计算。
在一些实施例中，相同的绝对移动阈值与所有类型的移动相关联。例如，与遮挡相关联的特定速度、加速度或滞后将足以触发遮挡的显示性质的改变。无论检测到的移动的具体类型如何，都可以触发该改变。在其他实施例中，不同类型的移动(即，六个自由度内的不同移动，包括纵荡、起伏、横荡、俯仰、滚转和偏转)与不同的移动阈值相关联。例如，特定的旋转加速度将触发不同于横向加速度的第一阈值。
在一些实例中，对于一种或多种不同的移动类型存在至少两个或更多个分离的阈值限制。例如，在第一加速度度量下，满足第一阈值。在大于或小于第一加速度度量的第二加速度度量下，满足第二阈值。在一些实例中，为一种或多种类型的移动中的每种类型的移动设置一个或多个分离的速度阈值。遮挡的外观将响应于满足不同阈值中的每个阈值而动态地改变，诸如通过改变遮挡的显示属性。
一些公开的实施例包括与关联于遮挡的(多个)移动属性的不同的检测到的改变相对应地逐渐修改遮挡的外观。在这种实施例中，根据连续改变的移动属性(使得不存在离散水平)而连续地改变/缩放显示属性/性质。例如，针对遮挡的透明度和/或边缘羽化的水平可以与关联于遮挡的速度和/或加速度的许多不同的对应的幅度(即使在包括现实世界对象的移动时)相关联，和/或与关联于绘制遮挡的动画的滞后相关联。
类似于图1中所示的网络170的“网络”被定义为一个或多个数据链路和/或数据交换机，其支持在计算机系统、模块和/或其他电子设备之间运输电子数据。当通过网络(硬连线、无线或硬连线和无线的组合)向计算机传递或提供信息时，计算机将连接恰当地视为传输介质。计算机系统100将包括被用来与网络170通信的一个或多个通信信道。传输介质包括可以被用来携带数据或期望程序代码手段的网络。数据或期望程序代码手段的形式为计算机可执行指令或数据结构。另外，这些计算机可执行指令由通用或专用计算机可访问。上述的组合也应当被包括在计算机可读介质的范围内。
在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码手段可以自动地从传输介质被传递到计算机存储介质(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，网络接口卡或“NIC”)内的RAM中，然后最终被传递到计算机系统RAM和/或计算机系统处的不那么易失的计算机存储介质。因此，应当理解，计算机存储介质可以被包括在也(或甚至主要)利用传输介质的计算机系统组件中。
计算机可执行(或计算机可解译)指令包括例如使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令，或甚至是源代码。尽管已经用结构特征和/或方法动作专用的语言描述了本主题内容，但应当理解，所附权利要求中限定的主题内容不必限于所描述的上述特征或动作。而是，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解，本发明可以在具有许多类型的计算机系统配置的联网计算环境中被实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。还可以在分布式系统环境中实践本发明，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统各自执行任务(例如，云计算、云服务等)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。
图2图示了类似于图1的计算机系统100的示例性计算机系统200。如图2中所示，计算机系统200包括各种组件。特别地，计算机系统200包括场景绘制组件210、用户交互组件220、元素特性组件230、显著性确定组件240和外围可视化组件250。
利用这些各种组件，计算机系统200能够基于与计算机生成的场景相关联的各种属性来选择性地绘制外围可视化。附加地或备选地，计算机系统200能够至少部分地基于一个或多个检测到的用户移动来选择性地绘制外围可视化。将关于其余附图描述计算机系统200的各种特性的进一步细节。
例如，图3图示了HMD 300，其在HMD 300的主显示器内使场景310可视化。HMD 300是类似于图2的计算机系统200的头戴式设备的一部分。
HMD 300具有渐进分辨率显示器，意味着HMD 300具有1)主显示器和一个或多个较低分辨率的外围显示器，或2)环绕式单个显示器，其在一个区域中提供高分辨率内容，并且在其他区域中提供较低分辨率内容。将结合后面的附图更全面地讨论这些类型的显示器。尽管如此，主显示器根据有限的视野320来呈现场景310(即，由于主显示器的有限查看空间或“不动产”，仅整个场景的一部分在主显示器内是可查看的)。虽然主显示器仅使有限的视野320可视化，但是场景310实际上包括附加内容。例如，场景310可以包括在主显示器的有限的视野320之外的区域(例如，区域330)中的活动内容。
图3图示了抽象场景310，而图4图示了更现实的场景示例。特别地，图4图示了绘制场景410的主显示器400。如所示的，场景410包括将很快引入的多个元素。主显示器400根据有限的视野420来示出场景410，有限的视野420类似于图3中的有限的视野320。如上所述，场景410包括多个元素。详细地说，场景410包括山地景观元素430A、树元素430B和道路元素430C。尽管场景410被描绘为具有三个元素，但是本文呈现的实施例不仅限于该数目。相反，实施例能够支持任何数目的元素。
这里，值得注意的是，场景410的元素(例如，山地景观元素430A、树元素430B和道路元素430C)可以是现实世界中的实际对象和/或虚拟对象。如果场景410是增强现实场景的一部分，则场景410中的一些元素可以是实际的现实世界对象(例如，山地景观元素430A可以是用户的现实环境中的现实山脉，而树元素430B可以是由场景创建并与山地景观元素430A一起放置的虚拟对象)。相比之下，如果场景410是虚拟现实场景的一部分，则所有的元素都是虚拟元素。相应地，本实施例支持虚拟元素和现实元素的应用，或者更确切地，支持虚拟元素和现实元素的使用。
附加地，场景410可以包括在主显示器的有限的视野420中不可见的其他元素。例如，如果用户要改变位置或定向，则其他元素可以在主显示器的有限的视野420中变得可见。通过示例而非限制，如果用户将她的头部向上移动，则天空中的鸟可以变得可见。备选地，如果用户将头部向左移动，则山地景观元素430A的其他山脉可以变得可见。因此，尽管主显示器的有限的视野420当前仅显示有限数目的元素，但是由本实施例绘制的场景不限于此。
类似于图4，图5也呈现了主显示器500。该主显示器500用于在主显示器的有限的视野520内绘制场景510。除了在4中描绘的各种其他元素之外，场景510还包括手臂530。手臂530被认为是“边缘”元素，因为它被显示在主显示器的有限的视野520的边缘区域处。在该当前用户姿势中，在主显示器的有限的视野520中仅手臂530可见。然而，如果用户将她的头部向右移动，则主显示器的有限的视野520将显示与手臂530有关的附加内容(例如，手臂530属于有头、躯干、腿等的人)。换句话说，因为用户位于该当前姿势中，所以在主显示器的有限的视野520中仅手臂530可见。结果，图5清楚地示出了尽管可能在主显示器的有限的视野520中绘制各种元素，但场景510可以包括附加元素，当/如果用户改变她的姿势或位置时，该附加元素可以变得可见。
到目前为止，附图聚焦在HMD的主显示器中可查看的内容。现在将使用图6来讨论HMD的主显示器和各种外围显示器。
特别地，图6图示了HMD 600。该HMD 600用于在主显示器的有限的视野620内绘制场景610。类似于图5的场景510，场景610也具有各种元素，包括手臂630。然而，与之前的图相比，图6现在图示了多个外围显示器640(例如，外围显示器640A、640B、640C和640D)。
外围显示器640包括被布置在主显示器的外周边周围的一个或多个低分辨率像素(未单独示出)。外围显示器640可以包括任何数目的像素，其中像素密度小于主显示器的像素密度。如前所述，像素是指任何发光源(例如，LED)。虽然这些低分辨率像素通常被设置为默认的“关闭”配置，但在某些触发实例中，它们中的一个或多个将发光。结果，不是面对1)主显示器周围的漆黑的区域(在虚拟现实系统的情况下)或2)没有虚拟内容(在增强现实系统的情况下)，而是计算机系统为用户提供附加的(尽管是次要的)内容/上下文，该内容/上下文在主显示器之外显示。
当被触发时，一个或多个外围显示器640的一个或多个低分辨率像素将发光。在一些实施例中，该触发动作与关联于场景610的某些元素或事件结合发生。例如，因为手臂630被显示为在主显示器的有限的视野620的边缘区域附近，所以本实施例能够确定一个或多个外围显示器640的一个或多个像素是否应当发光，以反映当前在主显示器的有限的视野620中不可查看的附加场景内容存在的事实。
这里，示例将是有帮助的。假设场景610实际上是战斗场景，使得用户沉浸在战斗情境中。另外，假设手臂630与用户的敌人相关联(即，手臂630是敌人的手臂)。在一些情况下，用户可能没有意识到敌人会很快攻击她的侧翼。例如，用户的注意力，或者更确切地说是“聚焦中心”，可能集中在主显示器的有限的视野620的某些其他区域上。结果，用户可能没有意识到敌人的存在。为了引起对敌人的注意，基于确定敌人是显著的和/或基于敌人的相对移动，所公开的实施例可以使一个或多个外围显示器640的一个或多个像素动态地/选择性地点亮(例如，实施例可以使外围显示器640A中的一个或多个像素发光)。该点亮动作可以用于通知用户在主显示器的有限的视野620的外围区域附近存在内容(即，敌人)。因此，实施例可以使用外围显示器640来使用户意识到，存在1)不能立即可查看的附加场景内容(例如，内容在主显示器的有限的视野620之外)或2)在主显示器的有限的视野620上仅部分可查看的附加场景内容。
如所讨论的，外围显示器640可以各自包括一个或多个像素。在一些实例中，外围显示器(例如，外围显示器640A)可以包括许多像素(但仍然小于高分辨率主显示器)。在这些情况下，对外围显示器可用的大量像素可以用于照亮(illuminate)对象的一般化的轮廓(例如，照亮在场景610中描绘了其手臂的人的一般化的轮廓)。附加地，这些像素可以发出通常与外围显示器所描绘的元素有关的颜色的光(例如，如果一个人穿着绿色，则可以以各种颜色生成该人的像素化轮廓以大体匹配该人，包括绿色)。
其他实施例支持更“稀疏”的外围显示器。这里，这些稀疏显示器包括较少的像素，使得不能使用像素使可辨别的形状或外形可视化。相反，这些像素仅提供非常一般化的上下文或确认某物在外围区域中(例如，不是如上面那样生成轮廓，而是可能只是以绿色照亮单个大像素以反映场景中存在该人)。因此，在外围显示器内包括多少像素方面，实施例支持广泛的变化。
在一些实施例中，各种不同的外围显示器(例如，外围显示器640A-640D)中的每个外围显示器具有不同数目的像素。为了清楚起见，外围显示器640A的像素的数目可以与外围显示器640D中的像素的数目不同。因此，如前所述，在其外围显示器如何相对于主显示器配置和定向方面，本发明的实施例支持广泛的变化。
图7进一步阐述了前面的讨论。实际上，类似于图6，图7也示出了用于在主显示器的有限的视野720内绘制场景710的HMD 700。场景710包括多个元素，包括手臂730。另外，HMD 700还包括多个外围显示器740(例如，外围显示器740A、740B、740C和740D)。然而，与之前的附图相反，图7现在描绘了用户的聚焦中心750(即，已经捕获用户注意力的点/区域)。
各种方法可用于确定用户的聚焦中心750。实际上，一些实施例利用眼睛跟踪技术来跟踪用户的眼睛中的一个或多个眼睛的中央凹。为了实现这一点，眼睛跟踪技术跟踪佩戴HMD 700的用户的各种眼睛移动。使用这种眼睛跟踪技术，这些实施例确定用户的聚焦中心750所在的位置。然而，如稍后将讨论的，其他实施例能够使用附加技术以用于确定用户的聚焦中心750所在的位置。
到目前为止，讨论主要聚焦在外围显示器的一般用途上。现在，讨论将聚焦在实施例如何以“智能”的方式有效地使用外围显示器。
基于显著性的外围显示器的“智能”使用
如前面简要讨论的，常规的外围显示器技术不能以“智能”方式利用外围显示器。例如，常规的HMD使外围显示器：1)永久发光，2)在不适当的情况下发光，3)不能从过去的用户行为中学习等。由于这些故障，常规技术的用户可能会感到不适，并且实际的HMD硬件也面临操作负担(例如，缩短的电池寿命)。与常规技术相比，本实施例能够学习并适应用户行为，从而提供其外围显示器的“智能”使用。
在一些公开的实施例中，外围显示器最初被配置成处于默认“关闭”配置，并且仅当在外围显示器附近/邻近的检测到的元素被确定为“显著”时，才动态地/选择性地激活和发光。实施例基于各种因素确定显著性。例如，一些实施例基于场景中发生的事件来确定显著性，而其他实施例基于某些用户动作来确定显著性。
为了说明，图8示出了用于在主显示器的有限的视野820内绘制场景810的HMD800。该场景包括多个元素，包括手臂830。另外，HMD 800包括外围显示器840(例如，外围显示器840A、840B、840C和840D)。图8还描绘了用户的聚焦中心850。
这里，图8示出了外围显示器840A的一个或多个像素被照亮。图8还示出了用户的注意力850聚焦在手臂830上。如下所述，可以基于各种因素照亮外围显示器840的像素。
例如，一些实施例将试图重定向用户的聚焦中心850。使用图8作为示例，假设用户的聚焦中心850最初被引导到不是手臂830的元素。另外，假设手臂830属于敌人，如在上面的战斗示例中一般地讨论的那样。在这种情况下，使用户重定向其聚焦中心850以使其现在聚焦在手臂830上可能是有益的。
为此，一些实施例将使外围显示器840(例如，外围显示器840A)的一个或多个像素照亮，以便突出显示敌人可能很快攻击用户侧翼的事实。通过点亮外围显示器840A的至少一部分，用户的聚焦中心850将被重定向到手臂830。结果，这些实施例试图将用户的聚焦中心850重定向到重要的(或更确切地显著的)区域/元素。
其他实施例使用不同的确定以用于决定应当照亮外围显示器840的时间。例如，用户的聚焦中心850实际上可以迫使元素变得显著。为了阐明，当用户特别注意到元素时，该元素可以变得显著。该过程可以通过各种动作发生。详细地说，如果元素从场景移动、出现或消失，从而将用户的聚焦中心850吸引到该元素，则该元素可以变得显著。另外，如果元素以某种方式交互(例如，用户可以对抗的敌人、可选择的导航按钮等)，则元素可以变得显著。基于元素的实际移动和/或HMD的移动，靠近外围显示器的边缘的元素的相对移动可以触发元素为显著的确定以及外围显示器的对应激活。结果，用户通过她的动作和/或聚焦中心模块可以迫使元素变得显著。
当与周围场景区域相比，确定元素独特时，该元素也可以变得显著。在这种上下文中，如果元素的亮度、形状、颜色或纹理与场景中靠近该元素的其他内容充分不同，则该元素是显著的。如果元素描绘了这些特性，则该元素被认为是显著的，并且外围显示器840可以以先前描述的方式发光(例如，在元素是边缘元素的情况下)。通过示例而非限制，假设正在绘制包括大型绿色草地的场景。另外，假设一个穿着粉红色的虚拟的人被绘制在这片大型绿色草地的中心区域内。本发明的实施例能够确定这个穿着粉红色的虚拟的人是显著的，因为与大型绿色草地相比，该人在视觉外观上形成鲜明的差异。因此，本实施例能够通过分析元素的亮度、形状、颜色和/或纹理并且确定那些特性是否满足显著性阈值来确定元素是否充分不同。如果是这样，则该元素将被认为是显著的。
结果，一些实施例将响应于用户动作而照亮外围显示器840(例如，用户注视位于场景的外围区域的手臂850)。然后，外围显示器840将根据吸引用户的聚焦中心850的元素而发光。尽管图8示出了外围显示器840A的整个区域被照亮，但是实施例可以仅使外围显示器840A的部分(即，各种像素)以前面描述的方式(例如，一般化轮廓或仅仅是稀疏的上下文通知)发光。
所公开的实施例将触发靠近显著的元素的(多个)外围显示器的激活，而不管所使用的方案或机制如何。在一些实例中，显著的元素必须与被激活的(多个)外围显示器的边缘相交。在其他实例中，显著的元素仅需要在与(多个)外围显示器的边缘的预定靠近度内。在激活后，外围显示器将发光以与该元素的显著性相对应。在一些实例中，(多个)外围显示器的强度和/或颜色也将与元素的确定的显著性相对应。例如，更显著的元素将比不那么显著的元素触发外围显示器的更大的光强度。
尽管先前的讨论聚焦在基于用户的动作发光的外围显示器，但是本实施例还能够由于其他原因而使外围显示器发光。例如，图9示出了用于在主显示器的有限的视野920内绘制场景910的HMD 900。场景910包括多个元素，包括手臂930。HMD 900还包括外围显示器940(例如，外围显示器940A、940B、940C和940D)。然而，这里，场景910包括持有剑的当前用户的手臂950的可视化。这把剑可以是虚拟元素，也可以是实际的、现实世界的剑。
图9示出了外围显示器940A的至少一部分发光。尽管一些实施例基于用户的聚焦中心(它由眼睛移动确定)，使外围显示器发光，但是其他实施例通过分析场景910的其他属性来确定用户的聚焦中心位于何处。例如，图9示出了用户的手臂950试图用剑攻击手臂930。这里，这些实施例不是使用眼睛移动来确定用户的注意力集中在手臂930上，而是基于其他类型的用户动作(例如，用户的攻击移动)确定用户的聚焦中心位于手臂930上。响应于基于攻击动作确定用户的聚焦中心在手臂930上，这些实施例使外围显示器940A的至少一部分发射对应于边缘元素(即手臂930)的光。因此，本实施例能够在确定用户的聚焦中心所在的位置时使用各种因素，并且可以使用这些因素来确定当存在边缘元素时，外围显示器何时以及如何发光。
现在，讨论将聚焦在基于元素属性来确定显著性的方法。特别地，图10示出了用于在主显示器的有限的视野1020内绘制场景1010的HMD 1000。场景1010包括多个元素，包括手臂1030。HMD 1000还包括一个或多个外围显示器1040(例如，外围显示器1040A、1040B、1040C和1040D)。
在场景1010中，手臂1030被确定为是显著的，因为它正在离开主显示器的有限的视野1020。因为手臂1030正在离开主显示器的有限的视野1020、与外围显示器边缘相交，所以一些实施例将确定手臂1030是显著的并且将使一个或多个外围显示器1040(例如，外围显示器1040A)的一个或多个像素发光。因此，一些实施例基于元素本身的特性(例如，边缘元素是否在移动、出现、消失等)和/或基于元素与外围显示器的边缘的靠近度/相交来照亮外围显示器。
在一些实例中，场景元素将被一个或多个其他元素部分地模糊或遮挡。例如，图11呈现了用于在主显示器的有限的视野1120内绘制场景1110的HMD 1100。场景1110包括多个元素，包括手臂1130。HMD 1100还包括外围显示器1140(例如，外围显示器1140A、1140B、1140C和1140D)。图11还示出了用户的聚焦中心1150，以及两个虚拟按钮(按钮1160和按钮1170)。按钮1170部分地遮挡另一元素(即，手臂1130)。如图11中进一步所示的，用户的聚焦中心1150指向手臂1130。
一些实施例将使外围显示器1140A的至少一部分发光，即使在不清楚用户的聚焦中心1150是聚焦在虚拟按钮(例如，按钮1170)还是边缘元素(例如，手臂1130)的情况下。
还可以基于混合现实环境的其他属性来动态地确定显著性。通过示例，图12图示了用于在主显示器的有限的视野1220内绘制场景1210的HMD 1200。场景1210包括多个场景元素(例如，手臂1230A，以及多个人1230B、1230C和1230D)。尽管在图12中标记了四个元素，但是省略号1230E表明场景1210中可以存在任何数目的元素。HMD 1200还包括外围显示器1240(例如，外围显示器1240A、1240B、1240C和1240D)。
当确定特定元素是否显著时，一些实施例将其他周围或邻近的元素的特性作为因素。例如，图12示出了人1230B-1230D靠近手臂1230A。如果这些人1230B-1230D移动(即，将噪声引入场景1210中)，则实施例能够确定手臂1230A的相关性或显著性不如：1)手臂1230A自己被呈现在场景1210中，或2)手臂1230A与那些其他元素隔离那么高。换句话说，由人1230B-1230D引入的显著性“噪声”可以减少或以其他方式影响所确定的手臂1230A的显著性。
上述情况可能并不总是适用于每个场景。例如，继续上面的战斗示例，即使在存在人1230B-1230D引入的显著性噪声的情况下，一些实施例也将确定手臂1230A是显著的。为了说明，假设人1230B-1230D是用户团队的成员。然而，假设手臂元素1230A属于敌方战士。结果，这些实施例将确定手臂元素1230A是显著的(即使它在其他元素附近)，因为它属于用户的敌人。因此，这些实施例能够基于用户和元素之间的某些标识的关系，来照亮一个或多个外围显示器1240(例如，外围显示器1240A)的至少一部分，而引起对显著的手臂1230A的注意。因此，一些实施例基于场景和/或元素属性以动态方式确定显著性。
如所讨论的，实施例使用外围显示器提供基于显著性的绘制。为了快速概括，实施例处理虚拟场景(例如，混合现实、增强现实或虚拟现实场景)以标识场景内的显著区域或元素。该过程包括标识从场景中移动、出现或消失的实际或虚拟元素。另外，该过程包括标识对比度足够高或在特定视野内足够独特/隔离的元素。更进一步地，用户动作也可以用于强制元素变得显著。
实施例能够使用多个过程以用于确定显著性。为了说明，一些实施例基于与计算机生成的场景相关联的各种属性(例如，元素离开主显示器的有限的视野)来选择性地绘制外围可视化。其他实施例基于检测到的计算机系统的用户的移动来选择性地绘制外围可视化(例如，用户的聚焦中心指向特定元素)。
为了提供对各种实施例的进一步的阐明，现在将介绍一些示例性方法。具有其各种组件的计算机系统200能够执行这些方法以“智能”方式使用外围显示器。因此，以下讨论现在涉及可以执行的许多方法和方法动作。尽管方法动作可能按特定顺序讨论或在以特定顺序发生的流程图中说明，但除非因为动作取决于在执行该动作之前完成的另一动作而特别说明或要求，否则不需要特定排序。
基于元素显著性的稀疏外围显示器的选择性绘制
图13图示了由计算机系统(诸如图2的计算机系统200)执行的示例性方法1300。计算机系统包括主显示器和稀疏外围显示器，在主显示器内绘制计算机生成的场景。该稀疏外围显示器位于主显示器的外周边周围。在一些实施例中，该稀疏外围显示器包括一个或多个发光二极管(LED)。另外，该稀疏外围显示器用于绘制外围可视化。然而，在一些实施例中，不是使用完全分离的显示器作为稀疏外围显示器，而是，这些实施例包括环绕式的凹的单个显示器，在该显示器内显示计算机生成的场景。这些类型的环绕式显示器在显示器的中心区域附近以高分辨率绘制内容，并且在环绕式显示器的外周边附近以逐渐降低的分辨率绘制内容。
如图13中所示，方法1300包括绘制计算机生成的场景的动作(动作1310)。如上所述，该场景包括一个或多个元素。这些元素可以是现实世界元素和/或虚拟元素。这里，图2的场景绘制组件210根据前面描述的原理绘制场景。尽管可以使用任何类型的元素，但绘制外围可视化的过程主要用于“边缘”元素。为了阐明，尽管可以使用任何类型的元素，但以下讨论主要用于“边缘”元素。然而，这并不意味着该元素在所有实例中都必须与外围显示器的边缘相交。相反，该元素只是最靠近一个或多个外围显示器的边缘。然后，将基于显著性激活被确定为与(多个)显著的元素最靠近的(多个)外围显示器。
方法1300还包括确定元素的一个或多个特性的动作(动作1320)。这些特性至少描述了与场景有关的元素的角色。通过示例，与计算机生成的场景有关的元素的角色包括出现事件、运动事件、消失事件、交互事件或元素可能具有的与场景有关的任何其他类型的事件。另外，这些特性包括元素的颜色、透明度和对比度的确定，因为它与场景的其他邻近部分和/或元素有关。更进一步地，特性包括相对位置信息，诸如关于元素是否是边缘/外围元素的确定(意指元素位于主显示器的有限的视野的一个或多个边缘区域附近)。这里，计算机系统200的元素特性组件230和用户交互组件220串联地工作或单独地工作以执行该动作。
附加地，特性包括关于元素大小的确定。在确定元素的大小之后，实施例然后将该大小转换为用于绘制的角度空间。换言之，实施例确定将需要外围显示器的多少像素来正确地绘制元素的上下文。在做出该确定之后，则实施例可以使相称数目的像素发光。另外，如果外围显示器支持足够数目的像素，则实施例可以使这些像素以这种方式发光，以便描绘元素的一般化的形状或轮廓。因此，如何在外围显示器上绘制外围可视化是基于以下中的一个或多个：1)元素的经转换的角度空间，2)元素的颜色，或3)与元素相关联的事件(例如，元素从场景中出现、移动或消失)的一个或多个参数。相应地，实施例确定元素的各种属性，然后使用那些属性来使用外围显示器的一个或多个像素来创建外围可视化(例如，绘制外围可视化包括使稀疏外围显示器的至少一个LED根据元素的颜色点亮)。
其他实施例确定元素的附加特性。例如，这些实施例确定元素的亮度(相对于计算机生成的场景的其他邻近元素/区域)、元素的闪烁状态和元素的颜色内容。这些特性对确定该元素是否显著，或将变得显著有影响。
然后，方法1300被示为包括确定元素显著的动作(动作1330)。该确定基于元素的特性和/或用户的动作。另外，该确定还包括确定元素的显著性幅度。根据前面描述的原理，该动作由图2中的计算机系统200的显著性确定组件240执行。
基于计算机生成的场景内包括的其他内容，可动态地调整显著性阈值和/或显著性幅度。例如，图12引入了：手臂1230A的显著性受其他邻近元素(例如，人1230B-1230D)的显著性“噪声”的影响。因此，显著性可以受各种环境因素的影响，并且与场景中其他元素的“显著性”相比可以是相对度量。
其他实施例允许手动配置显著性阈值。实际上，计算机系统的用户可以调整设置以确定元素何时有资格显著。例如，在执行计算机生成的场景的软件程序的初始(或后续)配置期间，用户可以调整一个或多个显著性阈值因子，以便更改或确定元素何时有资格显著。
详细地说，在一些实施例中，显著性阈值因子与在元素被认为显著之前，用户的聚焦中心需要指向特定元素的时间长短(例如，0.5秒或某个其他时间)有关。在其他实施例中，显著性阈值因子与在元素被认为显著之前，用户需要与该元素交互的时间长短有关。显著性阈值因子还涉及可见内容的比例(例如，如果在主显示器的有限的视野中绘制足够百分比的边缘元素，则该边缘元素是显著的)。类似的可调整设置对对比度水平、大小水平和交互水平适用。
本发明的附加的实施例基于其他因素确定显著性。例如，一些实施例基于以下中的一个或多个来确定元素显著：1)用户使用计算机系统的历史趋势，2)计算机系统的当前配置，3)所确定的用户的反应时间，或4)用户的眼睛移动。值得注意的是，实施例以“智能”方式使用外围显示器。“智能”意指实施例能够学习用户的行为并响应或甚至预测用户将如何响应特定情况作出反应。为了实现该目的，实施例获取并分析历史用户数据。该数据中的一些数据可用于确定用户的反应时间。在学习了该反应时间之后，则实施例可以调整计算机生成的场景以为用户提供更愉快的体验。
使用上面的战斗示例，如果用户沉浸在战斗场景中并且实施例确定用户对敌人的攻击反应总是太慢，则实施例可以调整场景以使用户可以以更愉快的方式前进通过场景(例如，减慢敌人的攻击以与所确定的用户的反应时间相对应)。鉴于用户的慢反应速度，一些实施例将确定用户可能不会注意到一些元素正在离开/进入主显示器的有限的视野。响应于该确定，实施例将通过允许那些显示器保持在关闭配置中而以智能方式使用外围显示器(可能因为对于具有如此慢反应速度的用户，开启外围显示器将对用户仅起分散作用)。因此，实施例能够使用历史行为，通过以智能方式使用外围显示器，来更好地改善用户体验。
更进一步地，实施例能够基于计算机系统的一个或多个硬件组件的一个或多个操作条件来确定元素是否显著。例如，如果计算机系统使用电池并且电池电量不足，则一些实施例将动态调整显著性阈值，使得没那么多的元素被分类为显著。因此，将不那么频繁地使用外围显示器，并且电池寿命将被延长。
方法1300还包括绘制外围可视化的动作(动作1340)。在确定元素的显著性幅度超过某个显著性阈值之后，该动作发生。这里，值得注意的是，外围可视化以某种方式与元素相对应(例如，边缘元素的剩余部分的一般化的轮廓、边缘元素的匹配颜色、边缘元素的匹配大小等)。该动作由计算机系统200的外围可视化组件250执行。而且，在一些实例中，绘制外围可视化的程度将直接基于靠近外围显示器的(多个)元素的确定的显著性。例如，与针对具有相对较高显著性水平的元素的外围绘制(例如，针对更显著的元素的高光强度和/或更可见的光的光谱)相比，针对具有较低显著性水平的元素的外围绘制将较少(例如，较低的光强度和/或较少的可见的光的光谱)。结果，绘制的程度可以成比例地基于元素的确定的显著性幅度。
绘制外围可视化1340的动作还可以包括确定显著的元素最靠近哪些外围显示器和/或显示器区域，并且选择性地激活显著的元素最靠近的外围显示器和/或显示器区域，同时避免激活显著的元素被确定为最远离的外围显示器和/或显示器区域。
基于用户移动的稀疏外围显示器的选择性绘制
图14呈现了示例性方法1400，其也在诸如上面描述的计算机系统的计算机系统上被执行。特别地，方法1400被图示为具有绘制包括一个或多个元素的场景的动作(动作1410)。在计算机系统的主显示器上绘制该场景。如前所述，实施例支持围绕主显示器的外周边布置的一个或多个外围显示器。对于所有像素，这些外围显示器以默认的“关闭”配置操作，直到选择性地绘制外围可视化。这里，计算机系统200的场景绘制组件210执行该动作。类似于上面的公开内容，绘制外围可视化的过程主要针对“边缘”元素执行。
附加地，一些实施例根据之前描述的原理确定针对一个或多个元素的显著性水平。这些显著性水平可以基于各种因素。简而言之，一些实施例允许基于场景的元素的上下文(例如，出现、移动、消失等)来影响显著性水平。结果，根据本公开中之前描述的原理，元素的显著性水平可根据场景中的环境噪声而缩放。其他实施例基于用户的历史行为来确定显著性水平。该历史行为由计算机系统根据本公开中之前描述的原理学习。各种选项可用于学习该历史行为。例如，一些实施例利用环境理解相机来学习用户的历史行为。其他实施例监控和记录IMU数据以学习用户的历史行为。
如上所述，一些实施例允许该显著性水平受被标识为靠近场景中的元素的其他元素的特性的影响。
另外，一些实施例允许显著性水平是可手动配置的。附加地，可以基于所确定的用户的反应时间、所确定的历史行为或甚至与用户相关联的各种配置设置来校准这些显著性水平。
方法1400还包括在绘制场景时检测用户移动的动作(动作1420)。该动作由计算机系统200的用户交互组件220执行。类似于上面的讨论，用户移动可以是任何类型的用户移动(例如，对应于用户的一个或多个眼睛的眼睛移动、手部移动、手臂移动、腿部移动、头部移动或其他类型的用户姿势)。
然后，方法1400被示为包括动作(动作1430)，其确定用户移动是否与1)用户对一个或多个元素的聚焦水平的增加，或2)用户与一个或多个元素的交互相对应。该动作由用户交互组件220、元素特性组件230或显著性确定组件240中的一个或多个执行。
然后，方法1400被示为具有动作(动作1440)，其响应于确定用户移动确实实际上对应于1)用户对一个或多个元素的聚焦水平的增加，或2)用户与一个或多个元素的交互，而在一个或多个外围显示器上选择性地绘制外围可视化。这里，该动作由计算机系统200的外围可视化组件250执行。
在一些实例中，在一个或多个外围显示器上选择性地绘制外围可视化的这种动作还基于确定一个或多个元素是否包括显著的元素。该显著性确定是基于元素的一个或多个特性。结果，这些实施例避免绘制外围可视化，直到元素被标识为是显著的之后为止。
一些实施例将一个或多个导航/操作按钮投影到主显示器的有限的视野上。当这发生时，方法1400还可以包括标识一个或多个元素至少部分地被一个或多个导航/操作按钮遮挡的动作(未示出)。另外，方法1400可以包括即使一个或多个元素至少部分地被遮挡，也使外围可视化被选择性地绘制的动作，如图11中一般所示的那样。
方法1400还可以包括确定一个或多个元素的一个或多个特性的动作。这些特性指示元素位于场景的边缘区域。然后，方法1400包括标识用户的聚焦区域的动作。此时，聚焦区域可能不在场景的边缘区域附近(例如，如图7中所示)。随后，方法1400包括动态地更改元素的相关性/显著性水平的动作，以减少或增加场景中的元素的相关性/可注意性(例如，使元素闪烁、更亮、更大等)。如果减少，则实施例不试图重定向/转移用户的聚焦。然而，如果增加，则实施例试图重定向/转移用户的聚焦区域。
而且，在一些实例中，绘制外围可视化的程度将基于用户与场景中的元素的相对交互、基于与场景中的元素有关的用户的相对眼睛聚焦(或者其他检测到的用户的移动)。例如，与关联于较高水平的绘制(例如，高光强度和/或更多可见光光谱)的较高水平的基于用户的元素交互/聚焦/移动相比，较低水平的基于用户的元素交互/聚焦/移动将与较少的外围绘制(例如，较低光强度和/或较少可见光光谱)相关联。结果，在一些实施例中，绘制的程度将直接/成比例地基于所确定的用户聚焦、移动和/或用户与场景中的某些元素的交互。
选择性地绘制外围可视化1440的动作还可以包括：基于确定哪些外围显示器和/或显示器区域最靠近检测到的用户聚焦/交互/移动，来确定要激活哪些外围显示器，然后激活那些外围显示器和/或显示器区域，而避免激活离与检测到的用户聚焦/交互/移动相关联的元素最远的外围显示器和/或显示器区域。
因此，本公开实现了能够基于与计算机生成的场景相关联的各种属性以及场景中所显示的元素的显著性，来选择性地绘制外围可视化的实施例。另外，实施例能够基于一个或多个检测到的用户移动来选择性地绘制外围可视化。前述方法和实施例的组合也被预期并且被包括在本公开的范围内。
在不脱离本发明的精神或特性的情况下，本发明可以以其他特定形式实施。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述指示。在权利要求的含义和等同范围内的所有改变都被包含在其范围内。

Claims (15)

1.一种计算机系统，包括：
一个或多个处理器；以及
一个或多个计算机可读硬件存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由所述一个或多个处理器可执行，以通过使所述计算机系统执行以下步骤，而使所述计算机系统基于与计算机生成的场景相关联的各种属性来选择性地绘制外围可视化：
绘制所述计算机生成的场景，所述计算机生成的场景包括元素；
确定所述元素的一个或多个特性，所述一个或多个特性至少描述所述元素与所述计算机生成的场景有关的角色；
基于所确定的所述一个或多个特性，确定所述元素是显著的，其中确定所述元素是显著的还包括确定所述元素的显著性幅度；以及
在确定所述元素的显著性幅度超过显著性阈值之后，绘制所述外围可视化，所述外围可视化与所述元素相对应。
2.根据权利要求1所述的计算机系统，其中所述元素与所述计算机生成的场景有关的所述角色包括出现事件。
3.根据权利要求1所述的计算机系统，其中所述元素与所述计算机生成的场景有关的所述角色包括运动事件。
4.根据权利要求1所述的计算机系统，其中所述元素与所述计算机生成的场景有关的所述角色包括消失事件。
5.根据权利要求1所述的计算机系统，其中所述元素被确定为所述计算机生成的场景的外围元素。
6.根据权利要求5所述的计算机系统，其中所述外围可视化被绘制的程度基于所述元素的所述一个或多个特性。
7.根据权利要求6所述的计算机系统，其中所述程度还基于所述元素的所述显著性幅度。
8.根据权利要求1所述的计算机系统，其中所述元素的所述一个或多个特性包括所述元素的大小，并且其中所述元素的所述大小被转换为用于绘制的角度空间。
9.根据权利要求8所述的计算机系统，其中所述外围可视化如何被绘制基于以下中的一个或多个：1)所述元素的经转换的所述角度空间，2)所述元素的颜色，或3)与所述元素相关联的事件的一个或多个参数。
10.一个或多个硬件存储设备，其上存储有计算机可执行指令，所述计算机可执行指令由计算机系统的一个或多个处理器可执行，以通过使所述计算机系统执行以下步骤，而使所述计算机系统基于与计算机生成的场景相关联的各种属性来选择性地绘制外围可视化：
绘制所述计算机生成的场景，所述计算机生成的场景包括元素；
确定所述元素的一个或多个特性，所述一个或多个特性至少描述所述元素与所述计算机生成的场景有关的角色；
基于所确定的所述一个或多个特性，确定所述元素是显著的，其中确定所述元素是显著的还包括确定所述元素的显著性幅度；以及
在确定所述元素的显著性幅度超过显著性阈值之后，绘制所述外围可视化，所述外围可视化与所述元素相对应。
11.根据权利要求10所述的一个或多个硬件存储设备，其中所述计算机系统包括：1)主显示器，所述计算机生成的场景在所述主显示器内被绘制，以及2)稀疏外围显示器，所述稀疏外围显示器围绕所述主显示器的外周边被布置，并且其中所述外围可视化在所述稀疏外围显示器上被绘制。
12.一种用于基于与计算机生成的场景相关联的各种属性选择性地绘制外围可视化的方法，所述方法由计算机系统的一个或多个处理器执行，所述方法包括：
绘制所述计算机生成的场景，所述计算机生成的场景包括元素；
确定所述元素的一个或多个特性，所述一个或多个特性至少描述所述元素与所述计算机生成的场景有关的角色；
基于所确定的所述一个或多个特性，确定所述元素是显著的，其中确定所述元素是显著的还包括确定所述元素的显著性幅度；以及
在确定所述元素的显著性幅度超过显著性阈值之后，绘制所述外围可视化，所述外围可视化与所述元素相对应。
13.根据权利要求12所述的方法，其中所述显著性阈值可手动配置，使得所述计算机系统的用户确定何时元素符合是显著的条件。
14.根据权利要求12所述的方法，其中确定所述元素是显著的是基于以下中的一个或多个：1)用户使用所述计算机系统的历史趋势，2)所述计算机系统的当前配置，3)所述用户的所确定的反应时间，或4)所述用户的眼睛移动。
15.根据权利要求12所述的方法，其中确定所述元素是显著的基于所述计算机系统的一个或多个硬件组件的一个或多个操作条件。
CN201880020492.7A 2017-03-27 2018-03-20 基于元素显著性的稀疏外围显示器的选择性绘制 Active CN110447053B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/470,773 2017-03-27
US15/470,773 US10216260B2 (en) 2017-03-27 2017-03-27 Selective rendering of sparse peripheral displays based on element saliency
PCT/US2018/023211 WO2018183024A1 (en) 2017-03-27 2018-03-20 Selective rendering of sparse peripheral displays based on element saliency

Publications (2)

Publication Number Publication Date
CN110447053A true CN110447053A (zh) 2019-11-12
CN110447053B CN110447053B (zh) 2023-08-11

Family

ID=61913560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020492.7A Active CN110447053B (zh) 2017-03-27 2018-03-20 基于元素显著性的稀疏外围显示器的选择性绘制

Country Status (4)

Country Link
US (1) US10216260B2 (zh)
EP (1) EP3602505B1 (zh)
CN (1) CN110447053B (zh)
WO (1) WO2018183024A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
CN101006492A (zh) * 2004-06-01 2007-07-25 迈克尔·A.·韦塞利 水平透视显示
CN101366070A (zh) * 2005-12-19 2009-02-11 皮克斯特罗尼克斯公司 直视mems显示装置以及在其上生成图像的方法
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150215412A1 (en) * 2014-01-27 2015-07-30 Fujitsu Limited Social network service queuing using salience
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
US20150371429A1 (en) * 2014-02-10 2015-12-24 Sigma Cubed Inc. Method and Apparatus For Interactive 3D Visual Display of Microseismic Events
US20160027264A1 (en) * 2014-07-25 2016-01-28 Postech Academy - Industry Foundation Method and apparatus for generating haptic signal with auditory saliency estimation
CN106462233A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 显示设备观看者视线吸引
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697276B2 (ja) * 1993-10-27 2005-09-21 ゼロックス コーポレイション 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6014117A (en) * 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method
US8225224B1 (en) 2003-02-25 2012-07-17 Microsoft Corporation Computer desktop use via scaling of displayed objects with shifts to the periphery
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
JP2009510540A (ja) 2006-10-31 2009-03-12 ビ−エイイ− システムズ パブリック リミテッド カンパニ− 画像表示システム
US9061150B2 (en) 2007-03-08 2015-06-23 Second Sight Medical Products, Inc. Saliency-based apparatus and methods for visual prostheses
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US20130158963A1 (en) * 2010-07-07 2013-06-20 3M Innovative Properties Company Systems and methods for improving visual attention models
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
US8533615B1 (en) * 2012-06-06 2013-09-10 Google, Inc. Systems and methods for order-independent rendering of graphical objects using operating system resources
US20140002629A1 (en) 2012-06-29 2014-01-02 Joshua J. Ratcliff Enhanced peripheral vision eyewear and methods using the same
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
GB201310376D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
KR102378457B1 (ko) 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
WO2015154004A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
KR20170098232A (ko) * 2014-12-22 2017-08-29 톰슨 라이센싱 오브젝트 검출에 기초하여 외삽된 이미지를 생성하는 방법 및 장치
US10156908B2 (en) 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US9606362B2 (en) * 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
CN101006492A (zh) * 2004-06-01 2007-07-25 迈克尔·A.·韦塞利 水平透视显示
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
CN101366070A (zh) * 2005-12-19 2009-02-11 皮克斯特罗尼克斯公司 直视mems显示装置以及在其上生成图像的方法
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150215412A1 (en) * 2014-01-27 2015-07-30 Fujitsu Limited Social network service queuing using salience
US20150371429A1 (en) * 2014-02-10 2015-12-24 Sigma Cubed Inc. Method and Apparatus For Interactive 3D Visual Display of Microseismic Events
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
CN106462233A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 显示设备观看者视线吸引
US20160027264A1 (en) * 2014-07-25 2016-01-28 Postech Academy - Industry Foundation Method and apparatus for generating haptic signal with auditory saliency estimation
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢华燕等: "LED点阵显示屏的矩阵模型特性研究", 《自动化与仪器仪表》 *

Also Published As

Publication number Publication date
EP3602505B1 (en) 2021-03-03
EP3602505A1 (en) 2020-02-05
US10216260B2 (en) 2019-02-26
CN110447053B (zh) 2023-08-11
WO2018183024A1 (en) 2018-10-04
US20180275745A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN110447001A (zh) 基于用户移动的稀疏外围显示器的选择性绘制
US20230274511A1 (en) Displaying virtual content in augmented reality using a map of the world
CN105027190B (zh) 用于虚拟或增强介导视觉的射出空间成像数字眼镜
CN112651288B (zh) 用于产生虚拟和增强现实的方法和系统
CN110447053A (zh) 基于元素显著性的稀疏外围显示器的选择性绘制
WO2023064087A1 (en) Detecting physical aspects of an eye using inward-facing sensors in an artificial reality headset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant