CN111213184B - 基于增强现实的虚拟仪表板实现 - Google Patents

基于增强现实的虚拟仪表板实现 Download PDF

Info

Publication number
CN111213184B
CN111213184B CN201780095501.4A CN201780095501A CN111213184B CN 111213184 B CN111213184 B CN 111213184B CN 201780095501 A CN201780095501 A CN 201780095501A CN 111213184 B CN111213184 B CN 111213184B
Authority
CN
China
Prior art keywords
computer system
physical computer
display
system display
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780095501.4A
Other languages
English (en)
Other versions
CN111213184A (zh
Inventor
D·科林斯-埃尔德
D·H·黑尼斯
J·怀特
D·萨尔丹哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN111213184A publication Critical patent/CN111213184A/zh
Application granted granted Critical
Publication of CN111213184B publication Critical patent/CN111213184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在一些示例中，关于基于增强现实的虚拟仪表板实现，可以识别物理计算机系统显示器的特征。基于所识别的物理计算机系统显示器的特征，可以确定虚拟仪表板的边界。基于所确定的虚拟仪表板的边界，可以针对增强现实设备生成增强现实显示。增强现实显示可以包括物理计算机系统显示器的视图，并且还可以包括与所识别的物理计算机系统显示器的特征相邻并在其外部的虚拟仪表板的虚拟现实显示。虚拟仪表板可以包括显示于其上的内容。

Description

基于增强现实的虚拟仪表板实现
背景技术
计算机系统显示器可以包括监视器或用于显示信息的另外类型的设备。计算机系统显示器可以包括显示屏、电子电路、壳体和供电单元(PSU)。计算机系统显示器的示例包括具有发光二极管(LED)背光的薄膜晶体管液晶显示器(TFT-LCD)。显示屏可以限定可以用于显示内容的显示区域的最大尺寸。
附图说明
在以下的(一个或多个)图中，作为示例而非限制来图示了本公开的特征，在各图中，同样的标号指示相似的元素，其中：
图1图示了基于增强现实的虚拟仪表板实现装置、以及相关联的组件的示例布局；
图2图示了增强现实显示的示例布局，其包括物理计算机系统显示器的视图和虚拟仪表板的虚拟现实显示，以用于图示图1的基于增强现实的虚拟仪表板实现装置的操作；
图3图示了增强现实显示的示例布局，其包括物理计算机系统显示器的视图和虚拟监视器的虚拟现实显示，以用于图示图1的基于增强现实的虚拟仪表板实现装置的操作；
图4图示了用于基于增强现实的虚拟仪表板实现的示例框图；
图5图示了用于基于增强现实的虚拟仪表板实现的方法的示例流程图；以及
图6图示了用于基于增强现实的虚拟仪表板实现的另一示例框图。
具体实施方式
出于简要和例证性目的，通过主要参考示例来描述本公开。在以下描述中，阐述众多具体细节以便提供对本公开的透彻理解。然而，将易于清楚明白的是，可以在不限于这些具体细节的情况下实践本公开。在其他实例中，并未详细地描述一些方法和结构，以免不必要地使本公开模糊不清。
遍及本公开，术语“一”和“一个”旨在标示至少一个的特定元件。如本文使用的，术语“包括”意指包括但不限于，术语“包含”意指包含但不限于。术语“基于”意指至少部分地基于。
本文公开了基于增强现实的虚拟仪表板实现装置、用于基于增强现实的虚拟仪表板实现的方法、以及其上存储有用于提供基于增强现实的虚拟仪表板实现的机器可读指令的非暂时性计算机可读介质。本文公开的装置、方法和非暂时性计算机可读介质提供了增强现实显示的生成，该增强现实显示包括物理计算机系统显示器的视图和与物理计算机系统显示器的某些特征相邻并在其外部的虚拟仪表板的虚拟现实显示。就此而言，增强现实显示可以表示诸如物理计算机系统显示器之类的物理、真实世界环境的实时的直接或间接视图，通过虚拟仪表板的虚拟现实显示来增强所述视图的元素。就此而言，虚拟现实显示可以表示虚拟环境(例如，虚拟仪表板)的计算机生成的显示。
如本文公开的，计算机系统显示器可以包括监视器或用于显示信息的另外类型的设备。计算机系统显示器可以包括显示屏、电子电路、壳体和供电单元(PSU)。计算机系统显示器的示例包括具有发光二极管(LED)背光的薄膜晶体管液晶显示器(TFT-LCD)。显示屏可以限定可以用于显示内容的显示区域的最大尺寸。当正在使用整个显示区域来显示内容时，为了显示附加内容，可能需要减小正用于原始内容的显示区域的大小、和/或可能将附加内容覆盖在原始内容上。对显示区域的此类修改可能会中断用户与原始内容的交互。就此而言，当需要显示附加内容时，在技术上具有挑战性的是要维持用户与正在使用整个显示区域显示的原始内容的交互不中断。
本文公开的装置、方法和非暂时性计算机可读介质至少通过以下方式应对了上述技术挑战：针对增强现实设备生成增强现实显示，所述增强现实显示包括计算机系统显示器的视图，并且还包括与计算机系统显示器的某些特征相邻并在其外部的虚拟仪表板的虚拟现实显示。就此而言，计算机系统显示器可以称为物理计算机系统显示器。计算机系统显示器的特征可以包括计算机系统显示器的物理边界(例如，显示窗口(display bezel)的外边缘)和/或计算机系统显示器的观看区域的边界。特征可以用于确定虚拟仪表板的边界和/或尺寸。此外，在计算机系统显示器上显示的原始内容可以用于生成要在虚拟仪表板上显示的其他内容。因此，用户与正使用计算机系统显示器的整个显示区域(例如，观看区域)显示的原始内容的交互可以保持不中断。
本文公开的装置、方法和非暂时性计算机可读介质可以利用增强现实显示的实现来提供增加的移动性，所述增强现实显示包括计算机系统显示器的视图，并且还包括与计算机系统显示器的某些特征相邻并在其外部的虚拟仪表板的虚拟现实显示。
本文公开的装置、方法和非暂时性计算机可读介质可以提供多个显示(例如，虚拟仪表板和/或虚拟监视器)的实现，而不需要增加物理显示器和线缆。
本文公开的装置、方法和非暂时性计算机可读介质可以提供对用户接口的附加控制，这是通过整体地(或选择性地)滤除背景(例如，去除办公室背景、仓库背景、户外背景等)、定制背景(例如，修改背景颜色、图案等)和/或添加沉浸式背景(例如，添加使用户沉浸到办公室环境中的办公室背景)。
本文公开的装置、方法和非暂时性计算机可读介质可以促进与用户接口(例如，虚拟仪表板上的用户接口)的交互，而不需要在应用之间切换。
本文公开的装置、方法和非暂时性计算机可读介质可以向用户提供聚焦于应用和/或游戏的能力，这是通过在应用和/或游戏外部添加控制和显示，使得用户能在应用和/或游戏的操作期间看到其他应用和/或游戏，而无需占用主显示器(例如，物理计算机系统显示器)。
本文公开的装置、方法和非暂时性计算机可读介质可以通过从物理计算机系统显示器滤除特定的颜色、光强度等来提供可以由于长期盯视物理计算机系统显示器而导致的眼部负担的降低。这些方面可以提供眼部负担的降低和/或眼部安全性的提高。
本文公开的装置、方法和非暂时性计算机可读介质可以提供附加的隐私性，因为可以使得用户能看到显示在虚拟仪表板和/或虚拟监视器上的内容，而未被授权的个体看不到所述内容。
针对本文公开的装置、方法和非暂时性计算机可读介质，如本文描述的模块可以是用以实现相应模块的功能性的硬件和编程的任何组合。在本文描述的一些示例中，硬件和编程的组合可以以许多不同的方式来实现。例如，用于模块的编程可以是存储在非暂时性机器可读存储介质上的处理器可执行指令，并且用于模块的硬件可以包括用以执行那些指令的处理资源。在这些示例中，实现这样的模块的计算设备可以包括存储指令的机器可读存储介质和用以执行指令的处理资源，或者机器可读存储介质可以分离地存储，并可由计算设备和处理资源访问。在一些示例中，一些模块可以在电路中实现。
图1图示了基于增强现实的虚拟仪表板实现装置(后文也称为“装置100”)的示例布局。
参照图1，装置100可以包括特征识别模块102，用以识别物理计算机系统显示器106的特征104。根据示例，所识别的物理计算机系统显示器106的特征104可以包括物理计算机系统显示器106的显示窗口的外边缘。另外，或在其他示例中，所识别的物理计算机系统显示器106的特征104可以包括物理计算机系统显示器106的观看区域的边界。
边界确定模块108可以基于所识别的物理计算机系统显示器106的特征104来确定虚拟仪表板112的边界110。虚拟仪表板112可以由计算机系统或操作物理计算机系统显示器106的另一设备的用户选择性地创建、查看和/或修改。此外，用户可以与物理计算机系统显示器106和/或虚拟仪表板112交互。例如，用户可以显示、修改物理计算机系统显示器106和/或虚拟仪表板112的内容和/或物理计算机系统显示器106和/或虚拟仪表板112的任何属性，和/或以其他方式与它们交互。属性可以包括关于物理计算机系统显示器106和/或虚拟仪表板112的显示大小、包括边框的总体大小、照明、位置、取向等。
根据示例，边界110可以如下确定：通过识别提供在物理计算机系统显示器106上的多个显示边界指示符来将物理计算机系统显示器106的观看区域的边界确定为特征104，并且基于所识别的显示边界指示符来确定虚拟仪表板112的边界110。根据示例，显示边界指示符可以包括提供在物理计算机系统显示器106上的彩色符号、红外符号和/或紫外符号。
根据示例，边界110中的边界可以如下确定：通过识别提供在物理计算机系统显示器106上的多个显示边界指示符来将物理计算机系统显示器106的边缘确定为特征104，并且基于所识别的显示边界指示符来确定虚拟仪表板112的边界110中的边界。就此而言，显示边界指示符可以用于定位物理计算机系统显示器106的边缘，所定位的边缘的公共边缘然后可以用于显示虚拟仪表板112。
根据示例，边界110可以如下确定：通过识别与物理计算机系统显示器106相关联的外围设备(例如，鼠标)的滚动界限来将物理计算机系统显示器106的观看区域的边界确定为特征104，并且基于所识别的外围设备滚动界限来确定虚拟仪表板112的边界110。就此而言，滚动界限可以表示外围设备相对于物理计算机系统显示器106的运动的锁定。此外，一旦显示了虚拟仪表板112，就可以解锁外围设备相对于虚拟仪表板112的运动，从而可以将该外围设备用于物理计算机系统显示器106和/或虚拟仪表板112。
根据示例，边界110可以如下确定：通过检测指向物理计算机系统显示器106的边缘的用户眼部运动来将物理计算机系统显示器106的观看区域的边界确定为特征104，并且基于所检测的用户眼部运动来确定虚拟仪表板112的边界110。就此而言，如本文公开的增强现实设备内部的相机跟踪可以用于检测用户的眼部运动，以确定物理计算机系统显示器106的边缘。可以通过提示用户看向例如物理计算机系统显示器106的四个角(例如，一种类型的明显的“训练模式”)来执行相机跟踪，或者还可以通过分析用户与应用的交互和/或玩游戏(例如，随着时间的流逝)来推断相机跟踪。
增强现实显示生成模块114可以针对增强现实设备116并基于所确定的虚拟仪表板112的边界110来生成增强现实显示118，其包括物理计算机系统显示器106的视图，并且还包括与所识别的物理计算机系统显示器106的特征104相邻并在其外部的虚拟仪表板112的虚拟现实显示(例如，如参考图2进一步详细公开的)。根据示例，增强现实设备116可以包括增强现实眼镜，或者广义地，包括能够显示增强现实显示118的任何类型的设备。
此外，或在其他示例中，如下文参考图3进一步详细公开的，增强现实显示118可以包括与物理计算机系统显示器106相邻的虚拟监视器的另一虚拟现实显示。
根据示例，增强现实设备116可以由特征识别模块102用于识别物理计算机系统显示器106的特征104。
根据示例，增强现实显示118可以通过确定物理计算机系统显示器106的位置和/或取向、并与物理计算机系统显示器106的显示相邻地显示虚拟仪表板112(和/或虚拟监视器)的虚拟现实显示来对物理计算机系统显示器106的视图和/或虚拟仪表板112(和/或虚拟监视器)的虚拟现实显示进行定位和/或以其他方式定向。就此而言，虚拟仪表板112和/或物理计算机系统显示器106的视图的某些特征可以由装置100的用户进行录入或以其他方式确定。例如，物理计算机系统显示器106的屏幕大小、虚拟仪表板112的期望的边框大小、虚拟仪表板112相对于物理计算机系统显示器106的预设位置等可以由装置100的用户进行录入或以其他方式确定。
根据示例，增强现实显示生成模块114可以提供虚拟仪表板112和/或虚拟监视器的边框的定制。例如，增强现实显示生成模块114可以提供边框的定制以包括主题边框、基于应用的边框、基于游戏的边框和/或用户可选的边框。例如，边框可以包括自然主题、基于位置的主题等。类似地，用户可以从预定边框列表中选择边框，和/或可以以其他方式定制边框以包括不同的颜色、图案等。
内容生成模块120可以生成要在虚拟仪表板112上显示的内容122。此外，内容生成模块120可以使内容122显示在虚拟仪表板112上。
根据示例，内容122可以表示虚拟仪表板内容。就此而言，内容生成模块120可以识别在物理计算机系统显示器106上显示的物理计算机系统显示器内容124。此外，内容生成模块120可以基于所识别的物理计算机系统显示器内容124来生成要显示在虚拟仪表板112上的虚拟仪表板内容(例如，内容122)。
根据示例，内容生成模块120可以实现字符辨识来识别物理计算机系统显示器106上显示的字符。就此而言，内容生成模块120可以分析所识别的字符以确定在物理计算机系统显示器106上显示的物理计算机系统显示器内容124。此外，与所识别的字符相关联的语言可以被翻译成用户指定的语言。例如，假设基于日语应用，物理计算机系统显示器内容124是日语的，则就此而言，可以将日语物理计算机系统显示器内容124翻译成用户指定的语言，诸如英语等，并由增强现实设备116相应地显示(例如，覆盖或单独显示在虚拟仪表板112中)。
根据示例，内容122可以包括任何类型的信息，诸如时钟显示、音乐相关显示、通知、web浏览器、控制面板、游戏显示和/或信息、视频、应用相关的图像、游戏相关的图像等。例如，通知可以包括表示与物理计算机系统显示器内容124有关的信息的游戏内和/或应用内信息、和/或游戏外或应用外的信息，诸如电话呼叫等。游戏显示和/或信息可以包括任何类型的演练指南、教程、博客、论坛等。与游戏相关的图像可以包括来自正在物理计算机系统显示器106上玩的游戏的角色的任何类型的显示。
图2图示了增强现实显示118的示例布局，其包括物理计算机系统显示器106的视图和虚拟仪表板112的虚拟现实显示200，以用于图示装置100的操作。
参照图2，如本文公开的，特征识别模块102可以识别物理计算机系统显示器106的特征104。根据示例，所识别的物理计算机系统显示器106的特征104可以包括物理计算机系统显示器106的显示窗口204的外边缘202。显示窗口204可以表示附接到如图2所示的观看区域206的外边缘的物理电子或非电子组件。另外，或在其他示例中，如果未将物理电子或非电子组件附接到观看区域206的外边缘，则显示窗口204可以表示观看区域206的外边缘。
此外，或在其他示例中，所识别的物理计算机系统显示器106的特征104可以包括物理计算机系统显示器106的观看区域206的边界。就此而言，物理计算机系统显示器106的观看区域206的边界可以由物理计算机系统显示器106的显示窗口204的内边缘来限定(例如，对于包括物理电子或非电子组件的显示窗口)。另外，或在其他示例中，物理计算机系统显示器106的观看区域206的边界可以由物理计算机系统显示器106的包括选择性地显示内容的能力的区域来限定。
如图2所示，虚拟仪表板112可以与物理计算机系统显示器106的显示窗口204的外边缘相邻地显示。在图2的示例中，虚拟仪表板可以包括在物理计算机系统显示器106的左右两侧(沿图2的取向)的虚拟仪表板显示。另外，或在其他示例中，在图2的示例中，虚拟仪表板可以包括在物理计算机系统显示器106的顶侧(沿图2的取向)的虚拟仪表板时钟显示210。
如本文公开的，边界确定模块108可以基于所识别的物理计算机系统显示器106的特征104来确定虚拟仪表板112的边界110。例如，如图2所示，边界110可以如下确定：通过识别提供在物理计算机系统显示器106上的多个显示边界指示符208来将物理计算机系统显示器106的观看区域206的边界确定为特征104，并且基于所识别的显示边界指示符208来确定虚拟仪表板112的边界110。根据示例，显示边界指示符208可以包括提供在物理计算机系统显示器106上的彩色符号、红外符号和/或紫外符号。在图2的示例中，显示边界指示符208被示出为包括圆形格式。然而，显示边界指示符208可以包括适于确定虚拟仪表板112的边界110的任何格式。例如，显示边界指示符208可以包括物理计算机系统显示器106的边缘上的“绿点”，增强现实设备116可以识别所述“绿点”以检测物理计算机系统显示器106的物理边界，以在物理计算机系统显示器106周围生成虚拟仪表板112。在示例中，显示边界指示符208可以位于观看区域的角落处。
如本文公开的，边界110可以如下确定：通过识别与物理计算机系统显示器106相关联的外围设备(例如，鼠标)的滚动界限来将物理计算机系统显示器106的观看区域的边界确定为特征104，并且基于所识别的外围设备滚动界限来确定虚拟仪表板112的边界110。就此而言，在图2的示例中，外围设备(例如，鼠标)滚动界限可以限于物理计算机系统显示器106的包括选择性地显示内容的能力的区域。例如，观看区域206可以表示物理计算机系统显示器106的包括选择性地显示内容的能力的区域。
如本文公开的，边界110可以如下确定：通过检测指向物理计算机系统显示器106的边缘的用户眼部运动来将物理计算机系统显示器106的观看区域的边界确定为特征104，并且基于所检测的用户眼部运动来确定虚拟仪表板112的边界110。就此而言，在图2的示例中，用户的眼部运动可以指向沿观看区域206的外边缘。另外，或在其他示例中，用户的眼部运动可以指向沿显示窗口204的外边缘。该用户眼部运动可以用于如下确定边界110：通过利用用户眼部运动来确定虚拟仪表板112可以沿其定位的边缘以及虚拟仪表板112的最大边界和/或尺寸。
如本文公开的，内容生成模块120可以生成要显示在虚拟仪表板112上的内容122。此外，内容生成模块120可以使内容122显示在虚拟仪表板112上。根据示例，内容122可以表示虚拟仪表板内容。就此而言，内容生成模块120可以识别在物理计算机系统显示器106上显示的物理计算机系统显示器内容124。此外，内容生成模块120可以基于所识别的物理计算机系统显示器内容124来生成要显示在虚拟仪表板112上的虚拟仪表板内容(例如，内容122)。对于图2的示例，针对计算机游戏的物理计算机系统显示器内容124可以包括“超时”，并且基于物理计算机系统显示器内容124，虚拟仪表板内容(例如，内容122)可以包括与计算机游戏所涉及的“超时”活动有关的信息。例如，内容生成模块120可以实现字符辨识以识别在物理计算机系统显示器106上显示的字符。就此而言，内容生成模块120可以分析包括“超时”的所识别的字符以确定在物理计算机系统显示器106上显示的物理计算机系统显示器内容124。
图3图示了增强现实显示118的示例布局，其包括物理计算机系统显示器106的视图和虚拟监视器的虚拟现实显示，以用于图示装置100的操作。
参照图3，如本文公开的，增强现实显示118可以包括与物理计算机系统显示器106相邻的虚拟监视器300的虚拟现实显示。就此而言，在图3的示例中，增强现实显示118可以包括与物理计算机系统显示器106相邻的三个虚拟监视器的虚拟现实显示。
图4至图6分别图示了用于基于增强现实的虚拟仪表板实现的示例框图400、方法500的示例流程图、和另一示例框图600。作为示例而非限制，框图400、方法500和框图600可以在上文参考图1描述的装置100上实现。框图400、方法500和框图600可以在其他装置中实践。除了示出框图400之外，图4还示出了可以执行框图400的指令的装置100的硬件。硬件可以包括处理器402和存储机器可读指令的存储器404(即，非暂时性计算机可读介质)，所述机器可读指令在由处理器402执行时使处理器实行框图400的指令。存储器404可以表示非暂时性计算机可读介质。图5可以表示用于基于增强现实的虚拟仪表板实现的方法以及该方法的步骤。图6可以表示其上存储有用于提供基于增强现实的虚拟仪表板实现的机器可读指令的非暂时性计算机可读介质602。机器可读指令在被执行时使处理器604实行也在图6中示出的框图600的指令。
图4的处理器402和/或图6的处理器604可以包括单个或多个处理器或其他硬件处理电路，以执行的本文描述的方法、功能和其他过程。这些方法、功能和其他过程可以体现为存储在计算机可读介质上的机器可读指令，所述计算机可读介质可以是非暂时性的(例如，图6的非暂时性计算机可读介质602)，诸如硬件存储设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦可编程ROM)、EEPROM(电可擦可编程ROM)、硬盘驱动器和闪存)。存储器404可以包括RAM，用于处理器的机器可读指令和数据可以在运行时期间驻留在其中。
参照图1至图4，并且特别是在图4中示出的框图400，存储器404可以包括指令406，以识别物理计算机系统显示器106的特征104。
处理器402可以提取、解码和执行指令408，以基于所识别的物理计算机系统显示器106的特征104来确定虚拟仪表板112的边界110。
处理器402可以提取、解码和执行指令410，以针对增强现实设备116并基于所确定的虚拟仪表板112的边界110来生成增强现实显示118，其包括物理计算机系统显示器106的视图，并且还包括与所识别的物理计算机系统显示器106的特征104相邻并在其外部的虚拟仪表板112的虚拟现实显示。虚拟仪表板112可以包括显示于其上的内容(例如，内容122)。
参照图1至图3和图5，并且特别是图5，针对方法500，在框502处，该方法可以包括识别物理计算机系统显示器106的特征104。
在框504处，该方法可以包括基于所识别的物理计算机系统显示器106的特征104来确定虚拟仪表板112的边界110。
在框506处，该方法可以包括：针对增强现实设备116并基于所确定的虚拟仪表板112的边界110生成增强现实显示118，其包括物理计算机系统显示器106的视图、与所识别的物理计算机系统显示器106的特征104相邻并在其外部的虚拟仪表板112的虚拟现实显示、以及与物理计算机系统显示器106相邻的虚拟监视器的另一虚拟现实显示。虚拟仪表板112或虚拟监视器可以包括显示于其上的内容(例如，内容122)。
参照图1至图3和图6，并且特别是图6，针对框图600，非暂时性计算机可读介质602可以包括指令606，以基于物理计算机系统显示器106的特征104来确定虚拟仪表板112的边界110。
处理器604可以提取、解码和执行指令608，以针对增强现实设备116并基于所确定的虚拟仪表板112的边界110生成增强现实显示118，其包括物理计算机系统显示器106的视图，并且还包括与物理计算机系统显示器106的特征104相邻的虚拟仪表板112的虚拟现实显示。虚拟仪表板112可以包括显示于其上的内容(例如，内容122)。
本文已描述并图示了的内容是示例以及其变型中的一些。本文使用的术语、描述和附图仅作为例示而被阐述，而不意在作为限制。在旨在由所附权利要求(及其等同物)限定的主题的精神和范围内，许多变型是可能的，在所附权利要求(及其等同物)中，所有术语都在其最宽泛合理的意义上释义，除非另行指示。

Claims (12)

1.一种装置，包括：
处理器；以及
存储机器可读指令的非暂时性计算机可读介质，所述机器可读指令在由所述处理器执行时使所述处理器：
识别物理计算机系统显示器的特征；
通过下述操作，基于包括所述物理计算机系统显示器的观看区域的边界的所识别的特征，确定虚拟仪表板的边界：通过检测指向所述物理计算机系统显示器的边缘的用户眼部运动来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及基于所检测的用户眼部运动来确定所述虚拟仪表板的边界；以及
针对增强现实设备并基于所确定的虚拟仪表板的边界，生成增强现实显示，所述增强现实显示
包括所述物理计算机系统显示器的视图，以及
还包括与所识别的物理计算机系统显示器的特征相邻以及在其外部的所述虚拟仪表板的虚拟现实显示，其中所述虚拟仪表板要包括显示于其上的内容。
2.根据权利要求1所述的装置，其中，所述内容表示虚拟仪表板内容，还包括机器可读指令，所述机器可读指令在由所述处理器执行时还使所述处理器：
识别所述物理计算机系统显示器上显示的物理计算机系统显示器内容；以及
基于所识别的物理计算机系统显示器内容，生成要显示在所述虚拟仪表板上的所述虚拟仪表板内容。
3.根据权利要求2所述的装置，其中，用以识别在所述物理计算机系统显示器上显示的所述物理计算机系统显示器内容的指令还使所述处理器：
实现字符辨识以识别在所述物理计算机系统显示器上显示的字符；以及
分析所识别的字符以确定在所述物理计算机系统显示器上显示的所述物理计算机系统显示器内容。
4.根据权利要求1所述的装置，其中，要针对增强现实设备并基于所确定的虚拟仪表板的边界生成增强现实显示，所述增强现实显示包括所述物理计算机系统显示器的视图、以及还包括与所识别的物理计算机系统显示器的特征相邻以及在其外部的所述虚拟仪表板的虚拟现实显示的指令还要使所述处理器：
针对所述增强现实设备生成增强现实显示，其还包括与所述物理计算机系统显示器相邻的虚拟监视器的另一虚拟现实显示。
5.根据权利要求1所述的装置，其中，所识别的物理计算机系统显示器的特征包括所述物理计算机系统显示器的显示窗口的外边缘。
6.根据权利要求1所述的装置，其中，要识别物理计算机系统显示器的特征并基于所识别的物理计算机系统显示器的特征来确定虚拟仪表板的边界的指令还要使所述处理器：
通过识别提供在所述物理计算机系统显示器上的多个显示边界指示符来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及
基于所识别的显示边界指示符来确定所述虚拟仪表板的边界。
7.根据权利要求6所述的装置，其中，所述显示边界指示符包括在所述物理计算机系统显示器上提供的彩色符号、红外符号或紫外符号中的至少一种。
8.根据权利要求1所述的装置，其中，要识别物理计算机系统显示器的特征并基于所识别的物理计算机系统显示器的特征来确定虚拟仪表板的边界的指令还要使所述处理器：
通过识别与所述物理计算机系统显示器相关联的外围设备滚动界限来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及
基于所识别的外围设备滚动界限来确定所述虚拟仪表板的边界。
9.一种计算机实现的方法，包括：
识别包括物理计算机系统显示器的观看区域的边界的特征；
通过下述操作，基于所识别的物理计算机系统显示器的特征，确定虚拟仪表板的边界：通过检测指向所述物理计算机系统显示器的边缘的用户眼部运动来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及基于所检测的用户眼部运动来确定所述虚拟仪表板的边界；以及
针对增强现实设备并基于所确定的虚拟仪表板的边界，生成增强现实显示，所述增强现实显示包括
所述物理计算机系统显示器的视图，
与所识别的物理计算机系统显示器的特征相邻以及在其外部的所述虚拟仪表板的虚拟现实显示，以及
与所述物理计算机系统显示器相邻的虚拟监视器的另一虚拟现实显示，
其中，所述虚拟仪表板或所述虚拟监视器要包括显示于其上的内容。
10.根据权利要求9所述的方法，其中，识别物理计算机系统显示器的特征并基于所识别的物理计算机系统显示器的特征来确定虚拟仪表板的边界还包括：
通过识别提供在所述物理计算机系统显示器上的多个显示边界指示符来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及
基于所识别的显示边界指示符来确定所述虚拟仪表板的边界。
11.一种非暂时性计算机可读介质，其上存储有机器可读指令，所述机器可读指令在被执行时使处理器：
基于包括物理计算机系统显示器的观看区域的边界的特征，通过下述操作确定虚拟仪表板的边界：通过检测指向所述物理计算机系统显示器的边缘的用户眼部运动来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及基于所检测的用户眼部运动来确定所述虚拟仪表板的边界；以及
针对增强现实设备并基于所确定的虚拟仪表板的边界，生成增强现实显示，所述增强现实显示
包括所述物理计算机系统显示器的视图，以及
还包括与所述物理计算机系统显示器的所述特征相邻的所述虚拟仪表板的虚拟现实显示，其中所述虚拟仪表板要包括显示于其上的内容。
12.根据权利要求11所述的非暂时性计算机可读介质，其中，要基于物理计算机系统显示器的特征来确定虚拟仪表板的边界的机器可读指令在被执行时还使所述处理器：
通过识别与所述物理计算机系统显示器相关联的外围设备滚动界限来将所述物理计算机系统显示器的观看区域的边界确定为所述特征；以及
基于所识别的外围设备滚动界限来确定所述虚拟仪表板的边界。
CN201780095501.4A 2017-11-30 2017-11-30 基于增强现实的虚拟仪表板实现 Active CN111213184B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/064044 WO2019108211A1 (en) 2017-11-30 2017-11-30 Augmented reality based virtual dashboard implementations

Publications (2)

Publication Number Publication Date
CN111213184A CN111213184A (zh) 2020-05-29
CN111213184B true CN111213184B (zh) 2024-04-09

Family

ID=66664181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780095501.4A Active CN111213184B (zh) 2017-11-30 2017-11-30 基于增强现实的虚拟仪表板实现

Country Status (4)

Country Link
US (1) US11222612B2 (zh)
EP (1) EP3669332A4 (zh)
CN (1) CN111213184B (zh)
WO (1) WO2019108211A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
GB2620380A (en) * 2022-06-30 2024-01-10 Sony Interactive Entertainment Europe Ltd Method for detecting display screen boundaries

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005573A (en) * 1997-06-12 1999-12-21 Siemens Information And Communication Networks, Inc. Method and system for establishing area boundaries in computer applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP1800054A2 (en) 2004-09-10 2007-06-27 Color Kinetics Incorporated Lighting zone control methods and apparatus
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US20140015858A1 (en) * 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US20140253590A1 (en) 2013-03-06 2014-09-11 Bradford H. Needham Methods and apparatus for using optical character recognition to provide augmented reality
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
JP6352426B2 (ja) * 2013-12-27 2018-07-04 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
US9696549B2 (en) * 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9858676B2 (en) 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
BR112018012426A2 (pt) 2015-12-17 2018-12-18 Thomson Licensing aprimoramento da apresentação personalizada usando a realidade aumentada
CN106200917B (zh) * 2016-06-28 2019-08-30 Oppo广东移动通信有限公司 一种增强现实的内容显示方法、装置及移动终端
US10379345B2 (en) * 2017-05-15 2019-08-13 Daqri, Llc Virtual expansion of desktop

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备

Also Published As

Publication number Publication date
EP3669332A1 (en) 2020-06-24
US20200286443A1 (en) 2020-09-10
WO2019108211A1 (en) 2019-06-06
CN111213184A (zh) 2020-05-29
US11222612B2 (en) 2022-01-11
EP3669332A4 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
KR102340934B1 (ko) 배경 화면을 디스플레이하는 방법 및 장치
CN105302418B (zh) 一种信息处理方法及电子设备
US9466266B2 (en) Dynamic display markers
US9146668B2 (en) Graphical element placement on a display surface
US9829975B2 (en) Gaze-controlled interface method and system
US10073541B1 (en) Indicators for sensor occlusion
US10061509B2 (en) Keypad control
US10996748B2 (en) Gaze-dependent display encryption
US9804767B2 (en) Light dismiss manager
CN109542376B (zh) 屏幕的显示调节方法、装置和介质
CN107038738A (zh) 使用经修改的渲染参数来显示对象
CN111414114A (zh) 一种显示调整方法、装置、电子设备及存储介质
US11068119B2 (en) Optimizing an arrangement of content on a display of a user device based on user focus
US20190220133A1 (en) Display device and method for touch interface
CN111213184B (zh) 基于增强现实的虚拟仪表板实现
CN114461071A (zh) 通过眼球追踪改进的计算设备可访问性
KR20180094721A (ko) 스크린 캡처 차단 방법, 상기 방법을 수행하는 어플리케이션 및 사용자 단말
Müller et al. Designing for noticeability: Understanding the impact of visual importance on desktop notifications
KR102005406B1 (ko) 디스플레이 장치 및 그 제어 방법
CN115398377A (zh) 基于注视的控制
US10742937B2 (en) Watching apparatus, watching method, and recording medium
US20170206685A1 (en) Ensuring contrast for text within a web page
KR20220110027A (ko) 전자 장치 및 그 제어 방법
US10991139B2 (en) Presentation of graphical object(s) on display to avoid overlay on another item
CN114586070A (zh) 扩展现实的内容生成装置及扩展现实的内容显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant