CN105659200A - 用于显示图形用户界面的方法、设备和系统 - Google Patents

用于显示图形用户界面的方法、设备和系统 Download PDF

Info

Publication number
CN105659200A
CN105659200A CN201380078956.7A CN201380078956A CN105659200A CN 105659200 A CN105659200 A CN 105659200A CN 201380078956 A CN201380078956 A CN 201380078956A CN 105659200 A CN105659200 A CN 105659200A
Authority
CN
China
Prior art keywords
image
desired location
wearable computing
computing device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380078956.7A
Other languages
English (en)
Other versions
CN105659200B (zh
Inventor
J·雷特克里夫
G·B·拉法
A·扎菲罗格鲁
S·莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105659200A publication Critical patent/CN105659200A/zh
Application granted granted Critical
Publication of CN105659200B publication Critical patent/CN105659200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

用于在图形用户界面上显示图形元素的技术包含用于生成捕获图像的可穿戴计算装置。可穿戴计算装置分析捕获图像以生成用于放置图形元素的图形用户界面上的一个或多个预期位置的图像位置度量数据。图像位置度量数据指示对应预期位置的一个或多个图像特性。可穿戴计算装置基于对应图像位置度量数据来确定每个预期位置的适当性数据。适当数据指示用于显示图形元素的对应位置的相对适合性。可穿戴计算装置基于适当性数据来选择预期位置之一，并在选择的预期位置在图形用户界面上显示图形元素。

Description

用于显示图形用户界面的方法、设备和系统
背景技术
头戴式显示器和其它可穿戴显示器已经与可穿戴计算装置一起出现。头戴式和某些其它可穿戴显示器通过将视觉用户界面例如投影在安装在一对眼镜上的透明表面上而产生了在用户前面的自由空间中浮动的图像的错觉。投影的视觉界面通常也是透明的，使得界面不遮挡它后面的现有光。因而，投影的视觉界面看起来是覆盖或以别的方式观看用户的视野上。视觉用户界面一般总是投影到显示器的相同部分。
附图说明
本文描述的概念在附图中作为示例而非作为限制图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。在认为适当的地方，附图标记在各图之间已经被重复以指示对应或类似元件。
图1是用于显示图形用户界面的可穿戴计算装置的至少一个实施例的简化框图；
图2是图1的可穿戴计算装置的环境的至少一个实施例的简化框图；
图3是用于由图1的可穿戴计算装置显示图形用户界面的方法的至少一个实施例的简化流程图；
图4是用于确定图1的可穿戴计算装置的用户的上下文的方法的至少一个实施例的简化流程图；
图5是用于分析由图1的可穿戴计算装置的相机捕获的图像的方法的至少一个实施例的简化流程图；以及
图6-9是图示由图1的可穿戴计算装置在图形用户界面上的图形元素的预期放置的简化图解。
具体实施方式
虽然本公开的概念易受到各种修改和备选形式，但其特定实施例已经在附图中作为示例示出，并且将在本文中详细描述。然而，应该理解，没有意图将本公开的概念局限于所公开的具体形式，而是相反，本发明覆盖与本公开和所附权利要求书一致的所有修改、等同物和备选。
在说明书中提到“一个实施例”、“实施例”、“图示实施例”等指示所描述的实施例可包含具体特征、结构或特性，但每一个实施例可以一定或者可以不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实施例。另外，当结合实施例描述具体特征、结构或特性时，认为以结合不管是否明确描述的其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内。此外，应该认识到，包含在以“A、B和C中的至少一个”的形式的列表中的项目可指的是(A)；(B)；(C)；(A和B)；（A和C）；(B和C)或(A, B和C)。类似地，包含在以“A、B或C中的至少一个”形式的列表中的项目可指的是(A)；(B)；(C)；(A和B)；（A和C）；(B和C)或(A, B和C)。
所公开的实施例在一些情况下可用硬件、固件、软件或它们的任何组合来实现。所公开的实施例也可实现为由易失性或非易失性机器可读（例如计算机可读）介质携带或存储在其上的指令，其可由一个或多个处理器读取和执行。机器可读存储介质可实施为用于存储或传送由机器（例如易失性或非易失性存储器、媒体盘或其它媒体装置）可读形式的信息的任何存储装置、机制或其它物理结构。
在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应该认识到，可能不需要此类特定布置和/或排序。而是，在一些实施例中，此类特征可按与在说明性附图中示出的不同的方式和/或次序布置。此外，在具体附图中包含结构或方法特征不打算暗示此类特征在所有实施例中都需要，并且在一些实施例中，可能不包含或者可与其它特征组合。
现在参考图1，在说明性实施例中，可穿戴计算装置102配置成在头戴式显示器的图形用户界面上显示图形元素。图形元素可实施为文本、图像和/或其它视觉元素。如下面所详细论述的，可穿戴计算装置102捕获包含用户视野的一个或多个图像，并分析捕获图像和上下文数据以确定图形用户界面上的图形元素的适当显示位置。
可穿戴计算装置102可实施为任何类型移动计算装置，包含头戴式显示器并且能够由用户穿戴，并执行本文描述的各种功能。例如，可穿戴计算装置102可实施为或另外包含任何类型头戴式显示器（例如计算机护目镜）或能够投影图形用户界面使得它与用户的视野合并或覆盖用户的视野上的其它可穿戴计算装置。如图1所示，说明性可穿戴计算装置102包含处理器110、输入/输出("I/O")子系统112、存储器114、通信电路116、一个或多个外围装置118、一个或多个相机120、显示器122、数据存储装置124和一个或多个传感器130。当然，在其它实施例中，可穿戴计算装置102可包含其它或附加组件，诸如通常在典型移动计算装置(例如各种输入/输出装置)中发现的组件。此外，在一些实施例中，说明性组件中的一个或多个可结合在另一组件中，或另外来自另一组件的一部分。例如，在一些实施例中，存储器114或其部分可合并在处理器110中。
处理器110可被实施为能够执行本文描述的功能的任何类型处理器。例如，处理器可实施为单核或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器114可实施为能够执行本文描述的功能的任何类型易失性或非易失性存储器或数据存储装置。在操作中，存储器114可存储在可穿戴计算装置102操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库以及驱动。存储器114以通信方式经由I/O子系统112耦合到处理器110，I/O子系统104可实施为电路和/或组件以便于与处理器110、存储器114和/或可穿戴计算装置102的其它组件的输入/输出操作。例如，I/O子系统112可实施为或另外包含存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路（即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等）和/或其它组件和子系统以便于输入/输出操作。在一些实施例中，I/O子系统112可形成片上系统(SoC)的一部分，并与处理器110、存储器114和可穿戴计算装置102的其它组件一起合并在单个集成电路芯片上。
通信电路116可实施为能够实现通过网络（未示出）在可穿戴计算装置102与其它移动装置之间通信的任何通信电路、装置或它们的组合。为了这么做，通信电路116可使用任何适合的通信技术（例如无线或有线通信）以及关联的协议（例如以太网、Bluetooth®、Wi-Fi®、WiMAX等）来实现此类通信，例如取决于网络类型，其可实施为能够实现可穿戴计算装置102与远程装置之间通信的任何类型通信网络。可穿戴计算装置102的外围装置118可包含任何数量的附加外围或接口装置。包含在外围装置118中的具体装置例如可取决于可穿戴计算装置102的类型和/或预计用途。
相机120可实施为适合于捕获图像的任何外围或集成装置，诸如照相机、摄像机或能够捕获视频和/或图像的其它装置。在一些实施例中，可穿戴计算装置102可包含多个相机120，它们可用于例如从不同视角捕获图像。备选地或附加地，相机120中的一个或多个可以是三维（3D）相机、深度相机、双焦点相机和/或另外能够生成深度图像、通道或流。例如，相机120中的一个或多个可包含红外（IR）投影仪和IR传感器，使得IR传感器通过分析由IR投影仪投影在场景上的IR光图案来估计场景中对象的深度值。在另一实施例中，相机120中的一个或多个包含至少两个镜头和配置成从场景的至少两个不同视角捕获图像的对应传感器（例如立体相机）。
在一些实施例中，相机120中的一个或多个能够改变具体相机120的曝光程度，生成高动态范围（HDR）图像，和/或确定捕获图像的光强度级别。在说明性实施例中，相机120配置成捕获图像，包含可穿戴计算装置102的用户的视野内的场景。换言之，相机120可捕获用户可看到的任何东西的图像。因而，相机120可以允许捕获用户的视野的方式定位或安装。如下面所论述的，基于各种分析度量来分析捕获图像以确定用于显示图形元素的适当位置。
可穿戴计算装置102的显示器122可实施为在其上可向可穿戴计算装置102的观众显示信息的任一个或多个显示屏。显示器122可实施为或另外使用用于这么做的任何适合的显示技术。在说明性实施例中，显示器122实施为投影相机以及安装在一对眼镜上的关联的透明投影表面。在其它实施例中，显示器122可实施为投影仪和对应投影表面的某种其它组合。例如，在一些实施例中，图形用户界面可被直接投影到用户的眼睛上。尽管在图1中仅图示单个显示器122，但应该认识到，可穿戴计算装置102可包含在其上可彼此同时或顺序显示相同或不同内容的多个显示器或显示屏。例如，相同图形用户界面可被投影到用户的每个眼睛上。
数据存储装置124可实施为配置用于数据的短期存储或长期存储的任何类型装置，诸如例如存储器件和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。如在说明性实施例中所示出的，数据存储装置124包含显示策略126和偏好数据128。如下面所论述的，可穿戴计算装置102的用户可建立有关图形用户界面上的图形元素显示的偏好。例如，可穿戴计算装置102可配备有显式或隐式反馈机制（例如响应于音频输入或其它输入）以存储用户偏好。此外，可穿戴计算装置102例如可基于用户的历史行为和/或图形元素的历史显示位置特性来建立显示策略126、偏好数据128和/或轮廓。在一些实施例中，显示策略126包含有关可穿戴计算装置102的参数（例如图形用户界面的可用显示区域的维度）的数据。
传感器130收集有关可穿戴计算装置102的用户、可穿戴计算装置102的环境、可穿戴计算装置102本身的数据和/或要用在用户的上下文维度和定位图形用户界面的图形元素的位置中的其它数据。如在说明性实施例中所示出的，传感器130可包含眼睛跟踪传感器132、活动传感器134和/或生物传感器142。如下面所论述的，眼睛跟踪传感器132可感测可由可穿戴计算装置102用于例如基于来自用户眼睛的闪烁和/或其它光反射来确定用户的注视角度和距离的数据。此外，活动传感器134可包含惯性传感器136、位置传感器138、音频传感器140和/或配置成感测指示用户活动的数据的其它传感器。惯性传感器136（例如加速计和陀螺仪）和/或位置传感器138（例如全球定位系统）例如可用于确定用户的运动。另外，音频传感器140（例如麦克风）可用于确定用户的音频参与（例如，用户参与对话和/或用户接近人们的程度）。如下面所论述的，生物传感器142可用于确定用户的各种生物状态。例如，生物传感器142可感测用户的脑活动（例如经由功能近红外光谱学和/或脑电图学）、温度、湿度或用户的其它生物特性。在各种实施例中，传感器130例如可实施为或另外包含接近传感器、光学传感器、光传感器、音频传感器、温度传感器、运动传感器、压电传感器和/或其它类型传感器。当然，可穿戴计算装置102还可包含配置成实现传感器130用途的组件和/或装置。应该认识到，传感器130可位于可穿戴计算装置102上或在用户身上的别处（例如嵌入在用户的衣服上）。
现在参考图2，在使用时，可穿戴计算装置102建立用于在头戴式显示器的图形用户界面上显示图形元素的环境200。如下面所论述的，可穿戴计算装置102可基于图像分析、上下文数据、用户偏好、显示轮廓和/或其它参数或特性来确定图形用户界面上的图形元素放置的适当位置。例如，可穿戴计算装置102可确定不在复杂的、太明亮的、与图形元素相同颜色的或另外对于其放置不适当的场景的区域上放置图形元素。
可穿戴计算装置102的说明性环境200包含图像分析模块202、放置模块214、传感器处理模块218、深度分析模块222、通信模块226、相机120、显示器122、传感器130、132、134、142、显示策略126和偏好数据128。如在说明性实施例中所示出的，图像分析模块202包含颜色兼容性模块204、复杂性模块206、亮度模块208和对象检测模块210（其包含面部检测模块212）。此外，放置模块214包含加权模块216，并且传感器处理模块218包含注视检测模块220。此外，在一些实施例中，深度分析模块222可包含层确定模块224。图像分析模块202、颜色兼容性模块204、复杂性模块206、亮度模块208、对象检测模块210、面部检测模块212、放置模块214、加权模块216、传感器处理模块218、注视检测模块220、深度分析模块222、层确定模块224和通信模块226中的每个都可实施为硬件、软件、固件或它们的组合。此外，在一些实施例中，其中一个说明性模块可形成另一模块的一部分（例如，图像分析模块202和/或深度分析模块222可形成放置模块214的一部分）。
图像分析模块202接收用相机捕获的（例如作为流播视频、作为图像/帧的集合或以另一格式捕获的）图像。在说明性实施例中，相机120捕获图像，包含可穿戴计算装置102的用户的视野内的场景。如下面更详细论述的，图像分析模块202分析每一个图像（例如流播视频的每帧或其子集）以使用各种分析度量来确定图像的各种特性和/或参数。所使用的具体分析度量可随实施例变化，但可包含使用图像滤波器、图像分析算法和用于确定捕获图像或其部分的特性的其它技术和机制。例如，在一些实施例中，度量或滤波器中的一个或多个可使用开窗方法来分析在某个时间的捕获图像的一部分，并可“扫描”跨图形元素的一个或多个预期位置（例如所有预期位置）的窗口。窗口大小可根据具体实施例而变化，但在一些实施例中，可与要放置的图形元素的大小和/或形状相同。另外，分析或度量根据需要所构成的可从一个实施例到一个实施例变化。例如，图像分析模块202可以确定图像的亮度或光强度是对光敏感的用户比典型用户更有意义的属性。此类信息可被存储为用户偏好数据128和/或存储在显示策略126中。
颜色兼容性模块204分析捕获图像以提取或另外确定与捕获图像的颜色相关的特性。更确切地说，捕获图像与一个或多个预期图形元素一起分析以确定图形元素的颜色是否与图像的各种位置兼容。例如，可能不适当的是，将红色图形元素（例如红色文本）放置在图像的红色部分（例如红色墙）上。在一些实施例中，颜色兼容性模块204生成要放置的图形元素的像素中存在的光的频率的参考直方图或其它表示。此外，颜色兼容性模块204生成用于放置图形元素的一个或多个预期位置的直方图或其它表示，并将它们与参考直方图或表示相比较。颜色兼容性模块204可生成与每一个比较的位置关联的度量数据，其可由放置模块214用于例如基于颜色对比来确定适当位置。在一些实施例中，颜色兼容性模块204利用两种颜色之间的适当对比量的某个阈值来确定具体位置的适当性。在其它实施例中，颜色兼容性模块204可使用另一适合的机制来将捕获图像中存在的颜色与要显示的图形元素进行比较。
复杂性模块206分析捕获图像以确定图像的各种区域的复杂性。可使用任何适合的测量方法论来确定各种区域的复杂性。例如，复杂性模块206可生成图形元素的每个预期位置的熵得分或其它度量数据。该得分或数据例如可指示在预期位置（例如在滤波器窗口内）的图像“忙碌”或另外复杂的程度。在这么做时，复杂性模块206可采用熵确定算法、显著性算法或确定图像区域中细节程度的另一适合算法。在一些实施例中，复杂性模块206可以确定具有相对低熵的位置（例如墙或地板）比具有高熵的位置（例如桌子和椅子腿）是图形元素的更适当位置。在一些实施例中，复杂性模块206还可基于相关图像位置的复杂性来确定适当透明度水平。例如，可能适当的是，在高熵区域上显示不太透明的图形元素，而不是更透明的图形元素。
亮度模块208分析捕获图像以确定图像的预期位置的绝对亮度或相对亮度。如上面所论述的，在一些实施例中，相机120中的一个或多个能够生成HDR图像，或另外能够确定图像中的光强度的级别。亮度模块208分析在预期图像位置的那些强度级别，以生成或确定与光强度相关的度量数据。应该认识到，尽管图形元素可另外适合地定位在具体位置，但在那个具体位置的光强度可再现对于放置不适当的位置。例如，虽然通常可能适当的是，在白背景上放置黑图形元素，但如果白背景是天空，则可能不适当的是，此类放置可要求用户看向太阳来看图形元素。
对象检测模块210分析捕获图像以确定图像中的具体对象（如果有的话）的位置，并且可利用任何适合的对象检测/跟踪算法这么做。例如，对象检测模块210可利用边缘检测滤波器和/或算法来标识图像中对象的边界。例如，对象检测模块210可利用图像梯度算子（例如Sobel滤波器）、Canny边缘检测和/或其它边缘检测算法。在一些实施例中，对象检测模块210附加地或备选地可利用一个或多个适合的图像分段算法来标识场景中的对象（例如塔式分段或分水岭算法）。对象检测模块210可生成指示检测对象的位置的度量数据，使得放置模块214可在确定在哪里放置图形元素以便显示时考虑那些位置。
感兴趣的对象可根据具体实施例变化，并且例如可存储在显示策略126和/或偏好数据128中。例如，在说明性实施例中，对象检测模块210检测捕获图像中任何人的面部的位置。因此，面部检测模块212配置成分析捕获图像以检测在图像中一个或多个人的面部的存在，并确定捕获图像中任何检测的面部的位置。另外，在一些实施例中，面部检测模块212可基于它们的检测的面部来标识人（例如，通过生物统计算法和/或其它面部识别或对象相关算法）。因此，在跟踪多人的实施例中，面部检测模块212可区分捕获图像中的那些人。用那种方式，显示策略126和/或偏好数据128可标识图形元素应该优选地不显示的具体人或人的类别/群/类（例如某人的医生）。在这么做时，面部检测模块212可采用特征提取算法来标识面部标志、边缘和/或角。
传感器处理模块218从传感器130、132、134、142接收传感器数据，并处理接收的传感器数据（例如以确定其相关性）以生成用户和/或可穿戴计算装置102的上下文数据。例如，传感器处理模块218可基于来自活动传感器134（例如惯性传感器136和/或位置传感器138）的输入来确定用户移动的速度的速率（如果有的话）。在一些实施例中，上下文数据包含传感器数据本身，并且在其它实施例中，上下文数据包含基于传感器数据的导出信息。在说明性实施例中，传感器处理模块218包含注视检测模块220，其分析从眼睛跟踪传感器132接收的传感器数据以确定用户的注视方向和/或角度。因此，注视检测模块220可以确定对应于用户聚焦的捕获图像中位置的点或位置。例如，注视检测模块220可确定用户正在看具体对象或人，并且此类信息可用于确定显示图形元素的适当位置，如下面更详细论述的。应该认识到，在其它实施例中，传感器处理模块218可分析不同上下文信息（例如来自不同传感器130），并由此生成来自本文所论述的不同上下文数据。
深度分析模块222分析捕获图像（例如深度通道或流）以确定各种对象距相机120的距离。例如，深度分析模块222可独自或与颜色通道（例如红绿蓝）组合来分析深度通道，以标识捕获图像的前景部分或背景部分，并生成图像的各种位置的关联度量数据。在这么做时，深度分析模块222可利用任何适合的算法、技术或机制（例如边缘检测和泛洪算法）。在其它实施例中，深度分析模块222可生成捕获图像的深度图，和/或扭曲捕获图像（例如经由投影）以匹配场景的用户的第一人的视角。如在说明性实施例中所示的，深度分析模块222可包含层确定模块224。层确定模块224标识用户的眼睛聚焦的捕获图像的层（例如前景部分或背景部分）。这么做时，层确定模块224可利用由上面论述的注视检测模块220生成的上下文数据。
通信模块226处置通过网络（未示出）在可穿戴计算装置102与远程装置（例如远程传感器和/或其它可穿戴计算装置）之间的通信。因此，通信模块226可从在可穿戴计算装置102附近的另一计算装置接收数据（例如传感器数据或上下文数据）。例如，在一些实施例中，同一房间内的可穿戴计算装置102可彼此共享上下文数据，由此使每一个可穿戴计算装置102能够更准确地确定它自身及其用户的上下文，并且还确定与环境关联的更多全局上下文信息。
在说明性实施例中，放置模块214从图像分析模块202接收度量数据，并且深度分析模块222从传感器处理模块218接收上下文数据，并从通信模块226接收进来的数据。放置模块214分析所接收信息以确定在显示器122的图形用户界面上的一个或多个预期位置放置图形元素的适当性。在这么做时，放置模块214可生成指示对应预期位置的相对适合性的每个预期位置的适当性数据。应该认识到，放置模块214可利用任何适合的算法、技术或机制来确定预期位置的适当性并生成适当性数据。
例如，在说明性实施例中，放置模块214包含加权模块216，其向分析和上下文度量以及对应度量和上下文数据中的每个指配权重（例如标量系数），并且加权模块216以适合的方式组合加权数据。例如，加权模块216可生成每个预期位置的分析和上下文度量的加权和，并选择具有最高和的预期位置（即，假定值越高对应的适当图像位置越多）。在一些实施例中，加权模块216可在组合度量数据（例如取加权和）之前使其归一化。当然，在其它实施例中，放置模块214可使用任何其它适合的算法或技术，基于分析和/或上下文度量来生成具体位置的适当性的合成值或得分。另外，放置模块214可包含对应于合成得分中的偏好数据128和/或显示策略126的数据/值。在一些实施例中，放置模块214可扭曲图形元素（例如经由投影），以将元素以用户看表面（例如沿墙）的相同视角放置在表面上。应该进一步认识到，放置模块214可基于接收的数据修改要放置的图形元素，并且可确定是否根据预先定义的间隔或周期（例如在显示策略126中定义的）放置/移动图形元素。
现在参考图3，在使用时，可穿戴计算装置102可执行用于在可穿戴计算装置102的图形用户界面上显示图形元素的方法300。说明性方法300开始于块302，其中可穿戴计算装置102确定是否在图形用户界面上并因此在显示器122上显示图形元素。如果是这样，则在块304，可穿戴计算装置102用相机120捕获用户的视野的一个或多个图像。如上面所论述的，在一些实施例中，可穿戴计算装置102可利用多个相机120来捕获用户的整个视野和/或从不同角度捕获图像（例如以确定深度）。在块306，可穿戴计算装置102从可穿戴计算装置102的传感器130接收传感器数据。如上面所论述的，传感器数据可包含由眼睛跟踪传感器132、活动传感器134、惯性传感器136、位置传感器138、音频传感器140、生物传感器142和/或其它传感器感测或以别的方式生成的数据。在一些实施例中，可穿戴计算装置102还可从远程计算装置（或在附近的其它可穿戴计算装置）接收传感器数据。
在块308，可穿戴计算装置102基于接收的传感器数据确定用户和/或可穿戴计算装置102的上下文。为了这么做，可穿戴计算装置102可执行用于确定可穿戴计算装置102的用户的上下文的方法400，如图4所示。说明性方法400开始于块402，其中可穿戴计算装置102确定是否确定用户的上下文。如果是这样，则在块404，可穿戴计算装置102确定用户的活动负载，并生成对应上下文数据。在这么做时，在说明性实施例中，可穿戴计算装置102在块406确定用户的视觉负载，并在块412确定用户的音频负载。
在块406中确定用户的视觉负载时，在块408，可穿戴计算装置102确定用户的运动特性。更确切地说，可穿戴计算装置102分析从活动传感器134接收的传感器数据，以确定用户例如是在走、跑、坐、驾驶车辆还是在执行某个其它可标识任务。如本文所论述的，基于该信息，可穿戴计算装置102可生成对应上下文数据，该数据可用于指示显示图形元素是否安全，如果安全，则还有图形用户界面上的什么位置对于其显示将是最适当的（例如最安全的）。在块410，可穿戴计算装置102执行用户注视分析以确定用户的焦点。如上面所论述的，可穿戴计算装置102可利用各种眼睛跟踪机制来确定用户正在看的捕获图像中的点，并生成对应上下文数据。
在块412确定用户的音频负载时，在块414，可穿戴计算装置102确定用户的音频参与。在一些实施例中，可穿戴计算装置102可利用音频和语音识别、音频分段和音频认证技术和机制来确定用户的音频环境和对话参与。例如，可穿戴计算装置102可以确定谁正在用户的附近谈话、用户与那些谈话人的参与度和/或其它音频特性。应该认识到，用户当参与对话时通常具有高视觉负载和高语言处理负载。在块426，可穿戴计算装置102使用任何适合的传感器数据和算法来确定用户的语言处理负载。也就是，可穿戴计算装置102确定与自然语言音频的用户处理关联的困难性和/或聚焦程度。当然，自然语言负载和可接受阈值等级可根据具体对话和具体用户而变化。
在块418，可穿戴计算装置102基于生物传感器142确定用户的生物状态，并生成任何相关上下文数据。例如，如上面所论述的，可穿戴计算装置102可分析用户的脑活动、温度、湿度和/或用户的其它生物特性或症状。基于此类分析，可穿戴计算装置102例如可确定显示图形元素或图形用户界面的任何部分是否安全。例如，如果用户处于深度关注、失去聚焦或认知过载，则显示图形用户界面可能是不安全的。在另一实施例中，可穿戴计算装置102可感测或确定与显示具体位置的图形元素关联的焦虑或不舒服。
参考回到图3，在块310，可穿戴计算装置102确定是否授权图形元素的显示。此类授权可基于偏好数据128、显示策略126、用户或可穿戴计算装置102的上下文或其它特性或参数。例如，在一些实施例中，显示策略126可指示在用户在阈值速度（例如基于活动传感器134确定的）以上行进的任何时间点在图形用户界面上显示图形元素是否不安全，并由此限制在那些时间期间图形元素的显示或最小化。附加地或备选地，用户可在偏好数据128中建立此类偏好。换言之，为了确定是否授权图形元素的显示，可穿戴计算装置102比较上下文数据与显示策略126和/或偏好数据128，以确定所建立条件的发生并标识限制范围。应该认识到，根据具体实施例，基于任何建立的条件，图形元素可不授权用于显示。在其它实施例中，一般可授权显示图形元素，但限制于显示器122的一个或多个部分（例如在外围）。
如果可穿戴计算装置102确定在那个时间该图形元素未授权用于显示，则方法300返回到块302，其中可穿戴计算装置102确定是否显示另一（或者相同）图形元素。因此，在一些实施例中，可穿戴计算装置102可等待，直到授权显示图形元素。如果在块310可穿戴计算装置102确定授权显示图形元素，则在块312穿戴计算装置102基于图像分析、上下文、偏好数据128和/或显示策略126确定适当显示位置。在这么做时，在块314，可穿戴计算装置102检索上下文数据、偏好数据128和/或显示策略126。如上面论述的，显示策略126和偏好数据128可从可穿戴计算装置102的数据存储装置124存储和检索。上下文数据可类似地存储在数据存储装置124中，或基于传感器数据生成/检索。
在块316中，可穿戴计算装置102分析捕获图像以生成位置度量数据。为了这么做，可穿戴计算装置102可执行用于分析由可穿戴计算装置102的相机120捕获的图像的方法500。说明性方法500开始于块502，其中可穿戴计算装置102确定是否分析捕获图像。如果是这样，则在说明性实施例的块504，可穿戴计算装置102确定焦点的图像层。也就是，如上面所论述的，可穿戴计算装置102确定用户是否正在聚焦在或看捕获图像/场景的前景层或背景层。在存在多个前景区和/或背景区的实施例中，可穿戴计算装置102可标识用户正在看的层的具体区。在这么做时，在块506，可穿戴计算装置102对捕获图像执行深度分析。附加地，在一些实施例中，在块508，可穿戴计算装置102执行注视跟踪以确定用户的注视方向。
在块510中，可穿戴计算装置102确定各种图像区域的复杂性（即预期图形元素位置）。如上面所论述的，可穿戴计算装置102例如可使用开窗方法来确定用于放置图形元素的图形用户界面的每个预期位置的熵或复杂性。在块512，可穿戴计算装置102确定每个图像区域的亮度（例如基于该区域内图像像素的光强度值），并且在块514，确定图形元素与每一个图像区域的颜色兼容性（例如基于图像区域的直方图与图形元素的直方图的比较）。此外，在块516，可穿戴计算装置102对捕获图像执行面部检测，以标识图像内任何面部的位置，如上面所论述的。应该认识到，在块504、510、512、516和516中的每个块中，可穿戴计算装置102生成位置度量数据，其指示图形元素的每个预期位置关于那个具体分析度量的相对适合性。
参考回到图3，在说明性实施例的块318中，可穿戴计算装置102向分析和/或上下文度量施加权重，以确定每个预期显示位置的适当性数据，其指示对应预期位置的相对适合性，如上面所论述的。例如，可穿戴计算装置102可向每个度量指配系数（例如基于确定图形元素位置的其重要性），并计算用户界面上的图形元素的每个预期位置的那些度量的加权和。如上面所论述的，在一些实施例中，可穿戴计算装置102可在施加权重以及对值求和之前使每一个度量归一化（例如具有0与1之间的值）。在其它实施例中，可穿戴计算装置102可使用其它算法来确定图形元素的预期位置的适当性，并生成适当性数据。可穿戴计算装置102可比较与每个预期位置关联的适当性数据，以确定用于在图形用户界面上显示图形元素的适合位置。在块320，可穿戴计算装置102在选择的位置在图形用户界面上显示图形元素。
现在参考图6-9，说明性示出了在对用户可见的相同视野（即场景）上面在图形用户界面上放置图形元素的预期位置。在图形用户界面600、700、800、900中的每个图形用户界面中，示出了场景602，在比较空的房间中包含两个人（男人和女人）和一套餐桌（即桌子和椅子）。应该认识到，图形元素604、704、804、904在说明性实施例中为了清晰起见被显示为不透明的，但如上面论述的，在其它实施例中可以是透明的或半透明的。如上面所论述的，可穿戴计算装置102分析场景602、上下文数据、用户偏好数据128和显示策略126以确定用于放置图形元素的适当位置。在图6-9中示出的预期位置可以不是基于此类分析和数据的适当显示位置，但为了论述目的呈现。
现在具体地参考图6，图形元素604被显示为覆盖在两个人的脸上。在那个位置显示的图形元素通常将是不适当的，因为它将被放置在前景上和面部上面。然而，如果可穿戴计算装置102确定用户忽略了来自男人和女人的音频，和/或看背景中的桌子，则它可以是可接受位置。如上面所论述的，显示位置的适当性的确定基于图像分析、上下文、偏好数据和/或策略数据。因此，具体位置可以是在某些境况下（例如用户正聚焦在图6中的桌子上）是适当的，而在其它境况下是不适当的（例如用户正聚焦在两个人身上）。
现在参考图7，图形元素704被显示为覆盖场景602中的两人的手。尽管这个预期位置一般比图形元素604的预期位置更可接受（见图6），但图形元素704仍引起前景冲突。因此，可穿戴计算装置102的用户可能不能够看到或解释场景602中人的任何手势。现在参考图8，图形元素804被显示为仅覆盖场景602的背景中的房间的墙。对于图形元素804示出的预期位置有可能是在大多数境况下对于图形元素804最适合的位置。然而，如果窗口沿墙定位，则可能不是这种情况，因为通过窗口进入的光可能导致由于高相对亮度引起的潜在问题。现在参考图9，图形元素904被显示在场景602的背景中的桌子和椅垫上。因为这个位置在捕获图像的背景中，因此它可能是可接受的。然而，可能存在与可使阅读文本困难的桌子和椅子腿的复杂性关联的高水平熵。此外，如果用户正聚焦在场景602中的桌子上而不是男人和女人上，则此类位置可能是不适当的。在说明性场景602中，可穿戴计算装置102平衡这些冲突以基于上面所论述的各种度量来确定图形元素的适当显示位置。
示例
下面提供了本文公开的技术的说明性示例。技术的实施例可包含下面描述的示例中的任一个或多个以及它们的任何组合。
示例1包含用于显示图形用户界面的可穿戴计算装置，所述可穿戴计算装置包括：相机，用于生成捕获图像；图像分析模块，用于分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；以及放置模块，用于（i）基于所述对应图像位置度量数据来确定每个预期位置的适当性数据的部件，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；（ii）基于所述适当性数据来选择所述预期位置之一；以及（iii）在所述选择的预期位置在所述图形用户界面上显示所述图形元素。
示例2包含示例1的主题，并且其中所述捕获图像包含所述可穿戴计算装置的用户的视野内的场景。
示例3包含示例1和示例2中任一个的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的复杂性，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述复杂性来确定每个预期位置的所述适当性数据。
示例4包含示例1-3中任一示例的主题，并且其中确定所述复杂性包括确定在所述一个或多个预期位置的所述捕获图像的熵得分。
示例5包含示例1-4中任一示例的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的颜色特性，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述颜色特性来确定每个预期位置的所述适当性数据。
示例6包含示例1-5中任一示例的主题，并且其中确定在一个或多个预期位置的捕获图像的颜色特性包括生成图形元素的像素中存在的光的频率的参考表示；生成所述捕获图像的每一个所述预期位置的像素中存在的光的频率的表示；以及将所述捕获图像的每一个所述预期位置的像素中存在的光的频率的所述表示与所述参考表示进行比较。
示例7包含示例1-6中任一示例的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的光强度，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述光强度来确定每个预期位置的所述适当性数据。
示例8包含示例1-7中任一示例的主题，并且其中分析所述捕获图像包括向所述捕获图像应用面部检测算法以确定所述捕获图像中的任何人的面部的位置，其中确定每个预期位置的所述适当性数据包括基于在所述捕获图像中标识的每个人的面部的位置确定每个预期位置的所述适当性数据。
示例9包含示例1-8中任一示例的主题，并且进一步还包含：深度分析模块，用于（i）基于所述捕获图像生成深度图，（ii）基于生成的深度图来确定所述捕获图像的前景层和背景层；以及（iii）基于所述可穿戴计算装置的用户的注视方向来标识焦点的图像层，其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述焦点的图像层来确定每个预期位置的所述适当性数据。
示例10包含示例1-9中任一示例的主题，并且还包含：传感器处理模块，用于基于来自所述可穿戴计算装置的一个或多个传感器的数据来确定所述可穿戴计算装置的用户的上下文。
示例11包含示例1-10中任一示例的主题，并且其中确定所述用户的所述上下文包括确定所述用户的视觉负载、所述用户的音频负载或所述用户的生物状态中的一项或多项。
示例12包含示例1-11中任一示例的主题，并且其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述用户的所述上下文来确定每个预期位置的适当性数据。
示例13包含示例1-12中任一示例的主题，并且其中所述放置模块还确定是否基于所述上下文数据来显示所述图形元素，其中确定所述适当性数据包括响应于显示所述图形元素的确定而确定适当性数据。
示例14包含示例1-13中任一示例的主题，并且其中确定所述用户的所述上下文包括确定所述用户的运动。
示例15包含示例1-14中任一示例的主题，并且其中所述图像位置度量数据包括基于对应传感器数据的多个子成分，并且其中确定每个预期位置的所述适当性数据包括向所述图像位置度量数据的子成分应用加权算法。
示例16包含示例1-15中任一示例的主题，并且其中选择所述预期位置之一包括基于所述适当性数据和一个或多个建立的用户偏好来选择所述预期位置之一。
示例17包含示例1-16中任一示例的主题，并且其中分析所述捕获图像包括向所述捕获图像应用滤波器，其中所述滤波器的窗口具有与所述图形元素相同的大小和形状。
示例18包含用于由可穿戴计算装置在图形用户界面上显示图形元素的方法，所述方法包括：由所述可穿戴计算装置的相机生成捕获图像；由所述可穿戴计算装置分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；由所述可穿戴计算装置基于所述对应图像位置度量数据来确定每个预期位置的适当性数据，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；由所述可穿戴计算装置基于所述适当性数据来选择所述预期位置之一；以及由所述可穿戴计算装置在所述选择的预期位置在所述图形用户界面上显示所述图形元素。
示例19包含示例18的主题，并且其中生成所述捕获图像包括生成包含所述可穿戴计算装置的用户的视野内的场景的捕获图像。
示例20包含示例18和示例19中任一个的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的复杂性，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述复杂性来确定每个预期位置的所述适当性数据。
示例21包含示例18-20中任一示例的主题，并且其中确定所述复杂性包括确定在所述一个或多个预期位置的所述捕获图像的熵得分。
示例22包含示例18-21中任一示例的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的颜色特性，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的颜色特性来确定每个预期位置的所述适当性数据。
示例23包含示例18-22中任一示例的主题，并且其中确定在一个或多个预期位置的捕获图像的颜色特性包括生成图形元素的像素中存在的光的频率的参考表示；生成所述捕获图像的每一个所述预期位置的像素中存在的光的频率的表示；以及将所述捕获图像的每一个所述预期位置的像素中存在的光的频率的所述表示与所述参考表示进行比较。
示例24包含示例18-23中任一示例的主题，并且其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的光强度，其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的光强度来确定每个预期位置的所述适当性数据。
示例25包含示例18-24中任一示例的主题，并且其中分析所述捕获图像包括向所述捕获图像应用面部检测算法以确定所述捕获图像中的任何人的面部的位置，其中确定每个预期位置的所述适当性数据包括基于在所述捕获图像中标识的每个人的面部的位置确定每个预期位置的所述适当性数据。
示例26包含示例18-25中任一示例的主题，并且还由所述可穿戴计算装置基于所述捕获图像生成深度图；由所述可穿戴计算装置基于生成的深度图来确定所述捕获图像的前景层和背景层；以及由所述可穿戴计算装置基于所述可穿戴计算装置的用户的注视方向来标识焦点的图像层，其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述焦点的图像层来确定每个预期位置的所述适当性数据。
示例27包含示例18-26中任一示例的主题，并且还包含由所述可穿戴计算装置基于来自所述可穿戴计算装置的一个或多个传感器的数据来确定所述可穿戴计算装置的用户的上下文。
示例28包含示例18-27中任一示例的主题，并且其中确定所述用户的所述上下文包括确定所述用户的视觉负载、所述用户的音频负载或所述用户的生物状态中的一项或多项。
示例29包含示例18-28中任一示例的主题，并且其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述用户的所述上下文来确定每个预期位置的适当性数据。
示例30包含示例18-29中任一示例的主题，并且还包含由可穿戴计算装置确定是否基于所述上下文数据来显示所述图形元素，其中确定所述适当性数据包括响应于确定显示所述图形元素而确定适当性数据。
示例31包含示例18-30中任一示例的主题，并且其中确定所述用户的所述上下文包括确定所述用户的运动。
示例32包含示例18-31中任一示例的主题，并且其中所述图像位置度量数据包括基于对应传感器数据的多个子成分，并且其中确定每个预期位置的所述适当性数据包括向所述图像位置度量数据的子成分应用加权算法。
示例33包含示例18-32中任一示例的主题，并且其中选择所述预期位置之一包括基于所述适当性数据和一个或多个建立的用户偏好来选择所述预期位置之一。
示例34包含示例18-33中任一示例的主题，并且其中分析所述捕获图像包括向所述捕获图像应用滤波器，所述滤波器的窗口具有与所述图形元素相同的大小和形状。
示例35包含可穿戴计算装置，计算装置包括：处理器；以及存储器，其中存储有多个指令，所述指令当由处理器执行时使可穿戴计算装置执行示例18-34中任一个的方法。
示例36包含一个或多个机器可读存储介质，其包括其上存储的多个指令，所述指令响应于被执行而导致可穿戴计算装置执行示例18-34中任一个的方法。
示例37包含用于在图形用户界面上显示图形元素的可穿戴计算装置，所述可穿戴计算装置包括用于执行示例18-34中任一示例的方法。

Claims (25)

1.一种用于显示图形用户界面的可穿戴计算装置，所述可穿戴计算装置包括：
相机，用于生成捕获图像；
图像分析模块，用于分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；以及
放置模块，用于（i）基于所述对应图像位置度量数据来确定每个预期位置的适当性数据，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；（ii）基于所述适当性数据来选择所述预期位置之一；以及（iii）在所述选择的预期位置在所述图形用户界面上显示所述图形元素。
2.如权利要求1所述的可穿戴计算装置，其中所述捕获图像包含所述可穿戴计算装置的用户的视野内的场景。
3.如权利要求1所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的复杂性，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述复杂性来确定每个预期位置的所述适当性数据。
4.如权利要求3所述的可穿戴计算装置，其中确定所述复杂性包括确定在所述一个或多个预期位置的所述捕获图像的熵得分。
5.如权利要求1所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的颜色特性，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述颜色特性来确定每个预期位置的所述适当性数据。
6.如权利要求5所述的可穿戴计算装置，其中确定在所述一个或多个预期位置的所述捕获图像的所述颜色特性包括：
生成所述图形元素的像素中存在的光的频率的参考表示；
生成所述捕获图像的每一个所述预期位置的像素中存在的光的频率的表示；以及
将所述捕获图像的每一个所述预期位置的像素中存在的光的频率的所述表示与所述参考表示进行比较。
7.如权利要求1-6中任一项所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的光强度，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述光强度来确定每个预期位置的所述适当性数据。
8.如权利要求1-6中任一项所述的可穿戴计算装置，其中分析所述捕获图像包括向所述捕获图像应用面部检测算法以确定所述捕获图像中的任何人的面部的位置，
其中确定每个预期位置的所述适当性数据包括基于在所述捕获图像中标识的每个人的面部的位置确定每个预期位置的所述适当性数据。
9.如权利要求1-6中任一项所述的可穿戴计算装置，还包括：深度分析模块，用于（i）基于所述捕获图像生成深度图，（ii）基于生成的深度图来确定所述捕获图像的前景层和背景层；以及（iii）基于所述可穿戴计算装置的用户的注视方向来标识焦点的图像层，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述焦点的图像层来确定每个预期位置的所述适当性数据。
10.如权利要求1所述的可穿戴计算装置，还包括：传感器处理模块，用于基于来自所述可穿戴计算装置的一个或多个传感器的数据来确定所述可穿戴计算装置的用户的上下文，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述用户的所述上下文来确定每个预期位置的适当性数据。
11.如权利要求10所述的可穿戴计算装置，其中确定所述用户的所述上下文包括确定所述用户的视觉负载、所述用户的音频负载或所述用户的生物状态中的一项或多项。
12.如权利要求10所述的可穿戴计算装置，其中所述放置模块还确定是否基于所述上下文数据来显示所述图形元素，其中确定所述适当性数据包括响应于显示所述图形元素的确定而确定适当性数据。
13.如权利要求10所述的可穿戴计算装置，其中确定所述用户的所述上下文包括确定所述用户的运动。
14.如权利要求1-6中任一项所述的可穿戴计算装置，其中所述图像位置度量数据包括基于对应传感器数据的多个子成分，并且
其中确定每个预期位置的所述适当性数据包括向所述图像位置度量数据的子成分应用加权算法。
15.如权利要求1-6中任一项所述的可穿戴计算装置，其中选择所述预期位置之一包括基于所述适当性数据和一个或多个建立的用户偏好来选择所述预期位置之一。
16.如权利要求1-6中任一项所述的可穿戴计算装置，其中分析所述捕获图像包括向所述捕获图像应用滤波器，其中所述滤波器的窗口具有与所述图形元素相同的大小和形状。
17.一种用于由可穿戴计算装置在图形用户界面上显示图形元素的方法，所述方法包括：
由所述可穿戴计算装置的相机生成捕获图像；
由所述可穿戴计算装置分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；
由所述可穿戴计算装置基于所述对应图像位置度量数据来确定每个预期位置的适当性数据，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；
由所述可穿戴计算装置基于所述适当性数据来选择所述预期位置之一；以及
由所述可穿戴计算装置在所述选择的预期位置在所述图形用户界面上显示所述图形元素。
18.如权利要求17所述的方法，其中分析所述捕获图像包括：
确定在所述一个或多个预期位置的所述捕获图像的复杂性；
确定在所述一个或多个预期位置的所述捕获图像的颜色特性；以及
确定在所述一个或多个预期位置的所述捕获图像的光强度；
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述复杂性、所述颜色特性和所述光强度来确定每个预期位置的所述适当性数据。
19.如权利要求18所述的方法，其中确定在所述一个或多个预期位置的所述捕获图像的所述颜色特性包括：
生成所述图形元素的像素中存在的光的频率的参考表示；
生成所述捕获图像的每一个所述预期位置的像素中存在的光的频率的表示；以及
将所述捕获图像的每一个所述预期位置的像素中存在的光的频率的所述表示与所述参考表示进行比较。
20.如权利要求17所述的方法，其中分析所述捕获图像包括向所述捕获图像应用面部检测算法以确定所述捕获图像中的任何人的面部的位置，
其中确定每个预期位置的所述适当性数据包括基于在所述捕获图像中标识的每个人的面部的位置确定每个预期位置的所述适当性数据。
21.如权利要求17所述的方法，还包括：
由所述可穿戴计算装置基于所述捕获图像生成深度图；
由所述可穿戴计算装置基于生成的深度图来确定所述捕获图像的前景层和背景层；以及
由所述可穿戴计算装置基于所述可穿戴计算装置的用户的注视方向来标识焦点的图像层，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述焦点的图像层来确定每个预期位置的所述适当性数据。
22.如权利要求17所述的方法，还包括：由所述可穿戴计算装置基于来自所述可穿戴计算装置的一个或多个传感器的数据来确定所述可穿戴计算装置的用户的上下文，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述用户的所述上下文来确定每个预期位置的适当性数据。
23.如权利要求17所述的方法，其中所述图像位置度量数据包括基于对应传感器数据的多个子成分，并且
其中确定每个预期位置的所述适当性数据包括向所述图像位置度量数据的子成分应用加权算法。
24.如权利要求17所述的方法，其中分析所述捕获图像包括向所述捕获图像应用滤波器，所述滤波器的窗口具有与所述图形元素相同的大小和形状。
25.一个或多个机器可读存储介质，包括其上存储的多个指令，所述指令响应于被执行而导致可穿戴计算装置执行如权利要求17-24中任一项所述的方法。
CN201380078956.7A 2013-09-18 2013-09-18 用于显示图形用户界面的方法、设备和系统 Active CN105659200B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/060344 WO2015041642A1 (en) 2013-09-18 2013-09-18 A method, apparatus, and system for displaying a graphical user interface

Publications (2)

Publication Number Publication Date
CN105659200A true CN105659200A (zh) 2016-06-08
CN105659200B CN105659200B (zh) 2019-07-23

Family

ID=52689182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380078956.7A Active CN105659200B (zh) 2013-09-18 2013-09-18 用于显示图形用户界面的方法、设备和系统

Country Status (4)

Country Link
US (1) US10032277B2 (zh)
EP (1) EP3047361B1 (zh)
CN (1) CN105659200B (zh)
WO (1) WO2015041642A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572573A (zh) * 2019-09-17 2019-12-13 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110709940A (zh) * 2017-12-13 2020-01-17 谷歌有限责任公司 用于预测传感器测量质量的方法、系统和介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
CN105812649B (zh) * 2014-12-31 2019-03-29 联想(北京)有限公司 一种摄像方法和装置
UA123991C2 (uk) 2015-01-22 2021-07-07 Басф Агро Б.В. Трикомпонентна гербіцидна комбінація, що включає сафлуфенацил
WO2017009144A1 (en) 2015-07-10 2017-01-19 BASF Agro B.V. Herbicidal composition comprising cinmethylin and specific quinolinecarboxylic acids
US11219215B2 (en) 2015-07-10 2022-01-11 BASF Agro B.V. Herbicidal composition comprising cinmethylin and specific inhibitors of protoporphyrinogen oxidase
US11219212B2 (en) 2015-07-10 2022-01-11 BASF Agro B.V. Herbicidal composition comprising cinmethylin and imazamox
KR102549057B1 (ko) 2015-07-10 2023-06-29 바스프 아그로 비.브이. 신메틸린 및 아세토클로르 또는 프레틸라클로르를 포함하는 제초제 조성물
US20180184659A1 (en) 2015-07-10 2018-07-05 BASF Agro B.V. Herbicidal composition comprising cinmethylin and specific pigment synthesis inhibitors
BR112018000482B1 (pt) 2015-07-10 2022-11-22 BASF Agro B.V. Composição herbicida, uso da composição e método para o controle da vegetação indesejada
WO2017009137A1 (en) 2015-07-10 2017-01-19 BASF Agro B.V. Herbicidal composition comprising cinmethylinandpethoxamid
WO2017009090A1 (en) 2015-07-10 2017-01-19 BASF Agro B.V. Herbicidal composition comprising cinmethylin and pyroxasulfone
EP3319427B1 (en) 2015-07-10 2019-04-17 BASF Agro B.V. Herbicidal composition comprising cinmethylin and dimethenamid
US10636056B2 (en) * 2015-11-16 2020-04-28 International Business Machines Corporation Recommendations based on private data using a dynamically deployed pre-filter
US9944295B2 (en) 2015-11-27 2018-04-17 Bragi GmbH Vehicle with wearable for identifying role of one or more users and adjustment of user settings
US10104460B2 (en) 2015-11-27 2018-10-16 Bragi GmbH Vehicle with interaction between entertainment systems and wearable devices
US10099636B2 (en) * 2015-11-27 2018-10-16 Bragi GmbH System and method for determining a user role and user settings associated with a vehicle
US9886621B2 (en) * 2016-05-11 2018-02-06 Microsoft Technology Licensing, Llc Segmenting scenes into sematic components using neurological readings
US11272288B1 (en) * 2018-07-19 2022-03-08 Scaeva Technologies, Inc. System and method for selective activation of an audio reproduction device
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057280A1 (en) * 2000-11-24 2002-05-16 Mahoro Anabuki Mixed reality presentation apparatus and control method thereof
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
WO2012003844A1 (en) * 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356777B2 (en) * 2005-01-26 2008-04-08 Attenex Corporation System and method for providing a dynamic user interface for a dense three-dimensional scene
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8866852B2 (en) 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057280A1 (en) * 2000-11-24 2002-05-16 Mahoro Anabuki Mixed reality presentation apparatus and control method thereof
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
WO2012003844A1 (en) * 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAPHAEL GRASSET 等: "Image-Driven View Management for Augmented Reality Browsers", 《IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY 2012》 *
VISUAL CLUTTER MANAGEMENT IN AUGMENTED REALITY: EFFECTS OF THREE: "Visual Clutter Management in Augmented Reality: Effects of Three Label Separation Methods on Spatial Judgments", 《IEEE SYMPOSIUM ON 3D USER INTERFACES 2009》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709940A (zh) * 2017-12-13 2020-01-17 谷歌有限责任公司 用于预测传感器测量质量的方法、系统和介质
CN110709940B (zh) * 2017-12-13 2023-12-05 谷歌有限责任公司 用于预测传感器测量质量的方法、系统和介质
CN110572573A (zh) * 2019-09-17 2019-12-13 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110572573B (zh) * 2019-09-17 2021-11-09 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
US10032277B2 (en) 2018-07-24
EP3047361A1 (en) 2016-07-27
EP3047361B1 (en) 2019-04-24
US20160210752A1 (en) 2016-07-21
CN105659200B (zh) 2019-07-23
WO2015041642A1 (en) 2015-03-26
EP3047361A4 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
CN109583285B (zh) 对象识别方法
CN104145276B (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN104885144B (zh) 混合现实显示调节
CN110555358B (zh) 用于检测和识别ar/vr场景中的特征部的方法和设备
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
US10922536B2 (en) Age classification of humans based on image depth and human pose
US20140003674A1 (en) Skin-Based User Recognition
CN106575357A (zh) 瞳孔检测
CN105339868A (zh) 基于眼睛跟踪的视觉增强
US20220414997A1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
EP2904767A2 (en) Information processing device, display control method, and program
CN105324811A (zh) 语音到文本转换
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
CN111801700B (zh) 支付过程中防止偷窥的方法及电子设备
US20210405363A1 (en) Augmented reality experiences using social distancing
US20210406542A1 (en) Augmented reality eyewear with mood sharing
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
US20240129617A1 (en) Image capture eyewear with context-based sending
CN106951077B (zh) 一种提示方法及第一电子设备
KR20140003107A (ko) 증강 현실 표현 장치 및 방법
US20230091536A1 (en) Camera Placement Guidance
US9911237B1 (en) Image processing techniques for self-captured images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant