CN109643469B - 增强现实渲染的结构化内容 - Google Patents

增强现实渲染的结构化内容 Download PDF

Info

Publication number
CN109643469B
CN109643469B CN201780053372.2A CN201780053372A CN109643469B CN 109643469 B CN109643469 B CN 109643469B CN 201780053372 A CN201780053372 A CN 201780053372A CN 109643469 B CN109643469 B CN 109643469B
Authority
CN
China
Prior art keywords
information
user
layer
layer composition
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053372.2A
Other languages
English (en)
Other versions
CN109643469A (zh
Inventor
A·梅纳德
B·G·本哈特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109643469A publication Critical patent/CN109643469A/zh
Application granted granted Critical
Publication of CN109643469B publication Critical patent/CN109643469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

系统、设备和方法可以提供一种用于对来自内容平台的非增强现实(AR)内容进行调整以适于在AR环境中显示的基于技术的方法。更具体地，系统、设备和方法可以提供一种用于基于一个或多个物理上下文或装置上下文来渲染包括经调整的非AR内容的某一部分的AR环境的方法。系统、设备和方法可以提供基于一个或多个物理上下文或装置上下文来修改在所述AR环境中渲染的所述信息的一个或多个可读性参数以提高适于AR的非AR内容的可读性。

Description

增强现实渲染的结构化内容
相关申请的交叉引用
本申请要求于2016年9月30日提交的美国非临时专利申请号15/282,443的优先权权益。
技术领域
实施例总体上涉及在增强现实(AR)环境中呈现信息。更具体地，实施例涉及一种用于通过基于一个或多个物理上下文或装置上下文设置/修改非AR内容的一个或多个可读性参数来在AR中调整/渲染非AR内容的方法。
背景技术
流行的AR装置(例如，微软全息透镜(MICROSOFT HOLOLENS)或谷歌眼镜(GOOGLEGLASS))使用看穿或“平视”显示器用图形用户界面(GUI)在视觉上呈现信息以便直接将内容数字地投射在用户前面或者将所述内容置于物理表面(如桌子或墙壁)上。AR内容频繁使用AR指定的修改并且通常受限于通用或固定形式的外观。例如，AR照片查看器可以保持照片不透明并且在看穿或平视显示器的透明层的顶部上。无论环境如何，当前AR装置通常保存非AR内容(例如，不透明照片和文本，如网站或移动web应用程序的内容)的外观，从而使得非AR内容损害/阻挡用户的视野(例如，当用户尝试关于环境移动时)。当AR装置尝试渲染来自如web浏览器等内容平台的非AR内容时有问题的情况发生，所述内容平台被设计成在用背景/表面(例如，不透明白色)渲染非AR内容(例如，视频、文本、图像)的台式计算机或移动计算装置上显示。
附图说明
通过阅读以下说明书和所附权利要求书，并且通过参考以下附图，实施例的各种优点对于本领域技术人员将变得显而易见，在附图中：
图1是根据实施例的增强现实(AR)结构化内容渲染器(SCR)系统配置的示例的图示；
图2是根据实施例的AR SCR系统的示例的框图；
图3是根据实施例的一种产生层合成(layer composite)的方法的示例的流程图；
图4A是根据实施例的非AR内容的示例的框图；
图4B是根据实施例的适于AR环境的非AR内容的示例的框图；
图5A和图5B是根据一个或多个实施例的根据物理环境中的照明在AR环境中对非AR内容的渲染的示例的框图；
图6是根据实施例的处理器的示例的框图；并且
图7是根据实施例的计算系统的示例的框图。
具体实施方式
现在转到图1，是增强现实(AR)结构化内容渲染器(SCR)系统配置100的示例的图示。AR SCR系统配置100包括AR SCR系统102，所述AR SCR系统可以包括从一个或多个内容平台106接收和/或检索内容(例如，信息，包括AR内容和/或非AR内容104)以及从一个或多个传感器108接收和/或检索传感器测量结果。
AR SCR系统102可以与由一个或多个用户持有、穿戴和/或操作的一个或多个AR装置110通信。持有、穿戴和/或持有AR装置110(例如，护目镜或透明板)的用户可以快速浏览在用户的视野内渲染的且定位在离用户某个可配置距离的网站，同时传感器108记录一个或多个环境因素(例如，物理条件/活动)。环境因素可以包括一个或多个用户或对象的运动，例如，穿戴AR装置(例如，护目镜)同时操作无人机(例如，陆地的、空中的、水上的)的由一个或多个传感器记录(例如，在AR装置、无人机或一些其他位置或装置上/中)的用户。为了防止内容阻挡用户对周围环境的可见性，可以基于一个或多个环境因素(例如，移动、速度、光照、噪音、位置、朝向等)调整可读性参数(例如，内容不透明度/半透明度)。
例如，AR SCR系统102可以有区别地基于执行活动(例如，步行、跑步)的用户或由用户操作的导航物理环境的无人机的速率修改一个或多个可读性参数。在另一个示例中，AR SCR系统102可以调整非AR内容来阻止以一个或多个用户和/或对象的高于或低于速率阈值或值范围的速率渲染在层合成中弹出的浏览器以便提高可读性。用户控件可以允许用户覆盖由AR SCR系统102修改的一个或多个可读性参数的值。AR SCR系统102可以基于一个或多个可读性参数在粒度级别(例如，在每像素或半像素基础上)修改在层合成中渲染的信息，包括除了内容的形状和/或大小之外还修改内部内容的外观。
第三方112可以基于由传感器记录的用户简档或环境因素(包括用户的位置和用户的活动)中的一项或多项提供一个或多个AR模型、图像识别模型、场景启发和/或内容(例如，AR内容和非AR内容)。AR SCR系统102可以经由网络114(例如，互联网)与AR SCR系统配置100的各个部件通信。
AR SCR系统102可以使如web浏览器等内容平台106调整非AR内容104以适于AR。ARSCR系统102可以基于由传感器108记录的物理环境和/或环境因素(例如，对象和表面的纹理和颜色以及到所述对象和表面的距离、环境光)连续修改层合成116渲染的(例如，投射的)内容118外观和用户控件。
例如，在一个实施例中，当用户进入微弱光照房间时或者当信息在深色表面上渲染时，布局控制器可以修改一个或多个可读性参数，所述可读性参数包括在层合成中渲染的信息布局路径、风格、字体大小、颜色、形式、形状或不透明度，以便提高信息的可读性。ARSCR系统102可以基于环境因素、用户的简档或可读性阈值中的一项或多项生成和评估可读性参数设置的一个或多个排列。AR SCR系统102可以基于一个或多个用户反馈(例如，对用户控件的调整)、用户的简档或由AR SCR系统102和/或AR SCR系统102的另一个部件或子系统进行的传感器测试来训练和/或设置可读性参数和/或可读性阈值。
图2是根据实施例的AR SCR系统200的示例的框图。可能容易被已经讨论的系统102(图1)代替的AR SCR系统200可以包括处理器202、通信接口204和耦合至处理器202的存储器206。处理器202运行操作系统(OS)208。存储器206可以在处理器202的外部(例如，外部存储器)，和/或可以通过例如存储器总线耦合至处理器202。另外，存储器206可以实施为主存储器。存储器206可以包括例如易失性存储器、非易失性存储器等等，或者其组合。例如，存储器206可以包括被配置为一个或多个存储器模块(如例如，双列直插式存储器模块(DIMM)、小外廓DIMM(SODIMM)等)的动态随机存取存储器(DRAM)、只读存储器(ROM)(例如，可编程只读存储器(PROM)、可擦除PROM(EPROM)、电EPROM(EEPROM)等)、相变存储器(PCM)等等，或其组合。存储器206可以包括存储器单元阵列，所述存储器单元按行和列布置并被分隔为可独立寻址的存储位置。处理器202和/或操作系统208可以使用辅助存储器存储装置210与存储器206来提高AR SCR系统200的性能、能力和灵活性。
AR SCR系统200可以包括核212a、212b，所述核可以执行一条或多条指令，如读取指令、写入指令、擦除指令、移动指令、算术指令、控制指令等等，或其组合。核212a、212b可以例如执行一条或多条指令，从而：将数据(例如，程序数据、操作代码、操作数等)在高速缓存214或寄存器(未示出)与存储器206和/或辅助存储器存储装置210之间移动，从存储器206读取数据，将数据写入存储器206，使用数据执行算术运算(例如，加、减、逐位运算、比较等)，执行与数据相关联的控制操作(例如，分支等)等等，或其组合。指令可以包括任何代码表示，如例如，二进制代码、八进制代码和/或十六进制代码(例如，机器语言)、符号代码(例如，汇编语言)、十进制代码、字母数字代码、高级编程语言代码等等，或其组合。因此，例如，十六进制代码可以用于表示x86指令集的操作代码(例如，操作码)，所述操作代码包括用于加法运算的字节值“00”、用于移动运算的字节值“8B”、用于增量/减量运算的字节值“FF”等等。
AR SCR系统200可以包括用于在AR SCR系统200的各个部件和/或子系统之间协调处理的逻辑216。AR SCR系统200可以包括一个或多个传感器218、布局控制器220和上下文管理器222。
传感器218可以记录物理环境的一个或多个环境因素224，所述环境因素包括一个或多个用户或对象的动作作为传感器测量结果226(例如，传感器数据)。传感器218可以包括化学传感器、加速度计、视觉传感器(例如，深度传感器、距离传感器、相机传感器、光学传感器)、红外传感器、压力传感器、热传感器、全球定位系统(GPS)定位传感器或惯性运动传感器中的一项或多项，其中所述一个或多个传感器用于记录包括视觉、音频、运动、触觉、嗅觉、化学、大气压力或热数据中的一项或多项的环境因素(例如，传感数据)。
AR SCR系统200可以包括一个或多个用户界面228，所述用户界面包括用于显示/查看层合成232的一个或多个图形显示器231，所述层合成包括对信息在一个或多个AR环境中的渲染234以及用户控件236。AR SCR系统200可以将非AR内容用户控件(例如，由如web浏览器等非AR内容平台呈现的按钮)转换/调整为凝视控件或音频控件，以便导航在层合成中渲染的信息/内容。用户控件236可以允许用户覆盖AR SCR系统200设置和/或修改的一个或多个可读性参数的值，并设置和/或修改用户可读性阈值偏好。AR SCR系统200可以包括一个或多个致动器(未示出)，所述致动器用于调整、扭转和/或倾斜一个或多个用户界面228或图形显示器231，以便提高基于一个或多个物理上下文或装置上下文在层合成232中渲染的信息的可读性。
上下文管理器222可以从所述一个或多个环境因素224中标识一个或多个物理上下文238或装置上下文240。上下文管理器222可以将上下文特定输入转换为理想的渲染和布局路径，以供在AR中渲染信息时使用。环境因素224可以包括例如运动、视觉元素和图案或由传感器218记录的视觉、音频、触觉、嗅觉或热特征、化学品或大气压力中的一项或多项确定的环境。环境因素224可以通过名称、颜色、尺寸、声音特性、无线电标识符、运动、触觉、嗅觉、化学或热特征、用户和/或对象中的一项或多项的特定姿势的特性来标识一个或多个位置/环境(例如，厨房、实验室、工作空间、飞行路径、灾难现场)、用户或对象。装置上下文240可以包括用户的凝视、用户的姿势或AR装置或传感器中的一个或多个的朝向中的一项或多项。物理上下文238可以包括所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音中的一项或多项。
AR SCR系统200可以包括图像识别管理器230，所述图像识别管理器识别用户、对象、表面、环境因素和/或由传感器218在环境中记录的由一个或多个用户或对象执行的活动。图像识别管理器230可以包括和/或使用一个或多个识别算法和具有识别规则的识别模型来识别一个或多个用户、对象、表面、环境因素和/或由一个或多个用户或对象执行的活动。
在一个实施例中，AR SCR系统200可以包括执行对跟踪对象的标记和“无标记”跟踪的子系统(例如，使用增强现实软件开发工具包SDK实现的)。AR SCR系统可以包括对象识别和跟踪部件，以及用于语音识别、基于运动感测的姿势识别、基于运动感测的接近度检测、簧片开关和/或NFC(近场通信)跟踪的跟踪算法。
布局控制器220可以产生层合成232，所述层合成包括基于物理上下文238或装置上下文240中的所述一个或多个对AR环境242的渲染，所述AR环境包括在布局路径244中渲染的信息(例如，适于AR的非AR内容)。
布局控制器220和/或上下文管理器222可以在层合成的可配置粒度级别(例如，在每像素或半像素基础上)修改在层合成232中渲染的信息的一个或多个可读性参数246以便提高基于一个或多个环境因素的信息的可读性，所述可读性参数包括布局路径244、字体大小、颜色、形式、形状或不透明度。
AR SCR系统200可以基于物理上下文238、装置上下文240、用户反馈(例如，对用户控件236的调整)或由传感器218中的一个或多个执行的可读性测试动态地修改用作可读性参数246的参数，以及可读性参数246的阈值和/或值范围。AR SCR系统200还可以包括音频识别系统(未示出)，所述音频识别系统用于接收对用户控件236的用户调整，以查看层合成232。布局控制器220可以将信息渲染到在层合成232中渲染的一个或多个对象或表面上以提高信息的可读性。
AR SCR系统200可以从内容平台(例如，web浏览器，未示出)接收在层合成232中渲染的信息。来自内容平台的非AR内容可以包括HTML(超文本标记语言)、CSS(层叠样式表)或JAVASCRIPT中的一项或多项，以在非AR环境中渲染非AR内容。所述信息可以标识被内容平台(例如，web浏览器)用来呈现根层、滚动框层或文本框层中的一项或多项中的非AR内容的根层信息248、滚动框层信息250或文本框层信息252中的一项或多项。布局控制器220可以渲染根层信息248、滚动框层信息250或文本框层信息252、以及层合成232中的AR环境中的一项或多项。
AR SCR系统200可以进一步从传感器测量结果226中生成视觉热图254(例如，和/或一个或多个视觉兴趣指示符)，以标识一个或多个对象或表面从而进行分析，以供在一个或多个布局路径244中使用。视觉热图254可以标识传感器218记录的一个或多个对象或表面，以基于上下文管理器222可以标识的一个或多个物理上下文或装置上下文进行分析。
AR SCR系统200和/或上下文管理器222可以使用标识一个或多个活动(例如，由环境中被传感器记录的一个或多个用户或对象执行)或确定的环境因素的场景启发256来标识一个或多个特定物理上下文238、装置上下文240或可读性阈值和/或范围，以用于渲染层合成。例如，当厨房(例如，位置)中从事烹饪(例如，体力活动)的用户与AR装置通信以从内容平台(例如，网站)呈现食谱(例如，非AR内容)时，基于食谱在AR中的投射位置，接收到的内容可能不可读。AR SCR系统200可以计算内容(例如，网页)可以投射的距离(例如，AR中的虚拟距离)(例如，相对于AR装置的用户/穿戴者的眼睛)，并且web浏览器(例如，web引擎)和/或AR SCR系统200可以在不阻挡用户在AR装置中的视野的情况下在保存(例如，食谱的)文本的同时调整所述内容的比例因子。
AR SCR系统200可以提供多个训练模式以提高在AR环境中渲染的信息的可读性，所述多个训练模式包括显性训练模式和被动训练模式。在显性训练期间，用户可以提供将执行训练的一些指示，这些指示可以是经由言语或姿势前缀，或者通过言语句子结构的。在被动训练期间，AR SCR系统200可以观察操作并且尝试基于观察到的操作建立规则。在混合训练期间，AR SCR系统200可以响应地提示用户显性地训练AR SCR系统200、上下文管理器222和/或AR SCR系统200的任何其他部件。然后AR SCR系统200可以经由传感器观察各种环境因素并且尝试建立附加规则以提高识别精度。AR SCR系统200可以利用由一个或多个用户创建的识别规则(例如，众包)。AR SCR系统200可以利用在例如显性训练期间由一个或多个用户创建(例如，生成)的规则来提高识别精度或/和缩短训练时间。AR SCR系统200可以利用由一个或多个用户创建(例如，生成)的规则来预测/猜测当前用户的意图(例如，启发场景)。
图3示出了根据实施例的产生层合成的方法300的示例。所述方法300可以被实施为逻辑指令集中的模块或相关部件，所述逻辑指令集存储在如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等的非暂态机器或计算机可读存储介质中，在如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的可配置逻辑中，在使用如例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术电路技术的固定功能硬件逻辑中，或其任何组合。例如，用于执行方法400中所示出的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包括如JAVA、SMALLTALK、C++等面向对象的编程语言以及如“C”编程语言或类似的编程语言等常规过程编程语言。
所展示的处理框302提供使用一个或多个传感器记录物理环境的一个或多个环境因素(例如，移动、速度、光照、噪音、位置、朝向等)。环境因素可以由定位在一个或多个AR装置上和/或物理环境中的传感器记录。根据要记录的所述一个或多个环境因素，可以单独、同时或在不同的时间记录环境因素。
所展示的处理框304提供使用上下文管理器从环境因素中标识一个或多个物理上下文或装置上下文。上下文管理器可以基于一个或多个用户反馈、简档和/或环境因素设置适于AR的非AR内容的可读性参数。
上下文管理器和/或图像识别管理器可以以一种或多种模态建立和/或训练一个或多个识别模型，以标识一个或多个物理上下文或装置上下文。所述模态可以包括运动、视觉元素和图案，或由视觉、音频、触觉、味觉或热特征、化学品、压力、对象的无线电标识符(ID)、或包括RFID(射频标识符)、近场通信(NFC)、蓝牙、WiFi、频率和无线电图案、信号强度或电容的无线电存在中的一项或多项确定的环境。上下文管理器和/或图像识别管理器可以通过基于从跨一个或多个模态的传感器数据中标识的一个或多个物理上下文或装置上下文之间的所述一个或多个匹配和/或相关性的数量和质量创建一个或多个识别规则来建立识别模型。上下文管理器和/或图像识别管理器可以通过结合一个或多个已完成或部分完成的识别模型的一个或多个部件来创建新的识别模型。新的识别模型也可以由一个或多个第三方提供，以改进产生层合成的循环时间和适于AR的非AR内容的可读性。
所展示的处理框306提供AR SCR系统从内容平台(例如，web浏览器)接收和/或检索信息。在一个实施例中，可以使用AR SCR系统逻辑实施内容平台，以响应地将非AR内容转换/调整为AR。从一个或多个内容平台接收和/或检索的信息可以基于一个或多个用户反馈、简档和/或环境因素。
所展示的处理框308提供使用布局控制器产生用于在一个或多个AR装置内/上显示的一个或多个层合成。层合成可以基于一个或多个用户反馈、简档和/或环境因素使用上下文管理器标识的可读性参数设置而产生。层合成渲染投射到物理环境中的一个或多个表面和/或对象上的可被一个或多个用户使用AR装置查看的信息。由传感器记录的物理环境可以用作层合成的默认背景，使用所述默认背景来比较和/或分析例如层合成的前景中待渲染的信息，以便提高信息的可读性。例如，将在AR中投射到表面和/或对象上的信息的对比(例如，在粒度级别，如每像素或半像素)外观与表面和/或对象的外观进行比较，可以修改信息的可读性参数，以提高信息的可读性(例如，信息与信息可以在AR中投射/渲染到的表面和/或对象之间的视觉对比)。
所展示的处理框310提供判定可读性参数设置是否满足一个或多个可读性阈值(例如，值和/或值范围)。可以基于用户反馈(例如，用户凝视或姿势、音频控件)和/或传感器测量结果在一个或多个粒度级别(例如，像素或半像素)评估在层合成中渲染的信息的可读性。
所展示的处理框312提供当可读性参数满足可读性阈值时，显示所述层合成。层合成可以在一个或多个AR装置上显示，以使用适于AR的非AR内容增强物理环境。持有和/或佩戴AR装置和/或操作无人机的用户可以导航物理环境，在所述物理环境中，传感器在物理环境被导航时记录环境因素的动态变化。当物理环境被导航时，可以响应于记录的环境因素的变化连续地评估可读性参数。例如，从明亮位置导航到昏暗位置或从昏暗位置导航到明亮位置，可以设置/修改信息的可读性参数来提高AR中信息的可读性，如在可配置粒度级别(例如，像素或半像素)下使信息的颜色变暗或变亮。
当一个或多个可读性参数不满足一个或多个可读性阈值时，所展示的处理框314提供修改在层合成中渲染的信息的外观。可以基于用户反馈和/或传感器测量结果在一个或多个粒度级别(例如，像素或半像素)修改在层合成中渲染的信息。
当一个或多个可读性参数不满足一个或多个可读性阈值时，所展示的处理框316提供修改层合成中的用户控件的外观。可以基于用户反馈和/或传感器测量结果在一个或多个粒度级别(例如，像素或半像素)基于一个或多个可读性参数修改在层合成中渲染的用户控件。
所展示的处理框318提供从一个或多个用户或传感器接收输入和/或反馈，以修改在层合成中渲染的信息的一个或多个可读性参数。用户可以使用凝视、姿势和/或AR装置的音频控件来修改一个或多个可读性参数。对在AR中渲染的信息的可读性的一个或多个测试结果(例如，由一个或多个传感器执行)可以用于修改一个或多个可读性参数。
图4A是根据实施例的非AR内容的示例的框图400，展示了内容平台(例如，web浏览器)可以用台式计算机或移动装置布局和渲染的非AR内容层。非AR内容可以包括由内容平台(例如，web浏览器)用来呈现非AR内容(例如，信息)的根层402、滚动框层404或文本框层406中的一项或多项。内容平台(例如，web浏览器)可以渲染根层402、滚动框层404或文本框层406中的一项或多项的不透明背景，从而使得当在AR装置用户界面(例如，显示器)的视野中查看时，环境中的一个或多个表面或对象408、410从视图看被遮挡(例如，阻挡)。
图4B是根据实施例的适于AR环境的非AR内容的示例的框图412。AR SCR系统可以产生在AR装置用户界面上/中渲染的被称为“空间上认知的内容”的层合成，所述层合成调整根层信息、滚动框层信息和文本框层信息以适于AR。例如，AR SCR系统可以将来自根层414、滚动框层416或文本框层418中的一项或多项的信息(例如，非AR内容)与物理背景环境表面和/或对象420、422、424混合(例如，降低或消除不透明度)。AR SCR系统可以通过修改信息的可读性参数来调整根层信息、滚动框层信息和文本框层信息以适于AR。例如，AR SCR系统可以修改信息的可读性参数(例如，风格)，同时确保某些前景内容(例如，信息的某一部分)针对所述一个或多个表面或对象仍然可见。包含内容(例如，视频)的层可以通过如用户凝视和/或聚焦等AR输入控制并且可以在例如内容(例如，信息)与在用户的视野或位置中记录的一个或多个环境因素不相关时自动暂停对内容(例如，视频)的回放。
图5A是根据实施例的根据物理环境中的照明在AR环境中对非AR内容的渲染的示例的框图500。例如，当AR装置502(例如，全息透镜)的用户尝试读取渲染/投射在用户视野内的一个或多个表面、对象或墙壁上的非AR内容(例如，网站)时，AR SCR系统可以计算和使用距离，在所述距离内，内容504将被投射到环境中的表面和/或对象的形状上，以便修改内容的可读性参数(例如，颜色、不透明度、字体大小、形式、形状、风格或布局)和/或确定所投射的表面和/或对象的形状，以用于显示内容从而提高内容504的可读性。
图5B是根据实施例的根据物理环境中的照明在AR环境中对非AR内容的渲染的另一个示例的框图506。例如，AR SCR系统可以响应地生成内容508的布局和外观，从而使得内容508可以在弱光下可读和/或放置在一个或多个深色或浅色表面或对象上。AR SCR系统可以由于环境中的低可见度而提供用于提高在深色背景510上渲染的内容508的可读性的“夜间模式”可读性阈值和/或范围。
图6是根据一个实施例的处理器核602的示例的框图600。处理器核602可以是用于任何类型的处理器(如微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器或用于执行代码的其他装置)的核。尽管图6中展示了仅一个处理器核602，但处理元件可以替代地包括多于一个图6中所展示的处理器核602。处理器核602可以是单线程核，或者对于至少一个实施例来说，处理器核602可以是多线程的，因为其可能包括每个核多于一个硬件线程上下文(或“逻辑处理器”)。
图6还展示了耦合至处理器核602的存储器607。存储器607可以是如本领域技术人员已知的或以其他方式可获得的多种多样的存储器(包括存储器层次结构的不同层)中的任何存储器。存储器670可以包括待由处理器核600执行的一个或多个代码613指令，其中，代码613可以实施已经讨论的方法300(图3)。处理器核602遵循由代码613指示的指令程序序列。每个指令都可以进入前端部分610并且可以由一个或多个解码器620处理。解码器620可以生成呈预定义格式的微操作(如固定宽度微操作)作为其输出，或者可以生成反映出原始码指令的其他指令、微指令、或控制信号。所展示的前端部分610还包括寄存器重命名逻辑625和调度逻辑630，它们总体上分配资源并且将对应于用于执行的转换指令的操作进行排队。
处理器核602被示出为包括具有一组执行单元655-1至655-N的执行逻辑650。一些实施例可以包括专用于指定功能或功能集合的大量执行单元。其他实施例可以包括仅一个执行单元、或可以执行特定功能的一个执行单元。所展示的执行逻辑650执行由码指令指定的操作。
在完成由码指令指定的操作的执行之后，后端逻辑660使代码613的指令引退。在一个实施例中，处理器核600允许指令的无序执行但要求指令的有序引退。引退逻辑665可以采取本领域技术人员已知的多种形式(例如，重排序缓冲器等)。以此方式，在代码613的执行过程中，至少就由解码器、寄存器重命名逻辑625所利用的硬件寄存器和表、以及由执行逻辑650修改的任何寄存器(未示出)生成的输出而言，处理器核602被变换。
尽管图6中未展示，但处理元件可以包括与处理器核602一起在芯片上的其他元件。例如，处理元件可以包括存储器控制逻辑连同处理器核602。处理元件可以包括I/O控制逻辑和/或可以包括与存储器控制逻辑集成的I/O控制逻辑。处理元件还可以包括一个或多个高速缓存。
现在参照图7，所示出的是根据实施例的计算系统1000实施例的框图。图7中所示出的是包括第一处理元件1070和第二处理元件1080的多处理器系统1000。虽然示出了两个处理元件1070和1080，但应当理解的是，系统1000的实施例还可以包括仅一个此类的处理元件。
系统1000被展示为点对点互连系统，其中，第一处理元件1070和第二处理元件1080经由点对点互连1050耦合。应当理解的是，图7所展示的任何或所有互连可以被实施为多点分支总线而非点对点互连。
如图7所示，处理元件1070和1080中的每一个都可以是多核处理器，所述多核处理器包括第一和第二处理器核(即，处理器核1074a与1074b以及处理器核1084a与1084b)。此类核1074a、1074b、1084a、1084b可以被配置用于以与以上关于图6讨论的方式类似的方式执行指令代码。
每个处理元件1070、1080可以包括至少一个共享高速缓存1896a、1896b。共享高速缓存1896a、1896b可以存储分别由处理器的一个或多个部件(如核1074a、1074b和1084a、1084b)使用的数据(例如，指令)。例如，共享高速缓存1896a、1896b可以本地高速缓存存储在存储器1032、1034中的数据，以便由处理器的部件更快地访问。在一个或多个实施例中，共享高速缓存1896a、1896b可以包括一个或多个中级高速缓存，如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存、最后一级高速缓存(LLC)、和/或其组合。
虽然仅以两个处理元件1070、1080来示出，但应理解实施例的范围不限于此。在其他实施例中，给定处理器中可以存在一个或多个另外的处理元件。或者，处理元件1070、1080中的一个或多个可以是不同于处理器的元件，如加速器或现场可编程门阵列。例如，(多个)另外的处理元件可以包括与第一处理器1070相同的(多个)另外的处理器、与第一处理器1070异构或不对称的(多个)另外的处理器、加速器(如例如图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列、或任何其他处理元件。就一系列品质量度(包括体系结构、微体系结构、热、功耗特性等)而言，处理元件1070、1080之间存在多种差异。这些差异可以有效地将其本身表现为处理元件1070、1080之间的不对称性和异构性。对于至少一个实施例，各种处理元件1070、1080可以驻留在相同的管芯封装中。
第一处理元件1070可以进一步包括存储器控制器逻辑(MC)1072以及点对点(P-P)接口1076和1078。类似地，第二处理元件1080可以包括MC 1082以及P-P接口1086和1088。如图7所示，MC的1072和1082将处理器耦合到对应存储器，即存储器1032和存储器1034，它们可以是本地附接到对应处理器的主存储器的部分。虽然MC 1072和1082被展示为集成到处理元件1070、1080中，但对于替代性实施例，MC逻辑可以是位于处理元件1070、1080外部而不是集成在其中的离散逻辑。
第一处理元件1070和第二处理元件1080可以对应地经由P-P互连件1076、1086耦合至I/O子系统1090。如图7所示，I/O子系统1090包括P-P接口1094和1098。而且，I/O子系统1090包括接口1092以便将I/O子系统1090与高性能图形引擎1038耦合。在一个实施例中，总线1049可以用于将图形引擎1038耦合至I/O子系统1090。可替代地，点对点互连可以耦合这些部件。
进而，I/O子系统1090可以经由接口1096耦合至第一总线1016。在一个实施例中，第一总线1016可以是外围部件互连(PCI)总线，或如PCI快速总线或另一种第三代I/O互连总线的总线，尽管实施例的范围不限于此。
如图7所示，各种I/O装置1014(例如，扬声器、相机、传感器)可连同总线桥接器1018一起耦合至第一总线1016，所述总线桥接器可以将第一总线1016耦合至第二总线1020。在一个实施例中，第二总线1020可以是低引脚数(LPC)总线。在一个实施例中，各个装置可以耦合至第二总线1020，所述装置包括例如键盘/鼠标1012、(多个)通信装置1026、以及数据存储单元1019(如磁盘驱动器或者其他可以包括代码1030的大容量存储装置)。所展示的代码1030可以实施已经讨论的方法300(图3)，并且可以类似于已经讨论的代码613(图6)。进一步地，音频I/O 1024可以耦合至第二总线1020，并且电池1010可以向计算系统1000供电。
注意的是，考虑到了其他实施例。例如，系统可以实施多点分支总线或另一个这种通信拓扑，而不是图7的点对点体系结构。而且，可以替代地使用相比于图7中所示更多或更少的集成芯片来分隔图7中的元件。
附加说明和示例：
示例1可以包括一种增强现实(AR)结构化内容渲染器(SCR)设备，所述设备包括：一个或多个传感器，用于记录物理环境的一个或多个环境因素；上下文管理器，用于从所述一个或多个环境因素中标识物理上下文或装置上下文中的一项或多项，以及布局控制器，用于产生层合成，所述层合成包括基于所述物理上下文或所述装置上下文中的所述一个或多个对增强现实(AR)环境的渲染，所述AR环境包括在布局路径中渲染的信息。
示例2可以包括如示例1所述的设备，其中，所述布局控制器用于修改在所述层合成中渲染的所述信息的一个或多个可读性参数以提高所述信息的可读性，所述可读性参数包括所述布局路径、字体大小、颜色、形式、形状或不透明度。
示例3可以包括如示例2所述的设备，其中，所述布局控制器用于将所述信息渲染到在所述层合成中渲染的一个或多个对象或表面上以提高在所述层合成中渲染的所述信息的可读性。
示例4可以包括如示例3所述的设备，其中，所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一项或多项。
示例5可以包括如示例4所述的设备，其中，所述物理上下文包括所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音中的一项或多项。
示例6可以包括如示例1所述的设备，进一步包括用户界面，所述用户界面用于向用户显示所述层合成并且接收用户输入。
示例7可以包括如示例6所述的设备，其中，所述层合成包括用于查看所述层合成的用户控件。
示例8可以包括如示例1所述的设备，其中，所述信息是从内容平台接收的，其中，所述内容平台是web浏览器，并且其中，所述信息用于标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一项或多项。
示例9可以包括如示例1至8中任一项所述的设备，其中，所述布局控制器用于渲染所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述层合成中的所述AR环境中的一项或多项。
示例10可以包括一种渲染增强现实(AR)结构化内容的方法，所述方法包括：使用一个或多个传感器记录物理环境的一个或多个环境因素；使用上下文管理器从所述一个或多个环境因素中标识物理上下文或装置上下文中的一项或多项；以及使用布局控制器产生层合成，所述层合成包括基于所述物理上下文或所述装置上下文中的所述一个或多个对增强现实(AR)环境的渲染，所述AR环境包括布局路径中的信息。
示例11可以包括如示例10所述的方法，进一步包括：修改在所述层合成中渲染的所述信息的一个或多个可读性参数以提高所述信息的可读性，所述可读性参数包括所述布局路径、字体大小、颜色、形式、形状或不透明度。
示例12可以包括如示例10所述的方法，其中，所述信息被渲染到在所述层合成中渲染的一个或多个对象或表面上以提高在所述层合成中渲染的所述信息的可读性。
示例13可以包括如示例12所述的方法，其中，从所述一个或多个环境因素中标识的所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一项或多项。
示例14可以包括如示例13所述的方法，其中，从所述一个或多个环境因素中标识的所述物理上下文包括所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音中的一项或多项。
示例15可以包括如示例10所述的方法，其中，所述层合成包括用于查看所述层合成的用户控件。
示例16可以包括如示例10所述的方法，进一步包括从内容平台接收所述信息，其中，所述内容平台是web浏览器，并且其中，所述信息标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一项或多项。
示例17可以包括如示例16所述的方法，其中，所述层合成包括对所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述AR环境中的一项或多项的渲染。
示例18可以包括至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括指令集，所述指令当被计算装置执行时使所述计算装置：使用一个或多个传感器记录物理环境的一个或多个环境因素；使用上下文管理器从所述一个或多个环境因素中标识物理上下文或装置上下文中的一项或多项；并且使用布局控制器产生层合成，所述层合成包括基于所述物理上下文或所述装置上下文中的所述一个或多个对增强现实(AR)环境的渲染，所述AR环境包括布局路径中的信息。
示例19可以包括如示例10至18中任一项所述的至少一种计算机可读存储介质，其中，所述指令当被执行时使计算装置：修改在所述层合成中渲染的所述信息的一个或多个可读性参数以提高所述信息的可读性，所述可读性参数包括所述布局路径、字体大小、颜色、形式、形状或不透明度。
示例20可以包括如示例18所述的至少一种计算机可读存储介质，其中，所述信息被渲染到在所述层合成中渲染的一个或多个对象或表面上以提高在所述层合成中渲染的所述信息的可读性。
示例21可以包括如示例20所述的至少一种计算机可读存储介质，其中，待从所述一个或多个环境因素中标识的所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一项或多项。
示例22可以包括如示例21所述的至少一种计算机可读存储介质，其中，待从所述一个或多个环境因素中标识的所述物理上下文包括所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音中的一项或多项。
示例23可以包括如示例18所述的至少一种计算机可读存储介质，其中，所述层合成包括用于查看所述层合成的用户控件。
示例24可以包括如示例18所述的至少一种计算机可读存储介质，其中，所述指令当被执行时使计算装置从内容平台接收所述信息，其中，所述内容平台是web浏览器，并且其中，所述信息用于标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一项或多项。
示例25可以包括如示例18至24中任一项所述的至少一种计算机可读存储介质，其中，所述层合成包括对所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述AR环境中的一项或多项的渲染。
示例26可以包括一种增强现实(AR)结构化内容渲染器(SCR)设备，所述设备包括：用于使用一个或多个传感器记录物理环境的一个或多个环境因素的装置；用于使用上下文管理器从所述一个或多个环境因素中标识物理上下文或装置上下文中的一项或多项的装置；以及用于使用布局控制器产生层合成的装置，所述层合成包括基于所述物理上下文或所述装置上下文中的所述一个或多个对AR环境的渲染，所述AR环境包括布局路径中的信息。
示例27可以包括如示例26所述的设备，进一步包括用于修改在所述层合成中渲染的所述信息的一个或多个可读性参数以提高所述信息的可读性的装置，所述可读性参数包括所述布局路径、字体大小、颜色、形式、形状或不透明度。
示例28可以包括如示例26所述的设备，其中，所述信息被渲染到在所述层合成中渲染的一个或多个对象或表面上以提高在所述层合成中渲染的所述信息的可读性。
示例29可以包括如示例28所述的设备，其中，从所述一个或多个环境因素中标识的所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一项或多项，并且其中，从所述一个或多个环境因素中标识的所述物理上下文包括所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音中的一项或多项。
示例30可以包括如示例26至29中任一项所述的设备，进一步包括用于从内容平台接收所述信息的装置，其中，所述内容平台是web浏览器，其中所述信息标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一项或多项，并且其中，所述层合成包括对所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述AR环境中的一项或多项的渲染。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于：处理器、控制器、芯片组部件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、片上系统(SoC)、SSD/NAND控制器ASIC等。另外，在一些附图中，利用线条表示信号导线。一些线条可以是不同的以指示更多组成的信号路径，具有数字标记以指示组成的信号路径的编号和/或在一端或多端具有箭头以指示主要信息流方向。然而，这不应当以限制的方式进行解释。相反，可结合一个或多个示例性实施例来使用这种附加细节，以便于更容易理解电路。不管是否具有附加的信息，任何所表示的信号线都可实际包括可在多个方向上行进的一个或多个信号，并且可用任何合适类型的信号方案来实施，例如用差分对实施的数字或模拟线、光纤线和/或单端线。
可能已经给出了示例大小/模型/值/范围，尽管实施例不限于此。随着制造技术(例如，光刻)随时间推移而成熟，预计可以制造出更小尺寸的器件。另外，为了简化图示和讨论以及为了不使实施例的某些方面不清晰，可以在图内示出或不示出到IC芯片和其他组件的众所周知的功率/接地连接。此外，安排可以以框图的形式示出，以避免模糊实施例，并且还鉴于以下事实：关于完成这样的框图安排的实施方式的细节高度依赖于在其中实施实施例的计算系统，即，这样的细节应当完全处在本领域技术人员的视界中。在陈述了特定的细节(例如，电路)以便描述示例性实施例的情况下，本领域技术人员应显而易见的是，可以在没有这些特定细节或具有这些特定细节的变型的情况下实践实施例。因此，本说明书将被视为说明性的而非限制性的。
此处使用的术语“耦合”是指讨论部件之间的任何类型的关系，直接的或间接的，并且可以应用于电的、机械的、流体的、光学的、电磁的、电动机械的或其他连接。此外，此处使用的术语“第一”，“第二”等只促进讨论，除非另外指明，否则其不带有特殊的时间或级别意义。
如在本申请和权利要求书中所使用的，由术语“中的一项或多项”联接的一系列项目可意指所列术语的任何组合。例如，短语“A、B或C中的一个或多个”可意指A；B；C；A和B；A和C；B和C；或A、B和C。
本领域技术人员将从以上描述中领会到，实施例的宽泛技术可以以各种形式实施。因此，虽然已经结合其特定示例描述了这些实施例，但是实施例的实际范围不应由此受限，因为其他的修改在本领域技术人员学习了附图、说明书和所附权利要求之后就将变得显而易见。

Claims (25)

1.一种增强现实(AR)结构化内容渲染器(SCR)设备，包括：
一个或多个传感器，用于记录物理环境的一个或多个环境因素，
上下文管理器，用于从所述一个或多个环境因素中标识物理上下文或装置上下文中的一个或多个，以及
布局控制器，用于产生层合成，所述层合成包括基于所述物理上下文或所述装置上下文中的一个或多个而对AR环境的渲染，所述AR环境包括在布局路径中渲染的信息，其中所述物理上下文包括运动或速度中的一个或多个，并且其中所述布局控制器基于所述运动或所述速度在粒度级别上修改一个或多个可读性参数。
2.如权利要求1所述的设备，其中，所述布局控制器用于修改在所述层合成中渲染的所述信息的一个或多个可读性参数以改进所述信息的可读性，所述可读性参数包括所述布局路径、字体大小、颜色、形状或不透明度。
3.如权利要求2所述的设备，其中，所述布局控制器用于将所述信息渲染到在所述层合成中渲染的一个或多个对象或表面上以改进在所述层合成中渲染的所述信息的可读性。
4.如权利要求3所述的设备，其中，所述装置上下文包括以下各项中的一个或多个：用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向。
5.如权利要求4所述的设备，其中，所述物理上下文包括以下各项中的一个或多个：所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音。
6.如权利要求1所述的设备，进一步包括用户界面，所述用户界面用于向用户显示所述层合成以及用于接收用户输入。
7.如权利要求6所述的设备，其中，所述层合成包括用于查看所述层合成的用户控件。
8.如权利要求1至7中任一项所述的设备，其中，所述信息将从内容平台处接收，其中，所述内容平台将是web浏览器，并且其中，所述信息用于标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一个或多个。
9.如权利要求8所述的设备，其中，所述布局控制器用于渲染以下各项中的一个或多个：所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述层合成中的所述AR环境。
10.一种渲染增强现实(AR)结构化内容的方法，包括：
使用一个或多个传感器记录物理环境的一个或多个环境因素，
使用上下文管理器从所述一个或多个环境因素中标识物理上下文或装置上下文中的一个或多个，以及
使用布局控制器产生层合成，所述层合成包括基于所述物理上下文或所述装置上下文中的所述一个或多个而对AR环境的渲染，所述AR环境包括布局路径中的信息，其中所述物理上下文包括运动或速度中的一个或多个，并且其中所述布局控制器基于所述运动或所述速度在粒度级别上修改一个或多个可读性参数。
11.如权利要求10所述的方法，进一步包括：修改在所述层合成中渲染的所述信息的一个或多个可读性参数以改进所述信息的可读性，所述可读性参数包括所述布局路径、字体大小、颜色、形状或不透明度。
12.如权利要求10所述的方法，其中，所述信息被渲染到在所述层合成中渲染的一个或多个对象或表面上以改进在所述层合成中渲染的所述信息的可读性。
13.如权利要求12所述的方法，其中，从所述一个或多个环境因素中标识的所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一个或多个。
14.如权利要求13所述的方法，其中，从所述一个或多个环境因素中标识的所述物理上下文包括以下各项中的一个或多个：所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音。
15.如权利要求10所述的方法，其中，所述层合成包括用于查看所述层合成的用户控件。
16.如权利要求10至15中任一项所述的方法，进一步包括：从内容平台接收所述信息，其中，所述内容平台将是web浏览器，并且其中，所述信息标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一个或多个。
17.如权利要求16所述的方法，其中，所述层合成包括对以下各项中的一个或多个的渲染：所述根层信息、所述滚动框层信息或所述文本框层信息、以及所述AR环境。
18.一种增强现实(AR)结构化内容渲染器(SCR)设备，包括：
用于使用一个或多个传感器记录物理环境的一个或多个环境因素的装置，
用于使用上下文管理器从所述一个或多个环境因素中标识物理上下文或装置上下文中的一个或多个的装置，以及
用于使用布局控制器产生层合成的装置，所述层合成包括基于所述物理上下文或所述装置上下文中的一个或多个而对AR环境的渲染，所述AR环境包括布局路径中的信息，其中所述物理上下文包括运动或速度中的一个或多个，并且其中所述布局控制器基于所述运动或所述速度在粒度级别上修改一个或多个可读性参数。
19.如权利要求18所述的设备，进一步包括用于修改在所述层合成中渲染的所述信息的一个或多个可读性参数以改进所述信息的可读性的装置，所述可读性参数包括所述布局路径、字体大小、颜色、形状或不透明度。
20.如权利要求18所述的设备，其中，所述信息被渲染到在所述层合成中渲染的一个或多个对象或表面上以改进在所述层合成中渲染的所述信息的可读性。
21.如权利要求20所述的设备，其中，从所述一个或多个环境因素中标识的所述装置上下文包括用户的凝视、所述用户的姿势或所述一个或多个传感器的朝向中的一个或多个。
22.如权利要求21所述的设备，其中，从所述一个或多个环境因素中标识的所述物理上下文包括以下各项中的一个或多个：所述用户或所述一个或多个对象的运动或速度、所述用户到所述一个或多个对象的距离、所述用户到一个或多个表面或位置的距离、温度、照明、表面颜色、表面纹理、非视觉信息或声音。
23.如权利要求22所述的设备，进一步包括用于从内容平台接收所述信息的装置，其中，所述内容平台将是web浏览器，并且其中，所述信息标识所述web浏览器的根层信息、滚动框层信息或文本框层信息中的一个或多个。
24.如权利要求18所述的设备，其中，所述层合成包括对以下各项中的一个或多个的渲染：根层信息、滚动框层信息或文本框层信息、以及所述AR环境。
25.一种其上存储有指令的计算机可读介质，所述指令当由计算机处理器执行时使所述处理器执行如权利要求10至17中任一项所述的方法。
CN201780053372.2A 2016-09-30 2017-08-29 增强现实渲染的结构化内容 Active CN109643469B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,443 US10008042B2 (en) 2016-09-30 2016-09-30 Augmented reality rendered structured content
US15/282,443 2016-09-30
PCT/US2017/049132 WO2018063671A1 (en) 2016-09-30 2017-08-29 Augmented reality rendered structured content

Publications (2)

Publication Number Publication Date
CN109643469A CN109643469A (zh) 2019-04-16
CN109643469B true CN109643469B (zh) 2024-03-12

Family

ID=61758803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053372.2A Active CN109643469B (zh) 2016-09-30 2017-08-29 增强现实渲染的结构化内容

Country Status (4)

Country Link
US (1) US10008042B2 (zh)
CN (1) CN109643469B (zh)
DE (1) DE112017005001T5 (zh)
WO (1) WO2018063671A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511818B2 (en) * 2017-03-29 2019-12-17 Intel Corporation Context aware projection
US11037116B2 (en) * 2017-12-29 2021-06-15 Paypal, Inc. Payment transactions using an augmented reality device
US10699123B1 (en) 2018-12-26 2020-06-30 Snap Inc. Dynamic contextual media filter
EP3687166A1 (en) * 2019-01-23 2020-07-29 Ultra-D Coöperatief U.A. Interoperable 3d image content handling
US11164367B2 (en) * 2019-07-17 2021-11-02 Google Llc Illumination effects from luminous inserted content
KR102629990B1 (ko) * 2019-12-03 2024-01-25 엘지전자 주식회사 허브 및 이를 포함하는 전자 디바이스
CN111273776A (zh) * 2020-01-20 2020-06-12 芋头科技（杭州）有限公司 不透明度控制方法、装置以及ar/mr设备、控制器和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9129429B2 (en) 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
KR20150037254A (ko) 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US9626801B2 (en) 2013-12-31 2017-04-18 Daqri, Llc Visualization of physical characteristics in augmented reality
US9659381B2 (en) 2015-01-26 2017-05-23 Daqri, Llc Real time texture mapping for augmented reality system
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US9734635B1 (en) * 2015-07-13 2017-08-15 Amazon Technologies, Inc. Environment aware color visualization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
手持增强现实系统的研究;王晓明;《电脑知识与技术》;20130425(第12期);全文 *

Also Published As

Publication number Publication date
US10008042B2 (en) 2018-06-26
CN109643469A (zh) 2019-04-16
US20180096529A1 (en) 2018-04-05
DE112017005001T5 (de) 2019-07-25
WO2018063671A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109643469B (zh) 增强现实渲染的结构化内容
US11010956B2 (en) Foveated rendering
US9697648B1 (en) Text functions in augmented reality
US20180246635A1 (en) Generating user interfaces combining foreground and background of an image with user interface elements
US11145097B2 (en) Changing view order of augmented reality objects based on user gaze
KR20190106769A (ko) 전자 장치 및 전자 장치에서 오브젝트를 디스플레이 하는 방법
US20130246954A1 (en) Approaches for highlighting active interface elements
CN104854537B (zh) 与计算设备的多距离、多模态自然用户交互
US20200118500A1 (en) Facilitating chromatic adaptation of display contents at computing devices based on chromatic monitoring of environmental light
US11595637B2 (en) Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10853647B2 (en) Environmental safety notifications in virtual, augmented, and mixed reality (xR) applications
US10795433B2 (en) Content-aware virtual reality systems and related methods
US11195323B2 (en) Managing multi-modal rendering of application content
US11373373B2 (en) Method and system for translating air writing to an augmented reality device
TWI489319B (zh) 以深度梯度爲基礎之追蹤
TW202326365A (zh) 手持裝置的追蹤
US10365816B2 (en) Media content including a perceptual property and/or a contextual property
US20220253807A1 (en) Context aware annotations for collaborative applications
CN108628437B (zh) 用户意识测程法校正技术
CN107924276B (zh) 电子设备及其文本输入方法
US20240143067A1 (en) Wearable device for executing application based on information obtained by tracking external object and method thereof
EP4343497A1 (en) Corrected gaze direction and origin
US20220343588A1 (en) Method and electronic device for selective magnification in three dimensional rendering systems
US10281977B2 (en) Virtual reality systems with human interface device emulation and related methods
JP2024073312A (ja) 制御装置、プログラム、制御方法、及び眼鏡型デバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant