CN110199525A - 用于选择场景以在增强现实界面中浏览历史记录的系统和方法 - Google Patents

Abstract

可以提供信息以供增强现实(AR)用户查看。系统可以存储由所述AR用户观看的多个场景，以及针对每一场景的标识以下内容的信息：(i)所述场景中呈现的任何关于现实对象和AR增强的配对；以及(ii)所述场景中所述用户与之交互的任何配对。所述系统还可以从存储的多个场景中选择第一场景子集，使得所述用户与之交互的每一配对在所述第一场景子集中的至少一个场景中呈现。响应于来自所述用户的查看历史AR信息的指令，所述系统可以向所述用户呈现所选择的第一场景子集。该第一子集可被选择以使得所述用户与之交互的每个配对被呈现在所述用户与所述配对交互的至少一个场景中。

Description

用于选择场景以在增强现实界面中浏览历史记录的系统和 方法

相关申请的交叉引用

本申请是以下美国临时专利申请的非临时申请并根据35U.S.C§119(e)要求其权益：2017年1月18日提交的题为“用于选择场景以在增强现实界面中浏览历史记录的系统和方法(SYSTEM AND METHOD FOR SELECTING SCENES FOR BROWSING HISTORIES INAUGMENTED REALITY INTERFACES)”的美国临时专利申请序列号62/447,632，以及2017年1月18日提交的题为“用于汇总和组织历史增强现实信息的系统和方法(SYSTEMS ANDMETHODS FOR SUMMARIZING AND ORGANIZING HISTORICAL AUGMENTED REALITYINFORMATION)”的美国临时专利申请序列号62/447,638，其每一个通过引用整体并入本文。

技术领域

本公开涉及用于增强现实的系统和方法。更具体地，本公开涉及用于增强现实的用户历史界面的系统和方法。

背景技术

当用户正在使用增强现实(AR)技术时，浏览用户已经历的AR信息的历史记录主要限于web(网络)浏览器隐喻(metaphor)。在典型的Web浏览器中，用户可以顺序地或通过查看历史视图中的可用页面的整个列表来“返回”到前一页面。可以按时间段(例如，在最后一天、一周)对所述历史记录进行分组和汇总，并且可以在网页的地址或标题中搜索关键词而搜索所述历史记录。

在AR设置中，用户可以经历一段时间，其中呈现多个场景，其中一些场景包含AR信息。每个AR信息项被呈现在用户看到的一些场景中，并且可以在用户看到的一些场景中呈现多于一个AR信息项。相同的AR信息也可以在多个不同的场景中呈现，并且用户可以在一些场景中与一些AR信息项交互，但在其他场景中不交互。

用户可能希望重新检查一些AR信息，例如因为用户希望仔细查看先前遇到的某些AR信息项。在这方面，AR信息项出现的场景有助于唤起用户的记忆。另外，如果用户在一个或多个场景中与一些AR信息项交互，则用户在其内与该项交互的场景可能更突出，因为用户与该场景中的该项的个人交互可以更好地提醒用户该AR信息项有用或无用的内容。

在一些情况中，假定在八小时时段内给出大约一千个场景，则每三十秒呈现一个AR场景。这些场景中的许多场景将包括相同的AR信息项。出于这个原因，以下将是很重要的：减少要呈现给用户的场景的数量，同时提供用户可以用来提醒先前经历的AR信息项的信息。

发明内容

本文阐述了用于提供供AR用户查看的信息的系统和方法。在一个实施例中，一种方法包括：存储由AR用户观看的多个场景；为多个场景中的每一个场景存储标识以下内容的信息：(i)该场景中呈现的关于现实对象和AR增强的配对，以及(ii)该场景中所述用户与之交互的任何配对；从存储的多个场景中选择第一场景子集，使得所述用户与之交互的每一配对在第一场景子集中的至少一个场景中呈现；以及响应来自所述用户的查看历史AR信息的指令，向所述用户呈现所选择的第一场景子集。在一些实施例中，所述第一子集可以是最小大小子集，使得每个交互配对被呈现在所述用户在其内与该配对交互的至少一个场景中。

还提供了本文描述的系统和方法，用于提供供AR用户查看的信息，该方法包括：存储关于所述用户遇到的第一多个场景的信息，该信息包括关于以下的信息：在每个场景中呈现的增强以及检测到与之的用户交互的增强；确定所述第一多个场景的第一子集，其包括最小数量的场景(其中展现用户与之交互的所有增强)；以及响应于来自用户的与历史AR信息的查看相关的输入，呈现关于第一多个场景的所述第一子集的信息，该第一子集包括最小数量的场景(其中展现用户与之交互的所有增强)。

在本文描述的一些示例性实施例中，用户以以下方式查看历史AR信息：i)该方式汇总了AR信息，从而减少信息量；ii)该方式是完整的，因为其包括之前呈现给用户的每个AR信息项的至少一个实例；iii)该方式是记忆支持的(memory supporting)，因为其在用户在其内最初看到任意AR信息项的某个场景中呈现该AR信息项；以及iv)该方式是交互敏感的，因为用户与之交互的AR信息项被呈现在用户在其内最初与之交互的一些场景中。

还提供了用于汇总和组织历史AR信息的本文描述的系统和方法，该方法包括：显示第一几何形状，其被注释有关于第一多个场景的第一场景的信息；以及显示多个第二几何形状，其被注释有关于所述第一多个场景的多个附加场景的信息，使得：i)每个附加场景是在其内呈现至少一个对象(其也被呈现在第一场景中)的场景；ii)所述多个第二几何形状的每个几何形状被布置在显示中，使得它与第一几何形状共享边。

在本文描述的一些示例性实施例中，用户以以下方式查看历史AR信息：i)该方式汇总了AR信息，从而减少信息量；ii)该方式是完整的，因为它包括之前呈现给用户的每个AR信息项的至少实例；iii)该方式是真实的，因为其在用户在其内最初看到任意AR信息项的至少一个场景中呈现该AR信息项；和iv)该方式是关联保留的，因为场景被组织成使得彼此相邻的场景具有共同的一个或多个AR信息项。

附图说明

可以从以下描述中获得更详细的理解，所述描述是结合附图以示例的方式呈现的，其中附图中相同的附图标记表示相同的元素，并且其中：

图1A描绘了根据一些实施例的向用户呈现历史AR信息的示例方法。

图1B描绘了根据一些实施例的向用户呈现历史AR信息的示例方法。

图2描绘了根据一些实施例的系统架构。

图3描绘了根据一些实施例的描绘不同模块之间的交互的序列图。

图4描绘了根据一些实施例的AR场景。

图5描绘了根据一些实施例的第一用例。

图6描绘了根据一些实施例的显示AR历史记录的方法。

图7描绘了根据一些实施例的选择和组织历史AR信息的方法。

图8描绘了根据一些实施例的系统架构。

图9描绘了根据一些实施例的描绘不同模块之间的交互的序列图。

图10描绘了根据一些实施例的一系列场景选择迭代的结果。

图11描绘了根据一些实施例的根节点的标识。

图12A-12C描绘了根据一些实施例的产生基于网格的布局的一些步骤。

图13描绘了根据一些实施例的基于网格的布局，其对在父缩略图和子缩略图之间共同的配对进行注释。

图14描绘了根据一些实施例的第二基于网格的显示。

图15描绘了根据一些实施例的利用插入符号(caret)的基于网格的显示。

图16描绘了根据一些实施例的在选择插入符号后的基于网格的显示的视图。

图17描绘了根据一些实施例的汇总和组织历史增强现实信息的方法。

图18A-18J描绘了用户在一段时间内捕获的示例性AR场景。

图19描绘了图18A-18J的场景的示例性紧凑历史视图。

图20描绘了图18A-18J的场景的紧凑历史视图的示例性基于网格的布局。

图21A是示例性无线发射/接收单元(WTRU)的系统图。

图21B描绘了可用于与WTRU通信的示例性网络实体。

结合各个附图描述和描述的实体、连接和布置等是作为示例而非限制的方式呈现的。因此，关于以下的任何和所有陈述或其他指示(可能是孤立的和脱离上下文被认为是绝对的，因此是限制性的)可能只能在其前面建设性加上诸如“在至少一个实施例中......”之类的条款的情况下被恰当地理解：特定图形“描绘”的内容的、特定图形中的特定元素或实体“是”什么或“具有”什么、以及任何和所有类似的陈述。为了简洁和清晰的表述，这个隐含的主导条款可能不会在附图的详细描述中被过度重复。

用于实施实施例的示例性设备和网络

在本文描述的实施例中，无线发射/接收单元(WTRU)可以用作AR显示设备。图21A中所示的AR设备可以用作本文公开的各种客户端设备。

图21A是示出了示例性WTRU 2102的系统图示。如图21A所示，WTRU2102可以包括处理器2118、收发信机2120、发射/接收部件2122、扬声器/麦克风2124、键盘2126、显示器/触摸板2128、不可移除存储器2130、可移除存储器2132、电源2134、全球定位系统(GPS)芯片组2136和其他周边设备2138。收发信机2120可以被实施为解码器逻辑2119的组件。例如，收发信机2120和解码器逻辑2119可以被实施在单个LTE或LTE-A芯片上。所述解码器逻辑可以包括处理器，其可操作以执行存储在非暂时性计算机可读介质中的指令。作为替代或另外，可以使用定制和/或可编程数字逻辑电路来实施所述解码器逻辑。

应该了解的是，在保持符合实施例的同时，WTRU 2102还可以包括前述部件的任何子组合。而且，实施例考虑了基站和/或基站可以表示的节点(例如但不限于收发信机站(BTS)、节点B、站点控制器、接入点(AP)、家庭节点-B、演进的家庭节点-B(eNodeB)、家庭演进节点B(HeNB)、家庭演进节点B网关和代理节点等等)可以包括图21A中描绘的以及在此描述的一些或全部元件。

处理器2118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器2118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 2102在无线环境中工作的功能。处理器2118可以耦合至收发信机2120，收发信机2120可以耦合至发射/接收部件2122。虽然图1B将处理器2118和收发信机2120描述成单独组件，然而应该了解，处理器2118和收发信机2120也可以集成在一个电子组件或芯片中。

发射/接收部件2122可被配置成经由空中接口116来发射或接收去往或来自基站的信号。举个例子，在一个实施例中，发射/接收部件2122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件2122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件2122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件2122可以被配置成发射和/或接收无线信号的任何组合。

虽然在图21A中将发射/接收部件2122描述成是单个部件，但是WTRU 2102可以包括任何数量的发射/接收部件2122。更具体地说，WTRU 2102可以使用MIMO技术。由此，在实施例中，WTRU 2102可以包括两个或多个通过空中接口2116来发射和接收无线电信号的发射/接收部件2122(例如多个天线)。

收发信机2120可被配置成对发射/接收部件2122所要传送的信号进行调制，以及对发射/接收部件2122接收的信号进行解调。如上所述，WTRU 2102可以具有多模能力。因此，收发信机2120可以包括允许WTRU 2102借助多种RAT(例如UTRA和IEEE 802.11)来进行通信的多个收发信机。

WTRU 2102的处理器2118可以耦合到扬声器/麦克风2124、键盘2126和/或显示器/触摸板2128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器2118还可以向扬声器/麦克风2124、键盘2126和/或显示器/触摸板2128输出用户数据。此外，处理器2118可以从诸如不可移除存储器2130和/或可移除存储器2132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。所述不可移除存储器2130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。所述可移除存储器2132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器2118可以从那些并非实际位于WTRU 2102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器2118可以接收来自电源2134的电力，并且可被配置分发和/或控制用于WTRU 2102中的其他组件的电力。电源2134可以是为WTRU 2102供电的任何适当设备。例如，电源2134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器2118还可以耦合到GPS芯片组2136，该芯片组可被配置成提供与WTRU 2102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组2136的信息的补充或替换，WTRU 2102可以经由空中接口116接收来自基站的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU2102可以借助任何适当的定位方法来获取位置信息。

处理器2118还可以耦合到其他周边设备2138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备2138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块以及因特网浏览器等。

图21B描绘了可用于与图21A的通信系统2102通信的示例性网络实体2190。该网络实体2100还可以充当本文公开的不同的基于云的服务，并且与不同的客户端设备(例如，AR显示器)通信。如图21B所示，所述网络实体2190包括通信接口2192、处理器2194和非暂时数据存储器2196，所有这些都通过总线、网络或其他通信路径2198通信链接。

通信接口2192可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，作为示例，通信接口2192可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口2192可以包括诸如以下的组件：一个或多个天线、为一种或多种类型的无线(例如，LTE)通信设计和配置的一个或多个收发信机/芯片组、和/或被相关领域的技术人员认为合适的任何其他组件。并且进一步关于无线通信，通信接口2192可以按规模被配备并且具有适合于作用于无线通信(例如，LTE通信和Wi Fi通信等)的网络侧的配置(与客户端相对)。因此，通信接口2192可以包括适当的装备和电路(其可以包括多个收发信机)，用于服务覆盖区域中的多个移动站、UE或其他接入终端。

处理器2194可以包括相关领域的技术人员认为合适的任何类型的一个或多个处理器，一些示例包括通用微处理器和专用DSP。

数据存储器2196可以采用任何非暂时性计算机可读介质或以下媒体的组合的形式，该媒体的一些示例包括闪存、只读存储器(ROM)和随机存取存储器(RAM)等，在此只是进行了少量的列举，因为可以使用相关领域技术人员认为合适的任何一种或多种类型的非暂时性数据存储器。如图21B所示，数据存储器2196包含可由处理器2194执行的程序指令2197，用于执行本文所述的各种网络实体功能的各种组合。

在一些实施例中，本文描述的网络实体功能由具有与图21B的网络实体2190的结构类似的结构的网络实体来执行。在一些实施例中，这些功能中的一者或多者由一组多个网络实体组合执行，其中每个网络实体具有与图21B的网络实体2190的结构类似的结构。在各种不同的实施例中，网络实体2190可以是或者至少包括以下一者或多者：RAN(其中的一个或多个实体)、核心网络(其中的一个或多个实体)、一个或多个基站、节点B、RNC、MGW、MSC、SGSN、GGSN、一个或多个e节点B、MME、服务网关、PDN网关、ASN网关、MIP HA和AAA。当然，在各种实施例中可以使用其他网络实体和/或网络实体的组合来执行本文描述的网络实体功能，因为前述列表是作为示例而非通过限制的方式提供的。

详细说明

现在将参考各附图提供说明性实施例的详细描述。尽管该描述提供了可能实现的详细示例，但是应该注意，所提供的细节旨在作为示例，并且决不限制本申请的范围。

注意，所描述的实施例中的一者或多者的各种硬件元件被称为“模块”，其实施(即，执行、运行等)本文结合各个模块描述的各种功能。如本文所使用的，模块包括被相关领域的技术人员认为适合于给定的实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行以执行被描述为由相应模块执行的一个或多个功能的指令，并且应注意，那些指令可以采取或包括硬件(即，硬连线)指令、固件指令和/或软件指令的形式，并可以存储在任何合适的非暂时性计算机可读介质或媒体中，例如其通常被称为RAM、ROM等。

在本文描述的一些实施例中，用户可以以以下方式查看历史AR信息：汇总AR信息，以减少所呈现的信息量，同时仍包括用户与之交互的任何AR信息项。

在本文描述的一些实施例中，用户以以下方式查看历史AR信息：i)该方式汇总AR信息，从而减少信息量；ii)该方式是完整的，因为它包括呈现给用户的每个AR信息项的至少一个实例；iii)该方式是记忆支持的，因为它在用户最初看到任何AR信息项的某个场景中呈现该AR信息项；以及iv)该方式是交互敏感的，因为用户与之交互的AR信息项被呈现在用户在其中最初与其交互的一些场景中。

在一些实施例中，向用户呈现紧凑的历史视图，其i)示出了用户与之交互的所有AR信息项，且该信息项在用户在其中与他们交互的场景中的至少一个场景中被示出；ii)示出了所有剩余的AR信息项，且该信息项在最初他们被呈现给用户的场景中的至少一个场景中被示出；iii)使用最佳数量的场景来呈现这些AR信息项。

在一些实施例中，通过汇总AR信息来选择和组织历史AR信息，从而减少信息量。所选择的历史AR信息是完整的，因为它包括呈现给用户并且也是真实的每个AR信息项的至少一个实例，因为它在用户在其中最初观看到每个AR信息项的至少一个场景中呈现该每个AR信息项。在一些实施例中，所选择的历史AR信息可以是关联保留的，因为场景被组织成使得彼此相邻放置的场景具有共同的一个或多个AR信息项。用户可以从按照这些场景所具有的共同AR信息项方面而进行的场景之间的关联中受益。也就是说，它将帮助用户以突出场景关联的方式看到这些场景，因此用户可以快速识别包含期望AR信息项的场景。

在一个实施例中，呈现紧凑的历史视图，其在所有AR信息项最初在其中被呈现给用户的场景中的至少一个场景中示出了所有AR信息项。选择足够的场景以对呈现给用户的所有AR信息项进行呈现。为每个所选场景生成缩略图，并且定位这些缩略图使得具有重叠AR信息项的场景被示出为彼此相关联(例如，相邻)。

Web浏览器历史视图的各方面可能不适用于呈现AR场景的历史记录。例如，浏览器历史记录中的网页是通过用户的显式动作访问的。它包含一些由有目的的人创建的内容，并包含指向其他网页的链接。存在一个汇总了网页的URL或标题作为浏览器历史记录中针对该页面的条目。然而，AR界面中呈现的场景包含一些任意混合的现实对象(取决于用户刚好观看的位置以及哪些对象移入或移出用户的视野)。因此，与网页不同，不存在用于汇总场景的URL或标题。也就是说，对场景(类似于网页内容)进行可视化对于用户了解该场景中的内容是非常有利的。

此外，当用户通过执行某些动作(诸如点击链接或按钮)与网页的任何部分交互时，该动作通常导致新页面(或页面的一部分，例如，框架)被呈现给用户，这意味着用户的交互可以被记录在历史记录中。

相反，当用户与AR信息项交互时，用户正在观看的物理场景可能不会改变，因此交互本身不会如Web浏览那样导致历史记录中路径改变。与网络浏览器不同(其中所访问的页面因为用户交互而进入历史记录)，用户可被呈现新的AR信息项或配对，而无需与该项或配对特别地交互。例如，信标可以基于用户与该信标的接近度到导致AR信息项被呈现给用户，但是用户可以不与所呈现的AR信息项交互。

Web浏览器历史记录方法并没有以网页的组件(例如，框架、图片或表)的粒度的方式呈现历史的想法，而这是对AR的挑战。这是因为在网页中，组件紧密集成(例如，文本可以描述图片)。结果，在一页与另一页中显示相同的图片可能在意义上产生实质性的差异。也就是说，不能在不改变含义的情况下任意选择页面来汇总历史记录。

相反，在AR中，并不存在链接到现实对象的关联“文本”(除了在AR信息项中捕获的任何内容之外)。由于环境的性质(即，真实世界)，现实对象一起出现。与网页的上下文场景不同，如果用户需要查看现实对象及其关联的AR信息项，则只要用户看到相同的对象和相同(或类似)的AR信息项，用户的需求便得到了满足。人类感知和认知通过“对象持久性”的演化来进行，因此用户能够在多个环境设置(setting)中识别并将意义附加到同一现实对象。这种差异点是AR的一个机会，因为它可以优化汇总历史记录，而这些历史记录通常可能不适合网页浏览。

在一些实施例中，术语“配对(pair)”指的是现实对象和关联的AR信息项。相同的现实对象可以在多于一配对中具有特征，即，其具有不同的AR信息项(当多个AR应用拾取相同的现实对象时，可能出现不同的AR信息项)。同一配对可能出现在多个场景中。用户可能已经或可能没有与一配对交互。在一些实施例中，术语“交互配对”是指用户已与其AR信息项交互的配对。在一些实施例中，术语“非交互配对”是指用户未与其AR信息项交互的配对。

在一些实施例中，术语“场景”指的是向用户呈现(例如，作为点云的图像渲染)的视图，其包含至少一配对，且无论用户是否与任何配对交互。在一些实施例中，术语“交互场景”指的是包含用户在该场景中与该场景包含的至少一个交互配对交互的场景。在一些实施例中，术语“非交互场景”指的是并非交互场景的场景(例如，不包含至少一个交互配对的场景)。

在一些实施例中，术语“根”或“根节点”指的是树中被标识为中心的节点。术语父、子、兄弟、叶和后代可用于描述不同节点之间的关系。对于从根到另一个节点的路径上的任何边，更靠近根的边的端点是父节点，而距离根节点更远的边的端点是子节点。同一父节点的两个子节点(即，沿着不同的边)被称为兄弟节点。没有子节点的节点被称为叶节点，节点的后代是其子节点、子节点的子节点、依此类推。

在一些实施例中，术语“缩略图”指的是一个场景的缩小版本或两个或更多个兄弟场景的合成的缩小版本。每个缩略图标识其汇总的任何场景的配对。

选择场景以在增强现实界面中浏览历史记录

图1A描绘了根据一些实施例的向用户呈现历史AR信息的示例性方法。特别地，图1A描绘了方法100，其包括在102处接收一系列场景，在104处产生第一场景子集，在106处产生第二场景子集，在108处形成最终场景集合作为所述第一和第二子集的并集，并在110处显示所述最终场景集合中的场景。

可以接收一系列场景(102)。在一些实施例中，每个接收的场景与该场景中的任何配对的列表以及该场景中的任何交互配对的子列表相关联。在一些实施例中，不同于每个接收的场景存在一配对列表(如果有的话)，而是存在单个接收的列表，其将每个接收的场景与该场景中的任何配对相关联，并且还指示每个接收的场景中的任何交互配对。在一些实施例中，可以按时间顺序对接收的场景进行排序，并且首先是最近的场景。在一些实施例中，还接收和存储关于所接收的场景的时间顺序数据，诸如场景的时间戳，使得稍后可以按时间顺序对场景进行排序。

可以确定包括(例如，覆盖)所有交互配对的第一场景子集(104)。在一些实施例中，确定所述第一场景子集，使得跨越所有接收的场景的每个交互配对是所述第一场景子集中的至少一个场景中的交互配对。在一些实施例中，所述第一子集可以是最小大小集合。

还可以确定第二场景子集，其包括(例如，覆盖)所述第一场景子集未覆盖的任何非交互配对(106)。在一些实施例中，根据所接收的场景、配对的列表(一个或多个)和任何交互配对的子列表(一个或多个)，可以确定每个接收的场景中的非交互配对的列表。在一个实施例中，根据每个场景中的非交互配对的列表和所述第一场景子集，可以确定未被所述第一子集覆盖的一组非交互配对。可以确定所述第二场景子集，使得所述一组未被所述第一子集覆盖的非交互配对中的每个配对存在于所述第二场景子集中的至少一个场景中。在一些实施例中，所述第二子集可以是最小大小集合。在一些实施例中，所述第二子集中不包括交互场景。在一些实施例中，交互场景可以被包括在所述第二子集中。

在一些实施例中，最终场景集合可以被形成为所述第一和第二场景子集的并集(108)。然后可以显示该最终场景集合(110)。在一些实施例中，所述最终场景集合可以按照它们在所接收的一系列场景中出现的顺序(例如，接收顺序、按时间顺序等)显示。

方法100计算了用于呈现给用户的汇总AR历史记录，其带回用户先前看到的场景，使得用户可以熟悉它们。它在用户看到每一配对的场景中显示该每一配对，并且还可以在用户与每个交互配对交互的场景中显示该每个交互配对。在一些实施例中，最小大小的场景集合根据给定这些约束而被确定。

图1B描绘了根据一些实施例的向用户呈现历史AR信息的示例方法。特别地，图1B描绘了方法150，其包括在152处接收一系列场景，在154处确定第一场景子集，以及在156处显示所述第一子集中的场景。在一些实施例中，所述方法150可以与所述方法100类似地操作。如在方法100中那样，可以确定(152)第一场景子集，其包括(例如，覆盖)所有交互配对。在一些实施例中，确定第一场景子集，使得跨越所有接收的场景的每个交互配对是所述第一场景子集中的至少一个场景中的交互配对。在一些实施例中，所述第一子集可以是最小大小集合。

在一个实施例中，一种用于提供信息以供AR用户查看的方法包括：存储由AR用户查看的多个场景；针对所述多个场景中的每一个场景，存储信息，该信息标识(i)所述场景中呈现的任何关于现实对象和AR增强的配对，以及(ii)所述场景中用户与之交互的任何配对；从存储的多个场景中选择第一场景子集，使得用户与之交互的每一配对在所述第一场景子集中的至少一个场景中呈现；以及响应来自用户的查看历史AR信息的指令，向用户呈现所选择的第一场景子集。在一些实施例中，所述第一子集可以是最小大小子集，使得每个交互配对呈现在用户与该配对交互的至少一个场景中。

图2描绘了根据一些实施例的系统架构。特别地，图2描绘了系统200，其包括用户交互识别器(UIR)202、AR显示器204、AR用户界面(UI)控制器206、场景传感器208、历史场景和配对存储器210、AR应用(一个或多个)212、以及相关的通信连接。

所述AR显示器204可以向用户呈现增强视图。一个或多个场景传感器208捕获关于场景的信息(例如，场景数据)。在一些实施例中，所述场景传感器可以包括静态相机或视频相机，并且场景可以由一个或多个静态图像和/或视频剪辑表示。在一些实施例中，所述场景传感器可包括雷达、LiDAR(激光雷达)或其他类似传感器。在一些实施例中，由所述场景传感器捕获的信息可以包括点云。在一些实施例中，所述场景传感器还可以包括位置传感器(例如，GPS、指南针等)。所述场景传感器(一个或多个)208可以将捕获的场景数据传送到AR UI控制器206。

所述AR UI控制器206支持至少两种操作模式。在第一模式中，所述AR UI控制器206选择AR信息项并将其呈现给用户。另外，它向历史场景和配对存储器210提供场景和AR信息项、以及配对和指示用户是否与每个相应配对交互的信息。在第二模式(历史模式)中，AR UI控制器206检索来自历史场景和配对存储210的历史场景、配对和用户交互的一部分。它可以确定历史场景的子集(诸如最小子集)，其通过采用取两个子集的并集的方式包括呈现给用户的所有配对以及用户与之交互的所有配对。所述第一场景子集可以包括用户在其中与至少一配对交互的场景，并且还可以是交互场景的最小子集，使得每个交互配对被包括在用户与该交互配对交互的至少一个场景中。第二场景子集可以是所有接收的包括呈现给用户的非交互配对的场景的子集(诸如最小子集)。在一些实施例中，所述第二子集可以包括所有非交互配对，并且在一些实施例中，所述第二子集可以仅包括未包括在所述第一场景子集的场景中的非交互配对。可以通过AR显示器204呈现所述子集中的历史场景。所述AR UI控制器206还支持与这些历史场景的附加用户交互(例如，选择要查看的历史场景)。所述AR UI控制器206可以基于用户输入和/或关于用户被混淆的确定等来进入所述历史模式。

可以由第三方实施或控制的AR应用212可以包括用户的AR设备上的应用等等。这些应用212可以被配置为从AR UI控制器206接收关于给定场景的至少一些信息(例如，由一个或多个场景传感器208捕获的场景数据，其包括适当的位置数据)，并向AR UI控制器206返回关于现实对象和AR信息项的配对。在一些实施例中，可以用唯一标识符“标记”现实对象(使用例如其位置坐标、图像和边界进行标识)。该唯一标识符可以允许系统识别不同场景中的相同现实对象。在一些实施例中，所述系统可以维护或访问唯一标识符的数据库。在一些实施例中，可以通过在图像数据库中查找现实对象来确定所述唯一标识符(例如，建筑物的不同视图将被引导到相同的数据库条目和标识符)。AR信息项可以提供与关联的现实对象有关的信息，并描述如何在AR显示器204中渲染该信息。

在一些实施例中，AR UI控制器206可以不接收关于现实对象和AR信息项的显式配对，而是接收足够的信息以获得关于现实对象和AR信息项的特定配对。例如，AR应用212可以从AR UI控制器206接收场景数据，并且返回到AR信息项的链接(例如，URL)和给定场景中的坐标位置。根据这样的信息，AR UI控制器206可以通过跟随所述链接来检索所述AR信息项，并通过分析场景数据来识别现实对象(例如，通过图像处理并选择所述坐标处的对象而进行对象识别)。

在一些实施例中，针对给定的场景数据片段，当AR UI控制器接收到关于现实对象和AR信息项的至少一个配对(例如，来自一个或多个AR应用)时，AR UI控制器可以捕获场景。在一些实施例中，仅当AR系统向用户呈现的配对存在变化时，才捕获新场景。在一些实施例中，在捕获的场景之间存在最小时间段(例如，30秒、1分钟、10秒等)。在一些实施例中，仅当用户在场景上设定他们的观看达阈值时间段(例如，5秒、10秒、3秒、20秒等)时才捕获场景数据。在一些实施例中，在检测到用户的阈值移动(例如，用户转动90度、用户行走10米等)之后捕获场景数据。

系统200的各种模块和组件可以在用户设备或云服务上实施。在一个实施例中，AR显示器204、场景传感器208和UIR 202是用户的计算设备的组件，并且AR应用(一个或多个)212是基于云的服务，AR UI控制器206和历史场景和配对存储器210的全部或部分可以是基于云的，也可以是用户设备。

所述UIR 202识别用户与AR场景中的配对进行交互。它还可以被配置为接受其他用户请求，例如调用历史记录等。基于UIR 202对眼睛注视、手势和/或语音等的检测，可以检测到不同的交互，例如用户细思(dwelling on)或以其他方式指示AR信息项。用户可能已经读取了AR信息项、看到了视频、和/或通过手势等打开了链接，以将用户交互注册到配对。

在一些实施例中，两个或更多个配对可以是基本相似的(例如，现实对象是博物馆或商店的不同入口，但AR对象是相同的等等)。在这样的实施例中，系统可以确定所述两个或更多个配对足够相似，使得在紧凑的历史视图中可以或应该仅向用户呈现该两个或更多个配对中的一个。在一些实施例中，具有相同AR部分的两个配对的现实对象部分可以足够相似，以使系统将该两个配对视为相同的以用于历史记录查看。在一些实施例中，具有相同现实对象部分的两个配对的AR部分可以足够相似，以使系统将该两个配对视为相同的以用于历史记录查看。在一些实施例中，两个配对可以不共享现实对象部分或AR部分，但是该两个部分可以足够相似以使系统将对该两个配对视为相同的以用于历史记录查看。

图3根据一些实施例描绘了图2的系统200的不同模块之间的交互序列300的序列图。在序列300中，场景传感器208将场景数据提供给AR UI控制器206，该AR UI控制器206将所述场景数据转发到AR应用(一个或多个)212。该AR应用(一个或多个)212提供关于现实对象和AR信息项的配对(或足够的配对识别信息)至AR UI控制器206。该AR UI控制器206向AR显示器204提供数据以显示具有所选AR信息项的增强场景。所述UIR 202检测用户与AR场景中的一配对的交互，并将检测数据提供给AR UI控制器206，该AR UI控制器206将所述检测数据发送到历史场景和配对存储器210。

UIR 202检测用户查看自指定时间以来的历史记录的请求，并将该请求转发到ARUI控制器206。该AR UI控制器从历史场景和配对存储器210请求历史记录(场景、配对和交互)并响应地接收该历史记录。AR UI控制器可以计算最小的历史场景集合并且将该历史场景提供给AR显示器204。

在一些实施例中，AR历史记录的场景(例如，最终场景集合、第一场景子集、第二场景子集等)可以由AR显示器204同时呈现。在一些实施例中，AR历史记录的场景可以由AR显示器顺序地呈现。在一些实施例中，AR历史记录的场景可以由AR显示器显示为视频序列。在一些实施例中，AR历史记录的场景可以不是由AR显示器显示，而是在用户的另一计算设备的显示屏上显示(例如，通过虚拟现实设备等在移动电话的显示器上显示场景的图像)。

图4描绘了根据一些实施例的示例性AR场景400。场景400包括配对A和配对B，配对A包括第一现实对象402和关联AR信息项404，配对B包括第二现实对象406及其关联AR信息项408。提供场景400以说明在AR场景中显示的关于现实对象和相关的AR信息项的多个配对。然而，AR场景可以包括任意数量的配对(包括无配对)。

使用如上所述的方法的示例性场景将结合表1-4进行讨论。第一场景子集104(如图1A的方法100中那样)可被确定。表1包括例如在方法100的102处接收的列表，其包括接收的场景、接收的场景中的所有配对、以及场景中的交互配对。表1还包括场景中的非交互配对，其在一些实施例中可以由系统接收，以及在其他实施例中，可由系统从接收的场景和配对信息中确定。这里，如表1所示，所接收的场景是场景S1至S20，其变化地包括配对A至T。其中一些配对被指示为已经在特定场景中被交互。例如，如果图4的场景400与表1中的场景S1相关，则S1包括配对A和B，其中配对A是交互配对。

表1

如表2所示，从交互场景组{S1，S3，S5，S7，S9，S12，S15，S17，S20}开始，在一些实施例中，可以确定接收场景的第一子集，其包括覆盖交互配对的最小场景集合(即，表2中的场景集合{S5，S15，S20})。例如，可以通过向交互场景组应用针对最小场景集合的解算器来确定所述第一场景子集，以使得所有交互配对被包含在至少一个交互场景中。各种有效的启发式解决方案可以用于最小集合问题，其可以提供实际可行的近似，并且可以应用于确定在至少一个交互场景中包括所有交互配对的最小场景集合。值得注意的是，可能存在多于一个的最小覆盖集合(例如，{S1，S3，S9}，{S3，S7，S20}等)，并且还可以使用替代的最小集合。在一些实施例中，为了从最小场景集合的多个选项之间选择第一场景子集，可以比较每个选项的场景中包括的配对的总数，并且可以选择最大化所覆盖的配对的总数的选项作为所述第一场景子集。

表2

在确定了第一场景子集的情况下，可以确定如在方法100的106处确定的第二场景子集。在一个实施例中，如表3所示，所述系统可以使用所述第一子集来确定哪些接收的场景包括未包含在所述第一场景子集的场景中的非交互配对。例如，如关于表2所讨论的第一子集{S5，S15，S20}包括配对A-H，J，K，O和S。这留下了一组场景{S6，S7，S8，S9，S10，S11，S12，S13，S14，S16}，如表3所示，其包括至少一个未包括在第一子集的场景中的非交互配对。

表3

通常，在一个场景中是非交互配对的配对可以是某个其他场景中的交互配对，在这种情况下，它已经包括在第一子集中或在第一子集中被覆盖(在方法100的104处)。另外，在一个场景中作为非交互配对的配对也可以是存在于第一子集的所选场景中的非交互配对，并且已经被包括或覆盖。表3仅示出了在选择作为所述第一子集的场景组{S5，S15，S20}之后具有剩余配对的那些场景(即，S6-S14和S16)。

从具有剩余未覆盖配对的场景，可以确定第二场景子集。在一些实施例中，确定的第二场景子集可以包括最小场景集合，其包括未被所述第一场景子集覆盖的所有配对。在一个实施例中，如表3中所示，第二子集可以是场景组{S9，S13，S16}。确定所述第二场景子集可以使用与用于确定第一场景子集的相同或类似的方法。对于表3中所示的实施例，所述第二场景子集可包括场景S9(其覆盖配对I，L，M和N)、场景S13(其覆盖配对P和Q)、以及场景S16(其覆盖配对R和T)。

可以将第一和第二子集组合成最终场景集合。在表4中示出了这样的最终场景集合和在这些场景中呈现的配对。这里，基于以上讨论的与表2和表3有关的确定，关于所述第一和第二最小覆盖集合的组合可以是{S5，S9，S13，S15，S16，S20}。

最终场景集合	所有配对
		S5	A,C,H,O
S9	D,E,F,I,L,M,N
		S13	P,Q
S15	D,E,J,S
		S16	R,S,T
S20	B,F,G,H,K

表4

这里，最终场景集合包括方法100的108处的第一和第二子集的并集。更一般地，在一些实施例中，可以通过评估所有接收的场景以确定最小场景集合来形成最终场景集合，其中所述最小场景集合i)在用户看到每一配对的至少一个原始场景中示出该每一配对，ii)每个交互配对在所述用户与之交互的至少一个原始场景中被示出。所述最终场景集合被提供给AR显示器以呈现给用户以及可能进一步的用户交互。

在一些实施例中，可以分别向用户呈现所述第一场景子集和第二场景子集。在一些实施例中，可以仅向用户呈现交互场景加上第二子集的具有配对数量高于某个预定阈值的那些场景。例如，在一个实施例中，可以仅向用户呈现所述第一场景子集和第二场景子集中具有至少三个未被覆盖的非交互配对的那些场景。在一些情况下，可以改变预定阈值以在最终场景集合中产生期望数量的场景(最小场景数量等于所述第一子集中的场景数量)。在一些实施例中，不同于组合所述第一和第二场景子集，可以仅使用交互配对来选择场景以呈现给用户。

表5示出了根据一些实施例的用户历史记录的示例性汇总表，其基于表1中所示的所接收的场景和配对数据(并且相对于表2-4进行操作)。表5在左列中示出了的场景S1至S20以及在顶行中示出了配对A至T。在交叉单元格中，关于用户交互的数据被指示，其中“Y”表示用户与该场景中的配对交互，“N”表示用户未与该场景中的配对交互，以及“-”表示该配对不呈现或不显示在该场景中。例如，配对A在场景S1中被交互，配对B在场景S1中未被交互，并且配对C在场景S1中未被呈现。基于以上关于表1-4的讨论，用虚线凸显第一子集{S5，S15，S20}的所选场景，并且用双线凸显了第二子集{S9，S13，S16}的所选场景。

表5

诸如表5的呈现之类的呈现可以用于描绘方法100的处理数据。如表5所示，接收到场景S1至S20以及关于所显示和交互的AR配对A至T的数据，该配对的显示和交互通过“Y”、“N”和“-”指示。配对A到F被交互，并包括场景S5、S15和S20的第一子集(例如，最小覆盖集合)被选择。在用户请求查看历史记录之后，相关联的配对信息被显示。例如，对于场景S5，选择配对A，C，H和O；对于场景S15，选择配对D，E，J和S；对于场景S20，选择配对B，F，G，H和K。这些集合可以被呈现给用户，并且用户与之交互的配对(配对A到F)可以与不与之交互的配对被不同地显示。

表5还描绘了对第一多个场景的第二子集(例如，第二最小覆盖集合)的选择，该第二子集包括最小数量的场景(其中呈现了尚未被所述第一子集覆盖的所有非交互配对)。例如，在表5中，所述第二场景子集及其各自的配对包括具有配对D，E，F，I，L，M和N的场景S9；具有配对P和Q的场景S13；具有配对R，S和T的场景S16。可以向用户呈现这些场景和相关联的配对。所述第一和第二场景子集可以被同时显示给用户或者被单独显示。

图5描绘了根据一些实施例的第一用例。图5包括三个场景集合502、504和508。场景集合502表示用户经历的场景集合。每个框表示一个场景，字母表示该场景中的配对。带下划线的字母表示用户与之交互的配对。场景集合504描绘了观看原始场景集合502的历史AR数据的第一方法。在该第一方法中，用户被呈现之前经历的所有场景，并选择要观看的场景506，其这里包括非交互配对I。场景集合508描绘了观看历史AR数据的第二方法。该第二方法可以类似于方法100。这里，场景集合508包括覆盖来自原始集合502的场景的所有配对的六个不同场景。该场景可以与非交互配对不同的方式显示交互配对。用户还可以选择场景510来观看，其这里包括非交互配对P和Q.

图6描绘了根据一些实施例的显示AR历史记录的方法600。该方法600包括在602处为场景存储增强和交互数据，在604处确定第一最小交互场景子集，在606处接收用于查看历史记录的用户输入，在608处呈现关于所述第一最小子集的历史信息，在610处确定第二最小非交互场景子集，并且在612处呈现关于所述第二最小子集的历史信息。

在602处，存储关于用户遇到的第一多个场景的信息。该信息包括关于在每个场景中呈现的增强的数据，以及关于用户与之交互的增强的数据。在604处，确定所述第一多个场景的第一子集。该第一子集可以包括最小大小的交互场景集合，其中用户与之交互的所有增强均被展现。

在606处，接收用户输入以查看AR历史记录。该用户输入可以将历史记录查看的范围限制为时间段、地理区域、特定AR应用和其他可搜索的元数据，诸如附近的朋友等。在608处，呈现关于所述第一多个场景的所述第一子集的信息，其中该第一子集包括最小数量的场景，其中用户与之交互的所有增强均被展现。

所述方法600可以在610处继续，以进一步确定所述第一多个场景的第二子集。所述第一多个场景的第二子集可以包括最小大小的非交互场景集合，其中非交互场景的所有非交互增强均被展现。因为所述第二子集仅包括来自非交互场景的非交互增强，所以第二子集中的场景不在所述第一多个场景的第一子集中。在612处，可以向用户显示所述第一多个场景的所述第二子集。

汇总和组织历史增强现实数据

图7描绘了根据一些实施例的选择和组织历史AR信息的方法700。该方法700包括在702处接收一系列场景，在704处迭代地选择场景以在至少一个场景中包括每一配对，在706处识别根节点，在708处产生节点的网格布局，以及在710处显示配对缩略图。

在702处，接收一系列场景(例如，如上文一般性讨论的)，每个场景与至少一配对相关联。在704，迭代地选择所接收的一系列场景中的接收场景，直到每一配对被包括在至少一个所选场景中，其中优选具有与所选场景共同的配对并引入最大数量的新配对的场景。在一些实施例中，与方法100不同，不接收关于用户与配对的交互的数据。

在706处，识别一个或多个根节点，每个根节点是中心场景。在一个实施例中，识别根节点可以包括从接收的场景构建无向加权图，其中节点是场景，边链接具有重叠配对的场景，并且边权重等于重叠配对的数量。可以通过为所述图中的每个树选择单个根来确定所述图的最大权重生长森林(spanning forest)，其中每个根是树中具有与其连接的边的最大总计权重的节点。

在708处，产生所述节点的基于网格的布局，其从每个根单独开始并且按照自所述根的边的数量增加的顺序而将每个当前节点的子节点的缩略图放置在与该当前节点的单元格相邻的单元格中。在一些实施例中，节点的两个或更多个子节点可以被组合成一个缩略图，并且在一些实施例中同样对被组合的子节点的子节点进行组合等等。在其他实施例中，支持用户交互，以在通过隐藏其他节点来创建空间之后单独地临时显示所组合的子节点。

在710处，可以显示在父节点及其子节点之间共同的配对缩略图(例如，代表给定配对的缩略图图像)。在一些实施例中，可以存在与所接收的场景相关联的配对的列表，所述配对的列表是关于其现实对象出现在所述场景中的配对的完整列表。在一些实施例中，可以确定包括两个或更多个树的生长森林，产生该森林中的每个树的基于网格的布局，以及每个树的布局通过至少一个空单元格的间隙而被彼此分离。

图8描绘了根据一些实施例的系统800的系统架构。系统800包括AR显示器802、用户交互控制器804、AR历史记录组织器和呈现器806、场景传感器808、AR控制器810、历史场景和配对存储器812、以及AR应用814。系统800可以类似于图2的系统200的组件运作，并且可以执行方法700。如本领域技术人员所理解的，系统200和800的组件可以组合以执行本文公开的不同实施例的各种组合。

一个或多个场景传感器808可以捕获关于场景的信息(例如，场景数据)。在一些实施例中，所述场景传感器可以包括静态相机或视频相机，并且场景可以由一个或多个静止图像和/或视频剪辑表示。在一些实施例中，所述场景传感器可包括雷达、LiDAR或其他类似传感器。在一些实施例中，由场景传感器捕获的信息可以包括点云。在一些实施例中，场景传感器还可以包括位置传感器(例如，GPS、指南针等)。场景传感器808可以将捕获的场景数据传送到AR控制器810。

AR应用814可以包括用户的AR设备上的第三方应用等等。这些应用814可以被配置为接收关于给定场景的至少一些信息(例如，由场景传感器808捕获的场景数据，其包括适当的位置数据)并返回关于现实对象和AR信息项的配对。在一些实施例中，可以用唯一标识符“标记”现实对象(通过使用例如其位置坐标、图像和边界而被标识)。该唯一标识符可以允许系统识别不同场景中的相同现实对象。在一些实施例中，所述系统可以维护或访问关于唯一标识符的数据库。在一些实施例中，可以通过在图像数据库中查找现实对象来确定唯一标识符(例如，建筑物的不同视图将被引导到相同的数据库条目和标识符)。AR信息项可以提供与相关联的现实对象有关的信息，并描述如何在AR显示器802中渲染该信息。

在一些实施例中，AR控制器810可以不接收关于现实对象和AR信息项的显式配对，而是接收足够的信息以获得关于现实对象和AR信息项的特定配对。例如，AR应用814可以从AR控制器810接收场景数据，并且返回到AR信息项的链接(例如，URL)和给定场景中的坐标位置。根据这样的信息，AR控制器810可以通过跟随所述链接来检索AR信息项，并通过分析场景数据来识别现实对象(例如，通过图像处理并选择所述坐标处的对象进行对象识别)。

在一些实施例中，对于给定的场景数据片段，当AR控制器接收至少一关于现实对象和AR信息项的配对(例如，从一个或多个AR应用接收)时，AR控制器可以捕获场景。在一些实施例中，仅当AR系统向用户呈现的配对发生变化时才捕获新场景。在一些实施例中，在捕获的场景之间存在最小时间段(例如，30秒、1分钟、10秒等)。在一些实施例中，仅当用户在场景上设定他们的观看达阈值时间段(例如，5秒、10秒、3秒、20秒等)时才捕获场景数据。在一些实施例中，在检测到用户的阈值移动(例如，用户转动90度、用户行走10米等)之后捕获场景数据。

所述AR显示器802向用户呈现增强视图。它还可以向用户呈现表示历史数据的场景网格。

所述用户交互控制器804控制所述AR显示器802，并将检测到的用户手势提供给系统中的各种模块。例如，检测到的AR相关手势被呈现给AR控制器810，并且历史记录相关手势被提供给AR历史记录组织器和呈现器806。所述用户交互控制器804确定用户何时进入或退出历史模式。在一些实施例中，用户交互控制器804根据来自用户的请求进入历史模式，或者基于确定用户对他或她的周围环境或显然关于先前看到的某些AR信息项感到困惑而单方面地进入历史模式。基于用户交互控制器804对眼睛注视、手势和/或语音等的检测，可以检测到不同的交互，例如用户细思或以其他方式指示AR信息项。用户可能已经读取了AR信息项、看到视频和/或通过手势等打开链接，以将用户交互注册到配对。

AR控制器810选择要呈现给用户的AR信息项。另外，AR控制器810向历史场景和配对存储器812提供场景。

AR历史记录组织器和呈现器806从历史场景和配对存储812中检索历史场景、配对和用户交互。它还确定包括呈现给用户的配对的历史场景的子集，组织将该历史场景的子集划分为基于彼此相关的缩略图的结构，准备用于呈现历史场景的缩略图，并支持用户与历史场景的交互。

在一些实施例中，两个或更多个配对可以是基本相似的(例如，现实对象是博物馆或商店的不同入口，但AR对象是相同的等等)。在这样的实施例中，所述系统可以确定两个或更多个配对足够相似，使得该两个或更多个配对中的仅一个配对可以在紧凑的历史视图中被呈现给用户。在一些实施例中，具有相同AR部分的两个配对的现实对象部分可以足够相似，以使所述系统将该两个配对被视为相同，以用于历史查看的目的。在一些实施例中，具有相同现实对象部分的两个配对的AR部分可以足够相似，以使所述系统将该两个配对视为相同，以用于历史查看的目的。在一些实施例中，两个配对可以不共享现实对象部分或AR部分，但是该两个部分可以足够相似以使所述系统将该两个配对视为相同，以用于历史查看的目的。

系统800的各种模块和组件可以全部或部分地在用户设备或云服务上实施。

图9描绘了图8的系统800的组件之间的交互序列900的序列图。

在序列900中，所述场景传感器808向所述AR控制器810提供场景数据，该AR控制器810将所述场景数据转发到AR应用814。该AR应用814向所述AR控制器810提供关于现实对象和AR信息项的配对。所述AR控制器810向用户交互控制器804提供用于AR显示器802的数据，以显示具有所选择的AR信息项的增强场景。AR控制器810还向历史场景和配对存储器812提供历史场景和配对。用户交互控制器804基于检测到的用户交互来确定向用户显示AR场景的历史记录并从AR历史记录组织器和呈现器806请求历史记录，该AR历史记录组织器和呈现器806响应地请求和接收来自历史场景和配对存储器812的所请求的历史记录。所述AR历史记录组织器和呈现器806确定场景的子集，组织相关场景，并准备缩略图的网格布局。该缩略图网格被提供给用户交互控制器804以供AR显示器802呈现给用户。

图10-13示出了结合图7讨论的方法700的一些方面。所接收的场景S1-S20和它们各自的当前配对A-T在下面的表6中示出，并且表示了在方法700的702处接收的场景。例如，如果图4中的场景400与表6中的场景S1相关，则该场景包括配对A和B，每一配对包括现实对象和该对象的AR信息项。

所接收的场景和配对

表6

图10描绘了根据一些实施例的一系列场景选择迭代的结果。特别地，图10描绘了六次迭代的结果并且表示了方法700的704的迭代选择场景。这里，场景S9是通过选择包括配对D，E，F，I，L，M和N而选择的第一场景。在第二次迭代中，选择场景S20，并且现在配对B，G，H和K也被包括在场景S20。配对F先前包括在场景S9中。识别要选择的场景的过程包括选择候选场景。该候选场景都是未选择的场景(其包括当前选择的场景中包括的至少一配对(如果有的话))或所有未选择的场景。否则，选择当前选择的那些中所不包括的具有最多配对的候选场景。因此，当选择场景时，优先选择在它们的配对中存在重叠的场景。如果不存在这样的场景，则可以考虑贡献至少一配对的所有场景。如果场景不连续，如果用户经历没有接收AR配对的区域，或者如果用户关闭AR系统并且在时间间隔之后恢复使用，则可能发生这种情况。

在一些实施例中，选择场景包括选择这样一场景：其可添加尚未包括在先前选择中的最大数量的配对。因此，减少了所选场景的总数，并且在用户历史记录中显示的场景更少。

图11描绘了在包括所选场景的布局1100中显示节点的实施例，其中连接描绘了场景之间的配对重叠。在重叠配对中，存在一个中心场景，即场景S9。对于它们包含的配对不相交的每一场景集合(如果不止一个场景集合)，将存在不同的中心场景。在一些实施例中，图由节点集合、边集合(每个边连接两个节点)和每个边上的数字权重构成。使用节点的显示布局1100作为示例，用于场景S11和S9的两个节点经由一边连接，该边指示一配对(配对I)在这两个节点之间是共同的。在所描绘的图中，每个所选场景变为节点，在具有共同的至少一配对的任意两个节点之间存在一条边，并且两个节点之间的边的权重是这些节点之间共同的配对的数量。

对于连通图，可以确定生长树，该生长树为一子图，其包含其所有节点和恰好足够的边以使得该子图被连通。当图被断开时(其可能发生在所选场景落入两个或多个没有共同配对的分区的情况下)，则可能不存在单个生长树，因为无法连接所有节点。在这种情况下，可以找到包括多个树的生长森林。最大权重生长森林是这样的生长森林：其中每一树的根被选择以使树的总计权重最大化。对于每个断开连接的子图，可以通过使用现有算法(例如，克鲁斯卡尔(Kruskal)算法等)找到最大权重生长森林。

图11进一步描绘了按照方法700的708识别根节点的方面。对于每个树，识别根节点包括识别具有与其连接的边的最高总计权重的节点。如果存在多于一个这样的节点，则可以选择关联场景中具有最大配对数量的场景。如果存在具有相同最大配对数量的多于一个节点，则可以通过使用各种过程来打破平局，例如，随机选择和/或查看其他元数据或加权因子等。在图22中描绘的示例中，选择场景S9作为具有最高边总计权重的根节点，其总计权重为4。

图12A-12C描绘了如图7的708所示的根据一些实施例产生基于网格的布局的步骤。为了产生基于网格的布局，对于最大权重生长森林中的每个树，该过程可以逐个树地或逐个节点地进行。在一些实施例中，向用户显示覆盖在几何平面上的单元格网格。该网格可以在四个方向上解除限定(unbound)，并且根单元格可以用作网格的原点，即，行和列坐标各自具有零值，由“<0,0>”表示，其中第一个0表示列，第二个0表示行。网格中的每个单元格都具有相对于根单元格的行和列坐标，下面是负行，上面是正行；左侧为负列，右侧为正列。在一些实施例中，可以改变坐标系，首先列出行然后列出列，并且负数和正数的方向相反。

如果两个单元格的行和列坐标各自相差不超过一个，则该两个单元格彼此相邻，因此每个单元格具有与其相邻的八个单元格。如果两个单元格相邻并且它们的行或它们的列坐标相同，则它们彼此紧密相邻。因此，每个单元格具有与其紧密相邻的四个单元格。如果第二单元格的行和列坐标的量级(magnitude)的最大值大于第一单元格的行和列坐标的量级的最大值，则第二单元格从第一单元格向外。向外相邻的单元格每次增加一个量级。

产生所述网格包括在<0,0>处从根单元格扩展并且在其周围的环中向外行进。在第一示例中，原点周围的第一个环有八个单元格，位于：<-1,-1>,<-1,0>,<-1,1>,<0,-1>,<0,1>,<1,-1>,<1,0>,<1,1>。原点周围的第二个环有16个单元格，位于：<-2,-2>,<-2,-1>,<-2,0>,<-2,1>,<-2,2>,<-1,-2>,<0,-2>,<1,-2>,<-1,2>,<0,2>,<1,2>,<2,-2>,<2,-1>,<2,0>,<2,1>,<2,2>。

为了产生所述基于网格的布局，对应于根节点的缩略图被放置在原点处，如图12A所示。迭代地，在当前生长树中，从具有自根的零个边的根本身开始，按照自根的边的数量增多的顺序考虑当前节点的集合，如图12B和12C中所示。也就是说，首先考虑距离所述根一跳(hop)的所有节点，然后考虑距离所述根两跳的所有节点，依此类推。执行此操作时，每个当前节点都已作为缩略图被放置在网格上。相同的缩略图可能包含多个当前节点。

对于每一当前节点集合(所有节点具有相同数量的至根的边)，在一个实施例中，方法包括：对于每个先前放置的对应于一个或多个当前节点的缩略图，确定其当前节点的子节点的集合的并集；以循环方式，将每个当前缩略图的第一个子缩略图(如果有的话)放置在每个当前缩略图的紧密相邻的空白向外单元格中；并继续以循环方式放置每个当前缩略图的子缩略图。如果相邻的单元格是空的，则使用该单元格，否则，将所述缩略图组合到已经包含当前缩略图的子缩略图的相邻单元格内，优选地与那些在其中具有最少当前节点的先前占用的单元格组合。

图13描绘了基于网格的布局，其注释了图12C的基于网格的缩略图布局的配对，其中添加了父缩略图和子缩略图之间共同对的注释。例如，在场景S5和S20的缩略图中，配对H被注释有符号“#”以指示它们是共同的。在其他实施例中，视觉特征用于指示彼此相关的配对。这样的视觉特征可以包括具有匹配颜色、破折号、粗体等的轮廓或晕圈。例如，作为两个不同的示例，配对H可以在其出现的位置处显示为红色虚线轮廓，并且，配对S可以当它出现在历史视图中时在其上方包括黄色晕圈。在另一实施例中，当当前节点具有不从该当前节点向外的空闲相邻单元格并且当前节点具有作为叶子的子节点时，将该子节点放置在非向外小区中。在另一实施例中，所述根被显示为大于其他节点。在另一实施例中，两个缩略图之间的距离用于确定该缩略图的放置位置以减少布局的整体缩略图距离。在这样的实施例中，如果两个缩略图中的配对出现在两个缩略图中，则该配对的配对距离被确定该配对的两次出现中的现实对象的质心之间的距离。两个缩略图之间的缩略图距离由这些缩略图共同的所有配对的配对距离的总和确定。

图14描绘了根据一些实施例的第二基于网格的显示。特别地，图14描绘了基于网格的显示，其具有根，场景S9的缩略图大于其他缩略图，并且周围缩略图被放置以使得它们的重叠配对之间的距离减小。例如，场景S9和S15的缩略图对于配对D和E而言彼此距离很近，场景S15和S16的缩略图对于配对S而言是接近的，场景S9和S20的缩略图对于配对F而言是接近的，并且场景S20和S5的缩略图对于配对H而言是接近的。在这样的实施例中，缩略图的对齐不符合严格的基于网格的布局(其中每个场景在定义的单元格内)，如场景S9和S11的缩略图所示。

图15描绘了根据一些实施例的利用插入符号的基于网格的显示。特别地，图15描绘了由子场景S102到S107围绕的根场景S101。所述根场景S101包括遍及该场景的缩略图的配对D，E，F，I，L，M和N。配对D，E，F和I都包括插入符号，其指示中心缩略图中的配对与另一个缩略图重叠。当用户与所述插入符号交互时，中心缩略图移动到出现重叠配对的那个缩略图(在指示的方向上出现，如果存在多于一个这样的缩略图的话)。

图16描绘了根据一些实施例的在选择插入符号后的基于网格的显示的视图。在图16的视图中，用户先前在图15所示的场景S101的缩略图中选择了配对D。在选择了配对D之后，场景S105的缩略图变大，并且不直接与图15中的场景S101的缩略图相邻的子场景的其他缩略图大小减小。这里，在选择配对D之前和之后，场景S104的缩略图在图15和图16中可以保持相同的大小。在选择之后，配对D现在出现在场景S105的缩略图中并接近场景S101的缩略图，其中所述插入符号向上指向场景S101的缩略图的方向，意味着配对D是与上面的场景S101的缩略图所共同的。

图17描绘了根据一些实施例的汇总和组织历史增强现实信息的方法1700。方法1700包括在1702处显示第一几何形状，在1704处显示多个第二几何形状，以及在1706处显示一对缩略图。

在1702处显示第一几何形状包括用关于第一多个场景中的第一场景的信息来注释第一几何形状。该信息可以是与历史AR呈现有关的场景和配对信息。

在1704处，显示多个第二几何形状包括：所述第二几何形状中的至少一个被注释有关于所述第一多个场景中的至少一个附加场景的信息。每个附加场景是这样的场景：其中呈现至少一个对象(例如，AR信息项或增强)，且该对象也呈现在第一场景中，并且所述多个第二几何形状中的每个几何形状被布置在显示，以使得它与第一几何形状共享一条边。在一些实施例中，第一多个场景是用户与AR增强或信息项交互的场景。

在一些实施例中，例如，如关于上面的方法100和600所讨论的，基于用户与场景中的配对的交互来选择场景用于显示。所选择的场景被显示为第一几何形状，该第一几何形状用关于第一多个场景的第一子集的第一场景的信息来注释，其中所述第一多个场景的第一子集包括最小数量的场景，在该最小数量的场景中，用户与之交互的所有增强均被展现在用户的视图内。然后显示多个第二几何形状，该第二几何形状被注释有关于所述第一多个场景的所述第一子集的多个附加场景的信息，其中所述第一多个场景的第一子集包括最小数量的场景，在该最小数量的场景中，用户与之交互的所有增强均被展现在用户的视图内。在一些实施例中，每个附加场景是这样的场景：其中用户与之交互的至少一个增强也是用户在第一场景中与之交互的增强；且所述多个第二几何形状中的每个几何形状布置在显示中，使得它与第一几何形状共享一条边。所述第一几何形状和所述多个第二几何形状在AR显示器中被呈现给用户，作为历史AR场景和关联配对的汇总和组织。

在一些实施例中，每个几何形状可以包括特定场景的至少一部分，例如以重叠方式呈现场景以关联场景之间的共同配对。

在一些实施例中，场景或几何形状可以不共享边，但是可以足够接近以使用户理解两个场景之间的空间关系，使得系统仍然可以相互显示场景(例如，如果使用类似于图13的场景的布局)。

在示例性场景中，AR系统用户可以花一天时间在城市的市中心散步。在他们的一天中，AR系统可以收集各种场景，例如图18A-18J中所示的场景。各种AR信息项被呈现于不同场景中，包括提示、优惠券、售价和/或细节等。在一种情况下，用户可能已经与这些AR对象中的每一个进行了交互。

根据如上所述的方法，可以分析所捕获的场景并且呈现紧凑的历史视图，其示出了之前呈现给用户的所有AR信息项。图19示出了在紧凑的历史视图中的来自图18A-18J的场景的最小场景集合，该视图其包括呈现给用户的所有AR信息项。

根据如上所述的另一种方法，如图20所示，可以分析所捕获的场景，并且系统可以生成并显示所述最小场景集合的基于网格的布局，其包括在一天中呈现给用户的所有AR信息项。所述布局可以组织所述最小集合的场景，使得具有共享配对的场景被彼此相邻地显示。

在一个实施例中，存在一种用于提供信息以供增强现实(AR)用户查看的方法，该方法包括：存储关于用户遇到的第一多个场景的信息，该信息包括关于在每个场景中呈现的增强和检测到用户与之交互的增强的信息；确定所述第一多个场景的第一子集，其包括最小数量的场景，在该最小数量的场景中，展现了用户与之交互的所有增强；并且响应于来自所述用户的与历史AR信息的查看相关的输入，呈现关于所述第一多个场景的所述第一子集的信息，该第一子集包括最小数量的场景，在该最小数量的场景中，展现了用户与之交互的所有增强。该方法还可以包括：确定所述第一多个场景的第二子集，其包括最小数量的场景，在该最小数量的场景中具有用户没有与之交互的增强集合且该增强集合不存在于所述第一多个场景的所述第一子集中；并且呈现关于所述第一多个场景的所述第二子集的信息，该第二子集包括最小数量的场景，在该最小数量的场景中具有用户没有与之交互的增强集合且该增强集合不存在于所述第一多个场景的所述第一子集中。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种用于向用户呈现历史增强现实(AR)信息的方法，该方法包括：接收一系列场景，每个场景与具有至少一配对的列表以及具有为零个或更多交互配对的子列表相关联；产生交互场景的第一子集，其一起包括每个交互配对和零个或多个非交互配对，其中产生所述第一子集包括：i)将每个交互场景与相应的交互配对集合相关联；ii)从所述交互配对集合的第一集合产生第一最小集合覆盖；iii)将该集合覆盖映射到相应的第一最小交互场景集合；产生第二场景子集，其包括未包含在所述交互场景的第一子集中的所有非交互配对，其中产生该第二子集包括：i)将每个场景与相应的非交互配对集合关联；ii)从每一非交互配对集合中移除在所述交互场景的第一子集中出现的任何配对；iii)从非交互配对集合的集合产生第二个最小集合覆盖；iv)将该集合覆盖映射到相应的第二最小场景集合；形成最终场景集合作为所述第一和第二子集的并集；以及显示所述最终场景集合中的场景。该方法还可以包括其中接收一系列场景包括接收关于所述场景的时间顺序数据，并且显示所述场景包括以反向时间顺序显示所述场景。该方法还可以包括其中所述一系列场景中的至少一个场景是交互场景。该方法还可以包括：其中将每个交互场景与相应的交互配对集合相关联包括形成交互配对集合。该方法还可以包括：其中将每个场景与相应的非交互配对集合相关联包括形成非交互配对集合的集合。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种方法，该方法包括：接收增强现实(AR)场景集合，该AR场景集合中的至少一个场景具有一关于检测到的现实对象和用于该现实对象的AR增强的配对；从所接收的AR场景集合中确定第一交互AR场景子集，该第一子集中的每个场景包括用户与之交互的配对；从所接收的AR场景集合中确定第二非交互AR场景子集，其中该第二子集中没有场景在所述第一子集中；将所述第一和第二子集组合成最终集合；以及在AR设备上显示所述最终子集。该方法还可以包括：其中确定所述第一交互AR场景子集包括确定最小集合覆盖。该方法还可以包括：其中确定所述第二非交互AR场景子集包括确定最小集合覆盖。该方法还可以包括：其中在AR显示器上显示所述最终子集包括生成所述最终子集中的每个场景的缩略图。该方法还可以包括：响应于检测到AR历史记录请求，在AR场景上显示所述最终子集。该方法还可以包括接收用于显示所述第一子集的用户请求，并且响应地停止显示所述最终子集并在所述AR设备上显示所述第一子集。该方法还可以包括：其中在所述AR设备上显示所述最终子集包括在关联场景上显示配对。该方法还可以包括：其中所显示的配对指示用户与该配对的用户交互已经被检测到。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种增强现实(AR)系统，用于在用户的视图中显示关于现实世界对象的增强现实信息，该系统包括：AR显示器，被配置为从AR用户界面(UI)控制器接收AR显示数据；场景传感器，被配置为检测AR场景；用户交互识别器，被配置为检测用户与所显示的AR信息项的交互，并检测用户历史记录请求；历史场景和配对存储器，被配置为存储历史场景、配对和配对交互数据；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在处理器上执行时可操作以执行以下功能：接收增强现实(AR)场景集合，该AR场景集合中的至少一个场景具有一关于检测到的现实对象和该现实对象的AR增强的配对；从所接收的AR场景集合中确定第一交互AR场景子集，该第一子集中的每个场景包括用户与之交互的配对，并且该第一子集是交互配对的最小集合覆盖；从所接收的AR场景集合中确定第二非交互AR场景子集，其中该第二子集中没有场景在所述第一子集中，且该第二子集是非交互配对的最小集合覆盖；将所述第一和第二子集组合成最终集合；以及在所述AR设备上显示所述最终子集。该系统还可以包括：其中在所述AR显示器上显示所述最终子集包括生成所述最终子集中的每个场景的缩略图。该系统还可以包括响应于检测到AR历史记录请求，在AR场景上显示所述最终子集。该系统还可以包括以下功能集合：接收用于显示所述第一子集的用户请求，以及响应地停止显示所述最终子集并在所述AR设备上显示所述第一子集。该系统还可以包括：其中在AR设备上显示最终子集包括在关联场景上显示配对。该系统还可以包括：其中所显示的配对指示与配对的用户交互已经被检测到。

在一个实施例中，存在一种向用户呈现视觉记录信息的方法，该包括：显示用关于第一多个场景的第一场景的信息注释的第一几何形状；以及显示多个第二几何形状，其被注释有关于所述第一多个场景的多个附加场景的信息，使得：i)每个附加场景是其中呈现了也被呈现在所述第一场景内的至少一个对象的场景；ii)所述多个第二几何形状的每个几何形状布置在显示中，使得它与所述第一几何形状共享边。该方法还可以包括：其中所述至少一个对象是由AR系统呈现的增强。该方法还可以包括：其中所述第一多个场景是用户在其中与AR增强交互的场景。该方法还可以包括：其中所述第一几何形状和每个所述第二几何形状是AR场景的缩略图。该方法还可以包括：其中所述缩略图包括AR配对。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种用于提供供增强现实(AR)用户查看的信息的方法，该方法包括：存储关于用户遇到的第一多个场景的信息，该信息包括关于在每个场景中呈现的增强以及检测到用户与之交互的增强的信息；确定所述第一多个场景的第一子集，其包括最小数量的场景，在该最小数量的场景中，展现了用户与之交互的所有增强；响应于来自用户的与历史AR信息的查看相关的输入，呈现关于所述第一多个场景的所述第一子集的信息，其中该第一子集包括最小数量的场景，在该最小数量的场景中，展现了用户与之交互的所有增强；显示用关于第一多个场景的第一子集的第一场景的信息注释的第一几何形状，其中该第一子集包括最小数量的场景，在该最小数量的场景中，在用户的视图中展现了用户与之交互的所有增强；显示多个第二几何形状，所述多个第二几何形状用关于所述第一多个场景的所述第一子集(其中该第一子集包括最小数量的场景，在该最小数量的场景中，在用户的视图中展现了用户与之交互的所有增强)的多个附加场景的信息进行注释，使得：每个附加场景是这样一个场景：其中用户与之交互的至少一个增强也是用户在第一场景中与之交互的增强，且多个第二几何形状的每个几何形状被布置在显示中，使得它与第一几何形状共享边。该方法还可以包括：其中所述至少一个对象是由AR系统呈现的增强。该方法还可以包括：其中所述第一多个场景是用户在其中与AR增强交互的场景。该方法还可以包括：其中所述第一几何形状和每个所述第二几何形状是AR场景的缩略图。该方法还可以包括：其中所述缩略图包括AR配对。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种用于选择和组织历史增强现实(AR)信息以供显示给用户的方法，该方法包括：接收一系列场景，每个场景与具有至少一配对的列表相关联；迭代地选择场景，直到每一配对被包括在至少一个所选场景中；识别一个或多个根节点，每个中心场景包括：i)从所选场景构建无向加权图，其节点是场景，边链接具有重叠配对的场景，且边权重与重叠配对的数量相等；ii)确定所述图的最大权重生长森林；iii)从所述森林中的每个树中，选择恰好一根作为具有与其连接的边的最高总计权重的节点；从每个根单独开始并且按照自所述根的边的数量增加的顺序而将每个当前节点的子节点的缩略图放置在与该当前节点的单元格相邻的单元格中，生成节点的基于网格的布局；其中迭代地选择场景直到每一配对被包括在至少一个所选场景中包括：选择具有与所选场景共同的配对并引入最多新的配对的场景；并显示父缩略图和子缩略图之间的共同配对。该方法还可以包括：其中产生基于网格的布局包括将相同当前节点的两个或更多个子节点组合到相同的缩略图中并且在这种情况下对所组合的子节点进行组合。该方法还可以包括：其中产生基于网格的布局包括支持用户交互以通过隐藏其他节点来创建空间来临时显示所组合的子节点。该方法还可以包括：其中与接收的场景相关联的配对的列表是其现实对象出现在该场景中的配对的完整列表。该方法还可以包括：其中当生长具有两个或更多个树的森林时，该方法还包括为每个树产生布局并将该布局彼此分开至少一个空单元格的间隙。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

在一个实施例中，存在一种显示历史AR信息的方法，该方法包括：通过以下方式确定历史AR场景的基于网格的布局：i)基于具有所连接的AR配对的最高总计权重的AR场景而选择该AR场景作为根场景；ii)将所述根场景放置在网格的中心点；iii)确定与该根场景相邻放置的AR场景集合，该AR场景集合具有最多数量的与所述根场景共同的配对；为基于网格的布局中包括的每个场景生成缩略图；以及通过AR显示器向用户显示按照基于网格的历史AR场景布局排列的缩略图。该方法还可以包括：其中所述缩略图包括呈现的AR配对信息。该方法还可以包括：其中显示所述缩略图包括注释与相邻缩略图共同的配对。该方法还可以包括：其中与根场景相关联的缩略图大于相邻缩略图。该方法还可以进一步包括：响应于用户与相邻缩略图的所显示的配对的交互，生成更新的基于网格的布局，其中该相邻缩略图充当更新的根场景。在一个实施例中，存在一种系统，其包括处理器和存储指令的非暂时性计算机可读介质，所述指令在被执行时可操作以执行上述方法的任何组合。

虽然在上述中描述了采用特定组合的特征和元素，但是本领域普通技术人员将会认识到，每一个特征或元素既可以单独使用，也可以与其他特征和元素进行任何组合。另外，在此所述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁介质(例如，内部硬盘和可移除磁盘)、磁光介质和光学介质(例如CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (15)

1.一种用于提供信息以供增强现实(AR)用户查看的方法，该方法包括：

存储由AR用户观看的多个场景；

针对所述多个场景中的每一个场景，存储标识以下内容的信息：(i)所述场景中呈现的任何关于现实对象和AR增强的配对，以及(ii)所述场景内所述用户与之交互的任何配对；

从所存储的多个场景中选择第一场景子集，使得所述用户与之交互的每一配对在该第一场景子集中的至少一个场景中呈现；以及

响应于来自所述用户的查看历史AR信息的指令，向所述用户呈现所选择的第一场景子集。

2.根据权利要求1所述的方法，其中每个场景包括由用户观看的现实环境的AR增强图像。

3.根据权利要求1-2中任一项所述的方法，其中所述第一场景子集被进一步选择，以使得所述用户与之交互的每个配对在所述用户与所述配对交互的至少一个场景中呈现。

4.根据权利要求1-3中任一项所述的方法，其中所述第一场景子集被进一步选择，以使得所述第一场景子集包括所存储的多个场景的最小大小子集，其中在该子集中呈现所述用户与之交互的所有配对。

5.根据权利要求1-4中任一项所述的方法，其中所述用户与之交互的配对在所呈现的第一场景子集中被指示。

6.根据权利要求1-5中任一项所述的方法，还包括存储所述多个场景中的每个场景的时间顺序数据，并且其中向所述用户呈现所选择的第一场景子集包括以反向时间顺序呈现所选择的第一场景子集。

7.根据权利要求1-5中任一项所述的方法，还包括选择包括所述用户与之交互的至少一配对的第一场景，并且其中所述第一场景子集被选择以使得该第一子集中的每个场景具有至少一个与所选第一场景共同的配对。

8.根据权利要求7所述的方法，其中将所选择的第一场景子集呈现给所述用户包括：

呈现所选择的第一个场景；以及

呈现所选择的第一场景子集中的每个其他场景的至少一部分，使得所呈现的每个其他场景的至少一部分与所呈现的所选择的第一场景相邻。

9.根据权利要求1-8中任一项所述的方法，还包括：

确定一配对集合，对于该配对集合，(i)所述用户未与之交互；且(ii)未被呈现在所选择的第一场景子集中；

从所存储的多个场景中选择第二场景子集，使得所确定的配对集合中的每一配对被呈现在所述第二场景子集中的至少一个场景中；以及

响应于查看历史AR信息的所述指令，向所述用户呈现所选择的第二场景子集。

10.根据权利要求1-5中任一项所述的方法，其中向所述用户呈现所述第一场景子集还包括：

向所述用户呈现所选择的第一场景子集的第一场景；以及

向所述用户呈现所选择的第一场景子集的多个其他场景，其中该多个其他场景中的每一个场景是也被呈现在所述第一场景中的至少一配对也呈现于其中的场景，并且其中所述多个其他场景中的每个场景被呈现以使得它与所呈现的第一场景相邻。

11.根据权利要求10所述的方法，还包括：响应于确定所述第一场景和所述多个其他场景不包括所选择的第一场景子集的所有场景，向所述用户呈现所述第一场景子集的第二场景，该第二场景未被包括在所述第一场景和所述多个其他场景中。

12.根据权利要求11所述的方法，还包括向所述用户呈现未包括在所述第一场景、所述多个其他场景和第二场景中的所述第一场景子集的至少一个附加场景，其中所述至少一个附加场景是也呈现在所述第二场景中至少一配对呈现于其中的场景，并且其中所述至少一个附加场景中的每一个场景被呈现以使得其与所呈现的第二场景相邻。

13.根据权利要求1-5中任一项所述的方法，还包括：

通过以下方式从所述第一场景子集中识别一个或多个根节点：

构建无向加权图，其中节点是所选择的第一场景子集的场景，边链接着具有重叠配对的场景，且边权重等于重叠配对的数量；

确定所述图的最大权重生长森林；以及

对于所述森林中的每一树，选择恰好一个根，其中该根是所述树中具有与其连接的边的最高总计权重的节点；以及

其中呈现所选择的第一场景子集包括呈现所述节点的基于网格的布局，该布局通过以下而被生成：从每个根单独开始并且按照自所述根的边的数量增加的顺序而将每个当前节点的子节点的缩略图放置在与该当前节点的单元格相邻的单元格中。

14.根据权利要求13所述的方法，其中当生长具有两个或更多个树的所述森林时，还包括为每个树产生布局并且将所述布局彼此隔开至少一个空单元格的间隙。

15.一种系统，包括处理器和存储指令的非暂时性计算机可读存储介质，所述指令在所述处理器上被执行时执行以下功能：

存储由AR用户观看的多个场景；

针对所述多个场景中的每一个场景，存储标识以下内容的信息：(i)所述场景中呈现的任何关于现实对象和AR增强的配对，以及(ii)所述场景内所述用户与之交互的任何配对；

从所存储的多个场景中选择第一场景子集，使得所述用户与之交互的每一配对在该第一场景子集中的至少一个场景中呈现；以及

响应于来自所述用户的查看历史AR信息的指令，向所述用户呈现所选择的第一场景子集。