CN113544749A - 用于在增强现实装置上显示内容的设备和方法 - Google Patents

Abstract

一种用于在增强现实(AR)装置上显示内容的系统包括：捕捉模块，被配置为捕捉用户的视场；记录模块，被配置为记录所捕捉的视场；用户输入控制器，被配置为追踪用户朝向一个或更多个对象的视觉；以及服务器。所述服务器包括确定模块、识别器和分析器。所述确定模块被配置为确定至少一个感兴趣对象。所述识别器被配置为识别包含确定的感兴趣对象的消失的帧。所述分析器被配置为基于所述感兴趣对象的至少一个消失来分析识别的帧，并且生成分析的数据。显示模块被配置为在AR装置上显示所述感兴趣对象的内容。

Description

用于在增强现实装置上显示内容的设备和方法

技术领域

本公开总体上涉及增强现实内容，并且具体地但非排他地涉及用于在增强现实(AR)装置上显示内容的系统和方法。

背景技术

增强现实(AR)是真实世界环境的交互式体验，由此通过计算机生成的跨多种感觉方式(包括视觉、听觉等)的感知信息来增强驻留在真实世界中的对象。增强现实(AR)通过了解用户的视场并且通过使用场景和对象检测技术来支持内容的实时增强。用户可使用可穿戴增强现实(AR)装置来体验增强现实(AR)。

现有的增强现实系统使用一种或更多种对象追踪技术，诸如数码相机和/或其他光学传感器、加速度计、全球定位系统(GPS)、固态罗盘和射频识别(RFID)系统。对象追踪技术提供不同水平的准确度和精度。所述技术中的一种在于追踪眼睛注视以及用户头部的位置和朝向。AR装置中的眼球追踪是测量用户正在看着的注视点或眼睛相对于头部的运动的处理。

通常，每个人都具有他自己的阅读/查看/观察信息/文本/对象的速度。如果对象或该人正在移动，则他的阅读/查看/观察信息/文本/对象的能力会进一步降低。在运动期间，用户需要更多时间来理解信息。用户可仅在特定时间间隔中观看任何对象，在该特定时间间隔期间，该对象在用户的视场中并且在用户与该对象之间没有障碍。

障碍具有一个或更多个特性，诸如，障碍是足够大以部分地或完全地隐藏“用户的感兴趣对象”的对象，使得用户不能适当地看到感兴趣对象(例如，火车或汽车来到用户与感兴趣对象之间)。障碍可以是诸如由于雨、雾等引起的可见性降低的环境条件。障碍可以是由于相对运动引起的感兴趣对象的大小减小。此外，障碍可以是包含感兴趣对象的对象的状态/方向/朝向的改变，这导致感兴趣对象的消失(例如，用户对阅读T恤上的标语感兴趣，而穿着T恤的其他人转向其他方向)。障碍可能是由于用户的视觉区域的限制而引起的。

用户无法防止任何障碍来到他与感兴趣对象之间。用户对感兴趣对象的移动的速度和方向、感兴趣对象的外观(例如，颜色/大小等)和/或环境因素(如可见性、风等)没有任何控制。

美国第9633479号专利公开了时间约束增强现实。在该专利中，预定义的项目列表被用于从场景中识别文档。所识别的文档可能不是用户感兴趣的。US 9633479公开了显示与文档相关的内容直到在AR视图中该文档可用的时刻。虚拟内容与AR中的文档重叠。此外，根据AR装置与场景之间的相对运动来确定场景的查看时间。查看时间是场景将对AR装置可见的估计时间段。此外，基于所确定的查看时间，从虚拟内容的预定范围选择虚拟内容。例如，如果查看时间为10秒，则选择播放时间大约为10秒的视频。基于对所确定的查看时间的比较并且基于对象与用户的相对运动来选择虚拟内容(图像/视频)的类型。US 9633479涉及显示与海报相关的广告。

第20150113454号美国专利申请公布公开了使用眼球追踪技术将上下文数据递送到计算装置。US20150113454利用眼睛注视代替鼠标/触摸板。US20150113454没有公开计算感兴趣对象的内容复杂度的任何特征。在此，不考虑不在视图中的对象。此外，一旦用户从最小停留时间(即，阈值时间)开始查看对象，就采取动作。在此，仅考虑视图中的对象。此外，在识别感兴趣对象时不考虑眼睛瞳孔的扩大。

第EP1422922号欧洲专利申请公布涉及生成和保存与用户的感兴趣区域相关的数据。它考虑眼睛注视来识别用户的感兴趣区域，并且将用户的感兴趣区域与捕捉的图像一起保存。在该公布中，不考虑已经移出视图的对象。也不计算用户的感兴趣区域的内容复杂度。EP1422922公开了在图像捕捉序列期间确定包括相机系统的用户的眼睛的眼睛注视方向的眼睛信息，并且然后将眼睛信息与捕捉的图像相关联。

现有技术文献中没有一个现有技术文献确定用户对看到消失的对象感兴趣。此外，没有现有技术文献确定用户的感兴趣对象的无意消失或有意消失，并且执行对用户与感兴趣对象之间的障碍的分析。现有技术文献中没有一个现有技术文献考虑以下项来自动实时识别感兴趣对象并在AR装置上显示感兴趣对象：通过感兴趣对象的无意消失或(尽管用户感兴趣)有意消失、将被视为“感兴趣对象”的对象上的任何阈值眼睛注视时间、用于确定用户适当地看到对象所需的持续时间的感兴趣对象的内容复杂度、以及作为消失条件的导致感兴趣对象的可见性降低的环境变化(如光照条件、雾、雨)。现有技术文献也没有在无需用户明确请求的情况下将感兴趣对象显示延长的持续时间，并且没有公开即使当感兴趣对象对于用户来说清晰可见时的AR装置中的用户也可注视以请求显示感兴趣对象的AR内容的预定义位置。

因此，需要一种用于在增强现实(AR)装置上显示内容的技术，其限制了上述缺点。

发明内容

问题的解决方案

提供本发明内容以介绍与在增强现实(AR)装置上显示内容有关的构思。本发明内容既不旨在标识本公开的必要特征，也不旨在用于确定或限制本公开的范围。

例如，本文的各种实施例可包括用于在增强现实(AR)装置上显示内容的一个或更多个系统和方法。

根据本公开的各种实施例，一种用于在增强现实(AR)装置上显示内容的计算机实现的方法。所述方法可包括：捕捉用户的视场，记录捕捉的所述视场，追踪用户朝向记录的所述视场中的一个或更多个对象的视觉，确定记录的所述视场中的至少一个感兴趣对象，识别包含确定的感兴趣对象在记录的所述视场中消失的帧，基于所述感兴趣对象的至少一个消失分析识别的所述帧，基于分析的所述帧生成分析的数据，并且在增强现实(AR)装置上基于分析的所述数据显示所述感兴趣对象的内容。

根据本公开的各种实施例，一种用于在增强现实(AR)装置上显示内容的计算机实现的系统包括：存储器，被配置为存储预定义规则；处理器，被配置为与存储器协作，其中，所述处理器被配置为基于所述预定义规则生成系统处理命令；捕捉模块，被配置为捕捉用户的视场；记录模块，被配置为记录捕捉的所述视场；用户输入控制器，被配置为追踪所述用户朝向记录的所述视场中的一个或更多个对象的视觉；以及服务器，被配置为与所述AR装置、所述记录模块和所述用户输入控制器协作。所述服务器可包括：确定模块，被配置为确定记录的所述视场中的至少一个感兴趣对象；识别器，被配置为与所述确定模块协作以接收确定的感兴趣对象，其中，所述识别器被配置为识别包含确定的感兴趣对象在记录的所述视场中消失的帧；以及分析器，被配置为与所述识别器协作以接收识别的所述帧，其中，分析器被配置为基于所述感兴趣对象的至少一个消失来分析所述识别的帧；以及显示模块，被配置为在增强现实(AR)装置上基于分析的所述数据显示所述感兴趣对象的内容。

根据本公开的各种实施例，一种用于在增强现实(AR)装置上显示内容的计算机实现的方法包括：捕捉用户的视场，追踪用户朝向捕捉的所述视场中的感兴趣对象的眼睛注视，识别包含捕捉的所述视场中的感兴趣对象的有意消失的帧，基于有意消失来分析识别的所述帧，基于分析的所述帧生成分析的数据，并且在增强现实(AR)装置上基于分析的所述数据显示所述感兴趣对象的内容。

附图说明

参照附图描述了详细描述。在附图中，附图标号的最左侧的数字标识该附图标号首次出现的附图。在整个附图中使用相同的附图标号来指代相同的特征和模块。

图1示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内容的计算机实现的系统的示意图。

图2示出描绘根据本公开的示例性实施例的图1的用于在增强现实(AR)装置上显示内容的计算机实现的系统的框图。

图3示出根据本公开的示例性实施例的描绘无意消失的示意图。

图4示出根据本公开的示例性实施例的描绘第一对象(对象1)的有意消失的示意图。

图5示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内容的处理的流程图。

图6示出描绘根据本公开的示例性实施例的用于在用户正在注视感兴趣对象时在增强现实(AR)装置上显示内容的处理的流程图。

图7示出描绘根据本公开的示例性实施例的用于当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处理的流程图。

图8示出描绘根据本公开的示例性实施例的用于过滤/增强和扩增记录内容并向用户显示内容以及当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处理的流程图。

图9示出描绘根据本公开的示例性实施例的用于在计算的持续时间内在AR装置中向用户显示感兴趣对象的多媒体内容的处理的流程图。

图10示出描绘根据本公开的示例性实施例的用于在增强现实(AR)装置上显示内容的处理的流程图。

图11示出描绘根据本公开的示例性实施例的用于在有意消失的情况下在增强现实(AR)装置上显示内容的处理的流程图。

图12示出描绘根据本公开的示例性实施例的用于在感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失的情况下在增强现实(AR)装置上显示内容的处理的流程图。

图13示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景。

图14示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景。

图15示出根据本公开的示例性实施例的描绘无意消失的用例场景。

图16A至图16C示出根据本公开的示例性实施例的描绘无意且障碍性消失的用例场景。

图17A至图17B示出根据本公开的示例性实施例的描绘由于用户与对象之间的障碍的可见性丧失而引起的对象的无意消失的用例场景。

图18A至图18D示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景。

图19A至图19F示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景。

图20A至图20C示出根据本公开的示例性实施例的描绘由于用户与对象之间的相对运动而引起的尽管感兴趣的有意消失的用例场景。

图21A至图21F示出根据本公开的示例性实施例的描绘先前感兴趣对象的增强现实(AR)内容的消失的用例场景。

图22A至图22C示出根据本公开的示例性实施例的描绘有意且非障碍性消失的用例场景。

图23A至图23F示出根据本公开的示例性实施例的描绘高速赛车从用户的视图中快速消失的汽车的无意的障碍性消失的用例场景。

图24示出根据本公开的示例性实施例的描绘对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像的处理的用例场景。

本领域技术人员应当理解的是，本文中的任何框图表示体现本公开的原理的说明性系统的概念视图。类似地，应当理解的是，任何流程图、流图等表示可基本上在计算机可读介质中表示并且因此由计算机或处理器执行的各种处理，而无论是否明确示出这样的计算机或处理器。

具体实施方式

在以下描述中，出于解释的目的，阐述了具体细节以便提供对本公开的理解。然而，对于本领域技术人员显而易见的是，可在没有这些细节的情况下实践本公开。本领域技术人员将认识到，本公开的实施例(在下面描述实施例中的一些实施例)可被并入到多个系统中。

本公开的各种实施例提供了一种用于在增强现实(AR)装置上显示内容的计算机实现的系统和方法。

此外，附图中的组件和/或模块之间的连接不旨在限于直接连接。相反，这些组件和模块可被中间组件和模块修改、重新格式化或以其他方式改变。

本公开中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构、特性或功能被包括在本发明的至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不必需均指代相同的实施例。

用于在AR装置上显示内容的计算机实现的系统(下文中称为“系统”)通过可使用AR装置上存在的眼球追踪相机容易地捕捉的用户的眼睛移动、头部移动和注视时间提供对某时刻的用户的查看行为的分析。此外，系统还通过使用多个参数(例如，眼睛注视、眼睛大小、瞳孔大小放大、眉毛、瞳孔和虹膜朝向对象的移动、眨眼、头部移动、头部在对象方向上的突然高速移动、用于追踪对象直到对象消失的头部移动、以多次短注视重复观看相同对象、以及用于识别用户对对象的兴趣的基于自适应学习人工智能(AI)的多模型)来识别用户视场中的对象是否是他感兴趣的。

系统被配置为识别用户对对象的兴趣。利用对象识别和人工智能(AI)技术，系统被配置为识别用户与感兴趣对象之间的任何类型的障碍。系统还确定感兴趣对象的有意消失或无意消失。

在实施例中，AR装置的传感器收集用户的真实世界交互并且通信传送它们以进行处理和解译。相机也位于AR装置的外部，并且可视地进行扫描以收集关于周围区域的数据。装置获取通常确定周围物理对象所处的位置的信息然后制定数字模型以确定适当的输出。例如，在微软全息透镜的情况下，特定相机执行特定职责，诸如深度感测。深度感测相机与AR装置的每一侧上的两个“环境理解相机”协同工作。另一种常见类型的相机是标准的几百万像素相机(类似于智能电话中使用的相机)，该相机用于记录图片、视频并且有时记录用于帮助增强的信息。

在另一实施例中，眼球追踪是测量眼睛活动和注视移动的技术。眼球追踪技术解决与AR的人机交互问题，并改善AR体验的整体视觉质量。正在研究不同类型的眼睛运动并将不同类型的眼睛运动用于眼睛注视研究和应用中，以收集关于用户意图、认知处理、行为和注意力分析的信息。存在不同类型的眼睛运动，诸如凝视(fixation)、扫视、平滑追踪(smooth pursuit)、扫描路径、注视持续时间、瞳孔大小和眨眼、聚散和前庭眼动反射。

凝视：在凝视时，眼睛在移动和视觉输入之间是静止的。凝视是眼睛基本上停止对场景周围进行扫描的那些时间，将中央凹视觉保持在使得视觉系统可获取关于正在看什么的详细信息的位置。凝视相关测量变量包括总凝视持续时间、平均凝视持续时间、凝视空间密度、凝视区域的数量、凝视顺序和凝视率。

扫视：扫视是在凝视之间发生的快速且不自主的眼球运动。可测量的扫视相关参数包括扫视次数、幅度和凝视-扫视比。可自主地或非自主地触发扫视。在此，两个眼球在相同方向上移动。

平滑追踪被用于保持中央凹与移动对象对准。在没有移动目标的情况下，无法自主触发平滑追踪。

扫描路径：扫描路径包括在眼睛到达屏幕上的目标位置之前交替的一系列短凝视和扫视。从扫描路径推导出的移动测量包括扫描路径方向、持续时间、长度和覆盖区域。

注视持续时间：在眼睛离开感兴趣的视场之前在该视场中进行的所有凝视的总和以及在每一个视场中花费的时间的比例。

瞳孔大小和眨眼：测量瞳孔大小和眨眼率。

聚散移动被用于帮助我们聚焦于放置在左眼和右眼沿相反方向移动的不同距离处的对象。

前庭眼动反射被用于在头部和身体移动时保持指向感兴趣点的中央凹。

图1示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的计算机实现的系统100的示意图。

系统100包括AR装置102、网络104和服务器106。

AR装置102与用户(A)相关联。AR装置102经由网络104与服务器106通信地连接。在实施例中，AR装置102包括显示屏、全球定位系统(GPS)、扬声器和可被穿戴在用户耳朵上的头戴式耳机或耳机。AR装置102还包括用于感测用户的运动和动作的一个或更多个传感器。在一个实施例中，传感器包括加速度传感器、倾斜传感器、陀螺仪传感器、三轴磁传感器和接近传感器中的至少一个。

在一个实施例中，网络104包括有线网络和无线网络。有线网络的示例包括广域网(WAN)或局域网(LAN)、客户端-服务器网络、对等网络等。无线网络的示例包括Wi-Fi、全球移动通信系统(GSM)网络和通用分组无线服务(GPRS)网络、增强数据GSM环境(EDGE)网络、802.5通信网络、码分多址(CDMA)网络、蓝牙网络或长期演进(LTE)网络、高级LTE(LTE-A)网络或第五代(5G)网络。

图2示出描绘根据本公开的示例性实施例的用于在图1的AR装置102上显示内容的计算机实现的系统的框图200。

系统100包括AR装置102、服务器106和数据库220。

系统100还包括存储器202、处理器204、捕捉模块206、记录模块208、用户输入控制器210和显示模块218。在实施例中，存储器202、处理器204、捕捉模块206、记录模块208、用户输入控制器210和显示模块218在AR装置102附近或在AR装置102外部，并且独立地执行各种功能。

存储器202被配置为存储与位置的识别、数据提取、信息的确定、文本和图像的识别以及内容复杂度相关的预定规则。在实施例中，存储器202可包括本领域已知的任何计算机可读介质，包括例如易失性存储器(诸如，静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM))和/或非易失性存储器(诸如，只读存储器(ROM)、可擦除可编程ROM、闪存、硬盘、光盘和磁带)。存储器202还包括高速缓冲存储器以更有效地与系统100一起工作。

处理器204被配置为与存储器202协作以读取或加载预定规则。处理器204还被配置为生成系统处理命令。在实施例中，处理器204可被实现为一个或更多个微处理器、微计算机、微控制器、数字信号处理器、中央处理器、状态机、逻辑电路和/或基于操作指令操纵信号的任何装置。在其他能力中，处理器204被配置为从存储器202提取预定规则并且运行系统100的不同模块。

捕捉模块206被配置为捕捉用户的视场。在一个实施例中，捕捉模块206包括相机或扫描仪。捕捉模块206被配置为捕捉与AR装置102相关联的用户的实时视图。

记录模块208被配置为与捕捉模块206协作以接收捕捉的用户的视场。记录模块208还被配置为记录捕捉的用户的视场。

用户输入控制器210被配置为与记录模块208协作以接收记录的视场。用户输入控制器210还被配置为追踪用户朝向记录的视场中的一个或更多个对象的视觉。在实施例中，用户输入控制器210被配置为基于包括以下项的参数中的至少一个来追踪用户的视觉：眼睛注视、眼睛移动方向、头部移动方向、瞳孔扩张、眨眼次数、头部旋转角度、头部旋转速度、面部表情、眼睛大小扩大、瞳孔和虹膜移动、语音识别和/或其他类似参数。

用户输入控制器210包括眼睛注视追踪模块212、头部移动追踪模块214和语音识别模块216。

眼睛注视追踪模块212被配置为通过识别眼睛注视、眼睛移动方向、瞳孔扩张、眨眼次数、面部表情、眼睛大小扩大、瞳孔和虹膜移动和/或其他视觉相关参数来追踪用户的视觉。眼睛注视追踪模块212被配置为获得用户的聚焦区域的信息，以确定用户当前正聚焦在哪个真实对象(或真实对象的增强)上。眼睛注视追踪模块212被配置为追踪多个真实对象和增强对象相对于头部的眼睛移动。在一个实施例中，眼睛注视追踪模块212被配置为收集将作为输入被发送到估计模块232的真实对象的眼睛移动数据和眼睛注视时间以及增强内容的眼睛注视时间。当用户与感兴趣对象之间不存在相对移动时，将不存在或存在最小的眼睛移动。眼睛将保持在舒适的角度，通常处于“向前看”位置(3D聚焦区域)。用户将继续注视对象，并且在用户与感兴趣对象之间将出现障碍。当用户与感兴趣对象之间存在相对移动时，用户持续地转动他的眼睛以跟随对象，直到对象消失在障碍的后面。眼睛瞳孔将在感兴趣对象消失点处保持扩张，从而示出用户对在消失点处的感兴趣对象的兴趣。眨眼次数将保持小于正常次数。在消失点处，眼睛将保持比平常更大。

头部移动追踪模块214被配置为追踪头部移动方向、头部旋转角度、头部旋转速度和其他头部相关参数。头部移动追踪模块214被配置为收集将作为输入被发送到估计模块232的以每秒的度数表示的头部移动的信息。头部移动追踪模块214被配置为追踪用户是否将他的头部转动到最大舒适程度以跟随任何对象。当用户与感兴趣对象之间不存在相对移动时，将不存在或存在最小的头部移动。头部将保持在舒适的角度，通常在“向前看”位置(3D聚焦区域)。用户继续注视对象，并且在用户与对象之间出现障碍。当用户与感兴趣对象之间存在相对移动时，用户持续转动他的头部以跟随对象，直到对象消失在障碍的后面。

语音识别模块216被配置为追踪用户的语音识别。

在实施例中，系统100还包括数据库220。数据库220被配置为存储记录的视场、预定义的时间间隔、预定义的对象类别以及与一个或更多个对象、预定义的旋转角度和用户关于朝向所述一个或更多个对象的至少一个角度的旋转速度相关的数据。

服务器106被配置为与AR装置102、记录模块208和用户输入控制器210协作。服务器106包括确定模块224、识别器226和分析器230。

确定模块224被配置为确定记录的视场中的至少一个感兴趣对象。

识别器226被配置为与确定模块224协作以接收确定的感兴趣对象。识别器226还被配置为识别包含确定的感兴趣对象在记录的视场中消失的帧。在实施例中，识别器226被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来识别帧。在另一实施例中，识别器226被配置为基于视觉时间和阈值时间来识别帧。

在实施例中，识别器226包括对象识别模块228。对象识别模块228被配置为使用深度学习技术从识别的帧中检测和识别感兴趣对象。深度学习技术包括对象识别技术、深度结构化学习技术、层次学习技术或神经网络。

分析器230被配置为与识别器协作以接收识别的帧。分析器230还被配置为基于至少一个意图消失来分析识别的帧，并且生成分析的数据。在实施例中，分析器230被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来分析识别的帧。在另一实施例中，分析器230被配置为通过识别用户对所述一个或更多个对象缺乏兴趣基于有意消失来分析识别的帧。

在另一实施例中，分析器230还包括估计模块232。估计模块232被配置为基于尽管用户对对象感兴趣来确定用户在视场中的期望的概率。分析器230还被配置为识别用户对一个或更多个对象缺乏兴趣。

在另一实施例中，分析器230被配置为通过确定用户与感兴趣对象之间的障碍基于无意消失来分析识别的帧。在实施例中，基于视觉分析、对象识别、眼睛移动、头部移动、头部移动或在感兴趣对象消失之后针对另一对象的注视凝视时间来确定用户与感兴趣对象之间的障碍。在实施例中，通过使用多个传感器来确定用户与感兴趣对象之间的障碍。

在实施例中，分析器230被配置为基于有意消失来分析识别的帧。分析器230被配置为分析在预定义的时间间隔内用户针对感兴趣对象的视觉。分析器230还被配置为使用基于人工智能的多参数模型来识别感兴趣对象的有意的非障碍性消失。模型包括与以下项相关的参数：用户的眼睛移动、用户的参与水平、和用户一起的同伴以及对象类别。分析器230还被配置为对在阈值时间内的从多个传感器接收的数据以及查看数据的执行剖析，然后识别AR装置102的预定位置处的凝视。在多个实施例中的一个实施例中，对象的有意消失是尽管用户对对象感兴趣的消失。

显示模块218被配置为在AR装置102上基于分析的数据显示感兴趣对象的内容。显示模块218被配置为在AR装置102上显示感兴趣对象的内容，其中，所述内容包括感兴趣对象的片段或感兴趣对象的修改版本。通过过滤和增强感兴趣对象的片段来生成感兴趣对象的修改版本。过滤和增强感兴趣对象的片段的步骤包括过滤和增强图像、视频、与感兴趣对象相关的增强信息以及图像、视频和与感兴趣对象相关的增强信息的组合。

显示模块218还被配置为基于AR装置102中的预定义位置处的凝视和阈值时间来突出显示感兴趣对象。在实施例中，阈值时间是基于多个参数而可变的。

在实施例中，显示模块218被配置为在感兴趣对象的无意消失或尽管用户感兴趣的感兴趣对象的有意消失的情况下，并且当用户查看感兴趣对象超过阈值时间量时，在AR装置102上对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像。在示例性实施例中，当用户观看显示器超过阈值时间量时，则在显示器消失时，利用AR装置102完成对显示器的镜像。例如，在手术室中有心跳监测器。医生需要在手术期间频繁地查看心跳监测器。医生穿戴AR装置102，并且查看心跳监测器达阈值时间量。医生将他的头部从心跳监测器转开并开始手术。在医生的AR装置102中示出心跳监测器的实时显示。因此，他不需要每次都将他的头部转向心跳监测器来查看心跳数据。多个计算装置可镜像到单个AR装置。

在实施例中，服务器106包括发送器234。发送器被配置为与分析器230协作以接收分析的数据。发送器234还被配置为将分析的数据发送到AR装置102。在实施例中，发送器234还被配置为通过使用另一AR装置的位置、人工智能(AI)技术或通过使用简档将分析的数据从AR装置102发送到另一AR装置。在实施例中，显示模块218被配置为在另一AR装置上基于分析的数据显示感兴趣对象的内容。

在实施例中，服务器106还包括复杂度识别器236。复杂度识别器236被配置为基于由用户查看感兴趣对象所需的总时间和用户在感兴趣对象消失之前已经查看感兴趣对象的持续时间来计算用户查看感兴趣对象所需的时间。在实施例中，计算用户查看感兴趣对象所需的时间是通过从用户查看感兴趣对象所需的总时间中减去用户在感兴趣对象消失之前已经查看感兴趣对象的持续时间来确定的。

在另一实施例中，复杂度识别器236确定用户的感兴趣对象中的信息量(例如，对象复杂度)，直至令人满意的水平，从而计算用户适当地查看/理解感兴趣对象所需的总时间。在这种情况下，感兴趣对象在用户的视图中可用的持续时间小于用户适当地查看/理解对象所需的总时间，并且用户仍然对感兴趣对象感兴趣。复杂度识别器236在计算的持续时间内在AR装置102上提供用户感兴趣的对象的数字图像或多媒体内容(例如，视频)达用户需要适当地查看/理解感兴趣对象的额外时间。用于计算持续时间的公式如下：

持续时间＝(如由系统计算的查看对象所需的总时间)-(用户已经查看对象的持续时间)

在示例性实施例中，表1示出用于计算内容复杂度的参数中的一些参数的列表，但不限于此。复杂度识别器236可在不同场景中将不同的权重分配给不同参数，以准确地计算内容复杂度。

表1

在另一实施例中，系统100包括内容渲染模块238。内容渲染模块238被配置为基于用户的注视、用户的偏好和当前视图内容来渲染内容在AR装置102上的定位。

在另一实施例中，捕捉模块206被配置为捕捉用户的视场。用户输入控制器210被配置为追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视。识别器226被配置为识别包含感兴趣对象在捕捉的视场中的有意消失的帧。分析器230被配置为基于有意消失来分析识别的帧，并且生成分析的数据。显示模块218被配置为在AR装置102上基于分析的数据显示感兴趣对象的内容。

在另一实施例中，捕捉模块206被配置为捕捉用户的视场。记录模块208被配置为记录捕捉的视场。用户输入控制器210被配置为追踪用户朝向记录的视场中的感兴趣对象的眼睛注视。识别器226被配置为识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的有意消失中的至少一个的帧。分析器230被配置为基于感兴趣对象的无意消失或尽管感兴趣的有意消失中的至少一个来分析识别的帧，并且生成分析的数据。显示模块218被配置为在AR装置102上基于分析的数据显示感兴趣对象的内容。

在实施例中，系统100识别感兴趣对象的无意消失或有意消失，并且即使在对象消失之后，也确定用户对查看感兴趣对象的兴趣。更具体地，系统100在AR装置102(例如，AR眼镜)上提供感兴趣对象的数字图像或多媒体内容。

在示例性实施例中，当用户有兴趣在不同的周围环境中看到周围环境中的对象时，主要是因为感兴趣对象的消失。系统100确定感兴趣对象的消失是无意的还是有意的。系统100考虑以下消失场景：

(基于障碍的)无意消失：在这种场景下，感兴趣对象的消失不受用户的控制。对象由于不受用户控制的因素而消失。例如，在用户与感兴趣对象之间出现障碍，或者用户想要看到感兴趣对象但感兴趣对象移动到墙壁的后面。在实施例中，使用视觉分析、对象识别、利用来自AR装置102的各种传感器的数据监测眼睛和头部移动来确定用户与感兴趣对象之间的障碍。如果消失是无意的(即，由于障碍而引起的)，则在AR装置102上创建并显示感兴趣对象的多媒体内容。

尽管用户对对象感兴趣的(基于非障碍的)有意消失：以下是有意消失的一些示例性实施例：

i.在感兴趣对象在用户的视图中仍然可用的同时，用户将注视移到某个其他对象。例如，用户在注视人的同时避免与他/她直接目光接触。

ii.因为对象超出用户的舒适查看范围，所以用户被迫从感兴趣对象移开注视。例如，感兴趣对象从用户身边走过并走到用户的后面。

iii.用户可在从感兴趣对象移开他的注视之后注视AR装置102中的预定义位置。

在这种场景下，在用户从感兴趣对象移开他的注视之后，通过使用AI模型、对用户数据或来自AR装置102的各种传感器的数据进行剖析来确定用户对查看感兴趣对象的兴趣。在实施例中，针对感兴趣对象创建多媒体内容并将该多媒体内容显示在AR装置102中。

由于用户对对象缺乏兴趣的(基于非障碍的)有意消失：因为用户不再对观看对象感兴趣，所以用户有意地从对象移开注视。在这种场景下，在用户从对象移开他的注视之后，通过对用户数据或来自AR装置102的各种传感器的数据进行剖析来确定用户对查看感兴趣对象缺乏兴趣。

在实施例中，系统100被配置为基于来自AR装置102中的各种传感器的数据来识别用户的感兴趣对象。可使用在AR装置102中可用的各种传感器来识别注视下的对象的标识和确定对对象的注视的持续时间。以下是可用于此目的传感器数据列表：

i.眼睛和头部运动

a.头部移动

b.眼球移动

c.瞳孔扩张

d.眨眼次数

e.眼睛扩大

f.瞳孔和虹膜移动

ii.注视时间

a.凝视

b.扫视

c.平滑追踪

d.注视对象的累积持续时间

当用户注视对象超过阈值时间时，该对象被认为是感兴趣对象。追踪用户已经注视对象的总时间。

图3示出根据本公开的示例性实施例的描绘无意消失的示意图300。

图3示出基于障碍的无意消失。障碍是由于墙壁5而引起的。具体地，在图3中，当感兴趣对象从用户的视场10消失时，当感兴趣对象已经消失在墙壁5的后面时，系统100显示感兴趣对象的多媒体内容。在点1处，对象出现在用户的视场10中。用户在时间t1时(即，在16:10:40时)开始持续注视对象。在点2处，用户注视对象达阈值时间，并且对象变成“感兴趣对象”。在实施例中，用户注视对象达两秒，例如，用户从t1至t2(即，t2＝16:10:42)注视感兴趣对象。系统自动计算注视感兴趣对象的总时间(t2-t1)。在点3处，用户仍然在观看感兴趣对象，但感兴趣对象在时间t3时(即，在16:10:44时)到障碍后面。该点3被称为无意消失。障碍可以是墙壁5。在点4处，系统100被配置为由于障碍出现在用户与感兴趣对象之间而确定感兴趣对象从用户的视图中消失是无意的。然后，系统100在AR装置102上显示感兴趣对象的内容(即，数字图像或多媒体内容)。在实施例中，当跟随感兴趣对象时，系统100追踪如点6所示出的头部移动方向、如点7所示出的眼睛注视方向、如点8所示出的在查看感兴趣对象时瞳孔尺寸的变化以及如点9所示出的诸如眨眼、面部表情等的其他参数。

图4示出根据本公开的示例性实施例的描绘第一对象(对象1)的有意消失的示意图400。

图4示出有意消失并且用户示出对对象缺乏兴趣。在图4中，用户将他的注视从一个对象移动到另一对象。在点1处，第一对象出现在用户的视图5a中。用户在时间t1时(即，在16:10:40时)如点6所示出的开始持续地观看第一对象。在点2处，用户注视对象达阈值时间，并且对象变成“感兴趣对象”。在实施例中，用户注视对象达两秒，例如，用户从t1至t2(t2＝16:10:42)注视感兴趣对象。系统自动计算注视感兴趣对象的总时间(t2-t1)。在点3处，用户甚至在第一对象离开视线之前从第一对象转动他的头部，并且在时间t3时(即，在16:10:44时)如点7所示出的开始持续地注视第二对象。该点3被称为第一对象从用户的视场5a的有意消失。障碍可以是墙壁4。由于用户从用户的视场5a持续观看了第一对象，然后转动他的头部以注视第二对象，因此第一对象从用户的视场5a的消失是有意的，这是因为用户有机会在障碍到达4的同时持续观看第一对象达一段时间，但他移动他的注视以从视场5b看到另一对象。在这种情况下，即使用户观看了对象达阈值时间，也不在AR装置102上显示第一对象。

图5示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的处理的流程图500。

流程图500从步骤502开始，在步骤502，基于对用户眼睛和移动的持续自动追踪，监测和存储用户视场中的对象的视频/图像。在实施例中，捕捉模块206被配置为捕捉用户的视场中的多个对象的视频/图像，并且记录模块208被配置为记录、监测和存储用户的视场中的对象的视频/图像。用户输入控制器210被配置为追踪用户的眼睛和移动。

在步骤502，处理包括基于阈值注视时间和其他参数来确定感兴趣对象。在实施例中，确定模块224基于阈值注视时间和其他参数来确定感兴趣对象。

在步骤504，处理包括检测“感兴趣对象”的消失。在一个实施例中，识别器226被配置为检测感兴趣对象的消失。

在步骤508，处理包括检查对象的消失是有意的还是无意的。在实施例中，识别器226被配置为识别对象的消失是有意的还是无意的。如果如步骤510所示出的感兴趣对象的消失是有意的，则有意消失还通过两个条件(即，如步骤514所示出的用户缺乏兴趣，或者如步骤518所示出的尽管感兴趣)来识别。在实施例中，尽管感兴趣是基于非障碍的。如果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步的处理516丢弃感兴趣对象，并且用户将不会在点2处受到不必要的干扰。如果如步骤518所示出的感兴趣对象的消失是基于尽管感兴趣的，则如步骤520所示，系统在AR装置102中向用户显示“感兴趣对象”的多媒体内容。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容。

如果如步骤512所示出的感兴趣对象的消失是无意的，则如步骤520所示，系统在AR装置102中向用户显示“感兴趣对象”的多媒体内容。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容。在一个实施例中，系统100在用户需要辅助显示以用于查看感兴趣对象时提供辅助显示，直到用户有兴趣在点1处查看感兴趣对象的时刻。

图6示出描绘根据本公开的示例性实施例的用于在用户注视感兴趣对象时在AR装置上显示内容的处理的流程图600。

流程图600从步骤602开始，在步骤602，基于对用户眼睛和移动的持续自动追踪，监测和存储用户视场中的对象的视频/图像。在实施例中，捕捉模块206被配置为捕捉用户的视场中的多个对象的视频/图像，并且记录模块208被配置为记录、监测和存储用户的视场中的对象的视频/图像。用户输入控制器210被配置为追踪用户的眼睛和移动。

在步骤604，该处理包括基于阈值注视时间和其他参数来确定感兴趣对象。在实施例中，确定模块224被配置为基于阈值注视时间和其他参数来确定感兴趣对象。

在步骤606，该处理包括检测“感兴趣对象”的消失。在实施例中，识别器226被配置为检测感兴趣对象的消失。

在步骤608，该处理包括检查对象的消失是有意的还是无意的。在实施例中，识别器226被配置为识别对象的消失是有意的还是无意的。如果如步骤610所示出的感兴趣对象的消失是有意的，则有意消失还通过两个条件(即，如步骤614所示出的用户缺乏兴趣，或者如步骤618所示出的尽管感兴趣)来识别。在实施例中，尽管感兴趣是基于非障碍的。如果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理(616)丢弃感兴趣对象，并且用户将不会在点2处受到不必要的干扰。如果如步骤618所示出的感兴趣对象的消失是基于尽管感兴趣的，则如步骤620所示出，系统在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户注视感兴趣对象的时刻。

如果如步骤612所示出的感兴趣对象的消失是无意的，则如步骤620所示出，系统在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，系统100在用户需要辅助显示以查看感兴趣对象时提供辅助显示，直到用户有兴趣在点1处查看感兴趣对象的时刻。

图7示出描绘根据本公开的示例性实施例的用于当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处理的流程图700。

流程图700从步骤702开始，在步骤702，基于对用户眼睛和移动的持续自动追踪，监测和存储用户视场中的对象的视频/图像。在实施例中，捕捉模块206被配置为捕捉用户的视场中的多个对象的视频/图像，并且记录模块208被配置为记录、监测和存储用户的视场中的对象的视频/图像。用户输入控制器210被配置为追踪用户的眼睛和移动。

在步骤704，该处理包括基于阈值注视时间和其他参数来确定感兴趣对象。在实施例中，确定模块224被配置为基于阈值注视时间和其他参数来确定感兴趣对象。

在步骤706，该处理包括检测“感兴趣对象”的消失。在实施例中，识别器226被配置为检测感兴趣对象的消失。

在步骤708，该处理包括检查对象的消失是有意的还是无意的。在实施例中，识别器226被配置为识别对象的消失是有意的还是无意的。如果如步骤710所示出的感兴趣对象的消失是有意的，则有意消失还通过两个条件(即，如步骤714所示出的用户缺乏兴趣，或者如步骤718所示出的尽管感兴趣)来识别。在实施例中，尽管感兴趣是基于非障碍的。如果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理716丢弃感兴趣对象，并且用户将不会在点2处受到不必要的干扰。如果如步骤712所示出的感兴趣对象的消失是基于尽管感兴趣的，则如步骤720所示，系统在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。

如果如步骤712所示出的感兴趣对象的消失是无意的，则如步骤720所示出的在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，系统100提供辅助显示直到用户有兴趣查看它的时刻，其中，辅助显示在点1处快速消失。

在步骤722，用户将他的注视从AR装置102上显示的多媒体内容移开。

在步骤724，该处理包括从AR装置102移除多媒体内容。在实施例中，如果用户将他的注视从多媒体内容移开，则系统100自动移除多媒体内容。

图8示出描绘根据本公开的示例性实施例的用于过滤/增强和扩增记录内容并向用户显示内容以及当用户将他的注视从多媒体内容移开时从AR装置移除多媒体内容的处理的流程图800。

流程图800从步骤802开始，其中，基于对用户眼睛和移动的持续自动追踪，监测和存储用户视场中的对象的视频/图像。在实施例中，捕捉模块206被配置为捕捉用户的视场中的多个对象的视频/图像，并且记录模块208被配置为记录、监测和存储用户的视场中的对象的视频/图像。用户输入控制器210被配置为追踪用户的眼睛和移动。

在步骤804，该处理包括基于阈值注视时间和其他参数来确定感兴趣对象。在一个实施例中，确定模块224被配置为基于阈值注视时间和其他参数来确定感兴趣对象。

在步骤806，该处理包括检测“感兴趣对象”的消失。在实施例中，识别器226被配置为检测感兴趣对象的消失。

在步骤808，该处理包括检查对象的消失是有意的还是无意的。在一个实施例中，识别器226被配置为识别对象的消失是有意的还是无意的。如果如步骤810所示出的感兴趣对象的消失是有意的，则有意消失还通过两个条件(即如步骤814所示出的用户缺乏兴趣，或者如步骤818所示出的尽管感兴趣)来识别。在实施例中，尽管感兴趣是基于非障碍的。如果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理816丢弃感兴趣对象，并且用户将不会在点2处受到不必要的干扰。如果如步骤818所示出的感兴趣对象的消失是基于尽管感兴趣的，则在步骤820，系统100通过过滤/增强和扩增记录内容来生成辅助内容。在实施例中，显示模块218被配置为在AR装置102上显示感兴趣对象的内容，其中，感兴趣对象的内容包括感兴趣对象的片段或感兴趣对象的修改版本。通过过滤和增强感兴趣对象的片段来生成感兴趣对象的修改版本。过滤和增强感兴趣对象的片段的步骤包括过滤和增强图像、视频、与感兴趣对象相关的增强信息及其图像、视频和与感兴趣对象相关的增强信息的组合。

在步骤822，该处理包括在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。在实施例中，显示模块218被配置为在AR装置102中向用户显示“感兴趣对象”的多媒体内容直到用户正在注视感兴趣对象的时刻。

如果如步骤812所示出的感兴趣对象的消失是无意的，则在步骤820，系统100通过过滤/增强和扩增记录内容来生成辅助内容。在实施例中，显示模块218被配置为在AR装置102上显示感兴趣对象的内容，其中，感兴趣对象的内容包括感兴趣对象的片段或感兴趣对象的修改版本。通过过滤和增强感兴趣对象的片段来生成感兴趣对象的修改版本。过滤和增强感兴趣对象的片段的步骤包括过滤和增强图像、视频、与所述感兴趣对象相关的增强信息及其图像、视频和与所述感兴趣对象相关的增强信息组合。在实施例中，系统100提供辅助显示直到用户有兴趣查看它的时刻，其中，辅助显示在点1处快速消失。

在步骤824，用户将他的注视从AR装置102上显示的多媒体内容移开。

在步骤826，该处理包括从AR装置102移除多媒体内容。在实施例中，如果用户将他的注视从多媒体内容移开，则系统100自动移除多媒体内容。

图9示出描绘根据本公开的示例性实施例的用于在计算的持续时间内在AR装置中向用户显示感兴趣对象的多媒体内容的处理的流程图900。该处理从步骤902开始，在步骤902，基于对用户眼睛和移动的持续自动追踪，监测和存储用户视场中的对象的视频/图像。在实施例中，捕捉模块206被配置为捕捉用户的视场中的多个对象的视频/图像，并且记录模块208被配置为记录、监测和存储用户的视场中的对象的视频/图像。用户输入控制器210被配置为追踪用户的眼睛和移动。

在步骤904，该处理包括基于阈值注视时间和其他参数来确定感兴趣对象。在一个实施例中，确定模块224被配置为基于阈值注视时间和其他参数来确定感兴趣对象。

在步骤906，该处理包括检测“感兴趣对象”的消失。在实施例中，识别器226被配置为检测感兴趣对象的消失。

在步骤908，该处理包括检查对象的消失是有意的还是无意的。在一个实施例中，识别器226被配置为识别对象的消失是有意的还是无意的。如果如步骤910所示出的感兴趣对象的消失是有意的，则有意消失还通过两个条件(即如步骤914所示出的用户缺乏兴趣，或者如步骤918所示出的尽管感兴趣)来识别。在实施例中，尽管感兴趣是基于非障碍的。如果有意消失是由于用户缺乏兴趣而引起的，则系统100从进一步处理916丢弃感兴趣对象，并且用户将不会在点2处受到不必要的干扰。

如果如步骤912所示出的感兴趣对象的消失是基于尽管感兴趣的，则系统100确定“感兴趣对象”的内容复杂度，并且计算用户读/查看感兴趣对象所需的时间(TR)。在实施例中，复杂度识别器236被配置为确定“感兴趣对象”的内容复杂度，并计算用户读取/查看感兴趣对象所需的时间(TR)。

在步骤920，该处理包括通过使用以下公式来计算向用户示出内容的持续时间：

持续时间＝TR-(ToD-ToA)

在实施例中，复杂度识别器236被配置为计算向用户示出内容的持续时间。

在步骤922，如步骤922所示出的该处理包括在计算的持续时间内在AR装置102中向用户显示“感兴趣对象”的多媒体内容。在实施例中，显示模块218被配置为在计算的持续时间内在AR装置102中向用户显示“感兴趣对象”的多媒体内容。

如果如步骤912所示出的感兴趣对象的消失是无意的，则系统100确定“感兴趣对象”的内容复杂度，并且计算用户复杂读/查看感兴趣对象所需的时间(TR)。在实施例中，复杂度识别器236被配置为确定“感兴趣对象”的内容复杂度，并且计算用户复杂读/查看感兴趣对象所需的时间(TR)。实施例中，系统100在用户需要辅助显示以用于查看感情需对象时提供辅助显示，直到用户有兴趣在点1处观看它。

图10示出描绘根据本公开的示例性实施例的用于在AR装置上显示内容的处理的流程图1000。

流程图1000从捕捉用户的视场的步骤1002开始。在实施例中，捕捉模块206被配置为捕捉用户的视场。

在步骤1004，该处理包括记录捕捉的视场。在实施例中，记录模块208被配置为记录捕捉的视场。

在步骤1006，该处理包括追踪用户朝向记录的视场中的一个或更多个对象的视觉。在实施例中，用户输入控制器210被配置为追踪用户朝向记录的视场中的一个或更多个对象的视觉。

在步骤1008，该处理包括确定记录的视场中的至少一个感兴趣对象。在实施例中，确定模块224被配置为确定记录的视场中的至少一个感兴趣对象。

在步骤1010，该处理包括识别包含确定的感兴趣对象在记录的视场中消失的帧。在一个实施例中，识别器226被配置为识别包含确定的感兴趣对象在记录的视场中消失的帧。

在步骤1012，该处理包括基于至少一个意图消失来分析识别的帧。在实施例中，分析器230被配置为基于至少一个意图消失来分析识别的帧。

在步骤1014，该处理包括基于分析的帧生成分析的数据。在一个实施例中，分析器230被配置为基于分析的帧生成分析的数据。

在步骤1016，该处理包括在AR装置102上基于分析的数据显示感兴趣对象的内容。在实施例中，显示模块218被配置为在AR装置102上基于分析的数据显示感兴趣对象的内容。

图11示出描绘根据本公开的示例性实施例的用于在有意消失的情况下在AR装置上显示内容的处理的流程图1100。

流程图1100从捕捉用户的视场的步骤1102开始。在实施例中，捕捉模块206被配置为捕捉用户的视场。

在步骤1104，该处理包括追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视。在一个实施例中，用户输入控制器210被配置为追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视。

在步骤1106，该处理包括识别包含感兴趣对象在捕捉的视场中的有意消失的帧。在一个实施例中，识别器226被配置为识别包含感兴趣对象在捕捉的视场中的有意消失的帧。

在步骤1108，该处理包括基于有意消失来分析识别的帧。在实施例中，分析器230被配置为基于有意消失来分析识别的帧。

在步骤1110，该处理包括基于分析的帧生成分析的数据。在一个实施例中，分析器230被配置为基于分析的帧生成分析的数据。

在步骤1112，该处理包括基于分析的数据在AR装置102上显示感兴趣对象的内容。在实施例中，显示模块218被配置为基于分析的数据在AR装置102上显示感兴趣对象的内容。

图12示出描绘根据本公开的示例性实施例的在感兴趣对象的无意消失或者尽管感兴趣的有意消失的情况下在AR装置上显示内容的处理的流程图1200。

流程图1200从捕捉用户的视场的步骤1202开始。在实施例中，捕捉模块206被配置为捕捉用户的视场。

在步骤1204，该处理包括记录捕捉的视场。在实施例中，记录模块208被配置为记录捕捉的视场。

在步骤1206，该处理包括追踪用户朝向记录的视场中的感兴趣对象的眼睛注视。在实施例中，用户输入控制器210被配置为追踪用户朝向记录的视场中的感兴趣对象的眼睛注视。

在步骤1208，该处理包括识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的有意消失中的至少一个的帧。在一个实施例中，识别器226被配置为识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的有意消失中的至少一个的帧。

在步骤1210，该处理包括基于感兴趣对象的无意消失或尽管感兴趣的有意消失中的至少一个来分析识别的帧。在一个实施例中，分析器230被配置为基于感兴趣对象的无意消失或尽管感兴趣的有意消失中的至少一个来分析识别的帧。

在步骤1212，该处理包括基于分析的帧生成分析的数据。在一个实施例中，分析器230被配置为基于分析的帧生成分析的数据。

在步骤1214，该处理包括基于分析的数据在AR装置102上显示感兴趣对象的内容。在实施例中，显示模块218被配置为基于分析的数据在AR装置102上显示感兴趣对象的内容。

在如上所述的各种实施例中，AR装置102响应于对象的有意或无意消失而显示感兴趣对象的内容。在另一实施例中，AR装置可在显示感兴趣对象的内容之前显示指示(例如，用于警报或提醒的弹出窗口)。例如，指示可包括通知对象的内容被记录的消息、用于输入显示内容的命令的至少一个项(例如，按钮)。

在实施例中，指示被显示在AR装置102或另一装置处。例如，另一装置可以是可穿戴装置，诸如，与AR装置102配对的手表。在这种情况下，如果用户触摸显示在所述另一装置上的指示，则AR装置102在AR装置102的显示器上显示感兴趣对象的内容。

在实施例中，在从感兴趣对象消失的时刻起经过预定义时间之后显示指示。在这种情况下，在经过预定义时间之前，AR装置102可在对象消失与显示指示之间的时间段的至少一部分期间显示感兴趣对象的内容。

图13示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景1300。

在图13中，由于用户在直接的目光接触的情况下感到尴尬，因此用户正在间歇地看他的爱慕对象(crush)。在示例性实施例中，A先生正在通过间歇注视来看他的爱慕对象(B女士)以避免进行直接目光接触的尴尬情况。A先生的每次注视的持续时间小于阈值时间。系统100发现A先生多次注视B女士。系统100还分析各种参数，如全部眼睛注视的总括持续时间、眼睛注视B女士的凝视、头部移动方向和速度、在看B女士时的眼睛瞳孔宽度、在看B女士时的避免眨眼、面部表情等。当对B女士的总括注视时间超过阈值时间时，系统100将她视为A先生的感兴趣对象。系统100通过各种参数确定A先生对看B女士的图像的强烈意图。系统100确定应当在A先生的AR装置中示出B女士的图像。系统100创建B女士的虚拟图像并且在AR装置102中向A先生示出虚拟图像，使得他可在不直接看向B女士的情况下看到虚拟图像。表2表示A先生对B女士的总注视时间。

表2

图14示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景1400。

在图14中，用户看着AR装置102中的预定义区域，以在感兴趣对象消失之前在AR装置102中看他的感兴趣对象。A先生想看他的爱慕对象(B女士)。但他不想与她进行目光接触。A先生注视B女士达阈值时间量。他从B女士移开他的注视并看着AR装置102中的预定义位置。系统100将其确定为在AR装置102中示出感兴趣对象的请求。系统100根据B女士的面部准备多媒体内容，并且在AR装置102中显示该内容。现在，A先生可在不直接看着她的情况下在AR装置102中看B女士。

图15示出根据本公开的示例性实施例的描绘无意和障碍性消失的用例场景1500。

在图15中，向用户提供感兴趣对象的最佳可用视图。这里，感兴趣对象的状态改变，即，感兴趣对象转动他的头部并且不能适当地看到它。在1502，B先生出现的点在A先生的AR装置102的视图中。A先生正在看着其他地方。在1504，A先生开始注视B先生。在1506，B先生从A先生的视图中消失。这种消失被称为无意消失。即使B先生的最佳可用视图从未被A先生看到，系统100也将B先生的最佳可用视图用于在AR中向A先生示出。在1508，A先生稍晚开始注视B先生并错过他的面部的正面视图。系统100确定A先生对看到B先生感兴趣，并且发现A先生不能有机会看到B先生的正面视图。由于A先生的注视和头部移动跟随B先生直到消失点，因此B先生从A先生的视图中消失是无意的。系统100从记录的内容中获取B先生的正面视图，并且将其显示给A先生。系统100考虑诸如以下参数：在跟随对象的同时的头部移动方向1510、A先生的AR装置看B先生的时间段1512、A先生看B先生的时间段1514和障碍1516。

图16A至图16C示出根据本公开的示例性实施例的描绘由于用户与对象之间的障碍而引起的对象的无意消失的用例场景1600。

在图16A中，A先生已经在铁路轨道的另一侧阅读广告板超过阈值时间量。一列火车正在接近。在图16B中，在他仍然在阅读该广告板的同时，接近的火车来到A先生与广告板之间。A先生不能完整地阅读该广告板。在图16C中，系统100确定A先生仍然对该广告板感兴趣。系统100创建虚拟内容并在A先生的AR装置中显示虚拟内容。

图17A至图17B示出根据本公开的示例性实施例的描绘由于用户与对象之间的障碍的可见性丧失而引起的对象的无意消失的用例场景1700。

在图17A中，用户正在海洋中潜水。他看鱼超过阈值时间。在图17B中，鱼突然开始非常快地游并且在用户前方消失在黑暗的水中。系统100在用户的AR装置102中显示鱼的图像。

图18A至图18D示出根据本公开的示例性实施例的描绘尽管用户感兴趣的有意消失的用例场景1800。

在图18A中，用户正在街道上行走，看着在他的途中出现的各种对象。穿着标语T恤的另一个人进入用户的视场。在图18B中，用户看到来自相反方向的女士的t恤上的标语。用户想要阅读标语，但对于持续注视T恤感到尴尬。因此，用户以间歇注视观看t恤。这些间歇注视超过阈值时间。在图18C中，由于查看角度、其间的障碍和内容的复杂度，用户不能完整阅读t恤上的标语。用户在间歇注视的情况下保持将他的头部和眼睛朝向标语移动。在图18D中，女士从用户身边走过。现在标语在用户的视图之外。系统100重新创建标语的最佳可能图像以及附加信息。该图像被示出在AR装置102中。现在，用户可在没有任何尴尬的情况下在他的AR装置102中阅读标语。

图19A至图19F示出根据本公开的示例性实施例的描绘由于用户与对象之间的相对运动而引起的尽管感兴趣的有意消失的用例场景1900。

在图19A中，用户正在穿戴着AR装置102并且正在乘车行进。在16:02:15，他正在注视着在他的途中出现的各个对象。在图19B中，在16:02:16，用户正在注视着在他的途中出现的一个特定对象(电影海报)。在图19C中，用户保持注视电影海报超过阈值时间(～3秒)。系统计算海报的内容复杂度。系统确定用户需要10秒才能适当地看完海报。在图19D中，用户继续转动他的头部并移动他的眼睛，以继续注视电影海报。在图19E中，当汽车继续移动时，电影海报移出用户的视线。用户只能观看海报达5秒(从16:02:16～16:02:21)。用户保持转动他的头部和眼睛，以尽可能长时间地看着电影海报。系统确定用户仍然对观看海报感兴趣。用户无法获得足够的时间(如由系统计算的10秒)来看海报。在图19F中，系统重新创建海报的最佳可能图像以及附加信息，并且在AR装置102中示出具有附加信息的图像。此AR内容不阻挡正常视图。将向用户示出该内容直到“16:02:26”(再多5秒)或直到用户对内容感兴趣。

图20A至图20C示出根据本公开的示例性实施例的描绘由于光/可见性和其他环境条件而引起的尽管感兴趣的有意消失的用例场景2000。

在图20A中，用户正在检查写在商店的玻璃上的文本。在图20B中，用户通过转动他的头部并注视向文本来示出他对写在玻璃上的文本的兴趣。由于眩光、字体颜色、背景和光照，文本难以阅读。用户继续朝向文本移动他的头部和眼睛。在图20C中，用户走过商店。由于眩光、字体颜色、背景和光照，他无法完全阅读玻璃上的文本。系统100识别文本对于用户不是清晰可见的。它重新创建文本并在AR装置102中将其与增强信息一起示出给用户。

图21A至图21F示出根据本公开的示例性实施例的描绘先前感兴趣对象的AR内容的消失的用例场景2100。

在图21A中，用户正在乘车行进。他已经一直在阅读路边广告-1板超过阈值时间量。他的车在他读完广告-1板之前向前移动。在图21B中，广告-1在A先生的视图之外。系统100确定用户仍然对广告-1感兴趣。系统100创建广告-1的虚拟图像，并在用户的AR装置102中示出虚拟图像。在图21C中，用户尚未完成在AR装置101中阅读广告-1内容。然而，他将他的头部和眼睛注视朝向他的视图中的另一个感兴趣的路边广告-2移动。系统100移除广告-1的AR内容。在图21D中，用户观看广告-2超过阈值时间量。广告-2不在用户的视图中。系统100确定用户仍然对广告-2感兴趣。在图21E中，系统100还创建广告-2的虚拟内容，并且在用户的AR装置中示出虚拟内容。在图21F中，广告-2的虚拟图像超时并且在用户已经完成观看虚拟图像之后消失。用户继续乘车行进并且继续注视在他的途中出现的各个对象。

图22A至图22C示出根据本公开的示例性实施例的描绘有意和非障碍性消失的用例场景2200。

在图22A中，用户看到在相反方向上前进的自动扶梯上的陌生人。他怀疑他是否在某处看到过该陌生人。他一直转动他的头来看陌生人的脸。在图22B中，用户有更少的时间来适当地看陌生人。他持续注视着该陌生人。这使得他们都不舒服。在图22C中，陌生人走过用户。用户在他的AR装置102中获得该陌生人的信息。

图23A至图23F示出根据本公开的示例性实施例的描绘高速赛车从用户的视图中快速消失的汽车的无意的障碍性消失的用例场景2300。

在图23A中，用户正在观看赛车。汽车以非常高的速度经过他。汽车进入用户的视场并且甚至在阈值时间之前离开用户的视场。在图23B中，用户在任何汽车离开他的视图之前仅有2秒来看着该汽车。该时间小于将汽车视为感兴趣对象所需的阈值时间。当汽车接近他时，他仅注视着汽车，并且他的头部快速转动以跟随汽车。系统考虑多个因素来识别感兴趣对象。在这种情况下，一旦一个对象可见，用户就仅观看该对象，并且观看该对象直到该对象消失。由于头部移动和眼睛注视更突出，因此降低阈值时间的权重，并且汽车被认为是感兴趣对象。在图23C中，用户必须快速转动他的头部以看到汽车。在图23D中，汽车快速地离开用户的视图。用户继续向着汽车移动他的头部和眼睛。在这种情况下，一旦一个对象可见，用户就仅观看该对象，并且观看该对象直到该对象消失。对象可见的总时间非常短。由于头部移动和眼睛注视更突出，因此减小阈值时间，并且汽车被认为是感兴趣对象。考虑多个因素来识别感兴趣对象。在图23E中，汽车离开用户的视线。系统计算对象复杂度并识别汽车移动非常快。如图23F所示出的，系统100从相机记录创建视频，并且以慢的回放速度在AR装置102中示出视频。

图24示出描绘根据本公开的示例性实施例的对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像的处理的用例场景2400。

具体地，图24示出执行手术的医生的AR眼镜上的心跳监测器的实时读取。在手术期间，医生穿戴着AR装置并持续观看心跳监测器。AR装置继续追踪心跳监测器达阈值时间。当医生将他们的头部转向手术台时，来自心跳监测器的实时数据被传送到相应的AR装置。

在实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的方法。所述方法可包括：捕捉用户的视场，记录捕捉的视场，追踪用户朝向记录的视场中的一个或更多个对象的视觉，确定记录的视场中的至少一个感兴趣对象，识别包含确定的感兴趣对象在记录的视场中消失的帧，基于感兴趣对象的至少一个消失分析识别的帧，基于分析的帧生成分析的数据，并且在增强现实(AR)装置上基于分析的数据显示感兴趣对象的内容。

可基于感兴趣对象在记录的视场中的有意消失或无意消失来识别帧。

可基于感兴趣对象在记录的视场中的有意消失或无意消失来分析识别的帧。

所述方法还可包括在数据库中存储记录的视场、预定义的时间间隔、预定义的对象类别以及与一个或更多个对象、预定义的旋转角度和用户在朝向所述一个或更多个对象的至少一个角度上的旋转速度相关的数据。

可基于有意消失来分析识别的帧，并且分析识别的帧的步骤可包括识别用户对所述一个或更多个对象缺乏兴趣。

可使用阈值时间来执行确定至少一个感兴趣对象的步骤。

可基于视觉时间和阈值时间来识别帧。

可基于无意消失来分析识别的帧，并且分析识别的帧的步骤可包括确定用户与感兴趣对象之间的障碍。

可基于视觉分析、对象识别、眼睛移动、头部移动或在感兴趣对象消失之后针对另一对象的注视凝视时间来确定用户与感兴趣对象之间的障碍。

可通过使用多个传感器来确定用户与感兴趣对象之间的障碍。

可基于包括以下项的参数中的至少一个来追踪用户的视觉：眼睛注视、眼睛移动方向、头部移动方向、瞳孔扩张、眨眼次数、头部旋转角度、头部旋转速度、面部表情、眼睛尺寸扩大、瞳孔和虹膜移动以及语音识别。

基于有意消失来分析识别的帧的步骤可包括：分析在预定义的时间间隔内用户针对感兴趣对象的视觉，使用基于人工智能的多参数模型来识别感兴趣对象的有意非障碍性消失，其中，模型包括与用户的眼睛移动、用户的参与水平、与用户一起的同伴以及对象类别相关的参数，剖析在阈值时间内的从传感器接收的数据以及查看数据，以及识别在AR装置的预定位置处的凝视。

对象的有意消失可以是尽管用户对对象感兴趣的消失。

方法还可包括基于尽管用户对对象感兴趣来确定用户对视场预期的概率。

在另一实施例中，所述方法还可包括识别用户对对象缺乏兴趣。

显示感兴趣对象的内容的步骤可包括在增强现实(AR)装置上显示感兴趣对象的片段或感兴趣对象的修改版本。

可通过过滤和增强感兴趣对象的分段来生成感兴趣对象的修改版本。

所述方法还可包括基于对象信息计算用户查看感兴趣对象所需的时间。

可基于用户查看感兴趣对象所需的总时间和用户在消失之前已经查看感兴趣对象的持续时间来确定计算用户查看感兴趣对象所需的时间。

过滤和增强感兴趣对象的片段的步骤可包括过滤和增强图像、视频、与感兴趣对象相关的增强信息以及图像、视频和与感兴趣对象相关的增强信息的组合。

所述方法还可包括基于用户的注视、用户的偏好和当前视图内容来渲染内容在AR装置上的定位。

所述方法还可包括基于在AR装置中的预定义位置处的凝视和阈值时间来突出显示感兴趣对象。

所述方法还可包括使用深度学习技术从识别的帧中检测和识别感兴趣对象，其中，深度学习技术包括对象识别技术、深度结构化学习技术、层次学习技术或神经网络。

所述方法还可包括通过使用另一增强现实(AR)装置的位置、人工智能技术或者使用简档将分析的数据从增强(AR)装置发送到另一增强(AR)装置，并且基于分析的数据在另一增强现实(AR)装置上显示感兴趣对象的内容。

所述方法还可包括：在感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失的情况下，并且当用户查看感兴趣对象超过阈值时间量时，在AR装置上对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像。

在另一实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的系统包括：存储器，被配置为存储预定义规则；处理器，被配置为与存储器协作，并且被配置为基于预定义规则生成系统处理命令；捕捉模块，被配置为捕捉用户的视场；记录模块，被配置为记录捕捉的视场；用户输入控制器，被配置为追踪用户朝向记录的视场中的一个或更多个对象的视觉；以及服务器，被配置为与AR装置、记录模块和用户输入控制器协作。服务器可包括：确定模块，被配置为确定记录的视场中的至少一个感兴趣对象；识别器，被配置为与确定模块协作以接收确定的感兴趣对象，其中，识别器被配置为识别包含确定的感兴趣对象在记录的视场中消失的帧；分析器，被配置为与识别器协作以接收识别的帧，其中，分析器被配置为基于感兴趣对象的至少一个消失来分析识别的帧，并生成分析的数据；以及显示模块，被配置为基于分析的数据在增强现实(AR)装置上显示感兴趣对象的内容。

AR装置可与用户相关联。

识别器可被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来识别帧。

分析器可被配置为基于感兴趣对象在记录的视场中的有意消失或无意消失来分析识别的帧。

系统还可包括数据库，其中，数据库被配置为存储记录的视场、预定义的时间间隔、预定义的对象类别以及与一个或更多个对象、预定义的旋转角度和用户在朝向所述一个或更多个对象的至少一个角度上的旋转速度相关的数据。

分析器可被配置为通过识别用户对所述一个或更多个对象缺乏兴趣基于有意消失来分析识别的帧。

识别器可被配置为基于视觉时间和阈值时间来识别帧。

分析器可被配置为通过确定用户与感兴趣对象之间的障碍基于无意消失来分析识别的帧。

用户输入控制器可被配置为基于包括以下项的参数中的至少一个来追踪用户的视觉：眼睛注视、眼睛移动方向、头部移动方向、瞳孔扩张、眨眼次数、头部旋转角度、头部旋转速度、面部表情、眼睛尺寸扩大、瞳孔和虹膜移动以及语音识别。

分析器可被配置为基于有意消失来分析识别的帧，并且分析器可被配置为分析在预定义的时间间隔内用户针对感兴趣对象的视觉，使用基于人工智能的多参数模型来识别感兴趣对象的有意的非障碍性消失，剖析在阈值时间内的从传感器接收的数据以及查看数据，并且识别在AR装置的预定位置处的注视，其中，模型包括与用户的眼睛移动、用户的参与水平、与用户一起的同伴以及对象类别相关的参数。

对象的有意消失可以是尽管用户对对象感兴趣的消失。

分析器可包括估计模块，其中，估计模块被配置为基于尽管用户对对象感兴趣来确定用户对视场期望的概率。

分析器可被配置为识别用户对一个或更多个对象缺乏兴趣。

显示模块可被配置为在增强现实(AR)装置上显示感兴趣对象的内容，其中，感兴趣对象的内容包括感兴趣对象的片段或感兴趣对象的修改版本。

服务器还可包括复杂度识别器，其中，复杂度识别器被配置为基于对象信息计算用户查看感兴趣对象所需的时间。

复杂度识别器可被配置为基于用户查看感兴趣对象所需的总时间和用户在感兴趣对象消失之前已经查看感兴趣对象的持续时间来计算用户查看感兴趣对象所需的时间。

系统还可包括内容渲染模块，其中，内容渲染模块被配置为基于用户的注视、用户的偏好和当前视图内容来渲染内容在AR装置上的定位。

显示模块可被配置为基于在AR装置中的预定义位置处的注视和阈值时间来突出显示感兴趣对象。

识别器还可包括对象识别模块，其中，对象识别模块被配置为使用深度学习技术从识别的帧中检测和识别感兴趣对象，其中，深度学习技术包括对象识别技术、深度结构化学习技术、层次学习技术或神经网络。

用户输入控制器可包括眼睛注视追踪模块，其中，眼睛注视追踪模块被配置为通过识别眼睛注视、眼睛移动方向、瞳孔扩张、眨眼次数、面部表情、眼睛尺寸扩大或瞳孔和虹膜移动来追踪用户的视觉。

用户输入控制器可包括头部移动追踪模块，其中，头部移动追踪模块被配置为追踪头部移动方向、头部旋转角度或头部旋转速度。

用户输入控制器可包括被配置为追踪用户的语音识别的语音识别模块。

服务器还可包括发送器，其中，发送器被配置为通过使用另一增强现实(AR)装置的位置、人工智能技术或者使用简档将分析的数据从增强(AR)装置发送到另一增强(AR)装置。

显示模块可被配置为基于分析的数据在另一增强现实(AR)装置上显示感兴趣对象的内容。

显示模块可被配置为在感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失的情况下，并且当用户查看感兴趣对象超过阈值时间量时，在AR装置上对在一个或更多个计算装置上显示的感兴趣对象的内容执行镜像。

在另一实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的方法包括：捕捉用户的视场，追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视，识别包含感兴趣对象在捕捉的视场中的有意消失的帧，基于有意消失分析识别的帧，基于分析的帧生成分析的数据，以及在增强现实(AR)装置上基于分析的数据显示感兴趣对象的内容。

在另一实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的系统包括：存储器，被配置为存储预定义规则；处理器，被配置为与存储器协作，并且被配置为基于预定义规则生成系统处理命令；捕捉模块，被配置为捕捉用户的视场；用户输入控制器，被配置为追踪用户朝向捕捉的视场中的感兴趣对象的眼睛注视；以及服务器，被配置为与AR装置、捕捉模块、和用户输入控制器协作，并且服务器可包括：识别器，被配置为识别包含感兴趣对象在捕捉的视场中的有意消失的帧；以及分析器，被配置为与识别器协作以接收识别的帧，其中，分析器被配置为基于有意消失来分析识别的帧并生成分析的数据；以及显示模块，被配置为基于分析的数据在增强现实(AR)装置上显示感兴趣对象的内容。

在另一实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的方法包括：捕捉用户的视场，记录捕捉的视场，追踪用户朝向记录的视场中的感兴趣对象的眼睛注视，识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的感兴趣对象在记录的视场中的有意消失中的至少一个的帧，基于感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失中的所述至少一个来分析识别的帧，基于分析的帧生成分析的数据，并且基于分析的数据在增强现实(AR)装置上显示感兴趣对象的内容。

在另一实施例中，一种用于在增强现实(AR)装置上显示内容的计算机实现的系统包括：存储器，被配置为存储预定义规则；处理器，被配置为与存储器协作，并且被配置为基于预定义规则生成系统处理命令；捕捉模块，被配置为捕捉用户的视场；记录模块，被配置为记录捕捉的视场；用户输入控制器，被配置为追踪用户朝向记录的视场中的感兴趣对象的眼睛注视；以及服务器，被配置为与AR装置、记录模块和用户输入控制器协作，其中，所述服务器包括：识别器，被配置为识别包含感兴趣对象在记录的视场中的无意消失或尽管感兴趣的感兴趣对象在记录的视场中的有意消失中的至少一个的帧；分析器，被配置为与识别器协作以接收识别的帧，其中，所述分析器被配置为基于感兴趣对象的无意消失或尽管感兴趣的感兴趣对象的有意消失中的所述至少一个来分析识别的帧，并且产生分析的数据；以及显示模块，被配置为基于分析的数据在增强现实(AR)装置上显示感兴趣对象的内容。

上述示例实施例可被实现为包括存储在机器(例如，计算机)可读存储介质上的指令的软件程序。机器是能够从存储介质调用存储的指令并根据调用的指令进行操作的设备。

当命令由处理器执行时，处理器可直接执行与命令相对应的功能，或者在处理器的控制下使用其他组件来执行与命令相应的功能。命令可包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。这里，术语“非暂时性”仅表示存储介质不包括信号而是有形的，并且不将数据半永久地存储在存储介质中的情况与数据临时存储在存储介质中的情况区分开。

根据示例实施例，根据上述各种示例实施例的方法可被提供为包括在计算机程序产品中。计算机程序产品可作为产品在卖方与消费者之间交易。计算机程序产品可以以(例如，光盘只读存储器(CD-ROM))的形式或通过应用商店分发。在在线分发的情况下，计算机程序产品的至少一部分可被至少临时存储或临时生成在制造商的服务器、应用商店的服务器或诸如存储器的存储介质中。

根据各种示例实施例的每个组件(例如，模块或程序)可包括单个实体或多个实体，并且可省略上述一些相应的子组件，或者还可将另一子组件添加到各种示例实施例。可选地或另外地，一些组件(例如，模块或程序)可被集成到一个实体中，并且可按照集成之前相同或相似的方式执行由每个相应组件执行的功能。可选地或另外地，一些组件(例如，模块或程序)可被组合以形成单个实体，其中，所述单个实体执行与被组合之前的相应元件相同或相似的功能。根据各种示例性实施例，由模块、程序或其他组件执行的操作可以是顺序的、并行的或顺序的和并行的两者，可迭代地或启发式地执行由模块、程序或其他组件执行的操作，或者可以以不同的顺序执行至少一些操作，省略所述至少一些操作，或者可添加其他操作。

应当注意，该描述仅示出了本公开的原理。因此，应当理解的是，本领域技术人员将能够设计出尽管未在本文中明确描述但体现本公开的原理的各种布置。此外，本文所述的所有示例主要明确地旨在仅出于说明目的，以帮助读者理解本发明的原理和发明人为促进本领域而贡献的构思，并且应被解释为不限于这些具体叙述的示例和条件。此外，本文中叙述本发明的原理、方面和实施例以及其具体示例的所有陈述旨在涵盖其等同物。

Claims (15)

1.一种用于在增强现实AR装置上显示内容的计算机实现的方法，所述方法包括：

捕捉用户的视场；

记录捕捉的所述视场；

追踪所述用户朝向记录的所述视场中的一个或更多个对象的视觉；

确定记录的所述视场中的至少一个感兴趣对象；

识别包含确定的所述感兴趣对象在记录的所述视场中消失的帧；

基于所述感兴趣对象的至少一个消失来分析识别的所述帧；

基于分析的所述帧生成分析的数据；并且

在所述增强现实AR装置上基于分析的所述数据显示所述感兴趣对象的内容。

2.根据权利要求1所述的方法，其中，所述方法还包括：

基于尽管所述用户对对象感兴趣来确定所述用户对所述视场期望的概率，以及

其中，基于所述感兴趣对象在记录的所述视场中的有意消失或无意消失来识别所述帧。

3.根据权利要求1所述的方法，其中，所述方法还包括：

识别所述用户对对象缺乏兴趣，

其中，基于所述感兴趣对象在记录的所述视场中的有意消失或无意消失来分析识别的所述帧，并且

其中，基于所述无意消失来分析识别的所述帧的步骤包括确定所述用户与所述感兴趣对象之间的障碍。

4.根据权利要求1所述的方法，其中，所述方法还包括：

在数据库中存储记录的所述视场、预定义的时间间隔、预定义的对象类别、以及与一个或更多个对象、预定义的旋转角度和所述用户在朝向所述一个或更多个对象的至少一个角度上的旋转速度相关的数据；

基于所述用户的注视、所述用户的偏好和当前视图内容来渲染所述内容在所述AR装置上的定位，

基于在所述AR装置中的预定义位置处的注视和阈值时间来突出显示所述感兴趣对象；

使用深度学习技术从识别的所述帧中检测和识别所述感兴趣对象，其中，所述深度学习技术包括对象识别技术、深度结构化学习技术、层次学习技术或神经网络；

通过使用另一增强现实AR装置的位置、人工智能技术或者使用简档将分析的所述数据从所述增强AR装置发送到另一增强AR装置；

在所述另一增强现实AR装置上基于分析的所述数据显示所述感兴趣对象的内容；以及

在所述感兴趣对象的无意消失或尽管感兴趣的所述感兴趣对象的有意消失的情况下，并且当所述用户查看所述感兴趣对象超过阈值时间量时，在所述AR装置上对在一个或更多个计算装置上显示的所述感兴趣对象的内容执行镜像。

5.根据权利要求3所述的方法，其中，基于视觉分析、对象识别、眼睛移动、头部移动或在所述感兴趣对象消失之后针对另一对象的注视凝视时间来确定所述用户与所述感兴趣对象之间的障碍，并且

其中，通过使用多个传感器来确定所述用户与所述感兴趣对象之间的障碍。

6.根据权利要求3所述的方法，其中，基于所述有意消失来分析识别的所述帧的步骤包括：

分析在预定义的时间间隔内所述用户针对所述感兴趣对象的视觉；

使用基于人工智能的多参数模型来识别所述感兴趣对象的有意非障碍性消失，其中，所述多参数模型包括与以下项相关的参数中的至少一个：所述用户的眼睛移动、所述用户的参与水平、与所述用户一起的同伴以及对象类别；

剖析在阈值时间内的从传感器接收的数据以及查看数据；

识别在所述AR装置的预定位置处的注视；以及

基于尽管用户对对象感兴趣来确定用户对所述视场期望的概率。

7.根据权利要求1所述的方法，其中，显示所述感兴趣对象的内容的步骤包括：在所述增强现实AR装置上显示所述感兴趣对象的片段或所述感兴趣对象的修改版本，

其中，通过过滤和增强所述感兴趣对象的片段来生成所述感兴趣对象的修改版本，并且

其中，过滤和增强感兴趣对象的片段的步骤包括过滤和增强图像、视频、与所述感兴趣对象相关的增强信息、以及图像、视频和与所述感兴趣对象相关的增强信息的组合。

8.一种用于在增强现实AR装置上显示内容的计算机实现的系统，所述系统包括：

存储器，被配置为存储预定义规则；

处理器，被配置为与所述存储器协作，其中，所述处理器被配置为基于所述预定义规则来生成系统处理命令；

捕捉模块，被配置为捕捉用户的视场；

记录模块，被配置为记录捕捉的所述视场；

用户输入控制器，被配置为追踪所述用户朝向记录的所述视场中的一个或更多个对象的视觉；以及

服务器，被配置为与所述AR装置、所述记录模块和所述用户输入控制器协作，

其中，所述服务器包括：

确定模块，被配置为确定记录的所述视场中的至少一个感兴趣对象；

识别器，被配置为与所述确定模块协作以接收确定的所述感兴趣对象，其中，所述识别器被配置为识别包含确定的所述感兴趣对象在记录的所述视场中消失的帧；以及

分析器，被配置为与所述识别器协作以接收识别的所述帧，其中，所述分析器被配置为基于所述感兴趣对象的至少一个消失来分析识别的所述帧，并且生成分析的数据；以及

显示模块，被配置为在所述增强现实AR装置上基于分析的所述数据显示所述感兴趣对象的内容。

9.根据权利要求8所述的系统，其中，所述识别器被配置为基于所述感兴趣对象在记录的所述视场中的有意消失或无意消失来识别所述帧，并且

其中，所述分析器包括估计模块，其中，所述估计模块被配置为基于尽管所述用户对对象感兴趣来确定所述用户对所述视场期望的概率。

10.根据权利要求8所述的系统，其中，所述分析器被配置为：

基于所述感兴趣对象在记录的所述视场中的有意消失或无意消失来分析识别的所述帧；

通过确定所述用户与所述感兴趣对象之间的障碍基于无意消失来分析识别的所述帧；

识别所述用户对所述一个或更多个对象缺乏兴趣。

11.根据权利要求8所述的系统，其中，所述系统还包括：

数据库，被配置为存储记录的所述视场、预定义的时间间隔、重新定义的对象类别、以及与一个或更多个对象、预定义的旋转角度和所述用户在朝向所述一个或更多个对象的至少一个角度上的旋转速度相关的数据，

内容渲染模块，被配置为基于所述用户的注视、所述用户的偏好和当前视图内容来渲染所述内容在所述AR装置上的定位，

其中，所述识别器还包括对象识别模块，其中，所述对象识别模块被配置为使用深度学习技术从识别的所述帧中检测和识别所述感兴趣对象，其中，所述深度学习技术包括对象识别技术、深度结构化学习技术、层次学习技术或神经网络，

其中，所述服务器还包括发送器，其中，所述发送器被配置为通过使用另一增强现实AR装置的位置、人工智能技术或者使用简档将分析的所述数据从所述增强AR装置发送到所述另一增强AR装置，

其中，所述显示模块被配置为基于在所述AR装置中的预定义位置处的注视和阈值时间来突出显示所述感兴趣对象，并且所述显示模块被配置为在所述另一增强现实AR装置上基于分析的所述数据显示所述感兴趣对象的内容，以及

其中，所述显示模块被配置为在所述感兴趣对象的无意消失或尽管感兴趣的所述感兴趣对象的有意消失的情况下，并且当所述用户查看所述感兴趣对象超过阈值时间量时，在所述AR装置上对在一个或更多个计算装置上显示的所述感兴趣对象的内容执行镜像。

12.根据权利要求8所述的系统，

其中，所述分析器(230)被配置为通过确定所述用户与所述感兴趣对象之间的障碍基于所述无意消失来分析识别的所述帧，

其中，所述用户输入控制器被配置为基于包括以下项的参数中的至少一个来追踪所述用户的视觉：眼睛注视、眼睛移动方向、头部移动方向、瞳孔扩张、眨眼次数、头部旋转角度、头部旋转速度、面部表情、眼睛尺寸扩大、瞳孔和虹膜移动以及语音识别，并且

其中，所述识别器被配置为基于视觉时间和阈值时间来识别所述帧。

13.根据权利要求10所述的系统，其中，所述分析器被配置为基于有意消失来分析识别的所述帧，其中，所述分析器被配置为：

分析在预定义的时间间隔内所述用户针对所述感兴趣对象的视觉；

使用基于人工智能的多参数模型来识别所述感兴趣对象的有意的非障碍性消失，其中，所述模型包括与以下项相关的参数：所述用户的眼睛移动、所述用户的参与水平、与所述用户一起的同伴、对象类别；

剖析在阈值时间内的从传感器接收的数据以及查看数据；以及

识别在所述AR装置的预定位置处的注视，

其中，所述服务器还包括复杂度识别器，其中，所述复杂度识别器被配置为基于对象信息来计算所述用户查看所述感兴趣对象所需的时间。

14.根据权利要求8所述的系统，其中，所述用户输入控制器包括眼睛注视追踪模块，其中，所述眼睛注视追踪模块被配置为通过识别眼睛注视、眼睛移动方向、瞳孔扩张、眨眼次数、面部表情、眼睛尺寸扩大或瞳孔和虹膜移动来追踪所述用户的视觉，

其中，所述用户输入控制器包括头部移动追踪模块，其中，所述头部移动追踪模块被配置为追踪头部移动方向、头部旋转角度或头部旋转速度，

其中，所述用户输入控制器包括语音识别模块，其中，所述语音识别模块被配置为追踪所述用户的语音识别。

15.一种用于在增强现实AR装置上显示内容的计算机实现的方法，所述方法包括：

捕捉用户的视场；

记录捕捉的所述视场；

追踪所述用户朝向记录的所述视场中的感兴趣对象的眼睛注视；

识别包含所述感兴趣对象在记录的所述视场中的无意消失或尽管感兴趣的所述感兴趣对象在记录的所述视场中的有意消失中的至少一个的帧；

基于所述感兴趣对象的无意消失或尽管感兴趣的所述感兴趣对象的有意消失中的所述至少一个来分析识别的所述帧；

基于分析的所述帧生成分析的数据；并且

在所述增强现实AR装置上基于分析的所述数据显示所述感兴趣对象的内容。

Images