CN115796963A - 基于时间-空间关系的mr内容定位 - Google Patents

Abstract

提供了一种方法，其中该方法分析与用户在混合现实环境内的位置相对应的视觉场景，该混合现实环境包括物理世界中的一组可视对象。该方法确定该一组可视对象之间的一组空间关系和一组时间关系，并基于所确定的一组空间关系和一组时间关系生成广告。该方法将混合现实环境中的广告覆盖在该一组可视对象中的至少一个上。

Description

基于时间-空间关系的MR内容定位

技术领域

本公开涉及基于时间-空间关系的MR内容定位。

背景技术

虚拟现实(VR)是一种人工的、计算机生成的对现实生活环境的模拟，它通过使用户感觉像是在亲身体验模拟现实而使用户沉浸在虚拟世界中。一些虚拟现实应用包括娱乐和教育。有时，用户使用多个对齐的相机捕获完整的360度视图来捕获体验。

当今的虚拟现实系统使用虚拟现实耳机或多投影环境来生成模拟用户在虚拟环境中的存在的逼真的图像、声音和其他感觉。使用虚拟现实设备的人能够观看虚拟世界，在虚拟世界中移动，并与虚拟特征或项目交互。

混合现实(MR)，也称为混合现实，将现实世界和虚拟世界融合在一起，以产生新的环境和可视化效果，其中物理和数字对象共存并实时交互。混合现实不仅发生在物理世界或虚拟世界，而且是现实和虚拟现实的混合，包括增强现实和增强虚拟。

发明内容

根据本公开的一个实施例，提供了一种方法，其中该方法分析与用户在混合现实环境内的位置相对应的视觉场景，该混合现实环境包括物理世界中的一组可视对象。该方法确定该一组可视对象之间的一组空间关系和一组时间关系，并基于所确定的一组空间关系和一组时间关系生成广告。该方法将混合现实环境中的广告覆盖在该一组可视对象中的至少一个上。

前面是概述，因此必然包含细节的简化、概括和省略；因此，本领域技术人员将会理解，该概述仅仅是说明性的，并不旨在以任何方式进行限制。仅由权利要求限定的本公开的其他方面、发明特征和优点将在下面阐述的非限制性详细描述中变得显而易见。

附图说明

通过参考附图，可以更好地理解本公开，并且其众多目的、特征和优点对于本领域技术人员来说是显而易见的，其中：

图1是可以实现本文描述的方法的数据处理系统的框图；

图2提供了图1中所示的信息处理系统环境的扩展，以说明本文描述的方法可以在网络环境中运行的各种信息处理系统上执行；

图3是基于时间-空间分析在混合现实环境中的对象上定位广告的示例图；

图4是描绘基于时间-空间关系的(STRB)广告生成系统的示例图，该系统标识场景中对象之间的空间和时间关系并构造空间关系图和时间关系；

图5是描绘创建联合嵌入以将对象映射到广告的STRB广告生成系统的示例图；

图6是示出基于时间-空间分析评估用户的混合现实环境并优化混合现实环境中的广告呈现所采取的步骤的示例性流程图；

图7是示出构造空间关系图、时间关系图和生成对象元数据所采取的步骤的示例性流程图；和

图8是示出创建优化的混合现实广告所采取的步骤的示例图。

具体实施方式

本文使用的术语仅仅是为了描述特定的实施例，而不是为了限制本公开。如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指出。还将理解，术语“包括”和/或“包含”在本说明书中使用时，指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。

所附权利要求中的所有部件(mean)或步骤加功能元素的相应结构、材料、动作和等同物旨在包括用于结合具体要求保护的其他要求保护的元素来执行功能的任何结构、材料或动作。为了说明和描述的目的，已经给出了本公开的描述，但是并不旨在穷举或将本公开限于所公开的形式。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述该实施例是为了最好地解释本公开的原理和实际应用，并使本领域的其他普通技术人员能够理解本公开，具有各种修改的各种实施例适合于预期的特定用途。

本发明可以是任何可能的集成技术细节级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的一个或多个计算机可读存储介质，用于使处理器执行本发明的各方面。

计算机可读存储介质可以是能够保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备，例如穿孔卡或其上记录有指令的凹槽中的凸起结构，以及前述的任何合适的组合。如此处所使用的，计算机可读存储介质不应被解释为本身是瞬时信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络下载到外部计算机或外部存储设备，所述网络例如是因特网、局域网、广域网和/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或者是以一种或多种编程语言的任意组合编写的源代码或目标代码，包括例如Smalltalk、C++等面向对象的编程语言，以及例如“C”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包，部分在用户计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，从而执行本发明的方面。

本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各个方面。将会理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的部件。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造品，该制造品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图说明了根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个块可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，方框中标注的功能可以不按照图中标注的顺序发生。例如，连续示出的两个框实际上可以作为一个步骤完成，以部分或全部时间重叠的方式同时、基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或动作或者执行专用硬件和计算机指令的组合。如上所述，下面的详细描述通常遵循本公开的概述，必要时进一步解释和扩展本公开的各个方面和实施例的定义。

图1示出了信息处理系统100，它是能够执行本文描述的计算操作的计算机系统的简化示例。信息处理系统100包括耦合到处理器接口总线112的一个或多个处理器110。处理器接口总线112将处理器110连接到北桥115，北桥115也被称为存储器控制器集线器(MCH)。北桥115连接到系统存储器120，并为处理器110提供访问系统存储器的部件。图形控制器125也连接到北桥115。在一个实施例中，外围组件互连(PCI)快速总线118将北桥115连接到图形控制器125。图形控制器125连接到显示设备130，例如计算机监视器。

北桥115和南桥135使用总线119相互连接。在一些实施例中，总线是直接媒体接口(DMI)总线，其在北桥115和南桥135之间的每个方向上高速传输数据。在一些实施例中，PCI总线连接北桥和南桥。南桥135，也称为输入/输出(I/O)控制器集线器(ICH)，是一种芯片，其通常实现以比北桥提供的能力更慢的速度运行的能力。南桥135通常提供用于连接各种组件的各种总线。这些总线包括例如PCI和PCI快速(PCI Express)总线、ISA总线、系统管理总线(SMBus或SMB)和/或低引脚数(LPC)总线。LPC总线通常连接低带宽设备，例如引导ROM196和“遗留”(legacy)I/O设备(使用“超级I/O”芯片)。“遗留”I/O设备(198)可以包括例如串行和并行端口、键盘、鼠标和/或软盘控制器。南桥135中通常包括的其他组件包括直接存储器存取(DMA)控制器、可编程中断控制器(PIC)和存储设备控制器，其使用总线184将南桥135连接到非易失性存储设备185，例如硬盘驱动器。

快速卡(ExpressCard)155是将热插拔设备连接到信息处理系统的插槽。快速卡155支持PCI快速和通用串行总线(USB)连接，因为它使用USB和PCI快速总线连接到南桥135。南桥135包括向连接到USB的设备提供USB连接的USB控制器140。这些设备包括网络相机(相机)150、红外(IR)接收器148、键盘和轨迹板144以及提供无线个人区域网(PAN)的蓝牙设备146。USB控制器140还提供到其他各种USB连接设备142(例如鼠标、可移动非易失性存储设备145、调制解调器、网卡、综合业务数字网(ISDN)连接器、传真机、打印机、USB集线器和许多其他类型的USB连接设备)的USB连接。虽然可移动非易失性存储设备145被示为USB连接的设备，但是可移动非易失性存储设备145可以使用不同的接口(例如火线接口等)来连接。

无线局域网(LAN)设备175经由PCI或PCI快速总线172连接到南桥135。LAN设备175通常实现电气和电子工程师协会(IEEE)802.11空中调制技术标准之一，这些标准都使用相同的协议在信息处理系统100和另一个计算机系统或设备之间进行无线通信。光存储设备190使用串行模拟电话适配器(ATA)(SATA)总线188连接到南桥135。串行ATA适配器和设备通过高速串行链路进行通信。串行ATA总线还将南桥135连接到其他形式的存储设备，例如硬盘驱动器。例如声卡的音频电路160经由总线158连接到南桥135。音频电路160还提供与音频硬件相关的功能，例如音频线路输入和光学数字音频输入端口162、光学数字输出和耳机插孔164、内部扬声器166和内部麦克风168。以太网控制器170使用例如PCI或PCI快速总线的总线连接到南桥135。以太网控制器170将信息处理系统100连接到计算机网络，例如局域网(LAN)、互联网以及其他公共和专用计算机网络。

虽然图1示出了一个信息处理系统，但是信息处理系统可以采取多种形式。例如，信息处理系统可以采取台式、服务器、便携式、膝上型、笔记本或其他形式的计算机或数据处理系统的形式。此外，信息处理系统可以采用其他形式的因素，例如个人数字助理(PDA)、游戏设备、自动柜员机(ATM)、便携式电话设备、通信设备或包括处理器和存储器的其他设备。

图2提供了图1中所示的信息处理系统环境的扩展，以说明本文描述的方法可以在联网环境中运行的各种信息处理系统上执行。信息处理系统的类型从例如手持计算机/移动电话210的小型手持设备到例如大型计算机270的大型主机系统。手持计算机210的示例包括个人数字助理(PDA)、个人娱乐设备，例如运动图像专家组第三层音频(MP3)播放器、便携式电视和光盘播放器。信息处理系统的其他示例包括笔或平板电脑、计算机220、膝上型电脑或笔记本、计算机230、工作站240、个人计算机系统250和服务器260。图2中没有单独示出的其他类型的信息处理系统由信息处理系统280表示。如图所示，各种信息处理系统可以使用计算机网络200联网在一起。可用于互连各种信息处理系统的计算机网络类型包括局域网(LAN)、无线局域网(WLAN)、互联网、公共交换电话网(PSTN)、其他无线网络以及可用于互连信息处理系统的任何其他网络拓扑。许多信息处理系统包括非易失性数据存储器，例如硬盘驱动器和/或非易失性存储器。图2所示的信息处理系统的实施例包括独立的非易失性数据存储器(更具体地说，服务器260利用非易失性数据存储器265，大型计算机270利用非易失性数据存储器275，并且信息处理系统280利用非易失性数据存储器285)。非易失性数据存储器可以是各种信息处理系统外部的组件，或者可以是信息处理系统之一内部的组件。此外，可移动非易失性存储设备145可以使用各种技术在两个或更多信息处理系统之间共享，例如将可移动非易失性存储设备145连接到信息处理系统的USB端口或其他连接器。

如上所述，混合现实融合了真实世界和虚拟世界。为了利用混合现实技术的出现，广告平台正在寻找将广告插入混合现实环境的方法。现有平台面临的挑战是，尽管它们具有在混合现实环境中定位与物理对象相关的广告/通知内容的智能，但是现有平台不能够学习多个对象之间的时间-空间关系并在混合现实环境中智能地定位广告。此外，现有平台不能调整和优化混合现实广告/内容呈现参数，例如广告(Ad)的形状、大小、颜色和/或视角。

图3至图8描绘了可以在信息处理系统上执行的方法，该方法基于对象之间的时间-空间关系将混合现实广告定位在混合现实环境中的对象上，以提高广告可视性并增加广告呈现空间。

如本文所讨论的，时间关系属于时间上的关系，而空间关系属于空间上的关系。例如，当用户观看电视时，用户也在相同的时间帧(时间关系)中观看遥控器。这样，当用户观看电视时，STRB广告生成系统330标识时间关系并将广告覆盖在遥控器上。此外，当用户观看电视时，用户还观看电视附近的其他对象，例如娱乐中心(空间关系)。这样，当用户观看电视时，STRB广告生成系统330标识空间关系并将广告覆盖在周围对象上。

图3是基于时间-空间分析在混合现实环境中的对象上定位广告的示例图。基于时间-空间关系的(STRB)广告生成系统330提供了一种基于跨在混合现实环境300中捕获的对象的时间-空间关系来定位混合现实广告的方法。在该实施例中，STRB广告生成系统330分析视觉场景并标识重要对象及其相对于其他对象的关系。

用户305佩戴混合现实设备310以进入混合现实环境300。混合现实环境300包括主要对象A、主要对象B和次要对象C，它们中的每一个都是物理世界内的对象(例如，电视、娱乐中心、遥控器等)。当用户305在混合现实环境300中移动时，设备310捕获用户交互315、眼睛注视和身体运动320以及场景325，这些被馈送到基于时间-空间关系的广告生成系统330中。

空间和时间关系图生成器345分析用户交互315、眼睛注视和身体运动320以及场景325，以生成空间关系图和时间关系图。空间关系图表示对象之间的空间关系，时间关系图表示对象之间的时间关系(参见图4和对应的文字以了解更多细节)。空间和时间关系图生成器345的输出馈送到对象实例元数据340。

此外，认知信号分析器335评估用户交互315以及眼睛注视和身体运动320，并且认知信号分析器335的输出馈送到对象实例元数据计算340。对象实例元数据计算340通过学习跨对象的空间和时间关系来计算捕获混合现实环境300的可见性细节(viewabilitydetail)的各个方面的对象实例元数据。在一个实施例中，对象实例元数据包括对象形状、对象大小、对象颜色、与相邻对象的关系、部分遮挡分数、表示用户距离对象的深度的直方图、用户与对象和相邻对象的交互信息、对象的用户可见性分数和/或对象之间的时间关系。

对象实例元数据计算340的输出馈送到用户交互嵌入计算350。个性化参数355和用户参与360也馈送到用户交互嵌入计算350。在一个实施例中，用户交互嵌入计算350通过使用graph2vec方法分析图中的局部结构来计算节点嵌入。在一个实施例中，用户交互嵌入计算350基于例如对象可视性分数、具有相似空间和时间嵌入的对象、用户305的个性化参数355以及用户305相对于对象的距离和视角等方面来计算每个对象的用户交互嵌入。

用户交互嵌入计算350的输出馈送到广告内容匹配365，广告内容匹配365基于用户交互嵌入在广告存储370中搜索广告内容。广告内容匹配365的输出被馈送到混合现实广告呈现395，混合现实广告呈现395基于可见性分数来呈现混合现实广告(参见图8和对应的文本以了解更多细节)。图3示出了混合现实广告X和Y分别覆盖在主要对象A和次要对象C上。

在一个实施例中，STRB广告生成系统330学习广告呈现参数，使得广告可视性提高并最大化广告呈现空间。在该实施例中，STRB广告生成系统330基于用户305的交互以及可见性分数，通过求解提高广告可视性并增加广告呈现空间的联合优化来估计广告呈现参数。

在一个实施例中，STRB广告生成系统330基于相对于混合现实环境300中的一组对象的相对改变来重新计算广告呈现参数。广告呈现参数包括比例、位置、视角、透明度、颜色、明暗(参见图8和对应的文本以了解更多细节)。STRB广告生成系统330通过分析混合现实环境300中的视觉场景和用户305的交互来标识广告内容的最佳可能动画。

图4是描绘STRB广告生成系统330的示例图，该系统标识场景中跨对象的空间和时间关系并构造空间关系图和时间关系。

空间和时间关系图生成器345从场景325中提取对象，并生成空间关系图410和时间关系图430。作为空间关系图410的一部分，空间关系图410映射形成关系的特定范围内的相邻对象。例如，当用户305观看电视时，用户305也将观看电视附近的对象。这样，STRB广告生成系统330将呈现的内容/广告覆盖在电视周围的对象上。

时间关系图430通过从用户交互315和/或眼睛注视和身体运动320中学习二阶推理来标识时间关系。例如，当用户305观看电视时，STRB广告生成系统330检测到用户305也在观看电视遥控器。这样，STRB广告生成系统330将呈现的内容/广告覆盖在电视遥控器上。

图5是描绘STRB广告生成系统330创建联合嵌入来将对象映射到广告的示例图。在一个实施例中，当STRB广告生成系统330执行用户交互嵌入计算350时，STRB广告生成系统330分析用户305在混合现实环境300中的当前位置以及关于主要对象A、主要对象B和次要对象C的关系。

STRB广告生成系统330然后学习捕获主要对象A、主要对象B和次要对象C之间的关系以及广告X、Y和Z中的广告内容表示的联合嵌入(联合嵌入500)，以捕获混合现实环境300中的用户交互。在该实施例中，STRB广告生成系统330通过收集与捕获正面和负面混合现实广告的混合现实广告内容对齐的一组用户交互来训练深度学习模型。

图6是示出基于时间-空间分析评估用户的混合现实环境并优化混合现实环境中的广告呈现所采取的步骤的示例性流程图。图6的处理在600开始，于是在步骤610，该处理检测用户305进入混合现实环境300。在步骤620，该过程捕获混合现实环境300中的场景，并且在步骤630，该过程从所捕获的场景中提取对象并对场景执行语义分割以实现场景理解。

在预定义的过程640，该过程执行时间-空间图构造和对象实例元数据生成(处理细节见图7和对应的文本)。该过程确定在用户305的混合现实环境300的视图中是否存在广告载体(advertisement vector)和协同实体(决策650)。

在一个实施例中，决策650允许STRB广告生成系统330知道何时何地投放替代项目的AR内容。通过检查视图内的广告载体和协同实体，STRB广告生成系统330确定是否显示以及显示什么。例如，广告载体可以是STRB广告生成系统330希望显示椒盐卷饼广告的任何地方，而协同实体是一罐汽水。在该示例中，如果一罐汽水(协同实体)在视野中，则显示广告的载体可以在柜台上或与柜台相邻。在另一个示例中，洗碗机可以是协同实体，并且广告载体是装有液体洗涤剂的开放式洗碗机。在该示例中，广告载体对应于洗碗机中用于放置洗涤剂包的特定槽，并示出了插入洗涤剂包比用液体填充该槽容易得多。

如果在用户305的混合现实环境300的视图中找到广告载体和协同实体，则决策650分支到“是”分支，于是，在预定义的过程660，该过程为混合现实环境300创建优化的混合现实广告(处理细节参见图8和对应的文本)。在步骤670，该过程在对象上或附近呈现优化的广告，对象可以包括主要对象和次要对象(协同实体)。另一方面，如果在用户305的混合现实环境300的视图内没有找到广告载体和协同实体，则决策650分支到“否”分支，绕过步骤660和670。

该过程确定是否继续(决策680)。如果该过程应该继续，则决策680分支到“是”分支，该分支返回以从用户305的混合现实环境300的视图中捕获更多场景。该循环继续，直到该过程应该终止，此时，决策680分支到“否”分支，退出循环。图6的处理此后在695结束。

图7是示出构造空间关系图、时间关系图和生成对象元数据所采取的步骤的示例性流程图。图7的处理开始于700，于是在步骤710，该处理基于语义分割估计提取的对象之间的相对位置。在步骤720，该过程标识主要对象，例如电视。

在步骤730，该过程构造空间关系图410，该空间关系图410标识在到主要对象的指定距离范围内的次要对象。在步骤740，该过程构造时间关系图430，其描述了在阈值时间量内用户305与一个或多个初级对象和次要对象的交互之间的时间关系。

在步骤750，该过程基于空间关系图410和时间关系图430标识主要对象和次要对象之间的相对位置和关系。在步骤760，该过程基于所标识的主要对象和次要对象(例如，电视和遥控器)之间的相对位置和关系来生成对象实例元数据。图7的处理此后在795返回到调用例程(见图6)。

图8是示出创建优化的混合现实广告所采取的步骤的示例图。图8的处理在800开始，于是在步骤820，该过程查询广告数据库存储370并检索广告内容表示以在用户305靠近彼此在特定允许距离阈值内的多个可视对象时呈现。

在步骤840，该过程计算学习到的联合嵌入，该联合嵌入捕获可视对象和广告内容表示之间的关系，如本文所讨论的。在步骤860，该过程通过求解联合优化来计算可见性分数，该联合优化被配置为提高广告内容的可视性并增加混合现实环境中的广告呈现空间。

在步骤880，该过程基于作为联合嵌入计算和可见性分数的函数计算的用户305的交互来计算混合现实环境中的广告内容表示的呈现参数。图8的处理此后在895返回到调用例程(参见图6)。

在一个实施例中，STRB广告生成系统330通过分析用户交互来标识一组广告内容，其中该一组广告内容中的每一个都基于其时间-空间关系与视觉场景中存在的该一组对象相链接。STRB广告生成系统330然后通过使用例如以下约束求解联合优化来学习广告内容呈现参数：i)基于用户的隐式反馈标识广告内容i的位置和大小；ii)在混合现实空间中不重叠所标识的广告内容；iii)标识广告内容中的每一个的视角，以最大化广告内容的广告视觉解释；iv)标识广告内容中的每一个的二进制标志以辅助动画；以及v)总内容呈现空间在阈值内。进而，通过最大化广告内容可见性分数以及最大化内容呈现空间，使用线性规划来解决联合优化。

虽然已经示出和描述了本公开的特定实施例，但是对于本领域技术人员来说，基于本文的教导，显然可以在不脱离本公开及其更广泛的方面的情况下进行改变和修改。因此，所附权利要求将在其范围内包含所有这些变化和修改，因为它们在本公开的真实精神和范围内。此外，应当理解，本公开仅由所附权利要求限定。本领域技术人员将理解，如果打算引入特定数量的权利要求元素，则这种打算将在权利要求中明确陈述，并且在没有这种陈述的情况下，不存在这种限制。作为非限制性示例，为了有助于理解，所附权利要求包含使用介绍性短语“至少一个”和“一个或多个”来介绍权利要求元素。然而，这些短语的使用不应被解释为暗示由不定冠词“一(a)”或“一个(an)”引入的权利要求元素将包含这种引入的权利要求元素的任何特定权利要求限制为仅包含一个这种元素的公开，即使当同一权利要求包括引导短语“一个或多个”或“至少一个”以及不定冠词如“一”或“一个”时也是如此；这同样适用于定冠词在权利要求中的使用。

Claims (9)

1.一种计算机实现的方法，包括：

分析与用户在混合现实环境内的位置相对应的视觉场景，其中所述视觉场景包括物理世界中的一组可视对象；

确定所述一组可视对象之间的一组空间关系和一组时间关系；

基于所述一组可视对象之间的一组空间关系和一组时间关系生成广告；以及

在所述混合现实环境中，将所述广告覆盖在所述一组可视对象中的至少一个上。

2.根据权利要求1所述的计算机实现的方法，还包括：

构造描述所述一组空间关系的空间图，其中所述空间图基于所述混合现实环境中包括一个或多个主要对象和一个或多个次要对象的一组可视对象之间的一组距离；

构造描述所述一组时间关系的时间图，其中所述时间图基于用户查看所述一个或多个主要对象和所述一个或多个次要对象的时间帧；以及

基于所述空间图和所述时间图生成所述广告以覆盖在所述一个或多个次要对象之一上。

3.根据权利要求2所述的计算机实现的方法，还包括：

基于所述一组空间关系和所述一组时间关系，为所述一组可视对象中的每一个生成一组对象实例元数据；以及

基于所述一组对象实例元数据，确定所述一组可视对象中的至少两个可视对象彼此在第一预定距离内。

4.根据权利要求3所述的计算机实现的方法，还包括：

检测用户在离所述至少两个可视对象的第二预定距离内；以及

响应于确定出所述至少两个可视对象彼此在第一预定距离内并且检测到用户在离所述至少两个可视对象的第二预定距离内，生成广告。

5.根据权利要求3所述的计算机实现的方法，还包括：

捕获所述混合现实环境内的一组用户交互；

基于所捕获的一组用户交互来选择一组广告内容；

基于所述一组对象实例元数据计算联合嵌入，所述一组对象实例元数据指示所述一组可视对象和所述一组广告内容之间的关系；

响应于求解包括一组约束的联合优化来计算可见性分数，以提高所述一组广告内容在所述混合现实环境中的可视性；

基于所述联合嵌入和所述可见性分数来计算所述混合现实环境内的广告的一组呈现参数；以及

将所述一组呈现参数应用于所述一组广告内容以生成广告。

6.根据权利要求5所述的计算机实现的方法，还包括：

求解所述联合优化以增加所述混合现实环境内的广告呈现空间并提高所述一组广告内容在所述混合现实环境内的可视性。

7.根据权利要求5所述的计算机实现的方法，还包括：

基于相对于所述一组可视对象的一个或多个相对改变来重新计算所述一组呈现参数，其中所述一个或多个相对改变选自包括以下的组：优化比例、用户位置和广告相对于用户的视角。

8.一种信息处理系统，包括：

一个或多个处理器；

耦合到所述处理器中的至少一个的存储器；

存储在所述存储器中并由至少一个处理器执行的一组计算机程序指令，以便执行根据权利要求1至7中任一项所述的方法的动作。

9.一种包含计算机程序代码的计算机程序产品，当由信息处理系统执行时，所述计算机程序代码使所述信息处理系统执行根据权利要求1至7中任一项所述的方法的动作。

Images