CN109791436A - 内容发现 - Google Patents

Abstract

提供了一种方法、装置和计算机程序代码。该方法包括：在虚拟空间中的第一位置处显示虚拟对象，虚拟对象在第一位置处具有视觉位置和听觉位置；基于虚拟对象的听觉位置在第一位置处，处理位置音频数据；基于所处理的位置音频数据，向用户输出位置音频；将虚拟对象的听觉位置从第一位置改变到虚拟空间中的第二位置，同时保持虚拟对象的视觉位置在第一位置处；基于虚拟对象的听觉位置在第二位置处，进一步处理位置音频数据；以及基于被进一步处理的位置音频数据，向用户输出位置音频，同时保持虚拟对象的视觉位置在第一位置处。

Description

内容发现

技术领域

本发明的实施例涉及内容发现。更具体地，这些实施例涉及诸如增强现实或虚拟现实的介导现实中的内容发现。

背景技术

本文中的介导现实是指用户体验完全或部分人工环境。

增强现实是其中用户体验部分人工、部分真实的环境的一种介导现实形式。虚拟现实是其中用户体验完全人工环境的一种介导现实形式。

在一些情况下，介导现实内容的某些部分可以位于用户的视场以外。依赖偶然发现介现实内容的这些部分是不理想的。

发明内容

根据本发明的各种但并非全部实施例，提供了一种方法，其包括：在虚拟空间中的第一位置处显示虚拟对象，虚拟对象在第一位置处具有视觉位置和听觉位置；基于虚拟对象的听觉位置在第一位置处，处理位置音频数据；基于所处理的位置音频数据，向用户输出位置音频；将虚拟对象的听觉位置从第一位置改变到虚拟空间中的第二位置，同时保持虚拟对象的视觉位置在第一位置处；基于虚拟对象的听觉位置在第二位置处，进一步处理位置音频数据；以及基于被进一步处理的位置音频数据，向用户输出位置音频，同时保持虚拟对象的视觉位置在第一位置处。

根据本发明的各种但并非全部实施例，提供了一种计算机程序代码，其在由至少一个处理器执行时使得至少执行以下步骤：在虚拟空间中的第一位置处显示虚拟对象，虚拟对象在第一位置处具有视觉位置和听觉位置；基于虚拟对象的听觉位置在第一位置处，处理位置音频数据；基于所处理的位置音频数据，向用户输出位置音频；将虚拟对象的听觉位置从第一位置改变到虚拟空间中的第二位置，同时保持虚拟对象的视觉位置在第一位置处；基于虚拟对象的听觉位置在第二位置处，进一步处理位置音频数据；以及基于被进一步处理的位置音频数据，向用户输出位置音频，同时保持虚拟对象的视觉位置在第一位置处。

计算机程序代码可以由非暂时性计算机可读介质存储。

根据本发明的各种但并非全部实施例，提供了一种装置，包括：用于在虚拟空间中的第一位置处显示虚拟对象的装置，其中，虚拟对象在第一位置处具有视觉位置和听觉位置；用于基于虚拟对象的听觉位置在第一位置处，处理位置音频数据的装置；用于基于所处理的位置音频数据，向用户输出位置音频的装置；用于将虚拟对象的听觉位置从第一位置改变到虚拟空间中的第二位置，同时保持虚拟对象的视觉位置在第一位置处的装置；用于基于虚拟对象的听觉位置在第二位置处，进一步处理位置音频数据的装置；以及用于基于被进一步处理的位置音频数据，向用户输出位置音频，同时保持虚拟对象的视觉位置在第一位置处的装置。

根据本发明的各种但并非全部实施例，提供了一种装置，其包括：至少一个处理器；以及存储计算机程序代码的存储器，计算机程序代码被配置为与至少一个处理器一起使得装置至少执行：在虚拟空间中的第一位置处显示虚拟对象，虚拟对象在第一位置处具有视觉位置和听觉位置；基于虚拟对象的听觉位置在第一位置处，处理位置音频数据；基于所处理的位置音频数据，向用户输出位置音频；将虚拟对象的听觉位置从第一位置改变到虚拟空间中的第二位置，同时保持虚拟对象的视觉位置在第一位置处；基于虚拟对象的听觉位置在第二位置处，进一步处理位置音频数据；以及基于被进一步处理的位置音频数据，向用户输出位置音频，同时保持虚拟对象的视觉位置在第一位置处。

根据本发明的各种但并非全部实施例，提供了所附权利要求中要求保护的示例。

附图说明

为了更好地理解对理解简要描述有用的各种示例，现在将仅通过示例的方式参考附图，其中：

图1A-1C和2A-2C示出介导现实的示例，其中，图1A、1B、1C示出相同的虚拟视觉空间和不同的视点，图2A、2B、2C示出从相应视点的角度观看的虚拟视觉场景；

图3A示出真实空间的示例，图3B示出与图1B的虚拟视觉场景部分对应的真实视觉场景的示例；

图4A示出采用芯片或芯片组的形式的装置的示意图；

图4B示出可操作以实现介导现实和/或增强现实和/或虚拟现实的装置的示例；

图5示出用于实现介导现实和/或增强现实和/或虚拟现实的方法的示例；

图6示出用于更新增强现实的虚拟视觉空间的模型的方法的示例；

图7示出能够向用户显示至少部分虚拟视觉场景的装置的示例；

图8示出方法的流程图；

图9示出观看介导现实内容的用户；

图10示出被显示在虚拟空间中的第一位置处的虚拟对象，其中，虚拟对象的听觉位置也在第一位置处；

图11示出虚拟对象的听觉位置已从第一位置移动到虚拟空间中的第二位置之后的虚拟空间；

图12示出用户的注视已从被引导朝向第一位置移动到被引导朝向第二位置之后的虚拟空间；

图13示出虚拟对象的听觉位置已从第二位置移动到虚拟空间中的第三位置之后并且用户的注视已从被引导朝向第二位置移动到被引导朝向第三位置之后的虚拟空间。

具体实施方式

本发明的实施例涉及帮助用户更轻松、有效地发现内容。具体地，这些实施例涉及发现介导现实内容的部分。在本发明的实施例中，向用户输出位置音频。虚拟对象可以显示在第一位置处。虚拟对象的听觉位置(如可由用户在位置音频中所识别的)最初也在第一位置处。虚拟对象的听觉位置可以移动到第二位置，同时虚拟对象的视觉位置保持在第一位置处。这向用户提供了朝向第二位置看的听觉提示，从而可将用户引导到新的内容部分。

定义

在本文中，应用了以下定义：

“视场”是指在特定时刻对用户可见的可观察世界的范围；

“虚拟空间”是指完全或部分人工环境，其可以是三维的；

“虚拟场景”是指从虚拟空间内的特定视点观看的虚拟空间的表示；

“真实空间”是指真实环境，其可以是三维的；

“真实场景”是指从真实空间内的特定视点观看的真实空间的表示；

本文中的“介导现实”是指当由计算机至少部分地向用户显示虚拟场景时，用户在视觉上体验完全或部分人工环境(虚拟空间)。虚拟场景由虚拟空间内的视点和视场确定。显示虚拟场景意思是以用户可以看到的形式提供虚拟场景；

“介导现实内容”是允许用户在视觉上体验作为虚拟场景的完全或部分人工环境(虚拟空间)的内容。介导现实内容可以包括诸如视频游戏的交互式内容，或者诸如运动视频的非交互式内容；

本文中的“增强现实”是指当虚拟场景包括由装置向用户显示的一个或多个视觉元素补充的物理真实世界环境(真实空间)的真实场景时，其中用户在视觉上体验部分人工环境(虚拟空间)的一种介导现实形式；

“增强现实内容”是允许用户在视觉上体验作为虚拟场景的部分人工环境(虚拟空间)的一种介导现实内容的形式。增强现实内容可以包括诸如视频游戏的交互式内容，或者诸如运动视频的非交互式内容；

本文中的“虚拟现实”是指当由装置向用户显示虚拟场景时，其中用户在视觉上体验完全人工环境(虚拟空间)的一种介导现实形式；

“虚拟现实内容”是允许用户在视觉上体验作为虚拟场景的完全人工环境(虚拟空间)的一种介导现实内容的形式。虚拟现实内容可以包括诸如视频游戏的交互式内容，或者诸如运动视频的非交互式内容；

应用于介导现实、增强现实或虚拟现实的“视角介导(perspective-mediated)”意思是用户动作确定虚拟空间内的视点，从而改变虚拟场景；

应用于介导现实、增强现实或虚拟现实的“第一人视角介导”意思是具有附加约束的视角介导，其中用户的真实视点确定虚拟空间内的视点；

应用于介导现实、增强现实或虚拟现实的“用户交互介导”意思是用户动作至少部分地确定虚拟空间内发生的情况；

“显示”意思是以用户在视觉上感知(观看)的形式提供；

“位置音频”是当向用户输出时向用户指示一个或多个音频源的虚拟听觉位置的音频。

图1A-1C和2A-2C示出了介导现实的示例。介导现实可以是增强现实或虚拟现实。

图1A、1B、1C示出了包括相同的虚拟对象21的相同的虚拟空间20，然而，每个附图示出了不同的视点24。视点24的位置和方向可以独立地改变。视点24的方向而非位置从图1A到图1B发生了改变。视点24的方向和位置从图1B到图1C发生了改变。

图2A、2B、2C从相应的图1A、1B、1C的不同视点24的角度示出了虚拟场景22。虚拟场景22由虚拟空间20内的视点24和视场26确定。虚拟场景22至少部分地显示给用户。

所示的虚拟场景22可以是介导现实场景、虚拟现实场景或增强现实场景。虚拟现实场景显示完全人工的虚拟空间20。增强现实场景显示部分人工、部分真实的虚拟空间20。

介导现实、增强现实或虚拟现实可以是用户交互介导的。在这种情况下，用户动作至少部分地确定虚拟空间20内发生的情况。这可以允许与虚拟对象21(例如，虚拟空间20内的视觉元素28)的交互。

介导现实、增强现实或虚拟现实可以是视角介导的。在这种情况下，用户动作确定虚拟空间20内的视点24，改变虚拟场景22。例如，如图1A、1B、1C所示，虚拟空间20内的视点24的位置23可以改变和/或虚拟空间20内的视点24的方向或定向25可以改变。如果虚拟空间20是三维的，则虚拟空间20内的视点24的位置23具有三个自由度，例如，上/下、前/后、左/右，并且视点24的方向25具有三个自由度，例如，滚转、俯仰、偏航。视点24的位置23和/或方向25可以连续地变化，因此用户动作连续地改变视点24的位置和/或方向。可替代地，视点24可具有离散量化位置23和/或离散量化方向25，并且用户动作通过在视点24的允许位置23和/或方向25之间不连续地跳跃而进行切换。

图3A示出了包括真实对象11的真实空间10，真实空间10部分地对应于图1A的虚拟空间20。在该示例中，真实空间10中的每个真实对象11在虚拟空间20中具有对应的虚拟对象21，然而，虚拟空间20中的每个虚拟对象21在真实空间中不具有对应的真实对象11。在该示例中，虚拟对象21之一(即计算机生成的视觉元素28)是在真实空间10中不具有对应的真实对象11的人工虚拟对象21。

真实空间10和虚拟空间20之间可以存在线性映射，并且真实空间10中的每个真实对象11与其对应的虚拟对象21之间存在相同的映射。因此，真实空间10中的对象11的相对关系与虚拟空间20中的对应虚拟对象21之间的相对关系相同。

图3B示出了与图1B的虚拟场景22部分对应的真实场景12，其包括真实对象11但不包括人工虚拟对象。真实场景来自对应于图1A的虚拟空间20中的视点24的视角。真实场景12内容由对应的视点24和视场26确定。

图2A可以是图3B中所示的真实场景12的增强现实版本的图示。虚拟场景22包括由装置向用户显示的一个或多个视觉元素28补充的真实空间10的真实场景12。视觉元素28可以是计算机生成的视觉元素。在穿透式(see-through)布置中，虚拟场景22包括透过补充视觉元素28的显示而看到的实际真实场景12。在视播(see-video)布置中，虚拟场景22包括显示的真实场景12和显示的补充视觉元素28。显示的真实场景12可以基于来自单个视点24的图像或者同时基于来自不同视点24的多个图像，这些图像经过处理产生来自单个视点24的图像。

图4A示出了采用芯片或芯片组的形式的装置4。所示出的装置4包括至少一个处理器40和至少一个存储器46。处理器40可以是或者包括中央处理单元(CPU)和/或图形处理单元(GPU)。处理器40被配置为对存储器46执行读写操作。处理器40还可以包括处理器40经由其输出数据和/或命令的输出接口以及经由其将数据和/或命令输入处理器40的输入接口。

存储器46存储包括计算机程序指令(计算机程序代码)48的计算机程序148，当加载到处理器40中时，计算机程序指令(计算机程序代码)48控制装置4/30的操作。计算机程序148的计算机程序代码48提供使得装置4/30能够执行图5、6和8中所示方法的逻辑和例程。通过读取存储器46，处理器40能够加载并执行计算机程序148。

计算机程序148可以经由任何适合的传送机制到达装置4/30。传送机制例如可以是非暂时性计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器(CD-ROM)或数字通用光盘(DVD)的记录介质、有形具体化计算机程序148的制品。传送机制可以是被配置为可靠地传送计算机程序148的信号。该信号例如可以根据一个或多个协议在无线连接(诸如无线电频率连接)或有线连接上发送。装置4/30可以使计算机程序148作为计算机数据信号进行发送。

虽然存储器46被示出为单个组件/电路，但其可以被实现为一个或多个单独的组件/电路，其中的一些或全部可以是集成的/可移除的，和/或可以提供永久/半永久/动态/缓存的存储设备。

虽然处理器40被示出为单个组件/电路，但其可以被实现为多个处理器，诸如一个或多个单独的组件/电路，其中的一些或全部可以是集成的/可移除的。处理器40可以是单核或多核处理器。

图4B示出了可操作以实现介导现实和/或增强现实和/或虚拟现实的装置30的示例。

在一些实施例中，装置30可以是单个电子设备，诸如头戴式设备。这样的头戴式设备的示例在图7中示出。

在其它实施例中，装置30可以在多个设备间分布，其可以由头戴式设备、游戏控制台/个人计算机和/或一个或多个手持式控制器的组合构成。在装置30至少部分地由游戏控制台或个人计算机构成的情况下，处理器40和存储器46(或者，在提供多个处理器和/或多个存储器的情况下，处理器和/或存储器中的一个或多个)可以在游戏控制台/个人计算机中提供。

在所示的示例中，装置30包括在图4A中示出的装置4、一个或多个显示器32、音频输出电路39、一个或多个收发机42以及用户输入电路44。

在图4A中，存储器46被示出为存储采用视觉数据101和音频数据102的形式的介导现实内容。视觉数据101可以由处理器40处理以向用户提供介导现实内容的视觉方面，音频数据102可以由处理器40处理以向用户提供介导现实内容的听觉方面。

介导现实内容允许用于在视觉上体验作为虚拟场景22的完全或部分人工环境(虚拟空间20)。介导现实内容例如可以是诸如视频游戏的交互式内容，或者诸如运动视频的非交互式内容。

介导现实内容在被观看时可以围绕用户扩展并且超出用户的视场。这意味着用户在任一时刻都不可能看到所显示的介导现实内容的全部。介导现实内容例如可以在一个或多个维度上延伸大约180度或更大角度。在一些示例中，介导现实内容可以在一个或多个维度上延伸大约360度。

介导现实内容的全部不需要同时进行显示。也即是说，用户通过移动他的头部和/或眼睛观看的介导现实内容的角度范围可以大于由一个或多个显示器在特定时刻显示的介导现实内容的角度范围。

介导现实内容可以是虚拟现实内容或增强现实内容。虚拟现实内容允许用户体验作为虚拟场景22的完全人工环境(虚拟空间20)。增强现实内容允许用户体验作为虚拟场景22的部分人工环境，其中虚拟场景22包括由装置30的显示器32显示的一个或多个虚拟视觉元素28补充的物理真实世界环境(真实空间)。

在该示例中，音频数据102是位置音频数据。位置音频是当向用户输出时向用户指示包含在位置音频数据102中的一个或多个音频源的虚拟听觉位置的音频。也即是说，音频使得用户在听到音频时能够将音频流中的特定源与虚拟空间20中的特定位置相关联。位置音频数据102例如可以定义来自一个或多个音频源的音频的虚拟位置和方向。

在一些示例中，位置音频是双耳音频，位置音频数据102是双耳音频数据。可以使用放置在支架或虚拟人类头部的任一侧的两个麦克风将双耳音频记录为双耳音频数据，以使得所记录的双耳音频数据考虑到人/用户倾听音频的方式(例如，由于耳朵的间距和身体的声音滤波)。然而，双耳数据的使用不限于用虚拟头部执行的记录。单耳(单声道)声源可以进行双声道渲染，以使得声源通过这种头部相关传递函数(HRTF)滤波器进行滤波，该滤波器对从音频场景中的期望声源位置到倾听者的耳朵的传输路径进行建模。通常，使用一对HRTF滤波器，一个用于左耳，一个用于右耳。

在一些示例中，位置音频是扬声器格式的空间音频。作为示例，可以使用已知的矢量基础幅度平移(VBAP)方法将声源平移到多声道扬声器布置(诸如5.1或7.1等)中的扬声器之间的适合(虚拟)位置。例如，使用VBAP，可以计算声源的增益，以使得当声源信号通过这些增益倍增然后从两个扬声器播放信号时，声源看似实际上位于沿着连接扬声器的一条线的某处。通过选择适合的一对扬声器，声源可以位于诸如5.1和7.1的扬声器布置的360度半径内的任何位置。以类似的方式，可以实现三维扬声器布置，其中不同之处在于，当使用三维布置时，针对三个扬声器而非一对扬声器来计算增益。

应注意，双耳格式的音频和扬声器格式的音频不限制捕获音频的方式。可以使用这两种技术将单耳声源渲染成位置音频。可以使用参数空间音频处理技术(通常包括诸如多通道到达方向估计和扩散度估计的步骤)将诸如来自球形麦克风阵列的输入信号的多麦克风输入信号转换为双耳格式或扬声器格式的位置音频。还可以使用扬声器格式的空间音频和双耳格式的空间音频的组合来创建位置音频。例如，可以通过将扬声器信号解释为虚拟声源来双耳式地渲染扬声器格式的空间音频，这些扬声器信号然后从适当的空间位置进行双耳式地渲染，以使能扬声器格式的音频的双耳监听。

一个或多个显示器32用于以用户视觉感知的形式向用户提供至少部分虚拟场景22。这样的虚拟场景可以构成诸如虚拟现实内容或增强现实内容的介导现实内容的一部分。显示器32可以是一个或多个视觉显示器，其提供向用户显示至少部分虚拟场景22的光。视觉显示器的示例包括液晶显示器；有机发光显示器；发射、反射、透射和透反射显示器；直接视网膜投影显示器；近眼显示器等。在该示例但并非全部示例中，显示器32由控制器42控制。

头戴式设备在用户的头部移动时移动。头戴式设备可以是用于增强现实的穿透式布置，该布置允许在显示器32向用户显示一个或多个视觉元素28时观看现场真实场景12以组合地提供虚拟场景22。在这种情况下，面罩(如果存在)是透明或半透明的，从而可以通过面罩观看现场真实场景12。

头戴式设备可以作为用于增强现实的视播布置来操作，该布置允许在显示器32上显示真实场景12的实况视频以供用户观看，同时，在显示器32显示一个或多个视觉元素28以供用户观看。显示的真实场景12和显示的一个或多个视觉元素28的组合向用户提供虚拟场景22。在这种情况下，面罩34是不透明的并且可用作显示器32。

音频输出电路39用于向用户输出音频。音频输出电路39例如可以由耳机提供。可替代地，音频输出电路39可以由多个扬声器提供以用于输出多声道音频。

一个或多个收发机42被配置为从处理器40接收输入以向处理器40提供输出。例如，一个或多个收发机42可以从处理器40接收数据并发送该数据，以及向处理器40提供所接收的数据。

一个或多个收发机42可以包括一个或多个无线收发机和/或一个或多个有线收发机。这种无线收发机例如可以包括采用一个或多个长距离蜂窝收发机或短距离无线收发机(例如，其可以根据电气和电子工程师协会无线局域网802.11协议或蓝牙协议进行操作)的形式的无线电频率接收机。这种有线收发机例如可以包括通用串行总线(USB)收发机。

在所示的示例中，用户输入电路44可以包括一个或多个触觉传感器43、一个或多个视点传感器45、一个或多个图像传感器47(其用于对真实空间10进行成像)以及一个或多个深度传感器49。

一个或多个触觉传感器43例如可以包括一个或多个操纵杆以及一个或多个键/按钮。操纵杆和/或键/按钮可以构成物理手持式控制器的一部分。如果装置30是头戴式的，则一个或多个触觉传感器43中的至少一些可以定位在头戴式装置上。

装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。用户输入电路44使用用户输入检测用户动作，例如经由触觉传感器43。处理器40使用这些用户动作以确定虚拟空间20内发生的情况。这可使得能够与虚拟空间20内的视觉元素28进行交互。

装置30可以实现介导现实和/或增强现实和/或虚拟现实的视角介导。用户输入电路44检测用户动作。控制器42使用这些用户动作以确定虚拟空间20内的视点24，从而改变虚拟场景22。视点24可以在位置和/或方向上连续变化，并且用户动作改变视点24的位置和/或方向。可替代地，视点可以具有离散量化位置和/或离散量化方向，并且用户动作通过跳到视点24的下一位置和/或方向来进行切换。

装置30可以实现用于介导现实、增强现实或虚拟现实的第一人视角。用户输入电路44使用用户视点传感器45检测用户的真实视点14。处理器40使用用户的真实视点以确定虚拟空间20内的视点24，从而改变虚拟场景22。返回参考图3A，用户18具有真实视点14。用户18可以改变真实视点。例如，真实视点14的真实位置13是用户18的位置，并且可以通过改变用户18的物理位置13来进行改变。例如，真实视点14的真实方向15是用户18正在看的方向并且可以通过改变用户18的真实方向来进行改变。真实方向15例如可以通过用户18改变其头部或视点的定向和/或用户移动他/她的眼睛来进行改变。头戴式装置30可用于实现第一人视角介导。

装置30可以包括作为输入电路44的一部分的视点传感器45，以用于确定真实视点的变化。

例如，诸如GPS、通过发送到多个接收机和/或从多个发射机接收执行的三角测量(三边测量)、加速度检测和集成的定位技术可用于确定用户18和真实视点14的新物理位置13。

例如，加速度计、电子陀螺仪或电子罗盘可用于确定用户头部或视点的定向的变化以及真实视点14的真实方向15的相应变化。

真实或虚拟空间10、20中用户的注视由用户的视点14、24和用户的眼睛的方向两者来确定。因此，用户的注视可以通过用户改变其视点14、24和/或通过移动他的眼睛来进行改变。

例如，基于例如计算机视觉的瞳孔跟踪技术可用于跟踪用户的一只或两只眼睛的运动，并且因此确定用户的注视方向以及真实视点14的真实方向15的相应变化。

装置30可以包括作为输入电路44的一部分的图像传感器47，以用于对真实空间10进行成像。

图像传感器47的示例是被配置为用作相机的数字图像传感器。此类相机可操作以记录静态图像和/或视频图像。在一些但并非全部实施例中，相机可以以立体或其它空间分布的布置配置，以使得能够从不同的视角观看真实空间10。这样可以使得能够创建三维图像和/或处理以例如通过视差效应建立深度。

在一些但并非全部实施例中，输入电路44包括深度传感器49。深度传感器49可包括发射机和接收机。发射机发射信号(例如，人类无法感知的信号，例如超声波或红外光)，接收机接收反射信号。通过使用单个发射机和单个接收机，可以经由测量从发射到接收的飞行时间来实现一些深度信息。通过使用多个发射机和/或多个接收机(空间分集)可以实现更好的分辨率。在一个示例中，发射机被配置为利用空间相关图案，用光(优选地为不可见光(诸如红外光))“绘制”真实空间10。接收机对特定图案的检测使得能够对真实空间10进行空间解析。到真实空间10的空间解析部分的距离可以通过飞行时间和/或立体视觉(如果接收机相对于发射机处于立体位置)来确定。

装置30例如可以使用图5中所示的方法60或类似的方法来实现介导现实和/或增强现实和/或虚拟现实。处理器40通过处理视觉数据101和听觉数据102来存储和维护虚拟空间20的视觉和听觉模型50。模型50表示在特定时刻向用户提供的渲染的介导现实内容90。

模型50的视觉方面可被提供给处理器40或者由处理器40根据计算机程序代码48执行操作来确定。例如，输入电路44中的传感器可用于从不同的视点创建虚拟空间的重叠深度图，然后可以生成三维模型50。

模型50的听觉方面可以由处理器40使用构成计算机程序代码48的一部分的音频渲染器来确定。模型50的听觉方面可以通过诸如双耳音频的位置音频来提供。音频渲染器可以使用双耳渲染技术以渲染声音，例如通过使用头部相关传递函数滤波(其中音频输出电路39通过耳机提供)以及矢量基础幅度平移(其中音频输出电路39通过扬声器提供)。

在框62处，确定虚拟空间20的模型50是否已经改变。如果虚拟空间20的模型50已经改变，则该方法移到框66。如果虚拟空间20的模型50还未改变，则该方法移到框64。

在框64处，确定虚拟空间20中的视点24是否已经改变。如果视点24已经改变，则该方法移到框66。如果视点24还未改变，则该方法返回到框62。

在框66处，从由当前视点24限定的位置23和方向25获取三维虚拟空间20的二维投影。然后，该投影被视场26限制以产生虚拟场景22。使用虚拟空间20内的用户的位置23并且还可能使用用户的视点24来渲染位置音频。然后该方法返回到框62。

在装置30实现增强现实的情况下，虚拟空间20包括来自真实空间10的对象11以及不存在于真实空间10中的视觉元素28。这些视觉元素28的组合可被称为人工虚拟空间。图6示出了用于更新增强现实的虚拟空间20的模型50的方法70。

在框72处，确定真实空间10是否已经改变。如果真实空间10已经改变，则该方法移到框76。如果真实空间10还未改变，则该方法移到框74。检测真实空间10的变化可以使用差分在像素级实现，并且可以使用计算机视觉跟踪正在移动的对象以在对象级实现。

在框74处，确定人工虚拟空间是否已经改变。如果人工虚拟空间已经改变，则该方法移到框76。如果人工虚拟空间还未改变，则该方法返回到框72。当人工虚拟空间由控制器42生成时，容易检测到视觉元素28的改变。

在框76处，更新虚拟空间20的模型。

在一些但并非全部实施例中，输入电路44可以包括通信电路41，作为图像传感器47和深度传感器49中的一个或多个的补充或替代。这样的通信电路41可以与真实空间10中的一个或多个远程图像传感器47和/或真实空间10中的远程深度传感器49通信。通信电路41可以构成收发机42的一部分。

图7示出了采用头戴式设备33的形式的装置30的示例，头戴式设备33包括向用户显示图像的显示器32。当用户的头部移动时，头戴式装置33可以自动移动。

头戴式设备33可以是用于增强现实的穿透式布置，该布置允许在显示器32向用户显示一个或多个视觉元素28时观看现场真实场景12以组合地提供虚拟视觉。在这种情况下，面罩34(如果存在)是透明或半透明的，从而可以通过面罩34观察现场真实场景12。

头戴式设备33可以作为用于增强现实的视播布置来操作，该布置允许在显示器32上显示真实场景12的实况视频以供用户观看，同时，在显示器32显示一个或多个视觉元素28以供用户观看。显示的真实场景12和显示的一个或多个视觉元素28的组合向用户提供虚拟场景22。在这种情况下，面罩34是不透明的并且可用作显示器32。

返回参考图4B，装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。用户输入电路44检测来自用户输入的用户动作。处理器40使用这些用户动作以确定虚拟空间20内发生的情况。这可使得能够与虚拟空间20内的视觉元素28进行交互。

检测到的用户动作例如可以是在真实空间10中执行的姿势。可以以多种方式检测姿势。例如，深度传感器49可用于检测用户18的身体部位的动作和/或图像传感器47可用于检测用户18的身体部位的动作和/或附着到用户18的肢体的位置/运动传感器可用于检测肢体的运动。

对象跟踪可用于确定对象或用户何时移动。例如，在大的宏观尺度上跟踪对象允许创建随对象移动的参考系。然后，该参照系可用于通过使用关于对象的时间差分来跟踪随时间演变的对象形状变化。这可用于检测小幅度人体运动，例如，姿势、手部运动、面部运动。这些是(仅)与用户相关的场景独立用户移动。

装置30可以跟踪与用户身体(例如，用户身体的一个或多个关节)相关的多个对象和/或点。在一些示例中，装置30可以执行用户身体的全身骨骼跟踪。

在姿势识别中，装置30可以使用与用户身体相关的一个或多个对象和/或点的跟踪。

图8示出了根据本发明的实施例的方法的流程图。下面参考图4A至13描述该方法。

在下面描述的方法的示例中，装置30是头戴式设备33，其由用户82穿戴以体验介导现实内容90。介导现实内容90例如可以是虚拟现实内容或增强现实内容。在其它示例中，虚拟现实内容可以替代地由位于用户82周围的多个显示器而不是头戴式设备33来提供。

在下面的示例中，音频经由通过耳机提供的音频输出电路39输出到用户82，音频输出电路39可以与头戴式设备33集成在一起，尽管不必需如此。音频输出电路39可替代地由多个扬声器提供。在该示例中，音频是双耳音频，但在其它示例中不需如此。

处理器40处理视觉数据101以使用户82能够体验介导现实内容90，并且连续地循环执行图5中所示的方法，在增强现实内容的情况下，连续地循环执行图6中所示的方法。

图9示出了用户82经由头戴式设备33体验介导现实内容90。用户正在观看由用户的视场26和虚拟空间20中的位置确定的虚拟场景22。虚拟空间20构成介导现实内容90的一部分。在该示例中，介导现实内容90至少在方位角的维度φ上延伸超出用户的视场26。在图示中，介导现实内容90在方位角的维度φ上围绕用户82延伸360°，但在其它示例中不需如此。

当用户82正在体验介导现实内容90时，以上述方式(连续地)监控用户的注视。

在图8中的框801处，处理器40通过显示器32在虚拟空间20中显示虚拟对象21a。虚拟对象21a显示在第一位置7处。图10示出了被显示在虚拟空间20中的第一位置7处的虚拟对象21a。虚拟对象21a与位置音频数据102中提供的音频源相关联。在该示例中，音频源是一故事的叙述,虚拟对象21a是该故事的叙述者。在其它示例中，音频源和虚拟对象21a可以不同。

虚拟对象21a被显示在用户82正在观看的虚拟场景22内。在图10中，虚拟对象21a可被认为在第一位置7处具有虚拟空间20中的“视觉位置”，因为这是显示器32显示它的位置。

如在位置音频数据102中定义的虚拟对象21a在虚拟空间20中的听觉位置也是在第一位置7处。当音频源和听觉位置由计算机程序代码48中的音频渲染器处理时，由音频输出电路39输出的音频使得当用户82倾听音频时，他感知到音频从第一位置7(在第一位置7处的虚拟对象21a)传出。

在图8中的框802处，处理器40采用上述方式处理位置音频数据102。在图8中的框803处，处理器40采用上述方式基于所处理的位置音频数据102，经由音频输出电路39向用户82输出位置音频。

如上所述，处理器40连续地监控用户的注视。就此在该方法中，处理器40确定用户的注视被引导朝向第一位置7，同时虚拟对象21a的视觉位置和听觉位置在第一位置7处。

然后，处理器40接收可以存储为视觉数据101的一部分的触发(trigger)，其例如指示存在应吸引用户的注意/注视的内容的一部分。在该示例的上下文中，叙述故事的虚拟对象21a可以叙述关于介导现实内容90的特定部分，其在虚拟空间20中位于用户的当前视场26以外的位置处显示。

响应于接收到触发，在图8中的框804处，处理器40将虚拟对象21a的听觉位置改变到虚拟空间20中的第二位置8，同时保持虚拟对象21a的视觉位置在第一位置7处不变。这在图11中示出。在该示例中，没有向用户提供有关虚拟对象21a的听觉位置已从第一位置7移动到第二位置8的任何视觉指示。

在一些实施例中，听觉位置从第一位置7到第二位置8的初始变化可能很小。例如，第二位置8可位于在听觉位置移动之前用户28在观看虚拟对象21a时具有的视场26内。

在该示例中，虚拟对象21a的听觉位置的改变是通过改变/更新与在位置音频数据102中定义的与虚拟对象21a相关联的音频源的听觉位置来实现的。更新的听觉位置被提供给计算机程序代码48中的音频渲染器以进一步处理。这在图8中的框805中示出，其中，处理器40基于虚拟对象21a的听觉位置在第二位置8处，进一步处理位置音频数据102。在图8中的框805中，处理器40基于被进一步处理的音频数据，向用户82输出位置音频(经由音频输出电路39)，同时保持虚拟对象21a的视觉位置在第一位置7处不变。这意味着用户82感知到与虚拟对象21a相关联的音频源是从第二位置8而不是第一位置7传出。

虚拟对象21a的听觉位置到第二位置8的改变用作对用户82看向第二位置8的听觉提示。处理器40连续地监控用户的注视方向。如果处理器40确定在虚拟对象21a的听觉位置改变之后用户82仍保持其注视的方向，则处理器40然后可以通过继续将用户的注视引导到在第一位置7处的虚拟对象21a，使虚拟对象21a的听觉位置恢复回到第一位置7。例如，如果在虚拟对象21a的听觉位置改变到第二位置8之后用户的注视在预定时间内保持不变，则可以进行上述恢复。

图12示出了其中用户82通过移动他的头部和/或他的眼睛已引导他的注视离开第一位置7朝向第二位置8的情况。在该示例中，当处理器40确定此点时，处理器40将听觉位置改变到虚拟空间20中的第三位置9，其与第一位置7和第二位置8不同。处理器40例如可以在确定用户的注视已被引导朝向第二位置8一段预定时间同时虚拟对象21a的听觉位置在第二位置8处之后，将虚拟对象21a的听觉位置从第二位置8改变到第三位置9。

图13示出了其中用户82通过移动他的头部和/或他的眼睛已引导他的注视离开第二位置8并朝向第三位置9的情况。诸如一个或多个其它虚拟对象21b的虚拟内容位于第三位置9，使其在第三位置9处具有视觉和听觉位置。在该示例中，第三位置9位于在听觉位置从第一位置7移动到第二位置8之前用户82在观看虚拟对象21a时具有的视场26以外。

然后，用户82继续将他的注视引导到第三位置9处。在这样做的同时，可以从一个或多个具有在第三位置9处的听觉位置的音频源(包括与虚拟对象21a相关联的音频源)向用户82提供音频(经由音频输出电路39)。

处理器40继续监控用户的注视。如果用户的注视保持被引导朝向第三位置9，则处理器40可以将虚拟对象21a的听觉位置保持在第三位置9处，同时用户的注视保持被引导朝向在第三位置9处的另一个虚拟对象21b。可替代地，处理器40可以将虚拟对象21a的听觉位置恢复回到(或朝向)第一位置7(其中显示虚拟对象21a)，同时用户的注视保持被引导朝向在第三位置9处的另一个虚拟对象21b。

相反，如果处理器40确定用户的注视已被引导离开在第三位置9处的另一个虚拟对象21b(例如，超过预定时间)，则处理器40可以将虚拟对象21a的听觉位置恢复回到(或朝向)第一位置7(其中显示虚拟对象21a)。可替代地，虚拟对象21a的听觉位置可以跟踪用户的注视离开第三位置9。如果处理器40确定用户的注视已被引导离开虚拟对象21b(例如，超过预定时间)，则处理器40可以使得另一个虚拟对象21b从显示中移除。

可以在虚拟对象21a的听觉位置已经移动到第三位置9之后，处理器40将虚拟对象21a的听觉位置自动恢复回到(或朝向)第一位置7(其中显示虚拟对象21a)，而不考虑用户的注视方向。这可涉及将虚拟对象21a的听觉位置直接恢复回到显示虚拟对象21a的第一位置7，或者将虚拟对象21a的听觉位置沿着一路径移动到第一位置7。

在上述本发明的实施例中，虚拟对象21a(与虚拟对象21a相关联的音频)的听觉位置的变化用作引导，该引导可以将用户82引向用户82可能还未体验的介导现实内容90的部分(如果这些部分还未被偶然发现)。这种引导的实现不需要诸如图形或文本的视觉引导，其可能模糊某些内容90和/或降低用户体验的质量。

在上述方法中，虚拟对象21a的听觉位置在图8中的框804中最初重新定位到的第二位置8不是用户的注意被引导到的最终目的地。用户82被沿着在虚拟空间20中从显示虚拟对象21a的第一位置7到表示最终目的地的第三位置9的路径进行引导。在一些实现中，虚拟对象21a的听觉位置可以沿着路径在虚拟空间20中逐渐移动，穿过第一位置7与第三位置9中间的一系列位置(第二位置8只是这些位置中的一个位置)。可以是如果用户的注视跟踪虚拟对象21a的听觉位置沿着从第一位置7到最终目的地/第三位置9的路径的移动(例如，在一段预定时间内)，则处理器40继续将虚拟对象21a的听觉位置移向第三位置9，但是，如果用户的注视没有跟踪(或停止跟踪)虚拟对象21a的听觉位置的移动，则处理器40使虚拟对象21a的听觉位置返回到显示虚拟对象21a的第一位置7，或者替代地使其跟踪用户的注视。

在其它实现中，第二位置8可代替第三位置9表示用户82被引导到的最终目的地。可以简单地一个移动将虚拟对象21a的听觉位置从第一位置7移动到第二位8位置。

在一些实施例中，触发可以定义起始时间、结束时间以及应将用户的注意/注视吸引到的内容90的一部分的位置(在上面的示例中，这是第三位置9)。在这样的实施例中，如果处理器40确定用户的注视在结束时间之前被引导离开第三位置9，则处理器40改变虚拟对象21a的听觉位置，以使得其随着用户的注视而移动。在结束时间之后，处理器40可以使虚拟对象21a的听觉位置移动回到第一位置7，而不考虑用户的注视方向。

如在本申请中使用的，术语“电路”是指如下的全部：

(a)仅硬件的电路实现，诸如仅采用模拟和/或数字电路的实现；

(b)电路和软件(和/或固件)的组合，诸如(如可应用的)：(i)处理器的组合；或者(ii)处理器/软件的部分，包括数字信号处理器、软件和存储器，其协同工作以使诸如移动电话或服务器的装置执行各种功能；以及

(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件以工作，即使该软件或固件在物理上不存在。

“电路”的定义适用于本申请(包括任何权利要求)中的该术语的所有使用。作为进一步的示例，如在本申请中所使用的，术语“电路”还涵盖仅一个处理器(或多个处理器)或处理器的一部分及它(或它们的)伴随软件和/或固件的实现。例如，如果适用于特定的权利要求元素，术语“电路”还涵盖用于移动电话的基带集成电路或应用处理器集成电路，或服务器、蜂窝网络设备或其它网络设备中的类似集成电路。

图5、6和8中示出的方框可以表示计算机程序48中的方法和/或代码段中的步骤。装置4提供用于执行在图5、6和8示出以及上文所描述的方法的装置。对方框的特定顺序的说明并非意味着这些方框具有必需或优选的顺序，方框的顺序和排列可以改变。此外，有些方框可被省略。

在已经描述了结构特征的情况下，可以通过用于执行结构特征的一个或多个功能的装置来替换结构特征，无论该功能或这些功能是否被明确或隐含地描述。

如在本文中所使用的，“模块”是指除了由终端制造商或用户添加的某些部件/组件以外的单元或装置。控制器42例如可以是模块。装置30可以是模块。用户输入电路44可以是模块或者包括模块。一个或多个显示器32可以是一个或多个模块。

尽管本发明的实施例已经在之前的段落中参考各种示例进行了描述，但应当理解，可在不背离本发明要求保护的范围的情况下对给出的示例进行修改。

在之前的描述中描述的特征可用于除了明确描述的组合之外的组合中。

尽管已经参考某些特征描述了功能，但这些功能可由其它特征来执行，无论是否描述。

尽管已经参考某些实施例描述了特征，但这些特征也可存在于其它实施例中，无论是否描述。

在之前的描述中试图指出被认为是特别重要的本发明的特征时，应当理解，申请人要求保护关于在本文中之前参考附图和/或在附图中示出的任何可授予专利的特征或特征组合的内容，无论是否已经强调。

我/我们要求保护随附权利要求。

Claims (15)

1.一种方法，包括：

在虚拟空间中的第一位置处显示虚拟对象，所述虚拟对象在所述第一位置处具有视觉位置和听觉位置；

基于所述虚拟对象的所述听觉位置在所述第一位置处，处理位置音频数据；

基于所处理的位置音频数据，向用户输出位置音频；

将所述虚拟对象的所述听觉位置从所述第一位置改变到所述虚拟空间中的第二位置，同时保持所述虚拟对象的所述视觉位置在所述第一位置处；

基于所述虚拟对象的所述听觉位置在所述第二位置处，进一步处理位置音频数据；以及

基于被进一步处理的位置音频数据，向所述用户输出位置音频，同时保持所述虚拟对象的所述视觉位置在所述第一位置处。

2.根据权利要求1所述的方法，还包括：当所述虚拟对象的所述视觉位置在所述第一位置处并且所述虚拟对象的所述听觉位置在所述第一位置处时，确定所述用户的注视被引导朝向所述虚拟空间中的所述第一位置；以及

监控所述用户的注视以确定在所述虚拟对象的所述听觉位置被移动到所述第二位置之后所述用户的注视是否被引导离开所述第一位置。

3.根据权利要求2所述的方法，还包括：响应于确定在所述虚拟对象的所述听觉位置已被移动到所述第二位置之后所述用户的注视还未被引导离开所述第一位置，将所述虚拟对象的所述听觉位置从所述第二位置改变到所述第一位置。

4.根据权利要求2所述的方法，还包括：响应于确定在所述虚拟对象的所述听觉位置已被移动到所述第二位置之后所述用户的注视已被引导离开所述第一位置，将所述虚拟对象的所述听觉位置从所述第二位置改变到所述虚拟空间中的第三位置。

5.根据权利要求4所述的方法，其中，在确定所述用户的注视已被引导朝向所述第二位置一段预定时间之后，所述虚拟对象的所述听觉位置从所述第二位置改变到所述第三位置。

6.根据权利要求4或5所述的方法，其中，与所述虚拟对象不同的虚拟内容在所述第三位置处具有视觉位置和听觉位置。

7.根据权利要求4、5或6所述的方法，还包括：

在所述虚拟对象的所述听觉位置在所述第三位置处时继续监控所述用户的注视；以及

在确定所述用户的注视已被引导离开所述第三位置之后，将所述虚拟对象的所述听觉位置从所述第三位置改变到或朝向所述第一位置。

8.根据权利要求7所述的方法，其中，在确定所述用户的注视已被引导离开所述虚拟空间中的所述第三位置超过一段预定时间之后，所述虚拟对象的所述听觉位置从所述第三位置改变到或朝向所述虚拟空间中的所述第一位置。

9.根据权利要求7或8所述的方法，其中，所述虚拟对象的所述听觉位置跟随所述用户的注视的移动。

10.根据权利要求4、5或6所述的方法，还包括：在一段预定时间之后，将所述虚拟对象的所述听觉位置从所述第三位置改变到或朝向所述虚拟空间中的所述第一位置。

11.根据前述权利要求中任一项所述的方法，其中，所述虚拟对象是虚拟现实内容或增强现实内容的一部分。

12.根据权利要求11所述的方法，其中，所述虚拟现实内容或增强现实内容至少部分地由头戴式设备提供。

13.一种计算机程序代码，所述计算机程序代码在由至少一个处理器执行时使得执行根据权利要求1至12中任一项所述的方法。

14.一种装置，包括：

用于在虚拟空间中的第一位置处显示虚拟对象的装置，其中，所述虚拟对象在所述第一位置处具有视觉位置和听觉位置；

用于基于所述虚拟对象的所述听觉位置在所述第一位置处，处理位置音频数据的装置；

用于基于所处理的位置音频数据，向用户输出位置音频的装置；

用于将所述虚拟对象的所述听觉位置从所述第一位置改变到所述虚拟空间中的第二位置，同时保持所述虚拟对象的所述视觉位置在所述第一位置处的装置；

用于基于所述虚拟对象的所述听觉位置在所述第二位置处，进一步处理位置音频数据的装置；以及

用于基于被进一步处理的位置音频数据，向所述用户输出位置音频，同时保持所述虚拟对象的所述视觉位置在所述第一位置处的装置。

15.根据权利要求14所述的装置，还包括：用于执行根据权利要求2至12中的一项或多项所述的方法的装置。