CN107636605B - 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套 - Google Patents

Abstract

一种使用外围装置的系统和方法，所述外围装置用于与通过计算机产生以用于呈现在头戴式显示器上的虚拟现实场景介接。所述外围装置包括触觉装置，所述触觉装置能够放置成与用户接触；以及触觉反馈控制器，所述触觉反馈控制器用于处理用于将触觉信号输出到所述触觉装置的指令。所述触觉反馈控制器从所述计算机接收所述指令，使得所述触觉装置的触觉反馈改变以对应于用户与如呈现在所述头戴式显示器上的所述虚拟现实场景中的虚拟对象的虚拟交互。

Description

传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动 的动态手套

技术领域

本发明大体上涉及虚拟环境，且更确切地说，涉及用于在穿戴并使用头戴式显示器(HMD)的情况下与虚拟对象介接的方法和系统。

背景技术

在人机交互的领域中快速增长的技术中的一个是各种头戴式显示器(HMD)，所述头戴式显示器可戴在用户的头部上，且所述头戴式显示器具有在用户眼睛中的一个或两个的前方的一个或两个显示器。此类型的显示器具有涉及虚拟现实的模拟的多种商业应用，包括视频游戏、医学、运动训练、娱乐应用等等。在游戏领域中，这些显示器可例如用于渲染三维(3D)虚拟游戏世界。

尽管在HMD领域中已出现较大进步，但所述技术仍需要将物理现实引至与在HMD中呈现的虚拟环境中渲染的虚拟对象的实际用户交互的进步。

以下实施方案在此背景下出现。

发明内容

从广义上讲，本发明通过提供用于模拟虚拟环境中的虚拟对象的不同感觉和纹理的系统、方法以及设备来满足这些需要。应了解，本发明可以众多方式实施，包括实施为过程、设备、系统或装置。下文描述本发明的若干发明性实施方案。

一个实施方案描述一种用于与通过计算机产生以用于呈现在头戴式显示器上的虚拟现实场景介接的外围装置。所述外围装置包括触觉装置，所述触觉装置能够放置成与用户接触；以及触觉反馈控制器，所述触觉反馈控制器用于处理用于将触觉信号输出到所述触觉装置的指令。触觉反馈控制器从计算机接收指令，使得触觉装置的触觉反馈改变以对应于用户与如呈现在头戴式显示器上的虚拟现实场景中的虚拟对象的虚拟交互。

触觉装置可包括以下各项中的一个或多个：压缩气体、液体、电动机、直线电机、电磁体、压电装置、加热元件、冷却元件、一个或多个电活性聚合物或一个或多个相变材料、或能够向用户施加一个或多个触摸感觉的其它装置。触觉装置可模拟虚拟对象的纹理、虚拟对象的形状、通过虚拟对象虚拟地施加在用户上的压力的量、例如虚拟对象的振动或其它移动等移动的量、或虚拟对象相对于第二虚拟对象的接近性。

外围装置还可包括至少一个运动传感器，所述运动传感器耦合到触觉反馈控制器，且能够检测外围装置的运动并将运动信号输出到反馈控制器和/或计算机。

触觉装置可安置在能够被用户穿戴的衣物中，例如手套、帽子、鞋类、裤子或衬衫。触觉装置还可安置在头戴式显示器中。

另一实施方案提供一种模拟与呈现在头戴式显示器中的虚拟环境中的虚拟对象接触的触觉的方法。所述方法包括通过外围装置接收触觉指令，所述外围装置具有能够与用户接触的至少一个触觉装置。所述接触可为直接的或间接的。触觉指令对应于在虚拟环境中呈现的虚拟对象的纹理特性、温度特性、移动特性或形状中的至少一个。外围装置表示与虚拟对象的接触。外围装置中的触觉装置的触觉反馈可被改变以对应于与虚拟环境中的虚拟对象的交互。触觉指令可包括在触觉简档中，所述触觉简档可从计算机发送到外围装置并存储在外围装置中。

本发明的其它方面和优点将从以下结合附图进行的借助实例说明本发明的原理的详细描述而变得清楚。

附图说明

本发明将通过以下结合附图的详细描述而得到容易的理解。

图1说明根据所公开的实施方案中的一个的视频游戏的交互式玩游戏的系统。

图2说明根据所公开的实施方案中的一个的HMD。

图3说明使用能够将视频游戏内容渲染给用户的HMD的客户端系统的玩游戏的一个示例。

图4说明根据所公开的实施方案中的一个的在使用期间戴着HMD的用户。

图5是根据所公开的实施方案中的一个的用于将虚拟对象的触觉和纹理提供给用户的系统的简化示意图。

图6是根据所公开的实施方案中的一个的内容来源的简化示意图。

图7是说明根据所公开的实施方案中的一个的在模拟用户的手上的变化的纹理或压力时所执行的方法操作的流程图。

图8和图9是根据所公开的实施方案中的一个的左手手套和右手手套的更详细的示意图。

图10是根据所公开的实施方案中的一个的形成握成拳头的用户的手的手套的示意图。

图11是根据所公开的实施方案中的一个的使得用户的手张开的手套的示意图。

图12是根据所公开的实施方案中的一个的对用户的手施加压力的手套的示意图。

图13是根据所公开的实施方案中的一个的对用户的手施加多个压力点的手套的示意图。

图14是根据所公开的实施方案中的一个的手套和触觉控制器的示意图。

图15是根据所公开的实施方案中的一个的耦合到游戏控制器的手套的示意图。

图16是根据所公开的实施方案中的一个的触觉反馈系统的简化方块图。

图17是根据所公开的实施方案中的一个的在耦合到游戏控制器104的手套中的触觉反馈系统的简化方块图。

图18是根据所公开的实施方案中的一个的用虚拟的剑进行的动作的示例简化连续序列和将触觉反馈提供给用户的手套。

图19是说明根据所公开的实施方案中的一个的在模拟用户的手上的变化的纹理或压力以与虚拟对象相对应时所执行的方法操作的流程图。

图20，示出说明根据所公开的实施方案中的一个的头戴式显示器的示例组件的图式。

图21说明信息服务提供商架构的实施方案。

具体实施方式

现将描述用于模拟在虚拟环境中的虚拟对象的不同感觉和纹理的若干示例性实施方案。所属领域的技术人员应清楚，本发明可在没有本文中所阐述的具体细节中的一些或全部的情况下实践。

一种模拟虚拟对象的不同感觉和纹理的方法是使用可对用户的手施加可动态调整的压力和/或纹理的手套(或多个手套)。手套可挤压用户的手或使用户的手和/或手指弯曲，以对应于在头戴式显示器(HMD)中呈现给用户的三维(3D)虚拟环境中的虚拟对象的感觉和纹理。

图1说明根据所公开的实施方案中的一个的视频游戏的交互式玩游戏的系统。用户100示出为戴着头戴式显示器(HMD)102。HMD102以类似于眼镜、护目镜或头盔的方式穿戴，且经配置以向用户100显示视频游戏或其它内容。HMD 102经配置以通过其提供紧密接近于用户的眼睛的显示器机构(例如，光学和显示屏)和传递到HMD的内容的格式来将沉浸式体验提供给用户。在一个示例中，HMD 102可将显示区提供给用户的眼睛中的每一个，所述显示区占据用户的视场的较大部分或甚至全部。

在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接122可为有线或无线的。计算机106可为任何通用或专用计算机，包括但不限于，游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、手机、平板计算机、瘦客户端、机顶盒、流媒体装置等。在一些实施方案中，HMD 102可直接地连接到网络110，例如互联网，所述网络可允许云游戏而不需要单独的本地计算机。在一个实施方案中，计算机106可经配置以执行视频游戏(和其它数字内容)，并从视频游戏输出视频和音频以用通过HMD 102渲染。计算机106在本文中也被称为客户端系统106，所述客户端系统在一个示例中为视频游戏控制台。

在一些实施方案中，计算机106可为本地或远程计算机，且所述计算机可运行仿真软件。在云游戏实施方案中，计算机106为远程的，且可通过可在数据中心虚拟化的多个计算服务表示，其中游戏系统/逻辑可被虚拟化并经由网络110分配给用户。

用户100可操作控制器104以提供视频游戏的输入。在一个示例中，相机108可经配置以捕获交互式环境的图像，用户100位于所述交互式环境中。这些所捕获的图像可经分析以确定用户100、HMD102以及控制器104的位置和移动。在一个实施方案中，控制器104包括灯(或多个灯)，所述灯可被跟踪以确定其位置和取向。另外，如下文另外详细描述，HMD 102可包括一个或多个灯200A-K，所述灯可作为标记被跟踪以在玩游戏期间基本上实时地确定HMD 102的位置和取向。

相机108可包括一个或多个麦克风以从交互式环境捕获声音。通过麦克风阵列捕获的声音可经处理以识别声源的位置。来自所识别的位置的声音可经选择性地利用或处理以排除并非来自所识别的位置的其它声音。此外，相机108可被界定为包括多个图像捕获装置(例如，立体相机对)、IR相机、深度相机以及其组合。

在一些实施方案中，计算机106可在本地在计算机106的处理软件上执行游戏。游戏或内容可以任何形式获得，例如物理媒体形式(例如，数字光盘、磁带、卡片、拇指驱动器、固态芯片或卡片等)，或通过经由网络110从互联网下载来获得。在另一实施方案中，计算机106充当经由网络与云游戏提供商112通信的客户端。云游戏提供商112可维护并执行用户100正玩的视频游戏。计算机106将来自HMD 102、控制器104以及相机108的输入发送到云游戏提供商112，所述云游戏提供商处理输入以影响执行中的视频游戏的游戏状态。来自执行中的视频游戏的输出例如视频数据、音频数据以及触觉反馈数据被发送到计算机106。计算机106可在发送之前另外处理数据或可直接地将数据发送到相关装置。例如，视频和音频流被提供到HMD 102，而振动反馈命令被提供到控制器104或其它输入装置，例如，手套、衣服、HMD 102或所述输入装置中的两个或多个的组合。

在一个实施方案中，HMD 102、控制器104、相机108自身可为联网装置，所述联网装置连接到网络110以与云游戏提供商112通信。例如，计算机106可为本地网络装置，例如路由器，所述本地网络装置并不另外执行视频游戏处理，而是促进网络流量的通过。通过HMD102、控制器104以及相机108到网络的连接124可为有线或无线的。在一些实施方案中，在HMD 102上执行的或可显示在显示器107上的内容可从任何内容来源120获得。示例内容来源可包括举例来说，提供可下载内容和/或流式内容的互联网网站。在一些示例中，所述内容可包括任何类型的多媒体内容，例如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。

如下文将更详细描述，用户100可在HMD 102上玩游戏，其中此类内容为沉浸式3D交互内容。HMD 102上的内容在玩家在玩时可共享到显示器107。在一个实施方案中，共享到显示器107的内容可允许接近于用户100的其它用户或较远的用户在用户玩时一起观看。在另外的实施方案中，观看用户100在显示器107上的玩游戏的另一用户可与玩家100交互地参与。例如，观看在显示器107上的玩游戏的用户可控制游戏场景中的角色、提供反馈、提供社交交互和/或提供评论(经由文本、经由语音、经由动作、经由手势等)，这使得未戴着HMD102的用户能够与用户100、玩游戏或HMD 102中正渲染的内容社交地交互。

图2说明根据所公开的实施方案中的一个的HMD 102。如图所示，HMD 102包括多个灯200A-K(例如，其中200K和200J朝向HMD头带210的后侧或背侧定位)。这些灯中的每一个可经配置以具有特定形状和/或位置，且可经配置以具有相同或不同的颜色。灯200A、200B、200C以及200D布置在HMD 102的前表面上。灯200E和200F布置在HMD 102的侧表面上。且灯200G和200H布置在HMD 102的拐角处，以便跨越HMD 102的前表面和侧表面。应了解，灯可在用户使用HMD 102的交互式环境的所捕获图像中识别出。

基于灯的识别和跟踪，可确定在交互式环境中的HMD 102的位置和取向。应另外了解，取决于HMD 102相对于图像捕获装置的特定取向，灯200A-K中的一些可为可见的或可不为可见的。并且，取决于HMD 102相对于图像捕获装置的取向，灯中的不同部分(例如，灯200G和200H)可被暴露以用于图像捕获。在一些实施方案中，惯性传感器安置在HMD 102中，所述惯性传感器提供关于定位的反馈，而不需要灯200A-K。在一些实施方案中，灯和惯性传感器一起工作，以实现位置/运动数据的混合和选择。

在一个实施方案中，灯可经配置以向附近的其它用户指示HMD 102的当前状态。例如，灯200A-K中的一些或全部可经配置以具有特定的颜色布置、强度布置，经配置以闪烁、具有特定的开/关配置，或指示HMD 102的当前状态的其它布置。作为示例，灯200A-K可经配置以在视频游戏的活动玩游戏(通常为在活动时间线期间或在游戏的场景内进行的玩游戏)期间对视频游戏的其它非活动玩游戏方面显示不同配置，例如导航菜单接口或配置游戏设置(在此期间游戏时间线或场景可为非活动的或暂停的)。灯200A-K还可经配置以指示玩游戏的相对强度水平。例如，灯200A-K的强度或闪烁的速率可在玩游戏的强度增加时增加。

HMD 102可另外包括一个或多个麦克风。在所说明的实施方案中，HMD 102包括在HMD 102的前表面上界定的麦克风204A和204B，以及在HMD 102的侧表面上界定的麦克风204C。通过利用麦克风阵列204A-C，来自麦克风中的每一个的声音可经处理以确定声音的来源的位置。此信息可以各种方式利用，包括排除不想要的声源、使声源与视觉识别相关联等。

HMD 102还可包括一个或多个图像捕获装置。在所说明的实施方案中，HMD 102示出为包括图像捕获装置202A和202B。通过利用一对立体图像捕获装置，可从HMD 102的角度捕获环境的三维(3D)图像和视频。此类视频可被呈现给用户以在用户戴着HMD 102时将“视频透视”能力提供给用户。也就是说，尽管用户在严格的场景中无法透视HMD 102，但通过图像捕获装置202A和202B捕获的视频仍可提供能够看见在HMD 102外部的环境的功能等效，如同透视HMD 102一样。

此类视频可用虚拟元素增强以提供增强的现实体验，或可以其它方式与虚拟元素组合或混合。尽管在所说明的实施方案中，两个相机示出在HMD 102的前表面上，但应了解，可存在任何数目的面朝外的相机或单一相机可安装在HMD 102上，且在任何方向上取向。例如，在另一实施方案中，可存在安装在HMD 102的侧面上的相机以提供对环境的另外的全景图像捕获。在一个实施方案中，前置相机(RCG，和/或深度相机)可用于跟踪用户的手或手套的位置、取向以及运动。如下文将描述，来自通过前置相机捕获的图像数据的信息可用于在用户与虚拟对象介接时将较高的分辨率和以其它方式改进的触觉反馈提供给用户。

图3说明使用能够将视频游戏内容渲染给用户100的HMD 102的客户端系统106的玩游戏的一个示例。在此说明中，提供给HMD 102的游戏内容在富交互式3-D空间中。如上文所论述，游戏内容可被下载到客户端系统106，或可在一个实施方案中通过云处理系统执行。云游戏服务112可包括用户的数据库140，所述用户被允许访问特定的游戏、与其他朋友分享经验、发表评论并管理所述用户的帐户信息。

云游戏服务112还可存储特定用户的游戏数据150，所述游戏数据可在玩游戏、未来玩游戏期间可用，共享至社交媒体网络或用于存储奖品、奖项、状态、排名等。社交数据160还可通过云游戏服务112管理。社交数据160可通过单独的社交媒体网络管理，所述社交媒体网络可经由互联网110与云游戏服务112介接。经由互联网110，可连接任何数目的客户端系统106以用于访问内容和与其他用户交互。

继续图3的示例，在HMD 102中观看的三维交互式场景可包括玩游戏，例如在3-D视图中所说明的角色。一个角色，例如P1，可通过戴着HMD 102的用户100来控制。此示例示出在两个玩家之间的篮球场景，其中HMD用户100在3-D视图中正在另一角色上方扣篮。另一个角色可为游戏的AI(人工智能)角色，或可通过另一用户或另外多个用户(Pn)控制。戴着HMD102的用户100示出为在使用空间中四处移动，其中HMD可基于用户的头部移动和身体位置而四处移动。相机108示出为定位在房间中的显示屏上方，然而，对于HMD 102使用，相机108可置于可捕获HMD 102的图像的任何位置中。由此，用户100示出为从相机108和显示器107转动约90度，因为在HMD 102中渲染的内容可取决于从相机108的角度看HMD 102所定位的方向。当然，在HMD 102使用期间，用户100经四处移动、转动他的头部、在各种方向上观看，如利用通过HMD渲染的动态虚拟场景可需要。

图4说明根据所公开的实施方案中的一个的在使用期间戴着HMD 102的用户。在此示例中示出，使用通过相机108从所捕获的视频帧获得的图像数据来跟踪402HMD 102。在其它实施方案中，跟踪还可利用来自HMD自身的惯性数据。在各种实施方案中，跟踪用户的头部可包括混合从图像跟踪和惯性跟踪所获得的数据。另外示出，还可使用通过相机108从所捕获的视频帧获得的图像数据来跟踪404控制器。还示出的是HMD 102经由缆线406连接到计算系统106的配置。在一个实施方案中，HMD 102从同一缆线获得功率或可连接到另一缆线。在另一实施方案中，HMD 102可具有可再充电的电池，以便避免额外的电源线。在其它实施方案中，可利用手套或在没有手套的情况下跟踪用户的手。

图5是根据所公开的实施方案中的一个的用于将虚拟对象的感觉和纹理提供给用户(例如，在与虚拟环境交互时)的系统500的简化示意图。通常，跟踪或纹理反馈被称为触觉反馈。如本文中所使用，感觉可包括通过人体部分响应于接收到对象、表面、纹理、形状或事物或与对象、表面、纹理、形状或事物进行接触而检测到的感觉。在一些实施方案中，触觉反馈可提供纹理和对纹理的触觉两者。系统500包括耦合到云网络110的游戏控制台106。云网络110可提供对云游戏提供商112和内容来源120的访问。云游戏提供商可为提供对线上内容的访问的服务，所述线上内容可下载或流式传输到游戏控制台106。游戏控制台106可耦合到头戴式显示器102、其它外围装置504以及一个或多个衣物，例如面罩、衬衫、裤子、鞋类或手套502或其中的一个或多个。

记住上述描述，游戏控制台106可包括内容选择模块506、输入装置接口512、对象配置矩阵渲染模块514、虚拟现实(VR)空间产生模块516以及触觉响应处理模块518。内容选择模块506包括内容接口508和虚拟现实内容选择模块510。在一些实施方案中，可提供更少或更多的模块以实现在HMD的使用期间的触觉反馈，所述HMD将交互性提供到沉浸式3D虚拟现实环境。

游戏控制台106将具有各种计算组件例如一个或多个处理器、存储器系统、系统总线、高速缓存系统、存储资源以及一个或多个通信模块。通信模块可包括以下各项中的一个或多个：网络接口卡、无线处理器、WiFi模块、蓝牙模块以及其它连接器接口逻辑。另外，游戏控制台106可包括各种I/O接口以用于连接到HMD 102、外围装置504(例如，控制器、相机、麦克风等)以及手套502，所述手套可一个或两个被用户穿戴。在一个实施方案中，I/O接口将使用各种通信协议以用于与HMD 102、外围装置504以及手套502介接。所述协议可为例如自定义协议或标准协议，所述协议经设计以传送控制或审核从手套502的组件接收数据的信号。此外，如本文中所使用，用于在控制台106与HMD 102、外围装置504以及手套502之间的通信的I/O接口和协议可为有线或无线的，或为无线和有线两者的组合。

在一些组合中，游戏控制台106可具有自定义逻辑、固件或电路以用于处理特定的执行操作。在其它实施方案中，游戏控制台106可通过游戏控制台106的处理器和存储器系统执行各种模块的操作。如本文中所使用，模块的论述应被视为通过上述模块和配置或其组合中的任一个界定。然而，通常，对模块的论述或提及可被视为通过游戏控制台106的硬件和/或软件处理。

在操作中，戴着HMD 102的用户将经由外围装置504与游戏控制台106介接。用户可选择将在HMD 102中渲染的游戏或内容的类型。用以选择内容的输入通过游戏控制台106经由输入装置接口512接收。内容的选择可从本地存储装置进行或从线上内容来源120、云游戏提供商112或其组合进行。

在一个简单的示例中，用户使用外围装置504来选择内容，且所述选择通过游戏控制台106经由输入装置接口512接收作为输入。所述内容可为具有咖啡桌和位于所述咖啡桌上的易拉罐(例如，虚拟对象)的简单的起居室虚拟空间。一旦选择内容，内容接口508就将接收内容以用于渲染虚拟空间，例如，起居室。游戏控制台106将包括用于识别起居室中的虚拟对象的逻辑，所述虚拟对象可包括咖啡桌、易拉罐、墙壁、地毯、门和/或其它虚拟人类和事物。

内容接口508将接收到的虚拟空间(例如，起居室)的内容传递到对象配置矩阵渲染模块514和VR空间产生模块516。在一个实施方案中，对象配置矩阵渲染模块514将检查接收到的内容以识别虚拟空间中的任何虚拟对象。在一个实施方案中，虚拟对象可已在先前被处理以界定虚拟对象的模型、纹理、形状、硬度、柔软度以及相关物理参数的数据。在此示例中，易拉罐为虚拟对象，所述虚拟对象可包括经预处理的数据(例如，触觉简档)，所述数据可被对象配置矩阵渲染模块514使用，所述数据例如虚拟对象的配置/属性。用于渲染包括虚拟对象的虚拟空间的内容也被传递到VR空间产生模块516。继续所述示例，用户可通过伸进虚拟空间中以尝试触摸易拉罐来提供交互。

在此发生时，触觉响应处理模块518可使用通过对象配置矩阵渲染模块和/或触觉响应处理模块518处理的触觉简档，确定对应的触觉反馈以提供回给用户。例如，如果用户戴着手套502且用户按压虚拟易拉罐，那么易拉罐将改变形状，例如，以示出压扁动作。手套将被提供有触觉反馈以给予用户压扁所述罐子的感觉，例如，随着罐子压扁而逐步或平缓地改变用户的手指之间的阻力。在一个实施方案中，压扁罐子的声音还可被提供到HMD 102的扬声器输出。

因此，在一个实施方案中，反馈的触觉数据，例如用户与虚拟对象的交互的反馈的触觉数据可预先界定并存储在数据库或文件中或与虚拟空间的内容整合在一起(例如，以供对象配置矩阵渲染模块514使用)。在一些实施方案中，通过对象配置矩阵渲染模块514用于一些虚拟对象的数据可被预先下载或预先存储到游戏控制台106或外围装置504。一般来说，将在虚拟空间中渲染的虚拟对象可与界定触觉响应的类型的数据相关联，所述触觉响应将在用户与虚拟空间中的虚拟对象交互(例如，被跟踪和识别以与所述虚拟对象交互)时变得与虚拟对象相关。

在另一示例中，当用户在朝左的方向上转动他的或她的HMD时，输入装置接口512将从HMD 102(或观看/跟踪HMD的相机或在HMD上的相机)接收输入。用户的头部的转动将造成对实现虚拟空间的朝左渲染的内容的请求。所述转动因此为输入装置接口512的输入，所述输入装置接口通向VR内容选择模块510，使得数据可渲染并提供到HMD。

对于待渲染的VR空间，内容接口508将选定且获得的VR内容输出到对象配置矩阵渲染模块514和VR空间产生模块516。如上文所维持，对象配置矩阵渲染模块514识别在HMD102中呈现的VR空间中存在的虚拟对象。

VR空间产生模块516产生或帮助在HMD 102中呈现的虚拟环境或空间。触觉响应处理模块518从对象配置矩阵渲染模块514和VR空间产生模块516接收虚拟对象数据和虚拟空间数据。触觉响应处理模块使用虚拟对象数据和虚拟空间数据来计算用于外围装置504、头戴式显示器102和/或与用户接触或由用户使用的手套502的对应的触觉指令。

作为另一示例，如果用户正在虚拟空间中行走且他遇到微风，那么HMD 102可输出一个或多个风的感觉，例如在用户的面部和/或用户的身体的其它部分吹空气。在用户的面部吹动的空气可被冷却或加热以便对应于虚拟空间中的风。当用户继续在虚拟空间中行走时，他遇到树。当他伸出手以用他的右手(例如，手套502在他的右手上)触摸树时，触觉响应处理模块将返回触觉反馈以向用户的手产生触摸树、或树的冷感、或树皮的纹理、或树的形状或甚至树在微风中的抖动的感觉。

图6是根据所公开的实施方案中的一个的内容来源120的简化示意图。内容来源120可包括若干模块，所述模块包括VR内容库620。多个内容空间622A-n包括在VR内容库620内。内容空间622A-n中的每一个包括对应的对象配置矩阵624以用于配置在通过内容空间所描述的空间中的各种对象。VR内容626提供VR内容选择模块510所需的数据以识别待显示在HMD 102上的虚拟空间。对象空间映射模块628界定显示在虚拟空间中的各种虚拟对象的位置。

在一个实施方案中，对象配置矩阵渲染模块514将还获得、访问和/或处理与在虚拟空间中存在或识别的一个或多个虚拟对象相关联的数据(例如，触觉简档数据)。在一些实施方案中，虚拟对象将与配置数据相关联，所述配置数据界定属性、物理性质、尺寸以及对与对象介接(例如，虚拟对象被固持、移动、压扁、投掷、触摸、摩擦、挤压、按压、提升、打碎、碰撞等)时的可能的触觉响应。取决于接口的类型，通过触觉响应处理模块518提供的触觉响应将有所不同。在一些配置中，触觉响应的类型可为触觉响应的组合，例如、物理的、音频、空气、压力、物理性质、应力、排斥力、温度、湿度、收缩或其中的两个或多个的组合。

对象3D空间配置模块630提供所显示的虚拟对象的3D特征。这些3D特征可包括所显示的对象的重量、形状、纹理以及颜色中的一个或多个，以及上文所描述的其它参数。

对象声音简档632提供对应于所显示的虚拟对象和虚拟空间的声音。例如，风使树的树叶沙沙作响的声音、远方的雷声以及在HMD上显示的虚拟空间中存在的动物声音。对象物理性质简档634可提供在虚拟空间中显示的各种对象的物理运动和/或纹理特性。在一些实施方案中，虚拟对象的运动、纹理、声音、取向以及位置中的一个或多个渲染在虚拟空间内，且可在对象将被显示在HMD 102上时被VR内容选择模块510和VR空间产生模块516用于产生虚拟空间中的对象。因此，一个实施方案将规定，每一内容空间622将与对象空间映射628、对象3D空间配置630、对象声音简档632和/或对象物理性质简档634中的一个或多个相关联。在一些配置中，内容空间可被关联到界定虚拟对象的一个或多个属性的单独的数据或文件。这些属性用于确定在检测到与虚拟场景中的虚拟对象的交互性时提供到用户的触觉反馈的类型和/或量值。在一些实施方案中，新虚拟对象可以动态形式引入到虚拟场景中，例如，另一用户访问共享的空间且他或他的化身引入或引进新的虚拟对象(例如，多玩家)。虚拟对象在被引进时将随其相关联的属性一起被引进。以此方式，无论谁，例如用户或用户的化身，或另一用户，与VR场景中的虚拟对象交互，都可渲染触觉反馈。

图7是说明根据所公开的实施方案中的一个的在模拟用户的手上的变化的纹理、振动或压力时所执行的方法操作700的流程图。在操作705中，虚拟空间通过HMD 102呈现给用户。在虚拟空间中存在的各种虚拟对象也向用户显示。在操作710中，用户与虚拟空间中的虚拟对象交互，例如用他的手指或他的手触摸虚拟对象。作为示例，用户可触摸虚拟卵石的粗糙表面并感觉虚拟卵石的纹理和温度。在另一示例中，用户可抓住虚拟的剑的虚拟手柄并感觉所述手柄的形状、压力以及纹理。

在操作715中，游戏控制台106将VR输入和反馈提供到各种触觉装置，例如与用户接触的手套。如上文所提及，触觉反馈可至其它外围装置504、HMD 102或衣服或其组合。这将用户正在虚拟空间中与其交互的虚拟对象的直接反馈和感觉提供给用户。

图8和图9是根据所公开的实施方案中的一个的左手手套502L和右手手套502R的更详细的示意图。图8说明手套502L、502R的背侧。图9说明手套502L、502R的掌侧。手套的手指和拇指包括触觉装置810A-813E。触觉装置810A-813E可将纹理、形状、温度、振动以及压力感觉提供给用户的手指和拇指。手套的掌区还包括触觉装置804-805以用于将纹理、形状、温度、振动以及压力感觉提供给用户的手掌。手套的背侧还可包括触觉装置806-809以用于将纹理、形状、温度、振动以及压力提供给用户的手的背侧。

触觉装置810A-813E、806-809可提供纹理、形状、温度、振动、压力中的一个或多个，且可以不同的形状形成用户的手。在一个实施中，触觉装置可用诸如空气或液体(例如水和油)等流体扩充。在另一实施中，触觉装置中的每一个可包括一个或多个电机装置，例如振动的偏置配重，和/或伸长或缩回的电磁电枢，和/或可振动的压电装置，和/或加热或冷却元件和/或电活性聚合物和/或相变材料。触觉装置还可包括伸长和收缩元件，所述元件可相应地使得用户的手指伸长或卷曲。

图10是根据所公开的实施方案中的一个的形成握成拳头的用户的手的手套502L的示意图。手套502L可包括触觉装置1002，所述触觉装置能够使得用户的手指相应地在方向1004、1006上卷曲或伸长。

图11是根据所公开的实施方案中的一个的使得用户的手张开的手套502L的示意图。手套502L可包括一个或多个触觉装置1102，所述触觉装置使得用户手指和拇指在方向1104、1106上张开。触觉装置810A-813E、806-809以及触觉装置1002、1102的组合可用于以许多不同配置而非仅上文示出的握拳和张开配置形成用户的手。

图12是根据所公开的实施方案中的一个的对用户的手施加压力的手套502L的示意图。触觉装置810D和812D可相应地施加压力1202A、1202B。压力1202A、1202B挤压用户的食指(在此示例中，用户的左食指)的两侧，然而，应理解，对应的触觉装置可对用户的手指和拇指中的每一个施加压力。以类似的方式，触觉装置802、806、808相应地对用户的手的背侧和用户的手的手掌施加压力1204A、1204B。因此，触觉装置802、806、808可提供挤压用户的手的感觉。

触觉装置802、806、808、810A-813E还可包括加热和冷却元件以将热和冷的感觉提供给用户。触觉装置802、806、808、810A-813E还可包括空气移动元件以提供跨越用户的手移动空气的感觉。

应理解，触觉装置可被应用到仅用户的手的掌侧或仅用户的手的背侧或用户的手的两侧，以及用户的手的手掌和背侧的不同部分。在一个实施中，触觉装置802、806、808、810A-813E提供一个或多个致动器，以基于与VR空间中的虚拟对象的交互性而将期望的压力、纹理、温度或移动施加到用户的手。

图13是根据所公开的实施方案中的一个的对用户的手施加多个压力点的手套502L的示意图。类似于上文在图12中描述的触觉装置，触觉装置802、806、808、810A-813E提供多个致动器以将期望的压力、纹理或移动施加到用户的手。以此方式，所施加的压力或所施加的纹理在用户的手指的不同部分或用户的拇指的不同部分或用户的手的背侧或掌侧的不同部分上可为相同或不同的。

图14是根据所公开的实施方案中的一个的手套502L和触觉控制器1450的示意图。触觉控制器1450耦合到手套的各种触觉装置。触觉控制器1450通过网络524链接到游戏控制台106。网络524可为有线的或无线的或其组合。触觉控制器1450可包括运动检测模块、通信模块、控制器模块、对应于手套上的触觉装置的触觉简档和在HMD 102中呈现的虚拟空间中的虚拟对象。触觉控制器1450将触觉信号提供到触觉装置中的每一个，以对应于从触觉响应处理模块518接收到的触觉反馈数据，例如，在与VR空间中的虚拟对象的VR空间交互期间。

相机108还耦合到游戏控制台106。相机108可以与上文关于相机监视HMD 102的运动和位置所描述的方式类似的方式来在相机的视场内监视手套502L的运动和位置。具体地说，手套502L可包括一个或多个跟踪标记1404A-F，所述游戏控制台106可在通过相机所捕获的图像中识别所述跟踪标记。

跟踪标记1404A-F可包括无源标记，例如，手套上的战略位置中的一部分的不同的颜色或反射式或其它突出方法。例如，手指尖、拇指尖、手的背面等等。应理解，可包括超过所显示的六个跟踪标记。在另一实施中，除无源标记外或替代于无源标记，跟踪标记1404A-F还可包括有源标记，例如灯或LED。有源标记可通过游戏控制台106在通过相机捕获的图像中跟踪。

图15是根据所公开的实施方案中的一个的耦合到游戏控制器104的手套502L的示意图。游戏控制器104可提供到游戏控制台106的有线或无线数据连接。游戏控制器104还可通过数据连接1502耦合到各种触觉装置。游戏控制器104可经配置以将触觉信号提供到触觉装置中的每一个，以与从触觉响应处理模块518和游戏控制台106接收到的触觉数据相对应。

图16是根据所公开的实施方案中的一个的触觉反馈系统1600的简化方块图。触觉反馈系统1600可包括在任何合适的外围装置中，例如上文描述的手套502L、502R。触觉反馈系统1600包括箱子1601、触觉反馈控制器1604、耦合到所述触觉反馈控制器的存储器系统、一个或多个惯性传感器1622、通信链路1620以及电源1602。电源1602耦合到并将功率提供到反馈控制器、惯性传感器以及通信链路中的每一个。

惯性传感器1622检测手套的运动，并将运动信息提供到通信链路1604和触觉反馈控制器1604。通信链路1604在手套与游戏控制台106之间提供有线和/或无线数据通信链路1646。通信链路1646包括适合的接收器和发送器以用于接收和发送数据。

触觉反馈控制器1604链接到手套502L、502R中的触觉装置806-809、810A-813E，并将触觉信号提供到触觉装置，所述触觉信号对应于在虚拟场景中显示的对象的触觉简档和从惯性传感器接收到的运动信息。触觉装置806-809、810A-813E将对应的触觉反馈1644提供到用户的手。在其它实施方案中，触觉装置不必为手套，而是可为控制器自身、衣服、腕带、手表和/或手套。

作为示例，触觉装置可将对纹理、形状、重量、阻力、平衡性、柔软度、硬度或其中的两个或多个的组合的感觉和/或感觉提供给用户。在此示例中，触觉反馈可提供在HMD 102上显示的虚拟现实场景中的用户的剑1640上的手柄的感觉。如果在场景中的海盗1642将击打在虚拟场景中的用户的剑，那么触觉装置可将对应的剑的碰撞的感觉提供给用户的手，例如通过用户的剑传递到用户的手的振动。

图17是根据所公开的实施方案中的一个的在耦合到游戏控制器104的手套502中的触觉反馈系统1700的简化方块图。游戏控制器104耦合到外围装置经由数据端口1752、1754将数据提供到触觉反馈控制器1604。将手套802耦合到游戏控制器104简化手套且由此减少手套的成本。在另一实施方案中，手套可与游戏控制台106和或控制器无线地通信。

在一些实施方案中，游戏控制器104可包括触觉反馈控制器1604，且游戏控制器可直接地耦合到触觉装置806-809、810A-813E。

触觉简档1632包括在虚拟环境中呈现给用户的虚拟对象的触觉特性。作为示例，触觉简档1632可包括多维曲线图，所述多维曲线图表征虚拟对象的形状、纹理以及其它感觉例如运动、振动特性。触觉简档还可包括上文公开的属性中的一个或多个。

触觉简档1632可初始地包括在计算机106的存储器系统1630中的形成虚拟环境的数据、软件以及硬件中。当在虚拟环境中将对应的虚拟对象呈现给用户时，触觉简档1632被传送到触觉反馈控制器1604。触觉反馈控制器1604使用触觉简档1632来对触觉装置产生对应的触觉信号，以对应于虚拟环境中的虚拟对象的动作。将触觉简档传送到触觉反馈控制器1604减少在触觉简档1632仅驻留在计算机106中时可出现的时间延迟。

作为示例，将触觉简档1632传送到触觉反馈控制器1604可仅在对应的虚拟现实场景在HMD 102中呈现给用户期间被需要一次，由此减少需要从计算机106传送到触觉反馈控制器1604的数据。在虚拟现实场景在HMD 102中呈现给用户期间，计算机106可传送一个或多个触觉简档调整，所述调整可为比传送完整的触觉简档更简单且更少的数据。

触觉反馈控制器1604、触觉简档1632可在个别的模块中实施或组合成单一模块。所述模块可用软件、固件、硬件以及硬件、固件和软件的组合实施。

图18是根据所公开的实施方案中的一个的用虚拟的剑1604进行的动作的示例简化连续序列和将触觉反馈提供给用户的手套502。用户100正戴着HMD 102和手套502。手套502中的触觉装置806-809、810A-813E将反馈提供给用户的手，且他在中间列中示出的虚拟环境的若干场景1810A-D中使用他的剑1604。用户100正在虚拟环境中的剑战中面对海盗1642。

海盗在场景1810A中接近，且用户100开始从较低位置1802A提升剑1604。手套502的详细视图在右列中示出。当用户100初始地从较低位置1802A提升剑1604时，触觉装置806-809、810A-813E提供剑柄的纹理或物理属性，例如，剑的手柄1650的反馈1860A形状。触觉装置806-809、810A-813E还可调整用户的手的形状，如同用户正抓握剑的皮革包裹的手柄1650一样。

在场景1810B中，用户将剑1640升高至更加水平的取向1802B，且海盗1642用他的剑1852轻触用户的剑1640。当海盗的剑1852与用户的剑1640进行接触时，触觉装置806-809、810A-813E将轻振动反馈1860B提供给用户的手，以模拟用户在他固持被另一把剑轻触的真实的剑时将感觉到的振动。

在场景1810C中，用户将剑1640升高至高于水平取向1802C，且海盗沿着用户的剑滑动他的剑1852以对抗用户的移动。触觉装置806-809、810A-813E将振动反馈1860C提供给用户的手，以模拟用户在他固持海盗滑动他的剑沿着的真实的剑时将感觉到的振动。

在场景1810D中，用户将剑1640升高至最高取向1802D。最高取向1802D用以对抗海盗1642的移动。海盗剑1852在海盗的剑被用户的剑上的圆头阻止时用较大力撞击用户的剑。触觉装置806-809、810A-813E将强振动反馈1860D提供给用户的手，以模拟用户在他固持海盗撞击其剑圆头的真实的剑时将感觉到的振动。

图19是说明根据所公开的实施方案中的一个的在模拟用户的手上的变化的纹理或压力以与虚拟对象相对应时所执行的方法操作1900的流程图。在操作1905中，将虚拟环境呈现给用户。虚拟环境可通过HMD 102呈现。虚拟环境包括用户可与之交互的虚拟对象，例如，在呈现在HMD 102中时交互。作为示例，用户可提升、移动、投掷等在虚拟环境中呈现的虚拟对象。

在操作1910中，确定虚拟对象中的每一个的触觉简档。触觉简档可被确定作为虚拟环境的开发的部分。触觉简档还可包括一个或多个调整以对应于虚拟对象、虚拟环境以及用户的当前情况。作为示例，虚拟对象可为剑。用户可从多种类型的剑进行选择，例如，轻剑、短剑、双手阔剑等。不同类型的剑中的每一个可具有大体类似但不相同的触觉简档。另外，例如用户的虚拟盔甲和用户的物理大小等另外的因素可引起对触觉简档的调整。

在操作1915中，触觉简档被发送到手套502。手套包括触觉装置，如上文所描述。触觉简档可存储在手套中的存储器中以供触觉反馈控制器1604在虚拟的剑1640的移动和使用的模拟期间使用。

在操作1920中，手套在虚拟环境中用于触摸某物，例如抓握虚拟的剑1640的手柄1650，或移动虚拟对象，或推动虚拟对象，或压缩虚拟对象，或压扁虚拟对象等。在操作1925中，触觉反馈通过手套中的触觉装置提供以对应于虚拟环境中的虚拟的剑的手柄的纹理。如上文在图18中描述的用户的虚拟的剑1640的移动提供虚拟的剑的移动和通过触觉装置提供的对应的触觉反馈的示例。

在操作1930中，手套的运动通过在手套中或物理地连接到手套的一个或多个传感器检测。传感器可包括惯性传感器、加速度计、磁力计以及陀螺仪中的一个或多个。手套的运动可另外或替代地被检测到，且从在外围装置外部的跟踪系统产生跟踪信号，所述跟踪系统例如上文在图1及以下中描述的相机系统108。

在操作1935中，如果必要，将检测到的手持式外围装置的运动发送到手套502中的触觉反馈控制器1604。上文通过相机108检测到的手套的运动可被发送到触觉反馈控制器1604。通过在手套内部的传感器1622检测到的手套的运动将通过触觉反馈控制器1604接收。

在操作1940中，触觉反馈控制器1604调整触觉简档和/或触觉反馈以对应于检测到的手套的运动和用户的虚拟的手在虚拟环境中相对于其他虚拟对象的接近性或与其他虚拟对象的接触。调整触觉和/或触觉反馈以对应于检测到的手套的运动可包括虚拟对象在虚拟环境中与另一虚拟对象的交互。作为示例，用户的虚拟的剑1640可在剑战中撞击海盗的剑1852。通过手套中的触觉装置提供的触觉反馈模拟物理性质，例如用户的剑1640与海盗的剑1852的撞击。

用户的虚拟的剑的移动的继续操作在如上文所描述的操作1925-1940中继续。当手套不再在虚拟环境中与虚拟对象接触时，所述方法操作可结束。

应注意，虽然手套能够将对应于HMD环境中的3D虚拟对象的压力、振动以及纹理提供给用户的手，如上文所描述，但手套仅为示例实施。类似地，其它可穿戴装置或衣服以及鞋类也可用于将对应于HMD环境中的3D对象的压力和纹理提供给用户的身体和脚。在没有限制的情况下，所提供的触觉反馈可包括温度、振动、压力、形状、声音纹理以及跨越用户的皮肤的空气流。

参考图20，示出说明根据所公开的实施方案中的一个的头戴式显示器102的示例组件的图式。应理解，取决于启用的配置和功能，HMD 102可包括或不包括更多或更少的组件。头戴式显示器102可包括用于执行程序指令的处理器2000。存储器2002出于存储目的提供，且可包括易失性和非易失性存储器。显示器2004被包括，所述显示器提供用户可观看的视觉接口。

显示器2004可通过单一显示器界定，或呈用于每只眼睛的单独的显示屏的形式。当提供两个显示屏时，有可能单独地提供左眼和右眼视频内容。例如，将视频内容单独地呈现给每一只眼睛可提供对三维(3D)内容的更好的沉浸式控制。如上文所描述，在一个实施方案中，通过以下操作将HMD 102的第二屏幕内容提供给第二屏幕107：使用用于一只眼睛的输出，且随后格式化所述内容以用于以2D格式显示。在一个实施方案中，所述一只眼睛可为左眼视频馈送，而在其它实施方案中，所述一只眼睛可为右眼视频馈送。

电池2006可提供作为头戴式显示器102的电源。在其它实施方案中，电源可包括到电源的出口连接。在其它实施方案中，可提供到电源和电池2006的出口连接。运动检测模块2008可包括各种类型的运动灵敏硬件中的任何硬件，例如磁力计2010、加速度计2012以及陀螺仪2014。

加速度计2012是用于测量加速度和重力引起的反作用力的装置。单轴线和多轴线(例如，六轴线)模型能够检测加速度在不同方向上的量值和方向。加速度计用于感测倾斜、振动以及震动。在一个实施方案中，三个加速度计2012用于提供重力的方向，所述重力的方向给出两个角(世界空间俯仰和世界空间横滚)的绝对参考。

磁力计2010测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中，三个磁力计2010用于头戴式显示器内，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计经设计以跨越地球磁场，所述磁场为±80微特斯拉。磁力计受金属影响，且提供与实际偏航单调的偏航测量结果。磁场可由于环境中的金属而扭曲，这造成偏航测量结果的扭曲。如果必要，此扭曲可使用来自例如陀螺仪等其它传感器或相机的信息来校准。在一个实施方案中，加速度计2012与磁力计2010一起用于获得头戴式显示器102的倾角和方位角。

陀螺仪2014是用于基于角动量的原理来测量或维持取向的装置。在一个实施方案中，三个陀螺仪2014基于惯性感测来提供关于跨越相应的轴线(x、y以及z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可在不存在绝对参考的情况下随时间漂移。这需要定期地重置陀螺仪，所述重置可使用其它可用信息来进行，所述可用信息例如，基于对对象、加速度计、磁力计等的视觉跟踪的位置/取向确定。

相机2016提供用于捕获真实环境的图像和图像流。超过一个相机(可选地)可包括在HMD 102中，包括后置(在用户观看HMD 102的显示器时背向用户)的相机，以及前置(在用户观看HMD 102的显示器时朝向用户)的相机。另外，深度相机2018可包括在HMD 102中以用于感测真实环境中的对象的深度信息。

HMD 102包括用于提供音频输出的扬声器2020。并且，麦克风2022可被包括以用于从真实环境捕获音频，包括来自周围环境的声音、用户发出的语音等。HMD 102包括用于将触觉反馈提供给用户的触觉反馈模块2024。在一个实施方案中，触觉反馈模块2024能够造成HMD 102的移动和/或振动以便将触觉反馈提供给用户。

LED 2026提供作为头戴式显示器102的状态的视觉指示器。例如，LED可指示电池电量、通电等。提供读卡器2028以使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。USB接口2030被包括作为用于实现手持式外围装置的连接或到其它装置的连接的接口的一个示例，所述其它装置例如其它便携式装置、计算机等。在HMD 102的各种实施方案中，可包括各种类型的接口中的任何接口以实现HMD 102的更大连接性。

WiFi模块2032可被包括以用于经由无线联网技术实现到互联网的连接。并且，HMD102可包括用于实现到其它装置的无线连接的蓝牙模块2034。通信链路2036还可被包括以用于连接到其它装置。在一个实施方案中，通信链路2036将红外传输用于无线通信。在其它实施方案中，通信链路2036可利用各种无线或有线传输协议中的任何协议以用于与其它装置通信。

输入按钮/传感器2038被包括以为用户提供输入接口。可包括各种类型的输入接口中的任何输入接口，例如，按钮、手势、触摸板、操纵杆、轨迹球等。超声波通信模块2040可被包括在HMD 102中以用于经由超声波技术促进与其它装置的通信。

生物传感器2042被包括以实现对来自用户的生理数据的检测。在一个实施方案中，生物传感器2042包括一个或多个干电极以用于通过用户的皮肤检测用户的生物电信号、语音检测、眼睛视网膜检测以识别用户/简档等。

HMD 102的前述组件已被描述为可包括在HMD 102中的仅示例性组件。在本发明的各种实施方案中，HMD 102可包括或可不包括各种前述组件中的一些。HMD 102的实施方案可另外包括当前未描述但在所属领域中已知的其它组件，以用于促进如本文中描述的本发明方面的目的。

所属领域的技术人员应了解，在本发明的各种实施方案中，前述手持式装置可结合在显示器上显示的交互式应用来使用以提供各种交互功能。本文中描述的示例性实施方案仅作为示例而非作为限制来提供。

在一个实施方案中，如本文中所提及，客户端和/或客户端装置可包括头戴式显示器(HMD)、终端、个人计算机、游戏控制台、平板计算机、电话机、机顶盒、自助服务终端、无线装置、数字键盘、独立装置、手持式玩游戏装置和/或类似者。通常，客户端经配置以接收经编码的视频流，对视频流解码，并将所得视频呈现给用户，例如，游戏的玩家。接收经编码视频流和/或对视频流解码的过程通常包括将个别的视频帧存储在客户端的接收缓冲器中。视频流可在与客户端成一体的显示器上或在例如监视器或电视机等单独的装置上呈现给用户。

客户端可选地经配置以支持超过一个游戏玩家。例如，游戏控制台可经配置以支持两个、三个、四个或多个同时的用户(例如，P1，P2，......Pn)。这些用户中的每一个可接收或共享视频流，或单一视频流可包括专门地为每一玩家产生的帧的区域，例如基于每一用户的视点而产生。任何数目的客户端可为本地的(例如，共同定位)或在地理上分散的。在游戏系统中包括的客户端的数目可广泛地从一个或两个到数千、数万或更多变化。如本文中所使用，术语“游戏玩家”或“用户”用于指代玩游戏的人，且术语“玩游戏的装置”用于指代用于玩游戏的装置。在一些实施方案中，玩游戏的装置可指代协作以将游戏体验传递给用户的多个计算装置。

例如，游戏控制台和HMD可与视频服务器系统协作以传递通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统接收视频流，且游戏控制台将所述视频流或对视频流的更新转发到HMD和/或电视机以用于渲染。

另外，HMD可用于观看所产生或使用的任何类型的内容和/或与所述内容交互，所述内容例如视频游戏内容、电影内容、视频剪辑内容、网站内容、广告内容、竞赛内容、嬉戏游戏内容、会议电话/会议内容、社交媒体内容(例如，发帖、消息、媒体流、朋友事件和/或玩游戏)、视频部分和/或音频内容以及用于经由互联网通过浏览器和应用从来源消耗的内容，以及任何类型的流式传输内容。当然，前述对内容的列出并不是限制性的，因为可渲染任何类型的内容，只要在HMD中可观看到所述内容或所述内容可被渲染到屏幕或HMD的屏幕。

客户端可但并非需要另外包括经配置用于修改接收到的视频的系统。例如，客户端可经配置以执行另外的渲染，以将一个视频图像覆盖在另一视频图像上，以修剪视频图像和/或类似者。例如，客户端可经配置以接收各种类型的视频帧，例如I帧、P帧以及B帧，且经配置以将这些帧处理成图像以用于向用户显示。在一些实施方案中，客户端的成员经配置以对视频流执行另外的渲染、阴影处理、到3-D的转换、到2D的转换、失真去除、设定大小或类似操作。客户端的成员可选地经配置以接收超过一个音频或视频流。

客户端的输入装置可包括例如，单手游戏控制器、双手游戏控制器、手势识别系统、凝视识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、待开发的输入装置和/或类似者。

视频源可包括渲染逻辑，例如，存储在诸如存储装置等计算机可读介质上的硬件、固件和/或软件。此渲染逻辑经配置以基于游戏状态来创建视频流的视频帧。渲染逻辑中的全部或部分可选地设置在一个或多个图形处理单元(GPU)内。渲染逻辑通常包括经配置用于基于游戏状态和视点来确定对象之间的三维空间关系和/或经配置用于施加适合的纹理等的处理阶段。渲染逻辑可产生经编码的原始视频。例如，原始视频可根据Adobe

标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似者来编码。编码过程产生视频流，所述视频流可选地被封装以用于传递到装置上的解码器。视频流通过帧大小和帧率来表征。典型的帧大小包括800×600、1280×720(例如，720p)、1024×768、1080p，但可使用任何其它帧大小。帧率是每秒的视频帧的数目。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用以刷新显示器装置上的所有宏块/像素的信息，而P帧包括用以刷新所述宏块/像素的子集的信息。P帧通常在数据大小上小于I帧。如本文中所使用，术语“帧大小”意图指代帧内的像素的数目。术语“帧数据大小”用以指代存储所述帧所需的字节数。

在一些实施方案中，客户端可为通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算装置、便携式游戏装置、手机、机顶盒、流媒体接口/装置、智能电视机或联网显示器、或能够经配置以履行如本文中所界定的客户端的功能性的任何其它计算装置。在一个实施方案中，云游戏服务器经配置以检测正被用户使用的客户端装置的类型，并将适合的云游戏体验提供到用户的客户端装置。例如，图像设置、音频设置以及其它类型的设置可经优化用于用户的客户端装置。

图21说明信息服务提供商架构的实施方案。信息服务提供商(ISP)2170将大量的信息服务提供给在地理上分散且经由网络2150连接的用户2182。ISP可提供仅一种类型的服务，例如股票价格更新；或多种服务，例如广播媒体、新闻、体育、游戏等。另外，通过每一ISP提供的服务是动态的，也就是说，服务可在任何时间点处添加或移除。因此，将特定类型的服务提供到特定的个人的ISP可随时间变化。例如，当用户在她的家乡时，用户可通过密切接近用户的ISP服务，且当用户到不同的城市旅游时，用户可通过不同的ISP服务。家乡ISP将所需信息和数据传送到新ISP，使得用户信息“跟随”用户到新城市，使数据更接近用户且更易于访问。在另一实施方案中，可在管理用户的信息的主ISP与在主ISP的控制下直接与用户介接的服务器ISP之间建立主机-服务器关系。在另一实施方案中，当客户端在全世界移动时，数据从一个ISP传送到另一ISP以使得在用以服务用户的更好的位置中的ISP成为提供这些服务的ISP。

ISP 2170包括应用服务提供商(ASP)2106，所述应用服务提供商经由网络将基于计算机的服务提供给客户。使用ASP模型提供的软件有时也被称为按需软件或软件即服务(SaaS)。提供对特定应用程序(例如客户关系管理)的访问的简单形式为通过使用HTTP等标准协议。应用软件驻留在供应商的系统中，且由用户通过使用HTML的网站浏览器、通过由供应商提供的专用客户端软件或例如瘦客户端等其它远程接口来访问。

在宽广的地理区域上提供的服务通常使用云计算。云计算是一种计算类型，其中可动态扩展且通常虚拟化的资源被提供作为经由互联网的服务。用户不需要成为在支持他们的“云”中的技术基础设施的专家。云计算可划分成不同的服务，例如基础设施即服务(IaaS)、平台即服务(PaaS)以及软件即服务(SaaS)。云计算服务通常提供通过网站浏览器访问的线上的公共业务应用，而软件和数据存储在服务器上。术语“云”基于在计算机网络图中描绘互联网且为其所隐含的复杂基础设施的抽象的方式而用作互联网(例如，使用服务器、存储装置以及逻辑)的比喻。

另外，ISP 2170包括游戏处理服务器(GPS)2108，所述游戏处理服务器被游戏客户端用来玩单一玩家和多玩家视频游戏。在互联网上玩的大部分视频游戏经由到游戏服务器的连接操作。通常，游戏使用从玩家收集数据并将所述数据分布到其它玩家的专用服务器应用。这比对等布置更加高效且有效，但这需要单独的服务器来管理服务器应用。在另一实施方案中，GPS在玩家之间建立通信，且所述玩家的相应的玩游戏装置在不依赖于集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，提供更大的带宽和专用处理功率。专用服务器是管理大部分基于PC的多玩家游戏的游戏服务器的优选方法。大量的多玩家线上游戏在通常通过拥有游戏名称的软件公司管理的专用服务器上运行，从而允许所述服务器控制并更新内容。

广播处理服务器(BPS)2110将音频或视频信号分布给观众。对极窄范围的观众进行广播有时被称为窄波。广播分布的最后一站是信号如何到达收听者或观看者，且所述信号可如无线电台或电视台一样经由空气到达天线或接收器，或可通过有线电视或有线广播(或“无线电缆”)经由站点或直接地从网络到来。互联网还可将无线电或电视机引至接收方，尤其是在允许共享信号和带宽的多播的情况下。在历史上，广播已通过地理区域定界，例如国家广播或地区广播。然而，在快速互联网的扩增的情况下，广播不通过地理来界定，因为内容可到达几乎世界上的任何国家。

存储服务提供商(SSP)2112提供计算机存储空间和相关的管理服务。SSP还提供定期的备份和存档。通过提供存储以作为服务，用户可按需要订购更多的存储装置。另一主要优点是SSP包括备份服务，且用户在他们的计算机的硬盘驱动发生故障时将不会丢失所有其数据。另外，多个SSP可具有用户数据的全部或部分备份，从而允许用户独立于用户所定位在的位置或用于访问数据的装置来以高效的方式访问数据。例如，用户可在家庭计算机中以及在用户处于移动中时在手机中访问个人文件。

通信提供商2114提供到用户的连接。一种通信提供商是提供对互联网的接入的互联网服务提供商(ISP)。ISP使用数据传输技术来连接其客户，所述数据传输技术适合于传递互联网协议数据报，例如波号、DSL、电缆调制解调器、光纤、无线或专用高速互连。通信提供商还可提供消息传递服务，例如电子邮件、即时消息传递以及SMS文本传递。另一类型的通信提供商是网络服务提供商(NSP)，所述网络服务提供商通过提供对互联网的直接骨干接入来销售带宽或网络接入。网络服务提供商可由电信公司、数据载体、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视运营商等组成。

数据交换2104互连在ISP 2170内部的若干个模块，并经由网络2150将这些模块连接到用户2182。数据交换2104可覆盖ISP 2170的所有模块密切接近的较小区域，或可在不同模块在地理上分散时覆盖较大地理区域。例如，数据交换2104可包括在数据中心的机箱内的快速千兆以太网(或更快的)，或洲际虚拟区域网络(VLAN)。

用户2182用客户端装置2120访问远程服务，所述客户端装置包括至少CPU、显示器以及I/O。客户端装置可为PC、手机、上网本、平板计算机、游戏系统、PDA等。在一个实施方案中，ISP 2170识别通过客户端使用的装置的类型并调整所采用的通信方法。在其它情况下，客户端装置使用例如html等标准通信方法来访问ISP 2170。

本发明的实施方案可用各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费者电子装置、微型计算机、大型计算机及类似者。本发明还可在分布式计算环境中实践，其中任务通过经由基于有线的或无线的网络链接的远程处理装置执行。

记住上述实施方案，应理解，本发明可采用各种计算机实施的操作，包括存储在计算机系统中的数据。这些操作是需要对物理量的物理操控的那些操作。本文中描述的形成本发明的部分的操作中的任何操作是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。所述设备可经专门构造以用于所需目的，或所述设备可为通用计算机，所述通用计算机通过存储在计算机中的计算机程序来选择性地激活或配置。确切地说，各种通用机器可与根据本文中的教示编写的计算机程序一起使用，或所述机器可更加便于构造更专门的设备以执行所需操作。

本发明还可在计算机可读介质上实施为计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，所述数据可在之后通过计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。计算机可读介质可包括在网络耦合的计算机系统上分布的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

尽管以特定次序描述方法操作，但应理解，可在操作之间执行其它内物处理操作，或可调整操作使得所述操作在略不同的时间处出现，或可在系统中分布，所述系统允许处理操作在与处理相关联的各种间隔处出现，只要重叠操作的处理以所需方式执行。

尽管已出于理解的清楚性的目的相当详细地描述前述发明，但应清楚，在所附权利要求书的范围内可实践某些改变和修改。因此，当前实施方案将被认为是说明性的而非限制性的，且本发明并不限于本文中给出的细节，而是可在所描述的实施方案的范围和等效物内修改。

Claims (23)

1.一种用于处理头戴式显示器(HMD)的内容的系统，所述系统包括，

用户接口装置，所述用户接口装置具有用于向用户施加触觉反馈的触觉装置；

计算装置，所述计算装置与所述用户接口装置和所述HMD介接，所述计算装置包括，

输入装置接口，所述输入装置接口用于从所述用户接口装置或所述HMD接收输入，所述输入装置接口通信指令以选择内容以显示在所述HMD中；

虚拟现实空间产生模块，所述模块用于以虚拟现实场景的形式在所述HMD中渲染所选择的内容；

对象配置矩阵渲染模块，所述模块用于识别所述虚拟现实场景中的虚拟对象，所述对象配置矩阵渲染模块访问所述虚拟对象的触觉简档，所述触觉简档界定与所述虚拟对象相关联的触觉特性；以及

触觉响应处理模块，所述触觉响应处理模块用于识别所述用户接口装置与所述虚拟对象之间的交互，并将所述触觉反馈发送到所述用户接口装置；

其中所述用户接口装置可操作以使用所述虚拟对象的所述触觉简档基于所述触觉特性来对所述用户施加所述触觉反馈。

2.根据权利要求1所述的系统，其中所述用户接口是包括所述触觉装置的手套式装置，且所述触觉响应处理模块使用所述触觉简档基于检测到的交互的类型来对所述触觉反馈施加改变。

3.根据权利要求2所述的系统，所述系统另外包括，

相机，所述相机用于检测所述手套式装置在现实空间中的位置和所述HMD的位置，

其中所述手套式装置相对于现实空间中的所述HMD的所述位置识别所述手套式装置相对于所述虚拟现实场景中的所述虚拟对象的位置；

其中所述手套式装置相对于所述HMD的所述位置用于识别所述手套式装置与所述虚拟对象之间的交互，并界定提供到所述手套式装置的至少一部分的所述触觉反馈的量值或类型。

4.根据权利要求2所述的系统，所述系统另外包括，

至少一个惯性传感器，所述惯性传感器安置在所述手套式装置上，所述惯性传感器产生可由所述计算机用来确定所述手套式装置的位置或所述手套式装置的位置的变化的运动数据。

5.根据权利要求1所述的系统，其中所述选择的以显示在所述HMD中的内容通过以下方式中的一种或两种访问：从所述计算装置的本地存储装置访问或经由网络访问。

6.根据权利要求1所述的系统，其中多个虚拟对象中的每一个具有相应的触觉简档，且每一触觉简档界定所述虚拟对象的属性，且所述虚拟对象的属性可包括以下各项中的一个或多个：对被固持的响应、对被移动的响应、对被压扁的响应、对被投掷的响应、对被扔下的响应、对被触摸的响应、对被摩擦的响应、对被挤压的响应、对被按压的响应、对被打碎的响应、对被碰撞的响应、大小的界定、温度的界定、重量的界定、与音频反馈相关联的界定、与压力或纹理相关联的界定、振动界定、表面平滑度、表面粗糙度、阻力的、渐变压力的界定、或这些属性中的两个或多个的组合。

7.根据权利要求1所述的系统，所述虚拟现实空间产生模块经配置以至少取决于所述HMD在渲染所述虚拟现实场景时移动所朝向的位置来连续地产生用于所述HMD的另外的内容，所述另外的内容另外包括一个或多个另外的虚拟对象；

其中每一另外的虚拟对象包括对应的触觉简档。

8.一种用于与通过计算机产生以用于呈现在头戴式显示器上的虚拟现实场景介接的外围装置，所述外围装置包括，

触觉装置，所述触觉装置能够向用户施加触觉反馈，所述触觉反馈使用用于施加的触觉特性；以及

触觉反馈控制器，所述触觉反馈控制器用于处理用于将触觉信号输出到所述触觉装置的指令，所述触觉反馈控制器使用虚拟对象的触觉简档，所述触觉简档包括与所述虚拟对象相关联的所述触觉特性，所述触觉反馈控制器经配置以从所述计算机接收所述指令并且从所述计算机接收所述虚拟对象的所述触觉简档，使得所述触觉装置的所述触觉反馈通过所述触觉简档的所述触觉特性界定，以响应于在所述虚拟现实场景呈现在所述头戴式显示器上时所述外围装置与所述虚拟现实场景中的虚拟对象的交互；

其中所述触觉装置的所述触觉反馈通过所述触觉反馈控制器修改，以响应于使用所述外围装置与所述虚拟对象的另外交互。

9.根据权利要求8所述的外围装置，所述外围装置另外包括运动传感器，所述运动传感器耦合到所述触觉反馈控制器，所述运动传感器能够检测所述外围装置相对于所述虚拟对象的运动，并且其中所述触觉反馈控制器能够另外修改所述触觉反馈以与所述检测到的运动相对应。

10.根据权利要求8所述的外围装置，其中所述触觉简档包括以下各项中的至少一个：所述虚拟对象的形状的特性描述，或所述虚拟对象的纹理的特性描述，或所述虚拟对象的运动的特性描述，或所述虚拟对象的大小的特性描述，或所述虚拟对象的物理性质的特性描述，或所述虚拟对象的声音的特性描述，或所述虚拟对象的振动的特性描述，或通过所述虚拟对象虚拟地施加在所述用户上的压力的量的特性描述，或所述虚拟对象相对于第二虚拟对象的接近性的特性描述，或这些特性描述中的两个或多个的组合。

11.根据权利要求8所述的外围装置，其中所述触觉装置包括以下各项中的至少一个：

压缩气体；

液体；

电动机；

直线电机；

电磁体；

压电装置；

加热元件；

冷却元件；

一个或多个电活性聚合物；或

一个或多个相变材料。

12.根据权利要求8所述的外围装置，其中所述触觉装置包括流体。

13.根据权利要求8所述的外围装置，所述外围装置另外包括至少一个运动传感器，所述运动传感器耦合到所述触觉反馈控制器。

14.根据权利要求8所述的外围装置，其中所述触觉装置安置在能够被用户穿戴的手套中。

15.根据权利要求8所述的外围装置，其中所述触觉装置安置在所述头戴式显示器中，并且其中所述触觉装置能够将所述触觉反馈施加到所述用户的头部的一部分。

16.根据权利要求8所述的外围装置，其中所述触觉装置安置在能够被所述用户穿戴的衣物中。

17.模拟与呈现在头戴式显示器(HMD)中的虚拟场景中的虚拟对象接触的感觉的方法，所述方法包括：

跟踪与所述虚拟场景介接时的外围装置，所述外围装置经配置以接收所述虚拟对象的触觉简档；

识别所述虚拟场景中的所述虚拟对象；

访问所述虚拟对象的触觉简档，所述触觉简档包括与所述虚拟对象相关联的触觉特性；

发送所述虚拟对象的所述触觉简档到所述外围装置；以及

检测在所述外围装置与所述虚拟对象之间的交互的类型，且响应于所述检测到的交互，将触觉反馈施加到所述外围装置，如通过所述触觉特性和所述交互的类型界定，所述触觉反馈模拟与所述虚拟对象接触的感觉；

其中所述外围设备可操作以使用所述触觉特性来向所述触觉简档施加多个压力点。

18.根据权利要求17所述的方法，其中跟踪所述外围装置实现对所述外围装置相对于所述虚拟场景中的所述虚拟对象的位置的跟踪，所述跟踪的位置用于确定所述交互的类型并基于所述触觉简档来确定对应的所述触觉反馈的类型。

19.根据权利要求17所述的方法，其中所述外围装置是手套式装置，且所述手套式装置包括一个或多个触觉装置，所述触觉装置经配置以对用户的手施加所述触觉反馈，所述方法另外包括，

检测所述HMD中的移动；

改变所述虚拟场景以响应于所述HMD中的所述检测到的移动，所述虚拟场景中的所述改变包括渲染第二虚拟对象，所述第二虚拟对象与第二触觉简档相关联。

20.根据权利要求17所述的方法，其中所述外围装置是手套式装置，且所述手套式装置包括一个或多个触觉装置，所述触觉装置经配置以对用户的手施加所述触觉反馈。

21.根据权利要求19所述的方法，其中所述虚拟对象和所述第二虚拟对象是多个虚拟对象中的部分，

其中多个虚拟对象中的每一个具有相应的触觉简档，且每一触觉简档界定所述虚拟对象的属性，且所述虚拟对象的属性可包括以下各项中的一个或多个：对被固持的响应、对被移动的响应、对被压扁的响应、对被投掷的响应、对被扔下的响应、对被触摸的响应、对被摩擦的响应、对被挤压的响应、对被按压的响应、对被打碎的响应、对被碰撞的响应、大小的界定、重量的界定、与音频反馈相关联的界定、与压力或纹理相关联的界定、温度的界定、振动界定、表面平滑度、表面粗糙度、阻力的、渐变压力的界定、或这些属性中的两个或多个的组合。

22.根据权利要求20所述的方法，其中所述触觉装置中的至少一个通过以下各项界定：

压缩气体；

液体；

电动机；

直线电机；

电磁体；

压电装置；

加热元件；

冷却元件；

一个或多个电活性聚合物；或

一个或多个相变材料。

23.根据权利要求1所述的系统，其中所述触觉特性界定用于所述触觉反馈的多个压力点的应用。

Images