CN108139592A - 缩放相关的方法和装置 - Google Patents

Abstract

描述了在例如3D的立体呈现期间实现用户控制的缩放操作的方法和装置。当观看场景环境的3D呈现时，用户可以切换到缩放模式，从而允许用户放大正在显示的环境的特定部分。为了保持实际存在于事件中的效果，并且还降低使得用户由于环境视图中的突然的非现实世界的变化而感到不舒服的风险，响应于启动缩放操作模式，用户被呈现与通过一副双目观看所期望的相同或相似的视图。在一些实施例中，通过将掩蔽应用于要显示的左眼和右眼视图的放大版本来实现观看的约束。

Description

缩放相关的方法和装置

技术领域

本申请涉及立体回放方法和装置，更具体地，涉及与缩放操作相关的方法和装置。

背景技术

立体回放设备，例如允许向用户提供3D体验的左眼图像和右眼图像的回放的设备越来越受欢迎。期望这样的设备将用于显示对应于体育赛事、时装秀、音乐会和/或其它场景的图像，并且可以向用户提供存在于所显示的场景/环境中的感觉。

在立体场景的回放或呈现期间，用户可能希望放大正在呈现的场景的一部分，例如正在踢球的运动员或者时装表演中的特定模特。从浸入模拟3D环境的用户的角度来看，可能不希望突然放大场景的一部分，因为这可能被认为是用户观看位置的突然不自然的变化。切换回正常观看可能会导致用户视角类似的不希望的突然变化，从而打破可能在真实事件中存在的期望感觉。此外，这种突然的变化可能会使用户不安、不舒服甚至生病，例如晕眩，因为视角的这种变化通常不会在现实环境中发生。

鉴于上述讨论，应当理解，需要一种方法和装置，其允许在不采取一些其它行动来最小化或减少在视角上可能被认为是不自然的变化的情况下使得用户实现相对于立体图像的用户可控制的缩放操作，而没有至少一些缩放突然变化而产生的效果。

发明内容

描述了在例如3D的立体呈现期间实现用户控制的缩放操作的方法和装置。在各种实施例中，在观看例如运动事件、音乐会、其它事件或模拟环境的3D呈现的同时，向用户提供切换到缩放操作模式的机会，从而允许用户放大所显示的事件或环境的特定部分。为了保持实际存在于事件中的效果，并且还降低使得用户由于环境视图中的突然的非现实世界的变化而感到不舒服的风险，响应于启动缩放操作模式，用户被呈现与通过一副双目观看所期望的相同或相似的视图。在缩放操作模式期间，用户的视图被限制到用户可能期望就像是通过双目观看一样的所显示的场景的部分。在这种情况下，可观察到的场景的场减小，但是图像被视为按照缩放因子(例如2x，5x，10x，20x或其它一些量)被放大。在一些实施例中，通过将掩蔽应用于要显示的视图的放大版本来实现视图中的限制，例如，在显示之前生成并掩蔽放大的左眼视图和右眼视图。

在正常和缩放操作模式期间，监视头部位置。检测头部位置的变化，例如用户头部的旋转或用户头部的倾斜，并且正在显示的事件或环境的部分根据头部位置的变化而改变。显示的图像的变化模拟如果用户在真实环境中移动他/她的头部时对用户可见的区域的变化。在缩放操作模式期间，就向用户偏移多少所呈现的场景的视角而言，考虑缩放因子。例如，在5倍缩放模式下，头部位置的变化会触发反映5倍观看因子的所显示的环境部分的5x偏移。因此，当使用具有高缩放率的双目时，视角的小的变化可能导致可见场景的显著变化，在操作的缩放模式期间模拟该相同的效果。

监视用户输入，并根据用户输入在缩放模式操作期间调整缩放因子。响应于改变操作模式的用户输入，也将监视并检测用户将模式从缩放模式转换到正常模式。

响应于检测到从缩放模式到正常模式的操作变化，停止放大和掩蔽操作，并且以正常尺寸放出图像。

本发明的方法和装置非常适用于流传输内容以及存储的图像内容。在运动事件或其它事件的情况下，方法和装置允许用户通过启用缩放获得事件中的感觉和/或视角，并且切换回正常观看类似于用户在他/她的眼睛放置一对双目以在事件期间聚焦在感兴趣的区域可能看到的，例如，发生行动，然后将其移除以恢复正常的视场，以享受整体事件。模拟双目影响的掩蔽的使用降低了缩放操作可能破坏在事件或真实世界环境中的用户的效果或错觉的风险，同时还降低了缩放操作将导致用户由于在环境中的视角或位置可能会有相当不自然的变化导致的不舒服或者不安。

本发明的方法和装置可以与能够向用户呈现立体图像(例如，旨在提供3D效果的左眼图像和左眼图像的对)的各种设备一起使用。例如，这些方法可以与头戴式显示器一起使用，其中图像的处理(例如缩放，掩蔽等)在安装在用户头部上的一个或多个组件内和/或用能够呈现立体图像的游戏系统或其它系统执行，该立体图像然后经由外围设备(例如以头戴式显示器的形式)显示给用户。其中回放设备被实现为完全头戴式系统的实施例的示例包括三星Gear VR，其中头戴式系统包括蜂窝电话，该蜂窝电话负责在用户输入的控制下处理和显示立体图像对，其可以是通过头戴式输入设备输入，例如触摸板。游戏系统实施例的示例包括通过有线或无线方式耦合到诸如能够向用户的左眼和右眼显示不同图像的一对显示眼镜的显示外围装置的诸如PS3或PS4或XBOX之类的游戏系统。在这样的实施例中，根据本发明来控制回放设备以实现缩放操作，其模拟就像使用双目可能会遇到的体验。

本发明的方法和装置可以用于各种输入图像分辨率。在诸如左眼图像和右眼图像对之类的输入图像比所使用的显示设备的分辨率高的情况下，如通常使用电话显示器作为头戴式显示设备的情况，缩放方法可以在很少或者没有由于缩放而导致的感知的图像质量损失的情况下被实现，因为缩放操作可以利用否则未使用的图像分辨率。

将在下面的详细描述中讨论许多附加方面、益处和实施例。

附图说明

图1示出了根据本发明的一些实施例实现的示例性系统，其可以用于捕获和流传输由一个或多个用户设备连同环境的一个或多个合成部分一起进行后续显示的内容。

图2示出了根据本发明的一个示例性实施例实现的示例性呈现和回放系统，例如3D呈现和回放系统。

图3示出了根据本发明的一些其它实施例实现的另一示例性3D呈现和回放系统。

图4示出了例如由立体相机对的左眼相机捕获的、场景的示例性左眼图像。

图5示出了例如由立体相机对的右眼相机捕获的、场景的示例性右眼图像。

图6示出了根据本发明的一些实施例的使用图4-5的左眼图像对和右眼图像对生成的示例性显示的立体场景。

图7示出了根据本发明的一些实施例的、图示了图6的示例性显示的立体场景的图，其中所显示的立体场景的中心部分被示出为矩形，以指示响应于指示缩放操作模式的用户输入而被缩放(例如放大)的场景部分。

图8示出了在应用了缩放和掩蔽操作之后向观看者显示的立体场景的被掩蔽的缩放部分，立体场景的显示部分通过双目呈现对场景的该部分的模拟观看。

图9A是示出根据示例性实施例的操作交互式系统的示例性方法的步骤的流程图的第一部分。

图9B是示出根据本发明的操作交互式系统的示例性方法的步骤的流程图的第二部分，图9包括图9A和图9B的组合。

图10示出了根据本发明的一些实施例的作为执行缩放和掩蔽操作的一部分而执行的示例性处理。

图11示出了根据本发明的特征的可以用于编码和流传输内容的示例性内容传送系统。

图12示出了可用于接收、解码和显示由图11的系统流传输的内容的示例性呈现和回放系统。

具体实施方式

图1示出了根据本发明的一些实施例实现的示例性系统100。系统100支持将内容(例如成像内容)传送到一个或多个客户设备，例如位于客户端的具有3D功能的回放设备。系统100包括示例性图像捕获系统102、内容传送系统104、通信网络105和多个客户端106，...，110。图像捕获系统102支持例如使用立体相机对来捕获立体图像，以及捕获正常的非立体图像。图像捕获系统102根据本发明的特征捕获和处理成像内容，并且可以包括一个或多个相机/立体相机对。通信网络105可以是例如混合光纤同轴(FIFC)网络、卫星网络和/或因特网。

内容传送系统104包括编码装置112和内容流传输设备/服务器114。在一些实施例中，编码装置112可以包括用于编码图像数据的一个或多个编码器。可以并行地使用编码器来编码场景的不同部分和/或编码场景的给定部分以生成具有不同数据速率的编码版本。在支持实时或接近实时流传输时，并行使用多个编码器尤其有用。

内容流传输设备114被配置为流传输(例如发送)编码的内容，以例如通过通信网络105将编码的图像内容传送到一个或多个客户设备。经由网络105，内容传送系统104可以与位于客户端106,110的设备发送和/或交换信息，如由图中穿过通信网络105的链接120所指示的。虽然编码装置112和内容传送服务器在图1的示例中被示为单独的物理设备，但是在一些实施例中，它们被实现为编码和流传输内容的单个设备。编码处理可以是3D图像编码处理，例如立体图像编码处理，其中对应于场景部分的左眼和右眼视图的信息被编码并包括在编码图像数据中，使得可以支持3D图像观看。所使用的特定编码方法对于本申请不是至关重要的，并且可以将各种编码器用作或实现编码装置112。

每个客户端106,110可以包括一个或多个设备/系统，例如能够解码、呈现、回放和显示由内容流传输设备114流传输的成像内容的设备。客户端1 106包括3D呈现和回放系统122，而客户端N 110包括3D呈现和回放系统124。在一些实施例中，根据本发明，3D呈现和回放系统122,124能够呈现和显示3D成像内容。

在各种实施例中，3D呈现和回放系统122,124可以对从内容传送系统104接收的成像内容进行解码，使用解码的内容生成成像内容，并在显示器(例如立体显示器)上呈现例如3D图像内容的成像内容。在各种实施例中，3D呈现和回放系统122,124能够根据本发明的特征执行附加处理，例如执行缩放和掩蔽操作。

图2示出了根据本发明的一个示例性实施例实现的示例性3D呈现和回放系统200。根据一个示例性实施例，示例性3D呈现和回放系统200可以用于显示由成像系统102的一个或多个相机捕获的、并由内容传送系统104流传输给用户(例如，对应于客户端106,110的客户)的内容。示例性3D呈现和回放系统200可以用作图1所示的任何3D呈现和回放系统。图2从用户的视角示出了3D呈现和回放系统200的后视图，就好像用户将穿戴，例如，头戴式，呈现和回放系统200。因此，图2中所示的视图示出了至少一些可从后方(例如从后方观察呈现系统200)可见的元件。示例性3D呈现和回放系统200包括头戴式显示器组件202、智能电话插件/插槽204、用户输入接口206、透镜对210,212和头带208。

经由智能电话插件/插槽204，可以将智能电话插入到系统200的头戴式显示器组件202中，从而允许智能电话显示器成为系统200的显示器。一旦插入插槽204中，智能电话就可以与头戴式显示器组件202进行通信和交换信号。智能电话插件/插槽204被示出为虚线矩形框，以指示插槽204在呈现和回放系统200的顶部中的位置。智能电话既用作例如用于执行系统200的处理、呈现、回放和各种操作的呈现和回放设备，并且用作系统200的显示器设备，其中智能电话屏幕用作系统200的显示屏。当用户安装时，用户可以通过透镜210,212来观看显示的场景，例如，包括对应于场景的内容的模拟3D环境。显示给用户的模拟3D环境允许真实的3D体验，就像用户实际存在于模拟环境中一样。

经由用户输入接口206，检测用户输入，并且呈现和回放系统200采取动作。例如，在一些实施例中，经由接口206的用户输入可以指示缩放操作模式的激活，期间，所显示的场景根据本发明的特征被缩放。在一些实施例中，用户输入接口106包括用户可以在其上移动其手指的触摸板以及对应的指示器，该指示器在显示屏上对用户可见，并且与手指一起移动，从而允许用户与显示在屏幕上的对象交互。在这样的实施例中，用户可以控制指示器以与屏幕上显示的图标和/或对象进行交互，例如选择、移动、删除等。例如，在一些实施例中，通过接口206，用户可以将指示器拖动到场景的显示部分，并且例如通过点击接口106的触摸板和/或使用区域选择区域来选择场景部分的区域，以便放大到所选区域。作为这样的放大操作的结果，在一些实施例中，显示所选区域的放大版本，就好像通过双目观看，同时掩蔽剩余的场景区域。在一些实施例中，在缩放显示模式中，掩蔽在被选择要缩放的场景区域部分之外的场景区域部分可见。在正常显示模式中，显示整个场景区域而没有掩蔽。

图3示出了根据本发明的一些其它实施例实现的另一示例性呈现和回放系统300。呈现和回放系统300支持3D呈现和显示。呈现和回放系统300可以用作图1所示的示例性呈现和回放系统中的任何一个。呈现和回放系统300可以用于实现本发明的方法。示例性3D呈现和回放系统300包括回放和呈现设备302，例如游戏控制台，诸如PS3，PS4或其它播放台版本，Xbox版本等。此外，呈现和回放系统300还包括立体显示器304以及可选的手持式控制器306。系统300的元件302,304和306可以是有线和/或无线连接的(例如，指示有线和/或无线链接的虚线)。在一些实施例中，显示器304是头戴式立体显示器，而在一些其它实施例中，显示器304可以是能够显示立体成像内容的另一显示设备。在某些实施例中，头戴式立体显示器304包括被配置为跟踪用户的头部移动和/或检测用户头部位置的改变的一个或多个传感器。在一些实施例中，回放和呈现设备202包括一个或多个传感器，例如相机，跟踪用户的头部移动和/或检测用户头部位置的变化。

图4示出了例如由立体相机对(例如在图像捕获系统102中使用的立体相机对)的左眼相机捕获的场景的示例性左眼图像400。

图5示出了例如由立体相机对的右眼相机捕获的场景的示例性右眼图像500。在图4-5中示出了通过场景中心的虚线，以示出左眼图像和右眼图像相对于彼此稍微偏移，因为左眼和右眼视图通常相对于彼此偏移。在各种实施例中，将左眼图像和右眼图像对传输到客户设备进行呈现和显示。

图6示出了根据本发明的一些实施例的使用图4-5的左眼和右眼图像对生成的示例性显示立体场景600。立体场景600通常是组合从多个相机(例如，至少包括左眼相机和右眼相机的立体相机对)捕获的图像的结果，并且在正常显示模式(非缩放操作模式)期间被显示。立体场景600由呈现和回放设备(例如，系统122,124)使用所接收的左眼图像400和右眼图像500生成，并被显示给用户。

图7示出了图示出图6的示例性显示的立体场景600的图700，其中以矩形702示出所显示的立体场景的中心部分，以指示用户选择的场景部分以例如用于放大。用户可以以各种方式选择场景区域部分702。用户可以选择场景区域部分702，同时以各种方式显示包括场景600内容的模拟3D环境。例如，在一些实施例中，场景区域部分702可以由用户通过面向和观看对应于部分702的场景区域并且经由接口206来选择放大操作进行选择，例如通过双击输入接口206来启动放大功能。这是可能的，因为用户的头部位置和/或取向被监视并且可以用于确定用户正在给定时间观看的所显示的3D环境中的场景区域部分。在一些其它实施例中，在所显示的3D环境中提供区域选择工具，其可以用于手动选择用户可能希望缩放的场景区域部分，例如，绘制出围绕要放大的场景区域部分的矩形(诸如像矩形702)。在一些实施例中，当用户没有具体地选择要缩放的场景区域部分，而是简单地提供放大的输入(例如，通过在接口206上的双击或压缩扩展动作)时，则在显示的场景区域中发生动作的场景区域部分(例如舞台、场和/或其它表演区域的中心)被放大。

图8示出了在缩放显示模式期间显示的立体场景区域800，其在应用了缩放和掩蔽操作之后被显示给观看者，场景区域800的显示部分通过双目呈现场景600的部分的模拟观看。场景区域800是通过对与场景600应于的左眼图像和右眼图像执行缩放和掩蔽操作产生的显示场景600的一部分。场景部分804对应于例如响应于用户选择而缩放的感兴趣的场景部分。向用户显示的缩放场景部分804对应于包括在图7的矩形702中的场景区域部分。从图8可以看出，显示的场景部分804通过双目呈现用户所选择的场景区域的模拟观看，例如，显示的左圆圈和右圆圈指示模拟的双目视图，并且内部可视场景区域是用户选择的区域的缩放版本。使用对角线图案示出场景区域800的掩蔽部分802以例如表示掩体。在缩放显示模式中，覆盖放大的感兴趣区域804之外的区域的掩体对于用户是可见的。当向用户显示掩体图案时，由于被掩体阻挡，因此在缩放/放大的场景部分804之外的掩体之下的场景600的实际部分对于不可见，从而模拟与通过双目观看相对应的观看约束。因此，当缩放模式被激活时，用户的视图被限制到用户可能期望就像通过双目观看的显示场景的部分。然而，在正常的显示模式下，由于在显示之前对场景区域部分没有掩蔽操作，所以掩体是不可见的。

包括图9A和图9B的组合的图9是示出根据示例性实施例的操作诸如呈现和回放系统的交互式系统的示例性方法的步骤的流程图。在一些实施例中，使用本发明的交互式系统(例如图2-3的3D呈现和回放系统)来实现流程图900的方法。

该方法在步骤902中开始，例如，呈现和回放被加电并被初始化。该方法从开始步骤902进行到步骤904,906和908，其可以并行地异步地执行。在步骤904中，在交互系统处开始监视用户输入。用户输入的监视如回环所指示的那样持续执行。操作从步骤904进行到步骤910。

在步骤906中，事件的场景被显示在显示器上，例如立体显示器，其可以是3D呈现和回放系统的一部分。在各种实施例中，步骤906包括执行步骤907，其中在显示器上显示立体图像对以提供场景的3D呈现，每个立体图像对包括左眼视图和右眼视图。操作从步骤904进行到步骤910。

在步骤908中，在交互系统处开始监视用户头部位置和/或头部取向，例如，以跟踪用户头部取向相对于标称取向的任何改变。在一些实施例中，在步骤908之前或作为步骤908的一部分的初始化期间，检测用户的当前头部位置。知道在初始化期间检测到的头部位置将被假定为向前看的位置的用户通常在步骤908期间将头部保持在舒适的水平面向前的位置，例如，通常直视所显示的3D环境中的感兴趣场景。在初始化期间，用户的头部位置被认为是参考头部位置，并且跟踪头部取向相对于参考位置的变化。用户头位置的监视是持续进行的。操作从步骤908进行到下一个处理步骤，例如在监视器检测到头部位置的改变时。在一些实施例中，操作从908经由连接节点A 909进行到步骤928。

返回步骤910。在步骤910中，检测到指示缩放操作模式的用户输入，例如指示缩放模式的激活的输入。在一些实施例中，用户输入在诸如图2和图3所示的呈现和回放设备的用户输入接口上和/或经由能够检测用户输入的另一接口(例如经由从控制设备接收的控制信号)被检测。在一些实施例中，用户输入接口是触敏传感器，而在一些其它实施例中，它可以是可被按下以指示缩放模式的激活的按钮。在一些实施例中，步骤910包括步骤912，其中检测指示在缩放操作模式期间要使用的缩放因子的用户输入，例如作为指示缩放操作模式的输入的一部分。操作从步骤910进行到步骤914。

在步骤914中，响应于接收到指示缩放操作模式被激活的用户输入，系统模拟通过双目观看场景的一部分。在作为实现步骤914的一部分的各种实施例中，执行步骤916,917,918和919。在步骤916中，对第一左眼图像(例如，对应于场景的左眼相机图像)执行缩放操作。接下来，在步骤917中，将掩蔽应用于缩放的第一左眼图像来模拟与通过双目观看相对应的观看约束，以生成掩蔽的缩放左眼图像。作为步骤916的结果，生成掩蔽的缩放左眼图像。在步骤918中，对第一右眼图像(例如，对应于第一左眼图像的右眼相机图像)执行缩放操作。接下来，在步骤919中，将掩蔽应用于缩放的第一右眼图像来模拟与通过双目观看相对应的观看约束，以生成掩蔽的缩放右眼图像。

操作从步骤914进行到步骤920。在步骤920中，在立体显示器上显示包括掩蔽的缩放左眼图像和右眼图像的掩蔽的缩放立体图像对，以呈现通过例如图8所示的双目的场景的该部分的立体呈现。

操作从步骤920进行到步骤922。在步骤922中，对附加的左眼图像和右眼图像执行掩蔽和缩放操作，以在系统处于缩放操作模式并且以帧或帧序列显示对应于场景的图像时生成附加的掩蔽的缩放立体图像对，其中，例如，缩放水平基于指示缩放因子的用户输入。

操作从步骤922进行到步骤924。在步骤924中，在系统处于缩放操作模式的时间段内，在立体显示器上显示包括掩蔽的缩放附加左眼和右眼图像的掩蔽的缩放附加立体图像对。操作通过连接节点B 926从步骤924进行到步骤928。

现在参考步骤928。在步骤928中，例如，由于用户由于例如注视方向的变化而移动头部，因此检测到用户头部取向例如头部位置的变化。操作从步骤928进行到步骤930。在步骤930中，响应于检测到用户头部位置的改变，例如包括用于生成立体场景的左图像和右图像的显示场景的中心部分被改变作为在所述缩放操作模式期间检测到的头部位置的变化和使用的缩放因子的函数的量。在一些实施例中，在步骤930中，将所显示的场景的中心部分改变作为检测到的头部位置变化和缩放因子的函数的量包括将所显示的场景的中心移动如下的量，即缩放因子乘以所显示的图像响应于检测到的变化位置(如果在子步骤932中实现的正常模式操作期间检测到的头部位置的变化)将会移动的量。

操作从步骤930进行到步骤934。在步骤934中，检测指示从缩放操作模式切换到正常操作模式的用户输入。操作从步骤934进行到步骤936。在步骤936中，响应于指示从缩放操作模式切换到正常操作模式的用户输入，停止对图像进行缩放和掩蔽操作。操作从步骤936进行到步骤938。在步骤938中，在显示器上显示形成立体图像对的左眼图像和右眼图像，以呈现事件的立体场景，例如作为正常模式期间的操作的一部分。在各种实施例中，该操作继续并且可以重复该方法的各种步骤。

图10示出了根据本发明的一些实施例的作为执行缩放和掩蔽操作的一部分而执行的示例性处理1000。图10示出了图示出在掩蔽的缩放左眼图像和右眼图像被输出到显示器之前输入左眼图像1004和右眼图像1006如何经受缩放和掩蔽操作的示例。处理在步骤1002中开始，其中接收到左眼图像1004和右眼图像1006。在步骤1008和1020中，对左眼图像1004和右眼图像1006执行缩放操作，分别产生缩放的左眼图像1010和缩放的右眼图像1022。

接下来，分别在步骤1012和1024中对缩放的左眼图像1010和右眼图像1022进行掩蔽操作。步骤1012和1024中的掩蔽操作分别产生掩蔽的缩放左眼图像1014和掩蔽的缩放右眼图像1026。在各种实施例中，掩蔽操作模拟对应于通过双目观看的观看约束，例如就像通过用户的眼睛上的双目观看缩放的左眼和右眼图像。

接下来，在步骤1016和1028中，包括掩蔽的缩放左眼和右眼图像1014,1026的掩蔽的缩放立体图像对被输出，例如显示在立体显示器上。

图11示出了根据本发明的特征的可以用于来编码和流传输内容的示例性内容传送系统1100。

系统1100可以用于执行根据本发明的特征的编码、存储、传输和/或内容输出。内容传送系统1100可以用作图1的系统104。虽然图11所示的系统用于内容的编码、处理和流传输，但是应当理解，系统1100还可以包括解码和显示经处理和/或编码的图像数据(例如，向操作者)的能力。

系统1100包括显示器1102、输入设备1104、输入/输出(I/O)接口1106、处理器1108、网络接口1110和存储器1112。系统1100的各种组件经由总线1109耦合在一起，该总线1109允许在系统1100的组件之间传送数据。

存储器1112包括各种模块，例如例程，当由处理器1108执行时，其控制系统1100来实现根据本发明的编码、存储和流传输/传输和/或输出操作。

存储器1112包括各种模块，例如例程，当由处理器1108执行时，其控制计算机系统1100来实现根据本发明的立体视频获取、编码、存储和传输和/或输出方法。存储器1112包括控制例程1114、编码器1118、流传输控制器1120、接收的输入图像1132(例如场景的360度立体内容)、编码的图像内容1134和定时信息1136。在一些实施例中，模块被实现为软件模块。在其它实施例中，模块以硬件实现，例如作为单独的电路，其中每个模块被实现为用于执行模块对应的功能的电路。在还有的其它实施例中，使用软件和硬件的组合实现模块。

在一些实施例中，编码器1118包括多个编码器，其被配置为编码接收的图像内容，例如，场景的360度版本和/或一个或多个场景部分。在一些实施例中，编码器包括多个编码器，每个编码器被配置为对立体场景和/或分割的场景部分进行编码以支持给定的比特率流。在一些实施例中，每个场景部分可以使用多个编码器进行编码，以支持每个场景的多个不同的比特率流。编码器1118的输出是编码图像内容1134，其被存储在存储器中以用于流传输到客户设备，例如回放设备。编码的内容可以经由网络接口1110被流传输到一个或多个不同的设备。

流传输控制器1120被配置为控制编码内容的流传输，以将编码的图像内容例如通过通信网络105传送到的一个或多个客户设备。流传输控制器1120包括请求处理模块1122、数据速率确定模块1124、当前头位置确定模块1126、选择模块1128和流传输控制模块1130。请求处理模块1122被配置为处理用于对来自客户回放设备的内容进行成像的请求。在各种实施例中，通过网络接口1110中的接收器接收对内容的请求。在一些实施例中，对内容的请求包括指示请求回放设备的身份的信息。在一些实施例中，对内容的请求可以包括由客户回放设备支持的数据速率，用户的当前头部位置，例如头戴式显示器的位置。请求处理模块1122处理接收到的请求，并将检索到的信息提供给流传输控制器1120的其它元件以采取进一步的动作。虽然对内容的请求可以包括数据速率信息和当前的头部位置信息，但是在各种实施例中，可以从系统1100和回放设备之间的网络测试和其它网络信息交换来确定由回放设备支持的数据速率。虽然在一些实施例中，一些客户呈现和回放系统可以基于在给定时间确定的用户头部取向来请求内容流，例如，以允许用户相应地查看环境，但是在许多情况下，客户呈现和回放系统可能不会具体地请求内容流，而是简单地附加到由内容传送系统1100广播的多个内容流中的广播内容流。在一些实施例中，内容传送系统1100广播与360度场景环境的不同部分相对应的不同内容流，以允许呈现和回放系统基于观看者在给定时间的当前头部取向附加到一个或多个内容流。

数据速率确定模块1124被配置为确定可用于将成像内容流传输到客户设备的可用数据速率，例如，由于支持多个编码场景部分，因此内容传送系统1100可以支持以多种数据速率向客户设备流传输内容。数据速率确定模块1124还被配置为确定由从系统1100请求内容的回放设备支持的数据速率。在一些实施例中，数据速率确定模块1124被配置为基于网络测量来确定用于传送图像内容的可用数据速率。

当前头部位置确定模块1126被配置为从客户呈现和回放设备接收的信息中确定用户的当前视角和/或当前头部位置，例如头戴式显示器的取向。

流传输控制模块1130被配置为根据本发明的特征以各种支持的数据速率来控制图像内容的流传输，例如360度立体场景的多个部分。

在一些实施例中，流传输信息1136作为指导信息(例如电子节目指南)的一部分被传送到客户呈现和回放系统，从而提供关于呈现和回放系统可以选择接收的内容流的信息。流传输信息1136可以由客户设备使用以访问从内容传送系统1100可用的传送到客户设备的内容流。在一些实施例中，对于多个可用内容流，流传输信息1136包括以下之一：可以连接以接收给定对应内容流的多播组的多播地址，可用于请求访问用于提供给定内容流的切换数字视频频道，或可用于控制回放系统的调谐器以调谐其上广播给定内容流的广播频道的频道调谐信息。

图12示出了可以用于接收、解码和显示由图11的系统流传输的内容的示例性呈现和回放系统1200。示例性呈现和回放系统1200可用于接收、解码、存储和显示从诸如图1和11所示的内容传送系统接收的成像内容。示例性呈现和回放系统1200可以用作图1-3所示的任何呈现和回放系统。在一些实施例中，呈现和回放系统1200包括和/或耦合到3D头戴式显示器1202。系统1200包括对接收到的编码图像数据进行解码并生成用于向客户显示的3D图像内容的能力。在一些实施例中，呈现和回放系统1200位于诸如家庭或办公室之类的客户端位置处，但是也可以位于图像捕获位置。呈现和回放系统1200可以执行根据本发明的信号接收、解码、缩放、掩蔽、显示和/或其它操作。

呈现和回放系统1200包括显示器1202、用户输入接口设备1204、相机1205、输入/输出(I/O)接口1206、处理器1208、网络接口1210和存储器1212。呈现和回放系统1200的各种组件通过总线1209耦合在一起，这允许在系统1200的组件之间传送数据。呈现和回放系统1200包括在其上呈现图像内容的头戴式3D显示器1202，例如，在立体内容的情况下，用户的左眼和右眼呈现不同的图像。通过在单个屏幕上向左眼和右眼显示不同的图像，例如在单个屏幕的不同部分上将不同的图像显示在不同的眼睛上，可以使用单个显示器来显示将被观看者左眼和右眼分开感知的左眼图像和右眼图像。在一些实施例中，回放和呈现系统1200被用作回放和呈现系统200，并且使用蜂窝电话/智能电话屏幕作为显示器1202。在一些其它实施例中，回放和呈现系统1200被用作回放和呈现系统300。头戴显示器1202可以使用可包括头戴式显示器1202的OCULUS RIFT^TMVR(虚拟现实)耳机来实现。也可以使用其它头戴式显示器。在蜂窝电话(例如智能电话)处理器被用作处理器1208并且蜂窝电话在头戴式组件(例如头戴件102)中生成和显示图像的情况下，系统1200可以包括头戴式设备的一部分的处理器1208、显示器1202、相机1205和存储器1212。处理器1208、显示器1202和存储器1212都可以是蜂窝电话的一部分。在系统1200的其它实施例中，处理器1208可以是诸如XBOX，PS3，PS4等的游戏系统的一部分，其中显示器1202安装在头戴式设备中并且耦合到游戏系统。处理器1208或存储器1212是否位于穿戴在头部上的设备中并不是关键的，并且可以理解的是，尽管在一些情况下，可以方便地将处理器置于头饰中，但是从能量、热和重量的观点，可以期望的是在至少一些情况下，使处理器1208和存储器耦合到包括显示器的头饰中。虽然各种实施例考虑了头戴式显示器1202，但是该方法和系统也可以与可支持3D图像的非头戴式显示器一起使用。

因此，显示设备1202被配置为显示与场景相对应的图像。在一些实施例中，作为被配置为显示对应于场景的图像的一部分，显示设备被配置为输出立体图像对，例如左眼图像和右眼图像，以提供场景的3D呈现。场景可以对应于事件。每个立体图像对包括例如由立体相机系统中的左眼和右眼相机捕获的左眼视图和右眼视图。

回放和呈现系统1200的操作者/用户可以经由用户输入接口1204来控制一个或多个参数、输入信息、命令等，和/或选择要执行的操作，例如选择缩放操作模式、提供要使用的缩放因子和/或选择要缩放的场景区域部分。通过用户输入接口1204，用户还可以向呈现和回放系统1200提供输入，例如，指示用户选择的从正常模式到缩放模式的切换的输入，反之亦然。用户输入接口1204可以包括例如键盘、小键盘、触摸板和/或触敏屏。用户输入接口1204包括接收器1211，呈现和回放系统1200经由该接收器1211接收由用户提供的信息/数据。用户可以使用用户输入接口1204进行项目的选择和/或响应所显示的提示和/或需要用户输入的其它指示。可以例如通过在输入接口1204上的单击、双击、捏和扩展动作或某些其它动作来提供用户输入。

相机1205包括一个或多个相机，其可以并且有时用于捕获例如系统1200所在的物理环境中的人员、物理环境和/或物体的图像。在系统1200被用作呈现和回放200的一些实施例中，相机1205可以是在系统200中使用的智能电话的相机设备。在将系统1200用作呈现和回放系统300的一些实施例中，相机1205可以是位于呈现设备302上或头戴式显示器304上的相机。在一些实施例中，相机1205可用于跟踪用户相对于参考方向(例如在初始化期间设置的)的头部取向和/或视角的变化。

通过I/O接口1206，系统1200可以耦合到外部设备以与其它设备交换信号和/或信息。在某些实施例中，经由I/O接口1206，系统1200可以接收由外部相机捕获的信息和/或图像，并向外部设备输出信息和/或图像。I/O接口1206包括经由其执行接收和发送操作的接收器(RX)1221和发射器(TX)1223。在一些实施例中，经由接口1206，系统1200被耦合到外部控制器，诸如像手持式控制器306。在手持控制器306可用的实施例中，手持式控制器306可以耦合到I/O接口1206，并用于输入信息和/或提供上述类型的用户输入。

处理器1208(例如CPU)执行例程1214并且使用各种模块来控制系统1200来根据本发明进行操作。处理器1208负责控制系统1200的整体通用操作。在各种实施例中，处理器1208被配置为执行已被讨论为由回放和呈现系统1200执行的功能。

经由网络接口1220，系统1200通过通信网络(例如通信网络105)向/从各种外部设备传送和/或接收信号和/或信息(例如，包括对应于场景的图像和/或视频内容)。网络接口1220包括经由其执行接收和发送操作的接收器1231和发射器1233。在一些实施例中，系统经由网络接口1220从内容传送系统104接收一个或多个内容流，例如在立体内容的情况下包括左眼和右眼图像。所接收的内容可以作为编码数据被接收，例如编码的场景数据1242。

在一些实施例中，存储器1212包括各种例程和/或模块，当由处理器1208执行时，各种例程和/或模块控制呈现和回放系统1200以执行根据本发明的操作。存储器1212包括控制例程1214、头部取向和/或视角确定器1216、头部位置监视模块1218、用户输入处理模块1219，解码器1220、图像呈现器1222、模拟器1224、模式控制器1228以及显示控制器1230。存储器1212还包括包含编码数据1242、解码数据1244和生成的图像内容1246的数据/信息。

控制例程1214包括用于控制系统1200的操作的设备控制例程和通信例程。头部取向和/或视角确定器1216被配置为确定用户的当前头部位置，例如头戴式显示器的取向，并且在一些实施例中，将确定的位置和/或视角信息报告给内容传送系统1100。头部取向确定器1216可以使用传感器中的一个或组合来实现，以在给定时间检测用户的头部取向。在一些实施例中，使用相对于参考方向的头部取向和/或取向的变化来确定用户在给定时间正在观看所显示的场景的哪个部分。

监视模块1218被配置为监视用户头部位置，以检测例如由于头部的旋转、头部的倾斜或旋转和倾斜两者而从初始/当前头部方向的用户头部取向的变化。在一些实施例中，监视模块1218在初始检测用户的头部取向和设置默认/参考头部取向之后监视头部取向的变化。监视模块1218被配置为在给定时间检测头部取向相对于当前设定的头部取向(例如，由头部取向确定模块1216最初检测到的默认/参考头部取向)的变化。因此，如果用户的头部取向从初始检测到的头部取向例如由于头部旋转、倾斜或两者而改变，则监视模块1218接收来自头部取向确定器1216的指示当前头部取向的输入，并将其与当前设置/先前检测到的存储在存储器1212中的用户的头部取向进行比较，以确定头部取向是否有任何改变。在一些实施例中，监视模块1218还被配置为确定相对于默认头部取向的头部旋转角度和/或头部倾斜角度，例如，用户将自己的头部从对应于默认/参考头部取向的0°位置或与先前检测到的头部取向对应的角度旋转和/或倾斜了多少。在各种实施例，这样的头部旋转角度和/或头部倾斜角度信息被用于确定例如用户正在看所显示的场景中的哪儿，例如哪个场景部分。用户输入处理模块1219还被配置为处理用户经由例如用户输入接口1204和/或I/O接口1206提供的接收到的用户输入、命令和指令。在一些实施例中，用户输入处理模块1219处理用户控制输入，并向呈现和回放系统1200的其它元件提供信息和/或信令，以控制根据本发明的操作。

解码器模块1220被配置为对从内容传送系统接收的编码图像内容1232进行解码以产生解码图像数据1234。解码图像数据1234可以包括解码的立体场景和/或解码的场景部分。图像呈现器1222使用包括对应于场景的内容的解码图像内容(例如，正常操作模式下的解码数据1234和缩放操作模式下的掩蔽的缩放图像数据1236)，以生成用于在显示器1202上向用户显示的内容。图像呈现器1222可以被实现为3D图像生成模块以呈现3D立体图像内容。

模拟器1224被配置为响应于指示缩放操作的用户输入(例如，经由用户接口1204检测)来模拟通过双目观看显示的场景的一部分。在一些实施例中，作为被配置为模拟通过双目观看场景中的一部分的部分，模拟器1224被配置为：对第一左眼图像执行缩放操作，并将掩蔽应用于缩放的第一左眼图像以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放左眼图像。在一些实施例中，作为被配置为模拟通过双目观看场景的一部分的部分，模拟器1224被进一步配置为：对与第一左眼图像相对应的第一右眼图像执行缩放操作，并且将掩蔽应用于缩放的右眼图像以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放右眼图像。在各种实施例中，模拟器1224包括缩放控制器1225和掩蔽器1226，其被配置为分别执行上述缩放和掩蔽操作。当缩放操作模式被启用时，缩放控制器1225和掩蔽器1226根据本发明的特征分别对解码的左眼图像和右眼图像1234执行缩放和掩蔽操作，以生成掩蔽的缩放左眼图像和右眼图像。在各种实施例中，显示设备1202被配置为显示包括掩蔽的缩放左眼图像和右眼图像的掩蔽的缩放立体图像对，以呈现该场景部分的通过双目的模拟观看。因此，在一些实施例中，当系统1200处于缩放操作模式时，显示设备1202在显示被掩蔽的缩放左眼图像的同时显示掩蔽的缩放左眼图像和掩蔽的缩放右眼图像。

在一些实施例中，用户输入接口1204包括接收器1211，接收器1211被配置为接收指示在缩放操作模式期间使用的缩放因子的用户输入。在一些实施例中，当观看显示的场景时，用户改变他/她的头部位置，例如旋转，倾斜和/或以其它方式改变注视方向。在一些实施例中，监视用户头部位置的头部位置监视模块1218检测用户头部位置的变化并将检测到的改变信息提供给显示控制器1230。显示控制器1230被配置为将显示的场景的中心部分改变一个量，该量为检测到的头部位置的改变和在缩放操作模式期间使用的缩放因子的函数。在一些实施例中，作为被配置为将所显示的场景的中心部分改变作为所检测到的头部位置的改变和缩放因子的函数的量的一部分，显示控制器1230被配置为将所显示的场景的中心移动一个量，该量是缩放因子乘以所显示的图像响应于检测到的改变位置(如果在正常模式操作期间检测到头部位置的改变时)将会移动的量。

模式控制器1228被配置为控制系统1200以例如基于用户对特定操作模式的选择(诸如缩放操作模式或正常操作模式)来以不同的模式进行操作。在一些实施例中，在用户接口1204检测到指示缩放操作模式的用户输入时，模式控制器1228控制系统1200以缩放操作模式进行操作，例如，其中模拟的通过双目观看所显示的场景的场景部分被呈现给用户。

在一些实施例中，例如在用户选择正常模式时，用户输入接口1204检测到指示从缩放操作模式切换到正常操作模式的用户输入。在系统1200的正常操作和初始化期间，模式控制器1228控制设备以在正常操作模式下操作，其中以正常方式显示的图像内容而不进行缩放。在一些实施例中，模拟器1224还被配置为响应于用户输入接口1204检测到指示从缩放操作模式切换到正常操作模式的输入，停止缩放和掩蔽操作。

内容流传输信息1238包括关于可用于在回放中接收和使用的多个内容流的信息。在一些实施例中，流传输信息1238由内容提供商的内容传送系统1100提供(例如，流传输信息1136)。在一些实施例中，对于多个可用内容流，流传输信息1238包括可以被连接以接收对应于场景的给定部分的给定内容流(例如，前场景部分、后左、后右部分等)的多播组的多播地址之一。在一些实施例中，流传输信息1238还包括可用于请求访问用于提供给定内容流的切换数字视频频道的信息，或者可用于控制回放系统1200的调谐器以调谐广播频道的频道调谐信息，其中在该广播频道上播放与给定场景部分相对应的给定内容流。

在一些实施例中，存储器1212中所示的模块和/或元件被实现为软件模块。在其它实施例中，虽然被示出为包括在存储器1212中，但是元件以硬件方式实现，例如作为单独的电路，其中每个元件被实现为用于执行与元件相对应的功能的电路。在还有的其它实施例中，使用软件和硬件的组合来实现模块和/或元件。

尽管图12所示的示例将被包括在存储器1212中，但是显示在存储器1212中的模块和元件可以并且在一些实施例中可以完全以处理器1208内得硬件实现，例如作为单独的电路。在其它实施例中，一些元件被实现为例如处理器1208内的电路，其它元件被实现为例如处理器1208外部并耦合到处理器1208的电路。应当理解，处理器上的模块和/或处理器外部的一些模块的集成水平可以是设计选择之一。可替代地，所有或一些元件不是被实现为电路，而是可以以软件实现，并且存储在系统1200的存储器1212中，其中当模块由处理器(例如处理器1208)执行时，软件模块控制系统1200的操作以实现与模块对应的功能。在还有的其它实施例中，各种元件被实现为硬件和软件的组合，例如处理器1208外部的电路提供到处理器1208的输入，然后在软件控制下操作以执行模块功能的一部分。

虽然在图12的实施例中示出为单个处理器(例如一个计算机)，应当理解，处理器1208可以被实现为一个或多个处理器，例如多个计算机。当存储器1212中的一个或多个元件被实现为软件模块时，模块包括代码，当代码由处理器1208执行时，该代码将处理器1208配置为实现与该模块相对应的功能。在图12所示的各种模块被存储在存储器1212中的实施例中，存储器1212是包括计算机可读介质的计算机程序产品，该计算机程序产品包括用于使至少一个计算机(例如处理器1208)实现模块对应的功能的代码，例如每个模块的单独代码。

可以使用完全基于硬件或完全基于软件的模块。然而，应当理解，可以使用软件和硬件的任何组合，例如可以使用电路实现的模块来实现这些功能。应当理解，图11和图12中所示的模块分别控制和/或配置系统1100和1200或其中的元件(诸如处理器1108和1208)，以执行本发明方法的相应步骤的功能，例如，诸如在流程图900中示出和/或描述的那些。

一些实施例涉及体现一组软件指令(例如，计算机可执行指令)的非暂时计算机可读介质，用于控制计算机或其它设备对立体视频进行编码和压缩。其它实施例涉及包括一组软件指令(例如，计算机可执行指令)的计算机可读介质，用于控制计算机或其它设备，以对播放器端上的视频进行解码和解压缩。尽管编码和压缩被提及为可能的单独操作，但是应当理解，可以使用编码来执行压缩，因此编码可以在一些实施例中包括压缩。类似地，解码可以涉及解压缩。

各种实施例的技术可以使用软件、硬件和/或软件和硬件的组合来实现。各种实施例涉及装置，例如图像数据处理系统。各种实施例还涉及方法，例如处理图像数据的方法。各种实施例还涉及非暂时性机器，例如计算机，可读介质，例如ROM，RAM，CD，硬盘等，其包括用于控制机器实现方法的一个或多个步骤的机器可读指令。

本发明的各种特征使用模块来实现。在一些实施例中，这样的模块可以被实现为软件模块。在其它实施例中，模块以硬件实现。在还有的其它实施例中，使用软件和硬件的组合实现模块。在一些实施例中，模块被实现为单独的电路，其中每个模块被实现为用于执行模块对应的功能的电路。考虑了各种各样的实施例，包括其中不同模块被不同地实现的一些实施例，例如其中一些用硬件实现，其中一些用软件实现，并且一些使用硬件和软件的组合来实现。还应该注意的是，与在通用处理器上执行的软件不同，可以在专用硬件中实现例程和/或子程序，或这些例程执行的一些步骤。这样的实施例在本发明的范围内。上述方法或方法步骤中的许多可以使用机器可执行指令(诸如包括在诸如像RAM、软盘等存储器设备的机器可读介质中的软件)来实现以控制机器，例如具有或不具有附加硬件的通用计算机，以实现上述方法的全部或部分。因此，本发明尤其涉及包括用于使机器(例如处理器和相关硬件)执行上述方法的一个或多个步骤的机器可执行指令的机器可读介质。

鉴于上述描述，对于本领域技术人员来说，上述各种实施例的方法和装置的许多附加变化将是清楚的。这种变化将被认为在范围之内。

Claims (19)

1.一种操作交互式系统的方法，所述方法包括：

在显示器上显示场景；

检测指示缩放操作模式的用户输入；

响应于检测到的指示缩放操作的用户输入，模拟通过双目观看所述场景的一部分。

2.根据权利要求1所述的方法，其中在所述显示器上显示场景包括：

在所述显示器上输出立体图像对以提供所述场景的3D呈现，所述场景对应于事件，每个立体图像对包括左眼视图和右眼视图。

3.根据权利要求1所述的方法，其中模拟观看所述场景的一部分包括：

对第一左眼图像执行缩放操作；

将掩蔽应用于缩放的第一左眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放左眼图像。

4.根据权利要求3所述的方法，还包括：

显示所述掩蔽的缩放左眼图像。

5.根据权利要求4所述的方法，其中模拟观看所述场景的一部分还包括：

对与所述第一左眼图像相对应的第一右眼图像执行缩放操作；

将掩蔽应用于缩放的右眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放右眼图像；

在显示所述掩蔽的缩放左眼图像的同时显示掩蔽的缩放右眼图像。

6.根据权利要求5所述的方法，在使得附加的左眼图像和右眼图像显示达所述交互式系统处于所述缩放操作模式的时间段之前，对所述附加的左眼图像和右眼图像应用缩放和掩蔽操作。

7.根据权利要求6所述的方法，还包括：

检测指示从所述缩放操作模式到正常操作模式的切换的用户输入；以及

响应于检测到指示从所述缩放操作模式到所述正常操作模式的切换的输入，在显示左眼图像和右眼图像之前停止所述缩放和掩蔽操作。

8.根据权利要求1所述的方法，还包括：

监视用户头位置；

检测用户头部位置的变化；以及

将所显示的场景的中心部分改变作为所检测到的头部位置的变化和在所述缩放操作模式期间使用的缩放因子的函数的量。

9.根据权利要求8所述的方法，还包括：

接收指示在所述缩放操作模式期间要使用的缩放因子的用户输入；并且

其中将所显示的场景的中心部分改变作为所检测到的头部位置的变化和所述缩放因子的函数的量包括将所显示的场景的中心移动如下的量，该量是缩放因子乘以如果在正常模式操作期间检测到头部位置的变化而响应于检测到的位置变化所显示的图像将会移动的量。

10.一种交互式系统，包括：

显示设备，被配置为显示与场景相对应的图像；

用户输入接口，被配置为检测指示缩放操作模式的用户输入；

模拟器，被配置为响应于检测到的指示缩放操作的用户输入来模拟通过双目观看所述场景的一部分。

11.根据权利要求10所述的系统，其中作为为被配置为显示与场景相对应的图像的一部分，所述显示设备被配置：

在所述显示设备上输出立体图像对以提供所述场景的3D呈现，所述场景对应于事件，每个立体图像对包括左眼视图和右眼视图。

12.根据权利要求10所述的系统，其中作为被配置为模拟通过双目观看所述场景的一部分的一部分，所述模拟器被配置为：

对第一左眼图像执行缩放操作；以及

将掩蔽应用于缩放的第一左眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放左眼图像。

13.根据权利要求12所述的系统，其中所述显示设备还被配置为：

显示所述掩蔽的缩放左眼图像。

14.根据权利要求13所述的系统，

其中作为被配置为模拟通过双目观看所述场景的一部分的一部分，所述模拟器进一步被配置为：

对与所述第一左眼图像相对应的第一右眼图像执行缩放操作；

将掩蔽应用于缩放的右眼图像，以模拟对应于通过双目观看的观看约束，从而生成掩蔽的缩放右眼图像；并且

其中所述显示设备还被配置为在显示所述掩蔽的缩放左眼图像的同时显示掩蔽的缩放右眼图像。

15.根据权利要求14所述的系统，其中，所述模拟器还被配置为在使得附加的左眼图像和右眼图像通过所示显示设备显示达所述交互式系统处于所述缩放操作模式的时间段之前，对所述附加的左眼图像和右眼图像应用缩放和掩蔽操作。

16.根据权利要求15所述的系统，

其中所述用户输入接口被配置为检测指示从所述缩放操作模式到正常操作模式的切换的用户输入；并且

其中所述模拟器还被配置为响应于所述用户输入接口检测到指示从所述缩放操作模式到所述正常操作模式的切换的所述输入，停止所述缩放和掩蔽操作。

17.根据权利要求10所述的系统，还包括：

头部位置监视模块，被配置为监视用户头部位置，以检测用户头部位置的变化；以及

显示控制器，被配置为将所显示的场景的中心部分改变作为所检测到的头部位置的变化和在所述缩放操作模式期间使用的缩放因子的函数的量。

18.根据权利要求17所述的系统，还包括：

其中所述用户输入接口包括被配置为接收指示在所述缩放操作模式期间要使用的缩放因子的用户输入的接收器；并且

其中作为被配置为将所显示的场景的中心部分改变作为所检测到的头部位置的变化和所述缩放因子的函数的量的一部分，所述显示控制器被配置为将所显示的场景的中心移动如下的量，该量是缩放因子乘以如果在正常模式操作期间检测到头部位置的变化而响应于检测到的位置变化所显示的图像将会移动的量。

19.一种非暂时性机器可读介质，包括处理器可执行指令，当由处理器执行时，控制回放系统执行以下操作：

在显示设备上显示场景；

检测指示缩放操作模式的用户输入；

响应于指示缩放操作模式的所述用户输入，模拟通过双目观看所述场景的一部分。