CN101966393B - 显示器观看系统和基于活动跟踪优化显示器画面的方法 - Google Patents

Abstract

提供了一种用于与显示器设备接口的装置。该装置包括框架。该框架包括：(a)一副快门镜片，(b)耦合到所述框架的灯；(c)集成到所述框架的电路，用于控制所述一副快门镜片并控制耦合到所述框架的灯。所述电路配置成和所述显示器设备通信，以使得所述快门镜片和所述显示器设备同步。分析所述灯以确定所述框架相对于所述显示器设备的位置，在从框架位置的视角观看显示器输出时，该位置用于使得对该显示器输出进行调整。

Description

显示器观看系统和基于活动跟踪优化显示器画面的方法

技术领域

本发明涉及包括显示器的系统，例如电视或视频监视器、计算机监视器或者游戏系统显示器。

背景技术

当前，大部分显示器只能给其所有观众提供一个视频、电视节目、游戏等。例如，给定视频游戏的所有玩家观看监视器上的相同图像，因而，除非使用如头戴式监视器这类更复杂昂贵的显示器，否则就不能为不同玩家提供不同的视觉信息。

类似的，当前能同时提供多于一个电视节目、游戏或视频的显示器都要求所有观众例如通过分割显示屏图像或者通过提供画中画来观看每一个显示的电视节目、游戏或视频的图像。此外，一次只能提供一个这种电视节目、游戏或视频的音频部分，以便该音频部分可以被听到。

因而，希望提供一种“屏幕共享”系统，其中，可以为使用同一显示器的两个或多个观众中的每一个在显示器上提供不同图像，而不要求每个观众也观看要提供给另一个观众的图像。还希望提供如下的系统，其配置成可以向和另一个用户“共享”屏幕的每个用户提供和该用户正观看的图像或内容相关的音频部分。

发明内容

提供了一种和显示屏幕接口的设备。该设备包括框架。该框架包括：(a)一对快门镜片；(b)耦合到框架的灯；以及(c)与框架集成的电路，用于控制所述一对快门镜片并控制耦合到框架的灯。电路配置成和显示器装置通信，以使得快门镜片和显示器装置同步。分析所述灯以确定框架相对于显示器装置的位置，在从框架的位置的视角观看显示输出时，使用该位置对显示器输出进行调整。

本发明还提供显示器交替呈现来自至少两个视频输入的图像的系统，其中，使用同步的快门过滤器装置，该过滤器装置只允许观看来自一个视频输入的图像。“视频输入”可以表示成任何视频内容、视频流、频道、游戏输出、有线频道、来自消费电子设备的视频输出、DVR、DVD播放器、电影、左视差视频、右视差视频等。“视频输入”的来源可以是一个或多个频道。视频输入可以通过一个或多个物理线缆，或者通过一个或多个内部总线，或者通过用于提供视频图像的任何公知方式等提供。

提供了一种和显示屏幕接口的设备。该设备包括框架。该框架包括：(a)一对快门镜片；(b)耦合到框架的灯；以及(c)集成到框架的电路，用于控制所述一对快门镜片并控制耦合到框架的灯。该电路配置成和显示器装置通信，以使得快门镜片和显示器装置同步。分析灯以确定框架相对于显示器装置的位置，在从框架的位置的视角观看显示输出时，使用该位置对该显示器输出进行调整。

此处所述的“屏幕共享”通常指时间共享安排，其中，一个用户可观看三维内容，或者，多个用户可以使用全屏大小同时观看一个电视显示器上的节目并佩戴快门眼镜来协调多个节目序列的每个用户视野。

根据本发明的一方面，使用共同显示器向至少两个观众提供各自的视频输入。控制该显示器使其交替显示来自第一视频输入的图像和来自第二视频输入的图像。第一快门过滤器和显示器同步，使得在显示第二视频输入图像时，第一过滤器关闭；而且，第二快门过滤器和显示器同步，使得在显示第一视频输入图像时，第二过滤器关闭。这样，使用第一快门过滤器只把第一视频输入图像提供给第一观众，使用第二快门过滤器只把第二视频输入图像提供给第二观众。

本发明可用于解决两个玩家分屏游戏的问题，这种游戏里，将传统屏幕划分成两部分，玩家并排坐着看着一个屏幕玩游戏，两个玩家中每一个玩家的视角占据屏幕的一半。本发明可配置成使得两个玩家都能看到全屏大小的游戏视角。由于本发明避免了一个玩家看到屏幕上另一个玩家的视角，因而还更少分心。因而，根据本发明的另一方面，使用共同的显示器向至少两个玩家提供视频游戏。控制该显示器使其交替显示根据视频游戏的第一视角的全屏图像和根据视频游戏的第二视角的全屏图像。第一副LCD快门眼镜和显示器同步，使得使用第一副LCD快门眼镜的第一玩家可以玩视频游戏，同时仅从第一视角观看视频游戏。第二副LCD快门眼镜和显示器同步，使得使用第二副LCD快门眼镜的第二玩家可以玩视频游戏，同时仅从第二视角观看视频游戏。

根据本发明的另一方面，向第一观众提供视频游戏，同时使用同一显示器向第二观众提供视频节目。控制该显示器使其交替显示视频游戏的图像和视频节目的图像。第一副LCD快门眼镜和显示器同步，使得使用第一副LCD快门眼镜的第一观众可以只玩视频游戏。第二副LCD快门眼镜和显示器同步，使得使用第二副LCD快门眼镜的第二观众可以只看电视节目。

参考下面的详细描述和附图可以更好地理解本发明的前述方面、特征和益处。

附图说明

图1示出根据本发明一方面操作的显示器和相关的多副LCD快门眼镜的例子。

图2示出根据本发明一方面图1的显示器呈现的帧序列，并示出一副给定的LCD快门眼镜的每个佩戴者看到的帧。

图3A-3C示出根据本发明一方面的系统的各种实施例。

图4是根据本发明一方面人们观看同一屏幕上的不同音频/视频内容的示意图。

图5是根据本发明一方面的眼镜和耳机的等距视图。

图6是根据本发明一方面的眼镜的系统框图。

图7是根据本发明一方面和电视或监视器以及多个输入通信的屏幕共享设备的系统框图。

图8A和8B分别是包括在机顶盒和游戏控制台中的屏幕共享设备的系统框图。

图9是根据本发明一方面同时提供给多个用户的音频/视频内容的功能图。

图10是根据本发明一方面同时提供给多个用户的音频/视频内容的功能图。

图11是根据本发明一方面提供给用户的三维内容的功能图。

图12是根据本发明一方面提供给多个用户的不同游戏内容的功能图。

图13是根据本发明一方面提供给多个用户的不同电视频道的功能图。

图14是根据本发明一方面提供给多个用户的不同音频/视频内容的功能图。

图15是根据本发明一方面提供给多个用户的游戏和电视音频/视频内容的功能图。

图16是根据本发明一方面提供给多个用户的游戏和电视音频/视频内容的功能图。

图17是根据本发明一方面以三维形式从每个用户特有的视角提供给用户同一游戏的游戏内容的功能图。

图18是根据本发明一方面以三维形式提供给一个用户游戏内容以及以三维方式提供给另一个用户电影(或其他音频/视频内容)的功能图。

图19是根据本发明一方面以三维形式提供给一个用户游戏内容以及以二维方式提供给另一个用户电影(或其他音频/视频内容)的功能图。

图20A-20F限定与LCD快门眼镜一起使用的跟踪设备和方法的实施例。

图21A-21C示出具有用于跟踪的灯的眼镜的例子。

图22A-22B示出跟踪快门眼镜以及集成在眼镜中用于提供附加的位置和朝向的摄像头的例子。

图23A-23E示出根据本发明的例子眼镜包括灯和摄像头的实施例。

图24和25示出用户在房间内移动，同时检测他们的位置以在调整观看视差时调整屏幕显示。

图26示出根据本发明的一个实施例可用于确定控制器位置的硬件和用户界面。

图27示出根据本发明的一个实施例可用于处理指令的其他硬件。

图28示出根据本发明的一个实施例的、和通过因特网连接到服务器处理的游戏客户机交互的各个用户A到用户E的场景A到场景E的示例图示。

具体实施方式

本发明提供各种实施例，其中使用LCD快门眼镜。实施例使得可使用单个监视器以下面的方式将各个视频输入呈现给两个或多个观众，这种方式使得每个观众只看到要显示给该观众的视频输入的图像。本发明还使得每个观众可以只听到和该视频输入相关的声音。实施例还可以通过眼镜的跟踪对用户进行跟踪。跟踪眼镜时，跟踪信息可用于对视差进行调整和优化，使得显示屏幕基于用户的位置为用户而优化。

I、快门过滤器

图1示出本发明的例子，其中包括帧A、B、C...的第一视频输入和包括帧1、2、3...的第二视频输入显示在同一监视器上。监视器交替显示来自每个视频输入的图像，得到图2上部示出的所显示的图像序列A、1、B、2、C、3...。

如图1重复显示的两副LCD快门眼镜(shutter glass)中最左侧的那副的第一快门过滤器(shuttered filter)和第一视频输入的帧同步。监视器上显示第一视频输入的帧时，第一快门过滤器打开，监视器上显示第二视频输入的帧时，第一快门过滤器关上。因而，如图2最左下侧部分所示，通过第一快门过滤器观看监视器(例如通过佩戴最左侧的那副LCD快门眼镜)的个体只看到第一视频输入的帧，而不会看到第二视频输入的帧。

如图1重复显示的两副LCD快门眼镜中最右侧的那副的第二快门过滤器和第二视频输入的帧同步。监视器上显示第二视频输入的帧时，第二快门过滤器打开，监视器上显示第一视频输入的帧时，第二快门过滤器关上。因而，如图2最右下侧部分所示，通过第二快门过滤器观看监视器(例如通过佩戴最右侧的那副LCD快门眼镜)的个体只看到第二视频输入的帧，而不会看到第一视频输入的帧。

一副LCD快门眼镜的镜片优选地同时二者都打开或都关闭，并和来自一个显示的视频输入的图像同步，以使佩戴者可观看来自那个视频输入的图像。

可为每个观众提供扬声器，扬声器仅发出提供给该观众的视频输入的音频信号。将和第一视频输入相关的第一音频信号提供给第一视频输入的观众，将和第二视频输入相关的第二音频信号提供给第二视频输入的观众。例如，图1和2所示的每副LCD快门眼镜可以具有耳机或者耳塞，其允许佩戴者听到佩戴者正在观看的视频输入的声音，而不受提供给另一个视频输入的观众的声音的干扰。

图5示出根据本发明一方面的眼镜501。眼镜可包括框架505，用于保持左LCD镜片510和右LCD镜片512。如上所述，每个镜片510和512可以快速地选择性变黑，以防止佩戴者通过该镜片观看。优选地，左耳塞530和右耳塞532也连接到框架505。框架505之内或之上还可以包括用于发送和接收无线信息的天线520。可通过任何装置跟踪该眼镜，以确定眼镜是否看向屏幕。例如，眼镜前部还可包括一个或多个光电探测器540，用于检测眼镜朝监视器的朝向。

可用各种公知技术提供对视频输入图像的交替显示。优选地，对屏幕上共享的每个视频输入，屏幕410工作于逐行扫描模式。然而，如所述，本发明也可配置成结合隔行扫描视频工作。对于标准电视监视器，如使用隔行扫描的NTSC或PAL制式的监视器，两个视频输入的图像可以交错扫描(interlaced)，来自一个视频输入的图像的行可以和来自另一个视频输入的图像的行交织。例如，显示来自第一视频输入的图像的奇数行，然后，显示来自第二视频输入的图像的偶数行。

对于一个或多个视频输入的图像是要呈现连续运动的应用，两个视频输入的图像在监视器上显示的频率必须大于人眼可觉察的频率。因而，使用隔行扫描/交织方式呈现的来自各个视频输入的图像趋于闪烁，或分辨率差。作为替代实例，可以通过在用于存储来自两个视频输入的两个图像的视频存储器的两个页面之间翻动(这称为翻页)在监视器上交替呈现这两个视频输入的图像。而且，逐行扫描监视器可以和翻页结合使用。

图6示出根据本发明一方面的眼镜的系统框图。眼镜可包括处理器602，其执行存储在存储器604中的程序608的指令。存储器604也可存储要提供给处理器602以及眼镜中的任何其他存取/存储部件的数据或从其输出的数据。处理器602、存储器604以及眼镜的其他部件可通过总线606彼此通信。这些其他部件可包括LCD驱动器610，其提供驱动信号，该信号选择性地关闭左或右LCD镜片612和614。LCD驱动器可以在不同时间把左、右LCD镜片逐个单独关闭不同的时间段，或者同时把左右LCD镜片关闭相同的时间段。

开关LCD镜片的频率可以事先存储在眼镜中(例如，基于NTSC的公知频率)。或者，可通过用户输入616(例如，用于调整或输入期望频率的旋钮或者按钮)选择该频率。然而，可通过无线发射机/接收机601或者任何其他输入部件将期望的频率以及初始的快门启动时间、或者其他指示LCD镜片应该或不应关闭的时间段的信息传输给眼镜，而不考虑该时间段是否处于设定的频率和持续时间中。无线发射机/接收机601可包括任何无线发射机，包括蓝牙发射机/接收机。

音频放大器620也可从无线发射机/接收机601接收信息，即，要提供给左扬声器622或右扬声器624的音频的左声道和右声道。眼镜还可以包括麦克风630。麦克风630可以和游戏结合使用，提供声音通信，声音信号可通过无线发射机/接收机601发送到游戏控制台或另一装置。

眼镜还可包括一个或多个光电探测器634。光电探测器634可用于确定眼镜是否朝向监视器。例如，光电探测器可以检测照在光电探测器上的光强度，并发送信息到处理器602。如果处理器检测到光强度有明显下降，这可能和用户看监视器以外的其他地方有关，处理器可停止开关镜片。也可以使用用于确定眼镜(因而确定用户)是否朝向监视器的其他方法。例如，可用一个或多个摄像头代替光电探测器，处理器602检查捕获的图像，以确定眼镜是否朝向监视器。使用该摄像头的几个可能实施例包括，检查对比度等级以检测摄像头是否朝向监视器，或者试图检测监视器上的亮度测试图案。向监视器提供多个输入的装置可以经由无线发射机/接收机601向处理器602发送信息来指示这种测试图案的存在。

图7示出提供待显示的视频的屏幕共享设备710的一个方面的系统框图。视频/音频输入720接收两个或多个视频和音频输入，其例如来自下述设备，但不限于这些设备，而且优选地为这些设备的任何组合：有线电视机顶盒790、游戏控制台792、DVD播放器794、VCR 796和个人计算机798。但是，应该理解，对于本发明，一个视频流可代表两个“视频输入”或“视频馈入”。一个视频流可以是时分复用的视频帧序列，其包括两个或多个视频输入或馈入。而且，视频输入不需要源自多个装置。相反，一个装置可以呈现两个或多个视频输入或视频馈入。

关于本例，处理器730存取存储器740中的信息，并向屏幕共享设备的其他部件提供信号。视频/音频输出750以如下方式复用来自视频输入的所选数目的视频信号，即，在到电视或监视器780的单个视频输出信号上，两个或多个视频信号顺序快速地连续彼此跟随(应该理解，这样的单个视频输出信号实际上可包括多个信号，包括复合或彩色信号)。可通过无线发射机/接收机760将和复用的信号相关的信息传输给眼镜。该信息可包括，选中进行复用的视频输入数量，复用频率，特定视频信号发送给电视或监视器780的时间，特定时刻显示哪个视频信号的标识符及其他信息。来自音频/视频输入790-798的音频信号也可以无线方式从视频共享设备710传输到眼镜。

虽然图7中屏幕共享设备710示意性地示为和电视机780以及视频输入独立，该设备可以位于许多装置中。例如，如图8A所示，屏幕共享设备710可嵌在具有多个输入的机顶盒中。如图8B所示，屏幕共享设备也可包括在游戏控制台中，游戏控制台具有多个内部音/视频源，例如两个盘托(disk bay)861、862(每个可以从游戏或DVD呈现内容)。

虽然图1和图2仅示出两个视频输入和两个快门过滤器，本发明还可用于监视器显示多于两个视频输入的结构，且其中使用多于两个同步的快门过滤器，以使得可观看到每个视频输入。

图3A示出本发明用于视频游戏系统中的实施例。游戏单元存储玩视频游戏所需的软件，还控制传送到电视机或计算机的监视器的图像。游戏单元向监视器提供两个视频输入，并控制监视器以交替显示来自两个视频输入的图像，这如参考图1和2所述。游戏单元还连接到两副或多副LCD快门眼镜，并将每副LCD快门眼镜的操作和视频输入之一同步。游戏单元和多副LCD快门眼镜之间的连接可以是物理连接，或者是无线连接，例如使用蓝牙通信协议。

因而，图3A和图9的实施例允许每个视频游戏玩家从该玩家的视角参与游戏。视频输入之一为第一玩家提供游戏活动的特定场景，可包括不提供给另一个玩家的视觉信息。类似地，另一个视频输入为第二玩家提供适于该玩家的同一游戏的不同场景。每个玩家佩戴一副和视频输入之一的图像同步的LCD快门眼镜，其仅允许该玩家看到该视频输入的图像。而且，如果为每个玩家提供耳机的话，可为第一和第二玩家中的每一个提供那些并不提供给另一个玩家的声音和/或音频指令。

图10示出本例的一个变型，增加第三副LCD快门眼镜，其由游戏单元控制，为佩戴者提供视频游戏的观众模式，在该观众模式中游戏的两个场景都可以看到。例如，第三副LCD快门眼镜可以类似3D应用中所使用的方式为这副快门眼镜的一个镜片提供视频输入之一，并为该副快门眼镜的另一个镜片提供另一个视频输入，这样得到来自两个视频输入的图像的组合场景。

另一个例子在图12中示出，两个视频输入可以提供两个分别的视频游戏的图像。游戏单元控制监视器，以从两个视频游戏的每一个的视角交替提供图像，并同步两幅LCD快门眼镜，使得特定的一副LCD快门眼镜仅提供一个视频游戏的场景。利用该结构，不同玩家可用同一游戏单元和监视器同时玩两个视频游戏。

图3B和图13示出本发明另一个实施例，其中，机顶盒接收各个电视频道(例如分别播放Seinfeld、Jeopardy和Dragon的三个频道)和/或视频，并控制器监视器，以交替显示每个电视节目和/或视频的图像。机顶盒控制每个LCD快门眼镜，以使其佩戴者只看到一个节目和/或视频。包括耳机还使得每个观众可以只听到正在观看的节目或视频的音频部分。使用该结构，两个或多个个人可以在同一房间观看同一监视器时同时看和听不同的电视节目和/或视频。

本发明可和任何数量的视频输入结合使用。例如，图3B所示机顶盒可配置用于接收在监视器上循环显示的四个或更多个视频输入，每个视频输入和四副不同的LCD快门眼镜中的一个相关，该LCD快门眼镜由机顶盒控制器并和与之相关的视频输入的显示同步。

图3C和图14示出本发明的另一个实施例，其中，机顶盒接收多个电视频道和/或视频，并且还连接到游戏单元并从该游戏单元接收视频游戏输入。机顶盒控制监视器，以交替显示视频游戏的图像和电视节目或视频的图像。控制单元还同步其中一副LCD快门眼镜的开关，以允许其佩戴者观看电视节目或视频，还同步另一副LCD快门眼镜的开关，以允许其佩戴者同时玩视频游戏。利用该结构，一个人可以看并听电视节目或视频，同时，另一个人可以玩游戏，两个人观看同一监视器。

在一个替代结构中，如图15所示，图3C所示实施例可以包括第三副LCD快门眼镜，以允许两个人玩视频游戏，同时，第三个人在同一监视器上看电视节目或视频。视频游戏的两个玩家可以从同一视角观看视频游戏，这种情况下，机顶盒控制监视器，以交替显示视频游戏的图像和电视节目或视频的图像。机顶盒将视频游戏玩家所佩戴的两副LCD快门眼镜的开关动作和在期间显示该视频游戏的时间间隔同步，使得两个玩家只看视频游戏。

图16示出使用图3C所示实施例的另一个替代方式，两个视频游戏玩家中的每一个用监视器从和另一个玩家不同的视角看视频游戏，第三个人同时也用该监视器看和听电视节目或视频。机顶盒控制监视器，以循环显示比如第一视角的视频游戏图像、第二视角的视频游戏图像和电视节目或视频的图像。因而，机顶盒将多副LCD快门眼镜的开关和监视器上显示的图像同步，使得其中一副LCD快门眼镜的佩戴者玩从第一视角观看的视频游戏，另一副LCD快门眼镜的佩戴者玩从第二视角观看的视频游戏，第三幅LCD快门眼镜的佩戴者观看电视节目或视频。

如图11所示，本发明还可使一个或多个视频游戏玩家以三维场景玩游戏，而且/或者使一个或多个观众用3D模式观看电视节目和/或视频。如图17所示，除了从和其他玩家不同的视角观看游戏外，每个视频游戏玩家可以3D方式观看游戏。使用图3A所示结构，例如，游戏单元可以控制监视器，以循环显示例如第一视角的左侧图像帧、第一视角的右侧图像帧、第二视角的左侧图像帧以及第二视角的右侧图像帧。为了实现3D效果，每副LCD快门眼镜的左快门和右快门和所显示的不同图像同步。因而，一副LCD快门眼镜的左快门被同步成用于看第一视角的左侧图像，该副LCD快门眼镜的右快门被同步成用于看第一视角的右侧图像。类似的，另一副LCD快门眼镜的左快门被同步成用于看第二视角的左侧图像，该副LCD快门眼镜的右快门被同步成用于看第二视角的右侧图像。这样，视频游戏的每个玩家以3D模式观看游戏，并且从他或她自己的特定视角观看游戏。

另一个例子为，两个观众可以例如使用图3B所示结构在看同一监视器时同时以3D方式观看不同电视节目和/或视频，或者，一个可以3D方式看电视节目或视频，另一个用同一监视器以3D方式玩视频游戏，这比如可使用图3C所示结构。控制该监视器以循环显示例如电视节目或视频的左侧图像帧、电视节目或视频的右侧图像帧、另一个电视节目或视频或视频游戏输入的左侧图像帧以及另一个电视节目或视频或视频游戏输入的右侧图像帧。因而，每副LCD快门眼镜的左镜片和右镜片同步成使得每个佩戴者以3D方式观看他或她各自的电视节目、视频或视频游戏。图18示意性示出一个观众玩3D游戏，另一个观众在同一屏幕上看3D电影。

另一个例子中，一个或多个人可以玩3D视频游戏，另一个人可以在观看同一监视器时同时看电视节目和/或视频的二维(2D)图像，比如利用图3C所示结构。图19也示意性示出这种结构。控制该监视器以循环显示视频游戏输入的左侧图像帧、视频游戏输入的右侧图像帧以及电视节目或视频的帧。一副LCD快门眼镜的左镜片和视频游戏输入的左侧图像帧的时序同步，该副LCD快门眼镜的右镜片和视频游戏输入的右侧图像帧的时序同步，这样，佩戴者以3D方式观看视频游戏。另一副LCD快门眼镜的左镜片和右镜片都和电视节目或视频的帧的时序同步，因而允许佩戴者用玩视频游戏所用的同一监视器观看2D电视节目或视频。

图4示出三个人看三个不同的视频娱乐节目。本发明的一方面中，根据本发明，三个人451-453中的每个人都戴着眼镜和耳机并看同一电视410。电视410包括上述屏幕共享设备，接收三个不同视频输入，即，两个索尼游戏站的游戏控制台432、433和DVD播放器431。电视如所述地将三个不同音频/视频输入复用在一起，并将关于在任何给定时间正在播放哪个可视输入的信息无线传输给眼镜。对第一人(451)的眼镜进行开关操作以使得只有电视410的屏幕上播放终结者电影461(用DVD播放器431播放)时他才能通过眼镜看到。对第二人(452)的眼镜进行开关操作以使得只有同一电视410上播放MotorStorm游戏462(用游戏站的控制台432播放)时他才能通过眼镜看。对第三人(453)的眼镜进行开关控制以使得只有同一屏幕上播放PacMan游戏463(用游戏站的控制台432播放)时他才能通过眼镜看。对应于DVD播放器431和游戏控制台432、433的音频也分别无线传输到人451、452和453的眼镜。这样，每个人451-453可以使用一个电视听和看三个不同的视频/音频源。

除了上述例子外，本发明还支持使用共同的监视器提供视频游戏、电视节目和视频和其他2D或3D呈现和/或不同视角的不同组合。

II、跟踪、混合、调节(gearing)、视差优化

图20A到20C示出眼镜900和计算控制台950之间通信的例子。图20A中，计算机控制台950和眼镜900无线通信。眼镜900表示为包括框架，其具有集成在其中的各种灯902。灯902可以是红外(IR)的、发光二极管(LED)或者是可以从它们在眼镜900的框架上的位置产生照明的其他类型的灯。眼镜900的框架还包括可选的耳塞530和532。如上所述，眼镜900包括快门镜片901，其由眼镜上、计算控制台上的处理或者计算控制台950和眼镜900上的硬件/软件上共享的处理的组合控制。

在眼镜900上进行处理时，如电路910所示，眼镜900的框架上包括电路。电路910可以集成到眼镜900框架内的任一位置、附接到眼镜900的框架、集成或附接到快门镜片901。或者，电路910可以通过有线或无线链接耦合到眼镜900的框架。眼镜900还包括电源(例如电池)(未示出)，其为电路910、灯902、耳塞530、532及其他电路和/或开关电子电路供电。电路910可以用软件、固件或者软件和固件的组合驱动，并且可以在眼镜或者计算控制台950上执行。一个实施例中，处理较密集时，在计算控制台上执行较多处理，当在电路910(和/或眼镜900的其他电路)上执行处理更有效时，在电路910上执行处理。

图20B示出放置为和计算控制台950通信的眼镜900的另一个例子。本实施例中，眼镜900还包括集成在框架中的摄像头912。摄像头912显示为集成在眼镜900框架的中心位置，在快门镜片901之间。只要摄像头可以在用户佩戴眼镜900时从眼镜向前看，摄像头912也可以位于其他位置。

摄像头912用于向电路910提供其他信息，以处理用户在空间中相对于监视器、屏幕或显示器的位置。随着用户在显示器前面来回移动，摄像头912可以拍摄用户面前的环境和物体的图像，以确定用户相对于屏幕的具体位置。一个实施例中，摄像头可聚焦于如屏幕的特定物体，以在处理、和视频游戏交互、和视频呈现交互或者其他接口连接时确定用户的特定位置。

其他实施例中，摄像头912可以通过确定从视频屏幕(例如电视、计算机监视器、手持式显示器等)的轮廓发出的光的强度来确定视频屏幕的轮廓。通过确定视频屏幕的轮廓以及由电路910在眼镜上执行的处理和计算控制台950执行的处理，可以跟踪用户相对于屏幕的位置相互关系(例如用户的头和看的方向)。跟踪可以是动态的，这样，随着用户来回移动，可以调整屏幕上呈现的视频，以提供正确的视角。下面参考视差以及3D图像的正确观看，从偏移的人眼以及在眼睛和所看屏幕之间限定的自然视锥的角度对调整进行详细描述。

图20C示出另一个实施例，其中，眼镜900和计算控制台950接口。本实施例中，计算控制台950也包括摄像头952。摄像头952还可包括可选的过滤器951。在灯902是IR发射器的实施例中，可选的过滤器951可以用于滤除除了从灯902发出的IR光以外的所有光。其他实施例中，可选的过滤器951可用于眼镜900上有LED的实施例，过滤器设计成滤除环境光、光中的干扰、偏振光和/或除出可能会干扰精确检测灯902所处位置的其他异常。

例如，可选的过滤器951通过检测在黑色或半黑背景中的白色高斯特征，可在所捕获的视频帧中精确搜索并检测出这些灯。一个实施例中，捕获的视频帧可以包括多个未压缩或压缩的帧。可以使用许多压缩技术，包括利用I、P、B帧的MPEG压缩。如所知的，I帧是包括所有图像数据和相关像素数据的完整帧。P帧和B帧在数据不显著变化时借用前帧或者后帧的数据。这些不同实施例中，处理图像数据和相关的像素有助于标识灯902并跟踪眼镜900。另一个实施例中，可选的过滤器951不是作为摄像头952的一部分而包括的，摄像头952可以简单地检测从灯902发出的光以在使用时进行精确检测。

继续图20C的实施例，眼镜900具有由摄像头912所提供的自己的可视范围920。同样，摄像头952具有自己的可视范围，并且示出它用于检测灯902发出的光。因而，计算控制台950可以跟踪灯902。

在用户佩戴眼镜时，通过跟踪眼镜900的位置朝向，可以动态调整监视器/显示器(未示出)上显示的图像，以为通过眼镜900查看的图像提供更清楚的呈现。一个实施例中，屏幕上显示的视频是3D呈现。对于该实施例，每个镜片901交替关闭其快门(例如左/右)。在处理左右之间的交替时，还确定所跟踪的眼镜900的位置。如果用户在屏幕正前面，那么针对常态视差视觉(parallax vision)的图像数据就可以大致保持正常。然而，如果检测或跟踪到用户接近屏幕，例如，以某一偏斜角度接近屏幕或远离屏幕，就对视频流的呈现进行调整，以补偿该偏斜角。通过基于检测到的偏斜角调整视频流，可以向用户呈现正确的视差视野，这与用户位于屏幕的正前方方向时所预计的一样。通常，不调整呈现的图像，这是由于所有的优化都是针对中心位置用户而做的。然而，如果用户在屏幕前主动来回移动，或者用户并不坐在屏幕正前方时，就不是上述情况。例如，在大IMAX呈现中，用户可能坐在电影院的一侧、在下方或者太高。由于针对中心的最佳位置进行优化，所以坐在非最优座位的视野就无法实现最佳视野。

在较小家庭环境的情况下，一次涉及的用户较少，可以通过交替频率并针对每个用户划分总频率而单独调整每个用户的视野。例如，有两个用户，屏幕为120fps，两个用户得到交替的60fps，这样的刷新率相当好。另外，对于3D观众，用户的左眼/右眼以和眼镜900的快门速率同步的方式每隔一幅图像地共享视野。依然在这个例子中，如果用户1选择坐在左方靠前处，用户2选择坐在右方靠后处，则可以动态调整每个用户的视角锥，使得屏幕输出对于他们的位置优化的图像数据。然而，该优化是动态的，可随着用户在观看过程中来回的移动而改变。

因而，针对每个用户的屏幕输出的优化优化了用户期望的视差视觉。视差是沿两个不同视线看时物体朝向的明显位移或差别，由这两个视线之间倾斜的角度或半角(例如视锥)测量。该词来自希腊词(parallaxis)，意思是改变。从不同位置看时，近处的物体的视差比远处物体的视差大，因而，视差可用于确定距离。

通过响应于用户位置的移动调整显示的图像，可以保持最优视差，最优视差通常只可能在屋子中央得到。在用户来回移动的交互游戏中，会引起扭曲。因而，基于检测到的用户位置对显示屏幕进行的动态自动调整提供了当前的3D观看系统不可能具备的运动自由。

给定了跟踪的眼镜900位置，系统952或电路910(或其组合)可以频繁检查3D立体效果，并在3D内容进展过程中进行视差误差校正。

图20D示出根据本发明一个实施例的眼镜900的框图。所示意的眼镜900具有框架909，其具有集成的硬件和软件，用于根据本发明的一个实施例处理用户跟踪。如所示，眼镜900的框架909包括灯902，其置于眼镜900的相对端。优选地，灯902间隔开的距离可由计算控制台950的摄像头952监控到，以确定眼镜900的朝向以及用户相对于摄像头952的位置。本例中，多个模块集成在框架909中，构成参考图20B所述的电路910，下文参考图20E对此进行描述。

电路910广义上称为电路，但是该电路可以包括软件、电源和通信逻辑。图20D的例子中，电路910包括数字信号处理器(DSP)920、电源模块921、惯性传感器923和无线收发机976。提供惯性传感器923用于检测用户在佩戴眼镜900时的运动，用户头部/身体的这种运动将提供可由数字信号处理器920处理的惯性反馈，其可通过无线模块976传回给计算控制台952。摄像头912也作为一部分集成在图20D的眼镜900中，摄像头912配置用于提供另外的数据返回给数字信号处理器920，用于在3D操作过程中进行处理并控制快门的开关操作(例如开、关镜片901R和镜片901L)。如上所述，快门的开关控制(shuttering control)还限定了有可能共享同一屏幕，以使得不同用户可同时观看。不同用户同时观看时，用户可以观看同样的内容，然而，快门的开关使得使得屏幕得以共享，以提供不同的调整偏移控制，从而获得准确的视差视觉。

图20E示出电路910的示例模块或图示的详细示例图示。当然，电路910可包括更多或更少的模块，这取决于优化。电路910可包括数字信号处理器920。数字信号处理器920可包括处理器931，用于执行程序指令并和各个模块的接口，以控制快门的开关操作(3D和视差校正)之间的交互，并通过无线模块976向计算控制台950提供反馈。DSP 920还包括数据932。数据932可存储在存储器芯片中，如闪速存储器，或者存储程序指令、操作指令、操作系统核心指令、启动初始化和更新的存储内存中。数据还可保存用于执行输入/输出事务的信息，并且高速缓存和处理器931接口连接。

DSP 920还可包括程序933。程序933可基于对程序的修改、对程序的改进和对程序的改变而更新。一个实施例中，该程序控制处理器931的处理，还可控制、引导或触发右快门镜片901R和左快门镜片901L的操作。一个实施例中，该快门和视差调整可基于跟踪模块935获得的位置数据。还包括作为DSP一部分的调节(gearing)模块934，其也可集成到程序933中，或存储作为数据932的一部分。提供调节信息以动态改变程序933的处理，或者基于用户和具体程序的交互作用以动态和变化的方式改变处理器的执行。调节也可以集成在程序933中，以在操作中提供模式改变，使得调节基于交互动作或用户反馈动态改变。

如上所述，基于检测到的灯位置控制924、惯性传感器923、用灯902对眼镜900进行的位置跟踪或者由使用摄像头912的环境中的眼镜900获得的跟踪信息，跟踪模块935处理和从计算控制台950获得的数据相关的信息。该信息动态提供给跟踪模块，以将信息传输给DSP 920。然后，DSP920和快门过滤器控制975通信，以基于环境、控制参数、调节效果和其他程序参数控制眼镜的快门开关操作。灯控制924可包括设计用于控制眼镜的灯902的硬件或软件。灯位置控制924可用于选通这些灯902、调制灯902、将灯开或关一段时间，或者对于非跟踪交互关闭灯902。如上所述，同步模块972设计用于同步右和左快门镜片901的快门开关速率，以和显示速率和屏幕上提供的显示信息同步，以同步观看不同频道的多个用户，或将观看同一频道的多个用户和视差调整同步。

如此处所用的，在和计算机程序交互时，调节(gearing)提供输入、改变输入或者影响输入。在最普遍和宽泛的意义上来讲，调节可以定义成大小和/或时间上变化程度不同的输入。然后，可以把调节程度传输给计算系统。可以将调节程度应用在计算系统执行的进程上。打比方来说，可把进程想象成具有输入和输出的一桶液体。这桶液体是系统上执行的进程，因而，调节可控制计算系统执行的处理的一个方面。一个例子中，调节可以控制相对于输入量从液体桶排出液体的速率，该输入量可以视为进入桶中的液滴。因而，填充速率是动态的，排出速率是动态的，而且排出速率受到调节的影响。因而，可以对该调节进行调整或定时，以调控可流送到程序(比如游戏程序)的改变值。调节还可影响计数器，例如用于随后控制处理器动作或最终控制游戏部件、对象、玩家和角色等的动作的移动数据计数器。

把这个类比变成更切实的计算示例，排出液体的速率可以是响应于一些输入加上调节将控制传送给计算机程序的特征或者由计算机程序的特征执行控制的速率。计算机程序的特征可以是对象、进程、变量、快门定时或预定/自定义算法、角色、游戏玩家、鼠标(2D或3D)等。处理结果(可能已经由该调节所改变)可传送到观看者，或者影响基于具体用户的位置和任何跟踪到的运动向该具体用户传送正确视差校正的显示调整。

可以通过如下执行的跟踪获得输入：(1)图像分析；(2)惯性分析；(3)声学分析，或者(1)、(2)或(3)的混合分析。提供了有关图像分析和所应用的调节的许多例子，但是，应该理解，跟踪不限于视频，而是可以通过许多方式实现，具体而言，可通过惯性分析、声学分析、这些和其他适当分析方式的混合。

各个实施例中，具有视频摄像头952/912(例如图像分析)的计算机或游戏系统可以处理图像数据，并识别可能在位于视频摄像头前面的焦区或给定体积中发生的各种动作。这些动作通常包括物体在三维空间中的运动或旋转，或启动多个控制中的任一个，例如佩戴眼镜901、摁按钮、拨号、游戏杆等。除了这些技巧外，本技术还提供这里称为调节的用于调整比例因数的其他功能性，以调整与显示屏幕上的一个或多个相应动作或程序的一个特征相关的输入的敏感度。例如，显示屏幕上的动作可以是视频游戏焦点的对象。对象可以是程序的特征，例如变量、乘法器，或者是随后呈现成声音、震动、显示屏幕上的图像的计算，或者这些或调节的输出其他代表的组合。

另一个实施例中，可将调节应用到计算机程序的特征，输入装置的检测可基于惯性分析器的处理。惯性分析器跟踪输入装置的惯性运动，然后，惯性分析器将信息传送给眼镜900、计算控制台950或者因特网上的云计算上的程序。然后，该程序接收惯性分析器的输出，这样，可将调节量应用于快门镜片901L/901R的输出或动作。然后，调节量指定程序用来计算操作的程度或比率。操作可以是任何一种形式，操作的一个例子可以是产生噪音、可变气味、震动、物体运动或者随后输出可见和/或可听的结果的程序计算。如果该输出是变量，变量可用于完成进程执行，这样，进程会考虑调节量。调节量可以预先设定、由用户动态设定或者根据需要调整。

可用各种类型的惯性传感器装置来提供六自由度的信息(例如，X、Y和Z平移(例如加速)和绕X、Y和Z轴的旋转)。用于提供有关六自由度的信息的适当惯性传感器的例子包括加速计、一个或多个单轴加速计、机械陀螺仪、环形激光陀螺仪或者两个或多个这些装置的组合。

可以分析来自传感器的信号，以确定在玩视频游戏或者看屏幕(任何内容的电影、片段、游戏、PDA、电话、计算机屏幕)的过程中眼镜900的运动和/或朝向。这种方法可以实现成存储在处理器可读介质并在数字处理器上执行的一系列处理器可执行的程序代码指令。例如，视频游戏系统可包括一个或多个处理器。每个处理器可以是任何适当的数字处理器单元，例如，视频游戏控制台中普通使用的微处理器类型，或者自定义设计的多处理器内核。一个实施例中，处理器可以通过执行处理器可读指令实现惯性分析器。一部分指令可存储在存储器中。或者，可用硬件实现惯性分析器，例如，实现成专用集成电路(ASIC)或者数字信号处理器(DSP)。这种分析器硬件可位于眼镜900、控制台950上，或者在云计算中位于服务器上。在硬件实现中，分析器可以响应于例如来自处理器或者一些其他远程位置处的源的外部信号而编程，远程位置处的源例如通过USB线缆、通过以太网、网络、因特网、短程无线连接、宽带无线网、蓝牙或局域网连接。

惯性分析器可以包括或实现对由惯性传感器产生的信号进行分析的指令，并使用有关眼镜900的位置和/或朝向的信息。可以分析惯性传感器信号以确定有关眼镜900的位置和/或朝向的信息。可以在和系统玩视频游戏时使用该位置和/或朝向信息。

一个实施例中，眼镜900可包括一个或多个惯性传感器，其可通过惯性信号向处理器提供位置和/或朝向信息。朝向信息可以包括角度信息，例如控制器的倾斜、翻滚和偏航。如上所述，例如，惯性传感器可以包括任何数量的加速计、陀螺仪或者倾斜传感器，和/或它们的组合。一个实施例中，惯性传感器包括：倾斜传感器，用于感测眼镜900相对于倾斜和翻滚轴的朝向；第一加速计，用于感测沿偏航轴的加速度；以及第二加速计，用于感测相对于偏航轴的角加速度。加速计可以实现成例如，包括用一个或多个弹簧安装的块(mass)和用于感测该块相对于一个或多个方向的位移传感器的MEMS装置。取决于该块的位移的传感器信号可用于确定游戏杆控制器的加速度。这些技术可用游戏程序或普通程序的指令实现，程序可存储在存储器上并由处理器执行。

例如，适用作惯性传感器的加速计可以是在三个或四个点上例如用弹簧以弹性方式耦合到框架上的一个简单的块。俯仰和翻滚轴位于和框架交叉的平面上，框架安装在眼镜900上。随着框架绕俯仰和翻滚轴旋转，该块会在重力作用下位移，弹簧会以取决于俯仰和/或翻滚角的方式拉伸或压缩。可以感测到这个块的位移，并将其转换成取决于俯仰和/或翻滚量的信号。绕偏航轴的角加速度或者沿偏航轴的线加速度也导致弹簧压缩和/或拉伸的特征模式，或者导致该块运动，该块的运动可以被感测并转换成取决于角加速度或线加速度量的信号。这种加速计装置可以通过跟踪块的运动或者弹簧的压缩或拉伸力来测量绕偏航轴的倾斜、翻滚角加速度以及沿偏航轴的线加速度。有许多不同的方法可以跟踪该块的位置和/或施加于其上的力，包括，电阻应变材料、光传感器、磁传感器、霍尔效应器件、压电器件、容性传感器等等。

此外，光源可以例如以脉冲编码、调幅或者调频模式向处理器提供遥测信号。这些遥测信号可指示眼镜900的定位位置。遥测信号例如可通过脉冲编码、脉宽调制、频率调制或者光强(幅度)调制编码成光信号。处理器可从光信号中解码出该遥测信号，并响应于经解码的遥测信号执行命令。

处理器可以把来自惯性传感器的惯性信号和光信号以及/或者声源位置和特征信息结合使用来推导出有关眼镜900和/或其用户的位置和/或朝向的信息，其中，光信号来自由图像捕获单元检测到的光源；声源位置和特征信息来自由麦克风阵列检测到的声信号。

图20F示出将针对不同的感测机制的输入信息提供给混合器937的实施例。混合器937可以在软件或硬件上执行，或者由DSP 920处理。一个实施例中，混合器937是接收输入并构造选择性输入以产生输出的逻辑。基于当前的处理可以对输入进行加权。给每个输入的选择和重要性取决于交互应用过程中的处理。例如，如果用户正观看亚利桑那大峡谷的景色，混合器可以加大跟踪输入而不是惯性感测的权重。在加大跟踪的重要性时，用户通过眼镜900的视角图享有优先权，以使用户能够看到沿峡谷的3D深度方面，就像用户正在飞过大峡谷一样。另一个实施例中，混合器937依然混合输入，以产生针对用眼镜900观看的显示内容优化后的混合的结果，以及用于正确视差补偿的所得的显示调整。

一个实施例中，混合器937可以部分在计算控制台950上处理，将数据传送回眼镜900，以控制视差优化器977。视差优化器通过搞针对用户位置调整显示器(例如960)上的内容执行对视角的优化。因而，视差优化器977将数据传送给显示器的硬件和/或软件，以基于专属于用户的快门频道修改呈现给用户的内容。其他实施例中，计算控制台优化显示数据，屏幕960简单地呈现输出。

混合器937显示为从调节模块934、跟踪模块935、惯性传感器925和程序反馈936获得输入。程序反馈可以包括有关交互过程中程序的当前状态的数据。例如，如果用户和程序交互，获得了视频游戏特定级别的成功，程序反馈可以指示技能等级有所增加，进而视频游戏的复杂度也增加。因而，程序反馈向混合器937提供信息化，这也带有有关交互动作中以及跟踪和调节过程中用于用户头部运动的惯性传感器的信息。

跟踪通过通知混合器937用户相对于屏幕在何处、其定位位置、其到屏幕的视角来控制到混合器的输入。因而，来自跟踪模块935的跟踪信息允许混合器937基于和视频游戏交互动作过程中或者观看具体视频呈现时相对于屏幕的当前位置正确地将数据馈送到视差优化器，这样，用户的视野最优。

可通过游戏控制台、因特网连接、数字视频盒、播放器、广播电视连接或者显示器屏幕上的任何其他视频片段或者电影呈现(包括压缩或未压缩的静态图像)提供视频呈现。虽然混合器937显示成接收多个输入，一些实现一次仅接收来自一个模块的输入。例如，混合器937在特定时间段、状态、阶段可以仅接收来自调节的输入，或者在特定时间段仅接收来自跟踪的输入，或者在特定时间段仅接收来自惯性传感器的输入，或者在特定时间段或事件时仅接收来自程序反馈的输入。其他实施例中，可以基于环境和用户期望的或者程序预先设定的交互组合/混合选择性的输入，或者可以完全消除(或增加)来自模块的输入。

图21A到21C示出根据本发明的一个实施例的用户903a使用眼镜900自由移动的例子。图21A中，显示出佩戴眼镜900的用户903a自由移动，并转向940A，如图21B所示。图21C中，用户弯腰，靠近940B屏幕(未示出)。本实施例中，用户903a使用包括灯902以及摄像头912的眼镜900。一个实施例中，摄像头912是可选的。本例中，灯902(可以是LED、IR或者其他灯源(彩色或无色))集成或耦合到眼镜900的框架中，因而，眼镜900的侧视图还显示灯902。一个实施例中，灯902是鱼眼的形式，这使得用户直接面向屏幕或者用户转身只显示一个灯902时(如图21B所示)，摄像头还能看到灯902。

图22A和22B示出用户903a佩戴眼镜900观看屏幕960的例子。本实施例中，屏幕960耦合到计算控制台950。计算控制台950还连接到摄像头952，其放置在屏幕960上。摄像头952可以放在屏幕上的任何位置或者集成到屏幕中。本质上，摄像头952优选地设计成观看屏幕960前方的区域，这包括用户，如用户903a。本例中，眼镜900还包括摄像头912。摄像头912显示成捕获包括屏幕960和摄像头952的场景。可将摄像头912捕获的信息传送回计算控制台950，这使得计算控制台950上运行的程序执行变化，并响应来自用户的输入。用户的输入可以简单地为用户位置改变。

计算控制台950还可以控制屏幕960上提供的视频呈现。因而，屏幕960可以显示可以和眼镜900的快门的开关同步的信息(像素数据-视频或静态图像)。如上所述，用户903a可以是为其提供屏幕960的特定场景的单个用户，(本图中未示出的)其他用户在看同一相同屏幕960时可以为其提供不同的视频流。因而，眼镜900的快门开关允许屏幕960呈现要显示给用户903a的数据。如上所述，摄像头912获得的信息允许眼镜900的电路910处理有关用户相对于屏幕960的位置的信息。

本例中，显示用户903a和屏幕960距离为z。因而，随着用户观看屏幕960上呈现的内容，距离z动态改变。观看内容可以包括被动观看，例如看视频，或者和交互程序交互时主动参与。交互程序可以是视频游戏、因特网、技术程序、计算机辅助设计程序、艺术表演程序、建筑建模程序和其他类型的交互程序接口。

还显示眼镜900通过无线连接和计算控制台950接口。如上所述，无线连接可以是Wi-Fi连接、蓝牙连接、射频连接等。或者，眼镜可以通过线连接到计算控制台950。另一个实施例中，可以省去计算控制台950，屏幕960可连接到因特网。屏幕960可包括网络接口模块，其允许接口到因特网，以允许执行用于在屏幕960上呈现图像的大量复杂(plowed)计算，以及和传送给眼镜900和从眼镜传送出的数据的接口。

图22B示出运动940B后，用户903a处于弯腰状态。运动940B之后，从运动产生的有关惯性数据的信息可由集成在眼镜900内的惯性传感器捕获。此外，摄像头952可跟踪灯902，以确定用户相对于屏幕960的深度和位置。本例中，用户现在的深度距离是z-Δz。除了监控深度外，灯902还可监控有关在图22B所示的x、y和z坐标系中的俯仰、偏航和翻滚的信息。通过监控深度以及俯仰、偏航和翻滚，可将信息传送给眼镜900中的处理，以修改并优化在通过眼镜900观看时屏幕960上的显示，因而提供屏幕960的优化视差视野。同样，一个实施例中，视差优化是基于用户位置对屏幕960上呈现的图像进行的。图24和25示出用户在屏幕(小的或大的)前来回移动的例子，所检测到的位置被反馈提供给系统，该系统控制屏幕，以优化显示角度，这样，无论有没有来回移动，都将最佳视差呈现给用户。图24中，向观看过程中常见的那样，用户903a从位置A移动到位置B。图25中，三个用户看到大屏幕的不同视野A、B和C、虽然屏幕很大，视角还会影响视差。然而，通过使用跟踪眼镜以及每个用户的选择性地进行快门开关控制，为每个用户提供优化后的屏幕视角。图25的例子中，帧速率要除以三，以为每个用户相对于他们的视角提供各自的调整后的视野。

图23A显示用户903b佩戴眼镜900A的例子。本例中，眼镜900A包括放置在镜片901之间的时髦位置处的一个灯902。因而，电路910可用灯902工作，以提供适当的打开/关闭序列、模式和选通，以允许在用户和显示在屏幕上的交互程序或者被动程序接口时，对用户进行精确跟踪。

图23B示出用户903b佩戴替代的一副眼镜900B。眼镜900B包括位于眼镜900B的每一侧的灯902，以提供用于由计算控制台950的摄像头952跟踪的两点。电路910也集成在眼镜900B中。通过提供两个灯902，在摄像头952检测到灯902时，可以检测到倾斜、翻滚、偏航以及深度。用户靠近接近摄像头952的屏幕时，灯902显得分得较开，用户903b远离屏幕和摄像头952时，灯902在捕获的像素图像上看起来靠得彼此更近。因而，使用以最小间隔集成在眼镜900上的某些位置处的至少两个灯902，可以更精确地检测深度(即，眼镜相对于屏幕的位置)数据。图23C示出三个灯902的例子。图23D示出集成到眼镜框架901中的各种模块的例子。图23E示出连接到眼镜的麦克风和耳塞的例子。

再参看图25，本例示出具有视野A、B和C的三个用户。如所述，随着更多用户加入，基于用户数进一步划分频率。图25中，三个用户都看屏幕时，每秒显示给特定用户的帧数下降。例如，速率是120fps，三个用户使得速率下降到每个用户40fps。替代实施例中，某些用户可以具有高的优先权，可以给这些用户更高帧速率。然而，在平均共享模式，三个用户中的每个得到40fps。fps下降时，亮度可能会降低。为了解决该问题，一个实施例提供了增强亮度。

可进行增亮，以模拟保持在120fps的高帧速率的屏幕，即好像只有一个用户在观看一样。另一个实施例中，可以动态地进行帧速率增加，这样，用户可以进入或离开场景，通过检测用户是否在观/看屏幕，可以动态调整帧速率。例如，如果具有视野C的用户开始看其他地方，就将视野A和B的fps从40fps增加到60fps。此外，将增亮调低，这是由于60fps的较高帧速率会提供更高亮度。因而，通过跟踪用户并实施确定用户是否正在看屏幕，屏幕可以自动调高或调低专用于每个用户的帧速率，同时调整模式改变过程中的增亮。一个实施例中，通过在那些由动态跟踪所检测到的加入或离开特定会话或视野区域的用户之间进行视野复用来触发模式转变。也可基于专用的调节来调整增强，这样，为具有特定特权的用户提供更高的帧速率，或者更高亮度。因而可以基于预定规则、速率、可用性或者级别进行调整。

基于以上内容，具有跟踪和反馈数据的眼镜900可以有助于提供2D或3D视频呈现的更加动态的显示以及与它们的交互。

III、硬件以及软件配置

图26示意性示出索尼

游戏站3代

娱乐装置的整体系统架构，这是根据本发明一个实施例的可与实现三维控制器兼容的游戏控制台。提供了系统单元1000以及可连接到系统单元1000的各种外围设备。系统单元1000包括：单元处理器(Cell processor)1028；

动态随机存取存储器(XDRAM)单元1026；具有专用的视频随机存取存储器(VRAM)单元1032的真实性合成器图形单元1030和I/O桥1034。系统单元1000还包括可通过I/O桥1034访问的蓝光

光盘BD-

光盘读装置1040，用于读光盘1040a，以及可拆卸插槽式硬盘驱动器(HDD)1036。可选地，系统单元1000还包括存储器读卡器1038，用于读小型闪速存储器卡、存储棒

存储卡等，类似地，这些设备也可通过I/O桥1034访问。

I/O桥1034还连接六个通用串行总线(USB)2.0端口1024、千兆以太网端口1022、IEEE 802.11b/g无线网络(Wi-Fi)端口1020和最多可以支持七个蓝牙连接的蓝牙

无线链接端口1018。

操作时，I/O桥1034处理所有无线、USB和以太网数据，这包括来自一个或多个游戏控制器1002和1003的数据。例如，用户玩游戏时，I/O桥1034通过蓝牙链接从游戏控制器1002或1003接收数据，并将数据发送到单元处理器1028，单元处理器1028相应地更新游戏的当前状态。

无线、USB和以太网端口还提供到除了游戏控制器1002和1003以外的其他外围设备的连接，例如，遥控器1004、键盘1006、鼠标1008、便携式娱乐设备1010(如索尼游戏站便携式

娱乐设备)、视频摄像头1012(如

视频摄像头)以及头戴式耳麦1014。因而，原则上这些外围设备可以无线连接到系统单元1000，例如，便携式娱乐设备1010可以通过Wi-Fi自组连接通信，同时，头戴式耳麦1014可以通过蓝牙链接通信。

提供这些接口意味着游戏站3代装置还可以和其他外围设备兼容，如数字视频刻录器(DVR)、机顶盒、数码相机、便携式媒体播放器、语音IP电话、移动电话、打印机和扫描仪。

此外，现有的存储器读卡器1016可以通过USB端口1024连接到系统单元，使得可读取游戏站

或游戏站2代

设备所使用的那类存储卡。

本实施例中，游戏控制器1002和1003用于通过蓝牙链接和系统单元1000进行无线通信。然而，游戏控制器1002和1003可以连接到USB端口，USB端口也为游戏控制器1002和1003供电，由此为游戏控制器1002和1003的电池充电。游戏控制器1002和1003还可包括存储器、处理器、存储器读卡器、如闪速存储器的永久存储器、如LED或红外灯的发光器、用于超声通信的麦克风和扬声器、声学腔、数码相机、内部时钟、朝向游戏控制台的可识别形状，如球形部分，以及使用如蓝牙WiFi^TM等协议的无线通信。

游戏控制器1002是设计成用两手使用的控制器，游戏控制器1003是如上所述的多位置控制器。除了一个或多个模拟游戏杆和传统控制按钮外，游戏控制器可进行三维位置确定。因而，除了传统按钮和游戏杆命令之外或者替代传统按钮和游戏杆命令，游戏控制器用户的动作和运动也可以转换成游戏的输入。可选地，其他支持无线模式的外围设备，例如游戏站^TM便携式设备，可用作控制器。在游戏站^TM便携式设备的情况下，可以在装置的屏幕上提供额外的游戏和控制信息(例如，控制指令或命数)。也可以使用其他替代或补充控制设备，例如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或者定制控制器，例如快速反应答问游戏的一个或多个大按钮(未示出)。

遥控器1004还用于通过蓝牙链接和系统单元1000进行无线通信。遥控器1004包括适用于蓝光^TM光盘BD-ROM读装置1040的操作和用于导航光盘内容的控制。

除了传统的预先刻录的以及可刻录的CD以及所谓的超级音频CD以外，蓝光^TM光盘BD-ROM读装置1040还用于读和游戏站以及游戏站2代装置兼容的CD-ROM。除了传统的预先刻录的以及可刻录的DVD外，读装置1040还用于读和游戏站2代和游戏站3代装置兼容的DVD-ROM。读装置1040还用于读和游戏站3代兼容的BD-ROM以及传统的预先刻录的以及可刻录蓝光光盘。

系统单元1000用于通过音频和视频连接器将视频和音频提供给显示和声音输出装置1042，其中音频和视频是游戏站3代设备通过真实性合成器图形单元1030产生或解码出的，显示和声音输出装置1042如监视器或者是具有显示器1044以及一个或多个扬声器1046的电视机。音频连接器可以包括传统模拟和数字输出，视频连接器可以包括不同的分量视频、S-视频、合成视频和一个或多个高清多媒体接口(HDMI)输出或DisplayPort输出。因而，视频输出的格式可以如PAL或NTSC、或者为720p、1080i或1080p的高清晰度。

单元处理器1028执行音频处理(产生、解码等)。游戏站3代装置的操作系统支持

5.1环绕声音、

影院环绕立体声(DTS)以及来自蓝光光盘的7.1环绕声音解码。

本实施例中，视频摄像头1012包括一个电荷耦合装置(CCD)、LED指示器、基于硬件的实时数据压缩和编码装置，这样，可以适当的格式发送压缩的视频数据，例如用基于帧内图像的MPEG(运动图像专家组)标准，以由系统单元1000进行解码。摄像头LED指示器设置为响应于来自系统单元1000的适当控制数据而点亮，例如，以指示不利的照明条件。视频摄像头1012的不同实施例可以通过USB、蓝牙或者WiFi通信端口连接到系统单元1000。视频摄像头的实施例可包括一个或多个相关麦克风，还可发送音频数据。视频摄像头的实施例中，CCD可具有适用于高清视频捕获的分辨率。使用时，例如，由视频摄像头捕获的图像可以包括在游戏内，或者解释成游戏控制输入。其他实施例中，摄像头是适用于检测红外光的红外摄像头。

总体而言，为了通过系统单元1000的一个通信端口和如视频摄像头或者遥控器的外围设备进行成功的数据通信，应该提供适当的软件，如设备驱动。设备驱动技术是公知的，在此不做详细描述，期望本领域技术人员明白所描述的本实施例可能需要设备驱动或类似的软件接口。

图27示出根据本发明一个实施例可用于处理指令的其他硬件。单元处理器1028具有包括四个基本部件的架构：外部输入和输出结构，包括存储器控制器1160和双总线接口控制器1170A、B；称为主处理部件的主处理器1150；称为协处理部件(SPE)的八个协处理器1110A-H；以及连接上述部件的环形数据总线1180，其也成称为部件互联总线。和游戏站2代装置的Emotion Engine的6.2GFLOP相比，单元处理器的总体浮点性能是218GFLOPS。

主处理部件(PPE)1150包括以3.2GHz的内部时钟运行的双向同时多线程Power 1470，其依从PowerPC内核(PPU)1155。其包括512kB二级(L2)高速缓存和32kB一级(L1)高速缓存。PPE 1150每个时钟周期可进行八次单次位置操作，在3.2GHz变成25.6GFLOP。PPE 1150的主要作用是作为协处理部件1110A-H的控制器，协处理部件处理大部分运算负荷。工作时，PPE 1150维护工作队列，调度协处理部件1110A-H的工作，并监控它们的进度。因而，每个协处理部件1110A-H运行一个内核，其作用是获得工作、执行该工作并和PPE 1150同步。

每个协处理部件(SPE)1110A-H包括相应的协处理单元(SPU)1120A-H，和相应的存储器流控制器(MFC)1140A-H，其进而包括相应的动态存储器存取控制器(DMAC)1142A-H，相应的存储器管理单元(MMU)1144A-H和总线接口(未示出)。每个SPU 1120A-H是RISC处理器，时钟为3.2GHz，包括256kB本地RAM 1150A-H，原则上可扩展到4GB。每个SPE提供理论上25.6GFLOPS的单精度性能。SPU在一个时钟周期内可对四个单精度浮点元、四个32位数、八个16位整数或者十六个8位整数进行运算。同一时钟周期内，其还可以执行存储器运算。SPU1120A-H不直接访问系统存储器XDRAM 1126，将SPU 1120A-H形成的64位地址传递给MFC 1140A-H，MFC 1140A-H指示其DMA控制器1142A-H通过部件互联总线1180和存储器控制器1160访问存储器。

部件互联总线(EIB)1180是单元处理器1028内部的逻辑环形通信总线，其连接上述处理器部件，即PPE 1150、存储器控制器1160、双总线接口1170A、B和八个SPE 1110A-H，一个12个成员。成员可以每时钟周期八字节的速率同时向总线读写。如前所述，每个SPE 1110A-H包括用于调度较长读或写序列的DMAC 1142A-H。EIB包括四个通道，时钟方向和逆时钟方向各两个。因而，对于十二个成员，任意两个成员之间的最长逐步数据流在适当的方向是六步。因而，通过成员之间的仲裁完全使用的情况下，12个槽的理论瞬时峰值EIB带宽是96B每时钟。对于3.2GHz的时钟速率，这等于307.2GB/s(千兆字节每秒)的理论峰值带宽。

存储器控制器1160包括由Rambus Incorporated开发的XDRAM接口1162。存储器控制器与25.6GB/s的理论峰值带宽和Rambus XDRAM 1126相接口。

双总线接口1170A、B包括Rambus

系统接口1172A、B。该接口组织成12个通道，每个八位宽，具有五个输入路径和七个输出路径。这通过存储器控制器1170A和控制器1170B提供单元处理器和I/O桥以及真实模拟图形单元1030之间62.4GB/s(36.4GB/s输出，26GB/s输入)的理论峰值带宽。

单元处理器1028向真实模拟图形单元1030发送的数据通常包括显示列表，这是一系列绘制定点、向多边形应用纹理、指定照明条件等的命令序列。此外，本发明的实施例为用户提供实时交互游戏体验。例如，用户可以实施地和各种计算机产生的对象交互。此外，可以实施改变视频场景，以增强用户游戏体验。

IV、分布式处理-云计算

图28是根据本发明的一个实施例与通过因特网连接到服务器处理的游戏客户机1102交互的用户A到用户E的场景A到E的示例图示。如上所述，游戏客户机是允许用户通过因特网连接到服务器应用和处理的装置。游戏客户机使得用户可访问并播放在线娱乐内容，其包括但不限于游戏、电影、音乐和照片。此外，游戏客户机可提供对在线通信应用的访问，如VOIP、文本聊天协议和电子邮件。

用户通过控制器和游戏客户机交互。一些实施例中，控制器是游戏客户机专用的控制器，其他实施例中，控制器可以是键盘和鼠标的组合。一个实施例中，游戏客户机是可以输出音频和视频信号以通过监视器/电视和相关音频设备形成多媒体环境的独立装置。例如，游戏客户机可以是但不限于，瘦客户机、内部PCI快速卡、外部PCI快速设备、ExpressCard设备、内部、外部或无线USB设备，或者Firewire设备等。其他实施例中，游戏客户机集成到电视机或其他多媒体设备中，如DVR、蓝光播放器、DVD播放器或者多频道接收器。

图28的场景A中，用户A使用和游戏客户机1102A配对的控制器100和监视器106上显示的客户机应用交互。类似地，场景B中，用户B使用和游戏客户机1102B配对的控制器100和监视器106上显示的另一个客户机应用交互。场景C示出用户C看着显示来自游戏客户机1102C的游戏和好友列表的监视器时，从用户C背后看的场景。图11示出一个服务器处理模块，一个实施例中，全世界由多个服务器处理器模块。每个服务器处理模块包括子模块，用于用户会话控制、共享/通信逻辑、用户地理位置和负载平衡处理服务。此外，服务器处理模块包括网络处理和分布式存储。

游戏客户机1102连接到服务器处理模块时，用户会话控制可用于鉴权用户。经鉴权的用户可具有相关的可视化分布式存储和可视化网络处理。可作为用户的可视化分布式存储的一部分存储的示例项目包括，购买的媒体，例如但不限于游戏、视频和音乐等。此外，分布式存储可用于保存多个游戏的游戏状态、单个游戏的自定义设置以及游戏客户机的总体设置。一个实施例中，服务器处理的用户地理位置模块用户确定用户的地理位置以及他们的相应游戏客户机。用户的地理位置可由共享/通信逻辑和负载平衡处理服务用来基于地理位置和多个服务器处理模块的处理要求优化性能。对网络处理和网络存储中的一个或两者进行虚拟化允许游戏客户机的处理任务动态地转移到未充分使用的服务器处理模块。因而，负载平衡可用于使得和从存储进行的调用相关的延迟以及和服务器处理模块与游戏客户机之间的数据传输相关的延迟都最小。

如图28所示，服务器处理模块具有服务器应用A和服务器应用B的实例。服务器处理模块可以支持如用服务器应用X₁和服务器应用X₂所指示的多个服务器应用。一个实施例中，服务器处理基于集群计算架构，其允许一个集群内的多个处理器处理服务器应用。其他实施例中，用不同类型的多计算机处理方案来处理服务器应用。这允许服务器处理可按比例缩放，以适应执行多个客户机应用的大量的游戏客户机以及相应的服务器应用。或者，服务器处理可按比例缩放为适应增加的计算需求或应用复杂度，增加的计算需求是更苛刻的图形处理或游戏、视频压缩所需要的。一个实施例中，服务器处理模块通过服务器应用执行大部分处理。这允许相对较贵的部件，比如图形处理器、RAM和通用处理器位于中央位置，并降低游戏客户机的成本。通过因特网把处理过的服务器应用数据发送回相应的游戏客户机，以显示在监视器上。

场景C示出游戏客户机和服务器处理模块可执行的示例应用。例如，一个实施例中，游戏客户机1102C允许用户C创建并查看好友列表1120，其包括用户A、用户B、用户D和用户E。如所示，场景C中，用户C可以在监视器106C上看到各个用户的实时图形或者化身。服务器处理执行游戏客户机1102C以及用户A、用户B、用户D和用户E的各个游戏客户机1102的各个应用。由于服务器处理知道游戏客户机B执行的应用，用户A的好友列表可指示用户B在玩哪个游戏。此外，一个实施例中，用户A可以直接观看用户B的游戏视频中的实际情况。这只需要把经处理的用户B的服务器应用发送给游戏客户机B外还发送给游戏客户机A就可实现。

除了可以观看好友的视频外，通信应用允许好友之间进行实时通信。如前述例子，这允许用户A在观看用户B的实时视频时提供鼓励或暗示。一个实施例中，通过客户机/服务器应用建立双向实时语音通信。另一个实施例中，客户机/服务器应用支持文本聊天。另一个实施例中，客户机/服务器应用将语音转成文本，以显示在好友屏幕上。

场景D和场景E分别示出各个用户D和用户E和游戏控制台1110D和1110E交互。每个游戏控制台1110D和1110E连接到服务器处理模块，并示出网络，在该网络中，服务器处理模块协调游戏控制台和游戏客户机的游戏。

基于上述实施例，应该理解，本发明可采用包括存储在计算机系统中的数据的各种计算机实现的操作。这些操作包括需要对物理量进行物理操控的操作。通常，虽然不是必须的，这些量的形式为可以存储、传输、组合、比较或进行其他操作的电信号或磁信号。此外，所执行的操作通常称为产生、标示、确定或比较。

上述本发明可用其他计算机系统结构实现，包括手持式设备、微处理器系统、基于微处理器或可编程的消费电子、小型机、大型机等。本发明也可在分布式计算环境中实现，其中，由通过通信网络链接的远程处理设备执行任务。

本发明还可实现成计算机可读介质上的计算机可读代码。计算机可读介质是可存储随后可由计算机系统读取的数据的任何数据存储装置，包括电磁波载体。计算机可读介质的例子包括硬盘驱动器、网络附属存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带，以及其他光学存储装置和非光学存储装置。计算机可读介质可以分布在网络耦合的计算机系统上，这样，以分布式方式存储和执行计算机可读代码。

虽然为了清楚起见描述了本发明一些细节，但是，显而易见的是，可以不脱离所附权利要求的范围而进行一些改变和修改。因而，这些实施例是示例性的而不是限制性的，本发明不限于此处阐述的细节，而是可在所附权利要求及其等价的范围内修改。

Claims (15)

1.一种用于与显示器设备接口的装置，包括：

框架，包括：

(a)一副快门镜片；

(b)耦合到所述框架的灯；

(c)集成到所述框架的电路，用于控制所述一副快门镜片并控制耦合到所述框架的灯，所述电路配置成和所述显示器设备通信，以使得所述快门镜片和所述显示器设备同步，

其中分析所述灯以确定所述框架相对于所述显示器设备的位置，在从框架位置的视角观看显示器输出时，该位置用于使得对该显示器输出进行调整，

并且其中，所述电路对位置分析施加调节比率，或者获得针对所述框架的惯性运动的输入，其中该调节比率是基于与所述显示器的交互状态来施加的。

2.如权利要求1所述的用于与显示器设备接口的装置，其中所述框架用于眼镜，并且所述一副快门眼镜耦合到所述框架。

3.如权利要求1所述的用于与显示器设备接口的装置，其中所述灯由耦合到所述框架的一个灯或两个灯限定，且如果是两个灯的话，两个灯设置成取向分开。

4.如权利要求3所述的用于与显示器设备接口的装置，其中对显示器输出进行调整，以便基于根据来自框架的所分析的两个灯检测出的角度来优化从所述位置的视差观察。

5.如权利要求1所述的用于与显示器设备接口的装置，其中所述交互状态包括被动观看、一边移动一边观看、一边交互一边观看，或者处于游戏交互过程中。

6.如权利要求1所述的用于与显示器设备接口的装置，其中所述框架包括摄像头或者所述框架包括无线发射器。

7.如权利要求1所述的用于与显示器设备接口的装置，其中所述电路包括一个或多个数字信号处理器，其耦合到跟踪模块、快门过滤器控制、惯性传感器、同步模块和灯控制。

8.如权利要求4所述的用于与显示器设备接口的装置，其中所述电路包括用于调制输入的混合器，而且所述混合器向视差优化器提供输入。

9.一种用于与显示器设备接口的方法，包括：

检测来自框架的灯，以确定所述框架相对于显示器设备的位置，当从所述框架位置的视角观看显示器输出时，所述位置用于使得对显示器输出进行调整，所述框架包括(a)一副快门镜片，(b)耦合到框架的灯，以及(c)集成到框架的电路，其用于控制所述一副快门镜片并控制耦合到框架的灯；

所述电路和所述显示器设备通信，以使得所述快门镜片和所述显示器设备同步，其中所述电路：

（a）获得针对所述框架的惯性运动的输入；

（b）对位置分析施加调节比率，其中所述调节是基于与显示器的互动状态来施加的。

10.如权利要求9所述的方法，其中所述框架用于眼镜，而且所述一副快门眼镜耦合到所述框架，并且与所述显示器设备接口的摄像头被配置成捕获图像以检测来自框架的灯。

11.如权利要求9所述的方法，其中所述灯由两个灯限定，且该两个灯以分开的取向耦合到所述框架。

12.如权利要求11所述的方法，其中基于来自所述框架的所分析的两个灯检测出的角度执行对显示器输出的调整以优化来自所述位置的视差观察。

13.如权利要求9所述的方法，其中所述互动状态包括被动观看、一边移动一边观看、一边交互一边观看，或者处于游戏互动过程中。

14.如权利要求9所述的方法，其中所述框架包括摄像头和/或包括无线发射器。

15.如权利要求9所述的方法，其中所述电路包括耦合到以下之一的数字信号处理器：跟踪模块、快门过滤器模块、惯性传感器、同步模块和灯控制。

Images