CN112469485A - 用于在实时流或实时渲染的内容中标识b-滚状况的系统和方法 - Google Patents

Abstract

视频流管理系统（150）包括实时渲染视频的视频控制器（152）。此外，视频流管理系统（150）还包括显示器（102），显示器（102）通信地耦合到视频控制器（152）并且显示包括实时渲染的视频的主视频馈送（168）。视频控制器（152）、显示器（102）或它们的组合使像素图案（164）嵌入于主视频馈送（168）中。另外，视频馈送管理系统（152）监测显示器（102）上的一个或多个所显示的图像，以标识主视频馈送（168）中的错误。

Description

用于在实时流或实时渲染的内容中标识B-滚状况的系统和 方法

对相关申请的交叉引用

本申请要求根据提交于2018年7月18日的、标题为“用于在实时流或实时渲染的内容中标识B-滚状况（B-ROLL CONDITION）的系统和方法”的、序号为No. 62/699,739的美国临时申请的优先权及其利益，该临时申请特此出于所有目的以其整体通过引用而被并入。

背景技术

本公开一般涉及游乐园的领域。具体地，本公开的实施例涉及用以管理游乐园操作（包括针对乘坐设备或景点而管理视频流）的技术。

在某些设定（诸如，游乐园设定）下，某些乘坐设备和其它装备已变得日益交互。除了其它事物之外，这还意味着，可能并不一定对乘坐设备和装备的某些方面进行脚本设计（scripted）。实际上，由于这样的乘坐设备和由顾客启动的装备变得更动态（诸如，被实时渲染或以游戏为中心），因而变得越来越难以标识景点的部件（诸如，景点上的所显示的画面）何时正未如所打算的那样显示。指派操作员监测和/或分辨非预期的显示问题可能导致不准确并且低效的公园运营。另外，该依赖性可能造成其中顾客体验由于装备不起作用或失效而受影响的情形。因此，存在对于能够利用显示的媒体来标识问题并且采取校正行动以处理这样的问题的技术和系统的需要。

发明内容

在下文中总结在范围上与本来要求保护的主题相应的某些实施例。这些实施例不旨在限制本公开的范围，而是更确切地说，这些实施例仅旨在提供某些公开的实施例的简短概要。实际上，本公开可以包含可以与下文中所阐明的实施例类似或不同的各种各样的形式。

在一个实施例中，视频流管理系统包括实时渲染视频的视频控制器。视频流管理系统还包括显示器，显示器通信地耦合到视频控制器，并且显示包括实时渲染的视频的主视频馈送。视频控制器、显示器或它们的组合使像素图案嵌入于主视频馈送中。视频馈送管理系统监测显示器上的一个或多个所显示的图像，以标识主视频馈送中的错误。

在一个实施例中，用于管理视频馈送的方法包括使动态像素图案嵌入到实时视频馈送的帧中。动态像素图案包括与第一帧相关联的第一像素图案和与第二帧相关联的第二像素图案，其中，第一像素图案不同于第二像素图案。方法还包括使用显示器来显示具有动态像素图案的实时视频馈送。另外，方法包括监测显示器上的所显示的图像。此外，方法包括响应于确定所监测到的所显示的图像包括不匹配嵌入的动态像素图案的所显示的像素图案而标识实时视频馈送中的错误。此外，方法包括响应于标识实时视频馈送中的错误的存在而从显示实时视频馈送切换到显示备选视频馈送。

在一个实施例中，视频流管理系统包括：一个或多个传感器，其检测顾客存在；视频流控制器；以及显示器，其通信地耦合到视频流控制器。视频流控制器基于所检测到的顾客存在而实时渲染视频以生成主视频流，并且使像素图案嵌入于主视频流中以生成视频流。显示器接收视频流，显示视频流以生成所显示的图像，监测显示器上的所显示的图像以基于所显示的图像与像素图案的比较而标识错误，并且基于标识错误而生成错误信号。

附图说明

当参考附图而阅读以下的详述时，本公开的这些及其它特征、方面以及优点将变得更好理解，在附图中，贯穿附图，相同的字符表示相同的部分，其中：

图1是根据本公开的实施例的包括利用视频流监测系统的景点的游乐园乘坐设备的示意图；

图2是根据本公开的实施例的在图1的景点中使用的视频流监测系统的框图；

图3是根据本公开的实施例的用于使用视频流监测系统来监测备选视频流并且基于所检测到的非预期显示而将备选视频流发送到显示器的方法的过程流程图；

图4是根据本公开的实施例的由具有嵌入的动态像素图案的交互或实时渲染的视频流提供的图像数据帧的示意图；

图5是根据本公开的实施例的在图4的帧上的非预期显示的示例的示意图；

图6是根据本公开的实施例的在图4的帧上的非预期显示的另一示例的示意图；以及

图7是根据本公开的实施例的由备选视频流提供的图像数据帧的示意图。

具体实施方式

将在下文中描述本公开的一个或多个具体实施例。为了提供对这些实施例的简明描述，可能未在说明书中描述实际实现方式的所有特征。应当意识到，在对任何这样的实际实现方式的开发中，如同在任何工程或设计项目中一样，必须作出许多特定于实现方式的决策以达到开发者的可能因实现方式而异的具体目标，诸如，对与系统相关的约束条件和与商业相关的约束条件的依从性。此外，应当意识到，这样的开发努力可能复杂并且耗时，但对于得益于本公开的普通技术人员而言，这样的开发努力将不过是设计、制作以及制造的常规任务。

当介绍本公开的各种实施例的元素时，冠词“一”、“一个”以及“该”旨在意味着存在元素中的一个或多个。术语“包含”、“包括”以及“具有”旨在为包括性的，并且意味着可能存在除了所列出的元素之外的附加元素。另外，应当理解，本公开的对“一个实施例” 或“一实施例”的引用不旨在被解释为排除也将所叙述的特征并入的附加实施例的存在。

游乐园以多种多样的娱乐（诸如，游乐园乘坐设备、表演秀以及游戏）为特征。不同类型的娱乐可以包括增强顾客在游乐园处的体验的交互或实时渲染的特征。交互特征可以包括基于顾客的存在而启动的乘坐设备或装备。例如，用作景点环境的一部分的显示器可以是交互的，使得所显示的元素或对象可以变得被启动或触发，从而基于顾客的所检测到的存在而改变，而非根据计时器来操作和/或作为预记录的回放而操作。改变可以包括所显示的视频环境的变化，包括光照、纹理、动画等等。然而，尽管如此，显示器的改变可以保留可能被感知为不变的一些对象或特征。因而，可能难以观察视频流的交互方面何时不再是交互的，因为，一些特征（例如，背景）可以保持不变。另外或备选地，视频流显示器可以是实时渲染的，使得视频显示器改变是“实时的”。回放可以是快速的并且被感知为实时的。还可能难以观察实时渲染的回放何时不再是实时渲染的（例如，在卡住的显示器的情况下）。

外部因素可能引起交互和/或实时渲染的视频流以非预期的方式动作，使得显示器上的交互特征不再与顾客交互，或者实时渲染的图像不再实时地改变。因而，所显示的视频流可能不再为乘坐设备上的顾客提供无缝观看。通常，操作员可能被派遣了监测并且分辨非预期的显示行为的任务。然而，依赖于一个景点操作员来分辨该行为可能使操作员从其它重要任务（诸如，管理顾客流量和乘坐设备调遣）分心。而且，在存在多个显示器时，以此方式监测可能要求多个操作员。诸如由监测人员分辨问题、提供分辨率数据以及审查视频流数据之类的任务可能导致乘坐设备调遣的不合理的延迟以及可能的乘坐设备停机时间。另外，可能存在由各种操作员进行的对视频流的不一致的并且不准确的监测，因为，标识非预期行为可能难以在交互或实时视频流中确定。因而，人工视频显示监测可能是困难的并且低效的，从而导致差的顾客观看和交互、在乘坐设备调遣之间的不必要的等待时间，这可能进一步导致游乐园的减少的顾客乐趣和更长的队列。

应当注意到，尽管一般可以在游乐园和乘坐设备景点情境下提出本文中所提供的示例（诸如，使用所提出的技术来促进监测在乘坐设备上提供或作为景点环境的一部分而提供的显示器），但本公开中的技术可以应用于其它并非与游乐园有关的条件和/或情境。因而，所提出的示例应当被理解成仅仅反映乘坐设备上的显示监测系统的现实世界的示例，以提供对讨论有用的情境，并且不应当被视为限制本途径的适用性。而是，本途径应当被理解为适用于其中视频被显示的其它情形。

考虑到目前的情况，图1是可以包括显示器102上的视频流的游乐园乘坐设备100的示意表示。例如，在所描绘的实施例中，游乐园乘坐设备100可以包括沿着乘坐路径104的一个或多个显示器102。乘坐设备100可以经由顾客队列106来进入，并且，在包括显示条件的各种各样的条件被满足时乘坐设备可以被视为就绪。显示条件可以是允许在一个或多个显示器102上的无缝观看体验的条件。如所示出的，乘坐设备操作员110可以操作乘坐设备，使得在操作员确定显示条件被满足时顾客被发信号通知进入乘坐马车112（例如，乘坐车辆）。

在视频流的交互特征和/或实时渲染特征正适当地运作时，显示条件可以被满足，使得视频流的特征（包括环境、元素或动画）被实时地感知和/或被触发以响应于所检测到的顾客存在或手势。顾客存在的检测可以包括各种各样的感测机制。

在一个实施例中，并且如所描绘的，可以沿着乘坐设备100（包括沿着乘坐路径104）安装的相机114或一系列相机114可以检测顾客存在和/或手势。另外或备选地，相机114可以集成到显示器102中。相机114可以使用各种各样的检测机制，包括但不限于面部识别、骨骼跟踪、体热识别等等。相机114还可以捕获顾客的移动（例如，手势）并且使用那些捕获的移动来模拟实时渲染或与在显示器102上示出的元素或动画的交互。在显示器102上示出的视频流还可以是顾客的实时馈送（被相机114捕获）或包括顾客的表示的实时渲染的视频。

在另一实施例中，顾客存在检测可以由一个或多个传感器（诸如，合并到乘坐马车112或顾客可穿戴装置中的射频标识（RFID）标签118或沿着乘坐轨道116设置的重量传感器120）实行。这些传感器可以基于预期顾客存在在何处（例如，在乘坐马车112中的座椅上）而放置或定位于区域中。RFID标签118可以与合并于乘坐设备100上（诸如，在乘坐轨道116或乘坐马车112上（例如，在乘坐马车112内侧、在乘坐马车112的侧面上或在乘坐马车112的入口通道上））的电子读取器119通信，以指示RFID标签118的存在。因而，在乘坐马车112经过电子读取器119时，放置于乘坐路径104（例如，乘坐轨道116或乘坐马车112）上的电子读取器119可以扫描位于乘坐马车112上的RFID标签118。另外或备选地，重量传感器120可以装配于乘坐轨道116上，并且可以用于基于预确定的重量而指示乘坐马车112在乘坐轨道116上的存在。检测顾客存在的RFID标签118和/或重量传感器120可以触发显示器102上的实时渲染或交互视频。另外，传感器可以触发对相机114的顾客存在指示，从而开启相机或使顾客可能在何处被检测到的乘坐区域范围变窄。因而，相机114可以独自地使用或与其它检测机制（例如，RFID标签118或重量传感器120）联合而使用以检测跟踪顾客。

一旦顾客存在被标识并且跟踪，显示器102就可以改变，使得显示器102上的对象可以看起来与顾客交互或对顾客做出反应。动画或实时流渲染可以根据顾客的移动和顾客相对于显示器102的位置而做出反应。在所说明的实施例中，在显示器102上描绘小丑。所描绘的小丑可以响应于检测到顾客和/或其被跟踪到的移动而做出反应（例如，玩杂耍）。因而，小丑视频显示可以是基于顾客移动的实时流视频和/或交互。如先前所提到的，交互和/或实时流视频（例如，小丑视频）可能停止交互或实时显示，并且可能依赖于或者顾客或者操作员110来检测显示器中的非预期改变。根据本公开的实施例的视频流管理系统150可以用于自动地检测非预期显示，并且切换到备选视频源，以虑及无缝观看体验。

考虑到前文，目前公开的实施例可以确定被发送到显示器102的视频流和/或显示器102本身何时不再显示预期图像。即，在一些实施例中，视频流管理系统150可以使用具有嵌入的像素图案的视频流来检测非预期显示，并且然后切换到备选视频流，以便为了最佳顾客体验提供无缝观看。

视频流管理系统150的配置和功能可以参考图2而更好理解，图2说明用于使用本文中所提供的技术来监测并且切换视频流的视频流管理系统150的框图。视频流管理系统150包括视频流控制器152、监测子系统154、显示器102以及至少一个相机114，显示器102可以表示一个或多个显示器102。尽管下文的描述中的一些将相机114、视频流控制器152、监测子系统154以及显示器102描述为视频流管理系统150的经由电线/电缆来间接地耦合或直接地耦合的单独的部件（这表示特定实施例），但应当注意到，方法和系统可以使用任何合适的部件布置（诸如，所有部件都集成于一个显示器102中）来实行并且实现。例如，监测子系统154还可以被包括在视频流控制器152中，并且，视频流控制器152可以集成于显示器102中。而且，显示器102可以包括相机114。因而，在一个实施例中，所有功能（例如，检测、监测、切换等等）都可以由单个集成的显示器102提供。显示器102可以包括多个像素。

如所说明的，一个或多个相机114可以耦合到视频流控制器152。相机114可以用于跟踪顾客（例如，检测顾客存在和/或捕获顾客移动），使得顾客移动可以用于交互或实时渲染视频流。一旦顾客存在或移动被检测到和/或跟踪到，相机114就可以将检测和/或跟踪信号发送到视频流控制器152。视频流控制器152可以使用相机信号来使视频流156能够被发送到显示器102。视频流控制器152可以包括用于存储可由处理器160执行的指令的存储器158。

处理器160可以包括一个或多个处理装置，并且，存储器158可以包括一个或多个有形非暂时性机器可读介质。通过示例的方式，这样的机器可读介质能够包括RAM、ROM、EPROM、EEPROM或光盘存储设备、磁盘存储设备或其它磁存储装置或能够用于承载或存储呈机器可执行指令或数据结构的形式的期望的程序代码并且能够被处理器160或被其它基于处理器的装置访问的任何其它介质。处理器160可以包括用以执行存储于存储器158中的机器可执行指令算法的处理核162。

所存储的算法可以包括用以将视频数据流（包括嵌入的像素图案164、交互视频流166、实时渲染的视频流169和/或备选视频源174，诸如，预记录的视频流）发送到显示器102的算法。处理器160还可以包括处理器侧接口170以供在处理核162上运行的软件应用与乘坐设备100上的与处理器160相关联的硬件部件（诸如，显示器102和相机114）交互。

像素图案164的嵌入可以包括修改与主视频流168相关联的数据，以生成向显示器102提供的视频流156。如本文中所提供的，主视频流168可以指与交互视频相关联的视频流，诸如，实时渲染的视频流169或交互视频流166。主视频流168通过修改一个或多个图像的图像数据（例如，主视频流的个别的帧）而被嵌入有嵌入的像素图案164，使得所修改的一个或多个图像在被显示时显示嵌入的像素图案164。在一个实施例中，一个或多个图像的图像数据包括针对与嵌入的像素图案164相关联的每个像素而对颜色进行编码的信息。因此，在利用嵌入的像素图案164来修改时，视频流156的一个或多个图像相对于主视频流168针对一个或多个像素而显示不同颜色。应当理解，主视频流中的图像可以包括已经被编码成显示与嵌入的像素图案164相关联的颜色的某些像素。即，（一个或多个）源图像可能在与嵌入的像素图案164的黑色像素对应的某个像素位置处已经是黑色的。然而，嵌入的像素图案164可能是足够复杂并且变化的，使得源图像在统计上不太可能在未修改的情况下展示完整的嵌入的像素图案164。而且，嵌入的像素图案164可以是动态的并且逐帧地改变，这进一步减小原始源图像与嵌入的像素图案164的对准。嵌入的像素图案164的动态特征可以包括使嵌入的像素图案164跨相继的帧平移到不同像素位置、与随后的帧中的嵌入的像素图案164相关联的所有像素的颜色的改变和/或像素在嵌入的像素图案164中的不同布置。

视频流控制器152还可以包括耦合到处理器160的开关172或一系列开关。基于来自处理器160的所执行的指令，开关172可以用于实现切换被发送到显示器102的数据流。如所描绘的，并且在一些实施例中，处理器160可以将主视频流168（诸如，实时渲染的视频流169或交互视频流166）连同嵌入的像素图案164作为视频流156而通过电缆（例如，高清晰度多媒体接口（HDMI）电缆）传送到显示器102。嵌入的像素图案164可以嵌入于主视频流168中并且可以用于检测非预期显示行为。

除了为显示器102提供视频流156之外，视频流管理系统150还可以操作成通过切换视频流而自动地分辨非预期显示行为。例如，视频流管理系统150可以将所显示的视频流156切换到备选视频源174，备选视频源174可以同时地流播到显示器102。视频流控制器152的开关172和/或显示器102的显示处理器165可以针对乘坐设备100而控制哪个流显示于显示器102上。在所描绘的实施例中，显示器102配置可以默认为视频流156，并且可以基于由视频流控制器152发送并且由显示处理器165处理的附加指令而切换到备选视频源174。在检测到非预期显示行为时，可以基于由监测子系统154进行的显示错误检测而发送并且执行附加指令。

特别地，监测子系统154可以包括错误检测逻辑176、监测子系统存储器180以及监测子系统处理器182。算法可以用于例如使用错误阈值和图案标识来在显示器102上标识错误。算法可以存储于监测子系统存储器180中并且由监测子系统处理器182执行。

如将在下文中详细地讨论的，错误检测逻辑176的像素比较器178可以确定非预期显示。像素比较器178可以用于将如显示于显示器102上的所显示的视频流156的图像像素与存储于监测子系统存储器180中的一个或多个像素图案和/或经由嵌入的像素图案164来发送的像素图案比较。监测子系统154可以将关于像素或像素图案的所接收的显示数据184中继到视频流控制器152。错误检测逻辑176可以在错误的标识时生成错误信号186。监测子系统154还可以在错误检测逻辑176检测到非预期显示行为时，将错误信号186发送到视频流控制器152。非预期显示行为可以基于存储于监测子系统存储器180中的预期像素图案与显示于显示器102上的像素图案的对比而确定。在一些实施例中，关于嵌入的像素图案164的信息可以仅可被经授权的用户访问。在这样的实施例中，嵌入的像素图案164可以被加密或可以仅可利用密钥来访问。对于经授权的用户的存储于子系统存储器180中的密钥可以用于将也存储于监测子系统存储器180中的嵌入的像素图案164解密或验证成明文，明文可以随后用于标识错误（例如，非预期显示行为）。密钥可以基于元数据、网络连接和/或存储器位置（例如，子系统存储器180）而生成。例如，如果视频流控制器152连接到特定网络（诸如，未经授权或未被识别的网络），则视频流控制器152可能不会在未输入或加载配对的密钥（例如，对于每一个网络连接的唯一私钥）的情况下访问嵌入的像素图案164。照此，视频流控制器152可能不能在未使用密钥的情况下标识当前显示的像素或将当前显示的像素与预期的嵌入的像素图案164比较以标识非预期显示行为。非预期显示行为的示例可以包括但不限于阻止由视频流156发送的视频帧的至少一部分的对话框、卡住的视频帧、显示视频流156的失效（例如，黑屏）和/或在显示器102上的特定像素位置处的不正确的像素照明（例如，像素颜色或亮度）。另外或备选地，视频流控制器152上的错误检测算法可以用于基于所接收的显示数据184而确定错误或非预期显示行为。

在实施例中，比较器178操作成对针对视频流156中的每一帧的在所显示的图像与对于该帧的预期像素图案之间的像素失配进行计数。阈值可以设定成像素失配的阈值数量，由此，比阈值更低的失配数量的确定指示正确的视频流156，并且，比阈值更高的像素失配数量指示错误。例如，可能存在1-2个像素失配的某个被允许的容差，以解释不起作用的像素。在实施例中，比较器178可以设定成要求在触发错误的指示并且因此触发切换到备选视频源174之前在至少某个数量的帧中存在高于阈值的像素失配。视频流156的每个个别的帧或仅仅帧的子集可以包括嵌入的像素图案164（例如，预期像素图案）。比较器可以使所显示的图像与预期的嵌入的像素图案164相关联。即，对于动态的嵌入的像素图案164（其中，像素图案在视频流的帧之间改变），对于视频流的所显示的图像的预期的嵌入的像素图案164可以与特定帧标识符相关联，该帧标识符可以是对于视频流156的元数据的一部分。显示处理器165可以在显示期间向错误检测逻辑176提供具有帧标识符的元数据，以便对于该特定帧的预期像素图案可以被比较器178使用。

错误的检测可以在接收视频流156的装置（例如，显示器102）处发生。对视频流156的任何主动渲染或交互改变可以在视频流控制器152处发生。然而，在其它实施例中，视频流控制器152和显示器102作为整体式装置而提供。在实施例中，视频流156由一系列相继的图像帧形成，由此，使用显示器102的多个像素正在显示每个图像帧。像素图案（例如，嵌入的像素图案164）可以仅由在利用显示器102来显示图像中使用的全体像素的子集形成或将其合并。例如，对于每个帧或图像的像素图案可能涉及显示器102上的可用像素的少于10%、5%、2%或1%。以此方式，接收装置处的错误检测逻辑176的像素比较器178可以仅评估显示器102的可用像素（例如，仅那些与预期像素图案相关联的像素）的子集，因而避免复杂的全图像/视频比较操作，以便更快速地并且更高效地检测视频流156内的错误。

为了详细地说明监测子系统154的错误检测逻辑176的示例，在图3中描述用于检测非预期显示和/或生成对非预期显示的响应的过程200。一般而言，过程200包括：生成（过程框202）主视频流168；使像素图案164嵌入（过程框204）于主视频流168中；将包括具有嵌入的像素图案164的主视频流168的视频流156发送（过程框206）到显示器102；以及评估（过程框208）显示器102上的所显示的（一个或多个）图像，以标识预期像素图案是否正被显示；以及评价（决策框210）所显示的图像是否包括处于预确定的阈值内的预期像素图案。如果在所显示的图像中被标识的像素图案处于阈值内，则显示器102继续（过程框212）将具有嵌入的像素图案164的主视频流168作为视频流156而显示，并且，如果像素图案不处于阈值内，则显示器102将视频流156切换（过程框214）到备选视频源174。

虽然使用按具体序列的动作来描述过程200，但应当理解，可以按与所说明的序列不同的序列实行所描述的动作，并且，某些所描述的动作可以略过或完全不实行。一般而言，过程200的步骤中的至少一些可以至少部分地由视频流管理系统150实现。具体地，这些步骤可以至少部分地由视频流控制器152的处理器160或监测子系统154的监测子系统处理器182实现，监测子系统154的监测子系统处理器182执行存储于有形非暂时性计算机可读介质（诸如，监测子系统存储器180）中的指令。在备选或附加实施例中，过程200的至少一些步骤可以由任何其它合适的部件或控制逻辑等等实现。

因而，在一些实施例中，视频流控制器152可以生成（过程框202）主视频流168。如先前所讨论的，主视频流168可以包括任何视频数据流，诸如，交互视频流166、实时渲染的视频流169和/或备选视频源174，诸如，预记录的视频位流。主视频流168可以由用户或操作员110预确定。所使用的视频流类型可以基于乘坐设备100和/或目标顾客。例如，图1的乘坐设备100的乘坐类型可以包括小丑主题，并且可以以更年轻的顾客为目标，并且因而，主视频流168可以包括用以允许小丑对顾客手势做出反应的交互视频流166。

在一些实施例中，视频流控制器152可以使作为嵌入的像素图案164的像素图案连同主视频流168而嵌入，以创建视频流156（过程框204）。嵌入的像素图案164可以是可能引起显示器102的像素或像素阵列发出特定颜色或不存在颜色的数据流。在一些实施例中，像素图案可以是动态的，使得显示器102的特定像素处的颜色可以随着所显示的图像的每个帧而改变。在其它实施例中，像素图案可以是静态的，并且在帧之间保持不变。

在视频流控制器152已使主视频流168嵌入有嵌入的像素图案164之后，视频流控制器152可以将数据流作为一个视频流156而发送（过程框206）到显示器102。由于像素图案被嵌入于视频流156内（例如，主视频流168的一个或多个个别的帧内），因而像素图案可以设计成使得像素图案不可被人眼看见或不可被人眼检测到。以此方式，像素图案仅可被视频流管理系统150检测到，并且可以允许顾客继续在乘坐设备100上享受无缝观看体验。

一旦具有嵌入的像素图案164的主视频流168被发送到显示器102，监测子系统154就可确定（过程框208）正显示于显示器102上的像素图案。为了说明为了检测错误而进行的对预期像素图案和所显示的图像的确定，图4-6示出具有嵌入的像素图案164的所显示的102图像数据帧。此外，尽管下文的描述中的一些描述了与所显示的图像数据一起示出的像素图案（该像素图案可以描述成促进解释使用像素来进行的错误检测），但应当注意到，所实行并且实现的方法和系统可以利用不可被人眼检测到的隐藏的像素图案。即，嵌入的像素图案164设计成允许被视频流管理系统150及其部件检测到，但不允许被顾客检测到。

如所说明的，图4描绘在显示器102上显示具有动态的嵌入的像素图案224（例如，像素图案164）的交互和/或实时渲染的图像数据的第一图像数据帧220（帧1）和第二图像数据帧222（帧2）。像素图案224可以包括与图像数据帧220和图像数据帧222中的每个一起显示于显示器102上的至少一个像素。第一图像数据帧220和第二图像数据帧222可以显示在此通过示例的方式作为小丑而说明的实时渲染的图像，使得视频流提供被顾客感知为正实时地移动的小丑。如所示出的，像素图案224可以包括由图像的元素（例如，小丑）上或周围的像素发出的黑色或彩色光。例如，显示器102的像素可以被预期为发出黑色光（例如，不存在光），黑色光可以在本文中被描述为黑色像素226。在所描绘的实施例中，黑色像素226可以在第一帧220中被预期在显示器102的底角上。

然而，在随后的图像数据帧（第二帧222）中，小丑可能已改变他的行动，并且，像素图案224可能也已改变。如第二帧222中所描绘的，黑色像素226可以被预期为在显示器102的右上角上出现。应当理解，通过示例的方式，所说明的像素（例如，黑色像素226和/或白色像素227）在显示器102内示出为相对大的。然而，每个像素可以被设定尺寸成对应于显示器102的像素尺寸，显示器102的像素尺寸是显示器分辨率的函数。而且，像素图案224的所说明的像素还可以包括形成较大的形状或图案的邻接的像素的群组。更进一步，虽然所说明的像素图案224由黑色像素226和白色像素227形成，但还设想其它颜色组合。更进一步，像素图案224可以被选择成一般对于观看者而为不可见的。在一个示例中，像素图案可以围绕帧220、222的与背景图像相关联的区段分布。在实施例中，像素图案224仅由非邻接的像素形成，以渲染对于观看者而为不那么可辨别的像素图案224。在实施例中，像素图案224的个别的像素被选择成与帧220、222的预期图像中的每一个周围的像素不同的颜色。在实施例中，像素图案的个别的像素与像素图案224中的其它像素以至少2个、3个、5个或10个其它像素分离。

显示器102可以展示指示非预期显示的非预期像素图案。为了进行说明，图5描绘错误的第一帧’228（帧1’）上的非预期像素图案225。尽管错误的第一帧’228显示正确的预期的帧图像，诸如，第一帧220的图像，但像素图案224的预期的黑色像素226未能出现，指示为不正确的像素229。在其它实施例中，非预期像素图案225可以包括但不限于在显示器102上出现为不同的颜色和/或改变位置的一个或多个像素。在一些实现方式中，像素位置或颜色的这样的改变可能由可能在总体的所显示的图像本身上不可见的在视频渲染中的错误引起。该错误可能由视频流156中的数字媒体错误引起，所述视频流156中的数字媒体错误可能在其它情况下通过其它监测机制（诸如，经由硬件/电缆或由操作员110或顾客进行的物理观察来作出的对显示器102的视频输出的有限的检测）未被检测到并且导致由该其他监测机制确定的伪肯定（false positive）。因而，嵌入的像素图案164可以允许内部错误检测和可能在其它情况下依赖于外部数据和/或硬件的早期检测。

另外或备选地，非预期显示还可以包括所显示的图像本身上的错误。例如，如果所渲染的图像从一个图像帧到下一个图像帧被卡住或未能改变，则在像素位置处的预期的发光可能未出现于显示器102上。此外，显示器102上的附加图像（诸如，对话框或另一用户提示符）可能引起在像素位置处的预期的发光未出现于显示器102上。

为了进行说明，图6说明错误的第二帧’230（帧2’），图6显示第二帧222的预期图像和预期像素图案224，但具有等待用户输入的错误对话框231。对话框231可以作为视频输出的改变或暂时性损失的结果等等而出现。由于对话框231的原因，预期像素图案224的预期的黑色像素226可能未在预期位置中出现，并且因而指示显示于显示器102上的图像可能是非预期的错误。因此，确定所显示的像素图案224可以检测非预期显示错误。在实施例中，通过经由定位成在显示器102的所有象限内的动态像素图案和/或静态像素图案来使像素图案224围绕显示器102的各种各样的位置分布，所检测的错误可以被特征化。例如，在特定像素位置处的显示失效并且该显示失效局限于单个位置，而该显示的剩余部分未被损坏可能会呈现地不同于更加全局地影响显示的视频卡住错误。即，单个像素失效可能并非与视频流156中的错误相关联，而是与显示器102处的硬件错误相关联。因此，这样的错误可能未触发到备选视频源174的切换。在另一示例中，与弹出式错误窗口相关联的错误可以与显示器102的可预测的区域中的像素失配相关联。

返回到图3的过程200，监测子系统154的错误检测逻辑176可以确定（决策框210）所显示的像素图案224是否处于预期的动态的嵌入的像素图案164的预确定的阈值内（例如，像素失配）。错误检测逻辑176可以使用先前所讨论的算法（例如，错误阈值算法和图案阈值算法）来运算该确定。算法可以分析从显示器102接收的数据（例如，所显示的图像数据和像素图案），并且将该数据与可以由用户或操作员110设定的预确定的阈值比较。因而，对于像素位置或所发出的颜色的错误阈值可以设定成使得它不会干扰对于乘坐设备100上的顾客的无缝观看体验。监测子系统154可以将显示数据184和/或错误信号186中继到视频流控制器152。另外或备选地，视频流控制器152可以使用存储于视频流控制器152的存储器158中的算法来确定所中继的显示数据184是否处于预期的嵌入的像素图案164的预确定的阈值内。

在确定所显示的像素图案处于预期的嵌入的像素图案164的阈值内时，视频流控制器152可以继续将视频流156发送（过程框212）到显示器102。因而，视频流156可以继续发送具有嵌入的像素图案164的主视频流168。

另一方面，如果所显示的像素图案不处于预期的嵌入的像素图案164的阈值内，从而导致视频流错误（“B-滚”状况）确定，则视频流控制器152可以使用开关172来从视频流156切换（过程框214）到备选视频源174。为了进行说明，图7描绘第三帧232（帧3），图7显示了备选视频源174的帧。如所示出的，备选视频源174的第三帧232可以包括非交互图像，诸如，预记录的B-滚视频的图像数据。预记录的视频滚动可能并非交互或实时渲染的，并且因而可能未被嵌入有像素图案164，以检测可能在其它情况下难以利用交互或实时渲染的视频流来检测的错误。另外或备选地，备选视频源174可以是在检测到非预期显示之前正显示的原始视频流156的完整备份。例如，完整备份可以包括冗余系统，冗余系统用于生成包括主视频流168连同嵌入的像素图案164的视频流156。另外或备选地，备选视频源174可以包括不同的交互或实时渲染的视频流连同嵌入的像素图案164。备选视频源174选项可以基于最适合于为乘坐设备100上的顾客提供无缝观看体验的源而确定。

备选视频源174可以在迅速响应时间帧内被切换，使得存在与流的切换相关联的最小延迟。为了提供迅速切换机制，备选视频源174和视频流156两者可以是被同时地发送到显示器102的流。然而，可以基于在错误检测或非预期显示时经由视频流控制器152来接收的指令而指令显示器102改变其图像输出。在实施例中，备选视频源可以在本地存储于显示器102处。以此方式，切换可能未被顾客观察到或不明显，并且因而继续提供无缝观看体验。

虽然只有本公开的某些特征在本文中已被说明和描述，但本领域技术人员将想到许多修改和改变。因此，将理解到，所附权利要求旨在涵盖如落入本公开的真实精神内的所有这样的修改和改变。应当意识到，上文中所讨论的关于附图而说明或描述的任何特征可以按任何合适的方式组合。

本文中所提出并且要求保护的技术被引用并且应用于有实际性质的实质性对象和具体示例，所述实质性对象和具体示例可论证地改进本技术领域并且因此不是抽象的、无形的或纯理论的。而且，如果本说明书的末尾所附的任何权利要求包含指定为“用于[实行]……[功能]的部件”或“用于[实行]……[功能]的步骤”的一个或多个元素，则旨在这样的元素将根据35 U.S.C. 112（f）款而解释。然而，对于包含以任何其它方式指定的元素的任何权利要求，旨在这样的元素将并非根据35 U.S.C. 112（f）款而解释。

Claims (20)

1. 一种视频流管理系统，包括：

视频控制器，其配置成实时渲染视频；以及

显示器，其通信地耦合到所述视频控制器并且配置成显示包括所述实时渲染的视频的主视频流，其中，所述视频控制器、所述显示器或它们的组合配置成使像素图案嵌入于所述主视频馈送中，并且其中，所述视频流管理系统配置成监测所述显示器上的一个或多个显示的图像，以标识所述主视频馈送中的错误。

2.根据权利要求1所述的系统，其中，所述显示器通信地耦合到备选视频馈送的源，并且，所述显示器配置成响应于标识所述主视频馈送中的所述错误而切换到显示所述备选视频馈送。

3.根据权利要求2所述的系统，其中，所述主视频馈送包括交互视频流，并且，所述备选视频馈送包括非交互视频流。

4.根据权利要求1所述的系统，其中，所述错误基于所述嵌入的像素图案与所述显示器上的所述一个或多个显示的图像中的图像之间的所标识的失配。

5.根据权利要求1所述的系统，其中，在所述嵌入的像素图案在显示于所述显示器上的所述一个或多个图像中被标识时，所述视频流管理系统未检测到错误。

6.根据权利要求1所述的系统，其中，所述嵌入的像素图案与所述显示器上的所述一个或多个图像的像素的总数量的子集相关联。

7.根据权利要求1所述的系统，其中，所述错误基于预期像素图案和所述显示器上的所述一个或多个显示的图像中的像素失配的预确定的阈值。

8.根据权利要求1所述的系统，其中，所述嵌入的像素图案是动态的，并且在所述显示器上的形成主所述视频馈送的相继的帧的所述一个多个显示的图像之间改变。

9.根据权利要求1所述的系统，其中，所述嵌入的像素图案在所述显示器上的形成所述主视频馈送的相继的帧的所述一个或多个图像中的图像之间是静态的。

10.一种管理视频馈送的方法，包括：

使动态像素图案嵌入到实时视频馈送的帧中，其中，所述动态像素图案包括与第一帧相关联的第一像素图案和与第二帧相关联的第二像素图案，其中，所述第一像素图案不同于所述第二像素图案；

使用显示器来显示具有所述动态像素图案的所述实时视频馈送；

监测所述显示器上的显示的图像；

响应于确定所述所监测到的显示的图像包括不匹配所述嵌入的动态像素图案的所显示的像素图案而标识所述实时视频馈送中的错误；以及

响应于标识所述实时视频馈送中的所述错误的存在而从显示所述实时视频馈送切换到显示备选视频馈送。

11.根据权利要求10所述的方法，其中，所述备选视频馈送包括所述实时视频馈送和所述嵌入的动态像素图案的完整备份、不同于所述实时视频馈送的新视频馈送或它们的组合。

12.根据权利要求10所述的方法，其中，所述实时视频馈送被嵌入有所述动态像素图案，并且，所述备选视频馈送同时地被提供给所述显示器。

13.根据权利要求10所述的方法，其中，所述第一帧和所述第二帧嵌入于所述实时视频馈送的相继的帧中。

14.根据权利要求10所述的方法，其中，所述监测包括评估个别的帧以标识所述嵌入的动态像素图案中的与所述个别的帧相关联的像素图案。

15.根据权利要求10所述的方法，其中，关于所述嵌入的动态像素图案的信息经由密钥来加密并且可被访问。

16.一种视频流管理系统，包括：

一个或多个传感器，其配置成检测顾客存在；

视频流控制器，其配置成：

基于所检测到的顾客存在而实时渲染视频，以生成主视频流；

使像素图案嵌入于所述主视频流中，以生成视频流；以及

显示器，其通信地耦合到所述视频流控制器，并且配置成：

接收所述视频流；

显示所述视频流，以生成显示的图像；

监测所述显示器上的所述显示的图像，以基于所述显示的图像和所述像素图案的比较而标识错误；以及

基于标识所述错误而生成错误信号。

17.根据权利要求16所述的系统，其中，所述错误包括所述显示的图像缺失所述像素图案的一个或多个像素或具有与所述像素图案的一个或多个像素的失配，具有相对于所述像素图案的一个或多个不同颜色像素或像素图案的一个或多个像素的不同位置。

18.根据权利要求16所述的系统，其中，所述视频流管理系统促使基于所述错误信号而显示备选视频。

19.根据权利要求18所述的系统，其中，所述备选视频包括预记录的视频。

20.根据权利要求16所述的系统，其中，所述像素图案包括动态像素图案。

Images