CN111542871A

CN111542871A - 在多个回放装置上进行同步视频回放的系统

Info

Publication number: CN111542871A
Application number: CN201780096615.0A
Authority: CN
Inventors: J.奥斯托克
Original assignee: SES Imagotag GmbH
Current assignee: SES Imagotag GmbH
Priority date: 2017-11-10
Filing date: 2017-11-10
Publication date: 2020-08-14
Also published as: WO2019091565A1; AU2017438989B2; EP3707700A1; US20210176505A1; KR102391981B1; US11405669B2; KR20200097261A; AU2017438989A1

Abstract

一种视频回放系统，其包括要在其屏幕上回放视频的多个回放装置，每个回放装置包括要存储表示所述视频的视频数据的存储器以及要彼此传送数据的通信级，其中，所述装置被设计成经由通信级向其他装置传输视频回放进度数据，并基于接收到的进度数据来确定其与其他装置处于同步还是异步回放进度。

Description

在多个回放装置上进行同步视频回放的系统

技术领域

本发明涉及用于在多个回放装置上进行同步视频回放的系统。

背景技术

已知的视频回放系统包括用于将视频流分发给多个装置的中央服务器。所有回放装置对视频内容的同步回放是如下实现的：用服务器递送的高精度且系统范围的定时信号或通过回放装置内可用的系统范围的同步时钟信号来控制回放装置处的回放。

已知系统展现出的缺点在于，它需要高带宽以将视频内容及时分发给视频回放装置。除此之外（further to this），需要回放装置的快速且因此昂贵的硬件来接收所流送的视频、对其进行缓冲并根据由服务器递送的定时信号或系统范围的同步时钟信号所确定的定时来在各个回放装置上同步地回放视频内容。

本发明的目的是要提供避免上述问题并且能够在由相对便宜的硬件构成的多个装置上回放同步视频的系统。

发明内容

该目的通过根据权利要求1的系统来实现。因此，本发明的主题是一种视频回放系统，其包括要在其屏幕上回放视频的多个回放装置，每个回放装置包括要存储表示所述视频的视频数据的存储器以及要彼此传送数据的通信级，其中，所述装置被设计成经由通信级向其他装置传输（广播）视频回放进度数据，并基于接收到的进度数据来确定其与其他装置处于同步还是异步回放进度。

根据权利要求15也实现了该目的。因此，本发明的主题是将根据本发明的系统用作启用了视频回放的电子货架标签系统以用于针对多个货架围栏（shelf rail）回放同步视频内容的用途，其中，所述货架围栏中的每一个由屏幕来实现或承载屏幕。

根据本发明的手段提供了以下优点：每个单独的显示装置可以独立地检测该组显示装置内的异步回放进度。这是如下实现的：通过将另一装置或其他装置的回放进度与其自身的回放进度进行简单且快速的比较。实际上，该组显示装置建立了用于检测该组内的异步回放进度的自主的分布式检测系统。不需要超高效且昂贵的硬件来实现这一点，这对于使用视频回放系统用于同步货架围栏视频回放的目标用例而言尤其重要，将在稍后详细解释这一点。在这种用例（应用）中，非常大量的货架围栏通常必须显示同步的视频序列。因此，控制屏幕的显示装置的数量也很高，并且因而它们必须尽可能便宜地实现，以便被目标客户群所接受。

本发明的另外的特别有利的设计和扩展从从属权利要求和以下描述中显现。

对于所述系统而言，特别有利的是，其包括视频分发服务器，其用于将视频数据分发给装置，特别是在于所述设备处的回放开始之前分发视频的整个视频数据。特别地，服务器可以使用相同的通信级来将视频数据下载到装置，所述相同的通信级此后用于回放进度数据的传输。有利地，在视频数据的下载完成之后，用于将视频数据下载到装置的通信信道/介质完全可用于装置的彼此通信。因此，不需要引起装置之间的通信协议或协商过程的高有效载荷来传输回放进度数据。

根据本发明的基本方面，特别有利的是，所述装置被设计成与将视频数据分发给了所述装置的视频分发服务器独立地确定它们处于同步或异步回放进度中。

为了清楚起见要提到，服务器和装置之间的通信以及各装置之间的通信可以借助于线缆（例如，两条线缆或总线系统）或无线电信号来实现。

所述装置被设计成回放以标记有帧号的帧构造的压缩视频数据。

所述进度数据可以是允许表示视频的当前回放部分、或测量自回放开始以来已经经过的回放时间、或指示到视频结束为止的剩余回放时间等的任何指示符，其例如以毫秒或秒或百分比来测量。

然而，根据本发明的优选实施例，所述装置被设计成利用标记当前正回放的帧的帧号作为要传输的进度数据。这提供了如下优点：使用在所有装置上固有地可用而无需任何进一步的计算的回放进度的表示。

除此之外，每个装置被设计成将接收到的帧号与该装置处当前正回放的帧的帧号进行比较，并且如果彼此比较后的帧号之差超过预定阈值，则确定异步回放进度。取决于实际的回放参数，所述阈值可以设置为100，这是在被处理到所有装置中之前编程的。在此示例中，如果从另一装置接收到的帧号是2602，则当前回放帧2500的装置将确定异步回放进度。

为了使回放进度信息在该组装置内永久地更新，每个装置被设计成反复传输进度数据。各个装置传输其各个进度数据的确切时刻可以是任意的，例如在某个时间窗口内随机地定义，等等。传输也可以发生于每当压缩视频的新帧被处理时。根据优选实施例，以周期性方式执行传输。在系统的设计和开发阶段期间进行的实验表明，每秒一次的周期性传输在保持各装置上的回放同步方面显示出良好的效果。针对特定实现的确切参数当然取决于所用硬件的参数（速度、精度、振荡器漂移等）。

检测到异步回放进度的装置可以影响其单独的回放进度，从而建立同步回放进度。然而，这不能保证其特定手段能解决其他装置的回放漂移。结果甚至可能是其他装置的回放进度更大地偏离同步回放进度。因此，使用检测到异步回放进度的装置来影响所有其他装置的回放进度、以及必要时还有其自身的回放进度是有利的。根据该发现，每个装置被设计成在其检测到异步回放进度的情况下通过其通信级来广播用于调整装置的回放进度的调整数据。

在优选实施例中，有利地，每个装置被设计成将调整数据嵌入如果其检测到异步回放进度则被广播的同步命令中。这允许在接收传输的装置侧上明确地检测调整数据。

为了对检测到的异步回放进度做出适当且迅速的反应，每个装置被设计成接收调整数据（嵌入于在被接收到时被解码/检测的所述同步命令中），并根据调整数据来调整其回放进度，特别地，继续其压缩视频数据的回放，所述压缩视频数据以标记有帧号的帧而构造，其中所述帧号是在调整数据的广播中接收到的。在该优选实施例中，紧接在检测到异步回放进度之后，检测装置（检测到异步回放进度的装置）定义应以其来继续回放的帧号，并指示所有其他装置切换到所述定义帧号。所有其他装置在接收到同步命令后立即遵循此指令。以定义的帧号继续回放可能会延迟很短的时间段（非常短以至于观看者几乎看不见），因此所有装置都可以及时地遵循指令以将其回放进度切换到所述定义帧号。这提供了高效的系统行为，该行为需要很少的通信带宽和处理能力即可确保整组装置上的同步回放进度。

可以根据各种协议实现来执行装置之间的通信。为了在具有多达数千个装置的环境中保持高效通信，通信级被设计成使用UDP多播数据包进行通信是特别有利的。此处，UDP代表“User Datagram Protocol（用户数据报协议）”，并且多播意指从一个装置到多个装置的消息传输。

根据本发明的实施例，每个显示装置可以包括要由其控制的其屏幕或多个屏幕。关于其分辨率，屏幕可以是标清、高清、或甚至超高视频面板。根据本发明的另一实施例，每个装置可以连接到要由其控制的其外部屏幕或多个屏幕。另外，也可以设想混合配置。在该配置中，在装置中执行视频数据处理，该装置进而将显示数据或显示信号提交给屏幕，在屏幕处，数据或信号被转换为可见图像。

在优选实施例中，所述屏幕被设计成实现货架围栏或其一部分，或者覆盖其可附着到的货架围栏的前面或其部分。这样的屏幕通常显示出沿货架围栏的长度测量的较大宽度，相比之下，垂直于货架围栏的长度测量的高度较小。

在这样的配置中，所述系统实现了启用了视频回放的电子货架标签系统。

此处特别有利的是，所述显示装置被设计成借助于虚拟电子货架标签来显示产品信息或与产品价格相关的信息，所述虚拟电子货架标签显示在屏幕显示区域的一区段内，与视频内容重叠或替换所述区段的视频内容。

除此之外，所述装置可以被设计成同时回放多个视频。例如，可以在多个货架围栏上回放背景视频，而同时可以在相同货架围栏上但在各个屏幕的屏幕区域内的空间受限的视频窗口中回放广告视频。在此视频窗口中，它与背景视频重叠或替换背景视频。同样在该场景中，本发明的手段可以应用于每个视频（背景视频和广告视频），以保持其在所有涉及到的装置上的同步回放。附加的（例如与广告有关的）视频可以与上述虚拟电子货架标签独立地回放，或作为所述虚拟货架标签的内容的元素来回放。

考虑到在大型零售商店中可能存在大量货架围栏的事实，在整个商店中利用便宜的硬件来装配这种启用了视频回放的电子货架标签具有最大的经济利益。此处，根据本发明的手段使得能够借助于非常简单且廉价的显示装置硬件而实现在所有货架围栏上的稳定且同步的视频回放，而无需任何服务器交互来保证回放进度的同步。有利地，例如用于保持显示装置彼此同步的无线电信道中的有效载荷也非常低，以至于对于零售商店的生态系统中的其他装置之间的其他通信过程几乎没有任何干扰或甚至完全不干扰。

可以借助于纯硬件或在其上执行软件的可编程硬件来实现本发明的特征，例如，将考虑微处理器、微控制器或具有用于存储软件的存储装置的专用电路。

借助于集中式电源或分布式电源来为装置及其屏幕供应电力。电力借助于电缆来供应。电池供电的系统也是可能的。

从下面讨论的附图中获得本发明的这些和其他方面。

附图说明

在下文中，参考附图并基于示例性实施例再次解释本发明，尽管如此，但是这些附图和示例性实施例都不限制本发明的范围。在不同的图中，相同的组件标有相同的附图标记。各图以示意性的方式示出了：

图1示出了装配在零售商店中的根据本发明的系统；

图2示出了该系统的组件的示意性视图；

图3示出了根据本发明的方法；

图4至图5示出了以帧构造的两个视频数据流；

图6示出了本发明的应用的可视化。

具体实施方式

在图1上示出了根据本发明的视频回放系统1。系统1装配在零售商店中，仅示出了商店中的货架2。货架2具有两个货架层3，货物8被置于其上。在其前面，每个货架层3包括货架围栏4（未详细示出），两个视频屏幕5沿其整个长度附着到货架围栏4。除此之外，还示出了两个相同的回放装置6A和6B。第一装置6A连接到上层3上的屏幕5，并且第二装置6B连接到下层3上的屏幕5。

服务器7经由无线电信号8将要显示在屏幕5上的视频内容（影片）提供给装置6A和6B二者。视频内容以压缩视频数据的形式递送，压缩视频数据是以标记有帧号的帧构造的。

图2以框图形式示出了组件的连接。此处示出了装置6A和6B与它们的显示器5的基于线缆的连接。

在下文中，通过在这两个装置6A和6B上同步视频回放的方法来解释系统1的操作。结果，这两个货架围栏上的视频回放彼此同步。现在借助于图3中所示的流程图来解释该方法。

该方法开始于框9。在框10中，服务器将视频发出到装置6A、6B。在框11中，装置6A、6B开始回放视频。

在框12中，每个装置6A和6B参与了（attend）其自身时钟的一秒钟的流逝。在流逝了一秒钟之后，各个装置6A、6B传输回放进度数据，该回放进度数据表示各个装置6A、6B中当前使用的帧的帧号。在装置6B处接收装置6A的回放进度数据的传输，并且反之亦然。

在框13中，装置6A、6B将接收到的帧号与当前在其自身的回放进度中使用的帧号进行比较。

不管这两个装置6A、8B中的哪一个首先检测到大于2帧的差异的问题，检测到了差异的装置6A或6B都会立即发出同步命令，这在框14中发生。同步命令的变元是彼此比较后的两个帧号中的较高的帧号。

接下来，借助于图4和图5来解释该方法，图4和图5可视化了以帧构造的视频数据19。上部视频数据19由第一装置6A处理，而下部视频数据19由第二装置6B处理。视频数据19和20都是相同的，并且如最初提到的那样，都是由服务器提交的。图4还示出了异步回放进度，因为第一处理指针20指示第一装置6A当前处理的帧号N，而同时第二装置6B处理用第二处理指针21示出的帧号N+2。

此处，帧号N+2是同步命令的变元，其为彼此比较后的两个帧中的较高的号。

在本示例中，假定第一装置6A首先检测到了异步回放进度并且发出同步命令。

现在回到图3，在框15中，这两个装置6A和6B通过在帧号N+2处继续它们的回放而被重新同步。同样，图5示出了回放进度的重新同步。特别地，其示出了第一处理指针20向前移动到帧号N+2（由箭头22指示），而第二处理指针21仍在帧号N+2处。

现在，在帧号N+2处，这两个装置继续回放视频，这在图3中与框15相关联。

在框16中，执行视频是否到达其终点的检查。如果未到达终点，则该方法分支到框12，以便参与所述一秒间隔的流逝，然后（bevor）重复同步检查。

如果在框16中检测到视频的结束，则该方法在框17中结束。要提到的是，视频也可以通过循环播放来重复。

如果在框13中没有检测到大于2的差异，则该方法分支到框16。

尽管到目前为止通过仅两个显示装置6A和6B解释了本发明的方法，但是要提到的是，在具有相对大量的显示装置（例如几千个）的系统中，大量的装置可以在其中一个装置检测到单个异步事件之前彼此同步地操作更长的时间段。然后，该检测到的异步回放进度事件将导致所有其他装置调整为检测到异步回放进度的装置所指定的帧号。

在下文中，现在借助于图6来解释系统1的操作。图6示出了视频23的快照，视频23在开始在三个显示装置6A、6B、6C上回放之前被服务器7分发给了所述装置6A至6C。根据该实施例，每个装置6A至6C驱动单个屏幕5。

尽管在图6中未示出屏幕5装配于其上的货架2，但是为了清楚起见要提到的是，装置6A至6C中的每一个都控制其单独的屏幕5的回放。屏幕5中的每一个都覆盖货架围栏4中的一个。每个货架围栏4形成货架层3的前面，在本情况中，在所述货架层3上展示登山产品（未示出）。三个货架层3作为货架2的一部分被布置成一个在另一个之上。

服务器7对装置6A、6B、6C进行了编程，以利用单独的缩放设置回放视频23的整个内容的仅一部分。此处，安装在上货架围栏4上的上屏幕5的缩放被设置为视频23的上部，在快照中，示出了两个登山者到达山顶。中间货架围栏4上的屏幕5的缩放被设置为视频23的中心部分，在快照中，示出了登山者之一的腿正要向上移动。底部货架围栏4上的屏幕5的缩放在其左侧示出了远处风景的视图，而在其右部可以在快照中看到前景中的岩石。

视频的各个区段上的缩放是例如借助于称为“视图框”的众所周知的视频特征来实现的。三个单独的缩放设置之外的视频内容根本不会示出在屏幕5上。然而，在货架2的空间布置中，屏幕5之间的该区域用于展示与登山有关的产品。

这允许将同步的视频体验空间分布在三个屏幕5上，实际上是在三个货架围栏4上。由于登山家视频23在三个货架围栏4上的空间分布，现在在适当的情境下展示了登山产品。

除此之外，图6还示出了在所述登山产品位于货架层3上的适当位置处显示的（虚拟电子货架标签的）电子货架标签内容24。该内容被嵌入到视频23中，并且也由服务器7提供给各个装置6A至6C。内容24可以包括由波浪线25指示的与产品有关的静态（文本）信息和/或价格信息。内容24还可以包括被分配给特定电子货架标签24的单独的视频序列25和26（例如参见中间屏幕5）。

除此之外，整个电子货架标签内容24或甚至屏幕5的各个区域也可以用于显示广告视频，所述广告视频最初被分发给各个回放装置6A至6C，并且然后以分布在三个货架围栏屏幕5上的方式进行回放。类似于（背景）视频23，整个广告体验是从在不同屏幕5上以同步模式回放的广告视频的各个广告元素的分布式显示组合而成的。实际上，在这种模式下，显示装置6A至6C同时回放两个不同的视频——一方面是（背景）视频23，并且另一方面是所述广告视频。同样在该同时回放模式下，装置6A至6C利用根据本发明的手段来针对两个单独的视频（背景视频23和广告视频）在不同的显示装置6A至6C上保持回放同步。

这个构思也可以应用于更多的视频。

根据本发明的手段也可以应用在这样的配置中，其中，视频23（以及可选地与其他广告视频一起，如上所述）例如以同步模式在分布于两个或更多个货架2上的显示装置6A、6B、6C等上回放，所述两个或更多个货架2例如并排放置或彼此堆叠。

因此，可以有利地将根据本发明的用于保持视频回放同步的手段应用于可通过在多个货架围栏4上的分布式视频回放而实现的所有各种视频体验。

总而言之，本发明的方法和系统提供了在整组回放装置上的回放进度的稳健且可靠、即时的重新同步。可以用相对便宜的硬件来实现此特征，并且此特征不需要执行任何高复杂度的通信协议。

最后，再次要注意的是，以上详细描述的附图仅涉及示例性实施例，专业人士可以在不脱离本发明的范围的情况下以各种各样的方式对其进行修改。为了完整起见，还要声明，不定冠词“一”或“一个”的使用并不意味着相应的特征不能多次出现。

Claims

1.一种视频回放系统（1），其包括要在其屏幕（5）上回放视频的多个回放装置（6A、6B），

每个回放装置（6A、6B）包括

- 要存储表示所述视频的视频数据（9）的存储器，以及

- 要彼此传送数据的通信级，

其中，装置（6A、6B）被设计成

+ 经由通信级向其他装置（6B、6A）传输视频回放进度数据，并且

+ 基于接收到的进度数据来确定其与其他装置（6B、6A）处于同步还是异步回放进度。

2.根据权利要求1所述的系统（1），包括视频分发服务器（7），其用于将视频数据（9）分发给装置（6A、6B），特别是在于设备（6A、6B）处的视频回放开始之前分发视频的整个视频数据（9）。

3.根据前述权利要求中的任一项所述的系统（1），其中，装置（6A、6B）被设计成与将视频数据（9）分发给了装置（6A、6B）的视频分发服务器（7）独立地确定它们处于同步或异步回放进度中。

4.根据前述权利要求中的任一项所述的系统（1），其中，装置（6A、6B）被设计成

+ 回放以标记有帧号的帧构造的压缩视频数据（9），并且

+ 利用标记当前正回放的帧的帧号作为要传输的进度数据。

5.根据权利要求4所述的系统（1），其中，每个装置（6A、6B）被设计成将接收到的帧号与装置（6A、6B）处当前正回放的帧的帧号进行比较，并且如果彼此比较后的帧号之差超过预定阈值，则确定异步回放进度。

6.根据前述权利要求中的任一项所述的系统（1），其中，每个装置（6A、6B）被设计成反复传输进度数据，优选地以周期性的方式，更优选地每秒一次。

7.根据前述权利要求中的任一项所述的系统（1），其中，每个装置被设计成在其检测到异步回放进度的情况下通过其通信级来广播用于调整装置（6A、6B）的回放进度的调整数据。

8.根据权利要求7所述的系统（1），其中，每个装置（6A、6B）被设计成将调整数据嵌入同步命令中。

9.根据权利要求7至8中的任一项所述的系统（1），其中，每个装置（6A、6B）被设计成

- 接收调整数据，并且

- 根据调整数据来调整其回放进度，特别地，继续以标记有帧号的帧构造的其压缩视频数据的回放，其中，所述帧号是在调整数据的广播中接收到的。

10.根据前述权利要求中的任一项所述的系统（1），其中，通信级被设计成使用UDP多播数据包进行通信。

11.根据前述权利要求中的任一项所述的系统（1），其中，每个显示装置（6A、6B）

+ 包括其屏幕（5）或多个屏幕（5），或者

+ 连接到其外部屏幕（5）或多个屏幕（5），

所述屏幕（5）要由所述显示装置（6A、6B）来控制。

12.根据前述权利要求中的任一项所述的系统（1），其中，所述屏幕（5）被设计成

+ 实现货架围栏（4）或其一部分，或者

+ 覆盖所述屏幕（5）可附着到的货架围栏（4）的前面或其部分。

13.根据前述权利要求中的任一项所述的系统（1），其中，该系统实现了启用了视频回放的电子货架标签系统。

14.根据前述权利要求中的任一项所述的系统（1），其中，显示装置（6A、6B）被设计成借助于虚拟电子货架标签来显示产品信息或与产品价格相关的信息，所述虚拟电子货架标签显示在屏幕（5）的显示区域的一区段内，与视频内容重叠或替换所述区段的视频内容。

15.将根据前述权利要求中的任一项所述的系统（1）用作启用了视频回放的电子货架标签系统以用于针对多个货架围栏（4）回放同步视频内容的用途，其中，所述货架围栏（4）中的每一个由屏幕（5）来实现或承载屏幕（5）。