CN102037728A - 用于同步交互标记与流传输内容的设备和方法 - Google Patents

Abstract

本发明涉及一种用于将交互标记插入流传输内容的设备和方法，所述方法包括以下步骤：接收(S1)第一格式的流传输内容；接收(S2)第二格式的相同流传输内容；接收(S3)与第一格式的所述内容的第一帧相对应的交互标记；以及与以第二格式接收到的内容的第二帧同步地发送(S5)所述交互标记。所述第二帧中的内容与所述第一帧中的内容相对应。

Description

用于同步交互标记与流传输内容的设备和方法

技术领域

本发明总体上涉及流传输内容，具体涉及与流传输内容同步地传送交互标记。

背景技术

本部分旨在向读者介绍所描述的和/或权利要求中要求保护的本发明的各方面。相信这些讨论有助于为读者提供背景信息以便于更好地理解本发明的各方面。因此，应理解，这些陈述应在此范围内阅读，而不是作为对现有技术的认可。

交互服务机制提供视频节目和可以与用户交互的应用之间的同步，以便向用户提供附加或交互服务。交互服务的示例是投票应用、交互游戏、获得与产品有关的信息、产品订购。视频节目可以是现场直播，从摄像机流传输出至广播装置，并且最终到达终端，或者是预先记录的并且从服务器流传输至终端。在终端中视频节目也可以从文件进行本地播放。交互服务需要与视频节目同步。对同步信息进行管理、从网络侧发送，以及由终端获取该同步信息。这允许获知何时激活关联的交互应用或被称作交互对象的交互应用的一部分。

交互对象是与被称作小应用程序或脚本的实例有关的软件(可由处理器执行或可由虚拟机解译)，该软件使用人机界面向终端的用户提供与该用户当前观看的视频节目交互的能力。

在视频分发系统中，通常使用端到端解决方案，通过广播装置将交互内容从内容供应商直至传输到终端。内容供应商和广播装置有时仅形成一个实体。

来自Thomson Licensing的欧洲专利申请07300769.2描述了使用RTP时间戳同步标记形式下的交互内容的传输。

不必在视频编码器处执行交互内容的插入。那么交互内容与视频编码器的输出处的视频内容不精确同步。

发明内容

本发明尝试修改与现有技术中的同步有关的至少一些方面。

为此，本发明涉及一种用于将交互标记插入流传输内容的方法，所述方法包括以下步骤：接收第一形式的流传输内容；接收第二形式的相同流传输内容；接收与第一形式的内容的第一帧相对应的交互标记；以及与以第二形式接收到的内容的第二帧同步地发送交互标记。第二帧中的内容与第一帧中的内容相对应。

根据实施例，所述方法包括以下步骤：计算接收第一形式的流传输内容的第一帧与接收第二形式的流传输内容的第二帧之间的延迟，第二帧中的内容与第一帧中的内容相对应。

根据实施例，计算步骤在第一和第二内容的接收的开始处执行一次，或者重复执行。

根据实施例，交互标记附加至第二帧。

根据实施例，在与第二帧不同的分组中发送交互标记。

根据实施例，第一形式是未压缩形式，第二形式是压缩形式。

根据实施例，所述内容是视频内容。

根据实施例，压缩内容包括：RTP时间戳，并且交互标记与RTP时间戳同步。

本发明的另一目的是一种设备，包括：通信装置，用于接收第一形式的流传输内容，接收第二形式的流传输内容，以及发送第三形式的流传输内容；以及标记装置，用于在接收与第一形式的内容的第一帧相对应的交互标记时，与接收到的第二形式的内容的第二帧同步地发送交互标记，第二帧中的内容与第一帧中的内容相对应。

根据实施例，所述设备包括：校准装置，用于计算接收第一形式的流传输内容的第一帧与接收第二形式的流传输内容的第二帧之间的延迟，第二帧中的内容与第一帧中的内容相对应。

根据实施例，第一形式是未压缩形式，第二形式是压缩形式。

本发明的另一方面是一种计算机程序产品，包括：程序代码指令，在该程序在计算机上执行时执行根据本发明的方法的步骤。通过“计算机程序产品”，这意味着计算机程序载体，不仅可以是包含程序的存储空间(例如，磁盘或盒式磁带)，也可以是信号(例如电或光信号)。

以下阐述了在范围上与所公开的实施例相当的特定方面。应当理解，提出这些方面仅向读者提供本发明可能采用的特定形式的简要概述，并且这些方面并不意在限制本发明的范围。实际上，本发明可以涵盖以下没有阐述的各个方面。

附图说明

参照附图，可以通过以下实施例和执行示例但并非限制性的，更好地理解和示意本发明，在附图中：

图1是符合实施例的系统的框图；

图2是符合实施例的对象的框图；

图3是符合实施例的模块的框图；以及

图4是示出了根据实施例的标记插入方法的流程图。

在图1至3中，所呈现的模块是纯功能实体，不必与物理上分离的实体相对应。即，这些模块可以以硬件或软件的形式开发，或者在一个或若干集成电路中实现。

具体实施方式

示例实施例在具有RTP的压缩视频的传送的框架的范围内，但是本发明不限于该特定实施例，并且可以在其他框架中应用，在其他框架中，以未压缩和压缩方式连续地传送流传输内容。

在图1中示出了根据实施例的系统。仅示出了一个终端，但显而易见的是，系统中可以有多于一个终端。视频源1是服务器或任何其他视频节目源。视频源1将视频节目广播成未压缩格式。视频节目由视频编码器2和标记插入设备3(在下文中用MID表示)接收。视频节目包括音频-视频内容，并且可以包括诸如电视文本广播或限定标题(closedcaption)之类的交互内容。

视频编码器2将未压缩视频压缩成压缩流，然后使用RTP/RTCP发送。例如，根据UIT-T H.264标准对视频进行编码。然后通过IP网络5将RTP流传递至终端6。IP网络可以是支持组播传输的任何IP网络，例如互联网。

MID还从编码器接收压缩流传输内容。MID适于将标记插入到节目中。交互控制器4适于向MID提供交互标记，以在适当的时候插入到内容中。交互控制器包括允许操作人员观看所广播的视频节目的监视器。在交互控制处的创作工具提供预先产生交互序列并且将这些交互序列传递至MID的装置，MID然后将这些交互序列通过专用信道或按照被嵌入到关联的媒体流中的方式转发至终端。当然，交互控制器和MID可以配置在相同的设备中。

例如，当在足球比赛期间标记进球时，通过按压按钮，操作人员发起标记的产生，以指示终端执行预加载的应用。该应用例如可以是对足球比赛的最佳球员进行投票的邀请。MID将所涉及的对象视为条目来激活，例如URI或终端容易解译的标识符。然后终端将该标记用作使能符，以便在特定时间根据视频呈现发起动作。

可以使用首部扩展将标记嵌入到视频RTP分组中，或者标记可以是自身在专用标记流上发送且与视频流同步的RTP分组。视频的呈现时间基于RTP时间戳。该RTP时间戳指示在RTP首部扩展使用的情况下将标记插入在视频流RTP分组中的何处，以进行标记。如果在分离的标记流中发送标记，则将该视频RTP时间戳转译成绝对时间，以利用与该绝对时间相对应的正确时间戳在正确时间产生对应的标记流RTP分组。进行将视频RTP时间戳转译成绝对时间是依据从视频编码器接收到的RTCP发送方报告。

在图2中示出了MID 3。MID 3包括处理模块32、通信模块31、存储模块33以及标记模块34。内部总线36适于连接这些模块，以实现它们之间控制和数据分组以及信号的传输。通信模块31包括用于从视频源和视频编码器接收视频数据的装置。通信模块31包括用于利用视频编码器和交互控制器发送和接收数据的装置。通信模块31还包括用于将数据发送至移动终端的装置。

标记模块34意在提供用于插入与视频相对应的交互信息的装置。定时模块341意在当可以将交互标记插入到视频帧中时提供定时。插入模块342意在将标记插入到视频帧中。插入模块342可以利用从交互控制器接收到的信息产生标记。校准模块343适于执行输出时间到输入时间的校准。

MID然后适于使视频帧的可视化的时间和分组的RTP时间戳一致，其中，该帧在编码器的输出处传送。更精确地，使操作人员产生与在显示器上观看到的视频节目相对应的交互标记的时间和MID输出与该视频节目相对应的编码帧的时间一致。

在图3中还示出了校准模块343。第一通信模块3.1和第二通信模块3.2是图2的通信模块31的部件。第一通信模块从视频源1接收未压缩视频。第二通信模块从视频编码器2接收压缩视频。校准模块包括视频获取模块3.3，从第一通信模块31接收未压缩视频(第一视频)。在MID时钟的值t₀同时捕获视频帧。t₀是在MID处捕获视频帧的时间的值，其中，该时间与MID处的时钟的值相对应。视频获取模块303将第一视频帧发送至视频匹配模块3.6。

编码视频获取模块3.4从第二通信模块3.2接收压缩视频。编码视频获取模块3.4将压缩视频发送至视频解码模块3.5。视频解码模块3.5对视频帧frame_i进行解码，并且还获得RTP时间戳的值RTP_i以及相应编码器的时钟值t_Vi，根据编码器2所产生的RTCP发送方报告，对这两个值进行计算。

解码之后第一视频和第二视频的格式和大小是相同的。例如，第一视频的格式是YUV 420格式。然后，通过视频解码模块3.5将在第二接口(从编码器接收RTP分组的以太网接口)上捕获的RTP流解码成未处理的YUV 420视频帧。然后，视频解码模块3.5将已解码视频帧(也被称作第二视频帧)发送至视频匹配模块。视频解码模块3.5发送具有对应的RTP_Vi和t_Vi的每个frame_i。在伴随RTP视频流的RTCP发送方报告的帮助下，使用以下方程来计算所有的值t_Vi：

其中：

-t_RTCP是RTCP发送方报告中给出的时间值；

-RTP_RTCP是与RTCP发送方报告中给出的t_RTCP相对应的RTP时间戳；

-RTP_Vi是frame_i的RTP时间戳；

-视频时间标度(Video Timescale)与视频编码器的帧发射频率相对应，即，每秒RTP时间戳。

视频时间标度允许提供参考时间标度与RTP时间戳之间的一致性。视频时间标度与视频编码器的帧发射频率相对应。这可以由编码器通过SDP宣告(RFC 4566)提供给接收机。该RFC指定通过RTP广播的媒体(视频、音频或其他)的描述包含被称作“rtpmap”的定义“时钟速率”字段的属性。编码器还分发音频时间标度。

然后在视频匹配模块处执行校准。使用以下公式将第二帧中的每一个的像素与第一帧的那些像素进行比较，其中，MSE是均方差：

$\mathrm{MSE}=\frac{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{[f(i,j)-F(i,j)]}^2}{m\·n}$

其中

-M是已解码帧的宽度，以像素数目

-N是已解码帧的高度，以像素数目

-f(i，j)是第二帧的像素(i，j)

-F(i，j)是第一帧的像素(i，j)。

仅在帧的Y(亮度)平面上执行计算，忽略U和V(色度)平面。备选地，通过逐平面计算，在帧的所有平面上执行计算，并且例如利用以下加权对结果进行平均：对于Y为4，对于U为1，对于V为1。

然后视频匹配模块计算以分贝(dB)为单位的峰值信噪比(PSNR)。视频匹配模块根据以下公式使用均方根误差(RMSE)，均方根误差(RMSE)是MSE的方根：

$\mathrm{PSNR}={20\log }_{10}\left(\frac{255}{\mathrm{RMSE}}\right)$

然后选择PSNR的最高值。PSNR的最高值对应于与输入帧匹配更好的frame_i。视频匹配模块获得该frame_i的时钟值t_Vi和RTP_Vi值。该RTP_Vi值是与在t₀处接收到的第一帧匹配更好的RTP帧的值。这被称作RTP_V0，并且与RTP交互流时间线参考中的时间戳值RTP₀相对应。

在这一点，建立编码器输入处的时间与RTP时间线之间的关系。进行校准。然后如下所述在标记插入处使用该信息。

当操作人员在接收时间t_i处所接收到的第一帧时执行标记插入时，将该标记附着至与RTP时间戳值RTP_i一同发送的帧，RTP时间戳值RTP_i对应于以下公式：

RTP_i＝RTP₀+(t_i-t₀-Δ_d)·交互时间标度

其中：

-Δ_d是显示链引入的恒定延迟值。这是在MID处设置的固定值。

-交互时间标度(Interactive timescale)与MID的交互触发器发射频率(以每秒RTP时间戳)相对应。

交互时间标度由MID分发至接收机。MID对SDP文件进行解译，并且插入交互时间标度参数。MID然后将修改后的SDP文件发送至接收机。

更一般地，可以在除了解码器和MID以外的设备处构建SDP文件。该设备然后根据从编码器和MID接收到的信息来构建完整的SDP文件。

根据实施例，标记是被称作标记流的专用RTP流的一部分。如图1所示，通过IP网络将标记流发送至终端6。当然，可以将标记插入到视频RTP流本身中。在这种情况下，MID在编码器的输出处，并起到代理的作用，以便滤出(filter out)其中添加了RTP首部扩展的输入RTP分组。编码器不将RTP分组直接发送至IP网络，而是将RTP分组发送至MID。如果将标记插入到视频RTP流本身中，则RTP_V0和RTP₀相同，并且交互时间标度等于视频时间标度。

根据实施例，编码器的时钟和MID的时钟同步。网络时间协议(NTP)用于将时钟设置为相同值；编码器和MID使用同一NTP服务器。然后只此一次计算RTP时间戳之间的一致性。

备选地，MID计算漂移补偿因子C，以调整RTP预测。该因子通过在编码器的输出处捕获RTP分组来获得。使用所定义的数据点(捕获时间；RTP时间戳)，其中b是通过这些数据点的线性回归线的斜率，将C设置为以下值：C＝b/视频时间标度。那么，RTP预测公式为：

RTP_i＝RTP₀+(t_i-t₀-Δ_d)·C·视频时间标度

在图4中示出了如上所述的标记插入方法。

在步骤S1处，MID接收未压缩流传输内容的帧。

在步骤S2处，MID接收压缩流传输内容的帧。这是与以压缩形式接收到的流传输内容相同的流传输内容。

在步骤S3处，MID接收与在t₀处接收到的未压缩流传输内容的帧相对应的交互标记。MID适于将交互标记插入流传输内容。具体地，MID在压缩流传输内容中发送交互标记。

在步骤S4处，MID将交互标记与压缩内容的帧同步，压缩内容的帧与在t₀处接收到的未压缩流传输内容的帧相对应。在步骤S5处，MID发送交互标记。

已经针对视频流描述了实施例。该实施例当然适用于音频流。在那种情况下，系统包含音频编码器和解码器，而不是视频编码器和解码器。在MID的输入与输出之间执行校准。在足够长的时间段期间，在MID的输入和输出处捕获未压缩音频和已编码音频；对于输入信号大约10秒，对于输出信号大约为1秒。

对于未压缩音频和已编码音频而言，音频采样率并不相同。通过SDP信令，使得采样参数可用。这允许MID执行本身公知的采样率转换，并且如果需要，执行声道数目的修改，例如对右声道和左声道进行平均，以获得单个单声道。

如下估计输出处的转换信号与输出信号之间的相关性，其中f_n和g_n是离散函数：

$(f*g)\left[n\right]=\underset{j}{\mathrm{\Σ}}f\left[j\right]g[n+j]$

当函数f与g之间的相关性高时，f*g函数的值为高。输入信号与输出信号之间的间隙是与最高相关性相对应的n_max值。

那么，RTP值是：

RTP₀＝RTP_capture+n_max·视频时间标度

RTP时间戳可以被预测为：

RTP_i＝RTP₀+(t_i-t₀)·视频时间标度

说明书、权利要求和附图中所公开的参考可以单独或以任何适合的组合方式来提供。特征在适当的时候可以以硬件、软件或二者的组合来实现。

这里对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实现中。说明书中不同位置出现的短语“在一个实施例中”不必都指代相同实施例，也不是与其他实施例相互排除的分离或备选实施例。

权利要求中出现的附图标记仅是示意性的，不应对权利要求的范围起到限制作用。

Claims (12)

1.一种在标记插入设备(3)处用于将交互标记插入流传输内容的方法，所述方法包括在所述设备处执行的以下步骤：

-从第一源设备(1)接收(S1)第一格式的流传输内容；

-从第二设备(2)接收(S2)第二格式的所述流传输内容；

-从第三设备(4)接收(S3)与第一格式的所述内容的第一帧相对应的交互标记；以及

-与以第二格式接收到的内容的第二帧同步地发送(S5)所述交互标记，所述第二帧中的内容与所述第一帧中的内容相对应。

2.根据前述权利要求所述的方法，其特征在于，所述方法包括步骤：计算接收第一格式的流传输内容的第一帧与接收第二格式的流传输内容的第二帧之间的延迟，所述第二帧中的内容与所述第一帧中的内容相对应。

3.根据前述权利要求所述的方法，其特征在于，计算步骤在所述第一和第二内容的接收的开始处执行一次，或者重复执行。

4.根据前述权利要求中任一项所述的方法，其特征在于，所述交互标记被附加至所述第二帧。

5.根据前述权利要求中任一项所述的方法，其特征在于，在与所述第二帧不同的分组中发送所述交互标记。

6.根据前述权利要求中任一项所述的方法，其特征在于，所述第一格式是未压缩格式，所述第二格式是压缩格式。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述内容是视频内容。

8.根据权利要求6或7所述的方法，其特征在于，所述压缩内容包括：RTP时间戳，并且所述交互标记与所述RTP时间戳同步。

9.一种设备(3)，包括：通信装置(31)，用于从第一设备(1)接收第一格式的流传输内容，从第二设备(2)接收第二格式的所述流传输内容，以及发送第三格式的所述流传输内容；以及标记装置(34)，用于在从第三设备(4)接收与第一格式的所述内容的第一帧相对应的交互标记时，与以第二格式接收到的内容的第二帧同步地发送所述交互标记，所述第二帧中的内容与所述第一帧中的内容相对应。

10.根据前述权利要求所述的设备，其特征在于，所述设备包括：校准装置(343)，用于计算接收第一格式的流传输内容的第一帧与接收第二格式的流传输内容的第二帧之间的延迟，所述第二帧中的内容与所述第一帧中的内容相对应。

11.根据权利要求9或10所述的设备，其特征在于，所述第一格式是未压缩格式，所述第二格式是压缩格式。

12.一种计算机程序产品，包括：程序代码指令，当所述程序在计算机上执行时执行根据权利要求1至8所述的方法的步骤。

Images