CN102037728B - 用于同步交互标记与流传输内容的设备和方法 - Google Patents
用于同步交互标记与流传输内容的设备和方法 Download PDFInfo
- Publication number
- CN102037728B CN102037728B CN2009801179340A CN200980117934A CN102037728B CN 102037728 B CN102037728 B CN 102037728B CN 2009801179340 A CN2009801179340 A CN 2009801179340A CN 200980117934 A CN200980117934 A CN 200980117934A CN 102037728 B CN102037728 B CN 102037728B
- Authority
- CN
- China
- Prior art keywords
- frame
- content
- video
- rtp
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 title abstract description 16
- 238000002372 labelling Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012966 insertion method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种用于将交互标记插入流传输内容的设备和方法,所述方法包括以下步骤:接收(S1)第一格式的流传输内容;接收(S2)第二格式的相同流传输内容;接收(S3)与第一格式的所述内容的第一帧相对应的交互标记;以及与以第二格式接收到的内容的第二帧同步地发送(S5)所述交互标记。所述第二帧中的内容与所述第一帧中的内容相对应。
Description
技术领域
本发明总体上涉及流传输内容,具体涉及与流传输内容同步地传送交互标记。
背景技术
本部分旨在向读者介绍所描述的和/或权利要求中要求保护的本发明的各方面。相信这些讨论有助于为读者提供背景信息以便于更好地理解本发明的各方面。因此,应理解,这些陈述应在此范围内阅读,而不是作为对现有技术的认可。
交互服务机制提供视频节目和可以与用户交互的应用之间的同步,以便向用户提供附加或交互服务。交互服务的示例是投票应用、交互游戏、获得与产品有关的信息、产品订购。视频节目可以是现场直播,从摄像机流传输出至广播装置,并且最终到达终端,或者是预先记录的并且从服务器流传输至终端。在终端中视频节目也可以从文件进行本地播放。交互服务需要与视频节目同步。对同步信息进行管理、从网络侧发送,以及由终端获取该同步信息。这允许获知何时激活关联的交互应用或被称作交互对象的交互应用的一部分。
交互对象是与被称作小应用程序或脚本的实例有关的软件(可由处理器执行或可由虚拟机解译),该软件使用人机界面向终端的用户提供与该用户当前观看的视频节目交互的能力。
在视频分发系统中,通常使用端到端解决方案,通过广播装置将交互内容从内容供应商直至传输到终端。内容供应商和广播装置有时仅形成一个实体。
来自Thomson Licensing的欧洲专利申请07300769.2描述了使用RTP时间戳同步标记形式下的交互内容的传输。
不必在视频编码器处执行交互内容的插入。那么交互内容与视频编码器的输出处的视频内容不精确同步。
发明内容
本发明尝试修改与现有技术中的同步有关的至少一些方面。
为此,本发明涉及一种用于将交互标记插入流传输内容的方法,所述方法包括以下步骤:接收第一形式的流传输内容;接收第二形式的相同流传输内容;接收与第一形式的内容的第一帧相对应的交互标记;以及与以第二形式接收到的内容的第二帧同步地发送交互标记。第二帧中的内容与第一帧中的内容相对应。
根据实施例,所述方法包括以下步骤:计算接收第一形式的流传输内容的第一帧与接收第二形式的流传输内容的第二帧之间的延迟,第二帧中的内容与第一帧中的内容相对应。
根据实施例,计算步骤在第一和第二内容的接收的开始处执行一次,或者重复执行。
根据实施例,交互标记附加至第二帧。
根据实施例,在与第二帧不同的分组中发送交互标记。
根据实施例,第一形式是未压缩形式,第二形式是压缩形式。
根据实施例,所述内容是视频内容。
根据实施例,压缩内容包括:RTP时间戳,并且交互标记与RTP时间戳同步。
本发明的另一目的是一种设备,包括:通信装置,用于接收第一形式的流传输内容,接收第二形式的流传输内容,以及发送第三形式的流传输内容;以及标记装置,用于在接收与第一形式的内容的第一帧相对应的交互标记时,与接收到的第二形式的内容的第二帧同步地发送交互标记,第二帧中的内容与第一帧中的内容相对应。
根据实施例,所述设备包括:校准装置,用于计算接收第一形式的流传输内容的第一帧与接收第二形式的流传输内容的第二帧之间的延迟,第二帧中的内容与第一帧中的内容相对应。
根据实施例,第一形式是未压缩形式,第二形式是压缩形式。
本发明的另一方面是一种计算机程序产品,包括:程序代码指令,在该程序在计算机上执行时执行根据本发明的方法的步骤。通过“计算机程序产品”,这意味着计算机程序载体,不仅可以是包含程序的存储空间(例如,磁盘或盒式磁带),也可以是信号(例如电或光信号)。
以下阐述了在范围上与所公开的实施例相当的特定方面。应当理解,提出这些方面仅向读者提供本发明可能采用的特定形式的简要概述,并且这些方面并不意在限制本发明的范围。实际上,本发明可以涵盖以下没有阐述的各个方面。
附图说明
参照附图,可以通过以下实施例和执行示例但并非限制性的,更好地理解和示意本发明,在附图中:
图1是符合实施例的系统的框图;
图2是符合实施例的对象的框图;
图3是符合实施例的模块的框图;以及
图4是示出了根据实施例的标记插入方法的流程图。
在图1至3中,所呈现的模块是纯功能实体,不必与物理上分离的实体相对应。即,这些模块可以以硬件或软件的形式开发,或者在一个或若干集成电路中实现。
具体实施方式
示例实施例在具有RTP的压缩视频的传送的框架的范围内,但是本发明不限于该特定实施例,并且可以在其他框架中应用,在其他框架中,以未压缩和压缩方式连续地传送流传输内容。
在图1中示出了根据实施例的系统。仅示出了一个终端,但显而易见的是,系统中可以有多于一个终端。视频源1是服务器或任何其他视频节目源。视频源1将视频节目广播成未压缩格式。视频节目由视频编码器2和标记插入设备3(在下文中用MID表示)接收。视频节目包括音频-视频内容,并且可以包括诸如电视文本广播或限定标题(closedcaption)之类的交互内容。
视频编码器2将未压缩视频压缩成压缩流,然后使用RTP/RTCP发送。例如,根据UIT-T H.264标准对视频进行编码。然后通过IP网络5将RTP流传递至终端6。IP网络可以是支持组播传输的任何IP网络,例如互联网。
MID还从编码器接收压缩流传输内容。MID适于将标记插入到节目中。交互控制器4适于向MID提供交互标记,以在适当的时候插入到内容中。交互控制器包括允许操作人员观看所广播的视频节目的监视器。在交互控制处的创作工具提供预先产生交互序列并且将这些交互序列传递至MID的装置,MID然后将这些交互序列通过专用信道或按照被嵌入到关联的媒体流中的方式转发至终端。当然,交互控制器和MID可以配置在相同的设备中。
例如,当在足球比赛期间标记进球时,通过按压按钮,操作人员发起标记的产生,以指示终端执行预加载的应用。该应用例如可以是对足球比赛的最佳球员进行投票的邀请。MID将所涉及的对象视为条目来激活,例如URI或终端容易解译的标识符。然后终端将该标记用作使能符,以便在特定时间根据视频呈现发起动作。
可以使用首部扩展将标记嵌入到视频RTP分组中,或者标记可以是自身在专用标记流上发送且与视频流同步的RTP分组。视频的呈现时间基于RTP时间戳。该RTP时间戳指示在RTP首部扩展使用的情况下将标记插入在视频流RTP分组中的何处,以进行标记。如果在分离的标记流中发送标记,则将该视频RTP时间戳转译成绝对时间,以利用与该绝对时间相对应的正确时间戳在正确时间产生对应的标记流RTP分组。进行将视频RTP时间戳转译成绝对时间是依据从视频编码器接收到的RTCP发送方报告。
在图2中示出了MID 3。MID 3包括处理模块32、通信模块31、存储模块33以及标记模块34。内部总线36适于连接这些模块,以实现它们之间控制和数据分组以及信号的传输。通信模块31包括用于从视频源和视频编码器接收视频数据的装置。通信模块31包括用于利用视频编码器和交互控制器发送和接收数据的装置。通信模块31还包括用于将数据发送至移动终端的装置。
标记模块34意在提供用于插入与视频相对应的交互信息的装置。定时模块341意在当可以将交互标记插入到视频帧中时提供定时。插入模块342意在将标记插入到视频帧中。插入模块342可以利用从交互控制器接收到的信息产生标记。校准模块343适于执行输出时间到输入时间的校准。
MID然后适于使视频帧的可视化的时间和分组的RTP时间戳一致,其中,该帧在编码器的输出处传送。更精确地,使操作人员产生与在显示器上观看到的视频节目相对应的交互标记的时间和MID输出与该视频节目相对应的编码帧的时间一致。
在图3中还示出了校准模块343。第一通信模块3.1和第二通信模块3.2是图2的通信模块31的部件。第一通信模块从视频源1接收未压缩视频。第二通信模块从视频编码器2接收压缩视频。校准模块包括视频获取模块3.3,从第一通信模块31接收未压缩视频(第一视频)。在MID时钟的值t0同时捕获视频帧。t0是在MID处捕获视频帧的时间的值,其中,该时间与MID处的时钟的值相对应。视频获取模块303将第一视频帧发送至视频匹配模块3.6。
编码视频获取模块3.4从第二通信模块3.2接收压缩视频。编码视频获取模块3.4将压缩视频发送至视频解码模块3.5。视频解码模块3.5对视频帧frame_i进行解码,并且还获得RTP时间戳的值RTPi以及相应编码器的时钟值tVi,根据编码器2所产生的RTCP发送方报告,对这两个值进行计算。
解码之后第一视频和第二视频的格式和大小是相同的。例如,第一视频的格式是YUV 420格式。然后,通过视频解码模块3.5将在第二接口(从编码器接收RTP分组的以太网接口)上捕获的RTP流解码成未处理的YUV 420视频帧。然后,视频解码模块3.5将已解码视频帧(也被称作第二视频帧)发送至视频匹配模块。视频解码模块3.5发送具有对应的RTPVi和tVi的每个frame_i。在伴随RTP视频流的RTCP发送方报告的帮助下,使用以下方程来计算所有的值tVi:
其中:
-tRTCP是RTCP发送方报告中给出的时间值;
-RTPRTCP是与RTCP发送方报告中给出的tRTCP相对应的RTP时间戳;
-RTPVi是frame_i的RTP时间戳;
-视频时间标度(Video Timescale)与视频编码器的帧发射频率相对应,即,每秒RTP时间戳。
视频时间标度允许提供参考时间标度与RTP时间戳之间的一致性。视频时间标度与视频编码器的帧发射频率相对应。这可以由编码器通过SDP宣告(RFC 4566)提供给接收机。该RFC指定通过RTP广播的媒体(视频、音频或其他)的描述包含被称作“rtpmap”的定义“时钟速率”字段的属性。编码器还分发音频时间标度。
然后在视频匹配模块处执行校准。使用以下公式将第二帧中的每一个的像素与第一帧的那些像素进行比较,其中,MSE是均方差:
其中
-M是已解码帧的宽度,以像素数目
-N是已解码帧的高度,以像素数目
-f(i,j)是第二帧的像素(i,j)
-F(i,j)是第一帧的像素(i,j)。
仅在帧的Y(亮度)平面上执行计算,忽略U和V(色度)平面。备选地,通过逐平面计算,在帧的所有平面上执行计算,并且例如利用以下加权对结果进行平均:对于Y为4,对于U为1,对于V为1。
然后视频匹配模块计算以分贝(dB)为单位的峰值信噪比(PSNR)。视频匹配模块根据以下公式使用均方根误差(RMSE),均方根误差(RMSE)是MSE的方根:
然后选择PSNR的最高值。PSNR的最高值对应于与输入帧匹配更好的frame_i。视频匹配模块获得该frame_i的时钟值tVi和RTPVi值。该RTPVi值是与在t0处接收到的第一帧匹配更好的RTP帧的值。这被称作RTPV0,并且与RTP交互流时间线参考中的时间戳值RTP0相对应。
在这一点,建立编码器输入处的时间与RTP时间线之间的关系。进行校准。然后如下所述在标记插入处使用该信息。
当操作人员在接收时间ti处所接收到的第一帧时执行标记插入时,将该标记附着至与RTP时间戳值RTPi一同发送的帧,RTP时间戳值RTPi对应于以下公式:
RTPi=RTP0+(ti-t0-Δd)·交互时间标度
其中:
-Δd是显示链引入的恒定延迟值。这是在MID处设置的固定值。
-交互时间标度(Interactive timescale)与MID的交互触发器发射频率(以每秒RTP时间戳)相对应。
交互时间标度由MID分发至接收机。MID对SDP文件进行解译,并且插入交互时间标度参数。MID然后将修改后的SDP文件发送至接收机。
更一般地,可以在除了解码器和MID以外的设备处构建SDP文件。该设备然后根据从编码器和MID接收到的信息来构建完整的SDP文件。
根据实施例,标记是被称作标记流的专用RTP流的一部分。如图1所示,通过IP网络将标记流发送至终端6。当然,可以将标记插入到视频RTP流本身中。在这种情况下,MID在编码器的输出处,并起到代理的作用,以便滤出(filter out)其中添加了RTP首部扩展的输入RTP分组。编码器不将RTP分组直接发送至IP网络,而是将RTP分组发送至MID。如果将标记插入到视频RTP流本身中,则RTPV0和RTP0相同,并且交互时间标度等于视频时间标度。
根据实施例,编码器的时钟和MID的时钟同步。网络时间协议(NTP)用于将时钟设置为相同值;编码器和MID使用同一NTP服务器。然后只此一次计算RTP时间戳之间的一致性。
备选地,MID计算漂移补偿因子C,以调整RTP预测。该因子通过在编码器的输出处捕获RTP分组来获得。使用所定义的数据点(捕获时间;RTP时间戳),其中b是通过这些数据点的线性回归线的斜率,将C设置为以下值:C=b/视频时间标度。那么,RTP预测公式为:
RTPi=RTP0+(ti-t0-Δd)·C·视频时间标度
在图4中示出了如上所述的标记插入方法。
在步骤S1处,MID接收未压缩流传输内容的帧。
在步骤S2处,MID接收压缩流传输内容的帧。这是与以压缩形式接收到的流传输内容相同的流传输内容。
在步骤S3处,MID接收与在t0处接收到的未压缩流传输内容的帧相对应的交互标记。MID适于将交互标记插入流传输内容。具体地,MID在压缩流传输内容中发送交互标记。
在步骤S4处,MID将交互标记与压缩内容的帧同步,压缩内容的帧与在t0处接收到的未压缩流传输内容的帧相对应。在步骤S5处,MID发送交互标记。
已经针对视频流描述了实施例。该实施例当然适用于音频流。在那种情况下,系统包含音频编码器和解码器,而不是视频编码器和解码器。在MID的输入与输出之间执行校准。在足够长的时间段期间,在MID的输入和输出处捕获未压缩音频和已编码音频;对于输入信号大约10秒,对于输出信号大约为1秒。
对于未压缩音频和已编码音频而言,音频采样率并不相同。通过SDP信令,使得采样参数可用。这允许MID执行本身公知的采样率转换,并且如果需要,执行声道数目的修改,例如对右声道和左声道进行平均,以获得单个单声道。
如下估计输出处的转换信号与输出信号之间的相关性,其中fn和gn是离散函数:
当函数f与g之间的相关性高时,f*g函数的值为高。输入信号与输出信号之间的间隙是与最高相关性相对应的nmax值。
那么,RTP值是:
RTP0=RTPcapture+nmax·视频时间标度
RTP时间戳可以被预测为:
RTPi=RTP0+(ti-t0)·视频时间标度
说明书、权利要求和附图中所公开的参考可以单独或以任何适合的组合方式来提供。特征在适当的时候可以以硬件、软件或二者的组合来实现。
这里对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实现中。说明书中不同位置出现的短语“在一个实施例中”不必都指代相同实施例,也不是与其他实施例相互排除的分离或备选实施例。
权利要求中出现的附图标记仅是示意性的,不应对权利要求的范围起到限制作用。
Claims (5)
1.一种在标记插入设备处用于将交互标记插入流传输内容的方法,在所述设备处所述方法包括以下步骤:
从第一源设备接收未压缩格式的流传输内容;
从第二设备接收压缩格式、且通过RTP传送的所述流传输内容;
从第三设备接收与未压缩格式的所述流传输内容的第一帧相对应的交互标记;
-将所述交互标记与压缩格式的所述流传输内容的第二帧同步,所述第二帧是其内容与所述第一帧中的内容相对应的帧;以及
-在RTP分组中发送所述交互标记,所述RTP分组具有与所述第二帧的时间戳相对应的时间戳。
2.根据权利要求1所述的方法,其特征在于,所述交互标记被附加至所述第二帧。
3.根据前述权利要求中任一项所述的方法,其特征在于,在与所述第二帧不同的RTP分组中发送所述交互标记。
4.根据权利要求1所述的方法,其特征在于,所述内容是视频内容。
5.一种用于插入标记的设备(3),包括:
-通信装置,用于从第一设备接收未压缩格式的流传输内容,从第二设备接收压缩格式、且通过RTP传送的所述流传输内容;以及
-标记装置,用于在从第三设备接收与未压缩格式的所述流传输内容的第一帧相对应的交互标记时,将所述交互标记与压缩格式的所述流传输内容的第二帧同步,所述第二帧是其内容与所述第一帧中的内容相对应的帧,并且在RTP分组中发送所述交互标记,所述RTP分组具有与所述第二帧的时间戳相对应的时间戳。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08305178.9 | 2008-05-19 | ||
EP08305178A EP2124449A1 (en) | 2008-05-19 | 2008-05-19 | Device and method for synchronizing an interactive mark to streaming content |
PCT/EP2009/055880 WO2009141271A1 (en) | 2008-05-19 | 2009-05-14 | Device and method for synchronizing an interactive mark to streaming content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102037728A CN102037728A (zh) | 2011-04-27 |
CN102037728B true CN102037728B (zh) | 2013-03-27 |
Family
ID=39864921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801179340A Active CN102037728B (zh) | 2008-05-19 | 2009-05-14 | 用于同步交互标记与流传输内容的设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9596505B2 (zh) |
EP (2) | EP2124449A1 (zh) |
JP (1) | JP5372143B2 (zh) |
KR (1) | KR101640148B1 (zh) |
CN (1) | CN102037728B (zh) |
WO (1) | WO2009141271A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5982359B2 (ja) * | 2011-03-04 | 2016-08-31 | 株式会社電通 | シンクロコンテンツ放送配信システム |
JP2013134119A (ja) * | 2011-12-26 | 2013-07-08 | Sony Corp | 送信装置、送信方法、受信装置、受信方法、同期伝送システム、同期伝送方法、およびプログラム |
JP2015512069A (ja) * | 2012-01-06 | 2015-04-23 | トムソン ライセンシングThomson Licensing | ファーストスクリーン上のコンテンツと同期が取られたソーシャルメッセージの表示をセカンドスクリーン上で提供するための方法およびシステム |
US9420322B2 (en) * | 2012-03-14 | 2016-08-16 | Time Warner Cable Enterprises Llc | System and method for delivering compressed applications |
US9883361B2 (en) * | 2012-07-27 | 2018-01-30 | Qualcomm Incorporated | Delivering time synchronized arbitrary data in an RTP session |
CN104735552A (zh) * | 2013-12-23 | 2015-06-24 | 北京中传数广技术有限公司 | 一种直播视频标签插入的方法与系统 |
CN105100963B (zh) * | 2014-05-22 | 2017-12-22 | 纬创资通股份有限公司 | 影音媒体文件合成方法与服务系统 |
CN113724744B (zh) | 2017-06-29 | 2023-05-05 | 杜比国际公司 | 用于使外部内容适配视频流的方法、系统和计算机可读媒体 |
CN110191367B (zh) * | 2018-02-23 | 2022-02-11 | 阿里巴巴集团控股有限公司 | 信息同步处理方法、装置及电子设备 |
WO2022002766A1 (en) * | 2020-07-03 | 2022-01-06 | Luminex Lighting Control Equipment Nv | Method, transmitting device and receiving device for streaming events |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6065050A (en) * | 1996-06-05 | 2000-05-16 | Sun Microsystems, Inc. | System and method for indexing between trick play and normal play video streams in a video delivery system |
JPH11146362A (ja) | 1997-11-12 | 1999-05-28 | Sony Corp | 送信装置および送信方法、受信装置および受信方法、並びに送受信装置および送受信方法 |
US7954056B2 (en) * | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
US20030001880A1 (en) * | 2001-04-18 | 2003-01-02 | Parkervision, Inc. | Method, system, and computer program product for producing and distributing enhanced media |
JP4407007B2 (ja) | 2000-05-02 | 2010-02-03 | ソニー株式会社 | データ送信装置及び方法 |
US20020083091A1 (en) * | 2000-11-29 | 2002-06-27 | Gregory Pulier | Seamless integration of video on a background object |
US7530086B2 (en) * | 2000-12-12 | 2009-05-05 | Hewlett-Packard Development Company, L.P. | Media program timing and identity delivery method and system |
KR100441589B1 (ko) | 2002-04-01 | 2004-07-23 | 삼성전자주식회사 | Rtp패킷 생성/복원 장치 및 방법 |
US7111314B2 (en) * | 2002-05-03 | 2006-09-19 | Time Warner Entertainment Company, L.P. | Technique for delivering entertainment programming content including interactive features in a communications network |
US7206327B2 (en) | 2002-05-17 | 2007-04-17 | Broadcom Corporation | Method and circuit for insertion of time stamp into real time data |
US20050275752A1 (en) | 2002-10-15 | 2005-12-15 | Koninklijke Philips Electronics N.V. | System and method for transmitting scalable coded video over an ip network |
US7403536B2 (en) | 2002-12-19 | 2008-07-22 | International Business Machines Corporation | Method and system for resequencing data packets switched through a parallel packet switch |
KR100556826B1 (ko) | 2003-04-17 | 2006-03-10 | 한국전자통신연구원 | Mpeg-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 |
EP1629502A1 (en) * | 2003-05-16 | 2006-03-01 | Koninklijke Philips Electronics N.V. | Method of recording and of replaying and video recording and replay systems |
JP2005012361A (ja) * | 2003-06-17 | 2005-01-13 | Mitsubishi Electric Corp | 情報配信装置及び情報再生装置 |
KR20050001242A (ko) | 2003-06-27 | 2005-01-06 | 엘지전자 주식회사 | 이동 통신 단말기의 화상 통화 방법 |
FR2857813A1 (fr) | 2003-07-16 | 2005-01-21 | St Microelectronics Sa | Methode d'insertion de marques de synchronisation dans un flux video, compatible avec un chiffrage par blocs |
JP2005159743A (ja) * | 2003-11-26 | 2005-06-16 | Sharp Corp | 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム |
CN1627813A (zh) * | 2003-12-09 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 一种生成精彩片段的方法和装置 |
KR100565333B1 (ko) | 2004-06-22 | 2006-03-30 | 엘지전자 주식회사 | 휴대단말기의 비디오 오디오 동기장치 및 방법 |
GB2419975A (en) | 2004-11-09 | 2006-05-10 | Nokia Corp | Auxiliary content handling |
JP2006279294A (ja) * | 2005-03-28 | 2006-10-12 | Tdk Corp | コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム |
WO2006129236A2 (en) | 2005-06-03 | 2006-12-07 | Koninklijke Philips Electronics N.V. | Method and apparatus for recording and trick playing interactive digital tv program |
US20070064813A1 (en) | 2005-09-16 | 2007-03-22 | Terayon Communication Systems, Inc., A Delaware Corporation | Distributed synchronous program superimposition |
WO2007050259A2 (en) | 2005-10-21 | 2007-05-03 | Thomson Licensing | Method and apparatus for audio and video synchronization timestamp rollover correction |
US7869420B2 (en) * | 2005-11-16 | 2011-01-11 | Cisco Technology, Inc. | Method and system for in-band signaling of multiple media streams |
US7706740B2 (en) * | 2006-01-06 | 2010-04-27 | Qualcomm Incorporated | Apparatus and methods of selective collection and selective presentation of content |
EP1826930A3 (en) | 2006-02-27 | 2012-10-10 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting mobility in DVB-H CBMS system |
EP1855402A1 (en) | 2006-05-11 | 2007-11-14 | Koninklijke Philips Electronics N.V. | Transmission, reception and synchronisation of two data streams |
EP1954054A1 (en) | 2007-02-02 | 2008-08-06 | Thomson Licensing | System and method for transporting interactive marks |
-
2008
- 2008-05-19 EP EP08305178A patent/EP2124449A1/en not_active Withdrawn
-
2009
- 2009-05-14 CN CN2009801179340A patent/CN102037728B/zh active Active
- 2009-05-14 US US12/736,873 patent/US9596505B2/en active Active
- 2009-05-14 WO PCT/EP2009/055880 patent/WO2009141271A1/en active Application Filing
- 2009-05-14 EP EP09749761A patent/EP2277310A1/en not_active Withdrawn
- 2009-05-14 JP JP2011509935A patent/JP5372143B2/ja active Active
- 2009-05-14 KR KR1020107025805A patent/KR101640148B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
US9596505B2 (en) | 2017-03-14 |
JP2011521576A (ja) | 2011-07-21 |
EP2124449A1 (en) | 2009-11-25 |
KR101640148B1 (ko) | 2016-07-15 |
WO2009141271A1 (en) | 2009-11-26 |
EP2277310A1 (en) | 2011-01-26 |
JP5372143B2 (ja) | 2013-12-18 |
US20110063502A1 (en) | 2011-03-17 |
CN102037728A (zh) | 2011-04-27 |
KR20110014990A (ko) | 2011-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102037728B (zh) | 用于同步交互标记与流传输内容的设备和方法 | |
EP2628297B1 (en) | Method for synchronizing multimedia flows and corresponding device | |
EP1954054A1 (en) | System and method for transporting interactive marks | |
KR100837720B1 (ko) | 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법 | |
US9609179B2 (en) | Methods for processing multimedia flows and corresponding devices | |
CN101895750A (zh) | 面向机顶盒和pc的实时流媒体服务器及工作方法 | |
WO2012034442A1 (zh) | 实现可伸缩视频编码业务同步发送、接收的系统和方法 | |
US10231007B2 (en) | Transmission device, transmitting method, reception device, and receiving method | |
CN109040818A (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
CN101218819A (zh) | 数字多媒体广播中同步数据服务和视频服务的方法和装置 | |
US20100205317A1 (en) | Transmission, reception and synchronisation of two data streams | |
EP2575371A1 (en) | Method and measurement system for evaluating a delay between audio and video signals in an audio/video stream | |
CN112272316B (zh) | 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统 | |
CN116489342B (zh) | 确定编码延时的方法、装置、及电子设备、存储介质 | |
RU2773903C1 (ru) | Вещательная кодирующая группа MPEG "Кодер-декодер" | |
Han et al. | DTV lip-sync test using time-indexed audio and video signals without effect on program | |
CN116939237A (zh) | 一种基于iot钢琴的直播教学方法 | |
KR101808672B1 (ko) | 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3d 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법 | |
EP2150066A1 (en) | Procedure for measuring the change channel time on digital television |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190520 Address after: France Patentee after: Interactive Digital CE Patent Holding Company Address before: I Si Eli Murli Nor, France Patentee before: Thomson Licensing Trade Co. |