CN102292988B - 用于使交互式语境内容与广播音频和/或视频同步的方法 - Google Patents

用于使交互式语境内容与广播音频和/或视频同步的方法 Download PDF

Info

Publication number
CN102292988B
CN102292988B CN200980147503.9A CN200980147503A CN102292988B CN 102292988 B CN102292988 B CN 102292988B CN 200980147503 A CN200980147503 A CN 200980147503A CN 102292988 B CN102292988 B CN 102292988B
Authority
CN
China
Prior art keywords
application
value
event
dsm
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980147503.9A
Other languages
English (en)
Other versions
CN102292988A (zh
Inventor
W·G·卡诺瓦
D·E·德布里托
M·A·拉莫斯阿尔维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Milacuro Software Co Ltd - Small Enterprises
Original Assignee
TQTVD Software Ltda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TQTVD Software Ltda filed Critical TQTVD Software Ltda
Publication of CN102292988A publication Critical patent/CN102292988A/zh
Application granted granted Critical
Publication of CN102292988B publication Critical patent/CN102292988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本发明描述了一种用于使交互式内容的数据与TV广播的音频和/或视频同步的方法。特别地，但非限制地，本发明的方法用于使数字TV应用的字幕同步。

Description

用于使交互式语境内容与广播音频和/或视频同步的方法
发明领域
本发明描述了一种用于使交互式内容的数据与TV广播的音频和/或视频同步的方法。特别地，但非限制地，本发明的方法用于使数字TV应用（application）的字幕同步。
发明背景
在数字电视的当前阶段，和交互式内容有关的数据可以和TV节目一起进行开发和广播。
将与音频/视频关联的交互式内容数据以及节目传输自身的音频和视频进行多路传输（multiplex），并将其通过广播设备用“传输流”进行发送。
考虑到该实现，需要随着音频/视频的传输正确地显示交互式内容，从而，所述内容与音频/视频的同步是最重要的。
专利文献描述了一些旨在以令人满意的方式解决这些内容的同步性问题的文件。
文件US2006/0050794描述了一种用于显示音频和视频数据的方法，其中仅在音频传输的开头执行同步，这使得一旦传输开始，数据的不同步就无法得到校正。本发明通过提出一种方法与该文件相区别，该方法用于使与所传输的节目的音频和/或视频相关的交互式内容同步，并在传输的整个持续过程中维持这一同步，即使是在无广播信号的时候。
文献检索未披露预期或暗示本发明的教导的文件，因此根据现有技术，在发明人看来，目前提出的解决方案具有新颖性和创造性。
发明内容
本发明的一个目标是用于使交互式内容的数据与TV广播的音频和/或视频同步的方法，该方法包括执行将在其中执行同步的数字TV的应用的步骤，其中准备好接收同步事件的该应用由广播设备经由DSM-CC协议例如经由对象轮放（object carousel）发送，并且当该应用被执行时，该应用会：
i）表现为带有事件信息的DSM-CC事件监听器，所述事件信息定义计数器的值，所述计数器包括：
-对应于交互式内容与音频和/或视频之间的同步性的值；以及
-时间间隔值，其指示所执行的该应用将何时检查交互式内容是否与音频和/或视频同步；
ii）识别经由DSM-CC传输的信息所发送的对应于同步的序列值（sequence value）以及时间间隔值；
iii）初始化计时器和自带计数器；以及
iv）在每一预设时间间隔，根据由DSM-CC流事件发送的值，使执行中的所述应用的交互式内容数据与TV广播的音频和/或视频同步；
其中，通过在项iii）中初始化的计时器和计数器，执行中的该应用能够维持序列值的递增计数，并以由DSM-CC流事件所告知的相同时间间隔保持同步性的检查，即使是在无信号的时候。
特别地，上述方法用于卡拉OK（karaoke）和/或videoke、电影和节目字幕、游戏等的应用。
本发明的这些和其他目标将立刻被本领域普通技术人员认识到，并将以充分的细节进行描述（充分公开），以使它们可以通过在前的描述再现。
具体实施方式
这里示出的实施例仅意在举例说明实现本发明的多种方式中的一种，但不限制本发明的范围。
本发明提供了用于使交互式内容的数据与TV广播的音频和/或视频同步的方法，该方法包括执行将在其中执行同步的数字TV的应用的步骤，其中准备好接收同步事件的该应用由广播设备经由DSM-CC协议例如经由对象轮放发送，并且当被执行时，将：
i）表现为带有事件信息的DSM-CC事件监听器，所述事件信息定义计数器的值，所述计数器包括：
-对应于交互式内容与音频和/或视频之间的同步性的值；以及
-时间间隔值，其指示所执行的该应用将何时检查交互式内容是否与音频和/或视频同步；
ii）识别经由DSM-CC传输的信息所发送的对应于同步的序列值以及时间间隔值；
iii）初始化计时器和自带计数器；以及
iv）在每一预设时间间隔，根据由DSM-CC流事件发送的值，使执行中的所述应用的交互式内容数据与TV广播的音频和/或视频同步；
其中，通过在项ii）中初始化的计时器和计数器，执行中的该应用能够维持序列值的递增计数，并以由DSM-CC流事件所告知的相同时间间隔保持同步性的检查，即使是在无信号的时候。
该应用由数字TV接收设备执行，受数字TV接收设备中存在的应用执行系统控制。
DSM-CC流事件以递增的顺序发送序列值，一次仅传输一个值且不重复该值。这些值的传输的持续时间与TV节目的持续时间同步。这些值的传输可以贯穿于整个TV节目或仅其一部分。这些值以预定的间隔发送，且应当根据传输的内容加以调整。
在一个优选的实施方案中，在DSM-CC流事件中，所发送的信息包括不重复的序列值（计数器）。所述信息可以以不同的语言编写，只要其与TV接收设备中存在的应用执行系统兼容。这类信息的非限制性实施例包括以SetPropertyValue类的NCL实时编辑（NCL Live Editing）编写的信息。
在传输之始，DSM-CC流事件包括一个信号，该信号向执行中的应用发信号告知：应当执行交互式内容数据与传输的音频和/或视频的同步。该信号可以是传输开始时的信号，或已经开始的传输中的信号。当执行中的应用接收到该信号时，其基于所发送的值来识别交互式内容数据的哪一部分应当同步于音频和/或视频而显示。
执行中的应用还具有其自身的计数器和计时器，其被设计为即使在无广播设备信号时也维持所述同步性。由于该计数器即使在无广播设备信号时也仍然随时间保持递增计数，以及由于该计时器在依照DSM-CC流事件的每一预设时间间隔计算所经过的时间，使交互式内容数据与传输的音频和/或视频同步，所以可实现该同步性，其中DSM-CC协议优选为对象轮放。
在一个优选的实施方案中，由DSM-CC流指示的时间间隔可根据时间而改变，只要针对流事件采用的时间单元测量与应用相同。时间间隔可以是任意的x值，其中x>0且x≤n秒。
虽然需要来自广播设备的更多支持——这在交互式应用中是能预期的，但是本发明不会在数字TV接收设备上产生处理开销，因为信息是在一段长的时间间隔内发送，而所述应用即使在缺失一事件（其可能在信号中丢失）时也设法继续进行字幕的同步，因为所述应用具有其自身的时间计数器。
本发明的方法被设计为即使广播设备信号暂时失去，也允许交互式内容的数据与TV广播的音频和视频同步。在这样的情况下，即使在失去各信息之后，所述应用仍然作好继续同步的准备。即使在某一时间后不同步，一旦下一信息到达，就如常执行同步。
以同样的方式，无论数字TV接收设备的开启时刻，在用户通过启动交互式应用访问交互式内容之时，交互式内容数据将与TV广播的音频和视频同步。
实施例1－卡拉OK应用
在提供卡拉OK应用的情况下，在歌曲视频传输的开始，在歌曲开始之前，发送初始值以开始为同步进行标记。换言之，起初，发送值0，然后，例如每隔两秒钟以递增的顺序发送下一值。
在卡拉OK应用中，所有这些带有序列值的事件都被更新，使与歌曲更加协调的同步性得以实现。不过，在接收带有值的事件并更新其时基之后，该应用以其现在的同步基为基础，继续对时间计数以显示字幕。在卡拉OK的情形下，这同样允许了交互式内容在歌曲的任一点开始，并正常同步。

Claims (3)

1.用于使交互式语境内容与TV广播的音频和/或视频同步的方法，其特征在于，包括执行将在其中执行同步的数字TV的应用的步骤，其中准备好接收同步事件的该应用由广播设备发送，并且当该应用被执行时，该应用会：
i）表现为带有事件信息的DSM-CC事件监听器，所述事件信息定义计数器的值，所述计数器包括：
-对应于所述交互式语境内容与所述音频和/或视频之间的同步性的值；以及
-时间间隔值，其指示所执行的该应用将何时检查所述交互式语境内容是否与所述音频和/或视频同步；
ii）识别经由DSM-CC传输的信息所发送的对应于同步的序列值以及时间间隔值；
iii）初始化计时器和自带计数器；以及
iv）在每一预设时间间隔，根据由DSM-CC流事件发送的值，使执行中的所述应用的交互式语境内容数据与TV广播的音频和/或视频同步；
其中，通过在项iii）中初始化的计时器和计数器，执行中的该应用能够维持序列值的递增计数，并以由协议的流事件所告知的相同时间间隔保持同步性的检查，即使是在无信号的时候。
2.根据权利要求1所述的方法，其特征在于，其中由广播设备发送的同步事件经由DSM-CC协议发送。
3.根据权利要求2所述的方法，其特征在于，其中DSM-CC协议是对象轮放。
CN200980147503.9A 2008-09-30 2009-09-30 用于使交互式语境内容与广播音频和/或视频同步的方法 Active CN102292988B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
BRPI0806069A BRPI0806069B1 (pt) 2008-09-30 2008-09-30 método para sincronização de dados de um conteúdo interativo com o áudio e/ou o vídeo da transmissão de tv
BRPI0806069-0 2008-09-30
PCT/BR2009/000299 WO2010037189A2 (en) 2008-09-30 2009-09-30 Method for synchronization of interactive contextual content with broadcasting audio and/or video

Publications (2)

Publication Number Publication Date
CN102292988A CN102292988A (zh) 2011-12-21
CN102292988B true CN102292988B (zh) 2014-07-09

Family

ID=42073947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980147503.9A Active CN102292988B (zh) 2008-09-30 2009-09-30 用于使交互式语境内容与广播音频和/或视频同步的方法

Country Status (13)

Country Link
US (1) US8918805B2 (zh)
JP (1) JP5479482B2 (zh)
CN (1) CN102292988B (zh)
AR (1) AR073723A1 (zh)
BR (1) BRPI0806069B1 (zh)
CL (1) CL2011000704A1 (zh)
CR (1) CR20110199A (zh)
EC (1) ECSP11011017A (zh)
HK (1) HK1165646A1 (zh)
MX (1) MX2011003450A (zh)
NI (1) NI201100059A (zh)
PE (1) PE20120066A1 (zh)
WO (1) WO2010037189A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102012000848B1 (pt) * 2012-01-13 2020-07-14 Mirakulo Software Ltda Sistema e métodos para integrar dispositivos portáteis com sistemas de tv digital
US9552358B2 (en) 2012-12-06 2017-01-24 International Business Machines Corporation Guiding a user to identified content in a document
CN104703036B (zh) * 2015-02-13 2018-12-11 广东欧珀移动通信有限公司 一种同步媒体文件播放进度的方法、装置及系统
GB2556612B (en) * 2016-04-18 2022-03-09 Grass Valley Ltd Monitoring audio-visual content with captions
US10423660B1 (en) * 2017-12-07 2019-09-24 Amazon Technologies, Inc. System for detecting non-synchronization between audio and subtitle
US11706465B2 (en) * 2019-01-15 2023-07-18 Sony Group Corporation ATSC 3.0 advertising notification using event streams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1487214A1 (en) * 2003-06-11 2004-12-15 Digital Multimedia Technologies S.P.A. A method and a system for synchronizing MHP applications in a data packet stream
US20060050794A1 (en) * 2002-10-11 2006-03-09 Jek-Thoon Tan Method and apparatus for delivering programme-associated data to generate relevant visual displays for audio contents

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991457B2 (ja) * 1998-07-16 2007-10-17 ソニー株式会社 データ伝送方法、データ送信装置及び受信装置
US7174560B1 (en) * 1999-02-25 2007-02-06 Sharp Laboratories Of America, Inc. Method of synchronizing events with a digital television audio-visual program
JP2000299668A (ja) * 1999-04-14 2000-10-24 Sony Corp 番組放送方法
JP2000333043A (ja) * 1999-05-19 2000-11-30 Sony Corp 情報処理装置およびその方法
US7194563B2 (en) * 2001-12-05 2007-03-20 Scientific-Atlanta, Inc. Disk driver cluster management of time shift buffer with file allocation table structure
US7610598B2 (en) * 2002-10-22 2009-10-27 Canon Kabushiki Kaisha Recording apparatus that switches decoding methods between data received over the internet and data received over a broadcast network
US20050138674A1 (en) * 2003-12-17 2005-06-23 Quadrock Communications, Inc System and method for integration and synchronization of interactive content with television content
WO2005104557A1 (en) * 2004-04-26 2005-11-03 Koninklijke Philips Electronics N.V. Method for recording of interactive information in interactive digital television and playback thereof
US20070091919A1 (en) * 2005-10-24 2007-04-26 Sandoval Francis R Method and system of supporting enhanced television signaling
KR100781534B1 (ko) * 2006-12-08 2007-12-03 삼성전자주식회사 방송 수신 장치에 적합한 애플리케이션의 기능을 구성하고실행하는 장치 및 방법
US20080244640A1 (en) * 2007-03-27 2008-10-02 Microsoft Corporation Synchronization of digital television programs with internet web application

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050794A1 (en) * 2002-10-11 2006-03-09 Jek-Thoon Tan Method and apparatus for delivering programme-associated data to generate relevant visual displays for audio contents
EP1487214A1 (en) * 2003-06-11 2004-12-15 Digital Multimedia Technologies S.P.A. A method and a system for synchronizing MHP applications in a data packet stream

Also Published As

Publication number Publication date
US20110181775A1 (en) 2011-07-28
ECSP11011017A (es) 2011-07-29
MX2011003450A (es) 2011-06-20
CN102292988A (zh) 2011-12-21
WO2010037189A3 (en) 2012-07-12
BRPI0806069A2 (pt) 2010-09-21
US8918805B2 (en) 2014-12-23
BRPI0806069B1 (pt) 2017-04-11
WO2010037189A2 (en) 2010-04-08
JP2012510736A (ja) 2012-05-10
AR073723A1 (es) 2010-11-24
CL2011000704A1 (es) 2011-07-01
CR20110199A (es) 2013-08-06
PE20120066A1 (es) 2012-02-12
HK1165646A1 (zh) 2012-10-05
JP5479482B2 (ja) 2014-04-23
NI201100059A (es) 2011-12-15

Similar Documents

Publication Publication Date Title
CN102292988B (zh) 用于使交互式语境内容与广播音频和/或视频同步的方法
CN108259989B (zh) 视频直播的方法、计算机可读存储介质和终端设备
US8931024B2 (en) Receiving apparatus and subtitle processing method
CN102857796B (zh) Itv环境中的同步和自动化
US8781291B2 (en) Data processing device, data processing method, and program
CN108989883B (zh) 一种直播广告方法、装置、设备及介质
EP1289306A3 (en) Apparatus and method for synchronizing video and audio mpeg streams in a video playback device
CN105376628A (zh) 音视频信号同步方法和装置
CN103959807A (zh) 匹配视频编码器和广告插入器中的输入和输出时间戳的方法
MX2015001908A (es) Aparato y metodo para procesar un servicio interactivo.
JP2015216524A (ja) 受信装置、および送信装置、並びにデータ処理方法
JP2012231383A (ja) Ｉｐｔｖサービスを利用した情報表示制御装置、表示用情報提供サーバ、情報表示制御方法、情報配信方法、情報表示制御用プログラム、および情報配信用プログラム
CN108366283A (zh) 多设备间的媒体同步播放方法
CN105721796A (zh) 一种视频字幕自动生成装置和方法
CN108174264B (zh) 歌词同步显示方法、系统、装置、介质及设备
EP2408218A1 (en) Synchronisation of interactive data with audio/video data
CN108156498B (zh) 一种音视频同步的方法及装置
JP2013162205A (ja) 信号処理装置及びプログラム
JP4852243B2 (ja) 音響映像プログラムのための同期システム及び同期方法並びに関連するデバイスと方法
CA2830151A1 (en) Feeding device, feeding method, receiving device, receiving method, program, and broadcasting system
JP5874870B1 (ja) 受信装置、および送信装置、並びにデータ処理方法
US20140047309A1 (en) Apparatus and method for synchronizing content with data
CN108614829A (zh) 一种播放方法及终端
CN108880725B (zh) 一种基于时间点的事件中兴趣内容获取方法与获取设备
JP2020115626A (ja) 字幕遅延制御装置、制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1165646

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1165646

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20190923

Address after: Rio De Janeiro

Patentee after: MILACURO SOFTWARE CO., LTD. - SMALL ENTERPRISES

Address before: Rio De Janeiro

Patentee before: Tqtvd Software LTDA

TR01 Transfer of patent right