CN102630017A - 一种移动多媒体广播字幕同步的方法和系统 - Google Patents

一种移动多媒体广播字幕同步的方法和系统 Download PDF

Info

Publication number
CN102630017A
CN102630017A CN2012101046889A CN201210104688A CN102630017A CN 102630017 A CN102630017 A CN 102630017A CN 2012101046889 A CN2012101046889 A CN 2012101046889A CN 201210104688 A CN201210104688 A CN 201210104688A CN 102630017 A CN102630017 A CN 102630017A
Authority
CN
China
Prior art keywords
time
captions
audio frequency
broadcast start
subframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101046889A
Other languages
English (en)
Other versions
CN102630017B (zh
Inventor
夏智海
黄泽武
陈志兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Medical Device Industry Development Group Co ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201210104688.9A priority Critical patent/CN102630017B/zh
Priority to PCT/CN2012/077420 priority patent/WO2013152562A1/zh
Publication of CN102630017A publication Critical patent/CN102630017A/zh
Application granted granted Critical
Publication of CN102630017B publication Critical patent/CN102630017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Television Systems (AREA)

Abstract

本发明提供了一种移动多媒体广播字幕同步的方法和系统，其中，该方法包括：接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；从音频子帧中获取音频开始播放时间；从字幕数据包中获取字幕；确定字幕相对于音频开始播放时间的时间偏移；在封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；将所述数据段发送至移动多媒体广播终端。本发明保证了移动多媒体广播终端能够同步字幕与音频。

Description

一种移动多媒体广播字幕同步的方法和系统
技术领域
本发明涉及移动多媒体广播领域，尤其涉及一种移动多媒体广播字幕同步的方法和系统。
背景技术
随着中国移动多媒体广播(CMMB)的商用和用户数量的增加，用户群体和用户需求呈现多元化的倾向。提供多样的灵活的业务是提高用户体检，增加用户忠诚度的手段之一。
现有CMMB中，为纯音频节目提供字幕的方式一般有以下几种：
将字幕内嵌在纯音频数据中，这种方式字幕形式固定单一；
将字幕信息通过移动多媒体广播数据段发送解决了字幕固定单一的问题，但是这种方式不能保证播出的字幕和音频同步，同时也无法灵活地插入字幕，如节目A和B顺序播放，仅为节目B提供字幕；
将字幕发送到终端，由使用终端的用户手动调整字幕的播放时间，以实现字幕与音频同步，这种方式用户体验性差。
将字幕发送到终端后，再将字幕与音频的同步信息发送至终端，由终端根据该同步信息调整字幕的播放时间，这种方式需要终端预留较大的存储空间缓存整个字幕文件，且需要字幕提前很长时间发送导致实时性差。
发明内容
本发明提供了一种移动多媒体字幕同步方法和系统，以解决如何实现字幕与音频同步的技术问题。
为解决上述技术问题，本发明提供了一种移动多媒体广播字幕同步的方法，所述方法包括：
接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
从所述音频子帧中获取音频开始播放时间；
从所述字幕数据包中获取字幕；
确定字幕相对于音频开始播放时间的时间偏移；
在封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；
将所述数据段发送至移动多媒体广播终端。
进一步地，确定所述字幕相对于音频开始播放时间的时间偏移包括：
从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；
根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；
根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；
根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。
进一步地，所述封装时间根据所述字幕在本地时区的开始时间确定，确定步骤包括：
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间(TOD)为N，从接收字幕数据包到发送所述数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
进一步地，根据所述字幕数据包获取的字幕由多个字幕片组成；
根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
在所述封装时间到达时，将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。
进一步地，所述根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移包括以下步骤：
开启一定时器，设置该定时器的定时长度与同步标记等值；
当达到所述定时长度时，计算所述字幕片相对于音频开始播放时间的时间偏移。
为解决上述技术问题，本发明还提供了一种移动多媒体广播字幕同步的系统，所述系统包括：
接收模块，用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
获取模块，用于从所述字幕数据包中获取字幕，从所述音频子帧中获取音频开始播放时间；
时间偏移确定模块，用于确定所述字幕相对于音频开始播放时间的时间偏移；
封装模块，用于在所述封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；
发送模块，用于将所述数据段发送至移动多媒体广播终端。
进一步地，所述时间偏移确定模块，用于确定所述字幕相对于音频开始播放时间的时间偏移，包括：
时间偏移确定模块，用于从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。
进一步地，所述封装模块，用于根据所述字幕在本地时区的开始时间确定所述封装时间，包括：
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间(TOD)为N，从接收字幕数据包到发送所述数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
设所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
进一步地，所述获取模块，用于从所述字幕数据包中获取由多个字幕片组成的字幕；
所述时间偏移确定模块，用于根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
所述封装模块，用于在所述封装时间到达时，将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。
进一步地，所述时间偏移确定模块，用于根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移包括：
开启一定时器，设置该定时器的定时长度与同步标记等值；
当达到所述定时长度时，计算所述字幕片相对于音频开始播放时间的时间偏移。
上述技术方案，封装后的音频子帧的数据段中包含了音频开始播放时间和字幕相对于音频开始播放时间的时间偏移，使得接收到该音频子帧的移动多媒体广播终端能够根据字幕相对于音频开始播放时间的时间偏移确定字幕的播放时间，达到与音频同步的技术效果。
附图说明
图1为本实施例的移动多媒体广播字幕同步方法流程图；
图2为本应用示例字幕服务器向复用器传输数据流的封装示意图；
图3为本应用示例封装了字幕信息的音频子帧的数据段的格式示意图；
图4为本实施例的移动多媒体广播字幕同步系统组成模块图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本实施例的移动多媒体广播字幕同步方法流程图。
S101接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
S102从所述音频子帧中获取音频开始播放时间；
S103从所述字幕数据包中获取字幕；
在实际应用中，也允许字幕数据包包含指示字幕数据包采用时间体系的信息(如UTC时间体系)、指示字幕数据包所处时区的信息以及字幕在其所处时区的开始时间；当接收到该数据包后，根据指示字幕数据包采用时间体系的信息、指示字幕数据包所处时区的信息以及接收端本地所处时区将字幕在其所处时区的开始时间修正为字幕在本地时区的开始时间。如，指示字幕数据包采用时间体系的信息为UTC，指示字幕数据包所处时区的信息为东5区，字幕在其所处时区的开始时间为0点整，接收端本地所处时区为东8区，修正后的字幕在本地时区的开始时间为3点整。
字幕数据包除了包含上述记载的信息外，根据不同的应用需要，所述字幕数据包还可包含其他信息，如，为了明显地与音频子帧相区分，在所述字幕数据包中增加表示本数据包为字幕的信息；为了使终端选用正确字符集，在所述字幕数据包中增加字幕字符串编码方式；为了终端能识别字幕展示持续时间并在合适的时间结束字幕展示，在所述字幕数据包中增加字幕持续时间。
S104确定字幕相对于音频开始播放时间的时间偏移；
具体为：
从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；
根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；
根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；其中，字幕在本地时区的开始时间可从所述字幕数据包中获取；
根据该同步标记确定字幕相对于音频开始播放时间的时间偏移；
S105在封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；
所述封装时间根据所述字幕在本地时区的开始时间确定，确定步骤包括：
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间TOD(Time of Day)为N，从接收字幕数据包到发送数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
设所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
S106将所述数据段发送至移动多媒体广播终端。
上述从所述字幕数据包中解析出的字幕字符串还可由多个字幕片组成以方便较长字幕数据传输或者应用于多种语言字幕，此时，可根据同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；在所述封装时间到达时，将音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移、字幕片的字符串封装到与所述字幕对应的音频子帧的数据段。
移动多媒体广播终端接收到上述音频子帧的数据段后，根据数据段中包含的音频的开始播放时间、字幕相对于音频开始播放时间的时间偏移，进行播放字幕的字符串的操作；如果数据段中封装的是字幕片信息，根据数据段中包含的音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移来播放字幕片的字符串。
下面以一个具体的应用示例，对上述实施例的移动多媒体广播字幕同步方法进行进一步说明。该应用示例涉及字幕服务器、音频编码器以及复用器，其中字幕服务器和复用器之间传输的数据流采用UDP封装，见图2。
步骤1，字幕服务器向复用器发送UDP封装的数据流，其中每个UDP的消息体部分用于组成字幕数据包；音频编码器向复用器发送音频子帧；
所述字幕数据包包括指示字幕数据包所处时区的信息、字幕更新序号、字幕在其所处时区的开始时间、编码方式、字幕片数、字幕片1参数、字幕片2参数、...、字幕片n参数以及字幕内容，其中，
指示字幕数据包所处时区的信息(4bit)；
字幕更新序号(4bit)，当字幕更新时该序号加1，复用器可通过比较接收到的字幕数据包中携带该序号和已接收的字幕数据包中携带的该序号是否一致，决定是否重新同步字幕在本地时区的开始时间；
字幕在其所处时区的开始时间(32bit)；
字幕编码方式(bit)；
字幕片数(8bit)；
字幕片n参数(80bit)，其中又包含3个字段，分别是：字幕片n播放时间(32bit)、字幕片n结束时间(32bit)和字幕片n长度(16bit)；
字幕内容，根据字幕数据包中包含的字幕片数和字幕片n长度可以从字幕内容中提取相应的字幕片内容。
步骤2，复用器接收到UDP封装的数据流后，从所述UDP中提取消息体组成上述字幕数据包；复用器接收到音频子帧后，从音频子帧中提取音频开始播放时间；
步骤3，复用器从UDP封装的数据流中解析出标识字幕与子帧关系的信息，根据该信息确定与字幕对应的子帧；
步骤4，复用器从所述字幕数据包中获取指示字幕数据包所处时区的信息以及字幕在其所处时区的开始时间，复用器将所述指示字幕数据包所处时区的信息与复用器所在的时区(即本地时区)进行比较，如果一致，则字幕数据包中包含的字幕在其所处时区的开始时间即为字幕在本地时区的开始时间；如果不一致，则将字幕在其所处时区的开始时间修正为字幕在本地时区的开始时间；
步骤5，复用器根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；
步骤6，复用器根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
步骤7，复用器从本地GPS获得当前时间TOD为N，复用器根据调试统计获取其收发数据时差为R，N和R单位为秒；
步骤8，复用器启动一定时器，当定时时间到达S＝S＝I+J时，将字幕信息封装到所述与字幕对应的音频子帧的数据段，该数据段的格式如图3所示；其中，I＝floor(|M-N|)，J＝floor(R)，floor(·)表示取整，|·|表示取绝对值，M表示字幕在本地时区的开始时间，单位为秒；
该数据段由数据段头、数据单元1、数据单元2、...、数据单元n组成；
其中，数据段头又由数据单元数、数据单元1参数、数据单元2参数、...、数据单元n参数、CRC组成；数据单元n参数包括数据单元类型和数据单元长度这两个字段；
数据单元n依次由业务ID(16bit)、保留字段(16bit)、编码方式(32bit)、保留字段、音频开始播放时间(32bit)、字幕片n相对于音频开始播放时间的时间偏移(16bit)、字幕片n持续播放时间(32bit)、字幕片n长度(16bit)以及字幕内容组成；
开始封装的第1秒第1片字幕的开始播放时间＝音频开始播放时间+[(|M-N|-I)+(R-J)+字幕片1相对于音频开始播放时间的时间偏移]*22.5；
第1秒第n片字幕的开始播放时间＝音频开始播放时间+[(|M-N|-I)+(R-J)+字幕片n相对于音频开始播放时间的时间偏移*1000]*22.5；
第H秒第n片字幕的开始播放时间＝音频开始播放时间+[(|M-N|-I)+(R-J)+(字幕片n相对于音频开始播放时间的时间偏移-H)*1000]*22.5；
步骤9，复用器将该子帧封装到复帧，并将该复帧转换为PMS流发送给移动多媒体广播终端。
图4为本实施例的移动多媒体广播字幕同步系统组成模块图。
该系统包括：
接收模块，用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
获取模块，用于根据所述字幕数据包获取字幕，根据所述音频子帧获取音频开始播放时间；
时间偏移确定模块，用于确定所述字幕相对于音频开始播放时间的时间偏移；
所述时间偏移确定模块，可用于从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；根据该同步标记确定字幕相对于音频开始播放时间的时间偏移；
封装模块，用于在所述封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到所述与字幕对应的音频子帧的数据段；
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间TOD为N，从接收字幕数据包到发送数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
设所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
发送模块，用于将所述数据段发送至移动多媒体广播终端。
上述实施例中获取模块根据所述字幕数据包获取的字幕字符串可由多个字幕片组成；
此时，时间偏移确定模块，用于根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
时间偏移确定模块可开启一定时器，设置该定时器的定时长度与同步标记等值；当达到所述定时长度时，计算所述字幕片相对于音频开始播放时间的时间偏移。
封装模块，用于在所述封装时间到达时，将音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移、字幕片的字符串封装到所述与字幕对应的音频子帧的数据段。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种移动多媒体广播字幕同步的方法，其特征在于，所述方法包括：
接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
从所述音频子帧中获取音频开始播放时间；
从所述字幕数据包中获取字幕；
确定字幕相对于音频开始播放时间的时间偏移；
在封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；
将所述数据段发送至移动多媒体广播终端。
2.如权利要求1所述的方法，其特征在于，
确定所述字幕相对于音频开始播放时间的时间偏移进一步包括：
从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；
根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；
根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；
根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。
3.如权利要求2所述的方法，其特征在于，
所述封装时间根据所述字幕在本地时区的开始时间确定，确定步骤包括：
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间(TOD)为N，从接收字幕数据包到发送所述数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
4.如权利要求3所述的方法，其特征在于，
根据所述字幕数据包获取的字幕由多个字幕片组成；
根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
在所述封装时间到达时，将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。
5.如权利要求4所述的方法，其特征在于，
所述根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移包括以下步骤：
开启一定时器，设置该定时器的定时长度与同步标记等值；
当达到所述定时长度时，计算所述字幕片相对于音频开始播放时间的时间偏移。
6.一种移动多媒体广播字幕同步的系统，其特征在于，所述系统包括：
接收模块，用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧；
获取模块，用于从所述字幕数据包中获取字幕，从所述音频子帧中获取音频开始播放时间；
时间偏移确定模块，用于确定所述字幕相对于音频开始播放时间的时间偏移；
封装模块，用于在所述封装时间到达时，将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段；
发送模块，用于将所述数据段发送至移动多媒体广播终端。
7.如权利要求6所述的系统，其特征在于，所述时间偏移确定模块，用于确定所述字幕相对于音频开始播放时间的时间偏移，进一步包括：
时间偏移确定模块，用于从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息；根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧；根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记；根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。
8.如权利要求7所述的系统，其特征在于，
所述封装模块，用于根据所述字幕在本地时区的开始时间确定所述封装时间，进一步包括：
设字幕在本地时区的开始时间为M，本地GPS提供的当前时间(TOD)为N，从接收字幕数据包到发送所述数据段的收发时差为R，封装时间为S；M、N、R和S的单位为秒；
设所述M与N的时间差为I＝floor(|M-N|)，floor(·)表示取整，|·|表示取绝对值；
J＝floor(R)；
则，S＝I+J。
9.如权利要求8所述的方法，其特征在于，
所述获取模块，用于从所述字幕数据包中获取由多个字幕片组成的字幕；
所述时间偏移确定模块，用于根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移；
所述封装模块，用于在所述封装时间到达时，将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。
10.如权利要求9所述的系统，其特征在于，
所述时间偏移确定模块，用于根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移进一步包括：
开启一定时器，设置该定时器的定时长度与同步标记等值；
当达到所述定时长度时，计算所述字幕片相对于音频开始播放时间的时间偏移。
CN201210104688.9A 2012-04-10 2012-04-10 一种移动多媒体广播字幕同步的方法和系统 Active CN102630017B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210104688.9A CN102630017B (zh) 2012-04-10 2012-04-10 一种移动多媒体广播字幕同步的方法和系统
PCT/CN2012/077420 WO2013152562A1 (zh) 2012-04-10 2012-06-25 一种移动多媒体广播字幕同步的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210104688.9A CN102630017B (zh) 2012-04-10 2012-04-10 一种移动多媒体广播字幕同步的方法和系统

Publications (2)

Publication Number Publication Date
CN102630017A true CN102630017A (zh) 2012-08-08
CN102630017B CN102630017B (zh) 2014-03-19

Family

ID=46588162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210104688.9A Active CN102630017B (zh) 2012-04-10 2012-04-10 一种移动多媒体广播字幕同步的方法和系统

Country Status (2)

Country Link
CN (1) CN102630017B (zh)
WO (1) WO2013152562A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142989A (zh) * 2014-07-28 2014-11-12 腾讯科技（深圳）有限公司 一种匹配检测方法及装置
CN104506957A (zh) * 2014-12-08 2015-04-08 广东欧珀移动通信有限公司 一种显示字幕的方法及装置
CN108174264A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 歌词同步显示方法、系统、装置、介质及设备
CN108206966A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种视频文件同步播放方法及装置
CN108616768A (zh) * 2018-05-02 2018-10-02 腾讯科技（上海）有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN108924664A (zh) * 2018-07-26 2018-11-30 青岛海信电器股份有限公司 一种节目字幕的同步显示方法及终端
CN109413475A (zh) * 2017-05-09 2019-03-01 北京嘀嘀无限科技发展有限公司 一种视频中字幕的调整方法、装置和服务器
CN113766342A (zh) * 2021-08-10 2021-12-07 安徽听见科技有限公司 字幕合成方法及相关装置、电子设备、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259776B (zh) * 2021-04-14 2022-11-22 北京达佳互联信息技术有限公司 字幕与音源的绑定方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104549A1 (en) * 2004-04-27 2005-11-03 Jong-Sik Woo Method and apparatus of synchronizing caption, still picture and motion picture using location information
CN101378356A (zh) * 2008-06-10 2009-03-04 中兴通讯股份有限公司 一种ip实时流媒体的播放方法
CN102196319A (zh) * 2010-03-17 2011-09-21 中兴通讯股份有限公司 一种流媒体直播业务系统及实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104549A1 (en) * 2004-04-27 2005-11-03 Jong-Sik Woo Method and apparatus of synchronizing caption, still picture and motion picture using location information
CN101378356A (zh) * 2008-06-10 2009-03-04 中兴通讯股份有限公司 一种ip实时流媒体的播放方法
CN102196319A (zh) * 2010-03-17 2011-09-21 中兴通讯股份有限公司 一种流媒体直播业务系统及实现方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142989B (zh) * 2014-07-28 2017-10-17 广州酷狗计算机科技有限公司 一种匹配检测方法及装置
CN104142989A (zh) * 2014-07-28 2014-11-12 腾讯科技（深圳）有限公司 一种匹配检测方法及装置
CN104506957A (zh) * 2014-12-08 2015-04-08 广东欧珀移动通信有限公司 一种显示字幕的方法及装置
CN108206966A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种视频文件同步播放方法及装置
CN108206966B (zh) * 2016-12-16 2020-07-03 杭州海康威视数字技术股份有限公司 一种视频文件同步播放方法及装置
CN109413475A (zh) * 2017-05-09 2019-03-01 北京嘀嘀无限科技发展有限公司 一种视频中字幕的调整方法、装置和服务器
CN108174264B (zh) * 2018-01-09 2020-12-15 武汉斗鱼网络科技有限公司 歌词同步显示方法、系统、装置、介质及设备
CN108174264A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 歌词同步显示方法、系统、装置、介质及设备
CN108616768A (zh) * 2018-05-02 2018-10-02 腾讯科技（上海）有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN108924664A (zh) * 2018-07-26 2018-11-30 青岛海信电器股份有限公司 一种节目字幕的同步显示方法及终端
CN108924664B (zh) * 2018-07-26 2021-06-08 海信视像科技股份有限公司 一种节目字幕的同步显示方法及终端
CN113766342A (zh) * 2021-08-10 2021-12-07 安徽听见科技有限公司 字幕合成方法及相关装置、电子设备、存储介质
CN113766342B (zh) * 2021-08-10 2023-07-18 安徽听见科技有限公司 字幕合成方法及相关装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN102630017B (zh) 2014-03-19
WO2013152562A1 (zh) 2013-10-17

Similar Documents

Publication Publication Date Title
CN102630017B (zh) 一种移动多媒体广播字幕同步的方法和系统
US9998773B2 (en) Transmission device, transmission method of transmission stream, and processing device
KR102229109B1 (ko) 송신 장치, 수신 장치 및 그 신호 처리 방법
JP2021122111A (ja) 送信方法、受信方法、送信装置、及び受信装置
CN105493509B (zh) 传输装置、传输方法、接收装置和接收方法
JP6505413B2 (ja) 送信方法、受信方法、送信装置、及び受信装置
JP2019110554A (ja) 送信方法、受信方法、送信装置、及び受信装置
CN106464961B (zh) 接收装置、发送装置以及数据处理方法
WO2007019533A3 (en) System and methods for aligning capture and playback clocks in a wireless digital audio distribution system
CN105379290B (zh) 发送方法、接收方法、发送装置及接收装置
CN103262554A (zh) 收发多媒体内容的发送装置和接收装置及其再现方法
US8978083B2 (en) Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service
KR20060039728A (ko) 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템
CN107113462A (zh) 发送方法、接收方法、发送装置以及接收装置
CN100450163C (zh) 一种移动多媒体广播视音频同步播放的方法
CN101202613B (zh) 一种用于时钟同步的终端
KR101200070B1 (ko) 네트워크 시간표시정보를 삽입하거나 추출하기 위한 장치 및 방법
KR101620776B1 (ko) 인코딩 장치, 디코딩 장치 및 이와 관련된 프로그램
WO2017065021A1 (ja) 受信装置、送信装置、及び、データ処理方法
WO2017073336A1 (ja) 送信装置、受信装置、及び、データ処理方法
JP3804099B2 (ja) 映像素材供給装置及び方法、映像素材挿入装置及び方法
CN101202921A (zh) 一种移动多媒体网络的时钟同步系统
KR20210030336A (ko) 송신 장치, 수신 장치 및 그 신호 처리 방법
KR102675843B1 (ko) 송신 장치, 수신 장치 및 데이터 처리 방법
CN105898353A (zh) 音视频实时传输方法及装置、传输流打包方法及复用器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201216

Address after: 215163 8 Jinfeng Road, science and Technology City, Suzhou high tech Zone, Jiangsu

Patentee after: Suzhou Medical Device Industry Development Co.,Ltd.

Address before: 518057 Ministry of justice, Zhongxing building, South Science and technology road, Nanshan District hi tech Industrial Park, Shenzhen, Guangdong

Patentee before: ZTE Corp.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for mobile multimedia broadcast caption synchronization

Effective date of registration: 20211209

Granted publication date: 20140319

Pledgee: Suzhou jinhesheng Holding Co.,Ltd.

Pledgor: Suzhou Medical Device Industry Development Co.,Ltd.

Registration number: Y2021320010540

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120808

Assignee: Suzhou jinhesheng Holding Co.,Ltd.

Assignor: Suzhou Medical Device Industry Development Co.,Ltd.

Contract record no.: X2021320010049

Denomination of invention: A method and system for mobile multimedia broadcast caption synchronization

Granted publication date: 20140319

License type: Exclusive License

Record date: 20211209

EE01 Entry into force of recordation of patent licensing contract
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 215163 8 Jinfeng Road, science and Technology City, Suzhou high tech Zone, Jiangsu

Patentee after: Suzhou Medical Device Industry Development Group Co.,Ltd.

Address before: 215163 8 Jinfeng Road, science and Technology City, Suzhou high tech Zone, Jiangsu

Patentee before: Suzhou Medical Device Industry Development Co.,Ltd.

PM01 Change of the registration of the contract for pledge of patent right
PM01 Change of the registration of the contract for pledge of patent right

Change date: 20230801

Registration number: Y2021320010540

Pledgor after: Suzhou Medical Device Industry Development Group Co.,Ltd.

Pledgor before: Suzhou Medical Device Industry Development Co.,Ltd.

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230804

Granted publication date: 20140319

Pledgee: Suzhou jinhesheng Holding Co.,Ltd.

Pledgor: Suzhou Medical Device Industry Development Group Co.,Ltd.

Registration number: Y2021320010540

EM01 Change of recordation of patent licensing contract
EM01 Change of recordation of patent licensing contract

Change date: 20230824

Contract record no.: X2021320010049

Assignor after: Suzhou Medical Device Industry Development Group Co.,Ltd.

Assignor before: Suzhou Medical Device Industry Development Co.,Ltd.

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Suzhou jinhesheng Holding Co.,Ltd.

Assignor: Suzhou Medical Device Industry Development Group Co.,Ltd.

Contract record no.: X2021320010049

Date of cancellation: 20230830