CN101394469B - 一种音视频同步方法、装置及一种数字电视芯片 - Google Patents

一种音视频同步方法、装置及一种数字电视芯片 Download PDF

Info

Publication number
CN101394469B
CN101394469B CN2008102251600A CN200810225160A CN101394469B CN 101394469 B CN101394469 B CN 101394469B CN 2008102251600 A CN2008102251600 A CN 2008102251600A CN 200810225160 A CN200810225160 A CN 200810225160A CN 101394469 B CN101394469 B CN 101394469B
Authority
CN
China
Prior art keywords
timestamp
video
data
audio
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008102251600A
Other languages
English (en)
Other versions
CN101394469A (zh
Inventor
张辉
王西强
曹晋宇
王洪仁
张岩
胡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING BOXIN SHITONG TECHNOLOGY CO., LTD.
Original Assignee
Innofidei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innofidei Technology Co Ltd filed Critical Innofidei Technology Co Ltd
Priority to CN2008102251600A priority Critical patent/CN101394469B/zh
Publication of CN101394469A publication Critical patent/CN101394469A/zh
Application granted granted Critical
Publication of CN101394469B publication Critical patent/CN101394469B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种移动多媒体广播系统的音视频同步方法,包括:建立解码后的音频数据存放地址与时间戳的映射关系表;根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;根据所述音频数据的时间戳和视频数据的时间戳,对视频播放进行调整,调整至音视频同步状态。本发明针对广播数据不可控的特点,实时比较音视频的播放进度,给出相应调整意见,保证了在终端不能控制“源”的条件下音视频播放的同步;针对广播信道传输存在误码的情况,使用音视频数据时间戳确认机制,克服了由于误码造成的音视频同步的误调整,抑制了广播信道的传输误码导致的对音视频调节的干扰。

Description

一种音视频同步方法、装置及一种数字电视芯片
技术领域
[0001] 本发明涉及移动多媒体广播技术领域,特别是涉及一种移动多媒体广播系统的音 视频同步方法、装置和一种提供移动多媒体广播接收的数字电视芯片。
背景技术
[0002] 移动多媒体广播是新兴的一种多媒体播放技术,近年来,这种技术和标准发展迅 速,例如欧洲的数字视频广播手持式接收(DVB-H,Digital VideoBroadcast Handheld)、美 国的媒体单一前向链路(MediaFLO,Media ForwardLink Only)和中国的移动多媒体广播系 统(CMMB,China Mobile MultimediaBroadcast)等。移动多媒体广播可以为其终端用户提 供许多服务内容,如广告、天气预报、新闻、体育节目、综艺、多媒体广播剧、电影等节目,用 户可以根据自己的爱好选择移动多媒体广播的业务。
[0003] 使用移动多媒体广播业务的用户可以通过手持的终端,在高速移动的情况下,用 移动终端观看电视。用户接收到节目单,可以选择自己有权利收看的频道,接收选择频道的 多媒体数据,从而实现在移动终端上看自己选择的电视节目。在电视节目播放过程中,解决 媒体播放音视频同步是关键技术之一,通常的媒体播放解决方案是:在生成数据流时要打 上时间戳,在播放时基于时间戳,对数据流进行控制,即早到的或晚到的数据块进行等待或 快速处理。但是,这些技术方案有其应用的范围,有的适用于文件播放,有的适用于网络环 境中的流媒体播放,它们在各自的领域内有其优异的性能,但不一定适合应用在广播传输 的领域内。例如:微软的DirectShow对于音视频同步的解决方案是引入一个反馈机制,就 是要将当前数据流速度太快或太慢的状态反馈给“源”,让源去放慢或加快数据流的速度。 可是,广播的数据是不可控的,接收终端只能被动的接收数据,而不能够反过来控制广播数 据的速度和内容,因此,类似于将当前数据流速度太快或太慢的状态反馈给“源”,让源去放 慢或加快数据流的速度的方法是不适用的。
[0004] 此外,在数字电视播放过程中,广播信道传输中存在着误码问题,尤其在信号弱, 或多径等恶劣条件下,误码会明显增多,这严重影响了电视节目的播放质量。通常在文件媒 体播放中,几乎不用考虑误码的问题,而在网络媒体信息传输中,又具有错误重传的机制。 显然,以上两种方式都不适用在移动多媒体广播系统中,无法解决其误码问题。
[0005] 总之,需要本领域技术人员迫切解决的一个技术问题就是:如何能够有效解决移 动多媒体广播系统的音视频同步和误码问题,以实时、准确地播放数字电视节目,提升移动 终端用户的感官感受。
[0006] 发明内容
[0007] 本发明所要解决的技术问题是提供一种移动多媒体广播系统的音视频同步方法 和装置,能够有效解决移动多媒体广播系统的音视频同步和误码问题,以实时、准确地播放 数字电视节目,提升移动终端用户的感官感受。
[0008] 本发明的另一个目的是提供一种接收移动多媒体广播的数字电视芯片,所述数字 电视芯片包括上述音视频同步装置,以实现本发明的具体应用。[0009] 为了解决上述问题,本发明实施例提供了一种移动多媒体广播系统的音视频同步 方法,包括以下步骤:
[0010] 建立解码后的音频数据存放地址与时间戳的映射关系表;
[0011] 根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音频数据 的时间戳,并且获取当前正在播放的视频数据的时间戳;
[0012] 判断所述音频数据的时间戳和视频数据的时间戳是否可信,如果可信,则根据所 述音频数据的时间戳和视频数据的时间戳,对视频播放进行调整,调整至音视频同步状态。
[0013] 优选的,所述根据音频数据的时间戳和视频数据的时间戳,对视频播放进行调整 包括以下步骤:
[0014] 比较所述音频数据的时间戳和视频数据的时间戳;
[0015] 计算所述音频数据的时间戳和视频数据的时间戳的差距;
[0016] 当所述差距达到调整条件时,对视频播放进行调整。
[0017] 优选的,通过以下方式确定时间戳是否可信:
[0018] 判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的增长;若是, 则将当前时间戳确认为可信数据;若否,则为不可信数据。
[0019] 优选的,所述对视频播放进行调整的步骤包括:
[0020] 如果音频时间戳晚于视频时间戳,则视频播放暂停一定数量的帧;
[0021] 如果音频时间戳早于视频时间戳,则判断视频数据缓冲区中是否有视频帧数据, 若有,则视频跳过一定数量的帧;若无,则记录跳帧需求,待视频数据缓冲区准备好视频数 据后再跳帧。
[0022] 优选的,所述映射关系表为先进先出结构。
[0023] 优选的,所述建立解码后的音频数据存放地址与时间戳的映射关系表包括以下步 骤:
[0024] 记录每帧音频解码后的音频数据起始地址和终止地址;
[0025] 记录每帧音频的时间戳;
[0026] 建立所述每帧音频解码后的音频数据起始地址和终止地址与每帧音频的时间戳 的映射关系表。
[0027] 优选的,所述获取音频数据的时间戳还包括:
[0028] 每隔一段时间检查当前播放的音频数据地址是否在所述映射关系表的当前表项 的音频数据起始地址和终止地址范围内;
[0029] 如果是,则继续读取当前表项的时间戳;
[0030] 如果否,则跳转到下一表项,读取该表项的时间戳。
[0031] 优选的,所述调整条件为一阈值范围。
[0032] 相应的,本发明实施例还提供了一种移动多媒体广播系统的音视频同步装置,包 括:
[0033] 映射关系表建立模块,用于建立解码后的音频数据存放地址与时间戳的映射关系 表;
[0034] 时间戳获取模块,用于根据当前播放的音频数据所指向的存放地址查询所述映射 关系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;[0035] 时间戳确认模块,用于在比较音视频时间戳之前,判断所述音频数据的时间戳和 视频数据的时间戳是否可信,如果可信,则通知播放调整模块;
[0036] 播放调整模块,用于根据所述音频数据的时间戳和视频数据的时间戳,对视频播 放进行调整,调整至音视频同步状态。
[0037] 优选的,所述播放调整模块进一步包括:
[0038] 时间戳比较子模块,用于比较所述音频数据的时间戳和视频数据的时间戳;
[0039] 差距计算子模块,用于计算所述音频数据的时间戳和视频数据的时间戳的差距;
[0040] 视频调整子模块,用于当所述差距达到调整条件时,对视频播放进行调整。
[0041] 优选的,所述时间戳确认模块进一步包括:
[0042] 判断子模块,用于判断已播放的预置次数内的时间戳的值是否保持一定距离范围 内的增长;
[0043] 确认子模块,用于当判断子模块结果为是时,将当前时间戳确认为可信数据;
[0044] 否定子模块,用于当判断子模块结果为否时,认定当前时间戳为不可信数据。
[0045] 优选的,所述视频调整子模块进一步包括:
[0046] 暂停单元,用于当音频时间戳晚于视频时间戳时,视频播放暂停一定数量的帧;
[0047] 跳进单元,包括:
[0048] 缓存判断子单元,用于当音频时间戳早于视频时间戳时,判断视频数据缓冲区中 是否有视频帧数据;
[0049] 跳帧子单元,用于当缓存判断子单元结果为是时,则视频跳过一定数量的帧;
[0050] 缓跳子单元,用于当缓存判断子单元结果为否时,则记录跳帧需求,待视频数据缓 冲区准备好视频数据后再跳帧。
[0051 ] 优选的,所述映射关系表为先进先出结构。
[0052] 优选的,所述映射关系表建立模块进一步包括:
[0053] 地址记录子模块,用于记录每帧音频解码后的音频数据起始地址和终止地址;
[0054] 时间戳记录子模块,用于记录每帧音频的时间戳;
[0055] 关系表建立子模块,用于建立所述每帧音频解码后的音频数据起始地址和终止地 址与每帧音频的时间戳的映射关系表。
[0056] 优选的,所述时间戳获取模块还包括:
[0057] 更新子模块,用于每隔一段时间检查当前播放的音频数据地址是否在所述映射关 系表的当前表项的音频数据起始地址和终止地址范围内;如果是,则继续读取当前表项的 时间戳;如果否,则跳转到下一表项,读取该表项的时间戳。
[0058] 优选的,所述调整条件为一阈值范围。
[0059] 本发明实施例还提供了 一种数字电视芯片,包括:
[0060] 信道解码模块,用于将射频前端处理后的基带信号解码为复用码流;
[0061] 解复用模块,用于将复用码流解复用为视频码流和音频码流;
[0062] 视频解码器,用于视频解码;
[0063] 音频解码器,用于音频解码;
[0064] 视频输出模块,用于输出视频数据;
[0065] 音频输出模块,用于输出音频数据;[0066]以及,
[0067] 包括以下子模块的音视频同步模块:
[0068] 映射关系表建立子模块,用于建立解码后的音频数据存放地址与时间戳的映射 关系表;
[0069] 时间戳获取子模块,用于根据当前播放的音频数据所指向的存放地址查询所述映 射关系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;
[0070] 时间戳确认子模块,用于在比较音视频时间戳之前,判断所述音频数据的时间戳 和视频数据的时间戳是否可信,如果可信,则通知播放调整子模块;
[0071] 播放调整子模块,用于根据所述音频数据的时间戳和视频数据的时间戳,对视频 播放进行调整,调整至音视频同步状态。
[0072] 优选的,所述播放调整子模块进一步包括:
[0073] 时间戳比较单元,用于比较所述音频数据的时间戳和视频数据的时间戳;
[0074] 差距计算单元,用于计算所述音频数据的时间戳和视频数据的时间戳的差距;
[0075] 视频调整单元,用于当所述差距达到调整条件时,对视频播放进行调整。
[0076] 优选的,所述时间戳确认子模块进一步包括:
[0077] 判断单元,用于判断已播放的预置次数内的时间戳的值是否保持一定距离范围内 的增长;
[0078] 确认单元,用于当判断单元结果为是时,将当前时间戳确认为可信数据;
[0079] 否定单元,用于当判断单元结果为否时,认定当前时间戳为不可信数据。
[0080] 与现有技术相比,本发明具有以下优点:
[0081] 首先,本发明针对广播数据不可控的特点,先让音视频数据自由播放,然后使用监 视程序实时比较音视频的播放进度,给出相应的调整意见,如视频暂停一帧或向前跳一帧 等,在最大限度地提高了每次开机时或切换频道后节目播放速度的同时,保证了在终端不 能控制“源”的条件下,音视频播放的同步。
[0082] 其次,本发明针对广播信道传输存在误码,而且在信号弱或多径等恶劣条件下,误 码会明显增多的情况,使用了音视频数据时间戳确认机制,在每次要做音视频播放时间比 对前,先对音视频的时间戳作确认。只有时间戳数据可信时,才根据情况对音视频播放做相 应调整。采用时间戳数据确认机制,有效地克服了由于误码造成的音视频同步的误调整,抑 制了广播信道的传输误码导致的对音视频调节的干扰。
附图说明
[0083] 图1是本发明的一种移动多媒体广播系统的音视频同步方法实施例1的步骤流程 图;
[0084] 图2是本发明的一种移动多媒体广播系统的音视频同步方法实施例2的步骤流程 图;
[0085] 图3是本发明的一种移动多媒体广播系统的音视频同步装置实施例的结构框图;
[0086] 图4是本发明应用图2所示的装置实施例进行音视频同步的步骤流程图;
[0087] 图5是本发明的一种数字电视芯片的结构框图。具体实施方式
[0088] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实 施方式对本发明作进一步详细的说明。
[0089] 本发明的核心构思之一在于,通过建立解码后的音视频数据存放地址与时间戳 的映射关系表,以及音视频播放监控中的时间戳确认机制,解决移动多媒体广播系统的音 视频同步和误码问题,以实时、准确地播放数字电视节目,提升移动终端用户的感官感受。
[0090] 参照图1,示出了本发明一种移动多媒体广播系统的音视频同步方法实施例1的 步骤流程图,具体可以包括以下步骤:
[0091] 步骤101 :建立解码后的音频数据存放地址与时间戳的映射关系表;
[0092] 根据解复用时每一帧音频与时间戳的一一映射关系,以及每一帧音频和解码后的 音频数据存放地址的一一映射关系建立一个音频数据存放地址和时间戳的映射关系表。所 述映射关系表可以采用先进先出(FIF0,First InFirst Out)结构,也可采用链表结构等其 它结构。本领域技术人员可以根据需要采用适合的表结构,本发明无须对此作出限制。
[0093] 在建立映射关系表时,记录每一帧音频解码后的音频数据在缓存中的起始地址和 终止地址,并记录该帧音频的时间戳,将音频数据在缓存中的起始地址和终止地址以及音 频时间戳写入映射关系表。在音频播放时,可以依据当前的播放数据所指向的存放地址通 过查询所述映射关系表从而获得当前音频播放所对应的时间。
[0094] 步骤102 :根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取 音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;
[0095] 根据当前播放的音频数据所指向的存放地址查询映射关系表获取音频数据的时 间戳;根据解复用时每一帧视频与时间戳的一一映射关系获得当前播放的视频帧所对应的 时间戳。
[0096] 映射关系表每隔一段时间检查当前播放的音频数据地址是否在当前表项的音频 数据起始地址和终止地址范围内,如果是,则继续读取当前表项的时间戳;如果否,则跳转 到下一表项,读取该表项的时间戳。
[0097] 步骤103 :根据所述音频数据的时间戳和视频数据的时间戳,对视频播放进行调 整,调整至音视频同步状态。
[0098] 根据所述音频数据的时间戳和视频数据的时间戳,对视频播放进行调整,是解决 音视频同步的最佳方案。实现这一方案有多种途径,例如:可以通过比较音视频时间戳的差 距来调整,当时间戳的差距超出一定范围,达到需要调整的条件,就根据时间戳的差距情况 对视频播放进行调整,使视频暂停播放或向前跳进一定数量的帧,以达到音视频同步;也可 以通过设置时间线性递增的参考时钟来调整,在播放时,读取音视频数据的时间戳,同时参 考当前参考时钟上的时间来安排播放。如果音视频数据的时间戳的时间早于当前参考时钟 上的时间,则不急于播放该音视频数据,直到参考时钟达到所述音视频数据的时间戳的时 间;如果音视频数据的时间戳的时间晚于当前参考时钟上的时间,则“尽快”播放该数据或 者索性将此数据“丢弃”,以使播放进度追上参考时钟。总之,本领域技术人员在应用中可采 用任意适合的方法,依据音视频时间戳对音视频播放进行同步调整,本发明无须对此作出 限制。
[0099] 参照图2,示出了本发明一种移动多媒体广播系统的音视频同步方法实施例2的步骤流程图,具体可以包括以下步骤:
[0100] 步骤201 :建立解码后的音频数据存放地址与时间戳的映射关系表;
[0101] 根据解复用时每一帧音频与时间戳的一一映射关系,以及每一帧音频和解码后的 脉码调制(PCM,Pulse Code Modulation)数据存放地址的一一映射关系建立一个PCM数据 存放地址和时间戳的映射关系表。所述映射关系表采用先进先出(FIFO,First In First Out)结构。在建立映射关系表时,记录每一帧音频解码后的PCM数据在缓存中的起始地址 和终止地址,并记录该帧音频的时间戳,将PCM数据在缓存中的起始地址和终止地址以及 音频时间戳顺序写入映射关系表。在音频播放时,可以依据当前的播放数据所指向的存放 地址通过查询所述映射关系表从而获得当前音频播放所对应的时间。
[0102] 需要说明的是,本实施中解码后的音频数据采用PCM格式,在实际应用中,本领域 技术人员也可根据需要使用其它数据格式,本发明无需对此作出限制。
[0103] 步骤202 :根据当前播放的音频数据所指向的存放地址查询所述映射关系表获 取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;
[0104] 根据当前播放的音频数据所指向的存放地址查询映射关系表获取音频数据的时 间戳;根据解复用时每一帧视频与时间戳的一一映射关系获得当前播放的视频帧所对应的 时间戳。
[0105] 映射关系表每隔一段时间检查当前播放的音频数据地址是否在当前表项的音频 数据起始地址和终止地址范围内,如果是,则继续读取当前表项的时间戳;如果否,则跳转 到下一表项,读取该表项的时间戳。
[0106] 步骤203 :判断所述音频数据的时间戳和视频数据的时间戳是否可信,如果可信, 则执行步骤204 ;如果不可信,则不作任何干预;
[0107] 在音视频播放时,可以依据当前播放的音视频数据而获得时间戳,如果已播放的 预置次数内的音视频的时间戳的值保持一定距离范围内的增长规律,则认为当前音视频时 间戳可信,将当前时间戳确认为可信数据,比较当前音视频时间戳;否则,则认为是不可信 数据,放弃比较当前帧,不作任何干预。
[0108] 步骤204:比较当前正在播放的音频数据的时间戳和视频数据的时间戳,计算音 频数据的时间戳和视频数据的时间戳的差距;
[0109] 当时间戳数据可信时,每隔一段时间比较当前正在播放的音频数据的时间戳和视 频数据的时间戳,计算二者之间的差距。
[0110] 步骤205 :判断所述差距是否达到调整条件,如果是,则向下执行;如果否,则不作 任何干预;
[0111] 判断所述音视频时间戳差距是否达到调整条件,本实施例中,所述调整条件为一 阈值范围。当音视频时间戳的差距在此阈值范围内,即达到调整条件,则对音视频播放进 行调整;如果不在此阈值范围内,则不作调整。如:当音视频时间戳的的差距在正常范围内 时,无须对音视播放进行调整;但是,当音视频时间戳的差距超过了一定阈值的时候,也同 样不作调整,这是因为误码或时间戳的编码回头会造成两个时间戳相差过大,而超过一定 阈值,有可能导致误调整的发生。综上所述,只有当音视频时间戳的差距超出正常范围的上 边界且没有超过一定阈值这样的一个阈值范围内时,才对音视频播放进行干预。例如:0-3 的范围为正常范围,音视频时间戳的差距在此范围内时,不作音视频播放调整;同样的,当时间戳的差距超过一定阈值,如8时,也不对音视频播放进行调整。只有当时间戳差距在超 过3且不大于8这样的一个阈值范围时,才作音视频播放调整。
[0112] 需要说明的是,在应用中,本领域技术人员可根据实际情况设置适合的调整条件, 本发明无需对此作出限制。
[0113] 步骤206 :如果音频时间戳晚于视频时间戳,则视频播放暂停一定数量的帧;
[0114] 音频时间戳晚于视频时间戳,即音频播放慢于视频播放,根据音视频时间戳差距 情况,暂停播放一定数量的视频帧。
[0115] 步骤207 :如果音频时间戳早于视频时间戳,则先判断视频数据缓冲区中是否有 视频帧数据,若有,则执行步骤208 ;若无,则执行步骤209 ;
[0116] 音频时间戳早于视频时间戳,即音频播放快于视频播放,先判断视频数据缓冲区 中有无视频帧可跳。
[0117] 步骤208 :视频跳过一定数量的帧;
[0118] 根据音视频时间戳差距情况,视频播放向前跳过一定数量的帧。
[0119] 步骤209 :记录跳帧需求,待视频数据缓冲区准备好视频数据后再跳帧。
[0120] 需要说明的是,对于上述的方法实施例,为了简单描述,故将其都表述为一系列的 动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依 据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉, 说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必 须的。
[0121] 参照图3,示出了本发明的一种移动多媒体广播系统的音视频同步装置实施例的 结构框图,可以包括以下模块:
[0122] 映射关系表建立模块301,用于建立解码后的音频数据存放地址与时间戳的映射 关系表;其中,所述映射关系表为FIFO结构;
[0123] 时间戳获取模块302,用于根据当前播放的音频数据所指向的存放地址查询所述 映射关系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;
[0124] 播放调整模块303,用于根据所述音频数据的时间戳和视频数据的时间戳,对视频 播放进行调整,调整至音视频同步状态。
[0125] 优选的是,所述播放调整模块303还可以进一步包括:
[0126] 时间戳比较子模块3031,用于比较所述音频数据的时间戳和视频数据的时间戳;
[0127] 差距计算子模块3032,用于计算所述音频数据的时间戳和视频数据的时间戳的差 距;
[0128] 视频调整子模块3033,用于当所述差距达到调整条件时,对视频播放进行调整。
[0129] 其中,所述调整条件为一阈值范围。
[0130] 优选的是,所述视频调整子模块3033还可以进一步包括:
[0131] 暂停单元30331,用于当音频时间戳晚于视频时间戳时,视频播放暂停一定数量的 帧;
[0132] 跳进单元30332,进一步包括:
[0133] 缓存判断子单元303321,用于当音频时间戳早于视频时间戳时,判断视频数据缓 冲区中是否有视频帧数据;[0134] 跳帧子单元303322,用于当缓存判断单元结果为是时,则视频跳过一定数量的 帧;
[0135] 缓跳子单元303323,用于当缓存判断单元结果为否时,则记录跳帧需求,待视频数 据缓冲区准备好视频数据后再跳帧。
[0136] 优选的是,本实施例的装置还可以包括:
[0137] 时间戳确认模块304,用于在比较音视频时间戳之前,判断所述音频数据的时间戳 和视频数据的时间戳是否可信,如果可信,则计算差距,如果不可信,则放弃当前帧。
[0138] 优选的是,所述时间戳确认模块304还可以进一步包括:
[0139] 判断子模块3041,用于判断已播放的预置次数内的时间戳的值是否保持一定距 离范围内的增长;
[0140] 确认子模块3042,用于当判断子模块结果为是时,将当前时间戳确认为可信数 据;
[0141] 否定子模块3043,用于当判断子模块结果为否时,认定当前时间戳为不可信数据。
[0142] 时间戳确认模块304在每次要做音视频播放时间比对前,先对音视频的时间戳作 确认。只有时间戳数据可信时,才根据情况对音视频播放做相应调整。采用这样的时间戳 数据确认机制,可以有效克服由于误码造成的音视频同步的误调整,抑制了广播信道的传 输误码导致的对音视频调节的干扰。
[0143] 优选的是,所述映射关系表建立模块301还可以进一步包括:
[0144] 地址记录子模块3011,用于记录每帧音频解码后的音频数据起始地址和终止地 址;
[0145] 时间戳记录子模块3012,用于记录每帧音频的时间戳;
[0146] 关系表建立子模块3013,用于建立所述每帧音频解码后的音频数据起始地址和终 止地址与每帧音频的时间戳的映射关系表。
[0147] 优选的是,所述时间戳获取模块302还可以进一步包括:
[0148] 更新子模块3021,用于每隔一段时间检查当前播放的音频数据地址是否在所述映 射关系表的当前表项的音频数据起始地址和终止地址范围内;如果是,则继续读取当前表 项的时间戳;如果否,则跳转到下一表项,读取该表项的时间戳。
[0149] 参照图4,示出了本发明应用图3所示的装置实施例进行音视频同步的步骤流程 图,具体可以包括以下步骤:
[0150] 步骤401 :映射关系表建立模块建立解码后的音频数据存放地址与时间戳的映射 关系表;
[0151] 其中,所述映射关系表为FIFO结构。在本步骤中,映射关系表建立模块的地址记 录子模块记录每帧音频解码后的音频数据起始地址和终止地址;时间戳记录子模块记录每 帧音频的时间戳;关系表建立子模块建立映射关系表,顺序将所述每帧音频解码后的音频 数据起始地址和终止地址与每帧音频的时间戳写入表中。
[0152] 步骤402 :时间戳获取模块获取解码后的音、视频数据的时间戳;
[0153] 时间戳获取模块根据当前播放的音频数据所指向的存放地址查询映射关系表获 取音频数据的时间戳,根据解复用时每一帧视频与时间戳的一一映射关系获得当前播放的 视频帧所对应的时间戳。[0154] 优选的是,时间戳获取模块的更新子模块每隔一段时间检查当前播放的音频数据 地址是否在所述映射关系表的当前表项的音频数据起始地址和终止地址范围内;如果是, 则继续读取当前表项的时间戳;如果否,则跳转到下一表项,读取该表项的时间戳。
[0155] 步骤403 :时间戳确认模块的判断子模块判断已播放的预置次数内的时间戳的值 是否保持一定距离范围内的增长,如果是,执行步骤404 ;如果否,执行步骤405 ;
[0156] 步骤404:当判断子模块的判断结果为是时,时间戳确认模块的确认子模块将当 前时间戳确认为可信数据,执行步骤406 ;
[0157] 步骤405 :当判断子模块的判断结果为否时,否定子模块认定当前时间戳为不可 信数据,不作任何干预;
[0158] 步骤406 :当时间戳数据可信时,播放调整模块的时间戳比较子模块每隔一段时 间比较当前正在播放的音频数据的时间戳和视频数据的时间戳;
[0159] 步骤407 :播放调整模块的差距计算子模块计算音频数据的时间戳和视频数据的 时间戳的差距,并判断所述差距是否达到调整条件;如果达到调整条件,则向下执行;如果 没有达到调整条件,则不作任何干预。
[0160] 优选的是,所述调整条件为一阈值范围。
[0161] 步骤408 :当音频时间戳晚于视频时间戳时,播放调整模块的视频调整子模块的 暂停单元暂停播放一定数量的视频帧;
[0162] 步骤409 :当音频时间戳早于视频时间戳时,首先由视频调整子模块的跳进单元 的缓存判断子单元判断视频数据缓冲区中是否有视频帧数据;若有,执行步骤410 ;若无, 执行步骤411 ;
[0163] 步骤410 :当视频数据缓冲区中有视频帧数据时,视频调整子模块的跳进单元的 跳帧子单元使视频播放跳过一定数量的帧;
[0164] 步骤411 :当视频数据缓冲区中没有视频帧数据时,跳进单元的缓跳子单元记录 跳帧需求,待视频数据缓冲区准备好视频数据后再跳帧。
[0165] 由于图4所示的实施例都可以对应适用于前述的方法实施例中,所以描述较为简 略,未详尽之处可以参见本说明书前面相应部分的描述。
[0166] 参照图5,示出了本发明的一种数字电视芯片,可以包括:
[0167] 信道解码模块501,用于将射频前端处理后的基带信号解码为复用码流;
[0168] 解复用模块502,用于将复用码流解复用为视频码流和音频码流;
[0169] 视频解码器503,用于视频解码;
[0170] 音频解码器504,用于音频解码;
[0171] 视频输出模块505,用于输出视频数据;
[0172] 音频输出模块506,用于输出音频数据;
[0173]以及,
[0174] 包括以下子模块的音视频同步模块507 :
[0175] 映射关系表建立子模块5071,用于建立解码后的音频数据存放地址与时间戳的映 射关系表;
[0176] 时间戳获取子模块5072,用于根据当前播放的音频数据所指向的存放地址查询所 述映射关系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;[0177] 播放调整子模块5073,用于根据所述音频数据的时间戳和视频数据的时间戳,对 视频播放进行调整,调整至音视频同步状态。
[0178] 优选的,所述播放调整子模块5073进一步包括:
[0179] 时间戳比较单元,用于比较所述音频数据的时间戳和视频数据的时间戳;
[0180] 差距计算单元,用于计算所述音频数据的时间戳和视频数据的时间戳的差距;
[0181] 视频调整单元,用于当所述差距达到调整条件时,对视频播放进行调整。
[0182] 优选的,所述音视频同步模块还包括:
[0183] 时间戳确认子模块,用于在比较音视频时间戳之前,判断所述音频数据的时间戳 和视频数据的时间戳是否可信,如果可信,则计算差距,如果不可信,则放弃当前帧。
[0184] 优选的,所述时间戳确认子模块进一步包括:
[0185] 判断单元,用于判断已播放的预置次数内的时间戳的值是否保持一定距离范围内 的增长;
[0186] 确认单元,用于当判断子模块结果为是时,将当前时间戳确认为可信数据;
[0187] 否定单元,用于当判断子模块结果为否时,认定当前时间戳为不可信数据。
[0188] 此外,所述数字电视芯片还包括一定数量的数据缓存模块,用于缓存各功能模块 的数据。
[0189] 在多媒体移动广播接收终端,终端数字电视芯片对接收到的音视频数据进行处 理。由射频前端处理后的基带信号送入信道解码模块,信道解码模块工作时的中间数据存 储在信道解码缓存,信道解码送出复用码流数据,缓存在信道解码输出缓存;然后解复用 模块将信道解码输出缓存中的复用码流解复用,提取出音频码比特流缓存在音频比特流缓 存、提取出视频码比特流缓存在视频比特流缓存;接下来音频解码器和视频解码器分别进 行音、视频解码,并交给音视频同步模块处理,此过程中使用音、视频解码缓存分别缓存音、 视频解码的中间数据;音视频同步模块的映射关系表建立子模块根据每一帧音频与时间戳 的一一映射关系,以及每一帧音频和解码后的音频数据存放地址的一一映射关系建立音频 数据存放地址与时间戳的映射关系表;时间戳获取子模块获取当前播放的音、视频数据的 时间戳;在时间戳确认子模块确认时间戳数据可信的情况下,播放调整子模块的时间戳比 较单元比较当前正在播放的音频数据的时间戳和视频数据的时间戳;播放调整子模块的差 距计算单元计算音频数据的时间戳和视频数据的时间戳的差距,并根据差距是否达到调 整条件情况,由视频调整单元对视频播放进行相应处理;将经过同步后的音、视频分别缓存 在音、视频输出缓存;最后视频输出缓存中的视频帧按照一定帧率由视频输出模块播放,音 频输出缓存中的音频帧按照一定采样率由音频输出播放。
[0190] 由于数字电视芯片实施例中音视频同步相关部分与方法实施例基本相似,所以描 述的比较简单,相关之处参见方法实施例的部分说明即可。
[0191] 本发明实施例提供的数字电视芯片可广泛用于移动多媒体广播终端,方便用户收 听收看移动多媒体节目,如可作为接收中国移动多媒体广播CMMB的终端数字电视芯片,为 用户提供各种CMMB的移动多媒体广播业务。
[0192] 以上对本发明所提供的一种移动多媒体广播系统的音视频同步方法、装置和系统 进行了详细介绍,本文中应用了具体个例对本发明的核心构思及实施方式进行了阐述,以 上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述, 本说明书内容不应理解为对本发明的限制。

Claims (19)

1. 一种移动多媒体广播系统的音视频同步方法,其特征在于,包括以下步骤: 建立解码后的音频数据存放地址与时间戳的映射关系表;根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音频数据的时 间戳,并且获取当前正在播放的视频数据的时间戳;判断所述音频数据的时间戳和视频数据的时间戳是否可信,如果可信,则根据所述音 频数据的时间戳和视频数据的时间戳,对视频播放进行调整,调整至音视频同步状态。
2.根据权利要求1所述的方法,其特征在于,所述根据音频数据的时间戳和视频数据 的时间戳,对视频播放进行调整包括以下步骤:比较所述音频数据的时间戳和视频数据的时间戳; 计算所述音频数据的时间戳和视频数据的时间戳的差距; 当所述差距达到调整条件时,对视频播放进行调整。
3.根据权利要求2所述的方法,其特征在于,通过以下方式确定时间戳是否可信: 判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的增长;若是,则将当前时间戳确认为可信数据;若否,则为不可信数据。
4.根据权利要求2或3所述的方法,其特征在于,所述对视频播放进行调整的步骤包括:如果音频时间戳晚于视频时间戳,则视频播放暂停一定数量的帧; 如果音频时间戳早于视频时间戳,则判断视频数据缓冲区中是否有视频帧数据,若有, 则视频跳过一定数量的帧;若无,则记录跳帧需求,待视频数据缓冲区准备好视频数据后再 跳帧。
5.根据权利要求1或2所述的方法,其特征在于,所述映射关系表为先进先出结构。
6.根据权利要求5所述的方法,其特征在于,所述建立解码后的音频数据存放地址与 时间戳的映射关系表包括以下步骤:记录每帧音频解码后的音频数据起始地址和终止地址; 记录每帧音频的时间戳;建立所述每帧音频解码后的音频数据起始地址和终止地址与每帧音频的时间戳的映 射关系表。
7.根据权利要求6所述的方法,其特征在于,所述获取音频数据的时间戳还包括: 每隔一段时间检查当前播放的音频数据地址是否在所述映射关系表的当前表项的音频数据起始地址和终止地址范围内;如果是,则继续读取当前表项的时间戳; 如果否,则跳转到下一表项,读取该表项的时间戳。
8.根据权利要求2所述的方法,其特征在于,所述调整条件为一阈值范围。
9. 一种移动多媒体广播系统的音视频同步装置,其特征在于,包括:映射关系表建立模块,用于建立解码后的音频数据存放地址与时间戳的映射关系表; 时间戳获取模块,用于根据当前播放的音频数据所指向的存放地址查询所述映射关系 表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;时间戳确认模块,用于在比较音视频时间戳之前,判断所述音频数据的时间戳和视频 数据的时间戳是否可信,如果可信,则通知播放调整模块;播放调整模块,用于根据所述音频数据的时间戳和视频数据的时间戳,对视频播放进 行调整,调整至音视频同步状态。
10.根据权利要求9所述的装置,其特征在于,所述播放调整模块进一步包括: 时间戳比较子模块,用于比较所述音频数据的时间戳和视频数据的时间戳;差距计算子模块,用于计算所述音频数据的时间戳和视频数据的时间戳的差距; 视频调整子模块,用于当所述差距达到调整条件时,对视频播放进行调整。
11.根据权利要求10所述的装置,其特征在于,所述时间戳确认模块进一步包括:判断子模块,用于判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的 增长;确认子模块,用于当判断子模块结果为是时,将当前时间戳确认为可信数据; 否定子模块,用于当判断子模块结果为否时,认定当前时间戳为不可信数据。
12.根据权利要求11所述的装置,其特征在于,所述视频调整子模块进一步包括: 暂停单元,用于当音频时间戳晚于视频时间戳时,视频播放暂停一定数量的帧; 跳进单元,包括:缓存判断子单元,用于当音频时间戳早于视频时间戳时,判断视频数据缓冲区中是否 有视频帧数据;跳帧子单元,用于当缓存判断子单元结果为是时,则视频跳过一定数量的帧; 缓跳子单元,用于当缓存判断子单元结果为否时,则记录跳帧需求,待视频数据缓冲区 准备好视频数据后再跳帧。
13.根据权利要求9或10所述的装置,其特征在于,所述映射关系表为先进先出结构。
14.根据权利要求13所述的装置,其特征在于,所述映射关系表建立模块进一步包括: 地址记录子模块,用于记录每帧音频解码后的音频数据起始地址和终止地址; 时间戳记录子模块,用于记录每帧音频的时间戳;关系表建立子模块,用于建立所述每帧音频解码后的音频数据起始地址和终止地址与 每帧音频的时间戳的映射关系表。
15.根据权利要求14所述的装置,其特征在于,所述时间戳获取模块还包括:更新子模块,用于每隔一段时间检查当前播放的音频数据地址是否在所述映射关系表 的当前表项的音频数据起始地址和终止地址范围内;如果是,则继续读取当前表项的时间 戳;如果否,则跳转到下一表项,读取该表项的时间戳。
16.根据权利要求10所述的装置,其特征在于,所述调整条件为一阈值范围。
17. 一种数字电视芯片,其特征在于,包括:信道解码模块,用于将射频前端处理后的基带信号解码为复用码流;解复用模块,用于将复用码流解复用为视频码流和音频码流;视频解码器,用于视频解码;音频解码器,用于音频解码;视频输出模块,用于输出视频数据;音频输出模块,用于输出音频数据;以及,包括以下子模块的音视频同步模块:映射关系表建立子模块,用于建立解码后的音频数据存放地址与时间戳的映射关系表;时间戳获取子模块,用于根据当前播放的音频数据所指向的存放地址查询所述映射关 系表获取音频数据的时间戳,并且获取当前正在播放的视频数据的时间戳;时间戳确认子模块,用于在比较音视频时间戳之前,判断所述音频数据的时间戳和视 频数据的时间戳是否可信,如果可信,则通知播放调整子模块;播放调整子模块,用于根据所述音频数据的时间戳和视频数据的时间戳,对视频播放 进行调整,调整至音视频同步状态。
18.根据权利要求17所述的数字电视芯片,其特征在于,所述播放调整子模块进一步 包括:时间戳比较单元,用于比较所述音频数据的时间戳和视频数据的时间戳; 差距计算单元,用于计算所述音频数据的时间戳和视频数据的时间戳的差距; 视频调整单元,用于当所述差距达到调整条件时,对视频播放进行调整。
19.根据权利要求18所述的数字电视芯片,其特征在于,所述时间戳确认子模块进一 步包括:判断单元,用于判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的增长;确认单元,用于当判断单元结果为是时,将当前时间戳确认为可信数据; 否定单元,用于当判断单元结果为否时,认定当前时间戳为不可信数据。
CN2008102251600A 2008-10-29 2008-10-29 一种音视频同步方法、装置及一种数字电视芯片 Expired - Fee Related CN101394469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102251600A CN101394469B (zh) 2008-10-29 2008-10-29 一种音视频同步方法、装置及一种数字电视芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102251600A CN101394469B (zh) 2008-10-29 2008-10-29 一种音视频同步方法、装置及一种数字电视芯片

Publications (2)

Publication Number Publication Date
CN101394469A CN101394469A (zh) 2009-03-25
CN101394469B true CN101394469B (zh) 2011-04-06

Family

ID=40494527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102251600A Expired - Fee Related CN101394469B (zh) 2008-10-29 2008-10-29 一种音视频同步方法、装置及一种数字电视芯片

Country Status (1)

Country Link
CN (1) CN101394469B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102026181B (zh) * 2009-09-21 2014-03-19 中兴通讯股份有限公司 一种实现is-856鉴权的优化方法及系统
CN101674486B (zh) * 2009-09-29 2013-05-08 深圳市融创天下科技股份有限公司 一种流媒体音视频同步方法及系统
CN102118539B (zh) * 2009-12-30 2013-06-19 Tcl集团股份有限公司 一种多媒体播放终端及其文件拖动播放方法和装置
US20110310956A1 (en) * 2010-06-22 2011-12-22 Jian-Liang Lin Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof
CN101916577B (zh) * 2010-08-19 2016-09-28 无锡中感微电子股份有限公司 一种音视频播放同步的方法及装置
CN101931775A (zh) * 2010-09-01 2010-12-29 中兴通讯股份有限公司 一种录像方法及装置
CN101984672B (zh) * 2010-11-03 2012-10-17 深圳芯邦科技股份有限公司 多线程的音视频同步控制方法及装置
CN102075767B (zh) * 2010-11-29 2012-12-12 大连捷成实业发展有限公司 一种视频与音频自动同步的处理方法
CN102307179A (zh) * 2011-04-21 2012-01-04 广东电子工业研究院有限公司 基于龙芯的流媒体解码方法
US9179118B2 (en) 2011-05-12 2015-11-03 Intel Corporation Techniques for synchronization of audio and video
CN102685507B (zh) * 2011-07-12 2014-07-09 天脉聚源(北京)传媒科技有限公司 一种mpeg-2传输流解码音视频同步方法和系统
CN102421035A (zh) * 2011-12-31 2012-04-18 青岛海信宽带多媒体技术有限公司 数字电视音视频同步的实现方法及装置
CN103517044B (zh) * 2012-06-25 2016-12-07 鸿富锦精密工业(深圳)有限公司 视频会议装置及其唇形同步的方法
CN103873952B (zh) * 2012-12-18 2017-10-20 风网科技(北京)有限公司 一种高效的视频播放丢帧控制系统及其方法
CN103945261B (zh) * 2013-01-23 2017-05-31 深圳市快播科技有限公司 一种视频播放方法和装置
CN103200425B (zh) * 2013-03-29 2016-04-06 天脉聚源(北京)传媒科技有限公司 一种多媒体处理装置及方法
CN103237203B (zh) * 2013-04-09 2016-03-02 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
CN103428584A (zh) * 2013-08-01 2013-12-04 珠海全志科技股份有限公司 多媒体播放平台上保持音视频同步的方法及设备
CN103559899B (zh) * 2013-10-31 2016-01-20 广东欧珀移动通信有限公司 码流定点播放位置搜索方法和装置
CN103731716B (zh) * 2014-01-08 2017-01-18 珠海全志科技股份有限公司 一种ts流播放中的音视频同步方法
CN104104987B (zh) * 2014-07-29 2018-05-18 小米科技有限责任公司 视频播放中画面与声音同步方法及装置
CN104410894B (zh) * 2014-11-19 2018-05-01 大唐移动通信设备有限公司 一种无线环境影音同步的方法和装置
CN106658065B (zh) * 2015-10-30 2021-10-22 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN105872699A (zh) * 2016-04-28 2016-08-17 乐视控股(北京)有限公司 视频播放控制方法及装置
CN106210846A (zh) * 2016-08-15 2016-12-07 深圳Tcl新技术有限公司 音视频播放方法及系统
CN106658133B (zh) * 2016-10-26 2020-04-14 广州市百果园网络科技有限公司 一种音视频同步播放的方法及终端
CN107124641A (zh) * 2017-06-02 2017-09-01 广东暨通信息发展有限公司 一种音视频同步播放的控制方法
CN109194975B (zh) * 2018-11-02 2021-04-20 深圳市云威物联科技有限公司 音视频直播追流方法及装置
CN110177294A (zh) * 2019-06-11 2019-08-27 亦非云互联网技术(上海)有限公司 播放器音视频同步方法及系统、存储介质及终端
CN110324689B (zh) * 2019-07-08 2022-05-17 成都酷狗创业孵化器管理有限公司 音视频同步播放的方法、装置、终端及存储介质
CN112272316B (zh) * 2020-10-29 2022-06-24 广东博华超高清创新中心有限公司 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统

Also Published As

Publication number Publication date
CN101394469A (zh) 2009-03-25

Similar Documents

Publication Publication Date Title
CN101394469B (zh) 一种音视频同步方法、装置及一种数字电视芯片
CN101160966B (zh) 一种时移电视的实现方法、装置和系统
CN102123303B (zh) 一种音视频文件播放方法、系统及传输控制装置
CN100568966C (zh) 一种音/视频数据的网络传输方法
JP4419023B2 (ja) 移動体通信端末、および、プログラム
CN101854533A (zh) 频道切换方法、装置及系统
CN101715046B (zh) 电子设备和内容再现方法
CN102036058B (zh) 视频监控系统中视频切换的方法、服务器、终端及系统
KR20090003809A (ko) 복수개의 망을 이용한 방송 정보 재생 방법 및 장치
CN101098470A (zh) 一种基于p2p技术的流媒体节目播放/接收方法及装置
CN101207822A (zh) 流媒体终端的音频视频同步的方法
CN1946011A (zh) 在弱电场区域中提供广播服务的广播系统和方法
JP2010537502A (ja) マルチメディア番組の断続的なブロードキャストを記録するためのシステムと方法
CN103024454A (zh) 在广播电视节目中向受众传送互动入口信息的方法及系统
CN101262291B (zh) 一种实现变速播放媒体的方法及装置
CN102845056A (zh) 移动电视的画中画
US9749379B2 (en) Apparatus and method for receiving video service in hybrid network
CN106488255A (zh) 一种切换媒体流的方法及装置
CN101282467B (zh) 一种慢速播放媒体时缓存数据的方法及装置
CN104683823A (zh) 一种多屏联动音视频同步系统
AU2011233856A1 (en) Method and apparatus for providing timeshift service in digital broadcasting system and system thereof
JP2011087070A (ja) ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム
JP2005121693A (ja) ストリーミング配信システム及びストリーミング配信方法
WO2011098009A1 (zh) 网络电视的时移处理方法和系统以及网络设备、终端
CN103024441B (zh) 一种移动终端播放电视节目的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151020

Address after: 100080, Beijing, Zhongguancun Haidian District Street 11, 100 million world wealth center, block A, 12

Patentee after: BEIJING BOXIN SHITONG TECHNOLOGY CO., LTD.

Address before: 100084 Beijing, Zhongguancun East Road, No. 1, building No. 8, Tsinghua Science Park, science and technology building, block A, 803

Patentee before: Beijing Chuangyi Vision Technology Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110406

Termination date: 20171029