CN100588261C - 将视频数据及音频数据同步的方法及系统 - Google Patents

将视频数据及音频数据同步的方法及系统 Download PDF

Info

Publication number
CN100588261C
CN100588261C CN200710109131A CN200710109131A CN100588261C CN 100588261 C CN100588261 C CN 100588261C CN 200710109131 A CN200710109131 A CN 200710109131A CN 200710109131 A CN200710109131 A CN 200710109131A CN 100588261 C CN100588261 C CN 100588261C
Authority
CN
China
Prior art keywords
video
audio
module
represent
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710109131A
Other languages
English (en)
Other versions
CN101106724A (zh
Inventor
张北辰
陈建豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101106724A publication Critical patent/CN101106724A/zh
Application granted granted Critical
Publication of CN100588261C publication Critical patent/CN100588261C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明揭露一种将视频数据及音频数据同步的方法及系统。该系统包括:一解多工器,用以将一数据串流分为一音频数据及一视频数据,其中该音频数据具有内嵌/关联的一音频播放时间信息,且该视频数据具有内嵌/关联的一视频播放时间信息;一音频译码模块,至少具有一快速播放功能或一慢速播放功能,用以译码该音频数据并输出已译码的该音频数据;一视频译码模块,至少具有该快速播放功能或该慢速播放功能,用以译码该视频数据并输出已译码的该视频数据;以及一决定模块,用以送出至少一调整信号,其中该调整信号用以指示该视频译码模块或该音频译码模块以执行该快速播放功能或该慢速播放功能。本发明可以个别地调整数据串流中的视频串流及音频串流。

Description

将视频数据及音频数据同步的方法及系统
技术领域
本发明有关于视频及音频同步,特别是关于由现有的快速及慢速播放功能来选择性地调整视频数据及音频数据以将视频数据及音频数据同步的方法及系统(METHOD AND SYSTEM FOR SYNCHRONIZING AUDIO ANDVIDEO DATA SIGNALS)。
背景技术
一般而言,多媒体播放系统,例如多功能数字盘片(digital versatile disc,DVD)播放机,可以用来读取光盘上的音频信号及视频信号,再加以处理后呈现出影音(audio-visual,AV)数据;当音频信号及视频信号传输不同步时,会导致数据不一致的问题,例如在影片中对话比画面先被听到的情形或者画面比对话先出现的情形,而当同步误差(sync error)很小时这样的不同步可以被忽略,然而,当同步误差较大时,会造成很大的影响,且可能会导致使用者无法观看光盘内容。
因此,多媒体播放系统的重要规格要求之一就是要在检测出同步误差时,能将音频信号及视频信号重新同步。在现有的作法中,其根据一控制串流来将其它串流中的数据暂停(pause)或略过(skip)以达到同步的目的,更进一步地说,若将音频串流(data stream)作为控制串流、且视频串流系落后音频串流时(即对话比画面先被听到的情形),视频串流中的某些视频帧(video frame)会被略过以使视频串流能赶上音频串流,另一方面,若将音频串流作为控制串流、且音频串流落后视频串流时(即画面比对话先出现的情形),视频串流中的某些视频帧会被暂停以使音频串流能赶上视频串流。
在现有的作法中,当同步误差相当严重时,往往需要暂停或略过很多视频帧以补偿一段相当长的时间,如此一来,使用者便很容易会察觉此一状况而不满意观看品质(例如画面或对话会不流畅),因此,现有的作法相当不理想而仍具有很大的改善空间。
发明内容
因此,本发明的目的之一在于提供一种将视频数据及音频数据同步的系统及方法,以解决上述问题。
简言之,本发明将视频数据及音频数据同步的系统的一实施例包括:一解多工器(demultiplexer/demuxer),用以将一数据串流分为音频数据及视频数据,其中该音频数据具有内嵌/关联的音频播放时间信息,且该视频数据具有内嵌/关联的视频播放时间信息;一音频译码模块,至少具有快速播放功能或慢速播放功能,用以译码该音频数据并输出已译码的音频数据;一视频译码模块,至少具有快速播放功能或慢速播放功能,用以译码该视频数据并输出已译码的视频数据;以及一决定模块,耦接至该音频译码模块及该视频译码模块的至少一者,用以将视频播放时间信息及音频播放时间信息中其一与系统的一设定值加以比较,并根据一比较结果以送出至少一调整信号以设定该视频译码模块或该音频译码模块,其中该调整信号用以指示该视频译码模块或该音频译码模块执行快速播放功能或慢速播放功能。
本发明所揭露的将视频数据及音频数据同步的方法的一实施例包括:将一数据串流分为音频数据及视频数据,其中该音频数据具有内嵌/关联的音频播放时间信息,且该视频数据具有内嵌/关联的视频播放时间信息;将视频播放时间信息及音频播放时间信息中其一与一设定值加以比较;根据一比较结果以送出至少一调整信号;根据该调整信号以调整音频数据或视频数据;以及将音频数据及视频数据译码;其中该调整信号用以对视频数据或音频数据进行快速播放或慢速播放。
本发明可以个别地调整数据串流中的视频串流及音频串流,使得视频串流及音频串流能保持同步,而且可以同时地调整视频串流及音频串流,使得同步化过程能更为平顺。
附图说明
图1表示本发明第一实施例的系统的示意图。
图2表示本发明第二实施例的系统的示意图。
图3表示本发明第三实施例的系统的示意图。
图4表示本发明第四实施例的系统的示意图。
图5表示本发明音频译码模块的第一实施例的示意图。
图6表示本发明音频译码模块的第二实施例的示意图。
图7表示本发明音频译码模块的第三实施例的示意图。
图8表示本发明视频译码模块的第一实施例的示意图。
图9表示本发明视频译码模块的第二实施例的示意图。
图10表示本发明视频译码模块的第三实施例的示意图。
主要组件符号说明:
100、200、300、400:系统
110、210、310、410:解多工器
120、220、320、420:音频译码模块
130、230、330、430:视频译码模块
140、240:决定模块
150、250、350:音频决定模块
160、260、460:视频决定模块
270:系统时序时钟脉冲产生器
370、470:更新模块
510、610、710:音频缓冲排程器
520、620、720、820、920、1020:输入缓冲器
530、630、730、830、930、1030:译码模块
540、640、740、840、940、1040:输出缓冲器
550、650、750、850、950、1050:输出模块
810、910、1010:视频缓冲排程器
具体实施方式
图1表示本发明第一实施例的系统100的示意图。如图1所示,系统100为多媒体播放系统,包括解多工器(demultiplexer/demuxer)110、音频译码模块120、视频译码模块130及决定模块140,其中解多工器110耦接至音频译码模块120及视频译码模块130,用来接收一数据串流(data stream)并将数据串流分为音频数据及视频数据;音频译码模块120至少具有快速播放(fast forward)功能或慢速播放(slow forward)功能;视频译码模块130至少具有快速播放功能或慢速播放功能;以及决定模块140耦接至解多工器110、音频译码模块120及视频译码模块130。
音频数据中具有内嵌/关联的音频播放时间信息(称之为音频呈现时间标记(audio presentation time stamp,A-PTS));视频数据具有内嵌/关联的视频播放时间信息(称之为视频呈现时间标记(video presentation time stamp,V-PTS))。决定模块140用来将音频呈现时间标记及视频呈现时间标记分别与系统100的一个设定值相比较,并根据比较结果以产生一音频调整信号及一视频调整信号,以据以分别设定音频译码模块120及视频译码模块130,更进一步而言,音频调整信号及视频调整信号分别用来指示音频译码模块120及视频译码模块130以执行快速播放功能或慢速播放功能。请注意,在以下的数个实施例中,音频译码模块120及视频译码模块130都具有快速播放功能及慢速播放功能,然而此并非用以作为本发明的限制条件,而快速播放功能及慢速播放功能的各种可能组合都可被应用于音频译码模块120及视频译码模块130中,具体而言,所述可能组合详列如下:
(1)音频译码模块120具有快速播放功能及慢速播放功能,而视频译码模块130仅具有快速播放功能。
(2)音频译码模块120具有快速播放功能及慢速播放功能,而视频译码模块130仅具有慢速播放功能。
(3)视频译码模块130具有快速播放功能及慢速播放功能,而音频译码模块120仅具有快速播放功能。
(4)视频译码模块130具有快速播放功能及慢速播放功能,而音频译码模块120仅具有慢速播放功能。
(5)音频译码模块120仅具有快速播放功能,且视频译码模块130仅具有快速播放功能。
(6)音频译码模块120仅具有慢速播放功能,且视频译码模块130仅具有慢速播放功能。
请参阅图1,系统100的设定值根据节目参考时钟脉冲(program clockreference,PCR)而产生,而决定模块140包括音频决定模块150及视频决定模块160,且音频决定模块150及视频决定模块160都可直接取得节目参考时钟脉冲,再者,音频决定模块150  以利用音频译码模块120中所产生的音频时钟脉冲来计时节目参考时钟脉冲。于此一实施例中,节目参考时钟脉冲(bit41~bit9)用来校正系统时序时钟脉冲(system time clock,STC);再者,音频决定模块150将节目参考时钟脉冲与音频呈现时间标记加以比较,并决定节目参考时钟脉冲与音频呈现时间标记间的关系是否大于一设定值,若是,则音频决定模块150会计算出音频调整信号并将其输出至音频译码模块120,再者,音频决定模块150也利用取样后的节目参考时钟脉冲及音频时钟脉冲来产生一个新的参考来源时钟脉冲(reference source clock)STC-E以决定视频调整信号,举例来说,当系统时序时钟脉冲的频率为90KHz时,新的参考来源时钟脉冲STC-E可由以下方程式得出:
STC - E = PCR sampled ( bit 41 ~ bit 9 ) + rate STC f s × delta audio output
其中STC-E代表设定值,fs代表音频输出取样频率,rateSTC代表系统时序时钟脉冲的频率,而deltaaudio output代表于PCRsampled之后所送出的音频样本的个数。
接着,视频决定模块160将视频呈现时间标记与设定值STC-E加以比较而得到视频调整信号,并将视频调整信号输出至视频译码模块130。一旦音频译码模块120及视频译码模块130分别接收到音频调整信号及视频调整信号之后,音频译码模块120及视频译码模块130会根据所述调整信号所指示的快速播放功能或慢速播放功能来分别对音频串流及视频串流进行译码,然后,音频决定模块150及视频决定模块160会分别输出音频调整完成信号及视频调整完成信号来告知决定模块140。
图2为本发明第二实施例的系统200的示意图。系统200包括解多工器210、音频译码模块220、视频译码模块230、决定模块240及系统时序时钟脉冲产生器270;系统时序时钟脉冲产生器270接收并参照节目参考时钟脉冲或系统参考时钟脉冲(system clock reference,SCR)以更新系统时序时钟脉冲;又,音频决定模块250将更新后的系统时序时钟脉冲与音频呈现时间标记加以比较,而视频决定模块260将更新后的系统时序时钟脉冲与视频呈现时间标记加以比较,进而分别决定系统时序时钟脉冲与该两者呈现时间标记间的关系是否大于一预设阀值,此外,此处的预设阀值可以根据音频译码模块220或视频译码模块230的输入缓冲器(input buffer)大小或输出缓冲器大小来加以决定。承前所述,若所得出的关系大于预设阀值,则决定模块240将会分别利用该两者呈现时间标记及系统时序时钟脉冲来决定音频调整信号及视频调整信号,进而选择性地对音频串流及(或)视频串流执行快速播放功能或慢速播放功能;最后,当音频译码模块220及视频译码模块230分别将音频串流及视频串流调整以后,音频译码模块220及视频译码模块230将分别送出一确认信号(recognition signal)至决定模块240。
举例来说,当译码速率为48KHz且系统时序时钟脉冲的频率为90KHz时,音频调整信号可由以下方程式得出:
Figure C20071010913100171
其中PTSaudio代表音频播放时间信息,freqdecode代表音频译码频率,rateSTC代表系统时序时钟脉冲的频率,而N代表快速播放功能或慢速播放功能所使用的最小样本数目。
或者,音频调整信号也可由以下方程式得出:
Figure C20071010913100172
其中PTSaudio代表音频播放时间信息,freqdecode代表音频译码频率,rateSTC代表系统时序时钟脉冲的频率,而Nf代表一视频帧(frame)中所译码的样本个数。
又,当视频译码速率为每秒30个视频帧时,视频调整信号可由以下方程式得出:
Figure C20071010913100173
其中PTSvideo代表视频播放时间信息,ratedecode代表视频视频帧的译码速率,rateSTC代表系统时序时钟脉冲的频率,而Nv代表快速播放功能或慢速播放功能所使用的最小视频帧个数。
本发明的优点之一在于译码模块可以根据不同的调整因子分别对音频串流及视频串流执行快速播放功能或慢速播放功能,因此当同步误差相当明显时,便可以对某一数据串流(例如音频串流)执行快速播放功能,而对另一数据串流(例如视频串流)执行慢速播放功能,如此一来便可以降低现有技术仅针对一个数据串流执行快速播放功能时产生明显的跳格现象(jumpeffect)。
本发明的另一个优点在于音频译码模块或视频译码模块可以个别执行快速播放功能或慢速播放功能,因此在应用上具有较大的弹性。
图3为本发明第三实施例的系统300的示意图。系统300包括解多工器310、音频译码模块320、视频译码模块330、音频决定模块350及更新模块370。与上述两个实施例相比,本实施例的决定模块仅由音频决定模块350所构成,且音频决定模块350用来调整音频串流,又,音频系统时序时钟脉冲可根据音频呈现时间标记来加以更新,且更新后的音频系统时序时钟脉冲将提供给视频译码模块330作为参考,使得调整过的音频串流可被用来校正视频串流;更进一步而言,当音频串流大幅落后视频串流时,音频决定模块350可以将音频串流快速播放达音频串流落后的视频帧数的一半,并接着使用音频串流的时钟脉冲来对视频串流进行慢速播放达音频串流所落后视频帧数的剩余的另一半,如此一来,使用者便较不容易察觉出同步误差的存在。请注意,此实施例的操作原理与上述两个实施例相同,不同处主要在于此实施例的音频决定模块350仅直接控制音频串流的时钟脉冲,之后再由音频译码模块320来控制视频串流的播放时序;又,上述使用音频译码模块320来校正视频译码模块330的作法仅为本发明的一实施例,而非本发明的限制条件。
于图3中,解多工器310用来将节目参考时钟脉冲自数据串流中取出并传送至音频决定模块350,并将音频串流传送至音频译码模块320,此外,更将视频串流传送至视频译码模块330;接着,音频译码模块320将所接收到的音频呈现时间标记传送至音频决定模块350,而音频决定模块350于接收到音频呈现时间标记及节目参考时钟脉冲之后,会将音频呈现时间标记与节目参考时钟脉冲加以比较,并根据比较结果送出一音频调整信号至音频译码模块320;接着,音频系统时序时钟脉冲可以根据音频调整信号来加以更新,而更新后的音频系统时序时钟脉冲可被用来校正视频译码模块330。请注意,在此实施例中,更新模块370用来更新音频系统时序时钟脉冲的方程式与图2所示的实施例所使用的方程式为相同。
图4为本发明第四实施例的系统400的示意图。系统400包括解多工器410、音频译码模块420、视频译码模块430、视频决定模块460及更新模块470;此实施例与图3的实施例极为类似,而不同处主要在于此实施例的决定模块仅由视频决定模块460所构成,且视频决定模块460用来调整视频串流,此外,调整过的视频串流可以用来校正音频串流。在此实施例中,利用节目参考时钟脉冲与视频同步时钟脉冲(video-sync clock)来更新一视频系统时序时钟脉冲(video system time clock,V-STC),而更新后的视频系统时序时钟脉冲可以用来校正音频串流,举例来说,更新模块470可以执行以下方程式来更新视频系统时序时钟脉冲:
STC extra - v = PCR sampled ( bit 41 ~ bit 9 ) + 90000 × delta v - sync C v - sync ,
其中Cv-sync代表视频同步时钟脉冲(即视频扫描场输出时钟脉冲),而deltav-sync则代表于PCRsampled之后所更新的扫描场(field)个数。
请注意,熟习此项技艺者在理解上述第三实施例的描述后,即可经由参阅图4而清楚了解本实施例的操作细节及原理,故在此不予赘述。
本发明的优点之一在于使用业界标准播放器所既有的快速播放功能及慢速播放功能来达到本发明中影音(audio-visual,AV)同步的目标,因此不需要额外的复杂电路或韧体程序代码,而底下将更进一步详述快速播放功能及慢速播放功能的运作原理。
图5表示本发明音频译码模块的第一实施例的示意图;请注意,此实施例的音频译码模块对应于上述的音频译码模块120、220或320,而音频译码模块120、220或320包括音频缓冲排程器(audio buffer scheduler)510、输入缓冲器520、译码模块530、输出缓冲器540及输出模块550。输入缓冲器520具有复数个输入缓冲区块,用来暂存所接收的音频数据的音频帧(audioframe)至输入缓冲区块;又,音频缓冲排程器510可接收音频调整信号及音频呈现时间标记,并据此设定一指针(pointer)以决定输入缓冲器520中哪些输入缓冲区块内的音频帧会被送至译码模块530;再者,译码模块530可自音频缓冲排程器510接收音频呈现时间标记。在此实施例中,当音频数据领先视频数据时会执行慢速播放功能,此时指针会被闩锁(1atch)在某个输入缓冲区块,因此任何其它的输入缓冲区块中的音频帧都不会被传送至译码模块530,直到音频缓冲排程器510有进一步的指示。另一方面,当音频数据落后视频数据时则会执行快速播放功能,此时指针会往前移动达某一数量的输入缓冲区块,接着再将指针所指向的输入缓冲区块中的音频帧传送至译码模块530,而指针的新旧位置间所对应的输入缓冲区块将不会被传送至译码模块530。经由上述方式,可以将音频数据快速播放或慢速播放;又,在音频数据的每一个音频帧被译码后,译码模块530将送出译码完成信号至音频缓冲排程器510,接着,已译码的音频帧会被传送至输出缓冲器540,再被传送至输出模块550,并输出为已译码的音频信号。再者,译码模块530更将音频呈现时间标记传送至输出模块550,而输出模块550非必要性地(optionally)将音频输出时钟脉冲及音频呈现时间标记传送至音频决定模块。
图6表示本发明音频译码模块的第二实施例的示意图。请注意,此实施例的音频译码模块对应于上述的音频译码模块120、220或320,而音频译码模块120、220或320包括音频缓冲排程器610、输入缓冲器620、译码模块630、输出缓冲器640及输出模块650。输出缓冲器640耦接至译码模块630且具有复数个输出缓冲区块,用来暂存已译码的音频数据的音频帧至输出缓冲区块;又,音频缓冲排程器610用来设定一指针以决定输出缓冲器640中哪些输出缓冲区块内已译码的音频帧会被送至输出模块650;再者,输入缓冲器620具有复数个输入缓冲区块,用来暂存所接收的音频数据的音频帧至输入缓冲区块,又,输入缓冲器620中所有输入缓冲区块内的音频帧会被传送至译码模块630,且译码模块630将所述音频帧译码后再传送至输出缓冲器640;又,输出缓冲器640接收由音频缓冲排程器610而来的指针。在此实施例中,当音频数据领先视频数据时会执行慢速播放功能,此时指针会被闩锁在某个输出缓冲区块,直到音频缓冲排程器610有进一步的指示,且此时输出缓冲器640所暂存的已译码的音频帧会被传送至输出模块650;另一方面,当音频数据落后视频数据时则会执行快速播放功能,此时指针会往前移动达某一数量的输出缓冲区块,接着再将指针所指的输出缓冲区块中的音频帧传送至输出模块650,而指针的新旧位置间所对应的输出缓冲区块将不会被传送至输出模块650。
底下请同时参阅图4及图7,图7表示本发明音频译码模块的第三实施例的示意图。请注意,此实施例的音频译码模块对应于上述的图4所示的系统400中的音频译码模块420,而音频译码模块420包括音频缓冲排程器710、输入缓冲器720、译码模块730、输出缓冲器740及输出模块750。输入缓冲器720具有复数个输入缓冲区块,用来暂存所接收的音频数据的音频帧至输入缓冲区块;又,音频缓冲排程器710可接收音频呈现时间标记,并据此设定一指针(pointer)以决定输入缓冲器720中哪些输入缓冲区块内的音频帧会被送至译码模块730;再者,译码模块730用来将所述音频帧译码并传送至输出缓冲器740,而输出缓冲器740耦接至译码模块730且具有复数个输出缓冲区块,用来暂存已译码的音频帧至输出缓冲区块。在此实施例中,音频缓冲排程器710还设定另一指针以决定输出缓冲器740中哪些输出缓冲区块内已译码的音频帧会被传送至输出模块750;又,输出模块750自图4所示的更新模块470接收视频系统时序时钟脉冲,并将调整过后的音频呈现时间标记(即对应于目前的输出音频数据的音频呈现时间标记)传送至音频缓冲排程器710。
图8表示本发明视频译码模块的第一实施例的示意图。请注意,此实施例的视频译码模块对应于上述的视频译码模块130、230或430;又,除了来源由音频数据改为视频数据之外,本实施例的视频译码模块130、230或430的操作原理与图6的音频译码模块120、220或320相同。在此实施例中,视频译码模块130、230或430包括视频缓冲排程器(video buffer scheduler)810、输入缓冲器820、译码模块830、输出缓冲器840及输出模块850;再者,与图6的音频缓冲排程器610相类似,视频缓冲排程器810用来设定一指针以决定输出缓冲器840中哪些输出缓冲区块内已译码的视频数据的视频帧会被送至输出模块850;请注意,本实施例中其余组件的操作原理与图6中对应组件的操作原理相同,故在此不予赘述。
底下请同时参阅图3及图9,图9表示本发明视频译码模块的第二实施例的示意图。请注意,此实施例的视频译码模块对应于上述的图3中系统300的视频译码模块330;又,图9的视频译码模块330与图8的视频译码模块130、230或430具有相同的组件,而这两个实施例的不同处在于视频缓冲排程器910除了设定一指针以决定输入缓冲器920中哪些输入缓冲区块内的视频数据的视频帧会被送至译码模块930之外,还设定另一指针以决定输出缓冲器940中哪些输出缓冲区块内已译码的视频帧会被传送至输出模块950。再者,输出模块950自图3所示的更新模块370接收音频系统时序时钟脉冲,并根据音频系统时序时钟脉冲将调整过后的视频呈现时间标记(即对应于目前的输出视频数据的视频呈现时间标记)传送至视频缓冲排程器910。
图10表示本发明视频译码模块的第三实施例的示意图。请注意,此实施例的视频译码模块对应于上述的视频译码模块130、230或430;又,除了来源由音频数据改为视频数据之外,本实施例的视频译码模块130、230或430的操作原理与图5的音频译码模块120、220或320相同。在此实施例中,视频译码模块130、230或430包括视频缓冲排程器1010、输入缓冲器1020、译码模块1030、输出缓冲器1040及输出模块1050;此外,与图5的音频缓冲排程器510相类似,视频缓冲排程器1010用来设定一指针以决定输入缓冲器1020中哪些输入缓冲区块内的视频数据的视频帧会被送至译码模块1030。请注意,本实施例中其余组件的操作原理与图5中对应组件的操作原理相同,故在此不予赘述。
本发明的优点之一在于可以个别地调整数据串流中的视频串流及音频串流,使得视频串流及音频串流能保持同步,而本发明的另一个优点在于可以同时地调整视频串流及音频串流,使得同步化过程能更为平顺。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,都应属本发明的涵盖范围。

Claims (35)

1.一种将视频数据及音频数据同步的系统,其特征在于,所述系统包括:
一解多工器,其用以将一数据串流分为一音频数据及一视频数据,其中所述音频数据具有内嵌的一音频播放时间信息,且所述视频数据具有内嵌的一视频播放时间信息;
一音频译码模块,其至少具有一快速播放功能或一慢速播放功能,用以译码所述音频数据并输出已译码的所述音频数据;
一视频译码模块,其至少具有所述快速播放功能或所述慢速播放功能,用以译码所述视频数据并输出已译码的所述视频数据;以及
一决定模块,其耦接至所述音频译码模块及所述视频译码模块中的至少一者,用以将所述视频播放时间信息及所述音频播放时间信息的至少一者与所述系统的一设定值加以比较,并根据一比较结果送出至少一调整信号以设定所述视频译码模块或所述音频译码模块,其中所述调整信号用以指示所述视频译码模块或所述音频译码模块以执行所述快速播放功能或所述慢速播放功能。
2.如权利要求1所述的系统,其特征在于,所述决定模块耦接至所述视频译码模块及所述音频译码模块,用来将所述视频播放时间信息与所述系统的所述设定值加以比较以产生一视频调整因子并将其输出至所述视频译码模块,以及将所述音频播放时间信息与所述系统的所述设定值加以比较以产生一音频调整因子并将其输出至所述音频译码模块。
3.如权利要求2所述的系统,其特征在于,所述决定模块包括一视频决定模块及一音频决定模块,且所述音频决定模块根据一音频时钟脉冲以自所述音频数据取出所述设定值。
4.如权利要求3所述的系统,其特征在于,所述音频决定模块根据以下方程式以决定所述设定值:
STC - E = PCR sampled ( bit 41 ~ bit 9 ) + rate STC f s × delta audiooutput ,
其中STC-E代表所述设定值,PCRsampled代表取样后的节目参考时钟脉冲,fs代表一音频输出取样频率,rateSTC代表一系统时序时钟脉冲的频率,且deltaaudio output代表于PCRsampled之后所送出的复数个音频样本的个数。
5.如权利要求2所述的系统,其特征在于,所述系统还包括一系统时序时钟脉冲产生器,其耦接至所述决定模块,用以提供所述系统的所述设定值。
6.如权利要求5所述的系统,其特征在于,所述决定模块包括视频决定模块,所述视频决定模块根据以下方程式以决定所述视频调整因子:
Figure C2007101091310003C2
其中PTSvideo代表所述视频播放时间信息,ratedecode代表视频视频帧的译码速率,rateSTC代表一系统时序时钟脉冲的频率,且Nv代表所述快速播放功能或所述慢速播放功能所使用的最小视频帧个数。
7.如权利要求5所述的系统,其特征在于,所述决定模块包括音频决定模块,所述音频决定模块根据以下方程式以决定所述音频调整因子:
其中PTSaudio代表所述音频播放时间信息,STC代表系统时序时钟脉冲,freqdecode代表一音频译码取样频率,rateSTC代表一系统时序时钟脉冲的频率,且N代表所述快速播放功能或所述慢速播放功能所使用的最小样本个数。
8.如权利要求5所述的系统,其特征在于,所述决定模块包括音频决定模块,所述音频决定模块根据以下方程式以决定所述音频调整因子:
Figure C2007101091310003C4
其中PTSaudio代表所述音频播放时间信启、,STC代表系统时序时钟脉冲,freqdecode代表一译码频率,rateSTC代表一系统时序时钟脉冲的频率,且Nf代表一视频帧中所译码的样本个数。
9.如权利要求1所述的系统,其特征在于,所述决定模块将所述音频播放时间信息与所述设定值加以比较以决定一音频调整因子并将其输出至所述音频译码模块,且所述系统还包括一更新模块,其耦接至所述音频译码模块及所述视频译码模块,用以根据所述音频调整因子以校正所述视频译码模块。
10.如权利要求9所述的系统,其特征在于,所述决定模块根据一音频时钟脉冲以自所述音频数据取出所述设定值。
11.如权利要求10所述的系统,其特征在于,所述决定模块根据以下方程式以决定所述设定值:
STC - E = PCR sampled ( bit 41 ~ bit 9 ) + rate STC f s × delta audiooutput ,
其中STC-E代表所述设定值,PCRsampled代表取样后的节目参考时钟脉冲,rateSTC代表一系统时序时钟脉冲的频率,fs代表一音频输出取样频率,且deltaaudio output代表于PCRsampled之后所送出的复数个音频样本的个数。
12.如权利要求1所述的系统,其特征在于,所述决定模块将所述视频播放时间信息与所述设定值加以比较以决定一视频调整因子并输出至所述视频译码模块,且所述系统还包括一更新模块,其耦接至所述音频译码模块及所述视频译码模块,用以根据所述视频调整因子以校正所述音频译码模块。
13.如权利要求12所述的系统,其特征在于,所述决定模块根据-视频同步时钟脉冲以自所述视频数据取出所述设定值。
14.如权利要求13所述的系统,其特征在于,所述决定模块根据以下方程式以决定所述设定值:
STC extra - v = PCR sampled ( bit 41 ~ bit 9 ) + 90000 × delta v - sync C v - sync ,
其中Cv-sync代表所述视频同步时钟脉冲(视频扫描场输出时钟脉冲),PCRsampled代表取样后的节目参考时钟脉冲,STCextra-v代表更新后的视频系统时序时钟脉冲,且deltav-sync代表于PCRsampled之后所更新的复数个扫描场的个数。
15.如权利要求1所述的系统,其特征在于,所述视频译码模块包括:
一输入缓冲器,其具有复数个输入缓冲区块,用以暂存所接收的所述视频数据的复数个视频帧至所述输入缓冲区块;
一译码模块,其耦接至所述输入缓冲器,用以译码所述输入缓冲区块内的所述视频帧;
一输出缓冲器,其耦接至所述译码模块且具有复数个输出缓冲区块,用以暂存已译码的所述视频帧至所述输出缓冲区块;
一输出模块,其耦接至所述输出缓冲器,用以输出所述输出缓冲区块内的已译码的所述视频帧;以及
一视频缓冲排程器,其耦接至所述输入缓冲器及所述译码模块,用以设定一指针以决定哪些输入缓冲区块内的视频帧会被送至所述译码模块。
16.如权利要求1所述的系统,其特征在于,所述视频译码模块包括:
一输入缓冲器,其具有复数个输入缓冲区块,用以暂存所接收的所述视频数据的复数个视频帧至所述输入缓冲区块;
一译码模块,其耦接至所述输入缓冲器,用以译码所述输入缓冲区块内的所述视频帧;
一输出缓冲器,其耦接至所述译码模块且具有复数个输出缓冲区块,用以暂存已译码的所述视频帧至所述输出缓冲区块;
一输出模块,其耦接至所述输出缓冲器,用以输出所述输出缓冲区块内的已译码的所述视频帧;以及
一视频缓冲排程器,其耦接至所述输出缓冲器及所述译码模块,用以设定一指针以决定哪些输出缓冲区块内的已译码的视频帧会被送至所述输出模块。
17.如权利要求1所述的系统,其特征在于,所述音频译码模块包括:
一输入缓冲器,其具有复数个输入缓冲区块,用以暂存所接收的所述音频数据的复数个音频帧至所述输入缓冲区块;
一译码模块,其耦接至所述输入缓冲器,用以译码所述输入缓冲区块内的所述音频帧;
一输出缓冲器,耦接至所述译码模块且具有复数个输出缓冲区块,用以暂存已译码的所述音频帧至所述输出缓冲区块;
一输出模块,耦接至所述输出缓冲器,用以输出所述输出缓冲区块内的已译码的所述音频帧;以及
一音频缓冲排程器,其耦接至所述输入缓冲器及所述译码模块,用以设定一指针以决定哪些输入缓冲区块内的音频帧会被送至所述译码模块。
18.如权利要求1所述的系统,其特征在于,所述音频译码模块包括:
一输入缓冲器,其具有复数个输入缓冲区块,用以暂存所接收的所述音频数据的复数个音频帧至所述输入缓冲区块;
一译码模块,其耦接至所述输入缓冲器,用以译码所述输入缓冲区块内的所述音频帧;
一输出缓冲器,其耦接至所述译码模块且具有复数个输出缓冲区块,用以暂存已译码的所述音频帧至所述输出缓冲区块;
一输出模块,其耦接至所述输出缓冲器,用以输出所述输出缓冲区块内的已译码的所述音频帧;以及
一音频缓冲排程器,其耦接至所述输出缓冲器及所述译码模块,用以设定一指针以决定哪些输出缓冲区块内的已译码的音频帧会被送至所述输出模块。
19.如权利要求18所述的系统,其特征在于,所述音频缓冲排程器设定另一指针以决定哪些输入缓冲区块内的音频帧会被送至所述译码模块。
20.一种将视频数据及音频数据同步的方法,其特征在于,所述方法包括以下步骤:
将一数据串流分为一音频数据及一视频数据,其中所述音频数据具有内嵌/关联的一音频播放时间信息,且所述视频数据具有内嵌/关联的一视频播放时间信息;
将所述视频播放时间信息及所述音频播放时间信息的至少一者与一设定值加以比较;
根据一比较结果以送出至少一调整信号;
根据所述调整信号以调整所述音频数据或所述视频数据;以及
将所述音频数据及所述视频数据译码;
其中所述调整信号用以对所述视频数据或所述音频数据进行快速播放或慢速播放。
21.如权利要求20所述的方法,其特征在于,根据所述比较结果以送出所述调整信号的步骤包括:
将所述视频播放时间信息与所述设定值加以比较以产生与所述视频数据相关的一视频调整因子;以及
将所述音频播放时间信息与所述设定值加以比较以产生与所述音频数据相关的一音频调整因子。
22.如权利要求21所述的方法,其特征在于,将所述视频播放时间信息及所述音频播放时间信息的至少一者与所述设定值加以比较的步骤包括:
根据一音频时钟脉冲以自所述音频数据取出所述设定值。
23.如权利要求22所述的方法,其特征在于,所述设定值根据以下方程式而决定:
STC - E = PCR sampled ( bit 41 ~ bit 9 ) + rate STC f s × delta audiooutput ,
其中STC-E代表所述设定值,PCRsampled代表取样后的节目参考时钟脉冲,fs代表一音频输出取样频率,rateSTC代表一系统时序时钟脉冲的频率,且deltaaudio output代表于PCRsampled之后所送出的复数个音频样本的个数。
24.如权利要求21所述的方法,其特征在于,所述方法还包括提供一系统时序时钟脉冲产生器,用以提供所述设定值。
25.如权利要求24所述的方法,其特征在于,所述视频调整因子根据以下方稆式而决定:
Figure C2007101091310008C1
其中PTSvideo代表所述视频播放时间信息,STC代表系统时序时钟脉冲,ratedecode代表视频视频帧的译码速率,rateSTC代表一系统时序时钟脉冲的频率,且Nv代表快速播放或慢速播放时所使用的最小视频帧个数。
26.如权利要求24所述的方法,其特征在于,所述音频调整因子根据以下方程式而决定:
其中PTSaudio代表所述音频播放时间信息,STC代表系统时序时钟脉冲,freqdecode代表一译码频率,rateSTC代表一系统时序时钟脉冲的频率,且N代表快速播放或慢速播放时所使用的最小样本个数。
27.如权利要求24所述的方法,其特征在于,所述音频调整因子根据以下方程式而决定:
其中PTSaudio代表所述音频播放时间信息,STC代表系统时序时钟脉冲,freqdecode代表一译码频率,rateSTC代表一系统时序时钟脉冲的频率,且Nf代表一视频帧中所译码的样本个数。
28.如权利要求20所述的方法,其特征在于,所述调整信号用以调整所述音频数据,且所述方法还包括以下步骤:
根据所述调整信号以更新所述音频数据;以及
根据已更新的所述音频数据以调整所述视频数据。
29.如权利要求28所述的方法,其特征在于,所述方法还包括:
根据一音频时钟脉冲以自所述音频数据取出所述设定值。
30.如权利要求29所述的方法,其特征在于,所述设定值根据以下方程式而决定:
STC - E = PCR sampled ( bit 41 ~ bit 9 ) + rate STC f s × delta audiooutput ,
其中STC-E代表所述设定值,PCRsampled代表取样后的节目参考时钟脉冲,rateSTC代表一系统时序时钟脉冲的频率,fs代表一音频输出取样频率,且deltaaudio output代表于PCRsampled之后所送出的复数个音频样本的个数。
31.如权利要求20所述的方法,其特征在于,所述调整信号用以调整所述视频数据,且所述方法还包括:
根据所述调整信号以更新所述视频数据;以及
根据已更新的所述视频数据以调整所述音频数据。
32.如权利要求31所述的方法,其特征在于,所述方法还包括:
根据一视频同步时钟脉冲以自所述视频数据取出所述设定值。
33.如权利要求32所述的方法,其特征在于,所述设定值根据以下方程式而决定:
STC extra - v = PCR sampled ( bit 41 ~ bit 9 ) + 90000 × delta v - sync C v - sync ,
其中Cv-sync代表所述视频同步时钟脉冲(视频扫描场输出时钟脉冲),PCRsampled代表取样后的节目参考时钟脉冲,STCextra-v代表更新后的视频系统时序时钟脉冲,且deltav-sync代表于PCRsampled之后所更新的复数个扫描场的个数。
34.如权利要求20所述的方法,其特征在于,根据所述调整信号以调整所述音频数据或所述视频数据的步骤包括:
暂存所述音频数据及所述视频数据;
根据所述调整信号选择性地对暂存的所述音频数据或所述视频数据进行快速播放或慢速播放;
根据所执行的快速播放及慢速播放选择性地对所述音频数据的复数个音频帧及所述视频数据的复数个视频帧进行译码;
暂存已译码的所述音频帧或视频帧;以及
输出已译码的所述音频帧或视频帧。
35.如权利要求20所述的方法,其特征在于,根据所述调整信号以调整所述音频数据或所述视频数据的步骤包括:
暂存所述音频数据及所述视频数据;
将所述音频数据及所述视频数据译码;
暂存已译码的所述音频数据及所述视频数据;
根据所述调整信号选择性地对暂存的已译码的所述音频数据或所述视频数据进行快速播放或慢速播放;以及
根据所执行的快速播放或慢速播放选择性地输出暂存的已译码的所述音频数据或所述视频数据。
CN200710109131A 2006-07-12 2007-06-12 将视频数据及音频数据同步的方法及系统 Expired - Fee Related CN100588261C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/456,860 2006-07-12
US11/456,860 US8446963B2 (en) 2006-07-12 2006-07-12 Method and system for synchronizing audio and video data signals

Publications (2)

Publication Number Publication Date
CN101106724A CN101106724A (zh) 2008-01-16
CN100588261C true CN100588261C (zh) 2010-02-03

Family

ID=38949357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710109131A Expired - Fee Related CN100588261C (zh) 2006-07-12 2007-06-12 将视频数据及音频数据同步的方法及系统

Country Status (3)

Country Link
US (1) US8446963B2 (zh)
CN (1) CN100588261C (zh)
TW (1) TWI334311B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744237B2 (en) 2011-06-20 2014-06-03 Microsoft Corporation Providing video presentation commentary
CN102957893B (zh) * 2011-08-11 2016-02-24 宝利通公司 用于在连续呈现会议中的视频流之间切换的方法和系统
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
CN103475927B (zh) * 2012-06-08 2015-04-08 腾讯科技(深圳)有限公司 在线视频实时变速播放方法及系统
CN103428584A (zh) * 2013-08-01 2013-12-04 珠海全志科技股份有限公司 多媒体播放平台上保持音视频同步的方法及设备
TWI561070B (en) * 2014-01-03 2016-12-01 Mstar Semiconductor Inc Decoder and decoding method for audio video stream synchronization
CN104954727B (zh) * 2014-03-25 2018-08-07 南宁富桂精密工业有限公司 音视频同步控制设备及方法
US10231001B2 (en) * 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback
CN108282684A (zh) * 2017-01-06 2018-07-13 北京视连通科技有限公司 一种基于场景或特定对象的多媒体广告播出方法
CN108632557B (zh) * 2017-03-20 2021-06-08 中兴通讯股份有限公司 一种音视频同步的方法及终端
EP3874384A4 (en) * 2018-10-29 2022-08-10 Artrendex, Inc. SYSTEM AND METHOD GENERATING A SYNCHRONIZED REACTIVE VIDEO STREAM FROM AN AUDITORY INPUT
CN109218795B (zh) * 2018-11-29 2021-09-24 海信视像科技股份有限公司 一种多设备播放进度同步方法、装置及终端设备
CN112985583B (zh) * 2021-05-20 2021-08-03 杭州兆华电子有限公司 结合短时脉冲检测的声学成像方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
TW200531023A (en) * 2004-03-12 2005-09-16 Ali Corp Method for rapid video synchronization adjustment
US7480315B2 (en) * 2004-12-31 2009-01-20 Microsoft Corporation Method and apparatus for synchronizing clocks

Also Published As

Publication number Publication date
TW200806050A (en) 2008-01-16
CN101106724A (zh) 2008-01-16
US8446963B2 (en) 2013-05-21
US20080013918A1 (en) 2008-01-17
TWI334311B (en) 2010-12-01

Similar Documents

Publication Publication Date Title
CN100588261C (zh) 将视频数据及音频数据同步的方法及系统
US7130316B2 (en) System for frame based audio synchronization and method thereof
US7228059B2 (en) Audio reproducing apparatus and audio reproduction control method for use in the same
US6859612B2 (en) Decoder and reproducing unit
KR20010050669A (ko) 데이터 처리 장치, 데이터 처리 방법 및 기록 매체
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
CN101290790B (zh) 一种音视频同步播放的方法和装置
KR101246916B1 (ko) 오디오/비디오 동기 보정 방법 및 장치
JP2006270299A (ja) Cm検出装置およびcm検出方法
KR20060124523A (ko) 전송 스트림의 시간 정보를 이용하여 디지털 방송 수신장치의 시간을 설정하는 방법 및 그 장치
JP5848872B2 (ja) 放送受信装置
US7903774B2 (en) Method for creating a system clock in a receiver device and corresponding receiver device
US8213778B2 (en) Recording device, reproducing device, recording medium, recording method, and LSI
KR100423129B1 (ko) 디지털 방송수신기에서의 출력 타이밍 조절방법
JPH10126371A (ja) 多重化装置及び多重化方法
US20100166382A1 (en) Video and audio reproduction system, distribution device, and synchronization adjustment method
EP2244253A1 (en) Audio resume reproduction device and audio resume reproduction method
US20070058934A1 (en) Decoding/reproducing apparatus
JP2009212696A (ja) データ処理装置、データ処理方法、およびプログラム
CN101227573A (zh) 数字广播接收机及其控制方法
US20080037591A1 (en) Data recording and reproducing apparatus
CN101686401B (zh) 数据处理设备和数据处理方法
KR20070056547A (ko) 신호의 처리방법 및 장치
JP2002281498A (ja) 受信再生装置
US20100129060A1 (en) Digital broadcast receiving apparatus and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100203

Termination date: 20160612

CF01 Termination of patent right due to non-payment of annual fee