CN100474934C - 数据处理装置和方法 - Google Patents

数据处理装置和方法 Download PDF

Info

Publication number
CN100474934C
CN100474934C CNB2005101254434A CN200510125443A CN100474934C CN 100474934 C CN100474934 C CN 100474934C CN B2005101254434 A CNB2005101254434 A CN B2005101254434A CN 200510125443 A CN200510125443 A CN 200510125443A CN 100474934 C CN100474934 C CN 100474934C
Authority
CN
China
Prior art keywords
video
time
present
data
timing signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101254434A
Other languages
English (en)
Other versions
CN1777292A (zh
Inventor
片山启
山口裕司
汤地洋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1777292A publication Critical patent/CN1777292A/zh
Application granted granted Critical
Publication of CN100474934C publication Critical patent/CN100474934C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频呈现定时能够以高准确度匹配发声定时。数字广播接收机计算从当要呈现基于压缩视频数据的视频时的呈现时间到在呈现单元上呈现视频的时间的呈现延迟时间dt，并且当从当要输出基于压缩音频数据的音频时的发声时间经过所计算的呈现延迟时间dt时，输出基于压缩音频数据的音频。

Description

数据处理装置和方法
相关申请的交叉参考
本申请包含于2004年11月17日在日本专利局提交的日本专利申请JP2004-333322的主题，在此通过参考合并其整个内容。
技术领域
本发明涉及一种数据处理装置和用于该装置的方法，并且最好应用于通过对根据例如运动图像专家组层2(MPEG2)系统等而被编码的压缩的视频数据和压缩的音频数据进行解码来输出视频和音频的解码设备。
背景技术
进来，数字广播接收机作为上述类型的解码设备已经变得广为流行。将数字广播接收机配置为当例如用户执行频道切换操作时根据如图1所示的过程RT1X输出视频和音频。
即，当用户执行频道切换操作时，数字广播接收机将控制交给步骤SP1，并且接收网络信息表(NIT)。NIT包含关于传输链路(在这种情况中，卫星的轨道、极化波(polarized wave)、每个发射应答器的频率等)的物理信息。因此，数字广播接收机可以根据NIT选择与在频道切换操作中所请求的请求频道对应的发射应答器，从而接收与请求频道对应的传输流。
然后，数字广播接收机将控制交给步骤SP2，并且接收节目关联表(PAT)。然后数字广播接收机将控制交给步骤SP3，并且根据PAT接收与请求频道对应的节目映射表(PMT)。
然后，数字广播接收机将控制交给步骤SP4，并且根据这样的PMT实现与请求频道对应的节目识别(PID)。在这种情况中，PID对应于用于识别包含与请求频道对应的压缩视频数据、压缩音频数据、节目时钟参考(PCR)数据等的数据包的识别信息。数字广播接收机可以通过从所接收的传输流中将与识别的PID对应的数据包分离而作为流获得与请求频道对应的压缩视频数据、压缩音频数据、PCR数据等。
上述步骤SP1到SP4中的处理过程被公知作为DEMUX处理(参照日本专利申请JP2003-274304)。
在流中所获得的PCR数据包括在将压缩视频数据和压缩音频数据进行编码的编码设备处的系统时间时钟。
因此，当数字广播接收机将控制交给随后的步骤SP5时，其将在数字广播接收机中保持的系统时间时钟(STC)设置为在PCR数据中保持的时间时钟。因此，由数字广播接收机保持的系统时间时钟与在编码设备处保持的时间时钟可以同步。
并且在流中，如图2所示，指示要呈现视频的时间的呈现时间戳(PTS)和与例如一帧对应的每片视频数据“Dpic(0)”、“Dpic(1)”、.....相关联。类似地，在流中，指示要输出音频时的时间的发声时间戳(PTS)和与例如一帧对应的每片压缩音频数据“Dframe(0)”、“Dframe(1)”、.....相关联。
因此，例如，当所保持的系统时间时钟与同压缩视频数据“Dpic(0)”关联的呈现时间戳“pts(0)”匹配时，数字广播接收机将控制交给步骤SP6并且在呈现设备上呈现根据通过解码压缩视频数据“Dpic(0)”而获得的视频数据的视频“Vpic(0)”。
此外，当所保持的系统时间时钟与同压缩音频数据“Dframe(0)”关联的发声时间戳“pts(0)”匹配时，数字广播接收机将控制交给步骤SP7，并且经过扬声器等输出根据通过解码压缩音频数据“Dframe(0)”而获得的音频数据的音频“Sframe(0)”。
因此，数字广播接收机能够在某种程度上允许指示视频“Vpic(0)”、....的视频呈现定时匹配于发声时间从而输出同视频“Vpic(0)”对应的音频“Sframe(0)”、.....。
发明内容
上述数字广播接收机实际上产生用于在垂直方向中的扫描线操作的同步的垂直同步信号，以便用于在呈现设备上呈现视频，并且顺序地与所产生的信号同步地呈现视频“Vpic(0)”、.....。
因此，在图2所示的情况中，例如，与音频“Sframe(0)”相关地，虽然当如所计划的而将音频进行输出时可以在发声时间“pts(0)”输出音频“Sframe(0)”，但是当要呈现基于视频数据的视频“Vpic(0)”时，与音频“Sframe(0)”对应的视频“Vpic(0)”不被指定给在呈现时间“pts(0)”处所产生的垂直同步信号。因此，不允许呈现视频“Vpic(0)”，并且当随后产生垂直同步信号时，可以呈现视频“Vpic(0)”。
结果是，在数字广播接收机中，在音频“Sframe(0)”、.......的发声定时和与音频“Sframe(0)”、.......对应的视频“Vpic(0)”......的视频呈现定时之间检测到±1/2帧的最大差异。从而，所以很难以高准确性匹配发声定时来识别视频呈现定时。
用于解决上述问题的方法可以调节在数字广播接收机中所产生的垂直同步信号以在呈现视频“Vpic(0)”......之前匹配呈现时间戳。但是，当进行调整时，垂直同步信号导致扰动，从而导致视频“Vpic(0)”......呈现扰动。因此，该方法不是最好的。
已经开发了本发明以解决上述问题，并且提供能够使得视频呈现定时以高准确度匹配于发声定时的数据处理装置和方法。
为了解决上述问题，根据本发明的数据处理装置包括：呈现设备，用于当从用于提供视频呈现定时信号的提供设备提供视频呈现定时信号时，呈现基于视频数据的视频，所述视频呈现定时信号指示在要呈现基于视频数据的视频的呈现时间之后在预定周期时间处的视频的呈现定时；计算设备，用于计算从当要呈现基于视频数据的视频时的呈现时间到呈现设备呈现视频的时间的呈现延迟时间；和发声设备，用于当从要输出基于音频数据的音频时的发声时间起经过所计算的呈现延迟时间时，输出基于音频数据的音频，其中，所述计算设备通过从要呈现基于视频数据的视频的呈现时间减去在呈现时间之前提供视频呈现定时信号的提供时间、将所减的结果除以视频呈现定时信号的周期时间、并且从视频呈现定时信号的周期时间中减去作为相除结果而获得的余数，来计算呈现延迟时间。
因此，通过数据处理装置，计算从当要呈现基于视频数据的视频时的呈现时间到由呈现设备呈现视频的呈现延迟时间。当从要输出基于音频数据的音频时的发声时间经过所计算的呈现延迟时间时，输出基于音频数据的音频，从而将音频的输出延迟呈现视频延迟时间，并且成功地避免了在呈现视频的视频呈现定时和输出音频的发声定时之间的偏移。
根据本发明，计算从当要呈现基于视频数据的视频时的呈现时间到由呈现设备呈现视频的呈现延迟时间。当从要输出基于音频数据的音频时的发声时间经过所计算的呈现延迟时间时，输出基于音频数据的音频，因此将音频的输出延迟视频呈现延迟时间，并且成功地避免了在呈现视频的视频呈现定时和输出音频的发声定时之间的偏移。因此，能够实现能够高准确度地将视频呈现定时与发声定时进行匹配的数据处理装置。
本发明还提供一种数据处理方法，包括步骤：当从用于提供视频呈现定时信号的提供设备提供视频呈现定时信号时呈现基于视频数据的视频，所述视频呈现定时信号指示在要呈现基于视频数据的视频的呈现时间之后在预定周期时间处的、用于视频的呈现定时；计算从当要呈现基于视频数据的视频时的呈现时间到在呈现步骤中呈现视频的时间的呈现延迟时间；和当从当要输出基于音频数据的音频时的发声时间经过所计算的呈现延迟时间时，输出基于音频数据的音频，其中，通过从要呈现基于视频数据的视频的呈现时间减去在呈现时间之前提供视频呈现定时信号的提供时间、将所减的结果除以视频呈现定时信号的周期时间、并且从视频呈现定时信号的周期时间中减去作为相除结果而获得的余数，来计算呈现延迟时间。
当结合附图阅读下面的详细说明时，本发明的特征、原理和使用将变得更加明显，在附图中相同的标记数字和符号表示相同的部件。
附图说明
在附图中：
图1示出了过去的视频/音频输出过程的流程图；
图2示出了视频呈现定时和发声定时的时间图；
图3示出了根据本发明实施方式的数字广播接收机的结构方框图；
图4示出了视频呈现定时和发声定时的时间图；和
图5示出了视频/音频输出过程的流程图。
具体实施方式
下面通过参照附图来描述本发明的实施方式。
(1)数字广播接收机的结构
在图3所示的数字广播接收机1中，在DEMUX处理单元2中的NIT获取单元3从经过天线等接收的电视广播波中接收输入流。
NIT获取单元3从所接收的输入流获取NIT(网络信息表)。因此，数字广播接收机1可以根据所获得的NIT选择与用户的频道切换操作中所请求的请求频道对应的发射应答器，并且相应地接收与请求频道对应的传输流。
然后，在DEMUX处理单元2中提供的PAT获取单元4获取节目关联表(PAT)。随后，在DEMUX处理单元2中提供的PMT获取单元5根据由PAT获取单元4获取的PAT来获取与在用户的频道切换操作中所请求的请求频道对应的节目映射表(PMT)。
PMT获取单元5根据所获取的PMT识别与请求频道对应的节目标识(PID)，并且将所识别的PID设置在滤波器单元6中的PCR滤波器6A、视频滤波器6B、和音频滤波器6C的每一个中。
因此，PCR滤波器6A、视频滤波器6B、和音频滤波器6C可以根据分别设置的PID从所接收的传输流中分别提取各自包含与请求频道对应的PCR数据、压缩视频数据、和压缩音频数据的PCR数据包、视频数据包、和音频数据包。
源振荡时钟产生单元7执行负反馈控制以使得从STC计数器单元10输出的信号与作为参考信号的、从PCR滤波器6A中提取的PCR数据包中的PCR数据相位同步。因此，源振荡时钟产生单元7能够与在编码设备处的参考时钟信号同步来产生操作时钟信号S1，并且提供所获得的操作时钟信号S1给水平/垂直同步信号产生电路8、同步信号产生电路9、和STC计数器单元10。
水平/垂直同步信号产生电路8根据从源振荡时钟产生单元7提供来的操作时钟信号S1，产生垂直同步信号S2和水平同步信号S3，垂直同步信号S2用于在垂直方向中的扫描线的操作的同步，水平同步信号S3用于在水平方向中的扫描线的操作的同步。水平/垂直同步信号产生电路8将所产生的垂直同步信号S2提供给锁存电路11。水平/垂直同步信号产生电路8将从源振荡时钟产生单元7提供来的操作时钟信号S1、和所产生的垂直同步信号S2以及水平同步信号S3提供给呈现处理单元12。
因此，呈现处理单元12根据所提供的操作时钟信号S1、垂直同步信号S2、和水平同步信号S3，将从视频解码器单元13提供来的数字视频信号S4提供给随后级中的呈现单元14。从而，在呈现单元14上呈现基于数字视频信号S4的视频。
同步信号产生电路9根据从源振荡时钟产生单元7提供来的操作时钟信号S1产生用于发声的同步信号S5。同步信号产生电路9将所产生的同步信号S5和从源振荡时钟产生单元7提供来的操作时钟信号S1提供给发声处理单元15。因此，发声处理单元15根据所提供的操作时钟信号S1和同步信号S5，将从音频解码器单元16接收的数字音频信号S6提供给随后级中的发声单元17。从而，通过发声单元17输出根据数字音频信号S6的音频。
在另一方面，在从PCR滤波器6A提供PCR数据包时，用于根据来自源振荡时钟产生单元7的操作时钟信号S1而在数字广播接收机1中保持系统时间时钟(STC)的STC计数器单元10，将由该单元保持的系统时间时钟设置成由在所提供的PCR数据包中的PCR数据所指示的时间时钟。因此，在数字广播接收机1中保持的系统时间时钟可以与编码设备处的时间时钟同步。然后，将STC计数器单元10配置来将指示所保持的系统时间时钟的系统时间时钟戳I1提供给锁存电路11和第一比较电路18。
呈现时间戳提取单元19从由视频滤波器6B提取的视频数据包中提取与用于每个帧的压缩视频数据关联的呈现时间戳(PTS)I2，并且将其提供给第一比较电路18和算术电路20。
第一比较电路18将从STC计数器单元10顺序提供来的系统时间时钟戳I1与从呈现时间戳提取单元19提供来的呈现时间戳I2进行比较。例如，当由系统时间时钟戳I1指示的系统时间时钟与在呈现时间戳I2中所指示的呈现时间“pts(0)”匹配时，第一比较电路18将用于开始解码处理的解码处理开始指示信号S7提供给视频解码器单元13。
当从第一比较电路18提供解码处理开始指示信号S7时，视频解码器单元13通过对从由视频滤波器6B提取的视频数据包中获得的压缩视频数据“Dpic(0)”的一个对应帧执行解码处理来产生数字视频信号S4，并且将该信号提供给呈现处理单元12。
但是，在这种情况中，由于在图4中所示的系统时间时钟“pts(0)”处，呈现处理单元12还没有接收到来自水平/垂直同步信号产生电路8的垂直同步信号S2，所以呈现处理单元12将从视频解码器单元13接收来的数字视频信号S4的一帧在提供S2的时间“vt(n+1)”提供给呈现单元14。因此，在要呈现视频“Vpic(0)”的呈现时间“pts(0)”之后，指示基于数字视频信号S4的视频Vpic(0)”的定时被延迟了预定的时间dt(之后，将预定的时间dt称为呈现延迟时间)。
当事先从水平/垂直同步信号产生电路8提供垂直同步信号S2时，根据本发明实施方式的锁存电路11将指示从STC计数器单元10接收来的系统时间时钟“vt(n-1)”的系统时间时钟戳I1与例如定时T1进行锁存。因此，锁存电路11将指示系统时间时钟“vt(n-1)”的系统时间时钟戳I1提供给算术电路20。
当呈现时间戳提取单元19提供指示呈现时间“pts(0)”的呈现时间戳I2时，
Figure C200510125443D00091
dt＝Vt-{[pts(0)-vt(n-1)]mod Vt}...........................(1)
下面实际解释上面等式(1)。也就是，在从要呈现基于压缩视频数据“Dpic(0)”的视频“Vpic(0)”时的呈现时间“pts(0)”中减去以前提供垂直同步信号S2时的时间“vt(n-1)”之后，将所减的结果除以垂直同步信号S2的周期时间Vt。然后，从垂直同步信号S2的周期时间Vt中减去上面相除产生的余数。从而计算出呈现延迟时间dt。
算术电路20将指示所获得的呈现延迟时间dt的呈现延迟时间戳I3提供给加法器21。
在另一方面，发声时间戳提取单元22从由音频滤波器6C提取的音频数据包中提取与压缩音频数据的每个帧关联的发声时间戳(PTS)I4，并且将其提供给加法器21。
因此，加法器21将由从算术电路20提供来的呈现延迟时间戳I3指示的呈现延迟时间dt与例如由从发声时间戳提取单元22提供来的发声时间戳I4指示的发声时间戳“pts(0)”相加，并且将指示相加结果“vt(n+1)”的修改的发声时间戳I5提供给第二比较电路23。
第二比较电路23将从STC计数器单元10顺序提供来的系统时间时钟戳I1与从加法器21提供来的修改的发声时间戳I5进行比较。然后，当在系统时间时钟戳I1中所指示的系统时间时钟与在修改的发声时间戳I5中所指示的发声时间“vt(n+1)”匹配时，第二比较电路23将用于开始解码处理的解码处理开始指示信号S8提供给音频解码器单元16。
当从第二比较电路23描述了解码处理开始指示信号S8时，音频解码器单元16通过对从由音频滤波器6C提取的音频数据包相应地获得的压缩音频数据“Dframe(0)”的对应帧执行解码处理来产生数字音频信号S6，并且将该信号通过发声处理单元15提供给发声单元17。因此，在时间“pts(0)”之后将基于压缩音频数据“Dframe(0)”的音频“Sframe(0)”输出到由呈现延迟时间dt延迟的时间“vt(n+1)”。
因此，数字广播接收机1可以允许呈现视频“Vpic(0)”的视频呈现定时以高准确性与输出和该视频“Vpic(0)”对应的音频“Sframe(0)”的发声定时匹配。
之后，数字广播接收机1类似地继续将由从算术电路20提供来的呈现延迟时间戳I3所指示的呈现延迟时间dt，与由从发声时间戳提取单元22提供来的发声时间戳I4所指示的发声时间进行相加。因此，之后，呈现视频“Vpic(1)”、....的视频呈现定时可以高准确度地与输出对应音频“Sframe(1)”、......的发声定时进行匹配。
(2)视频/音频输出过程
下面参照图5来描述根据本发明的实施方式的视频/音频输出过程RT1，图5具有指定了相同附图参考数字的、与图1中所示的对应组件。
如上所述，数字广播接收机1在步骤SP1接收NIT，在步骤SP2接收PAT，并且在步骤SP3接收PMT。然后，数字广播接收机1在步骤SP4使用基于PMT的、识别的PID来从传输流中分离PCR数据包、视频数据包、和音频数据包。然后，在步骤SP5数字广播接收机1将由STC计数器单元10保持的系统时间时钟设置到由在PCR数据包中的PCR数据所指示的时间时钟。
然后，在步骤SP11，数字广播接收机1在锁存电路11中将从STC计数器单元10提供来的系统时间时钟戳I1(“vt(n-1)”)与例如提供垂直同步信号S2的定时T1(图4)进行锁存。
然后，在步骤SP12，数字广播接收机1确定在预定的时间内是否已经由呈现时间戳提取单元19提取了要被首先解码的压缩视频数据“Dpic(0)”的呈现时间戳I2(“pts(0)”)。
如果在步骤SP12获得了肯定的结果，则意味着已经提取了与压缩视频数据“Dpic(0)”对应的呈现时间戳I2(“pts(0)”)。此时，数字广播接收机1将控制交给随后的步骤SP13。
在步骤SP13，数字广播接收机1指令算术电路20根据所提取的呈现时间戳I2(“pts(0)”)和由锁存电路11锁存的系统时间时钟戳I1(“vt(n-1)”)通过上面等式(1)来执行计算，从而计算呈现延迟时间dt。
因此，数字广播接收机1能够事先计算要在随后的步骤SP15呈现的视频“Vpic(0)”的呈现延迟时间dt。因此，数字广播接收机1可以在步骤SP16的输出之前将与视频“Vpic(0)”对应的音频“Sframe(0)”延迟呈现延迟时间dt。
如果在步骤SP12获得否定结果，则意味着因为已经丢失了与压缩的视频数据“Dpic(0)”对应的呈现时间戳I2(“pts(0)”)等原因所以还没有提取呈现时间戳I2(“pts(0)”)。此时，数字广播接收机1将控制转到步骤SP14，而不是其中计算呈现延迟时间dt的步骤SP13。在步骤SP14，数字广播接收机1将呈现延迟时间dt的值设置到例如“0”，然后控制被交给步骤SP15和SP16。
(3)操作和效果
用上述结构，数字广播接收机1被配置为如图4所示在要呈现基于压缩视频数据“Dpic(0)”的视频“Vpic(0)”的呈现时间“pts(0)”之后，当用于在预定的周期时间Vt提供垂直同步信号S2的水平/垂直同步信号产生电路8提供垂直同步信号S2(时间“vt(n+1)”)时，将基于压缩视频数据“Dpic(0)”的视频“Vpic(0)”呈现在呈现单元14上。
在本实施方式中，数字广播接收机1事先计算从要呈现基于压缩视频数据“Dpic(0)”的视频“Vpic(0)”的呈现时间“pts(0)”到视频“Vpic(0)”实际地呈现在呈现单元14上的时间的呈现延迟时间dt。当从要输出基于压缩音频数据“Dframe(0)”的音频“Sframe(0)”的发声时间“pts(0)”经过所计算的呈现延迟时间dt时，数字广播接收机1输出基于压缩音频数据“Dframe(0)”的音频“Sframe(0)”。
因此，数字广播接收机1能够将音频“Sframe(0)”的输出延迟视频“Vpic(0)”的呈现的延迟时间，从而成功地避免了呈现视频“Vpic(0)”使用的视频呈现定时和输出音频“Sframe(0)”使用的发声定时之间的偏移。
通过上述结构，计算了从要呈现基于压缩视频数据的视频的呈现时间到在呈现单元14上呈现视频的时间的呈现延迟时间dt，并且当从要输出基于压缩音频数据的音频的发声时间经过所计算的呈现延迟时间dt时，输出基于压缩音频数据的音频，从而能够将音频的输出延迟视频呈现的延迟时间。从而，可以避免呈现视频使用的视频呈现定时和输出音频使用的发声定时之间的偏移。因此，可以实现能够以高准确度将视频呈现定时与发声定时进行匹配的数字广播接收机1。
(4)其他实施方式
在上述实施方式中，允许锁存电路11如图4所示将系统时间时钟戳I1(“vt(n-1)”)与定时T1进行锁存。但是，本发明并不限于这种应用，并且在由STC计数器单元10保持的系统时间时钟与编码设备的时间进行同步之后和呈现基于压缩视频数据的视频之前，锁存电路11可以将系统时间时钟戳I1与从水平/垂直同步信号产生电路8提供垂直同步信号S2的另一个定时进行锁存。而且在这种情况中，可以通过上述等式(1)来计算呈现延迟时间dt。
在上述实施方式中，在要呈现基于视频数据(“Dpic(0)”、....)的视频(“Vpic(0)”、....)的呈现时间(“pts(0)”、...)之后，当用于提供视频呈现定时信号(S2)的提供设备(8)提供视频呈现定时信号(S2)时，将呈现处理单元12和呈现单元14作为用于呈现基于视频数据(“Dpic(0)”、.....)的视频(“Vpic(0)”、.....)的呈现设备来应用，所述视频呈现定时信号(S2)指示在预定周期时间(Vt)呈现视频所使用的定时。但是，本发明不限于这种应用方式，也可以应用其他的不同结构。
而且，在上述实施方式中，将算术电路20应用作为计算设备，用于计算从要将基于视频数据(“Dpic(0)”、.....)的视频(“Vpic(0)”、.....)进行呈现的呈现时间(“pts(0)”、...)到在呈现设备上呈现视频(“Vpic(0)”、.....)的时间的呈现延迟时间dt。但是，本发明并不限于这种应用，只要使用通过上述等式(1)的计算就能够应用各种其他的结构。
此外，在上述实施方式中，将发声处理单元15和发声单元17应用作为发声设备，用于当从要输出基于音频数据(“Dframe(0)”、...)的音频(“Sframe(0)”、....)的发声时间(“pts(0)”、.....)经过所计算的呈现延迟时间dt时，输出基于音频数据(“Dframe(0)”、....)的音频(“Sframe(0)”、....)。但是，本发明并不限于上述应用，还可以使用各种其他结构。
而且，上述实施方式就如同其是硬件一样执行根据本发明的处理，如使用图3中所述的每个电路的视频/音频输出过程RT1。但是，本发明并不限于这种应用，而是例如，诸如中央处理单元CPU(CPU)的控制单元根据在诸如硬盘驱动器等的存储单元中存储的程序，可以就像其是软件一样执行根据本发明的处理，如视频/音频输出过程RT1。
可以将本发明应用于被配置来通过解码由MPEG2系统编码的压缩视频数据和压缩音频数据来输出视频和音频的解码设备。
本领域的普通技术人员应该理解只要在所附权利要求或其等效物的范围之内，可以根据设计需要和其他因素进行各种修改、组合、子组合和替换。

Claims (3)

1.一种数据处理装置，包括：
呈现设备，用于当从用于提供视频呈现定时信号的提供设备提供视频呈现定时信号时呈现基于视频数据的视频，所述视频呈现定时信号指示在要呈现基于视频数据的视频的呈现时间之后在预定周期时间处的、用于视频的呈现定时；
计算设备，用于计算从当要呈现基于视频数据的视频时的呈现时间到呈现设备呈现视频的时间的呈现延迟时间；和
发声设备，用于当从当要输出基于音频数据的音频时的发声时间经过所计算的呈现延迟时间时，输出基于音频数据的音频，
其中，所述计算设备通过从要呈现基于视频数据的视频的呈现时间减去在呈现时间之前提供视频呈现定时信号的提供时间、将所减的结果除以视频呈现定时信号的周期时间、并且从视频呈现定时信号的周期时间中减去作为相除结果而获得的余数，来计算呈现延迟时间。
2.根据权利要求1所述的数据处理装置，其中
所述视频呈现定时信号是垂直同步信号。
3.一种数据处理方法，包括步骤：
当从用于提供视频呈现定时信号的提供设备提供视频呈现定时信号时呈现基于视频数据的视频，所述视频呈现定时信号指示在要呈现基于视频数据的视频的呈现时间之后在预定周期时间处的、用于视频的呈现定时；
计算从当要呈现基于视频数据的视频时的呈现时间到在呈现步骤中呈现视频的时间的呈现延迟时间；和
当从当要输出基于音频数据的音频时的发声时间经过所计算的呈现延迟时间时，输出基于音频数据的音频，
其中，通过从要呈现基于视频数据的视频的呈现时间减去在呈现时间之前提供视频呈现定时信号的提供时间、将所减的结果除以视频呈现定时信号的周期时间、并且从视频呈现定时信号的周期时间中减去作为相除结果而获得的余数，来计算呈现延迟时间。
CNB2005101254434A 2004-11-17 2005-11-17 数据处理装置和方法 Expired - Fee Related CN100474934C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004333322A JP4304615B2 (ja) 2004-11-17 2004-11-17 データ処理装置、データ処理方法及びデータ処理プログラム
JP333322/04 2004-11-17

Publications (2)

Publication Number Publication Date
CN1777292A CN1777292A (zh) 2006-05-24
CN100474934C true CN100474934C (zh) 2009-04-01

Family

ID=36575903

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101254434A Expired - Fee Related CN100474934C (zh) 2004-11-17 2005-11-17 数据处理装置和方法

Country Status (4)

Country Link
US (1) US7600240B2 (zh)
JP (1) JP4304615B2 (zh)
KR (1) KR101190362B1 (zh)
CN (1) CN100474934C (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271335A1 (en) * 2006-05-18 2007-11-22 James Edward Bostick Electronic Conferencing System Latency Feedback
JP2008288842A (ja) * 2007-05-17 2008-11-27 Mitsubishi Electric Corp デジタル放送受信機
WO2009028038A1 (ja) * 2007-08-27 2009-03-05 Fujitsu Limited デコーダ装置、およびデコード方法
JP5178375B2 (ja) * 2008-07-30 2013-04-10 パナソニック株式会社 デジタル放送再生装置およびデジタル放送再生方法
US9052867B2 (en) 2010-07-08 2015-06-09 International Business Machines Corporation Feedback mechanism
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430485A (en) 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
JP2885108B2 (ja) 1994-12-28 1999-04-19 日本電気株式会社 オーディオビデオ復号化装置
JPH09205618A (ja) 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
US6134379A (en) * 1997-03-20 2000-10-17 Avid Technology, Inc. Method and apparatus for synchronizing devices in an audio/video system
US6005597A (en) * 1997-10-27 1999-12-21 Disney Enterprises, Inc. Method and apparatus for program selection
JP3422686B2 (ja) * 1998-06-12 2003-06-30 三菱電機株式会社 データ復号装置及びデータ復号方法
JP2001136456A (ja) 1999-11-09 2001-05-18 Hitachi Ltd デジタル放送受信装置
JP2002176643A (ja) 2000-12-06 2002-06-21 Hitachi Kokusai Electric Inc 映像・音声復号処理における映像・音声の同期再生方式
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Also Published As

Publication number Publication date
JP4304615B2 (ja) 2009-07-29
CN1777292A (zh) 2006-05-24
KR101190362B1 (ko) 2012-10-11
JP2006148335A (ja) 2006-06-08
US20060123458A1 (en) 2006-06-08
US7600240B2 (en) 2009-10-06
KR20060055369A (ko) 2006-05-23

Similar Documents

Publication Publication Date Title
JP5586511B2 (ja) 同期制御装置及びプログラム
CN100474934C (zh) 数据处理装置和方法
US6404818B1 (en) Video transmission device and its method
CN102113339B (zh) 数字广播再现装置和数字广播再现方法
JP2002016918A (ja) マルチメディア多重化伝送システムおよび時間情報生成方法
US20090171672A1 (en) Method and Device for the Hierarchical Coding of a Source Audio Signal and Corresponding Decoding Method and Device, Programs and Signals
CN101106724A (zh) 将视频数据及音频数据同步的方法及系统
US20060146850A1 (en) Method and apparatus for synchronizing clocks
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法
JP2001094943A (ja) Ｍｐｅｇ復号器の同期方法及び同期装置
JP2001036866A (ja) オーディオ・ビデオ同期制御装置及びその同期制御方法
CN101076120B (zh) 维持音频/视频同步的健壮系统
CN105052060A (zh) 用于从第一数据流切换到第二数据流的设备和方法
JP5012097B2 (ja) 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム
KR20060065436A (ko) 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치
CN108650541B (zh) 实现不同设备同步播放视频的方法和系统
CN101218819A (zh) 数字多媒体广播中同步数据服务和视频服务的方法和装置
US7434248B2 (en) Broadcast system and apparatus, sync information replacing apparatus and method, program, and recording medium recording the program
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
CN116233411A (zh) 音视频同步测试的方法、装置、设备及计算机存储介质
EP1199890A2 (en) Coded data transfer control method and storage and reproduction system
KR100864009B1 (ko) 오디오／비디오 동기화 방법
CN103404162A (zh) 广播接收设备及方法
KR100672326B1 (ko) 디지털 방송 수신기의 복호 방법
JP2005101782A (ja) 映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090401

Termination date: 20171117

CF01 Termination of patent right due to non-payment of annual fee