CN1723703A - 数据处理装置及方法 - Google Patents

数据处理装置及方法 Download PDF

Info

Publication number
CN1723703A
CN1723703A CNA2004800018419A CN200480001841A CN1723703A CN 1723703 A CN1723703 A CN 1723703A CN A2004800018419 A CNA2004800018419 A CN A2004800018419A CN 200480001841 A CN200480001841 A CN 200480001841A CN 1723703 A CN1723703 A CN 1723703A
Authority
CN
China
Prior art keywords
data
time information
regeneration
video
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800018419A
Other languages
English (en)
Other versions
CN1723703B (zh
Inventor
藤本和生
小岛晋司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1723703A publication Critical patent/CN1723703A/zh
Application granted granted Critical
Publication of CN1723703B publication Critical patent/CN1723703B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

一种数据处理装置，具有：接收部，接收具有与压缩代码化的视频内容有关的第1数据、规定第1数据的再生时刻的第1时刻信息、与不同于视频内容的内容有关的第2数据、以及规定第2数据的再生时刻的第2时刻信息的数据流；分离部，从数据流中抽出第1数据、第1时刻信息、第2数据及第2时刻信息；译码第1数据，根据第1时刻信息进行输出的第1译码器部；以及根据第2时刻信息，输出第2数据的第2译码器部。该数据处理装置还包括：当第1时刻信息及第2时刻信息规定同步再生第1数据及第2数据的时刻时，保持规定再生时刻的延迟量的延迟信息，而且根据延迟信息，修正第2时刻信息，使第2数据的再生时刻延迟的延迟设定部。

Description

数据处理装置及方法
技术领域
本发明涉及再生被压缩代码化的音频数据及视频数据之际，使视频和音频同步再生的装置及方法。
背景技术
在现有技术中，从CD-ROM、DVD-ROM、硬盘等记录媒体中读出压缩代码化后记录的视频信号及音频信号、译码(解压缩)后输出的数据再生装置，已广为人知。数据再生装置将解压缩后的数据发送给与该装置连接的监视器、音响扬声器等，从而实现视频及音频的再生。
关于压缩代码化，许多标准对它作出了规定。例如：MPEG(MotionPicture Experts Group)，作为将视频信号及音频信号两者压缩代码化的标准，已广为人知。在MPEG标准中，为了保证同步再生表现视频信号的视频和表现音频信号的音频，给音频信号及视频信号分别附加表现应该再生的时刻的时刻信息。这样，在解压缩时，对于系统机器具有的系统时刻基准参照值，参照这些时刻信息，能够使视频信号及音频信号同步再生。
下面，讲述现有技术的同步方法。例如，如果采用日本国特开平6-233269号公报记载的技术，首先，再生装置检出音频及视频中的某一方结束解压缩处理时的时刻和另一方结束解压缩处理时的时刻的差分。然后，根据检出的差分值，再生装置变更压缩数据的传输时间、解压缩电路的启动时间及视频的显示时间，使音频和视频同步后，向监视器、音响扬声器等外部机器输出。
可是，上述的再生装置，因为是在其内部使音频和视频同步后向外部机器输出的，所以在外部机器中，给视频及音频中的一方施加处理产生延迟后，就要出现不能和另一方同步再生的问题。
例如：外部机器是电视机等的图象显示机器时，在图象显示机器中进行交错/前进变换、NTSC/PAL变换等的变换处理，以及根据来自用户的指令进行视频的扩大·缩小的图象处理后，由于处理花费时间，所以音频再生就会在视频再生之前进行。例如，假设进行扩大输出画面的图象处理，需要旨在根据原来的输出画面数据编制插补数据而进行的运算处理。而且，为了制作出流畅的动画，还需要进行在时间上有先有后的多个输出帧及输出场单位的滤波运算。另外，假设对从能够独立地解压缩多个输入流的电路等输出的2个以上的视频进行合成处理，为了使所有的视频同步，有时必须使特定的流的视频输出延迟。进而，就象剧场系统等那样，在先将视频信号变换成光信号等后传输时，视频信号的变换也有时需要时间。
在上述的一个或两个以上的运算处理等中，有时需要花费数毫秒到数+毫秒的时间。音频再生比视频再生早一定时间(大约30毫秒)以上后，图象中的人物的口型和声音的不一致就十分醒目，给收看者带来不和谐的感觉。现有技术的再生装置，由于不考虑外部机器的处理造成的视频及音频的再生时间的差异，所以在外部机器中进行更加耗时的处理时，视频及音频的再生时间的差异就会更加醒目。
此外，在外部机器上设置使音频再生延迟的缓冲器，可以使音频和图象处理后的视频同步再生。可是，由于在向外部机器输出的视频数据及音频数据中，不存在指令再生时间的时刻信息，所以就会造成在外部机器中独自决定输出时间的不妥当的现象。另外，设置缓冲器这种做法，还无法在现有的不具备缓冲器的外部机器中采用，所以不能称作根本性的解决方法。
发明内容
本发明就是为解决以上的课题而研制的，其目的在于即使在视频的延迟量由于外部连接机器的差异、处理类别等而不同时，也能使音频和视频如同当初希望的那样同步再生。
采用本发明的数据处理装置，具有：接收具有压缩代码化的视频内容有关的第1数据、规定所述第1数据的再生时刻的第1时刻信息、与所述视频内容不同的内容有关的第2数据及规定所述第2数据的再生时刻的第2时刻信息的数据流的接收部；从所述数据流中抽出所述第1数据、所述第1时刻信息、所述第2数据及所述第2时刻信息的分离部；译码所述第1数据，根据所述第1时刻信息输出的第1译码器部；根据所述第2时刻信息，输出所述第2数据的第2译码器部。数据处理装置进而还包括：在所述第1时刻信息及所述第2时刻信息规定同步再生所述第1数据及所述第2数据的时刻时，保持规定再生时刻的延迟量的延迟信息，而且根据所述延迟信息，修正所述第2时刻信息，使所述第2数据的再生时刻延迟的延迟设定部。
所述第2数据的内容，被压缩代码化；所述第2译码部，译码所述第2数据；所述第2译码部，还可以具有存放译码的所述第2数据的内部缓冲器。
所述第2数据的内容，被压缩代码化；所述数据处理装置，还具有存放被压缩代码化的所述第2数据的数据缓冲器；所述数据缓冲器，可以在被修正后的第2时刻信息规定的再生时刻之前，取出所述被压缩代码化的所述第2数据，向所述第2译码部输出。
所述接收部，持续性地接收所述数据流；所述数据缓冲器，依次存放所述第2数据。所述数据缓冲器的容量，可以是到达由修正前的第2时刻信息规定的再生时刻之前接收的所述第2数据的数据量，与经过与所述再生时刻的延迟量对应的时间为止接收的所述第2数据的数据量的和以上。
所述数据处理装置，还可以具有管理规定表示所述数据缓冲器内存放所述第2数据的位置的地址信息，和与所述第2数据对应的修正前的第2时刻信息的对应关系的表格的管理部。
所述管理部，还可以对于所述第2数据的一部分，管理所述表格。
所述接收部，还可以接收具有有关音频及字幕的至少一方的所述第2数据的数据流。
所述延迟设定部，还可以从用户那里接收特定所述延迟量的值，作为所述延迟信息保持。
所述延迟设定部，还可以将预先决定的值，作为所述延迟信息保持。
所述延迟设定部，还可以将再生时刻的延迟量，作为30毫秒以上的值规定的延迟信息保持。
所述数据处理装置，还具有在向与之连接的机器发送所述第1数据的同时，从所述机器接收可以特定机器的固有信息的发射机。所述发射机，根据所述固有信息，特定在所述机器中实施的有关所述第1数据的视频处理所需的时间；所述延迟设定部，还可以将特定的所述所需时间的值，作为所述延迟量，保持延迟信息。
所述第1译码器部及所述第2译码器部，可以作为单一的译码器电路安装。
采用本发明的数据处理方法，包括：接收具有压缩代码化的视频内容有关的第1数据、规定所述第1数据的第1时刻信息、与所述视频内容不同的内容有关的第2数据及规定所述第2数据的再生时刻的第2时刻信息的数据流的步骤；从所述数据流中抽出所述第1数据、所述第1时刻信息、所述第2数据及所述第2时刻信息的步骤；译码所述第1数据，根据所述第1时刻信息输出的步骤。数据处理方法进而还包括：在所述第1时刻信息及所述第2时刻信息规定同步再生所述第1数据及所述第2数据的时刻时，保持规定再生时刻的延迟量的延迟信息的步骤；根据所述延迟信息，修正所述第2时刻信息，使所述第2数据的再生时刻延迟的步骤；根据所述第2时刻信息，输出所述第2数据的步骤。
所述第2数据的内容，被压缩代码化；输出所述第2数据的步骤，也可以将所述第2数据译码，将译码后的所述第2数据存放到数据缓冲器中后输出。
所述第2数据的内容，被压缩代码化；所述数据处理方法，还包括：将压缩代码化的所述第2数据存放到数据缓冲器中的步骤；在被修正后的第2时刻信息规定的再生时刻之前，从所述数据缓冲器取出存放的所述第2数据的步骤。输出所述第2数据的步骤，也可以输出从所述数据缓冲器取出的所述第2数据。
所述接收的步骤，持续性地接收所述数据流；存放所述第2数据的步骤，将所述第2数据依次存放到所述数据缓冲器中。所述数据缓冲器的容量，最好是到达由修正前的第2时刻信息规定的再生时刻之前接收的所述第2数据的数据量，和经过与所述再生时刻的延迟量对应的时间为止接收的所述第2数据的数据量的和以上。
所述数据处理方法，还可以包括管理规定表示所述数据缓冲器内存放所述第2数据的位置的地址信息，和与所述第2数据对应的修正前的第2时刻信息的对应关系的表格的步骤。
所述管理的步骤，还可以对于所述第2数据的一部分，管理所述表格。
所述接收的步骤，还可以接收具有有关音频及字幕的至少一方的所述第2数据的数据流。
所述使其延迟的步骤，还可以从用户那里接收特定所述延迟量的值，作为所述延迟信息保持。
所述使其延迟步骤，还可以将预先决定的值，作为所述延迟信息保持。
所述使其延迟的步骤，还可以将再生时刻的延迟量，作为规定30毫秒以上的延迟信息保持。
所述数据处理方法，还包括：在向与之连接的机器发送所述第1数据的步骤；从所述机器接收可以特定机器的固有信息的步骤；根据所述固有信息，特定在所述机器中实施的有关所述第1数据的视频处理所需的时间的步骤。所述使其延迟的步骤，还可以将特定的所述所需时间的值，作为所述延迟信息保持。
采用本发明的计算机程序，在数据处理装置的计算机中实施。计算机按照所述程序实施的数据处理方法，包括：接收具有压缩代码化的视频内容有关的第1数据、规定所述第1数据的第1时刻信息、与所述视频内容不同的内容有关的第2数据及规定所述第2数据的再生时刻的第2时刻信息的数据流的步骤；从所述数据流中抽出所述第1数据、所述第1时刻信息、所述第2数据及所述第2时刻信息的步骤；译码所述第1数据，根据所述第1时刻信息输出的步骤。该计算机实施的数据处理方法，进而还包括：在所述第1时刻信息及所述第2时刻信息规定同步再生所述第1数据及所述第2数据的时刻时，保持规定再生时刻的延迟量的延迟信息的步骤；根据所述延迟信息，修正所述第2时刻信息，使所述第2数据的再生时刻延迟的步骤；根据所述第2时刻信息输出所述第2数据的步骤。
附图说明
图1是表示MPEG2程序流10的数据结构的图形。
图2是表示出音频组件40的数据结构的图形。
图3是表示数据处理装置100，和与数据处理装置100连接的图象音响机器120的图形。
图4是表示译码器部60的详细的功能块的结构的图形。
图5是表示使用PTS实现视频及音频的同步再生的再生时序的图形。
图6是表示本实施方式的译码器部60的处理步骤的流程图。
图7(a)是表示音频再生管理部7中生成的表格的结构的图形。
图7(b)是表示音频缓冲器部6中存放的音频数据的数据配置和被音频地址信息参照的数据位置的关系的图形。
图8(a)是表示音频延迟设定部9的操作部的示例的图形。
图8(b)是表示延迟时间的设定画面的示例的图形。
图9是表示音频缓冲器部6的结构示例的图形。
图10(a)是表示删除前的音频再生管理部7的表格7a的结构的图形。
图10(b)是表示删除后的音频再生管理部7的表格7b的结构的图形。
图11是表示搭载了进行视频处理的处理电路的视频输出部12的功能块的结构的图形。
图12是表示数据处理装置100和图象音响机器120的连接及在它们之间收发的数据的种类的图形。
具体实施方式
下面，首先讲述数据流的数据结构，然后讲述利用该数据流，进行本发明的处理的数据处理装置的结构及动作。
图1是表示MPEG2程序流10的数据结构。MPEG2程序流10(以下称作“数据流10”)，具有遵照DVD视频标准的数据结构。数据流10，包含有关视频的内容的视频数据和有关音频的内容的音频数据。下面，作为包含视频数据及音频数据进行讲述，但除此之外，在数据流10中还可以包含字幕数据等。
数据流10，包含多个视频对象单元(video OBject；VOB)#1、#2、…、#k。各VOB，包含多个VOB单元(video OBject unit；VOBU)#1、#2、…、#n。各VOBU是作为图象的再生时间，包含从0.4秒到1秒左右的数据的数据单位。下面，以VOBU#1及#2为例，讲述VOBU的数据结构。此外，在以下使用的“再生”这个词，除非特别明确表示的外，关于视频内容及字幕等的视频，是指在显示机器(电视机等)上映出；关于音频则是指由输出机器(扬声器等)作为声音输出。
VOBU#1，由多个组件构成。数据流10内的各组件的数据长(组件长)，是一定(2k字节(2048字节))的。在VOBU的前头，配置着在图1中用“N”表示的导引组件20。在引导组件20的后面，包含多个用“V”表示的视频组件(视频组件30等)及用“A”表示的音频组件(音频组件40等)。
各组件存放以下信息。就是说：导引组件20存放着为了控制数据流10内的视频、音频等的再生而使用的信息，例如表示VOBU的再生时间的信息等。视频组件30，存放着MPEG2压缩代码化的视频数据。音频组件40，例如存放着按照MPEG2-音频标准压缩代码化的音频数据。在靠近的视频组件30及音频组件40中，例如存放着同步再生的视频数据及音频数据，它们的配置(顺序)是任意的。
VOBU#2也由多个组件构成。在VOBU#2的前头，配置着导引组件20。然后，配置着多个视频组件30及音频组件40。各组件存放的信息内容，和VOBU#1一样。
接着，参照图2，讲述音频组件40的数据结构。图2表示出音频组件40的数据结构。音频组件40，包括音频信息包41及装填信息包42。此外，装填信息包42是为了调整数据组件的组件长而设置的信息包，所以不需要时就不存在。这时，在音频组件40中，只包含音频信息包41。
音频信息包41，从前头开始，依次有14字节的组件标题(Pack_H)、24字节的系统标题(system_H)、信息包标题(Packet_H)41a及有效荷载。
在组件标题中，记述特定组件的种类(在这里是音频信息包)的信息。继组件的开始码后，记述基准时间信息——SCR(System Clock Reference；系统时刻基准参照值)。SCR是在对流进行译码之际，为了将成为译码器侧的动作时刻的基准的同步信号STC(System Time Clock；系统时刻基准)的值设定成编码器侧希望的值，或修正成该值的信息。SCR基本上可以在任何信息包标题上附加。SCR是用90KHz的时钟脉冲测量的值，以33比特长表示。系统标题，必须附加VOBU的前头的组件上。信息包标题41a，将在后文详述。在有效荷载中，记述压缩代码化的视频数据。
在音频组件40中，为了调整组件长、设置着具有组件标题42和目标数据42b的目标信息包42。在所定的条件之下，取代设置目标信息包42，可以在信息包标题41a内设置填塞字节场49。这两者不能共存于同一个组件内。在图2的示例中，由于在音频组件40中，存在装填信息包42，所以填塞字节场49是0字节，不存在。
下面，讲述音频信息包41的信息包标题41a的数据结构。信息包标题41a，具有信息包长场43、标志场44及标题数据长场45。进而，在信息包标题41a中，还往往按照时间标志场44a及PES解压缩标志场44b的值，设置追加的场46。
在信息包长场43中，记述着从该场以后起到该音频信息包41的最后为止的信息包长(场长)。接着，标志场44包含时间标志场44a(PTS_DTS_flag)、PES解压缩标志场(PES_extnsion_flag)44b等。在时间标志场44a中，记述表示有无后文讲述的显示时间标记(PTS)或译码时间标记的标志。另外，在PES解压缩标志场44b中，记述表示有无PES解压缩场48的标志。在标题数据长场45中，存放追加的场46及填塞字节场49的场长之和。
下面，讲述追加的场46。在MPEG中，为了实现视频及音频的同步再生，给被称作视频和音频的各存取单元的译码器的每个单位(视频为1帧，音频为1音频帧)，附加旨在管理应该何时再生的时刻的时间标记值。该时间标记值，被称作PTS(Presehion Time Stamp)，音频用的规定着音频PTS(以下记作“APTS”)，视频用的规定着视频PTS(以下记作“VPTS”)。
PTS与上述的系统时刻基准STC一致时，为了再生而输出附加该PTS的存取单元。PTS的精度，与SCR一样，是用90KHz的时钟脉冲测量的值，用33比特长表现。用90KHz测量的理由，是因为它是NTSC、PAL两者的视频方式的帧频率的公倍数，可以得到比音频的1个取样周期高的精度。
另一方面，附加表示应该用什么样的顺序对压缩数据进行译码的时间标记信息。该时间标记值，被称作“译码时间标记”。
该场46设置各5字节的PTS/DTS场47时，时间标志场44a表示具有PTS DTS。按照时间标志场44a的值，设置某一个场。另外，作为追加的场46，还往往设置PES解压缩场48。在PES解压缩场48中，记述着程序流10的译码所需的信息，例如译码用的数据缓冲器的容量等。
此外，在图2中示出音频组件的数据结构。但视频组件的数据结构也一样。只要将“音频信息包”改叫成“视频信息包”，将有效荷载存放的“音频数据”改叫成“视频数据”即可。在视频信息包中，也用相同的数据结构记述着上述PTS及DTS，规定着译码时间及再生时间。
下面，参照图3及图4，讲述采用本实施方式的数据处理装置100的结构及动作。图3示出数据处理装置100，和与数据处理装置100连接的图象音响机器120。数据处理装置100，通过光拾波器作媒介，从DVD-ROM等光盘110中读出数据流10。再生部50，对作为模拟波形读出的数据流10进行二值化处理后，作为数字数据流输出。MPEG2-PS译码器部60(以下记作“译码器部60”)，将这种流分离成视频数据及音频数据，将它们一一译码后，向图象音响机器120输出。
数据处理装置100，是DVD播放器、DVD录音机、PC等。取代光盘110，使用硬盘时，是硬盘录音机。另外，通过天线等做媒介，接收数字广播的数据流10时，数据处理装置100作为顶置盒、数字卫星收发图象机等实现。另一方面，图象音响机器120，例如是TV等监视器输出机器、音频输出放大器、具有AV选择器功能的AV放大器等的接口机器。在图3中，示出1个图象音响机器120，但也可以具有多个显示图象的机器、输出声音等的机器等。
采用本发明的实施方式的数据处理装置100的特征之一，是在图象音响机器120中进行各种运算处理等后，使本来应该同步再生的视频及音频错开再生时，能够使将要提前的输出推迟后输出。例如，在图象音响机器120中，因为进行视频数据的交错/前进变换而使视频数据的再生比音频的再生延迟时，使将要提前的音频数据推迟相当于视频数据的再生时刻的延迟量的时间后输出。这样，视频数据和音频数据就可以同步再生。此外，音频数据的延迟输出，可以通过修正规定音频数据的再生时刻的PTS来实现。延迟量，可以根据预测的时间、用户设定的时间、特定图象音响机器120后能够判断的在图象音响机器120中进行视频处理所需的时间等进行设定。
上述的数据处理装置100的特征，主要通过数据处理装置100的译码器部60来实现。下面，详细讲述译码器部60。
图4示出译码器部60的详细的功能块的结构。译码器部60，具有：系统译码器部1，视频缓冲器部2，视频再生管理部3，系统时刻基准参照部4，视频译码器部5，音频缓冲器部6，音频再生管理部7，音频译码器部8，音频延迟设定部9。
系统译码器部1在从数据流10分离、抽出被数字压缩代码化的音频及视频数据的同时，还将附加在视频组件上的PTS作为视频再生时刻信息抽出，将附加在音频组件上的PTS作为音频再生时刻信息抽出。
首先，讲述关于音频处理的构成要素。视频缓冲器部2存放被系统译码器部1分离的视频数据。视频再生管理部3生成、管理被视频缓冲器部2存放的视频数据和视频再生时刻信息互相关联的表格。
视频译码器部5在解析被压缩代码化的视频数据的属性信息(视频标题信息)的同时，还按照视频再生时刻信息对被视频缓冲器部2存放的视频数据进行译码。在视频译码器部5中，设置着帧缓冲器部11及视频输出部12。帧缓冲器部11存放译码后的视频数据。视频输出部12从译码器部60向其外部输出视频数据。该视频数据还向与数据处理装置100连接的图象音响机器120输出。
下面，讲述与音频处理相关的构成要素。音频缓冲器部6是能够存放被系统译码器部1分离的音频数据的半导体存储器。该缓冲器的大小，因处理的代码化音频数据的压缩率等的不同而不同，例如是数k字节到数十k字节左右。音频再生管理部7，生成、管理音频缓冲器部6存放的音频数据和音频再生时刻信息相互关联的表格。该表格将在后文中参阅图7(a)及(b)详细讲述。
音频延迟设定部9，保持规定音频的再生时刻的延迟量的延迟信息，而且根据延迟信息修正音频的再生时刻信息，使该再生时刻延迟。音频延迟设定部9，例如具有保持延迟信息的存储器(图中未示出)，预先设定图象音响机器120的处理所需的估计时间。而且还能保持用户设定的数毫秒单位或视频帧单位的延迟时间的相关信息。这样，就能够按照在图象音响机器120中发生的处理延迟进行微调。
音频译码部8，在解析压缩代码化的音频数据的属性(音频标题信息)的同时，还按照音频再生时刻信息对音频缓冲器部6存放的音频数据进行译码。在音频译码部8中，设置着PCM缓冲器部13及音频输出部14。PCM缓冲器部13，存放译码后的音频数据。音频输出部14将音频数据从译码器部60向其外部输出。该音频数据，进而向与数据处理装置100连接的图象音响机器120输出。
此外，上述的视频译码部5及音频译码部6，在进行译码这一点上，具有相同的功能。所以，只要能实现各自的功能，就可以作为一个半导体集成电路等安装。例如，图4示出具有视频译码部5及音频译码器部6的译码器芯片15。
接着，讲述旨在同步再生视频输出部12及音频输出部14输出的视频数据及音频数据的结构。译码时间及再生时间，由系统时刻基准参照部4实现。系统时刻基准参照部4，在MPEG系统的数据处理装置100的内部生成系统时刻基准STC。因为在数据处理装置100的一侧生成STC，所以使用被DVD盘等中使用的程序流(PS)规定的SCR的值。如上所述，SCR被组件标题记述。此外，输入的数据流是在BS数字广播中使用的传输流(TS)时，使用PCR(Program Clock Refrence：程序时刻基准参照值)。
系统时刻基准参照部4，在视频数据的最终字节到达时(接收到来自再生处理部50的数据时)，作为系统时刻基准STC，设定和SCR的值相同的值，将STC作为基准时刻。进而，通过组合该STC的值和PLL(相位锁定回线)电路(图中未示出)，可以作为使频率和译码器部60的基准时刻用系统时钟脉冲完全一致的STC。系统时刻基准STC的频率是27MHz。利用计数器等，从该STC分频后，各PTS(频率：90KHz)就被参照。
数据处理装置100进行现有技术的处理时，视频译码器部5在系统时刻基准STC与VPTS一致时，输出附加该PTS的存取单元后使其再生。另外，音频译码部8在STC与APTS一致时，输出附加该PTS的存取单元后使其再生。因为PTS的频率是90KHz，所以在该精度范围内，对各视频数据及音频数据进行译码，以便使STC和VPTS及APTC取得同步。这样，就能实现视频及音频的同步再生。
另一方面，采用本实施方式的处理后，在考虑到在图象音响机器120中的视频处理的延迟后，实现数据处理装置100的视频及音频的同步再生。下面，参照图5，讲述其梗概，然后参照图5，讲述为了实现其动作而进行的处理步骤。
图5示出使用PTS实现视频及音频的同步再生的再生时序。表示再生时刻信息的时序，分作4个阶段记述着。
第1阶段，表示数据流10规定的视频再生时刻信息(VPTS)的时序。生成数据流10的编码器(图中未示出)，在时刻tv1、tv2、…中，为了再生视频进行压缩代码化。时刻tv1和tv2的间隔，例如：如果是NTSC方式，就是33毫秒的n倍(n是自然数)(30Hz)；如果是PAL方式，就是40毫秒的n倍(n是自然数)(25Hz)。
接着，第3阶段，表示数据流10的音频的再生时序。对于音频也和视频一样，编码器(图中未示出)在时刻tA1、tA2、…中，为了再生音频进行压缩代码化。时刻tA1和tA2的间隔，例如：如果是AAC(Advanced AudioCoding)方式，就是21.12毫秒的n倍。
另一方面，图5的第2阶段，表示在图象音响机器120中进行视频处理而导致的延迟的视频的再生时序。例如，观察最初显示的视频后，可以看到：起因于视频处理的延迟，致使本来应该在时刻tV1显示的图象，在比时刻tV1靠后的时刻tP1中再生。设其时间差为
接着，第4阶段表示本实施方式的音频延迟设定部9修正原来的再生时刻信息(APTS)后的音频的再生时序。音频延迟设定部9，将表示应该在时刻tV1中显示的音频的再生时刻信息(APTS)，修正成错开视频在图象音响机器120中延迟的时间( )的时刻信息(NAPTS)，使音频的再生时刻延迟。其结果，视频数据在第1阶段的时序(tv1、tv2、…)中由视频输出部12输出，在第2阶段的时序(tP1、tP2、…)中再生；音频数据在第3阶段的时序中由音频输出部14输出，在第2阶段的时序(时刻TNA1、TNA2…)中再生。使音频的再生时间错开视频处理造成的延迟时间
Figure A20048000184100173
后，能够以编码时预想的再生时序再生视频及音频。这样，对于希望同步再生的视频及音频，也能如愿以偿地实现。
此外，所谓视频及音频的“同步再生”，是指对音频的再生时间来说，视频的再生时间进入一定的时间范围内(例如从提前50毫秒到推后30毫秒之间)。并不局限于视频及音频的PTS一致时。
使视频和音频在时间上错开30毫秒以上后，有时会给收看者带来不和谐的感觉。所以，对于NAPTS来说，如果VPTS处于提前50毫秒(更严格地说是提前30毫秒)到推迟毫秒之间，在实际的收看时，对收看者而言，就可以说实现了同步再生。
图6示出本实施方式的译码器部60的处理步骤。首先，在步骤S101中，系统译码器部1将代码化数据分离成代码化视频数据及代码化音频数据，在步骤S102中，从代码化数据(视频/音频)中抽出代码化帧数据及再生时刻信息(VPTS/APTS)。视频及音频的各代码化帧数据，分别存放在视频缓冲器部2及音频缓冲器部6中，再生时刻信息(VPTS/APTS)发送给视频再生管理部3及音频再生管理部7。
图7(a)示出音频再生管理部7中生成的表格的结构。该表格示出音频缓冲器部6中存放的音频数据和音频再生时刻信息的相互关系。首先，音频再生管理部7，例如按APTS分割成槽这种单位。然后，使各槽与音频地址信息一一对应。音频地址信息，参照被对应的槽再生的、音频缓冲器部6中存放的音频数据的前头地址。图7(b)示出音频缓冲器部6中存放的音频数据的数据配置和被音频地址信息参照的数据位置的关系。
再回到图6。在步骤S103中，视频译码器部5及音频译码器部8，在VPTS/APTS到达系统时刻基准STC之前，对视频/音频的代码化流数据进行译码，在步骤S104中，将译码后的视频/音频数据存放帧缓冲器部11及PCM缓冲器部13。
接着，在步骤S105中，音频延迟设定部9将与预先设定的延迟时间对应的PTS值Δt与APTS的值相加，求出新的音频再生时刻信息NAPTS值(NAPTS＝APTS+Δt)。经过以上处理后，可以获得修正了音频的再生时刻信息(APTS)的新的再生时刻信息(NAPTS)。
在本实施方式中，延迟时间由用户预先设定。图8(a)示出音频延迟设定部9的操作部的示例。用户操作初始设定画面中图8(a)所示的项目选择键后，就移行到能够设定声音的延迟时间的模式。图8(b)示出设定声音的延迟时间之际的画面的示例。用户通过操作部作媒介，使画面上的加亮点91对准“手动”，按下决定键后，就移行到手动设定延迟时间的模式。用户一边看着延迟量的显示窗93，一边按下图8(a)的“设定1”所示的上方向按钮后，画面上的增加按钮92a被加亮，延迟量增加。反之，按下“设定2”所示的下方向按钮后，画面上的减少按钮92b被加亮，延迟量减少。在图8中，使要延迟的时间，设定成“60mS”。PTS值Δt，可以根据设定的延迟时间得到。设定的时间为t(ms)时，就成为PTS值Δt＝90.9或91t。
接着，在步骤S106中，视频译码器部5判断系统时刻基准STC是否达到了VPTS。如果达到了，视频输出部12就在步骤S107中，从帧缓冲器中输出视频数据。如果没有达到，就等待达到。接着，在步骤S108中，视频译码器部8判断STC是否达到了NAPTS。所谓“达到了”，表示STC导NAPTS一致时，或者STC超过NAPTS时。如果达到了，音频输出部14就在步骤S109中，从PCM缓冲器中输出视频数据。如果没有达到，就等待达到。
然后，在步骤S110中，视频译码器部5及视频译码器部8判断译码是否结束。译码结束了时，就结束处理，没有结束时，就返回步骤S101，继续处理。此外，用户指令停止再生时，也结束处理。
以上，讲述了采用本实施方式的数据处理装置100的动作(特别译码器部60的动作)。
在以上的讲述中，采用在将压缩代码化的音频数据译码后，缓冲PCM数据的方法。但最好取而代之，在译码之前的音频缓冲器部6中，缓冲音频数据。因为与译码后的PCM数据相比，译码前的压缩代码化状态的音频数据的数据量少，音频缓冲器部6等的缓冲器的尺寸小一点也行。具体地说，音频的代码化帧数据被存放到音频缓冲器部6中后，只要将与预先设定的延迟时间对应的PTS值Δt和音频的再生时刻(APTS)的值相加后，求出NAPTS值即可(NAPTS＝APTS+Δt)。这相当于在图6的步骤S102之后、步骤S103之前，进行步骤S105的处理。其它的处理，如图6所示。
图9示出音频缓冲器部6的结构示例。在音频缓冲器部6中，设置着没有音频延迟时存放代码化音频数据的标准缓冲器6a，和有音频延迟时存放追加的代码化音频数据的追加缓冲器6b。设置追加缓冲器6b的理由是：因为在有音频延迟时，如果采用现在技术的处理就应该在APTS所示的时刻输出的音频数据，在采用本实施方式的处理中，由于不能输出到成为NAPTS为止，所以需要进而存放在时间上为Δt(＝NAPTS-APTS)之间读人的数据的缓冲器容量。
这样，音频缓冲器部6需要的缓冲器容量，就是到达由当初的APTS规定的再生时刻之前接收的代码化音频数据的数据量，和经过导再生时刻的延迟量(Δt)对应的时间为止接收的代码化音频数据的数据量之和以上。前者由标准缓冲器6a确保，后者由追加缓冲器6b确保。
例如，认为在追加缓冲器6b中，需要能够追加性地存放最大100毫秒的数据的追加缓冲器6b时。这相当于延迟时间最大为100毫秒时，相当于在视频中相当于进行NTSC方式输出时的约3帧视频的显示时间。这时需要的追加缓冲器6b的容量，在BS数字广播时使用的音频压缩格式的AAC方式中，约为22k字节(每个频道作为288k比特秒后，求出6频道的数据量)。该容量，是追加性地保存译码后的PCM数据时的容量的几分之一。
此外，由于被音频缓冲器部6存放的代码化音频帧数据的数据量增加，因此必须增加音频再生管理部7的表格尺寸。对此，也必须注意。
但是，如果不在音频再生管理部7中存放所有的音频的再生时刻信息(APTS)，而删去一部分后构成表格，就能防止表格尺寸的增大。图10(a)表示删除前的音频再生管理部7的表格7a的结构，图10(b)表示删除后的音频再生管理部7的表格7b的结构。表格7b，删去表格7a中的第奇数个再生时刻信息(APTS)后生成。再生管理部7采用实时方式生成表格7b时，以隔1个记述再生时刻信息(APTS)及其对应的地址信息为宜。这样，表格7b的数据量就成为表格7a的数据量的一半。换言之，如果是相同的表格尺寸，表格7b就可以管理表格7a的两倍的音频数据。此外，间隔删去再生时刻信息(APTS)及其对应的地址信息后，可以减少同步所需的APTS信息，所以使其同步的频度减少，即使应该管理的数据的数据量增加，也能可靠地使视频和音频同步再生。
在本实施方式中，采用视频译码器部5及音频译码器部8，将压缩代码化的视频数据及音频数据译码后，在帧缓冲器部11及PCM缓冲器部13中保持的结构。可是，例如，在DVD中作为音频数据包含线性PCM数据时，不需要译码动作。因为线性PCM数据虽然被代码化，但却没有被压缩。但是，尽管音频数据是线性PCM数据，但为了按照流包含的同步信息和视频同步再生，也能够原封不动地采用先前的讲述。另外，数据处理装置100从光输出端子原封不动地输出道尔比降噪系统数字等的代码化流时，以采用先储存到流缓冲器(图中未示出)中，然后参照STC，在NAPTS到达STC的时刻，由音频输出部14输出的结构为宜。
下面，讲述使音频产生延迟的图象音响机器120的视频处理的具体示例。设想的视频处理是
(1)由每秒24帧的胶卷原材料向每秒30帧的视频原材料的变换
(2)交错扫描·前进扫描之间的变换处理、标准图象质量(StandardDefiniton；SD)的D1标准信号·高精度图象质量(High Defition；HD)的D3标准信号间的变换处理、NTSC方式·PAL方式间的变换处理
(3)按照用户的指令等进行的图象的扩大、缩小、编辑处理
(4)多个图象的合成处理
等。在不需要上述处理的通常的再生处理时，不需要延迟音频数据后输出。可是由于视频处理的ON/OFF能产生延迟，所以需要设定延迟量及根据该设定进行音频数据的延迟输出。
这时，最好在音频延迟设定部9中设定多个延迟时间不同的延迟信息，按照能够进行的处理的类别一一对应。例如：以采用用户输入图象音响机器120能够实行的图象处理的类别后，译码器部60能够按照该类别，改变延迟时间的结构为宜。
下面，讲述求出使音频数据的再生时间延迟的延迟时间，在音频延迟设定部9中自动设定该时间的第1～第3设定手法。
首先，第1手法如下。在数据处理装置100中，将视频信号预先包含特定图案的信号的同步检证用测试流等译码后，发送给图象音响机器120。然后，在图象音响机器120中捕捉视频处理后的显示的图象，测量其延迟时间。在音频延迟设定部9中设定得到的延迟时间，从而能够设定延迟时间。将这些处理自动化后，就能够自动设定音频的再生延迟时间。此外，还可以对图象音响机器120中的各信号处理模式逐一测量延迟时间，设定延迟时间。测试流，既可以由广播系统输入，也可以从测试盘或数据处理装置100内的存储器等中读出。此外，还可以不输入测试流，而输入测试图案，该测试图案输出预先译码的视频数据。这是因为测量译码后的视频处理中的延迟即可。
接着，讲述自动设定延迟时间的第2手法。在第2手法中，不是在图象音响机器120，而是在视频译码器部5的视频输出部12中进行妨碍和音频同步的视频处理的延迟原因(1)～(4)的处理。视频输出部12进行那种视频处理后，译码器部60就能够把握起因于视频处理的延迟时间，其结果，音频延迟设定部9能够实时变更延迟量。另外，由于也不需要图象音响机器120中的视频处理，所以能够减轻其负荷。
图11是表示搭载了进行视频处理的处理电路的视频输出部12的功能块的结构的图形。视频输出部12，从帧缓冲器部11接收被译码的帧数据，输出进行所定的视频处理后的视频数据。视频输出部12，具有IP变换部71、格式变换部72、扩大缩小部73、其他画面合成部74、GUI重叠部75和输出部76。与这些构成要素关联，在视频译码器部5中，另行设置着外部图象输入部77及GUI数据生成部78。
IP变换部71，进行交错扫描·前进扫描间的变换处理。格式变换部72，进行480i视频信号·1080i视频信号间的变换处理及NTSC方式·PAL方式间的变换处理。扩大缩小部73，根据用户的指令等，进行图象的扩大、缩小、编辑处理。其他画面合成部74，将译码后的视频与外部图象输入部77输入的视频合成。GUI重叠部75，将GUI数据生成部78生成的GUI数据和经过迄今为止的处理获得的视频重叠。然后，输出部76输出终端获得的视频数据。该输出发送给图象音响机器120。译码器部5，根据STC取得获得视频数据时的时刻，与该视频数据的VPTS比较后，可以特定延迟时间。
再接着，讲述自动设定延迟时间的第3手法。在第3手法中，数据处理装置100和图象音响机器120相互通信，数据处理装置100特定图象音响机器120中进行的视频处理的类别。这样，数据处理装置100的译码器部60就能够预先特定起因于视频处理的延迟时间。
下面，予以具体讲述。图12示出数据处理装置100和图象音响机器120的连接及在它们之间收发的数据的种类。在图12的示例中，按照HDMI标准收发数据，首先，HDMI发射机80对图象音响机器120的HDMI接受机130发出计算特定图象音响机器120的信息(机器固有信息)的控制指令。HDMI接受机130根据该控制指令，将自己的装置的机器ID作为机器固有信息，发送给HDMI发射机80。机器ID，例如，作为制造厂固有信息(VendorSpecific Data)存放在图象音响机器120内的ROM131中，能够特定制造厂名、机种名等。
HDMI发射机80接受机器ID后，向译码器部60输出。译码器部60接受机器ID后，参照内部存储器或外部存储卡等规定的表格。在表格中，记述着机器ID和延迟设定的对应关系。译码器部60根据机器ID及其表格，可以获得起因于图象音响机器120进行的视频处理的延迟时间。这样，就可以在音频延迟设定部9中设定该延迟时间。此外，图12是利用译码MPEG2程序流的数据处理装置100时的例子。但是，译码的对象不局限于这种流。例如，接收、记录的数字广播的MPEG2传输流也成为译码的对象。译码器部60以采用按照流的种类进行译码的结构为宜。
至此，讲述了将系统时刻基准参照值SCR作为基准，生成系统时刻基准STC，根据该STC，生成规定视频的再生时间的VPTS及规定使其延迟的音频的再生时间的NAPTS，使视频及音频同步再生的情况。可是，进而，既可以根据VPTS再生音频，也可以根据NAPTS再生视频。
再生光盘110记录的代码化内容时，编辑代码化内容等，在编辑点不间断地再生视频时，将视频的再生时间作为基准的时间管理，是有效的。这意味着以VPTS作为基准，管理NAPTS。在本说明书中，将以VPTS作为基准管理NAPTS的方法，称为“视频主导”。系统时刻基准参照部4，不是根据SCR生成的STC，而是根据VPTS生成STC，并且将NAPTS控制在规定的精度内地实施音频译码。然后，跳过直到由NAPTS规定的时刻超过由VPTS规定的时刻为止的音频数据的再生，从而使视频和音频同步再生。译码器部60的系统时刻基准参照部4，如果在确认由VPTS规定的再生时刻与由NAPTS规定的时刻进入一定的容许范围内后，根据视频主导管理时间，进行再生，就能够天衣无缝地实现编辑再生。
例如，在删除视频数据的一部分后，希望在遍及删除部分的前后，天衣无缝地再生图象时，就在根据紧接着删除位置的视频数据显示图象的同时，还将根据将要删除的位置之前的视频数据的VPTS生成的STC值，变更成根据紧接着删除位置的视频数据的VPTS生成的STC值。然后将音频输出弱音后，再度重新获得变更了延迟量的视频及音频的再生同步，从而再开音频译码器。这样，在编辑点的前后，也变更作为视频主导的STC值，在编辑点的再生时，不会成为保持被再生的图象等的不自然的再生。此外，这时也需要增加音频延迟部分的音频缓冲器部6的容量及音频再生时刻信息管理部7的表格尺寸。
另一方面，再生光盘110记录的代码化内容时，在不间断地再生音频的情况下，将音频的再生时间NAPTS作为基准的时间管理，是有效的。这意味着将NAPTS作为基准，使VPTS同步。在本说明书中，将以NAPTS为基准管理VPTS的方法，称做“音频主导”。系统时刻基准参照部4，不是根据SCR生成的STC，而是根据NAPTS生成STC，并且将VPTS控制在规定的精度内地实施视频译码。然后，通过跳过适当的输出图象或多次输出相同的画面，从而和视频同步地再生音频。将由音频的再生时间NAPTS规定的时刻作为音频主导时，也因为考虑到音频延迟后输出，所以能够和延迟了音频的视频同步再生。此外，这时也需要增加音频延迟部分的音频缓冲器部6的容量及音频再生时刻信息管理部7的表格尺寸。
例如，希望不间断地再生输出声音或音乐等时(快速进给及格进给再生时)，为了保持音频的连续性，有时视频的再生会过长或更短。这时，多次反复显示相同的画面，或进行跳过特定数帧等的处理。
在音频延迟设定部9中变更延迟时间的设定时，可以暂时将音频输出设定成渐隐或弱音，降低音量。然后在变更延迟设定之后，解除弱音或实施渐显，恢复成原来的音量。
以上讲述了在图1所示的数据流10中，音频数据和视频数据混在一起，在图4所示的系统译码器部1中分离它们的情况。可是，音频数据及视频数据，还可以作为独立的单个的流被包含。例如：可以用PC编辑用录象机等拍摄的音频数据及视频数据，分成视频的基本流和音频的基本流后输入数据处理装置100。如果根据视频数据的再生时刻及音频数据的再生时刻，同步再生视频和音频，就可以采用本发明。
在本实施方式中，同步再生视频和音频，但这只是一个例子。例如，关于由DVD设置的子图象，在根据其视频处理产生再生延迟时，也能生成音频的再生时刻信息NAPTS，使字幕和音频同步再生。另外，对接收、记录卫星广播时的数据广播的同步，也一样。在图象音响机器120中，视频和音频的内容重叠处理等中产生处理延迟时，生成音频的再生时刻信息NAPTS后，可以同步再生视频、数据的内容及音频。
在本实施方式中，将相当于音频延迟Δt的PTS，与APTS相加后求出NAPTS。但也可以从VPTS减去相当于Δt的量。但是，不是仅仅从VPTS减去Δt，而是对从VPTS减去Δt，而是对系统时刻基准参照值本身减去Δt，可以获得相同的效果。具体地说，在数据处理装置100中，可以给视频的再生时刻信息设定减去任意的延迟用设定时间的单元及给系统时刻基准参照值设定减去任意的延迟用设定时间的单元。这样，对考虑到图象音响机器120中视频处理的延迟后，减去了延迟用设定时间的系统时刻基准参照值来说，能够同步再生减去为了延迟而设定的时间的视频和音频。
另外，在本实施方式中，讲述了假设视频由于图象处理而比音频延迟再生时的情况。可是也有时与此相反，由于在数据处理装置100的输出后进行的各种音响效果等的处理，出现音频的再生延迟的情况。这时，由于视频再生提前，所以可以求出将相当于延迟时间Δt的PTS与VPTS相加后的新的视频再生时刻信息NVPTS后，使视频和音频的再生同步。这时，视频缓冲器部2及音频再生管理部3的表格尺寸将要增加。
在数据处理装置100中设置的各种缓冲器，其部分或全部，既可以由半导体存储器构成，也可以由硬盘等的记录媒体构成。
上述数据处理装置100的功能，特别是译码器部60的功能，还可以通过实施软件得到实现。例如：可以由CPU(图中未示出)实施计算机程序，从而控制各构成要素的动作。计算机程序，例如，以能够使数据流10实施按照图6所示的流程图的处理的结构为宜。
计算机的程序，可以记录在以光盘为代表的光记录媒体、SD存储卡、以EEPROM为代表的半导体记录媒体、以软盘为代表的磁记录媒体等记录媒体上。此外，数据处理装置10，不仅可以通过记录媒体做媒介，而可以通过互联网等电气通信线路做媒介，取得计算机程序。
采用本发明后，能够提供可以同步再生视频、音频等的数据处理装置。例如，在由于视频处理而使视频的再生延迟时，修正音频的再生时刻信息，从而使其推迟相当于视频的延迟时间的量，所以能够同步再生视频和音频。

Claims (20)

1、一种数据处理装置，具有：接收部，接收具有与压缩代码化的视频内容有关的第1数据、规定所述第1数据的再生时刻的第1时刻信息、与不同于所述视频内容的内容有关的第2数据、以及规定所述第2数据的再生时刻的第2时刻信息的数据流；
分离部，从所述数据流中抽出所述第1数据、所述第1时刻信息、所述第2数据及所述第2时刻信息；
译码所述第1数据，根据所述第1时刻信息进行输出的第1译码器部；以及
根据所述第2时刻信息，输出所述第2数据的第2译码器部，其特征在于：
还包括：当所述第1时刻信息及所述第2时刻信息规定同步再生所述第1数据及所述第2数据的时刻时，保持规定再生时刻的延迟量的延迟信息，而且根据所述延迟信息，修正所述第2时刻信息，使所述第2数据的再生时刻延迟的延迟设定部。
2、如权利要求1所述的数据处理装置，其特征在于：所述第2数据的内容，被压缩代码化；
所述第2译码部，译码所述第2数据；所述第2译码部，具有存放译码后的所述第2数据的内部缓冲器。
3、如权利要求2所述的数据处理装置，其特征在于：所述第2数据的内容，被压缩代码化；
所述数据处理装置还具有存放被压缩代码化的所述第2数据的数据缓冲器；
所述数据缓冲器，在被修正后的第2时刻信息规定的再生时刻之前，取出所述被压缩代码化的所述第2数据，向所述第2译码部输出。
4、如权利要求3所述的数据处理装置，其特征在于：所述接收部，持续性地接收所述数据流；所述数据缓冲器，依次存放所述第2数据；
所述数据缓冲器的容量，大于或等于在到达由修正前的第2时刻信息规定的再生时刻之前所接收的所述第2数据的数据量、和经过与所述再生时刻的延迟量对应的时间为止所接收的所述第2数据的数据量之和。
5、如权利要求4所述的数据处理装置，其特征在于：还具有管理部，该管理部管理规定表示所述数据缓冲器内存放所述第2数据的位置的地址信息、与对应于所述第2数据的修正前的第2时刻信息之间的对应关系的表格。
6、如权利要求5所述的数据处理装置，其特征在于：所述管理部，对于所述第2数据的一部分，管理所述表格。
7、如权利要求1所述的数据处理装置，其特征在于：所述接收部，接收具有有关音频及字幕的至少一方的所述第2数据的数据流。
8、如权利要求1所述的数据处理装置，其特征在于：所述延迟设定部，从用户那里接收特定所述延迟量的值，作为所述延迟信息来保持。
9、如权利要求1所述的数据处理装置，其特征在于：所述延迟设定部，将预先决定的值，作为所述延迟信息来保持。
10、如权利要求1所述的数据处理装置，其特征在于：所述延迟设定部，保持再生时刻的延迟量规定为30毫秒以上的值的延迟信息。
11、如权利要求1所述的数据处理装置，其特征在于：还具有在向与之连接的机器发送所述第1数据的同时，从所述机器接收可以特定所述机器的固有信息的发射机；
所述发射机，根据所述固有信息，特定在所述机器中实施的有关所述第1数据的视频处理所需的时间；
所述延迟设定部，保持将特定的所述所需时间的值作为所述延迟量的延迟信息。
12、如权利要求1所述的数据处理装置，其特征在于：所述第1译码器部及所述第2译码器部，作为单一的译码器电路安装。
13、一种数据处理方法，包括：接受步骤，接收具有压缩代码化的视频内容有关的第1数据、规定所述第1数据的第1时刻信息、与不同于所述视频内容的内容有关的第2数据、以及规定所述第2数据的再生时刻的第2时刻信息的数据流；
分离步骤，从所述数据流中抽出所述第1数据、所述第1时刻信息、所述第2数据及所述第2时刻信息；以及
译码所述第1数据，根据所述第1时刻信息进行输出的译码步骤，其特征在于，
还包括：当所述第1时刻信息及所述第2时刻信息规定同步再生所述第1数据及所述第2数据的时刻时，
保持规定再生时刻的延迟量的延迟信息的保持步骤；
根据所述延迟信息，修正所述第2时刻信息，使所述第2数据的再生时刻延迟的延迟步骤；以及
根据所述第2时刻信息，输出所述第2数据的输出步骤。
14、如权利要求13所述的数据处理方法，其特征在于：所述第2数据的内容，被压缩代码化；
输出所述第2数据的输出步骤，译码所述第2数据，将译码后的所述第2数据存放到数据缓冲器中后输出。
15、如权利要求14所述的数据处理方法，其特征在于：所述第2数据的内容，被压缩代码化；
所述数据处理方法还包括：将压缩代码化的所述第2数据存放到数据缓冲器中的存放步骤；和
在被修正后的第2时刻信息规定的再生时刻之前，从所述数据缓冲器取出存放的所述第2数据的取出步骤；
输出所述第2数据的输出步骤，输出从所述数据缓冲器取出的所述第2数据。
16、如权利要求15所述的数据处理方法，其特征在于：所述接收步骤，持续性地接收所述数据流；存放所述第2数据的存放步骤，将所述第2数据依次存放到所述数据缓冲器中；
所述数据缓冲器的容量，大于或等于在到达由修正前的第2时刻信息规定的再生时刻之前所接收的所述第2数据的数据量、和经过与所述再生时刻的延迟量对应的时间为止所接收的所述第2数据的数据量之和。
17、如权利要求16所述的数据处理方法，其特征在于：还包括管理步骤，管理规定表示所述数据缓冲器内存放所述第2数据的位置的地址信息、与对应于所述第2数据的修正前的第2时刻信息之间的对应关系的表格。
18、如权利要求13所述的数据处理方法，其特征在于：所述接收步骤，接收具有有关音频及字幕中的至少一方的所述第2数据的数据流。
19、如权利要求13所述的数据处理方法，其特征在于：所述延迟步骤，从用户那里接收特定所述延迟量的值，作为所述延迟信息来保持。
20、如权利要求13所述的数据处理方法，其特征在于：所述延迟步骤，将预先决定的值，作为所述延迟信息来保持。
CN2004800018419A 2003-02-27 2004-02-24 数据处理装置及方法 Expired - Lifetime CN1723703B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP50856/2003 2003-02-27
JP2003050856 2003-02-27
PCT/JP2004/002152 WO2004077825A1 (ja) 2003-02-27 2004-02-24 データ処理装置および方法

Publications (2)

Publication Number Publication Date
CN1723703A true CN1723703A (zh) 2006-01-18
CN1723703B CN1723703B (zh) 2012-05-30

Family

ID=32923357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800018419A Expired - Lifetime CN1723703B (zh) 2003-02-27 2004-02-24 数据处理装置及方法

Country Status (6)

Country Link
US (1) US8290353B2 (zh)
EP (1) EP1603336B1 (zh)
JP (1) JP4536653B2 (zh)
KR (1) KR100711328B1 (zh)
CN (1) CN1723703B (zh)
WO (1) WO2004077825A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101263522B1 (ko) * 2004-09-02 2013-05-13 소니 주식회사 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템
JP4270084B2 (ja) 2004-09-14 2009-05-27 株式会社日立製作所 記録再生装置
EP1657929A1 (fr) 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
JP4912296B2 (ja) * 2005-04-28 2012-04-11 パナソニック株式会社 リップシンク補正システム、リップシンク補正装置及びリップシンク補正方法
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Ｎｅｃディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法
JP4674520B2 (ja) * 2005-10-11 2011-04-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8539105B2 (en) * 2006-06-05 2013-09-17 Stmicroelectronics, Inc. System and method for synchronized content rendering in a multi-node network
US20080005350A1 (en) * 2006-06-05 2008-01-03 Oleg Logvinov System and method for synchronized content rendering in a multi-node network
US9083994B2 (en) 2006-09-26 2015-07-14 Qualcomm Incorporated Method and system for error robust audio playback time stamp reporting
JP5366827B2 (ja) * 2007-12-19 2013-12-11 パナソニック株式会社 映像音響出力システム
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
JP2009253744A (ja) * 2008-04-08 2009-10-29 Mitsubishi Electric Corp 符号化装置、復号装置及び映像音声伝送システム
US8539301B2 (en) * 2009-10-21 2013-09-17 Nec Laboratories America, Inc. Message-wise unequal error protection
JP2011188244A (ja) * 2010-03-09 2011-09-22 Sharp Corp 映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
KR20120074059A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 오디오 데이터 출력 방법 및 장치
US20130132521A1 (en) * 2011-11-23 2013-05-23 General Instrument Corporation Presenting alternative media content based on environmental factors
WO2013112637A1 (en) * 2012-01-24 2013-08-01 Tooyah, Inc. System and method for maintaining integrity of audio data in a multiplexed audio/video stream over a low-latency network connection
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
US10051294B2 (en) * 2015-03-31 2018-08-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Compressed video buffering
US11600290B2 (en) * 2019-09-17 2023-03-07 Lexia Learning Systems Llc System and method for talking avatar
JP7365212B2 (ja) * 2019-12-03 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241389A (en) * 1991-07-29 1993-08-31 Intelligent Resources Integrated Systems, Inc. Video display system providing for synchronization of multiple video data streams
JPH0676471A (ja) 1992-08-27 1994-03-18 Sony Corp データ再生システム
CA2107727C (en) 1992-10-07 1999-06-01 Hiroaki Ueda Synchronous compression and reconstruction system
JP2500579B2 (ja) 1993-02-03 1996-05-29 日本電気株式会社 映像音声同期システム
JPH07307933A (ja) 1994-05-12 1995-11-21 Canon Inc マルチメディア通信端末
US5594660A (en) 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
JPH09205618A (ja) 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
WO1998025413A1 (en) 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
MY115908A (en) * 1997-09-17 2003-09-30 Matsushita Electric Ind Co Ltd Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
DE19930824C2 (de) * 1999-07-03 2001-05-31 Grundig Ag Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
JP2001028738A (ja) * 1999-07-14 2001-01-30 Hitachi Ltd 放送データ送受信システム及びこれに使用する送信装置並びにその受信装置
JP2001128167A (ja) 1999-10-29 2001-05-11 Sharp Corp デジタルａｖシステム
JP2002101395A (ja) * 2000-09-21 2002-04-05 Sony Corp 多重化装置及び方法、並びに、復号装置及び方法
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
JP2003244658A (ja) * 2002-02-19 2003-08-29 Sharp Corp 映像／音声再生装置
JP2003284010A (ja) * 2002-03-26 2003-10-03 Mitsubishi Electric Corp 符号化装置及びメディアデータ同期方法
JP4186514B2 (ja) * 2002-05-29 2008-11-26 ソニー株式会社 放送受信機

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
US11184661B2 (en) 2016-09-14 2021-11-23 Dts, Inc. Multimode synchronous rendering of audio and video

Also Published As

Publication number Publication date
KR100711328B1 (ko) 2007-04-27
EP1603336A1 (en) 2005-12-07
EP1603336B1 (en) 2017-07-19
JP4536653B2 (ja) 2010-09-01
KR20050056211A (ko) 2005-06-14
US8290353B2 (en) 2012-10-16
EP1603336A4 (en) 2009-06-10
WO2004077825A1 (ja) 2004-09-10
JPWO2004077825A1 (ja) 2006-06-08
US20060072399A1 (en) 2006-04-06
CN1723703B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN1723703A (zh) 数据处理装置及方法
US8676038B2 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
US20090080509A1 (en) Data processor
US6041067A (en) Device for synchronizing data processing
CN1666514A (zh) 数据处理装置
US7693398B2 (en) Digital information reproducing apparatus and method
JP4775208B2 (ja) 再生方法、再生プログラムおよび再生装置
CN1723704A (zh) 数据处理装置
EP1339233B1 (en) Audio/video data recording/reproducing device and method, and audio/video data reproducing device and method
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP2006148679A (ja) データ処理装置
JP4225339B2 (ja) 画像データ処理装置および方法、プログラム、並びに記録媒体
TW200937957A (en) Method and related device for converting transport stream to file format
JP2004280994A (ja) データ作成方法及びデータ記録装置
WO2004086396A1 (en) Reproducing apparatus and method, and recording medium
US20060072395A1 (en) Av data conversion device and method
JP2005012499A (ja) データ再生方法及びデータ再生装置
WO2018211613A1 (ja) 符号化映像再生装置および符号化映像再生方法
JPH10164512A (ja) データ処理同期装置
JP4725675B2 (ja) 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム
JP2003348537A (ja) デジタル放送ストリーム処理装置
CA2725179A1 (en) Reproducing apparatus and method, and recording medium
JP2010130140A (ja) 音声再生装置、及び音声再生方法
JP2007180692A (ja) 映像音声編集方法、装置、プログラム、および媒体
JP2003284011A (ja) 放送システム及びａｖ信号再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20120530