CN1627418A - 视频与音频再现设备 - Google Patents

视频与音频再现设备 Download PDF

Info

Publication number
CN1627418A
CN1627418A CN200410095899.6A CN200410095899A CN1627418A CN 1627418 A CN1627418 A CN 1627418A CN 200410095899 A CN200410095899 A CN 200410095899A CN 1627418 A CN1627418 A CN 1627418A
Authority
CN
China
Prior art keywords
pts
audio
video
unit
mpeg stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200410095899.6A
Other languages
English (en)
Other versions
CN100364325C (zh
Inventor
铃木信幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1627418A publication Critical patent/CN1627418A/zh
Application granted granted Critical
Publication of CN100364325C publication Critical patent/CN100364325C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在每次检测到图像报头时，根据从记录媒体(100)读取的MPEG流中初始检测到的视频PTS，流分离单元(107)计算新视频PTS(ST605)。流分离单元(107)还根据从MPEG流中初始检测到的音频PTS、包括在MPEG流的音频数据包中的音频帧的数量以及音频帧的再现时间，计算新音频PTS(ST1009)。根据分别计算的PTS，视频解码器(123)和音频解码器(130)解码数据，以提供视频信号和音频信号。

Description

视频与音频再现设备
技术领域
本发明涉及用于再现MPEG流的视频与音频再现设备(MPEG-1系统流或MPEG-2节目流)。
背景技术
在MPEG流中，将视频数据和音频数据分别封装到包括预定数量的数据的包内。每个包包括包报头和数据包，每个数据包包括数据包报头和压缩的视频数据或音频数据，而数据包报头具有诸如PTS(显示时间戳)或DTS(解码时间戳)的时间戳。DTS是表示用于解码压缩数据包中的数据的定时的时间数据，而PTS是表示用于显示解码数据的定时的时间数据。在DTS表示的定时，解码该数据包中的压缩数据，然后，在PTS表示的定时显示该压缩数据。只读光盘的DVD技术规范/部分3-视频技术规范说明了关于DTS和PTS的标准，并利用DTS和PTS再现MPEG流。
在光盘上，特别是在个人用户在其上进行写作的诸如视频CD的光盘上(或者第三方的写作系统)，时间戳的可靠性差。在在其上记录了MPEG流的光盘上，当记录在光盘上的时间戳存在差错时，不能正确执行同步再现视频图像和声音的过程。例如，再现视频图像和声音，而使视频图像和声音互相移位。
发明内容
本发明的目的是提供一种即使在其时间戳有错误的MPEG流记录在光盘上的情况下，仍可以同步再现视频图像和声音的视频与音频再现设备和方法。
根据本发明的一个实施例，提供了一种用于再现记录在媒体上、分别包括视频基本流和音频基本流的MPEG流的视频与音频再现设备，该设备包括：读取单元，用于从媒体上读取MPEG流；第一获取单元，用于从读取单元读取的MPEG流中获取视频PTS(表示时间戳)；第一计算单元，在每次从读取的MPEG流上检测到图像报头时，根据第一获取单元获取的PTS，计算新视频PTS；第二获取单元，从读取的MPEG流中获取音频PTS；第二计算单元，对包括在读取的MPEG流的音频数据包中的音频帧的数量进行计数，然后，根据第二获取单元获取的PTS和音频帧的再现时间，计算新音频PTS；视频解码器，根据第一计算单元计算的PTS，解码读取的MPEG流的视频数据，以提供视频信号；以及音频解码器，根据第二计算单元计算的PTS，解码第二计算单元读取的MPEG流的音频数据，以提供音频信号。
根据该再现设备，在再现设备再现其上记录了MPEG流的诸如视频CD的光盘时，再现设备计算时间戳(PTS/DTS)，以利用计算的值进行解码和再现(显示)。
即使在其时间戳存在错误的MPEG流记录在光盘上时，仍可以同步再现视频图像和声音。
附图说明
附图引入本说明书作为本说明书的一部分，它示出本发明实施例，而且它与以上所做的一般说明和以下对实施例所做的详细说明一起用于解释本发明原理。
图1是本发明的DVD视频设备进行再现期间的方框图；
图2示出MPEG系统流的结构；
图3是流分离单元的处理流程图；
图4A至4C示出流分离单元的标志和寄存器的细节；
图5示出MPEG系统流的层结构；
图6示出视频CD的视频扇区的结构；
图7示出视频CD的音频扇区的结构；
图8示出包报头的内容；
图9示出视频数据包中的数据包报头的内容；
图10示出音频数据包中的数据包报头的内容；
图11是流分离单元的“视频包处理”的处理流程图；
图12是流分离单元的“音频包处理”的处理流程图；
图13是流分离单元的“视频数据包处理”的处理流程图；
图14是流分离单元的“音频数据包处理”的处理流程图；
图15是流分离单元的“视频数据处理”的处理流程图；
图16示出MPEG视频的sequence_header中的标志；
图17是流分离单元的“视频数据初始处理”的处理流程图；
图18示出MPEG视频的picture_header中的标志；
图19示出视频时间戳的关系；
图20示出音频时间戳计算过程的概况；
图21是流分离单元的“sequence_header分析”的处理流程图；
图22是流分离单元的“视频数据常规处理”的处理流程图；
图23是流分离单元的“音频数据处理”的处理流程图；
图24是流分离单元的“音频PTS计算”的处理流程图；
图25示出MPEG-1音频的音频帧的报头中的标志；
图26是MPEG-1音频的bit_rate_index的表格；
图27是流分离单元的“音频PTS校正处理”的处理流程图；
图28示出视频CD的光道结构；以及
图29示出视频CD的系统报头的内容。
具体实施方式
现在，将参考附图详细说明本发明的优选实施例。
图1是根据本发明实施例的视频与音频再现设备的配置的方框图。
主轴电机101使装在转盘(未示出)上的记录媒体100旋转。伺服单元103执行光盘径向上的馈送控制、聚焦控制以及对拾取单元102进行跟踪控制。在再现期间，拾取单元102读取记录在记录媒体100上的信息。伺服单元103还将控制信号发送到电机驱动单元104，以对主轴电机101进行旋转控制，即对记录媒体100进行旋转控制。
拾取单元102的输出输入到解调/纠错单元105，进行解调和纠错。通过流缓冲器106，纠错的数据输入到流分离单元107。通过管理信息缓冲器111，将纠错的数据发送到系统控制单元200。将诸如TOC(内容表(Table of Contents))的管理信息写入管理信息缓冲器111，然后，系统控制单元200读取该管理信息以进行再现控制。流分离单元107执行对每个包进行分离的处理。通过视频缓冲器121，将从流分离单元107提取的视频包(V_PCK)输入到视频解码器123，然后，被视频解码器123解码。视频解码器123与视频解码器缓冲器124相连。将视频解码器123输出的视频信号送到显示器。通过音频缓冲器129，将从流分离单元107提取的音频包(A_PCK)输入到音频解码器130，然后，被音频解码器130解码。音频解码器130与音频解码器缓冲器131相连。对音频解码器130的输出进行A/D变换(未示出)，然后，将它送到扬声器。因此，记录媒体100包括视频信息和音频信息，而且在流分离单元107内对视频信息和音频信息进行分离，然后，获得视频信息和音频信息。
通过操作单元201，用户的操作输入送到系统控制单元200。在视频解码器123内进行与显示装置的类型对应的解码处理，视频解码器用于解码视频信息。例如，将视频信息变换为NTSC、PAL等。用户规定的流的音频信息输入到音频解码器130，然后，被音频解码器130解码。
下面将说明流分离单元107的工作原理。
图2示出MPEG系统流(MPEG-2节目流或MPEG-1系统流)的结构。
假定MPEG流包括视频包和音频包。包报头401描述关于包分别到达每个基本解码器的输入缓冲器(图1所示的视频缓冲器121和音频缓冲器129)时的时间的信息SCR(系统时钟基准)。每个包至少可以具有一个数据包。数据包的有效载荷(数据包报头102之外的部分)403可以仅具有一个基本数据。例如，可以不将视频数据和音频数据混合在一起作为数据包的一个有效载荷。在每个数据包的数据包报头402上，描述stream_id。
当图像数据的前沿包括在该数据包内时，可以在视频包的数据包报头402内描述时间DTS或时间PTS，在时间DTS，对包括前沿的图像解码图像数据，在时间PTS，对包括前沿的图像显示图像数据。在图像是I图像或P图像时，可以在数据包报头402内描述DTS和PTS。在图像是B图像时，可以仅在数据包报头402内描述PTS。
在音频帧的前沿包括在该数据包内时，可以在音频数据包的数据包报头402内描述时间PTS，在时间PTS，对包括前沿的音频帧解码并显示音频数据。
在流分离单元107检测到其steam_id的值与系统控制单元200设置的steam_id的值相同的数据包时，流分离单元107对数据包的有效载荷进行分离，然后，将数据包的有效载荷输入到相应基本解码器的输入缓冲器(图1所示的视频缓冲器121和音频缓冲器129)。在起动系统期间，利用数据包的SCR，流分离单元107对该系统内的所有系统时钟STC进行重置，然后，将从每个基本流的数据包中分离出来的PTS和DTS分别发送到每个基本解码器(图2所示的视频解码器123和音频解码器130)。基本解码器分别将每个基本解码器拥有的时间(STC)与从流分离单元107接收的PTS和DTS进行比较，以在该时间例如与PTS和DTS一致时进行解码或显示。
下面将说明根据本发明实施例的流分离单元107执行的更新时间戳的过程。在图1中，假定记录媒体100是视频CD。视频CD的流符合MPEG-1系统流(ISO/IEC 11172-2)，视频数据符合MPEG-1视频(ISO/IEC 11172-2)，音频数据符合MPEG-1音频(ISO/IEC 11172-3)的Layer-II。
通常，根据90Hz的时钟产生时间戳(PTS/DTS)。即，时间戳的一个单位相当于1/90000秒。在视频CD上，一个扇区包括一个包，而该光盘的传送速率是75扇区/秒。因此，连续包之间的SCR的差值ΔSCR始终是ΔSCR＝90000/75＝1200(单位：90Hz)。
在系统控制单元200起动该系统时，系统控制单元200将停止命令发送到解调/纠错单元105、流分离单元107、视频解码器123以及音频解码器130。在系统控制单元200确认解调/纠错单元105、流分离单元107、视频解码器123以及音频解码器130被停止时，系统控制单元200清除流缓冲器106、视频缓冲器121以及音频缓冲器129。在系统控制单元200确认每个缓冲器均被清除时，系统控制单元200将起动命令发送到解调/纠错单元105、流分离单元107、视频解码器123以及音频解码器130，以便重新设置伺服单元103内的记录媒体100上的捕获地址。
伺服单元103控制拾取单元102。解调/纠错单元105对拾取单元102的输出进行解调和纠错，然后，将它输入到流缓冲器106。为了防止流缓冲器106下溢，在将特定数量的数据存储到流缓冲器106后，流分离单元107开始读取扇区数据，然后，流分离单元107使该扇区数据临时保存在流分离单元的内部缓冲器中。保存的扇区数据被划分为：视频扇区数据、音频扇区数据、空扇区数据等，以通过分析它们的子报头，处理各扇区数据。
在起动后，流分离单元107保存初始检测到的I图像DTS和PTS和初始检测到的音频PTS。然后，流分离单元107计算视频时间戳和音频时间戳，而不使用系统描述的视频和音频时间戳(PTS/DTS)，通过将视频和音频时间戳的计算值发送到视频解码器123和音频解码器130，进行STC控制。
下面将说明流分离单元107执行的计算时间戳(PTS/DTS)的过程。图3是示出流分离单元107执行的处理过程的原理流程图，图4示出流分离单元的标志和寄存器的细节，图5示出MPEG系统流的层结构，图6示出视频CD的视频扇区的结构，图7示出视频CD的音频扇区的结构，图8示出数据包报头的内容，图9示出视频数据包中的数据包报头的内容，图10示出音频数据包中的数据包报头的内容。
流分离单元107具有：图4A所示的标志F1至F7；图4B所示的寄存器108A至108g，用于视频；以及图4C所示的寄存器109a至109j，用于音频。正如图3中的步骤ST001所示，流分离单元107首先置位参数(标志和寄存器)。即，流分离单元107将1st_AV_pck_detect的标志F1、seq_H_detect的标志F2、1st_Ipic_Detect的标志F3、1st_Afrm_detect的标志F4以及count_A的标志F5置位为0，然后，将2351写入afp的寄存器109i内。
在步骤ST002，流分离单元107从流缓冲器106读取扇区数据，以使该扇区数据保存在内部缓冲器110内。然后，流分离单元107确定扇区数据的类型。正如图5所示MPEG系统流的层结构所示，在读取的扇区数据是视频扇区(V-PCK)(ST003中的YES)时，流分离单元107进行音频数据包处理(ST004)。
图11是示出视频包处理过程的流程图。
流分离单元107确定在扇区上读取数据的位置是否到达扇区的后端(步骤ST101)。当读取的数据未到达扇区的后端时，流分离单元107进一步读取扇区数据内部缓冲器110内的内容(ST102)。在步骤ST103，流分离单元107确定是否检测到包报头401的pack_start_code(参考图8)。在检测到pack_start_code时，如步骤ST104所示，流分离单元107确定1st_AV_pck_detect的标志F1是否为0。在标志F1是0时，流分离单元107从包报头401获取SCR(ST105)，以将SCR的值写入寄存器108c，作为SCR[0]的值(ST106)。然后，流分离单元107将1st_AV_pck_detect的标志F1置位为1(ST107)。在标志F1不是0时，即在读取的视频包是第二或后续视频包时，流分离单元107将其中将1200与SCR值SCR[k-1]相加的值写入SCR的寄存器108c。1200是相邻包的SCR值之间的差值，而且该差值始终是常数。然后，流分离单元107进行视频包处理(ST108)。
图12是视频包处理的流程图。
流分离单元107将数据包有效载荷传送启动标志F5置位为1(步骤ST201)，然后，确定数据的位置是否到达包的后端(步骤ST202)。在数据的位置未到达包的后端时，流分离单元107读取扇区数据内部缓冲器110上的预定位的内容(ST203)。然后，流分离单元107确定是否检测到packet_start_code_prefix 501(参考图6和9)(ST204)。在检测到packet_start_code_prefix 501时，流分离单元107确定stream_id 502(参考图6和9)是否是Exh(步骤205)。“Exh”是系统控制单元200在流分离单元107内置位的视频stream_id，而且“Exh”示出运动图像、静止正常分辨率以及静止高分辨率之一。在stream_id是Exh的情况下，在存在PTS和DTS时，流分离单元107保存PTS和DTS，然后，流分离单元107将PTS值写入PTS_Vd寄存器108a，而将DTS的值写入DTS_V的寄存器108b(ST206)。然后，流分离单元107进行视频数据处理(ST207)。
当在步骤ST205，stream_id不是Exh时，流分离单元107确定当前读取的数据包是填充数据包，然后，将传送启动标志F5置位为0(ST208)。因此，流分离单元107禁止数据包数据传送到视频缓冲器121，并使数据包数据跳越到数据包数据的后端(ST209)。
图13是示出视频数据处理过程的流程图。
流分离单元107确定数据位置是否到达扇区的后端(步骤ST301)。在数据的位置未到达扇区的后端时，流分离单元107读取扇区数据内部寄存器110上预定位的内容(ST302)。在步骤ST303，流分离单元107确定1st_Ipic_Detect的标志F3是否是0。在标志F3是0时，流分离单元107进行视频数据初始处理(ST304)。
图14是示出视频数据初始处理的流程图。
流分离单元107确定seq_H_detect的标志F2是否是0。在标志F2是0时，流分离单元检测到序列报头506(参考图5)(ST402)，将序列报头检测(seq_H_detect)标志F2置位为1(ST403)，然后，分析序列报头506(ST404)。
图15是示出对序列报头进行分析的流程图。图16示出MPEG视频的sequence_header中的标志。
流分离单元107确定picture_rate(参考图16)是否是0001b，即，读取的视频是否是FILM标准(步骤ST501)。在该视频是FILM标准时，流分离单元107将3754写入vfp(视频帧周期)的寄存器108d(ST502)。3754表示以90Hz继续3754个时钟的时间。
在该视频不是FILM标准时，流分离单元107确定picture_rate是否是0011b，即读取的视频是否是PAL标准(ST503)。在视频是PAL标准时，流分离单元107将3754写入vfr的寄存器108d(ST504)。
当在步骤ST503确定该视频不是PAL标准时，流分离单元107确定picture_rate是否是0100b，即读取的视频是否是NTSC标准(ST505)。在该视频是NTSC标准时，流分离单元107将3003写入vfr的寄存器108d(ST506)。
当在步骤ST505确定该视频不是NTSC标准时，流分离单元107根据picture_rate计算视频帧周期vfp(ST509)。
现在回头说明图14，在标志F2不是0时，流分离单元107确定是否检测到I_picture的前沿(ST405)。在检测到I_picture的前沿时，流分离单元107写入在步骤ST206写入的、DTS_V的寄存器108b的值作为DTS_V[i]的寄存器108e的第0个DTS_V的值，然后，流分离单元107写入寄存器108a的值作为PTS_V[i]的寄存器108f的第0个PTS_V的值。
流分离单元107将图像的时间戳PTS_V[0]和PTS_V[0]的值发送到视频解码器123(ST407)，然后，将1st_Ipic_Detect的标志F3置位为1(ST408)。
回到图13，当在步骤ST303确定步骤F3不是0时，即，当已经检测到I图像时，流分离单元107执行视频数据正常处理(ST305)。
图17是视频数据正常处理的流程图，图18示出MPEG视频的picture_header中的标志，图19示出视频时间戳的关系。
流分离单元107确定是否检测到picture_header 505(参考图5)(ST601)。在检测到picture_header 505时(参考图5)，流分离单元107写入将视频帧周期(vfp)与DTS_V[i]的寄存器108e内的先前值DTS_V[i-1]相加的值(ST602)。在步骤ST603，流分离单元107读取temporal_reference和picture_coding_type的标志(参考图18)。当picture_coding_type是“I”，即I图像(ST604)时，流分离单元107写入将(temporal_reference+1)×vfp与DTS_V[i]相加的值。temporal_reference表示GOP(图像组)中每个图像的显示顺序。例如，在图19中，temporal_reference在I2中显示“2”，或在B0中显示“0”。如图19所示，由于记录顺序与I图像的显示顺序不同，所以需要进行步骤ST605所示的处理过程。
流分离单元107将temporal_reference的值写入temporal_reference_of_Iorp的寄存器108g(ST606)，然后，发送寄存器108e和108f的值作为该图像的时间戳DTS_V[i]和PTS_V[i](ST607)。以与I图像同样的方式，对P图像进行处理。对于P图像，因为temporal_reference的顺序与显示顺序相同，所以流分离单元107将DTS[i]的寄存器108e的值写入PTS_V[i]的寄存器，然后，流分离单元107将寄存器108e的值作为图像的时间戳PTS_V[i]发送到视频解码器123。
因此，在流分离单元107每次从读取的MPEG流中检测到图像报头时，根据在步骤ST406初始获取的PTS和在图像报头内描述的picture_coding_type和temporal_reference，流分离单元107计算该视频的新PTS。
回到图13，当在步骤ST301，读取的数据的位置到达扇区的后端时，流分离单元107确定seq_H_Detect的标志F2是否是0(ST306)。在标志F2不是0时，流分离单元107使该处理过程转移到图12所示的步骤ST210。在标志F2是0时，流分离单元107将transport_enable的标志F6置位为0(流分离单元107禁止将有效载荷传送到视频缓冲器121)，然后，使该处理过程转移到步骤ST210。
在图12所示的步骤ST210，流分离单元107确定transport_enable的标志F6是否是1(是否可以传送标志F6)。在不能传送标志F6时，流分离单元107丢弃数据包的有效载荷(ST212)。在可以传送标志F6时，流分离单元107将该数据包的有效载荷传送到视频缓冲器121(ST211)。
回到图3，当读取的扇区数据是音频扇区(A_PCK)(ST005中的YES)时，流分离单元107执行音频包处理(ST006)。
图20示出音频时间戳计算过程的概况。
在图20中，参考编号402A1至402A3不是音频数据包报头，而参考编号402V1至402V3不是视频数据包报头。数据包报头402A1的音频数据包包括音频帧frm0和frm1，数据包报头402A2的音频数据包包括音频帧frm1和frm2，而数据包报头402A3的音频数据包包括音频帧frm2、frm3、和frm4。音频帧frm0的PTS记录在数据包报头402A1上，音频帧frm2的PTS记录在数据包报头402A2上，音频帧frm3的PTS记录在数据包报头402A3上。此时，假定利用数据包报头402A1的PTS描述PTS_A。
参数count_A是对音频帧的数量进行计数的值。在检测到在音频数据包报头之后检测到的音频帧的前沿时，重置参数count_A。例如，在音频帧frm0的前沿、在音频帧frm2的前沿以及在音频帧frm3的前沿，重置参数count_A。参数num_A保存刚好在重置参数count_A之前的值。因此，参数num_A表示在从特定音频数据包之后的音频帧的前沿(例如，frm0的前沿)到下一个音频数据包之后的音频帧的前沿(例如，frm2的前沿)的范围内存在的音频帧的数量。
通过将先前PTS_A[j-1]与num_A*afp相加，获得PTS_A[j]。此时，afp是音频帧的再现时间。例如，在图20中，PTS_A[1]是PTS_A[0]+2*afp。
图21是示出音频包处理过程的流程图。音频包处理与图11所示的视频包处理过程相同。
流分离单元107确定读取的数据的位置是否到达扇区的后端(ST701)。在读取的数据的位置未到达扇区的后端时，流分离单元107进一步读取扇区数据内部缓冲器110的内容(ST702)。在步骤ST703，流分离单元107确定是否检测到包报头401的pack_start_code(参考图8)。当在步骤ST704，检测到pack_start_code时，流分离单元107确定1st_AV_pck_detect的标志F1是0。在标志F1是0时，流分离单元107从包报头401获取SCR(ST705)，流分离单元705将SCR的值写入SCT[k]的寄存器109b内(ST706)，然后，将1st_AV_pck_detect的标志F1置位为1(ST707)。在1st_AV_pck_detect的标志F1不是0时，即，在读取的音频包是第二或者后续音频包时，流分离单元107将其中1200与先前SCR值SCR[k-1]相加的值写入SCR寄存器109b。然后，流分离单元107进行音频数据包处理(ST708)。
图22是示出音频数据包处理过程的流程图。音频数据包处理过程与图12所示的视频数据包处理过程相同。
流分离单元107将数据包有效载荷传送启动标志F5置位为1(步骤ST801)。流分离单元107确定该数据的位置是否到达包的后端(步骤ST802)。在该数据的位置未到达包的后端时，流分离单元107读取扇区数据内部缓冲器110上的预定位内容(ST803)。然后，流分离单元107确定是否检测到packet_start_code_prefix 503(参考图7和10)(步骤ST804)。在检测到packet_start_code_prefix 503时，流分离单元107确定stream_id 504(参考图7和10)是否是CXh(ST605)。“CXh”是系统控制单元200在流分离单元107内置位的音频stream_id。在stream_id 504是CXh时，流分离单元107将packet_in的标志F7设置为1(ST806)。在存在PTS时，流分离单元107保存PTS，而将PTS的值写入PTS_Ad jcq 109a(ST807)。然后，流分离单元107进入音频数据处理过程(ST808)。
当在步骤ST805确定stream_id不是CXh时，流分离单元107确定当前读取的数据包是填充数据包，然后，将传送启动标志F5置位为0(ST809)。因此，流分离单元107禁止将数据包数据传送到视频缓冲器121，并使数据包数据跳越到数据包数据的后端(ST810)。
图23是示出音频数据处理过程的流程图。
流分离单元107确定读取的扇区数据的位置是否到达数据包的后端(ST901)。在读取的扇区数据的位置未到达该数据包的后端时，流分离单元107进一步读取扇区数据内部缓冲器110的内容(ST902)。在步骤ST903，流分离单元107确定是否检测到音频帧的前沿。当在步骤ST904，检测到音频帧的前沿时，流分离单元107使count_A的寄存器109j的值加1。流分离单元107确定pack_in的标志F7是否是1(步骤905)。在标志F7是1时，流分离单元107将count_A的寄存器109j的值写入num_A的寄存器109h(ST906)，以进行音频PTS计算(ST907)。
图24是示出音频PTS计算的流程图，图25示出MPEG-1音频的音频帧的报头中的标志，图26是MPEG-1音频的bit_rate_index的表格。
流分离单元107确定1st_Afrm_Detect的标志F4是0(ST1001)。在标志F4是0时(对于第一音频帧)，流分离单元107写入PTS_A的寄存器109a的值作为PTS_A[i]的寄存器109c上的第[0]个PTS_A的值(ST1002)。然后，流分离单元107将1st_Afrm_Detect的标志F4置位为1(ST1003)，然后，分析Audio_frame_header 507(参考图7)，以bit_rate_index(参考图25和26)(ST1004)。
如果需要，在步骤ST1005，流分离单元107执行下述音频PTS校正处理，然后，流分离单元107将数据包的时间戳PTS_A[j](寄存器109c的值)发送到音频解码器130(ST1006)。因此，例如，将PTS_A(在步骤ST807保存的PTS)作为图2所示数据包层的流内的数据包报头的PTS_A[0]发送到音频解码器130。流分离单元107将count_A的寄存器109j的值重置为0(ST1007)，而将pack_in的标志F7重置为0(ST1008)。
当在步骤ST1001确定标志F4不是0时，通过将num_A*afp与先前PTS值PTS_A[j-1]相加，流分离单元107计算当前PTS_A[j]。因此，流分离单元107对包括在MPEG流的音频数据包内的音频帧(num_A)的数量进行计数，然后，根据音频帧的数量、在步骤ST807初始获取的PTS以及音频帧的再现时间afp，计算新音频PTS。
然后，将说明步骤ST1005的音频PTS校正处理过程。
当在根据上述处理流程计算音频PTS的过程中在该流的某个中点中断视频数据时，假定音频数据包的PTS(＝PTS_A[j])和包括该音频数据包的包的SCR(SCR[k])的关系变成PTS_A[j]＜＝SCR[k]。这明显违背原则，因为在包到达音频缓冲器129之前，对包括在该数据包内的音频数据进行解码。在满足该时间关系时，流分离单元107执行音频PTS校正处理。图27是示出音频PTS校正处理的流程图，图28示出视频CD的光道结构，以及图29示出视频CD的系统报头的内容。
根据MPEG流的扇区Vs和As(参考图28)的系统报头描述的STD缓冲器容量(STD_buffer_bound_scale和STD_buffer_size_bound)(参考图29)以及在音频基本流内描述的位速率，可以计算音频帧保存在音频缓冲器129内时的最长保存时间。例如，在视频CD(音频缓冲器129的实际容量被设计为32kbit或者更大)内确定的音频缓冲器容量为32kbit(4kbyte)，在光道2或后续光道2(参考图25和26)的MPEG AV内，以224kbps的位速率描述MPEG-1音频(层II)数据。因此，音频帧在音频缓冲器129内的最长保存时间T_max是T_max＝32/224＝1/7＝约0.14秒。
在满足关系PTS_A[j]＜＝SCR[k]时(ST1101中的YES)，根据90kHz的单位(＝1/90000秒)，即PTS的时间单位，在音频缓冲器129内将其与PTS_A[j]相加的音频帧的保存时间delta_t变成delta_t＝(T_max/n)×90000(n是自然数)。在代入n＝2时，delta_t成为平均保存时间。
此时，根据PTS_A_temp＝SCR[k]+delta_t，计算对应于音频帧的PTS。为了将先前PTS_A[j-1]与PTS_A[j]的差值设置为倍数(multiple)，计算N＝(PTS_A_temp-PTS_A[j-1])/audio_frame_period，然后，计算校正之后的音频帧的PTS，PTS_A[j]＝PTS_A[j-1]+N*audio_frame_period。
如上所述，当数据包的PTS不大于在步骤ST709计算的SCR时(步骤ST1101中的YES)，根据音频缓冲器容量和先前获得的音频位速率，流分离单元107计算音频解码器130的最长延迟时间T_max(ST1102)。此外，根据计算的SCR、在步骤ST1102计算的最长延迟时间T_max以及音频帧的再现时间afp，流分离单元107更新音频数据包的PTS。
根据本发明，即使在该流的某个中点中断该音频数据，仍可以同步再现音频数据和视频数据。
本技术领域内的熟练技术人员容易设想其它优点和修改。因此，本发明在其更广泛的方面并不局限于在此描述和说明的特定细节和说明性实施例。因此，在所附权利要求及其等效物所述的一般发明原理的实质范围内，可以进行各种修改。

Claims (7)

1、一种用于再现包括记录在媒体上的各个视频基本流和音频基本流的MPEG流的视频与音频再现设备，该设备的特征在于包括：
读取单元，用于从媒体上读取MPEG流；
第一获取单元，用于从读取单元读取的MPEG流中获取视频PTS(显示时间戳)；
第一计算单元，在每次从读取的MPEG流上检测到图像报头时，根据第一获取单元获取的PTS，计算新视频PTS；
第二获取单元，从读取的MPEG流中获取音频PTS；
第二计算单元，对包括在读取的MPEG流的音频数据包中的音频帧的数量进行计数，并根据第二获取单元获取的PTS和音频帧的再现时间，计算新音频PTS；
视频解码器，根据第一计算单元计算的PTS，解码读取的MPEG流的视频数据，以提供视频信号；以及
音频解码器，根据第二计算单元计算的PTS，解码第二计算单元读取的MPEG流的音频数据，以提供音频信号。
2、根据权利要求1所述的视频与音频再现设备，其特征在于，第一获取单元从读取单元读取的MPEG流中获取初始检测的视频PTS，而第二获取单元从读取的MPEG流中获取初始检测的音频PTS。
3、根据权利要求1所述的视频与音频再现设备，其特征在于，根据第一获取单元获得的PTS以及在图像报头内描述的图像编码类型(picture_coding_type)和时间基准(temporal_reference)，第一计算单元计算视频PTS。
4、根据权利要求2所述的视频与音频再现设备，其特征在于，根据第一获取单元获得的PTS以及在图像报头内描述的图像编码类型(picture_coding_type)和时间基准(temporal_reference)，第一计算单元计算视频PTS。
5、根据权利要求1所述的视频与音频再现设备，其特征在于，该视频与音频再现设备进一步包括：
第三计算单元，用于从读取单元读取的MPEG流中检测音频包SCR(系统时钟基准)，并通过将预定量的偏移与先前SCR相加，在每次检测音频包中，计算当前SCR；
确定单元，用于确定包括在音频包内的数据包的PTS是否大于检测到的SCR；
第四计算单元，在数据包的PTS不大于计算的SCR时，根据先前获取的音频缓冲器的容量和音频位速率，计算音频解码器产生的最长延迟时间；以及
更新单元，根据计算的SCR、第四计算单元计算的最长延迟时间以及音频帧的再现时间，更新音频数据包的PTS。
6、一种用于再现包括记录在媒体上的各个视频基本流和音频基本流的MPEG流的方法，该方法的特征在于包括：
从媒体上读取MPEG流；
从读取的MPEG流中获取视频PTS(显示时间戳)；
在每次从读取的MPEG流上检测到图像报头时，根据获取的视频PTS，计算新视频PTS；
从读取的MPEG流中获取音频PTS；
对包括在读取的MPEG流的音频数据包中的音频帧的数量进行计数，并根据获取的音频PTS和音频帧的再现时间，计算新音频PTS；
根据计算的视频PTS，解码读取的MPEG流的视频数据，以提供视频信号；以及
根据计算的音频PTS，解码读取的MPEG流的音频数据，以提供音频信号。
7.根据权利要求6所述的方法，其特征在于，在计算视频PTS的步骤，根据获得的视频PTS以及在图像报头内描述的图像编码类型(picture_coding_type)和时间基准(temporal_reference)，计算视频PTS。
CNB2004100958996A 2003-11-28 2004-11-26 视频与音频再现设备 Expired - Fee Related CN100364325C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003399813A JP2005167338A (ja) 2003-11-28 2003-11-28 映像音声再生装置
JP2003399813 2003-11-28

Publications (2)

Publication Number Publication Date
CN1627418A true CN1627418A (zh) 2005-06-15
CN100364325C CN100364325C (zh) 2008-01-23

Family

ID=34616627

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100958996A Expired - Fee Related CN100364325C (zh) 2003-11-28 2004-11-26 视频与音频再现设备

Country Status (3)

Country Link
US (1) US20050117888A1 (zh)
JP (1) JP2005167338A (zh)
CN (1) CN100364325C (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10355345A1 (de) * 2003-11-25 2005-06-23 Deutsche Thomson-Brandt Gmbh Verfahren und Vorrichtung zum Speichern oder Wiederfinden von definierten Positionen in einem Datenstrom
JP2007158461A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 情報再生装置及び情報再生方法
WO2007073347A1 (en) * 2005-12-19 2007-06-28 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
WO2007143197A2 (en) * 2006-06-02 2007-12-13 Qd Vision, Inc. Light-emitting devices and displays with improved performance
JP2008312008A (ja) * 2007-06-15 2008-12-25 Toshiba Corp オーディオストリーム処理方法および再生装置と出力装置
US8798133B2 (en) * 2007-11-29 2014-08-05 Koplar Interactive Systems International L.L.C. Dual channel encoding and detection
KR20140052110A (ko) * 2012-10-11 2014-05-07 한국전자통신연구원 네트워크 최대 지연 추정 장치 및 방법, 네트워크 인입 제어 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559999A (en) * 1994-09-09 1996-09-24 Lsi Logic Corporation MPEG decoding system including tag list for associating presentation time stamps with encoded data units
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
US7254175B2 (en) * 1999-07-02 2007-08-07 Crystalmedia Technology, Inc. Frame-accurate seamless splicing of information streams
JP3619079B2 (ja) * 1999-09-30 2005-02-09 松下電器産業株式会社 Ｄｖｄオーディオ復号システムのビットストリーム緩衝および多重分離装置
JP2002152738A (ja) * 2000-11-15 2002-05-24 Nec Corp 映像音声ストリーム変換装置及び映像音声ストリーム変換方法
JP3944845B2 (ja) * 2001-09-27 2007-07-18 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2003235011A (ja) * 2002-02-13 2003-08-22 Hitachi Ltd プログラムストリーム生成装置およびこれを用いた記録再生装置

Also Published As

Publication number Publication date
US20050117888A1 (en) 2005-06-02
CN100364325C (zh) 2008-01-23
JP2005167338A (ja) 2005-06-23

Similar Documents

Publication Publication Date Title
CN1214385C (zh) 再现装置和再现方法
CN1146902C (zh) 用于具有叠加子信息的视频的数字记录/再现方法和装置
CN1248505C (zh) 用于处理包括传输流的数据流的方法和装置
JP2002247526A (ja) 内外ストリームデータの同期再生装置とストリームデータ配信装置
CN1698113A (zh) 用于提供可浏览的幻灯片显示的解码数据的装置和方法以及数据存储介质
CN1082766C (zh) 用于版权保护和变速重放的数字磁记录介质的记录方法
CN1723704A (zh) 数据处理装置
CN1697062A (zh) 格式转换方法和装置以及程序
CN1416113A (zh) 图象记录装置，图象再现装置，信息记录方法和信息再现方法
CN1627418A (zh) 视频与音频再现设备
CN1226730C (zh) 盘重放装置和盘重放方法
CN1574009A (zh) 记录媒体及其信息的再现方法
KR100616048B1 (ko) 데이타 재생 장치 및 방법
JP4425138B2 (ja) 再生装置
WO2004057869A1 (ja) データストリームのフォーマット変換方法およびそのための記録方法
CN1194350C (zh) 低比特率数据流的记录或重放方法
CN1627416A (zh) 音频/视频再现设备
CN1227900C (zh) Av数据记录/再现装置及其方法
CN1249615A (zh) 再生方法及再生装置
CN1148061C (zh) 图像重放设备
CN1297982C (zh) 图像数据记录设备
CN1955968A (zh) 记录控制设备,记录控制方法及整合有照相机的记录设备
CN1231048C (zh) 记录有内容数据流的记录介质及其记录装置和再现装置
CN1144213C (zh) 解码设备和解码方法
CN1627417A (zh) 视频和音频再现设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080123

Termination date: 20091228