CN101116335B - 用于重放视频信号和一个或多个音频信号的方法和设备 - Google Patents

用于重放视频信号和一个或多个音频信号的方法和设备 Download PDF

Info

Publication number
CN101116335B
CN101116335B CN2006800041880A CN200680004188A CN101116335B CN 101116335 B CN101116335 B CN 101116335B CN 2006800041880 A CN2006800041880 A CN 2006800041880A CN 200680004188 A CN200680004188 A CN 200680004188A CN 101116335 B CN101116335 B CN 101116335B
Authority
CN
China
Prior art keywords
video
frame
audio
frequency
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800041880A
Other languages
English (en)
Other versions
CN101116335A (zh
Inventor
马尔科·温特
哈特穆特·彼得斯
约翰内斯·伯姆
恩斯特·F·施罗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36777591&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101116335(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from EP05090020A external-priority patent/EP1689179A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101116335A publication Critical patent/CN101116335A/zh
Application granted granted Critical
Publication of CN101116335B publication Critical patent/CN101116335B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

遵照35mm胶片的世界标准，在电影院投影的电影是以24Hz帧频和逐行扫描格式(表示为24p)制作的。然而，世界上的主要电视系统使用隔行扫描，以及50Hz场频(表示为50i)或60Hz场频(表示为60i)。内容提供商更喜欢提供可以在世界上大多数地区回放的单画面频率单音频速度的AV盘。根据本发明，根据当前视频和音频内容，自适应地丢弃音频信号帧，以及/或者自适应地重复视频场或帧。从而更不易察觉的流控制同步。

Description

用于重放视频信号和一个或多个音频信号的方法和设备
技术领域
本发明涉及用于一并回放与音频/视频数据相关的视频信号和一个或多个音频信号的方法，所述音频/视频数据基于所述视频信号的24Hz视频帧频(24p)，音频信号速度与所述24Hz帧频相对应。 
背景技术
遵照35mm胶片的世界标准，在电影院投影的电影是以24Hz帧频和逐行扫描格式(表示为24p)制作的。几十年来，投影速度一直固定在每秒24幅完全画面。典型地作为相同材料上的光学轨道而存在的伴音信号以相同速度重放。实际上，可以在世界上任何现有电影院中执行这种回放。 
当通过电视系统，例如，通过广播电台，回放这种电影时，情况有所不同。世界上的主要电视系统使用隔行扫描，以及50Hz场频(表示为50i，例如，在欧洲、中国和澳大利亚用于PAL和SECAM)或60Hz场频(表示为60i，例如在美国和日本用于NTSC)。 
在60i的国家中，电视系统构建为每秒播放30个完全视频帧。通过在使用3∶2减缓的两个或三个视频场中交替地呈现一个胶片帧，以基本上正确的整体速度执行电影回放。应该注意，在NTSC彩色电视系统中，实际场频是59.94Hz，这表示实际上以每秒23.976帧的速度播放电影，即，比原始速度慢1000/1001的因子。电视观看者一般不会注意到这个问题。 
在50Hz的国家，这种情况更加困难。最简单的解决方案是以每秒25帧的速度播放电影，即，快了4.2％。虽然通过这种方法，声音具有高了4.2％的音调(几乎高了一个半音调)，典型地，顾客不会对此有怨言。如果电影记录在A/V媒体(例如，VCR视频、CDI和DVD) 上，并使用作为呈现设备的电视接收机回放这些媒体，相同的原理一般是适用的。如果介质上存在的伴随声音是数字形式(例如，线性PCM或AC-3编码或DTS编码)的，则回放设备必须以高了4.2％的速度对音频信息进行解码和呈现(这一般不是问题)，或者在50Hz国家销售的DVD视频或CDI盘必须包含音频数据流，这些音频数据流是已编码的，从而在以高了4.2％的速度输出视频信号时，播放器的音频解码器自动输出音频信号的正确速度和音调。 
综上所述，当前存在三种已建立的AV流(音频视频流)回放速度：电影院中使用的每秒24个逐行扫描帧(24p)，每秒50个隔行扫描场(50i)和每秒10个隔行扫描场(60i)。 
可选方案是在播放器中执行音频解码、音调转换和音频重编码。然而，由于附加的音频编码，这需要非常昂贵的播放器硬件和更高的许可成本。 
如果盘制造商制造以多于两种的不同速度进行记录，则从一种速度向其他速度之一的变换可以是第一选择。因为以新速度再次制作电影要消耗太多时间和金钱，所以将再使用原始电影，即，将原始记录转换编码为新速度。通常，电影制片者将24p的电影转换编码为60i的DVD视频或50i的DVD视频。现代电视接收机可以处理不同的回放速度，同时保持相同的彩色系统PAL、NTSC或SECAM。例如，当前欧洲销售的很多电视机可以呈现重放的60i的记录。但是很多旧电视机无法处理具有这种速度变化的视频输入信号。甚至一些现代100Hz的电视机在接收60i的输入数据时也会发生故障。一些旧设备回放60i的彩色内容，却无法显示颜色，其他设备甚至无法回放稳定的画面。因此，例如在50i和60i国家之间区分DVD视频格式，以获得具有它们优选/支持的速度的盘。 
注意，因为(模拟)颜色系统不是所记录(MPEG)比特流的一部分，所以它根本不重要。适当的颜色系统将在视频内容解压缩之后应用或编码。 
如上所述，3：2减缓用于从24p转换编码到60i。在60i国家的消费者知道并广泛接受由此产生的缺点，例如由于场重复而导致的略微抖动的视频回放。快了4.2％的回放速度用于从24p转换编码到50i。50i国家中的大多数消费者接受由此产生的缺点，例如50i的闪动和提高的音调。例如，通过使用具有负载运动补偿的100Hz电视机，已减少或者甚至消除了一些缺点。然而，总播放时间比电影院中短了4.2％。这种加速的优点在于视频回放没有任何抖动，但是必须对音频流进行转换编码，以执行更快的回放。因此，在50i盘和60i盘之间，相同电影的音频流显著不同，而(MPEG)视频流非常相似。视频流的主要不同之处在于，60i视频流包含附加的3：2减缓标志和不同的时间戳。MPEG表示例如MPEG-2视频、MPEG-4视频或MPEG-4AVC。消费者接受在他们国家使用的转换编码方法的缺点，但是不喜欢其他国家的不同缺点。60i消费者不喜欢50i电视机的闪动(理论上，可以通过用应用100Hz技术以便也能够兼容50i的电视机来取代当前的60i电视机、或者通过使用较慢的LCD显示器，克服该问题)。50i消费者不喜欢60i视频的抖动(理论上，可以通过用24p兼容的盘、播放器和电视机来取代当前的盘、播放器和电视机，克服该问题)。 
图1左侧示出了插入有已知50i盘50iDVD的已知DVD播放器DVDP。播放器输出50iAV。右侧描绘了如何将50i盘内容作为50i呈现在仅兼容50i的旧式电视机OLDF上、作为50i呈现在当前生产的50i(并且60i兼容)的电视机CUR上、以及作为50i呈现在现代24p(并且50i和60i兼容)的电视机MOD上，这些电视机或显示器与播放器或记录器DVDP连接。 
图2左侧示出了插入有已知60i盘60iDVD的已知DVD播放器DVDP。播放器输出60iAV。右侧描绘了如何呈现60i盘内容：在旧式电视机OLD上无法呈现、作为60i呈现在当前生产的电视机CUR上、以及作为60i呈现在现代电视机MOD上，这些电视机或显示器与播放器或记录器DVDP连接。仅有的限制可能是由盘上的区域码造成的。 
图3左侧示出了插入有包括3：2减缓标志的已知24p盘24DVD32FL的已知24pDVD播放器DVDP24p。播放器输出24p或 60iAV。右侧描绘了如何呈现24p或60i盘内容：在旧式电视机OLD上无法呈现、作为60i呈现在当前生产的电视机CUR上、以及作为24p呈现在现代电视机MOD上，这些电视机或显示器与播放器或记录器DVDP24p连接。 
DVD播放器不支持24p回放。但是，如果DVD可以支持24p回放，则图4左侧示出这种24pDVD播放器DVDP24p，其中插入有不具有3：2减缓标志的24p盘24pDVD。播放器输出24p AV。右侧描绘了如何呈现24p盘内容：在旧式电视机OLD上和当前生产的电视机CUR上无法呈现、而作为24p呈现在现代电视机MOD上。 
EP 04300722.8描述了对于60i呈现使用3：2减缓而对于50i呈现使用24：1减缓的24p盘回放。然而，在50i呈现中的视频场重复可能导致具有剧烈运动的场景期间的抖动，这对于50i国家的观看者是先前未知的。 
PCT/EP2004/012483描述了针对50i呈现的24p盘回放，其中对盘进行回放，从而以音频的原始音调呈现音频，而自适应地插入视频场或帧，以引起最小的可见运动颤动。 
EP 04006792.8描述了针对50i呈现的24p回放，其中以因子25/24更快地重放视频，并丢弃部分音频，以实现平均地再现原始音频音调。丢弃由标记信息信号控制。然而，这种音频帧丢弃可能引起谐波音频阶段中的断断续续(stumble)。 
发明内容
内容提供商更喜欢提供可以在世界上大多数地区回放的单画面频率单音频速度的AV盘。当然，因为需要提供多种语言的音频，并且例如在一张DVD盘上没有足够的可用存储区来将所有音频语言与视频一并存储，所以这对于世界范围内销售的所有盘来说是不可行的。 
然而，诸如HD-DVD或Blu-ray等新的盘格式提供了针对AV内容的更多盘容量。Blu-ray记录器自从2003年四月起就在日本上市了。 
此外，市场上越来越多的新电视机甚至能够处理并呈现24p格式视频。
本发明要解决的问题提供一种24p格式存储介质和相应的存储介质播放器，存储介质的AV内容可以在全世界的50i、60i和24p格式的显示器/扬声器或电视机上、以较高的主观视频和音频质量呈现。这种问题由权利要求1中公开的方法解决。权利要求2中公开了使用该方法的设备。 
如上所述，不同国家要求不同的音频‘速度’。因为当今的AV存储介质使用压缩音频流，所以通过音频流的自动音调转换的简单速度移动不可行。播放器可能需要针对所有信道，对音频流进行解码，执行音调转换，并对音频流进行重编码或重压缩，以向外部音频解码器发送适当的标准化数字音频流。因为对于不同音频流编码类型(例如，DTS，AC-3，MPEG)进行解码和编码的附加硬件要求，以及对于音频重编码的附加许可成本，这会导致不可接受的昂贵的盘播放器。 
根据本发明，在媒体播放器或记录器中，根据当前视频和音频内容，自适应地丢弃(A丢弃)音频信号帧，以及/或者自适应地重复视频场或帧(V重复)。该丢弃和重复取决于视频和音频信号的当前内容，以使其中的丢弃或重复分别更易察觉的信号对视频和音频信号之间的同步进行控制，以将它们共同呈现。有时，分离的AV流段(piece)可用于提供最佳质量。 
重复特定视频场或帧以及丢弃特定音频帧会得到同步AV流，对于无法以24p或60i速度处理或呈现24p内容的显示器/扬声器、监视器或电视机，该同步AV流是兼容的。 
因此，用户可以采用其显示器或电视机能够获得的最高画面和音频质量来回放盘内容。回放质量限制不取决于盘内容格式，而取决于用户的显示器类型。有利地，在该播放器或记录器中不需要附加的硬件。 
盘或存储介质包含原始24p视频和有助于原始回放速度的适当编码的音频数据，附加信息是关于特定音频信号帧或块和关于特定视频信号帧或场而存储在介质或由播放器产生的： 
-原始AV数据用于回放针对24p兼容显示器/扬声器或电视机的内容，从而实现最佳画面质量。
-AV数据流中嵌入的已知3：2减缓信息或数据项用于回放针对60i显示器/扬声器或电视机的AV流，例如，应用于60iDVD视频盘的MPEG视频流中的特定标志。 
-特定A丢弃和V重复信息或数据项用于回放针对50i显示器/扬声器或电视机的AV流，从而在50i电视机或显示器/扬声器上的24pAV流的得到的平均回放速度大约在48i与50i速度之间，并且在该范围内是可变的。 
原理上，本发明方法适于回放与音频/视频数据相关的视频信号和一个或多个音频信号的方法，所述音频/视频数据基于所述视频信号的24Hz视频帧频，音频信号速度与所述24Hz帧频相对应，所述方法包括步骤： 
-如果要对应于所述24Hz帧频来呈现所述音频信号，则处理对应于所述24Hz帧频的所述视频和音频数据，以用于共同呈现； 
-如果要对应于60Hz或接近60Hz场频来呈现所述视频信号，则以对应于24Hz或接近24Hz帧频的速度处理所述音频数据，以用于共同呈现，并且使用3：2减缓来处理对应于60Hz或接近60Hz场频的所述视频数据，以用于共同呈现； 
-如果要对应于50Hz或接近50Hz场频来呈现所述视频信号，当处理所述音频数据和所述视频数据以进行呈现时，自适应地丢弃音频信号帧和/或自适应地重复音频场或帧，所述丢弃和/或重复取决于所述视频和音频信号的当前内容，以使其中的丢弃或重复分别更易察觉的信号对所述视频和所述音频信号之间的同步进行控制，以用于共同呈现。 
原理上，本发明设备适于回放与音频/视频数据相关的视频信号和一个或多个音频信号的方法，所述音频/视频数据基于所述视频信号的24Hz视频帧频，音频信号速度与所述24Hz帧频相对应，所述设备包括控制器，所述控制器如下控制针对所述音频和视频数据的处理装置： 
-如果要对应于所述24Hz帧频来呈现所述音频信号，则所述处理装置处理对应于所述24Hz帧频的所述视频和音频数据，以用于共同呈现；
-如果要对应于60Hz或接近60Hz场频来呈现所述视频信号，则所述处理装置以对应于24Hz或接近24Hz帧频的速度处理所述音频数据，以用于共同呈现，并且所述处理装置使用3：2减缓来处理对应于60Hz或接近60Hz场频的所述视频数据，以用于共同呈现； 
-如果要对应于50Hz或接近50Hz场频来呈现所述视频信号，当所述处理装置处理所述音频数据和所述视频数据以进行呈现时，所述处理装置自适应地丢弃音频信号帧和/或自适应地重复音频场或帧，所述丢弃和/或重复取决于所述视频和音频信号的当前内容，以使其中的丢弃或重复分别更易察觉的信号对所述视频和所述音频信号之间的同步进行控制，以用于共同呈现。 
各项从属权利要求中公开了本发明的其他有利的实施例。 
附图说明
参照附图描述本发明的典型实施例，附图中： 
图1是不同格式的电视机上的已知的50i盘内容呈现； 
图2是不同格式的电视机上的已知的60i盘内容呈现； 
图3是不同格式的电视机上的已知的24p和3：2减缓标志的盘内容呈现； 
图4是不同格式的电视机上的已知的24p且无3：2减缓标志的盘内容呈现； 
图5是使用3：2减缓标志、A丢弃标志和V重复标志的不同格式的电视机上的本发明24p盘内容呈现； 
图6是已知24p/50i格式呈现； 
图7是呈现电影时间tmovie对实时treal； 
图8是电影呈现速度相对于原始速度的距离； 
图9是具有视频和音频信号特征的24p AV记录部分的编辑示例，其中可以对视频和音频信号特征进行评估，以产生适当的a-d和v-r标志； 
图10是a-d和v-r标志沿视频序列和相关音频信号的分布示例； 
图11是流记录顺序与回放顺序之间的不同；
图12是将24p AV流作为50i AV流回放时的更加详细的时间关系； 
图13是AV流中a-d和v-r标志的设置，AV流具有与DVD视频VOB结构相似的结构； 
图14是与图13的实施方式不同的实施方式； 
图15是MPEG-2和MPEG-4AVC的标志设置和得到的视频输出的组合，即，场或帧重复了多少次； 
图16是VC-1的标志设置和得到的视频输出的组合，即，场或帧重复了多少次； 
图17是24p AV流的50i呈现的流程图； 
图18是24p AV流的50i呈现的流程图，示出了将流数据发送至实际视频解码器之前对流数据的控制； 
图19是表示24p视频流的24p、50i和60i视频呈现的流程图； 
图20是本发明的视频流播放器； 
图21是相比于盘的解码数据的视频和音频的呈现； 
图22是非常关键的场景的24p/60i特定或50i特定节目链的回放。 
具体实施方式
图5示出了插入有本发明的24p盘24pDVD32FLAVFL的本发明盘播放器DVDPI，如下所述，其中24p盘24pDVD32FLAVFL包括3：2减缓标志以及a-d和v-r标志。播放器根据可能是最佳的呈现模式，在任何相连的TV接收机或显示器上输出50i、60i或24p AV。24p盘内容作为50i AV在旧式电视机OLDF上呈现，根据用户选择而作为50i或60i AV在当前生产的电视机CUR上呈现，并作为24p AV在现代电视机MOD上呈现。 
以下对自适应A丢弃和V重复的描述包括三个相关部分。部分A描述了以50i格式连续呈现24p格式内容的理论原理和背景。部分B描述了上述设置在例如盘上、并且是本发明的50i呈现所需的附加信息或数据项。部分C描述了针对一些已知视频流类型(例如MPEG-2、MPEG-4和VC-1)的存储的一些更加详细的要求。
A)以50i格式连续呈现24p格式内容的理论原理和背景 
在50i显示器上回放24p而不执行任何视频/音频速度转换，这会导致音频与视频之间的同步损失，原因在于视频回放是作为50i(25p)而不是48i(24p)实现的，即，比原始速度快4.2％，而音频回放是以原始速度实现的。 
图6到8示出了沿时间轴发生的情况。图7和8中视频呈现的锯齿形产生于如下事实：每个呈现的场或帧是真实场景的时间点，即，对于每个1/24秒的时间段，它是静止画面。然而，音频数据具有时间连续表示功能。单个音频帧包含连续音频，即，不只是时间轴上的单个点。图6a描述了具有相继帧f0到f25的原始24p格式呈现。图6b示出了50i盘在50i电视机上的已知DVD视频呈现，其中，例如，‘t0’表示‘帧0的顶场’，‘b0’表示‘帧0的底场’，从而平均视频呈现速度比原始速度快4.2％。图6c示出了24：1的场减缓，即，重复原始24p流的每个第24场，以使平均视频呈现速度等于原始速度。 
图7示出了电影时间tmovie轴对实际时间treal轴。在电视前面的实际呈现硬件表指示出实际时间，而视频数据本身中的时钟(即，记录的表)表示电影时间。图中的阶梯示出了视频场的实际呈现时间(实际时间)与所呈现场景中表示的时间(电影时间)之间的关系。因为人眼的反应速度较慢，锯齿形的呈现表现为平滑视频，即，人眼感知到线性、平滑且没有抖动的视频呈现。总之，音频是连续呈现的，与速度无关(原始速度或快了4.2％)，因此直线表示音频时间函数。为了简单描述，图7b和7c中引入了函数的特殊表示，图中示出了上部分减去函数treal(tmovie)＝tmovie的函数。在该图中，水平线表示相比于原始速度而无任何延迟或超前的理想函数。增函数表示相比于原始速度的更快的电影呈现。减函数表示相比于原始速度的更慢的电影呈现。 
图8只使用了视频和音频的这种附图表示。注意，呈现函数的垂直线不表示视频呈现的实际持续时间，而只指示上一呈现视频段(time＝t0)与下一呈现时间段(time＝t1>t0)之间的联系。图8a示出了电影呈现的电影院版本，即，以原始速度呈现。因为所呈现的帧是1/24s时间段上的静止离散时间点，所以即使在原始版本中也存在锯齿 形。 
根据图8b的呈现可以是从24p到50i格式的理想变换。但是，因为这种理想变换需要过多的计算机性能和操作员的附加工作，所以既无法以完美的方式实现，对于内容提供商来说也不是经济可行的。图8c描绘了快4.2％的视频和原始音频速度的回放，并示出了音频和视频会有同步损失。 
图8d描绘了针对当前DVD视频盘的解决方案，即，以50i格式的快4.2％的视频和音频回放。这种AV流的编辑已执行了编辑期间的原始音频流到快4.2％的音频流的转换。因此，将音频和视频良好同步，但是由于非标准化的音频速度，对于当前可用的外部音频解码器，这种盘是无法以原始音频和视频速度播放的。 
图8e示出了以快4.2％的速度的视频输出，而以原始速度所呈现的音频帧。通过丢弃一些音频帧，正常速度的音频变为与更快速度的视频呈现同步。这在EP 04006792.8中有所描述。 
图8f示出了其他方式。以24：1减缓来重复一些视频场，以将视频呈现速度减慢到原始速度，从而以原始速度对音频进行编码和回放。这在PCT/EF2004/012483和EP 04300722.8中有所描述。 
图8g使用图8e和图8f处理的组合，并解释了本发明的处理，即丢弃一些音频帧和重复一些视频场。可以将得到的平均呈现速度控制在大约原始速度与快了4.2％的回放速度之间。 
将特定音频丢弃(a-d)和视频重复(v-r)指示符或标志分配给AV流。优选地，内容提供商在编辑期间将该信息放在盘上，即，回放设备不需要计算这种标志，这样，相关的必需播放器硬件或软件更加简单和便宜。 
a-d和v-r指示符可以是如下标志： 
-每个a-d标志指示单个音频流(例如，AC-3)或多个并行音频流(例如，LPCM、DTS、AC-3和MPEG)的特定音频帧； 
-每个v-r标志指示场编码视频流情况下的特定视频场、或帧编码视频流情况下的特定视频帧。 
回放设备的解码器在回放期间使用这些标志，以将视频设备的快 4.2％的50i回放与原始速度的音频流同步。通过重复适当的视频场或帧，并丢弃音频流的适当帧或与变换相关的块，来执行该同步。a-d和v-r标志或指示符造成视频回放速度的减速和音频回放速度的加速。有利地，整个音频帧的丢弃保持音频音调，即，音调转换是不必要的。有利地，在诸如MPEG、AC-3和DTS等大多数流格式中，可以采用简单方式对相关的视频场/帧和音频帧/块进行标识。因此，为检测这些场/帧/块，不需要附加的解码或编码处理以及附加许可。 
实际上，将视频流回放速度Vv从50i降低到接近48i(48i≤Vv≤50i)，将音频流回放速度Va从48i提高到接近50i(48i≤Va≤50i)，结果是平均而言，Vv等于Va(然而，在回放开始和结束时，可能出现微小的时间间隙)。在AV流内部，Va和Vv可以(并且会频繁地)变化。换言之，在50i电视机或播放器/扬声器上得到的24p AV流的平均回放速度大约在48i与50i之间，即，平均回放速度增加了0到4.2％之间。局部地，在较短时间段中，视频或音频速度可以比48i慢或比50i快。 
可以如下找出最适合重复的视频场/帧和最适合丢弃的音频帧： 
-优选地，编辑工具选择只在画面内容中包括有较小运动速度的视频场或帧来用于重复(v-r标志)，这是因为在这些场景中，重复的视频场或帧几乎或者甚至不可见。 
-优选地，编辑工具选择场景结束时、场景开始时或黑暗场景中(即，在场景片断的重复黑屏期间)的视频场或帧来用于重复(v-r标志)。 
-优选地，编辑工具选择包括有较少和声音频、低音量、无嘴唇共时部分和/或类似噪声的音频段来用于丢弃(a-d标志)，这是因为在这些场景中，音频帧/块的丢弃几乎或甚至不可感知。 
存在四种场景： 
-适合视频场/帧重复和音频帧丢弃的场景(VAS)； 
-适合视频场/帧重复但不适合音频帧丢弃的场景(VaS)； 
-不适合视频场/帧重但适合音频帧丢弃的场景(vAS)； 
-既不适合视频场/帧重复也不适合音频帧丢弃的场景(vaS)。 
许多场景不需要精确同步，例如带有背景音乐的风景视频场面。 在这些场面中，两个场景之间的片断可以重复一些黑色视频帧，以与音频同步(即，视频50i，但音频是48i)。此外，大多数场景是VAS、VaS或vAS类型的。 
-场景片断也可以用于同步。 
-优选地，对于VAS场景，均匀地使用音频帧丢弃和视频场/帧重复，得到音频&视频～49i。 
-对于VaS场景，优选视频场/帧重复，得到音频&视频～48i。 
-对于vAS场景，优选音频帧丢弃，得到音频&视频～50i。 
-vaS情况极少发生，例如，带有类似小提琴的和声音乐的嘴唇共时场景。因此，视频场/帧重复和音频帧丢弃无法应用于这种场景。 
-优选地，编辑工具考虑到不同场景类型(例如，VaS、vaS、vAS)的序列。与关键场景(vaS)相邻的较不关键场景(VAS、VaS、vAS)用于减少或避免抖动和关键场景期间的音频丢弃。例如，编辑工具提供vaS场景之前的视频回放时间超前和该vaS场景结束时的音频回放时间超前。这尽可能地减少了视频抖动和音频断续。关键vaS场景期间的场景片断也应该用于在关键场景期间减少或消除对v-r和a-d标志的需要。 
必要的视频场/帧重复和音频帧丢弃标志应该尽可能频繁地放置在场景片断中，并尽可能少地放置在vaS场景中。 
如果存在非常关键的场景部分，对于这种特定AV流部分，可以使用不同的AV流段。例如，可以将不同节目链(如在DVD视频中所称作的一样)用于50i呈现和24p/60i呈现：对于非常关键的场景，这些节目链使用它们自己的、存储在介质上的分离AV流部分。图22中示出了示例。上部水平箭头示出了将AV流的哪个部分用于24p或60i回放。它下面的水平箭头示出了将AV流的哪个部分用于50i回放。这些箭头下面的矩形区域示出了已记录在盘上的AV流数据，例如，DVD视频VOB文件的连续扇区。在DVD视频中，节目链方便了不同的呈现，即，这与DVD视频中的多角度呈现相似。AV流的主分区通常用于24p、60i和50i回放。特定的24p/60i AV流项和特定的50i AV流项附着在公共部分AV流项上。对于24p/60i回放，重放公共AV流 部分和特定24p/60i AV流项，而对于50i回放，重放公共AV流部分和特定50i AV流项。为了这种目的，导航或更高级信息(例如，DVD视频中的IFO文件)适用于处理这种特征。这种解决方案为所有可用的电视机或显示器/监视器/音频设备提供了最大的灵活性，并因此在考虑到存储介质上最小额外所需的存储容量的情况下，提供了最好的呈现质量。 
B)应该在哪里并且如何存储3：2减缓、a-d和v-r标志？ 
存在多个可能位置。优选位置是在AV流自身内部，即，这些标志是AV流的一部分，正如MPEG视频流中已用于3：2减缓标志一样。对于特定应用，使用AV流外部的位置可能是有用的。这些特定应用可以是特定播放器设备，该播放器设备通过应用包含有针对60iDVD视频盘的a-d和v-r标志位置信息的附加外部信息数据块，将AV流转换以用于50i设备，从而基于逐行扫描源24p视频来回放已知3：2减缓的60i DVD视频。该信息块可以经由因特网从特定提供商传递。 
图9示出了对具有视频和音频信号特征的24p AV记录部分进行编辑的示例，可以对视频和音频信号特征进行评估，以产生适当的a-d和v-r标志。 
图9a示出了视频序列中的运动程度，例如，摄像机镜头摇动、微小运动和快速背景运动、以及多个场景片断。摄像机镜头摇动产生剧烈运动，即，高度运动。在剧烈运动期间，应该尽可能地避免视频场/帧重复。如果只有背景在运动，则运动程度也较高。 
图9b示出了所示视频信号与分配给其的音频信号之间的相关程度。音频信号包括关门噪声和人物讲话，两者都表示强相关，在这种情况下，应该尽可能保持音频和视频同步。 
图9c示出了音频的和声等级程度，包括作为背景音乐、表示较高和声等级程度的小提琴。在这些场景中，应该必须音频丢弃。图9a到9c中提及的特征，即，AV内容的特定属性可以由操作员或由自动图像分析软件制作。 
图9d指示了得到的针对50i电视机的AV呈现。实际视频函数的 锯齿形由平滑的函数取代，以简化绘图。因此，该简化的视频函数与相关音频函数是直接可比的。 
在所描绘的整个记录时间中，音频和视频并非完全同步。对不需要保持音频和视频同步的部分进行编码，以使声音和视频表现得最好。只对需要同步的时间段应用视频场重复和音频帧丢弃。此外，使用场景片断和静音场景来保持和/或恢复同步。编辑工具设置适当的a-d和v-r标志，以获得所需的音频和视频时间函数。 
根据图9，图10中示出了a-d和v-r标志的相应示例推导。图10的下部重复示出了时间函数图9d。上部指示了相应a-d和v-r标志的位置。 
在第一、第三、第四、第五和第六场景片断处，重复多于一个的场(或帧)，这在v-r标志函数中以符号‘◆’表示。在第一和第三场景片断之间，在第一部分中，每时间单位的v-r标志速率是使视频速度对应于48i，而在第二部分中，每时间单位的v-r标志速率是使视频速度对应于大约49i。从第四开始到超过第六场景片断，每时间单位的v-r标志速率是使视频速度对应于比49i少一点。在视频序列的剩余部分中，即，‘50i部分’中，没有v-r标志，或者v-r标志设置为‘0’。 
在第一和第五场景片断处，丢弃多于一个的音频帧(或块)，这在a-d标志函数中以符号‘◆’表示。在第三和第四场景片断之间，在第一部分中，每时间单位的a-d标志的速率是使音频速度对应于大于50i。在第四与第六场景片断之间，每时间单位的a-d标志速率是使音频速度在第一部分中对应于比48i多一点，在第二部分中比50i多一点，在第三部分中对应于48i。在音频信号的剩余部分中，即‘48i部分’中，没有a-d标志，或者a-d标志设置为‘0’。优选地，每个a-d标志对于所有音频流(DTS、AC3、MPEG....)均是有效的，但是在较短时间段上，可以针对其他音频流使用设置不同的a-d标志。 
如果将AV流本身用作a-d和v-r标志的位置，则MPEG流中的user_data()字段可以用于该目的，或者在MPEG流数据外部但仍在AV流内的的信息项指示适当的视频场/帧和音频帧。例如，可以将DVD视频流的包头(pack header)或导航包扩展，以使这些包包含整个视 频对象单元VOBU内部的适当视频场/帧和音频帧的精确位置，该导航包属于视频对象单元VOBU。图13和14中示出了相应示例。 
图13描述了在结构与DVD视频VOB结构相似的AV流中实现a-d和v-r标志的实施例。左侧示出了视频解码解决方案，而右侧示出了音频解码解决方案。整个VOBU的a-d和v-r标志存储在VOBU的报头中(导航包NV_PCK)。v-r标志形成由提供至视频解码器的后处理部分的视频场或帧编号、以及对已解码的场/帧进行计数并如v-r标志的状态或存在所指示的一样来控制场/帧的重复的视频场或帧计数器组成的表。这可以是硬件解决方案或软硬件组合的解决方案。a-d标志形成帧或块编码的表，其中每一个帧或块编码指示该VOBU的整个音频流的适当帧/块编码。对于50i回放，要丢弃由a-d标志指示的音频帧/块，该丢弃可以在音频解码器本身内部执行，也可以通过跳过适当的音频帧/块，在解码器输入流解复用器中执行。如果有多个帧结构不同的音频流(例如，当对LPCM、AC-3或DTS进行并行解码时)，则可以使用多于一个的a-d标志表。 
图14描述了在结构与DVD视频VOB结构相似的AV流中实现a-d和v-r标志的另一实施例。整个VOBU的a-d和v-r标志存储在VOBU的报头中(导航包NV_PCK)。在左侧，v-r标志形成相对扇区编号、字节地址和字节只所组成的表。这三个值的每一组表示一个v-r标志。相对扇区编号指定该扇区在VOBU中的位置。字节地址指示该扇区内部的精确字节。在50i输出的情况下，用v-r标志的字节值取代该字节。该字节适当地设置比特top_field_first和repeat_first_field，同时其他周围的比特可以保持不变。将得到的视频流段发送至视频解码器。因为该字节取代可以在将视频数据发送至视频解码器之前由软件解复用器来执行，即，可以使用当前可用的解码器硬件，所以该解决方案大幅度地简化了当前MPEG-2解码器硬件的实现。因此，制造商可以将其作为硬件或作为软件解决方案来实现。该过程也可以用于在导航包NV_PCK中以附加表形式来应用3：2减缓标志，从而视频流与任何减缓标志无关，并在回放期间实时地插入适当的减缓标志(3：2减缓或作为v-r标志)。另一种方式也是可能的，即，已将3：2减缓 标志插入在流中，并且在回放期间，v-r标志去除这些3：2减缓标志。两种方式的混合也是可以的。这可以将每个VOBU所需的字节取代的最大值保持得尽量低，而与所需的呈现模式50i、60i或24p无关。有利地，这降低了处理器要求，即，简化了这种模式的软件实现。作为可选方式，如果特定比特未处在相同字节中，则视频流的字节取代可以是字取代。 
在右侧，a-d标志形成相对扇区编号和相对帧/块编号的表。一个a-d标志包括一个相对扇区编号和一个相对帧编号。相对扇区编号指示该VOBU中的适当扇区，相对帧编号指示在该扇区中开始的帧的相对编号。丢弃所指音频帧，该丢弃可以在音频解码器本身内部执行，或通过跳过适当的音频帧/块，在解码器输入流解复用器中执行。如果有多个帧结构不同的音频流(例如，当对LPCM、AC-3或DTS进行并行解码时)，则可以使用多于一个的a-d标志表。 
图13和14中描述的用于处理音频和视频流的示例可以改变。优选地，标记a-d和v-r标志或数据项的最佳方式取决于所选的音频和视频解码器的实现方式。例如，如果视频解码器是已知的MPEG-2视频解码器，则输入流解复用器向硬件解码器传递简单MPEG-2视频流，该硬件解码器不需要任何附加的寄存器设置。另一方面，可以处理特定寄存器设置(例如，类似ignore_3_2pull_down_flags或use_a_d_and_v_r_flags_instead_of_3_2pull_down_flags的寄存器)会简化输入流解复用器的任务。 
有利地，这种扩展的导航包也应该包含如下所述的(图13和14中未示出)的诸如VOBU等视频段的开始时间处的音频和视频之间期望的tmovie轴偏移距离。这对于处理到标题章节、到角度切换(在多角度的情况下)、到特效模式(例如，由一些Thomson DVD播放器提供的音频快进)或到紧接在快进特效模式之后的部分模式的直接跳变是必需的。因此，不需要任何对于DVD视频的.IFO文件定义的特定适应。 
实际的连续回放同步由播放器或记录器设备的解复用部分(demux)控制。demux部分读取AV流，即：
-例如，通过读取上述扩展的导航包，识别a-d和v-r标志的位置； 
-读取和回放视频数据部分； 
-识别由v-r标志标记的视频场； 
-如v-r标志所要求的、适当地重复这些视频场，一次或多次； 
-并行读取音频数据部分； 
-回放除了由a-d标志标记的音频帧之外的音频帧； 
-如a-d标志所要求的、适当地丢弃这些已标记的音频帧，一次或多次。 
如果需要，在呈现的开始，即，在直接跳到电影章节之后的回放开始处，应用音频与视频呈现之间的开始偏移。demux执行如下操作： 
-例如，通过读取上述扩展的导航包，识别音频与视频之间的开始时间偏移； 
-读取视频数据部分； 
-如果没有要考虑的偏移，或者如果该偏移指示针对音频呈现的延迟开始，则开始视频呈现； 
-读取音频数据部分； 
-如果没有要考虑的偏移，或者如果该偏移指示针对视频呈现的延迟开始，则开始音频呈现； 
-当经过了偏移时间时，开始剩余流(音频或视频)。此时，呈现与编辑时所期望的一样，即，此时，执行上述同步(‘实际同步’)。 
图11和12中也描绘了AV流解码开始时的附加同步步骤。图11示出了流记录顺序(在编辑期间)与回放顺序之间的不同。记录顺序是沿tmovie方向，而回放顺序是沿treal顺序的。因此，DVD视频盘的每个VOBU包含覆盖大约0.5秒的两个记录时间线之间的完整视频和音频流数据。 
在图11b中，示出了向tmovie-treal图的变换。AV流回放顺序仍然沿沿treal方向，但是AV流记录时间线方向朝右(即，顺时针)旋转了45度。只要图11a中音频和视频流彼此靠近，则不会出现问题，即，总是存在音频和视频、以及记录数据线与回放时间线的交点。但是，如果音频和视频函数之间的距离增大，则如图12所示，记录时间线和 回放时间线之间没有音频和视频的公共交点。 
图12中的示例比图9d左侧更加详细地示出了将24p AV流作为50i AV流回放并由此应用a-d和v-r标志时的时间关系。对于AV流的24p呈现，记录和回放顺序彼此接近(图中未示出)，容易执行回放。然而，如果通过应用a-d和v-r标志来针对50i电视机回放24p AV流，音频和视频呈现将保留如图所示的非常接近的时序。在本示例中，对于音频流，回放时间线在一个点SRPA处与记录时间线相交。但是视频流在不同点相交：SRV(记录时间线)和SPV(回放时间线)。因此，如果设备应该在回放时间线处(即，在到章节的直接跳变之后)开始呈现，则需要特定处理，原因在于设备将根据记录时间线来寻找AV流，即，该设备首先需要将音频和视频流同步，以获得由a-d和v-r标志指示的tmovie轴上所需的时间距离，以执行适当的符合50i的呈现。在该初始同步之后，可以如图10底部所示地连续执行50i回放(通过应用a-d和v-r标志)。 
换言之，图11和12解释了用于准备同步的呈现的初始过程，其后是连续(且持久的)呈现。 
在图12中，demux跳变到大约AV流中，例如，到DVD视频标题集的特定VOBU。在该示例中，所记录的AV流的进入点包含根据记录时间线而开始的AV流数据，即，优选的是AV流开始于回放时间线处(即，点SPV和SRPA)。但是，不幸地，AV流根据流记录线(即，点SRV和SRPA)开始AV数据。因此，设备必须丢弃SRV和SPV之间的第一视频场。在丢弃这些视频场之后，适当的50i呈现开始于SPV和SRPA处。如上所述，进入点也可以导致第一音频帧的初始丢弃，以获得tmovie轴上所需的视频与音频流之间的距离。 
‘记录顺序’表示顺序基于所记录的音频帧和视频场/帧的呈现时间。如果流类型的内部结构将数据组织为与呈现顺序不同，则本方面公开的定义和附图与内容的呈现时间相关。例如，带有B帧的MPEG-2视频流的流数据字节顺序(解码顺序)(I0、P1、B2、B3、P4、B5、B6、...)与呈现顺序(I0、B2、B3、P1、B5、B6、P4、...)不同。因此，图中的视频流时序对应于呈现时间，即，图12中的时序基于已解码的AV流 数据，而不是基于已编码的AV流数据。 
在图21中，示出了相比于盘的已解码数据(例如，音频缓冲器中的PCM音频值和帧缓冲器中的视频场/帧)的视频和音频呈现。该图用于理解由于取决于视频/音频呈现的三个类型24p、50i和60i的不同重复和丢弃动作而需要的回放控制。图21a与已解码视频相关，图21b与已解码音频流相关。阴影或灰色部分指示复用的AV流段的已解码的净视频或净音频流部分的示例，例如，表示大约一秒的呈现(例如，两个DVD视频VOBU)的AV数据。阴影或灰色部分内的箭头描述了回放已解码流的哪些部分、重复哪些部分和丢弃哪些部分。这些箭头取决于回放模式，即，24p、50i或60i呈现。对于60i视频回放箭头，3：2减缓对于均匀共享的视频场重复是良好可见的(可以按照不同顺序对实际AV流进行编码，例如，对于MPEG-2，按照I、P、B、B顺序，而不是回放顺序I、B、B、P，因此灰色视频流部分未描述盘的实际已编码视频数据，而是已解码帧/场)。取决于当前视频和音频内容的特定视频场重复和特定音频帧丢弃实现了50i回放。24p回放表示原样不变的音频和视频回放，即，既无视频场/帧重复，也无音频帧丢弃。 
作为可选方式，除了上述处理之外，还可以采用其他方式在期望的50i呈现开始时使音频和视频同步。例如，附加信息在AV流内部可用，指示超前流类型(音频或视频)的更早的进入点。其他流类型是静音的：无声音频或黑屏。这对于多种场景是可以很好地接受的，例如，对于开始于场景片断的场景。因此，可以减少跳变之后在回放开始时间处的暂停，例如，在到章节或不同视角的跳变之后、在快进模式之后改变到播放模式之后。这造成更加平滑和对于顾客更加方便的回放行为。 
甚至整个AV流的开始可以采用针对50i呈现的音频和视频流时序之间的tmovie轴时间距离来开始。 
此外，特定指示符可以用于指示黑色视频场或帧的重复，即使不存在原始黑色视频场或帧。demux或视频解码器将人工黑屏插入在视频呈现之间。这尤其对于场景片断是有意义的。如果原始24p视频流 在场位置X处不包含黑屏，并且适当标志要求针对50i输出的人工黑屏，则demux或视频解码器分别在50i回放期间插入人工黑屏。可以采用简单方式产生黑屏，从而该实施例只需要最小的实现成本(软件改变，但无硬件改变)，并且无附加或者甚至更低的播放器性能。 
对于非常关键的场景(例如，持续很长时间的vaS场景)，两种音频流可用，即，播放器根据要产生的输出：24p、50i或60i，切换到适当的音频流。因为这些场景极少出现，所以对盘上所需的附加存储量是可接受的。这种特征向顾客提供了非常令人满意的回放。 
如上所述，AV流内部的3：2减缓标志可以用于提供视频场/帧重复。在这种情况下，必需附加信息来控制视频解码器，以使解码器获得通知：在回放期间将应用哪个3：2减缓标志，将忽略哪个3：2减缓标志。这种信息项可以存储在例如DVD流的导航包中或其他AV流内部的适当位置处。 
因为并非所有MPEG视频解码器都能够在50i回放期间忽略3：2减缓标志，所以可以将3：2减缓标志存储在实际MPEG流外部但仍然在AV流中，例如，在DVD视频规范中所用的导航包或包头中。可以存储这些信息项，以使解码器自动知道哪些视频场/帧需要重复，哪些不需要重复。例如，通过设置一些硬件寄存器，demux向MPEG解码器提供该信息。单纯的MPEG视频流不包含任何3：2减缓或v-r标志。这种解决方案可以降低对视频解码器的硬件要求，但是需要demux在回放期间执行更多动作。 
根据另一实施例，50i(60i)呈现是AV流的原本(native)记录，即，标志用于使AV流适应60i(50i)呈现或者甚至适应24p呈现，为此目的，可以丢弃一些视频场(v-d标志)，重复一些(v-r标志)，并且可以丢弃(a-d标志)或重复(a-r标志)音频帧。以与上述v-r和a-d标志的使用方式类似的方式来使用这些标志。优选地，应用运动补偿，以在回放期间避免恼人的梳状效应(24p)或抖动(60i/50i)。 
根据另一实施例，60i编码AV流可以包含隔行扫描的视频场/帧。在这种情况下，仅在运动补偿可用于对逐行扫描显示上产生的梳状伪像进行补偿时，24p回放才有用。
然而，通过以下处理，50i回放是可行的： 
a1)按照原样回放60i视频序列，即，快20％，但是适当地重复音频帧(由a-r标志指示)； 
a2)或者按照原样回放音频序列，但是有时丢弃两个连续视频场或两个连续视频场的倍数(由v-d标志指示)； 
b)有时重复一些音频帧(由a-r标志指示)，并且有时丢弃两个连续视频场或两个连续视频场的倍数(由v-d标志指示)。 
此外，可以由适当a-r和v-d标志对先前的场景进行编码，即，为此目的，一些a-r和v-d标志移动到先前和/或随后的逐行扫描场景。甚至减少先前和/或随后的逐行扫描场景中a-d和v-r标志的数目也会产生这种效果。 
根据另一实施例，24p/60i编码AV流可以包含子标题，例如，对于DVD，可以包含子画面。因为子标题一般用于说出的词，所以默认地，它们应该与音频呈现同步。但是有时子标题与视频内容相关，例如，在子标题描述所显示城堡的名称的情况下。因此，应该有机制来指示相应的子标题同步。 
一种方式是指示子标题是否应该与视频、音频、或者甚至视频和音频的平均时序同步。该解决方案是相当受限的，但是在所有情况的多于95％部分中，该解决方案是足够的。 
另一种方式是指示已记录的子标题信息的特定开始时间和结束时间，例如，相应VOBU的NV_PCK中开始时间的时间偏移和DVD子画面单元的持续时间。 
第三种方式是使用针对50i回放的附加子标题流，即，对于50i回放，使用这种附加子标题流，而不是传统的24p/60i子标题流。例如，对于DVD，这可以通过使用针对50i的、选择正确子画面单元的分离PGC来实现。对于特定应用，可以在编辑期间将音频流加速大约2.1％(例如，通过音调转换)。对于24p/60i回放，重复一些音频帧，而对于50i回放，丢弃一些音频帧。这会减少对于50i回放所需的同步过程。但是该实施例加速原始回放模式(24p)，即，对于24p/60i回放，需要附加同步。平均而言，同步得到了最小化。不足之处在于 实现原始24p回放速度将会非常困难。 
因为VC-1编码的结构与MPEG视频编码的结构非常相似，所以以上相对于MPEG视频的陈述对于VC-1也是有效的，虽然在VC-1中对相关标志的称呼不同。 
EP 04006792.8中也示出了如何确定最适合丢弃的视频帧。PCT/EP2004/012483中也示出了在有几乎不可见的抖动或甚至无任何可感知的抖动的情况下，如何确定最适合丢弃的视频场/帧。EP04006792.8示出了使用24：1减缓从24p内容中得到50i输出的易于实现的方式。本发明以特效方式组合了上述三个申请的优点，并避免了它们的主要缺点。 
本发明可作为附加特征应用于当前DVD播放器，但是需要与适当的a-d和v-r标志有关的附加信息。这些信息可以从因特网上下载或可以作为分离数据附着到DVD盘上，并与已知的DVD水平符合数据相分离。本发明也可应用于未来的盘格式，例如HD-DVD和Blu-ray。本发明的盘与旧式50i电视机是完全后向兼容的，并与24p兼容电视机是前向兼容的。显著简化了从旧式电视机到HDTV电视机的改变。50i(或60i)国家中拥有24p兼容HDTV电视机的顾客可以以原始回放速度来观看电影。 
c)针对一些已知视频编解码器的特定限制 
如上所述，在已知解码器外部的控制器可以控制回放，以按照需要，重复或丢弃视频场和视频/音频帧，即，解码器在从模式下工作。图13和17示出了这种设备尤其对于50i回放的呈现过程。图19示出了对于50i、60i和24p的适当的视频呈现过程。 
图17示出了24p AV流的50i呈现的流程图，特别示出了在帧或场解码之后的流数据控制，这是通过处理视频解码器的视频输出的针对50i视频输出的示例。该解决方案对应于图13的视频部分中示出的处理。该解决方案的不足之处在于视频解码器需要附加的输出控制。然而，有利地，因为这种控制对于特效播放是必需的，所以这种附加控制对于当前可用的MPEG-2视频解码器中的大部分是可行的。
图19示出了表示24p视频流的24p、50i和60i视频呈现的流程图，这与图13的视频部分相关，并在50i方面与图17相对应。流包含3：2减缓标志。对于本质或原始24p呈现，忽略3：2减缓标志。对于60i输出，按照3：2减缓标志在视频流中的编码方式，使用3：2减缓标志。对于50i输出，忽略3：2减缓标志，而使用与视频流段(例如，VOBU)的场有关的附加信息项(例如，在NV_PCK中)。该信息项指示特定视频场/帧和这些场的重复次数。此外，对于50i输出，音频和视频解码流之间的开始偏移是可用的。该音频解码本身不是这副图的一部分。 
可选地，可以在回放期间，根据期望的输出50i、60i或24p，对流进行处理，图18中，结合上述图14，示出了这种视频呈现过程。 
在24p AV流的50i呈现中，图18示出了在将流数据发送至实际视频解码器以进行解码之前对流数据的控制，即，在对24p视频流进行解码之前对其进行处理。该解决方案对应于图14的视频部分所示的思想。该图中既未示出音频解码，也未示出24p和60i输出。该解决方案的一个不足之处在于，因为MPEG和VC-1都不支持该特征，所以即使处理后的视频流也无法用于将单个视频场或视频帧重复多次。因此，需要对视频解码过程的附加控制。 
下面以三个子部分描述对视频流的附加要求/限制，以执行该实时处理。与实际视频流数据(即，在AV流中静止)组合的附加信息项是必要的，以向60i和50i等类型的流提供回放特征，为此目的，根据解码器本身类型，需要针对本发明的特殊限制。描述针对MPEG-1、MPEG-4、AVC和SMPTE VC-1编解码器的基本限制。可以将附加信息项设置在类似DVD视频流中的导航包(VOB文件)等特定信息块中。 
C.1)MPEG-2 
有利地，24p、50i和60i流具有相同的比特结构，即，对这三种不同呈现模式进行编码而所需的比特量不需要不同，但在VC-1中是不同的。然而，一些标志对于不同的呈现模式需要不同值。由于这些要求，对于具有24p内容的所有MPEG-2视频流，需要一些属性：
-如已针对当前DVD视频所规定的，sequence_extension()的标志progressive_sequence设置为‘0’。 
-对于24p内容，sequence_extension()的progressive_frame设置为‘1’。仅对于实际的隔行扫描源材料，progressive_frame才设置为‘0’。 
-picture_structure设置为‘11’(以二进制格式)，以指示帧画面。仅对于实际的隔行扫描源材料，picture_structure才分别设置为‘10’或‘01’。 
-因为24p内容不需要减缓，所以picture_coding_extension()的repeat_first_field i设置为‘0’。 
-相同视频流中的所有picture_coding_extension()的所有top_field_first值都相等，即，都是‘0’或‘1’。 
-在解码期间，demux用v-r标志取代流中的适当标志，以强制执行期望的回放，例如，3：2减缓或可变的减缓。另一种可变方式是由适当的附加寄存器控制的更灵活的解码器，即，允许通过寄存器来设置top_field_first和repeat_first_field。 
此外，由于不同的回放速度24p、50i和60i，所以必须适当地处理时间戳。所记录的时间戳只对于回放速度之一是适合的。因为对流中的所有时间戳的重新设置是非常费时费力的工作，所以更好的解决方案是改变视频解码器时钟。最适当的处理取决于所选硬件。 
改变参数frame_rate也是有用的。 
在解码期间，针对24p、50i或60i，在将流数据发送至视频解码器之前，执行对top_field_first和repeat_first_field的重置： 
-对于50i呈现，将v-r标志转换(translate)为对应的top_field_first和repeat_first_field设置； 
-对于60i呈现，将适当的3：2减缓转换为对应的top_field_first和repeat_first_field设置； 
-对于24p呈现，将视频流以其原始格式发送至解码器(例如，总是使repeat_first_field＝0)。 
图15示出了标志设置的一些组合和得到的视频输出，即，将场(T或B)或帧(Fr)重复多少次，并且顶场(T)与底场(B)的输出顺 序。‘T’指示顶场的呈现，‘B’指示底场的呈现，‘Fr’指示整个帧的呈现，‘T-B’指示顶和底场呈现的顺序，例如，对于‘T-B’，首先呈现顶场。如果在该表的一个单元中‘T’、‘B’或‘Fr’的出现多于一次，则分别表示重复同一场或同一帧。MPEG-2视频通过在视频流中设置特定标志，来应用3：3减缓。如果视频源是基于帧(对于24p电影是如此的)的，则适当地使用设置5到8，如具有阴影或灰色背景的行所示。这些设置也可以用于v-r标志。不幸的是，不可能在相同视频流中既为60i输出(具有3：2减缓)又为50i输出提供这些标志。因此，这些标志可以用于3：2减缓、v-r标志、两者组合或不用于任何功能，即不使用任何标志。 
如果progressive_frame标志指示例如电视记录的隔行扫描源，则无法根据本发明以部分速度呈现这种视频流。需要针对每种呈现格式，分别对这种内容进行编码。因为所售视频盘的主要内容是在世界所有地区分发的具有24p源的电影，所以这是可接受的，而(隔行扫描)电视内容通常只在非常有限的地区广播或分发，即，在大多数情况下，只对单个国家广播或分发。 
C.2)MPEG-4AVC 
有利地，24p、50i和60i流具有相同的比特结构，即，对这三种不同呈现模式进行编码而所需的比特量不需要不同，但在VC-1中是不同的。不幸的是，每个MPEG片可能在编码方面是不同的。因此，可能需要针对每个片的比特流改变。对于24p内容的所有MPEG-4AVC视频流，需要以下属性： 
-seq_parameter_set_rbsp()中的标志vui_parameters_present_flag设置为‘1’； 
-VUI_parameters()中的标志pic_struct_present_flag设置为‘1’； 
-slice_header()中的标志field_pic_flag设置为‘0’； 
-在解码期间，demux用v-r标志取代流中的适当标志，以强制执行期望的回放，例如，3：2减缓或可变的减缓。另一种可变方式是由适当的附加寄存器控制的更灵活的解码器，即，允许通过寄存器来设 置top_field_first和repeat_first_field。 
此外，由于不同的回放速度24p、50i和60i，所以必须适当地处理时间戳。所记录的时间戳只对于回放速度之一是适合的。因为对流中的所有时间戳的重新设置是非常费时费力的工作，所以更好的解决方案是改变视频解码器时钟。最适当的处理取决于所选硬件。 
在解码期间，针对24p、50i或60i，在将流数据发送至视频解码器之前，执行对pic_struct的重置： 
-对于50i呈现，将v-r标志转换(translate)为对应的pic_struct设置； 
-对于60i呈现，将适当的3：2减缓转换为对应的pic_struct设置； 
-对于24p呈现，将视频流以其原始格式发送至解码器。 
图15还示出了标志设置的一些组合和得到的视频输出，即，将场(T或B)或帧(Fr)重复多少次，并且顶场(T)与底场(B)的输出顺序。 
如果progresive_frame标志指示隔行扫描源(例如电视记录)，则无法根据本发明以部分速度呈现这种视频流。需要针对每种呈现格式，分别对这种内容进行编码。 
C.3)SMPTE VC-1 
根据流内部的一些标志的值，一些其他(随后)标记出现或不出现，例如，如果INTERLACE设置为‘1’，则只出现FCM标志。为了获得对所有或非模式的完全控制，对流进行编码，以使尽量多的相关标志出现在所记录的流中。由于这些要求，对于所有VC-流，定义以下属性： 
只应该使用高级简档(Advanced Profile)。 
-24p视频流包含针对高级简档的序列层(Sequence layer)比特流； 
-PULLDOWN标志设置为‘1’，这对于强制标志TFF和RFF的出现是必需的； 
-INTERLACE标志应该设置为‘1’，这对于强制标志FCM、TFF和RFF的出现是必需的；
-解码器必须是可控的，从而通过忽略FCM等附加标志，按照INTERLACE＝0来处理视频流。因为解码器通常不会预期FCM标志，所以这是有必要的。因此，没有这种特定模式，会造成解码器的混乱。无论如何，流总是指示INTERLACE＝1。这可以通过适当的解码器寄存器设置来实现。 
-在解码期间，demux用v-r标志取代流中的适当标志，以强制执行期望的回放，例如，3：2减缓或可变的减缓。另一种可变方式是由适当的附加寄存器可控制的更灵活的解码器，即，允许通过寄存器来设置TFF、RFF和RPTFRM。 
此外，由于不同的回放速度24p、50i和60i，所以必须适当地处理时间戳。所记录的时间戳只对于回放速度之一是适合的。因为对流中的所有时间戳的重新设置是非常费时费力的工作，所以更好的解决方案是改变视频解码器时钟。最适当的处理取决于所选硬件。 
在解码期间： 
对于24p回放，将解码器切换至‘INTERLACE＝0’模式，即，解码器预期只在‘INTERLACE＝1’的情况下出现的标志的出现，但是对于24p回放，编码器跳过这些标志，例如画面层中的FCM标志。 
图16示出了标志设置的一些组合和得到的视频输出，即，将场(T或B)或帧(Fr)重复多少次，并且顶场(T)与底场(B)的输出顺序。‘T’指示顶场的呈现，‘B’指示底场的呈现，‘Fr’指示整个帧的呈现，‘T-B’指示顶和底场呈现的顺序，例如，对于‘T-B’，首先呈现顶场。如果在该表的一个单元中‘T’、‘B’或‘Fr’的出现多于一次，则分别表示重复同一场或同一帧。 
SMPTE VC-1视频通过在视频流中设置特定标志，来应用3：3减缓。如果视频源是基于帧(对于24p电影是如此的)的，则适当地使用设置8到11，如具有阴影或灰色背景的行所示。这些设置也可以用于v-r标志。不幸的是，不可能在相同视频流中既为60i输出(具有3：2减缓)又为50i输出提供这些标志。因此，这些标志可以用于3：2减缓、v-r标志、两者组合或不用于任何功能，即不使用任何标志。 
图20示出了包括解复用器DEMUX的盘播放器或回放引擎，其 中解复用器DEMUX接收AV数据流AVSTR，将视频流VSTR提供至对帧或场进行解码的视频解码器VDEC，并将音频流ASTR通过音频帧控制AFCTRL提供至音频解码器ADEC，ADEC提供已解码的音频输出信号DAOS。音频帧控制AFCTRL可以向外部音频解码器提供数字音频输出AO。视频解码器VDEC的输出信号通过场或帧缓冲器FIFRBUF，传送至提供已解码视频输出信号DVOS的呈现控制PRESCTRL。FIFRBUF可以包括在VDEC中。未示出子画面解码器(为了简化起见)。该盘播放器的操作可以遵循图19的流程图操作。回放控制PBCTRL通过未示出的用户接口从用户获得必要的用户访问信息UAI，接收与盘有关的一般信息项GENDI(一般内容信息，例如，DVD视频盘的VIDEO_TS.IFO)，并通过解复用器DEMUX从AV流本身接收导航信息项NAVI(例如，DVD视频盘的NV_PCK)。未示出至播放器的与显示器属性有关的信息源。所需的显示信息项可以通过UAI由用户或通过自动显示识别而输入到PBCTRL。通过置位解码器时钟信号SDCLK，回放控制PBCTRL控制针对24p、50i或60i输出的解码器时钟DCLK的时钟，从而在呈现控制PRESCTRL中适当地处理视频流内部的时间戳。 
回放控制PBCTRL也通过针对50i呈现的强制视频重复命令VFREP在呈现控制PRESCTRL中控制帧或场重复，通过强制音频帧丢弃命令AFREP在音频帧控制AFCTRL中控制帧丢弃，并通过针对60i呈现的3：2减缓标志处理命令PDFH在视频解码器VDEC中控制3：2减缓处理。

Claims (24)

1.一种用于一并回放与音频和视频数据相关的视频信号和一个或多个音频信号的方法，所述音频和视频数据基于所述视频信号的24Hz帧频，音频信号速度与所述24Hz帧频相对应，所述方法包括步骤：
-如果要对应于所述24Hz帧频来呈现所述视频信号，则处理对应于所述24Hz帧频的所述视频和音频数据，以用于共同呈现；
-如果要对应于60Hz或59.94Hz场频来呈现所述视频信号，则以对应于24Hz帧频的速度处理所述音频数据，以用于共同呈现，并且使用3∶2减缓来处理对应于60Hz或59.94Hz场频的所述视频数据，以用于共同呈现；
-如果要对应于50Hz场频来呈现所述视频信号，当处理所述音频数据和所述视频数据以进行呈现时，自适应地丢弃音频信号帧和/或自适应地重复视频场或帧，所述丢弃和/或重复取决于所述视频和音频信号的当前内容，以使其中的丢弃或重复分别更易察觉的信号对所述视频和所述音频信号之间的同步进行控制，以用于共同呈现，
其中，对于特定场景部分，将所述音频和视频数据中针对所述50Hz场频呈现的相应特定部分用于所述呈现，以取代要用于所述24Hz帧频或所述60Hz或59.94Hz场频呈现的相应场景部分；以及/或者
对于特定音频帧，将所述音频和视频数据中针对所述50Hz场频呈现的相应音频帧用于所述呈现，以取代要用于所述24Hz帧频或所述60Hz或59.94Hz场频呈现的相应音频帧。
2.根据权利要求1所述的方法，其中在对应于50Hz场频的呈现情况下，当前场频是可变的，平均场频在48Hz到50Hz的范围中。
3.根据权利要求1或2所述的方法，其中，针对只在画面内容中包括较小运动速度的场或帧，或针对位于场景结束处、新场景开始处或黑暗场景中的场或帧，执行所述视频场或帧重复，以及
针对包括较少和声音频、低音量、无嘴唇共时部分和/或类似噪声的音频段的帧，执行所述音频帧丢弃。
4.根据权利要求1或2所述的方法，其中在场景片断处插入一个或多个黑色或灰色场或帧，以取代所述视频场或帧重复。
5.根据权利要求1所述的方法，其中通过对所述音频和视频数据中包含的视频重复标志进行评估，来控制所述视频场或帧重复，以及/或者
通过对所述音频和视频数据中包含的音频丢弃标志进行评估，来控制所述音频帧丢弃。
6.根据权利要求1或2所述的方法，其中在所述音频信号中的不同信号中丢弃所述音频帧中的不同帧。
7.根据权利要求1或2所述的方法，其中通过因特网从相应的提供商处加载针对所述50Hz场频呈现的所述特定部分或所述特定音频帧。
8.根据权利要求5所述的方法，其中所述音频和视频数据存储在存储介质上，所述视频重复标志形成所述存储介质的扇区编号或相对扇区标号、字节地址和字节值的表，以使这三个值的每个组表示一个视频重复标志，字节地址指示扇区内部的精确字节，对于所述50Hz场频呈现，由相应视频重复标志的字节值取代所述字节。
9.根据权利要求1或2所述的方法，其中，在呈现的开始处，应用音频与视频呈现之间的开始偏移。
10.根据权利要求9所述的方法，其中，当在到特定场景的直接跳变之后的回放开始时，应用音频和视频呈现之间的开始偏移。
11.根据权利要求9所述的方法，其中所述音频和视频数据包括要作为所述开始偏移而应用的附加同步信息。
12.根据权利要求1或2所述的方法，其中，在针对整个音频和视频数据流的50Hz场频呈现的开始处，在音频与视频之间应用开始偏移。
13.一种用于一并回放与音频和视频数据相关的视频信号和一个或多个音频信号的设备，所述音频和视频数据基于所述视频信号的24Hz帧频，音频信号速度与所述24Hz帧频相对应，所述设备包括控制器，所述控制器如下控制针对所述音频和视频数据的处理装置：
-如果要对应于所述24Hz帧频来呈现所述视频信号，则所述处理装置处理对应于所述24Hz帧频的所述视频和音频数据，以用于共同呈现；
-如果要对应于60Hz或59.94Hz场频来呈现所述视频信号，则所述处理装置以对应于24Hz帧频的速度处理所述音频数据，以用于共同呈现，并且所述处理装置使用3∶2减缓来处理对应于60Hz或59.94Hz场频的所述视频数据，以用于共同呈现；
-如果要对应于50Hz场频来呈现所述视频信号，当所述处理装置处理所述音频数据和所述视频数据以进行呈现时，所述处理装置自适应地丢弃音频信号帧和/或自适应地重复视频场或帧，所述丢弃和/或重复取决于所述视频和音频信号的当前内容，以使其中的丢弃或重复分别更易察觉的信号对所述视频和所述音频信号之间的同步进行控制，以用于共同呈现；
其中，对于特定场景部分，将所述音频和视频数据中针对所述50Hz场频呈现的相应特定部分用于所述呈现，以取代要用于所述24Hz帧频或所述60Hz或59.94Hz场频呈现的相应场景部分；以及/或者
对于特定音频帧，将所述音频和视频数据中针对所述50Hz场频呈现的相应音频帧用于所述呈现，以取代要用于所述24Hz帧频或所述60Hz或59.94Hz场频呈现的相应音频帧。
14.根据权利要求13所述的设备，其中在对应于50Hz场频的呈现情况下，当前场频是可变的，平均场频在48Hz到50Hz的范围中。
15.根据权利要求13或14所述的设备，其中，针对只在画面内容中包括较小运动速度的场或帧，或针对位于场景结束处、新场景开始处或黑暗场景中的场或帧，执行所述视频场或帧重复，以及
针对包括较少和声音频、低音量、无嘴唇共时部分和/或类似噪声的音频段的帧，执行所述音频帧丢弃。
16.根据权利要求13或14所述的设备，其中在场景片断处插入一个或多个黑色或灰色场或帧，以取代所述视频场或帧重复。
17.根据权利要求13所述的设备，其中通过对所述音频和视频数据中包含的视频重复标志进行评估，来控制所述视频场或帧重复，以及/或者
通过对所述音频和视频数据中包含的音频丢弃标志进行评估，来控制所述音频帧丢弃。
18.根据权利要求13或14所述的设备，其中在所述音频信号中的不同信号中丢弃所述音频帧中的不同帧。
19.根据权利要求13或14所述的设备，其中通过因特网从相应的提供商处加载针对所述50Hz场频呈现的所述特定部分和/或所述特定音频帧。
20.根据权利要求17所述的设备，其中所述音频和视频数据存储在存储介质上，所述视频重复标志形成所述存储介质的扇区编号或相对扇区标号、字节地址和字节值的表，以使这三个值的每个组表示一个视频重复标志，字节地址指示扇区内部的精确字节，对于所述50Hz场频呈现，由相应视频重复标志的字节值取代所述字节。
21.根据权利要求13或14所述的设备，其中，在呈现的开始处，应用音频与视频呈现之间的开始偏移。
22.根据权利要求21所述的设备，其中，在到特定场景的直接跳变之后的回放开始时，应用音频与视频呈现之间的开始偏移。
23.根据权利要求21所述的设备，其中所述音频和视频数据包括要作为所述开始偏移而应用的附加同步信息。
24.根据权利要求13或14所述的设备，其中，在针对整个音频和视频数据流的50Hz场频呈现的开始处，在音频与视频之间应用开始偏移。
CN2006800041880A 2005-02-07 2006-01-24 用于重放视频信号和一个或多个音频信号的方法和设备 Expired - Fee Related CN101116335B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP05090020A EP1689179A1 (en) 2005-02-07 2005-02-07 Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal
EP05090020.8 2005-02-07
EP05090056 2005-03-04
EP05090056.2 2005-03-04
PCT/EP2006/050394 WO2006082150A2 (en) 2005-02-07 2006-01-24 METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL

Publications (2)

Publication Number Publication Date
CN101116335A CN101116335A (zh) 2008-01-30
CN101116335B true CN101116335B (zh) 2012-07-04

Family

ID=36777591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800041880A Expired - Fee Related CN101116335B (zh) 2005-02-07 2006-01-24 用于重放视频信号和一个或多个音频信号的方法和设备

Country Status (6)

Country Link
US (1) US8244094B2 (zh)
EP (1) EP1854293A2 (zh)
JP (1) JP4954901B2 (zh)
CN (1) CN101116335B (zh)
BR (1) BRPI0607288A2 (zh)
WO (1) WO2006082150A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283605A (ja) * 2009-06-04 2010-12-16 Canon Inc 映像処理装置及び方法
JP2011259110A (ja) * 2010-06-07 2011-12-22 Panasonic Corp 動画再生方法および動画再生装置
EP2880867B1 (en) * 2012-08-01 2018-06-13 Thomson Licensing Method and apparatus for adapting audio delays to picture frame rates
TWI555392B (zh) * 2013-07-30 2016-10-21 杜比實驗室特許公司 用於產生場景穩定的元資料之系統和方法
CN104038759B (zh) * 2014-06-09 2017-11-17 华为技术有限公司 视频编码方法和解码方法和相关装置
GB201516553D0 (en) * 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Inertia audio scrolling
US9940968B2 (en) 2016-08-30 2018-04-10 The Nielsen Company (Us), Llc Methods and apparatus to perform speed-enhanced playback of recorded media
US10726851B2 (en) * 2017-08-31 2020-07-28 Sony Interactive Entertainment Inc. Low latency audio stream acceleration by selectively dropping and blending audio blocks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1224560A (zh) * 1997-04-30 1999-07-28 索尼公司 视频/音频信号记录及重放装置和方法
US20040071211A1 (en) * 1997-04-07 2004-04-15 Kinya Washino Video production system with mixed frame removal

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4523227A (en) * 1980-10-28 1985-06-11 Rca Corporation System for synchronizing a video signal having a first frame rate to a second frame rate
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
JPH0965303A (ja) 1995-08-28 1997-03-07 Canon Inc 映像音声同期方法及び装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6209028B1 (en) * 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
JP4008580B2 (ja) * 1998-06-25 2007-11-14 株式会社東芝 表示制御装置およびインターレースデータ表示制御方法
CN1238882C (zh) * 1998-12-02 2006-01-25 纽波特公司 试片夹持机械手末端执行器
AU2728400A (en) 1999-03-30 2000-10-16 Sony Electronics Inc. Digital video decoding, buffering and frame-rate converting method and apparatus
US6810198B1 (en) * 1999-11-15 2004-10-26 Matsushita Electric Industrial Co., Ltd. Record and playback device
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
EP1309193A4 (en) * 2000-08-10 2005-09-28 Sony Corp DEVICE AND METHOD FOR PROCESSING VIDEO SIGNALS
US6680774B1 (en) * 2001-10-09 2004-01-20 Ultratech Stepper, Inc. Method and apparatus for mechanically masking a workpiece
US6625387B1 (en) * 2002-03-01 2003-09-23 Thomson Licensing S.A. Gated silence removal during video trick modes
US20040247185A1 (en) 2002-06-27 2004-12-09 Yutaka Sato Image processing apparatus and image processing method
WO2004032494A1 (ja) * 2002-10-01 2004-04-15 Sony Corporation 情報処理装置および方法、プログラム並びに記録媒体
US20040150745A1 (en) * 2003-01-20 2004-08-05 Hideki Aiba Video data transmitting/receiving method
JP2004289484A (ja) * 2003-03-20 2004-10-14 Sanyo Electric Co Ltd 映像再生装置
US7941030B2 (en) * 2003-04-04 2011-05-10 Victor Company Of Japan, Limited Audio/video recording apparatus, recording method, playback apparatus, playback method, playback program, and recording program
EP1558033A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling the insertion of additional fields or frames into a picture sequence to change its format

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071211A1 (en) * 1997-04-07 2004-04-15 Kinya Washino Video production system with mixed frame removal
CN1224560A (zh) * 1997-04-30 1999-07-28 索尼公司 视频/音频信号记录及重放装置和方法

Also Published As

Publication number Publication date
BRPI0607288A2 (pt) 2009-08-25
US20090122191A1 (en) 2009-05-14
WO2006082150A3 (en) 2007-07-26
JP4954901B2 (ja) 2012-06-20
EP1854293A2 (en) 2007-11-14
JP2008530839A (ja) 2008-08-07
CN101116335A (zh) 2008-01-30
WO2006082150A2 (en) 2006-08-10
US8244094B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
CN101116335B (zh) 用于重放视频信号和一个或多个音频信号的方法和设备
KR101158948B1 (ko) 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤액세스 단위들 사이의 심리스 스위칭
CN101171639B (zh) 通过补充附加50i格式数据项来创作24p音频/视频数据流的方法和设备
EP1689179A1 (en) Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal
JP2009147699A (ja) 再生装置、再生方法および再生プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190527

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20190124

CF01 Termination of patent right due to non-payment of annual fee