JP2008530839A - ２４Ｈｚフレーム周波数のビデオ信号に基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置 - Google Patents

Abstract

映画は、35mmフィルムの世界標準に従う、映画館での上映のための、24Hzフレーム周波数かつ順次走査のフォーマット（24pと記す）で製作される。しかしながら、世界の主要なテレビ・システムはインターレース走査および50Hzフィールド周波数（50iと記す）または60Hzフィールド周波数（60iと記す）を使用している。コンテンツ提供者は、世界のほとんどの部分で再生できる、単一映像周波数かつ単一オーディオ・スピードのAVディスクを提供することを好むであろう。本発明によれば、メディア再生機において、現在のビデオおよびオーディオ内容に依存して、オーディオ信号フレームが適応的に脱落させられるか、ビデオ・フィールドまたはフレームが適応的に反復されるかする。それにより、知覚されにくいほうのストリームが同期を制御する。

Description

本発明は、ビデオ信号についての24Hzフレーム周波数および該24Hzフレーム周波数に対応するオーディオ信号スピードに基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を一緒に再生するための方法および装置に関する。

映画は35mmフィルムの世界的な規格に従って、映画館での映写のために24Hzフレーム周波数、順次走査フォーマット（24pと表される）で製作される。映写スピードは、何十年も前から、毎秒24枚の完全な映像に固定されてきた。付随する音声信号は、典型的には同じ材料上のオプチカル・トラックとして存在し、同じスピードで再生される。そのような再生は事実上、世界のどんな既存の映画館でも実行できる。

そのような映画がテレビジョン・システムを介して、たとえば放送局によって再生されるときには、状況は一変する。世界の主要なテレビ・システムはインターレース式走査および50Hzのフィールド周波数（50iと表される；たとえばヨーロッパ、中国およびオーストラリアでPALおよびSECAMの場合）または60Hzのフィールド周波数（60iと表される；たとえば米国および日本でNTSCの場合）を使用する。

60iの国では、テレビ・システムは、毎秒30枚の完全なビデオ・フレームが表示されるよう構築される。映画の再生は、3:2のプルダウンを使って、一つのフィルム・フレームを交互に2ビデオ・フィールドまたは3ビデオ・フィールドにわたって呈示することによって、基本的に、全体としては正しいスピードで実行できる。NTSCカラー・テレビ・システムでは、実際のフィールド・レートは59.94Hzであることを注意しておくべきであろう。これは、映画は実際には毎秒23.976フレームで、すなわち元来のスピードより1000/1001だけ遅いスピードで放送されているということを意味する。これは、一般にはテレビ視聴者は気づかない。

50Hzの国では、状況はより難しくなる。最も簡単な解決策は、映画を毎秒25フレームで、すなわち4.2%速いスピードで上映することである。この方法では音声はピッチが4.2%（ほぼ半音）高くなるが、典型的には消費者が苦情を言うことはない。映画がA/Vメディア（たとえばVCRビデオ、CDIおよびDVD）に記録され、該メディアがテレビ受信機を呈示装置として使って再生されるとすると、一般に、同じ原則が当てはまる。媒体上に存在する付随する音声がデジタル形式（たとえばリニアPCMまたはAC-3コードまたはDTSコード）であれば、再生装置はそのオーディオ情報を4.2%大きいスピードでデコードおよび呈示するという一般には問題のない方法をとるか、あるいは50Hzの国で販売されるDVDビデオやCDIのディスクが、ビデオ信号が4.2%大きいスピードで出力される間、プレーヤーのオーディオ・デコーダが自動的にオーディオ信号の正しいスピードおよびピッチを出力するようあらかじめエンコードされたオーディオ・データ・ストリームを含んでいる必要がある。

まとめると、AVストリーム（オーディオ・ビデオ・ストリーム）について、現在のところ三つの確立された再生スピードがある：映画館で使われる順次走査の24フレーム毎秒（24p）、インターレース式の50フィールド毎秒（50i）およびインターレース式の60フィールド毎秒（60i）である。

代替案は、プレーヤーにおいて、オーディオのデコード、ピッチ変換およびオーディオの再エンコードを実行することであるが、これは、追加的なオーディオ・エンコードのため、非常に高価なプレーヤー・ハードウェアおよびより高いライセンス費用を必要とする。

ディスク製造業者が二つ以上の異なるスピードについてレコードを製作する場合、一つのスピードから他のスピードの一つへの変換が第一の選択であろう。新しいスピードで映画を製作し直すのは時間および費用がかかりすぎるので、元の映画が再使用される。すなわち、元のレコードが新しいスピードにトランスコードされる。通例、映画制作者は24pの映画を60iのDVDビデオおよび50iのDVDビデオにトランスコードする。現代的なテレビ受信機は、同じカラー・システムPAL、NTSCまたはSECAMを保ちながら異なる再生スピードを扱うことができる。たとえば、現在ヨーロッパで販売されている多くのテレビは、再生された60iレコードを呈示できる。しかし、多くの旧式のテレビはそのようなスピード・シフトを有する入力信号を扱うことができない。一部の現代的な100Hzテレビでさえ、60iの入力データを受け取るときには誤動作している。いくつかの旧式の装置はカラーの60iのコンテンツを色なしで再生するし、他の装置は固定した映像さえ再生できない。そうした理由のため、たとえばDVDビデオ・フォーマットは、50iと60iの国が好ましい／サポートされるスピードのディスクを入手するよう、50iと60iの国の間で区別をしている。

（アナログ）カラー・システムは、どうせ記録される（MPEG）ビットストリームの一部ではないので、問題ではないことを注意しておく。適切なカラー・システムは、ビデオ・コンテンツの圧縮解除後に適用またはエンコードされる。

上述したように、24pから60iにトランスコードするためには3:2のプルダウンが使用される。60iの国の消費者は、フィールド反復に起因するややがくがくしたビデオ再生のような結果的な欠点は知っており、広く受け容れている。24pから50iにトランスコードするためには、4.2%速い再生スピードが使われる。50iの国の大半の消費者は、50iのフリッカーおよび上昇されたピッチのような結果的な欠点を受け容れている。一部の欠点は、たとえば洗練された動き補償をもつ100Hzのテレビを使うことにより、すでに軽減、またさらには解消されている。しかし、全再生時間は映画館より4.2%短い。そのような高速化の利点は、ビデオ再生ががくがくしないことであるが、そのより高速の再生を実行するためにオーディオ・ストリームをトランスコードする必要がある。よって、同じ映画でもオーディオ・ストリームは50iのディスクと60iのディスクの間で著しく異なる。だが、（MPEG）ビデオ・ストリームは非常に似通っている。ビデオ・ストリームの主たる相違は、60iのビデオ・ストリームは追加的な3:2プルダウン・フラグおよび異なるタイムスタンプを含んでいるということである。MPEGとは、たとえばMPEG-2ビデオ、MPEG-4ビデオまたはMPEG-4 AVCを意味する。消費者は自国で使われているトランスコード法の欠点を受け容れているが、他国の異なる欠点は好まない。60iの消費者は50iのテレビのフリッカーを好まない（理論的には、これは現行の60iのテレビを、100Hz技法の適用または遅いLCDディスプレイの使用によって50iにも対応するテレビで置き換えることによって克服できる）。50iの消費者は60iのビデオのがくつきを好まない（理論的には、これは現行のディスク、プレーヤーおよびテレビを24p対応のディスク、プレーヤーおよびテレビで置き換えることによって克服できる）。

図１は、左側に、既知の50iディスク５０ｉＤＶＤが挿入された既知のDVDプレーヤーＤＶＤＰを示している。プレーヤーは50iのAVを出力する。右側は、50iディスクのコンテンツがどのようにして呈示されるかを描いている：旧型の（old-fashion）50iのみのテレビＯＬＤＦでは50iとして、現在（currently）生産されている50i（および60i対応）テレビＣＵＲでは50iとして、および現代的な（modern）24p（および50iおよび60i対応）テレビＭＯＤでは50iとしてである。上記テレビまたはディスプレイはプレーヤーまたはレコーダーＤＶＤＰに接続されている。

図２は、左側に、既知の60iディスク６０ｉＤＶＤが挿入された既知のDVDプレーヤーＤＶＤＰを示している。プレーヤーは60iのAVを出力する。右側は、60iディスクのコンテンツがどのように呈示されるかを描いている：前記旧型のテレビＯＬＤでは呈示なし、前記現在生産されているテレビＣＵＲでは60iとして、および前記現代的なテレビＭＯＤでは60iとしてである。上記テレビまたはディスプレイはプレーヤーまたはレコーダーＤＶＤＰに接続されている。唯一の制約は、ディスクのリージョン・コードから生じうる。

図３は、左側に、3:2プルダウンのフラグを含む既知の24pディスク２４ｐＤＶＤ３２ＦＬが挿入された既知の24pのDVDプレーヤーＤＶＤＰ２４ｐを示している。プレーヤーは24pまたは60iのAVを出力する。右側は、24pまたは60iのディスクのコンテンツがどのように呈示されるかを描いている：前記旧型のテレビＯＬＤでは呈示なし、前記現在生産されているテレビＣＵＲでは60iとして、および前記現代的なテレビＭＯＤでは24pとしてである。上記テレビまたはディスプレイはプレーヤーまたはレコーダーＤＶＤＰ２４ｐに接続されている。

DVDプレーヤーは24p再生をサポートしない。しかし、DVDが24p再生をサポートしたとして、図４の左側に、3:2プルダウンのフラグのない24pディスク２４ｐＤＶＤが挿入されたそのような24pのDVDプレーヤーＤＶＤＰ２４ｐを示している。プレーヤーは24pのAVを出力する。右側は、24pのディスクのコンテンツがどのように呈示されるかを描いている：前記旧型のテレビＯＬＤおよび前記現在生産されているテレビＣＵＲでは呈示なし、だが前記現代的なテレビＭＯＤでは24pとして呈示される。

EP04300722.8は、60iの呈示のためには3:2のプルダウンを、50iの呈示のためには24:1のプルダウンを使う24pディスク再生を記載している。しかし、50iの呈示におけるビデオ・フィールド反復は、強い動きのあるシーンでがくつきを生じることがある。これは50iの国では以前には視聴者に知られていなかったことである。

PCT/EP2004/012483は、50i呈示のための24pディスクの再生を記載しているが、それによると、ディスクが再生される際、オーディオは元来のピッチで呈示されるがビデオのフィールドまたはフレームが適応的に挿入されて目に見える動きジャダーを最小にするようにされている。

EP04006792.8は、50i呈示のための24pディスクの再生を記載しているが、それによると、ビデオは25/24だけ速く再生され、再生に際して平均的に元来のオーディ・ピッチを達成するためにオーディオの一部が脱落させられる。脱落は、目印の情報信号によって制御される。しかし、そのようなオーディオ・フレーム脱落は調和的なオーディオ・フェーズの際のつまづき（stumbles）につながることがある。

コンテンツ提供者は、世界の大半で再生できる単一映像周波数・単一オーディオ・スピードのAVディスクを提供するほうを好むであろう。もちろん、世界で販売されるすべてのディスクについてそうするわけにはいかないだろう。それは、多様な言語でオーディオを提供する必要性のため、また、たとえば1枚のDVDディスクにはビデオと一緒にあらゆるオーディオ言語を保存するための十分な利用可能メモリがないためである。しかし、HD-DVDまたはブルーレイといった新しいディスク・フォーマットはAVコンテンツのためにより大きなディスク容量を提供する。ブルーレイ・レコーダーは2003年4月以来日本の市場にある。また、市場にあるますます多くの新しいテレビが24pフォーマットのビデオさえ処理および呈示できる。

本発明によって解決されるべき問題は、世界中の50i、60iおよび24pのフォーマットのディスプレイ／スピーカーまたはテレビ受信機で、ビデオおよびオーディオの高い主観的な品質をもってAVコンテンツが呈示できるような、24pフォーマット記憶媒体および対応する記憶媒体プレーヤーを提供することである。この問題は、請求項１に開示される方法によって解決される。該方法を利用する装置は請求項２で開示される。

上述したように、異なる国については異なるオーディオ「スピード」が求められる。今日のAV記憶媒体は圧縮されたオーディオ・ストリームを使うので、オーディオ・ストリームの自動ピッチ変換による単純なスピード・シフトは現実的ではない。プレーヤーは、すべてのチャネルについて、オーディオ・ストリームをデコードし、ピッチ変換を実行し、そのオーディオ・ストリームを再エンコードおよび再圧縮した上で、その適切な標準化されたデジタル・オーディオ・ストリームを外部オーディオ・デコーダに送達する必要があるであろう。これは受け容れがたいほどの高価なディスクプレやーにつながる。それは、異なるオーディオ・ストリーム・コード種別（たとえばDTS、AC-3、MPEG）をデコードおよびエンコードするための追加的な必要ハードウェアのため、そしてオーディオ再エンコードのための追加的なライセンス費用のためである。

本発明によれば、メディア・プレーヤーまたはレコーダーでは、現在のビデオおよびオーディオ・コンテンツに依存して、オーディオ信号フレームが適応的に脱落させられるか（A脱落［A-drop］）、および／またはビデオ・フィールドまたはフレームが適応的に反復されるか（V反復［V-repeat］）する。脱落および反復がビデオおよびオーディオ信号の現在のコンテンツに依存するのは、脱落または反復がそれぞれより顕著な信号が、ビデオおよびオーディオ信号の間の同期をそれらの共通の呈示のために制御するようにである。時には、最良の品質を提供するために複数に分離されたAVストリーム片が利用可能である。特別なビデオ・フィールドまたはフレームを反復し、特別なオーディオ・フレームを脱落させることが同期されたAVストリームにつながる。そのAVストリームは、24pのコンテンツや60iのスピードをもつ24pコンテンツを処理も呈示もできないディスプレイ／スピーカー・セットまたはモニタまたはテレビに対応している。

よって、ユーザーは、自分のディスプレイまたはテレビによって、可能な限り最高の映像およびオーディオ品質でディスク・コンテンツを再生できる。再生品質の制限は、ディスク・コンテンツのフォーマットには依存せず、ユーザーのディスプレイの型に依存する。有利なことに、プレーヤーまたはレコーダーに追加的なハードウェアはほとんど必要とされない。

ディスクまたは記憶媒体は、元の24pビデオおよび元来の再生スピードを容易にする適切なコード化されたオーディオ・データ、さらに特定のオーディオ信号フレームまたはブロックについておよび特定のビデオ信号フレームまたはフィールドについて媒体に記憶されているかプレーヤーが生成する追加的情報を含む：
・24p対応のディスプレイ／スピーカーまたはテレビについては、コンテンツを再生するために元のAVデータが使用され、それにより最高の映像品質を達成する。
・60iのディスプレイ／スピーカーまたはテレビについては、AVストリームを再生するためにAVデータストリームに埋め込まれた既知の3:2プルダウン情報またはデータ項目が使用される。たとえば、60iのDVDビデオのディスクについて適用されるMPEGビデオ・ストリーム中の特別なフラグである。
・50iのディスプレイ／スピーカーまたはテレビについては、AVストリームを再生するために特別なA脱落およびV反復の情報またはデータ項目が使用され、それによりその24pAVストリームの50iのテレビまたはディスプレイ／スピーカーでの結果的な平均再生スピードは、48iから50iのスピードの間のどこかとなり、その範囲内で可変となる。

原理的には、本発明の方法は、ビデオ信号についての24Hzフレーム周波数および該24Hzフレーム周波数に対応するオーディオ信号スピードに基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を一緒に再生するために好適であり：
・前記ビデオ信号が前記24Hzフレーム周波数に対応して呈示されるべきであれば、前記ビデオおよびオーディオ・データを共通の呈示のために前記24Hzフレーム周波数に対応して処理する段階と；
・前記ビデオ信号が60Hzまたはほぼ60Hzのフィールド周波数に対応して呈示されるべきであれば、前記オーディオ・データを共通の呈示のために24Hzまたはほぼ24Hzのフレーム周波数に対応するスピードで処理し、前記ビデオ・データを共通の呈示のために3:2プルダウンを使って60Hzまたはほぼ60Hzのフィールド周波数に対応して処理する段階と；
・前記ビデオ信号が50Hzまたはほぼ50Hzのフィールド周波数に対応して呈示されるべきであれば、前記オーディオ・データおよび前記ビデオ・データを呈示のために処理するときに、オーディオ信号フレームを適応的に脱落させ、および／またはビデオ・フィールドまたはフレームを適応的に反復させる段階であって、該脱落および／または反復が前記ビデオおよびオーディオ信号の現在のコンテンツに依存し、脱落または反復がそれぞれより顕著な信号が、前記ビデオおよびオーディオ信号の間の同期を共通の呈示のために制御するような段階、
を含む。

原理的には、本発明の装置は、ビデオ信号についての24Hzフレーム周波数および該24Hzフレーム周波数に対応するオーディオ信号スピードに基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を一緒に再生するために好適であり、当該装置は前記オーディオおよびビデオ・データのための処理手段を以下のように制御するコントローラを含んでいる：
・前記ビデオ信号が前記24Hzフレーム周波数に対応して呈示されるべきであれば、前記処理手段は、前記ビデオおよびオーディオ・データを共通の呈示のために前記24Hzフレーム周波数に対応して処理し；
・前記ビデオ信号が60Hzまたはほぼ60Hzのフィールド周波数に対応して呈示されるべきであれば、前記処理手段は、前記オーディオ・データを共通の呈示のために24Hzまたはほぼ24Hzのフレーム周波数に対応するスピードで処理し、前記処理手段は、前記ビデオ・データを共通の呈示のために3:2プルダウンを使って60Hzまたはほぼ60Hzのフィールド周波数に対応して処理し；
・前記ビデオ信号が50Hzまたはほぼ50Hzのフィールド周波数に対応して呈示されるべきであれば、前記処理手段が前記オーディオ・データおよび前記ビデオ・データを呈示のために処理するときに、オーディオ信号フレームを適応的に脱落させ、および／またはビデオ・フィールドまたはフレームを適応的に反復させ、該脱落および／または反復が前記ビデオおよびオーディオ信号の現在のコンテンツに依存し、脱落または反復がそれぞれより顕著な信号が、前記ビデオおよびオーディオ信号の間の同期を共通の呈示のために制御するようにする。

本発明の有利なさらなる実施形態は、個別の従属請求項において開示される。

本発明の例示的な実施形態について、付属の図面を参照しつつ述べる。

図５は、本発明の24pディスク２４ｐＤＶＤ３２ＦＬＡＶＦＬが挿入された本発明のディスク・プレーヤーＤＶＤＰＩを示している。該ディスクは3:2プルダウンのフラグとともにa-dフラグおよびv-rフラグも含んでおり、これについては後述する。プレーヤーは、接続されたいかなるテレビ受信機またはディスプレイ上でも、可能な最良の呈示モードに従って、50i、60iまたは24pのAVを出力する。この24pディスクのコンテンツは、旧型のテレビＯＬＤＦでは50iとして、現在生産されているテレビＣＵＲではユーザーの選択に従って50iまたは60iとして、および現代的なテレビＭＯＤでは24pとして呈示される。

適応的なA脱落およびV反復についての以下の記述は、三つの関係した節を含む。節Ａは、24pフォーマットのコンテンツを連続的に50iフォーマットで呈示する理論的な原理および背景について述べる。節Ｂは、たとえばディスク上に配置され、本発明の50i呈示のために必要とされる、上述した追加的な情報またはデータ項目について述べる。節Ｃは、MPEG-2、MPEG-4およびVC-1のようないくつかの既知の型のビデオ・ストリームの保存について、若干のより詳細な要件について述べる。

Ａ）24pフォーマットのコンテンツを連続的に50iフォーマットで呈示する理論的な原理および背景
何らビデオ／オーディオ・スピード変換を実行せず24pを50iのディスプレイで再生すると、オーディオとビデオの間の同期が失われることになる。というのも、ビデオ再生は、48i（24p）ではなく50i（25p）として実現される、すなわち元来のスピードより4.2%速いが、オーディオ再生は元来のスピードで行われるからである。

図６ないし図８は、何が起こるかを時間軸に沿って示している。図７および図８におけるビデオ呈示の鋸歯は、呈示される各フィールドまたはフレームは実際のシーンの時間の一点である、すなわち1/24秒ごとのスチール映像であるという事実の結果である。しかし、オーディオ・データは時間連続な表現関数である。単一のオーディオ・フレームは連続的なオーディオを含んでいる、すなわち単に時間軸上の単一の点ではないのである。図６のａは、逐次のフレームｆ０ないしｆ２５をもつ元の24pフォーマットの呈示を記載している。図６のｂは、50iのディスクの50iのテレビでの既知のDVDビデオ呈示を示している。ここで、たとえば「t0」は「フレーム０の上（top）フィールド」を意味し、「b0」は「フレーム０の下（bottom）フィールド」を意味する。これによると、平均的なビデオ呈示スピードは元来のスピードより4.2%速い。図６ｃは、24:1のフィールド・プルダウンを示している。すなわち、元の24pストリームの24番目ごとのフィールドが反復されて、平均的なビデオ呈示スピードが元来のスピードに等しくなる。

図７は、映画時間t_movieの軸を実時間t_realの軸に対して示している。テレビの正面にある実際の呈示ハードウェア時計が実時間を指示するのに対し、ビデオ・データそのものの中のクロック（すなわち記録された時計）は映画時間を表す。図中の段は、ビデオ・フィールドの実呈示時間（実時間）と呈示されているシーンにおいて表されている時間（映画時間）との間の関係を示している。人間の目が遅いため、鋸歯の呈示はなめらかなビデオとして見える。すなわち、人間の目は、がたつきのない線形でなめらかなビデオ呈示を知覚するのである。いずれにせよ、オーディオは前記スピード（元来のスピードまたは4.2%速いスピードのいずれでも）とは独立して連続的に呈示される。したがって、オーディオ時間関数は直線で表されている。単純化のため、図７ｂおよび図７ｃでは、諸関数の特別な呈示が導入されていて、上の諸関数から関数t_real(t_movie)＝t_movieを引いたものを示している。この種の図では、水平線が、元来のスピードと比べて遅れも進みも全くない理想的な関数を意味する。増加関数は、元来のスピードに比べて映画のより速い呈示を表す。減少関数は、元来のスピードに比べて映画のより遅い呈示を表す。

図８は、ビデオおよびオーディオについて、その種の図呈示のみを使っている。諸呈示関数の垂直線はビデオ呈示の実際の継続時間を表すのではなく、最後に呈示されたビデオ片（time＝t₀）と次に呈示されたビデオ片（time＝t₁＞t₀）との間のつながりを示すのみである。図８のａは、映画呈示の映画館版、すなわち元来のスピードでの呈示を示している。この元来版でさえ、鋸歯が存在する。呈示されるフレームがいまだ1/24s周期の離散的な時間の一点だからである。

図８のｂに基づく呈示は、24pから50iフォーマットへの理想的な変換である。しかし、そのような変換は完全な形で実現可能ではなく、コンテンツ提供者にとって経済的でもない。というのも、要求されるコンピュータ・パワーおよび人間の操作者による追加的な作業が大きすぎるからである。

図８のｃは、元来のオーディオ・スピードより4.2%速いビデオ再生を描いており、オーディオとビデオが同期を失うことを示している。

図８のｄは、現在のDVDビデオのディスクについての解決策、すなわちビデオおよび50iフォーマットでのオーディオの4.2%速い再生を描いている。そのようなAVストリームのオーサリングは、オーサリングの間に、元のオーディオ・ストリームの、4.2%速いオーディオ・ストリームへの変換をすでに実行している。したがって、オーディオとビデオはよく同期されているが、そのようなディスクは、非標準的なオーディオ・スピードのため、現在利用可能な外部オーディオ・デコーダでは、元来のオーディオおよびビデオ・スピードで再生可能ではない。

図８のｅは、4.2%速いスピードのビデオ出力を示しているが、呈示されるオーディオ・フレームは元来のスピードである。いくつかのオーディオ・フレームを脱落させることにより、通常スピードのオーディオがより速いスピードのビデオ呈示と同期される。これはEP04006792.8に記載されている。

図８のｆはその逆である。いくつかのビデオ・フィールドが24:1のプルダウンで反復されて、ビデオ呈示が元来のスピードまで遅くされる。これにより、オーディオは元来のスピードでエンコードおよび再生される。これはPCT/EP2004/012483およびEP04300722.8に記載される。

図８のｇは、図８のｅおよびｆの処理の組み合わせを使っており、本発明の処理を説明している――いくつかのオーディオ・フレームが脱落させられ、いくつかのビデオ・フィールドが反復される。結果として得られる平均的な呈示スピードは、元来のスピードと4.2%速いスピードとの間のどこかになるよう制御されうる。

特別なオーディオ脱落（a-d）およびビデオ反復（v-r）指標またはフラグがＡＶストリームに割り当てられる。好ましくは、コンテンツ提供者がこの情報をオーサリングの際にディスク上に入れる。すなわち、再生装置はそのようなフラグを計算する必要はなく、その場合、関係する必要なプレーヤー・ハードウェアまたはソフトウェアはより簡単かつより安価になる。

a-d指標およびv-r指標はフラグであることができる：
・各a-dフラグは単一のオーディオ・ストリーム（たとえばAC-3）またはいくつかのパラレルなオーディオ・ストリーム（たとえばLPCM、DTS、AC-3およびMPEG）の特別なオーディオ・フレームを指示し；
・各v-rフラグは、フィールド・エンコードされるビデオ・ストリームの場合には特別なビデオ・フィールドを、フレーム・エンコードされるビデオ・ストリームの場合には特別なビデオ・フレームを指示する。

再生装置のデコーダは、再生の際にこれらのフラグを使って、ビデオ・デバイスの4.2%速い50iでの再生を、元来のスピードのオーディオ・ストリームと同期させる。その同期は、適切なビデオ・フィールドまたはフレームを反復することによって、およびオーディオ・ストリームの適切なフレームまたは変換に関係したブロックを脱落させることによって実行される。a-dおよびv-rのフラグまたは指標は、ビデオ再生スピードの低下およびオーディオ再生スピードの上昇につながる。有利には、オーディオ・フレーム丸ごとの脱落により、オーディオ・ピッチが保たれる。すなわち、ピッチ変換が必要でなくなる。有利なことに、MPEG、AC-3およびDTSのよう大半のストリーム・フォーマットでは、関係したビデオ・フィールド／フレームおよびオーディオ・フレーム／ブロックは簡単な方法で同定できる。したがって、これらのフィールド／フレーム／ブロックを検出するために追加的なデコードまたはエンコード処理や追加的なライセンスが必要とされることはない。

実際上は、ビデオ・ストリーム再生スピードVvは、50iから48iのより近くに低下させられ（48i≦Vv≦50i）、オーディオ・ストリーム再生スピードVaは48iから50iのより近くに上げられ（48i≦Va≦50i）、結果として平均的にVvはVaに等しくなる（ただし、再生の始まりと終わりに可能性として小さな時間ギャップが生じうる）。VaおよびVvはAVストリーム内で変動しうる（頻繁に変動するであろう）。換言すれば、24pのAVストリームの50iのテレビまたはディスプレイ／スピーカーでの結果的な平均再生スピードは48iと50iの間のどこかにある。すなわち、平均再生スピードは0%ないし4.2%、上げられる。局所的には、短い時間期間の間、ビデオまたはオーディオ・スピードが48iより遅くなったり、50iより速くなったりすることもありうる。

反復するのに最も適切なビデオ・フィールド／フレームおよび脱落させるのに最も適切なオーディオ・フレームは、次のようにして見出せる：
・好ましくは、オーサリング・ツールは、映像コンテンツに小さな動きスピードしか含まないビデオ・フィールドまたはフレームを、反復（v-rフラグ）のために選択する。そのようなシーンではビデオ・フィールドまたはフレームの反復はほとんど、あるいは全く目につかないからである。
・好ましくは、オーサリング・ツールは、シーンの終わりの、または新しいシーンの始めの、または暗いシーンの、たとえばシーンの切れ目の繰り返される黒い画面の間のビデオ・フィールドまたはフレームを、反復（v-rフラグ）のために選択する。
・好ましくは、オーサリング・ツールは、より少ない調和オーディオを含む、低い音量を含む、唇と同期した部分を含まない、および／またはノイズ様のオーディオ期間を含むオーディオ・フレームを、脱落（a-dフラグ）のために選択する。そのようなシーンでは、オーディオ・フレーム／ブロックの脱落はほとんど、あるいは全く知覚できないからである。

四種類のシーンが存在する：
・ビデオ・フィールド／フレーム反復およびオーディオ・フレーム脱落に好適なシーン（VAS）；
・ビデオ・フィールド／フレーム反復には好適だがオーディオ・フレーム脱落には好適でないシーン（VaS）；
・ビデオ・フィールド／フレーム反復には好適でないがオーディオ・フレーム脱落に好適なシーン（vAS）；
・ビデオ・フィールド／フレーム反復にもオーディオ・フレーム脱落にも好適でないシーン（vaS）。

多くのシーンは厳密な同期は必要としない。たとえば、背景音楽のある風景のビデオがそうである。そのようなシーンでは、オーディオと同期を取るために（すなわち、ビデオは50iだがオーディオは48i）、二つのシーンの切れ目がいくつかの黒いビデオ・フレームを反復してもよい。さらに、大半のシーンはVAS、VaSまたはvASの型である。
・シーンの切れ目も同期のために使用できる。
・好ましくは、VASシーンについては、オーディオ・フレーム脱落およびビデオ・フィールド／フレーム反復は均一に使用される。その結果、オーディオ＆ビデオは約49iとなる。
・VaSシーンについては、ビデオ・フィールド／フレーム反復が好ましく、その結果、オーディオ＆ビデオは約48iとなる。
・vASシーンについては、オーディオ・フレーム脱落が好ましく、その結果、オーディオ＆ビデオは約50iとなる。
・vaSのケースは比較的まれに生起する。たとえば、バイオリンのようなハーモニックな音楽を伴う唇に同期したシーンがそうである。したがって、そのようなシーンでは、ビデオ・フィールド／フレーム反復およびオーディオ・フレーム脱落は適用されない。
・好ましくは、オーサリング・ツールは、異なるシーン種別、たとえばVaS、vaS、vASのシーケンスの面倒を見る。きわどい（critical）シーンでのわずらわしいがたつきやオーディオ脱落を軽減または回避するために、きわどいシーン（vaS）に隣接するそれほどきわどくないシーン（VAS、VaS、vAS）が使われる。たとえば、オーサリング・ツールが、vaSシーンの前でのビデオ再生の時間進みと、該vaSシーンの終わりでのオーディオ再生の時間進みを提供する。これは可能な限りビデオのがくつきおよびオーディオの口ごもりを軽減する。きわどいvaSシーンの間のシーンの切れ目も、該きわどいシーンの間のv-rフラグおよびa-dフラグの必要性を軽減または解消するために使用されるべきである。

必要なビデオ・フィールド／フレーム反復フラグおよびオーディオ・フレーム脱落フラグは、可能な限り頻繁にシーンの切れ目に置かれるべきであり、vaSシーンに置かれるのは可能な限り少なくするべきである。

非常にきわどいシーン部分がある場合、そのような特別なAVストリーム部分については、異なるAVストリーム片が使用されてもよい。たとえば、50i呈示および24p/60i呈示について、異なる（DVDビデオの呼び方では）プログラム・チェーンが使用されてもよい。非常にきわどいシーンについては、これらのプログラム・チェーンは、媒体上に記憶されているそれぞれ独自の別個のAVストリーム部分を使用する。図２２に一例が示される。上の水平な矢印は、AVストリームのどの部分が24pまたは60iの再生のために使用されるかを示している。その下の水平な矢印は、AVストリームのどの部分が50iの再生のために使用されるかを示している。これらの矢印の下の長方形の領域は、ディスクに記録されている形のAVストリーム・データ、たとえばDVDビデオVOBファイルの連続するセクタを示す。DVDビデオでは、そのような異なる呈示はプログラム・チェーンによって容易にされる。すなわち、DVDビデオにおけるマルチアングル呈示と同様である。AVストリームの主要なパーティションは、24p、60iおよび50iでの再生のために共通に使用される。共通部分のAVストリーム項目に対して、特異的な24p/60iのAVストリーム項目および特異的な50iのAVストリーム項目が取り付けられる。24p/60i再生のためには、共通AVストリーム部分および特異的な24p/60iのAVストリーム項目が再生されるのに対し、50i再生のためには、共通AVストリーム部分および特異的な50iのAVストリーム項目が再生される。そのような目的のため、ナビゲーション情報または高レベル情報（たとえばDVDビデオの.IFOファイル）がこの特徴を扱うよう適応される。そのような解決策は、あらゆる利用可能なテレビまたはディスプレイ／モニタ／オーディオ設備装置について最大限の柔軟性を提供する。したがって、記憶媒体上で追加的に要求されるメモリ容量が最小という観点で最大の呈示品質が提供される。

Ｂ）3:2プルダウン、a-dフラグおよびv-rフラグをどこに、どのように保存すべきか
いくつかの可能な場所がある。好ましい場所はAVストリームそのものの中である。すなわち、フラグが、MPEGビデオ・ストリームで3:2プルダウン・フラグについてすでに使われているように、当該AVストリームの一部となるのである。特別な用途については、AVストリームの外の場所を適用することも有用でありうる。そのような特別な用途は、特別なプレーヤー装置でありうる。該特別なプレーヤーは順次走査ソースの24pビデオに基づく既知の3:2プルダウン60iのDVDビデオを再生するのに、該60iのDVDビデオのディスクのためのa-dフラグおよびv-rフラグの位置情報を含む追加的な外部情報データブロックを適用し、それにより該AVストリームを50i装置のために変換する。この情報データブロックは、特別なプロバイダーからインターネット経由で配送されてもよい。

図９は、適切なa-dフラグおよびv-rフラグの生成のために評価することのできるビデオおよびオーディオ信号特性をもつ24pのAVレコード部分の例示的なオーサリングを示している。

図９のａは、ビデオ・シーケンス中の動きの度合い、たとえばカメラ・パン、ほとんど動きなしおよび速い背景の動きと、いくつかのシーンの切れ目とを示している。カメラ・パンは強い動き、すなわち度合いの高い動きを生成する。強い動きの間、ビデオ・フィールド／フレーム反復は可能なら回避すべきである。背景だけが強く動いている場合も動きの度合いは高い。

図９のｂは、示されたビデオ信号とそれに割り当てられたオーディオ信号との間の相関の度合いを示している。オーディオ信号はドアが閉じる音および人物の発話を含んでおり、これはいずれも強い相関を表す。この場合、オーディオとビデオは可能な限り同期を保たせるべきである。

図９のｃは、オーディオのハーモニック・レベルの度合いを示している。高い度合いのハーモニック・レベルを表す、バイオリンが背景音楽として含まれている。そのようなシーンではオーディオ脱落は避けるべきである。図９のａないしｃで言及した特性、すなわちそのＡＶコンテンツの特別な属性は、人間の操作者によって生成されることもできるし、自動画像解析ソフトウェアによって生成されることもできる。

図９のｄは、50iのテレビについての結果的なAV呈示を示している。現実のビデオ関数の鋸歯は、図面を簡単にするため、なめらかな関数で置き換えてある。それにより、この簡略化されたビデオ関数は、関係するオーディオ関数と直接比較可能になる。

描かれているレコード時間全体の間、オーディオとビデオは完全に同期されてはいない。オーディオとビデオの同期を保つ必要がない部分は、音声およびビデオが最もよく見えるようにエンコードされる。同期を必要とする期間についてのみ、ビデオ・フィールド反復およびオーディオ・フレーム脱落が適用される。さらに、同期を保つため、および／または回復するために、シーンの切れ目および音が静かなシーンが利用される。オーサリング・ツールは、オーディオおよびビデオの所望の時間関数を得るために、適切なa-dフラグおよびv-rフラグを設定する。

a-dフラグおよびv-rフラグの対応する例示的な導出が図９に基づく図１０に示されている。図１０の下の部分は、図９のｄの時間関数を繰り返したものである。上の部分は、対応するa-dフラグおよびv-rフラグの位置を示す。

第一、第三、第四、第五および第六のシーンの切れ目では、二つ以上のフィールド（またはフレーム）が反復され、これはv-rフラグ関数における記号「◆」によって表されている。第一のシーンの切れ目から第三のシーンの切れ目までの間では、第一の部分では時間単位当たりのv-rフラグの割合はビデオ・スピードが48iに対応するようなものであるのに対し、第二の部分では、時間単位当たりのv-rフラグの割合はビデオ・スピードが49iに対応するようなものである。第四のシーンの切れ目から、および第六のシーンの切れ目の先では、時間単位当たりのv-rフラグの割合はビデオ・スピードが49iよりやや低い値に対応するようなものである。残りの部分、すなわちビデオ・シーケンスの「50i部分」では、v-rフラグはないか、あるいはv-rフラグは「0」に設定されている。

第一および第五のシーンの切れ目では、二つ以上のオーディオ・フレーム（またはブロック）が脱落させられ、これはa-dフラグ関数における記号「◆」によって表されている。第三のシーンの切れ目から第四のシーンの切れ目までの間では、ある第一の部分では時間単位当たりのa-dフラグの割合はオーディオ・スピードが50i超に対応するようなものである。第四のシーンの切れ目から第六のシーンの切れ目までの間では、時間単位当たりのa-dフラグの割合は、オーディオ・スピードは、第一の部分では48iをやや上回る値に、第二の部分では50iをやや上回る値に、第三の部分では48iに対応するようなものである。残りの部分、すなわちオーディオ信号の「48i部分」では、a-dフラグはないか、あるいはa-dフラグは「0」に設定されている。好ましくは、各a-dフラグはすべてのオーディオ・ストリームについて有効である（DTS、AC3、MPEG、…）。ただし、短い時間期間については、異なる構成の（differently arranged）a-dフラグがその他のオーディオ・ストリームについて使用されることも可能である。

AVストリームそのものがa-dフラグおよびv-rフラグのための位置として使われる場合、MPEGストリームにおけるuser_data()フィールドがこの目的のために使用できる。あるいは、MPEGストリーム・データの外だがそれでもAVストリーム内にある情報項目が適切なビデオ・フィールド／フレームおよびオーディオ・フレームを指示する。たとえば、DVDビデオのストリームのパック・ヘッダまたはナビゲーション・パックを拡張して、これらのパックが、該ナビゲーション・パックが属するビデオ・オブジェクト・ユニット（video object unit）VOBU全体の内部での適切なビデオ・フィールド／フレームおよびオーディオ・フレームの正確な位置を含むようにすることができる。対応する例は図１３および図１４に示される。

図１３は、DVDビデオのVOB構造と同様な構造を有するAVストリーム中でa-dフラグおよびv-rフラグを実装する実施例を記載している。左側には、ビデオ・デコードの解決策が示されているのに対し、右側にはオーディオ・デコードの解決策が示されている。VOBU全体のa-dフラグおよびv-rフラグはVOBUのヘッダ（ナビゲーション・パックNV_PCK）内に保存される。v-rフラグはビデオのフィールド番号またはフレーム番号のテーブルをなす。この番号がビデオ・デコーダの後処理部分に与えられる。ビデオ・フィールドまたはフレーム・カウンタが、デコードされたフィールド／フレームを数えて、v-rフラグの状態または存在によって指示されるようにフィールド／フレームの反復を制御する。これはハードウェア解決策であってもよいし、あるいはソフトウェア解決策およびハードウェア解決策の組み合わせであってもよい。

a-dフラグは、それぞれがこのVOBUのオーディオ・ストリーム全体の適切なフレーム／ブロック番号を指示するフレーム番号またはブロック番号のテーブルをなす。a-dフラグによって指示されるオーディオ・フレーム／ブロックが50i再生のために脱落させられることになる。脱落はオーディオ・デコーダ自身の中で実行されることもできるし、あるいは適切なオーディオ・フレーム／ブロックをスキップすることによってデコーダ入力ストリーム・デマルチプレクサの中で実行されることもできる。異なるフレーム構造をもついくつかのオーディオ・ストリームがある場合には（たとえば、LPCM、AC-3またはDTSを並列にデコードするとき）、二つ以上のa-dフラグ・テーブルが使用されることもできる。

図１４は、DVDビデオのVOB構造と同様の構造を有するAVストリーム中でa-dフラグおよびv-rフラグを実装するためのもう一つの解決策を記載している。VOBU全体のa-dフラグおよびv-rフラグはVOBUのヘッダ（ナビゲーション・パックNV_PCK）内に保存される。左側では、v-rフラグが、相対セクタ番号、バイト・アドレスおよびバイト値のテーブルをなす。そのような３つの値の各組が一つのv-rフラグを表す。相対セクタ番号はこのVOBU内でのセクタをアドレス指定する。バイト・アドレスはこのセクタ内での正確なバイトを指示する。50i出力の場合、このバイトが、v-rフラグのバイト値によって置換される。このバイトは、top_field_firstおよびrepeat_first_fieldのビットを適切にセットし、一方でまわりの他のビットは不変のままにされうる。結果として得られるビデオ・ストリーム片はビデオ・デコーダに送られる。バイト置換はビデオ・データをハードウェア・デコーダに送る前にソフトウェア・デマルチプレクサによって実行できるので、この解決策は、現行のMPEG-2デコーダ・ハードウェアの実装を著しく簡単にする。すなわち、現在利用可能なデコーダ・ハードウェアを使うことができるのである。よって、製造業者は、ハードウェアとして実装するかソフトウェア解決策として実装するかを問わない。この手順は、ナビゲーション・パックNV_PCK内の追加的なテーブルを用いて3:2のプルダウン・フラグを適用するためにも使える。それにより、ビデオ・ストリームにはプルダウン・フラグが全くなくなり、適切なプルダウン・フラグ（3:2のプルダウンまたはv-rフラグとして）は再生の際にリアルタイムで挿入されることになる。逆も可能である。すなわち、ストリームにすでに3:2プルダウン・フラグが挿入されていて、再生中にv-rフラグがこれらの3:2プルダウン・フラグを除去するのである。両者の混合も可能である。これは、選択された呈示モード50i、60iまたは24pとは独立して、VOBU当たりの必要とされるバイト置換の最大をできる限り低く保つことになる。有利には、これはプロセッサ要件を軽減する。すなわち、このモードのソフトウェア実装を簡単にする。

代替として、ビデオ・ストリームについてのバイト置換は、特別なビットが同じバイト内に位置していない場合、代わりに語置換であってもよい。

右側では、a-dフラグが、相対セクタ番号および相対フレーム／ブロック番号のテーブルをなす。一つのa-dフラグは、一つの相対セクタ番号と一つの相対フレーム番号からなる。相対セクタ番号は、このVOBU内での適切なセクタを指示し、相対フレーム番号はこのセクタ内で始まる当該フレームの相対番号である。このアドレス指定されるオーディオ・フレームが脱落させられる。脱落はオーディオ・デコーダ自身の中で実行されることもできるし、あるいは適切なオーディオ・フレーム／ブロックをスキップすることによってデコーダ入力ストリーム・デマルチプレクサの中で実行されることもできる。異なるフレーム構造をもついくつかのオーディオ・ストリームがある場合には（たとえば、LPCM、AC-3またはDTSが同じディスクに並列に保存されるとき）、二つ以上のa-dフラグ・テーブルが使用されることもできる。

図１３および図１４に記載されたオーディオ・ストリームおよびビデオ・ストリームを扱う例は変更できる。a-dフラグおよびv-rフラグまたはデータ項目をマークする最善の方法は、好ましくは、オーディオ・デコーダおよびビデオ・デコーダの選択された実現に依存する。たとえば、ビデオ・デコーダが既知のMPEG-2ビデオ・デコーダであれば、入力ストリーム・デマルチプレクサは単なるMPEG-2ビデオ・ストリームをそのハードウェア・デコーダに届ける。該デコーダは何ら追加的なレジスタ設定は必要ない。他方、特別なレジスタ設定（たとえば、ignore_3_2pull_down_flags〔3:2プルダウン・フラグを無視〕またはuse_a_d_and_v_r_flags_instead_of_3_2pull_down_flags〔3:2プルダウン・フラグの代わりにa-dフラグおよびv-rフラグを使用〕）を扱えるMPEG-2デコーダなら、入力ストリーム・デマルチプレクサのタスクが簡単になる。

有利には、そのような拡張されたナビゲーション・パックは、のちに説明するように、このビデオ片、たとえばVOBUの最初の時刻においてオーディオ・ストリームとビデオ・ストリームとの間の意図されるt_movie軸のオフセット距離をも含むべきである（図１３および図１４には示さず）。それは、タイトル・チャプターへ、アングル・スイッチへ（マルチアングルの場合）、トリック・モードへ（たとえばいくつかのトムソンDVDプレーヤーによって提供される、オーディオのある早送り）あるいは早送りトリック・モードの直後の再生態様への直接ジャンプを処理するために必要である。それにより、DVDビデオの.IFOファイル定義に何の特別な適応も必要でない。

実際の連続的な再生同期は、プレーヤーまたはレコーダー装置の多重化解除部（demux）によって制御される。このdemux部はAVストリームを読む、すなわち：
・たとえば上述したような拡張されたナビゲーション・パックを読むことにより、オーディオとビデオ呈示の間の開始時間オフセットを認識し；
・ビデオ・データ部分を読み；
・顧慮されるべきオフセットがない場合、あるいはオフセットがオーディオ呈示についての遅れた開始を指示している場合、ビデオ呈示を開始し；
・オーディオ・データ部分を読み；
・顧慮されるべきオフセットがない場合、あるいはオフセットがビデオ呈示についての遅れた開始を指示している場合、オーディオ呈示を開始し；
・オフセット時間が経過したときに残りのストリーム（オーディオまたはビデオ）を開始する。この時点で、呈示はオーサリングによって意図されているとおりになる。すなわち、この時点において上記の同期（「実際の同期」）が実行される。

AVストリームのデコードのはじめにおける追加的な同期ステップは、図１１および図１２にも描かれている。図１１は、ストリームの記録順（オーサリングの際の）と再生順との間の違いを示している。記録順はt_movie方向であるのに対し、再生順はt_real順である。したがって、DVDビデオのディスクの各VOBUは、約0.5秒をカバーする、二つの記録時間線の間の完全なビデオおよびオーディオ・ストリーム・データを含む
図１１のｂは、t_movie‐t_real図への変換が示されている。AVストリームの再生順はやはりt_real方向であるが、AVストリーム記録時間線の方向は右に（すなわち時計回りに）45度回転される。図１１のａにおいてオーディオおよびビデオ・ストリームが互いに接近している限り、問題はない。すなわち、オーディオとビデオの交点、そして記録時間線と再生時間線の交点が常に存在する。しかし、オーディオおよびビデオの関数の間の距離が大きくなると、図１２に描かれるように、記録時間線と再生時間線の間に、オーディオとビデオについての共通の交点はない。

図１２の例は、図９のｄの左側よりも詳細に、24pのAVストリームを50iのAVストリームとして再生し、それによりa-dフラグおよびv-rフラグを適用するときの時間的な関係を示している。AVストリームの24p呈示のためには、記録順と再生順は互いに接近しており（図示せず）、再生は容易に実行される。しかし、24pのAVストリームがa-dフラグおよびv-rフラグを適用することによって50iのテレビのために再生される場合、オーディオ呈示とビデオ呈示は、図に示されるように、その非常に接近したタイミングを去る。この例では、再生時間の線が記録時間の線と交差するのは、オーディオ・ストリームについてはある点SRPAにおいてである。しかし、ビデオ・ストリームは異なる点：SRV（記録時間線）およびSPV（再生時間線）において交差される。したがって、装置が再生時間線において（すなわち、チャプターへの直接ジャンプ後に）呈示を開始する必要がある場合には、特別な対応が必要になる。というのも、装置はAVストリームを記録時間線に従って見出すであろうからである。すなわち、適切な50iに従う呈示を実行するためには、装置はまず、a-dフラグおよびv-rフラグによって意図されているt_movie軸上での所望の時間的距離を得るためにオーディオ・ストリームおよびビデオ・ストリームを同期させる必要があるのである。この初期同期に続いて、（a-dフラグおよびv-rフラグを適用することによる）50iでの再生が連続的に実行されることができる。その様子が図１０の下部に示されている。

換言すれば、図１１および図１２は、同期された呈示を準備するための初期プロセスを説明しており、このあとに連続的な（かつ長続きする）呈示が続く。

図１２では、demuxはAVストリーム中のどこかに、たとえばDVDビデオのタイトル・セットのある特定のVOBUにジャンプする。この例では、記録されたAVストリームの入口点は、記録時間線に従って始まるAVストリーム・データを含む。すなわち、AVストリームが再生時間線（すなわち点SPVおよびSRPA）において始まることが好ましいであろう。しかし、残念ながらAVストリームは、ストリーム記録線（すなわち点SRVおよびSRPA）に従ったAVデータで始まる。したがって、装置は、SRVとSPVの間の最初の数ビデオ・フィールドを脱落させなければならない。これらのビデオ・フィールドの脱落に続いて、適切な50i呈示がSPVおよびSPRAにおいて始まる。上述したように、入口点が、t_movie軸上でのビデオ・ストリームとオーディオ・ストリームの間の所望の距離を得るために最初の数オーディオ・フレームの初期脱落につながることもありうる。

「記録順」とは、記録されるオーディオ・フレームおよびビデオ・フィールド／フレームの呈示時間上での順序に基づいていることを意味する。あるストリーム種別の内部構造が呈示順とは異なるデータを組織化する場合、本発明の開示の定義および図面は、そのコンテンツの呈示時間に関係する。たとえば、BフレームをもつMPEG-2ビデオのストリームのストリーム・データ・バイト順（デコード順）（I₀,P₁,B₂,B₃,P₄,B₅,B₆,...）は呈示順（I₀, B₂,B₃,P₁,B₅,B₆,P₄,...）とは異なる。したがって、諸図面におけるビデオ・ストリーム・タイミングは呈示時間に対応する。すなわち、図１２におけるタイミングは、デコードされるAVストリーム・データに基づくのであって、エンコードされるAVストリーム・データに基づくのではない。

図２１では、ディスクのデコードされたデータ（たとえば、オーディオ・バッファ内のPCMオーディオ値およびフレーム・バッファ内のビデオ・フィールド／フレーム）と比較してのビデオおよびオーディオの呈示が示されている。この図は、ビデオ／オーディオ呈示の３つの型24p、50iおよび60iに依存するさまざまな反復および脱落動作に起因して必要とされる再生制御を理解するための役に立つ。図２１のａは、デコードされたビデオに関係しており、図２１のｂはデコードされたオーディオ・ストリームに関係している。網掛けまたは灰色の部分は、多重化されたAVストリーム片、たとえば約1秒の呈示を表すAVデータ（たとえばDVDビデオのVOBU二つ）の、デコードされた正味のビデオまたは正味のオーディオ・ストリーム部分の例を示している。網掛けまたは灰色の部分の内部の矢印は、デコードされたストリームのどの部分が再生され、どの部分が反復され、どの部分が脱落させられるかを記述している。これらの矢印は、再生モードに、すなわち24p、50iまたは60iの呈示に依存する。60iのビデオ再生矢印については、均一に分担されたビデオ・フィールド反復によって、3:2のプルダウンがよく見える（真のAVストリームは別の順、たとえばMPEG-2についてなら再生順のI、B、B、PでなくI、P、B、B順にエンコードされることもありえ、したがって灰色のビデオ・ストリーム部分は、そのディスクの真のエンコードされたビデオ・データを記述するのではなく、デコードされたフレーム／フィールドを記述する）。現在のビデオおよびオーディオ内容に依存しての特別なビデオ・フィールド反復および特別なオーディオ・フレーム脱落が50iでの再生を実現する。24pの再生は、オーディオおよびビデオをそのまま、すなわちビデオ・フィールド／フレーム反復もオーディオ・フレーム脱落もなしに再生することを意味する。

代替として、意図された50i呈示のはじめにオーディオおよびビデオを同期させるために、上記以外の処理が使われることもできる。たとえばAVストリーム内において、先行するストリーム種別（オーディオまたはビデオ）のためのより早い入口点を示す追加的情報が利用可能であることができる。他方のストリーム種別はミュートされ、無音のオーディオまたは黒い画面となる。これはいくつかの種類のシーンについては受容可能であってもおかしくない。たとえば、シーンの切れ目で始まるシーンである。よって、ジャンプ後、たとえばチャプターまたは異なる視点アングルへのジャンプ後、早送りモード後の再生モードへの変化後などの再生の、まさにはじめの時刻における一時停止が軽減されうる。これは、よりなめらかでより消費者に便利な再生挙動につながる。

AVストリーム全体のはじめの部分でさえ、50iでの呈示のために、オーディオとビデオのストリームのタイミングの間にt_movie軸の時間距離をもって始まることができる。

また、黒いビデオ・フィールドまたはフレームの反復を指示するために特別なインジケータが使用されることができる。もともと黒いビデオ・フィールドまたはフレームが存在していなくてもよい。demuxまたはビデオ・デコーダが人工的な黒い画面をビデオ呈示の途中に挿入する。それは、特にシーンの切れ目では理にかなったことである。もともとの24pのビデオ・ストリームがフィールド位置Xにおいて黒い画面を含んでいない場合、demuxまたはビデオ・デコーダはそれぞれ、50iでの再生の間に、もし適切なフラグによって50i出力のために要求されれば、人工的な黒い画面を挿入する。黒い画面は簡単な方法で生成できるので、この実施形態は最小限の実装努力（ソフトウェアの変更はあるがハードウェア変更はなし）しか必要とせず、追加的なプレーヤー・パフォーマンスは必要とされず、むしろより少なくてすむことさえある。

非常にきわどいシーン（たとえば長続きするvaSシーン）については、二種類のオーディオ・ストリームが利用可能にされることができる。すなわち、生成されるべき出力24p、50iまたは60iに依存してプレーヤーが適切なオーディオ・ストリームに切り換えるのである。そのようなシーンは非常にまれにしか起こらないであろうから、ディスク上で必要とされる追加的な記憶容量は受容可能である。この特徴は、消費者に対して非常に心地よい再生を提供する。

上述したように、AVストリーム内の3:2プルダウン・フラグを、ビデオ・フィールド／フレーム反復を提供するために使うことができる。この場合、再生中にどの3:2プルダウン・フラグが適用され、どれが無視されるかをデコーダが知らされるようにビデオ・デコーダを制御するための追加的な情報が必要である。そのような種類の情報項目は、たとえばDVDストリームのナビゲーション・パックまたは他のAVストリーム内の適切な位置に保存されうる。

すべてのMPEGビデオ・デコーダが、50iでの再生中に3:2プルダウン・フラグを無視できるわけではないので、3:2プルダウン・フラグは、実際のMPEGストリームの外だがそれでもAVストリーム内であるところに保存されることができる。たとえば、DVDビデオ規格で使われているナビゲーション・パック内に、またはパック・ヘッダ内にである。これらの情報項目は、デコーダがどのビデオ・フィールド／フレームが反復される必要があり、どれがそうでないかを自動的に知るように保存されうる。demuxがこの情報をMPEGデコーダに、たとえば何らかのハードウェア・レジスタを設定することによって提供する。純粋なMPEGストリームはいかなる3:2プルダウン・フラグもv-rフラグも含まない。そのような解決策は、ビデオ・デコーダのためのハードウェア要件を軽減しうるが、再生中のdemuxによるより多くの動作を要求する。

あるさらなる実施形態によれば、50i（60i）呈示はAVストリームのネイティブな記録である。すなわち、フラグは、AVストリームを60i（50i）呈示に、あるいは24p呈示にでさえ適応させるのに使われるのである。この目的のため、いくつかのビデオ・フィールドが脱落させられ（v-dフラグ）、いくつかが反復され（v-rフラグ）てもよく、オーディオ・フレームが脱落させられ（a-dフラグ）または反復され（a-rフラグ）てもよい。これらのフラグは、上記のv-rフラグおよびa-dフラグと類似の仕方で使われる。好ましくは、再生中のわずらわしい櫛効果（comb effects）（24p）またはがたつき（60i/50i）を避けるために動き補償が適用される。

あるさらなる実施形態によれば、60iでコーディングされたAVストリームはインターレースされたビデオ・フィールド／フレームを含みうる。この場合、24pの再生は、順次走査ディスプレイ上での結果的な櫛アーチファクトを補償する動き補償が利用可能である場合にのみ有用である。

しかしながら、50i再生は次のことによって実施可能である：
ａ１）60iのビデオ・シーケンスをそのまま、すなわち20%速く再生するが、オーディオ・フレーム（a-rフラグで指示される）は適切に反復する,
ａ２）または、オーディオ・シーケンスはそのまま再生するが、時々二つの連続した、または2の倍数の連続したビデオ・フィールド（v-dフラグによって指示される）を脱落させる、
ｂ）時々いくつかのオーディオ・フレーム（a-rフラグによって指示される）を反復し、時々二つの連続した、または2の倍数の連続したビデオ・フィールド（v-dフラグによって指示される）を脱落させる。

さらに、以前のシーンが適切なa-rフラグおよびv-dフラグによってコードされうる。すなわち、この目的のために、いくつかのa-rフラグおよびv-dフラグが前のおよび／または後の順次走査シーンに移る。前のおよび／または後の順次走査シーンにおけるa-dフラグおよびv-rフラグの数の減少さえ、そのような効果につながる。

あるさらなる実施形態によれば、24p／60iでコードされたAVストリームは、字幕、たとえばDVDのサブピクチャーを含みうる。字幕は一般に話される言葉について使われるので、デフォルトとして、オーディオ呈示と同期されるべきである。しかし、時には字幕はビデオ内容に関係している。たとえば、字幕が表示された城の名前を記述する場合がそうである。したがって、字幕の対応する同期を示すための機構が存在すべきである。

一つの方法は、字幕がビデオまたはオーディオに、あるいはビデオとオーディオの平均タイミングにでもいいが、同期されるべきかどうかを指示することである。その解決策はいくぶん制約されるが、あらゆる場合のうち95%超において十分であろう。

もう一つの方法は、すでに記録されている字幕情報に特別な開始時刻および終了時刻、たとえば、開始時刻のための時間オフセットとDVDサブピクチャー・ユニットの継続時間を、しかるべきVOBUのNV_PCK内で指示することである。

第三の方法は、50i再生のための追加的な字幕ストリームを使用することである。すなわち、50iでの再生のためには、通常の24p/60i字幕ストリームの代わりにそのような字幕ストリームが使われるのである。たとえば、DVDについては、これは、正しいサブピクチャー・ユニットを選択する、50iのための別個のPGCを使うことによって実現できる。特別な用途のためには、オーディオ・ストリームのスピードをオーサリングの間に（たとえばピッチ変換によって）約2.1%上げることができる。24p/60i再生のためには、いくつかのオーディオ・フレームが反復され、50iの再生のためにはいくつかのオーディオ・フレームが脱落させられる。それは50i再生のための必要とされる同期プロセスを軽減する。しかし、この実施形態は、元の再生モード（24p）のスピードを上げる、すなわち24p/60iでの再生のために追加的な同期が必要とされる。平均して、同期は最小化される。欠点は、元の24p再生スピードを達成するのが非常に難しくなるということである。

VC-1コーディングの構造は、MPEGビデオのコーディングの構造に非常に似ているので、MPEGビデオに関する上記の陳述はVC-1についても有効である。ただ、VC-1における関係する諸フラグは異なる呼び方がされる。

脱落させるのに最も適するオーディオ・フレームをいかにして決めるかはEP04006792.8にも示されている。がたつきがかろうじて見える程度の、あるいは知覚できるがたつきがないことさえありうるような反復するのに最も適するビデオ・フィールド／フレームをいかにして決めるかは、PCT/EP2004/012483に示されている。EP04006792.8は、24:1プルダウンを使った24pコンテンツからの50i出力の簡単に実装できる方法を示している。本発明は、上記三つの出願の利点を巧妙な仕方で組み合わせるが、その主たる欠点は回避している。

本発明は、追加的特徴として現行のDVDプレーヤーに適用可能であるが、適切なa-dフラグおよびv-rフラグについての追加的情報を必要とする。そのような情報はインターネットからダウンロードできるし、あるいはDVDディスク上の別個のデータとして、既知のDVDビデオ準拠データとは切り離して添付されることもできる。本発明は、HD-DVDおよびブルーレイのような将来のディスク・フォーマットにも適用可能である。本発明のディスクは古い50iのテレビに対して完全に上位互換であり、24p互換のテレビに対して将来への互換性もある。古いテレビからHDTVテレビへの変化は著しく単純化される。24p互換のHDTVテレビを所有する、50i（または60i）の国の消費者は、元の再生スピードで映画を見ることができる。

Ｃ）いくつかの既知のビデオ・コーデックについての特別な制約
上述したように、ビデオ・フィールドおよびビデオ／オーディオ・フレームが必要に応じて反復または脱落させられるよう、既知のデコーダ外のコントローラが再生を制御することができる。すなわち、デコーダがスレーブ・モードで作動するのである。そのような装置の、特に50iでの再生のための呈示プロセスが図１３および図１７によって示されている。図１９は50i、60iおよび24pについての適切なビデオ呈示プロセスを示している。

図１７は、24pのAVストリームの50iでの呈示、特にフレームまたはフィールドのデコードに続くストリーム・データの制御のための流れ図を示している。これは、ビデオ・デコーダのビデオ出力を操作することによる50iでのビデオ出力についての一例である。この解決策は、図１３のビデオ部分に示されている処理に対応する。この解決策の欠点は、ビデオ・デコーダが出力のために追加的な制御を必要とすることである。しかし、有利なことに、そのような追加的な制御は、トリックプレイのために必要なため、現在利用可能なMPEG-2ビデオ・デコーダの大半（または全部）で実施可能である。

図１９は、24pビデオ・ストリームの24p、50iおよび60iでのビデオ呈示を表す流れ図である。これは図１３のビデオ部分に関係しており、50iとの関係では図１７に対応する。ストリームは3:2プルダウンのフラグを含んでいる。ネイティブまたはオリジナルの24p呈示のためには、3:2プルダウンのフラグは無視される。60iでの出力のためには3:2プルダウンのフラグは、ビデオ・ストリーム中にコードされているとおりに使用される。50iでの出力のためには、3:2プルダウンのフラグは無視され、代わりにそのビデオ・ストリーム片（たとえばVOBU）のフィールドについての追加的な情報項目（たとえばNV_PCK内の）が使用される。この情報項目は特別なビデオ・フィールド／フレームおよびそれらのフィールドについての反復数を指示する。追加的に、50iでの出力のためのオーディオおよびビデオのデコード・ストリーム間の初期オフセットが得られる。オーディオ・デコードそのものはこの図の一部ではない。

あるいはまた、意図された出力50i、60iまたは24pに従った再生の間、ストリームが操作されうる。そのようなビデオ呈示プロセスは上記の図１４との関連で図１８に示されている。

24pのAVストリームの50iでの呈示において、図１８はストリーム・データの、実際のビデオ・デコーダにデコードのために送られる前の制御を示している。すなわち、24pのビデオ・ストリームはデコードされる前に操作される。この解決策は、図１４のビデオ部分に示された発想に対応する。本図ではオーディオ・デコードも24pおよび60i出力も示されていない。この解決策の一つの欠点は、操作されたビデオ・ストリームでさえ、単一のビデオ・フィールドまたはビデオ・フレームを数回繰り返すために使われることはできないということである。その機能は、MPEGでもVC-1でもサポートされていない。したがって、ビデオ・でコード・プロセスに対する追加的な制御が必要とされることができる。

以下、三つのサブセクションで、このリアルタイムの操作を実行するためのビデオ・ストリームについての追加的な要件／制約について述べる。この種のストリームを60iとしてのほか50iとしても再生する機能を提供するために、実際のビデオ・ストリーム・データと組み合わされた（すなわち、まだAVストリーム内）追加的な情報項目が必要である。その目的のために、デコーダに、該デコーダ自身の型に依存した特別な制約が必要になる。MPEG-2、MPEG-4 AVCおよびSMPTE VC-1コーデックについての本質的な制約を記載する。追加的情報項目は、DVDビデオ・ストリーム（VOBファイル）におけるナビゲーション・パックのような特別な情報ブロックに配置されうる。

Ｃ．１）MPEG-2
有利には、24p、50iおよび60iのストリームは同じビット構造を有する。すなわち、これら３つの異なる呈示モードをコーディングするために必要とされるビットの量は、VC-1では異なるが、異なる必要がない。しかしながら、いくつかのフラグが異なる呈示モードについて異なる値を必要とする。これらの要請のため、以下の属性が24pの内容をもつすべてのMPEG-2ビデオ・ストリームについて要求される：
・sequence_extension()のフラグprogressive_sequenceは、現行のDVDビデオについてすでに規定されているように「0」にセットされる。
・picture_coding_extension()のprogressive_frameは24pコンテンツについては「1」にセットされる。progressive_frameが「0」にセットされるのは、真にインターレースされたソース素材についてのみである。
・picture_structureはフレーム映像を示すため「11」（二進形式）にセットされる。picture_structureが「10」または「01」にそれぞれセットされるのは、真にインターレースされたソース素材についてのみである。
・picture_coding_extension()iのrepeat_first_fieldが「0」にセットされる。24pコンテンツはプルダウンを必要としないからである。
・同じビデオ・ストリーム中のすべてのpicture_coding_extension()ブロックのすべてのtop_field_firstの値は同一、すなわち「0」または「1」である。
・デコードの間に、意図された再生、たとえば3:2プルダウンまたはv-rフラグによる可変プルダウンを強制するためにdemuxがストリーム中の適切なフラグを置換する。もう一つの代替は、適切な追加的レジスタによって制御される、すなわちレジスタを介してtop_field_firstおよびrepeat_first_fieldの設定を許容するより柔軟なデコーダである。

さらに、異なる再生スピード24p、50iおよび60iのため、タイムスタンプが適切に扱われなければならない。記録されているタイムスタンプが適切なのは、再生スピードの一つについてのみである。ストリーム中のすべてのタイムスタンプの再設定は膨大な作業であるため、よりよい解決策は、ビデオ・デコーダ・クロックを変更することである。最も適切な処理は、選択されたハードウェアに依存する。

パラメータframe_rateも変更することが有用でありうる。

これらのストリーム・データがビデオ・デコーダに送られる前、24p、50iまたは60iでの呈示のためのデコードの間に、top_field_firstおよびrepeat_first_fieldについての適切な再設定が実行される：
・50iでの呈示のためには、v-rフラグが対応するtop_field_firstおよびrepeat_first_field設定に翻訳される；
・60iでの呈示のためには、適切な3:2プルダウンが対応するtop_field_firstおよびrepeat_first_field設定に翻訳される；
・24pでの再生のためには、ビデオ・ストリームはその元々のフォーマットでデコーダに送られる（たとえば、常にrepeat_first_field＝0）。

図１５は、フラグ設定と結果として得られるビデオ出力のいくつかの組合せを示している。結果として得られる出力とは、すなわちフィールド（TまたはB）またはフレーム（Fr）が何回繰り返されるか、および上フィールド（T）および下フィールド（B）の出力順である。「T」は上（top）フィールドの呈示を、「B」は下（bottom）フィールドの呈示を、「Fr」はフレーム全体の呈示を示す。「T-B」は上フィールド‐下フィールドの呈示の順を示す。すなわち、「T-B」については上フィールドが先である。この表の一つのセル内で「T」「B」または「Fr」が二回以上現れたら、それはそれぞれ同一のフィールドまたはフレームの繰り返しを意味する。MPEG-2ビデオは、ビデオ・ストリーム中に特別なフラグを設定することによって3:2プルダウンを適用する。ビデオ・ソースがフレームに基づいていれば（24pの映画についてそうであるように）、設定５ないし８が適切に使用される。網掛けまたは灰色の背景の行を参照されたい。これらの設定は、v-rフラグについても使用されることができる。残念ながら、これらのフラグを、60i出力（3:2プルダウンによる）についてと同様50i出力についても同じビデオ・ストリーム中で提供することはできない。よって、これらのフラグを使用しうるのは、3:2プルダウンについて、v-rフラグについて、両者の混合について、あるいは全くなしすなわち何のフラグもなしである。

progressive_frameフラグがインターレースのソース、たとえばテレビ録画を示す場合、そのようなビデオ・ストリームは、本発明に従って種々のスピードで呈示されることはできない。そのようなコンテンツは、各呈示フォーマットについて別個にエンコードされる必要がある。それは、（インターレースされた）テレビ・コンテンツは通常、非常に限られた地域のみのために、すなわちたいていの場合、単一の国のために、放送または配信されるのに対し、販売されているビデオ・ディスクの主たる内容は世界のあらゆる部分で頒布されている24pソースの映画なので、受け容れられる。

Ｃ．２）MPEG-4 AVC
有利には、24p、50iおよび60iのストリームは同じビット構造を有する。すなわち、これら３つの異なる呈示モードをコーディングするために必要とされるビットの量は、VC-1では異なるが、異なる必要がない。残念ながら、各MPEGスライスはエンコードされる方法が異なりうる。したがって、各スライスについてのビットストリーム変化は必要とされうる。24pの内容についてのすべてのMPEG-4 AVCビデオ・ストリームについて、以下の属性が要求される：
・seq_parameter_set_rbsp()内のフラグvui_parameters_present_flagは「1」に設定される；
・VUI_parameters()内のフラグpic_struct_present_flagは「1」にセットされる；
・slice_header()内のフラグfield_pic_flagは「0」にセットされる；
・デコードの間に、意図された再生、たとえば3:2プルダウンまたはv-rフラグによる可変プルダウンを強制するためにdemuxがストリーム中の適切なフラグ（pic_timing(payloadSize)内のpic_struct）を置換する。もう一つの代替は、適切な追加的レジスタによって制御される、すなわちレジスタを介してtop_field_firstおよびrepeat_first_fieldの設定を許容するより柔軟なデコーダである。

さらに、異なる再生スピード24p、50iおよび60iのため、タイムスタンプが適切に扱われなければならない。記録されているタイムスタンプが適切なのは、再生スピードの一つについてのみである。ストリーム中のすべてのタイムスタンプの再設定は膨大な作業であるため、よりよい解決策は、ビデオ・デコーダ・クロックを変更することである。最も適切な処理は、選択されたハードウェアに依存する。

これらのストリーム・データがビデオ・デコーダに送られる前、24p、50iまたは60iでの呈示のためのデコードの間に、pic_structについての適切な再設定が実行される：
・50iでの呈示のためには、v-rフラグが対応するpic_struct設定に翻訳される；
・60iでの呈示のためには、適切な3:2プルダウンが対応するpic_struct設定に翻訳される；
・24pでの再生のためには、ビデオ・ストリームはその元々のフォーマットでデコーダに送られる。

ここでもまた、図１５が、フラグ設定と結果として得られるビデオ出力のいくつかの組合せを示す。結果として得られる出力とは、すなわちフィールド（TまたはB）またはフレーム（Fr）が何回繰り返されるか、および上フィールド（T）および下フィールド（B）の出力順である。

progressive_frameフラグがインターレースのソース（たとえばテレビ記録）を示す場合、そのようなビデオ・ストリームは、本発明によって種々のスピードで呈示されることはできない。すなわち、そのようなコンテンツは、50i、60iまたは24pでの呈示についてさえコードされる必要がある。

Ｃ．３）SMPTE VC-1
ストリーム内のいくつかのフラグの値に依存して、他のいくつかの（次の）フラグが現れたり現れなかったりする。たとえば、FCMフラグは、INTERLACEが「1」にセットされている場合にのみ現れる。すべての再生態様について完全な制御を得るためには、ストリームは、できる限り、関係するフラグが記録されたストリームに現れるようにコードされる。これらの要請のため、次の属性がすべてのVC-1ストリームについて定義される：
Advanced Profileのみが使用されねばならない。
・24pビデオ・ストリームはAdvanced ProfileについてはSequence層ビットストリームを含む；
・PULLDOWNフラグは「1」にセットされる。これはフラグTFFおよびRFFの出現を強制するために必要である。
・INTERLACEフラグは「1」にセットされねばならない。これは、フラグFCM、TFFおよびRFFの出現を強制するために必要である。
・デコーダは、FCMのような追加的フラグを無視することによってビデオ・ストリームをINTERLACE＝0として扱うように制御できる必要がある。これが必要なのは、通常、デコーダはFCMフラグを期待しないからである。したがって、そのような特殊モードなしでは、デコーダは混乱してしまう。それにもかかわらず、ストリームは常にINTERLACE＝1を示す。これは、適切なデコーダ・レジスタ設定によって実現できる。
・デコードの間に、意図された再生、たとえば3:2プルダウンまたはv-rフラグによる可変プルダウンを強制するためにdemuxがストリーム中の適切なフラグを置換する。もう一つの代替は、適切な追加的レジスタによって制御できる、すなわちレジスタを介してTFF、RFF、RPTFRMの設定を許容するより柔軟なデコーダである。

さらに、異なる再生スピード24p、50iおよび60iのため、タイムスタンプが適切に扱われなければならない。記録されているタイムスタンプが適切なのは、再生スピードの一つについてのみである。ストリーム中のすべてのタイムスタンプの再設定は膨大な作業であるため、よりよい解決策は、ビデオ・デコーダ・クロックを変更することである。最も適切な処理は、選択されたハードウェアに依存する。

デコードの間：
24pの再生については、デコーダは「INTERLACE＝0」モードにスイッチされる。すなわち、デコーダは、「INTERLACE＝1」の場合にのみ現れることが意図されているフラグの出現を期待する。しかし、24p再生のために、デコーダはそのようなフラグ、たとえばピクチャー層におけるFCMフラグをスキップする。

図１６は、フラグ設定と結果として得られるビデオ出力のいくつかの組合せを示している。結果として得られる出力とは、すなわちフィールド（TまたはB）またはフレーム（Fr）が何回繰り返されるか、および上フィールド（T）および下フィールド（B）の出力順である。「T」は上（top）フィールドの呈示を、「B」は下（bottom）フィールドの呈示を、「Fr」はフレーム全体の呈示を示す。「T-B」は上フィールド‐下フィールドの呈示の順を示す。すなわち、「T-B」については上フィールドが先である。この表の一つのセル内で「T」「B」または「Fr」が二回以上現れたら、それはそれぞれ同一のフィールドまたはフレームの繰り返しを意味する。

SMPTE VC-1ビデオは、ビデオ・ストリーム中に特別なフラグを設定することによって3:2プルダウンを適用する。ビデオ・ソースがフレームに基づいていれば（24pの映画についてそうであるように）、設定８ないし１１が適切に使用される。網掛けまたは灰色の背景の行を参照されたい。これらの設定は、v-rフラグについても使用されることができる。残念ながら、これらのフラグを、60i出力（3:2プルダウンによる）についてと同様50i出力についても同じビデオ・ストリーム中で提供することはできない。よって、これらのフラグを使用しうるのは、3:2プルダウンについて、v-rフラグについて、両者の混合について、あるいは全くなしすなわち何のフラグもなしである。

図２０は、デマルチプレクサDEMUXを含むディスク・プレーヤーまたは再生エンジンを示している。デマルチプレクサDEMUXは、AVデータストリームAVSTRを受信し、フレームまたはフィールドをデコードするためのビデオ・デコーダVDECにビデオ・ストリームVSTRを提供し、デコードされたオーディオ出力信号（decoded audio output signal or signals）DAOSを提供するオーディオ・デコーダADECにオーディオ・フレーム・コントロールAFCTRLを介してオーディオ・ストリームASTRを提供する。オーディオ・フレーム・コントロールAFCTRLは、外部のオーディオ・デコーダのためにデジタル・オーディオ出力AOを提供できる。ビデオ・デコーダVDECの出力信号はフィールドまたはフレーム・バッファFIFRBUFを通過して、デコードされたビデオ出力信号DVOSを提供する呈示コントロールPRESCTRLに行く。FIFRBUFはVDEC内に含められることもできる。サブピクチャー・デコーダは示していない（簡単のため）。このディスク・プレーヤーの動作は、図１９の流れ図の動作に従うことができる。再生コントロールPBCTRLは、ユーザーから、図示していないユーザーインターフェースを介して、必要なユーザー・アクセス情報UAIを取得して、ディスクについての一般的な情報項目GENDI（一般的な内容情報、たとえばDVDビデオのディスクのVIDEO_TS.IFO）およびナビゲーション情報項目NAVI（たとえばDVDビデオのディスクのNV_PCK）を、AVストリーム自身から、デマルチプレクサDEMUXを介して受け取る。プレーヤーへのディスプレイの属性についての情報源は示していない。必要とされるディスプレイ情報項目は、ユーザーによってUAIを介して、あるいは自動ディスプレイ認識を介してPBCTRLに入力されることができる。セットされたデコーダ・クロック信号SDCLKによって、再生コントロールPBCTRLは24p、50iまたは60iでの出力のためにデコーダ・クロックDCLKのクロックを制御する。これにより、ビデオ・ストリーム内のタイムスタンプは呈示コントロールPRESCTRL内で適切に扱われる。
再生コントロールPBCTRLはまた、50i呈示のために強制ビデオ反復コマンドVFREPによって呈示コントロールPRESCTRLにおけるフレームまたはフィールド反復を制御し、強制オーディオ・フレーム脱落コマンドAFREPによってオーディオ・フレーム・コントロールAFCTRLにおけるフレーム脱落を制御し、60i呈示のために3:2プルダウン・フラグ処理（pull-down flag handling）コマンドPDFHによってビデオ・デコーダVDECにおける3:2プルダウン処理を制御しもする。

種々のフォーマットのテレビでの既知の50iディスクのコンテンツの呈示を示す図である。 種々のフォーマットのテレビでの既知の60iディスクのコンテンツの呈示を示す図である。 種々のフォーマットのテレビでの既知の24pおよび3:2プルダウン・フラグのディスクのコンテンツの呈示を示す図である。 種々のフォーマットのテレビでの3:2プルダウン・フラグのない既知の24pおよびディスクのコンテンツの呈示を示す図である。 本発明の、3:2プルダウン・フラグ、A脱落フラグおよびV反復フラグを使った24pディスクのコンテンツの、種々のフォーマットのテレビでの呈示を示す図である。 既知の24p/50iフォーマットの呈示を示す図である。 呈示映画時間t_movieと実時間t_realの関係を示す図である。 元来のスピードと比べた、映画の呈示スピードの距離を示す図である。 適切なa-dフラグおよびv-rフラグを生成するために評価されることのできる、ビデオおよびオーディオ信号特性をもつ24pのAV記録部分の例示的なオーサリングを示す図である。 そのビデオ・シーケンスおよび関係したオーディオ信号に沿ってのa-dフラグおよびv-rフラグの例示的な分布を示す図である。 ストリームの記録順と再生順の違いを示す図である。 24pのAVストリームを50iのAVストリームとして再生するときのより詳細な時間的関係を示す図である。 DVDビデオのVOB構造と同様な構造を有するAVストリームにおけるa-dフラグおよびv-rフラグの配置を示す図である。 図１３とは異なる実装を示す図である。 MPEG-2およびMPEG-4 AVCについて、フラグ設定の組み合わせと結果的なビデオ出力、すなわちフィールドまたはフレームが何回反復されるかを示す図である。 VC-1について、フラグ設定の組み合わせと結果的なビデオ出力、すなわちフィールドまたはフレームが何回反復されるかを示す図である。 24pのAVストリームの50iの呈示のための流れ図である。 24pのAVストリームの50iの呈示のための流れ図であって、実際のビデオ・デコーダに送られる前のストリーム・データの制御を示す図である。 24pのビデオ・ストリームの24p、50iおよび60iでのビデオ呈示を表す流れ図である。 本発明のビデオ・ストリーム・プレーヤーを示す図である。 ビデオおよびオーディオの呈示を、ディスクのデコードされたデータと比較して示す図である。 非常にきわどいシーンについて、24p/60i固有または50i固有のプログラム・チェーンの再生を示す図である。

Claims (17)

1. ビデオ信号についての24Hzビデオ・フレーム周波数（24p）および該24Hzフレーム周波数に対応するオーディオ信号スピードに基づくオーディオ／ビデオ・データ（AVSTR）に関係するビデオ信号および一つまたは複数のオーディオ信号を一緒に再生するための方法であって：
   ・前記ビデオ信号が前記24Hzフレーム周波数に対応して呈示されるべきであれば、前記ビデオおよびオーディオ・データを共通の呈示（24p、DVOS、DAOS）のために前記24Hzフレーム周波数に対応して処理する（PBCTRL、DCLK、VDEC、PRESCTRL、AFCTRL、ADEC）段階と；
   ・前記ビデオ信号が60Hzまたはほぼ60Hzのフィールド周波数に対応して呈示されるべきであれば、前記オーディオ・データを共通の呈示（60i、DVOS、DAOS）のために24Hzまたはほぼ24Hzのフレーム周波数に対応するスピードで処理し（PBCTRL、AFCTRL、ADEC）、前記ビデオ・データを共通の呈示（60i、DVOS、DAOS）のために3:2プルダウンを使って60Hzまたはほぼ60Hzのフィールド周波数に対応して処理する段階と；
   ・前記ビデオ信号が50Hzまたはほぼ50Hzのフィールド周波数に対応して呈示されるべきであれば、前記オーディオ・データおよび前記ビデオ・データを呈示（50i）のために処理するときに、オーディオ信号フレームを適応的に脱落させ（PBCTRL、AFCTRL）、および／またはビデオ・フィールドまたはフレームを適応的に反復させる（PBCTRL、DCLK、PRESCTRL）段階であって、該脱落および／または反復が前記ビデオおよびオーディオ信号の現在のコンテンツに依存し、脱落または反復がそれぞれより顕著な信号が、前記ビデオおよびオーディオ信号の間の同期を共通の呈示（50i、DVOS、DAOS）のために制御するような段階、
   を特徴とする方法。
2. ビデオ信号についての24Hzビデオ・フレーム周波数（24p）および該24Hzフレーム周波数に対応するオーディオ信号スピードに基づくオーディオ／ビデオ・データ（AVSTR）に関係するビデオ信号および一つまたは複数のオーディオ信号を一緒に再生するための装置であって、当該装置はコントローラを含んでおり、該コントローラは、前記オーディオおよびビデオ・データのための処理手段（DCLK、VDEC、PRESCTRL、AFCTRL、ADEC）の制御を：
   ・前記ビデオ信号が前記24Hzフレーム周波数に対応して呈示されるべきであれば、前記処理手段は、前記ビデオおよびオーディオ・データを共通の呈示（24p、DVOS、DAOS）のために前記24Hzフレーム周波数に対応して処理し；
   ・前記ビデオ信号が60Hzまたはほぼ60Hzのフィールド周波数に対応して呈示されるべきであれば、前記処理手段は、前記オーディオ・データを共通の呈示のために24Hzまたはほぼ24Hzのフレーム周波数に対応するスピードで処理し、前記処理手段は、前記ビデオ・データを共通の呈示（60i、DVOS、DAOS）のために3:2プルダウンを使って60Hzまたはほぼ60Hzのフィールド周波数に対応して処理し；
   ・前記ビデオ信号が50Hzまたはほぼ50Hzのフィールド周波数に対応して呈示されるべきであれば、前記処理手段が前記オーディオ・データおよび前記ビデオ・データを呈示（50i）のために処理するときに、前記処理手段は、オーディオ信号フレームを適応的に脱落させ、および／またはビデオ・フィールドまたはフレームを適応的に反復させ、該脱落および／または反復は、脱落または反復がそれぞれより顕著な信号が前記ビデオおよびオーディオ信号の間の同期を共通の呈示（50i、DVOS、DAOS）のために制御するような形で、前記ビデオおよびオーディオ信号の現在のコンテンツに依存する、
   ように行う、装置。
3. 前記50Hzまたはほぼ50Hzのフィールド周波数に対応した呈示の場合、現在フィールド周波数が可変であり、平均フィールド周波数が48Hzないし50Hzの範囲にある、請求項１記載の方法または請求項２記載の装置。
4. 前記のビデオ・フィールドまたはフレームの反復が、映像内容に小さな動きスピードのみを含むフィールドもしくはフレームについて、あるいはシーンの終わりもしくは新しいシーンの始めもしくは暗いシーンの途中に位置するフィールドもしくはフレームについて実行され、
   前記のオーディオ・フレームの脱落が、少なめのハーモニー的オーディオを含むフレーム、低い音量を含むフレーム、唇同期部分を含まないフレームおよび／またはノイズ様のオーディオ期間を含むフレームについて実行される、
   請求項１もしくは３記載の方法または請求項２もしくは３記載の装置。
5. シーンの切れ目において、前記のビデオ・フィールドまたはフレームの反復の代わりに、一つまたは複数の黒または灰色のフィールドまたはフレームの挿入が実行される、請求項１、３もしくは４記載の方法または請求項２、３もしくは４記載の装置。
6. 前記のビデオ・フィールドまたはフレームの反復が、前記オーディオ／ビデオ・データ（AVSTR）に含まれるビデオ反復フラグ（v-r）を評価する（PBCTRL）ことによって制御され、
   および／または前記のオーディオ・フレームの脱落が、前記オーディオ／ビデオ・データ（AVSTR）に含まれるオーディオ脱落フラグ（a-d）を評価する（PBCTRL）ことによって制御される、
   請求項１記載の方法または請求項２記載の装置。
7. 特定のシーン部分について、前記24Hzのフレーム周波数または前記60Hzもしくはほぼ60Hzのフィールド周波数での呈示のために使われるべき対応するシーン部分の代わりに、前記オーディオ／ビデオ・データ（AVSTR）の前記50Hzもしくはほぼ50Hzのフィールド周波数での呈示のための対応する特定の部分が該呈示のために使われる、請求項１、３および６のうちいずれか一項記載の方法または請求項２、３および６のうちいずれか一項記載の装置。
8. 前記オーディオ信号のうち異なるオーディオ信号においては前記オーディオ・フレームのうち異なるオーディオ・フレームが脱落させられる、請求項１、３、４、５、６および７のうちいずれか一項記載の方法または請求項２、３、４、５、６および７のうちいずれか一項記載の装置。
9. 特定のオーディオ・フレームについて、前記24Hzのフレーム周波数または前記60Hzもしくはほぼ60Hzのフィールド周波数での呈示のために使われるべき対応するオーディオ・フレームの代わりに、前記オーディオ／ビデオ・データ（AVSTR）の前記50Hzもしくはほぼ50Hzのフィールド周波数での呈示のための対応する特定のオーディオ・フレームが該呈示のために使われる、請求項１、３、６、７および８のうちいずれか一項記載の方法または請求項２、３、６、７および８のうちいずれか一項記載の装置。
10. 前記50Hzもしくはほぼ50Hzのフィールド周波数での呈示のための前記特定の部分および／または前記特定のオーディオ・フレームが、対応するプロバイダーからインターネットを介してロードされる、請求項７ないし９のうちいずれか一項記載の方法または装置。
11. 前記オーディオ／ビデオ・データ（AVSTR）が記憶媒体上に記憶されており、前記ビデオ反復フラグ（v-r）が前記記憶媒体のセクタ番号または相対セクタ番号、バイト・アドレスおよびバイト値の表をなし、そのような３つの値の各組が一つのビデオ反復フラグを表現し、バイト・アドレスはセクタ内での正確なバイトを指示し、前記50Hzもしくはほぼ50Hzのフィールド周波数での呈示について、このバイトが対応するビデオ反復フラグのバイト値によって置き換えられる、請求項６ないし１０のうちいずれか一項記載の方法または装置。
12. 高速のビデオ／オーディオ同期のために必要であれば、オーディオおよびビデオ呈示の間の開始オフセットが、呈示の始めに、たとえば再生開始に際して特定のシーンへの直接ジャンプ後に、適用される、請求項１および３ないし１１のうちいずれか一項記載の方法または請求項２ないし１１のうちいずれか一項記載の装置。
13. 前記オーディオ／ビデオ・データ（AVSTR）が前記開始オフセットとして適用されるべき追加的な同期情報を含んでいる、請求項１２記載の方法または装置。
14. 前記オーディオ／ビデオ・データ（AVSTR）全体の50Hzまたはほぼ50Hzでの呈示の始めに、オーディオとビデオの間に基本的な開始オフセットが適用される、請求項１および３ないし１３のうちいずれか一項記載の方法または請求項２ないし１３のうちいずれか一項記載の装置。
15. 24Hzのビデオ・フレーム周波数（24p）をもつビデオ信号と、該24Hzのフレーム周波数に対応するオーディオ信号スピードをもつオーディオ信号の一つまたは複数とを表すオーディオ／ビデオ・データ（AVSTR）を生成またはコーディングする方法であって、前記ビデオ信号の50Hzまたはほぼ50Hzのフィールド周波数をもって前記オーディオおよびビデオ信号の同期された呈示を実行できるよう、前記オーディオ／ビデオ・データ（AVSTR）に、前記ビデオおよびオーディオ信号の呈示ユニットにおいてビデオ・フィールドまたはフレームの反復を制御するために使用できるビデオ反復フラグ（v-r）を含めることと、前記オーディオ／ビデオ・データ（AVSTR）に、前記呈示ユニットにおいてオーディオ信号フレームの脱落を制御するために使用できるオーディオ脱落フラグ（a-d）を含めることとを特徴とする方法。
16. 請求項１５記載の方法に基づいて生成またはコーディングされたオーディオ／ビデオ・データ（AVSTR）を含む、またはそのようなオーディオ／ビデオ・データ（AVSTR）が記録されている記憶媒体。
17. 請求項１５記載の方法に基づいて生成またはコーディングされたビデオ反復フラグ（v-r）およびオーディオ脱落フラグ（a-d）を含むオーディオ／ビデオ・データ・ストリーム（AVSTR）。

Images