JP2001520813A - オーディオエンコーダの数が低減されるオーディオ映像エンコードシステム - Google Patents

Abstract

(57)【要約】 １台のマルチパスビデオエンコーダおよび複数のワンパスオーディオエンコーダを使用するオーディオ映像エンコードシステム。システムにより使用されるオーディオエンコーダ数は、必要ならば、もっとも近い整数に切り上げられるビデオエンコードに必要とされるパスの数で除算されるエンコードされるべきオーディオトラック数に等しい。システムは、ビデオのエンコードがすべてのオーディオトラックのエンコードの完了と同時に完了されるように、最小数のオーディオエンコーダを使用して、ビデオエンコーダおよびオーディオエンコーダを同時に使用できるようにする。

Description

【発明の詳細な説明】 発明の名称 オーディオエンコーダの数が低減されるオーディオ映像エンコードシステム 関連出願に対するクロスレファレンス 本明細書は、1995年５月８日に提出され、本明細書に参照として取り入れられ る「エンコードされたビデオビットストリームのセクションを交換するための方 法およびシステム」と題する米国特許明細書連続番号08/438,014の一部継続出願 である。本明細書は、また、以下に示す４つのそれ以外の明細書に関連し、それ らとともに同時に提出されている。すなわち、それぞれ1995年６月６日に提出さ れ、本明細書に参考として取り入れられる「既にエンコードされたビデオシーケ ンスの品質を手動で変えるための方法およびシステム」と題する明細書連続番号 08/XXX,XXX、「ユーザが既にエンコードされたビデオフレームの品質を手動で変 えるための方法およびシステム」と題する米国特許明細書連続番号08/XXX,XXX、 「量子化レベルを変化させることにより、ビデオエンコーダのビット割当てを制 御するレート制御式デジタルビデオ編集法およびシステム」と題する米国特許明 細書連続番号08/XXX,XXX、および「レート量子化モデルを使用しエンコードする ビデオエンコード方法およびシステム」と題する米国特許明細書連続番号08/XXX ,XXXである。 発明の背景 技術分野 本発明は概して、オーディオ映像エンコードシステムに関し、特にエンコード されるべきオーディオトラックの総数よりも少ない数のオーディオエンコーダを 備えるオーディオ映像エンコードシステムに関する。 背景説明 通常、複数のオーディオトラックをできる限り速く圧縮フォーマットにエンコ ードする必要がある場合、エンコードシステムはエンコードトラックのそれぞれ にオーディオエンコーダを備えることになる。しかしながら、スタジオ品質のエ ンコーダはきわめて高価であり、たとえオーディオをできる限り速くエンコード することが望まれているとしても、必ずしもすべてのスタジオがオーディオエン コードトラックごとに別個のオーディオエンコーダを備えるために必要な資源を 費やすことを望まないであろう。例えば、８つのオーディオトラックがあるとす れば、８台のオーディオエンコーダが必要となる。 発明の要約 したがって、本発明は、完全なオーディオ映像エンコードプロセスの実行に必 要な時間を増加することなく、低減された数のオーディオエンコーダを備えるオ ーディオ映像エンコードシステムを提供することを目的とする。 この目的およびそれ以外の目的は、低減された数のオーディオエンコーダおよ びマルチパスビデオエンコーダを備えるオーディオ映像エンコードシステムおよ びオーディオ映像エンコード方法により達成される。 マルチパスビデオエンコーダは、ビデオエンコードを実行するために少なくと も２つのパスを必要とする。マルチパスビデオエンコードのそれぞれの間にワン パスオーディオエンコードを異なったオーディオトラックで実行すると、オーデ ィオとビデオの両方をエンコードするために必要となる総時間長を増加しなくて も、システムのオーディオエンコーダの数を低減することが可能になる。 例えば、ツーパスビデオエンコーダが使用され、８つのオーディオトラックが ある場合、第１ビデオパスの間にトラック１からトラック４がエンコードされ、 第２ビデオパスの間にトラック５からトラック８がエンコードされるので、４台 のオーディオエンコーダが必要となる。本発明は、８つのオーディオトラック以 外を必要とするスリーパスビデオエンコーダおよびシステムにも等しく適用可能 である。例えば、６つのオーディオトラックがあるスリーパスビデオエンコード システムでは、２台のオーディオエンコーダしか必要とされない。 さらに、本発明は、タイムコードを使用し、オーディオ映像情報を変化するフ ォーマットにエンコードし、ビデオエンコードプロセスの間に作成されるログ情 報を記憶する自動オーディオ映像エンコードシステムを具備する。 図面の簡単な説明 本発明およびその付随する効果のより完全な理解は、以下の詳細な説明を添付 図面とともに参照することによって、容易に得られるであろう。その場合、 図1Aは、エンコーダシステムアーキテクチャのブロック図を示している。 図1Bは、エンコードされるべきオーディオおよびビデオを得るための装置、な らびにエンコードシステムにより作成されるエンコードされたオーディオ映像デ ータを書き込み、伝送するための装置を示している。 図２は、図１のシステムの一般的な動作を示しているフローチャートである。 図３は、セットアップ状態で実行されるプロセスを示しているフローチャート である。 図４は、圧縮状態で実行されるプロセスを示している。 図５は、編集状態で実行されるプロセスを示している。 図６は、開始状態、完了状態、および終了状態のために実行されるプロセスを 示している。 図７は、マルチパスビデオエンコーダを使用しながら所定数のオーディオトラ ックをエンコードするのに必要とされるオーディオエンコーダの数を決定するる 方法、ならびにオーディオエンコードおよびマルチパスビデオエンコードを同時 に実行するプロセスを示すフローチャートである。 図8A-8Dは、シーケンスレーヤのログファイルフォーマットを示している。 図9A-9Cは、ピクチャレイヤログファイルフォーマットを示している。 図10Aおよび図10Bは、マクロブロックレーヤのログファイルのフルフォーマッ トおよびショートフォーマットを示している。 図11は、ログファイル内の情報を活用するためのプロセスを示している。 図12は、異なる期間に対する画質の手動調整中に実行される一般プロセスを示 している。 図13は、様々な期間で画質を変更するためのパラメータを入力するために使用 されるユーザインタフェースを示している。 図14は、所望の画質に対応するビット数を計算するための一般的な手段を示し ている。 図15は、最大または最小のユーザ選択優先順位が設定されるセクションを処理 するために使用されるプロセスを示している。 図16Aおよび図16Bは、最大または最小の優先順位ではない希望の画質に対応す るビット数を計算するためのフローチャートを示している。 図17は、画質を変更した結果、アンダフローが生じる場合に確認するために使 用されるプロセスのフローチャートを示している。 図18は、バッファアンダフローが、編集セグメント内で加えられた変更のため に、編集セグメントの後のフレームで発生するかどうかを判断するためのフロー チャートを示している。 図19Aおよび図19Bは、ユーザが選択した品質によってエンコードされたビデオ のビットレートがどのように変更されるのかについての２つの別々の例を示して いる。 図20は、１つのフレーム内のさまざまな領域の画質の手動調整の間に実行され る一般的なプロセスを示している。 図21は、ビデオの１フレーム内にユーザが選択した優先度が設定されたさまざ まな領域の例を示している。 図22は、選択された優先順位に使用される元の量子化の端数小数部に対するユ ーザ選択優先順位のグラフを示している。 図23は、ユーザ選択優先順位の結果生じるビット数と、フレームの元のエンコ ードの結果生じるビット数の間の差異が許容できるかどうか、あるいは訂正手順 を実行しなければならないかどうかを判断するためのプロセスを示している。 図24A-24Cは、設定されたビットが多すぎると判断されるために、ビット数を 低減する目的でマクロブロックの量子化レベルが増分される場合に、フレームを 訂正するためのプロセスを示している。 図25A-25Cは、ビット数を増加するために１つのフレーム内のマクロブロック の量子化レベルを引き下げることによってフレーム内の少なすぎるビットを訂正 するためのプロセスを示している。 図26は、n個のマクロブロックの集合のそれぞれで使用されるビットの予想数 をメモリからロードしてから、n個のマクロブロックの集合ごとにビットの結果 数をカウントし、ビットの予想数および作成数に基づいた概算の精度を計算し、 フレームの列のターゲットサイズに近く留まるために、次のn個のマクロブロッ クの予め割り当てられた量子化レベルを調整する一般的なプロセスを示している フローチャートである。 図27Aは、固定割当てされた量子化レベルを示しているフレームのピクチャで ある。 図27Bは、マクロブロックの各集合に１スライスが含まれ、マクロブロックの 第１集合が再エンコードされた後で、第１訂正係数が計算され、第１訂正係数が マクロブロックの第２集合に加算された場合の、図24Aのフレームのピクチャで ある。 図27Cは、マクロブロックの第２集合が再エンコードされた後で、第２訂正係 数が計算され、第２訂正係数がマクロブロックの第３集合に追加された、図27B のフレームのピクチャである。 図27Dは、マクロブロックの第１集合に２つのスライスが含まれ、マクロブロ ックの第１集合が再エンコードされてから、第１訂正係数が計算され、第１訂正 係数がマクロブロックの第２集合に加算された場合の図27Aのフレームのピクチ ャである。 図28Aは、その量子化レベルが変更される２つの異なった領域を含む１フレー ムである。 図28Bは、その量子化レベルが変更された２つの異なった領域を表すために使 用されるビデオストリーム内でのビット数の変更を示している図24Aのフレーム の２つの考えられるエンコードのピクチャである。 図29は、再エンコードされた列の総長が列の元の長さに等しい、一連の画像を 表すために使用されるビット数の変更を示しているビデオストリームである。 図30は、訂正係数指数が、どのようにして概算率を使用して割合ルックアップ テーブルから求められるのかを説明するフローチャートである。 図31は、訂正係数が、訂正係数指数を使用して訂正係数テーブルからどのよ うにして選択されるのかを説明するフローチャートです。 図32は、訂正係数が、概算割合およびマクロブロックの再エンコードされてい ない残りの集合数を使用してどのようにして計算されるのかを説明するフローチ ャートである。 図33Aは、エンコードされたフォーマットを取るオリジナルビデオのセクショ ンを示している。 図33Bは、元のエンコードされたビデオに置き換えられなければならないエン コードされていないフォーマットにおけるビデオの新なセクションを示している 。 図33Cは、オリジナルビデオのエンコードされていないセクションがその両端 にあるビデオのエンコードされていない新たなセクションを示す。 図33Dは、元のエンコードされたビデオに置き換えられなければならないエン コードされたフォーマットにおける図33Cのビデオを示している。 図33Eは、置き換えられたエンコードされたビデオがその中に含まれる、元の エンコードされたビデオを示している。 図34は、減少されたデコード構造を有するビデオとなるエンコードビデオデー タストリームにビデオのセクションを置き換えるプロセスを示している。 図35Aは、立ち下がり端でのオリジナルビデオのエンコードされていないセク ションを有するビデオのエンコードされていない新しいセクションを示している 。 図35Bは、図33Aにブロック図される最初にエンコードされたビデオに置き換え られるエンコードされたビデオのセクションを示している。 図35Cは、図35Bの置き換えられたエンコードされたビデオを含む図33Aの最初 にエンコードされたビデオを示している。 図36は、クローズグループのピクチャモードを使用して置き換えられるビデオ をエンコードすることによって、エンコードされたビデオビットストリームを編 集する場合に、デコード構造を減少させるためのプロセスを説明する。 図37Aは、事前エンコードプロセスでビットレートモデルに対する量子化レベ ルを作成するために、それに割り当てられる２つの量子化レベルが設定される未 処理ビデオのフレームである。 図37Bは、回転パターンで割り当てられる４つの量子化レベルのあるフレーム である。 図37Cは、ブロックフォーメーションで分散される４つの量子化レベルのある フレームである。 図38は、ビデオ信号を得て、それらの信号を事前エンコードし、事前エンコー ドフェーズで特定された量子化レベルに対するビットレートを決定するプロセス を説明するフローチャートである。 図39は、２つの記録済みフレーム、およびビットレートに対するそれらの対応 する量子化レベルである。 図40は、最終的には光ディスクに格納されるエンコードされたデータの最終フ ォーマットの概略を示している。 図41は、図40のディスク情報ファイル908を説明する。 図42は、図40にブロック図されるデータファイルのデータファイル管理情報の 内容を示している。 図43は、図40のデータファイルに記憶されるデータの詳細を示している。 図44Aは、その中でそのデータがスタッフィングパケットを必要としないデー タパックを示し、図44Bはパディングのためにパケットを必要とするデータパッ クを示している。 図45は、再生情報パックを示している。 図46は、図45のデータ検索情報996の中に含まれる情報を示す。 図47は、図46の一般情報を示している。 図48は、図46にブロック図される同期再生情報を示す。 図49は、ビデオパックを示している。 図50は、ピクチャのグループ(GOP)とビデオパックの列の間の関係を説明する 。 図51Aは、MPEGオーディオエンコード仕様に従ってエンコードされたオーディ オパックを示している。 図51Bは、AC-3またはリニアPCMオーディオエンコードに従って構築されたオー ディオパックを示している。 図52は、エンコードされたオーディオストリームとオーディオパックの間の関 係を示している。 図53は、サブピクチャユニットの構造を示す。 図54は、サブピクチャパックの構造を示す。 図55は、サブピクチャパックに関連したサブピクチャ装置の構造を説明する。 図56は、表示サブピクチャユニットnとサブピクチャユニットn+1の間の変化を 示している。 実施例 本発明は、複数の構成要素および機能を備えるデジタルビデオエンコードシス テムである。システムのさまざまな構成要素をさらに容易に識別する目的で、本 明細書は、以下に示す項に編成されている。 I. はじめに II. システム構成要素 III. 汎用システム動作 IV. システム代替策 V. 最適エンコード効率を維持しながらオーディオエンコーダの数を低減す る VI. エンコードされたビデオの情報を記憶するためのログファイル、ならび にログファイルおよびエンコードされたビデオにアクセスするためのログインタ プリタユーティリテイ VII. エンコードされたビデオの品質の変更 A. 期間での品質の変更 B. フレームの領域内での品質の変更 VIII. 品質変更後のビデオの再エンコード A. 品質が単独フレーム内で変更された場合のビット割当て制御 B. 編集ポイントでのデコードを回避しながら再エンコードする 1. 最初にエンコードしたときに使用された状態にエンコーダを復元する 2. ピクチャのグループのクローズモードでの再エンコード IX. エンコードに使用されるレート量子化モデリング X. データ構造を使用して、オーディオ、ビデオ、およびサブピクチャのデ ジタル信号を結合する I. はじめに 開示されたシステムは、デジタル圧縮システムとしても知られるデジタルオー ディオ映像エンコードシステムに関する。本明細書に開示される考えは、あらゆ る種類のエンコードスキームで使用可能で、特に、正式にはISO/IEC 13818-2、M PEG-2システム情報を指定するISO/IEC 13818-1，およびMPEG-2の前身であるMPEG -1（ISO/IEC 11172-ビデオ）として知られるMPEG-2（エムペグ：Moving Picture Experts Group）に適用できる。本明細書では、MPEG-1およびMPEG-2は集合的に 「MPEG」と呼ばれる。MPEG規格は、圧縮されたまたはエンコードされたビデオス トリームの構文だけを指定しているが、圧縮をどのように実行するかは指定して いない。MPEGエンコードされたデータストリームは圧縮済みのデータストリーム であるため、エンコードプロセスは圧縮プロセスと呼ぶことができるし、その逆 も可能であることに注意すべきである。また、システムはドルビーAC-3を使用し て実行できるオーディオのエンコード、つまりISO/IEC 13818-3に定義されるMPE G-2規格にも関する。前記規格のそれぞれが、それらを参照することにより本明 細書の一部をなすものとする。 MPEGビデオ圧縮は、時間的な因果関係の予測圧縮である。MPEGエンコーダは新 しいビデオピクチャを受け取ると、新しいビデオピクチャを、エンコーダが既に エンコードされたピクチャに基づいて作成した予測されたピクチャと比較する。 予測が以前に伝送された情報に基づいて立てられるために「因果関係(causal)」 予測コーディングという用語が使用され、予測が時間的なピクチャ単位で実行さ れるために、「時間的(temporal)」因果予測コーディングという用語が使用され る。予測手順には、ビデオピクチャ内での領域の運動の予測が必要である。した がって、時間的予測は、動き補償予測と呼ばれることもある。 旧ピクチャと新ピクチャの比較の結果は、後のビデオピクチャに格納される新 しい情報を表す。それから、「残留情報(residualinformation)」と呼ばれる新 しい情報は、一連の情報圧縮プロセスを受けることとなる。まず、離散コサイン 変換(DCT)と呼ばれる一次数学変換が実行される。DCT演算により、ピクセル残留 情報が係数の列に変換される。MPEG圧縮においては、DCTは8x8ピクセルから成る ブロックで実行される。同様に、DCT係数も8x8配列数内に入れられる。その後、 これらの係数は、量子化ステップサィズっまりq-レベルに基づき、精度の設定さ れた程度まで個別に量子化される（すなわち四捨五入される）。量子化プロセス は、通常、値ゼロが設定された多くの係数を生み出す。さもなければ、この量子 化プロセスは、量子化雑音と呼ばれるコーディング構造が生じさせることとなる 。 量子化された係数は、その後、ゼロ値が設定された係数でのランレングスコー ディング、およびそれぞれが結果として生じるランレングス値とゼロ以外の係数 値をそれぞれ表す２つの数の組の可変長コーディングの組み合わせを使用してコ ーディングされる。これらのランレングス非ゼロ値の組のコードは、他のオーバ ヘッド情報とともに、ビデオピクチャに対応する圧縮済みデジタルデータストリ ームを形成する。出力データ転送レートや記憶容量のような物理的な制限のため に、適切な量の圧縮が達成されるように、量子化の程度を変化させることが必要 である。これがバッファフィードバックと呼ばれる。 MPEGに準拠するデコーダは、エンコードされたのデジタルデータストリームを 読み取り、エンコードプロセスと逆の演算を実行する。 一般的には、デジタルデータストリーム中のビット総数は、実質上、ビデオピ クチャを表すために必要とされるビット総数を下回るため、圧縮が達成される。 しかしながら、MPEGビデオコーディングによって例証されるような圧縮が、決し て歪みや人為構造(artifacts)を免れないことを認識することが重要である。前 述したように、圧縮人為構造の主要なソースは量子化プロセスである。 開示されたシステムは、圧縮プロセスまたはエンコードプロセスの間に量子化 の程度を動的に調整することを目的とする。特に、調整は人間のオペレータによ って出される指示に従って行われる。調整は、より大きなビデオシーケンスの部 分に適用する場合もあれば、ビデオシーケンス全体に適用することもある。 II. システム構成要素 ここで、類似した参照番号が複数の図を通して同一の部分または対応する部分 を示し、さらに特定するとその図1Aを示す図面を参照すると、エンコーダシステ ムアーキテクチャのブロック図が示されている。ビデオエンコードプロセスとは 、中断やエラーなくエンコードおよび編集を達成するために同期して動作する多 くの異なった装置を必要とする１つの複雑なプロセスであることに注記すべきで ある。しかし、オーディオエンコードおよびビデオエンコードは、適切なタイム コードが使用される限り、別個に実行できる。図1Aには４つのワークステーショ ンが描かれているが、通常、エンコードシステムのユーザまたはオペレータが対 話するのは１台のキーボードおよびワークステーションだけである。ワークステ ーションは、プロセッサ、RAM、ROM、ネットワークインタフェース、ハードディ スク、キーボード、モニタ、およびそれ以外の従来の構成要素のような従来の汎 用コンピュータ構成要素を具備する。 ワークステーション30は、実施例ではSun SPARC20 Unixワークステーションで あるシステム制御ステーションとして機能する。ワークステーション30には、マ ウスやそれ以外のポインティングデバイスであるキーボード32およびポインティ ンブデバイス33のような従来のワークステーション入力装置だけではなく、グラ フィックコンソールディスプレイモニタ31も具備される。ユーザは、おもに、コ ンソールディスプレイ31に表示されるグラフィックユーザインタフェース(GUI) を介してワークステーション30を視覚的に操作することとなる。 ワークステーション30は、以下に説明する別のワークステーション40、10およ び20に接続され、それらを制御する。ワークステーション30は、やはり以下に説 明するオーディオインタフェース装置72およびデジタルビデオキャプチャ記憶装 置60にも接続される。ワークステーション30は、米国電子工業会(EIA)規格RS-23 2によって定義される直列インタフェースを介してワークステーション40に接続 される。同様に、ワークステーション30とオーディオインタフェース装置72の間 の接続も直列RS-232規格による。ワークステーション30とデジ タルビデオキャプチャ記憶装置60の間の接続は、業界規格のS-バスインタフェー スを介している。 フレームジョガー41は、オペレータが、VTR51または52どちらかのビデオを編 集を実行しなければならない箇所に位置決めできるようにするために、ワークス テーション40に接続される。システムは、ビデオの位置を制御するために、オペ レータが入力するタイムコードを使用することができる。ただし、ジョグ制御装 置は、ビデオを位置決めするためにジョブノブの使用を可能にすることによって 、システムのユーザフレンドリ度を高めている。ワークステーション30は、ビデ オディスプレイモニタ61で表示されるビデオが、デジタルキャプチャ記憶装置60 または録画VTR62、あるいはその両方からのビデオであるのかどうかを制御する 。 ビデオエンコード装置50は、MPEG-1、MPEG-2、またはそれ以外のビデオ圧縮規 格に従って圧縮を実行するデジタルビデオエンコーダである。市販されているMP EG-1エンコーダは、ソニーRTE-3000である。MPEG-2エンコーダは、本明細書に参 照により取り入れられる1994年12月27日に出願された日本特許明細書6-326435に 説明される教示に従って構築することができる。ワークステーション10は、業界 規格S-バスインタエースを介してビデオエンコード装置50を直接的に制御し、ワ ークステーション10は、イーサネットネットワークのような標準ネットワーキン グ装置を介してワークステーション30からコマンドを受け取る。エンコードプロ セスの間、ワークステーション10は、ビデオエンコード装置50のビデオエンコー ド制御プログラムのリアルタイム実行をサポートする。実施例においては、ワー クスステーション10は、Sun SPARC20 Unixワークステーションである。 ワークステーション10は中央ワークステーション30からのコマンドに応え、圧 縮プロセスを開始する。圧縮プロセスの間、ワークステーション10は、ビデオ信 号の特定の領域に適用される量子化の程度を動的に制御する。量子化が変化させ られる特定の領域は、空間的領域または時間的領域、あるいはその両方に及び、 量子化が厳密にどのように制御されるのかは以下に説明する。 ビデオエンコード装置50への入力ビデオは、再生VTR 51内のテープからであ る。再生VTR51は、職業用のデジタルビデオ規格、ITU-R 601（以前はCCIR 601ビ デオ規格と呼ばれていた）ビデオテーププレーヤである。この規格は、PALシス テムだけではなくNTSCシステムにも適用する。再生VTR 51内のテープには、ビデ オカメラまたはフィルムカメラによってキャプチャされたか、あるいはコンピュ ータによって作成されたさまざまな画像および場面を表す電磁情報が記憶されて いることが注記される。ビデオエンコード装置50からのエンコードされた出力は 、１つ以上のハードディスク21で記憶するためにワークステーション20に転送さ れる。 ビデオエンコード装置50によりエンコードおよび出力されたビデオデータを表 示するためには、MPEG-2のようなデジタルビデオデコーダが必要になる。しかし 、本明細書の作成時点では、実現されたシステムは、このようなデコーダはシス テムの初期開発段階の間は容易に手に入らなかったため、別個のMPEG-2デコーダ を実装していない。したがって、ビデオエンコード装置50は、MPEG-2ビデオスト リームをワークステーション20に出力するだけではなく、MPEG-2のエンコードデ ータに同等な復号化されたビデオ画像がビデオエンコード装置50から録画VTR 52 へ出力される。録画VTR 52は、D1インタフェースとして知られる業界規格のデジ タルビデオ信号コネクタによりビデオエンコード装置50に接続され、ワークステ ーション40によって制御される。再生VTR 51および録画VTR 52の両方共、Ampex DCT職業用ビデオテープレコーダを使用して適切に実現される。 オーディオは、例えばドルビーAC-3フォーマットまたは代わりにISO/IEC 1381 8-3規格に記述されるようなMPEG-2に準拠するフォーマットにエンコードされ、 圧縮される。エンコードシステムのオーディオソースは、４つのデジタルオーデ ィオテープ(DAT)プレーヤ、71a、71b、71cおよび71dである。スタジオ品質のDAT プレーヤは、ソニーが市販している。DATプレーヤ71a-71dは、ワークステーショ ン40によって業界規格プロトコルRS-422を介して接続され、制御される。DATプ レーヤ71a-71dによって出力されるオーディオ信号は、オーディオエンコーダ70a 、70b、70c、および70dにそれぞれ入力される。これらのオーディオエンコーダ は市販のドルビーAC-3モデルDP 525エンコーダを使用して 実現され、オーディオインタフェース装置72によって制御される。通常、オーデ ィオエンコードは指定されたタイムコードで開始、終了する。オーディオインタ フェース装置72は、ワークステーション30からその間のRS-232接続上でエンコー ド開始タイムコードおよびエンコード終了タイムコードのような命令を受け取る 。さらに、オーディオインタフェース装置72は、さまざまなデジタル圧縮済みオ ーディオデータを、ワークステーション20に伝送される単独デジタルストリーム に多重化する。ワークステーション20は、オーディオエンコード装置70により出 力される圧縮済みデジタルデータに対応する複数のファイルに、入力デジタルオ ーディオストリームを多重分離する。ビデオエンコード装置50は、そのビデオ同 期信号に基づく同期信号をオーディオインタフェース装置72に提供する。同期信 号により、オーディオビットストリームは、ビデオエンコード装置50により出力 されるビデオビットストリームに同期できるようになる。 ワークステーション30は、さまざまなオーディオエンコード装置70a-70dのど れかからオーディオデコーダ73へオーディオデータの複製を提世するようにオー ディオインタフェース装置72に指示する機能を備える。オーディオデコーダ73は 、圧縮済みのオーディオを、ユーザがスピーカ75を介してオーディオを聞くこと ができるように復号化する。どのオーディオエンコード装置をモニタするかにつ いての選択は、キーボード32またはポインティングデバイス33のどちらかによっ てコンソールディスプレイ31上でのグラフィックユーザインタフェースを通して 人間のオペレータが決定する。オーディオインタフェース装置72の構成は、前述 の機能を実行する機能を備えたハードウェアである。このハードウェアは、１つ 以上のプログラミングされたマイクロプロセッサまたは開示された機能を達成す るために配列される従来の回路要素、あるいはその両方である。 ワークステーション40はスタジオ装置制御ステーションであり、録画ビデオテ ープレコーダ52とともに、再生ビデオテープレコーダ51およびデジタルオーディ オテーププレーヤ71a-71dの両方を制御するために適切なコマンドを発行する。 また、ワークステーション40は、デジタルビデオキャプチャ記憶装置60に、適切 な時点でビデオのキャプチャを開始するように命令する。ワークステーション40 とさまざまなビデオテープデッキおよびオーディオテープデッキの間の接 続は、業界規格のRS-422プロトコルである。このプロトコルを使用すると、各テ ープデッキはワークステーション40に、標準タイムコードフォーマットでその現 在のテープロケーションを知らせることができるようになる。ワークステーショ ン40はこのような情報を使用して、ビデオとオーディオの情報が正しく、再生、 記録されるように、さまざまなテープデッキを適切に同期させる。この実施例で は、ワークステーション40は、DOSおよびカリフォルニア州、モアパークにあるE diting Technologies Corp.Ensemble Proが市販しているソフトウェアプログラ ムであるEnsemble Proを実行する標準的なIBM互換パーソナルコンピュータであ る。ワークステーション30がRS-232通信ポートを介してワークステーション40で 実行しているEnsemble Proと通信できるように、マイナーな改良をEnsemble Pro プログラムに加えたことを注記する。この改良はEditing Technologies,Corp.を 介して市販されているか、あるいは過度の実験を行わないでも当業者により実行 できるかのどちらかである。 デジタルビデオキャプチャ記憶装置60は、エンコードシステム内で、以下に示 す２つの機能を行う。第１に、この装置は、ビデオ信号に適用されてきた手動編 集の便利な「前と後」比較を行うためにそのキャプチャ記憶機能を使用し、第２ に、ビデオディスプレイにグラフィックオーバレイ機能を提供する。このグラフ ィックオーバレイ機能は、例えば、空間手動編集フェーズの間に使用され、人間 のオペレータが、量子化およびその結果割り当てられたビットの数が変化する関 心のある領域を定義できるようにする。 本発明では、デジタルビデオキャプチャ記憶装置は、カリフォルニア州、マウ ンテンビューにあるViewgraPhicsの市販されているDRABMベースのオーディオ製 品モデルVS6000として実現されている。この装置に入力されるデジタルビデオは 、ITU-R-601（旧CCIR 601）画像解像度を備える業界規格D1による。デジタルビ デオキャプチャ記憶装置60の出力は、ビデオ信号の赤、緑、および青の構成要素 を表す３つの別個のアナログ信号を介してビデオディスプレイに接続される。グ ラフィックオーバレイ情報は、デジタルビデオキャプチャ記憶装置60によって出 力される最終アナログ信号の作成前に、デジタルビデオキャプチャ記憶装置60に より処理されるため、他のビデオデータとともにビデオディスプレ イモニタ61では人間のオペレータが見ることができる。 Unix環境で動作しているワークステーション30は、デジタルビデオキャプチャ 記憶装置60を使用するビデオディスプレイモニタ61の上にそのグラフィックウィ ンドウをマップする。これによって、人間のオペレータは、モニタ61に示される ディスプレイのグラフィックオーバレイ面で（矩形の描画のような）グラフィッ ク動作を実行できるようになる。装置60は、オーバレイ機能を実現する。オーバ レイは、メモリ内の情報をモニタを駆動するアナログビデオ信号に変換する前に 、ビデオメモリで実行される。システムが使用するVS6000は、ビデオメモリの上 部に8-ビットメモリを持つ。この8-ビット面で、コンピュータはあらゆるカラー グラフィックスおよびテキストを描画できる。この8-ビット面での「色」の１つ が透明色である。透明色であるこのオーバレイ面上の任意のピクセルは、その下 にあるビデオメモリの値を採る。一般的には、オーバレイ面の大部分が透明色に なり、（線、テキストなどの）グラフィックは透明以外の色を使用する。したが って、ビデオメモリおよびオーバレイグラフィックメモリの両方からなるディス プレイメモリが形成される。モニタ61で表示するために究極的にはアナログ信号 に変換されるディスプレイメモリである。人間のオペレータは、通常、キーボー ド32と結び付いたポインティングデバイス３３Ｗ使用し、このようなグラフィッ ク動作およびこのようにして作成されたグラフィックオブジェクトの操作を実行 する。 ワークステーション20は、オーディオインタフェース装置72だけではなくビデ オエンコード装置50からデジタルデータストリームを受け取る。ワークステーシ ョン20は、イーサネット接続でワークステーション30に接続され、ワークステー ション20は、業界規格のS-バスインタフェースを介してビデオエンコード装置50 およびオーディオインタフェース装置72にも接続される。受け取られたデジタル データストリームは、別個のデータファイルとして１つ以上のハードディスクの 中に記憶される。別個のダイレクトメモリアクセス(DMA)カードは、キャプチャ されたデジタルストリームデータをハードディスク21に転送するときに使用され る。結果的に大量のデジタルデータが生じる長いビデオシーケンスの場合、ハー ドデイスク21は、Sun Microsystems製のSPARCstorage Array X655A/G5のような市販されているハードディスクを使用して実現できる。この実 施例においては、ワークステーション20は、Sun Microsystems製の市販されてい るSPARKserver 1000である。 また、ワークステーション20は、ビデオ圧縮済みデータおよびオーディオ圧縮 済みデータに対応するデータファイルも、復号化装置への移送または伝送に適切 な単独フォーマットファイルにフォーマットする。最終的な媒体はディスクベー スであるのが望ましく、その場合フォーマットは、関連するディスクフォーマッ トに準拠することになる。通常、フォーマットされたファイルは、デジタルテー プのようななんらかの中間デジタル記憶手段により、１つまたは複数の最終伝送 媒体への転送が発生する機構へ移送される。図示されているデジタル記憶装置22 は、このような目的に使用される。本実施例では、デジタル記憶装置22は、市販 されている８mm Exabyteテープドラィブを具備する。デジタル記憶装置22のイン タフェースは、業界規格の小型コンピュータ用周辺機器インタフェース(SCSI)で ある。 複数のSCSI装置を同じSCSIバスに接続できることは既知である。したがって、 デジタル記憶装置22は、市販されているデジタルリニアテープ(DLT)ドライブ、 磁気光学(MO)ディスクドライブ、またはフロッピーディスクドライブのような他 のSCSI装置も具備できる。これらの構成は容易に対応され、フォーマット段階の 前またはフォーマット段階の間に必要となる可能性がある補助データ用の柔軟な 入力機構を提供するのに役立つ。例えば、映画の製作では、字幕情報は、大部分 の場合、前記のSCSI装置の１つを必要とする媒本内で利用できる。このような場 合、補助データはワークステーション20で実行中のソフトウェアプログラムによ って読み取られ、補助データがフォーマットされたファイルに格納されるように 処理される。補助データは、米国のクローズキャプションフォーマットである字 幕データを格納する場合がある。補助データには、プログラムコードやポストス クリプトデータのような希望のデータを入れることができる。 図1Bは、図1Aのシステムに対応し、図1Aのシステムと同じように機能するオー ディオ／映像エンコードシステム98がブロック図される。図1Bでは、エンコード システムへのビデオ入力がカメラ80から供給され、オーディオはマイク ロフォン82から供給される。映像情報およびおそらくオーディオ情報を記憶する 映画フィルムは、フィルムを照明するためのライトおよびフィルムから画像をキ ャプチャするための光検出器を具備する転送装置88を介してエンコードシステム 98に転送される。入力装置80、82、および88からの情報は、オーディオテープレ コーダまたはビデオテープレコーダによってのような、エンコードシステム98に よってエンコードされる前に電磁フォーマットで記憶される。オーディオテープ およびビデオテープは、図1Aのシステムによりエンコードされる。 エンコードシステムにより作り出される最終的なデジタルビットストリームは 、光ディスクをプレス加工する光ディスクマスタリング装置90、光ディスクに書 き込む光ディスク書込み装置84に送られるか、あるいはテレビジョン送信機86を 介して、テレビジョン受像器またはセットトップボックスデコーダに伝送される ことがある。光ディスクのプレス加工および作成は、例えばマスタディスクを使 用する既知で市販されている方法で実行される。エンコードされた情報は、ビデ オオンデマンドシステムでも使用できる。エンコードされたビットストリームは 、究極的には、エンコードプロセスに対応する復号化プロセスにより復号化され 、オーディオ映像情報はテレビまたはモニタでユーザに表示される。復号化装置 は、テレビまたはモニタで表示するためにエンコードされたディスクを復号化す るデジタルビデオディスクプレーヤを具備する。 エンコードシステムがオーディオおよび画像を表す電気信号を入力し、電気信 号を新しいフォーマットに変換し、究極的には、エンコードされた元の情報を作 成し直すために信号が復号化されることは、図1Bから明らかである。 III. システム動作 図２は、図１にブロック図されるシステムの一般的な動作を説明するフローチ ャートである。図２から分かるように、システムはその動作サイクルの間に複数 の「状態」を経過する。濃い実線は標準的な操作経路を示し、実線は中断終了経 路を描き、破線はバイパス経路を示す。 システムによる最初の動作はセットアップ状熊100で発生する。このステップ によって、圧縮状態102が入力される前に、入力パラメータを指定することがで きる。圧縮状態102では、再生VTR 51内のテープに記憶されるビデオ画像が、ビ デオエンコード装置50によりデジタル圧縮されたフォーマットにエンコードされ る。 圧縮状態102の後、ユーザは、編集状態104の過去に圧縮されたデータの画質に 基づいて手動で圧縮プロセスを編集することができる。これによって、ユーザは 、ビデオの１フレームの領域内または期間で画質を改善または低下させることが できる。「編集」という用語が、場面自体をピクチャストリームに付加したり、 削除することを意味しないことに注意すべきである。本明細書中では、「編集」 という用語は、量子化および続いてビデオの質を変更することを意味する。画像 が編集状態104で編集された後、新しいユーザ指定パラメータに従ってデータを エンコードするために、圧縮状態102で再び圧縮動作を実行することが必要であ る。 ユーザがビデオの編集された形式を確認してから、字幕のようなオーディオ、 ビデオおよびそれ以外の情報を含むすべての情報が、フォーマット状態106で、 まとめて希望のフォーマットに結合される。完了状態108では、あらゆる一時フ ァイルが消去され、プロセスは終了状態110で終了する。図２に説明される個々 の状態に関するさらに詳細な情報は、ここでは図３から図６を参照して説明する 。 図３は、セットアップ状態100で実行されるステップを示している。ステップ1 20は、セットアップ状態を開始し、ステップ122はシステムを初期化した。この ステップでは、ワークステーシヨン30に格納されるシステム制御ソフトウェアの 実行が開始し、コンソールディスプレイ31に表示され、キーボード32およびポイ ンティングデバイス33を介してパラメータを入力させるユーザインタフェースを 担当するグラフィックユーザインタフェース(GUI)プログラムのようなそれ以外 のプログラムが起動される。また、ステップ122の間に、ワークステーション30 のシステム制御装置ソフトウェアが他の装置に照会し、システムの利用可能な装 置を含むシステム状態を突き止める。 ステップ124では、GUIを通してユーザに情報が表示される。歓迎のメッセージ 、システムに関する情報、エンコードプロセスに使用されるパラメータ、およ び過去にエンコードされたあらゆるファイルの存在が表示される。表示されたシ ステム情報には、オーディオエンコーダ、VTR、オーディオテープデッキ、およ びその構成を含むシステムに接続される装置を具備する。システムに既にエンコ ードされたファイルが格納されている場合は、情報はファイルを作成するのに使 用されたオーディオエンコードパラメータおよびビデオエンコードパラメータを 記述する情報がユーザに表示される。 ステップ126では、それから、標準システムパラメータまたはユーザ指定シス テムパラメータを使用するエンコード、システムパラメータに対する変更、また は選択されたパラメータが受入れ可能であることの確認を開始するためのコマン ドのようなユーザからの情報を入力する。 それから、ステップ128では、エンコード動作と復号化動作の準備をするため に、グラフィックユーザインタフェースからシステム制御装置ソフトウェアに、 入力されたデータを転送することにより、入力データを処理する。セットアップ 状態は130で終了する。 図４には、圧縮状態102で実行されるプロセスがブロック図される。標準動作 フローに従い、ユーザは、すでに、セットアップ状態で圧縮されるビデオおよび 付随オーディオシーケンスを指定した。それから、ユーザは、システムに、自動 手順、つまり自動圧縮手順を実行するように指示する。自動圧縮手順の間のビデ オ圧縮により、ユーザは期間で、あるいはビデオの１フレームの中で動的量子化 プロセスを制御することはできない。これは、コーディング決定が、ビデオエン コード装置50により計算される客観的な基準に基づいて下される初期圧縮実行と して意図される。自動圧縮がすでに実行されていた場合は、ユーザは、空間的（ フレームまたはビデオ上で）または時間的的（ビデオシーケンスで）のどちらか で、編集圧縮モードでの量子化を手動で調整できる。 圧縮状態では、ステップ140で開始した後、ステップ142で圧縮動作に備える。 この動作中、ビデオのタイムコードおよび圧縮パラメータとともに圧縮される付 随オーディオのような圧縮プロセスのパラメータが、ワークステーション10を介 してワークステーション30からビデオエンコード装置50にダウンロードされる。 それから、ステップ144では、希望の圧縮の種類が決定される。初めて情報を 圧縮するときには、圧縮プロセスは自動的に、ユーザの介入なく実行される。ス テップ146では、自動圧縮プロセスの準備をする。この準備中に、ワークステー ション30は、デジタルオーディオテーププレーヤ71a-71dおよび関連するオーデ ィオエンコード装置70a-70dの内のどれを使用しなければならないかを決定する 。また、ワークステーション30は、ワークステーション20に、オーディオインタ ーフェス装置72を介した、ビデオエンコード装置50およびオーディオエンコーダ 70a-70dの出力からのビットストリームキャプチャに備えるように命令する。さ らに、再生VTR 51、録画VTR 52、およびDATプレーヤ71a-71dは、テープを適切な 開始位置まで進める。それから、ワークステーション40が再生ビデオテープレコ ーダ51、録画テープレコーダ52、およびDATプレーヤ71a-71dに、ステップ148で の移動を開始するように信号を送る。その後、ステップ150で、ビデオエンコー ド装置50を使用するMPEG-1またはMPEG-2フォーマットのような希望のフォーマッ トに従ってビデオデータがエンコードされる。また、オーディオデータも、ドル ビーAC-3フォーマットのような希望のフォーマットに従ってエンコードされる。 手動編集プロセスを後で補助するためにログファイルを作成する必要がある。ロ グファイルは、ビデオデータの後での編集を実行するために必要となるエンコー ドされたビデオデータのパラメータを示す。エンコードプロセスは、適切なタイ ムコードに到達するステップ160で停止する。このタイムコードは、エンコード されるべき情報の最後である場合もあれば、ビデオシーケンスの最後ではないユ ーザが指定したポイントである場合もある。 ステップ144で、自動圧縮プロセスがすでに実行され、ユーザが、以下に図５ に関して説明するように、編集状態の間に指定されたパラメータを使用してビデ オの１つ以上のフレームの画質を手動で変更することを希望すると判断されると 、ステップ144で、編集−圧縮動作を実行する必要があるかどうかが判断される だろう。ステップ152では、手動編集が開始するポイントである希望の開始ポイ ントへの再生VTR 51の合図を含む編集圧縮動作の準備が行われる。また、オーデ ィオ情報は、いったん自動圧縮動作でエンコードされると、変更する必要はない ので、オーディオ装置はディスエーブルされる。それから、ステップ154で、再 生VTR 51および録画VTR 52が移動する。 ステップ156では、その後、図５に説明する編集状態でユーザによって指定さ れたパラメータに従ったビデオデータのエンコードが開始する。編集圧縮は、終 了タイムコードに達したステップ160で終了する。ステップ162では、ユーザに、 圧縮およびエンコードが完了した旨のメッセージが表示され、プロセスはステッ プ164で終了する。 図５は、編集状態104で実行されるプロセスを説明する。前述したように、こ こで言われる編集とは、ビデオシーケンス内で場面を削除、短縮、または移動さ せる従来のビデオの編集ではない。本明細書でいう編集状態とは、ビデオの一部 またはビデオの時間シーケンスの質を、手動でビデオの量子化を設定することに より変更することである。 ステップ170で編集状態を開始した後、ステップ172では、ユーザはエンコード されたビデオのビット割当てを変更することによるビデオの手動の編集を希望す るかどうか尋ねられる。ユーザがビット割当ての変更を望まない場合、プロセス はステップ188で終了する。ユーザがビット割当ての変更を望む場合は、ユーザ はステップ174で編集対象のビデオセグメントを定義する。これは、画質を変更 しなければならないビデオの期間を選択することによって実行される。それから 、ステップ176で、ユーザが空間的編集または時間的編集を希望するのかを判断 する。空間的編集がビデオのフレームの中でビットの量子化または割当てを変更 するのに対し、時間的編集は、ビットの割当てを期間で変更する。ユーザが空間 的編集を選択すると、フローは、編集されるフレーム内の領域を入力するステッ プ178に進む。また、適用される変更の相対的な程度も入力される。本発明の場 合、ゼロを含む-5から+5の整数目盛りが、変更の相対量を示すために使用される 。ユーザは、キーボード32またはポインティングデバイス33あるいはその両方を 使用してビデオの領域をマークし、-5から+5の間で-5と+5を含む整数の内の１つ を指定する。ユーザは、ある領域に以前設定された量子化レベルを変更してはな らないことを示すこともできる。例えば、ユーザはある一定の領域のビット割当 ての増加を希望する場合、それ以外の領域のビット割当てを減少しなければなら ない必要がある。ユーザがある領域を「保護つき(protected)」とも呼ばれ る変更不可と設定すると、画質領域の改善に必要となるビットは保護つきの領域 からは採取されない。 ステップ176でユーザが時間的編集を希望すると判断されると、フローは、ど のように期間を編集しなければならないのかを入力するステップ180に進む。空 間的編集と同様に、時間的編集の場合も、ユーザは、ビデオのある特定のシーケ ンスに適用される変更の相対度を示す-5と+5の間の整数値を指定する。この変更 は、選択された期間全体で有効となる。 空間的編集または時間的編集のどちらかがステップ178と180で実行されてから 、ステップ182で、ビデオシーンが、手動で入力されたパラメータに従って、エ ンコードし直され、例えばMPEG-2フォーマットに圧縮し直される。ユーザが画質 がどのように変更されたのかを詳しく比較できるように、既にエンコードされた のデータは新規に編集されたデータの隣に表示される。 オペレータが編集対象のセグメントを示すと、VTR 52からのビデオが記憶装置 60に転送され、記憶装置60で利用可能な総メモリの多くても半分を占める。その セグメントは、「前の」セグメントに対応する。編集−圧縮プロセスの間、ビッ トストリームはワークステーション20によってキャプチャされ、マスタビデオビ ットストリームファイルから別個のビットストリームファイルとして記憶される 。マスタビデオビットストリームファイルは、映画全体の圧縮済みビットストリ ームである。編集−圧縮されたビデオはVTR 52で録画される。エンコードプロセ スの間、オペレータはピクチャを、それがVTR 52で録画されているのと同時に表 示することになる。オペレータがエンコードした後のピクチャの表示を希望する 場合は、VTRを再生機械として使用できる。オペレータが「前と後」の比較を実 行したいと考える場合、VTR 52の対応するセグメントが記憶装置60に転送され、 装置60の総メモリの残りの半分までを消費する。 このエンコードの後、オペレータは、変更されたビデオを保存する必要がある かどうかを決定する。オペレータが「後」のセグメントを無視することを決めた 場合、マスタビットストリームは変更されずに残され、編集−圧縮済みのビット ストリームは削除される。VTR 52がマスタビットストリームを反映できるように するには、「前」のセグメントを録画する目的だけに、編集済みのセグメント で別の自動−圧縮が実行される。装置60を「前」のセグメントをVTR 52に転送し て戻すために装置を使用するという代替策も可能である。オペレータが「後」の セグメントを記憶することを決めた場合、以下に説明するように、マスタビット ストリームファイルを更新して、編集−圧縮済みのビットストリームファイルを 入れる必要がある。 ユーザが、ステップ184でビデオが受け入れられると判断した場合、既にエン コードされたデータは新規にエンコードされたデータで置き換えられる。このス テップは、以下の別項でさらに詳しく説明する。新規にエンコードされたデータ が以前エンコードされたデータを置き換えると、ステップ192で、ユーザが更に 編集を希望するかどうかを判断する。さらに編集を希望する場合には、フローは ステップ174に戻る。ユーザがビデオの編集を終了したら、フローは編集状態を 終了するステップ188に進む。 ユーザが、ステップ184でビデオが受け入れられないと判断した場合は、ユー ザは、編集変更が記録されないようにステップ186で編集動作を終了するか、あ るいはユーザはビデオを編集し直す。ビデオは、編集で新しいパラメータを選択 するユーザによって編集し直される。ユーザが希望する場合は、編集対象の新し いビデオセグメントを定義することも可能である。 ユーザが圧縮（自動−圧縮だけ、または編集−圧縮とともに自動−圧縮のどち らか）に満足すると、圧縮済みビデオ、圧縮済みオーディオ、およびそれ以外の すべてのファイルを含む個々のデータファイルが、最終フォーマットへのフォー マットの準備が完了した状態となり、フォーマット状態166に入る。補助データ には、最終的なフォーマット済みデータファイルに記憶される字幕のような情報 を含むことがある。図６にブロック図されるフローチャートでは、ステップ200 でのフォーマット状態の開始後、ユーザが補助データを記憶することを決定する と、ワークステーション20は、フロッピーディスクドライブ内にフロッピーディ スクなどを具備するデジタル記憶装置22から補助データを読み取る。それから、 ステップ204で補助データがエンコードされたオーディオおよびビデオと結合さ れ、最終的なフォーマット済みファイルを作り出す。システムによって作成され る最終的なデジタルビットストリームは、ISO/IEC 13818-1に定義される「プ ログラムストリーム」として構築できる。代わりに、最終的なビットストリーム は、直接衛星DSSフォーマット、光ディスクでの使用に適したVBR（可変ビットレ ート）またはその他の種類のフォーマットのような任意の種類のフォーマットと することができる。エンコードされたビデオとオーディオは別個に記憶できるた め、システムは、同じエンコードされたビデオとオーディオを別々の最終フォー マットにエンコードすることができる。これは、さまざまなフォーマットを作り 出す機能を備える１つのフォーマッタを使用するか、または別個のフォーマッタ によって達成される。ステップ206では、フォーマットされたファイルがディス ク21で記憶される。 フォーマットされたファイルがステップ210のデジタル記憶装置22内のテープ に書き込まれるステップ208で完了状態になる。その後で、もはや必要とされて いない一時ファイルを削除するさまざまな「ハウスクリーニング」機能を実行す るステップ122で終了状態に入る。圧縮プロセスが終了される前のような異常終 了要求が発生した場合、打切り手順が、オーディオテーププレーヤおよびビデオ テーププレーヤを停止し、破壊されている可能性があるデータファイルもクリー ンアップするワークステーション30で実行される。プロセスは、それからステッ プ216で終了する。 IV. システム代替策 望ましいシステム構成要素およびその動作は前記に説明したが、言うまでもな く代替ハードウェアが図1Aおよび図1Bに開示されるハードウェアを代用すること ができる。ビデオエンコード装置50は、利用できる場合にはMPEG-2ビデオエンコ ーダであるのが望ましい。しかし、MPEG-1ビデオエンコーダとしても知られる市 販されているISO/IEC 1172-ビデオ標準エンコーダを使用することもできる。MPE G-1エンコーダに対する必要な改良は、MPEG-1バッファ管理モジュールが、ワー クステーション10のような外部ソースから制御できるようにする必要がある。さ らに、入力ビデオサポートは、ITU-R 601（前CIR 601）解像度ビデオを格納する ために増大されなければならない。このような改良は、過度の実験を行わないで もデジタルビデオエンコードの当業者により実行できる。 ４つのオーディオテーププレーヤと４つのオーディオエンコーダが図1Aに描か れているが、それ以外の構成はオーディオシステムに容易に採用できる。例えば 、１台の市販されている８mmデジタルオーディオプレーヤを複数のDATプレーヤ の代わりに使用することができる。１台のTASCAMデジタルオーディオプレーヤを 使用すると、ワークステーション40から必要とされるのは１つのRS-422制御信号 だけであるが、最大８つの別個のオーディオチャネルを同時にサポートできる。 オーディオエンコーダが同時に８つのオーディオ入力を受け入れることが可能で なければならず、オーディオインタフェース装置72もオーディオデータストリー ムの４つから８つへの増加に対処するために改良されなければならないのは言う までもない。 オーディオおよびビデオの同時エンコードの代替策として、オーディオおよび ビデオエンコードは、別個の時間またはロケーション、あるいはその両方で実行 され、後で最終的なフォーマットに結合することができる。これには、SMPTE（ 全米映画テレビジョン技術者協会）タイムコードフォーマットのような既知のタ イムコードの使用が必要となる。タイムコードは、ビデオテーププレーヤ、ワー クステーション、または別個のスタンドアロン式タイムコード作成プログラムに よって作成される。 録画VTR 52は、ビデオデコーダが利用可能で、ワークステーション20に接続さ れている場合には排除できる。その場合、再構築されるビデオは、圧縮フェーズ 中のビデオエンコード装置50から録画される代わりに、ディスク21内のディスク ファイルから作成されるだろう。録画VTR 52を排除すると、テープ費用だけでは なく装置費用という点でも、システムの費用が大きく節約される。 さらに、グラフィック動作をディスプレイビデオのグラフィックオーバレイ面 で実行する能力は、市販のX-端末オプションを使用して、コンソールディスプレ イ上でサポートすることができる。例えば、コンソールディプレイ31は、ビデオ をオーバレイグラフィックウィンドウで表示する機能を備えたX-端末で置き換え られる。ペンシルバニア州のKing of PrussiaのHuman Designed Systems社のHDS V View Stationのような市販されているマルチメディアディスプレイ端末は、表 示および手動編集領域定義動作のためにX-端末に接続することができ る。ただし、ビデオデコーダの職業用品質のビデオは、人間のオペレータが再構 築されたビデオ信号の質を評価できるように、図1Aに図示されるモニタ61のよう な職業用モニタで表示しなければならない。 V. 最適エンコード効率を維持しながらオーディオエンコーダの数を低減する 前述したように、図1Aは、マルチパスビデオエンコード装置50および４台のワ ンパスオーディオエンコーダ70a、70b、70c、および70dを備えたエンコードシス テムをブロック図している。再生VTR 51は、ビデオエンコード装置50にエンコー ドされるべきビデオ信号を供給し、デジタルオーディオテープ(DAT)プレーヤ71a -71dが、それぞれワンパスオーディオエンコーダ70a-70dにエンコードされるべ きオーディオ信号を供給する。 本発明の実施例では、最終フォーマット済みオーディオ映像データストリーム 内の８つのオーディオトラックをエンコードする。各オーディオトラックは、１ つ以上のオーディオチャネルを具備する。オーディオトラックは他の装置でもオ ーディオを格納できるが、例えば、あるオーディオトラックが左チャネルと右チ ャネルを備える場合がある。図７に説明する。もっとも効率的なオーディオ映像 エンコードを実行するためにオーディオエンコーダの数を求める方法、およびこ のオーディオ映像エンコードを実行する方法は、図７に説明する。図７では、開 始後、ステップ240でビデオエンコードに必要とされるパスの数Ｐが求められる 。ビデオをMPEGフォーマットにエンコードするためには、通常、２つ以上のパス がビデオのエンコードに必要となる。本発明の場合、望ましいパス数は２である が、３つ以上のパスも可能である。それから、ステップ242でエンコードされる オーディオトラックの数Ｔが求められる。本発明では、異なったオーディオトラ ック数も可能であるが、オーディオトラックの数は８が望ましい。次に、ステッ プ244では、もっとも効率的なオーディオ映像エンコードを実行するために必要 とされるワンパスオーディオエンコーダ数AEが計算される。必要なオーディオエ ンコーダの数は、ビデオエンコードに必要とされるパスの数で除算されるエンコ ードされるべきオーディオトラック数に等しい。実施例では、エンコーダの２ つのパスで除算される８つのオーディオトラックは、必要な４つのオーディオエ ンコーダに等しい。オーディオエンコーダの計算された数が整数ではない場合、 オーディオエンコーダの計算された数は、整数となるように切り上げる必要があ る。例えば、７つのオーディオトラックだけしかツーパスビデオエンコーダにエ ンコードされない場合、7/2=3.5となり、3.5は次にもっとも大きい整数４に切り 上げられる。本システムによって実行されるエンコードプロセスの間、１つのビ デオパスはオーディオエンコーダの内３台しか使用しないが、それ以外のビデオ エンコードパスは４台のオーディオエンコーダすべてを使用する。ステップ240- 244が、システムの初期設計時にだけ実行される必要があり、オーディオ映像作 業がエンコードされるたびに必要とされるワンパスオーディオエンコーダの数を 計算する必要はないことに注意すべきである。さらに、ステップ240、242および 244は、ワークステーション30のようなコンピュータによってコンピュータ／マ シン実装されるか、あるいはユーザまたはオーディオ映像エンコードシステムの 設計者により判断される。 オーディオエンコーダの数が求められ、オーディオ映像エンコードシステムが セットアップされてから、オーディオ映像エンコードプロセスが開始できる。ス テップ246では、１にカウンターがセットされる。カウンターは、ビデオエンコ ードシステムの各パスをカウントするに用られる為に可変である。それから、ス テップ248は、オーディオトラックのすべてではないが、いくつかでワンパスオ ーディオエンコードを実行しながら、第１ビデオエンコードパスを実行する。例 えば、８つのオーディオトラックおよび１つのツーパスビデオエンコーダが存在 する場合、第１パス中に４つのオーディオエンコーダを使用できる。それからス テップ250で、カウンターが１だけ増される。ステップ252では、ステップ248で 使用されたのと同じオーディオエンコーダを使用して、エンコードされていない オーディオトラックのワンパスオーディオエンコードを実行しながら、次のビデ オエンコードパスを実行する。例えば、第２ビデオエンコードパスの間、ステッ プ249で使用される４つのオーディオエンコーダは、オーディオトラック５から ８をエンコードできる。それからステップ254で、カウンタがP、必須ビデオエン コードパス数に等しいかどうかが判断される。実施例では、２つのビデオエ ンコードパスしかないため、プロセスは終了するだろう。終了しない場合、フロ ーはステップ250、252、および254から成るループを実行するために戻る。 言うまでもなく、８つのオーディオトラックがあるオーディオ映像作品用のツ ーパスビデオエンコーダを使用するだけではなく、それ以外の実施例も可能であ る。例えば、スリーパスビデオエンコーダは、６つのオーディオトラックで使用 できる。この状況では、オーディオエンコーダのもっとも効率的な数は３(6/2=3 )である。ツーパスビデオエンコーダが使用され、合計６つのオーディオトラッ クがエンコードされる場合、オーディオエンコーダのもっとも効率的な数は３と なるだろう。代替策として、スリーパスビデオエンコーダを、エンコードするオ ーディオトラックが５つあるシステムで使用することができる。この代替システ ムでは、オーディオエンコーダの内の１つしか使用されず、他の２つのビデオエ ンコードパスが、両方オーディオエンコーダの両方が使用されている間に発生す る一方、ビデオエンコードパスの内のどれか１つが動作している状態の２つのワ ンパスオーディオエンコーダが必要である。従来の技術の当業者に明らかになる ように、ビデオエンコーダとオーディオトラック数のこれ以外の組み合わせも、 本明細書に記載される教示を考慮すると可能である。 できるかぎり効率的であるという点での本発明の重要な一面とは、ビデオエン コードのパスが発生している間につねにオーディオエンコードを実行し、オーデ ィオエンコードが実行している間につねにビデオエンコードのパスを実行すると いうことである。この取り決めでは、ビデオエンコード動作の１パスの間に、オ ーディオエンコーダの少なくともいくつかがつねに使用されることになる。でき るかぎり効率的であるためには、オーディオトラック数をオーディオエンコーダ の数で均等に除算できない場合（つまり、エンコードされるオーディオトラック の数をビデオパス数で除算すると余りが出る場合）、エンコードプロセス全体で 、ビデオパスから余りを差し引いた数に等しい数の休止していたオーディオエン コーダがある。例えば、スリーパスビデオエンコーダおよび４つのオーディオト ラックの場合、２つのオーディオエンコーダが必要とされ、余り１が出る（例え ば、4/3=1で余りが1）。したがって、もっとも効率的であり、スリーパスビデオ エンコードが完了されのと同時にオーディオエンコードを完了するためには、オ ー ディオエンコーダが休止となるのはわずか２回である（例えば、３つのビデオパ スから余り１を差し引くと２に等しい）。エンコーダが休止する２回は、同じパ スで発生可能であり（同じビデオエンコードパスに異なった２つのオーディオエ ンコーダがある）、前記例のそれ以外の２回のビデオエンコードパスのそれぞれ がオーディオエンコーダのすべてを活用するか、あるいは１つの休止オーディオ エンコーダがある２つのビデオエンコードパスがあるという意味である。これら の２つのパスでは、同じまたは別のオーディオエンコーダが休止となることがあ る。 VI. エンコードされたビデオの情報を記憶するためのログファイル、ならびに ログファイルおよびエンコードされたビデオにアクセスするためのログインタプ リタユーティリティ 開示されたエンコードシステムは、当初、MPEG-2、MPEG-1、またはそれ以外の デジタルビデオエンコードフォーマットのような圧縮済みデジタルフォマットに ビデオをエンコードする。このエンコードは、システム構成要素に関する第II項 および汎用システム動作に関する第III項に説明する。したがって、エンコード されたビデオデータは、例えばハードディスク上のデジタルフォーマット内で記 憶される。 デジタルビデオエンコードプロセスの間、ビデオの統計およびそれ以外の情報 が作成され、ログファイルに記憶される。MPEGビデオエンコードに精通した従来 の技術の当業者は、ビデオを記述する統計および情報の種類、およびこれらの統 計および情報を作成する方法を熟知している。従来のエンコードシステムでは、 この種類の情報およびデータは作成されるが、通常、ビデオエンコードの後に廃 棄される。しかし、本発明の場合、ピクチャをコーディングするために使用され た合計ビット、ピクチャをエンコードする平均二乗エラー、ピクチャあたりの平 均量子化スケールなどのような作成されたこの情報は、エンコードプロセスの後 で、システムRAMからログファイルにダンプされる。本発明によって使用される ログファイルの例は、図8A-10Bに説明する。これらのログファイルは、VBR システムで特に有効であり、ビデオエンコーダの初期パス（複数の場合がある） の間に作成される。それから、ログファイルは、最終エンコードパスの間および ビデオの後での編集および再エンコードの間に使用される。 本発明により使用されることがある、シーケンスレーヤのログファイル、ピク チャレイヤログファイル、およびマクロブロックレーヤのログファイルという異 なった３種類のログファイルがある。これらのログファイルのそれぞれが、その 各レイヤの統計および情報を記述する。図10Aにブロック図される完全フォーマ ット、および図10Bにブロック図される短縮フォーマットという異なった２種類 のマクロブロックレーヤのログファイルフォーマットがある。マクロブロックレ ーヤのの詳細な情報が必要とされる場合には、完全フォーマットが使用され、マ クロブロックの詳細のすべてを追跡調査する必要がない場合には、短縮フォーマ ットが使用される。２時間の映画中のマクロブロックの数は多数であるため、マ クロブロックログファイルは大量の記憶スペースを消費する。したがって、大き な記憶スペースが使用できない限り、完全または短縮フォーマットのマクロブロ ックファィルを記憶することはできない可能性がある。ただし、マクロブロック 情報を入手する必要がある場合は、エンコードビデオを復号化するか、あるいは それ以外の手段でこの情報を再構築することができる。 図8A-10Bにブロック図されるログファイルフォーマットの詳細の多くは重要で はなく、これらのファイルフォーマットは、単に、エンコードプロセスの間に作 成できるデータの例図としてのみ提供されたことに注記すべきである。しかし、 ログファイル中の情報のいくつかは、ビデオの質を変更するプロセスの間に使用 されるので重要である。以下に説明するように、エンコードされたビデオの編集 ポイントを決定するためには、初期のピクチャにより消費されるビット数を総計 する必要がある。合計される情報は、図9Bおよび図9Cに描かれ、ピクチャごとの ビット数(generated_bit_plcture)、シーケンスヘッダ(bits_sequence_header) 、ピクチャのグループ(GOP)ヘッダのビット数(bits_GOP_header)、およびスタッ フィングとして使用されるビット数またはスペースを埋めるために使用されるビ ツト数(stuffing_size)に関する。 図11は、ログファイルを使用して実行されるさまざまな機能のフローチャー トを説明する。ビデオセグメントの初期エンコードの後、ステップ270では、図8 A-9Cにブロック図されるビデオエンコーダの自動実行から作成されたピクチャお よびシーケンスレーヤのログファイルを読み込む。それから、ステップ272でエ ンコードされたビデオに録画されるピクチャごとのログファイルレコードのバイ トオフセットを示すインデックステーブルを作成する。２つのテーブルが作成さ れる。一方はフレーム番号により、もう一方はタイムコードによりインデックス が付けられる。タイムコードインデックステーブルには、ピクチャごとのログフ ァイルの中にオフセットされるバイトが記憶され、タイムコードの昇順で並ベ替 えられる。同様に、ピクチャフレームインデックステーブルには、（エンコーダ によって確認されるように）入力されたピクチャ番号の昇順で並べ替えられるロ グファイル内へのバイトオフセットが記憶される。 作成されたインデックステーブルは、任意の希望されるピクチャまたはマクロ ブロックのログ情報をすばやく選び出すのに有効である。ログファイル内のシー ケンス、ピクチャまたはマクロブロックのデータを記憶するためには固定サイズ レコードが使用されているが、エンコーダはそれらをコーディングする前に入信 ピクチャを並べ替える。加えて、3:2の割合で毎秒30フレームに引き下げられた 映画（毎秒24フレーム）ソースを取り扱う場合、ある種のタイムコードは省略さ れる。インデックステーブルは、ピクチャの並べ替えおよびタイムコードの省略 にも関らず、適切なデータの位置をすばやく突き止めるための手段となる。 ビデオのさまざまなフレームと期間がその品質を手動で改変されるに従い、エ ンコードされたビデオは頻繁に変化するので、本発明によるエンコードシステム が、各ピクチャをコーディングする際に使用されるエンコードされたのビット数 のディレクトリまたはインデックスを維持しないことを注記すべきである。ただ し、エンコードされたの情報を記述するログファイルは固定サイズレコードであ るため、ピクチャまたは期間の品質が改変されても、ログファイル内の情報のデ ィレクトリまたはインデックスを維持することは容易である。 インデックステーブルの作成後、ステップ274を使用することにより、ユーザ は、ブロック276、278、および280に描かれるさまざまなログファイルユーティ リティを使用するログファイルからさまざまな情報をすばやく入手できる。ロ グファイル中のレコードが必要とされる場合、作成されたインデックスは、ログ ファイル内の希望のレコードを突き止めるために使用され、完全なレコードがロ グファイルから引き出される。それから、このレコードは希望される個々のパラ メータを検索するために解析される。個々のレコードをインデックステーブルを 使用して解析するプロセスは、他のログ解釈プログラムユーティリティのすべて の基礎となる。解析プロセスは既知であり、従来の技術の当業者は、編成された ファイルから希望の情報を検索する方法を理解している。 ステップ276は、ログファイルのカットアンドペーストユーティリティである 。フレーム内でまたは期間で手動で量子化（および画質）を変更した後、ログフ ァイルのオリジナルセットは、編集中に発生した変更に対応するように更新され なければならない。ログファイルのカットアンドペーストユーティリティは、編 集済みのセグメントタイムコードに対応するログファイル内でオフセットの位置 を突き止め、ログファイル内の情報を再エンコードされたビデオに対応する新し い情報で置き換える。再エンコードのプロセスについては、以下のVIII項に説明 する。 ステップ278では、デジタルでエンコードされたビットストリームの編集を可 能とするためにパラメータを入手するためのユーティリティを示している。ビデ オが最初にエンコードされ、ユーザがビデオのフレームの品質または期間の改変 を希望する場合、削除され、希望の品質を備えた新規にエンコードされたビデオ で置き換えられなければならないエンコードされたビデオ内の適切な部分を突き 止める必要がある。 エンコードされたビデオのビットストリーム内の編集ポイントのバイトオフセ ットは、編集ポイントに対応するピクチャまで各ピクチャをエンコードするのに 使用されるビットの累積項目を計算することにより求められる。指定のピクチャ が位置するファイルの最初からのバイトまたはビットの総数を求めるために、以 前のピクチャのそれぞれをエンコードするのに使用されたビット数が合計される 。合計されたピクチャログファイルから入手される情報とは、１番目のピクチャ をエンコードするのに使用されるビットＢｉの数、シーケンスヘッダを構成する ビットＳｉの数、ピクチャのグループ（ＧＯＰ）ヘッダをエンコードするのに使 用 されるビットＧｉの数、スタッフィングとして使用されるヒットＴｉの数である 。Ｎ番目のピクチャのビットオフセットは、次に示すように計算される。 バイトオフセットは、ビットオフセットを８で除算することによってだけ計算 される。エンコードされたビデオビットストリーム中のアドレスオフセットを求 めるためにログファイルを使用する代替策として、ビットストリームデコーダを 使用して、ピクチャオフセットのディレクトリを作成することができる。ただし 、エンコーダは、ディレクトリを更新するために編集が終わるたびにビットスト リーム全本を実行しなければならないため、このアプローチは面倒である。 最後に、ステップ280では、タイムコードをもっとも近いピクチャのグループ （GOP）の最初または最後に四捨五入するためのユーティリティを示している。 エンコードされたビットストリームのすべての切取りまたは編集は、ピクチャの グループ（GOP）の境界で実行される。ただし、GOP境界はビデオに編集を実行す るオペレータにはわからない。オペレータがいったん編集セグメントの開始ポイ ントおよび終了ポイントを指定すると、システムはGOP境界を計算する。GOP境界 は、各ピクチャレコード内に記憶されるGOP番号と呼ばれるピクチャレイヤパラ メータを検討することにより設定される。ピクチャレイヤログファイルの連続レ コードを通してトレースすることにより、図9Bの中のGOP番号（GOP_number）が 変化すると、GOP境界があると判断される。 ログファイルおよびログファイルユーティリティは、ビデオエンコーダに密接 に関係しているので、ログファイルは図1Aに図示されるワークステーション10の ハードディスク内に記憶され、ログファイルユーティリティはワークステーショ ン10により実行される。代わりに、ワークステーション30またはそれ以外のの任 意の処理システムにログファイルが格納され、ログファイルユーティリティが実 行されることがある。 VII. エンコードされたビデオの品質の変更 A. 期間での品質の変更 エンコードシステムにより作成されるエンコードされたビデオは、光ディスク のような最終的なデジタル記憶媒体に書き込まれることを目的とする。ディスク 上のエンコードされたビデオは、一定ビットレート(CBR)動作と比較すると、ビ デオの異なったセクションの間でのビットレートの大きな変更の可能性を提供す る可変ビットレート(VBR)でエンコードされる。VBRコーディングにより、著しく 異なるビット数を異なったピクチャに割り当てることができるようになるため、 画質は経時的に変化する。さらにVBRは、CBR動作では不可能なスケール内でのユ ーザによって定義されたビデオのセクションにデータレートを割当てし直す可能 性も提供する。CBRにより同じことを達成する場合には、デコーダできわめて大 きなバッファが必要になるだろう。 エンコードシステムによって手動編集と呼ばれることが可能になるが、手動編 集とは、映画の中で場面を短縮または延長したり、異なった場面を置換すること ではなく、画質を変更することである。画質は経時的に変更することができ、本 項に説明するように時間的編集または時間的手動編集と呼ばれる。別の項では、 フレームのあるセクションからフレームの別のセクションにビットをシフトする ことによって、データのフレーム内での画質を変更する、空間編集または空間手 動編集と呼ばれることについて説明する。 時間的編集、つまり編集セグメントのさまざまなセクションの間でのビットを 再割当てで、以下に示す３つの主要な制約を満たす必要がある。 1.編集される映画／ビデオの総容量が割り当てられた容量を上回らないこと。 2.編集セグメント内にバッファアンダフローがないこと。 および 3.時間的編集によって生じさせられる編集セグメントの外側にバッファアンダ フローがないこと。 制約１は、結果として生じる編集済みのセグメントが最初にエンコードされた セグメントと同じビット数を消費するように編集セグメントをエンコードし直す ことにより処理される。変種セグメントが検討される期間全体であることを注記 すべきである。編集セグメント内の異なる期間には、ユーザにより品質が指定さ れ、編集セグメントのこれらの期間は単にセクション、または期間と呼ばれる。 アンダフロー状態が存在するかどうかを突き止めるためには、デコーダのモデ ルを使用して目標ビットを確認することが必要である。エンコーダのVBR動作で は、ビデオバッファ検査機構(VBR)モデルの修正されたバージョンが使用される 。このモデルは、VBRの簡略修正モデルと呼ばれ、デジタル記憶装置媒体(DSM)に 使用できる。VBRモード用のVBVは既知でありMPEG-2規格で定義され、ISO/IEC 13 818-2の第C.3.2項の付録Cに特に記載される。 VBR用VBVモデルでは、デコーダのバッファはいっぱいのままであるが、アンダ フローしないように制限されている。さらに、バッファは一定のレートRmaxでバ ッファがいっぱいになるまで充填し、それからバッファが空になり始めるまで、 ビットはバッファに伝送されない。各フレーム間隔ごとに、あるフレームを復号 化するために必要とされるビットがバッファから削除される。これを念頭に入れ ておくと、VBRモードでは、ピクチャの列に割り当てるビットが多すぎると、バ ッファアンダフローが発生することが分かる。ピクチャのビットがバッファから 削除されるに従い、バッファは空になり、高画質ピクチャのビットの大多数がバ ッファを充電できるレートより早いレートで削除される場合、バッファがアンダ フローする。アンダフローを防止するために、ピクチャをエンコードするために 使用されるビット数が低減される。ピクチャのビット数を低減すると、充填レー トは同じに保たれるが、ビットをバッファから削除するレートが低減される。VB V占有がいっぱいである場合、VBVバッファへのビットストリーム伝送は即座に停 止されるため、バッファオーバフローはVBRに関して発生できない。つまり、バ ッファオーバフローではなく、単にバッファがいっぱいな状況が存在する。ISO/ IEC 13818-2、付録C、第C.3.2に説明されるように、VBRの簡略修正VBVモデルは 以下の通りである。 1.sequence_headerでのbit_rate_fieldはmax_bit_rateを表す。 2. VBVは当初空である。VBVバッファ（つまりVBVバッファファイル）をmax_b it_rateのレートでいっぱいに満たしてから、復号化プロセスが開始する。ピク チャデータは、MPEG-2国際規格に定義されるCBRのVBVモデルのように ただちに削除、エンコードされる。 3. ビットストリームは、VBVバッファがいっぱいになるまでmax_bit_rateの レートでVBVバッファの中に格納される。VBVバッファ占有がいっぱいの場合、VB Vへのビットストリーム転送は即座に停止される。次のピクチャのデータが削除 されてから、ビットストリーム伝送は即座に開始する。 4. VBVバッファはアンダフローしないものとする。 5. 各vbv_delayフィールドがFFFFに設定される。 期間でビデオの品質を変更するには、ビデオのフレームにビットを追加または ビデオのフレームからビットを削除する必要がある。ここで、ビデオのセクショ ンに追加またはビデオのセクションから削除されるビットの数についての説明を 行う。ビデオのセクションに追加またはビデオのセクションから削除できるビッ トの数は、検討されているビデオのセクションの有効ビットレートに依存する。 有効ビットレートＲは、以下のように計算される。 R=（総割当てビット／フレーム数）＊Frame_Rate （2） 総割当てビットはビットレートに正比例しているので、割当てビット数を参照す ることは、異なる単位を使用する場合を除き、ビットレートと同じ意味を伝える 。保証された最小レート、例えばRminがビデオの任意のセクションに適用される と仮定すると、セクション「i」から削除できる最大ビット数は以下の通りであ る。 T_i=（R_i-R_min）＊N_i/Frame_Rate （3） この場合、Niはセクション「i」のフレーム数で、Ｒｉは同じセクションの有効 レートである。保証された最小値は、セクションに最小品質レベルを保証するた めに必要とされる。同様に、指定されたセクション「j」に追加できる最大ビッ ト数は、以下の通り計算される。 T_j=（R_max-R_j）＊N_j/Frame_Rate （4） この場合、Rmaxは最大レート、つまりバッファがいっばいでないときに充填する レートであり、Njはセクションjのフレーム数である。 期間で画質を変更すること（時間的編集）についての説明は、今度は図12およ びそこに参照される図に関して行う。開始後、ステップ281では、第II項および 第III項で前述したようにユーザの介入なく自動ビデオエンコードを実行する。 自動エンコードの場合、作成されるデータストリームの最大レートおよび最小レ ートがある。最大ビットレートは、ビデオデコーダの機能により決定され、例え ばRmaxは毎秒Mbitsである。最小ビットレートは、希望される最小画質に応じて 、ューザが指定できる。典型的な最小ビットレートRminは毎秒３Mbitsである。 ビデオの部分が低いビットレートとなり、ビデオの部分が高いビデオレートとな ることができるように、平均エンコードレートとは異なり、平均エンコードレー トをやや下回るRminを設定するのが望ましい。Rminがビデオの平均エンコードレ ートをわずかに下回って設定されると、結果として生じるエンコードビデオはか なり一定した阿質となる。通常、Rmax=毎秒８MbitsでRminが毎秒約３Mbitsの場 合、ビデオの平均値は毎秒約３1/2から５Mbitsとなるはずである。 移動ビデオエンコードがステップ281で実行された後、レート量子化関数を求 める必要がある。本発明のプロセスでは、希望の品質を獲得するのに必要なビッ ト数が求められるが、再エンコード時には、希望のビットレートを結果的に生じ させるために量子化値を設定しなければならない。レート量子化関数は、それぞ れ参照により本明細書に取り入れられる記事、画像処理に関するIEEE会報、第３ 巻、第５号、1994年９月、533-545ページのラムチャンドラン(Ramchandran)その 他による「マルチ解像度およびMPEGビデオディスクロージャに適用される依存量 子化のためのビット割当て」、IEEE ICASSP、1993年、V381-V-384、ラムチャン ドランその他による「MPEGビデオ符号器に適用される依存量子化のためのビット 割当て」、および1994年にプリンストンビデオ会議で提示されたレイニンガー(R eininger)による「レート−歪み曲線を使用する多重化されたMPEGビデオ用の共 同マルチチャネルビットレート制御」に説明されるような従来の方 法で計算できる。 次に、ステップ284では、選択された期間のユーザ品質設定値を入力する。ユ ーザは、究極的にはピクチャの量子化を制御するのに使用される異なったセクシ ョンの優先順位を入力する。量子化は、損失のあるMPEGエンコードの解像度とも 呼ばれる画質を制御する。図13には、期間でビデオの品質を変更するために情報 を収集する目的で使用されるユーザインタフェーズを説明する。当初、ユーザは 、品質を変更することになる編集セグメント全体の期間を入力する。この応報の 入力は、図13のユーザインタフェースには図示されていないが、図13のユーザイ ンタフェースが表示される前に入力される。図13に示される例の場合、変更対象 の編集セグメントの期間が、例えば時間０分から時間５分までとなることがある 。ユーザが編集セグメントの総期間を記述した後に、編集セグメント内のさらに 短い期間に、優先順位Ｐを含む-5から+5までの範囲のさまざまな優先順位が指定 され、この期間の品質が保護され、改変してはならないことを示している。優先 順位「なし」は、Pという優先順位と同じ意味である。エンコードシステムは前 記入力スキームに限定されず、ユーザの希望の優先順位を入力するために、それ 以外の範囲または記号を使用できるのは言うまでもない。 優先順位を指定するのに加えて、ユーザは最小ビットレートも入力する。この ビットレートは、ステップ281の自動ビデオエンコードの間にビデオをエンコー ドするために使用される最小ビットレートと異なっている場合がある。ユーザイ ンタフェースのもう１つの特徴とは、それを使用すると、ユーザが「バックグラ ウンド優先順位」を設定できるという点である。これは、ユーザが優先順位を指 定したのではない選択済みの期間内の期間にこのバックグラウンド優先順位が設 定されることを意味する。例えば、図13では、バックグラウンド優先順位に「1 」が指定されるとすると、未指定の期間00:03:20:01から00:03:59:99には、ユー ザが手動でこの特定のセクションに優先順位を指定しなくても、「1」という優 先順位が自動的に指定される。 図13に描かれるインタフェースの底部では、編集セグメント内で新しい期間を作 成するために「挿入」ブロックが使用され、以前に作成された期間を変えるため に「リコール」ブロックが使用され、期間に加えられる変更を保存するために 「更新」が使用され、期間を削除するために「削除」が使用される。 光ディスクのようなエンコードされたビデオ用の究極のデジタル記憶装置媒体は 、自動的にエンコードされたデータがディスクに書き込まれる場合には、理想的 には容量まで満たされる制限された記憶領域容量を備える。したがって、画質を 向上させ、ある特定の期間のビットレートを引き上げる場合はつねに、品質が向 上した期間に必要な余分な記憶容量を供給するために、品質が低下したビデオの セクションが存在しなければならない。したがって、本発明の実施例では、品質 を改善するのに必要なビットはビデオの別のセクションから取らなければならな いため、別の期間に違う画質を割り当てないで、１つの期間だけに高い画質を割 り当てることは不可能である。したがって、編集されたビデオのセグメントには 、バックグラウンドセクションとは異なり、時間的な手動編集が適切に動作する ために「保護つき」のセクションとマークされていない少なくとも１つのセクシ ョンがなければならない。さらに、ユーザが優先順位を設定した結果、同じ画質 およびビットレートが、それらが選択されるたびに生じることはないが、編集セ グメント内のピクチャのビットの修正された数を求めるためのプロセスを理解す ると明らかになるように、ある特定のセクションの品質は、他のセクションの割 り当てられた優先順位および池のセクションの長さにも依存する。 本発明によるエンコードシステムにより活用される特徴とは、視聴者が、自動 エンコードプロセス中にまたは後日、エンコードされたビデオをレビューするこ とができるという点である。エンコードされたビデオが視聴者に表示されるに従 って、視聴者は、ビデオを停止したり、関心のあるタイムコードを書き残したり しなくても、ビデオの関心のあるポイントや領域を記憶するために、リターンキ ーを押したり、画面に表示される「ボタン」の上でグラフィックユーザインタフ ェースを「クリック」するなどの機能を実行できる。これらの関心のあるポイン トは、後日、ユーザが呼び出し、映画全津をレビューしなくても綿密に検討する ことができる。これは、ユーザが変更を希望するエンコードビデオ内のポイント を決定する便利で、効率的な方法となる。この機能は、関心のあるポイントや領 域が発生した時点での位置に対応して、タイムコードを記憶することによって達 成される。 ユーザがステップ284で希望の晶質設定値を入力してから、ステップ286でユー ザの入力に基づいてフレームごとに修正されたビットが計算される。このプロセ スは、図14-16Bに関して詳細に記述される。ビデオの編集セグメント内で時間の ビットレートを変更するための一般的な手順は、図14のフローチャートに説明さ れる。ユーザの入力に基づいてビットレートを計算するために、ステップ302で は、-5と+5の間の範囲内から10と０の間の範囲内にあったユーザの入力をマッピ ングする。-5という初期入力は、10というマッピングされた設定値に対応し、最 小品質であり、+5という入力は０というマッピングされた設定値に対応し、最大 画質である。同様に、０という入力された品質選択は５というマッピングされた 設定値に対応するなどである。ステップ302で実行されるマッピングの目的とは 、割り当てられたビット数がマッピングされた設定値により乗算される量-1のべ きまで引き上げられるe(2.71828...)に比例することである。この場合、優先順 位の設定値がさらに小さい場合のビット数が、優先順位が高い場合より下回るよ うに、さらにe-10はe0を下回る。目標ビットを優先順位-4から+4に対応して求め るプロセスは、図16Aと図16Bに詳細に説明される。 ステップ304では、「保護つき」のセクションがあるかどうか判断される。保 護つきセクションとは、画質を以前の自動エンコードから変更してはならないセ クションのことである。保護つきセクションがある場合は、フローはステップ30 6に進み、そこで保護つきセクションの再エンコードに割り当てられるビット数 が最初の自動エンコードの結果生じる以前のビット数に等しくなるように設定さ れる。このようにして、保護つきセクションのピクチャ品質は変化しない。 ステップ308では、最大品質または最小品質に設定されるセクションがあるか どうか判断される。最大品質とは、ユーザ入力+5に対応し、最小品質とはユーザ 入力-5に対応する。最大画質および最小画質の場合、依然としてビデオバッファ の制約を満たし、エンコードされたビデオを記憶する媒体の記憶容量を上回らず に、それぞれ最高品質のビデオと最低品質のビデオが設定されたエンコードされ たビデオを入手するのが望ましい。最大品質または最小品質に設定されるセクシ ョンがある場合は、フローは、ステップ310に進み、そこで最大ケースまたは最 小ケースの修正ビット数が計算される。このプロセスは図15に詳しく示される。 図15では、最大ケースおよび最小ケースに割り当てられたビット数を求めるプ ロセスが、マッピングされた優先順位の10と０にそれぞれ割り当てられたビデオ のセクションに最小レートおよび最大レートを割り当てることによってステップ 320で開始する。図14のステップ302では、このマッピングおよび時間的編集の記 述の残りの部分が実行され、それ以外の明確な指示がないかぎり、マッピングさ れた優先順位が参照される。以下に記述されるように、最大データレートはデコ ーダの能力により制限を受け、毎秒１Mbitsとなり、最小データレートは、示し ているように図13でユーザインタフェースによりブロック図され、通常は毎秒３ Mbitsとなる自動エンコードモードの間に使用される最小ビットレートを下回る こともあれば、上回ることもある。 それから、ステップ322では、マッピングされた優先順位１から９が設定され たセクションがあるかどうか判断される。つまり、最大品質または最小品質が割 り当てられていることに加え、ユーザが割り当てるそれ以外の中間品質が存在す るのである。それ以外のマッピングされた優先順位がある場合には、フローはス テップ324に進み、１と９の間のマッピングされた優先順位が設定されるすべて のセクションの平均ビットレートが計算される。この平均が許容範囲（最大ビッ トレートと最小ビットレートの間）にない場合、フローはステップ328に進む。 ステップ328では、最大レート、つまり最高の画質を実現するレートは、平均が 最小レートを下回る場合に低減される。最大レートを引き下げることにより、非 最大状況および非最小状況（マッピング優先順位1-9）に使用できるビット数が 多くなり、それにより平均が希望の範囲内または希望の範囲近くとなる。代わり に、ステップ328では、平均が最大レートを上回る場合、最小データレートは引 き上げられ、それにより非最大状況および非最小状況（例えば、優先順位1-9） のビット数が引き下げられる。ステップ328の後、フローは平均が範囲内になる までステップ324、326、および329が繰り返される324に戻る。さらに、最大ビッ トレートおよび最小ビットレートは、「保護つき」セクションが品質の調整の前 と同じビットを受け取ることを確実にするために調整される。 いったんステップ326で平均が範囲内にあると判断すると、フローはステップ3 30に進み、それぞれマッピングされた優先順位10と０が設定されるセクション に計算された最小レートおよび最大レートが割り当てられる。それから、ステッ プ332で、残りのビットは、保護つきではなく、最大状況や最小状況でもないセ クションに分配される。マッピングされた範囲1-9が設定されるビデオのセクシ ョンおよびデータレートの変更方法については、図16Aおよび図16Bに関して後で 説明する。 ステップ322でマッピングされた優先順位1-9が設定されるセクションが存在し ない、つまり最大セクション、最小セクションまたは保護つきセクションだけが 存在すると判断した場合は、ステップ340で、ビットの最終割当てが自動エンコ ードによるビットの初期割当てと等しくなるまで、必要に応じて最小レートおよ び最大レートを調整する。ステップ340を実行する２通りの代替方法がある。第 １に、最大ビットレートRmaxは、例えば毎秒８Mbitsで固定されている。総合的 な編集セグメントの合計ビットは理解されているため、最小データレートである Rminは、自動エンコードの間に獲得されると同じビット総数を達成するために調 整されるだけである。Rminを総ビットの以前の数を達成するために調整すること ができない場合には、自動エンコードの間に獲得されるビット総数を達成するた めに、最大データレートRmaxが調整される。 代替策として、ステップ340では最大品質セクションに優先順位１および最小 品質セクションに優先順位９が指定され、編集セグメントの期間の新しいビット レートを求めるために、図16Aおよび図16Bにブロック図されるビット割当てアル ゴリズムが実行される。それから、ステップ342で図16Aおよび図16Bに従って計 算されたデータレートが、以下に説明するように、最低指定品質および最高指定 品質が設定されるセクションに割り当てられ、図15のプロセスが終了する。 ステップ308およびステップ310が、必要な場合に実行された後で、ステップ31 2で、すべてのセクションにマッピングされた優先順位1-9が設定されるかどうか 判断する。これが当てはまると、フローはステップ314に進み、図16Aおよび図16 Bに詳説するように、マッピングされた優先順位の修正ビット数が計算される。 図16Aの最初のステップでは、使用される共通ビットプールのサイズを決定す る。当初、保護つきではないマッビング優先順位1-9が設定されるすべてのセク ションでゃ、一定数のビットが削除されている。再分配深度と呼ばれる係数k1は 、このために使用され、例えば、0.4に設定され、以前に（つまり自動エンコー ド実行がら）割り当てられたビットの40％が、保護つきでもなく、最大品質や最 小品質によりマークされてもいないあらゆるセクションから削除されることにな ることを意味する。 次に、ステップ362では、ユーザ選択品質がどの程度品質に影響を及ぼすかを 判断する。動的範囲係数と呼ばれる変数k3が設定され、優先順位から生じること になる品質変更を決定する。k3がどのように設定されるかに応じて、例えば優先 順位２は、品質での相対的に小さな向上、または品質での比較的に大きな向上の ようなさまざまな品質の変更を課す場合がある。通常、動的範囲係数k3は、1.0 に設定される。 ユーザ選択優先順位をビットの再分配で使用するには、形式exp（一優先順位/ k3）の指数的な関係が使用される。指数内の動的範囲係数k3が、指数曲線の形状 を決定する。曲線は、動的範囲係数の値が大きくなるほど急勾配となり、実質上 、変化する優先順位が設定されたセクションの間で割当てし直したビットでの不 均衡が強まる。この負の指数は、マッピングされた優先順位の絶対値が増加する に従い（さらに低い優先順位セクション）、そのセクションに割り当てられるビ ットは減少する、つまりマッビング優先順位１は最高の優先順位で、９まで数を 引き上げると設定される優先順位が低くなることを意味する。 ステップ364では、ユーザ選択優先順位が正規化されろ。つまり、ユーザが選 択した優先順位が、各セクションの相対優先順位を決定するために使用される。 まず、E1が計算される。 E_i=exp(-p_i/k₃) （5） この場合、p1とはマッピングされたユーザ選択優先順位で、ｉは、保護つきまた は最大品質や最小品質が設定される期間を除く、編集セグメント内のセクション 期間である。次に、優先順位製機化係数k2が、以下のように計算される。 この場合、Nはセクション数である。優先順位正規化係数は、優先順位に従って 割当てし直されたすべてのビットの合計が、つねに、ビットの使用可能な共通プ ールに等しくなることを確実にするために必要とされる。 したがって、各セクションの相対優先順位は、以下のように計算される。 R_i=E_i/k₂ （7） Riはｉ番目のセクションの相対優先順位の端数であるので、すべてのRiの求和は 単一となる。 ステップ366でセクションのサイズが正規化されろ。割り当てられた優先順位 が設定される期間のサイズは異なり、ビットはさまざまなセクションのサイズに 比例して分配されなければならないので、これが必要である。第１に、編集済み フレーム総数での各期間内のフレーム数の端数Ti（保護つきではない、非最大、 または非最小優先順位が設定されるフレーム）は、以下に従い求められる。 T_i=N_i/N （8） この場合、Niはｉ番目の期間内のフレーム数であり、Nは編集セグメントのフレ ーム総数である。つまり、改変され、保護されておらず、最大でも最小でもない 優先順位ではない）優先順位が指定されるすべてのフレームである。したがって 、サイズ正規家系数k3は、以下の等式に従い計算される。この場合、Nはセクション数である。図16Aのステップ366から、フローは図16Bの ステップ368に進む。 図16Bでは、ステップ368で、以下の等式に従い、ビットの共通プールが求めら れる。 この場合、Biはｉ番目のセクションの自動エンコード手順の間に使用されたビッ ト数に図15のステップ332で分配されたあらゆるビットを加算したビット総数で ある。求和は「N」セクション上である。 それから、ステップ370で、以下の等式に従い各セクションに割り当てられる ビットのターゲット数を求める。 F_i=C*T_i*R_i/k₄+(1-k₁)*B_i （11） 各セクションのビット総数Fiは、ビットの共通プールのパーセンテージにビット の共通プールに与えられたビット分低減されたビット(Bi)の元の数を加算したも のに等しい。ビットの共通プールからのビットのパーセンテージは、各セクショ ンのフレーム総数の端数(Ti)、セクションの相対優先順位(Ri)、およびセクショ ンのそれぞれに総計されるフレームおその対応する端数で乗算されるセクション の優先順位に依存するサイズ正規化係数(k3)に基づいている。 ステップ370で計算されたセクションごとに割り当てられたビットのターゲッ ト数が最大データレートと最小データレートの間にない場合がある。これが当て はまると、ステップ372で、再分配深度k1が0.01低減され、フローは、ステップ3 68のビットの共通プールを計算し直し、ステップ370のビットのターゲット数を 計算し直すために戻る。ステップ368、370、372および374のループが、ステップ 370で計算されたビットのターゲット数が最大データレートと最小データレート の間になるまで実行される。 それから、ステップ376では、ビット位取り因数Siおよびイントラフレームお よび非イントラフレームが、希望の品質を獲得するために異なるビット数を必要 とする。まず、ビット位取り因数Siが、以下の等式に従い計算される。 S_i＝F_i/B_i （12） 次に、イントラビクチャおよび非イントラビクチャの位取り因数が計算される。 イントラ位取り因数SIiは、以下の等式い従い計算される。 SI_i＝Si−（I_f*S_i'） （13） 大きなイントラフレームにより、バッファアンダフローが発生する可能性があり 、イントラ因数Ifは、イントラピクチャのビット割当てでの変動を、If=0.8のと きに20％に制限することによって安全率を示す(つまり、SIiは範囲0.8<ＳＩｉ<1 .2に制限される)。Si‘-Si-1.0であることに注意する。非イントラビット位取り 因数SNiは、以下のように計算される。 SN_i＝S_i−（−I_f*S_i'*BI_i/BN_i） （14） この場合、BIiおよびBniは、ピクチャタイプによってｉ番目のセクションで合計 される総イントラビットと非イントラビットである。 最後に、フレームごとに使用されるビット数は、適切な食らい取り因数（イン トラ位取り因数または非イントラ位取り因数のどちらか）で乗算される元のビッ ト数を使用して求められる。それから、図16B（および図14）のプロセスが終了 する。 この時点で、各フレームの修正されたビット数が計算され、図12のステップ28 6が完了する。ただし、フレームの変更済みビット数によりバッファアンダフロ ーが生じたり、編集セグメントの立ち下がり端でのビット数の占有が、編集セグ メントの外のそれ以降のフレームがアンダフローするように変化する場合がある 。これらの状況は、必要ならば、図17に詳説される図12のステップ288で調べ、 訂正される。 図17は、バッファアンダフローがないか確認、訂正し、編集セグメントの立 ち下がり縁でのビット再割当てのための問題を確認、訂正するプロセスを説明す る。図17では、ステップ390で編集セグメントのフレームのそれぞれのビット割 当てをスキャンする。それから、ステップ392で、前述のVBVモデルを使用する新 しいビットの分配のアンダフローがないか確認する。アンダフロー問題が存在し (u_flowリスト）、各アンダフローを排除するのに必要なビット数が求められ、u _valに記憶されるポイントのリストが作成される。アンダフローが、多すぎるビ ットによって表されるピクチャのために発生することを頭に入れていおくことが 重要である。多数のビットで表される高品質のピクチャがデコーダによってバッ ファから読み出される場合は、ピクチャが復号化されるときにバッファから多数 のビットが削除され、これらのビットは十分に速く再び満たすことはできない。 したがって、アンダフローを排除するためには、ビットはピクチャ空削除される 。さらに、ステップ392では、バッファがいっぱいであるポイントのリストが作 成され、これらのポイントはo_flowに記憶される。前述したように、バッファが いっぱいになると、データはバッファに伝送されなくなるので、バッファがいっ ぱいであっても問題はないことに注意する。 ステップ394では、編集セグメントの立ち下がり縁でのバッファ占有を調べる 。動作のVBRモードでは、編集済みビデオセグメントの立ち下がり縁でのバッフ ァ占有が、編集済みセグメントがまったく同じビット数で置き換えられていても 、修正された実行のバッファ占有とは異なる可能性がある。これは、VBR用のVBV モデルの特異性から生じる。したがって、バッファ占有の制約を調べることが重 要である。編集セグメントの立ち下がり縁でのバッファ占有がビットの再分配の 前とまったく同じか、あるいさらに高い場合に、問題は存在しないことを示すの はかなり簡単である。バッファ占有が以前とまったく同じ場合には、それ以降の フレームの占有も、VBV違反がないかすでに確認済みの以前の実行とまったく同 じままとなる。占有が以前より高い場合、バッファがそれ以降のフレームの間に いっぱいになる可能性があり、それは、バッファがいっぱいな場合、データはバ ッファに送られなくなり、アンダフローは発生しないので完全に許容できる状態 である。しかし、以前の実行と比較して、バッファ占有が立ち下がり縁でさらに 低い場合に、第３のケースが生じる。これは、それ以降のフレームでバッファア ンダフローを作成する可能性があり、密接に調べる必要がある。 編集セグメントの最後のフレームを、バッファセグメントの外側でのフレームの バッファアンダフローを防ぐために処理できる２通りの方法がある。第１のアプ ローチは、２つの内で簡単な方である。編集セグメントの最後のフレームのビッ ト数により、（ログファイルに記憶される）元のエンコードより大きいまたは元 のエンコードに等しいバッファ占有が生じる場合、アンダフロー問題は存在せず 、したがって処置を講じる必要はない。編集セグメントの最後のフレームのバッ ファ内のビット数が、最初にエンコードされたセグメントのバッファ内のビット 数を下回る場合、ビットのこの低減された数により、編集セグメントの後のフレ ームの内容に応じて、編集セグメントの外側のフレームのアンダフローが生じる 場合もあれば、生じない場合もある。アンダフローが発生しないように防ぐのに 必要となるビット数を求める代わりに、編集セグメントの最後のセグメントのバ ッファの占有が、元のエンコードの場合と同じになるように調整されるだけであ る。安全性の目的から、編集セグメントの最後のバッファ占有または十分さは、 アンダフローの可能性がないことを保証するために元のエンコードの占有の10％ 上まで引き上げることができる。編集セグメントの最後のフレームのバッファ占 有を元のエンコードのレベルになるように引き上げる必要がある場合は、終了フ レームのビット数をステップ398で実行したように低減する必要がある。最後の フレームはアンダフローポイントとして処理され、u_flowリストに格納され、バ ッファレベルを元のエンコードのレベルまで引き上げるために最後のフレームか ら削除する必要があるビット数がu_valに付加される。 編集セグメントの再エンコードにより生じるアンダフローを処理するための第 ２のアプローチは、編集フレームの外側でバッファアンダフロー状況を引き起こ さない編集セグメントの最後のフレームのバッファの最小可能レベルを概算する 反復プロセスである。これは、元のエンコードのバッファ占有と編集セグメント の最後のフレームの再エンコードのバッファ占有の間の最大差異を概算するプロ セスにより実行される。 図18にブロック図されるフローチャートを見ると、元のエンコードバッファ占 有にはB0が割り当てられ、元のエンコードのログファイルに記憶されていた。 i=1...nの場合に編集セグメントの境界を超えたフレーム「i」でのバッファ占有 はBiである。この場合、「n」はエンコードされる映画内の最後のフレームに相 当する。再エンコードのバッファ占有が、連続するフレームのどれかでアンダフ ロー状況を引き起こさずに元のエンコードからどの程度低くなることができるか は、再エンコードのバッファレベルを、少なくとも、それが元のエンコードのた めであったポイントに設定するだけの第１アプローチとは対照的に決定されなけ ればならない。この条件を満たす境界での新しいさらに低いバッファ占有をB0‘ にする。これは、編集セグメント境界での最小許容バッファ占有である。以前の 実行のバッファ占有より低いバッファ占有を設定する可能性は、差異が、編集セ グメント後のもっと遅いフレーム間隔で吸収されるため、アンダフローが発生し ないという事実から生じる。 図18のステップ420で開始し、編集セグメントの最後のフレームの再エンコー ドされたビデオのバッファ占有B0‘が、将来アンダフローを引き起こすことなく ゼロであると想定する。これは、バッファ占有が、アンダフローを防ぐためには より高くなければならないが、バッファ占有はゼロを下回ってはならない可能性 があるため、BO’に関してもっとも自由な概算である。しかし、図18のプロセス は、再エンコードされたの編集セグメントの最後のフレームのゼロの占有により アンダフローが生じるかどうが、および生じる場合、アンダフローを引き起こさ ない値BO‘が見つかるまで、編集セグメントの最後でバッファ占有を増加させる かどうかを確認するためにチェックする。 図18のプロセスでは、元のエンコードと再エンコードの間の概算バッファ占有 差異「X」を評価する。 X'＝B₀-B₀' （15） 差異「X」は、「X」がチェックされ、必要に応じてアンダフローのすべての可能 性が排除されるまで調整されていることが保証されるまで、最終的に決定できな いので概算と呼ばれる。図18の手順は、境界フレーム直後のフレーム、つまりi= 1で開始して、一度に１フレームづつ進む。B0‘がゼロに等しい第１フレーム の場合、概算差異は、ステップ422で計算されるように、元のエンコードの第１ フレームのバッファ占有の値であるのにすぎない。 X'＝B₀ （16） 次に、ステップ424では、境界フレームの右側にあるフレームにより吸収され るビット数を求める。吸収されるビット数とは、元のエンコードの編集セグメン ト後のフレームによりバッファの中に格納される場合もあるが、実際には、バッ ファがいっぱいであるためにさらにビットを受け入れることができなかったため に元のエンコードの間バッファに格納されなかったビットを指す場合に使われる 言い回しである。量△tiは、バッファがその間いっぱいであったが、B0‘の値が 引き下げられたために現在では追加ビットを受け入れることができる編集セグメ ントの後の元のエンコードのｉ番目のフレームの期間を表す。バッファはフレー ム全体でいっぱいとなることはできず、ゼロより大きいか、ゼロに等しいため、 期問△tiはフレームの期間を下回らなければならない。元のエンコードの間にバ ッファが一度もいっぱいでなかった場合には、期間△tiはゼロである。したがっ て、 この場合、‘P’は毎秒フレーム単位で測定され、通常、毎秒30フレームである ピクチャレートである。バッファがいっばいである結果、編集セグメントの右側 で吸収されるビット総数は、以下のように計算される。 この場合、Rmaxはバッファの充填レートである。 ステップ426では、編集セグメントの最後のフレームのバッファ占有レベルを 求めるための手順が終了できるかどうかを判断する。ｉ番目のフレームによって 吸収されるビットの合計がX‘を上回る、つまりai>X‘である場合は、バッファ ア ンダフローが発生しないで、ステップ428が実行されるように、バッファはもっ と遅いフレームで満たされることができるため、手順は停止される。代わりに、 最後のフレームｎに到達すると(I=n)、ビデオの最後までX‘の概算値によりアン ダフロー問題が生じることはない。 ステップ426に対する回答が「ノー」の場合、ステップ430で吸収されずに残る ビット数biが計算される。 b_i＝X^'-a_i （19） それから、ステップ432では、bi＞Biであるかを判断する。この場合、Biとは編 集セグメントの後のｉ番目のフレームのバッファ占有である。bi＞Biの場合、現 在のバッファ占有「Bi」が許容するより多くのビットが吸収されないで残ってい るため、差異の概算値、X‘は大きすぎて、アンダフローを生じさせる。したが って、吸収されずに残るビットの間では、「Bi」ビットだけがアンダフローを引 き起こさずに吸収できる。次に、差異の概算X’はステップ434で改訂されなけれ ばならない。ステップ434では、X‘の改訂された概算は、吸収されずに残るビッ トに吸収されたビットを加算したものとして計算される。 X'＝B_i＋a_i （20） ステップ432で、Bi＜Biであると判断する場合、ｉ番目のフレームでのバッファ 占有は吸収されないで残るビットより大きいので、アンダフローの問題はなく、 X‘の概算を変更する必要はなく、フローはステップ436に進む。ステップ436で は、次のフレームが調べられ（ｉは１で増分される）、ステップ424、426、430 、432、434、および436のループが、ステップ426での判断に肯定的な回答が得ら れるまで繰り返される。 ステップ426に肯定的な回答が得られると、概算X‘は受け入れられるため、ス テップ428では、編集セグメントの境界での最小許容バッファ占有B0’は以下の 通りである。 B₀'＝B₀−X' （21） 編集セグメントの再エンコードされた最後のフレームの実際のバッファ占有がB0 ‘を下回る場合、アンダフロー状況がビットの再割当てのために発生する。この 場合、最後のフレームはu_flowリスト内のアンダフローポイントとしてマークさ れ、アンダフロー状況（変更済みビデオのビット数と結果的に最小許容バッファ 占有を生じさせるビット数B0’の間の差異）を防ぐための編集セグメントの最後 のフレームから削除する必要があるビット数は、ステップ392について記述され たのと同様にu_valの中に格納される。 本発明のエンコードシステムの場合、ビデオの中のすべてのポイントのバッフ ァ占有を知っていることが望ましく、この情報はログファイルに記憶されること に注記すべきである。しかし、編集セグメントの最後のフレームでのバッファ占 有を引き下げる場合には、編集セグメント後のフレームのバッファ占有が変更さ れ、ログファイル内のバッファ占有情報が不正確になり、そのため編集セグメン ト後のフレームのバッファ占有を計算し直す是正処置を講じる必要があるだろう 。 図17のプロセスに戻って参照すると、ステップ396では、u_flowリスト内にエ ントリがあるかどうかを判断する。ない場合は、アンダフロー問題は存在せず、 図17のプロセスは終了する。u_flowリストにエントリがある場合は、フローはス テップ398に進み、u_flowリスト内の各位置の左側からもっとも近いo_flowポイ ントまでのセクションが保護つきとマークされ、u_val内の対応するビット数に 等しいビットがこれらのセクションから削除される。バッファアンダフローは１ つ以上のフレーム内の多すぎるビットにより引き起こされるため、フレーム内の ビット数を低減すると、アンダフロー問題が解決される。アンダフローを防止す るために削除されるビットが原因で画質に著しい低下が生じないようにするため に、ビットはアンダフローポイントだけから削除されるのではなく、バッファが いっぱいであった最後のポイントまで戻ってすべてのフレームから均一に削除さ れる。これが、アンダフローを防止しながらも最高品質のビデオを獲得する方法 となる。 その後、ステップ398で削除されるこれらのビットは、ステップ400で保護つき とマークされないセクションに均一に分配され、図17のプロセスがもう一度開始 する。ステップ400でビットを分配しても、アンダフローが問題ではなくなると いう保証にはならないため、図17のプロセス全本を繰り返し使用して、アンダフ ロー状況がないか再度確認する必要がある。 図17のプロセスが完了した後、図12のステップ288は完了し、図12のステップ2 90が実行される。ステップ290では、ステップ282で求められるレート−量子化関 数を使用してフレームごとの平均量子化値を求める。希望されるビットの数は、 以前ステップ286で計算され、ステップ288でアンダフロー問題が存在するかどう かを確認するためにチェックされたが、エンコードされたデータに希望のビット 数が設定されるようにデータを再エンコードするためには、量子化値を求めなけ ればならない。これは、レート−量子化関数を求め、レートを捜し出すことで量 子化値を求めるだけで、決定される。 ピクチャ単位で量子化レベルを求める場合は、レート−量子化関数(RQF)は、 ステップ282で求められた。この関数を概算するには、ピクチャごとに２つのデ ータポイントが必要とされる。RQFは以下の通りである。 Ｒ＝X*Q^(-g)＋Ｈ （22） この場合、Ｒは１つのピクチャをコーディングするために使用されるビット数、 Ｑは量子化スケール、X、g、およびＨはピクチャ単位のコーディング特性パラメ ータである。Ｈは、Ｈがヘッダにより消費されるビット、運動ベクタ、DC係数な どとなるように、量子化スケールとは独立したビットを表す。 エンコーダの最初の実行は、ビデオシーケンス内のコーディングされたピクチ ャごとに２つのデータポイントを作成するために使用できる。これは、ピクチャ 内のマクロブロックごとに使用される１組の交互の量子化スケールにより実行で きる。これらは、レート−量子化モデルパラメータ「X」と「g」を計算するため に処理される。これらの２つのパラメータは、Ｈの値とともに、コーディングさ れたビデオのフレームごとに１つ、ファイル内に記憶できる。 ビデオのある特定なコーディングされたフレームに割り当てられるターゲット ビットを作り出す量子化スケールを求めるために「R」がターゲットビットを表 す前記等式が使用され、(X、g、H)の値が前記のログファイルである可能性があ る記憶されたデータファイルから読み取られる。この等式に最適の「Q」の値が 希望の量子化スケールである。 それから、ステップ292でステップ290で求められた量子化値を使用してビデオ の変更されたセクションを再エンコードする。再エンコードの間に特別な手順が 講じられない限り、既にエンコードされたビデオの再エンコードセグメントによ りエンコードによって問題が生じる可能性があることに注記すべきである。エン コード構造および復号化構造を回避するための再エンコードプロセスの詳細は、 以下の別個の項に説明する。ビデオは再エンコードされてから、以前エンコード されたビデオのビットストリームに代入され、プロセスは終了する。 図５に関して記述するように、ユーザは、ビデオが許容できるかどうかを判断 するために、ビデオが再エンコードされた後でビデオを表示することができる。 ビデオが許容できない場合には、ユーザは新規にエンコードされたビデオを受け 入れる必要はなく、既にエンコードされたビデオの使用を続けることができる。 ユーザが新規にエンコードされたビデオが望ましいとわかったら、新規にエンコ ードされたビデオで既にエンコードされたビデオは置き換えられる。それから、 ユーザは、図５に説明するように、ビデオの新しいセグメントを、空間的に、ま たは時間的に編集できる。 図19Aおよび図19Bでは、オリジナルビデオエンコードからの、およびユーザが 手動品質優先順位を入力した後のビットレートの２つの異なる例を示している。 図19Aおよび図19Bでは、（メガビットを表す106のスケールでの）ビットレート が、ピクチャのグループ番号に対してプロットされる。ブロック図される例では 、１つのGOPに15のピクチャが格納され、各GOPは0.5秒ごとに表示される。また 、実線は元のエンコードを示し、破線はユーザが手動で画質を調整した後のエン コードを示す。 図19Aでは、優先順位2、-3、3、0および保護つきが設定される５種類の異なっ た優先順位領域のあるエンコードを説明する。優先順位３が設定される期間は、 再エンコードの後に、元のエンコードに比較してさらに多くのビットを使用する 。優先順位はただ単に互いに相関しているだけなので、優先順位２が設定される セクションのビットレートは、著しく上昇していないが、-3および０のセクショ ンではビットレートは低下している。保護つきセクションには、再エンコードの 前に存在したのと類似した再エンコード後のビットレートが設定されなければな らない。 図19Bは、それぞれユーザが選択した優先順位0、2、0、4、および０が設定さ れた領域のある第２例である。ここでも、優先順位は互いに相関しているので、 優先順位０は、ビットレートが未変更であることを意味するのではなく、単に、 優先順位２と４が設定されるそれ以外のセクションに相対する優先順位である。 優先順位４にが設定されるセクションに高いビットレートを指定するために、ユ ーザ選択優先順位０が設定されるこれらのセクションは低減され、優先順位２が 設定されるセクションには、エンコードの前後とほぼ同じビットレートが設定さ れる。 時間的手動編集の処理は、本発明の実施例の図1Aのワークステーション30で発 生する。ただし、時間的手動編集はビデオエンコードプロセスの間は発生しない ので、ワークステーション10はビデオエンコードプロセスのレートを低下させな いで時間的手動編集計算を実行できる。 本発明が、編集セグメント内でのさまざまな時間セグメントの画質の変更とし て詳しく記述されることに注記すべきである。言うまでもなく、同じ時間セグメ ント内にないピクチャのセクションの質の変更を許可するためにこの概念を拡張 することは明らかに可能である。例えば、映画の最後の５分間の質を最初の５分 間を犠牲にして向上させるために、本発明の教示を適用することができる。以下 に説明するように、単独編集セグメントの外側にある期間の品質を変更すること が希望される場合、ユーザは、関心のあるセグメントを連続して表示し、チェッ クし、ビットを割当てし直し、各セクションの立ち下がり縁でのバッファ占有だ けではなく、映画の合計ビットに関係する制約が規定の限度内にあることを確認 する必要があるだろう。 時間的手動編集は、編集セグメントの元のエンコードのビット数を、編集セグ メントの再エンコードのビット数と同じにしておくこととして記述されてきた。 しかし、希望される場合には、再エンコードされたの編集セグメントが消費する ビットをさらに少なくしたり、十分な記憶容量が存在する場合には、再エンコー ドされたの編集セグメントのビット数が元のエンコードのビット数を上回ること がある。また、ビデオの元のエンコードを、それにより最終デジタル記憶媒体上 の使用できるすべての記憶スペースが消費されないように実行することもできる 。したがって、再エンコード後のビット総数は、元を上回るまたは下回る任意の 量、例えば5％と1％多いまたは少ないビットを含む、0％と20％の間で多いか少 ない量を消費できる。 時間的手動編集の説明は、ビデオエンコード後にビデオを変更することに関し て行われてきた。しかし、本明細書に記載される教示は、初期エンコードプロセ スがなかったシステムにも適用できる。さらに、共通ビットプールの使用に関す る時間的手動編集の教示は、以下に示すビデオフレームの空間手動編集の概念に 適用できる。また、空間手動編集の個々のフレームでの動作様式は、以下に説明 するように、上質の時間的編集を達成するためにフレームの列に適用できる。 B. フレームの領域内での品質の変更 図20には、１つ以上のフレーム内で順域の品質を変えるための一般的な手順を 説明する。開始後、ステップ450では、システム構成要素および一般的なシステ ム動作に関する項に説明するように、MPEGフォーマットやそれ以外のフォーマッ トのような圧縮済みデジタルフォーマットに入力ビデオをエンコードする自動ビ デオエンコードを実行する。ステップ452では、ユーザにエンコードされたビデ オが表示され、ステップ454では、ユーザは１つ以上のフレーム内の領域の品質 の変更を示すコマンドを入力できる。 図21には、図１に示されるビデオディスプレイモニタ61のようなモニタ上で表 示されるビデオのフレームがブロック図される。図21のビデオのフレームは、木 465、人467、鳥468、および２つの雲471があるとして描かれる。 図21では、フレーム内の領域が、木465を取り囲む領域466、人を取り囲む領域 469、および領域470、重複領域469を含めて、ならびに鳥468および人467 の頭を含めて限定される。これらの領域は、図1Aに示されるグラフィックポイン ティングデバイス33を使用して描画された。図21でユーザが設定した品質優先順 位には、木を含む領域466の-5、人を含む領域469の+2、および鳥と人の頭を含む 領域470の+4が含まれる場合がある。図21内のビデオのフレームのそれ以外の領 域には、ユーザ定義優先順位は指定されず、したがって、「無定義」優先順位が 指定される。後述するように、「無定義」領域とは、ユーザ定義優先順位が指定 されるフレームのエンコードのビット総数を、フレームの元のエンコードの結果 生じるビット数に等しくなるように調整する目的で、ユーザ定義領域の量子化レ ベルを変更した後に最初に修正される領域のことである。ユーザがフレームの領 域の品質の変更を希望しない場合、これらの領域は、ユーザによって優先順位ゼ ロが設定されるとマークされるだろう。 本発明の実施例では、ビデオのフレーム内で優先順位領域を限定すると、ユー ザは、当初グラフィックポインティングデバイスを使用して、ビデオの表示され たフレーム上に矩形領域を作成する。後で定義される領域は先に定義される領域 の上に格納され、先に定義される領域と重複することがある。本発明が矩形領域 を限定することに関して説明していても、本発明の教示を、円や楕円のような曲 線を含む領域、八角形や六角形のような多角形の領域、またはそれ以外の、曲線 または直線あるいはその両方を含むユーザが定義する形状にも適用できるのは言 うまでもない。ユーザは、各領域を定義してから、領域の優先順位を定義する。 代わりに、ユーザは、すべての領域の形状を定義し、その後にこれらの領域に優 先順位を指定することができる。 ユーザが初期に領域内で優先順位を定義する場合、領域はピクセル位置に対応 する。ただし、以下に示される優先順位を割り当てるプロセスは、マクロブロッ ク単位で動作し、マクロブロックはデジタルビデオエンコードに使用される単位 である。したがって、マクロブロックがユーザ定義領域内または外周上にある場 合、そのマクロブロックには領域の優先順位が割り当てられる。従来の技術の当 業者は、単純な数学を利用してユーザ定義領域に対応するマクロブロックを求め ることができる。ユーザ定義領域の外周の場合は、領域の外辺部がマクロブロッ クに交差する場合に、ユーザ定義領域内に単にマクロブロックを入れる代替策と して、マクロブロックを領域内に入れるかどうかを判断するさらに精密なプロセ スが、ユーザ定義領域内にマクロブロックの50％以上がある場合には、ユーザ定 義領域内にマクロブロックを入れて、ユーザ定義領域内にマクロブロックの50％ 以下がある場合には、ユーザ定義領域からマクロブロックを排除することによっ て実行することができる。 領域およびその優先順位が定義された後で、ユーザは、希望する場合には領域 の重複を変更できる。例えば、ユーザは図21の領域469の上で事前に決定された ファンクションキーを押しながら「クリック」して、領域469を領域470の上にな るように変更し、人全体に領域469の優先順位が設定され、鳥468だけに領域470 に割り当てられる優先順位が設定されるようにする。重複領域には、ユーザによ って入力されるときにスタック優先順位が指定される。このスタック優先順位は 、ユーザ定義領域が追加、削除、または修正されるときに、必要に応じて調整さ れる。 領域が定義された後で、ユーザは、希望に応じて領域のけ以上を作りなおした り、グラフィックポインティングデバイス33を使用して領域を移動することがも できるまた、ユーザにより定義された領域は、グラフィックポインティングデバ イス33を使用して削除できる。領域が削除されていても、ユーザ定義優先順位だ けが削除されているのであり、言うまでもなく削除中の領域内のオリジナルビデ オデータは削除されていないことに注記すべきである。 期間で品質を変更することについての前記項に説明するように、自動エンコー ドの間または自動エンコードの後で、ユーザはエンコードビデオをレビューする ことができ、関心のあるフレームまたは期間が発生するたびに、ユーザはキーボ ードで単にキーを押したり、入力を別の装置から入力し、特定のフレームまたは 期間が重要であることを示す。後で、ユーザはそのフレームまたは期間に戻って 、さらに時間を費やして期間を検討し、希望に応じてその期間内で特徴を変える ことができる。 ビデオのフレーム内の領域をユーザが定義するプロセスは、ユーザによって修 正されるデータのフレームが１つしかない単純なケースについて前述された。し かし、ビデオシーケンス内のデータのフレームを一度に１フレームづつ作業する のはきわめて単調で退屈であるため、本発明を使用すると、ユーザは最初の期間 で領域を定義し、後の期間で対応する碩域を定義できるようになる。それ以降、 最初のフレームと最後のフレームの中間のビデオのすべてのフレームに、ユーザ により最初のフレームと最後のフレームに定義される領域に対応する領域が作成 され、最初の碩域または最後の領域あるいはその両方の領域と同じ優先順位、も しくは最初のフレームと最後のフレームの優先順位に基づく優先順位が指定され ろように、補間プロセスが実行される。さらに、重複領域のスタック優先順位は 、補間プロセスの間維持される。中間フレームにその領域が自動的に作成された 後、ユーザは、希望に応じて、優先順位、碩域の形状を変更することにより改変 したり、新しい領域を追加したり、順域を削除することができる。 以下に、補間プロセスがどのように動作するのかの例を示す。ユーザに時間イ ンスタンスt_1とt_nでの２つのフレームの優先順位順域を選択させる。ユーザが フレームt_1に領域を、t_nに対応する領域を割り当てた後、これら２つの領域の 座標は、t_1とt_nの間のすべてのフレームの領域仕様を獲得するために中間フレ ーム上で補間される。定義中の実際の領域に補間を実行できるだけではなく、補 間は品質優先順位にも実行できる。補間プロセスには、単純な一時関数が使用さ れる。ユーザがポイントa_1のあるフレームt_1の領域Ａを定義し、フレームt_n の対応する領域Ａに対応するポイントa_nがあり、中間フレームa_2、a_3...a_(n -1)内の対応するポイントに、以下のように定義される水平縦軸 a_i(h)=a_1(h)+(a_n(h)-a_1(h))ｘ(i-1)/(n-1) （23） および以下のような垂直縦軸 a_i(v)=a_1(v)+(a_n(v)-a_1(v))ｘ(i-1)/(n-1) （24） があると仮定する。この場合ｈとｖは問題のポイントの水平縦軸と垂直縦軸に対 応する。このプロセスでは、領域を限定する多角形の頂点だけが使用され、頂点 は補間される。それから、碩域は頂点により限定される。線形補間以外の他の補 間技法も実行できる。 前記補間プロセスは、編集対象のセグメント内のすべてのフレームのすべての 領域が適切に定義されるまで、必要な回数実行できる。さらにこのプロセスは、 ユーザが中間プロセスの補間で決定された領域を移動したり、領域のサイズを変 更することができ、補間プロセスが最初のフレームと改変された中間プロセスに 、それから中間とフレームと最後のプロセスにもう一度実行できるように発生す る微調整プロセスにより再帰的となる。補間プロセスは、おもに、フレームを横 切って移動する領域を定義するために使用される。しかし、本発明には、静止し ておりフレームの列内で使用される領域を一度定義することも含まれる。 領域が定義され、ユーザ定義優先順位が入力された後、各マクロブロックの新 しい量子化値は、ユーザによって入力された優先順位およびマクロブロックの古 い量子化値に基づいて、図20のステップ456で概算されるか、求められる。これ は、ユーザ選択優先順位のそれぞれで使用される元の量子化値の端数を示してい る図22に説明される関係に従って決定される。例えば、ユーザが優先順位ゼロを 入力すると、使用される元の量子化値の結果として生じる端数は１であり、元の 量子化値に変更がないことを意味する。ユーザが優先順位-3を選択すると、元の 量子化値の端数は1.58となり、優先順位３が設定されるマクロブロックの元の量 子化値が、結果として生じる量子化値を求めるために、1.58により乗算されるこ とを意味する。優先順位-3は品質の低下を意味するので、量子化レベルは、品質 の低下を達成するために量子化レベルを引き上げる、つまりマクロブロックに使 用されるビットはさらに少なくなければならない。反対に、３のような正の優先 順位がユーザによって入力されると、元の自動号化からのマクロブロックの量子 化値は量子化レベルを引き下げる0.42で乗算される。引き下げられた量子化レベ ルは、マクロブロック内のイメージを表すにはさらに多くのビットが必要とされ 、したがって、画質が向上することを意味する。図22に示される線上のポイント は(-5,100)、(-4,1.75)、(-3,1.58)、(-2,1.42)、(-1,1.25)、(0,1)、(1,0.72) 、(2,0.58)、(3,0.42)、(4,0.25)、および(5,0.01)である。図22に説明されるマ ッピングは、q-レベルと優先順位の間のこの方向の線形関係に基づいている。図 22で求められたポイントは、実験を通して求められ、さまざまな端数は希望に応 じ てユーザ選択優先順位と使用できる。 優先順位-5と５はそれぞれ最低可能品質および最高可能品質を獲得することを 目的とする。最低品質は、非線形量子化スケールが使用されるときの最大許容量 子化レベル112、および線形量子化スケールがMPEG-2エンコードに使用されると きの62の結果である。また、最高品質を達成するために使用される最低量子化レ ベルは１である。したがって、図22に説明される関係からは、実際の許容ｑスケ ールから離れた値が生じることがあるが、これらの計算されたｑ値は単にその飽 和レベルで格納されるだけである。例えば、当初、マクロブロックに量子化スケ ール20が設定され、ユーザがマクロブロックの優先順位を-5となるように選択す ると想定してください。100で乗算される量子化値20が、量子化スケールから離 れた新しい量子化レベル2,000を生み出すため、最大量子化値または飽和量子化 値が使用される。 前記のように飽和レベルを使用することに加えて、本発明では、MPEGエンコー ドのＩフレーム、Ｐフレーム、およびＢフレームの予防措置を講じる。本発明は 、Ｉタイプフレームの最高量子化レベルを、非線形量子化ケースの場合96となる ように、線形量子化スケール使用時には58となるように制限する。同様に、Ｂ型 フレームおよびＰ型フレームの最高量子化レベルは、非線形量子化スケールの場 合は112、線形量子化スケールの場合は62である。線形量子化スケールおよび非 線形量子化スケールは、MPEG規格で定義される。Ｉフレーム型、Ｐフレーム型、 およびＢフレーム型のそれぞれに使用される最低量子化レベルは１である。言う までもなく、図22にブロック図されるユーザ定義入力および元の量子化値の端数 は、ユーザの要件を満たすために修正できる。 ステップ456でマクロブロックごとに新規量子化値が計算した後、ステップ458 で、ステップ456で求められた量氏化器値の結果生じるフレームごとにビット数 を求める。本発明の実施例では、他の領域の品質は低下したが、いくつかの領域 の品質が向上した後で、各フレームに同じビット数を獲得しなければならないた め、このステップは重要である。新しい量子化値の結果生じるビット数を求める ために、マクロブロックごとの結果として生じるビット数に対する量子化レベル を適切に概算する関数を設定する必要がある。結果として生じるビット数と 量子化レベルの間の関係正を求めるために、MPEG-2エンコーダのようなビデオエ ンコーダの経験的な結果の検討が実施され、求められた関係は実際の経験的な結 果に基づいている。多くのビデオシーケンスを使用するさまざまな量子化レベル およびフレームタイプのシミュレーション結果が実施された。これらの結果に基 づき、マクロブロックの量子化レベル(q)とそのマクロブロックをエンコードす る際に使用されるビット数(b)の間の以下の関係性は、フレームタイプに応じて 、以下の通りであると判断された。 log(b)=m log(q)+n （25） この場合、Ｉタイプフレームの場合m=-0.75で、ＢタイプフレームとＰタイプフ レームの場合、m=01.0である。さらに、Ｉフレーム、Ｐフレーム、およびＢフレ ームの場合それぞれn=15、14.5、および13.8である。これらの値は、前記に注記 されるように、多数のビデオシーケンスで平均化される。前記等式は、エンコー ダの動作を予測するための優れた近似基準として働き、ビット数と量子化レベル の間の関係はログ領域内で線形である。言うまでもなく、正確であるなら、量子 化レベルと結果として生じるビット数の間のそれ以外の関係も、本明細書に記載 されるその他のレート−量子化関数を含む、指定された量子化レベルから生じる ビット数を求める場合に使用できる。 前記プロセスは、指定された指定量子化レベルから生じるビット数を求める方 法を説明する。しかし、複数のエンコードが使用される場合は、新規エンコード からの情報を使用して、量子化関数に対してデータレートをさらに正確にするこ とができる。初期自動エンコードプロセスの間に、エンコードされるべきビデオ の統計を収集するのに使用される第１ビデオエンコードパスがある。それから、 実際のエンコードである第２パスの間に、量子化関数に対するデータレートの別 の実際のポイントが、指定されたq-レベルから作成されるビット数ｂを記述する 前記等式に対応するｑプロットに対するｂにおいてのように獲得される。データ が、以下に説明するように、ユーザ指定選択に従ってエンコードされた後、結果 として生じるビデオは、それが希望される品質の改善を満たすかどうかに応じて 、 ユーザによって受け入れられるか、拒絶される。再エンコードするたびに、概算 されたビットに対するq-レベル関係の実際データが作成される。新しいq-レベル 割当てq‘が指定されると、求められたデータレートは、再エンコードによって 得られる追加データに基づいて、このポイントに関してさらに正確に成る。新規 量子化レベル、q’が以前に得られた２つのポイントの間に該当する場合、新規q -レベルで出力されるビット数の概算を得るために、ログ領域内で線形補間を実 行することができる。新規量子化レベル「q」が２つの事前に決定されたq-レベ ルの間に該当しない場合には、モデルは、もっとも近いq-レベルから新しい量子 化レベルq‘に補外し、エンコード時に作成されるビット数を概算するのに使用 できる。データが再エンコードされる時間が長いほど、エンコーダからの出力ビ ットに対してより優れた概算を得る確率が高くなることを注記する。 概算された量子化値から生じる各フレームのビット数が図20のステップ458で 求められた後、ステップ460で、ビット概算数がフレームの元のビット数に十分 近いかどうか判断し、必要ならビット数を訂正する。これは、図23-25Cでブロッ ク図されるプロセスに従い実行される。 ステップ460が実行されると、図23のステップ472が、最初に、ビット概算数と 元のエンコードのビット数の差異を求める。これは、以下の等式に従い計算され る。 D=B'-B （26） この場合、B’は、修正されたフレームの概算ビット数、Ｂは元のエンコードか ら結果として生じるフレームのビット数、およびＤは差異である。元のエンコー ドから結果として生じるビット数以外のＢの値を使用することができるのは言う までもない。例えば、ユーザは、フレームの総ビット数の増加を希望する場合、 元のエンコードから結果として生じるビット数より大きい事前に決定された量で ある数にＢを設定できる。同様にして、ユーザは、フレームの元のビット数を下 回るようにＢを設定することもできる。したがって、記録されたフレームは、記 憶領域の制約、最小品質制約、およびビデオバファアンダフローの可能性に応じ て、 元のエンコードより多いビットまたは少ないビットを消費することがある。また 、フレーム内の領域の量子化値が改変されていない場合、その量子化値を改変さ れた領域から結果として生じるビット数だけを分析し、変更されなかった領域を 無視することができる。それから、ステップ474でこの差異を分析し、ビットが 多すぎると判断されると、フローは、ビット数を低減するためにマクロブロック の量子化レベルを引き上げる目的の図24A-24Cに説明されるプロセスのために、 Ｂに進む。ステップ474で修正されたフレーム内のビットが少なすぎると判断さ れると、新規フレームのマクロブロックの量子化レベルは、図25A-25Cにブロッ ク図されるプロセスＦに従ってさらに多くのビットを作成するために引き下げら れる必要がある。それ以外の場合、差異が許容できるスレッショルド内にある場 合は、マクロブロックの量子化レベルを修正する必要はなく、プロセスは図20の ステップ462を実行するために戻る。フレーム内のビット数を再エンコードされ たビデオに対し同じに保つ場合、ビットは、ある領域から別の領域にシフトされ ると考えることができる。 ステップ474では、差異Ｄは、差異をスレッショルドＴに比較することで分析 される。スレッショルドは、領域の品質の変更の結果生じるビット数が総ビット 数の0.001以内である場合、差異は許容でき、プロセスは停止できることを意味 する0.001xBに設定される。言うまでもなく、差異が許容できることを示す停止 スレッショルドは、別の方法で求められ、希望に応じて引き上げたり、引き下げ たり、フレームの元のビット数とユーザ選択優先順位から結果的に生じるビット 数の両方に基づくことができる。 図24A-24C、および図25A-25Cに説明されるプロセスは、図24A-24Bがユーザ選択 品質の結果として生じるビット数を低減するために使用され、図25A-25Cがユー ザ選択品質の結果として生じるビット数を増加させるために使用されるという点 を除き、きわめて類似している。図24A-25Cで実行されるプロセスの一般的な概 要は、これらのプロセスの詳細を説明する前にここで記述する。当初、ビデオの フレーム内のマクロブロックは、「無定義」、「負の優先順位」、「正の優先順 位」、「変更不可」の４種類の内の１つとしてラベルが付けられる。領域にユー ザによる優先順位が指定されていない場合、またはシステムによってユーザ が「無定義」ステータスを割り当てることができる場合、その領域は「無定義」 タイプであると見なされる。ユーザが-5と-1の間の、および-5と-1を含む優先順 位を割り当てると、これらの領域内のマクロブロックは「負の優先順位」である と考えられる。領域に１と５の間の、および１と５を含む優先順位が割り当てら れると、それらの領域には「正の優先順位」が設定されていると考えられる。最 後に、優先順位０で割り当てられるすべての領域、またはシステムによってユー ザが他のなんらかの方法で、領域の品質を変更させてはならないことを示すこと ができる場合には、それらの領域のマクロブロックは「変更不可」タイプと見な される。 ４種類のマクロブロックのそれぞれの中でのマクロブロックのそれぞれには、４ 種類の内のそれぞれに独自のインデックスのセットが備えられるように、インデ ックスｉでラベルが付けられる。ゼロのインデックスｉは、最初のマクロブロッ クに割り当てられ、インデックスn-1は最後のマクロブロックに割り当てられる 。この場合、Ｎはある領域種類内のマクロブロックの総数である。例えば、「無 定義」領域のすべてに対し、これらの領域内のマクロブロックのそれぞれに０か らn-1のインデックスが付けられる。３つ以上の「無定義」領域がある場合、「 無定義」領域に２つの異なるインデックスｉ＝0がないことに注記する。すべて の「無定義」領域に対しては、インデックス０が付いたマクロブロックは１つだ け、インデックス１がついたマクロブロックは１つなどである。 ユーザが領域の優先順位を決定した後にフレーム内のビットが多すぎる場合、 フレームの量子化レベルは、フレームのビット数を低減するために引き上げられ なければならない。マクロブロックの元の量子化値が、図10Aまたは10Bのどちら かにブロック図されるフォーマットを持つマクロブロックレーヤのログファイル から削除される。代わりに、エンコーダは再実行し、量子化値がエンコーダの元 の実行の後に記憶されていなかった場合には、量子化値を求める。しかし、別の 代替策では、エンコードされたビットストリームを復号化し、元のエンコードの 量子化値を求める。ビット数を低減するために、手順は、「無定義」タイプのマ クロブロックごとの量子化レベルを１量子化レベル、一度に１マクロブロックづ つ引き上げることで動作する。これで問題が解決されない場合、「無定義」 の各マクロブロックのｑレベルは、一度に１マクロブロックづつ再度１増加され る。事前に決定された最大量子化レベルが設定され、無マクロブロックの量子化 レベルを超えて増加できる。「無定義」タイプのすべてのマクロブロックがこの 最大レベルに達すると、「負の優先順位」および「正の優先順位」の領域は、同 じように１増加される。まず、すべての負の優先順位マクロブロックが１量子化 レベル引き上げられ、これでビット差の問題が解決されない場合、「正の優先順 位」マクロブロックのマクロブロックの量子化レベルが１増加される。これで問 題が解決しない場合、「負の優先順位」マクロブロックの量子化レベルは再び１ 増加され、これで問題が解決しない場合には、「正の優先順位」タイプのマクロ ブロックの量子化レベルが１増加される。このプロセスは「負の優先順位」タイ プおよび「正の優先順位」タイプのすべてのマクロブロックの量子化レベルが前 記最大レベルに引き上げられるまで続行する。これでビット差問題が解決しない 場合には、「変更不可」タイプのマクロブロックの量子化レベルが、ビット差問 題が解決されるまで、一度に１量子化レベル引き上げられる。十中八九、ビット 差問題は、「変更不可」タイプの量子化レベルが変更され始める前に訂正される だろう。ユーザ選択優先順位が設定されるフレームのビット数が少なすぎて、図 25a-25cのプロセスに従ってビット数を増加するために、マクロブロックの量子 化レベルを引き下げる必要がある場合、類似したプロセスが発生する。 今度は、生じたビットが多すぎてしまったときに図23によって実行される図24 Aにブロック図されるフローチャートを参照すると、プロセスはブロックタイプ を「無定義」タイプに設定するステップ480により図24Aで開始する。それから、 ステップ482で、マクロブロックインデックスを、インデックスｉがゼロに等し く設定されることを意味する開始ポイントに設定する。それから、設定されてい たマクロブロックタイプ（フローチャートで初めて、「無定義」タイプの第１マ クロブロック）の問題のマクロブロック（インデックス＝ｉ内のマクロブロック ）の量子化レベルに最大事前定義量子化レベルが設定されているかどうかを判断 する、ステップ486が実行される。この訂正プロセスの最大量子化レベルは、訂 正されるマクロブロックの品質で大きな劣化がないように高すぎて設定してはな らない。可能であるなら、マクロブロックの質に大きな差が出ないように、均 一のビット数を減少させる目的で品質を劣化させようとすることが望ましい。し たがって、この最大値は線形量子化スケールが使用されるときには量子化レベル 62に、非線形量子化スケールがMPEG-2エンコードなどに使用されるときには112 に設定される。ただし、最大量子か器値には、それ以外の値も使用できる。問題 のマクロブロックの量子化レベルがステップ486で最大ではないと判断されると 、ステップ488で問題のマクロブロックの量子化レベルを１量子化レベル増分す る。それから、ステップ490で前記のビットレート−量子化機能を使用してフレ ームのビット概算を計算し直す。それからステップ490では、マクロブロックの インデックスをゾウ文する。マクロブロックのインデックスがマクロブロックタ イプの最後のマクロブロックが処理されていないことを示す場合は、フローはス テップ484にループバックする。それ以外の場合は、フローはステップ492から、 ブロックインデックスをゼロにリセットするステップ498に進み、第１マクロブ ロックを示す。 フローがステップ484に戻ると、ステップ490で計算し直されるビット概算は、 前述するように、スレッショルドに比較される前記の差Ｄを計算し直すために使 用される。ビット概算が高すぎない場合、ユーザ選択優先順位を指定されるフレ ームのビット数が訂正され、フローは呼び出しプロセスに戻る。それ以外の場合 、フローは、問題の（インデックス１が設定される）マクロブロックの量子化値 が最大であるかどうかをもう一度判断するステップ486に進む。 ステップ486で、問題のマクロブロックの量子化値が最大であると判断すると 、そのブロックの量子化レベルは引き上げる必要はなく、ステップ494では１ブ ロックインデックスｉを増分する。ステップ496でマクロブロックタイプのイン デックスが最後のブロックを通り過ぎていないと判断すると、フローはステップ 486に進み、増分されたインデックスの付いたブロックに最大量子化値が設定さ れているかどうかを判断する。それ以外の場合、ステップ496でマクロブロック が問題のマクロブロックタイプの最後のマクロブロックであると判断すると、ス テップ498が実行され、ブロックインデックスが第１マクロブロック（ｉ=0）に リセットされる。それから、フローは図24Bに説明されるプロセスＣに進む。 図24Bでは、ステップ500で、ブロックタイプが「無定義」タイプであるかど うか調べる。「無定義」タイプである場合は、ステップ502ですべての「無定義 」マクロブロックに最大ｑレベルが設定されているかどうかを判断する。「無定 義」マクロブロックのすべてに最大ｑレベルが設定される場合、「無定義」タイ プのマクロブロックにさらに調整を実行することは不可能であるため、マクロブ ロックタイプは、ステップ504で「負の優先順位」に変更され、フローは図24Aに ブロック図されるプロセスＤに戻り、ステップ484が実行される。それ以外の場 合、ステップ502で、「無定義」タイプのすべてのマクロブロックに最大ｑレベ ルが設定されていないと判断すると、フローは修正中のマクロブロックのタイプ を変更しないで、プロセスに戻る。この手順は、フレームの結果として生じる数 がスレッショルド範囲内になるまで続行するか、あるいは「無定義」型のすべて のマクロブロックが「負の優先順位」に変更されるブロックタイプを結果的に生 じさせる最大量子化レベルに設定される。 ステップ500でブロックタイプが「無定義」ではないと判断するとステップ506が ブロックタイプが「負の優先順位」であるか判断する。ブロックタイプが「負の 優先順位」の場合、ステップ506は、「正の優先順位」のすべてのブロックに最 大ｑレベルが設定されるかどうか判断する。ステップ508の判断の結果が負であ る場合、ステップ510が実行され、ブロックタイプが「正の優先順位」に設定さ れ、フローは図24Aにブロック図されるプロセスＤに進む。 ステップ508で「正の優先順位」のすべてのマクロブロックに最大ｑレベルが 設定されると判断すると、ステップ512で「負の優先順位」タイプのすべてのブ ロックに最大ｑレベルが設定されるかどうか調べる。設定されていない場合、ブ ロックタイプは変更されず、フローは図24AのプロセスＤに戻る。「負の優先順 位」タイプのすべてのマクロブロックに、ステップ512で、最大ｑレベルが設定 されていると判断される場合、すべての「無定義」、「負の優先順位」および「 正の優先順位」のマクロブロックに最大量子化レベルが設定され、ブロックタイ プがステップ512で「変更不可」に設定される。それから、フロは図24Aのプロセ スＤに進む。 図24Bのステップ506が負と判断されてから、プロセスＥおよび図24Cのステッ プ520が実行される。ステップ520でブロックタイプが「正の優先順位」で あるかどうか判断する。そうである場合は、ステップ522で「負の優先順位」の すべてのブロックに最大Ｑレベルが設定されるかどうかが判断される。設定され ていない場合、ブロックタイプは「負の優先順位」に設定され、フローは図24A にブロック図されるプロセスＤに戻る。ステップ522で「負の優先順位」タイプ のすべてのブロックに最大ｑレベルが設定されていると判断すると、ステップ52 6で「正の優先順位」タイプのすべてのブロックに最大ｑレベルが設定されるか どうかを調べる。設定されていない場合、フローは図24Aにブロック図されるプ ロセスＤに戻る。それ以外の場合、すべての「無定義」ブロックとともにすべて の「負の優先順位」および「正の優先順位」に最大量子化レベルが設定され、ス テップ526でブロックタイプが「変更不可」に設定され、フローは図24Aにブロッ ク図されるプロセスＤに戻る。 ステップ520でブロックタイプが「正の優先順位」ではないと判断すると、ブ ロックタイプはそれゆえ「変更不可」でなければならず、ステップ530で「変更 不可」タイプのすべてのブロックに最大ｑレベルが設定されるかどうかが判断さ れる。設定されている場合、ユーザ選択優先順位が設定されるフレーム内のビッ トが多すぎるという問題を解決しないで、すべてのブロックタイプが最大量子化 レベルに設定されたので、エラーが生じる。すべてのブロックを最大事前定義ｑ レベルに設定すると、フレームの元のエンコードを上回らないビット数が生じる はずである。ステップ530での判断が負である場合、フローは図24Aに説明される プロセスＤに戻る。 図23のプロセスが、ユーザ選択優先順位領域のあるフレーム内のビット数が少 なすぎると判断すると、図25A-25Cのプロセスが実行される。図25A-25Cは、量子 化レベルがフレームのビット数を増加させるために引き上げられる代わりに引き 下げられ、マクロブロックの量子化レベルが、引き下げられたときに量子化Ｒレ ベルの１のような事前に決定される最小レベルを超えることができないという点 を除き、図24A-24Cにブロック図されるプロセスに基づいている。前記に注記し た相違点を除き、図25A-25Cのプロセスが図24A-24Cのプロセスに同一であるため 、図25A-25Cのさらなる説明は簡略を期すために行わない。 図23-25Cに記述される訂正プロセスは、本発明が動作する１つの様式である。 ただし、異なった種類のマクロブロックの量子化レベルを調整する代替手段も可 能である。例えば、「負の優先順位」および「正の優先順位」のマクロブロック の量子化レベルを、前述のように同時に変更する代わりに、「負の優先順位」タ イプ、「正の優先順位」タイプおよび「変更不可」タイプのマクロブロックは均 一に増加できる。代わりに、ビットが多すぎる場合には、「負の優先順位」タイ プの量子化レベルが、最大量子レベルに達するまで引き上げられてから、「正の 優先順位」タイプのマクロブロックの量子化レベルが引き上げられる。反対に、 ユーザ選択優先順位が設定されるビット数が少なすぎる場合、「負の優先順位」 タイプのマクロブロックのレベルが引き下げられる前にビット数を増加するため に、「正の優先順位」タイプのマクロブロックの量子化レベルが引き下げられる 場合がある。後者の２つのケースでは、「無定義」タイプのマクロブロックの改 変は、「負の優先順位」または「正の優先順位」タイプのマクロブロックの前、 間、または後に発生する可能性がある。 図23A-25Cのプロセスが実行された後、フローは、新しい量子化値を使用して ビデオを再エンコードする図20のステップ462に戻る。この再エンコードは、再 エンコードされたのフレームの結果として生じるビット数を、フレームの元のエ ンコードのビット数にできる限り近づける目的で、レート−制御関数を使用して 、量子化値を微調整する間に実行される。レート−制御装置プロセスは、以下の 別項に詳しく説明する。また、再エンコードの間、エンコード人為構造が発生す る可能性があるため、以下の別項に説明するように、これらのエンコード人為構 造を低減する目的で特殊な手段を実行できる。 空間手動編集のプロセスは、本発明の実施例の図1Aのワークステーション30で 発生する。しかし、空間手動編集がビデオエンコードプロセスと同時に発生しな い場合、ワークステーション10は、ビデオエンコードプロセスのレートを劣化さ せないで時間的手動編集を事項できる。本発明がフレーム内のさまざまな領域の 画質を変更することとして詳しく記述されることに注記すべきである。本明細書 の概念を、あるフレームの領域内のビットを別のフレームの領域にシフトするこ とに拡大することができるのは言うまでもない。さらに、空間手動編集は、前記 の時間的手動編集といっしょに適用できる。 空間手動編集は、ユーザ指定領域優先順位が設定されるフレームのビット数を フレームの元のエンコードと同じに保つこととして説明された。ただし、希望さ れる場合、再エンコードされた編集セグメントは、十分な記憶領域容量がある場 合には、フレームの元のビット数より多いか少ない事前に決定されるビット数を 消費できる。これらのケースでは、改変されたフレームを変更できるビット数を 理解しておくことが望ましく、そのため図24A-25Cにブロック図されるプロセス は、設定された差が達成されるまで動作するだろう。したがって、任意のフレー ムの再エンコードのビット総数は、5％と1％多いまたは少ないビットの両方を含 む0％と20％の間で多くまたは少なく、元のエンコードを上回るか、下回る任意 の量を消費する。 空間手動編集の説明は、ビデオがエンコードされた後のビデオの変更に関して 行われた。しかし、本明細書に記載される教示は、初期エンコードプロセスがな かったシステムにも適用できる。 空間手動編集は、以前に取得されたフレームと同じビット数を達成するために 、ユーザ選択優先順位に基づいて量子化値を割り当ててから、必要に応じて、フ レームのマクロブロックの量子化レベルを調整することによって動作する。対照 的に、前記の項に記述された時間的手動編集は、ビデオのセクションからビット の共通プールを削除し、それらのビットを、ユーザ選択優先順位に従って、共通 プールから分配し直す。あるフレームに関して空間手動編集が実行されるプロセ スについてのすべての教示は、時間的手動編集の項に説明されるように、時間で ビデオのフレームの品質を変更するという概念に適用でき、逆の場合も同じであ る。例えば、空間編集は、品質の変更を達成するために量子化レベルを修正する こととして説明されてきたが、ビット数は時間的編集の項で調整される。フレー ムまたはマクロブロックのビット数は、直接、量子化レベルに依存するため、ビ ット数および量子化レベルの修正は、同じ結果を達成し、そのため時間的編集お よび空間編集は、ビット数または量子化レベルあるいはその両方を修正できる。 VIII． 品質変更後のビデオの再エンコード A. 品質が単独フレーム内で変更された場合のビット割当て制御 図1Aにブロック図されるビデオエンコード装置50のビットレートを制御するた めに、ワークステーション10または同じ制御機能を実行できるあらゆる専門ハー ドウェアのような制御装置が、量子化レベル、つまりq-レベルおよびレート制御 式エンコーダ内へのスライスごとの概算ビット数または予想ビット数をロードす る。それから、エンコーダはエンコードを開始し、量子化レベルは、以前に求め られた予想ビット数に比較して、作成されたビット数の精度を測定してから調整 される。予想ビット数は、空間手動編集および時間的手動編集に関する項で前述 されるように、レート−量子化関数を使用して求められる。このプロセスは、一 度のｎ個のマクロブロックの集合に対して連続して実行され、各集合はMB(ｉ)と 示され、以下の通りである。 １ ≦ ｉ ≦ １（マクロブロックの合計数／n） （27） マクロブロックの最後の集合を再エンコードする場合、作成されるビット数のマ イナーな過剰予想が、ビットスタッフィングを使用して吸収できるため、レート −制御装置が、再エンコードプロセス中で作成されたビットの総数が最初にエン コードされた長さより短くなることを保証する。 図26は、事前に割り当てられる量子化レベルでデジタルビデオの集合を再エン コードするための方法を説明するフローチャートである。調整は、量子化モデル が、再エンコードにより作成されるビット数を、作成されたビットの実際の数に 対してどれほど正確に予想下のかに基づいて、事前に割り当てられた量子化レベ ルに加えられる。図26では、レート制御式コーディングプロセスは、ステップ70 0で開始してから、ステップ702でｉ=1を設定することによって、ｎマクロブロッ クの第１集合をマクロブロックの現在の集合として指定する。ステップ704では 、マクロブロックの各集合ＭＢ（ｉ）の再エンコードで使用される、ビット予想 数の完全な集合、ＥＢ（ｉ）をロードする。それから、MB(I)はステップ706で再 エンコードされ、実際に作成されたビットの数がGB（ｉ）として記憶される。作 成済みビットGB（ｉ）、予想ビットEB（ｉ）の間のパーセンテージ 差は、ステップ708で予想率、PB（ｉ）＝GB（ｉ）／EB（ｉ）として計算される 。さらに、システムは、累積ビットの予想数EB‘（ｉ）、累積作成ビット数、GB ‘（ｉ）をマクロブロックのすべてお再エンコードされた集合に対して計算する ことが可能で、この場合、EB’(1)=EB(1)、GB'(1)=GB(1)、EB’（ｉ）=EB‘（i- 1）＋EB（ｉ）およびi>2の場合、BG'(1)=GB’（i-1）＋GB（ｉ）である。したが って、PB（ｉ）／EB‘（ｉ）を使用することによって、説明されたステップ708 の代替策として、PB（ｉ）は、累積ビット予想数EB‘（ｉ）および累積作成ビッ ト数GB’（ｉ）を使用して計算できる。これは、マクロブロックのある特定の集 合がどれほど正確にエンコードされたのかを示す代わりに、全本としての再エン コードプロセスがどのようにターゲットビット数を満たしているのかのより正確 な表示となる。ステップ710では、概算率が使用され、マクロブロックの次の集 合、MB(i+1)内のq-レベルの訂正係数を判断する。 この訂正係数は、２通りの方法の内の１つを使用して求められる。第１の訂正 係数決定方法は、割合ルックアップテーブルと呼ばれる割合値のテーブル内の率 の単純並べ替え済みリストを進み、どの２つの割合オ間に概算率が該当するのか を判断する。テーブル内の２つの数の大きい方のインデックスｊは、訂正係数イ ンデックスとして使用される。訂正係数インデックスは、テーブル内のｊ番目の 要素を訂正係数として選択することにより訂正係数テーブル内で訂正係数△（ｉ ）を探すために使用され、マクロブロックの次の集合は△（ｉ）によって調整さ れる。割合ルックアップテーブル、RTには、例えば、以下のような並べ替えられ た値が指定され RT＝｛0.85，0.90，0.95，1.0，1.05，1.10，1.15，1.2，1.5｝ 訂正係数テーブルCTには、以下の値が指定される。 CT＝｛-3，-2，-1，0，1，2，3，4，9｝ 図30は、概算率を使用して訂正係数インデックスを割合ルックアップテーブ ルから求めるプロセスを説明するフローチャートである。ブロック図のためだけ に、PB（ｉ）＝0.87であると想定する。インデックスｊは、当初、ステップ722 で設定される。PB（ｉ）をRT(j)に比較するプロセスが開始し、前記ルックアッ プテーブルに定義されるように、ステップ724では、PB(ｉ)=0.87がRT(1)=0.85に 比較される。0.87が0.85を上回る場合、プロセスはステップ726に続く。ステッ プ726で残りのインデックスがあると判断されているので、制御はステップ728に 渡され、ｊは１増分される。ステップ724に戻ると、PB（ｉ）=0.87は現在RT(2)= 0.90であるため、制御は、訂正係数インデックスの検索を終了するステップ730 に渡される。 図31は、テーブルへのインデックスが指定されるルックアップテーブル内で値 を捜し出す方法を説明するフローチャートである。図31では、第１の方法に従っ て訂正係数を求めるために、２であるインデックスｊが使用され、CT内の対応す るエントリを捜し出す。CT内の第２位置から読み取ると、訂正係数は、ステップ 736で-2であると判断される。したがって、MB(I+1)のq-レベルは-2で変更される 。同様に、PB（ｉ）=1.12の場合、インデックス７はPB（ｉ）より大きいRT内の 最初の入力に対応するため、７番目の位置にあるCTの訂正係数は３である。した がって、MB（i+1）のq-レベルは３を追加することによって、例えば３をMB(ｉ＋ 1)に加算することにより変更される。 第２の訂正係数決定方法では、再エンコードされたマクロブロックの集合のパ ーセンテージが訂正係数を求める際に第２パラメータとして使用される点を除き 、第１方法に類似したプロセスを使用する。さらに、テーブルから訂正係数を読 み取る代わりに、訂正係数はマトリックスから読み取られる。再エンコードされ たマクロブロックの集合のパーセンテージ、または再エンコードされていないマ クロブロックの集合のパーセンテージを使用することにより、フレームの列の最 初でより漸進的な訂正を加え、必要なら、最後でより著しい訂正を加えることが できる。これによって、システムは量子化モデルと実際に作成されたビット数の 間の変動をより正確に訂正できるようになる。再エンコードされずに残っている マクロブロックの集合の数と訂正の意義の間の反転関係を使用し、マクロ部アロ ッ クのある集合内での過剰予想がマクロブロックの別の集合での過少予想により相 殺されると仮定すれば、不必要な訂正は回避される。 第２訂正係数方法の訂正係数マトリックスCTMの例として、CTMが以下のように 定義されると想定する。フレームの列の最初で、概算比が必要なビット数の過剰評価を示す場合、すべて の未使用のビットをただちに次のスライスに割り当てし直す必要はない。未使用 のビットがただちにMB（ｉ+1）によって消費された場合、ｋｉ+1の場合、予想以 上のビットを消費するMB(k)により、MB(k+1)は強制的に不必要にさらに高い量子 化レベルに引き上げられるだろう。未使用のビットは、必要とされ、MB(k)によ って使用されるまで、再エンコードプロセスでMB（ｉ）から前方に運ばれる。 図32は、概算比および残っている再エンコードされていないマクロブロックの 集合の数の両方を使用して訂正係数がどのように計算されるのかを説明するフロ ーチャートである。必要となるビット数の過剰評価のケース、つまり訂正係数ｊ がPB（ｉ）=0.87の場合に２に等しいと以前に判断した場合、図32のステップ744 で過剰評価が再エンコードプロセスの最初のパーセントデ発生するかどうか判断 する。CTMの(2,1)での要素は-1であり、したがって訂正係数として選択される。 これにより、第１方法では-2がであった再エンコードプロセスの初期に訂正効果 は鈍る。しかし、再エンコードプロセスの99パーセントは実行され、概算比がPB （ｉ）＝1.12である場合、３である要素（9,77）が選択されるので、再エンコー ドプロセスの最後で完全に訂正する。 図27A-27Cに戻ると、q-レベルが事前に割り当てられたフレームがある集合内 のマクロブロックの数が１つのスライスの中のマクロブロックの数に等しい別の 例として説明される。ビットの概算数EB（ｉ）が前述のように計算され、図27A のMB（ｉ）、マクロブロックｉのレート制御プロセスで使用されるメモリの中に ロードされてから、MB（ｉ）が実際に再エンコードされる。作成ビット数、 GB（ｉ）が求められ、概算比が計算され、訂正係数捜し出される。図27Bに示さ れるように、それからMB(ｉ+1)は△（ｉ）によって訂正され、プロセスはMB(ｉ+ 1)のために繰り返される。図27Cには、MB(ｉ+1)が概算され、計算され、その概 算比が求められた後のMB（ｉ+2）の変化が示される。このプロセスは、すべての マクロブロックおよび部分的なマクロブロックが再エンコードされ、訂正される まで続行される。 図27Aおよび27Dを参照して別の例が示される。この例では、集合あたりのマク ロブロック数は、２つのスライスの仲のマクロブロックの数である。EB(ｉ)、GB (ｉ)、およびPB(ｉ)を計算した後で、２つのスライスを構成するMB(ｉ+1)のマク ロブロックは、図27Dに説明されるように、△（ｉ）により訂正される。この再 エンコードおよび訂正プロセスは、すべてのマクロブロックが再エンコードされ るまで以前の例で続行される。 再エンコードプロセスにより生じる変更は、図28Aおよび図28Bに説明される。 フレームＮの２つの等しい面積の領域である領域Ａと領域Ｂは、当初ほぼ等しい 数のビットを使用してエンコードされる。ユーザは、領域Aの品質が劣化され、 領域Ｂの品質が向上されなければならないと指定する。しかし、元のエンコード に使用されたビット数が再エンコードのビット数にできる限り近くなるようにす ることが望ましい。フレームＮを再エンコードした後、フレームＮには元のエン コードから作成された同じバイト数が格納されるが、領域Ａはより少ない数のビ ットでコーディングされ、領域Ｂは追加ビットを使用する。これにより、ユーザ が要求したように、領域Ａの品質は劣化し、領域Ｂの品質は向上する。本発明の レート制御プロセスでは、レート量子化関数を使用して求められた概算数でのマ イナーな誤差を訂正することにより、フレームの再エンコードされたビット数は できる限り元のビット数に近づけられる。 図29では、複数のフレームからのビットを割当てし直し、それらを第２の複数 のフレームに与えることにより、デジタルビデオストリームに加えられる変更を 説明する。個々のフレーム面積は変化しても、フレームの集合の総面積は同じま までなければならない。レート制御装置により、複数のフレームの再エンコード のビット数は、ビット概算数を求めるために使用されるレート量子化関数がわ ずかに間違っていても、元のエンコードからのビット数と同じになるように微調 整できるようになる。 B. 編集ポイントで復号化人為構造を回避しながら再エンコードする 1. 最初にエンコードしたときに使用された状態にエンコーダを復元する 前述の時間的品質編集動作および空間品質編集動作は、ビデオの品質を新規量 子化値でビデオを再エンコードすることによって変更できるようにする。ただし 、再エンコードされたビデオを単にオリジナルビデオに代入するだけでは、ビデ オの編集ポイントでの可視グリッチとして出現する受け入れられない復号化人為 構造が生じる場合がある。これらの可視グリッチは、代入されている新規セグメ ントにMPEG-2構文のような適切な構文が設定され、編集境界でのバッファ制約事 項が満たされていても発生する。問題は、編集セグメントの前に来る最後の基準 フレーム（最後のP-フレーム）および編集セグメントの最後にある別の基準フレ ーム（私語のP-フレーム）の非可用性の結果生じる。これにより、編集セグメン トの最初にあるB-フレームの第１集合と編集セグメント直後Ｂフレームの第１集 合のエンコードと復号化の間に格差が生じる。 デジタルエンコード圧縮ビデオの編集を適切に実行するためには、まず、希望 の編集ポイントに対応するエンコードビットストリームの適切な位置を決定する 必要がある。このプロセスは、エンコードされたビデオにアクセスするためのユ ーティリティを説明する第VI項に前述された。前述するように、これは、問題の ピクチャのビットオフセットを求めるために、既にエンコードされたフレームの それぞれい使用されるビット数を合計することで実行される。代わりに、エンコ ードされたビットストリーム内のある特定のフレームや期間の厳密なロケーショ ンを示す情報を維持するために、ディレクトリも使用できる。 今度は図33A-33Eを見ると、本発明の動作を説明するための例として使用され るビデオの期間がブロック図されている。図33Aでは、エンコードされたビデオ の元のセクション０がブロック図される。エンコードされた期間５m 0sから10m 0s（5分、ゼロ秒から10分、ゼロ秒まで）を別のビデオセクションで置き換える ことが希望される。図33Bでは、図33Aのエンコードされたビデオに代入しなけれ ばならない未エンコードビデオの新しいセクションがブロック図される。図33B および33Cの破線は、未エンコードビデオを表すのに使用され、図33A、33Dおよ び33Eの実線はエンコードされたビデオを示すのに使用される。 図33Bに示される新しいビデオのセクションだけが、GOPが以前のGOPを参照す る標準MPEG-2を使用してエンコードされ、図33Aに示されるビデオに代入される 場合、復号化人為構造が、MPEG-2ビデオ圧縮で使用される双方向復号化に必要な 正確な基準フレームが欠如しているため、編集ポイント5m 0sと10m 0sで存在す るだろう。GOPの始まりは以前のGOPに戻って参照するが、GOPの最後は次のGOPに 進んで参照しないという事実のため、この問題は本発明により違うように処理さ れる５分ポイントおよび10分ポイントの両方で存在する。 復号化人為構造をGOPの始まりで防ぐには、GOPの最初の２つのB-フレームの基 準フレームとして使用される先行するGOPの最後のP-フレームを作成し直すこと である。これは、例えば、オリジナルビデオの１つのGOPを挿入対象のビデオの 始めに格納することにより達成され、この追加されたビデオは図１の４m 58.5s から４m 59sに示される。例では、GOPの他の期間も可能ではあるが、あるGOPは １秒の２分の１に等しい。エンコーダは、4m 59sの直前にGOPの最後のP-フレー ムを作成するために、元のエンコードに使用される同じ量子化値でこのセクショ ンに関して再実行される。最後のP-フレームを除く、ビデオのこの短いセクショ ンの再エンコードの結果生じるすべての情報は廃棄されることがある。 編集セグメントの最後での復号化人為構造を防ぐために、オリジナルビデオの １秒という期間（例えば、図33Cの10m 0sから10m 1s）が置換される新規ビデオ の最後に付加され、この１秒セグメントは、元のエンコードの間に使用されたの と同じ量子化値を使用してエンコードされる。この１秒期間がビデオの最後に付 加されなかった場合、10m 0sマーク直後の２つのB-ピクチャは、10m 0sは２つの GOPの間の分割ポイントであると仮定し、編集の前と編集の後で異なる基準ピク チャに戻って参照する。例は、ビデオの２分の１秒期間または１秒期間の新規セ クションへの付加として説明したが、概念はGOPの付加に一般化できる。 現在では、最後にある編集ポイントが10m 1sポイントであるため、復号化人為 構造は10分マークでは出現しなくなるが、人は復号化人為構造が10m 1sで生じる かどうかを考慮しなければならない。10m 1sマーク直後の２つのB-フレームが、 それらが以前に参照した本質的に同じ基準フレームに戻って参照するため、可視 復号化人為構造は生じない。10m 0sマーク直後の２つのB-フレームが、それらが 過去に参照した同じ基準フレームに戻って参照しなくても、２つのB-フレームは 再エンコードされていたため、適切に新しい基準フレームに戻って参照する。し たがって、可視復号化人為構造は10m 0sポイントまたは10m 1sポイントでは存在 しない。 図33の最後に追加された２つのGOP（１秒）は、最後のP-フレームが元のエン コードにほぼ同等となるのに十分な時間でなければならない。10分ポイントの後 のオリジナルビデオを再エンコードするときにまったく同じ量子化値が使用され ることが保証できる場合には、1GOP（2分の１秒）で正確にエンコードされた基 準ピクチャを適切に作成するのに十分であるはずである。ただし、適正な品質を 保証するためには、２つのGOPが好まし。最初に使用されたのと同じ量子化値を 使用することが希望されても、実際には、元の量子化値からマイナーな偏差が生 じうる場合があるため、２つのGOPが望ましい。 4m 58.5sから4m 59sおよび10m 0sから10m 1sまで使用されるビデオの元の期間 に加えて、図33Cは、4m 59sから5m 0sまでの追加オリジナルビデオを示している 。このビデオは復号化人為構造の防止には必須ではないため、最後のP-フレーム を決定するための２分の１秒が5m 0sマークの直前（例えば4m 59.5sから5m 0sま で）に使用できる。ただし、4m 59sから5m 0s期間は、オペレータによる、品質 の手動変更が編集境界を超えて影響したという認知の機会を排除するために新規 ビデオに付加される。この誤認は、MPEG GOPの最初でのフレームのコーディング 順序はIBBだが、フレームはBBIとして表示されるという事実のためである。１秒 期間は、その期間の元のエンコードの間に使用されたのと同じ量子化値を使用し てエンコードされる。以前使用された量子化値を得る方法を以下に説明する。１ 秒期間が4m 59sから5m 0sに付加されないと、図33Dにブロック図される代わりの エンコードされたビデオは、5m 0sで開始するだろ う。 図33Cのビデオをエンコードした結果生じる有効なデータは、4m 59sから10m 1 sまで実行する代替データＳとして図33Dに氏得される。それから、この代替デー タＳは、図33Eに示すような最終ビットストリームを結果的に生じさせる図33Aに ブロック図される元のエンコードされたデータに代入される。 図33Aに示されるエンコードされていない情報およびエンコードされた情報は 、実施例のビデオであるが、エンコードされた情報を復号化するために、以前の または以降の、あるいはその両方の情報を使用するオーディオまたはその他の種 類の情報となる場合がある。 図33Bのビデオの新しいセクションは、任意のビデオソースから得られ、前記 の時間的編集プロセスまたは空間編集プロセスによって作成されるビデオである 可能性がある。4m 59sから5m 0sまでおよび10m 0sから10m 1sまでの図33Cのオリ ジナルビデオは、元のエンコードに使用されたのと同じ量子化値が設定されるオ リジナルビデオである。図33Cの新しいビデオＮの両端にあるこのビデオは、時 間的編集プロセスを使用し、最後のセクションの品質を、時間的手動編集の項に 説明した保護つきに設定するだけで得られ、量子化値が同じで留まる必要がある ことを示す。代わりに、図33Aのビデオは、図33Aのビデオに関係なく完了され、 異なった長さとなる場合がある。さらに、ビデオのセクションをカットアウトし 、新しいビデオを付加しないために本発明を使用することもできる。この場合、 図33Bにビデオは存在せず、「N」セグメントとその対応するエンコードは、図33 C-33Eには記載されていない。編集セグメントの前の最後のP-フレームが適切に 構築され、オリジナルビデオの２分の１秒から１秒の(１つまたは２つのGOP)が エンコードされるべき新しいビデオの最後に付加され、元のエンコードで使用さ れた同じ量子化スケールでエンコードされる限り、可視復号化人為構造はどのよ うな状況でも発生しない。 図34は、図33A-33Eに関して記述されるプロセスを説明するフローチャートで ある。開始後、ステップ780で、ビデオは圧縮フォーマットにエンコードされ、 図33Aに示されるエンコードされたビデオが作成される。ステップ782では、エン コードされたビデオに代入されなければならないエンコードされていないフォ ーマットのビデオの新しいセクションが決定される。ビデオのこの新しいセクシ ョンは、図33Bと33CでＮとして示され、オリジナルフレームに関連する、オリジ ナルフレームに関連しない、またはオリジナルフレームとは異なった期間がセ設 定される場面を表すことがある。置換されるビデオの開始ポイントおよび終了ポ イントは、それぞれ5m 0sと10m 0sである。ただし、置換対象の最終エンコード の実際の開始ポイントおよび最終ポイントは、図33Dにブロック図されるように 異なっている場合がある。 ステップ784では、編集ポイント5m 0sおよび10m 0sでの復号化人為構造を防止 するために、前記の理由からエンコードされていないビデオの期間をビデオのエ ンコードされた新しいセクションの最後に付加する。これらの付加された期間は 4m 59sから5m 0sおよび10m 0sから10m 1sまでである。ただし、4m 59sから5m 0s までの期間は必須ではない。 ステップ786では、編集ポイントの直前のP-フレームを決定する。図33Eで置換 されるビデオは4m508から10m 1sなので、4m 50sの直前の最後のP-フレームを突 き止める必要がある。このP-フレームは、4m 58.5sから4m 50sまでの期間のため のエンコーダを、P-フレームを最初にエンコードするために使用された量子化値 で実行することにより決定される。量子化値は、図10Aまたは図10Bのどちらかに 示されるフォーマットを持つマクロブロックログファイルから元の量子化値を検 索することにより求められる。ただし、映画全体の各マクロブロックの量子化値 は、大量の記憶領域容量を消費するので、量子化値を記憶するのは望ましくない 場合がある。代替策として、量子化値を、Ｉフレーム、Ｐフレーム、およびＢフ レーム用ビデオバッファ、allocated_bitとして図9Bにピクチャレイヤログファ イルに図示されるピクチャのターゲットビット、図9Cにmean_activityとして記 憶されるピクチャの活動レベル、およびエンコードの間にエンコーダにより計算 されるマクロブロックの活動レベルに関するレート制御ステータスを使用して単 に作り出すことができる。レート制御ステータスは、それぞれＩビデオバッファ 、Ｐビデオバッファ、およびＢビデオバッファのレート制御ステータス情報を記 憶する、図9Cの底部でS1_i、S2_i、S1_p、S2_p、S1_b、およびS2_bとしてブロッ ク図されるピクチャレイヤログファイルに記憶 される。ビデオエンコード技術の当業者は、本明細書に記載される教示に基づき 、過度の実験を行わないで希望のP-フレームの量子化値を求めることができるだ ろう。 基準フレームの量子化値またはエンコードされた基準フレーム自体を求める代 わりの方法として、エンコードされた基準ストリーム内の基準フレームのエンコ ードバージョンは既知の方法で複合化できる。さらに、必要とされる基準フレー ムを得るそれ以外の方法も実行できる。 基準P-フレームが得られた後、ビデオは、最後のセクションの元のエンコード と同じ量子化レベルを維持しながら、ステップ788でエンコードされる。量子化 レベルは、前述のように得られる。結果として生じるエンコードされたビデオは 、図33Dに示される。 それから、ステップ790で、新規にエンコードされたビデオを最初にエンコー ドされたビデオに代入し、図33Eに説明するように、最終製品が得られる。置換 されたエンコードされたビデオを含むこのエンコードされたビデオには、編集ポ イントで最小の復号化人為構造がある。 2. ピクチャのグループの閉鎖モードでの再エンコード 図33A-34に説明される手順の代替策として、復号化人為構造を低減しつつも新 しいビデオの始まりのエンコードのために別の手順を実行できる。この手順では 、ビデオの立ち下がり端を処理する方法は、図33A-34に関して前記と同じである 。 この代替実施例の例として、図33Aを元のエンコードされたビデオとして、図3 3Bを図33Aに代入されなければならないエンコードされていないビデオとして使 用する。元のエンコードされていないビデオは図33Bの始まり縁で追加されず、 図33Cに記述されるように、対応する元のエンコードされていないビデオの２つ のGOP（１秒）は、図33Bの最後に追加され、エンコードされるべきビデオは図35 Aに示される通りである。 エンコーダが、第２基準ピクチャのないB-フレームのビットを増加させながら 、 図35AのビデオをGOP閉鎖モードでビデオの第1GOPのためにエンコードすると、開 始編集ポイントでの可視復号化人為構造は排除される。10m 0sから10m 1sまでの 元のエンコードに使用されたのと同じ量子化レベルを使用する最後の部分のエン コードは、図33A-34に関して前述されるのと同じであり、その結果生じるエンコ ードビデオは図35Bにブロック図される。GOP閉鎖モードは、第6.3.8項でのMPEG 規格に説明される。ピクチャのグループの閉鎖モードフラグは１にセットされ、 エンコードされたB-フレームが、逆方向予測だけを使用してエンコードされ、以 前のGOPの基準フレームが使用されていないことを示す。しかし、双方向フレー ムに通常使用される基準フレームの内の１つが使用できないため、引き下げられ た品質を排除するために手順が実行されない限り、B-フレームは、品質を劣化さ せてしまうだろう。 GOP閉鎖モードでのB-フレームの品質劣化の問題を解決するために、単一方向 だけの予測が設定されるB-フレームのビット数は、フレームの品質が大幅に引き 下げられないように増加される。B-フレームには単一方向だけの予測が設定され ているので、ビット数は、ほぼ通常のP-フレームに使用されるビット数に増加す るのが好ましい。ただし、ビット数は、希望される画質に応じて変化する。 図35Bのエンコードされたのビデオは、図35Cでブロック図されるように、既に エンコードされたビデオに直接代入できる。 GOP閉鎖モードを使用するプロセスを説明するフローチャートは、図36に示さ れる。図36では、ビデオはステップ800での圧縮フォーマットにエンコードされ 、エンコードされたビデオに代入される必要があるビデオの新しいセクションは 、ステップ780と782に関して記述されるのと類似した方法でステップ802で決定 される。次に、ステップ804では、必要に応じて、エンコードされていないオリ ジナルビデオのGOP（１つまたは２つのGOP）を、ビデオの新しいセクションの立 ち下がり端に付加する。 それから、ステップ786でビデオをエンコードする。新しいビデオの第1GOPは 、ピクチャのグループの閉鎖モードでエンコードされ、基準フレームを見失った 双方向に予測されるフレームのビット数が、ほぼ単一方向予想フレームであるP- フレームに使用されるビット数に増加される。エンコードされたビデオのビッ ト総数が同じままとなる場合、二方向フレームに必要となる余分なビットは他の フレームから削除されなければならない。これは、空間手動編集または時間的手 動編集、あるいはその両方についての項に前述するように達成される。次に、ビ デオの新しいセクションの残りは普通にエンコードされる。最後に、新規ビデオ の立ち下がり端で付加された期間は、編集セグメントの終了ポイントでの復号化 人為構造を防ぐために、追加された期間の元のエンコードの間に使用されたのと 同じ量子化値を使用して、エンコードされる。最後に、新規にエンコードされた ビデオが、ステップ808で最初にエンコードされたビデオに代入される。 前述のプロセス、および図34と36にブロック図されたプロセスのいずれかによ って、代わりのエンコードされたセクションを含むエンコードされたビデオの最 終バージョンでは、復号化人為構造の数が低減されるため、可視ビデオグリッチ は減少し、復号化人為構造を防ぐためになんの訂正処置も講じられない場合と比 較してビデオの品質が向上する。前記を説明する例は、GOPの境界での編集ポイ ントに関係する。ただし、前記教示は、GOP境界にない編集にも適用できる。 復号化人為構造を低減するプロセスは、再生VTR51およびビデオエンコーダ50 とともに、ワークステーション10、30、および40を使用して実行される。しかし 、それ以外のハードウェア代替策も可能であり、発明の前述した面は、プロセス を実行するために、任意の汎用コンピュータまたは特定のハードウェアを使用し て実現できる。編集ポイントを決定するため、およびエンコードされるべきビデ オの新規セクションの最後に付加されるビデオを決定するために使用される計算 は、ワークステーション10またはワークステーション30のどちらかで実行される 。 IX． エンコードに使用されるレート量子化モデリング エンコードプロセスから生じるマクロブロックの列を表すのに必要とされるビ ット数を正確に概算するために、フレームは、フレームの標準量子化レベルを表 す複数の量子化レベルを使用して事前にエンコードできる。それから、フレーム は、他の量子化レベルだけではなく、代表的な量子化レベルを使用して実際にエ ンコードできる。図1Aに示される実施例では、ワークステーション10は事前に 決定された量子化レベルをビデオエンコード装置50にロードする。それから、ビ デオエンコード装置50は、事前エンコードを実行する。量子化モデルを作成する もっとも正確な方法では、可能な量子化レベルごとに各フレームをエンコードし 、結果として生じる使用ビット数に関する統計を記録することが必要となる。し かし、このプロセスには、未処理ビデオでのｎ会のパスが必要となる。この場合 、ｎは未処理ビデオのエンコードに使用される量子化レベルの総数である。この 方法はひどく長いので、本発明は、従来の方法に要した時間の少しで最適の方法 に類似した結果を作成する改善された方法となる。方法には、量子化レベルに対 する代表的なビットレートを、事前エンコードフェーズの間に複数のフレームの それぞれに計算できるように、複数のフレームのさまざまなパーツに異なった量 子化レベルを割り当てることが必要になる。これにより、正確なビットレート対 量子化レベルの統計を作成しながらも、各フレームのn-1の事前エンコードが節 約される。それから、これらの統計を補間し、そのビットレート対量子化レベル が事前エンコードプロセスで決定されなかったマクロブロックによって使用され るビット数を概算する。２つの代替実施例では、方法は未処理ビデオまたは未処 理ビデオのすべてのフレームから過半数のフレームを事前エンコードする。 図37Aには、２ポイントビットレート対量子化レベル線が複数のフレームに作 成され、結果が複数のフレームに記憶されるように、事前エンコードプロセス内 でマクロブロックに基づいて２つの異なった量子化レベルをマクロブロックに割 り当てられる未処理ビデオのフレームが示される。代替例では、量子化レベルは 、マクログループのグループまたはストリップで割り当てられる。図37Bでは、 量子化レベルが、位置に基づく統計上の異常を回避するために、フレーム内のさ まざまな場所に割り当てられるフレームでの４つの量子化レベルの均一な分配を 説明する。図示されたフレームでは、各行のj、行内の最初の量子化レベルは、q jmod4である。この結果、４ポイントビットレート対量子化レベルの曲線が生じ る。図37Cでは、図37Bと同じプロセスが示されるが、量子化レベルはブロック様 式で割り当てられている。このプロセスのシングルパスは正確なビットレート対 量子化レベル曲線を作り出すが、代替実施例では、このプロセスは、量子化レベ ルごとに各フレームを分析することによって収集される統計に近づくさらに正確 な統 計を作成するために、複数のフレームで何度も繰り返される。 図38では、複数のフレームの量子化レベル対ビットレート特性を決定する一般 的なプロセスを説明する。プロセスはステップ850で開始し、事前エンコードさ れる未処理ビデオを表すビデオ信号を獲得することにより、ステップ852で続行 する。ステップ854では、プロセスは、第１フレーム、ｉがフレームインデック スであるところのi=1が事前エンコードされなければならないことを示す。ステ ップ856に続けると、フレームi=1の量子化レベルは、統計学上の異常を防止する ためにフレームで均一に割り当てられる。ステップ858では、フレームi=1は、ス テップ856で割り当てられる量子化レベルを使用して事前エンコードされる。ス テップ858の結果は、ステップ856で割り当てられる量子化レベルごとのビットレ ートがフレームi=1に記録されるように、ステップ860で求められる。ステップ86 2では、方法が、複数のフレームのすべてが事前にエンコードされているかどう かを判断する。事前にエンコードされていたフレームは１つだけであったので、 プロセスは、フレームインデックスｉに１を加算してエンコードされるべきフレ ームとして第２フレームを指定するステップ866まで続く。それから、制御は、 量子化レベルをフレームｉ=2に割り当てるステップ856に戻される。ステップ856 、858、860、および862で割り当て、事前にエンコードし、ビットレートを決定 するプロセスは、すべての残りのフレームについて続行される。ステップ862で 、複数のフレームのすべてが事前にエンコードされていたと判断される場合、プ ロセスはステップ864に移動することにより終了する。ステップ864に到達すると 、ビットレート対量子化レベル曲線は、ステップ856で割り当てられる量子化レ ベルおよびその対応するビットレートを使用することにより、近似される。 未処理ビデオの複数のフレームにビットレート対量子化レベル曲線を作成した ので、事前エンコードプロセスは、未処理ビデオの一部がデジタル記憶装置媒体 、つまりコンパクトディスクに適合するようにエンコードされるエンコードプロ セスに移動する。未処理ビデオセグメントの１つ、複数、過半数またはすべてが 、この第２フェーズでエンコードされる。未処理ビデオセグメントを自動的にエ ンコードする必要がある場合は、エンコーダは、セグメント内の各フレームのマ ク ロブロックに割り当てられる量子化レベルを決定するために、対応するビットレ ート対量子化レベル曲線と結び付いた各マクロブロックの活動基準を使用する。 それから、セグメントの各フレームがエンコードされ、その結果として生じるビ ット数は、割り当てられた量子化レベルに基づいてビット概算数と比較される。 結果として生じるビット数がビット予測数から大きく異なる場合、自動エンコー ダは、エンコードされるマクロブロックの次の集合の量子化レベルを変更するこ とによって、変動を補償しようと試みる。この連続プロセスにより、自動エンコ ーダはターゲットビット数に一致するように未処理ビデオ全体のセグメントをエ ンコードする。 さらに、ビデオシーケンスのもっと後のフレームのビットレート対量子化レベ ル曲線は、結果として生じるエンコードされたデジタルビデオを通して品質を調 整する場合に使用できる。図39に図示されるように、フレームＮは同じ量子化レ ベルにフレームＭより少ないビットを作成すると知られている。したがって、フ レームＭは、フレームＮ内と同じ品質の両像を作成するためにはさらに多くのビ ットを必要とする。フレームＮがそのすべての割り当てられたビットを使用しな いで希望の品質でエンコードされると、エンコーダは、同じ品質のために、ユニ ット時間あたりさらに多くのビットを必要とするフレームＭをエンコードする際 に使用される余分なビットを前方に運ぶことができる。この機能は、M+N>1の場 合にフレーム先読みバッファが１つしかないシステムでは利用できない。 X. データ構造を使用して、オーディオ、ビデオ、およびサブピクチャのデ ジタル信号を結合する 本特許明細書の前記部分は、おもに、エンコード圧縮デジタルオーディオ映像 信号を作成するために、オーディオ映像情報のエンコードの間に使用される技法 に関する。しかし、オーディオ情報およびビデオ情報が結合、記憶、およびテレ ビの上などで、オーディオ映像情報を作成し直す、または構築し直すために後で 復号化されるためには、オーディオ情報、ビデオ情報、およびそれ以外の記憶さ れ、後で復号化できるようにエンコードされていた情報を結合し、インタリーブ する必要がある。オーディオ情報、視覚情報、およびそれ以外の情報の結合は、 図1Aに図示されるワークステーション20で発生するフォーマットプロセスとして 、前記に簡略に説明した。フォーマットプロセスならびに結果として生じるデー タ構造および信号について、ここで詳しく説明する。 ここで図1Aを見ると、MPEGビデオおよびエンコードされたオーディオはディス ク21に記憶される。さらに、ビデオの上に表示またはオーバレイあるいはその両 方を行われる字幕または図形表記、あるいはその両方を含むサブピクチャ情報は 、例えば、別個のワークステーションにより初期にエンコードされ、エンコード されたサブピクチャ情報は、フロッピーディスク、テープまたはその他の種類の ディスクのようなデジタル記憶装置媒体に記憶される。この記憶されたサブピク チャ情報は、デジタル記憶装置22の内の１つにより読み取られ、フォーマットプ ロセスでディスク21内のエンコードされたオーディオとビデオと結合され、ワー クステーション20により１つのデータストリームにフォーマットされる。フォー マットプロセスの出力は、ディスク21に記憶されてから、デジタル記憶装置22の デジタルテープに書き込まれる。それから、テープは既知の光ディスク製造法に より光ディスクを作成するために使用される。したがって、本発明は、オーディ オおよび視覚データのエンコードに関係するだけではなく、エンコードデータ、 オーディオデータ、ビデオデータおよびサブピクチャデータを１つのデータスト リーム、デジタル記憶装置媒体およびフォーマットされたオーディオ情報、ビデ オ情報、およびサブピクチャ情報を記憶するその上でのデータ構造に結合するた めのプロセスおよびシステムに関し、復号化プロセスおよびユーザまたは消費者 に表示するためにオーディオ情報、ビデオ情報およびサブピクチャ情報を分離し 、再構築するデコーダにも関する。光ディスク上またはフォーマットされたデー タ内でのデータ構造が、メモリ内に記憶される情報の物理的な編成を分け与える 特殊電子構造要素に関係することを注記すべきである。これらの特殊電子構造要 素は、ビデオオンデマンドシステムに使用できるまたはデジタルビデオディスク プレーヤを使用してユーザまたは消費者のために復号化される光ディスク内に記 憶される。 エンコードされたのオーディオ映像情報用のディスクまたはそれ以外の記憶装 置媒体のフォーマット構造の特定な特徴を説明する前に、本発明により改善され る既知の規格について説明する。ISO/IEC 13818-1は、そこに引用される参考と ともに、参照により本明細書に取り入れられるMPEGビデオおよびオーディオのシ ステム面を記述する。これ以降MPEGシステム説明と呼ばれるISO/IEC 13818-1は 、ビデオストリームおよびオーディオストリームの基本的な多重化アプローチを 説明する。これらのストリームは、パケット化基本ストリーム（PES）パケット と呼ばれるパケットに分割される。また、MPEGシステム説明には、１つ以上の独 立したタイムベースのある１つ以上のプログラムを１つのストリームに結合する 移送ストリームの使用についても説明される。MPEGシステム説明は、複数の基本 ストリームを同期させるために使用されるプレゼンテーション時刻記録（PTS） の使用について説明する。時刻記録は、一般的には90kHzという単位で、システ ムクロックリファレンス(SCR)、プログラムクロックリファレンス(PCR)、および オプションの基本ストリームクロックリファレンス(ESCR)といっしょに使用され る。データがMPEGシステム説明に従い、どのようにフォーマットされるのかにつ いての詳細の完全な説明は、ISO/IEC 13818-1に記載される。 ISO/IEC 13818-1に基づいたフォーマットプロセスを使用するのに加えて、デ ータは、また、ISO 9660,1988、情報処理−−ボリューム、および本明細書に参 考により取り入れられる情報交換用CD-ROMのファイル構造に従ってフォーマット および記憶される。この規格は、ディスクボリューム（音量ではなく、ディスク の内容）およびファイル構造がどのように編成されるのかを記述する。 オーディオデータ、ビデオデータ、およびサブピクチャデータを記憶するため に使用される光ディスクの現在の時刻での実施例は、片面あたり５ギガバイトの 容量で、総記憶容量10ギガバイトの単層両面ディスクである。将来のフォーマッ トでは、記憶容量を増加するために多層ディスクを見越し、読み取り専用ディス クの使用に加えて、追記技術および上書き技術も使用できる。本発明とともに使 用できるディスクのそれ以外の面については、1994年９月13日に提出された「光 ディスクおよび光ディスク装置」という米国特許明細書08/304,848に説明する。 ディスクの外径は120mmであるのが好ましい。 図40では、究極的には光ディスクに具備されるワークステーション20のフォー マットされた出力の構造を説明する。この構造900は、リードイン領域902を含む 。リードイン領域にはディスクから読み取られるデータのそれ以降の処理を制御 する個々のフィールドが含まれる。リードイン領域900に記憶される例示的な引 込み情報は、本明細書に参考により取り入れられるクックソン(Cookson)その他 の米国特許5,400,077の図３にブロック図される。 システム領域904およびボリューム管理情報906はISO 9660に準拠する。ボリュ ーム管理情報906には、主要なボリューム記述子、ボリューム記述子設定終止プ ログラム、ディレクトリレコード、およびパステーブルレコードが含まれる。主 要なボリューム記述子には、ディスクがビデオディスクであるのか、またはオー ディオディスクであるのかを示す記述子型、ディスクがどの規格に準拠している のかを示す標準識別子、システム識別子、ボリューム識別子、ボリュームサイズ 、論理ブロックサイズ、パステーブルサイズなどのディスクボリュームの基本的 な情報が記憶される。システムのこれらのフィールドおよびそれ以外のフィール ド、およびボリューム管理情報は、ISO 9660に詳説されているので、その説明は 簡略さを期すために省略される。さらに、希望する場合には、ISO 9660に準拠す る補足ボリューム記述子もある。 ボリューム記述子設定終止プログラムには、ボリューム記述子型、標準識別子 、およびボリューム記述子バージョンが記憶される。ディレクトリレコードには 、ISO 9660に従ったディスクのさまざまなディレクトリ情報が記憶される。パス テーブルレコードには、ISO 9660に記述されるように、Ｌ型パステーブルおよび Ｍ型パステーブルが記憶される。 ディスク情報ファイル908は、ディスクの内容についてのさらなる情報および 光ディスクをプレイするときにユーザが選択できるメニュー情報にが記憶される 。ディスク情報ファイル908の詳細は、図41に関して説明される。 各ディスクには、最大99データファイルまで最小１データファイル910が格納 される。例えば、ディスク上に２つの異なったオーディオ映像プログラムが記憶 されている場合、ディスク情報ファイル908には、ユーザが使用を希望するデー タファイルのどれかをユーザが選択するためのメニューを作成するのに必要な 情報が記憶される。データファイルは、図42-56に関連して詳説される。リード アウト領域16は、ディスク、処理がどのように実行されるのかを記述するそれ以 外の情報、または関連するディスクに関する情報が記憶されることがある。 図41は、図40のディスク情報ファイル908を説明する。ディスク情報ファイル9 08には、ファイル管理情報920およびユーザが対話するメニューを構成する情報 であるメニューデータ922が格納される。メニューデータは、ビデオデータ、オ ーディオデータ、およびサブピクチャデータを含む。ファイル管理情報920は、 ファイル管理テーブル924、ディスク構造情報926、メニュー構造情報928、およ び複数オメニューセル情報フィールド932と934が含まれるメニューセル情報テー ブル930を格納する。 ファイル管理テーブル924には、ディスク情報ファイルのあらゆる面に関する 情報が含まれる。ファイル管理テーブル924内には、ファイル名を識別するため のボリューム管理情報906の対応するディレクトリレコード内の対応するファイ ル識別子と同じ内容を記述するファイル名が記憶される。論理ブロックの数を使 用してファイルのサイズを記述するフィールドがある。本明細書全体で、「論理 ブロック」という用語は、ISO 9660に定義されるように使用される。論理ブロッ ク数を使用するファイル管理テーブルのサイズ、ファイルの先頭からの相対論理 ブロック番号を使用するディスク構造情報926の開始アドレス、ファイルの先頭 からの相対論理ブロック番号を使用して記述されるメニュー構造情報928の開始 アドレス、ファイルの先頭からの相対論理ブロック番号を使用するメニューセル 情報テーブル930の開始アドレスを記述するエントリがある。メニューデータが ない場合は、このフィールドの値はゼロになる。ファイルの先頭からの相対論理 ブロック番号を使用するメニューデータ922の開始アドレスを記述するフィール ドがある。メニューデータが存在しない場合、このエントリはゼロである。 ファイル管理テーブル924には、メニューデータ用のビデオのビデオ属性を記 述するフィールドもある。この情報は、ビデオ圧縮モードがMPEG-1であったのか 、MPEG-2であったのか、ビデオのフレームレート（毎秒29.97フレームまたは毎 秒25フレームのどちらか）、表示アスペクト比が3/4であるか、または9/16であ るのかを示すフィールド、およびパンスキャンとレターボックスモードの両 方が許可されていることを示すか、パンスキャンモードがは許可されているが、 レターボックスモードが禁止されていることを示すか、あるいはパンスキャンモ ードが禁止され、レターボックスモードが許可されていることを示すディスプレ イモードフィールドを含む。 ビデオ属性を記述するフィールドと同様に、ファイル管理テーブル924のオー ディオストリームを記述するフィールドもある。このフィールドには、オーディ オがドルビーAC-3に従ってエンコードされたのかどうか、オーディオがMPEGオー ディオであるのかどうか、あるいはオーディオが線形PCMオーディオ（48kHzで16 ビット）を含むオーディオコーディングモードの表示が指定される。また、オー ディオがモノラル、ステレオ、またはデジタルサラウンドであるのかを含むオー ディオコーディングモードの表示も指定される。 ファイル管理テーブル924には、さらに、メニューデータ922のサブピクチャス トリーム属性を記述するフィールドも入る。このフィールドは、以下に説明する ように、ランレングスサブピクチャコーディングモードがサブピクチャに使用さ れることを示す。フィールド管理テーブル924には、メニューのためのすべての サブピクチャに使用される16セットのカラーパレットを記述するフィールドも入 る。パレット番号１から16には、輝度信号Ｙ、カラー差異信号Cr=R-Y、およびカ ラー差異信号Cb=B-Yが指定される。 ディスク構造情報926には、ディスクに記憶されるビデオファイルおよびオー ディオファイルの構成情報が含まれる。ディスク構造情報926には、ファイル名 を識別するために使用されるディレクトリレコード内での対応するファイル識別 子と同じ内容を記述するファイル名が含まれる。ファイルをディスク構造情報フ ァイルとして識別するファイル識別子フィールドがある。図40に示されるデータ ファイル910および914のようなディスク上のデータファイルの数を示すフィール ドがある。また、ファイルにビデオ情報とオーディオ情報の両方が記憶されるの か、あるいはオーディオ情報だけが記憶されるのか、およびアイルがカラオケフ ァイルであるかどうかを含むデータファイルのそれぞれのタイプを示すフィール ドもある。 ディスク構造情報926には、データファイル内のサブピクチャとオーディオ情 報を含むフィールドも含まれる。このフィールド内には、サブピクチャチャネル 数も示される。各サブピクチャチャネルは、異なったサブピクチャ言語のような さまざまなサブピクチャ情報を表示する場合に使用できる。また、オーディオス トリーム数の表示、チャネル番号順の各サブピクチャチャネルの言語コードの表 示、オーディオストリーム番号順のオーディオストリームの言語コードの連続記 述、およびファイルのパレンタル管理とアングル情報の記述もある。 パレンタル管理情報は、表示される情報のある特定のシーケンスを記述する場合 に使用される。パレンタル管理情報は、シーケンス内に含まれる特定のセルの最 大親レベルである。レベルは、１から５で変化し、レベルが高いほど、見聞きさ れる内容に対する制限が多くなる。シーケンスとセル、およびパレンタル管理ス キームの詳細は、以下に説明する。ビデオシーケンスのアングルの数を記述する フィールドもある。例えば、ミュージックビデオに、ミュージックビデオ全体を 通して３つの異なったカメラビューがある場合、ユーザはどの特定のカメラアン グルを表示に希望するのかを選択できる。また、シーケンス内のプログラム数を 示すフィールドもある。 メニュー構造情報928には、各メニュータイプの開始セル番号が含まれる。デ ィスプレイシーケンスには複数のセルがある。例えば、１つのシーケンスは最高 256のセルを格納できる。セルは、後述する再生情報（PBI）パックと次のPBIの 直前のパックの間のGOP（ピクチャのグループ）の整数である。ビデオ用データ は、データを連続して再生する必要があるレコード単位としてセルの中に分離さ れる。セルには、表示のための情報が含まれ、その目的に応じて分割される。セ ル内の第１オーディオパックとおよび第１サブピクチャパックが、セルの先頭に あるPBIパックの後ろ手記録されるビデオヘッドパック中のPTSに近いプレゼンテ ーション時刻記録(PTS)を含むのが望ましい。異なったセルは、希望されるアン グルおよびプログラムの親制約に応じて表示される。例えば、より若年層の視聴 者向けには不適切であった映画のあるセクションがあったと仮定する。表示でき るパレンタル管理レベルに応じて、２つのシーケンス共用セルが存在する。例え ば、制約されていない表示の場合、ある特定のシーケンスにセル1、2、3、およ び５を表示できる。制約レベルの表示の場合は、そのシーケンスに表示され るセルは1、2、4、および５である場合がある。 異なったアングルに関しては、同時進行し、その再生に要する時間が実質上等 しい、複数のカメラアングルで各ビデオを記録させることができる。各アングル は、アングルセルと呼ばれる１つのセルから構成される。同時に先行する複数の アングルセルの集合が、アングルブロックと呼ばれる。シーケンス内の複数オロ ケーションでアングルブロックが限定される場合、各アングル番号のアングルセ ル数およびカメラアングルは、アングルブロックを通して同じでなければならな い。 メニューセルとは、ユーザに、ボリューム内の各ビデオファイルまたはオーデ ィオファイルの内容を知らせるメニュー画面を構成するセルである。メニューセ ルの集合は、メニュー用データとしてディスク情報ファイルにともに記録される 。メニュータイプ共呼ばれる、メニューセルタイプは、タイトルメニュー、プロ グラムメニュー、オーディオメニュー、サブピクチャメニュー、およびアングル メニューに分類される。メニュー画面には、メニュー用ビデオが備えられる。再 生装置の画面上に表示される選択用アイテムは、メニューセルのサブピクチャデ ータとして記録される。 メニューセル情報テーブル930は、図41の932と934のような複数のメニューセ ル情報が記憶されるテーブルである。１つのメニュー画面に１つのメニューセル が具備される。メニューセル情報は、複数のフィールドを含む。第１フィールド は、ディスクの情報のコピーが許可されているかどうか、パレンタル管理のレベ ル、メニューがタイトルメニューであるかどうかなどのメニューセルタイプ、プ ログラムメニュー、オーディオメニュー、サブピクチャメニュー、またはアング ルメニューおよびメニューの言語コードを示す。各言語にはコードが割り当てら れ、言語コードサブフィールド内に現れる特殊コードが、メニューと使用される 言語を示す。 メニュー画面上のサブピクチャによって表示される選択アイテムの開始番号お よび選択アイテム数を記述するフィールドもある。選択アイテム開始番号は、メ ニュー画面上の選択アイテムの最小数を記述し、メニューの次のページが存在す るかどうかを示すフィールド、および選択できる１と16の間のアイテム数を記 述する番号がある。メニューセル情報は、メニューセルの開始パックのシステム クロックリファレンス(SCR)の下位32ビット、メニューセルの開始アドレスをフ ァイルの先頭からの相対論理番号で記述するフィールド、およびメニューセルを 構築する論理ブロック数を記述するフィールドも含む。 メニューデータ922は、メニューのために表示される実際の情報を含む。この 情報は、図40のデータファイル910と914の情報が構築されるのと同じように構築 され、したがって各面の綿密な記述は冗長な記述を防ぐために省略される。メニ ュー画面で選択されるアイテムは、サブピクチャ情報で形成される。ディスクプ レーヤによるメニュー選択の処理は、コンピュータコードを実行するマイクロプ ロセッサを使用して実行される。タイトルのためのメニュー選択が行われると、 選択の結果はファイルの最初または選択されたタイトル番号に対応するシーケン ス番号から再生される。プログラムメニュー選択の場合、選択されたプログラム は選択されたプログラムの最初から再生される。メニューからのオーディオ選択 の場合、オーディオストリームは選択されたオーディオストリームに対応するよ うに設定される。同様に、サブピクチャメニュー選択の場合、チャネル番号は選 択されたサブピクチャチャネルに等しく設定される。最後に、メニューからのア ングル選択は、アングルセル番号を選択された番号に等しくなるように変更する 。それ以外の情報は、希望に応じて含まれ、メニューを通して選択できる。 図40のデータファイル910のようなデータファイルには、図42にブロック図さ れるような２つのセクション、つまりデータファイル管理情報940およびオーデ ィオ情報、ビデオ情報およびサブピクチャ情報を表示するために使用される実際 のデータ942が記憶される。データファイル管理情報940には、４つの主要な構成 要素、つまりデータファイル管理テーブル944、シーケンス情報テーブル946、セ ル情報テーブル948およびデータ検索マップ950を含む。 データファイル管理テーブル944は、データファイル910の各面に関する情報を 含む。この情報には、ファイル名を識別するためのディレクトリレコード内の対 応するファイル識別子と同じ内容であるファイル名のフィールド、オーディオ情 報とビデオ情報の両方がファイルに記憶されることを示すファイル識別子、論理 ブロック数により定義されるファイルのサイズ、ファイル管理テーブルのサイ ズ、ファイルのシーケンス番号、ファイルのセルの数、ディスク構造情報(DSI) パックの数、シーケンス情報テーブル946の開始アドレス、セル情報テーブル948 の開始アドレス、データ検索マップの開始アドレス、データ942の開始アドレス 、MPEG-1またはMPEG-2のようなビデオ圧縮モードを含むデータ942のビデオ属性 を記述するフィールド、レートが毎秒29.97フレームであるのか、毎秒25フレー ムであるのかを含むフレームレート、表示アスペクト比が3/4であるのか、9/16 であるのか、またはディスプレイモードによってパンスキャンフォーマットとレ ターボックスフォーマットの１つが可能とされるのか、両方が可能とされるのか を示す表示アスペクト比を含む。 データファイル管理情報は、さらに、ファイル内のオーディオストリーム数を 、オーディオコーディングモードのようなオーディオストリーム属性、モノラル 、ステレオ、またはデジタルサラウンドのようなオーディオモード、特殊言語が 含まれているのかどうかを示すオーディオタイプを記述するフィールド、および 言語のコード番号を示す特殊コードのフィールドも含む。 データファイル管理テーブル944は、さらに、サブピクチャチャネル数を記述 するフィールド、サブピクチャのランレングスコーディングが使用されること、 および指定言語および指定される言語があるかどうかを示すフィールドのような サブピクチャチャネル属性を記述するフィールドを含む。さらに、ファイルのす べてのサブピクチャチャネルで使用される16のカラーパレットのY、Cr、およびC Bカラーを示すフィールドがある。また、シーケンス情報テーブルのサイズ、最 小セル番号と後続の連続セルの数を記述するフィールド、およびファイルの１つ のシーケンス内で使用されるセル番号の範囲を記述するフィールドもある。１つ のシーケンス内で使用されるセル番号は、32の連続番号で１つの集合を作り、最 小セル番号を集合の最初の番号となるように格納することにより計算される数の 集合に入れられなければならない。このフィールドには、シーケンスで使用され るセル数、およびシーケンスで使用される最小セル数を含むサブフィールドがあ る。 シーケンス情報テーブル946には、複数のシーケンス情報エントリ952と954を 含む。シーケンスとは、このシーケンスにより指定される範囲内のセルが選択 式で再生される順序のことである。完全および接続という２種類のシーケンスが ある。完全型シーケンスは、それ自体を再生した後に終了する。接続型シーケン スは、連続して再生される。参照番号952により示されるシーケンス情報１およ び954により示されるシーケンス情報ｉのようなシーケンス情報番号は、シーケ ンス番号に等しく、１で開始するシーケンス情報テーブルい、記述順序で番号が 付けられる。シーケンス情報テーブルのシーケンス情報エントリは、完全型シー ケンスまたは接続型シーケンスの順序で記述されている。各シーケンス情報テー ブルは、完了型シーケンスまたは接続型シーケンスの順序で記述される。各シー ケンス情報には、シーケンスタイプ、格納されるプログラム数、格納されるセル 数、シーケンス再生時間、接続型シーケンス数、接続可能シーケンス番号、およ びシーケンス制御情報を示すフィールドを示すフィールドを含む。 シーケンス情報のシーケンスタイプフィールドは、シーケンスのコピーおよび パレンタル管理を記述する。コピーが許可されているのか、または禁止されてい るのかを示すサブフィールド、パレンタル管理のレベルを1-5で指定するサブフ ィールド、完了型シーケンス、接続型ヘッドシーケンス、接続型中間シーケンス または接続タイプとシーケンス内の１つである可能性があるシーケンスタイプを 示すサブフィールドある。また、シーケンスが、カラオケアプリケーションで使 用するかどうかを示すアプリケーション型サブフィールドもある。 格納プログラム数フィールドは、最高１つのシーケンス内に100というプログ ラム数を記述する。格納セル数フィールドは、ある特定のシーケンス内での、合 計256セルまでのセル総数を記述する。シーケンスまたは再生時間は、時、分、 秒およびビデオフレームによる単位でこのシーケンスの総再生時間を記述する。 接続型シーケンス数フィールドには、最大数が８であるその直後に接続可能な シーケンス数を指定する。接続可能シーケンス番号フィールドは、接続可能シー ケンスのシーケンス番号と指定される数のシーケンスのパレンタル管理のレベル を記述する。接続可能シーケンスの選択番号は、記述された順序で１から割り当 てられる。このフィールドには、パレンタル管理番号のサブフィールド、および シーケンス番号のサブフィールドが指定される。シーケンス情報の最後のフィー ルドは、再生順でシーケンスに含まれるセルを記述するシーケンス制御情報であ る。このフィールドも、複数のセルの集合であるアングルブロックの記述に使用 される。それらのセルの再生時間は、実質上等しい。各再生セクションは、１つ のセルで構成される。アングルブロックは、多くても９個のセルを含み、第１セ ルに１という番号が付けられる。シーケンス制御情報のサブフィールドには、実 質上再生される複数のセルを結合する再生単位としてプログラムを定義するプロ グラム番号を指定する。以下のセルに連続して進むのか、休止するのか、あるい はシーケンスの最後に到達したかを示すセル再生制御のサブフィールドがあり、 ブロックが構成セルではないかどうか、ブロック構成の第１セルがあるかどうか 、それがブロック構成内のセルなのか、ブロック構成内の最後のセルであるのか を示すブロックモードサブフィールドがある。ブロックがないかどうか、または アングルブロックがあるかどうかを示すブロック型サブフィールドがある。最後 に、再生対象のセルのセル番号を示すサブフィールドがある。 データファイル管理情報940は、さらに、複数のセル情報エントリ956と958を 含むセル情報テーブル948を含む。各セル情報エントリは、コピーが許可されて いるのか、禁止されているのかを示すセルタイプ情報、およびパレンタル管理レ ベルを含む。また、時、分、秒およびビデオフレームによりセルのセル再生総時 間を記述するセル再生時間を示すフィールドもある。セルの第１パックに記述さ れるシステムクロックリファレンスの下位32ビットを記述するフィールド、ファ イルの始めからの相対論理ブロック番号でセルの開始ポイント得のアドレスを記 述するフィールド、およびセル内に含まれる論理ブロック数を記述するフィール ドがある。 ファイル管理情報940のデータの最後のセクションは、データ検索マップ950で ある。 データ検索マップは、データ検索情報パック960と962の複数のポインタを備える 。再生情報(PBI)パックポインタと呼ばれるこれらのポインタは、データ942内に 存在する再生情報のアドレスを指定する。高速順方向モードまたは高速反転モー ドを実行し、情報の表示を可能にするためには、MPEG-2ビデオシーケンスのイン トラピクチャに依存するのが最適です。これらのイントラピクチャは、そのアド レスがデータ検索マップ内に記憶されるデータ942内の再生情報パックを 使用して配置される。PBIパックの詳説は、以下で行う。 図43にブロック図されるデータファイル910のデータ942は、再生情報(PBI)、 ビデオ情報、サブピクチャ情報、およびオーディオ情報のインタリーブされたパ ックを含む。例えば、図43では、データは再生情報940、ビデオ情報942と944、 サブピクチャ情報946、オーディオ情報948などを含む。データ942内の情報の構 造、およびプレゼンテーションタイミングは、MPEGシステム説明（ISO/IEC13818 -1）に定義されるプログラムストリームに準拠する。しかし、再生情報およびサ ブピクチャ情報、ならびにこの情報が、記憶、エンコード、および復号化される 方法が、本発明の一部を構成する。 図43でデータ942から構成されるさまざまな情報は、情報パックを含む。例示 的なパック970Aおよび980Aが、図44Aと44Bに示される。各パックは、パックヘッ ダ972Aまたは972B、およびビデオ情報、オーディオ情報、サブピクチャ情報、ま たは再生情報から構成される。 パック970Aの構造は、パケット982Aが2034バイトと2027バイトの間で占有する ときに使用される。スタッフィングフィールド980Aによって、１から８バイトの スタッフィングがパック総サイズを2048バイトにできるようにする。ビデオ情報 、オーディオ情報、サブピクチャ情報または再生情報が2027バイトを下回るとき 、図44Bに示されるパック構造970Bが使用され、１バイトのスタッフィング970B およびパケット982Bと984Bのビット総数を2034バイトにあるようにする埋め込み 984のパケットがある。パケットヘッダ972Aと972Bのそれぞれには、パック開始 フィールド974、システムクロックリファレンス976、多重化(MUX)レートフィー ルド978、およびスタッフィングフィールド980がある。図44Aと44Bのパケットは 、ISO/IEC13818に従って構築され、プログラムストリームパック内のフィールド のセマンティック定義に関するその第2.5.3.4項に説明される。 図45は、再生情報(PBI)パックを示している。パックヘッダ972は、図44Aと44B に関して記述されるように、構築される。図45のシステムヘッダ986は、ISO/IEC 13818-1に記述されるプログラムストリームシステムヘッダの要件に準じて構築 される。システムヘッダ内のフィールドのセマンティック定義は、 ISO/IEC 13818.1の第2.5.3.6項に説明される。 パケットヘッダ988は、ISO/IEC 13818-1の第2.4.3項に記述されるPESパケット 内のフィールドのセマンティック定義に説明されるフィールドに従って構築され る。ただし、パケットヘッダ988では、プレゼンテーション時刻記録までのフィ ールドだけが必要とされる。 再生情報パックは、さらに、サブストリームIDフィールド990を含む。これは 、サブストリームの識別を示す８ビットのフィールドである。使用できる別の識 別は、サブピクチャストリーム、ビデオ空白化情報(VBI)ストリーム、AC-3スト リーム、または線形PCMストリームである。MPEGオーディオサブストリームなど の他のストリームタイプを入れることも可能である。サブストリームID990はビ デオ空白化情報992のデータを先行するので、サブストリームIDは、後続の情報 がビデオ空白化情報ストリームであることを示すように設定される。ビデオ空白 化情報992のデータは、ISO/IEC 13818-1に従って構築され、ISO/IEC 13818-1に 必要となる意味論に準拠する。 図45に示される再生情報パックの中には、データ検索情報996のデータを格納 するデータ検索情報パケットのパケットヘッダ994も示される。パケットヘッダ9 94には、24ビット値000001hが設定されるパケット開始コードプレフィックス、 データ検索情報996が以前に定義された規格に準拠していないことを示すストリ ーム識別、パケット長を示すフィールドを含む。データ検索情報996はMPEG規格 では開示されていないので、ストリームIDは、後続の情報がデータストリームの 私的なタイプであることを示す。 図45を説明するデータ検索情報996のデータの特定の内容が図46に示される。 データ検索情報996は、一般情報1000、アングルアドレス情報1020、ハイライト 情報1022、同期再生情報1024、およびPBIパックアドレス情報1036を含む。 一般情報1000は、図47にさらに詳細にブロック図される。前記のように、デー タ検索情報の目的とは、デジタルエンコードされた情報の迅速な検索を可能にす ることであり、特に、ビデオ復号化中に実行されるトリックモード用イントラピ クチャオ高速位置発見を可能にする。したがって、図46に示される再生情報パッ クは、ピクチャのグループ(GOP)のそれぞれのヘッドパックであり、I-ピク チャで開始するビデオヘッドパックの直前に割り当てられる。一般情報1000は、 I-ピクチャの再生開始時刻であるGOP1002の時刻記録である。次に、PBIのシステ ムクロックリファレンス(SCR)がある。これは、PBIパックヘッダに記述されるSC Rの下位32ビットを記述する。1006は、I-ピクチャの最終アドレスを示し、ファ イルの初めからの相対論理ブロック番号によりI-ピクチャの最終データが記録さ れるパックのアドレスを記述する。セル番号はフィールド1008に記憶され、GOP が属するセル番号を記述する。フィールド1010は、制約のレベルおよびコピーが 許可されているかどうかも含むパレンタル管理情報を記述する。最後に、フィー ルド1012は、ファイルのヘッドからの相対論理ブロック番号を使用するこのPBI パックのアドレスであるPBIパックアドレスを記述する。 図46に示されるデータ検索情報996のフィールド1020は、アングルアドレス情 報である。アングルアドレス情報には、その他のアングルのアドレス情報が含ま れる。アングルアドレス情報には、それぞれが異なったアングルセル番号に関す る９つのフィールドが含まれる。アングルアドレス情報1020の各フィールドの場 合、ある特定のPBIパックが属するセルがアングルブロックを構成する場合、ア ングルアドレス情報のフィールドは、対応するデータ検索情報のビデオ開始プレ ゼンテーション時刻記録を超えないもっとも近いビデオ開始プレゼンテーション 時刻記録を持つアングルセル番号のPBIパックのアドレスを記述する。アングル セルが存在しない場合、またはアングルブロックが構成されない場合、特定のセ ルのアングルアドレス情報ははゼロに設定される。 データ検索情報996の第３セクションは、ハイライト情報1022である。ハイラ イト情報は、メニュー画面上での選択アイテムの位置、および選択時に変更され るその色とコントラストを記述する。この情報は、セルがメニューの一部である 場合にだけ使用される。ハイライト情報には、選択アイテム開始番号およびメニ ュー画面上でサブピクチャにより表示されるアイテム数を記述するフィールドが ある。選択アイテム開始番号およびアイテム数の特定のサブフィールドには、メ ニュー画面上での選択アイテムの最小数を記述するサブフィールド、メニューの 次ページが存在するかどうかを記述するサブフィールド、およびメニュー画面上 での選択アイテムの数を記述するサブフィールドがある。ハイライト情報の第 ２フィールドには、選択アイテムの位置、色、およびコントラストが含まれる。 このフィールドは、メニュー画面上の選択アイテムごとの矩形表示領域、および 選択時に変更される対応する色とコントラストを記述する。矩形表示領域は、X- Y座標面内に限定される。選択アイテムの位置、色、およびコントラストを記述 するこのフィールド内の情報には、メニューの矩形領域を限定すること、および さまざまなタイプのピクセルが、選択時にどのようにして変更されるのかを記述 する情報を含む。さらに詳細に後述するように、サブピクチャは４種類の異なっ たピクセルを酌量する。テキストやそれ以外の情報を表示するために使用できる 第１強調ピクセルと第２強調ピクセル、線描画またはその他の図形パターンのよ うなパターンを表示するために使用されるパターンピクセル、およびバックグラ ウンドピクセルがある。以上４種類の異なった情報がハイライトまたは選択され る場合、アイテムがハイライトされるときに選択される色、およびハイライトさ れたときのピクセルのコントラストも知っておく必要がある。したがって、４種 類の異なったピクセルが選択されたときの、その色およびコントラストを記述す るハイライト情報内に８つのサブフィールドがある。 データ検索情報996内の５番目のアイテムは同期再生情報1024である。同期再 生情報1024は、図48に詳しくブロック図される。同期再生情報の目的とは、ビデ オデータと同期するオーディオとサブピクチャの開始時間とアドレス情報を検出 できるようにすることである。図48に示される同期再生情報1024には、オーディ オのプレゼンテーション時刻記録のターゲットであるオーディオパックアドレス が含まれる。このフィールドの最上位ビットは、オーディオパックがこのPBIの 前に位置しているのか、このPBIの後に位置しているのかを示す。オーディオ102 8のプレゼンテーション時刻記録（PTS）は、ビデオ開始PTSからの相対プレゼン テーション時刻記録により、I-ピクチャの再生開始時間の直後に再生開始時間が 設定されたオーディオパケットのPTSを記述する。オーディオのプレゼンテーシ ョン時刻記録は、プレゼンテーション時刻記録をそのために記憶させるために、 最高８つのオーディオストリームを酌量する。さらに、GOPの間に再生されるオ ーディオフレームを構成するオーディオパケットがするかどうかを示すサブフィ ールドがある。ピクチャにオーディオがない場合には、オーディオの プレゼンテーション時刻記録を記憶したり、復号化する必要はない。最高８つの オーディオチャネルがあるので、各オーディオチャネルには対応するアドレスフ ィールドと時刻記録フィールドがある。 データ構造1024も、問題のサブピクチャパックの、PBIパックに相対したアド レスをを記述するサブピクチャパックアドレス1030を含む。サブピクチャのプレ ゼンテーション時刻記録は、対応するサブピクチャ情報の同期を記述する。GOP 再生の間に再生される必要があるサブピクチャユニットが存在するかどうか、サ ブピクチャの再生開始時間がビデオプレゼンテーション時刻記録の前かどうか、 GOP再生中に再生されるサブピクチャユニットの製作開始時間、およびGOP再生中 に再生されるサブピクチャユニットの再生終了時間を示すサブフィールドがある 。１つのデータストリームに含めることができる最高32のサブピクチャのように 、存在するそれぞれのサブピクチャには、対応するアドレスと時刻記録のフィー ルドがある。 データ検索情報996の図46に示される最後のセクションは、PBIパックアドレス 情報である。PBIパックアドレス情報は、ファイル内の他のPBIパックのアドレス を構成し、他のPBIパックの位置が迅速に見つけられるようにする。PBIパックア ドレス情報は、相対論理ブロック番号を使用して周囲のPBIパックのアドレスを 記述する。PBIパックアドレス情報には、それぞれ次のPBIパックアドレスと前の PBIパックアドレスを記述する２つのフィールドがある。現在のPBIパックアドレ スからの相対論理ブロック番号を使用して、GOPのすぐ先にあるGOPに属するPBI パックのアドレスを、nx0.5秒と(n+1)x0.5秒の間であるその累積した再生時間で 定義し、複数のPBIパックがこの範囲に該当する場合は、ｎｘ0.5秒、1≦b≦15を 選択する15のフィールドがある。 現在のPBIパックアドレスからの相対論理ブロック番号を使用して、GOPに属す るPBIパックのアドレスを、ｎｘ0.5秒と(n+1)ｘ0.5秒の間のその累積再生時間で 定義し、複数のパックがこの範囲っ該当する場合には、ｎｘ0.5秒、-15≦ｎ≦-1 にもっとも近いPBIパックを選択する15のフィールドがある。 現在のPBIパックアドレスからの相対論理ブロック番号を使用して、GOPのすぐ 先のGOPに属するPBIパックアドレスをｎｘ0.5秒と[ｎｘ0.5+1]秒の間の その累積再生時間で定義し、複数のPBIパックがこの範囲に該当する場合には、 ｎｘ0.5秒、n=20またはn=60にもっとも近いPBIパックを選択する２つのフィール ドがある。 現在のPIパックアドレスからの相対論理ブロック番号を使用して、GOPに臆す るPBIのアドレスをｎｘ0.5秒と[ｎｘ0.5+1]秒の間のその累積再生時間で定義し 、複数のPBIパックがこの範囲に該当する場合は、PBIパックをｎｘ0.5秒、n=-20 またはn=-60にもっとも近いPBIパックを選択する２つのフィールドがある。 ビデオパック1040の構造は図49にブロック図される。ビデオパックは、図44A と44Bに示されるヘッダ972Aまたは972Bに従って構築されたパックヘッダ972を備 える。ビデオ用のパケットヘッダ1046は、ビデオデータ1048でのように、ISO/IE C 13818-1に従って構築される。ただし、MPEGビデオ信号として表記されるビデ オデータ1048は、前記技法に従いエンコードするのが好ましい。 MPEGエンコードされたピクチャのグループは、図50の1050として示される。こ のGOP1050を複数のビデオパック1040に分割し、ビデオストリーム1060を作成す る方法は、図50の底部にブロック図される。ピクチャオグループ1050は、ビデオ パックに適合するために適明なユニットに分割される。最後のビデオパック1040 G、ビデオパックｊは、パックのそれぞれに使用される完全な2048バイトを使用 しないので、最後のパックｊを2048バイトに等しくするには、スタッフィングが 使用される。 図51Aは、MPEGオーディオのビデオパックを示している。このビデオパックは 、パックヘッダ972、MPEG要件に準拠して構築されるパケットヘッダ1084、およ びエンコードされたMPEGオーディオデータ1086を含む。 図51Bは、線形PCMオーディオまたはドルビーAC-3オーディオのどちらかと準拠 して構築されるオーディオパック1090を示している。図51Bにブロック図される パケットの場合、パックヘッダ972は前記のように配列され、パケットヘッダ109 4はMPEG要件に準拠して構築され、stream_idフィールドは線形PCMまたはAC-3の どちらかに対応する私的オーディオデータストリームを示す。サブストリームid 1096は、オーディオデータが線形PCM用であるか、AC-3（ま たはMPEG）用であるかを示す。オーディオフレームポインタ1098は、オーディオ パケット内のオーディオフレームヘッダ数を示ずフレームヘッダ数を具備し、ポ インタの最後のバイトからの相対バイト数を使用して、オーディオフレームの第 １アクセス装置の先頭を示す第１アクセス装置ポインタも備える。線形PCMオー ディオにとって、各フレームがフレームヘッダとフレームデータを備えるオーデ ィオフレームに分割されるのは普通のことである。オーディオフレームポインタ 1098も同様にドルビーAC-3で使用できる。オーディオデータ1100は、対応するオ ーディオエンコード方法に従って構築される。 図52は、エンコードされたオーディオストリーム1100を示す。このオーディオ ストリームは、個々のパック1122を構成するオーディオパックのストリーム1120 に変換される。各パックの長さは2048バイトで、最後のオーディオパック1122G 、オーディオパックｊは、長さを2048バイトにするために、スタッフィングビッ トを付加することによって調整される。 本発明の新規の特徴とは、サブピクチャの使用およびサブピクチャパックのオ ーディオ情報とビデオ情報とのインタリーブである。サブピクチャ情報を使用す ると、グラフィック情報の表示が可能になり、MPEGビデオでのサブピクチャ情報 の重複が酌量できる。ホン発明により使用されるサブピクチャ情報と従来のクロ ーズキャプション字幕の間の大きな相違点とは、サブピクチャ情報がビットマッ プ化されたグラフィックであるのに対し、クローズキャプションでは、デコーダ に記憶されている文字セット内の文字を表示するために文字符号が伝送されると いう点である。したがって、従来のクローズキャプションは、デコーダ内の文字 セットによって制限される。しかし、サブピクチャ情報はビットマップ化してい るため、外国語文字を含む任意のタイプの文字は、言語ごとにデコーダ内の文字 セットを記憶する必要なしに表示することができる。 サブピクチャ情報の各表示画面が、サブピクチャユニットと呼ばれる。図53に サブピクチャユニット1140がブロック図される。サブピクチャユニットは、ビッ トマップ化されたピクセルデータから成る１つの画面を具備し、このピクセルデ ータの画面が複数のビデオフレームで表示される。サブピクチャユニット1140は 、サブピクチャユニットヘッダ1142を備える。サブピクチャユニットヘ ッダ1142には、サブピクチャ装置の先頭からのバイト数に相対して、サブピクチ ャユニットのサイズおよび表示制御シーケンステーブル1146を記述するフィール ドがある。 ピクセルデータ1144は、ランレングス圧縮済みビットマップ化情報である。ピ クセルは表示された情報のバックグラウンドを形成するバックグラウンドピクセ ル、図形線描画を含むサブピクチャ内の表示パターンを可能にするパターンピク セル、および２つの異なった属性を持つ図形または文字が表示できるようにする ２種類の強調ピクセルとなる場合がある。ビットマップ化情報は、従来のグラフ ィック作成技法を使用して作成できる。ランレングス圧縮は、以下の規則に従っ て実行される。同種の１ピクセルから３ピクセルが続く場合、最初の２ビットに はピクセル数を、続く２ビットにはピクセルデータを入力する。４ビットが１つ の単位と見なされる。同種の４から15のピクセルが続く場合は、最初の２ビット にゼロを指定し、続く４ビットにピクセル数、次の２ビットにピクセルデータを 入力する。８ビットが１つの単位と見なされる。同種の16から63ピクセルが続く 場合、最初の４ビットにゼロを指定し、続く６ビットにピクセル数、次の２ビッ トにピクセルデータを入力する。12ビットが１つの単位と見なされる。同種の64 から255のピクセルが続く場合は、最初の６ビットにゼロを指定し、続く８ビッ トにピクセル数、接ぎの２ビットにピクセルデータを入力する。16ビットが１つ の単位と見なされる。同じピクセルが行末まで続く場合は、最初の14ビットにゼ ロを指定し、次の２ビットにピクセルデータを記述する。16ビットが１つの単位 と考えられる。１行でのピクセルの記述が完了するときにバイト割当てが生じな い場合、調整のために４ビットのダミーデータを挿入する。希望に応じて、画像 データを表すために他の圧縮機構を使用することも可能である。例えば、JPEGフ ォーマットやGIFFフォーマットを使用して、サブピクチャ両像を表すことができ る。 表示制御シーケンステーブル1146には、制御シーケンスが発生する年代順を記 述する複数の表示制御シーケンス1146A、1146B、1146Cなどが含まれる。表示制 御シーケンステーブルには、サブピクチャユニット内の情報がどのように表示さ れるのかに関する情報が含まれる。例えば、１つのサブピクチャを形成する ワードは、１つづつまたは経時的にグループとして表示されるか、その色が変化 することがある。これは、カラオケ情報を表示するためにサブピクチャを使用す る場合に役立つ。 各表示制御シーケンス(DCSQ)は、サブピクチャユニットが表示されている期間 で実行されるピクチャデータを変更するコマンドを酌量する。表示制御シーケン スの第１フィールドは表示開始時間である。このフィールドは、サブピクチャユ ニットヘッダによりサブピクチャパケット内で記述されるPTSからの相対PTSのあ るDCSQに含まれる表示制御コマンドの実行開始時間を記述する。記述された実行 開始時間の後の第１ビデオフレームから、表示制御緒は、DCSQ表示制御開始時間 に従って開始される。各DCSQの第２フィールドは、後続の表示制御シーケンスの アドレスである。このフィールドは、第１サブピクチャユニットからの相対バイ ト数により後続のDCSQの開始アドレスを記述する。後続のDCSQが存在しない場合 には、このフィールドは、第１サブピクチャユニットからの相対バイト数により このDCSQの開始アドレスを記述する。それ以降、DCSQには１つ以上の表示制御コ マンドが格納される。これらのコマンドにより、ピクセルデータの属性および表 示を制御、変更できるようになる。コマンドには、サブピクチャのオン／オフ状 態に関係なく、強制的にサブピクチャ装置の表示を開始するコマンドが含まれる 。例えば、ユーザがサブピクチャをオフにするためにメニューを使用する場合、 このコマンドを設定してユーザの設定値を無視することができる。別のコマンド は、更新されたサブピクチャ装置の表示を開始する。このコマンドは、各DCSQで 一度表示されなければならない。２種類の強調ピクセル、パターンピクセル、お よびバックグラウンドピクセルを含む前記の４種類のピクセルの色とコントラス トを設定するためのコマンドがある。サブピクチャを構成するピクセルデータの 矩形領域表示および位置を設定するコマンドが存在する。このコマンドは、上部 および下部のＸ座標とＹ座標の設定を可能にする。また、表示に使用されるピク セルデータのヘッドアドレスを設定するために使用されるコマンドもある。この コマンドを使用すると、上部フィールドと下部フィールドの両方のヘッドアドレ スを入力できる。拡大されたフィールドでは、装置のヘッドからの相対バイト数 による上部フィールドと下部フィールドのピクセル データの各ヘッドアドレスが使用される。第１ピクセルデータは、行の第１ピク セルを表す。このコマンドは、少なくとも第1DCSQ、DCSQOで使用されなければな らない。 ピクセルデータの色とコントラストを変更するためのDCSQの中に表示されるコ マンドがある。データ検索情報のハイライト情報が使用される場合には、このコ マンドは使用してはならない。ピクセルデータの色とコントラストを変更するた めのコマンドは、表示中にピクセルデータの色とコントラストを制御するための ピクセル制御データを含む。ピクセル制御データに記述される制御の内容は、指 定された開始時間の後にビデオフレームごとに実行され、新規ピクセル制御デー タが検出されるか、新規サブピクチャユニットが検出されるまで続行する。ピク セル制御データは、同じ変更が加えられる線を指定するために使用される線制御 情報を含む。また、ピクセル制御情報は、変更が加えられる線上の位置を指定す るために使用することもできる。線制御コマンドにより、開始線番号、変更ポイ ント数、および変更終了線番号の変更が可能になる。ピクセル制御情報は、変更 開始ピクセル番号、および強調ピクセル１と2、パターンピクセル、およびバッ クグラウンドピクセルの新しい色とコントラストを含む。また、表示制御シーケ ンスの最後を示すコマンドもある。各DCSQは、このコマンドで終了しなければな らない。 映画の場合のようなビデオフレームの期間で、使用できる多くの異なったサブ ピクチャユニットが存在する。図54に図示されるように、サブピクチャユニット は、サブピクチャパック1150に分割される。サブピクチャパックには、前記のパ ックヘッダ972、MPEGシステム要件に準拠するパックヘッダ、後続のデータがサ ブピクチャデータであることを示すサブストリームID、およびサブピクチャデー タ1158それ自体がある。 サブピクチャユニット1140のようなサブピクチャユニットは、図55にブロック 図されるようにサブピクチャパック150に分割される。最後のサブピクチャパッ ク1050Gには、その長さを2048バイトにする埋込みが含まれる。 図56では、連続サブピクチャユニットが表示される方法を説明する。時間が新 しいサブピクチャパケットに記述されるPTSの時間に等しくなる場合、現在表 示中(1160)のサブピクチャユニットがクリアされ(1162)、次のサブピクチャユニ ットの表示制御シーケンスによって指定される時間が発生すると、そのサブピク チャが表示される(1164)。1160と1162の間に、サブピクチャユニットｎとサブピ クチャユニットn+1の間の境界線がある。この境界線は、サブピクチャユニットn +1のパケットヘッダに記述されるPTSで発生する。サブユニットn+1の実際の表示 時間は、サブピクチャn+1のDCSQに説明される。 サブピクチャ情報に使用されるピクセルデータの作成は、表示が希望される情 報のビットマップを作成するためにコンピュータを使用して実行できる。ビット マップ化情報のプロセスは、技術で周知である。 図40-56は、オーディオ情報、ビデオ情報、およびサブピクチャ情報をエンコ ードするために使用されるデータ構造を強調する。ただし、図40-56でのデータ 構造の開示により、MPEGエンコードの従来の技術の当業者は、特にMPEGシステム 説明ISO/IEC 13818-1の力を借りて、エンコードされたオーディオ、ビデオ、お よびサブピクチャをデータ構造にフォーマットできる。同様に、データを記憶す る構造についての知識があれば、ビデオ情報、オーディオ情報、およびサブピク チャ情報を作成するためのデータ構造の復号化は、従来の技術の当業者により実 行できる。 本発明の一部を成す例示的なビデオデコーダは、光ディスクに記憶されたデー タを読み取る光ディスク読取り装置を具備する。読み取られた情報は、情報を復 号化するために、従来の解析技法を使用して解析される。ビデオ、オーディオ、 サブピクチャ、およびPBIパックのすべてを復号化しなければならない。ビデオ は、オーディオパックが従来のデコーダを使用して復号化されるように、市販さ れているMPEGデコーダを使用して復号化することができる。サブピクチャ情報は 、サブピクチャユニットをサブピクチャパックから、それらがエンコードされた のと逆転して構築することで復号化される。特別に構築されたハードウェアまた はソフトウェアコーディングを使用してプログラミングされた汎用マイクロプロ セッサは、サブピクチャ情報を復号化するために使用できる。図45にブロック図 される再生情報パックには、データ検索情報996が含まれる。データ検索情報は 、プログラミングされたマイクロプロセッサを使用して処理され、オーディ オデコーダ、ビデオデコーダ、およびサブピクチャデコーダとは異なる。メニュ ー機能もプログラミングされたマイクロプロセッサによって実行されるので、デ ータ検索情報の中に含まれるハイライト情報1022および他のすべてのメニュー機 能は、サブピクチャデコーダによってではなく、プログラミングされたマイクロ プロセッサによって実行される。本発明の動作、データ構造、エンコードプロセ スと復号化プロセスに関する追加情報は、両方とも本明細書に参考により取り入 れられる日本国特許明細書7-8298、および7-85693に記載される。 本発明のエンコードシステムを使用すると、ピクチャ内で品質を制御できる。 この制御は、最終ビデオ製品の作成者がエンコードシステムの最終製品を密接に 制御できるようになるため重要である。したがって、デジタルビデオエンコード によりアナログビデオ内に存在しない復号化人為構造が生じても、最終デジタル 製品はきわめて良好だろう。前記項のどれかの教示は、他の項に適用できる。 本発明の決定、計算および処置は、コンピュータ技術の当業者に明らかとなる ように、本発明の教示に従ってプログラミングされた従来の汎用デジタルコンピ ュータを使用して、実現できる。適切なソフトウェアコーディングは、ソフトウ ェア技術の当業者に明らかとなるように、本開示の教示に基づいて技能のあるプ ログラマにより容易に作成できる。 本発明は、当業者に容易に明らかになるように、アプリケーションに特殊な集 積回路を作成したり、従来の構成部品回路の適切なネットワークの相互接続によ っても、実現される。 本発明は、本発明のプロセスを実行するためにコンピュータをプログラミング する場合に使用できる指示を格納する記憶装置媒体であるコンピュータプログラ ム製品を含む。記憶装置媒体は、フロッピーディスク、光ディスク、CD-ROM、お よび磁気光学ディスク、ROM、RAM、EPROM、EEPROM、磁気カードや光カード、あ るいは電子指示を記憶するために適当な任意のタイプの媒体を含む任意のタイプ のディスクを含むが、それらに限定されない。本発明は、さらに、電子指示また はデータを記憶するのに適当な前記媒体のどれかで記憶される、本発明により出 力されるエンコードでータを含む記憶装置媒体であるコンピュータプログラム製 品も含む。 前記教示という観点から、本発明の数多くの改良および変化が可能であること は明らかである。したがって、付属請求項の範囲内であれば、本発明は、本明細 書に明確に指示がある場合を除き実施できる。

【手続補正書】 【提出日】平成１０年４月８日（１９９８．４．８） 【補正内容】 明細書第１頁３行目から第１７行目を別紙のように訂正する。 関連出願に対するクロスレファレンス 本明細書は、1995年５月８日に提出され、本明細書に参照として取り入れられ る「エンコードされたビデオビットストリームのセクションを交換するための方 法およびシステム」と題する米国特許明細書連続番号08/438,014の一部継続出願 である。本明細書は、また、以下に示す４つのそれ以外の明細書に関連し、それ らとともに同時に提出されている。すなわち、それぞれ1995年６月６日に提出さ れ、本明細書に参考として取り入れられる「既にエンコードされたビデオシーケ ンスの品質を手動で変えるための方法およびシステム」と題する明細書連続番号 08/469,370、「ユーザが既にエンコードされたビデオフレームの品質を手動で変 えるための方法およびシステム」と題する米国特許明細書連続番号08/466,391、 「量子化レベルを変化させることにより、ビデオエンコーダのビット割当てを制 御するレート制御式デジタルビデオ編集法およびシステム」と題する米国特許明 細書連続番号08/466,766、および「レート量子化モデルを使用しエンコードする ビデオエンコード方法およびシステム」と題する米国特許明細書連続番号08/473, 783である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，Ｓ Ｄ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 ツィンバーグ、ミクハイ アメリカ合衆国、ニューヨーク州 10463、 リバーデイル、アーリントン・アベニュー 2743 (72)発明者 桜井 優 神奈川県横浜市港南区港南台４−36−４− 102 (72)発明者 尾高 敏則 神奈川県横浜市南区別所３−31−12−406 (72)発明者 レーマン、デイビッド アメリカ合衆国、ニュージャージー州 08060、マウント・ホリー、アシュレイ・ レーン 215 (72)発明者 ヨーグシュウォー、ジェイ アメリカ合衆国、ニュージャージー州 08648、ローレンスビル、アンソニー・レ ーン 34 (72)発明者 アザデガン、ファラマルツ アメリカ合衆国、マサチューセッツ州 02154、ウォルサム、ステアーンズ・ヒ ル・ロード 5506 (72)発明者 伊知川 偵一 神奈川県横浜市金沢区並木３−２−７− 623 (72)発明者 海野 裕明 千葉県市川市八幡１−20−９ (72)発明者 三村 英紀 神奈川県横浜市金沢区並木２−３−１− 403 (72)発明者 北村 哲也 東京都狛江市中和泉１−15−12−301 (72)発明者 クックソン、クリストファー・ジェイ アメリカ合衆国、カリフォルニア州 90046、ロサンゼルス、トーレイソン・ド ライブ 7825 (72)発明者 サガード、グレッグ アメリカ合衆国、カリフォルニア州 90277、レドンド・ビーチ、エメラルド・ ストリート 601 (72)発明者 ローゼン、アンドリュー・ドルージン アメリカ合衆国、カリフォルニア州 91304−3654、キャノガ・パーク、フォー ルブルック・アベニュー 7815 【要約の続き】

Claims (1)

1. 【特許請求の範囲】 1. マルチパスビデオエンコードおよびワンパスオーディオエンコードを、複数 のオーディオトラックがあるオーディオ映像シーケンスに実行する方法であって 、 前記複数のオーディオトラックのすべてではなくても、少なくとも１つのワン パスオーディオエンコードを同時に実行しながら、第１ビデオエンコードパスを 実行するステップと、 エンコードされていない前記複数のオーディオトラックの少なくともいくつか のワンパスオーディオエンコードを実行しながら、その後のビデオエンコードを 実行するステップと を構成する方法。 2. 請求項１に記載される方法であって、 ビデオエンコードパスの１つが実行されているときはつねにワンパスオーディ オエンコードステップの１つが実行され、 ワンパスオーディオエンコードの１つが実行されているときはつねにビデオエ ンコードパスが実行される 方法。 3. 請求項１に記載される方法であって、 第１ビデオエンコードパスの間にワンパスオーディオエンコードを実行する前 記ステップが、４つのオーディオエンコードトラックをエンコードし、 その後のビデオエンコードバスの間にワンパスオーディオエンコードを実行す る前記ステップが、第１ビデオエンコードパスの間にエンコードされた４つのオ ーディオトラックとは異なる４つのオーディオトラックをエンコードする 方法。 4. 請求項１に記載される方法であって、 オーディオエンコードを実行するために正確に４つのオーディオエンコーダが 使用され、 マルチパスビデオエンコードがツーパスビデオエンコードであり、 複数のオーディオトラックが５つから８つのオーディオトラックであり、 第１ビデオエンコードの間にワンパスオーディオエンコードを実行する前記ス テップが、複数のオーディオトラックの内の少なくとも１つをエンコードし、 その後のビデオエンコードパスの間にワンパスオーディオエンコードを実行す る前記ステップが、複数のオーディオトラックの少なくとも１つをエンコードし 、 第１ビデオエンコードパスとその後のビデオエンコードパスの間にワンパスオ ーディオエンコードを実行する前記ステップが、複数のオーディオトラックのそ れぞれをエンコードする 方法。 5. 請求項１に記載される方法であって、さらに、 すべてのビデオエンコードパスが完了しておらず、すべてのオーディオトラッ クがエンコードされていない場合はつねに、すべてのビデオエンコードパスが完 了し、前記複数のオーディオトラックのそれぞれがエンコードされるまでワンパ スオーディオエンコードを実行しながら、その後のビデオ符号かパスの前記ステ ップを繰り返すステップと、 を含む方法。 6. 請求項１に記載される方法であって、前記ビデオエンコードステップが動画 専門家グループ(MPEG)フォーマットにエンコードする方法。 7. 請求項１に記載される方法であって、 ビデオエンコードに使用されるパス数で除算される複数のオーディオごラック の数が整数ではなく、 第１ビデオエンコードパスの間にワンパスオーディオエンコードを実行する前 記ステップが、次のビデオエンコードパスの間に使用されるワンパスオーディオ エコーダの数に比較して１、数が違うワンパスオーディオエンコーダ数を使用す る 方法。 8. 請求項１に記載される方法であって、 次のビデオパスを実行するステップがエンコードビデオを作成し、 ワンパスオーディオエンコードを実行するステップからエンコードオーディオ が作成され、 前記方法がさらに、 エンコードされたビデオとオーディオをデジタルビットストリームにフォーマ ットするステップとを、 を含む方法。 9. 請求項８に記載される方法であって、さらに、 デジタルビットストリームを記憶装置媒体に輸送するステップを含む方法。 10. 請求項９に記載される方法であって、前記輸送ステップが、前記ビットス トリームを含む光ディスクの作成を含む方法。 11. 請求項８に記載される方法であって、さらに 前記デジタルビットストリームを記憶する光ディスクを加工するステップと、 を含む方法。 12. 請求項１に記載される方法であって、さらに ビデオエンコードパスの間にカメラを使用してエンコードされるビデオを獲得 するステップと、 オーディオエンコードパスの間にマイクロフォンを使用してエンコードされる オーディオを獲得するステップと を含む方法。 13. 請求項１に従って作成されるビデオ、請求項１に従って作成されるオーデ ィオ、およびメニューの処理に使用される情報を記憶するためのデータ構造を備 えるメモリであって、 セルが情報の単位であるところの、メニューセル数を記憶するためのフィール ドと、 タイトルメニューの開始セル用フィールドと、 オーディオ選択メニューの開始セル用フィールドと、 サブピクチャ情報、ビデオとは異なるビットマップ化情報を提示するために使 用されるサブピクチャ情報を選択するために使用されるメニューの開始セル用フ イールドと、 複数のプログラムがメモリ内に存在するときに、複数のプログラムを選択する ために使用されるメニューの開始セル用フィールドと、 複数のアングル表示がメモリ内に存在するときに、カメラアングルを選択する ために使用されるアングルメニューの開始セル用フィールドと、 を具備する前記メモリ内に記憶されるデータ構造と、 表示される各メニューのテーブルエントリを含むメニューセル情報テーブルで あって、前記テーブルエントリのそれぞれが、 テーブルエントリに対応するメニューがタイトルメニュー、プログラムメニュ ー、オーディオメニュー、サブピクチャメニューまたはアングルメニューである かどうかを示すフィールドと、 選択アイテムの数を示すフィールドと、 対応するメニューセルの開始部分のシステムクロック参照の少なくとも１部を 記述するフィールドと、 対応するメニューセルの開始セルを記述するフィールドと、 対応するメニューセルのブロック数を記述するフィールドと、 を具備するメニュー/セル情報テーブルと、 メニューごとに表示される情報を記憶するためのデータ構造と、 請求項１に従って作成された前記オーディオを記憶するためのデータ構造と、 請求項１に従って作成された前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 14. メモリが光ディスクである請求項13に記載されるメモリ。 15. 請求項１に従って作成されるビデオ、請求項１に従って作成されるオーデ ィオ、およびファイル管理情報を記憶するためのデータ構造を具備するメモリで あって、 メモリ内の情報のアドレスおよびサイズ情報を記憶するファイル管理テーブル と、 セルを再生する順序を記述する情報を記憶するためのシーケンス情報テーブルで あって、セルが情報の単位であり、シーケンス情報テーブルに各シーケンス用テ ーブルエントリがあり、各テーブルエントリが、 対応するシーケンスが、再生後に、連続再生されるシーケンスの一部である接 続型シーケンスの先頭、接続型シーケンスの中間、および接続型シーケンスの最 後を終了する完全型シーケンスであるかどうかを記憶するフィールドと、 対応するシーケンスのセル数を記憶するフィールドと、 対応するシーケンスの再生時間を記憶するフィールドと、 対応するシーケンス後に再生されるシーケンスを記憶するフィールドと、 を備えるシーケンス情報テーブルと、 セルを記述する情報を記憶するセル情報テーブル、セルごとのテーブルエントリ を含むセル情報テーブルであって、各テーブルエントリが、 対応するセルの再生時間を記述するフィールドと、 対応するセルのシステムクロックリファレンスの少なくとも一部を記述するフ ィールドと、 対応するセルのアドレスを記述するフィールドと、 対応するセルの論理ブロックの数を記述するフィールドと、 を具備するセル情報テーブルと、 を具備するファイル管理情報を記憶するためのデータ構造と、 請求項１に従い作成された前記オーディオを記憶するためのデータ構造と、 請求項１に従い作成された前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 16. 請求項15に記載される、光ディスクであるところのメモリ。 17. 請求項１に従って作成されたビデオ、請求項１に従って作成されたオーデ ィオ、およびタイミング情報を含む記述情報を記憶するためのデータ構造を具備 するメモリであって、 記述情報データ構造のシステムクロックリファレンスを記憶するためのフィー ルドと、 他のピクチャに参照しないで復号化される対応するビデオピクチャの開始時間 を記憶するためのフィールドと、 前記対応するビデオピクチャの再生開始時間の直前の再生開始時間が設定され るオーディオ情報の時刻記録を記憶するためのフィールドと、 前記オーディオ情報のアドレス、オーディオ情報が記述情報データ構造の前ま たは後に位置しているのを示す第１ビットを記憶するためのフィールドと、 前記記述情報データ構造の前および後の両方で発生するそれ以外の記述情報デ ータ構造のアドレスを記述するフィールドと を具備する記述情報を格納するデータ構造と、 請求項１に従い作成された前記オーディオを記憶するためのデータ構造と、 請求項１に従い作成された前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 18. 請求項17に記載される、光ディスクであるところのメモリ。 19. 請求項１に従って作成されたビデオ、請求項１に従って作成されたオーデ ィオ、およびサブピクチャ情報を記憶するためのデータ構造を具備し、 サブピクチャユニットヘッダを記憶するためのフィールドと、 ビットマップ化イメージを記憶するためのフィールドと、 複数のテーブルエントリを含む表示制御テーブルを記憶するためのフィールド であて、前記テーブルエントリのそれぞれが、 ビットマップ化画像の表示開始時間を記憶するサブフィールドと、 次のテーブルエントリのアドレスを記憶するサブフィールドと、 表示領域、ピクセルカラー、ピクセルコントラスト、およびビデオフレームが 表示されると発生するピクセルの色とコントラストの変化を示すコマンドを含む コマンドのグループから選択される少なくとも１つの表示制御コマンドを記憶す るためのサブフィールドと、 を含むフィールドと、 を具備するサブピクチャユニットを記憶するために前記メモリに記憶されるデー タ構造と、 請求項１に従って作成されたオーディオを記憶するためのデータ構造と、 請求項１に従って作成された前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 20. 請求項19に記載されるメモリであって、サブピクチャユニットデータ構造 が、サブピクチャユニットデータ構造の情報を記憶する複数のパックを構成する メモリ。 21. 請求項20に記載される、光ディスクであるところのメモリ。 22. オーディオ映像作品をエンコードする方法であって、 オーディオ映像作品のビデオ部分をエンコードするために必要とされるパスの数 を求めるステップと、 エンコードされるオーディオ映像作品のオーディオトラックの数を求めるステッ プと、 ビデオ部分をエンコードするために必要とされるパス数で、エンコードされるべ きオーディオトラック数を除算し、除算の結果が整数ではない場合、除算の結果 をもっとも近い整数まで四捨五入することによって、オーディオ映像作品のオー ディオトラックをエンコードするためのワンパスオーディオエンコーダの数を求 めるステップと、 同時に、前記オーディオトラックのすべてではなくても少なくとも１つのワンパ スアオーディオエンコードを実行しながら、第１ビデオエンコードパスを実行す るステップと、 エンコードされていない前記オーディオトラックの少なくともいくつかのワンパ スオーディオエンコードを実行しながら、次のビデオエンコードパスを実行する ステップと、 を備える方法。 23. 請求項22に記載される方法であって、さらに、 すべてのビデオエンコードパスが完了しておらず、すべてのオーディオトラック がエンコードされていない場合にはつねに、すべてのビデオエンコードパスが完 了し、前記複数のオーディオトラックのそれぞれがエンコードされるまで、ワン パスオーディオエンコードを実行しながら、次のビデオエンコードパスを実行す る前記ステップを繰り返すステップと、 を含む方法。 24．複数のオーディオトラックのあるオーディオ映像作品をエンコードするため のオーディオ映像エンコードシステムであって、 マルチパスビデオエンコーダと、 オーディオ映像作品のビデオ部分をエンコードするために、マルチパスビデオエ ンコーダにより要求されるパス数で除算され、除算の結果が整数ではない場合に もっとも近い整数まで四捨五入する前記オーディオトラック数に等しい複数のワ ンパスオーディオエンコーダと、 ビデオおよびワンパスオーディオエンコーダを制御し、ビデオおよびワンパスオ ーディオエンコーダに、前記複数のオーディオトラックのすべてではなくても少 なくとも１つのワンパスオーディオエンコードとして同時に発生する第１ビデオ エンコードパス、およびエンコードされていない前記複数のオーディオトラック の内の少なくともいくつかのワンパスオーディオエンコードとして同時に発生す る次のビデオエンコードパスを実行するように、ビデオおよびワンパスオーディ オエンコーダに指示するために、マルチパスビデオエンコーダおよび複数のオー ディオエンコーダに接続される制御装置と、 を具備するシステム。 25. 請求項24に記載されるシステムであって、 ビデオエンコードパスが発生中はつねに、エンコードされているオーディオトラ ックが少なくとも１つはあり、オーディオトラックの内の１つがエンコードされ ているときはつねに、ビデオエンコードパスが発生しているシステム。 26. 請求項24に記載されるシステムであって、 マルチパスビデオエンコードがツーパスビデオエンコードであり、複数のオーデ ィオトラックが８つのオーディオトラックであり、 複数のワンパスオーディオエンコーダが４つのワンパスオーディオエンコーダで あり、８つのオーディオトラックの内の４つが、第１エンコードパスの間にエン コードされ、８つのオーディオトラックの内の別の４つが第２ビデオエンコード パスの間にエンコードされるシステム。 27. 請求項24に記載されるシステムであって、 正確に４つのワンパスオーディオエンコーダが、オーディオエンコードを実行す るために使用され、 マルチパスビデオエンコードが、ツーパスビデオエンコードであり、 複数のオーディオトラックが５つから８つのオーディオトラックであり、 複数のオーディオトラックの内の少なくとも１つが、第１ビデオエンコードパス の間にエンコードされ、複数のオーディオトラックの内の少なくとも１つが、次 のビデオエンコードパスの間にエンコードされ、第１および続くビデオエンコー ドパスが完了されてから、すべてのオーディオトラックがエンコードされるシス テム。 28. 請求項24に記載されるシステムであり、制御装置が、 すべてのビデオエンコードパスが完了しておらず、すべてのオーディオトラック がエンコードされていない場合はつねに、すべてのビデオエンコードパスが完了 し、前記複数のオーディオトラックのそれぞれがエンコードされるまで、ワンパ スオーディオエンコードを実行しながら、次のビデオエンコードパスを実行する 前記ステップを繰り返すための手段と、 を具備するシステム。 29. 請求項24に記載されるシステムであり、前記ビデオエンコーダが動画専門 家グループ(MPEG)フォーマットにエンコードするシステム。 30. 請求項24に記載されるシステムであり、 ビデオエンコードに使用されるパス数で除算される複数のオーディオトラックの 数が整数以外であり、 第１ビデオエンコードパスの間に使用されるオーディオエンコーダの数が、続く ビデオエンコードパスの間に使用されるオーディオエンコーダの数と比較すると 、1、数が異なるシステム。 31. 請求項24に記載されるシステムであって、 マルチパスビデオエンコーダがエンコードされたビデオを作成し、 ワンパスオーディオエンコーダがエンコードされたオーディオを作成し、 前記システムが、さらに、 エンコードされたビデオとオーディオをデジタルビットストリームにフォーマッ トする手段と、 を具備するシステム。 32. 請求項31に記載されるシステムであって、さらに、 デジタルビットストリームを記憶装置媒体に転送する手段と、 を具備するシステム。 33. 請求項32に記載されるシステムであって、前記転送手段が、前記ビットス トリームを記憶する光ディスクを作成するための手段を具備するシステム。 34. 請求項31に記載されるシステムであって、さらに、前記デジタルビットス トリームを記憶する光ディスクを加工するための手段とを具備するシステム。 35. ビデオソースと、 オーディオソースと、 タイムコード生成プログラムと、 ビデオソース、およびタイムコード生成プログラムにより作成されるタイムコー ドを記憶する圧縮デジタルフォーマットにビデオをエンコードするタイムコード 生成プログラムに接続されるビデオエンコーダと、 オーディオソース、およびタイムコード生成プログラムにより作成されるタイム コードを記憶する圧縮デジタルフォーマットにオーディオをエンコードするタイ ムコード生成プログラムに接続されるオーディオエンコーダと、 エンコードされたビデオおよびエンコードされたオーディオのタイムコードを使 用して、ビデオエンコーダによりエンコードされるビデオおよびオーディオエン コーダによりエンコードされるビデオを、デジタルビットストリームに結合する フォーマッタと、 を具備するエンコーダシステム。 36. 請求項35に記載されるシステムであって、さらに、 エンコードされたビデオおよびエンコードされたオーディオを記憶する中間記憶 装置と、 を具備し、 前記フォーマッタが、エンコードされたビデオおよびエンコードされたオーディ オが中間記憶装置に記憶された後で、エンコードされたビデオとエンコードされ たオーディオを結合するための手段を具備するシステム。 37. 請求項36に記載されるシステムであって、前記フォーマッタが、エンコー ドされたビデオおよびエンコードされたオーディオを複数の異なったフォーマッ トに結合するための手段を具備するシステム。 38. 請求項37に記載されるシステムであって、さらに、 第１フォーマッタにより作成されるフォーマットとは異なるフォーマットにエン コードされたビデオおよびエンコードされたオーディオを結合する第２フォーマ ッタと、 を具備するシステム。 39. タイムコード生成プログラムがビデオテーププレーヤであるところの、請 求項35に記載されるシステム。 40. タイムコード生成プログラムがワークステーションであるところの、請求 項39に記載されるシステム。 41. タイムコード生成プログラムが、ハードウェアスタンドアロン式タイムコ ード生成プログラムであるところの、請求項39に記載されるシステム。 42. 請求項35に記載されるシステムであって、さらに、 前記オーディオおよびビデオ以外のデータを記憶する記憶装置を具備し、 フォーマッタが、前記オーディオおよび前記ビデオ以外の前記データを、エンコ ードされたオーディオおよびエンコードされたビデオのあるエンコードされたビ ットストリームに結合するための手段を具備するシステム。 43. 請求項42に記載されるシステムであって、前記オーディオおよびビデオ以 外のデータを記憶する前記記憶装置媒体が字幕情報を記憶するシステム。 44. 請求項35に記載されるシステムであって、前記ビデオソースが、ワークス テーションによって制御されるVCRからであるシステム。 45. 請求項35に記載されるシステムであって、さらにメモリを具備し、 前記ビデオエンコーダが、ビデオエンコードの第１パスの間のビデオソースから のビデオを記述するログ情報を作成し、前記メモリの少なくとも１つのログファ イル内にビデオを記述するログ情報を書き込むログ情報生成プログラムを具備し 、前記ビデオエンコーダがメモリからビデオを記述するログファイルを読み取る ための手段を具備し、次のビデオエンコードパスの間にビデオを記述するログ情 報を使用するシステム。 46. 請求項45に記載されるシステムであって、前記ログ情報生成プログラムが 、ビデオのレート制御情報を生成するための手段を具備するシステム。 47. 請求項46に記載されるシステムであって、前記ログ情報生成プログラムが 、 ビデオに予想されるビット数を生成するための手段を具備するシステム。 48. 請求項47に記載されるシステムであって、前記ログ情報生成プログラムが 、ビデオの活動レベルを作成するための手段を具備するシステム。 49. 請求項35に記載されるシステムであって、オーディオエンコーダおよびビ デオエンコーダが、１つのオーディオ映像作品をエンコードするためにさまざま な時点で動作するシステム。 50. 請求項35に記載されるシステムであって、さらに、 前記デジタルビットストリームを記憶する光ディスクを作成するための手段を具 備するシステム。 51. ビデオソースと、 ビデオ情報ログメモリと オーディオソースと、 マルチパスビデオエンコードを実行し、エンコードの第１パスの後に、ビデオ情 報ログメモリにビデオソースのログ情報を書き込み、ビデオエンコーダの第２パ スの間にビデオ情報ログメモリのログ情報を読み取る、ビデオソースに接続され るビデオエンコーダと、オーディオを圧縮デジタルフォーマットにエンコードす る、オーディオソースに接続されるオーディオエンコーダと、 ビデオエンコーダによりエンコードされるビデオおよびオーディオエンコーダに よりエンコードされるオーディオをデジタルビットストリームに結合するフォー マッタと、 を具備するエンコードシステム。 52. 請求項51に記載されるシステムであって、前記ビデオエンコーダがレート 制御ログ情報を、ビデオ情報ログメモリに書き込むための手段を具備するシステ ム。 53. 請求項52に記載されるシステムであって、前記ビデオエンコーダが、ビデ オに予測されるビット数をビデオ情報ログメモリに書き込むための手段とを具備 するシステム。 54. 請求項53に記載されるシステムであって、前記ビデオ得エンコーダがビデ オの活動レベルをビデオ情報ログメモリに書き込むシステム。 55. 請求項51に記載されるシステムであって、さらに、 前記デジタルビットストリームを記憶する光ディスクを作成するための手段を具 備するシステム。