JP2001526844A - 量子化レベルを変化させることによりビデオ・エンコーダのビット割当てを制御する速度制御式デジタル・ビデオ編集方法およびシステム - Google Patents

Abstract

(57)【要約】 選択された領域が、その中で、以前に実行された自動符号化プロセスと比較してではあるが、ストリームの以前に計算されたビット長を変更せずに、イメージ品質を改善または劣化、つまりそれぞれ量子化レベルを劣化または改善するように指定されるデジタル・ビデオ・ストリームのフレームを再符号化するための方法およびシステム。一度にマクロブロックの１つの集合が再符号化され、集合単位で、あるいは累積して、結果として生じるビットの数が計算され、ビット概算数との偏差が計算される。概算の精度および再符号化するマクロブロックの集合の残りの数に基づいて、マクロブロックの次の集合の量子化レベルの訂正係数がルックアップ・テーブルから選択される。訂正係数は、マクロブロックの次の集合の量子化レベルに追加され、結果は、集合の新規量子化レベルとして記憶される。この順次プロセスは、変更されたイメージ品質に従って記録されなければならないデジタル・ストリーム内のマクロブロックの全集合に対して実行される。

Description

【発明の詳細な説明】発明の名称 量子化レベルを変化させることによりビデオ・エンコーダのビット割当てを制御 する速度制御式デジタル・ビデオ編集方法およびシステム 関連する明細書への相互参照 本明細書は、１９９５年５月８日に提出され、本明細書中に参照により取り入 れられる「符号化されたビデオ・ビット・ストリームのセクションを置換するた めの方法およびシステム」という題の米国特許明細書連続番号０８／４３８，０ １４の部分的な続編である。本明細書は、それ以外の４つの特許明細書に関連し 、同時平行して提出されている。それぞれ１９９５年６月６日に提出され、本明 細書中に参照により取り入れられる「音声エンコーダの数を削減した音響映像符 号化システム」という題の米国特許明細書連続番号０８／ＸＸＸ，ＸＸＸ、「以 前に符号化されたビデオ・フレームの品質をユーザが手動で変更するための方法 およびシステム」という題の米国特許明細書連続番号０８／ＸＸＸ，ＸＸＸ、「 以前に符号化されたビデオ・シーケンスの品質をユーザが手動で変更するための 方法およびシステム」という題の米国特許明細書連続番号０８／ＸＸＸ，ＸＸＸ 、および「速度量子化器モデルを使用して符号化するビデオ符号化方法およびシ ステム」である。 発明の背景 技術分野 本発明は、ＭＰＥＧエンコーダおよびＭＰＥＧ−２エンコーダのようなビデオ 符号化システムに関連し、特に、損失のある圧縮方法での量子化レベルが再符号 化プロセスの前に設定され、後で再符号化プロセス中にターゲット・ビット伝送 速度または総ビット長を一致させるために変更されるビデオ・エンコーダに関す る。背景の説明 ＭＰＥＧ、ＭＰＥＧ−２および類似した規格用の符号化デジタル・ビデオは、 オリジナル・フレームの圧縮されたデジタル表記を生じさせるいくつかのステッ プを必要とする。各フレームは、マクロブロックと呼ばれるビデオ・データのブ ロックに区分され、マクロブロックの結合された１列がスライスと呼ばれる。マ クロブロックの集合は、個々に分析、圧縮することが可能で、結果として生じる 圧縮比に応じて、マクロブロックの次の集合の圧縮パラメータは、ターゲット・ ビット長に一致させるために変更できる。 オリジナル・ビデオ信号からの冗長な空間情報および時間情報を利用して、マ クロブロックのスライスが結合され、オリジナル・ビデオの損失のある圧縮表記 を作成する。フレームの圧縮では、各マクロブロックのピクセル・データがＤＣ 係数への離散コサイン変換（ＤＣＴ）およびＡＣ係数の系列により変換される必 要がある。ＤＣ係数およびＡＣ係数は、集合的にＤＣＴ係数として知られている 。それから、ＤＣＴ係数は、各マクロブロックまたはスライスに割り当てられる 量子化レベルつまりｑ−レベルを使用して、量子化つまり四捨五入される。量子 化レベルは、テーブル識別子およびテーブル内へのインデックスを使用してコー ド化される。テーブル識別子は、量子化スケール・テーブルと呼ばれる線形テー ブルまたは非線形テーブルを使用すべきかどうかを示し、量子化スケール・コー ドと呼ばれるインデックスが示されるテーブルの中へのオフセットを指定する。 したがって、希望の量子化レベルは、現在の量子化スケール・テーブル、つまり 線形または非線形で利用可能なもっとも近い量子化レベルにマップされなければ ならない。 量子化／四捨五入プロセスは係数の精度を切り捨てるので、それによりイメー ジ・コーディング・プロセス内でかなりの部分の損失が生じる。損失の量は使用 される量子化レベルを変化させることにより制御できる。マクロブロックの１つ の集合の量子化レベルを低下させることにより、マクロブロックの集合の中での 変更を表すのに使用されるビット、つまりＤＣＴ係数が増加し、フレームがさら に正確に表記されるようになる。また、その反対も当てはまる、つまり、量子化 レベルを上昇させると、マクロブロックの集合をコード化するために使用される ビットの数が減少し、フレーム内での変更の表記がさらに粗くなるため、イメー ジ品質が低下する。ＤＣＴ係数が量子化された後にラン・レングス符号化されて から、ラン・レングス・コードが可変長ハフマン・コードを使用して符号化され る。系列の中の最後のＤＣＴ係数がゼロの継続する集合である場合には残りの係 数は符号化されないが、さらにフレームを圧縮する特殊ブロック終結記号が使用 される。変化する量子化スケール、可変長コード、およびマクロブロックごとの 変化する数の係数の数を使用することにより、大きく異なる長さのフレームが生 じる。したがって、結果として生じるビデオは、その対応するビデオ規格との準 拠を保証するために、アンダフロー・エラーおよびオーバフロー・エラーがない か調べられなければならない。 残念なことに、符号化プロセスでは、イメージの部分内での変更の量子化が粗 すぎるため視覚的な作為が導入される可能性がある。作為を訂正するために、フ レームの系列を生産後のフェーズの間に変更し、フレームの別の領域の量子化レ ベルを変更することができる。これにより、ビットの数およびフレームの部分内 で可能な変更のコード化の精度が変化する。人間の目は低空間周波数領域におい てより高空間周波数領域において量子化エラーを見つけにくいと考えられるため 、高空間周波数領域からのビットを低空間周波数領域に再割当てすることができ る。これにより、低周波数領域でより細かい量子化が可能になるため、量子化エ ラーが削減される。しかしながら、ビデオ・シーケンスをその結果として生じる 再符号化された長さを抑制せずに再符号化するには、新しいアンダフローおよび オーバフローの問題がないかビデオ構文を再確認する必要がある。加えて、再符 号化された長さがオリジナルの長さと異なる場合に連続ビデオ・ストリームを維 持するには、残りの以前に記憶されたビデオを、再符号化されたビデオ内のビッ トがそれぞれ少なくなったのか、多くなったのかに応じて、そのデジタル記憶装 置媒体上で前方へまたは後方へシフトしなければならない。ビデオのシフトには 、編集済みフレームの後のビデオのあらゆるブロックの読取りと再書込みが必要 となるため、省略なしの映画の場合、平均して数十個のメガバイトがコピーされ る必要がある。 発明の要約 したがって、本発明は、前記に概略したビデオ・コード化の問題点を克服する ことを目的とする。 本発明の第２の目的とは、ビデオ・シーケンスの事前に割り当てられた量子化 レベルを変化させ、ターゲット・ビット伝送速度と一致させることにより、以前 に符号化されたビデオ・シーケンスを再符号化することである。 本発明の第３の目的とは、ビデオ・シーケンスの量子化レベルに対する変化を 各マクロブロックの再符号化の後またはビデオ・シーケンスの複数のマクロブロ ックの再符号化の後に行うことである。 本発明の第４の目的とは、ビデオ・シーケンスの量子化レベルに対する変化を 各スライスの再符号化の後またはビデオ・シーケンスの複数のスライスの再符号 化の後に行うことである。 本発明の第５の目的とは、ビデオ・シーケンスの量子化レベルに対する変化を 各フレームの再符号化の後またはビデオ・シーケンスの複数のフレームの再符号 化の後に行うことである。 本発明の第６の目的とは、ビデオ・シーケンスの量子化レベルに対する変化を 、作成されたビットの累積和の予測されるビットの累積和に対する割合に基づい て、あるいは１個のフレームまたはフレームの集合内でのマクロブロックの再符 号化された集合のパーセンテージに基づいて行うことである。 本発明の第７の目的とは、再符号化プロセスにより作成されるビット数のマイ ナーな過大評価を、続くフレームの最初の前でビット・パディングまたはビット 詰込みを使用して、補うことができることである。 これらの目的およびそれ以外の目的は、すべてのフレームをチェックし直し、 再符号化されたフレーム長さをフレームのオリジナルの長さに等しくすることに より、再符号化されたビデオの最後にビデオの未変更部分をシフトする必要性を 防ぐ方法およびシステムにより達成される。しかしながら、結果として生じる長 さを等しくすることは、ユーザがフレームの部分に量子化レベルを任意に割り当 てることが可能な場合には非常に困難である。さらに、イメージを符号化するの に必要とされるビットの結果として生じる数は、現在のイメージおよび過去のイ メージの内容に基づいて変化するため、ユーザが複数のフレーム全体でフレーム 領域に静的に割り当てられる量子化レベルを正確に概算することはできなかった 。また、正確にモデル化されたフレームでさえ結果として生じるイメージ長が異 なってしまうほどその予測ビット伝送速度からわずかに変化する可能性があるの で、予測ビット伝送速度からの変化を動的にモニタし、量子化レベルに対する訂 正を変化に基づいて加える必要がある。 フレームの系列全体での最終的な長さを一致させるために、２つの異なるアプ ローチを取ることができる。つまり、各再符号化されたフレームの長さがその対 応する最初に符号化された長さに一致するか、あるいは再符号化された系列の最 終的な長さが最初に符号化されたフレームの系列全体の長さに一致するかのどち らかである。しかし、個々のフレーム・サイズがわずかに変化できるようにする ことにより、フレームをより正確にコード化できる可能性がある。例えば、系列 内の始めの方の第１フレームがそのビット割当てを超過することが可能で、系列 内の後半の第２フレームがその割り当てられたビットのすべてを使用しない場合 には、全体としての系列のサイズは、たとえ個々のフレームが変化したとしても ターゲット速度に一致できる。他方、フレームがそのオリジナル・サイズに一致 することを要求される場合、第１フレームはそのサイズを縮小するために最適状 態に及ばないコード化の使用を強制され、第２イメージは知覚できる変化なしに その解像度を増加させなければならないだろう。 上記の問題点を克服するために、本方法およびシステムは、対応する事前に割 り当てられた量子化レベルが、結果として生じるデジタル・ビデオ・ストリーム がその編集前の長さに等しくなるように、調整されるようフレームの編集済み系 列の再符号化を実現する。長さを一致させるために、方法およびシステムはフレ ームをマクロブロックの集合に分割し、マクロブロックの集合は通常マクロブロ ックのスライスに等しくなる。それから、マクロブロックＭＢ（ｉ）の各集合の ビット概算数ＥＢ（ｉ）が、量子化モデルに基づいて求められる。次に、フレー ムの系列が、順次、一度に１マクロブロックの１集合づつ再符号化される。マク ロブロックの各集合の作成数ＧＢ（ｉ）を再符号化し、求めた後で、ビットの概 算数がどの程度正確に実際に作成されたビット数に一致したのかを示す概算比が 計算される。この概算比ＰＢ（ｉ）は、ＧＢ（ｉ）／ＥＢ（ｉ）またはΣＧＢ（ １．．ｉ）／ΣＥＢ（１．．ｉ）のどちらかを使用して計算される。概算比は、 概算比テーブル内の対応する値を探すことにより、マクロブロックの続く集合の 量子化レベルの訂正係数△（ｉ）を求めるために使用される。概算比テーブル内 の対応する値のインデックスは、訂正係数テーブルへのインデックスまたは訂正 係数を含むマトリックスとして使用される。それから、この訂正係数は、マクロ ブロックの続く集合のオリジナル訂正係数に追加される。この再符号化プロセス は、フレームの再符号化された系列の結果として生じる長さがそのオリジナルの 長さからわずかに短いか、あるいは等しくなるように、マクロブロックの集合ご とに作成されるビット数を調整する。最後に、オリジナル長さに一致させるため に必要とされる作成されるビットの数のマイナーな不足は、次のフレームの集合 の開始前に、パディングまたは詰込み、ゼロ・ビットにより克服できる。したが って、この方法およびシステムは、デジタルに符号化されたビデオのフレームの 系列の空間的な表記を手作業で編集するための大型システムの有益な部分である 。デジタル記憶装置媒体上に記憶される符号化ビデオも、発明の一部を構成する 。 図面の簡単な説明 本発明およびそれに伴う優位点の多くのより完全な理解は、以下の詳細な記述 に参照することにより同がよりよく理解されるのと同じように添付の図面に関係 して考慮されるときに容易に得られる。 図１Ａは、エンコーダ・システム・アーキテクチャのブロック図である。 図１Ｂは、符号化される音声およびビデオを得るための装置、および符号化シ ステムにより作成される符号化済み音響映像データを書き込み、転送するための 装置を図解する。 図２は、図１のシステムの一般的な動作を図解するフローチャートである。 図３は、セットアップ状態で実行されるプロセスを図解するフローチャートで ある。 図４は、圧縮状態で実行されるプロセスを図解する。 図５は、編集状態で実行されるプロセスを図解する。 図６は、開始状態、完了状態および終了状態に実行されるプロセスを図解する 。 図７は、マルチパス・ビデオ・エンコーダを使用しながら音声トラックの事前 に決定された数を符号化するのに必要とされる音声エンコーダの数を求める方法 および音声符号化およびマルチパス・ビデオ符号化を同時に実行するプロセスを 示すフローチャートである。 図８Ａ−８Ｄは、シーケンス・レイヤ・ログ・ファイル・フォーマットを図解 する。 図９Ａ−９Ｃは、ピクチャ・レイヤ・ログ・ファイル・フォーマットを図解す る 図１０Ａおよび図１０Ｂは、マクロブロック・レイヤ・ログ・ファイル・フォ ーマットの完全な形式および短縮した形式を図解する。 図１１は、ログ・ファイル内で情報を活用するためのプロセスを図解する。 図１２は、異なる時間期間のピクチャ品質の手動調整の間に実行される一般的 なプロセスを図解する。 図１３は、さまざまな時間期間でピクチャ品質を変更するためのパラメータを 入力するのに使用されるユーザ・インタフェースを図解する。 図１４は、希望するピクチャ品質に結び付いたビット数を計算するための一般 的な手順を図解する。 図１５は、最大または最小のユーザ選択優先順位が設定されるセクションの処 理に使用されるプロセスを図解する。 図１６Ａおよび図１６Ｂは、最大または最小優先順位ではない希望のピクチャ 品質に対応するビット数を計算するためのフローチャートを図解する。 図１７は、ピクチャ品質の変化からアンダフローが生じるかどうかを確認する ために使用されるプロセスのフローチャートを図解する。 図１８は、バッファ・アンダフローが、編集セグメント内で行われる変更のた めに編集セグメントの後ろのフレームで発生するかどうかを突き止めるためのフ ローチャートを図解する。 図１９Ａおよび図１９Ｂは、符号化されたビデオのビット伝送速度がどのよう にしてユーザが選択した品質より変更されるのかの２つの異なった例を図解する 。 図２０は、フレーム内の異なった領域のピクチャ品質の手作業による調整の間 に実行される一般的なプロセスを図解する。 図２１は、ビデオのフレーム内のユーザが選択した優先順位が設定されるさま ざまな領域の例を図解する。 図２２は、ユーザが選択した優先順位対選択された優先順位に使用されるオリ ジナルの量子化器値の端数のグラフを図解する。 図２３は、ユーザ選択優先順位の結果生じるビット数とフレームのオリジナル 符号化の結果生じるビット数の間の差が受け入れられるかどうか、あるいは訂正 手順を実行 する必要があるかをどうかを判断するためのプロセスを図解する。 図２４Ａ−図２４Ｃは、フレームのビット数が多すぎると判断され、それゆえ 、ビット数を削減する目的でマクロブロックの量子化器レベルが増分される場合 にフレームを訂正するためのプロセスを図解する。 図２５Ａ−図２５Ｃは、ビット数を増加させるために、フレーム内のマクロブ ロックの量子化器レベルを削減することにより、フレーム内の少なすぎるビット を訂正するプロセスを図解する。 図２６は、ｎ個のマクロブロックの集合のそれぞれで使用される予測ビット数 をメモリからロードしてから、ｎ個のマクロブロックのそれぞれの集合に結果と して生じるビット数を再符号化、カウントし、予測ビット数および作成ビット数 に基づいて概算の精度を計算し、フレームの系列のターゲット・サイズに近いま まとなるために、次のｎ個のマクロブロックの事前に割り当てられた量子化レベ ルを調整するという一般的なプロセスを図解するフローチャートである。 図２７Ａは、事前に割り当てられた量子化レベルを図解するフレームのピクチ ャである。 図２７Ｂは、マクロブロックの各集合に１スライスがある場合に、マクロブロ ックの第１集合が再符号化され、第１訂正係数が計算され、第１訂正係数がマク ロブロックの第２集合に追加された後の図２７Ａのフレームのピクチャである。 図２７Ｃは、マクロブロックの第２集合が再符号化され、第２訂正係数が計算 され、第２訂正係数がマクロブロックの第３集合に追加された後の図２７Ｂのフ レームのピクチャである。 図２７Ｄは、マクロブロックの各集合に２スライスがある場合に、マクロブロ ックの第１集合が再符号化され、第１訂正係数が計算され、第１訂正係数がマク ロブロックの第２集合に追加された後の図２７Ａのフレームのピクチャである。 図２８Ａは、その量子化レベルが変更される２つの異なった領域があるフレー ムである。 図２８Ｂは、その量子化レベルが変更された２つの異なった領域を表すために 使用されるビデオ・ストリーム内のビット数の変更を図解する図２８Ａのフレー ムの２つの考えられる符号化のピクチャである。 図２９は、再符号化された系列の総長が系列のオリジナル長さに等しくなるイ メージの系列を表すために使用されるビット数の変更を図解するビデオ・ストリ ームである。 図３０は、訂正係数インデックスが、概算比を使用する比率ルックアップ・テ ーブルからどのようにして求められるのかを図解するフローチャートである。 図３１は、訂正係数が、訂正係数インデックスを使用する訂正係数テーブルか らどのようにして選択されるのかを図解するフローチャートである。 図３２は、訂正係数が、概算比およびマクロブロックの残りの符号化されてい ない集合の数の両方を使用してどのようにして計算されるのかを図解するフロー チャートである。 図３３Ａは、符号化されたフォーマットのオリジナル・ビデオのセクションを 図解する。 図３３Ｂは、オリジナルの符号化されたビデオに置換されなければならない符 号化されていないフォーマットでの新規ビデオのセクションを図解する。 図３３Ｃは、オリジナル・ビデオの符号化されていないセクションがその最後 にあるビデオの符号化されていない新規セクションを図解する。 図３３Ｄは、オリジナルの符号化されたビデオに置換されなければならない符 号化されたフォーマットを取る図３３Ｃのビデオを図解する。 図３３Ｅは、その中に置換された符号化済みビデオがあるオリジナルの符号化 されたビデオを図解する。 図３４は、復号化作為が少なくなったビデオが生じるビデオのあるセクション の符号化されたビデオ・データ・ストリームへの置換のためのプロセスを図解す る。 図３５Ａは、オリジナル・ビデオの符号化されていないセクションがトレーリ ング・エンドにある、ビデオの符号化されていない新規セクションを図解する。 図３５Ｂは、図３３Ａに図解される最初に符号化されたビデオに置換されなけ ればならない符号化されたビデオのセクションを図解する。 図３５Ｃは、図３５Ｂの置換符号化ビデオを含む図３３Ａの最初に符号化され たビデオを図解する。 図３６は、ピクチャ・モードの閉鎖グループを使用して置換ビデオを符号化す ることにより、符号化されたビデオ・ビット・ストリームを編集する際に復号化 作為を削減するためのプロセスを図解する。 図３７Ａは、事前符号化フェーズでのビット伝送速度モデルに対して量子化レ ベルを作成するために、それに２つの量子化レベルが割り当てられる未処理ビデ オのフレームである。 図３７Ｂは、４つの量子化レベルが回転パターンで割り当てられているフレー ムである。 図３７Ｃは、ブロック・フォーメーションで分散される４つの量子化レベルの あるフレームである。 図３８は、事前符号化フェーズで指定される量子化レベルごとにビット伝送速 度を決定するために、ビデオ信号を入手し、それらを事前符号化するプロセスを 図解するフローチャートである。 図３９は、２つの録画されたフレームおよびビット伝送速度に対するその結び 付いた量子化レベルである。 図４０は、究極的には光ディスクに格納される符号化データの最終フォーマッ トの概略を図解する。 図４１は、図４０のディスク情報ファイル９０８を図解する。 図４２は、図４０に図解されるデータ・ファイルのファイル管理情報の内容を 図解する。 図４３は、図４０のデータ・ファイル内に記憶されるデータの詳細を図解する 。 図４４Ａは、そのデータが詰込みパケットを必要としないデータ・パックを図 解し、図４４Ｂはパディング用パケットを必要とするデータ・パックを図解する 。 図４５は、再生情報パックを図解する。 図４６は、図４５のデータ探索情報９９６内に記憶される情報を図解する。 図４７は、図４６の一般情報を図解する。 図４８は、図４６に図解される同期再現情報を図解する。 図４９は、ビデオ・パックを図解する。 図５０は、ピクチャのグループ（ＧＯＰ）とビデオ・パックの系列の間の関係 を図解する。 図５１Ａは、ＭＰＥＧ音声符号化仕様に従って符号化される音声パックを図解 する。 図５１Ｂは、ＡＣ−３または線形ＰＣＭ音声符号化に従って構築される音声パ ックを図解する。 図５２は、符号化された音声ストリームと音声パックの間の関係性を図解する 。 図５３は、サブピクチャ・ユニットの構造を図解する。 図５４は、サブピクチャ・パックの構造を図解する。 図５５は、サブピクチャ・パックに関係するサブピクチャ・ユニットの構造を 図解する。 図５６は、表示サブピクチャ・ユニットｎとサブピクチャ・ユニットｎ＋１の 間の遷移を図解する。 実施例 本発明は、複数の構成要素および機能面を備えるデジタル・ビデオ符号化シス テムである。システムの多様な構成要素をより容易に識別する目的で、本明細書 は、以下に示す項に編成される。 Ｉ． はじめに ＩＩ． システム構成要素 ＩＩＩ．一般的なシステム動作 ＩＶ． システム代替策 Ｖ． 最適符号化効率を維持しつつ音声エンコーダの数を削減する ＶＩ． 符号化されたビデオの情報を記憶するためのログ・ファイル、および ログ・ファイルならびに符号化されたビデオにアクセスするための解釈プログラ ム・ユーティリティ ＶＩＩ．符号化されたビデオの品質の変更 Ａ．経時間的に品質を変更する Ｂ．フレームの領域内で品質を変更する ＶＩＩＩ．品質変更後のビデオの再符号化 Ａ．品質が単独フレーム内で変更された場合のビット割当て制御 Ｂ．編集ポイントでの復号化作為を回避しつつ再符号化する １．最初に符号化する際に使用された状態にエンコーダを復元す る ２．閉鎖ピクチャのグループ・モードで再符号化する ＩＸ． 符号化に使用される速度量子化器モデリング Ｘ． データ構造を使用して音声、ビデオ、およびサブピクチャ・デジタル 信号を結合する Ｉ．はじめに 開示されたシステムは、デジタル圧縮システムとしても知られるデジタル音響 映像符号化システムに関する。本明細書に開示される考えは、任意のタイプの符 号化スキームで有効であり、特に、ＭＰＥＧ−２システム情報を指定するＩＳＯ ／ＩＥＣ １３８１８−２、ＩＳＯ／ＩＥＣ １３８１８−１として公式に知ら れるＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ）、およびＭＰＥＧの前任者であるＭＰＥＧ−１（ＩＳＯ／ＩＥＣ １１１７２ −ビデオ）に適用できる。本明細書においては、ＭＰＥＧ−１およびＭＰＥＧ− ２は、集合的に「ＭＰＥＧ」と参照される。ＭＰＥＧ規格は、圧縮または符号化 されたビデオ・ストリームの構文のみを指定するもので、圧縮の実行方法は指定 しない。ＭＰＥＧ符号化データ・ストリームは圧縮されたデータ・ストリームで あるため、符号化プロセスが圧縮プロセスと参照されたり、逆に圧縮プロセスが 符号化プロセスと参照されることがあることを注記すべきである。また、システ ムは、ドルビーＡＣ−３またはＩＳＯ／ＩＥＣ １３８１８−３に定義されるＭ ＰＥＧ−２規格を使用して実行される音声の符号化にも関係する。前記規格のそ れぞれが、本明細書中に参照により取り入れられる。 ＭＰＥＧビデオ圧縮は、時間因果的予測圧縮である。ＭＰＥＧエンコーダは、 新規ビデオ・ピクチャを受信すると、新規ビデオ・ピクチャを、エンコーダが以 前に符号化されたピクチャに基づいて作成した予測ピクチャに比較する。用語「 因果的」予測コード化は、予測が以前に伝送された情報に基づいて行われるため に使用され、用語「時間」因果的予測コード化は、予測が時間ピクチャ・ユニッ トという点で実行されるために使用される。予測手順には、ビデオ・ピクチャ内 の領域の運動を概算することが必要となる。したがって、時間予測は、運動補正 予測と呼ばれることもある。 古いピクチャと新しいピクチャの比較の結果は、後のビデオ・ピクチャに含ま れる新規情報を表す。それから、「残留情報」と呼ばれることもある新規情報は 、一連の情報短縮プロセスにさらされる。第１に、離散コサイン変換（ＤＣＴ） として知られる線形数学変換が実行される。ＤＣＴ演算は、ピクセル残留情報を 係数の系列に変換する。ＭＰＥＧ圧縮では、ＤＣＴは８ｘ８ピクセルから成るブ ロック上で実行される。同様に、ＤＣＴ係数も、数の８ｘ８アレイの中にある。 これらの係数は、それから、量子化ステップ・サイズつまりｑ−レベルに基づき 、個別に設定された度合の精度に量子化（つまり四捨五入）される。量子化プロ セスは、通常、値ゼロが設定される多くの係数を生み出す。このように呼ばれな い場合は量子化ノイズと呼ばれるコード化作為の導入の大半の原因となるのがこ の量子化プロセスである。 それから、量子化された係数は、それぞれがラン・レングス値と非ゼロ係数値 を表す、ゼロ値が設定された係数でのラン・レングス・コード化と結果として生 じる２つの数のペアの可変長コード化の組み合わせを使用してコード化される。 これらのラン・レングス非ゼロ値ペアのコードは、他のオーバヘッド情報ととも に、ビデオ・ピクチャに対応する圧縮済みデジタル・データ・ストリームを形成 する。出力データ速度や記憶領域容量のような物理的な制限のため、適切な量の 圧縮が達成されるように、量子化の度合を変化させる必要がある。これが、バッ ファ・フィードバックと呼ばれる。 ＭＰＥＧ−準拠型デコーダは、符号化されたデジタル・データ・ストリームを 読み取り、符号化プロセスに相反する演算を実行する。 通常、デジタル・データ・ストリーム内のビットの総数は、実質上、ビデオ・ ピクチャを表すのに必要となるビデオ総数より少ないので、圧縮が達成される。 しかしながら、 ＭＰＥＧビデオ・コード化により具現されるような圧縮が決して歪みや作為を免 れないことを認識することが重要である。前記のように、圧縮作為の主要な原因 は、量子化プロセスである。 開示されたシステムは、圧縮または符号化プロセスの間に量子化の度合を動的 に調整することを目的とする。特に、調整は、人間のオペレータにより提供され る指示に従って行われる。調整はより大きなビデオ・シーケンスの部分、あるい はビデオ・シーケンス全体に適用する場合もある。 ＩＩ． システム構成要素 ここでは、類似した参照数字が複数の図全体で、さらに特定する図１Ａの同一 または対応するパーツを指す図面を参照すると、エンコーダ・システム・アーキ テクチャのブロック図が図解される。ビデオ符号化プロセスが、割り込みやエラ ーなしに符号化および編集を達成するために同期して動作する多くの異なったデ バイスを要する複雑なプロセスであることを注記すべきである。ただし、音声符 号化およびビデオ符号化は、適切な時間コードが使用されている限り、別個に実 行できる。図１Ａでは４つのワークステーションが示されているが、通常、符号 化システムのユーザまたはオペレータは１台のキーボードおよびワークステーシ ョンとだけ対話する。ワークステーションは、プロセッサ、ＲＡＭ、ＲＯＭ、ネ ットワーク・インタフェース、ハードディスク、キーボード、モニタ、およびそ れ以外の従来の構成要素のような従来の汎用目的コンピュータ構成要素を具備す る。 ワークステーション３０は、実施例では、サンのＳＰＡＲＣ２０ Ｕｎｉｘワ ークステーションであるシステム制御ステーションとして機能する。ワークステ ーション３０は、キーボード３２およびマウスやそれ以外の任意のポインティン グ・デバイスであるポインティング・デバイス３３のような従来のワークステー ション入力装置だけではなく、グラフィック・コンソール・ディスプレイ・モニ タ３１も備える。ユーザは、おもに、コンソール・ディスプレイ３１上に表示さ れるグラフィック・ユーザ・インタフェース（ＧＵＩ）を通してワークステーシ ョン３０と視覚的に対話する。 ワークステーション３０は、後述される他のワークステーション４０、１０、 および２０に接続され、それらを制御する。ワークステーション３０は、やはり 後述される音声インタフェース装置７２およびデジタル・ビデオ捕捉記憶装置６ ０とも通信する。ワークステーション３０は、米国電子工業会（ＥＩＡ）規格Ｒ Ｓ−２３２により定義される直列インタフェースを介してワークステーション４ ０に接続される。同様に、ワークステーション３０と音声インタフェース装置７ ２の間の接続も直列ＲＳ−２３２規格による。ワークステーション３０とデジタ ル・ビデオ捕捉記憶装置６０は、業界規格Ｓ−バス・インタフェースを介する。 フレーム・ジョガー４１はワークステーション４０に接続され、オペレータが ＶＴＲ５１または５２のどちらかのビデオを編集を実行する必要がある場所に位 置付けることができるようにする。システムは、ビデオの位置を制御するために オペレータにより入力される時間コードを使用できる。ただし、ジョグ制御装置 は、ビデオを位置付けるためにジョグ・ノブの使用を可能にすることにより、シ ステムのユーザ・フレンドリ度を強化する。ワークステーション３０は、ビデオ ・ディスプレイ・モニタ６１上の表示されたビデオがデジタル・ビデオ捕捉記憶 装置６０または録画ＶＴＲ５２、あるいはその両方からであるかどうかを制御す る。 ビデオ符号化デバイス５０は、ＭＰＥＧ−１、ＭＰＥＧ−２、またはそれ以外 のビデオ圧縮規格に準じて圧縮を実行するデジタル・ビデオ・エンコーダである 。市販されているＭＰＥＧ−１エンコーダは、ソニーＲＴＥ３０００である。Ｍ ＰＥＧ−２エンコーダは、本明細書に参照により取り入れられる、１９９４年１ ２月２７日に提出された日本特許明細書６−３２６４３５に記述される教示に従 って構築できる。ワークステーション１０は、業界規格のＳ−バス・インタフェ ースを介してビデオ符号化デバイス５０を直接制御し、ワークステーション１０ はイーサネット・ネットワークのような標準ネットワーキング装置を介してワー クステーション３０からのコマンドを受け取る。符号化プロセスの間、ワークス テーション１０は、ビデオ符号化デバイス５０のビデオ符号化制御プログラムの 実時間実行をサポートする。実施例では、ワークステーション１０はサンのＳＰ ＡＲＣ２０ Ｕｎｉｘワークステーションである。 ワークステーション１０は、中央ワークステーション３０からのコマンドに応 答し、圧縮プロセスを開始する。圧縮プロセスの間、ワークステーション１０は 、ビデオ信号の特定の領域に適用される量子化の度合を動的に制御する。量子化 が変化する特定の領域は、空間ドメインまたは時間ドメインあるいはその両方に 広がり、量子化が正確にどのように制御されるのかは後述する。 ビデオ符号化デバイス５０への入力ビデオは、再生ＶＴＲ５１内のテープから である。再生ＶＴＲ５１は、専門的なデジタル・ビデオ規格、ＩＴＵ−Ｒ ６０ １（以前はＣＣＩＲ ６０１ビデオ規格として知られていた）ビデオ・テープ・ プレーヤーである。この規格は、ＰＡＬシステムだけではなくＮＴＳＣシステム にも適用する。再生ＶＴＲ５１内のテープが、ビデオ・カメラまたはフィルム・ カメラを介して捕捉されたか、あるいはコンピュータによって作成されたさまざ まなイメージおよびシーンを表す電磁情報を記憶していることに注記する。再生 ＶＴＲ５１は、ワークステーション４０の制御下で動作する。ビデオ符号化デバ イス５０からの符号化された出力は、１枚以上のハードディスク２１上に記憶す るためにワークステーション２０に転送される。 ビデオ符号化デバイス５０により符号化され出力されたビデオ・データを表示 するためには、ＭＰＥＧ−２デコーダのようなデジタル・ビデオ・デコーダが必 要である。しかし、本明細書執筆時点では、このようなデコーダはシステムの初 期開発段階の間は容易に入手できなかったので、実現されたシステムは別個のＭ ＰＥＧ−２デコーダを取り入れていない。したがって、ビデオ符号化デバイス５ ０は、ＭＰＥＧ−２ビデオ・ストリームをワークステーション２０に出力するだ けではなく、ＭＰＥＧ−２符号化されたデータに同等な復号化されたビデオ・イ メージがビデオ符号化デバイス５０から録画ＶＴＲ５２に出力される。録画ＶＴ Ｒ５２は、Ｄ１インタフェースとして知られる業界規格デジタル・ビデオ信号コ ネクタによりビデオ符号化デバイス５０に接続され、ワークステーション４０に より制御される。再生ＶＴＲ５１および録画ＶＴＲ５２の両方共、アンペックス ＤＣＴ専門ビデオ・テープ・レコーダーを使用して適切に実現される。 音声は、例えば、ドルビーＡＣ−３フォーマットまたは代わりにＩＳＯ／ＩＥ Ｃ １３８１８−３規格に記述されるようなＭＰＥＧ−２に準拠したフォーマッ トに符号化および圧縮される。符号化システムの音声ソースは、４台のデジタル ・オーディオ・テープ（ＤＡＴ）プレーヤー７１ａ、７１ｂ、７１ｃおよび７１ ｄである。スタジオ品質のＤＡＴプレーヤーはソニーから市販されている。ＤＡ Ｔプレーヤー７１ａ−７１ｄは、業界規格のプロトコルＲＳ−４２２を介してワ ークステーション４０により接続、制御される。ＤＡＴプレーヤー７１ａ−７１ ｄにより出力される音声信号は、音声エンコーダ７０ａ、７０ｂ、７０ｃ、およ び７０ｄにそれぞれ入力される。これらの音声エンコーダは、市販のドルビーＡ Ｃ−３モデルＤＰ５２５エンコーダを使用して実現され、音声インタフェース装 置７２によって制御される。通常、音声符号化は指定の時間コードで開始、終了 する。音声インタフェース装置７２は、符号化開始のような指示および符号化終 了時間コードを、その間のＲＳ−２３２接続上でワークステーション３０から受 け取る。さらに、音声インタフェース装置７２は、さまざまなデジタルで圧縮さ れた音声データを、ワークステーション２０に送信される単独デジタル・ストリ ームに多重化する。ワークステーション２０は、入力デジタル音声ストリームを 、音声符号化デバイス７０によって出力される圧縮デジタル・データに対応する 複数のファイルに多重分離する。ビデオ符号化デバイス５０は、そのビデオ同期 信号に基づいた同期信号を音声インタフェース装置７２に提供する。同期信号に より、音声ビット・ストリームはビデオ符号化デバイス５０により出力されるビ デオ・ストリームに同期できるようになる。 ワークステーション３０は、音声インタフェース装置にさまざまな音声符号化 デバイス７０ａ−７０ｄの内の任意の１つからの音声データの輻射を音声デコー ダ７３に提供するように命令する機能を備えている。音声デコーダ７３は、ユー ザがスピーカー７５を通して音声を聞くことができるように圧縮された音声を復 号化する。どの音声符号化デバイスをモニタするかという選択は、キーボード３ ２またはポインティング・デバイス３３のどちらかによるコンソール・ディスプ レイ上のグラフィック・ユーザ・インタフェースとの対話を通じて、人間のオペ レータにより行われる。音声インタフェース装置７２の構成は、前記機能を実行 する能力のあるハードウェアである。このハードウェアは、開示された機能を達 成するために配列された１つまたは複数のプログラム済みのマイクロプロセッサ または従来の回路要素、あるいはその両方である。 ワークステーション４０は、スタジオ装置制御ステーションであり、録画ビデ オ・テープ・レコーダー５２とともに、再生ビデオ・テープ・レコーダー５１お よびデジタルオーディオ・テープ・プレーヤー７１ａ−７１ｄの両方を制御する ために適切なコマンドを発行する。ワークステーション４０は、デジタル・ビデ オ捕捉記憶装置６０に、適切な時点でビデオの捕捉を開始するように命令する。 ワークステーション４０とさまざまなビデオ・テープ・デッキとオーディオ・テ ープ・デッキの間の接続は、業界規格のＲＳ−４２２プロトコルによる。このプ ロトコルを使用すると、各テープ・デッキは、ワークステーション４０に標準時 間コード・フォーマットでその現在のテープ・ロケーションを知らせることがで きる。ワークステーション４０は、このような情報を使用して、ビデオ情報およ び音声情報が正しくプレイされ、記録されるように、さまざまなテープ・デッキ を適切に同期させる。本実施例においては、ワークステーション４０は、ＤＯＳ 、およびカリフォルニア州モアパークにある編集技術社（Ｅｄｉｔｉｎｇ Ｔｅ ｃｈｎｏｌｏｇｉｅｓ Ｃｏｒｐ．）から市販されているＥｎｓｅｍｂｌｅ Ｐ ｒｏを実行する標準ＩＢＭ互換パーソナル・コンピュータである。ワークステー ション３０が、ＲＳ−２３２通信ポートを通してワークステーション４０上で実 行するＥｎｓｅｍｂｌｅ Ｐｒｏと通信できるように、Ｅｎｓｅｍｂｌｅ Ｐｒ ｏにマイナーな修正が加えられたことに注意する。この修正は、編集技術社によ って市販されるか、あるいは不適当な実験を行わずに当業者により実行される場 合がある。 デジタル・ビデオ捕捉記憶装置６０は、符号化システム内で２つの機能を果た す。まず第１に、この装置はその捕捉記憶機能を、ビデオ信号に適用された手動 編集の便利な「前と後」の比較を行うために使用し、第２に、グラフィック・オ ーバレイ機能をビデオ・ディスプレイに提供する。このグラフィック・オーバレ イ機能は、例えば、空間手動編集フェーズの間に使用され、人間のオペレータが 、量子化およびその結果として割り当てられるビット数が変化する重大な領域を 定義できるようにする。 本発明においては、デジタル・ビデオ捕捉記憶装置は、カリフォルニア州、マ ウンテン・ビューにあるビューグラフィックス社（Ｖｉｅｗｇｒａｐｈｉｃｓ） から市販されているＤＲＡＭベースのビデオ製品、ＶＳ６０００型として実現さ れている。この装置へのデジタル・ビデオ入力は、ＩＴＵ−Ｒ−６０１（旧ＣＣ ＩＲ６０１）イメージ解像度を備える業界規格Ｄ１による。デジタル・ビデオ捕 捉記憶装置６０の出力は、ビデオ信号の赤、緑、青の構成要素を表す３つの別々 のアナログ信号を通してビデオ・ディスプレイ・モニタ６１に接続される。グラ フィック・オーバレイ情報は、デジタル・ビデオ捕捉記憶装置６０によって出力 される最終アナログ信号の作成以前に、デジタル・ビデオ捕捉記憶装置６０によ って処理されるため、ビデオ・ディスプレイ・モニタ６１上での他のビデオ・デ ータとともに人間のオペレータの目に見えるようになる。 Ｕｎｉｘ環境下で動作するワークステーション３０は、デジタル・ビデオ捕捉 記憶装置６０を使用して、そのグラフィック・ウィンドウをビデオ・ディスプレ イ・モニタ６１上にマップする。これによって、人間のオペレータは、モニタ６ １に示されるディスプレイのグラフィック・オーバレイ面上での（矩形の描画な どの）グラフィック動作を実行できる。装置６０は、オーバレイ機能を備える。 オーバレイは、メモリ内の情報の、モニタを駆動するアナログ・ビデオ信号への 変換の前にビデオ・メモリ内で実行される。本システムにより使用されるＶＳ６ ０００では、ビデオ・メモリ上に８ビットのメモリ面がある。この８ビット面上 で、コンピュータは、任意のカラー・グラフィックおよびテキストを描画できる 。この８ビット面での「色」の１つが透明色である。透明色をしているこのオー バレイ面上のピクセルは、その下にあるビデオ・メモリの値を取る。一般的には 、オーバレイ面の大部分は透明色で満たされ、非透明色を使用する（線、テキス トなどの）グラフィックで満たされる。このようにして、ディスプレイ・メモリ は、ビデオ・メモリとオーバレイ・グラフィック・メモリの両方から構成され、 形成される。モニタ６１上での表示のために、究極的にアナログ信号に変換され るのがディスプレイ・メモリである。人間のオペレータは、通常、キーボード３ ２と結び付いたポインティング・デバイス３３を使用して、このようなグラフィ ック動作と、このようにして作成されたグラフィック・オブジェクトの操作を実 行する。 ワークステーション２０は、音声インタフェース装置７２だけではなくビデオ 符号化装置５０からデジタル・データ・ストリームを受け取る。ワークステーシ ョン２０は、イーサネット接続を介してワークステーション３０に接続されるだ けではなく、業界規格Ｓ−バスインタフェースを介してビデオ符号化デバイス５ ０および音声インタフェース装置７２にも接続される。受信されたデジタル・デ ータ・ストリームは、別個のデータ・ファイルとして１つまたは複数のハードデ ィスク２１に記憶される。別個の直接記憶アクセス（ＤＭＡ）カードが、捕捉さ れたデジタル・ストリーム・データをハードディスク２１に転送する際に使用さ れる。大量のデジタルデータを生じさせる長いビデオ・シーケンスの場合は、ハ ードディスク２１が、サン・マイクロシステムズ社のＳＰＡＲＣｓｔｏｒａｔｅ Ａｒｒａｙ Ｘ６５５Ａ／Ｇ５のような市販されているハードディスクを使用 して実現できる。この実施例では、ワークステーション２０は、サン・マイクロ システムズ社の市販されているＳＰＡＲＣｓｅｒｖｅｒ １０００である。 また、ワークステーション２０は、ビデオおよび音声圧縮データに対応するデ ータ・ファイルを、復号化デバイスへの移送または伝送に適当な単独フォーマッ ト済みファイルにフォーマットする。最終的な媒体はディスク・ベースであるの が望ましく、その場合、フォーマットは、関連するディスク・フォーマットに準 じる。通常、フォーマット済みファイルは、デジタル・テープのような中間デジ タル記憶手段により、１つまたは複数の最終伝送媒体への転送が発生する機構へ 移送される。図に示されるデジタル記憶装置２２は、このような目的に役立つ。 本発明では、デジタル記憶装置２２は、市販されている８ｍｍのＥｘａｂｙｔｅ テープ・ドライブを具備する。デジタル記憶装置２２のインタフェースは、業界 規格の小型コンピュータ用周辺機器インタフェース（ＳＣＳＩ）である。 複数のＳＣＳＩデバイスを同じＳＣＳＩバスに接続できるのは既知である。し たがって、デジタル記憶装置22は、市販されるデジタル・リニア・テープ（ＤＬ Ｔ）ドライブ、磁気光学（ＭＯ）ディスク・ドライブ、またはフロッピーディス ク・ドライブのようなその他のＳＣＳＩデバイスを具備することもある。これら の構成は容易に適応され、フォーマット段階の前またはフォーマット段階の間に 必要となる可能性がある補助データ用の柔軟な入力機構を実現するのに役立つだ ろう。例えば、映画製作においては、字幕情報は、たいていの場合、前記ＳＣＳ Ｉデバイスの１つを必要とする媒体の中で利用できる。このような場合、補助デ ータは、補助データがフォーマット済みのファイル内に格納されるように、ワー クステーション２０の中で実行されるソフトウェア・プログラムにより読み取ら れ、操作される。補助データは、米国クローズ・キャプション・フォーマットを 取る字幕データを含む場合がある。補助データは、プログラム・コードまたはポ ストスクリプト・データのような任意の希望するデータを含む場合がある。 図１Ｂは、図１Ａのシステムに対応し、同じように機能する音声／視覚符号化 システム９８を図解する。図１Ｂにおいては、符号化システムへのビデオ入力は カメラ８０から供給され、音声はマイクロフォン８２から供給される。視覚情報 およびおそらく音声情報も含む映画フィルムは、フィルムを照明するためのライ トおよびフィルムからイメージを捕捉するための光検出器を具備する転送装置８ ８を介して符号化システム９８に転送される。入力装置８０、８２、および８８ からの情報は、音声テープ・レコーダーやビデオ・テープ・レコーダーによって のように、符号化システム９８により符号化される前に、電磁フォーマットで記 憶される。音声テープおよびビデオ・テープは、図１Ａのシステムにより符号化 される。 符号化システムにより作成される最終的なデジタル・ビット・ストリームは、 光ディスクをプレスして作る光ディスク・マスタリング装置９０、光ディスクに 書き込む光ディスク・ライター８４に送られるか、テレビジョン送信機８６を介 してテレビジョン受像器またはセット・トップ・ボックス・デコーダに送信され る。光ディスクのプレス加工および作成は、例えばマスタ・ディスクを使用する 既知で商業的に利用可能な方法で実行される。符号化された情報は、ビデオ・オ ン・ディマンド・システムでも使用できる。符号化されたビット・ストリームは 、究極的には、符号化プロセスに対応する復号化プロセスにより復号化され、音 響映像情報は、テレビまたはモニタ上でユーザに表示される。復号化デバイスは 、テレビまたはモニタ上での表示のために符号化されたディスクを復号化するデ ジタル・ビデオ・ディスク・プレーヤーを具備する。 図１Ｂから符号化システムが音声およびイメージを表す電気信号を入力し、電 気信号を新しいフォーマットに変換し、究極的には、信号が復号化され、符号化 されたオリジナルの情報を作成し直すのは明らかである。 ＩＩＩ． システム動作 図２は、図１Ａに図解されるシステムの一般的な動作を図解するフローチャー トである。図２に示されるように、システムはその動作のサイクルの間に複数の 「状態」を経過する。濃い実線は、通常の実線経路を示し、実線は割込み終了経 路、破線は迂回経路を示す。 システムによる第１動作は、セットアップ状態１００で発生する。このステッ プにより、圧縮状態１０２に入る前に、入力パラメータを指定できる。圧縮状態 １０２では、再生ＶＴＲ５１のテープに記憶されるビデオ・イメージは、ビデオ 符号化デバイス５０によりデジタルで圧縮されたフォーマットに符号化される。 圧縮状態１０２の後、ユーザは、編集状態１０４で以前に圧縮したデータのピ クチャ品質に基づいて圧縮プロセスを手動で編集することができる。これにより 、ユーザはビデオのフレームの領域内でまたはある時間期間の間にピクチャ品質 を改善したり、劣化させることができる。「編集」という用語が、シーン自体を ピクチャ・ストリームに追加したり、ピクチャ・ストリームから削除することを 意味しないことを注記すべきである。本明細書では、用語「編集」は、量子化、 次にビデオの品質を変更するという意味である。イメージが編集状態１０４で編 集されてから、データを新しいユーザ指定パラメータに従って符号化するために 、圧縮状態１０２で再度圧縮動作を実行する必要がある。 ユーザがビデオの編集された形式に満足した後で、音声、ビデオおよび字幕の ようなそれ以外の情報を含むすべての情報は、フォーマット状態１０６での希望 のフォーマットにいっしよに結合される。完了状態１０８は、あらゆる一時ファ イルを消去し、プロセスは終了状態１１０で終了する。図２に図解される個々の 状態に関するより詳細な情報は、今度は、図３−６に関して説明される。 図３は、セットアップ状態１００で実行されるステップを図解する。ステップ １２０で、セットアップ状態が開始し、ステップ１２２でシステムがフォーマッ トされた。このステップは、ワークステーション３０に内蔵されるシステム制御 ソフトウェアの実行を開始し、コンソール・ディスプレイ３１上に表示され、キ ーボード３２およびポインティング・デバイス３３を介してパラメータが入力さ れるユーザ・インタフェースに責任を持つグラフィック・ユーザ・インタフェー ス（ＧＵＩ）プログラムのような他のプログラムをスタートアップする。また、 ステップ１２２の間、ワークステーション３０内のシステム制御装置ソフトウェ アは、システムの利用可能なデバイスを含むシステム状況を判断するために他の デバイスに照会する。 ステップ１２４では、ＧＵＩを通してユーザに情報が表示される。歓迎メッセ ージ、システムに関する情報、符号化プロセスに使用されるパラメータ、および あらゆる以前符号化されたファイルが表示される。表示されるシステム情報には 、音声エンコーダ、ＶＴＲ、オーディオ・テープ・デッキを含むシステムに接続 されるデバイス、およびそれらの構成が含まれる。システムに以前に符号化され たファイルが格納される場合、情報がユーザに表示され、ファイルを作成するた めに使用された音声符号化パラメータおよびビデオ符号化パラメータを記述する 。 それから、ステップ１２６では、標準システム・パラメータまたはユーザ指定 システム・パラメータを使用して符号化を開始するためのコマンド、システム・ パラメータに対するすべての変更、または選択されたパラメータが受け入れられ るという確認のようなユーザからの情報が入力される。ユーザは、符号化動作の 開始時間コードおよび終了時間コードも入力する。 次にステップ１２８では、符号化動作および圧縮動作の準備をするために、グ ラフィック・ユーザ・インタフェースからの入力データをシステム制御装置ソフ トウェアに転送することにより入力データを処理する。セットアップ状態はステ ップ１３０で終了する。 図４は、圧縮状態１０２で実行されるプロセスを図解する。通常の動作フロー に従って、ユーザはすでにビデオおよびセットアップ状態で圧縮される付随する 音声シーケンスを指定した。それから、ユーザはシステムに自動手順または自動 圧縮手順を実行するように命令しなければならない。自動圧縮手順中のビデオ圧 縮により、ユーザは、時間期間中またはフレームやビデオ内で動的な量子化プロ セスを制御できない。これは、コード化決定がビデオ符号化デバイス５０により 計算される客観的な方策に基づいて行われる、初期圧縮実行として意図される。 自動圧縮がすでに実行されていた場合には、ユーザは、空間的に（フレームまた はビデオ上で）または時間的に（ビデオ・シーケンスで）のどちらかで編集圧縮 モードの量子化を手動で調整できる。 圧縮状態では、ステップ１４０で開始した後、ステップ１４２で圧縮動作に準 備する。この動作では、ビデオの時間コードおよび圧縮パラメータとともに圧縮 される付随する音声のような圧縮プロセスのパラメータが、ワークステーション １０を介してワークステーション３０からビデオ符号化デバイス５０にダウンロ ードされる。 それから、ステップ１４４で、希望される圧縮のタイプが決定される。まず始 めに、情報が圧縮され、圧縮プロセスが自動的にユーザの介入なしに実行される 。ステップ１４６では、自動圧縮プロセスに準備する。この準備中、ワークステ ーション３０が、デジタル音声テープ・プレーヤー７１ａ−７１ｄおよび結び付 いた音声符号化デバイス７０ａ−７０ｄの内のどれを使用すべきかを決定する。 また、ワークステーション３０は、ワークステーション２０に、ビデオ符号化デ バイス５０、および音声インタフェース装置７２を介した音声エンコーダ７０ａ −７０ｄの出力からビット・ストリーム捕捉の準備をするように命令する。さら に、再生ＶＴＲ５１、録画ＶＴＲ５２、およびＤＡＴプレーヤー７１ａ−７１ｄ がテープの適切な開始位置まで巻かれる。それから、ワークステーション４０は 、再生ビデオ・テープ・レコーダー５１、録画テープ・レコーダー５２、および ＤＡＴプレーヤー７１ａ−７１ｄに、ステップ１４８での巻きを開始するように 信号を送る。それから、ステップ１５０では、ビデオ符号化デバイス５０を使用 してＭＰＥＧ−１またはＭＰＥＧ−２のような希望のフォーマットに従ってビデ オ・データを符号化する。また、音声データは、ドルビーＡＣ−３フォーマット のような希望のフォーマットに従い符号化される。手動編集プロセスで後で補助 するためにログ・ファイルを作成する必要がある。ログ・ファイルは、後でビデ オ・データの編集を実行するために必要となる符号化されたビデオ・データのパ ラメータを示す。符号化プロセスは、適切な時間コード到達時にステップ１６０ で停止する。この時間コードは符号化される情報の最後であるか、ビデオ・シー ケンスの最後にはないユーザが指定したポイントにある可能性がある。 ステップ１４４で、自動圧縮プロセスがすでに実行され、ユーザが以下の図５ に関連して記述される編集状態中に指定されるパラメータを使用してビデオの１ つまたは複数のフレームのピクチャ品質を手動で変更することを希望していると 判断される場合、ステップ１４４では、編集圧縮動作を実行すべきであると判断 する。ステップ１５２は、手動編集が開始する時点である希望の開始ポイントへ の再生ＶＴＲ５１のキュー出しを含む編集圧縮動作を準備する。また、音声装置 は、音声情報がいったん自動圧縮動作で符号化されると音声情報を変更する必要 性がないので、使用不能になる。それからステップ１５４で、再生ＶＴＲ５１お よび録画ＶＴＲ５２が巻かれる。 ステップ１５６では、次に、図５の編集状態でユーザにより指定されたパラメ ータに従って、ビデオ・データの符号化を開始する。編集圧縮は、編集時間コー ド到達時にステップ１６０で終了する。ステップ１６２では、ユーザに対し、圧 縮および符号化が完了し、プロセスがステップ１６４で終了する旨のメッセージ が表示される。 図５は、編集状態１０４で実行されるプロセスを図解する。前述したように、 参照される編集とは、ビデオ・シーケンス内でシーンが削除、短縮、または移動 される従来のビデオの編集ではない。本明細書中の編集状態とは、ビデオの量子 化を手動で設定することにより、ビデオの一部の品質または時間シーケンスを変 更することを指す。 ステップ１７０で編集状態を開始した後、ステップ１７２で、ユーザは、符号 化されたビデオのビット割当てを変更することによりビデオを手動で編集するこ とを希望するかどうかたずねられる。ユーザがビット割当ての変更を希望しない 場合、プロセスはステップ１８８で終了する。ユーザがビット割当ての変更を希 望する場合は、ユーザはステップ１７４で編集されるビデオ・セグメントを定義 する。これは、ピクチャ品質を変更しなければならないビデオの時間期間を選択 することにより実行される。それから、ステップ１７６は、ユーザが空間編集を 希望するのか、時間編集を希望するのかを判断する。空間編集とは、量子化また はビットの割当てがビデオのフレーム内で変更される場合であるが、時間編集と は量子化またはビットの割当てが時間期間全体で変更される場合である。ユーザ が空間編集を選択すると、フローは、編集対象のフレーム内の領域を入力するス テップ１７８に進む。また、適用される変更の相対度合も入力される。本発明の 場合、ゼロを含む−５から＋５の整数スケールが、変更の相対量を示すために使 用される。ユーザは、キーボード３２またはポインティング・デバイス３３ある いはその両方でビデオの任意の領域をマークし、−５から＋５の間、および−５ と＋５を含む整数の内の１つを割り当てる。また、ユーザは、領域に以前設定さ れた量子化レベルを変更すべきではないことを示すこともできる。例えば、ユー ザがある一定の領域のビット割当ての増加を希望する場合、他の領域のビット割 当てを減少させなければならない。ユーザが領域を、「保護されている」とも呼 ばれる変更不可に設定すると、改善された品質の領域に必要なビットは保護され ている領域からは取られない。 ステップ１７６で、ユーザが時間編集を希望すると判断されると、フローは、 時間期間をどのように編集すべきかが入力されるステップ１８０に進む。空間編 集と同様に、時間編集の場合も、ユーザは、ビデオのある特定のシーケンスに適 用すべき変更の相対度を示す−５と＋５の間の整数値を指定する。変更は、選択 された時間期間全体で有効となる。 空間編集または時間編集のどちらかがステップ１７８およびステップ１８０で 実行された後、ステップ１８２ではビデオ・シーンが再符号化され、例えば手作 業で入力されたパラメータに従い、ＭＰＥＧ−２フォーマットに圧縮し直される 。ユーザが品質がどの程度変化したのかを密接に比較できるように、以前に符号 化されたデータが、ビデオ・ディスプレイ・モニタ６１上で新規に編集されたデ ータの隣に表示される。 オペレータが編集対象のセグメントを示すと、ＶＴＲ５２からのビデオが記憶 装置６０に転送され、記憶装置６０内の使用可能な総メモリの大半を使用する。 そのセグメントは「前の」セグメントに相当する。編集圧縮プロセスの間、ビッ ト・ストリームはワークステーション２０によって捕捉され、マスタ・ビデオ・ ビット・ストリーム・ファイルとは別個のディスク・ファイルとして記憶される 。マスタ・ビデオ・ビット・ストリーム・ファイルは、映画全体の圧縮済みビッ ト・ストリームである。編集圧縮されたビデオはＶＴＲ５２に録画される。符号 化プロセスの間、オペレータは、ピクチャがＶＴＲ５２で録画されているのと同 時にピクチャを見ることになる。オペレータが符号化の後にピクチャの表示を希 望する場合には、ＶＴＲを再生機械として使用することができる。オペレータが 「前と後」の比較の実行を希望する場合には、ＶＴＲ５２から対応するセグメン トが記憶装置６０に転送され、装置６０の総メモリの残りの半分を使い尽くす。 この符号化の後で、オペレータは変更されたビデオを保存する必要があるかど うかに関する決定を下す。オペレータが「後」のセグメントの無視を決定すると 、マスタ・ビット・ストリームは手付かずで残され、編集圧縮済みビット・スト リームは削除される。ＶＴＲ５２がマスタ・ビット・ストリームを反映できるよ うにするには、編集済みセグメントでの追加自動圧縮が「前」のセグメントの録 画だけを目的として実行される。装置６０を「前」のセグメントをＶＴＲ５２に 転送して戻すために使用するという代替策も可能である。オペレータが「後」の セグメントの保存を決定すると、マスタ・ビット・ストリーム・ファイルは、後 述するように、編集圧縮済みビット・ストリーム・ファイルを含むように更新さ れなければならない。 ユーザがステップ１８４でビデオが許容できると判断すると、以前に符号化さ れたデータは新規に符号化されたデータで置換される。このステップは、後記別 項でさらに詳細に説明する。新規符号化データが以前に符号化されたデータを置 き換えた後、ステップ１９２では、ユーザがさらに編集を希望するかどうかが判 断される。更に編集が希望される場合には、フローはステップ１７４に戻る。ユ ーザがビデオ編集を終了すると、フローは、編集状態が終了するステップ１８８ に進む。 ユーザがステップ１８４でビデオが許容できないと判断すると、ユーザは、編 集変更が記録されないように、あるいはユーザがビデオを編集し直すことができ るように、ステップ１８６で編集動作を終了できる。ビデオは、編集に新しいパ ラメータを選択するユーザにより編集し直される。ユーザが希望するなら、編集 対象の新規ビデオ・セグメントを定義することも可能である。 ユーザが圧縮（自動圧縮のみ、または編集圧縮と結び付いた自動圧縮のどちら か）に満足すると、圧縮されたビデオ、圧縮された音声、およびそれ以外のあら ゆるファイルを含む個別データ・ファイルが最終フォーマットにフォーマットさ れる準備が完了し、フォーマット状態１０６に入る。補助データは、最終フォー マット済みデータ・ファイルに格納する必要のある字幕のような情報を含む場合 もある。図６に図解されるフローチャートでは、ユーザが、例えばフロッピーデ ィスク・ドライブ内のフロッピーディスクを具備するデジタル記憶装置２２から の補助データを格納する決定を下した場合には、ステップ２００でフォーマット 状態を開始した後で、ワークステーション２０が補助データを読み取る。それか ら、ステップ２０４は補助データを符号化された音声およびビデオと結合し、最 終的なフォーマット済みファイルを作成する。システムにより作成される最終デ ジタル・ビット・ストリームは、ＩＳＯ／ＩＥＣ １３８１８−１に定義される 「プログラム・ストリーム」として構築できる。代わりに、最終ビット・ストリ ームは、光ディスク上での使用に適したＶＢＲ（可変ビット伝送速度）フォーマ ットである直接衛星ＤＳＳフォーマットやそれ以外のタイプのフォーマットのよ うな任意のタイプのフォーマットとすることができる。符号化されたビデオおよ び音声は別個に記憶できるので、システムは、同じ符号化されたビデオおよび音 声を異なった最終フォーマットに符号化できる。これは、異なったフォーマット を作成する機能を持つ１つのフォーマッタを使用するか、別個のフォーマッタを 使用することによって達成される。ステップ２０６では、フォーマットされたフ ァイルがディスク２１上に記憶される。 完了状態には、フォーマットされたファイルをステップ２１０でデジタル記憶 装置２２内のテープに書き込むステップ２０８で入る。その後、終了状態には、 もう必要とされなくなった一時ファイルを削除するさまざまな「ハウス・クリー ニング」機能を実行するステップ２１２で入る。圧縮プロセスが終了する前のよ うな異常な終了要求の場合には、打切り手順がワークステーション３０内で実行 され、音声テープ・プレーヤーおよびビデオ・テープ・プレーヤーを停止する上 に、破壊されている可能性があるデータ・ファイルをクリーンアップする。それ から、プロセスはステップ２１６で終了する。 ＩＶ． システム代替策 望ましいシステム構成要素およびその動作については前述したが、言うまでも なく、図１Ａおよび図１Ｂに開示されるハードウェアの代わりに代替ハードウェ アが使用できる。ビデオ符号化デバイス５０は、使用できる場合にはＭＰＥＧ− ２ビデオ・エンコーダであるのが望ましい。ただし、それ以外にはＭＰＥＧ−１ ビデオ・エンコーダとしても知られる市販のＩＳＯ／ＩＥＣ １１７２−ビデオ 標準エンコーダも使用できる。ＭＰＥＧ−１エンコーダに対する必要な修正は、 ＭＰＥＧ−１バッファ管理モジュールをワークステーション１０のような外部ソ ースから制御可能徒するために加える必要がある。さらに、入力ビデオ・サポー トも、ＩＴＵ−Ｒ ６０１（旧ＣＣＩＲ ６０１）解像度ビデオを入れるために 強化されなければならない。このような修正は、不適当な実験を行わずにデジタ ル・ビデオ符号化の技術の当業者により実現できる。 ４台の音声テープ・プレーヤーおよび４台の音声エンコーダが図１Ａに図解さ れているが、音声システムにはそれ以外の構成も容易に適用できる。例えば、市 販の８ｍｍデジタル音声プレーヤーを、複数のＤＡＴプレーヤーの代わりに使用 できる。１台のＴＡＳＣＡＭデジタル音声プレーヤーを使用すると、最高８台の 別個の音声チャンネルを同時にサポートできる一方、ワークステーションから必 要とされるのはＲＳ−４２２制御信号１つだけである。言うまでもなく、音声エ ンコーダは、同時に８つの音声入力を受け入れることができなければならず、音 声インタフェース装置７２は、音声データ・ストリームの４から８への増加にも 対応するように修正されなければならない。 同時音声ビデオ符号化の代替策としては、音声ビデオ符号化を別個の時間また はロケーション、あるいはその両方で実行し、後で最終フォーマットに結合でき る。これには、ＳＭＰＴＥ（全米映画テレビジョン技術者協会）時間コード・フ ォーマットのような既知の時間コードの使用が必要となる。時間コードは、ビデ オ・テープ・プレーヤー、ワークステーション、または別個のスタンド・アロン 式時間コード作成プログラムにより作成される。 ビデオ・デコーダが使用可能であり、ワークステーション２０に接続されてい る場合には、録画ＶＴＲ５２は排除できる。その場合には、再構築されたビデオ が、圧縮フェーズ中にビデオ符号化デバイス５０から録画される代わりに、ディ スク２１のディスク・ファイルから作成されるだろう。録画ＶＴＲ５２を排除す ると、テープ費用だけではなく装置という点でも、システムの費用に多大な節約 となるだろう。 さらに、グラフィック動作をディスプレイ・ビデオのグラフィック・オーバレ イ面で実行する能力は、市販されるＸ端末オプションを使用して、コンソール・ ディスプレイ上でサポートできる。例えば、コンソール・ディスプレイ３１は、 オーバレイ・グラフィック・ウィンドウを使用してビデオを表示することができ るＸ端末で置換できる。ペンシルバニア州、キング・オブ・プルシア（Ｋｉｎｇ ｏｆ Ｐｒｕｓｓｉａ）にある人間設計システム社（Ｈｕｍａｎ Ｄｅｓｉｇ ｎｅｄ Ｓｙｓｔｅｍｓ）のＨＤＳＶビュー・ステーションのような市販されて いるマルチメディア・ディスプレイ端末が、必要な機能を実現する。それから、 ビデオ・デコーダからのビデオは、表示動作および手動編集領域定義動作のため にＸ−端末に接続できる。ただし、ビデオ・デコーダからの専門的な品質のビデ オは、人間のオペレータが再構築されたビデオ信号の品質を評価できるように、 図１Ａに図示されるモニタ６１のような専門モニタで表示されなければならない 。 Ｖ．最適符号化効率を維持しつつ音声エンコーダの数を削減する 前述したように、図１Ａは、１台のマルチパス・ビデオ符号化デバイス５０お よび４台のワン・パス音声エンコーダ７０ａ、７０ｂ、７０ｃおよび７０ｄを備 える符号化システムを図解する。再生ＶＴＲ５１は、符号化されるビデオ信号を ビデオ符号化デバイス５０に供給し、デジタル・オーディオ・テープ（ＤＡＴ） プレーヤー７１ａ−７１ｄが、符号化される音声信号をワン・パス音声エンコー ダ７０ａ−７０ｄにそれぞれ供給する。 本発明の実施例では、最終フォーマット済み音響映像データ・ストリームの８ つの音声トラックが符号化される。各音声トラックには、１つまたは複数の音声 チャンネルが含まれる。例えば、音声トラックは、他の装置に音声を入れること もできるが、左チャンネルおよび右トラックを備える場合がある。もっとも効率 的な音響映像符号化を実行するために音声エンコーダの数をどのように決定する のか、およびこの音響映像符号化を実行する方法について、図７で説明する。図 ７では、開始後、ステップ２４０で、ビデオ符号化に必要となるパスの数Ｐが決 定される。ビデオをＭＰＥＧフォーマットに符号化するためには、通常、２つ以 上のパスがビデオの符号化に必要となる。本発明の場合、パスの望ましい数は２ であるが、３つ以上のパスも可能である。それから、ステップ２４２では、符号 化される音声トラックの数Ｔが決定される。本発明では、音声トラックの別の数 も可能であるが、音声トラックの数は８が望ましい。次に、ステップ２４４では 、もっとも効率的な音響映像符号化を実行するのに必要となるワン・パス音声エ ンコーダの数ＡＥが計算される。必要な音声エンコーダの数は、ビデオ符号化に 必要となるパスの数によって除算される符号化対象の音声トラックの数に等しい 。実施例では、エンコーダの２つのパスで除算される８つの音声トラックは、必 要な４台の音声エンコーダに等しくなる。音声エンコーダの計算された数が整数 ではない場合には、音声エンコーダの計算数が整数となるように切り上げる必要 がある。例えば、ツー・パス・ビデオ・エンコーダに符号化される音声トラック が７だけの場合、７／２＝３．５となり、３．５は次にもっとも大きい整数４に 切り上げられる。このシステムにより実行される符号化プロセスの間、１つのビ デオ・パスは音声エンコーダの内の３台だけを使用するが、他のビデオ符号化パ スは４つすべての音声エンコーダを使用する。ステップ２４０−２４４はシステ ムの初期設計時に実行するだけでよく、必要となるワン・パス音声エンコーダの 数を音響映像作品を符号化するたびに計算する必要はないことを注記すべきであ る。さらに、ステップ２４０、２４２、および２４２は、ワークステーション３ ０のようなコンピュータによりコンピュータ／機械によって実現されるか、ある いは音響映像符号化システムのユーザまたは設計者により決定される。 音声エンコーダの数が決定され、音響映像符号化システムがセットアップされ てから、音響映像符号化プロセスが開始する。ステップ２４６では、ＣＯＵＮＴ ＥＲが１に等しくセットされる。ＣＯＵＮＴＥＲはビデオ符号化システムの各パ スをカウントするために使用される変数である。それから、ステップ２４８では 、第１ビデオ符号化パスが実行されるが、音声トラックのすべてはないがいくつ かの上でワン・パス音声符号化が実行される。例えば、８つの音声トラックおよ びツー・パス・ビデオ・エンコーダがある場合には、第１パスの間に４つの音声 エンコーダを使用できる。次にステップ２５０では、ＣＯＵＮＴＥＲが１づつ増 加する。ステップ２５２では、次のビデオ符号化パスが実行され、ステップ２８ ４で使用されたのと同じ音声エンコーダを使用して符号化されていない音声トラ ックのワン・パス音声符号化が実行される。例えば、第２ビデオ符号化パスの間 、ステップ２４８で使用された４つの音声エンコーダは５から８の音声トラック を符号化できる。それから、ステップ２５４では、ＣＯＵＮＴＥＲが、必要とな るビデオ符号化パスの数であるＰに等しいかどうかが判断される。実施例では、 ２つのビデオ符号化パスしかないため、プロセスは終了する。それ以外の場合に は、フローは戻って、ステップ２５０、２５２、および２５４のループを実行す る。 言うまでもなく、８つの音声トラックがある音響映像作品のツー・パス・ビデ オ・エンコーダを使用する他にも、それ以外の実施例が考えられる。例えば、ス リー・パス・ビデオ・エンコーダを６つの音声トラックで使用できる。この状況 では、音声エンコーダのもっとも効率的な数は３（６／２＝３）である。ツー・ パス・ビデオ・エンコーダが使用され、合計６つの音声トラックが符号化される のであれば、音声エンコーダのもっとも効率的な数は３であろう。代替策として 、スリー・パス・ビデオ・エンコーダを、符号化する音声トラックが５つあるシ ステムで使用できる。この代替システムでは、ビデオ符号化パスの内の任意の１ つが動作する２台のワン・パス音声エンコーダが必要となるが、音声エンコーダ の内の一方だけしか使用されず、他の２つのビデオ符号化パスは音声エンコーダ の両方ともが使用されている間に発生する。ビデオ・エンコーダおよび音声トラ ックの数のそれ以外の組み合わせも、当業者にとっては明らかになるように、本 明細書に記載される教示から考えて可能であることは言うまでもない。 可能な限り効率的であるという点での本発明の重要な面は、ビデオ符号化のパ スが発生しているときにつねに音声符号化を実行し、音声符号化が発生している ときにつねにビデオ符号化のパスを実行することである。この装置では、少なく とも音声エンコーダのいくつかが、つねにビデオ符号化動作の各パスの間に使用 されていることになる。可能限り効率的となるために、音声トラックの数が音声 エンコーダの数で均等に割り切れない（つまり、符号化の対象となる音声トラッ クの数がビデオ・パスの数で除算されたときに余りが出る）場合、符号化プロセ ス全体の間、ビデオ・パスの数から余りを差し引いた数に等しくなる休止した音 声エンコーダの数がある。例えば、スリー・パス・ビデオ・エンコーダおよび４ つの音声トラックの場合、２台の音声エンコーダが必要となり、１という余りが 出る（例えば、４／３＝１で余りが１）。したがって、可能な限り効率的であり 、スリー・パス・ビデオ符号化が完了すると同時に音声符号化を完了するために は、音声エンコーダが休止するのが２回（例えば、３ビデオ・パスから余り１を 差し引くと２に等しくなる）以上であってはならない。エンコーダが休止する２ 回が同じパスで発生する（同じビデオ符号化パス内で休止中の２台の異なる音声 エンコーダがある）可能性があり、前記例のその他の２つのビデオ符号化パスの それぞれが音声エンコーダのすべてを活用することを意味するか、１台の休止中 の音声エンコーダがある２つのビデオ符号化パスがある可能性がある。これらの ２つのパスでは、同じまたは異なった音声エンコーダが休止することがある。 ＶＩ．符号化されたビデオの情報を記憶するためのログ・ファイル、およびログ ・ファイルならびに符号化されたビデオにアクセスするための解釈プログラム・ ユーティリティ 開示された符号化システムは、当初、ビデオを、ＭＰＥＧ−２、ＭＰＥＧ−１ またはソレ以外のデジタル・ビデオ符号化フォーマットのような圧縮されたデジ タル・フォーマットに符号化する。この符号化は、システム構成要素に関する第 ＩＩ項、および一般的なシステム動作に関する第ＩＩＩ項に前述される。それか ら、符号化されたビデオ・データは、ハードディスクなどの上でデジタル・フォ ーマットで記憶される。 デジタル・ビデオ符号化プロセスの間に、ビデオの統計およびその他の情報が 作成され、ログ・ファイルに記憶される。ＭＰＥＧビデオ符号化に精通する当業 者は、ビデオおよびこれらの統計と情報を作成する方法を記述する統計および情 報のタイプに精通している。従来の符号化システムでは、このタイプの情報およ びデータは作成されるが、通常はビデオ符号化の後に廃棄される。ただし、本発 明の場合は、ピクチャのコード化に使用されるビット総数、ピクチャを符号化す る平均二乗エラー、各ピクチャの平均量子化器スケールなどのような作成された この情報は、符号化プロセスの後に、システムＲＡＭからログ・ファイルにダン プされる。本発明により使用されるログ・ファイルの例は、図８Ａ−１０Ｂに図 解される。これらのログ・ファイルは、ＶＢＲシステムで特に有効で、ビデオ・ エンコーダの初期パス（複数の場合がある）の間に作成される。それから、ログ ・ファイルは、最終符号化パスの間、ならびにビデオのその後の編集および再符 号化の合いＤに使用される。 本発明により使用できる３つの異なったタイプのログ・ファイルがある。つま り、シーケンス・レイヤ・ログ・ファイル、ピクチャ・レイヤ・ログ・ファイル 、およびマクロブロック・レイヤ・ログ・ファイルである。これらのログ・ファ イルのそれぞれは、そのそれぞれの層の統計および情報を記述する。図１０Ａに 図解される完全フォーマットおよび図１０Ｂに図解される縮小フォーマットとい う、２つの異なったタイプのマクロブロック・レイヤ・ログ・フォーマットがあ る。完全フォーマットは、マクロブロック・レイヤの詳細な情報が希望される場 合に使用され、縮小フォーマットは、マクロブロックの詳細のすべてを追跡調査 する必要がない場合に使用される。２時間の映画の中での多数のマクロブロック のため、マクロブロック・ログ・ファイルは、大量の記憶容量を消費する。した がって、大量の記憶容量が利用できない限り、完全フォーマットまたは短縮フォ ーマットのマクロブロック・ファイルを記憶することはできない。しかし、マク ロブロック情報を入手する必要がある場合には、符号化ビデオを復号化するか、 あるいはそれ以外の手段によりこの情報を再構築することができる。 図８Ａ−１０Ｂに図解されるログ・ファイル・フォーマットの詳細の多くは重 要ではなく、これらのファイル・フォーマットは、単に、符号化プロセスの間に 作成される可能性があるデータの図解として提供されたことを注記すべきである 。しかしながら、ログ・ファイル中の情報のいくらかは、ビデオの品質を変更す るプロセスの間に使用されるため、重要である。以下に説明するように、符号化 されたビデオの編集ポイントを決定するためには、初期のピクチャにより消費さ れるビット数を合計する必要がある。合計される情報は、図９Ｂおよび図９Ｃに 図解され、各ピクチャのビット数（ｇｅｎｅｒａｔｅｄ＿ｂｉｔ＿ｐｉｃｔｕｒ ｅ）、シーケンス・ヘッダのビット数（ｂｉｔｓ＿ｓｅｑｕｅｎｃｅ＿ｈｅａｄ ｅｒ）、ピクチャのグループ（ＧＯＰ）ヘッダのビット数（ｂｉｔｓ＿ＧＯＰ＿ ｈｅａｄｅｒ）、および詰込みとして使用されるビットまたはスペースを埋める ために使用されるビットの数（ｓｔｕｆｆｉｎｇ＿ｓｉｚｅ）に関する。 図１１は、ログ・ファイルを使用して実行されるさまざまな機能のフローチャ ートを図解する。ビデオ・セグメントの初期符号化の後、ステップ２７０で、図 ８Ａ−図９Ｃに図解されるビデオ・エンコーダの自動実行から作成されるピクチ ャおよびシーケンス・レイヤ・ログ・ファイルを読み込む。それから、ステップ ２７２では、符号化されたビデオ内に記録されるピクチャごとのログ・ファイル ・レコードのバイト・オフセットを示すインデックス・テーブルを作成する。２ つのテーブルが作成される。一方は、フレーム番号によりインデックスが付けら れ、他方は時間コードによりインデックスが付けられる。時間コード・インデッ クス・テーブルには、各ピクチャのログ・ファイル内へのバイト・オフセットが 記載され、時間コードの昇順でソートされる。同様に、ピクチャ・フレーム・イ ンデックス・テーブルには、（エンコーダにより表示される）入力ピクチャ番号 の昇順でソートされる、ログ・ファイル内へのバイト・オフセットが含まれる。 作成されるインデックス・テーブルは、任意の希望されるピクチャまたはマク ロブロックのログ情報をすばやく選び出すのに役立つ。固定レコードは、ログ・ ファイル内のシーケンス、ピクチャまたはマクロブロック・データを記憶するた めに使用されるが、エンコーダは入信ピクチャをそのコード化の前に再整理する 。さらに、毎秒３０フレームに３：２で低下された映画（毎秒２４フレーム）ソ ースを処理する場合、ある種の時間コードは省略される。インデックス・テープ ルは、ピクチャの再整理および時間コードの省略にも関らず、適切なデータの位 置をすばやく突き止めるための手段となる。 符号化されたビデオは、ビデオのさまざまなフレームおよび時間期間がその品 質を手作業で変更されるに従って頻繁に変化するので、本発明の符号化システム は、各ピクチャをコード化する際に使用される符号化されたビットの数のディレ クトリまたはインデックスを維持しないことを注記すべきである。ただし、符号 化されたビデオの情報を記述するログ・ファイルは固定サイズレコードであるた め、ピクチャや時間期間の品質が変化する場合にも、ログ・ファイル内で情報の ディレクトリやインデックスを維持するのは容易である。 インデックス・テーブルの作成後、ステップ２７４では、ユーザは、ブロック ２７６、２７８、および２８０に図解される多様なログ・ファイル・ユーティリ ティを使用してログ・ファイルからさまざまな情報をすばやく入手できる。ログ ・ファイル内のレコードが必要とされる場合には、作成されたインデックスが、 ログ・ファイル内の希望のレコードを突き止めるために使用され、完全なレコー ドがログ・ファイルから引き出される。このレコードは、それから希望される個 々のパラメータを検索するために解析される。個々のレコードをインデックス・ テーブルの助けを借りて解析するプロセスは、他のログ解釈プログラム・ユーテ ィリティのすべての基礎である。解析プロセスは既知であり、当業者は、編成さ れたファイルから希望される情報を検索する方法を知っている。 ステップ２７６は、ログ・ファイルのカット・アンド・ペースト・ユーティリ ティである。フレーム内のまたは時間期間での量子化（およびピクチャ品質）を 手作業で変更した後に、ログ・ファイルのオリジナル・セットは、編集中に発生 した変更に対応するように更新される必要がある。ログ・ファイルのカット・ア ンド・ペースト・ユーティリティは、編集されたセグメント時間コードに対応す るログ・ファイル内でオフセットの位置を突き止め、ログ・ファイル内の情報を 再符号化されたビデオに対応する新しい情報で置換する。再符号化のプロセスは 、第ＶＩＩＩ項に後述する。 ステップ２７８では、デジタル式で符号化されたビット・ストリームの編集を 使用可能にするためにパラメータを得るためのユーティリティを図解する。ビデ オが当初符号化され、ユーザがフレームの品質またはビデオの任意の時間期間の 変更を希望する場合、削除し、希望の品質を有する新規に符号化されるビデオで 置き換える必要がある符号化ビデオの適切な部分を決定する必要がある。 符号化されたビデオのビット・ストリーム内の編集ポイントのバイト・オフセ ットは、編集ポイントに対応するピクチャまでの各ピクチャを符号化するために 使用されるバイトの累積記録を計算することにより決定される。ある特定のピク チャが位置するファイルの最初からのバイトまたはビットの総数を突き止めるた めに、以前のピクチャのそれぞれを符号化するのに使用されたビット数が合計さ れる。合計されるピクチャ・ログ・ファイルから得られる情報は、ｉ番目のピク チャを符号化するために使用されるビットＢiの数、シーケンス・ヘッダを構成 するビットＳiの数、ピクチャのグループ（ＧＯＰ）ヘッダを符号化するのに使 用されるビットＧiの数、および詰込みとして使用されるビットＴiの数である。 Ｎ番目のピクチャのビット・オフセットは、以下のようにして計算される。 バイト・オフセットは、ただビット・オフセットを８で除算するだけで計算され る。符号化されたビデオ・ビット・ストリーム内のアドレス・オフセットを決定 するためにログ・ファイルを使用する代わりとして、ビット・ストリーム・デコ ーダを使用し、ピクチャ・オフセットのディレクトリを作成できる。ただし、デ コーダは、ディレクトリを更新するために、編集するたびに後でビット・ストリ ーム全体を通して実行しなければならないので、このアプローチは扱いにくい。 最後に、ステップ２８０では、時間コードをもっとも近いピクチャのグループ （ＧＯＰ）の最初または最後に四捨五入するためのユーティリティを図解する。 符号化されたビット・ストリームのすべての切り取りまたは編集は、ピクチャの グループ（ＧＯＰ）の境界で実行される。ただし、ＧＯＰ境界はビデオ上で編集 を実行するオペレータにとっては未知である。オペレータが一度編集セグメント の開始ポイントおよび終了ポイントを指定すると、システムはＧＯＰ境界を計算 する。ＧＯＰ境界は、各ピクチャ・レコード内に記憶されるＧＯＰ番号と呼ばれ るピクチャ・レイヤ・パラメータを見ることにより設定される。ピクチャ・レイ ヤ・ログ・ファイルの継続するレコードをトレースしていくことによって、図９ Ｂ内のＧＯＰ番号（ＧＯＰ＿ｎｕｍｂｅｒ）が変化すると、ＧＯＰ境界が決定さ れる。 ログ・ファイルおよびログ・ファイル・ユーティリティがビデオ・エンコーダ に密接に関係付けられるにつれて、ログ・ファイルは図１Ａに図解されるワーク ステーション１０の中のハードディスクに記憶され、ログ・ファイル・ユーティ リティはワークステーション１０により実行される。代わりに、ワークステーシ ョン３０またはその他の任意の処理システムがログ・ファイルを格納し、ログ・ ファイル・ユーティリティを実行することがある。 ＶＩＩ．符号化されたビデオの品質の変更 Ａ．経時間的に品質を変更する 符号化システムにより作成される符号化ビデオは、光ディスクのような最終的 なデジタル記憶装置媒体に書き込まれることを意図される。ディスク上の符号化 されたビデオは、固定ビット伝送速度（ＣＢＲ）動作と比較した場合に、ビット の異なったセクションの間のビット伝送速度の大きな変化の可能性を持つ余裕が ある可変ビット伝送速度（ＶＢＲ）で符号化される。ＶＢＲコード化によりかな り異なった数のビットを異なったピクチャに割り当てることができるようになる ため、ピクチャ品質は経時的に変化する。さらに、ＶＢＲは、ＣＢＲ動作では不 可能なスケールでビデオのユーザが定義するセクションに、データ伝送速度を割 当てし直す可能性を持つ余裕がある。ＣＢＲにより動を達成するには、きわめて 大きなバッファがデコーダで必要となるだろう。 符号化システムを使用すると、手動編集と参照されるものが可能となるが、手 動編集は映画の中のシーンを短縮したり、延長したり、異なるシーンを置換する のではなく、ピクチャ品質を変更することである。ピクチャ品質は経時的に変更 され、本項で説明するように、時間編集または時間手動編集と呼ばれる。あるフ レームの１つのセクションからフレームの別のセクションへビットをシフトする ことによる、データのフレーム内のピクチャ品質の変更は別の項で説明し、空間 編集または空間手動編集と呼ばれる。 時間編集または編集セグメントのさまざまなセクションの間でのビットの再割 当てでは、以下に示す３つの主要な制約を満たす必要がある。 １．編集される映画／ビデオの総容量が割り当てられた容量を上回らない。 ２．編集セグメント内にバッファ・アンダフローがない。 ３．編集セグメントの外側に、時間編集により引き起こされるバッファ・アン ダフローがない。 制約１は、結果として生じる編集済みセグメントが最初に符号化されたセグメ ントと同じ数のビットを消費するように、編集セグメントを再符号化することに より処理される。編集セグメントが、検討される時間期間全体であることを注記 すべきである。編集セグメント内のさまざまな期間には、ユーザにより品質が指 定され、編集セグメントのこれらの期間は単にセクションまたは時間期間と呼ば れる。 アンダフロー状況が存在するかどうかを確認するためには、デコーダのモデル を使用してターゲット・ビットをチェックする必要がある。エンコーダのＶＢＲ 動作では、ビデオ・バッファ穿孔検索機（ＶＢＶ）モデルの修正バージョンが使 用される。このモデルは、ＶＢＲ用単純修正モデルと呼ばれ、デジタル記憶装置 媒体（ＤＳＭ）に使用されることがある。ＶＢＲモード用のＶＢＶは、既知であ り、ＭＰＥＧ−２規格で定義され、ＩＳＯ／ＩＥＣ １３８１８−２、付録Ｃ、 第Ｃ．３．２項で特に見つけられる。 ＶＢＲ用ＶＢＶモデルでは、デコーダのバッファはいっぱいのままであるが、 アンダフローしないように制限されている。さらにバッファはいっぱいになるま で一定速度Ｒmaxで充填し、バッファが空になり始めるまでビットはバッファに 転送されない。あらゆるフレーム間隔で、１フレームを復号化するのに必要とさ れるビットが、バッファから削除される。これを頭に入れておくと、ＶＢＲモー ドでは、バッファ・アンダフローがピクチャの系列にビットを割り当てすぎるこ とにより引き起こされることが分かる。ピクチャのビットはバッファから削除さ れるので、高品質ピクチャの多数のビットがバッファが充填されるより速い速度 で削除されると、バッファは空になリアンダフローを起こす。アンダフローを防 ぐために、ピクチャの符号化に使用されるビットの数が削減される。ピクチャの ビット数の削減により、充填速度を同じに保ちつつ、ビットがバッファから削除 される速度が低下する。ＶＢＶ占有がいっぱいであるなら、ＶＢＶバッファへの ビット・ストリーム伝送はただちに停止されるため、バッファ・オーバフローは ＶＢＲに対して発生できない。つまり、バッファ・オーバフローは発生しないが 、単にバッファがいっぱいとなっている状況があるだけである。ＩＳＯ／ＩＥＣ １３８１８−２、付録Ｃ、第Ｃ．３．２項に説明されるように、ＶＢＲ用の単 純修正型ＶＢＶモデルは、以下の通りである。 １．ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒのｂｉｔ＿ｒａｔｅフィールドが、ｍａ ｘ ｂｉｔ＿ｒａｔｅを表す。 ２．ＶＢＶは当初空である。ＶＢＶバッファをｍａｘ＿ｂｉｔ＿ｒａｔｅとい う速度でいっぱい（つまり、ＶＢＶバッファ・サイズ）に充填した後、復号化プ ロセスが開始する。ピクチャ・データはただちに削除され、ＭＰＥＧ−２国際規 格に定義されるＣＢＲのＶＢＶモデルのように復号化される。 ３．ビット・ストリームは、ＶＢＶバッファがいっぱいになるまで、ｍａｘ＿ ｂｉｔ＿ｒａｔｅという速度でＶＢＶバッファの中に格納される。ＶＢＶバッフ ァ占有がいっぱいの場合には、ＶＢＶへのビット・ストリーム伝送がただちに停 止される。次のピクチャのデータが削除されてから、ビット・ストリーム伝送が ただちに開始する。 ４．ＶＢＶバッファはアンダフローしないものとする。 ５．すべてのｖｂｖ＿ｄｅｌａｙフィールドが、ＦＦＦＦに設定される。 時間期間でビデオの品質を変更するには、ビデオのフレームにビットを追加し たり、ビデオのフレームからビットを削除する必要がある。ここで、ビデオのセ クションに追加したり、ビデオのセクションから取り去ることができるビットの 数に関して説明する。ビデオのセクションに追加またはビデオのセクションから 削除できるビットの数は、考慮されているビデオのセクションの有効ビット伝送 速度に依存する。有効ビット伝送速度Ｒは、以下のように計算される。 割り当てられたビットの総数はビット速度に正比例するので、割り当てられたビ ットの数を参照することは、別のユニットでの場合を除き、ビット伝送速度と同 じ意味を伝える。例えばＲminのような保証された最小速度がビデオの任意のセ クションに適用されると仮定すると、セクション「ｉ」から取り去ることができ る最大ビット数は、以下の通りである。 この場合、Ｎiはセクション「ｉ」のフレーム数であり、Ｒiは同セクションの有 効速度である。セクションの最小品質レベルを保証するためには、保証された最 低が必要とされる。同様に、指定されたセクション「ｊ」に追加できるビットの 最大数は、以下のように計算される。 この場合、Ｒmaxは最大速度、つまりいっぱいではない場合にバッファが充填す る速度であり、Ｎｊはセクションｊのフレームの数である。 ここで、図１２およびその中で参照される図に関係して、ピクチャ品質の時間 期間での変更（時間編集）に関して記述する。開始後、ステップ２８１では、第 ＩＩ項および第ＩＩＩ項に上述されるように、自動ビデオ符号化が、ユーザの介 入なく実行される。自動符号化には、作成されたデータ・ストリームの最高速度 および最大速度があることを注記すべきである。最大ビット伝送速度は、ビデオ ・デコーダの機能により決定され、例えば、Ｒmaxは毎秒８Ｍｂｉｔｓである。 最小ビット伝送速度は、希望の最小ピクチャ品質に応じて、ユーザにより指定さ れる。一般的な最小ビット伝送速度Ｒminは毎秒３Ｍｂｉｔｓである。ビデオの 部分がより低いビット伝送速度となり、ビデオの部分がより高いビット伝送速度 となることを可能とするためには、Ｒminを平均符号化速度とは異なり、平均符 号化速度よりやや低く設定することが望ましい。Ｒminがビデオの平均符号化速 度をわずかに下回って設定される場合は、結果として生じる符号化されたビデオ がかなり一定した品質となるだろう。通常、Ｒmax＝毎秒８Ｍｂｉｔｓであり、 Ｒminが毎秒約３Ｍｂｉｔｓの場合、ビデオの平均値は、毎秒約３ １／２から ５Ｍｂｉｔｓとなるはずである。 自動ビデオ符号化がステップ２８１で実行された後では、速度−量子化器関数 を決定する必要がある。本発明のプロセスは、希望された品質を得るためにどの くらいの数のビットが必要であるかを判断するが、再符号化時には、結果として 希望のビット伝送速度を生じ得るためには量子化器値が設定されなければならな い。速度−量子化器関数は、そのそれぞれが本明細書に参照により取り入れられ るイメージ処理に関するＩＥＥＥ会報、第３巻、第５番、１９９４年、９月、５ ３３−５４５ページからのラムチャンドラン（Ｒａｍｃｈａｎｄｒａｎ）その他 による記事「マルチ解像度およびＭＰＥＧビデオ開示への適用による依存型量子 化のためのビット割当て」、ＩＥＥＥ ＩＣＡＳＳＰ、１９９３年、Ｖ−３８１ −Ｖ３８４ページからのラムチャンドランその他による「ＭＰＥＧビデオ・コー ダへの適用による依存型量子化のためのビット割当て」、およびプリンストン・ ビデオ会議に提示されたレイニンジャー（Ｒｅｉｎｉｎｇｅｒ）による「速度− 歪み曲線を使用する多重化されたＭＰＥＧビデオ用共同マルチチャンネル・ビッ ト伝送速度制御」に記述されるような重来の方法で計算できる。 次に、ステップ２８４では、選択された時間期間の間、ユーザ品質設定値を入 力する。ユーザは、究極的にはピクチャの量子化の制御のために使用されるさま ざまなセクションの優先順位を入力する。量子化は、損失のあるＭＰＥＧ符号化 の、解像度とも呼ばれるピクチャ品質を支配する。図１３は、時間期間でビデオ の品質を変更するための情報を収集する目的で使用されるユーザ・インタフェー スを図解する。最初は、ユーザは品質を変更する必要がある編集セグメント全体 の時間期間を入力する。図１３のユーザ・インタフェースにはこの情報の入力は 図解されていないが、図３のユーザ・インタフェースが表示される前に、入力さ れる。図１３に図解される例では、変更する必要のある編集セグメントの時間期 間は、例えば、時間０分から時間５分までの間となる可能性がある。ユーザが編 集セグメントの総時間期間を記述した後で、編集セグメント内のさらに小さな時 間期間に、優先順位Ｐを含む−５から＋５の範囲での異なった優先順位が割り当 てられ、この時間期間の品質は保護され、変更してはならないことを示す。優先 順位「なし」は、優先順位Ｐと同義である。言うまでもなく、符号化システムは 前記入力スキームに限定されず、他の範囲または記号を使用してユーザの希望す る優先順位を入力できる。 優先順位の割当てだけではなく、ユーザは、最小ビット伝送速度も入力する。 このビット伝送速度は、ステップ２８１の自動ビデオ符号化の間にビデオを符号 化するために使用される最小ビット伝送速度とは異なる可能性がある。ユーザ・ インタフェースのもう１つの機能とは、ユーザが「バックグラウンド優先順位」 を設定できるようにすることで、ユーザにより優先順位が指定されない選択され た時間期間内の時間期間に、このバックグラウンド優先順位が設定されるという 意味である。例えば、図１３では、バックグラウンド優先順位に「１」が割り当 てられているとしたら、ユーザが手動でこの特定のセクションに優先順位を割り 当てなくても、未指定の時間期間００：０３：２０：０１から００：０３：５９ ：９９に自動的に優先順位「１」が指定されるだろう。 図１３に図解されるインタフェースの一番下では、「挿入」ブロックが編集セ グメント内で新しい時間期間を作成するために使用され、「リコール」ブロック が以前に作成された時間期間を変更するために使用され、「削除」が時間期間を 削除するために使用される。 光ディスクのような符号化ビデオの究極的なデジタル記憶装置媒体には、自動 的に符号化されたデータが、ディスクに書き込まれた場合に理想的には容量まで 満たされる、制限付きの記憶容量があることを覚えておくことが重要である。し たがって、ピクチャ品質が改善され、ある特定の時間期間のビット伝送速度が上 昇する場合はいつでも、その品質が改善された時間期間に必要となる余分な記憶 容量を供給するために、その品質が削減されたビデオのセクションがあるに違い ない。したがって、本発明の実施例においては、品質を改善するために必要なビ ットはビデオの別のセクションから取られなければならないので、別の時間期間 に異なったピクチャ品質を割り当てずに、１つの期間だけに高いピクチャ品質を 割り当てることは不可能である。したがって、編集されたビデオのセグメントは 、時間手動編集が適切に動作できるように、バックグラウンド・セクションとは 異なり、「保護されている」セクションとマークされない優先順位が設定される 少なくとも１つのセクションを有する必要がある。さらに、ユーザが選択した優 先順位は、それらが選択されるたびに同じ品質とビット伝送速度を生じさせない が、編集セグメント内でのピクチャの修正数を突き止めるためのプロセスを理解 する上で明らかになるように、ある特定のセクションの品質は他のセクションに 割り当てられた優先順位および他のセクションの長さにも依存する。 本発明の符号化システムによって活用される機能とは、自動符号化プロセスの 間または後ほど、視聴者が符号化されたビデオをレビューできるという点である 。符号化されたビデオが視聴者に表示されるに従って、視聴者は、ビデオを停止 したり、重大な時間コードを書き留める必要なくとも、ビデオの重大なポイント や領域を記憶するために、リターン・キーを押したり、画面上に表示される「ボ タン」でグラフィック・ユーザ・インタフェースを「クリック」するなどの機能 を実行できる。これらの重大なポイントは、後でユーザにより呼び出され、映画 全体をレビューしなくても密接に研究できる。これは、ユーザが変更を希望する 符号化ビデオ内でポイントを決定する便利かつ効率的な方法となる。この機能は 、重大なポイントまたは領域が発生したときの符号化ビデオ内の位置に対応する 時間コードを記憶することにより達成される。 ユーザがステップ２８４で希望の品質設定値を入力した後に、ステップ２８６ では、ユーザの入力に基づき各フレームに修正されたビットを計算する。このプ ロセスは、図１４−１６Ｂに関して詳細に記述される。ビデオの編集セグメント 内の時間期間のビット速度を変更するための一般的な手順は、図１４のフローチ ャートに図解される。ユーザの入力に基づいてビット速度を計算するために、ス テップ３０２では、−５と＋５の間の範囲から１０と０の間の範囲にあったユー ザの入力をマップする。−５という初期入力は、マップされた設定値１０に対応 し、最低品質であり、＋５という入力はマップされた設定値０に対応し、最高品 質である。同様に、０という入力品質の選択は、マップされた設定５などに対応 する。ステップ３０２内で実行されるマッピングの目的とは、割り当てられるビ ット数が、マップされた設定値により乗算される量−１のべきに累乗されるｅ（ ２．７１８２８．．．）に正比例するということである。この場合、さらに低い 優先順位設定値の場合のビット数がさらに高い優先順位の場合を下回るように、 ｅ−１０はｅ０を下回る。−４から＋４までの優先順位に対応するターゲット・ ビットを決定するプロセスは、図１６Ａおよび図１６Ｂに詳細に説明される。 ステップ３０４では、「保護されている」セクションがあるかどうか判断する 。保護されているセクションとは、ピクチャの品質を以前の自動符号化から変更 してはならないセクションのことである。保護されているセクションがある場合 、フローは、保護されているセクションの再符号化のために割り当てられるビッ トの数が、初期の自動符号化から生じた以前のビット数に等しくなるように設定 されるステップ３０６に進む。このようにして、保護されているセクションのピ クチャ品質は変化しない。 ステップ３０８では、最高品質または最低品質に設定されるセクションがある かどうか判断する。最高品質は、ユーザ入力＋５に相当し、最低品質はユーザ入 力−５に相当する。最高ピクチャ品質および最低ピクチャ品質の場合、依然とし てビデオ・バッファ制約を満たし、符号化されたビデオを格納する媒体の記憶容 量を上回らない一方で、最高品質のビデオおよび最低品質のビデオが設定される 符号化されたビデオを入手することが望まれる。最高品質または最低品質に設定 されるセクションが存在する場合は、フローは、最大ケースまたは最小ケースの 場合のビット修正数を計算するステップ３１０に進む。このプロセスは、図１５ に詳細に示される。 図１５では、最大ケースおよび最小ケースに割り当てられるビット数を決定す るプロセスは、マップされた優先順位１０と０にそれぞれ指定されるビデオのセ クションに最小速度および最高速度を割り当てることによって、ステップ３２０ で開始する。図１４のステップ３０２ではこのマッピングが実行され、それ以外 に特に叙述されない限り、時間編集の記述の残りはマップされた優先順位を参照 する。最大データ伝送速度は、前述したように、デコーダの能力により制限され 、毎秒８Ｍｂｉｔｓとなる可能性があり、最小データ伝送速度は図１３のユーザ ・インタフェースにより図解されるように入力され、通常は毎秒３Ｍｂｉｔｓと なる自動符号化モードの間に使用される最小ビット伝送速度を下回るか、上回る 可能性がある。 それから、ステップ３２２では、マップ化された優先順位１から９が設定され るセクションがあるかどうかを判断する。つまり、割り当てられる最高品質また は最低品質に加えて、ユーザによって割り当てられるそれ以外の中間品質がある という意味である。他のマップ化された優先順位が存在する場合は、フローは、 １と９の間のマップ化された優先順位によりすべてのセクションの平均ビット伝 送速度が計算されるステップ３２４に進む。この平均が（最高ビット伝送速度と 最小ビット伝送速度の間の）許容範囲内にない場合には、フローはステップ３２ ８に進む。ステップ３２８では、平均が最小速度を下回る場合には、最高速度、 つまり最高のピクチャ品質を提供する速度が削減される。最高速度を削減するこ とにより、さらに多くのビットが、非最高状況および非最低状況（１−９のマッ プ化された優先順位）に使用できるようになり、それにより平均が希望の範囲内 にあるいは希望の範囲に近くになる。代わりに、ステップ３２８では、平均が最 高速度を上回ると、最小データ伝送速度が上昇し、それにより非最高状況および 非最小状況（例えば１−９の優先順位）のビット数が減少する。ステップ３２ ８の後、フローは、平均が範囲内になるまで、ステップ３２４、３２６、および ３２８のループが繰り返される３２４に戻る。さらに、最高ビット伝送速度およ び最小ビット伝送速度は、「保護されている」セクションが品質の調整以前と同 じビットを受け取ることを保証するように調整される。 いったん平均がステップ３２６の範囲内にあると判断されると、フローはそれ ぞれ１０と０というマップ化された優先順位が設定されるセクション人計算済み の最小速度と最高速度を割り当てるステップ３３０に進む。その後、残りのビッ トは、ステップ３３２で保護されていない状況、最高または最低でもない状況で あるセクションに分散される。マップ化された範囲１−９が設定されるビデオの セクション、およびデータ速度を変更する方法は、以下に、図１６Ａおよび図１ ６Ｂに関して後述される。 ステップ３２２で、最高セクション、最低セクションまたは保護されているセ クションだけが存在することを意味する、マップ化された優先順位１−９が設定 されるセクションが存在しないと判断されると、ステップ３４０で、ビットの最 終的な割当てが自動符号化からの初期のビット割当てに等しくなるまで、必要に 応じて最小速度および最高速度が調整される。ステップ３４０がどのように実行 されるのかには２つの代わりとなる方法がある。第１に、最高ビット伝送速度Ｒ maxは、例えば毎秒８Ｍｂｉｔｓで固定される全体的な編集セグメントの総ビッ トは既知であるため、Ｒmin、最低データ伝送速度は、自動符号化の間に得られ たのと同じ総ビット数を達成するために、調整されるだけである。以前の総ビッ ト数を達成するために、Ｒminを調整することが不可能である場合には、最大デ ータ伝送速度Ｒmaxは、自動符号化の間に得られたビット総数を達成するために 調整される。 代わりに、ステップ３４０では、最高品質セクションに優先順位１を割り当て 、最低品質セクションに優先順位９を割り当て、編集セグメントの時間期間の新 規ビット伝送速度を決定するために図１６Ａおよび図１６Ｂに図解されるビット 割当てアルゴリズムを実行する。それから、ステップ３４２では、以下に後述さ れる、図１６Ａおよび図１６Ｂに従って計算されたデータ伝送速度を、最低およ び最高の割当て品質が設定されるセクションに割り当て、図１５のプロセスが終 了する。 ステップ３０８およびステップ３１０が、必要な場合に、実行された後、ステ ップ３１２では、あらゆるセクションにマップ化された優先順位１−９が設定さ れるかどうかを判断する。これが当てはまる場合には、フローは、図１６Ａおよ び図１６Ｂに詳細に記述されるように、マップ化された優先順位１−９のビット の修正数を計算するステップ３１４に進む。 図１６Ａの第１ステップは、使用される共通ビット・プールのサイズを決定す ることである。当初、保護されていないマップ化された優先順位１−９が設定さ れるすべてのセクションでは、一定の数のビットが削除される。再分散深度と呼 ばれる係数ｋ1がこの目的に使用され、例えば、以前に（つまり、自動符号化実 行から）割り当てられたビットの４０％が、保護されていないし、最高品質また は最低品質でもマークされていないあらゆるセクションから削除されることを意 味する。 次に、ステップ３６２では、ユーザが選択した品質が品質にどの程度の影響を 及ぼすのかを判断する。動的範囲係数と呼ばれる変数ｋ3が設定され、優先順位 から結果として生じることになる品質変化を決定する。ｋ3がどのように設定さ れるのかに応じて、例えば２という優先順位は、品質の相対的に小さな改善また は品質の比較的に大きな改善のような異なった品質変化を課す可能性がある。通 常、動的範囲係数ｋ3は、１．０に設定される。 ビットの再分散のユーザ選択優先順位を使用するために、形式ｅｘｐ（−ｐｒ ｉｏｒｉｔｙ／ｋ3）という指数関係が使用される。指数内の動的範囲係数ｋ3は 、指数曲線の形状を決定する。動的範囲係数の値がさらに大きい場合には、曲線 はさらに険しくなり、実質上、さまざまな優先順位が設定されるセクションの間 で再割当てされるビットの不均衡が強まる。この負の指数は、マップ化された優 先順位の絶対値が上昇する（更に低い優先順位セクション）に従って、そのセク ションに割り当てられるビットが減少する、つまり１というマップ化された優先 順位が最高の優先順位で、９まで上昇する数にさらに低い優先順位が設定される ことを意味する。 ステップ３６４では、ユーザが選択した優先順位が正規化される。つまり、ユ ーザ選択優先順位は、各セクションの相対優先順位を決定するのに使用される。 第１に、Ｅｉが計算される。 この場合、ｐiはマップ化されたユーザが選択した優先順位であり、ｉは、保護 されているか、最高または最低の品質を持つ時間期間を除く、編集セグメント内 のセクション時間期間数である。次に、優先順位正規化係数ｋ2は、以下となる ように計算される。 この場合、Ｎはセクションの数である。優先順位正規化係数は、優先順位に従い 再割当てされる全ビットの総計が、つねに、使用可能なビットの共通プールに等 しくなることを保証するために必要とされる。 それから、各セクションの相対優先順位が、以下のように計算される。 Ｒiはｉ番目のセクションの相対優先順位端数であるので、すべてのＲiの求和は 単一となる。 それから、ステップ３６６では、セクションのサイズが正規化される。指定さ れた優先順位が設定される時間期間は異なったサイズであり、ビットは異なった セクションのサイズに比例して分散されなければならないので、これは必要であ る。まず、編集されたフレーム（保護されていない非最高または非最低優先順位 が設定されるフレーム）の総数での各時間期間内のフレーム数の端数Ｔiは、以 下に従い、決定される。 この場合、Ｎiはｉ番目の時間期間内のフレーム数であり、Ｎは編集セグメント 内のフレームの総数である。つまり、変更され、保護されていない、最高優先順 位でも最低優先順位でもない優先順位が割り当てられるすべてのフレームである 。それから、サイズ正規化係数ｋ4は、以下の等式に従い計算される。 この場合、Ｎはセクションの数である。フローは、図１６Ａのステップ３６６か ら図１６Ｂのステップ３６８に進む。 図１６Ｂでは、ステップ３６８で、以下の等式に従いビットの共通プールが決 定される。 この場合、Ｂiは、図１５のステップ３３２で分散されるすべてのビットが加え られるｉ番目のセクションの自動符号化手順の間に使用されたビットの総数であ る。求和は、「Ｎ」個のセクション上である。 それから、ステップ３７０では、以下の等式に従い各セクションに割り当てら れるビットの総数を判断する。 各セクションＦiのビットのターゲット数は、ビットの共通プールに指定される ビットにより削減されるビットのオリジナル数（Ｂi）が加えられるビットの共 通プールのパーセンテージに等しい。ビットの共通プールからのビットのパーセ ンテージは、各セクションのフレーム総数の端数（Ｔi）、セクションの相対優 先順位（Ｒi）、およびセクションのそれぞれに合計されるフレームのその対応 する端数により乗算されるセクションの優先順位に依存するサイズ正規化係数（ ｋ4）に基づく。 ステップ３７０で計算されるセクションごとに割り当てられるビットのターゲ ット数が最高データ伝送速度と最小データ伝送速度の間にないことが考えられる 。これが当てはまる場合は、ステップ３７２で、再分散深度ｋ1が０．０１減少 し、フローがステップ３６８でビットの共通プールを再計算し、ステップ３７０ で ビットの総数を再計算するために戻る。ステップ３７０で計算されたビットのタ ーゲット数が最高データ伝送速度と最低データ伝送速度の間になるまで、ステッ プ３６８、３７０、３７２および３７４のループが実行される。 それから、ステップ３７６では、ビット・スケール係数Ｓiおよびそれぞれイ ントラフレームスケール係数ＳＩiとノンイントラフレームスケール係数ＳＮiが 計算される。イントラフレームおよびノンイントラフレームには、希望の品質を 得るために、異なった数のビットが必要となる。第１に、ビット・スケール係数 Ｓiは、以下の等式に従い計算される。 次に、ピクチャ内スケール係数および非ピクチャ内スケール係数が計算される。 スケール内係数ＳＩiは、以下の等式に従い計算される。 大きなイントラフレームは、潜在的に、バッファ・アンダフローを引き起こし、 内部係数Ｉfは、Ｉf＝０．８（つまり、ＳＩiが範囲０．８＜ＳＩi＜１．２に制 限される）の場合に、ピクチャ内のビット割当ての変動を２０％に制限すること により、安全係数を実現する。Ｓi‘＝Ｓi−１．０であることに注意する。非ビ ット内スケール係数ＳＮiは、以下のように計算される。 この場合、ＢＩiおよびＢＮiは、ピクチャ・タイプによりｉ番目のセクション上 で合計される総内部ビットおよび総非内部ビットのことである。 最後に、フレームごとに使用されるビット数は、適切なスケール係数（スケー ル内係数または非スケール内係数のどちらか）により乗算されるオリジナル・ビ ット数を使用して求められる。それから、図１６Ｂ（および図１４も）のプロセ スが終了する。 この時点で、フレームごとの修正ビット数が計算され、図１２のステプ２８６ が完了する。しかしながら、フレームの変更されたビット数により、バッファ・ アンダフローが生じたり、編集セグメントのトレーリング・エッジにあるビット 数の占有が、編集セグメント外のそれ以降のフレームがアンダフローするように 変化した可能性がある。これらの状況は、図１２のステップ２８８で、必要に応 じて調べられ、訂正され、図１７に詳説される。 図１７は、バッファ・アンダフローがないかチェックし、訂正し、編集セグメ ントのトレーリング・エッジでのビット再割当てのために考えられる問題点をチ ェックし、訂正するプロセスを図解する。図１７では、まずステップ３９０で編 集セグメントのフレームのそれぞれのビット割当てが走査される。それからステ ップ３９２で、前記ＶＢＶモデルを使用して新しいビット分散のアンダフローが ないかチェックする。アンダフロー問題が存在するポイントの一覧が作成され（ ｕ＿ｆｌｏｗ一覧）、各アンダフローを排除するのに必要なビット数が求められ 、ｕ＿ｖａｌの中に記憶される。アンダフローが、多すぎるビットにより表され るピクチャが原因で発生することを頭に入れておくことが重要である。多数のビ ットにより表される高品質ピクチャがデコーダによりバッファから読み出される と、多数のビットはピクチャが復号化されている場合にはバッファから削除され 、これらのビットはじゅうぶんに早く補充できない。したがって、アンダフロー を排除するために、ビットはピクチャから削除される。さらに、ステップ３９２ では、バッファがいっぱいでありｏ＿ｆｌｏｗ一覧にこれらのポイントを記憶す るポイントの一覧が作成される。前述したように、バッファがいっぱいになると 、データはバッファに伝送されなくなるため、いっぱいのバッファでは問題はな いことに注意する。 ステップ３９４では、編集セグメントのトレーリング・エッジでバッファ占有 が調べられる。動作のＶＢＲモードでは、編集されたセグメントがまさに同数の ビットにより置換されても、編集されたビデオ・セグメントのトレーリング・エ ッジでのバッファ占有が、修正された実行のバッファ占有と異なることが可能で ある。これは、ＶＢＲ用ＶＢＶモデルの特異性から生じる。したがって、バッフ ァ占有の制約を調べることが重要である。編集セグメントのトレーリング・エッ ジでのバッファ占有が、ビットの再分散以前とまったく同じあるいは高い場合に は問題は存在しないと示すのはかなり率直である。バッファ占有が以前と全く同 じ場合には、それ以降のフレームのバッファ占有も、すでにＶＢＶ違反があるか どうかチェックされた以前の実行とまったく同じままとなる。占有が前より高い 場合には、それ以降のフレームの間にバッファがいっぱいになる可能性があるが 、バッファがいっぱいの場合には、データはバッファには送られなくなり、アン ダフローが発生しないので、それは完全に許容できる状況である。しかし、バッ ファ占有が以前の実行に比較して、トレーリング・エッジでさらに低くなると、 第３のケースが生じる。これには、それ以降のフレーム内でバッファ・アンダフ ローを作り出す可能性があり、密接に調べる必要がある。 編集セグメントの最後のフレームを、バッファ・セグメントの外側のフレーム 内でのバッファ・アンダフローを防ぐために処理できる２通りの方法がある。第 １のアプローチは、２つの内のより容易な方である。編集セグメントの最後のフ レームのビット数が、（ログ・ファイルに記憶される）オリジナル符号化を上回 るか、あるいは等しいバッファ占有を生じさせる場合、アンダフローの問題は存 在せず、したがって、なんの処置も講じる必要はない。編集セグメントの最後の フレームのバッファ内のビット数が、最初に符号化されたセグメントのバッファ 内のビット数より少ない場合、編集セグメントの後のフレームの内容によっては 、このビットの削減数により、編集セグメントの外側にあるフレームのアンダフ ローが生じたり、生じない可能性がある。アンダフローが発生するのを防ぐのに 必要となるビットの下図を求める代わりに、編集セグメントの最後のフレームの バッファの占有が、オリジナル符号化の場合と同じとなるように調整されるだけ である。安全性のために、編集セグメントの最後のバッファ占有またはいっぱい さは、アンダフローの機会が存在しないことを保証するために、オリジナル符号 化の占有を越えて１０％に上昇する可能性がある。編集セグメントの最後のフレ ームのバッファ占有をオリジナル符号化のレベルになるように上昇させる必要が ある場合、終了するフレームのビット数を、ステップ３９８で実行されるように 削減する必要がある。最後のフレームは、アンダフロー・ポイントとして処理さ れ、ｕ＿ｆｌｏｗ一覧の中に格納され、オリジナル符号化のレベルまでバッファ ・レベルを上昇させるために、最後のフレームから取出す必要があるビット数が ｕ＿ｖａｌに追加される。 編集セグメントの再符号化により発生する可能性があるアンダフローを処理す るための第２のアプローチとは、編集フレームの外側でバッファ・アンダフロー 状況を生じさせない編集セグメントの最後のフレームに関して、バッファの最小 可能レベルを概算する対話プロセスである。これは、オリジナル符号化のバッフ ァ占有と編集セグメントの最後のフレームの再符号化のバッファ占有の間に考え られる最大さを概算するプロセスにより実行される。 図１８のフローチャートのイラストに移ると、オリジナル符号化のバッファ占 有には Ｂ0が割り当てられ、オリジナル符号化のログ・ファイル内に記憶された。編集 セグメントの境界を超えたフレーム‘ｉ’のバッファ占有はＢiであり、この場 合ｉ＝１．．．ｎであり、「ｎ」は符号化される映画内の最後のフレームに対応 する。再符号化のためのバッファ占有が、継続フレームのいずれかにアンダフロ ー状況を作り出さずに、どの程度オリジナル符号化より低くいられるのかは、再 符号化のバッファ・レベルを、少なくともそれがオリジナル符号化に対してであ ったポイントに設定するだけの第１アプローチと対照的に判断されなければなら ない。この条件を満たす境界での新しいさらに低いバッファ占有をＢ0‘とする 。これは、編集セグメント境界での最小許容バッファ占有である。以前の実行の バッファ占有より低いバッファ占有を持つ可能性は、差が編集セグメントの後の フレーム間隔で吸収されるため、アンダフローが発生しないという事実の結果と して生じる。 図１８のステップ４２０で開始して、編集セグメントの最後のフレームの再符 号化されたビデオのバッファ占有Ｂ0‘が、将来アンダフローを起こさずにゼロ であると想定する。バッファ占有はバッファ・アンダフローを妨げるためにさら に高くなくてはならないが、バッファ占有はゼロを下回ってはならないと考えら れるため、これはＢ0’に対してもっとも寛容な概算である。しかし、図１５の プロセスでは、再符号化された編集セグメントの最後のフレームの占有ゼロがア ンダ フローを引き起こさないかを確認するためにチェックし、引き起こす場合には、 アンダフローを起こさない値Ｂ0‘が見つけられるまで、編集セグメントの最後 のバッファ占有を増加する。 図１８のプロセスは、オリジナル符号化と再符号化の間の概算バッファ占有差 を評価する。 差Ｘ‘は、Ｘ’がチェックされたことが保証されるまで、差を最終的に決定され ないため概算と呼ばれ、アンダフローのすべての確率が排除されるまで必要に応 じて調整される。図１８の手順は、一度に１フレームづつ進み、境界フレーム直 後のフレームで開始する、つまりｉ＝１である。Ｂ0‘がゼロに等しい第１フレ ームには、概算された差は、ステップ４２２で計算されるオリジナル符号化の第 １フレームのバッファ占有の値にすぎない。 次に、ステップ４２４では、境界フレームの右側にあるフレームにより吸収さ れるビット数を決定する。吸収されたビット数は、オリジナル符号化の編集セグ メントの後のフレームによりバッファの中に格納されるが、実際には、バッファ がいっぱいであるためそれ以上ビットを受け入れられないので、オリジナル符号 化の間、バッファの中に格納されなかったビットを参照する場合に使用されるフ レーズである。量△ｔiは、バッファがいっぱいであった間の編集セグメントの 後のオリジナル符号化のｉ番目のフレームの時間期間を表し、Ｂ0‘の削減され た値のため、追加ビットを受け入れることができる。時間期間△ｔiは、バッフ ァがフレーム全体ではいっぱいではなく、ゼロを上回るか、ゼロに等しいので、 フレームの時間期間撚り短くなくてはならない。バッファがオリジナル符号化の 間位置もいっぱいにならなかった場合には、時間期間△ｔiはゼロである。した がって、 この場合、「Ｐ」は毎秒フレーム単位で測定されるピクチャ速度であり、通常は 、毎秒３０フレームである。バッファがいっぱいであった結果として、編集セグ メントの右側で吸収されるビットの総数は、以下のように計算される。 この場合、Ｒmaxは、バッファの充填速度である。 ステップ４２６では、編集セグメントの最後のフレームのバッファ占有レベル を決定するための手順が終了できるかを判断する。ｉ番目のフレームにより吸収 されるビットの総計がＸ‘を上回ると、つまりａi＞Ｘ’の場合、バッファ・ア ンダフローが発生せず、ステップ４２８が実行されるように、バッファは後ほど のフレームにより満たされることが可能なので、手順は停止される。代わりに、 最後のフレームｎに到達すると（ｉ＝ｎ）、Ｘ‘の概算値により、ビデオの最後 までアンダフロー問題は引き起こされない。 ステップ４２６に対する回答が「ノー」でれば、ステップ４３０でビット数ｂ iが計算され、吸収されるために残る。 それから、ステップ４３２では、ｂi＞Ｂiかどうか判断される。この場合、Ｂi は、編集セグメント後ｉ番目のフレームのバッファ占有である。ｂi＞Ｂiの場合 には、差Ｘ‘の概算値は大きすぎ、現在のバッファ占有「Ｂi」が許容する以上 に多くのビットが吸収されるため、アンダフローを引き起こす。したがって、吸 収されるために残るビットの間では、「Ｂi」ビットだけがアンダフローを起こ さずに吸収される。次に、差の概算Ｘ’は、ステップ４３４で改訂される必要が ある。ステップ４３４では、Ｘ‘の改訂概算が、吸収されるために残るビットに 吸収されたビットを加えたビットとして計算される。 ステップ４３２で、ｂi≦Ｂiであると判断されると、ｉ番目のフレームでのバッ ファ占有が吸収されるために残るビットより大きいため、アンダフロー問題はな く、Ｘ‘の概算を変更する必要ななく、フローはステップ４３６に進む。ステッ プ４３６では、次のフレームが調べられ（ｉが１増分される）、ステップ４２４ 、４２６、４３０、４３２、４３４、および４３６のループが、ステップ４２６ での決定が肯定的な答えを得るまで繰り返される。 ステップ４２６に肯定的な答えがある場合、概算Ｘ‘は受け入れ可能であり、 したがってステップ４２８で、編集セグメントの境界にある最小許容バッファ占 有Ｂ0’は、以下の通りである。 編集セグメントの再符号化された最後のフレームの実際のバッファ占有がＢ0‘ より低い場合、アンダフロー状況が、ビットの再割当てのために発生する。この 場合、最後のフレームはｕ＿ｆｌｏｗ一覧中のアンダフロー・ポイントとしてマ ークされ、アンダフロー状況を防ぐために、編集セグメントの最後のフレームか ら取り出す必要のあるビット数（変更されたビデオのビット数と最小許容バッフ ァ占有を結果として生じさせるビとＢ0’の数の間の差）が、ステップ３９２に 記述されたのと類似した方法でｕ＿ｖａｌの中に格納される。 本発明の符号化システムの場合、ビデオ内のすべてのポイントのバッファ占有 を理解することが望ましく、この情報はログ・ファイル内に記憶されるを注記す べきである。ただし、編集セグメントの最後のフレームでのバッファ占有が削減 される場合、編集セグメント後のフレームのバッファ占有を変更し、ログ・ファ イル内のバッファ占有情報を不正確になるので、編集セグメント後のフレームの バッファ占有を再計算する訂正処置が講じられる必要があるだろう。 図１７のプロセスに戻って参照すると、ステップ３９６では、ｕ＿ｆｌｏｗ一 覧にエントリがあるかどうかを判断する。何もない場合には、アンダフロー問題 はなく、図１７のプロセスは終了する。ｕ＿ｆｌｏｗリストにエントリがある場 合は、フローは、ｕ＿ｆｌｏｗ一覧内の各位置の左側のセクションをもっとも近 いｏ＿ｆｌｏｗポイントまで保護されているとマークし、ｕ＿ｖａｌ内のビット の対応する数に等しいビットがこれらのセクションから除去されるステップ３９ ８に進む。バッファ・アンダフローは１つまたは複数のフレーム内でのビットが 多すぎるために生じるので、フレーム中のビット数を削減することにより、アン ダフローの問題は解決される。アンダフローを防ぐために削除されるビットのた めにピクチャ品質が劇的に劣化しないようにするために、ビットは、アンダフロ ー・ポイントでのフレームからだけではなく、バッファがいっぱいであった前回 のポイントまで戻ってすべてのフレームから均等に取られる。これが、アンダフ ローを防ぎつつ最高品質のビデオを得るための方法となる。 ステップ３９８で削除されるこれらのビットは、その後、ステップ４００で保 護されているとマークされていないセクションに均等に分散され、図１７のプロ セスが再び開始する。ステップ４００でのビットの分散は、アンダフローがもは や問題ではなくなったと保証しないため、反復するやり方で図１７のプロセス全 体を使用してアンダフロー状況がないかどうか再び確認する必要がある。 図１７のプロセスが完了した後で、図１２のステップ２８８は完了し、図１２ のステップ２９０が実行される。ステップ２９０では、ステップ２８２で求めら れた速度−量子化器関数を使用して各フレームの平均量子化器値が求められる。 希望されるビットの数はステップ２８６で以前計算され、ステップ２８８でアン ダフロー問題が存在するかどうか確認されたが、符号化されたデータに希望され た数のビットがあるように、データを再符号化するには、量子化器値を求めなけ ればならない。これは、速度−量子化関数を使用して、速度を検索することによ って量子化器値を求めて簡単に求められる。 ピクチャ単位での量子化レベルを判断するために、速度量子化器関数（ＲＱＦ ）がステップ２８２で決定された。この関数を概算するために、各ピクチャの２ つのデータ・ポイントが必要とされる。ＲＱＦは、次の通りである。 この場合、Ｒは１つのピクチャのコード化に使用されるビット数であり、Ｑは量 子化器スケールであり、Ｘ、ｇおよびＨはピクチャ単位のコード化特性パラメー タである。Ｈがヘッダ、運動ベクタ、ＤＣ係数などにより消費されるビットであ るように、Ｈは量子化器スケールに依存しないビットを表す。Ｘおよびｇは指定 された量子化器スケールのピクチャのコード化に使用されるＡＣ係数ビットに対 応する一対のデータ・ポイントから概算される。 エンコーダの最初の実行は、ビデオ・シーケンスのコード化されたピクチャご とに２つのデータ・ポイントを作成するのに使用される。これは、ピクチャ内の 各マクロブロックに使用される一対の代替量子化器スケール値により実行される 。これらは、速度−量子化器モデル・パラメータ「Ｘ」および「ｇ」を計算する ために処理される。これらの２つのパラメータは、Ｈの値とともに、コード化さ れたビデオのフレームごとに１つ、ファイル内に記憶される。 ビデオのある特定のコード化されるフレームに割り当てられるターゲット・ビ ットを作成する量子化器スケールを決定するために、上記の等式が、ターゲット ・ビットを表す「Ｒ」と使用され、（Ｘ、ｇ、Ｈ）の値は、前記のログ・ファイ ルである場合もある記憶されたデータ・ファイルから読み取られる。この等式に もっとも適合する「Ｑ」の値が、希望された量子化器スケールである。 それから、ステップ２９２では、ステップ２９０で決定された量子化器値を使 用してビデオの変更されたセクションを再符号化する。以前に符号化されたビデ オの再符号化セグメントが、再符号化の間に特殊手順に従われない限り、符号化 作為問題を起こす可能性があることを注記すべきである。符号化および復号化の 作為を回避するための再符号化プロセスの詳細については、以下の別項に記述す る。ビデオは、再符号化された後で、以前に符号化されたビデオのビット・スト リームに置換され、プロセスは終了する。 図５に関して記述されるように、ユーザは、ビデオが再符号化された後にビデ オを表示し、それが受け入れられるものであるかどうか判断することができる。 ビデオが受け入れられない場合には、ユーザは、新規に符号化されたビデオを受 け入れる必要はなく、以前に符号化されたビデオを引き続き使用できる。ユーザ が新規に符号化されたビデオが望ましいと考える場合には、新規に符号化された ビデオが、以前に符号化されたビデオを置換する。それから、ユーザは、図５に 図解されるように、空間的または時間的のどちらかでビデオの新規セグメントを 編集することができる。 図１９Ａおよび図１９Ｂは、オリジナル・ビデオ符号化からの、ユーザが手動 品質優先順位を入力した後の２つの異なったビット伝送速度の例を示す。図１９ Ａおよび１９Ｂでは、（メガビットを示す１０ ６のスケールでの）ビット伝送 速度は、ピクチャのグループ番号に比較されてプロットされている。図解された 例では、１つのＧＯＰに１５枚のピクチャが含まれ、各ＧＯＰが、２分の１秒ご とに表示される。また、実線は、オリジナル符号化を示し、破線は、ユーザが手 動でピクチャの品質を調整した後の符号化を示す。 図１９Ａは、優先順位２、−３、３、０および保護されているが設定される５ つの異なった優先順位の領域のある符号化を図解する。優先順位３が設定される 時間期間は、オリジナル符号化と比較した場合に、再符号化の後にさらに多くの ビットを使用する。優先順位は、単に互いに相関しているにすぎないので、優先 順位２でマークされるセクションのビット伝送速度は大きく上昇しないが、−３ および０が設定されるセクションのビット伝送速度は引き下げられる。保護され ているセクションは、再符号化の後に再符号化の前に存在したのと類似するビッ ト伝送速度が設定されていなければならない。 図１９Ｂは、それぞれ０、２、０、４および０というユーザが選択した優先順 位が設定される領域のある第２例である。ここでも、優先順位は互いに相関して いるため、優先順位０は、ビット伝送速度が未変更であるが、優先順位２および ４が設定される他のセクションに相対する優先順位にすぎないことを意味するの ではない。優先順位４が設定されるセクションに高速ビット伝送速度を指定する には、ユーザが選択する優先順位０が設定される３つのセクションが削減され、 優先順位２が設定されるセクションは、符号化の前後とほぼ同じビット伝送速度 となる。 時間手動編集の処理は、発明の実施例の図１Ａのワークステーションで発生す る。ただし、時間手動編集はビデオ符号化プロセスの間発生しないので、ワーク ステーション１０が、ビデオ符号化プロセスの速度を低下させることなく時間手 動編集の計算を実行できる。 本発明が、編集セグメント内のさまざまな時間セグメントのピクチャ品質の変 更として詳細に記述されることを注記すべきである。言うまでもなく、同じ時間 セグメント内にはないピクチャのセクションの品質の変更を可能とするために、 明らかにこの概念を拡大できる。例えば、本発明の教示を適用し、最初の５分間 を犠牲にして映画の最後の５分間の品質を改善することができる。後述するよう に、単独の編集セグメントの外側にある時間期間の品質を変更することが望まし い場合には、ユーザは、重大なセグメントを順次に表示、計算し、ビットを再割 り当てし、各セクションのトレーリング・エッジでのバッファ占有だけではなく 、映画の総ビットに関係する抑制が所定の制限内にあることを保証する必要があ る。ただし、これは、本明細書に記載される教示に基づき、不適当な実験を行わ なくても、当業者により達成できる。 時間手動編集は、編集セグメントの再符号化のビット数と同じとなるために、 編集セグメントのオリジナル符号化のビット数を保つこととして記述される。し かし、希望される場合には、符号化された編集セグメントはさらに少ないビット を消費するか、あるいはじゅうぶんな記憶容量が存在する場合には、再符号化さ れた編集セグメントのビット数がオリジナル符号化のビット数を越える可能性が ある。また、最終的なデジタル記憶装置媒体上で使用可能なすべての記憶容量を 消費しないように、ビデオのオリジナル符号化を実行することもできる。したが って、再符号化の後のビット総数は、例えば、５％と１％多いか少ないビットを 含む、０％と２０％の間で多いまたは少ないなど、オリジナル符号化より多くま たは少ない任意の量を消費する可能性がある。 時間手動編集の説明は、ビデオが符号化された後のビデオの変更に関して行わ れた。しかし、本明細書に記載される教示は、初期符号化プロセスが存在しない システムにも適用できる。さらに、共通ビット・プールの使用に関する時間手動 編集の教示は、後述のビデオ・フレームの空間手動編集の概念に適用できる。ま た、後述するように、空間手動編集を個々のフレーム上で実行する方法は、品質 の時間編集を達成するためにフレームの系列にも適用できる。 Ｂ．フレームの領域内で品質を変更する 図２０は、１つまたは複数のフレーム内の領域の品質を変更するための一般的 な手順を図解する。開始後、ステップ４５０では、システム構成要素および一般 的なシステム動作に関する項で前述したように、ＭＰＥＧフォーマットまたはそ れ以外のフォーマットのような圧縮デジタル・フォーマットに入力ビデオを符号 化する自動ビデオ符号化を実行する。ステップ４５２では、ユーザに符号化され たビデオが表示され、ステップ４５４では、ユーザは１つまたは複数のフレーム 内の領域の品質変更を示すコマンドを入力できる。 図２１は、図１に示されるビデオ・ディスプレイ・モニタ６１のようなモニタ 上で表示されるビデオのフレームを図解する。図２１のビデオのフレームは、ツ リー４６５、人物４６７、鳥４６８、および２つの雲２７１があるとして図解さ れる。 図２１では、フレーム内の領域は、ツリー４６５を取り囲む領域４６６、人物 をとり加工領域４６９、および領域４６９と重複し、鳥４６８と人物４６７の頭 部を含む領域４７０を含んで限定された。これらの領域は、図１Ａに図示される グラフィック・ポインティング・デバイス３３を使用して描画された。図２１で ユーザによって設定された品質優先順位には、ツリーを含む領域４６６の−５、 人物を含む領域４６９の+2、および鳥と人物の頭部を含む領域４７０の＋４が含 まれる。図２１のビデオのフレームのそれ以外の領域には、ユーザが定義した優 先順位は設定されないので、「Ｄｏｎ’ｔ Ｃａｒｅ」優先順位を割り当てられ る。後述するように、「Ｄｏｎ’ｔ Ｃａｒｅ」領域とは、ユーザが定義した優 先順位が指定されたフレームの符号化のためのビットの総数を、フレームのオリ ジナル符号化から生じるビット数と等しくなるように調整する目的で、ユーザ定 義領域の量子化器レベルを変更した後に、最初に修正された領域のことである。 ユーザがフレームの領域の品質を変更させたくない場合には、これらの領域はユ ーザにより優先順位ゼロが設定されるとしてマークされるだろう。 本発明の実施例では、ビデオのフレーム内で優先順位領域を定義するときに、 ユーザは、当初、グラフィック・ポインティング・デバイスを使用してビデオの 表示されたフレーム上に矩形の領域を作成する。後で定義される領域は、初期に 定義された領域の上に格納され、重複する可能性がある。本発明は矩形領域の定 義に関して説明されるが、言うまでもなく、本発明の教示は、円や楕円形のよう な曲線のある領域、八角形、六角形のような多角形領域、あるいは曲線や直線、 またはその両方を含むそれ以外のユーザが定義した形状を含む任意の形状の領域 に適用できる。ユーザは、各領域を定義した後で、領域の優先順位を定義する。 代わりに、ユーザは、すべての領域の形状を定義し、その後に、これらの領域の 優先順位を割り当てることができる。 ユーザが最初に領域内の優先順位を定義すると、領域はピクセル・ロケーショ ンに対応する。ただし、後述の優先順位を割り当てるプロセスは、マクロブロッ クに基づいて動作し、マクロブロックはデジタル・ビデオ符号化で使用される単 位である。したがって、マクロブロックがユーザ定義領域内にあるいはユーザ定 義領域の外部周辺部にある場合、そのマクロブロックには領域の優先順位が割り 当てられる。当業者は、簡単な数学を使用してユーザ定義領域に対応するマクロ ブロックを簡単に求めることができる。ユーザ定義領域の外部周辺部の場合、領 域の外部周辺部がマクロブロックと交差するなら、ユーザ定義領域内に単にマク ロブロックを含める代わりとして、マクロブロックを領域内に入れるかどうかを 判断するさらに精密なプロセスが、マクロブロックの５０％以上がユーザ定義領 域内にある場合にはユーザ定義領域内にマクロブロックを含め、マクロブロック の５０％未満がユーザ定義領域内にある場合にはユーザ定義領域からマクロブロ ックを排除することにより実行できる。 領域およびその優先順位が定義されたら、ユーザは、希望するなら領域の重複 を変更できる。例えば、ユーザは、事前に決定されたファンクション・キーを押 さえながら図２１の領域４６９上で「クリック」し、領域４６９を領域４７０の 上に重なるように変更し、人物全体が領域４６９の優先順位を持ち、鳥４６８だ けが領域４７０に割り当てられた優先順位を持つようにする。重複する領域には 、ユーザによって入力されたときに、スタック優先順位が指定される。このスタ ック優先順位は、ユーザて意義領域が追加、削除、または修正されるときに、必 要に応じて調整される。 領域が定義されてから、ユーザは、グラフィック・ポインティング・デバイス ３３を使用して、希望するように領域の形状を形作ったり、領域を移動すること もできる。また、ユーザにより定義された領域は、グラフィック・ポインティン グ・デバイス３３を使用して削除できる。領域が削除されても、ユーザが定義す る優先順位だけが削除されるのであって、削除中の領域内のオリジナル・ビデオ ・データは削除されないことは言うまでもないことを注記すべきである。 時間期間での品質の変更に関する前項に説明するように、自動符号化の間、ま たは自動符号化の後に、ユーザは符号化されたビデオをレビューでき、重大なフ レームまたは時間期間が発生するときはつねに、ユーザはただキーボードで任意 のキーを押すか、特定のフレームまたは時間期間が重大であることを示す別のデ バイスからの入力を入力するだけである。後に、ユーザは、そのフレームまたは 時間期間に戻り、希望に応じて、時間期間の研究やその時間期間内の機能の変更 にさらに多くの時間を費やすことができる。 ユーザがビデオのフレーム内で領域を限定するプロセスについては、ユーザに よって修正されるデータのフレームが１つだけ存在する単純なケースの場合は前 述した。しかしながら、一度に１フレームづつビデオ・シーケンス内のデータの フレーム上で作業を行うのはきわめて退屈であるため、本発明を使用すれば、ユ ーザは、第１時間期間で任意の領域を、後の時間期間で対応する領域を定義する ことができる。その後で、最初のフレームおよび最後のフレームに中間のビデオ のすべてのフレームに、最初のフレームと最後のフレームにユーザが定義した領 域に対応し、最初の領域または最後の領域あるいはその両方と同じ優先順位、あ るいは最初のフレームと最後のフレームの優先順位に基づいた優先順位が割り当 てられる領域が自動的に作成されるように、補間プロセスが実行される。さらに 、重複する領域のスタック優先順位は、補間プロセスの間に維持される。中間フ レームにその領域が自動的に作成されてから、ユーザは、希望通りに、優先順位 、領域の形状を変更することにより自動的に作成された領域を変更し、新規領域 を追加するか、領域を削除する。 以下にどのように補間プロセスが動作するかの例を示す。ユーザに時間インス タンス ｔ＿ｌおよびｔ＿ｎでの２つのフレームに優先順位領域を選択させる。ユーザが フレームｔ＿ｌ内に領域を割り当て、対応する領域をｔ＿ｎの中に割り当てた後 で、これらの２つの領域の座標は、ｔ＿ｌとｔ＿ｎの間のすべてのフレームの領 域仕様を得るために、中間フレーム上で補間される。補間は、定義されている実 際の領域に対して実行できるだけではなく、品質優先順位に対しても実行できる 。補間プロセスの場合、単純な一次関数が使用される。ユーザが、ポイントａ＿ ｌが設定されるフレームｔ＿ｌの任意の領域Ａを定義し、フレームｔ＿ｎ内の対 応する領域Ａの中に対応するポイントａ＿ｎがあり、中間フレームａ＿２、ａ＿ ３，．．．，ａ＿（ｎ−ｌ）内の対応するポイントに以下のように定義される水 平縦座標、および 垂直縦座標があると仮定する。 この場合、ｈおよびｖは問題のポイントの水平縦座標と垂直縦座標に相当する。 このプロセスでは、領域を定義する多角形の頂点だけが使用され、頂点は補間さ れる。それから、領域は頂点により限定される。線形補間以外のその他の補間技 法も実行できる。 前記補間プロセスは、編集対象のセグメント内のすべてのフレームのすべての 領域が適切に限定されるまで、必要な回数分実行できる。さらに、このプロセス は、ユーザが、中間フレームの補間を介して求められる領域のサイズを移動また は変更できるように、微調整プロセスが発生し、再帰的であり、補間プロセスは 、最初のフレームと変更された中間フレーム、および中間フレームと最後のフレ ームに再び実行された。補間プロセスは、おもに、フレームを横切って移動する 領域を限定するのに使用される。ただし、発明には、静的であり、フレームの系 列で使用される領域を一度限定することも含まれる。 領域が限定され、ユーザ定義優先順位が入力されてから、各マクロブロックの 新規量子化器値が、図２０のステップ４５６で、ユーザにより入力される優先順 位およびマクロブロックの旧量子化器値に基づいて、概算または求められる。こ れは、ユーザが選択した優先順位のそれぞれと使用されるオリジナル量子化器値 の端数を示す図２２に図解される関係性に従って求められる。例えば、ユーザが 優先順位ゼロを入力すると、使用されるオリジナルの量子化器値の結果として生 じる端数は１となり、オリジナル量子化器値に変更がないことを意味する。ユー ザが優先順位−３を選択すると、オリジナル量子化器値の端数は１．５８となり 、優先順位３が設定されるマクロブロックのオリジナルの量子化器値が、結果と して生じる量子化器値を求めるために１．５８で乗算されることを意味する。優 先順位−３は、品質の低下を意味するので、量子化器レベルは品質の低下を達成 するために上昇されなければならず、マクロブロックに使用されるべきビットが 少なくなることを意味する。反対に、ユーザが３のような正の優先順位を入力す ると、オリジナル自動符号化からのマクロブロックの量子化器値は、量子化器レ ベルを低下させる０．４２により乗算される。量子化器レベルの低下とは、マク ロブロック内のイメージを表すのにさらに多くのビットが必要とされ、従って、 ピクチャ品質が改善されることを意味する。図２２に図解される線上のポイント は、（−５、１００）、（−４、１．７５）、（−３、１．５８）、（−２、１ ．４２）、（−１、１．２５）、（０、１）、（１、０．７２）、（２、０．５ ８）、（３、０．４２）、（４、０．２５）、および（５、０．０１）である。 図２２に図解されるマッピングは、ｑ−レベルと優先順位の間の区分的線形関係 に基づいている。図２２で求められるポイントは、実験を通して求められ、異な る端数は、希望通りにユーザが選択した優先順位と使用できる。 優先順位−５と５は、それぞれ、考えられる最低品質と最高品質を得るために 意図される。最低品質は、非線形量子化器スケール使用時に最大許容量子化器レ ベル１１２、および線形量子化器スケールがＭＰＥＧ−２符号化に使用されると きの６２から生じる。また、最高品質を達成するために使用される最低量子化器 レベルは１である。したがって、図２２に図解される関係は、実際に許容された ｑスケールから離れた値を生じさせることがあるが、これらの計算されたｑ値は その飽和レベルに格納されるだけである。例えば、最初は、マクロブロックに量 子化器スケール２０が設定され、ユーザがマクロブロックの優先順位を−５とな るように選択すると仮定する。１００で乗算される量子化器値２０は、量子化器 スケールのオフである新しい量子化器レベル２０００を出し、したがって、最高 値または飽和量子化器値が使用される。 前記のように飽和レベルを使用することに加えて、本発明は、ＭＰＥＧ符号化 のＩ、ＰおよびＢフレームの予防措置を講じる。本発明は、Ｉ−方フレームの最 高量子化器レベルを非線形量子化器の場合９６となるように、線形量子化器スケ ール使用時には５８になるように制限する。同様にして、Ｂ−タイプおよびＰ− タイプのフレームの最高量子化器レベルは、非線形量子化器スケールの場合は１ １２、線形量子化器スケールの場合は６２である。線形量子化器スケールおよび 非線形量子化器スケールは、ＭＰＥＧ規格に定義される。Ｉフレーム・タイプ、 Ｐフレーム・タイプ、およびＢフレーム・タイプのそれぞれに使用される最低量 子化器レベルは１である。言うまでもなく、図２２に示されるユーザが定義した 入力およびオリジナル量子化器値の端数は、ユーザの要件を満たすために修正す ることができる。 ステップ４６５で各マクロブロックの新規量子化器値が計算された後、ステッ プ４５８で、ステプ４５６で求められた量子化器値から生じる各フレームのビッ ト数が求められる。実施例では、他の領域の品質は低下駿河、ある領域の品質が 改善された後に、フレームごとに同じ数のビットが得られなければならないので 、このステップは重要である。新規量子化器値から生じるビット数を決定するに は、マクロブロックごとの結果として生じるビット数に対して量子化器レベルを 適切に概算する関数を使用する必要がある。量子化器レベルと結果として生じる ビット数の関係性を突き止めるためには、ＭＰＥＧ−２エンコーダのようなビデ オ・エンコーダの経験主義的な結果の研究が実行され、突き止められた関係性は 実際の経験主義的な結果に基づいている。さまざまな量子化器レベルおよびビデ オ・シーケンスの数を使用するフレーム・タイプのシミュレーション結果が実施 された。これらの結果に基づき、マクロブロックの量子化器レベル（ｑ）とその マクロブロックの符号化に使用されるビット数の間の以下の関係性は、フレーム ・タイプに応じて、以下の通りであると突き止められた。 この場合、Ｉ−タイプのフレームではｍ＝−０．７５、Ｂ−タイプとＰ−タイプ のフレームではｍ＝−１．０であった。さらに、Ｉフレーム、Ｐフレーム、およ びＢフレームそれぞれの場合ｎ＝１５、１４．５および１３．８である。これら の値は、前述したように、ビデオ・シーケンスの数で平均化されている。前記等 式は、エンコーダの動作を予測するための優れた近似手段として役立ち、ビット 数と量子化器レベルの間の関係性はログ・ドメインで線形である。正確であるな らば、本明細書に記載される他の速度−量子化器機能を含む、指定の量子化レベ ルから生じるビット数を求めるために量子化器レベルと結果として生じるビット 数の間の他の関係性も使用できるのは言うまでもなくい。 前記プロセスは、指定された量子化レベルから生じるビット数を求める方法を 記述する。ただし、複数の符号化が使用される場合、新規符号化からの情報を使 用して量子化器関数に対してデータ伝送速度をさらに洗練することができる。初 期自動符号化プロセスの間、符号化されるビデオの統計を収集するために使用さ れる第１ビデオ符号化パスがある。それから、実際の符号化である第２パスの間 、量子化器関数に対するデータ伝送速度の別の実際のポイントが、指定されたｑ −レベルから作成されるビット数ｂを記述する前記等式に対応するｑ対ｂのプロ ットの中でのように得られるだろう。データがユーザが指定した選択に従って再 符号化された後に、後述するように、結果として生じる再符号化されたビデオは 、それが希望される品質の改善を満たすかどうかに応じてユーザにより受け入れ られるか、拒絶されるかのどちらかである。各再符号化では、予測されたビット 関係性に対するｑ−レベルの実際のデータが作成される。新規ｑ−レベル割当て ｑ‘が指定されると、求められるデータ伝送速度は、再符号化により得られる追 加データに基づき、このポイントに関してはさらに正確になる。新規量子化器レ ベルｑ’が以前に得られた２つのポイントの間に該当する場合、新規ｑ−レベル でエンコーダにより出力されるビット数の見積もりを得るために、ログ・ドメイ ン内で線形補間を実行することができる。新規量子化器レベルｑ‘が２つの求め られるｑ−レベルの間に該当しない場合は、モデルが、もっとも近いｑ−レベル から新規量子化器レベルｑ’に補外するために使用され、符号化時点で作成され るビット数を概算することができる。データが再符号化される回数が多ければ多 いほど、エンコーダからの出力ビットに対し、さらに優れた概算を得る確率も高 くなることに注意する。 概算された量子化器値から生じるフレームごとのビット数が図２０のステップ ４５８で求められた後、ステップ４６０で、ビットの概算数がフレームに関して ビットのオリジナル数にじゅうぶん近いどうか判断され、必要ならビット数が訂 正される。これは、図２３−２５Ｃに図解されるプロセスに従って実行される。 ステップ４６０が実行されると、図２３のステップ４７２では、まず、ビット の概算数とオリジナル符号化のビット数の間の差が求められる。これは、以下の 等式に従って計算される。 この場合、Ｂ‘は修正されたフレームのビット概算数であり、Ｂはオリジナル符 号化から生じるフレームのビット数であり、Ｄは差である。言うまでもなく、オ リジナル符号化から生じるビット数以外であるＢの値を使用することができる。 例えば、ユーザが任意のフレームの総ビット数を増加する場合、ユーザは、Ｂを 、オリジナル符号化から生じるビット数より高い事前に決定された量である数に 設定する。同様にして、ユーザは、Ｂをフレームのオリジナルビット数より少な くなるように設定することもできる。したがって、再符号化されたフレームは、 記憶領域の制約、最小品質制約、およびビデオ・バッファ・アンダフローの可能 性に応じて、オリジナル符号化より多くのまたは少ないビットを消費することが ある。また、フレーム内の領域がその量子化器を変更されていない場合は、量子 化器値が変更された領域から生じるビット数だけを分析することが可能で、変更 されなかった領域は無視される。ステップ４７４では、この差が分析され、ビッ トが多すぎると判断されると、フローは、ビットの数を削減するためにマクロブ ロックの量子化レベルを上昇させる目的で、図２４Ａ−図２４Ｃに図解されるプ ロセスのＢに進む。ステップ４７４で、修正されたフレーム内のビットが少なす ぎると判断されると、新規フレームのマクロブロックの量子化レベルは、図２５ Ａ−図２５Ｃに図解されるプロセスＦに従ってさらに多くのビットを作成する目 的で削減される必要がある。それ以外の場合、差が受け人れられるスレッショル ド内にあるのなら、マクロブロックの量子化レベルを修正する必要はなく、プロ セスは戻って、図２０のステップ４６２を実行する。フレーム内のビット数を再 符号化されたビデオに関して同じに保つ場合は、ビットは、ある領域から別の領 域にシフトされたと考えられる。 ステップ４７４では、差Ｄは差をスレッショルド、Ｔに比較することにより分 析される。スレッショルドは、０．００１ＸＢに設定され、領域の品質の変化か ら生じるビット数がビット総数の０．００１以内にある場合には、差は許容でき 、プロセスは停止することがあるということを意味する。差が許容できることを 示す停止スレッショルドは、代わりの方法で求められるか、希望通りに増加また は削減できるか、フレームのオリジナル・ビット数とユーザ選択優先順位から生 じる結果のビット数の両方に基づくことがある。 図２４Ａ−２４Ｃおよび図２５Ａ−２５Ｃに図解されるプロセスは、図２４Ａ −２４Ｂがユーザが選択した品質から生じるビット数を引き下げるために使用さ れ、図２５Ａ−２５Ｃがユーザ選択品質から生じるビット数を引き上げるために 使用されるという点を除き、きわめて類似している。ここで、これらのプロセス の詳細の説明に入る前に、図２４Ａ−２５Ｃで実行されるプロセスの一般的な概 要を記述する。当初、ビデオのフレーム内のマクロブロックは、「Ｄｏｎ’ｔ Ｃａｒｅ」、「負の優先順位」、「正の優先順位」および「変更なし」という４ 種類の内の１ツとしてラベルが付けられる。領域にユーザによって優先順位が指 定されていない場合、あるいはシステムによりユーザが「Ｄｏｎ’ｔ Ｃａｒｅ 」ステータスを指定できる場合、その領域は「Ｄｏｎ’ｔ Ｃａｒｅ」タイプで あると見なされる。ユーザが−５と−１の間で、−５と−１を含む優先順位を指 定する場合、これらの領域内のマクロブロックは、「負の優先順位」であると見 なされる。領域に１と５の間で、１と５を含む優先順位が指定されると、それら の領域には「正の優先順位」が設定されていると考えられる。最後に、すべての 領域に優先順位０が指定される場合、あるいはシステムにより他のなんらかの方 法でユーザが、領域がその品質を変更させるべきではない旨を示すことができる 場合、それらの領域内のマクロブロックは「変更なし」タイプであると見なされ る。 ４つのマクロブロック・タイプのそれぞれの内のマクロブロックのそれぞれに 、４っのタイプのそれぞれに独自のインデックスの集合が設定されるように、イ ンデックスｉでラベルが付けられる。ゼロのインデックスｉは、最初のマクロブ ロックに割り当てられ、インデックスＮ−１は最後のマクロブロックに割り当て られる。この場合、Ｎは領域タイプ内のマクロブロックの総数である。例えば、 「Ｄｏｎ’ｔ Ｃａｒｅ」領域のすべてに関し、これらの領域内のマクロブロッ クのそれぞれに０からＮ−１のインデックスが付けられている。３つ以上の「Ｄ ｏｎ’ｔ Ｃａｒｅ」領域がある場合には、「変更なし」領域に２つの異なった ィンデックスｉ＝０は存在しないことに注意する。すべての「Ｄｏｎ’ｔ Ｃａ ｒｅ」領域に対し、インデックス０が設定されるマクロブロックは１つだけで、 ィンデックス１が設定されるマクロブロックは１つなどである。 ユーザが領域の優先順位を決定した後にフレーム内のビットが多すぎる場合、 フレームの量子化器レベルは、フレームのビット数を削減するために引き上げら れなければならない。マクロブロックのオリジナル量子化器値は、図１０Ａまた は図１０Ｂのどちらかに図解されるフォーマットを持つマクロブロック・レイヤ ・ログ・ファイルから取られる。代わりに、エンコーダは、量子化器値がエンコ ーダのオリジナル実行後に記憶されていなかった場合には、量子化器値を求める ために再実行されることがある。しかし、別の代替策は、オリジナル符号化の量 子化器値を決定するために符号化されたビット・ストリームを復号化することで ある。ビット数を減少させるために手順が作用する方法は、「Ｄｏｎ’ｔ Ｃａ ｒｅ」タイプの各マクロブロックの量子化器レベルを、一度に１マクロブロック 、１量子化器レベルづつ増加させることである。これによって問題が解決されな い場合、「Ｄｏｎ’ｔ Ｃａｒｅ」の各マクロブロックではそのｑレベルが、一 度に１マクロブロック、再び１づつ増加される。事前に決定された最大量子化器 レベルが設定され、どのマクロブロックの量子化器レベルもこの最大レベルを越 えて増加できない。「Ｄｏｎ’ｔ Ｃａｒｅ」タイプのすべてのマクロブロック がこの最大レベルに到達すると、「負の優先順位」および「正の優先順位」の領 域が、類似した方法で１づつ増加される。まず、すべての負の優先順位のマクロ ブロックが１量子化器レベルづつ増加され、これによりビット差分問題が解決し ない場合には、「正の優先順位」マクロブロックのマクロブロックで、その量子 化器レベルが１づつ増加される。これで問題が解決しない場合には、「負の優先 順位」マクロブロックの量子化器レベルが再び１づつ増加され、これで問題が解 決しな場合には、「正の優先順位」タイプのマクロブロックでその量子化器レベ ルが１づつ増加される。このプロセスは、「負の優先順位」タイプと「正の優先 順位」タイプのすべてのマクロブロックでその量子化器レベルが前記最大レベル まで増加するまで、続行する。これでビット差分問題が解決しない場合には、ビ ット差分問題が解決するまで、「変更なし」タイプのマクロブロックでその量子 化器レベルが一度に１量子化レベルづつ増加する。十中八九、ビット差分問題は 、「変更なし」タイプの量子化レベルの変更が始まる前に訂正された。ユーザが 選択した優先順位が設定されるフレームのビット数が少なすぎて、図２５Ａ−２ ５Ｃのプロセスに従ってビット数を増加するために、マクロブロックの量子化レ ベルを引き下げる必要がある場合に、類似したプロセスが発生する。 今度は、結果的にビットが多すぎる場合に図２３で実行される図２４Ａに図解 されるフローチャートを見ると、プロセスは図２４Ａで、ブロック・タイプを「 Ｄｏｎ’ｔ Ｃａｒｅ」タイプに設定するステップ４８０により開始する。それ から、ステップ４８２では、マクロブロック・インデックスが開始ポイントに設 定され、インデックスｉがゼロに等しく設定されることを意味する。それから、 設定されたマクロブロック・タイプ（フローチャートを通して初めて、「Ｄｏｎ ’ｔ Ｃａｒｅ」タイプの最初のマクロブロック）が設定される問題のマクロブ ロックの量子化器レベル（インデックス＝ｉ内のマクロブロック）に最大事前定 義量子化器レベルが設定されているかどうかを判断するステップ４８６が実行さ れる。この訂正プロセスの最大量子化器レベルは、訂正されるマクロブロックの 品質に大きな低下が生じるように、高く設定しすぎてはならない。可能であるな らば、マクロブロックの品質に大きな差分が生じないように、均一にビット数を 引き下げるために、品質を低下させようと試みるのが望ましい。したがって、こ の最大は線形量子化スケールが使用される場合は量子化レベル６２で設定され、 非線形量子化スケールが、例えばＭＰＥＧ−２符号化のために使用される場合は １１２で設定される。ただし、最大量子化器値には他の値も使用できる。問題の マクロブロックの量子化器レベルがステップ４８６で最大ではないと判断される と、ステップ４８８で問題のマクロブロックの量子化器レベルが１量子化レベル 増分される。それから、ステップ４９０では、前記のビット伝送速度−量子化器 関数を使用して、フレームのビット概算を再計算する。次にステップ４９０では 、マクロブロックのインデックスが増分される。マクロブロックのインデックス が、マクロブロック・タイプの最後のマクロブロックが処理されなかったことを 示すと、フローはステップ４６４にループバックする。それ以外の場合は、フロ ーはステップ４９２から、ブロック・インデックスをゼロにリセットし、最初の マクロブロックを示すステップ４９８に進む。 フローがステップ４８４に戻ると、ステップ４９０で再計算されたビット概算 が、前述のように、スレッショルドに比較される前記差Ｄを再計算するために使 用される。ビット概算が高すぎなくなったら、ユーザ選択優先順位を含むフレー ムのビット数が訂正され、フローは呼び出しプロセスに戻る。それ以外の場合、 フローは、（インデックスｉが設定される）問題のマクロブロックの量子化器値 が最大であるかどうかを再び判断するステップ４８６に進む。 ステップ４８６で問題のマクロブロックの量子化器値が最大であると判断され る場合、そのブロックの量子化器レベルを増加してはならず、ステップ４９４で ブロック・インデックスを１増分する。ステップ４９６で、マクロブロック・タ イプのインデックスが最後のブロックを過ぎていないと判断されると、フローは 、増分されたインデックスに最大量子化器値が設定されているかどうかを判断す るためにステップ４８６に戻る。それ以外の場合、ステップ４９６で、マクロブ ロックが問題のマクロブロック・タイプの最後のマクロブロックであると判断さ れると、ブロック・インデックスを第１マクロブロックにリセットする（ｉ＝０ ）ステップ４９８が実行される。それから、フローは 図２４Ｂに図解されるプロセスＣに進む。 図２４Ｂでは、ステップ５００で、ブロック・タイプが「Ｄｏｎ’ｔ Ｃａｒ ｅ」タイプであるかどうか調べる。「Ｄｏｎ’ｔ Ｃａｒｅ」タイプである場合 には、ステップ５０２ですべての「Ｄｏｎ’ｔ Ｃａｒｅ」マクロブロックに最 大ｑレベルが設定されているかどうかを判断する。「Ｄｏｎ’ｔ Ｃａｒｅ」マ クロブロックのすべてに最大ｑレベルが設定されている場合には、「Ｄｏｎ’ｔ Ｃａｒｅ」タイプでそれ以上調整を行うことはできないため、マクロブロック ・タイプは、ステップ５０４で「負の優先順位」に変更され、フローは図２４Ａ に図示されるプロセスＤを戻り、ステップ４８４が実行される。それ以外の場合 は、ステップ５０２で「Ｄｏｎ’ｔ Ｃａｒｅ」タイプのすべてのマクロブロッ クに最大ｑレベルが設定されていないと判断されると、フローは、修正中のマク ロブロックのタイプを変更せずに、プロセスＤに戻る。この手順は、フレームの 結果として生じるビット数がスレッショルド内になるまで、あるいは「Ｄｏｎ’ ｔ Ｃａｒｅ」タイプのすべてのマクロブロックが最大量子化レベルに設定され るまで続行し、その結果、ブロック・タイプが「負の優先順位」に変更される。 ステップ５００でブロック・タイプが「Ｄｏｎ’ｔ Ｃａｒｅ」ではないと判 断されると、ステップ５０６でブロック・タイプが「負の優先順位」であるかど うか判断される。ブロック・タイプが「負の優先順位」である場合は、ステップ ５０８で「正の優先順位」のすべてのブロックに最大ｑレベルが設定されるかど うかが判断される。ステップ５０８の判断の結果が否定であった場合には、ステ ップ５１０が実行され、ブロック・タイプは「正の優先順位」にセットされ、フ ローは図２４Ａに示されるプロセスＤに進む。 ステップ５０８で「正の優先順位」のすべてのマクロブロックに最大ｑレベル が設定されていると判断されると、ステップ５１２で、「負の優先順位」タイプ のすべてのブロックに最大ｑレベルが設定されているかどうかを調べる。設定さ れていない場合、ブロック・タイプは変更されず、フローは図２４Ａのプロセス Ｄに戻る。ステップ５１２で「負の優先順位」タイプのすべてのマクロブロック に最大ｑレベルが設定されると判断されると、すべての「Ｄｏｎ’ｔ Ｃａｒｅ 」、「負の優先順位」、および「正の優先順位」マクロブロックに最大量子化レ ベルが設定されてから、ステップ５１４でブロック・タイプが「変更なし」に設 定される。その後で、フローは図２４ＡのプロセスＤに進む。 図２４ＣのプロセスＥおよびステップ５２０は、図２４Ｂのステップ５０６に 否定的な判断が下されると実行される。ステップ５２０では、ブロック・タイプ が「正の優先順位」であるかどうか判断される。判断されると、ステップ５２２ で「負の優先順位」タイプのすべてのブロックに最大Ｑレベルが設定されるかど うか判断される。設定されていない場合、ブロック・タイプは「負の優先順位」 に設定され、フローは図２４Ａに図解されるプロセスＤに戻る。ステップ５２２ で「負の優先順位」タイプのすべてのブロックに最大ｑレベルが設定されると判 断されると、ステップ５２６で、「正の優先順位」タイプのすべてのブロックに 最大ｑレベルが設定されるかどうかを調べる。設定されていない場合、フローは 図２４Ａに図示されるプロセスＤに戻る。それ以外の場合、すべての「Ｄｏｎ’ ｔ Ｃａｒｅ」ブロックとともにすべての「負の優先順位」および「正の優先順 位」に最大量子化レベルが設定され、ステップ５２８では、ブロック・タイプが 「変更なし」に設定され、フローが図２４Ａに図示されるプロセスＤに戻る。 ステップ５２０で、ブロック・タイプが「正の優先順位」ではないと判断され る場合、ブロック・タイプはそれゆえ「変更なし」でなければならず、ステップ ５３０で「変更なし」のすべてのブロックに最大ｑレベルが設定されるかどうか が判断される。設定される場合、ユーザ選択優先順位が設定されるフレーム内の ビットが多すぎるという問題を解決せずに、すべてのブロック・タイプが最大量 子化レベルに設定されたので、エラーが存在する。すべてのブロックを最大事前 定義ｑレベルに設定すると、フレームのオリジナル符号化を超えないビットの数 が生じるはずである。ステップ５３０の判断が否定的であると、フローは図２４ Ａに図示されるプロセスＤに戻る。 図２３のプロセスで、ユーザ選択優先順位領域のあるフレームのビットが少な すぎると判断されると、図２５Ａ−２５Ｃが実行される。図２５Ａ−２５Ｃは、 量子化レベルがフレームのビット数を増加するために引き上げられる代わりに引 き下げられるという点を除き、図２４Ａ−２４Ｃに示されるプロセスに基づいて おり、マクロブロックの量子化レベルは、引き下げられたときに、量子化器レベ ル１のような、事前に決定された最小レベルを上回ることはできない。前記の相 違点を除き、図２５Ａ−２５Ｃのプロセスは図２４Ａ−２４Ｃのプロセスに同一 であるので、図２５Ａ−２５Ｃについては簡略さを期すためにこれ以上記述しな い。 図２３−２５Ｃに記述される訂正プロセスは、本説明が動作する可能性がある １つの方法である。しかしながら、さまざまなタイプのマクロブロックの量子化 レベルを調整するという代替手順が可能である。例えば、前記のように同時に「 負の優先順位」と「正の優先順位」のマクロブロックの量子化レベルを変更する 代わりに、「負の優先順位」、「正の優先順位」、および「変更なし」タイプの すべてのマクロブロックを統一して増加できる。代わりにビットが多すぎる場合 には、最大量子化レベルに到達するまで「負の優先順位」タイプの量子化器レベ ルを増加することが可能で、その後で「正の優先順位」の量子化レベルが増加さ れる。反対に、ユーザ選択優先順位が設定されるフレームのビット数が少なすぎ ると、「正の優先順位」タイプのマクロブロックが、「負の優先順位」タイプの 量子化レベルが削減する前に、ビット数を増加するためにその量子化レベルを引 き下げられる。後者の２つのケースでは、「Ｄｏｎ’ｔ Ｃａｒｅ」タイプのマ クロブロックの変更は、「負の優先順位」または「正の優先順位」タイプのマク ロブロックが変更される前、変更される間、または変更された後に発生する可能 性がある。 図２３Ａ−２５Ｃのプロセスが実行されてから、フローは、新規量子化器値を 使用してビデオを再符号化する図２０のステップ４６２に戻る。この再符号化は 、再符号化されたフレームの結果として生じるビット数がフレームのオリジナル 符号化のビット数にできる限り近くなるように、速度−制御関数を使用して、量 子化値を微調整しつつ実行される。速度−制御装置プロセスは、以下の別項で詳 細に記述される。また、再符号化プロセスの間、符号化作為が生じ、そのため、 以下の別項に記述されるように、これらの符号化作為を削減するために、特殊手 順が実行できる。 空間手動編集のプロセスは、本発明の実施例の図１Ａのワークステーションで ３０で発生する。ただし、空間手動編集はビデオ符号化プロセスと同時には発生 しないので、ワークステーション１０は、ビデオ符号化プロセスの速度を下げな いで時間手動編集計算を実行できる。本発明が、フレーム内のさまざまな領域の ピクチャ品質の変更として詳細に記述されることを注記すべきである。言うまで もなく、本明細書の概念を、あるフレームの領域内から別のフレームの領域への ビットのシフトに拡大することができる。さらに、空間手動編集は、前記時間手 動編集と結び付けて適用できる。 空間手動編集は、ユーザが指定した領域優先順位が設定されるフレームのビッ ト数をフレームのオリジナル符号化と同じに保つこととして記述された。しかし ながら、希望される場合、再符号化された編集セグメントが、じゅうぶんな記憶 容量が存在するのであれば、フレームのオリジナルビット数より多いまたは少な い事前に決定されたビット数を消費できる。この場合、変更されたフレームを変 更できるビット数を理解しておくことが望ましくなるため、設定された差が達成 されるまで、図２４Ａ−２５Ｃに図解されるプロセスが動作する。したがって、 任意のフレームの再符号化の総ビット数は、例えば、５％と１％多いまたは少な いビットを含む、０％と２０％の間で多いまたは少ないなど、オリジナル符号化 より多くまたは少ない任意の量を消費できる。 空間手動編集の説明は、ビデオが符号化された後でビデオの変更に関連して行 われた。ただし、本明細書に記載される教示は、初期符号化プロセスが存在しな いシステムにも適用できる。 空間手動編集は、ユーザ選択優先順位に基づいて量子化器値を割り当ててから 、以前に得られたフレームの同じビット数を達成するために、必要に応じて、フ レームのマクロブロックの量子化レベルを調整する方法で動作する。対照的に、 前述の項で説明された時間手動編集は、ビデオのセクションからビットの共通プ ールを削除し、それらのビットを、ユーザ選択優先順位に従って、共通プールか ら分散し直す。１つのフレームに関係して空間手動編集が実行されるプロセスに 関するすべての教示は、時間手動編集の項で前述したように、経時的に、ビデオ のフレームの品質を変更するという概念に適用でき、逆の場合も同じである。例 えば、空間編集は、品質の変更を達成するために量子化器レベルを修正すること として記述されたが、ビット数は時間編集セクションで調整される。フレームま たはマクロブロックのビット数は、直接、量子化レベルに依存しているので、ビ ット数および量子化レベルの修正が同じ結果を達成し、それゆえ時間編集と空間 編集が、ビット数または量子化レベル、あるいはその両方を修正できる。 ＶＩＩＩ．品質変更後のビデオの再符号化 Ａ． 品質が単独フレーム内で変更された場合のビット割当て制御 図１Ａに図解されるビデオ符号化デバイス５０でビット伝送速度を制御するに は、ワークステーション１０や同じ制御機能を実行できる専門化したハードウェ アのような制御装置が量子化レベル、つまりｑ−レベルおよびスライスごとの概 算または予測ビット数を速度制御されたエンコーダの中にロードする。それから 、エンコーダは符号化を開始し、ビットの以前に決定された概算数に比較して、 作成されたビット数の精度を測定した後で、量子化レベルが調整される。ビット の概算数は、空間および時間手動編集に関係した項で前述したように、速度−量 子化器関数を使用して求められる。このプロセスは、一時にｎ個のマクロブロッ クの集合で順次実行され、この場合、各集合はＭＢ（ｉ）と指定される。この場 合、 マクロブロックの最後の集合を再符号化する場合、作成されるビット数のいかな るマイナーな課題評価もビット詰込みを使用して吸収できるので、再符号化プロ セスで作成されるビットの総数は、最初に符号化された長さより短いことが保証 される。 図２６は、事前に割り当てられた量子化レベルでデジタル・ビデオ・フレーム の集合を再符号化するための方法を図解するフローチャートである。量子化器モ デルがどの程度正確に作成されたビットの実際の数に対して再符号化により作成 されるであろうビット数を概算したのかに基づき、事前に割り当てられた量子化 レベルに調整が加えられる。図２６では、速度制御式コード化プロセスがステッ プ７００で開始してから、ステップ７０２にｉ＝１を設定することにより、マク ロブロックの現在の集合としてｎ個のマクロブロックの第１集合を指定する。ス テップ７０４では、マクロブロックの各集合ＭＢ（ｉ）の再符号化で使用される ビット概算数の完全な集合、ＥＢ（ｉ）がロードされる。 それから、ＭＢ（ｉ）はステップ７０６で再符号化され、実際に作成されたビッ トの数がＧＢ（ｉ）として記憶される。作成されたビットＧＢ（ｉ）とビット概 算ＥＢ（ｉ）のパーセンテージの差は、概算比ＰＢ（ｉ）＝ＧＢ（ｉ）／ＥＢ（ ｉ）としてステップ７０８で計算される。さらに、システムは、マクロブロック のすべての再符号化された集合に関して、累積ビット概算数ＥＢ‘（ｉ）および 累積作成ビット数ＧＢ’（ｉ）を計算できる。ここでは、ｉ≧２の場合、ＥＢ‘ （ｌ）＝ＥＢ（ｌ）、ＧＢ’（ｌ）＝ＧＢ（ｌ）、ＥＢ‘（ｉ）＝ＥＢ‘（ｉ− ｌ）、およびＧＢ‘（ｉ）＝ＧＢ’（ｉ−１）＋ＢＧ（ｉ）である。したがって 、図解されたステップ７０８の代替策として、ＰＢ（ｉ）はビットの累積概算数 、ＥＢ‘（ｉ）を使用して計算することができ、累積作成ビット数ＧＢ’（ｉ） はＰＢ（ｉ）＝ＧＢ‘（ｉ）／ＥＢ’（ｉ）を使用して計算できる。これは、あ る特定のマクロブロックの集合がどの程度正確に符号化されたのかを示す代わり に、再符号化プロセスが全体としてビットのターゲット数をどのようにして満た すのかをさらに正確に示す。ステップ７１０では、概算比は、マクロブロックの 次の集合、ＭＢ（ｉ＋１）でのｑ−レベルの訂正係数を求めるために使用される 。 この訂正係数は、２つの方法の内の１つを使用して求められる。第１訂正係数 決定方法は、比率ルックアップ・テーブルと呼ばれる比率値のテーブル内の１つ の比率のソート済み一覧を実行し、概算比がどの２つの比率の間に該当するのか を確認する。テーブル内の２つの数の大きい方のインデックスが、訂正係数イン デックスとして使用される。訂正係数インデックスは、訂正係数としてテーブル 内のｊ番目の要素を選択することにより、訂正係数△（ｉ）を探すために使用さ れ、マクロブロック、ＭＢ（ｉ＋１）の次の集合は△（ｉ）により調整される。 比率ルックアップ・テーブルＲＴには、例えば、以下のようにソートされた値が 記載され、 ＲＴ＝｛０．８５，０．９０，０．９５，１．０，１．０５，１．１０，１． １５，１．２，１．５｝ 訂正係数テーブルＣＴには、以下のような値が記載される。 ＣＴ＝｛−３，−２，−１，０，１，２，３，４，９｝ 図３０は、概算率を使用して比率ルックアップ・テーブルから訂正係数インデ ックスを求めるためのプロセスを図解するフローチャートである。図解の目的の ためだけに、ＰＢ（ｉ）＝０．８７と仮定する。インデックスｊは、ステップ７ ２２で当初１に設定される。ＰＢ（ｉ）をＲＴ（ｊ）に比較するプロセスが開始 され、ステップ７２４では、ＰＢ（ｉ）＝０．８７が、前記ルックアップ・テー ブルに定義冴えるようにＲＴ（ｌ）＝０．８５に比較される。０．８７は０．８ ５より大きいので、プロセスはステップ７２６に続行する。ステップ７２６で残 りのインデックスがあると判断されるので、制御はステップ７２８に渡され、ｊ は１増分される。ステップ７２４に戻ると、今度はＰＢ（ｉ）＝０．８７はＲＴ （２）＝０．９０より少ないので、制御は、訂正係数インデックスの探索を終了 するステップ７３０に渡される。 図３１は、テーブルの中にインデックスが指定されるルックアップ・テーブル で任意の値を探す方法を図解するフローチャートである。図３１では、第１の方 法に従って訂正係数を求めるために、２であるインデックスｊが、ＣＴ内で対応 するエントリを探すために使用される。ＣＴ内の第２位置から読み取り、訂正係 数はステップ７３６で−２であると判断される。したがって、ＭＢ（ｉ＋１）の ｑ−レベルは、−２により変更される。同様にして、ＰＢ（ｉ）＝１．１２の場 合、インデックス７は、ＣＴ内で７盤目の位置にある訂正係数が３となるように 、ィンデックス７はＰＢ（ｉ）より大きいＲＴ内の第１エントリに対応する。こ のようにして、ＭＢ（ｉ＋１）のｑ−レベルは、３によって、例えば３をＭＢ（ ｉ＋１）に追加することによって変更される。 第２訂正係数決定方法は、再符号化されたマクロブロックの集合のパーセンテ ージが訂正係数を求める際の第２パラメータとして使用されるという点を除き、 第１の方法と類似したプロセスを使用する。さらに、テーブルから訂正係数を読 み取る代わりに、訂正係数はマトリックスから読み取られる。再符号化されたマ クロブロックの集合のパーセンテージまたは再符号化されていないマクロブロッ クの集合のパーセンテージを使用することにより、フレームの系列の最初でさら に漸進的な訂正を行うことが可能で、必要なら、最後でさらに重要な変更を加え ることができる。これにより、システムは、量子化器モデルと作成されたビット の実際の数の間の変化量をさらに正確に訂正できる。再符号化されるために残さ れなければならないマクロブロックの集合の数と訂正の意義の間の反転する有意 性を使用し、マクロブロックの１つの集合での課題評価がマクロブロックの別の 集合での過少評価により相殺されると仮定することにより、不必要な訂正は回避 される。 第２訂正係数方法の訂正係数マトリックスＣＴＭの例として、ＣＴＭは以下の ように定義される。 フレームの系列の最初で、概算比が必要なビットの数の課題評価を示す場合、す べての未使用ビットを次のスライスにただちに再割当てする必要はない。未使用 ビットがＭＢ（ｉ＋１）によりすぐに消費されたなら、概算されたより多くのビ ットを消費したｋ≧ｉ＋１であるＭＢ（ｋ）によりＭＢ（ｋ＋１）は不必要に高 い量子化レベルになるように強制されるだろう。未使用ビットは、必要とされる までＭＢ（ｉ）から再符号化プロセスに持ち越され、ＭＢ（ｋ）により使用され る。 図３２は、概算比およびマクロブロックの残りの未再符号化集合の数の両方を 使用してどのように訂正係数が計算されるのかを図解するフローチャートである 。必要となるビット数の過大評価の場合、つまり訂正係数ｊがＰＢ（ｉ）＝０． ８７の場合に２に等しくなると、以前に判断されていた場合、図３２のステップ ７４４では、再符号化プロセスの最初のパーセントで過大評価が発生したのかど うかを判断する。ＣＴＭの（２、１）での要素は−１であるため、訂正係数とし て選択される。これにより、第１の方法では−２であった、再符号化プロセスの 初期の訂正効果が弱められる。しかしながら、再符号化プロセスの９９パーセン トが実行され、概算比がＰＢ（ｉ）＝１．１２となる場合、３である要素（９９ 、７）が選択され、それにより再符号化プロセスの最後で完全に訂正が行われる 。 図２７Ａ−２７Ｃに戻って参照すると、事前に割り当てられたｑ−レベルが設 定されたフレームは、集合内のマクロブロックの数が１つのスライスの中のマク ロブロックの数に等しい別の例として図解されている。ビット概算数ＥＢ（ｉ） は前述のように計算され、ＭＢ（ｉ）の速度制御プロセスで使用されるメモリの 中にロードされ、図２７Ａのマクロブロックｉ、およびＭＢ（ｉ）が実際に再符 号化される。作成ビット数ＧＢ（ｉ）が求められ、概算比が計算され、訂正係数 △（ｉ）が探される。図２７Ｂに示されるように、それから、ＭＢ（ｉ＋１）の マクロブロックが△（ｉ）によって訂正され、プロセスがＭＢ（ｉ＋１）に反復 される。図２７Ｃは、ＭＢ（ｉ＋１）の長さが概算、計算され、その概算比が求 められた後のＭＢ（ｉ＋２）の変更を示す。このプロセスは、すべてのマクロプ ロックおよび部分的なマクロブロックが再符号化および訂正されるまで継続する 。 図２７Ａおよび図２７Ｄに参照して、さらに例が指定される。この例では、集 合ごとのマクロブロックの数は、２つのスライスの中のマクロブロックの数であ る。ＥＢ（ｉ）、ＧＢ（ｉ）、およびＰＢ（ｉ）を計算した後で、２つのスライ スを構成するＭＢ（ｉ＋１）のマクロブロックが、図２７Ｄに図解されるように 、△（ｉ）によって訂正される。この再符号化および訂正のプロセスは、すべて のマクロブロックが再符号化されるまで前記例でのように継続する。 再符号化プロセスによって引き起こされる変化は、図２８Ａおよび図２８Ｂに 図解される。最初は、フレームＮの２つの等しいサイズの領域、領域Ａおよび領 域Ｂが、ほぼ等しい数のビットを使用して符号化される。ユーザは、領域Ａの品 質が劣化し、領域Ｂの品質が改善されるように指定する。しかしながら、オリジ ナルの符号化に使用されたビット数を再符号化のビット数にできるかぎり近づけ ることが望まれる。フレームＮの再符号化の後、フレームＮには、オリジナル符 号化から作成された同じ数のバイトが格納されるが、領域Ａは少ない数のビット でコード化され、領域Ｂは追加されたビットを使用する。これにより、ユーザが 要求したように、領域Ａの品質は劣化し、領域Ｂの品質は改善される。本発明の 速度制御プロセスにより、フレームのビットの再符号化された数は、速度一量子 化器関数を使用し求められたビット概算数のマイナーなエラーを訂正することに より、可能な限リオリジナルのビット数に近くなる。 図２９は、複数のフレームからビットを再割り当てし、ビットを第２の複数の フレームに指定することによる、デジタル・ビデオ・ストリームへの変更を図解 する。個々のフレーム・サイズは変化するが、フレームの集合の総合サイズは同 じままのはずである。速度制御装置を使用することにより、複数のフレームの再 符号化のためのビット数は、ビット概算数を求めるのに使用される速度量子化器 関数がわずかに間違っていても、オリジナルの符号化のビット数と同じになるよ うに微調整できる。 Ｂ．編集ポイントでの復号化作為を回避しつつ再符号化する １．最初に符号化する際に使用された状態にエンコーダを復元する 前記時間品質編集および空間品質編集の動作は、ビデオを新しい量子化器値で 再符号化することによりビデオの品質を変更できるようにする。ただし、再符号 化されたビデオをオリジナル・ビデオに単に置換するだけでは、ビデオの編集ポ イントで目に見える事故として表示される容認できない復号化作為が生じること がある。これらの可視事故は、置換されている新規セグメントにＭＰＥＧ−２構 文のような適切な構文が設定され、編集境界をまたがるバッファの制約が満たさ れていても発生する。この問題は、編集セグメントを先行する最後の参照フレー ム（最後のＰ−フレーム）の不可用性、および編集セグメントの最後にある別の 参照フレーム（最後のＰ−フレーム）から生じる。これにより、編集セグメント の開始時点でのＢ−フレームの第１集合、および編集セグメントの直後のＢ−フ レームの第１集合の符号化と復号化の間に不均衡が生じる。 デジタルで符号化および圧縮されたビデオの編集を適切に実行するには、まず 、希望の編集ポイントに対応する符号化されたビット・ストリーム内の適切な位 置を突き止める必要がある。このプロセスは、符号化されたビデオにアクセスす るためのユーティリティについて記述する第ＶＩ項に前述した。前述したように 、これは、問題のピクチャのビット・オフセットを求めるために、以前符号化さ れたフレーム後とに使用されたビット数を合計することにより実行される。代わ りに、ディレクトリを使用して、符号化されたビット・ストリーム内である特定 なフレームや時間期間の正確なロケーションを示す情報を管理することができる 。 今度は図３３Ａ−３３Ｅを見ると、本発編め位の動作を説明するための例とし て使用されるビデオの時間期間が図解される。図３３Ａでは、符号化されたビデ オのオリジナル・セクション、ｏが図解されている。５ｍ ０ｓから１０ｍ ０ ｓ（５分ゼロ秒から１０分ゼロ秒）の符号化された時間期間をビデオの別のセク ションで置換することが望ましい。図３３Ｂでは、図３３Ａの符号化されたビデ オに置換されなければならない符号化されていないビデオＮの新しいセクション を図解する。図３３Ｂおよび図３３Ｃの破線は符号化されていないビデオを表す のに使用され、図３３Ａ、図３３Ｄ、および図３３Ｅ中の実線は符号化されたビ デオを表すのに使用される。 図３３Ｂに図解される新規ビデオのセクションだけが、ＧＯＰが以前のＧＯＰ を参照し、図３３Ａに図示されるビデオに置換される正常なＭＰＥＧ−２モード を使用して符号化されると、ＭＰＥＧ−２ビデオ圧縮で使用される双方向復号化 に必要な正確な参照フレームが欠如しているため、復号化作為が、５ｍ ０ｓと １０ｍ ０ｓで存在するだろう。この問題は、ＧＯＰの最初は以前のＧＯＰに戻 って参照するが、ＧＯＰの最後は次のＧＯＰに進んで参照しないという事実のた め、本発明により異なって処理される５分ポイントと１０ポイントの両方で存在 する。 ＧＯＰの最初で、復号化作為は、ＧＯＰの最初の２つのＢ−フレームの参照フ レームとして使用される先行するＧＯＰの最後のＰ−フレームを作成し直すこと によって妨げられる。これは、例えば、オリジナル・ビデオの１つのＧＯＰを挿 入されるビデオの最初に格納することにより達成され、この追加されたビデオは 、図１の４ｍ ５８．５ｓから４ｍ ５９ｓに示される。例中、１ＧＯＰは１秒 の２分の１に等しい。ただし、ＧＯＰには他の時間期間も可能である。エンコー ダは、このセクションの間、４ｍ ５９ｓ直前にＧＯＰの最後のＰ−フレームを 作成するために、オリジナル符号化に使用されたのと同じ量子化器値で再実行さ れる。最後のＰ−フレームを除き、このビデオの短いセクションの再符号化から 生じるすべての情報が廃棄できる。 編集ポイントの最後での復号化作為を妨げるために、オリジナル・ビデオの１ 秒期間（例えば、図３３Ｃの１０ｍ ０ｓから１０ｍ １ｓ）が置換される新規 ビデオの最後に付け加えられ、この１秒セグメントは、オリジナル符号化の間に 使用されたのと同じ量子化値を使用して符号化される。この１秒期間がビデオの 最後に追加されると、１０Ｍ ０ｓマークを超えた直後の２つのＢ−ピクチャは 、１０ｍ ０ｓが２つのＧＯＰの分割ポイントであると仮定して、編集後には編 集前とはオとなる参照ピクチャに戻って参照する。例は、２分の１秒またはビデ オの１秒期間を新規セクションに追加するとして記述されたが、概念はＧＯＰの 追加に一般化できる。 最後にある編集ポイントが現在１０分マークにあるので、復号化作為が１０分 マークに現れなくなっても、復号化作為が１０ｍ １ｓで生じるかどうかを考え なければならない。１０ｍ １ｓマークの直後の２つのＢ−フレームは、それら は以前参照したのと本質的に同じ参照フレームに戻って参照するので、可視復号 化作為は生じない。１０ｍｓ ０ｓの直後の２つのＢ−フレームが、以前参照し たのと同じ参照フレームに戻って参照しなくても、２つのＢ−フレームは再符号 化されたので、新しい参照フレームを適切に参照する。したがって、１０ｍ ０ ｓポイントまたは１０ｍ １ｓポイントで可視復号化作為は存在しない。 図３３で最後に追加された２つのＧＯＰ（１秒）は最後のＰ−フレームがオリ ジナル符号化にほぼ同等になるにはじゅうぶんな時間である。１０分ポイント後 にオリジナル・ビデオを再符号化する際にまったく同じ量子化器値が使用される と保証できるならば、正しく符号化された参照ピクチャを適切に作成するには、 １ＧＯＰ（２分の１秒）でじゅうぶんなはずである。ただし、適切な品質を保証 するには、２つのＧＯＰが望ましい。最初に使用されたのと同じ量子化器値を使 用することが望まれる場合にも、実際には、オリジナルの量子化器値からマイナ ーな偏差が生じる可能性があるため、２つのＧＯＰが望まれる。 ４ｍ ５８．５ｓから４ｍ ５９ｓおよび１０ｍ ０ｓから１０ｍ １ｓに使 用されるビデオのオリジナル期間に加えて、図３３Ｃは、４ｍ ５９ｓから５ｍ ０ｓの追加オリジナル・ビデオを図解する。このビデオは、復号化作為を防ぐ には必須ではないため、最後のＰ−フレームを決定するための２分の１秒は、５ ｍ ０ｓマーク直前で（例えば、４ｍ ５９．５ｓから５ｍ ０ｓ）使用できる 。しかし、品質の手作業による変更は編集境界を越えて影響を及ぼすとオペレー タが気付く機会をなくすために、４ｍ ５９ｓから５ｍ ０ｓ期間が新しいビデ オに追加される。この誤解の原因は、ＭＰＥＧ ＧＯＰの始めにあるフレームの コード化順序はＩＢＢであるが、フレームはＢＢＩとして表示されるという事実 である。１秒期間は、その時間期間のオリジナル符号化の間に使用されたのと同 じ量子化器値を使用して符号化される。以前使用した量子化器値を得る方法を後 述する。１秒期間が４ｍ ５９ｓから５ｍ ０ｓに追加されなかった場合、図３ ３Ｄに図示される置換符号化ビデオは、５ｍ ０ｓで開始する。 図３３Ｃのビデオの符号化の結果生じる有効なデータは、４ｍ ５９ｓから１ ０ｍ １ｓまで実行する置換データ、Ｓとして図３３Ｄに図解される。それから 、この置換データＳは、図３３Ｅに示される最終ビット・ストリームを生じさせ る結果になる図３３Ａに示されるオリジナル符号化データに置換される。 図３３Ａに示される符号化されていない情報と符号化情報は、実施例中のビデ オであるが、音声または符号化された情報を復号化するために以前の情報または それ以降の情報、あるいはその両方を使用する他のタイプの情報となることもあ る。 図３３Ｂのビデオの新規セクションは任意のビデオ・ソースから得られ、前記 の時間編集プロセスまたは空間編集プロセスによって作成されるビデオである場 合がある。図３３Ｃの４ｍ ５９ｓから５ｍ ０２および１０ｍ ０ｓから１０ ｍ １ｓまでのオリジナル・ビデオは、オリジナル符号化に使用されたのと同じ 量子化器値が設定されたオリジナル・ビデオである。図３３Ｃでは、新規ビデオ Ｎの両端にあるこのビデオは、時間編集プロセスを使用し、最後のセクションの 品質を、時間手動編集の項で説明したような保護されているに設定するだけで得 られ、量子化値が同じまま保たれなければならないことを意味する。代わりに、 図３３Ｂのビデオは図３３Ａのビデオに無関係なまま完了され、異なった長さと なる場合がある。さらに、本発明を、ビデオのセクションを切り出すためであっ て、新規ビデオを追加するためではなく使用することもできる。この場合、図３ ３Ｂにはビデオは存在せず、「Ｎ」セグメントとその対応する符号化は、図３３ Ｃ−３３Ｅにはなくなるだろう。編集セグメントの前の最後のＰ−フレームが適 切に構築され、オリジナル・ビデオの２分の１秒から１秒（１または２つのＧＯ Ｐ）が符号化される新しいビデオの最後に追加され、オリジナル符号化に使用さ れるのと同じ量子化器スケールで符号化される限り、可視復号化作為はどのよう な状況でも発生しない。 図３４は、図３３Ａ−図３３Ｅに関して記述されるプロセスを図解するフロー チャートである。開始後、ステップ７８０はビデオを圧縮されたフォーマットに 符号化し、図３３Ａに示される符号化されたビデオを作成する。ステップ７８２ では、符号化ビデオイ置換されなければならない符号化されていないフォーマッ トを取るビデオの新規セクションが突き止められる。ビデオのこの新規セクショ ンは図３３Ｂおよび図３３ＣでＮとして示され、オリジナル・フレームに関係す るシーン、関係しないシーンを表すか、あるいはオリジナル・フレームとは異な る時間期間が設定される。置換対象のビデオの開始ポイントと終了ポイントは、 それぞれ５ｍ ０ｓと１０ｍ ０ｓである。ただし、置換対象の最終的な符号化 の実際の開始ポイントおよび終了ポイントは、図３３Ｄに図解されるように異な る場合がある。 ステップ７８４では、編集ポイント５ｍ ０ｓと１０ｍ ０ｓでの復号化作為 を妨げる目的で、前記の理由からビデオの符号化された新規セクションの両端に 、符号化されていないビデオの期間が追加される。これらの追加された期間は、 ４ｍ ５９ｓから５ｍ ０ｓおよび１０ｍ ０ｓから１０ｍ １ｓである。ただ し、４ｍ ５９ｓから５ｍ ０ｓの期間は必須ではない。 ステップ７８６では、編集ポイントの直前のＰ−フレームが決定される。図３ ３Ｅで置換中のビデオは４ｍ ５０ｓから１０ｍ １ｓなので、４ｍ ５０ｓの 直前の最後のＰ−フレームを決定する必要がある。このＰ−フレームは、Ｐ−フ レームを最初に符号化するために使用された量子化器値で、４ｍ ５８．５ｓか ら４ｍ ５０ｓの時間期間エンコーダを実行することにより決定される。量子化 器値は、図１０Ａまたは図１０Ｂのどちらかに図示されるフォーマットを持つマ クロブロック・ログ・ファイルからオリジナルの量子化器値を検索することによ り求められる。しかし、映画全体の各マクロブロックの量子化器値は大量の記憶 容量を消費するので、量子化器値を記憶するためには望ましくない場合がある。 代替策として、量子化器値は、Ｉフレーム、Ｐフレーム、およびＢフレームのビ デォ・バッファに関係する速度制御ステータス、ａｌｌｏｃａｔｅｄ＿ｂｉｔと して図９Ｂのピクチャ・レイヤ・ログ・ファイルに示されるピクチャ用ターゲッ ト・ビット、図９Ｃでｍｅａｎ＿ａｃｔｉｖｉｔｙとして記憶されるピクチャの 活動レベル、および符号化の間にエンコーダにより計算されるマクロブロックの 活動レベルを使用するだけで作成できる。速度制御ステータスは、それぞれＩビ デオ・バッファ、Ｐビデオ・バッファ、およびＢビデオ・バッファの速度制御ス テータス情報を記憶する、Ｓ１＿ｉ、ｓ２＿ｉ、ｓ１＿ｐ、Ｓ２＿ｐ．Ｓ１＿ｂ 、およびＳ２＿ｂとして図９Ｃの底部に示されるピクチャ・レイヤ・ログ・ファ イルに記憶される。ビデオ符号化技術の当業者は、本明細書に記載される教示に 基づき、不適当な実験を行わずに希望のＰ−フレームの量子化器値を決定する。 参照フレームの量子化器値または符号化された参照フレーム自体、あるいはそ の両方を求める代わりの方法として、符号化された参照ストリーム内の参照フレ ームの符号化されたバージョンは、既知の方法で復号化できる。さらに、必要と なる参照フレームを得るためのそれ以外の方法も実行できる。 参照Ｐ−フレームが得られた後、ビデオは、終了セクションのオリジナル符号 化と同じ量子化器レベルを維持しつつ、ステップ７８８で符号化される。量子化 器レベルは、前述のように得られる。その結果生じる符号化されたビデオは、図 ３３Ｄに図解される。 それから、ステップ７９０では、新規に符号化されたビデオで最初に符号化さ れたビデオを置換し、図３３Ｅに図解されるように、最終製品が得られる。置換 された符号化ビデオを含むこの符号化されたビデオは、編集ポイントでは、最小 の復号化作為を有する。 ２．閉鎖ピクチャのグループ・モードで再符号化する 図３３Ａ−図３４に記述される手順の代替策として、依然として復号化作為を 削減しながら、新規ビデオの始まりの符号化に異なった手順を実行することがで きる。この手順では、ビデオのトレーリング・エッジの処理方法は、図３３Ａ− 図３４に関して前述したのと同じである。 この代替実施例の例として、図３３Ａをオリジナルの符号化ビデオとして、図 ３３Ｂを図３３Ａに置換される符号化されていないビデオとして使用する。オリ ジナルの符号化されていないビデオは、図３３Ｂの始まりのエッジに追加され、 図３３Ｃに記述されるように、対応するオリジナルの符号化されていないビデオ の２つのＧＯＰ（１秒）が図３３Ｂの最後に追加され、符号化されるビデオは図 ３５Ａに図示される通りである。 エンコーダが、第２参照ピクチャを使用しないでＢ−フレームのビットを増加 しつつ、ビデオの最初のＧＯＰの閉鎖ＧＯＰモードで図３５Ａのビデオを符号化 する場合、開始編集ポイントの可視復号化作為は排除される。１０ｍ ０ｓから １０ｍ １ｓまでのオリジナル符号化に使用されたのと同じ量子化器レベルを使 用した最終部分の符号化は、図３３Ａ−３４に関して前述されたのと同じであり 、結果として生じる符号化されたビデオは図３５Ｂに示される。閉鎖ＧＯＰモー ドは、第６．３．８項のＭＰＥＧ−２規格 に記述される。閉鎖ピクチャのグループ・モード・フラグは１にセットされ、符 号化されたＢ−フレームは後方予測だけしか使用しないで符号化され、以前のＧ ＯＰの参照フレームを使用しなかったことを示す。しかしながら、双方向フレー ムに通常使用される参照フレームの１つが使用できないため、品質の劣化を排除 するために手順が実行されない限り、Ｂ−フレームの品質は劣化する。 閉鎖ＧＯＰモードで符号化されたＢ−フレームの品質劣化の問題を解決するた めに、一方向のみの予測が設定されるＢ−フレームのビット数は、フレームの品 質が大幅に劣化しないように、増加される。Ｂ−フレームには一方向の予測しか 設定されていないので、ビット数は、ほぼ、通常のＰ−フレームに使用されるビ ット数まで増加されるのが望ましい。ただし、ビット数は、希望されるピクチャ 品質に応じて変化する可能性がある。 図３５Ｂの符号化されたビデオは、図３５Ｃに図解されるように、以前に符号 化されたビデオを直接置換できる。 閉鎖ＧＯＰモードを使用するプロセスを記述すフローチャートは、図３６に図 解される。図３６では、ビデオはステップ８００で圧縮フォーマットに符号化さ れ、符号化されたビデオに置換されなけばならないビデオの新規セクションは、 ステップ７８０およびステップ７８２に関連して記述されるのと同様の方法で決 定される。次に、ステップ８０４で、必要に応じて、符号化されていないオリジ ナル・ビデオのＧＯＰ（１または２つのＧＯＰ）がビデオの新規セクションのト レーリング・エッジに追加される。 それから、ステップ７８６でビデオが符号化される。新規ビデオの最初のＧＯ Ｐは、閉鎖ピクチャのグループ・モードで符号化され、参照フレームを見失って いる双方向で予測されるフレームのビット数は、ほぼ、一方向に予測されたフレ ームＰ−フレームに使用されるビット数まで増加される。符号化されたビデオの ビット総数が同じでとどまらなければならない場合は、双方向フレームに必要と なる余分なビットを他のフレームから削除しなければならない。これは、空間手 動編集または時間手動編集、あるいはその両方に関する項に前述されるように達 成できる。ビデオの新規セクションの残りは、通常、符号化される。最後に、新 規ビデオのトレーリング・エッジでの追加された期間は、編集セグメントの終了 ポイントで復号化作為を妨げるために、追加された期間のオリジナル符号化の間 に使用されたのと同じ量子化器値を使用して符号化される。最後に、新規に符号 化されたビデオは、ステップ８０８で最初に符号化されたビデオに置換される。 前記および図３４と図３６に図解されるプロセスのいずれかにより、代替符号 化セクションを含む符号化されたビデオの最終バージョンには、少ない数の復号 化作為となるため、可視ビデオ事故は削減され、復号化作為を防ぐためになんの 訂正処置も講じられなかった場合と比較して、ビデオの品質が改善される。前記 の例は、ＧＯＰの境界での編集ポイントに関係する。しかし、前記教示は、ＧＯ Ｐ境界にはない編集にも適用できる。 復号化作為を減少させるためのプロセスは、再生ＶＴＲ５１およびビデオ・エ ンコーダ５０とともに、ワークステーション１０、３０、および４０を使用して 実行される。ただし、他のハードウェア代替策も可能であり、本発明の前記面は 、任意の汎用コンピュータまたはプロセスを実行するための特殊ハードウェアを 使用して実現できる。編集ポイントを決定し、符号化されるビデオの新規セクシ ョンの最後に追加されるビデオを決定するために使用される計算は、ワークステ ーション１０またはワークステーション３０のどちらかで実行される。 ＩＸ． 符号化に使用される速度量子化器モデリング 符号化プロセスから生じるマクロブロックの系列を表すために必要となるビッ ト数を正確に概算するには、フレームの通常の量子化レベルを表すいくつかの量 子化レベルを使用し、フレームを事前符号化することができる。それから、フレ ームは、他の量シ化レベルだけではなく代表的な量子化レベルを使用して、実際 に符号化できる。図１Ａに図解される実施例では、ワークステーション１０が事 前決定された量子化レベルを、ビデオ符号化デバイス５０にロードする。それか ら、ビデオ符号化デバイス５０は、事前符号化を実行する。量子化モデルを作成 するもっとも正確な方法では、それぞれ考えられる量子化レベルで各フレームを 符号化し、結果として生じる使用されるビット数の統計を記録する必要があるだ ろう。しかし、このプロセスには、未処理パスでのｎ回のパスが必要となるだろ う。この場合、ｎは未処理ビデオを符号化するために使用される量子化レベルの 総数である。この方法は桁外れに長いので、本発明は、従来の方法に必要となる 時間の一部で最適方法に類似した結果を出す改善された方法を実現する。方法で は、代表的なビット伝送速度対量子化レベルの平均が、事前符号化フェーズの間 に複数のフレームのそれぞれに計算できるように、複数のフレームの多様な部分 にさまざまな量子化レベルを割り当てる必要がある。これで、正確な量子化レベ ル対ビット伝送速度の統計を作成しつつ、各フレームのｎ−１事前符号化が節約 される。その後、これらの統計は補間され、その量子化レベル対ビット伝送速度 が事前符号化プロセスでは決定されなかったマクロブロックによって使用される ビット数が概算される。２つの代替の実施例では、方法は、未処理ビデオからの 大多数のフレームまたは未処理ビデオのすべてのフレームを事前符号化する。 図３７Ａでは、量子化レベル対ビット伝送速度の２ポイント線が複数のフレー ムに対して作成され、結果が複数のフレームに記憶されるように、事前符号化プ ロセスでマクロブロック単位で２つの異なった量子化レベルが割り当てられる未 処理ビデオのフレームが示される。代替実施例では、量子化レベルが、マクロブ ロックのグループでまたは片で割り当てられる。図３７Ｂでは、位置に基づいた 統計上の異常を回避するために、フレーム内のさまざまな位置に量子化レベルが 割り当てられるフレーム全体で、４つの量子化レベルが均一に分散されているの が示される。図示されたフレーム内では、各行ｊで、行の最初の量子化レベルは ｑj mod4である。この結果、４ポイントの量子化レベル対ビット伝送速度の曲線 が生じる。図３７Ｃには、図３７Ｂと同じプロセスが示されるが、量子化レベル はブロック様式で割り当てられる。このプロセスの単独パスにより正確な量子化 レベル対ビット伝送速度曲線が作成されるが、このプロセスは、各量子化レベル で各フレームを分析することにより収集される統計に近づくさらに正確な統計を 作成するために、複数のフレームで何回も反復される。 図３８では、複数のフレームの量子化レベル対ビット伝送速度の特徴を突き止 める一般的なプロセスが図解される。プロセスは、ステップ８５０で開始し、事 前符号化される未処理ビデオを表すビデオ信号を入手することにより、ステップ ８５２で続行する。ステップ８５４では、プロセスは、第１のフレーム、ｉがフ レーム・インデックスであるｉ＝１が事前符号化されなければならないことを意 味する。ステップ８５６に続いていくと、フレームi=1の量子化レベルが、統計 上の異常を防ぐためにフレーム全体で均一に割り当てられている。ステップ８５ ８ では、フレームi=1が、ステップ８５６で割り当てられた量子化レベルを使用し て事前符号化される。ステップ８５８の結果は、ステップ８５６で割り当てられ る各量子化レベルのビット伝送速度がフレームi=1に関して記録されるように、 ステッブ８６０で求められる。ステップ８６２では、方法が、複数のフレームの すべてが事前不負う化されたかどうかを判断する。事前符号化されたのは１つの フレームだけなので、プロセスはステップ８６６に続行し、フレーム・インデッ クス、ｉに１を加えることで、符号化対象のフレームとして第２フレームを指定 する。それから、制御は、量子化レベルをフレームi=2に割り当てるステップ８ ５６に戻る。ステップ８５６、８５８、８６０および８６２でビット伝送速度を 割り当て、事前符号化し、求めるプロセスは残りすべてのフレームに続行する。 ステッブ８６２で、複数のフレームのすべてが事前符号化されたかどうかが判断 されると、プロセスはステップ８６４に移動して終了する。ステップ８６４に到 達したら、量子レベル対ビット伝送速度曲線は、ステップ８５６で割り当てられ た量子化レベルおよびその対応するビット伝送速度を使用して近似される。 未処理ビデオの複数のフレームの量子化レベル対ビット伝送速度曲線を作成し たら、事前符号化プロセスは、未処理ビデオの部分を、デジタル記憶装置媒体、 つまりコンパクト・ディスクで適合させるために符号化する符号化プロセスに移 行する。未処理ビデオ・セグメントの内の１つ、複数、大多数またはすべては、 この第２フェーズで符号化できる。未処理ビデオ・セグメントを自動的に符号化 する必要がある場合には、エンコーダは、セグメント内の各フレームのマクロブ ロックに割り当てられる量子化レベルを求めるために、対応する量子化レベル対 ビット伝送速度曲線と結び付けられた各マクロブロックの活動基準を使用する。 それから、セグメント中の各フレームが符号化され、その結果生じるビット数は 、割り当てられた量子化レベルに基づいて、ビット概算数と比較される。結果と して生じるビット数が予想ビット数と大幅に異なる場合には、自動エンコーダが 、符号化されるマクロブロックの次の集合の量子化レベルを変更することにより 変動量を補正しようとする。この順次プロセスにより、自動エンコーダは、ター ゲット・ビット数に一致させるために、未処理ビデオ全体のセグメントを符号化 できるようになる。 加えて、ビデオ・シーケンスの後の方のフレームの量子化レベル対ビット伝送 速度曲線は、結果として生じる符号化されたデジタル・ビデオ全体の品質を調整 するために使用できる。図３９に示されるように、フレームＦは、同じ量子化レ ベルのために、フレームＭより少ないビットを作成すると知られている。したが って、フレームＭは、フレームＮの中と同じ品質イメージを作成するためにさら に多くのビットを必要とする。フレームＮが、その割り当てられたすべてのビッ トを使用せずに希望の品質で符号化されると、エンコーダは、同じ品質を得るた めにユニット時間ごとにさらに多くのビットを必要とするフレームＭを符号化す る際に使用するために、余分なビットを繰り越すことができる。この機能は、Ｍ ＞Ｎ＋１のときに単独フレーム先読みバッファだけしか備えていないシステムで は利用できない。 Ｘ．データ構造を使用して音声、ビデオ、およびサブピクチャ・デジタル信号を 結合する 本特許明細書の前記部分は、おもに、符号化および圧縮されたデジタル音響映 像信号を作成するために、音響映像情報の符号化中に使用される技法に関する。 ただし、音声情報およびビデオ情報が、結合され、記憶され、以降、テレビ上で のように音響映像情報を作成し直すか、再構築するために復号化されるには、記 憶され、後で復号化できるように符号化された音声情報、ビデオ情報、およびそ の他の情報を結合し、インタリーブする必要がある。音声情報、視覚情報、およ びそれ以外の情報の結合は、図１Ａに図解されるワークステーション２０で発生 するフォーマット・プロセスとして簡略に前述された。フォーマット・プロセス および結果として生じるデータ構造と信号の詳細について、以下に説明する。 図１Ａを見ると、ＭＰＥＧビデオおよび符号化された音声はディスク２１に記 憶される。さらに、ビデオの上で表示またはオーバレイあるいはその両方が行わ れる字幕またはグラフィック表記あるいはその両方を含むサブピクチャ情報は、 例えば、別個のワークステーションにより初期に符号化され、符号化されたサブ ピクチャ情報は、フロッピーディスク、テープ、またはそれ他のタイプのディス クのようなデジタル記憶装置媒体に記憶される。この記憶されたサブピクチャ情 報は、デジタル記憶装置２２の内の１つによって読み取られ、フォーマット・プ ロセスでディスク２１の中の符号化された音声およびビデオと結合され、ワーク ステーション２０によって１つのデータ・ストリームにフォーマットされる。フ ォーマット・プロセスの出力は、ディスク２１に記憶されてから、デジタル記憶 装置２２のデジタル・テープに書き込まれる。それから、テープが使用され、既 知の光ディスク製造法によって光ディスクを作成する。したがって、本発明は、 音声データと視覚データの符号化に関係するだけではなく、符号化されたデータ 、音声データ、ビデオ・データ、およびサブピクチャ・データを、データ・スト リーム、デジタル記憶装置媒体、およびその上にフォーマットされた音声情報、 ビデオ情報およびサブピクチャ情報を記憶するデータ構造に結合するためのプロ セスおよびシステムにも関係し、さらに復号化プロセスおよび音声情報、ビデオ 情報、およびサブピクチャ情報をユーザまたは消費者に表示するために分離し、 再構築するデコーダにも関係する。光ディスク上のまたはフォーマットされたデ ータの中のデータ構造が、メモリに記憶される情報に関する物理的な編成を伝え る特殊電子構造要素に関係することを注記すべきである。これらの特殊電子構造 要素は光ディスクに記憶され、ビデオオンディマンド・システムに使用できたり 、デジタルア・ビデオ・ディスク・プレーヤーを使用してユーザまたは消費者に 復号化できる。 符号化された音響映像情報用のディスクやそれ以外の記憶場以外のフォーマッ ト構造の特殊な機能を記述する前に、本発明がその上で改善される既知の規格に っいて記述する。ＩＳＯ／ＩＥＣ １３８１８−１は、その中で引用される参考 文献とともに、参照により本明細書に取り入れられるＭＰＥＧビデオおよび音声 のシステム要素を記述する。これ以後ＭＰＥＧシステム記述と呼ぶＩＳＯ／ＩＥ Ｃ １３８１８−１は、ビデオ・ストリームと音声ストリームの基本的な多重化 アプローチを記述する。これらのストリームは、パケッタイズド・エレメンタリ ー・ストリーム（ＰＥＳ）パケットと呼ばれるパケットに分けられる。音声スト リームとビデオ・ストリームを含むさまざまなストリームからのこれらのパケッ トには共通の時間ベースがあり、単独ストリームに結合される。ＭＰＥＧシステ ム記述では、１つまたは複数のプログラムを１つまたは複数の独立した時間ベー スと結合し１つのストリームにする移送ストリームの使用についても記述される 。ＭＰＥＧシステム記述は、複数の基本ストリームを同期させるのに使用される プレゼンテーション・タイム・スタンプ（ＰＴＳ）の使用を記述する。タイム・ スタンプは、一般的に、９０ｋＨｚの単位で、システム・クロック・リファレン ス（ＳＣＲ）、プログラム・クロック・リファレンス（ＰＣＲ）、およびオプシ ョンの基本ストリーム・クロック・リファレンス（ＥＳＣＲ）といっしょに使用 される。ＭＰＥＧシステム記述に則ってデータがどのようにフォーマットされる のかについての詳細の完全な記述は、ＩＳＯ／ＩＥＣ １３８１８−１に記載さ れる。 また、ＩＳＯ／ＩＥＣ １３８１８−１に基づいたフォーマット・プロセスの 使用に加えて、データは、参照により本明細書中に取り入れられる、ＩＳＯ ９ ６６０、１９８８、情報処理−情報交換用ＣＤ−ＲＯＭのボリュームおよびファ ィル構造に従って、フォーマットされ、記憶される。この規格は、ディスク・ボ リューム（音の大きさではなく、ディスクの内容）とファイル構造がどのように 編成されているのかを記述する。 現時点での、音声データ、ビデオ・データ、およびサブピクチャ・データを記 憶するのに使用される光ディスクの実施例は、片面５ギガバイトの容量があり、 総記憶容量が１０ギガバイトになる単層化両面ディスクである。未来のフォーマ ットは、記憶容量を増強するためにマルチレイヤ・ディスクを使用できるように し、読取り専用ディスクの使用に加えて、追記型および上書き型技術も使用でき るようになる。本発明とともに使用される可能性があるディスクの他の面は、参 照により本明細書中に取り入れられる１９９４年９月１３日に提出され、「光デ ィスクおよび光ディスク装置」という題の米国特許明細書０８／３０４，８４９ に記述される。ディスクの外系は１２０ｍｍであるのが望ましい。 図４０では、究極的には、光ディスク上に具備されるワークステーション２０ のフォーマットされた出力の構造が図解される。この構造９００は、引き込み領 域９０２を具備する。引き込み領域には、ディスクから読み取られるデータのそ れ以降の処理を制御する個別フィールドが含まれる。引き込み領域９００に格納 される典型的な引き込み情報が、参照により本明細書中に取り入れられるクック ソン（Ｃｏｏｋｓｏｎ）その他に対する米国特許５，４００，０７７の図３に示 される。 システム領域９０４およびボリューム管理情報９０６は、ＩＳＯ ９６６０に 準拠する。ボリューム管理情報９０６には、一次ボリューム記述子、ボリューム 記述子設定終止プログラム、ディレクトリ・レコード、およびパス・テーブル・ レコードが入る。一次ボリューム記述子には、ディスクがビデオ・ディスクなの か、音声ディスクなのかを示す記述子タイプ、ディスクがどの規格に準拠するの かを示す規格識別子、システム識別子、ボリューム識別子、ボリューム・サイズ 、論理ブロック・サイズ、経路テーブル・サイズなどのようなディスク・ボリュ ームの基本的な情報が含まれる。システム領域のこれらのフィールドとそれ以外 のフィールド、ならびにボリューム管理情報は、ＩＳＯ ９６６０に詳細に記述 され、その記述は簡略さを期すために省略する。さらに、希望する場合は、ＩＳ Ｏ ９６６０に準拠する補足ボリューム識別子がある。 ボリューム識別子設定終止プログラムには、ボリューム記述子タイプ、規格識 別子、およびボリューム識別子バージョンが含まれる。ディレクトリ・レコード には、ＩＳＯ ９６６０に則ったディスクのさまざまなディレクトリお情報が記 憶される。経路テーブル・レコードには、ＩＳＯ ９６６０に記載されるように 、Ｌ−タイプ経路テーブルとＭ−タイプ経路テーブルが含まれる。 ディスク情報ファイル９０８には、ディスクの内容についてのさらなる情報お よび光ディスクをプレイする際にユーザが選択できるメニュー情報が記憶される 。ディスク情報ファイル９０８の詳細は、図４１に関して記述される。 各ディスクには、最高99個のデータ・ファイルまで最小１つのデータ・ファイ ル９１０が含まれる。例えば、ディスク上に２つの異なる音響映像プログラムが ある場合、ディスク情報ファイル９０８には、データ・ファイルの内のどれをユ ーザが使用したいのかを、ユーザが選択するためのメニューを作成するのに必要 な情報が記憶される。データ・ファイルは、図４２−図５６に関して詳細に記述 される。引き出し領域９１６には、ディスク、処理の実行方法、または関係する ディスクに関する情報を記述するそれ以外の情報が記憶される場合がある。 図４１は、図４０のディスク情報ファイル９０８を図解する。ディスク情報フ ァイル９０８には、ファイル管理情報９２０およびユーザが対話するメニューを 構成する情報であるメニュー・データ２２が記憶される。メニュー・データには 、ビデオ・データ、音声データ、およびサブピクチャ・データが含まれる。ファ イル管理情報９２０には、ファイル管理テーブル９２４、ディスク構造情報９２ ６、メニュー構造情報９２８、および複数のメニュー・セル情報フィールド９３ ２および９３４を含むメニュー・セル情報テーブル９３０が含まれる。 ファイル管理テーブル９２４は、ディスク情報ファイルの各面に関係する情報 が含まれる。ファイル管理テーブル９２４内には、ファイル名を識別するために ボリューム管理情報９０６の対応するディレクトリ・レコード内の対応するファ イル識別子と同じ内容を記述するファル名が含まれる。ファイル識別子は、この 場合は、ディスク構造情報ファイルであるファイルのタイプを識別する。論理ブ ロックの下図を使用するファイルのサイズを記述するフィールドがある。本明細 書の執筆を通して、用語「論理ブロック」は、ＩＳＯ ９６６０に定義されるよ うに使用される。多くの論理ブロックを使用するファイル管理テーブルのサイズ 、ファイルの先頭から相対論理ブロック番号を使用するディスク構造情報９２６ の開始アドレス、ファイルの先頭からの相対論理ブロック番号を使用して記述さ れるメニュー構造情報９２８の開始アドレス、ファイルの先頭からの相対論理ブ ロック番号を使用するメニュー・セル情報テーブルの開始アドレスを記述するエ ントリがある。メニュー・データがない場合には、このフィールドの値はゼロに なる。ファイルの先頭からの相対論理ブロック番号を使用して、メニュー・デー タ９２２の開始アドレスを記述するフィールドがある。メニュー・データが存在 しない場合、このエントリはゼロである。 ファイル管理テーブル９２４には、メニュー・データ用のビデオのビデオ属性 を記述するフィールドも含まれる。この情報には、ビデオ圧縮モードがＭＰＥＧ −１であったのか、ＭＰＥＧ−２であったのか、ビデオのフレーム速度（毎秒２ ９．９７フレームか、毎秒２５フレームのどちらか）、ディスプレイ画像比が３ ／４なのか、９／１６なのかを示すフィールド、およびパン・スキャン・モード とレター・ボックス・モードの両方が許可されていることを示したり、パン・ス キャン・モードが許可されているが、レター・ボックス・モードが禁じられてい ることを示したり、あるいはパン・スキャン・モードが禁じられており、レター ・ボックス・モードが許可されていることを示すディスプレイ・モード・フィー ルドが含まれる。 ビデオ属性を記述するフィールドと同様に、ファイル管理テーブル９２４内に は、音声ストリームを記述するフィールドもある。このフィールドには、音声が ドルビーＡＣ−３に従って符号化されたのかどうか、音声がＭＰＥＧ音声なのか 、あるいは音声が線形ＰＣ音声（４８ｋＨｚで１６ビット）なのかを含む音声コ ード化モードの表示が含まれる。また、音声がモノラルなのか、ステレオなのか 、あるいはデジタル・サラウンドなのかのインジケータもある。 ファイル管理テーブル９２４には、さらに、メニュー・データ９２２のサブピ クチャ・ストリーム属性を記述するフィールドも含まれる。このフィールドは、 ラン・レングス・サブピクチャ・コード化モードが、後述するように、サプ・ピ クチャに使用されることを示す。ファイル管理テーブル９２４には、メニュー用 のすべてのサブピクチャで使用される１６セットのカラー・パレットを記述する フィールドもある。１から１６までのパレット番号には、輝度信号Ｙ、カラー差 異信号Ｃｒ＝Ｒ−Ｙ、およびカラー差異信号Ｃｂ＝Ｂ−Ｙが含まれる。 ディスク構造情報９２６には、ディスク上に記憶されるビデオ・ファイルと音 声ファイルの構成情報が含まれる。ディスク構造情報９２６には、ファイル名を 識別するのに使用されるディレクトリ・レコード内の対応するファイル識別子と 同じ内容を記述するファイル名が含まれる。ディスク構造情報ファイルとしてフ ァイルを識別するファイル識別子フィールドがある。図４０に示されるデータ・ ファイル９１０および９１４のようなディスク上のデータ・ファイルの番号を示 すフィールドもある。また、ファイルにビデオ情報と音声情報の両方が記憶され るのか、それとも音声情報だけが記憶されるのか、およびファイルがカラオケ・ ファイルだえるかどうかを含む、データ・ファイルのそれぞれのタイプを示すフ ィールドもある。 ディスク構造情報９２６には、データ・ファイル内のサブピクチャ情報と音声 情報を記述するフィールドもある。このフィールド内では、サブピクチャ・チャ ネルの数が示される。各サブピクチャ・チャネルは、異なったサブピクチャ言語 のようなさまざまなサブピクチャ情報を表示するのに使用冴える。また、音声ス トリームの数の表示、チャネル番号順の各サブピクチャ・チャネルの言語コード の表示、音声ストリーム番号順の音声ストリームの言語コードの順次記述、およ び親管理およびファイルの角度情報の記述もある。親管理情報は、表示される情 報のある特定のシーケンスの親レベルを記述するのに使用される。これは、シー ケンス内に含まれる特殊セルの最大親レベルである。レベルは１から５まで変化 し、レベルが高いほど、見聞きすることでの制約が多くなる。シーケンスとセル 、および親管理スキームの詳細は、以下に説明する。ビデオ・シーケンスの角度 の数を記述するフィールドもある。例えば、音楽ビデオに、音楽ビデオ全体を通 して３つの異なるカメラ・ビューがある場合、ユーザは、どの特定のカメラ角度 を表示するのか選択できる。また、シーケンス内のプログラム数を示すフィール ドもある。 メニュー構造情報９２８には、各メニュー・タイプの開始セル番号が含まれる 。ディスプレイ・シーケンスには複数のセルが入っている。例えば、１つのシー ケンスに、最高２５６個のセルを入れることが可能である。セルとは、後述する 再生情報（ＰＢＩ）パックと次のＰＢＩパックの直前のパックの間のＧＯＰ（ピ クチャのグループ）の整数である。ビデオ用データは、データを連続して再現す る必要があるレコード・ユニットとしてセルの中に分けられる。セルには、ディ スプレイのための情報が含まれ、その目的に応じて分割される。セルの中の第１ 音声パックと第１サブピクチャ・パックが、セルの先頭にあるＰＢＩパックの後 ろで録画されるビデオ・ヘッド・パック内のＰＴＳ近くにプレゼンテーション・ タイム・スタンプ（ＰＴＳ）を具備することが望ましい。異なったセルは、希望 の角度とプログラムの親の制限に応じて表示される。例えば、若い聴衆には不適 切な映画のセクションがあったと仮定する。表示できる親管理レベルに応じて、 セルを共有する２つのシーケンスがある可能性がある。例えば、制約を受けてい ない表示の場合、セル１、２、３および５がある特定のシーケンスに表示できる 。制限されたレベルの表示の場合、シーケンスのために表示されるセルは、１、 ２、４および５である可能性がある。 さまざまな角度に関して、同時に進行し、再現のために必要となるその時間が 実質上等しい複数のカメラ角度で各ビデオを録画させることができる。それぞれ の角度は、角度セルと呼ばれる１つのセルで構成される。同時に先行する複数の 角度セルの集合が、角度ブロックと呼ばれる。角度ブロックが、シーケンス内の 複数のロケーションで定義されていると、角度セルの数と各角度番号のカメラ角 度は、角度ブロックを通して同じでなければならない。 メニュー・セルとは、ユーザにボリューム内の各ビデオ・ファイルまたは音声 ファイルの内容を知らせるメニュー画面から構成されるセルである。メニュー・ セルの集合は、メニュー用データとしてディスク情報ファイル内にいっしょに記 録される。メニュー・タイプとも呼ばれるメニュー・セル・タイプは、タイトル ・メニュー、プログラム・メニュー、音声メニュー、サブピクチャ・メニュー、 および角度メニューに分類される。メニュー画面には、メニューのビデオが含ま れる。再現装置の画面上に表示される選択用アイテムは、メニュー・セルのサブ ピクチャ・データとして記録される。 メニュー・セル情報テーブル９３０は、その上に図４１の９３２と９３４のよ うな複数のメニュー・セル情報が記憶されるテーブルである。メニュー・セル情 報は、複数のフィールドを含む。第１フィールドは、ディスクの情報のコピーが 許可されているかどうか、親管理のレベル、メニューがタイトル・メニュー、プ ログラム・メニュー、音声メニュー、サブピクチャ・メニューまたは角度メニュ ー、およびメニューの言語コードのコードであるかどうかのようなメニュー・セ ル・タイプを示す。各言語にはコードが割り当てられ、言語コード・サブフィー ルドに表示される特殊コードが、メニューとともに使用される言語を示す。 メニュー画面上でサブピクチャにより表示される選択アイテムの開始番号およ び選択アイテムの数を記述するフィールドもある。選択アイテム開始番号は、メ ニュー画面上の選択アイテムの最小数を記述し、メニューの次のページが存在す るかどうか、選択できる１と１６の間のアイテムの数を記述する番号を示すフィ ールドがある。メニュー・セル情報は、メニュー・セルの開始パック内のシステ ム・クロック・リファレンス（ＳＣＲ）の下位３２ビット、ファイルの先頭から の相対論理ブロック番号でメニュー・セルの開始アドレスを記述するフィールド 、およびメニュー・セルを構成する論理ブロックの下図を記述するフィールドも 含む。 メニュー・データ９２２には、メニューに表示される実際の情報が含まれる。 この情報は、図４０のデータ・ファイル９１０と９１４内の情報が構築されると 同じようにして構築され、それに応じて、メニュー・データ９２２の各面の綿密 な記述は冗長な記述を防ぐために省略される。メニュー画面上で選択されるアイ テムは、サブピクチャ情報により形成される。ディスク・プレーヤーによるメニ ュー選択の処理は、コンピュータ・コードを実行するマイクロプロセッサを使用 して実行される。タイトルのメニュー選択が行われると、選択の結果はファイル の始めまたは選択されたタイトル番号に対応するシーケンス番号から再現される 。プログラム・メニュー選択の場合、選択されたプログラムが、選択されたプロ グラムの始まりから再現される。メニューからの音声選択には、音声ストリーム が選択された音声ストリームに対応するように設定される。同様に、サブピクチ ャ・メニュー選択には、サブピクチャ・チャネル番号が選択されたサブピクチャ ・チャネルに等しく設定される。最後に、メニューからの角度選択が、角度セル 番号を、選択された番号に等しくなるように変更する。希望に応じて、それ以外 の情報が入れられ、メニューを通して選択される。 図４０のデータ・ファイル９１０のようなデータ・ファイルには、図４２に示 されるような２つのセクションがある。つまり、データ・ファイル管理情報９４ ０と、音声情報、ビデオ情報およびサブピクチャ情報を表示するために使用され る実際のデータ９４２である。データ・ファイル管理情報９４０には、データ・ ファイル管理テーブル９４４、シーケンス情報テーブル９４６、セル情報テーブ ル９４８、およびデータ探索マップ９５０という４つの主要な構成要素が含まれ る。 データ・ファイル管理テーブル９４４は、データ・ファイル９１０のあらゆる 点に関する情報を記載する。この情報には、ファイル名を識別するためのディレ クトリ・レコード内の対応するファイル識別子と同じ内容であるファイル名のた めのフィールド、ファイルが音声情報とビデオ情報の両方を記憶することを示す ファイル識別子、論理ブロックの数によって定義されるファイルのサイズ、ファ イル管理テーブルのサイズ、ファイルのシーケンスの数、ファイルのセルの数、 ディスク構造情報（ＤＳＩ）パックの数、シーケンス情報テーブル９４６の開始 アドレス、セル情報テーブル９４８の開始アドレス、データ探索マップの開始ア ドレス、データ９４２の開始アドレス、ＭＰＥＧ−１またはＭＰＥＧ−２のよう なビデオ圧縮モードを含むデータ９４２のビデオ属性を記述するフィールド、フ レーム速度が毎秒２９．９７フレームなのか、毎秒２５フレームなのかを含むフ レーム速度、ディスプレイ画像比が３／４なのか、９／１６なのか、あるいはデ ィスプレイ・モードがパン・スキャン・フォーマットとレター・ボックス・フォ ーマットの１つまたは両方を許可するかを示すディスプレイ画像比が含まれる。 データ・ファイル管理情報には、さらにファイル内の音声ストリームの数を記 述するフィールド、音声コード化モード、モノラル、ステレオ、またはデジタル ・サラウンドのような音声モード、特殊な言語が含まれているかどうかを示す音 声タイプなどの音声ストリーム属性、および言語のコード番号を示す特殊コード 用フィールドが含まれる。 データ・ファイル管理テーブル９４４には、さらに、サブピクチャ・チャネル を記述するフィールド、サブピクチャのラン・レングス・コード化が使用される こと、および指定される言語があるかどうかを示すフィールド、および指定され る言語が含まれる。さらに、ファイルのすべてのサブピクチャ・チャネルに使用 される１６のカラー・パレットのＹカラー、Ｃｒカラー、およびＣＢカラーを示 すフィールドもある。また、シーケンス情報テーブルのサイズを記述するフィー ルド、最小セル番号、および後続の連続セルの数、およびファイルの１シーケン ス内で使用されるセル番号の範囲を記述するフィールドもある。１シーケンス内 で使用されるセル番号は、３２個の連続番号に集合を作らせ、最小セル番号を集 合の第１番となるように格納することにより計算される番号の集合の中に含まれ なければならない。このフィールドには、シーケンス内で使用されるセルの数お よびシーケンス内で使用される最小セル番号を含むサブフィールドがある。 シーケンス情報テーブル９４６には、複数のシーケンス情報エントリ９５２と ９５４がある。シーケンスとは、このシーケンスによって指定される範囲内のセ ルが選択式に再現される順序のことである。完了と接続という２つのタイプのシ ーケンスがある。完了型シーケンスは、それ自体を再現した後で終了する。接続 型シーケンスは順次再現される。参照番号９５２によって示されるシーケンス情 報１のようなシーケンス情報番号 と、９５４によって示されるシーケンス情報ｉは、シーケンス番号に等しく、１ で始まるシーケンス情報テーブル内に記述される順序で番号が付けられる。シー ケンス情報テーブルのシーケンス情報エントリは、完了型シーケンスまたは接続 型シーケンスの順で記述される。各シーケンス情報には、シーケンス・タイプを 示すフィールド、含まれるプログラムの数、含まれるセルの数、シーケンス再現 時間、接続型シーケンスの数、接像可能シーケンス番号、およびシーケンス制御 情報を示すフィールドがある。 シーケンス情報のシーケンス・タイプ・フィールドは、シーケンスのコピーと 親管理を記述する。コピーが許可されているのか、禁じられているのかを示すサ ブフィールド、１−５の親管理のレベルを指定するサブフィールド、完了型シー ケンス、接続型先頭シーケンス、接続型中間シーケンス、または接続型終了シー ケンスを示すサブフィールドの１つである可能性があるシーケンス・タイプを示 すサブフィールドがある。また、シーケンスがカラオケ・アプリケーションで使 用するためであるかどうかを示すアプリケーション・タイプ・サブフィールドも ある。 設定されたプログラム数のフィールドは、シーケンス内で１００個まで、プロ グラムの数を記述する。設定されたセル数のフィールドは、ある特定のシーケン ス内で合計２５６個のセルまでセルの総数を記述する。シーケンスまたは再現時 間は、時、分、秒、およびビデオ・フレームによるユニットでこのシーケンスの 総再現時間を記述する。 接続型シーケンスの数フィールドには、最高数が８である、シーケンス直後に 接続できるシーケンスの数が設定される。接続可能なシーケンス数フィールドは 、接続可能なシーケンスのシーケンス番号および指定される数のシーケンスの親 管理のレベルを記述する。接続可能なシーケンスの選択番号は、記述される純で １から割り当てられる。このフィールドには、親管理番号のサブフィールドおよ び、シーケンス番号のサブフィールドが含まれる。シーケンス情報の最後のフィ ールドは、再現の順でシーケンス内に設定されるセルを記述するシーケンス制御 情報である。また、このフィールドは、複数のセルの集合である角度ブロックを 記述するのにも使用される。それらのセルの再現時間は、実質上等しい。各再現 セクションは、１つのセルにより構成される。角度ブロックには、最高９つのセ ルが含まれ、第１セルに番号１が付けられる。シーケンス制御情報のサブフィー ルドには、順次再現される複数のセルを結合する再現ユニットとしてプログラム を定義するプログラム番号が設定される。続くセルに順次進むかどうか、休止す るかどうか、あるいはシーケンスの最後に到達したのかどうかを示すセル再現制 御のフィールドがあり、ブロックが構成セルではないのか、ブロックがブロック 構成内のセルまたはブロック構成内の最終セルではないのかを示すブロック・モ ード・サブフィールドがある。ブロックがないのか、または角度ブロックがある のかを示すブロック・タイプのサブフィールドがある。最後に、再現されるセル オセル番号を示すサプフィールドがある。 データ・ファイル管理情報９４０には、さらに、複数のセル情報エントリ９５ ６と９５８を記載するセル情報テーブル９４８がある。各セル情報エントリには 、コピーが許可されているのか、禁じられているのかを示すセル・タイプ情報お よび親管理のレベルが設定される。また、時、分、秒およびビデオ・フレームに よりセルの総セル再現時間を記述するセル再現時間を示すフィールドもある。セ ルの第１パックに記述されるシステム・クロック・リファレンスの下位３２ビッ トを記述するフィールド、ファイルの最初から相対論理ブロック番号が設定され るセルの開始ポイントでのアドレスを記述するフィールド、およびセルの中に設 定される論理ブロックの数を記述するフィールドがある。 データ・ファイル管理情報９４０の最後のセクションは、データ探索マップ９ ５０である。データ探索マップには、データ探索情報パック９６０と９６２の複 数のポインタが設定される。再生情報（ＰＢＩ）パック・ポイントと呼ばれるこ れらのポインタは、データ９４２内に存在する再生情報パックのアドレスを指定 する。高速順方向モードまたは高速逆方向モードを実行し、情報の表示を可能に するためには、ＭＰＥＧ−２ビデオ・シーケンス内の内部ピクチャに依存するの が最良である。これらの内部ピクチャの位置は、そのアドレスがデータ探索マッ プに指定されるデータ９４２内の再生情報パックを使用して突き止められる。Ｐ ＢＩパックについてのさらなる記述は以下に行う。 図４３に図解されるデータ・ファイル９１０のデータ９４２は、再生情報（Ｐ ＢＩ）、ビデオ、サブピクチャおよび音声情報のインタリーブされたパックを含 む。例えば、図４３では、データには再生情報９４０、ビデオ情報９４２と９４ ４、サブピクチャ情報９４６、音声情報９４８などが含まれる。データ９４２内 の情報の構造およびプレゼンテーション・タイミングは、システム記述（ＩＳＯ ／ＩＥＣ １３８１８−１）に定義されるプログラム・ストリームで編纂される 。ただし、再生情報およびサブピクチャ情報、およびこの情報を記憶、符号化、 および復号化する方法が、本発明の部分を構成する。 図４３内でデータ９４２を構成するさまざまな情報には情報パックが含まれる 。代表的なパック９７０Ａと９７０Ｂは、図４４Ａと図４４Ｂに図解される。各 パックは、パック・ヘッダ９７２Ａまたは９７２Ｂ、およびビデオ情報、音声情 報、サブピクチャ情報または再生情報のデータを含むパケット９８２Ａと９８２ Ｂから構成される。 パック９７０Ａの構造は、パケット９８２Ａが２０３４バイトと２０２７バイ トの間を占有する場合に使用される。詰込みフィールド９８０Ａを使用すると、 １バイトから８バイトの詰込みがパックの合計サイズを２０４８バイトまで引き 上げられる。ビデオ情報、音声情報、サブピクチャ情報または再生情報のパケッ トが２０２７バイトを下回ると、１バイトの詰込み９８０Ｂおよびパケット９８ ２Ｂと９８４Ｂの総バイト数を２０３４バイトにするパディング９８４用のパケ ットがある、図４４Ｂに図解されるパック構造９７０Ｂが使用される。パケット ・ヘッダ９７２Ａと９７２Ｂには、それぞれパック開始フィールド９７４、シス テム・クロック・リファレンス９７６、多重（ＭＵＸ）速度フィールド９７８お よび詰込みフィールド９８０がある。図４４Ａと図４４Ｂ内のパケットは、ＩＳ Ｏ／ＩＥＣ １３８１８に準じて構築され、プログラム・ストリーム・パック内 でのフィールドの意味定義に関するその§２．５．３．４に記述される。 図４５は、再生情報（ＰＢＩ）パックを図解する。パック・ヘッダ９７２は、 図４４Ａと図４４Ｂに関して記述されるように構築される。図４５のシステム・ ヘッダ９８６は、ＩＳＯ／ＩＥＣ １３８１８−１に記述されるプログラム・ス トリーム・システム・ヘッダの要件に準じて構築される。システム・ヘッダ内の フィールドの意味定義は、ＩＳＯ／ＩＥＣ １３８１８−１の§２．５．３．６ に記述される。 パケット・ヘッダ９８８は、ＩＳＯ／ＩＥＣ １３８１８−１の§２．４．３ に記載されるＰＥＳパケット内のフィールドの意味定義に規定されるフィールド に準じて構築される。ただし、パケット・ヘッダ９８８内で必要とされるのは、 プレゼンテーション・タイム・スタンプまでのフィールドだけである。 再生情報パックには、さらにサブストリームＩＤフィールド９９０がある。こ れは、サブシステムの識別を示す８ビット・フィールドである。使用できる別の 識別は、サブピクチャ・ストリーム、ビデオ空白化情報（ＶＢＩ）ストリーム、 ＡＣ−３ストリーム、または線形ＰＣＭストリームである。ＭＰＥＧ音声サブス トリームのようなほかのストリーム・タイプを設定することも可能である。サブ ストリームＩＤ９９０はビデオ空白化情報９９２に先行するので、サブストリー ムＩＤが後に続く情報がビデオ空白化情報ストリームであることを示すために設 定される。ビデオ空白化情報のデータ９９２は、ＩＳＯ／ＩＥＣ １３８１８− １に準じて構築され、ＩＳＯ／ＩＥＣ １３８１８−１に必要とされる意味に準 じる。 また、図４５に図解される再生情報パック内には、データ探索情報９９６のデ ータを含むデータ探索情報パケット用パケット・ヘッダ９９４も入る。パケット ・ヘッダ９９４は、２４ビット値０００００１ｈが設定されるパケット開始コー ド・プレフィックス、データ探索情報９９６が以前に定義された規格に準拠しな いことを示すストリーム識別、およびパケット長を示すフィールドを含む。デー タ探索情報９９６はＭＰＥＧ規格に開示されないので、ストリームＩＤが、後続 の情報がデータ・ストリームの専用タイプであることを示す。 図４５を示すデータ探索情報９９６のデータの特殊な内容は、図４６に示され る。データ探索情報９９６は、一般的な情報１０００、角度アドレス情報１０２ ０、強調表示情報１０２２、同期再現情報１０２４、およびＰＢＩパック・アド レス情報１０３６を含む。 一般情報１０００は、図４７にさらに詳細に図解される。前述のように、デー タ探索情報の目的は、デジタル符号化ビデオの迅速な探索を可能にすることで、 特に、ビデオ復号化中に実行されるトリック・モードの内部ピクチャの位置を高 速で見つけ出すことを可能にする。したがって、図４６に図解される再生情報パ ックは、各ピクチャのグループ（ＧＯＰ）のヘッド・パックであり、Ｉ−ピクチ ャで始まるビデオ・ヘッド・パックの直前に割り当てられる。一般情報１０００ は、Ｉ−ピクチャの再生開始時間であるＧＯＰ１００２のタイム・スタンプを含 む。次に、ＰＢＩのシステム・クロック・リファレンス（ＳＣＲ）がある。これ は、ＰＢＩパック・ヘッダに記述されるＳＣＲの下位３２ビットを記述する。１ ００６は、Ｉ−ピクチャの終了アドレスを示し、ファイルの最初からの相対論理 ブロック番号によりＩ−ピクチャの最終データがその上に記録されるパックのア ドレスを記述する。セル番号は、フィールド１００８に記憶され、ＧＯＰが属す るセル番号を記述する。フィールド１０１０は、制限のレベルおよびコピーが許 可されているかどうかお含む親管理情報を記述する。最後に、フィールド１０１ ２は、ファイルの先頭からの相対論理ブロック番号を使用するこのＰＢＩパック おアドレスであるＰＢＩパック・アドレスを記述する。 図４６に示されるデータ探索情報９９６のフィールド１０２０は、角度アドレ ス情報である。角度アドレス情報には、その他の角度のアドレス情報が含まれる 。角度アドレス情報は、それぞれが別の角度セル番号に関する９つフィールドを 含む。角度アドレス情報１０２０内のフィールドごとに、特殊ＰＢＩパックが属 するセルが角度ブロックを構成するのであれば、角度アドレス情報内のフィール ドは、対応するデータ探索情報のビデオ開始プレゼンテーション・タイム・スタ ンプを超えないもっとも近いビデオ開始プレゼンテーション・タイム・スタンプ が指定される角度セル番号のＰＢＩパックのアドレスを記述する。角度セルが存 在しない場合、あるいは角度ブロックが構成されない場合、ある特殊なセルの角 度アドレス情報はゼロに設定される。 データ探索情報９９６の第３セクションは、強調表示情報１０２２である。強 調表示情報は、メニュー画面上の選択アイテムの位置、および選択時に変更され るその色とコントラストを記述する。この情報は、セルがメニューの一部である 場合にだけ使用される。強調表示情報は、選択アイテム開始番号およびメニュー 画面上のサブピクチャにより表示されるアイテムの数を記述するフィールドを含 む。選択アイテム開始番号とアイテム数の特殊サブフィールドには、メニュー画 面上の選択アイテムの最小数を記述するサブフィールド、メニューの次のページ が存在するかどうかを記述するサブフィールド、およびメニュー画面上の選択ア イテム数を記述するサブフィールドが含まれる。強調表示情報の第２フィールド には、選択アイテムの位置、色およびコントラストが含まれる。このフィールド は、メニュー画面上の各選択アイテム用の矩形表示領域、および選択時に変更さ れる対応する色とコントラストを記述する。矩形表示領域は、Ｘ−Ｙ座標面に定 義される。このフィールド内の選択アイテムの位置、色、およびコントラストを 記述する情報には、メニューの矩形領域の定義と、選択されたときにさまざまな タイプのピクセルがどのように変更されるのかを記述する情報が含まれる。詳細 に後述するように、サブピクチャは４つの異なったタイプのピクセルを可能にす る。テキストやその他の情報を表示するために使用できる第１強調ピクセルと第 ２強調ピクセル、線の描画やそれ以外のグラフィック・パターンのようなパター ンを表示するのに使用されるパターン・ピクセル、およびバックグラウンド・ピ クセルがある。これらの４つの異なったタイプの情報が強調表示または選択され る場合、アイテムが強調表示されると選択される色、および強調表示されたとき のピクセルのコントラストを知る必要がある。したがって、選択されたときに、 ４つの異なったタイプのピクセルの色とコントラストを記述する強調表示情報内 には８つのサブフィールドがある。 データ探索情報９９６内の５番目のアイテムは、同期再現情報１０２４である 。同期再現情報１０２４は、図４８に詳細に図解される。同期再現情報は、音声 およびビデオ・データと同期されるサブピクチャの開始時刻とアドレス情報を見 つけ出すことができることを目的とする。図４８に示される同期再現情報１０２ ４には、音声のプレゼンテーション・タイム・スタンプのターゲットである音声 パック・アドレスを含む。このフィールドの最上位ビットは、音声パックがこの ＰＢＩの前に位置するのか、または後に位置するのかを示す。音声１０２８プレ ゼンテーション・タイム・スタンプ（ＰＴＳ）は、再現開始時刻が、ビデオ開始 ＰＴＳからの相対プレゼンテーション・タイム・スタンプが設定されるＩ−ピク チャの再現開始時刻の直後に設定される音声パケットのＰＴＳを記述する。音声 のプレゼンテーション・タイム・スタンプは、プレゼンテーション・タイム・ス タンプをそのために記憶させるために、最高８つの音声ストリームを見越す。さ らに、音声パケットが、ＧＯＰの間に再現される音声フレームから構成されるか どうかを示すサブフィールドもある可能性がある。ピクチャに音声がない場合、 音声のプレゼンテーション・タイム・スタンプを記憶または復号化する必要はな い。最高８個の音声チャネルがあるので、各音声チャネルには対応するアドレス とタイム・スタンプのフィールドがある。 データ構造１０２４は、問題のサブピクチャ・パックのＰＢＩパックに関係す るアドレス１０３０も含む。サブピクチャのプレゼンテーション・タイム・スタ ンプは、対応するサブピクチャ情報の同期を記述する。ＧＯＰ再現中に再現され なければならないサブピクチャ・ユニットが存在するかどうか、サブピクチャの 再現開始時刻がビデオ・プレゼンテーション・タイム・スタンプの前にあるかど うか、ＧＯＰ再現中に再現されるサブピクチャ・ユニットの再現開始時刻、およ びＧＯＰ再現中に再現されるサブピクチャ・ユニットの再現終了時刻を示すサブ フィールドがある。１つのデータ・ストリームに入れることができる最高３２の サブピクチャとして、存在する各サブピクチャに対応するアドレスとタイム・ス タンプ・フィールドが設定される。 データ探索情報９９６の図４６に示される最後のセクションは、ＰＢＩパック ・アドレス情報である。ＰＢＩパック・アドレス情報は、ファイル内の他のＰＢ Ｉパックのアドレスから構成され、他のＰＢＩパックの位置が迅速に突き止めら れるようにする。ＰＢＩパック・アドレス情報は、相対論理ブロック番号を使用 して周辺のＰＢＩパックのアドレスを記述する。ＰＢＩパック・アドレス情報に は、それぞれ次のＰＢＩパック・アドレスと旧ＰＢＩパックアドレスを記述する ２つのフィールドがある。現在のＰＢＩパック・アドレスからの相対論理ブロッ ク番号を使用して、その累積再現時間がｎｘ０．５秒と（ｎ＋１）ｘ０．５秒の 間となり、複数のＰＢＩパックがこの範囲に該当すると、ｎｘ０．５秒、つまり １≦ｎ≦１５にもっとも近いＰＢＩパックを選択する、ＧＯＰのすぐ先にあるＧ ＯＰに属するＰＢＩパックのアドレスを定義する１５のフィールドがある。 現在のＰＢＩパック・アドレスからの相対論理ブロック番号を使用して、その 累積再現時間がｎｘ０．５秒と（ｎ＋１）ｘ０．５秒の間となり、複数のＰＢＩ パックがこの範囲に該当すると、ｎｘ０．５秒、−１５≦ｎ≦−１にもっとも近 いＰＢＩパックを選択するＧＯＰに属するＰＢＩパックのアドレスを定義する１ ５のフィールドがある。 現在のＰＢＩパック・アドレスからの相対論理ブロック番号を使用して、その 累積再現時間がｎｘ０．５秒と［ｎｘ０．５＋１］秒の間となり、複数のＰＢＩ パックがこの範囲に該当すると、ｎｘ０．５秒、ｎ＝２０またはｎ＝６０にもっ とも近いＰＢＩパックを選択するＧＯＰのすぐ先にあるＧＯＰに属するＰＢＩパ ックのアドレスを定義する２つのフィールドがある。 現在のＰＢＩパック・アドレスからの相対論理ブロック番号を使用して、その 累積再現時間がｎｘ０．５秒と［ｎｘ０．５＋１］秒の間となり、複数のＰＢＩ パックがこの範囲に該当すると、ｎｘ０．５秒、ｎ＝−２０またはｎ＝−６０に もっとも近いＰビパックを選択するごＰに属するＰＢＩパックのアドレスを定義 する２つのフィールドがある。 ビデオ・パック１０４０の構造は、図４９に図解される。ビデオ・パックには 、図４４Ａと図４４Ｂに図解されるヘッダ９７２Ａと９７２Ｂに従って構築され るパック・ヘッダ９７２が含まれる。ビデオ用パケット・ヘッダ１０４６は、ビ デオ・データ１０４８の場合のように、ＩＳＯ／ＩＥＣ １３８１８−１に則っ て構築される。しかしながら、ＭＰＥＧビデオ信号として表されるビデオ・デー タ１０４８は、前述の技法に従って符号化するのが望ましい。 ＭＰＥＧ符号化されたピクチャのグループは、図５０の中で１０５０として示 される。このＧＯＰを複数のビデオ・パック１０４０に分け、ビデオ・ストリー ム１０６０を作成する方法は、図９０の底部に図解する。ピクチャ１０５０のグ ループは、ビデオ・パック内に適合するように適切なユニットに分けられる。最 後のビデオ・パック１０４０Ｇ、ビデオ・パックｊは、パックのそれぞれに使用 される完全な２０４８バイトを占有しないので、最後のビデオ・パックｊを２０ ４８バイトに等しくするために詰込みが使用される。 図５１Ａは、ＭＰＥＧ音声用ビデオ・パックを図解する。このビデオ・パック １０８０には、パック・ヘッダ９７２、ＭＰＥＧ要件に準拠して構築されるパケ ット・ヘッダ、および符号化されたＭＰＥＧ音声データ１０８６が含まれる。 図５１Ｂは、ＰＣＭ音声またはドルビーＡＣ−３音声のどちらかに準拠して構 築される音声パック１０９０を図解する。図５１Ｂに図解されるパケットの場合 、パケット・ヘッダ９７２は、前述のように配列され、パケット・ヘッダ１０９ ４は、線形ＰＣＭまたはＡＣ−３のどちらかに対応する専用音声データ・ストリ ームを示すために設定されたｓｔｒｅａｍ＿ｉｄフィールドでのＭＰＥＧ要件に 準拠して構築される。サブストリームｉｄ１０９６は、音声データが線形ＰＣＭ 用であるのか、ＡＣ−３（またはＭＰＥＧ）用であるのかを示す。音声フレーム ・ポインタ１０９８は、音声パケット内の音声フレーム・ヘッダの数を示すフレ ーム・ヘッダの番号を含むだけではなく、ポインタの最後のバイトからの相対バ イト番号を使用して音声フレームの第１アクセス・ユニットの先頭を示す第１ア クセス・ユニット・ポインタも含む。線形ＰＣＭ音声にとって、各フレームにフ レーム・ヘッダとフレーム・データを含む、音声フレームに分けられるのは標準 である。音声フレーム・ポインタ１０９８も、同様にして、ドルビーＡＣ−３で 使用できる。音声データ１１００は、対応する音声符号化方法に則って構築され る。 図５２では、符号化された音声ストリーム１１００が示される。この音声スト リームは、個別のパック１１２２から構成される音声パック１１２０のストリー ムに変換される。各パックの長さは２０４８バイトで、最後の音声パック１１２ ２Ｇである音声パックｊは、その長さを２０４８バイトにするために、詰込みビ ットを追加することにより調整される。 本発明の新規機能は、サブピクチャの使用および音声情報とビデオ情報が格納 されるサブピクチャのインタリーブである。サブピクチャ情報は、任意のグラフ ィック情報の表示を可能にし、ＭＰＥＧビデオ上でのサブピクチャ情報の重複を 見越す。本発明により使用されるサブピクチャ情報と従来の閉鎖キャプション字 幕の間の大きな相違点は、サブピクチャ情報がビットマップ・グラフィックであ るのに対し、閉鎖キャプションがデコーダ内に記憶される文字セット内で文字を 表示するために文字コードを伝送するという点である。したがって、従来の閉鎖 キャプションは、デコーダ内の文字セットにより制限される。しかし、サブピク チャ情報はビットマップ化されているので、各言語用のデコーダ内で文字セット を格納しなくても、外国言語の文字も含む任意の種類の文字を表示することがで きる。 サブピクチャ情報の各ディスプレイ画面がサブピクチャ・ユニットと呼ばれる 。図５３に図解されるサブピクチャ・ユニット１１４０がある。サブピクチャ・ ユニットは、ビットマップ化されたピクセル・データから成る１つの画面を具備 し、ピクセル・データから成るこの画面は複数のビデオ・フレームを横切って表 示される。サブピクチャ・ユニット１１４０は、サブピクチャ・ユニット・ヘッ ダ１１４２を具備する。サブピクチャ・ユニットヘッダ１１４２には、サブピク チャ・ユニットの先頭からの数に相対して、サブピクチャ・ユニットのサイズと 表示制御シーケンス・テーブル１１４６の開始アドレスを記述するフィールドが ある。 ピクセル・データ１１４４は、ラン・レングス圧縮ビットマップ情報である。 ピクセルは、表示された情報のバックグラウンドを形成するバックグラウンド・ ビクセル、グラフィック線の描画を含むサブピクチャ内での表示パターンを可能 にするパターン・ピクセル、およびグラフィックや文字が表示できるようにし、 ２つの異なる属性を持つ２種類の強調ピクセルである場合がある。ビットマップ 化された情報は、従来のグラフィック作成技法を使用して作成できる。ラン・レ ングス圧縮は、以下の規則に則って実行される。同じ種類の１個から３個のピク セルが続く場合、最初の２ビットにピクセルの数を、続く２ビットにピクセル・ データを入力する。４ビットが１つのユニットと見なされる。同種の４個から１ ５個のピクセルが続く場合は、最初の２ビットにはゼロを指定し、続く４ビット にピクセルの数を、次の２ビットにピクセル・データを入力する。８ビットが１ つのユニットと見なされる。同種の１６個から６３個のピクセルが続く場合には 、最初の４ビットにゼロを指定し、続く６ビットにピクセル数を、次の２ビット にピクセル・データを入力する。１２ビットが１つのユニットと見なされる。同 種の６４個から２５５個のピクセルが続く場合は、最初の６ビットにゼロを指定 し、続く８ビットにピクセルの数を、次の２ビットにピクセル・データを入力す る。１６ビットが１つのユニットと見なされる。同じピクセルが行末まで続く場 合は、最初の１４ビットにゼロを指定し、続く２ビットにピクセル・データを記 述する。１６ビットが１つのユニットと見なされる。１行でのピクセルの記述が 完了したときにバイトの整列が生じない場合には、調整のために４ビットのダミ ー・データを挿入する。希望に応じて、イメージ・データを表すその他の圧縮機 構を使用することも可能である。例えば、サブピクチャ・イメージを表すために 、ＪＰＥＧフォーマットまたはＧＩＦＦフォーマットを使用できる。 表示制御シーケンス・テーブル１１４６には、制御シーケンスが発生する年代 順を記述する複数の表示制御シーケンス１１４６Ａ、１１４６Ｂ、１１４６Ｃな どが含まれる。表示制御シーケンス・テーブルには、サブピクチャ・ユニット内 の情報がどのようにして表示されるのかに関する情報が含まれる。例えば、１つ の単独サブピクチャ・ユニットを形成するワードが、経時的に１つづつまたはグ ループで表示されたり、その色が変化することがあり、カラオケ情報を表示する ためにサブピクチャを使用する場合に有効である。 各表示制御シーケンス（ＤＣＳＱ）は、サブピクチャ・ユニットが表示されて いる時間期間で実行されるピクセル・データを変更するコマンドを見越す。表示 制御シーケンスの第１フィールドは、表示開始時間である。このフィールドは、 サブピクチャ・ユニット・ヘッダ付きのサブピクチャ・パケット内に記述される ＰＴＳから相対ＰＴＳが設定されるＤＣＳＱ内に含まれる表示制御コマンドの実 行開始時間を記述する。記述された実行開始時間の後の第１ビデオ・フレームか ら、表示制御は、ＤＣＳＱ表示制御開始時間に従って開始される。各ＤＣＳＱの 第２フィールドは、続く表示制御シーケンスのアドレスである。このフィールド は、第１サブピクチャ・ユニットからの相対バイト数が設定される続くＤＣＳＱ の開始アドレスを記述する。続くＤＣＳＱが存在しない場合は、このフィールド は、第１サブピクチャ装置からの相対バイト数が設定されるこのＤＣＳＱの開始 アドレスを記述する。それ以降、ＤＣＳＱには１つまたは複数の表示制御コマン ドが格納される。これらのコマンドにより、ピクセル・データの属性と表示を制 御、変更できる。コマンドには、サブピクチャのオン／オフ状態には関係なく、 サブピクチャ・ユニットの表示を強制的に開始するためのコマンドが含まれる。 例えば、ユーザがサブピクチャをオフにするためにメニューを使用する場合、こ のコマンドを設定すれば、ユーザの設定値を無効にすることができる。別のコマ ンドが、更新されたサブピクチャ・ユニットの表示を開始する。このコマンドは 、各ＤＣＳＱ内で１度だけ表示されなければならない。２種類の強調ピクセル、 パターン・ピクセル、およびバックグラウンド・ピクセルを含む前記の４種類の ピクセルの色とコントラストを設定するためのコマンドがある。矩形領域表示お よびサブピクチャを構成するピクセル・データの位置を設定するコマンドが存在 する。このコマンドを使用すれば、上部および下部のＸ軸とＹ軸の設定が可能に なる。また、表示に使用されるピクセル・データのヘッド・アドレスを設定する ために使用されるコマンドもある。このコマンドを使用すれば、上部フィールド と下部フィールドの両方のヘッド・アドレスを入力できる。拡張されたフィール ドでは、ユニットの先頭からの相対バイト数が設定される上部フィールドと下部 フィールドのピクセル・データの各ヘッド・アドレスが使用される。第１ピクセ ル・データは、行上の第１ピクセルを表す。このコマンドは、少なくとも最初の ＤＣＳＱ、ＤＣＳＱＯで使用されなければならない。 ピクセル・データの色とコントラストを変更するためにＤＣＳＱに表示される コマンドがある。データ探索情報の強調表示情報が使用される場合には、このコ マンドを使用してはならない。ピクセル・データの色とコントラストを変更する ためのコマンドは、表示中にピクセル・データの色とコントラストを制御するた めのピクセル制御データを含む。ピクセル制御データ内に記述される制御の内容 は、指定された開始時間後にビデオ・フレームごとに実行され、新しいピクセル 制御データが検出されるか、新しいサブピクチャ・ユニットが検出されるまで続 行する。ピクセル制御データには、同じ変更が行われる行を指定するために使用 される行制御情報が含まれる。また、ピクセル制御情報は、変更が行われた行の 位置を指定するために使用できる。行制御コマンドを使用すれば、開始行番号、 変更ポイントの数、および変更終了行番号の変更を行うことができる。ピクセル 制御情報には、変更開始ピクセル番号ならびに強調ピクセル１と２、パターン・ ピクセル、およびバックグラウンド・ピクセルの新しい色とコントラストが含ま れる。また、表示制御シーケンスの最後を示すコマンドもある。各ＤＣＳＱは、 このコマンドで終了しなければならない。 映画のようなビデオ・フレームの時間期間では、使用できる多くの異なったサ ブピクチャ・ユニットがある。サブピクチャ・ユニットは、図５４に図解される ように、サブピクチャ・パック１１５０に分けられる。サブピクチャ・パックに は、前記のように、パック・ヘッダ９７２、ＭＰＥＧシステム要件に準拠するパ ケット・ヘッダ、続くデータがサブピクチャ・データであることを示すサブスト リームＩＤ、およびサブピクチャ・データ１１５８自体が格納される。 サブピクチャ・ユニット１１４０のようなサブピクチャ・ユニットは、図５５ に図解されるように、サブピクチャ・パック１５０に分割される。最後のサブピ クチャ・パック１０５０Ｇには、その長さを２０４８バイトにするためのパディ ングが含まれる。 図５６は、連続するサブピクチャ・ユニットがどのように表示されるのかを示 す。時間が新規サブピクチャ・パケットに記述されるＰＴＳの時間に等しくなる と、現在表示中（１１６０）のサブピクチャ・ユニットがクリア（１１６２）さ れ、次のサブピクチャ・ユニットの表示制御シーケンスにより指定される時間が 発生すると、そのサブピクチャが表示（１１６４）される。１１６０と１１６２ の間には、サブピクチャ・ユニットｎとサブピクチャ・ユニットｎ＋１間の分割 線がある。この分割線は、サブピクチャ・ユニットｎ＋１のパケット・ヘッダに 記述されるＰＴＳで発生する。サブユニットｎ＋１の実際の表示時間は、サブビ クチャｎ＋１のＤＣＳＱ内に規定される。 サブピクチャ情報のピクセル・データの作成は、表示が希望される情報のビッ トマップを作成するためにコンピュータを使用して実行できる。ビットマップ化 された情報を作成するプロセスは、技術で周知である。 図４０−図５６は、音声情報、ビデオ情報、およびサブピクチャ情報を符号化 するために使用されるデータ構造を強調する。ただし、図４０−図５６内のデー タ構造の開示により、ＭＰＥＧ符号化の技術を持つ、および特にＭＰＥＧシステ ム記述ＩＳＯ／ＩＥＣ １３８１８−１の助けを借りた当業者は、符号化された 音声、ビデオ、およびサブピクチャをデータ構造にフォーマットすることができ る。同様にして、データが記憶される構造を理解することにより、当業者はビデ オ情報、音声情報、およびサブピクチャ情報を作成するためのデータ構造の復号 化を実行できる。 本発明の部分を構成する代表的なビデオ・デコーダは、光ディスクに記憶され るデータを読み取る光ディスク読取り装置を具備する。読み取られる情報は、情 報を復号化するために、従来の解析技法を使用して解析される。ビデオ、音声、 サブピクチャ、およびＰＢＩのパックはすべて復号化しなければならない。ビデ オは、従来のデコーダを使用して復号化される音声パックのように、市販されて いるＭＰＥＧデコーダを使用して復号化できる。サブピクチャ情報は、サブピク チャ・パックが符号化されたのと逆に、サブピクチャ・パックからサブピクチャ ・ユニットを構築することにより復号化される。サブピクチャ情報を復号化する には、特別に構築されたハードウェアまたはソフトウェア・コード化を使用して プログラムされた汎用マイクロプロセッサを使用できる。図４５に図解される再 生情報パックは、データ探索情報９９６を格納する。データ探索応報は、プログ ラムされたマイクロプロセッサを使用して処理され、音声デコーダ、ビデオ・デ コーダ、およびサブピクチャ・デコーダとは異なる。メニュー機能は、プログラ ムされたマイクロプロセッサによっても実行されるので、データ探索情報内に含 まれる強調表示情報１０２２およびそれ以外のすべてのメニュー機能は、プログ ラムされたマイクロプロセッサによって実行されるが、サブピクチャ・デコーダ によっては実行されない。本発明の動作、データ構造、符号化および復号化プロ セスに関する追加情報は、ともに参照により本明細書に取り入れられる、日本特 許明細書７−８１２９８、および７−８５６９３に記述される。 本発明の符号化システムにより、ピクチャ内の品質の管理が可能になる。最終 ビデオ製品を作成する人は、符号化システムの最終製品を綿密に管理できるよう になるので、この管理は重要である。したがって、デジタル・ビデオ符号化で、 アナログ・ビデオには存在しない復号化作為が生じても、最終デジタル製品はき わめて許容できる。前項のいずれにおいての教示もほかの項に適用できる。 コンピュータ技術の当業者には明らかとなるように、本発明の判断、計算、お よび処置は、本発明の教示に従いプログラムされる従来の汎用デジタル・コンピ ューを使用して便利に実現できる。ソフトウェア技術の当業者に明らかになるよ うに、適切なソフトウェア・コード化は、本開示の教示に基づいて技能のあるプ ログラマによって容易に作成できる。 本発明は、当業者に容易に明らかとなるように。アプリケーションに特殊な集 積回路の作成、または重来の構成部品回路の適切なネットワークを相互接続させ ることによって実現されることもある。 本発明は、コンピュータをプログラムしたり、発明のプロセスを実行するため に使用できる命令を備えた記憶装置媒体であるコンピュータ・プログラム製品を 備える。記憶装置媒体は、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、お よび磁気光学ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ，ＥＰＲＯ Ｍ、ＥＥＰＲＯＭ、磁気カードまたは光カード、あるいは電子命令を記憶するの に適した任意の種類の媒体を具備する場合があるが、それらに限定されていない 。本発明は、さらに、電子命令またはデータを記憶するのに適切な前記媒体のど れかに記憶され、本発明により出力される符号化データを含む記憶装置媒体であ るコンピュータ・プログラム製品を具備する。 明らかに、前記教示を鑑みて本発明の多数の修正および変化を加えることが可 能である。したがって、本明細書に明らかにそれ以外に記述されていない限り、 添付請求項の範囲内で本発明を実施できる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，Ｓ Ｄ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 山影 朋夫 神奈川県川崎市幸区古川町87−３−33 (72)発明者 古藤 晋一郎 神奈川県川崎市麻生区千代ケ丘２−２−９ (72)発明者 海野 裕明 千葉県市川市八幡１−20−９ (72)発明者 三村 英紀 神奈川県横浜市金沢区並木２−３−１− 403 (72)発明者 北村 哲也 東京都狛江市中和泉１−15−12−301 (72)発明者 クックソン、クリストファー・ジェイ アメリカ合衆国、カリフォルニア州 90046、ロサンゼルス、トーレイソン・ド ライブ 7825 (72)発明者 サガード、グレッグ・ビー アメリカ合衆国、カリフォルニア州 90277、レドンド・ビーチ、エメラルド・ ストリート 601 (72)発明者 ローゼン、アンドリュー・ドルージン アメリカ合衆国、カリフォルニア州 91304−3654、キャノガ・パーク、フォー ルブルック・アベニュー 7815

Claims (1)

1. 【特許請求の範囲】 １．速度制御式デジタル・ビデオ編集システムであって、 （ａ）最初に符号化された長さの少なくとも１つのビデオ・フレームを、それ ぞれの量子化レベルｑ（ｉ）を持つマクロブロックＭＢ（ｉ）の複数の集合に分 割するための手段と、 （ｂ）マクロブロックの第１集合ＭＢ（１）のビット概算数ＥＢ（１）を計算 するための手段と、 （ｃ）前記マクロブロックの第１集合を第１再符号化長さの再符号化マクロブ ロックの第１集合ＧＢ（１）に再符号化するための手段と、 （ｄ）ビット概算数ＥＢ（ｉ）およびマクロブロックの少なくとも１つの先行 する集合の再符号化された長さＧＢ（ｉ）のビット数に基づいてマクロブロック の次の集合ごとに訂正係数△（ｉ）を計算するための手段と、 （ｅ）前記計算手段により求められる訂正係数に基づいてマクロブロックの次 の集合のそれぞれの量子化レベルを変更するための手段と、 （ｆ）前記変更手段により作り出される変更された量子化レベルを使用し、再 符号化された長さの再符号化マクロブロックの集合に、マクロブロックの次の集 合のそれぞれを再符号化するための手段と、 （ｇ）前記最初に符号化された長さに等しい長さのデジタル・ビデオ・ストリ ームに再符号化マクロブロックの前記複数の集合を結合するための手段と、 を具備するシステム。 ２．請求項１に記載されるシステムであって、さらに、 前記第１および次の量子化レベルを、再符号化の前に事前に割り当てるための手 段を 具備するシステム。 ３．請求項２に記載されるシステムであって、その点で事前に割り当てるため の前記手段が、 前記題１および次の量子化レベルに対応するイメージ品質を入力するための入力 手段を 具備するシステム。 ４．請求項３に記載されるシステムであって、前記入力手段が 前記イメージ品質を入力するためのグラフィック・ユーザ・インタフェースを具 備するシステム。 ５．請求項３に記載されるシステムであって、前記入力手段が 前記イメージ品質を入力するためのテキスト・インタフェースを 具備するシステム。 ６．請求項３に記載されるシステムであって、事前に割り当てるための前記手 段が、 前記イメージ品質を相対イメージ品質として入力するための入力手段を 具備するシステム。 ７．請求項３に記載されるシステムであって、事前に割り当てるための前記手 段が 前記イメージ品質を絶対イメージ品質として入力するための入力手段を 具備するシステム。 ８．請求項１に記載される、マクロブロックの前記第１集合および前記次の集 合のそれぞれが１つのマクロブロックから構成されるシステム。 ９．請求項１に記載される、マクロブロックの前記第１集合および前記次の集 合が１行のマクロブロックから構成されるシステム。 １０．請求項１に記載される、マクロブロックの前記第１集合および前記次の 集合が複数行のマクロブロックから構成されるシステム。 １１．請求項１に記載される、マクロブロックの前記第１集合および前記次の 集合が１フレームのマクロブロックから構成されるシステム。 １２．請求項１に記載されるシステムであって、前記計算するための手段が、 再符号化されるために残るマクロブロックの集合のパーセンテージをを決定する ための手段と、 決定されたパーセンテージに対し部分的に基づいて前記訂正係数を求めるための 手段と、 を具備するシステム。 １３．請求項１に記載されるシステムであって、前記計算するための手段が、 再符号化されるために残るマクロブロックの集合のパーセンテージをを決定する ための手段と、 決定されたパーセンテージに対する逆の関係に部分的に基づいて前記訂正係数を 求めるための手段と、 を具備するシステム。 １４．請求項１に記載されるシステムであって、前記計算手段が、 マクロブロックの以前に再符号化されたすべての集合の先行するビット累積概算 数ＥＢ’（ｉ−１）および再符号化対象のマクロブロックの次の集合のビット概 算数ＥＢ（ｉ）に基づいて、ビット累積概算数ＥＢ’（ｉ）を求めるための手段 と、 マクロブロックの以前に再符号化されたすべての集合の先行するビット累積作成 数ＧＢ’（ｉ−１）および再符号化対象のマクロブロックの次の集合のビット作 成数ＧＢ（ｉ）に基づいて、ビット累積作成数ＧＢ’（ｉ）を求めるための手段 と、 ＥＢ’（ｉ）およびＧＢ’（ｉ）に基づいて前記訂正係数を計算するための手段 と、 を具備するシステム。 １５．請求項１４に記載されるシステムであって、計算するための前記手段が 前記ビット累積概算数ＥＢ’（ｉ）および前記ビット累積作成数ＧＢ（ｉ）を使 用して、以下に示す等式により指定される比を計算するための手段を 具備するシステム。 １６．請求項１５に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を第１テーブル内の複数の値に比較するための手段を 具備するシステム。 １７．請求項１５に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために、第１テーブル内の複数の値に 比較するための手段であって、前記第１インデックスが、複数の訂正係数を含む 第２テーブルの中に第２インデックスとして使用され、前記第２テーブルから訂 正係数を選択する、比較するための手段を 具備するシステム。 １８．請求項１に記載されるシステムであって、計算するための前記手段が、 前記ビット概算数ＥＢ（ｉ）および前記再符号化された長さＧＢ（ｉ）を使用し て、以下の等式により指定される比を計算するための手段を、 具備するシステム。 １９．請求項１８に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を第１テーブル内の複数の値に比較するための手段と、 ２０．請求項１８に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために第１テーブルの複数の値に比較 するための手段であって、前記第１インデックスが、複数の訂正係数を含む第２ テーブルの中に第２インデックスとして使用され、前記第２テーブルから訂正係 数を選択する、比較するための手段を 具備するシステム。 ２１．請求項１に記載されるシステムであって、変更するための前記手段が、 前記訂正係数を次の量子化レベルに追加するための手段と、 前記追加の結果を修正された次の量子化レベルとして記憶するための手段と、 を具備するシステム。 ２２．請求項１に記載されるシステムであって、さらに、 前記少なくとも１つのビデオ・フレームをカメラから受け取るように適応された ビデオ入力を 具備するシステム。 ２３．請求項１に記載されるシステムであって、さらに、 前記デジタル・ビデオ・ストリームをデジタル記憶装置媒体に転送するための手 段を 具備するシステム。 ２４．請求項１に記載されるシステムであって、さらに、 前記デジタル・ビデオ・ストリームを光ディスク・ライターに転送するように適 応されるデータ出力を 具備するシステム。 ２５．請求項２３に記載されるシステムであって、転送するための前記手段が 前記デジタル・ビデオ・ストリームをマスタ・ディスクに書き込むための手段と 前記デジタル・ビデオ・ストリームを前記マスタ・ディスクから空のディスクに 転送するための手段と を具備するシステム。 ２６．速度制御式デジタル・ビデオ編集システムであって、 最初に符号化された長さのオリジナル・デジタル・ビデオ・ストリームをそれぞ れ第１量子化レベルと第２量子化レベルを持つマクロブロックの第１集合と第２ 集合を含む、複数のマクロブロックに分割するための手段と、 マクロブロックの前記第１集合ＥＢ（ｉ）の第１ビット概算数を計算するための 手段と、 マクロブロックの前記第１集合を、第１再符号化長さＧＢ（ｉ）の再符号化マク ロブロックの第１集合に再符号化するための手段と、 前記第１ビット概算数ＥＢ（ｉ）および前記第１符号化長さＧＢ（ｉ）に基づい て訂正係数△（ｉ）を計算するための手段と、 前記訂正係数い基づいて前記第２量子化レベルを変更するための手段と、 マクロブロックの前記第２集合を第２再符号化長さの再符号化マクロブロックの 第２集合に再符号化するための手段と、 再符号化されたマクロブロックの前記第１集合と第２集合を、マクロブロックの 前記第１集合と第２集合以外のマクロブロックから派生するあらゆる再符号化マ クロブロックとともに、前記の最初に符号化された長さに等しい長さの再構成さ れたデジタル・ビデオ・ストリームに結合するための手段と、 を具備するシステム。 ２７．請求項２６に記載されるシステムであって、さらに、 再符号化の前に前記第１第２量子化レベルを事前に割り当てるための手段を具備 するシステム。 ２８．請求項２７に記載されるシステムであって、事前に割り当てるための前 記手段が、 前記第１量子化レベルと第２量子化レベルに対応するイメージ品質を入力するた めの入力手段を 具備するシステム。 ２９．請求項２８に記載されるシステムであって、前記入力手段が、 前記イメージ品質を入力するためのグラフィック・ユーザ・インタフェースを具 備するシステム。 ３０．請求項２８に記載されるシステムであって、前記入力手段が、 前記イメージ品質を入力するためのテキスト・インタフェースを 具備するシステム。 ３１．請求項２８に記載されるシステムであって、事前に割り当てるための前 記手段が、 前記イメージ品質を相対イメージ品質として入力するための入力手段を 具備するシステム。 ３２．請求項２８に記載されるシステムであって、事前に割り当てるための前 記手段が、 前記イメージ品質を絶対イメージ品質として入力するための入力手段を 具備するシステム。 ３３．請求項２８に記載される、マクロブロックの前記第１集合と第２集合が １つのマクロブロックから構成されるシステム。 ３４．請求項２８に記載される、マクロブロックの前記第１集合と第２集合が １行のマクロブロックから構成されるシステム。 ３５．請求項２８に記載される、マクロブロックの前記第１集合と第２集合が 複数行のマクロブロックから構成されるシステム。 ３６．請求項２８に記載される、マクロブロックの前記第１集合と第２集合が １つのフレームのマクロブロックから構成されるシステム。 ３７．請求項２８に記載されるシステムであって、計算するための前記手段が 再符号化されるために残るマクロブロックの集合のパーセンテージを求めるため の手段と、 求められたパーセンテージに部分的に基づいて前記訂正係数を決定するための手 段と、 を具備するシステム。 ３８．請求項２８に記載されるシステムであって、計算するための前記手段が 再符号化されるために残るマクロブロックの集合のパーセンテージを求めるため の手段と、 求められたパーセンテージに対する逆の関係に部分的に基づいて前記訂正係数を 求めるための手段と、 を具備するシステム。 ３９．請求項２８に記載されるシステムであて、計算するための前記手段が、 前記第１ビット概算数ＥＢ（ｉ）および前記第１再符号化長さＧＢ（ｉ）を使用 して、等式ＰＢ（ｉ）＝ＧＢ（ｉ）／ＥＢ（ｉ）により指定される比を計算する ための手段を 具備するシステム。 ４０．請求項４１に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を第１テーブル内の複数の値に比較するための手段を 具備するシステム。 ４１．請求項４０に記載されるシステムであって、計算するための前記手段が 、さらに、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために第１テーブルの複数の値に比較 するための手段であって、前記第１インデックスが、複数の訂正係数を含む第２ テーブルの中に第２インデックスとして使用され、前記第２テーブルから訂正係 数を選択する、比較するための手段を 具備するシステム。 ４２．請求項２６に記載されるシステムであって、変更するための前記手段が 前記訂正係数を前記第２量子化レベルに追加するための手段と、 前記追加の結果を修正された第２量子化レベルとして記憶するための手段と、 を具備するシステム。 ４３．請求項２６に記載されるシステムであって、さらに、 前記少なくとも１つのビデオ・フレームをカメラから受け取るように適応された ビデオ入力を 具備するシステム。 ４４．請求項２６に記載されるシステムであって、さらに 前記デジタル・ビデオ・ストリームをデジタル記憶装置媒体に転送するための手 段を 具備するシステム。 ４５．請求項２６に記載されるシステムであって、さらに 前記デジタル・ビデオ・ストリームを光ディスク・ライターに転送するように適 応されたデータ出力を 具備するシステム。 ４６．請求項４３に記載されるシステムであって、転送するための前記手段が 前記デジタル・ビデオ・ストリームをマスタ・ディスクに書き込むための手段と 前記デジタル・ビデオ・ストリームを前記マスタ・ディスクから空のディスクに 転送するための手段と、 を具備するシステム。 ４７．制御式ビデオ再符号化用システムであって、 オリジナル長さのオリジナル・ビデオ・ストリームを出力し、少なくともマクロ ブロックの第１集合と第２集合を具備するビデオ・ソースと、 前記ビデオ・ソースに接続されるビデオ・エンコーダと、 前記ビデオ・エンコーダを制御する制御装置であって、前記制御装置が前記ビデ オ・ソースを符号化するために最初に使用されるビット数を求め、マクロブロッ クの延期第１集合の概算再符号化長さを計算し、前記エンコーダにマクロブロッ クの前記第１集合を結果的に第１長さになるマクロブロックの第１再符号化集合 に再符号化するように命令し、前記第１概算再符号化長さと前記第１長さに基づ いて訂正係数を計算し、前記エンコーダに前記訂正係数に基づき、マクロブロッ クの前記第２集合の量子化パラメータを変更するように命令し、前記エンコーダ に変更された量子化パラメータを使用して、マクロブロックの前記第２集合をマ クロブロックの第２再符号化集合に再符号化するように命令し、マクロブロック の前記第１再符号化集合と第２再符号化集合を、マクロブロックの前記第１集合 と第２集合以外のマクロブロックから派生するあらゆる再符号化マクロブロック とともに、前記オリジナル長さに等しい長さのデジタル・ビデオ・ストリームに 結合する制御装置と、 を具備するシステム。 ４８．請求項４７に記載されるシステムであって、 前記ビデオ・ソースが、それぞれがマクロブロックのスライスを含むマクロブロ ックの前記第１集合と第２集合のある前記オリジナル・ストリームを出力するシ ステム。 ４９．請求項４７に記載されるシステムを使用して作成されるデジタル・ビデ オ・ストリームを格納するデジタル記憶装置媒体。 ５０．デジタル・ビデオ信号を編集する方法であって、 （ａ）最初に符号化された長さの前記デジタル・ビデオ信号の少なくとも１つ のビデオ・フレームを各量子化レベルｑ（ｉ）を持つマクロブロックＭＢ（ｉ） の複数の集合に分割するステップと、 （ｂ）マクロブロックの第１集合ＭＢ（１）のビット概算数ＥＢ（１）を計算 するステップと、 （ｃ）マクロブロックの前記第１集合を、第１再符号化長さＧＢ（１）の再符 号化されたマクロブロックの第１集合に再符号化するステップと、 （ｄ）マクロブロックの少なくとも１つの先行する集合の前記概算ビット数Ｅ Ｂ（ｉ）および再符号化された長さＧＢ（ｉ）のビット数に基づき、マクロブロ ックの次の集合の訂正係数△（ｉ）を計算するステップと、 （ｅ）マクロブロックの先行する集合から求められる訂正係数に基づき、マク ロブロックの次の集合の量子化レベルを変更するステップと、 （ｆ）マクロブロックのそれぞれの次の集合を、ステップ（ｅ）で派生した変 更された量子化レベルを使用して、再符号化された長さの再符号化マクロブロッ クの集合に再符号化するステップと、 （ｇ）再符号化されたマクロブロックの前記複数の集合を前記最初に符号化さ れた長さに等しい長さのデジタル・ビデオ・ストリームに結合するステップと、 から構成される方法。 ５１．請求項５０に記載される方法で、さらに、 再符号化の前に前記第１および次の量子化レベルを事前に割り当てるステップか ら構成される方法。 ５２．請求項５１に記載される方法であって、事前に割り当てるステップが、 再符号化の前に、前記第１および次の量子化レベルに対応するイメージ品質を入 力するステップ から構成される方法。 ５３．請求項５２に記載される方法であって、入力するステップが、 グラフィック・ユーザ・インタフェースを使用して前記イメージ品質を入力する ステッフ から構成される方法。 ５４．請求項５２に記載される方法であって、入力するステップが、 前記イメージ品質のテキスト記述を入力するステップ から構成される方法。 ５５．請求項５２に記載される方法であって、前記入力するステップが、 前記イメージ品質を相対イメージ品質として入力すること から構成される方法。 ５６．請求項５２に記載される方法であって、前記入力するステップが、 前記イメージ品質を絶対イメージ品質として入力すること から構成される方法。 ５７．請求項５２に記載される方法であって、分割する前記ステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１つのマクロブロックを 含むマクロブロックの前記第１集合と次の集合に分割すること から構成される方法。 ５８．請求項５０に記載される方法で、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１行のマクロブロックを 含むマクロブロックの前記第１集合と次の集合に分割すること から構成される方法。 ５９．請求項５０に記載される方法で、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが複数行のマクロブロック を含むマクロブロックの前記第１集合と次の集合に分割すること から構成される方法。 ６０．請求項５０に記載される方法で、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１つのフレームのマクロ ブロックを含むマクロブロックの前記第１集合と次の集合に分割すること から構成される方法。 ６１．請求項５０に記載される方法で、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが複数のフレームのマクロ ブロックを含むマクロブロックの前記第１集合と次の集合に分割すること から構成される方法。 ６２．請求項５０に記載される方法であって、前記計算するステップが、さら に、 符号化されるために残るマクロブロックの集合のパーセンテージを求めることと 求められたパーセンテージに部分的に基づき、前記訂正係数を求めることと、 から構成される方法。 ６３．請求項５０に記載される方法であって、前記計算するステップが、さら に、 符号化されるために残るマクロブロックの集合のパーセンテージを求めることと 求められたパーセンテージに対する逆の関係に部分的に基づき、前記訂正係数を 求めることと、 から構成される方法。 ６４．請求項５０に記載される方法であって、前記計算するステップが、さら に、 マクロブロックの以前に再符号化されたすべての集合の先行するビット累積概算 数ＥＢ’（ｉ−１）および再符号化対象のマクロブロックの次の集合のビット概 算数ＥＢ（ｉ）に基づき、ビット累積概算数ＥＢ’（ｉ）を求めることと、 マクロブロックの以前に再符号化されたすべての集合の先行するビット累積作成 数ＧＢ’（ｉ−１）および再符号化対象のマクロブロックの次の集合のビット作 成数ＧＢ（ｉ）に基づき、ビット累積作成数ＧＢ’（ｉ）を求めることと、 ＥＢ’（ｉ）とＧＢ’（ｉ）に基づき前記訂正係数を計算することと、 から構成される方法。 ６５．請求項６４に記載される方法であって、前記計算するステップが、さら に、 以下の等式により指定される比を計算することと、 前記ビット累積概算数ＥＢ（ｉ）および前記ビット累積作成数ＧＢ（ｉ）を使用 することと、 から構成される方法。 ６６．請求項６５に記載される方法であって、さらに、 前記訂正係数を求めるために、前記比ＰＢ（ｉ）を第１テーブルの複数の値に比 較するステップ から構成される方法。 ６７．請求項６５に記載される方法であって、前記計算するステップが、さら に、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために、第１テーブルの複数の値に比 較するステップと、 前記第１インデックスを前記第２テーブルの中へのインデックスとして使用し、 訂正値の第２テーブルにインデックスを付けるステップ、 から構成される方法。 ６８．請求項５０に記載される方法であって、前記計算するステップが、さら に、 以下の等式により指定される比を計算することと、 前記ビット概算数ＥＢ（ｉ）および前記再符号化された長さＧＢ（ｉ）を使用す ること から構成される方法。 ６９．請求項６８に記載される方法であって、さらに、 前記訂正係数を求めるために、前記比ＰＢ（ｉ）を第１テーブル内の複数の値に 比較するステップ から構成される方法。 ７０．請求項６８に記載される方法であって、前記計算するステップが、さら に、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために、第１テーブルの複数の値に比 較するステップと、 前記第１インデックスを前記第２テーブルへのインデックスとして使用して、訂 正値の第２テーブルにインデックスを付けるステップ から構成される方法。 ７１．請求項５０に記載される方法であって、前記変更するステップが、 前記訂正係数を次の量子化レベルに追加することと、 前記追加の結果を記憶することと から構成される方法。 ７２．請求項５０に記載される方法であって、さらに、 前記少なくとも１つのビデオ・フレームをカメラから入力するステップ から構成される方法。 ７３．請求項５０に記載される方法であって、さらに、 前記デジタル・ビデオ・ストリームをデジタル記憶装置媒体に転送するステップ から構成される方法。 ７４．請求項７３に記載される方法であって、前記転送するステップが、 前記デジタル・ビデオ・ストリームを光ディスク・ライターに転送すること から構成される方法。 ７５．請求項７３に記載される方法であって、前記転送するステップが、 前記デジタル・ビデオ・ストリームをマスタ光ディスクに転送することと、 前記デジタル・ビデオ・ストリームを前記マスタ・ディスクから空のディスクに 転送すること から構成される方法。 ７６．請求項５０に従って作成されるビデオ、音声信号、およびメニューの処 理に使用される情報を記憶するためのデータ構造を具備するメモリであって、 多くのメニュー・セルを記憶するためのフィールドであって、セルが情報の単位 であるフィールドと、 タイトル・メニューの開始セル用フィールドと、 音声選択メニューの開始セル用フィールドと、 サブピクチャ情報を選択するために使用されるメニューの開始セル用フィールド であって、サブピクチャ情報がビデオとは異なるビットマップ化された情報を提 示するために使用されるフィールドと、 メモリ内に複数のプログラムが存在するときに、複数のプログラムを選択するた めに使用されるメニューの開始セル用フィールドと メモリ内に複数の角度ビューが存在するときに、カメラ角度を選択するために使 用される角度メニューの開始セル用フィールドと を具備する前記メモリに記憶されるデータ構造と、 表示対象の各メニューのテーブル・エントリを含むメニュー・セル情報テーブル であって、前記テーブル・エントリが テーブル・エントリに対応するメニューが、タイトル・メニューなのか、プログ ラム・メニューなのか、音声メニューなのか、サブピクチャ・メニューなのか、 あるいは角度メニューなのかを示すフィールドと、 選択アイテムの番号を示すフィールドと、 対応するメニュー・セルの開始部分のシステム・クロック・リファレンスの少な くとも一部を記述するフィールドと、 対応するメニュー・セルの開始アドレスを記述するフィールドと、 対応するメニュー・セルのブロックの番号を記述するフィールドと、 を含むメニュー・セル情報テーブルと、 メニューごとに表示される情報を記憶するためのデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項５０に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 ７７．請求項７６に記載される、光ディスクであるメモリ。 ７８．請求項５０に従って作成されるビデオ、音声信号、およびファイル管理 情報を記憶するためのデータ構造を具備するメモリであって、 メモリ内の情報のアドレスとサイズの情報を記憶するためのファイル管理テーブ ルと、 セルが再現される順序を記述する情報を記憶するシーケンス情報テーブルであっ て、セルが情報の単位であり、シーケンス情報テーブルがシーケンスごとのテー プル・エントリを含み、各テーブル・エントリが、 対応するシーケンスが、再現後に終了する完了型シーケンスであるか、順次再現 されるシーケンスの一部である接続型シーケンスの先頭であるか、接続型シーケ ンスの中間であるか、接続型シーケンスの最後であるかを記憶するフィールドと 対応するシーケンスのセルの番号を記憶するフィールドと、 対応するシーケンスの再現時間を記憶するフィールドと、 対応するシーケンス後に再現されるシーケンスを記憶するフィールドと、 を具備するシーケンス情報テーブルと、 セルを記述する情報を記憶するセル情報テーブルであって、セル情報テーブルが セルごとにテーブル・エントリを含み、各テーブル・エントリが、 対応するセルの再現時間を記述するフィールドと、 対応するセルのシステム・クロック・リファレンスの少なくとも一部を記述する フィールドと、 対応するセルのアドレスを記述するフィールドと、 対応するセルの論理ブロックの番号を記述するフィールドと を含むセル情報テーブルと、 符号化された音声信号を記憶するためのデータ構造と、 請求項５０に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 ７９．請求項７８に記載される、光ディスクであるメモリ。 ８０．請求項５０に従って作成されるビデオ、音声信号、およびタイミング情 報を含む記述情報を記憶するためのデータ構造を具備するメモリであって、 記述情報データ構造のシステム・クロック・リファレンスを記憶するためのフィ ールドと、 他のピクチャを参照せずに復号化される対応するビデオ・ピクチャの開始時間を 記憶するためのフィールドと、 前記対応するビデオ・ピクチャの再現開始時間の直前の再現開始時間が設定され る音声情報のタイム・スタンプを記憶するためのフィールドと、 前記音声情報、音声情報が記述情報データ構造の前に位置するのか、後に位置す るのかを示す第１ビットを記憶するためのフィールドと、 前記記述情報データ構造の前と後の両方に発生するその他の記述情報データ構造 のアドレスを記述するフィールドと、 を含む記述情報を格納するデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項５０に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 ８１．請求項８０に記載される、光ディスクであるメモリ。 ８２．請求項５０に従って作成されるビデオ、音声信号、およびサブピクチャ 情報を記憶するためのデータ構造を具備するメモリであって、 サブピクチャ・ユニット・ヘッダを記憶するためのフィールドと、 ビットマップ・イメージを記憶するためのフィールドと、 複数のテーブル・エントリを含む表示制御テーブルを記憶するためのフィールド であって、前記テーブル・エントリのそれぞれが、 ビットマップ・イメージの表示開始時間を記憶するサブフィールドと、 それ以降のテーブル・エントリのアドレスを記憶するサブフィールドと、 表示領域、ピクセル・カラー、ピクセル・コントラスト、およびビデオ・フレー ムが表示されるにつれて発生するピクセルの色とコントラストの変化を示すコマ ンドを含むコマンドのグループから選択される少なくとも１つの表示制御コマン ドを記憶するためのサプフィールドと、 を含むデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項５０に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 ８３．請求項８２に記載されるメモリであって、その点でサブピクチャ・ユニ ットデータ構造が、サブピクチャ・ユニット・データ構造の情報を格納する複数 のパックを具備するメモリ。 ８４．請求項８３に記載される、光ディスクデあるメモリ。 ８５．デジタル・ビデオ編集システム速度制御装置を制御する方法であって、 最初に符号化された長さの少なくとも１つのビデオ・フレームを複数のマクロブ ロックに分割するステップであって、前記複数のマクロ・ブロックが、それぞれ 第１量子化レベルと第２量子化レベルを持つマクロブロックの少なくとも第１集 合と第２集合を含むステップと、 マクロブロックの前記第１集合ＥＢ（ｉ）の第１ビット概算数を計算するステッ プと、 マクロブロックの前記第１集合を第１再符号化長さＧＢ（ｉ）の再符号化された マクロブロックの第１集合に再符号化するステップと、 前記第１ビット概算数ＥＢ（ｉ）と前記第１再符号化長さＧＢ（ｉ）の間の関係 に基づき、訂正係数△（ｉ）を計算するステップと、 前記訂正係数に基づき前記第２量子化レベルを変更するステップと、 マクロブロックの前記第２集合を、第２再符号化長さの再符号化されたマクロブ ロックの第２集合に符号化するステップと、 再符号化されたマクロブロックの前記第１集合と第２集合を、マクロブロックの 前記第１集合と第２集合以外のマクロブロックから派生するあらゆる再符号化マ クロブロックとともに、前記最初に符号化された長さに等しい長さの再構成され たデジタル・ビデオ・ストリームに結合するステップ、 から構成される方法。 ８６．請求項８５に記載される方法であって、さらに、 再符号化の前に前記第１量子化レベルと第２量子化レベルを事前に割り当てるス テップから構成される方法。 ８７．請求項８６に記載される方法であって、事前に割り当てるステップが、 再符号化の前の前記第１量子化レベルと第２量子化レベルに対応するイメージ品 質を入力すること から構成される方法。 ８８．請求項８７に記載される方法であって、入力するステップが、 グラフィック・ユーザ・インタフェースを使用して前記イメージ品質を入力する ステップ から構成される方法。 ８９．請求項８７に記載される方法であって、入力するステップが、 前記イメージ品質のテキスト記述を入力するステップ から構成される方法。 ９０．請求項８７に記載される方法であって、前記入力するステップが、 前記イメージ品質を相対イメージ品質として入力すること から構成される方法。 ９１．請求項８７に記載される方法であって、前記入力するステップが、 前記イメージ品質を絶対イメージ品質として入力すること から構成される方法。 ９２．請求項８５に記載される方法であって、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１つのマクロブロックを 含むマクロブロックの前記第１集合と第２集合に分割すること から構成される方法。 ９３．請求項８５に記載される方法であって、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１行のマクロブロックを 含むマクロブロックの前記第１集合と第２集合に分割すること から構成される方法。 ９４．請求項８５に記載される方法であって、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが複数行のマクロブロック を含むマクロブロックの前記第１集合と第２集合に分割すること から構成される方法。 ９５．請求項８５に記載される方法であって、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが１つのフレームのマクロ ブロックを含むマクロブロックの前記第１集合と第２集合に分割すること から構成される方法。 ９６．請求項８５に記載される方法であって、前記分割するステップが、 前記少なくとも１つのビデオ・フレームを、それぞれが複数のフレームのマクロ ブロックを含むマクロブロックの前記第１集合と第２集合に分割すること から構成される方法。 ９７．請求項８５に記載される方法であって、前記計算するステップが、さら に、 再符号化されるために残されるマクロブロックの集合のパーセンテージを求める ことと、 求められたパーセンテージに部分的に基づき前記訂正係数を求めることと から構成される方法。 ９８．請求項８５に記載される方法であって、前記計算するステップが、さら に、 再符号化されるために残されるマクロブロックの集合のパーセンテージを求める ことと、 求められたパーセンテージに対する逆の関係に部分的に基づき前記訂正係数を求 めることと から構成される方法。 ９９．請求項８５に記載される方法であって、前記計算するステップが、さら に、 以下の等式により指定される比を計算することと、 前記第１ビット概算数ＥＢ（ｉ）および前記第１再符号化長さＧＢ（ｉ）を使用 することと から構成される方法。 １００．請求項９９に記載される方法であって、さらに、 前記訂正係数を求めるために、前記比ＰＢ（ｉ）を第１テーブルの複数の値に比 較するステップ から構成される方法。 １０１．請求項９９に記載される方法であって、前記計算するステップが、さ らに、 前記比ＰＢ（ｉ）を、ＰＢ（ｉ）を上回るＰＢ（ｉ）にもっとも近い値の前記第 １テーブル内で第１インデックスを求めるために、第１テーブルの複数の値に比 較するステップと、 前記第１インデックスを前記第２テーブルへのインデックスとして使用して、訂 正値の第２テーブルにインデックスを付けるステップと から構成される方法。 １０２．請求項８５に記載される方法であって、前記変更するステップが、 前記訂正係数を第２量子化レベルに追加することと、 前記追加の結果を記憶することと から構成される方法。 １０３．請求項８５に記載される方法であって、さらに、 前記少なくとも１つのビデオ・フレームをカメラから入力するステップ から構成される方法。 １０４．請求項８５に記載される方法であって、さらに、 前記デジタル・ビデオ・ストリームをデジタル記憶装置媒体に転送するステップ から構成される方法。 １０５．請求項１０５に記載される方法であって、前記転送するステップが、 前記デジタル・ビデオ・ストリームを光ディスク・ライターに転送することから 構成される方法。 １０６．請求項１０４に記載される方法であって、前記転送するステップが、 前記デジタル・ビデオ・ストリームをマスタ光ディスクに転送することと、 前記デジタル・ビデオ・ストリームを前記マスタ・ディスクから空のディスクに 転送すること から構成される方法。 １０７．請求項８５に従って作成されるビデオ、音声信号、およびメニューの 処理に使用される情報を記憶するためのデータ構造を具備するメモリであって、 メニュー・セルの番号を記憶するためのフィールドであって、セルが情報の単位 であるフィールドと、 タイトル・メニューの開始セル用フィールドと、 音声選択メニューの開始セル用フィールドと、 サブピクチャ情報を選択するために使用されるメニューの開始セル用フィールド であって、サブピクチャ情報がビデオとは異なるビットマップ化された情報を提 示するために使用されるフィールドと、 メモリに複数のプログラムが存在するときに、複数のプログラムを選択するため に使用されるメニューの開始セル用フィールドと、 メモリに複数の角度ビューが存在するときに、カメラ角度を選択するために使用 される角度メニューの開始セル用フィールドと、 を含む前記メモリ内に記憶されるデータ構造と、 メニューごとに表示されるテーブル・エントリを含むメニュー・セル情報テーブ ルであって、前記テーブル・エントリのそれぞれが、 テーブル・エントリに対応するメニューが、タイトル・メニューなのか、プログ ラム・メニューなのか、音声メニューなのか、サブピクチャ・メニューなのか、 または角度メニューなのかを示すフィールドと、 選択アイテムの番号を示すフィールドと、 対応するメニュー・セルの開始部分のシステム・クロック・リファレンスの少な くとも一部を記述するフィールドと 対応するメニュー・セルの開始アドレスを記述するフィールドと、 対応するメニュー・セルのブロックの番号を記述するフィールドと、 を含むメニュー・セル情報テーブルと、 メニューごとに表示される情報を記憶するためのデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項８５に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 １０８．請求項１０７に記載される、光ディスクであるメモリ。 １０９．請求項８５に従って作成されるビデオ、音声信号、およびファイル管 理情報を記憶するためのデータ構造を具備するメモリであって、 メモリ内の情報のアドレスとサイズの情報を記憶するファイル管理テーブルと、 セルが再現される順序を記述する情報を記憶するシーケンス情報テーブルであっ て、セルが情報の単位であり、シーケンス情報テーブルがシーケンスごとにテー ブル・エントリを含み、各テーブル・エントリが、 対応するシーケンスが、再現後に終了する完了型シーケンスなのか、順次再現さ れるシーケンスの一部である接続型シーケンスの先頭なのか、接続型シーケンス の中間なのか、および接続型シーケンスの最後なのかを記憶するフィールドと、 対応するシーケンスのセルの番号を記憶するフィールドと、 対応するシーケンスの再現時間を記憶するフィールドと、 対応するシーケンス後に再現されるシーケンスを記憶するフィールドと、 を含むデータ構造と、 セルを記述する情報を記憶するセル情報テーブルであって、セル情報テーブルが セルごとにテーブル・エントリを含み、各テーブル・エントリが、 対応するセルの再現時間を記述するフィールドと、 対応するセルのシステム・クロック・リファレンスの少なくとも一部を記述する フィールドと、 対応するセルのアドレスを記述するフィールドと、 対応するセルの論理ブロックの番号を記述するフィールドと、 を含むセル情報テーブルと、 符号化された音声信号を記憶するためのデータ構造と、 請求項８５に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 １１０．請求項１０９に記載される、光ディスクデあるメモリ。 １１１．請求項８５に従って作成されるビデオ、音声信号、およびタイミング 情報を含む記述情報を記憶するためのデータ構造を具備するメモリであって、 記述情報データ構造のシステム・クロック・リファレンスを記憶するためのフィ ールドと、 他のピクチャを参照せずに復号化される対応するビデオ・ピクチャの開始時間を 記憶するためのフィールドと、 前記対応するビデオ・ピクチャの再現開始時間の直前の再現開始時間が設定され る音声情報のタイム・スタンプを記憶するためのフィールドと、 前記音声情報のアドレス、音声情報が記述情報データ構造の前に位置するのか、 後に位置するのかを示す第１ビットを記憶するためのフィールドと、 前記記述情報データ構造の前と後の両方で発生するその他の記述情報データ構造 のアドレスを記述するフィールドと、 を含む記述情報を格納するデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項８５に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 １１２．請求項１１１に記載される、光ディスクであるメモリ。 １１３．請求項８５に従って作成されるビデオ、音声信号、およびサブピクチ ャ情報を記憶するためのデータ構造を具備するメモリであって、 サブピクチャ・ユニット・ヘッドを記憶するためのフィールドと、 ビットマップ・イメージを記憶するためのフィールドと、 複数のテーブル・エントリを含む表示制御テーブルを記憶するためのフィールド であって、前記テーブル・エントリのそれぞれが、 ビットマップ・イメージの表示開始時間を記憶するサブフィールドと、 それ以降のテーブル・エントリのアドレスを記憶するサブフィールドと、 表示領域、ピクセル・カラー、ビデオ・フレームが表示されるにつれて発生する ピクセルの色とコントラストの変更を示すコマンドを含むコマンドのグループか ら選択される少なくとも１つの表示制御コマンドを記憶するためのサブフィール ドと、 を含むフィールドと、 を含むデータ構造と、 符号化された音声信号を記憶するためのデータ構造と、 請求項８５に従って作成される前記ビデオを記憶するためのデータ構造と、 を具備するメモリ。 １１４．請求項１１３に記載されるメモリであって、サブピクチャ・ユニット ・データ構造が、サブピクチャ・ユニット・データ構造内の情報を格納する複数 のパックを具備するメモリ。 １１５．請求項１１４に記載される、光ディスクであるメモリ。