JP2001509329A - ビデオコーディング - Google Patents

Abstract

(57)【要約】 動画を表すビデオ信号をエンコードする方法および装置であり、該方法はビデオ信号の連続するフレームを受取ること；ビデオ信号の先行するフレームを参照してコーディングして、再構成されたときに動画の第１のプレイバックモードを表す第１の組のデータを生成すること；ビデオ信号の各フレームをコーディングして、ｎが整数のとき、再構成されたとときに、動画の第２のプレイバックモードを表す第２の組のデータを生成すること；第１の組のデータをデコードして、第１の再構成されたビデオ信号を生成すること；第２の組のデータをデコードして、第２の再構成されたビデオ信号を生成すること；第２の再構成されたビデオ信号のフレームと、第２のビデオ信号のフレームに続くフレームに対応する第１の再構成されたビデオ信号のフレームとの間の差を計算すること、および差が閾値を越えたとき、差をコード化して、別の組のデータを生成することを含む。

Description

【発明の詳細な説明】 ビデオコーディング 本発明は、ビデオ信号のコーディング、とくに、例えば１２８kbit/s以下であ ることが要求される低帯域幅伝送システムで伝送するビデオ信号のコーディング に関する。 約６MHzのアナログ帯域幅またはディジタル情報に対する１００Mbit/sを超え たデータレートが、圧縮されていない品質の放送テレビジョン信号を送信するに は必要である。このような高ビットレート信号は、帯域幅が制限されるシステム によって送信するには非実用的である。したがってビデオ信号を圧縮することに よって情報量を低減する必要がある。これは隣接する画索（ピクセル）間の相関 関係を利用すること、およびデータの低減と画像品質との間で妥協をはかること によって達成される。 ビデオ圧縮技術は、空間または時間、あるいはその両方における隣接するピク セル間の相関関係に依存する。例えば、比較的に均一な情景領域（例えば部屋の 壁）内で１つのピクセルと、この領域内の隣接するピクセルとはかなり類似して いることが多い。同様に、かなり静的な情景では、１フレームのピクセルは次の フレームの同等のピクセルと密接に対応することになる。したがって単一フレー ムのピクセルは互いの関連性に関係してコード化すること(イントラフレーム(フ レーム内)コーディング)、または隣接するフレームのピクセルとの関係性に関し てコード化すること（インターフレーム（フレーム間）コーディング）が可能で ある。フレーム内でコード化されるフレーム（イントラフレーム）は他のフレー ムを参照せずに明らかにデコードすることができ、フレーム間でコード化される フレーム（インターフレーム）は予想で使用するフレームに関する情報を要求す る。差分技術を使用してビデオ信号をさらに圧縮することもできる。差分コーデ ィング技術では、フレーム間の差のみをコード化するので、全フレームをエンコ ードするのに必要なデータよりもデータ量が少ない。 種々のビデオ圧縮規格が開発されている。１例として、国際規格ＩＳＯ−ＩＥ Ｃ１１１７２、“Coding of Moving Pictures and Audio for Digital Storage Media at up to About 1.5Mbit/s(約１．５Mbit/s以下のディジタル記憶媒体の ための動画およびオーディオのコーディング)”、すなわちＭＰＥＧ１として知 られているものがある。この規格は、ディジタル記憶媒体、例えばＣＤ−ＲＯＭ 、ディジタルオーディオテープ(ＤＡＴ)、テープドライバ、書込み可能な光ドラ イバ上にビデオおよび関係するオーディオを記憶するため、または遠隔通信チャ ンネル上で伝送するために開発された。ＭＰＥＧ１の規格にしたがって、イント ラフレームはデータ流内に規則正しい間隔で含まれており、ビデオ信号へのラン ダムアクセスおよびその編集を可能にする。規則正しいイントラフレームはビデ オ信号との対話も可能である。すなわちユーザはビデオ信号の高速前送りおよび 高速巻き戻しを要求することができ、これは、標準の再生が要求されるまではビ デオ信号のＩフレームをユーザに示すことによって達成することができる。しか しながらこれは、イントラフレームおよびインターフレームの両方を含むビデオ 信号の標準プレイバックモードと比較して、画像ごとの標準ビットレートを高め る。 低データレートシステムに関する規格も発展してきた。例えば、ＩＴＵ規格Ｈ ．２６１は（ＩＳＤＮネットワークでの通信において）動画のコーディングをｎ ×６４kbit/s（尚、ｎは１乃至３０の整数）のレートで行ない、ＩＴＵ規格Ｈ． ２６３では（ＰＳＴＮネットワークでの通信において）動画のコーディングを６ ４kbit/sよりも低いデータレートで行なう。これらのコーディング方式は、イン トラフレームを常に含む必要はない。ビデオ呼の途中で、エラー状態が受信機に よってまたはおそらくは情景変化するときに検出されるとすると、一般にイント ラフレームのみが送られる。これはＭＰＥＧ１（全データの重要な部分を表すイ ントラフレーム用に生成されたデータ）と比較して平均データレートが低減する ことを意味する一方で、データへの明確なアクセスポイントはスタート以外には ないので、対話機能、例えば高速前送りまたは巻き戻し機能を準備することはで きない。したがってＨ．２６１およびＨ．２６３コーディング方式は、ユーザが 対話できるビデオ流（ストリーム）を準備するのに適していない。 N Farber、E Steinbach、およびB Griodによる文献“Robust H.263 Compatib le Transmission for Mobile Video Server Access”（IEEE First Internation al Workshop on Wireless Image/Video Communlcationsで発表された。Loughbou rough University，UK，1996年９月4-5日開催）には、Ｈ．２６ ３でエンコードされたビデオ流へのランダムアクセスを可能にする方法として、 周期的なイントラフレームのオーバーヘッドを要求しない方法が開示されている 。この文献によると、２つのデータ流が記憶され、一方のデータ流（いわゆるＰ 流）は標準プレイバックモードで送られるインターフレームから成る。第２のデ ータ流（いわゆるＩ流）はイントラフレームから成る。これは主としてエラー回 復に使用されるが、ビデオ信号についてのランダムアクセスは、ユーザによって 要求されるときに、送られた信号にイントラフレームを挿入することによって行 われることに注意すべきである。したがって正確な用語では、周期的なイントラ フレームなしにインターフレームのコード化された信号が送られ、ビデオ流への ランダムアクセスが要求されるときに、イントラフレームのみが送られる。 文献に示唆されているように、イントラフレームを挿入することにより、いわ ゆるＰ流から再構成されたフレームと対応するイントラフレームから再構成され たフレームとの間の差から“不整合”エラーが生じる。文献にはこのエラーを低 減して、もとのビデオ信号からではなく、Ｐ流の再構成されたフレームからイン トラフレームをコード化することを示唆している。 本発明にしたがって、動画を表すビデオ信号のコーディング方法であり： ビデオ信号の連続するフレームを受取ること； ビデオ信号の先行するフレームを参照してビデオ信号の各フレームをコード 化し、構成されたときに、動画の第１のプレイバックモードを表す第１の組のデ ータを生成すること； ビデオ信号のフレームをコーディングし、再構成されたときに、動画の第２ のプレイバックモードを表す第２の組のデータを生成すること； 第１の組のデータをデコードして、第１の再構成されたビデオ信号を生成す ること； 第２の組のデータをデコードして、第２の再構成されたビデオ信号を生成す ること； 第２の再構成されたビデオ信号のフレームと、第２のビデオ信号のフレーム に後続するフレームに対応する第１の再構成されたビデオ信号のフレームとの間 の差を計算すること、および差が閾値を超えたとき、差をコーディングし、別の 組のデータを生成することとを含む方法を提供する。 したがって、第２および別の組のデータから再構成されたフレームは、要求さ れるイントラフレームに対してフレームごとのビットレートを著しく増加せずに 、Ｐ流のリンクされたフレームに密接に整合する。 好ましくは、第２の組のデータはビデオ信号の別のフレーム、すなわちコード 化されたイントラフレームを参照せずに生成される。これらのＩフレームを使用 して、高速前送りおよび高速巻き戻し機能を準備することができる。 第２の組のデータは、第１の組のデータを生成するのに使用するものよりも粗 い量子化ステップサイズを使用して生成することができ、別の組のデータは、第 １の組のデータを生成するのに使用されると、第２の組のデータを生成するのに 使用されるのとの中間の量子化ステップを使用して生成することができる。した がって、イントラフレームのコード化された画像は、画像ごとの最大ビットを超 えずにエンコードすることができ、別の組のデータは第２の組のデータから生成 された画像の品質を向上する。 好ましくは、別の組のデータは第２の再構成されたビデオ信号のフレームと結 合され、この第２のビデオ信号のフレームと第１のビデオ信号のフレームとの間 の差が計算され、差が閾値を超えるとコード化され、さらに別の組のデータを生 成する。これらの結合、計算、およびコーディング段階は、基準が満たされるま で反復的に実行される。適切な基準では、ステップは第２の再構成されたビデオ 信号の各フレームに対して、一定の回数、例えば２回、または差が閾値より低く なるまで実行される。 ここで添付の図面を引用して例示的に本発明をさらに記載することにする。 図１は、本発明にしたがってエンコードが行われたエンコードされたビデオ信 号を含む対話式ビジュアルサービスシステムを示す。 図２は、本発明のビデオエンコーダのブロック図を示す。 図３は、本発明にしたがって生成された、高速前送りおよび高速巻き戻しが可 能なデータを示す。 図４は、高速前送り、高速巻き戻し、および一層頻繁な一時停止の利用が可能 な、本発明の別の実施形態にしたがって生成されたデータを示す。 図５は、制御リストが再生モードでどのように使用するかを示す。 図６は、図５で示された制御リストの要素例である。 図７は、制御リストを使用して、ビデオサーバによってビット流をどのように 生成するかを示す例である。 図１は、対話式ビデオシステム、いわゆるビデオオンデマンドシステムを示し 、ユーザが要求しているユーザによって選択されるビデオを表すビット流を提供 する。システムはビデオサーバ２を含み、ビデオサーバ２は映画、ドキュメンタ リ、などのような動画を表すエンコードされたビデオ信号のメモリ４と共働する 。複数のユーザ端末６は、伝送リンク７、例えばＰＳＴＮ、ＩＳＤＮ、無線衛星 、などを介してビデオサーバ２に接続される。各ユーザには、ビデオサーバ２を 制御するための手段（図示されていない）が備えてある。サーバへのリターンパ ス８はこれらの制御信号を送るために準備されている。このリターンパスは、信 号をサーバ２から端末６または別の伝送媒体へ送るのに使用されるのと同じ伝送 媒体を経てもよい。 使用の際に、ユーザは再生される動画を選択し、制御信号はリターンパス８を 介してサーバへ送られる。サーバ２は、選択されたビデオ信号を確認し、メモリ ４内のビデオ信号の場所を識別し、ビデオメモリ４から要求を出しているユーザ 端末６へのパス７を設定し、選択されたビデオ信号を端末へ送る。このオペラビ リティ（実行可能性）を備えているサーバはビデオオンデマンドのフィールドで 知られており、本発明はサーバにとくに影響を及ぼさない限り、本明細書ではさ らに記載しないことにする。 メモリ４内のビデオ信号は、適切なコーディング方式にしたがってエンコード することができる。 多くの現在のコーディング方式、例えばＨ．２６１／２６３およびＭＰＥＧ規 格において、送られるビット数を低減する量子化として知られているプロセスが ある。画像は離散的余弦変換(Discrete Cosine Transformation)（ＤＣＴ）を使 用して、空間領域から周波数領域へ変換される。生成されたデータは、周波数成 分を増加するオーダで走査され、その後定数で量子化または除算され；閾値より も低い除算結果は全て捨てられる。高い方の周波数成分は普通、低い方の周波数 成 分よりも低い値をもち、したがって定数で除算するとき、高い周波数成分の多く は捨てられる。エンコーダは量子化器によって除数として使用される数を選択し 、合理的な数のフレームをチャンネルへ送ることを保証する。例えば、エンコー ドされるビデオシーケンス内に多くの詳細または動きがあるとき、エンコーダは 量子化値を増加し、信号をエンコードするのに使用されるフレーームごとのビッ ト数（またはマクロブロック）を低減する。粗い量子化器の使用により他の望ま しくない影響が生じる；送られるピクセル内において、デコードされる計数値は 大きいステップをもち、したがって信号対雑音比が低く、‘斑がある(blocky)’ ように見える像を生成する。 ここで本発明の第１の実施形態を、本発明のエンコーダを示す図２を引用して 記載することにする。エンコーダは入力11およびエンコーディング手段12を含み 、エンコーディング手段12はＤＣＴ係数を出力するＤＣＴ計算ユニット14および ＤＣＴユニット14の出力を量子化する量子化器16から形成されている。量子化器 16の出力は可変長コーダ（ＶＬＣ）18および逆量子化器21に接続される。量子化 器16および逆量子化器21の量子化ステップサイズは制御ユニット22によって制御 される。ＶＬＣ18は制御ユニット22へ接続され、ＶＬＣの動作状態に関係する制 御ユニットへ情報を送る。制御ユニットは量子化器16および逆量子化器21の量子 化ステップサイズを変更し、コード化されたデータを選択されたコーディング方 式により許されている画像ごとの最大ビットの制限範囲内に維持する。 したがって、コード化されるビデオ信号の全フレームを必ずしもエンコードし なくてもよい。制御ユニット22は、フレームをエンコードするのに必要なデータ 量が多過ぎるときは、フレームを落とすことができる。 逆量子化器21および反転ＤＣＴユニット24はローカルデコーダ25を形成する。 インターフレームコーディングにおいて、ローカルでコーダによってデコードさ れる画像はフレームメモリ（ＦＳ）26へ入力される。エンコードされる次のフレ ームが入力10でエンコーダへ送られるとき、減算器28はエンコーダへ入力される フレームとフレームメモリ26の内容との間の差を計算する。動きの推定は通常の 動作推定器31によっても行なうことができ、このとき、フレームメモ リ26の内容は動作ベクトルにしたがって変更される。このような動きの推定はビ デオコーディングの領域ではよく知られており、ここではさらに記載しないこと にする。 インターフレームコーディングでは、加算器32においてフレームメモリ26の内 容は、減算器28によって計算した差をフレームメモリ26へ加算することによって 更新される。エンコーダの出力はローカルメモリ34内に記憶される。 本発明の第１の実施形態（図３を引用して記載することにする）にしたがうと 、ビデオ信号のエンコーディングにはエンコーダを通るいくつかのパスが必要で ある： １．要求されるコーディング方式にしたがって、正常のプレイバックモードの ビット流に対応する第１の組のデータ10を生成する第１のパス。例えば、Ｈ．２ ６１またはＨ．２６３のコード化されたビデオでは、このビット流は最初のＩフ レームとそれに続くＰフレームから成る。この第１の組のデータ10はローカルメ モリ34に記憶される。 ２．ビデオ信号の第２のプレイバックモードを表す第２の組のデータ20、（例 えば、高速前送りまたは高速巻き戻し）を生成する第２のパス。このパスは、第 １のビット流との間でリンクを定めている制御構成についての制御リスト内のエ ントリと一緒に、高速前送りおよび巻き戻しに適したより低いビットレートでＩ フレームのシーケンスＩ'Ｉ'Ｉ'Ｉ'を生成する。制御ユニット22は、エンコーデ ィングループからローカルでコーダ25を切り放す(スイッチアウトする)。制御ユ ニットは、要求された高速前送り／高速巻き戻しモードと互換性のあるビットレ ートでこの第２の組のデータを生成するようにプログラムされている。例えば、 標準速度の10倍の高速前送り／高速巻戻しプレイバックモードが要求されるとす ると、第２の組のデータは標準プレイバックモードの平均ビットレートの１／１ ０倍で生成される。第２の組のデータ20は関係する制御リストをもつローカルメ モリ34内に記憶される。 ３．追加のＰ'，Ｐ"，Ｐ'''フレーム30を生成する後続のパス。第２の組のデ ータ20のＩフレームはＰ'，Ｐ"，Ｐ'''のシーケンスのための開始ポイントとし て使用され、第２の組のデータ20のデコードされたフレームＩ'は制御ユニット2 2によ ってフレームメモリ26へロードされる。エンコードされた標準ビット流10（すな わち、パス＃１内で生成されるビット流）内のＰフレームは、Ｐフレームを再び 結合するポイントでデコードされ、Ｐ_(n)としてエンコーダの入力11へ供給され る。減算器28は、フレームメモリ26内の画像Ｉ'と標準プレイバックビット流内 の再構成された目標Ｐ_(n)フレームとの間の差を計算する。２つのものの差が所 定の閾値よりも小さいときは、エンコードプロセスは停止することになる。閾値 よりも大きいときは、差はＰ'としてエンコードされ、第３の組のデータとして ローカルメモリ34に記憶される。次にＰ'はデコードされ、加算器32によってフ レームメモリ26へ加算され、制御ユニットは再び計算を開始し、フレームメモリ の内容とフレームＰ_(n)の内容の差をエンコードして記憶する。これは、エンコ ーダＰ_(n)への入力およびフレームメモリ26の内容とが収束して、２つの間の差 が所定の閾値よりも小さくなるまで継続する。このデータＰ，'Ｐ"，Ｐ'''は第 ３の組のデータとして記憶される。したがって可変数の追加のＰ'フレームを、 第２のプレイバックモードの各フレームに対して生成することができる。 本発明のより簡単な形態では、エンコーダは定数のフレームに対して作動して 、定数のＰ'フレームを生成することができる。実地の経験から、３つのＰ'フレ ーム、Ｐ'，Ｐ"，およびＰ'''が許容できる結果を与えることが分かる。 したがって、ビデオ信号の標準プレイバックモードを表す第１の組のデータ10 は、第２のプレイバックモード（高速前送り／高速巻戻し）Ｉ'Ｉ'Ｉ'Ｉ'Ｉ'... ...を表す第２の組のデータ20および標準プレイバックモードビット流10を再び 結合できるようにする別の組のデータ30、Ｐ'，Ｐ"，Ｐ"と一緒に、ＰＰＰＰＰ. .....を生成する。これらの組のデータは、データの組間のリンクを記録する関 係する制御リスト（下記参照）と一緒にローカルメモリ34に記憶される。 高速前送り／高速巻き戻しモード用のイントラフレームは、正常プレイバック モードビット流のビットレートと比較して低減したビットレートでエンコードさ れる。Ｉ'フレームとＩ'フレームにリンクされた正常プレイバックモードビット 流のフレームとの間の差はエンコードされて、追加のＰ'フレームを形成する。 エンコーダの制御ユニット22は、追加のＰ'フレーム内のマクロブロックごとに 、次のやり方で量子化器ステップサイズを自由に変更する。エンコーダは、図３ に示 したように各Ｉ'フレームをそれぞれＰ'，Ｐ"，およびＰ'''としてエンコードし た後で追加のＰフレームを付加する。各Ｉフレームの後にエンコードされるＰフ レームの数は、素材がエンコードされるときに、プログラマブルであり、本発明 に対して基数的なものでない。 したがって各Ｉ'フレームは比較的粗い量子化器ステップサイズ（例えば、Ｈ ．２６１コーディング方式のレベル８）でエンコードされて、Ｉ'フレームを形 成するために送られるビット数がコーディング方式のビット／映像制限の最大数 に含まれることを保証する。このＩ'フレームは、デコードされて表示されると 、わずかに不鮮明で斑があるように見える。次のＰフレーム、Ｐ'も比較的粗い 量子化器のステップサイズを使用し、像をさらに鮮明にする。Ｈ．２６１および Ｈ．２６３の仕様では一層細かい量子化器のステップサイズのみが低ピクセル値 を認めていることに注意したい。Ｉ'フレームが（間接的に）リンクされている メインビット流のフレームに収束するためには、実際はＩ'フレームには２以上 の追加のＰフレームＰ'，およびＰ"，Ｐ'''が続き、画像をＰフレームのメイン ビット流によって得られる鮮明度と比較可能なレベルにまで鮮明にする。第１の フレームＰ'は規格（例えば、Ｈ．２６１コーディング方式のレベル８）におい て特定される全範囲のピクセル値を許容し、第２のフレームＰ"はさらに細かい 量子化器ステップサイズ（例えば、Ｈ．２６１コーディング方式のレベル４）で 、メインビット流と比較可能な映像品質を達成する。Ｐ'およびＰ"フレーム間の 差の大きさが２５５よりも小さいことが予測されるとき、より低い範囲のピクセ ル値を許容できる。次のＰ'フレームＰ'''はさらに細かい量子化ステップサイズ （例えば、Ｈ．２６１コーディング方式のレベル１）を使用する。 この技術の長所の中には、高速前送りまたは高速巻き戻しが要求されるとき、 第１のフレームＩ'が端末によって受取られるまで遅延が少なくなることである 。継続するＩ'フレームが、サーバ２を要求して正常のプレイバックモードを再 開する制御信号がユーザ端末６から受取られるまで送り続けられる。再生される 最後のＩ'フレームと関係する追加のＰ'フレームが送られて、信号を、正常のビ ット流から再生されることになる次のフレームによって表わされるフレームに収 束するようになる。この方法は、次第に細かくなる量子化器ステップサイズをも つＩ' フレームの後に、このコーディング方式によって支援される最良の画像品質に収 束できるように、追加のＰフレームを幾つでも含むように広げることができる。 Ｐフレームの正常のシーケンスをかなり時間の間送ることによって差が永続す るようになるので、最後の追加のフレームＰ'''は、フレームＰ'''がリンクされ るデータ10の正常にエンコードされたフレームとはほとんど違いないものになる べきである。これらの違いは、Ｈ．２６１およびＨ．２６３規格の一部分として 特定される“組織的な更新(systematic update)”プロセスによって特定のマク ロブロックに対してのみ取り除かれることになる。 したがって、粗く量子化されたＩ'フレームは、ＭＰＥＧまたはＨ．２６１規 格の標準のＩ−フレームよりも送るビット数は少なくてよいので、少ない遅延で 送られる。次の追加のＰフレームは粗の量子化から生じるアーティファクトを取 り除き、粗く量子化されたＩフレームとＰ'フレームとの間の大きな予測される 差をエンコードする。最後のＰ'''フレームは量子化され、標準のビット流とう まく整合する。 これにより、追加のアーティファクトを、表示されることになる信号に挿入せ ずに高速前送りおよび高速巻き戻しが可能になり、この信号はそこでビデオ信号 の正常のプレイバックモードを永続させるようにする。高速前送りおよび高速巻 戻しによる高速化は、シーケンスがエンコードされる時に定められる。ハイスピ ードの高速前送りおよび高速巻戻しが要求されると、多数のＰフレームが各Ｉフ レーム間でエンコードされることになり、また各Ｉフレーム間にかなりの時間が 存在することになる。例えば、記憶した素材が１２８kbit/sの中間ビットレート でエンコードされ、10倍のスピードアップファクタが高速前送りおよび巻戻しに 要求されると、Ｉ'フレームは１２．８kbit/sの平均ビットレートでエンコード されることになる。 一時停止が要求されるときは、ユーザの端末は現在デコードされたフレームを 表示することができる。しかしながらデコードされたフレームがユーザのディス プレイ上で維持されるときには、映像のアーティファクトは観察者にとってより 明らかになる。 したがってその代りに、第２の組のデータのＩ'フレームに対する次のリンク に 到達するまでは、サーバ２は正常のプレイバック信号を送り続けることができる 。Ｉ'フレームおよび次のＰ'，Ｐ"，Ｐ'''フレームはそこでディスプレイへ送ら れる。しかしながら、ビデオ信号の正常のプレイバックレートよりも著しく速い レートで高速前送りがエンコードされるとすると、次のＩ'フレームに到達する 前にかなりの遅延があってもよい。 本発明の第２の実施形態にしたがって、図４に示したように、高速前送りおよ び高速巻き戻しに対するＩフレームよりも比較的に一層頻繁に、複数の一時停止 のシーケンスＰ、Ｐ'，ＰＰ"，ＰＰ'''がエンコードされる。各ＰＰ'一時停止シ ーケンス40ａは、正常のプレイバックモードの再構成されたフレームＰ_nと元の ビデオ信号の対応するフレームＦ_nとの間の差を計算することによってエンコー ドされる。一時停止シーケンス40は別の組のデータとしてもメモリ34内に記憶さ れる。 一時停止シーケンスのためのエンコーディングプロセスは、高速前送りおよび 高速巻き戻しに使用されるプロセスに類似しているが、この場合は最初のＩフレ ームは生成されない： １．正常のプレイバックモードビット流に対応する第１の組のデータ10はデコ ードされ、フレームは、ローカルメモリ34からのエンコーダのフレームメモリ26 はへロードされる。 ２．第２のプレイバックモード、すなわち一時停止（ポーズ）を表す別の組の データ40が生成される。この別の組のデータは、ビデオ信号の元のフレームＦ_{(n )} をエンコーダ入力11に入力して、フレームＰ'''メインビット流10の対応するデ コードされたフレームをもつフレームメモリ26にロードすることによって生成さ れる。２つのフレーム間の差が計算され、閾値よりも大きいときには、関係する 制御リストをもつローカルメモリ34内の一時停止フレームＰＰ'としてエンコー ドされ、記憶される。 ３．次にＰＰ'はデコードされ、加算器32によってフレームメモリ26に加算さ れ、制御ユニットは再びフレームメモリの内容とフレームＦ_(n)の間の差の計算 を開始する。これは、エンコーダＦ_(n)への入力およびフレームメモリ26の内容 が収束して、２つの間の差が所定の閾値よりも小さくなるまで続く。したがって 可変数のＰＰ'の一時停止フレームは一時停止モードの各フレームに対して生成 することができる。 明らかに、生成された最後のＰＰ'フレームは正常のビット流10内の対応する フレームから発散している。これは多数のやり方で処理することができる： ａ）特定の一時停止ポイントの最後のＰＰ'と関係する制御リストへのエントリ は次のＩ'フレームにリンクされ、例えば図４では高速前送りデータ組で行われ 、ＰＰ'はＩ'₁にリンクされる（図４の参照符号42参照）か；または、 ｂ）別のデータをエンコードして、一時停止フレームＰＰ'によって表される映 像を正常のプレイバックビット流10内で再構成されたＰフレームへ収束させるよ うにする。こうして図４の参照符号44に示されているように、最後ＰＰ'フレー ムと関係するリンク内のエントリは次のＰフレームへリンクされる。第１の実施 形態を引用して記載したのと同じやり方で、一時停止ポイントがリンクされこと になるメインビット流10についてのデコードされたフレーム（例えば、次のフレ ームＰ_X+1が、入力11を介してエンコーダに入力され、一方でデコードされた最 終の一時停止フレームＰＰ'''はフレームメモリ26にロードされる。第１の実施 形態に関して、減算器への２つの入力が収束するかまたは一定の数の反復が行わ れるまで、入力フレームＰ_X+1とフレームメモリ26の内容との間の差はエンコー ドされて、再生再開フレームおよび関係する制御リストを形成する。 インターフレームはイントラフレームよりも含んでいるビットが少ないので、 一時停止モードに対してＰＰ'フレームだけを使用することは、サーバに記憶さ れたビデオデータ量を著しく増加せずに、より多くの一時停止ポイントを挿入で きることを意味する。 種々の源からのオーディオビジュアル素材をコード化することができ、エンコ ードされたビット流は、ビデオサーバ２のメモリ４に後の段階で記憶するための 大容量のメモリシステム、すなわち典型的にはハードディスクドライバまたはＣ Ｄ−ＲＯＭ上に記憶される。 したがって、本発明においてはエンコーディングプロセスは、素材が処理され 、記憶媒体に記憶されるときのみ行われる。素材は伝送帯域幅および支援される ことになる端末の種類を支援するのに要求されるいくつかのレートで記憶できる 。 一般にオーディオビジュアル素材はＰＳＴＮ、ＩＳＤＮ、ＬＡＮ、またはＡＤＳ Ｌネットワーク上で送られ、エンコーディングプロセスはそれぞれ要求レートで 行なわれる。 記憶された素材は、エンコードされたビット流をデコードできるクライアント 端末６および関係するオーディオコーディングアルゴリズムによってアクセスで きる。制御チャンネル８は、高速前送り、高速巻き戻し、一時停止、および他の モードを行なうことができるサーバの制御を可能とするのに要求される。現在、 この制御機構に対するＩＴＵ規格はない。図１はこのような構成を示している。 オーディオビジュアル素材がクライアント端末によって要求されるとき、サー バによって要求される追加のデコーディング／エンコーディング／リコーディン グ(re-coding)プロセスなしに、素材を規格に従う端末へ直接に送り出すことが できる。したがって比較的に廉価なサーバは記憶された素材への多くの同期アク セスを支援できる。 クライアントデコーダからのコマンドを使用して、サーバが送るビット流を制 御する。送られたビット流の構成要素はサーバ上で保持される制御リストによっ て制御される。図５において、Ｆ０乃至Ｆ９はエンコードされる素材の元のフレ ームを表し、固定フレームレートで行われる。Ｐｎは、デコーダによって構成さ れることになる標準プレイバックモードの予測されるフレームを表わし、Ｂ（ｎ ，ｍ）はビット流を表し、このビット流を送るとき、デコーダはＰ_nからＰ_mへ移 動できる。 制御リストはコーディング中に生成され、サーバによるメモリ４からのアクセ ス用記憶媒体に保持される。制御リスト50は、メモリ内に保持される異なるフレ ームからのリンクを含む。ビット流の各要素ごとに１つの制御リストがあり、Ｂ （０，１）乃至Ｂ（Ｎ，Ｎ＋１）のラベルを付けられている。図５にはビデオ流 が示されており、１つの制御リストから次の制御リストへ‘再生’リンクが続い ている。 制御リスト内の要素の例は図６に示した。各制御リストまたはブロック50は： ビット流識別子51；デコーダによってビット流を再生できるエンコードされた信 号の開始に対して最も早い時間を示すタイムスタンプ52;メモリ内のフレーム の圧縮されたビット流のピストンを示すファイルオフセット53;フレーム内のビ ット数を示すビット流サイズ54;プレイバックモードで再生される次の制御リス トの識別子を示す再生リンク55;巻き戻しプレイバックモードで再生される次の 制御リストの識別子を示す再生逆送りリンク56;高速前送りモードで再生される 次の制御リストの識別子を示ず高速前送りリンク57;高速巻き戻しモードで再生 される次の制御リストの識別子を示す高速巻き戻しモード58;一時停止モードで 再生される次の制御ブロックの識別子を示す一時停止リンク60;およびプレイバ ックモードを再開するときに再生される次の制御リストの識別子を示す再スター トリンクとを含む。 図７は、エンコードされたビデオ信号の一部分に対する制御リストを示す。制 御リスト501乃至506は標準プレイバックモードのＰフレームを表す。制御リスト 507乃至509は、高速前送り／高速巻き戻し(rewind)に対して生成されたＩ'フレ ームと関係付けられている。制御リスト510乃至518は、高速前送り画像を標準再 生ビット流の再結合ポイントへ集中させるのに生成される追加のＰ'フレームと 関係付けられている。 図７は、一時停止シーケンスＰＰ'を示していないが、類似の制御リストは、 要求に応じてこの、および他の再生モデルに対して記憶されることが分かるであ ろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ホワイティング、リチャード・ジェイムズ イギリス国、アイピー13・６イーエス、サ フォーク、ウッドブリッジ、パークランズ 37 (72)発明者 オードンネル、ジョン・マーティン イギリス国、アイピー４・２エイチジー、 サフォーク、イプスウィッチ、タッデンハ ム・アベニュー 86 (72)発明者 リーニング、アンソニー・リチャード イギリス国、アイピー３・０エヌキュー、 サフォーク、イプスウィッチ、ナクトン・ ロード 201

Claims (1)

1. 【特許請求の範囲】 １．動画を表すビデオ信号のコーディング方法であり： ビデオ信号の連続するフレームを受取ること； ビデオ信号の先行するフレームを参照してビデオ信号の各フレームをコード 化し、構成されたときに、動画の第１のプレイバックモードを表す第１の組のデ ータを生成すること； ビデオ信号のフレームをコーディングし、再構成されたときに、動画の第２ のプレイバックモードを表す第２の組のデータを生成すること； 第１の組のデータをデコードして、第１の再構成されたビデオ信号を生成す ること； 第２の組のデータをデコードして、第２の再構成されたビデオ信号を生成す ること； 第２の再構成されたビデオ信号のフレームと、第２のビデオ信号のフレーム に後続するフレームに対応する第１の再構成されたビデオ信号のフレームとの間 の差を計算すること、および差が閾値を超えたとき、差をコーディングし、別の 組のデータを生成することとを含む方法。 ２．ビデオ信号の他のいずれのフレームを参照せずに第２の組のデータを生成す る請求項１記載の方法。 ３．第１の組のデータを生成するのに使用される粗い量子化ステップサイズを使 用して、第２の組のデータが生成され、第１の組のデータおよび第２の組のデー タを生成するのに使用されるものの中間の量子化ステップを使用して、別の組の データが生成される請求項１または２記載の方法。 ４．別の組のデータを第２の再構成されたビデオ信号のフレームと結合する段階 と、このフレームと第１のビデオ信号との間の差を計算する段階と、差が閾値を 超えたとき、差をコーディングして、更に別の組のデータを生成する段階とを含 み、前記結合、計算、およびコーディング段階が、基準を満たすまで反復的に実 行される請求項１乃至３の何れか１項記載の方法。 ５．前記基準が、第２の再構成されたビデオ信号の各フレームに対して前記諸段 階を２回実行するものである請求項４記載の方法。 ６．前記基準は、差が閾値よりも低いとするものである請求項４記載の方法。 ７．第２の組のデータがビデオ信号の一時停止モードを示し、一時停止モードが 、第１の組のデータのデコードされたフレームと元のビデオ信号の対応するフレ ームとの間の差を反復的にコーディングすることによって生成される請求項１記 載の方法。 ８．ビデオ信号の連続するフレームを受取る入力と； エンコーディング手段およびエンコーディング手段の出力を量子化する差が 閾値を超えたとき、量子化器と； 量子化器の出力を逆量子化する逆量子化器および逆量子化器の出力をデコー ドするデコーディング手段と； フレームメモリに記憶されたフレームとエンコーディング装置へのフレーム 入力との間の差を計算し、差が閾値を越えたときにエンコーディング手段が差を エンコードして、別の組のデータを生成するようにされている減算器と； デコードされたインターフレームビデオ信号のエンコーディング装置への入 力およびビデオ信号の各フレームのフレームメモリへの入力を制御して、エンコ ーダへのビデオ信号入力のフレームが、フレームメモリに記憶されたフレームを 継続するビデオ信号のフレームに対応し、量子化器および逆量子化器を制御して 、関係付けられた量子化ステップサイズを変更するようにされている制御手段と を含むビデオ信号エンコーディング装置。 ９．制御手段が量子化ステップサイズを変更するようにされており、フレームメ モリへ入力されるビデオ信号が、エンコーダへの入力を生成するために使用され るより粗い量子化ステップサイズを使用して生成され、別の組のデータが２つの 先に使用した量子化ステップサイズの中間の量子化ステップを使用して生成され る請求項８記載の装置。 １０．フレームメモリへ入力されるビデオ信号入力が、ビデオ信号の別のフレー ムを参照せずに生成される請求項８または９記載の装置。 １１．前記装置が別の組のデータをフレームメモリに記憶したフレームと結合し て、結合フレームを形成し、この結合フレームとエンコーダへ入力されるビデオ 信号の前記フレームとの間の差を計算し、差が閾値を超えたときに、差をエンコ ードして、更に別の組のデータを生成するようにされており、基準が満たされる まで、制御手段が前記結合、計算、およびコーディング段階を実行するようにさ れている請求項８乃至１０の何れか１記載の装置。 １２．前記基準が、第２の再構成されたビデオ信号の各フレームに対して前記諸 段階を２回実行するというものである請求項11記載の装置。 １３．前記基準が、差が閾値よりも小さいというものである請求項１１記載の方 法。 １４．請求項８乃至１３の何れか１項記載の装置を含む対話式ビデオ装置。 １５．動画を表すビデオ信号であり； 再構成されたときに動画の第１のプレイバックモードを表す第１の組のデー タと； 再構成されたときに動画の第２のプレイバックモードを表す第２の組のデー タと； 第２の組のデータの再構成されたフレームと、第２の組のデータの再構成さ れたフレームを続くフレームに対応する第１の組のデータの再構成されたフレー ムとの間の差を表す第３の組のデータとを含む動画を表すビデオ信号。