JP2003530038A - ２つの互いに関連したデータ列を符号化する方法 - Google Patents

Abstract

(57)【要約】 データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］及びデータブロック［ＤＢ２−＊］の第２の列［ＳＱ２］が符号化される。データブロックの第２の列はデータブロックの第１の列と関連する。例えば立体（３Ｄ）ビデオの符号化の場合である。データブロックの第１の列は幾つかのデータブロックを第１の列の他のデータブロックを予測符号化［ＰＥ］するための基準［ＲＥＦ］として符号化される。データブロックの第２の列は第２の列の全てのデータブロックが第１の列の基準となるデータブロックについて予測符号化されるよう符号化される。例えば立体（３Ｄ）ビデオ符号化適用では、左目ビデオフレームは通常の非立体ビデオ信号に属するかのようにＭＰＥＧ符号化され右目ビデオフレームがＩ及びＰ符号化された左目ビデオフレームに対して全てＢ符号化されるか、その逆でありうる。復号化側では復号化用の比較的小さいメモリがあれば十分である。

Description

【発明の詳細な説明】

【０００１】 ［発明の分野］ 本発明は、データブロックの第１の列とデータブロックの第１の列に関連する
データブロックの第２の列とを符号化する方法に関する。本発明は、例えば立体
（３Ｄ）ビデオの符号化に適用されうる。

【０００２】 ［発明の背景］ データブロックのうちの幾つかのデータブロックを列のうちの他のデータブロ
ックを予測符号化するための基準とするような方法でデータブロックの第１の列
を符号化することが可能である。この技術は、例えばMoving Picture Expert Gr
oup（ＭＰＥＧ）標準に従ってビデオフレームを符号化するために適用されうる
。

【０００３】 幾つかの適用では、２つの互いに関連するデータブロックの列が符号化されね
ばならない。このような適用は、例えば、立体ビデオの符号化である。立体（３
Ｄ）ビデオは、一般的には左目ビデオフレーム列と右目ビデオフレーム列を含む
。左目ビデオフレーム列及び右目ビデオフレーム列は、夫々、データブロックの
第１の列及びデータブロックの第２の列であると理解されうる。これらの列は互
いに関連している。

【０００４】 立体ビデオは、以下のように符号化されうる。左目ビデオフレーム列は、この
列が通常のビデオ信号であるかのようにＭＰＥＧビデオ符号化技術に従って符号
化される。これは、幾つかの左目ビデオフレームが他の左目ビデオフレームの予
測符号化のための基準となることを意味する。右目ビデオフレーム列について、
各右目ビデオフレームは対応する左目ビデオフレームについて予測符号化される
。これは、各左目ビデオフレームが対応する右目ビデオフレームの予測符号化の
ための基準となることを意味する。このような立体ビデオの符号化方法は、欧州
特許出願第０６３９０３１号により開示されているようである。

【０００５】 ［発明の概要］ 本発明は、費用を削減することを目的とする。本発明は以下の点を考慮する。
予測符号化されたデータブロックを復号化するために、その予測符号化のための
基準として用いられた各データブロックが利用可能でなくてはならない。従って
復号化側では、他のデータブロックの予測符号化のための基準として用いられた
データブロックを一時的に記憶する必要がある。

【０００６】 従来技術によれば、各右目ビデオフレームは対応する左目ビデオフレームにつ
いて予測符号化される。これは、各左目ビデオフレームが復号化側で一時的に記
憶される必要があることを意味する。この記憶は、特にビデオフレームは一般的
に比較的多くのビットを含むため、比較的大きいメモリを必要とする。

【０００７】 本発明によれば、データブロックの第１の列は、第１の列のうちの幾つかのデ
ータブロックが第１の列のうちの他のデータブロックの予測符号化の基準となる
よう符号化される。データブロックの第１の列に関連するデータブロックの第２
の列は、全てのデータブロックが、基準とされる第１の列のデータブロックにつ
いて予測符号化されるよう符号化される。

【０００８】 従って、復号化側では、従来技術では第１の列に含まれる全てのデータブロッ
クを記憶することが必要であったのに対して、本発明では第１の列に含まれる全
てのデータブロックを記憶することが必要でない。第１の列のうちの基準として
のデータブロックのみを記憶すれば十分である。従って、本発明による復号化器
は、従来技術による復号化器よりも少ない記憶容量のみを必要とする。従って、
本発明によれば費用が削減される。

【０００９】 本発明の他の利点は、以下の面に関するものである。予測符号化は、必然的に
幾らかの不正確さを伴い、予測が１００％正しいことは稀である。これらの不正
確さは、一般的には復号化側で得られるデータの質に対して悪影響を及ぼす。従
来技術によれば、第２の列のうちの幾つかのデータブロックは、それ自体が予測
符号化の結果として生じた第１の列のデータブロックについて予測符号化される
。これは、従来技術によれば、幾つかのデータブロックの符号化の場合に、２つ
の予測符号化演算が連続して行われることを意味する。これにより、不正確さは
積み重なっていく。従って、本発明によれば、かかる不正確さの積み重ねが生じ
ないよう、第２の列の全てのデータブロックは第１の列のうちの基準としてのデ
ータブロックについて予測符号化される。これにより、本発明によれば、よりよ
い質が得られることが可能となる。

【００１０】 以下、添付の図面を参照して本発明の上述及び他の面について詳述する。

【００１１】 ［発明の実施例］ まず、参照符号について説明する。全ての図面を通して、同様の実体には同様
の符号を付すものとする。１つの図中に幾つかの同様な実体が示されうる。その
場合、同様の実体を区別するため、符号に数字又は添え字を付すものとする。数
字又は添え字を、便宜上省略するか、その値が重要でない（無視されうる値であ
る）場合はアスタリスクで置き換える場合がある。これは、発明の詳細な説明及
び請求の範囲に適用される。

【００１２】 図１は、上述の本発明の基本的な特徴を示す図である。データブロック［ＤＢ
１−＊］の第１の列［ＳＱ１］及びデータブロック［ＤＢ２−＊］の第２の列［
ＳＱ２］がある。データブロック［ＤＢ２−＊］の第２の列［ＳＱ２］は、デー
タブロック［ＤＢ１−＊］の第１の列［ＳＱ１］に関連する。データブロック［
ＤＢ１−＊］の第１の列［ＳＱ１］は、第１の列［ＳＱ１］のうちの幾つかのデ
ータブロックを第１の列［ＳＱ１］の他のデータブロックの予測符号化［ＰＥ］
のための基準［ＲＥＦ］として符号化される。データブロック［ＤＢ２−＊］の
第２の列［ＳＱ２］は、データブロック［ＤＢ２−＊］が第１の列［ＳＱ１］の
うちの基準［ＲＥＦ］であるデータブロック［ＤＢ１−＊］について予測符号化
［ＰＥ］されるよう符号化される。

【００１３】 図１に示される特徴は、例えば立体（３Ｄ）ビデオを符号化するために適用さ
れうる。その場合、図１に示されるデータブロックは、例えばビデオフレームに
対応する。予測符号化は、非立体ビデオのＭＰＥＧビデオ符号化に現在適用され
ている動き推定及び補償技術の両方に基づくものでありうる。

【００１４】 図２は、本発明による立体ビデオのための符号化器を示す図である。符号化器
は、左目ビデオフレーム列［ＶＬ］及び右目ビデオフレーム列［ＶＲ］を受信し
、これに応じて、符号化された立体ビデオデータ［ＣＳＶ］を与える。符号化器
は、プリプロセッサ［ＰＲＥＰ］、コア符号化器［ＣＥＮＣ］、可変長符号化器
［ＶＬＣ］、フォーマッタ［ＦＲＭＴ］及び制御器［ＣＮＴＲＬ］を含む。更に
特定的には、コア符号化器［ＣＥＮＣ］は、動き推定器及び補償器［ＭＣＥ］、
減算器［ＳＵＢ］、離散コサイン変換器及び量子化器［ＤＣＴＱ］、逆離散コサ
イン変換器及び量子化器［ＩＤＣＴＱ］、加算器［ＡＤＤ］及びメモリ［ＭＥＭ
］を含む。

【００１５】 図２に示される符号化器は、基本的には以下のように動作する。プリプロセッ
サ［ＰＲＥＰ］は、ＭＰＥＧ標準に従って左目ビデオフレームの順序を変更する
。これは、左目ビデオフレームの順序が、これらのビデオフレームが非立体ビデ
オ信号に属するものであるかのように変更されることを意味する。プリプロセッ
サ［ＰＲＥＰ］は、変更された順序で、左目ビデオフレームを右目ビデオフレー
ムと組み合わせる。従って、プリプロセッサは、左目ビデオフレーム及び右目ビ
デオフレームを多重化した多重化信号をコア符号化器［ＣＥＮＣ］に与える。

【００１６】 コア符号化器［ＣＥＮＣ］は、これらのビデオフレームが非立体ビデオ信号に
属するものであるかのように、ＭＰＥＧ標準に従って左目ビデオフレームを符号
化する。従って、左目ビデオフレームは、列における夫々の位置と、適用される
ＭＰＥＧ符号化の種類とに依存して、Ｉ，Ｐ又はＢ符号化のいずれかを受ける。
これに対して、全ての右目ビデオフレームは、予測符号化であるＢ符号化を受け
る。更に特定的には、各右目ビデオフレームはＩ符号化又はＰ符号化のいずれか
を受けた左目ビデオフレームに対しては予測符号化されるが、Ｂ符号化を受けた
左目ビデオフレームに対しては予測符号化されない。これは、コア符号化器［Ｃ
ＥＮＣ］が各右目ビデオフレームをＢ符号化を受けるべき左目ビデオフレームで
あるかのように符号化することを意味する。コア符号化器［ＣＥＮＣ］は、コア
符号化器［ＣＥＮＣ］において符号化される左目又は右目の各ビデオフレームに
対する量子化された係数［ＣＦ］を与える。ビデオフレームが予測符号化されて
いれば、コア符号化器［ＣＥＮＣ］は予測符号化パラメータ［ＰＰ］を与える。

【００１７】 可変長符号化器［ＶＬＣ］は、量子化された係数［ＣＦ］及び予測符号化パラ
メータ［ＰＰ］を可変長コードワードへ変換する。フォーマッタ［ＦＲＭＴ］は
、発生源の異なるコードワードと、識別子といった復号化側で必要となる任意の
他のデータとを組み合わせる。フォーマッタ［ＦＲＭＴ］は、これらの全てのデ
ータを適切なフォーマットとする。従って、フォーマッタ［ＦＲＭＴ］は、符号
化された立体ビデオデータ［ＣＳＶ］を与える。制御器［ＣＮＴＲＬ］は、符号
化器の中の種々の実体に対して制御信号を供給しこれらの実体に上述の機能を行
わせるよう、適切にプログラムされることは言うまでもない。

【００１８】 図３は、左目ビデオフレーム及び右目ビデオフレームの符号化について示す図
である。矩形は、符号化されるべきビデオフレームを表わす。４つの左目ビデオ
フレーム［Ｌ］と４つの右目ビデオフレーム［Ｒ］が示される。ビデオフレーム
の参照符号の添え字は、図２に示される符号化器によって受信される列［ＶＬ，
ＶＲ］中のビデオフレームの位置を示す。矩形の中の文字Ｉ，Ｐ又はＢは、関連
するビデオフレームが受ける符号化の種類を示す。

【００１９】 図３中、予測符号化を矢印によって示す。矢印が出発しているビデオフレーム
は、予測符号化されるビデオフレームである。矢印が指しているビデオフレーム
は、この予測符号化のための基準としてのビデオフレームである。例えば、左目
ビデオフレームＬ（ｎ＋１）及びＬ（ｎ＋２）は、左目ビデオフレームＬ（ｎ）
及びＬ（ｎ＋３）について予測符号化される。全ての右目ビデオフレーム［Ｒ］
は、左目ビデオフレームＬ（ｎ）及びＬ（ｎ＋３）について予測符号化される。
プリプロセッサ［ＰＲＥＰ］は、以下の順序で左目及び右目ビデオフレームをコ
ア符号化器［ＣＥＮＣ］に与えうる：Ｌ（ｎ），Ｌ（ｎ＋３），Ｒ（ｎ），Ｌ（
ｎ＋１），Ｒ（ｎ＋１），Ｌ（ｎ＋２），Ｒ（ｎ＋２），Ｒ（ｎ＋３）。

【００２０】 図４は、図２に示す符号化器が供給する符号化された立体ビデオデータ［ＣＳ
Ｖ］を表わす図である。符号化された立体ビデオデータ［ＣＳＶ］は、矩形とし
て示される符号化された左目及び右目ビデオフレーム［Ｌｃ，Ｒｃ］を含む。符
号化された左目及び右目ビデオフレーム［Ｌｃ，Ｒｃ］は、図３に示す左目及び
右目ビデオフレーム［Ｌ，Ｒ］の符号化によって生ずる。符号化された左目又は
右目ビデオフレーム［Ｌｃ，Ｒｃ］の参照符号の添え字は、夫々、符号化された
左目又は右目ビデオフレーム［Ｌ，Ｒ］を示す。矩形の中の文字Ｉ，Ｐ又はＢは
、適用された符号化の種類を示す。例えば、符号化された左目ビデオフレームＬ
ｃ（ｎ＋１）は、図３に示す左目ビデオフレームＬ（ｎ＋１）のＢ符号化された
変形である。

【００２１】 図５は、本発明による立体ビデオ用の復号化器を示す図である。復号化器は、
図示しない伝送路を通じて図４に示す符号化された立体ビデオデータ［ＣＳＶ］
を受信する。復号化器は、これに応じて、復号化された左目ビデオフレームの列
［ＶＬ’］及び復号化された右目ビデオフレームの列［ＶＲ’］を供給する。復
号化器は、デフォーマッタ［ＤＦＲＭＴ］、可変長復号化器［ＶＬＤ］、コア復
号化器［ＣＤＥＣ］、立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］及び制御
器［ＣＮＴＲＬ］を含む。更に特定的には、コア復号化器［ＣＤＥＣ］は、逆離
散コサイン変換器及び量子化器［ＩＤＣＴＱ］、動き補償器［ＭＣ］及びメモリ
［ＭＥＭ］を含む。図５に示される復号化器は、基本的には以下のように動作す
る。デフォーマッタ［ＤＦＲＭＴ］は、可変長復号化されるべきデータを可変長
復号化されるべきでないデータと区別する。可変長復号化されるべきでないデー
タは、制御器［ＣＮＴＲＬ］へ与えられる。データは、例えば左目ビデオフレー
ムと右目ビデオフレームを区別するために立体ビデオデマルチプレクサ［ＳＴＤ
ＥＭＵＸ］によって使用されうる。可変長復号化器［ＶＬＤ］は、コードワード
を、図２に示される符号化器で決定された量子化された係数［ＣＦ］及び予測符
号化されたパラメータ［ＰＰ］へ戻す。

【００２２】 コア復号化器［ＣＤＥＣ］は、量子化された係数［ＣＦ］及び予測符号化され
たパラメータ［ＰＰ］に基づいて左目及び右目ビデオフレームを再び発生させる
。更に特定的には、コア復号化器［ＣＤＥＣ］は、左目ビデオフレームを、標準
的な非立体のＭＰＥＧ符号化されたビデオ信号から生じたものであるかのように
再び発生させる。コア復号化器［ＣＤＥＣ］は、右目ビデオフレームを、Ｂ符号
化された左目ビデオフレームであるかのように再び発生させる。図３を参照する
に、図３に示される全てのビデオフレームを復号化するために、メモリ［ＭＥＭ
］はＩ符号化されたビデオフレームＬ（ｎ）及びＰ符号化されたビデオフレーム
Ｌ（ｎ＋３）を一時的に記憶するだけで十分である。

【００２３】 立体ビデオデマルチプレクサ［ＳＴＤＥＭＵＸ］は、コア復号化器［ＣＤＥＣ
］によって与えられる左目ビデオフレームの順序を並べ替える。また、左目ビデ
オフレーム及び右目ビデオフレームをデマルチプレックスする。例えば、図３を
参照するに、コア復号化器［ＣＤＥＣ］は、ビデオフレームＬ（ｎ），Ｌ（ｎ＋
３），Ｒ（ｎ），Ｌ（ｎ＋１），Ｒ（ｎ＋１），Ｌ（ｎ＋２），Ｒ（ｎ＋２），
Ｒ（ｎ＋３）の復号化された変形を順次に与える。一定の遅延の後、立体ビデオ
デマルチプレクサ［ＳＴＤＥＭＵＸ］は、左目ビデオフレーム［Ｌ］の復号化さ
れた変形を順次に供給し、これと並列に、右目ビデオフレーム［Ｒ］の復号化さ
れた変形を供給する。従って、左目ビデオフレームの復号化された列［ＶＬ’］
及び右目ビデオフレームの復号化された列［ＶＲ’］が得られる。制御器［ＣＮ
ＴＲＬ］は、復号化器の中で種々の実体に制御信号を供給し、これらの実体に上
述の機能を行わせるよう適切にプログラムされることは言うまでもない。

【００２４】 図面及び上述の説明は本発明の例として示されるものであって、本発明を制限
するものでない。請求の範囲に含まれる多数の変形例が存在することが明らかと
なろう。これについて以下に説明する。

【００２５】 符号化された立体ビデオをフォーマットするには種々の方法がある。図４は、
そのうちの１つの可能なフォーマットを示すものであって、符号化されたフレー
ムの順序はＬｃ（ｎ／Ｉ），Ｌｃ（ｎ＋３／Ｐ），Ｒｃ（ｎ／Ｂ），Ｌｃ（ｎ＋
１／Ｂ），Ｒｃ（ｎ＋１／Ｂ），Ｌｃ（ｎ＋２／Ｂ），Ｒｃ（ｎ＋２／Ｂ），Ｒ
ｃ（ｎ＋３／Ｂ）である。標準ＭＰＥＧ符号化に多くの異なるフォーマットがあ
るように、多くの異なるフォーマットが可能である。

【００２６】 符号化された立体ビデオを符号化器から復号化器へ転送するには種々の方法が
ある。例えば、図２に示される符号化器は、符号化された立体ビデオデータ［Ｃ
ＳＶ］を搬送する伝送路を通じて図５に示される復号化器に接続されうる。他の
可能な実施は、例えば、符号化器が記録装置の一部とされるものであり、これは
符号化された立体ビデオデータ［ＣＳＶ］が担体上に記録されることを意味する
。復号化器は、同一の記録装置の一部であっても、符号化された立体データ［Ｃ
ＳＶ］を担体から取り出す他の装置であってもよい。

【００２７】 ハードウエア又はソフトウエア又はその両方の要素によって機能を実施する多
くの方法がある。これに関して、図面は概略的なものであり、夫々が本発明の１
つの可能な実施例のみを示している。従って、図面は異なる機能を異なるブロッ
クとして示しているが、これはハードウエア又はソフトウエアの単一の要素が幾
つかの機能を実行する場合について排除するものではない。また、ハードウエア
及び／又はソフトウエアの組合せが１つの機能を実行する場合を排除するもので
はない。

【００２８】 請求の範囲の参照符号は、請求の範囲を限定するものと理解されるべきではな
い。「含む」という動詞は、請求の範囲に定義されるに任意の他の要素又は段階
の使用を排除するものではない。単数形で記載された要素又は段階は、かかる要
素又は段階が複数存在する場合について排除するものではない。

【図面の簡単な説明】

【図１】 本発明の基本的な特徴について示す概念的な図である。

【図２】 本発明による立体ビデオ用の符号化器を示すブロック図である。

【図３】 本発明による左目ビデオフレーム及び右目ビデオフレームを符号化する方法に
ついて示す図である。

【図４】 図２に示す符号化器によって与えられる符号化された立体ビデオデータを表わ
す図である。

【図５】 本発明による立体ビデオ用の復号化器を示すブロック図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 グテル，ジレ オランダ国，5656 アーアー アインドー フェン，プロフ・ホルストラーン ６ Ｆターム(参考） 5C059 KK08 MA00 MA04 MA05 MA14 MA23 MC11 MC38 ME01 PP05 PP06 PP07 PP13 RB01 RB10 RB14 UA02 UA05 UA33 5C061 AA21

Claims (4)

【特許請求の範囲】
1. 【請求項１】 データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］と、上
   記データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］に関連するデータブロッ
   ク［ＤＢ２−＊］の第２の列［ＳＱ２］とを符号化する方法であって、 上記第１の列［ＳＱ１］のうちの幾つかのデータブロックを上記第１の列［Ｓ
   Ｑ１］のうちの他のデータブロックを予測符号化［ＰＥ］するための基準［ＲＥ
   Ｆ］として上記データブロック［ＤＢ１−＊］の第１の列［ＳＱ１］を符号化す
   る段階を含み、 上記第２の列［ＳＱ２］の全てのデータブロック［ＤＢ２−＊］が上記第１の
   列［ＳＱ１］のうちの基準［ＲＥＦ］となるデータブロックについて予測符号化
   ［ＰＥ］されるよう上記データブロック［ＤＢ２−＊］の第２の列［ＳＱ２］を
   符号化する段階を含むことを特徴とする方法。
2. 【請求項２】 データブロック［Ｌ］の第１の列［ＶＬ］と、上記データブ
   ロック［Ｌ］の第１の列［ＶＬ］に関連するデータブロック［Ｒ］の第２の列［
   ＶＲ］とを符号化する符号化器であって、 上記第１の列［ＶＬ］のうちの幾つかのデータブロックを上記第１の列［ＶＬ
   ］のうちの他のデータブロック［Ｌ（ｎ＋１），Ｌ（ｎ＋２）］を予測符号化す
   るための基準として上記データブロック［Ｌ］の第１の列［ＶＬ］を符号化する
   手段を含み、 上記第２の列［ＶＲ］の全てのデータブロック［Ｒ］が上記第１の列［ＶＬ］
   のうちの基準［Ｌ（ｎ），Ｌ（ｎ＋３）］となるデータブロックについて予測符
   号化されるよう上記データブロック［Ｒ］の第２の列［ＶＲ］を符号化する手段
   を含むことを特徴とする符号化器。
3. 【請求項３】 データブロック［Ｌ］の符号化された第１の列［ＶＬ］と上
   記データブロック［Ｌ］の第１の列［ＶＬ］に関連するデータブロック［Ｒ］の
   符号化された第２の列［ＶＲ］とを多重化した多重化データを復号化する復号化
   器であって、 上記第１の列［ＶＬ］のうちの幾つかのデータブロック［Ｌ（ｎ），Ｌ（ｎ＋
   ３）］を上記第１の列［ＶＬ］のうちの他のデータブロック［Ｌ（ｎ＋１），Ｌ
   （ｎ＋２）］を予測復号化するための基準として上記データブロック［Ｌ］の第
   １の列［ＶＬ］を復号化する手段を含み、 上記第２の列［ＶＲ］の全てのデータブロック［Ｒ］が上記第１の列［ＶＬ］
   のうちの基準［Ｌ（ｎ），Ｌ（ｎ＋３）］となるデータブロックについて予測復
   号化されるよう上記データブロック［Ｒ］の第２の列［ＶＲ］を復号化する手段
   を含むことを特徴とする復号化器。
4. 【請求項４】 データブロック［Ｌ］の符号化された第１の列［ＶＬ］と上
   記データブロック［Ｌ］の第１の列［ＶＬ］に関連するデータブロック［Ｒ］の
   符号化された第２の列［ＶＲ］とを含む多重化信号［ＣＳＶ］であって、 上記データブロック［Ｌ］の第１の列［ＶＬ］は上記第１の列［ＶＬ］のうち
   の幾つかのデータブロック［Ｌ（ｎ），Ｌ（ｎ＋３）］を上記第１の列［ＶＬ］
   のうちの他のデータブロック［Ｌ（ｎ＋１），Ｌ（ｎ＋２）］を予測復号化する
   ための基準として符号化されており、 上記データブロック［Ｒ］の第２の列［ＶＲ］は上記第２の列［ＶＲ］の全て
   のデータブロック［Ｒ］が上記第１の列［ＶＬ］のうちの基準［Ｌ（ｎ），Ｌ（
   ｎ＋３）］となるデータブロックについて予測符号化されるよう符号化されてい
   る多重化信号。