JP2004072788A - ステレオ動画像符号化方法および装置と、ステレオ動画像符号化処理用プログラムおよびそのプログラムの記録媒体 - Google Patents

Abstract

【課題】本発明は、一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するときに、符号化効率の向上を目的とする。
【解決手段】エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別を、ベース・レイヤがＩピクチャのときには、視差補償を用いるＰピクチャとして符号化を行い、ベース・レイヤがＩピクチャ以外のときにあって、動き補償の予測精度と視差補償の予測精度とが同程度である場合には、動き補償および視差補償を用いるＢピクチャとして符号化を行い、動き補償の予測精度のほうが視差補償の予測精度に比べて高い場合には、動き補償を用いるＰピクチャとして符号化を行い、視差補償の予測精度のほうが動き補償の予測精度に比べて高い場合には、視差補償を用いるＰピクチャとして符号化を行うように構成する。
【選択図】　　　　　図１

Description

　本発明は、一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化方法および装置と、そのステレオ動画像符号化技術の実現に用いられるステレオ動画像符号化処理用プログラムと、そのステレオ動画像符号化処理用プログラムを記録した記録媒体とに関し、特に、ＧＯＰ構造を適応的に決定することにより符号化効率の向上を実現するステレオ動画像符号化方法および装置と、そのステレオ動画像符号化技術の実現に用いられるステレオ動画像符号化処理用プログラムと、そのステレオ動画像符号化処理用プログラムを記録した記録媒体とに関する。

　ステレオ動画像は、左目および右目のそれぞれに相当する２台のカメラで撮影された２つの動画像（左動画像、右動画像）から構成される。このステレオ動画像の符号化については、ＭＰＥＧ-2[1] のＡmmendment 3[2]において、Ｍulti-view profile(以下、ＭＶＰと略記する）として標準化されている。

　ＭＶＰによるステレオ動画像符号化では、左動画像および右動画像の２つの入力に対し、時間スケーラビリティと呼ばれるツールを用いて、左動画像をベース・レイヤ、右動画像をエンハンスメント・レイヤとして２つのストリームを出力する。

　左動画像の符号化は、Ｍain profile と呼ばれる通常の１つの動画像符号化（ステレオ動画像でない動画像の符号化）と同じである。つまり、1)ピクチャ内で符号化を行うＩピクチャ、2)前方向のピクチャを参照画像とする動き補償を行うＰピクチャ、3)前方向および後方向のピクチャを参照画像とする動き補償を行うＢピクチャ、という３種類のピクチャを用いて符号化する。

　このように、左動画像は、ベースレイヤ内の既符号化ピクチャを参照画像として符号化を行う。

　これに対して、右動画像は、エンハンスメント・レイヤ内の既符号化ピクチャだけでなく、ベース・レイヤ（左動画像）のピクチャも参照画像として用いることができる。

　エンハンスメント・レイヤでは、1)ピクチャ内で符号化を行うＩピクチャ、2)前方向のピクチャを参照画像とする動き補償または左動画像のピクチャを参照画像とする視差補償を行うＰピクチャ、3)前方向のピクチャを参照画像とする動き補償および左動画像のピクチャを参照画像とする視差補償を行うＢピクチャ、という３種類のピクチャを用いて符号化することができる。

　ただし、エンハンスメント・レイヤでは、通常、符号化効率を向上させるために、Ｉピクチャは用いられない。

　図１０に、ＭＶＰにおけるベース・レイヤおよびエンハンスメント・レイヤの各ピクチャのピクチャ種別と参照関係を図示する。ここで、図中に示す矢印は参照関係を表し、矢印の始端のピクチャが終端のピクチャを参照していることを表す。

　エンハンスメント・レイヤのＰピクチャでは、前方向のピクチャを参照画像とする動き補償を行うＰピクチャ（図中の530)と、左動画像のピクチャを参照画像とする視差補償を行うＰピクチャ（図中の510)とがある。

　また、Ｂピクチャ（図中の520,540)では、前方向のピクチャを参照画像とする動き補償と、左動画像のピクチャを参照画像とする視差補償とを行う。

　同じレイヤ内の連続した複数のピクチャはＧＯＰ（Ｇroup of pictures）を構成する。ＧＯＰ構造とは、ＧＯＰ内のピクチャ数および各ピクチャの種別のことであり、通常、Ｎ，Ｍという２つの数値で表す。

　ここで、ＮはＧＯＰ内のピクチャ数であり、ＭはＩピクチャまたはＰピクチャの間隔であり、
　　Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ
というＧＯＰ構造の場合には、「Ｎ＝１５，Ｍ＝３」となる。

　以下では、ベース・レイヤのＮおよびＭを、それぞれＮ_base，Ｍ_baseと記述し、エンハンスメント・レイヤのＮおよびＭを、それぞれＮ_enh,Ｍ_enh と記述する。

　従来の符号化では、ＧＯＰ構造、すなわち、Ｎ，Ｍは固定である。特に、ＭＶＰにおけるエンハンスメント・レイヤのＧＯＰ構造では、「Ｎ_enh ＝Ｎ_base，Ｍ_enh ＝Ｎ_enh 」とする構造が一般的である。すなわち、ベース・レイヤがＩピクチャのときのみ視差補償を用いるＰピクチャとし、残りをすべてＢピクチャとする構造が一般的である。

　これによって、エンハンスメント・レイヤでは、図１１に示すように、すべてのピクチャで視差補償を行うこととなり、特にＢピクチャでは、動き補償と視差補償とを行うことになる。

　以下に参考文献を示す。

　[1] Information technology-Generic coding of moving pictures and assoc
iated audio.ISO/IEC 13818-2 International Standard(Video),November
1994.
　[2] ISO/IEC 13818-2 Amendment 3.International Standard,October 1996.
　[3] 内藤整，松本修一，視差補償の高度利用に基づくＭＰＥＧ-2準拠3D-HDTV
　　　符号化方式．電子情報通信学会論文誌,Vol.J83-B,No.5,pp.739-747,May
　　　2000.

　図１１に示したように、従来技術では、エンハンスメント・レイヤでは、ベース・レイヤがＩピクチャ以外のときは常にＢピクチャとして、動き補償と視差補償とを行っていた。

　しかしながら、動き補償による予測のほうが視差補償による予測よりも予測精度がいい場合、Ｂピクチャであっても動き補償による予測に偏ってしまい、視差補償による予測や、補間した参照画像を用いる双方向予測はほとんど用いられないことになる。

　また、それとは逆に、視差補償による予測のほうが動き補償による予測よりも予測精度がいい場合、Ｂピクチャであっても視差補償による予測に偏ってしまい、動き補償による予測や、補間した参照画像を用いる双方向予測はほとんど用いられないことになる。

　この結果、Ｂピクチャの効果が十分得られず、かえって、どちらかの補償のみを用いるＰピクチャであったほうが符号化効率が向上する場合があった。

　このように、エンハンスメント・レイヤでは、符号化効率の観点から、ベース・レイヤがＩピクチャ以外のときには、符号化するステレオ動画像に応じて、
　　１．動き補償を用いるＰピクチャ
　　２．動き補償および視差補償を用いるＢピクチャ
　　３．視差補償を用いるＰピクチャ
の３種類のピクチャを使い分けることが望ましい。

　すなわち、エンハンスメント・レイヤでは、図１２に示すような３種類のピクチャを使い分けることが望ましいのである。

　それにもかかわらず、従来技術では、ベース・レイヤがＩピクチャ以外のときには常にＢピクチャとしていたために、符号化効率が著しく低下し、画質劣化を招くという問題点があった。

　本発明はかかる事情に鑑みてなされたものであって、一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとしてステレオ動画像を符号化する構成を採るときにあって、符号化するステレオ動画像に応じて、符号化効率がよくなるようにとエンハンスメント・レイヤのＧＯＰ構造を適応的に決定することで、符号化効率の向上を実現する新たなステレオ動画像符号化技術の提供を目的とする。

　本発明では、ＭＶＰなどのエンハンスメント・レイヤにおいて、符号化対象のピクチャのピクチャ種別を次のように決定する。

　（１）ケース１
　ベース・レイヤがＩピクチャのときには、符号化対象のピクチャを視差補償を用いるＰピクチャとする。

　（２）ケース２
　ベース・レイヤがＩピクチャ以外のときには、まず、符号化するピクチャの動き補償の予測精度の評価値Ｘ_mov と、視差補償の予測精度の評価値Ｘ_dis とを求める。例えば、この評価値として、予測精度が高いほど小さな値を示すものが得られるとする。

　次に、この２つの予測精度の評価値の比α
　　　　　　α＝Ｘ_mov ／Ｘ_dis
を算出し、
　1)「α＜１−θ」であるときには、符号化対象のピクチャを動き補償を用いるＰピクチャ
　2)「１−θ≦α＜１＋η」であるときには、符号対象のピクチャを動き補償および視差補償を用いるＢピクチャ
　3)「１＋η≦α」であるときには、符号化対象のピクチャを視差補償を用いるＰピクチャ
というように、符号化対象のピクチャのピクチャ種別を適応的に決定する。ここで、０＜θ＜１、０＜ηを想定している。

　ここでは、２つの予測精度の評価値の比の値αを使ってピクチャ種別を適応的に決定するという例を示したが、２つの予測精度の評価値の差分の値を使ってピクチャ種別を適応的に決定することも可能である。

この予測精度の評価値には、過去に符号化を行ったピクチャから得られた複雑さ指標（発生符号量と平均量子化ステップとの積）や、過去に符号化を行ったピクチャから得られた予測誤差の総和を用いることができる。

　ただし、予測精度評価値として複雑さ指標を用いる場合、動き補償による複雑さ指標部分と視差補償による複雑さ指標部分とを分離できないことから、動き補償の予測精度評価値については、動き補償を用いるＰピクチャについてしか計算することができない。そして、視差補償の予測精度評価値については、視差補償を用いるＰピクチャについてしか計算することができない。

　一方、予測精度評価値として予測誤差の総和を用いる場合、動き補償による予測誤差部分と視差補償による予測誤差部分とを分離できることから、動き補償の予測精度評価値については、動き補償を用いるＰピクチャと、動き補償および視差補償を用いるＢピクチャのどちらについても計算することができる。そして、視差補償の予測精度評価値については、視差補償を用いるＰピクチャと、動き補償および視差補償を用いるＢピクチャのどちらについても計算することができる。

　上記の「α＝Ｘ_mov ／Ｘ_dis 」という式で算出されるαは、その値が１に近いときには、動き補償と視差補償とのどちらの予測精度も同程度であり、１より小さいほど動き補償の予測精度が高くなり、１より大きいほど視差補償の予測精度が高くなることを示している。

　本発明では、動き補償の予測精度と視差補償の予測精度とが同程度である場合には、符号化対象のピクチャをＢピクチャとすることによって、双方向予測が選択されることが多くなるように制御する。その結果、Ｂピクチャの効果が十分に得られるため、Ｂピクチャを選択することによって符号化効率が向上する。

　一方、動き補償の予測精度が視差補償の予測精度に比べて高い場合、符号化対象のピクチャをＢピクチャにしても双方向予測はほとんど選択されない。その結果、Ｂピクチャの効果が十分得られないため、動き補償を用いるＰピクチャを選択する方が符号化効率が向上する。

　そこで、本発明では、動き補償の予測精度が視差補償の予測精度に比べて高い場合には、符号化対象のピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択するように制御する。

　また、視差補償の予測精度が動き補償の予測精度に比べて高い場合、符号化対象のピクチャをＢピクチャにしても双方向予測はほとんど選択されない。その結果、Ｂピクチャの効果が十分得られないため、視差補償を用いるＰピクチャを選択する方が符号化効率が向上する。

　そこで、本発明では、視差補償の予測精度が動き補償の予測精度に比べて高い場合には、符号化対象のピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択するように制御する。

　このように、本発明によれば、ステレオ動画像を符号化するＭＶＰなどのエンハンスメント・レイヤにおいて、動き補償および視差補償の予測精度の評価値から、符号化対象のピクチャのピクチャ種別を適応的に切り替えることにより、符号化効率の向上を実現できるようになる。

　以下、実施の形態に従って本発明を詳細に説明する。

　図１に、本発明を具備するステレオ動画像符号化装置１の一実施形態例を図示する。

　本発明のステレオ動画像符号化装置１は、ステレオ動画像の左動画像の符号化を実行するベース・レイヤ符号化部１０と、ステレオ動画像の右動画像の符号化を実行するエンハンスメント・レイヤ符号化部２０とを備える。

　このベース・レイヤ符号化部１０およびエンハンスメント・レイヤ符号化部２０は、例えばコンピュータプログラムにより実現されるものである。コンピュータプログラムにより実現される場合には、本発明を実施する計算機に接続されるディスク装置やフロッピィディスク、ＣＤ−ＲＯＭなどの可搬記録媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に実現することが可能である。

　図２に、ベース・レイヤ符号化部１０の実行する処理フローの一実施形態例、図３および図４に、エンハンスメント・レイヤ符号化部２０の実行する処理フローの一実施形態例を図示する。

　ここで、この実施形態例では、ベース・レイヤ符号化部１０は、図５に示すＧＯＰ構造の形態でもって左動画像の符号化を行うことを想定している。なお、図中に示す"ｉ"は後述する変数ｉの値を示している。

　ベース・レイヤ符号化部１０は、ステレオ動画像の符号化指示が発行されることで起動されると、図２の処理フローに示すように、先ず最初に、ステップ１で、ピクチャ位置を示す変数ｉに"０"をセットする。

　続いて、ステップ２で、左動画像の先頭のピクチャを入力し、それをＩピクチャとして符号化して符号化ストリームを出力する。続いて、ステップ３で、その入力したピクチャをエンハンスメント・レイヤ符号化部２０へ転送する。

　続いて、ステップ４で、左動画像の全てのピクチャの符号化を終了したのか否かを判断して、終了していないことを判断するときには、ステップ５に進んで、変数ｉの値を１つインクリメントする。

　続いて、ステップ６で、変数ｉの値が"１５"に到達したのか否かを判断して、"１５"に到達したことを判断するとき、すなわち、ＧＯＰ構造の１グループの符号化が終了したことを判断するときには、ステップ１に戻る。

　一方、ステップ６で、変数ｉの値が"１５"に到達していないことを判断するときには、ステップ７に進んで、左動画像の次の先頭のピクチャを入力し、前方向のピクチャを参照画像とする動き補償を用いて、それをＰピクチャとして符号化して符号化ストリームを出力する。

　続いて、ステップ８で、符号化した入力ピクチャの複雑さ指標（発生符号量と平均量子化ステップとの積）を算出し、続くステップ９で、入力したピクチャとその算出した複雑さ指標とを、エンハンスメント・レイヤ符号化部２０へ転送してから、ステップ４に戻る。

　このようにして、ベース・レイヤ符号化部１０は、図５に示すＧＯＰ構造の形態で左動画像を符号化していくとともに、その符号化と同期をとりつつ、入力したピクチャとそのピクチャの符号化により求まる複雑さ指標とをエンハンスメント・レイヤ符号化部２０へ転送していくように処理するのである。

　エンハンスメント・レイヤ符号化部２０は、このベース・レイヤ符号化部１０の符号化処理を受けて、ステレオ動画像の符号化指示が発行されることで起動されると、図３および図４の処理フローに示すように、先ず最初に、ステップ１で、ピクチャ位置を示す変数ｉに"０"をセットする。

　続いて、ステップ２で、右動画像の先頭のピクチャを入力するとともに、ベース・レイヤ符号化部１０から転送されてくるピクチャを受け取る。続いて、ステップ３で、入力したピクチャを、受け取ったピクチャを参照画像とする視差補償を用いて、Ｐピクチャとして符号化して符号化ストリームを出力する。続いて、ステップ４で、符号化した入力ピクチャの複雑さ指標を算出する。

　続いて、ステップ５で、右動画像の全てのピクチャの符号化を終了したのか否かを判断して、終了していないことを判断するときには、ステップ６に進んで、変数ｉの値を１つインクリメントする。

　続いて、ステップ７で、変数ｉの値が"１５"に到達したのか否かを判断して、"１５"に到達したことを判断するとき、すなわち、ＧＯＰ構造の１グループの符号化が終了したことを判断するときには、ステップ１に戻る。

　一方、ステップ７で、変数ｉの値が"１５"に到達していないことを判断するときには、ステップ８に進んで、右動画像の次の先頭のピクチャを入力するとともに、ベース・レイヤ符号化部１０から転送されてくるピクチャおよび複雑さ指標を受け取る。

　続いて、ステップ９で、ベース・レイヤ符号化部１０から受け取った複雑さ指標を動き補償の予測精度評価値Ｘ_mov とし、最後に視差補償を用いたＰピクチャの複雑さ指標を視差補償の予測精度評価値Ｘ_dis として、
　　　　　　α＝Ｘ_mov ／Ｘ_dis
を算出する。

　続いて、ステップ１０で、「α＜１−θ」が成立するのか否かを判断する。ここで、θは"０＜θ＜１"の範囲で設定される規定の設定値である。

　この判断処理により、「α＜１−θ」が成立することを判断するときには、ステップ１１に進んで、入力したピクチャを、前方向のピクチャを参照画像とする動き補償を用いて、Ｐピクチャとして符号化して符号化ストリームを出力してから、ステップ５に戻る。

　一方、ステップ１０で、「α＜１−θ」が成立しないことを判断するときには、ステップ１２に進んで、「α≧１＋η」が成立するのか否かを判断する。ここで、ηは"０＜η１"の範囲で設定される規定の設定値である。

　この判断処理により、「α≧１＋η」が成立することを判断するときには、ステップ１３に進んで、入力したピクチャを、ベース・レイヤ符号化部１０から受け取ったピクチャを参照画像とする視差補償を用いて、Ｐピクチャとして符号化して符号化ストリームを出力する。続いて、ステップ１４で、符号化した入力ピクチャの複雑さ指標を算出してから、ステップ５に戻る。

　一方、ステップ１２で、「α≧１＋η」が成立しないことを判断するときには、ステップ１５に進んで、入力したピクチャを、ベース・レイヤ符号化部１０から受け取ったピクチャを参照画像とする視差補償と、前方向のピクチャを参照画像とする動き補償とを用いて、Ｂピクチャとして符号化して符号化ストリームを出力してから、ステップ５に戻る。

　このようにして、エンハンスメント・レイヤ符号化部２０は、符号化効率の向上を実現すべく、動き補償の予測精度と視差補償の予測精度とが同程度である場合には、符号化対象のピクチャをＢピクチャとして符号化を行い、動き補償の予測精度のほうが視差補償の予測精度に比べて高い場合には、符号化対象のピクチャを動き補償を用いるＰピクチャとして符号化を行い、視差補償の予測精度のほうが動き補償の予測精度に比べて高い場合には、符号化対象のピクチャを視差補償を用いるＰピクチャとして符号化を行うように処理するのである。

　なお、θについては、あらかじめいくつかのステレオ動画像を符号化することで、動き補償を用いるＰピクチャにした方が効率的である場合と、動き補償と視差補償とを用いるＢピクチャにした方が効率的である場合とにクラスタリングすることにより求めることが可能である。

　また、ηについては、あらかじめいくつかのステレオ動画像を符号化することで、視差補償を用いるＰピクチャにした方が効率的である場合と、動き補償と視差補償とを用いるＢピクチャにした方が効率的である場合とにクラスタリングすることにより求めることが可能である。

　次に、図６を使って、以上に説明したベース・レイヤ符号化部１０およびエンハンスメント・レイヤ符号化部２０の処理について具体的に説明する。

　（１）ベース・レイヤ符号化部１０は、左動画像の最初のピクチャ(410) を入力し、Ｉピクチャとして符号化する。そして、その符号化結果を符号化ストリームとして出力するとともに、当該ピクチャ(410) をエンハンスメント・レイヤ符号化部２０へ転送する。

　エンハンスメント・レイヤ符号化部２０は、右動画像の最初のピクチャ(510) を入力するとともに、左動画像の最初のピクチャ(410) をベース・レイヤ符号化部１０から受け取り、その入力したピクチャ(510) を、その受け取ったピクチャ(410) を参照画像とする視差補償を用いてＰピクチャとして符号化し、その符号化結果を符号化ストリームとして出力する。

　（２）次に、ベース・レイヤ符号化部１０は、左動画像の２番目のピクチャ(420) を入力し、左動画像の最初のピクチャを参照画像とする動き補償を用いてＰピクチャとして符号化する。そして、その符号化結果を符号化ストリームとして出力するとともに、当該ピクチャ(420) および当該ピクチャの複雑さ指標をエンハンスメント・レイヤ符号化部２０へ転送する。

　エンハンスメント・レイヤ符号化部２０は、右動画像の２番目のピクチャ(520) を入力するとともに、左動画像の２番目のピクチャ(420) およびその複雑さ指標をベース・レイヤ符号化部１０から受け取る。

　エンハンスメント・レイヤ符号化部２０では、左動画像の２番目のピクチャ(420) の複雑さ指標を動き補償の予測精度評価値とし、右動画像の最初のピクチャ(510) の複雑さ指標を視差補償の予測精度評価値として、上述のαを求める。

　そして、その求めたαの値に応じて、上述した方法に従って、入力した右動画像の２番目のピクチャ(520) のピクチャ種別を決定し、その決定したピクチャ種別に従って符号化して、符号化結果を符号化ストリームとして出力する。

　（３）右動画像の３番目以降のピクチャについても同様にして、ベース・レイヤ符号化部１０は、入力ピクチャを符号化し、符号結果を符号化ストリームとして出力するとともに、当該ピクチャおよび当該ピクチャの複雑さ指標をエンハンスメント・レイヤ符号化部２０へ転送する。

　そして、エンハンスメント・レイヤ符号化部２０は、右動画像の符号化対象ピクチャを入力し、ベース・レイヤ符号化部１０から転送されてくる複雑さ指標を動き補償の予測精度評価値とし、右動画像の最後に視差指標を用いたＰピクチャの複雑さ指標を視差指標の予測精度評価値として、上述した方法に従って、その符号化対象ピクチャのピクチャ種別を適応的に決定して、その決定したピクチャ種別に従って符号化して、符号化結果を符号化ストリームとして出力する。

　このようにして、エンハンスメント・レイヤ符号化部２０は、符号化対象のピクチャのピクチャ種別を適応的に決定して、その決定したピクチャ種別で符号化を実行するように処理するのである。これにより、符号化効率の向上を実現できるようになる。

　図２ないし図４の処理フローでは、予測精度評価値として、複雑さ指標を用いる構成を採ったが、予測誤差の総和を用いる構成を採ることも可能である。

　図７に、ベース・レイヤ符号化部１０が予測精度評価値として予測誤差の総和を用いる場合に実行する処理フローの一実施形態例、図８および図９に、エンハンスメント・レイヤ符号化部２０が予測精度評価値として予測誤差の総和を用いる場合に実行する処理フローの一実施形態例を図示する。

　複雑さ指標はピクチャ種別に依存し、同一のピクチャ間での比較しか意味を持たない。これから、図２ないし図４の処理フローでは、Ｐピクチャの複雑さ指標のみを算出するようにしている。これに対して、予測誤差の総和はピクチャ種別に依存しないので、異なるピクチャ間でも比較することができる。

　これから、図３の処理フローのステップ９では、最後に視差補償を用いた「Ｐピクチャ」の複雑さ指標を視差補償の予測精度評価値Ｘ_dis とするのに対して、そのステップ９に対応する図８の処理フローのステップ９では、最後に視差補償を用いた「ピクチャ」の複雑さ指標を視差補償の予測精度評価値Ｘ_dis とするように処理することになる。

　そして、これに合わせて、図４の処理フローでは、Ｂピクチャとして符号化を実行するステップ１５の処理を終了すると、複雑さ指標を算出する必要がないので直ちにステップ５に戻るのに対して、図９の処理フローでは、そのステップ１５に対応する図９の処理フローのステップ１５の処理を終了すると、続くステップ１６で、その符号化による得られる予測誤差の総和を求めてから、ステップ５に戻るように処理することになる。

　図２ないし図４の処理フローに従う実施形態例や、図７ないし図９の処理フローに従う実施形態例では、ベース・レイヤ符号化部１０から動き補償の予測精度評価値を得るようにする構成を採っているが、エンハンスメント・レイヤ符号化部２０から得るようにするという構成を採ることも可能である。

　この構成を採る場合には、図４の処理フローのステップ１１の処理に続けて、複雑さ指標を算出してからステップ５に戻るように処理するとともに、図３の処理フローのステップ９で、例えば、グループの先頭の入力ピクチャについては、ベース・レイヤ符号化部１０から受け取った複雑さ指標を動き補償の予測精度評価値とし、それ以外の入力ピクチャについては、その算出した複雑さ指標を動き補償の予測精度評価値とするというような処理を行うことになる。

　そして、図９の処理フローのステップ１１の処理に続けて、予測誤差の総和を算出してからステップ５に戻るように処理するとともに、図８の処理フローのステップ９で、例えば、グループの先頭の入力ピクチャについては、ベース・レイヤ符号化部１０から受け取った複雑さ指標を動き補償の予測精度評価値とし、それ以外の入力ピクチャについては、その算出した複雑さ指標を動き補償の予測精度評価値とするというような処理を行うことになる。

　また、実施形態例では、動き補償の予測精度評価値Ｘ_mov と、視差補償の予測精度評価値Ｘ_dis との比の値αを求めて、これを規定の判断値に従って評価することで、エンハンスメント・レイヤにおける符号化対象ピクチャのピクチャ種別を適応的に決定するという構成を採ったが、この２つの予測精度評価値の差分値を規定の判断値に従って評価することで、エンハンスメント・レイヤにおける符号化対象ピクチャのピクチャ種別を適応的に決定するという構成を採ることも可能である。

　すなわち、予測精度が高いほど小さな値を示す予測精度評価値で説明するならば、動き補償の予測精度評価値Ｘ_mov と視差補償の予測精度評価値Ｘ_dis との差分値を使って、「（Ｘ_mov −Ｘ_dis ）＜δ１」のときには、動き補償を用いるＰピクチャとして符号化し、「δ２≦（Ｘ_mov −Ｘ_dis ）」のときには、視差補償を用いるＰピクチャとして符号化し、「δ１≦（Ｘ_mov −Ｘ_dis ）＜δ２」のときには、動き補償および視差補償を用いるＢピクチャとして符号化するという構成を採ることも可能である。

　以上説明したように、本発明によれば、ステレオ動画像を符号化するＭＶＰなどのエンハンスメント・レイヤにおいて、動き補償および視差補償の予測精度の評価値から、符号化対象のピクチャのピクチャ種別を適応的に切り替えることにより、符号化効率の向上を実現できるようになる。

本発明のステレオ動画像符号化装置の一実施形態例である。 ベース・レイヤ符号化部の実行する処理フローの一実施形態例である。 エンハンスメント・レイヤ符号化部の実行する処理フローの一実施形態例である。 エンハンスメント・レイヤ符号化部の実行する処理フローの一実施形態例である。 ベース・レイヤ符号化部の生成するＧＯＰ構造の一実施形態例である。 実施形態例を説明するための図である。 ベース・レイヤ符号化部の実行する処理フローの他の実施形態例である。 エンハンスメント・レイヤ符号化部の実行する処理フローの他の実施形態例である。 エンハンスメント・レイヤ符号化部の実行する処理フローの他の実施形態例である。 ＭＶＰの各レイヤのピクチャ種別と参照関係の説明図である。 従来のＭＶＰのエンハンスメント・レイヤのＧＯＰ構造の説明図である。 符号化効率の向上の実現に必要となるピクチャ種別の説明図である。

符号の説明

　１　　ステレオ動画像符号化装置
　１０　ベース・レイヤ符号化部
　２０　エンハンスメント・レイヤ符号化部

Claims (10)

1. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化方法において、
   　ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の下限値を用いて、前記算出された比の値または差分の値が前記下限値より小さいとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の下限値及び上限値を用いて、前記算出された比の値または差分の値が前記下限値以上であって前記上限値より小さいとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の上限値を用いて、前記算出された比の値または差分の値が前記上限値以上であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   を備えることを特徴とするステレオ動画像符号化方法。
2. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化方法において、
   　ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められたしきい値の値θを用いて、α＜１−θ（０＜θ＜１）であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められた２つのしきい値の値θとηを用いて、１−θ≦α＜１＋η（０＜η）であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められたしきい値の値ηを用いて、１＋η≦αであるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   を備えることを特徴とするステレオ動画像符号化方法。
3. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化方法において、
   ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められたしきい値の値δ１を用いて、β＜δ１であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められた２つのしきい値の値δ１とδ２を用いて、δ１≦β＜δ２であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する過程と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められたしきい値の値δ２を用いて、δ２≦βであるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する過程と、
   を備えることを特徴とするステレオ動画像符号化方法。
4. 請求項１ないし３のいずれか１項に記載されるステレオ動画像符号化方法において、
   上記動き補償の予測精度評価値として、ベース・レイヤで動き補償のみを用いて符号化を行ったピクチャから得られた複雑さ指標を用い、
   上記視差補償の予測精度評価値として、エンハンスメント・レイヤで時系列上直近過去に視差補償のみを用いて符号化を行ったピクチャから得られた複雑さ指標を用いることを、
   特徴とするステレオ動画像符号化方法。
5. 請求項１ないし３のいずれか１項に記載されるステレオ動画像符号化方法において、
   上記動き補償の予測精度評価値として、ベース・レイヤで動き補償を用いて符号化を行ったピクチャから得られた予測誤差の総和を用い、
   上記視差補償の予測精度評価値として、エンハンスメント・レイヤで時系列上直近過去に視差補償を用いて符号化を行ったピクチャから得られた予測誤差の総和を用いることを、
   特徴とするステレオ動画像符号化方法。
6. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化装置において、
   　ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の下限値を用いて、前記算出された比の値または差分の値が前記下限値より小さいとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の下限値及び上限値を用いて、前記算出された比の値または差分の値が前記下限値以上であって前記上限値より小さいとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値と視差補償を用いる場合の当該予測精度評価値の比の値または差分の値を算出し、予め定められた動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値の比の値または差分の値の上限値を用いて、前記算出された比の値または差分の値が前記上限値以上であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   を備えることを特徴とするステレオ動画像符号化装置。
7. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化装置において、
   　ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められたしきい値の値θを用いて、α＜１−θ（０＜θ＜１）であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められた２つのしきい値の値θとηを用いて、１−θ≦α＜１＋η（０＜η）であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値を、視差補償を用いる場合の当該予測精度評価値で除すことによってそれらの比の値αを算出し、予め定められたしきい値の値ηを用いて、１＋η≦αであるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   を備えることを特徴とするステレオ動画像符号化装置。
8. 一方の動画像をベース・レイヤ、他方の動画像をエンハンスメント・レイヤとして符号化するステレオ動画像符号化装置において、
   ベース・レイヤがＩピクチャのときには、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められたしきい値の値δ１を用いて、β＜δ１であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められた２つのしきい値の値δ１とδ２を用いて、δ１≦β＜δ２であるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として動き補償および視差補償を用いるＢピクチャを選択して、当該ピクチャを符号化する手段と、
   ベース・レイヤがＩピクチャ以外のとき、動き補償を用いる場合の予測精度評価値と視差補償を用いる場合の予測精度評価値をピクチャ単位で求めて、動き補償を用いる場合の当該予測精度評価値から視差補償を用いる場合の当該予測精度評価値を減算することによってそれらの差分の値βを算出し、予め定められたしきい値の値δ２を用いて、δ２≦βであるとき、エンハンスメント・レイヤの符号化対象ピクチャのピクチャ種別として視差補償を用いるＰピクチャを選択して、当該ピクチャを符号化する手段と、
   を備えることを特徴とするステレオ動画像符号化装置。
9. 請求項１ないし５のいずれか１項に記載されるステレオ動画像符号化方法の実現に用いられる処理をコンピュータに実行させるためのステレオ動画像符号化処理用プログラム。
10. 請求項１ないし５のいずれか１項に記載されるステレオ動画像符号化方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録したステレオ動画像符号化処理用プログラムの記録媒体。
    
    
    
    

Images