JP2015128252A

JP2015128252A - 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体

Info

Publication number: JP2015128252A
Application number: JP2013273295A
Authority: JP
Inventors: 志織杉本; Shiori Sugimoto; 信哉志水; Shinya Shimizu; 明小島; Akira Kojima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2015-07-09

Abstract

【課題】予測残差の符号化効率を向上することができる予測画像生成方法を提供する。
【解決手段】参照ピクチャから予測対象領域の予測画像を生成する予測画像生成方法であって、参照ピクチャから動き情報を複数生成する動き情報生成ステップと、動き情報のそれぞれから複数の一次予測画像を生成する一次予測画像生成ステップと、複数の一次予測画像を使用して予測画像を生成する二次予測画像生成ステップとを有する。二次予測画像生成ステップでは、複数の一次予測画像を混合することにより予測画像を生成する。
【選択図】図１

Description

本発明は、予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体に関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間予測を行う。

ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである。多視点映像符号化については非特許文献１に詳しい。多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、ＭＶＣ（Multiview Video Coding）などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。このように、多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャにおいてはフレーム間予測と視点間予測による双方向予測を行うことができる。

インター予測を行う場合にはその参照先を示す参照ピクチャインデックスや動きベクトルなどの参照情報を得る必要がある。一般的には参照情報は予測情報として符号化し映像とともに多重化するが、その符号量を削減するために何らかの方法で参照情報を予測することもある。一般的な方法では、既に符号化済みの符号化対象画像の周辺ブロックが符号化時に使用した予測情報を取得し、符号化対象画像の予測に用いる参照情報とするダイレクトモードや、周辺ブロックの予測情報を候補リスト（Candidate List）としてリスト化し、リスト中から予測情報を取得する対象ブロックを識別する識別子を符号化するマージモードなどがある。

次に、自由視点映像符号化について説明する。自由視点映像とは、対象シーンを多数の撮像装置等を用いて様々な位置・角度から撮像することでシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することで任意の視点から見た映像を生成するものである。シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある（例えば、非特許文献２参照）。

デプスマップとは、カメラから被写体までの距離（奥行き・デプス）を画素毎に記述したものであり、被写体のもつ３次元情報の簡易な表現である。２つのカメラから同一の被写体を観測するとき、被写体のデプス値はカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ（視差画像）と呼ばれることもある。これに対して、デプスマップの対応するカメラの映像のことをテクスチャと呼ぶこともある。デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。

また、デプスマップの時間的に連続した記述であるデプスマップ映像（以下では画像／映像の区別なしにデプスマップと呼ぶ）は、映像信号と同様に、被写体の空間的／時間的な連続性から、空間的・時間的相関を持つと言える。したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的／時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。このような映像とデプスマップによる映像フォーマットは自由視点映像だけでなく三次元映像の表現／符号化や、多視点映像においても符号量削減のために符号化に用いられる。

このような映像とデプスマップによる映像フォーマットを符号化する場合、映像とデプスマップの間の相関や、デプスマップが映像の各画素の奥行きを持つことを利用して符号化効率を向上することが可能である。代表的な例としては、映像の符号化において、符号化対象画像に対応するデプスマップのデプス値を視差に変換することで、符号化対象画像で視差補償予測を行うための視差ベクトルを得るという方法などがある。また別の方法としては、デプスマップを使用して符号化対象視点の画像を合成し予測画像に用いる視点合成予測という方法もある（例えば、非特許文献３参照）。

なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。

M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Yea, S., & Vetro, A. (2009). View synthesis prediction for multiview video coding. Signal Processing: Image Communication, 24(1-2), 89-100.

多視点映像や自由視点映像の符号化において視点合成予測は有効な符号量削減方法である。しかしながら、その予測精度はデプスマップの精度に大きく依存する。また一般には合成映像には通常の自然映像とは異なる種類の雑音が乗ることが知られている。このようなノイズの発生により、視点合成予測では、通常のインター予測に比べて、その予測残差が変換・量子化による符号化で効率よく符号化できない場合がある。また予測残差を符号化せず予測画像をそのまま復号画像とする場合においても、ノイズの発生により主観品質が低下することがある。

また、更に別の問題として、主に演算量を低減させるために、通常の画像合成のように画素毎ではなく数画素ずつの小領域ごとに視点合成を行う場合になどには、予測画像上にブロックノイズが発生することも知られている。このようなブロックノイズの発生は復号画像の主観品質を低下させ、また予測残差にエッジが多く発生するために予測領域全体では変換効率が悪く、変換サイズが小さなサイズに偏るという問題もある。また一般的な画面間予測においても、予測領域を小さく取る場合などではブロックノイズが多く発生することにより、同様の符号化効率や主観品質の低下がみられる。

本発明は、このような事情に鑑みてなされたもので、予測残差の符号化効率を向上することができる予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体を提供することを目的とする。

本発明は、参照ピクチャから予測対象領域の予測画像を生成する予測画像生成方法であって、前記参照ピクチャから動き情報を複数生成する動き情報生成ステップと、前記動き情報のそれぞれから複数の一次予測画像を生成する一次予測画像生成ステップと、複数の前記一次予測画像を使用して前記予測画像を生成する二次予測画像生成ステップとを有することを特徴とする。

本発明は、前記動き情報生成ステップでは、前記予測対象領域に対応するデプスマップを参照して前記動き情報を複数生成することを特徴とする。

本発明は、前記動き情報生成ステップでは、前記予測対象領域に対応する別の画像に対応するデプスマップを参照して前記動き情報を複数生成することを特徴とする。

本発明は、前記動き情報生成ステップでは、前記予測対象領域の周辺ブロックの予測に使用した予測情報を参照して前記動き情報を複数生成することを特徴とする。

本発明は、前記動き情報生成ステップでは、マージインデックスリストを参照して前記動き情報を複数生成することを特徴とする。

本発明は、前記動き情報生成ステップでは、動き情報候補の統計値に基づいて使用する前記動き情報を選択することにより前記動き情報を複数生成することを特徴とする。

本発明は、前記二次予測画像生成ステップでは、前記複数の一次予測画像を混合することにより前記予測画像を生成することを特徴とする。

本発明は、重みを決定する重み決定ステップを更に有し、前記二次予測画像生成ステップでは、複数の前記一次予測画像に対する異なる重みに基づき加重平均して前記予測画像を生成することを特徴とする。

本発明は、前記重み決定ステップでは、前記動き情報の出現頻度に応じて前記重みを決定することを特徴とする。

本発明は、前記重み決定ステップでは、前記予測対象領域の部分領域ごとに前記重みを決定することを特徴とする。

本発明は、参照ピクチャから予測対象領域の予測画像を生成する予測画像生成装置であって、前記参照ピクチャから動き情報を複数生成する動き情報生成手段と、前記動き情報のそれぞれから複数の一次予測画像を生成する一次予測画像生成手段と、複数の前記一次予測画像を使用して前記予測画像を生成する二次予測画像生成手段とを備えることを特徴とする。

本発明は、前記予測画像生成方法をコンピュータに実行させるための予測画像生成プログラムである。

本発明は、前記予測画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、視点合成によるノイズやデプスマップの誤差やその他の動きベクトルの誤差による予測画像のずれを緩和し、また領域全体で複数の予測画像を混合することで予測対象領域内のブロックノイズの発生をなくすことができ、予測残差の符号化効率を向上させることができるという効果が得られる。

本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置１００の処理動作を示すフローチャートである。本発明の第１実施形態による映像復号装置２００の構成を示すブロック図である。図３に示す映像復号装置２００の処理動作を示すフローチャートである。本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による予測画像生成方法を用いた映像符号化装置を説明する。図１は、本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力映像メモリ１０２、参照ピクチャメモリ１０３、動き情報生成部１０４、一次予測画像生成部１０５、二次予測画像生成部１０６、減算部１０７、変換・量子化部１０８、逆量子化・逆変換部１０９、加算部１１０、及びエントロピー符号化部１１１を備えている。

符号化対象映像入力部１０１は、符号化対象となる映像を入力する。以下の説明では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象ピクチャと呼ぶ。入力映像メモリ１０２は、入力された符号化対象映像を記憶する。参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下は、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。動き情報生成部１０４は、参照ピクチャメモリ１０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する。

一次予測画像生成部１０５は、複数の動き情報それぞれを使用して複数の一次予測画像を生成する。二次予測画像生成部１０６は、複数の一次予測画像を混合して予測画像を生成する。減算部１０７は、符号化対象画像と予測画像の差分を求め、予測残差を生成する。変換・量子化部１０８は、生成された予測残差を変換・量子化し、量子化データを生成する。逆量子化・逆変換部１０９は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。加算部１１０は、復号予測残差と予測画像とを加算し復号画像を生成する。エントロピー符号化部１１１は、量子化データをエントロピー符号化し符号データを生成する。

次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ１０３に記憶されているものとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて参照ピクチャメモリ１０３に記憶されているものとする。

映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１の繰り返しループ）。以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１０の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、動き情報生成部１０４は、参照ピクチャメモリ１０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する（ステップＳ１０３）。動き情報はどのようなものでもよい。一般的には、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上の位置を特定する動きベクトルの組み合わせなどがある。動き情報を生成する方法はどのようなものでもよい。また、動き情報は符号化し映像とともに多重化してもよいし、動き情報を特定可能な何れかの情報を符号化し映像とともに多重化してもよい。例えば、動き情報候補のリスト（予測ベクトルリスト等）や、周辺の符号化済みブロックと同じ動き情報を使用する場合のブロック候補のリスト（マージインデックリスト等）を使用して動き情報を特定する場合に、リストのインデックスなどを符号化し映像とともに多重化してもよい。

他に、映像符号化装置と映像復号装置とで同じ動き情報を特定可能であればどのような方法で動き情報を生成してもよい。例えば、周辺の符号化済みブロックの動き情報を使用して生成するなどしてもよい。例えば、符号化対象ブロックの左上、上、左のブロックなどからそれぞれ符号化時の予測に使用した動き情報を参照動き情報として取得し、これをそのまま符号化対象ブロックで使用する複数の動き情報とするなどしてもよい。あるいは、複数の参照動き情報の中から動き情報を選択するとしてもよいし、あるいは参照動き情報に関する何らかの統計量に基づいて動き情報を生成してもよい。例えば、参照動き情報の中から動き量の大きさに基づいて最大、最小や中央のものを選択してもよいし、出現頻度の高い順に決まった数の動き情報を選択してもよいし、いくつかの参照動き情報の平均などで動き情報を生成するなどしてもよい。

また、予測対象領域を更に複数の小領域に分割し、小領域毎に動き情報を１つ以上ずつ生成してもよい。例えば、小領域ごとに最も近い周辺の符号化済みブロックの参照動き情報を取得し動き情報とする、あるいは周辺の符号化済みブロックの参照動き情報を小領域とブロックとの距離に応じて加重平均するなどである。また、小領域毎に複数の動き情報を使用して予測画像を生成してもよい。例えば、小領域毎に動き情報を生成する場合などに、小領域の境界部や、各小領域において取得した動き情報が誤りを含むような部分においては、別の小領域において取得した動き情報を使用してもよい。更に各小領域において取得した動き情報の平均や中間値などを新たな動き情報としてもよいし、別々に動き情報に基づき別々に予測画像を取得し、それらを混合することで予測画像を生成してもよい。

また、小領域は明示的に分割されてもよい。予め定められた大きさで分割してもよいし、適応的に分割してもよいし、小領域を特定可能な情報や分割方法を特定可能な情報を符号化し映像と共に多重化してもよい。あるいは、候補となる動き情報を複数決定し、その動き情報に基づいて先に一次予測画像を複数取得し、それらの予測画像に基づいて小領域を分割するなどしてもよい。例えば、周辺ブロックの参照動き情報を使用して全体に共通する動きを求めこれを一つの動き情報とし、この動き情報に基づいて先に一次予測画像を取得し、また各参照動き情報をそのまま動き情報として取得した各一次予測画像との差分を求め、差分の大きさが大きい部分は動きの大きい部分、そうでない部分は動きの小さい背景などの領域であるとして分割するなどしてもよい。また、小領域の大きさ・形状は予め定められたものとしてもよいし、予測対象領域ごとに適応的に決定してもよい。例えば、前述の方法などで検出された領域の境界に沿って小領域を決定してもよい。

次に、一次予測画像生成部１０５は、複数の動き情報それぞれを使用して予測対象領域に対する複数の一次予測画像を生成する（ステップＳ１０４）。一次予測画像生成はどのように行ってもよい。一般的に行われる画面間予測のように小数画素精度で行ってもよいし、整数画素精度で行ってもよい。また、複数の動き情報をどのような形で使用してもよい。各動き情報に基づいてそれぞれ予測画像を生成して平均や加重平均などで最終的な予測画像を生成してもよいし、前述の方法などで予測対象領域を小領域に分割し、小領域毎に異なる動き情報を使用し予測画像を生成してもよい。また、使用する動き情報毎に対応する小領域についてだけ一次予測画像を生成してもよいし、予測領域全体に対してそれぞれの一次予測画像を生成してもよい。

次に、二次予測画像生成部１０６は、複数の一次予測画像を混合して予測画像を生成する（ステップＳ１０５）。一次予測画像の混合はどのように行ってもよい。全ての一次予測画像を加算平均してもよいし、加重平均してもよい。またその時に使用する重みはどのように決定してもよい。例えば、既に符号化済みの周辺ブロックの動き情報に基づく統計値などに応じて重みを決定するなどしてもよい。また、予測対象領域の各画素や各小領域ごとに重みを決定して加重平均するなどしてもよい。あるいは周辺の符号化済みブロックの参照動き情報を小領域とブロックとの距離に応じて加重平均するなどである。また、小領域毎に異なる動きベクトルから生成された一次予測画像を使用してもよい。

次に、減算部１０７は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０６）。次に、予測残差の生成が終了したら、変換・量子化部１０８は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。そして、変換・量子化が終了したら、逆量子化・逆変換部１０９は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０８）。

次に、復号予測残差の生成が終了したら、加算部１１０は、復号予測残差と予測画像とを加算し復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１０９）。必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１１は、量子化データをエントロピー符号化し符号データを生成し（ステップＳ１１０）、必要であれば、予測情報や残差予測情報その他の付加情報も符号化し符号データと多重化する。そして、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１１）。

次に、本発明の第１実施形態による予測画像生成方法を用いた映像復号装置について説明する。図３は、本発明の第１実施形態による映像復号装置２００の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、エントロピー復号部２０４、逆量子化・逆変換部２０５、動き情報生成部２０６、一次予測画像生成部２０７、二次予測画像生成部２０８、加算部２０９を備えている。

符号データ入力部２０１は、復号対象となる符号データを入力する。この復号対象となる符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象ピクチャと呼ぶ。符号データメモリ２０２は、入力された復号対象映像を記憶する。参照ピクチャメモリ２０３は、すでに復号済みの画像を記憶する。エントロピー復号部２０４は、復号対象ピクチャの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部２０５は量子化データに逆量子化／逆変換を施して復号予測残差を生成する。動き情報生成部２０６は、参照ピクチャメモリ２０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する。一次予測画像生成部２０７は、複数の動き情報それぞれを使用して複数の一次予測画像を生成する。二次予測画像生成部２０８は、複数の一次予測画像を混合して予測画像を生成する。加算部２０９は、復号予測残差と予測画像とを加算し復号画像を生成する。

次に、図４を参照して、図３に示す映像復号装置２００の処理動作を説明する。図４は、図３に示す映像復号装置２００の処理動作を示すフローチャートである。復号対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を復号する構造をとるものとする。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されているものとする。

次に、符号データ入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２０９の繰り返しループ）。以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップＳ２０３〜Ｓ２０８の処理はフレーム全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０４は、符号データをエントロピー復号して量子化データと予測情報とを生成する（ステップＳ２０３）。逆量子化・逆変換部２０５は、量子化データを逆量子化・逆変換し、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成してもよい。

ステップＳ２０５からステップＳ２０７までの処理は、映像符号化装置１００におけるステップＳ１０３からステップＳ１０５までの処理と同様であるので、ここでは簡単に説明する。動き情報生成部２０６は、参照ピクチャメモリ２０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する（ステップＳ２０５）。続いて、一次予測画像生成部２０７は、複数の動き情報それぞれを使用して予測対象領域に対する複数の一次予測画像を生成する（ステップＳ２０６）。次に、二次予測画像生成部２０８は、複数の一次予測画像を混合して予測画像を生成する（ステップＳ２０７）。

次に、予測画像の生成が終了したら、加算部２０９は、復号予測残差と予測画像を加算し、復号画像を生成し、参照ピクチャメモリに記憶する（ステップＳ２０８）。必要であれば復号画像にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。そして、全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２０９）。

＜第２実施形態＞
次に、本発明の第２実施形態による予測画像生成方法を用いた映像符号化装置を説明する。図５は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、新たにデプスマップ入力部１１２、デプスマップメモリ１１３を備えている点である。デプスマップ入力部１１２は、参照ピクチャに対応するデプスマップを入力する。デプスマップメモリ１１３は、これまでに入力されたデプスマップを記憶する。また動き情報生成部１０４は、デプスマップメモリ１１３に記憶されたデプスマップを使用して、参照ピクチャメモリ１０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する。

次に、図６を参照して、図５に示す映像符号化装置１００ａの処理動作を説明する。図６は、図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。ここでは、符号化対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとるものとする。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する。また、デプスマップ入力部１１２は、多視点映像に対応するデプスマップを入力し、デプスマップメモリ１１３に記憶する（ステップＳ１０１ａ）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ１０３に記憶されているとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて参照ピクチャメモリ１０３に記憶されているものとする。

デプスマップは通常多視点映像と共に符号化され多重化されるもののうち、参照ピクチャメモリ１０３に記憶されている参照ピクチャのそれぞれに対応するデプスマップであり、符号化対象画像より前にすでに符号化されている。ただし映像符号化装置と映像復号装置で同一のものを参照することが可能であれば映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。ここで入力されるデプスマップは、いずれかの方法で各画素の視差を決定することができるものであればどのような種類のものでもよい。一般的なものではピクチャの各画素の奥行き値を記述したものがあるが、そのほかに奥行きの逆数値を記述したものでもよいし、視差を記述したものでもよい。

また、入力の順番はこの限りでなく、どのような順番で入力されてもいい。例えば、デプスマップは符号化対象映像の符号化が開始されるより前に、デプスマップの符号化が実行された時点で入力しデプスマップメモリ１１３に記憶しておいてもよい。また、別のデプスマップ符号化装置におけるデプスマップメモリを本装置のデプスマップメモリ１１３として使用してもよい。

符号化対象画像とデプスマップの入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１の繰り返しループ）。以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１０の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、動き情報生成部１０４は、デプスマップメモリ１１３に記憶されたデプスマップを使用して、参照ピクチャメモリ１０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する（ステップＳ１０３ａ）。動き情報はどのようなものでもよい。一般的には、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上の位置を特定する動きベクトルの組み合わせなどがある。

デプスマップから動き情報を生成する方法はどのようなものでもよい。一般的なものとしては、符号化対象映像と異なる視点の映像を参照視点として、参照視点の映像のうち符号化対象ピクチャと同じフレームのピクチャを参照ピクチャとして、予測対象領域の各画素に対応するデプス値を参照視点に対する視差値に変換して参照ピクチャに対応する動きベクトルとする方法などがある。または、同様の方法で参照視点の映像を参照し、参照先の領域の符号化時の動き情報を取得し、取得した参照ピクチャインデックスの示す参照ピクチャと同じフレームで符号化対象視点と同じ視点のピクチャを参照ピクチャとし、取得した動きベクトルを参照ピクチャに対する動きベクトルとする方法もある。

参照視点はどのように決定してもよい。あらかじめ定められた視点を使用することとしてもよいし、参照可能なすべての視点に対して別々に動き情報を生成することとしてもよいし、あるいは任意の視点を使用することとしてその情報を符号化し映像と共に多重化してもよいし、いずれかの方法で適応的に決定してもよい。

また、これらの動き情報は画素毎にひとつずつ取得してもよいし、複数ずつ取得してもよいし、任意のサイズの領域毎にひとつずつまたは複数ずつ取得してもよい。例えば、符号化対象領域中に異なる視差をもつ２つ以上の被写体が存在する場合に、それぞれの被写体の領域毎に使用するデプス値を決定し動き情報を決定してもよい。また、取得可能な動き情報を全て使用してもよいし、一部を使用することにしてもよい。一部を使用する場合に、あらかじめ定めた位置のデプス値を使用して動き情報を生成してもよいし、動き情報取得に使用するデプスマップや参照先領域の画素の値などで、実際に使用する動き情報を選択してもよいし、適応的に生成してもよい。例えば、すべての画素から得られるデプス値のうち、出現頻度が一定数以上のデプス値だけを使用することとしてもよいし、予測対象領域のデプス値の最頻値や平均値などを求め、そのデプス値を使用して動き情報を生成してもよい。

またあるいは、デプスマップのヒストグラムのピーク毎にそのデプス値を使用して動き情報を生成してもよい。または、得られた複数の動き情報から別の動き情報を生成してもよい。例えば、２つの動きベクトルが得られた場合に、更にそれらを平均したベクトルを生成し動き情報として使用するなどしてもよい。あるいは、デプス値または視差値の最頻値や平均値などを一つ求め代表値として、代表値及び代表値に任意のオフセットを加えた値からそれぞれ動きベクトルを生成するなどしてもよい。例えば、デプス値として前後に１単位ずつオフセットを加えたものや、視差値として左右に１画素あるいは小数画素程度のオフセットを加えたものなどを生成してもよい。

また、デプスマップは符号化対象ピクチャに対応するものでもよいし、別のフレームや視点に対応するものでもよい。一般的な方法としては、符号化対象視点に対応するデプスマップが符号化前であり参照できない場合に、予測対象領域の周辺のすでに符号化済みの領域における視差補償予測時の予測情報から参照視点上の対応する領域を特定し、その領域に対応するデプスマップを参照し使用する方法などがある。また、この場合にデプスマップ上の２つ以上の異なる領域を参照し使用してもよい。例えば、予測対象領域全体に対して前述の方法などで参照視点上の対応する領域を決定しその領域のデプスマップを参照する場合に、予測対象領域の四隅に対応するデプス値を使用してデプス値の最小値や最大値や平均値などを見積もり、各値に基づき動き情報を決定しそれぞれ改めて参照視点上の対応する領域を複数決定しその領域のデプスマップを参照してもよい。

またあるいは、予測対象領域を更に複数の小領域に分割し、小領域毎に前述の方法などで参照視点上の対応する領域を特定し、それぞれの小領域に対応するデプスマップ上の領域を参照し各小領域の各画素におけるデプス値を決定するなどしてもよい。また、複数のデプスマップを取得する場合に、一つの画素または小領域で複数のデプスマップを使用してデプス値または動き情報を決定するなどしてもよいし、一つの画素または小領域あたりで複数のデプス値または動き情報を使用して予測画像を生成するとしてもよい。例えば、前述の方法で各小領域毎にデプスマップ上の異なる領域を対応付ける場合に、小領域の境界部や、各小領域において取得したデプス値が誤りを含むような部分においては、別の小領域に対応付けられたデプスマップ上の領域のデプス値を使用してもよい。更に各小領域に対応付けられた領域のデプス値の平均や中間値などを新たなデプス値としてもよいし、各デプス値によって別々に動き情報を決定し別々に予測画像を取得し、それらを混合することで予測画像を生成してもよい。

また、小領域は明示的に分割されてもよいし、その場合参照視点上の対応する領域の映像やデプスマップに基づいて分割されても良い。例えば、デプス値に基づいて小領域を決定するなどしてもよい。例えば前述の方法などでデプス値の最大値や最小値、平均値や中間値などをみつもり、その値に基づいてデプス値のしきい値を決定し予測対象領域を分割するなどしてもよい。また、小領域の大きさ・形状は予め定められたものとしてもよいし、予測対象領域ごとに適応的に決定してもよい。例えば、予測対象領域に２つ以上の被写体が存在する場合に、被写体境界に沿って小領域を決定してもよい。

次に、一次予測画像生成部１０５は、複数の動き情報それぞれを使用して予測対象領域に対する複数の一次予測画像を生成する（ステップＳ１０４）。一次予測画像生成はどのように行ってもよい。一般的に行われる画面間予測のように小数画素精度で行ってもよいし、整数画素精度で行ってもよい。例えばデプスマップの誤差による視差のズレが小数画素程度または数画素程度で想定される場合、デプスマップにおけるデプス値また変換された視差値だけでなく、視差ズレ分を含むようなオフセット値を加えた視差値を更に使用してそれぞれに対応する動きベクトルを生成し、各画面間予測を整数精度で行い混合するなどしてもよい。

また、複数の動き情報をどのような形で使用してもよい。各動き情報に基づいてそれぞれ予測画像を生成して平均や加重平均などで最終的な予測画像を生成してもよいし、前述の方法などで予測対象領域を小領域に分割し、小領域毎に異なる動き情報を使用し予測画像を生成してもよい。また、使用する動き情報毎に対応する小領域についてだけ一次予測画像を生成してもよいし、動き情報毎に予測領域全体に対してそれぞれの一次予測画像を生成してもよい。

次に、二次予測画像生成部１０６は、複数の一次予測画像を混合して予測画像を生成する（ステップＳ１０５）。一次予測画像の混合はどのように行ってもよい。全ての一次予測画像を加算平均してもよいし、加重平均してもよい。またその時に使用する重みはどのように決定してもよい。例えば、予測対象領域の各画素に対応するデプス値から視差値を決定し動きベクトルを生成して使用する場合に、デプス値の出現頻度などに応じて重みを決定するなどしてもよい。

また、予測対象領域の各画素や各小領域ごとに重みを決定して加重平均するなどしてもよい。例えば、動きベクトルの参照に使用したデプス値に対応する画素と処理対象画素の距離に応じて重みを決定するなどしてもよい。また、小領域毎に異なる動きベクトルから生成された一次予測画像を使用してもよい。

次に、減算部１０７は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０６）。次に、予測残差の生成が終了したら、変換・量子化部１０８は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。そして、変換・量子化が終了したら、逆量子化・逆変換部１０９は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０８）。

次に、本発明の第２実施形態による予測画像生成方法を用いた映像復号装置について説明する。図７は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図３に示す装置と異なる点は、新たにデプスマップ入力部２１０、デプスマップメモリ２１１を備えている点である。デプスマップ入力部２１０は、参照ピクチャに対応するデプスマップを入力する。デプスマップメモリ２１１は、これまでに入力されたデプスマップを記憶する。また動き情報生成部２０６、デプスマップメモリ２１１に記憶されたデプスマップを使用して、参照ピクチャメモリ２０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する。

次に、図８を参照して、図７に示す映像復号装置２００ａの処理動作を説明する。図８は、図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する。また、デプスマップ入力部２１０はデプスマップを入力し、デプスマップメモリ２１１に記憶する（ステップＳ２０１ａ）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されているものとする。

デプスマップは通常多視点映像と共に符号化され多重化されているもののうち、参照ピクチャメモリ２０３に記憶されている参照ピクチャのそれぞれに対応するデプスマップであり、復号対象画像より前にすでに復号されている。ただし映像符号化装置と映像復号装置で同一のものを参照することが可能であれば映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。ここで入力されるデプスマップは、いずれかの方法で各画素の視差を決定することができるものであればどのような種類のものでもよい。一般的なものではピクチャの各画素の奥行き値を記述したものがあるが、そのほかに奥行きの逆数値を記述したものでもよいし、視差を記述したものでもよい。

また、入力の順番はこの限りでなく、どのような順番で入力されてもいい。例えば、デプスマップは復号対象映像の復号が開始されるより前に、デプスマップの復号が実行された時点で入力しデプスマップメモリ２１１に記憶しておいてもよい。また、別のデプスマップ復号装置におけるデプスマップメモリを本装置のデプスマップメモリ２１１として使用してもよい。

次に、符号データとデプスマップの入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２０８の繰り返しループ）。以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップＳ２０３〜Ｓ２０８の処理はフレーム全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０４は、符号データをエントロピー復号して量子化データと予測情報とを生成する（ステップＳ２０３）。逆量子化・逆変換部２０５は、量子化データを逆量子化・逆変換し、復号予測残差を生成する（ステップＳ２０４）。

ステップＳ２０５ａからステップＳ２０７までの処理は、映像符号化装置１００ａにおけるステップＳ１０３からステップＳ１０５までの処理と同様であるので、ここでは簡単に説明する。動き情報生成部２０６は、デプスマップメモリ２１１に記憶されたデプスマップを使用して、参照ピクチャメモリ２０３に記憶された参照ピクチャの領域を示す動き情報を複数個生成する（ステップＳ２０５ａ）。続いて、一次予測画像生成部２０７は、複数の動き情報それぞれを使用して予測対象領域に対する複数の一次予測画像を生成する（ステップＳ２０６）。次に、二次予測画像生成部２０８は、複数の一次予測画像を混合して予測画像を生成する（ステップＳ２０７）。

なお、前述の第１〜第２実施形態では複数の一次予測画像を生成しそれらを混合して予測画像を生成しているが、予測画像生成に際して一次予測画像生成を行わずに適応的に複数の動きベクトルを使用して複数の画素を参照しながら予測画像生成を行ってもよい。また、前述した第１〜第２実施形態における一部の処理は、その順序が前後してもよい。

以上説明したように、各画素あるいは各小領域に対応する視差情報や動き情報を使用して、より大きな領域または予測対象領域全体に対して複数の画面間予測画像を作成し、それらを混合することで視点合成によるノイズやデプスマップの誤差やその他の動きベクトルの誤差による予測画像のずれを緩和し、また領域全体で複数の予測画像を混合することで予測対象領域内のブロックノイズの発生をなくすことにより予測残差の符号化効率を向上させることができる。

前述した実施形態における映像符号化装置及び映像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

視点合成によるノイズやデプスマップの誤差やその他の動きベクトルの誤差による予測画像のずれを緩和し、また領域全体で複数の予測画像を混合することで予測対象領域内のブロックノイズの発生をなくすことにより予測残差の符号化効率を向上させることが不可欠な用途に適用できる。

１００・・・映像符号化装置、１０１・・・符号化対象映像入力部、１０２・・・入力映像メモリ、１０３・・・参照ピクチャメモリ、１０４・・・動き情報生成部、１０５・・・一次予測画像生成部、１０６・・・二次予測画像生成部、１０７・・・減算部、１０８・・・変換・量子化部、逆量子化・逆変換部、１１０・・・加算部、１１１・・・エントロピー符号化部、１１２・・・デプスマップ入力部、１１３・・・デプスマップメモリ、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照ピクチャメモリ、２０４・・・エントロピー復号部、２０５・・・逆量子化・逆変換部、２０６・・・動き情報生成部、２０７・・・一次予測画像生成部、２０８・・・二次予測画像生成部、２０９・・・加算部、２１０・・・デプスマップ入力部、２１１・・・デプスマップメモリ

Claims

参照ピクチャから予測対象領域の予測画像を生成する予測画像生成方法であって、
前記参照ピクチャから動き情報を複数生成する動き情報生成ステップと、
前記動き情報のそれぞれから複数の一次予測画像を生成する一次予測画像生成ステップと、
複数の前記一次予測画像を使用して前記予測画像を生成する二次予測画像生成ステップと
を有することを特徴とする予測画像生成方法。
前記動き情報生成ステップでは、前記予測対象領域に対応するデプスマップを参照して前記動き情報を複数生成することを特徴とする請求項１に記載の予測画像生成方法。
前記動き情報生成ステップでは、前記予測対象領域に対応する別の画像に対応するデプスマップを参照して前記動き情報を複数生成することを特徴とする請求項１に記載の予測画像生成方法。
前記動き情報生成ステップでは、前記予測対象領域の周辺ブロックの予測に使用した予測情報を参照して前記動き情報を複数生成することを特徴とする請求項１に記載の予測画像生成方法。
前記動き情報生成ステップでは、マージインデックスリストを参照して前記動き情報を複数生成することを特徴とする請求項１に記載の予測画像生成方法。
前記動き情報生成ステップでは、動き情報候補の統計値に基づいて使用する前記動き情報を選択することにより前記動き情報を複数生成することを特徴とする請求項１から５のいずれか１項に記載の予測画像生成方法。
前記二次予測画像生成ステップでは、前記複数の一次予測画像を混合することにより前記予測画像を生成することを特徴とする請求項１から６のいずれか１項に記載の予測画像生成方法。
重みを決定する重み決定ステップを更に有し、
前記二次予測画像生成ステップでは、複数の前記一次予測画像に対する異なる重みに基づき加重平均して前記予測画像を生成することを特徴とする請求項１から６のいずれか１項に記載の予測画像生成方法。
前記重み決定ステップでは、前記動き情報の出現頻度に応じて前記重みを決定することを特徴とする請求項８に記載の予測画像生成方法。
前記重み決定ステップでは、前記予測対象領域の部分領域ごとに前記重みを決定することを特徴とする請求項８または９に記載の予測画像生成方法。
参照ピクチャから予測対象領域の予測画像を生成する予測画像生成装置であって、
前記参照ピクチャから動き情報を複数生成する動き情報生成手段と、
前記動き情報のそれぞれから複数の一次予測画像を生成する一次予測画像生成手段と、
複数の前記一次予測画像を使用して前記予測画像を生成する二次予測画像生成手段と
を備えることを特徴とする予測画像生成装置。
請求項１から１０のいずれか１項に記載の予測画像生成方法をコンピュータに実行させるための予測画像生成プログラム。
請求項１２に記載の予測画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。