JP2012080242A - 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム - Google Patents

Abstract

【課題】優れた符号化効率を奏する予測ベクトル生成方法を提供すること。
【解決手段】対象画像をブロックに分割し、符号化もしくは復号するときに用いられる、動きベクトル、視差ベクトルなどの参照情報の予測ベクトルを生成する方法において、対象画像に対応する距離を表す情報と、対象ブロックに隣接するブロックの参照情報とを用いて、対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする。
【選択図】図１

Description

本発明は、予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラムに関する。

従来の動画像符号化方式としてＭＰＥＧ（Moving Picture Experts Group)−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式などがある。これらの動画像符号化方式では、動き補償フレーム間予測符号化という動画像の時間方向の相関性を利用し符号量の削減を図る符号化方式を用いている。動き補償フレーム間予測符号化では、符号化対象の画像をブロック単位に分割し、ブロックごとに動きベクトルを求めることで、効率的な符号化を実現している。

さらに、非特許文献１にあるように、ＭＰＥＧ−４やＨ．２６４／ＡＶＣ規格では動きベクトルの圧縮率を向上させるために、予測ベクトルを生成し、符号化対象ブロックの動きベクトルと予測ベクトルの差分を符号化している。具体的には、図１４に示すように符号化対象ブロックの上に隣接しているブロック（図中の隣接ブロックＡ）と右上に隣接しているブロック（図中の隣接ブロックＢ）と、左に隣接しているブロック（図中の隣接ブロックＣ）の動きベクトル（ｍｖ＿ａ、ｍｖ＿ｂ、ｍｖ＿ｃ）の水平成分及び垂直成分それぞれの中央値を予測ベクトルとし、動きベクトルと予測ベクトルの差分ベクトルを求めている。

また、近年、Ｈ．２６４規格にて、複数のカメラで同一の被写体や背景を撮影した複数の動画像である多視点動画像を符号化するための拡張規格であるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が策定された。この符号化方式では、カメラ間の相関性を表す視差ベクトルを利用して符号量の削減を図る視差補償予測符号化を用いている。また、視差補償予測の結果として検出される視差ベクトルに対しても、予測ベクトルを利用することにより、符号量の削減が可能である。

ただし、動き補償フレーム間予測符号化と視差補償予測符号化ではそれぞれ時間方向の相関性とカメラ間の相関性を利用して符号化するため、検出される動きベクトルと視差ベクトル間に相関性は無い。そのため、隣接ブロックが符号化対象ブロックと異なる符号化方式で符号化された場合、その隣接ブロックの動きベクトルもしくは視差ベクトルを予測ベクトルの生成に活用できないという問題点がある。

この問題に対し、特許文献１では隣接ブロックの符号化方式が符号化対象ブロックと異なる場合に、符号化対象ブロックの符号化方式が動き補償フレーム間予測符号化の時には隣接ブロックの視差ベクトルが参照する領域に最も多く含まれるブロックの動きベクトルを予測ベクトル生成時に使用し、符号化対象ブロックの符号化方式が視差補償予測符号化の時には隣接ブロックの動きベクトルが参照する領域に最も多く含まれるブロックの視差ベクトルを予測ベクトル生成時に使用することにより、予測ベクトルの生成精度を向上させている。

現在、ＭＰＥＧのアドホックグループであるＭＰＥＧ−３ＤＶにおいて従来のカメラで撮影した映像と合わせてデプスマップも伝送する新しい規格が策定されている。
デプスマップとはカメラから被写体までの距離を表した情報であり、生成方法としては例えば、カメラの近傍に設置された距離を測定する装置から取得する方法がある。また、複数視点のカメラから撮影された画像を解析することによってデプスマップを生成することも出来る。

ＭＰＥＧ−３ＤＶの新しい規格におけるシステムの全体図を図１５に示す。この新しい規格は、２視点以上の複数視点に対応しているが、図１５では２視点の場合で説明する。 このシステムでは、被写体６０１をカメラ６０２、６０４で撮影し画像を出力するとともに、それぞれのカメラの近傍に設置されている被写体までの距離を測定するセンサ６０３、６０５を用いてデプスマップを生成し出力する。符号化器６０６は、入力として画像とデプスマップを受け取り、動き補償フレーム間予測符号化や視差補償予測を用いて、画像およびデプスマップを符号化し出力する。復号器６０７は伝送されてくる符号化器の出力結果を入力として受け取り、復号し、復号画像および復号したデプスマップを出力する。表示部６０８は入力として復号画像と復号したデプスマップを受け取り、復号画像を表示する、あるいは、デプスマップを用いた処理を復号画像に施してから表示する。

国際公開第２００８／０５３７４６号

大久保榮 監修、角野眞也、菊池義浩、鈴木輝彦 共編、改訂三版 H．２６４／ＡＶＣ教科書、インプレスＲ＆Ｄ、PP123-125（動きベクトルの予測）

しかしながら、非特許文献１や特許文献１においては、動きベクトルや視差ベクトルなどを予測する際に、対象ブロックに表示されているオブジェクトと、対象ブロックに隣接するブロックに表示されているオブジェクトとが異なると、これらのオブジェクトが別々の方向に動いたり、カメラからの距離が大きく異なったりすることがあるために、予測ベクトルと、動きベクトルや視差ベクトルとの差分が大きくなり、符号化効率が低下することがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、優れた符号化効率を奏する予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する方法において、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする予測ベクトル生成方法である。

（２）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記予測ベクトル生成ステップは、前記対象画像に対応する距離を表す情報に基づき、前記対象ブロックに隣接するブロックが、前記対象ブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報を生成するオブジェクト推定ステップと、前記生成した情報と、前記隣接するブロックに対応する領域の位置を示す参照情報とを用いて、予測ベクトルを生成する予測ベクトル算出ステップとを有する。

（３）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との差分の絶対値を取ることにより、前記可能性を示す情報を生成する。

（４）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との各画素における差分の２乗の和を取ることにより、前記可能性を示す情報を生成する。

（５）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記対象ブロックの隣接ブロックに対応する距離の情報に対して、エッジ検出を行ない、該エッジ検出の結果に基づき、前記可能性を示す情報を生成する。

（６）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記エッジ検出により検出されたエッジを含んでいる前記隣接ブロックに対応する前記距離を表す情報と、該隣接ブロックの周辺ブロックに対応する距離を表す情報との大小関係に基づき、前記可能性を示す情報を生成する。

（７）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記予測ベクトル算出ステップにおいて、前記隣接するブロックのうち、前記可能性を示す情報が最も高い可能性を示すブロックの参照情報を、前記予測ベクトルとする。

（８）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記予測ベクトル算出ステップにおいて、前記可能性を示す情報を重みとした前記隣接するブロックの参照情報の加重平均から予測ベクトルを算出する。

（９）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化方法であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有する。

（１０）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号方法であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有する。

（１１）また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置であって、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する。

（１２）また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための予測ベクトル生成プログラムである。

（１３）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する。

（１４）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像符号化プログラム。

（１５）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置であって、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する。

（１６）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置のコンピュータに、前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像復号プログラム。

この発明によれば、優れた符号化効率を奏することができる。

この発明の第１の実施形態における画像符号化装置１００の構成を示す概略ブロック図である。 同実施形態における画像符号化装置１００の動作を説明するフローチャートである。 同実施形態における予測ベクトル生成部１０８の構成を示す概略ブロック図である。 同実施形態における予測ベクトル生成部１０８の動作を説明するフローチャートである。 同実施形態における符号化の対象画像の例７０１を示す図である。 同実施形態における符号化の対象画像の例７０１に対応するデプスマップ７０２を示す図である。 同実施形態における画像復号装置２００の構成を示す概略ブロック図である。 同実施形態における画像復号装置２００の動作を説明するフローチャートである。 本発明の第２の実施形態における予測ベクトル生成部１０８ａの構成を示す概略ブロック図である。 同実施形態における予測ベクトル生成部１０８ａの動作を説明するフローチャートである。 同実施形態における符号化の対象画像の例７０１に対応するデプスマップ７０２を示す図である。 本発明の第３の実施形態における予測ベクトル生成部１０８ｂの構成を示す概略ブロック図である。 同実施形態における予測ベクトル生成部１０８ｂの動作を説明するフローチャートである。 従来の隣接ブロックを説明する図である。 従来のＭＰＥＧ−３ＤＶの新しい規格におけるシステムの構成を示す概念図である。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態における画像符号化装置１００の構成を示す概略ブロック図である。画像符号化装置１００は、立体表示用の２視点の動画像を符号化（圧縮）する。図１に示すように、本実施形態における画像符号化装置１００は、画像入力部１０１と、ブロックマッチング実施部１０２と、予測画像作成部１０３と、差分画像符号化部１０４と、差分画像復号部１０５と、参照画像メモリ１０６と、参照情報蓄積メモリ１０７と、予測ベクトル生成部１０８と、差分参照情報符号化部１１０と、参照画像指定情報蓄積メモリ１１１と、参照画像選択部１１２と、参照画像指定情報符号化部１１３と、減算部１１４、１１５と、加算部１１６とを備える。

画像入力部１０１は、符号化する画像（対象画像）の画像データＧＤの入力を受け付ける。本実施形態において符号化する画像は、立体表示用の２視点の動画像である。ブロックマッチング実施部１０２は、画像入力部１０１が受け付けた画像データＧＤの画像をブロックに分割する。ブロックマッチング実施部１０２は、参照画像メモリ１０６を参照して、該ブロックの各々について、既に符号化済みの画像の中から該ブロックの予測に用いる参照画像を選択し、参照画像選択部１１２に指定する。さらに、ブロックマッチング実施部１０２は、該ブロックの各々について、選択した参照画像から該ブロックに対応する領域を探し出すブロックマッチングを行い、該ブロック各々の参照情報を生成する。

この対応する領域の位置を示す参照情報として、分割により得られたブロックから、対応する領域までのベクトルを用いる。このベクトルは、符号化済みの画像が、分割された画像と同一視点かつ異なるフレーム（時刻）の画像であるときは、動きベクトルといい、符号化済みの画像が、分割された画像と異なる視点の画像であるときは、視差ベクトルいう。なお、本実施形態において、ブロックマッチングを行う際に、対応するブロックを探す候補とする既に符号化済みの画像は、分割された画像と同一視点かつ異なる時刻の画像と、分割された画像と異なる視点かつ同一時刻の画像のみであるが、これに限定されない。

予測画像生成部１０３は、参照画像メモリ１０６を参照して、ブロックマッチング実施部１０２がブロックマッチングにより得た対応する領域の画像を、元の分割により得られたブロックの位置に配置して、予測画像を生成する。減算部１１５は、画像入力部１０１が受け付けた画像を構成する画素各々の画素値と、予測画像生成部１０３が生成した予測画像を構成する画素各々の画素値との差分をとり、差分画像を生成する。差分画像符号化部１０４は、減算部１１５が生成した差分画像に対して、量子化や離散コサイン変換などを施して、符号化した差分画像符号化データＤＥを生成する。差分画像復号部１０５は、符号化された差分画像を復号する。加算部１１６は、予測画像生成部１０３が生成した予測画像を構成する画素各々の画素値と、差分画像復号部１０５が復号した差分画像を構成する画素各々の画素値とを加算し、参照画像を生成し、参照画像メモリ１０６に記憶させる。

参照情報蓄積メモリ１０７は、ブロックマッチング実施部１０２が生成した各ブロックの参照情報を記憶する。予測ベクトル生成部１０８は、各ブロックについて、距離を示す情報であるデプスマップＤＭのうち、該ブロックに対応する部分と、参照情報蓄積メモリ１０７が記憶する該ブロックに隣接するブロックの参照情報ＮＲとを用いて、該ブロックの予測ベクトルＰＶを生成する。なお、ここで隣接するブロックとは、画像内を左上から右下へブロック列ごとに走査していくラスタスキャン順で符号化している場合、対象のブロックの左側、上側、右上側の３つのブロックである。本実施形態における予測ベクトル生成部１０８は、予測ベクトルを生成する際に、参照画像指定情報蓄積メモリ１１が記憶する、各ブロックの参照画像を指定する情報ＲＡも用いる。

参照画像選択部１１２は、ブロックマッチング実施部１０２が各ブロックについて選択した参照画像を指定する情報を、参照画像メモリ１０６、参照画像指定情報蓄積メモリ１１１、参照画像指定情報符号化部１１３に出力する。参照画像指定情報符号化部１１３は、参照画像選択部１１２から受けた各ブロックの参照画像を指定する情報を符号化して、参照画像指定情報符号化データＲＡＥを生成し、出力する。減算部１１４は、ブロックマッチング実施部１０２が生成した各ブロックの参照情報と、予測ベクトル生成部１０８が生成した各ブロックの予測ベクトルとの差分をとり、差分参照情報を生成する。差分参照情報符号化１１０は、減算部１１４が生成した差分参照情報を符号化して、差分参照情報符号化データＤＲＥを生成する。

図２は、画像符号化装置１００の動作を説明するフローチャートである。ただし、既に符号化対象画像と同じ視点の複数の画像と、符号化対象画像と同じ時間位置（時刻）の別視点の画像を符号化済みであり、なおかつ符号化対象の画像も途中のブロックまで符号化済みであり、その結果が参照画像メモリ１０６、参照情報蓄積メモリ１０７、参照画像指定情報蓄積メモリ１１１に蓄積されている状態にあるものとして説明する。

まず、画像入力部１０１より符号化対象となる画像の画像データＧＤが入力される（Ａ１）。ブロックマッチング実施部１０２は、入力された符号化対象画像を、ブロック単位に分割する。符号化は、このブロックごとに行われる。画像符号化装置１００は、符号化対象画像内の全ブロックを符号化するまで、以下の処理（ステップＡ２〜Ａ１５）を繰り返し実行する。

ブロックマッチング実施部１０２は、符号化対象ブロックに実施しようとしている符号化モードを示す情報を参照画像選択部１１２に送り、参照画像選択部１１２はその情報に基づき必要な参照画像を参照画像メモリ１０６に伝え、参照画像メモリ１０６は指定された参照画像をブロックマッチング実施部１０２に対して出力する。なお、参照画像とは既に符号化及び復号済みの画像のことである。このような方法でブロックマッチング部１０２は参照画像を入力として受け取りつつ、ブロック毎に全ての符号化モード(動き補償フレーム間予測符号化、視差補償予測符号化)でブロックマッチングを実施する（Ａ３）。ブロックマッチングとは符号化対象ブロックと既に符号化済みの画像の領域との輝度値の差分絶対値を求める処理である。そして、ブロックマッチングの結果であるマッチングの残差と参照情報に基づいて、ブロックマッチング実施部１０２は、符号化効率の最も高い符号化モードを判定し、該符号化モードに必要な参照画像を示す情報である参照画像指定情報を参照画像選択部１１２に出力する（Ａ４)。

後の符号化のために、ブロックマッチング実施部１０２は、参照情報を参照情報蓄積メモリ１０７に格納し（Ａ５）、参照画像選択部１１２は、ブロックマッチング実施部１０２が出力した参照画像指定情報を参照画像指定情報蓄積メモリ１１１に格納する（Ａ６）。予測ベクトル生成部１０８は予測ベクトルを生成する（Ａ７）。なお、予測ベクトルの具体的な生成方法については後で詳しく説明する。減算部１１４は、参照情報と予測ベクトルとの差分を取り、差分参照情報を生成する（Ａ８）。

参照画像選択部１１２は、参照画像指定情報により指定されている参照画像を参照画像メモリ１０６から予測画像生成部１０３へ出力させる。予測画像生成部１０３は受け取った参照画像と参照情報とから予測画像を生成する。そして、減算部１１５は、符号化対象ブロックと前記生成した予測画像との差分をとり、差分画像を生成する（Ａ９）。
参照画像指定情報符号化部１１３は、参照画像指定情報を符号化し、その結果である参照画像指定情報符号データＲＡＥを生成する。差分参照情報符号化部１１０は、差分参照情報を符号化し、その結果である差分参照情報符号化データＤＲＥを生成する。差分画像符号化部１０４は、差分画像を符号化し、その結果である差分画像符号化データＤＥを生成する（Ａ１０）。そして、これら３つの符号化データを、画像符号化装置１００は、出力する。

符号化対象画像が後の符号化で参照画像として用いられる場合には（Ａ１１−Ｙｅｓ）、符号化された差分画像を差分画像復号部１０５が復号する（Ａ１２）。次に、加算部１１６が、この復号した差分画像と予測画像を加算し復号画像を得て（Ａ１３）、復号画像を参照画像メモリ１０６に格納する（Ａ１４）。全ブロックについて、処理していなければ、ステップＡ３に戻り、処理しているときは、終了する（Ａ１５）。また、ステップＡ１１で、符号化対象画像が後の符号化で参照画像として用いられない場合は（Ａ１１−Ｎｏ）、ステップＡ１５に進み、全ブロックについて、処理していなければ、ステップＡ３に戻り、処理しているときは、終了する（Ａ１５）。

次に、予測ベクトル生成方法について詳しく説明する。図３は、本実施形態における予測ベクトル生成部１０８の構成を示す概略ブロック図である。図３に示すように、予測ベクトル生成部１０８は、ブロック間相関性算出部３０１と、予測ベクトル算出部１０９とを備える。予測ベクトル算出部１０９は、隣接ブロック参照情報判定部３０２と、隣接ブロック参照情報蓄積メモリ３０３と、予測ベクトル設定部３０４とを備える。

ブロック間相関性算出部３０１は、符号化対象のブロックと、隣接するブロック各々とのデプスマップＤＭにおける相関性を算出する。本実施形態において、この相関性は、その隣接するブロックが、符号化対象のブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報である。これは、隣接するブロックに表示されているオブジェクトが、符号化対象のブロックに表示されているオブジェクトと同一であれば、距離が大きく変化しないことを利用している。

予測ベクトル算出部１０９は、ブロック間相関性算出部３０１が算出した相関性と、隣接するブロックの参照情報ＮＲとを用いて、予測ベクトルを生成する。
隣接ブロック参照情報判定部３０２は、符号化対象ブロックとその隣接ブロックの参照画像指定情報ＲＡと、隣接ブロックの参照情報ＮＲを受け取る。そして、隣接ブロック参照情報判定部３０２は、符号化対象ブロックの参照画像と隣接ブロックの参照画像が同一か否かを判定し、同一であれば該隣接ブロックの参照情報を、隣接ブロック参照情報蓄積メモリ３０３に出力する。

隣接ブロック参照情報蓄積メモリ３０３は、隣接ブロック参照情報判定部３０２が出力した参照情報を記憶する。予測ベクトル設定部３０４は、隣接するブロックで、符号化の対象ブロックと参照画像が同一もののうち、相関性が最も大きかった隣接するブロックの参照情報を、予測ベクトルＰＶにする。

図４は、予測ベクトル生成方法を示すフローチャートである。このフローチャートは、図２のステップＡ７の詳細を示すものである。また、図５、図６は本発明における予測ベクトル生成方法の概念説明図である。図５は、符号化の対象画像の例７０１を示す図である。図５において、符号Ｏ１は、一番手前にある被写体であり、符号Ｏ２は、被写体Ｏ１の後ろにある被写体である。これらの被写体Ｏ１、Ｏ２は、台Ｏ３の上に置かれている。また、符号７０３は、符号化対象のブロックである。符号７０４は、この符号化対象のブロック７０３の左の隣接ブロックである。符号７０５は、符号化対象のブロック７０３の上の隣接ブロックである。符号７０６は、符号化対象のブロック７０３の右上の隣接ブロックである。

図６は、符号化の対象画像の例７０１に対応するデプスマップ７０２を示す図である。図６において、符号ＯＤ１は、デプスマップ中の被写体Ｏ１である。同様に符号ＯＤ２は、デプスマップ中の被写体Ｏ２である。符号ＯＤ３は、デプスマップ中の台Ｏ３である。また、符号７０７は、符号化対象のブロック７０３に対応するデプスマップ中の領域である。符号７０８は、符号化対象のブロック７０３の左の隣接ブロック７０４に対応するデプスマップ中の領域である。符号７０９は、符号化対象のブロック７０３の上の隣接ブロック７０５に対応するデプスマップ中の領域である。符号７１０は、符号化対象のブロック７０３の右上の隣接ブロック７０６に対応するデプスマップ中の領域である。この図４のフローチャートおよび図５、図６を用いて予測ベクトル生成方法の説明をする。

まず、ブロック間相関性算出部３０１は、入力として符号化対象画像７０１に対応する既に符号化済みのデプスマップ７０２を受け取る（Ｂ１）。ここで符号化済みのデプスマップ７０２を使用するのは、符号化装置と復号装置でデプスマップを同一にすることにより、生成される予測ベクトルを一致させるためである。デプスマップの符号化方法については、時間軸上に並べたデプスマップを動画像とみなし、従来の動画像符号化方式、例えばＭＰＥＧ−２やＨ．２６４／ＡＶＣを用いてもよい。そして、デプスマップを用いて符号化対象ブロック７０３と隣接ブロック７０４、７０５、７０６の間の相関性を表す情報を算出する（ステップＢ２）。

相関性の具体的な算出方法としては、例えばデプスマップ７０２内で符号化対象ブロック７０３と同じ位置にあるブロック７０７のデプス値の平均値と、デプスマップ７０２内で符号化対象ブロック７０３の各隣接ブロック７０４、７０５、７０６と同じ位置にある各ブロック７０８、７０９、７１０のデプス値の平均値との差分絶対値を符号化対象ブロックと隣接ブロックの相関性を示す情報として算出する方法がある。なお、差分絶対値ではなく２乗誤差を用いて算出してもよい。図５の場合、ブロック７０８、７０９、７１０の中では、ブロック７０７と同一オブジェクト内に存在するブロック７０８とのデプス値の平均値の差分絶対値が最も小さくなり、全て背景領域に含まれているブロック７０９とのデプス値の平均値の差分絶対値が最も大きくなる。そして、デプス値の差分絶対値比較部３０１はデプス値の平均値の差分絶対値が小さいブロックはブロック７０８、ブロック７１０、ブロック７０９の順である事を示すブロック間相関度情報を出力する。すなわち、符号対象ブロックと同じオブジェクトを表示している可能性が最も高い隣接ブロックは、ブロック７０８であり、次に高いのはブロック７１０であり、その次はブロック７０９であることを示す情報を出力する。

次に、隣接ブロック参照情報判定部３０２は、入力として、符号化対象ブロック７０３とその隣接ブロック７０４，７０５，７０６の参照画像指定情報と、隣接ブロック７０４，７０５，７０６の参照情報を受け取る。まず、隣接ブロック参照情報判定部３０２は、ブロック間相関度情報で順位が最も高いブロック７０８の参照画像と、符号化対象ブロック７０３の参照画像が同一であるか否かを判定する（Ｂ３）。同一のときは、判定した隣接ブロック、ここではブロック７０８の参照情報を出力してステップＢ６に進み、同一でないときは、ステップＢ４に進む。

ステップＢ４では、隣接ブロック参照情報判定部３０２は、ブロック間相関度情報で順位が、次に高いブロック７１０の参照画像と、符号化対象ブロック７０３の参照画像が同一であるか否かを判定する。同一のときは、判定した隣接ブロック、ここではブロック７１０の参照情報を出力してステップＢ６に進み、同一でないときは、ステップＢ５に進む。
ステップＢ５では、隣接ブロック参照情報判定部３０２は、ブロック間相関度情報で順位が、次に高い（最も低い）ブロック７０９の参照画像と、符号化対象ブロック７０３の参照画像が同一であるか否かを判定する。同一のときは、判定した隣接ブロック、ここではブロック７０９の参照情報を出力してステップＢ６に進み、同一でないときは、ステップＢ７に進む。

ステップＢ６では、参照情報蓄積メモリ３０３は、当該ステップの前に、隣接ブロック参照情報判定部３０２が出力した隣接ブロックの参照情報を格納し（Ｂ６）、ステップＢ８に進む。
ステップＢ７では、また、参照情報蓄積メモリ３０３は、参照情報として（０，０）、すなわち０ベクトルを格納する。
そして、ステップＢ８において、予測ベクトル設定部３０４は、参照情報蓄積メモリ３０３がステップＢ６またはＢ７にて格納した参照情報を、予測ベクトルに設定し出力する。

これにより、符号化対象ブロックとデプス値が一番近い値の隣接ブロック、すなわち、符号化対象ブロックと同一オブジェクトに属している可能性が最も高い隣接ブロックの参照情報が予測ベクトルとして選択されるため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。

次に、上述の画像符号化装置１００により符号化されたデータを復号する画像復号装置２００について説明する。図７は、本実施形態における画像復号装置２００の構成を示す概略ブロック図である。図７に示すように、動画像復号装置２００は、差分画像復号部２０１と、差分参照情報復号部２０２と、参照画像指定情報復号部２０３と、予測画像作成部２０４と、参照画像メモリ２０５と、参照情報蓄積メモリ２０６と、予測ベクトル生成部１０８と、参照画像指定情報蓄積メモリ２０９と、加算部２１０、２１１を備える。図７に示すように、画像復号装置２００は、画像符号化装置１００と同様に予測ベクトル生成部１０８を備える。

図８は、本実施形態における画像復号装置２００の動作を説明するフローチャートである。このフローチャートに従って画像復号装置２００に、２視点の動画像に対応する符号化データを入力した際に実行する処理の説明をする。ただし、既に復号対象画像と同じ視点の複数の画像と復号対象画像と同じ時間軸の別視点の画像を復号済みであり、なおかつ復号対象の画像も途中のブロックまで復号済みであり、その結果が参照画像メモリ２０５、参照情報蓄積メモリ２０６、参照画像指定情報蓄積メモリ２０９に蓄積されている状態にあるものとして説明する。

まず、差分画像復号部２０１、差分参照情報復号部２０２、参照画像指定情報復号部２０３にそれぞれ差分画像符号化データＤＥ、参照画像指定情報符号化データＤＲＥ、差分参照情報符号化データＲＡＥが入力される（ステップＣ１）。上記データは、画像符号化装置１００におけるブロックに対応する単位で入力され、画像復号装置２００は、入力されたブロック順に復号を行う。

画像復号装置２００は、復号対象画像内の全ブロックを復号するまで、以下の処理を繰り返し実行する（ステップＣ２〜Ｃ１４）。
参照画像指定情報復号部２０３は、参照画像指定情報符号化データＤＲＥを復号し、参照画像指定情報を取得する（ステップＣ３）。後の復号処理のために、参照画像指定情報復号部２０３は、復号した参照画像指定情報を、参照画像指定情報蓄積メモリ２０９に格納する（ステップＣ４）。

予測ベクトル生成部１０８は、画像符号化装置１００の予測ベクトル生成部１０８と同様の処理を行い、予測ベクトルを生成する（ステップＣ５）。差分参照情報復号部２０２は、差分参照情報符号化データＲＡＥを復号し、差分参照情報を取得する（ステップＣ６）。加算部２１１は、差分参照情報復号部２０２により復号された差分参照情報と、予測ベクトル生成部１０８が生成した予測ベクトルの和を取ることにより、参照情報を取得する（ステップＣ７）。後の復号処理のために、加算部２１１は、取得した参照情報を参照情報蓄積メモリ２０６に出力し、格納する（ステップＣ８）。

次に、参照画像メモリ２０５は、参照画像指定情報復号部２０３が復号した参照画像指定情報に従って参照画像を予測画像生成部２０４へ出力する。そして、予測画像生成部２０４は、参照画像メモリ２０５が出力した参照画像と、加算部２１１が取得した参照情報とから予測画像を生成する（ステップＣ９）。差分画像復号部２０１は、差分画像符号化データＤＥを復号し、差分画像を取得する（ステップＣ１０）。加算部２１０は、差分画像復号部２０１が取得した差分画像と、予測画像生成部２０４が取得した予測画像との和を取ることにより、復号画像を取得し（ステップＣ１１）、復号画像データＤＤを画像復号装置２００の出力として、出力する。この復号画像が後の復号で参照画像として用いられる場合には、加算部２１０は、この復号画像を参照画像メモリ２０５に格納する（ステップＣ１２，１３）。その画像に含まれるすべてのブロックのデコードが完了するまで、ステップＣ３に戻って処理を繰り返す。
なお、加算部２１０からの出力は、その画像より時間的に前に表示される画像が全て出力されてから、画像復号装置２００より出力する。

これにより、符号化対象ブロックとデプス値が一番近い値の隣接ブロック、すなわち、符号化対象ブロックと同一オブジェクトに属している可能性が最も高い隣接ブロックの参照情報が予測ベクトルとして選択されるため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、隣接ブロックが対象ブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報として、デプスマップのエッジ情報と隣接ブロックとその周辺のブロックとのデプス値の大小関係を用いた場合の予測ベクトルの生成方法について説明する。

本実施形態における画像符号化装置１００ａは、図１に示す画像符号化装置１００と、予測ベクトル生成部１０８に変えて、予測ベクトル生成部１０８ａを備える点が異なる。また、本実施形態における画像復号装置２００ａは、図７に示す画像復号装置２００と、予測ベクトル生成部１０８に変えて、予測ベクトル生成部１０８ａを備える点が異なる。図９は、本実施形態における予測ベクトル生成部１０８ａの構成を示す概略ブロック図である。

図９に示すように、予測ベクトル１０８ａは、エッジ検出部４０１と、ブロック間相関性判定部４０２と、予測ベクトル算出部１０９ａとを備える。予測ベクトル算出部１０９ａは、隣接ブロック参照情報判定部３０２と、予測ベクトル候補判定部４０３と、中央値による予測ベクトル生成部４０４を備える。エッジ検出部４０１は、デプスマップ中の隣接ブロックに対応する領域に対して、エッジ検出を行なうことで、符号化対象ブロックと隣接ブロックとの相関性を判定する。ブロック間相関性判定部４０２は、デプスマップ中の隣接ブロックに対応する領域と、該隣接ブロックの周辺ブロックに対応する領域との大小関係に基づき、符号化対象ブロックと隣接ブロックとの相関性を判定する。

隣接ブロック参照情報判定部３０２は、図３における隣接ブロック参照情報判定部３０２と同様である。予測ベクトル候補判定部４０３は、エッジ検出部４０１によるエッジ検出の結果と、ブロック間相関性判定部４０２による判定結果とを併せて、隣接ブロックと符号化対象ブロックとの相関性を表す情報とし、前記情報に基づき、隣接ブロック参照情報判定部３０２による判定結果の中から、予測ベクトルの候補となる参照情報を判定する。

図１０は、本実施形態における予測ベクトル生成部１０８ａの動作を説明するフローチャートである。このフローチャート、図５および図１１を用いて、一つの符号化対象ブロックの予測ベクトルを生成する方法の説明をする。図１１に示すデプスマップ７０２は、図６に示すデプスマップ７０２と同じものであり、図５に示す画像７０１に対応するデプスマップである。符号７０７は、符号対象ブロックに対応する領域であり、符号７０８、７０９、７１０は、隣接ブロックに対応する領域である。また、隣接ブロックに対応する領域７０８の左側の矩形８０１、領域７０９の上側の矩形８０２、領域７１０の右上の矩形８０３は、隣接ブロックの周辺ブロックに対応する領域である。なお、周辺ブロックとは、隣接ブロックを基準として符号化対象ブロックと対称な位置にあるブロックである。

まず、エッジ検出部４０１およびブロック間相関性判定部４０２は、入力として符号化対象画像７０１に対応するデプスマップ７０２を受け取る（ステップＤ１）。なお、このステップＤ１は、符号化対象ブロック毎ではなく、１フレーム毎に行っても良い。そして、符号化対象ブロック７０３と各隣接ブロック７０４，７０５，７０６との相関性を示す情報としてデプスマップ７０２のエッジ情報を取得し、結果を出力する（ステップＤ２）。エッジの検出方法としては、例えばキャニーフィルタを用いるものや微分によるエッジ検出手法など、公知の方法を用いることができる。

次に、以下の処理（ステップＤ４からＤ９）を各隣接ブロックについて行う。まず、隣接ブロック参照情報判定部３０２は、第１の実施形態と同様に、当該隣接ブロックの参照画像が、符号化対象ブロックの参照画像と同一か否かの判定を行う（ステップＤ４）。同一でないと判定したときは（Ｄ４−Ｎｏ）、ステップＤ７に遷移する。同一であると判定したときは（Ｄ４−Ｙｅｓ）、ステップＤ５に遷移する。ステップＤ５では、予測ベクトル候補判定部４０３が、エッジ検出部４０１の出力結果を基に、当該隣接ブロックにエッジが含まれているかどうかを判定する。エッジが含まれていないと判定したときは（Ｄ５−Ｎｏ）、ステップＤ８に遷移し、予測ベクトル候補判定部４０３は、当該隣接ブロックの参照情報を予測ベクトルの候補に設定する。そして、ステップＤ９にて、全ての隣接ブロックについて、処理をしていれば、ステップＤ１０に遷移し、未処理の隣接ブロックが有るときは、ステップＤ４に戻る。

一方、ステップＤ５にて、エッジが含まれていると判定したときは（Ｄ５−Ｙｅｓ）、ステップＤ６に遷移する。ステップＤ６では、ブロック間相関性判定部４０２は、隣接ブロックとの相関性を示す情報を取得する。具体的には、以下の式（１）を用いて符号化対象ブロックと隣接ブロック（ブロックＸ）の相関性を判定する。

｜Ｄｅｐｔｈ［符号化対象ブロック］−Ｄｅｐｔｈ［ブロックＸ］｜＜｜Ｄｅｐｔｈ［ブロックＸ］−Ｄｅｐｔｈ［ブロックＸ’］｜？相関性あり：相関性なし …（１）
ここで、Ｄｅｐｔｈ[ブロックα]は、デプスマップ中のブロックαに対応する領域の値の平均値を示し、｜β｜は、βの絶対値を示す。また、α？β：γは、式αが成立するときは、βであり、式αが成立しないときは、γであることを示す。

また、式（１）において、ブロックＸ’は、ブロックＸの周辺ブロックである。すなわち、図１１の例では、Ｄｅｐｔｈ[符号化対象ブロック]は、領域７０７のデプス値の平均値である。ブロックＸが、図５のブロック７０４のときは、Ｄｅｐｔｈ[ブロックＸ］は、領域７０８のデプス値の平均値であり、Ｄｅｐｔｈ[ブロックＸ’]は、領域８０１のデプス値の平均値である。また、ブロックＸが、図５のブロック７０５のときは、Ｄｅｐｔｈ[ブロックＸ]は、領域７０９のデプス値の平均値であり、Ｄｅｐｔｈ[ブロックＸ’]は、領域８０２のデプス値の平均値である。また、ブロックＸが図５のブロック７０６のときは、Ｄｅｐｔｈ[ブロックＸ]は、領域７１０のデプス値の平均値であり、Ｄｅｐｔｈ[ブロックＸ’]は、領域８０３のデプス値の平均値である。

このように、ブロック間相関性判定部４０２は、符号化対象ブロックに対応する領域７０７のデプス値の平均値と、領域７０８，７０９，７１０のうち、ステップＤ３〜Ｄ９のループで、当該ループの処理対象となっている隣接ブロックに対応する領域のデプス値の平均値との差分絶対値と、当該ループの処理対象となっている隣接ブロックに対応する領域のデプス値の平均値と、当該ループの処理対象となっている隣接ブロックの周辺ブロックに対応する領域のデプス値の平均値との差分絶対値を比較する。そして、ブロック間相関性判定部４０２は、当該ループの処理対象となっている隣接ブロックについて、その大小関係によって符号化対象ブロックと該隣接ブロックの相関性があるかないかを判別する。

このステップＤ６における判別の結果、相関性があるときは（ステップＤ６−Ｙｅｓ）、上述のステップＤ８に遷移する。一方、このステップＤ６における判別の結果、相関性がないときは（ステップＤ６−Ｎｏ）、ステップＤ７に遷移する。
ステップＤ７では、予測ベクトル候補判定部４０３は、当該隣接ブロックの参照情報を、予測ベクトルの候補に設定せず、ステップＤ９に遷移する。そして、ステップＤ９では、上述のように、全ての隣接ブロックについて、処理をしていれば、ステップＤ１０に遷移し、未処理の隣接ブロックが有るときは、ステップＤ４に戻る。

そして、ステップＤ１０では、中央値による予測ベクトル生成部４０４が、入力として予測ベクトルの候補に設定された参照情報を０から３個受け取り、H.264/AVCと同様の方法で予測ベクトルを生成し出力する。具体的には、受け取った参照情報が３個の場合には、３個の参照情報から、水平成分及び垂直成分それぞれについて中央値を取りその値を予測ベクトルとし、２個の場合には、水平成分及び垂直成分が０の参照情報を加え参照情報を３個にし、参照情報を３個受け取った場合と同じ方法で予測ベクトルを生成し、１個の場合には、唯一入力として受けっとった参照情報を予測ベクトルとし、０個の場合には、予測ベクトルの水平成分及び垂直成分を０に設定する。

上述のステップＤ６において、相関性があると判別したときに、ステップＤ８に遷移して、該隣接ブロックの参照情報を予測ベクトルに設定している。これは、その隣接ブロックにエッジが含まれている場合であっても、隣接ブロックの大部分が符号化対象ブロックと同一のオブジェクトに含まれていることも考えられ、その場合にはその隣接ブロックの参照情報を用いて予測ベクトルを生成した方が、予測ベクトルの精度が向上する可能性が高いからである。

そのため、上述のように、エッジが含まれている隣接ブロックに対しては、ブロック間相関性判定部４０２の出力である隣接ブロックと符号化対象ブロックとの相関性を示す情報が、相関性がある旨を示しているならば該隣接ブロックの参照情報を予測ベクトルの候補に設定し、相関性が無い旨を示しているならば該隣接ブロックの参照情報を予測ベクトルの候補に設定しない。

このように、符号化対象ブロックと同一オブジェクト内に存在する可能性の高い隣接ブロックの参照情報のみを予測ベクトル生成時の候補とすることが出来るため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。

[第３の実施形態]
以下、図面を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、符号化対象ブロックと隣接ブロックの相関性を表す情報を重みとした加重平均による予測ベクトルの生成方法について説明する。
本実施形態における画像符号化装置１００ｂは、図１に示す画像符号化装置１００と、予測ベクトル生成部１０８に変えて、予測ベクトル生成部１０８ｂを備える点が異なる。また、本実施形態における画像復号装置２００ｂは、図７に示す画像復号装置２００と、予測ベクトル生成部１０８に変えて、予測ベクトル生成部１０８ｂを備える点が異なる。

図１２は、本実施形態における予測ベクトル生成部１０８ｂの構成を示す概略ブロック図である。予測ベクトル生成部１０８は、符号化対象ブロックと隣接ブロックの相関性を表す情報を重みとした加重平均によって予測ベクトルを生成する。予測ベクトル生成部１０８ｂは、ブロック間相関性算出部３０１、予測ベクトル算出部１０９ｂを備える。予測ベクトル算出部１０９ｂは、隣接ブロック参照情報判定部３０２、加重平均による予測ベクトル生成部５０２を備える。ブロック間相関性算出部３０１および隣接ブロック参照情報判定部３０２は、図３におけるブロック間相関性算出部３０１および隣接ブロック参照情報判定部３０２と同様である。加重平均による予測ベクトル生成部５０２は、ブロック間相関性算出部３０１が算出した相関性に応じた重みを用いて、隣接ブロックの参照情報の加重平均を算出し、予測ベクトルとする。

図１３は、本実施形態における予測ベクトル生成部１０８ｂの動作を説明するフローチャートである。このフローチャートおよび図５を用いて予測ベクトル生成方法の説明をする。まず、ブロック間相関性算出部３０１は、入力として画像７０１に対応するデプスマップ７０２を受け取る（ステップＥ1）。そして、ブロック間相関性算出部３０１は、デプスマップを用いて符号化対象ブロック７０３と隣接ブロック７０４，７０５，７０６の間の相関性を表す情報を算出し、出力する（ステップＥ２）。具体的な算出方法としては、例えばデプスマップ７０２上の符号化対象ブロックと同じ位置のブロック７０７のデプス値の平均値とその隣接ブロック７０８，７０９，７１０のデプス値の平均値の差分絶対値を算出し、出力する。なお、差分絶対値ではなく２乗誤差を算出し、出力してもよい。

次に処理を行う隣接ブロック参照情報判定部３０２は、第１の実施形態と同様に、各隣接ブロックについて、符号化対象ブロックと参照画像が同一か否かを判定し（Ｅ４）、同一であれば該隣接ブロックの参照情報を予測ベクトルの候補とし（Ｅ５）、同一でなければ該隣接ブロックの参照情報を予測ベクトルの候補から外す（Ｅ６）。次に、加重平均による予測ベクトル生成部５０２は、入力として隣接ブロック参照情報判定部３０２から予測ベクトルの候補とした隣接ブロックの参照情報を受け取り、ブロック間相関性算出部５０１から隣接ブロックと符号化対象ブロックとの相関性を表す情報を受け取る。そして、その相関性を表す情報の逆数を重みとした参照情報の加重平均を水平成分、垂直成分それぞれについて算出し、その算出結果を予測ベクトルに設定する（ステップＥ８）。

これにより、符号化対象ブロックと同一オブジェクト内に存在する可能性の高い隣接ブロックに重きを置いた参照情報を取得出来るため、予測ベクトルの精度が向上し、参照情報の符号化効率が向上する。

なお、上述の各実施形態において、画像符号化装置および画像復号装置は、２視点の動画像を対象としているが、３視点以上の動画像や１視点の動画像、多視点の静止画像を対象にするようにしてもよい。ただし、１視点の動画像の場合は視差補償予測を、多視点の静止画像の場合はフレーム間動き補償予測を符号化モードとして選択することが出来ない。

以上の画像符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積装置として実現することができるのはもちろんのこと、ROMやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、上述の各実施形態における画像符号化装置または画像復号装置の機能、または、これらの一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００、１００ａ、１００ｂ…画像符号化装置
１０１…画像入力部
１０２…ブロックマッチング実施部
１０３…予測画像生成部
１０４…差分画像符号化部
１０５…差分画像復号部
１０６…参照画像メモリ
１０７…参照情報蓄積メモリ
１０８、１０８ａ、１０８ｂ…予測ベクトル生成部
１０９、１０９ａ、１０９ｂ…予測ベクトル算出部
１１０…差分参照情報符号化部
１１１…参照画像指定情報蓄積メモリ
１１２…参照画像選択部
１１３…参照画像指定情報符号化部
１１４…減算部
１１５、１１６…加算部
２００、２００ａ、２００ｂ…画像復号装置
２０１…差分画像復号部
２０２…差分参照情報復号部
２０３…参照画像指定情報復号部
２０４…予測画像生成部
２０５…参照画像メモリ
２０６…参照情報蓄積メモリ
２０９…参照画像指定情報蓄積メモリ
２１０、２１１…加算部
３０１…ブロック間相関性算出部
３０２…隣接ブロック参照情報判定部
３０３…隣接ブロック参照情報蓄積メモリ
３０４…予測ベクトル設定部
４０１…エッジ検出部
４０２…ブロック間相関性判定部
４０3…予測ベクトル候補判定部
４０４…中央値による予測ベクトル生成部
５０２…加重平均による予測ベクトル生成部

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する方法において、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする予測ベクトル生成方法である。

（２）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記予測ベクトル生成ステップは、前記差を示す情報に基づき、前記対象ブロックに隣接するブロックが、前記対象ブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報を生成するオブジェクト推定ステップと、前記生成した情報と、前記隣接するブロックに対応する領域の位置を示す参照情報とを用いて、予測ベクトルを生成する予測ベクトル算出ステップとを有する。

（３）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との差分の絶対値を取ることにより、前記差を示す情報を生成する。

（４）また、本発明の他の態様は、上述の予測ベクトル生成方法であって、前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との各画素における差分の２乗の和を取ることにより、前記差を示す情報を生成する。

（９）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化方法であって、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有する。

（１０）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号方法であって、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有する。

（１１）また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置であって、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する。

（１２）また、本発明の他の態様は、符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置のコンピュータに、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための予測ベクトル生成プログラムである。

（１３）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置であって、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する。

（１４）また、本発明の他の態様は、符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置のコンピュータに、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像符号化プログラム。

（１５）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置であって、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する。

（１６）また、本発明の他の態様は、復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置のコンピュータに、前記対象画像に対応する距離を表す情報を用いて、前記対象ブロックに隣接するブロックに対応する距離と前記対象ブロックに対応する距離との差を示す情報を生成し、前記生成した情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを実行させるための画像復号プログラム。

Claims (16)

1. 符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する方法において、
   前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする予測ベクトル生成方法。
2. 前記予測ベクトル生成ステップは、
   前記対象画像に対応する距離を表す情報に基づき、前記対象ブロックに隣接するブロックが、前記対象ブロックに表示されているオブジェクトと同一のオブジェクトを表示している可能性を示す情報を生成するオブジェクト推定ステップと、
   前記生成した情報と、前記隣接するブロックに対応する領域の位置を示す参照情報とを用いて、予測ベクトルを生成する予測ベクトル算出ステップと
   を有することを特徴とする請求項１に記載の予測ベクトル生成方法。
3. 前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との差分の絶対値を取ることにより、前記可能性を示す情報を生成すること
   を特徴とする請求項２に記載の予測ベクトル生成方法。
4. 前記オブジェクト推定ステップにおいて、前記対象画像に対応する距離を表す情報のうち、前記対象ブロックに対応する距離を表す情報と、前記対象ブロックの隣接ブロックに対応する距離を表す情報との各画素における差分の２乗の和を取ることにより、前記可能性を示す情報を生成すること
   を特徴とする請求項２に記載の予測ベクトル生成方法。
5. 前記オブジェクト推定ステップにおいて、前記対象ブロックの隣接ブロックに対応する距離の情報に対して、エッジ検出を行ない、該エッジ検出の結果に基づき、前記可能性を示す情報を生成すること
   を特徴とする請求項２に記載の予測ベクトル生成方法。
6. 前記オブジェクト推定ステップにおいて、前記エッジ検出により検出されたエッジを含んでいる前記隣接ブロックに対応する前記距離を表す情報と、該隣接ブロックの周辺ブロックに対応する距離を表す情報との大小関係に基づき、前記可能性を示す情報を生成すること
   を特徴とする請求項５に記載の予測ベクトル生成方法。
7. 前記予測ベクトル算出ステップにおいて、前記隣接するブロックのうち、前記可能性を示す情報が最も高い可能性を示すブロックの参照情報を、前記予測ベクトルとすることを特徴とする請求項２に記載の予測ベクトル生成方法。
8. 前記予測ベクトル算出ステップにおいて、前記可能性を示す情報を重みとした前記隣接するブロックの参照情報の加重平均から予測ベクトルを算出することを特徴とする請求項２に記載の予測ベクトル生成方法。
9. 符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化方法であって、
   前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像符号化方法。
10. 復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号方法であって、
    前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップを有することを特徴とする画像復号方法。
11. 符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置であって、
    前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成すること
    を特徴とする予測ベクトル生成装置。
12. 符号化または復号の対象画像をブロックに分割し、前記ブロックの各々にフレーム間動き予測符号化方式もしくは視差補償予測符号化方式を適用し、符号化または復号の対象となっている前記ブロックである対象ブロックの参照画像と該参照画像における前記対象ブロックに対応する領域の位置を示す参照情報とに基づいて前記対象ブロックの予測画像を生成して画像を符号化もしくは復号するときに用いられる、前記参照情報の予測ベクトルを生成する予測ベクトル生成装置のコンピュータに、
    前記対象画像に対応する距離を表す情報と、前記対象ブロックに隣接するブロックの参照情報とを用いて、前記対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップ
    を実行させるための予測ベクトル生成プログラム。
13. 符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置であって、
    前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成すること
    を特徴とする画像符号化装置。
14. 符号化の対象画像をブロックに分割し、前記ブロックの各々について、既に符号化済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を符号化することで画像を符号化する画像符号化装置のコンピュータに、
    前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップ
    を実行させるための画像符号化プログラム。
15. 復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置であって、
    前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成すること
    を特徴とする画像復号装置。
16. 復号の対象画像全体をブロックに分割し、前記ブロックの各々について、既に復号済みの複数の画像から、対象の前記ブロックを予測する際に使用する参照画像を選択し、該参照画像中における前記対象のブロックに対応する領域を指定する参照情報を用いて予測画像を生成し、該予測画像と前記対象のブロックとの差分を復号することで画像を復号する画像復号装置のコンピュータに、
    前記対象画像に対応する距離を表す情報と、前記対象のブロックに隣接するブロックの参照情報とを用いて、前記対象のブロックの予測ベクトルを生成する予測ベクトル生成ステップ
    を実行させるための画像復号プログラム。

Images