JP2014017671A - 予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラム - Google Patents

Abstract

【課題】良好な符号化効率を得ることができる予測ベクトル生成装置を提供すること。
【解決手段】非基準視点画像における対象ブロックの動きベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、対象ブロックの隣接ブロックに関する視差ベクトルを取得する視差ベクトル取得部と、取得した視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する動きベクトル取得部と、動きベクトル取得部が取得した動きベクトルを用いて、対象ブロックの動きベクトルの予測ベクトルを決定する予測ベクトル決定部とを具備することを特徴とする。
【選択図】図１

Description

本発明は、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラムに関する。

動画像の符号化では、フレームをブロックに分割し、該ブロックに近い画像を、他のフレームから取得して予測画像とする動き予測が行われている。そして、このブロックに近い画像を示すベクトルを動きベクトルと呼び、当該ブロックの周辺のブロックの動きベクトルから当該ブロックの動きベクトルを予測することも行われている（例えば、非特許文献１、２を参照）。なお、動きベクトルの予測による得られるベクトルを、予測ベクトルという。
また、ＩＳＯ（International Organization For Standardization）では、３次元映像符号の標準規格であり、複数の視点画像とデプスマップとを符号化するＭＰＥＧ−３ＤＶの規格化が行われている（非特許文献３）。

"Advanced video coding for generic audiovisual services", ITU-T H.264, March 2009 "High efficiency video coding (HEVC) text specification draft 7", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April - 7 May 2012, 2012, JCTVC-H1003 version 5 "３次元映像符号化の国際標準化動向", NTT技術ジャーナル, August 2011

しかしながら、前述のＭＰＥＧ−３ＤＶのように複数の視点画像を符号化する際には、前述の動き予測に加えて、対象ブロックに近い画像を、他の視点画像から取得して予測画像とする視差予測も行われる。この場合、非特許文献１、２のように、動きベクトルを予測する際に、周辺ブロックの動きベクトルを用いようとしても、周辺ブロックが視差予測により予測画像を生成しているときは、周辺ブロックの動きベクトルが得られない。このため、予測ベクトルの精度が悪くなってしまい、良好な符号化効率が得られないことがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、良好な符号化効率を得ることができる予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、非基準視点画像における対象ブロックの動きベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する視差ベクトル取得部と、前記取得した視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する動きベクトル取得部と、前記動きベクトル取得部が取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する予測ベクトル決定部とを具備することを特徴とする。

（２）また、本発明の他の態様は、（１）に記載の予測ベクトル生成装置であって、前記動きベクトル取得部が選択するブロックは、前記対象ブロックを起点にしたときに、前記視差ベクトル取得部が取得した視差ベクトルが示す点を含むブロックであることを特徴とする。

（３）また、本発明の他の態様は、（２）に記載の予測ベクトル生成装置であって、前記動きベクトル取得部は、前記視差ベクトルが示す点を含むブロックが動きベクトルを有していないときは、該ブロックの隣接ブロックに関する動きベクトルを取得することを特徴とする。

（４）また、本発明の他の態様は、（１）から（３）のいずれかに記載の予測ベクトル生成装置であって、前記動きベクトル取得部は、前記視差ベクトル取得部が複数の視差ベクトルを取得したときは、前記対象ブロックのデプス値に近いデプス値を有する前記隣接ブロックの視差ベクトルの方を優先することを特徴とする。

（５）また、本発明の他の態様は、（１）から（３）のいずれかに記載の予測ベクトル生成装置であって、前記動きベクトル取得部は、前記視差ベクトル取得部が複数の視差ベクトルを取得したときは、前記複数の視差ベクトル各々に対応する他の視点画像におけるブロックに関する動きベクトルのうち、前記対象ブロックのデプス値に近いデプス値を有するブロックに関する動きベクトルを優先して取得することを特徴とする。

（６）また、本発明の他の態様は、（１）から（５）のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置である。

（７）また、本発明の他の態様は、（１）から（５）のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置である。

（８）また、本発明の他の態様は、非基準視点画像における対象ブロックの動きベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第１の過程と、前記取得した視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する第２の過程と、前記第２の過程にて取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する第３の過程とを有することを特徴とする。

（９）また、本発明の他の態様は、コンピュータを、非基準視点画像における対象ブロックの隣接ブロックに関する視差ベクトルを取得する視差ベクトル取得部、前記視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する動きベクトル取得部、前記動きベクトル取得部が取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する予測ベクトル決定部として機能させるためのプログラムである。

この発明によれば、良好な符号化効率を得ることができる。

この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。 同実施形態に係る画像符号化装置１００の構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部１１０の構成を示す概略ブロック図である。 同実施形態に係る第１候補ベクトル生成部１１１の動作を説明する概念図である。 同実施形態に係る第１候補ベクトル生成部１１１の動作を説明するフローチャートである。 同実施形態に係る予測ベクトル生成部１１０の動作を説明するフローチャートである。 同実施形態に係る画像復号装置３００の構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部３０６の構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部３０６の動作を説明するフローチャートである。 同実施形態の変形例による第２候補ベクトル生成部１１４の動作を説明するフローチャートである。 この発明の第２の実施形態による画像符号化装置１００ａの構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部１１０ａの構成を示す概略ブロック図である。 同実施形態に係る画像復号装置３００ａの構成を示す概略ブロック図である。 この発明の第３の実施形態による予測ベクトル生成部１１０ｂの構成を示す概略ブロック図である。 同実施形態に係る非基準画像のフレームの例ＮＢＶ１を示す図である。 同実施形態に係るフレームＮＢＶ１に対応するデプスマップＤｍ１を示す図である。 同実施形態に係る第１候補ベクトル生成部１１１ｂの動作を説明するフローチャートである。 同実施形態に係る予測ベクトル生成部３０６ｂの構成を示す概略ブロック図である。 同実施形態の変形例による非基準画像のフレームの例ＮＢＶ２を示す図である。 同実施形態に係るフレームＮＢＶ２に対応する基準視点画像のフレームＢＶ２を示す図である。 同実施形態に係る第１候補ベクトル生成部１１１ｂの動作を説明するフローチャートである。 各実施形態の変形例による基準視点画像のフレームの例ＢＶ３を示す図である。 同変形例に係る動きベクトル取得部１１３の動作を説明するフローチャートである。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。画像伝送システム１０は、複数の視点画像とデプスマップとを符号化して伝送し、伝送先において、これらを用いた自由視点画像の表示を可能とするシステムである。図１に示すように、画像伝送システム１０は、画像符号化装置１００、ネットワーク２００、画像復号装置３００、自由視点画像表示装置４００を含んで構成される。

画像符号化装置１００は、複数の視点画像（テクスチャ画像ともいう）Ｔ各々を符号化し、視点画像Ｔ各々の符号化ストリームＴｅを生成する。さらに、画像符号化装置１００は、符号化した視点画像Ｔ各々に対応するデプスマップＤを符号化し、デプスマップ各々のデプスマップ符号化ストリームＤｅを生成する。ネットワーク２００は、これらの符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを、画像復号装置３００に伝送する、ＩＰ（Internet Protocol）ネットワーク、ケーブルテレビ網などのネットワークである。なお、符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとは、本実施形態のようにネットワークにより伝送されてもよいが、地上デジタル放送、衛星放送などの放送波により伝送されてもよいし、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（Blu-ray（登録商標））などの記録媒体により伝送されてもよい。

画像復号装置３００は、ネットワーク２００が伝送した符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを復号し、復号視点画像Ｔｄと復号デプスマップＤｄとを生成する。自由視点画像表示装置４００は、画像復号装置３００が生成した復号視点画像Ｔｄおよび復号デプスマップＤｄを用いて、任意の視点からの画像を生成する。自由視点画像表示装置４００は、液晶ディスプレイや、有機ＥＬ（electroluminescence）ディスプレイなどの表示デバイスを備え、生成した任意の視点からの画像を、該表示デバイスを用いて表示する。なお、この任意の視点からの画像は、２次元画像であってもよいし、立体画像であってもよい。

図２は、画像符号化装置１００の構成を示す概略ブロック図である。図２に示すように、画像符号化装置１００は、減算部１０１、ＤＣＴ（Discrete Cosine Transform）変換・量子化部１０２、エントロピー符号化部１０３、逆量子化・逆ＤＣＴ変換部１０４、加算部１０５、参照画像メモリ１０６、予測部１０７、減算部１０８、ベクトルメモリ１０９、予測ベクトル生成部１１０（予測ベクトル生成装置）、デプスマップ符号化部１２１、デプスマップメモリ１２２を含んで構成される。

減算部１０１は、入力された視点画像Ｔから、予測部１０７が生成した予測画像Ｐを減算し、減算結果を示す残差信号を生成する。ここで、減算とは、視点画像Ｔの画素の画素値から、予測画像Ｐの対応する画素の画素値を減ずることである。ＤＣＴ変換・量子化部１０２は、減算部１０１が生成した残差信号をＤＣＴ変換して、ＤＣＴ係数を算出する。ＤＣＴ変換・量子化部１０２は、算出したＤＣＴ係数を量子化して、量子化係数を算出する。エントロピー符号化部１０３は、ＤＣＴ変換・量子化部１０２が算出した量子化係数と、減算部１０８が算出した差分ベクトルΔｖと、予測ベクトル生成部１１０が選択したインデックスｉｄｘと、予測部１０７が選択した予測モードとをエントロピー符号化して、符号化ストリームＴｅを生成する。

逆量子化・逆ＤＣＴ変換部１０４は、ＤＣＴ変換・量子化部１０２が算出した量子化係数を逆量子化する。さらに、逆量子化・逆ＤＣＴ変換部１０４は、逆量子化した結果を逆ＤＣＴ変換して、復号残差信号を生成する。加算部１０５は、逆量子化・逆ＤＣＴ変換部１０４が生成した復号残差信号と、予測部１０７が生成した予測画像Ｐとを加算して、復号画像を生成する。参照画像メモリ１０６は、加算部１０５が生成した復号画像を、参照画像として記憶する。

予測部１０７は、視点画像Ｔの各フレームを分割したブロック毎に、参照画像メモリ１０６が記憶する参照画像を用いて、予測画像Ｐを生成する。予測部１０７は、複数の予測方式の中から１つを選択し、該選択した予測方式を用いて、予測画像Ｐを生成する。予測方式の選択方法としては、例えば、予測画像Ｐと視点画像Ｔとの差分が最も小さくなる予測方式を選択する方法があるが、これに限らず、その他の方法であってもよい。

視点画像Ｔが基準視点画像（ベースビュー（Base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測および動き予測である。また、視点画像Ｔが非基準視点画像（ノンベースビュー（Non-base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測、動き予測および視差予測である。

なお、イントラ予測は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属するフレームを用いる予測方式である。予測部１０７は、イントラ予測を選択したときは、予測画像Ｐを生成する際に用いた予測モードをエントロピー符号化部１０３に通知する。

動き予測（動き補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔのうち、対象ブロックが属するフレームとは異なるフレームを用いる予測方式である。予測部１０７は、動き予測を選択したときは、予測画像Ｐを生成する際に用いた動きベクトルＭｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、動きベクトルＭｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、ｒｅｆ＿ｉｎｄｅｘ（参照ピクチャ番号）、やＰＯＣ；Picture Order Count（ピクチャの表示順序））とを含む。

視差予測（視差補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔとは異なる視点画像Ｔのフレームのうち、対象ブロックが属するフレームと表示順序が同じ（同じＰＯＣを持つ）フレームを用いる予測方式である。予測部１０７は、視差予測を選択したときは、予測画像Ｐを生成する際に用いた視差ベクトルＤｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、視差ベクトルＤｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、ｒｅｆ＿ｉｎｄｅｘ（参照ピクチャ番号）、やｖｉｅｗ＿ｉｄ（ビュー識別子））とを含む。

また、基準視点画像は、符号化する際に、視差予測を用いることができない視点画像Ｔであり、非基準視点画像は、符号化する際に、視差予測を用いることができる視点画像Ｔである。例えば、画像符号化装置１００は、複数の視点画像Ｔのうち、最初に画像符号化装置１００に入力される視点画像Ｔを、基準視点画像とし、その他の視点画像Ｔを、非基準視点画像とする。本実施形態では、複数の視点画像Ｔに含まれる基準視点画像は１つのみであり、非基準視点画像の視差予測をする際は、その基準視点画像および既に符号化済みの非基準視点画像を参照画像とする。

減算部１０８は、予測部１０７から通知された動きベクトルＭｖまたは視差ベクトルＤｖから、予測ベクトル生成部１１０が生成した予測ベクトルＰｖを減算し、減算結果である差分ベクトルΔｖをエントロピー符号化部１０３に通知する。減算部１０８は、該動きベクトルＭｖまたは視差ベクトルＤｖに含まれていた参照画像としたフレームを示す情報を、差分ベクトルΔｖに含める。ベクトルメモリ１０９は、予測部１０７から通知された動きベクトルＭｖと視差ベクトルＤｖとを記憶する。

予測ベクトル生成部１１０は、予測部１０７が動き予測を選択して予測画像を生成したブロックに対しては、動きベクトルの予測ベクトルＰｖを生成する。予測ベクトル生成部１１０は、複数の候補ベクトルの中から選択したものを予測ベクトルＰｖとするが、この選択した候補ベクトルを示すインデックスｉｄｘをエントロピー符号化部１０３に通知する。動きベクトルの予測ベクトルＰｖの生成方法およびインデックスｉｄｘの詳細については、後述する。

また、予測ベクトル生成部１１０は、予測部１０７が視差予測を選択して予測画像を生成したブロックに対しては、視差ベクトルの予測ベクトルＰｖを生成する。予測ベクトル生成部１１０は、複数の候補ベクトルの中から選択したものを予測ベクトルＰｖとするが、この選択した候補ベクトルを示すインデックスｉｄｘをエントロピー符号化部１０３に通知する。なお、視差ベクトルの予測ベクトルＰｖの生成には、公知の生成方法を用いることができる。

デプスマップ符号化部１２１は、視点画像Ｔの各フレームに対応するデプスマップＤを符号化して、デプスマップ符号化ストリームＤｅを生成する。なお、デプスマップ符号化部１２１は、デプスマップ符号化ストリームＤｅを生成する際に、デプスマップ符号化ストリームＤｅを復号した復号デプスマップＤｄも生成する。デプスマップメモリ１２２は、デプスマップ符号化部１２１が生成した復号デプスマップＤｄを記憶する。

図３は、予測ベクトル生成部１１０の構成を示す概略ブロック図である。図３に示すように、予測ベクトル生成部１１０は、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル決定部１１５、視差ベクトル予測部１１６、スイッチ部１１７を含んで構成される。第１候補ベクトル生成部１１１は、視差ベクトル取得部１１２、動きベクトル取得部１１３を含んで構成される。

視差ベクトル取得部１１２は、対象ブロックの隣接ブロックが有する視差ベクトルＤｖを、ベクトルメモリ１０９から読み出す。なお、隣接ブロックは、対象ブロックの左側に隣接するブロックのうち、最も上側のブロックと、対象ブロックの上側に隣接するブロックのうち、最も左側のブロックと、対象ブロックの右上角で接しているブロックとの３つのブロックである。隣接ブロックは、その予測画像が視差予測により生成されたときは、視差ベクトルＤｖを有している。しかし、その他の予測方式（動き予測あるいはイントラ予測）により予測画像が生成されたときは、視差ベクトルＤｖを有さない。動きベクトルＭｖについても同様である。

動きベクトル取得部１１３は、視差ベクトル取得部１１２が取得した視差ベクトルＤｖを参照して、該視差ベクトルＤｖが示す他の視点画像におけるブロック（対応ブロックともいう）を選択し、該ブロックが有する動きベクトルＭｖをベクトルメモリ１０９から読み出す。動きベクトル取得部１１３は、読み出した動きベクトルＭｖを第１候補ベクトルとして、予測ベクトル決定部１１５に通知する。

より具体的には、上述の対応ブロックは、動きベクトル取得部１１３が取得する動きベクトルＭｖは、対象ブロックの中心点を起点にしたときに、視差ベクトル取得部１１２が取得した視差ベクトルＤｖが示す点を含むブロックである。なお、視差ベクトルＤｖが示す点の座標は、起点の座標に視差ベクトルＤｖを加算した座標である。また、対応ブロックは、対象ブロックが属するフレームと同じ表示順序の視差ベクトルＤｖが参照している別視点の視点画像のフレームに属する。

第２候補ベクトル生成部１１４は、対象ブロックの隣接ブロックが有する動きベクトルＭｖを、ベクトルメモリ１０９から読み出す。第２候補ベクトル生成部１１４は、読み出した動きベクトルＭｖを、第２候補ベクトルとして、予測ベクトル決定部１１５に通知する。本実施形態では、隣接ブロックは３つであるので、第２候補ベクトルは最大で３つであるが、その他の数であってもよい。

予測ベクトル決定部１１５は、第１候補ベクトルと、第２候補ベクトルとの中から、対象ブロックの動きベクトルとの差分が少ないものを選択し、予測ベクトルＰｖとする。予測ベクトル決定部１１５は、第１候補ベクトルと第２候補ベクトルとのうち、いずれのベクトルを予測ベクトルとしたかを示すインデックスｉｄｘを生成する。なお、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル決定部１１５は、対象ブロックの予測画像が動き予測により生成されたときのみ動作する。

視差ベクトル予測部１１６は、視差ベクトルの予測ベクトルと、インデックスｉｄｘを生成する。視差ベクトル予測部１１６による予測ベクトルの生成方法は、公知の方法を用いることができる。一例としては、視差ベクトル予測部１１６は、対象ブロックに隣接するブロックの視差ベクトルをベクトルメモリ１０９から読み出し、読み出した視差ベクトルを第３の候補ベクトルとする。また、視差ベクトル予測部１１６は、デプスマップメモリ１２２から復号デプスマップＤｄを読出し、対象ブロックの平均デプス値を算出する。視差ベクトル予測部１１６は、この平均デプス値を視差ベクトルに変換し、第４の候補ベクトルとする。なお、視差ベクトルに変換される対象ブロックのデプス値は、該ブロックの中心点のデプス値としてもよいし、該ブロックを構成する全画素のデプス値の中央値、最頻値、最小値または最大値としてもよい。

視差ベクトル予測部１１６は、第３候補ベクトルと、第４候補ベクトルとの中から、対象ブロックの視差ベクトルとの差分が少ないベクトルを選択し、予測ベクトルＰｖとする。視差ベクトル予測部１１６は、第３候補ベクトルと第４候補ベクトルとのうち、いずれのベクトルを予測ベクトルとしたかを示すインデックスｉｄｘを生成する。なお、視差ベクトル予測部１１６は、対象ブロックの予測画像が視差予測により生成されたときのみ動作する。

スイッチ部１１７は、予測ベクトルＰｖとインデックスｉｄｘとが、予測ベクトル決定部１１５あるいは視差ベクトル予測部１１６から入力されると、入力された予測ベクトルＰｖとインデックスｉｄｘとを、エントロピー符号化部１０３に通知する。

図４は、第１候補ベクトル生成部１１１の動作を説明する概念図である。図４において、画像ＮＢＶは、非基準視点画像のあるフレームである。画像ＢＶは、基準視点画像のあるフレームであり、画像ＮＢＶと同じ表示順序のフレームである。符号Ｂｏは、対象ブロックであり、符号Ａ、Ｂ、Ｃが付された矩形は、対象ブロックＢｏの隣接ブロックである。視差ベクトル取得部１１２は、対象ブロックＢｏの隣接ブロックであるブロックＡ、Ｂ、Ｃの視差ベクトルをベクトルメモリ１０９から読み出す。ここでは、ブロックＡのみが視差ベクトルＤｖ＿ａを有していたとする。

動きベクトル取得部１１３は、対象ブロックＢｏの中心Ｃｎと同じ座標の、基準視点座標における点Ｃｂを起点としたときに、視差ベクトルＤｖ＿ａが示す点を含むブロックＢｐ（対応ブロックともいう）が有する動きベクトルＭｖｃをベクトルメモリ１０９から読み出し、第１候補ベクトルとする。ここで、ブロックＢｐの予測画像が、動き予測ではなく、イントラ予測により生成されていた場合には、ブロックＢｐは動きベクトルを有していない。その場合、動きベクトル取得部１１３は、第１候補ベクトルは無いことを、予測ベクトル決定部１１５に通知する。

なお、本実施形態において、視差ベクトル取得部１１２が視差ベクトルを取得する隣接ブロックは３つであったが、これに限らない。３つを超える数でもよいし、３つ未満でもよい。また、視差ベクトルを取得する隣接するブロックの位置も、図４に示す位置でなくてもよい。例えば、対象ブロックの左側で隣接するブロックのうち、最も下に位置するブロックや、対象ブロックの上に隣接するブロックのうち、最も右に位置するブロックや、対象ブロックの左下角や左上角で接している隣接ブロックの視差ベクトルを、視差ベクトル取得部１１２が取得するようにしてもよい。また、直前に符号化した参照画像の中の対象ブロックと同じ座標のブロックの視差ベクトルを、視差ベクトル取得部１１２が取得するようにしてもよい。

図５は、第１候補ベクトル生成部１１１の動作を説明するフローチャートである。図５に示すフローチャートが示す処理は、動き予測により予測画像を生成した１つの対象ブロックに対する第１候補ベクトル生成部１１１の処理である。視差ベクトル取得部１１２は、対象ブロックの隣接ブロックの視差ベクトルをベクトルメモリ１０９から取得する（Ｓａ１）。動きベクトル取得部１１３は、隣接ブロックを左下から右上の順に一つずつ選択して、ステップＳａ３〜Ｓａ５の処理を行う（Ｓａ２、Ｓａ６）。動きベクトル取得部１１３は、ステップＳａ２で選択している隣接ブロックに視差ベクトルが在るか否かを判定する（Ｓａ３）。無いと判定したときは（Ｓａ３−Ｎｏ）、ステップＳａ４、Ｓａ５を飛ばして、ステップＳａ２に戻って、次の隣接ブロックを選択する。

一方、ステップＳａ３にて在ると判定したときは（Ｓａ３−Ｙｅｓ）、動きベクトル取得部１１３は、該隣接ブロックの視差ベクトルから、基準視点画像における対応ブロックを特定する（Ｓａ４）。動きベクトル取得部１１３は、特定した対応ブロックに動きベクトルが在るか否かを判定する（Ｓａ５）。在ると判定したときは（Ｓａ５−Ｙｅｓ）、動きベクトル取得部１１３は、該動きベクトルをベクトルメモリ１０９から取得し、第１候補ベクトルとし（Ｓａ８）、処理を終了する。

一方、ステップＳａ５にて無いと判定したときは（Ｓａ５−Ｎｏ）、ステップＳａ２に戻って、次の隣接ブロックを選択する。全ての隣接ブロックについて、ステップＳａ３〜Ｓａ５を処理したときは、動きベクトル取得部１１３は、第１候補ベクトルは無しにし（Ｓａ７）、処理を終了する。なお、ステップＳａ７にて、第１候補ベクトルを無しにする代わりに、０ベクトルを第１候補ベクトルとするようにしてもよい。

図６は、予測ベクトル生成部１１０の動作を説明するフローチャートである。予測ベクトル生成部１１０は、対象ブロックの予測画像が動き予測により生成されたか否かを判定する（Ｓｂ１）。動き予測であると判定したときは（Ｓｂ１−Ｙｅｓ）、第２候補ベクトル生成部１１４が、隣接ブロックの動きベクトルＭｖを取得し、第２候補ベクトルとする（Ｓｂ２）。次に、第１候補ベクトル生成部１１１が図５に示す処理を行い、第１候補ベクトルを決定する（Ｓｂ３）。次に、予測ベクトル決定部１１５が、第１候補ベクトル、第２候補ベクトルの中から予測ベクトルを選択する（Ｓｂ４）。予測ベクトル決定部１１５は、ステップＳｂ４における選択結果を示すインデックスｉｄｘも生成する。なお、第１候補ベクトルは１つであり、第２候補ベクトルは最大３つであるので、インデックスｉｄｘは、これらの合計４つのうちの１つを示すインデックスである。次に、スイッチ部１１７は、選択された予測ベクトルＰｖと、生成されたインデックスｉｄｘを出力し（Ｓｂ５）、処理を終了する。

また、ステップＳｂ１にて、動き予測でないと判定したときは（Ｓｂ１−Ｎｏ）、予測ベクトル生成部１１０は、対象ブロックの予測画像が視差予測により生成されたか否かを判定する（Ｓｂ６）。視差予測であると判定したときは（Ｓｂ６−Ｙｅｓ）、視差ベクトル予測部１１６が、隣接ブロックの視差ベクトルＤｖを取得し、第３候補ベクトルとする（Ｓｂ７）。次に、視差ベクトル予測部１１６は、対象ブロックのデプス値を、デプスマップメモリ１２２から読み出した復号デプスマップＤｄから抽出する。視差ベクトル予測部１１６は、対象ブロックのデプス値の平均値を、視差ベクトルに変換し、第４候補ベクトルとする（Ｓｂ８）。次に、視差ベクトル予測部１１６は、第３ベクトルと第４候補ベクトルとの中から予測ベクトルＰｖとするベクトルを１つ選択し（Ｓｂ９）、ステップＳｂ５に遷移する。なお、ステップＳｂ９において、視差ベクトル予測部１１６は、ステップＳｂ９における選択結果を示すインデックスｉｄｘも生成する。なお、第３候補ベクトルは最大３つであり、第４候補ベクトルは１つであるので、インデックスｉｄｘは、これらの合計４つのうちの１つを示すインデックスである。

また、ステップＳｂ６にて、視差予測でないと判定したときは（Ｓｂ６−Ｎｏ）、対象ブロックの予測画像は、イントラ予測により生成されているので、予測ベクトルＰｖおよびインデックスｉｄｘを生成せずに、処理を終了する。

図７は、画像復号装置３００の構成を示す概略ブロック図である。図７に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化・逆ＤＣＴ変換部３０２、加算部３０３、加算部３０４、ベクトルメモリ３０５、予測ベクトル生成部３０６（予測ベクトル生成装置）、予測部３０７、参照画像メモリ３０８、デプスマップ復号部３０９、デプスマップメモリ３１０を含んで構成される。

エントロピー復号部３０１は、図２のエントロピー符号化部１０３における符号化方式に対応する復号処理を、符号化ストリームＴｅに対して行う。エントロピー復号部３０１は、この復号処理の結果から、インデックスｉｄｘ、差分ベクトルΔｖ、量子化係数、予測モードを分離する。逆量子化・逆ＤＣＴ変換部３０２は、図２の逆量子化・逆ＤＣＴ変換部１０４と同様の処理を、エントロピー復号部３０１が分離した量子化係数に対して行い、復号残差信号を生成する。加算部３０３は、逆量子化・逆ＤＣＴ変換部３０２が生成した復号残差信号と、予測部３０７が生成した予測画像Ｐとを加算し、復号視点画像Ｔｄを生成する。

加算部３０４は、エントロピー復号部３０１が分離した差分ベクトルΔｖと、予測ベクトル生成部３０６が生成した予測ベクトルＰｖとを加算し、動きベクトルＭｖまたは視差ベクトルＤｖを生成する。加算部３０４は、生成した動きベクトルＭｖと視差ベクトルＤｖとを、ベクトルメモリ３０５に記憶させる。ベクトルメモリ３０５は、動きベクトルＭｖと視差ベクトルＤｖとを記憶する。

予測ベクトル生成部３０６は、エントロピー復号部３０１が分離したインデックスｉｄｘと、ベクトルメモリ３０５が記憶するベクトルと、デプスマップメモリ３１０が記憶する復号デプスマップＤｄとを参照して、予測ベクトルＰｖを生成する。なお、予測ベクトル生成部３０６の詳細については、後述する。

予測部３０７は、視点画像Ｔを分割したブロック各々の予測画像Ｐを生成する。予測部３０７は、各ブロックの予測画像Ｐを、図２の予測部１０７で用いたものと同じ予測方式を用いて生成する。なお、予測画像Ｐを生成する際の参照画像は、参照画像メモリ３０８から取得する。予測部１０７でイントラ予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、エントロピー復号部３０１が分離した予測モードに従ったイントラ予測を行い、予測画像Ｐを生成する。

また、予測部１０７で動き予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、ベクトルメモリ３０５が記憶している当該ブロックの動きベクトルＭｖを用いた動き予測を行い、予測画像Ｐを生成する。また、予測部１０７で視差予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、ベクトルメモリ３０５が記憶している当該ブロックの視差ベクトルＤｖを用いた視差予測を行い、予測画像Ｐを生成する。

参照画像メモリ３０８は、加算部３０３が生成した復号視点画像Ｔｄを参照画像として記憶する。デプスマップ復号部３０９は、図２のデプスマップ符号化部１２１における符号化方式に対応する復号処理を、デプスマップ符号化ストリームＤｅに対して行い、復号デプスマップＤｄを生成する。デプスマップメモリ３１０は、デプスマップ復号部３０９が生成した復号デプスマップＤｄを記憶する。

図８は、予測ベクトル生成部３０６の構成を示す概略ブロック図である。図８に示すように、予測ベクトル生成部３０６は、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル選択部３６１、視差ベクトル予測部３６２、スイッチ部３６３を含んで構成される。同図において図３の各部に対応する部分には同一の符号（１１１〜１１４）を付け、その説明を省略する。

予測ベクトル選択部３６１は、第１候補ベクトル生成部１１１が生成した第１候補ベクトルと、第２候補ベクトル生成部１１４が生成した第２候補ベクトルとの中から、インデックスｉｄｘが示すベクトルを選択する。視差ベクトル予測部３６２は、図３の視差ベクトル予測部１１６と同様にして、第３候補ベクトルと第４候補ベクトルとを生成し、これらの中からインデックスｉｄｘが示すベクトルを選択する。スイッチ部３６３は、予測方式が動き予測のブロックが対象のときは、予測ベクトル選択部３６１が選択したベクトルを予測ベクトルＰｖとして出力する。また、スイッチ部３６３は、予測方式が視差予測のブロックが対象のときは、視差ベクトル予測部３６２が選択したベクトルを予測ベクトルＰｖとして出力する。

図９は、予測ベクトル生成部３０６の動作を説明するフローチャートである。同図において図６の各部に対応する部分には同一の符号（Ｓｂ１〜Ｓｂ３、Ｓｂ６〜Ｓｂ８）を付け、その説明を省略する。予測ベクトル生成部３０６は、ステップＳｂ１の前に、エントロピー復号部３０１が分離したインデックスを取得する（Ｓｃ１）。

また、ステップＳｂ３の後、予測ベクトル選択部３６１は、ステップＳｃ１にて取得したインデックスｉｄｘに従い、第１候補ベクトルと第２候補ベクトルとの中からベクトルを１つ選択する（Ｓｃ４）。次に、スイッチ部３６３は、ステップＳｃ４にて選択されたベクトルを予測ベクトルＰｖとして出力する（Ｓｃ５）。
また、ステップＳｂ８の後、視差ベクトル予測部３６２は、ステップＳｃ１にて取得したインデックスｉｄｘに従い、第３候補ベクトルと第４候補ベクトルとの中からベクトルを１つ選択する（Ｓｃ９）。次に、スイッチ部３６３は、ステップＳｃ９にて選択されたベクトルを予測ベクトルＰｖとして出力する（Ｓｃ５）。

このように、本実施形態では、隣接ブロックの視差ベクトルを用いて、対応ブロックを特定し、該対応ブロックの動きベクトルを、動きベクトルの予測ベクトル生成に用いている。これにより、隣接ブロックが動きベクトルを有していないときにおける、動きベクトルの予測精度の劣化を防ぎ、良好な符号化効率を得ることができる。

なお、本実施形態において、予測ベクトル生成部３０６は、第１候補ベクトルおよび第２候補ベクトルの中から生成するものを、インデックスｉｄｘに従い選択し、生成したものを動きベクトルの予測ベクトルＰｖとするようにしてもよい。これにより、その他の候補ベクトルを生成する処理を省くことができる。視差ベクトルの予測ベクトルＰｖを生成する際も同様である。
また、図５において、動きベクトル取得部１１３は、対応ブロックの動きベクトルを取得する際に、隣接ブロックを左下から右上の順に処理しているが、どのような順に処理をしてもよい。

［第１の実施形態の変形例］
第１の実施形態では、第２候補ベクトル生成部１１４は、対象ブロックの隣接ブロックが有する動きベクトルを第２候補ベクトルとしたが、Ｈ．２６４と同様に、これらの中間値を第２候補ベクトルとする。この場合、第２候補ベクトルは、１つのみであるので、インデックスｉｄｘは、第１候補ベクトルであるか第２候補ベクトルのどちらが選択されて予測ベクトルＰｖとなったかを示す情報となる。

図１０は、本変形例における第２候補ベクトル生成部１１４の動作を説明するフローチャートである。なお、図６、図９のステップＳｂ２に相当する動作である。第２候補ベクトル生成部１１４は、隣接ブロックの動きベクトルを取得し、候補グループとする（Ｓｄ１）。次に、第２候補ベクトル生成部１１４は、動きベクトルの無い隣接ブロックの数だけ、ゼロベクトルを候補グループに追加する（Ｓｄ２）。これにより、隣接ブロックは３つであるので、候補グループには、３つのベクトルからなるグループとなる。次に、第２候補ベクトル生成部１１４は、候補グループを構成するベクトルのｘ軸成分、ｙ軸成分各々の中間値を取る。第２候補ベクトル生成部１１４は、該中間値を要素とするベクトルを、第２候補ベクトルとする（Ｓｄ３）。

また、視差ベクトル予測部１１６における第３候補ベクトルについても、同様にして生成するようにしてもよい。
本変形例においても、第１の実施形態と同様に、動きベクトルの予測精度の劣化を防ぎ、良好な符号化効率を得ることができる。

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第１の実施形態では、動きベクトルの予測ベクトルを決定する際には、第１候補ベクトルと第２候補ベクトルとの中から選択し、視差ベクトルの予測ベクトルを決定する際には、第３候補ベクトルと第４候補ベクトルとの中から選択していた。そして、これらの選択結果を示すインデックスｉｄｘを、符号化ストリームＴｅに含めていた。第２の実施形態では、第１候補ベクトルを、動きベクトルの予測ベクトルをし、第４候補ベクトルを視差ベクトルの予測ベクトルとする。これにより、インデックスｉｄｘが不要となる。

本実施形態における画像伝送システム１０ａは、画像符号化装置１００に変えて画像符号化装置１００ａを有し、画像復号装置３００に変えて画像復号装置３００ａを有する。図１１は、画像符号化装置１００ａの構成を示す概略ブロック図である。同図において、図２の各部に対応する部分には同一の符号（１０１、１０２、１０４〜１０９、１１１、１１２）を付し、説明を省略する。図１１に示すように、画像符号化装置１００ａは、減算部１０１、ＤＣＴ変換・量子化部１０２、エントロピー符号化部１０３ａ、逆量子化・逆ＤＣＴ変換部１０４、加算部１０５、参照画像メモリ１０６、予測部１０７、減算部１０８、ベクトルメモリ１０９、予測ベクトル生成部１１０ａ、デプスマップ符号化部１２１、デプスマップメモリ１２２を含んで構成される。

エントロピー符号化部１０３ａは、図２のエントロピー符号化部１０３と同様であるが、符号化する対象にインデックスｉｄｘを含まない点が異なる。予測ベクトル生成部１１０ａは、予測ベクトルＰｖを生成するが、図２の予測ベクトル生成部１１０とは異なりインデックスｉｄｘは生成しない。なお、予測ベクトル生成部１１０ａは、予測ベクトルＰｖを生成する際に、第２候補ベクトルおよび第３候補ベクトルを生成しない点も、予測ベクトル生成部１１０と異なる。

図１２は、予測ベクトル生成部１１０ａの構成を示す概略ブロック図である。同図において、図３の各部に対応する部分には同一の符号（１１１〜１１３）を付し、説明を省略する。図１２に示すように、予測ベクトル生成部１１０ａは、第１候補ベクトル生成部１１１、視差ベクトル予測部１１６ａ、スイッチ部１１７ａを含んで構成される。視差ベクトル予測部１１６ａは、図３の視差ベクトル予測部１１６における第４候補ベクトルを生成する。

スイッチ部１１７ａは、対象ブロックの予測画像が動き予測で生成されたときは、第１候補ベクトル生成部１１１の動きベクトル取得部１１３が生成した第１候補ベクトルを予測ベクトルＰｖとする。また、スイッチ部１１７ａは、対象ブロックの予測画像が視差予測で生成されたときは、視差ベクトル予測部１１６ａが生成した第４候補ベクトルを予測ベクトルＰｖとする。

図１３は、画像復号装置３００ａの構成を示す概略ブロック図である。同図において、図７の各部に対応する部分には同一の符号（３０２〜３０５、３０７〜３１０）を付し、説明を省略する。図１３に示すように、画像復号装置３００ａは、エントロピー復号部３０１ａ、逆量子化・逆ＤＣＴ変換部３０２、加算部３０３、加算部３０４、ベクトルメモリ３０５、予測ベクトル生成部１１０ａ、予測部３０７、参照画像メモリ３０８、デプスマップ復号部３０９、デプスマップメモリ３１０を含んで構成される。

エントロピー復号部３０１ａは、図７のエントロピー復号部３０１と同様に、符号化ストリームＴｅに対して復号処理を行う。ただし、本実施形態における符号化ストリームＴｅがインデックスｉｄｘを含んでいないため、エントロピー復号部３０１ａは、インデックスｉｄｘの分離を行わない点が図７のエントロピー復号部３０１とは異なる。予測ベクトル生成部１１０ａは、図１１の予測ベクトル生成部１１０ａと同様である。

本実施形態においても、第１の実施形態と同様に、動きベクトルの予測精度の劣化を防ぎ、良好な符号化効率を得ることができる。

［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。第１の実施形態では、第１候補ベクトルを生成する際に、隣接ブロックを左下から右上の順に処理して、最初に得られた動きベクトルを第１候補ベクトルとした。本実施形態では、デプス値が対象ブロックに近い隣接ブロックから順に処理して、最初に得られた動きベクトルを第１候補ベクトルとする。

本実施形態における画像伝送システム１０ｂは、画像符号化装置１００に変えて画像符号化装置１００ｂを有し、画像復号装置３００に変えて画像復号装置３００ｂを有する。画像符号化装置１００ｂは、予測ベクトル生成部１１０に変えて予測ベクトル生成部１１０ｂを有する点のみが、画像符号化装置１００とは異なる。また、画像復号装置３００ｂは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ｂを有する点のみが、画像復号装置３００とは異なる。

図１４は、予測ベクトル生成部１１０ｂの構成を示す概略ブロック図である。予測ベクトル生成部１１０ｂは、動きベクトル取得部１１３に変えて動きベクトル取得部１１３ｂを有する点のみが、予測ベクトル生成部１１０とは異なる。動きベクトル取得部１１３ｂは、デプス値が対象ブロックのデプス値に近い隣接ブロックから順に処理し、最初に取得した動きベクトルを、第１候補ベクトルとする。なお、動きベクトル取得部１１３ｂは、対象ブロックおよび隣接ブロックのデプス値を、デプスマップメモリ１２２が記憶する復号デプスマップＤｄから抽出する。各ブロックのデプス値は、該ブロックの中心点のデプス値としてもよいし、該ブロックを構成する全画素のデプス値の平均値、中央値、最頻値、最小値または最大値としてもよい。

図１５、図１６を用いて、動きベクトル取得部１１３ｂの動作を説明する。図１５は、非基準画像のフレームの例ＮＢＶ１を示す図である。図１５において、Ｂｏ１は対象ブロックであり、Ｃｎ１は対象ブロックＢｌの中心点であり、Ａ１、Ｂ１、Ｃ１は、隣接ブロックである。
図１６は、フレームＮＢＶ１に対応するデプスマップＤｍ１を示す図である。図１６において、ブロックＤｏ１は、デプスマップＤｍ１中の、対象ブロックＢｏ１に対応するブロックである。点Ｄｃｎは、デプスマップＤｍ１中の、中心点Ｃｎ１に対応する点である。Ｄａ、Ｄｂ、Ｄｃは、デプスマップＤｍ１中の、隣接ブロックＡ１、Ｂ１、Ｃ１に対応するブロックである。

動きベクトル取得部１１３ｂは、ブロックＤａ、Ｄｂ、Ｄｃ各々のデプス値と、ブロックＤｏ１のデプス値とを比較し、差が小さいブロックに対応する隣接ブロックから順に第１候補ベクトルとすべきベクトルの検出処理を行う。すなわち、動きベクトル取得部１１３ｂは、対象ブロックのデプス値に近いデプス値を有する隣接ブロックの視差ベクトルを優先する。

図１７は、第１候補ベクトル生成部１１１ｂの動作を説明するフローチャートである。同図において、ステップＳａ１、Ｓａ３〜Ｓａ８は、図５と同様なので説明を省略する。なお、ステップＳａ３〜Ｓａ８の処理は、本実施形態では、動きベクトル取得部１１３ｂが行う。ステップＳａ１の次に、動きベクトル取得部１１３ｂは、対象ブロックのデプス値と、隣接ブロック各々のデプス値との差分絶対値を算出する（Ｓｅ１）。次に、動きベクトル取得部１１３ｂは、隣接ブロックを、差分絶対値の小さいものから順位に一つずる選択して、ステップＳａ３〜Ｓａ５の処理を行う（Ｓｅ２、Ｓａ６）。

図１８は、予測ベクトル生成部３０６ｂの構成を示す概略ブロック図である。予測ベクトル生成部３０６ｂは、動きベクトル取得部１１３に変えて動きベクトル取得部１１３ｂを有する点のみが、予測ベクトル生成部３０６とは異なる。動きベクトル取得部１１３ｂは、図１７の動きベクトル取得部１１３ｂと同様である。

一般に、同じ被写体であれば、デプス値は近い値となると考えられる。本実施形態では、上述のように、第１候補ベクトルを生成する際に、対象ブロックのデプス値と近いデプス値を持つ隣接ブロックから順に処理をしているので、隣接ブロックの視差ベクトルが示す対象ブロックも同じ被写体になる確率が高くなる。また、同じ被写体であれば、動きベクトルも近い値になると考えられる。よって、第１候補ベクトルは、対象ブロックの動きベクトルに近い値となる確率が高くなるので、動きベクトルの予測精度を良好なものとすることができる。

［第３の実施形態の変形例］
第３の実施形態では、動きベクトル取得部１１３ｂは、対象ブロックのデプス値と近いデプス値を持つ隣接ブロックから順に処理をした。本変形例では、動きベクトル取得部１１３ｂは、対象ブロックのデプス値と近いデプス値を有する対応ブロックの動きベクトルを優先して取得する。

図１９、図２０を用いて、本変形例における動きベクトル取得部１１３ｂの動作を説明する。図１９は、非基準画像のフレームの例ＮＢＶ２を示す図である。図１９において、Ｂｏ２は対象ブロックであり、Ｃｎ２は対象ブロックＢｌの中心点であり、Ａ２、Ｂ２、Ｃ２は、隣接ブロックである。また、視差ベクトルＤｖ＿ａ２、Ｄｖ＿ｂ２、Ｄｖ＿ｃ２は、それぞれ隣接ブロックＡ２、Ｂ１、Ｃ２の視差ベクトルである。

図２０は、フレームＮＢＶ２に対応する基準視点画像のフレームＢＶ２を示す図である。なお、ここで、フレームＮＢＶ２に対応する基準視点画像のフレームＢＶ２とは、これら２つのフレームが同じ表示順序のフレームであることをいう。図２０において、Ｃｂ２は点Ｃｎ２に対応するフレームＢＶ２中の点である。Ｃｂａ、Ｃｂｂ、Ｃｂｃは、対象ブロックＢｏ２の対応ブロックであり、それぞれ視差ベクトルＤｖ＿ａ２、Ｄｖ＿ｂ２、Ｄｖ＿ｃ２に基づく対応ブロックである。Ｍｖ＿ａ２、Ｍｖ＿ｂ２、Ｍｖ＿ｃ２は、それぞれ対応ブロックＣｂａ、Ｃｂｂ、Ｃｂｃの動きベクトルである。

動きベクトル取得部１１３ｂは、対象ブロックＢｏ２のデプス値Ｄ（Ｃｎ２）を取得する。動きベクトル取得部１１３ｂは、点Ｃｂ２を起点としたときに、視差ベクトルＤｖ＿ａ２、Ｄｖ＿ｂ２、Ｄｖ＿ｃ２が示す点のデプス値Ｄ（Ｃｂ２，Ｄｖ＿ａ２）、Ｄ（Ｃｂ２，Ｄｖ＿ｂ２）、Ｄ（Ｃｂ２，Ｄｖ＿ｃ１）を取得する。そして、これらの視差ベクトルに基づく対応ブロックが有する動きベクトルのうち、デプス値がデプス値Ｄ（Ｃｎ２）に最も近いものに対応する動きベクトルを第１候補ベクトルとする。なお、視差ベクトルＤｖ＿ａ２、Ｄｖ＿ｂ２、Ｄｖ＿ｃ２が示す点のデプス値でなく、該点を含む対応ブロックのデプス値を用いるようにしてもよい。

図２１は、本変形例における第１候補ベクトル生成部１１１ｂの動作を説明するフローチャートである。同図において、ステップＳａ１〜Ｓａ４、Ｓａ６、Ｓａ７は、図５と同様なので説明を省略する。なお、ステップＳａ２以降の処理は、本変形例では、動きベクトル取得部１１３ｂが行う。ステップＳａ４の次に、ステップＳａ５と同様に、動きベクトル取得部１１３ｂは、特定した対応ブロックに動きベクトルが在るか否かを判定する。在ると判定したときは（Ｓｆ５−Ｙｅｓ）、動きベクトル取得部１１３ｂは、対象ブロックのデプス値と、視差ベクトルが示す領域のデプス値との差分絶対値を算出し（Ｓｆ６）、ステップＳａ６に遷移する。また、ステップＳｆ５にて無いと判定したときは（Ｓｆ５−Ｎｏ）、ステップＳａ６に遷移する。

ステップＳａ６の次に、動きベクトル取得部１１３ｂは、差分絶対値を算出した回数が「０」であるか否かを判定する（Ｓｆ７）。０回であると判定したときは（Ｓｆ７−Ｙｅｓ）、ステップＳａ７に遷移する。また、ステップＳｆ７にて、０回ではないと判定したときは（Ｓｆ−Ｎｏ）、動きベクトル取得部１１３ｂは、差分絶対値が最小となった視差ベクトルに基づく対応ブロックの動きベクトルを第１候補ベクトルにし（Ｓｆ８）、処理を終了する。

このようにするので、本変形例でも、第３の実施形態と同様に動きベクトルの予測精度を良好なものとすることができる。
なお、第３の実施形態およびその変形例において、ブロックのデプス値として、該ブロックの中心点のデプス値を用いてもよいし、ブロックを構成する全画素のデプス値の平均値、中央値、最頻値、最小値または最大値を用いてもよい。

［各実施形態の変形例］
上述の各実施形態およびそれらの変形例では、動きベクトル取得部１１３、１１３ｂ（以降、動きベクトル取得部１１３などという）は、対応ブロックの動きベクトルを取得しているが、対応ブロックにイントラ予測が適用されている場合など、対応ブロックが動きベクトルを有していないときは、対応ブロックの隣接ブロック（以降、周辺ブロックという）から動きベクトルを取得するようにしてもよい。

図２２は、基準視点画像のフレームの例ＢＶ３を示す図である。点Ｃｂ３は、対象ブロックの中心点に対応するフレームＢＶ３における点である。視差ベクトルＤｖ＿ａ３は、隣接ブロックの視差ベクトルである。対応ブロックＣｂａ３は、視差ベクトルＤｖ＿ａ３に基づく対応ブロックである。周辺ブロックＣＡ３、ＣＢ３、ＣＣ３は、対応ブロックＣｂａ３の隣接ブロックである。動きベクトルＭｖ＿ｃａ３は、周辺ブロックＣＡ３の動きベクトルである。動きベクトル取得部１１３などは、対応ブロックＣｂａ３が動きベクトルを有していないときに、周辺ブロックＣＡ３、ＣＢ３、ＣＣ３を左下から右上の順に、探索し、最初に検出した動きベクトルを第１候補ベクトルにする。

図２３は、本変形例における動きベクトル取得部１１３の動作を説明するフローチャートである。同図において、図５に対応する部分には同一の符号（Ｓａ１〜Ｓａ８）を付し、説明を省略する。ステップＳａ５にて、対応ブロックに動きベクトルはないと判定したときは（Ｓａ５−Ｎｏ）、動きベクトル取得部１１３は、周辺ブロックに動きベクトルが在るか否かを判定する（Ｓｇ５）。動きベクトルがないと判定したときは（Ｓｇ５−Ｎｏ）、ステップＳａ６に遷移する。また、ステップＳｇ５にて、動きベクトルが在ると判定したときは（Ｓｇ５−Ｙｅｓ）、動きベクトル取得部１１３は、該周辺ブロックの動きベクトルを取得し、第１候補ベクトルにする（Ｓｇ８）。そして、処理を終了する。

動きベクトル取得部１１３ｂにおいても、図２３と同様に、周辺ブロックの動きベクトルを取得する処理を追加することができる。
なお、動きベクトル取得部１１３などは、対応ブロックが動きベクトルを有さないときに、その周辺ブロックの動きベクトルを取得している。しかし、１つの対応ブロックが動きベクトルを有さないときではなく、全ての対応ブロックが動きベクトルを有さないときに、対応ブロックの周辺ブロックの動きベクトルを取得するようにしてもよい。

このようにすることで、対応ブロックが動きベクトルを有していなくても、第１候補ベクトルを生成できるので、動きベクトルの予測精度の劣化を防ぎ、良好な符号化効率を得ることができる。

なお、第１の実施形態において、動きベクトルの予測ベクトルを決定する際に、第１候補ベクトルと第２候補ベクトルとのｘ軸成分、ｙ軸成分各々の中間値を取り、予測ベクトルとするようにしてもよい。視差ベクトルの予測ベクトルを決定する際も同様に、第３候補ベクトルと第４候補ベクトルとのｘ軸成分、ｙ軸成分各々の中間値を取り、予測ベクトルとするようにしてもよい。これにより、第２の実施形態と同様に、インデックスｉｄｘが不要となる。

また、図１における画像符号化装置１００、画像復号装置３００や、画像符号化装置１００ａ、１００ｂ、画像復号装置３００ａ、３００ｂ各々の機能あるいはそれらの一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各装置を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、図１における画像符号化装置１００、画像復号装置３００や、画像符号化装置１００ａ、１００ｂ、画像復号装置３００ａ、３００ｂの一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。各装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０、１０ａ、１０ｂ…画像伝送システム
１００、１００ａ、１００ｂ…画像符号化装置
１０１…減算部
１０２…ＤＣＴ変換・量子化部
１０３、１０３ａ…エントロピー符号化部
１０４…逆量子化・逆ＤＣＴ変換部
１０５…加算部
１０６…参照画像メモリ
１０７…予測部
１０８…減算部
１０９…ベクトルメモリ
１１０、１１０ａ、１１０ｂ…予測ベクトル生成部
１１１、１１１ｂ…第１候補ベクトル生成部
１１２…視差ベクトル取得部
１１３、１１３ｂ…動きベクトル取得部
１１４…第２候補ベクトル生成部
１１５…予測ベクトル決定部
１１６、１１６ａ…視差ベクトル予測部
１１７、１１７ａ…スイッチ部
１２１…デプスマップ符号化部
１２２…デプスマップメモリ
２００…ネットワーク
３００、３００ａ…画像復号装置
３０１、３０１ａ…エントロピー復号部
３０２…逆量子化・逆ＤＣＴ変換部
３０３…加算部
３０４…加算部
３０５…ベクトルメモリ
３０６、３０６ｂ…予測ベクトル生成部
３０７…予測部
３０８…参照画像メモリ
３０９…デプスマップ復号部
３１０…デプスマップメモリ
３６１…予測ベクトル選択部
３６２…視差ベクトル予測部
３６３…スイッチ部
４００…自由視点画像表示装置

Claims (9)

1. 非基準視点画像における対象ブロックの動きベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、
   前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する視差ベクトル取得部と、
   前記取得した視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する動きベクトル取得部と、
   前記動きベクトル取得部が取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する予測ベクトル決定部と
   を具備することを特徴とする予測ベクトル生成装置。
2. 前記動きベクトル取得部が選択するブロックは、前記対象ブロックを起点にしたときに、前記視差ベクトル取得部が取得した視差ベクトルが示す点を含むブロックであることを特徴とする請求項１に記載の予測ベクトル生成装置。
3. 前記動きベクトル取得部は、前記視差ベクトルが示す点を含むブロックが動きベクトルを有していないときは、該ブロックの隣接ブロックに関する動きベクトルを取得することを特徴とする請求項２に記載の予測ベクトル生成装置。
4. 前記動きベクトル取得部は、前記視差ベクトル取得部が複数の視差ベクトルを取得したときは、前記対象ブロックのデプス値に近いデプス値を有する前記隣接ブロックの視差ベクトルを優先することを特徴とする請求項１に記載の予測ベクトル生成装置。
5. 前記動きベクトル取得部は、前記視差ベクトル取得部が複数の視差ベクトルを取得したときは、前記複数の視差ベクトル各々に対応する他の視点画像におけるブロックに関する動きベクトルのうち、前記対象ブロックのデプス値に近いデプス値を有するブロックに関する動きベクトルを優先して取得することを特徴とする請求項１に記載の予測ベクトル生成装置。
6. 請求項１から請求項５のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置。
7. 請求項１から請求項５のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置。
8. 非基準視点画像における対象ブロックの動きベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、
   前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第１の過程と、
   前記取得した視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する第２の過程と、
   前記第２の過程にて取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する第３の過程と
   を有することを特徴とする予測ベクトル生成方法。
9. コンピュータを、
   非基準視点画像における対象ブロックの隣接ブロックに関する視差ベクトルを取得する視差ベクトル取得部、
   前記視差ベクトルを参照して、他の視点画像におけるブロックを選択し、該ブロックに関する動きベクトルを取得する動きベクトル取得部、
   前記動きベクトル取得部が取得した動きベクトルを用いて、前記対象ブロックの動きベクトルの予測ベクトルを決定する予測ベクトル決定部
   として機能させるためのプログラム。

Images