JP2015019204A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにする。【解決手段】奥行き生成部は、カレントフレームの画像とカレントフレームより前のフレームの画像とに基づいて、前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、カレントフレームの奥行き画像として生成する。本開示は、例えば、複数の視点のうちの基準となる１つの視点である基準視点の画像と基準視点以外の視点である周辺視点の画像とを用いて基準視点の奥行き画像を生成する画像処理装置等に適用することができる。【選択図】図１

Description

本開示は、画像処理装置および画像処理方法に関し、特に、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにした画像処理装置および画像処理方法に関する。

複数の視点の画像を用いて生成される画像の被写体の奥行き方向の位置を表す奥行き画像を用いた画像認識により、人間の腕や手、指などの動きを高精度に検出し、その動きを様々なアプリケーションのユーザーインターフェースとして利用する技術が提案されている。

このような技術では、高精度な奥行き画像が必要とされるため、画素単位よりもさらに細かいサブ画素単位で奥行き方向の位置を検出することが望ましい。サブ画素単位で奥行き方向の位置を検出する方法としては、例えば、複数の視点の画像を線形補間などによって疑似的に高解像度化し、高解像度化後の複数の視点の画像を用いて奥行き方向の位置を検出する方法がある。

また、画素単位で検出された奥行き方向の位置を表す関数に基づいて、サブ画素単位の奥行き方向の位置を内挿する方法もある。さらに、位相限定相関法によりサブ画素単位で奥行き方向の位置を検出する方法もある（例えば、特許文献１参照）。

しかしながら、サブ画素単位で奥行き方向の位置を検出する場合、画素単位で奥行き方向の位置を検出する場合に比べて計算量が増加する。従って、サブ画素単位の奥行き方向の位置の検出が画面全体に対して行われる場合、検出時間が長くなり、高フレームレートで奥行き画像を生成することはできない。よって、上述した技術において、人間の腕や手、指などの動きをユーザーインターフェースとして十分に利用することは難しい。

一方、動きベクトルを利用して、動きベクトルが大きい領域の被写体の奥行き方向の位置は手前側の位置であり、動きベクトルが小さい領域の被写体の奥行き方向の位置は奥側の位置であるとして、容易に奥行き画像を生成する方法が提案されている(例えば、特許文献２および特許文献３参照)。

特開２０１３−１９８０１号公報 特開２０００−２６１８２８号公報 特開２０１２−１０９７８８号公報

上述したように、サブ画素単位の奥行き方向の位置の検出が画面全体に対して行われる場合、検出時間が長くなる。従って、奥行き方向の位置の検出を画面の少なくとも一部に対して行わないようにすることで、高速に奥行き画像を生成することが望まれている。

本開示は、このような状況に鑑みてなされたものであり、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができるようにするものである。

本開示の一側面の画像処理装置は、カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部を備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像が、前記カレントフレームの奥行き画像として生成される。

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の一側面によれば、前のフレームの奥行き画像を用いて高速に奥行き画像を生成することができる。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 予測生成部による予測奥行き画像の生成について説明する図である。 図１の画像処理装置の奥行き画像生成処理を説明するフローチャートである。 図３の生成処理の詳細を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 図５の奥行き生成部により設定される探索範囲を説明する図である。 図５の奥行き生成部の生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 図８の奥行き生成部８１の生成処理を説明するフローチャートである。 動き量と探索範囲のサイズの関係の例を示す図である。 本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 前フレームと現在のフレームの基準視点の画像の差分の例を示す図である。 奥行き値を生成する頻度の例を示す図である。 図１１の画像処理装置の奥行き画像生成処理を説明するフローチャートである。 図１４の生成処理の詳細を説明するフローチャートである。 第１乃至第４実施の形態の処理をまとめた表を示す図である。 本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 復号装置の一実施の形態の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。

＜第１実施の形態＞
（本開示を適用した画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、基準画像取得部１１、周辺画像取得部１２、検出部１３、フレームメモリ１４、予測生成部１５、および奥行き生成部１６により構成される。画像処理装置１０は、複数の視点の画像を用いて、それらの視点のうちの基準となる１つの視点である基準視点のサブ画素単位の奥行き画像を生成する。

具体的には、画像処理装置１０の基準画像取得部１１は、現在のフレーム（カレントフレーム）の基準視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１３と奥行き生成部１６に供給する。

周辺画像取得部１２は、現在のフレームの基準視点以外の視点である周辺視点の画像を取得する。本明細書では、説明を簡単にするため、周辺視点の数は１つであるものとするが、複数であってもよい。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１６に供給する。

検出部１３は、基準画像取得部１１から供給される現在のフレームの基準視点の画像を保持する。検出部１３は、保持している現在のフレームより１つ前のフレームである前フレームの基準視点の画像と現在のフレームの基準視点の画像とに基づいて、フレーム間の変化を表す情報としての動きベクトルを検出する。具体的には、検出部１３は、前フレームの基準視点の画像と現在のフレームの基準視点とに基づいて、ブロックマッチング法などにより、現在のフレームの基準視点の画像の各画素の動きベクトルを検出する。検出部１３は、動きベクトルを予測生成部１５に供給する。

フレームメモリ１４は、奥行き生成部１６から供給される基準視点のサブ画素単位の奥行き画像を１フレーム分保持する。フレームメモリ１４は、保持している前フレームのサブ画素単位の奥行き画像を読み出し、予測生成部１５に供給する。

予測生成部１５は、検出部１３から供給される動きベクトルに基づいて、フレームメモリ１４から供給される前フレームの奥行き画像の各サブ画素の画素値を移動させ、現在のフレームの基準視点の奥行き画像のサブ画素の画素値の予測値とする。これにより、予測生成部１５は、現在のフレームの基準視点の奥行き画像の各サブ画素の画素値の予測値からなる予測奥行き画像を生成する。

このようにして生成された予測奥行き画像には、現在のフレームの基準視点の画像には存在するが、前フレームの基準視点の画像には存在しないオクルージョン領域が発生する。予測奥行き画像のオクルージョン領域には画素値は存在しない。予測生成部１５は、予測奥行き画像と動きベクトルを奥行き生成部１６に供給する。

奥行き生成部１６は、基準画像取得部１１からの基準視点の画像と、周辺画像取得部１２からの周辺視点の画像とを用いて、予測奥行き画像内の画素値が存在しないオクルージョン領域の被写体の奥行き方向の位置を表す奥行き値を画素単位で生成する。

具体的には、奥行き生成部１６は、基準視点の画像のオクルージョン領域の各画素に対して、その画素を中心とした周辺視点の画像の所定の範囲を探索範囲に設定する。奥行き生成部１６は、オクルージョン領域の各画素に対して探索範囲内の画素とのマッチングを行い、オクルージョン領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。

また、奥行き生成部１６は、予測生成部１５から供給される動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。奥行き生成部１６は、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。

奥行き生成部１６は、予測奥行き画像から動きがある領域のサブ画素単位の画素値を抽出し、その画素値に基づいて動きがある領域の画素単位の奥行き値を生成する。奥行き生成部１６は、オクルージョン領域と動きがある領域の画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。

奥行き生成部１６は、以上のようにして得られた動きがない領域、オクルージョン領域、および動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部１６は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。

（予測奥行き画像の生成について）
図２は、図１の予測生成部１５による予測奥行き画像の生成について説明する図である。

図２の例では、基準視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。

この場合、現在のフレームの基準視点の各画素の動きベクトルは、図２の中央に矢印で示すように、バスケットボールの領域では右上から左下の自分の画素へ向かうベクトルであり、バスケットボール以外の領域では０である。

従って、予測生成部１５は、前フレームの奥行き画像のバスケットボールの領域内のサブ画素３１の画素値を、動きベクトルに基づいて左下へ移動する。そして、予測生成部１５は、サブ画素３１の画素値を、現在のフレームの予測奥行き画像のサブ画素３１と同一の位置のサブ画素４１の左下のサブ画素４２の画素値とする。バスケットボールの領域内の他のサブ画素についても同様である。

また、予測生成部１５は、前フレームの奥行き画像のバスケットボールの領域外の領域内のサブ画素３２の奥行き値を、現在のフレームの予測奥行き画像のサブ画素３２と同一の位置のサブ画素４３の画素値とする。バスケットボールの領域外の領域内の他のサブ画素についても同様である。

その結果、現在のフレームでバスケットボールの領域外の領域であるが、前フレームでバスケットボールの領域であったオクルージョン領域４４では、予測奥行き画像の画素値は生成されない。

（画像処理装置の処理の説明）
図３は、図１の画像処理装置１０の奥行き画像生成処理を説明するフローチャートである。

図３のステップＳ１１において、画像処理装置１０の基準画像取得部１１は、現在のフレームの基準視点の画像を取得し、周辺画像取得部１２は、現在のフレームの周辺視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１３に供給して保持させるとともに、奥行き生成部１６に供給する。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１６に供給する。

ステップＳ１２において、検出部１３は、保持している前フレームの基準視点の画像と、基準画像取得部１１からの現在のフレームの基準視点の画像とを比較し、現在のフレームの基準視点の画像の各画素の動きベクトルを検出する。検出部１３は、動きベクトルを予測生成部１５に供給する。

ステップＳ１３において、フレームメモリ１４は、保持している前フレームの基準視点のサブ画素単位の奥行き画像を読み出し、予測生成部１５に供給する。

ステップＳ１４において、予測生成部１５は、検出部１３から供給される動きベクトルと、フレームメモリ１４から供給される前フレームの奥行き画像とに基づいて、図２で説明したように、現在のフレームの基準視点の予測奥行き画像を生成する。予測生成部１５は、予測奥行き画像と動きベクトルを奥行き生成部１６に供給する。

ステップＳ１５において、奥行き生成部１６は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行う。この生成処理の詳細は、後述する図４を参照して説明する。

ステップＳ１６において、奥行き生成部１６は、生成処理により生成された現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給して保持させる。そして、処理は終了する。

図４は、図３のステップＳ１５の生成処理の詳細を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。

図４のステップＳ３１において、奥行き生成部１６は、予測生成部１５から供給される予測奥行き画像内に処理対象の画素の画素値が存在するかどうかを判定する。ステップＳ３１で画素値が存在すると判定された場合、即ち処理対象の画素がオクルージョン領域外に存在する場合、処理はステップＳ３２に進む。

ステップＳ３２において、奥行き生成部１６は、予測生成部１５から供給される処理対象の画素の動きベクトルの動き量が第１の閾値(例えば、０)より大きいかどうかを判定する。

ステップＳ３２で動き量が第１の閾値より大きいと判定された場合、奥行き生成部１６は、処理対象の画素が、動きがある領域の画素であると判断する。そして、ステップＳ３３において、奥行き生成部１６は、予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、その画素値に基づいて処理対象の画素の画素単位の奥行き値を生成する。そして処理はステップＳ３５に進む。

一方、ステップＳ３１で画素値が存在しないと判定された場合、即ち処理対象の画素がオクルージョン領域内に存在する場合、処理はステップＳ３４に進む。

ステップＳ３４において、奥行き生成部１６は、基準画像取得部１１からの基準視点の画像と、周辺画像取得部１２からの周辺視点の画像とを用いて、処理対象の画素の奥行き値を画素単位で生成する。そして、処理はステップＳ３５に進む。

ステップＳ３５において、奥行き生成部１６は、ステップＳ３３またはステップＳ３４において生成された画素単位の奥行き値に基づいて、内挿等によりサブ画素単位の奥行き値を生成する。そして処理は図３のステップＳ１５に戻り、処理はステップＳ１６に進む。

また、ステップＳ３２で動き量が第１の閾値以下であると判定された場合、奥行き生成部１６は、処理対象の画素が、動きがない領域の画素であると判断する。そして、ステップＳ３６において、奥行き生成部１６は、予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、処理対象の画素のサブ画素単位の奥行き値とする。そして処理は図３のステップＳ１５に戻り、処理はステップＳ１６に進む。

以上のように、画像処理装置１０は、現在のフレームの画像と前フレームの画像に基づいて、動きがない領域について、前フレームの奥行き値を現在のフレームの奥行き値として生成する。従って、動きがない領域の奥行き値を生成する必要がなく、高速に奥行き画像を生成することができる。

また、画像処理装置１０は、動きがある領域について、前フレームの奥行き値に基づいて現在のフレームの画素単位の奥行き値を生成する。従って、動きがある領域の画素単位の奥行き値を検出する必要がなく、より高速に奥行き画像を生成することができる。

＜第２実施の形態＞
（本開示を適用した画像処理装置の第２実施の形態の構成例）
図５は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図５の画像処理装置６０の構成は、奥行き生成部１６の代わりに奥行き生成部６１が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置６０は、動きがある領域について、現在のフレームの画素単位の奥行き値を前フレームの奥行き値から生成するのではなく、前フレームの奥行き値に基づいて探索範囲を限定する。

具体的には、画像処理装置６０の奥行き生成部６１は、奥行き生成部１６と同様に、基準視点の画像と周辺視点の画像とを用いて、オクルージョン領域の奥行き値を画素単位で生成する。また、奥行き生成部６１は、奥行き生成部１６と同様に、動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。

奥行き生成部６１は、予測奥行き画像から動きがある領域のサブ画素単位の画素値を抽出する。奥行き生成部６１は、動きがある領域の各画素に対して、その画素の予測値に基づく、周辺視点の画像のオクルージョン領域についての探索範囲のサイズである通常サイズより小さいサイズの範囲を、探索範囲に設定する。奥行き生成部６１は、動きがある領域の各画素に対して探索範囲内の画素とのマッチングを行い、動きがある領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。

奥行き生成部６１は、オクルージョン領域と動きがある領域の画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。奥行き生成部６１は、奥行き生成部１６と同様に、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。

奥行き生成部６１は、以上のようにして得られた動きがない領域、オクルージョン領域、および動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部６１は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。

（探索範囲の説明）
図６は、図５の奥行き生成部６１により設定される探索範囲を説明する図である。

図６の例では、基準視点および周辺視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。

この場合、現在のフレームの画像のバスケットボールの領域は動きがある領域である。この動きがある領域内の画素７１の探索範囲としては、その画素７１を中心とした周辺視点の画像の通常サイズの範囲７５ではなく、画素７１の画素値に基づく通常サイズより小さいサイズの範囲７６が設定される。範囲７６は、例えば、画素７１に対して画素７１の予測値に対応する水平方向の距離だけ離れた位置を中心とした通常サイズより小さいサイズの範囲である。

また、現在のフレームでバスケットボールの領域以外の領域であるが、前フレームでバスケットボールの領域であった領域は、オクルージョン領域７２である。このオクルージョン領域７２の画素７３の探索範囲としては、その画素７３を中心とした周辺視点の画像の通常サイズの範囲７７である。

現在のフレームと前フレームの両方でバスケットボールの領域以外の領域である領域内の画素７４については、動きベクトルが０であるため、探索範囲は設定されず、画素７４の奥行き値は生成されない。画素７４の奥行き値は、現在のフレームの予測奥行き画像の画素７４と同一の位置のサブ画素の画素値とされる。

（画像処理装置の処理の説明）
図５の画像処理装置６０の奥行き画像生成処理は、ステップＳ１５の生成処理を除いて図３の奥行き画像生成処理と同一である。従って、以下では、生成処理についてのみ説明する。

図７は、画像処理装置６０の奥行き生成部６１（図５）の生成処理を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。

図７のステップＳ５１およびＳ５２の処理は、図４のステップＳ３１およびＳ３２の処理と同一であるので、説明は省略する。

ステップＳ５３において、奥行き生成部６１は、予測奥行き画像内の処理対象の画素のサブ画素単位の画素値に基づく通常サイズより小さいサイズの周辺視点の画像の探索範囲内の画素と処理対象の画素とのマッチングを行う。そして、奥行き生成部６１は、処理対象の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成し、処理をステップＳ５５に進める。

一方、ステップＳ５１で画素値が存在しないと判定された場合、即ち処理対象の画素がオクルージョン領域内に存在する場合、処理はステップＳ５４に進む。ステップＳ５４において、奥行き生成部６１は、通常サイズの周辺視点の画像の探索範囲内の画素と処理対象の画素とのマッチングを行う。そして、奥行き生成部６１は、処理対象の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成し、処理をステップＳ５５に進める。

また、ステップＳ５２で動き量が第１の閾値以下であると判定された場合、奥行き生成部６１は、処理対象の画素が、動きがない領域の画素であると判断する。そして、処理はステップＳ５６に進む。

ステップＳ５５およびＳ５６の処理は、図４のステップＳ３５およびＳ３６の処理と同様であるので、説明は省略する。

以上のように、画像処理装置６０は、動きがある領域について、現在のフレームの画素単位の奥行き値を生成する際の探索範囲を、予測値に基づく通常サイズより小さいサイズの範囲に限定する。従って、動きがある領域の画素単位の奥行き値の生成時の計算量が軽減され、より高速に奥行き画像を生成することができる。

＜第３実施の形態＞
（本開示を適用した画像処理装置の第３実施の形態の構成例）
図８は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

図８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図８の画像処理装置８０の構成は、奥行き生成部１６の代わりに奥行き生成部８１が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置８０は、小さい動きがある領域についてのみ、前フレームの奥行き値に基づいて探索範囲を限定する。

具体的には、画像処理装置８０の奥行き生成部８１は、奥行き生成部１６と同様に、動きベクトルに基づいて、基準視点の画像のオクルージョン領域以外の領域を、動きがある領域と動きがない領域に分割する。奥行き生成部８１は、動きベクトルに基づいて、動きがある領域を、さらに、小さい動きがある領域と大きい動きがある領域に分割する。

奥行き生成部８１は、オクルージョン領域と大きい動きがある領域について、基準視点の画像と周辺視点の画像とを用いて、通常サイズの探索範囲でマッチングを行うことにより、奥行き値を画素単位で生成する。

奥行き生成部８１は、予測奥行き画像から小さい動きがある領域のサブ画素単位の画素値を抽出する。奥行き生成部８１は、小さい動きがある領域の各画素に対して、その画素の予測値に基づく周辺視点の画像の通常サイズより小さいサイズの範囲を、探索範囲に設定する。奥行き生成部８１は、小さい動きがある領域の各画素に対して探索範囲内の画素とのマッチングを行い、小さい動きがある領域の画素と最も類似度の高い探索範囲内の画素との距離を奥行き値として生成する。

奥行き生成部８１は、オクルージョン領域、大きい動きがある領域、および小さい動きがある領域の画素単位の奥行き値に基づいて、内挿等によりサブ画素単位の奥行き値を生成する。奥行き生成部８１は、奥行き生成部１６と同様に、予測奥行き画像から動きがない領域のサブ画素単位の画素値を抽出し、動きがない領域のサブ画素単位の奥行き値とする。

奥行き生成部８１は、以上のようにして得られた動きがない領域、オクルージョン領域、大きい動きがある領域、および小さい動きがある領域のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部８１は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。

（画像処理装置の処理の説明）
図８の画像処理装置８０の奥行き画像生成処理は、ステップＳ１５の生成処理を除いて図３の奥行き画像生成処理と同一である。従って、以下では、生成処理についてのみ説明する。

図９は、画像処理装置８０の奥行き生成部８１（図８）の生成処理を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。

図９のステップＳ７１およびＳ７２の処理は、図４のステップＳ３１およびＳ３２の処理と同一であるので、説明は省略する。

ステップＳ７２で動き量が第１の閾値より大きいと判定された場合、ステップＳ７３において、奥行き生成部８１は、処理対象の画素の動きベクトルの動き量が第１の閾値より大きい第２の閾値以下であるかどうかを判定する。ステップＳ７３で動き量が第２の閾値以下であると判定された場合、即ち動き量が第１の閾値より大きく第２の閾値以下である場合、奥行き生成部８１は、処理対象の画素が、小さい動きがある領域の画素であると判断する。そして、処理はステップＳ７４に進む。

一方、ステップＳ７３で動き量が第２の閾値以下ではないと判定された場合、即ち動き量が第２の閾値より大きい場合、奥行き生成部８１は、処理対象の画素が、大きい動きがある領域の画素であると判断する。そして、処理はステップＳ７５に進む。

ステップＳ７４乃至Ｓ７７の処理は、図７のステップＳ５３乃至Ｓ５６の処理と同様であるので、説明は省略する。

以上のように、画像処理装置８０は、動きがある領域のうちの、予測値の信頼度が高い小さい動きがある領域についてのみ、探索範囲を予測値に基づく通常サイズより小さいサイズの範囲に限定する。従って、画像処理装置６０に比べて奥行き画像の精度を向上させることができる。

（探索範囲のサイズの他の例）
第２および第３実施の形態における限定された探索範囲のサイズは、固定されていてもよいし、可変であってもよい。限定された探索範囲のサイズが可変である場合には、そのサイズは、例えば動き量に応じて設定される。

図１０は、この場合の動き量と探索範囲のサイズの関係の例を示す図である。

図１０のグラフの横軸は動き量を表し、縦軸は探索範囲の中心を０としたときの探索範囲の水平方向および垂直方向の位置を表している。

図１０の例では、動き量が０以上でＢより小さい場合、探索範囲の水平方向および垂直方向の長さは２ＤＢとされる。また、動き量がＢ以上でＡより小さい場合、探索範囲の水平方向および垂直方向の長さは、動き量に比例して２ＤＢより大きくなり、動き量がＡである場合、その長さは２ＤＡとなる。動き量がＡより大きい場合、探索範囲の水平方向および垂直方向の長さは２ＤＡとされる。

＜第４実施の形態＞
（本開示を適用した画像処理装置の第４実施の形態の構成例）
図１１は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。

図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の画像処理装置１００の構成は、検出部１３、予測生成部１５、奥行き生成部１６の代わりに、検出部１０１、予測生成部１０２、奥行き生成部１０３が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置１００は、基準視点の画像のフレーム間の変化を表す情報としての差分に基づいて奥行き値を生成する頻度を決定する。

具体的には、検出部１０１は、基準画像取得部１１から供給される現在のフレームの基準視点の画像を保持する。検出部１０１は、保持している前フレームの基準視点の画像と現在のフレームの基準視点の画像との差分を画素単位で検出し、予測生成部１０２に供給する。

予測生成部１０２は、基準視点の画像の画素ごとに、検出部１０１から供給される差分に基づいて、奥行き値を更新（生成）することを表す更新フラグをネガティブまたはポジティブに設定する。予測生成部１０２は、フレームメモリ１４から供給される前フレームの奥行き画像を予測奥行き画像として奥行き生成部１０３に供給するとともに、各画素の更新フラグを奥行き生成部１０３に供給する。

奥行き生成部１０３は、予測生成部１０２から供給される更新フラグに基づいて、各画素の更新フラグが連続してネガティブになった回数をカウントする。奥行き生成部１０３は、更新フラグがポジティブである画素に対して、基準画像取得部１１からの基準視点の画像と周辺画像取得部１２からの周辺視点の画像とを用いて、画素単位で奥行き値を生成する。

また、奥行き生成部１０３は、更新フラグがネガティブであり、更新フラグが連続してネガティブになった回数が所定の回数（ここでは、１０回）である画素に対して、基準視点の画像と周辺視点の画像とを用いて画素単位で奥行き値を生成する。奥行き生成部１０３は、生成された画素単位の奥行き値に基づいて内挿等によりサブ画素単位の奥行き値を生成する。

さらに、奥行き生成部１０３は、更新フラグがネガティブであり、更新フラグが連続してネガティブになった回数が所定の回数ではない画素について、予測奥行き画像のサブ画素単位の画素値を、サブ画素単位の奥行き値とする。

奥行き生成部１０３は、以上のようにして得られた基準視点の画像の各画素のサブ画素単位の奥行き値を各サブ画素の画素値とする奥行き画像を、現在のフレームの基準視点の奥行き画像として生成する。奥行き生成部１０３は、現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給する。

（差分の例）
図１２は、前フレームと現在のフレームの基準視点の画像の差分の例を示す図である。

図１２の例では、基準視点の画像が、アルファベットを背景とし、バスケットボールを前景とした画像となっている。また、バスケットボールは、前フレームでは画面の右上に存在し、現在のフレームでは画面の中央に存在している。即ち、前フレームと現在のフレームの間で、バスケットボールは左下へ移動している。

この場合、前フレームと現在のフレームの基準視点の画像の差分は、図１２中斜線で示す、前フレームと現在のフレームのバスケットボールの領域１１１で大きくなる。なお、図１２の右側の小さい四角は画素を表している

（奥行き値を生成する頻度の例）
図１３は、奥行き値を生成する頻度の例を示す図である。

図１３のグラフの横軸は、前フレームと現在のフレームの基準視点の画像の差分を表し、縦軸は、１フレームの頻度を１としたときの奥行き値を生成する頻度を表す。

図１３の例では、差分が０以上閾値Ｔｈ以下である場合、奥行き値を生成する頻度が1/10であり、差分が閾値Ｔｈより大きい場合、奥行き値を生成する頻度が１である。即ち、差分が０以上閾値Ｔｈ以下である場合、10フレームに9回の割合で前フレームの奥行き値が現在のフレームの奥行き値とされ、差分が閾値Ｔｈより大きい場合、毎フレームで前フレームの奥行き値が用いられない。

（画像処理装置の処理の説明）
図１４は、図１１の画像処理装置１００の奥行き画像生成処理を説明するフローチャートである。

図１４のステップＳ９１において、画像処理装置１００の基準画像取得部１１は、現在のフレームの基準視点の画像を取得し、周辺画像取得部１２は、現在のフレームの周辺視点の画像を取得する。基準画像取得部１１は、現在のフレームの基準視点の画像を検出部１０１に供給して保持させるとともに、奥行き生成部１０３に供給する。周辺画像取得部１２は、現在のフレームの周辺視点の画像を奥行き生成部１０３に供給する。

ステップＳ９２において、検出部１０１は、保持している前フレームの基準視点の画像と現在のフレームの基準視点の画像との差分を画素単位で検出し、予測生成部１０２に供給する。

ステップＳ９３において、フレームメモリ１４は、保持している前フレームの基準視点のサブ画素単位の奥行き画像を読み出し、予測生成部１０２に供給する。

ステップＳ９４において、予測生成部１０２は、検出部１０１から供給される差分が０以上閾値Ｔｈ以下である画素の更新フラグをネガティブにし、差分が閾値Ｔｈより大きい画素の更新フラグをポジティブに設定する。

ステップＳ９５において、予測生成部１０２は、フレームメモリ１４から供給される前フレームの奥行き画像を予測奥行き画像として奥行き生成部１０３に供給するとともに、各画素の更新フラグを奥行き生成部１０３に供給する。

ステップＳ９６において、奥行き生成部１０３は、予測奥行き画像を用いて現在のフレームの基準視点の奥行き画像を生成する生成処理を行う。この生成処理の詳細は、後述する図１５を参照して説明する。

ステップＳ９７において、奥行き生成部１０３は、生成処理により生成された現在のフレームの基準視点の奥行き画像を出力するとともに、フレームメモリ１４に供給して保持させる。そして、処理は終了する。

図１５は、図１４のステップＳ９６の生成処理の詳細を説明するフローチャートである。この生成処理は、現在のフレームの基準視点の画像の各画素を処理対象の画素として行われる。

図１５のステップＳ１１１において、奥行き生成部１０３は、処理対象の画素の更新フラグがポジティブであるかどうかを判定する。ステップＳ１１１で更新フラグがポジティブではないと判定された場合、即ち更新フラグがネガティブである場合、処理はステップＳ１１２に進む。

ステップＳ１１２において、奥行き生成部１０３は、更新フラグが連続してネガティブになった回数のカウント値を１だけインクリメントする。このカウント値の初期値は０である。

ステップＳ１１３において、奥行き生成部１０３は、カウント値が１０であるかどうかを判定する。ステップＳ１１３でカウント値が１０ではないと判定された場合、即ち更新フラグが連続して１０回ネガティブになっていないと判定された場合、処理はステップＳ１１４に進む。

ステップＳ１１４において、奥行き生成部１０３は、予測生成部１０２から供給される予測奥行き画像から処理対象の画素のサブ画素単位の画素値を抽出し、奥行き値とする。そして処理は図１４のステップＳ９６に戻り、処理はステップＳ９７に進む。

一方、ステップＳ１１１で更新フラグがポジティブであると判定された場合、または、ステップＳ１１３でカウント値が１０であると判定された場合、ステップＳ１１５において、奥行き生成部１０３はカウント値を０に変更する。

ステップＳ１１６において、奥行き生成部１０３は、基準画像取得部１１からの基準視点の画像と周辺画像取得部１２からの周辺視点の画像とを用いて、処理対象の画素の画素単位の奥行き値を生成する。そして、奥行き生成部１０３は、処理対象の画素の画素単位の奥行き値に基づいてサブ画素単位の奥行き値を生成する。そして処理は図１４のステップＳ９６に戻り、処理はステップＳ９７に進む。

以上のように、画像処理装置１００は、現在のフレームの画像と前フレームの画像に基づいて、その差分が小さい領域について、前フレームの奥行き値を現在のフレームの奥行き値として生成する。従って、差分が小さい領域の奥行き値を生成する必要がなく、高速に奥行き画像を生成することができる。

また、画像処理装置１００は、差分が小さい領域であっても、差分が大きい領域に比べて少ない頻度で奥行き値を生成するので、奥行き画像の精度を向上させることができる。

なお、差分が小さい領域の奥行き値を生成する頻度は、上述した１０フレームに１回に限定されない。また、差分が大きい領域の奥行き値を生成する頻度は、上述した毎フレームに限定されない。

＜第１乃至第４実施の形態のまとめ＞
図１６は、第１乃至第４実施の形態の処理をまとめた表を示す図である。

図１６に示すように、第１乃至第３実施の形態では、オクルージョン領域とオクルージョン領域以外の領域で処理が異なる。また、オクルージョン領域以外の領域では、動きがない領域と動きがある領域で処理が異なる。第３実施の形態では、さらに、動きがある領域のうちの動きが小さい領域と動きが大きい領域で処理が異なる。

具体的には、第１実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域において、前フレームのサブ画素単位の奥行き値から現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。

また、オクルージョン領域において、マッチングにより現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。

第２実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、第１実施の形態と同様に、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域において、前フレームのサブ画素単位の奥行き値に基づいて通常サイズより小さいサイズの探索範囲が設定され、その探索範囲でマッチングが行われる。そして、マッチングの結果得られる画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。

また、オクルージョン領域において、通常サイズの探索範囲のマッチングにより現在のフレームの画素単位の奥行き値が生成され、その画素単位の奥行き値に基づいてサブ画素単位の奥行き値が生成される。

第３実施の形態では、オクルージョン領域以外の領域のうちの動きがない領域において、第１実施の形態と同様に、前フレームのサブ画素単位の奥行き値が現在のフレームのサブ画素単位の奥行き値として用いられる。一方、動きがある領域であり、かつ、動きが小さい領域において、第２実施の形態の動きがある領域の場合と同様に、通常サイズより小さいサイズの探索範囲でサブ画素単位の奥行き値が生成される。

また、動きがある領域であり、かつ、動きが大きい領域、および、オクルージョン領域において、第２実施の形態のオクルージョン領域の場合と同様に、通常サイズの探索範囲でサブ画素単位の奥行き値が生成される。

第４実施の形態では、前フレームと現在のフレームの基準視点の画像の差分が大きい領域と小さい領域で処理が異なる。

具体的には、差分が大きい領域では、毎フレームでサブ画素単位の奥行き値が生成される。一方、差分が小さい領域では、１０フレームに１回の頻度でサブ画素単位の奥行き値が生成される。

＜第５実施の形態＞
（本開示を適用した符号化装置の一実施の形態の構成例）
図１７は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

図１７の符号化装置１２０は、基準画像取得部１２１、周辺画像取得部１２２、奥行き画像生成部１２３、および符号化部１２４により構成される。符号化装置１２０は、基準視点の画像、周辺視点の画像、および基準視点の奥行き画像を符号化する。

符号化装置１２０の基準画像取得部１２１は、図示せぬ外部の撮像装置により撮像された基準視点の画像を取得し、奥行き画像生成部１２３と符号化部１２４に供給する。

周辺画像取得部１２２は、図示せぬ外部の撮像装置により撮像された周辺視点の画像を取得し、奥行き画像生成部１２３と符号化部１２４に供給する。

奥行き画像生成部１２３は、上述した画像処理装置の第１乃至第４実施の形態のいずれかにより構成される。奥行き画像生成部１２３は、基準画像取得部１２１からの基準視点の画像と、周辺画像取得部１２２からの周辺視点の画像とを用いて、基準視点の奥行き画像を生成し、符号化部１２４に供給する。

符号化部１２４は、基準画像取得部１２１からの基準視点の画像、周辺画像取得部１２２からの周辺視点の画像、および奥行き画像生成部１２３からの奥行き画像を符号化する。奥行き画像の符号化方式としては、AVC（Advanced Video Coding）方式，MVC（Multiview Video Coding）方式，HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部１２４は、符号化の結果得られる符号化ストリームを伝送する。

（復号装置の一実施の形態の構成例）
図１８は、図１７の符号化装置１２０により生成された符号化ストリームを復号する復号装置の一実施の形態の構成例を示すブロック図である。

図１８の復号装置１４０は、復号部１４１、基準画像出力部１４２、周辺画像出力部１４３、および奥行き画像生成部１４４により構成される。

復号装置１４０の復号部１４１は、符号化装置１２０から伝送されてくる符号化ストリームを取得する。復号部１４１は、符号化装置１２０の符号化方式に対応する方式で符号化ストリームを復号し、基準視点の画像、周辺視点の画像、および基準視点の奥行き画像を生成する。復号部１４１は、基準視点の画像を基準画像出力部１４２に供給し、周辺視点の画像を周辺画像出力部１４３に供給し、基準視点の奥行き画像を奥行き画像出力部１４４に供給する。

基準画像出力部１４２は、復号部１４１から供給される基準視点の画像を出力する。周辺画像出力部１４３は、復号部１４１から供給される周辺視点の画像を出力する。奥行き画像出力部１４４は、復号部１４１から供給される奥行き画像を出力する。

＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、第２乃至第４実施の形態では、奥行き値をサブ画素単位で生成するのではなく、画素単位で生成するようにしてもよい。

また、第１乃至第３実施の形態では、動きベクトルに基づく領域分割が奥行き生成部１６（６１，８１）により行われたが、領域分割は予測生成部１５により行われるようにしてもよい。

この場合、奥行き生成部１６および６１には、画素ごとに設定された奥行き値の生成を行うかどうかを表すフラグ、即ち動きがある領域であるかどうかを表すフラグが予測生成部１５から供給される。また、奥行き生成部８１には、画素ごとに設定された奥行き値の生成を行うかどうか、および、探索範囲を限定するかどうかを表すフラグが予測生成部１５から供給される。即ち、各画素が、動きがない領域、大きい動きがある領域、および小さい動きがある領域のいずれの領域内の画素であるかを表すフラグが、奥行き生成部８１から予測生成部１５に供給される。

さらに、第１乃至第３実施の形態では、現在のフレームの動きベクトルに基づいて領域が分割されたが、動きベクトルの履歴に基づいて領域が分割されるようにしてもよい。

また、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

（１）
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部
を備える画像処理装置。
（２）
前記奥行き生成部は、前記カレントフレームの画像と前記前のフレームの画像の間の変化に基づいて、前記奥行き画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記カレントフレームの画像と前記前のフレームの画像とに基づいて、前記カレントフレームの画像の動きベクトルを検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記動きベクトルに基づいて、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
前記（２）に記載の画像処理装置。
（４）
前記奥行き生成部は、前記動きベクトルの動き量が第１の閾値以下である場合、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
前記（３）に記載の画像処理装置。
（５）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて、前記カレントフレームの奥行き画像を生成する
前記（４）に記載の画像処理装置。
（６）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームのサブ画素単位の奥行き画像を用いて前記カレントフレームの画素単位の奥行き画像を生成し、前記カレントフレームの画素単位の奥行き画像に基づいて、前記カレントフレームのサブ画素単位の奥行き画像を生成する
前記（５）に記載の画像処理装置。
（７）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
前記（５）に記載の画像処理装置。
（８）
前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きく、第２の閾値以下である場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
前記（７）に記載の画像処理装置。
（９）
前記探索範囲のサイズは、前記動き量に応じたサイズである
前記（７）または（８）に記載の画像処理装置。
（１０）
前記カレントフレームの画像と前記前のフレームの画像との差分を検出する検出部
をさらに備え、
前記奥行き生成部は、前記検出部により検出された前記差分が閾値以下である場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度にしたがって、前記カレントフレームの奥行き画像を生成する
前記（１）または（２）に記載の画像処理装置。
（１１）
前記奥行き生成部は、前記検出部により検出された前記差分が前記閾値より大きい場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度より少ない頻度にしたがって、前記カレントフレームの奥行き画像を生成する
前記（１０）に記載の画像処理装置。
（１２）
前記奥行き生成部により生成される前記奥行き画像を符号化する符号化部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
画像処理装置が、
カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成ステップ
を含む画像処理方法。

１０ 画像処理装置， １３ 検出部， １６ 奥行き生成部， ６０ 画像処理装置， ６１ 奥行き生成部， ８０ 画像処理装置， ８１ 奥行き生成部， １００ 画像処理装置， １０１ 検出部， １２０ 符号化装置， １２３ 奥行き画像生成部， １２４ 符号化部

Claims (13)

1. カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成部
   を備える画像処理装置。
2. 前記奥行き生成部は、前記カレントフレームの画像と前記前のフレームの画像の間の変化に基づいて、前記奥行き画像を生成する
   請求項１に記載の画像処理装置。
3. 前記カレントフレームの画像と前記前のフレームの画像とに基づいて、前記カレントフレームの画像の動きベクトルを検出する検出部
   をさらに備え、
   前記奥行き生成部は、前記検出部により検出された前記動きベクトルに基づいて、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
   請求項２に記載の画像処理装置。
4. 前記奥行き生成部は、前記動きベクトルの動き量が第１の閾値以下である場合、前記前のフレームの奥行き画像を、前記カレントフレームの奥行き画像として生成する
   請求項３に記載の画像処理装置。
5. 前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて、前記カレントフレームの奥行き画像を生成する
   請求項４に記載の画像処理装置。
6. 前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームのサブ画素単位の奥行き画像を用いて前記カレントフレームの画素単位の奥行き画像を生成し、前記カレントフレームの画素単位の奥行き画像に基づいて、前記カレントフレームのサブ画素単位の奥行き画像を生成する
   請求項５に記載の画像処理装置。
7. 前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きい場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
   請求項５に記載の画像処理装置。
8. 前記奥行き生成部は、前記動きベクトルの動き量が前記第１の閾値より大きく、第２の閾値以下である場合、前記前のフレームの奥行き画像に基づいて限定された探索範囲でマッチングを行うことにより、前記カレントフレームの奥行き画像を生成する
   請求項７に記載の画像処理装置。
9. 前記探索範囲のサイズは、前記動き量に応じたサイズである
   請求項７に記載の画像処理装置。
10. 前記カレントフレームの画像と前記前のフレームの画像との差分を検出する検出部
    をさらに備え、
    前記奥行き生成部は、前記検出部により検出された前記差分が閾値以下である場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度にしたがって、前記カレントフレームの奥行き画像を生成する
    請求項１に記載の画像処理装置。
11. 前記奥行き生成部は、前記検出部により検出された前記差分が前記閾値より大きい場合、前記前のフレームの画像の奥行き画像を前記カレントフレームの奥行き画像として生成する頻度より少ない頻度にしたがって、前記カレントフレームの奥行き画像を生成する
    請求項１０に記載の画像処理装置。
12. 前記奥行き生成部により生成される前記奥行き画像を符号化する符号化部
    をさらに備える
    請求項１に記載の画像処理装置。
13. 画像処理装置が、
    カレントフレームの画像と前記カレントフレームより前のフレームの画像とに基づいて、前記前のフレームの画像の被写体の奥行き方向の位置を表す奥行き画像を、前記カレントフレームの奥行き画像として生成する奥行き生成ステップ
    を含む画像処理方法。

Images