JP2012253643A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させる。
【解決手段】デプスマップ生成部は、動画像のフレームの各画素における被写体の奥行きを表す奥行き情報を生成し、付加情報生成部は、連続するフレーム間の変化に関する付加情報を生成し、読み出し書き込み部は、デプスマップおよび付加情報の、記録媒体への書き込みおよび記録媒体からの読み出しを行い、デプスマップ補正部は、読み出し書き込み部によって読み出される付加情報に基づいて、読み出し書き込み部によって読み出されるデプスマップを補正し、読み出し書き込み部は、デプスマップ補正部によって補正されたデプスマップを記録媒体に上書きする。本技術は、立体画像の奥行き感を表す奥行き情報を生成する画像処理装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにする画像処理装置および方法、並びにプログラムに関する。

従来、動画像の視差情報を生成し、その視差情報に基づいて３次元の動画像を再生する技術がある。

さらに、３次元の動画像を再生する際に、視差の分布を表す画像を、３次元の動画像に重畳させるようにした立体画像処理装置がある（例えば、特許文献１参照）。

特開２００８−１０３８２０号公報

しかしながら、上述した技術においては、生成された視差情報を補正することは行われていない。したがって、再生される動画像においては、生成された視差情報により得られる奥行き感以上の奥行き感を得ることはできなかった。

なお、視差情報の補正を行う場合、その補正は、視差情報の生成に対してリアルタイムに、動画像の複数フレームについての視差情報に基づいて行われることになる。

しかしながら、この場合、視差情報の補正の分、動画像に対して処理遅延が発生してしまうとともに、複数フレームを保持するためのフレームメモリが必要となり、回路規模が大きくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにするものである。

本技術の一側面の画像処理装置は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備え、前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする。

前記画像処理装置には、前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに設け、前記読み出し書き込み部には、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込ませることができる。

前記変化情報生成部には、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成させ、前記奥行き情報補正部には、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正させることができる。

前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換えさせることができる。

前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とさせることができる。

前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成させ、前記奥行き情報補正部には、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正させることができる。

前記変化情報生成部には、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成させ、前記奥行き情報補正部には、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行わせることができる。

前記画像処理装置には、前記記録媒体をさらに設けることができる。

前記記録媒体は外付けされるようにすることができる。

前記画像処理装置には、前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに設け、前記読み出し書き込み部には、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きさせることができる。

本技術の一側面の画像処理方法は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、補正された前記奥行き情報を前記記録媒体に上書きするステップを含む。

本技術の一側面のプログラムは、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続するフレーム間の変化に関する変化情報が記録媒体から読み出され、読み出される変化情報に基づいて、読み出される奥行き情報が補正され、補正された奥行き情報が記録媒体に上書きされる。

本技術の一側面によれば、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。

本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。 デプスマップについて説明する図である。 デプス値について説明する図である。 デプスマップ生成処理について説明するフローチャートである。 デプスマップ最適化処理について説明するフローチャートである。 デプスマップの時間平滑化の例について説明する図である。 デプスマップの時間平滑化の他の例について説明する図である。 本技術を適用したデプスマップの例について説明する図である。 付加情報生成部の具体的な構成例について説明するブロック図である。 輝度変化度合情報生成処理について説明するフローチャートである。 デプスマップ変化度合情報生成処理について説明するフローチャートである。 デプスマップ最適化処理の具体例について説明するフローチャートである。 本技術を適用したデプスマップの他の例について説明する図である。 付加情報生成部の具体的な他の構成例について説明するブロック図である。 構図変化情報生成処理について説明するフローチャートである。 オブジェクトの検出および選択について説明する図である。 デプスマップ最適化処理の他の具体例について説明するフローチャートである。 本技術を適用した画像処理装置の他の実施の形態の機能構成例を示すブロック図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した画像処理装置の構成
２．デプスマップ生成処理および最適化処理
３．デプスマップ最適化処理の具体例１
４．デプスマップ最適化処理の具体例２
５．本技術を適用した画像処理装置の他の構成

＜１．本技術を適用した画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。

図１の画像処理装置１１は、例えば、HDD（Hard Disk Drive）レコーダ等として構成され、動画像としてのコンテンツを記録している。

図１の画像処理装置１１は、デプスマップ生成部３１、付加情報生成部３２、読み出し書き込み部３３、記録媒体３４、およびデプスマップ最適化部３５から構成される。

デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）のフレームの各画素における被写体の奥行きを表す奥行き情報として、デプス（Depth）値を求め、１フレーム分のデプス値からなるデプスマップを生成する。

例えば、図２に示されるように、コンテンツとして、解像度が1920×1080p（Full HDサイズ）の１フレーム分の映像信号が読み出された場合、デプスマップ生成部３１は、映像信号の画素の輝度値Pic_yに対して、所定のフィルタ演算を施し、デプス値Pic_dを求めることを、１フレーム分の映像信号の全画素に対して行うことで、デプスマップを生成する。すなわち、デプスマップは、デプス値を画素値として有する画像ともいえる。

ここで、デプス値は、図３に示されるように、視聴者からみた、コンテンツにおける被写体の奥行き感を表す値であり、例えば、視聴者からみて奥側の所定の面をデプス値０の面とし、視聴者からみて最も手前側の表示面をデプス値２５５の面として、０乃至２５５の８bitの値で表わされる。なお、デプス値は、被写体の奥行きを相対的に表すものであればよく、１０bitの値で表わされてもよいし、視聴者からみて奥側を２５５とし、手前側を０としてもよい。また、デプス値は、画素の輝度値から求められるようにしたが、画素の色差から求めるようにしてもよい。

このようにして生成されたデプスマップは、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。

付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）の連続するフレーム間の変化に関する情報である付加情報を生成する。生成された付加情報は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。

読み出し書き込み部３３は、記録媒体３４への各種データの書き込みと、記録媒体３４からの各種データの読み出しを行う。

記録媒体３４は、HDDとして構成され、コンテンツ３４ａ、デプスマップ３４ｂ、および付加情報３４ｃを記録する。コンテンツ３４ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３４から読み出される。また、デプスマップ３４ｂおよび付加情報３４ｃは、読み出し書き込み部３３によって、適宜、記録媒体３４に書き込まれたり、記録媒体３４から読み出される。

デプスマップ最適化部３５は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップおよび付加情報に対して最適化の処理を施す。

デプスマップ最適化部３５は、デプスマップ補正部５１および付加情報更新部５２を備えている。デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップを、より適したものとなるように補正する。補正されたデプスマップ（補正デプスマップ）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。付加情報更新部５２は、読み出し書き込み部３３によって記録媒体３４から読み出される付加情報を、デプスマップ最適化部５１によるデプスマップの補正に応じて、更新する。更新された付加情報（更新付加情報）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。

＜２．デプスマップ生成処理および最適化処理＞
次に、画像処理装置１１によるデプスマップ生成処理および最適化処理について説明する。

［デプスマップ生成処理］
まず、図４のフローチャートを参照して、画像処理装置１１のデプスマップ生成処理について説明する。

ステップＳ１１において、読み出し書き込み部３３は、記録媒体３４に記録されている動画像としてのコンテンツにおいて、注目している注目フレームと、その注目フレームに隣接する隣接フレームとを読み出し、デプスマップ生成部３１および付加情報生成部３２に供給する。

ステップＳ１２において、デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツの注目フレームについて、デプスマップを生成し、読み出し書き込み部３３に供給する。

ステップＳ１３において、付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツにおける注目フレームと隣接フレームとの間の変化に関する付加情報を生成し、読み出し書き込み部３３に供給する。

ここで、付加情報としては、フレーム間の画素の画素値（例えば、輝度値等）の変化を表す画素値変化情報、フレーム間のデプスマップの変化を表すデプスマップ変化情報、フレーム間の構図の変化を表す構図変化情報、フレーム間のシーンの変化（シーンチェンジ）を表すシーン変化情報、フレーム間の動きを表す動きベクトル等が生成される。

ステップＳ１４において、読み出し書き込み部３３は、デプスマップ生成部３１からのデプスマップ、および、付加情報生成部３２からの付加情報を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む。

ステップＳ１５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームについて、上述した処理を行ったか否かを判定する。

ステップＳ１５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１５の処理が繰り返される。

一方、ステップＳ１５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。

以上のようにして、デプスマップおよび付加情報が生成され、コンテンツが記録されている記録媒体３４に記録されるようになる。

［デプスマップ最適化処理］
次に、図５のフローチャートを参照して、画像処理装置１１のデプスマップ最適化処理について説明する。

ステップＳ２１において、読み出し書き込み部３３は、注目フレームのデプスマップおよび付加情報を記録媒体３４から読み出し、デプスマップ最適化部３５に供給する。

ステップＳ２２において、デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報に基づいて、デプスマップを補正する。

ここで、付加情報が、画素値変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、画素値変化情報で表わされるフレーム間の画素値の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。

また、付加情報が、構図変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、構図変化情報で表わされるフレーム間の構図の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。

さらに、付加情報が、シーン変化情報からなる場合、デプスマップ補正部５１は、シーン変化情報で表わされるフレーム間のシーンの変化に応じて、デプスマップを、より適したものとなるように補正する。

また、付加情報が、動きベクトルからなる場合、デプスマップ補正部５１は、動きベクトルに基づいて、デプスマップに対して、より適したものとなるように動き補償を行う。

このようにして補正されたデプスマップは、読み出し書き込み部３３に供給される。

ステップＳ２３において、付加情報更新部５２は、デプスマップ補正部５１により補正されたデプスマップに応じて、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報を更新する。更新された付加情報は、読み出し書き込み部３３に供給される。

ステップＳ２４において、読み出し書き込み部３３は、デプスマップ生成部３１からの補正されたデプスマップ（補正デプスマップ）、および、付加情報生成部３２からの更新された付加情報（更新付加情報）を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む（上書きする）。

ステップＳ２５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームのデプスマップおよび付加情報について、上述した処理を行ったか否かを判定する。

ステップＳ２５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ２１に戻り、ステップＳ２１乃至Ｓ２５の処理が繰り返される。

一方、ステップＳ２５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。

以上の処理によれば、予め生成された付加情報に基づいて、予め生成されたデプスマップが、より適したものとなるように補正される。したがって、そのデプスマップに基づいて生成される立体画像において、最初に生成されたデプスマップにより得られる奥行き感以上の奥行き感を得ることが可能となる。また、デプスマップは、コンテンツが記録されている記録媒体に記録されているので、その補正は、デプスマップの生成に対してリアルタイムではなく、記録媒体から読み出されて行われ、また、コンテンツのフレームを保持するフレームメモリを必要としない。これにより、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。

なお、上述したデプスマップ最適化処理が繰り返されることで、デプスマップは一層最適化されるようになる。

ところで、従来の技術によって、フレーム毎にデプスマップを生成する場合、ノイズ等の影響により、誤ったデプスマップが生成されることがある。このような場合、その誤りを補正するために、IIR（Infinite Impulse Response）フィルタ等を用いた時間平滑化が行われていた。

図６は、デプスマップの時間平滑化の例について説明する図である。

図６においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについての理想的なデプスマップが示されている。しかしながら、実際のデプスマップにおいては、例えばノイズ等の影響により、図６の上から３段目に示されるように、２フレーム目のデプスマップに誤りが生じてしまう。そこで、デプスマップに対して時間平滑化を行うことにより、図６の最下段に示されるように、２フレーム目のデプスマップの誤りを補正することが可能となる。

しかしながら、デプスマップに対して時間平滑化を行った場合、時間平滑化の処理時間分だけ遅延が生じてしまい、リアルタイムに入力される画像とデプスマップとの間に時間的なずれが発生してしまっていた。

図７は、デプスマップの時間平滑化の他の例について説明する図である。

図７においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについてのデプスマップが示されている。また、図７の最下段には、時間平滑化を行ったデプスマップが示されている。

図７に示されるように、時間平滑化を行った場合、そのデプスマップにおいては、Delayが発生し、時間平滑化の結果が即反映されず、デプスマップの変化が遅くなってしまう。特に、図７の例では、Ｎフレーム目でシーンが切り替わり、被写体が、フレームの左側にいる人Ａから、フレームの右側にいる人Ｂに変わっているが、時間平滑化を行ったデプスマップは、このシーンの切り替わりにも追従できない。

一方、本技術によれば、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知である。したがって、図８に示されるように、例えば２フレーム目で誤ったデプスマップが生成された場合であっても、誤ったデプスマップを採用せず、その前後のフレーム（１，３フレーム目）のデプスマップに基づいて補正された適切なデプスマップを採用することができ、さらに、時間的なずれ（Delay）も発生しないようにできる。

＜３．デプスマップ最適化処理の具体例１＞
ここで、上述したような、時間的にずれがなく安定したデプスマップを得るための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の画素の輝度値の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。

［付加情報生成部の具体的な構成例］
まず、図９を参照して、付加情報生成部の具体的な構成例について説明する。

図９の付加情報生成部１２１は、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、輝度変化度合情報生成部１３４、フィルタ演算・コアリング処理部１４１、差分算出部１４２、カウント処理部１４３、およびデプスマップ変化度合情報生成部１４４から構成される。

フィルタ演算・コアリング処理部１３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの連続するフレームの画素の輝度値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。

差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するフレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。

カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。

輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値に応じて、連続するフレーム間の輝度値の変化の度合を表す輝度変化度合情報Ycを生成する。具体的には、輝度変化度合情報生成部１３４は、連続するフレーム間の輝度値が大きく変化した場合、Yc＝２とし、連続するフレーム間の輝度値がやや変化した場合、Yc＝１とし、連続するフレーム間の輝度値がほとんど変化しなかった場合、Yc＝０とする輝度変化度合情報を生成する。生成された輝度変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。

フィルタ演算・コアリング処理部１４１は、デプスマップ生成部３１から、連続するフレームについてのデプスマップを取得し、それぞれのデプスマップのデプス値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。

差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。

カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。

デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値に応じて、連続するフレーム間のデプスマップの変化の度合を表すデプスマップ変化度合情報Dcを生成する。具体的には、デプスマップ変化度合情報生成部１４４は、連続するフレーム間のデプスマップが大きく変化した場合、Dc＝２とし、連続するフレーム間のデプスマップがやや変化した場合、Dc＝１とし、連続するフレーム間のデプスマップがほとんど変化しなかった場合、Dc＝０とするデプスマップ変化度合情報を生成する。生成されたデプスマップ変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。

［輝度変化度合情報生成処理］
次に、図１０のフローチャートを参照して、付加情報生成部１２１の輝度変化度合情報生成処理について説明する。図１０の輝度変化度合情報生成処理は、記録媒体３４から読み出されるコンテンツの連続する２フレーム、具体的には、記録媒体３４から読み出されるコンテンツのうちの注目フレームと、注目フレームより時間的に前の前フレームとに対して実行される。

ステップＳ１１１において、フィルタ演算・コアリング処理部１３１は、注目フレームおよび前フレームそれぞれの輝度信号（輝度値）に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。

ステップＳ１１２において、差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの注目フレームおよび前フレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。

ステップＳ１１３において、カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。

ステップＳ１１４において、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。

ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１１５に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝２とする。

一方、ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１１６に進み、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。

ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１１７に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝１とする。

一方、ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１１８に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝０とする。

上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての輝度変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。

［デプスマップ変化度合情報生成処理］
次に、図１１のフローチャートを参照して、付加情報生成部１２１のデプスマップ変化度合情報生成処理について説明する。図１１のデプスマップ変化度合情報生成処理は、デプスマップ生成部３１から取得される、注目フレームと前フレームそれぞれについてのデプスマップに対して実行される。

ステップＳ１３１において、フィルタ演算・コアリング処理部１４１は、注目フレームおよび前フレームそれぞれについてのデプスマップのデプス値に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。

ステップＳ１３２において、差分算出部１４２は、フィルタ演算・コアリング処理部１４１からの注目フレームおよび前フレームについてのデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。

ステップＳ１３３において、カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。

ステップＳ１３４において、デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。

ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１３５に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝２とする。

一方、ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１３６に進み、デプスマップ変化度合情報生成部１４４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。

ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１３７に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝１とする。

一方、ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１３８に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝０とする。

上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。

［デプスマップ最適化処理の具体例］
次に、図１２のフローチャートを参照して、上述した輝度変化度合情報生成処理によって求められた輝度変化度合情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。

ステップＳ１５１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。

ステップＳ１５２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の輝度変化度合情報Yc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。

ステップＳ１５３において、デプスマップ補正部５１は、輝度変化度合情報Yc＝２であるか否かを判定する。輝度変化度合情報Yc＝２でないと判定された場合、処理はステップＳ１５４に進む。

ステップＳ１５４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ１５５に進む。

ステップＳ１５５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。

ステップＳ１５６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。

すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。

一方、ステップ１５４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ１５７に進む。

ステップＳ１５７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎ−１フレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。

ステップＳ１５８において、付加情報更新部５２は、ｎフレーム目のデプスマップ変化度合情報Dc＝２をDc＝０に更新し、読み出し書き込み部３３に供給する。

ステップＳ１５９において、読み出し書き込み部３３は、デプスマップ補正部５１が選択したｎ−１フレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。

すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、注目フレームのデプスマップは、前フレームのデプスマップに置き換えられる。また、デプスマップ変化度合情報は、デプスマップの変化の度合が小さいことを表すように更新される。

また、ステップＳ１５３において、輝度変化度合情報Yc＝２であると判定された場合、ステップＳ１５４はスキップされ、ステップＳ１５５に進む。

すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が大きい場合には、デプスマップの変化の度合にかかわらず、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。

さて、ステップＳ１６０において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ１６１において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ１５２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ１５２乃至Ｓ１６０の処理が繰り返される。

一方、ステップＳ１６０において、ｎ＝Ｎであると判定された場合、処理は終了する。

以上の処理によれば、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、前フレームのデプスマップに置き換えられるようになる。したがって、誤ったデプスマップを採用せず、適切なデプスマップを採用することができるようになる。また、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知であり、時間平滑化を行う必要もないので、時間的なずれもなく、安定したデプスマップを得ることができるようになる。

なお、上述した処理においては、誤っているとされた注目フレームのデプスマップが、前フレームのデプスマップに置き換えられるものとしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、時間的に後の後フレームのデプスマップに置き換えられるようにしてもよい。

また、以上においては、注目フレームのデプスマップが誤っているとされた場合、隣接（前後）フレームのデプスマップに置き換えられるようにしたが、注目フレームと隣接フレームとの間でシーンが変わった（シーンチェンジした）時に、対応するフレームのデプスマップの変化を緩やかにしたり、激しくするようにしてもよい。

例えば、図１３の上段に示されるように、被写体として、人Ａが手前側にいて、人Ｂが奥側にいるシーン１のフレームから、人Ａが奥側にいて、人Ｂが手前側にいるシーン２のフレームに、シーンチェンジした場合、それぞれのフレームについてのデプスマップは、図１３の中段に示されるように変化する。

そこで、本技術によれば、シーンチェンジした場合に、図１３の下段に示されるように、シーンチェンジ後のシーン２のフレームのデプスマップを、破線で示されるデプスマップd1としたり、一点鎖線で示されるデプスマップd2とすることで、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにすることができる。

＜４．デプスマップ最適化処理の具体例２＞
ここで、上述したような、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにするための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の構図の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。

［付加情報生成部の具体的な構成例］
まず、図１４を参照して、付加情報生成部の具体的な構成例について説明する。

なお、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１と異なるのは、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、および輝度変化度合情報生成部１３４に代えて、オブジェクト検出部２３１、オブジェクト選択部２３２、構図解析部２３３、および構図変化情報生成部２３４を設けた点である。

オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツのフレームにおいて、被写体としてのオブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。

オブジェクト選択部２３２は、オブジェクト検出部２３１からのオブジェクトの位置や大きさに関する情報に基づいて、そのフレームにおいて、注目すべき注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。

構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果を表す構図情報を、構図変化情報生成部２３４に供給する。

構図変化情報生成部２３４は、構図解析部２３３から１フレーム分ずつ供給される構図情報の連続する２フレーム分について、その差分を求めることで、構図変化情報を生成する。生成された構図変化情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。

［構図変化情報生成処理］
次に、図１５のフローチャートを参照して、付加情報生成部２１１の構図変化情報生成処理について説明する。図１５の構図変化情報生成処理は、記録媒体３４から読み出されるコンテンツの各フレームに対して実行される。

ステップＳ２１１において、オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの注目フレームにおいて、オブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。

ステップＳ２１２において、オブジェクト選択部２３２は、オブジェクト検出部２３１からの情報に基づいて、注目フレームにおいて、注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。

例えば、図１６の左側に示されるように、オブジェクト検出部２３１によって、５つのオブジェクトＡ，Ｂ，Ｏ１，Ｏ２，Ｏ３が検出された場合、オブジェクト選択部２３２によって、図１６の右側に示されるように、そのフレームにおいて占める面積が一番大きいオブジェクトＡと、２番目に大きいオブジェクトＢとが選択される。

ステップＳ２１３において、構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果としての構図情報を構図変化情報生成部２３４に供給する。

例えば、構図解析部２３３は、解析対象のフレームの構図を、予め用意されており、類似するものほど近い値のインデックスが付与されている複数の構図パターンと比較し、解析結果のフレームの構図に最も類似する構図パターンのインデックスを、構図情報として構図変化情報生成部２３４に供給する。

また、例えば、構図解析部２３３は、解析結果のフレームを複数の領域に分割し、分割された各領域における注目オブジェクトの有無を表す情報を、構図情報として構図変化情報生成部２３４に供給する。

ステップＳ２１４において、構図変化情報生成部２３４は、構図解析部２３３からの注目フレームの構図情報と前フレームの構図情報との差分を、構図変化情報Ccとして生成する。

例えば、構図情報が、構図パターンのインデックスである場合、注目フレームのインデックスの値と、前フレームのインデックスの値との差の絶対値が、構図変化情報Ccとされる。

また、例えば、構図情報が、フレームが分割された各領域における注目オブジェクトの有無を表す情報である場合、注目フレームと前フレームとで、注目オブジェクトの有無が一致する領域の数が、構図変化情報Ccとされる。

すなわち、構図変化情報Ccは、その値が大きいほど、注目フレームと前フレームとの間の構図の変化が大きいことを示している。

上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての構図変化情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。

［デプスマップ変化度合情報生成処理］
なお、付加情報生成部２１１のデプスマップ変化度合情報生成処理は、図１１のフローチャートを参照して説明した、付加情報生成部１２１のデプスマップ変化度合情報生成処理と同様であるので、その説明は省略する。

すなわち、付加情報生成部２１１のデプスマップ変化度合情報生成処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。

［デプスマップ最適化処理の具体例］
次に、図１７のフローチャートを参照して、上述した構図変化情報生成処理によって求められた構図変化情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。

ステップＳ２３１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。

ステップＳ２３２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の構図変化情報Cc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。

ステップＳ２３３において、デプスマップ補正部５１は、構図変化情報Ccが所定の閾値Cthより大きいか否かを判定する。構図変化情報Ccが所定の閾値Cthより大きくないと判定された場合、処理はステップＳ２３４に進む。

ステップＳ２３４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ２３５に進む。

ステップＳ２３５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。

ステップＳ２３６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。

すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは補正されない。

一方、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ２３７に進む。

ステップＳ２３７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。

具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、以下の式（１）で示される演算を行う。

Pic_d(n)×α＋Pic_d(n-1)×（１−α） ・・・（１）

なお、αは、０≦α≦１の範囲で設定される値とされ、ここでは０に近い値に設定される。

これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n-1)に近い値となる。

このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。

ステップＳ２３８において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。

ステップＳ２３９において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。

すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、前フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。

また、ステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定された場合、処理はステップＳ２４０に進む。

ステップＳ２４０において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。

具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、上述した式（１）で示される演算を行う。なお、ここでは、αは１に近い値に設定される。

これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n)に近い値となる。

このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。

ステップＳ２４１において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。

ステップＳ２４２において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。

すなわち、注目フレームについて、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、注目フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。

さて、ステップＳ２４３において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ２４４において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ２３２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ２３２乃至Ｓ２４３の処理が繰り返される。

一方、ステップＳ２４３において、ｎ＝Ｎであると判定された場合、処理は終了する。

以上の処理によれば、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、前フレームのデプスマップに近いデプスマップに補正され、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、注目フレームのデプスマップに近いデプスマップに補正される。したがって、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるので、そのデプスマップに基づいて生成される立体画像を視聴するユーザの目の負担を低減させることができるようになる。

なお、以上においては、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるようにしたが、対応するフレームのデプスマップの変化が激しくなるようにすることもできる。

具体的には、図１７のフローチャートのステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定されたか、または、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２でない（デプスマップの変化が大きくない）と判定された場合に、注目フレーム（ｎフレーム目）のデプスマップのデプス値を大きくするように補正することで、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が激しくなる。

なお、この場合、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２である（デプスマップの変化が大きい）と判定された場合には、注目フレームのデプスマップは補正されないものとする。

また、上述した説明では、前フレームのデプスマップと注目フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、注目フレームのデプスマップと時間的に後の後フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしてもよい。

なお、以上においては、記録媒体３４は、画像処理装置１１内に設けられるものとしたが、記録媒体は、画像処理装置に外付けされるようにしてもよい。

＜５．本技術を適用した画像処理装置の他の構成＞
図１８は、本技術を適用した画像処理装置の他の実施の形態の構成を示している。

図１８の画像処理装置３１１には、記録媒体３１２が外付けされる。

なお、図１８の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１８の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、記録媒体３４を除いた点である。

記録媒体３１２は、例えば、USB（Universal Serial Bus）メモリ、DVD(Digital Versatile Disc)、およびBD（Blu-Ray Disc（商標））等として構成され、コンテンツ３１２ａ、デプスマップ３１２ｂ、および付加情報３１２ｃを記録する。コンテンツ３１２ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３１２から読み出される。また、デプスマップ３４ｂおよび付加情報３１２ｃは、読み出し書き込み部３３によって、適宜、記録媒体３１２に書き込まれたり、記録媒体３１２から読み出される。

図１８の画像処理装置３１１においても、図１の画像処理装置１１と同様の作用効果を奏することができる。なお、図１８の画像処理装置３１１によるデプスマップ生成処理およびデプスマップ最適化処理については、図４および図５のフローチャートを参照して説明した、図１の画像処理装置１１の処理のそれぞれと基本的に同様であるので、その説明は省略する。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は以下のような構成をとることができる。
（１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備え、
前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
画像処理装置。
（２） 前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
（１）に記載の画像処理装置。
（３） 前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
（２）に記載の画像処理装置。
（４） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
（３）に記載の画像処理装置。
（５） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
（３）に記載の画像処理装置。
（６） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
（３）に記載の画像処理装置。
（７） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
（３）に記載の画像処理装置。
（８） 前記記録媒体をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記記録媒体は外付けされる
（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
（１）乃至（８）に記載の画像処理装置。
（１１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
補正された前記奥行き情報を前記記録媒体に上書きする
ステップを含む画像処理方法。
（１２） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
を含む処理をコンピュータに実行させるプログラム。

１１ 画像処理装置， ３１ デプスマップ生成部， ３２ 付加情報生成部， ３３ 読み出し書き込み部， ３４ 記録媒体， ３４ａ コンテンツ， ３４ｂ デプスマップ， ３４ｃ 付加情報， ３５ デプスマップ最適化部， ５１ デプスマップ補正部， ５２ 付加情報更新部， ３１１ 画像処理装置， ３１２ 記録媒体， ３１２ａ コンテンツ， ３１２ｂ デプスマップ， ３１２ｃ 付加情報

Claims (12)

1. 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
   前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
   を備え、
   前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
   画像処理装置。
2. 前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
   前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
   前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
   請求項１に記載の画像処理装置。
3. 前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
   前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
   請求項２に記載の画像処理装置。
4. 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
   前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
   請求項３に記載の画像処理装置。
5. 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
   前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
   請求項３に記載の画像処理装置。
6. 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
   前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
   請求項３に記載の画像処理装置。
7. 前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
   前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
   請求項３に記載の画像処理装置。
8. 前記記録媒体をさらに備える
   請求項１に記載の画像処理装置。
9. 前記記録媒体は外付けされる
   請求項１に記載の画像処理装置。
10. 前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
    前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
    請求項１に記載の画像処理装置。
11. 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
    前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
    を備える画像処理装置の画像処理方法において、
    前記画像処理装置が、
    動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
    読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
    補正された前記奥行き情報を前記記録媒体に上書きする
    ステップを含む画像処理方法。
12. 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
    前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
    前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
    を含む処理をコンピュータに実行させるプログラム。

Images