JP2016225811A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 立体表示画像を二次元画像として観察した場合の違和感を低減する。
【解決手段】 画像処理装置が、同じ被写体を異なる視点から見た場合の複数の画像を表わす多視点画像データを取得する取得手段と、前記多視点画像データに対して、前記複数の画像の間の視差の大きさに応じたぼかし処理を行う処理手段と、前記処理手段により前記ぼかし処理が行われた前記多視点画像データを用いて、前記被写体の立体視に用いる立体視画像データを生成する生成手段とを有する。
【選択図】 図９

Description

本発明は、立体表示に用いる画像データを生成する方法に関する。

複数の視点から撮像する撮像装置が存在する。特許文献１には、筐体に二つの撮像部を備えることで、左右２視点から見た画像を取得できるステレオカメラが記載されている。ステレオカメラによって取得された左右視点画像からは、３Ｄディスプレイに表示するための、立体視用の立体表示画像を生成することができる。

また、特許文献２には、撮像レンズを通過した光線を、該撮像レンズにおいて通過した領域ごとに撮像素子上の異なる画素に集光させることで、複数の異なる視点から見た場合の多視点画像を取得できるＰｌｅｎｏｐｔｉｃカメラが記載されている。Ｐｌｅｎｏｐｔｉｃカメラによって取得された画像からも、ステレオカメラの場合と同様に、立体表示画像を生成することができる。Ｐｌｅｎｏｐｔｉｃカメラによって取得された多視点画像は、撮像レンズにおいて連続する複数の部分領域を開口として撮像された画像であるので、同一の被写体に対応する点像は各視点画像の間で連続性を有している。そのため、複数の視点画像を合成して生成される立体表示画像においては、各視点の画像の点像は合成され、３Ｄメガネなしで立体表示画像を観察した際に、各視点の画像の点像はまとまった一つの点像として知覚される。そのため、Ｐｌｅｎｏｐｔｉｃカメラで撮像された画像から生成された立体表示画像は、３Ｄメガネをかけない場合は、違和感のない２Ｄ画像として観賞することが可能である。

なお、特許文献２には、Ｐｌｅｎｏｐｔｉｃカメラにより取得された画像の間の視差を画像処理により拡大することで、立体表示画像の立体感を増幅させる技術が記載されている。

特開２０１２−９３７７９号公報 特開２０１３−１１５５３２号公報

特許文献１に示すようなステレオカメラにより撮像された画像では、各視点画像の点像同士が連続性を有していない。そのため、ステレオカメラにより撮像された画像から生成された立体表示画像を３Ｄメガネをかけずに観察した場合、同じ被写体点に対応する左右視点の画像の点像はそれぞれ異なる点像として知覚され、違和感のある画像となってしまう。また、Ｐｌｅｎｏｐｔｉｃカメラにより撮像された画像から立体表示画像を生成した場合においても、特許文献２の技術によって各視点画像の視差を拡大した場合には、３Ｄメガネをかけずに画像を観察した際に違和感が生じてしまう。これは各視点画像の点像同士の連続性が失われるためである。そこで本発明は、立体表示画像を二次元画像として観察した場合の違和感を低減することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、同じ被写体を異なる視点から見た場合の複数の画像を表わす多視点画像データを取得する取得手段と、前記多視点画像データに対して、前記複数の画像の間の視差の大きさに応じたぼかし処理を行う処理手段と、前記処理手段により前記ぼかし処理が行われた前記多視点画像データを用いて、前記被写体の立体視に用いる立体視画像データを生成する生成手段とを有することを特徴とする。

本発明によれば、立体表示画像を二次元画像として観察した場合の違和感を低減することができる。

実施例１に係る画像処理装置の構成を示すブロック図。 実施例１に係る撮像装置の内部構成を示す図。 Ｐｌｅｎｏｐｔｉｃカメラの機能を説明する図。 Ｐｌｅｎｏｐｔｉｃカメラの基線長、点像の大きさ、視差の関係を示す図。 Ｐｌｅｎｏｐｔｉｃカメラにより撮像された点像の例を示す図。 視差拡大が点像に与える影響を示す図。 実施例１に係る画像処理装置の機能構成を示すブロック図。 実施例１に係る画像処理装置で行われる処理の流れを示すフローチャート。 実施例１に係る画像処理装置で行われるぼかし処理の流れを示すフローチャート。 実施例１に係る画像処理装置で行われるぼかし処理の概要を説明する図。 実施例１に係る画像処理装置で行われるぼかし処理の結果の例を示す図。 立体表示画像の例を示す図。 実施例２に係る撮像装置の内部構成を示す図。 ステレオカメラにより撮像された点像の例を示す図。 実施例２に係る画像処理装置で行われるぼかし処理の結果の例を示す図。

＜実施例１＞
本実施例では、Ｐｌｅｎｏｐｔｉｃカメラで取得した左右視点画像の視差を拡大した画像から立体表示画像を生成する例について説明する。本実施例では、視差を拡大した左右視点画像に対して後述するぼかし処理を施し、ぼかし処理を施した左右視点画像を用いて立体表示画像を生成する。これにより、二次元画像として観察しても違和感のない立体表示画像を生成することができる。なお、ここで立体表示画像とは、画像の行毎に右視点画像と左視点画像と互い違いに表示されるラインバイライン方式や、右視点画像と左視点画像とを高速に切り替えて表示する時分割表示などの立体表示法に用いられる画像のことを示す。立体表示画像を３Ｄメガネを用いずに視聴した場合、視聴者には右視点画像と左視点画像とを足し合わせた二次元画像が知覚される。

図１は、本実施例に係る画像処理装置の構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤＩ／Ｆ１０４、ＨＤＤ１０５、入力部１０６、システムバス１０７により構成され、画像処理装置１００には撮像装置１０８、外部メモリ１０９が接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して後述する各構成を統括的に制御するプロセッサである。プログラムを実行したＣＰＵ１０１により、後述する様々な処理が実行される。

ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介してＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。なお、二次記憶装置はＨＤＤ以外にも、光ディスクドライブ等の他の記憶デバイスを用いることができる。

入力部１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力部１０６を介して、撮像装置１０８、外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得することができる。本実施例における撮像装置１０８は、Ｐｌｅｎｏｐｔｉｃカメラである。Ｐｌｅｎｏｐｔｉｃカメラの詳細については後述する。なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

図２は、実施例１における撮像装置１０８（Ｐｌｅｎｏｐｔｉｃカメラ）の内部構成を示す図である。撮像装置１０８は、メインレンズ２０１、絞り２０２、シャッター２０３、マイクロレンズアレイ２０４、光学ローパスフィルタ２０５、ｉＲカットフィルタ２０６、カラーフィルタ２０７、撮像素子２０８及びＡ／Ｄ変換部２０９を有している。以下では、メインレンズ２０１は一枚のレンズであるとして説明を行うが、実際はズームレンズやフォーカスレンズなどの複数のレンズから構成される。撮像装置１０８の被写界深度や入射光量は、絞り２０２を調整することにより調整可能である。マイクロレンズアレイ２０４は、一般的な集光用マイクロレンズとは異なる。一般的な集光用マイクロレンズでは撮像素子の各画素それぞれに一つのマイクロレンズ例えば凸レンズ）が配置されるが、マイクロレンズアレイ２０４では、複数画素に対して一つのマイクロレンズ（例えば、２画素に一つ）が配置される。なお、マイクロレンズアレイ２０４の各レンズのサイズに関わらず、上記の機能を有するレンズアレイをマイクロレンズアレイと呼ぶことにする。

図３は、実施例１における撮像装置１０８（Ｐｌｅｎｏｐｔｉｃカメラ）の機能を説明するための図である。撮像装置１０８は、メインレンズ２０１上の領域のうち、領域３０１を通る光束と領域３０２を通る光束とを異なる画素に集光する機能を持つ。図３の例では、領域３０１を通る光束が画素３０３〜３０５（Ｒ画素）に集光され、領域３０２を通る光束が画素３０６〜３０８（Ｌ画素）に集光される。なお、図３では画素３０３〜３０８に入射する光束の例のみを示しているが、撮像素子２０８上の他の画素についても同様にＲ画素とＬ画素が存在する。Ｒ画素の出力のみを集めて画像を生成すると、領域３０１の中心３０９を視点とした画像（右視点画像）を生成でき、Ｌ画素の出力のみを集めて画像を生成すると、領域３０２の中心３１０を視点とした画像（左視点画像）を生成することができる。このように、Ｐｌｅｎｏｐｔｉｃカメラでは、複数の異なる視点に対応する画像を取得することができる。以後、右視点画像と左視点画像をまとめて左右視点画像と呼ぶこととする。また、領域３０１の中心３０９と領域３０２の中心３１０の間の距離３１１を左右視点画像の間の基線長と呼ぶ。なお、メインレンズ２０１上の各位置を通る光が画素に集光された際の各光の強度は、それぞれが通過したメインレンズ２０１上の位置によって異なるため、メインレンズの領域の中心ではなく、光の強度分布の重心を視点としてもよい。なお、以後の説明では、メインレンズの各領域の中心を各画像の視点として説明するが、本発明の実施例はこれに限定されない。また、以下ではメインレンズの二つの部分領域の光線を弁別するＰｌｅｎｏｐｔｉｃカメラを例に説明するが、本発明の実施例はこれに限定されない。例えば、メインレンズの領域を二つより多くの部分領域の光線を弁別するＰｌｅｎｏｐｔｉｃカメラに対しても本発明は適用可能である。この場合には、各部分領域に対応する画像同士を重畳することで左右視点画像を生成して本発明を適用してもよいし、全部分領域から選択した二つの部分領域に対応する画像を左右視点画像として本発明を適用してもよい。

図４は、実施例１における撮像装置１０８により撮像される左右視点画像の間の基線長、各画像における点像の大きさ、および各画像の間の視差の関係を示す図である。面４０１は被写体側焦点面、面４０２はカメラ側焦点面、面４０３はセンサ面、点４０４は被写体点を示している。基線長（視点３０９と視点３１０との距離）をｒ、焦点距離をｆとする。また、メインレンズ２０１と被写体側焦点面４０１との距離をｓ、メインレンズ２０１と被写体点４０４との距離をｓ’、メインレンズ２０１とカメラ側焦点面４０２との距離をｐ、メインレンズ２０１とセンサ面４０３との距離をｑとする。この時、左右視点画像の間の視差ｄ（被写体点４０４から出た光が視点３０９を通って入射する画素と視点３１０を通って入射する画素との距離）は、式（１）で表される。

また、被写体点４０４のセンサ面４０３上での点像の大きさｂは、式（２）で表される。
ｂ＝２ｄ （２）
ここで、撮像装置１０８（Ｐｌｅｎｏｐｔｉｃカメラ）の基線長ｒはメインレンズ２０１の大きさによって制限されるため、Ｐｌｅｎｏｐｔｉｃカメラの基線長ｒはステレオカメラの基線長と比べて小さい場合が多い。式（１）、（２）から視差ｄは基線長ｒに比例する。一般に視差ｄが小さいほど左右視点画像を３Ｄディスプレイに表示した際の立体表示画像の立体感（飛び出し量や奥行き）も小さくなるので、撮像装置１０８で取得できる立体表示画像は立体感が小さいと言える。そこで、本実施例の画像処理装置１００は画像処理によって左右視点画像の間の視差を拡大する（以下、この処理を視差拡大と呼ぶ）。視差拡大の方法としては、様々な公知技術を用いることができる。例えば、ステレオマッチングによって左右視点画像の間で互いに被写体上の同一の点に対応する画素位置を導出し、導出された画素位置同士のずれがより大きくなるように、各画素の位置を移動させる方法を用いることができる。なお、視差拡大処理の内容は本発明の主眼ではないため、これ以上の詳細な説明は省略する。

以下、視差拡大が立体表示画像に与える影響について図５および図６を示す影響について説明する。図５は、実施例１における撮像装置１０８によって撮像された一つの点像分布を模式的に示す図である。図５（ａ）は右視点画像における点像分布を、図５（ｂ）は左視点画像における点像分布を、それぞれ示している。図５（ａ）と図５（ｂ）とに示す点像を有する左右視点画像を合成して立体表示画像を生成すると、図５（ａ）に示す点像と図５（ｂ）に示す点像とは合成されて同じ画像上に表示されるため、観察者からは図５（ｃ）に示すような点像として知覚される。この場合、一つの被写体点に対応する点像が一つの点像として知覚されるため、３Ｄメガネを用いなくても違和感のない二次元画像として立体表示画像を観察することができる。これは、右視点画像の点像に対応する画像領域と左視点画像の点像に対応する画像領域が互いに接しているために起こる。このように、二つの点像に対応する画像領域の間に間隔がなく、合成すると連続した一つの点像となる状態を、以後「（点像同士が）連続性を有する」と称する。

一方、図６は視差拡大を行った左右視点画像における点像分布を模式的に示す図である。図６（ａ）は右視点画像における点像分布を、図６（ｂ）は左視点画像における点像分布を、それぞれ示している。それぞれ、撮像装置１０８の光軸中心から少し外側にずれた位置に像が移動されている。このような左右視点画像を合成して立体表示画像を生成すると、図６（ａ）と図６（ｂ）に示す点像がそれぞれ合成され、図６（ｃ）に示すような点像として知覚される。このような場合では、立体表示画像を二次元画像として観察した場合に、一つの被写体点に対応する点像が二つに分離して知覚されるため、観察者にとって違和感のある画像となってしまう。これは、視差拡大処理によって左右視点画像の間の点像同士の連続性が失われたことに起因する。

以上の問題を解決するために、実施例１では、Ｐｌｅｎｏｐｔｉｃカメラで取得した左右視点画像に視差拡大を行った画像に対して、後述するぼかし処理を施すことで、二次元画像としても違和感なく視聴できる立体表示画像を生成する方法について述べる。なお、以下において、「二次元画像として視聴できる」とは、「左右視点画像のズレによるアーティファクトの影響が小さい状態で視聴できる」ということを意味するものとする。

以下、実施例１の画像処理装置１００で行われる処理について、図７に示すブロック図と図８に示すフローチャートを参照して説明する。本実施例の画像処理装置１００では、ＣＰＵ１０１が、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行することで、図７に示す各ブロックとして図８に示す処理を実行する。なお、画像処理装置１００の構成はこれに限られず、図７に示す各ブロックに対応する専用の処理回路をそれぞれ備えるようにしてもよい。

ステップＳ８０１では、画像取得部７０１が、撮像装置１０８により撮像された左右視点画像を取得する。画像取得部７０１は、取得した左右視点画像を視差取得部７０２と視差拡大部７０３とに出力する。

ステップＳ８０２では、視差取得部７０２が、画像取得部７０１から入力された左右視点画像の各画素における視差の大きさを示す視差マップを取得する。視差マップの取得方法としては様々な方法を利用することができる。例えば、被写体に光を照射する光源と、被写体で反射された光を受光するセンサとを撮像装置１０８に設け、照射した光が受光されるまでの時間に基づいて被写体の距離を推定し、得られた距離情報から視差を決定してもよい。また、左右視点画像の間でブロックマッチングを行うことにより視差を決定してもよい。本実施例では、視差取得部７０２が、左右視点画像の間でブロックマッチングを行うことにより視差マップを取得する。視差取得部７０２は、左視点画像に対応する視差マップと右視点画像に対応する視差マップとを生成し、視差拡大部７０３に出力する。なお、ここで生成される視差マップでは、各画素について、もう一方の視点の画像において対応する画素が存在する画素位置との差の値が格納される。例えば、被写体上の一つの点に対応する画素の位置が左視点画像において（１０、５０）、右視点画像において（２０、５０）の場合は、左視点の視差マップの画素位置（１０、５０）に値＋１０が格納される。また、右視点の視差マップの画素位置（２０、５０）には値−１０が格納される。

ステップＳ８０３では、視差拡大部７０３が、視差取得部７０２から入力された視差マップに基づいて、画像取得部７０１から入力された左右視点画像に対して視差拡大処理を行う。ここで行う視差拡大処理は、各画素における左右視点画像の間の視差の大きさを、所定の倍率で拡大する処理である。左視点の視差マップに格納されている視差の値をｄ、右視点の視差マップに格納されている視差の値を−ｄとする。この場合、左右視点画像の間の視差の大きさをａ｜ｄ｜（ａは１より大きい実数）とするためには、左視点画像の画素の画素位置を−（ａ−１）ｄ／２画素動かし、右視点画像の画素の画素位置を＋（ａ−１）ｄ／２画素動かせばよい。視差拡大部７０３は、各画素をシフトさせることで視差拡大を行った左右視点画像を生成し、ぼかし部７０４に出力する。なお、ここで視差拡大部は、左右視点画像に対応する２枚の視差マップにも視差拡大の結果を反映する。すなわち、視差マップにおける画素位置を左右視点画像と同様にシフトさせ、画素値がｄであった画素の画素値をａｄとする。視差拡大部７０３は、視差拡大の結果を反映した視差マップもぼかし部７０４に出力する。

ステップＳ８０４では、ぼかし部７０４が、視差拡大部７０３から入力された、視差拡大が行われた左右視点画像に対してぼかし処理を行う。この処理の詳細については後述する。ぼかし部７０４は、ぼかし処理を行った左右視点画像を生成部７０５に出力する。

ステップＳ８０５では、生成部７０５が、ぼかし部から入力されたぼかし処理済みの左右視点画像を用いて、立体表示画像を生成し、処理を終了する。なお、ここで行う立体表示画像の生成方法としては、様々な公知の技術を利用することができる。本実施例では、左右視点画像を合成することで画像の画素行毎に右視点画像と左視点画像を切り替えるラインバイライン方式の立体表示画像を生成するものとするが、他の方法で立体表示画像を生成してもかまわない。立体表示画像の生成方法については本発明の主眼ではないので説明を省略する。

以下、ぼかし部７０４で行われるぼかし処理（ステップＳ８０４）の詳細について説明する。図９はぼかし部７０４で行われる処理の流れを示すフローチャートである。図１０はぼかし部７０４で行われるぼかし処理の概要を示す図である。まず、図１０を参照してぼかし部７０４で行われるぼかし処理の概要について説明する。本実施例のぼかし処理では、ぼかす対象の画像データ（以下、入力画像データと呼ぶ）の各画素の画素値をぼかして周囲の画素に広げる処理が行われる。図１０において、係数群１００１は各画素をぼかす際に用いる重み係数である。参照画素を中心とする３×３画素についてそれぞれ重み係数が設定されている。各重み係数は、合計が１になるように中心画素からの距離に応じて決定される。各画素をぼかす処理は、参照した画素の画素値に係数群１００１に示す重み係数をかけた値を、ぼかした結果の画像データ（以下、出力画像データと呼ぶ）においてそれぞれ対応する画素の画素値に加算する処理である。具体的な例を示して説明を行う。

図１０において画像１００２〜１００４は、５×５画素の画像である。各画素を画像１００２の左上から右下方向に向かって画素１〜２５とし、画素１〜２５には画素値ｉ１〜ｉ２５が格納されているとする。画像１００２は、画素１をぼかし処理の対象として参照した場合を示しており、ぼかし処理の結果、画像１００５に示すように、出力画像データの画素値として画素値ｉ１に重み係数をかけた画素値が画素１、２、６、７に割り当てられる。この処理は、言いかえるとぼかし対象の画素の画素値を、ぼかし対象の画素を含む複数の画素に所定の比率で割り振る処理である。同様に、画像１００３は、画素７をぼかし処理の対象として参照した場合を示しており、ぼかし処理の結果、画像１００６に示すように、出力画像データの画素値として画素値ｉ７に重み係数をかけた値が画素１〜３、６〜８、１１〜１３に割り当てられる。同様に、画像１００３は、画素７をぼかし処理の対象として参照した場合を示しており、ぼかし処理の結果、画像１００６に示すように、出力画像データの画素値として画素値ｉ７に重み係数をかけた値が画素１〜３、６〜８、１１〜１３に割り当てられる。同様に、画像１００４は、画素８をぼかし処理の対象として参照した場合を示しており、ぼかし処理の結果、画像１００７に示すように、出力画像データの画素値として画素値ｉ７に重み係数をかけた値が画素２〜４、７〜９、１２〜１４に割り当てられる。同様のぼかし処理を画素１〜２５それぞれに行った結果を全て足し合わせたものを、出力画像データとする。なお、ここで用いる重み係数の値や広がりの大きさは、各画素に対応する視差の大きさに基づいて適宜変更するものとする。この処理により、対応する被写体の視差ごとに適切なぼかし量が設定され、ぼかし処理後の画像が自然な画像となる。

以下、ぼかし部７０４で行われるぼかし処理の具体的な内容について、図９に示すフローチャートを参照して説明する。

ステップＳ９０１では、ぼかし部７０４は、入力された左右視点画像データのうち、どちらの画像データにぼかし処理を行うかを選択する。なお、ぼかし処理はどちらから先に行ってもよいが、ここでは左視点画像に対して先にぼかし処理を行うものとする。

ステップＳ９０２では、ぼかし部７０４が、ステップＳ９０１で選択した画像データにおいて、ぼかし対象の画素を選択する。ステップＳ９０３では、ぼかし部７０４が、視差拡大部７０３から入力された視差マップを参照して、ぼかし対象の画素に対応する視差の値を取得する。

ステップＳ９０４では、ぼかし部７０４が、ステップＳ９０３で取得された視差の値に基づいて、ぼかし対象の画素のぼかし処理に用いる重み係数を決定する。ここでは、公知のぼかしフィルタに用いられる係数群をそのまま用いることが可能である。例えば、以下の式（３）に示すガウシアンフィルタの係数ｈを用いることができる。
ｈ（ｘ，ｙ）＝Ｃｅｘｐ｛−（ｘ^２＋ｙ^２）／（ｄ／２）^２｝ （３）
ここで、ｘ、ｙはぼかし対象の画素を原点とした画像中の画素位置、ｄはぼかし対象の画素に対応する視差、Ｃは適当な定数である。なお、重み係数を設定する範囲を以下の式（４）で示される範囲に制限してもよい。

図１１にぼかし処理結果のイメージを示す。図１１（ａ）において、点像６０１と点像６０２に対しては、それぞれの画素をぼかし形状１１０１および１１０２に示すような円形にぼかす処理が行われる。その結果、ぼかし処理が終了した後の両者の点像を合成すると、図１１（ｂ）に示すように二つの点像が連続的となり、立体表示画像を二次元画像として観察した場合の違和感が小さくなる。

しかしながら、図１１（ａ）（ｂ）に示すように各画素を円形にぼかすようなぼかし処理を行った場合、点像に連続性を持たせるために点像を大きくぼかす必要があり、ぼかし処理による画像の変化が大きくなってしまう。そこで、以下の式（５）に示すような、各画素を楕円形にぼかすようなガウシアンフィルタの計数ｈを用いてぼかし処理を行ってもよい。
ｈ（ｘ，ｙ）＝Ｃｅｘｐ［−｛ｘ^２／（ｄ／２）^２＋ｙ^２／（ｂ／２）^２｝］ （５）
ここで、ｂは点像分布５０１の縦方向の直径である。点像分布の縦方向の直径は、各画素における視差の値と、画像を撮像した撮像装置の光学設計値などから求めることができる。なお、重み係数を設定する範囲を以下の式（６）で示される範囲に制限してもよい。

このような楕円形のぼかし処理を行った場合のイメージを図１１（ｃ）に示す。図１１（ｃ）において、点像６０１と点像６０２に対しては、それぞれの画素をぼかし形状１１０３および１１０４に示すような楕円形にぼかす処理が行われる。その結果、ぼかし処理が終了した後の両者の点像を合成すると図１１（ｄ）に示すような形状となり、ぼかし処理を行う前の点像からの点像の形状の変化が小さくなる。

なお、図１１（ｂ）および図１１（ｄ）に示す例では、左右の点像の繋ぎ目の角が丸くなり、合成した点像の形状が理想的な円形や楕円形と異なってしまうため、別のぼかし形状を用いてぼかし処理を行ってもよい。例えば、図１１（ｅ）に示すように各画素を半月型にぼかすような重み係数を設定してもよい。このような重み係数を設定した場合、図１１（ｆ）に示すように合成後の点像の形状は円形となり、二次元画像としてより自然に視聴可能な立体表示画像を生成することができる。このような重み係数は、重み係数を設定する領域を半月型の領域に限定することで設定が可能である。

ステップＳ９０５では、ぼかし部７０４が、ステップＳ９０４で決定された重み係数群を用いて、ステップＳ９０２で選択された画素にぼかし処理を行うことによって生成された画素値を、出力画像データの画素値に加算し、出力画像データを更新する。なお、出力画像データの初期値として、全ての画素の画素値は０が格納されているものとする。

ステップＳ９０６では、ぼかし部７０４が、ステップＳ９０１で選択された画像データの全ての画素を参照したかどうかを判定する。画像データの全ての画素を既に参照したと判定された場合は、ステップＳ９０７に進む。入力画像データの全ての画素が参照されていないと判定された場合は、ステップＳ９０２に戻り、ぼかし部７０４は新たな画素をぼかし対象として選択してぼかし処理を行う。

ステップＳ９０７では、ぼかし部７０４が、入力された画像データの全ての視点の画像に対してぼかし処理が行われたかどうかを判定する。全ての画像に対してぼかし処理が行われたと判定された場合はステップＳ９０８に進む。全ての画像に対してぼかし処理が行われていないと判定された場合は、ステップＳ９０１に戻り、まだ処理を行っていない画像をぼかし処理の対象として選択する。ステップＳ９０８では、ぼかし処理が終了した画像データを生成部７０５に出力して処理を終了する。

以上が、ぼかし部７０４で行われる処理の詳細である。以上の処理によれば、視差拡大が行われた左右視点画像に対して各画素の視差に応じた自然なぼけを付加できるため、立体表示画像を二次元画像として観察した場合の違和感を低減することができる。

図１２は、ラインバイライン方式で生成された立体表示画像をディスプレイに表示する際に本発明を適用した場合のイメージを示す図である。図１２（ａ）〜（ｃ）は、視差拡大と本発明の適用を行っていない画像であり、図１２（ａ）は右視点画像、図１２（ｂ）は左視点画像、図１２（ｃ）は左右視点画像から生成された立体表示画像を示している。図１２（ａ）および（ｂ）に示す縦線はそれぞれ連続性を有しているため、図１２（ｃ）の立体表示画像を３Ｄ眼鏡をかけずに観察した場合にも、ユーザは表示画像を１本の縦線として認識することができる。

一方、図１２（ｄ）〜（ｆ）は、左右視点画像の視差拡大を行い、ぼかし処理は行っていない場合の画像を示す図である。図１２（ｄ）は右視点画像、図１２（ｅ）は左視点画像、図１２（ｆ）は左右視点画像から生成された立体表示画像を示している。視差拡大の影響により図１２（ｄ）および（ｅ）に示す縦線は連続性を失っているため、図１２（ｆ）の立体表示画像において両者の間に隙間が生じ、ユーザは表示画像を一本の縦線として認識することができなくなってしまう。

図１２（ｇ）〜（ｉ）は、視差拡大と本実施例に示すぼかし処理との両方を行った画像である。図１２（ｇ）は右視点画像、図１２（ｈ）は左視点画像、図１２（ｉ）は左右視点画像から生成された立体表示画像を示している。本実施例のぼかし処理により、左右視点画像の間で縦線の連続性が回復されているため、図１２（ｉ）の立体表示画像において、ユーザは表示画像を一本の縦線として認識できるようになる。

なお、本実施例において、ぼかし部７０４は同じ被写体を異なる視点から見た場合の複数の画像を表わす多視点画像データを取得する取得手段として機能する。また、本実施例において、ぼかし部７０４は前記多視点画像データに対して、前記複数の画像の間の視差の大きさに応じたぼかし処理を行う処理手段としても機能する。また、生成部７０５は、前記処理手段により前記ぼかし処理が行われた前記多視点画像データを用いて、前記被写体の立体視に用いる立体視画像データを生成する生成手段として機能する。また、視差拡大部７０３は、前記複数の画像の間の視差の大きさを、前記複数の画像の各画素について示す視差情報を取得する視差取得手段として機能する。

＜実施例２＞
実施例１では、Ｐｌｅｎｏｐｔｉｃカメラで取得した左右視点画像の視差を拡大した画像に対してぼかし処理を施すことで、二次元画像として観察しても違和感が少ない立体表示画像を生成する方法について説明した。実施例２では、ステレオカメラで取得した左右視点画像に対してぼかし処理を施すことで、二次元画像として観察しても違和感が少ない立体表示画像を生成する場合について説明する。基本的な処理の内容は実施例１と同様であるので、実施例１との差異についてのみ説明する。

図１３は、実施例２における撮像装置１０８（ステレオカメラ）の内部構成を示す図である。実施例２における撮像装置１０８は、実施例１における撮像装置の撮像部からマイクロレンズアレイ２０４を除いた撮像部を二つ有しており、互いに視差のついた左右視点画像を撮像により取得することができる。

図１４は、実施例２における撮像装置１０８によって撮像された一つの点像分布を模式的に示す図である。図１４（ａ）は視点画像の点像分布を、図１４（ｂ）は左視点画像の点像分布をそれぞれ示している。また、図１４（ｃ）は右視点画像の点像分布１４０１と左視点画像の点像分布１４０２を合成した点像分布を示している。図１４（ｃ）に示されるように、実施例２における撮像装置１０８（ステレオカメラ）においては、各点像はそれぞれ独立した異なる光学系を介して撮像される。つまり、二つの撮像部の開口が連続していないため、視差拡大をしない場合でも、左右視点画像の点像同士が連続性を有していない。そのため、撮像により得られた左右視点画像から生成された立体表示画像を二次元画像として観察すると、一つの被写体点に対応する点像が二つに分離して知覚されるため、観察者にとって違和感のある画像となってしまう。そこで、実施例１に示したぼかし処理により、左右視点画像をぼかして立体表示画像を生成することで、二次元画像として観察しても違和感が少ない立体表示画像を生成することができる。なお、実施例２において、撮像装置１０８に撮像された左右視点画像の点像同士は、視差拡大を行っていない状態であっても連続性を有していないので、実施例２ではステップＳ８０３の視差拡大処理を省略してもよい。

図１５は、実施例２におけるぼかし処理の例を示す図である。図１５（ａ）、（ｂ）は左右視点画像の点像をそれぞれ半月型にぼかす処理を行った例を示す図であり、図１５（ｃ）はぼかし処理が行われた点像同士を合成した点像の例を示す図である。このように、ステレオカメラによって撮像された左右視点画像に対してぼかし処理を行った場合にも、立体表示画像を二次元画像として観察した場合の違和感を低減することができる。なお、ぼかし処理後の点像の形状は、ぼかし処理を行う前の点像の形状と、ぼかし処理に用いた重み係数群の形状との両方に依存するので、ぼかし処理後の点像の形状が半月型に近くなるように重み係数群の形状を決定するのが良い。

＜その他の実施例＞
なお、本発明の実施形態は上記の実施例に限られるものではない。例えば、上記の実施例では人間の左目に対応する左視点画像と人間の右目に対応する右視点画像のみを用いて立体表示画像を生成する例について説明したが、もっと多くの視点の画像から立体表示画像を生成してもよい。たとえば、両目の間の幅が異なる人が同時に立体表示画像を知覚できるように互いに視差の大きさが異なる２組の左右視点画像を組み合わせた４枚の画像から立体表示画像を生成してもよい。また、異なる向きからでも立体表示画像を知覚できるように、左右視点の画像だけでなく上下の視点の画像も用いて立体表示画像を生成する場合にも本発明を適用することは可能である。また、２視点よりも多くの視点の画像を合成して左右視点の画像を生成したり、２視点よりも多くの視点の画像から左右視点画像を選択したりする場合にも本発明は適用可能である。この場合には、視点の分割数がより大きいＰｌｅｎｏｐｔｉｃカメラや、３つ以上のカメラを備えた多眼カメラなどを使用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

７０１ 画像取得部
７０２ 視差取得部
７０３ 視差拡大部
７０４ ぼかし部
７０５ 生成部

Claims (11)

1. 同じ被写体を異なる視点から見た場合の複数の画像を表わす多視点画像データを取得する取得手段と、
   前記多視点画像データに対して、前記複数の画像の間の視差の大きさに応じたぼかし処理を行う処理手段と、
   前記処理手段により前記ぼかし処理が行われた前記多視点画像データを用いて、前記被写体の立体視に用いる立体視画像データを生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記多視点画像データは、人の右目の視点に対応する右視点画像と人の左目の視点に対応する左視点画像とを含み、
   前記立体視画像データは、人の右目が前記右視点画像を観察し、人の左目が前記左視点画像を観察することで前記立体視を行うための画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記ぼかし処理は、前記ぼかし処理の対象の画像の各画素について、該画素の画素値を該画素を含む複数の画素に所定の比率で割り振る処理を行い、割り振られた画素値を各画素について足し合わせた画像を、前記ぼかし処理が行われた画像として出力する処理であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理手段は、前記ぼかし処理の対象の画素からの距離が大きい画素ほど、小さい比率で前記画素値を割り振ることを特徴とする請求項３に記載の画像処理装置。
5. 前記処理手段は、前記ぼかし処理の対象の画素における前記複数の画像の間の視差が大きいほど、より広い範囲に前記ぼかし処理の対象の画素の画素値を割り振ることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記処理手段は、前記ぼかし処理の対象の画素を含む半月型の領域に前記ぼかし処理の対象の画素の画素値を所定の比率で割り振る処理を行うことを特徴とする請求項３乃至５のいずれか一項に記載の画像処理装置。
7. 前記複数の画像の間の視差の大きさを、前記複数の画像の各画素について示す視差情報を取得する視差取得手段を更に有し、
   前記処理手段は、前記視差取得手段により取得された前記視差情報に基づいて前記ぼかし処理を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
8. 前記多視点画像データは、Ｐｌｅｎｏｐｔｉｃカメラにより撮像された前記被写体を異なる視点から見た場合の複数の画像に対して、該複数の画像の間の視差を拡大する視差拡大処理を行った画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
9. 前記多視点画像データは、それぞれ独立した光学系を有する複数の撮像部により撮像された複数の画像を表わすデータであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
10. 同じ被写体を異なる視点から見た場合の複数の画像を表わす多視点画像データを取得する取得工程と、
    前記多視点画像データに対して、前記複数の画像の間の視差の大きさに応じたぼかし処理を行う処理工程と、
    前記処理工程により前記ぼかし処理が行われた前記多視点画像データを用いて、前記被写体の立体視に用いる立体視画像データを生成する生成工程とを含むことを特徴とする画像処理方法。
11. コンピュータを請求項１乃至７のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images