JP2011211551A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】歪みがなく且つ立体感のある多視点画像を生成する。
【解決手段】複数の視点画像を取得する画像入出力手段と、複数の視点画像間で互いに対応する画素を検出する対応画素検出手段と、画素間の視差量を算出し、視差量の分布を示す初期の視差マップを生成する視差マップ生成手段と、予め定められた外形形状および視差量分布を示す複数の視差テンプレートを記憶する記憶手段と、視差マップ内の部分領域と視差テンプレートとを比較することで、記憶手段に記憶された複数の視差テンプレートのうちから前記部分領域に対応する視差テンプレートを選択する視差テンプレート選択手段と、選択された視差テンプレートで置き換える置換手段と、複数の視点画像および前記置換手段により部分領域を選択された視差テンプレートで置き換えられた視差マップに基づいて、複数の視点画像よりも視点数が多い多視点画像を生成する多視点画像生成手段を備えた。
【選択図】図１

Description

本発明は、被写体を複数の視点からそれぞれ撮像して生成された複数の画像から視差マップを作成する画像処理装置および画像処理方法に関する。

複数視点で被写体を撮像する３Ｄデジタルカメラ（立体撮像装置）、および、３Ｄ写真プリントを作成する３Ｄ写真プリンタ（立体画像印刷装置）が提供されている。

例えば、３Ｄデジタルカメラにより左右の２視点で被写体を撮像して２視点画像（左視点画像および右視点画像）を取得し、視点画像間で対応点を検出し、視点画像間の視差を示す視差マップ（奥行きマップ）を作成し、２視点画像および視差マップに基づいて中間視点画像を生成し、２視点画像に中間視点画像を追加した多視点画像をレンチキュラーシートに印刷する（特許文献１を参照）。

また、特許文献２には、滑らかな中間視点画像を生成するため、視差マップに対し平滑化処理を行う構成が開示されている。

特開２００１−３４６２２６号公報 特開２０００−２１５３１１号公報

特許文献１に記載の構成では、２視点画像から抽出した視差マップをそのまま使って多視点画像を生成しているので、視点画像間の対応点検出の誤りや、一方の視点からは見えるが他方の視点からは見えない領域が存在すること（オクルージョン）に因り、適切な視差マップが生成されず、多視点画像が歪んでしまう問題がある。

特許文献２に記載の構成では、平滑化処理により、視差マップ中の視差の変化が緩やかになるため、その視差マップに基づいて生成された多視点画像の立体感が乏しくなる問題がある。

本発明はこのような事情に鑑みてなされたもので、歪みが少なく且つ立体感のある多視点画像を生成することができる画像処理装置および画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、被写体を複数の視点からそれぞれ撮像して生成された複数の視点画像を取得する画像取得手段と、前記複数の視点画像間で互いに対応する画素を検出する対応画素検出手段と、前記複数の視点画像間で互いに対応する画素間の視差量を算出し、前記複数の視点画像における前記視差量の分布を示す初期の視差マップを生成する視差マップ生成手段と、予め定められた外形形状および視差量分布を示す複数の視差テンプレートを記憶する記憶手段と、前記視差マップ内の部分領域と前記視差テンプレートとを比較することで、前記記憶手段に記憶された前記複数の視差テンプレートのうちから前記部分領域に対応する前記視差テンプレートを選択する視差テンプレート選択手段と、前記視差マップ内の前記視差テンプレートに対応する前記部分領域を、選択された前記視差テンプレートで置き換える置換手段と、前記複数の視点画像および前記置換手段により前記部分領域を前記選択された視差テンプレートで置き換えられた前記視差マップに基づいて、前記複数の視点画像よりも視点数が多い多視点画像を生成する多視点画像生成手段と、を備えたことを特徴とする画像処理装置を提供する。

即ち、予め定められた外形形状および視差量分布を示す複数の視差テンプレートを用意しておき、視差マップ内の部分領域と視差テンプレートとを比較することで視差テンプレートを選択し、視差マップ内の視差テンプレートに対応する部分領域を選択された視差テンプレートで置き換えるので、置換後の視差マップにより生成される多視点画像に対応点誤検出による歪みやオクルージョン歪みが発生せず、且つ、立体感のある多視点画像を生成することができる。

本発明の一実施形態では、前記初期の視差マップに対しぼかし処理を行うぼかし処理手段を備え、前記視差テンプレート選択手段は、ぼかし処理が施された前記視差マップに基づいて前記視差テンプレートの選択を行うことを特徴とする。即ち、対応画素を検出できなかったオクルージョン領域などの視差量が滑らかになることにより、適切な視差テンプレートを選択できるとともに、適切な多視点画像が得られることになる。

本発明の一実施形態では、前記画像取得手段は、第１の視点画像および第２の視点画像を取得し、前記視差マップ生成手段は、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、前記記憶手段は、前記第１の視差マップ内の部分領域と比較される第１の視差テンプレートと、前記第２の視差マップ内の部分領域と比較される第２の視差テンプレートとを記憶し、前記視差テンプレート選択手段は、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、前記置換手段は、選択された前記第１の視差テンプレートおよび前記第２の視差テンプレートのうち背景領域と比較して視差量の差分が大きい方の視差テンプレートで、前記第１の視差マップおよび前記第２の視差マップのうち少なくとも一方の前記部分領域を置き換えることを特徴とする。即ち、背景領域との距離が強調された立体感のある多視点画像を生成することができる。

本発明の一実施形態では、前記画像取得手段は、第１の視点画像および第２の視点画像を取得し、前記視差マップ生成手段は、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、前記記憶手段は、前記第１の視差マップ内の部分領域と比較される第１の視差テンプレートと、前記第２の視差マップ内の部分領域と比較される第２の視差テンプレートとを記憶し、前記視差テンプレート選択手段は、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、前記置換手段は、選択された前記第１の視差テンプレートで前記第１の視差マップの前記部分領域を置き換えると共に、選択された前記第２の視差テンプレートで前記第２の視差マップの前記部分領域を置き換えることを特徴とする。即ち、複数の視点画像間で視差が大きい場合でも、各視点ごとの視差分布に対応した適切な視差テンプレートの選択および置換が行われるので、現実の視差に応じた適切な多視点画像が生成されることになる。

本発明の一実施形態では、前記視差マップのうち対応する視差テンプレートが無い部分領域に対し該部分領域内の視差量の平均値を適用する平均値適用手段を備えたことを特徴とする。即ち、視差テンプレートが無い領域で視差が滑らかになるので、多視点画像における立体感の不自然さが無くなる。

本発明の一実施形態では、前記視差マップのうち対応する視差テンプレートが無い部分領域に対し前記視差マップの背景領域の視差量を適用する背景視差量適用手段を備えたことを特徴とする。即ち、視差テンプレート化された領域の立体感が強調されることになる。

本発明の一実施形態では、前記視差マップのうち対応する視差テンプレートが無い部分領域に対しぼかし処理を行うことを特徴とする。即ち、視差テンプレートが無い部分領域で視差が滑らかになるので、多視点画像における立体感の不自然さが無くなる。

また、本発明は、被写体を複数の視点からそれぞれ撮像して生成された複数の視点画像を取得する画像取得デバイスと、予め定められた外形形状および視差量分布を示す複数の視差テンプレートを記憶する記憶デバイスと、前記複数の視点画像よりも視点数が多い多視点画像を生成する制御デバイスとを用いる画像処理方法であって、前記画像取得デバイスにより、前記複数の視点画像を取得する画像取得工程と、前記制御デバイスにより、前記複数の視点画像間で互いに対応する画素を検出する対応画素検出工程と、前記制御デバイスにより、前記複数の視点画像間で互いに対応する画素間の視差量を算出し、前記複数の視点画像における前記視差量の分布を示す初期の視差マップを生成する視差マップ生成工程と、前記制御デバイスにより、前記視差マップ内の部分領域と前記視差テンプレートとを比較することで、前記記憶デバイスに記憶された前記複数の視差テンプレートのうちから前記部分領域に対応する前記視差テンプレートを選択する視差テンプレート選択工程と、前記制御デバイスにより、前記視差マップ内の前記視差テンプレートに対応する前記部分領域を、選択された前記視差テンプレートで置き換える置換工程と、前記制御デバイスにより、前記複数の視点画像および前記置換手段により前記部分領域を前記選択された視差テンプレートで置き換えられた前記視差マップに基づいて、前記多視点画像を生成する多視点画像生成工程と、を備えたことを特徴とする画像処理方法を提供する。

本発明によれば、歪みが少なく且つ立体感のある多視点画像を生成することができる。

画像処理装置の一例の全体構成図 視差の説明に用いる説明図 多視点画像の一例を示す図 レンチキュラーシートを模式的に示す斜視図 第１実施形態における画像処理の一例の流れを示すフローチャート 第２実施形態における画像処理の説明図であって、（Ａ）は一方の視点画像、（Ｂ）は初期の視差マップ、（Ｃ）はぼかし処理後の視差マップ、（Ｄ）は視差テンプレート、（Ｅ）は視差テンプレート置換後の視差マップのそれぞれ一例を示す図 第３実施形態における画像処理の説明図であって、（Ａ）は左視点画像、（Ｂ）は右視点画像、（Ｃ）は左視差マップ、（Ｄ）は右視差マップのそれぞれ一例を示す図 第３実施形態における画像処理の一例の流れを示すフローチャート 第３実施形態における画像処理の説明図であって、（Ａ）は視差テンプレート置換後の視差マップ、（Ｂ）はテンプレート無し領域に対しその視差量の平均値を適用した場合の視差マップ、（Ｃ）はテンプレート無し領域に対し背景領域の視差量を適用した場合の視差マップのそれぞれ一例を示す図 第４実施形態における画像処理の説明図であって、（Ａ）は一方の視点画像、（Ｂ）は初期の左視差マップ、（Ｃ）は初期の右視差マップ、（Ｄ）は左視差テンプレート、（Ｅ）は右視差テンプレート、（Ｆ）は置換後の左視差マップ、（Ｇ）は置換後の右視差マップのそれぞれ一例を示す図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。

図１において、画像処理装置２は、指示入力手段２１、画像入出力手段２２、ＣＰＵ２３、記憶手段２４、および、表示手段２５を含んで構成されている。ＣＰＵ２３は、対応画素検出手段３１、視差マップ生成手段３２、ぼかし処理手段３３、視差テンプレート選択手段３４、置換手段３５、視差量適用処理手段３６、多視点画像生成手段３７、および、表示制御手段３８を有する。

指示入力手段２１は、指示を入力するための入力デバイスである。例えば、キーボード、ポインティングデバイスなどによって構成される。タッチセンサでもよい。

画像入出力手段２２（画像取得手段）は、画像データ（以下単に「画像」という）の入出力に用いられる入出力デバイスである。例えば、メモリカードなどのリムーバブルな記録メディアとの間でデータ入出力を行う記録メディアインタフェースや、ネットワークとの間でデータ入出力を行うネットワークインタフェースによって構成される。

本例の画像入出力手段２２により、右視点および左視点で被写体をそれぞれ撮像して生成された２枚の視点画像（左視点画像および右視点画像）からなる立体画像（以下「２視点画像」という）が取得される。

ＣＰＵ（Central Processing Unit）２３は、画像処理装置２の各部を制御するとともに、各種の画像処理を実行する。

記憶手段２４は、各種のデータを記憶する記憶デバイスであり、不揮発性のメモリまたはディスクを含んで構成されている。記憶手段２４は、複数の視差テンプレートを記憶する。視差テンプレートは、特定の被写体像（例えば、人、木、花、建物などの像）について予め定められた外形形状および視差量分布を示す。単なる幾何学的な立体形状（球、多面体など）を平面視した外形形状（円、多角形など）とその視差量分布を示すデータであってもよい。

表示手段２５は、液晶表示デバイスなどの表示デバイスである。本実施形態にて、表示手段２５は、２Ｄ表示可能であればよく、３Ｄ（立体）表示可能でなくてもよい。

対応画素検出手段３１は、複数の視点画像（左視点画像および右視点画像）間で互いに対応する画素を検出する。

視差マップ生成手段３２は、画像入出力手段２２により取得された２視点画像に基づいて、視差マップ（「奥行きマップ」ともいう）を作成する。

本明細書にて、視差マップは、２視点画像における画素ごとの視差量分布を示すデータである。視差量として、例えば、互いに対応関係を有する左視点画像内の画素と右視点画像内の画素との座標の差分を用いる。このような視差については後に詳説する。

なお、視差量は、被写体の奥行きに対応する情報であることから、「奥行き情報」あるいは「距離情報」ということもある。視差量として、奥行き量を用いてもよい。

ぼかし処理手段３３は、視差マップ生成手段３２により生成された初期の視差マップに対し、ぼかし処理を行う。即ち、視差マップ内の画素（視差量を示す）をぼかす処理を行う。

視差テンプレート選択手段３４は、視差マップ内の部分領域と記憶手段２４に記憶された視差テンプレートとを比較することで、記憶手段２４に記憶された複数の視差テンプレートのうちから、視差マップ内の部分領域に対応する視差テンプレートを選択する。

置換手段３５は、視差マップ内の視差テンプレートに対応する部分領域を、選択された視差テンプレートで置き換える。

視差量適用処理手段３６は、視差マップのうち対応する視差テンプレートが無い部分領域に対し、特定の視差量を適用する処理（視差量適用処理）を行う。

多視点画像生成手段３７は、２視点画像（右視点画像および左視点画像）および視差マップに基づいて、２視点画像よりも視点数が多い複数の視点画像を含む多視点画像を生成する。つまり、２視点画像および視差マップに基づいて中間視点の視点画像（以下「中間視点画像」という）を生成することで、即ち２視点画像に１視点以上の中間視点画像を追加することで、３視点以上の視点画像からなる多視点画像を生成する。これは例えば、２視点画像よりも視点数を増やした３Ｄ写真プリント用の画像データとして多視点画像を生成することに適用できる。なお、本発明は、元の２視点画像を含まない多視点画像を生成する場合にも適用可能である。

表示制御手段３８は、各種の画像を表示手段２５に表示させる制御を行う。例えば、多視点画像に含まれる複数の視点画像を表示手段２５に視点順に切り替えて平面表示させる。

次に、視差量について、図２を用いて説明する。

図２において、３Ｄデジタルカメラ１は、２視点画像を生成可能な複数の撮像系１１Ｌ、１１Ｒを備える。各撮像系１１Ｌ、１１Ｒは、ズームレンズ、フォーカスレンズおよび絞りを有する撮影光学系と、撮像素子（例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等）を有する。なお、発明の理解を容易にするため、３Ｄデジタルカメラ１にて、基線長ＳＢ（撮像系１１Ｌ、１１Ｒの光軸の間隔）、及び、輻輳角θｃ（撮像系１１Ｌ、１１Ｒの光軸同士が成す角度）は、固定であるものとして説明する。

複数の撮像系１１Ｌ、１１Ｒにより、複数の視点で同一の被写体９１（本例では球体）をそれぞれ撮像することで、２視点画像（左視点画像９２Ｌ及び右視点画像９２Ｒ）が生成される。生成された２視点画像９２Ｌ、９２Ｒは、同一の被写体９１が投影された被写体像９３Ｌ、９３Ｒを、それぞれ含んでいる。２視点画像９２Ｌ、９２Ｒを、３Ｄモニタ６０で重ね合わせて表示することで、立体画像９４が３Ｄ表示（立体表示）される。

３Ｄ写真プリントを行う場合、まず、２視点画像から、図３に示すような多視点画像（視点画像Ａ１〜Ａ６のセット）が作成される。この多視点画像は、合計６視点であり、最も左の視点位置の視点画像Ａ１が図２の３Ｄデジタルカメラ１の左撮像系１１Ｌにより生成された左視点画像９２Ｌに対応し、最も右の視点位置の視点画像Ａ６が図２の３Ｄデジタルカメラ１の右撮像系１１Ｒにより生成された右視点画像９２Ｒに対応し、中間視点位置の視点画像Ａ２〜Ａ５は２視点画像Ａ１，Ａ６から視差マップに基づいて生成された画像（中間視点画像）である。次に、多視点画像Ａ１〜Ａ６を、例えば図４に示すようなレンチキュラーシート１００に印刷する。図４のレンチキュラーシート１００の一方の面には、かまぼこ状で透光性のレンチキュラーレンズ１１０が形成され、他方の面には、インクを受容する受容層１２０が形成されている。多視点画像Ａ１〜Ａ６は、それぞれ、受容層１２０の各帯状領域１２１〜１２６にインクにより印刷される。

観察者は、レンチキュラーシート１００の受容層１２０側に印刷された多視点画像をレンチキュラーレンズ１１０側から両眼で観察することで、図２に示した場合（即ち観察者９５が３Ｄモニタ６０上の立体画像９４を観察した場合）と同様、被写体像を立体視することができる。

図２にて観察者９５が両眼９６Ｌ、９６Ｒから立体画像９４を観察すると、被写体の虚像９７が飛び出して見える。尚、図２では、光軸間の輻輳点９９（クロスポイント）よりも近い位置に被写体９１が存在したので虚像９７が手前側に飛び出して見えるが、輻輳点９９よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。

図２にて被写体距離Ｓが輻輳点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、被写体像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦの差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、視点画像９２Ｌ、９２Ｒ間で対応画素同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これをＡＰとして表す。つまり、基線長ＳＢ及び輻輳角θｃが決まっていれば、輻輳点９９よりも前では被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。

各視点画像における画素の奥行き情報は、基線長ＳＢ、輻輳角θｃおよび焦点距離が定まっていれば、図２のＡＰを用いて表すことができる。例えば、輻輳点９９よりも前に被写体９１がある場合には、ＡＰに正の符号を付した値が奥行き情報（視差）となり、輻輳点９９よりも後に被写体９１がある場合には、ＡＰに負の符号を付した値が奥行き情報（視差）となる。輻輳点９９に対応する奥行き情報は０（ゼロ）である。この場合、奥行き情報が正の場合には、値が大きいほど飛び出し量ＡＤが大きくなり、奥行き情報が負の場合、絶対値が大きいほど引き込み量が大きくなる。なお、奥行き情報は、被写体距離Ｓにも対応するので、被写体距離Ｓを用いて表すことも可能である。

また、基線長ＳＢ及び輻輳角θｃが一定である場合を例に説明したが、輻輳角θｃが可変である構造の場合には、輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、輻輳角θｃに加えて基線長ＳＢも可変である構造の場合には、基線長ＳＢ及び輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、基線長ＳＢ及び輻輳角θｃが一定であっても、２視点画像９２Ｌ、９２Ｒ間で画素ずらしを行って視差量ＡＰを変更した場合には、飛び出し量ＡＤも変わってくる。

なお、図２〜図４は、本発明の理解のために一例を紹介したのであって、このような場合に特に限定されない。図２に示した３Ｄデジタルカメラ１を用いないで、例えば、複数のデジタルカメラを用いて被写体を立体撮像した場合や、単一の撮影光学系を用いて瞳分割で被写体を立体撮像した場合でも本発明を適用可能である。また、３Ｄ写真プリントは、レンチキュラーシートに印刷する場合に特に限定されない。

以下では、各種の実施形態に分けて、本発明について説明する。

＜第１実施形態＞
まず、第１実施形態について、説明する。

図５は、図１の画像処理装置２における本実施形態の画像処理の一例の流れを示すフローチャートである。

ステップＳ２にて、画像入出力手段２２により、２視点画像を取得する。この２視点画像は、左右の２視点で被写体をそれぞれ撮像して生成された左視点画像および右視点画像からなる。図６（Ａ）は、取得された一方の視点画像例を示す。

ステップＳ４にて、対応画素検出手段３１により、右視点画像と左視点画像とで互いに対応する画素（対応画素）を検出する。例えば、右視点画像と左視点画像とで、木の像の画素同士、人の像の画素同士、建物の像の画素同士を対応付ける。

ステップＳ６にて、視差マップ生成手段３２により、右視点画像と左視点画像とで対応画素間の視差量を算出し、２視点画像における画素単位の視差量分布（視差と画素との対応関係）を示す初期の視差マップを作成する。図６（Ｂ）は、視差マップの一例を示す。視差量は、例えば、左視点画像の画素の座標と右視点画像の画素の座標との差で表される。本例の視差マップは、符号付き視差量の配列で表され、正符号であるか負符号であるかにより、クロスポイント（輻輳点）よりも手前側に被写体が位置していたか、それともクロスポイント点よりも奧側に被写体が位置していたかを示す。なお、両視点画像の画素間で対応関係を検出できないオクルージョン領域については、その周囲の画素の視差量等に基づいて、視差量の補間が行われる。

ステップＳ８にて、ぼかし処理手段３３により、視差マップの各画素（視差量を示す）に対しぼかし処理を行う。図６（Ｃ）は、ぼかし処理が施された後の視差マップの一例を示す。ぼかし処理は、ガウシアン、移動平均、低周波透過フィルタ等、公知の方法を用いればよく、特に限定されない。

ステップＳ１０にて、視差テンプレート選択手段３４により、視差マップ内の部分領域と記憶手段２４に記憶された視差テンプレートとを比較することで、記憶手段２４に記憶された複数の視差テンプレートのうちから視差マップの部分領域に対応する視差テンプレートを選択する。

図６（Ｄ）は、視差テンプレートの例を示す。視差テンプレートＤ１は木の像に、テンプレートＤ２、Ｄ３は人の像に、視差テンプレートＤ４はビルの像に、それぞれ対応している。視差テンプレートＤ１〜Ｄ４のそれぞれは、予め定められた形状（外形形状および視差量分布）を有している。

なお、視差マップの部分領域と視差テンプレートとで、外形形状は相似していれば、大きさが一致しなくても、その部分領域に対応する視差テンプレートであると判定する。また、視差マップの部分領域と視差テンプレートとで、視差量分布は同じである必要はないが、傾向が同じであるものを選択することが、好ましい。例えば、視差マップの部分領域、および、視差テンプレートで、それぞれ微分を行って、計算値（微分値）が目的の範囲内であれば、その部分領域に対応する視差テンプレートであると判定する。

ステップＳ１２にて、置換手段３５により、視差マップ内の視差テンプレートに対応する部分領域を、選択された視差テンプレートで置き換える。図６（Ｅ）は、視差テンプレートで置き換え後の視差マップを示す。即ち、視差マップのうち、木の像に対応する部分領域をＤ１で置換し、人の像に対応する部分領域をＤ２およびＤ３で置換し、建物の像に対応する部分領域をＤ４で置換する。

なお、視差マップの部分領域と視差テンプレートとで、大きさが異なる場合には、視差テンプレートに対し拡縮（拡大または縮小）処理を行った後、置換を行う。

なお、視差マップの背景領域（最も遠い距離に対応する領域、図６（Ｃ）の視差マップでは空に対応する領域）については、視差テンプレートの選択および置換を行わない。例えば、クロスポイントよりも奧側であって視差量が閾値よりも大きい場合には、視差テンプレートの選択および置換を行わないと判定する。

ステップＳ１４にて、多視点画像生成手段３７により、２視点画像および視差マップに基づいて中間視点画像を生成し２視点画像に追加することで、多視点画像を生成する。

ステップＳ１６にて、画像入出力手段２２により、生成された多視点画像および視差マップを出力する。

なお、ぼかし処理手段３３により初期の視差マップに対するぼかし処理（図５のステップＳ８）を行う場合を例に説明したが、本発明は、ぼかし処理手段３３が無くぼかし処理を行わない場合にも適用可能である。

＜第２実施形態＞
次に、第２実施形態について、説明する。以下では、第１実施形態と異なる事項のみ説明する。

本実施形態の視差マップ生成手段３２は、図５の視差マップ生成ステップＳ６にて、左視点画像および右視点画像から、左視差マップおよび右視差マップを生成する。左視点画像の一例を図７（Ａ）に示し、右視点画像の一例を図７（Ｂ）に示し、左視差マップの一例を図７（Ｃ）に示し、右視差マップの一例を図７（Ｄ）に示した。

左視差マップは、視差マップ生成手段３２により、左視点画像および右視点画像から、左視点画像の画素位置を基準にして、生成された視差画像である。例えば、図７（Ａ）の左視点画像における球体（ビーチボール）の像の位置と、図７（Ｃ）の左視差マップにおける球体像に対応する部分領域（球体像の部分視差マップ）の位置とは、同じである。また、図７（Ｃ）の左視差マップ中の画素値（視差量）は、対応画素間における、右視点画像の画素位置−左視点画像の画素位置、である。このように、図７（Ｃ）の左視差マップは、図７（Ａ）の左視点画像の画素位置を基準に生成される。また、右視差マップは、視差マップ生成手段３２により、左視点画像および右視点画像から、右視点画像の画素位置を基準にして、生成された視差画像である。例えば、図７（Ｂ）の右視点画像における球体（ビーチボール）像の位置と、図７（Ｄ）の右視差マップにおける球体像に対応する部分領域（球体像の部分視差マップ）の位置とは、同じである。また、図７（Ｄ）の右視差マップ中の画素値（視差量）は、対応画素間における、左視点画像の画素位置−右視点画像の画素位置、である。このように、図７（Ｄ）の右視差マップは、図７（Ｂ）の右視点画像の画素位置を基準に生成される。

記憶手段２４は、左視差マップ内の部分領域と比較される複数の左視差テンプレートと、右視差マップ内の部分領域と比較される複数の右視差テンプレート群とを記憶する。

本実施形態の視差テンプレート選択手段３４は、図５の視差テンプレート選択ステップＳ１０にて、左視差マップ内の部分領域に対応する左視差テンプレートを選択するとともに、右視差マップ内の部分領域に対応する右視差テンプレートを選択する。例えば、図７（Ｃ）の左視差マップの球体像と略同形状の左視差テンプレートと、図７（Ｄ）の右視差マップの球体像と略同形状の右視差テンプレートとが選択される。ここで、視差マップの部分領域と略同形状とは、第１実施形態と同様、外形形状の少なくとも半分以上が同一であって、視差分布の少なくとも半分以上が同一であればよい。例えば、図７（Ａ）の左視点画像および図７（Ｂ）の右視点画像にて球体の一部は人の手で隠れているが、このような場合でも、視差テンプレートが選択される。また、視差マップ内の部分領域と視差テンプレートとが相似形状であれば、大きさが異なっていても、視差テンプレートが選択される。

本実施形態の置換手段３５は、図５の置換ステップＳ１２にて、選択された左視差テンプレートおよび右視差テンプレートのうち、背景領域（本例では空）と比較して視差量の差分（本例では絶対値）が大きい方の視差テンプレートで、左視差マップおよび右視差マップのうち少なくとも一方の部分領域を、置き換える。

例えば、左視差テンプレートの方が右視差テンプレートよりも背景領域（例えば空部分）との視差量差が大きい場合には、左視差マップの部分領域（例えば球体像の部分視差マップ）を左視差テンプレートで置き換えて、図５の多視点画像生成ステップＳ１４では、左視差マップを用いて中間視点画像を生成する。その一方で、右視差テンプレートの方が左視差テンプレートよりも背景領域との視差量差が大きい場合には、右視差マップの部分領域を右視差テンプレートで置き換えて、図５の多視点画像生成ステップＳ１４では、右視差マップを用いて中間視点画像を生成する。

本実施形態によれば、背景領域との距離が強調された立体感のある多視点画像を生成することができる。

＜第３実施形態＞
次に、第３実施形態について、説明する。以下では、第１実施形態と異なる事項のみ説明する。

図８は、図１の画像処理装置２における本実施形態の画像処理の一例の流れを示すフローチャートである。

ステップＳ２〜Ｓ１２は、第１実施形態と同様である。

ステップＳ１３にて、視差量適用処理手段３６により、視差マップのうち対応する視差テンプレートが無い部分領域（以下「テンプレート無し領域」という）に対し、特定の視差量（以下「適用視差量」という）を適用する視差量適用処理を行う。

適用視差量の具体例について、以下説明する。

第１の例として、各テンプレート無し領域内の視差量の平均値を算出し、その平均値を適用する。左視差マップおよび右視差マップの両方を生成した場合には、左右それぞれで、各テンプレート無し領域ごとに視差量の平均値を算出し、その平均値を各テンプレート無し領域に埋め込む。例えば、図９（Ａ）に示す視差マップの場合、テンプレート化できない隙間領域（テンプレート間の部分領域）がその隙間領域の視差量の平均値で埋められた結果、図９（Ｂ）に示す視差マップが得られる。左視差マップにおけるテンプレート無し領域の視差量平均値と、右視差マップにおけるテンプレート無し領域の視差量平均値との平均値（二次平均値）を算出し、その平均値を両方の視差マップのテンプレート無し領域に適用してもよい。

第２の例として、視差マップのうち背景領域の視差量を適用する態様がある。背景領域は、最も遠い距離の部分領域である。例えば、図９（Ａ）に示す視差マップの場合、テンプレート化できない隙間領域（テンプレート間の部分領域）が背景領域の視差量の平均値で埋められた結果、図９（Ｃ）に示す視差マップが得られる。

第１の例では、特に視差テンプレート間の隙間領域で滑らかに視差が繋がることになるので、多視点画像における立体感の不自然さが無くなる。第２の例では、視差テンプレート化された領域の立体感が強調されることになる。

ステップＳ１４およびＳ１６は、第１実施形態と同様である。

なお、図８のステップＳ１３は、視差量適用処理に替えて、ぼかし処理を行うようにしてもよい。即ち、ステップＳ１３にて、ぼかし処理手段３３により、テンプレート無し領域に対してぼかし処理を行う。ぼかし処理の例は、第１実施形態にて説明した通りであり、ここではその説明を省略する。本ステップＳ１３では、テンプレート無し領域のみ対してぼかし処理を行う。

＜第４実施形態＞
次に、第４実施形態について、説明する。以下では、第１実施形態または第２実施形態と異なる事項のみ説明する。

図１０（Ａ）は視点画像（例えば左視点画像）、図１０（Ｂ）は初期の左視差マップ、図１０（Ｃ）は初期の右視差マップを、それぞれ示す。本実施形態の置換手段３５は、図５の置換ステップＳ１２にて、図１０（Ｂ）に示す初期の左視差マップ内の部分領域（例えば、人の像、木の像、建物の像にそれぞれ相当する複数の部分領域）を、図１０（Ｄ）に示す左視差テンプレート群ＤＬ１〜ＤＬ６の中から選択されたもので置き換えると共に、図１０（Ｃ）に示す初期の右視差マップ内の部分領域を、図１０（Ｅ）に示す右視差テンプレート群ＤＲ１〜ＤＲ６の中から選択されたもので置き換える。このような置換処理により、図１０（Ｆ）に示す左視差マップと、図１０（Ｇ）に示す右視差マップが得られる。

左視差マップは左視点画像の画素位置を基準に生成した視差画像であり、の右視差マップは右視点画像の画素位置を基準に生成した視差画像である。したがって、図１０（Ｂ）の左視差マップでは手前側の被写体（本例では人）に相当する部分領域の左側エッジにオクルージョン領域（右視点から見えない死角領域）が発生し易く、図１０（Ｃ）の右視差マップでは手前側の被写体（本例では人）に相当する部分領域の右側エッジに、オクルージョン領域（左視点から見えない死角領域）が発生し易い。本実施形態では、左右で異なる視差テンプレートが用意され、左右ごとに視差テンプレートの選択および置換が行われるので、適切な多視点画像が生成されることになる。

なお、各実施形態ごとに説明したが、複数の実施形態を適宜組み合わせてもよい。例えば、第２実施形態と第３実施形態との組み合わせや、第３実施形態と第４実施形態との組み合わせが可能である。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２２…画像入出力手段、２３…ＣＰＵ、２４…記憶手段、３１…対応画素検出手段、３２…視差マップ生成手段、３３…ぼかし処理手段、３４…視差テンプレート選択手段、３５…置換手段、３６…視差量適用処理手段（平均値適用処理手段、背景視差量適用処理手段）、３７…多視点画像生成手段、３８…表示制御手段

Claims (14)

1. 被写体を複数の視点からそれぞれ撮像して生成された複数の視点画像を取得する画像取得手段と、
   前記複数の視点画像間で互いに対応する画素を検出する対応画素検出手段と、
   前記複数の視点画像間で互いに対応する画素間の視差量を算出し、前記複数の視点画像における前記視差量の分布を示す初期の視差マップを生成する視差マップ生成手段と、
   予め定められた外形形状および視差量分布を示す複数の視差テンプレートを記憶する記憶手段と、
   前記視差マップ内の部分領域と前記視差テンプレートとを比較することで、前記記憶手段に記憶された前記複数の視差テンプレートのうちから前記部分領域に対応する前記視差テンプレートを選択する視差テンプレート選択手段と、
   前記視差マップ内の前記視差テンプレートに対応する前記部分領域を、選択された前記視差テンプレートで置き換える置換手段と、
   前記複数の視点画像および前記置換手段により前記部分領域を前記選択された視差テンプレートで置き換えられた視差マップに基づいて、前記複数の視点画像よりも視点数が多い多視点画像を生成する多視点画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記初期の視差マップに対しぼかし処理を行うぼかし処理手段を備え、
   前記視差テンプレート選択手段は、ぼかし処理が施された前記視差マップに基づいて前記視差テンプレートの選択を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得手段は、第１の視点画像および第２の視点画像を取得し、
   前記視差マップ生成手段は、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、
   前記記憶手段は、前記第１の視差マップ内の部分領域と比較される第１の視差テンプレートと、前記第２の視差マップ内の部分領域と比較される第２の視差テンプレートとを記憶し、
   前記視差テンプレート選択手段は、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、
   前記置換手段は、選択された前記第１の視差テンプレートおよび前記第２の視差テンプレートのうち背景領域と比較して視差量の差分が大きい方の視差テンプレートで、前記第１の視差マップおよび前記第２の視差マップのうち少なくとも一方の前記部分領域を置き換えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像取得手段は、第１の視点画像および第２の視点画像を取得し、
   前記視差マップ生成手段は、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、
   前記記憶手段は、前記第１の視差マップ内の部分領域と比較される第１の視差テンプレートと、前記第２の視差マップ内の部分領域と比較される第２の視差テンプレートとを記憶し、
   前記視差テンプレート選択手段は、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、
   前記置換手段は、選択された前記第１の視差テンプレートで前記第１の視差マップの前記部分領域を置き換えると共に、選択された前記第２の視差テンプレートで前記第２の視差マップの前記部分領域を置き換えることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記視差マップのうち対応する視差テンプレートが無い部分領域に対し該部分領域内の視差量の平均値を適用する平均値適用処理手段を備えたことを特徴とする請求項１ないし４のうちいずれか１項に記載の画像処理装置。
6. 前記視差マップのうち対応する視差テンプレートが無い部分領域に対し前記視差マップの背景領域の視差量を適用する背景視差量適用処理手段を備えたことを特徴とする請求項１ないし４のうちいずれか１項に記載の画像処理装置。
7. 前記視差マップのうち対応する視差テンプレートが無い部分領域に対しぼかし処理を行うことを特徴とする請求項１ないし４のうちいずれか１項に記載の画像処理装置。
8. 被写体を複数の視点からそれぞれ撮像して生成された複数の視点画像を取得する画像取得デバイスと、予め定められた外形形状および視差量分布を示す複数の視差テンプレートを記憶する記憶デバイスと、前記複数の視点画像よりも視点数が多い多視点画像を生成する制御デバイスとを用いる画像処理方法であって、
   前記画像取得デバイスにより、前記複数の視点画像を取得する画像取得工程と、
   前記制御デバイスにより、前記複数の視点画像間で互いに対応する画素を検出する対応画素検出工程と、
   前記制御デバイスにより、前記複数の視点画像間で互いに対応する画素間の視差量を算出し、前記複数の視点画像における前記視差量の分布を示す初期の視差マップを生成する視差マップ生成工程と、
   前記制御デバイスにより、前記視差マップ内の部分領域と前記視差テンプレートとを比較することで、前記記憶デバイスに記憶された前記複数の視差テンプレートのうちから前記部分領域に対応する前記視差テンプレートを選択する視差テンプレート選択工程と、
   前記制御デバイスにより、前記視差マップ内の前記視差テンプレートに対応する前記部分領域を、選択された前記視差テンプレートで置き換える置換工程と、
   前記制御デバイスにより、前記複数の視点画像および前記置換手段により前記部分領域を前記選択された視差テンプレートで置き換えられた前記視差マップに基づいて、前記多視点画像を生成する多視点画像生成工程と、
   を備えたことを特徴とする画像処理方法。
9. 前記制御デバイスにより前記初期の視差マップに対しぼかし処理を行うぼかし処理工程を備え、
   前記視差テンプレート選択工程にて、ぼかし処理が施された前記視差マップに基づいて前記視差テンプレートの選択を行うことを特徴とする請求項８に記載の画像処理方法。
10. 前記画像取得工程にて、第１の視点画像および第２の視点画像を取得し、
    前記視差マップ生成工程にて、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、
    前記視差テンプレート選択工程にて、前記記憶デバイスから、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、
    前記置換工程にて、選択された前記第１の視差テンプレートおよび前記第２の視差テンプレートのうち背景領域と比較して視差量の差分が大きい方の視差テンプレートで、前記第１の視差マップおよび前記第２の視差マップのうち少なくとも一方の前記部分領域を置き換えることを特徴とする請求項８または９に記載の画像処理方法。
11. 前記画像取得工程にて、第１の視点画像および第２の視点画像を取得し、
    前記視差マップ生成工程にて、前記第１の視点画像および前記第２の視点画像から、前記第１の視点画像の画素位置を基準にした第１の視差マップと、前記第２の視点画像の画素位置を基準にした第２の視差マップとを生成し、
    前記視差テンプレート選択工程にて、前記記憶デバイスから、前記第１の視差マップ内の部分領域に対応する第１の視差テンプレートと、前記第２の視差マップ内の部分領域に対応する第２の視差テンプレートとを選択し、
    前記置換工程にて、選択された前記第１の視差テンプレートで前記第１の視差マップの前記部分領域を置き換えると共に、選択された前記第２の視差テンプレートで前記第２の視差マップの前記部分領域を置き換えることを特徴とする請求項８または９に記載の画像処理方法。
12. 前記制御デバイスにより、前記視差マップのうち対応する視差テンプレートが無い部分領域に対し該部分領域内の視差量の平均値を適用する工程を備えたことを特徴とする請求項８ないし１１のうちいずれか１項に記載の画像処理方法。
13. 前記制御デバイスにより、前記視差マップのうち対応する視差テンプレートが無い部分領域に対し前記視差マップの背景領域の視差量を適用する工程を備えたことを特徴とする請求項８ないし１１のうちいずれか１項に記載の画像処理方法。
14. 前記制御デバイスにより、前記視差マップのうち対応する視差テンプレートが無い部分領域に対しぼかし処理を行う工程を備えたことを特徴とする請求項８ないし１１のうちいずれか１項に記載の画像処理方法。