JP2012015777A - 立体視表示のための画像処理装置、方法、および、プログラム、並びに、画像表示装置 - Google Patents

Abstract

【課題】立体視表示の際に、主要被写体と、その周辺の視差量の異なる被写体との間での視差の無意識下での切替えを抑制しつつ、立体視表示の品質の劣化を抑制する。
【解決手段】主要被写体抽出部３７Ａが、複数の視差画像の各々から、主要被写体を抽出し、平面距離算出部３７Ｂが、複数の視差画像の各々について、視差画像中の各点と視差画像中の主要被写体との間の、視差画像の平面上での距離である平面距離を算出し、ＬＰＦ（非鮮鋭化処理部）３７Ｃが、複数の視差画像の各々に対して、視差画像中の各点から主要被写体までの平面距離が小さいほど非鮮鋭度が大きくなるように、非鮮鋭化処理を行う。
【選択図】図９

Description

本発明は、被写体の立体視表示のための画像処理に関するものである。

複眼カメラを用いて同一の被写体を異なる複数の視点から撮影することにより取得した複数の視差画像を用いて立体視表示を行う表示装置が知られている。また、この立体視表示を適切に行うための様々な画像処理技術が提案されている。

例えば、特許文献１には、より現実感がある３次元画像表示（立体視表示）を行うために、観察者の注視位置を検出し、その注視位置で合焦し、注視位置から離れるほどぼやけて見えるように各視差画像に対して画像処理を行うことが提案されている。

また、特許文献２には、立体視表示で生じる両眼視野闘争を緩和して観察者の疲労感を軽減するために、両眼視野闘争が生じる被写体に対して、左右両眼の視差画像のうちのいずれか一方の被写体をぼかす処理を行うことが提案されている。

さらに、特許文献３には、臨場感のある立体視表示のために、左眼用画像および右眼用画像の各表示領域の輪郭部（表示枠）をぼかす処理を行うことが提案されている。

特開２００６−２８７８１３号公報 特開２００６−４２２９８号公報 特開平９−３２２１９９号公報

特許文献１に記載された手法では、主要被写体の近辺では弱くぼかされることになる。一方、立体視表示の際、主要被写体の近辺に視差が異なる被写体が存在する場合、観察者は、その主要被写体とその近辺の被写体の間で、無意識のうちに、視差を頻繁に切り替えて観察してしまうことにより、観察者の目が疲れてしまうことがありうる。この点は、表示領域の輪郭部のみをぼかし、表示領域の中心にある可能性が高い主要被写体の周辺に対してはぼかし処理が行われない特許文献３に記載された手法でも同様である。

また、特許文献１に記載された手法では、主要被写体から離れた被写体は強くぼかされてしまうが、観察者は、主要被写体から離れた被写体に対しては、意図的に視線を変えて観察するため、その観察の際、立体視表示の表示品質の劣化を感じてしまいかねない。この点は、両眼視野闘争が生じる領域が広範囲にわたる場合には、特許文献２に記載された手法でも同様である。

本発明は上記事情に鑑みてなされたものであり、立体視表示の際に、主要被写体と、その周辺の視差量の異なる被写体との間での視差の無意識下での切替えを抑制しつつ、立体視表示の品質の劣化を抑制することを目的とする。

本発明による画像処理装置は、異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の視差画像の各々から、該主要被写体を抽出する主要被写体抽出手段と、前記複数の視差画像の各々について、該視差画像中の各点と該視差画像中の主要被写体との間の、該視差画像の平面上での距離である平面距離を算出する平面距離算出手段と、前記複数の視差画像の各々に対して、該視差画像中の各点から該主要被写体までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、第１の非鮮鋭化処理を行う第１の非鮮鋭化手段とを設けたことを特徴とする。

本発明の画像表示装置は、上記画像処理装置と、該画像処理装置で処理済みの複数の視差画像を用いて該被写体の立体視表示を行う立体視表示手段とを設けたことを特徴とする。

本発明による画像処理方法は、異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の視差画像の各々から、該主要被写体を抽出するステップと、前記複数の視差画像の各々について、該視差画像中の各点と該視差画像中の主要被写体との間の、該視差画像の平面上での距離である平面距離を算出するステップと、前記複数の視差画像の各々に対して、該視差画像中の各点から該主要被写体までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、第１の非鮮鋭化処理を行うステップとを有することを特徴とする。

本発明の画像処理プログラムは、コンピュータに上記方法の各ステップを実行指させることを特徴とする。

ここで、「異なる位置から主要被写体の撮像を行う」際、複数の撮像手段を異なる位置の各々に配置して行うことが考えられるが、特に、被写体が静止している場合であれば、１つの撮像手段を用いて異なる位置で順次撮像を行ってもよい。

「複数の視差画像の各々から、該主要被写体を抽出する」際、その被写体が各視差画像に共通のものである必要がある。

また、複数の視差画像の各々から複数の主要被写体を抽出するようにしてもよい。この場合、視差画像中の各点と該視差画像中の該複数の主要被写体の各々との間の前記平面距離を算出するようにし、該複数の主要被写体の各々との平面距離に基づいて、前記第１の非鮮鋭化処理を行うようにすることが好ましい。このとき、前記複数の主要被写体の各々との平面距離と、該複数の主要被写体毎の主要被写体らしさを表す所与の重みづけ係数とに基づいて、より主要被写体らしい前記主要被写体との間の前記平面距離が小さい該視差画像中の点ほど非鮮鋭度が大きくなるように、前記第１の非鮮鋭化処理を行うようにしてもよい。あるいは、視差画像の各々について、該視差画像中の該複数の主要被写体の平均位置を算出し、該視差画像中の各点と該視差画像中の前記平均位置との間の前記平面距離を算出するようにし、該視差画像中の各点から前記平均位置までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、前記第１の非鮮鋭化処理を行うようにすることが好ましい。このとき、複数の主要被写体毎の主要被写体らしさを表す所与の重みづけ係数を用いた、前記複数の主要被写体の各位置の重みづけ平均によって前記平均位置を算出するようにしてもよい。

本発明において、複数の視差画像の各々から該視差画像中の前記主要被写体の領域以外の領域内の各点の視差量を算出するようにし、該視差量に基づいて前記立体視表示の際に表示面より前方側で像が二重になる領域である二重像領域を抽出し、該二重像領域に対して、一律に、所与の処理強度により第２の非鮮鋭化処理を行うようにし、前記視差画像中の各点のうち、前記二重像領域外の点に対しては前記第１の非鮮鋭化処理を行うようにしてもよい。ここで、「二重像領域」は、視差画像間での視差が過大で、立体融合できない領域であり、このような領域では、奥行き距離が過小となる。また、「視差量に基づいて（二重像領域を抽出）」の具体例としては、視差量が、立体視表示の際に表示面よりも前方側となる視差を表し、かつ、所定の閾値よりも大きい領域を二重像領域として抽出することや、各点の視差量からその点の奥行き方向の距離（奥行き距離）を算出し、奥行き距離が所定の閾値よりも小さい領域を二重像領域として抽出することが考えられる。また、「所与の処理強度」は、前記二重像領域内の各点と前記主要被写体との間の平面距離の最小値に対応する前記第１の非鮮鋭化処理の処理強度と同じ処理強度としてもよい。

本発明によれば、複数の視差画像の各々から同一の主要被写体を抽出し、複数の視差画像の各々について、視差画像中の各点と視差画像中の主要被写体との間の平面距離を算出し、複数の視差画像の各々に対して、視差画像中の各点から主要被写体までの平面距離が小さいほど非鮮鋭度が大きくなるように（第１の）非鮮鋭化処理を行う。これにより、主要被写体の近辺では強くぼかされ、主要被写体から離れるにつれて弱くぼかされた視差画像が得られる。このような視差画像を用いて立体視表示を行えば、主要被写体の近辺の他の被写体は強くぼかされているので、観察者の視線が、無意識に主要被写体から他の被写体に移動し、主要被写体とは異なる視差量を有する他の被写体に視差を合わせてしまうことは軽減され、観察者が目の疲労を感じることも軽減される。また、主要被写体から離れた位置にある他の被写体に対しては、比較的弱くぼかされているので、立体視表示される画像はさほど劣化していない。ここで、観察者は、主要被写体から離れた位置にある他の被写体に対しては、意図的に視線を変えて観察する可能性が高いので、この他の被写体部分は、画質の劣化の小さい立体視表示を観察することが可能になる。

また、複数の主要被写体を抽出し、抽出された主要被写体の各々を加味して非鮮鋭化処理を行うようにすれば、主要被写体が複数存在する場合であっても、観察者の注目点により合致した適切な立体視表示が可能になる。

また、複数の視差画像の各々について、主要被写体の領域以外の領域内の各点の奥行き距離を算出し、奥行き距離に基づいて二重像領域を抽出し、二重像領域に対して、一律に、第２の非鮮鋭化処理を行うようにし、二重像領域外の点に対しては上記の第１の非鮮鋭化処理を行うようにした場合には、二重像領域が同じレベルでぼかされるので、観察者が二重像に対して視差を合わせようとする無意識の行為が抑制され、このような無意識の行為による観察者の目の疲労を軽減することが可能になる。また、第２の非鮮鋭化処理の処理強度を、二重像領域内の各点と主要被写体との間の平面距離の最小値に対応する第１の非鮮鋭化処理の処理強度と同じ処理強度にした場合、二重像領域は、その周辺の領域と同程度、または、それより強くぼかされることになる。したがって、観察者が二重像に対して視差を合わせようとする行為がより強く抑制される。一方、二重像領域を一律にぼかすことにより、二重像領域とその周辺領域との間にボケ具合の差が生じ、この差が表示品質の劣化につながることになりかねない。しかしながら、上記のように、二重像領域における処理強度を、主要被写体からの平面距離の最小値に対応するように決定すれば、二重像領域とその周辺領域との境界のうち主要被写体に近いところでは、二重像領域とその周辺領域との間でボケ具合の差が小さくなるので、観察者の注目点である主要被写体により近い二重像領域の付近での表示品質の劣化も抑制される。

本発明の実施形態となる複眼カメラの正面側斜視図 複眼カメラの背面側斜視図 複眼カメラの内部構成を示す概略ブロック図 複眼カメラの各撮像部の構成を示す図 立体視用画像の画像ファイルのファイルフォーマットを示す図 モニタの構成を示す図 レンチキュラーシートの構成を示す図 ３次元処理を説明するための図 本発明の第１の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第１の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート 複眼カメラの各撮像部の画角と被写体との位置関係を模式的に表した図 左眼視差画像からの主要被写体の抽出の様子を模式的に表した図 右眼視差画像からの主要被写体の抽出の様子を模式的に表した図 左眼視差画像に対する非鮮鋭化処理の結果を模式的に表した図 右眼視差画像に対する非鮮鋭化処理の結果を模式的に表した図 本発明の非鮮鋭化処理のルックアップテーブルの一例を表した図 本発明の第２の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第２の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート 左眼視差画像の一例を模式的に表した図 奥行き距離の算出方法を模式的に表した図 左眼視差画像中の二重像領域と主要被写体の間の最小平面距離を模式的に表した図 左眼視差画像に対する本発明の第２の実施形態による非鮮鋭化処理の結果を模式的に表した図 本発明の第３の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第３の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート 複数の主要被写体を含む左眼視差画像と各主要被写体からの平面距離を模式的に表した図 本発明の第４の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第４の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート 本発明の第５の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第５の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート 本発明の第６の実施形態となる非鮮鋭化処理部の詳細を表すブロック図 本発明の第６の実施形態における撮像から立体視表示までの処理の流れを表すフローチャート

以下では、本発明の画像処理を、複眼カメラに実装し、そのモニタで立体視表示を行う場合を例として、本発明の実施形態について説明する。図１は本発明の実施形態となる複眼カメラの正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼カメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。デジタルカメラ１の正面には、フラッシュ５および２つの撮像部２１Ａ，２１Ｂのレンズが配設されている。また、背面には、各種表示を行う液晶モニタ（以下単にモニタとする）７および各種操作ボタン８が配設されている。

図３は複眼カメラ１の内部構成を示す概略ブロック図である。図３に示すように、本発明の実施形態となる複眼カメラ１は、公知の複眼カメラと同様に、２つの撮像部２１Ａ，２１Ｂ、フレームメモリ２２、撮像制御部２３、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６、デジタル信号処理部２７、３次元処理部２８、表示制御部２９、圧縮／伸長処理部３０、メディア制御部３１、入力部３３、ＣＰＵ３４、内部メモリ３５、データバス３６を備えている。なお、撮像部２１Ａ，２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められたレンズ間距離（基線長）となるように配置されている。なお、輻輳角、および、撮像部２１Ａ、２１Ｂのレンズ間距離の情報は内部メモリ２７に記憶されている。

図４は、撮像部２１Ａ，２１Ｂの構成を示す図である。図４に示すように撮像部２１Ａ，２１Ｂは、公知の複眼カメラと同様に、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、撮像素子１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮像制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り１１Ａ，１１Ｂは、撮像制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

フレームメモリ２２は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データが、画像入力コントローラ（図示なし）を介して取り込まれる作業用メモリであり、各種処理を行う際に使用される。

撮像制御部２３は、各部の処理のタイミングの制御を行う。具体的には、レリーズボタン２の全押し操作により、撮像部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮像の指示を行う。なお、レリーズボタン２が操作される前は、撮像制御部２３は、撮像範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮像部２１Ａ，２１Ｂに対して行う。

ＡＦ処理部２４は、レリーズボタン２の半押し操作により撮像部２１Ａ，２１Ｂが取得した各プレ画像の画像信号に基づいてＡＦ評価値を算出し、ＡＦ評価値に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮像部２１Ａ，２１Ｂに出力する。ここでは、ＡＦ処理による焦点位置の検出方式としては、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が採用されている。例えば、ＡＦ評価値は、所定のハイパスフィルタの出力値とすることができ、この場合、その値が大きいほどコントラストが高いことを意味する。

ＡＥ処理部２５は、ここでは多分割測光方式が採用されており、各プレ画像の画像信号を用いて、撮像領域を複数のエリアに分割して個別に測光し、各エリアの測光値に基づいて露出（絞り値とシャッタ速度）を決定し、撮像部２１Ａ，２１Ｂに出力する。

ＡＷＢ処理部２６は、プレ画像のＲ，Ｇ，Ｂの各画像信号を用いて、撮像領域を分割した複数のエリア毎に、オートホワイトバランス用の色情報を算出する。

ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６は、撮像部毎に順次処理を行ってもよいし、各処理部を撮像部の数だけ設け、並列的に処理を行ってもよい。

デジタル信号処理部２７は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、デジタル信号処理部２７における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２８は、デジタル信号処理部２７によって処理が施された第１および第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０には、第１および第２の画像Ｇ１，Ｇ２の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、レンズ間距離、輻輳角および撮像日時等の付帯情報、および視点位置を表す視点情報が格納される。

図５は立体視用画像の画像ファイルのファイルフォーマットを示す図である。図５に示すように立体視用の画像ファイルＦ０は、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ（画像データについても参照符号Ｇ１を用いるものとする）、第２の画像Ｇ２の付帯情報Ｈ１、第２の画像Ｇ２の視点情報Ｓ２、および第２の画像Ｇ２の画像データが格納されてなる。また、図示はしないが、第１および第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２の撮像日、レンズ間距離、および輻輳角の情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮像部から順に付与した視点位置の番号を用いることができる。

メディア制御部２９は、記録メディア３０にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

表示制御部３１は、撮像時においてフレームメモリ２２に格納された第１および第２の画像Ｇ１，Ｇ２および第１および第２の画像Ｇ１，Ｇ２から生成された立体視用画像ＧＲをモニタ７に表示させたり、記録メディア３０に記録されている第１および第２の画像Ｇ１，Ｇ２および立体視用画像ＧＲをモニタ７に表示させたりする。

図６はモニタ７の構成を示す図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０および各種表示を行うための液晶パネル４１を積層し、液晶パネル４１にレンチキュラーシート４２を取り付けることにより構成されている。

図７はレンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を並列に並べることにより構成されている。

３次元処理部３２は、第１および第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行って立体視用画像ＧＲを生成する。図８は３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１および第２の画像Ｇ１，Ｇ２を交互に配置するように３次元処理を行って、立体視用画像ＧＲを生成する。なお、３次元処理部３０は、立体視用画像ＧＲの立体感を適切なものとするために、第１および第２の画像Ｇ１，Ｇ２の視差を補正するようにしてもよい。ここで、視差は、第１および第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１および第２の画像Ｇ１，Ｇ２の横方向における画素位置の相違として算出することができる。視差を調整することにより、立体視用画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

入力部３３は、撮像者が複眼カメラ１の操作を行うためのインターフェースであり、レリーズボタン２、ズームレバー４および各種操作ボタン８等が該当する。

ＣＰＵ３４は、上記各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

内部メモリ３５は、複眼カメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。

データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３５に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

本発明の実施形態となる複眼カメラ１は、上記の構成に加えて、本発明の非鮮鋭化処理を実現する非鮮鋭化処理部３７をさらに備えている。

図１１は、本発明の第１の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第１の実施形態において、非鮮鋭化処理部３７は、主要被写体抽出部３７Ａ、平面距離算出部３７Ｂ、ＬＰＦ（ローパスフィルタ）３７Ｃ、ＬＵＴ（ルックアップテーブル）３７Ｄから構成される。これらの非鮮鋭化処理部３７の各処理部は、ＣＰＵ３４、あるいは、非鮮鋭化処理部３７用の汎用プロセッサで実行される組み込みプログラムによってソフトウェア的に実現してもよいし、非鮮鋭化処理部３７用の専用プロセッサとしてハードウェア的に実現してもよい。なお、ソフトウェア的に実現する場合、既存の複眼カメラに対してファームウェアの更新という方式で上記プログラムを提供してもよい。

主要被写体抽出部３７Ａは、各撮像部２１Ａ，２１Ｂで得られた第１および第２の画像Ｇ１，Ｇ２の各々から、両画像に共通の主要被写体Ｆ１、Ｆ２を抽出する。具体的には、以下の３段階の処理を行う。

第１の段階では、主要被写体抽出部３７Ａは、第１および第２の画像Ｇ１，Ｇ２のいずれか一方（ここでは、第１の画像Ｇ１とする）に対して、公知の画像認識手法を用いて、主要被写体の候補、すなわち、主要被写体と同種の被写体を抽出する。この段階では、主要被写体の候補は複数抽出され得る。以下、３つの具体例を挙げる。

(1) 主要被写体として人物の顔を検出する場合
まず、第１の画像Ｇ１から解像度（サイズ）の異なる複数のリサイズ画像を生成する。次に、各リサイズ画像全体から、予め用意しておいた所定のサイズの複数の顔画像データ（例えば、３２画素×３２画素）と１つ以上マッチングする領域を抽出する。これにより、第１の画像Ｇ１中の様々なサイズの顔が検出される。次に、抽出された領域の個数が最大であるリサイズ画像を選択する。これにより、第１の画像Ｇ１中において、最も出現頻度の高いサイズの顔が検出対象となる。そして、選択されたリサイズ画像内の抽出領域をもとの解像度（サイズ）に変換し、変換後の抽出領域を被写体の顔として検出する。

(2) 主要被写体として特定のオブジェクトを検出する場合
まず、第１の画像Ｇ１内を複数の領域に分割し、各領域の測光値、所定の空間周波数成分、画像中の位置等の特徴量を算出する。算出された特徴量と予め登録されている特定のオブジェクトの特徴量とを比較し、その特定のオブジェクトの特徴量との一致度が所定の基準を満たす程度に高い特徴量を有する領域をその特定のオブジェクトの領域として検出する。この方法によって、空、水、木、土、建物等を特定のオブジェクトとして検出することが可能である。

(3) 主要被写体として動体を検出する場合
この例は動画像を対象とする。まず、入力動画像の所与のフレーム内の被写体のエッジ等の特徴点を複数検出し、１つ前のフレーム内の同一被写体の特徴点と比較する。次に、同一の特徴点が一致しないものが所定の基準を満たす程度に多く存在するかどうか判定し、その所定の基準を満たす被写体を動体として検出する。

第２の段階では、主要被写体抽出部３７Ａは、第１の画像Ｇ１から抽出された主要被写体候補に対応する、第２の画像Ｇ２中の主要被写体候補を抽出する。具体的には、公知のステレオマッチングの手法を用いて（例えば、特開2009-293970号公報参照）、第１の画像Ｇ１の主要被写体候補との画素値の相関が最も高い第２の画像Ｇ２中の領域を抽出する。これにより、第１および第２の画像Ｇ１，Ｇ２に共通の主要被写体候補が抽出される。

第３の段階では、主要被写体抽出部３７Ａは、第１の画像Ｇ１から抽出された複数の主要被写体候補の中から主要被写体Ｆ１を１つ抽出する。具体的には、主要被写体候補のうち、面積が最大のものを主要被写体Ｆ１として抽出する。ここで、画像の中心に最も近いもの、ユーザによって指定された領域内にあるもの等の他の基準に基づいて、あるいは、これらの他の基準もさらに用いて主要被写体を抽出するようにしてもよい。次に、主要被写体抽出部３７Ａは、第２の段階で行った対応づけに基づいて、主要被写体Ｆ１に対応する第２の画像Ｇ２中の主要被写体候補を主要被写体Ｆ２として抽出する。

なお、上記で、第２段階と第３段階の順序を逆にし、第１の画像Ｇ１中で主要被写体Ｆ１を決定してから、決定された主要被写体Ｆ１に対応する第２の画像Ｇ２中の領域を主要被写体Ｆ２として抽出するようにしてもよい。また、第１の画像Ｇ１と第２の画像Ｇ２の各々に対して、上記第１、第２の段階までの処理を行い、両画像から個別に主要被写体を抽出し、抽出された主要被写体の位置や内容的特徴が所定の基準を満たす程度に一致する場合には、両画像から抽出された主要被写体として確定するようにしてもよい。

平面距離算出部３７Ｂは、第１の画像Ｇ１と第２の画像Ｇ２の各々について、画像中の各点(i,j)と主要被写体Ｆ１、Ｆ２の中心位置との間の平面距離ｄ１(i,j)、ｄ２(i,j)を算出する。なお、この平面距離とは、各画像の画像平面上での距離であり、各点と主要被写体の中心位置との間の奥行き方向における位置関係は考慮しない。

ＬＰＦ３７Ｃは、第１の画像Ｇ１と第２の画像Ｇ２の各々に対してローパスフィルタを用いた非鮮鋭化処理を行う。例えば、画像Ｇ１中の点Ｐ(i,j)におけるローパスフィルタの出力値Ｐoutは、

となる。

ここで、所与の画素サイズは、Ｐ(i,j)における主要被写体までの平面距離ｄ１(i,j)を用いて、ＬＵＴ３７Ｄを参照することによって決定される。図１４は、ＬＵＴ３７Ｄの一例を示したものである。図に示したとおり、ＬＵＴ３７Ｄは、平面距離毎にＬＰＦ画素サイズ（上記の「所与の画素サイズ」）が関連づけられたものとなっており、平面距離が大きくなるほどＬＰＦ画素サイズが小さくなるように定義されている。上式では、画素サイズが大きくなるほど、Ｐ(i,j)における強くぼかされることになるので、ＬＵＴ３７Ｄは、主要被写体からの平面距離が小さいほど強くぼかされ、平面距離が大きいほど弱くぼかされるように定義されていることになる。

ＬＰＦ３７Ｃは、Ｐ(i,j)における主要被写体までの平面距離ｄ１(i,j)と最も近い平面距離と関連づけられたＬＰＦ画素サイズをＬＵＴ３７Ｄから取得し、上式に基づいて点Ｐにおけるローパスフィルタ出力値を算出する。これを第１、および、第２の画像Ｇ１，Ｇ２内の各点に対して繰り返し行い、非鮮鋭化処理後の第１、第２の画像Ｇ１´、Ｇ２´を出力する。

図１０は、本発明の第１の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。まず、レリーズボタン２の全押し操作が行われると、撮像部２１Ａ，２１Ｂで本撮像が行われ、第１の画像Ｇ１，第２の画像Ｇ２が各々取得される(#1)。図１１は、複眼カメラ１の各撮像部２１Ａ、２１Ｂの画角と、被写体ＳＢ１，ＳＢ２，ＳＢ３の位置関係の一例を模式的に表したものである。

次に、主要被写体抽出部３７Ａが、第１および第２の画像Ｇ１，Ｇ２に共通の主要被写体候補を抽出し(#2)、複数の主要被写体候補が抽出された場合には(#3;YES)、大きさが最大の主要被写体候補を主要被写体Ｆ１、Ｆ２として特定する(#4)。図１２Ａは、撮像部２１Ａで得られた左眼用の視差画像Ｇ１から、人物ＳＢ１の顔が主要被写体Ｆ１として抽出された様子を模式的に表したものであり、図１２Ｂは、撮像部２１Ｂで得られた右眼用の視差画像Ｇ２から、主要被写体Ｆ１に対応する人物ＳＢ１の顔が主要被写体Ｆ２として抽出された様子を模式的に表したものである。

次に、平面距離算出部３７Ｂは、第１の画像Ｇ１と第２の画像Ｇ２の各々について、画像中の各点(i,j)と主要被写体Ｆ１、Ｆ２の中心位置との間の平面距離ｄ１(i,j)、ｄ２(i,j)を算出する(#5)。

次に、ＬＰＦ３７Ｃは、ＬＵＴ３７Ｄを参照し、第１、および、第２の画像Ｇ１，Ｇ２内の各点(i,j)に対して、その点における主要被写体までの平面距離ｄ１(i,j) 、ｄ２(i,j)に応じたローパスフィルタ処理を行い、処理後の第１、第２の画像Ｇ１´、Ｇ２´を出力する(#4)。出力される各画像は、主要被写体Ｆ１、Ｆ２の近辺では強くぼかされ、主要被写体Ｆ１、Ｆ２から離れるにつれて弱くぼかされたものとなっている。図１３Ａ、図１３Ｂは、各々、第１、第２の画像Ｇ１、Ｇ２に対するローパスフィルタ処理の結果を模式的に表したものである。図に示したように、主要被写体Ｆ１、Ｆ２である被写体ＳＢ１の近くにある被写体ＳＢ３は、被写体ＳＢ１から離れた位置にある被写体ＳＢ２よりも強くぼかされている。

そして、３次元処理部３０によって、上記ＬＰＦ３７Ｃによる処理後の第１の画像Ｇ１´および第２の画像Ｇ２´から立体視用画像ＧＲが生成され、モニタ７に出力される(#7)。

以上のようにして立体視表示された立体視用画像ＧＲは、主要被写体Ｆ１、Ｆ２の近辺の他の被写体は比較的強くぼかされているので、観察者の視線が、無意識に主要被写体から他の被写体に移動し、主要被写体とは異なる視差量を有する他の被写体に視差を合わせてしまうことが減少し、観察者が目の疲労を感じることが軽減される。また、主要被写体Ｆ１、Ｆ２から離れた位置にある他の被写体に対しては、比較的弱くぼかされているので、立体視表示される画像はさほど劣化していない。ここで、観察者は、主要被写体Ｆ１、Ｆ２から離れた位置にある他の被写体に対しては、意図的に視線を変えて観察する可能性が高いので、この他の被写体部分は、画質の劣化の小さい立体視表示を観察することが可能になる。

図１５は、本発明の第２の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第２の実施形態では、非鮮鋭化処理部３７は、奥行き情報算出部３７Ｅ、二重像領域抽出部３７Ｆ、二重像平面距離決定部３７Ｇが、第１の実施形態の非鮮鋭化処理部３７に対して付加された構成となっている。主要被写体抽出部３７Ａおよび平面距離算出部３７Ｂの詳細は、第１の実施形態と同様である。

奥行き情報算出部３７Ｅは、各画像中の主要被写体Ｆ１，Ｆ２以外の領域内の各点の奥行き方向の距離ｚ(i,j)を算出する。具体的には、まず、第１、第２の画像Ｇ１、Ｇ２の間で対応する画素である対応点を探索する（ステレオマッチング）。次に、互いに対応する画素の画像間での位置の差（視差）、あるいは輻輳角を求める。さらに、各撮像部２１Ａ，２１Ｂのレンズ間距離ＬＤ、焦点距離ＦＤを、カメラパラメータ、あるいは、各画像Ｇ１，Ｇ２の画像ファイルの付帯情報から取得する。そして、これらに基づき、三角測量の原理を適用することにより、各画像Ｇ１，Ｇ２に対応する撮像部２１Ａ、２１Ｂからその画素に対応する被写体上の点までの奥行き距離を計測する（詳細は、特開2009-293970号公報等参照）。図１８は、点(i₁,j₁)における奥行き距離ｚ(i₁,j₁)を算出する場合について、点(i₁,j₁)、各撮像部２１Ａ、２１Ｂのレンズ１０Ａ、１０Ｂ、撮像素子１３Ａ、１３Ｂの位置関係を模式的に表したものである。左眼に対応する撮像部２１Ａのレンズ１０Ａから点(i₁,j₁)に向かう視線ＶＬ１と右眼に対応する撮像部２１Ｂのレンズ１０Ｂから点(i₁,j₁)に向かう視線ＶＬ２とがなす角αが輻輳角である。また、視線ＶＬ２をレンズ１０Ａの中心位置を通るように平行移動した直線ＶＬ２´とすると、ＶＬ１とＶＬ２´の各々と撮像素子１３Ａ、１３Ｂを表す直線との交点の間の距離△ｘが点(i₁,j₁)における視差を表す。奥行き情報算出部３７Ｅは、視差△ｘまたは輻輳角α、レンズ間距離ＬＤ、焦点距離ＦＤを用いて、三角測量の原理に基づいて奥行き距離ｚ(i₁,j₁)を算出することができる。

二重像領域抽出部３７Ｆは、各画像Ｇ１、Ｇ２から、奥行き距離ｚ(i₁,j₁)が所定の閾値Ｔｈ１未満となる領域を、立体視表示の際に像が二重になる領域である二重像領域Ｅ１[m]、Ｅ２[m]として抽出する。ここで、mは、各二重像領域を識別する添え字である。具体的には、二重像領域抽出部３７Ｆは、まず、各点における奥行き距離ｚ(i,j)を画素値とする距離画像に対して、公知のラベリング処理を行うことによって、奥行き距離ｚ(i,j)が近似する画素を連結し、領域として分離する。次に、第１、第２の画像Ｇ１，Ｇ２において、分離された各領域に対応する領域のうち、奥行き距離ｚ(i₁,j₁)が所定の閾値Ｔｈ１未満となる領域を、二重像領域Ｅ１[m]、Ｅ２[m]として抽出する。なお、所定の閾値Ｔｈ１は、その視差量が立体視として像が融合する限界を表す値とすればよい。これにより、立体視表示の際に表示面より前方側で像が二重になる領域を抽出することができる。また、この閾値Ｔｈ１は、予め理論的、実験的、経験的に得られた値を内部メモリ３５に格納しておいてもよいし、ユーザが所望の値を設定または変更できるようにしてもよい。

二重像平面距離決定部３７Ｇは、第１、第２の画像Ｇ１，Ｇ２の各点から、その画像中の主要被写体Ｆ１，Ｆ２までの平面距離ｄ１(i,j)、ｄ２(i,j)を用いて、各二重像領域Ｅ１[m]、Ｅ２[m]中の各点から主要被写体Ｆ１，Ｆ２までの距離の最小値を、各二重像領域Ｅ１[m]、Ｅ２[m]から主要被写体Ｆ１、Ｆ２までの距離の代表値である二重像平面距離ｄ１_E[m]、ｄ２_E[m]として決定する。その際、各二重像領域Ｅ１[m]、Ｅ２[m]内の各点の位置情報と二重像平面距離ｄ１_E[m]、ｄ２_E [m]とを関連づけて内部メモリ３５に記憶しておく。

ＬＰＦ３７Ｃは、第１、第２の画像Ｇ１，Ｇ２の各々について、二重像領域Ｅ１[m]、Ｅ２[m]内の各点に対しては、その点における二重像平面距離ｄ１_E[m]、ｄ２_E [m]に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う。一方、二重像領域Ｅ１[m]、Ｅ２[m]外の各点に対しては、第１の実施形態と同様に、その点における主要被写体までの平面距離ｄ１(i,j) 、ｄ２(i,j) に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う。すなわち、本実施形態では、ＬＰＦ３７Ｃは、本発明における第１の非鮮鋭化手段と第２の非鮮鋭化手段の両方として機能することになる。なお、二重像領域Ｅ１[m]、Ｅ２[m]内の各点に対するローパスフィルタと、二重像領域Ｅ１[m]、Ｅ２[m]外の各点に対するローパスフィルタとを、別個の処理部（回路）として実装してもよい。

図１６は、本発明の第２の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。ステップ#11から#15までは第１の実施形態のステップ#1から#5と同様である。図１７は、複眼カメラ１の各撮像部２１Ａで得られた画像Ｇ１の一例を模式的に表したものである。

次に、奥行き情報算出部３７Ｅは、各画像中の主要被写体Ｆ１，Ｆ２以外の領域内の各点の奥行き方向の距離ｚ(i,j)を算出し(#16)、二重像領域抽出部３７Ｆが、各画像Ｇ１、Ｇ２から、奥行き距離ｚ(i₁,j₁)が所定の閾値Ｔｈ１未満となる孤立領域を、立体視表示の際に像が二重になる領域である二重像領域Ｅ１[m]、Ｅ２[m]として抽出する(#17)。ここで、二重像領域が抽出された場合には(#18;YES)、二重像平面距離決定部３７Ｇは、各二重像領域Ｅ１[m]、Ｅ２[m]中の各点から主要被写体Ｆ１，Ｆ２までの距離の最小値を二重像平面距離ｄ１_E[m]、ｄ２_E[m]として決定する(#19)。図１９は、図１７の画像例において、被写体ＳＢ２とＳＢ４が二重像領域ｄ１_E[1]、ｄ１_E[2]として抽出された場合の、各領域の二重像平面距離ｄ１_E[1]、ｄ１_E[2]を模式的に表したものである。

そして、ＬＰＦ３７Ｃは、第１、第２の画像Ｇ１，Ｇ２の各々について、ＬＵＴ３７Ｄを参照し、第１、および、第２の画像Ｇ１，Ｇ２内の各点(i,j)に対してローパスフィルタ処理を行う。具体的には、まず処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内かどうかを判定する(#20)、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内の場合には(#20;YES)、その領域に関連づけられた二重像平面距離ｄ１_E[m]、ｄ２_E[m]に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う(#21)。一方、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]外の場合には(#20;NO)、その点における主要被写体までの平面距離ｄ１(i,j) 、ｄ２(i,j) に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う(#22)。ＬＰＦ３７Ｃは、上記ステップ#20から#22を、第１、および、第２の画像Ｇ１，Ｇ２内のすべての点での処理が終了するまで繰り返し行う(#23)。これにより、ローパスフィルタ処理後の第１、第２の画像Ｇ１´、Ｇ２´が出力される。図２０は、第１の画像Ｇ１に対するローパスフィルタ処理の結果を模式的に表したものである。図に示したように、二重像領域ｄ１_E[1]、ｄ１_E[2]である被写体ＳＢ２，ＳＢ４は、各領域全体が一律に、各々の二重像平面距離ｄ１_E[1]、ｄ１_E[2]に応じたローパスフィルタ処理によってぼかされている。一方、主要被写体Ｆ１である被写体ＳＢ１の近くにある被写体ＳＢ３は、二重像領域ｄ１_E[m]外にあるので、第１の実施形態と同様に、被写体ＳＢ１からの平面距離ｄ１(i,j)に応じたローパスフィルタ処理によってぼかされている。

そして、３次元処理部３０によって、上記ＬＰＦ３７Ｃによる処理後の第１の画像Ｇ１´および第２の画像Ｇ２´から立体視用画像ＧＲが生成され、モニタ７に出力される(#24)。

以上のようにして立体視表示された立体視用画像ＧＲは、二重像となる領域が一律にぼかされている。すなわち、１つのまとまりとして認識されやすい被写体（オブジェクト）の単位で同じレベルでぼかされている。したがって、二重像による観察者の目の疲労を軽減することが可能になる。また、二重像となる領域では、その領域から主要被写体までの平面距離の最小値に応じたローパスフィルタ処理が行われる。ここで、ＬＵＴ３７Ｄは、平面距離が小さくなるほど大きくぼかされるように設定されているので、二重像となる領域は、その周辺の領域と同程度、またはそれよりも大きくぼかされることになる。したがって、観察者が二重像に対して視差を合わせようとする行為がより強く抑制される。また、二重像領域を一律にぼかすことにより、二重像領域とその周辺領域との間にボケ具合の差が生じ、この差が表示品質の劣化につながることになりかねない。しかしながら、上記のように、二重像領域から主要被写体までの平面距離の最小値に応じたローパスフィルタ処理を行うようにすれば、二重像領域とその周辺領域との境界のうち主要被写体に近いところでは、二重像領域とその周辺領域との間でボケ具合の差が小さくなるので、観察者の注目点である主要被写体により近い二重像領域の付近での表示品質の劣化も抑制される。一方、二重像となる領域以外の領域については、第１の実施形態と同様の効果が得られる。

なお、上記実施形態において、奥行き情報算出部３７は、奥行き距離を算出せずに、第１、第２の画像Ｇ１、Ｇ２の間で対応する画素の画像間での位置の差である視差を奥行き情報として算出するようにしてもよい。この場合、二重像領域抽出部３７Ｆは、各画像Ｇ１、Ｇ２から、視差が所定の閾値より大きい領域を二重像領域Ｅ１[m]、Ｅ２[m]として抽出すればよい。ここで、所定の閾値は、左眼の画像である画像Ｇ１が右眼画像である画像Ｇ２に対して右方向に視差を有することを表す値であり、かつ、その視差量が立体視として像が融合する限界を表す値とすればよい。これにより、立体視表示の際に表示面より前方側で像が二重になる領域を抽出することができる。なお、この閾値は、予め理論的、実験的、経験的に得られた値を内部メモリ３５に格納しておいてもよいし、ユーザが所望の値を設定または変更できるようにしてもよい。

図２１は、本発明の第３の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第３の実施形態では、重みづけ係数決定部３７Ｈが第１の実施形態の非鮮鋭化処理部３７に対して付加された構成となっている。

また、主要被写体抽出部３７Ａは、複数の主要被写体Ｆ１[n]、Ｆ２[n]を抽出する構成となっている。ここで、nは、複数の主要被写体の各々を識別する添え字である。すなわち、第１の実施形態における、主要被写体候補をすべて主要被写体として抽出する。これに伴い、平面距離算出部３７Ｂは、各画像Ｇ１，Ｇ２中の各点(i,j)と、主要被写体Ｆ１[n]、Ｆ２[n]の各々の間の平面距離ｄ１[n](i,j)、ｄ２[n](i,j)を算出する。図２３は、画像Ｇ１から３つの主要被写体Ｆ１[1]、Ｆ１[2]、Ｆ１[3]が抽出された場合を模式的に表したものであり、平面距離算出部３７Ｂは、点(i₁,j₁)に対しては、各主要被写体Ｆ１[1]、Ｆ１[2]、Ｆ１[3]から点(i₁,j₁)までの平面距離ｄ１[1] (i₁,j₁)、ｄ１[2] (i₁,j₁)、ｄ１[3] (i₁,j₁)を算出する。

一方、重みづけ係数決定部３７Ｈは、複数の主要被写体Ｆ１[n]、Ｆ２[n]毎の主要被写体らしさを表す重みづけ係数ｗ１[n]、ｗ２[n]を決定する。具体的には、第１の実施形態において主要被写体候補から主要被写体を決定する際の基準と同様の基準を用いて、主要被写体の大きさが大きいほど大きな重みとなるように、かつ、各画像Ｇ１，Ｇ２の中心位置から各主要被写体までの距離が小さいほど大きな重みとなるように、重みづけ係数ｗ１[n]、ｗ２[n]を決定する。あるいは、ユーザが任意に重みづけ係数ｗ１[n]、ｗ２[n]を決定するようにしてもよい。

ＬＰＦ３７Ｃは、画像Ｇ１について、各主要被写体Ｆ１[n]からの平面距離ｄ１[n](i,j)の各々に基づいてＬＵＴ３７Ｄを参照し、各々の平面距離ｄ１[n](i,j)に対応する画素サイズＵ１[n]を取得する。そして、次式により、点(i,j)におけるローパスフィルタの画素サイズＵ１を決定する。

画像Ｇ２についても同様にして点(i,j)におけるローパスフィルタの画素サイズＵ２を決定する。

図２３の例において、平面距離ｄ１[1] (i₁,j₁)、ｄ１[2] (i₁,j₁)、ｄ１[3] (i₁,j₁)に対応するローパスフィルタの画素サイズを、各々、Ｕ１[1]、Ｕ１[2]、Ｕ１[3]とし、主要被写体Ｆ１[1]、Ｆ１[2]、Ｆ１[3]に対する重みづけ係数を、各々、ｗ１[1]、ｗ１[2]、ｗ１[3]とすると、点(i₁,j₁)におけるローパスフィルタの画素サイズＵ１(i₁,j₁)は、

となる。

ＬＰＦ３７Ｃは、各画像Ｇ１，Ｇ２の各点において、各点毎に決定された画素サイズＵ１、Ｕ２を用いてローパスフィルタ処理を行う。

なお、上記では、画像Ｇ１の場合、各主要被写体Ｆ１[n]からの平面距離ｄ１[n](i,j)の各々に対応するローパスフィルタの画素サイズに対して重みづけ係数ｗ１[n]を用いた重みづけ平均を求めているが、平面距離ｄ１[n](i,j)に対して重みづけ係数による重みづけ平均を求め、平面距離ｄ１[n](i,j)の重みづけ平均に基づいてＬＵＴ３７Ｄを参照するようにしてもよい。この場合、主要被写体らしさが高い主要被写体に近いほど大きくぼかす必要があるので、主要被写体らしさが高い主要被写体ほど重みづけ係数ｗ１[n]は小さくする必要がある。また、各主要被写体Ｆ１[n]からの平面距離ｄ１[n](i,j)の各々に対して重みづけ係数ｗ１[n]を乗算し、その各乗算値に基づいてＬＵＴ３７Ｄを参照して画素サイズを各々取得し、取得した画素サイズの単純平均を求めることによって、最終的な画素サイズを求めてもよい。

図２２は、本発明の第３の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。まず、レリーズボタン２の全押し操作が行われると、撮像部２１Ａ，２１Ｂで本撮像が行われ、第１の画像Ｇ１，第２の画像Ｇ２が各々取得される(#31)。

次に、主要被写体抽出部３７Ａが、第１および第２の画像Ｇ１，Ｇ２に共通の主要被写体を１以上抽出し(#32)、平面距離算出部３７Ｂが、第１の画像Ｇ１と第２の画像Ｇ２の各々について、画像中の各点(i,j)と各主要被写体Ｆ１[n]、Ｆ２[n]の中心位置との間の平面距離ｄ１[n](i,j)、ｄ２[n](i,j)を算出する(#33)。

次に、重みづけ係数決定部３７Ｈは、複数の主要被写体Ｆ１[n]、Ｆ２[n]毎の主要被写体らしさを表す重みづけ係数ｗ１[n]、ｗ２[n]を決定する(#34)。

次に、ＬＰＦ３７Ｃは、ＬＵＴ３７Ｄを参照し、第１、および、第２の画像Ｇ１，Ｇ２内の各点(i,j)に対して、その点における各主要被写体までの平面距離ｄ１[n](i,j) 、ｄ２[n] (i,j)、および、各主要被写体Ｆ１[n]、Ｆ２[n]毎の重みづけ係数ｗ１[n]、ｗ２[n]に応じたローパスフィルタ処理を行い、処理後の第１、第２の画像Ｇ１´、Ｇ２´を出力する(#35)。

そして、３次元処理部３０によって、上記ＬＰＦ３７Ｃによる処理後の第１の画像Ｇ１´および第２の画像Ｇ２´から立体視用画像ＧＲが生成され、モニタ７に出力される(#36)。

以上のように、本発明の第３の実施形態によれば、観察対象の画像中に複数の主要被写体が存在する場合であっても、各主要被写体を加味したローパスフィルタ処理が行われるので、各主要被写体に対する観察者の注目度に応じた適切な立体視表示が可能になる。

なお、上記実施形態において、重みづけ係数決定部３７Ｈを設けずに、ＬＰＦ３７Ｃが、各主要被写体までの平面距離に応じたローパスフィルタの画素サイズの単純平均を求めるようにしてもよい。これは、重みづけ係数の値がすべて等しい場合に相当する。

図２４は、本発明の第４の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第４の実施形態では、主要被写体平均位置算出部３７Ｉが第１の実施形態の非鮮鋭化処理部３７に対して付加された構成となっている。

また、第３の実施形態と同様、主要被写体抽出部３７Ａは、複数の主要被写体Ｆ１[n]、Ｆ２[n]を抽出する構成となっている。

主要被写体平均位置算出部３７Ｉは、画像Ｇ１，Ｇ２について、複数の主要被写体Ｆ１[n]、Ｆ２[n]の平均位置ＦＡ１、ＦＡ２を算出する。

平面距離算出部３７Ｂは、各画像Ｇ１，Ｇ２中の各点と、この主要被写体平均位置ＦＡ１、ＦＡ２との間の平面距離ｄ１(i,j)、ｄ２(i,j)を算出する。

ＬＰＦ３７Ｃの処理は第１の実施形態と同様である。

図２５は、本発明の第４の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。ステップ#41および#42は、第３の実施形態のステップ#31および#32と同様である。

そして、主要被写体平均位置算出部３７Ｉは、画像Ｇ１，Ｇ２について、複数の主要被写体Ｆ１[n]、Ｆ２[n]の平均位置ＦＡ１、ＦＡ２を算出し(#43)、平面距離算出部３７Ｂが、第１の画像Ｇ１と第２の画像Ｇ２の各々について、画像中の各点(i,j)と各主要被写体の平均位置ＦＡ１、ＦＡ２との間の平面距離ｄ１[n](i,j)、ｄ２[n](i,j)を算出する(#44)。以下のステップ#45および#46は、第１の実施形態のステップ#6および#7と同様である。

以上のように、本発明の第４の実施形態でも、第３の実施形態と同様に、観察対象の画像中に複数の主要被写体が存在する場合であっても、各主要被写体を加味したローパスフィルタ処理を行うことができる。

なお、上記実施形態において、重みづけ係数決定部３７Ｈを設け、主要被写体平均位置算出部３７Ｉが、重みづけ係数決定部３７Ｈによって決定された重みづけ係数ｗ１[n]、ｗ２[n]を用いて、各主要被写体Ｆ１[n]、Ｆ２[n]の重みづけ平均位置を求めるようにしてもよい。この場合、重みづけ係数ｗ１[n]、ｗ２[n]は、その被写体が主要被写体らしいほど大きな値になるようにすれば、主要被写体の平均位置ＦＡ１、ＦＡ２は、より主要被写体らしい被写体に近づくようにすることができる。

図２６は、本発明の第５の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第５の実施形態は、上記第２の実施形態と第３の実施形態を組み合わせたものである。すなわち、本実施形態の非鮮鋭化処理部３７は、主要被写体抽出部３７Ａ、平面距離算出部３７Ｂ、重みづけ係数決定部３７Ｈ、奥行き情報算出部３７Ｅ、二重像領域抽出部３７Ｆ、二重像平面距離決定部３７Ｇ、ＬＰＦ３７Ｃ、ＬＵＴ３７Ｄから構成される。

ここで、本実施形態では、二重像平面距離決定部３７Ｇは、第１の画像Ｇ１の各点から、その画像中の主要被写体Ｆ１[n]の各々までの平面距離ｄ１[n](i,j)を用いて、各二重像領域Ｅ１[m]中の各点から主要被写体Ｆ１[n]の各々までの距離の最小値を二重像平面距離ｄ１_E[m,n]として決定し、各二重像領域Ｅ１[m]内の各点の位置情報と二重像平面距離ｄ１_E[m,n]とを関連づけて内部メモリ３５に記憶する。第２の画像Ｇ２の各点についても同様にして、二重像平面距離ｄ２_E[m,n]を求める。すなわち、本実施形態では、二重像平面距離は、画像毎、二重像領域毎、かつ、主要被写体毎に求まる。

また、ＬＰＦ３７Ｃは、第１の画像Ｇ１の各々について、二重像領域Ｅ１[m]内の各点に対しては、その領域における各主要被写体Ｆ１[n]からの二重像平面距離ｄ１_E[m,n]に基づいてＬＵＴ３７Ｄを参照し、各々の二重像平面距離ｄ１_E[m,n]に対応する画素サイズＵ１[m,n]を取得する。そして、二重像領域Ｅ１[m]毎に、主要被写体Ｆ１[n]毎の重みづけ係数ｗ１[n]を用いた、第３の実施形態と同様の、画素サイズＵ１[m,n]の重みづけ平均により、その点におけるローパスフィルタの画素サイズＵ１[m]を決定し、ローパスフィルタ処理を行う。一方、二重像領域Ｅ１[m]外の各点に対しては、第３の実施形態と同様にしてローパスフィルタ処理を行う。第２の画像Ｇ２に対しても上記と同様にしてローパスフィルタ処理を行う。

上記以外については、各処理部の詳細は前述の実施形態のものと同様である。

図２７は、本発明の第５の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。まず、各撮像部２１Ａ，２１Ｂで第１の画像Ｇ１，第２の画像Ｇ２が各々取得された後(#51)、主要被写体抽出部３７Ａが、第１および第２の画像Ｇ１，Ｇ２に共通の主要被写体を１以上抽出し(#52)、平面距離算出部３７Ｂが、各画像Ｇ１、Ｇ２中の各点(i,j)と各主要被写体Ｆ１[n]、Ｆ２[n]の中心位置との間の平面距離ｄ１[n](i,j)、ｄ２[n](i,j)を算出する(#53)。一方、重みづけ係数決定部３７Ｈは、複数の主要被写体Ｆ１[n]、Ｆ２[n]毎の重みづけ係数ｗ１[n]、ｗ２[n]を決定する(#54)。

次に、奥行き情報算出部３７Ｅは、各画像中の主要被写体Ｆ１[n]，Ｆ２[n]以外の領域内の各点の奥行き方向の距離ｚ(i,j)を算出し(#55)、二重像領域抽出部３７Ｆが、各画像Ｇ１、Ｇ２から二重像領域Ｅ１[m]、Ｅ２[m]を抽出する(#56)。ここで、二重像領域が抽出された場合には(#57;YES)、二重像平面距離決定部３７Ｇは、各二重像領域Ｅ１[m]、Ｅ２[m]中の各点から各主要被写体Ｆ１[n]，Ｆ２[n]までの距離の最小値を二重像平面距離ｄ１_E[m,n]、ｄ２_E[m,n]として決定する(#58)。

次に、ＬＰＦ３７Ｃは、まず処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内かどうかを判定する(#59)、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内の場合には(#59;YES)、その領域に関連づけられた二重像平面距離ｄ１_E[m,n]、ｄ２_E[m,n]に基づいてＬＵＴ３７Ｄを参照し、その点における二重像平面距離ｄ１_E[m,n]、ｄ２_E[m,n]、および、各主要被写体Ｆ１[n]、Ｆ２[n]毎の重みづけ係数ｗ１[n]、ｗ２[n]に応じたローパスフィルタ処理を行う(#60)。一方、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]外の場合には(#59;NO)、その点における各主要被写体までの平面距離ｄ１[n](i,j)、ｄ２[n](i,j)に基づいてＬＵＴ３７Ｄを参照し、その点における平面距離ｄ１_E[m,n]、ｄ２_E[m,n]、および、各主要被写体Ｆ１[n]、Ｆ２[n]毎の重みづけ係数ｗ１[n]、ｗ２[n]に応じたローパスフィルタ処理を行う(#61)。ＬＰＦ３７Ｃは、上記ステップ#59から#62を、第１、および、第２の画像Ｇ１，Ｇ２内のすべての点での処理が終了するまで繰り返し行う(#62)。これにより、ローパスフィルタ処理後の第１、第２の画像Ｇ１´、Ｇ２´が出力される。

そして、３次元処理部３０によって、上記ＬＰＦ３７Ｃによる処理後の第１の画像Ｇ１´および第２の画像Ｇ２´から立体視用画像ＧＲが生成され、モニタ７に出力される(#63)。

以上のように、本発明の第５の実施形態によれば、観察対象の画像中に複数の主要被写体が存在する場合であっても、二重像領域および各主要被写体を加味した適切なローパスフィルタ処理が行われる。

図２８は、本発明の第６の実施形態となる非鮮鋭化処理部３７の構成を模式的に表したブロック図である。図に示したように、本発明の第６の実施形態は、上記第２の実施形態と第４の実施形態を組み合わせたものである。すなわち、本実施形態の非鮮鋭化処理部３７は、主要被写体抽出部３７Ａ、主要被写体平均位置算出部３７Ｉ、平面距離算出部３７Ｂ、奥行き情報算出部３７Ｅ、二重像領域抽出部３７Ｆ、二重像平面距離決定部３７Ｇ、ＬＰＦ３７Ｃ、ＬＵＴ３７Ｄから構成される。

ここで、二重像平面距離決定部３７Ｇは、第１、第２の画像Ｇ１，Ｇ２の各点から、その画像中の主要被写体Ｆ１，Ｆ２の平均位置ＦＡ１、ＦＡ２までの平面距離ｄ１(i,j)、ｄ２(i,j)を用いて、各二重像領域Ｅ１[m]、Ｅ２[m]中の各点から主要被写体Ｆ１，Ｆ２の平均位置ＦＡ１，ＦＡ２までの距離の最小値を二重像平面距離ｄ１_E[m]、ｄ２_E[m]として決定し、各二重像領域Ｅ１[m]、Ｅ２[m]内の各点の位置情報と二重像平面距離ｄ１_E[m]、ｄ２_E [m]とを関連づけて内部メモリ３５に記憶する。

上記以外については、各処理部の詳細は前述の実施形態のものと同様である。

図２９は、本発明の第６の実施形態において行われる撮像から立体視表示までの処理の流れを表したフローチャートである。まず、各撮像部２１Ａ，２１Ｂで第１の画像Ｇ１，第２の画像Ｇ２が各々取得された後(#71)、主要被写体抽出部３７Ａが、第１および第２の画像Ｇ１，Ｇ２に共通の主要被写体を１以上抽出し(#72)、主要被写体平均位置算出部３７Ｉは、画像Ｇ１，Ｇ２について、複数の主要被写体Ｆ１[n]、Ｆ２[n]の平均位置ＦＡ１、ＦＡ２を算出し(#73)、平面距離算出部３７Ｂが、第１の画像Ｇ１と第２の画像Ｇ２の各々について、画像中の各点(i,j)と各主要被写体の平均位置ＦＡ１、ＦＡ２との間の平面距離ｄ１[n](i,j)、ｄ２[n](i,j)を算出する(#74)。

次に、奥行き情報算出部３７Ｅは、各画像中の主要被写体Ｆ１，Ｆ２以外の領域内の各点の奥行き方向の距離ｚ(i,j)を算出し(#75)、二重像領域抽出部３７Ｆが、各画像Ｇ１、Ｇ２から二重像領域Ｅ１[m]、Ｅ２[m]を抽出する(#76)。ここで、二重像領域が抽出された場合には(#77;YES)、二重像平面距離決定部３７Ｇは、各二重像領域Ｅ１[m]、Ｅ２[m]中の各点から各主要被写体Ｆ１[n]，Ｆ２[n]の平均位置ＦＡ１、ＦＡ２までの距離の最小値を二重像平面距離ｄ１_E[m,n]、ｄ２_E[m,n]として決定する(#78)。

次に、ＬＰＦ３７Ｃは、第１、第２の画像Ｇ１，Ｇ２の各々について、ＬＵＴ３７Ｄを参照し、第１、および、第２の画像Ｇ１，Ｇ２内の各点(i,j)に対してローパスフィルタ処理を行う。具体的には、まず処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内かどうかを判定する(#79)、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]内の場合には(#79;YES)、その領域に関連づけられた二重像平面距離ｄ１_E[m]、ｄ２_E[m]に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う(#80)。一方、処理対象の画素が二重像領域Ｅ１[m]、Ｅ２[m]外の場合には(#79;NO)、その点における主要被写体までの平面距離ｄ１(i,j) 、ｄ２(i,j) に基づいてＬＵＴ３７Ｄを参照してＬＰＦ画素サイズを決定し、その画素サイズを用いたローパスフィルタ処理を行う(#81)。ＬＰＦ３７Ｃは、上記ステップ#79から#82を、第１、および、第２の画像Ｇ１，Ｇ２内のすべての点での処理が終了するまで繰り返し行う(#82)。これにより、ローパスフィルタ処理後の第１、第２の画像Ｇ１´、Ｇ２´が出力される。

そして、３次元処理部３０によって、上記ＬＰＦ３７Ｃによる処理後の第１の画像Ｇ１´および第２の画像Ｇ２´から立体視用画像ＧＲが生成され、モニタ７に出力される(#83)。

以上のように、本発明の第６の実施形態においても、観察対象の画像中に複数の主要被写体が存在する場合であっても、二重像領域および各主要被写体を加味した適切なローパスフィルタ処理が行われる。上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態における多眼撮像装置の構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、非鮮鋭化処理部３７をデジタル信号処理部２７に実装してもよい。あるいは、非鮮鋭化処理部３７を構成する各処理部を個別の処理回路としてハードウェア的に実装してもよい。

また、上記各実施形態では、撮像部が２つの複眼カメラを例としてきたが、３つ以上の撮像部を有する複眼カメラに対しても、本発明は適用可能である。また、被写体が静止しているものであれば、１台の単眼カメラを用いて撮影位置を変えながら同一の被写体を順次撮像することによって複数の視差画像を得ることができるので、このような使い方を想定して単眼カメラに対して本発明を適用してもよい。

さらに、本発明を、複数の視差画像の画像ファイル、例えば、上記各実施形態の第１の画像Ｇ１および第２の画像Ｇ２の画像ファイル（図５参照）を入力として、入力された画像から立体視用画像ＧＲを生成して立体視表示を行う、デジタルフォトフレーム等の立体表示装置に実装してもよい。

１ 複眼カメラ
７ モニタ
２１Ａ，２１Ｂ 撮像部
３０ ３次元処理部
３７ 非鮮鋭化処理部
３７Ａ 主要被写体抽出部
３７Ｂ 平面距離算出部
３７Ｃ ＬＰＦ
３７Ｄ ＬＵＴ
３７Ｅ 奥行き情報算出部
３７Ｆ 二重像領域抽出部
３７Ｇ 二重像平面距離決定部
３７Ｈ 重みづけ係数決定部
３７Ｉ 主要被写体平均位置算出部

Claims (10)

1. 異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の視差画像の各々から、該主要被写体を抽出する主要被写体抽出手段と、
   前記複数の視差画像の各々について、該視差画像中の各点と該視差画像中の主要被写体との間の、該視差画像の平面上での距離である平面距離を算出する平面距離算出手段と、
   前記複数の視差画像の各々に対して、該視差画像中の各点から該主要被写体までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、第１の非鮮鋭化処理を行う第１の非鮮鋭化手段とを備えたことを特徴とする画像処理装置。
2. 前記複数の視差画像の各々から該視差画像中の前記主要被写体の領域以外の領域内の各点の視差量を算出し、該視差量に基づいて前記立体視表示の際に表示面より前方側で像が二重になる領域である二重像領域を抽出する二重像領域抽出手段と、
   該二重像領域に対して、一律に、所与の処理強度により第２の非鮮鋭化処理を行う第２の非鮮鋭化手段とをさらに備え、
   前記第１の非鮮鋭化手段は、前記視差画像中の各点のうち、前記二重像領域外の点に対して前記第１の非鮮鋭化処理を行うものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の非鮮鋭化手段は、前記所与の処理強度を、前記二重像領域内の各点と前記主要被写体との間の平面距離の最小値に対応する前記第１の非鮮鋭化手段の処理強度と同じ処理強度に決定するものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の視差画像は複数の前記主要被写体を含むものであり、
   前記主要被写体抽出手段は該複数の主要被写体を抽出するものであり、
   前記平面距離算出手段は、前記視差画像中の各点と該視差画像中の該複数の主要被写体の各々との間の前記平面距離を算出するものであり、
   前記第１の非鮮鋭化手段は、該複数の主要被写体の各々との平面距離に基づいて、前記第１の非鮮鋭化処理を行うものであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１の非鮮鋭化手段は、前記複数の主要被写体の各々との平面距離と、該複数の主要被写体毎の主要被写体らしさを表す所与の重みづけ係数とに基づいて、より主要被写体らしい前記主要被写体との間の前記平面距離が小さい該視差画像中の点ほど非鮮鋭度が大きくなるように、前記第１の非鮮鋭化処理を行うものであることを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の視差画像は複数の前記主要被写体を含むものであり、
   前記主要被写体抽出手段は該複数の主要被写体を抽出するものであり、
   前記平面距離算出手段は、前記視差画像の各々について、該視差画像中の該複数の主要被写体の平均位置を算出し、該視差画像中の各点と該視差画像中の前記平均位置との間の前記平面距離を算出するものであり、
   前記第１の非鮮鋭化手段は、該視差画像中の各点から前記平均位置までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、前記第１の非鮮鋭化処理を行うものであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
7. 前記平面距離算出手段は、前記複数の主要被写体毎の主要被写体らしさを表す所与の重みづけ係数を用いた、前記複数の主要被写体の各位置の重みづけ平均によって前記平均位置を算出するものであることを特徴とする請求項６に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置と、
   該画像処理装置で処理済みの複数の視差画像を用いて該被写体の立体視表示を行う立体視表示手段とを備えたことを特徴とする画像表示装置。
9. 異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の視差画像の各々から、該主要被写体を抽出するステップと、
   前記複数の視差画像の各々について、該視差画像中の各点と該視差画像中の主要被写体との間の、該視差画像の平面上での距離である平面距離を算出するステップと、
   前記複数の視差画像の各々に対して、該視差画像中の各点から該主要被写体までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、第１の非鮮鋭化処理を行うステップとを有することを特徴とする画像処理方法。
10. コンピュータに、
    異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の視差画像の各々から、該主要被写体を抽出するステップと、
    前記複数の視差画像の各々について、該視差画像中の各点と該視差画像中の主要被写体との間の、該視差画像の平面上での距離である平面距離を算出するステップと、
    前記複数の視差画像の各々に対して、該視差画像中の各点から該主要被写体までの前記平面距離が小さいほど非鮮鋭度が大きくなるように、第１の非鮮鋭化処理を行うステップとを実行させることを特徴とする画像処理プログラム。

Images