JP2012134873A - 撮像装置および撮像プログラム - Google Patents

Abstract

【課題】主要被写体の特性を反映することができる撮像装置および撮像プログラムを提供する。
【解決手段】被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像素子１１と、一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理部１４と、一対の画像に含まれる被写体の位置の位置差を算出する位置差算出部３２３と、位置差算出部３２３が算出した位置差に基づいて、画像処理部１４が一対の画像に対して特殊効果処理を行う領域を設定する領域設定部３２５と、を備える。
【選択図】図１

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、被写体を撮像した画像データに特殊効果を施すことによって、消費者の様々な要望に応える技術が知られている。たとえば、被写体を撮像した画像データにワイプやセピア等の特殊効果を施してメモリに記憶する技術が知られている（特許文献１参照）。この技術では、ユーザが特殊効果を選択するエフェクトスイッチを操作した際に選択された特殊効果を施した画像を、表示モニタが表示する画像上の一部に表示させることにより、ユーザに所望の特殊効果を容易に選択させることができるようになっている。

また、撮像した画像内に含まれる人物や花等の主要被写体と背景とにそれぞれ異なる画像処理を行う技術が知られている（特許文献２参照）。この技術では、主要被写体と背景とにそれぞれ異なった画像処理、たとえば感度（ＩＳＯ）処理、シャープネス処理、ぼかし処理または色相変換処理等を行うことにより、主要被写体を背景から際立たせることができる。

特開２００５−３４７８８６号公報 特開２００２−４４５１６号公報

しかしながら、従来の撮像装置では、主要被写体および背景に対して、同一種類でパラメータが異なる画像処理しか行っていなかった。このため、主要被写体の特性まで反映されていなかった。

本発明は、上記に鑑みてなされたものであって、主要被写体の特性を反映することができる撮像装置および撮像プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像部と、前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理部と、前記一対の画像に含まれる前記被写体の位置の位置差を算出する位置差算出部と、前記位置差算出部が算出した前記位置差に基づいて、前記画像処理部が前記一対の画像に対して前記特殊効果処理を行う領域を設定する領域設定部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記位置差算出部が算出した前記位置差に応じて、前記一対の画像において被写体領域と背景領域とにそれぞれ切り分ける閾値を設定する閾値設定部をさらに備え、前記領域設定部は、前記位置差算出部によって算出された前記位置差が前記閾値を超える領域を、前記画像処理部が前記特殊効果処理を行う領域として設定することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記一対の画像のどちらか一方から人物の顔を検出する顔検出部をさらに備え、前記画像処理部は、前記顔検出部の検出結果に応じて、前記特殊効果処理の内容を変更することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記一対の画像データに対応する画像を表示する表示部と、操作信号の入力を受け付ける入力部と、前記入力部から入力される操作信号に応じて、前記閾値設定部が設定した前記閾値を変更する閾値変更部と、
をさらに備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記入力部は、前記表示部の表示画面上に設けられ、外部からの物体の接触位置に応じた操作信号の入力を受け付けるタッチパネルであることを特徴とする。

また、本発明にかかる撮像プログラムは、被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像ステップと、前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理ステップと、前記一対の画像に含まれる前記被写体の位置の位置差を算出する位置差算出ステップと、前記位置差算出ステップが算出した前記位置差に基づいて、前記画像処理ステップが前記一対の画像に対して前記特殊効果処理を行う領域を設定する領域設定ステップと、を撮像装置に実行させることを特徴とする。

本発明によれば、位置差算出部が一対の画像に含まれる前記被写体の位置の位置差を算出し、領域設定部が位置差算出部によって算出された位置差に基づいて、画像処理部が一対の画像に対して特殊効果処理を行う領域を設定する。この結果、主要被写体の特性を反映することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。 図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側の構成を示す斜視図である。 図３は、本発明の一実施の形態にかかる撮像装置の撮影者に面する側の構成を示す斜視図である。 図４は、本発明の一実施の形態にかかる撮像装置の表示部の概略構成を示す模式図である。 図５は、本発明の一実施の形態にかかる撮像装置の特殊効果処理情報記憶部が記憶する特殊効果処理情報テーブルの一例を示す図である。 図６は、本発明の一実施の形態にかかる撮像装置の撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。 図７は、図６に示す状況下で撮像装置の立体画像生成部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。 図８は、図６に示す状況下で撮像装置の立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。 図９は、図６に示す状況下で撮像装置の立体画像生成部が生成した左目画像および右目画像を表示部に表示した際にユーザが仮想的に視認する３Ｄ画像の飛び出し距離を説明する図である。 図１０は、本発明の一実施の形態にかかる撮像装置が特殊効果撮影モードに設定されている場合に表示部が表示する特殊効果撮影モードにおける特殊効果撮影操作メニュー画面遷移の一例を示す図である。 図１１は、本発明の一実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。 図１２は、本発明の一実施の形態にかかる撮像装置の表示部が表示する画像の一例を示す図である。 図１３は、本発明の一実施の形態にかかる撮像装置の位置差算出部が行う処理の概要を示す図である。 図１４は、本発明の一実施の形態の変形例１にかかる撮像装置の位置差算出部が行う処理の概要を示す図である。 図１５は、本発明の一実施の形態の変形例２にかかる撮像装置の閾値変更部がタッチパネルから入力される操作信号に応じて閾値設定部が設定した閾値を変更する変更方法を説明する図である。 図１６は、本発明の一実施の形態の変形例３にかかる撮像装置の特殊効果処理情報記憶部が記憶する特殊効果処理情報テーブルの一例を示す図である。 図１７は、本発明の一実施の形態の変形例４にかかる撮像装置が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図３は、本発明の一実施の形態にかかる撮像装置の撮影者に面する側（背面側）の構成を示す斜視図である。図１〜図３に示す撮像装置１は、デジタル一眼レフカメラであり、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。

図１〜図３に示すように、本体部２は、シャッタ１０と、撮像素子１１と、Ａ／Ｄ変換部１２と、メモリ１３と、画像処理部１４と、撮像素子駆動部１５と、シャッタ駆動部１６と、露出処理部１７と、ＡＦ処理部１８と、タイマー１９と、本体通信部２０と、操作入力部２１と、フラッシュ発光部２２と、フラッシュ充電部２３と、フラッシュ駆動部２４と、表示部２５と、タッチパネル２６と、不揮発性メモリ２７と、外部メモリ２８と、外部通信部２９と、電源供給部３０と、電源部３１と、制御部３２と、を備える。

シャッタ１０は、撮像素子１１の状態を露光状態または遮光状態に設定する。シャッタ駆動部１６は、ステッピングモータ等を用いて構成され、レリーズ信号に応じてシャッタ１０を駆動する。

撮像素子１１は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１５は、所定のタイミングで撮像素子１１から画像データ（アナログ信号）をＡ／Ｄ変換部１２に出力させる。

Ａ／Ｄ変換部１２は、撮像素子１１から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成してメモリ１３に出力する。

メモリ１３は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いて構成される。メモリ１３は、Ａ／Ｄ変換部１２から入力される画像データや撮像装置１の処理中の情報を一時的に記録する。具体的には、メモリ１３は、撮像素子１１が１フレーム毎に順次出力する画像データを一時的に記録する。

画像処理部１４は、メモリ１３に記録された画像データを取得し、取得した画像データに対して各種の画像処理を施してメモリ１３に出力する。具体的には、画像処理部１４は、画像データに対して、少なくともエッジ強調、ホワイトバランス、色補正およびγ補正を含む通常の画像処理を行う。画像処理部１４は、特殊効果処理部１４１を有する。

特殊効果処理部１４１は、画像データに対して複数の画像処理を組み合わせることにより視覚的な効果を生じさせる特殊効果処理を行う。この特殊効果処理としては、たとえばトーンカーブ処理、ぼかし処理および画像合成処理を組み合わせた処理を行う。

露出処理部１７は、制御部３２を介してメモリ１３に記録された画像データに基づいて、静止画撮影や動画撮影を行う際の条件、たとえば絞りの設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。

ＡＦ処理部１８は、制御部３２を介してメモリ１３に記録された画像データに基づいて、撮像装置１の自動焦点（Auto Focus）の調整を行う。たとえば、ＡＦ処理部１８は、画像データのコントラストに基づいて、撮像する被写体像の鮮鋭度が最大となるようにレンズ部３を駆動する。

タイマー１９は、時間を計時する。タイマー１９は、撮影日時の判定機能を有する。タイマー１９は、撮像された画像データに日時データを付加するため、制御部３２に日時データを出力する。

本体通信部２０は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。なお、本体通信部２０は、本体部２に設けられた電源部３１からレンズ部３に電力を供給するようにしてもよい。

操作入力部２１は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ２１１と、撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ２１２と、撮像装置１に設定された各種撮影モード切換えの指示を与える切換信号を入力する撮影モード切換スイッチ２１３と、撮像装置１の各種設定を選択または決定の指示を与える指示信号を入力する操作スイッチ２１４と、撮像装置１に設定された操作メニュー画面の表示の指示を与える指示信号を入力するメニュースイッチ２１５と、撮像した画像データのレックビュー表示の指示を与える指示信号を入力するプレビュースイッチ２１６と、動画撮影の指示を与える動画レリーズ信号を入力する動画スイッチ２１７と、を有する。操作スイッチ２１４は、メニュー画面等における選択設定を行う上下左右の各方向ボタン２１４ａ〜２１４ｄと、メニュー画面等における各方向ボタン２１４ａ〜２１４ｄによる操作を決定する決定ボタン２１４ｅ（ＯＫボタン）とを有する（図３を参照）。なお、操作スイッチ２１４は、ダイヤルスイッチ等を用いて構成してもよい。

フラッシュ発光部２２は、キセノンランプやＬＥＤ（Light Emitting Diode）等を用いて構成される。フラッシュ発光部２２は、撮像装置１が撮像する視野領域へ向けて補助光であるストロボ光を照射する。フラッシュ充電部２３は、電源部３１から電源供給を受けて電圧を昇圧して充電する。フラッシュ駆動部２４は、フラッシュ充電部２３が昇圧した電圧をフラッシュ発光部２２に印加させることにより、フラッシュ発光部２２を駆動する。

図４は、表示部２５の概略構成を示す模式図である。図４に示すように、表示部２５は、バックライト２５１と、表示パネル２５２と、視差バリア２５３とを有する。バックライト２５１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル２５２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア２５３は、液晶等によって構成され、表示パネル２５２の上面に積層されている。視差バリア２５３は、表示パネル２５２の各画像の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目Ｅ_Ｒと左目Ｅ_Ｌとにそれぞれ対応した画像を分離する。このような視差バリア２５３として、たとえばパララックバリア方式が適用される。なお、視差バリア２５３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル２５２の上面に設けてもよい。

以上の構成を有する表示部２５は、制御部３２から３次元画像（以下「３Ｄ画像」という）データが入力された場合、制御部３２の制御のもとで表示パネル２５２が左端の画像から水平方向に左目画像と右目画像とを交互に表示し、視差バリア２５３が表示パネル２５２の各画像から出た光を分離する。このため、左目画像が左目Ｅ_Ｌのみに、右目画像が右目Ｅ_Ｒのみにそれぞれ届く。これにより、ユーザは、表示部２５が表示する３Ｄ画像を立体視することができる。また、表示部２５が表示態様を３Ｄ画像から２次元画像（以下「２Ｄ画像」という）に切り換える際には、視差バリア２５３に印加される電圧がオン状態からオフ状態に変換することによって視差バリア２５３が遮光状態から透過状態に遷移し、左目画像データまたは右目画像データのどちらか一方が表示パネル２５３に出力される。

タッチパネル２６は、表示部２５の表示画面上に重ねて設けられる（図３を参照）。タッチパネル２６は、ユーザが表示部２５に表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。なお、本実施の形態では、タッチパネル２６が入力部として機能する。

不揮発性メモリ２７は、フラッシュメモリを用いて構成される。不揮発性メモリ２７は、撮像装置１を動作させるための各種プログラム、本実施の形態にかかる撮像プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。不揮発性メモリ２７は、撮像装置１で実行される各種撮影モードに関する情報を記憶する撮影モード情報記憶部２７１と、画像処理部１４が行う特殊効果処理に関する情報を記憶する特殊効果処理情報記憶部２７２と、表示部２５に３Ｄ画像を表示させる際に用いる左目画像データを記憶する左目画像データ記憶部２７３と、表示部２５に３Ｄ画像を表示させる際に用いる右目画像データを記憶する右目画像データ記憶部２７４と、撮像した左目画像および右目画像それぞれに含まれる被写体領域と背景領域とを切り分ける閾値を記憶する閾値記憶部２７５とを有する。なお、不揮発性メモリ２７は、本体部２に装着可能なレンズ部３の種類に応じてレンズ特殊等に関する情報を記憶していてもよい。

ここで、特殊効果処理情報記憶部２７２が記憶する特殊効果処理情報テーブルについて説明する。図５は、特殊効果処理情報記憶部２７２が記憶する特殊効果処理情報テーブルの一例を示す図である。

図５に示すように、特殊効果処理情報テーブルＴ１には、特殊効果処理部１４１がメモリ１３に記憶された画像データに対して実行することが可能な特殊効果処理と、各特殊効果処理における画像処理の内容が記載されている。たとえば、特殊効果処理が「Ａｒｔ１」の「ファンタジックフォーカス」の場合、画像処理の処理内容として「トーンカーブ処理」、「ぼかし処理」および「合成処理」が記載されている。ここで、合成処理とは、特殊効果処理部１４１がトーンカーブ処理を行った画像データと、ぼかし処理を行った画像データとを合成した画像データを生成する画像処理である。さらに、特殊効果処理が「Ａｒｔ４」の「ポップアート」の場合、画像処理の処理内容として「色相・彩度処理」および「コントラスト処理」が記載されている。

外部メモリ２８は、撮像装置１の外部から装着されるメモリカード等の記録媒体を用いて構成される。外部メモリ２８は、記録媒体インターフェース（図示せず）を介して撮像装置１に装着されることで３Ｄ画像データや２Ｄ画像データ等の情報を記憶する一方、制御部３２の制御のもと、記憶した各種情報を表示部２５、画像処理部１４および不揮発性メモリ２７に出力する。

外部通信部２９は、通信インターフェースとしての機能を有し、ネットワーク（図示せず）を介してサーバ（図示せず）やパーソナルコンピュータ（図示せず）等の外部処理装置と相互方向に送受信を行う。外部通信部２９は、外部処理装置との間で送受信を行うことにより、撮像装置１の各種プログラムおよび特殊効果処理情報等に関するデータを取得して制御部３２に出力する。なお、外部通信部２９は、有線または無線ＬＡＮ（Local Area Network）等を介してネットワークに接続される。

電源供給部３０は、撮像装置１の各構成部に電源部３１の電力を供給する。電源部３１は、撮像装置１に着脱自在なバッテリを用いて構成される。なお、電源供給部３０は、外部電源（図示せず）から供給される電力を撮像装置１の各構成部に供給するようにしてもよい。

制御部３２は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部３２は、操作入力部２１からの操作信号や指示信号に応じて不揮発性メモリ２７からプログラムを読み出して実行し、撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部３２は、立体画像生成部３２１と、顔検出部３２２と、位置差算出部３２３と、閾値設定部３２４と、領域設定部３２５と、閾値変更部３２６と、表示制御部３２７とを有する。

立体画像生成部３２１は、画像処理部１４によって画像処理された画像データをメモリ１３から取得し、取得した画像データを用いて３Ｄ画像データを生成する。具体的には、立体画像生成部３２１は、メモリ１３から取得した画像データを左目画像データと右目画像データとにそれぞれ分割し、分割した左目画像データおよび右目画像データを所定の縦横比率（たとえばアスペクト比９：１６）でそれぞれ切り出すことによって３Ｄ画像データを生成する。立体画像生成部３２１は、左目画像データおよび右目画像データそれぞれを左目画像データ記憶部２７３および右目画像データ記憶部２７４に記憶させる。なお、立体画像生成部３２１が分割した左目画像データおよび右目画像データそれぞれから切り出す縦横比率を操作入力部２１で変更できるようにしてもよい。

顔検出部３２２は、左目画像データに対応する左目画像または右目画像データに対応する右目画像のどちらか一方に含まれる人物の顔をパターンマッチングによって検出する。たとえば、顔検出部３２２は、左目画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部３２２は、人物の顔だけでなく、猫や犬等の動物の顔を検出してもよい。

位置差算出部３２３は、一対の画像データそれぞれに対応する画像に含まれる被写体の位置差を算出する。具体的には、位置差算出部３２３は、左目画像および右目画像それぞれに含まれる被写体の位置を相関的に比較し、左目画像および右目画像における被写体の位置差を算出する。ここで、被写体の位置差とは、左目画像および右目画像を重ねた場合に、左右の画像に含まれる画像の左右の位置の差である。たとえば、左右の画像の枠を重ねた際の顔画像の位置の差、または左右の画像の枠を重ねた際の背景の位置の差である。また、位置差算出部３２３は、左右の画像の枠を重ねて顔画像の位置が異なるか、または背景の位置が異なるかを判定してもよい。さらにまた、位置差算出部３２３は、左右の画像に含まれる顔画像同士を重ねて背景の位置に差異があるか、または左右の画面に含まれる背景を一緒になるように重ねて顔画像を比較した際に左右に差異があるか否か等を判定するようにしてもよい。

閾値設定部３２４は、位置差算出部３２３が算出した位置差に応じて、左目画像および右目画像に含まれる被写体領域（近距離側被写体領域）と、被写体領域以外の背景領域（遠距離側被写体領域）とに切り分ける閾値を設定する。たとえば、閾値設定部３２４は、位置差算出部３２３が算出する位置差の最大値に応じて、被写体領域と背景領域とを切り分ける閾値を設定する。閾値設定部３２４は、設定した閾値に関する情報を閾値記憶部２７５に出力する。なお、閾値設定部３２４は、左目画像および右目画像に基づいて、撮像装置１から被写体までの被写体距離を周知の三角測量を用いて算出し、この算出した被写体距離に応じて閾値を設定してもよい。

領域設定部３２５は、位置差算出部３２３が算出した位置差に基づいて、画像処理部１４が一対の画像に対して特殊効果処理行う領域を設定する。具体的には、領域設定部３２５は、位置差算出部３２３が算出した位置差に基づいて、特殊効果処理部１４１が左目画像および右目画像それぞれに対して行う特殊効果処理を行う領域を設定する。さらに、領域設定部３２５は、位置差算出部３２３が算出した位置差が閾値を超える領域を、画像処理部１４が特殊効果処理を行う領域として設定する一方、位置差が閾値以下の領域を、画像処理部１４が行う通常の画像処理を行う領域として設定する。

閾値変更部３２６は、閾値設定部３２４が設定した閾値を変更する。たとえば、閾値変更部３２６は、操作入力部２１またはタッチパネル２６から入力される操作信号に応じて閾値設定部３２４が設定した閾値を変更する。

表示制御部３２７は、表示部２５の表示態様を変更する。具体的には、表示制御部３２７は、表示部２５が表示している画像を２Ｄ画像または３Ｄ画像に切り換える制御を行う。表示制御部３２７は、表示部２５が２Ｄ画像を表示している際に特殊効果処理部１４１が行う特殊効果処理情報に関するアイコンを表示部２５に表示させる。

レンズ部３は、第１光学系４１と、第２光学系４２と、レンズ駆動部４３と、絞り４４と、絞り４５と、絞り駆動部４６と、ミラー４７と、ミラー４８と、プリズム４９と、レンズ通信部５０と、レンズ記憶部５１と、レンズ制御部５２とを備える。なお、レンズ部３は、一対の光学系で視差を持って被写体を撮像し、撮像素子１１に左右の被写体像をそれぞれ形成することで３Ｄ撮影ができる交換レンズである。このため、第１光学系４１および第２光学系４２は、同じ構成のため、一方のみを説明する。

第１光学系４１は、一または複数のレンズを用いて構成される。第１光学系４１は、所定の視野領域から光を集光する。なお、第１光学系４１は、画像を変化させる光学ズーム機能を有してもよい。

レンズ駆動部４３は、ＤＣモータ等を用いて構成される。レンズ駆動部４３は、第１光学系４１および第２光学系４２のレンズそれぞれを光軸Ｌ上および光軸Ｒ上で同期させながら移動させることにより、第１光学系４１および第２光学系４２それぞれのピント位置や焦点距離等の変更を行う。

絞り４４および絞り４５は、第１光学系４１および第２光学系４２がそれぞれ集光した光の入射量を制限することにより露出の調整を行う。

絞り駆動部４６は、ステッピングモータ等を用いて構成される。絞り駆動部４６は、絞り４４および絞り４５をそれぞれ同期させながら駆動する。

ミラー４７およびミラー４８は、第１光学系４１および第２光学系４２がそれぞれ集光した光をプリズム４９に向けて反射する。

プリズム４９は、ミラー４７およびミラー４８からそれぞれ反射された光を撮像素子１１に向けて反射する。これにより、撮像素子１１には、第１光学系４１および第２光学系４２それぞれによって集光された左右一対の被写体像がそれぞれ形成される。

レンズ通信部５０は、レンズ部３が本体部２に装着された際に本体部２と相互方向に通信を行うための通信インターフェースである。

レンズ記憶部５１は、フラッシュメモリを用いて構成される。レンズ記憶部５１は、レンズ部３を動作させるための各種プログラムムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。

レンズ制御部５２は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部５２は、本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部５２は、本体部２からの指示信号に応じてレンズ駆動部４３を駆動させてレンズ部３のピント合わせを行うとともに、絞り駆動部４６を駆動させて絞り値の変更を行う。なお、レンズ制御部５２は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離情報およびレンズ部３を識別する固有情報を本体部２に送信するようにしてもよい。なお、本実施の形態では、レンズ部３、撮像素子１１およびＡ／Ｄ変換部１２を含む構成が撮像部（以下、「撮像部１００」という）として機能する。

以上の構成を有する撮像装置１において、撮像部１００が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図６は、撮像部１００が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。図６に示すように、撮像部１００は、第１光学系４１および第２光学系４２からの距離が異なる被写体Ｅ１（距離ｄ_１）および被写体Ｅ２（距離ｄ_２）に対して、距離Ｄ_１だけ離れた並設された第１光学系４１および第２光学系４２で撮像することにより、左目画像データおよび右目画像データを生成する。

その後、立体画像生成部３２１は、撮像素子１１によって生成された画像データを左目画像データと右目画像データとにそれぞれ分割し、分割した左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像Ｗ_Ｌ１および右目画像Ｗ_Ｒ１を生成する。

図７は、図６に示す状況下で立体画像生成部３２１が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。図７において、左目画像Ｗ_Ｌ１は、立体画像生成部３２１が第１光学系４１によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図７において、右目画像Ｗ_Ｒ１は、立体画像生成部３２１が第２光学系４２によって生成された右目画像データに対応する画像から切り出して生成した画像である。図８は、図６に示す状況下で立体画像生成部３２１が生成した左目画像Ｗ_Ｌ１と右目画像Ｗ_Ｒ１とを仮想的に重ねた画像（Ｗ_ＬＲ１）の一例を示す図である。図９は、図６に示す状況下で立体画像生成部３２１が生成した左目画像Ｗ_Ｌ１および右目画像Ｗ_Ｒ１を表示部２５に表示した際にユーザが仮想的に視認する３Ｄ画像の飛び出し距離を説明する図である。

図７に示すように、立体画像生成部３２１は、第１光学系４１と第２光学系４２との視差によって被写体Ｅ１，Ｅ２それぞれの位置が左右にずれた左目画像Ｗ_Ｌ１および右目画像Ｗ_Ｒ１を生成する。

続いて、表示制御部３２７は、左目画像Ｗ_Ｌ１の被写体Ｅ２および右目画像Ｗ_Ｒ１の被写体Ｅ２を重ねて表示部２５に表示させる（図８を参照）。これにより、ユーザは、被写体Ｅ２の視差によるズレ量ΔＸ_１に応じて、被写体Ｅ１が表示パネル２５２からΔＺ_１飛び出した立体的な３Ｄ画像を仮想的に視認することができる（図９を参照）。

つぎに、撮像装置１が特殊効果処理を行う特殊効果撮影モード（アートフィルタ撮影モード）の設定方法について説明する。なお、本実施の形態にかかる撮像装置１は、複数の撮影モード、たとえば、撮影シーン自動判別撮影モードやマニュアル撮影モードを有するが、以下の説明においては、特殊効果撮影モードの設定方法のみについて説明する。

まず、ユーザが電源スイッチ２１１を操作することにより、撮像装置１の起動に伴って、制御部３２は、撮像装置１の撮影モードが特殊効果撮影モードに設定されているか否かを判断する。具体的には、制御部３２は、撮影モード切換スイッチ２１３が特殊効果撮影モード（ＡＲＴ）に設定されているか否かを判断する（図２および図３を参照）。撮像装置１の撮影モードが特殊効果撮影モードに設定されていない場合、制御部３２は、他の撮影モードに対応した操作メニュー画面やライブビュー画像を表示部２５に表示させる。

これに対して、撮像装置１の撮影モードが特殊効果撮影モードに設定されている場合、表示制御部３２７は、特殊効果撮影モードに対応する特殊効果撮影操作メニュー画面を表示部２５に表示させる。

図１０は、撮像装置１が特殊効果撮影モードに設定されている場合に表示部２５が表示する特殊効果撮影モードにおける特殊効果撮影操作メニュー画面遷移の一例を示す図である。

図１０に示すように、表示制御部３２７は、撮像装置１が特殊効果撮影モードに設定された場合、特殊効果撮影モードにおける特殊効果撮影操作メニュー画面Ｗ１１を表示部２５に表示させる（図１０（ａ）を参照）。特殊効果撮影操作メニュー画面Ｗ１１には、撮像装置１で実行可能な各特殊効果処理に関する情報がアイコンＡ１〜Ａ６として表示されている。

続いて、表示制御部３２７は、ユーザが操作スイッチ２１４の上ボタン２１４ａまたは下ボタン２１４ｂを操作することにより、操作スイッチ２１４から入力される操作信号に応じて表示部２５が表示する特殊効果撮影操作メニュー画面Ｗ１１の内容を表示部２５に切り換えさせる。具体的には、表示制御部３２７は、操作スイッチ２１４から入力される操作信号に応じて、特殊効果撮影操作メニュー画面Ｗ１１内に表示されるアイコンＡ１〜Ａ６の色を変更するとともに、選択されたアイコンに対応する特殊効果処理のタイトル、たとえば「ファンタジックフォーカス」、「ラフモノクローム」および「ジオラマ」等を表示部２５に表示させる（図１０（ａ）→図１０（ｂ）→図１０（ｃ））。これにより、ユーザは、所望の特殊効果処理を選択することができるとともに、選択した特殊効果処理を直感的に確認することができる。

その後、制御部３２は、ユーザによって操作スイッチ２１４の決定ボタン２１４ｅが操作された際に表示部２５が特殊効果撮影操作メニュー画面Ｗ１１で現在表示している特殊効果処理、たとえば「ファンタジックフォーカス」（図１０（ａ）を参照）を特殊効果撮影モードの特殊効果処理として撮像装置１に設定する。なお、設定された特殊効果処理に関する情報は、メモリ１３に記憶される。

続いて、表示制御部３２７は、特殊効果撮影操作メニュー画面Ｗ１１で選択された特殊効果処理を画像処理部１４が行った画像データに対応するライブビュー画像を表示部２５に表示させる。これにより、ユーザは、撮像した画像データに対して選択した特殊効果処理が施されたライブビュー画像をリアルタイムで確認しながら撮影の構図を決定することができる。

つぎに、本実施の形態にかかる撮像装置１が行う処理について説明する。図１１は、撮像装置１が行う処理の概要を示すフローチャートである。

図１１に示すように、まず、制御部３２は、撮像装置１が３Ｄ特殊効果撮影モードであるか否かを判断する（ステップＳ１０１）。撮像装置１が３Ｄ特殊効果撮影モードである場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は後述するステップＳ１０２に移行する。一方、撮像装置１が３Ｄ特殊効果撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は後述するステップＳ１２４の再生表示処理に移行する。

ステップＳ１０１において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、表示制御部３２７は、撮像部１００が一定の微小な時間間隔で連続的に生成する一対の画像データに対応する３Ｄ画像のライブビュー画像を表示部２５に表示させる（ステップＳ１０２）。具体的には、表示制御部３２７は、撮像部１００によって生成された一対の画像データに対して、立体画像生成部３２１が左目画像データおよび右目画像データをそれぞれ切り出して生成した３Ｄ画像のライブビュー画像を表示部２５に表示させる。

表示部２５がライブビュー画像を表示した際に、メニュースイッチ２１５が操作された場合（ステップＳ１０３：Ｙｅｓ）、表示制御部３２７は、表示部２５が表示するライブビュー画像の表示態様を３Ｄ画像から２Ｄ画像に切り換え、特殊効果処理に関するアイコンを表示部２５に表示させる（ステップＳ１０４）。具体的には、図１２に示すように、表示制御部３２７は、表示部２５の表示画面Ｗ２１上にライブビュー画像Ｗ２１ａ、特殊効果に関する特殊効果アイコンＡ１１〜Ａ１３および特殊効果アイコンの切り換えの指示を受け付ける切換アイコンＡ２１〜Ａ２２を表示部２５に表示させる。この際、表示制御部３２７は、ライブビュー画像Ｗ２１ａを３Ｄ画像で表示部２５に表示させてもよい。

続いて、表示部２５が表示する特殊効果アイコンが操作された場合（ステップＳ１０５：Ｙｅｓ）、制御部３２は、撮像装置１に設定された特殊効果処理から特殊効果アイコンに応じた特殊効果処理に変更し（ステップＳ１０６）、撮像装置１はステップＳ１０７に移行する。

レリーズスイッチ２１２が操作されて撮影を指示するレリーズ信号が入力された場合（ステップＳ１０７：Ｙｅｓ）、撮像部１００は、左目画像データおよび右目画像データを生成し、生成した左目画像データおよび右目画像データをメモリ１３に出力する（ステップＳ１０８）。

続いて、位置差算出部３２３は、メモリ１３から左目画像データおよび右目画像データを取得し、取得した左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像に含まれる被写体の位置差を算出し（ステップＳ１０９）、閾値設定部３２４は、位置差算出部３２３が算出した被写体の位置差の最大値に応じて、左目画像および右目画像に含まれる被写体領域と背景領域とにそれぞれ切り分ける閾値を設定する（ステップＳ１１０）。

図１３は、位置差算出部３２３が行う処理の概要を示す図である。なお、図１３において、被写体Ｅ１１は、被写体Ｅ１２より撮像装置１の手前（近距離側）に位置する。

図１３に示す状況下で、位置差算出部３２３は、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれに含まれる被写体Ｅ１の位置を比較し、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２における被写体Ｅ１１の位置差を算出する。たとえば、左目画像Ｗ_Ｌ２の右端部から左目画像Ｗ_Ｌ２に含まれる被写体Ｅ１１の中心位置までの距離をＸ_Ｌ１、右目画像Ｗ_Ｒ２の右端部から右目画像Ｗ_Ｒ２に含まれる被写体Ｅ１１の中心位置までの距離をＸ_Ｒ１、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれに含まれる被写体Ｅ１１の位置差をΔＸ_１とした場合、
ΔＸ_１＝Ｘ_Ｒ１−Ｘ_Ｌ１
となる。
さらに、左目画像Ｗ_Ｌ２の右端部から左目画像Ｗ_Ｌ２に含まれる被写体Ｅ１２の中心位置までの距離をＸ_Ｌ２、右目画像Ｗ_Ｒ２の右端部から右目画像Ｗ_Ｒ２に含まれる被写体Ｅ１２の中心位置までの距離をＸ_Ｒ２、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれに含まれる被写体Ｅ１２の位置差をΔＸ_２、とした場合、
ΔＸ_２＝Ｗ_Ｒ２−Ｘ_Ｌ２
となる。なお、被写体Ｅ１１は、被写体Ｅ１２より撮像装置１の手前に位置するため、被写体Ｅ１１の位置差ΔＸ_１が被写体Ｅ１２の位置差ΔＸ_２より大きい。

このように、位置差算出部３２３は、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれに含まれる被写体の位置を比較し、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２における被写体の位置差を相関的に算出する。さらに、閾値設定部３２４は、位置差算出部３２３が算出した位置差の最大値に応じて、被写体領域と背景被写体領域とにそれぞれ切り分ける閾値を設定する。たとえば、図１３に示す状況下では、被写体Ｅ１から撮像装置１までの被写体距離が０．６ｍより遠い場合、閾値設定部３２４は、被写体の位置差が１／１００よりずれた領域を被写体領域とする。このため、閾値設定部３２４は、位置差ΔＸ_１より小さい値を閾値として設定する。

図１１に戻り、ステップＳ１１０以降の説明を続ける。ステップＳ１１１において、制御部３２は、位置差算出部３２３によって算出された被写体の位置差が閾値を超える領域が左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれにあるか否かを判断する。被写体の位置差が閾値を超える領域が左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれにある場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１はステップＳ１１２に移行する。

続いて、領域設定部３２５は、被写体の位置差が閾値を超える領域に対して、画像処理部１４が特殊効果処理設定を行う領域として設定する一方、位置差が閾値以下の領域に対して、画像処理部１４が通常の画像処理を行う領域として設定する（ステップＳ１１２）。たとえば、図１３に示す状況下では、領域設定部３２５は、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２それぞれに含まれる被写体Ｅ１１の領域に対して画像処理部１４による特殊効果処理を行う領域として設定する一方、被写体Ｅ１１以外の領域に対して画像処理部１４による通常の画像処理を行う領域として設定する。

その後、制御部３２は、領域設定部３２５が特殊効果処理を設定した領域内で顔検出部３２２が人物の顔を検出したか否かを判断する（ステップＳ１１３）。領域設定部３２５が特殊効果処理を設定した領域内で顔検出部３２２が人物の顔を検出した場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１はステップＳ１１４に移行する。

続いて、画像処理部１４は、領域設定部３２５によって特殊効果処理が設定された領域に対して撮像装置１に設定された特殊効果処理、たとえば「ファンタジックフォーカス」（図５を参照）を行い（ステップＳ１１４）、通常の画像処理が設定された領域に対して通常の画像処理を行う（ステップＳ１１５）。これにより、撮像された画像は、背景がレンズ部３の持ち味や特性を生かしたものとなり、主要な被写体が背景から視覚的に強調されたものとなる。

その後、制御部３２は、撮像装置１に設定された記憶モードが３Ｄ画像記憶モードであるか否かを判断する（ステップＳ１１６）。撮像装置１に設定された記憶モードが３Ｄ画像記憶モードの場合（ステップＳ１１６：Ｙｅｓ）、制御部３２は、画像処理部１４が特殊効果処理および／または画像処理をそれぞれ行った左目画像Ｗ_Ｌ２データおよび右目画像Ｗ_Ｒ２データから３Ｄ画像ファイルを生成する（ステップＳ１１７）。この３Ｄ画像ファイルのフォーマットとしては、ＭＰＯ（Multi Picture Object）方式または３Ｄ−ＡＶＩ方式である。

続いて、制御部３２は、生成した画像ファイルデータを外部メモリ２８に記憶させ（ステップＳ１１８）、電源スイッチ２１１が操作されることにより撮像装置１の電源がオフになったか否かを判断する（ステップＳ１１９）。撮像装置１の電源がオフになっていない場合（ステップＳ１１９：Ｎｏ）、撮像装置１はステップＳ１０１に戻る。一方、撮像装置１の電源がオフになった場合（ステップＳ１１９：Ｙｅｓ）、撮像装置１は本処理を終了する。

ステップＳ１１６において、撮像装置１に設定された記憶モードが３Ｄ画像記憶モードでない場合（ステップＳ１１６：Ｎｏ）について説明する。この場合、制御部３２は、画像処理部１４が特殊効果処理および／または画像処理をそれぞれ行った右目画像Ｗ_R２データから画像ファイルを生成し（ステップＳ１２０）、撮像装置１はステップＳ１１８に移行する。この画像ファイルのフォーマットとしては、ＪＥＰＧ方式またはＡＶＩ方式である。なお、制御部３２は、画像処理部１４が特殊効果処理および／または画像処理をそれぞれ行った左目画像Ｗ_Ｌ２データから画像ファイルを生成してもよい。

領域設定部３２５が特殊効果処理を設定した領域内で顔検出部３２２が人物の顔を検出していない場合（ステップＳ１１３：Ｎｏ）について説明する。この場合、画像処理部１４は、領域設定部３２５が特殊効果処理を設定した領域に対して、撮像装置１に設定された特殊効果処理と異なる特殊効果処理、たとえば「ポップアート」（図５を参照）を行い（ステップＳ１２１）、撮像装置１はステップＳ１１５に移行する。

ステップＳ１１１において、被写体の位置差が閾値を超える領域が左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２にない場合（ステップＳ１１１：Ｎｏ）について説明する。この場合、領域設定部３２５は、左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２の全領域に対して画像処理部１４による通常の画像処理を設定する（ステップＳ１２２）。

続いて、画像処理部１４は、領域設定部３２５が設定した左目画像Ｗ_Ｌ２および右目画像Ｗ_Ｒ２の全領域に対して、通常の画像処理を行う（ステップＳ１２３）、撮像装置１はステップＳ１１６に移行する。

ステップＳ１０１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、撮像装置１は、外部メモリ２８に記憶された２Ｄ画像データに対応する２Ｄ画像または３Ｄ画像データに対応する３Ｄ画像を表示部２５に表示させる再生表示処理を実行し（ステップＳ１２４）、撮像装置１はステップＳ１１９に移行する。

以上説明した本発明の一実施の形態によれば、位置差算出部３２３が一対の画像に含まれる被写体の位置を比較し、この一対の画像における被写体の位置差を算出し、領域設定部３２５が位置差算出部３２３によって算出された一対の画像における被写体の位置差に基づいて、画像処理部１４が一対の画像に対して行う特殊効果処理の領域を設定する。この結果、主要被写体の特性を反映することができる。

さらに、本発明の一実施の形態によれば、被写体と背景とを自動で切り分けて特殊効果処理と通常の画像処理をそれぞれ行う。このため、ユーザがパソコン上で画像処理専用ソフトウエアを用いて表示モニタに表示される画像を見ながら被写体と背景とを切り分けて、被写体と背景とにそれぞれ異なった画像処理を行った後、再度、画像処理を行った被写体と背景とを合成する必要がない。

また、本発明の一実施の形態では、閾値設定部３２４は、位置差算出部３２３が算出した左目画像および右目画像それぞれに含まれる被写体の位置差の最大値に応じて、被写体領域と背景領域とをそれぞれ切り分ける閾値を設定したが、この閾値に変数、たとえば１／２を乗じてもよい。

また、本発明の一実施の形態では、閾値設定部３２４は、位置差算出部３２３が算出した左目画像および右目画像それぞれに含まれる被写体の位置差の最大値に応じて、被写体領域と背景領域とをそれぞれ切り分ける閾値を設定したが、たとえば、左目画像および右目画像それぞれに含まれる被写体のピクセルの差に応じて閾値を設定してもよい。さらに、被写体のピクセルの差に応じて設定された閾値に変数を乗じてもよい。

また、本発明の一実施の形態では、画像処理部１４は、背景領域に通常の画像処理を行っていたが、被写体領域に対して行う特殊効果処理と異なる特殊効果処理を行ってもよい。

また、本発明の一実施の形態では、画像処理部１４は、被写体領域に対して特殊効果処理を行っていたが、たとえば、被写体領域に対して通常の画像処理を行ってもよい。この際、画像処理部１４は、背景領域に対して被写体領域が強調される特殊効果処理、たとえばモノクロ画像処理や彩度・色相変換処理等を組み合わせた特殊効果処理を行う。

（変形例１）
上述した実施の形態では、主要な被写体が人物であったが、植物や動物等にも適用することが可能である。図１４は、本実施の形態の変形例１にかかる撮像装置１の位置差算出部３２３が行う処理の概要を示す図である。

図１４に示す状況下で、まず、位置差算出部３２３は、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２１の位置を比較し、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２１の位置差を算出する。たとえば、左目画像Ｗ_Ｌ３の右端部から左目画像Ｗ_Ｌ３に含まれる被写体Ｅ２１の中心位置までの距離をＸ_Ｌ３、右目画像Ｗ_Ｒ３の右端部から右目画像Ｗ_Ｒ３に含まれる被写体Ｅ２１の中心位置までの距離をＸ_Ｒ３、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２１の位置差をΔＸ_３とした場合、
ΔＸ_３＝Ｘ_Ｒ３−Ｘ_Ｌ３
となる。

つぎに、位置差算出部３２３は、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２２の位置を比較し、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２２の位置差を算出する。左目画像Ｗ_Ｌ３の右端部から左目画像Ｗ_Ｌ３に含まれる被写体Ｅ２２の中心位置までの距離をＸ_Ｌ４、右目画像Ｗ_Ｒ３の右端部から右目画像Ｗ_Ｒ３に含まれる被写体Ｅ２２の中心位置までの距離をＸ_Ｒ４、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２２の位置差をΔＸ_４とした場合、
ΔＸ_４＝Ｘ_Ｒ４−Ｘ_Ｌ４
となる。

最後に、位置差算出部３２３は、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２３の位置を比較し、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２３の位置差を算出する。左目画像Ｗ_Ｌ３の右端部から左目画像Ｗ_Ｌ３に含まれる被写体Ｅ２３の中心位置までの距離をＸ_Ｌ５、右目画像Ｗ_Ｒ３の右端部から右目画像Ｗ_Ｒ３に含まれる被写体Ｅ２３の中心位置までの距離をＸ_Ｒ５、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体Ｅ２３の位置差をΔＸ_５とした場合、
ΔＸ_５＝Ｘ_Ｒ５−Ｘ_Ｌ５
となる。

このように、位置差算出部３２３は、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３それぞれに含まれる被写体の位置を比較し、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３における被写体の位置差を相関的に算出する。

続いて、閾値設定部３２４は、位置差算出部３２３が算出した位置差に応じて、主要被写体領域と背景被写体領域とを切り分ける閾値Ｃを設定する。たとえば、図１４に示す状況下では、撮像装置１から被写体までの被写体距離が０．６ｍより近い場合（マクロ撮影）、閾値設定部３２４は、被写体の位置差が１／２０よりずれた領域を被写体領域とする。このため、閾値設定部３２４は、位置差ΔＸ_４より小さい値を閾値として設定する。

その後、領域設定部３２５は、位置差算出部３２３によって算出された被写体Ｅ２１，Ｅ２２の位置差が閾値Ｃより大きいため（ΔＸ_３＞ΔＸ_４＞Ｃ）、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３に含まれる被写体Ｅ２１，Ｅ２２の被写体領域それぞれに対して、画像処理部１４による特殊効果処理を設定する。これに対して、領域設定部３２５は、位置差算出部３２３によって算出された被写体Ｅ２３の位置差が閾値Ｃより小さいため（Ｃ＞ΔＸ_５）、左目画像Ｗ_Ｌ３および右目画像Ｗ_Ｒ３に含まれる被写体Ｅ２３の背景領域に対して、画像処理部１４による通常の画像処理を設定する。

続いて、画像処理部１４は、顔検出部３２２によって被写体Ｅ２１またはＥ２２が人物と判断されなかった場合、被写体Ｅ２１，Ｅ２２それぞれの被写体領域に対して特殊効果処理、たとえば「ポップアート」（図５を参照）を行い、被写体Ｅ２１，Ｅ２２以外の領域に対して通常の画像処理を行う。

以上説明した本発明の一実施にかかる変形例１によれば、植物や動物等にも適用することが可能である。さらに、領域設定部３２５は、左目画像および右目画像それぞれに複数の被写体が含まれていても画像処理部１４による特殊効果処理の領域を設定することができる。

なお、上述した本発明の一実施にかかる変形例１では、画像処理部１４が被写体Ｅ２１，Ｅ２２それぞれの被写体領域に対して同一の特殊効果処理を行っていたが、たとえば被写体Ｅ２１，Ｅ２２それぞれの被写体領域に対して異なる特殊効果処理を行ってもよい。

（変形例２）
上述した本発明の一実施の形態では、閾値設定部３２４は、位置差算出部が算出した被写体の位置差の最大値に応じて、左目画像および右目画像に含まれる被写体領域と背景領域とにそれぞれ切り分ける閾値を設定していたが、タッチパネル２６から入力される操作信号に応じて閾値を変更することも可能である。図１５は、本実施の形態の変形例２にかかる撮像装置１の閾値変更部３２６がタッチパネル２６から入力される操作信号に応じて閾値設定部３２４が設定した閾値を変更する変更方法を説明する図である。

図１５に示すように、まず、ユーザは、表示部２５の表示画面Ｗ３１上に表示されている２Ｄ画像Ｗ３１ａに対して、所望の被写体が写る領域にタッチする。この場合、位置差算出部３２３は、タッチパネル２６から入力される操作信号に応じて、ユーザがタッチした被写体Ｅ１１の位置差を算出する（図１５（ａ））。この際、閾値設定部３２４は、位置差算出部３２３が算出した位置差の最大値に応じて閾値を設定する。

続いて、ユーザは、表示部２５によって表示された特殊効果処理に関するアイコンＡ１１〜Ａ１４のいずれかをタッチする。図１５に示す状況下では、ユーザがアイコンＡ１１をタッチした場合、画像処理部１４は、特殊効果処理情報記憶部２７２が記憶する特殊効果処理情報テーブルＴ１を参照して、タッチパネル２６から入力された操作信号に応じた特殊効果処理、たとえば「ファンタジックフォーカス」を２Ｄ画像Ｗ３１ｂ全体に対して行う（図１５（ｂ））。

その後、ユーザは、閾値の変更を指示するアイコンＡ２１またはアイコンＡ２２をタッチする。この場合、閾値変更部３２６は、タッチパネル２６から入力される操作信号に応じて、閾値設定部３２４が設定した閾値を変更する。この変更に伴って、領域設定部３２５は、位置差が閾値を超える領域に対して特殊効果処理を設定する一方、位置差が閾値以下の領域に対して通常の画像処理を設定する。その後、画像処理部１４は、領域設定部３２５が特殊効果処理および通常の画像処理それぞれを設定した領域に対して、特殊効果処理および通常の画像処理を行う（図１５（ｃ））。

以上説明した本発明の一実施の形態にかかる変形例２によれば、手動により被写体領域と背景領域とをそれぞれ切り分ける閾値を変更することができる。この結果、表示部２５が表示するライブビュー画像を見ながら画像処理部１４による特殊効果処理の領域を直感的な操作により確認することができる。

なお、上述した本発明の一実施の形態にかかる変形例２では、閾値変更部３２６がタッチパネル２６から入力される操作信号に応じて閾値を変更していたが、たとえば操作入力部２１から入力される操作信号に応じて閾値を変更してもよい。

（変形例３）
上述した本発明の一実施の形態では、画像処理部１４が行う各特殊効果処理における画像処理の組み合わせが同じであった、被写体の位置差や被写体に応じて各特殊効果処理に組み合わせた画像処理のパラメーラを変更することも可能である。

図１６は、本実施の形態１の変形例３にかかる特殊効果処理情報記憶部２７２が記憶する特殊効果処理情報テーブルの一例を示す図である。

図１６に示すように、特殊効果処理情報テーブルＴ２には、特殊効果処理部１４１が左目画像データおよび右目画像データそれぞれに対して実行することが可能な特殊効果処理と、各特殊効果処理における画像処理の内容が記載されている。さらに、各特殊効果処理における画像処理の強弱関係が記載されている。たとえば、被写体が「人物」で特殊効果処理「Ａｒｔ１」の「ファンタジックフォーカス」の場合、画像処理の処理内容として「トーンカーブ処理」、「ぼかし処理」および「合成処理」が記載されている。さらに、「トーンカーブ処理」に「（弱い）」が記載され、「ぼかし処理」に「（強い）」が記載されている。

このように、画像処理部１４は、被写体の位置差が大きい場合、たとえば１／１００を超える場合、各特殊効果処理に組み合わせられた画像処理の強弱のレベルを変更することにより、左目画像データおよび右目画像データそれぞれに含まれる被写体の領域に対して、被写体の位置差に応じた最適な特殊効果処理を行うことができる。さらに、画像処理部１４は、被写体に応じた最適な特殊効果処理を行うことができる。

（変形例４）
また、上述した本発明の一実施の形態では、３Ｄ撮影可能なレンズ部３を用いて一対の画像データを生成していたが、たとえば、１つの光学系のみを有する構成とし、この構成で連続的に撮像することにより、一対の画像データを生成することができる。具体的には、図１７に示すように、ユーザが撮像装置２００を左から右に向けて移動（矢印Ｃ）させながら被写体Ｅ１００を連続的に撮像することにより、被写体に対して視差を有する一対の画像データを生成するようにしてもよい。

（その他の実施の形態）
また、上述した本発明の一実施の形態では、画像処理部１４は、画像データを外部メモリ２８に記憶させる際に特殊効果処理および通常の画像処理を行っていたが、たとえば外部メモリ２８に記憶された画像データを再生する際の３Ｄ画像または２Ｄ画像に対して本処理を行ってもよい。

また、上述した本発明の実施の形態では、静止画撮影を例に説明したが、動画撮影においても本処理を適応することができる。

また、上述した本発明の一実施の形態では、撮像装置をデジタル一眼レフカメラとして説明したが、たとえばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能および表示機能を備えた各種電子機器に適用することができる。

１，２００ 撮像装置
２ 本体部
３ レンズ部
１０ シャッタ
１１ 撮像素子
１２ Ａ／Ｄ変換部
１３ メモリ
１４ 画像処理部
１５ 撮像素子駆動部
１６ シャッタ駆動部
１７ 露出処理部
１８ ＡＦ処理部
１９ タイマー
２０ 本体通信部
２１ 操作入力部
２２ フラッシュ発光部
２３ フラッシュ充電部
２４ フラッシュ駆動部
２５ 表示部
２６ タッチパネル
２７ 不揮発性メモリ
２８ 外部メモリ
２９ 外部通信部
３０ 電源供給部
３１ 電源部
３２ 制御部
４１ 第１光学系
４２ 第２光学系
４３ レンズ駆動部
４４，４５ 絞り
４６ 絞り駆動部
４７，４８ ミラー
４９ プリズム
５０ レンズ通信部
５１ レンズ記憶部
５２ レンズ制御部
１４１ 特殊効果処理部
２１１ 電源スイッチ
２１２ レリーズスイッチ
２１３ 撮影モード切換スイッチ
２１４ 操作スイッチ
２１５ メニュースイッチ
２１６ プレビュースイッチ
２１７ 動画スイッチ
２５１ バックライト
２５２ 表示パネル
２５３ 視差バリア
２７１ 撮影モード情報記憶部
２７２ 特殊効果処理情報記憶部
２７３ 左目画像データ記憶部
２７４ 右目画像データ記憶部
２７５ 閾値記憶部
３２１ 立体画像生成部
３２２ 顔検出部
３２３ 位置差算出部
３２４ 閾値設定部
３２５ 領域設定部
３２６ 閾値変更部
３２７ 表示制御部

Claims (6)

1. 被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像部と、
   前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理部と、
   前記一対の画像に含まれる前記被写体の位置の位置差を算出する位置差算出部と、
   前記位置差算出部が算出した前記位置差に基づいて、前記画像処理部が前記一対の画像に対して前記特殊効果処理を行う領域を設定する領域設定部と、
   を備えたことを特徴とする撮像装置。
2. 前記位置差算出部が算出した前記位置差に応じて、前記一対の画像において被写体領域と背景領域とにそれぞれ切り分ける閾値を設定する閾値設定部をさらに備え、
   前記領域設定部は、前記位置差算出部によって算出された前記位置差が前記閾値を超える領域を、前記画像処理部が前記特殊効果処理を行う領域として設定することを特徴とする請求項１に記載の撮像装置。
3. 前記一対の画像のどちらか一方から人物の顔を検出する顔検出部をさらに備え、
   前記画像処理部は、前記顔検出部の検出結果に応じて、前記特殊効果処理の内容を変更することを特徴とする請求項１または２に記載の撮像装置。
4. 前記一対の画像データに対応する画像を表示する表示部と、
   操作信号の入力を受け付ける入力部と、
   前記入力部から入力される操作信号に応じて、前記閾値設定部が設定した前記閾値を変更する閾値変更部と、
   をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
5. 前記入力部は、前記表示部の表示画面上に設けられ、外部からの物体の接触位置に応じた操作信号の入力を受け付けるタッチパネルであることを特徴とする請求項４に記載の撮像装置。
6. 視差を持って被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像ステップと、
   前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理ステップと、
   前記一対の画像に含まれる前記被写体の位置の位置差を算出する位置差算出ステップと、
   前記位置差算出ステップが算出した前記位置差に基づいて、前記画像処理ステップが前記一対の画像に対して前記特殊効果処理を行う領域を設定する領域設定ステップと、
   を撮像装置に実行させることを特徴とする撮像プログラム。

Images