JP2012044564A

JP2012044564A - 撮像装置

Info

Publication number: JP2012044564A
Application number: JP2010185655A
Authority: JP
Inventors: Seiji Okada; 誠司岡田; Haruo Hatanaka; 晴雄畑中; Kazuhiro Kojima; 和浩小島; Yoshiyuki Tsuda; 佳行津田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-08-20
Filing date: 2010-08-20
Publication date: 2012-03-01
Also published as: CN102377945A; US20120044400A1

Abstract

【課題】画像処理によって後から生成可能な目標画像の概要を撮影時に提供する。
【解決手段】撮影モードにおいて、視差を有する第１及び第２撮像ユニットを用いてパンフォーカスにより第１及び第２原画像を撮影する。第１及び第２原画像の記録後、再生モードにおいて、第１及び第２原画像から被写体の距離情報を生成し、距離情報を用いた画像処理を第１又は第２原画像に施すことで、特定被写体に合焦した目標画像を生成する。このような撮像装置において、シャッタ操作に従い第１及び第２原画像を生成及び記録する前に、第１又は第２撮像ユニットの出力信号から非特定被写体をぼかした簡易ぼかし画像を生成し、目標画像を模した画像として簡易ぼかし画像を表示する。
【選択図】図８

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。

撮影画像の合焦状態を画像処理によって調整する機能が提案されており、この機能を実現する処理の一種はデジタルフォーカスとも呼ばれている。デジタルフォーカスの適用方法として、以下のような第１及び第２適用方法が考えられる。

第１の適用方法では、シャッタ操作に従って原画像を撮影した後、ユーザの指示を仰ぐことなく、即時、デジタルフォーカスによって原画像から特定被写体に合焦した目標画像を生成し、目標画像のみを記録媒体に記録する。

第２の適用方法では、シャッタ操作に従って撮影された原画像にデジタルフォーカスを行うことなく、原画像を一旦記録媒体に記録しておく。その後、再生モードなどにおいてユーザから目標画像生成指示があった場合に、記録媒体から原画像を読み出してデジタルフォーカスを行うことで目標画像を生成する。例えば、原画像を記録媒体に記録した後、合焦を望む被写体をユーザがタッチパネル等を用いて選択指定し、その指定内容に従ってデジタルフォーカスを成す方法が提案されている（例えば特許文献１参照）。

尚、下記特許文献２には、ぼけ復元処理の実行をキャプチャ時においてのみ実行し、スルー画の取得時にはパスする方法が開示されている。

特開２００９−２２４９８２号公報特開２００７−１８１１９３号公報

第１の適用方法を採用する撮像装置において、仮に、原画像が得られるたびにリアルタイムで目標画像を生成して表示できるとしたならば、ユーザは記録されることになる目標画像を、その都度表示画面上で確認することできる。しかしながら、目標画像を得るために必要な演算処理の実行には相応の時間が必要となるため、上述したようなリアルタイムでの目標画像の生成及び表示は難しいことも多い。従って、第１の適用方法を採用する実際の撮像装置の利用者は、どのような合焦状態の目標画像が記録されたのかを事後的にしか確認することができないことも多い。そうすると、ユーザの注目していない被写体が目標画像上の合焦被写体になっているなど、ユーザの意図に反する画像のみが記録され、ユーザ所望の合焦状態を有する画像を得られないこともある。

第２の適法方法を採用すれば、このような事態の発生を避けることができる。但し、第２の適法方法を採用する場合、撮影時に原画像のみが表示されていたのでは、どのような画像を後から作り出すことができるのかをユーザは認識することができなない。取得されるべき画像の様子を確認するために表示画面が設けられているにも関わらず、最終的に得ることのできる目標画像の様子を撮影時において一切確認できないのは好ましくなく、不便である。尚、特許文献２の技術は、このような懸念の解消に寄与するような技術ではない。

そこで本発明は、画像処理によって合焦状態を調整可能な撮像装置の利便性向上を図ることを目的とする。

本発明に係る撮像装置は、特定被写体及び非特定被写体を含む被写体群の画像信号を出力する撮像部と、前記撮像部の出力信号に基づく対象入力画像の取得指示操作を受け付ける操作部と、前記対象入力画像を記録する記録媒体と、前記対象入力画像の記録後、前記操作部に対して所定操作が成されたとき、前記対象入力画像に対して第１画像処理を実行することで前記特定被写体に合焦した目標画像を生成する目標画像生成部と、表示部と、を備えた撮像装置において、前記取得指示操作が成される前の前記撮像部の出力信号に対して、前記第１画像処理と異なる第２画像処理を施すことにより、前記非特定被写体がぼかされたぼかし画像を生成するぼかし画像生成部を更に備え、前記取得指示操作に従って前記対象入力画像を取得する前に、前記ぼかし画像を前記表示部に表示することを特徴とする。

これにより、取得指示操作が成される前の撮像部の出力信号から、目標画像に類似するようなぼかし画像を生成してユーザに提示することが可能となる。このぼかし画像を見ることにより、ユーザは事後的に作り出すことのできる目標画像の概要を確認することできる。即ち、ユーザの意図と合致した画像を事後的に生成可能かどうかを確認できるようになり、撮影の利便性が向上する。

具体的には例えば、前記対象入力画像は複数の対象原画像から成り、各対象原画像の被写界深度は前記目標画像の被写界深度よりも深い。

また例えば、前記複数の対象原画像の視点は互いに異なり、前記目標画像生成部は、前記複数の対象原画像に基づく、前記被写体群の距離情報を用いて、前記目標画像を生成する。

また例えば、前記目標画像生成部は、前記被写体群の距離情報を用いて前記目標画像を生成する。

また例えば、前記取得指示操作に従って前記対象入力画像を取得する前に、前記ぼかし画像と前記ぼかし画像の元となる画像とを、前記表示部に切り替えて表示する或いは前記表示部に同時に表示する。

また例えば、前記撮像部の出力信号に基づき前記被写体群の中から前記特定被写体となるべき被写体を抽出する被写体抽出部を当該撮像装置に更に設けるようにしても良い。そして例えば、前記ぼかし画像生成部は、前記被写体抽出部によって複数の被写体が抽出された場合、前記取得指示操作が成される前の前記撮像部の出力信号に対して、抽出被写体ごとに抽出被写体以外の被写体をぼかす画像処理を前記第２画像処理として実行することにより複数のぼかし画像を生成し、前記複数のぼかし画像は、前記取得指示操作に従って前記対象入力画像が取得される前において、前記表示部に切り替えて表示される或いは前記表示部に同時に表示される。

本発明によれば、画像処理によって合焦状態を調整可能な撮像装置の利便性を向上させることが可能となる。

本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。図１の撮像部に内部ブロック部（ａ）と、１つの撮像ユニットの内部構成図（ｂ）である。点光源と１つの撮像ユニットとの関係を示す図（ａ）と、二次元画像上における点光源の像を示す図（ｂ）である。各撮像ユニットの被写界深度内に被写体群が位置している様子を示す図である。本発明の第１実施形態に係る被写体群の例を、被写体距離と共に示す図である。図１の画像処理部の内部ブロック図である。第１及び第２原画像から目標画像が生成される処理の概要を示す図である。本発明の第１実施形態に係り、特殊撮影モードにおける撮像装置の動作フローチャートである。本発明の第１実施形態に係り、再生モードにおける撮像装置の動作フローチャートである。本発明の第１実施形態に係り、特殊撮影モードで撮影される基準原画像の例を示す図である。図１０の基準原画像に主要被写体領域が設定される様子を示す図である。主要被写体についての複数の候補が表示される様子を示す図である。図１０の基準原画像に基づく簡易ぼかし画像の例を示す図である。本発明の第１実施形態に係り、確認表示期間中において、基準原画像と簡易ぼかし画像が時分割で切り替え表示される様子を示す図である。図１０の基準原画像に基づく簡易ぼかし画像の他の例を示す図である。デジタルフォーカスにおける目標被写界深度の距離範囲を示す図である。確認表示期間中における基準原画像列及び簡易ぼかし画像列の夫々が動画像として表示される様子を示す図である。表示画面に２つの表示領域が設定される様子を示す図である。図１８に示される２つの表示領域を用いて、基準原画像及び簡易ぼかし画像が同時に表示される様子を示す図である。本発明の第２実施形態に係る被写体群の例を、被写体距離と共に示す図である。本発明の第２実施形態に係り、特殊撮影モードで撮影される基準原画像の例を示す図（ａ）と、該基準原画像に３つの主要被写体領域が設定される様子を示す図（ｂ）である。図２１（ａ）の基準原画像に基づく３枚の簡易ぼかし画像を示す図である。本発明の第２実施形態に係り、確認表示期間中において、基準原画像と３枚の簡易ぼかし画像が時分割で切り替え表示される様子を示す図である。本発明の第２実施形態に係り、基準原画像及び簡易ぼかし画像が同時に表示される様子を示す図である。本発明の第２実施形態に係り、表示画面に５つの表示領域が設定される様子を示す図である。図２５に示される５つの表示領域を用いて、基準原画像及び複数の簡易ぼかし画像が同時に表示される様子を示す図である。図２５に示される５つの表示領域を用いて、基準原画像及び複数の簡易ぼかし画像が同時に表示される様子を示す図である。図２５に示される５つの表示領域を用いて、基準原画像及び複数の簡易ぼかし画像が同時に表示される様子を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。

撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。操作部１８には、シャッタボタン２１が設けられている。

図２（ａ）に示す如く、撮像部１１には、撮像ユニット１１Ａ及び１１Ｂが設けられている。撮像ユニット１１Ａの内部構成と撮像ユニット１１Ｂの内部構成は同じである。従って、図２（ｂ）を参照し、撮像ユニット１１Ａ及び１１Ｂの内、撮像ユニット１１Ａの内部構成を代表して説明する。図２（ｂ）は、撮像ユニット１１Ａの内部構成図である。

撮像ユニット１１Ａは、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像ユニット１１Ａによる撮影の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号である画像信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像素子３３から出力されるアナログの画像信号を増幅し、増幅された画像信号をデジタルの画像信号に変換する。ＡＦＥ１２は、このデジタルの画像信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。撮像ユニット１１Ａ内の撮像素子３３の出力信号に基づくＲＡＷデータを第１ＲＡＷデータと呼び、撮像ユニット１１Ｂ内の撮像素子３３の出力信号に基づくＲＡＷデータを第２ＲＡＷデータと呼ぶ。

画像処理部１３は、第１及び第２ＲＡＷデータに対して、又は、記録媒体１９等から与えられた任意の画像データに対して、必要な画像処理を施すことで所望の画像データを生成する。画像処理部１３にて取り扱われる画像データには、例えば、輝度信号及び色差信号が含まれる。尚、ＲＡＷデータそのものも画像データの一種であり、撮像素子３３及びＡＦＥ１２から出力される画像信号も画像データの一種である。

マイク部１４は、撮像装置１の周辺音を音響信号に変換して出力する。音響信号処理部１５は、マイク部１４の出力音響信号に対して必要な音響信号処理を施す。

表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。表示部１６の表示内容を制御する表示制御部（不図示）が主制御部２０に内在している、と考えることもできる。以下の説明における表示及び表示画面とは、特に記述なき限り、表示部１６の表示及び表示画面を指す。表示部１６にタッチパネルを設けておくようにしても良い。タッチパネルに対する操作をタッチパネル操作と呼ぶ。スピーカ部１７は、１又は複数のスピーカから成り、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、ユーザからの様々な操作を受け付ける部位である。ユーザとは、撮影者を含む、撮影装置１の使用者である。操作部１８に対する操作を、ボタン操作と呼ぶ。ボタン操作は、操作部１８に設けることのできるボタン、レバー、ダイヤル等に対する操作を含む。ボタン操作及びタッチパネル操作の内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、画像データなどを記憶する。主制御部２０は、ボタン操作及びタッチパネル操作の内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。撮影モードでは、撮像ユニット１１Ａ及び１１Ｂにより所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像ユニット１１Ａから（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表す第１ＲＡＷデータが出力されると共に撮像ユニット１１Ｂから（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表す第２ＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１フレーム周期分の画像データによって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。

また、１フレーム周期分の第１ＲＡＷデータそのものによって表されるフレーム画像を第１原画像と呼ぶ。１フレーム周期分の第１ＲＡＷデータに対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像が第１原画像であっても良い。同様に、１フレーム周期分の第２ＲＡＷデータそのものによって表されるフレーム画像を第２原画像と呼ぶ。１フレーム周期分の第２ＲＡＷデータに対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像が第２原画像であっても良い。第１原画像若しくは第２原画像又はそれらを総称したものを、原画像と呼ぶこともある。尚、本明細書では、任意の画像の画像データを単に画像と呼ぶことがある。従って例えば、第１原画像を記録するという表現と第１原画像の画像データを記録するという表現は同義である。

撮像ユニット１１Ａ及び１１Ｂの夫々において光学系３５や絞り３２を制御することにより、様々な被写界深度を有する原画像を取得することが可能である。しかしながら、撮影モードの一種である特殊撮影モードでは、撮像ユニット１１Ａ及び１１Ｂによって、被写界深度が相当に深い原画像が取得される。以下の説明における原画像とは、特殊撮影モードにて取得される原画像を指す。

特殊撮影モードにて取得される原画像は、全合焦画像として機能する。全合焦画像とは、全合焦画像上に画像データが存在する全ての被写体に対して合焦している画像を指す。

撮像ユニット１１Ａに注目して“合焦”の意義を説明する。図３（ａ）に示す如く、撮像ユニット１１Ａの撮影範囲内に、理想的な点光源３００が被写体として含まれている状態を想定する。撮像ユニット１１Ａにおいて、点光源３００からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３００の像の直径は所定の基準径よりも十分に小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３００の光学像はぼけ、結果、撮像面上における点光源３００の像の直径が該基準径よりも大きくなりうる。撮像面上における点光源３００の像の直径が基準径以下であるとき、点光源３００としての被写体は撮像面上で合焦しており、撮像面上における点光源３００の像の直径が基準径よりも大きいとき、点光源３００としての被写体は撮像面上で合焦していない。基準径は、例えば、撮像素子３３における許容錯乱円径である。

同様に考えて、図３（ｂ）に示す如く、二次元画像３１０に点光源３００の像３００’が被写体の像として含まれている場合において、二次元画像３１０における像３００’の直径が上記基準径に相当する所定閾値以下であるとき、二次元画像３１０において点光源３００としての被写体は合焦しており、二次元画像３１０における像３００’の直径が該所定閾値よりも大きいとき、二次元画像３１０において点光源３００としての被写体は合焦していない。二次元画像３１０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。二次元画像３１０は、任意の二次元画像である。本明細書における画像は、特に記述なき限り、全て二次元画像である。或る被写体が二次元画像３１０の被写界深度内に位置している場合（換言すれば、或る被写体の被写体距離が二次元画像３１０の被写界深度に属している場合）、その被写体は二次元画像３１０上において合焦被写体である。或る被写体が二次元画像３１０の被写界深度内に位置していない場合（換言すれば、或る被写体の被写体距離が二次元画像３１０の被写界深度に属していない場合）、その被写体は二次元画像３１０上において非合焦被写体である。

特殊撮影モードにて取得される原画像は、理想的な全合焦画像又は擬似的な全合焦画像である。具体的には例えば、撮像ユニット１１Ａにおいて所謂パンフォーカス（ディープフォーカス）を利用することで、第１原画像を理想的な又は擬似的な全合焦画像とすることができる（撮像ユニット１１Ｂ及び第２原画像についても同様）。即ち、第１原画像の撮影時における撮像ユニット１１Ａの被写界深度を十分に深くして第１原画像を取得すればよい。図４（ａ）に示す如く、第１原画像の取得時における撮像ユニット１１Ａの被写界深度内に、撮像ユニット１１Ａの撮影範囲に含まれる全被写体が収まっておれば、第１原画像は理想的な全合焦画像として機能する。同様に、図４（ｂ）に示す如く、第２原画像の取得時における撮像ユニット１１Ｂの被写界深度内に、撮像ユニット１１Ｂの撮影範囲に含まれる全被写体が収まっておれば、第２原画像は理想的な全合焦画像として機能する。第１実施形態に係る以下の説明では、第１原画像の取得時における撮像ユニット１１Ａの被写界深度内に、撮像ユニット１１Ａの撮影範囲に含まれる全被写体が収まっており、且つ、第２原画像の取得時における撮像ユニット１１Ｂの被写界深度内に、撮像ユニット１１Ｂの撮影範囲に含まれる全被写体が収まっているものとする（後述の第２実施形態においても同様）。

撮像ユニット１１Ａの撮影範囲と撮像ユニット１１Ｂの撮影範囲との間には、共通の撮影範囲が存在する。撮像ユニット１１Ａの撮影範囲の一部と撮像ユニット１１Ｂの撮影範囲の一部とが共通の撮影範囲を形成してもよいが、以下の説明では、説明の簡略化上、撮像ユニット１１Ａ及び１１Ｂの撮影範囲は完全に一致しているものとする。従って、撮像ユニット１１Ａによる撮影の被写体と撮像ユニット１１Ｂによる撮影の被写体は完全に一致している。

但し、撮像ユニット１１Ａ及び１１Ｂ間には視差が存在する。即ち、第１原画像の視点と第２原画像の視点は互いに異なる。撮像ユニット１１Ａにおける撮像素子３３の位置は第１原画像の視点に相当すると考えることができ、撮像ユニット１１Ｂにおける撮像素子３３の位置は第２原画像の視点に相当すると考えることができる

図５には、撮像ユニット１１Ａ及び１１Ｂの各撮影範囲内に位置している被写体群が示されている。この被写体群には、犬である被写体３２１、人物である被写体３２２及び車である被写体３２３が含まれている。被写体３２１〜３２３の被写体距離を、夫々、ｄ_３２１、ｄ_３２２及びｄ_３２３にて表す。ここでは、０＜ｄ_３２１＜ｄ_３２２＜ｄ_３２３、であるとし、説明の簡略化上、被写体距離ｄ_３２１、ｄ_３２２及びｄ_３２３は不変であるとする。被写体３２１の被写体距離とは、実空間上における被写体３２１と撮像装置１との距離を指す。被写体３２１以外の他の被写体の被写体距離についても同様である。

図６に示す如く、画像処理部１３には、主要被写体抽出部５１、簡易ぼかし画像生成部５２、距離画像生成部５３及びデジタルフォーカス部５４が設けられており、それらは特殊撮影モードの利用時において有益に機能する。

図７は、特殊撮影モードにて得られた第１及び第２原画像より目標画像が生成される様子を示す図である。距離画像生成部５３は、第１及び第２原画像の撮影時における撮像ユニット１１Ａ及び１１Ｂ間の視差に基づき、三角測量の原理を用いて第１及び第２原画像から距離画像を生成することができる。生成される距離画像は、撮像ユニット１１Ａ及び１１Ｂの撮影範囲に対する距離画像である。距離画像は、自身を形成する各画素値が被写体距離の測定値（換言すれば検出値）を持つ画像である。距離画像によって、第１原画像の任意の画素位置における被写体の被写体距離が特定されると共に第２原画像の任意の画素位置における被写体の被写体距離も特定される。

図６のデジタルフォーカス部５４は、処理対象画像の合焦状態を調整する画像処理を実現可能である。この画像処理を、デジタルフォーカスと呼ぶ。デジタルフォーカス部５４の処理対象画像は、第１又は第２原画像である。デジタルフォーカスによって、処理対象画像から任意の合焦距離及び任意の被写界深度を有する目標画像を生成することができる。合焦距離とは、被写界深度に属する基準距離であり、例えば、被写界深度の中心における距離を指す。デジタルフォーカスの実行時には目標被写界深度が参照される。目標被写界深度は、目標画像の被写界深度を表しており、特定の被写体（後述の合焦目標被写体）が目標画像において合焦するように設定される。従って、デジタルフォーカス部５４は、目標画像において目標被写界深度内の被写体距離を有する各被写体が合焦被写体となるように且つ目標被写界深度外の被写体距離を有する各被写体が非合焦被写体となるように、距離画像を用いたデジタルフォーカスを処理対象画像に施し、これによって目標画像を生成する。この際、或る非合焦被写体の被写体距離が目標被写界深度から離れるにつれて、その非合焦被写体の像は目標画像においてよりぼかされる。つまり例えば、非合焦被写体が点光源３００であるなら、点光源３００の被写体距離が目標被写界深度から離れるにつれて、目標画像における点光源３００の像３００’の直径は増大する。

図７に示される例では、撮像ユニット１１Ａ及び１１Ｂを用いた被写体３２１〜３２３の撮影によって第１原画像３３１及び第２原画像３３２が得られ、被写体距離ｄ_３２１〜ｄ_３２３の内、被写体距離ｄ_３２２のみが目標被写界深度内に属している状態が想定されている。このため、図７の例における目標画像３３３では、被写体３２２のみが合焦被写体となり、被写体３２１及び３２３は非合焦被写体となっている。即ち、目標画像３３３において、被写体３２２のみが鮮明に描写される一方で被写体３２１及び３２３の像はぼけている。尚、目標画像又は後述の簡易ぼかし画像を表す図面においては、被写体の輪郭線を太くすることによって像のぼけを表している。

ところで、上述の方法によって目標画像を得る手順例として、シャッタ操作に従い原画像を撮影した後、ユーザの指示を仰ぐことなく、即時、デジタルフォーカスによって原画像から特定被写体に合焦した目標画像を生成し、目標画像のみを記録媒体に記録するという手順例が考えられる。仮に、１組の第１及び第２原画像が得られるたびにリアルタイムで目標画像を生成して表示できるとしたならば、ユーザは記録されることになる目標画像を、その都度表示画面上で確認することできる。しかしながら、目標画像を得るために必要な演算処理（第１及び第２原画像から距離画像を導出する演算処理及び距離画像を用いて処理対象画像の合焦状態を変更する演算処理）の実行には相応の時間が必要となるため、上述したようなリアルタイムでの目標画像の生成及び表示は難しいことも多い。従って、上述の手順例を採用する実際のシステムの利用者は、どのような合焦状態の目標画像が記録されたのかを事後的にしか確認することができないことも多い。そうすると、ユーザの注目していない被写体が目標画像上の合焦被写体になっているなど、ユーザの意図に反する画像のみが記録され、ユーザ所望の合焦状態を有する画像を得られないこともある。このような事態の発生は当然避けられるべきである。

そこで、撮像装置１では、特殊撮影モードにおいて原画像の画像データを記録媒体１９に記録しておき、事後的に再生モードにおいて記録データから目標画像を生成するといった手順例を採用する。但し、この場合、特殊撮影モードにおいて原画像のみが表示されていたのでは、どのような画像を後から作り出すことができるのかをユーザは認識することができなない。取得されるべき画像の様子を確認するために表示画面が設けられているにも関わらず、最終的に得ることのできる目標画像の様子を撮影時において一切確認できないのであれば、利便性が悪い。これらの事情を考慮し、撮像装置１では、目標画像の生成元となるデータを記録する前に、演算負荷の比較的小さな画像処理を用いて目標画像に類似する簡易ぼかし画像を生成及び表示する。

この方法の具体的な実現例を、図８及び図９を参照して詳細に説明する。図８は、特殊撮影モードにおける撮像装置１の動作手順を表すフローチャートであり、ステップＳ１１〜Ｓ２０の処理を特殊撮影モードにおいて実行することができる。図９は、再生モードにおける撮像装置１の動作手順を表すフローチャートであり、ステップＳ２１〜Ｓ２６の処理を再生モードにおいて実行することができる。

特殊撮影モードにおいては、撮像ユニット１１Ａによる周期的な第１原画像の撮影によって第１原画像列を取得することができる共に撮像ユニット１１Ｂによる周期的な第２原画像の撮影によって第２原画像列を取得することができる。ステップＳ１１において、第１原画像列又は第２原画像列が動画像として表示部１６に表示される。この表示は、ステップＳ１３に至るまで継続的に実行される。尚、任意の二次元画像を表示部１６に表示する際、必要に応じて二次元画像の解像度変換が成される。

ステップＳ１２において、主制御部２０は、撮影準備操作が撮像装置１に対して成されたか否かを判断する。撮影準備操作が成されるまでステップＳ１２の判断処理は繰り返し実行され、撮影準備操作が成されるとステップＳ１２からステップＳ１３に移行し、ステップＳ１３の処理が実行される。撮影準備操作は、例えば、所定のボタン操作（シャッタボタン２１を半押しする操作など）又はタッチパネル操作である。

ステップＳ１３において、画像処理部１３は、その時点で得られている最新の第１又は第２原画像を基準原画像に設定し、該基準原画像の画像データを表示部１６に送ることで基準原画像を表示部１６上で表示させる。基準原画像は、例えば、撮影準備操作が成される直前に撮影された第１若しくは第２原画像、又は、撮影準備操作が成された直後に撮影された第１若しくは第２原画像である。図１０の画像３４０は、基準原画像の例である。

ステップＳ１３に続くステップＳ１４において、図６の主要被写体抽出部（主要被写体設定部）５１は、基準原画像に存在している被写体群の中から主要被写体を抽出する。換言すれば、基準原画像に存在している全被写体中の何れかの被写体を主要被写体として選択及び設定する。そして、続くステップＳ１５において、主要被写体の画像データが存在する画像領域である主要被写体領域を基準原画像内に設定する。主要被写体領域の設定は、主要被写体抽出部５１又は簡易ぼかし画像生成部５２によって成される。主要被写体領域は、基準原画像の全画像領域の一部に相当する。仮に例えば、基準原画像３４０上における被写体３２２が主要被写体に設定されたならば、図１１に示すような、基準原画像３４０上の被写体３２２を取り囲む画像領域３２２Ｒ（図１１の斜線領域に相当）が主要被写体領域として設定される。図１１の主要被写体領域は矩形領域であるが、主要被写体領域の外形形状は矩形に限定されない。

基準原画像の画像データに基づいて主要被写体及び主要被写体領域の抽出及び設定等を行うことができる。
具体的には例えば、基準原画像の画像データに基づく顔検出処理を用いて基準原画像内における人物を検出し、検出した人物を主要被写体として抽出することができる。顔検出処理は、人物の顔の画像データが存在している画像領域を顔領域として検出する処理である。顔検出処理を公知の任意の方法を用いて実現することができる。顔領域の検出後、輪郭抽出処理等を利用して、人物の全身の画像データが存在している画像領域を人物領域として検出することができる。但し例えば、人物の上半身のみが基準原画像に現れている場合には、人物の上半身の画像データが存在している画像領域を人物領域として検出することができる。基準原画像における顔領域の位置及び大きさから基準原画像における人物領域の位置及び大きさを推定することで人物領域を決定するようにしても良い。そして、特定の人物が主要被写体として設定された場合、その特定の人物の人物領域又は該人物領域を内包する画像領域を主要被写体領域として設定することができる。この際、主要被写体領域における中心位置又は重心位置を、その特定の人物の人物領域における中心位置又は重心位置と一致させるようにしても良い。
或いは例えば、基準原画像の画像データに基づく動物体検出処理を用いて基準原画像内における動物体を検出し、検出した動物体を主要被写体として抽出することもできる。動物体検出処理は、動物体の画像データを存在している画像領域を動物体領域として検出する処理である。動物体とは、第１又は第２原画像列上で動いている物体を指す。動物体検出処理を公知の任意の方法を用いて実現することができる。特定の動物体が主要被写体として設定された場合、その特定の動物体の動物体領域又は該動物体領域を内包する画像領域を主要被写体領域として設定することができる。この際、主要被写体領域における中心位置又は重心位置を、その特定の動物体の動物体領域における中心位置又は重心位置と一致させるようにしても良い。
更に或いは例えば、基準原画像の構図等の情報から主要被写体を決定するようにしても良い。即ち例えば、基準原画像の全画像領域の中央付近に主要被写体が存在している可能性が高いという既知情報に基づき、主要被写体を決定するようにしても良い。この場合、例えば、基準原画像の全画像領域を水平及び垂直方向の夫々において複数個に分割し、得られた複数の画像領域の内、中央に位置している画像領域を主要被写体領域として設定するようにしても良い。

ユーザの指示に従って主要被写体及び主要被写体領域の抽出及び設定等を行うこともできる。
即ち例えば、表示部１６に表示されている基準原画像上の特定位置をタッチパネル操作によってユーザに指定させ、該特定位置に存在している被写体を主要被写体に定めても良い。例えば、図１０の基準原画像３４０が表示画面に表示されている状態において、ユーザが基準原画像３４０上の被写体３２２を指定すれば、被写体３２２が主要被写体に設定される。この場合、上述した方法と同様にして、被写体３２２の人物領域を検出し、検出した人物領域を基準として主要被写体領域を設定すると良い。また、タッチパネル操作等によって主要被写体領域の位置及び大きさをユーザに指定させるようにしても良い。

基準原画像の画像データとユーザの指示との組み合わせによって、主要被写体及び主要被写体領域の抽出及び設定等を行うこともできる。
例えばまず、基準原画像の画像データに基づく上述した方法に従って主要被写体となるべき被写体を複数抽出し、抽出された複数の被写体の夫々を主要被写体の候補に設定する。そして、主要被写体の候補の夫々を表示画面上において明示し、タッチパネル操作や操作部１８に対する所定操作（カーソル操作等）によって、ユーザに複数の候補の中から主要被写体を選択させる。例えば、図１０の基準原画像３４０が表示画面に表示されている状態において、被写体３２１及び３２２が主要被写体の候補として設定された場合、図１２に示す如く、被写体３２１を取り囲む枠３２１Ｆ及び被写体３２２を取り囲む枠３２２Ｆを基準原画像３４０に重畳して表示し、枠３２１Ｆ及び３２２Ｆのどちらかをタッチパネル操作等によってユーザに指定させる。枠３２１Ｆが指定されれば被写体３２１が主要被写体として設定され、枠３２２Ｆが指定されれば被写体３２２が主要被写体として設定される。この後、主要被写体の設定内容に応じて主要被写体領域が設定されるが、主要被写体領域の設定方法として、上述した任意の設定方法を利用することができる。

再び図８を参照する。主要被写体及び主要被写体領域の設定が成されると、ステップＳ１６の処理が実行される。ステップＳ１６において、図６の簡易ぼかし画像生成部５２は、基準原画像の全画像領域を、主要被写体領域と主要被写体領域以外の画像領域であるぼかし対象領域に分類する。そして、ぼかし対象領域内の画像をぼかすぼかし処理を含む画像処理を実行する。この画像処理に、主要被写体領域内の画像の輪郭を強調する輪郭強調処理を含めても良い。上記のぼかし処理が施された後の基準原画像、又は、上記のぼかし処理及び輪郭強調処理が施された後の基準原画像を簡易ぼかし画像と呼ぶ。生成された簡易ぼかし画像は、ステップＳ１６において、表示部１６に表示される。

ぼかし処理は、ぼかし対象領域内の画像の空間周波数成分の内、比較的高い空間周波数成分を低減させるローパスフィルタ処理であっても良い。ぼかし処理を、空間フィルタリング又は周波数フィルタリングによって実現することができる。主要被写体領域及びぼかし対象領域間の境界においてぼかし処理の実行有無を単純に切り替えるようにしても良い。但し、主要被写体領域及びぼかし対象領域間の境界部分の画像を滑らかにするために、主要被写体領域及びぼかし対象領域間の境界周辺においては、ぼかし処理後の画像データとぼかし処理前の画像データの加重平均を行い、加重平均によって得られた画像データを簡易ぼかし画像における上記境界周辺の画像データとして用いても良い。

図１３の画像３６０は、図１０の基準原画像３４０に基づく簡易ぼかし画像の例である。簡易ぼかし画像３６０は、図１１の画像領域３２２Ｒが主要被写体領域として設定された場合に生成されたものである。簡易ぼかし画像３６０では、被写体３２１〜３２３の内、被写体３２２はぼかされていないが、被写体３２１及び３２３はぼかされている。

ステップＳ１６に続くステップＳ１７において、主制御部２０は、シャッタ操作（取得指示操作）が撮像装置１に対して成されたか否かを判断する。シャッタ操作が成されるまでステップＳ１８の処理を介してステップＳ１７の判断処理は繰り返し実行され、シャッタ操作が成されるとステップＳ１７からステップＳ１９に移行してステップＳ１９及びそれ以降の各ステップの処理が実行される。シャッタ操作は、例えば、所定のボタン操作（シャッタボタン２１を全押しする操作など）又はタッチパネル操作である。尚、上述の説明から明らかなように、ぼかし処理を含むステップＳ１６の画像処理は、シャッタ指示が成される前に撮像部１１から出力される画像信号（詳細には、撮像ユニット１１Ａ又は１１Ｂから出力される画像信号）に対して行われる。勿論、ステップＳ１６の画像処理（第２画像処理）は、デジタルフォーカス部５４にて行われるデジタルフォーカス（第１画像処理）と異なる。

ステップＳ１６にて簡易ぼかし画像が生成された後、シャッタ操作が成されるまでの期間を、確認表示期間と呼ぶ。確認表示期間においては、基準原画像と簡易ぼかし画像とが、自動的に又はユーザの指示に従って切り替え表示される（ステップＳ１８）。即ち例えば、図１４に示す如く、基準原画像３４０を一定時間表示した後、簡易ぼかし画像３６０を一定時間表示するという一連の表示処理を、ユーザの指示に基づくことなく確認表示期間中において自動的に繰り返し実行する。或いは例えば、所定のボタン操作又はタッチパネル操作によるユーザの指示に従って、確認表示期間中に表示される画像を、基準原画像３４０及び簡易ぼかし画像３６０間で切り替えるようにしても良い。

基準原画像３４０を表示する際、表示されている画像が基準原画像であることを示すアイコン３８０を更に表示するようにしても良い。同様に、簡易ぼかし画像３６０を表示する際、表示されている画像が簡易ぼかし画像であることを示すアイコン３８１を更に表示するようにしても良い。アイコン３８０及び３８１の表示により、ユーザは、表示画像が基準原画像及び簡易ぼかし画像の何れであるのかを容易に識別することができる。また、簡易ぼかし画像３６０を表示する際、主要被写体領域の位置及び大きさをユーザに知らせるための指標（図１４において破線枠３８２）を簡易ぼかし画像３６０上に重畳して表示するようにしても良い。尚、基準原画像３４０を表示する際にも、同様の指標を基準原画像３４０上に重畳表示しても良い。

ユーザは、確認表示期間において、主要被写体の変更を指示することができる。例えば、確認表示期間において基準原画像３４０及び簡易ぼかし画像３６０の切り替え表示がなされているとき、ユーザは、所定のボタン操作又はタッチパネル操作により被写体３２１を主要被写体として指定することができる。この指定が成されると、主要被写体は被写体３２２から被写体３２１へと変更され、被写体３２１を主要被写体として捉えた主要被写体領域が再設定された上でステップＳ１６の処理が再度実行される。図１５の画像３９０は、ステップＳ１６の処理の再度実行によって得られた簡易ぼかし画像の例である。簡易ぼかし画像３９０が生成されると、シャッタ操作が成されるまで、基準原画像３４０及び簡易ぼかし画像３９０の切り替え表示が成され、シャッタ操作が成さるとステップＳ１９の処理が実行される。尚、確認表示期間における主要被写体の変更は何度でも可能である。

ステップＳ１９では、最新の第１及び第２原画像が取得される。ステップＳ１９にて取得される第１原画像及び第２原画像を、夫々、第１対象原画像及び第２対象原画像と呼ぶ。第１対象原画像及び第２対象原画像は、夫々、シャッタ操作が成される直前に撮影された第１及び第２原画像、又は、シャッタ操作が成された直後に撮影された第１及び第２原画像である。

ステップＳ１９に続くステップＳ２０において、主制御部２０は、記録対象データを記録媒体１９に記録させる。例として、ここでは、記録対象データが第１及び第２対象原画像の画像データを含んでおり、ステップＳ２０において第１及び第２対象原画像が記録されるものとする。記録対象データの記録後、ステップＳ１１に戻ってステップＳ１１及びステップＳ１１以降の処理が繰り返し実行されるが、動作モードを再生モードへと変更するための所定のボタン操作又はタッチパネル操作が成された場合には、動作モードが特殊撮影モードから再生モードに切り替えられた上で図９のステップＳ２１の処理が実行される。再生モードにおいて、記録媒体１９に記録されている記録対象データを画像処理部１３に送ることができる。

ステップＳ２１では再生対象画像の選択と表示が成される。再生対象画像とは、再生モードにおいて表示部１６に表示されるべき画像を指す。ユーザは、所定のボタン操作又はタッチパネル操作によって、記録媒体１９に記録されている画像の中から再生対象画像を選択することができ、選択された再生対象画像がステップＳ２１において表示部１６に表示される。記録媒体１９に記録された何れかの第１対象原画像又は記録媒体１９に記録された何れかの第２対象原画像が、再生対象画像となりうる。ステップＳ２１に続くステップＳ２２において、主制御部２０は、目標画像生成指示操作が撮像装置１に対して成されたか否かを判断する。目標画像生成指示操作が成されるまでステップＳ２１及びＳ２２の処理は繰り返し実行され、目標画像生成指示操作が成されるとステップＳ２２からステップＳ２３に移行し、ステップＳ２３及びステップＳ２４〜Ｓ２６の処理が実行される。目標画像生成指示操作は、例えば、所定のボタン操作又はタッチパネル操作である。

ステップＳ２３では、目標画像生成指示操作が成された時点の再生対象画像に対応する第１及び第２対象原画像が記録媒体１９より読み出される。例えば、目標画像生成指示操作が成された時点における再生対象画像が第１原画像３３１（図７参照）であれば、第１原画像３３１と共に、第１原画像３３１と同時に撮影された第２原画像３３２が記録媒体１９より読み出される。更に、ステップＳ２３において、図６の距離画像生成部５３は、記録媒体１９から読みされた第１及び第２対象原画像より上述の距離画像を生成する。即ち、第１及び第２対象原画像の撮影時における撮像ユニット１１Ａ及び１１Ｂ間の視差に基づき、三角測量の原理を用いて第１及び第２対象原画像から距離画像を生成する。

続いてステップＳ２４において、合焦目標被写体が設定されると共に目標被写界深度の設定が行われる。合焦目標被写体は、デジタルフォーカス後の合焦被写体となるべき被写体（換言すれば、目標画像上の合焦被写体）である。目標被写界深度によって、目標画像の被写界深度に属する被写体距離の最小値ｄ_ＭＩＮ及び最大値ｄ_ＭＡＸが特定される（図１６参照）。図１６の例では、被写体３２２のみが目標被写界深度内に位置している。合焦目標被写体及び目標被写界深度の設定を、主制御部２０又は画像処理部１３において行うことができる。それらの設定を、デジタルフォーカス部５４が行うようにしても良い。

例えば、シャッタ操作が成される直前に設定されていた主要被写体を合焦目標被写体に設定するようにしても良い。これを実現するために、シャッタ操作が成される直前に設定されていた主要被写体が何れの被写体であるのかを指し示す主要被写体特定データを上記記録対象データに含めておくと良い。主要被写体特定データによって、合焦目標被写体に設定されるべき主要被写体の、第１及び第２対象原画像上における位置が規定される。

或いは例えば、ステップＳ１４における主要被写体の設定方法と同様の方法を用いて合焦目標被写体を設定するようにしても良い。即ち、基準対象原画像の画像データに基づいて、ユーザの指示に基づいて、又は、基準対象原画像の画像データとユーザの指示との組み合わせに基づいて、合焦目標被写体を設定するようにしても良い。この場合、主要被写体の設定方法の説明文中における主要被写体及び対象原画像をそれぞれ合焦目標被写体及び基準対象原画像に読み替えればよい。基準対象原画像は、後述のステップＳ２５の処理対象画像に相当する第１又は第２対象原画像である。典型的には例えば、基準対象原画像を表示部１６に表示させた状態で基準対象原画像上の特定位置をタッチパネル操作によってユーザに指定させ、該特定位置に存在している被写体を合焦目標被写体に定めても良い。

目標被写界深度は、距離画像に基づき、合焦目標被写体の被写体距離が目標被写界深度内に収まるように設定される。即ち例えば、被写体３２２が合焦目標被写体である場合には、被写体距離ｄ_３２２が目標被写界深度内に収められ、被写体３２１が合焦目標被写体である場合には、被写体距離ｄ_３２１が目標被写界深度内に収められる。

目標被写界深度の深さ（即ち、ｄ_ＭＩＮとｄ_ＭＡＸとの差）は、合焦目標被写体以外の被写体が目標画像において非合焦被写体となるように、なるだけ浅くされる。但し、合焦目標被写体の被写体距離に近い被写体距離を有する被写体は、目標画像において合焦目標被写体と共に合焦被写体となりうる。少なくとも目標被写界深度の深さは各対象原画像の被写界深度の深さよりも浅い（換言すれば、各対象原画像の被写界深度は目標画像の被写界深度よりも深い）。目標被写界深度の深さは、予め定められた固定値であっても良いし、ユーザによって指定されても良い。

また、シャッタ操作の直前又は直後に得られた第１又は第２原画像に対するシーン判定処理の結果を利用して目標被写界深度の深さを決定するようにしても良い（この場合、そのシーン判定の結果を上記記録対象データに含めておくと良い）。第１原画像に対するシーン判定処理は、第１原画像からの画像特徴量の抽出、第１原画像の被写体の検出、第１原画像の色相の分析、第１原画像の撮影時における被写体の光源状態の推定等を用いて実行され、その判定に公知の任意の方法（例えば、特開２００８−１１２８９号公報又は特開２００９−７１６６６号公報に記載の方法）を用いることができる。第２原画像に対するシーン判定処理も同様である。そして例えば、シーン判定処理によって第１及び第２対象原画像の撮影シーンが風景シーンであると判定されたならば目標被写界深度を比較的深くし、該撮影シーンがポートレートシーンであると判定されたならば目標被写界深度を比較的浅くしても良い。

目標被写界深度の設定後、ステップＳ２５において、処理対象画像及び距離画像がデジタルフォーカス部５４に与えられることにより、目標画像が生成される。処理対象画像は、記録媒体１９から読み出された第１又は第２対象原画像である。デジタルフォーカス部５４は、目標画像の被写界深度（即ち目標被写界深度）内に合焦目標被写体が収まるように、換言すれば目標画像の被写界深度内に合焦目標被写体の被写体距離が属するように、デジタルフォーカスによって処理対象画像及び距離画像から目標画像を生成する。生成された目標画像の画像データは、ステップＳ２６において記録媒体１９に記録される。目標画像の生成後、目標画像を表示部１６に表示するようにしても良い。ステップＳ２６において記録媒体１９を記録した後、ステップＳ２１に戻る。

このように、撮像部１１は、特定被写体及び非特定被写体を含む被写体群（被写体３２１〜３２３から成る被写体群）の画像信号を出力する。特定被写体は被写体３２１〜３２３の何れかであり、非特定被写体も被写体３２１〜３２３の何れかである。但し、特定被写体と非特定被写体は互いに異なる。操作部１８は、対象入力画像の取得を指示するシャッタ操作（取得指示操作）を受け付ける。本実施形態において、例えば、対象入力画像は、第１及び第２対象原画像から成る。尚、シャッタ操作が所定のタッチパネル操作であるとき、表示部１６のタッチパネルが操作部として機能する。特定被写体が主要被写体及び合焦目標被写体に設定された場合、簡易ぼかし画像生成部５２は、ぼかし処理を用いて特定被写体以外の被写体（即ち非特定被写体）がぼかされた簡易ぼかし画像を生成し、デジタルフォーカス部５４は、デジタルフォーカスを用いて対象入力画像から特定被写体に合焦した目標画像を生成する。

本実施形態では、対象入力画像の取得に先立ち、簡易ぼかし画像を生成して表示する。即ち、シャッタ指示が成される前の撮像部１１の出力信号から、目標画像に類似していると想定される簡易ぼかし画像を生成し、簡易ぼかし画像をユーザに提示する。簡易ぼかし画像を見ることにより、ユーザは事後的に作り出すことのできる目標画像の概要を確認することできる。即ち、ユーザの意図と合致した画像を事後的に生成可能かどうかを確認できるようになり、撮影の利便性が向上する。

また、確認表示期間中において（図１４参照）、全合焦画像とも言うべき基準原画像と簡易ぼかし画像とを切り替え表示することができるため、ユーザは、それらを対比確認することできる。ユーザは、この対比確認によって、事後的に作り出すことのできる目標画像のぼけ具合い等を認識しやすくなる。

尚、確認表示期間中において表示される基準原画像は、所定周期にて最新のものへと順次更新されていっても良いし、同様に、確認表示期間中において表示される簡易ぼかし画像も、所定周期にて最新の基準原画像に基づくものへと順次更新されていっても良い。このような確認表示期間中に表示される基準原画像及び簡易ぼかし画像の更新処理を、便宜上、更新処理Ｑ_Ａと呼ぶ。図１７（ａ）及び（ｂ）に、更新処理Ｑ_Ａが実行されたときの表示画面の変遷の様子を示す。図１７（ａ）では、順次得られる基準原画像が更新処理Ｑ_Ａによって更新表示される様子が示されており、図１７（ｂ）では、順次得られる簡易ぼかし画像が更新処理Ｑ_Ａによって更新表示される様子が示されている。更新処理Ｑ_Ａを実行する場合、確認表示期間の内、基準原画像が表示される期間においては基準原画像列が動画像として表示され、簡易ぼかし画像が表示される期間においては簡易ぼかし画像列が動画像として表示されることとなる。

更新処理Ｑ_Ａを実現するべく、特殊撮影モードにおいて、基準原画像列上で主要被写体を追尾する追尾処理を実行するとよい。基準原画像が第１原画像である場合、基準原画像列は時系列で並ぶ第１原画像の集まりを指し、基準原画像が第２原画像である場合、基準原画像列は時系列で並ぶ第２原画像の集まりを指す。公知の任意の追尾方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を用いて追尾処理を成すことができる。例えば、追尾処理では、基準原画像列の画像データに基づき、各基準原画像上における主要被写体の位置及び大きさが逐次検出され、この検出結果に基づいて各基準原画像における主要被写体領域の位置及び大きさが定められる。主要被写体が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。所定周期で順次得られる基準原画像ごとに主要被写体領域を設定してステップＳ１６の画像処理を実行すれば、基準原画像列に対応する簡易ぼかし画像列が得られる。

また、図８におけるステップＳ１１〜Ｓ２０の処理を、動画像の録画時に実行するようにしても良い。録画される動画像、即ち、記録媒体１９に記録される動画像は第１原画像列又は第２原画像列である。動画像の録画時にステップＳ１１〜Ｓ２０の処理を実行する際、基準原画像並びに第１及び第２対象原画像は、記録媒体１９に記録される動画像の一部でありうる。

また、上述の動作例では、確認表示期間中において基準原画像と簡易ぼかし画像が切り替え表示されているが、確認表示期間中において基準原画像と簡易ぼかし画像を同時に表示するようにしても良い。即ち例えば、図１８に示す如く、表示画面の全表示領域ＤＷ内に互いに異なる表示領域Ｄ_Ａ１及びＤ_Ａ２を設定し、図１９に示す如く、表示領域Ｄ_Ａ１内に基準原画像を表示すると同時に表示領域Ｄ_Ａ２内に簡易ぼかし画像を表示するようにしても良い。この際、図１４のアイコン３８０を表示領域Ｄ_Ａ１内に更に表示するようにしても良いし、図１４のアイコン３８１を表示領域Ｄ_Ａ２内に更に表示するようにしても良い。

基準原画像と簡易ぼかし画像を同時に表示する動作例に対しても、上記の更新処理Ｑ_Ａは適用可能である。この適用を成す場合、表示領域Ｄ_Ａ１内の基準原画像は順次最新の基準原画像に更新されてゆき、表示領域Ｄ_Ａ２内の簡易ぼかし画像は順次最新の簡易ぼかし画像に更新されてゆく。表示領域Ｄ_Ａ１内の基準原画像の更新タイミングと表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新タイミングは、一致していても良いし、一致していなくても良い。また、表示領域Ｄ_Ａ１内の基準原画像の更新周期と表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新周期も、一致していても良いし、一致していなくても良い。尚、演算回路の負荷増大や演算回路の規模増大が抑制されるように、表示領域Ｄ_Ａ１内の基準原画像の更新と表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新を同時に実行しないようにしても良い。例えば、表示領域Ｄ_Ａ１内の基準原画像の更新と表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新を交互に実行するようにしても良いし、表示領域Ｄ_Ａ１内の基準原画像の更新を連続して複数回実行した後に表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新を１回だけ実行する、或いは、表示領域Ｄ_Ａ１内の基準原画像の更新を１回だけ実行した後に表示領域Ｄ_Ａ２内の簡易ぼかし画像の更新を連続して複数回実行する、といったことも可能である。

また、ステップＳ２０において第１及び第２対象原画像を記録する方法例を上述したが、ステップＳ１９で取得された第１及び第２対象原画像の何れか一方と、距離画像とを、ステップＳ２０において記録媒体１９に記録するようにしても良い。この場合、ステップＳ１９及びＳ２０の処理の実行間にステップＳ２３の処理が成される。即ち、ステップＳ１９にて取得された第１及び第２対象原画像より距離画像を生成する処理が、ステップＳ２０の記録処理の前に成される。

また、シャッタ操作が成される直前に設定されていた主要被写体を合焦目標被写体として取り扱った上で処理対象画像にデジタルフォーカスを成し、得られた目標画像の画像データを記録対象データに含めるようにしても良い。より具体的には例えば、ステップＳ１９にて第１及び第２対象原画像の取得後、第１及び第２対象原画像から距離画像を生成する第１処理と、シャッタ操作が成される直前に設定されていた主要被写体を合焦目標被写体に設定する第２処理と、目標被写界深度を設定する第３処理と、目標画像の被写界深度（即ち目標被写界深度）内に合焦目標被写体が収まるようにデジタルフォーカスによって処理対象画像及び距離画像から目標画像を生成する第４処理とを実行し、第１〜第４処理によって得られた目標画像をステップＳ２０において記録媒体１９に記録するようにしても良い。第１〜第４処理と第１〜第４処理により得られた目標画像を記録媒体１９に記録する処理とを、総称して、記録処理Ｑ_Ｂと呼ぶ。記録処理Ｑ_Ｂによって記録された目標画像を、再生モードにおいてユーザは自由に記録媒体１９から読み出させることができる。但し、記録処理Ｑ_Ｂを実行する場合でも、ステップＳ２０において、第１及び第２対象原画像を記録媒体１９に記録しておく、或いは、第１及び第２対象原画像の何れか一方と距離画像を記録媒体１９に記録しておく。記録処理Ｑ_Ｂによって記録された目標画像がユーザ所望の画像であるとは限らないからである。

尚、撮像部１１内に２つの撮像ユニットが設けられている例を上述したが、撮像部１１内にＮ個の撮像ユニットが設けられていても良い（Ｎは３以上の整数）。この場合、Ｎ個の撮像ユニットは互いに同じ構造を有し、撮像ユニット１１Ａ及び１１Ｂ間と同様、Ｎ個の撮像ユニットの内、任意の２つの撮像ユニット間には視差が存在する。そして、Ｎ個の撮像ユニットの出力信号から得られるＮ枚の原画像を用いて距離画像及び目標画像の生成を行うこともできる。特殊撮影モードにおいてＮ枚の原画像を記録媒体１９に記録しておき、再生モードにおいてＮ枚の原画像から距離画像を生成するようにしても良いし、特殊撮影モードにおいてＮ枚の原画像から距離画像を生成して、距離画像とＮ枚の原画像の内の１つとを記録媒体１９に記録しておくようにしてもよい。視点の異なる原画像の枚数（即ちＮの値）が大きいほど、被写体距離の推定精度の向上が期待される。例えば、２枚の原画像から被写体距離を推定する場合においてオクルージョンが発生すると、第１及び第２原画像の内の一方にのみしか現われない被写体が存在することになり、該被写体の被写体距離の推定が困難となる。このようなオクルージョンが発生したとしても、視点の異なる原画像がＮ枚取得されていれば、被写体距離を問題なく推定できる場合がある。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、第１実施形態の記載を第２実施形態にも適用することができる。

第２実施形態では、例として、撮像ユニット１１Ａ及び１１Ｂの各撮影範囲内に収まる被写体群に被写体４２１〜４２３が含まれていることを想定する。被写体４２１〜４２３の夫々は人物であり、図２０に示す如く、被写体４２１〜４２３の被写体距離を、夫々、ｄ_４２１、ｄ_４２２及びｄ_４２３にて表す。ここでは、０＜ｄ_４２１＜ｄ_４２２＜ｄ_４２３、であるとし、説明の簡略化上、被写体距離ｄ_４２１、ｄ_４２２及びｄ_４２３は不変であるとする。図２１（ａ）の画像４４０は、被写体４２１〜４２３を撮影することで得られた基準原画像の例である。

基準原画像４４０が得られた後、図６の主要被写体抽出部５１は、基準原画像４４０に存在している被写体群の中から主要被写体を抽出するが、ここでは、複数の主要被写体が抽出されるものとする。例えば、顔検出処理を利用して主要被写体の抽出が成されることを想定する。そうすると、図８のステップＳ１４において、被写体４２１〜４２３の夫々が主要被写体として抽出され、続くステップＳ１５において、図２１（ｂ）に示す如く、被写体４２１としての人物の人物領域を基準とした主要被写体領域４２１Ｒと、被写体４２２としての人物の人物領域を基準とした主要被写体領域４２２Ｒと、被写体４２３としての人物の人物領域を基準とした主要被写体領域４２３Ｒと、が設定される。

ステップＳ１６において、簡易ぼかし画像生成部５２は、主要被写体領域４２１Ｒ以外の画像領域をぼかし対象領域に設定した上で、ぼかし対象領域内の画像をぼかすぼかし処理を基準原画像４４０に対して実行し、これによって図２２（ａ）の簡易ぼかし画像４５１を生成する。同様に、主要被写体領域４２２Ｒ以外の画像領域をぼかし対象領域に設定した上で、ぼかし対象領域内の画像をぼかすぼかし処理を基準原画像４４０に対して実行し、これによって図２２（ｂ）の簡易ぼかし画像４５２を生成する。同様に、主要被写体領域４２３Ｒ以外の画像領域をぼかし対象領域に設定した上で、ぼかし対象領域内の画像をぼかすぼかし処理を基準原画像４４０に対して実行し、これによって図２２（ｃ）の簡易ぼかし画像４５３を生成する。第１実施形態で述べたように、簡易ぼかし画像４５１〜４５３を生成する際、主要被写体領域４２１Ｒ〜４２３Ｒ内の画像に対する輪郭強調処理を更に実行するようにしても良い。

本実施形態においては、簡易ぼかし画像４５１〜４５３の生成後、シャッタ操作が成されるまでの期間が確認表示期間である。確認表示期間における表示方法例として、以下に第１〜第３表示方法を説明する。第１〜第３表示方法の何れに対しても、上述の更新処理Ｑ_Ａは適用可能である。

［第１表示方法］
第１表示方法を説明する。第１表示方法に係る確認表示期間では、基準原画像４４０及び簡易ぼかし画像４５１〜４５３から成る合計４枚の画像が、１枚ずつ順番に切り替え表示される。この切り替え表示を、自動的に又はユーザの指示に従って行うことできる。即ち例えば、図２３に示す如く、基準原画像４４０を一定時間表示した後、簡易ぼかし画像４５１を一定時間表示し、その後、簡易ぼかし画像４５２を一定時間表示し、更にその後、簡易ぼかし画像４５３を一定時間表示するという一連の表示処理を、ユーザの指示に基づくことなく確認表示期間中において自動的に繰り返し実行することができる。或いは例えば、所定のボタン操作又はタッチパネル操作によるユーザの指示に従って、確認表示期間中に表示される画像を、基準原画像４４０、簡易ぼかし画像４５１、簡易ぼかし画像４５２及び簡易ぼかし画像４５３間で切り替えるようにしても良い。

基準原画像４４０を表示する際、図１４のアイコン３８０を更に表示するようにしても良く、簡易ぼかし画像４５１〜４５３を表示する際、図１４のアイコン３８１を更に表示するようにしても良い（後述の第２及び第３表示方法においても同様）。また、簡易ぼかし画像４５１を表示する際、主要被写体領域４２１Ｒの位置及び大きさをユーザに知らせるための指標（例えば、主要被写体領域４２１Ｒの外周を囲む枠）を簡易ぼかし画像４５１上に重畳して表示するようにしても良い。簡易ぼかし画像４５２及び４５３を表示する場合についても同様であり、後述の第２及び第３表示方法においても同様である。

ユーザは、簡易ぼかし画像４５１〜４５３の何れかを指定ぼかし画像として選択することができる。指定ぼかし画像の選択を、所定のボタン操作又はタッチパネル操作によって行うこともできる。或いは、シャッタ操作が成されたタイミングに表示されている簡易ぼかし画像が指定ぼかし画像として選択されても良い。この場合、所望の簡易ぼかし画像が表示されている状態においてシャッタ操作を成すことで、ユーザは所望の簡易ぼかし画像を指定ぼかし画像として選択することができる。指定ぼかし画像が選択され且つシャッタ操作が成されたとき、指定ぼかし画像に対応する主要被写体が何れの被写体であるのかを指し示す主要被写体特定データを上記記録対象データに含めておくようにしても良い（後述の第２及び第３表示方法においても同様）。簡易ぼかし画像４５１〜４５３に対応する主要被写体はそれぞれ被写体４２１〜４２３である。

記録対象データに主要被写体特定データが含まれている場合、図９のステップＳ２４において、主要被写体特定データにて示されている主要被写体を合焦目標被写体に設定することができる（後述の第２及び第３表示方法においても同様）。主要被写体特定データによって、合焦目標被写体に設定されるべき主要被写体の、第１及び第２対象原画像上における位置が規定される。尚、指定ぼかし画像が選択され且つシャッタ操作が成されたとき、上記の記録処理Ｑ_Ｂを実行するようにしても良い（後述の第２及び第３表示方法においても同様）。但し、この記録処理Ｑ_Ｂにおいては、指定ぼかし画像に対応する主要被写体が合焦目標被写体に設定されるものとする。

［第２表示方法］
第２表示方法を説明する。第２表示方法では、確認表示期間中において、簡易ぼかし画像４５１〜４５３の何れかと基準原画像４４０とが同時に表示される。即ち例えば、表示画面の全表示領域ＤＷ内に互いに異なる表示領域Ｄ_Ａ１及びＤ_Ａ２を設定した上で（図１８参照）、図２４（ａ）〜（ｃ）に示す如く、表示領域Ｄ_Ａ１内に基準原画像４４０を表示すると同時に表示領域Ｄ_Ａ２内に簡易ぼかし画像４５１〜４５３の何れか１つを表示するようにしても良い。図２４（ａ）〜（ｃ）に示される表示画面では、夫々、表示領域Ｄ_Ａ２内に簡易ぼかし画像４５１〜４５３が表示されている（図面の煩雑化防止のため、符号４５１〜４５３の図示は省略）。

ユーザは、表示領域Ｄ_Ａ２内に表示される画像を、所定のボタン操作又はタッチパネル操作にて切り替えることができる。即ち例えば、表示領域Ｄ_Ａ２内に簡易ぼかし画像４５１が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ａ２内の表示画像が簡易ぼかし画像４５１から簡易ぼかし画像４５２又は４５３へと切り替わり、表示領域Ｄ_Ａ２内に簡易ぼかし画像４５２が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ａ２内の表示画像が簡易ぼかし画像４５２から簡易ぼかし画像４５１又は４５３へと切り替わる。勿論、それの逆の切り替えも可能である。尚、簡易ぼかし画像が複数存在することを示す指標（図２４（ａ）〜（ｃ）における黒三角形に相当）を表示領域Ｄ_Ａ２内又は表示領域Ｄ_Ａ２周辺に表示するようにしても良い。

ユーザは、簡易ぼかし画像４５１〜４５３の何れかを指定ぼかし画像として選択することができる。指定ぼかし画像の選択を、所定のボタン操作又はタッチパネル操作によって行うこともできる。或いは、シャッタ操作が成されたタイミングに表示されている簡易ぼかし画像が指定ぼかし画像として選択されても良い。この場合、所望の簡易ぼかし画像が表示領域Ｄ_Ａ２に表示されている状態においてシャッタ操作を成すことで、ユーザは所望の簡易ぼかし画像を指定ぼかし画像として選択することができる。

［第３表示方法］
第３表示方法を説明する。第３表示方法では、確認表示期間中において、複数の簡易ぼかし画像と基準原画像とが同時に表示される。図２５に、第３表示方法において利用される表示画面の領域設定例を示す。図２５に示す如く、表示画面の全表示領域ＤＷ内に、互いに異なる表示領域Ｄ_Ｂ１〜Ｄ_Ｂ５が設定されることを想定する。ここで、表示領域Ｄ_Ｂ２の大きさは、表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５の夫々の大きさよりも大きい。図２５の例では、表示領域Ｄ_Ｂ１及びＤ_Ｂ２の大きさは互いに同じとなっていると共に、表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５の大きさも互いに同じとなっている。

図２６には、第３表示方法における表示内容の例が示されている。表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５の夫々には簡易ぼかし画像が１つずつ表示される。表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５に表示される簡易ぼかし画像は互いに異なる。表示領域Ｄ_Ｂ１には、基準原画像が表示される。表示領域Ｄ_Ｂ２には、表示領域Ｄ_Ｂ３に表示されている簡易ぼかし画像が表示される。図２６の例では、表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５にそれぞれ簡易ぼかし画像４５２、４５１及び４５３が表示され、表示領域Ｄ_Ｂ１及びＤ_Ｂ２にそれぞれ基準原画像４４０及び簡易ぼかし画像４５２が表示される（図２１（ａ）及び図２２（ａ）〜（ｃ）も参照；図面の煩雑化防止のため、図２６において符号４４０及び４５１〜４５３の図示は省略）。表示領域Ｄ_Ｂ２の大きさは表示領域Ｄ_Ｂ３のそれよりも大きいため、表示領域Ｄ_Ｂ３の表示画像が表示領域Ｄ_Ｂ２において拡大表示されることになる。

ユーザは、表示領域Ｄ_Ｂ２及びＤ_Ｂ３内に表示される画像を、所定のボタン操作又はタッチパネル操作にて切り替えることができる。即ち例えば、表示領域Ｄ_Ｂ２及びＤ_Ｂ３内に簡易ぼかし画像４５１が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ｂ２及びＤ_Ｂ３内の表示画像が簡易ぼかし画像４５１から簡易ぼかし画像４５２又は４５３へと切り替わり、表示領域Ｄ_Ｂ２及びＤ_Ｂ３内に簡易ぼかし画像４５２が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ｂ２及びＤ_Ｂ３内の表示画像が簡易ぼかし画像４５２から簡易ぼかし画像４５１又は４５３へと切り替わる。勿論、それの逆の切り替えも可能である。尚、簡易ぼかし画像４５１〜４５３に加えて、更に他の簡易ぼかし画像が存在する場合には、図２７に示す如く、他の簡易ぼかし画像が存在することを示す指標（図２７における黒三角形に相当）を更に表示するようにしても良く、この場合において、ユーザが所定のボタン操作又はタッチパネル操作を成すことで、表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５の何れかに上記他の簡易ぼかし画像を表示させることもできる。

図２５に示す表示領域の切り分け方法は例示であり、それを様々に変更することも可能である。例えば、図２８に示す如く、表示画面の全表示領域ＤＷ内に互いに異なる表示領域Ｄ_Ｃ１〜Ｄ_Ｃ５が設定し、表示領域Ｄ_Ｃ２に基準原画像を表示する一方で表示領域Ｄ_Ｂ３〜Ｄ_Ｂ５の夫々に簡易ぼかし画像を１つずつ表示するようにしても良い。表示領域Ｄ_Ｃ３〜Ｄ_Ｃ５に表示される簡易ぼかし画像は互いに異なり、表示領域Ｄ_Ｃ１には表示領域Ｄ_Ｃ３に表示されている簡易ぼかし画像が表示される。表示領域Ｄ_Ｃ１の大きさは表示領域Ｄ_Ｃ２〜Ｄ_Ｃ５の夫々の大きさよりも大きい。図２８の例では、表示領域Ｄ_Ｃ３〜Ｄ_Ｃ５にそれぞれ簡易ぼかし画像４５２、４５１及び４５３が表示され、表示領域Ｄ_Ｃ１及びＤ_Ｃ２にそれぞれ簡易ぼかし画像４５２及び基準原画像４４０が表示される（図２１（ａ）及び図２２（ａ）〜（ｃ）も参照；図面の煩雑化防止のため、図２８において符号４４０及び４５１〜４５３の図示は省略）。表示領域Ｄ_Ｃ１の大きさは表示領域Ｄ_Ｃ３のそれよりも大きいため、表示領域Ｄ_Ｃ３の表示画像が表示領域Ｄ_Ｃ１において拡大表示されることになる。

ユーザは、表示領域Ｄ_Ｃ１及びＤ_Ｃ３内に表示される画像を、所定のボタン操作又はタッチパネル操作にて切り替えることができる。即ち例えば、表示領域Ｄ_Ｃ１及びＤ_Ｃ３内に簡易ぼかし画像４５１が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ｃ１及びＤ_Ｃ３内の表示画像が簡易ぼかし画像４５１から簡易ぼかし画像４５２又は４５３へと切り替わり、表示領域Ｄ_Ｃ１及びＤ_Ｃ３内に簡易ぼかし画像４５２が表示されている状態において所定のボタン操作等が成されると、表示領域Ｄ_Ｃ１及びＤ_Ｃ３内の表示画像が簡易ぼかし画像４５２から簡易ぼかし画像４５１又は４５３へと切り替わる。勿論、それの逆の切り替えも可能である。尚、簡易ぼかし画像４５１〜４５３に加えて、更に他の簡易ぼかし画像が存在する場合には、図２７に示したものと同様、他の簡易ぼかし画像が存在することを示す指標（図２７における黒三角形に相当）を更に表示するようにしても良く、この場合において、ユーザが所定のボタン操作又はタッチパネル操作を成すことで、表示領域Ｄ_Ｃ３〜Ｄ_Ｃ５の何れかに上記他の簡易ぼかし画像を表示させることもできる。

ユーザは、簡易ぼかし画像４５１〜４５３の何れかを指定ぼかし画像として選択することができる。指定ぼかし画像の選択を、所定のボタン操作又はタッチパネル操作によって行うこともできる。或いは、シャッタ操作が成されたタイミングにおいて表示領域Ｄ_Ｂ２又はＤ_Ｃ１に表示されている簡易ぼかし画像が指定ぼかし画像として選択されても良い。この場合、所望の簡易ぼかし画像が表示領域Ｄ_Ｂ２又はＤ_Ｃ１に表示されている状態においてシャッタ操作を成すことで、ユーザは所望の簡易ぼかし画像を指定ぼかし画像として選択することができる。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態では、第１又は第２実施形態に適用可能な、上述の技術に対する変形技術を説明する。

２つの撮像ユニット１１Ａ及び１１Ｂの出力信号を用いて目標画像を生成する方法を説明したが、撮像部１１から撮像ユニット１１Ｂを削除し、撮像ユニット１１Ａの出力信号のみを用いて目標画像を生成するようにしてもよい。

例えば、第１ＲＡＷデータに被写体距離を表す情報が含まれるように撮像ユニット１１Ａを形成しておき、第１ＲＡＷデータから距離画像及び全合焦画像を構築するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２（ｂ）には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像ユニット１１Ａに設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて撮像素子３３への入射光の進行方向の情報をも含むようになり、この情報を用いて距離画像を生成することができる共に、この情報を内包する第１ＲＡＷデータから全合焦画像を構築することができる。

Light Field法に分類されない方法（例えば、特開２００７−１８１１９３号公報に記載の方法）を用いて、第１ＲＡＷデータから理想的な又は擬似的な全合焦画像を生成するようにしても良い。例えば、位相板（wavefront coding optical element）を用いて全合焦画像を生成する方法を利用しても良いし、撮像素子３３上の像のぼけを除去する画像復元処理を用いて全合焦画像を生成するようにしても良い。

上述のようにして得られた第１ＲＡＷデータに基づく全合焦画像を第１原画像として用い、第１ＲＡＷデータに基づく第１原画像を、基準原画像、第１対象原画像及び処理対象画像（図８又は図９のステップＳ１３、Ｓ１９及びＳ２５等参照）として利用することができる。この場合、シャッタ操作によって取得が指示される対象入力画像は第１ＲＡＷデータに基づく全合焦画像であると考えることができる。尚、Light Field法では、撮像素子３３から画像信号を得た後に、任意の合焦距離及び任意の被写界深度を有する画像を自由に構築することができる。従って、Light Field法を用いる場合には、全合焦画像を構築することなく、第１ＲＡＷデータから一気に目標画像を生成することも可能である。

また、Light Field法に分類されない方法を用いて、任意の原画像についての距離画像を生成するようにしても良い。例えば、特開２０１０−８１００２号公報に記載の方法の如く、光学系３５の軸上色収差を利用し、撮像素子３３の出力信号に基づいて任意の原画像についての距離画像を生成するようにしても良い。或いは例えば、撮像ユニット１１Ａ又は１１Ｂの撮影範囲内における各被写体の被写体距離を測定する測距センサ（不図示）を撮像装置１に設けておき、該測距センサの測定結果に基づいて任意の原画像についての距離画像を生成するようにしても良い。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

上述の各実施形態において、デジタルフォーカス部５４は目標画像を生成する目標画像生成部として機能する。上述の各実施形態における距離画像は、注目した原画像の各画素位置における被写体の被写体距離を特定する距離情報の一種である。注目した原画像の各画素位置における被写体の被写体距離を特定できるのであれば、距離情報は、距離画像のような画像の形態の情報でなくとも良く、任意の形態の情報であって良い。

１撮像装置
１１撮像部
１１Ａ、１１Ｂ撮像ユニット
１３画像処理部
１６表示部
１８操作部
１９記録媒体
３３撮像素子
５１主要被写体抽出部
５２簡易ぼかし画像生成部
５３距離画像生成部
５４デジタルフォーカス部

Claims

特定被写体及び非特定被写体を含む被写体群の画像信号を出力する撮像部と、
前記撮像部の出力信号に基づく対象入力画像の取得指示操作を受け付ける操作部と、
前記対象入力画像を記録する記録媒体と、
前記対象入力画像の記録後、前記操作部に対して所定操作が成されたとき、前記対象入力画像に対して第１画像処理を実行することで前記特定被写体に合焦した目標画像を生成する目標画像生成部と、
表示部と、を備えた撮像装置において、
前記取得指示操作が成される前の前記撮像部の出力信号に対して、前記第１画像処理と異なる第２画像処理を施すことにより、前記非特定被写体がぼかされたぼかし画像を生成するぼかし画像生成部を更に備え、
前記取得指示操作に従って前記対象入力画像を取得する前に、前記ぼかし画像を前記表示部に表示する
ことを特徴とする撮像装置。
前記対象入力画像は複数の対象原画像から成り、
各対象原画像の被写界深度は前記目標画像の被写界深度よりも深い
ことを特徴とする請求項１に記載の撮像装置。
前記複数の対象原画像の視点は互いに異なり、
前記目標画像生成部は、前記複数の対象原画像に基づく、前記被写体群の距離情報を用いて、前記目標画像を生成する
ことを特徴とする請求項２に記載の撮像装置。
前記目標画像生成部は、前記被写体群の距離情報を用いて前記目標画像を生成する
ことを特徴とする請求項１に記載の撮像装置。
前記取得指示操作に従って前記対象入力画像を取得する前に、前記ぼかし画像と前記ぼかし画像の元となる画像とを、前記表示部に切り替えて表示する或いは前記表示部に同時に表示する
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
前記撮像部の出力信号に基づき前記被写体群の中から前記特定被写体となるべき被写体を抽出する被写体抽出部を更に備え、
前記ぼかし画像生成部は、前記被写体抽出部によって複数の被写体が抽出された場合、
前記取得指示操作が成される前の前記撮像部の出力信号に対して、抽出被写体ごとに抽出被写体以外の被写体をぼかす画像処理を前記第２画像処理として実行することにより複数のぼかし画像を生成し、
前記複数のぼかし画像は、前記取得指示操作に従って前記対象入力画像が取得される前において、前記表示部に切り替えて表示される或いは前記表示部に同時に表示される
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。