JP2011249923A - 撮像装置、画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】自由度の高い電子ぼかし処理を実行するのに好適な撮影データを取得する。
【解決手段】本発明の撮像装置は、撮影光学系の被写界深度及び合焦距離の組み合わせを、予め決められたディープフォーカス用の組み合わせに設定する設定手段と、設定された前記組み合わせの下で前記撮影光学系が被写界を投影して形成した画像である実画像を取得する撮像手段と、前記実画像の取得元となった前記被写界の距離分布を測定する測定手段と、前記実画像に対して前記距離分布を対応付けたものを、前記被写界の撮影データとして記録する記録手段とを備える。
【選択図】 図１

Description

本発明は、ディジタルスチルカメラなどの撮像装置、撮像装置が取得した撮影データを処理する画像処理装置、及び画像処理プログラムに関する。

従来、カメラによるポートレート撮影やマクロ撮影では、背景をぼかして被写体を引き立たせることが望まれている。しかし、コンパクトカメラの撮影レンズのように小口径だと絞り値を開放にしても被写界深度を十分に浅くできないため、特にポートレート撮影ではボケ味の良好な画像を得ることが難しい。そこで近年、撮影後の画像へ電子ぼかし処理を施すカメラが提案された（特許文献１を参照）。

特開2008-294785号公報

しかしながら、特許文献１に記載の電子ぼかし処理は、画像に付与されたボケ味をユーザが後に調整することを想定していない。

そこで本発明の目的は、自由度の高い電子ぼかし処理を実行するのに好適な撮影データを取得することのできる撮像装置、その撮影データを有効に利用して自由度の高い電子ぼかし処理を実行することのできる画像処理装置、及び画像処理プログラムを提供することにある。

本発明の撮像装置は、撮影光学系の被写界深度及び合焦距離の組み合わせを、予め決められたディープフォーカス用の組み合わせに設定する設定手段と、設定された前記組み合わせの下で前記撮影光学系が被写界を投影して形成した画像である実画像を取得する撮像手段と、前記実画像の取得元となった前記被写界の距離分布を測定する測定手段と、前記実画像に対して前記距離分布を対応付けたものを、前記被写界の撮影データとして記録する記録手段とを備える。

本発明の画像処理装置は、本発明の撮像装置が記録した前記撮影データを入力するデータ入力手段と、仮想撮影光学系の被写界深度及び合焦距離の組み合わせをユーザに指定させるインタフェース手段と、指定された前記組み合わせの下で前記仮想撮影光学系が前記被写界を投影した場合に形成される画像である仮想画像を前記撮影データに基づき作成する作成手段とを備える。

本発明の画像処理プログラムは、本発明の撮像装置が記録した前記撮影データを入力するデータ入力手順と、仮想撮影光学系の被写界深度及び合焦距離の組み合わせをユーザに指定させるインタフェース手順と、指定された前記組み合わせの下で前記仮想撮影光学系が前記被写界を投影した場合に形成される画像である仮想画像を前記撮影データに基づき作成する作成手順とをコンピュータに実行させる。

本発明によれば、自由度の高い電子ぼかし処理を実行するのに好適な撮影データを取得することのできる撮像装置、その撮影データを有効に利用して自由度の高い電子ぼかし処理を実行することのできる画像処理装置、及び画像処理プログラムが実現する。

電子カメラの構成図。 距離分布センサ３０と撮影レンズ２との関係を説明する図。 距離測定範囲と撮影範囲との関係を説明する図。 距離測定範囲と撮影範囲（ズーム操作時）との関係を説明する図。 特殊撮影モードにおけるＣＰＵ２１の動作フローチャート。 第１の電子ぼかし処理のサブルーチン。 撮影時に設定されるボケフィルタ処理の特性を説明する図。 ＡＦエリアＦＡ１の例を示す図。 撮影時に作成されるぼかし画像の模式図。 再生モードにおけるＣＰＵ２１の動作フローチャート。 第２の電子ぼかし処理のサブルーチン。 再生画面の模式図。 ボケフィルタの特性カーブ。 更新後の再生画面の模式図。 ２つの合焦エリアが指定された状態を説明する図。 ２つの合焦エリアが指定されたときに作成されるボケフィルタの特性カーブ。 ２つの合焦エリアが指定されたときに作成されるぼかし画像の模式図。

［第１実施形態］
以下、本発明の実施形態として電子カメラを説明する。

図１は、電子カメラの構成図である。図１に示すとおり電子カメラ１には、撮像素子１１、信号処理回路１２、バッファメモリ１３、画像処理回路１４、フィルタ処理回路１５、表示制御回路１６、内部モニタ１７、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１、撮像回路２２、入力器２３、外部接続端子２４、距離分布センサ３０などが備えられる。このうちバッファメモリ１３、画像処理回路１４、フィルタ処理回路１５、表示制御回路１６、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１は、共通のバスに接続されている。

撮像素子１１は、撮影レンズ２が形成した被写界像を撮像する撮像素子（例えば単板式カラー撮像素子）である。

信号処理回路１２は、撮像素子１１が撮像で取得したアナログ画像信号に対してアナログ信号処理及びＡ／Ｄ変換処理を順次に施し、ディジタル画像信号に変換する。

バッファメモリ１３は、信号処理回路１２から出力されるディジタル画像信号を順次に蓄積する。撮像素子１１の１フレーム分の電荷読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３には１フレーム分のディジタル画像データが蓄積されることになる。以下、１フレーム分のディジタル画像データを単に「画像」と称し、特に、撮像直後にバッファメモリ１３に蓄積された画像（画像処理回路１４による画像処理が施される前の画像）を「ＲＡＷ画像」と称す。

画像処理回路１４は、バッファメモリ１３に格納されたＲＡＷ画像に対して、デベイヤ処理（色補間処理）を含む所定の画像処理（色補間処理、エッジ強調処理、コントラスト強調処理など）を施す。なお、画像処理回路１４は、必要に応じて、バッファメモリ１３上の画像に対して表示用の間引き処理（サイズ縮小処理）を施すこともできる。

フィルタ処理回路１５は、前述した所定の画像処理後の画像に対し、必要に応じてボケフィルタ処理を施す。ボケフィルタ処理の詳細は後述する。

表示制御回路１６は、表示用メモリを有しており、その表示用メモリに書き込まれた画像を内部モニタ１７へ送出することにより、その内部モニタ１７上へ画像を表示する。なお、外部接続端子２４に外部モニタが接続されている期間には、表示制御回路１６による画像の送出先は、内部モニタ１７ではなく外部モニタとなる。但し、以下では簡単のため、外部接続端子２４に外部モニタは接続されていないものと仮定する。

内部モニタ１７は、電子カメラ１の背面などに設けられ、電子カメラ１で取得された画像をユーザが確認する際などに使用されるモニタである。このモニタは、例えばＬＣＤパネルなどで構成される。

外部接続端子２４は、外部モニタへ表示制御回路１６を接続するための端子である。外部接続端子２４は、例えば、ＵＳＢポートなどで構成される。

圧縮・伸張回路１８は、前述した所定の画像処理後の画像に対し、所定方式のデータ圧縮処理を施す。また、圧縮・伸張回路１８は、データ圧縮済みの画像に対し、同じ方式のデータ伸張処理を施すこともできる。以下、圧縮／伸張方式として周知のＪＰＥＧ方式が適用されるものと仮定する。

カードインタフェース１９は、データ圧縮済みの画像（ＪＰＥＧファイル）又はデータ圧縮されていないＲＡＷ画像（ＲＡＷ画像ファイル）を、電子カメラ１のカードスロットに装着中のカードメモリ２０へ書き込んだり、カードメモリ２０に書き込まれているＪＰＥＧファイル又はＲＡＷ画像ファイルを読み込んだりする。なお、カードメモリ２０は、可搬の記憶媒体である。

撮像回路２２は、撮影レンズ２に対して駆動信号を与えることにより、撮影レンズ２の焦点距離（ズーム位置）及び撮影レンズ２の合焦距離を調節する。また、撮像回路２２は、撮像素子１１及び信号処理回路１２に対して駆動信号を与えることにより、両者の駆動タイミングを制御する。また、撮像回路２２は、撮像素子１１の１フレーム当たりの電荷蓄積時間を制御する。なお、電子カメラ１のシャッター速度は、撮像素子１１の電荷蓄積時間と不図示のメカシャッタの開放期間との組み合わせによって設定できるが、ここでは簡単のため、撮像素子１１の電荷蓄積時間のみによって設定されるものと仮定する。

ＣＰＵ２１は、入力器２３を介して入力されるユーザの指示と、ＣＰＵ２１の内部メモリ（ＲＯＭ）に予め書き込まれたファームウエアとに従い、以上の各部を制御する。なお、ＣＰＵ２１のファームウエアは、電子カメラ１に搭載された不図示の通信回路（公知のネットワーク端子など）を介して適宜に更新される。

入力器２３は、電子カメラ１の上部に設けられたレリーズボタンや、電子カメラ１の背面に設けられたマルチセレクターなどの操作部材である。例えばユーザは、この入力器２３を介して電子カメラ１のモードを撮影モードと再生モードの間で切り替えることができる。なお、本実施形態の電子カメラ１の撮影モードには、特殊撮影モードがある。特殊撮影モードは、距離分布付きのディープフォーカス画像を取得する撮影モードである。特殊撮影モードの詳細は、後述する。

距離分布センサ３０は、図２に示すとおり、電子カメラ１の前面側、すなわち、撮影レンズ２が設けられたのと同じ側に設けられている。距離分布センサ３０は、撮影レンズ２の被写界側に向けて赤外線パルスレーザ光を照射し、被写界側に位置する物体の１点へ光スポットを形成する。また、距離分布センサ３０は、その光スポットで反射したパルスレーザ光を受光し、そのパルスレーザ光が射出してから受光するまでの時間差を干渉原理などを利用して測定し、その時間差をスポットの形成先の距離に換算する。また、距離分布センサ３０には、レーザ光の射出方向及び受光方向を変化させる光走査機構が設けられており、この光走査機構が駆動されると、光スポットが撮影レンズ２の被写界側を二次元走査する。よって、距離分布センサ３０は、光スポットで撮影レンズ２の被写界側を二次元走査しながら距離の測定を繰り返すことで、走査範囲内の距離分布を検出することができる。距離分布センサ３０が検出した距離分布は、ＣＰＵ２１へ送出される。

なお、以上の距離分布センサ３０の視野ＦＯＶ３０（＝レーザ光を射出可能な角度範囲）は、図２に示すとおり、撮影レンズ２の最大の視野ＦＯＶ２（＝撮影レンズ２のズーム位置が最広角側であるときにおける撮影レンズ２の視野）をカバーしており、距離分布センサ３０による距離測定範囲ＳＡ（＝光スポットの走査範囲）は、図３に示すとおり、電子カメラ１の最広角側の撮影範囲ＡＷ（＝撮影レンズ２のズーム位置が最広角側であるときに電子カメラ１が画像化できる範囲）をカバーしている。したがって、ユーザのズーム操作により電子カメラ１の撮影範囲が最広角側の撮影範囲ＡＷと最望遠側の撮影範囲Ａｔとの間で変化したとしても（図４参照）、電子カメラ１の撮影範囲が距離測定範囲ＳＡから外れることは無い。

また、電子カメラ１のＣＰＵ２１は、撮影レンズ２のズーム位置と電子カメラ１の撮影範囲との関係を予め記憶しており、撮像素子１１が取得した画像と、距離分布センサ３０が検出した距離分布との対応関係を、撮影レンズ２のズーム位置に依らずに計算できるものとする。

図５は、特殊撮影モードにおけるＣＰＵ２１の動作フローチャートであり、図６は、図５における第１の電子ぼかし処理のサブルーチンである。以下、各ステップを順に説明する。なお、ここでは簡単のため、電子カメラ１のＲＡＷ記録の機能（ＲＡＷ画像のまま保存する機能）はオフされているものとする。

ステップＳ１０：ＣＰＵ２１は、撮像回路２２を介して撮像素子１１をドラフトモードで連続駆動し始める。これによって撮像素子１１はスルー画像の取得を開始する。ＣＰＵ２１は、このときに信号処理回路１２から出力されるスルー画像の予め設定されたＡＥエリアからＡＥ評価値を抽出し、そのＡＥ評価値が適正となるよう、撮像回路２２を介して電子カメラ１のシャッター速度と撮影レンズ２２の絞り値との組み合わせを制御する（ＡＥ制御）。それと並行して、ＣＰＵ２１は、信号処理回路１２から出力されるスルー画像の予め設定されたＡＦエリアからＡＦ評価値を抽出し、そのＡＦ評価値が適正となるよう、撮像回路２２を介して撮影レンズ２２の合焦距離を制御する（ＡＦ制御）。なお、ＣＰＵ２１は、スルー画像の取得期間中に入力器２３からズーム調整指示が入力されると、その指示に応じて撮影レンズ２のズーム位置を調整する。

ステップＳ１１：ＣＰＵ２１は、レリーズボタンが半押しされたか否かを判別し、半押しされた場合は、ステップＳ１２へ移行する。

ステップＳ１２：ＣＰＵ２１は、現時点における絞り値及びシャッター速度を固定すると共に（ＡＥロック）、現時点における合焦距離を固定し（ＡＦロック）、現時点におけるズーム位置も固定する（ズームロック）。そして、ＣＰＵ２１は、現時点における絞り値、シャッター速度、合焦距離、ズーム位置の各々のデータを、撮影時の指定絞り値、指定シャッター速度、指定合焦距離、指定ズーム位置として読み込む。

ステップＳ１３：ＣＰＵ２１は、距離分布センサ３０を駆動することにより、距離測定範囲ＳＡ（図３参照）の距離分布を検出し、検出された距離分布から現時点の撮影範囲に対応する距離分布を抽出する。なお、抽出された距離分布は、撮影時における被写界の距離分布を表す。

ステップＳ１４：ＣＰＵ２１は、レリーズボタンが全押しされたか否かを判別し、全押しされていない場合はステップＳ１５へ移行し、全押しされた場合はステップＳ１６へ移行し、する。

ステップＳ１５：ＣＰＵ２１は、レリーズボタンの半押しが解除されたか否かを判別し、解除されていない場合はステップＳ１４へ移行し、解除された場合は、ＡＥロック、ＡＦロック、ズームロックの各々を解除してからステップＳ１１へ移行する。

ステップＳ１６：ＣＰＵ２１は、現時点の指定絞り値及び指定合焦点距離に拘わらず、電子カメラ１の絞り値及び合焦距離を、ディープフォーカス用の組み合わせに切り替える。すなわち、本ステップのＣＰＵ２１は、撮影レンズ２の絞り値を最大絞り値に切り替え、撮影レンズ２の合焦距離を最も近距離（又は予め決められた近距離）に切り替える。また、ＣＰＵ２１は、絞り値を増大させた分だけ短い値に電子カメラ１のシャッター速度を切り替える。

以上の設定の下、ＣＰＵ２１は、撮像回路２２を介して撮像素子１１をフレームモードで１フレームだけ駆動する。これによってディープフォーカス撮影が実行され、ディープフォーカス画像が取得される。このディープフォーカス画像は、信号処理回路１２を介してバッファメモリ１３へ蓄積される。

ステップＳ１７：ＣＰＵ２１は、ディープフォーカス画像に対して画像処理回路１４による所定の画像処理を施してから、圧縮・伸張回路１８によるデータ圧縮処理を施し、ＪＰＥＧファイルを作成する。さらにＣＰＵ２１は、撮影時の実際の絞り値、実際のシャッター速度、実際の合焦距離、実際のズーム位置、及び、ステップＳ１３で抽出した距離分布を、そのＪＰＥＧファイルに付与してから、カードインタフェース１９を介してカードメモリ２０へ書き込む。これによって、距離分布付きのディープフォーカス画像が保存されたことになる。

ステップＳ１８：ＣＰＵ２１は、第１の電子ぼかし処理のサブルーチンを呼び出す。

ステップＳ１８−１：ＣＰＵ２１は、指定絞り値及び指定ズーム位置を、指定被写界深度に換算する。ここでいう指定被写界深度は、絞り値が指定絞り値に設定され、かつ、ズーム位置が指定ズーム位置に設定された仮想撮影レンズが有する被写界深度のことである。よって、ＣＰＵ２１は、指定絞り値が大きいときほど指定被写界深度を浅くし、指定ズーム位置が広角側であるときほど指定被写界深度を深くすればよい。

ステップＳ１８−２：ＣＰＵ２１は、ステップＳ１８−１で算出した指定被写界深度と、上述した指定合焦距離と、撮影時の距離分布とをフィルタ処理回路１５に与え、フィルタ処理を開始させる。

フィルタ処理回路１５は、ＣＰＵ２１から与えられた指定被写界深度と指定合焦距離と距離分布とに基づき、ボケフィルタ処理で各画素に適用されるボケフィルタ（ぼかし機能を有する空間フィルタ）を、次のとおり作成する。すなわち、フィルタ処理回路１５は、各画素に適用されるボケフィルタの合焦度（ぼかし量の小ささ）を、ボケフィルタの適用先となる画素に写っている物体の距離（距離分布のうちその画素に対応する距離）に依存させる。ここで、フィルタ処理回路１５が距離と合焦度との間に与える関係（特性カーブ）は、図７に示すようにピークを有している。この特性カーブの形状自体は、フィルタ処理回路１５が予め記憶したとおりであるが、この特性カーブのピーク位置Ｓ１は、指定合焦距離に相当する位置に設定され、この特性カーブのピーク幅Ｄ１は、指定被写界深度に相当する幅に設定される。なお、この特性カーブのピーク高さは、最大の合焦度（ぼかし量ゼロ）に相当する高さに設定される（図７参照）。

したがって、本ステップで作成されるボケフィルタには、被写界深度が指定被写界深度に設定され、かつ、合焦距離が指定合焦距離に設定された仮想撮影レンズのボケ味が反映されたことになる。

ステップＳ１８−３：フィルタ処理回路１５は、ステップＳ１８−２で作成したボケフィルタによりディープフォーカス画像へボケフィルタ処理を施し、ぼかし画像を作成する。ぼかし画像の作成が完了すると、フィルタ処理回路１５は、ボケフィルタ処理の完了通知と共に、そのボケフィルタ処理で使用されたパラメータ（ピーク位置Ｓ１及びピーク幅Ｄ１）をＣＰＵ２１へ与える。これを受けたＣＰＵ２１は、図５のフローへ復帰する。

ステップＳ１９：ＣＰＵ２１は、作成されたぼかし画像に対して表示用の間引き処理（画像処理回路１４によるサイズ縮小処理）を施してから、表示制御回路１６の表示用メモリへ書き込み、内部モニタ１７上に所定期間だけ確認表示する。これによってユーザは、ぼかし画像の確認をすることができる。

なお、ここで確認表示されるぼかし画像は、ディープフォーカス画像から作成された仮想画像であるが、レリーズボタンの半押し時点でユーザが意図していた画像と同様の被写界深度及び合焦距離を有している。例えば、レリーズボタンの半押し時点で撮影レンズ２の被写界深度が浅く設定されており、かつ、電子カメラ１のＡＦエリアＦＡ１が図８に示すとおり画面中央の人物上に位置していたとすると、ぼかし画像では、図９に示すとおり、その人物及びそれと等距離に位置していた各物体にピントが合い、その人物とは異なる距離に位置していた各物体はぼけることになる。

また、本ステップのＣＰＵ２１は、作成されたぼかし画像をデータ圧縮してＪＰＥＧファイルを作成すると共に、そのボケフィルタ処理で使用されたパラメータ（ピーク位置Ｓ１及びピーク幅Ｄ１）をそのＪＰＥＧファイルに付与してから、カードメモリ２０へ書き込み、フローを終了する。これによって、ぼかし画像が保存されたことになる。

以上、本実施形態の特殊撮影モードでは、ディープフォーカス画像が距離分布と共に保存される。このような距離分布付きのディープフォーカス画像は、その情報量は画像２枚分の情報量に過ぎないにも拘わらず、ボケ味が可変の電子ぼかし処理を可能とする有意な情報である。

また、本実施形態の特殊撮影モードでは、ディープフォーカス画像の電子ぼかし処理を撮影直後に実行する。

そのボケフィルタ処理のパラメータ（ピーク位置Ｓ１及びピーク幅Ｄ１）は、レリーズボタンの半押し時点における指定被写界深度及び指定合焦距離に応じて設定される。

しかも、その際、指定被写界深度については、半押し時点における指定絞り値及び指定ズーム位置から自動的に認識され、指定合焦点距離については、半押し時点におけるＡＦエリアから自動的に認識されるので、ユーザによる特殊な操作は不要である。

したがって、本実施形態の電子カメラ１のユーザは、ボケ味が可変の電子ぼかし処理に好適な情報（距離分布付きのディープフォーカス画像）と、ユーザの意図したボケ味を有するぼかし画像との双方を、通常の撮影と同様の操作のみで取得することができる。

図１０は、再生モードにおけるＣＰＵ２１の動作フローチャートであり、図１１は、図１０における第２の電子ぼかし処理のサブルーチンである。以下、各ステップを順に説明する。なお、ここでは簡単のため、電子カメラ１のＲＡＷ再生の機能（ＲＡＷ画像ファイルを再生する機能）はオフされているものとする。

ステップＳ３０：ＣＰＵ２１は、カードインタフェース１９を介してカードメモリ２０を参照し、カードメモリ２０に格納されているＪＰＥＧファイルの一覧表示を行うべく、一覧表示用の画像を作成して表示制御回路１６の表示用メモリへ書き込む。これによってユーザは、再生可能な１又は複数のＪＰＥＧファイルを確認し、任意の１つのＪＰＥＧファイルを電子カメラ１へ指定することができる。

ステップＳ３１：ＣＰＵ２１は、ＪＰＥＧファイルが指定されたか否かを入力器２３を介して判別し、指定された場合にはステップＳ３２へ移行する。

ステップＳ３２：ＣＰＵ２１は、ユーザが指定したＪＰＥＧファイル（指定ＪＰＥＧファイル）を参照し、指定ＪＰＥＧファイルに距離分布が付与されているか否か（指定されたＪＰＥＧファイルが距離分布付きのディープフォーカス画像のファイルであるか）を判別し、付与されていなかった場合はステップＳ３３へ移行し、付与されていた場合はステップＳ３４へ移行する。

ステップＳ３３：ＣＰＵ２１は、指定ＪＰＥＧファイルの画像を再生表示し、フローを終了する。すなわち、ＣＰＵ２１は、その画像に対して圧縮・伸張回路１８によるデータ伸張処理を施してから、バッファメモリ１３へ書き込むと共に、その画像に対して表示用の間引き処理（画像処理回路１４によるサイズ縮小処理）を施してから、表示制御回路１６の表示用メモリへ書き込み、フローを終了する。これによってユーザは、指定ＪＰＥＧファイルの画像の詳細を内部モニタ１７上で確認することができる。

ステップＳ３４：ＣＰＵ２１は、指定ＪＰＥＧファイルの画像（ここではディープフォーカス画像）を再生表示する。なお、画像を再生表示する手順は、ステップＳ３３におけるそれ同じである。

但し、本ステップのＣＰＵ２１は、図１２に示すとおり、再生表示中の画像Ｉと共に、所定のＧＵＩ画像である調整バーＢ及びカーソルＣ２を内部モニタ１７上に表示する（図１２参照）。これらのＧＵＩ画像の表示も、表示制御回路１６を介して行われる。

図１２に示す調整バーＢは、再生表示中の画像Ｉに関する被写界深度をユーザが任意に調整するためのバーである。但し、ここでいう被写界深度は、撮影レンズ２の実際の被写界深度ではなく、第２の電子ぼかし処理（後述）で想定される仮想撮影レンズの被写界深度のことである。よって、調整バーＢの調節範囲の最深値は、撮影レンズ２が実際に設定可能な最深の被写界深度に対応付けられているが、その調整範囲の最浅値は、撮影レンズ２が実際に設定可能な最浅の被写界深度より浅い値に対応付けられているものとする。表示開始当初、調整バーＢの調整位置は、最深値（ｄｅｅｐ側）に設定されるものとする。

図１２に示すカーソルＣ２は、再生表示中の画像Ｉ上で任意サイズ・任意位置の合焦エリア（ここでは矩形状の合焦エリア）をユーザが描画するためのカーソルである。このカーソルＣ２によって描画される合焦エリア（指定合焦エリア）は、撮影レンズ２の実際の合焦エリアではなく、第２の電子ぼかし処理（後述）で想定される仮想撮影レンズの合焦エリアのことである。表示開始当初、カーソルＣ２は、何れのエリアをも描画していないものとする。

ステップＳ３５：ＣＰＵ２１は、調整バーＢによる被写界深度の指定と、カーソルＣ２による合焦エリアの描画との少なくとも一方が行われたか否かを判別し、行われた場合には、現時点における指定被写界深度及び指定合焦エリアを参照してステップＳ３６へ移行する。

ステップＳ３６：ＣＰＵ２１は、第２の電子ぼかし処理のサブルーチンを呼び出す。

ステップＳ３６−１：ＣＰＵ２１は、指定合焦エリアを指定合焦距離に換算する。ここでいう指定合焦距離は、指定合焦エリアに写っている物体の平均距離のことである。よって、ＣＰＵ２１は指定ＪＰＥＧファイルに付与されていた距離分布のうち、指定合焦エリアに対応する距離分布を抽出し、抽出された距離分布の平均距離を指定合焦距離として算出すればよい。

ステップＳ３６−２：ＣＰＵ２１は、ステップＳ３６−１で算出した指定合焦距離と、上述した指定被写界深度と、指定ＪＰＥＧファイルに付与されていた距離分布とをフィルタ処理回路１５に与え、フィルタ処理を開始させる。

フィルタ処理回路１５は、ＣＰＵ２１から与えられた指定被写界深度と指定合焦距離と距離分布とに基づき、ボケフィルタ処理で各画素に適用されるボケフィルタを次のとおり作成する。すなわち、フィルタ処理回路１５は、各画素に適用されるボケフィルタの合焦度（ぼかし量の小ささ）を、そのボケフィルタの適用先となる画素に写っている物体の距離（距離分布のうちその画素に対応する距離）に依存させる。ここで、フィルタ処理回路１５が距離と合焦度との間に与える関係（特性カーブ）は、図１３に示すようにピークを有している。この特性カーブの形状自体は、フィルタ処理回路１５が予め記憶したとおりであるが、この特性カーブのピーク位置Ｓ２は、指定合焦距離に相当する位置に設定され、この特性カーブのピーク幅Ｄ２は、指定被写界深度に相当する幅に設定される。なお、この特性カーブのピーク高さは、最大の合焦度（ぼかし量ゼロ）に相当する高さに設定される（図１３参照）。

したがって、本ステップで作成されるボケフィルタには、被写界深度が指定被写界深度に設定され、かつ合焦距離が指定合焦距離に設定された仮想撮影レンズのボケ味が反映されたことになる。

ステップＳ３６−３：フィルタ処理回路１５は、ステップＳ３６−２で作成したボケフィルタによりディープフォーカス画像へボケフィルタ処理を施し、ぼかし画像を作成する。但し、本ステップのフィルタ処理回路１５は、第２の電子ぼかし処理が再実行されることを想定し、処理前の画像（ディープフォーカス画像）をバッファメモリ１３から消去せずに保持し続けるものとする。そして、ぼかし画像の作成が完了すると、フィルタ処理回路１５は、ボケフィルタ処理の完了通知と共に、ボケフィルタ処理で使用されたパラメータ（ピーク位置Ｓ２及びピーク幅Ｄ２）をＣＰＵ２１へ与える。これを受けたＣＰＵ２１は、図９のフローへ復帰する。

ステップＳ３７：ＣＰＵ２１は、作成されたぼかし画像を、その時点で再生表示中であった画像の代わりに内部モニタ１７上に再生表示する。これによって、再生表示中の画像Ｉが更新されたことになる。

なお、更新後の画像Ｉは、ディープフォーカス画像から作成された仮想画像であるが、再生画面上でユーザが指定したボケ味（被写界深度及び合焦距離）を有している。例えば、図１４に示すとおり、ユーザが調整バーＢを浅い側（ｓｈａｌｌｏｗ側）に設定し、画面右側に位置する人物上に合焦エリアＦＡ２を描画したとすると、更新後の画像Ｉでは、図１４に示すとおり、その人物及びそれと等距離に位置していた各物体にピントが合い、その人物とは異なる距離に位置していた各物体はぼけることになる。

なお、ユーザは、再生表示中の画像Ｉの被写界深度に不満があれば調整バーＢの調整位置を変更し、再生表示中の画像Ｉの合焦距離に不満があれば合焦エリアＦＡ２を再描画すればよい。つまり、ユーザは、パラメータ（ピーク位置Ｓ２及びピーク幅Ｄ２）を変更しながら第２のぼかし処理を何度でも電子カメラ１に実行させることができる。

ステップＳ３８：ＣＰＵ２１は、入力器２３を介してユーザから保存指示が入力されたか否かを判別し、保存指示が入力されていない場合はステップＳ３５に戻り、入力された場合はステップＳ３９へ移行する。

ステップＳ３９：ＣＰＵ２１は、現時点で再生表示されている画像（表示用の間引き処理前の画像）をデータ圧縮してＪＰＥＧファイルを作成すると共に、直前のボケフィルタ処理で使用されたパラメータ（ピーク位置Ｓ２及びピーク幅Ｓ２）をそのＪＰＥＧファイルに付与してから、カードメモリ２０へ書き込み、フローを終了する。これによって、ぼかし画像が保存されたことになる。

以上、本実施形態の再生モードでは、ユーザの指定した画像が距離分布付きのディープフォーカス画像であった場合には、ボケ味が可変の電子ぼかし処理をディープフォーカス画像へ施す。

そのボケフィルタ処理のパラメータ（ピーク位置Ｓ２及びピーク幅Ｄ２）は、ユーザが再生画面上で指定した指定被写界深度及び指定合焦距離に応じて設定される。

しかも、その際、指定合焦点距離については、再生画面上で描画された合焦エリアから自動的に認識されるので、ユーザによる具体的な距離指定は不要である。

したがって、本実施形態の電子カメラ１のユーザは、ユーザの意図したボケ味を有するぼかし画像を、再生画面上の直感的な操作のみで取得することができる。

［実施形態の補足］
なお、上述した実施形態の特殊撮影モードでは、撮影時に必ずぼかし画像が作成・保存されたが、その作成・保存の処理（ステップＳ１８、Ｓ１９）の実行の有無を、ユーザが電子カメラ１へ予め指定できるようにしてもよい。

また、上述した実施形態の特殊撮影モード又は再生モードでは、距離分布付きのディープフォーカス画像と、そのディープフォーカス画像から作成されたぼかし画像とを別々に保存したが、両者を互いに関連づけて保存してもよい。例えば、両者を同一のファイルに保存してもよい（その場合は、距離分布付きのディープフォーカス画像に対して１又は複数枚のぼかし画像が付与されることになる。）。

また、その場合の再生モードにおいて、少なくとも１つのぼかし画像が関連付けられたディープフォーカス画像が再生対象として指定された場合には、そのディープフォーカス画像を再生表示する代わりに、それに関連付けられたぼかし画像の１つを再生表示してもよい。

また、上述した実施形態の再生モードでは、ユーザが指定可能な合焦エリアＦＡ２の形状を矩形としたが（図１４参照）、矩形以外の形状（楕円形など）としてもよい。また、合焦エリアＦＡ２の形状をユーザが自由に変更できるようにしてもよい。また、面積を有した合焦エリアＦＡをユーザに指定させる代わりに、面積を有しない合焦エリア（合焦ポイント）をユーザに指定させてもよい。

また、上述した実施形態の再生モードでは、ユーザが１度に指定可能な合焦エリアの個数を１としたが、２以上の複数としてもよい。例えば図１５に示すとおり２つの合焦エリアＦＡ３、ＦＡ４が指定された場合、ボケフィルタ処理の特性カーブは、例えば図１６に示すとおり、合焦エリアＦＡ３に写っている物体（手前の植物）の距離Ｓ３と、合焦エリアＦＡ４に写っている物体（右の人物）の距離Ｓ４との各々にピークを有した特性カーブとなる。その場合、例えば図１７に示すようなぼかし画像が作成される。このぼかし画像では、手前の植物及びそれと等距離に位置していた各物体にピントが合い、右の人物及びそれと等距離に位置していた各物体にピントが合い、その植物及びその人物の何れとも異なる距離に位置していた各物体は、ぼけることになる。

また、ユーザが１度に指定可能な合焦エリアの個数が複数である場合は、被写界深度（すなわち特性カーブのピーク幅Ｄ）をエリア毎にユーザが調節できるようにしてもよい。

また、上述した実施形態の再生モードでは、ボケフィルタ処理の特性カーブの形状を予め決められた形状とし、その特性カーブのピーク位置及びピーク幅のみをユーザに変更させたが、特性カーブの形状自体をユーザに変更させてもよい。

また、上述した実施形態の特殊撮影モードでは、フォーカス制御が自動で行われ（ＡＦ制御）、露出制御が自動で行われた（ＡＥ制御）が、フォーカス制御及び露出制御の少なくとも一方が手動で行われても構わない。また、その露出制御は、半自動（絞り優先ＡＥ、シャッター速度優先ＡＥなど）で行われても良い。

また、上述した実施形態は、電子カメラの実施形態であったが、再生モードにおける電子カメラの動作を、電子カメラとは別体で設けられた画像処理装置、例えば、電子フォトフレーム、プリンタ、コンピュータなどに実行させてもよい。また、その動作を汎用コンピュータに実行させる場合は、その動作のコンピュータプログラムが通信網又は記憶媒体を介してコンピュータへインストールされることになる。

１…電子カメラ、１１…撮像素子、１２…信号処理回路、１３…バッファメモリ、１４…画像処理回路、１５…フィルタ処理回路、１６…表示制御回路、１７…内部モニタ、１８…圧縮・伸張回路、１９…カードインタフェース、２１…ＣＰＵ、２２…撮像回路、２３…入力器、２４…外部接続端子、３０…距離分布センサ

Claims (7)

1. 撮影光学系の被写界深度及び合焦距離の組み合わせを、予め決められたディープフォーカス用の組み合わせに設定する設定手段と、
   設定された前記組み合わせの下で前記撮影光学系が被写界を投影して形成した画像である実画像を取得する撮像手段と、
   前記実画像の取得元となった前記被写界の距離分布を測定する測定手段と、
   前記実画像に対して前記距離分布を対応付けたものを、前記被写界の撮影データとして記録する記録手段と
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   仮想撮影光学系の被写界深度及び合焦距離の組み合わせをユーザに指定させるインタフェース手段と、
   指定された前記組み合わせの下で前記仮想撮影光学系が前記被写界を投影した場合に形成される画像である仮想画像を前記撮影データに基づき作成する作成手段と
   を備えたことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記インタフェース手段は、
   前記被写界深度を前記ユーザに指定させる代わりに前記仮想撮影光学系の絞り値及びズーム位置の組み合わせを指定させ、指定された前記組み合わせを前記仮想撮影光学系の被写界深度に換算し、換算された被写界深度を前記ユーザが指定した被写界深度とみなす
   ことを特徴とする撮像装置。
4. 請求項２又は請求項３に記載の撮像装置において、
   前記インタフェース手段は、
   前記合焦距離を前記ユーザに指定させる代わりに前記被写界内の合焦対象を前記ユーザに指定させ、指定された合焦対象の距離を前記距離分布に基づき算出し、算出された距離を前記ユーザが指定した合焦距離とみなす
   ことを特徴とする撮像装置。
5. 請求項１〜請求項４の何れか一項に記載の撮像装置が記録した前記撮影データを入力するデータ入力手段と、
   仮想撮影光学系の被写界深度及び合焦距離の組み合わせをユーザに指定させるインタフェース手段と、
   指定された前記組み合わせの下で前記仮想撮影光学系が前記被写界を投影した場合に形成される画像である仮想画像を前記撮影データに基づき作成する作成手段と
   を備えたことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記インタフェース手段は、
   前記合焦距離を前記ユーザに指定させる代わりに前記被写界内の合焦対象を前記ユーザに指定させ、指定された合焦対象の距離を前記距離分布に基づき算出し、算出された距離を前記ユーザが指定した合焦距離とみなす
   ことを特徴とする画像処理装置。
7. 請求項１〜請求項４の何れか一項に記載の撮像装置が記録した前記撮影データを入力するデータ入力手順と、
   仮想撮影光学系の被写界深度及び合焦距離の組み合わせをユーザに指定させるインタフェース手順と、
   指定された前記組み合わせの下で前記仮想撮影光学系が前記被写界を投影した場合に形成される画像である仮想画像を前記撮影データに基づき作成する作成手順と
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images