JP2013026814A - 撮像装置、画像処理プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】 被写界深度を浅くして撮影したような画像を容易に取得することを目的とする。
【解決手段】 第１画像を取得する撮像部と、撮像部により取得された第１画像に対してローパスフィルタ処理を施し、第２画像を生成する処理部と、撮像部により取得された第１画像から、合焦領域の位置を判定する合焦位置判定部と、合焦位置判定部により判定された合焦領域の位置に基づいて、第１画像と第２画像とを合成するときの、第１画像の各画素と該第１画像の各画素に対応する第２画像の各画素とを混合する割合を画素毎に算出する算出部と、第１画像の各画素と、該第１画像の各画素に対応する第２画像の各画素とを算出部により画素毎に算出された割合を用いて混合することで、第１画像と前記第２画像とを合成する合成部とを備えたことを特徴とする。
【選択図】 図１

Description

本発明は、撮像装置、画像処理プログラム、及び記憶媒体に関する。

従来から、ポートレート撮影においては、被写界深度を浅くして意図的に前景や背景の領域をぼかし、主要被写体を浮かび上がらせる写真表現が好まれている。ところが、コンパクトデジタルカメラ等の撮像装置は、用いられる撮像素子の大きさや絞りの構成などに起因して、上記のような写真表現を苦手とすることが多い。このため、画像に含まれる被写体領域以外の領域（背景領域）に対して平滑化処理を施すことで、背景をぼかし主要被写体を浮かび上がらせた画像、言い換えれば擬似的に被写体深度が浅い画像を取得する撮像装置が提案されている（特許文献１参照）。

特開２００９−２７２９８号公報

この特許文献１では、背景領域に対して一律のぼけ量となるように平滑化処理を行う、又は背景領域を距離に応じて複数の領域に分割し、分割された複数の領域毎に距離に応じたぼけ量となるように各領域に対する平滑化処理を行っている。しかしながら、平滑化処理により背景領域を一律にぼかした画像の場合、平滑化処理を施した背景領域と、平滑化処理を施さない被写体領域との鮮鋭度の差が大きく、違和感を生じる画像となりやすい。また、背景領域の各領域を距離に応じてぼかした画像の場合、領域毎にぼけ量が異なることから、背景領域を一律にぼかした画像よりも違和感を与えない画像となるが、上述した鮮鋭度の差が、背景領域を分割した複数の領域のうち、隣り合う領域との境界にも発生することから、結果的に、鮮鋭度の荒さが目立ち、違和感を与えてしまう。

そこで、本発明は、鮮鋭度の荒さを抑制した被写体深度が浅い画像を擬似的に取得することができるようにした撮像装置、画像処理プログラム、及び記憶媒体を提供することを目的とする。

本発明の撮像装置は、第１画像を取得する撮像部と、前記撮像部により取得された前記第１画像に対してローパスフィルタ処理を施し、第２画像を生成する処理部と、前記撮像部により取得された前記第１画像から、合焦領域の位置を判定する合焦位置判定部と、前記合焦位置判定部により判定された前記合焦領域の位置に基づいて、前記第１画像と前記第２画像とを合成するときの、前記第１画像の各画素と該第１画像の各画素に対応する前記第２画像の各画素とを混合する割合を画素毎に算出する算出部と、前記第１画像の各画素と、該第１画像の各画素に対応する前記第２画像の各画素とを前記算出部により画素毎に算出された前記割合を用いて混合することで、前記第１画像と前記第２画像とを合成する合成部とを備える。

本発明の画像処理プログラムは、第１画像に対してローパスフィルタ処理を施し、第２画像を生成する処理工程と、前記第１画像から、合焦領域の位置を判定する合焦位置判定工程と、前記合焦位置判定工程により判定された前記合焦領域の位置に基づいて、前記第１画像と前記第２画像とを合成するときの、前記第１画像の各画素と該第１画像の各画素に対応する前記第２画像の各画素とを混合する割合を画素毎に算出する算出工程と、前記第１画像の各画素と、該第１画像の各画素に対応する前記第２画像の各画素とを前記算出部により画素毎に算出された前記割合を用いて混合することで、前記第１画像と前記第２画像とを合成する合成工程とを備える。

本発明の撮像装置、画像処理プログラム、及び記憶媒体によれば、鮮鋭度の荒さを抑制した被写体深度が浅い画像を擬似的に取得することができる。

本発明の第１実施形態における撮像装置１０の構成を示すブロック図である。 ３行３列のローパスフィルタの一例を示す図である。 （Ａ）は、合焦領域の位置を示す図、（Ｂ）は、図３（Ａ）の「５」の領域を合焦領域とする場合における、Ｍ_ｘｙとｘとの関係の例を示す図、（Ｃ）は、「５」の領域を合焦領域とする場合における画像Ｐ’の透過度合いの例を示す図である。 第１実施形態における撮影時の流れを説明するフローチャートである。 第２実施形態の撮像装置１０の構成を示すブロック図である。 （Ａ）は、撮像装置１０の姿勢が横位置である例を示す図、（Ｂ）は、撮像装置１０の姿勢が右側を上にした縦位置である例を示す図、（Ｃ）は、撮像装置１０の姿勢が左側を上にした縦位置である例を示す図である。 （Ａ）は、画像Ｐの例を示す図、（Ｂ）は、合焦領域の位置を示す図、（Ｃ）は、「５」及び「８」の領域を合焦領域とする場合における画像Ｐ’の透過度合いの例を示す図、（Ｄ）は、合成した画像Ｐ”の例を示す図である。

（第１実施形態）
以下、図面を用いて本発明の第１実施形態について説明する。図１は、本発明の第１実施形態における撮像装置１０の構成を示すブロック図である。

図１に示すように、撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、メモリ１７、記録Ｉ／Ｆ部１８、記録媒体１９、操作部２０、制御部２１、バス２２を備える。

撮像レンズ１１は、撮像素子１２の結像面に被写体像を結像する。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮影モードの待機状態において、制御部２１の制御により、撮像素子１２は、１フレームに対応するアナログ画像信号を所定間隔毎に逐次撮像してＡ／Ｄ変換部１３に入力する。Ａ／Ｄ変換部１３は、この出力された１フレームに対応するアナログ画像信号をデジタル画像信号に逐次変換する。制御部２１は、このデジタル画像信号を１フレームの画像データとしてバッファメモリ１４に逐次記録する。本実施形態では、このようにして逐次バッファメモリ１４に記録（取得）される画像をスルー画像と呼ぶ。その後、後述するレリーズ釦２６が全押しされると、撮像素子１２により、記録用の画像である１フレームの画像Ｐが取得される。

以下、画像Ｐとして、静止画像を例に挙げて説明する。この画像Ｐを取得する場合も、スルー画像と同様にして、撮像素子１２は、１フレームに対応するアナログ画像信号を出力する。このアナログ画像信号はＡ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力される１フレームに対応するアナログ画像信号をデジタル画像信号に変換する。なお、このデジタル画像信号は、記録用の画像データとしてバッファメモリ１４に記録される。

バッファメモリ１４は、後述する画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。また、バッファメモリ１４は、各種演算結果、及び、各種演算に使用する代入値を一時的に記憶する。

画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知の解像度変換処理、ホワイトバランス調整、明るさ調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部１５は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。

また、画像処理部１５は、ローパスフィルタ処理部２３、算出部２４、合成部２５を備える。ローパスフィルタ処理部２３は、画像Ｐに対してローパスフィルタ処理を施し、画像Ｐ’を生成する。

以下、ローパスフィルタ処理部２３におけるローパスフィルタ処理について説明する。なお、画像処理部１５に入力される画像データは、輝度及び色差からなるＹＣｂＣｒデータである。つまり、画像Ｐの各画素の画素情報は、Ｙ，Ｃｒ，Ｃｂの情報となる。また、画像処理部１５に入力される画像Ｐは、ｍ×ｎ画素（例えば４２００×２８００など）を有している。

このローパスフィルタ処理は、入力される画像データに対して、図２に示す３行３列のローパスフィルタを用いて実行される。なお、図２に示すＫ０、Ｋ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、Ｋ６、Ｋ７、Ｋ８は、それぞれ係数である。これら係数は、例えばＫ０＝Ｋ１＝Ｋ２＝Ｋ６＝Ｋ７＝Ｋ８＝１８／２５６、Ｋ３＝４９／２５６，Ｋ４＝５０／２５６，Ｋ５＝４９／２５６の値を有している。なお、ローパスフィルタのサイズやローパスフィルタに用いる各係数の値は一例であり、これらに限定されるものではない。

ここで、ローパスフィルタ処理前の画素の値をＹ（ｘ、ｙ），Ｃｒ（ｘ、ｙ），Ｃｂ（ｘ、ｙ）とし、ローパスフィルタ処理後の画素の値をＹ’（ｘ、ｙ），Ｃｒ’（ｘ、ｙ），Ｃｂ’（ｘ、ｙ）とした場合を考慮する。例えば、ローパスフィルタ処理後の画素の値Ｙ’（ｘ、ｙ）は、以下の式（１）によって求められる。なお、ｘは横座標、ｙは縦座標である。また、関数Roundは、小数点以下第一位を四捨五入し、整数値を算出する行う関数である。なお、以下の式（１）〜（３）を用いて、１フレームの画像の各画素毎に出力値を算出し、１フレームの画像の全画素に対して出力値を算出する。ここでは、画像Ｐの各画素に対してＹ’、Ｃｂ’、Ｃｒ’の値を算出し、画像Ｐの全画素に対してＹ’、Ｃｂ’、Ｃｒ’の値を算出する。

Ｙ’(ｘ，ｙ)＝Round［{Ｋ０×Ｙ（ｘ−１，ｙ−１）＋Ｋ１×Ｙ（ｘ，ｙ−１）＋Ｋ２×Ｙ（ｘ＋１，ｙ−１）＋Ｋ３×Ｙ（ｘ−１，ｙ）＋Ｋ４×Ｙ（ｘ，ｙ）＋Ｋ５×Ｙ（ｘ＋１，ｙ）＋Ｋ６×Ｙ（ｘ−１，ｙ＋１）＋Ｋ７×Ｙ（ｘ，ｙ＋１）＋Ｋ８×Ｙ（ｘ＋１，ｙ＋１）}］・・・（１）
同様にして、ローパスフィルタ処理後の画素の値Ｃｒ’（ｘ、ｙ）は、以下の式（２）によって求められる。

Ｃｂ’(ｘ，ｙ)＝Round［{Ｋ０×Ｃｂ（ｘ−１，ｙ−１）＋Ｋ１×Ｃｂ（ｘ，ｙ−１）＋Ｋ２×Ｃｂ（ｘ＋１，ｙ−１）＋Ｋ３×Ｃｂ（ｘ−１，ｙ）＋Ｋ４×Ｃｂ（ｘ，ｙ）＋Ｋ５×Ｃｂ（ｘ＋１，ｙ）＋Ｋ６×Ｃｂ（ｘ−１，ｙ＋１）＋Ｋ７×Ｃｂ（ｘ，ｙ＋１）＋Ｋ８×Ｃｂ（ｘ＋１，ｙ＋１）}］・・・（２）
さらに、ローパスフィルタ処理後の画素の値Ｃｂ’（ｘ、ｙ）は、以下の式（３）によって求められる。

Ｃｒ’(ｘ，ｙ)＝Round［{Ｋ０×Ｃｒ（ｘ−１，ｙ−１）＋Ｋ１×Ｃｒ（ｘ，ｙ−１）＋Ｋ２×Ｃｒ（ｘ＋１，ｙ−１）＋Ｋ３×Ｃｒ（ｘ−１，ｙ）＋Ｋ４×Ｃｒ（ｘ，ｙ）＋Ｋ５×Ｃｒ（ｘ＋１，ｙ）＋Ｋ６×Ｃｒ（ｘ−１，ｙ＋１）＋Ｋ７×Ｃｒ（ｘ，ｙ＋１）＋Ｋ８×Ｃｒ（ｘ＋１，ｙ＋１）}］・・・（３）
上述した式（１）〜式（３）を用いることで、ローパスフィルタ処理が全画素に対して施された画像データが生成される。すなわち、この画像データは画像Ｐの全画素に対応するＹ’、Ｃｂ’、Ｃｒ’の値を有する画像データであり、この画像データを画像Ｐ’とする。

算出部２４は、制御部２１から送信された合焦領域の位置の判定結果に基づいて、下記の（４）式により、合焦領域に含まれる画素における画像Ｐ’の透過度合いが最も低くなり、合焦領域を中心に放射線状に（合成焦点領域から遠いほど）画像Ｐ’の透過度合いが高くなるような透過度合いＭｘｙを算出する。なお、Ｍ_ｘｙは、０≦Ｍ_ｘｙ≦１とする。

Ｍ_ｘｙ＝ｈ×（ｆ×（ｘ−ｘ_０）×ｋ_１＋ｇ×（ｙ−ｙ_０）×ｋ_２）×ｋ_３・・・（４）
そして、算出部２４は、算出した透過度合いを示す情報を、画素位置毎に該画素位置に対応付けてまとめたマップデータを生成する。なお、ｘは横座標、ｙは縦座標を示し、ｘ_０は合焦領域の中心に位置する画素の横座標、ｙ_０は合焦領域の中心に位置する画素の縦座標を示す。また、ｈ、ｆ、ｇ、ｋ_１、ｋ_２、ｋ_３は、係数であり、ｋ_１、ｋ_２については、合焦領域のアスペクト比に応じて切り替える。

図３（Ａ）は、合焦領域の位置を示す図である。図３（Ａ）に示すように、９つの合焦領域（符号１〜９）は、３つずつ、それぞれ水平方向（図中左右方向）に、且つ所定の間隔を空けて配置されている。例えば、図３（Ａ）の「５」の領域が合焦領域である場合、算出部２４は、「５」の領域の中心に位置する画素の座標を（ｘ_０，ｙ_０）とする。ｘ＝ｘ_０のときに、Ｍ_ｘｙは最も低い値となり、ｘがｘ_０から離れるにつれて、Ｍ_ｘｙは高い値となる。また、この場合、合焦領域のアスペクト比は、縦：横＝１：１となるため、算出部２４は、例えば（４）式には、ｋ_１＝１、ｋ_２＝１が代入される。図３（Ａ）の「５」の領域を合焦領域とする場合における、Ｍ_ｘｙとｘとの関係の例を図３（Ｂ）に模式的に示す。例えば図３（Ｂ）は、画像Ｐ’におけるｘ＝ｘ_０の水平方向の透明度合いを示しており、マップデータからｙ＝ｙ_０の透明度合いを示す情報（Ｍ_ｘ０）を抽出して、Ｍ_ｘ０をｘに対してプロットした形状を模式的に示している。図３（Ｃ）は、「５」の領域を合焦領域とする場合における画像Ｐ’の透過度合いを示しており、マップデータを模式化した図である。図３（Ｃ）に示すように、画像Ｐ’の透過度合いは、白色の領域Ｒ_１が最も低くなり、画像Ｐに対する画像Ｐ’の影響は最も小さくなる。また、画像Ｐ’の透過度合いは、斜線の領域Ｒ_２、斜線の領域Ｒ_３の順に高くなり、画像Ｐに対する画像Ｐ’の影響は大きくなる。

合成部２５は、算出部２４により生成されたマップデータを用いて、画像Ｐの各画素と画像Ｐ’の各画素とを透過度合いＭ_ｘｙに応じて足し合わせる（混合する）ことで、画像Ｐと画像Ｐ’とを合成する。なお、このアルファブレンド処理を用いて合成された画像における各画素の値Ｙ”（ｘ，ｙ）は、以下の（５）式によって求められる。

Ｙ”(ｘ，ｙ)＝Round［Ｙ（ｘ，ｙ）×（１−Ｍ_ｘｙ）}＋Ｙ’（ｘ，ｙ）×Ｍ_ｘｙ］・・・（５）
同様にして、各画素の値Ｃｂ”（ｘ，ｙ）は、以下の（６）式によって求められる。

Ｃｂ”(ｘ，ｙ)＝Round［Ｃｂ（ｘ，ｙ）×（１−Ｍ_ｘｙ）＋Ｃｂ’（ｘ，ｙ）×Ｍ_ｘｙ）］・・・（６）
また、各画素の値Ｃｒ”（ｘ，ｙ）は、以下の（７）式によって求められる。

Ｃｒ”(ｘ，ｙ)＝Round［Ｃｒ（ｘ，ｙ）×（１−Ｍ_ｘｙ）＋Ｃｒ’（ｘ，ｙ）×Ｍ_ｘｙ］・・・（７）
関数Roundは、１フレームの画像の各画素毎に出力を算出し、１フレームの画像の全画素に対して出力を算出することを示している。ここでは、画像Ｐの各画素に対して、Ｙ”、Ｃｂ”、Ｃｒ”の値を算出し、画像Ｐの全画素に対してＹ”、Ｃｂ”、Ｃｒ”を算出することを示している。上述した式（５）〜式（７）を用いることで、アルファブレンド処理が全画素に対して施された画像データＰ”が生成される。図３（Ａ）に示す例では、合成した画像は、図３（Ｃ）に示す白色の領域Ｒ１に近い領域ほど鮮明な画像となる。

表示部１６は、各種の画像を表示する液晶ディスプレイである。表示部１６に表示される各種の画像は、スルー画像、画像Ｐ、画像Ｐと画像Ｐ’とをアルファブレンド処理により合成した画像、メニュー画像、記録媒体１９に記録された画像等である。メモリ１７は、撮像装置１０の各種動作制御のために、制御部２１や画像処理部１５が実行する各種プログラムなどを記憶している。なお、メモリ１７は、後述の図４のフローチャートに示す処理手順に対応するプログラムも記憶している。また、メモリ１７は、上述した式（１）から式（７）に対応する情報をそれぞれ記憶する。

記録Ｉ／Ｆ部１８は、記録媒体１９を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１８と記録媒体１９とが接続されることにより、記録媒体１９に対してデータの書き込み／読み出しが実行される。記憶媒体１９は、カード形状の不揮発性の記憶媒体で構成されるメモリーカードである。操作部２０は、レリーズ釦２６、十字キー２７等を有する。レリーズ釦２６は、その半押し操作時にＡＥ演算やＡＦ演算が実行される。また、レリーズ釦２６は、その全押し操作時に撮像に係る処理が行わる。十字キー２７は、上記のメニュー画像等で操作される。なお、レリーズ釦２６、十字キー２７の状態は制御部２１により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。

制御部２１は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行う。また、制御部２１は、撮影時に必要となる各種演算（ＡＦ演算、ＡＥ演算等）を実行するとともに、レリーズ釦２６の半押し操作時における合焦領域の位置を判定し、判定結果を算出部２４に送信する。また、制御部２１及び画像処理部１５は、バッファメモリ１４へ各種演算結果、及び、各種演算に使用する代入値を一時的に記憶させる制御と、バッファメモリ１４に記憶させた各種演算結果、及び各種演算件亜に使用する代入値を読み出す処理を実行する。

バス２２は、バッファメモリ１４、画像処理部１５、表示部１６、メモリ１７、記録Ｉ／Ｆ部１８、制御部２１を相互に接続され、データや信号を出入力する。

次に、図３のフローチャートを用いて、第１実施形態における撮影時の流れを説明する。なお、図３のフローチャートは、１つの領域を合焦領域とする画像Ｐを取得する場合を例に挙げて説明する。なお、制御部２１は、メモリ１７に記憶された図３のフローチャートに示す処理手順に対応するプログラムを読み出して実行する。

ステップＳ１０１は、レリーズ釦２６が半押しされたか否かを判定する処理である。制御部２１は、レリーズ釦２６が半押しされたと判定した場合（ステップＳ１０１の判定がＹＥＳとなる場合）には、ステップＳ１０２に進む。一方、制御部２１は、レリーズ釦２６が半押しされていないと判定した場合（ステップＳ１０１の判定がＮＯとなる場合）には、レリーズ釦２６が半押しされるまで待機する。

ステップＳ１０２は、ＡＥ、ＡＦ演算を行う処理である。制御部２１は、ＡＥ、ＡＦ演算を行う。

ステップＳ１０３は、レリーズ釦２６が全押しされたか否かを判定する処理である。制御部２１は、レリーズ釦２６が全押しされたと判定した場合（ステップＳ１０３の判定がＹＥＳとなる場合）には、ステップＳ１０４に進む。一方、制御部２１は、レリーズ釦２６が全押しされていないと判定した場合（ステップＳ１０３の判定がＮＯとなる場合）には、レリーズ釦２６が全押しされるまで待機する。

ステップＳ１０４は、レリーズ釦２６が半押しされた状態が継続されているか否かを判定する処理である。制御部２１は、レリーズ釦２６が半押しされていると判定した場合（ステップＳ１０４の判定がＹＥＳとなる場合）には、ステップＳ１０３に進む。一方、制御部２１は、レリーズ釦２６が半押しされていないと判定した場合（ステップＳ１０４の判定がＮＯとなる場合）には、ステップＳ１０１に移行する。

ステップＳ１０５は、画像Ｐを取得する処理である。制御部２１の指示により、撮像素子１２は、アナログ画像信号をＡ／Ｄ変換部１３に出力する。Ａ／Ｄ変換部１３は、入力されるアナログ画像信号をデジタル画像信号に変換し、バッファメモリ１４に出力する。バッファメモリ１４は、書き込まれるデジタル画像信号を画像データとして記憶する。

ステップＳ１０６は、ローパスフィルタ処理である。ローパスフィルタ処理部２３は、上述した式（１）〜式（３）を用いることで、画像Ｐの全画素に対するローパスフィルタ処理を施す。これにより、ローパスフィルタ処理後の画像Ｐ’が生成される。

ステップＳ１０７は、マップデータを生成する処理である。制御部２１は、ステップＳ１０２のレリーズ釦２６の半押し操作時における合焦領域の位置を判定し、判定結果を算出部２４に送信する。算出部２４は、制御部２１から送信された合焦領域の位置の判定結果に基づいて、上記の式（４）を用いて、アルファブレンド処理における画像Ｐの画素に対する画像Ｐ’の画素の透過度合いを画素毎に示すマップデータを生成する。

ステップＳ１０８は、アルファブレンド処理である。ステップＳ１０６において、画像Ｐの画素に対する画像Ｐ’の画素の透過度合いＭ_ｘｙを画素毎に示すマップデータが生成されている。制御部２１の指示により、合成部２５は、ステップＳ１０７で生成されたマップデータと、上述した式（５）〜式（７）を用いたアルファブレンド処理を実行する。このアルファブレンド処理により、画像Ｐと画像Ｐ’とを透明度合いＭ_ｘｙに応じて足し合わせた画像が生成される。

ステップＳ１０９は、アルファブレンド処理により合成した画像を表示する処理である。制御部２１は、ステップＳ１０８で画像Ｐと画像Ｐ’とを合成した画像を表示部１６に表示する。

ステップＳ１１０は、アルファブレンド処理により合成した画像を記録するか否かを判定する処理である。制御部２１は、十字キー２７を介してユーザから、合成した画像を記録するか否かの選択を受け付ける。制御部２１は、合成した画像を記録する選択を受け付けた場合（ステップＳ１１０の判定がＹＥＳとなる場合）には、ステップＳ１１１に進む。一方、制御部２１は、合成した画像を記録する選択を受け付けていない場合（ステップＳ１１０の判定がＮＯとなる場合）には、一連の処理を終了する。

ステップＳ１１１は、アルファブレンド処理により合成した画像を記録する処理である。制御部２１は、アルファブレンド処理により生成された画像を記録媒体１９に記録し、一連の処理を終了する。

以上説明したように、第１実施形態の撮像装置１０は、画像Ｐにローパスフィルタ処理を施した画像Ｐ’を生成した後、画像Ｐを取得する際の合焦領域の位置に基づいて、画像Ｐの画素に対する画像Ｐ’の画素の透過度合いＭ_ｘｙを画素毎に示すマップデータを生成する。その後、画像Ｐとローパスフィルタ処理を施した画像Ｐ’とを、マップデータを用いたアルファブレンド処理により合成する。

したがって、第１実施形態の撮像装置によれば、主要被写体が存在する合焦領域を除く領域に対して、合焦領域から離れるにしたがってぼけ量が大きくなるようにぼかすことから、鮮鋭度の荒さを抑制した、被写体深度が浅い画像を擬似的に取得することができる。
（第２実施形態）
第１実施形態では、画像Ｐを取得する際の合焦領域の位置に応じて、画像Ｐの画素に対する画像Ｐ’の画素の透過度合いＭ_ｘｙを画素毎に示すマップデータを生成する例を示した。第２実施形態では、合焦領域の位置の他に、画像Ｐに含まれる顔領域３０の位置、及び撮像装置１０の姿勢に応じて、画像Ｐの画素に対する画像Ｐ’の画素の透過度合いＭ_ｘｙを画素毎に示すマップデータを生成する例を示す。

図５は、第２実施形態の撮像装置１０の構成を示すブロック図である。第２実施形態の撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、メモリ１７、記録Ｉ／Ｆ部１８、記録媒体１９、操作部２０、制御部２１、バス２２、姿勢センサ２８を備える。図４に示すように、第２実施形態における撮像装置１０の主な構成は、画像処理部１５、算出部２４、姿勢センサ２８を除いて、図１に示す第１実施形態の撮像装置１０と共通するので、重複説明は省略する。

画像処理部１５は、顔検出部２９を備える。顔検出部２９は、画像Ｐから特徴点を抽出して顔領域３０を検出する。この顔領域３０の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。この特徴点抽出処理により、画像Ｐに含まれる顔領域３０が検出される。なお、顔領域３０は、検出された顔領域を含む矩形の領域である。

姿勢センサ２８は、重力加速度を検出するＭＥＭＳ（Micro Electro Mechanical Systems）型の姿勢センサである。姿勢センサ２８は、撮像装置１０の重力加速度方向に対する姿勢を検出し、検出した姿勢情報を制御部２１に出力する。撮像装置１０の姿勢としては、図６に示す（Ａ）横位置、（Ｂ）右側を上にした縦位置、（Ｃ）左側を上にした縦位置が挙げられる。

算出部２４は、まず、画像Ｐに含まれる顔領域３０の位置、及び撮像装置１０の姿勢に基づいて、顔領域３０の下に存在する体領域３１の位置を推定する。次に、算出部２４は、顔領域３０及び体領域３１を合焦領域として、第１実施形態と同様に、画像Ｐと画像Ｐ’とをアルファブレンド処理により合成するときの、画像Ｐの各画素に対する画像Ｐ’の各画素の透過度合い（透過率）を画素毎に算出し、これらをまとめたマップデータを生成する。

以下、図７（Ａ）に示す横位置で撮影された画像Ｐを例に挙げて説明する。この場合、顔検出部２９が検出した顔領域３０は、図７（Ｂ）の「５」の領域に位置し、体領域３１は、「５」の領域の下の「８」の領域にあると考えられる。そのため、算出部２４は、「８」の領域の焦点評価値を取得し、取得した焦点評価値が閾値以上である場合には、「８」の領域を体領域３１と推定する。

そして、算出部２４は、「５」及び「８」の領域を合焦領域とし、上述した（４）式に「５」及び「８」の領域の中心に位置する画素の横座標としてｘ_０、「５」及び「８」の領域の中心に位置する画素の縦座標としてｙ_０を代入して、マップデータを生成する。また、「５」及び「８」の領域を合焦領域とすることで、合焦領域のアスペクト比は、横：縦＝１：２となる。この値に応じて、例えば、算出部２４は、ｋ_１＝１／２、ｋ_２＝１を代入する。

図７（Ｃ）は、「５」及び「８」の領域を合焦領域とする場合における画像Ｐ’の透過度合いを示しており、マップデータを模式化した図である。図７（Ｃ）に示すように、画像Ｐ’の透過度合いは、白色の領域Ｒ_１が最も低くなり、画像Ｐに対する画像Ｐ’の影響は最も小さくなる。また、画像Ｐ’の透過度合いは、斜線の領域Ｒ_２、斜線の領域Ｒ_３の順に高くなり、画像Ｐに対する画像Ｐ’の影響は大きくなる。図７（Ｄ）は、図７（Ａ）の画像Ｐと、不図示の画像Ｐ’とをアルファブレンド処理により合成した画像Ｐ”の例を示す図である。図７（Ｄ）に示すように、合成した画像Ｐ”は、顔領域３０及び体領域３１の領域、すなわち主要被写体の領域を除く領域がぼかされ、主要被写体の領域が浮かび上がった画像となる。

なお、撮像装置１０の姿勢が（Ｂ）縦位置である場合には、算出部２４は、「４」の領域の焦点評価値を取得し、取得した「４」の領域の焦点評価値が閾値以上であると判定した場合には、「４」の領域を体領域３１と推定し、「４」及び「５」の領域を合焦領域として判定する。

以上説明したように、第２実施形態の撮像装置１０は、合焦領域の位置の他に、画像Ｐに含まれる顔領域３０の位置、及び撮像装置１０の姿勢に応じて、マップデータを生成する。

したがって、第２実施形態の撮像装置１０によれば、第１実施形態の撮像装置１０と同様の効果を得ることができる。また、第２実施形態の撮像装置１０によれば、顔領域３０及び体領域３１を除く領域をぼかすことができるため、ポートレート調の好ましい画像を生成することができる。

なお、第１実施形態及び第２実施形態では、１つの領域を合焦領域とする画像Ｐを例に挙げて説明したが、複数の領域を合焦領域とする画像Ｐにも本発明を適用することができる。この場合、合焦領域毎に分割した分割領域それぞれに対して、１つずつマップデータを生成してもよいし、複数の合焦領域を含むような１つのマップデータを生成してもよい。

また、第１実施形態及び第２実施形態では、静止画像である画像Ｐを用いて、被写界深度を浅くして撮影したような画像を生成する例を示したが、これに限らない。例えば、スルー画像や動画像にも本発明を適用することができる。この場合、合焦領域を浮かび上がらせることができるため、ユーザは主要被写体を認識しやすくなる。

また、第１実施形態では、ステップＳ１０２のレリーズ釦２６の半押し操作時における合焦領域の位置に基づいて、マップデータを生成する例を示したが、これに限らない。例えば、算出部２４は、ステップＳ１０５で取得した画像Ｐから合焦領域を検出し、検出した合焦領域の位置に基づいて、マップデータを生成する。

また、第１実施形態では、合焦領域の位置に基づいて、マップデータを生成する例を示したが、これに限らない。例えば、第１実施形態の撮像装置１０に、姿勢検出センサ２８を備える。そして、算出部２４は、第２実施形態と同様に、合焦領域と該合焦領域の下に存在する領域とを合わせた領域の位置に基づいて、マップデータを生成する。

また、第２実施形態では、姿勢センサ２８を用いて、顔領域３０の下に存在する体領域３１の位置を推定する例を示したが、これに限らない。例えば、顔検出部２９は、顔領域３０の位置及び顔領域３０の向きを検出する。そして、算出部２４は、顔検出部２９が検出した顔領域３０の向きに基づいて、顔領域３０の下に存在する体領域３１の位置を推定する。

また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、撮像機能を備える携帯電話機、デジタルフォトフレームなどの画像表示装置にも本発明を同様に適用することができる。さらに、図１の画像処理部１５、制御部２１に示す機能や、図３に示すフローチャートの流れをプログラムとしてコンピュータ読み取り可能な記憶媒体に記録し、該プログラムをコンピュータにて実行するようにしてもよい。

１０…撮像装置、１２…撮像素子、２１…制御部、２３…ローパスフィルタ処理部、２４…算出部、２５…合成部、２８…姿勢センサ、２９…顔検出部

Claims (10)

1. 第１画像を取得する撮像部と、
   前記撮像部により取得された前記第１画像に対してローパスフィルタ処理を施し、第２画像を生成する処理部と、
   前記撮像部により取得された前記第１画像から、合焦領域の位置を判定する合焦位置判定部と、
   前記合焦位置判定部により判定された前記合焦領域の位置に基づいて、前記第１画像と前記第２画像とを合成するときの、前記第１画像の各画素と該第１画像の各画素に対応する前記第２画像の各画素とを混合する割合を画素毎に算出する算出部と、
   前記第１画像の各画素と、該第１画像の各画素に対応する前記第２画像の各画素とを前記算出部により画素毎に算出された前記割合を用いて混合することで、前記第１画像と前記第２画像とを合成する合成部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記算出部は、前記合焦領域に含まれる画素における前記第２画像の画素の割合が低くなるように、前記割合を算出することを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   前記算出部は、前記合焦領域のアスペクト比をさらに加味して前記割合を算出することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記撮像装置の姿勢を判定する姿勢判定部をさらに備え、
   前記算出部は、前記姿勢判定部により判定された前記姿勢をさらに加味して前記割合を算出することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記第１画像から顔領域を検出する顔検出部をさらに備え、
   前記算出部は、前記姿勢判定部により検出された前記姿勢、及び前記顔検出部により検出された前記顔領域の位置をさらに加味して前記割合を算出することを特徴とする撮像装置。
6. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記第１画像から顔領域を検出する顔検出部をさらに備え、
   前記算出部は、前記顔領域の位置及び向きをさらに加味して前記割合を算出することを特徴とする撮像装置。
7. 請求項１から請求項６のいずれか１項に記載の撮像装置において、
   前記第１画像は、所定の時間間隔を空けて連続して取得された複数の画像であることを特徴とする撮像装置。
8. 請求項１から請求項７のいずれか１項に記載の撮像装置において、
   前記合成部は、前記第１画像と前記第２画像とをアルファブレンド処理により合成し、
   前記割合は、前記アルファブレンド処理における前記第１画像の各画素に対する前記第２画像の各画素の透過度合いであることを特徴とする撮像装置。
9. 第１画像に対してローパスフィルタ処理を施し、第２画像を生成する処理工程と、
   前記第１画像から、合焦領域の位置を判定する合焦位置判定工程と、
   前記合焦位置判定工程により判定された前記合焦領域の位置に基づいて、前記第１画像と前記第２画像とを合成するときの、前記第１画像の各画素と該第１画像の各画素に対応する前記第２画像の各画素とを混合する割合を画素毎に算出する算出工程と、
   前記第１画像の各画素と、該第１画像の各画素に対応する前記第２画像の各画素とを前記算出部により画素毎に算出された前記割合を用いて混合することで、前記第１画像と前記第２画像とを合成する合成工程と
   を備えることを特徴とする画像処理プログラム。
10. 請求項９に記載の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記憶媒体。

Images