JP2010211255A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被写体領域の抽出を一回の撮影で簡便に行う。
【解決手段】撮像装置１００であって、背景内に被写体が存在する被写体存在画像の周縁部分の非平坦度を演算する非平坦度演算部６と、演算された被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する非平坦度判定部８ａと、非平坦度が所定値以下であると判定された場合に、被写体存在画像の周縁部分から被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成部８ｂと、抽出用背景画像と被写体存在画像の対応する各画素の差分情報に基づいて、被写体存在画像から被写体領域を抽出する切抜画像生成部８ｅとを備えている。
【選択図】図１

Description

本発明は、撮像された画像から被写体領域を抽出する撮像装置、画像処理方法及びプログラムに関する。

従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。

特開平１０−２１４０８号公報

しかしながら、上記特許文献１のように、背景内に被写体が存在する画像と被写体が存在しない背景画像とを２回に分けて撮影する場合、２回の撮影の間に画角の移動が生じ易く、被写体を抽出する処理にて背景自体の画素値に差分が発生して背景部分を被写体と誤認識して被写体の抽出を適正に行うことができないといった問題がある。この場合には、再度の撮影が必要となり、被写体の切り抜き画像の生成作業が煩雑となる。

そこで、本発明の課題は、被写体領域の抽出を一回の撮影で簡便に行うことができる撮像装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、
背景内に被写体が存在する被写体存在画像を撮像する第１撮像手段と、前記第１撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する第１非平坦度演算手段と、前記第１非平坦度演算手段により演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する第１判定手段と、前記第１判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段と、前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する被写体抽出手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記被写体存在画像の周縁部分を複数の画像領域に分割する分割手段を更に備え、前記第１非平坦度演算手段は、前記分割手段により分割された前記複数の画像領域の各々の非平坦度を演算し、前記第１判定手段は、前記第１非平坦度演算手段により演算された前記複数の画像領域の各々について非平坦度が所定値以下であるか否かを判定し、前記背景生成手段は、前記第１判定手段により非平坦度が所定値以下であると判定された画像領域が複数ある場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴としている。

請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記第１非平坦度演算手段は、前記非平坦度として、前記分割手段により分割された前記複数の画像領域の各々の特徴点を抽出し、前記第１判定手段は、更に、前記第１非平坦度演算手段により抽出された前記複数の画像領域の特徴点が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により特徴点が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の撮像装置において、
前記第１非平坦度演算手段は、前記非平坦度として、前記分割手段により分割された前記複数の画像領域内の画素値のばらつき量を演算し、前記第１判定手段は、更に、前記第１非平坦度演算手段により演算された前記複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、前記背景生成手段は、更に、前記第１判定手段により画素値のばらつき量が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記背景生成手段は、前記被写体存在画像の周縁部分の色と同じ色の前記抽出用背景画像を生成することを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の撮像装置において、
前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するためのマスク画像を生成するマスク生成手段を更に備え、前記被写体抽出手段は、前記マスク生成手段により生成されたマスク画像を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、
被写体が存在しない背景画像を撮像して当該背景画像の画像フレームを順次生成する背景撮像手段と、前記背景画像の画像フレームの非平坦度を演算する第２非平坦度演算手段と、前記第２非平坦度演算手段により演算された前記背景画像の非平坦度が所定値以下であるか否かを判定する第２判定手段と、を更に備え、前記第１撮像手段は、前記第２判定手段により非平坦度が所定値以下であると判定された場合に、前記背景画像と略同一の背景内に被写体が存在する被写体存在画像を撮像することを特徴としている。

請求項８に記載の発明は、請求項７に記載の撮像装置において、
前記第２非平坦度演算手段は、前記非平坦度として、前記背景画像から特徴点を抽出し、前記第２判定手段は、更に、前記第２非平坦度演算手段により抽出された前記背景画像の複数の画像領域の特徴点が所定値以下であるか否かを判定し、前記第１撮像手段は、更に、前記第２判定手段により特徴点が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴としている。

請求項９に記載の発明は、請求項７又は８に記載の撮像装置において、
前記第２非平坦度演算手段は、前記非平坦度として、前記背景画像の複数の画像領域内の画素値のばらつき量を演算し、前記第２判定手段は、更に、前記第２非平坦度演算手段により演算された前記背景画像の複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、前記第１撮像手段は、更に、前記第２判定手段により画像領域の画素値のばらつき量が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴としている。

請求項１０に記載の発明は、請求項７〜９の何れか一項に記載の撮像装置において、
前記第２判定手段により非平坦度が所定値よりも多いと判定された場合に、前記被写体存在画像の撮像後、当該被写体存在画像の背景と同一の背景内に前記被写体の存在しない被写体非存在画像を撮像する第２撮像手段と、前記被写体存在画像と前記被写体非存在画像との位置合わせを行う位置合わせ手段と、を更に備え、前記被写体抽出手段は、前記位置合わせ手段により位置合わせされた前記被写体存在画像と前記被写体非存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出することを特徴としている。

請求項１１に記載の発明の画像処理方法は、
背景内に被写体が存在する被写体存在画像を撮像する撮像手段を備える撮像装置に、前記撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する処理と、演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する処理と、非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する処理と、前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する処理と、を実行させることを特徴としている。

請求項１２に記載の発明のプログラムは、
背景内に被写体が存在する被写体存在画像を撮像する撮像手段を備える撮像装置のコンピュータを、前記撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する非平坦度演算手段、前記非平坦度演算手段により演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する判定手段、前記判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段、前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する被写体抽出手段、として機能させることを特徴としている。

本発明によれば、被写体存在画像の撮影を一回行うだけで被写体領域の抽出を簡便に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理の続きを示すフローチャートである。 図２の被写体切り抜き処理における背景生成処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａの周縁部分の非平坦度が所定値以下であると判定された場合に、当該被写体存在画像Ｐ１ａの周縁部分から被写体領域の抽出用の抽出用背景画像を生成して、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。

また、撮影時にライブビュー画像表示を行う場合には、撮像処理部３は、電子撮像部２により被写体Ｓを所定の撮像フレームレートで連続して撮像させて、ライブビュー画像表示用の画像フレームを逐次生成させる。具体的には、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在しない背景画像Ｐ２（図６（ｂ）参照）の光学像を電子撮像部２により所定のフレームレートで連続して撮像させて、当該背景画像Ｐ２のライブビュー画像表示用の画像フレームを順次生成させる。
ここで、撮像レンズ部１、電子撮像部２及び撮像制御部３は、被写体Ｓが存在しない背景画像Ｐ２を撮像して画像フレームを順次生成する背景撮像手段を構成している。

また、撮像モードとして被写体切り抜きモード（後述）が設定されている場合に、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａ（図６（ｃ）参照）の光学像を所定の撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から被写体存在画像Ｐ１ａに係る画像フレームを読み出させる。
ここで、撮像レンズ部１、電子撮像部２及び撮像制御部３は、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像する第１撮像手段を構成している。

また、ライブビュー画像（背景画像Ｐ２）の非平坦度の判定処理（後述）にて、特徴点やブロック内の画素値のばらつき量が所定値よりも多いと判定された後、被写体存在画像Ｐ１ｂ（図８（ａ）参照）が撮像された場合には、撮像制御部３は、当該被写体存在画像Ｐ１ｂの撮像の際の撮像条件を固定した状態を維持する。そして、ユーザによるシャッタボタン１２ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ３（図８（ｂ）参照）の光学像を、被写体存在画像Ｐ１ｂの撮像後に固定された撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から被写体非存在画像Ｐ３に係る画像フレームを読み出させる。
ここで、撮像レンズ部１、電子撮像部２及び撮像制御部３は、判定処理にて非平坦度が所定値よりも多いと判定された場合に、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に前記被写体Ｓの存在しない被写体非存在画像Ｐ３を撮像する第２撮像手段を構成している。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、非平坦度演算部６と、ブロックマッチング部７と、画像処理部８と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。

非平坦度演算部６は、特徴量演算部６ａを具備する。
特徴量演算部６ａは、背景画像Ｐ２や被写体存在画像Ｐ１ａから特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部６ａは、ライブビュー画像表示用の画像フレームとして生成された背景画像Ｐ２のＹＵＶデータに基づいて、高周波成分の多い特徴の高いブロック領域（例えば、１６×１６画素の正方形）を特徴点として抽出する。
また、非平坦度演算部６は、背景生成処理にて、被写体存在画像Ｐ１ａのＹＵＶデータに基づいて、当該被写体存在画像Ｐ１ａの周縁部分（図７（ａ）参照）を複数の画像ブロックＢに分割する分割部６ｂを具備する。特徴量演算部６ａは、この分割部６ｂにより分割された各画像ブロックＢの特徴点を抽出する。ここで、分割部６ｂは、被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロック（画像領域）Ｂに分割する分割手段を構成している。

また、特徴量演算部６ａは、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせ処理にて、被写体非存在画像Ｐ３を基準として、当該被写体非存在画像Ｐ３から特徴点を抽出する処理を行う。具体的には、特徴量演算部６ａは、被写体非存在画像Ｐ３のＹＵＶデータに基づいて、多数の候補ブロックから追跡に都合の良い所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。

また、非平坦度演算部６は、ブロック内の画素値のばらつき量を算出するばらつき量算出部６ｃを具備している。
ばらつき量算出部６ｃは、ライブビュー画像表示用の画像フレームとして生成された背景画像Ｐ２の各ブロック領域内のばらつき量として、標準偏差を下記式（１）に従って算出する。
また、ばらつき量算出部６ｃは、背景生成処理にて、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢの各々についてのばらつき量として、標準偏差を下記式（１）に従って算出する。

なお、上記式（１）において、ｂ：各ブロック領域の画素値としては、例えば、輝度値が挙げられる。

このように、特徴量演算部６ａ及びばらつき量算出部６ｂは、被写体存在画像Ｐ１ａの周縁部分の非平坦度を演算する第１非平坦度演算手段、背景画像Ｐ２の非平坦度を演算する第２非平坦度演算手段を構成している。
つまり、特徴量演算部６ａは、非平坦度として、被写体存在画像Ｐ１ａの周縁部分の特徴点や、背景画像Ｐ２の特徴点を抽出する。また、ばらつき量算出部６ｃは、非平坦度として、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロック（画像領域）内の画素値のばらつき量や、背景画像Ｐ２の複数のブロック領域（画像領域）内のばらつき量を演算する。

ブロックマッチング部７は、被写体非存在画像Ｐ３（基準画像）と被写体存在画像Ｐ１ｂ（対象画像）の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１ｂ内のどこに対応するか、つまり、被写体存在画像Ｐ１ｂ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ３と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、非平坦度演算処理にて演算された非平坦度の判定を行う非平坦度判定部８ａを具備している。
非平坦度判定部８ａは、ライブビュー画像表示用の画像フレームとして生成された背景画像Ｐ２の特徴点、即ち、特徴量演算部６ａにより抽出された特徴の高いブロック領域が所定値以下であるか否か（背景画像Ｐ２の特徴量が多いか否か）を判定する。また、非平坦度判定部８ａは、ばらつき量算出部６ｃにより算出された背景画像Ｐ２のブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。
ここで、非平坦度判定部８ａは、背景画像Ｐ２の特徴点が所定値以下であるか否か、及び、背景画像Ｐ２のブロック内の画素値のばらつき量が所定値以下であるか否かを判定する第２判定手段を構成している。

また、非平坦度判定部８ａは、背景生成処理にて、特徴量演算部６ａによって被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢについて抽出された特徴点が所定値以下であるか否か（被写体存在画像Ｐ１ａの周縁部分の特徴量が多いか否か）を判定する。また、非平坦度判定部８ａは、ばらつき量算出部６ｃにより算出された各画像ブロックＢのばらつき量が所定値以下であるか否かを判定する。
さらに、非平坦度判定部８ａは、特徴点が所定値以下であり、且つ、ブロック内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢを計数して、画像ブロックＢが複数あるか否かを判定する。
ここで、非平坦度判定部８ａは、被写体存在画像Ｐ１ａの周縁部分の特徴点が所定値以下であるか否か、及び、周縁部分の複数の画像ブロックＢのブロック内の画素値のばらつき量が所定値以下であるか否かを判定する第１判定手段を構成している。

また、画像処理部は、クロマキー技術を利用して被写体領域を抽出するための抽出用背景画像を生成する背景生成部８ｂを具備している。
背景生成部８ｂは、非平坦度判定部８ａによって、被写体存在画像Ｐ１ａの周縁部分の特徴点が所定値以下であり、且つ、ブロック内の画素値のばらつき量が所定値以下である画像ブロックＢ、即ち、特徴量の少ない画像ブロックＢが複数あると判定された場合に、当該画像ブロックＢの色と同じ色を背景色とする抽出用背景画像を生成する。例えば、図６（ｂ）に示すように、特徴量の少ない無地の背景をバックに被写体Ｓを撮影した場合には、被写体存在画像Ｐ１ａの周縁部分の特徴量が少なくなり、当該被写体存在画像Ｐ１ａの周縁部分と同じ色の抽出用背景画像を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっており、被写体存在画像Ｐ１ａの周縁部分と同じ色の抽出用背景画像を生成することで、抽出用背景画像と被写体存在画像Ｐ１ａの色情報を基にして背景部分と被写体部分を分離することができる。
ここで、背景生成部８ｂは、被写体存在画像Ｐ１ａの周縁部分の非平坦度が所定値以下であると判定された場合に、当該被写体存在画像Ｐ１ａの周縁部分から被写体存在画像Ｐ１ａ中の被写体Ｓが含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段を構成している。

また、画像処理部８は、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせを行う位置合わせ部８ｃを具備している。
位置合わせ部８ｃは、被写体非存在画像Ｐ３から抽出した特徴点に基づいて、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせを行う。即ち、位置合わせ部８ｃは、被写体非存在画像Ｐ３から抽出した特徴点に基づいて、被写体非存在画像Ｐ３に対する被写体存在画像Ｐ１ｂの各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ３と位置合わせを行う。
具体的には、位置合わせ部８ｃは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定％（例えば、５０％）以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出する。そして、位置合わせ部８ｃは、射影変換行列に従って被写体存在画像Ｐ１ｂを座標変換して被写体非存在画像Ｐ３と位置合わせを行う。
ここで、位置合わせ部８ｃは、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせを行う位置合わせ手段を構成している。

また、画像処理部は、被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を抽出するためのマスク画像を生成するマスク生成部８ｄを具備している。
マスク生成部８ｄは、背景画像Ｐ２（抽出用背景画像や被写体非存在画像Ｐ３）と被写体存在画像Ｐ１ａ（Ｐ１ｂ）の対応する各画素の相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。

なお、上記式にあっては、背景画像のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
そして、マスク生成部８ｄは、生成した相違度マップを所定の閾値で二値化（０、２５５）してマスク画像を生成する。

また、マスク生成部８ｄは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部８ｄは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
ここで、マスク生成部８ｄは、抽出用背景画像と被写体存在画像Ｐ１ａ（Ｐ１ｂ）の対応する各画素の相違度（差分情報）Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出するためのマスク画像を生成するマスク生成手段を構成している。

また、画像処理部８は、被写体Ｓの画像を所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する切抜画像生成部８ｅを具備している。
切抜画像生成部８ｅは、クロマキー技術を利用して、マスク生成部８ｄにより生成されたマスク画像を用いて被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を切り出して、単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４の画像データを生成する。なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部８ｅは、抽出用背景画像と被写体存在画像Ｐ１ａ（Ｐ１ｂ）の対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段を構成している。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記憶する。
また、記録媒体９は、画像処理部８のマスク生成部８ｄにより生成されたマスク画像と、被写体切り抜き画像Ｐ４の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として保存する。

表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。

表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面１１ａに表示する。具体的には、表示部１１は、撮像モードにて、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体Ｓの撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。

ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による画像処理方法に係る被写体切り抜き処理について、図２〜図８を参照して説明する。
図２及び図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。

被写体切り抜き処理は、ユーザによる操作入力部１２のモードボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ＣＰＵ１３は、画像メモリのフラグテーブル（図示略）に背景撮影フラグ＝０を書き込んだ後（ステップＳ１）、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を表示部１１の表示画面１１ａに表示させるとともに、当該ライブビュー画像に重畳させて、背景指示メッセージ（例えば、「背景に向けてください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ２；図６（ａ）参照）。

そして、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行い（ステップＳ３）、ライブビュー画像表示用の画像フレーム（背景画像Ｐ２）のＹＵＶデータに基づいて、特徴の高いブロック領域（特徴点）を特徴量演算部６ａに抽出させるとともに、各ブロック領域内のばらつき量としての標準偏差を式（１）に従ってばらつき量算出部６ｃに算出させる（ステップＳ４）。

次に、ＣＰＵ１３は、特徴量演算部６ａにより抽出された特徴の高いブロック領域が所定値以下であるか否か、及びばらつき量算出部６ｃにより算出された背景画像Ｐ２のブロック内の画素値のばらつき量が所定値以下であるか否かを判定させることで、特徴点及び当該ブロック内の画素値のばらつき量がないか否かを非平坦度判定部８ａに判断させる（ステップＳ５）。
ここで、特徴点及び当該ブロック内の画素値のばらつき量がないと判断されると（ステップＳ５；ＹＥＳ）、即ち、例えば、特徴量の少ない無地の背景をバックに被写体Ｓを撮影する場合（図６（ｂ）参照）、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像に重畳させて撮像指示メッセージ（例えば、「被写体Ｓを撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ６）。

その後、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ７）、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ８）。
この後、ユーザは、被写体Ｓを画角内に移動させる、或いは被写体Ｓが移動するのを待った後（図６（ｃ）参照）、ステップＳ８にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ８；ＹＥＳ）、ＣＰＵ１３は、被写体存在画像Ｐ１ａの光学像を所定の撮像条件で電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ１ａの画像フレームに基づいて、被写体存在画像Ｐ１ａのＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ９）。
これにより、特徴量の少ない背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ａが生成される。

一方、ステップＳ６にて、特徴点及び当該ブロック内の画素値のばらつき量があると判断されると（ステップＳ５；ＹＥＳ）、即ち、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合（図８（ａ）参照）、ＣＰＵ１３は、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１０）。
ここで、シャッタボタン１２ａが撮像指示操作されていないと判定されると（ステップＳ１０；ＮＯ）、ＣＰＵ１３は、処理をステップＳ３に移行させる。一方、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ１３は、画像メモリのフラグテーブル（図示略）に背景撮影フラグ＝１を書き込んだ後（ステップＳ１１）、処理をステップＳ９に移行させて、被写体Ｓの撮影を行う。
これにより、特徴量の多い背景をバックに被写体Ｓが撮影された被写体存在画像Ｐ１ｂが生成される。

次に、図３に示すように、ＣＰＵ１３は、背景撮影フラグ＝０であるか否かを判定する（ステップＳ１２）。
ここで、背景撮影フラグ＝０であると判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１３は、非平坦度演算部６及び画像処理部に、被写体存在画像Ｐ１ａから被写体領域を抽出するための抽出用背景画像を生成させる背景生成処理を行わせる（ステップＳ１３）。

ここで、背景生成処理について図４を参照して詳細に説明する。
図４は、背景生成処理に係る動作の一例を示すフローチャートである。
図４に示すように、非平坦度演算部６の分割部６ｂは、被写体存在画像Ｐ１ａのＹＵＶデータに基づいて、当該被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢに分割して（図７（ａ）参照）、各画像ブロックＢの特徴点を抽出する（ステップＳ３１）。
続けて、画像処理部のばらつき量算出部６ｃは、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢの各々について画素値のばらつき量としての標準偏差を式（１）に従って算出する（ステップＳ３２）。

次に、非平坦度判定部８ａは、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢについて抽出された特徴点が所定値以下であるか否かを判定するとともに、各画像ブロックＢのばらつき量が所定値以下であるか否かを判定し、当該判定の結果、特徴点が所定値以下であり、且つ、ブロック内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢを計数して、画像ブロックＢが複数あるか否かを判断する。さらに、ばらつきがないとされた画像ブロックＢの内、同じ色の画像ブロックＢを計数する。そして、ばらつきがなく、同じ色の画像ブロックＢの数が所定値（例えば画像全体のブロック数の半分）以上であるか否かを判定する（ステップＳ３３）。
ここで、ばらつきがなく、同じ色の画像ブロックＢが所定値以上あると判断されると（ステップＳ３３；ＹＥＳ）、背景生成部８ｂは、当該画像ブロックＢの色と同じ色を背景色とする抽出用背景画像のＹＵＶデータを生成（ステップＳ３４）して、背景生成成功とする（ステップＳ３５）。

一方、ステップＳ３３にて、ばらつきがなく、同じ色の画像ブロックＢが所定値に満たないと判断されると（ステップＳ３３；ＮＯ）、例えば、ばらつきのない安定した画像ブロックＢがあっても、同じ色のブロックがない場合等には背景が特定できないため、抽出用背景画像を生成せずに、背景生成失敗とする（ステップＳ３６）。
これにより、背景生成処理を終了する。

図３に示すように、次に、ＣＰＵ１３は、背景生成部８ｂに、背景生成が成功したか否かを判定させる（ステップＳ１４）。
ここで、背景生成が成功したと判定されると（ステップＳ１４；ＹＥＳ）、ＣＰＵ１３は、画像処理部に、被写体存在画像Ｐ１ａから被写体Ｓが含まれる被写体領域を検出する領域検出処理を行わせる（ステップＳ１５）。

ここで、領域検出処理について図５を参照して詳細に説明する。
図５は、領域検出処理に係る動作の一例を示すフローチャートである。
図５に示すように、画像処理部のマスク生成部８ｄは、抽出用背景画像（背景画像）のＹＵＶデータと被写体存在画像Ｐ１ａのＹＵＶデータとの間で対応する各画素の相違度Ｄを式（２）に従って算出して相違度マップを生成する（ステップＳ４１）。

次に、マスク生成部８ｄは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する（ステップＳ４２）。そして、マスク生成部８ｄは、例えば、背景（二値化；０）の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する（ステップＳ４３）。
ここで、二値化に成功したと判断されると（ステップＳ４３；ＹＥＳ）、マスク生成部８ｄは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後（ステップＳ４４）、収縮分を修正するための膨張処理を行う（ステップＳ４５）。

続けて、被写体Ｓに背景色と似たような色がある場合、マスク画像の被写体領域内が欠損するため、マスク生成部８ｄは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う（ステップＳ４６）。
その後、マスク生成部８ｄは、マスク画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて（ステップＳ４７）、領域検出成功とする（ステップＳ４８）。

一方、ステップＳ４３にて、二値化に成功しなかったと判断されると（ステップＳ４３；ＮＯ）、例えば、背景（二値化；０）の領域が著しく小さい場合などには、マスク生成部８ｄは、二値化に失敗したとみなして領域検出失敗とする（ステップＳ４９）。
これにより、領域検出処理を終了する。

図３に示すように、ステップＳ１４にて、背景生成が成功しなかったと判定されると（ステップＳ１４；ＮＯ）、ＣＰＵ１３は、被写体Ｓの切り抜きの失敗に係る所定のメッセージ（例えば、「被写体Ｓの切り抜きに失敗しました」等）を表示部１１の表示画面１１ａに表示させて（ステップＳ１６）、被写体切り抜き処理を終了する。

また、ステップＳ１２にて、背景撮影フラグ＝０ではないと判定されると（ステップＳ１２；ＮＯ）、即ち、背景撮影フラグ＝１となっている場合には、ＣＰＵ１３は、表示制御部１０に、ライブビュー画像に重畳させて、被写体存在画像Ｐ１ｂの半透過の表示態様の画像と被写体非存在画像Ｐ３の撮像指示メッセージ（例えば、「背景を撮影してください」等）を表示部１１の表示画面１１ａに表示させる（ステップＳ１７；図８（ｂ）参照）。

その後、ＣＰＵ１３は、表示制御部１０に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により順次生成された画像フレームに基づいてライブビュー画像を更新させる制御を行うとともに（ステップＳ１８）、ユーザにより操作入力部１２のシャッタボタン１２ａが撮像指示操作されたか否かを判定する（ステップＳ１９）。
この後、ユーザは、被写体Ｓを画角外に移動させる、或いは被写体Ｓが移動するのを待った後（図８（ｂ）参照）、ステップＳ８にて、シャッタボタン１２ａが撮像指示操作されたと判定されると（ステップＳ１９；ＹＥＳ）、ＣＰＵ１３は、被写体存在画像Ｐ３の光学像を所定の撮像条件で電子撮像部２により撮像させ、電子撮像部２から転送された被写体存在画像Ｐ３の画像フレームに基づいて、被写体存在画像Ｐ３のＹＵＶデータを画像データ生成部４に生成させて、当該ＹＵＶデータを画像メモリ５に一時記憶させる（ステップＳ２０）。
これにより、被写体Ｓが存在しない特徴量の多い背景が撮影された被写体存在画像Ｐ３が生成される。

次に、ＣＰＵ１３は、非平坦度演算部６、ブロックマッチング部７及び画像処理部８に、被写体非存在画像Ｐ３のＹＵＶデータを基準として、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ２１）。
具体的には、特徴量演算部６ａは、被写体非存在画像Ｐ３のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１ｂ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ３と被写体存在画像Ｐ１ｂ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部８の位置合わせ部８ｃは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像Ｐ１ｂを射影変換することで、被写体存在画像Ｐ１ｂのＹＵＶデータと被写体非存在画像Ｐ３のＹＵＶデータとを位置合わせする処理を行わせる。

次に、ＣＰＵ１３は、画像処理部８に、位置合わせが成功したか否かを判定させる（ステップＳ２２）。即ち、画像処理部８は、ステップＳ２１にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１ｂの射影変換行列を算出することができたか否かを判定する。

ここで、位置合わせが成功したと判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１３は、処理をステップＳ１５に移行させて、画像処理部８のマスク生成部８ｄに領域検出処理（図５参照）を行わせる（ステップＳ１５）。
ここでの領域検出処理は、背景画像として被写体非存在画像Ｐ３を用いる以外の点で上述した内容と略同一であり、その詳細な説明は省略する。即ち、マスク生成部８ｄは、背景画像としての被写体非存在画像Ｐ３のＹＵＶデータと被写体存在画像Ｐ１ｂのＹＵＶデータとの間で対応する各画素の相違度Ｄを式（２）に従って算出して相違度マップを生成する（ステップＳ４１）。

その後、上記したように、マスク生成部８ｄは、相違度マップを二値化してマスク画像データを生成する処理（ステップＳ４２）、二値化が成功したか否かを判断する処理（ステップＳ４３）、マスク画像データに対する収縮処理（ステップＳ４４）、収縮分を修正するための膨張処理（ステップＳ４５）、ラベリングにより、マスク画像データの所定の比率以下の領域を有効領域に置き換える処理（ステップＳ４６）、平均化フィルタをかけて被写体領域の縁部に合成階調をつける処理（ステップＳ４６）等を行う。

一方、ステップＳ２１にて、位置合わせが成功しなかったと判定されると（ステップＳ２１；ＮＯ）、ＣＰＵ１３は、処理をステップＳ１６に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面１１ａに表示させた後（ステップＳ１６）、被写体切り抜き処理を終了する。

そして、領域検出処理（ステップＳ１５）の終了後、ＣＰＵ１３は、マスク生成部８ｄに、被写体領域の検出が成功したか否かを判定させる（ステップＳ２３）。
ここで、被写体領域の検出が成功したと判定されると（ステップＳ２３；ＹＥＳ）、ＣＰＵ１３は、切抜画像生成部８ｅに、クロマキー技術を利用して、領域検出処理にて生成されたマスク画像を用いて被写体存在画像Ｐ１ａ（Ｐ１ｂ）から被写体領域を切り出して、所定の単一色背景画像Ｐ５と合成して被写体切り抜き画像Ｐ４（図７（ｂ）参照）の画像データを生成させる（ステップＳ２４）。
具体的には、切抜画像生成部８ｅは、被写体存在画像Ｐ１ａ（Ｐ１ｂ）、単一色背景画像Ｐ５及びマスク画像データを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１ａ（Ｐ１ｂ）のうち、マスク画像データの塗りつぶした部分（被写体Ｓ以外の部分）で覆われる画素については、単一色背景画像Ｐ５の所定の単一色で塗りつぶす一方で、被写体部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像の縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像Ｐ５との境界部分がはっきりしていない自然な感じとなる。
その後、ＣＰＵ１３は、表示制御部１０に、切抜画像生成部８ｅにより生成された被写体切り抜き画像Ｐ４の画像データに基づいて、所定の単一色背景画像Ｐ５に被写体Ｓが重畳された被写体切り抜き画像Ｐ４を表示部１１の表示画面１１ａに表示させる（図７（ｃ）参照）。

次に、ＣＰＵ１３は、記録媒体９の所定の記憶領域に、画像処理部８のマスク生成部８ｄにより生成されたマスク画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて、当該被写体切り抜き画像Ｐ４の画像データの拡張子を「.jpe」として一ファイルで保存させる（ステップＳ２５）。
これにより、被写体切り抜き処理を終了する。

一方、ステップＳ２３にて、位置合わせが成功しなかったと判定されると（ステップＳ２２；ＮＯ）、ＣＰＵ１３は、処理をステップＳ１６に移行させて、被写体Ｓの切り抜きの失敗に係る所定のメッセージを表示部１１の表示画面１１ａに表示させた後（ステップＳ１６）、被写体切り抜き処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａの周縁部分の非平坦度が所定値以下であるか否かを判定し、非平坦度が所定値以下であると判定された場合に、当該被写体存在画像Ｐ１ａの周縁部分から被写体領域の抽出用の抽出用背景画像を生成して、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出して被写体切り抜き画像Ｐ４を生成する。
具体的には、被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢに分割して、複数の画像ブロックＢの各々の特徴点を抽出し、複数の画像ブロックＢの各々について特徴点が所定値以下であるか否かを判定する。また、複数の画像ブロックＢのブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。そして、特徴点が所定値以下であると判定され、且つ、ブロック内の画素値のばらつき量が所定値以下であると判定された画像ブロックＢが複数ある場合に、被写体存在画像Ｐ１ａの周縁部分の色と同じ色の抽出用背景画像を生成する。そして、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の相違度Ｄに基づいてマスク画像を生成して、当該マスク画像を用いて被写体存在画像Ｐ１ａから被写体領域を抽出する。
従って、被写体存在画像Ｐ１ａの撮影を一回行うだけで、背景画像Ｐ２の撮像を別途行わなくとも抽出用背景画像を生成することができ、当該抽出用背景画像を用いて生成されたマスク画像を利用して被写体存在画像Ｐ１ａから被写体領域を簡便に抽出することができる。

また、被写体存在画像Ｐ１ａの周縁部分を複数の画像ブロックＢに分割して、画像ブロックＢ毎に、被写体存在画像Ｐ１ａの周縁部分に同じ色の画像ブロックＢが複数あるか否かやブロック内の画素値のばらつきがあるか否かを行うことで、背景画像が抽出用背景画像の生成に好適な無地で単色の背景であるか否かの判定を適正に行うことができる。

また、ライブビュー画像表示用の画像フレームとして順次生成された背景画像Ｐ２の画像フレームから特徴点を抽出して、当該背景画像Ｐ２の特徴点が所定値以下であるか否かを判定する。また、背景画像Ｐ２の複数のブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。これにより、例えば、特徴量の少ない背景をバックに被写体Ｓを撮影する場合のように（図６（ｂ）参照）、特徴点が所定値以下であり、且つ、ブロック内の画素値のばらつき量が所定値以下であると判定されると、背景画像Ｐ２と略同一の背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像することで、当該被写体存在画像Ｐ１ａの周縁部分から抽出用背景画像を生成することができる。
このように、ライブビュー画像表示用の画像フレームを利用することで、被写体Ｓの切り抜きに最適な環境を見つけることができ、より使い勝手の良い撮像装置を提供することができる。
これに対して、例えば、特徴量の多い背景をバックに被写体Ｓを撮影する場合のように（図８（ａ）参照）、特徴点が所定値よりも多いと判定されると、被写体存在画像Ｐ１ｂの撮像後、当該被写体存在画像Ｐ１ｂの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Ｐ３を撮像することで、これら被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３との位置合わせを行った後、位置合わせされた被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３の対応する各画素の相違度Ｄに基づいて、被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。
つまり、特徴量の多い背景をバックに被写体Ｓを撮影する場合であっても、被写体非存在画像Ｐ３を撮像することで、被写体存在画像Ｐ１ｂと被写体非存在画像Ｐ３の対応する各画素の相違度Ｄに基づいてマスク画像を生成して、当該マスク画像を用いて被写体存在画像Ｐ１ｂから被写体領域を抽出することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、抽出用背景画像の生成の際に、被写体存在画像Ｐ１ａの周縁部分の複数の画像ブロックＢの各々の特徴点及びブロック内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の少なくとも一方を判定することで画像ブロックＢの非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に抽出用背景画像を生成するようにしても良い。
また、ライブビュー画像が表示されている際に、ライブビュー画像表示用として生成された背景画像Ｐ２の画像フレームの特徴点及びブロック内の画素値のばらつき量の両方について所定値以下であるか否かを判定するようにしたが、これに限られるものではなく、特徴点及びばらつき量の少なくとも一方を判定することで背景画像の非平坦度の判定を行って、非平坦度が所定値以下であると判定された場合に背景画像Ｐ２と略同一の背景内に被写体Ｓが存在する被写体存在画像Ｐ１ａを撮像するようにしても良い。

さらに、生成された被写体切り抜き画像Ｐ４と所定の背景用画像（図示略）とを合成して被写体合成画像（図示略）を生成しても良い。
この被写体合成画像を生成する処理においては、被写体切り抜き画像Ｐ４の画像データについて、マスク画像データの塗りつぶした部分（被写体Ｓ以外の部分）で覆われる画素については、背景用画像の色で塗りつぶし、一方、被写体部分の画素については、何もせずに所定の背景用画像の色に対して透過させないようにする。これにより、被写体切り抜き画像Ｐ４の被写体領域が所定の背景用画像（図示略）に重畳された被写体合成画像を生成することができる。

また、上記実施形態にあっては、マスク画像データと被写体切り抜き画像Ｐ４の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像データと被写体存在画像Ｐ１ａの画像データを対応付けて一ファイルで記録媒体（記憶手段）９に保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像Ｐ１ａを再生させるモードと、再生時にマスク画像データを適用して被写体切り抜き画像Ｐ４を合成して表示する２モードを用意しておくとよい。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。

加えて、上記実施形態にあっては、抽出手段、判定手段、背景生成手段、被写体抽出手段としての機能を、ＣＰＵ１３の制御下にて、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、非平坦度演算処理ルーチン、判定処理ルーチン、背景生成処理ルーチン、被写体抽出処理ルーチンを含むプログラムを記憶しておく。そして、非平坦度演算処理ルーチンによりＣＰＵ１３を、撮像手段により撮像された被写体存在画像Ｐ１ａの周縁部分の非平坦度を演算する非平坦度演算手段として機能させるようにしても良い。また、判定処理ルーチンによりＣＰＵ１３を、抽出処理にて抽出された被写体存在画像Ｐ１ａの周縁部分の非平坦度が所定値以下であるか否かを判定する判定手段として機能させるようにしても良い。また、背景生成処理ルーチンによりＣＰＵ１３を、判定処理にて非平坦度が所定値以下であると判定された場合に、被写体存在画像Ｐ１ａの周縁部分から被写体存在画像Ｐ１ａ中の被写体Ｓが含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段として機能させるようにしても良い。また、被写体抽出処理ルーチンによりＣＰＵ１３を、抽出用背景画像と被写体存在画像Ｐ１ａの対応する各画素の差分情報に基づいて、被写体存在画像Ｐ１ａから被写体領域を抽出する被写体抽出手段として機能させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 非平坦度演算部
６ａ 特徴量演算部
６ｂ 分割部
６ｃ ばらつき量算出部
７ ブロックマッチング部
８ 画像処理部
８ａ 非平坦度判定部
８ｂ 背景生成部
８ｃ 位置合わせ部
８ｄ マスク生成部
８ｅ 切抜画像生成部
１１ 表示部
１３ ＣＰＵ

Claims (12)

1. 背景内に被写体が存在する被写体存在画像を撮像する第１撮像手段と、
   前記第１撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する第１非平坦度演算手段と、
   前記第１非平坦度演算手段により演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する第１判定手段と、
   前記第１判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段と、
   前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する被写体抽出手段と、
   を備えたことを特徴とする撮像装置。
2. 前記被写体存在画像の周縁部分を複数の画像領域に分割する分割手段を更に備え、
   前記第１非平坦度演算手段は、
   前記分割手段により分割された前記複数の画像領域の各々の非平坦度を演算し、
   前記第１判定手段は、
   前記第１非平坦度演算手段により演算された前記複数の画像領域の各々について非平坦度が所定値以下であるか否かを判定し、
   前記背景生成手段は、
   前記第１判定手段により非平坦度が所定値以下であると判定された画像領域が複数ある場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１非平坦度演算手段は、
   前記非平坦度として、前記分割手段により分割された前記複数の画像領域の各々の特徴点を抽出し、
   前記第１判定手段は、
   更に、前記第１非平坦度演算手段により抽出された前記複数の画像領域の特徴点が所定値以下であるか否かを判定し、
   前記背景生成手段は、
   更に、前記第１判定手段により特徴点が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記第１非平坦度演算手段は、
   前記非平坦度として、前記分割手段により分割された前記複数の画像領域内の画素値のばらつき量を演算し、
   前記第１判定手段は、
   更に、前記第１非平坦度演算手段により演算された前記複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、
   前記背景生成手段は、
   更に、前記第１判定手段により画素値のばらつき量が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記抽出用背景画像を生成することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記背景生成手段は、
   前記被写体存在画像の周縁部分の色と同じ色の前記抽出用背景画像を生成することを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
6. 前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出するためのマスク画像を生成するマスク生成手段を更に備え、
   前記被写体抽出手段は、
   前記マスク生成手段により生成されたマスク画像を用いて前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項１〜５の何れか一項に記載の撮像装置。
7. 被写体が存在しない背景画像を撮像して当該背景画像の画像フレームを順次生成する背景撮像手段と、
   前記背景画像の画像フレームの非平坦度を演算する第２非平坦度演算手段と、
   前記第２非平坦度演算手段により演算された前記背景画像の非平坦度が所定値以下であるか否かを判定する第２判定手段と、を更に備え、
   前記第１撮像手段は、
   前記第２判定手段により非平坦度が所定値以下であると判定された場合に、前記背景画像と略同一の背景内に被写体が存在する被写体存在画像を撮像することを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
8. 前記第２非平坦度演算手段は、
   前記非平坦度として、前記背景画像から特徴点を抽出し、
   前記第２判定手段は、
   更に、前記第２非平坦度演算手段により抽出された前記背景画像の複数の画像領域の特徴点が所定値以下であるか否かを判定し、
   前記第１撮像手段は、
   更に、前記第２判定手段により特徴点が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴とする請求項７に記載の撮像装置。
9. 前記第２非平坦度演算手段は、
   前記非平坦度として、前記背景画像の複数の画像領域内の画素値のばらつき量を演算し、
   前記第２判定手段は、
   更に、前記第２非平坦度演算手段により演算された前記背景画像の複数の画像領域内の画素値のばらつき量が所定値以下であるか否かを判定し、
   前記第１撮像手段は、
   更に、前記第２判定手段により画像領域内の画素値のばらつき量が所定値以下であると判定された場合に、前記被写体存在画像を撮像することを特徴とする請求項７又は８に記載の撮像装置。
10. 前記第２判定手段により非平坦度が所定値よりも多いと判定された場合に、前記被写体存在画像の撮像後、当該被写体存在画像の背景と同一の背景内に前記被写体の存在しない被写体非存在画像を撮像する第２撮像手段と、
    前記被写体存在画像と前記被写体非存在画像との位置合わせを行う位置合わせ手段と、を更に備え、
    前記被写体抽出手段は、
    前記位置合わせ手段により位置合わせされた前記被写体存在画像と前記被写体非存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出することを特徴とする請求項７〜９の何れか一項に記載の撮像装置。
11. 背景内に被写体が存在する被写体存在画像を撮像する撮像手段を備える撮像装置に、
    前記撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する処理と、
    演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する処理と、
    非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する処理と、
    前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する処理と、
    を実行させることを特徴とする画像処理方法。
12. 背景内に被写体が存在する被写体存在画像を撮像する撮像手段を備える撮像装置のコンピュータを、
    前記撮像手段により撮像された前記被写体存在画像の周縁部分の非平坦度を演算する非平坦度演算手段、
    前記非平坦度演算手段により演算された前記被写体存在画像の周縁部分の非平坦度が所定値以下であるか否かを判定する判定手段、
    前記判定手段により非平坦度が所定値以下であると判定された場合に、前記被写体存在画像の周縁部分から前記被写体存在画像中の被写体が含まれる被写体領域の抽出用の抽出用背景画像を生成する背景生成手段、
    前記抽出用背景画像と前記被写体存在画像の対応する各画素の差分情報に基づいて、前記被写体存在画像から前記被写体領域を抽出する被写体抽出手段、
    として機能させることを特徴とするプログラム。

Images