JP2012009980A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被写体領域の抽出にかかる処理負担の軽減及び被写体領域以外の領域の抽出の防止を図る。
【解決手段】撮像装置１００であって、背景内に被写体が存在する被写体存在画像から被写体を検出する被写体検出部５ｂと、当該被写体存在画像内で、検出された被写体が包囲される被写体包囲領域を設定する被写体枠設定部５ｄと、設定された被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する被写体抽出部５ｅとを備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、背景内に被写体が存在する画像と被写体が存在しない画像とから、被写体領域を切り抜く技術が知られている（例えば、特許文献１参照）。

特開平１０−２１４０８号公報

しかしながら、上記特許文献１にあっては、画像全体の差分から被写体領域を切り抜くため、当該処理にかかる負荷が大きく、また、被写体領域のみの切り抜きを適正に行うことができないといった問題もある。

そこで、本発明の課題は、被写体領域の抽出にかかる処理負担の軽減及び被写体領域以外の領域の抽出の防止を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
背景内に被写体が存在する被写体存在画像を取得する取得手段と、この取得手段により取得された前記被写体存在画像から被写体を検出する被写体検出手段と、当該被写体存在画像内で、前記被写体検出手段により検出された被写体が包囲される被写体包囲領域を設定する第１設定手段と、この第１設定手段により設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する抽出手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
被写体存在画像を撮像する第１撮像手段を更に備え、前記取得手段は、前記第１撮像手段によって撮像された前記被写体存在画像を取得することを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記被写体検出手段は、前記第１撮像手段により連続して撮像される前記複数の被写体存在画像において、逐次被写体を検出して追跡する追跡手段を更に備え、前記第１設定手段は、更に、前記追跡手段により逐次追跡される被写体を包囲するように前記被写体包囲領域を逐次設定することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の画像処理装置において、
前記被写体検出手段によって検出された被写体に合焦する合焦手段を更に備え、前記抽出手段は、前記被写体包囲領域内の画像のエッジを検出し、当該エッジにより形成された領域を前記被写体領域として抽出することを特徴としている。

請求項５に記載の発明は、請求項２に記載の画像処理装置において、
前記被写体存在画像と略同一の画角で被写体が存在しない被写体非存在画像を撮像する第２撮像手段と、この第２撮像手段により撮像された前記被写体非存在画像内で、前記第１設定手段により設定された前記被写体包囲領域に対応する対応領域を設定する第２設定手段と、を更に備え、前記抽出手段は、更に、前記第１設定手段により設定された前記被写体包囲領域と前記第２設定手段により設定された前記対応領域との対応する各画素の差分情報に基づいて、前記被写体包囲領域から前記被写体領域を抽出することを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記第１撮像手段は、連続した撮像によって略同一の画角の前記被写体存在画像を複数撮像し、前記第１設定手段は、更に、前記第１撮像手段により順次撮像される前記被写体存在画像内で前記被写体包囲領域を逐次設定し、前記第２設定手段は、更に、前記第２撮像手段により撮像された前記被写体非存在画像内で、前記第１設定手段により逐次設定された前記被写体包囲領域に対応する対応領域をそれぞれ設定することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置において、
前記被写体包囲領域の大きさは、前記被写体検出手段により検出される被写体の大きさに応じて可変することを特徴としている。

請求項８に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、背景内に被写体が存在する被写体存在画像を取得する処理と、取得された前記被写体存在画像から被写体を検出する処理と、当該被写体存在画像内で、検出された被写体が包囲される被写体包囲領域を設定する処理と、設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する処理と、を含むことを特徴としている。

請求項９に記載の発明のプログラムは、
画像処理装置のコンピュータを、背景内に被写体が存在する被写体存在画像を取得する手段、この取得された前記被写体存在画像から被写体を検出する手段、当該被写体存在画像内で、検出された被写体が包囲される被写体包囲領域を設定する手段、この設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する手段、として機能させることを特徴としている。

本発明によれば、被写体領域の抽出にかかる処理負担の軽減及び被写体領域以外の領域の抽出の防止を図ることができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理に係る被写体存在画像の一例を模式的に示す図である。 図２の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図５の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図６の撮像処理に係る画像の一例を模式的に示す図である。 図５の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図８の被写体切り抜き処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、背景内に被写体Ｓが存在する被写体存在画像Pa内で、被写体Ｓが包囲される被写体包囲枠Waを設定し、この被写体包囲枠Waを被写体領域抽出処理の処理対象とし、この被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を抽出する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記録媒体制御部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。

撮像部１は、撮像手段として、背景内に存在する被写体Ｓを撮像して画像フレームを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。
レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２は、撮像部１による被写体Ｓの撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
このように、撮像部１及び撮像制御部２は、第１撮像手段として、背景内に被写体が存在する被写体存在画像Paを撮像する。また、撮像部１及び撮像制御部２は、背景内に存在する被写体Ｓを連続して撮像して被写体存在画像Pa1〜Pan（n：自然数；図３（ａ）〜図３（ｃ）等参照）の画像フレームを逐次生成する。

また、撮像制御部２は、フォーカスレンズを光軸方向に移動させてレンズ部１ａの合焦位置を調整するＡＦ（自動合焦処理）を行うＡＦ処理部２ａを具備している。
ＡＦ処理部２ａは、図示は省略するが、フォーカスモータ等の駆動源と、撮像制御部２からの制御信号に従って駆動源を駆動させるドライバ等を具備している。そして、ＡＦ処理部２ａは、画像処理部５の被写体検出部５ｂ（後述）により検出された被写体Ｓや、被写体追跡部５ｃ（後述）により追跡される被写体Ｓを合焦対象とする。その後、ＡＦ処理部２ａは、合焦対象の被写体Ｓの追跡枠をＡＦエリア（図示略）とし、ＡＦエリア内の画像（被写体Ｓ）にフォーカス（ピント）を合わせるようにドライバにより駆動源を駆動させてフォーカスレンズを光軸方向に移動させることにより、レンズ部１ａの合焦位置を調整する。

なお、ＡＦ処理部２ａは、レンズ部１ａに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
このように、ＡＦ処理部２ａは、被写体検出部５ｂにより検出された被写体Ｓ及び被写体追跡部５ｃにより追跡される被写体Ｓを合焦対象として、レンズ部１ａの焦点を調整する合焦手段を構成している。

また、撮像制御部２は、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓを撮像する際の条件の調整制御を行う。

画像データ生成部３は、電子撮像部１ｂから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。

画像処理部５は、画像取得部５ａと、被写体検出部５ｂと、被写体追跡部５ｃと、被写体枠設定部５ｄと、被写体抽出部５ｅと、領域情報生成部５ｆと、切り抜き画像生成部５ｇとを具備している。

画像取得部５ａは、背景内に被写体Ｓが存在する被写体存在画像Paの画像データ（ＹＵＶデータ）を取得する。
即ち、画像取得部５ａは、画像データ生成部３により生成された被写体存在画像Paの画像データをメモリ４から取得する。具体的には、画像取得部５ａは、撮像部１により撮像されて画像データ生成部３により逐次生成される被写体存在画像Paの画像データを取得する。
ここで、画像取得部５ａは、背景内に被写体Ｓが存在する被写体存在画像Paを取得する取得手段を構成している。

被写体検出部５ｂは、被写体存在画像Paから被写体Ｓを検出する。
即ち、被写体検出部５ｂは、画像取得部５ａにより取得された被写体存在画像Paの画像データから、自動合焦処理の合焦対象や被写体追跡処理の追跡対象となる被写体Ｓを検出する。具体的には、被写体検出部５ｂは、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって被写体Ｓの候補となる画像領域（候補領域）を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを被写体Ｓとして検出する。また、被写体検出部５ｂは、画像取得部５ａにより取得される複数の被写体存在画像Pa、…のうち、一の被写体存在画像Pa、即ち、例えば、被写体存在画像Paを連続して撮像する場合には、１枚目の被写体存在画像Pa1（図３（ａ）参照）から被写体Ｓを検出する。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、所定の識別条件としては、例えば、「ヒトの顔」や「物体」や「動物」などの形状を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、静止物体であるか動体であるかなどの動き（静動）を基準とするもの等が挙げられる。

なお、所定の識別条件を満たすものが複数検出された場合には、被写体検出部５ｂは、例えば、撮像距離が最も近いものや、大きさの最も大きいものや、画角内の最も中央寄りに位置しているものや、色合いが最も派手なものなどを優先して被写体Ｓとして特定するようにしても良い。また、被写体検出部５ｂは、予め複数の所定の識別条件に優先順位を設定しておき、当該優先順位を考慮して被写体Ｓを特定しても良い。

このように、被写体検出部５ｂは、画像取得部５ａにより取得された被写体存在画像Paから被写体Ｓを検出する被写体検出手段を構成している。

被写体追跡部５ｃは、被写体検出部５ｂにより検出された被写体Ｓを追跡対象として追跡する被写体追跡処理を行う。
即ち、被写体追跡部５ｃは、画像取得部５ａにより取得された一の画像フレームから被写体検出部５ｂにより検出された被写体Ｓを追跡対象として設定し、当該追跡対象の被写体Ｓを隣合う画像フレーム間で動体解析により追跡する。具体的には、例えば、撮像部１により被写体存在画像Paを連続して撮像する場合には、被写体追跡部５ｃは、画像取得部５ａにより取得される複数の被写体存在画像Pa、…のうち、一の被写体存在画像Pa（例えば、１枚目の被写体存在画像Pa1等）から検出された被写体Ｓを追跡対象として、一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa（例えば、２枚目以降の被写体存在画像Pa2等）にて、追跡対象である被写体Ｓを動体解析により逐次追跡する。

ここで、動体解析の一例について詳細に説明する。
被写体追跡部５ｃは、被写体検出部５ｂによる被写体検出処理によって一の画像フレームから被写体Ｓが検出されると、当該被写体Ｓと重なるように追跡枠（例えば、矩形枠等；図示略）を設定する。また、被写体追跡部５ｃは、追跡枠の各隅部の座標を取得し、取得された座標を追跡用座標としてメモリ４に記憶する。
そして、被写体追跡部５ｃは、追跡枠内の被写体Ｓの輝度情報や色情報等の画像情報をテンプレートとして、次の画像フレームにて追跡枠の隅部の座標（追跡用座標）近傍の所定の動体探索範囲内を所定方向に走査してマッチングを行い、最も近似性の高い部分を被写体Ｓとする。その後、被写体追跡部５ｃは、最も近似性が高いと判定された被写体Ｓと重なるように追跡枠を設定した後、設定された追跡枠の各隅部の座標を取得して当該座標によりメモリ４の追跡用座標を更新する。さらに、被写体追跡部５ｃは、追跡枠内の被写体Ｓの輝度情報や色情報等の画像情報をテンプレートとして更新する。
上記の処理を、被写体追跡部５ｃは、撮像部１により順次撮像される複数の画像フレームの各々に対して逐次実行することにより、マッチングに用いるテンプレートが更新されていく。そのため被写体Ｓが経時的に変化しても当該被写体Ｓを動体として追跡することができる。

なお、上記した動体解析の方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。また、被写体追跡処理として動体解析を適用したものを例示したが、これに限られるものではなく、適宜任意に変更可能である。
このように、被写体検出部５ｂ及び被写体追跡部５ｃは、撮像部１及び撮像制御部２により連続して撮像される複数の被写体存在画像Pa、…において、逐次被写体Ｓを検出して追跡する追跡手段を構成している。

被写体枠設定部５ｄは、被写体存在画像Pa内で被写体Ｓが包囲される被写体包囲枠Waを設定する。
即ち、被写体枠設定部５ｄは、画像取得部５ａにより取得される被写体存在画像Pa内で、被写体検出部５ｂにより検出された被写体Ｓが包囲される被写体包囲枠Wa（被写体包囲領域）を設定する。具体的には、被写体枠設定部５ｄは、被写体存在画像Paよりも小さい領域を囲むように被写体包囲枠Waを設定する。例えば、被写体枠設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの位置や大きさ、即ち、中心部の座標や上下左右の各端部の座標に基づいて、当該被写体Ｓ全体を最小の矩形状の領域で囲むように矩形枠の四隅の座標を指定して、当該座標により形成される被写体包囲枠Waを設定する。また、例えば、被写体枠設定部５ｄは、被写体追跡部５ｃにより設定される追跡枠に基づいて、当該追跡枠の各隅部の座標を矩形枠の四隅の座標として被写体包囲枠Waを設定するようにしても良い。なお、被写体包囲枠Waの設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、例えば、撮像部１により被写体存在画像Paを連続して撮像する場合には、被写体枠設定部５ｄは、画像取得部５ａにより取得される複数の被写体存在画像Pa、…のうち、一の被写体存在画像Pa（例えば、１枚目の被写体存在画像Pa1等）内で、被写体検出部５ｂにより検出された被写体Ｓを包囲するように被写体包囲枠Waを設定する。さらに、一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa（例えば、２枚目以降の被写体存在画像Pa2等）内で、被写体枠設定部５ｄは、被写体追跡部５ｃにより逐次追跡される被写体Ｓを包囲するように被写体包囲枠Waを逐次設定する。このように、被写体枠設定部５ｄは、順次撮像される被写体存在画像Pa内で被写体包囲枠Waを逐次設定する。
ここで、被写体追跡部５ｃにより逐次追跡される被写体Ｓに対する被写体包囲枠Waの設定方法は、被写体検出部５ｂにより検出された被写体Ｓに対する被写体包囲枠Waと同様に、被写体Ｓの位置や大きさに基づいて被写体包囲枠Waを設定するようにしても良いし、例えば、被写体Ｓ（動体）が所定の一方向に移動している場合には、当該被写体Ｓの移動方向を動きベクトルから予測して被写体包囲枠Waを設定するようにしても良い。このとき、被写体Ｓの上下方向及び左右方向の動きに加えて、前後方向の動きを予測して、その前後位置に応じて被写体包囲枠Waの大きさを変化させても良い。
従って、画角全体の画像に対して被写体Ｓの大きさが変化する場合には、被写体枠設定部５ｄは、当該被写体Ｓの大きさの変化に応じて被写体包囲枠Waの大きさを可変させる。

なお、被写体包囲枠Waの大きさを変化させるようにしたが、例えば、画角全体の画像に対して所定の割合となるように予め被写体包囲枠Waの大きさを所定の大きさに設定しておき、当該被写体包囲枠Waの中心座標を被写体Ｓの中心座標と重なるように設定することで、被写体包囲枠Waを設定するようにしても良い。
このように、被写体枠設定部５ｄは、被写体存在画像Pa内で、被写体検出部５ｂにより検出された被写体Ｓが包囲される被写体包囲領域を設定する第１設定手段を構成している。

被写体抽出部５ｅは、被写体包囲枠Wa内から被写体領域を抽出する。
即ち、被写体抽出部５ｅは、被写体存在画像Pa内で被写体枠設定部５ｄにより設定された被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を検出して抽出する。具体的には、被写体抽出部５ｅは、例えば、メモリ４に一時記憶されている各被写体存在画像Paを取得した後、当該被写体存在画像Paの被写体包囲枠Wa内の画像データに対して所定の微分フィルタを用いて微分演算を行って、当該被写体包囲枠Wa内にて濃度や色に急激な変化があるところを被写体Ｓの縁を表す線（エッジ）Ｅとして検出するエッジ検出処理を行う（図４（ｂ）参照）。そして、被写体抽出部５ｅ、エッジＥにより形成された領域、即ち、検出された複数のエッジＥのうち、最も外側の縁部を構成するエッジＥにより囲まれた内側の領域を、被写体領域として被写体画像Ｇを抽出する。
なお、被写体領域の抽出に、エッジ検出処理を用いるようにしたが、一例であって被写体領域の抽出方法はこれに限られるものではなく、適宜任意に変更可能であり、例えば同一の画角で撮像した被写体が存在する画像と被写体が存在しない画像との差分によって、被写体画像Ｇを抽出するようにしてもよい。
ここで、被写体抽出部５ｅは、被写体枠設定部５ｄにより設定された被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から被写体Ｓが含まれる被写体領域を抽出する抽出手段を構成している。

領域情報生成部５ｆは、被写体存在画像Paの被写体包囲枠Waから抽出された被写体画像Ｇの領域を特定して、被写体存在画像Paにおける被写体画像Ｇの領域を示す領域情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像Paの各画素について、被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

切り抜き画像生成部５ｇは、生成されたアルファマップに基づいて、被写体存在画像Paの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体画像Ｇを所定の単一色画像と合成して被写体切り抜き画像Pgの画像データを生成する。

記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部６は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。また、記録媒体制御部６は、被写体切り抜き画像Pgの画像データを領域情報生成部５ｆにより生成されたアルファマップと対応付けて、当該被写体切り抜き画像Pgの画像データの拡張子を「.jpe」として記録媒体Ｍに記録する。

なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部７は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体Ｓの撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体Ｓの撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による被写体切り抜き処理について、図２〜図４を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図３（ａ）〜図３（ｃ）は、被写体切り抜き処理に係る被写体存在画像Paの一例を模式的に示す図であり、図４（ａ）〜図４（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
被写体切り抜き処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。また、以下の被写体切り抜き処理にあっては、予め被写体存在画像Paの記録枚数（例えば、２０枚等）を設定しておくものとする。

図２に示すように、先ず、表示制御部７は、撮像部１及び撮像制御部２による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部８の表示画面に表示させる（ステップＳ１）。
次に、中央制御部１０は、ユーザによる操作入力部９のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されていないと判定されると（ステップＳ２；ＮＯ）、中央制御部１０は、処理をステップＳ１に以降して、ステップＳ２にて、撮像指示が入力されたと判定されるまで（ステップＳ２；ＹＥＳ）、当該判定処理を繰り返す。

そして、ステップＳ２にて、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、中央制御部１０は、背景内に被写体Ｓ（例えば、サッカーボール；図３（ａ）等参照）が存在する被写体存在画像Paの撮像部１による撮像を開始する（ステップＳ３）。続けて、画像処理部５の画像取得部５ａは、撮像部１により撮像されて画像データ生成部３により所定の撮像フレームレートで逐次生成される被写体存在画像Paの画像データを取得して、被写体検出部５ｂは、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって、被写体存在画像Paの画像データから被写体Ｓ（例えば、サッカーボール）を検出する（ステップＳ４）。
次に、撮像制御部２のＡＦ処理部２ａは、被写体検出部５ｂにより検出された被写体Ｓを合焦対象として設定した後、当該合焦対象の被写体Ｓの検出枠をＡＦエリアとして、ドライバにより駆動源を駆動させてフォーカスレンズを光軸方向に移動させ、ＡＦエリア内の画像にフォーカスを合わせる自動合焦処理を行う（ステップＳ５）。
なお、このとき、撮像制御部２は、露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整しても良い。

次に、画像処理部５の被写体枠設定部５ｄは、被写体存在画像Pa内で、被写体検出部５ｂにより検出された被写体Ｓが包囲される被写体包囲枠Waを設定する（ステップＳ６）。具体的には、被写体枠設定部５ｄは、例えば、被写体検出部５ｂにより検出された被写体Ｓの中心部の座標や上下左右の各端部の座標に基づいて、当該被写体Ｓ全体を囲むように被写体包囲枠Wa（図３（ａ）等参照）を設定する。
続けて、中央制御部１０は、ＡＦ処理部２ａによる自動合焦処理後に撮像された被写体存在画像Paの画像データ、即ち、ＡＦ処理部２ａによる自動合焦処理後に、画像データ生成部３により生成された被写体存在画像PaのＹＵＶデータをメモリ４に一時記憶させる（ステップＳ７）。

次に、中央制御部１０は、所定枚数の被写体存在画像Paをメモリ４に一時記憶したか否かを判定する（ステップＳ８）。
ここで、所定枚数の被写体存在画像Paを一時記憶していないと判定されると（ステップＳ８；ＮＯ）、被写体追跡部５ｃは、被写体検出部５ｂにより検出された被写体Ｓを追跡対象として設定し、当該追跡対象の被写体Ｓを画像取得部５ａにより取得される隣合う画像フレーム間で動体解析により追跡する追跡処理を行う（ステップＳ９）。

続けて、撮像制御部２のＡＦ処理部２ａは、被写体追跡部５ｃにより追跡される被写体Ｓを合焦対象として設定した後、当該合焦対象の被写体Ｓの検出枠をＡＦエリアとして、ドライバにより駆動源を駆動させてフォーカスレンズを光軸方向に移動させて、ＡＦエリア内の画像にフォーカスを合わせる自動合焦処理を行う（ステップＳ１０）。
次に、画像処理部５の被写体枠設定部５ｄは、新たに撮像された被写体存在画像Pa内で、被写体追跡部５ｃにより追跡される被写体Ｓが包囲される被写体包囲枠Wa（図３（ｂ）、（ｃ）等参照）を設定する（ステップＳ１１）。具体的には、被写体枠設定部５ｄは、例えば、被写体追跡部５ｃにより追跡される被写体Ｓの中心部の座標や上下左右の各端部の座標に基づいて、当該被写体Ｓ全体を囲むように被写体包囲枠Waを設定する。

続けて、中央制御部１０は、処理をステップＳ７に移行して、ＡＦ処理部２ａによる自動合焦処理後に、画像データ生成部３により生成された被写体存在画像PaのＹＵＶデータをメモリ４に一時記憶させた後（ステップＳ７）、所定枚数の被写体存在画像Paをメモリ４に一時記憶したか否かを判定する（ステップＳ８）。
ここで、所定枚数の被写体存在画像Paを一時記憶したと判定されると（ステップＳ８；ＹＥＳ）、画像処理部５の被写体抽出部５ｅは、メモリ４に一時記憶されている所定枚数の被写体存在画像Paの各々を順次取得して、各被写体存在画像Paの被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を検出して、被写体画像Ｇを抽出する（ステップＳ１２）。具体的には、被写体抽出部５ｅは、各被写体存在画像Paの被写体包囲枠Wa内の画像データに対してエッジ検出処理を行って（図４（ｂ）参照）、検出された複数のエッジＥのうち、最も外側の縁部を構成するエッジＥにより囲まれた内側の領域を被写体領域として検出する。そして、被写体抽出部５ｅは、当該被写体領域内の画像を被写体画像Ｇ（図４（ｃ）参照）として抽出する。

次に、画像処理部５の領域情報生成部５ｆは、所定枚数の被写体存在画像Paの各々について、抽出された被写体画像Ｇの領域を示す領域情報（例えば、アルファマップ）を生成する（ステップＳ１３）。
続けて、画像処理部５の切り抜き画像生成部５ｇは、各被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Pg（図４（ｃ）参照）の画像データを生成する処理を行う（ステップＳ１４）。具体的には、切り抜き画像生成部５ｇは、被写体存在画像Pa、単一色画像及びアルファマップを読み出してメモリ４に展開した後、被写体存在画像Paの全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

次に、記録媒体制御部６は、所定枚数の被写体切り抜き画像Pgの画像データとそれぞれ対応するアルファマップとを画像処理部５から取得して、これら被写体切り抜き画像Pgの画像データの各々についてアルファマップと対応付けて一ファイルで記録媒体Ｍの所定の記録領域に記録させる（ステップＳ１５）。
なお、被写体切り抜き画像Pgを記録媒体Ｍに記録させる前に、表示制御部７は、当該被写体切り抜き画像Pgを表示部８に表示させるようにしても良い。
これにより、被写体切り抜き処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、背景内に被写体Ｓが存在する被写体存在画像Pa内で、被写体Ｓが包囲される被写体包囲枠Waを設定し、この被写体包囲枠Waを被写体領域抽出処理の処理対象とし、この被写体包囲枠Waから被写体Ｓが含まれる被写体領域を抽出するので、被写体存在画像Pa全体から被写体領域を抽出する場合に比べて処理対象となるデータ量を削減することができ、被写体領域の抽出にかかる処理負担の軽減を図ることができる。さらに、被写体存在画像Pa全体から被写体領域を抽出する場合に比べて被写体領域以外の領域を相対的に少なくすることができ、被写体領域の特定ミスなどに起因する当該被写体領域以外の領域の抽出の防止を図ることができる。

また、被写体包囲枠Wa内の画像のエッジＥを検出し、当該エッジＥにより形成された領域を被写体領域として抽出するので、被写体存在画像Paのみを用いて被写体領域の抽出を行うことができる。つまり、被写体領域の抽出のために、被写体存在画像Paの他に被写体非存在画像Pbを用いる必要がなく、これら画像どうしの差分情報を生成する必要もなくなる。

さらに、背景内に存在する被写体Ｓを連続して撮像することで被写体存在画像Paを逐次生成して、当該被写体存在画像Paを取得するので、これらの被写体存在画像Pa内で被写体包囲枠Waを逐次設定して、各被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を抽出することができる。つまり、被写体存在画像Paを連続して撮像する場合に、被写体存在画像Paの各々から被写体領域を抽出することができる。
このとき、複数の被写体存在画像Pa、…のうち、一の被写体存在画像Pa（例えば、一枚目の被写体存在画像Pa1等）から被写体Ｓを検出するとともに、当該一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa（例えば、二枚目以降の被写体存在画像Pa2等）にて被写体Ｓを逐次追跡する。そして、一の被写体存在画像Pa内で検出された被写体Ｓを包囲するように被写体包囲枠Waを設定するとともに、一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa内で逐次追跡される被写体Ｓを包囲するように被写体包囲枠Waを逐次設定する。従って、被写体存在画像Paを連続して撮像する場合に、各被写体存在画像Paにて被写体Ｓを包囲する被写体包囲枠Waをそれぞれ設定して、当該被写体包囲枠Waから被写体Ｓが含まれる被写体領域を抽出することができる。
さらに、検出された被写体Ｓ及び逐次追跡される被写体Ｓを合焦対象として撮像部１の焦点を調整するので、生成される各被写体存在画像Pa内にて被写体Ｓにピントを合わせることができ、当該被写体存在画像Paの被写体包囲枠Wa内から被写体領域を抽出することにより、ピントの合った被写体画像Ｇを切り抜くことができる。

また、被写体包囲枠Waの大きさを検出される被写体Ｓの大きさに応じて可変させるので、被写体存在画像Pa全体に対して被写体Ｓの大きさが変化しても、即ち、撮像装置１００と被写体Ｓとの相対的な距離が変化することにより被写体Ｓの大きさが変化しても、当該被写体Ｓの大きさに応じて被写体包囲枠Waの大きさを可変させることで、当該被写体包囲枠Wa内から被写体領域の抽出を適正に行うことができる。

なお、上記実施形態１にあっては、被写体Ｓを撮像する際に被写体切り抜き処理を行うようにしたが、被写体切り抜き処理を実行するタイミングはこれに限られるものではなく、例えば、予め複数の被写体存在画像Pa、…を連続して撮像して当該被写体存在画像Paの画像データを記録媒体Ｍに記録した後、所定のタイミングで記録媒体Ｍから複数の被写体存在画像Pa、…の画像データの各々を読み出して、被写体切り抜き処理を行うようにしても良い。

［実施形態２］
以下に、本発明を適用した実施形態２の撮像装置２００について図５〜図９を参照して説明する。
実施形態２の撮像装置２００は、所定の背景内に被写体Ｓの存在しない被写体非存在画像Pb（図７（ｄ）参照）内で、被写体包囲枠Waに対応する対応枠Wbを設定し、被写体包囲枠Wa内の画像データ及び対応枠Wb内の画像データの対応する各画素の差分情報に基づいて、被写体包囲枠Waから被写体領域を抽出する。
なお、実施形態２の撮像装置２００は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。

図５は、実施形態２の撮像装置２００の概略構成を示すブロック図である。
図５に示すように、実施形態２の撮像装置２００の画像処理部５は、画像取得部５ａと、被写体検出部５ｂと、被写体追跡部５ｃと、被写体枠設定部５ｄと、被写体抽出部５ｅと、領域情報生成部５ｆと、切り抜き画像生成部５ｇとに加えて、対応枠設定部５ｈと、位置合わせ部５ｉとを具備している。

画像取得部５ａは、背景内に被写体Ｓが存在しない被写体非存在画像Pbの画像データ（ＹＵＶデータ）を取得する。
即ち、画像取得部５ａは、撮像部１による被写体非存在画像Pbの撮像後、画像データ生成部３により生成された被写体非存在画像Pbの画像データを取得する。具体的には、撮像部１は、第２撮像手段として、被写体存在画像Paと略同一の画角で当該被写体存在画像Paの背景と同一の背景内に被写体Ｓが存在しない被写体非存在画像Pbを撮像する。このとき、撮像制御部２は、例えば、被写体非存在画像Pbをパンフォーカスで撮像するように、被写界深度が最も深くなるように絞りの値を設定するとともに、当該絞りの値に応じて電子撮像部１ｂ１の露光時間及びＩＳＯ感度を決定する。そして、画像データ生成部３は、撮像部１により撮像された被写体非存在画像Pbの画像データを生成した後、記録媒体制御部６は、画像データ生成部３により生成された被写体非存在画像Pbの画像データを記録媒体Ｍに記録させる。その後、被写体切り抜き処理にて、画像取得部５ａは、記録媒体Ｍから被写体非存在画像Pbの画像データを取得する。
なお、被写体非存在画像Pbの撮像は、必ずしも被写体存在画像Paの撮像後に行われる必要はなく、被写体非存在画像Pbの撮像後、当該被写体非存在画像Pbの背景と同一の背景内に被写体Ｓの存在する被写体存在画像Paを撮像するようにしても良い。
このように、画像取得部５ａは、被写体存在画像Paの背景と同一の背景内に被写体Ｓが存在しない被写体非存在画像Pbを取得する。

対応枠設定部５ｈは、被写体非存在画像Pb内で被写体包囲枠Waに対応する対応枠Wbを設定する。
即ち、対応枠設定部５ｈは、画像取得部５ａにより取得された被写体非存在画像Pb内で、被写体枠設定部５ｄに設定された被写体包囲枠Waに対応する対応枠（対応領域）Wbを設定する。例えば、対応枠設定部５ｈは、被写体枠設定部５ｄにより設定された矩形状の被写体包囲枠Waに基づいて、当該被写体包囲枠Waの四隅の座標を矩形枠の四隅の座標として対応枠Wbを設定する。なお、対応枠Wbの設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、例えば、撮像部１により略同一の画角の被写体存在画像Paが連続して所定枚数撮像された場合には、対応枠設定部５ｈは、被写体非存在画像Pb内で、被写体枠設定部５ｄにより逐次設定された各被写体存在画像Paの被写体包囲枠Waに対応する対応枠Wbをそれぞれ設定する。
ここで、対応枠設定部５ｈは、被写体非存在画像Pb内で、被写体枠設定部５ｄにより設定された被写体包囲領域に対応する対応領域を設定する第２設定手段を構成している。

位置合わせ部５ｉは、被写体存在画像Paの被写体包囲枠Wa内の画像と被写体非存在画像Pbの対応枠Wb内の画像との位置合わせを行う。
即ち、位置合わせ部５ｉは、被写体非存在画像Pbの対応枠Wb内の画像データから特徴点を抽出した後、当該特徴点に基づいて、対応枠Wb内の画像データに対する被写体包囲枠Wa内の画像データの各画素の座標変換式（射影変換行列）を算出する。そして、位置合わせ部５ｉは、当該座標変換式に従って被写体包囲枠Wa内の画像データを座標変換して対応枠Wb内の画像データと位置合わせを行う。また、例えば、撮像部１により被写体存在画像Paが連続して所定枚数撮像された場合には、位置合わせ部５ｉは、画像取得部５ａにより被写体存在画像Paが取得される毎に、各被写体存在画像Paに対して上記の位置合わせ処理を行う。
なお、上記の位置合わせの手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、例えば、撮像装置２００を三脚等を用いて所定位置に固定して撮像した場合などのように、被写体存在画像Paと被写体非存在画像Pbとの背景が略同一となる場合には、被写体存在画像Paの被写体包囲枠Wa内の画像データと被写体非存在画像Pbの対応枠Wb内の画像データとの位置合わせを必ずしも行う必要はない。

被写体抽出部５ｅは、被写体包囲枠Wa内の画像及び対応枠Wb内の画像との対応する各画素の差分情報に基づいて、被写体包囲枠Wa内から被写体領域を抽出する。
即ち、被写体抽出部５ｅは、位置合わせ部５ｉにより位置合わせされた被写体存在画像Paの被写体包囲枠Wa内の画像データと被写体非存在画像Pbの対応枠Wb内の画像データとの間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を抽出する。また、例えば、撮像部１により被写体存在画像Paが連続して所定枚数撮像された場合には、被写体抽出部５ｅは、複数の被写体存在画像Pa、…の各々から被写体領域を抽出する処理を行う。

次に、撮像処理についてについて、図６及び図７を参照して説明する。
図６は、撮像処理に係る動作の一例を示すフローチャートである。また、図７（ａ）〜図７（ｄ）は、撮像処理に係る画像の一例を模式的に示す図である。
なお、以下の撮像処理にあっては、予め被写体存在画像Paの記録枚数（例えば、２０枚等）を設定しておくものとする。

図６に示すように、先ず、表示制御部７は、上記実施形態１における被写体切り抜き処理と同様に、ライブビュー画像を表示部８の表示画面に表示させる（ステップＳ２１）。
次に、中央制御部１０は、上記実施形態１における被写体切り抜き処理と同様に、撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されていないと判定されると（ステップＳ２２；ＮＯ）、中央制御部１０は、処理をステップＳ２１に以降して、ステップＳ２にて、撮像指示が入力されたと判定されるまで（ステップＳ２２；ＹＥＳ）、当該判定処理を繰り返す。

そして、ステップＳ２２にて、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、中央制御部１０は、上記実施形態１における被写体切り抜き処理と同様に、背景内に被写体Ｓ（例えば、ヒト；図７（ａ）等参照）が存在する被写体存在画像Paの撮像部１による撮像を開始する（ステップＳ２３）。続けて、画像処理部５の画像取得部５ａは、上記実施形態１における被写体切り抜き処理と同様に、被写体存在画像Paの画像データを取得して、被写体検出部５ｂは、各種画像処理によって被写体存在画像Paの画像データから被写体Ｓ（例えば、ヒト）を検出する（ステップＳ２４）。
次に、撮像制御部２のＡＦ処理部２ａは、上記実施形態１における被写体切り抜き処理と同様に、被写体検出部５ｂにより検出された被写体Ｓを合焦対象として設定した後、当該合焦対象の被写体Ｓの検出枠をＡＦエリアとして、ＡＦエリア内の画像にフォーカスを合わせる自動合焦処理を行う（ステップＳ２５）。

次に、画像処理部５の被写体枠設定部５ｄは、上記実施形態１における被写体切り抜き処理と同様に、被写体存在画像Pa内で被写体包囲枠Waを設定する（ステップＳ２６）。続けて、中央制御部１０は、上記実施形態１における被写体切り抜き処理と同様に、ＡＦ処理部２ａによる自動合焦処理後に、画像データ生成部３により生成された被写体存在画像PaのＹＵＶデータをメモリ４に一時記憶させる（ステップＳ２７）。

次に、中央制御部１０は、上記実施形態１における被写体切り抜き処理と同様に、所定枚数の被写体存在画像Paをメモリ４に一時記憶したか否かを判定する（ステップＳ２８）。
ここで、所定枚数の被写体存在画像Paを一時記憶していないと判定されると（ステップＳ２８；ＮＯ）、被写体追跡部５ｃは、上記実施形態１における被写体切り抜き処理と同様に、被写体検出部５ｂにより検出された被写体Ｓを追跡対象として設定し、当該追跡対象の被写体Ｓを隣合う画像フレーム間で動体解析により追跡する追跡処理を行う（ステップＳ２９）。

続けて、画像処理部５の被写体枠設定部５ｄは、上記実施形態１における被写体切り抜き処理と同様に、新たに撮像された被写体存在画像Pa内で被写体包囲枠Wa（図７（ｂ）、（ｃ）等参照）を設定する（ステップＳ３０）。

続けて、中央制御部１０は、上記実施形態１における被写体切り抜き処理と同様に、処理をステップＳ７に移行して、画像データ生成部３により生成された被写体存在画像PaのＹＵＶデータをメモリ４に一時記憶させた後（ステップＳ２７）、所定枚数の被写体存在画像Paをメモリ４に一時記憶したか否かを判定する（ステップＳ２８）。
ここで、所定枚数の被写体存在画像Paを一時記憶したと判定されると（ステップＳ２８；ＹＥＳ）、記録媒体制御部６は、メモリ４に一時記憶されている所定枚数の被写体存在画像Paの各々を順次取得して、各被写体存在画像Paの被写体包囲枠Waの領域情報（例えば、四隅の座標等）と対応付けて一ファイルで記録媒体Ｍの所定の記録領域に記録させる（ステップＳ３１）。

その後、撮像制御部２は、被写界深度が最も深くなるように絞り値を所定量絞るとともに、当該絞り値に応じて電子撮像部１ｂ１の露光時間及びＩＳＯ感度を決定した後、被写体存在画像Paと同一の背景内に被写体Ｓが存在しない被写体非存在画像Pbを撮像部１により撮像させ、画像データ生成部３は、撮像部１の電子撮像部１ｂ１から転送された被写体非存在画像Pbの画像フレームのＹＵＶデータを生成する（ステップＳ３２）。
その後、記録媒体制御部６は、被写体非存在画像Pbの画像データを取得して、記録媒体Ｍの所定の記録領域に記録させる（ステップＳ３３）。
これにより、撮像処理を終了する。

なお、上記撮像処理にあっては、一枚目の被写体存在画像Pa1の撮像の際にのみ自動合焦処理を行うようにし、二枚目以降の被写体存在画像Pa2等の撮像の際には行わないようにしたため、二枚目以降の被写体存在画像Pa2等がピンぼけになる虞もある。そこで、所定枚数の被写体存在画像Paの撮像を被写界深度の深いパンフォーカスにて行うようにしても良い。

次に、被写体切り抜き処理について図８及び図９を参照して説明する。
図８は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図９（ａ）〜図９（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。

図８に示すように、先ず、画像処理部５の画像取得部５ａは、記録媒体Ｍから被写体非存在画像Pbの画像データを取得する（ステップＳ４１）。
次に、画像取得部５ａは、記録媒体Ｍから連続して撮像された所定枚数の被写体存在画像Paのうち、一の被写体存在画像Pa（例えば、一枚目の被写体存在画像Pa1等）の画像データ及び被写体包囲枠Waの領域情報（例えば、被写体包囲枠Waの四隅の座標等）を取得する（ステップＳ４２；図９（ａ）参照）。続けて、画像処理部５の対応枠設定部５ｈは、被写体包囲枠Waの領域情報に基づいて、被写体非存在画像Pb内で被写体包囲枠Waに対応する対応枠Wb（図９（ｂ）参照）を設定する（ステップＳ４３）。具体的には、対応枠設定部５ｈは、例えば、矩形状の被写体包囲枠Waの四隅の座標を矩形枠の四隅の座標として被写体非存在画像Pb内で対応枠Wbを設定する。

次に、画像処理部５の位置合わせ部５ｉは、被写体非存在画像Pbの対応枠Wb内の画像データを基準に、被写体存在画像Paの被写体包囲枠Wa内の画像データの射影変換行列を算出する（ステップＳ４４）。具体的には、位置合わせ部５ｉは、被写体非存在画像Pbの対応枠Wb内の画像データから特徴点を抽出した後、抽出された特徴点に基づいて、対応枠Wb内の画像データに対する被写体包囲枠Wa内の画像データの各画素の座標変換式（射影変換行列）を算出する。
続けて、位置合わせ部５ｉは、算出された座標変換式に従って被写体包囲枠Wa内の画像データを座標変換（射影変換）して対応枠Wb内の画像データと位置合わせを行う（ステップＳ４５）。

次に、画像処理部５の被写体抽出部５ｅは、被写体存在画像Paの被写体包囲枠Wa内から被写体Ｓが含まれる被写体領域を特定して被写体画像Ｇを抽出する（ステップＳ４６）。
具体的には、被写体抽出部５ｅは、被写体存在画像Paの被写体包囲枠Wa内の画像データと被写体非存在画像Pbの対応枠Wb内の画像データの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体抽出部５ｅは、ローパスフィルタをかけた被写体包囲枠Wa内の画像データと対応枠Wb内の画像データとの間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体抽出部５ｅは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体抽出部５ｅは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Ｇとして特定し、収縮分を修正するための膨張処理を行う。

次に、画像処理部５の領域情報生成部５ｆは、抽出された被写体画像Ｇの被写体存在画像Pa内での領域を示す領域情報（例えば、アルファマップ）を生成する（ステップＳ４７）。
続けて、画像処理部５の切り抜き画像生成部５ｇは、被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Pg（図９（ｃ）参照）の画像データを生成する処理を行う（ステップＳ４８）。具体的には、切り抜き画像生成部５ｇは、被写体存在画像Pa、単一色画像及びアルファマップを読み出してメモリ４に展開した後、被写体存在画像Paの全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

次に、画像処理部５は、所定枚数全ての被写体存在画像Paについて、被写体切り抜き画像Pgを生成する処理を行ったか否かを判定する（ステップＳ４９）。
ここで、全ての被写体存在画像Paについて処理していないと判定されると（ステップＳ４９；ＮＯ）、画像処理部５は、処理対象として次の被写体存在画像Pa（例えば、二枚目の被写体存在画像Pa2等）を指定して、画像取得部５ａは、記録媒体Ｍから当該被写体存在画像Paの画像データ及び被写体包囲枠Waの領域情報を取得する（ステップＳ５０）。その後、画像処理部５は、処理をステップＳ４３に移行して、対応枠設定部５ｈは、被写体包囲枠Waの領域情報に基づいて、被写体非存在画像Pb内で被写体包囲枠Waに対応する対応枠Wbを設定する（ステップＳ４３）。
上記の処理を、画像処理部５は、ステップＳ４９にて、全ての被写体存在画像Paについて処理したと判定されるまで（ステップＳ４９；ＹＥＳ）、実行する。

そして、ステップＳ４９にて、全ての被写体存在画像Paについて処理したと判定されると（ステップＳ４９；ＹＥＳ）、記録媒体制御部６は、上記実施形態１における被写体切り抜き処理と同様に、所定枚数の被写体切り抜き画像Pgの画像データとそれぞれ対応するアルファマップとを画像処理部５から取得して、これら被写体切り抜き画像Pgの画像データの各々についてアルファマップと対応付けて一ファイルで記録媒体Ｍの所定の記録領域に記録させる（ステップＳ１５）。
なお、被写体切り抜き画像Pgを記録媒体Ｍに記録させる前に、表示制御部７は、当該被写体切り抜き画像Pgを表示部８に表示させるようにしても良い。
これにより、被写体切り抜き処理を終了する。

以上のように、実施形態２の撮像装置２００によれば、被写体存在画像Paの背景と同一の背景内に被写体Ｓの存在しない被写体非存在画像Pb内で、被写体包囲枠Waに対応する対応枠Wbを設定し、被写体包囲枠Wa内の画像データと対応枠Wb内の画像データとの対応する各画素の差分情報に基づいて、被写体包囲枠Wa内から被写体領域を抽出することで、被写体領域の抽出を適正に行うことができる。
このとき、被写体存在画像Pa全体や被写体非存在画像Pb全体を処理対象とする場合に比べて処理対象となるデータ量を削減することができ、被写体領域の抽出にかかる処理負担の軽減を図ることができる。さらに、被写体存在画像Pa全体から被写体領域を抽出する場合に比べて被写体領域以外の領域を相対的に少なくすることができ、被写体領域の特定ミスなどに起因する当該被写体領域以外の領域の抽出の防止を図ることができる。

また、背景内に存在する被写体Ｓを連続して撮像することで被写体存在画像Paを逐次生成して、当該被写体存在画像Paを取得し、更に、これら被写体存在画像Pa内で被写体包囲枠Waを逐次設定する。そして、被写体非存在画像Pb内で、逐次設定された被写体包囲枠Waに対応する対応領域をそれぞれ設定するので、被写体存在画像Paを連続して所定枚数撮像した場合であっても、所定枚数の被写体存在画像Paに対して被写体非存在画像Pbを一枚だけ撮像して、当該被写体非存在画像Pb内で各被写体存在画像Paの被写体包囲枠Waと対応する対応枠Wbをそれぞれ設定する。そして、当該被写体包囲枠Wa内の画像データと対応枠Wb内の画像データとの対応する各画素の差分情報に基づいて、被写体包囲枠Wa内から被写体領域を抽出することができる。
さらに、このとき、複数の被写体存在画像Pa、…のうち、一の被写体存在画像Pa（例えば、一枚目の被写体存在画像Pa1等）から被写体Ｓを検出するとともに、当該一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa（例えば、二枚目以降の被写体存在画像Pa2等）にて被写体Ｓを逐次追跡する。そして、一の被写体存在画像Pa内で検出された被写体Ｓを包囲するように被写体包囲枠Waを設定するとともに、一の被写体存在画像Paと異なる少なくとも一の被写体存在画像Pa内で逐次追跡される被写体Ｓを包囲するように被写体包囲枠Waを逐次設定する。従って、被写体存在画像Paを連続して撮像する場合に、各被写体存在画像Paにて被写体Ｓを包囲する被写体包囲枠Waをそれぞれ設定して、当該被写体包囲枠Waから被写体Ｓが含まれる被写体領域を抽出することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、所定枚数の被写体存在画像Pa（静止画像）を連続して撮像するようにしたが、被写体存在画像Paの動画像を所定の記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式や、ＭＰＥＧ形式等）により撮像しても良い。
さらに、必ずしも被写体存在画像Paを複数撮像する必要はなく、一枚の被写体存在画像Paを静止画像として撮像しても良い。

また、撮像装置１００、２００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置１００、２００を例示したが、これに限られるものではい。例えば、被写体存在画像Paの撮像や当該被写体存在画像Paの画像データの生成は、当該撮像装置１００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データのみを記録して、被写体切り抜き処理のみを実行しても良い。同様に、被写体存在画像Pa及び被写体非存在画像Pbの撮像や当該被写体存在画像Paや被写体非存在画像Pbの画像データの生成は、当該撮像装置２００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データのみを記録して、被写体切り抜き処理のみを実行しても良い。

加えて、上記実施形態にあっては、取得手段、被写体検出手段、第１設定手段、抽出手段としての機能を、中央制御部１０の制御下にて、画像処理部５の画像取得部５ａ、被写体検出部５ｂ、被写体枠設定部５ｄ、被写体抽出部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、被写体検出処理ルーチン、設定処理ルーチン、抽出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、背景内に被写体Ｓが存在する被写体存在画像Paを取得する手段として機能させるようにしても良い。また、被写体検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された被写体存在画像Paから被写体Ｓを検出する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１０のＣＰＵを、当該被写体存在画像Pa内で、検出された被写体Ｓが包囲される被写体包囲領域を設定する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１０のＣＰＵを、設定された被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から被写体Ｓが含まれる被写体領域を抽出する手段として機能させるようにしても良い。

同様に、追跡手段、合焦手段、第２設定手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００、２００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 画像処理部
５ａ 画像取得部
５ｂ 被写体検出部
５ｃ 被写体追跡部
５ｄ 被写体枠設定部
５ｅ 被写体抽出部
５ｈ 対応枠設定部
１０ 中央制御部

Claims (9)

1. 背景内に被写体が存在する被写体存在画像を取得する取得手段と、
   この取得手段により取得された前記被写体存在画像から被写体を検出する被写体検出手段と、
   当該被写体存在画像内で、前記被写体検出手段により検出された被写体が包囲される被写体包囲領域を設定する第１設定手段と、
   この第１設定手段により設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する抽出手段と、
   を備えたことを特徴とする画像処理装置。
2. 被写体存在画像を撮像する第１撮像手段を更に備え、
   前記取得手段は、前記第１撮像手段によって撮像された前記被写体存在画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体検出手段は、前記第１撮像手段により連続して撮像される前記複数の被写体存在画像において、逐次被写体を検出して追跡する追跡手段を更に備え、
   前記第１設定手段は、更に、前記追跡手段により逐次追跡される被写体を包囲するように前記被写体包囲領域を逐次設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体検出手段によって検出された被写体に合焦する合焦手段を更に備え、
   前記抽出手段は、
   前記被写体包囲領域内の画像のエッジを検出し、当該エッジにより形成された領域を前記被写体領域として抽出することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記被写体存在画像と略同一の画角で被写体が存在しない被写体非存在画像を撮像する第２撮像手段と、
   この第２撮像手段により撮像された前記被写体非存在画像内で、前記第１設定手段により設定された前記被写体包囲領域に対応する対応領域を設定する第２設定手段と、を更に備え、
   前記抽出手段は、更に、
   前記第１設定手段により設定された前記被写体包囲領域と前記第２設定手段により設定された前記対応領域との対応する各画素の差分情報に基づいて、前記被写体包囲領域から前記被写体領域を抽出することを特徴とする請求項２に記載の画像処理装置。
6. 前記第１撮像手段は、連続した撮像によって略同一の画角の前記被写体存在画像を複数撮像し、
   前記第１設定手段は、更に、前記第１撮像手段により順次撮像される前記被写体存在画像内で前記被写体包囲領域を逐次設定し、
   前記第２設定手段は、更に、前記第２撮像手段により撮像された前記被写体非存在画像内で、前記第１設定手段により逐次設定された前記被写体包囲領域に対応する対応領域をそれぞれ設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記被写体包囲領域の大きさは、前記被写体検出手段により検出される被写体の大きさに応じて可変することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
8. 画像処理装置を用いた画像処理方法であって、
   背景内に被写体が存在する被写体存在画像を取得する処理と、
   取得された前記被写体存在画像から被写体を検出する処理と、
   当該被写体存在画像内で、検出された被写体が包囲される被写体包囲領域を設定する処理と、
   設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する処理と、
   を含むことを特徴とする画像処理方法。
9. 画像処理装置のコンピュータを、
   背景内に被写体が存在する被写体存在画像を取得する手段、
   この取得された前記被写体存在画像から被写体を検出する手段、
   当該被写体存在画像内で、検出された被写体が包囲される被写体包囲領域を設定する手段、
   この設定された前記被写体包囲領域を被写体領域抽出処理の処理対象とし、この被写体包囲領域から前記被写体が含まれる被写体領域を抽出する手段、
   として機能させることを特徴とするプログラム。