JP2015148904A - 被写体検出装置、撮像装置及びプログラム - Google Patents

Abstract

【課題】 被写体に応じて的確な特定領域を抽出する。
【解決手段】 被写体検出装置は、処理対象の画像を用いて複数の異なる二値化画像を生成する二値化処理部と、各々の二値化画像で抽出された画素領域について、二値化処理前の画像から取得した前記画素領域に対応する画素の強度を用いて、前記画素領域の被写体らしさを示す評価値をそれぞれ算出する評価値算出部と、前記評価値を用いて、前記処理対象の画像の特定領域に相当する前記画素領域を抽出する抽出部と、を備える。
【選択図】 図１

Description

本発明は、被写体検出装置、撮像装置及びプログラムに関する。

従来、焦点調節に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体抽出の手法を用いた焦点調節を行う撮像装置が開示されている。特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節を行うことを可能としている。

特開２００９−０６９７４８号公報

ところで、被写体抽出に際しては、ユーザが撮影対象としている特定領域（例えば、被写体領域や注目領域など）を抽出する際に、背景である領域についても抽出を行ってしまう場合がある。

一の観点の被写体検出装置は、処理対象の画像を用いて複数の異なる二値化画像を生成する二値化処理部と、各々の二値化画像で抽出された画素領域について、二値化処理前の画像から取得した前記画素領域に対応する画素の強度を用いて、前記画素領域の被写体らしさを示す評価値をそれぞれ算出する評価値算出部と、前記評価値を用いて、前記処理対象の画像の特定領域に相当する前記画素領域を抽出する抽出部と、を備える。

一の観点の撮像装置は、被写体の像を撮像する撮像部と、一の観点の被写体検出装置とを備える。

一の観点のプログラムは、処理対象の画像を用いて複数の異なる二値化画像を生成し、各々の二値化画像で抽出された画素領域について、二値化処理前の画像から取得した前記画素領域に対応する画素の強度を用いて、前記画素領域の被写体らしさを示す評価値をそれぞれ算出し、前記評価値を用いて、前記処理対象の画像の特定領域に相当する前記画素領域を抽出する処理をコンピュータに実行させる。

本発明によれば、被写体に応じて的確に特定領域の抽出を行うことができる。

撮像装置の構成例を示す機能ブロック図である。 被写体検出部の構成例を示す機能ブロック図である。 Ｙ成分の差分画像の画素値の分布の一例を示す図である。 静止画撮影モードにおける処理を示すフローチャートである。 被写体検出処理に係る処理を示すフローチャートである。 差分画像を絞り込む処理を示すフローチャートである。 スルー画像の一例を示す図である。 図６に示すスルー画像から得られる、Ｙ成分、Ｃｂ成分及びＣｒ成分の差分画像の一例を示す図である。 図７に示す差分画像から得られる二値化画像の一例を示す図である。 マスクを絞り込む処理を示すフローチャートである。 スルー画像の一例を示す図である。 図１１に示すスルー画像から得られる二値化画像の一例を示す図である。 被写体に相当するマスクを抽出する処理を示すフローチャートである。 スルー画像の一例を示す図である。 図１４に示すスルー画像から得られる二値化画像の一例を示す図である。 スルー画像の一例を示す図である。 図１６に示すスルー画像から得られる二値化画像の一例を示す図である。 スルー画像の一例を示す図である。 図１８に示すスルー画像から得られる二値化画像の一例を示す図である。 複数の二値化画像からそれぞれ抽出されたマスクの位置を写像した例を示す図である。 図２１に示す各マスクの平均強度を示す図である。 （ａ）実施形態で最終的に抽出される上位２つのマスクを示す図である。（ｂ）マスクの形状および位置のみに基づいて最終的に抽出される上位２つのマスクを示す図である。 画像処理装置の構成例を示す機能ブロック図である。

＜第１実施形態＞
以下、本発明の実施の形態について説明する。図１は、本発明の撮像装置の一例を示す機能ブロック図である。なお、撮像装置１０としては、デジタルカメラの他、例えばカメラ機能を備えた携帯電話機やタブレットＰＣなどの携帯型端末機器が挙げられる。

撮像装置１０は、撮像光学系１５、光学系駆動部１６、撮像部１７、焦点調節部１８、制御部１９、第１メモリ２０、第２メモリ２１、メディアＩ／Ｆ２２、表示部２３及び操作部２４を備えている。ここで、光学系駆動部１６、撮像部１７、焦点調節部１８、第１メモリ２０、第２メモリ２１、メディアＩ／Ｆ２２、表示部２３及び操作部２４は、制御部１９にそれぞれ接続される。

撮像光学系１５は、例えばズームレンズやフォーカスレンズを含む複数のレンズを有している。簡単のため、図１では、撮像光学系１５を１枚のレンズで示す。撮像光学系１５に含まれるズームレンズやフォーカスレンズの各レンズ位置は、光学系駆動部１６によってそれぞれ光軸方向に調整される。この撮像光学系１５は、一眼レフレックスカメラなどのビューファインダカメラに代表されるように、撮像装置１０の装置本体に対して着脱自在となるレンズ鏡筒内に設けてもよいし、コンパクトカメラに代表されるように、撮像装置１０の装置本体に一体に設けられるレンズ鏡筒内に設けてもよい。

撮像部１７は、撮像光学系１５を介して入射された光束による被写体の像を撮像（撮影）するモジュールである。撮像部１７は、例えば、撮像光学系１５により光電変換面に結像された光学像を撮像素子内でデジタル信号に変換して出力する撮像素子を備えてもよい。また、例えば、撮像部１７は、撮像素子およびＡ／Ｄ変換部を備え、撮像素子は撮像光学系１５により光電変換面に結像された光学像を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、撮像素子によって変換された電気信号をデジタル化して、デジタル信号として出力する構成としてもよい。ここで、上述した撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子で構成される。この撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力することができる。なお、撮像素子は、光電変換面の一部の領域について被写体の像を電気信号に変換する、所謂画像の切り出しを行えるようにしてもよい。

ここで、撮像部１７は、操作部２４からの撮像指示に応じて、不揮発性の記憶媒体３５への記録を伴う記録用の静止画像を撮影する。このとき、撮像部１７は、記録用の静止画像を連写撮影することもできる。また、撮像部１７は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。スルー画像は、記録用の静止画像と比べて間引きにより解像度（画像サイズ）が低くなっている。時系列に取得されたスルー画像のデータは、制御部１９による各種の演算処理や、表示部２３での動画表示（ライブビュー表示）に使用される。なお、撮像部１７で取得される画像を、撮像画像と称することもある。

焦点調節部１８は、撮像部１７の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節（Auto Focus）を実行する。

例えば、焦点調節部１８は、スルー画像を用いて公知のコントラスト検出によりＡＦを実行するものであってもよい。あるいは、焦点調節部１８は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からＡＦを実行するものであってもよい。位相差検出方式による場合、焦点調節部１８は撮像光学系１５から入射する光束の一部を用いて、撮像部１７から独立して焦点検出を行うモジュール（例えば、一眼レフ形式のカメラに実装される焦点検出モジュール）であってもよい。あるいは、撮像部１７の受光面に焦点検出用の受光素子を配置し、焦点調節部１８が撮像面で位相差検出ＡＦを行うようにしてもよい。

制御部１９は、撮像装置１０の動作を統括的に制御するプロセッサである。例えば、制御部１９は、撮像部１７での撮像画像の撮影制御、自動露出（Auto Exposure）制御、表示部２３での画像の表示制御、第１メモリ２０およびメディアＩ／Ｆ２２での画像の記録制御を行う。この制御部１９は、画像処理部３１を有している。画像処理部３１は、スルー画像や撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。この画像処理部３１は、上述した画像処理を行う機能の他に、被写体検出装置の一例としての被写体検出部３２の機能を備えている。なお、第１の実施形態においては、被写体検出部３２の機能を備えた画像処理部３１の構成としているが、被写体検出部３２は、画像処理部３１とは異なる機能として設けることもできる。

被写体検出部３２は、撮像部１７で撮像された画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。例えば、被写体検出部３２は、カラーのスルー画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。

ここで、図１に示す制御部１９の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他の電子回路で実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。上述した画像処理部３１、被写体検出部３２は、制御部１９によって処理されるプログラムモジュールである。しかし、画像処理部３１、被写体検出部３２の少なくとも一方は、ＡＳＩＣ(Application Specific Integrated Circuit)等であってもよい。

第１メモリ２０は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ２０は、ＳＤＲＡＭ等の揮発性メモリである。第２メモリ２１は、制御部１９で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ２１は、フラッシュメモリ等の不揮発性メモリである。

メディアＩ／Ｆ２２は、不揮発性の記憶媒体３５を接続するためのコネクタを有している。そして、メディアＩ／Ｆ２２は、コネクタに接続された記憶媒体３５に対してデータ（記録用画像）の書き込み／読み込みを実行する。記憶媒体３５は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、メディアＩ／Ｆ２２が記憶媒体３５に対して光学的にデータを読み取る又は書き込む場合には、記憶媒体３５は、光学ディスクである。

次に、図２を用いて、被写体検出部３２の構成について説明する。被写体検出部３２は、色空間変換部４１、解像度変換部４２、差分画像生成部４３、画像判定部４４、二値化処理部４５、マスク絞込部４６、評価値算出部４７及びマスク抽出部４８を備えている。ここで、被写体検出部３２の各機能ブロックは、制御部１９によって処理されるプログラムモジュールであってもよいし、ＡＳＩＣ等であってもよい。

色空間変換部４１は、入力されるスルー画像のデータに対して色空間変換処理を実行する。制御部１９に入力される画像のデータは、例えばＲＧＢ色空間で表されるデータである。したがって、色空間変換部４１は、入力される画像のデータを、ＲＧＢ色空間で表されるデータから、ＹＣｂＣｒ色空間で表されるデータに変換する。

解像度変換部４２は、色空間変換処理が施されたスルー画像のデータに対して解像度変換処理を施す。この解像度変換処理により、入力されるスルー画像は、その解像度が元の解像度よりも低解像度となる、言い換えればスルー画像の画像サイズが小さくなる。

第１実施形態では、被写体検出部３２として、色空間変換部４１及び解像度変換部４２を備えた構成としているが、色空間変換処理及び解像度変換処理が施されたスルー画像のデータが被写体検出部３２に入力されることを前提とする場合には、色空間変換部４１及び解像度変換部４２の構成は省略することが可能である。また、色空間変換処理及び解像度変換処理を被写体検出処理における前処理として１処理でまとめて実行することを前提とするのであれば、色空間変換部４１及び解像度変換部４２の構成を１つの構成として（画像変換部の構成として）まとめることも可能である。

差分画像生成部４３は、ＹＣｂＣｒ色空間で表されるスルー画像の画素値の平均値を、Ｙ成分、Ｃｂ成分及びＣｒ成分毎に算出する。差分画像生成部４３は、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎に算出された画素値の平均値を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎の基準濃度画像を生成する。ここで、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎の基準濃度画像は、解像度変換処理が施されたスルー画像の解像度と同一の解像度であり、各画素の画素値がいずれも共通する画像である。

ここで、Ｙ成分、Ｃｂ成分及びＣｒ成分のうち、Ｃｂ成分及びＣｒ成分の画素値は、Ｙ成分の画素値よりも小さいことがわかっている。つまり、二値化処理により得られる各成分のマスクのうち、Ｙ成分のマスクは、その評価値が高い。ここで、評価値の高いＹ成分のマスクは、光が反射している領域や背景となる領域など、輝度が高い領域が多い。その結果、被写体がない領域が被写体の領域として特定されてしまう。したがって、各成分の二値化画像から生成されたマスクの評価値を適切に演算するために、Ｃｂ成分及びＣｒ成分の画素値に対しては、予め所定の係数（例えば３など）を乗算しておくことも可能である。

差分画像生成部４３は、解像度変換処理が施されたスルー画像と基準濃度画像とを用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎に、２つの差分画像を生成する。この２つの差分画像は、正の差分画像と負の差分画像とからなる。ここで、正の差分画像は、解像度変換処理が施されたスルー画像において、基準濃度画像の画素値を超過する画素値を有する画素の分布を表す画像であり、負の差分画像とは、解像度変換処理が施されたスルー画像において、基準濃度画像の画素値未満となる画素値を有する画素の分布を表す画像である。

差分画像生成部４３は、Ｙ成分の正の差分画像を生成する際に、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定する。または、差分画像生成部４３は、差分値が０以上となる画素の画素値を差分値に設定し、差分値が０未満となる画素については差分値はなしとしてもよい。いずれの場合においても、Ｙ成分の正の差分画像では、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値を超過する画素においては、その階調がそのまま保持される。ここで、Ｙ成分の正の差分画像において、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値を超過する画素の画素値の大きさは、Ｙ成分の基準濃度画像からの乖離度合いを示している。

また、差分画像生成部４３は、Ｙ成分の負の差分画像を生成する際に、差分値が０以上となる画素の画素値を０に設定し、差分値が０未満となる画素の画素値を差分値の絶対値に設定する。または、差分画像生成部４３は、差分値が０超過する画素の画素値においては差分値を０に設定し、差分値が０未満となる画素を、差分値の絶対値に設定する。いずれの場合についても、Ｙ成分の負の差分画像では、Ｙ成分の画素値がＹ成分の基準濃度画像の画素値未満となる画素においては、その階調がそのまま保持される。ここで、負の差分画像において、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値未満となる画素の画素値の大きさは、基準濃度画像からの乖離度合いを示している。

差分画像生成部４３は、上述した方法でＹ成分の正の差分画像及び負の差分画像を生成すると同時に、Ｃｂ成分の正の差分画像及び負の差分画像、及びＣｒ成分の正の差分画像及び負の差分画像を生成する。したがって、差分画像生成部４３は、計６個の差分画像を生成する。

上述した記載では、差分画像生成部４３は、各成分の画像から対応成分の基準濃度画像を減じた結果を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の負の差分画像をそれぞれ生成しているが、これに限定する必要はなく、基準濃度画像から対応成分の画像を減じた後、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定することで、負の差分画像を生成してもよい。

画像判定部４４は、生成された６個の差分画像毎にヒストグラムを生成する。そして、画像判定部４４は、生成したヒストグラム毎に、ヒストグラムの標準偏差σ及びピーク・ピーク値（peak to peak)ｐｐを求める。ここで、ヒストグラムの標準偏差σ及びピーク・ピーク値ｐｐは、ヒストグラムにおける画素値の分布のばらつき（または広がり）を示す指標となる。上述したように、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定した正の差分画像の場合、ピーク・ピーク値ｐｐは、例えば度数が最も高くなる画素値から、度数が二番目に高くなる画素値までの幅である。また、差分値が０以上となる画素の画素値を差分値に設定し、差分値が０未満となる画素については差分値なしとした正の差分画像の場合、ピーク・ピーク値は、例えばヒストグラムの０から、最大値までの幅である。

なお、上述したピーク・ピーク値ｐｐは一例であり、ヒストグラムにおける画素値及び度数の分布のばらつきを示す指標であれば、どのようなものであってもよい。例えば差分画像に代えて、ＹＣｂＣｒ色空間で表されるスルー画像の各成分毎に対してヒストグラムを生成し、各成分毎のヒストグラムにおいて度数が最も高くなる値を基準として、ピーク・ピーク値ｐｐを求めることも可能である。

画像判定部４４は、ヒストグラム毎に生成した標準偏差σと閾値Ｔｈ１とを比較する。また、画像判定部４４は、ヒストグラム毎のピーク・ピーク値ｐｐと閾値Ｔｈ２とを比較する。ここで、閾値Ｔｈ１及び閾値Ｔｈ２は、差分画像に含まれる画素の画素値の分布のばらつきを判断するための閾値である。また、閾値Ｔｈ１及び閾値Ｔｈ２は異なる閾値であり、それぞれ独立に定められる。

例えば複数の花を撮影範囲としたスルー画像が取得した場合を考慮する。この場合、取り込まれるスルー画像においては、花の領域が画像の大部分を占める。したがって、色差成分の差分画像においては、花の色に基づく色差成分の度数が高く、また、色差成分の値のばらつきは小さい。

例えば複数の花が黄色の花であれば、Ｃｂ成分の負の差分画像から生成されるヒストグラムにおける標準偏差σ及びピーク・ピーク値ｐｐは、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２となる。一方、Ｃｂ成分の正の差分画像や、Ｃｒ成分の正及び負の差分画像のヒストグラムにおける標準偏差σ及びピーク・ピーク値ｐｐは、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２とはならない。このような場合、画像判定部４４は、Ｃｂ成分の負の差分画像に対してのみ、被写体として特定できるオブジェクトが存在しないと判定し、Ｃｂ成分の負の差分画像を被写体を特定する際に用いる差分画像から除外する。

このように、花の色が他の単一色の場合には、Ｃｂ成分及びＣｒ成分の差分画像のいずれかにおいて、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜Ｔｈ２となる。したがって、画像判定部４４は、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜Ｔｈ２となる色差成分の差分画像を、被写体を特定する際に用いる差分画像から除外する。ここでは、複数の花の画像を例に挙げて説明しているが、森林の画像など、単一の色成分がスルー画像の大部分を占めている画像の場合には、いずれかの色差成分の差分画像において、上述した判定となりやすい。したがって、画像判定部４４は、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２となるＣｂ成分又はＣｒ成分の差分画像を、被写体を特定する際に用いる差分画像から除外する。

一方、複数の花の他に、異なる被写体や背景部分を含めた撮像範囲のスルー画像では、複数の花が占める領域が、異なる被写体の領域や背景部分の領域と同一の大きさ又はそれ以下の大きさとなる、つまり、撮像範囲に占める割合が小さくなる。この場合、色差成分の差分画像のヒストグラムでは、特定色の画素値の度数は高くなるが、画素値のばらつきが大きい。このような画像では、標準偏差σの値は小さいが、ピーク・ピーク値ｐｐの値は大きくなりやすい。このような差分画像は、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ≧閾値Ｔｈ２、又は、標準偏差σ≧閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２であると判定される。したがって、画像判定部４４は、該当する差分画像を、被写体を特定する際に用いる差分画像から除外することはせずに保持する。

さらに、突出した色差成分がないスルー画像の場合、差分画像のヒストグラムは、標準偏差σ≧閾値Ｔｈ１、且つピーク・ピーク値ｐｐ≧閾値Ｔｈ２となりやすい。この場合も、画像判定部４４は、該当する差分画像を、被写体を特定する際に用いる差分画像から除外することはせずに保持する。

なお、色差成分の差分画像を対象にして説明しているが、上記判定は、Ｃｂ成分及びＣｒ成分の差分画像の他、Ｙ成分の差分画像に対しても実行される。

ここで、上記判定を行ったときに、生成した６個の差分画像の全ての差分画像が、被写体を特定する際に用いる差分画像から除外されてしまう場合もある。この場合、画像判定部４４は、一旦除外された６個の差分画像を、被写体を特定する際に用いる差分画像として再度保持する。

二値化処理部４５は、保持された差分画像を所定の閾値で二値化する二値化処理を行う。以下、保持される差分画像の種類に応じた二値化処理について説明する。

Ｙ成分の正の差分画像に対する二値化処理を行う場合、二値化処理部４５は、Ｙ成分の正の差分画像のヒストグラムから求まる標準偏差σに、係数Ｋ_１及びＫ_２（Ｋ_１＜Ｋ_２）を乗算した値を閾値Ｋ_１σ、Ｋ_２σとして設定する。これら閾値Ｋ_１σ、Ｋ_２σの設定の後、二値化処理部４５は、Ｙ成分の正の差分画像に対して、閾値Ｋ_１σを用いて二値化処理を行う。次に、二値化処理部４５は、Ｙ成分の正の差分画像と、閾値Ｋ_２σとを用いて二値化処理を行う。つまり、二値化処理部４５は、Ｙ成分の正の差分画像から２個の二値化画像を生成する。

また、Ｙ成分の負の差分画像に対する二値化処理を行う場合、二値化処理部４５は、Ｙ成分の負の差分画像から求まる標準偏差σに係数Ｋ_３を乗算した値を閾値Ｋ_３σとして設定する。閾値Ｋ_３σの設定の後、二値化処理部４５は、Ｙ成分の負の差分画像と、閾値Ｋ_３σとを用いて二値化処理を行う。つまり、二値化処理部４５は、Ｙ成分の負の差分画像から、１個の二値化画像を生成する。ここで、上述した係数Ｋ_１，係数Ｋ_２，係数Ｋ_３は、撮影シーンなどの撮影条件に応じて設定される値である。

Ｃｂ成分の正の差分画像に対する二値化処理を行う場合、二値化処理部４５は、閾値として、閾値Ｌ_１及び閾値Ｌ_２（Ｌ_１＜Ｌ_２）を設定する。二値化処理部４５は、設定された閾値Ｌ_１及び閾値Ｌ_２と、Ｃｂ成分の正の差分画像とを用いて二値化処理を行う。つまり、二値化処理部４５は、Ｃｂ成分の正の差分画像から、２個の二値化画像を生成する。

また、Ｃｂ成分の負の差分画像に対する二値化処理を行う場合、二値化処理部４５は、閾値として、閾値Ｌ_３を設定する。二値化処理部４５は、設定された閾値Ｌ_３と、Ｃｂ成分の正の差分画像とを用いて二値化処理を行う。つまり、二値化処理部４５は、Ｃｂ成分の負の差分画像から、１個の二値化画像を生成する。ここで、上述した閾値Ｌ_１，閾値Ｌ_２，閾値Ｌ_３は、撮影シーンなどの撮影条件に応じて設定される値である。

Ｃｒ成分の正の差分画像に対する二値化処理を行う場合、二値化処理部４５は、Ｃｒ成分の正の差分画像に対して設定された閾値として、閾値Ｍ_１及び閾値Ｍ_２（Ｍ_１＜Ｍ_２）を設定する。二値化処理部４５は、設定された閾値Ｍ_１及び閾値Ｍ_２と、Ｃｒ成分の正の差分画像とを用いて二値化処理を行う。つまり、二値化処理部４５は、Ｃｒ成分の正の差分画像から、２個の二値化画像を生成する。

また、Ｃｒ成分の負の差分画像に対する二値化処理を行う場合、二値化処理部４５は、閾値として閾値Ｍ_３を設定する。二値化処理部４５は、設定された閾値Ｍ_３を用いて二値化処理を行う。つまり、二値化処理部４５は、Ｃｒ成分の負の差分画像から、１個の二値化画像を生成する。ここで、上述した閾値Ｍ_１，閾値Ｍ_２，閾値Ｍ_３は、撮影シーンなどの撮影条件に応じて設定される値である。

第１実施形態では、各成分の正の差分画像に対しては、２つの閾値をそれぞれ用いて２つの二値化画像を、負の差分画像に対しては、１つの閾値を用いて１つの二値化画像を生成しているが、用いる閾値の数や、生成する二値化画像の数は、上記に限定されるものではなく、適宜設定してよい。

以下、各差分画像に対する二値化処理を行ったときに閾値以上となる画素を白画素とし、閾値未満となる画素を黒画素とする。二値化処理部４５は、各差分画像に対する二値化処理を行って生成された二値化画像に対して、画素のまとまりを求めるラベリング処理を実行する。このラベリング処理を行った後、二値化処理部４５は、白画素のかたまりをマスク（島領域）として抽出する。

マスク絞込部４６は、二値化画像から抽出されたマスクのうち、被写体候補として用いるマスクを絞り込む。以下、被写体候補として用いるマスクを被写体候補のマスクと称する。

二値化画像から抽出されたマスクの中には、二値化画像に対するマスクの面積比が１％以下となるマスクが存在する。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、二値化画像に対するマスクの面積比が１％以下となるか否かを判定する。マスク絞込部４６は、二値化画像に対するマスクの面積比が１％以下となるマスクをノイズであると判定し、被写体候補のマスクから除外する。

また、二値化画像から抽出されたマスクの中には、二値化画像に対するマスクの面積比が６０％以上となるマスクが存在する。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、二値化画像に対するマスクの面積比が６０％以上となるか否かを判定する。マスク絞込部４６は、二値化画像に対するマスクの面積比が６０％以上となるマスクを背景であると判定し、被写体候補のマスクから除外する。

また、二値化画像から抽出されたマスクの中には、マスクを含む矩形領域に対するマスクの面積比が所定の比率（例えば０．２）以下となるマスクもある。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、マスクを含む矩形領域に対するマスクの面積比が所定の比率以下となるか否かを判定する。マスク絞込部４６は、マスクを含む矩形領域に対するマスクの面積比が所定の比率以下となるマスクを充填率が低いマスクであると判定し、被写体候補のマスクから除外する。

なお、二値化画像から抽出されたマスクの中には、二値化画像の外周に相当する４辺のうち、隣り合う２辺にかかるマスクや、マスクを含む矩形領域の縦横比が所定の範囲（例えば０．２以上５未満）に含まれないマスクもある。したがって、抽出されるマスクの中に、これらのマスクが存在している場合、マスク絞込部４６は、これらマスクを被写体としては適していないマスクとして、被写体候補のマスクから除外してもよい。

また、マスク絞込部４６は、二値化画像から抽出されるマスクの数を二値化画像毎に計数する。マスク絞込部４６は、１個の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上であるか否かを判定する。そして、同一の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上であると判定された場合に、マスク絞込部４６は、対象となるマスク全体の平均強度を求める。ここで、マスク全体の平均強度とは、差分画像中の全てのマスクに該当する画素の画素値の平均値（平均画素値）が挙げられる。マスク絞込部４６は、求めたマスク全体の平均強度が閾値Ｔｈ４以下となる場合には、元になる差分画像には被写体が含まれていないと判定し、該当する差分画像から抽出される全てのマスクを被写体候補のマスクから除外する。一方、マスク全体の平均強度が閾値Ｔｈ４を超過する場合には、マスク絞込部４６は、元になる差分画像には被写体が含まれていると判定する。この場合、対象となるマスクは、被写体候補のマスクとして保持される。

なお、マスク絞込部４６は、同一の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上で、且つマスク全体の平均強度が閾値Ｔｈ４以下となるか否かを判定している。しかしながら、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上となるか否かを判定し、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上となる場合に、該当する二値化画像から抽出されるマスクを被写体候補のマスクから除外することも可能である。

評価値算出部４７は、マスク絞込部４６により絞り込まれた被写体候補のマスクのそれぞれに対して評価値を算出する。評価値は、一例として、マスクの面積、マスクに対する慣性モーメント、マスクの平均強度から求まる値である。ここで、マスクの平均強度としては、差分画像中のマスクに該当する画素の画素値の平均値が挙げられる。

まず、評価値算出部４７は、各マスクの慣性モーメントを算出する。慣性モーメントは、マスクの重心からの画素距離の２乗×（０または１）の和により算出される。ここで、マスクの重心とは、同一の二値化画像から抽出される被写体候補のマスクの重心である。なお、マスクの重心を基準として慣性モーメントを求めるのではなく、二値化画像の中心を基準として慣性モーメントを求めることも可能である。

次に、評価値算出部４７は、マスクの面積と、マスクの平均強度とをそれぞれ求める。なお、マスクの強度は、マスク抽出の元になる差分画像のうちマスクに対応する画素の画素値から求めることができる。マスクの平均強度は、マスク抽出の元になる差分画像のうちマスクに対応する各画素の平均画素値である。

最後に、以下の（１）式を用いて、マスクに対する評価値を求める。以下、マスクに対する評価値をＥｖと称する。

Ｅｖ＝Ａｒ＾α／ＭＯＩ＋Ａｖ／β・・・（１）
ここで、「Ａｒ」はマスクの面積、「ＭＯＩ」はマスクの慣性モーメント、「Ａｖ」はマスクの平均強度を示す。また、「α」及び「β」は、チューニングパラメータとしての係数である。係数αは１．５〜２程度に、係数βは１００程度に設定されるが、これら係数α、係数βは上記の例に限定されるものではない。

上記の評価値Ｅｖは、マスクの面積Ａｒが大きくなるほど大きな値となり、マスクの慣性モーメントＭＯＩが大きくなるほど小さな値となる。また、上記の評価値Ｅｖは、マスクの平均強度が大きくなるほど大きな値となる。

マスク抽出部４８は、被写体候補のマスクから、被写体とするマスクを抽出する。まず、マスク抽出部４８は、被写体候補のマスクのそれぞれに対して求めた評価値Ｅｖを用いて、被写体候補のマスクの順位付けを行う。マスク抽出部４８は、順位付けされた被写体候補のマスクのうち、上位５位のマスクを最終候補のマスクとして選択する。マスク抽出部４８は、最終候補として選択したマスクに対して、以下の処理を実行する。

マスク抽出部４８は、最終候補となる上位５位のマスクの中に、Ｃｂ成分又はＣｒ成分の差分画像を元にして抽出されたマスクがあるか否かを判定する。Ｃｂ成分又はＣｒ成分の差分画像を元にして抽出されたマスクがあれば、マスク抽出部４８は、該当するマスクの平均強度を求める。マスク抽出部４８は、求めたマスクの平均強度が閾値Ｔｈ５以下であるか否かを判定する。マスクの平均強度が閾値Ｔｈ５以下の場合、マスク抽出部４８は、該当するマスクを最終候補のマスクから除外する。例えば、スルー画像に含まれる背景の領域の色差成分には、黄色成分やシアンの成分が多く含まれる。したがって、この判定における閾値Ｔｈ５は、黄色成分やシアン成分が多く含まれる背景部分のマスクを、被写体候補のマスクから除外するために設定される値となる。ここで、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクで、且つマスクの平均強度が閾値Ｔｈ５以下であるか否かの判定を、第１の抽出判定とする。

次に、マスク抽出部４８は、最終候補となるマスクのうち、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位に、Ｙ成分の差分画像を元に抽出されたマスクがあるか否かを判定する。そして、Ｃｂ成分及びＣｒ成分の差分画像を元に抽出されたマスクの下位に、Ｙ成分の差分画像を元に抽出されたマスクがあれば、マスク抽出部４８は、該当するマスクの平均強度を求める。マスク抽出部４８は、求めたマスクの平均強度が閾値Ｔｈ６以下であるか否かを判定する。この閾値Ｔｈ６は、例えば陰などの黒い領域や、色が抜けている白い領域などのマスクを、被写体候補のマスクから除外するために設定される値となる。ここで、Ｃｂ成分及びＣｒ成分の差分画像を元に抽出されたマスクの下位に、Ｙ成分の差分画像を元に抽出されたマスクがあるか否かの判定を第２の抽出判定とする。ここで、閾値Ｔｈ６の値は、差分画像の種類に応じて異なる値を用いてもよいし、差分画像の種類に関係なく固定値であってもよい。

次に、マスク抽出部４８は、最終候補となるマスクのうち、Ｙ成分の正の差分画像を元に抽出されたマスクと、Ｙ成分の負の差分画像を元に抽出されたマスクとがあるか否かを判定する。この判定でＹ成分の正の差分画像を元に抽出されたマスクとＹ成分の負の差分画像を元に抽出されたマスクがある場合には、マスク抽出部４８は、これらマスクのうち、上位のマスクを保持し、下位のマスクを被写体候補のマスクから除外する。画像中に輝度の高い（ハイライト）領域と、画像中に輝度の低い（シャドー）領域とが混在している場合、具体的には、晴天時に撮影をした場合、被写体の輝度は高く、被写体の陰の輝度は低い。また、これらに相当するマスクの評価値Ｅｖは、被写体に相当するマスクの評価値Ｅｖは被写体の陰に相当するマスクの評価値Ｅｖよりも高い。したがって、これら領域に相当するマスクが最終候補のマスクとなる場合には、被写体に相当するマスクを残し、被写体の陰に相当するマスクを除外する。ここで、Ｙ成分の正の差分画像及びＹ成分の負の差分画像を元に抽出されたマスクがそれぞれ最終候補のマスクにあるか否かの判定を第３の抽出判定とする。

上述した第１から第３の抽出判定の後、マスク抽出部４８は、最終候補のマスクの中に、包含関係にあるマスクがあるか否かを判定する。包含関係にあるマスクがあれば、マスク抽出部４８は、包含関係にあるマスクを統合する処理を行う。包含関係にあるマスクがあるか否かの判定を第４の抽出判定とする。

上述したように、二値化処理部４５は、Ｙ成分、Ｃｂ成分及びＣｒ成分の正の差分画像のそれぞれに対して、異なる２つの閾値を用いた二値化処理を行っている。図３は、閾値Ｙ成分の正の差分画像の一例を示す。図３に示すＹ成分の正の差分画像Ｐ１において、図３に示す領域Ａ１は、含まれる画素の画素値が閾値Ｋ_１σよりも高い領域を示す。閾値Ｋ_１σを用いてＹ成分の正の差分画像Ｐ１に対する二値化処理を行うと、領域Ａ１は白画素の領域、つまりマスクとなる。また、図３に示す領域Ａ２は、領域Ａ１に含まれる領域で、かつ領域Ａ１に含まれる他の画素の画素値よりも高い画素値を有する画素の領域である。閾値Ｋ_２σを用いてＹ成分の正の差分画像Ｐ１に対する二値化処理を行うと、領域Ａ２が白画素の領域、つまりマスクとなる。ここで、領域Ａ２は、閾値Ｋ_１σを用いてＹ成分の正の差分画像Ｐ１に対する二値化処理においてもマスクとして抽出される領域である。したがって、領域Ａ１と領域Ａ２とは包含関係にあると言える。つまり、包含関係にあるとは、同一の差分画像を用いた異なる閾値を用いた二値化処理を実行したときに、一方の二値化画像から抽出されるマスクが他方の二値化画像から抽出されるマスクに含まれることを指している。このような包含関係にあるマスクが最終候補のマスクの中にある場合、マスク抽出部４８は、これらマスクを統合する。ここで、マスクを統合するとは、包含関係にあるマスクのうち、一方のマスクが含まれる他方のマスクを保持し、該一方のマスクを除外することである。図３においては、マスク抽出部４８は、領域Ａ１及び領域Ａ２に示すマスクのうち、領域Ａ２に示すマスクを除外し、領域Ａ１に示すマスクを保持する。なお、Ｙ成分の正の差分画像から生成されるマスクについて説明しているが、Ｃｂ成分及びＣｒ成分の正の差分画像から生成されるマスクについても同様である。

マスク抽出部４８は、上述した第１から第４の抽出判定を行った後、保持されるマスクが３個を超過する場合には、保持されるマスクのうち、上位３位のマスクを被写体に相当するマスクとして抽出する。一方、保持されるマスクが３個以下の場合には、保持される全てのマスクを被写体に相当するマスクとして抽出する。マスク抽出部４８は、スルー画像に対して、抽出したマスクに相当する領域を被写体の領域として特定する。そして、マスク抽出部４８は、特定した被写体の領域を示す被写体領域データとして出力する。一方、上述した複数の判定で、全てのマスクが除外される場合、言い換えれば、保持されるマスクがない場合には、マスク抽出部４８は、被写体に相当するマスクがないとする。

ここで、第１実施形態の撮像装置１０は、動作モードとして、静止画像を撮影する静止画撮影モードの他、動画像を撮影する動画撮影モードや、取得した静止画像や動画像を表示部２３にて再生する再生モードを備えている。以下、静止画撮影モードにおける処理の流れについて、図４のフローチャートを用いて説明する。

ステップＳ１０１は、スルー画像を取得する処理である。制御部１９は、撮像部１７を駆動させてスルー画像の撮像を行わせる。この撮像部１７の駆動によりスルー画像が取得される。なお、撮像部１７の駆動により取得されるスルー画像のデータは、撮像部１７から制御部１９に入力される。制御部１９は、撮像部１７からのスルー画像のデータに対して画像処理を実行する。ここで、制御部１９は、画像処理が施されたスルー画像のデータを表示部２３に出力し、表示部２３に取得されたスルー画像を表示させることも可能である。

ステップＳ１０２は、被写体検出処理である。制御部１９は、ステップＳ１０１にて取得したスルー画像を用いて被写体検出処理を実行する。これにより、撮像部１７の撮像範囲内での被写体の領域が検出される。

ステップＳ１０３は、ＡＦ制御である。制御部１９は、ステップＳ１０２で検出された被写体の領域を焦点検出エリアに設定したＡＦ制御を実行する。ここで、ステップＳ１０２における被写体検出処理において被写体の領域が得られない場合には、制御部１９は、撮像範囲の中心の領域を焦点検出エリアに設定したＡＦ制御を実行する。ここで、撮像範囲の中心の領域としては、例えば風景撮影用に設定される領域が挙げられる。この風景撮影用に設定される領域は、撮像範囲の面積の６０％の面積からなる領域である。このステップＳ１０３の処理を実行する際に、制御部１９は、設定した焦点検出エリアを基準としたＡＥ演算を行ってもよい。

ステップＳ１０４は、撮影指示があるか否かを判定する処理である。記録用の静止画像の撮影指示が操作部２４の操作によって行われると、制御部１９は、ステップＳ１０４の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０５に進む。一方、記録用の静止画像の撮影指示が操作部２４の操作により行われない場合、制御部１９は、ステップＳ１０４の判定処理の結果をＮｏとする。この場合、ステップＳ１０６に進む。

ステップＳ１０５は、撮像処理である。制御部１９は、撮像部１７を駆動させて、記録用の静止画像の撮像処理を実行する。制御部１９は、記録用の静止画像のデータに対して所定の画像処理を施す。制御部１９は、画像処理を施した記録用の静止画像のデータを、メディアＩ／Ｆ２２を介して記憶媒体３５に書き込む。この処理が終了すると、ステップＳ１０６に進む。

ステップＳ１０６は、撮影を終了させるか否かを判定する処理である。記録用の静止画像の撮影終了の指示が操作部２４の操作によって行われると、制御部１９は、ステップＳ１０６の判定処理の結果をＹｅｓとする。この場合、図４のフローチャートの処理が終了する。

一方、記録用の静止画像の撮影終了の指示が操作部２４の操作によって行われない場合、制御部１９は、ステップＳ１０６の判定処理の結果をＮｏとする。この場合、ステップＳ１０１に戻る。したがって、ステップＳ１０６の判定処理がＮｏとなる場合には、ステップＳ１０１からステップＳ１０４の処理が繰り返し実行され、これら処理が繰り返し実行されるときに、必要に応じてステップＳ１０５の撮像処理が実行される。

次に、図４のフローチャートのステップＳ１０２に示した被写体検出処理を、図５のフローチャートに基づいて説明する。

ステップＳ２０１は、色空間変換処理である。制御部１９は、画像処理が施されたスルー画像に対して色空間変換処理を実行する。これにより、ＲＧＢ色空間で表されるスルー画像が、ＹＣｂＣｒ色空間で表されるスルー画像に変換される。

ステップＳ２０２は、解像度変換処理である。制御部１９は、ステップＳ２０１の色空間変換処理が施されたスルー画像に対して解像度変換処理を実行する。これにより、スルー画像が元の解像度よりも低い解像度に変換される。つまり、画像サイズが縮小されたスルー画像が生成される。

ステップＳ２０３は、差分画像を生成する処理である。制御部１９は、ステップＳ２０２の解像度変換処理が施されたスルー画像を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎の基準濃度画像をそれぞれ生成する。そして、制御部１９は、解像度変換処理が施されたスルー画像と基準濃度画像とを用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分毎に、正の差分画像及び負の差分画像を生成する。なお、ＹＣｂＣｒの各成分で生成された正の差分画像及び負の差分画像は、制御部１９の制御により、第１メモリ２０または第２メモリ２１に保持される。

ステップＳ２０４は、差分画像を絞り込む処理である。制御部１９は、ステップＳ２０３にて生成した各成分の正の差分画像及び負の差分画像の計６個の差分画像のそれぞれからヒストグラムを生成する。制御部１９は、生成したヒストグラムを用いて標準偏差σ及びピーク・ピーク値を求める。これら値を用いて、制御部１９は、被写体を特定する際に用いる差分画像を絞り込む。このステップＳ２０４の処理については、後述する。

ステップＳ２０５は、二値化処理である。制御部１９は、ステップＳ２０４の処理により絞り込まれた差分画像のそれぞれに対して二値化処理を行う。二値化画像を生成した後、制御部１９は、生成された二値化画像に対してラベリング処理を行う。このラベリング処理を行うことで、制御部１９は、二値化画像からマスクを抽出する。

ステップＳ２０６は、マスクを絞り込む処理である。制御部１９は、二値化画像から抽出されたマスクから、被写体候補のマスクを絞り込む。このステップＳ２０６の処理については、後述する。

ステップＳ２０７は、評価値Ｅｖを算出する処理である。制御部１９は、ステップＳ２０６の処理により絞り込まれたマスクに対する評価値Ｅｖを、上述した（１）式を用いて算出する。

ステップＳ２０８は、被写体に相当するマスクを抽出する処理である。制御部１９は、ステップＳ２０７にて求めた各マスクの評価値Ｅｖに基づいて、被写体候補のマスクに対する順位付けを行う。制御部１９は、順位付けされた被写体候補のマスクのうち、上位５位のマスクを最終候補のマスクとして選択する。そして、最終候補のマスクに対して上述した第１から第４の抽出判定を行う。そして、これら抽出判定の後に保持されるマスクを被写体に相当するマスクとして抽出する。なお、このステップＳ２０８の処理の詳細については、後述する。このステップＳ２０８の処理が終了すると、図５に示す被写体検出処理が終了する。

ここで、上述した被写体検出処理により、マスクが抽出されている場合には、制御部１９は、抽出されたマスクに相当する領域を被写体の領域として設定する。その結果、スルー画像を表示部２３に表示したときには、被写体の領域を含む矩形の枠（被写体枠）が、スルー画像に重畳して表示される。したがって、ステップＳ２０８の処理を行ったときにマスクが抽出されている場合には、撮影者は、スルー画像に重畳される被写体枠の表示により、撮像範囲に含まれる被写体の位置や大きさを認識することができる。

次に、図５におけるステップＳ２０４に示す差分画像を絞り込む処理について、図６のフローチャートを用いて説明する。

ステップＳ３０１は、ヒストグラムを生成する処理である。上述した図５におけるステップＳ２０３の処理を行うことで、制御部１９は、Ｙ成分、Ｃｂ成分及びＣｒ成分毎の正の差分画像及び負の差分画像の計６個の差分画像を生成している。制御部１９は、これら計６個の差分画像のそれぞれに対してヒストグラムを生成する。

ステップＳ３０２は、標準偏差σ及びピーク・ピーク値ｐｐを算出する処理である。制御部１９は、ステップＳ３０２にて生成した各差分画像のヒストグラム毎に、標準偏差σ及びピーク・ピーク値ｐｐを算出する。このステップＳ３０２の処理により、各ヒストグラムにおける画素値の分布のばらつきを示す指標が算出される。

ステップＳ３０３は、標準偏差σと閾値Ｔｈ１とを比較する処理である。制御部１９は、ステップＳ３０２にて求めたヒストグラム毎の閾値σと、閾値Ｔｈ１とを比較する。

ステップＳ３０４は、ピーク・ピーク値ｐｐと閾値Ｔｈ２とを比較する処理である。制御部１９は、ステップＳ３０３にて求めたヒストグラム毎のピーク・ピーク値ｐｐと、閾値Ｔｈ２とを比較する。

ステップＳ３０５は、除外する差分画像があるか否かを判定する処理である。制御部１９は、ステップＳ３０３及びステップＳ３０４の判定処理の結果をそれぞれ用いて、生成された計６個の差分画像のうち、除外する差分画像があるか否かを判定する。計６個の差分画像のうち、例えば標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜Ｔｈ２となる差分画像があれば、制御部１９は、この差分画像を除外する差分画像とする。この場合、制御部１９は、ステップＳ３０５の判定処理の結果をＹｅｓとし、ステップＳ３０６とする。一方、計６個の差分画像のいずれもが、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜Ｔｈ２とならない場合には、制御部１９は、ステップＳ３０５の判定処理の結果をＮｏとする。この場合、除外する差分画像はないと判定される。したがって、ステップＳ３０５の判定処理の結果がＮｏとなる場合、制御部１９は、計６個の差分画像をそのまま使用すると判定し、図６に示すフローチャートの処理を終了させる。

ステップＳ３０６は、差分画像を除外する処理である。ステップＳ３０５において除外する差分画像があると判定されている。したがって、制御部１９は、対象となる差分画像を除外する。このステップＳ３０６の処理を行うことで、差分画像が絞り込まれる。このステップＳ３０６の処理を実行した後、制御部は、図６に示すフローチャートの処理を終了する。

図７は、鳥を撮像範囲に収めたときに得られるスルー画像の一例を、図８は図７に示すスルー画像から得られるＹ成分、Ｃｂ成分及びＣｒ成分の正及び負の差分画像の一例を示す。ここで、図８（ａ）はＹ成分の正の差分画像、図８（ｂ）はＹ成分の負の差分画像である。また、図８（ｃ）はＣｂ成分の正の差分画像、図８（ｄ）はＣｂ成分の負の差分画像である。また、図８（ｅ）はＣｒ成分の正の差分画像、図８（ｆ）はＣｒ成分の負の差分画像である。

上述したステップＳ３０１及びステップＳ３０２の処理が実行されると、制御部１９は、生成された計６個の差分画像のそれぞれに対してヒストグラムを生成し、ヒストグラム毎に標準偏差σ及びピーク・ピーク値ｐｐを算出する。ここで、図８（ａ）に示す差分画像に基づくヒストグラムの標準偏差σ及びピーク・ピーク値ｐｐは、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２となる。したがって、制御部１９は、図８（ａ）の差分画像中には被写体に該当するオブジェクトはないと判定し、この生成された６個の差分画像のうち、図８（ａ）に示す差分画像を、被写体を特定する際に用いる差分画像から除外する。したがって、被写体を特定する際に用いる差分画像が、図８（ｂ）から図８（ｆ）に示す計５個の差分画像に絞り込まれる。

そして、ステップＳ２０５の処理が実行されると、制御部１９は、図８（ｂ）から図８（ｆ）の計５個の差分画像のそれぞれに対して二値化処理を実行する。この二値化処理により、図９（ｃ）から図９（ｉ）の計７個の二値化画像が生成される。この図９においては、各成分の正の差分画像に対して二値化処理を行うときの閾値を２σ及び３σに、各成分の負の差分画像に対して二値化処理を行うときの閾値を２σに設定した場合を示す。

なお、図９では、Ｙ成分の正の差分画像から得られる２個の二値化画像を図９（ａ）及び図９（ｂ）として便宜上記載しているが、図８（ａ）の差分画像が除外される場合、図９（ａ）及び図９（ｂ）に示す二値化画像は生成されない。なお、図９（ｃ）から図９（ｉ）の二値化画像に示すグレイ及び白の領域が、各二値化画像から抽出されるマスクを示している。

ステップＳ２０６の処理が実行されると、制御部１９は、図９（ｃ）から図９（ｉ）の二値化画像におけるマスクを用いてマスクを絞り込む処理を行う。そして、絞り込まれたマスクを用いて評価値Ｅｖを算出し、被写体に相当するマスクを抽出する。図９では、被写体に相当するマスクが抽出されない場合を示している。つまり、被写体に相当するマスクがない場合には、風景撮影時に用いる枠５１をスルー画像Ｐ２に重畳して表示部２３に表示する。

このように、上述した差分画像を絞り込む処理において、風景撮影を行うときに得られるスルー画像であれば、スルー画像の各画素の画素値は近似した値、つまり、画像中のコントラストは小さい。その結果、差分画像に基づくヒストグラムのいずれかは、その標準偏差σやピーク・ピーク値ｐｐは小さい値をとる。一方、人物撮影を行うときに得られるスルー画像であれば、背景となる領域ではコントラストは小さいが、人物となる領域とのコントラストが大きくなる。その結果、差分画像に基づくヒストグラムでは、その標準偏差σやピーク・ピーク値ｐｐは大きい値をとる。したがって、上述した標準偏差σと閾値Ｔｈ１との比較や、ピーク・ピーク値ｐｐと閾値Ｔｈ２との比較を行った場合には、被写体が存在しないと想定される差分画像を除外することができる。その結果、後述する処理に係る処理負荷を軽減し、処理時間を短縮することができる。また、二値化処理の前に、被写体が存在しないと想定される差分画像を除外することで、被写体に相当するマスクの抽出精度を向上させ、的確に特定領域（例えば、被写体領域や注目領域など）の抽出を行うことができる。

なお、上述した差分画像を絞り込む処理は、特に、接写モード（マクロモード）による撮影時に有用である。したがって、接写モード（マクロモード）の設定に連動して差分画像を絞り込む処理を実行しても良いし、ＡＦ情報、ＡＥ情報、被写体解析の情報などに連動して差分画像を絞り込む処理を実行しても良い。

次に、図５のフローチャートに示すステップＳ２０６のマスクを絞り込む処理について、図１０のフローチャートに基づき説明する。

ステップＳ４０１は、ノイズと認識されるマスクを除外する処理である。制御部１９は、二値化画像から抽出されたマスクの面積を求めた後、二値化画像の面積とマスクの面積との面積比を求める。制御部１９は、二値化画像の面積とマスクの面積との面積比を参照して、二値化画像の面積とマスクの面積との面積比が１％以下となるマスクがあるか否かを判定する。二値化画像の面積とマスクの面積との面積比が１％以下となるマスクがあれば、制御部１９は、そのマスクをノイズとして、被写体候補のマスクから除外する。

ステップＳ４０２は、背景と認識されるマスクを除外する処理である。制御部１９は、ステップＳ４０１の処理により、二値化画像の面積とマスクの面積との面積比をマスク毎に求めている。制御部１９は、二値化画像の面積とマスクの面積との面積比を参照して、面積比が６０％以上となるマスクがあるか否かを判定する。二値化画像の面積とマスクの面積との面積比が６０％以上となるマスクがあれば、制御部１９は、そのマスクを背景であるとして、被写体候補のマスクから除外する。

ステップＳ４０３は、充填率の低いマスクを除外する処理である。制御部１９は、マスクを含む矩形領域の面積に対するマスクの面積の比率が所定の閾値（例えば０．２）以下となるか否かを判定する。この判定で、マスクを含む矩形領域の面積に対するマスクの面積の比率が所定の閾値以下となるマスクがあれば、制御部１９は、該当するマスクを、被写体候補のマスクから除外する。

ステップＳ４０４は、二値化画像におけるマスクの数を計数する処理である。制御部１９は、二値化画像から抽出されたマスクの数を計数する。

ステップＳ４０５は、マスクの数が閾値Ｔｈ３以上であるか否かを判定する処理である。制御部１９は、計数されたマスクの数が閾値Ｔｈ３以上となる場合、制御部１９は、ステップＳ４０５の判定処理の結果をＹｅｓとする。この場合、ステップＳ４０６に進む。一方、計数されたマスクの数が閾値Ｔｈ３未満となる場合には、ステップＳ４０９に進む。

ステップＳ４０６は、マスク全体の平均強度を算出する処理である。制御部１９は、二値化画像の元になる差分画像から、各マスクに該当する画素の画素値を読み出し、マスク全体の平均強度を算出する。

ステップＳ４０７は、マスク全体の平均強度が閾値Ｔｈ４以下となるか否かを判定する処理である。ステップＳ４０６にて求めたマスク全体の平均強度が閾値Ｔｈ４以下となる場合、制御部１９は、ステップＳ４０７の判定処理の結果をＹｅｓとする。この場合、ステップＳ４０８に進む。一方、ステップＳ４０６にて求めたマスク全体の平均強度が閾値Ｔｈ４を超過する場合、制御部１９は、ステップＳ４０７の判定処理の結果をＮｏとする。この場合、ステップＳ４０９に進む。

ステップＳ４０８は、対象となるマスクを除外する処理である。ステップＳ４０７の判定処理でＹｅｓとなる場合、制御部１９は、二値化画像から抽出されるマスクの中にはマスクが含まれていないと判断し、この二値化画像から抽出されたマスク全てを被写体候補のマスクから除外する。

ステップＳ４０９は、全ての二値化画像に対して実行したか否かを判定する処理である。全ての二値化画像に対してステップＳ４０５からステップＳ４０８の処理を行っている場合、制御部１９は、ステップＳ４０９の判定処理の結果をＹｅｓとする。これにより、図１０のフローチャートの処理を終了する。一方、全ての二値化画像に対してステップＳ４０４からステップＳ４０８の処理を行っていない場合、制御部１９は、ステップＳ４０９の判定処理の結果をＮｏとする。この場合、ステップＳ４０４に戻る。したがって、全ての二値化画像に対して、ステップＳ４０４からステップＳ４０８の処理が実行される。

図１１は、キリンを撮像範囲に収めたときのスルー画像Ｐ３を示す。ここで、図１２（ａ）から図１２（ｉ）の二値化画像において、グレイ及び白で表される領域がマスクとして抽出される。また、図１２においては、各成分の正の差分画像に対して二値化処理を行うときの閾値を２σ及び３σに、各成分の負の差分画像に対して二値化処理を行うときの閾値を２σに設定した場合を示す。

制御部１９は、これら二値化画像から抽出されるマスクから、被写体候補のマスクを絞り込む。ここで、ステップＳ４０２及びステップＳ４０３の処理を行うことで、例えば図１２（ｂ）、図１２（ｄ）及び図１２（ｅ）のマスクが全て被写体候補のマスクから除外される。

ここで、図１２（ｃ）、図１２（ｆ）及び図１２（ｉ）の二値化画像からは、数多くのマスクが抽出されている。したがって、制御部１９は、これら二値化画像に対しては、ステップＳ４０５の判定処理を行うと、その判定処理の結果がＹｅｓとなる。また、これら二値化画像から抽出されるマスクのマスク全体の平均輝度に対しても、ステップＳ４０７の判定処理の結果がＹｓとなる。したがって、図１２（ｃ）、図１２（ｆ）及び図１２（ｉ）の二値化画像のそれぞれから抽出されるマスクが全て除外される。したがって、マスクの絞り込み処理を実行すると、図１２（ａ）の白の領域に示すマスク、図１２（ｇ）の白の領域に示す２つのマスク及び図１２（ｈ）の白の領域に示すマスクが被写体候補のマスクとして保持される。制御部１９は、これら被写体候補のマスクに対して評価値Ｅｖを求め、求めた評価値Ｅｖを用いて、被写体候補のマスクの順位付けを行う。この順位付けの後、第１から第４の抽出判定が行われ、例えば図１２（ｇ）の白の領域に示す２つのマスクが、被写体に相当するマスクとして抽出される。したがって、図１１のスルー画像を表示部２３に表示すると、被写体枠５２，５３が重畳表示される。

このように、二値化画像から数多くのマスクが抽出される場合には、そのマスク全体の平均強度を判断することにより、数多くの島が抽出される領域が背景のテクスチャによるものであるか、被写体自身のテクスチャなのかを判別することができる。つまり、背景のテクスチャであればマスク全体の平均強度が低くなるので、抽出されたマスクは、背景に相当する領域であり、被写体に相当する領域は存在していないと判断できる。一方、被写体自身のテクスチャであれば、マスク全体の平均強度は高い。したがって、抽出されるマスクには、被写体に相当するマスクが存在すると判断できる。このように、上記判定を行うことで、不要なマスクを被写体候補のマスクから除外でき、被写体候補のマスクを適切に絞り込むことができる。

次に、図５のフローチャートに示すステップＳ２０８の被写体に相当するマスクを抽出する処理の流れについて、図１３のフローチャートに基づいて説明する。

ステップＳ５０１は、最終候補のマスクを取得する処理である。制御部１９は、ステップＳ２０７にて求めた、被写体候補のマスクに対する評価値Ｅｖを用いて、被写体候補のマスクの順位付けを行う。そして、制御部１９は、順位付けされたマスクのうち、上位５位のマスクを最終候補のマスクとして選択する。

ステップＳ５０２は、Ｃｒ成分の差分画像又はＣｂ成分の差分画像を元に抽出されたマスクがあるか否かを判定する処理である。最終候補のマスクのうち、Ｃｒ成分及びＣｂ成分の差分画像を元に抽出されたマスクがあれば、制御部１９は、ステップＳ５０２の判定処理の結果をＹｅｓとする。この場合、ステップＳ５０３に進む。一方、上位５位のマスクのうち、Ｃｒ成分及びＣｂ成分の差分画像を元に抽出されたマスクがない場合、制御部１９は、ステップＳ５０２の判定処理の結果をＮｏとする。この場合、ステップＳ５０５に進む。

ステップＳ５０３は、平均強度が閾値Ｔｈ５以下となるマスクがあるか否かを判定する処理である。制御部１９は、Ｃｒ成分又はＣｂ成分の差分画像を元に抽出されたマスクの平均強度をマスク毎に求める。制御部１９は、求めたマスクの平均強度と閾値Ｔｈ５とを比較する。Ｃｒ成分又はＣｂ成分の差分画像を元に抽出されたマスクの平均強度のいずれかが閾値Ｔｈ５以下となる場合、制御部１９は、ステップＳ５０３の判定処理の結果をＹｅｓとする。この場合、ステップＳ５０４に進む。一方、Ｃｒ成分又はＣｂ成分の差分画像を元に抽出されたマスクの平均強度が全て閾値Ｔｈ５を超過する場合、制御部１９は、ステップＳ５０３の判定処理の結果をＮｏとする。この場合、ステップＳ５０５に進む。これらステップＳ５０２及びステップＳ５０３の処理が、第１の抽出判定に係る処理となる。

ステップＳ５０４は、対象となるマスクを除外する処理である。ステップＳ５０３の判定処理において、制御部１９は、平均強度が閾値Ｔｈ５以下となるマスクがあると判定している。したがって、制御部１９は、平均強度が閾値Ｔｈ５以下となるマスクを背景部分から得られたマスクであるとし、該当するマスクを最終候補のマスクから除外する。

ステップＳ５０５は、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位にＹ成分の差分画像を元に抽出されたマスクがあるか否かを判定する処理である。対象となるマスクは、ステップＳ５０４の処理によりマスクが除外されていない場合は、最終候補のマスク全てが該当する。一方、ステップＳ５０４の処理によりマスクが除外されている場合には、最終候補のマスクのうち、除外されたマスク以外のマスクが該当する。

制御部１９は、被写体検出処理における処理の履歴を示す情報を第１メモリ２０から読み出す。制御部１９は、読み出した情報から、対象となるマスクが、Ｃｂ成分、Ｃｒ成分又はＹ成分の差分画像のいずれかの差分画像を元に抽出されたかを特定する。この特定の後、制御部１９は、対象となるマスクのうち、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位にＹ成分の差分画像を元に抽出されたマスクがあるか否かを判定する。Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位にＹ成分の差分画像を元に抽出されたマスクがある場合、制御部１９は、ステップＳ５０５の判定処理の結果をＹｅｓとする。この場合、ステップＳ５０６に進む。一方、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位にＹ成分の差分画像を元に抽出されたマスクがない場合には、制御部１９は、ステップＳ５０５の判定処理の結果をＮｏとする。この場合、ステップＳ５０８に進む。

ステップＳ５０６は、平均強度が閾値Ｔｈ６以下となるマスクがあるか否かを判定する処理である。制御部１９は、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクの下位にＹ成分の差分画像を元に抽出されたマスクを対象にして、マスクの平均強度を求める。そして、制御部１９は、求めたマスクの平均強度と閾値Ｔｈ６とを比較する。対象となるマスクのうち、平均強度が閾値Ｔｈ６以下となるマスクがあれば、制御部１９は、ステップＳ５０６の判定処理の結果をＹｅｓとする。この場合、ステップＳ５０７に進む。対象となるマスクの全てが、平均強度が閾値Ｔｈ６を超過する場合、制御部１９は、ステップＳ５０６の判定処理の結果をＮｏとする。この場合、ステップＳ５０８に進む。これらステップＳ５０５及びステップＳ５０６の処理が、第２の抽出判定に係る処理となる。

ステップＳ５０７は、対象となるマスクを除外する処理である。制御部１９は、平均強度が閾値Ｔｈ６以下となるマスクを最終候補のマスクから除外する。

ステップＳ５０８は、Ｙ成分の正の差分画像を元に抽出されたマスクと、Ｙ成分の負の差分画像を元に抽出されたマスクとがあるか否かを判定する処理である。対象となるマスクは、最終候補のマスクのうち、ステップＳ５０４又はステップＳ５０７のいずれかの処理によって除外されたマスクを除いたマスクである。なお、ステップＳ５０４又はステップＳ５０７のいずれかの処理も行っていない場合には、最終候補のマスクの全てが、対象のマスクとなる。

対象となるマスクの中に、Ｙ成分の正の差分画像を元に抽出されたマスク及びＹ成分の負の差分画像を元に抽出されたマスクがあれば、制御部１９は、ステップＳ５０８の判定処理の結果をＹｅｓとする。この場合、ステップＳ５０９に進む。一方、対象となるマスクの中に、Ｙ成分の正の差分画像を元に抽出されたマスク又はＹ成分の負の差分画像を元に抽出されたマスクの一方のマスクしかない場合や、Ｙ成分の正の差分画像を元に抽出されたマスク及びＹ成分の負の差分画像を元に抽出されたマスクの両方のマスクがない場合には、制御部１９はステップＳ５０８の判定処理の結果をＮｏとし、ステップＳ５１０に進む。なお、ステップＳ５０８の処理が、第３の抽出判定に係る処理となる。

ステップＳ５０９は、下位マスクを除外する処理である。ステップＳ５０８により、対象となるマスクには、Ｙ成分の正の差分画像を元に抽出されたマスク及びＹ成分の負の差分画像を元に抽出されたマスクの両方のマスクがあると判定されている。したがって、制御部１９は、これらマスクのうち、順位の高いマスクを最終候補のマスクとして保持し、順位の低いマスクを最終候補のマスクから除外する。

ステップＳ５１０は、同一成分の正の差分画像から生成されるマスクのうち、包含関係にあるマスクがあるか否かを判定する処理である。対象となるマスクは、最終候補のマスクのうち、ステップＳ５０４、ステップＳ５０７或いはステップＳ５０９のいずれかの処理によって除外されたマスクを除いたマスクである。なお、ステップＳ５０４、ステップＳ５０７或いはステップＳ５０９のいずれかの処理も行っていない場合には、最終候補のマスクの全てが、対象のマスクとなる。上述したように、Ｙ成分、Ｃｂ成分及びＣｒ成分の正の差分画像に対する二値化処理においては、異なる２つの閾値を用いている。したがって、包含関係にあるとは、同一成分の正の差分画像に対して閾値を用いた二値化処理により抽出されるマスクが、閾値を用いた二値化処理により抽出されるマスクに含まれる場合を指す。対象となるマスクの中に、包含関係にあるマスクがある場合には、制御部１９は、ステップＳ５１０の判定処理の結果をＹｅｓとする。この場合、ステップＳ５１１に進む。一方、対象となるマスクの中に、包含関係にあるマスクがない場合には、制御部１９は、ステップＳ５１０の判定処理の結果をＮｏとする。この場合、ステップＳ５１２に進む。

ステップＳ５１１は、包含関係にあるマスクを統合する処理である。制御部１９は、例えば２つのマスクが包含関係にある場合、それらマスクを統合する。このステップＳ５１１の処理を実行することで、制御部１９は、最終候補のマスクを絞ることができる。

ステップＳ５１２は、保持されるマスクの数が３を超過するか否かを判定する処理である。制御部１９は、ステップＳ５０２からステップＳ５１１の処理を行うことで、最終候補のマスクに対して第１から第４の抽出判定を行っている。例えば最終候補のマスクが１個も除外されない場合や１個のみが除外された場合、最終候補として保持されるマスクの数は３個を超過している。したがって、制御部１９は、ステップＳ５１２の判定処理の結果をＹｅｓとする。この場合、ステップＳ５１３に進む。

一方、２個以上のマスクが最終候補のマスクから除外されてしまった場合には、保持されるマスクの数は３個以下となる。したがって、制御部１９は、ステップＳ５１２の判定処理の結果をＮｏとする。この場合、ステップＳ５１４に進む。
ステップＳ５１３は、上位３位までのマスクを抽出する処理である。制御部１９は、最終候補として保持されるマスクのうち、評価値Ｅｖの順位が上位３位のマスクを被写体の領域に相当するマスクとして抽出する。このステップＳ５１３の処理が実行されると、制御部１９は、図１３におけるフローチャートの処理を終了させる。

ステップＳ５１４は、保持されたマスクがないか否かを判定する処理である。上述した第１から第４の抽出判定を行うことで、最終候補となるマスクが全て除外されてしまう場合がある。このような場合、制御部１９はステップＳ５１４の判定処理の結果をＹｅｓとする。つまり、このような場合には、制御部１９は、被写体の領域に相当するマスクはないとし、図１３におけるフローチャートの処理を終了させる。

一方、第１から第４の抽出判定を行ったときに、２〜４個のマスクが最終候補のマスクから除外される場合、制御部１９が保持するマスクは、１〜３個のマスクのいずれかである。したがって、制御部１９は、ステップＳ５１４の判定処理の結果をＮｏとする。この場合ステップＳ５１５に進む。

ステップＳ５１５は、保持されたマスクを抽出する処理である。制御部１９は、最終候補のマスクとして保持されるマスクの全てを被写体の領域に相当するマスクとして抽出する。このステップＳ５１５の処理が実行されると、制御部１９は、図１３におけるフローチャートの処理を終了させる。

以下、各成分の正の差分画像に対して二値化処理を行うときの閾値を２σ及び３σに、各成分の負の差分画像に対して二値化処理を行うときの閾値を２σに、それぞれ設定した場合について説明する。

図１４は、赤い花を撮像範囲に収めたときのスルー画像を示す。上述したように、スルー画像Ｐ４が取得されると、制御部１９は、Ｙ成分、Ｃｂ成分及びＣｒ成分の二値化画像を計９個生成する。図１５（ａ）から図１５（ｉ）は、スルー画像Ｐ３から得られるＹ成分、Ｃｂ成分及びＣｒ成分の二値化画像の一例を示す。図１５では、各閾値の下に記載した「（正）」は、正の差分画像に基づいて生成された二値化画像であり、閾値の下に記載した「（負）」は、負の差分画像に基づいて生成された二値化画像であることを示している。

図１５（ａ）から図１５（ｉ）は、Ｙ成分、Ｃｂ成分及びＣｒ成分の二値化画像であり、各二値化画像においてグレイ及び白で表される領域がマスクとして抽出される。抽出された各二値化画像のマスクから被写体候補となるマスクを絞り込むことでグレイで表されるマスクが除外され、図１５（ａ）、図１５（ｄ）から図１５（ｈ）の二値化画像中の白の領域で示すマスクが被写体候補のマスクとして絞り込まれる。上述したように、被写体候補となるマスクが絞り込まれると、制御部１９は、被写体候補のマスクのそれぞれに対して評価値Ｅｖを求める。ここで、図１５（ａ）、図１５（ｄ）から図１５（ｈ）に示す「×」印はマスクの重心であり、マスクの慣性モーメントを求める場合に基準となる。各マスクに対する評価値Ｅｖを求めた後、制御部１９は、求めた評価値Ｅｖを用いてマスクの順位付けを行う。ここでは、図１５（ａ）の白の領域として示すマスク、図１５（ｄ）の白の領域として示すマスク、図１５（ｆ）の白の領域として示すマスク、図１５（ｇ）の白の領域に示すマスク及び図１５（ｈ）の白の領域として示すマスクが最終候補のマスクとなる。

制御部１９は、最終候補のマスクに対して第１の抽出判定を行う。この第１の抽出判定で、Ｃｂ成分及びＣｒ成分の差分画像を元に抽出されたマスクがあれば、そのマスクの平均強度が閾値Ｔｈ５以下となるかを判定する。なお、図１５においては、図１５（ｄ）の白の領域として示すマスク及び図１５（ｆ）の白の領域として示すマスクが、Ｃｂ成分の差分画像を元に抽出されたマスクである。また、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクがＣｒ成分の差分画像を元に抽出されたマスクである。この第１の抽出判定で、例えば図１５（ｄ）の白の領域として示すマスク及び図１５（ｆ）の白の領域として示すマスクが最終候補のマスクから除外される。

次に、制御部１９は、対象となるマスクに対して第２の抽出判定を行う。この第２の抽出判定では、まず、対象となるマスクの中にＹ成分のマスクがあれば、Ｃｂ成分又はＣｒ成分のマスクの下位に、該Ｙ成分のマスクが位置あるか否かが判定される。例えば、図１５（ａ）の白の領域として示すマスクが、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクよりも下位の順位であれば、制御部１９は、図１５（ａ）の白の領域として示すマスクの平均強度が閾値Ｔｈ６以下であるか否かを判定する。この判定で、図１５（ａ）の白の領域として示すマスクの平均強度が閾値Ｔｈ６以下であると判定された場合には、制御部１９は、図１４（ａ）の白の領域として示すマスクを最終候補のマスクから除外する。つまり、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクが最終候補のマスクとして保持される。

次に、制御部１９は、第３の抽出判定を行う。ここでは、最終候補のマスクとして保持されているマスクは、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクである。これらマスクは、Ｃｒ成分の差分画像を元に抽出されたマスクであり、Ｙ成分の正の差分画像及び負の差分画像を元に抽出されたマスクではない。したがって、第３の抽出判定により、最終候補のマスクから除外されるマスクはない。

最後に、制御部１９は、第４の抽出判定を行う。図１５の例では、第３の抽出判定を行った後に保持されるマスクは、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクである。これらマスクは、Ｃｒ成分の正の差分画像に対して異なる閾値を用いることで生成された二値化画像からそれぞれ抽出されている。また、図１５（ｇ）の白の領域として示すマスクに、図１５（ｈ）の白の領域として示すマスクが含まれる。したがって、制御部１９は、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクは包含関係にあると判定する。そして、制御部１９は、図１５（ｇ）の白の領域として示すマスク及び図１５（ｈ）の白の領域として示すマスクを、図１５（ｇ）の白の領域として示すマスクに統合する。ここで、第１から第４の抽出判定を行った結果、最終候補のマスクとして保持されるマスクは、図１５（ｇ）の白の領域として示すマスクのみである。制御部１９は、図１５（ｇ）の白の領域として示すマスクを被写体に相当するマスクとして抽出する。

ここで、図１５（ｇ）の白の領域として示すマスクは、スルー画像においては花の領域に相当する。したがって、図１４（ａ）に示すように、スルー画像を表示部２３に表示すると、花の領域に対して、被写体枠５５が重畳表示される。

例えば、従来の手法では、図１５（ａ）の白の領域として示すマスク及び図１５（ｇ）の白の領域として示すマスクが上位３位までのマスクに入っていれば、制御部１９は、図１５（ａ）の白の領域として示すマスクに該当する領域と、図１５（ｇ）の白の領域として示すマスクに該当する領域を被写体の領域に特定する。なお、図１５（ａ）の白の領域として示すマスクに該当する領域は、光が反射している領域である。また、図１５（ｇ）の白の領域として示すマスクに該当する領域は、花の領域である。したがって、図１４（ｂ）に示すように、スルー画像を表示部２３に表示すると、花の領域と、光が反射している領域のそれぞれに対して、被写体枠５５，５６が重畳表示される。しかしながら、光が反射している領域は輝度が高い領域であり、被写体が位置する領域ではない。つまり、従来の手法では、被写体がない領域であっても輝度が高い領域であれば、被写体の領域に相当するマスクとして抽出されてしまう。

しかしながら、第１実施形態では、上述した評価値Ｅｖの順位付けにより、Ｃｂ成分又はＣｒ成分の差分画像を元に抽出されたマスクよりも下位に、輝度成分の差分画像を元に抽出されたマスクが位置する場合には、そのマスクの平均強度に基づいて、輝度成分の差分画像を元に抽出されたマスクを除外している。したがって、輝度が高い領域がマスクとして抽出されたとしても、色度成分のマスクよりも順位が低いと判断されれば、そのマスクは除外されやすくなる。したがって、被写体がなく、単に輝度が高い領域であるマスクを被写体に相当する領域として特定することが防止される。

図１６は、遊園地の乗り物を撮像範囲に収めたスルー画像Ｐ５である。この場合のＹ成分、Ｃｂ成分及びＣｒ成分の二値化画像を、図１７（ａ）から図１７（ｉ）に示す。ここで、図１７（ａ）から図１７（ｉ）の二値化画像において、グレイ及び白で表される領域がマスクとして抽出される。各二値化画像から抽出されたマスクから被写体候補のマスクが絞り込まれる。なお、図１７（ｆ）の白の領域として示す２つのマスク、図１７（ｇ）の白の領域として示すマスク及び図１７（ｈ）の白の領域として示すマスクが、それぞれ被写体候補となるマスクである。

制御部１９は、これら被写体候補のマスクに対して評価値Ｅｖを算出し、算出された評価値Ｅｖを用いて各マスクの順位付けを行う。この場合、被写体候補のマスクは、上述した４個のマスクであることから、これら４個のマスクが最終候補のマスクとなる。

制御部１９は、最終候補となる４個のマスクに対して第１の抽出判定を行う。ここで、図１７（ｆ）の白の領域として示す２つのマスクは、Ｃｂ成分の負の差分画像を元に抽出されたマスクであり、図１７（ｇ）の白の領域として示すマスク及び図１７（ｈ）の白の領域として示すマスクは、Ｃｒ成分の正の差分画像を元に抽出されたマスクである。この例では、図１７（ｆ）の白の領域として示す２つのマスクが閾値Ｔｈ５以下となるので、これらマスクが最終候補のマスクから除外される。したがって、図１７（ｇ）の白の領域として示すマスク及び図１７（ｆ）の白の領域として示すマスクが最終候補のマスクとして保持される。その後、第２の抽出判定や第３の抽出判定を行うが、これら判定では該当するマスクがないので、第１の抽出判定で絞り込まれたマスクが、そのまま最終候補のマスクとして保持される。

最後に、制御部１９は、最終候補のマスクに対して第４の抽出判定を行う。上述した図１７（ｇ）の白の領域として示すマスク及び図１７（ｈ）の白の領域として示すマスクは、それぞれ、Ｃｒ成分の差分画像に対して異なる閾値を用いた二値化処理により抽出されるマスクである。したがって、これら２つのマスクは包含関係にある。したがって、制御部１９はマスクを統合する処理を行う。これにより、図１７（ｇ）の白の領域として示すマスクが最終候補のマスクとして保持される。この場合、制御部１９は、図１７（ｇ）の白の領域として示すマスクを被写体の領域に相当するマスクとして抽出する。ここで、図１７（ｇ）の白の領域として示すマスクは、乗り物の領域に相当する。したがって、スルー画像Ｐ５を表示部２３に表示すると、スルー画像Ｐ５中の乗り物の領域に対して枠５８が重畳表示される（図１６（ａ）参照）。

ここで、従来の方法では、被写体候補のマスクのうち、評価値Ｅｖに基づいた順位付けで、上位３位までのマスクであれば、それらマスクが被写体に相当するマスクであると判断される。つまり、図１７（ｆ）の白の領域として示す２つのマスクは、被写体の領域に相当するマスクであると判定される。ここで、図１７（ｆ）の白の領域として示す２つのマスクは、それぞれ木の領域である。したがって、スルー画像Ｐ５を表示部２３に表示すると、乗り物の領域に対して被写体枠５８が重畳表示される他、木の領域に対しても被写体枠５９，６０が重畳表示されてしまう。（図１６（ｂ）参照）。

しかしながら、第１実施形態では、第１の抽出判定により平均強度が低いマスクがあれば、そのマスクが背景部分であると判断され、最終候補のマスクから除外される。したがって、被写体がない領域がマスクとして抽出された場合であっても、そのマスクを確実に除外することができ、被写体に相当するマスクのみを抽出することができる。

図１８は、猫を被写体として撮像範囲内に収めたスルー画像Ｐ６である。ここで、図１９（ａ）から図１９（ｉ）の二値化画像において、グレイ及び白で表される領域がマスクとして抽出される。この例では、各二値化画像から抽出されたマスクから、被写体候補のマスクが絞り込まれる。図１９（ａ）の白の領域に示すマスク、図１９（ｂ）の白の領域に示すマスク、図１９（ｃ）の白の領域に示すマスク及び図１９（ｄ）の白の領域に示すマスクが、被写体候補のマスクとなる。

この例では、被写体候補のマスクの順位付けを行うと、図１９（ａ）の白の領域に示すマスク、図１９（ｂ）の白の領域に示すマスク、図１９（ｃ）の白の領域に示すマスク、図１９（ｄ）の白の領域に示すマスクの順となる。また、この場合、被写体候補となるマスクは、上述した４個のマスクである。したがって、これら４個のマスクが最終候補のマスクとして選択される。制御部１９は、これらマスクに対して第１の抽出判定を行う。ここで、図１９（ｄ）の白の領域に示すマスクは、Ｃｂ成分の差分画像を元に抽出されたマスクである。したがって、第１の抽出判定により、図１９（ｄ）の白の領域に示すマスクの平均強度が閾値Ｔｈ３以下となれば、制御部１９は、図１９（ｄ）の白の領域に示すマスクを、最終候補のマスクから除外する。次に、制御部１９は、第２の抽出判定を行う。この場合、最終候補のマスクの中には、Ｃｂ成分及びＣｒ成分の差分画像を元に抽出されたマスクの下位に、Ｙ成分の差分画像を元に抽出されたマスクはないので、最終候補のマスクから除外されるマスクはない。

ここで、図１９（ａ）の白の領域に示すマスク及び図１９（ｂ）の白の領域に示すマスクは、Ｙ成分の正の差分画像を元に抽出されたマスクであり、図１９（ｃ）の白の領域に示すマスクは、Ｙ成分の負の差分画像を元に抽出されたマスクである。したがって、制御部１９が第３の抽出判定を行うと、これらマスクのいずれかが最終候補のマスクから除外される。ここで、図１９（ａ）の白の領域に示すマスク及び図１９（ｂ）の白の領域に示すマスクは、それぞれ図１９（ｃ）の白の領域に示すマスクよりも評価値Ｅｖの順位が高い。したがって、制御部１９は、図１９（ｃ）の白の領域に示すマスクを最終候補のマスクから除外する。

例えば輝度が高いマスクが輝度の低いマスクよりも上位となる場合、輝度の低いマスクは、被写体の黒い部分に該当していることが多く、不要なマスクとなる。したがって、Ｙ成分の正の二値化画像から抽出されたマスクと、Ｙ成分の負の二値化画像から抽出されたマスクとの両方のマスクが上位５位までのマスクとなる場合には、制御部１９は、Ｙ成分の正の二値化画像から抽出されたマスクと、Ｙ成分の負の二値化画像から抽出されたマスクとのうち、上位に位置しているマスクを保持し、下位に位置しているマスクを除外する。

なお、Ｙ成分の負の二値化画像から抽出されたマスクがＹ成分の正の二値化画像から抽出されたマスクよりも上位に位置している場合には、スルー画像においては、そのマスクに該当する被写体は被写体自体の色が濃いと想定でき、Ｙ成分の正の二値化画像から抽出されたマスクに該当する領域は背景であることが多い。したがって、Ｙ成分の正の二値化画像から抽出されたマスクと、Ｙ成分の負の二値化画像から抽出されたマスクとの両方のマスクが上位５位までのマスクとなる場合には、制御部１９は、上位に位置するマスクを保持し、下位に位置するマスクを除外する。

最後に、制御部１９は、第４の抽出判定を行う。ここで、図１９（ａ）の白の領域に示すマスクと、図１９（ｂ）の白の領域に示すマスクは、包含関係にある。したがって、制御部１９は、これらマスクを統合する。その結果、図１９（ａ）の白の領域に示すマスクが被写体の領域に相当するマスクとして抽出される。

図１９（ａ）の白の領域に示すマスクは、猫の胴体及び足の領域である。したがって、スルー画像Ｐ６を表示部２３に表示させたときには、猫の胴体及び足の領域に対して被写体枠６１が重畳表示される。このように、輝度の高い領域と、輝度の低い領域との両方の領域がマスクとし抽出される場合には、評価の高いマスクのみを選択することで、被写体に相当する領域を適切に特定することが可能となる。

以下、上記実施形態での作用効果を述べる。上記実施形態の制御部１９は、マスクの平均強度Ａｖの値を用いて、マスクの評価値Ｅｖを算出する（Ｓ２０７）。そして、制御部１９は、マスクの評価値Ｅｖに基づいて、被写体候補のマスクに対する順位付けを行うことで、被写体に相当するマスクを抽出する（Ｓ２０８）。

図２０は、複数の二値化画像からそれぞれ抽出されたマスクの位置を写像した例を示す。また、図２１は、図２０に示す各マスクの平均強度を示す。

図２０は、ステップＳ５０１にて、上位４位のマスクとしてマスク１〜４が取得された状態を示している。図２０において、マスク４は、マスク１〜３と比べて画面の中心から離れた位置にある。また、図２０において、マスク１，４は細長い形状をしており、マスク２，３と比べると慣性モーメントが大きくなる。一方、図２１に示すように、各マスクの平均強度は、マスク４、マスク３、マスク２、マスク１の順に小さくなる。なお、図２１において、マスク１，２間の平均強度の差はマスク３，２間の平均強度の差よりも小さく、マスク３，４の平均強度はマスク１，２の平均強度よりも十分に大きい。

図２２（ａ）は、上記実施形態で最終的に抽出される上位２つのマスクを示す。また、図２２（ｂ）は、比較例として、マスクの形状および位置のみに基づいて最終的に抽出される上位２つのマスクを示す。

図２２（ｂ）に示す比較例の場合、マスクの平均強度は考慮されないので、画面中央に近く、形がまとまっている（慣性モーメントの小さい）マスク２，３が抽出される。しかし、形状のみに着目してマスクを抽出すると、画面中央近傍に周囲と異なる領域が存在すればその領域が抽出されやすくなる。そのため、目立ちにくく被写体にそぐわない対象のマスク（例えば画面中央部でのみ部分的に露出している地肌に対応したマスクなど）が誤って抽出される可能性もある。

一方、図２２（ａ）に示す上記実施形態の場合、マスクの平均強度を考慮して評価値が算出されるため、マスクの平均強度が高いマスク３，４が抽出される。このように、上記実施形態では、マスクの抽出のときに各々の差分画像におけるマスクの強度（マスク自体の顕著性）が反映されるため、より人間の感覚に近い条件でマスクの抽出を行うことが可能となる。

＜変形例１＞
上記実施形態において、評価値算出部４７は、マスクの平均強度の大きさに応じてマスクの評価値に重み付けをしてもよい。この変形例１の重み付けの処理は、例えば、Ｓ２０７の評価値の算出のときに行われてもよく、ステップＳ２０８で被写体に該当するマスクを抽出するときに、抽出された上位のマスクに対して行うものでもよい。

例えば、評価値算出部４７は、マスクの平均強度Ａｖが閾値γ_１以上となるマスクには式（１）のＡｖの値が大きくように重み付けし、マスクの平均強度Ａｖが閾値γ_１未満となるマスクには式（１）のＡｖの値が小さくなるように重み付けする。この場合には、マスクの平均強度が閾値γ_１以上となるマスクの評価値が閾値γ_１未満のマスクよりも相対的に高くなり、平均強度の高いマスクが優先的に抽出されやすくなる。

また、評価値算出部４７は、マスク間での平均強度の差が閾値γ_２を超える場合には、マスクの平均強度Ａｖの重み付けに差を与えてもよい。例えば、評価値算出部４７は、基準となるマスクよりも平均強度が高く、基準となるマスクとの平均強度の差が閾値γ_２を超えるマスクには式（１）のＡｖの値が大きくなるように重み付けする。あるいは、評価値算出部４７は、基準となるマスクよりも平均強度が低く、基準となるマスクとの平均強度の差が閾値γ_２を超えるマスクには式（１）のＡｖの値が小さくなるように重み付けする。これらの場合には、基準となるマスクに比べて平均強度が非常に高いマスクの評価値が相対的に高くなり、平均強度の高いマスクが抽出されやすくなる。

ここで、評価値算出部４７は、例えば、重み付けの係数をＡｖの値に乗算することで上記の重み付けを行えばよい。上記の閾値γ_１，γ_２は、ＹＣｂＣｒの各成分でそれぞれ異なる値であってもよい。また、上記の閾値γ_１，γ_２は、同じ成分でも正の差分画像から抽出されたマスクと負の差分画像から抽出されたマスクとでそれぞれ異なる値であってもよい。

例えば、評価値算出部４７は、Ｙ成分についてＣｂＣｒ成分と比べてマスクの平均強度による重み付けを小さくするか、重み付け自体を行わないようにする。Ｙ成分の正の差分画像では、例えば白飛びしているハイライト領域で画素値が大きくなり、Ｙ成分の負の差分画像では、例えば黒つぶれしているシャドー領域で画素値が大きくなる。ハイライト領域やシャドー領域は被写体としての特徴を有しない。そのため、Ｙ成分についてマスクの平均強度による重み付けを抑制することで、ハイライト領域やシャドー領域に対応するマスクを抽出されにくくすることができる。

＜変形例２＞
上記実施形態において、評価値算出部４７は、マスクの面積およびマスクの慣性モーメントを用いることなく、マスクの平均強度に基づいてマスクの評価値を算出してもよい。

また、上記の実施形態において、評価値算出部４７は、マスクの平均強度に基づく第１の評価値と、マスクの面積およびマスクの慣性モーメントに基づく第２の評価値とを別々に算出してもよい。そして、マスク抽出部４８は、第１の評価値で所定順位までのマスクを抽出した後、第２の評価値を用いて所定順位までのマスクのうちから最終的な被写体のマスクを抽出してもよい。

＜第１実施形態の補足事項＞
第１実施形態では、解像度変換処理が施されたスルー画像の各画素の画素値の平均値を算出し、算出した画素値の平均値を用いて基準濃度画像を生成しているが、これに限定される必要はなく、スルー画像の各画素の画素値の中央値を用いて、基準濃度画像を生成することも可能である。

第１実施形態では、Ｙ成分、Ｃｂ成分及びＣｒ成分の差分画像から、各成分の二値化画像を生成しているが、Ｙ成分、Ｃｂ成分及びＣｒ成分の画像から、各成分の二値化画像を生成することも可能である。この場合、各成分の画像に対して、異なる３以上の閾値を用いて、３以上の二値化画像を生成すればよい。また、この場合には、Ｙ成分、Ｃｂ成分及びＣｒ成分の画像毎にヒストグラムを生成し、生成したヒストグラムにおける標準偏差σやピーク・ピーク値ｐｐを求め、これら標準偏差σやピーク・ピーク値ｐｐを用いて、被写体候補を絞り込む際に使用する画像とするか否かを判定すればよい。

第１実施形態では、生成された差分画像に基づいたヒストグラムを生成し、生成したヒストグラムにおける標準偏差σやピーク・ピーク値ｐｐを用いて、被写体候補を絞り込む際に使用する差分画像とするか否かを判定しているが、これに限定される必要はなく、差分画像から二値化画像を生成した後に、上記判定を行うことも可能である。

第１実施形態では、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上で、且つマスク全体の平均強度が閾値Ｔｈ４以下となるか否かを判定し、これら条件を満足する場合に、該当する二値化画像から抽出される全てのマスクを被写体候補のマスクから除外している。しかしながら、この判定においては、全ての二値化画像から抽出されるマスクの全てが被写体候補のマスクから除外されてしまう場合もある。したがって、このような場合、閾値の数を増やして二値化処理を行ってもよい。

第１実施形態では、全ての二値化画像のそれぞれでマスクの数を計数し、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上となる場合に、マスク全体の平均強度が閾値Ｔｈ４以下となるか否かを判定している。しかしながら、全ての二値化画像を用いる必要はなく、例えば差分画像から生成されるヒストグラムにおいて標準偏差σが小さい差分画像に基づく二値化画像に対してのみ、上記判定を行うことも可能である。つまり、上述した差分画像における標準偏差σが小さい場合、差分画像における画素値が平均に近い画素値となる、つまり差分画像中に目立つオブジェクトがないと判断できる。したがって、このような標準偏差σが小さい差分画像から求まる二値化画像に対して、上記判定を行うのが効果的である。

また、この判定は、二値化画像を対象に行っているが、これに限定される必要はなく、二値化画像を複数の領域に分割し、分割した複数の領域のそれぞれで行うことも可能である。

第１実施形態では、Ｙ成分、Ｃｂ成分及びＣｒ成分の正の差分画像及び負の差分画像をそれぞれ生成したときに標準偏差σを求めている。したがって、差分画像を生成したときに得られる標準偏差σの値から、二値化画像を生成する際に用いる差分画像を選択することも可能である。

第１実施形態では、抽出されるマスクの数に対する閾値を閾値Ｔｈ３、マスク全体の平均強度に対する閾値を閾値Ｔｈ４とし、これら閾値の値を固定としているが、これら閾値は、Ｙ成分、Ｃｂ成分及びＣｒ成分毎に異なる値としてもよい。この場合、例えば撮影シーンや、スルー画像における画像構成に基づいて、Ｙ成分、Ｃｂ成分及びＣｒ成分のそれぞれに対する閾値Ｔｈ３及び閾値Ｔｈ４を個別に設定することも可能である。

第１実施形態では、最終候補のマスクのうち、包含関係にあるマスクを統合している。この統合においては、２つのマスクが包含関係にある場合、一方のマスクに含まれる他方のマスクを最終候補のマスクから除外し、一方のマスクを最終候補のマスクから除外している。しかしながら、包含関係にある２つのマスクの両方をそれぞれ最終候補となるマスクとして保持しておき、被写体枠を表示する際に、一方のマスクに相当する被写体の領域に対してのみ被写体枠を表示することも可能である。

第１実施形態では、最終候補のマスクのうち、包含関係にあるマスクを統合しているが、これに限定する必要はなく、例えば二値化画像からマスクを抽出したときに、包含関係にあるマスクを統合する処理を行った後、被写体候補のマスクを絞り込む処理を行うことも可能である。

第１実施形態では、差分画像を絞り込む処理（図５に示すフローチャートのステップＳ２０４、図６に示すフローチャートの処理）、マスクを絞り込む処理（図５に示すフローチャートのステップＳ２０６、図１０に示すフローチャートの処理）を行うようにしている。しかしながら、差分画像を絞り込む処理やマスクを絞り込む処理は、少なくともいずれか一方のみを行うようにしてもよいし、両方の処理を省略することが可能である。

第１実施形態では、被写体に相当するマスクを抽出する処理（図５に示すフローチャートのステップＳ２０８、図１３に示すフローチャートの処理）として、第１から第４の抽出判定を行っている。しかしながら、第１から第４の抽出判定のうち、少なくとも１つの判定処理のみを行うようにすることも可能である。また、これら抽出判定を行わずに、最終候補のマスクのうち、評価値Ｅｖの最も高いマスクを被写体に相当するマスクとして抽出してもよい。

第１実施形態において、マスク絞込部４６は、以下の基準を用いて被写体候補のマスクを絞り込んでもよい。

例えば、マスク絞込部４６は、画像全体に対して面積が６割となり、その重心が画像中央と一致する矩形の足きり領域を設定し、この足きり領域に５０％以上属しないマスクを被写体候補から除外してもよい。

また、例えば、マスク絞込部４６は、連続して取得されたスルー画像間でマスクの動きベクトルを求め、他の条件で被写体候補から除外されるマスクのうち、動きベクトルのあるマスクは被写体候補として保持し、動きベクトルのないマスクはそのまま被写体候補から除外してもよい。
＜第２実施形態＞
図２３は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置９０は、本発明の被写体検出装置として機能する。なお、画像処理装置９０の具体例としては、コンピュータが挙げられる。

図２３に示す画像処理装置９０は、データ読込部９１、記憶装置９２、ＣＰＵ９３、メモリ９４、出力Ｉ／Ｆ９５及びバス９６を備えている。データ読込部９１、記憶装置９２、ＣＰＵ９３、メモリ９４及び入出力Ｉ／Ｆ９５は、バス９６を介して相互に接続されている。この画像処理装置９０には、入出力Ｉ／Ｆ９５を介して、キーボードや、マウスなどの入力デバイス９７や、モニタ９８がそれぞれ接続される。入出力Ｉ／Ｆ９５は、入力デバイス９７からの各種入力を受け付けるとともに、モニタ９８に対して表示用のデータを出力する。

データ読込部９１は、画像のデータやプログラムを外部から読み込むときに用いられる。データ読込部９１は、例えば着脱自在な記憶媒体９９からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクなどの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、有線又は無線のＬＡＮモジュールなど）である。なお、図２３においては、データ読込部９１が、着脱自在な記憶媒体９９からデータを取得する読込デバイスの場合を示している。

記憶装置９２は、例えばハードディスクや不揮発性の半導体メモリなどの記憶媒体からなる。記憶装置９２は、上記プログラムや、プログラムの実行に必要となる各種データを記憶する。なお、記憶装置９２は、データ読込部９１が読み込んだ画像のデータなどを記憶することができる。

ＣＰＵ９３は、画像処理装置９０の各部を統括的に制御するプロセッサである。このＣＰＵ９３は、プログラムを実行したときに画像処理部３１の機能を有している。この画像処理部３１の機能の１つとして、被写体検出部３２が設けられる。ここで、画像処理部３１及び被写体検出部３２は、第１実施形態と同一の機能を有することから第１実施形態と同一の符号を付している。つまり、被写体検出部３２は、第１実施形態と同一構成（色空間変換部４１、解像度変換部４２、差分画像生成部４３、画像判定部４４、二値化処理部４５、マスク絞込部４６、評価値算出部４７及びマスク抽出部４８）を備えている。なお、この第２実施形態においても、画像処理部３１の１つの機能として被写体検出部３２を設ける他、ＣＰＵ９３が画像処理部３１の機能を実行するプログラムとは別のプログラムを実行することで、被写体検出部３２の機能を有する形態としてもよい。

メモリ９４は、ＣＰＵ９３がプログラムを実行したときの各種演算結果を一時的に記憶する。このメモリ９４は、例えば揮発性のＳＤＲＡＭである。

この第２実施形態の画像処理装置９０は、データ読込部９１又は記憶装置９２から入力画像となる画像のデータを取得すると、ＣＰＵ９３が図４、図５、図１０及び図１３に示す被写体検出処理を実行する。この第２実施形態の画像処理装置９０においても、第１実施形態の被写体検出処理と同様の効果を得ることができる。

１０…撮像装置、１９…制御部、３１…画像処理部、３２…被写体検出部、４１…色空間変換部、４２…解像度変換部、４３…差分画像生成部、４４…画像判定部、４５…二値化処理部、４６…マスク絞込部、４７…評価値算出部、４８…マスク抽出部、９０…画像処理装置、９３…ＣＰＵ

Claims (17)

1. 処理対象の画像を用いて複数の異なる二値化画像を生成する二値化処理部と、
   各々の二値化画像で抽出された画素領域について、二値化処理前の画像から取得した前記画素領域に対応する画素の強度を用いて、前記画素領域の被写体らしさを示す評価値をそれぞれ算出する評価値算出部と、
   前記評価値を用いて、前記処理対象の画像の特定領域に相当する前記画素領域を抽出する抽出部と、を備えることを特徴とする被写体検出装置。
2. 請求項１に記載の被写体検出装置において、
   前記処理対象の画像における画素値の平均値を用いて基準濃度画像を生成する第１の生成部と、
   前記処理対象の画像と前記基準濃度画像との差分を用いて、前記画素値が前記基準濃度画像を上回る箇所で前記基準濃度画像からの前記画素値の乖離度合いを示す第１の差分画像と、前記画素値が前記基準濃度画像を下回る箇所で前記基準濃度画像からの前記画素値の乖離度合いを示す第２の差分画像とを生成する第２の生成部と、をさらに備え、
   前記二値化処理部は、前記第１の差分画像と前記第２の差分画像とを二値化して複数の二値化画像を生成することを特徴とする被写体検出装置。
3. 請求項２に記載の被写体検出装置において、
   前記評価値算出部は、前記第１の差分画像または前記第２の差分画像から取得した前記乖離度合いを用いて、前記評価値を算出することを特徴とする被写体検出装置。
4. 請求項２または請求項３に記載の被写体検出装置において、
   前記第１の生成部は、色空間の各成分に対応する前記基準濃度画像をそれぞれ生成し、
   前記第２の生成部は、色空間の各成分で前記第１の差分画像および前記第２の差分画像をそれぞれ生成し、
   前記二値化処理部は、色空間の各成分で複数の異なる二値化画像をそれぞれ生成することを特徴とする被写体検出装置。
5. 請求項１から請求項４のいずれか１項に記載の被写体検出装置において、
   前記評価値算出部は、前記画素領域の面積および前記画素領域の慣性モーメントをさらに用いて前記評価値を算出することを特徴とする被写体検出装置。
6. 請求項１から請求項５のいずれか１項に記載の被写体検出装置において、
   前記評価値算出部は、前記画素領域に対応する前記画素の強度が閾値以上であるときに、被写体らしさが高くなるように前記評価値に重み付けをすることを特徴とする被写体検出装置。
7. 請求項１から請求項５のいずれか１項に記載の被写体検出装置において、
   前記評価値算出部は、２つの前記画素領域の間で前記画素の強度の差が閾値以上あるときに、前記画素の強度が高い方の前記画素領域に対して被写体らしさが高くなるように前記評価値に重み付けをすることを特徴とする被写体検出装置。
8. 請求項１から請求項７のいずれか１項に記載の被写体検出装置において、
   前記抽出部により抽出された前記画素領域の対応位置を示す表示部をさらに備えることを特徴とする被写体検出装置。
9. 被写体の像を撮像する撮像部と、
   請求項１から請求項８のいずれか１項に記載の被写体検出装置と、
   を備えることを特徴とする撮像装置。
10. 処理対象の画像を用いて複数の異なる二値化画像を生成し、
    各々の二値化画像で抽出された画素領域について、二値化処理前の画像から取得した前記画素領域に対応する画素の強度を用いて、前記画素領域の被写体らしさを示す評価値をそれぞれ算出し、
    前記評価値を用いて、前記処理対象の画像の特定領域に相当する前記画素領域を抽出する処理をコンピュータに実行させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムにおいて、
    前記処理対象の画像における画素値の平均値を用いて基準濃度画像を生成し、
    前記処理対象の画像と前記基準濃度画像との差分を用いて、前記画素値が前記基準濃度画像を上回る箇所で前記基準濃度画像からの前記画素値の乖離度合いを示す第１の差分画像と、前記画素値が前記基準濃度画像を下回る箇所で前記基準濃度画像からの前記画素値の乖離度合いを示す第２の差分画像とを生成し、
    前記第１の差分画像と前記第２の差分画像とを二値化して複数の二値化画像を生成する処理をコンピュータに実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムにおいて、
    前記第１の差分画像または前記第２の差分画像から取得した前記乖離度合いを用いて、前記評価値を算出する処理をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１１または請求項１２に記載のプログラムにおいて、
    色空間の各成分に対応する前記基準濃度画像をそれぞれ生成し、
    色空間の各成分で前記第１の差分画像および前記第２の差分画像をそれぞれ生成し、
    色空間の各成分で複数の異なる二値化画像をそれぞれ生成する処理をコンピュータに実行させることを特徴とするプログラム。
14. 請求項１０から請求項１３のいずれか１項に記載のプログラムにおいて、
    前記画素領域の面積および前記画素領域の慣性モーメントをさらに用いて前記評価値を算出する処理をコンピュータに実行させることを特徴とするプログラム。
15. 請求項１０から請求項１４のいずれか１項に記載のプログラムにおいて、
    前記画素領域に対応する前記画素の強度が閾値以上であるときに、被写体らしさが高くなるように前記評価値に重み付けをする処理をコンピュータに実行させることを特徴とするプログラム。
16. 請求項１０から請求項１４のいずれか１項に記載のプログラムにおいて、
    ２つの前記画素領域の間で前記画素の強度の差が閾値以上あるときに、前記画素の強度が高い方の前記画素領域に対して被写体らしさが高くなるように前記評価値に重み付けをする処理をコンピュータに実行させることを特徴とするプログラム。
17. 請求項１０から請求項１６のいずれか１項に記載のプログラムにおいて、
    抽出された前記画素領域の対応位置を表示装置に表示させる処理をコンピュータに実行させることを特徴とするプログラム。