JP2017116606A - 焦点調節装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】 被写体に応じて的確に特定領域の抽出を行い、その特定領域を用いて焦点調節領域を設定する。
【解決手段】 焦点調節装置は、処理対象の画像を所定の閾値で二値化した二値化画像を生成する二値化処理部と、二値化画像で抽出された画素領域につき被写体らしさを示す評価値を算出し、評価値を用いて処理対象の画像の特定領域を抽出する抽出部と、抽出部で抽出された特定領域に基づいて第１の焦点調節領域を設定し、第１の焦点調節領域に基づいて第１の焦点調節領域とは形状の異なる第２の焦点調節領域を設定し、第２の焦点調節領域の情報を用いて光学系の焦点調節を行う合焦制御部と、を備える。
【選択図】 図１

Description

本発明は、焦点調節装置、撮像装置およびプログラムに関する。

従来より自動焦点調節技術を搭載した撮像装置が知られている。

しかしながら、従来の撮像装置では、焦点調節の精度が低いという問題があった。

特開２００９−０６９７４８号公報

焦点調節装置は、処理対象の画像を所定の閾値で二値化した二値化画像を生成する二値化処理部と、二値化画像で抽出された画素領域につき被写体らしさを示す評価値を算出し、評価値を用いて処理対象の画像の特定領域を抽出する抽出部と、抽出部で抽出された特定領域に基づいて第１の焦点調節領域を設定し、第１の焦点調節領域に基づいて第１の焦点調節領域とは形状の異なる第２の焦点調節領域を設定し、第２の焦点調節領域の情報を用いて光学系の焦点調節を行う合焦制御部と、を備える。

撮像装置の構成例を示す機能ブロック図 焦点調節部の構成例を示す機能ブロック図 静止画撮影モードにおける処理の例を示すフローチャート 被写体検出処理の例を示すフローチャート スルー画像の一例を示す図 （ａ）〜（ｃ）：図５に対応する正の差分画像の例を示す図 （ａ）〜（ｃ）：図５に対応する負の差分画像の例を示す図 （ａ）〜（ｉ）：ラベリング処理後の２値化画像の例を示す図 （ａ）〜（ｉ）：被写体のマスクを抽出するときの二値化画像の例を示す図 第１実施形態でのＡＦ制御の例を示すフローチャート 図５に対応する第１の焦点検出エリアの設定例を示す図 （ａ）〜（ｃ）：第１の焦点検出エリアまたは仮の焦点検出エリアの設定例を示す図 第１のヒストグラムと第２のヒストグラムとの一例を示す図 第１のヒストグラムと第２のヒストグラムとの別例を示す図 図５に対応する第２の焦点検出エリアの設定例を示す図 第２の焦点検出エリアの設定の別例を示す図 第２実施形態でのＡＦ制御の例を示すフローチャート 図１７のステップＳ３２０での仮の焦点検出エリアの設定例を示す図

＜第１実施形態の説明＞
以下、図面を参照しつつ、第１実施形態を説明する。

図１は、第１実施形態の撮像装置の一例を示す機能ブロック図である。なお、撮像装置としては、デジタルカメラの他、例えばカメラ機能を備えた携帯電話機やタブレットＰＣなどの携帯型電子機器端末が挙げられる。

図１に示す撮像装置１０は、撮像光学系１５、光学系駆動部１６、撮像部１７、制御部１９、第１メモリ２０、第２メモリ２１、メディアＩ／Ｆ２２、表示部２３および操作部２４を備えている。ここで、光学系駆動部１６、撮像部１７、第１メモリ２０、第２メモリ２１、メディアＩ／Ｆ２２、表示部２３および操作部２４は、制御部１９にそれぞれ接続される。表示部２３は、各種の画像を表示する表示デバイスを含む。また、操作部２４は、ユーザからの各種操作を受け付ける。

撮像光学系１５は、例えばズームレンズやフォーカスレンズを含む複数のレンズを有している。簡単のため、図１では、撮像光学系１５を１枚のレンズで示す。撮像光学系１５に含まれるズームレンズやフォーカスレンズの各レンズ位置は、光学系駆動部１６によってそれぞれ光軸方向に調整される。撮像光学系１５は、一眼レフレックスカメラなどのビューファインダカメラに代表されるように、撮像装置１０の装置本体に対して着脱自在となるレンズ鏡筒内に設けられていてもよい。あるいは、撮像光学系１５は、コンパクトカメラに代表されるように、撮像装置１０の装置本体に一体に設けられたレンズ鏡筒内に設けられていてもよい。

撮像部１７は、撮像光学系１５を介して入射された光束による被写体の像を撮像（撮影）するモジュールである。撮像部１７は、例えば、撮像光学系１５により光電変換面に結像された光学像を撮像素子内でデジタル信号に変換して出力する撮像素子を備えてもよい。また、例えば、撮像部１７は、撮像素子およびＡ／Ｄ変換部を備え、撮像素子は撮像光学系１５により光電変換面に結像された光学像を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、撮像素子によって変換された電気信号をデジタル化して、デジタル信号として出力する構成であってもよい。ここで、上述した撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの光電変換素子で構成される。この撮像素子の画素には、例えば公知のベイヤ配列に従ってＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力できる。なお、撮像素子は、光電変換面の一部の領域について被写体の像を電気信号に変換する、所謂画像の切り出しを行えるようにしてもよい。

ここで、撮像部１７は、操作部２４からの撮像指示に応じて、不揮発性の記憶媒体３５への記録を伴う記録用の静止画像を撮影する。このとき、撮像部１７は、記録用の静止画像を連写撮影することもできる。また、撮像部１７は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。スルー画像は、記録用の静止画像と比べて間引きにより解像度（画像サイズ）が低くなっている。時系列に取得されたスルー画像のデータは、制御部１９による各種の演算処理や、表示部２３での動画表示（ライブビュー表示）に使用される。なお、撮像部１７で取得される画像を、撮像画像と称することもある。

制御部１９は、撮像装置１０の動作を統括的に制御するプロセッサである。例えば、制御部１９は、撮像部１７での撮像画像の撮影制御、自動露出（Auto Exposure）制御、表示部２３での画像の表示制御、第１メモリ２０およびメディアＩ／Ｆ２２での画像の記録制御を行う。この制御部１９は、画像処理部３１、焦点調節装置の一例としての焦点調節部３２を有している。なお、本実施形態では、画像処理部３１と焦点調節部３２との構成を個別に設けた場合を説明しているが、画像処理部３１および焦点調節部３２は１つの機能ブロックであってもよい。

画像処理部３１は、スルー画像や撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。

焦点調節部３２は、撮像部１７の撮像範囲内に設定された焦点検出エリアの情報を用いて、公知のコントラスト検出によりフォーカスレンズの自動焦点調節（Auto Focus）を実行する。このとき、焦点調節部３２は、撮像部１７で撮像された画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。例えば、焦点調節部３２は、カラーのスルー画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。

ここで、図１に示す制御部１９の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他の電子回路で実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。上述した画像処理部３１、焦点調節部３２は、制御部１９によって処理されるプログラムモジュールである。しかし、画像処理部３１、焦点調節部３２の少なくとも一方は、ＡＳＩＣ(Application Specific Integrated Circuit)等であってもよい。

第１メモリ２０は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ２０は、ＳＤＲＡＭ等の揮発性メモリである。第２メモリ２１は、制御部１９で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ２１は、フラッシュメモリ等の不揮発性メモリである。

メディアＩ／Ｆ２２は、不揮発性の記憶媒体３５を接続するためのコネクタを有している。そして、メディアＩ／Ｆ２２は、コネクタに接続された記憶媒体３５に対してデータ（記録用画像）の書き込み／読み込みを実行する。記憶媒体３５は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、メディアＩ／Ｆ２２が記憶媒体３５に対して光学的にデータを読み取る又は書き込む場合には、記憶媒体３５は、光学ディスクである。

次に、図２を用いて、焦点調節部３２の構成について説明する。焦点調節部３２は、色空間変換部４１、解像度変換部４２、差分画像生成部４３、画像判定部４４、二値化処理部４５、マスク絞込部４６、評価値算出部４７、マスク抽出部４８、合焦制御部４９を備えている。ここで、焦点調節部３２の各機能ブロックは、制御部１９によって処理されるプログラムモジュールであってもよいし、ＡＳＩＣ等であってもよい。

色空間変換部４１は、入力されるスルー画像のデータに対して色空間変換処理を実行する。制御部１９に入力される画像のデータは、例えばＲＧＢ色空間で表されるデータである。したがって、色空間変換部４１は、入力される画像のデータを、ＲＧＢ色空間で表されるデータから、ＹＣｂＣｒ色空間で表されるデータに変換する。

解像度変換部４２は、色空間変換処理が施されたスルー画像のデータに対して解像度変換処理を施す。この解像度変換処理により、入力されるスルー画像は、その解像度が元の解像度よりも低解像度となる。言い換えれば、解像度変換処理により、スルー画像の画像サイズが小さくなる。

本実施形態では、焦点調節部３２として、色空間変換部４１及び解像度変換部４２を備えた構成としている。しかし、色空間変換処理及び解像度変換処理が施されたスルー画像のデータが焦点調節部３２に入力される場合には、色空間変換部４１及び解像度変換部４２の構成は省略することが可能である。また、色空間変換部４１及び解像度変換部４２を１つの機能ブロックにまとめてもよい。

差分画像生成部４３は、ＹＣｂＣｒ色空間で表されるスルー画像の画素値の平均値を、Ｙ成分、Ｃｂ成分及びＣｒ成分毎に算出する。差分画像生成部４３は、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分で算出された画素値の平均値を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分の基準濃度画像をそれぞれ生成する。ここで、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分の基準濃度画像は、解像度変換処理が施されたスルー画像の解像度と同一の解像度であり、各画素の画素値がいずれも共通する画像である。

差分画像生成部４３は、解像度変換処理が施されたスルー画像と基準濃度画像とを用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分でそれぞれ２つの差分画像を生成する。この２つの差分画像は、正の差分画像と負の差分画像である。ここで、正の差分画像は、解像度変換処理が施されたスルー画像において、基準濃度画像の画素値を超過する画素値を有する画素の分布を表す画像である。負の差分画像は、解像度変換処理が施されたスルー画像において、基準濃度画像の画素値未満となる画素値を有する画素の分布を表す画像である。

差分画像生成部４３は、Ｙ成分の正の差分画像を生成する際に、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定する。または、差分画像生成部４３は、差分値が０以上となる画素の画素値を差分値に設定し、差分値が０未満となる画素については差分値はなしとしてもよい。いずれの場合においても、Ｙ成分の正の差分画像では、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値を超過する画素においては、その階調がそのまま保持される。ここで、Ｙ成分の正の差分画像において、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値を超過する画素の画素値の大きさは、Ｙ成分の基準濃度画像からの乖離度合いを示している。

また、差分画像生成部４３は、Ｙ成分の負の差分画像を生成する際に、差分値が０以上となる画素の画素値を０に設定し、差分値が０未満となる画素の画素値を差分値の絶対値に設定する。または、差分画像生成部４３は、差分値が０超過する画素の画素値においては差分値を０に設定し、差分値が０未満となる画素を、差分値の絶対値に設定する。いずれの場合についても、Ｙ成分の負の差分画像では、Ｙ成分の画素値がＹ成分の基準濃度画像の画素値未満となる画素においては、その階調がそのまま保持される。ここで、負の差分画像において、Ｙ成分の画像の画素値がＹ成分の基準濃度画像の画素値未満となる画素の画素値の大きさは、基準濃度画像からの乖離度合いを示している。

差分画像生成部４３は、上述した方法でＹ成分の正の差分画像及び負の差分画像を生成すると同時に、Ｃｂ成分の正の差分画像及び負の差分画像、及びＣｒ成分の正の差分画像及び負の差分画像をそれぞれ生成する。したがって、差分画像生成部４３は、計６個の差分画像を生成する。

上述した記載では、差分画像生成部４３は、各成分の画像から対応成分の基準濃度画像を減じた結果を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の負の差分画像をそれぞれ生成しているが、これに限定する必要はない。例えば、差分画像生成部４３は、基準濃度画像から対応成分の画像を減じた後、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定することで、負の差分画像を生成してもよい。

画像判定部４４は、生成された６個の差分画像毎にヒストグラムを生成する。そして、画像判定部４４は、生成したヒストグラム毎に、ヒストグラムの標準偏差σ及びピーク・ピーク値（peak to peak)ｐｐを求める。ここで、ヒストグラムの標準偏差σ及びピーク・ピーク値ｐｐは、ヒストグラムにおける画素値の分布のばらつき（または広がり）を示す指標となる。上述したように、差分値が０を超過する画素の画素値を差分値に設定し、差分値が０以下となる画素の画素値を０に設定した正の差分画像の場合、ピーク・ピーク値ｐｐは、例えば度数が最も高くなる画素値から、度数が二番目に高くなる画素値までの幅である。また、差分値が０以上となる画素の画素値を差分値に設定し、差分値が０未満となる画素については差分値なしとした正の差分画像の場合、ピーク・ピーク値は、例えばヒストグラムの０から、最大値までの幅である。

なお、上述したピーク・ピーク値ｐｐは一例であり、ヒストグラムにおける画素値及び度数の分布のばらつきを示す指標であれば、どのようなものであってもよい。例えば、画像判定部４４は、差分画像に代えて、ＹＣｂＣｒ色空間で表されるスルー画像の各成分に対してそれぞれヒストグラムを生成してもよい。そして、画像判定部４４は、各成分のヒストグラムにおいて度数が最も高くなる値を基準として、ピーク・ピーク値ｐｐを求めてもよい。

そして、画像判定部４４は、ヒストグラム毎に生成した標準偏差σおよびピーク・ピーク値ｐｐを用いて、被写体を特定する際に用いる差分画像を選択する。

例えば、多数の花や森林を撮影した場合のように、所定の色の色成分が撮影範囲の大部分を占める画像の場合を考える。この場合、いずれかの色差成分の差分画像では、所定の色に対応する色差成分の度数が高く、また、所定の色に対応する色差成分の値のばらつきが小さくなる。このとき、画像判定部４４は、標準偏差σ＜閾値Ｔｈ１、且つピーク・ピーク値ｐｐ＜閾値Ｔｈ２となる色差成分の差分画像を、被写体を特定する際に用いる差分画像から除外する。なお、閾値Ｔｈ１及び閾値Ｔｈ２は、差分画像に含まれる画素の画素値の分布のばらつきを判断するための閾値である。また、閾値Ｔｈ１及び閾値Ｔｈ２は異なる閾値であり、それぞれ独立に定められる。

一方、突出した色差成分がない画像の場合、差分画像のヒストグラムは、標準偏差σ≧閾値Ｔｈ１、且つピーク・ピーク値ｐｐ≧閾値Ｔｈ２となりやすい。この場合には、画像判定部４４は、該当する差分画像を、被写体を特定する際に用いる差分画像から除外せずに保持する。

なお、色差成分の差分画像を対象にして説明しているが、上記判定は、Ｃｂ成分及びＣｒ成分の差分画像の他、Ｙ成分の差分画像に対しても実行される。

ここで、上記判定を行ったときに、生成した６個の差分画像の全ての差分画像が、被写体を特定する際に用いる差分画像から除外されてしまう場合もある。この場合、画像判定部４４は、一旦除外された６個の差分画像を、被写体を特定する際に用いる差分画像として再度保持する。

二値化処理部４５は、保持された差分画像を所定の閾値で二値化する二値化処理を行う。以下、各差分画像に対する二値化処理を行ったときに閾値以上となる画素を白画素とし、閾値未満となる画素を黒画素とする。そして、二値化処理部４５は、各差分画像に対する二値化処理を行って生成された二値化画像に対して、画素のまとまりを求めるラベリング処理を実行する。このラベリング処理を行った後、二値化処理部４５は、白画素のかたまりをマスク（島領域）として抽出する。

マスク絞込部４６は、二値化画像から抽出されたマスクのうち、被写体候補として用いるマスクを絞り込む。以下、被写体候補として用いるマスクを被写体候補のマスクと称する。

二値化画像から抽出されたマスクの中には、二値化画像に対するマスクの面積比が１％以下となるマスクが存在する。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、二値化画像に対するマスクの面積比が１％以下となるか否かを判定する。マスク絞込部４６は、二値化画像に対するマスクの面積比が１％以下となるマスクをノイズであると判定し、被写体候補のマスクから除外する。

また、二値化画像から抽出されたマスクの中には、二値化画像に対するマスクの面積比が６０％以上となるマスクが存在する。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、二値化画像に対するマスクの面積比が６０％以上となるか否かを判定する。マスク絞込部４６は、二値化画像に対するマスクの面積比が６０％以上となるマスクを背景であると判定し、被写体候補のマスクから除外する。

また、二値化画像から抽出されたマスクの中には、マスクを含む矩形領域に対するマスクの面積比が所定の比率（例えば０．２）以下となるマスクもある。マスク絞込部４６は、二値化画像から抽出されたマスクに対して、マスクを含む矩形領域に対するマスクの面積比が所定の比率以下となるか否かを判定する。マスク絞込部４６は、マスクを含む矩形領域に対するマスクの面積比が所定の比率以下となるマスクを充填率が低いマスクであると判定し、被写体候補のマスクから除外する。

なお、二値化画像から抽出されたマスクの中には、二値化画像の外周に相当する４辺のうち、隣り合う２辺にかかるマスクや、マスクを含む矩形領域の縦横比が所定の範囲（例えば０．２以上５未満）に含まれないマスクもある。したがって、抽出されるマスクの中に、これらのマスクが存在している場合、マスク絞込部４６は、これらのマスクを被写体としては適していないマスクとして、被写体候補のマスクから除外してもよい。

また、マスク絞込部４６は、二値化画像から抽出されるマスクの数を二値化画像毎に計数する。マスク絞込部４６は、１個の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上であるか否かを判定する。そして、同一の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上であると判定された場合に、マスク絞込部４６は、対象となるマスク全体の平均強度を求める。ここで、マスク全体の平均強度とは、差分画像中の全てのマスクに該当する画素の画素値の平均値（平均画素値）が挙げられる。マスク絞込部４６は、求めたマスク全体の平均強度が閾値Ｔｈ４以下となる場合には、元になる差分画像には被写体が含まれていないと判定し、該当する差分画像から抽出される全てのマスクを被写体候補のマスクから除外する。一方、マスク全体の平均強度が閾値Ｔｈ４を超過する場合には、マスク絞込部４６は、元になる差分画像には被写体が含まれていると判定する。この場合、対象となるマスクは、被写体候補のマスクとして保持される。

なお、マスク絞込部４６は、同一の二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上で、且つマスク全体の平均強度が閾値Ｔｈ４以下となるか否かを判定している。しかしながら、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上となるか否かを判定し、二値化画像から抽出されるマスクの数が閾値Ｔｈ３以上となる場合に、該当する二値化画像から抽出されるマスクを被写体候補のマスクから除外することも可能である。

評価値算出部４７は、マスク絞込部４６により絞り込まれた被写体候補のマスクのそれぞれに対して評価値を算出する。評価値は、一例として、マスクの面積、マスクに対する慣性モーメント、マスクの平均強度から求まる値である。ここで、マスクの平均強度としては、差分画像中のマスクに該当する画素の画素値の平均値が挙げられる。

まず、評価値算出部４７は、各マスクの慣性モーメントを算出する。慣性モーメントは、マスクの重心からの画素距離の２乗×（０または１）の和により算出される。ここで、マスクの重心とは、同一の二値化画像から抽出される被写体候補のマスクの重心である。なお、マスクの重心を基準として慣性モーメントを求めるのではなく、二値化画像の中心を基準として慣性モーメントを求めることも可能である。

次に、評価値算出部４７は、マスクの面積と、マスクの平均強度とをそれぞれ求める。

最後に、以下の（１）式を用いて、マスクに対する評価値を求める。以下、マスクに対する評価値をＥｖと称する。

Ｅｖ＝Ａｒ＾α／ＭＯＩ＋Ａｖ／β・・・（１）
ここで、「Ａｒ」はマスクの面積、「ＭＯＩ」はマスクの慣性モーメント、「Ａｖ」はマスクの平均強度を示す。また、「α」及び「β」は、チューニングパラメータとしての係数である。係数αは１．５〜２程度に、係数βは１００程度に設定されるが、係数α、係数βは上記の例に限定されるものではない。

上記の評価値Ｅｖは、マスクの面積Ａｒが大きくなるほど大きな値となり、マスクの慣性モーメントＭＯＩが大きくなるほど小さな値となる。また、上記の評価値Ｅｖは、マスクの平均強度が大きくなるほど大きな値となる。

マスク抽出部４８は、被写体候補のマスクから、特定領域の一例として被写体に相当するマスク（被写体のマスク）を抽出する。例えば、マスク抽出部４８は、被写体候補のマスクのそれぞれに対して求めた評価値Ｅｖを用いて、被写体候補のマスクの順位付けを行う。そして、マスク抽出部４８は、例えば、上位３位のマスクを被写体のマスクとして抽出する。なお、被写体候補のマスクがない場合には、マスク抽出部４８は、被写体のマスクがないと判定する。なお、評価値算出部４７およびマスク抽出部４８は、抽出部の一例である。

合焦制御部４９は、撮像部の撮像範囲内に焦点検出エリア（焦点調節領域）を設定する。そして、合焦制御部４９は、焦点検出エリアにピントが合うように焦点検出エリアの情報を用いてフォーカスレンズの焦点調節を行う。ここで、合焦制御部４９は、被写体のマスクの形状に基づいて初期の第１焦点検出エリアを設定し、この第１焦点検出エリアのサイズを変形することで、最終的なＡＦ制御に適用される第２焦点検出エリアを設定する。

ここで、本実施形態の撮像装置１０は、動作モードとして、静止画像を撮影する静止画撮影モード、動画像を撮影する動画撮影モード、取得した静止画像や動画像を表示部２３で再生する再生モードを備えている。以下、静止画撮影モードにおける処理の流れについて、図３のフローチャートを用いて説明する。なお、図３の処理は、例えば、撮影モードの起動時に制御部１９がプログラムを実行することで開始される。

ステップＳ１０１は、スルー画像を取得する処理である。制御部１９は、撮像部１７を駆動させてスルー画像の撮像を行わせる。この撮像部１７の駆動によりスルー画像が取得される。なお、撮像部１７の駆動により取得されるスルー画像のデータは、撮像部１７から制御部１９に入力される。制御部１９は、撮像部１７からのスルー画像のデータに対して画像処理を実行する。ここで、制御部１９は、画像処理が施されたスルー画像のデータを表示部２３に出力し、取得されたスルー画像を表示部２３に表示させることも可能である。

ステップＳ１０２は、被写体検出処理である。制御部１９は、ステップＳ１０１にて取得したスルー画像を用いて被写体検出処理を実行する。これにより、撮像部１７の撮像範囲内での被写体の領域が検出される。

ステップＳ１０３は、ＡＦ制御である。制御部１９は、ステップＳ１０２で検出された被写体の領域を焦点検出エリアに設定したＡＦ制御を実行する。ここで、ステップＳ１０２における被写体検出処理において被写体の領域が得られない場合には、制御部１９は、撮像範囲の中心に焦点検出エリアに設定したＡＦ制御を実行する。

なお、このステップＳ１０３の処理を実行する際に、制御部１９は、設定した焦点検出エリアを基準としたＡＥ演算を行ってもよい。

ステップＳ１０４は、撮影指示があるか否かを判定する処理である。記録用の静止画像の撮影指示が操作部２４の操作によって行われると、制御部１９は、ステップＳ１０４の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０５に進む。一方、記録用の静止画像の撮影指示が操作部２４の操作により行われない場合、制御部１９は、ステップＳ１０４の判定処理の結果をＮｏとする。この場合、ステップＳ１０６に進む。

ステップＳ１０５は、撮像処理である。制御部１９は、撮像部１７を駆動させて、記録用の静止画像の撮像処理を実行する。制御部１９は、記録用の静止画像のデータに対して所定の画像処理を施す。制御部１９は、画像処理を施した記録用の静止画像のデータを、メディアＩ／Ｆ２２を介して記憶媒体３５に書き込む。この処理が終了すると、ステップＳ１０６に進む。

ステップＳ１０６は、撮影を終了させるか否かを判定する処理である。記録用の静止画像の撮影終了の指示が操作部２４の操作によって行われると、制御部１９は、ステップＳ１０６の判定処理の結果をＹｅｓとする。この場合、図３のフローチャートの処理が終了する。

一方、記録用の静止画像の撮影終了の指示が操作部２４の操作によって行われない場合、制御部１９は、ステップＳ１０６の判定処理の結果をＮｏとする。この場合、ステップＳ１０１に戻る。したがって、ステップＳ１０６の判定処理がＮｏとなる場合には、ステップＳ１０１からステップＳ１０４の処理が繰り返し実行され、これらの処理が繰り返し実行されるときに、必要に応じてステップＳ１０５の撮像処理が実行される。

次に、図３のステップＳ１０２に示した被写体検出処理の例を、図４のフローチャートに基づいて説明する。

ステップＳ２０１は、色空間変換処理である。制御部１９の色空間変換部４１は、画像処理が施されたスルー画像に対して色空間変換処理を実行する。これにより、ＲＧＢ色空間で表されるスルー画像が、ＹＣｂＣｒ色空間で表されるスルー画像に変換される。

図５は、処理対象となるスルー画像の一例を示している。図５のスルー画像は、例えば、草原を背景に蝶と花を撮影した絵柄である。

ステップＳ２０２は、解像度変換処理である。制御部１９の解像度変換部４２は、ステップＳ２０１の色空間変換処理が施されたスルー画像に対して解像度変換処理を実行する。これにより、スルー画像が元の解像度よりも低い解像度に変換される。つまり、画像サイズが縮小されたスルー画像が生成される。

ステップＳ２０３は、差分画像を生成する処理である。制御部１９の差分画像生成部４３は、ステップＳ２０２の解像度変換処理が施されたスルー画像を用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分の基準濃度画像をそれぞれ生成する。そして、差分画像生成部４３は、解像度変換処理が施されたスルー画像と基準濃度画像とを用いて、Ｙ成分、Ｃｂ成分及びＣｒ成分の各成分に、正の差分画像及び負の差分画像を生成する。

図６（ａ）〜（ｃ）は、図５に対応する正の差分画像の例を示している。図６（ａ）はＹ成分の正の差分画像であり、図６（ｂ）はＣｂ成分の正の差分画像であり、図５（ｃ）はＣｒ成分の正の差分画像である。図６の例では、正の差分画像で画素値が大きい部分がそれぞれ白色となる。

また、図７（ａ）〜（ｃ）は、図５に対応する負の差分画像の例を示している。図７（ａ）はＹ成分の負の差分画像であり、図７（ｂ）はＣｂ成分の負の差分画像であり、図７（ｃ）はＣｒ成分の負の差分画像である。図７の例では、第２画像での画素値が大きい部分がそれぞれ白色となる。

ステップＳ２０４は、差分画像を絞り込む処理である。制御部１９の画像判定部４４は、ステップＳ２０３にて生成した各成分の正の差分画像及び負の差分画像の計６個の差分画像のそれぞれからヒストグラムを生成する。画像判定部４４は、生成したヒストグラムを用いて標準偏差σ及びピーク・ピーク値を求める。画像判定部４４は、これらの値を用いて、上述の処理により被写体を特定する際に用いる差分画像を絞り込む。

ステップＳ２０５は、二値化処理である。制御部１９の二値化処理部４５は、ステップＳ２０４の処理により絞り込まれた差分画像のそれぞれに対して二値化処理を行う。例えば、二値化処理部４５は、二値化の閾値を差分画像の画素値の標準偏差によって決定する。例えば、二値化処理部４５は、正の差分画像について、標準偏差の２σ、３σに対応する画素値を閾値として二値化画像を生成する。また、二値化処理部４５は、負の差分画像について、標準偏差の２σに対応する画素値を閾値として二値化画像を生成する。二値化処理部４５は、ＹＣｂＣｒの各成分でそれぞれ上記の二値化処理を実行する。すなわち、ステップＳ２０５での二値化処理では、各成分でそれぞれ３枚の二値化画像が生成され、１枚のスルー画像につき合計９枚の２値化画像が生成される。

また、二値化処理部４５は、二値化画像を生成した後、生成された二値化画像に対してそれぞれラベリング処理を行う。このラベリング処理を行うことで、制御部１９は、二値化画像からマスクを抽出する。

図８（ａ）〜（ｉ）は、ステップＳ２０５のラベリング処理後の２値化画像の例を示している。図８（ａ）はＹ成分の正の差分画像から生成された二値化画像（閾値２σ）であり、図８（ｂ）はＣｂ成分の正の差分画像から生成された二値化画像（閾値２σ）であり、図８（ｃ）はＣｒ成分の正の差分画像から生成された二値化画像（閾値２σ）である。また、図８（ｄ）はＹ成分の正の差分画像から生成された二値化画像（閾値３σ）であり、図８（ｅ）はＣｂ成分の正の差分画像から生成された二値化画像（閾値３σ）であり、図８（ｆ）はＣｒ成分の正の差分画像から生成された二値化画像（閾値３σ）である。図８（ｇ）はＹ成分の負の差分画像から生成された二値化画像（閾値２σ）であり、図８（ｈ）はＣｂ成分の負の差分画像から生成された二値化画像（閾値２σ）であり、図８（ｉ）はＣｒ成分の負の差分画像から生成された二値化画像（閾値２σ）である。図８において、被写体候補のマスクは白色で示し、後述のステップＳ２０６の処理で被写体候補から除外されるマスクはグレーで示している。

ステップＳ２０６は、マスクを絞り込む処理である。制御部１９のマスク絞込部４６は、上述のように、二値化画像から抽出されたマスクから、被写体候補のマスクを絞り込む。

ステップＳ２０７は、評価値Ｅｖを算出する処理である。制御部１９の評価値算出部４７は、ステップＳ２０６の処理により絞り込まれたマスクに対する評価値Ｅｖを、上述した（１）式を用いて算出する。

ステップＳ２０８は、被写体のマスクを抽出する処理である。制御部１９のマスク抽出部４８は、ステップＳ２０７にて求めた各マスクの評価値Ｅｖに基づいて、被写体候補のマスクに対する順位付けを行う。そして、マスク抽出部４８は、例えば、上位３位のマスクを被写体のマスクとして抽出する。このステップＳ２０８の処理が終了すると、図４に示す被写体検出処理が終了する。

図９（ａ）〜（ｉ）は、被写体のマスクを抽出するときの二値化画像の例を示している。図９（ａ）〜（ｉ）は、図８（ａ）〜（ｉ）の二値化画像にそれぞれ対応している。

図９の例では、被写体候補として残されたマスクのうち、被写体らしさを示す評価値の高さが上から２番目までのマスクを示すようにしている。以下、或る二値化画像で評価値が１番目に高いマスクを第１位のマスクとも称し、或る二値化画像で評価値が２番目に高いマスクを第２位のマスクとも称する。図９の（ａ）、（ｃ）の例では、被写体候補として残されたマスクが１つのため、二値化画像には第１位のマスクのみが示されている。図９の（ｄ）〜（ｈ）の例では、被写体候補として残されたマスクがないため、図９の（ｄ）〜（ｈ）の二値化画像にはマスクが示されていない。なお、図８の例では、被写体候補のマスクに対する評価値の記載は省略している。

図９の例では、図９（ｂ）に示したＣｂ成分の正の差分画像から生成された二値化画像（閾値２σ）が１番目に評価値が高く、図９（ａ）に示したＹ成分の正の差分画像から生成された２値化画像（閾値２σ）が２番目に評価値が高く、図９（ｃ）に示したＣｒ成分の正の差分画像から生成された二値化画像（閾値２σ）が３番目に評価値が高い。上記の場合、マスク抽出部４８は、図９（ｂ）、図９（ａ）、図９（ｃ）のマスクを被写体のマスクとして抽出する。

次に、図３のステップＳ１０３に示したＡＦ制御の例を、図１０のフローチャートに基づいて説明する。

ステップＳ３０１は、第１の焦点検出エリアの設定処理である。制御部１９の合焦制御部４９は、ステップＳ１０２で抽出された被写体のマスクの形状および位置に基づいて、第１の焦点検出エリアを設定する。例えば、合焦制御部４９は、被写体のマスクを取り囲み、被写体のマスクが内接する矩形の枠を設定し、この矩形の枠内を第１の焦点検出エリアとする。

このとき、制御部１９は、第１の焦点検出エリアを示す枠表示を重畳させたスルー画像を表示部２３に表示させる。

図１１は、図５に対応する第１の焦点検出エリアの設定例を示す。簡単のため、図１１では、一番評価値の高い二値化画像（図９（ｂ））から抽出された被写体のマスクに第１の焦点検出エリアを設定した例を示している。図９（ｂ）の被写体のマスクは、蝶の形状によく一致する。そのため、ステップＳ３０１で合焦制御部４９が初期設定する第１の焦点検出エリアは、図１１に示すように、蝶の部分に対応する位置に設定される。なお、合焦制御部４９は、上位３つの被写体のマスクの位置にそれぞれ第１の焦点検出エリアを設定してもよい。

ステップＳ３０２は、スルー画像の解析対象の色成分を選択する処理である。合焦制御部４９は、スルー画像の色空間のうちから、第１の焦点検出エリアを設定したときの被写体のマスクと相関の高い色成分を解析対象として選択する。例えば、合焦制御部４９は、第１の焦点検出エリアに対応する被写体のマスクを抽出した二値化画像の色成分に応じて、以下のようにスルー画像のＲＧＢ成分のうちから解析対象の色成分を選択する。

例えば、Ｙ成分の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、スルー画像のＧ成分を解析対象として選択する。

例えば、Ｃｂ成分の正の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、スルー画像のＢ成分を解析対象として選択する。

例えば、Ｃｂ成分の負の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、スルー画像のＧ成分およびＲ成分を解析対象として選択する。

例えば、Ｃｒ成分の正の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、スルー画像のＲ成分を解析対象として選択する。

例えば、Ｃｒ成分の負の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、スルー画像のＧ成分およびＢ成分を解析対象として選択する。

ステップＳ３０３は、第１の焦点検出エリアでの画素値のヒストグラムを生成する処理である。合焦制御部４９は、ステップＳ３０２で選択された色成分について、第１の焦点検出エリアでの画素値のヒストグラム（度数分布）を生成する。例えば、Ｙ成分の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、第１の焦点検出エリアでのＧの画素値のヒストグラムを生成する。なお、ステップＳ３０３で生成されるヒストグラムを第１のヒストグラムとも称する。ステップＳ３０３で生成された第１のヒストグラムの情報は、制御部１９の制御により、例えば第１メモリ２０に保持される。

ステップＳ３０４は、閾値を変化させて二値化画像を生成する処理である。

二値化処理部４５は、合焦制御部４９の指示により、被写体のマスクを抽出した二値化画像の元となる差分画像を対象として、ステップＳ１０２でマスクを抽出したときと異なる閾値で複数の二値化画像をそれぞれ生成する。

例えば、二値化処理部４５は、対象の差分画像について、ステップＳ１０２でマスクを抽出したときよりも小さな閾値と、ステップＳ１０２でマスクを抽出したときよりも大きな閾値とでそれぞれ二値化画像を生成する。このとき、二値化処理部４５は、ステップＳ１０２でマスクを抽出したときよりも小さな複数種類の閾値で、対象の差分画像から複数の二値化画像を生成してもよい。同様に、二値化処理部４５は、ステップＳ１０２でマスクを抽出したときよりも大きな複数種類の閾値で、対象の差分画像から複数の二値化画像を生成してもよい。例えば、本実施形態での二値化処理部４５は、ステップＳ３０４において、ステップＳ１０２でマスクを抽出したときよりも小さい２種類の閾値と、ステップＳ１０２でマスクを抽出したときよりも大きい２種類の閾値とで、合計４つの二値化画像を生成する。

上記の閾値は差分画像での画素値の標準偏差に基づいて例えば合焦制御部４９により決定されるが、閾値の数および閾値の間隔（ステップ幅）は適宜変更できる。

例えば、合焦制御部４９は、マスクを抽出したときよりも閾値を小さくする場合と、マスクを抽出したときよりも閾値を大きくする場合とで、両者のステップ幅を相違させてもよい。

また、合焦制御部４９は、第１の焦点検出エリアに対するマスクの充填率に応じて閾値のステップ幅を変更してもよい。例えば、第１の焦点検出エリアに対するマスクの充填率が低い場合、合焦制御部４９は閾値のステップ幅を大きくし、第１の焦点検出エリアに対するマスクの充填率が高い場合、合焦制御部４９は閾値のステップ幅を小さくしてもよい。

ステップＳ３０５は、ステップＳ３０４で生成した各々の二値化画像から被写体のマスクを抽出する処理である。

例えば、マスク絞込部４６、評価値算出部４７、マスク抽出部４８は、合焦制御部４９の指示により、ステップＳ２０６〜Ｓ２０８と同様の処理で、ステップＳ３０４で生成した各々の二値化画像から被写体のマスクをそれぞれ抽出する。なお、ステップＳ３０５の場合、マスク絞込部４６、評価値算出部４７、マスク抽出部４８は、ステップＳ２０６〜Ｓ２０８と比べて一部の処理を省略して被写体のマスクを抽出してもよい。

ステップＳ３０６は、後述する第２の焦点検出エリアの候補となる仮の焦点検出エリアを設定する処理である。

合焦制御部４９は、ステップＳ３０５でそれぞれ抽出された被写体のマスクの形状および位置に基づいて、仮の焦点検出エリアを設定する。ステップＳ３０６で仮の焦点検出エリアを設定する処理は、ステップＳ３０１の処理と同様である。なお、ステップＳ３０６で設定される仮の焦点検出エリアは、ステップＳ３０５で抽出された被写体のマスクごとにそれぞれ設定される。

図１２は、第１の焦点検出エリアおよび仮の焦点検出エリアの設定例を示す。図１２（ａ）は、ステップＳ１０２で抽出されたマスク１に基づいて設定された第１の焦点検出エリアの例を示す。図１２（ｂ）は、ステップＳ３０５で抽出されたマスク２に基づいて設定された仮の焦点検出エリアの例を示す。図１２（ｂ）のマスク２は、マスク１の場合と比べて小さな閾値で生成された二値化画像から抽出されたマスクである。図１２（ｃ）は、ステップＳ３０５で抽出されたマスク３に基づいて設定された仮の焦点検出エリアの例を示す。図１２（ｃ）のマスク３は、マスク１の場合と比べて大きな閾値で生成された二値化画像から抽出されたマスクである。

ステップＳ３０７は、仮の焦点検出エリアを絞り込む処理である。合焦制御部４９は、ステップＳ３０６で設定された仮の焦点検出エリアのうち、第１の焦点検出エリアと比べて撮像範囲での位置が大きく異なるものを処理対象から除外する。この場合には、例えば、ステップＳ１０２で当初に抽出されたマスクとは異なる被写体に仮の焦点検出エリアが設定された可能性があるからである。例えば、合焦制御部４９は、第１の焦点検出エリアと仮の焦点検出エリアとの間で、焦点検出エリアの重心位置や面積を比較する。そして、合焦制御部４９は、これらの相違が閾値以上となるときに仮の焦点検出エリアを処理対象から除外する。

ステップＳ３０８は、仮の焦点検出エリアでの画素値のヒストグラムをそれぞれ生成する処理である。合焦制御部４９は、ステップＳ３０２で選択された色成分について、仮の焦点検出エリアでの画素値のヒストグラムをそれぞれ生成する。例えば、Ｙ成分の差分画像に基づく二値化画像から被写体のマスクが抽出された場合、合焦制御部４９は、仮の焦点検出エリアでのＧの画素値のヒストグラムを生成する。なお、ステップＳ３０８で生成されるヒストグラムを第２のヒストグラムとも称する。ステップＳ３０８で生成された第２のヒストグラムの情報は、制御部１９の制御により、例えば第１メモリ２０に保持される。

ステップＳ３０９は、第１のヒストグラムおよび第２のヒストグラムの解析処理である。まず、合焦制御部４９は、第１のヒストグラムについて、ヒストグラムの標準偏差σ_１及びピーク・ピーク値ｐｐ_１を求める。次に、合焦制御部４９は、複数の第２のヒストグラムについて、ヒストグラムの標準偏差σ_２及びピーク・ピーク値ｐｐ_２をそれぞれ求める。そして、合焦制御部４９は、例えば、以下の（条件１）、（条件２）のいずれかの抽出条件を満たす第２のヒストグラムを抽出する。なお、合焦制御部４９は、第２のヒストグラムのσ_２、ｐｐ_２を求めるときに、第１のヒストグラムに合わせて第２のヒストグラムを正規化してもよい。
（条件１）σ_２がσ_１以下（σ_２≦σ_１）で、ｐｐ_２がｐｐ_１よりも大きい（ｐｐ_２＞ｐｐ_１）第２のヒストグラム。
（条件２）σ_２がσ_１未満（σ_２＜σ_１）で、ｐｐ_２がｐｐ_１以上である（ｐｐ_２≧ｐｐ_１）第２のヒストグラム。

図１３は、第１のヒストグラムと第２のヒストグラムとの一例を示す。図１３の横軸は画素値であり、図１３の縦軸は度数である。図１３の場合、第２のヒストグラムのｐｐ_２の大きさは、第１のヒストグラムのｐｐ_１の大きさとほぼ同じである。一方、図１３の場合、第２のヒストグラムでのσ_２の値はσ_１よりも小さい。

ここで、ヒストグラムの標準偏差は、焦点検出エリア内で画素値が近似する画素が多いほど小さくなる。例えば、図１３のように、第２のヒストグラムでのσ_２の値がσ_１より小さくなることは、第１の焦点検出エリアよりも仮の焦点検出エリアの方が適切に被写体を捉えていることを意味する。

また、図１４は、第１のヒストグラムと第２のヒストグラムとの別例を示す。図１４の横軸は画素値であり、図１４の縦軸は度数である。図１４の場合、第２のヒストグラムのσ_２の大きさは、第１のヒストグラムのσ_１の大きさとほぼ同じである。一方、図１４の場合、第２のヒストグラムでのｐｐ_２の値はｐｐ_１よりも大きい。

ヒストグラムのピーク・ピーク値は、焦点検出エリア内で画素値の分布幅が広いほど大きな値となる。コントラストの生じる被写体のエッジの部分では、コントラストのない平坦な部分と比べて画素値の分布幅が広くなる。例えば、図１４のように、第２のヒストグラムでのｐｐ_２の値がｐｐ_１より大きくなることは、仮の焦点検出エリアの方が第１の焦点検出エリアよりも高いコントラストが生じ、被写体のエッジが検出しやすい状態にあることを意味する。

上記の処理により、合焦制御部４９は、第１の焦点検出エリアと比べて、被写体領域と背景とのエッジ部分または被写体領域内でのエッジ部分に合致するように設定された仮の焦点検出エリアを選択することが可能である。

ステップＳ３１０は、第２の焦点検出エリアの決定処理である。ステップＳ３０９で抽出された第２のヒストグラムがある場合、合焦制御部４９は、抽出された第２のヒストグラムに対応する仮の焦点検出エリアを第２の焦点検出エリアに決定する。なお、ステップＳ３０９で抽出された第２のヒストグラムがない場合、合焦制御部４９は、第１の焦点検出エリアを第２の焦点検出エリアとして扱う。

ここで、ステップＳ３０９の抽出条件を満たす第２のヒストグラムが複数ある場合、合焦制御部４９は、例えば、σ_２が最も小さくなる第２のヒストグラムに対応する仮の焦点検出エリアを第２の焦点検出エリアとしてもよい。あるいは、合焦制御部４９は、抽出された第２のヒストグラムをσ_２およびｐｐ_２の値で総合評価し、総合評価が最も高い第２のヒストグラムから第２の焦点検出エリアを決定してもよい。なお、第２のヒストグラムを総合評価する場合、σ_２の値が小さいほどヒストグラムの評価が高くなり、ｐｐ_２の値が大きいほどヒストグラムの評価が高くなるものとする。

ここで、ステップＳ３１０において、制御部１９は、第２の焦点検出エリアを示す枠表示を重畳させたスルー画像を表示部２３に表示させる。これにより、表示部２３では、第１の焦点検出エリアを示す枠表示を重畳させたスルー画像が表示された後に、第２の焦点検出エリアを示す枠表示を重畳させたスルー画像が表示されることとなる。

なお、本実施形態において、制御部１９は、第２の焦点検出エリアを示す枠表示を行わずに、第１の焦点検出エリアを示す枠表示を重畳させたスルー画像を表示部２３に継続的に表示させてもよい。あるいは、制御部１９は、第１の焦点検出エリアを示す枠表示を行わずに、第２の焦点検出エリアを示す枠表示を重畳させたスルー画像を表示部２３に表示させてもよい。なお、図１５は、図５に対応する第２の焦点検出エリアの設定例を示す。図１５では、比較のために、第１の焦点検出エリアを破線で示す。

ステップＳ３１１は、コントラストＡＦの処理である。合焦制御部４９は、フォーカスレンズのスキャン方向を決定し、光学系駆動部１６を介してフォーカスレンズをスキャン方向に移動させる。このとき、合焦制御部４９は、フォーカスレンズの各レンズ位置で撮像部１７により第２の焦点検出エリアの画像情報をそれぞれ取得し、これらの画像情報からフォーカスレンズの各レンズ位置における焦点評価値を求める。なお、合焦制御部４９は、ＲＧＢのすべての色成分の情報を用いてコントラストＡＦを行ってもよく、上記の解析対象の色成分の情報のみを用いてコントラストＡＦを行ってもよい。

ステップＳ３１２は、焦点評価値が減少したか否かを判定する処理である。合焦制御部４９は、スキャン方向にフォーカスレンズを移動させたときに、前のレンズ位置よりも焦点評価値が減少したか否かを判定する。

焦点評価値が減少した場合（Ｙｅｓ）には、合焦制御部４９は、前のレンズ位置が焦点評価値のピークであるため、フォーカスレンズを前のレンズ位置に移動させてＡＦ制御を終了させる。

一方、焦点評価値が増加した場合（Ｎｏ）には、合焦制御部４９は、ステップＳ３１１の処理に移行し、再びスキャン方向にフォーカスレンズを移動させて次のレンズ位置の焦点評価値を求める。これにより、合焦制御部４９は、焦点評価値がピークとなるレンズ位置を探索する。以上で、図１０のフローチャートの説明を終了する。

以下、第１実施形態での作用効果を述べる。第１実施形態の制御部１９は、被写体検出処理で抽出されたマスクに基づいて第１の焦点検出エリアを設定する（Ｓ３０１）。そして、制御部１９は、第１の焦点検出エリアに基づいて第１の焦点検出エリアとは形状の異なる第２の焦点検出エリアを設定し（Ｓ３０３〜Ｓ３１０）、第２の焦点検出エリアの情報を用いてフォーカスレンズの焦点調節を行う（Ｓ３１１、Ｓ３１２）。

これにより、第１実施形態の制御部１９は、被写体検出処理で抽出されたマスクを用いた第１の焦点検出エリアに基づいて、第１の焦点検出エリアよりもＡＦに適した第２の焦点検出エリアを設定することができる。

また、第１実施形態での制御部１９は、第１の焦点検出エリアでの画素値の第１のヒストグラム（Ｓ３０３）と、仮の焦点検出エリアでの画素値の第２のヒストグラム（Ｓ３０８）とを比較し、第２の焦点検出エリアとなる仮の焦点検出エリアを決定する（Ｓ３０９、Ｓ３１０）。特に、制御部１９は、ヒストグラムの標準偏差やヒストグラムのピーク・ピーク値に基づいて第２の焦点検出エリアを決定する（Ｓ３０９、Ｓ３１０）。

これにより、第１実施形態での第２の焦点検出エリアには、所望の被写体と背景とのエッジ部分、または所望の被写体上でコントラストを生じさせるエッジ部分が、第１の焦点検出エリアと比較して高い精度で含まれる。すなわち、第１実施形態では、所望の被写体と背景とのエッジ部分等を高い精度で含む範囲に絞り込んでコントラストＡＦを行うので、その結果として第２の焦点検出エリアでの焦点評価値の分布は単純な１つの山の形状となりやすい。したがって、第１実施形態でコントラストＡＦを行うときに、合焦評価値が単純増加しない場合（前のレンズ位置よりも焦点評価値が減少する場合）には、焦点評価値のピークであると判断できるので、従来と比べてコントラストＡＦに要するスキャン時間を短縮できる。

＜第１実施形態の変形例＞
第１実施形態では、被写体のマスクを取り囲み、被写体のマスクが内接する矩形の枠で第２の焦点検出エリアを設定する例を説明した。しかし、合焦制御部４９は、第２の焦点検出エリアを、被写体のマスクの輪郭に沿った形状に設定してもよい。

図１６は、第２の焦点検出エリアの設定の別例を示す図である。この変形例での合焦制御部４９は、図１０のステップＳ３１０の処理において以下の処理を行う。

まず、合焦制御部４９は、ステップＳ３０９で抽出された第２のヒストグラムに対応する被写体のマスクの輪郭を、例えば公知のエッジ検出処理で抽出する。そして、合焦制御部４９は、格子状に配列された焦点検出エリアを撮像範囲に設定する。そして、合焦制御部４９は、格子状に配列された焦点検出エリアのうち、抽出されたマスクの輪郭と重なるものを第２の焦点検出エリアとして決定すればよい（図１６）。なお、エッジと重なる焦点検出エリアと隣り合う焦点検出エリアも、第２焦点検出エリアに含めてもよい。

この変形例の場合、第２の焦点検出エリアが、所望の被写体と背景とのエッジ部分、または所望の被写体上でコントラストを生じさせるエッジ部分そのものに近くなる。

＜第２実施形態の説明＞
図１７は、第２実施形態でのＡＦ制御の例を説明するフローチャートである。図１７のフローチャートの処理は、図３のステップＳ１０３に対応するものであって、図１０に示したＡＦ制御の別例である。なお、第２実施形態の撮像装置の構成は、第１実施形態と同一または同様であるので、第１実施形態と同一または同様の要素には同じ符号を付して重複説明を省略する。

図１７の例では、図１０のステップＳ３０４からステップＳ３０７の代わりに、ステップＳ３２０の処理が実行される。その他の処理は、図１０と同様である。なお、図１７の説明で、図１０と同一または同様の処理には同じ符号を付して、詳細な説明を省略する。

ステップＳ３０１は、第１の焦点検出エリアの設定処理であり、ステップＳ３０２は、スルー画像の解析対象の色成分を選択する処理である。また、ステップＳ３０３は、第１の焦点検出エリアでの画素値のヒストグラムを生成する処理である。

ステップＳ３２０は、第１の焦点検出エリアのサイズを拡大または縮小して仮の焦点検出エリアを設定する処理である。

図１８は、図１７のステップＳ３２０での仮の焦点検出エリアの設定例を示す図である。合焦制御部４９は、第１の焦点検出エリアの枠のサイズを所定の倍率で拡大（例えば１．２倍、１．４倍等）または縮小（例えば０．６倍、０．８倍等）する。これにより、合焦制御部４９は、第１の焦点検出エリアと重心が重なり各々のサイズが異なる仮の焦点検出エリアを複数設定する。

そして、ステップＳ３２０の後、合焦制御部４９は、ステップＳ３２０で設定された仮の焦点検出エリアでの画素値のヒストグラムをそれぞれ生成し（Ｓ３０８）、第１のヒストグラムおよび第２のヒストグラムの解析処理を行う（Ｓ３０９）。そして、合焦制御部４９は、第２の焦点検出エリアの決定処理を行い（Ｓ３１０）、第２の焦点検出エリアの情報を用いてコントラストＡＦを行う（Ｓ３１１、Ｓ３１２）。

上記の第２実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第２実施形態の場合には、仮の焦点検出エリアを抽出するときに枠のサイズを拡大・縮小すればよく、第１実施形態のように被写体検出処理を行わずに済む。したがって、第２実施形態の場合には、第１実施形態よりも演算負荷を小さくすることができる。例えば、動画撮影時のＡＦの場合のように、短時間での処理が要求される場合には第２実施形態の構成が有益である。

＜実施形態の補足事項＞
上記実施形態では、Ｙ成分、Ｃｂ成分及びＣｒ成分の差分画像から、各成分の二値化画像を生成しているが、Ｙ成分、Ｃｂ成分及びＣｒ成分の画像から、各成分の二値化画像を生成することも可能である。この場合、各成分の画像に対して、異なる３以上の閾値を用いて、３以上の二値化画像を生成すればよい。また、この場合には、Ｙ成分、Ｃｂ成分及びＣｒ成分の画像毎にヒストグラムを生成し、生成したヒストグラムにおける標準偏差σやピーク・ピーク値ｐｐを求め、標準偏差σやピーク・ピーク値ｐｐを用いて、被写体候補を絞り込む際に使用する画像とするか否かを判定すればよい。

また、上記実施形態において、図３に示すステップＳ１０２の被写体検出処理は、例えば、ガボールマップや顕著性マップ等を用いた手法によって行われるものであってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０…撮像装置、１９…制御部、３１…画像処理部、３２…焦点調節部、４１…色空間変換部、４２…解像度変換部、４３…差分画像生成部、４４…画像判定部、４５…二値化処理部、４６…マスク絞込部、４７…評価値算出部、４８…マスク抽出部、４９…合焦制御部

Claims (10)

1. 処理対象の画像を所定の閾値で二値化した二値化画像を生成する二値化処理部と、
   前記二値化画像で抽出された画素領域につき被写体らしさを示す評価値を算出し、前記評価値を用いて前記処理対象の画像の特定領域を抽出する抽出部と、
   前記抽出部で抽出された前記特定領域に基づいて第１の焦点調節領域を設定し、前記第１の焦点調節領域に基づいて前記第１の焦点調節領域とは形状の異なる第２の焦点調節領域を設定し、前記第２の焦点調節領域の情報を用いて光学系の焦点調節を行う合焦制御部と、
   を備えることを特徴とする焦点調節装置。
2. 請求項１に記載の焦点調節装置において、
   前記二値化処理部は、前記第１の焦点調節領域が設定された後に、前記閾値を変化させて前記処理対象の画像から他の二値化画像を生成し、
   前記合焦制御部は、前記他の二値化画像から抽出された他の特定領域に基づいて前記第２の焦点調節領域を設定することを特徴とする焦点調節装置。
3. 請求項１に記載の焦点調節装置において、
   前記合焦制御部は、前記第１の焦点調節領域のサイズを拡大または縮小して前記第２の焦点調節領域を設定することを特徴とする焦点調節装置。
4. 請求項１から請求項３のいずれか１項に記載の焦点調節装置において、
   前記合焦制御部は、前記第１の焦点調節領域の画素値が示す第１の度数分布と、前記第２の焦点調節領域の画素値が示す第２の度数分布とを比較し、前記第２の焦点調節領域の適否を判定することを特徴とする焦点調節装置。
5. 請求項４に記載の焦点調節装置において、
   前記合焦制御部は、前記第２の度数分布での標準偏差および前記度数分布での度数の分布幅に基づいて、前記第２の焦点調節領域の適否を判定することを特徴とする焦点調節装置。
6. 請求項４から請求項５のいずれか１項に記載の焦点調節装置において、
   前記二値化処理部は、前記処理対象の画像の色空間成分ごとに複数の前記二値化画像を生成し、
   前記合焦制御部は、前記特定領域を抽出した二値化画像の色空間成分に応じて、度数分布を求める色空間成分を選択することを特徴とする焦点調節装置。
7. 請求項１から請求項６のいずれか１項に記載の焦点調節装置において、
   前記第２の焦点調節領域は、前記他の特定領域と背景とのエッジ部分または前記他の特定領域内でのエッジ部分を含むことを特徴とする焦点調節装置。
8. 請求項１から請求項７のいずれか１項に記載の焦点調節装置において、
   前記第１の焦点調節領域の対応位置または第２の焦点調節領域の対応位置を示す表示部をさらに備えることを特徴とする焦点調節装置。
9. 被写体の像を撮像する撮像部と、
   請求項１から請求項８のいずれか１項に記載の焦点調節装置と、
   を備えることを特徴とする撮像装置。
10. 処理対象の画像を所定の閾値で二値化した二値化画像を生成し、
    前記二値化画像で抽出された画素領域につき被写体らしさを示す評価値を算出し、前記評価値を用いて前記処理対象の画像の特定領域を抽出し、
    抽出された前記特定領域に基づいて第１の焦点調節領域を設定し、前記第１の焦点調節領域に基づいて前記第１の焦点調節領域とは形状の異なる第２の焦点調節領域を設定し、前記第２の焦点調節領域の情報を用いて光学系の焦点調節を行う処理をコンピュータに実行させることを特徴とするプログラム。