JP5676956B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、被写体領域を検出するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

近年、被写体の一部である顔領域を色情報、コントラスト等により検出する顔検出機能を備えた撮像装置が知られており、これによりピント合わせや露出制御を被写体にとって最適になるように処理して撮影することが可能となる。さらに、顔検出機能により検出された顔情報に応じて、検出方法を切り替える機能を備えた撮像装置が知られている。

検出方法を切り替える技術の一つが、例えば特許文献１に記載されている。この特許文献１に記載されている技術では、まず、画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向、「１８０度」方向といった複数の方向で探索を行う。そして、過去に検出された顔領域の探索方向に基づいて画像データの探索方向を設定している。これにより、一度顔領域が検出されればその時の検出方法を変更せずに検出を行うことが可能となる。

また、顔領域の輝度値が低く、コントラストが低くなる逆光シーンや夜景シーンで撮影を行う場合がある。例えば、コントラスト情報を用いて顔検出を行う場合、顔領域のコントラストが低いと顔の輪郭部分を検出することが難しくなり、顔領域の検出性能が低くなってしまう。そこで、デジタル画像にかけるガンマ補正の補正量を切り替えることにより顔領域のコントラストを高くして顔検出性能を向上させる方法が知られている。

この方法では、例えば図９（ａ）に示すように、顔が検出されていない間はガンマ補正の補正量を頻繁に切り替える。これにより、順光シーンのような顔領域のコントラストが比較的高いシーンや逆光シーンのような顔領域のコントラストが比較的低いシーンでも顔を検出することができる。さらに、図９（ｂ）に示すように、ある補正量に設定した状態で顔が検出されると、補正量を保持して顔検出を実行しつづけることにより、安定して顔領域を検出することが可能となる。

また、色情報を用いて検出する機能においても、同様の方法により性能を向上させることが可能となる。例えば、人物の顔領域を色情報により検出する顔検出機能においては、顔領域が暗いシーンでは顔の肌色領域などの特徴量を検出することが難しくなり検出性能が低くなる。そこで、彩度情報を補正して色情報の特徴量を検出させやすくすることにより、顔検出性能を向上させることが可能となる。

一方、顔とみなせる領域を検出したときの問題として、顔でない部分を顔と判断するように誤検出が発生することがある。実際に顔を検出する場合及び顔でない領域を誤検出する場合の特徴の違いとして、顔を検出する場合は連続して検出されるが、一部の誤検出の場合は連続して顔が検出されずに一瞬だけ顔が検出される点にある。このような誤検出を削減する方法が、例えば、特許文献２に開示されている。この特許文献２に記載されている撮像装置は、図９（ｃ）に示すように、一度顔が検出されるとその領域は顔候補であるとみなし、連続して顔候補が検出された領域のみを顔と判断するように、顔情報にフィルタをかける機能を備えている。

特開２００７−４３１３号公報 特開２０１０−５６６９２号公報

しかしながら、上述の特許文献１に開示されたような検出方法の切り替えと、特許文献２に記載されている誤検出を削減するためのフィルタ処理とを組み合わせると、以下のような問題がある。例えば、上述の二つの技術を組み合わせた時に考えられる仕様として、顔が検出されてもフィルタによってそれが顔候補であるものとみなし、その結果、顔は検出されていないと判断して顔検出方法を切り替えてしまう構成が考えられる。そうすると、例えば図９（ｄ）に示すように、デジタル画像に補正量の大きいガンマ補正をかけた状態で最初に逆光シーンの暗い顔候補が検出されても、次に顔検出のタイミングで補正量を小さくした場合には顔候補が検出されなくなってしまう。このように、検出した顔候補が顔として検出する可能性があったにもかかわらず、顔として検出されなくなってしまい、顔検出の精度が下がってしまうという問題点がある。

本発明は前述の問題点に鑑み、被写体の誤検出を削減するとともに、実際の被写体を精度良く検出できるようにすることを目的としている。

本発明の画像処理装置は、被写体を含む第１の画像データを取得する取得手段と、前記第１の画像データに対して、予め定められた複数の処理のうちのいずれかの処理を実行して第２の画像データを生成する生成手段と、前記生成手段により生成された前記第２の画像データから被写体領域を検出する検出手段と、を有し、前記生成手段は、前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、前記第２の画像データを生成する際に実行する処理を複数の処理のうちの別の処理へ変更し、前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記第２の画像データを生成する際に実行する処理を変更せずに保持することを特徴とする。

本発明によれば、被写体の誤検出を削減するとともに、実際の被写体を精度良く検出することができる。

デジタルカメラの機能構成例を示すブロック図である。 被写体検出方法を設定する処理手順の一例を示すフローチャートである。 顔領域と拡大画像との関係を示す図である。 拡大倍率を切り替える処理手順の一例を示すフローチャートである。 被写体候補領域を検出することが可能な角度の範囲を表す図である。 検出可能角度を切り替える処理手順の一例を示すフローチャートである。 γの値を切り替えた時の入力信号と出力信号との関係を示す図である。 ガンマ補正量を切り替える処理手順の一例を示すフローチャートである。 検出方法の切り替えと顔検出との流れを説明する図である。

以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、撮像装置の一例として、デジタルカメラを用いた場合について説明する。

図１は、本実施形態に係るデジタルカメラの一部として機能する画像処理装置における被写体領域を検出する機能構成例を示すブロック図である。
図１において、画像信号入力部１０１は、デジタル画像信号を入力する。例えばデジタルカメラにおいては、レンズ等で構成される光学部（不図示）を介して光が入射され、ＣＣＤ部（不図示）において光量に応じた電荷を出力する。そして、Ａ／Ｄ変換部（不図示）においてＣＣＤ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施し、デジタル信号を出力する。さらに、取得手段として機能する画像処理部１０６は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力する。

被写体候補領域検出部１０２は、デジタル画像から被写体候補の領域を検出する。ここで被写体とは、例えば人物の顔である。被写体候補領域を検出する方法としては、本実施形態では、色情報、コントラスト等を用いて人物の顔として条件を満たす領域を検出する。また、画像処理部１０６から出力されたデジタル画像に被写体候補領域が検出されているか否かの情報を出力する。さらに、被写体候補領域が検出されている場合には、被写体候補領域の位置、大きさ、デジタル画像に対する被写体候補領域の検出角度、及び検出された情報から被写体らしさを数値化したものである信頼度の情報を生成して出力する。この信頼度は、色情報、コントラスト等を用いてどの程度人物の顔として条件を満たすかによって算出される。

決定手段として機能する被写体情報フィルタリング部１０３は、被写体候補領域検出部１０２により検出された被写体候補領域に関する情報にフィルタをかけ、被写体候補領域が被写体領域であるか否かを判定する。例えば、被写体候補領域の検出を複数回行い、所定の回数だけ連続して検出された場合に、被写体候補領域が被写体領域であると判定する。

被写体情報出力部１０４は、被写体情報フィルタリング部１０３によりフィルタリングされた被写体領域に関する情報を出力する。例えば、画像信号入力部１０１から出力されたデジタル画像の被写体領域に、被写体を示す情報として例えば顔を囲む矩形枠を表示できるよう、被写体領域の位置やサイズに関する情報を、不図示の画モニターの制御ユニットへ出力する。あるいは、撮影時においては、ピント合わせや露出制御を被写体にとって最適になるように処理するため、被写体領域の位置やサイズに関する情報を、ピント合わせや露出制御を行うユニットへ出力する。

検出方法設定部１０５は、被写体候補領域検出部１０２により被写体候補領域の検出を実行する際の検出方法を設定する。本実施形態では、被写体候補領域検出部１０２により被写体候補領域が検出されている場合は検出方法を変更せず、被写体候補領域が検出されていない場合に検出方法を変更する。また、検出方法として、デジタル画像の一部を切り出して拡大する第１の方法、前記デジタル画像にガンマ補正の補正量を切り替える第２の方法、及び被写体領域の検出可能角度を切り替える第３の方法のうち少なくとも一つの方法を設定する。

なお、被写体候補領域検出部１０２において検出が可能な被写体候補領域の大きさに制限がある場合には、デジタル画像の一部を切り出して拡大したデジタル画像に対して被写体候補領域を検出する。これにより、デジタル画像サイズに対して被写体候補領域が相対的に大きくなることから、より小さい被写体候補領域を検出することが可能となる。さらに、被写体候補領域が検出されたか否かの結果、及び検出された被写体候補領域の大きさに応じてデジタル画像の切り出し及び拡大倍率を切り替えることにより、様々な大きさの被写体候補領域を検出することが可能となる。

被写体候補領域検出部１０２により被写体候補領域を検出する際に、デジタル画像のコントラスト情報を用いている場合には、デジタル画像にかけるガンマ補正の補正量を切り替える。これにより、逆光や暗中等のコントラストの低いシーンにおいてもコントラストが高くなり被写体候補領域を検出することが可能となる。また、被写体候補領域検出部１０２において検出可能な被写体候補領域の角度に制限がある場合には、例えば画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向といった複数の方向で探索を行う。これにより、様々な角度の被写体候補領域を検出することが可能となる。以下、これらの検出処理について具体的に説明する。

＜拡大倍率の切り替え＞
次に、被写体候補領域を検出する際に、デジタル画像を拡大するための拡大倍率を切り替える方法について説明する。本実施形態では一例として、二種類の拡大倍率ＺｏｏｍＲａｔｅ＿１、ＺｏｏｍＲａｔｅ＿２（ＺｏｏｍＲａｔｅ＿１＜ＺｏｏｍＲａｔｅ＿２）を切り替えて人物の顔領域を被写体候補領域として検出する方法について説明する。

拡大倍率ＺｏｏｍＲａｔｅ＿１、ＺｏｏｍＲａｔｅ＿２の関係について、図３を参照しながら説明する。図３（ａ）は、デジタル画像に対して検出可能な最小の大きさの顔を示す図である。図３（ｂ）は、デジタル画像に対して、二種類の拡大倍率ＺｏｏｍＲａｔｅ＿１、ＺｏｏｍＲａｔｅ＿２で拡大する際の切り出し領域と、サイズ及び位置の異なる二種類の顔領域Ｆａｃｅ＿１、Ｆａｃｅ＿２とを示す図である。図３（ｂ）に示すように、拡大倍率ＺｏｏｍＲａｔｅ＿２の方が倍率は高いため、より狭い領域のみを切り出すことになる。また、顔領域Ｆａｃｅ＿１は検出可能な最小の顔よりも大きいため、検出することが可能であるが、顔領域Ｆａｃｅ＿２に存在する顔は、図３（ａ）に示した検出可能な最小の顔よりも小さいため、検出できない。

図３（ｃ）は、拡大倍率ＺｏｏｍＲａｔｅ＿１でデジタル画像を切り出して元のデジタル画像と同じサイズに拡大したものを示す図である。このとき、顔領域Ｆａｃｅ＿２に存在する顔は、拡大しても図３（ａ）に示した検出可能な最小の顔よりも小さいため、検出することはできない。

図３（ｄ）は、拡大倍率ＺｏｏｍＲａｔｅ＿２でデジタル画像を切り出して元のデジタル画像と同じサイズに拡大したものを示す図である。このとき、顔領域Ｆａｃｅ＿２に存在する顔は、図３（ａ）に示した検出可能な最小の顔よりも大きいため、検出することが可能となる。一方、顔領域Ｆａｃｅ＿１は拡大倍率ＺｏｏｍＲａｔｅ＿２で拡大する際の切り出し領域よりも外側に位置するため、検出することができなくなる。

次に、以上のような複数の拡大倍率に切り替える方法について説明する。図４は、被写体候補領域検出部１０２による、デジタル画像を拡大する際の二種類の拡大倍率を切り替える処理手順の一例を示すフローチャートである。
まず、処理済のデジタル画像信号が被写体候補領域検出部１０２に入力されると処理を開始する。そして、ステップＳ４０１において、被写体候補領域が検出されたかどうかを判定する。この判定の結果、被写体候補領域が検出された場合はステップＳ４０２へ進み、被写体候補領域が検出されなかった場合はステップＳ４０４へ進む。

次に、ステップＳ４０２において、今回検出された被写体候補領域のうち、最も小さい領域の面積が値ＳｍａｌｌＡｒｅａ以上かどうかを判定する。この判定の結果、最も小さい被写体候補領域の面積が値ＳｍａｌｌＡｒｅａ以上である場合はステップＳ４０３へ進み、値ＳｍａｌｌＡｒｅａ未満である場合はステップＳ４０６へ進む。値ＳｍａｌｌＡｒｅａは、例えば拡大倍率をＺｏｏｍＲａｔｅ＿１としたときの検出可能な最小の被写体候補領域の面積に設定してもよい。この場合には、拡大倍率をＺｏｏｍＲａｔｅ＿１とした時に値ＳｍａｌｌＡｒｅａを下回る面積の被写体候補領域を検出できないことになる。

次に、ステップＳ４０３において、今回検出された被写体候補領域のうち、画面中心から比ＩｎｓｉｄｅＲａｔｅの範囲外に存在する領域があるかどうかを判定する。この判定の結果、比ＩｎｓｉｄｅＲａｔｅの範囲外に存在する被写体候補領域がある場合はステップＳ４０５へ進み、すべての被写体候補領域が比ＩｎｓｉｄｅＲａｔｅの範囲内に存在する場合はステップＳ４０４へ進む。比ＩｎｓｉｄｅＲａｔｅとしては、例えば元のデジタル画像に対する、拡大倍率ＺｏｏｍＲａｔｅ＿２としたときのデジタル画像の切り出し面積との比率としてもよい。この場合には、拡大倍率ＺｏｏｍＲａｔｅ＿２としたときに比ＩｎｓｉｄｅＲａｔｅの範囲外に存在する被写体候補領域は検出できないことになる。

次に、ステップＳ４０４において、被写体候補領域の検出処理で用いた倍率が拡大倍率ＺｏｏｍＲａｔｅ＿１であったかどうかを判定する。この判定の結果、拡大倍率ＺｏｏｍＲａｔｅ＿１であった場合はステップＳ４０６へ進み、拡大倍率ＺｏｏｍＲａｔｅ＿２であった場合はステップＳ４０５へ進む。

次に、ステップＳ４０５において、拡大倍率ＺｏｏｍＲａｔｅ＿１に設定する。今回検出された最も小さい被写体候補領域の面積が値ＳｍａｌｌＡｒｅａ以上であり、かつ比ＩｎｓｉｄｅＲａｔｅの範囲外に存在する被写体候補領域がある場合を想定する。この場合、拡大倍率ＺｏｏｍＲａｔｅ＿２に設定すると、比ＩｎｓｉｄｅＲａｔｅの範囲外に存在する被写体候補領域を検出することができなくなるため、拡大倍率ＺｏｏｍＲａｔｅ＿１に設定する。

また、今回検出された最も小さい被写体候補領域の面積が値ＳｍａｌｌＡｒｅａ以上であり、かつ比ＩｎｓｉｄｅＲａｔｅの範囲内にのみ被写体候補領域があり、今回の被写体候補領域検出で拡大倍率ＺｏｏｍＲａｔｅ＿２を使用した場合も想定できる。この場合、拡大倍率ＺｏｏｍＲａｔｅ＿１にしても拡大倍率ＺｏｏｍＲａｔｅ＿２で検出される被写体候補領域をすべて検出可能であることを表している。そこで、異なる拡大倍率でこれまで検出されなかった領域も検出できるようにするため、拡大倍率ＺｏｏｍＲａｔｅ＿１に切り替える。

さらに、被写体候補領域が検出されず、拡大倍率ＺｏｏｍＲａｔｅ＿２を用いていた場合も、異なる拡大倍率でこれまで検出されなかった領域も検出できるようにするため、拡大倍率ＺｏｏｍＲａｔｅ＿１に切り替える。

一方、ステップＳ４０６においては、拡大倍率ＺｏｏｍＲａｔｅ＿２に設定する。今回検出された最も小さい被写体候補領域の面積が値ＳｍａｌｌＡｒｅａ未満の被写体候補領域がある場合には、拡大倍率ＺｏｏｍＲａｔｅ＿１に設定するとその被写体候補領域を検出することができなくなる。このため、拡大倍率ＺｏｏｍＲａｔｅ＿２に設定する。

また、今回検出された最も小さい被写体候補領域の面積が値ＳｍａｌｌＡｒｅａ以上であり、かつ比ＩｎｓｉｄｅＲａｔｅの範囲内にのみ被写体候補領域があり、今回の被写体候補領域検出で拡大倍率ＺｏｏｍＲａｔｅ＿１を用いていた場合も想定される。この場合には、拡大倍率ＺｏｏｍＲａｔｅ＿１にしても拡大倍率ＺｏｏｍＲａｔｅ＿２で検出される被写体候補領域をすべて検出可能であることを表している。そこで、異なる拡大倍率でこれまで検出されなかった領域も検出できるようにするため、拡大倍率ＺｏｏｍＲａｔｅ＿２に切り替える。

さらに、被写体候補領域が検出されず、今回の被写体候補領域を検出する際に拡大倍率ＺｏｏｍＲａｔｅ＿１を用いていた場合も想定される。この場合も異なる拡大倍率でこれまで検出されなかった領域も検出できるようにするため、拡大倍率ＺｏｏｍＲａｔｅ＿２に切り替える。

以上の方法により、被写体候補領域を検出する際に、被写体候補領域の有無や被写体候補領域の位置、大きさによりデジタル画像の拡大倍率を切り替える。これにより、小さい被写体候補領域や画面の端側に存在する被写体候補領域についても精度良く検出することが可能となる。なお、本実施形態では拡大倍率を二種類としたが、拡大倍率を二種類に固定せず検出された被写体候補領域の大きさにより適応的に切り替えられるようにしてもよい。また、本実施形態ではデジタル画像の切り出しを画面中心から行う方法について述べたが、検出された被写体候補領域の位置に応じて画像を切り出す中心位置を適応的に切り替えられるようにしてもよい。

＜回転角度の切り替え＞
次に、被写体候補領域の検出する際に、被写体候補領域を検出することが可能な角度を切り替える方法について説明する。本実施形態では一例として、一方向検出として「０度」方向、「−９０度」方向、「＋９０度」方向の三種類、及び三方向検出、の計四種類の方向検出を切り替えて、人物の顔領域を被写体候補領域として検出する方法について説明する。

上記四種類の方向検出の関係について、図５を参照しながら説明する。図５（ａ）に示す例では、デジタル画像に対して時計方向を正方向として−４５度〜＋４５度の被写体候補領域を検出することが可能である。以下、この範囲の角度を検出できる検出方法を「０度」方向の一方向検出と呼ぶ。同様に、図５（ｂ）及び図５（ｃ）に示す例では、デジタル画像に対してそれぞれ−１３５度〜−４５度、＋４５度〜＋１３５度の被写体候補領域を検出することが可能である。以下同様に、それぞれ「−９０度」方向の一方向検出、「＋９０度」方向の一方向検出と呼ぶ。

一方、図５（ｄ）に示す例では、−１３５度〜＋１３５度の被写体候補領域を検出することが可能であり、以下、三方向検出と呼ぶ。人物の顔領域を検出する場合などでは、一般に検出可能な条件を広くするほど検出処理が長くなる。そこで、一方向検出と三方向検出とを切り替え、被写体の向いている方向が分かっている場合は一方向検出ですばやく被写体検出を行い、被写体の向いている方向が分かっていない場合は三方向検出でさまざまな角度の被写体を検出する。

以上のように複数の検出可能角度を切り替える方法について図６を参照しながら説明する。図６は、被写体候補領域検出部１０２による、複数の検出可能角度を切り替える処理手順の一例を示すフローチャートである。
まず、処理済のデジタル画像信号が被写体候補領域検出部１０２に入力されると処理を開始する。そして、ステップＳ６０１において、被写体候補領域が検出されたかどうかを判定する。この判定の結果、被写体候補領域が検出された場合はステップＳ６０２へ進み、検出されなかった場合はステップＳ６０３へ進む。

次に、ステップＳ６０２において、被写体候補領域を検出する際に、三方向検出を用いたかどうかを判定する。この判定の結果、三方向検出を用いた場合はステップＳ６０４へ進み、一方向検出を用いた場合はステップＳ６０５へ進む。一方、ステップＳ６０３においては、"Ｃｏｕｎｔ＿１"回以上連続で被写体候補領域が検出されていないかどうかを判定する。この判定の結果、"Ｃｏｕｎｔ＿１"回以上経過している場合はステップＳ６０６へ進み、"Ｃｏｕｎｔ＿１"回未満の経過である場合はステップＳ６０５へ進む。ここで、"Ｃｏｕｎｔ＿１"とは、予め定められた回数を指し、信頼度によって異なるものとする。

ステップＳ６０４においては、検出された被写体候補領域の角度をもとに検出する方向を設定する。例えば、被写体候補領域の角度が−４５度〜＋４５度の範囲内である場合は「０度」方向に設定し、−１３５度〜−４５度の範囲内である場合は「−９０度」に設定する。

次に、ステップＳ６０５において、一方向検出を実行するように設定する。三方向検出を用いて被写体候補領域を検出した場合には、検出された被写体候補領域をすばやく検出しつづけることができるように、ステップＳ６０４で設定した方向で一方向検出を実行するように設定する。また、一方向検出を用いて被写体候補領域を検出した場合も、すばやく検出しつづけることができるように今回設定した方向から切り替えずに一方向検出を実行するように設定する。

また、被写体候補領域が検出されなかった場合であっても、"Ｃｏｕｎｔ＿１"回未満しか経過していない場合は、被写体の角度や照明が一瞬変化して被写体が検出されにくい条件となった可能性も考えられる。そこで、検出されやすい条件に戻ってすばやく被写体候補領域を検出できるように処理時間の短い一方向検出を実行するように設定する。被写体検出されづらい条件としては、例えば、人物が横や後ろを向いた場合などが挙げられる。

一方、ステップＳ６０６においては、被写体候補を検出していた場合には被写体候補領域を完全に見失ったとみなし、様々な角度の被写体を検出することが可能な三方向検出を実行するように設定する。

以上の方法により、被写体候補領域の有無や被写体の角度によって被写体候補領域検出において検出することが可能な角度を切り替える。これにより、様々な角度の被写体候補領域を精度良くかつすばやく検出することが可能となる。なお、本実施形態では三種類の一方向検出と一種類の三方向検出とを切り替える場合について説明したが、被写体候補領域の角度に応じて「＋１０度」検出など適応的に切り替えられるようにしてもよい。また、異なる角度の被写体が複数存在する場合には一方向ではなく二方向、三方向の検出をできるようにしてもよい。

＜ガンマ補正の補正量の切り替え＞
次に、被写体候補領域を検出する際にデジタル画像にかけるガンマ補正の補正量を切り替える方法について説明する。本実施形態では一例として、以下の式、
出力信号＝２５５×（入力信号／２５５）^1/γ
で入力信号（ここでは画像の輝度信号とする）に対するガンマ補正を行う。そして、式中のγについて二種類の値Ｇａｍｍａ＿１、Ｇａｍｍａ＿２（１＞＝Ｇａｍｍａ＿１＞Ｇａｍｍａ＿２＞０）を切り替えて、コントラスト情報により人物の顔領域を被写体候補領域として検出する。

図７は、γの値を切り替えた時の入力信号と出力信号との関係を示す図である。
図７において、横軸及び縦軸は、それぞれ入力信号、出力信号の輝度値を表している。曲線７０１は、γ＝Ｇａｍｍａ＿１の時の入力信号と出力信号との関係を表し、曲線７０２は、γ＝Ｇａｍｍａ＿２の時の入力信号と出力信号との関係を表す。γの値が０に近づくほど、輝度値が低い時には入力信号の変動に対して出力信号の変動が大きくなる。つまり、逆光や暗中等により顔領域の輝度値が非常に低くコントラストの低いシーンの場合、γの値を小さくしてガンマ補正を行うと、顔領域の輝度値は高くなり、また、低輝度領域のコントラストも高くなる。

例えば、コントラスト情報を用いて顔検出を行う場合、顔領域の輝度値が低くコントラストが低いと顔の輪郭部分を検出することが難しくなり、顔領域の検出性能が低くなる。ところが、ガンマ補正を行い、顔領域のコントラストを高くすると輪郭部分を検出しやすくなり、結果として顔検出の性能を向上させることができる。

次に、以上のような複数のガンマ補正量を切り替える方法について説明する。図８は、被写体候補領域検出部１０２による、複数のガンマ補正量を切り替える処理手順の一例を示すフローチャートである。
まず、処理済のデジタル画像信号が被写体候補領域検出部１０２に入力されると処理を開始する。そして、ステップＳ８０１において、被写体候補領域が検出されたかどうかを判定する。この判定の結果、被写体候補領域が検出された場合はステップＳ８０５へ進み、検出されなかった場合はステップＳ８０２へ進む。

次に、ステップＳ８０２において、"Ｃｏｕｎｔ＿１"回以上連続で被写体候補領域が検出されていないかどうかを判定する。この判定の結果、"Ｃｏｕｎｔ＿１"回以上経過している場合はステップＳ８０３へ進み、"Ｃｏｕｎｔ＿１"回未満の経過である場合はステップＳ８０５へ進む。次に、ステップＳ８０３において、今回の被写体候補領域の検出までに２回連続で同一のガンマ補正量で被写体候補領域の検出を実施したかどうかを判定する。この判定の結果、２回連続で同一のガンマ補正量を使用している場合はステップＳ８０４へ進み、そうでない場合はステップＳ８０５へ進む。

次に、ステップＳ８０４において、被写体候補領域を検出する際に、ガンマ補正量を値Ｇａｍｍａ＿１に設定していたかどうかを判定する。この判定の結果、ガンマ補正量が値Ｇａｍｍａ＿１である場合はステップＳ８０７へ進み、値Ｇａｍｍａ＿２である場合はステップＳ８０６へ進む。

ステップＳ８０５においては、検出方法設定部１０５は、前回設定したガンマ補正量を保持するようにする。特に被写体候補領域が検出された場合、ガンマ補正量を切り替えることによって被写体候補領域が次回の検出で検出されなくなることを防ぐためにガンマ補正量を保持する必要がある。例えば、逆光シーンで補正量の大きい値Ｇａｍｍａ＿２を用いて検出を行っている最中に補正量の小さい値Ｇａｍｍａ＿１を用いて検出を行ったため、被写体候補領域が未検出になってしまうような場合である。

また、被写体候補領域が検出されなくなってから"Ｃｏｕｎｔ＿１"回未満しか検出していない時は、被写体の角度や照明が一瞬変化して被写体が検出されづらい条件となったことの影響も考えられる。このため、検出されやすい条件に戻ったときに被写体候補領域を検出できるように補正量を保持する。

また、"Ｃｏｕｎｔ＿１"回以上未検出であっても２回連続で同一のガンマ補正量を使用していない時にガンマ補正量を保持する点については、図４に示した検出方法と組み合わせて実施する場合に効果がある。図４のステップＳ４０５、Ｓ４０６では、被写体候補領域が検出されなかった場合には拡大倍率ＺｏｏｍＲａｔｅ＿１、ＺｏｏｍＲａｔｅ＿２を毎回交互に切り替えている。ところが、ガンマ補正量も値Ｇａｍｍａ＿１と値Ｇａｍｍａ＿２とを毎回交互に切り替えると、２通りのみを交互に繰り返す仕様となり、検出可能な被写体の条件が限られる。すなわち、（ＺｏｏｍＲａｔｅ＿１、Ｇａｍｍａ＿１）と（ＺｏｏｍＲａｔｅ＿２、Ｇａｍｍａ＿２）との２通り、もしくは、（ＺｏｏｍＲａｔｅ＿１、Ｇａｍｍａ＿２）と（ＺｏｏｍＲａｔｅ＿２、Ｇａｍｍａ＿１）との２通りのみを交互に繰り返す。そこで、被写体候補領域が検出されていない間は拡大倍率を毎回交互に切り替え、ガンマ補正量を２回検出ごとに切り替える。これにより、（ＺｏｏｍＲａｔｅ＿１、Ｇａｍｍａ＿１）、（ＺｏｏｍＲａｔｅ＿２、Ｇａｍｍａ＿１）、（ＺｏｏｍＲａｔｅ＿１、Ｇａｍｍａ＿２）、（ＺｏｏｍＲａｔｅ＿２、Ｇａｍｍａ＿２）の４通りで切り替えることが可能になる。この結果、検出可能な被写体の条件を広くすることが可能となる。

一方、ステップＳ８０６においては、ガンマ補正量を値Ｇａｍｍａ＿１に切り替える。また、ステップＳ８０７においては、ガンマ補正量を値Ｇａｍｍａ＿２に切り替える。これにより、ステップＳ８０５で説明した４通りの検出方法で切り替えが可能となる。

以上の方法により、被写体候補領域の有無によりガンマ補正におけるガンマ補正量を切り替えることによって、様々なシーンにおいて被写体候補領域を精度良く検出することが可能となる。なお、本実施形態では、切り替えられるガンマ補正量を２種類としたが、２種類に固定せず検出された被写体候補領域の輝度情報などにより適応的に切り替えられるようにしてもよい。また、本実施形態では一つの数式を用いてガンマ補正量を設定していたが、複数の折れ線を用いたものや入力信号と出力信号との関係をテーブルとして持たせる方法によりガンマ補正量を設定してもよい。さらに、ガンマ補正量については、逆光など被写体候補領域が暗いシーンだけでなく明るく白飛びしているようなシーンでも検出性能を向上するため、γ＞１の補正量も切り替える候補の一つとしてもよい。

また、本実施形態では、コントラスト情報を用いて検出を行う方法について説明したが、色情報を用いる場合にも同様の方法により性能向上が可能となる。例えば、人物の顔領域を色情報により検出する顔検出機能を用いると、顔領域が暗いシーンでは顔の肌色領域などの特徴量を検出することが難しくなり検出性能が低くなる。そこで、彩度情報を補正して色情報の特徴量を検出させやすくすることにより、被写体検出性能の向上が可能となる。さらに、近年では、デジタル画像内の輝度情報や色情報を用いて夜景シーンなどを判別可能なシーン判別機能を有する撮像装置が知られている。そこで、この機能と組み合わせることによって、夜景シーンや逆光シーンであるか否かを判別してガンマ補正量を切り替えられるようにしてもよい。

＜被写体検出方法の設定＞
次に、被写体候補領域を検出する際の被写体検出方法の設定手順について説明する。図２は、被写体検出方法を設定する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、被写体候補領域検出部１０２は、デジタル画像に対して、図４、図６及び図８に示したいずれかの被写体候補領域検出処理を実行する。そして、ステップＳ２０２において、被写体候補領域検出部１０２は、ステップＳ２０１で検出された各被写体候補領域の被写体らしさを表す信頼度の情報を取得する。ここで、信頼度とは、被写体候補領域検出により検出された情報から被写体らしさを数値化したものである。

次に、ステップＳ２０３において、被写体情報フィルタリング部１０３は、ステップＳ２０１で検出された各被写体候補領域について、被写体候補領域を被写体領域とみなす処理を行う際に用いるフィルタをそれぞれの被写体候補領域の信頼度に応じて設定する。このフィルタの詳細については後述するが、例えば、被写体候補領域の検出を複数回行い、同一の被写体候補領域が所定回数だけ連続して検出された場合に、被写体候補領域が被写体領域であると判定する。そこで、このフィルタの設定では、この所定回数の値を設定する。被写体候補領域の信頼度が高いほど被写体候補領域の検出で誤検出する可能性が低いため、この所定回数は小さい値に設定される。一方、逆に信頼度が低いほど被写体候補領域の検出で誤検出する可能性が高いため、この所定回数は大きな値に設定される。

次に、ステップＳ２０４において、被写体情報フィルタリング部１０３は、ステップＳ２０１で検出された各被写体候補領域について、ステップＳ２０３で設定したフィルタをもとに被写体候補領域の情報をフィルタ処理する。被写体候補領域の情報とは、具体的には、被写体候補領域の信頼度と、連続して検出された回数との情報である。なお、複数回にわたる被写体候補領域の検出で同一の被写体候補を検出したか否かを判定する方法として、以下のような方法を用いる。すなわち、時系列順に被写体候補領域の検出結果を比較して、被写体候補領域のデジタル画像内での中心位置や大きさの変動が小さい場合に、同一の被写体候補領域とみなすようにしている。

次に、ステップＳ２０５において、被写体情報フィルタリング部１０３は、ステップＳ２０４におけるフィルタリングにより、所定回数連続して検出されたと判定した被写体候補領域を、被写体領域として設定する。そして、被写体情報出力部１０４により、この被写体領域の位置やサイズに関する情報を、ピント合わせや露出制御したり、画像上で顔を囲む位置に枠を重畳して表示したりするために、それぞれのユニットへ出力する。

次に、ステップＳ２０６において、被写体情報フィルタリング部１０３は、ステップＳ２０４でフィルタ処理され被写体候補領域のうち、ステップＳ２０５で被写体領域と判定されなかった被写体候補領域が残っているかどうかを判定する。この判定の結果、被写体候補領域が残っている場合にはステップＳ２０７へ進み、残っていない場合にはステップＳ２０８へ進む。

そして、ステップＳ２０７においては、検出方法設定部１０５は、被写体候補領域の検出方法を切り替えないようにする。これにより、被写体候補領域を安定して検出しつづけることが可能になる。例えば、拡大倍率ＺｏｏｍＲａｔｅ＿２で拡大された領域から検出された顔領域が、図４のステップＳ４０２及びＳ４０３の条件を満たす場合には、本来は被写体候補領域の検出範囲が拡大倍率ＺｏｏｍＲａｔｅ＿１に切り替わるはずである。ところが、ステップＳ２０６で被写体候補領域が残っていると判定された場合には、図４のステップＳ４０２及びＳ４０３の条件を満たしたとしても、拡大倍率ＺｏｏｍＲａｔｅ＿１に切り替わらずに、拡大倍率ＺｏｏｍＲａｔｅ＿２のままにする。つまり、ステップＳ２０６で被写体候補領域が残っていると判定された場合は、図４、図６及び図８に示す処理の中で、検出方法を切り替える条件を満たしていたとしても、検出方法を切り替えないようにする。

一方、ステップＳ２０８においては、検出方法設定部１０５は、図４、図６及び図８に示す検出方法のいずれかを切り替えることを許可する。このように、被写体候補領域も被写体領域も存在しないような場合であっても被写体検出方法を切り替えることにより、直前の検出方法で検出できないような被写体が存在しても検出することが可能になる。

以上の構成によって、被写体候補領域が検出されている間は検出方法を変更しないようにすることにより、被写体を安定して検出することが可能となる。さらに、被写体らしさを表す被写体候補領域の信頼度に応じてフィルタを設定することにより、被写体の誤検出を削減するとともに、実際の被写体を精度良く検出することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像信号入力部、１０２ 被写体候補領域検出部、１０３ 被写体情報フィルタリング部、１０４ 被写体情報出力部、１０５ 検出方法設定部、１０６ 画像処理部

Claims (17)

1. 被写体を含む第１の画像データを取得する取得手段と、
   前記第１の画像データに対して、予め定められた複数の処理のうちのいずれかの処理を実行して第２の画像データを生成する生成手段と、
   前記生成手段により生成された前記第２の画像データから被写体領域を検出する検出手段と、を有し、
   前記生成手段は、
   前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、前記第２の画像データを生成する際に実行する処理を複数の処理のうちの別の処理へ変更し、
   前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記第２の画像データを生成する際に実行する処理を変更せずに保持する
   ことを特徴とする画像処理装置。
2. 前記複数の処理とは、前記第１の画像データから切り出す領域を異ならせた、複数の切り出し処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の処理とは、前記第１の画像データを異なる倍率で拡大する処理であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記予め定めた条件は、前記第２の画像データの予め定めた範囲外から前記被写体領域が検出されたことを含むことを特徴とする請求項２に記載の画像処理装置。
5. 前記生成手段は、前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記第２の画像データの予め定めた範囲外から前記被写体領域が検出された場合に、前記第１の画像データから切り出す領域を広くすることを特徴とする請求項４に記載の画像処理装置。
6. 前記予め定めた条件は、前記検出された被写体領域の面積が予め定めた値未満であることを含むことを特徴とする請求項３に記載の画像処理装置。
7. 前記生成手段は、前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記検出された被写体領域の面積が予め定めた値未満である場合に、前記第１の画像データを拡大する倍率を高くすることを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の処理とは、補正量を異ならせた、複数のガンマ補正であることを特徴とする請求項１に記載の画像処理装置。
9. 被写体を含む画像データを取得する取得手段と、
   前記画像データから複数の角度における被写体領域を検出する検出手段と、を有し、
   前記検出手段は、
   前記被写体領域を連続して検出した回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、検出する被写体領域の角度を変更し、
   前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記検出する前記被写体領域の角度を変更せずに保持する
   ことを特徴とする画像処理装置。
10. 前記検出手段は、前記検出する前記被写体領域の角度を、第１の範囲、および、該第１の範囲よりも広い第２の範囲の間で変更するものであって、
    前記予め定めた条件は、前記検出する前記被写体の角度が前記第２の範囲に設定されていることを含むことを特徴とする請求項９に記載の画像処理装置。
11. 前記被写体領域は、人物の顔の領域であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記検出手段は、検出した前記被写体領域の信頼度を求め、
    前記所定回数は前記信頼度に応じて設定されることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記検出手段によって前記被写体領域が連続して検出された回数が所定回数に達している場合に、被写体が存在する旨の情報を出力する出力手段をさらに有することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 被写体を含む第１の画像データを取得する取得工程と、
    前記第１の画像データに対して、予め定められた複数の処理のうちのいずれかの処理を実行して第２の画像データを生成する生成工程と、
    前記生成工程において生成された前記第２の画像データから被写体領域を検出する検出工程と、を有し、
    前記生成工程においては、
    前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、前記第２の画像データを生成する際に実行する処理を複数の処理のうちの別の処理へ変更し、
    前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記第２の画像データを生成する際に実行する処理を変更せずに保持する
    ことを特徴とする画像処理方法。
15. 被写体を含む画像データを取得する取得工程と、
    前記画像データから複数の角度における被写体領域を検出する検出工程と、を有し、
    前記検出工程においては、
    前記被写体領域を連続して検出した回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、検出する被写体領域の角度を変更し、
    前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記検出する前記被写体領域の角度を変更せずに保持する
    ことを特徴とする画像処理方法。
16. 被写体を含む第１の画像データを取得する取得工程と、
    前記第１の画像データに対して、予め定められた複数の処理のうちのいずれかの処理を実行して第２の画像データを生成する生成工程と、
    前記生成工程において生成された前記第２の画像データから被写体領域を検出する検出工程と、をコンピュータに実行させ、
    前記生成工程においては、
    前記被写体領域が連続して検出された回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、前記第２の画像データを生成する際に実行する処理を複数の処理のうちの別の処理へ変更し、
    前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記第２の画像データを生成する際に実行する処理を変更せずに保持する
    ことを特徴とするプログラム。
17. 被写体を含む画像データを取得する取得工程と、
    前記画像データから複数の角度における被写体領域を検出する検出工程と、をコンピュータに実行させ、
    前記検出工程においては、
    前記被写体領域を連続して検出した回数が所定回数に達しているならば、前記検出された被写体領域が予め定めた条件を満たす場合に、検出する被写体領域の角度を変更し、
    前記被写体領域が連続して検出された回数が所定回数に達していないならば、前記検出された被写体領域が予め定めた条件を満たす場合であっても、前記検出する前記被写体領域の角度を変更せずに保持する
    ことを特徴とするプログラム。

Images