JP2010141616A5 - - Google Patents

Description

本発明は、上述した課題を解決するために、画像から検出された被写体に対する優先順位を決定する画像処理装置であって、画像から１つ以上の被写体を検出する検出手段と、検出手段で検出された被写体毎に、優先順位を決定するための優先度を算出する算出手段と、算出手段で算出された優先度に基づき、検出手段で検出された前記被写体毎の優先順位を決定する決定手段とを有し、算出手段は、被写体の大きさ、及び／又は、位置と、当被写体が検出された過去の画像において当被写体について決定手段が決定した直近の優先順位に基づいて優先度を算出するとともに、予め定めた条件が満たされた場合に優先順位が補正量に与える影響を低減して優先度を算出することを特徴とする画像処理装置である。

また、本発明は、画像から検出された被写体に対する優先順位を決定する画像処理方法であって、検出手段が、画像から１つ以上の被写体を検出する検出ステップと、算出手段が、検出ステップで検出された被写体毎に、優先順位を決定するための優先度を算出する算出ステップと、決定手段が、算出ステップで算出された優先度に基づき、検出手段で検出された被写体毎の優先順位を決定する決定ステップとを有し、算出手段は算出ステップにおいて、被写体の大きさ、及び／又は、位置と、当被写体が検出された過去の画像において当被写体について決定手段が決定した直近の優先順位に基づいて優先度を算出するとともに、予め定めた条件が満たされた場合に優先順位が補正量に与える影響を低減して優先度を算出することを特徴とする画像処理方法である。

顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。顔の認識率向上のために、これらを組み合わせて顔認識を行なうのが一般的である。具体的な例としては、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

なお、図６では、顔領域の大きさが閾値から検出可能な最小サイズまでの間、大きさ重みが直線的に減少されているが、これはこの例に限定されず、大きさ重みは、大きさに対して指数関数的、対数関数的など曲線的に減少させてもよい。また、図６に例示されるような、顔領域の大きさと顔領域の大きさ重みとの関係は、制御部３２０または優先度判定部３１０が、ＲＯＭなどにテーブルとして予め保持しているものとする。これに限らず、顔領域の大きさと顔領域の大きさ重みとの関係を、プログラム中の計算式で求めてもよい。

ステップＳ４０５で顔領域の大きさ重みが決定されると、処理はステップＳ４０６に移行される。ステップＳ４０６では、制御部３２０により、継続処理回数が閾値を超えたか否かが判定される。若し、継続処理回数が閾値を超えたと判定されたら、処理はステップＳ４０８に移行されて継続処理回数が０にリセットされ、その後、処理がステップＳ４０９に移行される。ステップＳ４０９の処理は、後述する。

なお、上述した第１の実施形態では、各顔領域に対する優先順位付けに対して、所定の継続処理回数毎に前回の優先順位を加味しないようにしているが、これはこの例に限定されない。例えば、所定の継続処理回数毎に前回の優先順位を加味するレベルを変化させて優先順位付けを行うようにしてもよい。

上述した第２の実施形態によれば、前回の優先順位を加味する期間は、各顔領域の優先順位の頻繁な切り替わりを抑制する。また、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるタイミングを設けることにより、その時点での被写体の状態を反映させた優先順位付けが行なわれる。すなわち、前回の優先順位が最も高い顔領域が存在しない、若しくは、優先順位が変化した場合に、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるようにしている。これにより、優先順位が最も高い顔領域の優先順位の変化と同期して、他の顔領域の優先順位が変化する。つまり、優先順位の頻繁な切り替わりを抑えつつ、主被写体の状態の変化を考慮した適切な優先順位を決定できる。

Claims (16)

1. 画像から検出された被写体に対する優先順位を決定する画像処理装置であって、
   画像から１つ以上の被写体を検出する検出手段と、
   前記検出手段で検出された被写体毎に、前記優先順位を決定するための優先度を算出する算出手段と、
   前記算出手段で算出された前記優先度に基づき、前記検出手段で検出された前記被写体毎の前記優先順位を決定する決定手段と
   を有し、
   前記算出手段は、
   被写体の大きさ、及び／又は、位置と、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位に基づいて前記優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位が補正量に与える影響を低減して該優先度を算出する
   ことを特徴とする画像処理装置。
2. 前記算出手段は、
   被写体の大きさが大きいほど、及び／又は、位置が前記画像の中心に近いほど、大きな重みを前記検出手段によって検出された被写体に割り当てるとともに、当該重みを、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位が高いほど大きな重みで補正し、当該補正後の重みが大きいほど高い優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位の重みによる補正量を低減して該優先度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、
   前記優先度の算出を予め決めた複数回行った場合、次の算出においては前記優先順位の重みによる補正量を低減して前記優先度を算出する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記算出手段は、
   前記画像と、直近に前記優先順位を決定した際に用いた画像との変化分を求め、該変化分が所定以上あると判定した場合に、前記優先順位の重みによる補正量を低減して前記優先度を算出する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記算出手段は、
   前記直近に決定された優先順位が最も高い被写体が前記検出手段により検出されなかった場合に、前記変化分が所定以上あると判定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、
   前記検出手段で検出された前記被写体の数と、前記直近に優先順位を決定した際に用いた画像から検出された被写体の数とが異なる場合に、前記変化分が所定以上あると判定する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記算出手段は、
   前記優先順位の重みによる補正量を低減して前記優先度を算出した後の所定期間は、前記変化分の大きさに関わらず、前記優先順位の重みによる補正量の低減を行わずに前記優先度を算出する
   ことを特徴とする請求項４乃至請求項６の何れか１項に記載の画像処理装置。
8. 前記検出手段は、
   前記被写体として人物の顔を検出する
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の画像処理装置。
9. 画像から検出された被写体に対する優先順位を決定する画像処理方法であって、
   検出手段が、画像から１つ以上の被写体を検出する検出ステップと、
   算出手段が、前記検出ステップで検出された被写体毎に、前記優先順位を決定するための優先度を算出する算出ステップと、
   決定手段が、前記算出ステップで算出された前記優先度に基づき、前記検出手段で検出された前記被写体毎の前記優先順位を決定する決定ステップと
   を有し、
   前記算出手段は前記算出ステップにおいて、
   被写体の大きさ、及び／又は、位置と、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位に基づいて前記優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位が補正量に与える影響を低減して該優先度を算出する
   ことを特徴とする画像処理方法。
10. 前記算出手段は前記算出ステップにおいて、
    被写体の大きさが大きいほど、及び／又は、位置が前記画像の中心に近いほど、大きな重みを前記検出手段によって検出された被写体に割り当てるとともに、当該重みを、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位が高いほど大きな重みで補正し、当該補正後の重みが大きいほど高い優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位の重みによる補正量を低減して該優先度を算出する
    ことを特徴とする請求項９に記載の画像処理方法。
11. 撮像光学系を介して入射した光に基づく画像を撮像して連続的に出力する撮像手段と、
    前記撮像手段が出力する画像を処理する請求項３乃至請求項７の何れか１項に記載の画像処理装置と
    を有する
    ことを特徴とする撮像装置。
12. 前記撮像光学系が備えるズーム機構を駆動するズーム駆動手段をさらに有し、
    前記算出手段は、
    前記変化分を求める画像の撮像の間に前記ズーム駆動手段により前記ズーム機構が駆動された場合に、前記変化分が所定以上あると判定する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像装置の動きを検出するセンサ手段をさらに有し、
    前記算出手段は、
    前記変化分を求める画像の撮像の間に前記センサ手段により所定以上の動きが検出された場合に、前記変化分が所定以上あると判定する
    ことを特徴とする請求項１１または請求項１２に記載の撮像装置。
14. 前記撮像手段は、前記決定手段で決定された前記優先順位に基づき前記撮像光学系の合焦制御を行う合焦制御手段を有する
    ことを特徴とする請求項１１乃至請求項１３の何れか１項に記載の撮像装置。
15. 前記撮像手段は、前記決定手段で決定された前記優先順位に基づき前記撮像光学系の露光制御を行う露光制御手段を有する
    ことを特徴とする請求項１１乃至請求項１４の何れか１項に記載の撮像装置。
16. 前記撮像手段から出力された画像を表示する表示手段をさらに有し、
    前記表示手段は、
    前記決定手段で決定された前記優先順位に基づき、前記表示している画像において、前記表示している画像から検出された被写体と、当該被写体について決定された優先順位とを対応付けて表示する
    ことを特徴とする請求項１１乃至請求項１５の何れか１項に記載の撮像装置。

Images