JP2011233148A - 画像強調方法と装置、物体検出方法と装置 - Google Patents

Abstract

【課題】物体検知に有利な画像強調方法及び装置を提供する。
【解決手段】本発明は、画像強調方法、物体検出方法、及びそれらに対応する装置を提供する。画像強調方法は、ａ）入力画像を強調すべき画像として、該画像における特定物体を検出し、ｂ）画像強調パラメータにより強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体の領域の画像特徴に応じて、画像強調パラメータを決定し、ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、ｄ）強調後の画像における特定物体を検出し、ｅ）所定の停止条件を満たすか否かを判断し、所定の停止条件を満足する場合は、現在までの物体検出結果における最もよい強調後の画像を出力し、所定の停止条件を満足しない場合は、強調後の画像を強調すべき画像として、前記ステップｂ）〜ｅ）を繰り返すステップを含む。
【選択図】図１

Description

本発明は、画像処理に関し、特に、画像強調方法と装置、および物体検出方法と装置に関する。

顔検出や、運動物体追跡等のような画像処理においては、通常、画像強調が行われている。

画像強調とは、通常、画像におけるユーザ関心情報の強調を行い、本来不明確な画像を明確にするか、関心のある特徴を強調し、関心のない特徴を抑制することで、画質を改善するとともに、情報量を豊かにし、画像読取と識別効果を高めることをいう。

画質問題は、画像からの物体検出の大きな障害となっている。特に、例えば、テレビ会議システムにおいては、ビデオ画像からの顔位置の検出が求められている。しかしながら、会議室の採光条件が悪い場合は、それによる画質問題により、顔検知演算法の性能が著しく低下してしまうという問題がある。この場合、画質の強化が必要となる。

米国特許７，０６８，８４１には、画像における顔の位置に応じて画像の強調を行うことが記載されている。該特許は、顔領域の画像特徴及び全体画像の特徴を総合的に考慮し、画像強調曲線を決定することで、入力画像の強調を行っている。しなしながら、該特許文献は、画像強調により全体的に視覚効果のよい画像を得ることに注目しているが、このように強調された画像は、顔検知の性能が低下する恐れがある。

顔検知のような物体検知応用においては、ビデオ画質が好ましくない場合でも、先ず、画質の強化を行ってから、物体検知を行うことが、自然な構想である。ここで、以下の面を考慮する必要がある。

（１）物体検知において、画像強調演算法を用いるタイミングはいつであるか？画質がよい場合は、強調する必要がなく、画質が悪い場合は、強調が必要となり、物体検知演算法の入力として、強調が必要な画像はどの画像で、強調の必要のない画像はどの画像であるかを判断することは難しい問題である。

（２）画像強調演算法のパラメータは、どのように選択するか？同一画像強調演算法において、パラメータによっては全く異なる強調画像が生まれることがある。如何にパラメータを選択し、強調後の画像を物体検知演算法に最適化するかは難しい問題である。

（３）従来の画像強調演算法は、視覚上の美的画像の生成に力を注いでいるが、視覚上の美的画像が、物体検知に最適とは限らない。

本発明の目的は、物体検知に有利な画像強調方法及び装置を提供することにある。

本発明の１観点によると、ａ）所定の画像を強調すべき画像として、該画像における特定物体の検出を行い、ｂ）画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定し、ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、ｄ）強調後の画像における特定物体を検出し、ｅ）所定の停止条件を満たすか否かを判断し、所定の停止条件を満たす場合は、現在までの物体検出結果が最もよい強調後画像を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記ｂ）〜ｅ）ステップを繰り返す画像強調方法を提供する。

また、前記検出した特定物体を含む領域は、検出した特定物体の位置を中心に算出した領域であり、かつ画像の全体領域とは異なるようにした。

また、前記検出した特定物体を含む領域は、検出した特定物体自体を表す領域の集合であるようにした。

なお、前記所定の停止条件は、１）所定回数の反復で新たな特定物体が検出されていないこと、２）今回の反復で検出した特定物体の数が、前回の反復で検出した特定物体の数よりも少ないこと、３）反復回数が最大値に達していることの少なくともいずれか、またはこれらの組み合わせである。

また、前記画像の特徴が、明るさ、色、コントラストのうちの少なくともいずれか、またはこれらの組み合わせである。

本発明の他の観点によると、所定の画像を強調すべき画像として、該画像における特定物体を検出する第１の物体検知部と、画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部と、決定した画像強調パラメータにより、該強調すべき画像強調を行う画像強調部と、強調後の画像における特定物体を検出する第２の物体検知部と、所定の停止条件を満たすか否かを判断する停止条件判断部と、を有し、停止条件判断部は、所定の停止条件を満たす場合は、現在までの物体検出結果が最もよい強調後画像を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記第２の物体検知部の検出結果を画像強調パラメータ決定部へ出力し、画像強調パラメータ決定部と、画像強調部と、第２の物体検知部と、停止条件判断部とにより、反復方式で各自の動作を繰り返す画像強調装置を提供する。

本発明の他の観点によると、ａ）所定の画像における特定物体の検出を行い、該画像を以降の強調処理における強調すべき画像とし、ｂ）画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定し、ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、ｄ）強調後の画像における特定物体を検出し、ｅ）所定の停止条件を満たすか否かを判断し、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記ｂ）〜ｅ）ステップを繰り返す画像における物体検出方法を提供する。

本発明の他の観点によると、画像における特定物体の検出を行い、該画像を以降の強調処理における強調すべき画像とする第１の物体検知部と、画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部と、決定した画像強調パラメータにより、該強調すべき画像の強調を行う画像強調部と、強調後の画像における特定物体を検出する第２の物体検知部と、所定の停止条件を満たすか否かを判断する停止条件判断部と、を有し、停止条件判断部は、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記第２の物体検知部の検出結果を画像強調パラメータ決定部へ出力し、画像強調パラメータ決定部と、画像強調部と、第２の物体検知部と、停止条件判断部とにより、反復方式で各自の動作を繰り返す画像における物体検出装置を提供する。

本発明の実施例による画像強調方法と装置、及び物体検知方法によると、画像強調のパラメータは、検知した物体を含む領域の特徴から決定しており、強調後の画像がより物体検知に適するようになる。なお、反復により逐次物体検知に適した強調画像が得られることで、最適な物体検知結果を得ることができる。

本発明の１実施例による画像強調方法の例示的フローチャートである。 本発明の１実施例による画像強調パラメータの演算方法の例示的フローチャートである。 本発明の１実施例による、図１のステップＳ１３における画像強調工程の例示的フローチャートである。 本発明の１実施例による例示的な画像強調マッピング曲線図である。 本発明の１実施例による、顔検知における画像の特性を説明する略図である。 本発明の１実施例による初期画像および顔検知結果を示した略図である。 本発明の１実施例による強調後の画像及び顔検知結果を示した略図である。 本発明の１実施例による画像強調装置のブロック図である。 本発明の１実施例による本発明を実行可能な例示的コンピュータシステムである。

以下、添付の図面及び具体的な実施例に基づき、本発明をさらに詳細に説明する。

図１は、本発明の１実施例による画像強調方法１０の例示的フローチャートである。

図１に示されたように、画像強調方法１０は、物体検知ステップＳ１１と、画像強調パラメータ推測ステップＳ１２と、画像強調ステップＳ１３と、物体検知ステップＳ１４と、停止条件判断ステップＳ１５が含まれている。先ず、入力画像が物体検知ステップＳ１１に入り、画像における物体の検知が行われる。次に、画像強調パラメータ推測ステップＳ１２において、検出した物体を含む領域の画像特徴に応じて、画像強調パラメータを決定し、該画像強調パラメータにより強調された画像における該領域の画像特徴を際立たせる。画像強調ステップＳ１３において、決定した画像強調パラメータによる画像の強調が行われる。物体検知ステップＳ１４において、強調後画像における特定物体の検知が行われる。停止条件判断ステップＳ１５においては、停止条件を満たすか否かを判定し、条件を満たすと、反復プロセスが終了し、条件を満たさない場合は、引き続き反復が行われる。ここで、初回の１ループや反復で入力画像を用いて顔検知、パラメータ推測及び画像強調を行う以外、次回のループのステップでは、すべて前回のループから得られた強調後の画像が用いられる。初回のループにおいて、物体検知ステップＳ１１では、顔のような物体は検知できない可能性がある。この場合、画像強調パラメータ推測ステップは、全体画像からパラメータ推測を行う。この場合も、本実施例は有効である。その理由として、１又は２ループ後に、通常方法（検知物体の入力がない）で強調された画像もある程度画質の改善があり、物体検知の結果が改善されるからである。

以下、各ステップを詳細に説明する。

ステップＳ１１において、入力画像における特定物体を検知する。該ステップには、例えば、adaBoostによる検知演算法、ニューラルネットワーク演算法、マルコフモデル演算法、統計による方法等の当該分野の既知の各種物体検知演算法が用いられる。１例において、顔検知には、層別分類器の構成及びHaar画像特徴を用いるadaBoostによる検知演算法が用いられる。なお、顔検知には、固有顔演算法なども用いることができる。前述の演算法は、すべて当該分野の既知技術である。

ステップＳ１２において、検出した特定物体を含む領域の画像特徴から、画像強調パラメータを決定し、該画像強調パラメータにより強調された画像から該領域の画像特徴を際立たせている。該動作は、主に、１枚の画像において、異なる物体の領域の画像特徴は類似しているものの、該特徴は往々にして全体画像の特徴とは異なるという構想による。このため、検出した物体領域の画像特徴への画像強調により、他の未検出物体領域の画質まで同時に改善することができる。このため、強調後の画像により、前に検出できなかった物体まで検出することができる。

特に、例えば、画像における顔は、通常、以下の特徴がある。

（１）異なる顔における、例えば、明るさ、模様、色、コントラストのような画像特徴は類似しているものの、顔の画像特徴は全体の画像特徴とは異なっている。例えば、図５には、顔特徴を説明するための１枚の画像が示されており、５つの顔の紙面の左から右の順の輝度平均値は、それぞれLocal_lv1:41, Local_lv1:42, Local_lv2:56, Local_lv3:44, Local_lv4:47, Local_lv5:64であるが、該画像の全体の輝度平均値は、Global_lv:72である。以上から分かるように、各顔の輝度差は大きくないものの、全体画像の平均輝度とは明らかに異なっている。

（２）１枚の画像において、異なる顔は通常、同一水平領域に分布しており、例えば図５においては、すべての顔は上下２つの水平線５０１と５０２の間に位置している。このため、該水平領域の画像特徴に対して行う画像強調は、全体画像に対して行う画像強調よりも、顔領域の画質を効率よく改善することができる。

前述の特性から、顔検知の場合は、以下のように検出された顔を含む領域を決定する。

（１）該領域がすべての顔自身を示す領域の集合である場合、例えば、図５において、矩形フレームにより各顔を示すと、該領域は、５つの矩形フレームの集合である。ここで、該領域の画像特徴の演算時に、５つの矩形フレームにおける明るさのような画像特徴の和を算出し、その後５つの矩形フレームの面積で除算し、輝度平均値Local_lvを得る。しかし、当該分野で既知のように、楕円で各顔自身の領域を示してもよく、この場合は、顔自身を示す各楕円領域の画像特徴により、物体領域の画像特徴を示すことになる。

（２）すべての顔が上下２つの水平線５０１と５０２間に位置する水平領域を物体画像特徴の算出のための領域とし、該領域の輝度平均値Local_lvのような該領域の画像特徴を求める。しかし、すべての顔を囲む円形により物体領域特徴の算出のための領域を考慮してもよい。なお、この場合、全体画像への強調ではなく、水平や円形領域のみへの画像強調を考慮してもよい。

なお、顔検知の場合、人数が多く、かつ画像の異なる領域に分散していると、各顔の集団化を行うことができ、位置が近接している顔を同じ集団にし、各集団領域の集合を、物体領域特徴の演算に用いる領域とし、各集団領域の画像特徴を、物体を表す画像特徴とする。これは座っている人と立っている人が分散している場合に特に適している。

また、前記検出された特定物体を含む領域は、検出された特定物体の位置を中心に算出した領域で、画像の全体領域とは異なる領域である。例えば、検出された物体の平均座標を中心に、各検出された物体の該中心の垂直方向に沿う距離を算出し、最も大きな垂直距離で上下２つの水平線を決定し、該上下２つの水平線間の領域を、特定物体の画像特徴を推測するための領域としており、顔検知の場合に適している。

なお、異なる応用に応じて物体領域の決定を行うことができ、例えば、テレビ会議システムの場合、通常、机の下には人がいないため、画像の下部の１/３の領域には、顔が存在しない。ここで、画像の下部の１/３領域は、予め可能な物体領域の領域から排除し、該画像の下部の１/３領域への画像強調は行わなくてよい。

前述の検出された物体を含む領域の決定方法は、１例に過ぎず、網羅的列挙ではない。検出された物体を含む領域の決定は、特に限定されず、応用上のニーズや、演算法の複雑度の要求や、正確度の要求に応じて、各種変更を行うことができる。

検出された特定物体を含む領域を決定後、該領域の画像特徴により、画像強調パラメータの決定を行う。

画像強調パラメータを決定する演算法は、画像強調演算法やニーズによって異なっている。以下、図２を参照して説明する。

図２は、図１のステップＳ１２で使用可能な画像強調パラメータの決定フローである。

ステップＳ２１において、物体領域の画像特徴の平均値を算出し、ステップＳ２２において、全体画像の画像特徴の平均値を算出し、ステップＳ２３において、前記２つの画像特徴の平均値により画像特徴のパラメータを算出する。

特に、画像強調算出法は、全体的な画像色調マッピング演算法のもとで、物体領域の輝度平均値local_lvと全体画像の輝度平均値global_lvを推測する。その後、例えば、下記式により画像強調パラメータを調整する。

ここで、
（外１）
は、最終強調画像の全体輝度を制御するための所定のパラメータであり、
（外２）
が大きくなるほど、強調後の画像が明るくなり、
（外３）
は、本発明の実施例により調整後の画像強調パラメータを示している。

前記式を用いる構想として、画像の全体平均輝度global_lvが物体領域の輝度平均輝度local_lvよりも大きく、物体領域の輝度が不十分な場合は、パラメータ
（外４）
を増大し、物体領域の輝度を増強するが、これは物体検知に有利である。これに対し、画像の全体平均輝度global_lvが物体領域の輝度平均輝度local_lvよりも小さく、物体領域の輝度が高すぎる場合は、パラメータ
（外５）
を減少し、物体領域の輝度の増大を制御する。

前述の図２を参照して説明した画像パラメータ決定方法においては、物体領域の画像特徴のみならず、全体領域の画像特徴も用いられているが、これに限らず、後述のように、画像パラメータ決定プロセスにおいて、全体領域の画像特徴は用いらず、物体領域の画像特徴のみ用いてもよい。

以下、図１に戻り、ステップＳ１３において、決定した画像強調パラメータにより、該強調すべき画像の強調を行う。

具体的な動作は、画像強調演算法によって異なる。

例えば、画像強調演算法が、全体的な画像色調マッピング演算法である場合、画像強調プロセスは、図３に示したとおりである。ここで、先ず、ステップＳ３１において、式（２）により、カラー画像を階調画像に変換する。

ここで、
（外６）
は、画像における画素（ｘ、ｙ）位置の輝度である。ステップＳ３２において、画像輝度の強調を行い、例えば、式（３）により、階調画像への色調マッピングを行う。図４には、式（３）により対応の色調マッピング曲線、即ち、画像強調マッピング曲線図が示されている。ここで、実施例によっては、色調変換が全体画像、または例えば顔検知に用いられる場合、検出された顔位置を中心とした水平領域に用いられる。

ここで、
（外７）
は、強調後画像の位置（x,y）における画素輝度であり、
（外８）
は、強調後画像の最大輝度値であり、８ビットチャネルの画像において、
（外９）
は、通常、２５５である。
（外１０）
は、画像アダプタ・パラメータであり、式（４）により算出する。
（外１１）
は、式（５）〜式（７）により算出する。

式（５）におけるパラメータ
（外１２）
は、例えば、図１のステップＳ１２の算出から得られた画像強調パラメータであり、
（外１３）
が大きくなるほど、強調後の画像が明るくなる。
（外１４）
は、入力画像の最大輝度値と最小輝度値である。

ステップＳ３３において、式（８）〜式（１０）により、強調後の階調画像を、カラー画像に変換する。

ここで、
は、強調前と強調後のカラー画像におけるＲ、Ｇ、Ｂの３チャネルの画素値にそれぞれ対応している。

前述の動作により、強調後の画像が得られる。

図１に戻り、ステップＳ１４において、ステップＳ１１と同様に、強調後の画像における物体検知が行われる。

ステップＳ１５において、所定の停止条件を満たすか否かの判断が行われ、所定の停止条件を満たしている場合は、現在までの物体検知結果が最もよい強調後の画像を出力し、所定の停止条件を満たしていない場合は、強調後の画像を強調すべき画像として、ステップＳ１２に戻り、新たな一回りの反復を行う。前述の現在までの物体検知結果が最もよい強調後の画像は、例えば、４回の反復を行い、初回反復における強調後の画像から２つの物体を検出し、２回目反復における強調後の画像から３つの物体を検出し、３回目反復における強調後の画像から５つの物体を検出し、４回目反復における強調後の画像から４つの物体を検出した場合、出力として３回目反復における強調後の画像となる。

所定の停止条件は、下記各項における少なくともいずれか、またはこれらの組み合わせである。

所定回数の反復で新たな特定物体が検出されていないこと、今回の反復で検出した特定物体の数が、前回の反復で検出した特定物体の数よりも少ないこと、又は反復回数が最大値に達していることがある。

しかし、前述の所定の停止条件は、例示的なもので、すべての場合を網羅して列挙したものではない。停止条件は、異なる応用や、周知知識によって異なる場合がある。例えば、テレビ会議の場合、会議参加者が３人であることが予め分かっている場合、３人の検知ができた時に即停止するようにしてもよい。

以上、本発明の１実施例により、例示的に画像強調演算法を説明してきたが、該画像強調演算法においては、物体検知結果の改善を目的とし、検出された物体の領域の画像特徴により画像強調を行うことで、強調後の画像から良好な物体検知結果を得ることができる。さらに、前述の画像強調演算法は、反復により、逐次画像の強調を行い、徐々に物体検知結果の改善を図っている。

図６は、初期画像（画像強調処理前の画像）および該画像に顔検知を行い得られた顔検知結果を示している。図７は、本発明の画像強調演算法の適用後の、強調後の画像及び該強調後の画像に顔検知を行い得られた顔検知結果を示している。これにより、本発明の画像強調演算法により、物体検知結果が改善されていることが分かる。

なお、ステップＳ１２におけるパラメータ及び関連画像特徴、並びにステップＳ１３における具体的な画像強調動作は、すべて用いる画像強調演算法によって異なる。前述の例において、全体的な画像色調マッピング演算法を例として説明しているため、パラメータ推測に関わる画像特徴は輝度となり、そのうちのパラメータｆは、式（５）により定められるが、他の画像強調演算法を用いる場合は、関わる画像特徴は、異なってもよく、例えば、輝度、色、コントラストのうちのいずれか、またはこれらの組み合わせであり、調整されたパラメータ及び採用された式も、それに応じて異なることになる。

以下、画像強調演算法の他の例を挙げ、画像強調パラメータの形式及び採用される画像パラメータ決定式が多種多様で、関わる検出した物体領域の特徴も異なり得ることを説明する。

前記画像色調マッピング演算法に用いられる画像強調式（３）と異なり、１例示的画像強調演算法においては、下記式（１１）による強調後の画像の輝度の演算が行われる。

ここで、パラメータｂは、図１のステップＳ１２における推測される画像強調パラメータとし、下記式により、検出された物体領域の平均輝度値local_lvのような画像特徴から、画像強調パラメータｂを決定する。

パラメータｂが小さくなるほど、強調後の画像が明るくなる。

他の実施例においては、他の画像特徴、例えば平均輝度local＿lvと平均コントラストlocal_contrastにより、下記式（１３）を用いて画像強調パラメータｂを決定してもよい。

ここで、local_contrastは、検出された物体を含む領域の平均コントラストであり、下記式（１４）から求められる。
ここで、object_areaは、検出された物体を含む領域を示し、
（外１５）
は、該領域における画素数を示している。

以上から分かるように、画像強調パラメータの形式と決定式は、多種多様である。

なお、前述の例では、物体領域の特徴が、輝度とコントラストの場合を説明しているが、画像の模様や色に興味がある場合、考慮すべき画像特徴は、模様や色であることはいうまでもない。

なお、以上の具体的な実施形態では、顔検知を例として本発明の画像強調方法及び物体検知方法を説明しているが、顔検知に限らず、他のいずれの物体検知、例えば、顔検知、運動物体検知、目検知、建築物、樹木検知等に本発明の画像強調方法と物体検知方法及びそれぞれの装置に適用可能なことはいうまでもない。

図８は、本発明の１実施例による画像強調装置８０のブロック図である。

図８に示されたように、画像強調装置８０は、当該画像を強調すべき画像として、該画像における特定物体を検出する第１の物体検知部８１と、画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部８２と、決定した画像強調パラメータにより、該強調すべき画像の強調を行う画像強調部８３と、強調後の画像における特定物体を検出する第２の物体検知部８４と、所定の停止条件を満たすか否かを判断する停止条件判断部８５と、を有し、停止条件判断部８５は、所定の停止条件を満たす場合は、現在までの物体検出結果が最もよい強調後画像を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記第２の物体検知部の検出結果を画像強調パラメータ決定部８２へ出力し、画像強調パラメータ決定部８２と、画像強調部８３と、第２の物体検知部８４と、停止条件判断部８５とにより、反復方式で各自の動作を繰り返すようにする。ここで、前述の第１の物体検知部８１と第２の物体検知部８４は、同一部分でも別個の部分でもよい。

本発明の他の実施例によると、ａ）画像における特定物体の検出を行い、ｂ）画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定し、ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、ｄ）強調後の画像における特定物体を検出し、ｅ）所定の停止条件を満たすか否かを判断し、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記ｂ）〜ｅ）ステップを繰り返す工程を含む画像における物体検出方法を提供する。

前述の物体検知方法によれば、物体検知結果の改善を目的として画像強調を行い、強調後の画像における物体を検知し、強調後の画像が物体検知に有利かどうかを判定することで、強調後の画像により物体検知を行うか否かを決定するため、自己適応的に画像強調演算法を用いるか否かの判断及び用いる時の判断を行うことができるとともに、反復の方式により、画像の強調と物体検知を行うことで、最高の物体検知結果を逐次得ることができる。

本発明の他の実施例によると、画像における特定物体の検出を行い、該画像を以降の強調処理における強調すべき画像とする第１の物体検知部と、画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部と、決定した画像強調パラメータにより、該強調すべき画像の強調を行う画像強調部と、強調後の画像における特定物体を検出する第２の物体検知部と、所定の停止条件を満たすか否かを判断する停止条件判断部と、を有し、停止条件判断部は、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記第２の物体検知部の検出結果を画像強調パラメータ決定部へ出力し、画像強調パラメータ決定部と、画像強調部と、第２の物体検知部と、停止条件判断部により、反復方式で各自の動作を繰り返す画像における物体検出装置を提供する。

なお、本発明の実施例は、ハードウェア、ソフトウェアや、ファームウェア、またはこれらの組み合わせにより行うことができ、その実現方式により本発明の範囲が制限されることはない。

図９は、本発明の１実施例による本発明を実行可能な例示的コンピュータシステムである。

図９に示されているように、物体検知性能を向上する画像強調コンピュータシステム１０は、ホストコンピュータ１１と、キーボード１６と、モニター１７と、プリンタ１８と、フロッピー(登録商標)ディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が備えられている。ホストコンピュータ１１は、データバス１２と、RAM１３と、ROM１４と、プロセッサ１５と、周辺機器バス２２とが備えられている。

プロセッサ１５は、RAM１３からの指令に応じて、入力データの受信と処理、およびモニター１７や他の周辺機器への出力の制御を行う。本実施例において、プロセッサ１５の１機能としては、入力画像の処理、画像の強調、及び強調画像からの物体検知である。強調後の画像及び検出した物体位置は、他のアプリケーションに用いられる。

プロセッサ１５は、データバス１２によりRAM13とROM１４にアクセスし、RAM１３は、プロセッサ１５の読取と書き込み可能なメモリとして用いられ、各プロセスの作業領域及び可変データ記憶領域として用いられる。ROM１４には、強調すべき画像と、検出した物体位置と、強調後の画像と、画像強調プログラム、及び他のアプリケーションが保存される。

周辺機器バス２２は、コンピュータ１１に接続された入力や、出力や、保存等の周辺機器へのアクセスに用いられる。本実施例において、このような周辺機器には、モニター１７と、プリンタ１８と、フロッピディスクドライブ１９と、ネットワークアクセスユニット２０と、ハードディスクドライブ２１が含まれる。モニター１７は、周辺機器バス２２により、プロセッサ１５からの出力データや画像の表示を行っており、CRTやLCDモニターのようなグリッド形式の表示手段でよい。プリンタ１８は、プロセッサからの入力データと画像をシートやシートのような媒体に出力する。フロッピー(登録商標)ディスクドライブ１９とハードディスクドライブ２１は、入力画像と、強調後の画像と、物体検知結果の保存に用いられる。画像は、フロッピー(登録商標)ディスクドライブ１９により、異なるコンピュータシステム間のやり取りが可能となる。ハードディスクドライブ２１は、記憶空間が大きければ大きいほど、アクセス速度が速くなる。フラッシュメモリのような他の記憶手段も画像へのコンピュータシステム１０のアクセスに用いてよい。コンピュータシステム１０は、ネットワークアクセス２０により、ネットワークでのデータの送信や他のコンピュータシステムからのデータの受信が可能となる。ユーザは、キーボード１６からコンピュータシステム１０へのコマンドの入力を行う。

以上の具体的な実施例により、本発明の保護範囲が制限されるものではなく、設計要求や他の要素に応じて、様々な修正や、組み合わせ、サブ組み合わせ、代替が可能なことは、言うまでもない。本発明の精神と原則を逸脱しない範囲内の修正や、同等の代替や、改善等は、すべて本発明の保護範囲に属するものである。

Claims (10)

1. ａ）所定の画像を強調すべき画像として、該画像における特定物体の検出を行い、
   ｂ）画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定し、
   ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、
   ｄ）強調後の画像における特定物体を検出し、
   ｅ）所定の停止条件を満たすか否かを判断し、該所定の停止条件を満たす場合は、現在までの物体検出結果が最もよい強調後画像を出力し、該所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記ｂ）〜ｅ）ステップを繰り返す、
   工程を含むことを特徴とする画像強調方法。
2. 前記検出した特定物体を含む領域は、検出した特定物体の位置を中心に算出した領域であり、かつ画像の全体領域とは異なることを特徴とする請求項１に記載の画像強調方法。
3. 前記検出した特定物体を含む領域は、検出した特定物体自体を表す領域の集合であることを特徴とする請求項２に記載の画像強調方法。
4. 前記所定の停止条件は、
   所定回数の反復で新たな特定物体が検出されていないこと、
   今回の反復で検出した特定物体の数が、前回の反復で検出した特定物体の数よりも少ないこと、又は、
   反復回数が最大値に達していることのうち、少なくともいずれか一つ、またはこれらの組み合わせであることを特徴とする請求項１に記載の画像強調方法。
5. 前記画像の特徴が、明るさ、色、コントラストのうちの少なくともいずれか一つ、またはこれらの組み合わせであることを特徴とする請求項１に記載の画像強調方法。
6. 所定の画像を強調すべき画像として、該画像における特定物体を検出する第１の物体検知部と、
   画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部と、
   決定した画像強調パラメータにより、該強調すべき画像の強調を行う画像強調部と、
   強調後の画像における特定物体を検出する第２の物体検知部と、
   所定の停止条件を満たすか否かを判断する停止条件判断部と、を有し、
   前記停止条件判断部は、所定の停止条件を満たす場合は、現在までの物体検出結果が最もよい強調後画像を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像として、前記第２の物体検知部の検出結果を前記画像強調パラメータ決定部へ出力し、前記画像強調パラメータ決定部と、前記画像強調部と、前記第２の物体検知部と、前記停止条件判断部により、反復方式で各自の動作を繰り返すことを特徴とする画像強調装置。
7. 前記検出した特定物体を含む領域は、検出した特定物体の位置を中心に算出した領域であり、かつ画像の全体領域とは異なることを特徴とする請求項６に記載の画像強調装置。
8. 前記所定の停止条件は、
   所定回数の反復で新たな特定物体が検出されていないこと、
   今回の反復で検出した特定物体の数が、前回の反復で検出した特定物体の数よりも少ないこと、又は、
   反復回数が最大値に達していることのうち、少なくともいずれか一つ、またはこれらの組み合わせであることを特徴とする請求項６に記載の画像強調装置。
9. 画像における物体を検出する方法であって、
   ａ）前記画像における特定物体の検出を行い、該画像を以降の強調処理における強調すべき画像とし、
   ｂ）画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定し、
   ｃ）決定した画像強調パラメータにより、該強調すべき画像の強調を行い、
   ｄ）強調後の画像における特定物体を検出し、
   ｅ）所定の停止条件を満たすか否かを判断し、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像とし、前記ｂ）〜ｅ）ステップを繰り返す、
   工程を含むことを特徴とする方法。
10. 画像における物体を検出する装置であって、
    前記画像における特定物体の検出を行い、該画像を以降の強調処理における強調すべき画像とする第１の物体検知部と、
    画像強調パラメータで強調された画像における特定物体を含む領域の画像特徴を際立たせるように、検出した特定物体を含む領域の画像特徴に応じて、該画像強調パラメータを決定する画像強調パラメータ決定部と、
    決定した画像強調パラメータにより、該強調すべき画像の強調を行う画像強調部と、
    強調後の画像における特定物体を検出する第２の物体検知部と、
    所定の停止条件を満たすか否かを判断する停止条件判断部と、を有し、
    前記停止条件判断部は、所定の停止条件を満たす場合は、現在までの最もよい物体検出結果を出力し、所定の停止条件を満たさない場合は、強調後の画像を強調すべき画像とし、前記第２の物体検知部の検出結果を前記画像強調パラメータ決定部へ出力し、前記画像強調パラメータ決定部と、前記画像強調部と、前記第２の物体検知部と、前記停止条件判断部により、反復方式で各自の動作を繰り返すことを特徴とする装置。