JP4999101B2 - 効率的なマルチクラス対象物検出のためにブースト分類器を組み合わせる方法 - Google Patents

Description

関連発明の相互参照
本出願は２００４年５月１０日に出願されたアメリカ合衆国暫定特許出願通し番号６０／５６９，５５２の利益を主張するものであり、該アメリカ合衆国暫定特許出願の全体が参照として本願に取り込まれている。

発明の分野
本発明は、効率的なマルチクラス対象物検出のために、ブースト分類器を組み合わせる方法に、より詳細には、マルチクラス対象物を識別する検出システムをブースト分類器を用いて訓練するためのシステム及び方法に関する。

本発明の背景
近年、特に画像対象物検出の分野において、総合的な強分類器を得るために一連の単純又は弱分類器をブーストする技術が強力な解決手段へと発展してきた。画像対象物検出はますます一般的になってきており、多くの異なる検出シナリオにおいて使用することができる。このような用途の例としては、顔検出、歩行者検出、交通標識検出、及び車両検出がある。

ブースティング技術は単一の対象物クラスの検出に特に効果的である。しかしながら、この手法を単一の対象物クラスの検出から複数の対象物クラスの検出に拡張する場合、クラスの個数に比例して手法の複雑さが増大する。多くの検出用途では、有効であるためには複数の対象物クラスの検出が必要とされる。このような用途の一例が車両検出である。車両検出では、自動車、トラック、歩行者、及び交通標識に対して、別個の対象物クラスが定義される。複数の対象物クラスを要する検出用途の別の例は群衆検出である。特に、群衆が動いている場合には、これらの群衆の異なるポーズ又は動作に基づいて群衆サブクラスを定義するとより効果的である。例えば、このようなサブクラスは、着席、起立、及び歩行を含むことになろう。

画像内での対象物検出のタスクに関して、公知の手法はブースティングに基づいた学習／検出フレームワークを使用する。ブースティングは単純又は弱分類器

の集合
Ｈ＝{ｈ₁, ... ,ｈ_T} （１）
を選択し、組み合わせる。なお、各々の弱分類器は、最終又は強分類器を形成する分類器候補の大きな集合から取ったものである。対象物画像検出の問題においては、Ｘはすべての画像パッチの集合であり、クラス＋１は対象物に対応し、クラス−１は非対象物に対応している。さらに重み係数の集合
α＝{α₁, ... ,α_T} （２）
が与えられれば、対象物検出は候補画像パッチｘ∈Ｘ上で強分類器ｈを評価することで解決される。判別ｈ(ｘ)は弱分類器の判別の加重和から計算される。すなわち、

ここで、θは、ユーザがフォールスアラームと検出ミス率とを均衡させることができるようにする閾値である。弱分類器ｈ_tと適正な重みα_tの最適な選択は、ＡｄａＢｏｏｓｔ訓練アルゴリズムから得られる。

この技術は、例えば、顔、車両、歩行者などの単一のクラス対象物の検出に適用され、非常に成功を収めてきた。しかしながら、例えば、交通シーンにおける自動車、トラック、歩行者、及び交通標識の結合検出のように、１つのシーンの中で複数のクラス{１, ... , Ｌ}の対象物を検出することが要求される状況が存在している。

素朴な解決手段は、上記アルゴリズムに基づいて、各クラスｌについてＡｄａＢｏｏｓｔを使用して弱分類器Ｈ^(l)と重みα^(l)のそれぞれのアンサンブルを訓練する。すなわち、

この手法の検出タスクのためのメモリと計算量はＬに比例し、多くの場合、実時間検出システムを妨げる。計算量の大きいこのような手法は、時間、コスト、又は効率性の点で実行可能でなく、妥当な解決手段とは見なされない。したがって、実時間マルチクラス検出を可能にし、しかも効率的に動作することのできる検出システムへの需要が存在する。

発明の概要
本発明では、個々の検出器の特徴と分類器設計とを含んだ主要要素を結合して設計することにより、より効率的なマルチクラス検出法及びシステムが案出されている。本発明の１つの実施形態によれば、画像又はビデオシーケンス内のマルチクラス対象物を検出するシステムを訓練するための方法が記載されている。一連の対象物クラスに対する弱分類器の共通アンサンブルが識別される。各対象物クラスについて、それぞれの重み付けスキームを弱分類器のアンサンブルに適応させる。

本発明はまた画像又はビデオシーケンス内の複数のクラスの対象物を検出する方法にも関している。各クラスには、すべての検出器が弱分類器の共通アンサンブルに基づくように、弱分類器の重み付けされた組合せによって実現された検出器が割り当てられる。続いて、各クラスについて、重みが個別に設定される。

図面の簡単な説明
以下に、本発明の好ましい実施形態をより詳細に説明する。添付した図面において、同じ参照番号は同じエレメントを指している。

図１は、本発明によるマルチクラス対象物検出及び追跡システムのシステムブロック図であり、
図２は、本発明によるマルチクラス対象物検出のフレームワークを示している。

詳細な説明
本発明は、効率的なマルチクラス対象物検出のためにブースト分類器を組み合わせるシステム及び方法に関している。本発明はまたマルチクラス対象物検出のための分類器を訓練する方法にも関している。本発明は、様々な対象物の検出を必要とする多くの用途に使用することができる。このようなシステムは、例えば、人物又は顔貌の検出と追跡のような監視用途に使用されうる。

本発明はまた組立ライン上の対象物を検出及び追跡するために使用することもできる。医療用に人間の臓器を検出及び追跡するという他の用途も考えられる。当業者には、他の環境においても本発明は使用され得ることが理解されなければならない。本発明が有用となる他の環境は車両の検出と追跡にある。様々なタイプの車両の検出に加えて、ときには歩行者、交通標識、及び車両環境に関連した他の対象物の検出の必要性もある。ここでは、本発明を説明するという目的で、オンロード障害物検出の環境において本発明の説明を行う。

図１には、本発明を実施するシステムのブロック図が示されている。１つ又は複数のカメラ１０２が、道路とその周囲の画像を捕捉するために使用される。典型的な道路画像の場合に予想されるように、画像は建物、木、及び家のような背景画像と、路上を走行する車両を含む。画像はプロセッサ１０４に伝送され、プロセッサ１０４はデータベース１０６内の要素分類器を用いて信頼度のスコアを計算する。画像は、種々の対象物クラスを識別するために本発明に従って分析される。このような対象物の例には、自動車、トラック、歩行者、及び交通標識が含まれる。十分な信頼水準で対象物が識別されれば、対象物は出力デバイス１０８を介して識別される。出力デバイス１０８は、ユーザに１つ又は複数の対象物の存在を知らせる出力信号を供給する。出力信号は可聴信号又は他のタイプの警報信号であってよい。出力デバイス３０８は検出された対象物を見るためのディスプレイを含んでいてもよい。ディスプレイはカメラ３０２によって撮られた画像のビューを提供する。さらに、すでに検出され、いま追跡されつつある対象物を表示するように、カメラ３０２を拡張してもよい。

マルチクラス対象物を効率的に検出する技術を開発するに際して、本発明は、多数の弱分類器を識別及び選択するために使用される多数の訓練技術に注目している。なお、これらの多数の弱分類器はその後、データベース１０６に格納され、種々の対象物の検出に使用される。本発明の前提は、Ｌ個の検出器のすべてが一連の共通する特徴又は弱分類器を共有するという根本的な原則である。高い検出精度を維持するために、個々の強分類器は弱分類器の選択に先行して重みα^(l)の個々の集合に適合させられる。個別的な重み付けを用いることにより、単一クラス検出に比べて、計算量に最小の増大しか存在しない。従来技術の数式（３）及び（４）の計算に由来する複雑さの大部分は弱分類器の評価から生じており、重み付けから生じているのではない。

図２には、本発明によるマルチクラス対象物検出のフレームワークが示されている。システムの訓練は弱分類器の共通集合Ｈの選択と個々の重みα^(l)の適合に関連している。本発明によれば、弱分類器の訓練に以下の技術を使用することができる：
１．所与のＬ個の対象物クラスに対して、弱分類器の共通アンサンブルＨ＝Ｈ⁽¹⁾＝…＝Ｈ^(L)＝{ｈ₁, ... ,ｈ_T}を選ぶ。
２．for ｌ＝１, ... ,Ｌ
３．ＡｄａＢｏｏｓｔを用いてα^(l)をクラスｌの訓練集合に適合させる。その際、候補となる弱分類器はＨにより与えられる。

上記のステップ１が与えられれば、残る未解決問題は共通の弱分類器アンサンブルＨの選択である。本発明によれば、Ｈを選択するための３つの異なる技術が説明される。第１の技術は、１つの区別されたクラスｌ₀が存在することを仮定している。この区別されたクラスは、例えば、シーン内への出現頻度が高い対象物のクラスであってよい。クラスｌ₀の訓練集合は弱分類器の共通アンサンブル

を選択するために使用される。このアンサンブルが選択されると、上で示されたように、ＡｄａＢｏｏｓｔを用いて個々のクラスの重み{α⁽¹⁾, ... ,α^(L)}が再適応させられる。その際、候補となる弱分類器はＨのみから取られる。この技術が使用され得る用途の一例は、製造用途である。検出される主な対象物は組立ライン上のアイテムであろうから、その対象物に関連した弱分類器が訓練集合として使用される。

訓練集合を形成する第２の技術は、１つの区別されたクラスの割当てが妥当でない場合に使用される。そのような場合には、より対称的な手続きが適切である。この手法では、すべての訓練サンプルの合併に基づいて共通分類器Ｈが訓練される。次に、個々の分類器ｌは、Ｈと専らクラスｌからの正の訓練サンプルとに関連してα^(l)を調整することにより微調整される。言い換えれば、この手法では、すべての正の対象物を負の対象物から区別するためにＨが最適化される。個々の検出問題は個々の弱分類器のそれぞれのインパクトを適応させることにより特殊化させることができる。

この技術が使用され得る１つの例は、複数のクラスがある程度の共通性を有しているような用途にある。例えば、顔検出は様々な顔のポーズから成るクラスを使用する。しかしながら、ポーズの分類器の多くは類似している（例えば、眼、鼻、及び口）。同様に、車両検出は様々な車両から成るクラスを使用する。どのケースでも、通常、車両の端や隅のようないくつかの特徴は見られる。

第３の技術は、各対象物クラスｌについて、最も適切な弱分類器を集めることによりＨを得る。この観点で、第１の訓練ステップにおいて、弱分類器の個々の集合{Ｈ⁽¹⁾, ... ,Ｈ^(L)}が選択される。続いて、最終集合Ｈが{Ｈ⁽¹⁾, ... ,Ｈ^(L)}の組合せから得られる。１つのアプローチは合併

を用いることであり、他のオプションは{Ｈ^(l)}の共通部分の使用、又は、より複雑な多数決スキームによって決定される{Ｈ^(l)}の部分集合の使用を含む。

この技術はデータリソースの分散を必要とする用途に最も良く使用される。例えば、より複雑な車両検出スキームでは、車両の他に、交通標識や歩行者も検出される。検出され得る更なる対象物には、道路の車線、ガードレール、木や家や他の建物のような背景の対象物が含まれる。このような場合、各クラスは他のクラスとは異なる弱分類器を使用する。しかしながら、それでもこられのクラスのすべてに共通するいくつかの弱分類器が存在する。

図２に示されているフレームワークはマルチクラス分類に適用できるように拡張することができる。このシナリオでは、分類器はｘに最尤クラスラベル

を割り当てる。このタスクの自然な手続きは、アクティベーションが最大であるクラス、すなわち、

を選択することであろう。ここで、ｆ^(l)はクラスｌのアクティベーション関数である。

本発明は、個々のすべてのクラス検出器において共通した、したがって一度だけ計算すればよいブースト弱分類器の集合を使用する。この制限による考えられる検出精度の主な損失は、各対象物クラスの誤分類のエラーを減少させるために、各対象物クラスに対して個別に弱分類器の重みを事後的に再訓練することによって防止される。従来技術の手法に比べて、本発明の訓練の複雑さが著しく増大することはない。というのも、ＡｄａＢｏｏｓｔによる個々のクラスの重みの再調整は、Ｈのみに、したがって弱分類器候補の格段に小さな集合に基づいているからである。

マルチクラス対象物の検出にブースト分類器を使用する方法の実施形態を説明したが、当業者には上記の教唆に照らして改良及び変更が可能であることを指摘しておきたい。それゆえ、開示された本発明の個々の実施形態に対して、添付した請求項により規定されるものとしての本発明の範囲及び趣旨の内で、変更を為しうることが理解されなければならない。以上、特許法により要求される詳細及び特定性を以て本発明を説明したが、請求及び特許証による保護を求めるものは添付した請求項に示されている。

本発明によるマルチクラス対象物検出及び追跡システムのシステムブロック図である。 本発明によるマルチクラス対象物検出のフレームワークを示す。

Claims (7)

1. 画像又はビデオシーケンス内のマルチクラス対象物を検出するシステムを訓練するための方法であって、
   １．対象物クラスの集合ｌについて、ブーストされた弱分類器の共通アンサンブルＨを以下の３つの技法のいずれかに従って形成するステップであって、その際に各弱分類器ｈ _t を重みα _t で重み付けするステップ、すなわち、
   ａ．第１の技法に従い、少なくとも１つの対象物が画像又はビデオシーケンス内に高い頻度で出現する対象物クラスｌ ₀ のうちの１つから選択することにより前記共通アンサンブルＨを形成し、ここで
   

   

   であり、
   

   

   は前記対象物クラスｌ ₀ の弱分類器であるとするか、または
   ｂ．第２の技法に従い、すべての訓練集合の合併集合にＡｄａＢｏｏｓｔを適用して、前記対象物クラスのすべてを含んだデータセットから学習することにより前記共通アンサンブルＨを形成するか、または
   ｃ．第３の技法に従い、第１の訓練ステップで選択されたブーストされた弱分類器の個々の集合を組み合わせることにより、前記ブーストされた弱分類器の共通アンサンブルＨを形成し、ここで前記ブーストされた弱分類器の個々の集合はそれぞれ単一対象物クラスから個別に学習されたものである、
   ステップと、
   ２．各対象物クラスについて、ＡｄａＢｏｏｓｔを使用して、前記ブーストされた弱分類器の共通アンサンブルの弱分類器の重みを再訓練するステップを有している、
   ことを特徴とする訓練方法。
2. 正の対象物を負の対象物から区別するために、前記ブーストされた弱分類器の共通アンサンブルを最適化する、請求項１記載の方法。
3. 前記組合せは前記弱分類器の複数の集合の数学的な合併である、請求項１記載の方法。
4. 前記組合せは前記弱分類器の個々の集合の数学的な共通部分である、請求項１記載の方法。
5. 前記弱分類器の個々の集合の組合せは、多数決により決定される部分集合である、請求項１記載の方法。
6. 画像又はビデオシーケンス内の複数のクラスの対象物を検出する方法であって、
   対象物クラスの集合ｌについて、ブーストされた弱分類器の共通アンサンブルＨを以下の３つの技法のいずれかに従って形成するステップであって、その際に各弱分類器ｈ _t を重みα _t で重み付けするステップ、すなわち、
   ａ．第１の技法に従い、少なくとも１つの対象物が画像又はビデオシーケンス内に高い頻度で出現する対象物クラスｌ ₀ のうちの１つから選択することにより前記共通アンサンブルＨを形成し、ここで
   

   

   であり、
   

   

   は前記対象物クラスｌ ₀ の弱分類器であるとするか、または
   ｂ．第２の技法に従い、すべての訓練集合の合併集合にＡｄａＢｏｏｓｔを適用して、前記対象物クラスのすべてを含んだデータセットから学習することにより前記共通アンサンブルＨを形成するか、または
   ｃ．第３の技法に従い、第１の訓練ステップで選択されたブーストされた弱分類器の個々の集合を組み合わせることにより、前記ブーストされた弱分類器の共通アンサンブルＨを形成し、ここで前記ブーストされた弱分類器の個々の集合はそれぞれ単一対象物クラスから個別に学習されたものである、
   ステップと、
   各対象物クラスについて、ＡｄａＢｏｏｓｔを使用して、前記ブーストされた弱分類器の共通アンサンブルの弱分類器の重みを再訓練するステップと、
   各対象物クラスに、前記再訓練に基づいて重み付けされた弱分類器の組合せにより実現された検出器を割り当てるステップと
   を有しており、
   前記検出器のすべてが前記弱分類器の共通アンサンブルに基づいている、ことを特徴とする検出方法。
7. 前記検出器のスコアを使用して、検出された対象物を前記対象物クラスのうちの１つに分類する、請求項６記載の方法。

Images