JP2009150900A - リアルタイムの頭部ポーズ検出において使用するためのデータベースシステム - Google Patents

Abstract

【課題】リアルタイムの頭部ポーズ検出において使用するためのデータベースシステムを提供すること。
【解決手段】個人の頭部のイメージの対および別の個人の頭部のイメージの対を受信するための各手段と、イメージの各対において構成要素のセットを識別するための手段と、識別された各構成要素に所属するデータに索引付与するための手段と、索引付与された前記データをデータベースに記憶するための手段と、識別された各構成要素に関連する複数のフィーチャを定義するための手段と、各構成要素の肯定的な構成要素例を最も良好に判別するフィーチャのサブセットを決定するための手段戸を有するデータベースシステム。
【選択図】図５

Description

本発明は、リアルタイムの頭部ポーズ検出において使用するためのデータベースシステムに関する。

人の有無を検出するための認識アルゴリズムが数多く存在する。顔のみが検出されるケースが幾つかあれば、別の例では、人の身体全体が検出される。このような検出アルゴリズムは数多くのアプリケーションで使用され、たとえばドライバモニタリング、ユーザ識別、および車両の乗員に関する情報を供給するためのアプリケーションで使用されるが、これらのアプリケーションに制限されない。後者の例では、乗員検出および乗員に関する情報は、エアバッグ展開等の車両の制御面で使用される。

乗員の有無が検出される場合、エアバッグを展開する必要があるか否かに関して初期の決定が行われる。占有されていない座席では、エアバッグを展開する必要がない。さらに、乗員のサイズおよびダッシュボードに対する該乗員の相対的な位置が検出される場合、エアバッグの設定を調節して、乗員に対する保護の適切な程度を供給することができる。たとえば、乗員が子供であるかまたはダッシュボードの近傍に着席している場合、エアバッグを調節して、大人またはダッシュボードから適正な距離に着席する乗員より小さい量の力で展開することができる。

ドライバモニタリングの場合、別の有利なアプリケーションに、ドライバ等の車両乗員の頭部ポーズを検出するアプリケーションがある。頭部ポーズに属する情報を使用して、ドライバの状態に関して想定を行うことができる。たとえば頭部が傾斜している場合、このことはドライバが居眠りをしているか、または運転能力を失っていることを示唆する。また、頭部が方向転換している場合、このことはドライバが道路に注意していないことを示唆する。頭部ポーズの推定は、１つまたは複数のビデオストリームから人間の頭部のポーズの発見を扱う。ここでの問題は、顔検出に関連する。というのも顔の位置が既知であれば、ポーズを検出するのが比較的簡単になるからである。また、ポーズが既知であれば、顔を検出するのも比較的容易になる。２つ以上のカメラを使用する場合、異なるビデオストリームからの情報の融合によって、頭部ポーズ推定の重要なソースが表される。

頭部ポーズを推定するための最も普通のアプローチは、フィーチャポイントベースの手法、マルチビュー法および顔の３次元（３Ｄ）モデリングによるものである。フィーチャポイントベースの手法はフィーチャベース幾何法（feature-based geometrical method）とも称され、顔の目印ポイントの位置決定を行い、これらの目印ポイントの位置から顔の方向を計算することを目的とする。一般的な顔モデルがすべての顔に対して想定され、顔対称性および比のコンシステンシーが考慮される場合、２次元（２Ｄ）のフィーチャポイント情報だけでポーズを推定することができる。幾つかの手法では、目および口の近傍のポイントとこれらのポイントの同一平面の制約とを使用して、ポーズを推定する。別の手法では、目の近傍の領域に所属するポイントと鼻の先端のポイントとを使用するだけである。

別のアプローチでは、３Ｄの目印位置を計算するための多重カメラが含まれる。ここで重要な問題とされているのは、フィーチャポイントを精確に位置検出し、一致関係の誤りを最小にして、精確な３Ｄ位置を形成することである。フィーチャポイント検出を行う際には、テンプレートマッチング、ウェーブレット分析、またはさらに複雑な検出手段が使用される。これらの手法を使用することによって連続的なポーズ推定が可能になるが、人の顔が表情を変える場合、合成できるフィーチャポイントを位置検出するのは困難である。さらに、このような技術を複数回行うことで、フィーチャポイントを手動で初期化する必要がある。

頭部ポーズを検出するために通常使用される別のアプローチに、マルチビューベースの手法がある。マルチビューベースの手法は外観学習ベース法（appearance learning based method）とも称され、顔全体を高次元空間内のベクトルとして扱い、フィーチャポイントを見つける必要がない。訓練用の顔例は離散的な観察面で収集され、たとえば０°、１０°、２０°等の偏揺れ角度で収集される。各観察面またはポーズは、異なる人および異なる照明条件から得られる。このようにすると、このタスクは観察面分類の問題に簡略化される。異なる外観学習法を使用して、異なる観察面を判別することができる。

幾つかのケースでは、サポートベクトルマシン（ＳＶＭ）を使用して観察面を分類する。別の手法では、サブスペース変換が行われる。大幅なポーズ変化を伴う顔認識を解く場合、アプローチの１つに、まず顔のポーズを検出した後、観察面ごとの固有空間を使用して顔を認識するアプローチがある。主成分分析（ＰＣＡ）を各観察面に対して適用することにより、観察面ごとに固有空間を得た後、入力イメージを各観察面の固有空間に投影して、最小の残留エラーを有する観察面を、入力された顔の推定上のポーズとする。一般的にマルチビューアプローチは、ステレオ情報を必要としない。しかし、このような学習法は、多数のポーズ分類された例を有する大きな訓練データベースを必要とする。

３次元モデルベースの手法は、合成による分析（analysis by synthesis）とも称され、通常は一般的な３Ｄの顔／頭部のモデルを想定する。入力されたイメージは、モデルと繰り返しマッチングされ、こうすることによってマッチングエラーを最小にする。ただし、このモデルは特定の人に適合しているものでも適合していないものでもよい。プロシージャが収束すると、ポーズが求められる。３次元モデルベースの手法は、典型的には多数のフィーチャポイントを使用する。これらの手法では、測定されたポイント位置にノイズが含まれることを想定しており、モデルと繰り返しマッチングする場合、この方法はさらにロバストになる。一致プロシージャが収束した場合、この結果は精確である。しかし、これらの手法は計算上高コストであり、非常に低速であり、良好な初期化を行わないとターゲットを完全に見失うことがある。

本発明の課題は、リアルタイムの頭部ポーズ検出において使用するためのデータベースシステムを提供することである。

前記課題は、
個人の頭部のイメージの対を受信するための手段を有し、該イメージの各対が表す頭部ポーズは異なり、
別の個人の頭部のイメージの対を受信するための手段を有し、別の個人それぞれのイメージの各対が表す頭部ポーズは異なり、
イメージの各対において構成要素のセットを識別するための手段と、
識別された各構成要素に所属するデータに索引付与するための手段と、
索引付与された前記データをデータベースに記憶するための手段と、
識別された各構成要素に関連する複数のフィーチャを定義するための手段と、
各構成要素の肯定的な構成要素例を最も良好に判別するフィーチャのサブセットを決定するための手段
とを有するデータベースシステムによって解決される。

頭部ポーズを推定し、および／または車両内の乗員を検出するための、本発明によるシステムのシステムブロック図である。 本発明にしたがって、本システムの学習フェーズ中およびリアルタイム検出中に収集されるイメージおよびステレオ構成要素を図解するための例である。 頭部ポーズを検出するために使用されるステレオ構成要素を備えたデータベースを訓練するための、本発明によるステップを示すフローチャートである。 頭部ポーズを検出するための、本発明によるステップを図解するフローチャートである。 乗員を検出するための本発明によるシステムを図解する概略図である。 本発明の占有状態検出にしたがって、ステレオ検出器を共同で訓練する方法を図解するブロック図である。 本発明にしたがって乗員を検出してポーズを推定する方法の実施に関するフローチャートである。 連結された本発明による身体モデルを示す図である。 個人の頭部と、本発明にしたがって特定の頭部ポーズを表す動きの可能な範囲とを示す図である。 ２つのカメラによって取り込まれた本発明によるイメージの対と、イメージ対においてステレオ構成要素を識別する、本発明による方法とを示す図である。 頭部ポーズを検出するための、本発明による方法を示す概略図である。

本発明は、個人の頭部ポーズを検出するためのデータベースシステムに関する。人のイメージの対をステレオカメラの対から取り込み、このイメージの対を同時にスキャンし、該イメージの対において少なくとも１つの構成要素を位置検出する。少なくとも１つの構成要素に対してそれぞれ、３次元（３Ｄ）位置を計算し、これらの３Ｄ位置を使用して頭部ポーズを推定する。

本発明の別の側面では、訓練されたステレオ検出器によってデータベースにロードし、リアルタイムの頭部ポーズ検出で使用するためのシステムおよび方法を開示する。個人の頭部のイメージの対を受信し、その際には、イメージの各対が表す頭部ポーズは異なる。別の個人の頭部のイメージの対も受信し、その際には、イメージの各対は異なる頭部ポーズを表す。構成要素のセットを、イメージの各対ごとに識別し、識別された各構成要素に所属するデータに索引を付与し、索引付与されたデータをデータベースに記憶する。識別された各構成要素に所属する複数のフィーチャを定義し、各構成要素ごとに、肯定的な構成要素例を最良に判別するフィーチャのサブセットを決定する。

本発明の別の側面によれば、車両の乗員を検出するためのシステムおよび方法を開示する。人のイメージの対を、ステレオカメラの対から取り込む。イメージの対の第１のイメージ内で強い応答の位置が検出され、該イメージの対の第２のイメージにおいて相応の領域が位置検出される。頭部および肩部の構成要素が検出されたか否かに関して決定が行われ、頭部および肩部の構成要素が検出されると、該頭部および肩部の構成要素はステレオマッチングのための初期のマッチングポイントとして使用される。頭部および肩部の構成要素でステレオマッチングが行われ、一致情報が得られる。この一致情報は、検出モジュールへフィードバックされる。この一致情報を使用して検出情報が生成され、一致情報と検出情報との間で収束が得られるまで、一致情報は連続的に検出モジュールへ供給される。この検出情報に基づいて、乗員が存在するか否かが決定される。

本発明は、ステレオ検出器を使用して乗員および該乗員の頭部の位置またはポーズを検出するためのシステムおよび方法に関する。図１は、ステレオ検出器を使用して乗員および頭部ポーズを検出するための、本発明によるシステムの上位のブロック図である。このようなシステムをたとえば車両において使用し、乗員の有無または車両のドライバおよび／または乗員に関する別の情報を検出することができる。当業者であれば、監視または安全性に関わるアプリケーション等の別の環境において本発明を使用できることが理解できる。

本発明は図１に示されているように、カメラ１０２，１０４によって取り込まれた２つのステレオ構成要素間の相関関係を利用する。ステレオ構成要素は、該システムによって検出された肯定的なフィーチャの対であり、乗員の有無および頭部ポーズの双方を検出するために使用される。ステレオ構成要素の例には、左目、右目、鼻、口、左耳および右耳のステレオイメージが含まれる。

ステレオカメラ１０２，１０４は相互に相対的な既知の角度および位置で配置され、特定のターゲットを取り込むように方向づけられる。この特定のターゲットは、たとえば車両のドライバである。２つのカメラ１０２，１０４間の位置関係が既知であることにより、これらのカメラによって取り込まれたイメージを分析して、複数のステレオ構成要素を検出できる。これらのステレオ構成要素は、各カメラの観察面に対して相対的に、特定のステレオ構成要素の予測上のパースペクティブに基づいて、対としてまとめられる。

たとえば、ドライバがカメラ１０２に直接面している場合、検出されるステレオ構成要素、たとえば該ドライバの鼻は、正面の観察面に現れる。しかし、カメラ１０４によって取り込まれる同一のステレオ構成要素（鼻）のイメージは、横顔の観察面として現れる。ステレオ構成要素のデータを対としてまとめることにより、ドライバの頭部ポーズを検出することができる。このデータをさらに分析し、さらにアクションをとるべきか否かを決定することができる。たとえばこのデータが、たとえば居眠りまたは運転能力を失ったためにドライバが運転に注意していないことを示唆する場合、プロセッサ１０６は警報をトリガして鳴らし、ドライバの注意を道路に集中させるようにすることができる。

異なるポーズを有する人の頭部のデータベース１０８が、ステレオ構成要素の肯定的な例を形成するために使用される。このような種々の肯定的な例は共同して、構成要素の外観をとらえ、ステレオ対相互間の固有の関係をとらえる。ステレオ構成要素間の依存性を利用することにより、この技術によって、２つのカメラを独立して使用する場合より高い信頼性の検出を行うことができる。データベース１０８には訓練データがロードされ、この訓練データは、リアルタイムの頭部ポーズ検出中に使用される。ブースティング等の学習技術がプロセッサ１０６によって使用され、クラシファイア（分類手段）が形成され、これによって肯定的な対と否定的な例とが判別される。図２Ａおよび２Ｂには、プロセッサ１０６によって学習ステージ中に集められるデータと、リアルタイム検出中に取り込まれるイメージとが示されている。データベース１０８に、訓練されたクラシファイアがロードされ、これらのクラシファイアはリアルタイムの頭部ポーズ検出中に使用される。リアルタイム検出中には、ステレオカメラ１０２，１０４によって捕捉された２つのビデオフレームが、訓練中に指定されたステレオ構成要素に対して探索される。ステレオ構成要素間の依存性を利用することにより、この技術で行われる検出は、２つのカメラを独立して使用する場合よりもさらに高い信頼性を有するようになる。

図３を参照すると、データベース１０８を訓練するための本発明によるステップを示すフローチャートが記載されている。多数の異なる頭部ポーズをとって、個人の頭部のイメージの対が取り込まれる（ステップ３０２）。この訓練ステージでは、ステレオ構成要素を識別し、該ステレオ構成要素に索引付与する必要がある。図５に示されたのと類似するセットアップを使用して、イメージ対は取り込まれる。当業者であれば、カメラを実際の車両に設置するか、シミュレートして車両内のカメラの位置および相対的な配置を模擬できることが理解できる。

個人の頭部のイメージの対（すなわち、各カメラから同時に撮影された各１つのイメージ）は、所定の数および所定の種類の頭部ポーズで取り込まれる。頭部ポーズは、図９に示されているように、動きの３つの一般的な方向によって定義される。動きの第１の方向は、頭部が垂直軸を中心として回転する偏揺れ方向である。典型的には、０°の角度が正面観察面として定義される（ここでは、個人は車両のフロントガラスに直接面している）。矢印９０２によって示されたような頭部の各偏揺れ角（たとえば、−９０°〜＋９０°の間の角度）は、異なるポーズを意味する。

考えられる動きの第２の方向は、矢印９０４によって示されたような、頭部の縦揺れである。この縦揺れは、横軸を中心とする回転に相応する。縦揺れの基準となる０°の角度は、頭部が前方を向いている場合である。頭部の縦揺れ（たとえば、−９０°〜＋９０°）は、異なるポーズを意味する。

考えられる動きの第３の方向は、矢印９０６によって示されたような、頭部の横揺れである。動きのこの方向は、長手軸を中心とする回転に相応する。基準となる０°の角度は、直立状態の顔に相応する。頭部の横揺れ（たとえば、−９０°〜＋９０°）は、異なるポーズを意味する。

特定の個人の各所望のポーズごとにイメージの対が撮影された後、別の個人のイメージの同様のセットが撮影される（ステップ３０４）。このことは、各個人ごとに同じポーズが撮像されることを意味する。すべての訓練イメージが取り込まれ、データベース１０８に記憶された後、イメージの各対が分析されてステレオ構成要素のセットが識別される（ステップ３０６）。上記で説明したように、構成要素は顔の区別フィーチャであり、たとえば左目、右目等である。ステレオ構成要素の識別は、各構成要素に正方形によってマーキングすることにより、手動で行われる。このことは図２Ｂに示されている。

構成要素の各対が識別されると、該構成要素に所属する相応のデータに索引付与され、該データはデータベース１０８に記憶される（ステップ３０８）。索引付与されたデータはとりわけ、上記の３つの特性によって定義されたような種類の構成要素および頭部ポーズを含むことができる。識別された構成要素の各対は、肯定的な例とも称される。肯定的な例が識別された後、否定的な例または非構成要素が収集され、データベースに記憶される（ステップ３１０）。非構成要素は、構成要素として識別されなかった頭部のフィーチャ、または人間以外のオブジェクトのイメージである。

肯定的な例に関して、各構成要素対に対して複数のフィーチャが定義される（ステップ３１２）。典型的には、各構成要素はたとえば、該構成要素に所属する５０，０００個のフィーチャを有する。フィーチャの強さを、構成要素を識別する際の有用性の点で決定するため、各フィーチャに対して１つの値が関連づけられる。値が高いほどフィーチャは強い。ブースティング等の技術を使用して、肯定的な例と否定的な例とを判別するために使用されるフィーチャのサブセットを識別することができる（ステップ３１４）。たとえば、１つの構成要素が５０，０００個のフィーチャを有する場合、サブセットは１００〜２００個のフィーチャを有する。各構成要素に対するフィーチャのサブセットが識別された後は、テスト用基準または強いクラシファイアを、各構成要素に対して定義することができる（ステップ３１６）。

テストはイメージの各対ごとに行われ、イメージ対に存在する肯定的な例またはステレオ構成要素が識別される。所定のサイズのウィンドウを使用して、イメージ中の画素の一部がサンプリングされる。このことは図１０に示されている。ウィンドウ１００６が第１のイメージ１００２内に配置され、アルゴリズムを使用して、該ウィンドウ１００６において特定の構成要素に相応するフィーチャスコアが計算される。このフィーチャスコアが所定の閾値を上回る場合、ウィンドウは構成要素を含む（すなわち、肯定的な例である）ことが検出される。フィーチャスコアが所定の閾値を下回る場合、ウィンドウは特定の構成要素を含んでいないと検出される。ウィンドウは隣接する空間１００６ａへ、小さいステップサイズだけスライドされ、フィーチャスコアが再び計算される。ウィンドウが特定の構成要素の存在を示す場合、第２のウィンドウ１００８が対の第２のイメージ１００４内に配置され、ステレオ構成要素が見つけられる。スライドされるウィンドウは、隣接する位置にオーバラップすることができる。

同様のプロシージャが第２のウィンドウ１００８によって、肯定的なスコアに到達するまで実行される。当業者であれば、第２のウィンドウ１００８の配置に関して、評価される構成要素に基づいて制約を定義できることが理解できる。たとえば構成要素が左目である場合、該構成要素が第１のイメージ１００２において識別された後は、両イメージの相互関係に起因して、探索すべき第２のイメージ１００４の領域が必然的に制約される。このようにして、第１のイメージの左上の象限において左目が位置検出された場合、第２のイメージ中の既知の領域を決定して、この領域で、構成要素を同様に見つけることができる。本発明において制約を使用することにより、ステレオ構成要素を識別するために必要な計算量を格段に低減することができる。

当業者であれば、構成要素が異なれば、該構成要素に関連する制約が異なるようにすることを想到できる。このような制約は、構成要素の特性および両イメージの相互関係の双方によって定義される。同様に、１つの構成要素が識別された後、別の構成要素を位置検出するためにさらに制約を適用することができる。たとえば左目が識別された場合、人の鼻を位置検出するのを支援するために制約を定義することができる。

フィーチャ評価に関しては、構成要素を評価することにより、構成要素のどのような組み合わせが頭部ポーズを識別するのに最も強い判別手段であるかが決定される。最も強い判別手段に関するデータはデータベースに記憶され、リアルタイム検出で使用される。これらの構成要素は検出フェーズで、個人の頭部をリアルタイムイメージで検出し、頭部ポーズを検出するために使用される。検出された頭部を計算するために、第２のレベルの処理が行われる。ここでは、異なる顔構成要素に対する第１のレベルのステレオ検出器の応答が融合され、たとえば別の学習アルゴリズムを使用して、顔ポーズが推定される。

図４を参照すると、頭部ポーズを検出するための本発明によるステップを図解するフローチャートが示されている。車両内に配置されたカメラの対によって取り込まれたイメージの各対ごとに、該イメージはウィンドウによってスキャンされ、フィーチャスコアが上記のように計算され、ステレオ構成要素のサブセットが識別される（ステップ４０２）。構成要素のサブセットが識別された後は、所与のイメージ内で各構成要素の位置が検出される（ステップ４０４）。

図１１は、イメージの対１１０２，１１０４、および該イメージの対で検出されたステレオ構成要素１１０６，１１０８の対を図解する概略図である。各構成要素対１１０６，１１０８の位置は三角測量によって検出され、個人１１１２の実際の位置が検出される（ステップ４０６）。同様に、この三角測量によって特定の構成要素１１１０の実際の位置が得られる。個人の頭部１１１２の奥行および位置を検出し、検出された構成要素をそれぞれ、頭部１１１２上に位置付けすることにより、個人の頭部ポーズを検出することができる（ステップ４０８）。

本発明の別の実施形態によれば、マルチビュー学習技術を使用して、顔の異なるポーズに関連して視差マップを学習することができる。この視差マップは、強度イメージに直接適用することができる。しかし強度イメージは、照明条件および陰影が異なるのに伴って大きく変動するので、学習の効率は低減してしまう。視差マップを学習する利点は、照明の変化に対して頑強であることだ。

訓練ステージでは、顔の視差マップを得るために、既知のポーズを使用して、３Ｄの顔モデルを所望の観察面へ計算によって回転させるか、または実際の訓練用のデータを使用する。視差マップは、個人の構成要素に関する奥行情報と、個人の頭部の位置および頭部ポーズを決定するのに使用されるデータとを供給する。イメージの各対に対して生成された視差マップは、異なる表面ポイントおよび該表面ポイントの奥行の相関関係に基づいて構成要素を識別する。アダブースティング（AdaBoosting）等の学習技術を使用して、１つの観察面と他のすべての観察面とを判別することができる。専用のポーズにそれぞれ適した、異なるポーズ検出器のセットが得られる。

検出ステージでは、視差マップが粗から細へと形成される。こうするために可能な手段は、マルチスケールオプティカルフロー法（multi-scale optical flow method）の修正バージョンを使用して視差マップを得ることである。粗い頭部位置は視差マップに得られており、たとえば頭部は背景よりもカメラの方に近接しているので、ポーズ推定は小さい探索領域に制限される。視差マップは、離散的なポーズ検出器のバンクへ供給され、ポーズ検出器の応答は融合されて、ポーズ推定が得られる。

頭部ポーズの検出の他に付加的に、本発明は、ステレオ検出器の共同訓練に基づいて行う乗員検出にも関する。このような技術は、車両の乗員を検出し、検出された乗員に関する情報を得るために使用される。この情報はたとえば、エアバッグ展開を調節するために使用される。図５に、車両内部の乗員を検出するためのシステムのセットアップの一例が示されている。対のカメラ５０４，５０６は、潜在的な乗員５０２のいずれかの側部に配置されている。乗員は、ドライバまたは車両内の同乗者である。エアバッグ５０８は、車両のダッシュボード（図示されていない）に取り付けられている。カメラ５０４，５０６は、乗員のイメージを取り込む。

相互に相対的な双方のカメラの構成、および乗員５０２の位置に対して相対的なカメラの構成は既知であるから、乗員のステレオイメージを収集し、対としてまとめて、該乗員に関する情報を供給することができる。このような情報には、乗員の有無、乗員の大きさ、およびダッシュボードに対する乗員の相対的位置が含まれる。共同訓練は、イメージのステレオ対相互間の相関関係を構成要素検出器にエンコードするために使用される。

カメラの対を使用すると、該対の間の相関関係によって、たとえば乗員等のオブジェクトクラスに付加的な制約が課される。より詳細には、カメラ５０４，５０６を次のように構成することができる。すなわち、顔がカメラ５０４の正面観察面に現れた場合、カメラ５０６はこの顔を横顔観察面でとらえるように構成することができる。両カメラ５０４，５０６が、横顔観察面または正面観察面を同時に観察することはできない。このようにして、共同的な外観はカメラのセットアップによって制約される。相関付けられた外観を共同で処理することにより、別個の外観検出器の性能を拡大することができる。

本発明は、ステレオ検出器をステレオ例から学習するための共同訓練方法に関する。この共同訓練方法は、図６に示されている。オブジェクト例６０２，６０４が、ステレオ対のイメージから収集される。ブースティングによる共同訓練で使用されるフィーチャセットＸ＝Ｘ_Ｌ ∪ Ｘ_Ｒが、（左、右）イメージ対から抽出されたフィーチャセット（Ｘ_Ｌ，Ｘ_Ｒ）の統合体として定義される。非対象例または否定的な対６０６，６０８が、乗員以外のイメージまたは背景イメージから取られる。このようなカメラ構成により、オブジェクト外観の複数の不適切な組み合わせが否定的な例に含まれ、ステレオセットアップに起因する制約が強くなる。

ブースティングによる訓練６１０により、ステレオオブジェクト検出器は、ブースティングされたクラシファイアによって実現される：
ｆ（ｘ_Ｌ，ｘ_Ｒ）＝オブジェクトまたは非オブジェクト （１）
ここで、（ｘ_Ｌ，ｘ_Ｒ）は共同で選択されたフィーチャである。Ｘ_ＬとＸ_Ｒとの間の相関関係は、フィーチャの選択および決定の組み合わせでエンコードされる。ブースティングされたクラシファイアは線形に、弱い決定を組み合わせるので、最終的な決定は構成要素レベルで結合解除される：
ｆ（ｘ_Ｌ，ｘ_Ｒ）＝ｆ_Ｌ（ｘ_Ｌ）＋ｆ_Ｒ（ｘ_Ｒ）
すなわち、この処理は一方のイメージで実行された後、他方のイメージに移行される。ただ１つのカメラ検出とは対照的に、「構成要素」という用語は、異なるカメラによって観察された同一のオブジェクト部分の外観を指す。

本発明では、図７に、占有状態検出およびポーズ推定を実行するための方法を図解するフローチャートが示されている。ステレオ検出器を使用し、頭部‐肩部検出を使用して、乗員が車両内に存在するか否かを識別する。最初に、ステレオ構成要素に対するクラシファイアがステレオ検出器によって受信される。このクラシファイアは、入力されたオブジェクトイメージ対と比較され、乗員の頭部および肩部の有無が検出される（ステップ７０２）。人体の上体部分において、頭部および肩部によって定義された構成要素が、乗員イメージと背景イメージとを分類するために最も特徴的な情報を含む。

ステレオ検出器は、占有状態検出において頭部‐肩部領域を位置決定するために使用される。このステレオ検出器を訓練するために、ポーズ、髪型、顔の付属物、照明および人の間の相違の十分な変化を例示する、乗員イメージのステレオイメージ対が収集される。頭部‐肩部領域のイメージの対は手動で切り取られ、訓練データセットを形成するために整合される。ブースティングによる訓練を行うことにより、共同の強いクラシファイアが得られ、これによって対にある両イメージのフィーチャが組み合わされる。その後、検出が連続的に行われる。最初に、一方のイメージ内で強い応答の位置が位置検出される。次に、他方のイメージ内で相応の領域がチェックされる。両イメージ内の構成要素の位置間の一致関係は、例からも学習される。

頭部および肩部が検出されると、相応の頭部‐肩部イメージが、ステレオマッチングのための初期のマッチングポイントとして使用される。次に、ステレオマッチング７０４が実行される。これによって、視差／奥行マップが形成される。ステレオマッチングで得られた一致情報はその後、検出モジュールへフィードバックされ、これによって検出が改善される。この方法は、ステレオ検出とステレオマッチングとの間に収束が得られるまで、ステレオ検出器とステレオマッチングとの間で繰り返される。検出モジュールは、ステレオマッチングアルゴリズムに対して良好な初期化を実現し、マッチングモジュールによって得られた頭部‐肩部領域の一致関係では、検出モジュールに対して有用な制約が得られる。検出モジュールとマッチングモジュールとの間でインタラクションが実現されることにより、検出結果およびマッチング結果の双方がさらに改善される。乗員の有無が確認されると、ポーズ推定モジュール７０８は、身体の位置およびポーズ７１０等の別の有用な情報を検出する。

図８に示されたような、連結された身体モデル８０２が、ポーズ推定を求めるために使用される。この身体モデルは２つの部分を含み、頭部‐肩部分８０４および上体の胴体部分８０６を含む。連結された身体モデル８０２は、３次元空間で回転または並進等の剛性運動が行われ、複数の対象ポーズ（pose of interest）に焦点が配置される。これらの対象ポーズは、エアバッグ展開において注意深い制御を必要とする異常な身体位置を示す。たとえばこのような対象ポーズには、身体ポーズが前面に過度に近接しているケース、身体が過度に小さい（たとえば子供）ケース、または身体が傾斜しているケースが含まれる。

対象ポーズ（ＰＯＩ）を検出するためには、確率的なアプローチが使用される。頭部および肩部の外観、ステレオ一致関係、および視差／奥行マップが測定結果ｍであり、ＰＯＩによって得られた測定結果の確率が、ｐ（ｍ｜ＰＯＩ）によって確立される。多重の対象ポーズによって、多重的な特徴的属性としてモデリングされる。確率スコアｐ（ｍ｜ＰＯＩ）からポーズを決定するために、異なるポーズ推定基準を適用することができる。１つの例が、最大尤度（ＭＬ）推定である。ここでは、最大の確率を引き起こす特定のポーズが身体ポーズとして決定される。

乗員および頭部ポーズを検出および追跡する方法の実施形態を説明したが、当業者であれば上記の思想を鑑みて、修正および変更を行えることを述べておく。したがって、ここに開示された特定の実施形態で、添付された請求の範囲で定義された本発明の範囲および思想に沿った変更を行えることが理解できる。特許法で要求されている詳細な説明によって本発明を説明したが、文書によって請求され特許による保護が要求されている事項は、添付の請求の範囲に記載されている。

Claims (16)

1. リアルタイムの頭部ポーズ検出において使用するためのデータベースシステムにおいて、
   個人の頭部のイメージの対を受信するための手段を有し、該イメージの各対が表す頭部ポーズは異なり、
   別の個人の頭部のイメージの対を受信するための手段を有し、別の個人それぞれのイメージの各対が表す頭部ポーズは異なり、
   イメージの各対において構成要素のセットを識別するための手段と、
   識別された各構成要素に所属するデータに索引付与するための手段と、
   索引付与された前記データをデータベースに記憶するための手段と、
   識別された各構成要素に関連する複数のフィーチャを定義するための手段と、
   各構成要素の肯定的な構成要素例を最も良好に判別するフィーチャのサブセットを決定するための手段とを有することを特徴とする、データベースシステム。
2. 各頭部ポーズは偏揺れ角度によって定義される、請求項１記載のデータベースシステム。
3. 各頭部ポーズは縦揺れ角度によって定義される、請求項２記載のデータベースシステム。
4. 各頭部ポーズは横揺れ角度によって定義される、請求項３記載のデータベースシステム。
5. 撮像された各個人において、同じセットの頭部ポーズを受信する、請求項１記載のデータベースシステム。
6. 構成要素のセットは、手動で識別される、請求項１記載のデータベースシステム。
7. 非構成要素の対を受信するための手段を有する、請求項１記載のデータベースシステム。
8. 各フィーチャに対して、該フィーチャの強さを決定する値が割り当てられる、請求項１記載のデータベースシステム。
9. フィーチャセットのサブセットを決定するための前記手段は、ブースティングを使用する、請求項１記載のデータベースシステム。
10. フィーチャのセットを識別するための前記手段は、視差マップを使用する、請求項１記載のデータベースシステム。
11. イメージの各対をテストして、該イメージ内のステレオ構成要素を識別するための手段を有する、請求項１記載のデータベースシステム。
12. 構成要素のセットは左目に相応する、請求項１記載のデータベースシステム。
13. 構成要素のセットは右目に相応する、請求項１記載のデータベースシステム。
14. 構成要素のセットは鼻に相応する、請求項１記載のデータベースシステム。
15. 構成要素のセットは右耳に相応する、請求項１記載のデータベースシステム。
16. 構成要素のセットは左耳に相応する、請求項１記載のデータベースシステム。

Images