JP2006525559A - ステレオカメラによるオブジェクトの分類のための方法 - Google Patents

Abstract

ステレオカメラは第１の及び第２のビデオセンサ（１０、１２）によってそれぞれ第１の及び第２の画像（２３、２５）を発生する、ステレオカメラによるオブジェクトの分類のための方法が提案される。第１の及び第２の画像（２３、２５）は対応する画像座標（２４、２６）の周囲の予め設定可能な領域において互いにオブジェクトの分類のために比較され、画像座標（２４、２６）が少なくとも１つのモデルに対して、ステレオカメラまでの少なくとも１つの位置に対して及び少なくとも１つの間隔に対して存在する。

Description

本発明は独立請求項の上位概念記載のステレオカメラによるオブジェクトの分類のための方法に関する。

ＤＥ１９９３２５２０Ａ１からオブジェクトのステレオカメラによる分類が公知であり、このＤＥ１９９３２５２０Ａ１では分類は頭部サイズ乃至は頭部の形状に基づいて実施される。

本発明の利点
独立請求項の特徴部分記載の構成を有するステレオカメラによるオブジェクトの分類のための方法は、従来技術に対して次のような利点を有する。すなわち、今やモデルベースの分類がステレオカメラの左側の及び右側のビデオセンサのテーブル状に格納された画素座標ならびにこれらの画素座標の対応（Korrespondenzen）に基づいて実施される。これらのモデルは様々なオブジェクト形状に対して及びステレオカメラシステムまでのオブジェクトの異なる間隔に対して格納されている。分類すべきオブジェクトがその空間的位置において２つのこのように格納されたモデルの間に存在するならば、オブジェクトに最も近いモデルを分類に使用する。ステレオカメラの左側の及び右側のビデオセンサの格納された画素座標の使用ならびにそれらの互いの対応によって、グレースケール画像又はカラー画像だけから３次元オブジェクトの分類を実施することが可能である。この場合、従来技術に対して、面倒かつエラーの発生しやすいディスパリティ（Disparitaet）及び奥行き（Tiefenwert）推定が省かれる、という重要な利点が得られる。これによって本発明の方法ははるかに簡単になる。とりわけこの場合あまり高性能ではないハードウェアが使用できる。さらに、分類は計算コストが比較的小さくてすむ。またこの分類方法は３次元オブジェクトの識別に関して極めてロバスト性が高い。本発明の方法はとりわけ車両内の座席占有状態のビデオベースでの分類において使用されうる。加工材料を識別するために製造プロセスにおいて本発明の方法は更に適用可能である。

基本アイデアは、分類すべき各オブジェクトに対して相応のモデルを提供することである。モデルは３Ｄポイントならびにこれら３Ｄポイントのトポロジカルな結合（例えば三角測量された表面）によって特徴付けられ、カメラシステムにおいて可視の３Ｄポイント２２はステレオシステムの左側カメラ画像２３の相応の画素座標２４及び右側カメラ画像２５の画素座標２６に互いに写像される：図２参照。３Ｄモデルポイントならびに左側及び右側のビデオセンサの所属の画素座標によるモデル全体は、図６のテーブルに（例えば行列状に）格納され、左側及び右側のカメラの画素の対応は一意的である。この格納はルックアップテーブルの形式で行われ、データへの高速なアクセスが実現される。左側及び右側のカメラの撮影されたグレースケール値はそれぞれの格納された対応する画素座標の所定の周囲において比較される。この比較に依存して分類が行われる。次いで、この比較においてその値が最大の一致を得たモデルが選び取られる。

従属請求項に記載の構成及び実施形態によって独立請求項に記載のステレオカメラによるオブジェクトの分類のための方法の有利な改善実施形態が可能である。

とりわけ有利には、個々の比較においてその都度品質尺度がもとめられ、オブジェクトがこの品質尺度に依存して分類される。この品質尺度は有利には適当な相関尺度（例えば、相関係数）から導出される。

さらに有利には、形状、例えば楕円体に対するモデルがカメラシステムまでの様々な異なる位置又は間隔に対して発生される。例えば、通常の場合、車両座席のオブジェクトの正しい分類のためにはカメラシステムまでの３つの異なる距離があれば十分である。オブジェクトの異なる配向も十分に考慮されうる。場合によっては、この場合に付加的に適当な調整方法も適用可能である。

図面
本発明の実施例を図面において図示し、以下の記述において詳しく説明する。

図１は本発明の方法のための装置のブロック線図を示し、
図２はステレオカメラの２つのビデオセンサの画像平面への３次元オブジェクトのポイントの写像を示し、
図３は装置の更に別のブロック線図を示し、
図４は装置の更に別のブロック線図を示し、
図５は装置の更に別のブロック線図を示し、
図６はテーブルを示し、
図７は装置の更に別のブロック線図を示す。

記述
既に従来技術に数えられるステレオカメラによるモデルベースでの３次元オブジェクト分類のための方法は、一般に３つの主処理ステップに分割される。

第１のステップでは、選択された画素に対するディスパリティ推定によってステレオ画像ペアからシフトが推定され、このシフトが直接的に奥行き値乃至は３Ｄポイント群に変換される。これがステレオ原理である。

第２のステップにおいてこの３Ｄポイント群がオブジェクト面記述によって表示される様々な３Ｄオブジェクトモデルと比較される。この場合、類似の尺度として例えばそれぞれの表面モデルからの３Ｄポイントの平均間隔が算定される。

第３のステップにおけるクラスへの割り当ては最大類似度を有するオブジェクトモデルの選択を介して行われる。

奥行き値の算定を回避するために、本発明では、ステレオシステムの左側の及び右側のカメラの格納された画素座標による測定されたグレースケール画像又はカラー画像（＝イメージ）の比較ならびにこれらの画素座標の対応に基づいてのみ分類を実施することが提案される。格納される画素座標は、分類すべきオブジェクトを表現する３Ｄモデルの表面をステレオシステムの左側及び右側カメラ画像へと写像することから得られる。ステレオシステムまでの異なる位置及び間隔におけるオブジェクトの分類は、各オブジェクトを表現する所属のモデルが異なる位置及び間隔に存在することによって可能となる。例えば、オブジェクトが楕円体の形状に分類され、ステレオカメラシステムまでのこの楕円体の距離が様々に変わりうる場合、ステレオカメラシステムまでの複数の距離に対する楕円体の相応のモデルが提供される。

本発明の分類方法のためには、前処理ステップおいてまず最初に分類すべきオブジェクトを表現するモデルが提供される。これは、本発明の方法が例えば車両内の座席占有状態の分類に使用される場合には、既に工場側で行われる。この場合、例えば子供用シートの子供、子供、小さな成人、大きな成人又は成人のただ一つの頭部、子供の頭部のように分類されるべき様々な形状がモデル形成に使用される。ステレオシステムまで様々な所定の間隔で配置されうるこれらのモデルに対して、この場合ステレオシステムの左側の及び右側のカメラの画素座標ならびにこれら画素座標の互いの対応が適当に（例えばルックアップテーブルの形式で）格納される。ルックアップテーブルの使用によって、ステレオカメラシステムによって検出されるオブジェクトに最も良く一致するモデルの簡単な、計算量の少ない探索が可能となる。

図１は本発明の方法を実現するために使用される装置を示す。２つのビデオセンサ１０及び１２から成るステレオカメラはオブジェクトの撮影に使用される。ビデオセンサ１０には信号処理部１１が後置接続されており、この信号処理部１１において測定値が増幅され、フィルタリングされ、場合によってはデジタル化される。これをビデオセンサ１２のための信号処理部１３も実施する。ビデオセンサ１０及び１２は例えばＣＣＤ又はＣＭＯＳカメラであればよく、これらのカメラは赤外線領域でも機能する。赤外線領域で作動される場合には、赤外線照明を設けることもできる。

ステレオカメラの制御機器内に設けられている計算ユニット１４は本発明の方法によれば識別されたオブジェクトを分類するためにビデオセンサ１０及び１２のデータを処理する。このために計算ユニット１４はメモリ１５にアクセスする。例えばデータバンクのメモリ１５には個々のモデルが格納されており、これらのモデルはその画素座標ならびにこれらの画素座標の互いの対応によって特徴付けられている。よって、この計算ユニット１４によって測定されたオブジェクトと最も高い一致を有するモデルが探索される。計算ユニット１４の出力量は分類結果であり、この分類結果は例えば拘束手段のための制御機器１６に伝送され、この結果、制御機器１６はこの分類及びセンサ装置１８、例えば衝突センサ装置の更なるセンサ値に依存して拘束手段１７（例えばエアバック、安全ベルト及び／又はロールオーバーバー）を制御する。

図２は線図において分類すべきオブジェクトを表現する３次元モデルの表面ポイントが２つのビデオセンサ１０及び１２の画像平面に写像される様子を示している。ここでは例としてモデル２１が写像され、このモデル２１は楕円体である。モデル２１はビデオセンサ１０及び１２に対して所定の距離に存在する。ビデオセンサ１０及び１２にとって可視のモデルポイントはそれぞれビデオセンサ１０及び１２の画像平面２３及び２５に写像される。例としてこれはモデルポイント２２について図示されており、このモデルポイント２２は画像平面２３及び２５まで間隔ｚを有する。右側ビデオセンサの画像平面２５ではモデルポイント２２は画素座標ｘ_ｒ及びｙ_ｒを有する画素２６になり、この場合、原点はビデオセンサの中心点である。左側ビデオセンサはモデルポイント２２に対して画素座標ｘ_ｌ及びｙ_ｌを有する画素２４を有する。モデルポイント２２に所属するこれら２つの対応する画素２４及び２６はディスパリティＤだけ互いにずれている。Ｄは次式
Ｄ＝ｘ_ｌ−ｘ_ｒ
により計算される。幾何学的解釈から、このディスパリティはＤ＝Ｃ／ｚとなる。ただしここで定数Ｃはステレオカメラのジオメトリに依存する。モデルポイント２２の画像平面２５乃至は２３までの間隔ｚはこの場合は既知である。なぜなら、３次元モデル２１はステレオカメラに対して予め設定された位置及び配向に設けられているからである。

分類すべき状況を記述する各３次元モデル毎に一度は実施しなければならないビデオセンサ１０及び１２から見えるモデルポイントに対する前処理ステップにおいてその都度画素座標及びこれらの相互の対応が決定され、対応のルックアップテーブルに格納される。

分類すべきオブジェクトを検出するステレオカメラの左側の及び右側のカメラ画像の中の対応する画素座標の周囲の所定の画像領域におけるグレースケール値分布が比較されることによって、分類が実施される。これはカラー値分布に対しても適用可能である。

比較は各３次元モデル毎に品質尺度を供給する。この品質尺度はどのくらい良好にこの３次元モデルが測定された左側及び右側カメラ画像に適合しているかを示す。この場合、分類結果は、測定を最も良好に記述する最良の品質尺度を有する３次元モデルから得られる。

品質尺度は例えば相関方法のような信号処理方法によってもとめられる。測定オブジェクトの各々可能な位置において相応の３次元モデルが生成されなくてもよい場合には、測定オブジェクトに対する３次元モデルの位置及び配向の偏差が例えば反復的調整方法によって考慮されうる。

分類方法はオフライン前処理及びオンラインで実施される本来の分類に区分けされる。これによってオンライン計算時間が明らかに低減されうる。原理的には前処理もオンラインで、すなわち装置の動作中に行うことができる。しかし、これは計算時間の負担になり、通常は利点をもたらさない。

オフライン処理の枠内では各３次元モデル毎に左側の及び右側のカメラの画素座標及びこれらの画素座標の対応が決定され、ルックアップテーブルに格納される。図５はこれを例として３次元モデル５１に対して示している。このようなモデルの表面は例えば図２が例としてモデル２１において示しているように複数の３角形から成るネットによってモデル化されうる。図５によれば、モデル５１の表面上の３Ｄポイントは方法ステップ５２において左側カメラのカメラ画像平面に投影され、方法ステップ５４において右側カメラのカメラ画像平面に投影される。これによって、２つのビデオセンサ１０及び１２のこれら２つの対応する画素乃至は画素集合５３及び５５が生じる。方法ステップ５６において画素集合５３及び５５には被覆解析が行われ、ビデオセンサ１０及び１２から可視のモデル５１のポイントがルックアップテーブルに書き込まれる。出力側５７においてモデル５１に対する対応の完全なルックアップテーブルが送出される。図２に例としてモデル５１に対して図示されたオフライン前処理が、分類すべきオブジェクトを表現する全てのモデルに対して及びステレオカメラシステムまでのこれらのモデルの様々な位置に対して行われる。

図６はステレオカメラシステムに対して所定の位置に存在する３Ｄモデルのためのルックアップテーブルの例を示す。第１の列は３Ｄモデルポイントのインデックスを含む。これらの３Ｄモデルポイントからこのモデルが合成される。第２の列には３Ｄモデルポイントの座標がエントリされている。第３及び第４の列は左側及び右側ビデオセンサの所属の画素座標を含む。個々のモデルポイント及び対応する画素座標は行毎に配置されており、ビデオセンサから可視のモデルポイントのみがリストアップされている。

図３はブロック線図に基づいてオンラインで実施される本来の分類を説明している。リアルオブジェクト３１はビデオセンサ１０及び１２によって撮影される。ブロック３２において左側ビデオセンサがその画像３３を発生し、ブロック３５において右側ビデオセンサがその右側画像３６を発生する。画像３３及び３６は次いで方法ステップ３４及び３７において信号前処理される。この信号前処理は例えば撮影された画像３３及び３６のフィルタリングである。ブロック３９においてデータバンク３８のルックアップテーブルに格納されている各３次元モデルに対する品質尺度決定が行われる。このために、画像３３及び３６は処理された形式で使用される。品質尺度決定の例示的な形成は図４乃至は７に図示されている。品質尺度決定部３９の出力側には全ての３次元モデルに対するモデル品質尺度を有するリストが現れる。これは参照符号３１０によって示されている。このリストは次いでブロック３１１において評価ユニットによって検査され、この結果、最大の一致を示す品質尺度を分類結果として方法ステップ３１２において出力する。

次いで、例として図４及び７に基づいてモデルに対する品質尺度の決定の方法が記述される。この品質尺度は以下においてモデル品質と呼ばれる。全てのモデルのモデル品質は、既に上で説明したように、モデル品質尺度のリスト３１０にまとめられる。各モデルはモデルポイントによって記述され、これらのモデルポイントはビデオセンサ１０及び１２から可視であり、これらのモデルポイントの左側及び右側ビデオセンサ１０及び１２の対応する画素座標は対応のルックアップテーブルに格納されている。各モデルポイント及び所属の対応する画素ペアに対してポイント品質が提示される。このポイント品質はこの画素ペアが測定された左側及び右側画像にどのくらい良好に適合しているかを表している。

図４は画素座標ペア４２及び４３に対するポイント品質の決定の例を示し、この画素座標ペア４２及び４３はモデルポイントｎに割り当てられている。画素座標４２及び４３は対応のルックアップテーブルに格納されている。方法ステップ４４において測定された画像４０において画像座標４２の周りに及び測定された右側画像４１において画素座標４３の周りにそれぞれ測定窓が配置される。これらの測定窓は左側及び右側画像４１及び４２においてポイント品質の決定のために考察される領域を規定する。これらの領域はこの例では左側及び右側画像４５及び４６に記入されている。画像４５及び４６は例えば相関方法による測定窓の比較による品質の決定のためのブロック４７に供給される。出力量はこの場合ポイント品質４８である。モデルポイントｎに割り当てられている画素座標ペア４２及び４３に対するポイント品質４８の決定のために図４において例として示された方法は、ルックアップテーブル５７に含まれている全ての画素座標ペアに対して適用され、この結果、各モデル毎にポイント品質のリストが得られる。

図７はポイント品質からモデルのモデル品質を決定するための簡単な例を示す。全Ｎ個のモデルポイントに対するポイント品質は、図４に基づいて上述したように、次のように計算される：ブロック７０においてモデルポイントＮｏ．１の画素座標ペアに対するポイント品質が決定される。これと同じようにブロック７１においてモデルポイントＮｏ．２の画素座標ペアに対するポイント品質の決定が行われる。ブロック７２は最後にモデルポイントＮｏ．Ｎの画素座標ペアに対するポイント品質の決定を示す。この例では３Ｄモデルのモデル品質７４はそのポイント品質の総和７３によって得られる。

本発明の方法のための装置のブロック線図を示す。 ステレオカメラの２つのビデオセンサからの画像平面への３次元オブジェクトのポイントの写像を示す。 装置の更に別のブロック線図を示す。 装置の更に別のブロック線図を示す。 装置の更に別のブロック線図を示す。 テーブルを示す。 装置の更に別のブロック線図を示す。

符号の説明

１０ ビデオセンサ
１１ 信号処理部
１２ ビデオセンサ
１３ 信号処理部
１４ 計算ユニット
１５ メモリ
１６ 拘束手段制御機器
１７ 拘束手段
１８ センサ装置
２１ モデル
２２ モデルポイント
２３ 画像平面
２４ 画素
２５ 画像平面
２６ 画素
Ｄ ディスパリティ
Ｃ 定数
ｚ モデルポイントと画像平面２３乃至は２５との間の間隔
３１ リアルオブジェクト
３２ 左側カメラ
３３ 左側カメラ画像
３４ 信号前処理
３５ 右側カメラ
３６ 右側カメラ画像
３７ 信号前処理
３８ データバンク
３９ 品質尺度決定
３１０ 全ての３Ｄモデルに対するモデル品質尺度を有するリスト
３１１ 評価ユニット
３１２ 分類結果
４０ 左側カメラ画像
４１ 右側カメラ画像
４２ 画素座標ペア
４３ 画素座標ペア
４４ 方法ステップ
４５ 測定窓を有する画像
４６ 測定窓を有する画像
４７ 品質決定ブロック
４８ ポイント品質
５１ ３Ｄモデル
５２ カメラ画像平面への３Ｄモデルポイントの投影
５３ 画素集合
５４ カメラ画像平面への３Ｄモデルポイントの投影
５５ 画素集合
５６ 被覆解析及びルックアップテーブルへの書き込み
５７ 出力側の対応のルックアップテーブル
７０ ポイント品質（１）の決定
７１ ポイント品質（２）の決定
７２ ポイント品質（Ｎ）の決定
７３ 総和
７４ モデル品質

Claims (5)

1. ステレオカメラによるオブジェクトの分類のための方法であって、
   前記ステレオカメラは第１の及び第２のビデオセンサ（１０、１２）によってそれぞれ第１の及び第２の画像（２３、２５）を発生する、ステレオカメラによるオブジェクトの分類のための方法において、
   前記第１の及び第２の画像（２３、２５）は対応する画像座標（２４、２６）の周囲の予め設定可能な領域において互いにオブジェクトの分類のために比較され、前記画像座標（２４、２６）が少なくとも１つのモデルに対して、前記ステレオカメラまでの少なくとも１つの位置及び少なくとも１つの間隔に対して存在することを特徴とする、ステレオカメラによるオブジェクトの分類のための方法。
2. 個々の比較に対してそれぞれ品質尺度が発生され、オブジェクトは前記品質尺度に依存して分類されることを特徴とする、請求項１記載の方法。
3. ステレオカメラまでの少なくとも２つの位置及び間隔に対してモデルが発生されることを特徴とする、請求項１又は２記載の方法。
4. モデルはルックアップテーブルに格納されることを特徴とする、請求項１〜３のうちの１項記載の方法。
5. 品質尺度は相関によってもとめられることを特徴とする、請求項２記載の方法。

Images