JP2004503759A

JP2004503759A - 乗員センサ

Info

Publication number: JP2004503759A
Application number: JP2002510303A
Authority: JP
Inventors: マーバブ，　ナビード
Original assignee: オートモーティブ　システムズ　ラボラトリー　インコーポレーテッド
Priority date: 2000-06-15
Filing date: 2001-06-15
Publication date: 2004-02-05
Anticipated expiration: 2021-06-15
Also published as: EP1297486A2; WO2001096147A3; US6961443B2; JP4810052B2; US20020050924A1; EP1297486A4; WO2001096147A2; WO2001096147A9

Abstract

乗員センサ（１０）は、物体（３２）の３Ｄ画像を取得する３Ｄ画像システムを内蔵する。この画像は、不要な部分を除去して対象領域を識別するためにセグメント化され、その内容が複数の３Ｄ特徴に応じて分類される。一実施態様においては、３Ｄ画像は第２の観察視点からの第２の３Ｄ画像に変換される。第２の３Ｄ画像の２次元投影が分類されて、乗員の存在、大きさおよび位置をその特徴から識別することができる。安全拘束システムが、乗員の存在、位置および大きさなどの検出されたシナリオに応じて制御される。

Description

【０００１】
図１を参照すると、乗員センサ１０は、車両の前列助手席１６を含む場面の３次元（３Ｄ）画像を提供する３Ｄ画像システム１４内に、少なくとも１つの画像デバイス１２を含む。３Ｄ画像は、それぞれが直交座標系に対してｘ、ｙ、ｚ座標からなる１組の「ボクセル」または３次元ピクセルを含む。
３Ｄ画像システム１４は、座席１６を視野におさめる様々な場所に配置することが可能であり、例えばリアビューミラーの上方のヘッドライナに、助手席１６の方向を向けて配置して、妨害を最少にしながら視野を最大にすることができる。この場所にすることで、直接光に対する３Ｄ画像システム１４の暴露が減少すると共に、車両内装の外見に対する影響も最小となる。
【０００２】
しかしながら、他に比べて望ましくない場所もある。例えば、３Ｄ画像システムを助手席側Ａピラー上に高く配置しすぎた場合には、サイドウインドから差し込む日光を遮蔽するためにサンバイザを横向きに配置したときに、妨害を受ける可能性がある。また３Ｄ画像システム１４をＡピラー上に低く配置しすぎた場合には、乗員の手や新聞を読んでいる乗員によって妨害される可能性がある。３Ｄ画像システム１４をダッシュボード上に配置する場合には、全景を視野に入れることできず、容易に妨害を受けることになる。ルームライトの近傍に配置した３Ｄ画像システム１４の視野は、乗員の頭部によって妨害される可能性がある。また、このような場所は、サンルーフ付きの車両に対しては望ましくない。
距離画像を提供する機能を有する３Ｄ画像技術には、例えば１）ステレオ視、２）構造化照明（ｓｔｒｕｃｔｕｒｅｄ　ｌｉｇｈｔｉｎｇ）、３）走査式ビーム（例えば走査式レーザ）などの様々なものがあり、これらのいずれの技術も、３Ｄ画像システム１４によって具現することができる。
【０００３】
（１）ステレオ視
図２を参照すると、３Ｄ画像システム１４の第１の実施態様を示してあり、ステレオ視システム１８は、一対の実質的に同一のカメラ２０．１、２０．２（例えばＣＣＤ、ＣＭＯＳまたはその他の技術）を備え、これらのカメラは、実質的に同一の光学系を有して、小さい基底距離ｄだけ間隔を空けられている。図２では、それぞれのカメラ光軸２６間の角度２４は誇張されている。比較的小型で安価なカメラ２０．１、２０．２の登場によって、ステレオ視システム１８は比較的小型化が可能である。また、これらのカメラ２０．１、２０．２は、対数型応答を有するように適合させて比較的高いダイナミックレンジを与えることによって、目標物が日光で照射されたときの飽和を防止または制限し、同時に低い環境照明条件下、例えば夜間においても、赤外発光ダイオード（ＬＥＤ）またはその他の照明源による最少の補助赤外（ＩＲ）照明によって、十分なコントラストを提供することができる。例えば、低電力ＬＥＤは比較的安価かつ安全であり、人間の眼に見えない照明を提供し、このために注意をそらすことがなく、例えば全体コントラストおよび平均輝度が低い場合には、自動的に作動させて、全体のコントラストおよび画像の平均輝度を改善することができる。
【０００４】
それぞれのカメラ２０．１、２０．２は、同一場面の画像２８．１、２８．２をそれぞれ取り込む。図３を参照すると、２つの画像における類似の物体を、それらの重ね合わせによって互いに識別し、その物体の共通の点にそれぞれ対応する２Ｄデカルト座標（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）が、カメラ座標システム（ｘ，ｙ）に対するピクセル位置から求められる。世界座標システム（Ｘ，Ｙ，Ｚ）が、カメラ２０．１の座標と一致する場合には、目標点ｗの３Ｄ座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）は次式で与えられる。
【数１】

ここで、λはカメラのレンズの焦点距離である。
【０００５】
この技法は、撮像する物体が十分なディテール（ｄｅｔａｉｌ）を有しており、その検出が別個のステレオ画像２８．１、２８．２の相関によって可能になることによっている。均一な輝度の大きな領域がある場合、すなわちマッチング処理が失敗してしまうのを防止するための、ディテールが実質的に存在しない場合には、赤外光スポットのパターンを場面上に投射して（以下に示す構造化照明法と同様に）、これらのスポットをステレオ解析におけるマッチングに使用する基準点として利用することができる。
【０００６】
（２）構造化照明
図４を参照すると、３Ｄ画像システム１４の第２の実施態様は、目標物３２を構造化照明３４で照明するための光パターン生成装置３０と、照明された目標物３２を観察するためのカメラ３６を備える。例えば、カメラ３６は、可視波長および赤外波長の両方に感度があり、赤外光パターン発生装置３０からベース距離（ｂａｓｅ　ｄｉｓｔａｎｃｅ）ｂに配置された高ダイナミック応答ＣＣＤまたはＣＭＯＳカメラである。光パターン発生装置３０は、例えば複数の平行線または縞の光パターン３８を目標物３２上に投影する縞発生装置を備える赤外レーザ源を含む。カメラ３６は、その上に光パターンが重畳された目標物３２の画像を取り込む。撮像された光パターン３８の信号／雑音比は、カメラ３６のフレーム率の半分の頻度で、光パタン３８をストロボ照射し、これによって交互する画像に目標物３２の画像上に重畳された光パタン３８を与え、残りの画像には与えないようすることによって、改善することができる。
【０００７】
重畳する光パタン３８なしの画像フレームを、重畳する光パタンを有して、隣接する画像フレームから減算することによって、静止背景に対しては、図５に示すように実質的に光パタン３８だけの合成画像を得ることができる。光パタン３８は、比較的低い電力密度を用いても、日光よりも明るくすることが可能であるが、この理由は光パタン３８はストロボ発光することにより、場面全体を比較的短い時間間隔で、光パタン発生装置３０からの比較的明るい光で照明できるからである。したがって、光パタン３８を抽出するための減算プロセスは、乗員の安全を損なうことなく任意の照明条件下で実施することが可能である。
【０００８】
目標物３２上に重畳される光パタン３８の線４０の間隔は、目標物の３Ｄ画像システム１４からの距離に依存し、その歪みは目標物３２の形状に依存する。実際の３Ｄ座標は、光パタン３８を構成する光スポットを三角測量することによって計測する。図６では、カメラ３６の座標系（ｘ，ｙ）は、ワールド座標系（Ｘ，Ｙ，Ｚ）と一致している。光源とカメラ３６との間のベース間隔はｂであり、また光源はＸ軸上にあり、したがって光源中心は（ｂ，０，０）の位置する。Ｚ軸はカメラ３６の光軸であり、カメラレンズの焦点距離はｆであり、したがって画像面はＺ＝ｆの位置にある。例として生成された光パタン３８は、一連の平行線４０、例えばＮ本の平行線４０を含み、各線４０が光スポットの集まり、例えば各線４０上にＭ個の光スポット（カメラ３６の解像度によって決まる）を含む。各線４０は、関連する光面を目標物３２上に投影することによって生成される。
【０００９】
ＺＸ面と角度γ_ｋを成すｋ番目の光面（ｋ番目のラインを生成する）に対して（ｋ＝１，２，…，Ｎ）、光源の中心をｋ番目の線のｑ番目の点に結合する線の、ＺＸ面上への投影は、Ｘ軸に対して角度α_ｋｑとなる（ｑ＝１，２，…，Ｍ）。ｋ番目の線上のｑ番目の点に対応する点Ｐが、画像上の点ｐ（ｘ，ｙ）に位置する場合には、Ｐの世界座標（Ｘ_０，Ｙ_０，Ｚ_０）は次式で与えられる。
【数２】

この座標は、ｋ番目の光面がＺＸ面と作る角度γ_ｋと独立である。
【００１０】
（３）走査式レーザ
図７を参照すると、３Ｄ画像システム１４の第３の実施態様である走査式レーザ距離計４２は、ラスター走査パターンにしたがって目標物３２上をレーザビームスポット４６で走査する走査式レーザ４４を備える。各ポイントまでの距離は、光学距離センサ４８、例えば光感応検出器によって三角測量される。図８を参照すると、目標点Ｐの３Ｄ座標は、球座標（Ｒ，α，θ）において決定され、ここでＲはセンサからの距離、αおよびθは、それぞれ方位角および仰角である。この方位角および仰角は、それぞれ走査システムの方位角および仰角から既知であり、この走査システムは例えば等増分で走査する。目標点Ｐの直交座標（Ｘ_０，Ｙ_０，Ｚ_０）は、球座標と次式の関係づけられる。
【数３】

【００１１】
データ分析
３Ｄ画像技法によらず、３Ｄ画像システム１４では場面についての１組の３Ｄ座標が与えられる。図１９を参照すると、得られる３Ｄデータは、安全拘束システムの起動を制御するのに使用可能な乗員検知過程において使用されている。車両に３Ｄ画像システム１４を取り付けた状態では、カメラの座標系およびワールド座標系の場所、すなわち方位と位置は固定される。目標物３２上の点の３Ｄ座標は、座標変換を使用することによって、任意の位置および方向において、任意のワールド座標系について表すことができる。換言すると、ヘッドライナの固定場所からとった３Ｄ画像は、１つまたは複数の座標変換を用いることによって、任意の他の選択場所（例えばヘッドライナ、Ａピラーのいずれか、ダッシュボード、ドライバ側またはその他の場所）から実際に見ることができる。
【００１２】
例として、図９ａ〜ｄは、４つの異なる視点から見た車両内部の実験室装置を示している。それは、ヘッドライナから（図９ａ）、ドライバ側から（図９ｂ）、前部から（図９ｃ）、および上部から（図９ｄ）の視点である。図１０を参照すると、図９ａに示されているようにリアビューミラー上のヘッドライナにある座標系原点に対して、ｘ軸の正方向は水平で、ドライバ側に向かい、ｙ軸の正方向は垂直で、フロアの方向に向かい、ｚ軸の正方向は水平で、車両の後方に向いている。やや前かがみで着座する乗員および空席の、それぞれの３Ｄ画像は、赤外線走査式レーザ距離計４２を用いて収集された。ヘッドライナ場所からのそれぞれの画像は、図１１および１５にそれぞれ示してある。これらの同一の画像が、それぞれドライバ側、前部、および上部の視点に、座標系の変換によって変換されて、やや前かがみの乗員について図１２〜１４に、空席について図１６〜１８に示してある。
【００１３】
場面のセグメント化
本願において使用するセグメント化の用語は、画像から、有用な情報を含む対象領域（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ（ＲＯＩ））を抽出することを意味する。図１９および２０を参照すると、サイドドア、Ａピラー、ダッシュボード、フロア、およびウインドの外部の物体などはすべて、セグメント化によって画像から除去し、残部をＲＯＩとして残すことのできる、またそれが好ましい背景クラッタの例である。これによって、認識アルゴリズムで処理する必要のあるデータポイント数が低減される。
【００１４】
ダッシュボード、サイドドア、およびフロアは固定面として特徴づけられる。例えば、サイドドアを表す面は、次式で特徴づけられる。
【数４】

車両が移動中はそうであるように、ドアが閉められた状態で、この面は固定されており、ｇ、ｈ、ｉ、ｎは車両の固定パラメータである。ドア上の点は、データポイント（Ｘ，Ｙ，Ｚ）の線形結合と、閾値とを比較することによって、次のように消去される。
【数５】

ここで、式（１１）を満足する点は、十分に固定面に近接しているため、ドアに付随すると仮定される。
【００１５】
同様の計算を、ダッシュボードおよびフロアについて行い、これらの構造の可視部分を消去する。Ａピラーは、固定曲面によって特徴づけられ、そのパラメータは個々の車両によって決まる。
ｆ（ｘ，ｙ，ｚ）＝ｓ（１２）
関数ｆ（ｘ，ｙ，ｚ）が標準形で表すことのできない場合には、この関数は、例えばＡピラーの実際の３Ｄ座標を用いて、関数形の最小ニ乗法当てはめによって記述される。同様の処理を、非標準形のダッシュボードのモデル化に用いることができる。Ａピラーの可視部分および、同様に特徴づけられるダッシュボードなどのその他の可視構造は、次の基準を用いて画像から消去される。
ｆ（Ｘ，Ｙ，Ｚ） − ｓ＜Ｔ_１（閾値）（１３）
【００１６】
サイドウインドの外側の点、例えば負の大きなｘ座標を有する点は、座標系の原点から、ほぼＹＺ面に平行なサイドドア面までの距離に対応する閾値Ｔ_２と比較することによって廃棄される。したがって、点（Ｘ，Ｙ，Ｚ）は次の条件を満たすとき外側にある。
Ｘ＜ −Ｔ_２（１４）
画像が空席のものでない場合（空席を検出する方法は以下に述べる）、空席の見える部分もセグメント化される。
【００１７】
シナリオ（Ｓｃｅｎａｒｉｏｓ）の分類
図１２および２１を参照すると、画像のセグメント化に続いて、座席が空かどうか決めるために画像が分析される。空の座席に対して、画像は、シートクッション（座部）およびシートバック（背もたれ）を含み、これらはそれぞれ２つの面で特徴づけられる。それは、シートクッションを特徴づける第１の面と、シートバックを特徴づける、第１面に対して角度を有する、第２の面である。
シートバックを完全に倒してシートクッションを水平に一番前に出した状態で、シートバック面の方程式は次式で与えられる。
【数６】

ここでパラメータｄ、ｅ、ｆ、ｍは特定の車両については固定値である。シートバックの角度および、シートクッションの位置および傾斜は、すべて可変であり、したがってシートバック面の方程式は、これらの３つの因子の関数である。図１０を参照すると、シートクッションは、基本的にＺ軸に沿って移動する。さらに、シートバックは、シートベースとＸ軸に実質的に平行な軸の回りに回転し、Ｘ軸もシートバックとシートクッションとの交差によってできるほぼまっすぐな線に実質的に平行かつ近接している。
【００１８】
シートクッションの所与の位置と傾斜、およびシートバックの所与の傾斜に対して、シートバック面の方程式は、最初にＺ軸に沿った平行移動をもたらす平行移動変換マトリクスＴを適用し、次いで回転変換マトリクスＲ_αを適用してＸ軸に対する回転を補償することによって求められる。ΔｚおよびΔαが、シートクッションの移動およびシートバック角度における有意の変化を表す場合には、シートクッションの最前端位置からの所与の平行移動ｚ、およびシートバックの完全傾倒位置からの所与の回転角度αは、それぞれΔｚおよびΔαの倍数として表すことができ、ここでΔｚおよびΔαは特定の車両のパラメータである。
【００１９】
さらに詳細には、所与のシートクッションの平行移動ｚおよびシートバックの傾斜αに対するシートバック面の方程式は、以下のようにして求められる。
平行移動変換マトリクスＴは次式で与えられる。
【数７】

回転変換マトリクスＲ_αは次式で与えられる。
【数８】

【００２０】
新規の座標（ｘ’，ｙ’，ｚ’）は、従来の座標（ｘ，ｙ，ｚ）から次のように求められる。
【数９】

シートバックを特徴づける方程式は、式（１８）から次のように与えられる。
【数１０】

ここで、
【数１１】

である。
【００２１】
水平傾斜された、任意の平行移動位置にあるシートクッションは、次の面で特徴づけられる。
【数１２】

ここで、パラメータａ、ｂ、ｃおよびｋは、特定の車両に対しては固定値である。シートクッションのその他の傾斜に対する面の方程式は、上記のＸ軸回りの回転変換を適用することによって得られる。
（２４）式のシートクッション面および（１９）式のシートバック面にある点のクラスタは、これらの点がシートクッションおよびシートバックそれぞれの形状をおおまかに形成するかどうかを、シートクッション位置とシートクッション勾配およびシートバック角度のすべての可能な組み合わせに対して、試験用の点（Ｘ，Ｙ，Ｘ）が次式を満足するかどうかによって調べる。
【数１３】

【００２２】
シートボトムが検出されない場合には、座席は占有状態にあると仮定し、この場合に可能性のある座席占有シナリオとしては、例えば前向き幼児用または子供用シート（ＦＦＩＳ）、ＲＦＩＳ、または乗員がある。これは一般に対象領域の立体形状から行われる。シートバックは、見える場合も見えない場合もあり、座席の可視部分は画像からセグメント化される。
いったん場面が「マクロ」レベルで識別されると、その場面の個々の部分が識別される。例えば、次いで頭部を表す球に近い形状を発見するために、画像が探索される。図１１を参照すると、目標物の画像は、球形領域が支配的である。探索は、式（ｘ−ａ_ｈ）^２＋（ｙ−ｂ_ｈ）^２＋（ｚ−ｃ_ｈ）^２＝ｒ_ｈ ^２をおよそ満たすほぼ球状の表面を発見することから開始し、ここで（ａ_ｈ，ｂ_ｈ，ｃ_ｈ）は球形領域の面積中心、ｒ_ｈは半径である。この探索は、特定の車両の３次元空間内で頭部があると思われる場所を理論的に推測することによって開始し、その後に、球の中心位置および球の半径をそれぞれ反復して探索する。
【００２３】
次いで腕および脚を表す円筒面を発見するために、画像を探索する。胴部は、比較的平坦な表面によって特徴づけられる。次のような意味規則を使用する。それは、両側に２つの円筒面（腕）を備える球面（頭部）、球面（胴部）の下方で、かつ２つの円筒面（腕）の間にある比較的曲率の小さい表面、この比較的曲率の小さい表面の上部から始まっている円筒面、比較的曲率の小さい表面の底部から始まっているさらに２つの円筒面（脚）であり、これらすべてが乗員を表している。これらの特徴の大きさをおおまかに求めることによって、乗員の大きさ、例えば大、中、小をおおまかに区別することができる。
【００２４】
座席が占有状態であり、上記のいずれもが観察されない場合には、可能性のある候補はＲＦＩＳである。図２２ａおよび２２ｂを参照すると、ＲＦＩＳには覆いがあることも、ないこともある。これらのいずれの場合にも、シートバックのかなりの部分が見えるが、覆いなしのＲＦＩＳの方が見えやすい。「インゲン豆」形は、覆いなしのＲＦＩＳを示し、この場合にはおそらく幼児の脚を表す２つの小さな円筒面が、右側に見える。いくぶん平滑な表面が、覆いありのＲＦＩＳを示す。
【００２５】
図２３を参照すると、上肢のすべてが見え、かつそれが比較的小さい場合で、かつ乗員ゾーンの外部境界が完全には平面でないことからわかるように、乗員が座席の真上には着座せず、座席からいくぶん持ち上げられている場合には、ＦＦＩＳまたはブースタシート内の乗員を示している。シートバックが見えるが、臀部領域がシートクッション面からどのくらい離れているかを見ることで判定して、乗員が持ち上げられた面上に着座している場合には、ブースタシートに座っている子供を示している。
【００２６】
図２４を参照すると、シートベルトの着用も、例えばいくぶん細長いアーチ形の表面が存在するなどの、表面の特徴によって判定することができる。
図２５を参照すると、新聞を読んでいる乗員は、場面の左側の大きな平面と、新聞の上から頭部が見える可能性があることから、おそらく球面とを探すことによって識別することができる。
【００２７】
表面のモデル形状とは別に、特徴をロバストに分類するためには、数学的特徴も使用しており、この場合には形状記述子を、３Ｄセグメント化されたＲＯＩに適用して、体積分析が行われる。さらに、図１３、１２および１４にそれぞれ示すＲＯＩ体積の、正面図、側面図および上面図に対応する、体積のＸＹ、ＹＺ、ＺＸ面への投影を２次元で分析する。個々の特徴のほとんどは、単独ではシナリオどうしを区別することができないが、シナリオのある特性どうしを個々に区別することができる。したがって、すべての特徴を、全体的な分類のために形成される特徴ベクトルに結合する。
【００２８】
３次元特徴
３Ｄ特徴は、例えば次のように与えられる。
（１）体積中心モーメント（ＶｏｌｕｍｅｔｒｉｃＣｅｎｔｒａｌＭｏｍｅｎｔｓ）：中心モーメントは、ＲＯＩの位置に無関係な、形状記述子である。次数がｐ、ｑ、ｒ（ｐ，ｑ，ｒ＝０，１，２．．．）である中心モーメントは次式で定義される。
【数１４】

ここで、
【数１５】

は、式（２９〜３１）によるＲＯＩの面積中心である。次数ｐ、ｑ、およびｒのモーメントは次式で定義される。
【数１６】

モーメントは本質的に形状記述子である。しかし、これらは物体の空間位置に依存する。式（２７）は空間不変性を提供し、その結果、車両内での関連する場所には関係なく、類似のＲＯＩに対してモーメント値は同一となる。例えば、ＲＦＩＳの中心モーメントは、車両座席の任意の位置において同一となる。
【００２９】
（２）体積中心（Ｃｅｎｔｒｏｉｄｓ）
【数１７】

体積中心は、座席占有シナリオに対する有用な指標となる３Ｄ空間内の位置を提供する。例えば、図１０を参照すると、ＲＦＩＳは、インスツルメントパネルに近接しており、このために高い
【数１８】

値を有する正常着座の乗員よりも、低い
【数１９】

値を有する。
【数２０】

値は、目標物の横方向位置を与え、したがって乗員がベンチシートの中央に着座しているかどうかの指標を提供する。
【数２１】

体積中心は、背の高い物体と背の低い物体を区別することを可能とするが、ＲＦＩＳは背の低いものが多く、したがって正常着座の乗員と比較して小さな
【数２２】

値を有する。
【００３０】
（３）体積（Ｖｏｌｕｍｅ）：
Ｖ＝ｍ_０００（３２）
乗員、チャイルドシートおよび空席は、通常異なる体積を有する。この特徴は、いったん画像が分類されると、乗員の大きさを判定するのに特に有用である。
（４）真球度（ＶｏｌｕｍｅｔｒｉｃＲｏｕｎｄｎｅｓｓ）：この特徴は０から１まで変化する、ＲＯＩの丸さの測度であり、次式で示すように、１が完全球のＲＯＩに対応する。
【数２３】

ここで、Ｖは体積であり、ｐ_ｖはＲＯＩのＸＹ、ＹＺおよびＺＸ面への投影の周辺長の平均である。チャイルドシートは、人の場合よりも「球形」になることが多い。さらに、空席は、異なる真円度を有する。
【００３１】
（５）半径比（ＲａｔｉｏｏｆＲａｄｉｉ）：半径は、体積中心と、ＲＯＩの外周上の任意の点を結ぶ線分である。最大半径（Ｒ_ｍａｘ）と最小半径（Ｒ_ｍｉｎ）の比は特徴の１つであり、次式で与えられる。
ｒ_Ｒ＝Ｒ_ｍａｘ／Ｒ_ｍｉｎ（３４）
この測度は、縦横比に類似しており、例えば乗員および空席などの「薄い」物体は、例えばチャイルドシートなどの「密度の高い（ｃｏｍｐａｃｔ）」物体よりも大きな値を示す。
【００３２】
（６）境界立方体の体積（ＶｏｌｕｍｅｏｆｔｈｅＢｏｕｎｄｉｎｇＣｕｂｅ）：３つの投影方程式（５６）に対する境界長方形の面積の相乗平均（ｇｅｏｍｅｔｒｉｃｍｅａｎ）は、次式で与えられる境界立方体の体積である。
【数２４】

ここで、
Ａ_Ｂｘｙ＝３次元ＲＯＩのＸＹ投影の境界を示す長方形の面積、
Ａ_Ｂｙｚ＝３次元ＲＯＩのＹＺ投影の境界を示す長方形の面積、
Ａ_Ｂｚｘ＝３次元ＲＯＩのＺＸ投影の境界を示す長方形の面積
である。これは、目標物の体積を分析する別の方法である。
【００３３】
（７）体積比（ＲａｔｉｏｏｆＶｏｌｕｍｅｓ）：これは実際の体積Ｖと、境界立方体Ｖ_Ｂの体積との比であり、次式で与えられる。
Ｒ_ｖ＝Ｖ／Ｖ_Ｂ（３６）
例えば手を伸ばした乗員のように、本体から突き出した大きな部分を有する目標物は、境界長方形の大部分が、通常ＲＯＩの投影よりも多くを包含するために、その体積Ｖに比較して大きなＶ_Ｂを有することになる。チャイルドシートは、通常はそこから突き出す大きな物体はないので、通常は１に近いＲ_ｖの値で特徴づけられるが、これに対して手を伸ばすか、あるいは脚をダッシュボードに載せた乗員は、ずっと小さなＲ_ｖ値を有することになる。
【００３４】
（８）占有体積率（ＰｅｒｃｅｎｔａｇｅＶｏｌｕｍｅＯｃｃｕｐｉｅｄ）：図３０を参照すると、脚占有領域（ＬｅｇＯｃｃｕｐａｎｃｙＲｅｇｉｏｎ）と呼ばれるシートクッションの前方の領域は、乗員の脚によって占有されると考えられ、したがってＲＦＩＳ、ＦＦＩＳおよび空席に対しては、空であると考えられる。したがって、この領域を占有するＲＯＩの体積（Ｖ_ｏ）の部分と、この領域の体積Ｖ_ｐの比は、乗員に対しては高く、ＲＦＩＳ、ＦＦＩＳおよび空席に対しては低くなると考えられる。この比は次式で得られる。
Ｖ_ｐ＝Ｖ_ｏ／Ｖ_ｐ（３７）
【００３５】
２次元特徴
図２６〜３１を参照すると、ＲＯＩの３つの投影上で計算した２Ｄ特徴が、重要な形状情報を提供する。これらの２Ｄ特徴を、以下にＸＹ面への投影について示す。ＹＺおよびＺＸ面上への投影に対応する特徴は、（ｘ，ｙ）をそれぞれ（ｙ，ｚ）および（ｚ，ｘ）によって置き換えることによって求められる。
【００３６】
（１）中心モーメント（ＣｅｎｔｒａｌＭｏｍｅｎｔｓ）：中心モーメントは、位置に対して独立の形状記述子であり、次式で与えられる。
【数２５】

ここで、面積中心は次式で与えられる。
【数２６】

【００３７】
（２）正規化中心モーメント（ＮｏｒｍａｌｉｚｅｄＣｅｎｔｒａｌＭｏｍｅｎｔｓ）：この形状記述子は、回転、縮尺、平行移動に独立であり、次式で与えられる。
【数２７】

ここで、
【数２８】

である。
（３）不変モーメント（ＩｎｖａｒｉａｎｔＭｏｍｅｎｔｓ）：これらの縮尺、回転、平行移動に対して不変のモーメントは、ロバストな形状記述子であり（ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｇｏｎｚａｌｅｚ，Ｗｏｏｄｓ参照）、次式で与えられる。
【数２９】

【００３９】
（４）周辺長（Ｐｅｒｉｍｅｔｅｒ）：周辺長は、ＲＯＩの大きさの測度であり、次式で与えられる。
【数３０】

空席の投影の周辺長は、着座座席の周辺長よりも小さいと予想される。
（５）面積（Ａｒｅａ）
Ａ＝ｍ_００（５１）
空席の投影の面積は、ＲＦＩＳ、ＦＦＩＳまたは乗員の投影面積よりも小さいと予想される。
【００４０】
（６）真円度（Ｒｏｕｎｄｎｅｓｓ）：投影の真円度は、完全円に対して１、その他の形状に対しては１未満であり、次式で与えられる。
【数３１】

ＲＦＩＳは、乗員または空席とは異なる真円度の測度を有すると考えられる。
（７）曲げエネルギー（ＢｅｎｄｉｎｇＥｎｅｒｇｙ）：曲げエネルギーは、投影の形状における曲線の測度であり（ＦｕｎｄａｍｅｎｔａｌｓｏｆＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ＡｎｉｌＫ．Ｊａｉｎ参照）、次式で与えられる。
【数３２】

ここで、
【数３３】

また、ｔは周辺上の任意の開始点から周辺に沿った距離である。
曲げエネルギーは、乗員に対してそうなるように、鋭い屈曲部を有する形状に対して高くなる。チャイルドシートは、曲げエネルギーの値は低くなることが多い。
【００４１】
（８）方位（Ｏｒｉｅｎｔａｔｉｏｎ）：図３４を参照すると、これは投影が独立軸とつくる角度の測度であり、次式で与えられる。
【数３４】

この特徴は、図２７ａに示すように、ＲＦＩＳは左向きに傾倒されるので、ＹＺ面への投影に対して比較的強く、このために、図３０ａに示す正常着座の乗員、または図２９ａに示すＦＦＩＳの角度に対して小さな方位角を有する。
【００４２】
（９）境界長方形の面積（ＡｒｅａｏｆｔｈｅＢｏｕｎｄｉｎｇＲｅｃｔａｎｇｌｅ）：図３５を参照すると、これは、投影がその方位角の周りに回転された後に、投影を包囲する最小の長方形であり、次式で与えられる。
【数３５】

ここで、最初に投影は、θ（方位）だけ回転される。
【数３６】

次いで、長方形の長さ（Ｌ_ｂ）および幅（Ｗ_ｂ）が次式から求められる。
【数３７】

この測度は通常、画像によって異なる。
【００４３】
（１０）最良適合楕円（ＢｅｓｔＦｉｔＥｌｌｉｐｓｅ）：図３６を参照すると、最良適合楕円が、（ｘ／ａ）^２＋（ｙ／ｂ）^２＝１によって与えられ、ここで関連する特徴は次式となる。
ここで、
長半径
【数３８】

短半径
【数３９】

Ｉ_ｍａｘ＝最大慣性モーメント
【数４０】

Ｉ_ｍｉｎ＝最小慣性モーメント
【数４１】

Ａは、投影からなる領域である。
【００４４】
以下に示す特徴も、最良適合楕円から得られるものである。
楕円の面積＝Ａ_{ｅｌｌｉｌｐｓｅ} ＝
【数４２】

楕円が表わす体積＝Ｖ_{ｅｌｌｉｐｓｅ} ＝
【数４３】

楕円の偏心率＝Ｅ_{ｅｌｌｉｐｓｅ} ＝
【数４４】

楕円の偏心円中心＝Ｃ_{ｅｌｌｉｐｓｅ} ＝
【数４５】

偏心円法線（Ｅｃｃｅｎｔｒｉｃｎｏｒｍａｌ）＝Ｎ_{ｅｌｌｉｐｓｅ} ＝２ｂ^２／ａ（６９）
乗員は、特にドライバ側から見た場合に、チャイルドシートよりもより「細長い」形状である。したがって、その境界を決める楕円は、通常はチャイルドシートの境界を決める楕円とは実質的に異なっている。言い換えると、乗員に対する楕円を記述する特徴は、チャイルドシートおよび空席を記述するものとは通常異なっている。
【００４５】
（１１）ＲＯＩ投影の偏心率：これは延びの測度であり、次式で与えられる。
【数４６】

乗員は通常、チャイルドシートおよび空席の偏心率よりも大きな偏心率を示すが、これは乗員の方がより細長いためである。
（１２）面積比（ＲａｔｉｏｏｆＡｒｅａｓ）：この測度は、ブロブ（ｂｌｏｂ）の面積と境界長方形の面積との比によって次のように与えられる。
Ｒ_ａ＝Ａ／Ａ_ｂ（７１）
この測度は、例えば腕を伸ばした乗員などの大きな突出部分を有する領域に対して、比較的小さくなる。
【００４６】
（１３）中心軸線（ＣｅｎｔｒａｌＡｘｉｓＬｉｎｅ）：投影を、方位角０°まで方位角θだけ回転させ、その後に投影を貫通して垂直の直線を引く。これらの線の、周辺によって境界を決められた部分の中央点に対する２次曲線の当てはめを、元の方位に回転して戻すと、次式を得る。
【数４７】

図３７を参照すると、ＲＦＩＳおよび正常着座乗員に対する中心軸線は、通常異なる曲率を有する。したがって、係数ａ_１およびａ_２は、中心軸線の曲率を示す特徴である。
【００４７】
試験特徴ベクトルｆを次式、
ｆ＝［ｆ_１ｆ_２ｆ_３ … ｆ_ｎ］^Ｔ（７３）
によって計算した後に、試験特徴ベクトルを、ベクトル距離ｄ_ｓを比較することのよって、様々な状況に対する基準（または「黄金」）特徴ベクトルｆ_ｓと比較し、ここでｓは状況、例えばｓＩ｛ＲＦＩＳ，ＦＦＩＳ，Ｏｃｃｕｐａｎｔ，ＥｍｐｔｙＳｅａｔ｝である。
ｆ_ｓ＝［ｆ_ｓ１ｆ_ｓ２ｆ_ｓ３ … ｆ_ｓｎ］^Ｔ（７４）
【数４８】

分類は、例えば最少距離分類基準を用いて実行し、ここで検出される場面は、対応する黄金特徴ベクトルが、試験特徴ベクトルに最も近接（ｄ_ｓが最小）するものである。
【００４８】
正規位置外（ＯＯＰ）乗員検出
次いで識別された場面または場面の部分の、インスツルメントパネルからの距離が、車両の長さ方向に直角の視点から観察することによって識別される。したがって、識別された目標物が、「危険」ゾーン内に存在するかどうかを、形状や大きさに無関係に判定することができる。乗員／物体の横方向位置を、３Ｄ座標を用いて求めることもできる。
いったん画像が識別されると、最初の場面においてフレーム毎に変化がないことを観察し、個々の構成要素の相対的な変位を観察した後に、画像の部分の位置が、それにタグを割り当てることによってフレーム毎に追跡される。したがって、識別された乗員の部分の位置が、３Ｄ空間内で発見され、これが、「危険」ゾーンの大きさと形状に無関係に、また動的な「危険」ゾーンを有する状況に対して有用な、正規位置外（ＯＯＰ）乗員の定義（例えば、「危険」ゾーン内にある手はＯＯＰ乗員を構成するのかどうか）とは無関係に、正規位置外（ＯＯＰ）乗員を識別するのに役立つ。
【００４９】
乗員の大きさの判定と拘束制御
３Ｄデータは、体積の概略推定、したがって乗員が存在する場合にはその大きさの概略推定を提供し、この情報をエアバッグの展開の制御に用いることができる。エアバッグの展開の決定または展開の種類は、例えば次のように決定される。エアバッグは、ＲＦＩＳまたはエアバッグから危険であると思われる姿勢の乗員に対してはエアバッグを停止させ、ダッシュボードに近い小柄な乗員に対しては展開を弱くしてもよい。
乗員センサ１０は、例えば乗員を撮像するのに用いた同一のヘッドライナ位置から、ドライバを撮像することによってドライバ側に使用することも可能であり、これによってドライバの大きさを判定し、胴、頭、腕の位置を判定してもよく、これらはすべてエアバッグの展開を調整する目的で、ドライバの移動を時間軸上で追跡するのに使用することができる。
【００５０】
３Ｄ画像システム１４は、距離画像を獲得するが、これは２Ｄ画像とは、ピクセル値が輝度ではなく画像システムからの距離を表わす点において異なっている。ｘ、ｙ、ｚ位置の距離画像を獲得することによって、座標軸を平行移動または回転させて任意の視点から場面を観察することができる。ウインド外部の背景クラッタ（ｃｌｕｔｔｅｒ）を除去することができると、その３Ｄ空間での位置は既知であるために、セグメント化過程がより簡便かつロバストになる。同様に視野内の固定物体（ダッシュボード、ドアなど）は、これらが固定座標を有するために消去することができる。３Ｄ座標を有することによって、形状記述子は、場面の分類を強化するためのより多くの分離情報を包含し、これらから２Ｄ形状に対する３Ｄ体積の案が得られる。
【００５１】
最後に、各データポイントの位置を、車両の任意の部分に対して明確に決定することができ、これによって、ある所定の「危険」ゾーン内に乗員のある部分として定義される正規位置外（ＯＯＰ）乗員の検出が可能となる。３Ｄシステムを用いることによって、任意の形状または大きさの「危険」ゾーンに対してＯＯＰ乗員を判定することができる。距離画像の順序に注目することによって、任意の点の時間経過を追跡することが可能となり、これによって衝突前あるいは衝突期間中においても乗員を追跡することが可能となる。３Ｄ座標を用いることにより、目標物の概略体積、したがって大きさを判定することができる。
【００５２】
上記の３Ｄ画像システム１４には、関連する画像データを獲得し、処理するための画像プロセッサおよび関連の電子回路が組み込まれている。安全拘束システムは、画像プロセッサによるか、または別個の制御プロセッサによる、上記の画像データの処理結果に応じて制御される。一般に、安全拘束システムは、画像プロセッサによる上記の画像処理に応じてその作動が許可されている場合に、衝突センサによって検出される衝突に応答して、起動される。
【００５３】
前述の詳細な説明においては特定の実施態様の詳細について記載すると共に添付の図面に示したが、当業者であれば本開示の全体的な教示によって前記詳細な記載に対する様々な修正態様や変更態様を創案できることに気付くであろう。したがって、開示した特定の配設は説明のためだけのものであり、発明の範囲を制限するものではなく、本発明に対しては添付の請求項およびそのすべての等価物が示す全範囲が付与されるべきである。
【図面の簡単な説明】
【図１ａ】車両内の３次元（３Ｄ）画像システムのそれぞれ正面図、側面図、上面図である。
【図１ｂ】車両内の３次元（３Ｄ）画像システムのそれぞれ正面図、側面図、上面図である。
【図１ｃ】車両内の３次元（３Ｄ）画像システムのそれぞれ正面図、側面図、上面図である。
【図２】ステレオ視システムのカメラ配置を示す図である。
【図３】ステレオ画像処理のモデルを示す図である。
【図４】構造化照明を用いる３Ｄ画像システムを示す図である。
【図５】図４の３Ｄ画像システムによる光縞の画像を示す図である。
【図６】構造化照明を用いて３Ｄ画像システムによって撮像された点の三角測量を示す図である。
【図７】レーザ走査システムを示す図である。
【図８】図７のレーザ走査システムの座標系を示す図である。
【図９ａ】車両の助手席側乗員を観察するための、ヘッドライナ、ドライバ側、前部、上部からの視点を示す図である。
【図９ｂ】車両の助手席側乗員を観察するための、ヘッドライナ、ドライバ側、前部、上部からの視点を示す図である。
【図９ｃ】車両の助手席側乗員を観察するための、ヘッドライナ、ドライバ側、前部、上部からの視点を示す図である。
【図９ｄ】車両の助手席側乗員を観察するための、ヘッドライナ、ドライバ側、前部、上部からの視点を示す図である。
【図１０】車両内の座標系を示す図である。
【図１１】ヘッドライナから見た、前かがみの乗員を示す画像である。
【図１２】座標変換によってドライバ側から見た、前かがみの乗員を示す画像である。
【図１３】座標変換によって前部から見た、前かがみの乗員を示す画像である。
【図１４】座標変換によって上部から見た、前かがみの乗員を示す画像である。
【図１５】ヘッドライナから見た、空席を示す画像である。
【図１６】座標変換によってドライバ側から見た、空席を示す画像である。
【図１７】座標変換によって前部から見た、空席を示す画像である。
【図１８】座標変換によって上部から見た、空席を示す画像である。
【図１９】乗員を検知し、それに応答して安全拘束システムを制御する過程のフローチャートである。
【図２０】セグメント化過程のフローチャートである。
【図２１】分類過程のフローチャートである。
【図２２ａ】車両の助手席上に配置された、覆い付きおよび覆いなしの後向き幼児シートをそれぞれ示す図である。
【図２２ｂ】車両の助手席上に配置された、覆い付きおよび覆いなしの後向き幼児シートをそれぞれ示す図である。
【図２３】車両の助手席に配置された前向き幼児シートを示す図である。
【図２４】車両の助手席に着座するベルト装着乗員を示す図である。
【図２５】車両の助手席に着座して新聞を読んでいる乗員を示す図である。
【図２６ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した空席を示す図である。
【図２６ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した空席を示す図である。
【図２６ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した空席を示す図である。
【図２７ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した後向き幼児シートを示す図である。
【図２７ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した後向き幼児シートを示す図である。
【図２７ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した後向き幼児シートを示す図である。
【図２８ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した覆い付き後向き幼児シートを示す図である。
【図２８ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した覆い付き後向き幼児シートを示す図である。
【図２８ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した覆い付き後向き幼児シートを示す図である。
【図２９ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した前向き幼児を示す図である。
【図２９ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した前向き幼児を示す図である。
【図２９ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した前向き幼児を示す図である。
【図３０ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した乗員を示す図である。
【図３０ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した乗員を示す図である。
【図３０ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した乗員を示す図である。
【図３１ａ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した新聞を読んでいる乗員を示す図である。
【図３１ｂ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した新聞を読んでいる乗員を示す図である。
【図３１ｃ】それぞれＹＺ、ＸＺおよびＸＹ面上に投影した新聞を読んでいる乗員を示す図である。
【図３２】乗員が正規位置外（ＯＯＰ）に位置し、関連するエアバッグインフレータモデュールの起動によって傷害を受ける危険がある、危険ゾーンを示す図である。
【図３３】シートクッション前方の脚占有領域を示す図である。
【図３４ａ】後向き幼児シート（ＲＦＩＳ）および正常着座乗員に対する方位測度を示す図である。
【図３４ｂ】後向き幼児シート（ＲＦＩＳ）および正常着座乗員に対する方位測度を示す図である。
【図３５ａ】ＲＦＩＳおよび正常着座乗員それぞれに対する境界長方形を示す図である。
【図３５ｂ】ＲＦＩＳおよび正常着座乗員それぞれに対する境界長方形を示す図である。
【図３６ａ】ＲＦＩＳおよび正常着座乗員それぞれに対する最良適合楕円を示す図である。
【図３６ｂ】ＲＦＩＳおよび正常着座乗員それぞれに対する最良適合楕円を示す図である。
【図３７ａ】ＲＦＩＳおよび正常着座乗員それぞれに対する中心軸線を示す図である。
【図３７ｂ】ＲＦＩＳおよび正常着座乗員それぞれに対する中心軸線を示す図である。

Claims

車両の乗員を検知する方法であって、
ａ．第１の観察視点からの場面の第１の３次元画像を獲得することを提供するステップと、
ｂ．前記第１の３次元画像内の対象領域を識別するために、第１の３次元画像をセグメント化することを提供するステップと、
ｃ．前記対象領域の外部にある前記第１の３次元画像の部分を除去することに
より第２の３次元画像を形成することを提供するステップと、
ｄ．前記第２の３次元画像の画像内容に応じてシナリオを分類することを提供するステップであって、前記画像内容が、体積中心モーメント、面積中心、体積、真球度、半径比、境界立方体の体積、体積比、占有体積割合から選択される複数の３次元特徴で表わされる、前記ステップを含む、前記方法。
第１の３次元画像の対象領域外の部分が、車両のダッシュボード、車両のサイドドアの内部、車両のウインド外の場面、車両のフロア、および車両の構造ピラーから選択される物体の画像の一部を含む、請求項１に記載の車両の乗員を検知する方法。
分類作業が、第２の３次元画像の複数の特徴から乗員の存在を検知することを含む、請求項１に記載の車両の乗員を検知する方法。
１つの画像フレームから次の画像フレームへの乗員の追跡を提供するステップをさらに含む、請求項３に記載の車両の乗員を検知する方法。
乗員が、安全拘束システムに近接する危険ゾーン内に位置しているかどうかを検出することを提供するステップをさらに含む、請求項３に記載の車両の乗員を検地する方法。
第２の３次元画像の少なくとも１つの特徴から、乗員の大きさを判定することを提供するステップをさらに含む、請求項３に記載の車両の乗員を検知する方法。
シナリオの分類作業に応じて、安全拘束システムを制御することを提供するステップをさらに含む、請求項１に記載の車両の乗員を検知するための方法。
第１の観察視点からの場面の第１の３次元画像を獲得することを提供するステップと、
前記第１の３次元画像を、第２観察視点からの第２の３次元画像に変換することを提供するステップと、
前記第１または第２の３次元画像内の対象領域を識別するために、前記変換作業の前の前記第１の３次元画像、または前記第２の３次元画像のいずれかをセグメント化することを提供するステップと、
前記第１または第２の３次元画像の、対象領域外の部分を除去することによって、第３の３次元画像を形成することを提供するステップと、
前記第３の３次元画像の画像内容に応じてシナリオを分類することを提供するステップとを含み、前記画像内容が、前記第３の３次元画像の２次元表現を含む、車両内の乗員を検知する方法。
対象領域の外部にある第１または第２の３次元画像の一部が、車両のダッシュボード、車両のサイドドアの内部、車両のウインド外の場面、車両のフロア、および車両内の構造ピラーから選択される物体の画像の一部を含む、請求項８に記載の車両の乗員を検知する方法。
画像内容が、中心モーメント、正規化中心モーメント、不変モーメント、周辺長、および面積、真円度、曲げエネルギー、方位、境界長方形の面積、最良適合楕円、および対象領域の偏心度、面積比、および中心軸線から選択される少なくとも１つの２次元特徴で表わされる、請求項８に記載の車両の乗員を検知する方法。
分類の作業が、第３の３次元画像の複数の特徴から、乗員の存在を検出することを含む、請求項１０に記載の車両の乗員を検知する方法。
１つの画像フレームから別のフレームへと乗員を追跡することを提供するステップをさらに含む、請求項１１に記載の車両の乗員を検地する方法。
安全拘束システムに近接する危険ゾーン内に乗員が位置するかどうかを検出することを提供するステップをさらに含む、請求項１１に記載の車両の乗員を検知する方法。
第３の３次元画像の少なくとも１つの特徴から、乗員の大きさを判定することを提供するステップをさらに含む、請求項１１に記載の車両の乗員を検知する方法。
シナリオを分類する作業に応じて、安全拘束システムを制御することを提供するステップをさらに含む、請求項８に記載の車両の乗員を検知する方法。
第１の観察視点からの場面の第１の３次元画像を獲得することを提供するステップと、
前記第１の３次元画像内の対象領域を識別するために、前記３次元画像をセグメント化することを提供するステップと、
前記第１の３次元画像の対象領域外にある部分を除去することによって、第２の３次元画像を形成することを提供するステップと、
前記対象領域内の複数の点の第１の表現を生成することを提供するステップと、
前記表現と複数の所定の表現とを比較することを提供するステップとを含み、各所定の表現が、特定の位置および方位の識別すべき物体を表わし、第１の表現と前記所定の表現の１つとの差が、閾値よりも小さい場合には、第１の３次元画像が前記物体の画像を含むことを示す、車両の乗員を検知する方法。