JP2004513026A - 車両室内の占有状態を求める方法および装置 - Google Patents

Abstract

車両内部空間の占有状態を求める装置において、車両内部空間の領域を記録する記録装置（１０）と、記録画像データを生成する記録画像データ生成ユニット（１４）が設けられている。この記録画像データにおいて、３次元表面画像の記録された各画素が記録装置の記録座標系におけるベクトルとして表される。さらにこれらの記録画像データを車両画像データに変換する変換ユニット（１６）が設けられており、車両画像データによって各画素が車両固有の座標系におけるベクトルとして記述される。

Description

【０００１】
本発明は、車両室内の占有状態を求める方法および装置に関する。
【０００２】
最近の車両にはエアバッグやシートベルトリトラクタなどの乗員保護機構や音声入力システムならびに他のシステムが装備されており、それらが最適に機能するためには車両乗員のポジションあるいは車内に存在するその他の物体のポジションについて精確な情報をもつのが有利である。たとえば、エアバッグを膨らませる時点および／または膨らませる強度を保護すべき車両乗員のポジションおよび場合によっては大きさに合わせて調整するのが好適である。助手席にたとえばチャイルドシートが存在するならば、事故が発生しても助手席エアバッグをまったくトリガさせないのが好適である。また、音声入力システムであれば、話しをしている車両乗員のポジションを識別するのが有利である。なぜならば音声入力システムは有利には、ドライバが特定の命令を話したのではないならばその命令に対し応答しないように構成されているからである。
【０００３】
したがって本発明の課題は、車両占有状態を確実に識別できかつ簡単に評価できるようにした方法および装置を提供することにある。
【０００４】
方法に係わる本発明の課題の一部は請求項１の特徴部分に記載の構成により解決される。
【０００５】
本発明による方法の場合にはまずはじめに記録装置に関連づけられた記録画像データが生成され、これらの記録画像データは画素に対応するオブジェクト点のポジションをたとえばカメラからのそれらの距離や空間におけるそれらの方向に関して表すものである。これらの記録画像データは車両画像データに変換され、この車両画像データは画素に対応するオブジェクト点をそのまま車両固有の座標系において記述する。車両固有の座標系において、エアバッグのトリガや音声命令の起動等にとって決定的な役割を果たす事前に決められた条件が存在するか否かについて、画素をダイレクトに評価することができる。これら車内の占有状況、乗員の頭の場所および／または大きさ、座席が占有されているか否か、チャイルドシートの存在等が、車両室内に関連するデータすなわち車両固有の座標系に関連するデータに格納されている。
【０００６】
従属請求項２から４には本発明による方法の有利な実施形態が示されている。
【０００７】
請求項５の特徴部分に記載の構成により、カメラすなわち車内における記録装置のポジションと個々の物体との距離に左右されない占有状態評価を行うことができる。
【０００８】
請求項６には、本発明による課題を解決するための装置の基本構成が示されている。
【０００９】
請求項７には、本発明による装置の有利な実施形態が示されている。
【００１０】
請求項８によれば、本発明による装置を殊に有利なかたちで車両乗員保護装置において使用可能である。
【００１１】
次に、図面を参照しながら本発明について詳しく説明する。
【００１２】
図面
図１は、本発明による装置のブロック図である。
【００１３】
図２は、データ変換を説明するための種々の座標系である。
【００１４】
図３は、対象物体とカメラとの距離に左右されずにどのようにして画像評価が行われるかを説明する図である。
【００１５】
図１に示されているように車両内部においてその車両のフロントガラス２、ハンドル４、ドライバシート６および同乗者シート８が破線で示されており、フロントガラスの上に記録装置１０が配置されていて、その記録装置によってドライバシートと同乗者シートの領域で車両内部の３次元表面画像を撮影することができる。
【００１６】
記録装置はそれ自体公知のように多種多様な構造を有することができ、これをたとえば３次元カメラとすることができ、この３Ｄカメラはステレオカメラとしてまたはたとえば三角測量カメラとしてライトペンシル法その他を用いることで動作する。３Ｄ撮影法の詳しい説明は Ｘｉａｏｙｉ Ｊｉａｎｇ， Ｈｏｒｓｔ Ｂｕｎｋｅ； Ｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｓ Ｃｏｍｐｕｔｅｒｓｅｈｅｎ による文献 Ｇｅｗｉｎｎｕｎｇ ｕｎｄ Ａｎａｌｙｓｅ ｖｏｎ Ｔｉｅｆｅｎｂｉｌｄｅｒｎ， Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ， １９９７ に記載されている。また、ドライバ空間と同乗者空間に割り当てられた複数のカメラを設けておくことができる。さらにカメラをステッピングモータにより旋回可能にすることができる。
【００１７】
記録装置１０は制御装置１２に接続されており、この制御装置は記録画像データ生成ユニット１４、変換ユニット１６、ボクセルユニット１８、評価ユニット２０、マイクロプロセッサ２２、記憶装置２４を有している。これらのユニット１４，１６，１８，２０は基本的に、システムの構造に応じてハードウェアコンポーネントおよび／またはソフトウェアコンポーネントとして設けられている。制御装置１２は制御ユニット２６と接続されており、制御ユニット２６は乗員保護手段２８の動作を制御する。
【００１８】
次に、図１の装置の機能について図２および図３を参照しながら説明する。
【００１９】
データ処理装置によって評価可能な３次元表面画像の場合には物体の表面点について、２つのセンサを結ぶ線（ステレオ法）または１つのセンサとレーザ光源とを結ぶ線（ライトペンシル法）は既知である。したがって距離ａの計算後、画像センサの系において（ステレオ法では一方の画像センサが選ばれる）、センサ中心点を物体表面点と結ぶ直線ないしはベクトルの集合が得られるようになる。この場合、記録画像データ生成ユニット１４はそれ自体周知のように、記録装置１０により記録されたデータから内部空間の個々の領域における３次元の表面画像を生成するものとする。そしてこの画像において１つの物体の各表面点Ｐに対し、記録装置１０に関して規定された直交するデカルト座標系内の座標ｘ，ｙ，ｚ（図２）が対応づけられるものとする。この座標系の軸ｇ_１，ｇ_２，ｇ_３ はたとえば以下により与えられる：
−ｇ_１ は対物レンズの光軸
−ｇ_２ は光軸ｇ_１ に対し垂直でありたとえば１つの垂直平面内にある直線
−ｇ_３ はｇ_１ とｇ_２ に対し垂直な直線。
【００２０】
このデカルト座標系の原点０はたとえば対物レンズの結像面中に存在する。
【００２１】
記録装置１０または相応の構造の装置において最初に制御装置１２の記録画像データ生成ユニット１４において生成された記録画像データｘ_ｎ，ｙ_ｎ，ｚ_ｎ は、変換ユニット１６において車両固有のデカルト直交座標系のデカルト座標ｇ_１′，ｇ_２′，ｇ_３′ に変換され、ここでｇ_１′はたとえば車両長手方向を表しｇ_２′は車両の幅方向、ｇ_３′は高さ方向を表し、原点０′はたとえば車両床面中心領域にある固定的な基準点である。
【００２２】
記憶装置２４には記録装置固有の座標系ｇ_１，ｇ_２，ｇ_３の位置が車両固有の座標系に対し相対的に記憶されており、したがって記録装置固有の座標系を車両固有の座標系へ変換可能な変換マトリックスは既知である。
【００２３】
２つのデカルト座標系の相互変換について以下の一般的な関係が成り立つ：
原点０と軸ｇ_１，ｇ_２，ｇ_３をもつ第１の座標系から原点０′と軸ｇ_１′，ｇ_２′，ｇ_３′をもつ第２の座標系への変換を軸ｇを中心に角度δだけ回転することにより行い、軸ｇの方向余弦が ｃｏｓ（ｇ_１， ｇ） ＝ α， ｃｏｓ（ｇ_２， ｇ） ＝ β， ｃｏｓ（ｇ_３， ｇ） ＝ γにより定められる座標軸をもつならば、座標の計算について以下の関係が成り立つ：
ｘ′＝ ｘ（ｃｏｓδ ＋ α^２（１−ｃｏｓδ） ） ＋ ｙ（γ ｓｉｎδ＋αβ（１−ｃｏｓδ） ） ＋ ｚ（−βｓｉｎδ＋αγ（１−ｃｏｓδ） ），
ｙ′＝ ｘ（−γ ｓｉｎδ ＋ βα（１−ｃｏｓδ） ） ＋ ｙ（ｃｏｓδ＋β^２（１−ｃｏｓδ） ） ＋ ｚ（αｓｉｎδ＋βγ（１−ｃｏｓδ） ），
ｚ′＝ ｘ（βｓｉｎδ ＋ γα（１−ｃｏｓδ） ） ＋ ｙ（−αｓｉｎδ ＋ γβ（１−ｃｏｓδ） ） ＋ ｚ（ｃｏｓδ＋γ^２（１−ｃｏｓδ） ）
両方の座標系の原点０，０′が離れているならば、原点を結ぶベクトルに従い座標ｘ′，ｙ′，ｚ′をさらに線形に変換する必要がある。
【００２４】
記憶装置２４にはα、β、γならびに回転角δが記憶されており、場合によっては両方の座標系の原点を結ぶベクトルも記憶されているので、車両固有の座標系において個々の対象物体の点の座標ないしはそれらに対応する画素の座標を車両画像データとして計算し記憶することができる。
【００２５】
このようにして求められた車両画像データの評価にあたり生じる問題点は以下のとおりである：
図３からわかるように、カメラＫが対象物体Ｇを見る立体角Ωはその距離ａに依存している。この距離が大きくなればなるほど立体角は小さくなる。電子カメラ内に含まれマトリックス状に配置された光センサを有するフィールド上では、各々の立体角単位に対し一定数の光センサが相応するので、物体サイズが同じであれば物体とカメラとの距離が離れるにつれて画像データが少なくなる。このことによってたとえば物体の分類など画像データの評価が難しくなる可能性がある。なぜならば、それ自体同じ物体であってもカメラからの距離が異なるとその物体対し異なる画像データ量が割り当てられてしまうからである。
【００２６】
車両固有の座標系においては物体に対応する点の集まりがいっそう精確に得られ、そのような点の集まりの大きさはカメラからの距離が変化しても同じままであるが、その密度はカメラからの距離が大きくなるにつれて低くなる。内部空間の実際の状態と一致しないこのような作用を避けるため、捕捉された内部空間領域が有利には等しい大きさの体積要素ないしはボリュームエレメント（ｖｏｌｕｍｅ ｅｌｅｍｅｎｔ、図３では２次元で格子として書き込まれている）に分けられ、ここで各ボリュームエレメントに対したとえばその中心点の座標が割り当てられる。内部空間のこのような分割すなわち個々のボリュームエレメントの座標ならびにそれらの体積が、たとえば記憶装置２４に記憶されている。その際、各ボリュームエレメントによって１つのボクセル（”ｖｏｘｅｌ”， ｖｏｌｕｍｅ ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔ）が形成される。なお、ボクセルの各辺が各座標軸と平行であるとよい。これらのボクセルは互いにじかに隣り合っており、重なり合っていない。また、それらの辺の長さによりカメラの典型的な空間分解能が定まる。変換ユニット１６において形成された車両画像データにより、各対象物体点に対し車両固有の座標系内のベクトルとして１つの画素が割り当てられ、このような車両画像データはボクセルユニット１８においてボクセルデータに変換される。その際、物体の位置する各ボリュームエレメントないしはボクセルに、それが物体の点により占有されていることを表す所定のデータ値たとえば１が割り当てられる。このようにして得られた３次元ボクセル画像によって物体がその距離に依存することなく表されるので、客観化されたもしくは数量化されたデータ評価が可能となり、そのような評価において物体をたとえばその形状に基づいて分類することができる。
【００２７】
ボクセルユニット１８において形成されたボクセル画像が評価ユニット２０内で評価され、これはたとえばそれ自体周知のパターン認識法により行われ、その結果、捕捉された内部空間内に存在する人の頭やチャイルドシートなど物体の種類や空間位置を確実に識別することができ、記憶装置２４内に格納されているまえもって定められた条件（チャイルドシートの存在、人の頭とハンドルとの間隔等）との相関に従い制御ユニット２６のための制御信号を発生させることができる。このようにしてたとえばエアバッグやシートベルトリトラクタなどのような１つまたは複数の乗員保護手段２８を、目的に即して最適な乗員保護のためにトリガして働かせることができる。
【００２８】
これまで説明してきたシステムもしくは評価方法を多種多様なかたちで補うことができる。たとえば記憶装置２４内に、事前に決めた車両点を格納することができる。車両固有の座標系において既知のポジションをもつそれら所定の点が画像内で識別されれば、それら所定の点の座標から変換マトリックスを求めることができる。さらにそれら所定の点を較正の目的でまたは最適化のために使用することができ、記憶されている対象物体点と変換された対象物体点との間に偏差が生じたとき、最小２乗誤差法に従い偏差の２乗の和を最小化するようにして変換マトリックスを最適化することができる。
【００２９】
また、記録ユニット固有の座標系と車両固有の座標系を必ずしもデカルト座標系とする必要はない。両方の座標系またはそれらのうちの一方を極座標系にしてもよいし、個々の目的に適した他の３次元座標系としてもよい。
【００３０】
さらに「ボクセル処理」を以下のようにして行うことができる。すなわち、ある物体点が各ボクセルエレメント内に位置していれば、それらのボクセルエレメントが１回だけカウントされ、たとえば１回だけアクセスされる。または、ある物体点がボクセルエレメント内に位置していれば、物体点に対しそのつど１単位だけ高められる値が割り当てられる。１番目の事例の場合には非常に効果的なスムーシングが実現される。２番目の事例の場合には複数の物体点をもつボクセルエレメントに対し大きい重みが与えられる。
【００３１】
なお、当然ながら、カメラ方向が旋回可能な場合にはそのつど旋回角度が既知であるため、物体のすべての画素をカメラ固有の単一の座標系で表すことができ、この座標系の軸ｇ_１ はたとえば旋回されていない状態でのカメラの光軸である。さらに有利であるのは、カメラ固有の座標系においてまず最初に極座標で処理し、それを車両固有の座標系へ変換する前にカメラ固有のデカルト座標に変換することである。
【図面の簡単な説明】
【図１】
本発明による装置のブロック図である。
【図２】
データ変換を説明するための種々の座標系である。
【図３】
対象物体とカメラとの距離に左右されずにどのようにして画像評価が行われるかを説明する図である。

Claims (8)

1. 車両内部空間の占有状態を求める方法において、
   車両内部空間の領域の３次元表面画像を記録装置を用いて記録するステップと、
   表面画像の画素に対応する物体点を前記記録装置の記録座標系内で表す記録画像データを生成するステップと、
   該記録画像データを車両画像データに変換するステップとを有しており、該車両画像データは前記画素に対応する物体点を車両固有の座標系内でベクトルとして記述することを特徴とする、
   車両内部空間の占有状態を求める方法。
2. 記録画像データから車両画像データへの変換のため、まえもって定められた基準物体の記録画像データを用いて変換マトリックスを求め、車両固有の座標系内における該基準物体の位置は既知である、請求項１記載の方法。
3. 記録画像データから車両画像データへの変換のための変換マトリックスを、車両固有の基準物体点の既知の座標とそれらの記録画像データから生成された車両画像データとの間で偏差が生じたときに最適化し、該最適化にあたり最小２乗誤差法に従い２乗偏差を最小化する、請求項１または２記載の方法。
4. 記録座標系と車両固有の座標系をデカルト座標系とする、請求項１から３のいずれか１項記載の方法。
5. 前記記録装置により捕捉された領域をボリュームエレメントに分解し、車両画像データの存在しないボリュームエレメントに第１の所定の値を割り当て、少なくとも１つの画素の車両画像データの存在するボリュームエレメントに第２の所定の値を割り当て、そのようにして得られたボリュームエレメント画像データを後続の評価に利用する、請求項１から４のいずれか１項記載の方法。
6. 車両内部空間の占有状態を求める装置において、
   車両内部空間に取り付けられ該車両内部空間の領域を記録する記録装置（１０）と、
   記録画像データを生成する記録画像データ生成ユニット（１４）が設けられており、該記録画像データにおいて記録された３次元表面画像の各画素は記録装置の記録座標系内のベクトルとして表されており、
   変換ユニット（１６）が設けられており、該変換ユニットは前記記録画像データを車両画像データに変換し、該車両画像データにより各画素が車両固有の座標系内のベクトルとして記述されることを特徴とする、
   車両内部空間の占有状態を求める装置。
7. 車両内部空間をボリュームエレメントに分解するボクセル装置（１８）が設けられており、該ボクセル装置（１８）により、車両画像データの存在しないボリュームエレメントに第１の所定の値が割り当てられ、少なくとも１つの画素の車両画像データの存在するボリュームエレメントに第２の所定の値が割り当てられて、３次元のボクセル画像に対応するボクセル画像データが生成され、該ボクセル画像データは物体表面により占有されたボリュームエレメントと占有されていないボリュームエレメントとを表す、請求項６記載の装置。
8. 評価ユニット（２０）が設けられており、該評価ユニット（２０）は車両画像データもしくはボクセル画像データをまえもって定められた判定基準に関して評価して、乗員保護装置（２８）の制御ユニット（２６）のための制御信号を発生する、請求項６または７記載の装置。