JP2005517162A - 頭部位置センサ - Google Patents

Abstract

運転者の頭部位置センサを用いて、車両の安全エアバッグの展開を制御する。サーマルイメージング検出器のアレイにより、運転者のサーマルイメージが生成され、頭部及びエアバッグに対する頭部位置とが検出される。例えばラジオを手動で操作する間のエアバッグに向かう頭部の動きを測定し、これを用いて、エアバッグの展開量を制御する。検出器アレイは、マイクロブリッジ抵抗ボロメータ検出器のような検出器の３２×３２又は６４×６４アレイとすることができる。

Description

本発明は、詳細には、安全拘束エアバッグの展開の制御と関連する自動車などの車両用の頭部位置センサに関し、より一般的には、他のイメージング及び検出システムに有用なセンサアレイに関する。

自動車安全拘束エアバッグシステムは、現在のところ、シートに乗員が存在するかどうか、或いは乗員の頭部位置を認識することなく展開される。乗員の位置を検知することを義務付ける法律が制定されることもあり得る。研究されている技術には、夜間に動作させる照明付の可視帯カメラ、容量性センサ、音響センサ等が含まれる。理想的なシステムは照明無しの可視帯カメラであり、原価が２０米ドル未満のシステムとなる。

本発明によれば、運転者（又は他の乗員）の位置を求める問題は、車両に存在する１つ又はそれ以上のエアバッグに対する運転者の頭部の位置を求める処理を備えたサーマルイメージングシステムを使用することにより解決される。サーマルイメージングは、３〜１４μｍ波長域で作動し、従来の近赤外線撮像と異なり照明を必要とせず、検出には自然放射線を用いる。サーマルセンサは受動的であり、照明条件により乱されず、完全な闇の中においても機能することができる。

他の感知技術は能動的であり、１つ又は別の形式の放射線、例えば超音波ビーム、電磁波、近赤外線光を放出する。例えば、赤外線照射器を用いて人物を照明し、顔面の特徴イメージ感知を利用して頭部位置を追跡する欧州特許１１６７１２６Ａ２号、超音波又は電磁波或いは赤外線照射器と適切なセンサを用いて人物の位置を検出する米国特許６２７０１１６Ｂ１号、ステアリング・ホイール内の超音波又は容量性のシステムを用いて位置を探索する米国特許６２５４１２７Ｂ１号、少なくとも３つの容量性センサを用いて頭部の位置と動きを検出する米国特許５６９１６９３号、複数の赤外線ビームを放出してシート乗員の場所及び位置を測定する米国特許５７８５３４７号を参照されたい。

また、他の先行技術では、車両乗員当たりに複数のセンサを用いることが記載されており、例えば、米国特許５３３０２２６号は、超音波と赤外線システムとを併用している。
受動的熱赤外線法を用いる技術は、ドイツ特許１９８２２８５０号及び日本特許２００１−１２９６１８４号に示されている。

ドイツ特許１９８２２８５０号は、フロント外観からサーマルイメージを收集し、乗員の頭部及び肩のポートレート型のイメージを生成し、２つの温度閾値を用いて頭部又は身体としてイメージ部分を分類することが記載されている。このシステムは、フロントエアバッグへの近接に関する情報を生成せず、絶対温度を測定することができる較正センサが必要とされる場合がある。不都合なことには、このようなシステムは、車室内が涼しい場合のみしか機能しない。暖かい日や暑い日には、車内の室内温度が容易に皮膚温度を超える可能性がある。
日本特許２００１−２９６１８４号は、シーンからの熱放射を受けない感知要素を用いる温度補償技術を記載している。このマスク要素が、センサチップの基板温度を検知し、従って、シーン温度の変化を測定することができる基準を形成する。これは、シーンの絶対温度をより正確に測定することができるシステムにするのに必要であり、暖房及び空調を制御するのに有用である。この特許は、補償センサが、乗員の姿勢検知を可能にする発明は記載していない。

欧州特許１１６７１２６Ａ２号公報 米国特許６２７０１１６Ｂ１号公報 米国特許６２５４１２７Ｂ１号公報 米国特許５６９１６９３号公報 米国特許５７８５３４７号公報 米国特許５３３０２２６号公報 ドイツ特許１９８２２８５０号公報 日本特許２００１−１２９６１８４号公報 国際特許ＷＯ／ＧＢ００／０３２４３号公報 米国特許６３２４４５３Ｂ１号公報

本特許出願では、受動的サーマル赤外線カメラから乗員位置の感知することができるようにするのに必要なセンサシステム及びアルゴリズムを記載する。記載されるセンサは、日本特許２００１−２９６１８４号のように温度を数量化せず、ドイツ特許１９８２２８５０号のように温度閾値も用いない。また、米国特許５３３０２２６号とも異なり、乗員当たりに単一のセンサを用いる。

本発明の１つの態様によれば、頭部位置センサは、赤外線検出器のアレイと、レンズシステムと、検出器の集合的出力から運転者の頭部の位置を求める処理手段とを全て一体化筐体内に含む。
本発明によれば、頭部位置検出器は、熱赤外線検出器のアレイと、シート乗員及び少なくとも１つのエアバッグの場所のイメージング用レンズシステムと、アレイのサーマルイメージから、シートにおける乗員の存在、及び少なくとも１つのエアバッグに対する乗員の頭部位置を求める処理装置とを含む。

検出器アレイと処理装置とは一体化されているのが好ましい。
検出器アレイは、検出器要素のｘ、ｙアレイとすることができ、ｘ及びｙは、２４〜９６の範囲内、好ましくは約３２又は６４である。
また、センサを用いて、付随するエアバッグを制御し、すなわち、事故後に膨張するタイミング及び／又は量を制御することができる。センサを用いて、シートが占有されているときのみエアバッグを起動することができる。すなわち、通常、エアバッグは、運転者席又は助手席のシートが占有されているかどうかに関係なくオン状態のままであり、この結果、例えば助手席エアバッグが乗客のいないときでも展開されることになる場合がある。また、センサを用いて、例えば、シートがチャイルドシート又はベビーシート、或いは荷物により占有されている場合には、助手席エアバッグをオフ状態にしておくこともできる。

センサは、運転者の頭部に隣接する「Ａ」ピラーに装着することもでき、中央ライトクラスタ近傍に装着することもできる。例えば約９０°〜１２０°の広角レンズを用い、乗員の頭部及びエアバッグの場所が視野内に含まれるようにする。
処理手段には、形状情報を用いて運転者の頭部を検出する手段を含むことができる。例えば、サーマルイメージの選択部分を用いて円対称なフィルタを畳み込むことによる。
また、処理手段は、単独又はシートの重量センサと共にイメージの領域を計算することによりシート乗員の体格を求めることもできる。次に、このような情報を頭部位置と共に用いて、エアバッグの膨張量を制御することができる。

車両の他の乗員のために追加のセンサを設けることができる。例えば、車両ダッシュボードの最左端に第２のセンサを位置決めし、助手席の占有及び位置を検出することができる。また、「Ｂピラー」又は天井にセンサを装着し、後部シート乗員を検出し、付随するエアバッグを制御することもできる。
頭部と、フロント又はサイドエアバッグとの間の距離は、単一のイメージ内の頭部及びエアバッグの位置を特定し、その離隔距離を直接推定することにより単一のセンサイメージから計算することができる。複数のセンサを用いる場合には、更に、三角測量及びステレオマッチングを用いてもよい。

次に、添付図面を参照しながら単なる例証として本発明の１つの形態を説明する。
図１に示すように、車両１は、運転者シート２、助手席シート３、及びステアリング・ホイール４を有する。フロントエアバッグ５はステアリング・ホイール４の内部に装着され、サイドエアバッグ６は運転者シートに隣接する車両の側部に配置される。運転者の頭部を７で示す。
サーマルイメージングセンサ８は、運転者シートの前側部の車両のＡピラーに配置されている。イメージングセンサが他に取り得る位置は、車両中心のバックミラー近傍である。イメージングセンサ８は、広角レンズを有し、運転者７、ステアリング・ホイール４及び車両の側部を含む約９０°の視野をカバーする。

フロントシート乗員をカバーするために、左側Ａピラーに追加のセンサ９を配置することができる。サイドエアバッグに対する乗員の接近度を測定する必要がない場合には、センサ８、９はバックミラー１０に配置してもよい。
常温、例えば２２℃の車内では、運転者又は乗員の方が遥かに温かいと思われる（皮膚の温度は、典型的には３２℃である）。平衡状態では、衣類は、この範囲内の温度、例えば２７℃となる。
従って、簡単なグレイレベルの閾値処理アルゴリズムを用いて、車、衣類及び皮膚に対応するイメージの部分を定めることが可能である。先行技術ＺＥＸＥＬ（ドイツ特許ＤＥ１９８２２８５０号）を参照されたい。

実際には、車両を日向に駐車していた場合、又は曇りの日でも皮膚温度と殆ど変わらない温度の場所に駐車していた場合には、車の窓の温室効果だけで内部温度が上昇し、車が乗員より高温となる場合が多いため、これを行うことは容易ではない。
温度の高い車が冷却されると、乗員の平均温度が車の平均温度と等しくなるポイントがある。
この状態では、サーマルカメラは、シーン中の温度の低い領域と高い領域を区別することができる十分な空間分解能と、小さな温度差を感知する十分な熱分解能とを有する必要がある。単純な閾値ベースのアルゴリズムでは、満足に機能する可能性はない。

図３のイメージＡは、車両内の運転者シートのサーマルイメージを示す。この場合、センサはダッシュボードの中心に配置されていた。これは理想的な位置ではないが、サーマルセンサから得られる詳細な情報を示すのに役立つ。以下に述べるように、サーマルイメージの処理では、センサが図１及び図２に示すようにＡピラーに置かれていると仮定する。
乗員７及びエアバッグの位置５、６は、このイメージに含まれるため、何らかのイメージに基づく計算により、異なる運転者によるステアリングの傾斜／作動範囲及びシート位置調節が補正される。

幾つかの実施形態においては、アレイの幾つかの検出器の出力を無視することが望ましい。例えば、他の乗員又は車の部品の処理を除外する必要がある場合もある。この場合、センサは、サーマルイメージを処理する間にアレイの幾つかの検出器の出力を無視するようにプログラムすることができる。この手段により、レンズの物理的マスキング、センサ位置調節又は部品交換を必要とすることなく、標準広視野センサ８を調整して、更に限定的な領域をカバーするようにすることができる。

図３のイメージＡは、平均放射測定温度が約３２℃の車室内を示しており、図Ｂは、運転者シートに乗員が存在する車を示している。先行技術に記載されたアルゴリズムでは、乗員の衣類が車より冷たいため、乗員を区分化することができないと考えられる。頭部を区分化することは可能かも知れないが、車の他の高温領域が妨害し、結果は著しく不良となる。
図４に関して記載したアルゴリズムでは、最初に、背景イメージＡと乗員が存在するイメージＢとの間の差分の絶対値を計算する。イメージＡは、例えば、車がアンロックされているときに撮ることができる。

結果Ｃは、雑音のある背景にぼんやりとした乗員のイメージを示す構造イメージである。
次に、構造に基づく区分化技術（例えば形態学的フィルタリング操作）を用いて雑音を除去し、乗員をクラスタ化して単一のエンティティにする。この工程によりマスクが生成され、乗員がいると考えられる部分がイメージ内に簡単に定められる。これを図Ｄに示す。

身体の大きさのような計算は、マスクイメージのみに基づいて行うこともできるが、このバイナリマスクに原イメージＢを乗算して乗員の切抜きイメージＥを生成することにより、更に多くの情報を利用することができる。
ここで、閾値技法を用いて、高温の背景被写体に妨害されることなく頭部を識別することができるが、これは、乗員が服を着ている場合にのみ有効に働くことになる。これに優る方法は、最初にイメージＤのマスクの大きさから体格を推定し、次に、頭部に割り当てるべき大きさの分率（例えば１／８）を定め、マスクされたイメージＥの上側部分にこの大きさの円形の被写体を探すことである。

また、所与の方向の範囲及び位置内に延びるイメージ特徴を探索する段階手法を用いて、フロントエアバッグ位置（フロントシート乗員に対するステアリング・ホイール又はダッシュボード）を容易に見つけ出すことができる。或いは、この位置は、固定されている場合には、センサに予めプログラムすることもできる。
結果を図Ｆに示しており、ここでは、八角形を用いて頭部７の位置に印を付け、太線がステアリング・ホイール４位置を示し、細線１１が頭部とステアリング・ホイール内のエアバッグとの間の距離を測定している。
次に、単純な乗算器を用いてイメージピクセルでの距離を車内の実際の距離の推定値に換算することができる。

この推定値は、頭部が広視野センサに向かって及び離れて移動するときのイメージでの頭部の大きさの明らかな拡大／縮小を監視することで、センサから頭部までの距離のばらつきを更に推定することにより改善することができる。
乗員、乗員の大きさ及び頭部位置、及びエアバッグ位置を全て同じイメージ（センサ技術、センサの場所、及びイメージ処理の組み合わせの新しい選択法により得たもの）内から識別することによるイメージ内からのこの直接形式の測定は、例えば、シート位置及びステアリング傾斜及び作動範囲のための第２のセンサが必要でないことを意味する。

図３のイメージＡ〜Ｆに示すイメージを処理するための第１のアルゴリズムは図４に示しており、以下の段階を有する。
段階１：基準イメージＩｒｅｆ（イメージＡ）を、長時間にわたって多数のフレームを平均することにより計算するか、メモリ記憶から取り出す。例えば、エアバッグ制御の用途では、運転者が車両に近づいてドアロックを操作するときに、短期間、例えば数分の１秒にわたって一連のイメージを取得することができる。被写体が動いているシーン、例えば、ショッピングモールにおける人々の場合には、例えば数分間にわたって平均化を行うと個々の影響が低減される。

段階２：現在のイメージＩｎｏｗ（イメージＢ）を取得する。これは、無限ループの入口ポイントであり、このループは、誤差が蓄積するとリセット信号により中断することができ、この場合、アルゴリズムが再開することになる。現在のイメージは、装置以外には供給されず、専ら内部の前処理アルゴリズムで用いられる。
段階３：差分イメージ（イメージＣ）の絶対値を計算する。カメラから得た最新のイメージをピクセル毎に基準イメージから差し引き、負の結果には、−１を乗算することにより正の数に変換する。この結果は、被写体がシーン内で移動した部分を除いて雑音である正のイメージである。

段階４：背景の雑音は、低振幅の非構造化形状として識別される。大きな信号を有する構造化形状は、被写体が存在する領域を示す。構造及び雑音検出アルゴリズムを用いて、段階３のイメージ中の各ピクセルを被写体又は背景としてラベル付けするバイナリマスクイメージ（イメージＤ）を生成することができる。また、本発明のアルゴリズムは、例えばシート乗員により形成される単一の連続的な領域ではなく、多数の個別の領域が存在する可能性がある、例えばショッピングモールでの使用にも適用可能である。マスクイメージは、段階４の後にセンサから出力され、シルエット情報を提供することができる。これは、プライバシーを保護する必要がある場合、例えば、保安要員による監視付きの侵入者検出システムに有用とすることができる。マスクイメージを用いて、例えばマスクイメージのピクセルを計数することにより、占有されているイメージの面積から乗員の体格を推定することができる。センサを車両シートの重量センサと共に用いて、体格をより正確に推定することができる。

段階５：入力イメージＩｎｏｗをマスクイメージでマスクすることによりサブイメージ（イメージＥ）を生成し、各サブイメージの座標位置を計算する。次に、装置によりこれらのサブイメージ及びこの座標を後続の処理システムに通信する。
段階６：背景基準イメージＩｒｅｆ（イメージＡ）は定期的に更新する必要がある。これを達成する１つの手段は、Ｉｎｏｗイメージの長期間の平均を計算することによるものである。

また、これより更に複雑な他の方法を用いて、動的変化が大きい環境での性能を改善することもできる。
上記の図４のアルゴリズムは、当業者にはコンピュータコードで容易に書くことができ、適切な媒体、例えば図１３及び図１４のアレイ上のメモリチップ又は該アレイと一体化したメモリチップ内に記憶させることができる。
図４のアルゴリズムは、他の検出器アレイに用いることもできる。このアレイは、２Ｄイメージを生成する従来のどのような形式のカメラのものでもよく、可視、赤外、又は熱赤外周波数帯で動作するものでもよい。これにより、以下の理由により強化された結果が得られる。

通常のカメラシステムは、観察されているシーンに関係なく、視野領域のフルフレーム像を生成する。本発明の一態様による装置は、カメラ及び前処理アルゴリズムを含み、この前処理アルゴリズムは、通常の方法で像を生成する代わりに、シーン内の新しい被写体及びシーン内でのこれらの位置を示す一連のサブイメージを出力するだけのものである。
例えば、このような装置を用いて、事務所を監視することもできる。誰もいない事務所では、カメラは何も出力しない。職員が事務所に入ると、装置は位置情報と共に事務所を動き回る職員の一連のサブイメージを生成する。

この装置は、以下の利点を有する。すなわち、観察領域に新しい被写体が存在しない場合には、カメラはデータを生成せず、従って、データ処理による間接費又は後続のイメージ処理又はエンコードシステムによる電力消費もない。また、新しい被写体が観察領域内に存在するときに、データ出力されるのは、イメージ座標系での被写体の（ｘ、ｙ）位置、及び被写体のサブイメージ、すなわち「切抜き」のみである。この切抜きは、元のイメージのグレイレベル、すなわち色レベルを変化させず、従って、次に、何らかのイメージ認識又はパターン処理を用いて、被写体を認識又は分類し、これを追跡することができる。また、切抜きには背景が含まれない。

また、生成されたバイナリマスクは、得られた切抜きが、背景のみを示し、室内の個人を示さないように反転させることもできる。これは、刑務所の独房の監視のように、オペレータは部屋がそのままであり、囚人が通常の位置にいるのを見ることを望むが、囚人のプライバシーを保護するような業務に有用である可能性がある。
別の用途は家宅侵入者システム監視であり、ここでは警報受信センターが室内での行動を観察して窃盗が行われていることを確認する必要があるが、顧客はプライバシーの保護を望む。

アレイ内の各検出器の集合的出力から人の頭部の位置を得るための別のアルゴリズムが図１２に詳細に示されている。段階１〜段階１５を示している。段階３の後の出力は、処理する必要がない車の領域を除外するようにセンサを設定するのに用いることができる。段階３の出力は、例えば、コンピュータの液晶ディスプレイ上で観察することができ、次にこのコンピュータを用いて、アレイ内の幾つかの検出器を選択的にオフにすることができる。頭部位置感知の場合には、段階１３の後に可能な出力は必要ではなく、段階１５の出力のみを用いて、例えば、エアバッグ開口部への接近度を計算するために頭部位置を認知する必要があるエアバッグ制御装置に通信する。

アルゴリズム図１２の処理段階は以下の通りである。
以下のアルゴリズムの目的は、サーマルイメージから関心のある被写体を識別することである。主な適用領域には、頭部位置感知が必要なエアバッグ制御のための頭部位置感知、人、ペット、蛛及び昆虫を区別し、並びに無生物被写体を除外することが必要なバーグラ警報用の侵入者検出が有望である。

段階１：カメラのゲイン及びレベルの設定を固定する。これにより、撮像装置が、カメラのゲインを自動的に調節してイメージ内に十分なコントラストディテールを与えるようにし、イメージの平均グレイレベルが中央値に確実に近接するレベルを設定する。露出を自動的に設定する方法は幾つかあるが、ここで重要な点は、ゲイン及びレベル設定が計算されると、これらが固定されることである。このことは、シーンのグレイレベルは、ゲイン及びレベル制御のばらつきの結果ではなく、温度が変化した場合にのみに変化することを意味している。ゲイン及びレベルを固定すると、無制御の誤差を誘導することなく後でイメージ算術計算を行うことができる。

段階２：短時間にわたる多数のフレームを平均することにより、基準イメージＩｒｅｆを計算する。この段階により、ユニットは低雑音の基準イメージを計算することができる。所与の時間にわたる幾つかのフレームを平均することにより、時間変動ピクセル非依存性雑音が減少する。後の算術演算は、基準イメージの低減された雑音レベルからの恩恵を受けることになる。例えば、エアバッグ制御への応用では、運転者が車両に近づいてドアロックを操作するときに、短時間、例えば１秒にわたって一連のイメージを取得することができる。被写体が動いているシーン、例えばショッピングモールの人々の場合には、例えば１分間にわたって平均化を行うと、個々の人の影響が減少する。止まっている人がいる場合には、アルゴリズムの残りの部分が補正されることになるため、止まっている人がいるかどうかは問題ではない。

段階３：現在のイメージＩｎｏｗを取得する。これは、無限ループへの入口ポイントであり、この無限ループは、誤差が蓄積するとリセット信号により中断することができる。リセットは、キー（例えば自動車のドアロック、バーグラ警報の設定）によるか、又はシステム挙動を監視するウォッチドッグ回路により、或いは単にパワーアップにより起動されることになる。ループは、ほぼ通常のＴＶフレームレート、例えば２５〜３０Ｈｚで、或いはこの用途での必要に応じた他の何らかの要求周波数で動作させることができる。システムの最大周波数は、検出器アレイのサーマル時間定数によって決定され、数百ヘルツの場合もある。低い方の周波数限界はない。この段階では、出力ポートを通してライブイメージをディスプレイ装置に提供することができる。このようなイメージは、例えば侵入者警報業界で、手動による確認の目的で必要とされることがある。イメージは小さく、６４×６４ピクセル（１ピクセル当たり８ビット）＝３２７６８ビットである。これは、大幅に圧縮することができ、例えば２０：１の比にして、１．６ｋビット／秒にすることができる。３０フレーム／秒では、全データレートは、４９ｋビット／秒である。従って、全空間分解能でのライブイメージは、従来の電話回線（容量５６ｋビット／秒）で警報受信センターまで送信することができる。

段階４：差分イメージＩｄｉｆｆ＝Ｉｎｏｗ−Ｉｒｅｆを計算する。アレイからの最新のイメージを基準イメージから差し引く。人が視野に入り、背景より温かい場合（典型的な場合）には、この差分イメージは、雑音背景に対して温かい被写体を示すことになる。例えばドアなどの無生物被写体が移動する場合には、イメージは静的な変化を示すことになり、これは長時間にわたって持続することになる。この段階では、移動する被写体又はずれた被写体の位置を識別する。
段階５：Ｉｄｉｆｆの背景での雑音レベルを計算する。背景の低レベル雑音を除去する必要があるが、閾値処理する前ではゲイン設定及び環境特性が未知である可能性があるため、雑音の特性を明らかにすることは有利である。これは、標準的な統計学的手法を用いて行うことができ、最適な閾値を設定して全ての背景雑音を除去することができる。

段階６：雑音閾値Ｔｎを雑音レベルの直ぐ上に設定する。これは説明するまでもないであろう。
段階７： マスクイメージを計算する。
｛｜Ｉｄｉｆｆ｜＞Ｔｎ｝ならばＩｍａｓｋ＝１、そうでなければ０
である。差分イメージの各ピクセルＩを順に見て、設定した閾値よりグレイレベルの大きさ（又は絶対値）が大きいかどうかを検討することにより、Ｉｍａｓｋの対応するピクセルを１又は０に設定することができる。従って、Ｉｍａｓｋが１に等しい領域は、移動又は何らかの他の種類の変化、例えばヒータが入ることなどがあった位置を表している。
段階８：必要であれば、より高い閾値Ｔｈを用いてマスクイメージのブロブを細分化し、顔／頭部を特定する。頭部位置検出システムでは、体全体を位置決めするだけでは十分ではない。より高い閾値を用いると、イメージ内の温かい被写体を分離することができる。これは、通常、衣類で覆われた領域ではなく、露出した皮膚である。

段階９：Ｉｍａｓｋのブロブに番号をラベル付けして計算し、このラベル、時間、大きさ、位置、縦横比等を記憶する。マスクイメージの各別個のラベル付けされた領域を識別し、フレーム間で追跡する必要がある。多数のラベルはブロブの識別に役立ち、後での検索及び比較のためにこのブロブに行った測定の値を格納する。
段階１０：ＩｎｏｗにＩｍａｓｋを乗算することにより、各ブロブのサブイメージを生成する。段階９で特性付けられたブロブは、効果的なシルエットであった。この段階では、入力イメージＩｎｏｗからグレイレベルを取得し、これをマスクした領域にコピーする。視覚的には、これにより、元のＩｎｏｗイメージの切抜きのイメージが生じるが、このイメージは、グレイレベルの詳細だけを含むため、被写体を認識することができる。

段階１１：測定したパラメータ、サブイメージ内の特徴、及び運動パターンにおいて類似性を探すことにより、各ブロブを追跡する。被写体がイメージを横切って動いたかどうかを決定するために、連続するフレーム間で被写体を追跡する必要がある。
段階１２：温度の高いブロブが時間が経つとイメージを有意に横切って動く場合には、「生体」とラベル付けし、温度の低いブロブを無視する。温度の高い移動する被写体（人又は動物）は、特に関心のあるものであり、従って、付加的なラベルを用いてこれらを識別する。温度の低いブロブは、昆虫及び蛛又は移動する家具等により生じるものである可能性があり、これらには関心はないので無視する。

段階１３：「生体」ブロブの縦横比が、任意の時間比率に対して垂直方向が大きい場合には、警報リレーを起動する。本発明を侵入者検出器として用いる場合には、既に収集されて解析されたデータを用いて、侵入者が部屋に入ったことを表示することができる。専用出力ピンを設けて、トランジスタ又はリレー回路を駆動することにより、既存の警報設備内の侵入者検出器として本発明を直ちに用いることができる。

段階１４：「生体」とラベル付けされなかったブロブが長期間にわたって静止したままでいる場合には、Ｉｒｅｆにこのサブイメージを加え、更に、ＩｒｅｆのあらゆるＤＣシフトをも補正する。開いたドアなどの被写体は、基準イメージとの間に差異が生じるが、これは関心のあるものではない。このようなブロブが長期間、例えば何分にもわたって静止したままであれば、これらのサブイメージを加えることにより基準イメージに組み込み、これ以上の処理から除外することができる。背景イメージ領域のＤＣレベルを監視し、例えば室温の変化を追跡し、これらを補正するためにＤＣを適用することができる。

段階１５：頭部位置計算アルゴリズム、侵入者決定、圧縮、認識、ラベル付けアルゴリズム等へイメージ及びデータを出力する。データポートを設けて、内蔵アルゴリズムの結果を外部処理装置又は電子機器に通信する。これらは、例えば、エアバッグ開口部への近接度を計算するために頭部位置を認知する必要があるエアバッグ制御装置には有用なものである可能性がある。
上述のアルゴリズムは、当業者であれば容易にコンピュータコードで書き、適切な媒体、例えば、図１３及び図１４のアレイ上又はこれと一体化したメモリチップに記憶させることができる。
図１２の工程で人の頭部を検出する能力は、室内のサーマルイメージである図５〜図１１を調べることにより示される。

図５〜図７は、典型的な事務所内でのサーマルイメージの３つの異なる時間系列のフレームを示す。３つ全てに共通であることは、種々の高温被写体、例えばラジエータ、コンピュータ等があることである。図６、図７は、人が部屋に入るところを示している。人が部屋に入るところを検出するための従来のアルゴリズムでは、グレイレベル閾値を用いて温度が高い被写体を見つけ、連続するフレーム間の差を計算することにより動きを検出する。図８は、簡単なグレイレベル閾値処理の効果を示す。すなわち、個人を局所背景から分離するのに用いた閾値レベルは、散乱した被写体を除外するには低すぎる。閾値を上げると、室内で最も温度が高い被写体はラジエータであるため、人は段階的に閾値で外されるようになる。

図９は、イメージの差分検出の効果を示している。イメージの差分検出方法は、ラジエータのような静止した被写体を除外するのに極めて効果的であるが、残念なことには、侵入者のイメージに影響を及ぼす。侵入者を全体として見る代わりに、差分検出操作により異常な結果が生じる。
図１２のアルゴリズムは、このような問題のいずれにも煩わされず、意図した被写体のはっきりとした「切抜き」を生じ、図１１に示すようにサーマル特性から認識することができる。また、このアルゴリズムは、監視領域に動いて入ったが、明らかに無生物である被写体を排除する。
図１０に示す中間イメージは、背景を差し引いた結果である。

図１０のイメージは、基準イメージと現在のイメージとの間の差分であり、図１１のイメージは、雑音を閾値で除き、得られるマスクを用いて現在のイメージを定着させたものである。
図１１のイメージは、明らかに人であり、縦横比を計算するための高さ及び幅の測定は些細で容易なことである。他の形状情報もはっきりと視認することができ、演算している認識アルゴリズムに対して形状内の情報も利用可能である。

１つの適切なサーマルカメラアレイの詳細は、図１３、図１４に示すようなものである。サーマルイメージングアレイ２１は、シリコンの基板２２を含み、その上に、増幅器ゲートなどのような回路部品２３を成長させる。アレイ２１は、６４×６４アレイ内に配置された４０９６検出器を有する。各検出器２４は、各検出器２４に電圧を供給し、各検出器２４からの出力を読み取るための２つの行電極２５、２６及び列電極２７を有する。全ての行電極２５、２６は、行ドライバ２８により駆動され、全ての列電極２７は、列ドライバ２９により駆動される。この両ドライバは、図示していない外部回路部品に通信する制御回路３０により制御される。

各検出器２４は、国際特許ＷＯ／ＧＢ００／０３２４３号に記載されているように作ることができる。このような装置では、例えばチタンの層が基板表面３６から細い足３７、３８が約１〜２μｍの間隔を置いて配置されているマイクロブリッジ３５としてマイクロボロメータ３４を形成する。典型的には、チタンは、０．０５〜０．３μｍの範囲内の約０．１〜０．２５μｍであり、シート抵抗は、１．５〜６Ω／平方メートルの範囲内の約３．３Ω／平方メートルである。検出器マイクロブリッジ３５は、厚さが約λ／４（λは検出対象の放射線の波長）であるシリコン酸化膜層３９の下に支持されている。チタン検出器は、入射赤外線（８〜１４μｍ波長）を吸収し、温度によってその抵抗が変化する。従って、検出器の抵抗を測定することにより入射放射線の振幅値が得られる。
検出器３４は全て、壁４０と、窓又はレンズを形成する蓋４１とを備えた気密性容器内に収納される。壁４０は、シリコン酸化膜とすることができ、窓４１は、ゲルマニウム、シリコン、又はカルコゲナイドガラスとすることができる。典型的には、容器内圧力は１０Ｐａ未満である。

図１５は、各検出器の読み出し方法を示している。２つの線路が示されている。第１の線路の検出器は、各々の一端が＋Ｖｂｉａｓ電極５１に接続された抵抗Ｒ_1-1〜Ｒ_1-64で示されている。抵抗の他方端は、スイッチ１を通して基準抵抗Ｒ１の一方端に接続された読み出し電極と積分コンデンサ増幅器５４とにスイッチＳ₁〜Ｓ₆₄を介して接続可能である。基準抵抗Ｒ１は、＋Ｖｂｉａｓと同じ振幅の負のバイアス電圧に接続される。
同様に、第２のラインの検出器は、スイッチＳ_2-1〜Ｓ_2-64及びＳ２を通して積分コンデンサ増幅器５５と、基準抵抗Ｒ２とに接続された抵抗Ｒ_2-1〜Ｒ_2-64を有する。更にスイッチＳ３及びＳ４により、異なる組み合わせの接続が可能になる。

サーマルシーンは、各検出器３４が窓又はレンズ４１を通してシーンにより照射されるようにすることにより読み取られる。このサーマル照射により、各検出器の温度が上昇し、このため、その抵抗値が変化する。次に、第１の線路の各検出器は、積分時間の間にスイッチＳ₁〜Ｓ₆₄を経由して順に増幅器５４に接続される。従って、増幅器の出力電圧は、各検出器の温度に比例する。同様に、全ての他の線路も読み出される。全ての検出器の集合的出力により、サーマルシーンの電子写真が得られる。
ｘ、ｙアレイは、６４×６４アレイであることが好ましいが、ｘ及びｙには、２４〜９８の範囲の他の値を選択することもできる。最も好ましくは、ｘ及びｙの値は、単純なバイナリ回路を用いることができるように３２又は６４である。典型的には、ｘ及びｙは、約６４であるが、例えば６２を用いて、タイミングマーカ又は基準抵抗器のような他の目的のために２つの冗長な線路を残すこともできる。

６４×６４のアレイを用いると、人の中心窩によく一致する。眼球の高分解能部分（中心窩）は、視野の中心の約２度をカバーする。この高分解能部分では、分解能はほぼ１分角であり、１分角分解能は、２０：２０視力を表す。従って、２０：２０視力では、ディスプレイが観察者から快適な距離にある場合に、中心窩に１２０×１２０ピクセル、例えば１２８×１２８（便宜上）のイメージを満たすことができる。これを６４×６４ピクセルまで減少させて完全な視力より少なく表す場合に、本発明は、作動可能なディスプレイとみなすことができる。しかし、動くイメージは付加的な情報を含み、３２×３２でも認識可能である可能性があるが、ぎりぎりの範囲である。

約６４×６４のアレイを選択する有用性は、１つのサーマルシーンの写真を示す図１６〜図２３を参照して説明する。アレイの大きさを最小にすると、原材料及びイメージ処理回路部品のコストが低く抑えられ、従って、競争力の高い製品を得ることができる。
図１６は、２×２検出器アレイで撮ったサーマルシーンの写真を示す。有用なものは観察することができない。
図１７は、４×４検出器アレイで撮ったサーマルシーンの写真を示す。上部及び底部の２つの明るい領域を除き、有用なものは観察することができない。

図１８は、８×８検出器アレイで撮ったサーマルシーンの写真を示す。別個の明るい領域と暗い領域とを区別することができるが、予め認知していなければ、有用なものは殆ど観察することができない。
図１９は、１６×１６検出器アレイで撮ったサーマルシーンの写真を示す。ここでは、８×８アレイより改良されているが、詳細は区別することができない。
図２０は、３２×３２検出器アレイで撮ったサーマルシーンの写真を示す。ここでは、シートベルトを装着して車内に座っている運転者を示すのに十分な細部が利用可能であるが、顔は不鮮明である。
図２１は、６４×６４検出器アレイで撮ったサーマルシーンの写真を示す。ここでは、運転者の目鼻立ち及び衣類の細部を識別するのに十分はっきりしている写真である。

比較として、図２２及び図２３は、それぞれ１２８×１２８及び２５６×２５６検出器アレイで撮ったサーマルシーンの写真を示す。これらは両方とも、６４×６４アレイより細部まで示しているが、改善されたのはわずかであり、複雑さ及びコストを増大させるには値しない。
図２１の６４×６４アレイからの情報を用いて、ステアリング・ホイールに対する運転者の頭部位置を求めることができる。これから見られるように、運転者は、運転しながら深く座っており、例えば前かがみになってラジオを調整しているのではない。前者の場合、ステアリング・ホイールのエアバッグの通常動作は安全であるが、後者の場合には、ステアリング・ホイールのエアバッグの全開動作は安全ではない。

車両の概略平面図である。 イメージ内の運転者の頭部、サイド及びフロントエアバッグの相対的位置を示す図である。 温度の高い車両内のサーマルシーンのイメージＡ〜Ｆを示す図であり、最初のイメージＡは運転者なし、次のイメージＢは運転者がおり、イメージＣ〜イメージＦは、ステアリング・ホイール内のエアバッグに対する頭部位置を特定して測定するためにイメージＢを処理する際に取得された種々の段階を示す図である。 検出器のアレイ内の各検出器からの出力を処理するための第１のアルゴリズムである。 部屋に入ってくる人がいる部屋のサーマルイメージを示す図である。 部屋に入ってくる人がいる部屋のサーマルイメージを示す図である。 部屋に入ってくる人がいる部屋のサーマルイメージを示す図である。 閾値処理後の図７のイメージを示す図である。 イメージ差分検出処理後の図７のイメージを示す図である。 基準イメージと現在のイメージとの間の差分である部分的に処理したイメージを示す図である。 雑音を閾値処理して除き、得られるマスクを用いて現在のイメージを定着させた処理イメージを示す図である。 検出器のアレイ内の各検出器からの出力を処理するための第２のアルゴリズムを示す図である。 検出器のアレイを付随する回路部品と共に示す概略平面図である。 図１３の部分断面図である。 各検出器の接続に関する概略図である。 ２×２検出器アレイで撮ったシーンの図である。 ４×４検出器アレイで撮ったシーンの図である。 ８×８検出器アレイで撮ったシーンの図である。 １６×１６検出器アレイで撮ったシーンの図である。 ３２×３２検出器アレイで撮ったシーンの図である。 ６４×６４検出器アレイで撮ったシーンの図である。 １２８×１２８検出器アレイで撮ったシーンの図である。 ２５６×２５６検出器アレイで撮ったシーンの図である。

符号の説明

１ 車両
２ 運転者シート
３ 助手席シート
４ ステアリング・ホイール
５ フロントエアバッグ
６ サイドエアバッグ
７ 運転者の頭部
８ サーマルイメージングセンサ
９ 追加のセンサ
１０ バックミラー

Claims (20)

1. 安全拘束エアバッグの展開の制御に関連して車両で用いるための頭部位置センサであって、
   熱赤外線検出器のアレイと、
   シート乗員及び少なくとも１つのエアバッグの場所のイメージング用レンズシステムと、
   前記アレイのサーマルイメージからシートにおける乗員の存在と少なくとも１つのエアバッグに対する前記乗員の頭部位置とを求めるための処理装置と、
   を備えるセンサ。
2. 前記処理装置が、占有されているイメージ領域からシート乗員のおおよその体格を計算することを特徴とする請求項１に記載のセンサ。
3. 前記処理装置が、フロントエアバッグに対する前記乗員頭部の位置を求めることを特徴とする請求項１に記載のセンサ。
4. 前記処理装置が、前記アレイと一体化されていることを特徴とする請求項１に記載のセンサ。
5. 前記処理装置が前記アレイと一体化され、且つ図４のアルゴリズムを実行する内蔵ソフトウェアが組み込まれていることを特徴とする請求項１に記載のセンサ。
6. 前記乗員の手の位置を求めることによりステアリング・ホイール位置を求める手段を更に含む請求項１に記載のセンサ。
7. 前記車室内のサーマルイメージの特徴からステアリング・ホイールの位置を求めることによりフロントエアバッグの位置を求める手段を更に含む請求項１に記載のセンサ。
8. 前記センサが、検出器のｘ、ｙアレイを有し、該ｘ，ｙの少なくとも一方が２４〜９６の範囲内であることを特徴とする請求項１に記載のセンサ。
9. 車両の安全エアバッグを制御するための情報を得る方法であって、
   サーマルイメージ検出器のアレイ及びレンズシステムを準備する段階と、
   車両乗員のサーマルイメージを生成する段階と、
   前記サーマルイメージから前記エアバッグを備える車両部分に対する前記乗員頭部位置を求める段階と、
   前記乗員の頭部位置を表す出力信号を生成し、これにより車両制御装置が前記エアバッグの少なくとも１つの展開を調節することができる段階と、
   を含むことを特徴とする方法。
10. 前記サーマルイメージの運転者の手の位置からステアリング・ホイール位置を求める段階を更に含む請求項９に記載の方法。
11. 前記サーマルイメージの占有サイズから体格を推定する請求項９に記載の方法。
12. 前記体格が、前記車両シートからの体重測定値と共に、前記サーマルイメージの占有サイズから推定されることを特徴とする請求項１１に記載の方法。
13. 前記頭部位置が、検出されたサイズを用いてセンサからの距離を推定し、且つ前記サーマルイメージの頭部の相対的位置を用いて３次元のうちの他の２次元の寸法を求めることにより、３次元で推定されることを特徴とする請求項９に記載の方法。
14. 前記頭部位置が、サーマルイメージ検出器の２つのアレイ及び三角法計算を用いることにより得られることを特徴とする請求項９に記載の方法。
15. 前記サーマルイメージが、図４のアルゴリズムの段階の少なくとも一部を用いることにより処理されることを特徴とする請求項９に記載の方法。
16. 図４又は図１２に列挙した段階の少なくとも一部を含む、検出器のアレイの各検出器から得られる出力を処理するアルゴリズム。
17. シーン内の新しい被写体及び該シーン内での該被写体の場所を示す一連のサブイメージを出力するイメージングアレイであって、
    各々がピクセルを形成する、ｘ又はｙの少なくとも一方が２４〜９６の範囲内である検出器のｘ×ｙのアレイを支持する基板と、
    各検出器からの電気信号を別々に受け取る電極と、
    シーンのサーマルエネルギーを前記アレイ上に配向する光学的手段と、
    前記検出器を周囲環境から隔離する容器封入手段と、
    図４又は図１２のアルゴリズムの段階を演算するための内蔵処理装置及びソフトウェアと、
    を含むアレイ。
18. 出力が、図４のアルゴリズムの段階４、５の少なくとも１つ又は段階５の反転から取られることを特徴とする請求項１７に記載の撮像アレイ。
19. 前記出力を用いて、監視しているシーンに侵入者の存在の表示を提供することを特徴とする請求項１７に記載のアレイ。
20. 赤外線検出器のｘ，ｙアレイと、
    赤外線放射を関心領域から前記検出器のアレイに配向するためのレンズシステムと、
    各検出器の出力を読み取って前記関心領域のサーマルイメージを生成し、侵入者の存在の表示を提供する信号処理手段と、
    を備える侵入者検出システム。

Images