JP2004133945A - 区分化イメージを分離する方法及びそのための区分化システム - Google Patents

Abstract

【課題】センサにより捕えた現在の周囲イメージから現在の区分化イメージを分離すること。
【解決手段】本発明の区分化システムは、周囲イメージ38内において、乗客の区分化イメージ31を識別するために、現在の周囲イメージを前の周囲イメージと比較し、現在の区分化イメージの境界を現在の周囲イメージと前の周囲イメージとの間の差により識別し、そして、ハウスドルフ ディスタンス ヒューリスティック手法を用いて、テンプレートを前記識別された境界に合致させる。過去のセンサ測定値からの区分化イメージ31は、最新で捕えた周囲イメージ内の注目領域を決定するために役立つ。処理時間を短くするために、システムは、区分化イメージの底部が動かないものと仮定する。センサによって捕捉された種々の周囲イメージ間の差は、乗客による動き、即ち区分化イメージの境界を識別するのに用いられる。テンプレートイメージは、将来の周囲イメージのために変更可能であり、所定角度範囲に対して区分化イメージの境界に適合し、その有効性が評価される。
【選択図】図３

Description

　本発明は、一般的に、動作中の人または物体を含み、これらを取巻く領域の周囲イメージから、動いている人または物体のセグメント化されたイメージ（画像）を分離するために使用されるシステム及びその技術に関する。特に、本発明は、エアバッグの適切な展開決定を行うことができるように、乗客を含む領域の周囲イメージから乗客の区分化イメージを分離することに関する。

　目標物とされる人または物体の「区分化イメージ」(segmented image)を周囲イメージから分離することが望ましい状況は多くあり、この区分化イメージには、目標物とされる人または物体を取り巻くイメージを含んでいる。エアバッグ展開装置は、このような技術の１つの応用である。エアバッグ展開装置は、乗客のイメージから得ることができる乗客の特性に対する１つまたは他の方法に関係する、種々の展開決定を行う。乗客のタイプ、エアバッグに対する乗客の接近度、乗客の速度及び加速度、乗客の重量、エアバッグと乗客との間の衝撃を吸収するのに必要なエアバッグの展開エネルギー量、および他の乗客特性は、エアバッグ展開の意思決定の中に組み入れることができる。

　イメージ区分化技術に関する現在の技術には、多くの障害がある。ブレーキ動作時または衝突時において車両内の乗客の区分化イメージを識別する場合、従来のイメージ区分化技術は、高速度で動く目標環境には適さない状況にある。従来のイメージ区分化技術は、乗客とその周囲環境との間の境界の識別化を助けるために、乗客の動きを用いていない。イメージの区分化を補助するために乗客の動きの代わりに、従来システムでは、一般的に、低速度の動作又は静的環境に適した最善の技術を利用しており、区分化処理を助ける動きに関する特性を用いないで乗客の動きを克服しようとする。

　この動きに対する挑戦は、タイムリーなチャレンジに関係している。一般的に、標準のビデオカメラは、１秒間ごとに約４０フレームのイメージを捕える。多くのエアバッグ展開装置では、標準ビデオカメラよりも速く読み取るセンサを包含している。エアバッグ展開装置は、展開の決定に対する信頼性のある情報をリアルタイムで必要とする。イメージまたは他のセンサデータを迅速に捕えることは、次のフレーム又はセンサの測定値が捕捉される前に、乗客の区分化イメージを識別することができない場合、エアバッグ展開装置の手助けにはならない。エアバッグ展開装置は、最もゆっくりした必要な処理ステップをできるだけ迅速に行うことができのみである。それゆえ、区分化処理を助けるために乗客の動きを用いるイメージ区分化技術は、そのジョッブをより迅速に実行しなければ、乗客とその周囲環境の間の識別要素となる動きを利用することができない。

　一般的に、従来の装置は、区分化処理の中に特定の状況環境に関するインテリジェンス情報を包含させることができない。そして、このような装置では、周囲イメージの特定領域に焦点をあわせることができない。エアバッグ展開処理操作のために特に設計された区分化処理は、一般的な目的のイメージ区分化処理では与えられない前後関係に依存したインテリジェンス情報を包含させることができる。例えば、システムは、次に続く予想された動きを有する過去の予測を含み、最新の区分化イメージ情報を用いて、周囲イメージ内の重要な領域に焦点を合わせることが望ましい。センサ測定値を迅速に捕える際に、センサ測定値間での乗客位置の動きに限界がある。このような限界は、センサ測定値間の時間周期等のファクタに密接に関係する。

　従来の区分化技術は、車両内の乗客の動きに有効な仮定を包含させることができない。シート領域内において乗客が最小の動きの中で腰回りを回転させる状況を考慮に入れて、車両の区分化処理を実行することが望ましい。このようなインテリジェンス情報は、周囲イメージの最も重要な領域に焦点を合わせるためのシステムが可能になり、貴重な処理時間を節約する。

　さらに、現在の区分化システムにおける処理時間要求が増大すると、過去のデータを現在の決定に組み入れることになり、システムの失敗をもたらすことになる。カルマン(Kalman)フィルタ等の技術を用いて乗客特性を追跡しかつ予測することは望ましいことである。また、各センサ測定値を調整することができる周囲イメージにテンプレートを適用することが望ましい。再使用可能で修正可能なテンプレートを用いて、過去のデータを現在の決定に包含させることは有効な方法であり、スクラッチ(scratch)から区分化イメージを再度作り出す必要性を軽減する。

　本発明は、「周囲イメージ」から、乗客又は他の「注目目標物」の区分化イメージを形成するのに用いられる区分化イメージを分離する方法及びそのための区分化を提供することを目的としている。この周囲イメージは、目標物、及び目標物を取巻く車両内の環境を含んでいる。本システムは、最新の周囲イメージ(現在の周囲イメージ）と、前の周囲イメージ（先行周囲イメージ）とを比較することによって区分化イメージの大まかな境界を識別することを目的とし、また、先行周囲イメージから導かれた区分化イメージの調整可能なテンプレートは、境界の識別、更に境界を改善させるために利用する。

　上記目的を達成するための本発明は、センサにより捕えた現在の周囲イメージから現在の区分化イメージを分離するための方法であって、現在の周囲イメージを前の周囲イメージと比較し、前記現在の区分化イメージの境界を現在の周囲イメージと前の周囲イメージとの間の差により識別し、そして、ハウスドルフ ディスタンス ヒューリスティック手法を用いて、テンプレートを前記識別された境界に合致させる、各ステップを含むことを特徴としている。

　また、他の構成によれば、本発明は、現在の周囲イメージから現在の区分化イメージを分離するための方法であって、現在の周囲イメージ内の注目領域を前の周囲イメージから識別し、前記現在の周囲イメージ内の注目領域を、前の周囲イメージ内の対応する領域と比較することによって決められたイメージ差にローパスフィルタを適用し、イメージ振幅を急速に変化させて、現在の周囲イメージ内のある領域を見出すためのイメージ勾配計算を実行し、前記イメージ差分を所定の累積分布関数を用いて閾値化させ、イメージ勾配計算の結果をクリーニングし、ハウスドルフ ディスタンス ヒューリスティック手法を用いて、このクリーン化された結果にテンプレートイメージを合致させ、更に、前記テンプレートイメージに１つの長円を適合させる、各ステップを含むことを特徴としている。

　さらに、本発明の区分化システムは、周囲イメージから区分化イメージを分離するために、区分化イメージと注目領域を含む周囲イメージと、勾配イメージを含み、前記注目領域内に前記勾配イメージを生成する勾配イメージモジュールと、テンプレート、テンプレートマッチ、及びハウスドルフ ディスタンス ヒューリスティック手法を含み、前記テンプレート、前記勾配イメージ、及びハウスドルフ ディスタンス ヒューリスティック手法からテンプレートマッチを生成するテンプレートモジュールと、を備えることを特徴としている。

　また、他の構成によれば、本発明は、現在の周囲イメージ内の注目領域を決定するステップを含み、このステップは、前の区分化イメージから現在の区分化イメージの位置を予測するステップを含んでいる。また、さらに、注目領域内に存在しない現在の周囲イメージの一部分を無視するステップを含んでいる。また、他の構成によれば、前の区分化イメージ内の底部領域（下側部分）は、現在の周囲イメージにおいて無視される。現在の周囲イメージ内の複数のピクセルは、前の周囲イメージ内の対応する複数のピクセルと比較される。現在の周囲イメージ内の前記複数のピクセルにおける各ピクセルは、前の周囲イメージ内の対応する前記複数のピクセルと比較される。

　さらに、前記識別された境界にローパスフィルタを適用するステップを含んでいる。また、現在の周囲イメージと前の周囲イメージとの間に変化領域を配置するためにイメージ勾配のヒューリスティック手法を実行するステップを含む。さらに、前記識別された境界を閾値化するステップを含む。さらに、現在の区分化イメージとして、前の区分化イメージを選択するステップを含む。さらに、クリーン勾配イメージのヒューリスティック手法を実行するステップを含む。テンプレートを合致させるステップは、前記テンプレートを所定の角度範囲で回転させることを含んでいる。さらに、クリーン勾配イメージ及び回転したテンプレートの縦横ピクセル積を計算するステップを含む。縦横ピクセル積は、前記角度範囲内の複数の所定角度に対して計算される。

　また、他の構成によれば、本発明のテンプレートを修正するステップは、三次スプライン適合(cubic spline fit)を設定するステップを含み、。制御点の新しい組を設定する。さらに、長円をテンプレートに適合させるステップを含む。このステップは、直接最小二乗法を適用するヒューリステック手法を実行するステップを含んでいる。

　本発明の好ましい実施形態では、長円を適合させるために、前の長円の下側部分を複写するステップを含んでいる。テンプレートモジュールは、座席位置に留まる前記区分化イメージを仮定し、テンプレートを回転させる。更に、複数の所定角度を含む角度範囲を有しており、テンプレートモジュールは、複数の所定角度の各々に対してテンプレートを回転させる。

　さらに、本発明の区分化システムは、プロダクトイメージ、二進化イメージ、及び非二進化イメージをさらに含み、前記テンプレートは、二進化イメージであり、前記勾配イメージは、非二進化イメージであり、前記プロダクトイメージは、前記テンプレートに前記勾配イメージを乗算することによって生成される。さらに、本発明のシステムは、平均エッジエネルギー及びバリディティフラッグを含み、テンプレートモジュールは、平均エッジエネルギーを用いて、バリディティフラッグを設定することを特徴とする。

　また、本発明の好ましい実施形態では、周囲イメージの一部分だけが、処理動作を受ける。注目領域は、先行区分化イメージに関係する情報を用いることによって現在の周囲イメージ内で識別することができる。好ましい実施形態では、シートに接近している周囲イメージの領域を処理する必要を取り除いて、車両の乗客は、座ったままであると仮定される。その結果、区分化イメージのベース部分は固定され、システムは周囲イメージの部分を無視することができる。

　本システムの多くの実施形態では、特定の周囲イメージが使用に対して信頼性があるかを決定するために、イメージ閾値のヒューリスティック手法を適用する。動きが多い場合、周囲イメージは信頼性がない。動きがあまりに少ないと、周囲イメージを必要としなくなる。広範囲の異なる技術は、テンプレートを適合させかつ修正するために使用することができる。いくつかの実施形態では、テンプレートは、ある角度範囲内で予め規定された一連の角度によって回転する。各角度では、特定の「適合（fit)」が、広いレンジで種々のヒューリスティック手法を用いて評価することができる。

　本発明における種々の構成上の特徴は、好ましい実施形態の詳細な記述及び図面を参照することにより、当業者には明らかになるであろう。

　本システムは、最新の周囲イメージ(現在の周囲イメージ）と、前の周囲イメージ（先行周囲イメージ）とを比較することによって区分化イメージの大まかな境界を識別することができる。

　本発明の区分化システムは、乗客のイメージを含む領域の全体のイメージ（周囲イメージ）内において、乗客の区分化イメージを識別でき、過去のセンサ測定値からの区分化イメージは、最新で捕えた周囲イメージ内の注目領域を決定するために役立つ。処理時間を短くするために、システムは、区分化イメージの底部は動かないものと仮定され、センサによって捕捉された種々の周囲イメージ間の差は、乗客による動き、即ち区分化イメージの境界を識別するのに用いることができる。

　先行周囲イメージから導かれた区分化イメージの調整可能なテンプレートは、境界の識別、更に境界を改善させるために利用できる。テンプレートイメージは、所定角度範囲に対して区分化イメージの境界に適合し、その有効性が評価される。また、テンプレートイメージは、将来の周囲イメージのために変更することができる。

　本発明は、目標物及びこの目標物を取巻く領域を含む「周囲イメージ」から、乗客または他の「目標」対象物（集合的な乗客）の区分化イメージを捕えることができるイメージ区分化システムである。

I．　周囲環境の部分図
　図１は、本発明に係る一実施形態におけるイメージ区分化システム１６を有するいくつかの異なる実施形態に用いられる周囲環境の部分図である。乗客１８がいる場合、この乗客１８はシート２０に座っている。好ましい実施形態では、カメラまたは他のセンサ２２（集合的にカメラ２２）が、イメージを迅速に捕らえることができるように乗客の上方のルーフライナー２４に取り付けられている。その場所は、乗客１８よりも前方の風防ガラス２６の近くにある。このカメラ２２は、乗客１８に向けて僅かに下方に傾斜した角度で配置され、シート２０の前後移動により生じる乗客１８の上部胴体の角度変化を捉えるようになっている。カメラ２２は、従来技術でよく知られるように多くの位置に取り付け可能である。さらに、イメージ区分化システム１６において、標準ビデオカメラを含む異なるカメラ２２が広範囲に使用され、このカメラは、一般的に１秒あたり約４０コマのイメージを捕えることができる。このシステムには、高速及び低速の両方のカメラを使用することができる。

　ある実施形態において、カメラ２２は、暗い場所において、一定の照明を与えるために、直流で動作する赤外線光源を備えることができる。このシステム１６は、夜の時間、霧、激しい雨、かなりの曇天、太陽のかげり等の暗い条件、及び一般的に昼間の状態よりも暗い環境下にも使用できるように設計されている。

　このシステム１６は、より明るい光の状態においても使用することができる。赤外線の光を用いれば、乗客１８からの光源の使用を隠すことができる。別の実施形態では、カメラから離れた光源、赤外線以外の光を発生する光源、及び交流を用いて周期的な方法で放射される光等の１つまたはそれ以上の光を利用することができる。システム１６は、広範囲の他のライティング及びカメラ形態を含むことができる。さらに、このシステム１６では、異なるヒューリスティック手法及び閾値をライティングの状態により適用することができる。こうして、システム１６は、乗客１８の現在の環境に関する「インテリジェンス」を備えることができる。

　コンピュータ、コンピュータネットワーク、又は他の計算装置または形態では、イメージ区分化ロジックを包含しており、ヒューリスティック手法を実行することができ、また、コンピュータプログラム（集合的にコンピュータシステム３０）を実行することができる。このコンピュータシステム３０は、以下で説明する区分化処理を実行できるどのような種類のコンピュータ又は装置であってもよい。

　コンピュータシステム３０は、車両のどのような位置にも取り付けることができる。好ましい実施形態では、コンピュータシステム３０は、カメライメージを長い配線を介して送ることを避けるために、カメラ２２の近くに配置される。エアバッグコントローラ３２は、計器パネル３４内に設けられる。しかし、システム１６は、エアバッグコントローラ３２が異なる環境に配置されたとしても、十分に機能する。

　同様に、システム１６は別の位置に配置できるが、エアバッグ展開システム３６は、乗客１８およびシート２０の前側の計器パネル３４内に配置されることが望ましい。ある実施形態では、エアバッグコントローラ３２は、コンピュータシステム３０と同一の装置となる。システム１６は、車両及びエアバッグ展開システム３６の設計上の変化に対応して柔軟に実現することができる。

II.　エアバッグ展開のための高レベル処理の流れ
　図２は、エアバッグ展開プロセスを含むイメージ区分化システム１６の一例を説明する高レベルのフローチャートを示している。シート領域２１の周囲イメージ３８は、乗客１８及びシート領域２１の両方を含み、カメラ２２によって捕らえることができる。図２では、シート領域２１は、乗客全体を含んでいる。しかし、ある状況下または実施形態において、特に、カメラ２２が下側の手足を見ることができない位置に配置されている場合、乗客１８のイメージの一部だけが捕えられる。

　この周囲イメージ３８は、コンピュータ３０に送られる。コンピュータ３０は、周囲イメージ３８から乗客１８の区分化イメージ３１を分離することができる。コンピュータ３０がイメージ区分化を実行するプロセスは、以下に記載されている。この区分化イメージ３１は、適当なエアバッグ展開の決定を決めるために分析される。このプロセスもまた以下で説明される。例えば、乗客１８が、エアバッグ展開時に展開するエアバッグ３６にあまりに近づきすぎているかどうかを決定するために、区分化イメージ３１を使用することができる。区分化イメージ３１の分析及び特性が、エアバッグコントローラ３２に送られ、エアバッグ展開装置３６が乗客１８に関係して得られる情報を用いて適切なエアバッグ展開の決定を行うことができる。

　図３は、エアバッグコントローラ３２に適切な乗客データを送ることにより、周囲イメージ３８を捕える時点からのプロセスの例を詳細に示している。このプロセスは、乗客が車両内にいる限り連続して繰り返される。好ましい実施形態では、過去のデータは、現在のデータの分析に組み入れられ、そして、プロセスの流れは、図の底部にあるエアバッグコントローラから図の上部に戻るようになっている。

　新しい周囲イメージ３８は、カメラ２２または他のセンサによって繰り返し捕捉される。最近捕えた周囲イメージは、現在の周囲イメージとすることができる。古い周囲イメージは、前の周囲イメージ３８または過去の周囲イメージとすることができる。前の周囲イメージは、現在の周囲イメージが捕捉される前に、約1／40（秒）より少ない時間で捕捉される。カメラ２２が周囲イメージ３８を捕えた後、周囲イメージは、イメージ区分化サブシステム４０（イメージ区分化プロセス）の過程において処理される。イメージ区分化の処理は、以下で詳細に説明される。図に示すように、区分化処理は、エアバッグコントローラ３２から得られる、またはコンピュータシステム３０に記憶された乗客１８の特性に関係する過去のデータを含ませることができる。

　しかし、イメージ区分化プロセス４０は、このような情報を入力として必要としないで機能する。好ましい実施形態では、過去の乗客特性及びデータは、イメージ区分化プロセス４０によって利用でき、システム１６が周囲イメージ３８内の重要な部分に焦点を合わせ、あるいは区分化プロセス４０に上方および状況内容を包含させることができる。

　区分化イメージ３１は、イメージ区分化プロセス４０の結果として生じる。異なる実施形態では、この区分化イメージ３１は、広範囲の差分イメージ及びイメージ特性の形で位置的に受け取ることができる。しかし、位置的な乗客特性の領域内での多くの乗客特性は、エアバッグ展開決定の中に組み入れられない。エアバッグ展開のための重要な特性は、位置特性と動き特性に一般的に関係する。それゆえ、区分化イメージ３１の全体が後に続く処理動作を受ける必要はない。

　好ましい実施形態では、長円適合サブシステム４４は、区分化イメージ３１の周囲を１つの長円に適合させるのに用いられ、その結果、システム１６は、区分化イメージ３１を、外部特性を含まない対象物として、１つの長円上で連続的に処理することができる。別の実施形態では、複数の点による外形状または形態は、システム１６によって乗客１８を表すための代わりとして用いることができる。

　追跡サブシステム４６は、位置、速度、加速度、及び他の特性等の乗客特性を追跡するために使用することができる。ある実施形態では、この追跡サブシステム４６は、先行推定(extrapolate forward)のために乗客特性を用いることができ、センサ測定の間に、これらの特性の予測値を生成する。好ましい実施形態では、追跡及び予測サブシステム４６は、１つまたは複数のカルマンフィルタを用い、確率−重み付け方法により過去のセンサ測定値を最近のセンサ測定値に組み込むことができる。カルマンフィルタは、以下で説明する。

　この追跡及び予測サブシステム４６は、広範囲の異なるサブシステムを組み込むことができ、サブシステムは、乗客特性の異なるサブセットに焦点を合わせる。例えば、追跡及び予測サブシステム４６は、形状特性を追跡しかつ予測するための形状追跡器／予測器モジュール４８と、動き特性を追跡しかつ予測するための動き追跡器／予測器モジュール５０を含むことができる。これらのモジュールによって実行されるプロセスは、以下で詳細に説明される。

　追跡サブシステム４０による情報がエアバッグコントローラ３２に送られ、エアバッグ展開サブシステム３６により適当な動作が実行される。ある環境では、エアバッグ展開危険ゾーン内に乗客が現在または将来において存在するかによってエアバッグの展開を遅らせる。また、ある実施形態において、エアバッグ展開は、乗客１８に吸収されるのに必要なエアバッグの運動エネルギー量に相当する種々の強さで起こるように構成することができる。この追跡サブシステム４０は、衝突が起こるか否か、及びこのような衝突によりエアバッグを展開させるかどうかを決定するために用いることができる。

III.　イメージ区分化ヒューリステック手法
　図４は、システム１６によって実行できるイメージ区分化ヒューリスティックの例を説明するフローチャート図である。システム１６は、柔軟性を有し、かつ図面に示すプロセスに対して広範囲で異なる変化を組み入れることができる。ある実施形態では、他の処理ステップを追加しながら、僅かな処理ステップを適用できる。好ましい実施形態において、カメラ２２によって捕えられた周囲イメージ３８の各々は、図面で示されたプロセス等の区分化処理を受けることになる。

　Ａ.注目領域及び注目領域モジュール
　周囲イメージ３８内の注目領域は、ステップ５２で決定される。このプロセスは、システム１６の全ての実施形態において実行する必要はない。しかし、システム１６のエアバッグ展開決定及び他の利用に関して共通である時間及びリソースの制限条件に照らして、周囲イメージ３８のある領域に焦点を合わせることは好ましいことである。

　注目領域の決定は、区分化サブシステム４０内の注目領域モジュールによって実行される。好ましい実施形態では、乗客の直前の位置（例えば、先行周囲イメージ３６内の先行区分化イメージ３１の最近位置または先行周囲イメージ３８内の区分化イメージ３１の最近の予測位置）が、現在の周囲イメージ３８内の最近（現在）の区分化イメージ３１の最もありそうな位置を決定するのに用いられる。追跡サブシステム４６が将来を予測する能力を有し、この将来の予測は、注目領域モジュールを起動するのに必要な情報を与えることができる。位置データと動きデータの両方は、好ましくは、注目領域分析に組み入れることができる。乗客のタイプ（例えば、成人、子供、チャイルドシート等）の乗客特性及び他の関連する位置的な乗客特性もまた、この分析に組み入れることができる。

　好ましい実施形態では、追跡サブシステム４６は、最後に計算された区分化イメージ３１（一般的に１つの長円で表される）の位置及び形状を受け取り、そして、このイメージを、状態転移マトリックスを与える現在のイメージフレームに投影する。このプロセスは、以下で論じられる。現在の長円パラメータは、状態転移マトリックスによって乗算され、現在の時間において予測される新しい値を出力する。

　好ましい実施形態において、注目領域は、長円適合サブシステム４４によって発生する長円の長軸に沿って指向する矩形として定義される。別の実施形態では、異なる形状又は一連の形状が、システム１６によって用いられる。好ましい実施形態では、矩形の高さは、好ましくは、長円の頂部上方の予め決められたピクセル数であり、矩形の下側エッジは、長円の中心または重心の下側の「Ｎ」ピクセルであると定義される。これは、イメージの底部近くのピクセルを無視する。乗客１８は、座席内に固定される腰の回りに回転するので、最小の動きとなることから、イメージの底部近くのピクセルは無視する。

　この仮定は、乗客１８がシートベルトを用いる時に、特に当てはまるが、この仮定は、シートベルトが使用されていない状況でもなお有効である。別の実施形態では、上述した注目領域よりも異なるより大きいまたは小さい注目領域を包含することができる。比較的小さい注目領域に焦点を合わせることにより、処理時間が短縮される。更に、手を振った物を車両の窓まで運ぶ等の無縁な動きは、適当に無視することができる。好ましい実施形態では、周囲イメージに関連して更に処理するための注目領域のみが、周囲イメージ内の注目領域を意味するものと理解される。別の実施形態では、次に続く処理は、注目領域に制限されない。注目領域がステップ５２で決定された後、システム１６の処理は、平行して、同時に実行される。他の実施形態では、これらのつながりは、２つの処理を同時に実行することなく、単一のものとして組合せることができる。

　Ｂ.差分イメージ(Difference Images)とイメージ差分モジュール
　イメージ差分モジュール５３は、上述した注目領域上のイメージ差分ヒューリスティック手法を実行するのに用いることができる。このイメージ差分モジュール５３は、「差分」イメージを生成し、このイメージは、現在（例えば、最新で捕捉された）の周囲イメージ３８と前の周囲イメージ３８との間の差分を表す。差分の絶対値は、システム１６に用いられ、現在の周囲イメージ３８における差分値を有するピクセルを識別する。従って、ピクセルは、動いているイメージの対象物すなわち乗客の境界を表す。車両の内装等の静止した対象物は、前のイメージから現在のイメージにおいて変化しないので、最小の絶対値となり、除去される。このイメージ差分モジュール５３は、動いている対象物の境界部分を示す差分イメージを効果的に発生させることから、差分イメージは、最も大きく知覚された動きを有する対象物の輪郭を表す。

　Ｃ.ローパスモジュール
　好ましい実施形態において、ローパスフィルタは、上述した差分イメージに適用される。このローパスフィルタは、高周波ノイズを減少させるのに役立ち、またわずかな差分イメージをぼやかし、差分イメージの輪郭の幅を広げるのに役立つ。これは、以下で説明するように、連続処理操作におけるマスクとして順次用いるために重要なものとなる。図面において、ローパスフィルタ及びその機能は、イメージ差分モジュール５３内に組み入れられる。

　Ｄ.将来の差分イメージのための周囲イメージの保存
　現在の周囲イメージ３８は、ステップ５４で保存される。その結果、この周囲イメージは、システム１６によって処理される次の周囲イメージ３８に対する前の周囲イメージ３８として役立つ。別の実施形態では、前の周囲イメージ３８の重み付けされた組合せが、差分イメージを発生するために作り出されかつ保存される。

　Ｅ.クリエイト勾配イメージモジュール(Create Gradient Image Module)
　好ましい実施形態では、勾配イメージモジュール５６は、クリエイト勾配イメージを形成するヒューリスティック手法を実行して注目領域の勾配イメージを作り出すために、注目モジュール５２の領域により識別される注目領域を用いる。この勾配イメージのヒューリスティック手法は、イメージ振幅、例えば、動いている区分化イメージ３１の一部分を急速に変える領域を有する目標物イメージの領域を見出す。好ましい方法は、現在の周囲イメージ３８、または、好ましくは、現在の周囲イメージ３８の注目領域におけるＸ方向及びＹ方向の勾配（偏差）を計算することである。

　Ｙ方向の計算式は、
　　　イメージ（i,j)−イメージ（i,j-N)　
である。ここで、「i」は、ピクセルに対するＸ座標を表す。「j」は、ピクセルに対するＹ座標を表す。「N」は、イメージ振幅における変化を表す。
　Ｘ方向の計算式は、
　　　イメージ（i,j)−イメージ（i-N,j)　
である。勾配イメージにおいて識別される境界は、テンプレート更新操作等の次に続く処理のために用いられる。
　　　　[方程式１]
　　　勾配イメージ（Ｙ方向）＝イメージ（i,j)−イメージ（i,j-N)　
　　　　[方程式２]
　　　勾配イメージ（Ｘ方向）＝イメージ（i,j)−イメージ（i-N,j)　

　Ｆ.イメージ差分閾値モジュール(Image Difference Threshold Module)
　イメージ差分閾値モジュール５８（即ち、単純に閾値モジュールという。）は、閾値ヒューリスティック手法を実行し、ステップ５３で作られた「差分イメージ」上で閾値ヒューリスティック手法を実行するために用いることができる。このステップ５８にある閾値ヒューリスティック手法は、現在の周囲イメージ３８、即ち、好ましくは、現在の周囲イメージ３８における注目領域がシステム１６によって順次処理されるべきかどうかを決定するのに用いられる。このステップ５８での閾値ヒューリスティック手法は、勾配イメージ用のマスクとして順次用いることができ、その結果、ドアトリムのエッジ、及び他の動かない内部要素等の一定なエッジを取り除く。

　1.イメージの閾値化
　閾値差分イメージの形成は、「差分」イメージにおける明るさの差分の大きさを閾値にあわせることができ、この閾値は、予め決められた又は好ましくは処理される周囲イメージ３８からの明るさのデータから生成される。周囲イメージ３８自体の特性を用いる差分イメージを閾値化するために、ピクセルの明るさの値のヒストグラムが最初に作り出される。

　(a)　ヒストグラム
　好ましい実施形態において、閾値は、異なる値のヒストグラムを作り出すことによって計算される。図５は、このようなヒストグラムの一形式の例である。

　カメラ２２によって捕らえたどのイメージも、１つまたはそれ以上のピクセル７８に分割することができる。一般的な問題として、周囲イメージ３８におけるピクセル４０の数が多くなればなるほど、イメージ３８の解像力はその分よくなる。

　好ましい実施形態では、周囲イメージ３８の幅は、横方向に少なくとも概略４００ピクセルであり、この周囲イメージ３８は、少なくとも高さ方向に概略３００ピクセルである。このピクセルの数があまりに少ないと、区分化イメージ３１を周囲イメージ３８から分離することができない。しかし、ピクセル７８の数は、カメラの形式およびモデル次第であり、カメラ２２は、一般的に、ピクセルの数が増加するに従ってより高価になる。標準的なビデオカメラは、概略、横方向に４００、縦方向に３００のピクセルのイメージを捕えることができる。このような実施形態では、かなり詳細な周囲イメージ３８を捕えるとともに、比較的安価な標準のカスタマイズされないカメラ２２を用いることができる。この結果、好ましい実施形態では、注目領域が僅かにすくないピクセル７８を含んでいるが、全体で概略120,000（400×300）ピクセル７８を使用することができる。

　各ピクセル７８は、システム１６によって用いられる１つまたは複数の異なるピクセル特性または属性（集合的に「特性」７６という。）を有し、周囲イメージ３８から区分化イメージ３１を分離する。ピクセル７８は、１つまたは複数のピクセル値によって表現される各特性を有する１つ以上のピクセル特性７６を有することができる。ピクセル特性７６の一例は、明るさ測定（明度）である。好ましい実施形態では、「差分」イメージにおけるピクセル特性７６は、現在の周囲イメージ３８と前の周囲イメージ３８との間の明るさの値における差分を表す。明るさのピクセル特性７６は、測定され、保存され、そして、特定のピクセルに関係するピクセル値７６として処理される。

　好ましい実施形態では、明るさは、０と２５５の間の数値的なピクセル値によって表すことができる。このようなスケールでは、０の明るさは、最も暗い明度（黒）を示し、２５５の明るさは、最も明るい明度（白）を示す。別のピクセル特性は、色、熱、２つ以上の特性の重み付け組合せ、または周囲イメージ３８から区分化イメージ３１を区別するために用いられる位置的な特性を含むことができる。別の実施形態として、ピクセルを区別するために他の特性を用い、このピクセル特性のヒストグラムを形成することができる。

　図面に示すヒストグラム７４は、個別または組合せの特定のピクセル特性７６（集合的な「特性」）を備えるピクセル７８の数を記録する。このヒストグラム７４は、ピクセル特性に対する特定のピクセル値を有するピクセル７８の総数を記録する。その結果、図の右端位置のＹ値は、２５５（明度における最も大きな差分がある値）の明るさを有するピクセル数を示し、図の左端位置のＹ値は、０（明度の差分がない値）の明るさを有するピクセル数を示す。

　（b)　累積分布関数
　図５のヒストグラムは、図６に示すような累積分布関数を形成するために用いることができる。累積分布曲線８０は、システム１６がピクセルの明るさ（または他の特性）における変化が、真に区分化イメージ３１と周囲イメージ３８の間の境界を示すかどうかの判定するために、「信頼度ファクタ」指示器を包含することができる。

　累積分布曲線８０は、ピクセル７８の上部Ｎ％を選択するための能力を有する。縦軸は、累積確率８２を表し、これは、システムが間違えずにどのピクセル７８が乗客１８の境界ピクセル７８を表すものであるかを正しく識別したかを示す確率である。この累積確率８２は、１−Ｎの値であり、ここで、Ｎは、動きピクセル７８の上部Ｎ％を選択するのに用いられる値である。例えば、上部Ｎ％のピクセル７８を選択すると、０．９の確率を生じ、この０．９の確率は、周囲ピクセルが間違いなくセグメント化ピクセルとして識別される確率を表す。

　絶対的な確かさ（1.0となる確率）は、全ての120,000ピクセルが周囲ピクセル７８であると仮定することによって、例えば、乗客１８の区分化イメージ３１を表すピクセルが全くないことを確かめることによってのみ達成できることである。このような絶対的確かさは、システム１６に有効ではなく、また乗客１８の形状を作り出すためのシステムの開始点を与えるものでもない。逆に、０値すなわち限りなく０に近い、つまり、正確さの基準が低い場合、境界ピクセル７８のカテゴリーから十分なピクセル７８を排除することができない。好ましい実施形態において、０．８５の確率を望む場合、上部15％のピクセルが求められる。ある別の実施形態では、異なる光状態がイメージ領域によって差分ピクセル７８をグループ化するのに有効である。差分イメージ領域は、差分Ｎ値を有する。

　マルチイメージ閾値環境において、0.90、0.80、又は0.70の確率は、一般的に、正確度の高い確率を示すので好ましい。また同時に、実質的にピクセル７８のベースを与える。好ましい実施形態では、マルチイメージ閾値システム１６は、イメージ閾値すると同じ数の多くの累積分布関数８０を有している。

　本システム１６は、多くの異なる方法で組み合わせることができる多数の差分イメージ及び多数のイメージ閾値を含むことができる。例えば、閾値0.90、0.70、0.50の確率は、多様性のある異なるヒューリスティック手法を用いて組み合わせる３つの閾値の差分イメージを作り出すのに用いることができる。

　(c)　差分イメージの閾値
　図７は、単一のイメージ閾値の実施例を示すブロック図である。イメージ閾値８４は、システム１６が特定のピクセル７８のピクセル値を図６における所望の累積確率８２によって決定される閾値と比較することによって境界ピクセルの上部Ｎ％を選択することができるようにする。好ましい実施形態では、差分イメージの閾値は、二進化イメージとなる。閾値よりも等しいかまたは大きい、ピクセル対ピクセル値が、１として設定される。他のピクセル値は全て０に設定される。好ましい実施形態では、このプロセスは、二進化イメージとして、各ピクセルが１かまたは０の値を有するようになる。

　2.差分イメージは、次に続く処理操作にとって価値があるか
　図４において、閾値化された差分イメージは、差分イメージであるか否かを決定するのに用いられる。そして、周囲イメージ３８から差分イメージが導き出され、この周囲イメージは、次に続く処理操作に役立ち、かつシステム１６によって信頼性を有する。差分イメージにおける動きが大きすぎる場合、次に続く処理操作に公正に用いるための信頼性が不十分となる。動きが大きすぎることは、乗客１８が座席中に着ているセーターを首から脱いだとき等のランダム状況において発生するものである。このような状況では、多くの動きが生じ、システムは、エアバッグコントローラ３２に送るための１つの長円を用いて表現できなくなる。動きがあまりに大きすぎると、ステップ６２において、システムは、追跡及び予測サブシステム４６が乗客１８の現在の特性に関して発生する最新の予測に頼るか、または以下で記載するように最新の予測の前に推論するかのいずれを行う。

　動きがあまり小さすぎると、最後の周囲イメージ３８から変更した材料がないので、システムは、ステップ６０で前の処理ループによって生じた前の長円を頼ることができる。動きがあまりに小さいかあるいは大きい時の問題を解決することは、システム１６の正確度を改善できる。動きがあまりに大きいか小さいかどうかの判定は、システム１６内に包含され、このシステムがイメージ閾値を、動きが大きすぎるかまたは小さすぎるかを表す事前に決められたイメージ閾値と比較する。

　Ｇ.クリーン勾配イメージモジュール(Clean Gradient Image Module)
　クリーン勾配メージモジュール（単純クリーンイメージモジュール）６４は、クリエイト勾配イメージモジュール５６によって導かれた勾配イメージを「クリーン」にするために用いることができる。クリエイト勾配イメージモジュール５６を通過した、この勾配イメージ（好ましくは、初期の注目領域に限定される）は、車両内部からドアトリム等のエッジ部分を含んでいる。これらのエッジは、乗客１８の一部を構成しないので、関係しない。閾値差分イメージは、イメージ内の必要としない一定要素を取り除くためのマスクとして用いることができ、さらに、区分化イメージ３１のエッジでかつエッジの動きを示すピクセルのみを保存する。これは、システム１６が背景ピクセルから動きピクセルを区別するのに役立ち、以下で示すテンプレートマッチング及びテンプレート更新プロセス等の次に続くヒューリステック手法の正確度を増加させる。

　Ｈ.テンプレートマッチングモジュール(Template Matching Module)
　テンプレートマッチングモジュール６６は、システム１６によって起動する。このテンプレートマッチングモジュール６６は、テンプレートフィティング又はテンプレートマッチングヒューリスティックを実行する。以下の好ましい実施形態において記載するように、テンプレートイメージは、前の区分化イメージである。別の実施形態では、テンプレートイメージは、事前に決められるが、以下で示すように、好ましくは、調整を受けることになる。異なるテンプレートマッチングヒューリスティックの多様性は、テンプレートマッチングモジュール６６によって実行することができる。このようヒューリスティックの１つは、ハウスドルフ　ディスタンス　ヒューリスティック(Hausforf Distance heuristic)である。ハウスドルフ　ディスタンス　ヒューリスティックの一例は、方程式３で与えられる。

　変数「ｍ」は、テンプレートイメージの点であり、変数「Ｉ］は、差分イメージにおける点である。このディスタンスは、一方のイメージから他方のイメージへの最も近い非ゼロピクセルに対する距離（ピクセルにおける）である。ハウスドルフ　ディスタンス　ヒューリスティックの差分変数は、システム１６によって用いることができる。

　テンプレートイメージは、ある角度範囲で回転することができ、センサ測定の間の時間の中で乗客１８を回転させることができる。これは、ビデオカメラの複数フレーム間の時間で、車両が高速度のブレーキ状態にありかつ乗客がシートベルトのヒップハーネス部分の回りで回転した場合の最悪な状況において、一般的に±６度である。

　回転した各角度に対して、ハウスドルフ　ディスタンス　ヒューリスティックは、差分イメージと回転したテンプレートイメージとの間の「距離」の計算を実行することができる。テンプレートイメージと差分イメージは、好ましくは、両方とも二進化イメージである。最も低いハウスドルフ　ディスタンスを有するテンプレート位置は、差分イメージに最も良く整合するテンプレートの回転角度になっている。

　最小のハウスドルフ　ディスタンスは、明らかに明瞭となっていない場合、初期に捕捉された周囲イメージ３８に対していくらかずれている。例えば、乗客１８は、一時的に、カメラ２２をかれらの頭で遮ることがある。最も低いハウスドルフ　ディスタンスと第２のハウスドルフ　ディスタンスとの間の差は、システム１６内の包含される所定の閾値と比較するとき、あまりに小さすぎる場合、そのとき、システム１６は、現在の周囲イメージ３８を無視し、その代わりに、追跡及び予測サブシステム４６を用いて区分化イメージ３１の将来の予測を推定する。

　Ｉ.更新テンプレートモジュール
　適合したテンプレートは、適当な区分化イメージ３１が発生し得ることを示す場合、システム１６は、更新テンプレートモジュール６８を起動して、テンプレートイメージを将来の使用のために高めることができる。テンプレートイメージは、最初、テンプレートを角度的に動かして得られるテンプレートシルエットによって形成される。この設定点は、新しい勾配イメージ内でサーチされる。テンプレートは、新しい勾配イメージにおける角度に最も合致するように回転させられる。制御点の各々に対して、シルエットの正接点に垂直なラインが形成される。

　更新テンプレートのヒューリスティック手法は、垂直ラインに沿う位置を増分させ、最も合致する勾配イメージのラインセグメントを見つける。ある実施形態では、この新しい位置の設定は、コンピュータ３０に一連のデータ点として記憶され、将来、１つのテンプレートイメージとして用いることができる。他の実施形態では、三次スプライン適合(cubic spline fit)が、一連のデータ点から形成され、そして、シルエットに沿う新しい設定制御点が、テンプレートの回りの等しい間隔を置いた角度で形成される。このスプライン線は、新しいシルエットとして役立つ。

　図８aは、テンプレートイメージ３１、即ち、前の区分化イメージ３１の一例を図示したものである。図８bは、テンプレートイメージが回転させられる角度８６の範囲を示す一例である。図８cは、１つのイメージに適用される角度範囲の一例であり、図８dは、システム１６によって生成される長円８８の一例である。図８eは、乗客１８の更新テンプレート全体に適合する長円の一例であり、図８fは、イメージテンプレートとして将来用いるために生じるであろう新しいシルエットの一例である。

　Ｊ．長円適合モジュール(Ellipse Fitting Module)
　最も適合したテンプレートが決定されかつ変更されると、システム１６は、対応する長円パラメータを抽出して、これらのパラメータが追跡及び予測サブシステム４６に供給される。

　長円適合モジュール７０は、最適にマッチングしかつ更新されたテンプレートに１つの長円８８を適合させるために用いられる。このモジュールの機能は、長円適合サブシステム４４内のイメージ区分化サブシステム４０から分離して実行することができる。いずれの場合においても、システム１６は、多様な異なる長円適合ヒューリスティック手法を含んでいる。長円適合ヒューリスティックは、直接最小二乗法によるヒューリスティック手法である。

　この直接最小二乗法によるヒューリスティック手法は、最小二乗適合のために用いることができる１つの座標サンプル値（ｘ、ｙ）として、テンプレート上の非ゼロの各ピクセルを取り扱う。好ましい実施形態では、長円の下側部分は動かないと仮定する。そして、この下側部分は、上述したように識別された注目領域の部分ではない。最新の長円の下側部分を用いることにより、システム１６は、長円がシート上の長円の最も下側部分に正しく指向できるようにする。乗客の動きについての仮定が正確でなければ、その結果の垂直動きは、非常に大きい動きをもたらし、そして、システム１６は、イメージを捨てる。さらに、上述したように、ステップ６２において、最終予測の推定にたよることになる。下側部分が注目領域の部分ではないことを考慮に入れて長円を完成させるために、最終の長円の下側部分を用いることができる。シート上の長円の最も下側部分を用いて長円の正しい位置決めを容易にする。システム１６は、システム１６の初期回転による初期長円に基づいて、多数の異なるサンプル長円を利用することができる。

IV.　長円および乗客特性
　システム１６のエアバッグ展開装置において、システム１６は、関連した乗客特性を監視するために、好ましくは乗客を表すための長円８８を用いる。別の実施形態では、他の形状が、乗客１８の区分化イメージ３１を表すのに用いられる。好ましい実施形態では、長円適合サブシステム４４によって実行される長円適合ルーチンを示す。好ましい実施形態では、長円適合サブシステムは、コンピュータ３０内のソフトウエアであるが、別の実施形態では、長円適合サブシステムは、異なるコンピュータまたは装置内に内蔵することもできる。

　好ましい実施形態では、乗客特性を追跡しかつ予測するために用いられる長円８８は、乗客１８の腰から頭まで伸びている。図９は、エアバッグ展開装置３６に関する乗客１８の区分化イメージ３１のいくつかの特性を表すために、長円から導くことができる多数の変数を示している。長円８８の重心９４は、乗客１８の特性を追跡するためにシステム１６によって識別することができる。長円の重心９４を識別する方法については従来技術より知られている。別の実施形態では、エアバッグ展開装置３６または他の処理動作に関連する乗客１８の特性を追跡するために、長円８８上の他の点を用いることができる。乗客特性の多様性は、長円８８から導き出せる。

　動き特性は、重心９４のＸ軸（「距離」）９８と前方傾斜角度（「θ」）１００を含んでいる。形状測定は、重心９４のＹ軸（「高さ」）９６、長円の長軸の長さ（「主軸長」）９０、および長円の短軸長さ（「短軸長」）９２を含んでいる。

　別の実施形態は、広範囲の異なる乗客特性または長円の属性を利用する。情報の変化率及び速度（一次導関数）及び加速度（二次導関数）等の他の数学的導関数は、好ましくは、全ての形状および動き測定のために捕捉される。その結果、本発明の好ましい実施形態では、９つの形状特性（高さ、高さ’、高さ”、長軸の長さ、長軸の長さ’、長軸の長さ”、短軸の長さ、短軸の長さ’、短軸の長さ”）と６つの動き特性（距離、距離’、距離”、θ、θ’、θ”）がある。側方傾斜角度Φは、イメージ平面に垂直であるので示されない。また、この側方傾斜角度Φは、以下で詳述するように導かれかつ測定されない。動き及び形状の各特性は、乗客１８の体重、究極的には、質量を計算するのに使用される。その結果、乗客１８の運動エネルギーが決定される。別の実施形態では、乗客特性の数が大きい場合と小さい場合を受け入れる。

　図１０は、側方傾斜角度（Φ）１０２を示している。本発明の好ましい実施形態では、３つだけの形状状態、運転者が向かって左側に傾斜（左側）１０６、真直ぐ座っている（中央）１０４、および運転者から離れるように右側に傾斜（右側）１０８の各状態があり、側方傾斜角度−Φ、０、Φで表す。好ましい実施形態において、Φは、使用される車両の特性に従って、１５°と４０°の間の値に設定される。別の実施形態では、異なる数の形状状態及び側方傾斜角度１０２の異なる範囲を組み入れることもできる。

Ｖ.マルコフの確率チェイン
　システム１６は、多重カルマンフィルタの多重モデルの確率重み付けした実行を行うものである。好ましい実施形態では、異なるカルマンフィルタは、形状特性に適合するカルマンフィルタよりも、動き特性に適合するカルマンフィルタとなる。さらに、好ましくは、各形状状態に対する個別のカルマンフィルタを有する。同様に、個別の各動き特性は、システム１６によって支持される各動きモードに対する個別のカルマンフィルタを有することが望ましい。１つの状態から別の状態への移動、及び１つのモードから別のモードへの移動に関連した既定の確率がある。これらの確率は、マルコフチェインを用いて説明することができる。

　システム１６は、柔軟性があり、かつ広範囲の異なるモードおよび状態に対して広範囲の異なる確率をサポートすることができる。システム１６のユーザーは、マルコフチェインに表現された変数の中に自由にかれらの確率を設定することができる。これらは以下で詳細に説明される。これは、異なる実施形態及び異なる作動環境において、このシステム１６の柔軟性を最大にする。

　図１１は、本発明の好ましい実施形態において使用した３つの形状状態を示している。この実施形態では、乗客１８は、ドライバーに向けて傾斜する（左側）１０６、真直ぐ座る（中央）１０４、およびドライバーから離れる方向に傾斜する（右側）１０８のいずれかである。乗客１８の確率は、特定の状態にあり、この特定状態での終端は、次に続く形状状態に向けて示す矢印を用いて特定形状状態から発生するラインによって識別することができる。たとえば、中央状態に留まっている中央状態にいる乗客の確率Ｐ^C-Cは、矢印１１０で表される。中央位置から左側に動く確率Ｐ^C-Lは、矢印１１４で表される。また、中央位置から右側に動く確率Ｐ^C-Rは、矢印１１２で表される。全体の確率は、中央１０４の初期状態から１になるまで付加しなければならない。
　　　　[方程式４]
　Ｐ^C-C＋Ｐ^C-L＋Ｐ^C-R＝1.0
　同様に、ある特定状態から発生する全ての確率は、また、1.0まで付加されなければならない。

　矢印１１８は、左側に傾斜する乗客１８が次の時間間隔まで中央位置に座っている確率Ｐ^L-Cを表す。同様に、矢印１２０は、左側に傾斜する乗客１８が次の時間間隔まで右側傾斜にいる確率Ｐ^L-Rを表す。また、矢印１１６は、左側に傾斜する乗客１８が次の時間間隔まで左側傾斜にいる確率Ｐ^L-Lを表す。左側の初期傾斜の状態から生じる全ての可能な確率の合計は１に等しい。
　　　　[方程式５]　
Ｐ^L-C＋Ｐ^L-L＋Ｐ^L-R＝1.0

　最後に、矢印１２２は、右側傾斜の乗客が右側傾斜に留まる確率Ｐ^R-Rを表す。矢印１２４は、右側傾斜の乗客が中央状態位置に入る確率Ｐ^R-Cを表す。矢印１２６は、乗客が左側に向かって傾斜する確率Ｐ^R-Lを表す。右側の初期傾斜の状態から生じる全ての可能な確率の合計は、１に等しい。
　　　　[方程式６]
　Ｐ^R-C＋Ｐ^R-L＋Ｐ^R-R＝1.0

　実際には、一般的なビデオカメラ２２は、毎秒40〜100フレームの間で捕捉する（このましい高速度ビデオカメラ２２では、毎秒250〜1000フレームの間で捕捉する）。それゆえ、最初に中央位置の状態に転位することなしに、左側１０６に傾斜する乗客が、右側１０８に傾斜する乗客となることは本質的に不可能であり、また、右側１０８に傾斜する乗客が、左側１０６に傾斜する乗客となることも本質的に不可能である。さらに、左側１０６に傾斜する乗客が、右側１０８に傾斜する乗客になる前に、先ず中央位置１０４の状態に入るであろうし、同様に、左側１０６に傾斜する乗客が右側１０８に傾斜する乗客となる前に中央位置１０４の乗客となることは更に現実的である。それゆえ、好ましい実施形態では、傾斜位置１２０の確率Ｐ^L-Rは、ゼロに等しくはないがそれに近い低い確率に設定され、また、傾斜位置１２６の確率Ｐ^R-Lもまたゼロに等しくはないがそれに近い低い確率に設定されるべきである。

　図１２は、動きモードに関する確率を表す同様のマルコフチェインを示す。システム１６の好ましい実施形態では、４つの動きモード、即ち、人が眠っているような静寂モードにある乗客１８を表す静止モード１３０、自動車または他の車両内に一般的な乗客として行動し、もちろん極端でない通常の動きをする乗客１８を表す人間モード１３２、衝突または衝突前ののブレーキ操作（ブレーキング）のモードにある車両の乗客１８を表す衝突モード１３４を用いる。

　乗客が特定モードの状態にある確率、及び次のインクリメント動作の特定モードにおいて終了する確率は、新しい状態を示す矢印を用いて現在の状態において生じるラインによって識別される。たとえば、静止状態の乗客が静止モードに留まる確率Ｐ^S-Sは、矢印１３６によって表される。静止モードから人間モードに移動する確率Ｐ^S-Hは、矢印１３８で表される。また静止モードから衝突モードへ移動する確率Ｐ^S-Cは、矢印１４０である。初期の静止モード１３０から生じる全体の確率は、１まで付加されなければならない。その結果、形状状態に対する３つの確率方程式は、次の通りである。
　　　　[方程式７]
　Ｐ^S-S＋Ｐ^S-H＋Ｐ^S-C＝1.0

　同様に、人間モードから人間モードへの確率Ｐ^H-Hは、参照番号１４２で示され、人間モードから静止モードへの確率Ｐ^H-Sは、参照番号１４４で示され、人間モードから衝突モードへの確率Ｐ^H-Cは、参照番号１４６で示され、静止モード１３２の初期状態から生じる全体の確率は、１まで付加されなければならない。
　　　　[方程式８]
　Ｐ^H-H＋Ｐ^H-C＋Ｐ^H-S＝1.0

　衝突モードから衝突モードへの確率Ｐ^C-Cは、参照番号１４８で示され、衝突モードから静止モードへの確率Ｐ^C-Sは、参照番号１５０で示され、衝突モードから人間モードへの確率Ｐ^C-Hは、参照番号１５２で示される。衝突モード１４８の初期状態から生じる全体の確率は、１まで付加されなければならない。
　　　　[方程式９]
　Ｐ^C-C＋Ｐ^C-S＋Ｐ^C-H＝1.0

　実際問題として、乗客１８が衝突状態１３４に入ったときにその状態のままでいることは、ほとんどありえない（不可能な）ことである。多くの筋書きの下で、衝突１３４は、乗客１８の過失によるものである。それゆえ、好ましい実施形態では、確率Ｐ^C-H、Ｐ^C-B、及びＰ^C-Sは、ほどんどゼロに設定される。本システム１６では、衝突状態１３４を残す機会がありえることが望ましく、またシステム１６がノイズ状態、或いは他の通常でない現象に瞬間的になる場合に、衝突状態１３４になっていることが望ましい。別の実施形態では、ある確率を特定の値、０〜１の間に設定することができ、また異なる数のモードを用いることもできる。システム１６は、好ましくは、システム１６の特定の実施形態及び環境をカスタマイズされる広範囲の確率を組み入れることができる。

　種々の形状状態及び動きモードに関連した遷移確率は、特性と状態の各組み合わせに対するカルマンフィルタ方程式を生成するために用いられる。これらのフィルタの結果は、各カルマンフィルタに対して適切な重み付けを与える種々の確率を用いて、１つの結果に集合させることができる。全ての確率は、システム１６の使用者によって予め規定される。

　マルコフチェインの確率は、各特性及び各状態と各モードに対して種々のカルマンフィルタを重み付けするための手段を与える。追跡／予測サブシステム４６は、２つのサブシステム、形状追跡器／予測器４８と、動き追跡器／予測器５０の２つの形式内にマルコフチェインの確率を組み入れる。

VI.形状追跡器／予測器
　図１３は、形状追跡器／予測器４８のための詳細なフローチャート図を示す。本発明の好ましい実施形態では、形状追跡器／予測器４８は、長円８８の長軸（長軸）９０、長円８８の短軸（短軸）９２、及び重心９４のｙ座標（高さ）９６を追跡しかつ予測する。各特性は、特定の特性に対する、位置を表すベクトル、速度、および加速度の情報を有する。長軸のベクトルは、[長軸の長さ、長軸の長さ’、長軸の長さ”]であり、「長軸の長さ’」は、長軸又は速度における変化率を表す。「長軸の長さ”」は、長軸の速度又は加速度における変化率を表す。従って、短軸のベクトルは、[短軸の長さ、短軸の長さ’、短軸の長さ”]であり、高さのベクトルは、[高さ、高さ’、高さ”]である。他の形状ベクトルも、同様に、位置、速度（変化率）、及び加速度（二次導関数）の成分を有するであろう。

　形状追跡器／予測器４８は、ステップ１２６において形状予測の更新、ステップ２００において共分散／ゲインマトリックスの更新、ステップ２０４において形状推定値の更新、ステップ２０６において組合せた形状推定値の出力がそれぞれ実行される。これらのプロセスは以下で説明する。ステップ２００からステップ２０６までのループは、システム１６が作動中は永久である。上記プロセスを通過する初期のループの間、ステップ２００において形状予測を更新せず、またステップ２０２において共分散／ゲインマトリックスを更新しない。その結果、最初のループは、ステップ２０４にスキップされる。次のループにおいて、形状追跡及び形状予測のプロセスにおける最初のステップは、ステップ２００における形状予測の更新である。形状追跡器／予測器４８は、また、乗客１８が左側傾斜、右側傾斜、又は中央位置に座っているかどうかを推論する。この情報は、以下に詳細に説明するように、乗客が危険ゾーンにあるか否かを決定するのに使用することができる。

　Ａ.形状予測の更新
　更新形状予測の工程は、ステップ２００で実行される。この工程は、最新の形状推定を行うもので、遷移マトリックスを用いて、その形状推定における未来の予測を推論する。
　　　　[方程式９]
　更新ベクトル予測値＝遷移マトリックス×最新のベクトル推定値

　遷移マトリックスは、ニュートン力学を最新のベクトル推定値に適用して、過去の位置、速度、及び加速度に基づいて、乗客１８がいると思われる先の予測値を推定する。最新のベクトル推定値は、以下で説明するようにステップ２０４で与えられる。

　次の方程式は、全ての形状変数及び全ての形状状態に対して適用される。ここで、ｘは、形状変数であり、Δｔは、時間に対する変化、即ち、速度を表し、
（１／２）Δｔ²は、加速度を表す。

　本発明の好ましい実施形態において、ステップ２００において、９つの更新ベクトル予測値があり、それは、好ましい実施形態において、３つの形状状態と３つの非誘導式の形状変数があり、３×３＝９となるからである。更新形状ベクトル予測値は次の通りである。
中央状態のための更新された長軸長さ
右側状態のための更新された長軸長さ
左側状態のための更新された長軸長さ
中央状態のための更新された短軸長さ
右側状態のための更新された短軸長さ
左側状態のための更新された短軸長さ
中央状態のための更新された高さ
右側状態のための更新された高さ
左側状態のための更新された高さ

　Ｂ.更新の共分散(Update Covariance)及びゲインマトリックス
　形状予測値が、ステップ２００において、全ての変数及び全ての状態に対して更新された後、ステップ２０２において、形状予測値の共分散マトリックス、形状ゲインマトリックス、および形状推定共分散マトリックスが更新される。形状予測値の共分散は、予測工程における誤差の原因となる。上述のゲインは、最新の測定値がその測定セグメンテーション処理における誤差を受け入れかつこの誤差を説明する重み付けを表す。形状推定値共分散は、推定処理における誤差を表す。

　予測値共分散は、先ず最初に更新される。各形状予測共分散マトリックスを更新するのに用いる方程式は、次の通りである。
　　　　[方程式１２]
形状予測値共分散マトリックス＝[状態遷移マトリックス×旧推定値共分散マトリックス×転置（状態遷移マトリックス）]＋システムノイズ

　状態遷移マトリックスは、形状予測値を更新するために上記において用いられニュートン力学で表現されたマトリックスである。旧推定値共分散マトリックスは、ステップ２０４において以前のループから生成される。ステップ２００から２０６の第１ループ上では、ステップ２０２はスキップされる。マトリックスの転置を得ることは、単純にマトリックスの行と列を入れ替えることであり、従来から知られている。それゆえ、状態遷移マトリックスの転置は、列と行を入れ替えた状態遷移マトリックスである。システムノイズは、システム内にノイズの概念を含ませるのに使用される定数マトリックスである。システムノイズマトリックスに用いられる定数は、本発明の使用者によって設定されるが、ノイズ定数を選択する実行は、従来から知られている。

　更新すべき次のマトリックスは、ゲインマトリックスである。上述したように、ゲインは、新しい測定値が与えられた時の重み付けの信頼度を表す。１つのゲインは、過去の推定値を無視できる最も正確な測定値を示す。ゼロのゲインは、最も正確度のない測定値を示し、最新の測定値が無視され、かつ本発明の使用者が過去の推定値にのみ頼っていることである。ゲインによって得られる役割は、
　　　　[方程式１３]
　Ｘ(新予測値）＝Ｘ（旧予測値）＋ゲイン[-Ｘ（旧予測値）＋Ｘ（測定値）]
のカルマンフィルタの基本式において明らかにされる。

　ゲインは単純な数ではなく、ある１つのゲインは、形状変数と形状状態の組み合わせに対して存在する。ゲインを更新するための一般式は、方程式１３である。
　　　　[方程式１４]
ゲイン＝形状予測値共分散マトリックス×転置（測定値マトリックス）×inv（残余共分散）

　形状共分散マトリックスは、上式から計算される。測定値マトリックスは、ゲインを決定するための速度および加速度の成分を無視して、形状ベクトルの位置成分を分離しかつ取り出す方法である。測定値マトリックスの転置は、単純に[1 0 0]である。形状変数の位置成分を分離する理由は、速度と加速度が実際に抽出される成分であり、位置成分のみがスナップショットで測定できるからである。ゲインは実際の測定値に寄与する重み付けに関係している。

　カルマンフィルタの一般式　Ｘ(新予測値）＝Ｘ（旧予測値）＋ゲイン[-Ｘ（旧予測値）＋Ｘ（測定値）]において、残余値は、旧推定値と新測定値との差を表す。残余値共分散マトリックスの逆行列は、ゲインマトリックスを更新するのに使用される。逆行列を得る方法は、従来公知であり、単純な線形代数学の処理である。残余値共分散マトリックスの式は、方程式１４である。
　　　　[方程式１５]
　残余値共分散＝[測定値マトリックス×予測値共分散×転置（測定値マトリックス）]＋測定値ノイズ

　測定値マトリックスは、速度と加速度の成分から形状ベクトルの位置成分を分離するのに用いる。予測値共分散は上式から計算される。測定値マトリックスの転置行列は、行と列を入れ替えて１つの列マトリックスを同一値の１つの行マトリックス[1 0 0]に置き換えることである。測定値ノイズは、センサ２２とセグメンテーション処理４０に関連した誤差を含む定数である。

　更新すべき最後のマトリックスは、推定値誤差を表す形状推定値共分散マトリックスである。推定値は、現在の測定値と過去の予測値に基づいているので、推定値誤差は、一般的に、予測値誤差よりも小さい。形状推定値共分散マトリックスを更新するための式は、方程式１５である。
　　　　[方程式１６]
　形状推定値共分散マトリックス＝（識別マトリックス−ゲインマトリックス×測定値マトリックス）×形状予測器の共分散マトリックス

　識別マトリックスは、従来公知であり、頂部左側から底部右側への進む対角線上の数値が１で、他の行列位置の値が０からなる。ゲインマトリックスは、上式から計算される。測定値マトリックスもまた上述されており、速度と加速度の成分から形状ベクトルの位置成分を分離するのに使用される。予測器の共分散マトリックスも上式で計算される。

　Ｃ.更新形状推定値
　更新形状推定値の処理は、ステップ２０４で実行される。この処理の第１工程は、残余値を計算することである。
　　　　[方程式１７]
　残余値＝測定値−（測定値マトリックス×予測値共分散）

この形状状態はそれぞれ更新される。
　　　　[方程式１８]
　更新された形状ベクトル推定値＝形状ベクトル推定値＋（ゲイン×残余値）

　個々の式に挿入してみると、その結果は次の通りである。

Ｘ^C _{(tにおける長軸の長さ)}＝Ｘ^C _{(tにおける長軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^C _{(t-1における長軸の長さ)}＋Ｘ^C _{(測定された長軸の長さ)}]
Ｘ^L _{(tにおける長軸の長さ)}＝Ｘ^L _{(tにおける長軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^L _{(t-1における長軸の長さ)}＋Ｘ^L _{(測定された長軸の長さ)}]
Ｘ^R _{(tにおける長軸の長さ)}＝Ｘ^R _{(tにおける長軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^R _{(t-1における長軸の長さ)}＋Ｘ^C _{(測定された長軸の長さ)}]
Ｘ^C _{(tにおける短軸の長さ)}＝Ｘ^C _{(tにおける短軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^C _{(t-1における短軸の長さ)}＋Ｘ^C _{(測定された短軸の長さ)}]
Ｘ^L _{(tにおける短軸の長さ)}＝Ｘ^L _{(tにおける短軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^L _{(t-1における短軸の長さ)}＋Ｘ^L _{(測定された短軸の長さ)}]
Ｘ^R _{(tにおける短軸の長さ)}＝Ｘ^R _{(tにおける短軸の長さ)}
　　　　　　　　　＋ゲイン[‐Ｘ^R _{(t-1における短軸の長さ)}＋Ｘ^R _{(測定sれた短軸の長さ)}]
Ｘ^C _{(tにおける高さ)}＝Ｘ^C _{(tにおける高さ)}＋ゲイン[‐Ｘ^C _{(t-1における高さ)}＋Ｘ^C _{(測定された高さ)}]
Ｘ^L _{(tにおける高さ)}＝Ｘ^L _{(tにおける高さ)}＋ゲイン[‐Ｘ^L _{(t-1における高さ)}＋Ｘ^L _{(測定された高さ)}]
Ｘ^R _{(tにおける高さ)}＝Ｘ^R _{(tにおける高さ)}＋ゲイン[‐Ｘ^R _{(t-1における高さ)}＋Ｘ^R _{(測定された高さ)}]

　好ましい実施形態では、Ｃは、中央位置の状態を表し、Ｌは、ドライバーに向けて左側に傾斜する状態を表し、Ｒは、ドライバーから離れて右側に傾斜する状態を表す。文字ｔは、時間におけるインクリメントを表し、ｔ＋1は、時間ｔのすぐ後の時間におけるインクリメントを表し、ｔ‐1は、時間ｔにすぐ前の時間におけるインクリメントを表す。

　Ｄ.組み合わせた形状推定値の生成
　ステップ２００とステップ２０８の間の繰返しループにおける最後のステップは、組み合わせた形状推定値を生成するステップ２０８である。この処理の第１部分は、各形状ベクトル推定値にある確率を割り当てることである。残余値共分散は、上述した同一の公式を用いて再計算される。
　　　　[方程式１９]
　共分散残余値マトリックス＝[測定値マトリックス×予測値共分散マトリックス×転置（測定値マトリックス）]＋測定値ノイズ

　次に、各形状ベクトルに対する実際の確度が計算される。システム１６は、種々の状態に対する予測値と、形状変数に対する実際の現在値を推定する最新の最上推定値とを比較して乗客の状態を決定する。

　本システム１６の好ましい実施形態にはオフセットがない。その理由は、オフセットは、互いに取り消され、システム１６によって実行される処理がゼロ平均ガウス信号(zero-mean Gaussian signals)であると考えられるからである。σは平方偏差(variance)を表し、人間の開発者によって本発明の実行段階で定められる。これは、データを調べることによってσに対して有益な値を割り当てる方法は、従来公知である。

　最も高い確度を有する状態は、側方傾斜角度Φを決定する。乗客１８が中央位置の状態にある場合、側方傾斜角度は０°である。乗客１８は、左側に傾斜している場合、側方傾斜角度は−Φである。乗客１８が右側に傾斜している場合、側方傾斜角度は、Φである。本発明の好ましい実施形態では、Φと−Φは、システム１６に用いる車両の形式及びモデルに基づいて規定されている。

　次に、状態確率は、上記のように生成した確度および上述の予め規定されたマルコフモードの確率から更新される。
　　　　[方程式２１]
Ｐ^C＝Ｐ^C-C＋Ｐ^R-C＋Ｐ^L-C
　　　　[方程式２２]
　Ｐ^R＝Ｐ^R-R＋Ｐ^C-R＋Ｐ^L-R
　　　　[方程式２３]
　Ｐ^L＝Ｐ^L-L＋Ｐ^C-L＋Ｐ^R-L

　更新されたモード確率に対する方程式は、次の通りであり、ここでμは上記で計算された特定モードの確度を表す。
　　　　[方程式２４]
左側状態モードの確率＝１／[μ^L*（Ｐ^L-L＋Ｐ^C-L＋Ｐ^R-L）＋μ^R*（Ｐ^R-R＋Ｐ^C-R＋Ｐ^L-C）＋μ^C*（Ｐ^C-C＋Ｐ^R-C＋Ｐ^L-C）]^*μ^L*（Ｐ^L-L＋Ｐ^C-L＋Ｐ^{R -L}）
　　　　[方程式２５]
右側状態モードの確率＝１／[μ^L*（Ｐ^L-L＋Ｐ^C-L＋Ｐ^R-L）＋μ^R*（Ｐ^R-R＋Ｐ^C-R＋Ｐ^L-R）＋μ^C*（Ｐ^C-C＋Ｐ^R-C＋Ｐ^L-C）]^*μ^R*（Ｐ^R-R＋Ｐ^C-R＋Ｐ^L-R）
　　　　[方程式２６]
中央状態モードの確率＝１／[μ^L*（Ｐ^L-L＋Ｐ^C-L＋Ｐ^R-L）＋μ^R*（Ｐ^R-R＋Ｐ^C-R＋Ｐ^L-R）＋μ^C*（Ｐ^C-C＋Ｐ^R-C＋Ｐ^L-C）]^*μ^R*（Ｐ^C-C＋Ｐ^L-C＋Ｐ^L-C）

　組み合わされた形状推定値は、種々の形状ベクトル推定値と関連して上記確率のそれぞれを用いて最終的に計算される。上述したように、Ｐ^L-RとＰ^R-Lとは、好ましい実施形態ではゼロに設定される。
　　　　[方程式２７]
　Ｘ＝左側状態の確率*Ｘ^左側＋右側状態の確率*Ｘ^右側＋中央状態の確率*Ｘ^中央
Ｘは、測定値の導関数である速度、加速度を含む任意の形状変数である。

　ステップ２００からステップ２０８へのループは、車両が作動中かまたは乗客１８がシート２０上にいる間、連続して繰返される。ステップ２００での処理は、前にステップ２０６で発生した１つの推定値が必要とし、ステップ２０２での処理は更新するために共分散／ゲインマトリックスの存在が必要である。そして、ステップ２００及び２０２は、最初、ステップ２００〜２０８の繰返しループを実行しない。

VII.動き追跡器／予測器
図１４の動き追跡器／予測器５０は、図１３の形状追跡器／予測器４８と多くの点で同様に機能する。この動き追跡器／予測器５０は、形状追跡器とは異なる特性及びベクトルを追跡する。本発明の好ましい実施形態では、重心９４のＸ座標９８と前方傾斜角度１００（θ）、及び対応する速度と加速度（集合的に「動き変数」または「動き特性」）が追跡されかつ予測される。重心９４のＸ座標９８は、乗客１８と、計器盤３４、エアバッグ展開装置３６等の自動車内の位置との間の距離、または自動車内の他の位置を決定するのに使用される。好ましい実施形態では、計器盤３４は、エアバッグがこの計器盤から展開される場所として用いられる。

　ｘ座標ベクトルは、位置成分（ｘ）、速度成分（ｘ’）、及び加速度成分（ｘ”）を含む。θベクトルもまた、同様に、位置成分（θ）、速度成分（θ’）、及び加速度成分（θ”）を含む。他のいずれの動きベクトルも同様に、位置、速度、及び加速度の成分を有するであろう。

　この動き追跡器／予測器サブシステム５０は、ステップ２０８において動き予測の更新し、ステップ２１０において共分散／ゲインマトリックスの更新し、ステップ２１２において動き推定値の更新し、さらにステップ２１４において組合せ動き推定値の出力する動作を実行する。ステップ２０８〜２１４のループは、ステップ２００〜２０６と多くの点で類似する。動き追跡器／予測器５０は、最初のループでは、ステップ２０８、２１０において、それぞれの更新が行われない。そして、初期ループは、ステップ２１２で開始される。

　本発明の構成に従って、本発明の原理及び動作モードを好ましい実施形態において説明しかつ図示してきた。しかしながら、本発明は、その技術的思想または特許請求の範囲から逸脱しないで、特定して説明されかつ図示される他の構成も実施可能であことは理解されよう。

図１は、本発明に係るイメージ区分化システムのための周囲環境の部分図である。 図２は、イメージ区分化システムの高レベル処理の流れを示す図である。 図３は、エアバッグ展開装置内に組み込まれるイメージ区分化プロセスの一例を示すフローチャート図である。 図４は、イメージ区分化プロセスの一例を示すフローチャート図である。 図５は、イメージ区分化システムによって用いられるピクセル特性のヒストグラムを示す図である。 図６は、イメージ区分化システムによって用いられる累積分布関数のグラブを示す図である。 図７は、イメージ区分化システムに組み込まれるイメージ閾値ヒューリスティック手法の一例を示すブロック図である。 図８aは、テンプレート処理を受ける区分化イメージの一例を示す図であり、図８bは、テンプレート処理の一例を示す図であり、図８cは、テンプレート処理を受ける区分化イメージを示す図であり、図８dは、区分化イメージに適合する長円の一例を示す図であり、図８eは、テンプレート処理後の区分化イメージに適合した長円の一例を示す図であり、図８fは、将来のテンプレート処理のために生成される新しいシルエットの一例を示す図である。 図９は、乗客を表す上部長円及びこの上部長円の位置的に重要な特性のいくつかを示す図である。 図１０は、左側、右側、中央の各状態における上部長円を示す図である。３つの状態モードに関する乗客の動き特性を測定および予測するためのフローチャート図である。 図１１は、左側、右側、中央の各状態の３つの状態モード、及び種々の状態モード間の転移に関連する種々の確率を示すマルコフチェインの図である。 図１２は、人間、静止、衝突時の３つの状態モード、及び種々の状態モード間の転移に関連する種々の確率を示すマルコフチェインの図である。 図１３は、形状追跡器/予測器によって実行される処理操作の一例を示すフローチャート図である。 図１４は、動き追跡器/予測器によって実行される処理操作の一例を示すフローチャート図である。

符号の説明

　１６　　イメージ区分化システム
　１８　　乗客
　２０　　シート
　２１　　シート領域
　２２　　カメラ
　３０　　コンピュータシステム
　３１　　区分化イメージ
　３２　　エアバッグコントローラ
　３６　　エアバッグ展開装置
　３８　　周囲イメージ
　４０　　イメージ区分化サブシステム
　４４　　長円適合サブシステム
　４６　　追跡／予測サブシステム
　４８　　形状追跡器／予測器
　５０　　動き追跡器／予測器
　５３　　イメージ差分モジュール
　５６　　クリエイト勾配イメージモジュール
　６４　　クリーン勾配イメージモジュール
　６６　　テンプレートマッチングモジュール
　７０　　長円適合モジュール
　７８　　ピクセル
　８４　　イメージ閾値

Claims (31)

1. 　センサにより捕えた現在の周囲イメージから現在の区分化イメージを分離するための方法であって、
   　現在の周囲イメージを前の周囲イメージと比較し、
   　前記現在の区分化イメージの境界を現在の周囲イメージと前の周囲イメージとの間の差により識別し、そして、
   　ハウスドルフ ディスタンス ヒューリスティック手法を用いて、テンプレートを前記識別された境界に合致させる、各ステップを含むことを特徴とする方法。
2. 　前の周囲イメージは、現在の周囲イメージが捕捉される前に、約1／40（秒）より少ない時間で捕捉されることを特徴とする請求項１記載の方法。
3. 　さらに、現在の周囲イメージ内の注目領域を決定するステップを含むことを特徴とする請求項１記載の方法。
4. 　さらに、注目領域内に存在しない現在の周囲イメージの一部分を無視するステップを含むことを特徴とする請求項３記載の方法。
5. 　前記周囲イメージ内の注目領域を決定するステップは、前の区分化イメージから現在の区分化イメージの位置を予測するステップを含んでいることを特徴とする請求項３記載の方法。
6. 　カルマンフィルタは、前の区分化イメージから現在の区分化イメージの位置を予測するのに用いられることを特徴とする請求項５記載の方法。
7. 　注目領域は、現在の周囲イメージ内において、矩形状であることを特徴とする請求項３記載の方法。
8. 　前の区分化イメージ内の底部領域は、現在の周囲イメージにおいて無視されることを特徴とする請求項３記載の方法。
9. 　現在の周囲イメージ内の複数のピクセルは、前の周囲イメージ内の対応する複数のピクセルと比較されることを特徴とする請求項１記載の方法。
10. 　現在の周囲イメージ内の前記複数のピクセルにおける各ピクセルは、前の周囲イメージ内の対応する前記複数のピクセルと比較されることを特徴とする請求項９記載の方法。
11. 　さらに、前記識別された境界にローパスフィルタを適用するステップを含むことを特徴とする請求項１記載の方法。
12. 　　さらに、現在の周囲イメージと前の周囲イメージとの間に変化領域を配置するためにイメージ勾配のヒューリスティック手法を実行するステップを含むことを特徴とする請求項１記載の方法。
13. 　さらに、前記識別された境界を閾値化するステップを含むことを特徴とする請求項１記載の方法。
14. 　さらに、現在の区分化イメージとして、前の区分化イメージを選択するステップを含むことを特徴とする請求項１記載の方法。
15. 　さらに、クリーン勾配イメージのヒューリスティック手法を実行するステップを含むことを特徴とする請求項１記載の方法。
16. 　テンプレートを合致させるステップは、前記テンプレートを所定の角度範囲で回転させることを含んでいることを特徴とする請求項１記載の方法。
17. 　前記所定の角度範囲は、約−６度〜＋６度の範囲であることを特徴とする請求項１６記載の方法。
18. 　前記角度範囲内の角度は、予め決められていることを特徴とする請求項１６記載の方法。
19. 　テンプレートは、二進化イメージであることを特徴とする請求項１記載の方法。
20. 　さらに、テンプレートを修正するステップを含むことを特徴とする請求項１記載の方法。
21. 　テンプレートを修正するステップは、三次スプライン適合(cubic spline fit)を設定するステップを含むことを特徴とする請求項２０記載の方法。
22. 　テンプレートを修正するステップは、制御ポイントの新しい組を設定することを含んでいる請求項２１記載の方法。
23. 　さらに、長円をテンプレートに適合させるステップを含むことを特徴とする請求項１記載の方法。
24. 　長円をテンプレートに適合させるステップは、直接最小二乗法を適用するヒューリステック手法を実行するステップを含むことを特徴とする請求項２３記載の方法。
25. 　長円を適合させることは、前の長円の下側部分を複写することを含んでいる請求項２４記載の方法。
26. 　　現在の周囲イメージから現在の区分化イメージを分離するための方法であって、
    　現在の周囲イメージ内の注目領域を前の周囲イメージから識別し、
    　前記現在の周囲イメージ内の注目領域を、前の周囲イメージ内の対応する領域と比較することによって決められたイメージ差にローパスフィルタを適用し、
    　イメージ振幅を急速に変化させて、現在の周囲イメージ内のある領域を見出すためのイメージ勾配計算を実行し、
    　前記イメージ差分を所定の累積分布関数を用いて閾値化させ、
    　イメージ勾配計算の結果をクリーニングし、
    　ハウスドルフ ディスタンス ヒューリスティック手法を用いて、このクリーン化された結果にテンプレートイメージを合致させ、さらに
    　前記テンプレートイメージに１つの長円を適合させる、各ステップを含むことを特徴とする方法。
27. 　周囲イメージから区分化イメージを分離するための区分化システムであって、
    　区分化イメージと注目領域を含む周囲イメージと、
    　勾配イメージを含み、前記注目領域内に前記勾配イメージを生成する勾配イメージモジュールと、
    　テンプレート、テンプレートマッチ、及びハウスドルフ ディスタンス ヒューリスティック手法を含み、前記テンプレート、前記勾配イメージ、及びハウスドルフ ディスタンス ヒューリスティック手法からテンプレートマッチを生成するテンプレートモジュールと、
    を備えることを特徴とする区分化システム。
28. 　前記テンプレートモジュールは、座席位置に留まる前記区分化イメージを仮定することを特徴とする請求項２７記載のシステム。
29. 　前記テンプレートモジュールは、前記テンプレートを回転させることを特徴とする請求項２７記載のシステム。
30. 　更に、複数の所定角度を含む角度範囲を有しており、前記テンプレートモジュールは、前記複数の所定角度の各々に対して前記テンプレートを回転させることを特徴とする請求項２９記載のシステム。
31. 　プロダクトイメージ、二進化イメージ、及び非二進化イメージをさらに含み、前記テンプレートは、二進化イメージであり、前記勾配イメージは、非二進化イメージであり、前記プロダクトイメージは、前記テンプレートに勾配イメージを乗算することによって生成されることを特徴とする請求項２９記載のシステム。
    
    

Images