JP2015532743A - ドライバの運転状態を判断する方法 - Google Patents

Abstract

本発明は、意識検出機構を使用して車両のドライバの運転状態を判断する方法であって、前記意識検出機構が、ドライバの挙動に関するデータを生成するための少なくとも第１及び第２のソースを含み、前記第１及び第２のソースから、前記ドライバの生理学データ、前記車両の運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも１つに関するデータを受け取る段階と、前記第１及び第２のソースからのデータを、それぞれ前記第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較する段階と、前記比較に基づいて、前記第１及び第２のソースのそれぞれに関して、前記複数の所定のドライバのそれぞれに関する状態確率を決定する段階と、前記ドライバの全体的な運転状態確率を決定するために、前記第１及び第２のソースの前記決定されたドライバ状態を互いに重み付けする段階とを含む。【選択図】図５

Description

本発明は、眠気検出に関し、特にマルチソース入力を使用して、例えば、カメラによって提供された情報と、車両の操作に関する情報を提供する車両関連情報源とを組み合わせることによって、車両を運転するドライバの運転状態を判断することに関する。

交通事故は、例えば眠気によって引き起こされるドライバ障害により起こることが多い。ドライバ障害によって引き起こされる事故を防ぐために、周囲の交通状況に対するドライバの注意を回復させる警告メッセージをドライバに提供するか、危機的状況において休憩を取るか車両の別のドライバに交替することをドライバに助言することが極めて重要である。

最近では、例えば、カメラを使用したドライバの閉眼の監視やステアリングホイール操作パターンの検出などのためのセンサ機構の使用を含む、ドライバの挙動の検出に基づく眠気検出アルゴリズムの開発が大きく進歩した。複数のセンサ機構を使用することにより、センサ機構のうちの１つが眠気を催しているドライバを検出できない場合に冗長性を達成でき、その結果、眠気検出の頑強性を改善できる。

特許文献１では、例示的な眠気検出システムが開示されており、知的ソフトウェアアルゴリズムを使用して、２つの異なるセンサ機構からのデータが融合される。具体的には、データが、第１及び第２のセンサ機構から提供され、第１のセンサ機構は、車両ヘッドライナ及びシートに埋め込まれ、頭部の動きを検出するために使用されるセンサのアレイを含み、第２のセンサ機構は、ステアリングホイール内に配置され、居眠りドライバを示すドライバ特性を監視するために使用される心拍数監視センサを含む。

特許文献１に開示された眠気検出システムは、眠気検出の冗長性と頑強性の両方をある程度改善するが、より一般には、ドライバ特性の検出の様々なタイムライン及び／又はサンプリングレートを有する可能性のある任意のセンサ機構からのデータを組み合わせ、それにより、完全な眠気検出システムを較正しなおすことなしに更なるセンサ機構の導入を可能にするのに適切な解決策を提供できない。したがって、より柔軟なセンサデータの融合を可能にし、更に眠気検出の頑強さを更に改善する方法を提供することが望ましい。

米国特許出願公開第２００３／０１５１５１６号明細書 国際公開第２００９／１２６０７１号

本発明の一態様によれば、上記の目的は、意識検出機構を使用して車両のドライバの運転状態を判断するための方法によって少なくとも部分的に達成され、意識検出機構は、ドライバの挙動に関するデータを生成するための少なくとも第１と第２のソースを含み、方法は、第１及び第２のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも１つに関するデータを受け取る段階と、第１及び第２のソースからのデータを、第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較する段階と、第１及び第２のソースそれぞれの比較に基づいて、複数の所定のドライバ状態のそれぞれの状態確率を決定する段階と、ドライバの全体的な運転状態確率を決定するために第１及び第２のソースの決定されたドライバ状態を互いに重み付けする段階とを含む。

本発明は、ドライバの運転状態の決定と関連してよりよい決定を行うには幾つかの情報源を融合させることが望ましいが、情報を融合するための先行技術の方法は、典型的には、最適化方式を使用して複数の情報源の収束を達成し、その結果、プロセスで価値ある情報が失われるという理解に基づく。そのような最適化方式は、例えば、固定ルールの使用に基づいて、データをドライバの眠気、神経回路網又は様々な統計的方法の単一メトリックに重み付けして、眠気の複数のインジケータを単一出力に組み合わせ、この単一出力は、ドライバに警告を出すか特定の対策を活動化するために使用される。次に、それらを単一出力に組み合わせるために後の平均又は競合ルールが使用される。更に、既存の解決策は、多くの場合、モデルベースでなく、広範囲な検証を必要とする。

本発明によれば、眠気発生の生理学的モデルは、最終決定において様々な検出装置の影響に重み付けするときに最も有用であると識別された。したがって、（真に）疲れたドライバの存在を予測し、危険な状況の前に警告することができることが重要である。典型的にドライバ状態監視装置によって検出される明らかな眠気は、睡眠の生理学的必要性と、タスク時間（time-on-task）又は退屈によって引き起こされる疲労の両方によって引き起こされることがある。したがって、明らかな眠気は、実際には睡眠不足によって引き起こされる潜在的眠気と様々に異なることがある。実際には、外部刺激、長く退屈な道路区分、更には食物摂取など、観察された眠気レベルを一時的に増減できる幾つかの隠蔽因子がある。そのような一時的な隠蔽因子が除去されたとき、潜在的眠気レベルが優勢になる。実際に、これにより、人は、外部刺激によってかなり機敏になることがあるが、そのような隠蔽因子が除去された後はすぐに眠気に負けることがある。機敏／眠気の数学的モデルは、潜在的眠気をモデル化することができ、ドライバ状態の実時間監視と融合されたときに、検出の正確性と妥当性を大幅に高めることができる。利点には、例えば、予測性能の改善、様々な実施態様のカスタム化と調整を少なくするための要件の低減があり、その結果、ドライバの運転状態を検出する際の頑強さを高める実施態様のコスト効率が向上する。

発明概念は、複数の検出器（例えば、実質的に任意の時間スケールで動作するセンサに基づく第１の情報源）の出力と、眠気の予測モデル（例えば、第２の情報源、及びより高度なモデルの基本）とを使用して、予測モデルは、次に、既知のベイズ理論を使用して処理されて、眠気の頑強なマルチソースインジケータが生成される。

本発明によって、別個の車内システムによってトリガされる特定のアクションで関連付けられたパラメータ表示用クラスを設計することができる。即ち、サブシステムは、居眠り運転検出システムの一般出力に基づいて（例えば、ドライバ状態；機敏、眠いに基づいて）、この挙動のマッピングを後で定義しようとする代わりに、設計のごく中心でこれらの別個のシステムの重要機能を実行するように設計される。この特定の例は、ドライバが眠い状況で適応走行制御システム（ＡＣＣ）前進時間ギャップを延長するドライバ状態敏感しきい値を設計する方法である。１つの典型的な方法は、ＡＣＣシステムが、居眠り運転警報システムの出力を使用し、測定された眠気が前進感度を変更するのにＡＣＣにとってきわめて重要かどうかを判定しなければならない特別設計の機能を割り当てることになる。次に、方法は、このデータの潜在的エラー又は低い信用を処理するのに必要な全てのロジックを作成することになる。

以下の説明で言葉「生理学データ」は、例えば、オペレータの目、顔、身体、並びに視線方向、閉眼を識別する画像ベースシステムによって、又はドライバの心拍数、脳活動、ストレスレベル、呼吸などの測定によって識別されうる全てのタイプのデータとして解釈されるべきであることに注意されたい。更に、ドライバ状態及びそのような状態を判断する概念は、以下に、本発明の詳細な説明に関連して検討される。

一実施形態によれば、ドライバの運転データは、オペレータの目、顔、頭、腕及び身体の動きのうちの少なくとも１つに関する情報を含む。そのようなドライバ関連情報は、例えば、車両客室内に配置され、車両のドライバを監督する画像取得装置によって生成されうる。発明概念と関連して使用するための関連情報を生成する他のタイプのセンサには、例えば、ステアリングホイール又は運転席と関連して配置された心拍数センサが挙げられる。更に、ドライバ動きの指示を生成する動作センサは、運転席内に組み込まれ、発明概念に関連して使用可能な情報を生成するために使用されうる。

更に他の実施形態によれば、車両の運転は、ライン交差時間（time to line crossing）、前記車両の前を走行する更に他の車両までの距離、ステアリング及び／又はハンドル操作パターンのうちの少なくとも１つに関する情報を含むことがある。そのような車両関連情報は、例えば、画像取得装置、レーダ装置、又は車両運転に使用される他のタイプのセンサによって生成されてもよい。

一実施形態では、車両を運転するドライバのモデルは、時刻と車両の運転時間（例えば、タスク時間）の少なくとも一方に関する第１の要素と、ドライバの眠気レベルに関する第２の要素を含む。ドライバの眠気レベルに関する第２の要素は、睡眠潜時モデル、時刻、タスク時間、概日リズム及び睡眠／覚醒ホメオスタシスプロセスのうちの少なくとも１つに基づく。ドライバ眠気の例示的なモデルは、本出願人による特許文献２に示されており、この特許は、参照によりその全体が組み込まれる。

本発明の方法の結果（決定されたドライバ状態）は、車両制御機能を実現するように構成された車両システムに提供されることが好ましく、車両システムは、ドライバ状態に基づいて車両制御機能を調整する。これは、例えば、適応走行制御システムに関して及び／又は例えば本発明の詳細な説明と関連して以下に更に詳しく検討されるような前方衝突警告（ＦＣＷ）システムに関して前述したように実現されうる。更に、決定されたドライバの状態は、ドライバが眠いことを示す警告を生成するための居眠りドライバ検出システムに提供されてもよい。

本発明の別の態様によれば、車両のドライバの運転状態を判断するための制御システムが提供され、制御システムは、制御ユニットを含み、意識検出機構に接続された制御ユニットは、ドライバの挙動に関連したデータを生成するための少なくとも第１及び第２のソースを含み、制御ユニットが、第１及び第２のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも１つに関するデータを受け取り、第１及び第２のソースからのデータを、それぞれ第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、第１及び第２のソースのそれぞれの比較に基づいて、複数の所定のドライバ状態のそれぞれに関して状態確率を決定し、第１及び第２のソースの決定されたドライバ状態を互いに重み付けしてドライバの全体的な運転状態確率を決定するように構成される。本発明のこの態様は、本発明の以前の態様に関して前述したような類似の利点を提供する。

制御システムは、例えば、上に開示された意識検出機構を更に含む車両システムの一部分を構成してもよい。第１及び第２のソースの少なくとも１つは、オペレータの目、顔、頭、腕及び身体の動きのうちの少なくとも１つに関する情報を含むドライバの運転データを生成するように構成され、第１及び第２のソースの少なくとも１つが、画像取得装置であることが好ましい。更に、第１及び第２のソースの少なくとも１つが、ライン交差時間、車両の前方を走行する更に他の車両までの距離、ステアリング及び／又はハンドル操作パターンのうちの少なくとも１つに関する情報を含む車両の運転データを生成するように構成されうる。

本発明の更に他の態様によれば、意識検出機構を使用して車両のドライバの運転状態を判断するためのコンピュータプログラム製品を実施するコンピュータ可読媒体が提供され、意識検出機構は、ドライバの挙動に関するデータを生成するための少なくとも第１及び第２のソースを含み、コンピュータプログラム製品が、プロセッサによって実行されたときに、第１及び第２のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも１つに関するデータを受け取り、第１及び第２のソースからのデータを、それぞれ第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、第１及び第２のソースのそれぞれに関して、比較に基づいて、複数の所定のドライバ状態のそれぞれの状態確率を決定し、第１及び第２のソースの決定されたドライバ状態を互いに重み付けし、ドライバの全体的な運転状態確率を決定するように構成される。また、本発明のこの態様は、本発明の以前の態様に関して前述したような類似の利点を提供する。

プロセッサは、車両制御ユニット、コンピュータ、サーバ又は類似物内に提供されることが好ましく、コンピュータ可読媒体は、リムーバブル不揮発性ランダムアクセスメモリ、ハードディスクドライブ、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、ＤＶＤ ＲＯＭ、ＵＳＢメモリ、ＳＤメモリカード、又は当該技術分野（現在及び将来）で既知の類似のコンピュータ可読媒体のうちの１つでよい。本発明は、ソフトウェア及びハードウェア要素の組み合わせを使用して実現されてもよい。

本発明の更なる特徴及びその利点は、添付の特許請求の範囲及び以下の説明を研究するときに明らかになる。熟練した受取人は、本発明の様々な特徴を組み合わせて、本発明の範囲から逸脱することなく、以下に示したもの以外の実施形態を作成できることを理解するであろう。

特定の特徴及び利点を含む本発明の様々な態様は、以下の詳細な説明及び添付図面から容易に理解される。

外部センサを装備した車両とその前方端にある座標系の斜視図である。 内界センサを装備した車両の内部の斜視図である。 車両オペレータの顔と頭の座標系を示す図である。 図４ａは、本発明の方法と関連して使用されるドライバの状態の２つの例示的な独立インジケータの統計確率計算を示す図である。図４ｂは、本発明の方法と関連して使用されるドライバの状態の２つの例示的な独立インジケータの統計確率計算を示す図である。 本発明の好ましい実施形態による車両システムを概念的に示す図である。 図６ａは、ドライバの運転状態確率の反復調整の例を概念的に示す図である。図６ｂは、ドライバの運転状態確率の反復調整の例を概念的に示す図である。図６ｃは、ドライバの運転状態確率の反復調整の例を概念的に示す図である。

次に、本発明の現在の好ましい実施形態を示す添付図面を参照して、本発明を以下に詳細に説明する。しかしながら、本発明は、様々な異なる形態で実施され、本明細書に示された実施形態に限定されるように解釈されるべきでなく、より正確に言えば、そのような実施形態は、徹底及び完全性のために提供され、本発明の範囲を当業者に完全に伝える。同じ参照文字は、全体を通して同じ要素を指す。

以下では、本発明は、車両のオペレータの視覚入力品質評価を改善するためのシステムに関して述べられる。車両は、好ましくは、車両オペレータの情報を取得するための内部センサと、車両運転及び車両の周囲環境の情報を取得するための外部センサとを備える。より良い理解のため、次に、図１〜図３と関連して内部及び外部センサについて述べる。

図１は、本発明によるシステムが組み込まれうる例示的な車両（ここでは、自動車１００として示された）を示す。自動車１００は、追い越し、車両速度、車両ヨーレートなどの車両運転、物体、ゾーン、例えばレーンマーク、道路マーク、道路カーブ、周囲車両などの車両の周囲環境を検出するように構成された外部センサ１０４を備える。外部センサ１０４は、例えば、カメラ又はレーダセンサでよい。好ましくは、対象物の高さと幅を決定するときにはカメラが高精度を提供し、一方対象物までの距離を決定するときにはレーダセンサが高精度を提供するので、カメラとレーダセンサの組み合わせが使用されてもよい。これにより、周囲対象物のサイズ、位置、速度などを決定することができる。自動車１００の位置に関して、ここではデカルト座標系として示された座標系１０２が、自動車１００の前方端にある。座標系１０２は、車両に続くように構成され、軸はそれぞれ、前後方向（Ｘ軸）、横方向（Ｙ軸）、及び垂直方向（Ｚ軸）を表わす。検出された対象物は、自動車１００の座標系１０２と共に、車両のシステムに提供され、それにより、システムは、自動車１００に関する対象物のサイズと位置を決定することができる。例えば、システムは、様々なセンサ１０４からの対象物データが継続的に提供される。したがって、周囲の交通環境の速度と加速度を決定することもできる。

図２は、車両オペレータ２０２を含む自動車１００の内部を示し、車両１００は、内界センサ（ここではカメラシステム２０４として示された）を備える。カメラシステム２０４は、車両運転中に車両オペレータ２０２の挙動を測定し検出するように構成され、車両のオペレータの目、顔、頭、及び身体の動きのうちの少なくとも１つに関する情報を含む生理学データを示すオペレータ動作入力信号を生成するように構成されうる。

更に、カメラシステム２０４は、オペレータの顔、頭又は上体の所定数の位置に注目するように構成されてもよい。これらの位置は、例えば、目、まぶた、眉、鼻、口、頬、首、肩、腕などでよい。カメラシステム２０４は、自動車を通常運転する特定のオペレータ２０２のために事前に較正されてもよく、オペレータ２０２が自動車１００の運転席に入るたびに較正されてもよい。カメラシステム２０４が、オペレータの顔又は頭の様々な位置を検出したとき、カメラシステム２０４は顔挙動を評価することができる。したがって、カメラシステム２０４は、例えば、頭と目の向きと動き及びその派生物、頭部姿勢、眼球サッカード、頭部及び眼球サッカードの組み合わせ、閉眼、閉眼速度などを検出することができる。

また、カメラシステム２０４は、オペレータの顔３０４に関連した座標系３０２（例えば、図３に示されたようなオペレータ中心ピッチ／ヨー座標系）の使用によって、オペレータの頭又は目が、右又は左に回転しているか（ヨー）３０５、上又は下に回転しているか（ピッチ）３０６、又は頭部運動の場合には右又は左肩の方に傾いているか（ローラ）３０７を検出してもよい。顔３０４の座標系３０２は、原点がオペレータの目の間に位置決めされた極座標系であることが好ましい。

更に、内界センサは、カメラシステム２０４の代わり又は追加として、他のタイプのオペレータ検出手段も含む。これには、例えば、ステアリング挙動を検出するためのステアリングホイールセンサ、自動車１００の非一貫性加速度及び／又は制動を検出するための加速ペダル及び／又は制動ペダル内のセンサ、例えばオペレータ２０２が情報娯楽システムの様々な機能を調整しているかどうかを検出する自動車１００の様々なボタン内のセンサが挙げられる。内界センサの更に他の例には、オペレータの意識の状態を監視するための呼気分析センサ又は瞳孔サイズセンサが挙げられる。

本発明の更なる理解を提供するために、以下では、概念が、必要な基準値のパラメータ表示及び計算の初期準備段階と、更に、ドライバに対する警告のその後の生成又は他の車両機能の制御を含む眠気の連続的な検出、計算及び予測の更に他の使用段階とに分けられた説明が提供される。

初期準備段階では、可能なドライバ状態のエキスパートベース（例えば、オフライン）パラメータ表示は、ドライバ（眠気）状態を特徴付ける。研究から、このパラメータ表示を強力かつ頑強に行うことができることが分かっている。パラメータ表示は、一実施形態では、２つの状態｛機敏、眠い｝に基づくことがある。別の実施形態では、パラメータ表示は、４つの状態｛きわめて機敏、機敏、眠い、眠さと戦う｝に基づくことができる。

当然ながら、更に他の状態が可能であり、本発明の範囲内である。例えば、完全に異なる手法をとると、情報を供給するのが目的の他の車両機能の活動化トリガに対応する状態を定義することができる。次に、システムは、一般機能レベル、又は特定の車両システムに適合された機能状態を使用することができる。したがって、一実施形態では、融合システムは、例えばドライバ状態を考慮する前方衝突警告（ＦＣＷ）システムとして実施される、別個の車両システム（居眠りドライバ検出システムとして設計されたものではなく）の特定の挙動に影響を及ぼす前段階として設計される。次に、ＦＣＷシステムは、融合システムの出力を内部警告決定機能に直接マッピングすることができる。

準備段階の次の段階は、定義されたドライバ状態に関する各インジケータ（即ち、情報源）の確率塊関数（ｐｍｆ）の計算を含む。図４ａと図４ｂでは、２つの状態パラメータ表示｛機敏，眠い｝を使用して、ライン交差時間（ＴＬＣ）とステアリングホイール反転率（ＳＲＲ）の２つのインジケータのｐｍｆが示される。実際には、各インジケータのｐｍｆを作成するために、実際の眠い及び機敏運転の事前収集データが使用されてもよい。データが、常に、本質的に曖昧（ある程度）なので、別個の分類ではなくドライバ状態のｐｍｆを計算する必要がある。換言すると、ドライバ状態ｐｍｆを計算するために、インジケータ値を示すｐｍｆの形状が使用される。したがって、インジケータごとのデータ値の分布を示す幾つかのｐｍｆがあり、１つのｐｍｆが、有効なドライバ状態間の分布を示す。

次に、使用段階に関して使用するために、本発明の現在好ましい実施形態による車両システム５００を概念的に示す図５に移る。車両システム５００は、典型的には、複数のセンサ（例えば、図１と関連した前述したような、画像取得装置、レーダ装置など）を含む検出システム５０２、インジケータ計算システム５０４、予測及びデータ融合システム５０６、決定及びフィードバックシステム５０８を含む。更に、車両システム５００は、典型的には、人間機械インタフェースによって、車両のドライバにフィードバックを提供する能力を含むことがある。

図５の概念図は、発明概念を実現する多くの方法のうちの１つにすぎない。更に、車両システム５００は、非同期で実行されてもよく、即ち、融合評価は、新しい観測が行われたかどうかに関係なくいつでも計算されうる。形式上、評価が、時間Ｔ＝［ｔ_１，ｔ_２，…ｔ_Ｎ］^Ｔで計算される場合、時間差ｔ_２−ｔ_１は、必ずしもｔ_３−ｔ_２ではない。

時間ｔ_ｋでの眠気レベルが、ｘ_ｋで示され、この場合、離散変数であると仮定され、車両システム５００は、確率塊関数（又は、状態が連続的であると仮定される場合には確率密度関数）を計算する。離散状態ベクトルを有する利点は、２つあり、様々な介入に対応するように状態を設計できることと、確率塊関数（ｐｍｆ）を近似ではなく正確に計算できることである。ｐｍｆの計算に使用される最も近いインジケータ値のタイムスタンプは、ｐ（ｘ_ｋ｜ｌ_ｊ）；条件付きｐｍｆの表記で示される。データＩ_ｊ（ボールド体）は、時間ｔ_ｊ：Ｉ_ｊ＝［Ｉ_１，Ｉ_２，…Ｉ_ｊ］まで蓄積された全てのインジケータ値を示す。

車両システム５００の動作は、また、「ステップバイステップ」擬似コードをインジケータ融合に使用して説明されうる。

ｆｏｒ ｋ＝１：Ｎ
１．タイムスタンプ順で、時間間隔ｔ_ｋ−ｔ_ｋ−１，ｌ_ｋ＝［ｉ^１，ｉ^２，…ｉ^Ｍ］で使用可能になる全ての接続インジケータ（情報源）からの出力を記憶する。
２．以前の繰り返しｐ（Ｘ_ｋ｜ｌ_ｋ）からのｐｍｆを新しいデータｌ_ｋで更新する。
ｆｏｒ ｊ＝１：Ｍ
ａ．ｌ_ｋにおいて、最も前のインジケータ値（ｉ^ｊ）の時間に対して眠気ｐｍｆを予測する。
ｐ（ｘ_ｊ｜ｌ_ｋ−１，ｉ^１，…，ｉ^ｊ−１）を計算する。
ｂ．予測したｐｆｍを新しいインジケータ値ｉ^ｊで更新する。
ｐ（ｘ_ｊ｜ｌ_ｋ−１，ｉ^１，…，ｉ^ｊ）を計算する。
ｅｎｄ ｆｏｒ
３．所望の出力時間に対してｐｍｆを予測する。
ｐ（ｘ_ｋ｜ｌ_ｋ）を計算する。
４．確率的意志決定方式を適用してシステム出力を決定し、例えば、ドライバに警告する。
ｅｎｄ ｆｏｒ

また、第３の段階は、次の繰り返しを予測するだけでなく、「遠い」将来（例えば、１時間）のドライバ状態を評価し、それによりトリップ立案を可能にするために使用されることがある。

第４の段階は、眠気の一部の評価だけでなくｐｍｆ全体が分かるので、頑強な意志決定を可能にする。その場合、介入の任意の最適基準を設計に組み込むことができる。

更に、この手法の使用は、各評価の信頼値が容易に計算されることを可能にする。

決定及びフィードバックモジュール５０８は、一実施形態では、警告を出すかどうか決定する際に、現在の推定眠気レベルと将来の予測眠気レベル（例えば、今から１５分）の両方を考慮することができる。例えば、ドライバは、次の１５分以内にきわめて眠くなると予測された場合に警告を受け取り、それにより、積極的に行動する機会を与えられうる。

更に図６ａ〜図６ｃを参照すると、車両のドライバに対する運転状態確率の反復調整の例が概念的に示され、ドライバ眠気レベルｘは、値１〜３をとることができ、ここで、１は、「眠い」であり、警告又は介入をすべきであり、３は「機敏」である。提案されたシステムが、次の式を計算すると仮定する。
ｐ（ｘ）＝［０．５，０．１，０．４］

「最良推測」の評価だけを提供する典型的な融合システムは、「１」を出力し、平均を計算するシステムは、「２」を提供する。これらの評価はどれも必要な信頼情報を含まない。この場合、状態は、状態１及び３がほぼ等しい確率であるが必然的に矛盾を含み、つまりドライバが同時に眠くかつ機敏になりえないため、明らかに曖昧である。発明概念によれば、これは、例えば、確率ｐ（ｘ＝１）＞０．５の場合に警告、ｐ（ｘ＝１）＞０．９の場合に介入と見なされうる。

より高度な実施形態では、パラメータ表示の各状態と関連した複数の行動（例えば、「弱い警告」、「強い警告」、「介入」、「自動ブレーキシステムの感度の適応」、「気候制御システムの温度と気流の適応」、「納品の日程変更」など）でよい（表１を参照）。これらの行動の平衡をとるには、既存の先行技術でしばしば提案されたような単一出力を有する融合スキームを単純に使用することはできない。

したがって、前述の繰り返しは、新しいインジケータ値が利用できるとき、又はデータが利用可能なときではなく眠気評価が必要なときに実行されることがあり、それにより、システムの機能が改善される。

本発明が、特定の例示的な実施形態に関して述べてきたが、様々な変更や修正などが当業者には明らかになる。開示された実施形態の変形は、図面、開示及び添付の特許請求の範囲に関する研究により、請求された発明を実施する際に熟練した受取人によって理解され達成されうる。例えば、本発明は、主に、幾つかの実施形態に関して述べた。しかしながら、以上開示された実施形態以外の実施形態が、添付の特許請求の範囲によって規定されるような本発明の範囲にあることは、熟練した受取人によって容易に理解される。例えば、本発明は、トラック、バス、ダンプトラック、ホイールローダ、及び前述の自動車以外のタイプの車両にも適用可能である。

特許請求の範囲において、言葉「含む」は、他の要素又は段階を除外せず、「ａ」又は「ａｎ」は、複数を除外しない。単一コンピュータ又は他のユニットが、特許請求の範囲に示された幾つかの項目の機能を満たすことができる。幾つかの手段が互いに異なる従属クレームに記載されたという単なる事実は、そのような手段の組み合わせを使用できないことを示すものではない。

１００ 自動車
１０４ 外部センサ
１０２ 座標系

Claims (15)

1. 意識検出機構を使用して車両のドライバの運転状態を判断する方法であって、前記意識検出機構が、ドライバの挙動に関するデータを生成するための少なくとも第１及び第２のソースを含み、
   −前記第１及び第２のソースから、前記ドライバの生理学データ、前記車両の運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも１つに関するデータを受け取る段階と、
   −前記第１及び第２のソースからのデータを、それぞれ前記第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較する段階と、
   −前記比較に基づいて、前記第１及び第２のソースのそれぞれに関して、前記複数の所定のドライバのそれぞれに関する状態確率を決定する段階と、
   −前記ドライバの全体的な運転状態確率を決定するために、前記第１及び第２のソースの前記決定されたドライバ状態を互いに重み付けする段階とを含む方法。
2. 前記ドライバの前記運転データが、オペレータの目、顔、頭、腕及び身体の動きの少なくとも１つに関する情報を含む、請求項１に記載の方法。
3. 前記車両の前記運転が、ライン交差時間、前記車両の前方の更に他の車両機構までの距離、ステアリング及び／又はハンドル操作パターンのうちの少なくとも１つに関する情報を含む、請求項１又は２に記載の方法。
4. 前記車両を運転する前記ドライバの前記モデルが、時刻と車両運転時間の少なくとも一方に関する第１の要素と、前記ドライバの前記眠気レベルに関する第２の要素とを含む、請求項１乃至３のいずれかに記載の方法。
5. 前記ドライバの前記眠気レベルに関する前記第２の要素が、睡眠潜時、時刻、タスク時間、概日リズム、及び睡眠／覚醒ホメオスタシスプロセスのうちの少なくとも１つに基づく、請求項４に記載の方法。
6. 複数の所定のドライバ状態が、眠い及び機敏として定義された少なくとも２つの状態、好ましくは、きわめて機敏、機敏、眠い、及び眠さと闘うとして定義される４つの状態を含む、請求項１乃至５のいずれかに記載の方法。
7. 前記ドライバの前記判断された状態が、車両制御機能を実現するように構成された車両システムに提供され、前記車両システムが、前記ドライバ状態に基づいて前記車両制御機能を調整する、請求項１乃至６のいずれかに記載の方法。
8. 前記ドライバの前記判断された状態が、前記ドライバが眠いことを示す前記ドライバ状態に警告を生成するための居眠りドライバ検出システムに提供される、請求項１乃至７のいずれかに記載の方法。
9. 車両のドライバの運転状態を判断するための制御システムであって、前記制御システムが、制御ユニットを含み、意識検出機構に接続された前記制御ユニットが、前記ドライバの挙動に関するデータを生成するための少なくとも第１及び第２のソースを含み、前記制御ユニットが、
   −前記第１及び第２のソースから、前記ドライバの生理学データ、前記車両の前記運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも１つに関するデータを受け取り、
   −前記第１及び第２のソースからのデータを、前記第１及び第２のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、
   −前記比較に基づいて、前記第１及び第２のソースのそれぞれに関して、前記複数の所定のドライバのそれぞれの状態確率を決定し、
   −前記第１及び第２のソースの前記決定されたドライバ状態を互いに重み付けして、前記ドライバの全体的な運転状態確率を決定するように構成された制御システム。
10. 前記制御ユニットが、更に、車両制御機能を実現するように構成された車両システムに前記ドライバの前記判断された状態を提供するように構成され、前記車両システムが、前記ドライバ状態に基づいて前記車両制御機能を調整する、請求項９に記載の制御システム。
11. 請求項９又は請求項１０に記載の制御システムと前記意識検出機構とを含む車両システム。
12. 前記第１及び前記第２のソースの少なくとも一方が、前記オペレータの目、顔、頭、腕及び身体の動きに関する情報を含む前記ドライバの運転データを生成するように構成された、請求項１１に記載の車両システム。
13. 前記第１及び前記第２のソースの少なくとも一方が、画像取得装置である、請求項１１又は請求項１２に記載の車両システム。
14. 前記第１及び前記第２のソースの少なくとも一方が、ライン交差時間、前記車両の前方の他の車両機構までの距離、ステアリング及び／又はハンドル操作パターンのうちの少なくとも１つに関する情報を含む車両の運転データを生成するように構成された、請求項１１乃至１３のいずれかに記載の車両システム。
15. 意識検出機構を使用して車両のドライバの運転状態を判断するためのコンピュータプログラム製品を実装するコンピュータ可読媒体であって、前記意識検出機構が、前記ドライバの前記挙動に関するデータを生成するための少なくとも第１及び第２のソースを含み、前記コンピュータプログラム製品が、プロセッサによって実行されたとき、
    −前記第１及び前記第２のソースから、前記ドライバの生理学データ、前記車両の前記運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも１つに関するデータを受け取り、
    −前記第１及び第２のソースからの前記データをそれぞれ、前記第１及び前記第２のソースのそれぞれに関する複数の所定のドライバ状態を定義するドライバ状態モデルと比較して、
    −前記比較に基づいて、前記第１及び前記第２のソースのそれぞれに関して、前記複数の所定のドライバ状態のそれぞれに関する状態確率を決定し、
    −前記ドライバの全体的な運転状態確率を決定するために、前記第１及び前記第２のソースの前記決定されたドライバ状態を互いに重み付けするように構成されたコンピュータ可読媒体。

Images