JP2007280375A - 検出装置および方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】ドライバが運転中に正面を向いている場合の顔の向きを正確に検出する。
【解決手段】トラッキング部３２は、カメラ１１からの入力画像におけるドライバの顔をトラッキングし、顔向き検出部３３は、ドライバの顔の向きを検出する。イニシャル方向検出部３４は、前進判定部３１により車両が前進していることが検出され、かつ、検出されたドライバの顔の向きの変化量が所定の範囲内である状態における、ドライバの顔の向きをサンプル値として内部に蓄積する。イニシャル方向検出部３４は、所定の時間分のサンプル値が蓄積された場合、そのサンプル値の統計をとることにより、イニシャル方向を求める。本発明はドライバの顔の向きを検出する検出装置に適用することができる。
【選択図】図１

Description

本発明は、検出装置および方法、記録媒体、並びに、プログラムに関し、特に、ドライバが運転中に正面を向いている場合の顔の向きを、正確に検出することができるようにした検出装置および方法、記録媒体、並びに、プログラムに関する。

近年、安全運転の意識の高まりに伴い、ドライバの脇見を検出し、警告する装置が開発されている。そのような装置においては、ドライバが運転中に正面を向いている場合の顔の向きを基準として、ドライバの脇見を検出することが行われている。その基準となる正面方向は、例えば、ドライバの顔を正面から撮影できる位置に設置されたカメラを向いた方向に設定される。しかしながら、この場合、ドライバの身長、ドライビングポジション（運転姿勢）などの違いにより、カメラに対するドライバの顔の位置が異なるため、カメラの設置位置を工夫しても、設定された正面方向と実際の正面方向との間に誤差が生じる場合がある。

それに対応して、従来、車両の走行速度および先行車との車間距離に基づいて、眼の位置データを測定するサンプル数またはサンプリング時間を設定し、設定したサンプル数またはサンプリング時間における、ドライバの眼の位置の測定値の平均値を、ドライバが正面を向いている場合の眼の位置（イニシャル位置）に設定することが提案されている（例えば、特許文献１参照）。また、特許文献１に記載の発明では、操舵角、事前に学習した運転者の脇見状態時間などに基づいて、サンプル数またはサンプリング時間を補正することが提案されている。

ただし、特許文献１に記載の発明では、先行車がいない場合、先行車との車間距離を検出できないため、イニシャル位置を設定することができない。また、特許文献１に記載の発明では、車両の走行速度および車間距離に対する適切なサンプル数またはサンプリング時間、および、操舵角などに応じたサンプル数またはサンプリング時間の補正値を、統計値に基づいて、事前に求めておく必要がある。

特開２００４−１３０９４０号公報

また、特許文献１に記載の発明では、設定されるサンプル数またはサンプリング時間は統計値に基づくものであり、ドライバの状態が平均的な状態と異なる状態である場合、例えば、平均より長い時間脇見をした場合、不正確なイニシャル位置が設定されてしまう場合がある。

本発明は、このような状況に鑑みてなされたものであり、ドライバが運転中に正面を向いている場合の顔の向きを、正確に検出することができるようにするものである。

本発明の一側面の検出装置は、ドライバの顔の向きを検出する顔向き検出手段と、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向を検出するイニシャル方向検出手段とを備える。

本発明の一側面の検出装置においては、ドライバの顔の向きが検出され、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向が検出される。

従って、ドライバが運転中に正面を向いている場合の顔の向きを、簡単かつ正確に検出することができる。

この顔向き検出手段、イニシャル方向検出手段は、例えば、CPU（Central Processing Unit）により構成される。また、この顔向き検出手段は、例えば、顔の向きを検出する専用の装置により構成するようにすることもできる。

このイニシャル検出手段には、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態が所定の時間継続した期間において、ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、イニシャル方向を検出させることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この検出装置は、さらに、車両のステアリングホイールの舵角に基づいて、車両のステアリングホイールの舵角が所定の角度以上である状態を含む非正面状態を検出する状態検出手段をさらに備え、このイニシャル方向検出手段には、車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内であり、かつ、非正面状態が検出されていない状態において、ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、イニシャル方向を検出させることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この状態検出手段は、例えば、CPUにより構成される。

この非正面状態には、さらに、ドライバが車両の運転とは異なる操作を行っている状態を含ませることができ、この状態検出手段には、さらに、車両の運転とは異なる操作が行われる機器に対する操作の有無に基づいて、非正面状態を検出させることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この非正面状態には、さらに、車両の方向指示器または警笛が動作している状態を含ませることができ、この状態検出手段には、さらに、車両の方向指示器および警笛の動作の有無に基づいて、非正面状態を検出させることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この非正面状態には、さらに、車両の加速度が所定の閾値以上または減速度が所定の閾値以上である状態を含ませることができ、この状態検出手段には、さらに、車両の加速度および減速度に基づいて、非正面状態を検出させることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この状態検出手段には、車両の方向指示器の点滅、車両のステアリングホイールの舵角、または、運転中にドライバにより車両の運転とは異なる操作が行われる機器に対する操作の有無に基づいて、非正面状態を検出させることができる。

これにより、車両の方向指示器の点滅、車両のステアリングホイールの舵角、または、運転中にドライバにより車両の運転とは異なる操作が行われる機器に対する操作の有無に基づいて、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この検出装置は、車両の状態に基づいて、ドライバの運転姿勢の変更を検出する運転姿勢検出手段をさらに備え、イニシャル方向検出手段には、ドライバの運転姿勢の変更が検出された場合、イニシャル方向を再検出させるようにすることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この運転姿勢検出手段は、例えば、CPUにより構成される。

この運転姿勢検出手段には、車両の運転席のドアの開閉、車両のセンタミラーもしくはサイドミラーの位置、車両の運転席の位置、運転席の背もたれの角度、または、運転席に設けられているヘッドレストレイントの位置もしくは角度に基づいて、ドライバの運転姿勢の変更を検出させるようにすることができる。

これにより、車両の運転席のドアの開閉、車両のセンタミラーもしくはサイドミラーの位置、車両の運転席の位置、運転席の背もたれの角度、または、運転席に設けられているヘッドレストレイントの位置もしくは角度に基づいて、イニシャル方向を再検出するようにすることができる。

この検出装置は、ドライバの顔を認識することにより、ドライバの変更を検出する認識手段をさらに備え、このイニシャル方向検出手段には、ドライバの変更が検出された場合、イニシャル方向を再検出させるようにすることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを、より正確に検出することができる。

この認識手段は、例えば、CPUにより構成される。

この検出装置は、顔向き検出手段により検出されたドライバの顔の向きを、イニシャル方向を基準とする向きに変換する変換手段をさらに備えることができる。

これにより、ドライバが運転中に正面を向いている場合の顔の向きを基準とするドライバの顔の向きを検出することができる。

この変換手段は、例えば、CPUにより構成される。

本発明の一側面の検出方法、プログラム、または、記録媒体に記録されているプログラムは、ドライバの顔の向きを検出する顔向き検出ステップと、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態において、ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向を検出するイニシャル方向検出ステップとを含む。

本発明の一側面の検出方法、プログラム、または、記録媒体に記録されているプログラムにおいては、ドライバの顔の向きが検出され、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態において、ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向が検出される。

従って、ドライバが運転中に正面を向いている場合の顔の向きを、簡単かつ正確に検出することができる。

この顔向き検出ステップは、例えば、ドライバの顔の向きを、CPUにより検出するステップにより構成され、このイニシャル方向検出ステップは、例えば、ドライバが運転する車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態において、ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向をCPUにより検出するステップにより構成される。

以上のように、本発明の一側面によれば、ドライバが運転中に正面を向いている場合の顔の向きを、正確に検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した車載システムの一実施の形態を示すブロック図である。車載システム１は、カメラ１１、車両状態検出部１２、顔向き検出装置１３、および、アプリケーション装置１４を含むように構成される。

カメラ１１は、車載システム１が設けられている車両を運転するドライバの顔を撮影した画像（以下、入力画像と称する）を顔向き検出装置１３に供給する。なお、カメラ１１は、ドライバが車両の正面方向を向いた状態において、ドライバの顔をほぼ正面から撮影できる位置に設置されることが望ましい。

車両状態検出部１２は、車両に設けられている各種の制御装置やセンサなどから構成され、車両の各種の状態を検出し、検出した状態を示す情報を顔向き検出装置１３に供給する。なお、図１においては、車両状態検出部１２は、車速センサ２１およびギア検出部２２を含むように構成されている。

車速センサ２１は、車両の速度を検出し、検出結果を示す情報を顔向き検出装置１３の前進判定部３１に供給する。

ギア検出部２２は、車両のトランスミッション（動力伝達装置）のギアの位置を検出し、検出結果を示す情報を顔向き検出装置１３の前進判定部３１に供給する。

顔向き検出装置１３は、ドライバが運転中に正面を向いている場合の顔の向き（以下、イニシャル方向と称する）を検出する。また、顔向き検出装置１３は、イニシャル方向を基準とするドライバの顔の向きを検出し、検出した顔の向きを示す情報をアプリケーション装置１４に供給する。顔向き検出装置１３は、前進判定部３１、トラッキング部３２、顔向き検出部３３、イニシャル方向検出部３４、および、顔向き変換部３５を含むように構成される。

前進判定部３１は、イニシャル方向の検出中に、車速センサ２１およびギア検出部２２からの情報に基づいて、車両が前進しているか否かを判定する。前進判定部３１は、判定結果を示す情報をトラッキング部３２およびイニシャル方向検出部３４に供給する。

トラッキング部３２は、所定の手法を用いて、入力画像におけるドライバの顔をトラッキングする（ドライバの顔および顔の各器官の位置、形状などを検出する）。トラッキング部３２は、トラッキング結果を示す情報を顔向き検出部３３に供給する。なお、トラッキング部３２が顔をトラッキングする手法は、特定の手法に限定されるものではなく、より迅速かつ正確に顔をトラッキングできる手法が望ましい。

顔向き検出部３３は、所定の手法を用いて、トラッキング部３２によるトラッキング結果に基づいて、カメラ１１から見た、すなわち、入力画像におけるドライバの顔の向きを検出する。顔向き検出部３３は、検出結果を示す情報を、イニシャル方向検出部３４および顔向き変換部３５に供給する。なお、顔向き検出部３３が顔の向きを検出する手法は、特定の手法に限定されるものではなく、顔の向きをより迅速かつ正確に検出できる手法が望ましい。例えば、顔向きを検出する手法の詳細については、特許２９８２２０４号公報などに、その詳細が開示されている。

イニシャル方向検出部３４は、図３を参照して後述するように、イニシャル方向を検出し、検出したイニシャル方向を示す情報を前進判定部３１および顔向き変換部３５に供給する。

顔向き変換部３５は、顔向き検出部３３により検出された、カメラ１１から見たドライバの顔の向きを、イニシャル方向を基準とする向きに変換する。顔向き変換部３５は、変換した顔の向きを示す情報をアプリケーション装置１４に供給する。

アプリケーション装置１４は、顔向き検出装置１３により検出されたドライバの顔の向きを利用した機能を提供する装置である。例えば、アプリケーション装置１４は、検出されたドライバの顔の向きに基づいて、脇見運転を検出したり、自動運転を行う機能を提供する。また、例えば、アプリケーション装置１４は、検出されたドライバの顔の向きに基づいて、最適な位置において撮影された入力画像を選択して、ドライバの顔を認識したり、顔の属性（例えば、顔の各器官の位置、形など）を検出する機能を提供する。

次に、図２および図３を参照して、車載システム１の処理を説明する。

まず、図２のフローチャートを参照して、車載システム１により実行される顔向き検出処理を説明する。なお、この処理は、例えば、車載システム１が設けられている車両のエンジンが始動されたとき開始される。

ステップＳ１において、カメラ１１は、ドライバの顔の撮影を開始する。また、カメラ１１は、撮影した入力画像のトラッキング部３２への供給を開始する。

ステップＳ２において、車両状態検出部１２は、車両の状態の検出を開始する。具体的には、車速センサ２１は、車速の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。また、ギア検出部２２は、車両のトランスミッションのギアの位置の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。

ステップＳ３において、顔向き検出装置１３は、イニシャル方向検出処理を実行する。イニシャル方向検出処理の詳細は、図３を参照して後述するが、この処理により、イニシャル方向が検出される。

ステップＳ４において、トラッキング部３２は、ドライバの顔をトラッキングする。具体的には、トラッキング部３２は、所定の手法を用いて、入力画像におけるドライバの顔をトラッキングし、ドライバの顔および顔の各器官の位置、形状などを検出する。トラッキング部３２は、トラッキング結果を示す情報を顔向き検出部３３に供給する。

ステップＳ５において、顔向き検出部３３は、ドライバの顔の向きを検出する。具体的には、顔向き検出部３３は、所定の手法を用いて、トラッキング部３２によるトラッキング結果に基づいて、カメラ１１から見たドライバの顔の向きを検出する。顔向き検出部３３は、検出したドライバの顔の向きを示す情報を、イニシャル方向検出部３４および顔向き変換部３５に供給する。

ステップＳ６において、顔向き変換部３５は、検出された顔の向きをイニシャル方向を基準とする向きに変換する。顔向き変換部３５は、変換したドライバの顔の向きを示す情報をアプリケーション装置１４に供給する。

アプリケーション装置１４は、取得したドライバの顔の向きに基づいて、所定の機能を実現する処理を行う。

ステップＳ７において、前進判定部３１は、エンジンが停止されたか否かを判定する。具体的には、前進判定部３１は、図示せぬ車両のエンジン制御装置から供給される情報に基づいて、エンジンが停止されたか否かを判定し、エンジンが停止されていないと判定した場合、処理はステップＳ４に戻る。その後、ステップＳ７において、エンジンが停止されたと判定されるまで、ステップＳ４乃至Ｓ７の処理が繰返し実行され、イニシャル方向を基準とするドライバの顔の向きが検出される。

ステップＳ７において、エンジンが停止されたと判定された場合、顔向き検出処理は終了する。

次に、図３のフローチャートを参照して、図２のステップＳ３のイニシャル方向検出処理の詳細を説明する。

ステップＳ２１において、前進判定部３１は、車両が前進しているか否かを判定する。前進判定部３１は、車速センサ２１の出力が０でなく、かつ、車両のトランスミッションのギアの位置が前進方向のギアに設定されている場合、車両が前進していると判定し、判定結果を示す情報をトラッキング部３２およびイニシャル方向検出部３４に供給する。その後、処理はステップＳ２２に進む。

ステップＳ２２において、上述した図２のステップＳ４の処理と同様に、ドライバの顔がトラッキングされ、トラッキング結果を示す情報が、トラッキング部３２から顔向き検出部３３に供給される。

ステップＳ２３において、上述した図２のステップＳ５の処理と同様に、ドライバの顔の向きが検出され、ドライバの顔の向きを示す情報が、顔向き検出部３３から、イニシャル方向検出部３４および顔向き変換部３５に供給される。イニシャル方向検出部３４は、検出されたドライバの顔の向きを、イニシャル方向の検出に用いるサンプル値として、図示せぬ内部の記憶部に記憶させる。

ステップＳ２４において、イニシャル方向検出部３３は、顔の向きの変化量が所定の範囲内であるか否かを判定する。具体的には、イニシャル方向検出部３３は、内部に記憶しているサンプル値の変化量、すなわち、ドライバの顔の向きの変化量を調べ、顔の向きの変化量が所定の範囲（例えば、上下方向および左右方向において３０°以内の範囲）を超えていると判定した場合、処理はステップＳ２５に進む。

ステップＳ２５において、イニシャル方向検出部３４は、内部に記憶しているサンプル値を消去する。その後、処理はステップＳ２７に進む。

ステップＳ２４において、顔の向きの変化量が所定の範囲内であると判定された場合、ステップＳ２５の処理はスキップされ、すなわち、サンプル値は消去されずに、処理はステップＳ２７に進む。

ステップＳ２１において、前進判定部３１は、車速センサ２１の出力が０、または、車両のトランスミッションのギアの位置が前進方向以外のギアに設定されている場合、車両が前進していないと判定し、判定結果を示す情報をトラッキング部３２およびイニシャル方向検出部３４に供給する。その後、処理はステップＳ２６に進む。

ステップＳ２６において、ステップＳ２５の処理と同様に、イニシャル方向検出部３４の内部に記憶されているサンプル値が消去され、処理はステップＳ２７に進む。

ステップＳ２７において、上述した図２のステップＳ７の処理と同様に、エンジンが停止されたか否かが判定される。エンジンが停止されていないと判定された場合、処理はステップＳ２８に進む。

ステップＳ２８において、イニシャル方向検出部３４は、所定の時間分のサンプル値が蓄積されたか否かを判定する。イニシャル方向検出部３４は、所定の時間分のサンプル値が蓄積されていないと判定した場合、処理はステップＳ２１に戻る。その後、ステップＳ２７において、エンジンが停止されたと判定されるか、ステップＳ２８において、所定の時間分のサンプル値が蓄積されたと判定されるまで、ステップＳ２１乃至Ｓ２８の処理が繰返し実行され、所定の時間分のドライバの顔の向きのサンプル値が蓄積される。換言すれば、所定のサンプル数以上のドライバの顔の向きのサンプル値、さらに換言すれば、ドライバの顔の向きを所定のサンプル数以上検出した結果が蓄積される。

ステップＳ２８において、所定の時間分のサンプル値が蓄積されたと判定された場合、処理はステップＳ２９に進む。

ステップＳ２９において、イニシャル方向検出部３４は、イニシャル方向を求め、イニシャル方向検出処理は終了する。具体的には、イニシャル方向検出部３４は、内部に蓄積されているサンプル値の統計、すなわち、ドライバの顔の向きの変化が所定の範囲内である状態が所定の時間継続したときの、所定の時間におけるドライバの顔の向きの統計をとることにより、イニシャル方向を求める。例えば、イニシャル方向は、サンプル値の平均値、または、サンプル値の分布における山のピークに対応する、カメラ１１から見たドライバの顔の向きに設定される。イニシャル方向検出部３４は、求めたイニシャル方向を示す情報を前進判定部３１および顔向き変換部３５に供給する。

ステップＳ２７において、エンジンが停止されたと判定された場合、イニシャル方向検出処理および顔向き検出処理は終了する。

以上のようにして、イニシャル方向を簡単かつ正確に検出することができる。すなわち、ドライバの特徴、ドライビングポジションなどの個人差に関わらず、イニシャル方向を精度高く検出することができる。また、事前に各種の統計値を求めたり、先行車との車間距離を検出したりすることなく、イニシャル方向を検出することができる。

また、カメラ１１とドライバとの位置関係を事前に把握する必要がないため、カメラ１１の設置位置の自由度が向上する。

なお、以上の説明では、ステップＳ２１において、車両が前進していないと判定された場合、ステップＳ２６において、内部に記憶しているサンプル値を全て消去する例を示したが、例えば、ステップＳ２６において、車両が前進していないと判定された期間に検出されたサンプル値のみを消去するようにしてもよい。すなわち、車両が前進していない場合には、サンプル値の蓄積を中断し、ドライバの顔の向きの変化量が所定の範囲を超えていても、蓄積されたサンプル値をリセットしないようにしてもよい。

これにより、車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態におけるドライバの顔の向きのサンプル値が断続的に蓄積され、所定の時間分のドライバの顔の向きのサンプル値、換言すれば、所定のサンプル数以上のドライバの顔の向きのサンプル値が蓄積された時点で、蓄積されたサンプル値に基づいて、イニシャル方向が求められる。

従って、例えば、車両が方向転換しても、それまでに蓄積したサンプル値が消去されないため、より迅速にイニシャル方向を求めることができるようになる。また、必ず、車両が前進しており、かつ、ドライバの顔の向きの変化が所定の範囲内である状態におけるドライバの顔の向きのサンプル値が、所定のサンプル数以上蓄積されてから、イニシャル方向が求められるので、単純に所定の時間だけ、または、所定のサンプル数だけドライバの顔の向きのサンプル値を蓄積してからイニシャル方向を求める場合に比べて、イニシャル方向の検出精度が向上する。

次に、図４乃至図６を参照して、より正確にイニシャル方向を検出できるようにした車載システムの実施の形態について説明する。

図４は、より正確にイニシャル方向を検出できるようにした車載システム５１の実施の形態を示すブロック図である。車載システム５１は、カメラ１１、アプリケーション装置１４、車両状態検出部６１、および、顔向き検出装置６２を含むように構成される。また、車両状態検出部６１は、車速センサ２１、ギア検出部２２、ウインカー動作検出部７１、舵角検出部７２、機器操作検出部７３、警笛動作検出部７４、および、加速度センサ７５を含むように構成される。さらに、顔向き検出装置６２は、前進判定部３１、トラッキング部３２、顔向き検出部３３、顔向き変換部３５、非正面状態検出部８１、および、イニシャル方向検出部８２を含むように構成される。

なお、図中、図１と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

ウインカー動作検出部７１は、車両の方向指示器（いわゆる、ウインカー）の点滅の有無を検出し、検出結果を示す情報を非正面状態検出部８１に供給する。

舵角検出部７２は、車両のステアリングホイール（いわゆる、ハンドル）の舵角を検出し、検出結果を示す情報を非正面状態検出部８１に供給する。

機器操作検出部７３は、運転中にドライバにより車両の運転とは異なる操作が行われる機器（例えば、カーナビゲーション装置、車載用のAV機器など）に対する操作の有無を検出する。機器操作検出部７３は、検出結果を示す情報を非正面状態検出部８１に供給する。

警笛動作検出部７４は、車両の警笛（いわゆる、クラクション）の動作の有無を検出し、検出結果を示す情報を非正面状態検出部８１に供給する。

加速度センサ７５は、車両の加速度および減速度を検出し、検出結果を示す情報を非正面状態検出部８１に供給する。

非正面状態検出部８１は、ウインカー動作検出部７１、舵角検出部７２、機器操作検出部７３、警笛動作検出部７４、または、加速度センサ７５からの情報に基づいて、ドライバが正面を向いていない可能性が高い状態、または、車両の走行が安定していない可能性が高い状態（例えば、車両の速度や進行方向が安定していない状態）である非正面状態を検出する。非正面状態検出部８１は、検出結果を示す情報をトラッキング部３２およびイニシャル方向検出部８２に供給する。

イニシャル方向検出部８２は、図６を参照して後述するように、イニシャル方向を検出し、検出したイニシャル方向を示す情報を前進判定部３１、顔向き変換部３５、および、非正面状態検出部８１に供給する。

次に、図５および図６を参照して、車載システム５１の処理について説明する。

まず、図５のフローチャートを参照して、車載システム５１により実行される顔向き検出処理を説明する。なお、この処理は、例えば、車載システム５１が設けられている車両のエンジンが始動されたとき開始される。

ステップＳ５１において、上述した図２のステップＳ１の処理と同様に、ドライバの顔の撮影が開始される。

ステップＳ５２において、車両状態検出部６１は、車両の状態の検出を開始する。具体的には、車速センサ２１は、車速の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。また、ギア検出部２２は、車両のトランスミッションのギアの位置の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。

さらに、ウインカー動作検出部７１は、車両のウインカーの点滅の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。また、舵角検出部７２は、車両のステアリングホイールの舵角の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。さらに、機器操作検出部７３は、運転中にドライバにより車両の運転とは異なる操作が行われる機器に対する操作の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。

また、警笛動作検出部７５は、車両の警笛の動作の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。さらに、加速度センサ７５は、車両の加速度および減速度の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。

ステップＳ５３において、顔向き検出装置６２は、イニシャル方向検出処理を実行する。イニシャル方向検出処理の詳細は、図６を参照して後述するが、この処理により、イニシャル方向が検出される。

ステップＳ５４乃至Ｓ５７の処理は、上述した図２のステップＳ４乃至Ｓ７の処理と同様であり、その説明は繰り返しになるので省略する。

次に、図６のフローチャートを参照して、図５のステップＳ５３のイニシャル方向検出処理の詳細を説明する。

ステップＳ７１において、上述した図３のステップＳ２１の処理と同様に、車両が前進しているか否かが判定される。車両が前進していると判定された場合、処理はステップＳ７２に進む。

ステップＳ７２において、非正面状態検出部８１は、非正面状態であるか否かを判定する。具体的には、非正面状態検出部８１は、ウインカー動作検出部７１からの情報に基づいて、ウインカーが点滅中、または、ウインカーの点滅が終了してから所定の時間が経過していないことを検出した場合、非正面状態であると判定する。すなわち、ウインカーが点滅を開始してから、点滅が終了してから所定の時間が経過するまでの間においては、車両の方向転換もしくは車線変更を行う前後、または、その最中である可能性が高く、ドライバが正面を向いていないか、または、車両の走行が安定していない可能性が高いため、非正面状態であると判定される。

なお、以上のウインカーが点滅中の状態は、左右のウインカーが同時に点滅中の状態、いわゆるハザードランプが点滅中の状態を含む。すなわち、ハザードランプが点滅を開始してから、点滅が終了してから所定の時間が経過するまでの間においては、車両の走行が安定していない可能性が高いため、非正面状態であると判定される。

また、非正面状態検出部８１は、舵角検出部７２からの情報に基づいて、車両のステアリングホイールの舵角が所定の範囲を超えていることを検出した場合、非正面状態であると判定する。すなわち、ステアリングホイールの舵角が所定の範囲を超えている場合、ドライバが正面を向いていないか、または、車両の走行が安定していない可能性が高いため、非正面状態であると判定される。

さらに、非正面状態検出部８１は、機器操作検出部７３からの情報に基づいて、運転中にドライバにより車両の運転とは異なる操作が行われる機器を操作中であることを検出した場合、非正面状態であると判定する。すなわち、ドライバが、操作中の機器の方向を向き、正面を向いていない可能性が高いため、非正面状態であると判定される。

また、非正面状態検出部８１は、警笛動作検出部７４からの情報に基づいて、警笛が鳴動中であることを検出した場合、非正面状態であると判定する。すなわち、警笛が鳴動中である場合、注意すべき状態、危険な状態、または、非常事態などが発生している可能性が高く、ドライバが正面を向いていないか、または、車両の走行が安定していない可能性が高いため、非正面状態であると判定される。

さらに、非正面状態検出部８１は、加速度センサ７５からの情報に基づいて、車両の加速度が所定の閾値以上、または、車両の減速度が所定の閾値以上であることを検出した場合、非正面状態であると判定する。すなわち、例えば、アクセルペダルが踏み込まれたり、ブレーキがかけられたりして、車両が所定の閾値以上で加速している場合、または、車両が所定の閾値以上で減速している場合には、車両の走行が安定していないため、非正面状態であると判定される。

以上のように、ステップＳ７２において、非正面状態であると判定された場合、非正面状態検出部８１は、非正面状態であることを示す情報をトラッキング部３２およびイニシャル方向検出部８２に供給する。その後、処理はステップＳ７７に進む。

また、ステップＳ７１において、車両が前進していないと判定された場合、処理はステップＳ７７に進む。

ステップＳ７７において、上述した図６のステップＳ２５の処理と同様に、サンプル値が消去され、処理はステップＳ７８に進む。

一方、ステップＳ７２において、非正面状態でないと判定された場合、処理はステップＳ７３に進む。

ステップＳ７３乃至Ｓ７６の処理は、上述した図３のステップＳ２２乃至Ｓ２５、の処理と同様であり、その説明は繰り返しになるので省略する。また、ステップＳ７８およびＳ７９の処理は、上述した図３のＳ２７およびＳ２８の処理と同様であり、その説明は省略する。

ステップＳ８０において、イニシャル方向検出部８２は、イニシャル方向を求め、イニシャル方向検出処理は終了する。具体的には、イニシャル方向検出部８２は、内部に蓄積されているサンプル値の統計、すなわち、ドライバの顔の向きの変化が所定の範囲内であり、かつ、非正面状態が検出されない状態が所定の時間継続したときの、所定の時間におけるドライバの顔の向きの統計をとることにより、イニシャル方向を求める。例えば、イニシャル方向は、サンプル値の平均値、または、サンプル値の分布における山のピークに対応する、カメラ１１から見たドライバの顔の向きに設定される。イニシャル方向検出部８２は、求めたイニシャル方向を示す情報を前進判定部３１および顔向き変換部３５に供給する。

このように、非正面状態である場合の顔の向きがサンプル値から除かれるため、より正確にイニシャル方向を検出することができる。

なお、以上の説明では、ステップＳ７１において、車両が前進していないと判定された場合、または、ステップＳ７２において、非正面状態であると判定された場合、ステップＳ７７において、内部に記憶しているサンプル値を全て消去する例を示したが、例えば、ステップＳ７７において、車両が前進していないと判定されるか、または、非正面状態であると判定された期間に検出されたサンプル値のみを消去するようにしてもよい。すなわち、車両が前進していない場合、または、非正面状態である場合には、サンプル値の蓄積を中断し、ドライバの顔の向きの変化量が所定の範囲を超えていても、蓄積されたサンプル値をリセットしないようにしてもよい。

これにより、車両が前進しており、かつ、非正面状態でなく、かつ、ドライバの顔の向きの変化が所定の範囲内である状態におけるドライバの顔の向きのサンプル値が断続的に蓄積され、所定の時間分のドライバの顔の向きのサンプル値、換言すれば、所定のサンプル数以上のドライバの顔の向きのサンプル値が蓄積された時点で、蓄積されたサンプル値に基づいて、イニシャル方向が求められる。

従って、例えば、車両が方向転換したり、ドライバが運転とは異なる操作をしても、それまでに蓄積されたサンプル値がリセットされないため、より迅速にイニシャル方向を求めることができるようになる。また、必ず、車両が前進しており、かつ、非正面状態でなく、かつ、ドライバの顔の向きの変化が所定の範囲内である状態におけるドライバの顔の向きのサンプル値が、所定のサンプル数以上蓄積されてから、イニシャル方向が求められるので、単純に所定の時間だけ、または、所定のサンプル数だけサンプル値を蓄積してからイニシャル方向を求める場合に比べて、求めたイニシャル方向の検出精度が向上する。

次に、図７および図８を参照して、ドライバおよびドライビングポジション（運転姿勢）の変更に対応してイニシャル方向を再検出するようにした車載システムの実施の形態について説明する。

図７は、ドライバおよびドライビングポジションの変更に対応してイニシャル方向を再検出するようにした車載システム１０１の実施の形態を示すブロック図である。車載システム１０１は、カメラ１１、アプリケーション装置１４、車両状態検出部１１１、および、顔向き検出装置１１２を含むように構成される。また、車両状態検出部１１１は、車速センサ２１、ギア検出部２２、ウインカー動作検出部７１、舵角検出部７２、機器操作検出部７３、警笛動作検出部７４、加速度センサ７５、ドア開閉検出部１２１、ミラー位置検出部１２２、シート位置検出部１２３、および、ヘッドレスト位置検出部１２４を含むように構成される。さらに、顔向き検出装置１１２は、前進判定部３１、トラッキング部３２、顔向き検出部３３、顔向き変換部３５、非正面状態検出部８１、顔認識部１３１、ドライビングポジション検出部１３２、および、イニシャル方向検出部１３３を含むように構成される。

なお、図中、図１または図４と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

ドア開閉検出部１２１は、車両の運転席のドアの開閉を検出し、検出結果を示す情報をドライビングポジション検出部１３２に供給する。ドア開閉検出部１２１は、例えば、ドアの開閉を検出するドア開閉センサ、ドアスイッチのオンまたはオフを検出するセンサなどにより構成される。

ミラー位置検出部１２２は、車両のセンタミラー（ルームミラー）およびサイドミラーの位置を検出し、検出結果を示す情報をドライビングポジション検出部１３２に供給する。ミラー位置検出部１２２は、例えば、センタミラーまたはサイドミラーの調節されている角度を検出するミラー角度センサにより構成される。

シート位置検出部１２３は、車両の運転席の位置、および、運転席の背もたれの角度を検出し、検出結果を示す情報をドライビングポジション検出部１３２に供給する。シート位置検出部１２３は、例えば、運転席の調節されている位置を検出する位置センサまたはシートポジションセンサなどにより構成される。

ヘッドレスト位置検出部１２４は、車両の運転席に設けられているヘッドレストレイント（いわゆる、ヘッドレスト）の位置および角度を検出し、検出結果を示す情報をドライビングポジション検出部１３２に供給する。ヘッドレスト位置検出部１２４は、例えば、運転席のヘッドレストレイントの調節されている位置を検出する位置センサ、ヘッドレストレイントの調節されている角度を検出する角度センサなどにより構成される。

顔認識部１３１は、所定の手法を用いて、トラッキング部３２から供給されるトラッキング結果を示す情報に基づいて、ドライバの顔を認識する。顔認識部１３１は、認識結果に基づいて、ドライバの変更を検出し、検出結果を示す情報を前進判定部３１、非正面状態検出部８１、および、イニシャル方向検出部１３３に供給する。なお、顔認識部１３１が顔を認識する手法は、特定の手法に限定されるものではなく、より迅速かつ正確に顔を認識できる手法が望ましい。

ドライビングポジション検出部１３２は、ドア開閉検出部１２１、ミラー位置検出部１２２、シート位置検出部１２３、または、ヘッドレスト位置検出部１２４からの情報に基づいて、ドライビングポジション（ドライバの運転姿勢）の変更を検出し、検出結果を示す情報を前進判定部３１、非正面状態検出部８１、および、イニシャル方向検出部１３３に供給する。

イニシャル方向検出部１３３は、図１のイニシャル方向検出部３４、または、図４のイニシャル方向検出部８２と同様に、イニシャル方向を検出し、検出したイニシャル方向を示す情報を、前進判定部３１、顔向き変換部３５、非正面状態検出部８１、顔認識部１３１、および、ドライビングポジション検出部１３２に供給する。また、顔認識部１３１によりドライバの変更が検出された場合、または、ドライビングポジション検出部１３２によりドライビングポジションの変更が検出された場合、すなわち、イニシャル方向が変わった可能性が高い場合、イニシャル方向を再検出する。

次に、図８のフローチャートを参照して、車載システム１０１により実行される顔向き検出処理を説明する。なお、この処理は、例えば、車載システム１０１が設けられている車両のエンジンが始動されたとき開始される。

ステップＳ１０１において、上述した図２のステップＳ１の処理と同様に、ドライバの顔の撮影が開始される。

ステップＳ１０２において、車両状態検出部１１１は、車両の状態の検出を開始する。具体的には、車速センサ２１は、車速の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。また、ギア検出部２２は、車両のトランスミッションのギアの位置の検出、および、検出結果を示す情報の前進判定部３１への供給を開始する。

さらに、ウインカー動作検出部７１は、車両のウインカーの点滅の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。また、舵角検出部７２は、車両のステアリングホイールの舵角の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。さらに、機器操作検出部７３は、運転中にドライバにより車両の運転とは異なる操作が行われる機器に対する操作の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。

また、警笛動作検出部７５は、車両の警笛の動作の有無の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。さらに、加速度センサ７５は、車両の加速度および減速度の検出、および、検出結果を示す情報の非正面状態検出部８１への供給を開始する。

また、ドア開閉検出部１２１は、車両の運転席のドアの開閉の検出、および、検出結果を示す情報のドライビングポジション検出部１３２への供給を開始する。さらに、ミラー位置検出部１２２は、車両のセンタミラーおよびサイドミラーの位置の検出、および、検出結果を示す情報のドライビングポジション検出部１３２への供給を開始する。また、シート位置検出部１２３は、車両の運転席の位置および運転席の背もたれの角度の検出、並びに、検出結果を示す情報のドライビングポジション検出部１３２への供給を開始する。さらに、ヘッドレスト位置検出部１２４は、車両の運転席に設けられているヘッドレストレイントの位置および角度の検出、並びに、検出結果を示す情報のドライビングポジション検出部１３２への供給を開始する。

ステップＳ１０３において、上述した図２のステップＳ３または図５のステップＳ５３の処理と同様に、イニシャル方向検出処理が実行され、イニシャル方向が検出される。

ステップＳ１０４において、上述した図２のステップＳ４の処理と同様に、ドライバの顔がトラッキングされる。

ステップＳ１０５において、上述した図２のステップＳ５の処理と同様に、ドライバの顔の向きが検出される。

ステップＳ１０６において、上述した図２のステップＳ６の処理と同様に、検出された顔の向きがイニシャル方向を基準とする向きに変換され、変換されたドライバの顔の向きを示す情報がアプリケーション装置１４に供給される。

ステップＳ１０７において、ドライビングポジション検出部１３２は、ドライビングポジションが変更されたか否かを判定する。ドライビングポジション検出部１３２は、運転席のドアの開閉が検出されておらず、かつ、車両のセンタミラーおよびサイドミラーの位置の変更されておらず、かつ、車両の運転席の位置および運転席の背もたれの角度が変更されておらず、かつ、車両の運転席のヘッドレストの位置の変更されていない場合、ドライビングポジションが変更されていないと判定し、処理はステップＳ１０８に進む。

ステップＳ１０８において、顔認識部１３１は、ドライバが変更されたか否かを判定する。具体的には、顔認識部１３１は、所定の手法を用いて、トラッキング部３２から供給されるトラッキング結果を示す情報に基づいて、ドライバの顔を認識する。顔認識部１３１は、認識結果に基づいて、ドライバが変更されていないと判定した場合、処理はステップＳ１０９に進む。

ステップＳ１０９において、上述した図２のステップＳ７と同様の処理により、エンジンが停止されたか否かが判定される。エンジンが停止されていないと判定された場合、処理はステップＳ１０４に戻り、ステップＳ１０７において、ドライビングポジションが変更されたと判定されるか、ステップＳ１０８において、ドライバが変更されたと判定されるか、ステップＳ１０９において、エンジンが停止されたと判定されるまで、ステップＳ１０４乃至Ｓ１０９の処理が繰返し実行される。

ステップＳ１０７において、ドライビングポジション検出部１３２は、ドア開閉検出部１２１からの情報に基づいて、車両の運転席のドアの開閉を検出した場合、または、ミラー位置検出部１２２からの情報に基づいて、車両のセンタミラーもしくはサイドミラーの位置の変更を検出した場合、または、シート位置検出部１２３からの情報に基づいて、車両の運転席の位置もしくは運転席の背もたれの角度の変更を検出した場合、または、ヘッドレスト位置検出部１２４からの情報に基づいて、車両の運転席のヘッドレストの位置もしくは角度の変更を検出した場合、ドライビングポジションが変更されたと判定し、ドライビングポジションの変更を示す情報を、前進判定部３１、非正面状態検出部８１、および、イニシャル方向検出部１３３に供給する。その後、処理はステップＳ１０３に戻り、ステップＳ１０３以降の処理が実行される。すなわち、ドライビングポジションの変更に伴いイニシャル方向が再検出され、再検出されたイニシャル方向を基準とするドライバの顔の向きの検出が行われる。

ステップＳ１０８において、顔認識部１３１は、ドライバの顔の認識結果に基づいて、ドライバが変更されたと判定した場合、ドライバの変更の検出を示す情報を、前進判定部３１、非正面状態検出部８１、および、イニシャル方向検出部１３３に供給する。その後、処理はステップＳ１０３に戻り、ステップＳ１０３以降の処理が実行される。すなわち、ドライバの変更に伴いイニシャル方向が再検出され、再検出されたイニシャル方向を基準とするドライバの顔の向きの検出が行われる。

ステップＳ１０９において、エンジンが停止されたと判定された場合、顔向き検出処理は終了する。

このように、ドライバまたはドライビングポジションの変更の検出に伴い、イニシャル方向を再検出することにより、イニシャル方向をより正確に検出することができる。

なお、必要に応じて、非正面状態を検出する条件に他の条件を追加したり、上述した条件のうちいくつかを選択して用いるようにしてもよい。すなわち、必要に応じて、上述した条件以外に、ドライバが正面を向いていない可能性が高い状態、または、車両の走行が安定していない可能性が高い状態を検出することが可能な条件を追加したり、採用する条件の種類を取捨選択するようにしてもよい。

また、必要に応じて、ドライビングポジションの変更を検出する条件に他の条件を追加したり、上述した条件のいくつかを選択して用いるようにしてもよい。

なお、本発明は、ドライバの顔の向きを検出する検出装置、および、ドライバの顔の向きに基づいて、各種の処理を行う装置に適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図９は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９００の構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した車載システムの一実施の形態を示すブロック図である。 図１の車載システムにより実行される顔向き検出処理を説明するためのフローチャートである。 図２のステップＳ３のイニシャル方向検出処理の詳細を説明するためのフローチャートである。 本発明を適用した車載システムの他の実施の形態を示すブロック図である。 図４の車載システムにより実行される顔向き検出処理を説明するためのフローチャートである。 図５のステップＳ５３のイニシャル方向検出処理の詳細を説明するためのフローチャートである。 本発明を適用した車載システムのさらに他の実施の形態を示すブロック図である。 図７の車載システムにより実行される顔向き検出処理を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１ 車載システム
１１ カメラ
１２ 車両状態検出部
１３ 顔向き検出装置
１４ アプリケーション装置
２１ 車速センサ
２２ ギア検出部
３１ 前進判定部
３２ トラッキング部
３３ 顔向き検出部
３４ イニシャル方向検出部
３５ 顔向き変換部
５１ 車載システム
６１ 車両状態検出部
６２ 顔向き検出装置
７１ ウインカー動作検出部
７２ 舵角検出部
７３ 機器操作検出部
８１ 非正面状態検出部
８２ イニシャル方向検出部
１０１ 車載システム
１１１ 車両状態検出部
１１２ 顔向き検出装置
１２１ ドア開閉検出部
１２２ ミラー位置検出部
１２３ シート位置検出部
１２４ ヘッドレスト位置検出部
１３１ 顔認識部
１３２ ドライビングポジション検出部
１３３ イニシャル方向検出部
９０１ CPU
９０２ ROM
９０３ RAM
９０８ 記録部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (13)

1. ドライバの顔の向きを検出する顔向き検出手段と、
   前記ドライバが運転する車両が前進しており、かつ、前記ドライバの顔の向きの変化が所定の範囲内である状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、前記ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向を検出するイニシャル方向検出手段と
   を含む検出装置。
2. 前記イニシャル方向検出手段は、前記ドライバが運転する車両が前進しており、かつ、前記ドライバの顔の向きの変化が所定の範囲内である状態が所定の時間継続した期間において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、前記イニシャル方向を検出する
   請求項１に記載の検出装置。
3. 前記車両のステアリングホイールの舵角に基づいて、前記車両のステアリングホイールの舵角が所定の角度以上である状態を含む非正面状態を検出する状態検出手段を
   さらに含み、
   前記イニシャル方向検出手段は、前記車両が前進しており、かつ、前記ドライバの顔の向きの変化が所定の範囲内であり、かつ、前記非正面状態が検出されていない状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、前記イニシャル方向を検出する
   請求項１に記載の検出装置。
4. 前記非正面状態は、さらに、前記ドライバが前記車両の運転とは異なる操作を行っている状態を含み、
   前記状態検出手段は、さらに、前記車両の運転とは異なる操作が行われる機器に対する操作の有無に基づいて、前記非正面状態を検出する
   請求項３に記載の検出装置。
5. 前記非正面状態は、さらに、前記車両の方向指示器または警笛が動作している状態を含み、
   前記状態検出手段は、さらに、前記車両の方向指示器および警笛の動作の有無に基づいて、前記非正面状態を検出する
   請求項３に記載の検出装置。
6. 前記非正面状態は、さらに、前記車両の加速度が所定の閾値以上または減速度が所定の閾値以上である状態を含み、
   前記状態検出手段は、さらに、前記車両の加速度および減速度に基づいて、前記非正面状態を検出する
   請求項２に記載の検出装置。
7. 前記車両の状態に基づいて、前記ドライバの運転姿勢の変更を検出する運転姿勢検出手段を
   さらに含み、
   前記イニシャル方向検出手段は、前記ドライバの運転姿勢の変更が検出された場合、前記イニシャル方向を再検出する
   請求項１に記載の顔向き検出装置。
8. 前記運転姿勢検出手段は、前記車両の運転席のドアの開閉、前記車両のセンタミラーもしくはサイドミラーの位置、前記車両の運転席の位置、前記運転席の背もたれの角度、または、前記運転席に設けられているヘッドレストレイントの位置もしくは角度に基づいて、前記ドライバの運転姿勢の変更を検出する
   請求項７に記載の顔向き検出装置。
9. 前記ドライバの顔を認識することにより、前記ドライバの変更を検出する認識手段を
   さらに含み、
   前記イニシャル方向検出手段は、前記ドライバの変更が検出された場合、前記イニシャル方向を再検出する
   請求項１に記載の顔向き検出装置。
10. 前記顔向き検出手段により検出された前記ドライバの顔の向きを、前記イニシャル方向を基準とする向きに変換する変換手段を
    さらに含む請求項１に記載の顔向き検出装置。
11. ドライバの顔の向きを検出する検出装置の検出方法において、
    ドライバの顔の向きを検出する顔向き検出ステップと、
    前記ドライバが運転する車両が前進しており、かつ、前記ドライバの顔の向きの変化が所定の範囲内である状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、前記ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向を検出するイニシャル方向検出ステップと
    を含む検出方法。
12. ドライバの顔の向きを検出する顔向き検出ステップと、
    前記ドライバが運転する車両が前進しており、かつ、前記ドライバの顔の向きの変化が所定の範囲内である状態において、前記ドライバの顔の向きを所定のサンプル数以上検出した結果に基づいて、前記ドライバが運転中に正面を向いている場合の顔の向きであるイニシャル方向を検出するイニシャル方向検出ステップと
    を含む処理をコンピュータに実行させるプログラム。
13. 請求項１２に記載のプログラムを記録した記録媒体。

Images