JP2014515847A5 - - Google Patents

Description

本出願は２０１１年３月２５日に出願された米国仮出願第６１／４６７，８４９号に基づく優先権を主張し、参照することによりその全体を本明細書に組み込む。本開示は、一般に、運転者監視システムの分野に関する。より詳細には、本開示は、画像処理を用いて運転者の頭部の位置及び目のベクトルを評価して運転者の覚醒度を判定するシステム及び方法に関する。

一つの例示的実施形態によれば、運転者覚醒度検出システムは、運転者の頭部が検出される車両区画の領域を結像するように構成される結像ユニットと、結像ユニットから画像を受信し運転者の頭部及び目の位置を測定するように構成される画像処理ユニットと、画像処理ユニットによる出力である運転者の測定された頭部及び目の位置に基づいて、運転者が覚醒状態であるか非覚醒状態であるかを判定し、運転者が非覚醒状態であると判定された時に運転者に警告を出力するように構成される警告ユニットと、を含む。

別の例示的実施形態によれば、運転者覚醒度検出方法は、結像データを得るために、運転者の頭部が検出される車両区画の領域を結像することと、結像データに基づいて運転者の頭部及び目の位置を測定することと、運転者の測定された頭部及び目の位置に基づいて、運転者が覚醒状態であるか非覚醒状態であるかを判定することと、運転者が非覚醒状態であると判定された時に運転者に警告を出力することと、を含む。

更に別の例示的実施形態によれば、コンピュータプログラムコードを格納する非一時的な記録媒体は、コンピュータにより実行される時にコンピュータに以下の機能を実行させる。結像データを得るために運転者の頭部が検出される車両区画の領域を結像すること、結像データに基づいて運転者の頭部及び目の位置を測定すること、運転者の測定された頭部及び目の位置に基づいて運転者が覚醒状態であるか非覚醒状態であるかを判定すること、及び運転者が非覚醒状態であると判定された時に運転者に警告を出力すること。

本発明のこれら及び他の特徴、態様及び効果は、以下の説明及び添付の図面に示された例示的実施形態から明らかになろう。次に、図面について簡単に説明する。
例示的実施形態による運転者覚醒システムのカメラ配置及び撮影範囲の略図 である。 例示的実施形態による運転者覚醒システムのカメラ配置の撮影範囲の略図で ある。 例示的実施形態による運転者覚醒システム用カメラで撮影された平面２次元 輝度画像及び対応する疑似的２．５次元画像である。 例示的実施形態による様々な頭部の動きを示す運転者の一連の画像である。 例示的実施形態による複数の運転者の頭部の動きの画像を合成したものであ る。 例示的実施形態による図５の合成画像から測定される占有率の高い関心領域 である。 例示的実施形態によるカメラ座標系及び顔面特徴検出点を示す運転者覚醒 システムのために撮影された画像である。 主軸回転角を示す図７Ａの画像における運転者の頭部の検出された輪郭で ある。 図７Ｂの主軸をカメラ座標系に合わせるために回転された後の図７Ａの画 像である。 カメラ座標格子に位置合わせが行われた後の図７Ａの撮影された画像の検 出された顔面領域である。 例示的実施形態による様々な頭部及び目の動きに伴う顔面構造間の幾何 学的関係と、車両内の所定位置を見ている運転者の注意力を記録するためのキャリブ レーション工程を示す一連の画像である。 例示的実施形態による様々な頭部及び目の動きに伴う顔面構造間の幾何 学的関係と、車両内の所定位置を見ている運転者の注意力を記録するためのキャリブ レーション工程を示す一連の画像である。 例示的実施形態による様々な頭部及び目の動きに伴う顔面構造間の幾何 学的関係と、車両内の所定位置を見ている運転者の注意力を記録するためのキャリブ レーション工程を示す一連の画像である。 例示的実施形態による運転者覚醒システムのためのグラフィカルユーザーイ ンターフェースの画像である。 例示的実施形態による運転者覚醒システムのアルゴリズムのフローチャー トである。 例示的実施形態による運転者覚醒システムである。

例示的実施形態によれば、運転者の覚醒度を監視し、運転者が十分な時間の間、注意散漫であると判定される場合に警告を発するための運転者覚醒システムが提供される。図１及び２に示すように、運転者覚醒システムは、インストルメントパネル又はステアリングホイールに取り付けられた単眼カメラを用いて運転者の頭部及び目のベクトルの位置を計算する。インストルメントパネルに取り付けると、乗員区画の撮影範囲が広くなり、運転者が視界から外れにくくなる。ステアリングホイールに取り付けると、運転者の顔面の特徴が目立つようになるが、容易に手で覆われる可能性がある。ステアリングホイールの回転は意図的な操舵であると考えられるので、運転者の覚醒度が高いことを示す。したがって、運転者覚醒アルゴリズムは、中央位置（例えば、垂直から＋／−１５度）に戻るまで無効にされる。

運転者の頭部及び目のベクトルの瞬間的な位置の報告は、短時間で集計され、運転者覚醒アルゴリズムを用いて運転者の注意がどこに集中しているか判定するために用いられる。運転者の注意が調整済みの前向き領域に適切に集中していない場合は、運転者に警報が発せられる。警報は、運転者の注意がどこにあるかに関係なく、運転者に伝達可能な信号である。多種多様な音声、映像、又は触知可能な警報が発せられてもよく、この警報にはインダッシュタイプのブザー又はシートパンで作動する電動カムを有する運転者の座席を介して送られる振動が含まれる。

図８Ａ〜８Ｃは、顔面構造間の幾何学的関係と、車両内の所定位置を見ている運転者の注意力を記録するためのキャリブレーション工程の例を示す。分類トレーニングプロセスは、特定の車両内のいくつかの所定位置（例えば、Ａピラー、インストルメントパネル、ドアミラー、バックミラー、フロントガラス、助手席フロア、センターコンソール、ラジオ及びエアコン）における運転者の頭部の位置及び目のベクトルを記録するために用いる。点間距離の行列は、運転者の注意力の状態のルックアップテーブル分類のために保存されて使用される。図８Ａは完全に覚醒状態である運転者を示す画像、図８Ｂは少し注意が逸れている運転者を示す画像、図８Ｃは完全に注意が逸れている運転者を示す画像である。検出された状態に基づいて、運転者に適切な警告が与えられる。例えば、運転者の注意が少し逸れていると検出された場合、例えば、第１の音量レベルの警報音により、運転者に軽度の警告が与えられる。運転者の注意が完全に逸れていると検出された場合、例えば、第１の音量レベルより強さが大きい第２の音量レベルの警報音（例えば、音量レベルが２０ｄＢ大きい）により、運転者に大音量の警告が与えられる。いずれの場合においても、ブザー又は他のタイプの触知可能な警報が（完全に注意が逸れている状態に対しては、より大きな振動を伴って）運転者に与えられてもよい。

運転者覚醒アルゴリズムは、運転者の特徴（頭部の位置及び目のベクトル）に基づいて運転者の注意力の状態を測定するのであって、車両の道路標識に対する反応に基づいているのではない（車線逸脱警報システム）。運転者覚醒アルゴリズムには、車両が車道境界から逸脱する前に不注意な運転者に警告するという利点がある。運転者覚醒アルゴリズムは、（対向車のヘッドライトのあるトンネルを通りぬけるといった）夜間で高ダイナミックレンジ状態の間、外部画像センシングより強力である内部画像センシングを使用する。

図１１に、例示的実施形態による運転者覚醒システムのフローチャートを示す。結像ユニット１１１０は、運転者の頭部が検出される車両区画の領域を結像する。結像ユニット１１１０は、例えば、車両のインストルメントパネル又はステアリングホイールに取り付けられた単眼カメラを備えていてもよい。画像処理ユニット１１２０は、結像ユニット１１１０から画像を受信し運転者の頭部及び目の位置を測定する。上述のように、画像処理ユニット１１２０は、二つの検出モジュールを備えていてもよい。警告ユニット１１３０は、画像処理ユニット１１２０による出力である運転者の測定された頭部及び目の位置に基づいて、運転者が覚醒状態であるか非覚醒状態であるかを判定する。警告ユニット１１３０は、運転者が非覚醒状態であると判定された時に運転者に警告を出力する。運転者覚醒信号を受信した時に運転者覚醒度検出システムを一時的に無効にする無効ユニット１１４０も提供される。運転者覚醒信号は、ステアリングホイールの回転位置によって、引き起こされる。ステアリングホイールが中心位置から少なくとも所定量だけ回転されると、運転者覚醒信号が無効ユニット１１４０に送信される。次に、無効ユニット１１４０は、警告ユニット１１３０が運転者へ警告を出力するのを止める（ステアリングホイールの回転は覚醒度が高いことを示す意図的な操舵であると考えられるので）。一方、ステアリングホイールが実質的に中央位置に戻ると、運転者覚醒信号は止まる。次に、警告ユニット１１３０は、画像処理ユニット１１２０による出力である運転者の頭部及び目の位置に基づいて、運転者が非覚醒状態であると判定する場合に警告を発する。無効ユニット１１４０は、任意の適切な時刻に図１１に示す他のユニットのいずれかの出力を妨げてもよい。

Claims (25)

1. 運転者の頭部が検出される車両の車両区画の領域を結像するように構成される結像ユニットと、
   前記結像ユニットから画像を受信し前記運転者の頭部及び目の位置を測定するように構成される画像処理ユニットと、
   前記画像処理ユニットによる出力である前記運転者の測定された頭部及び目の位置に基づいて、前記運転者が覚醒状態であるか非覚醒状態であるかを判定し、前記運転者が非覚醒状態であると判定された時に前記運転者に警告を出力するように構成される警告ユニットと、を備え、
   前記画像処理ユニットは、前記運転者の測定された頭部の位置が前記車両区画内の所定の運転者頭部領域内に無いと判定された時、又は、前記運転者の目が前記車両の前方の領域を見ていない範囲の角度であると判定された時、前記運転者が非覚醒状態であると判定する、
   ことを特徴とする運転者覚醒度検出システム。
2. 運転者覚醒信号を受信した時に前記運転者覚醒度検出システムを一時的に無効にするように構成される無効ユニットを更に備える、請求項１に記載の運転者覚醒度検出システム。
3. 前記運転者覚醒信号は、少なくとも所定量だけ前記車両のステアリングホイールが回転されると出力される、請求項２に記載の運転者覚醒度検出システム。
4. 前記所定回転量は、前記ステアリングホイールの中心位置から＋／−１５度に相当する、請求項３に記載の運転者覚醒度検出システム。
5. 前記運転者覚醒信号が出力されている時、前記車両の前記ステアリングホイールが実質的に中央位置に戻ると前記運転者覚醒信号の出力が止まる、請求項３に記載の覚醒度検出システム。
6. 前記結像ユニットは、前記車両のインストルメントパネルと前記車両のステアリングホイールのうち少なくとも一つに取り付けられた単眼カメラを備える、請求項１に記載の運転者覚醒度検出システム。
7. 前記警告ユニットは、前記画像処理ユニットによる出力である前記運転者の測定された頭部の位置が所定の頭部位置領域に少なくとも第１の所定時間の間に無い時、又は、前記運転者の測定された目の位置が前記車両区域内の所定の目位置領域内に少なくとも第２の所定時間の間に無い時、前記運転者が非覚醒状態であると判定する、請求項１に記載の運転者覚醒度検出システム。
8. 前記警告ユニットによる前記警告は、インダッシュタイプのブザー又は前記運転者の座席を介して送られる振動のうちの一つに相当する、請求項１に記載の運転者覚醒度検出システム。
9. 前記画像処理ユニットは、前記運転者の輪郭から背景構造を識別し前記運転者の頭部の回転及び前記運転者の頭部のチルト／ロールを計算する第１の検出モジュールと、前記運転者の頭部のピッチを識別し前記運転者の頭部の識別可能な顔面構造から制御点を計算し前記運転者の頭部に対する点間距離の行列を計算する第２の検出モジュールと、を備える、請求項１に記載の運転者覚醒度検出システム。
10. 前記識別可能な顔面構造は、少なくとも、目、鼻孔及び唇のうちの一つを備える、請求項９に記載の運転者覚醒度検出システム。
11. 前記第１及び第２の検出モジュールは、前記運転者の頭部の動き及び位置を識別するためにグーローシェーディングモデルを利用する、請求項９に記載の運転者覚醒度検出システム。
12. 運転者覚醒度検出方法であって、
    結像データを得るために運転者の頭部が検出される車両の車両区画の領域を結像することと、
    結像データに基づいて運転者の頭部及び目の位置を測定することと、
    運転者の測定された頭部及び目の位置に基づいて、運転者が覚醒状態であるか非覚醒状態であるかを判定することと、
    運転者が非覚醒状態であると判定された時に運転者に警告を出力することと、を備え、
    前記運転者の測定された頭部の位置が前記車両区画内の所定の運転者頭部領域内に無いと判定された時、又は、前記運転者の目が前記車両の前方の領域を見ていない範囲の角度であると判定された時、前記運転者は非覚醒状態であると判定される、
    ことを特徴とする運転者覚醒度検出方法。
13. 運転者覚醒信号を受信した時に警告の出力を一時的に無効にすることを更に備える、請求項１２に記載の方法。
14. 前記車両のステアリングホイールの回転を検出することを更に備え、前記運転者覚醒信号は、少なくとも所定量だけ前記車両の前記ステアリングホイールが回転されると出力される、請求項１３に記載の方法。
15. 前記所定回転量は、前記ステアリングホイールの中心位置から＋／−１５度に相当する、請求項１４に記載の方法。
16. 前記運転者覚醒信号が出力されている時、前記車両の前記ステアリングホイールが実質的に中央位置に戻ると前記運転者覚醒信号の出力が止まる、請求項１４に記載の方法。
17. 前記結像データは、前記車両のインストルメントパネルと前記車両のステアリングホイールのうち少なくとも一つに取り付けられた単眼カメラによって得られる、請求項１２に記載の方法。
18. 前記画像処理ユニットによる出力である前記運転者の測定された頭部の位置が所定の頭部位置領域に少なくとも第１の所定時間の間に無い時、又は、前記運転者の測定された目の位置が前記車両区域内の所定の目位置領域内に少なくとも第２の所定時間の間に無い時、前記運転者は非覚醒状態であると判定される、請求項１２に記載の方法。
19. 前記警告は、インダッシュタイプのブザー又は前記運転者の座席を介して送られる振動のうちの一つに相当する、請求項１２に記載の方法。
20. 前記運転者の頭部の位置を測定することは、前記運転者の輪郭から背景構造を識別し、前記運転者の頭部の回転及び前記運転者の頭部のチルト／ロールを計算することと、前記運転者の頭部のピッチを識別し、前記運転者の頭部の識別可能な顔面構造から制御点を計算し、前記運転者の頭部に対する点間距離の行列を計算することと、を備える、請求項１２に記載の方法。
21. 前記識別可能な顔面構造は、少なくとも、目、鼻孔及び唇のうちの一つを備える、請求項２０に記載の方法。
22. コンピュータプログラムコードを格納する非一時的な記録媒体であって、
    コンピュータにより実行される時に、
    結像データを得るために運転者の頭部が検出される車両の車両区画の領域を結像する機能と、
    結像データに基づいて運転者の頭部及び目の位置を測定する機能と、
    運転者の測定された頭部及び目の位置に基づいて運転者が覚醒状態であるか非覚醒状態であるかを判定する機能と、
    運転者が非覚醒状態であると判定された時に運転者に警告を出力する機能と、
    前記運転者の測定された頭部の位置が前記車両区画内の所定の運転者頭部領域内に無いと判定された時、又は、前記運転者の目が前記車両の前方の領域を見ていない範囲の角度であると判定された時、前記運転者が非覚醒状態であると判定する機能と、
    をコンピュータに実行させる、ことを特徴とする非一時的な記録媒体。
23. 運転者覚醒信号を受信した時に警告の出力を一時的に無効にする機能を更に実行させる、請求項２２に記載の非一時的な記録媒体。
24. 前記車両のステアリングホイールの回転を検出する機能を更に実行させ、前記運転者覚醒信号は、少なくとも所定量だけ前記車両の前記ステアリングホイールが回転されると出力される、請求項２２に記載の非一時的な記録媒体。
25. 前記所定回転量は、前記ステアリングホイールの中心位置から＋／−１５度に相当する、請求項２４に記載の非一時的な記録媒体。