JP2009169745A

JP2009169745A - 閉眼検出装置

Info

Publication number: JP2009169745A
Application number: JP2008008171A
Authority: JP
Inventors: Tamiko Nishina; 多美子仁科
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-01-17
Filing date: 2008-01-17
Publication date: 2009-07-30

Abstract

【課題】車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態を正確に検出することができる閉眼検出装置を提供する。
【解決手段】車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置であって、ドライバの顔を撮像する顔撮像部と、顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える。
【選択図】図１

Description

本発明は、閉眼検出装置に関し、より特定的には、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置に関する。

従来、車両を運転するドライバの閉眼状態を検出する装置として、上瞼と下瞼との間の水平面に対して垂直な方向の距離を算出し、その距離が所定距離以下である場合に、閉眼状態であることを検出する装置が提案されている（例えば、特許文献１参照）。
特許第３７４６９１６号公報

しかしながら、従来の技術では、水平面に対して垂直な方向の距離を算出して閉眼を検出するため、例えばドライバが垂れ目やつり目である場合、眼を閉じていても目尻と目頭の高さの差を算出してしまい、開眼状態であると誤検出してしまう。

そこで、本発明は、上記問題に鑑みてなされた。すなわち、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することを目的とする。

本発明の局面は、車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える。

これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することができる。

また、複数の人の上瞼の画像パターンを格納する上瞼画像パターン格納部と、瞼画像認識部が認識した上瞼画像と一致する上瞼の画像パターンを上瞼画像パターン格納部から特定する上瞼画像パターン特定部とを更に備え、瞼間距離算出部は、上瞼画像パターン特定部が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、前記上瞼画像の頭頂部への接線と前記下瞼画像の頭頂部への接線との間の距離を算出することによって、当該上瞼画像パターン特定部が特定した上瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することが好ましい。

これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。

また、複数の人の下瞼の画像パターンを格納する下瞼画像パターン格納部と、瞼画像認識部が認識した下瞼画像と一致する下瞼の画像パターンを前記下瞼画像パターン格納部から特定する下瞼画像パターン特定部とを更に備え、瞼間距離算出部は、前記下瞼画像パターン特定部が特定した下瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することが好ましい。

これにより、車両を運転するドライバの上瞼と下瞼との間のより正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。

以上説明したように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。

（第１の実施形態）
以下、本発明の第１の実施の形態に係る閉眼検出装置について図面に従って詳細に説明する。

図１は、本発明の実施の形態に係る閉眼検出装置１００の全体構成を示すブロック図である。図１において、閉眼検出装置１００は、上瞼画像パターン格納部１１０、顔撮像部１２０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０を備える。ＥＣＵ１８０は、上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０を含む。

上瞼画像パターン格納部１１０は、様々な人種、様々な形状の人の目の上瞼の画像パターンを格納する、例えばＲＡＭ、ＲＯＭ、又はＨＤＤ（ハードディスク）等のメモリである。

顔撮像部１２０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。

上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定し、推定した鼻の位置から目の位置を推定し、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する。

下瞼画像認識部１４０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定し、推定した鼻の位置から目の位置を推定し、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する。

上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する。

瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する。このとき、図４に示すように、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、上瞼画像の頭頂部への接線と下瞼画像の頭頂部への接線との間の距離Ｄｍａｘを算出する。これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することができる。

閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下である場合に、ドライバが閉眼状態であることを検出する。

ＥＣＵ１８０は、図２に示すような構成からなり、顔撮像部１２０が撮像した撮像データを受け取り、搭載している顔向き検知のアルゴリズムと閉眼検知のアルゴリズムのプログラムによってそれぞれの処理を実行する。

顔向き検知の処理は、顔向き検知マイコン１８１によって実行され、閉眼検知の処理は、特徴点検出装置１８２を構成する上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０によって実行される。

ＥＣＵ１８０は、顔向き検知マイコン１８１、及び特徴点検出装置１８２等の情報処理装置、およびインターフェース回路等を備える処理装置である。ＥＣＵ１８０は、カメラ画像を顔向き検知マイコン１８１、及び特徴点検出装置１８２等の情報処理装置で処理する。ＥＣＵ１８０は、上記の処理の結果として得られる運転者の状態を示すデータを車両制御システムへ出力する。

顔向き検知マイコン１８１は、典型的にはマイクロコンピュータ等の情報処理装置である。顔向き検知マイコン１８１は、カメラ画像中における運転者の顔の向きの角度を検出する。なお、本実施形態では、説明を簡単にするため、顔向き検知マイコン１８１が、運転者の顔の左右方向の角度（以下、顔向き角度αと呼称する）を検出する例について説明する。

特徴点検出装置１８２は、典型的にはマイクロコンピュータ等の情報処理装置である。特徴点検出装置１８２は、後述する処理に用いるデータを記憶するメモリ等の記憶装置を備える。特徴点検出装置１８２は、上記の画像中で左眼を探索する範囲（以下、左眼探索範囲と呼称する）、および右眼を探索する範囲（以下、右眼探索範囲と呼称する）を設定する。なお、左眼探索範囲および右眼探索範囲は、カメラ画像のＸＹ座標軸と平行な４辺から成る長方形で設定される。特徴点検出装置１３２は、左眼探索範囲内でカメラ画像中の左眼の位置（Ｌｘ，Ｌｙ）を検出し、右眼探索範囲内でカメラ画像中の右眼の位置（Ｒｘ，Ｒｙ）を検出する。特徴点検出装置１３２は、左右の眼の位置を検出すると、左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを各々算出する。そして、特徴点検出装置１３２は、左眼の位置（Ｌｘ，Ｌｙ）、右眼の位置（Ｒｘ，Ｒｙ）、左眼の瞼開度ＭＬ、および右眼の瞼開度ＭＲを示すデータを車両制御システムへ出力する。

車両制御システムには、プリクラッシュ制御システムなどの車両を制御するシステムが含まれる。例えば、プリクラッシュ制御システムは、運転者の疲れ具合などを顔向き検知マイコン１８１から出力される顔向き角度α、特徴点検出装置１８２から出力される運転者の左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、並びに左右の眼の各々の瞼開度等の運転者の状態を示すデータに基づいて判断することができる。この判断により、プリクラッシュ制御システムは、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングを、上記の運転者の疲れ具合に応じて決定する。

以下、本発明の第１の実施の形態に係る閉眼検出装置１００の動作について、図３のフロー図に従って説明する。

まず、顔撮像部１２０は、ドライバの顔を撮像する（ステップＳ２０１）。

次に、上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定する（ステップＳ２０２）。

更に、上瞼画像認識部１３０は、推定した鼻の位置から目の位置を推定する（ステップＳ２０３）。

そして、上瞼画像認識部１３０は、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する（ステップＳ２０４）。

次に、下瞼画像認識部１４０は、上瞼画像認識部１３０が推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する（ステップＳ２０５）。

次に、上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する（ステップＳ２０６）。

次に、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する（ステップＳ２０７）。

次に、閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下であるか否かを判定する（ステップＳ２０８）。

ステップＳ２０８において、所定距離より大きいと判定された場合、閉眼状態検出部１７０はステップＳ２０１に処理を戻す。

一方、ステップＳ２０８において、所定距離以下であると判定された場合、閉眼状態検出部１７０は、ドライバが閉眼状態であることを検出する（ステップＳ２０９）。

このように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することができる。

（第２の実施形態）
以下、本発明の第２の実施の形態に係る閉眼検出装置について図面に従って詳細に説明する。なお、第１の実施の形態と同一の構成に付いては説明を省略する。

図４は、本発明の実施の形態に係る閉眼検出装置１００の全体構成を示すブロック図である。図５において、閉眼検出装置１００は、上瞼画像パターン格納部１１０、顔撮像部１２０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、閉眼状態検出部１７０、下瞼画像パターン格納部１９０、及び下瞼画像パターン特定部２００を備える。ＥＣＵ１８０は、上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、閉眼状態検出部１７０、下瞼画像パターン格納部１９０、及び下瞼画像パターン特定部２００を含む。

下瞼画像パターン格納部１９０は、様々な人種、様々な形状の人の目の下瞼の画像パターンを格納する、例えばＲＡＭ、ＲＯＭ、又はＨＤＤ（ハードディスク）等のメモリである。

下瞼画像パターン特定部２００は、下瞼画像パターン格納部１９０に格納された下瞼画像パターンの中から、下瞼画像認識部１４０が認識した下瞼画像とパターンが一致する下瞼画像パターンを特定する。

瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部１９０が特定した下瞼の画像パターンの双方の傾きが一致する傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する。このとき、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部１９０が特定した下瞼の画像パターンの頭頂部への接線の傾きの双方が一致する傾きを有する、上瞼画像の頭頂部への接線と下瞼画像の頭頂部への接線との間の距離Ｄｍａｘを算出する。

以下、本発明の第２の実施の形態に係る閉眼検出装置１００の動作について、図６のフロー図に従って説明する。

まず、顔撮像部１２０は、ドライバの顔を撮像する（ステップＳ５０１）。

次に、上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定する（ステップＳ５０２）。

更に、上瞼画像認識部１３０は、推定した鼻の位置から目の位置を推定する（ステップＳ５０３）。

そして、上瞼画像認識部１３０は、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する（ステップＳ５０４）。

次に、下瞼画像認識部１４０は、上瞼画像認識部１３０が推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する（ステップＳ５０５）。

次に、上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する（ステップＳ５０６）。

次に、下瞼画像パターン特定部２００は、下瞼画像パターン格納部１９０に格納された下瞼画像パターンの中から、下瞼画像認識部１４０が認識した下瞼画像とパターンが一致する下瞼画像パターンを特定する（ステップＳ５０７）。

次に、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部２００が特定した下瞼の画像パターンの双方の傾きが一致する傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する（ステップＳ５０８）。

次に、閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下であるか否かを判定する（ステップＳ５０９）。

ステップＳ５０９において、所定距離より大きいと判定された場合、閉眼状態検出部１７０はステップＳ５０１に処理を戻す。

一方、ステップＳ５０９において、所定距離以下であると判定された場合、閉眼状態検出部１７０は、ドライバが閉眼状態であることを検出する（ステップＳ５１０）。

このように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間のより正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。

なお、眼の傾きの特定は、パターンマッチングによって得られる下瞼の傾きとして特定してもよいし、目尻と目頭の位置を結ぶ線の傾きとして特定してもよい。

また、瞼間の距離の算出は、目尻と目頭を結ぶ線と上瞼の頭頂部までの距離を算出してもよく、この距離に基づいて閉眼状態が検出される構成としてもよい。

上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。

車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態の誤検出を低減する閉眼検出装置等として有用である。

本発明の第１の実施の形態に係る閉眼検出装置の全体構成を示すブロック図ＥＣＵの全体構成を示すブロック図本発明の第１の実施の形態に係る閉眼検出装置の動作を示すフロー図瞼間の最大距離を算出する様子を示す模式図本発明の第２の実施の形態に係る閉眼検出装置の全体構成を示すブロック図本発明の第２の実施の形態に係る閉眼検出装置の動作を示すフロー図

符号の説明

１００閉眼検出装置
１１０上瞼画像パターン格納部
１２０顔撮像部
１３０上瞼画像認識部
１４０下瞼画像認識部
１５０上瞼画像パターン特定部
１６０瞼間最大距離算出部
１７０閉眼状態検出部
１８０下瞼画像パターン格納部
１９０下瞼画像パターン特定部

Claims

車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、
前記瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、
前記瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える、閉眼検出装置。
複数の人の上瞼の画像パターンを格納する上瞼画像パターン格納部と、
前記瞼画像認識部が認識した上瞼画像と一致する上瞼の画像パターンを前記上瞼画像パターン格納部から特定する上瞼画像パターン特定部とを更に備え、
前記瞼間距離算出部は、前記上瞼画像パターン特定部が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、前記上瞼画像の頭頂部への接線と前記下瞼画像の頭頂部への接線との間の距離を算出することによって、当該上瞼画像パターン特定部が特定した上瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することを特徴とする、請求項１に記載の閉眼検出装置。
複数の人の下瞼の画像パターンを格納する下瞼画像パターン格納部と、
前記瞼画像認識部が認識した下瞼画像と一致する下瞼の画像パターンを前記下瞼画像パターン格納部から特定する下瞼画像パターン特定部とを更に備え、
前記瞼間距離算出部は、前記下瞼画像パターン特定部が特定した下瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することを特徴とする、請求項１又は２に記載の閉眼検出装置。