JP2016115119A - 開閉眼判定装置、及び開閉眼判定方法 - Google Patents

Abstract

【課題】人の眼が開いているか否かを高精度で検出する。【解決手段】実施形態の開閉眼判定装置は、車両の座席に人が座った場合に、当該人の顔が存在する可能性がある第１の範囲に対して、赤外線を照射する照射部と、照射部により赤外線が照射された、第１の範囲を撮像する撮像部と、撮像部が撮像した第１の範囲に、照射部が照射した赤外線による、人の眼の角膜表面からの反射光に相当する、予め定められた閾値以上の高い輝度値が含まれているか否かに基づいて、座席に座っている人の眼が開いているか否かを判定する判定部と、を備える。【選択図】図４

Description

本発明の実施形態は、開閉眼判定装置、及び開閉眼判定方法に関する。

近年、撮像された静止画像または動画像に含まれる顔の位置および向き、ならびに眼および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、車両においては、運転者の顔検出結果から開閉眼判定を行って、居眠り運転等を検知し、警報等の所定の処理を行うことができる。

従来から、居眠り運転等を検知するために、運転者の開閉眼の状態を検知する他、車両運動等の運転挙動から居眠り運転等の推定情報を用いる技術が知られている（例えば、特許文献１参照）。また、顔検出結果から得られる運転者の眼の上下瞼間距離（開眼度）と瞼形状の双方を利用して運転者の開閉眼状態を検知し、居眠り運転等を検知する技術も知られている（例えば、特許文献２参照）。

特開２００８−１６５３４８号公報 特開２００４−１９２５５１号公報

しかしながら、従来技術では、運転者の開閉眼の状態を検知する際に外乱の影響が大きく開閉眼を正確に判定することが難しい。また、二次元画像上で開閉眼判定を行っているので、二次元画像上でのまぶたの形状は、顔とカメラ間の相対的な角度関係に従って、見え方が変化し、正確な開閉眼判定を行うことが困難である。

そこで、本発明の課題の一つは、より正確な運転者の開閉眼判定を行うことができる開閉眼判定装置、及び開閉眼判定方法を提供することである。

実施形態の開閉眼判定装置は、例えば、車両の座席に人が座った場合に、当該人の顔が存在する可能性がある第１の範囲に対して、赤外線を照射する照射部と、照射部により赤外線が照射された、第１の範囲を撮像する撮像部と、撮像部が撮像した第１の範囲に、照射部が照射した赤外線による、人の眼の角膜表面からの反射光に相当する、予め定められた閾値以上の高い輝度値が含まれているか否かに基づいて、座席に座っている人の眼が開いているか否かを判定する判定部と、を備える。よって、例えば、人の眼が開いているか否かの検出を高精度で実現する。

また、実施形態の開閉眼判定装置は、例えば、座席に座っている人の眼が開いていないと判定された場合には、人に対して警告を促す制御を行う制御部を、さらに備える。よって、例えば、人が寝ていると推定される場合に警告を促すことで、安全性の向上を実現する。

また、実施形態の開閉眼判定装置は、例えば、被験者の三次元顔形状と、三次元顔形状に含まれる、被験者の眼を含む顔の特徴を表す特徴情報と、表情に応じた顔の特徴の形状変化を示す形状パラメータと、を対応付けた三次元顔モデルを記憶する記憶部と、撮像部で撮像された第１の範囲から抽出された、人の顔の特徴を表す特徴情報と、記憶部に記憶された三次元顔モデルの特徴情報と、を照合して、第１の範囲に含まれる、人の眼の位置を特定する照合部と、撮像部で撮像された撮像画像データにおける、照合部により位置が特定された人の眼の状態に対応する、三次元顔モデルの形状パラメータを特定する形状パラメータ判定部と、をさらに備え、判定部は、さらに、特定された形状パラメータと、予め定められた閾値以上の高い輝度値が含まれているか否かと、に基づいて、座席に座っている人の眼が開いているか否かを判定する。よって、例えば、三次元顔モデルによる形状パラメータ、及び予め定められた閾値以上の高い輝度値が含まれているか否かの両方を用いることで、人の眼が開いているか否かの検出を高精度で実現する。

また、実施形態の開閉眼判定装置は、例えば、判定部は、さらに、形状パラメータに基づいて人の眼が閉じていると判定される場合でも、予め定められた閾値以上の高い輝度値が含まれている場合に、座席に座っている人の眼が開いていると判定する。よって、例えば、人の眼が開いているか否かの検出を高精度で実現する。

実施形態の開閉眼判定方法は、例えば、開閉眼判定装置で実行される開閉眼判定方法であって、車両の座席に人が座った場合に、当該人の顔が存在する可能性がある第１の範囲に対して、赤外線を照射し、撮像部が、赤外線が照射された、第１の範囲を撮像し、撮像部により撮像された第１の範囲に、照射部が照射した赤外線による、人の眼の角膜表面からの反射光に相当する、予め定められた閾値以上の高い輝度値が含まれているか否かに基づいて、座席に座っている人の眼が開いているか否かを判定する。よって、例えば、人の眼が開いているか否かの検出を高精度で実現する。

図１は、第１の実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。 図２は、第１の実施形態にかかる撮像装置及び赤外線照射器の配置の一例を示す図である。 図３は、第１の実施形態にかかる開閉眼判定システムの一例を示すブロック図である。 図４は、第１の実施形態のＥＣＵの機能的構成を示すブロック図である。 図５は、第１の実施形態にかかる赤外線照射器が照射した赤外線により写ったプルキニエ像を例示した図である。 図６は、第１の実施形態の撮像部により撮像された撮像画像データから検出されたプルキニエ像の一例を示した図である。 図７は、第１の実施形態の撮像部により撮像された撮像画像データから検出されたプルキニエ像の一例を示した図である。 図８は、第１の実施形態のＥＣＵにおける、眼の開閉判定に関する全体的な処理の手順を示すフローチャートである。 図９は、第２の実施形態のＥＣＵの機能的構成を示すブロック図である。 図１０は、第２の実施形態の三次元顔モデルの一例を説明するための模式図である。 図１１は、第２の実施形態のＥＣＵにおける、眼の開閉判定に関する全体的な処理の手順を示すフローチャートである。

以下に示す実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

（第１の実施形態）
図１に示されるように、第１の実施形態の車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）や、ＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

また、図２に示すように、ハンドルコラム２０２には、撮像部２０１と、赤外線照射器２０３と、が設けられている。赤外線照射器２０３は、例えば、赤外線を照射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライト等とする。撮像部２０１は、例えば、赤外線による撮影に対応した、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等とする。

撮像部２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。また、赤外線照射器２０３は、当該赤外線照射器２０３が照射する光の光軸が、座席２ｂに着座する運転者３０２の顔の近傍に来るように、調整されている。

赤外線照射器２０３は、上述した調整の結果、車両１の座席２ｂに人が座った場合に、当該人の顔が存在する可能性がある範囲２５０に対して、赤外線２１２を照射する。赤外線２１２は、人の眼には光として認識されない。このため、人の顔の方向に照射しても、照射対象となった人はまぶしいと感じない。このため、運転時の快適性を確保すると共に、撮像部２０１による、人の顔の撮像が容易になる。

撮像部２０１は、上述した調整の結果、赤外線照射器２０３により赤外線が照射される、当該人の顔が存在する可能性がある範囲２５０を撮像する。そして、撮像部２０１は、車両１の運転が行われている間、運転者３０２の顔の撮影を継続し、撮影により得た撮像画像データを順次、ＥＣＵ１４に出力する。なお、撮像部２０１による撮像は、一定時間間隔で周期的に行われる。

次に、本実施形態にかかる車両１における開閉眼判定装置を有する開閉眼判定システムについて説明する。図３は、本実施形態にかかる開閉眼判定システム１００の構成の一例を示すブロック図である。図３に例示されるように、開閉眼判定システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、アクチュエータ１３ａを含む操舵システム１３、アクチュエータ１８ａを含むブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、開閉眼判定装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、表示装置８で表示するための画像データを処理する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図４は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、ＲＯＭ１４ｂに記憶されたプログラムを実行することで、少なくとも、入力部４０１と、検出部４０２と、開眼度演算部４０３と、プルキニエ像判定部４０４と、開閉眼判定部４０５と、制御部４０６と、を実現する。なお、これらの構成をハードウェアで実現するように構成しても良い。

入力部４０１は、撮像部２０１により撮像された撮像画像データを入力する。

検出部４０２は、入力された撮像画像データから、人の顔の領域と、顔部品とを検出する。人の顔の領域、及び顔部品を検出する手法として、どのような手法を用いても良いが、例えば、ＮＮ、Adaboost、個人顔テンプレートを用いる手法が考えられる。

また、検出部４０２は、当該人の部品が定められた領域内で、顔の特徴点（例えば、口端、目尻、目頭等）を検出する。

そして、検出部４０２は、検出された目尻、目頭を基準として、上まぶた及び下まぶたを検出する。上まぶた及び下まぶたの検出手法としてはどのような手法を用いても良く、例えば、ベジエフィッティング手法を用いることが考えられる。

開眼度演算部４０３は、算出された上まぶた及び下まぶたの間の距離に基づいて、眼の開眼度を算出する。

プルキニエ像判定部４０４は、撮像画像データにおける、検出部４０２により検出された上まぶた及び下まぶたの間近傍の輝度値を解析し、プルキニエ像が写っているか否かを判定する。本実施形態では、プルキニエ像とは、赤外線照射器２０３が照射した赤外線が、人の眼の角膜表面で反射した場合の写る虚像とする。

図５は、本実施形態にかかる赤外線照射器２０３が照射した赤外線により写ったプルキニエ像を例示した図である。図５に示されるように、赤外線照射器２０３から赤外線が照射された場合に、人の眼の角膜表面にプルキニエ像５０１が生じる。撮像部２０１が、人の顔を含む領域を撮像する場合に、プルキニエ像５０１が、輝度値が高い領域として写る。

そこで、プルキニエ像判定部４０４は、撮像画像データにおける、検出部４０２により検出された上まぶた及び下まぶたの間の近傍領域において、予め定められた閾値以上の高い輝度値が含まれているか否かを判定する。そして、プルキニエ像判定部４０４は、予め定められた閾値以上の高い輝度値が含まれている場合に、プルキニエ像が写っていると判定する。なお、予め定められた閾値は、実施態様に応じて定められる値であり、例えば、赤外線照射器２０３が照射した赤外線の強さに基づいて定められる値として、説明を省略する。

開閉眼判定部４０５は、開眼度演算部４０３により算出された眼の開眼度と、プルキニエ像判定部４０４により判定されたプルキニエ像の判定結果と、に基づいて、人の眼が閉じているか否かを判定する。

本実施形態では、開閉眼判定部４０５は、開眼度が予め定められた閾値以上か否かに応じて眼が開いているか否かを判定する。例えば、開閉眼判定部４０５は、開眼度が予め定められた閾値以上の場合に眼が開いていると判定し、開眼度が予め定められた閾値より小さい場合には眼が閉じていると判定する。しかしながら、開眼度が予め定められた閾値より小さい場合であっても、プルキニエ像判定部４０４によりプルキニエ像が写っていると判定された場合には、当該判定結果を優先して、眼が開いていると判定する。

従来、撮像画像データでは、上まぶたと下まぶたとの間が何ドットあるかに従って、眼の開眼状態を検出していた。しかしながら、顔の正面に設置された撮像部が撮像した撮像画像データでは、顔が下向いている場合や上向いている場合では、眼が開いている状態であっても、上まぶたと下まぶたとの間が狭くなるため、眼が閉じていると判定される可能性があった。

一方、プルキニエ像は、赤外線照射器２０３が照射した赤外線の、人の眼の角膜表面からの反射光であるため、撮像画像データにおいてプルキニエ像が写っている場合には、眼が開いている可能性が高いと考えられる。

そこで、本実施形態では、撮像画像データに基づいて算出された上まぶたと下まぶたとの間の距離が短い場合でも、プルキニエ像が撮像画像データに写っている場合には、眼が開いていると判定する。

図６は、本実施形態の撮像部２０１により撮像された撮像画像データから検出されたプルキニエ像の一例を示した図である。図６（Ａ）に示される撮像画像データは、顔が前方を向いたうえで、眼を薄く開いている例とする。そして、図６（Ｂ）に示される例は、検出部４０２により検出された上まぶた６０１と、下まぶた６０２とが示されている。図６（Ｂ）に示される例は、上まぶた６０１と、下まぶた６０２との間にプルキニエ像６０３が特定できる。

図７は、本実施形態の撮像部２０１により撮像された撮像画像データから検出されたプルキニエ像の一例を示した図である。図７（Ａ）に示される撮像画像データは、顔が下方を向いたうえで、眼を薄く開いている例とする。そして、図７（Ｂ）に示される例は、検出部４０２により検出された上まぶた７０１と、下まぶた７０２とが示されている。図７（Ｂ）に示される例は、上まぶた７０１と、下まぶた７０２との間にプルキニエ像７０３が特定できる。

このように、本実施形態では、図６及び図７の例で示されるように、上まぶたと下まぶたとの間の距離が狭い場合であっても、プルキニエ像が特定できる場合では、眼が開いていると推定する。

なお、本実施形態では、撮像画像データにおいて、人の顔の領域、顔部品、及び顔の特徴を検出した後、上まぶたと下まぶたを検出し、上まぶたと下まぶたの近傍でプルキニエ像に相当する輝度値が含まれているか否かを判定する例について説明した。しかしながら、本実施形態は、上まぶたと下まぶたとを特定した後に、上まぶたと下まぶたの近傍でプルキニエ像に相当する輝度値が含まれているか否かを判定する手法に制限するものではない。例えば、撮像画像データにおいて、顔の領域や顔部品等の検出等を行わず、プルキニエ像に相当する輝度値が検出された場合には、眼が開いていると判定しても良い。

制御部４０６は、開閉眼判定部４０５により、座席２ｂに座っている人の眼が閉じていると判定された場合に、モニタ装置１１の音声出力装置９から警報となる音声を出力する。なお、本実施形態は、モニタ装置１１の音声出力装置９から警報として音声を出力する例について説明するが、警報を音声出力に制限するものではなく、例えば、操舵部４や座席２ｂの振動など、他の手段を用いても良い。

次に、本実施形態のＥＣＵ１４における、眼の開閉判定に関する全体的な処理について説明する。図８は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

まず、赤外線照射器２０３が、運転者の顔を含む可能性がある範囲に赤外線を照射する（ステップＳ８０１）。

次に、撮像部２０１が、赤外線照射器２０３による赤外線が照射された範囲であって、運転者の顔を含む可能性がある範囲を撮像する（ステップＳ８０２）。そして、撮像された撮像画像データは、ＥＣＵ１４に出力される。

そして、入力部４０１が、撮像部２０１により撮像された撮像画像データを入力処理する（ステップＳ８０３）。

そして、検出部４０２は、入力された撮像画像データから、人の顔の領域と、顔部品とを検出する（ステップＳ８０４）。

そして、検出部４０２は、人の部品が定められた領域内で、顔の特徴点（例えば、口端、目尻、目頭等）を検出する（ステップＳ８０５）。そして、検出部４０２は、検出された顔の特徴点（目尻、目頭）を基準として、上まぶた及び下まぶたを検出する（ステップＳ８０６）。

次に、開眼度演算部４０３は、算出された上まぶた及び下まぶたの間の距離に基づいて、眼の開眼度を算出する（ステップＳ８０７）。

プルキニエ像判定部４０４は、検出部４０２により検出された上まぶた及び下まぶたの間近傍の輝度値を解析し、プルキニエ像が写っているか否かを判定する（ステップＳ８０８）。

そして、開閉眼判定部４０５は、開眼度演算部４０３により算出された眼の開眼度と、プルキニエ像判定部４０４により判定されたプルキニエ像の判定結果と、に基づいて、人の眼が開いているか否かを判定する（ステップＳ８０９）。

そして、開閉眼判定部４０５が、人の眼が開いていると判定した場合（ステップＳ８０９：Ｙｅｓ）、処理を終了する。

一方、開閉眼判定部４０５が、人の眼が開いていない、又は人の眼が閉じていると判定した場合（ステップＳ８０９：Ｎｏ）、音声出力装置９から警報を出力する制御を行う（ステップＳ８１０）。

本実施形態では、上述した制御を行うことで、運転するための座席２ｂに座っている人が寝ている可能性が高いか否かを判定し、寝ている可能性が高い場合には警告することができる。これにより車両１を運転する際の安全性を向上させることができる。

（第２の実施形態）
第１の実施形態では、開眼度と、プルキニエ像の有無と、を組み合わせて、人の眼が開いているか否かを判定する例について説明した。しかしながら、人の眼が開いているか否かを判定する手法を、第１の実施形態に示した手法に制限するものではない。そこで、第２の実施形態では、三次元形状モデルによる開眼状況と、プルキニエ像の有無とを組み合わせて、人の眼が開いているか否かを判定する例について説明する。

第２の実施形態では、撮像画像データに写っている顔に対して、三次元形状モデルを当てはめ、写っている人の顔の向きや眼の開眼を、当該三次元モデルに基づいて推定する。なお、第２の実施形態のハードウェア構成は第１の実施形態と同様として説明を省略する。第２の実施形態は、第１の実施形態と比べて、ＲＯＭ１４ｂに格納されるプログラム、及びデータが異なる。このため、ＥＣＵ１４で実現される構成も異なる。

図９は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図９に示されるように、ＥＣＵ１４は、入力部９０１と、照合部９０２と、形状パラメータ判定部９０３と、プルキニエ像判定部９０４と、開閉眼判定部９０５と、制御部９０６と、三次元顔モデル９１０とを主に備えている。図９に示される、三次元顔モデル９１０を除く各構成は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。

三次元顔モデル９１０は、ＳＳＤ１４ｆ等の記憶媒体に保存されている。三次元顔モデル９１０は、様々な被験者に基づいて生成された統計的な三次元顔形状と、三次元顔形状上に配置される、被験者の眉、眼、鼻、口および輪郭を表す顔の特徴を表す特徴点と、表情に応じた顔の特徴の形状の変化を示す形状パラメータと、を対応付けている。三次元顔モデル９１０は、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ），ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ），ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。

図１０は、本実施形態の三次元顔モデル９１０の一例を説明するための模式図である。図１０では、例示的な顔のモデルＭを示している。モデルＭは、例えば様々な被験者から得られた顔形状から生成された顔の立体的形状を示しており、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図１０に示す例では、眉、眼、鼻、口および輪郭を表す特徴点Ｐを示しているが、モデルＭは図１０に示したものとは異なる特徴点Ｐを含んでもよい。

本実施形態では、三次元顔モデル９１０に含まれる形状パラメータを調整することで、三次元顔モデルと、撮像された顔の領域との間のフィッティングを行うことが可能である。さらには、形状パラメータを調整することで、運転者の顔の表情や動作の変化に伴う運転者の眼の形状の段階的な変化を調整することができる。

例えば、三次元顔モデル９１０には、顔が無表情で正面を向いて眼が開いている状態を標準の状態と、この標準の状態から表情が笑顔になるまでの眼の形状の段階的な変化、標準の状態から眼を閉じるまでの眼の形状の段階的な変化、標準の状態から下を向く（下方視）までの眼の形状の段階的な変化等の各状態が形状パラメータとして登録されている。なお、三次元形状モデルの生成手法は、どのような手法を用いても良いものとして説明を省略する。

本実施形態では、形状パラメータを調整して、三次元形状モデル上で眼の開閉状態を導出する。

このように、本実施形態では、撮像画像データに写っている顔から、当該顔の三次元形状モデルを推定し、当該三次元形状モデルにおいて、顔の向きなどを特定した上で、眼が開いているか否かを判定している。つまり、撮像画像データでは上まぶたと下まぶたとの間がほとんど開いてないと判定される場合でも、三次元形状モデルを推定し、当該三次元形状モデルで、撮像画像データに写っている上まぶたと下まぶたに対応する形状パラメータを特定する。そして、特定された形状パラメータでは、眼が開いている状態であるか否かを判定するため、顔が下向いている場合や上向いている場合であっても眼が開いているか否かを判定できる。

しかしながら、顔がより下を向いている場合や、顔がより上を向いている場合では、三次元形状モデルにおいて上まぶたと下まぶたに対応する形状パラメータを正確に特定できない場合がある。

そこで、本実施形態では、特定された形状パラメータでは眼が閉じていると判定される場合であっても、プルキニエ像が撮像画像データに写っている場合には、眼が開いていると判定する。

次に、本実施形態のＥＣＵ１４における、眼の開閉判定に関する全体的な処理について説明する。図１１は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

まず、赤外線照射器２０３が、運転者の顔を含む可能性がある範囲に赤外線を照射する（ステップＳ１１０１）。次に、撮像部２０１が、赤外線照射器２０３による赤外線が照射された範囲であって、運転者の顔を含む可能性がある範囲を撮像する（ステップＳ１１０２）。そして、入力部９０１が、撮像部２０１により撮像された撮像画像データを入力処理する（ステップＳ１１０３）。

照合部９０２は、二次元の撮像画像データに写っている運転者の顔と、三次元顔モデル９１０を構成する三次元顔構造データと、を適合させる（ステップＳ１１０４）。すなわち、照合部９０２は、モデルフィッティングとモデルのトラッキングを行う。これにより、照合部９０２は、運転者の顔の向きを特定（推定）し、三次元顔モデル９１０上での眼の位置を特定（推定）する。

ここで、本実施形態において、モデルフィッティングは、統計的顔形状モデルである三次元顔モデル９１０に記憶された顔のモデルを初期状態として用い、該モデルの特徴点Ｐを撮像画像の顔の各部分に一致するように形状パラメータを調整することで、該顔に近似したモデルＭを生成する。

また、本実施形態において、モデルフィッティングにおいてモデルＭが生成された後に、形状パラメータ判定部９０３は、撮像部２０１で周期的に撮像される運転者の二次元の撮像画像データを、三次元眼モデルに、継続的に適合させる（ステップＳ１１０５）。つまり、眼の形状を示した形状パラメータを変化させ、形状パラメータを特定させる処理を継続的に行っている。これにより、撮像画像データに写っている眼の形状に対応する、形状パラメータが継続的に特定される。

次に、プルキニエ像判定部９０４が、撮像画像データにプルキニエ像に写っているか否かを判定する（ステップＳ１１０６）。

開閉眼判定部９０５は、ステップＳ１１０７で特定された形状パラメータと、ステップＳ１１０８で判定されたプルキニエ像が写っているか否かに基づいて、運転者が開眼の状態か閉眼の状態かを判定する（ステップＳ１１０７）。

開閉眼判定部９０５は、開眼度が予め定められた閾値以上の場合、又は開眼度が予め定められた閾値より小さくても、プルキニエ像が写っていると判定されている場合には、眼が開いていると判定し（ステップＳ１１０７：Ｙｅｓ）、処理を終了する。

一方、開閉眼判定部９０５は、開眼度が予め定められた閾値より小さく且つプルキニエ像が写っていないと判定されている場合には、眼が閉じていると判定し（ステップＳ１１０７：Ｎｏ）、制御部９０６が、音声出力装置９から警報を出力する制御を行う（ステップＳ１１０８）。

なお、本実施形態では、三次元形状モデルで眼が閉じていると判定されているか否かにかかわらず、プルキニエ像が写っている場合には、眼が開いていると判定する例について説明した。しかしながら、プルキニエ像が写っている場合に必ず眼が開いていると判定する手法に制限するものではなく、例えば、三次元形状モデルで特定された顔の向きが、上方向や下方向になるに従って、開眼度よりプルキニエ像が写っているか否かを優先する等の処理を行っても良い。

また、本実施形態では、運転者の顔の眼の形状を、二次元の撮像画像だけでなく、三次元の顔モデルを用いて推定（特定）しているので、撮像部２０１に対する垂直方向の相対的な顔の位置および顔の向きの影響を受けることが少ない。このため、本実施形態によれば、より正確に眼の形状を推定することができ、これにより、より正確に運転者の開閉眼を判定することができる。

また、本実施形態では、三次元顔モデルに撮像画像をフィッティングしているので、眼の上下左右まぶたに対して同時にフィッティングすることになり、上下左右まぶたで独立に曲線を検出する従来技術に比べて、撮像画像中のノイズに対してロバストに笑顔の検出を行うことができる。

また、本実施形態では、運転者が閉眼状態であると判定された場合には、制御部９０６は、運転者に警告を促す動作の一例として警報を、モニタ装置１１の音声出力装置９から出力させるので、運転者の居眠り運転を防止することができる。

上述した実施形態においては、撮像画像データにプルキニエ像が写っているか否かに基づいて、運転者の眼が開いているか否かの判定を行う。このため、運転者が上下方向を向いているため、撮像画像データでは上まぶたと下まぶたの距離が短いと判定される場合でも、運転者の眼が開いているか否かをより正確に検出することができる。このように、人の眼が開いているか否かの検出を高精度で実現する。

さらに、上述した実施形態においては、撮像画像データにプルキニエ像が写っていない場合に、人が寝ていると推定して、警告を促すことで、安全性を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、２…車体、２ａ…車室、２ｂ…座席、３…車輪、３Ｒ…後輪、３Ｆ…前輪、４…操舵部、８…表示装置、９…音声出力装置、１０…操作入力部、１１…モニタ装置、１２…ダッシュボード、１３…操舵システム、１３ａ…アクチュエータ、１３ｂ…トルクセンサ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｅ…音声制御部、１８…ブレーキシステム、１８ａ…アクチュエータ、１８ｂ…ブレーキセンサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、２３…車内ネットワーク、１００…開閉眼判定システム、２０１…撮像部、２０３…赤外線照射器、４０１…入力部、４０２…検出部、４０３…開眼度演算部、４０４…プルキニエ像判定部、４０５…開閉眼判定部、４０６…制御部、９０１…入力部、９０２…照合部、９０３…形状パラメータ判定部、９０４…プルキニエ像判定部、９０５…開閉眼判定部、９０６…制御部。

Claims (5)

1. 車両の座席に人が座った場合に、当該人の顔が存在する可能性がある第１の範囲に対して、赤外線を照射する照射部と、
   前記照射部により前記赤外線が照射された、前記第１の範囲を撮像する撮像部と、
   前記撮像部が撮像した前記第１の範囲に、前記照射部が照射した前記赤外線による、人の眼の角膜表面からの反射光に相当する、予め定められた閾値以上の高い輝度値が含まれているか否かに基づいて、前記座席に座っている人の眼が開いているか否かを判定する判定部と、
   を備える開閉眼判定装置。
2. 前記座席に座っている人の眼が開いていないと判定された場合には、前記人に対して警告を促す制御を行う制御部を、
   さらに備える請求項１に記載の開閉眼判定装置。
3. 被験者の三次元顔形状と、前記三次元顔形状に含まれる、被験者の眼を含む顔の特徴を表す特徴情報と、表情に応じた前記顔の特徴の形状変化を示す形状パラメータと、を対応付けた三次元顔モデルを記憶する記憶部と、
   前記撮像部で撮像された前記第１の範囲から抽出された、人の顔の特徴を表す特徴情報と、前記記憶部に記憶された前記三次元顔モデルの特徴情報と、を照合して、前記第１の範囲に含まれる、人の眼の位置を特定する照合部と、
   前記撮像部で撮像された撮像画像データにおける、前記照合部により位置が特定された人の眼の状態に対応する、前記三次元顔モデルの形状パラメータを特定する形状パラメータ判定部と、をさらに備え、
   前記判定部は、さらに、特定された前記形状パラメータと、予め定められた閾値以上の高い輝度値が含まれているか否かと、に基づいて、前記座席に座っている人の眼が開いているか否かを判定する、
   請求項１又は２に記載の開閉眼判定装置。
4. 前記判定部は、さらに、前記形状パラメータに基づいて人の眼が閉じていると判定される場合でも、予め定められた閾値以上の高い輝度値が含まれている場合に、前記座席に座っている人の眼が開いていると判定する、
   請求項３に記載の開閉眼判定装置。
5. 開閉眼判定装置で実行される開閉眼判定方法であって、
   車両の座席に人が座った場合に、当該人の顔が存在する可能性がある第１の範囲に対して、赤外線を照射し、
   撮像部が、前記赤外線が照射された、前記第１の範囲を撮像し、
   前記撮像部により撮像された前記第１の範囲に、照射部が照射した前記赤外線による、人の眼の角膜表面からの反射光に相当する、予め定められた閾値以上の高い輝度値が含まれているか否かに基づいて、前記座席に座っている人の眼が開いているか否かを判定する、
   ことを含む開閉眼判定方法。