JP2020009360A - 乗員状態認識装置 - Google Patents

Abstract

【課題】判定不能状態の影響によって推定精度が低い開眼時間及び閉眼時間が推定されることを回避することが可能となる乗員状態認識装置を提供する。【解決手段】乗員状態認識装置１００は、開眼状態、閉眼状態、及び判定不能状態を判定する眼状態判定部１２と、第１時間，第２時間を算出する時間算出部１３と、第１時間中，第２時間中に判定不能状態と判定された場合に第１影響度，第２影響度を算出する影響度算出部１４と、第１時間及び第１影響度，第２時間及び第２影響度に基づいて開眼時間，閉眼時間を推定する時間推定部１５と、を備える。時間推定部１５は、第１，第２影響度が第１，第２閾値よりも小さい場合、第１時間を開眼時間として推定すると共に第２時間を閉眼時間として推定し、第１，第２影響度が第１，第２閾値以上である場合、第１時間を開眼時間として推定しないと共に第２時間を閉眼時間として推定しない。【選択図】図１

Description

本発明は、乗員状態認識装置に関する。

従来、乗員状態を認識する装置に関する技術として、使用者の認証を行うために、瞼の開度に基づいて開眼状態又は閉眼状態を判断する携帯型制御装置（例えば特許文献１）が知られている。

特許５９２２２１４号公報

当該技術分野において、瞼の開度に基づくドライバの眼の状態としては、開眼状態及び閉眼状態だけでなく、開眼状態か閉眼状態かを判定できない判定不能状態があり得る。判定不能状態の影響により、ドライバの眼の状態の判定結果に基づいて推定される開眼時間及び閉眼時間の推定精度が低下することがある。そこで、判定不能状態の影響によって推定精度が低い開眼時間及び閉眼時間が推定されることを回避することが望まれる。

そこで、本技術分野では、判定不能状態の影響によって推定精度が低い開眼時間及び閉眼時間が推定されることを回避することが望まれている。

上記課題を解決するため、本発明に係る乗員状態認識装置は、ドライバの眼の開眼時間及び閉眼時間を推定することで乗員状態を認識する乗員状態認識装置であって、ドライバモニタカメラの撮像情報に基づいて、ドライバの眼の開眼状態、閉眼状態、及び判定不能状態を判定する眼状態判定部と、眼状態判定部の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である第１時間を算出すると共に、閉眼状態となってから開眼状態となるまでの時間である第２時間を算出する時間算出部と、第１時間中に眼状態判定部により判定不能状態と判定された場合に、第１時間中の判定不能状態の時間に基づいて第１影響度を算出すると共に、第２時間中に眼状態判定部により判定不能状態と判定された場合に、第２時間中の判定不能状態の時間に基づいて第２影響度を算出する影響度算出部と、第１時間及び第１影響度に基づいて開眼時間を推定すると共に、第２時間及び第２影響度に基づいて閉眼時間を推定する時間推定部と、を備え、時間推定部は、第１影響度が第１閾値よりも小さい場合、第１時間を開眼時間として推定すると共に、第２影響度が所定の第２閾値よりも小さい場合、第２時間を閉眼時間として推定し、第１影響度が第１閾値以上である場合、第１時間を開眼時間として推定しないと共に、第２影響度が所定の第２閾値以上である場合、第２時間を閉眼時間として推定しない。

本発明によれば、判定不能状態の影響によって推定精度が低い開眼時間及び閉眼時間が推定されることを回避することが可能となる。

一実施形態の乗員状態認識装置を示すブロック図である。 乗員状態認識装置の動作例を示すタイミングチャートである。 乗員状態認識装置による演算処理を例示するフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、一実施形態の乗員状態認識装置を示すブロック図である。図１に示されるように、乗員状態認識装置１００は、ドライバの眼の開眼時間及び閉眼時間を推定することでドライバの状態（乗員状態）を認識する。乗員状態認識装置１００は、例えば、開眼時間及び閉眼時間の少なくとも何れか一方に基づいて、ドライバの覚醒度が低下していると判定される場合、ドライバに対して音声等で報知を行う。

［乗員状態認識装置１００の構成］
図１に示されるように、乗員状態認識装置１００は、ＥＣＵ［Electronic Control Unit］１０を備えている。ＥＣＵ１０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。

ＥＣＵ１０は、ドライバモニタカメラ１及びＨＭＩ［Human Machine Interface］２と接続されている。

ドライバモニタカメラ１は、例えば、車両のステアリングコラムのカバー上でドライバの正面の位置に設けられ、ドライバの撮像を行う。ドライバモニタカメラ１は、ドライバを複数方向から撮像するために複数設けられていてもよい。ドライバモニタカメラ１は、ドライバの撮像情報をＥＣＵ１０へ送信する。

ＨＭＩ２は、乗員状態認識装置１００とドライバとの間で情報の入出力を行うための車載のインターフェイスである。ここでのＨＭＩ２は、音声出力が可能なスピーカ等を含んでいる。ＨＭＩ２は、ＥＣＵ１０からの制御信号に応じて、スピーカからの音声出力を行う。

次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、瞼開度認識部１１、眼状態判定部１２、時間算出部１３、影響度算出部１４、時間推定部１５、及び報知制御部１６を有している。なお、以下に説明するＥＣＵ１０の機能の一部は、車両Ｖと通信可能なサーバにおいて実行される態様であってもよい。

なお、ここでの乗員状態認識装置１００は、「開眼時間の推定」及び「閉眼時間の推定」の両方を実施可能とされている。以下の説明では、「開眼時間の推定」についての説明と「閉眼時間の推定」についての説明とを併記している場合がある。

瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、ドライバの瞼の開度を認識する。瞼の開度とは、瞼の開き具合を表す指標であり、例えば瞼距離の割合とすることができる。瞼距離の割合とは、瞼開度認識部１１で算出した瞼距離と、瞼距離の最大値である最大瞼距離との割合を意味する。

瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、上瞼と下瞼との間の瞼距離を算出する。瞼開度認識部１１は、瞼距離として、例えば上瞼から下瞼までの３次元距離を算出する。上瞼から下瞼までの３次元距離とは、３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さに相当する。瞼開度認識部１１は、公知の手法により３次元距離を算出することができる。瞼開度認識部１１は、例えば、ドライバモニタカメラ１で撮像されたドライバの眼の目頭及び目尻に特徴点を設定し、特徴点を用いたパターンマッチング等の画像解析により、３次元顔モデル上での上瞼と下瞼とを認識する。瞼開度認識部１１は、認識した３次元顔モデル上での上瞼の中央部と下瞼の中央部とを結ぶ線分の長さを算出し、瞼距離として認識する。

瞼開度認識部１１は、算出した瞼距離に基づいて、最大瞼距離を算出する。瞼開度認識部１１は、例えば、所定の最大瞼距離取得期間において、算出した瞼距離のうち最大となる瞼距離を最大瞼距離として算出する。所定の最大瞼距離取得期間は、例えば、所定の乗換え判定から所定時間が経過するまでの期間であってもよい。乗換え判定とは、車両の運転席に着座するドライバが入れ替わった可能性があると瞼開度認識部１１により判定されたことを意味する。瞼開度認識部１１は、例えば、運転席のドアの開閉判定、運転席のドアのカーテシーランプの点滅判定、又は、運転席のシートベルトの着脱判定に基づいて、乗換え判定を行ってもよい。所定時間は、ドライバが複数回の瞬きできる程度の一般的な時間に相当し、例えば１５０秒とすることができる。

瞼開度認識部１１は、算出した瞼距離を最大瞼距離で除算することにより、瞼の開度を認識する。瞼の開度は、百分率で表され、例えば、算出した瞼距離が０％である（瞼が完全に閉じている）場合、瞼の開度は０となり、算出した瞼距離が最大瞼距離と等しい（瞼が完全に開いている）場合、瞼の開度は１００％となる。瞼の開度は、０〜１の割合で表されてもよい。

眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度に基づいて、ドライバの眼の状態を判定する。ドライバの眼の状態には、開眼状態、閉眼状態、及び判定不能状態が含まれる。

開眼状態は、ドライバの瞬きにより瞼が一定開度以上で開いている状態を意味する。具体的には、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が予め設定された開度閾値以上となる場合に、ドライバの眼が開眼状態であると判定する。開度閾値は、例えば、複数の被験者を対象とした事前試験により予め取得された瞼の開度の分布に基づいて、予め設定することができる。

閉眼状態は、ドライバの瞬き又は覚醒度の低下により瞼が一定開度未満となっている状態を意味する。具体的には、眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度が予め設定された開度閾値未満となる場合に、ドライバの眼が閉眼時間であると判定する。

判定不能状態は、例えば、ドライバモニタカメラ１が正常に機能しているにも関わらず、ドライバの眼そのものがドライバモニタカメラ１により撮像できていない状態を含む。この場合、眼状態判定部１２は、例えば、瞼開度認識部１１の認識処理において撮像画像中にドライバの眼が含まれていない場合、ドライバの眼が判定不能状態であると判定してもよい。この判定不能状態としては、例えば、ドライバの脇見動作又は飲食動作に伴ってドライバの顔が車両前方以外の方向を向く状況、及び、ドライバが手で眼をこする動作に伴ってドライバの眼が手で隠された状況等において、眼そのものが撮像できていない状態が含まれる。

また、判定不能状態は、ドライバの眼そのものがドライバモニタカメラ１により撮像できたにも関わらず、瞼開度認識部１１による瞼の開度の認識処理が不調となり、撮像情報に基づく瞼の開度の認識ができない状態を含む。この場合、眼状態判定部１２は、例えば、瞼開度認識部１１の認識処理において撮像画像中にドライバの眼が含まれているが瞼の開度を認識できない場合、ドライバの眼が判定不能状態であると判定してもよい。この判定不能状態としては、例えば、撮像画像中のノイズ等により、瞼の開度の認識ができない状態が含まれる。

眼状態判定部１２は、ドライバの眼の状態（開眼状態、閉眼状態、又は判定不能状態のいずれか）の判定結果を、当該判定結果の判定時刻と関連付けて記憶する。眼状態判定部１２は、当該判定結果を時系列のフラグ情報として記憶してもよい。

図２は、乗員状態認識装置１００の動作例を示すタイミングチャートである。図２において、横軸は時間を表しており、ｔ１〜ｔ１７はドライバの眼の状態の判定時刻を示している。縦軸はドライバの眼の状態を表しており、閉眼状態、開眼状態、及び判定不能状態のそれぞれをフラグ情報として示している。図２の例では、眼状態判定部１２により判定されたドライバの眼の状態の変化に応じて、ｔ１〜ｔ１７の各判定時刻において、閉眼状態、開眼状態、及び判定不能状態のフラグ情報が変化することが示されている。

時間算出部１３は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である第１時間を算出する。第１時間は、開眼時間を推定するための候補となる時間である。開眼時間とは、ドライバの瞬きにより瞼が一定開度以上で開いている状態の継続時間を意味する。第１時間の起点は、ドライバの眼が開眼状態となった判定時刻であり、具体的には、眼状態判定部１２の判定結果が閉眼状態から開眼状態に変化した判定時刻、又は、判定不能状態から開眼状態に変化した判定時刻とすることができる。第１時間の終点は、ドライバの眼が閉眼状態となった判定時刻であり、具体的には、当該第１時間の起点以後において眼状態判定部１２の判定結果が開眼状態から閉眼状態に変化した判定時刻、又は、当該第１時間の起点以後において眼状態判定部１２の判定結果が判定不能状態から閉眼状態に変化した判定時刻とすることができる。

図２の例では、時間算出部１３は、第１時間として、ｔ２〜ｔ３の時間、ｔ６〜ｔ９の時間、ｔ１０〜ｔ１２の時間、及びｔ１４〜ｔ１７の時間を算出する。時間算出部１３は、算出した第１時間を記憶する。

一方、時間算出部１３は、眼状態判定部１２の判定結果に基づいて、閉眼状態となってから開眼状態となるまでの時間である第２時間を算出する。第２時間は、閉眼時間を推定するための候補となる時間である。閉眼時間とは、ドライバの瞬き又は覚醒度の低下により瞼が一定開度未満となっている状態の継続時間を意味する。第２時間の起点は、ドライバの眼が閉眼状態となった判定時刻であり、具体的には、眼状態判定部１２の判定結果が開眼状態から閉眼状態に変化した判定時刻、又は、判定不能状態から閉眼状態に変化した判定時刻とすることができる。第２時間の終点は、ドライバの眼が閉眼状態となった判定時刻であり、具体的には、当該第２時間の起点以後において眼状態判定部１２の判定結果が閉眼状態から開眼状態に変化した判定時刻、又は、当該第２時間の起点以後において眼状態判定部１２の判定結果が判定不能状態から開眼状態に変化した判定時刻とすることができる。

図２の例では、時間算出部１３は、第２時間として、ｔ１〜ｔ２の時間、ｔ３〜ｔ６の時間、ｔ９〜ｔ１０の時間、及びｔ１２〜ｔ１４の時間を算出する。時間算出部１３は、算出した第２時間を記憶する。

ここで、時間算出部１３が算出した第１時間及び第２時間には、ドライバの眼が判定不能状態となっている時間が含まれていることがある。時間算出部１３は、眼状態判定部１２の判定結果に基づいて、第１時間中の判定不能状態の時間である第３時間、及び、第２時間中の判定不能状態の時間である第４時間を算出する。図２の例では、時間算出部１３は、第３時間として、ｔ７〜ｔ８の時間、ｔ１１〜ｔ１２の時間、及びｔ１５〜ｔ１６の時間を算出する。時間算出部１３は、第４時間として、ｔ４〜ｔ５の時間及びｔ１３〜ｔ１４の時間を算出する。時間算出部１３は、算出した第３時間及び第４時間を記憶する。

影響度算出部１４は、第１時間中に眼状態判定部１２により判定不能状態と判定された場合に、第３時間に基づいて第１影響度を算出する。第１影響度は、第１時間中の判定不能状態により、当該第１時間に基づく開眼時間の推定精度が低下させられるリスクの度合いを表す指標である。例えば、第１時間中の判定不能状態においてドライバが実際には瞬きをして閉眼状態となっていた場合、当該第１時間に基づく開眼時間の推定精度は、低下させられる。開眼時間の推定精度の低下は、特に、開眼時間（瞬きの時間間隔）に基づくドライバの覚醒度の低下の判定に影響を及ぼすおそれがある。

影響度算出部１４は、一例として、第１影響度を下記式（１）に従って算出する。
第１影響度＝第３時間／第１時間 ・・・（１）

上記式（１）に示されるように、第１影響度が大きくなるほど、開眼時間を推定するための候補となる時間（第１時間）のうち判定不能状態の時間（第３時間）の占める割合が大きくなる。そのため、開眼時間の推定精度が低下させられる可能性が高くなる。

一方、影響度算出部１４は、第２時間中に眼状態判定部１２により判定不能状態と判定された場合に、第４時間に基づいて第２影響度を算出する。第２影響度は、第２時間中の判定不能状態により、当該第２時間に基づく閉眼時間の推定精度が低下させられるリスクの度合いを表す指標である。例えば、第２時間中の判定不能状態においてドライバが実際には瞬きをして開眼状態となっていた場合、当該第２時間に基づく閉眼時間の推定精度は、低下させられる。

影響度算出部１４は、一例として、第２影響度を下記式（２）に従って算出する。
第２影響度＝第４時間／第２時間 ・・・（２）

第２影響度が大きくなるほど、閉眼時間を推定するための候補となる時間（第２時間）のうち判定不能状態の時間（第４時間）の占める割合が大きくなる。そのため、閉眼時間の推定精度が低下させられる可能性が高くなる。

なお、影響度算出部１４は、第１時間中に眼状態判定部１２により判定不能状態と判定されない場合には、第３時間が０であるとして第１影響度を算出する。この場合、影響度算出部１４は、第１影響度を０として算出する。また、影響度算出部１４は、第２時間中に眼状態判定部１２により判定不能状態と判定されない場合には、第４時間が０であるとして第２影響度を算出する。この場合、影響度算出部１４は、第２影響度を０として算出する。

時間推定部１５は、第１影響度が第１閾値よりも小さい場合、第１時間を開眼時間として推定する。第１閾値は、第１時間を開眼時間として推定するか否かを判定するための第１影響度の閾値である。第１閾値は、第１時間のうち第３時間の占める割合が、開眼時間の推定精度を低下させない程度であるとして、例えば０％〜２５％であってもよく、例えば２０％とすることができる。

図２の例では、ｔ２〜ｔ３の第１時間については、第１時間中の判定不能状態の時間である第３時間がないため、第１影響度が第１閾値よりも小さい。よって、時間推定部１５は、ｔ２〜ｔ３の第１時間を開眼時間Ｔ_ＯＰ１として推定する。ｔ６〜ｔ９の第１時間については、第３時間がｔ７〜ｔ８の時間であるため第１影響度が第１閾値よりも小さい。よって、時間推定部１５は、ｔ６〜ｔ９の第１時間を開眼時間Ｔ_ＯＰ２として推定する。ｔ１４〜ｔ１７の第１時間については、第３時間がｔ１５〜ｔ１６の時間であるため第１影響度が第１閾値よりも小さい。よって、時間推定部１５は、ｔ１４〜ｔ１７の第１時間を開眼時間Ｔ_ＯＰ３として推定する。

時間推定部１５は、第１影響度が第１閾値以上である場合、第１時間を開眼時間として推定しない。図２の例では、ｔ１０〜ｔ１２の第１時間については、第３時間がｔ１１〜ｔ１２の時間であるため第１影響度が第１閾値以上である。よって、時間推定部１５は、ｔ１０〜ｔ１２の第１時間を開眼時間として推定しない。

一方、時間推定部１５は、第２影響度が第２閾値よりも小さい場合、第２時間を閉眼時間として推定する。第２閾値は、第２時間を閉眼時間として推定するか否かを判定するための第２影響度の閾値である。第２閾値は、第２時間のうち第４時間の占める割合が、閉眼時間の推定精度を低下させない程度であるとして、例えば０％〜２５％であってもよく、例えば２０％とすることができる。

図２の例では、ｔ１〜ｔ２の第２時間については、第２時間中の判定不能状態の時間である第４時間がないため、第２影響度が第２閾値よりも小さい。よって、時間推定部１５は、ｔ１〜ｔ２の第２時間を閉眼時間Ｔ_ＣＬ１として推定する。ｔ３〜ｔ６の第２時間については、第４時間がｔ４〜ｔ５の時間であるため第２影響度が第２閾値よりも小さい。よって、時間推定部１５は、ｔ３〜ｔ６の第２時間を閉眼時間Ｔ_ＣＬ２として推定する。ｔ９〜ｔ１０の第２時間については、第４時間がないため、第２影響度が第２閾値よりも小さい。よって、時間推定部１５は、ｔ９〜ｔ１０の第２時間を閉眼時間Ｔ_ＣＬ３として推定する。

時間推定部１５は、第２影響度が第２閾値以上である場合、第２時間を閉眼時間として推定しない。図２の例では、ｔ１２〜ｔ１４の第２時間については、第４時間がｔ１３〜ｔ１４の時間であるため第２影響度が第２閾値以上である。よって、時間推定部１５は、ｔ１２〜ｔ１４の第２時間を閉眼時間として推定しない。

報知制御部１６は、時間推定部１５の推定結果に基づいて、ドライバへの報知を制御する。報知制御部１６は、例えば、時間推定部１５により推定された開眼時間に基づいて瞬きの時間間隔を算出し、瞬きの時間間隔が所定の瞬き間隔閾値未満となった場合、ドライバの覚醒度が低下していると判定する。報知制御部１６は、ドライバの覚醒度が低下していると判定した場合、例えばドライバへの音声等で「お疲れですか？」等の報知を行うことで、休息を取ることをドライバに働きかける。

［乗員状態認識装置１００による演算処理の一例］
次に、乗員状態認識装置１００による演算処理の一例について説明する。図３は、乗員状態認識装置１００による演算処理を例示するフローチャートである。図３に示されるフローチャートの処理は、例えば、乗員状態認識装置１００を備える車両の走行中に実行される。

Ｓ１において、乗員状態認識装置１００のＥＣＵ１０は、瞼開度認識部１１により、瞼の開度の認識を行う。瞼開度認識部１１は、ドライバモニタカメラ１の撮像情報に基づいて、瞼の開度を認識する。

Ｓ２において、ＥＣＵ１０は、眼状態判定部１２により、ドライバの眼の状態の判定を行う。眼状態判定部１２は、瞼開度認識部１１により認識された瞼の開度に基づいて、ドライバの眼の状態として、開眼状態、閉眼状態、及び判定不能状態を判定する。

Ｓ３において、ＥＣＵ１０は、時間算出部１３により、第１時間及び第２時間の算出を行う。時間算出部１３は、眼状態判定部１２の判定結果に基づいて、開眼状態となってから閉眼状態となるまでの時間である第１時間を算出する共に、閉眼状態となってから開眼状態となるまでの時間である第２時間を算出する。

Ｓ４において、ＥＣＵ１０は、影響度算出部１４により、第１影響度及び第２影響度の算出を行う。影響度算出部１４は、第１時間中に眼状態判定部１２により判定不能状態と判定された場合に、第３時間に基づいて第１影響度を算出する。影響度算出部１４は、第１時間中に眼状態判定部１２により判定不能状態と判定されない場合には、第３時間が０であるとして第１影響度を算出する。

また、Ｓ４において、影響度算出部１４は、第２時間中に眼状態判定部１２により判定不能状態と判定された場合に、第４時間に基づいて第２影響度を算出する。影響度算出部１４は、第２時間中に眼状態判定部１２により判定不能状態と判定されない場合には、第４時間が０であるとして第２影響度を算出する。

Ｓ５において、ＥＣＵ１０は、時間推定部１５により、第１影響度が第１閾値よりも小さいか否かの判定を行う。時間推定部１５は、第１影響度が第１閾値よりも小さいと判定した場合（Ｓ５：ＹＥＳ）、Ｓ６において、第１時間を開眼時間として推定する。時間推定部１５は、第１影響度が第１閾値以上であると判定した場合（Ｓ５：ＮＯ）、第１時間を開眼時間として推定しない。その後、ＥＣＵ１０は、Ｓ７の処理に移行する。

Ｓ７において、ＥＣＵ１０は、時間推定部１５により、第２影響度が第２閾値よりも小さいか否かの判定を行う。時間推定部１５は、第２影響度が第２閾値よりも小さいと判定した場合（Ｓ７：ＹＥＳ）、Ｓ８において、第２時間を閉眼時間として推定する。時間推定部１５は、第２影響度が第２閾値以上であると判定した場合（Ｓ７：ＮＯ）、第２時間を閉眼時間として推定しない。その後、ＥＣＵ１０は、図３の演算処理を終了する。

［乗員状態認識装置の作用効果］
以上説明した乗員状態認識装置１００によれば、第１時間中に眼状態判定部１２により判定不能状態と判定された場合に、影響度算出部１４により、第１時間中の判定不能状態の時間に基づいて第１影響度が算出される。第１影響度が第１閾値よりも小さい場合、時間推定部１５により、第１時間が開眼時間として推定される。ここで、例えば第１時間中の判定不能状態においてドライバが実際には瞬きをして閉眼状態となっていた場合には、当該第１時間に基づく開眼時間の推定精度は、低下させられる。この点、乗員状態認識装置１００によれば、第１時間中の判定不能状態により当該第１時間に基づく開眼時間の推定精度が低下させられるリスクが大きい状況において第１影響度が第１閾値以上となることで、第１時間が開眼時間として推定されなくなる。よって、推定精度が低い開眼時間が推定されることを回避することができる。また、閉眼時間の推定についても、第２影響度が第２閾値以上となる場合の第２時間は、閉眼時間として推定されなくなるため、推定精度が低い閉眼時間が推定されることを回避することができる。したがって、乗員状態認識装置１００によれば、判定不能状態の影響によって推定精度が低い開眼時間及び閉眼時間が推定されることを回避することができる。

［変形例］
本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

上記実施形態では、時間推定部１５は、開眼時間と閉眼時間との両方を推定したが、開眼時間と閉眼時間との何れか一方を推定してもよい。この場合において、例えば時間推定部１５が開眼時間を推定しない場合、時間算出部１３は、第１時間及び第３時間の算出を省略してもよく、時間推定部１５が閉眼時間を推定しない場合、時間算出部１３は、第２時間及び第４時間の算出を省略してもよい。

上記実施形態では、瞼開度認識部１１は、瞼の開度を認識するために、上瞼から下瞼までの３次元距離を瞼距離として算出したが、これに限定されない。例えば、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像上における上瞼から下瞼までの距離を瞼距離として算出してもよい。あるいは、瞼開度認識部１１は、ドライバモニタカメラ１で撮像されたドライバの眼の撮像画像における白目部分と黒目部分との面積比率を算出し、当該面積比率を瞼の開度として認識してもよい。

上記実施形態では、瞼の開度として、瞼開度認識部１１で算出した瞼距離と、瞼距離の最大値である最大瞼距離との割合を例示したが、瞼開度認識部１１で算出した瞼距離を、そのまま瞼の開度として用いてもよい。

上記実施形態では、報知制御部１６は、ドライバの覚醒度が低下していると判定した場合、ドライバへ音声での報知を行ったが、例えばシート等を振動させることでドライバへの報知を行ってもよいし、必ずしもドライバへの報知を行わなくてもよい。

上記実施形態では、第１影響度及び第２影響度として、上記式（１）及び（２）に示すものを例示したが、第１影響度及び第２影響度は、これに限定されるものではない。例えば、第１影響度は、判定不能状態の継続時間（第３時間の長さ）で表されてもよいし、第１時間中に判定不能状態が継続している場合の第１時間の起点からの経過時間で表されてもよい。また、第２影響度は、判定不能状態の継続時間（第４時間の長さ）で表されてもよいし、第２時間中に判定不能状態が継続している場合の第２時間の起点からの経過時間で表されてもよい。

上記実施形態では、第１時間の起点（開眼状態となった時点）として、眼状態判定部１２の判定結果が閉眼状態から開眼状態に変化した判定時刻、又は、判定不能状態から開眼状態に変化した判定時刻を例示したが、例えば、眼状態判定部１２の判定結果が閉眼状態から判定不能状態に変化した判定時刻を第１時間の起点として用いてもよい。あるいは、眼状態判定部１２の判定結果が開眼状態から判定不能状態に変化した判定時刻を第２時間の起点として用いてもよい。

１…ドライバモニタカメラ、２…ＨＭＩ、１０…ＥＣＵ、１１…瞼開度認識部、１２…眼状態判定部、１３…時間算出部、１４…影響度算出部、１５…時間推定部、１６…報知制御部、１００…乗員状態認識装置、Ｖ…車両。

Claims (1)

1. ドライバの眼の開眼時間及び閉眼時間を推定することで乗員状態を認識する乗員状態認識装置であって、
   ドライバモニタカメラの撮像情報に基づいて、前記ドライバの眼の開眼状態、閉眼状態、及び判定不能状態を判定する眼状態判定部と、
   前記眼状態判定部の判定結果に基づいて、前記開眼状態となってから前記閉眼状態となるまでの時間である第１時間を算出すると共に、前記閉眼状態となってから前記開眼状態となるまでの時間である第２時間を算出する時間算出部と、
   前記第１時間中に前記眼状態判定部により前記判定不能状態と判定された場合に、前記第１時間中の前記判定不能状態の時間に基づいて第１影響度を算出すると共に、前記第２時間中に前記眼状態判定部により前記判定不能状態と判定された場合に、前記第２時間中の前記判定不能状態の時間に基づいて第２影響度を算出する影響度算出部と、
   前記第１時間及び前記第１影響度に基づいて前記開眼時間を推定すると共に、前記第２時間及び前記第２影響度に基づいて前記閉眼時間を推定する時間推定部と、を備え、
   前記時間推定部は、
   前記第１影響度が第１閾値よりも小さい場合、前記第１時間を前記開眼時間として推定すると共に、前記第２影響度が所定の第２閾値よりも小さい場合、前記第２時間を前記閉眼時間として推定し、
   前記第１影響度が第１閾値以上である場合、前記第１時間を前記開眼時間として推定しないと共に、前記第２影響度が所定の第２閾値以上である場合、前記第２時間を前記閉眼時間として推定しない、乗員状態認識装置。

Images