JP2017076180A

JP2017076180A - 状態判定装置

Info

Publication number: JP2017076180A
Application number: JP2015202096A
Authority: JP
Inventors: 明今西; Akira Imanishi
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2015-10-13
Filing date: 2015-10-13
Publication date: 2017-04-20

Abstract

【課題】運転者が車両の計器盤を視認しているか否かを判定することができる状態判定装置を提供する。【解決手段】状態判定装置は、走行中の車両１の運転者３０の眼球３１を含む領域を撮影して画像を生成する撮像部１１と、画像に基づいて運転者３０の開眼度を算出する算出部と、開眼度に基づいて、運転者３０が、車両１に設置された計器盤２２を運転者３０が視認する計器盤視認状態にあるか否かを判定する判定部と、を有する。【選択図】図１

Description

本発明は、車両の運転者の眼球を含む領域を撮影して生成した画像に基づいて運転者の状態を判定する状態判定装置に関する。

従来、車両の運転者の状態を検出する方法として、撮像部を用いて運転者を撮影して画像を生成し、画像に基づいて運転者の状態を判定する方法が知られている。例えば、特許文献１には、画像における運転者の眼の瞳孔中心点及び角膜反射点に基づいて運転者の視線方向を算出し、運転者が視認している領域を推測して、運転者の状態を判定する方法が開示されている。

特開２００２−３３１８５０号公報

運転者が高い注意力を有する状態にある場合、運転者は、一定の頻度で計器盤を視認する。従って、運転者が計器盤を視認しているか否かを判定することは、運転者の状態を判定する上で有用である。計器盤は、運転中の運転者がフロントガラスを介して前方を視認する際の視線方向よりも下方に配置されている。従って、運転者が計器盤を視認する時の瞼の位置は、運転者が前方を視認する時の瞼の位置よりも低くなる。この結果、運転者の眼の瞳孔中心点及び角膜反射点が瞼で隠れると、特許文献１に記載された方法によっては、運転者の視線方向を算出することができず、運転者が計器盤を視認しているか否かを判定することができない。

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者が車両の計器盤を視認しているか否かを判定することができる状態判定装置を提供することを目的とする。

本発明の態様においては、走行中の車両の運転者の眼球を含む領域を撮影して画像を生成する撮像部と、前記画像に基づいて前記運転者の開眼度を算出する算出部と、前記開眼度に基づいて、前記運転者が、前記車両に設置された計器盤を前記運転者が視認する計器盤視認状態にあるか否かを判定する判定部と、を有する、状態判定装置を提供する。

前記判定部は、前記開眼度が所定の第１閾値以下である状態の継続期間が所定の判定期間以上である場合に、前記運転者の状態を前記計器盤視認状態と判定してもよい。

前記判定部は、前記開眼度が所定の第１閾値以下である状態の継続期間が所定の判定期間以上である場合、前記継続期間の間の前記開眼度が前記第１閾値よりも小さい第２閾値以上である時は、前記運転者の状態を前記計器盤視認状態と判定し、前記継続期間の間の前記開眼度が前記第２閾値未満である時は、前記運転者の状態を閉眼状態と判定してもよい。

前記判定部は、前記開眼度が前記第１閾値以下である状態の継続期間が前記判定期間未満である場合、前記運転者の状態を瞬目状態と判定してもよい。

前記算出部は、前記運転者が前記計器盤視認状態にあるか否かを前記判定部が判定する前の所定の期間内の、前記画像における前記運転者の前記眼球の面積を基準面積として算出し、所定のタイミングで前記撮像部が撮像した前記画像における前記眼球の面積の、前記基準面積に対する比率に基づいて前記開眼度を算出してもよい。

本発明によれば、運転者が車両の計器盤を視認しているか否かを判定することができる。

実施形態に係る車両の内部を側方から見た状態の模式図である。実施形態に係る車両の構成を示すブロック図である。画像における運転者の眼球の例を示す図である。開眼度及び閉眼情報の変化の様子を示す図である。実施形態に係る状態測定装置の動作を示すフローチャートである。

［車両の構成］
図１は、本実施形態に係る車両１の内部を側方から見た状態の模式図である。また、図２は、本実施形態に係る車両１に搭載された状態判定装置１０及び表示装置２１の構成を示すブロック図である。車両１は、例えば、バス、トラックなどの商用車である。車両１は、状態判定装置１０、表示装置２１、及び計器盤２２を備えている。

表示装置２１は、例えば、車両１のダッシュボードに設置されたディスプレイを含んでいる。計器盤２２は、例えば、車両１のダッシュボードに設置されたスピードメーター、タコメーターなどを含んでいる。

計器盤２２は、運転中の運転者３０がフロントガラスを介して前方を視認する際の視線方向よりも下方に配置されている。従って、運転者３０が計器盤２２を視認する時の瞼の位置は、運転者３０が前方を視認する時の瞼の位置よりも低くなる。

状態判定装置１０は、運転者３０が計器盤２２を視認する際に、前方を視認する時よりも瞼の位置が低くなることに基づいて、運転者３０が計器盤２２を視認しているか否かを判定する。具体的には、まず、状態判定装置１０は、走行中の車両１の運転者３０の眼球３１を含む領域を撮影して生成した画像に基づいて、走行中の車両１の運転者３０の開眼度を算出する。開眼度とは、画像における運転者３０の眼球３１の面積の、所定の基準面積に対する比率である。続いて、状態判定装置１０は、算出した開眼度に基づいて、瞼の位置が、前方を視認する時の位置であるか、計器盤２２を視認する時の位置であるかを判定する。

［状態判定装置１０の構成］
以下、状態判定装置１０の構成について説明する。状態判定装置１０は、撮像部１１、算出部１２、判定部１３及び出力制御部１４を有している。

撮像部１１は、例えば、車両１のダッシュボードに設置されたＣＣＤカメラを含んでいる。撮像部１１は、所定のサンプリング周期で（例えば１分間に１８００回）、走行中の車両１の運転者３０の眼球３１を含む領域を撮影して画像を生成する。撮像部１１は、生成した画像を算出部１２に対して出力する。

算出部１２は、撮像部１１から入力された画像に基づいて、運転者３０の開眼度を算出する。図３は、算出部１２が開眼度を算出する方法を説明するための図である。図３（ａ）は、開眼度が約１００％である場合の、画像に映る運転者３０の眼の一例を示し、図３（ｂ）は、開眼度が約５０％である場合の、画像に映る運転者３０の眼の一例を示す。

はじめに、算出部１２は、画像における運転者３０の上瞼３２の縁３２１及び下瞼３３の縁３３１を特定する。続いて、算出部１２は、上瞼３２の縁３２１と下瞼３３の縁３３１とによって囲まれた領域の面積を、画像における眼球３１の面積（黒目の面積及び白目の面積）として算出する。続いて、算出部１２は、画像における眼球３１の面積の、所定の基準面積に対する比率を計算して、運転者３０の開眼度を算出する。

算出部１２は、例えば、運転者３０ごとに個別に算出された基準面積を用いる。例えば、算出部１２は、所定のキャリブレーション期間内に撮像部１１が撮像した複数の画像における運転者３０の眼球３１の面積の平均値を算出し、算出した平均値を、基準面積としてメモリ（不図示）に記憶させる。算出部１２は、キャリブレーション期間が終了した後に、メモリに記憶させた基準面積を用いて開眼度を算出する。キャリブレーション期間は、状態判定装置１０が、運転者３０が計器盤２２を視認している状態（以下、計器盤視認状態という）にあるか否かの判定を開始する前の期間であり、例えば、車両１が走行を開始してから所定の時間（例えば１分間）が経過するまでの期間である。

判定部１３は、算出部１２が算出した開眼度に基づいて、運転者３０が計器盤視認状態にあるか否かを判定する。具体的には、判定部１３は、はじめに、算出部１２が算出した開眼度が所定の第１閾値以下であるか否かを判定する。例えば、判定部１３は、開眼度が第１閾値以下である場合に「１」となり、開眼度が第１閾値を超える場合に「０」となる閉眼情報を生成する。

図４は、開眼度と閉眼情報との関係を示す図である。図４（ａ）は、時間の経過に伴う開眼度の変化の様子を示しており、図４（ｂ）は、図４（ａ）に示す開眼度に基づいて生成された閉眼情報の変化の様子を示している。

判定部１３は、閉眼情報に基づいて、開眼度が第１閾値以下である状態の継続期間Ｔが所定の判定期間以上であるか否かを判定する。継続期間Ｔは、開眼度が第１閾値以下になった後、開眼度が第１閾値を超えるまでの期間である。判定部１３は、継続期間Ｔが判定期間以上である場合、運転者３０の状態を計器盤視認状態と判定する。また、判定部１３は、継続期間Ｔが判定期間未満である場合、運転者３０の状態を瞬目状態と判定する。瞬目状態は、運転者３０が瞬きしたことを示す状態である。

図４（ｂ）に示す閉眼情報における、符号Ｂが付されたピークは、閉眼情報が「１」の状態の継続期間Ｔが判定期間未満であり、運転者３０の状態が瞬目状態であったことを示している。図４（ｂ）に示す閉眼情報における符号Ｂが付されていないピークは、運転者３０の状態が計器盤視認状態であったことを示している。

判定部１３は、所定期間の間に運転者３０の状態が計器盤視認状態になる頻度（以下、計器盤視認頻度という）を算出し、計器盤視認頻度が所定値よりも低い場合に、出力制御部１４を介して、警報情報を表示装置２１に出力してもよい。計器盤視認頻度は、例えば、所定期間の間に、運転者３０の状態が、計器盤２２を視認していない状態から計器盤２２を視認している状態になった回数である。計器盤視認頻度は、所定期間の間に運転者３０の状態が計器盤視認状態であった期間の積算値であってもよい。このようにすることで、状態判定装置１０は、運転者３０の安全運転に対する注意力、若しくは法定速度を順守することに対する注意力を高めることができる。

出力制御部１４は、計器盤視認頻度など、運転者３０の計器盤視認状態に関する情報を、所定のタイミングで表示装置２１に表示させる。また、出力制御部１４は、計器盤視認頻度の値が所定値よりも小さい場合、運転者３０に計器盤２２の視認をさらに促すメッセージを表示装置２１に表示させてもよい。また、出力制御部１４は、計器盤視認頻度の値が所定値以上である場合、運転者３０を褒めるメッセージをディスプレイに表示してもよい。また、出力制御部１４は、運転者３０の計器盤視認頻度が所定値よりも低い場合、スピーカーなどの音声出力装置に警報を出力させてもよい。

［状態判定装置１０の動作］
次に、状態判定装置１０の動作について、図５を参照して説明する。図５は、状態判定装置１０の動作を示すフローチャートである。

撮像部１１は、状態判定装置１０が基準面積を取得した後、所定のタイミングで周期的に、運転者３０の眼球３１を含む領域を撮影して画像を生成する（Ｓ１１）。続いて、算出部１２は、画像における運転者３０の眼球３１の面積を特定する（Ｓ１２）。続いて、算出部１２は、画像における眼球３１の面積の、所定の基準面積に対する比率を計算して、運転者３０の開眼度を算出する（Ｓ１３）。

続いて、判定部１３は、開眼度が第１閾値以下であるか否かを判定する（Ｓ１４）。第１閾値は、例えば５０％である。判定部１３は、開眼度が第１閾値を超える場合（Ｓ１４においてＮＯ）、運転者３０の状態を開眼状態と判定する（Ｓ１５）。一方、判定部１３は、開眼度が第１閾値以下である場合（Ｓ１４においてＹＥＳ）、開眼度が第１閾値以下である状態の継続期間Ｔの長さを測定する（Ｓ１６）。継続期間Ｔが所定の判定期間以上であった場合（Ｓ１７においてＹＥＳ）、判定部１３は、運転者３０の状態を計器盤視認状態と判定する（Ｓ１８）。継続期間Ｔが判定期間未満であった場合（Ｓ１７においてＮＯ）、判定部１３は、運転者３０の状態を瞬目状態と判定する（Ｓ１９）。

状態判定装置１０は、上述の処理Ｓ１１〜Ｓ１９に示す、運転者３０の状態が計器盤視認状態であるか否かの判定を、車両１の走行中に繰り返し実施して、判定結果をメモリに記憶させる。判定部１３は、記憶された計器盤視認状態に関する情報に基づいて、運転者３０が計器盤２２を視認する頻度を示す計器盤視認頻度を算出する。出力制御部１４は、計器盤視認頻度が所定値よりも小さい場合、音声出力装置に警報を出力させる。

［本実施形態による状態判定装置１０の効果］
本実施形態によれば、状態判定装置１０は、走行中の車両１の運転者３０の眼球３１を含む領域を撮影して生成した画像に基づいて、走行中の車両１の運転者３０の開眼度を算出し、開眼度に基づいて、運転者３０が計器盤視認状態にあるか否かを判定する。このため、状態判定装置１０は、視線方向を検出することが困難な場合であっても、運転者３０が計器盤視認状態にあるか否かを判定することができる。

また、本実施形態によれば、算出部１２は、画像における運転者３０の眼球３１の基準面積を、所定のキャリブレーション期間内に撮像部１１が撮像した画像における運転者３０の眼球３１の面積に基づいて算出する。このため、画像に映る運転者３０の眼球３１の面積の個人差などに依存して、算出する開眼度の値が変動することを抑制することができるので、運転者３０が計器盤視認状態にあるか否かをより正確に判定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。以下、本発明の実施の形態の変形例を示す。

［変形例］
上述の本実施形態においては、判定部１３が、開眼度が第１閾値以下である状態の継続期間Ｔが判定期間以上である場合に、運転者３０の状態を計器盤視認状態と判定する例を示した。本変形例においては、開眼度が第１閾値以下である状態の継続期間Ｔが判定期間以上である場合、継続期間Ｔの間の開眼度に基づいて、運転者３０の状態を計器盤視認状又は閉眼状態のいずれかに判定する。

例えば、判定部１３は、開眼度が第１閾値以下である状態の継続期間Ｔが判定期間以上である場合、継続期間Ｔの間の開眼度の平均値を算出する。続いて、判定部１３は、継続期間Ｔの間の開眼度の平均値が、第１閾値よりも小さい第２閾値以上であるか否かを判定する。第１閾値が５０％である場合、第２閾値は、例えば２０％である。判定部１３は、継続期間Ｔの間の開眼度の平均値が第２閾値以上、かつ第１閾値以下である場合、運転者３０の状態を計器盤視認状態と判定する。一方、判定部１３は、継続期間Ｔの間の開眼度の平均値が第２閾値未満である場合、運転者３０の状態を閉眼状態と判定する。

判定部１３が運転者３０の状態を閉眼状態と判定した場合、運転者３０が居眠り運転をしている、又は居眠り運転をしかけている可能性が高い。出力制御部１４は、判定部１３が運転者３０の状態を閉眼状態と判定した場合スピーカーなどの音声出力装置に警報を出力させる。これによって、運転者３０の居眠り運転を防ぐことができる。

１車両
１０状態判定装置
１１撮像部
１２算出部
１３判定部
１４出力制御部
２１表示装置
２２計器盤
３０運転者
３１眼球
３２上瞼
３３下瞼

Claims

走行中の車両の運転者の眼球を含む領域を撮影して画像を生成する撮像部と、
前記画像に基づいて前記運転者の開眼度を算出する算出部と、
前記開眼度に基づいて、前記運転者が、前記車両に設置された計器盤を前記運転者が視認する計器盤視認状態にあるか否かを判定する判定部と、
を有する、状態判定装置。
前記判定部は、前記開眼度が所定の第１閾値以下である状態の継続期間が所定の判定期間以上である場合に、前記運転者の状態を前記計器盤視認状態と判定する、請求項１に記載の状態判定装置。
前記判定部は、前記開眼度が所定の第１閾値以下である状態の継続期間が所定の判定期間以上である場合、前記継続期間の間の前記開眼度が前記第１閾値よりも小さい第２閾値以上である時は、前記運転者の状態を前記計器盤視認状態と判定し、前記継続期間の間の前記開眼度が前記第２閾値未満である時は、前記運転者の状態を閉眼状態と判定する、請求項１に記載の状態判定装置。
前記判定部は、前記開眼度が前記第１閾値以下である状態の継続期間が前記判定期間未満である場合、前記運転者の状態を瞬目状態と判定する、請求項２又は３に記載の状態判定装置。
前記算出部は、前記運転者が前記計器盤視認状態にあるか否かを前記判定部が判定する前の所定の期間内の、前記画像における前記運転者の前記眼球の面積を基準面積として算出し、所定のタイミングで前記撮像部が撮像した前記画像における前記眼球の面積の、前記基準面積に対する比率に基づいて前記開眼度を算出する、請求項１から４のいずれか１項に記載の状態判定装置。