JP2011164712A

JP2011164712A - 脇見警報装置

Info

Publication number: JP2011164712A
Application number: JP2010023531A
Authority: JP
Inventors: Akio Takahashi; 昭夫高橋; Shinsuke Ueda; 信介植田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-02-04
Filing date: 2010-02-04
Publication date: 2011-08-25
Anticipated expiration: 2030-02-04
Also published as: JP5576134B2

Abstract

【課題】運転者の脇見状態の詳細に応じた適切な警報を行なう。
【解決手段】脇見警報装置１０は、運転者の注視あるいは脇見が、視線方向のみに拠る状態（視線注視）であるか、顔向き方向に拠る状態（顔向き注視）であるかを判定する注視判定部２３及び脇見判定部２５を備える。注視判定部２３は、視線方向又は顔向き方向が記憶部２４に記憶された注視方向領域内に注視判定時間に亘って含まれる場合に、運転者が特定対象物を注視する状態であると判定する。脇見判定部２５は、視線方向又は顔向き方向が、記憶部２４に記憶された脇見方向領域内に脇見判定時間に亘って含まれる場合に、運転者が脇見状態であると判定する。顔向き注視での注視判定時間及び脇見判定時間は、視線注視での注視判定時間及び脇見判定時間よりも短く設定されている。
【選択図】図１

Description

本発明は、脇見警報装置に関する。

従来、例えば運転者の顔向き角度または視線方向、あるいは、運転者の顔向き角度および視線方向に基づき、運転者が非正面状態であるか否かを判定し、この非正面状態が継続される時間に基づき、脇見に対する警報出力のタイミングや自動的な走行制御の実行タイミングを変更する（早める）装置が知られている（例えば、特許文献１参照）。

特開２００７−７２５７０号公報

ところで、上記従来技術に係る装置によれば、単に、運転者の顔向き角度または視線方向が前方を向いているか否か、あるいは、運転者の顔向き角度および視線方向が前方を向いているか否かに応じて、正面状態であるか、あるいは、非正面状態（脇見状態）であるかを一律に判定するだけであり、運転者の脇見状態の詳細に応じた適切な警報を行なうことができないという問題が生じる。

本発明は上記事情に鑑みてなされたもので、運転者の脇見状態の詳細に応じた適切な警報を行なうことが可能な脇見警報装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る脇見警報装置は、運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、該撮像手段から出力された前記顔画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段（例えば、実施の形態での視線方向検出部２１）と、前記撮像手段から出力された前記顔画像に基づき前記運転者の顔向き方向を検知して検知結果を出力する顔向き検知手段（例えば、実施の形態での顔向き検知部２２）と、前記視線方向および前記顔向き方向に対して設定された所定の脇見方向領域を記憶する記憶手段（例えば、実施の形態での記憶部２４）と、前記視線方向検出手段から出力された前記検出結果の前記視線方向または前記顔向き検知手段から出力された前記検知結果の前記顔向き方向が、前記記憶手段に記憶された前記脇見方向領域内に所定時間に亘って継続して含まれる場合に、前記運転者が脇見状態（例えば、実施の形態での特定対象物注視の状態、脇見状態）であると判定して判定結果を出力する脇見判定手段（例えば、実施の形態での注視判定部２３および脇見判定部２５）と、該脇見判定手段から出力された前記判定結果において前記運転者が脇見状態であると判定された場合に所定の警報を行なう警報手段（例えば、実施の形態での警報制御部２８および報知装置１４）と、前記運転者の脇見状態に応じて前記所定時間を設定する時間設定手段（例えば、実施の形態での時間設定部２６）とを備える脇見警報装置であって、前記脇見状態は、前記視線方向のみに拠る状態であるか、あるいは、前記顔向き方向に拠る状態であるか、を判定する脇見状態判定手段（例えば、実施の形態での注視判定部２３および脇見判定部２５が兼ねる）を備え、前記時間設定手段は、前記脇見状態判定手段により前記脇見状態は前記顔向き方向に拠る状態であると判定された場合に、前記脇見状態判定手段により前記脇見状態は前記視線方向のみに拠る状態であると判定された場合に比べて、より短い時間を前記所定時間として設定する。

さらに、本発明の第２態様に係る脇見警報装置は、前記運転者により操作可能な操作部を有する車載機器（例えば、実施の形態での車載機器１５）と、前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段（例えば、実施の形態での操作判定部２７）とを備え、前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定する。

本発明の第１態様に係る脇見警報装置によれば、視線方向のみによる脇見状態に比べて、正面方向への復帰に要する時間が長くなる顔向き方向による脇見状態に対して、より短い時間を所定時間として設定することにより、運転者の脇見状態の詳細に応じて警報を行なうタイミングを変更する（早める）ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。

さらに、本発明の第２態様に係る脇見警報装置によれば、車載機器の操作を伴わない脇見状態に比べて、正面方向への復帰に要する時間が長くなる車載機器の操作を伴う脇見状態に対して、より短い時間を所定時間として設定することにより、運転者の脇見状態の詳細に応じて警報を行なうタイミングを変更する（早める）ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。

本発明の実施の形態に係る脇見警報装置の構成図である。本発明の実施の形態に係る運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θの一例を示す図である。本発明の実施の形態に係る脇見判定角度と車両の速度との対応関係の例を示すグラフ図である。本発明の実施の形態に係る脇見判定時間と注視角度と車両の速度との対応関係の例を示すグラフ図である。本発明の実施の形態に係る脇見警報装置の動作を示すフローチャートである。本発明の実施の形態に係る特定対象物注視判定の処理を示すフローチャートである。本発明の実施の形態に係る脇見判定の処理を示すフローチャートである。

以下、本発明の脇見警報装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による脇見警報装置１０は、例えば図１に示すように、撮像制御装置１１と、乗員カメラ１２と、処理装置１３と、報知装置１４と、車載機器１５と、車速センサ１６とを備えて構成され、さらに、処理装置１３は、視線方向検出部２１と、顔向き検知部２２と、注視判定部２３と、記憶部２４と、脇見判定部２５と、時間設定部２６と、操作判定部２７と、警報制御部２８とを備えて構成されている。

撮像制御装置１１により制御される乗員カメラ１２は、例えば車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。

視線方向検出部２１は、例えば乗員カメラ１２から出力された顔画像に対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行ない、左右の眼の位置（例えば、虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置など）を検出する。そして、この検出結果に基づく処理の処理によって、運転者の視線方向を検出し、さらに、運転席に着座した運転者の正面方向に対する視線方向のなす角度（注視角度）を算出する。

顔向き検知部２２は、例えば乗員カメラ１２から出力された顔画像に基づき、顔中心位置ＦＣと、左右の顔端位置ＦＬ，ＦＲとを検出し、これらの検出結果に基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。

顔向き検知部２２は、例えば図２に示すように、左右の顔端位置ＦＬ，ＦＲ間の中央位置ＣＯと顔中心位置ＦＣとの間の左右方向での距離を顔中心のずれｒとし、左右の顔端位置ＦＬ，ＦＲ間の距離を顔の幅２Ｒとし、中央位置ＣＯから乗員カメラ１２に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれｒと顔の幅２Ｒとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度（顔向き角度）θを算出する。例えば角度β＝９０−αとして、正弦定理による下記数式（１）を変形して下記数式（２）が得られ、この下記数式（２）から角度θが下記数式（３）に示すように記述される。

注視判定部２３は、視線方向検出部２１により検出された視線方向または顔向き検知部２２により検知された顔向き方向に基づき、車両に搭載されて運転者により操作される各種の車載機器１５などの特定対象物（例えば、ドアミラー、ナビゲーション装置、空調装置など）を運転者が注視しているか否かを判定する。

例えば、注視判定部２３は、視線方向または顔向き方向が、予め記憶部２４に記憶された所定の注視方向領域内に所定時間（各注視判定時間）に亘って継続して含まれる場合に、運転者が特定対象物を注視する状態（特定対象物注視の状態）であると判定して、判定結果の信号を出力する。
また、注視判定部２３は、視線方向検出部２１により検出された視線方向および顔向き検知部２２により検知された顔向き方向に基づき、運転者による特定対象物の注視が、視線方向のみに拠る状態（視線注視）であるか、あるいは、顔向き方向に拠る状態（顔向き注視）であるかを判定する。

記憶部２４は、例えば、所定の注視方向領域を各特定対象物毎の配置位置に応じて記憶している。
また、記憶部２４は、各注視判定時間として、例えば、各特定対象物毎に対して、かつ、顔向き注視および視線注視の各注視状態毎に対して、特定対象物注視判定時間と特定対象物操作時注視判定時間とを記憶している。なお、特定対象物注視判定時間は、運転者が各特定対象物を注視している場合に対応する注視判定時間であって、特定対象物操作時注視判定時間は、運転者が注視している各特定対象物を運転者が操作している場合に対応する注視判定時間である。そして、特定対象物操作時注視判定時間は特定対象物注視判定時間よりも短く設定されている。また、各注視判定時間に対して、顔向き注視での注視判定時間は、視線注視での注視判定時間よりも短く設定されている。

脇見判定部２５は、視線方向検出部２１により検出された視線方向または顔向き検知部２２により検知された顔向き方向が、予め記憶部２４に記憶された所定の脇見方向領域内に所定時間（各脇見判定時間）に亘って継続して含まれる場合に、運転者が脇見状態であると判定して、判定結果の信号を出力する。
また、脇見判定部２５は、視線方向検出部２１により検出された視線方向および顔向き検知部２２により検知された顔向き方向に基づき、運転者の脇見が、視線方向のみに拠る状態（視線脇見）であるか、あるいは、顔向き方向に拠る状態（顔向き脇見）であるかを判定する。

記憶部２４は、例えば、所定の脇見方向領域を、運転席に着座した運転者の正面方向に対してなす角度である所定の脇見判定角度により設定しており、この脇見判定角度は、例えば図３（Ａ）〜（Ｃ）の何れかに示すように、車速センサ１６により検出される車両の速度に応じて変化するように設定されている。例えば、脇見判定角度は、車両の速度が増大することに伴い、低下傾向に変化するように設定されている。

また、記憶部２４は、例えば、顔向き脇見および視線脇見の各脇見状態毎に対して各脇見判定時間を記憶している。脇見判定時間は、例えば図４（Ａ），（Ｂ）の何れかに示すように、車速センサ１６により検出される車両の速度と、注視角度とに応じて変化するように設定されている。例えば、脇見判定時間は、車両の速度が増大することに伴い、あるいは、注視角度が増大することに伴い、低下傾向に変化するように設定されている。なお、顔向き脇見での脇見判定時間は、視線脇見での脇見判定時間よりも短く設定されている。

時間設定部２６は、注視判定部２３が記憶部２４から取得する各注視判定時間を設定し、脇見判定部２５が記憶部２４から取得する各脇見判定時間を設定する。
例えば、時間設定部２６は、顔向き注視および視線注視の各注視状態毎に対して、運転者が注視している各種の車載機器１５などの特定対象物と、運転者が注視している特定対象物に対する運転者による操作の有無とに応じて、注視判定部２３により記憶部２４から取得される各注視判定時間を設定する。
また、例えば、時間設定部２６は、顔向き脇見および視線脇見の各脇見状態毎に対して、車速センサ１６により検出される車両の速度と、注視角度とに応じて、脇見判定部２５により記憶部２４から取得される脇見判定時間を設定する。

操作判定部２７は、車両に搭載されて運転者により操作される各種の車載機器１５などの特定対象物毎に対する運転者の操作の有無を判定して、判定結果を出力する。

警報制御部２８は、注視判定部２３および脇見判定部２５から出力される各判定結果の信号に応じて、報知装置１４による警報出力の動作を制御する。

なお、報知装置１４は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装
置とを備えて構成されている。
触覚的伝達装置は、例えばシートベルト装置や操舵制御装置などであって、警報制御部２８から出力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自
車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイー
ルに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置は、例えば表示装置などであって、警報制御部２８から入力される制御
信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、警報制御部２８から入力される制御
信号に応じて所定の音や音声などを出力する。

警報制御部２８は、例えば下記表１に示すように、運転者が脇見状態であると脇見判定部２５により判定された場合には、警報種別を「脇見」として、視覚的伝達装置において青色の発光表示を行ない、聴覚的伝達装置および触覚的伝達装置においては警報の出力を禁止する。
また、例えば運転者が特定対象物を操作せずに注視している状態であると注視判定部２３により判定された場合には、警報種別を「特定対象物注視」として、視覚的伝達装置において黄色の発光表示を行ない、聴覚的伝達装置において所定の単音を出力し、触覚的伝達装置においては警報の出力を禁止する。
また、例えば運転者が特定対象物を操作して注視している状態であると注視判定部２３により判定された場合には、警報種別を「特定対象物操作」として、視覚的伝達装置において赤色の発光表示を行ない、聴覚的伝達装置において所定の繰り返し音を出力し、触覚的伝達装置において振動を発生させる。
つまり、運転者の脇見状態に対する危険の度合いに応じて視覚的伝達装置および聴覚的伝達装置および触覚的伝達装置における警報の出力態様を変化させ、危険度の度合いが高いほど運転者の注意を喚起するように、運転者が煩わしいと感じる警報を行なう。

この実施の形態による脇見警報装置１０は上記構成を備えており、次に、この脇見警報装置１０の動作について説明する。

先ず、例えば図５に示すステップＳ０１においては、乗員カメラ１２から出力された顔画像に基づき顔向き方向を検出する。
次に、ステップＳ０２においては、乗員カメラ１２から出力された顔画像に基づき視線方向を検出する。
次に、ステップＳ０３においては、車両の速度（車速）を取得する。
次に、ステップＳ０４においては、後述する特定対象物注視判定の処理を実行する。

次に、ステップＳ０５においては、運転者が特定対象物を注視する状態（特定対象物注視の状態）であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０６に進む。
そして、ステップＳ０６においては、後述する脇見判定の処理を実行する。
次に、ステップＳ０７においては、運転者が脇見状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進む。
そして、ステップＳ０８においては、上述したステップＳ０４またはステップＳ０６にて判定された警報種別に応じた警報を実行し、エンドに進む。

以下に、上述したステップＳ０４での特定対象物注視判定の処理について説明する。
先ず、例えば図６に示すステップＳ１１においては、視線方向検出部２１により検出された視線方向または顔向き検知部２２により検知された顔向き方向に基づき、車両に搭載されて運転者により操作される各種の車載機器１５などの複数の特定対象物から、運転者が注視している特定対象物（注視特定対象物）を判定する。

次に、ステップＳ１２においては、顔向き角度が所定の閾値（例えば、３０°など）以上、または、顔向き角度と注視角度との差が所定値（例えば、５°など）未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進み、このステップＳ１３においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、顔向き注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、視線注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。

そして、ステップＳ１５においては、運転者が特定対象物を注視しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１６に進む。
そして、ステップＳ１６においては、運転者は、注視している特定対象物を操作しているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ２０に進む。

そして、ステップＳ１７においては、運転者が特定対象物を注視している継続時間（特定対象物注視継続時間）が特定対象物操作時注視判定時間よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１８に進む。
そして、ステップＳ１８においては、警報種別を「特定対象物操作」とする。
そして、ステップＳ１９においては、運転者が特定対象物を注視する状態（特定対象物注視の状態）であると判定して、リターンに進む。

また、ステップＳ２０においては、運転者が特定対象物を注視している継続時間（特定対象物注視継続時間）が特定対象物注視判定時間よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２１に進む。
そして、ステップＳ２１においては、警報種別を「特定対象物注視」とし、上述したステップＳ１９に進む。

以下に、上述したステップＳ０６での脇見判定の処理について説明する。
先ず、例えば図７に示すステップＳ３１においては、例えば車速センサ１６により検出される車両の速度に応じて、脇見判定角度を設定する。
次に、ステップＳ３２においては、顔向き角度が所定の閾値（例えば、３０°など）以上、または、顔向き角度と注視角度との差（例えば、５°など）が所定値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進み、このステップＳ３３においては、脇見判定時間として、顔向き脇見に対応する脇見判定時間を設定する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３４に進み、このステップＳ３４においては、脇見判定時間として、視線脇見に対応する脇見判定時間を設定する。

そして、ステップＳ３５においては、注視角度が脇見判定角度よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３６に進む。
そして、ステップＳ３６においては、注視角度が脇見判定角度よりも大きい状態の継続時間（脇見継続時間）が脇見判定時間よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３７に進む。
そして、ステップＳ３７においては、運転者が脇見状態であると判定する。
そして、ステップＳ３８においては、警報種別を「脇見」として、リターンに進む。

上述したように、本実施の形態による脇見警報装置１０によれば、視線方向のみによる脇見あるいは注視に比べて、正面方向への復帰に要する時間が長くなる顔向き方向による脇見あるいは注視に対して、より短い脇見判定時間および各注視判定時間（つまり、特定対象物注視判定時間および特定対象物操作時注視判定時間）を設定することにより、運転者の脇見あるいは運転者による特定対象物の注視の詳細に応じて警報を行なうタイミングを変更する（早める）ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
さらに、特定対象物に対する運転者の操作を伴わない注視に比べて、正面方向への復帰に要する時間が長くなる特定対象物に対する運転者の操作を伴う注視に対して、より短い注視判定時間（つまり、特定対象物注視判定時間より短い特定対象物操作時注視判定時間）を設定することにより、運転者による特定対象物の注視の詳細に応じて警報を行なうタイミングを変更する（早める）ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。

なお、上述した実施の形態においては、特定対象物注視判定時間と特定対象物操作時注視判定時間とを、車速センサ１６により検出される車両の速度に応じて変化するように設定されてもよい。この場合には、例えば、各注視判定時間は、車両の速度が増大することに伴い、低下傾向に変化するように設定される。

１０脇見警報装置
１２乗員カメラ（撮像手段）
１４報知装置（警報手段）
１５車載機器
２１視線方向検出部（視線方向検出手段）
２２顔向き検知部（顔向き検知手段）
２３注視判定部（脇見判定手段、脇見状態判定手段）
２４記憶部（記憶手段）
２５脇見判定部（脇見判定手段、脇見状態判定手段）
２６時間設定部（時間設定手段）
２７操作判定部（操作判定手段）
２８警報制御部（警報手段）

Claims

運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、前記撮像手段から出力された前記顔画像に基づき前記運転者の顔向き方向を検知して検知結果を出力する顔向き検知手段と、
前記視線方向および前記顔向き方向に対して設定された所定の脇見方向領域を記憶する記憶手段と、
前記視線方向検出手段から出力された前記検出結果の前記視線方向または前記顔向き検知手段から出力された前記検知結果の前記顔向き方向が、前記記憶手段に記憶された前記脇見方向領域内に所定時間に亘って継続して含まれる場合に、前記運転者が脇見状態であると判定して判定結果を出力する脇見判定手段と、
該脇見判定手段から出力された前記判定結果において前記運転者が脇見状態であると判定された場合に所定の警報を行なう警報手段と、
前記運転者の脇見状態に応じて前記所定時間を設定する時間設定手段とを備える脇見警報装置であって、
前記脇見状態は、前記視線方向のみに拠る状態であるか、あるいは、前記顔向き方向に拠る状態であるか、を判定する脇見状態判定手段を備え、
前記時間設定手段は、前記脇見状態判定手段により前記脇見状態は前記顔向き方向に拠る状態であると判定された場合に、前記脇見状態判定手段により前記脇見状態は前記視線方向のみに拠る状態であると判定された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする脇見警報装置。
前記運転者により操作可能な操作部を有する車載機器と、
前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段とを備え、
前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、
前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする請求項１に記載の脇見警報装置。