JP2019185218A

JP2019185218A - 警報装置

Info

Publication number: JP2019185218A
Application number: JP2018072539A
Authority: JP
Inventors: 公祐塚尾; Kosuke Tsukao; 浩伸塚嵜; Hironobu Tsukasaki
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-04-04
Filing date: 2018-04-04
Publication date: 2019-10-24
Also published as: US10632912B2; US20190308554A1; DE102019108772A1; CN110348281A

Abstract

【課題】運転者の注視状況に応じて適切に報知を行うことが可能な警報装置を提供する。【解決手段】警報装置１は、自車の状態を示す自車情報を取得する自車情報取得部１０と、自車の車外の状況を示す車外情報を取得する車外情報取得部１１と、自車情報と車外情報とに基づいて自車の運転者が注視すべき対象物を算定する注視対象物算定部１２と、運転者の視線の方向を示す視線情報を取得する視線情報取得部１３と、運転者の三次元座標上の眼球位置を示す眼球位置情報を取得する眼球位置情報取得部１４と、視線情報と眼球位置情報とに基づいて運転者が注視している注視点を算定する注視点算定部１５と、注視すべき対象物と注視点とに基づいて運転者が注視すべき対象物を注視しているか否かを判定する判定部１６と、運転者が注視すべき対象物を注視していないと判定された場合に報知する報知部１７と、を備える。【選択図】図１

Description

本発明は、車両の運転時における運転者の注視状況に応じて警報を行う警報装置に関する。

車両を運転する際、事故の未然防止や走行の円滑化の観点から、運転者は車両の周囲の状況を十分に把握することが望まれる。そこで、運転者の視線に応じて報知する技術が検討されてきた（例えば特許文献１）。

特許文献１に記載の通知制御装置は、ユーザの確認が必要な対象である要確認対象を特定する特定手段と、ユーザの顔または視線の向きを検出する方向検出手段と、検出された顔または視線の向きに基づいて、ユーザが要確認対象を確認したか否かを検出する確認検出手段と、ユーザが要確認対象を確認したことが検出されていない場合、要確認対象の確認が必要な状況を通知し、ユーザが要確認対象を確認したことが検出された場合、要確認対象の確認が必要な状況の通知を制限するようにユーザへの通知を制御する通知制御手段とを備えている。

特開２００７−９４６１８号公報

特許文献１に記載の技術は、ＣＣＤカメラ等の単眼一次元カメラにより撮像した画像を用いてユーザ（運転者）の顔の向きや視線の向きを検出している。このため、例えば個人ごとに教師画像の入力等を行って個人ごとに調整を行わなければ、三次元情報を含めた注視点を算定することができず検出精度が悪くなる。このため、運転者の注視状況に応じて適切に報知を行うことができない。

そこで、運転者の注視状況に応じて適切に報知を行うことが可能な警報装置が求められる。

本発明に係る警報装置の特徴構成は、自車の状態を示す自車情報を取得する自車情報取得部と、前記自車の車外の状況を示す車外情報を取得する車外情報取得部と、前記自車情報と前記車外情報とに基づいて前記自車の運転者が注視すべき対象物を算定する注視対象物算定部と、前記運転者の視線の方向を示す視線情報を取得する視線情報取得部と、前記運転者の三次元座標上の眼球位置を示す眼球位置情報を取得する眼球位置情報取得部と、前記視線情報と前記眼球位置情報とに基づいて前記運転者が注視している注視点を算定する注視点算定部と、前記注視すべき対象物と前記注視点とに基づいて前記運転者が前記注視すべき対象物を注視しているか否かを判定する判定部と、前記運転者が前記注視すべき対象物を注視していないと判定された場合に報知する報知部と、を備えている点にある。

このような特徴構成とすれば、三次元座標上で運転者の注視点の算出を行うので、例えば運転者の頭の位置が移動した場合であっても、運転者が注視すべき対象物を注視したか否かを精度良く判定することが可能となる。したがって、運転者の注視状況に応じて適切に報知を行うことができる。

また、前記注視点算定部は、前記自車の車外における注視点を算定すると好適である。

このような構成とすれば、車外に注視すべき対象物がある場合であっても、運転者が注視すべき対象物を注視したか否かを精度良く判定することができる。したがって、車外の状況に応じて適切に報知することが可能となる。

また、前記判定部は、前記車外において前記注視すべき対象物が含まれる仮想平面上の注視領域を設定し、当該注視領域内に前記注視点が含まれる場合に前記運転者が前記注視すべき対象物を注視していると判定すると好適である。

このような構成とすれば、車外の注視すべき対象物を運転者が注視しているか否かを容易に判定することが可能となる。したがって、運転者の注視状況に応じて適切に報知を行うことが可能となる。

警報装置の構成を示すブロック図である。注視領域を示す図である。警報装置の処理を示すフローチャートである。

本発明に係る警報装置は、運転者の注視状況に応じて適切に報知を行うことができるように構成される。以下、本実施形態の警報装置１について説明する。

１．警報装置の構成
図１は、警報装置１の構成を模式的に示したブロック図である。図１に示されるように、警報装置１は、自車情報取得部１０、車外情報取得部１１、注視対象物算定部１２、視線情報取得部１３、眼球位置情報取得部１４、注視点算定部１５、判定部１６、報知部１７の各機能部を備えている。各機能部は運転者に対する報知に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

自車情報取得部１０は、自車の状態を示す自車情報を取得する。自車の情報とは、車両の走行中における車両の状態を示す情報である。具体的には、車両の走行方向（進行方向）を示す走行方向情報、車両の位置を示す位置情報、車両のブレーキの動作状態を示すブレーキ情報、車両のシフトレバーの位置を示すシフト情報等である。

走行方向情報や位置情報は、ＧＰＳ（Global Positioning System）信号やＧＮＳＳ（Global Navigation Satellite System）信号を受信し、受信した信号に基づき取得することが可能である。ブレーキ情報は車両に備えられるブレーキセンサの検出結果に基づき取得することが可能である。シフト情報は車両に備えられるシフトセンサの検出結果に基づき取得することが可能である。

自車情報取得部１０は、このような走行方向情報、位置情報、ブレーキ情報、シフト情報等を取得する。これらの各情報は自車情報として後述する注視対象物算定部１２に伝達される。

車外情報取得部１１は、自車の車外の状況を示す車外情報を取得する。自車の車外の状況とは、例えば車両が走行している場所を含む周囲の地図示す地図情報や、車両の周囲に物体が存在しているか否かを示す物体情報、車両が走行中に交通量を示す交通量情報である。地図情報は、車両に備えられるカーナビゲーションシステムで使用される地図に基づき取得することが可能である。物体情報は、車両に備えられる周辺監視センサ等の検出結果に基づき取得することが可能である。交通量情報は、車両に備えられるカーナビゲーションシステムで使用されるＶＩＣＳ（Vehicle Information and Communication System）（登録商標）情報に基づき取得することが可能である。

車外情報取得部１１は、このような地図情報、物体情報、交通量情報等を取得する。これらの各情報は車外情報として後述する注視対象物算定部１２に伝達される。

注視対象物算定部１２は、自車情報と車外情報とに基づいて自車の運転者が注視すべき対象物を算定する。自車情報は自車情報取得部１０から伝達される。車外情報は車外情報取得部１１から伝達される。自車の運転者が注視すべき対象物とは、車両の周囲に存在する物体のうち、車両の運転者が運転中に確認すべき対象物である。具体的には、信号機、道路標識、車両の周囲を通行する人や自転車や他車等である。

例えば地図情報及びＶＩＣＳ情報から自車がスムーズに道路を走行していると推定された場合には、注視対象物算定部１２は信号機や道路標識等を注視すべき対象物として算定する。また、車両が赤信号で停車中である場合には、信号機や自車の先行車両を注視すべき対象物として算定する。また、赤信号から青信号に代わり自車が発進する場合には、車両の周囲を通行する人や自転車や他車等を注視すべき対象物として算定する。もちろん、このような注視すべき対象物は一例であり、車両の走行状況に応じて種々のものが想定される。

注視対象物算定部１２により算定された注視すべき対象物を示す情報は、当該対象物の位置を示す情報を含み、後述する判定部１６に伝達される。

視線情報取得部１３は、運転者の視線の方向を示す視線情報を取得する。運転者の視線とは、自車の運転者の視線である。したがって、運転者の視線の方向とは、自車の運転者の視線の向きにあたる。このような運転者に視線の方向は、例えば車内に設けられたカメラにより運転者の顔を含む撮像画像を取得し、当該撮像画像を用いて公知の画像認識処理により検出すると好適である。もちろん、他の方法により運転者の視線の方向を検出するように構成することも可能である。このような運転者の視線の方向を示す情報は警報装置１では視線情報として扱われ、後述する注視点算定部１５に伝達される。

眼球位置情報取得部１４は、運転者の三次元座標上の眼球位置を示す眼球位置情報を取得する。運転者とは自車の運転者である。三次元座標上の眼球位置とは、Ｘ−Ｙ座標系における眼球位置ではなく、Ｘ−Ｙ−Ｚ座標系における眼球位置である。したがって、運転者の顔に着目した場合に、顔の横方向及び縦方向のみでなく、奥行方向の位置も考慮したものである。このような三次元座標上の眼球位置は、例えば距離画像センサを車内に設け、当該距離画像センサの検出結果から取得可能である。もちろん、ステレオカメラを用いて取得することも可能である。このような運転者の三次元座標上の眼球位置を示す情報は警報装置１では眼球位置情報として扱われ、後述する注視点算定部１５に伝達される。

注視点算定部１５は、視線情報と眼球位置情報とに基づいて運転者が注視している注視点を算定する。視線情報は視線情報取得部１３から伝達される。眼球位置情報は眼球位置情報取得部１４から伝達される。運転者が注視している注視点とは、自車の運転者が、実際に注視している点である。

注視点算定部１５は、視線情報により示される視線の方向と、三次元座標上の眼球位置とから、運転者の視線の方向に位置し、三次元座標上における運転者が実際に見ている点を算定する。注視点算定部１５により算定された注視点は、注視点を示す情報として後述する判定部１６に伝達される。

本実施形態では、上述したように注視対象物算定部１２が自車の運転者が注視すべき対象物として、車両の周囲に存在する物体のうち、車両の運転者が運転中に確認すべき対象物を算定することから、注視点算定部１５は自車の車外における注視点を算定するように構成される。

判定部１６は、注視すべき対象物と注視点とに基づいて運転者が注視すべき対象物を注視しているか否かを判定する。注視すべき対象物は、注視対象物算定部１２により算定され、注視すべき対象物を示す情報として注視対象物算定部１２から伝達される。注視点は、注視点算定部１５により算定され、注視点を示す情報として注視点算定部１５から伝達される。判定部１６は、運転者の注視すべき対象物に注視点があるか否かに基づき、運転者が注視すべき対象物を注視しているか否かを判定する。

判定部１６は、車外において注視すべき対象物が含まれる仮想平面上の注視領域を設定し、当該注視領域内に注視点が含まれる場合に運転者が注視すべき対象物を注視していると判定すると良い。例えば、図２に示されるように、自車が赤信号で停車し、自車の前に他車が停車している場合を考える。ここでは理解を容易にするために、自車に符号２を付し、他車に符号３を付して説明する。この場合、車外において注視すべき対象物は、他車３が相当する。判定部１６は、まず、このような対象物（他車３）が含まれる仮想平面４を設定する。この時、判定部１６は、仮想平面４は他車３の後端部５を基準として自車の運転者の眼球位置から等距離となるように設定する。次に、判定部１６は、仮想平面４における他車３の後端部５（例えばバンパー等）を含む注視領域６を設定する。判定部１６は、視線方向Ａのように注視領域６に運転者の注視点（図２では符号７を付している）が含まれる場合には、運転者が注視すべき他車３を注視していると判定する。一方、判定部１６は、視線方向Ｂのように注視領域６に運転者の注視点７が含まれない場合には、運転者が注視すべき他車３を注視していないと判定する。

なお、注視すべき対象物が他車３であることは単なる一例であり、注視すべき対象物が信号機や歩行者等であっても同様に判定することが可能である。判定部１６の判定結果は後述する報知部１７に伝達される。

図１に戻り、報知部１７は、運転者が注視すべき対象物を注視していないと判定された場合に運転者に報知する。報知部１７には判定部１６から判定結果が伝達される。この判定結果が、運転者が注視すべき対象物を注視していないことを示す判定結果である場合に、報知部１７は報知を行う。報知としては、例えば運転者が報知していないことを明示するような報知であっても良いし、運転者に注視を促すような報知であっても良い。係る場合、報知と共に、注視すべき対象物が何であるかを示す情報も報知するように構成することも可能である。また、報知部１７は、早期に警報を報知するように構成しても良いし、報知方法を変更するように構成しても良い。なお、報知部１７は、判定部１６から伝達されてきた判定結果が、運転者が注視すべき対象物を注視していることを示す判定結果である場合には、報知を行わなくても良いし、所定時間後に報知を行うように構成されている場合には当該報知を制限するように構成しても良い。

２．警報装置の処理
次に、警報装置１の処理について、図３のフローチャートを用いて説明する。まず、自車情報取得部１０が自車情報を取得する（ステップ＃０１）。また、車外情報取得部１１が車外情報を取得する（ステップ＃０２）。注視対象物算定部１２が、自車情報と車外情報とに基づき注視すべき対象物（注視対象物）を算定する（ステップ＃０３）。

一方、視線情報取得部１３が視線情報を取得する（ステップ＃０４）。また、眼球位置情報取得部１４が眼球位置情報を取得する（ステップ＃０５）。注視点算定部１５が、池泉情報と眼球位置情報とに基づき注視点を算定する（ステップ＃０６）。

なお、ステップ＃０１−ステップ＃０３の処理、及びステップ＃０４−ステップ＃０６の処理は、ステップ＃０１−ステップ＃０３の処理よりも先にステップ＃０４−ステップ＃０６の処理を行っても良いし、ステップ＃０１−ステップ＃０３の処理と、ステップ＃０４−ステップ＃０６の処理とを並列に行っても良い。

判定部１６が、注視対象物と注視点とに基づいて運転者が注視対象物を注視しているか否かを判定する。判定部１６により運転者が注視対象物を注視していると判定された場合には（ステップ＃０７：Ｙｅｓ）、報知部１７は報知を制限する（ステップ＃０８）。一方、判定部１６により運転者が注視対象物を注視していないと判定された場合には（ステップ＃０７：Ｎｏ）、報知部１７は報知を行う（ステップ＃０９）。ステップ＃０８及びステップ＃０９の後、一連の処理が終了する。警報装置１はこのようなフローに沿って処理を行う。

３．警報装置の利用形態
次に、警報装置１の利用形態について説明する。なお、以下の利用形態は単なる例示であり、警報装置１の利用形態が以下の例示に限定されるものではない。

３−１．車両の死角の注視に係る利用形態
車両には、運転者にとって視認し難い領域（死角）がある。警報装置１は、運転者がこのような死角を注視しているか否かの判定、及びその判定結果に応じた報知に利用することが可能である。ここでは、自車が駐車エリアや狭い路地等へ右折して進入する場合を例に挙げる。

係る場合、自車情報取得部１０が自車のステアリングの舵角を示す舵角情報、及び自車の車速を示す車速情報を取得する。また、車外情報取得部１１が自車の死角となる領域を撮像した撮像画像を取得する。この撮像画像は、死角となる領域のみが含まれるコーナービュー画像であっても良いし、死角となる領域とその周囲は含まれるアラウンドビュー画像であっても良い。また、車外情報取得部１１が自車の周囲に物体が存在しているか否かを示す物体情報を取得する。この物体情報には物体の位置を示す情報が含まれる。注視対象物算定部１２は、死角となる領域、すなわち車両の左前方を注視対象（注視対象物）として算定する。

視線情報取得部１３が運転者に係る視線情報を取得し、眼球位置情報取得部１４が運転者に係る眼球位置情報を取得する。注視点算定部１５が視線情報と眼球位置情報とに基づいて運転者の注視点を算定する。

判定部１６は、運転者の注視点が車両の左前方にあるか否かを判定する。報知部１７は、判定部１６の判定結果が運転者の注視点が車両の左前方にあるということを示すものである場合に、運転者の視野内であって、且つ、物体情報で示される物体への視線を遮らない位置に、車外情報取得部１１により取得された、自車の死角となる領域を撮像した撮像画像を表示する。

このように警報装置１は、車両の前方角部が何らかの物体と接触が懸念される状況において、死角となる領域から目を離すことなく視認させるためのシステムに利用できる。このような利用形態にあっては、車両が低速で曲がる際に、車両が曲がる方向とは反対側の前方への運転者の視線を検出し、死角となる領域を撮像した画像を表示することが可能となる。

３−２．車両の発進時の注視に係る利用形態
車両が停止している状態から前進発進する際、運転者は前方に注意すべきである。また、車両の停止中に、運転者が意図せずブレーキペダルの踏力が弱くなり、車両が発進してしまうこともある。警報装置１は、車両の発進時に運転者が前方を注視しているか否かの判定、及びその判定結果に応じた報知に利用することが可能である。

係る場合、自車情報取得部１０が自車の車速を示す車速情報を取得する。また、車外情報取得部１１が自車の前方の状況を撮像した撮像画像を取得する。注視対象物算定部１２は、車速情報に基づき車両が停止中であると特定すると、車両の前方を注視対象（注視対象物）として算定する。

判定部１６は、運転者の注視点が車両の前方にあるか否かを判定する。報知部１７は、判定部１６の判定結果が運転者の注視点が車両の前方にないということを示すものである場合であって、車両が前進発進を開始すると、警報（例えばアラーム音を発する）を発する。また、この警報に代えて、或いはこの警報と共に車両の運転者の前進を停止させるようにブレーキ制御を行うようにすることも可能である。

このように警報装置１は、運転者が前方を見ていない状態で走り出した（意図しない走行を含む）時には、警報を発したり、ブレーキ制御を行うようなシステムに利用できる。

３−３．物体への視線の誘導に係る利用形態
車両の走行中における運転者の脇見運転は非常に危険である。警報装置１は、脇見運転を行う運転者に対する注意喚起に利用することが可能である。

係る場合、自車情報取得部１０が自車のステアリングの舵角を示す舵角情報、及び自車の車速を示す車速情報を取得する。また、車外情報取得部１１が自車の周囲に物体が存在しているか否かを示す物体情報を取得する。この物体情報には物体の位置を示す情報が含まれる。注視対象物算定部１２は、物体情報で示される物体を注視対象物として算定する。

判定部１６は、運転者の注視点が車両の前方の物体にあるか否かを判定する。報知部１７は、判定部１６の判定結果が運転者の注視点が車両の前方の物体にないということを示すものである場合に、運転者の視線方向を現在の方向から車両の前方の物体の方向へ誘導する報知を行う。このような報知として、例えば視線を誘導するように矢印を表示して報知することも可能であるし、音声によって行うことも可能である。なお、矢印の表示は、例えばフロントガラス、サイドガラス、モニタ、ヘッドアップディスプレイ、メータディスプレイ等に行うと好適である。

このように警報装置１は、運転者が脇見をしている時に、走行方向に障害物となる物体（例えば他車や人等）を検出すると、運転者の視線の方向を物体が存在している方向へ誘導させるためのシステムに利用できる。

３−４．運転者の視線によるデバイス操作に係る利用形態
車両の走行中、運転者がステアリングから手を離してデバイスを操作することは危険である。警報装置１は、運転者がステアリングから手を離すことなくデバイスの操作を可能とするシステムに利用することが可能である。

係る場合、音声によって操作され、当該音声による操作が運転者の視線によって可能となるデバイスが車内に設けられているとする。このため、本利用形態においては、注視対象物が車内のデバイスが相当する。

判定部１６は、運転者の注視点が予め設定された時間以上、車内の音声による操作が可能なデバイスにあるか否かを判定する。判定部１６の判定結果が運転者の注視点が前記デバイスにあるということを示すものである場合に、報知部１７は前記デバイスに対して音声による操作を許可するよう指示する。これにより、運転者はステアリングから手を離すことなくデバイスの操作を行うことが可能となる。

このように警報装置１によれば、音声による操作可能なデバイスに対する運転者の操作意思を容易に確認することができる。

３−５．運転者に対する情報の提示に係る利用形態
車両の走行中、運転者が車外の物体（例えば建物等）が何であるかを知りたい場合があるが、運転者はステアリングから手を離して携帯端末等を操作して調べることはできない。そこで、警報装置１は、運転者が疑問に思った物体についての情報を提示することを可能とするシステムに利用することが可能である。

係る場合、自車情報取得部１０が自車の走行方向や位置を示す位置情報を取得する。また、車外情報取得部１１が自車が走行している周囲の地図である地図情報を取得する。

ここで、運転者が例えば「あれは何？」と発すると、報知部１７は運転者の注視先にある物体（例えば建物）の情報を通知する。この通知は、例えばフロントガラス、モニタ、ヘッドアップディスプレイ、メータディスプレイ等に示される物体に指標（例えば枠）を重畳表示し、当該物体の情報を音声や表示で通知することが可能である。また、建物以外に、道路標識や看板等を運転者が注視していると判定された場合に、該当する物体に係る情報を通知しても良い。

このように警報装置１によれば、運転者が初めて訪れた場所であっても、建物や店舗を容易に探したり、日本の道路標識を見慣れていない外国からの訪問者に道路標識を認識させたりすることが可能となる。

４．その他の実施形態
上記実施形態では、判定部１６が車外において注視すべき対象物が含まれる仮想平面４上の注視領域６を設定し、当該注視領域６内に注視点が含まれる場合に運転者が注視すべき対象物を注視していると判定するとして説明した。しかしながら、判定部１６は、仮想平面４及び注視領域６を設定せずに判定するように構成することも可能である。

本発明は、車両の運転時における運転者の注視状況に応じて警報を行う警報装置に用いることが可能である。

１：警報装置
１０：自車情報取得部
１１：車外情報取得部
１２：注視対象物算定部
１３：視線情報取得部
１４：眼球位置情報取得部
１５：注視点算定部
１６：判定部
１７：報知部

Claims

自車の状態を示す自車情報を取得する自車情報取得部と、
前記自車の車外の状況を示す車外情報を取得する車外情報取得部と、
前記自車情報と前記車外情報とに基づいて前記自車の運転者が注視すべき対象物を算定する注視対象物算定部と、
前記運転者の視線の方向を示す視線情報を取得する視線情報取得部と、
前記運転者の三次元座標上の眼球位置を示す眼球位置情報を取得する眼球位置情報取得部と、
前記視線情報と前記眼球位置情報とに基づいて前記運転者が注視している注視点を算定する注視点算定部と、
前記注視すべき対象物と前記注視点とに基づいて前記運転者が前記注視すべき対象物を注視しているか否かを判定する判定部と、
前記運転者が前記注視すべき対象物を注視していないと判定された場合に報知する報知部と、
を備えた警報装置。
前記注視点算定部は、前記自車の車外における注視点を算定する請求項１に記載の警報装置。
前記判定部は、前記車外において前記注視すべき対象物が含まれる仮想平面上の注視領域を設定し、当該注視領域内に前記注視点が含まれる場合に前記運転者が前記注視すべき対象物を注視していると判定する請求項１又は２に記載の警報装置。