JP2011180873A - 運転支援装置、及び運転支援方法 - Google Patents
運転支援装置、及び運転支援方法 Download PDFInfo
- Publication number
- JP2011180873A JP2011180873A JP2010045131A JP2010045131A JP2011180873A JP 2011180873 A JP2011180873 A JP 2011180873A JP 2010045131 A JP2010045131 A JP 2010045131A JP 2010045131 A JP2010045131 A JP 2010045131A JP 2011180873 A JP2011180873 A JP 2011180873A
- Authority
- JP
- Japan
- Prior art keywords
- attention
- driver
- vehicle
- amount
- caution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】安全運転のための情報を運転者の注意状態に応じて適切に提供すること。
【解決手段】入力部2で計測された信号を元に注意すべき物体を検出する注意物体検出部3では、すぐに危険ではないが注意すべき一つ以上の物体を抽出する。運転者1に装着された生体信号検出部4で計測された脳波の信号を解析し、注意量推定部5で注意量が推定される。情報決定部6では、注意量推定部5から得られる注意量に基づき、注意物体検出部3にて検出された物体のうち、どの情報を運転者1に呈示するかを決定する。例えば、運転者1の注意量が低下した場合には、多くの物体を呈示すると運転の妨げになるために、表示個数を減らす制御が行われる。
【選択図】図1
【解決手段】入力部2で計測された信号を元に注意すべき物体を検出する注意物体検出部3では、すぐに危険ではないが注意すべき一つ以上の物体を抽出する。運転者1に装着された生体信号検出部4で計測された脳波の信号を解析し、注意量推定部5で注意量が推定される。情報決定部6では、注意量推定部5から得られる注意量に基づき、注意物体検出部3にて検出された物体のうち、どの情報を運転者1に呈示するかを決定する。例えば、運転者1の注意量が低下した場合には、多くの物体を呈示すると運転の妨げになるために、表示個数を減らす制御が行われる。
【選択図】図1
Description
本発明は、運転者に安全運転のための情報を呈示し、運転支援する装置に関する。より具体的には、運転者の注意散漫状態に応じて、安全運転のために知っておいた方がよい情報の呈示を制御し、運転支援する装置、方法、およびそのような機器において実行されるコンピュータプログラムに関する。
近年、自動車運運転に関連した事故防止装置の中で、安全運転のための情報を呈示する装置やシステムが開発されている。その装置やシステムは、基本的には安全運転の妨げになる状況や注意を配るべき物体をセンサ等によって検出し、検出された状況や物体をディスプレイやスピーカ等によって、運転者に警告や注意喚起の形式で呈示する方式が採用されている。
ここで、安全運転の妨げになる状況とは例えば運転者が居眠りしているときや眠気を感じている時である。また、注意を配るべき物体とは、例えば車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車のことである。
従来の安全運転支援システムの例としては、車両の前方や後方を監視するセンサがある。このセンサによって車間距離を計測し、その車間距離が一定以上の近さになった場合に衝突の可能性があるとして、音や映像で運転者にその状況を伝達するシステムが実用化されている。
さらに、車両に搭載された画像センサや道路に設置された画像センサによって車両周辺状況を監視する。そして、画像認識処理や通信によって、周囲の物体や状況、例えば、前方車や側方車の動き、歩行者や自転車、バイクの位置や動き、信号の変化等を監視して、運転者に通知するシステムの開発が進められている(例えば特許文献1)。このシステムによって、運転者は自分で周囲の状況を確認する以外にも、運転支援システムの情報提供によっても周囲の状況を知ることができる。
このようなシステムでは、そのセンサと認識処理技術の向上に伴い、車両周辺の監視能力の向上が期待され、今後は車両周辺の物体の検出数の増加が想定される。この場合、検出した全ての物体の情報を運転者に呈示すると、運転者はそれらの情報の全てを認知して注意を配る必要が出てくるため、運転者にとっては情報過多になる可能性がある。
この状況に対して、検出された車両周辺の物体すべてを表示せずに、その注意すべき物体毎の重要性を算出して、その重要度に応じて表示方法を制御する方法が考えられる。特許文献1においては、危険度の判定を行い、その危険度によって表示の順位付けを行っている。
しかし、運転者への情報呈示を適切なものにするには、周辺状況の監視能力以外にも、運転者がシステムからの情報を適切に認識できるかという点も重要な情報になる。運転者は、運転時にはシステムからの安全運転情報以外にも運転のため周囲や計器類から多くの情報を認知する必要がある。
運転者の状況によって情報呈示を変化させる方式の例として、特許文献2が挙げられる。特許文献2では、運転者の覚醒度を検出し、その覚醒度が低下している場合には、安全運転情報が認知されにくいとして、情報を強調表示する方法を取っている。この方式により、覚醒度が低下していても、確実に情報が認知できるとされている。
入戸野、「映像に対する注意を測る−事象関連電位を用いたプローブ刺激法の応用例−」、生理心理学と精神心理学、2006、24(1)、5−18
しかしながら、運転者は、常に周囲に注意を向けて安全を確保しながら車両の運転をすることが必要である。本願発明者らは、安全運転支援システムからの車両の周囲に関する情報は、運転者の運転への注意を妨げる余分な情報となりかねないという知見を見出した。その理由を2つ挙げる。一つ目は、すでに運転者が認知している物体であれば、改めてシステムから呈示を受ける必要はない点である。もう一つは、運転者が認知していない物体であっても、システムからの情報の認知をするにもある程度の注意の配分が必要であるため、例えば覚醒度低下時に安全運転支援システムから情報を多く出されるとそれらの情報に気を取られて、車両の運転自体に対する注意配分が減少する可能性もある点である。
この観点からは、特許文献2にあるようなシステムの情報伝達を確実にするための強調表示は、運転操作にとって外乱要因になる可能性もあり、安全運転の実現に必要な情報を呈示することと、運転者の運転の妨げにならないように情報を呈示することのバランスを取る必要がある。特に覚醒度が低下している場合や、注意が散漫になっているときは、情報の内容によっては、運転作業を優先してもらうために、情報呈示の内容を絞り込むことも必要である。
これまで、車両の運転において危険な車両等の情報を、確実に運転者に伝達するという目的のために、各種の方式が検討されてきた。しかし、本発明が対象とする周囲監視し、注意すべき物体の存在を通知するシステムに関しては、注意すべき物体がすぐに危険な状態になるとは限らない場合もある。よって、より柔軟に運転者に呈示すべき情報を選択する必要がある。すなわち、車両周辺監視においては、注意すべき物体を確認する作業にも注意配分が必要なことを考慮し、運転者の注意を引きすぎない方法が必要と考えられる。
本発明は、前記従来の課題のうち運転者が情報を理解する負荷に配慮した情報呈示が必要という課題を解決するもので、運転者の注意散漫度合いの変動に対応して、安全運転支援情報の呈示方法を制御できる運転支援装置の提供を目的とする。
本発明による運転支援装置は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、前記車両の運転者の脳波信号を検出する生体信号検出部と、前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、前記決定した注意喚起物体を、前記運転者に呈示する出力部とを備える。
本発明による運転支援方法は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、前記車両の運転者の脳波信号を検出する生体信号ステップと、前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、前記決定した注意喚起物体を、前記運転者に呈示する出力ステップとを有する。
本発明の運転支援装置によれば、脳波によって運転者の注意散漫度合いを把握し、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1における運転支援装置の構成図である。運転支援装置は、運転者7が運転する車両の周辺を監視するためのセンサである入力部1と、入力部1で計測された情報から車両周辺で運転者7が注意すべき物体を検出する注意物体検出部2と、運転者7の生体信号を計測する生体信号検出部3と、生体信号検出部3で計測された生体信号を解析して、運転者7の注意状態を推定する注意量推定部4と、前記運転者7の注意量を受けて、前記注意物体検出部2で検出された注意物体のうち、どの情報を表示するかを決定する情報決定部5と、前記情報決定部5の結果を受けて、運転者に注意喚起の情報を呈示する出力部6により構成される。
図1は、本発明の実施の形態1における運転支援装置の構成図である。運転支援装置は、運転者7が運転する車両の周辺を監視するためのセンサである入力部1と、入力部1で計測された情報から車両周辺で運転者7が注意すべき物体を検出する注意物体検出部2と、運転者7の生体信号を計測する生体信号検出部3と、生体信号検出部3で計測された生体信号を解析して、運転者7の注意状態を推定する注意量推定部4と、前記運転者7の注意量を受けて、前記注意物体検出部2で検出された注意物体のうち、どの情報を表示するかを決定する情報決定部5と、前記情報決定部5の結果を受けて、運転者に注意喚起の情報を呈示する出力部6により構成される。
(全体のシステム構成の流れ)
図2に運転支援装置の処理の全体のフローチャートを示す。
図2に運転支援装置の処理の全体のフローチャートを示す。
ステップS10では、入力部1にて、周辺状況を計測する。入力部1は、例えば車両の前方を撮影するように取り付けられた画像センサ、物体までの距離が計測可能なレーザセンサ、車両後方監視用の画像センサなどが挙げられる。一つのセンサで周辺状況監視ができない場合には、複数個や複数種類のセンサを組合せる場合もありえる。ステップS10では、これらのセンサによって周辺状況の情報(センサ情報)が取得される。以下の説明では、車両前方を撮影する画像センサを用いた例について説明する。
ステップS20では、注意物体検出部2にて、ステップS10で取得したセンサ情報に基づき、車両周辺に存在する注意物体を検出する。例えば、注意物体のテンプレートを予め保持しておき、センサ情報において、テンプレートに対応する物体を注意物体として検出する。また、センサ情報の時系列の変化を検出することにより、移動している物体を注意物体として検出することもできる。本明細書での「注意物体」とは、例えば、車両周辺の道路上や歩道に存在する他の車両、バイク、歩行者、及び自転車の移動体、又は、信号機の状態及び交通標識の交通規則に関連するもののことである。つまり、注意物体とは、運転者が、接触等を避けて車両を運転するために、把握しておくことが望ましい物体である。
注意物体の検出個数(例えば、自車両周辺の他車両の数)は、車両周辺の状況に応じて変化する。複数の注意物体を検出する場合も当然ありえる。
ここで、注意物体検出部2は、検出された注意物体の情報から注意物体リストを作成する。注意物体の情報は、物体のID、注意物体の位置、注意物体の状態等を含む。この注意物体リストは、ステップS50の情報決定で使用される。処理の詳細については後述する。
ステップS30では、生体信号検出部3にて、運転者7の脳波が取得される。「脳波」は、頭部の2点間の時間的な電位変化のことである。脳波は、一般的には頭部に装着された脳波計により計測可能である。脳波計は運転者が装着する必要があるが、脳波計のデバイスは小型化や簡易装着化が進み、容易な装着が可能になりつつある。
ステップS40では、注意量推定部4にて、ステップS30で計測された脳波信号から注意散漫度合いを推定する。ここで、「注意散漫度合い」とは、運転者が車内にいる時に行う全ての作業のうち、運転にどれだけ注意が配分できているかを示す指標を示す。注意の配分を考慮するので、覚醒度が高い場合でも例えば会話に夢中になっている場合などは運転への注意が配分できていないと判定される。処理の詳細については後述する。
ステップS50では、情報決定部5にて、運転者7に呈示すべき情報の決定を行う。ステップS20で検出された注意物体のうち、ステップS40で推定された注意量に基づき、どの物体に関してどのように注意喚起をするかを決定する。基本的には注意散漫時には、運転者7は運転に十分な注意を配分するため注意喚起をする物体を少なくする等の呈示すべき情報の決定を行う。注意喚起の方法の詳細については後述する。
ステップS60では、出力部6にて、注意喚起の情報として、情報決定部5で決定した情報を運転者に呈示する。出力部6は、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部6は、画像情報や音声情報によって注意喚起情報を呈示する。
以上のような流れにより安全運転情報制御が行われる。以下、順に各ステップでの詳細な流れについて説明する。
(注意物体検出部2の説明)
まず注意物体検出部2の処理の説明を図3のフローチャートを用いて行う。ここでは、入力部1のセンサが画像センサである場合の処理について説明する。
まず注意物体検出部2の処理の説明を図3のフローチャートを用いて行う。ここでは、入力部1のセンサが画像センサである場合の処理について説明する。
ステップS21では、注意物体検出部2は、入力部1で計測された周辺状況の情報を受け付ける。ここでは、入力部1が画像センサであるため、周辺状況の情報として画像情報を受け付ける。以下では、画像情報がセンサ値である場合を説明するが、入力部1で計測された周辺状況の情報であれば適用可能である。
ステップS22では、注意物体検出部2は、受け付けた画像センサ値と前回の画像センサの値との差分情報が計算する。そして、注意物体検出部2は、計算した差分情報から前回の画像センサ値から変化している部分や領域を検出する。前回の画像センサの値は、注意物体検出部2が保持するセンサ記憶部に記憶している。
車両に画像センサが搭載されている場合には、車両の動きに合わせて画像全体に差分が出る場合もあるので、動きの影響分を補正した上で画像中での物体の対応関係が算出されなければならない。
ステップS23では、注意物体検出部2は、差分情報から、注意物体であるか否かを認識する。
注意物体検出部2は、注意物体毎の画像情報(形状又は色の情報などを含む)を記憶する物体情報記録部を保持している。注意物体検出部2は、ステップ22で検出した変化している部分又は領域に該当する部分と、物体の画像情報とをパターンマッチングすることにより、注意物体を認識する。
また、注意物体検出部2は、これまで認識した注意物体の情報を記憶する認識物体記憶部を保持する。注意物体検出部2は、これまで認識した注意物体の情報を参照して、認識した注意物体が、これまで認識されていなかった新しい物体又は既に認識された物体かを認識する。これまで認識されていなかった新しい物体の場合、図5に示す注意物体リストに、注意物体の物体に関する情報を保存する。
次に、注意物体検出部2は、差分情報を用いて、物体認識部203が認識した物体の移動情報を抽出する。
差分情報は画像の変化を表しているので、(1)信号の色が変わった場合、(2)注意物体の前後左右への移動によって物体のサイズや位置が変化した場合、(3)建物の蔭などの死角から車が現れるなど新たに注意物体が発見された場合、などの情報が検出される。これらの差分情報から、上記の分類をすることが認識処理となる。
具体的な認識処理の例について、説明する。
物体情報記録部に物体の色情報を含む物体の画像情報を記憶しておく。この画像情報を用いて、注意物体検出部2が、色が異なる信号をそれぞれ認識する。注意物体検出部2は、色の異なる信号をそれぞれ認識した結果から、(1)信号の色が変わった場合を検出する。さらに、この信号の色が変わったことを検出した場合、注意物体リストの状態として記憶する。図5の注意物体リストの例では、ID17の信号機の状態欄に記憶している。
また、注意物体検出部2は、物体の画像情報を拡大縮小させて、差分情報と物体の画像情報とをパターンマッチングする。注意物体検出部2は、このパターンマッチング時の物体の画像情報を拡大縮小したか否かの情報を受付け、注意物体のサイズの変化を検出する。さらに、注意物体検出部2が認識した物体が既に認識した物体であり、かつ、前回物体を認識した時に用いた画像情報より今回物体認識した時に画像情報が拡大されていた場合には、認識した物体の状態を(接近中)と検出する。
また、物体情報記録部に、建物などの死角となる高さや幅を有する物体の位置情報を「死角」というフラグと対応付けて記憶しておく。そして、物体情報記録部が新しい物体を認識した場合、注意物体検出部2は、死角と対応付けられた建物の位置情報と新しい物体の位置とが近い位置(例えば、3m以内)であれば、死角から現れた注意物体であると検出する。
以下、注意物体を検出する状況の例を示す。図4に、交差点での右折時に交差点の周辺に注意物体が散在する状況を示す。注意物体検出部2の出力結果として、図4で枠によって囲まれて表示されている注意物体を表示する。図4では、例えば、他の車両や歩行者、自転車や、信号が注意物体として表示されている。これらの注意物体は、注意物体検出部2の記録部の注意物体リストとして保存される。
(注意物体リスト)
注意物体リストの例を図5に示す。図5に示すように、注意物体リストでは、注意物体を順に通し番号(ID)を付与して記録している。例えば、ID11番の物体は、自転車である。その位置は、自車の向いている方向を0°とした場合に左20°の方向で15m先に存在している。その物体の状態は、自車に「接近中」となる。
注意物体リストの例を図5に示す。図5に示すように、注意物体リストでは、注意物体を順に通し番号(ID)を付与して記録している。例えば、ID11番の物体は、自転車である。その位置は、自車の向いている方向を0°とした場合に左20°の方向で15m先に存在している。その物体の状態は、自車に「接近中」となる。
注意物体リストにおける物体の位置及び状態は、注意物体検出部2が検出して、注意物体リストに記録する。
自車両から物体への方向(物体の方向)は、例えば、画像情報における位置と自車両の位置との対応関係を参照して、物体認識部203が認識した物体がどの方向に存在するかを求める。
また、自車両と物体との距離(物体の距離)は、例えば、画像情報における距離と物体との距離の対応関係を参照して、物体認識部203が認識した物体と自車両との距離を求める。
画像情報における位置と自車両の位置との対応関係、及び画像情報における距離と物体との距離の対応関係は、予め求めておく。
また、物体の時系列の情報等を参照して、物体の状態を求める。例えば、前回求めた物体の位置より今回求めた物体の位置が短くなっていた場合には、(接近中)と求められる。また、接近中については、パターンマッチング時の物体の画像情報を拡大縮小したか否かの情報からも求めることができる。また、物体の距離の変化が小さくなっている場合には、(減速中)と求められる。なお、物体の状態を物体の位置情報から求める場合には、自車両の速度による物体の位置情報の変化分を除いて、物体の状態を求める必要がある。
(注意物体リストの順番)
注意物体リストでは、運転者が注意する必要の高い物体から順番に並べることもできる。注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
注意物体リストでは、運転者が注意する必要の高い物体から順番に並べることもできる。注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
まず、注意物体の状態、注意物体の位置、物体のいずれかを優先して決める。例えば、車両に接近する可能性が高い注意物体を、運転者が注意する必要の高い物体とする場合を考える。
注意物体の状態において、接近中、減速中、停止中の順番で優先順位を高くする。つまり、停止状態に対して、移動している状態の優先順位を高くする。次に、注意状態が接近中の注意物体の中で注意物体の距離が小さい注意物体が注意する必要が高い物体として、その注意物体の優先順位を高くする。注意状態が減速中、停止中の注意物体においても、それぞれ同様に注意物体の優先順位を高くする。このようにして、注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
なお、注意物体の位置による注意物体順番を決める際に、自車両の前方に存在する注意物体を、より注意すべき物体であるとして、自車両の前方以外に存在する注意物体より、優先順位を高くすることもできる。自車両の前方以外に存在するか否かは、例えば、左右30度以内又は左右90度以内などの注意物体の方向に基づいて、自車両の前方に存在する注意物体として判定する。
なお、ここで説明した注意物体検出の処理のフローは一例である。様々な物体検出手法が開発されており、注意物体検出部2の出力が注意を配分すべき物体のリストである限りにおいては、それらの手法が適用できる。また、センサについてもカメラ等の撮像手段以外にも、レーザレーダやミリ波レーダなども使用可能である。
(注意量推定部4の説明)
次に、注意量測定部4の処理を図6のフローチャートに基づき説明する。また同時に図7の処理の例も説明する。なお、図7の波形は説明のために擬似的に作成した。
次に、注意量測定部4の処理を図6のフローチャートに基づき説明する。また同時に図7の処理の例も説明する。なお、図7の波形は説明のために擬似的に作成した。
ステップS41では、注意量測定部4は、生体信号計測部3にて取得された脳波を受け取る(図7の脳波21)。どの範囲の脳波21を受け取るかは運転者の状況等によって異なるが、例えば所定の時間前からその時点までの一定時間、例えば5分前から現在までの5分間の脳波データ等が取得される。なお、生体信号計測部3が測定した全ての脳波信号を取得しても良い。
また、このとき脳波データとともに、運転者が行う作業をイベントと捕らえ、そのイベントのタイミングを示すトリガ22も同時に脳波データに付随しているものとする。
ここでは、脳波21のうち事象関連電位を用いた例を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。また、「イベント」とは、事象関連電位の計測に必要な計測開始点のことである。例えば、注意散漫を計測するために用いる事象関連電位の起点としては、カーナビから音声や効果音が発生した時、各種車内ディスプレイに呈示される情報が表示された時などが使用可能である。
ここで、脳波データに付随しているトリガ22を作成について説明する。音声や効果音が発生した時刻をカーナビから注意量測定部4が取得する。そして、この音声や効果音が発生した時刻と脳波21を測定した時刻とを対応付けることにより、トリガ22を作成する。または、音声や効果音が発生した時刻をカーナビから生体信号計測部3が取得することにより、トリガ22を作成しても良い。つまり、音声や効果音が発生した時刻と脳波21を測定した時刻とを対応づけることにより、トリガ22を作成する。
またトリガ22は、脳波計測の時の脳波以外のチャンネルに記録してもよいし、時間的な同期を取って別の記録手段に記録されていてもよい。
ステップS42では、注意量測定部4が、ステップS41で取得したデータからトリガ22が抽出する。注意配分の推定には、例えば事象関連電位のP300成分の頂点の振幅などが用いられ、その事象関連電位を取得するための起点を示すトリガ22が必要になる。トリガ22は、どの時間にどのイベントが発生したかの情報を含む。ステップS41で取得した脳波には、複数のイベントに対する複数のトリガ22が含まれている。
ここで、「P300」とは、ある事象を起点とした200ミリ秒から400ミリ秒における脳波信号において、陽性(正の方向)に振幅のピークを有する事象関連電位をいう。陽性に振幅のピークとは、極大値を含む。
ステップS43では、注意量測定部4が、波形の切り出しを行う。ステップS42で抽出されたトリガ22のタイミングを用いて、そのタイミングから例えば−200ミリ秒から600ミリ秒などの範囲で脳波データが事象関連電位23として切り出される。この切り出し範囲は、使用したい事象関連電位の性質等に応じて変更すればよい。ここで、「−200ミリ秒」とは、トリガ22のタイミングより200ミリ秒前の時点を示す。
ステップS44では、注意量測定部4が、ステップS43で切り出された脳波データの振幅を算出する。イベントに対するP300信号を使用する場合では、例えば200ミリ秒から500ミリ秒の範囲の中で陽性に最も大きな値をとった場合の電位の値を用いる方法などが考えられる。ある事象に対する注意の量と、振幅の大きさは関係があるとされ、注意の量が大きいほど、振幅も大きくなるとされる(非特許文献1参照)。ここで算出された振幅は、ステップS46での処理のために、いったん注意量測定部4の記録部等に記録される。なお振幅の算出は、波形の加算平均を行った後に求める方法も考えられる。
振幅に基づいて注意量を判定する例としては、例えば前方車のブレーキに対する事象関連電位の振幅が所定の閾値以上の場合(閾値を含む)には、運転に対して集中していると判定できる。一方、例えばカーナビの動作に対する事象関連電位の振幅が大きい場合には、カーナビに対しては注意が向けられたが、その分運転そのものには注意が向けられてなかったと判定を行う。カーナビの事例は、プローブ刺激法(非特許文献1)の考え方にしたがって判定を行ったものである。
ステップS45では、注意量測定部4が、すべてのトリガに対する処理が完了したかが判断される。もしもすべてのトリガに対する処理が完了していれば、YESとしてステップS46に進み、まだ完了していない場合にはNOとしてステップS42に進む。
ステップS46では、注意量測定部4が、ステップS44にて複数の波形に対する複数の振幅データがそろった時点で、その値の平均24を算出する。脳波は、各単独試行でのばらつきが大きいので、加算平均をすることで、その安定した波形24と振幅25を算出できる。
ステップS47では、注意量測定部4が、ステップS46で算出された振幅の平均値と注意配分量との関連付けを行う。振幅の平均値が大きい場合には注意配分量も大きいと判定される。この判定結果は、注意配分が十分であるか、不十分かの2状態に分離しても良いし、振幅量に応じた注意配分量が得られると考えて、注意配分量を連続値で出力しても良い。
(注意散漫の考え方説明)
ここで、本願発明者らの注意散漫状態の考え方と注意量について図8を用いて説明する。
ここで、本願発明者らの注意散漫状態の考え方と注意量について図8を用いて説明する。
本願発明では、注意を量として考える。図8(a)のように、現在の注意量は円筒に蓄えられた水のように量とする。このとき円筒の容量が、その運転者が持ちうる注意量の最大値になる。そして、蓄えられた水が注意量に相当すると考える。この量は集中度合いや覚醒度によって上下すると考える。
例えば、図8(a)の場合には、円筒には70%の水が入っているため、70%の注意量があるとする。この数値は注意配分の概念説明のために便宜的に付与した。この注意量がその時の運転者が行う作業に配分されると考えている。図8(b)においては、音楽を聴きながら運転をしている場合、例えば運転に全体の50%の注意が配分され、音楽に20%の注意が配分されていると考えられる。この配分であれば、運転者は音楽を楽しみながら安全運転が遂行できている。
この考え方において、安全運転が遂行できない状況は2通りある。図8(c)は眠気が強くなった場合の注意配分を示しており、覚醒度が低下して注意量自体が低下したために、安全運転に必要な注意量(50%)が確保されずに注意喚起が必要な状況である。一方、図8(d)では注意量は十分にあるが、電話応対に注意が多く(50%)取られ、運転への配分が十分でなくなった場合である。この場合を本願明細書においては注意散漫状態と呼ぶ。この場合、眠気はないので図8(c)とは別の注意喚起方法が必要になる。
(これまでの実験例)
この考えに基づき、本願発明者らが実施した運転に対する注意量の計測実験を2つ示す。一つ目は事象関連電位によるもので、もう一つは眼球停留関連電位を使用した場合である。
この考えに基づき、本願発明者らが実施した運転に対する注意量の計測実験を2つ示す。一つ目は事象関連電位によるもので、もう一つは眼球停留関連電位を使用した場合である。
(事象関連電位による注意量の推定実験)
まず事象関連電位に基づく注意量推定の実験を説明する。この実験によって、本願発明者らは事象関連電位によって注意量が計測できること、特に周辺視野領域に発生する刺激に対しての事象関連電位の振幅が大きいことを見出した。以下にその実験の詳細を述べる。
まず事象関連電位に基づく注意量推定の実験を説明する。この実験によって、本願発明者らは事象関連電位によって注意量が計測できること、特に周辺視野領域に発生する刺激に対しての事象関連電位の振幅が大きいことを見出した。以下にその実験の詳細を述べる。
被験者は男性1名、女性3名の合計4名で、平均年齢は21±1.5歳である。図9を用いて実験内容を説明する。被験者に2つの課題を並行して実施してもらう二重課題法による実験を行った。第1の課題は、図9の71に示した画面中央に呈示される記号(○/△/□/×)の切り替わり回数を頭の中で数える課題である。第2の課題は、図9の72に示した周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す課題である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の2つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示できるようにするために、20インチのディスプレイを3台横に並べ、被験者と画面との距離は60cmとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
また、被験者は脳波計(ティアック製、ポリメイトAP−1124)を装着し、電極の配置は国際10−20電極法を用い、導出電極をPz(正中頭頂)、基準電極をA1(右耳朶)、接地電極を前額部とした。サンプリング周波数200Hz、時定数3秒で計測した脳波データに対して1〜6Hzのバンドパスフィルタ処理をかけ、周辺ランプ点滅時を起点に−100ミリ秒から600ミリ秒の脳波データを切り出し、−100ミリ秒から0ミリ秒の平均電位でベースライン補正を行った。
図10に上記の処理を行った後の、以下に述べる2つの条件ごとの脳波データの全被験者の加算平均波形を示す。
第1の条件は視野領域である。本実験では、図9に示すように、視角(被験者の眼の位置と画面中央の注視点までを結んだ線と、被験者の眼の位置と点滅ランプまでを結んだ線とが交差する角度)が0度以上10度未満を領域1とし、10度以上20度未満を領域2とし、20度以上を領域3として分類した。
第2の条件は被験者のボタン押し反応時間である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされている。
本実験ではボタン押し反応時間を注意量の指標とした際の脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ400ミリ秒〜600ミリ秒の間に非常に多くのサンプルが存在していた。そのため、600ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、600ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして分類した。図10の各々のグラフは横軸がランプ点滅時を0ミリ秒とした時間(潜時)で単位はミリ秒、縦軸は電位で単位はμVである。また、各グラフ内で表記された数字(N)は各々の加算回数を表している。
図10から、反応時間が速い場合、すなわち注意量が大きい場合(図10の(a)〜(c))は、視野領域に関わらず、潜時300ミリ秒から500ミリ秒の間の陽性成分であるP300の振幅が大きくなっていることが分かる。図10の(a)〜(c)におけるP300の最大振幅(81(a)〜(c))はそれぞれ20.3μV、19.6μV、20.9μVである。一方、反応時間が遅い場合、すなわち注意量が小さい場合(図10の(d)〜(f))は、P300の振幅が相対的に小さくなっている。特に、視覚20度以上である領域3(一般的に周辺視野とされている領域)で且つ注意量が小さい場合(図10の(f))に、P300の振幅が大幅に減少していることが分かる。図10の(d)〜(f)におけるP300の最大振幅(81(d)〜(f))はそれぞれ13.6μV、13.2μV、2.5μVである。
図10の各々の条件におけるP300最大振幅を図11に示す。横軸は視野領域の領域1/領域2/領域3であり、縦軸は電位で単位はμVである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差(91(a)〜(c))はそれぞれ6.7μV、6.4μV、18.4μVである。図11からも領域によらずP300の最大振幅には注意状態によって差が見られること、中でも視覚20度以上である領域3(周辺視野領域)で差が大きいことがわかる。
(眼球停留関連電位による注意量の推定実験)
次に、眼球停留関連電位による注意量推定における生体信号計測部3および注意量推定4の構成と本願発明者らが行った実験結果について示す。
次に、眼球停留関連電位による注意量推定における生体信号計測部3および注意量推定4の構成と本願発明者らが行った実験結果について示す。
「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動(サッケード)の終了時点、すなわち眼球停留の開始時点に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、眼球の停留時点より約100ミリ秒付近に後頭部で有意に出現する正の成分を「ラムダ反応」といい、視対象に対する注意集中度によって変動することが知られている。
図12を用いて、眼球停留関連電位計測のための構成について説明する。眼球停留関連電位を用いる場合の運転支援装置の基本的な構成は図1に示した構成と同じであり、眼球停留関連電位の処理の特徴が現れる部分のみ生体信号検出部3aと注意量推定部4aとして説明する。
図12において生体信号検出部3aは、脳波計測と眼電計測の両方を担当する。眼球停留関連電位はサッケード後の眼球停留を起点とした事象関連電位の計測なので、運転者7には、あらかじめ脳波計測用の電極301と眼電計測用の電極303が装着される。眼球停留関連電位では後頭部に信号が現れるとされ、脳波計測用の電極301は、国際10−20法でOzと言われる位置(後頭部)の周辺に設置される。眼電に関してはEOG(Electrooculogram)法に基づいて計測する。「EOG法」とは、眼球の角膜が網膜に対して正に帯電する性質を利用して、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。したがって眼電計測用の電極303は、眼電位を計測可能な目の周囲に設置される。具体的には、左右の変化を捉えるために両こめかみ、上下の変化を捉えるためにどちらかの目を挟み込むように上下に設置される。
次に、脳波用電極301を介して脳波計測部302にて脳波が、眼電用電極303を介して眼電計測部304にて眼電が計測される。脳波も眼電もその大きさは異なるものの微弱な電位差を計測するものであり、発明者らが使用している脳波計(ティアック製、ポリメイトAP−1124)を含めて、脳波計の持つゲイン調整機能により、1台の生体アンプで脳波と眼電を同時に計測することが可能である。
サッケード検出部402では、眼電計測部304で計測された眼電情報を受けて、サッケードを検出し、サッケードの終了タイミングを算出し、事象関連電位検出部402に送る。
サッケードとは、眼球のすばやい動きのことで従来文献(宮田洋ら、新生理心理学1、1998、p256、北大路書房)によれば、サッケードに要する時間は通常20〜70ミリ秒で、サッケードの速度は視角で表すと300〜500度(degrees)/秒であるとされている。したがって、眼球の運動方向が所定時間(例えば、20〜70ミリ秒)連続して同じであり、かつ当該所定時間の平均角速度が300度(degrees)/秒以上である眼球運動をサッケードとして検出することができる。
サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを1つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算してから当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
事象関連電位抽出部401では、脳波計測部302から脳波データを、サッケード抽出部402からサッケード終了時点の情報を受けて、サッケード終了時を起点とした事象関連電位を抽出する。
この処理について図13のフローチャートおよび図14の処理例を用いて説明する。
ステップS71では、眼電計測部304にて眼球運動データ81の読み出しを行う。
ステップS72では、サッケード抽出部402にて眼球停留開始時点を抽出する。
ステップS73では、脳波計測部302にて、脳波データ82の読み出しを行う。
ステップS74では、事象関連電位抽出部401にて、脳波データの切り出しを行う。具体的にはステップS72で抽出した眼球停留開始時点を起点とし、起点より例えば−300ms〜600msの事象関連電位を抽出し、最終判定で加算を行うために保存しておく。
ステップS75では、ラムダ反応注意推定部403にて、ラムダ反応振幅値を算出する。これは判定対象時区間に得られた複数の事象関連電位を加算平均し、その加算平均波形に対するラムダ反応振幅値を算出するものである。図14に、判定対象時区間83(a)〜(d)の例を示す。判定対象時区間は現在時刻Taから過去TW(秒)遡った範囲とし、更にTS(秒)後に再度このステップS72が実行される場合には現在時刻Tb(=Ta+TS)から過去TW(秒)遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
図15は、本願発明者らが実験により取得した眼球停留関連電位の波形例である。これは後頭部で計測された全被験者12名分の各波形を加算平均した波形で、グラフにおいて、横軸は眼球停留の開始時点を0ミリ秒とした時間(潜時)を示しており、単位はミリ秒である。また、縦軸は電位(EERPの振幅)を示しており、単位はμV、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態(すなわち注意散漫状態)の眼球停留関連電位を示している。
図15のグラフによれば、眼球停留開始時より約100ミリ秒付近に出現する正の成分(ラムダ反応)は、運転集中時にその振幅が3.4μVと大きく、注意散漫時に1.2μVと小さくなっており、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
(実験結果のまとめ)
以上で本願発明者らが実施した実験結果で示したように、運転に対する注意量は脳波計測によって推定可能であることが明らかになった。
以上で本願発明者らが実施した実験結果で示したように、運転に対する注意量は脳波計測によって推定可能であることが明らかになった。
(情報決定部5の説明)
次に、情報決定部5の処理を図16のフローチャートと図17の情報呈示の制御の例を用いて説明する。
次に、情報決定部5の処理を図16のフローチャートと図17の情報呈示の制御の例を用いて説明する。
ステップS51では、情報決定部5が、注意物体検出部2より注意物体の情報を取得する。例えば、注意物体の情報として、複数の注意物体が記録されている注意物体のリストを取得する。図4の状況では、図5に示すリストが注意物体のリストとして取得される。
ステップS52では、情報決定部5が、注意量推定部4より現在の運転者7の注意状態を取得する。注意状態とは、運転者7が運転という行為に対して注意散漫かどうかの評価結果である。
ステップS53では、情報決定部5が、ステップS52で得られた運転に対する評価結果が注意散漫かどうか判定する。注意散漫であると判定された場合にはYESとして、ステップS54に進み、注意散漫でないと判定された場合にはNOとして、ステップS55に進む。
ステップS54では、運転者7は多くの注意喚起情報を視認する余分な注意資源がないため、情報決定部5が、運転者に表示する注意物体の個数を減らす。例えば、最大表示個数を3から1に減らす。その後、ステップS56に進む。
ステップS55では、運転者7は多くの注意喚起情報を視認する注意資源の余裕があるため、情報決定部5が、運転者に表示する注意物体の個数を増やす。例えば、最大表示個数を3から4に増やす。ここで、最大表示個数とは、同時に注意物体を呈示できる個数を示す。
なお、最大表示個数は必ずしも4個に限るものではなく、運転者の認知能力によって適切に設定されればよい。運転者が一度に情報を認知して保持できる個数は、人の短期記憶の容量と関係があり、一度には5〜9個の情報しか保持できないとされる。このため余裕を持たせる意味でもここでは4個と設定した。また、ステップS54及びステップS55において、表示個数を減らす又は表示個数を多くするとは、所定の表示個数を決めておき、所定の表示個数から減らす又は多くするということも示す。つまり、通常3個の情報を呈示すると決めておき、ステップS53の注意散漫かどうかの判定結果に基づいて、表示個数を減らす又は多くする。
ステップS56では、情報決定部5が、ステップS51で取得した注意物体のうち、表示する物体を決める。ここで、表示すると決定する物体の個数は、ステップS54又はステップS55で決めた最大表示個数以下の個数である。本実施の形態では、注意物体のリストは、視認すべき順番に並べてあるため、上から順に最大表示個数までの物体を注意喚起物体として決定して、処理を終了する。注意物体のリストに掲載される物体の数が最大表示個数に届かない場合には、注意物体のリストに掲載された全ての物体が注意喚起物体になる。情報決定部5は、決定した呈示する物体の情報を出力部6に送信する。
なお、上記のフローチャートでは運転者7の注意状態は、散漫か散漫でないかの2状態の場合の説明をしたが、注意量が連続値を取ることも可能である。この場合には、ステップS55では、情報決定部5が記憶している予め定めた事象関連電位の振幅と最大表示個数(運転者に呈示する注意物体の最大個数)との関係を参照して、注意量に対応した表示個数を設定すればよい。例えば、事象関連電位の振幅に対応して、注意量が0〜1.0の間で求められた場合には、注意量の10倍を最大表示個数に設定するなどである。こうすると、運転者7の注意量に応じて、最大表示個数は0〜10の間で変化することになる。予め定めた事象関連電位の振幅と最大表示個数との関係とは、事象関連電位の振幅毎に最大表示個数と対応させたテーブル、又は注意量の10倍を最大表示個数とする規則などである。
なお、本発明の対象にしている注意物体は、危険が差し迫っているような物体は含まないことを想定している。それは、前方車との車間距離がとても近い場合等の危険が想定される状況では、注意喚起の情報呈示よりも、より強力な安全運転支援手段が必要と考えられる。このように危険度が高い場合には、危険であることを注意喚起ではなく、警告として表示したり、事故に至る直前では、シートベルトを事前にロックしたり、ブレーキの効きを良くする等のより積極的な支援が必要になる。
図17を用いて、情報呈示個数の違う場合の例を示す。図17には、注意物体検出部2によって作成された注意物体のリストを示す。このリストは、ドライバに情報を呈示したい順番に優先度付けが既になされているとする。例えば、図4の状況において前方で接触の可能性の高いものから順位付けをしてあると考えてよい。
ここで集中時には、運転以外にも安全運転支援システムが提供する情報を視認する余裕があるために、この場合には4個の情報が提供可能と判断されて、上位から4つの情報が呈示され、反対に注意散漫時には、運転そのものに配分される情報が少なく、新しい情報を視認する余裕が少ないと判断されて、注意喚起を行う物体は1つとなる。
(出力部6の説明)
出力部6では、情報決定部5で算出された、注意喚起物体を表示する。表示方法としては、フロントガラスをスクリーンとして、物体体が存在する位置に枠を重畳して表示する方法や、カーナビ等の画面に画像センサで取得した画像を表示した上に、物体の上に枠をつけるなどの方法がありえる。
出力部6では、情報決定部5で算出された、注意喚起物体を表示する。表示方法としては、フロントガラスをスクリーンとして、物体体が存在する位置に枠を重畳して表示する方法や、カーナビ等の画面に画像センサで取得した画像を表示した上に、物体の上に枠をつけるなどの方法がありえる。
以上のような処理によって、脳波信号から運転者の注意状態が分類され、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
なお、入力部1の周辺状況監視のセンサは、車両本体に必ずしも設置される必要はない。例えば、交差点においては信号機等に周辺を監視する画像センサや車両センサの設置も可能で、この場合には信号機に設置されたセンサの情報を通信によって受信する方法もある。
なお、従来の安全運転支援システムのうち、緊急度が高い状況や物体を検出して表示する安全運転支援システムとは共存が可能である。本発明の対象とする注意物体とは、運転者7が把握しておくことが望ましい車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車、信号機の状態や交通標識のことであり、緊急度が高い物体に関する情報呈示とは異なるためである。緊急度が高い物体に対しては、注意喚起というレベルよりもよい緊急度が高い警告としての情報呈示が有効である。例えば、輝度を上げる、警告音と同時に呈示する等の強調表示である。この場合には、本発明の注意喚起システムの動作の優先順位は低いとして、動作を止めればよい。
なお、表示方法において注意散漫の場合には、注意喚起物体を少なくした上で、その注意喚起の刺激強度を高くする方法もある。例えば、注意喚起の物体を枠表示する場合の枠の輝度や色彩をより目立つものに変更するなどである。こうすることで、注意喚起の個数は少ないまま確実に視認してもらえる効果がある。また、刺激の強度を高めることで、注意喚起物体の情報の伝達が確実になるだけでなく、覚醒レベルを高める効果がある。覚醒レベルが高まると、注意資源そのものが高まる可能性があり、安全運転が可能になる。
(実施の形態2)
本実施の形態2では、脳波の事象関連電位を用いてどの物体に、どの程度注意が配分されているかを判定することで、より正確な注意喚起のための物体を選定する。
本実施の形態2では、脳波の事象関連電位を用いてどの物体に、どの程度注意が配分されているかを判定することで、より正確な注意喚起のための物体を選定する。
図18は、本発明の実施の形態2における運転支援装置の構成図である。図18は図1を変形したものであり、図1と同じブロックについては同一の参照符号を付し、その説明は省略する。実施の形態1と異なるブロックは注意量推定部4b、情報決定部5b、及び出力部6bである。以下、これらのブロックの詳細動作を中心に説明する。
出力部6bは、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部6bは、注意喚起情報として、画像情報や音声情報を運転者に呈示する。例えば、注意喚起情報の物体の周囲に枠を表示したり、注意喚起情報の物体を点滅させることにより、画像情報として注意喚起情報を呈示する。また、注意喚起情報の物体の名称と場所とをスピーカにより呈示することにより、音声情報として注意喚起情報を呈示する。
図1の出力部6と異なる点は、出力部6bは、注意喚起情報として、物体を一つずつ呈示することである。また、出力部6bは、注意喚起情報を呈示した時刻を、注意量推定部4bに伝達する。
注意量推定部4bは、図1の注意量推定部4と同様に注意状態の推定を行う。注意量推定部4bでは、車両周辺の注意喚起物体ごとの事象関連電位に基づき、注意量の評価を行う。
注意量推定部4bは、出力部6bから、注意喚起を行った注意喚起物体とその注意喚起を行った時刻の情報が得られる。よって、注意喚起を行った時刻を起点とした事象関連電位の抽出が可能になる。すでに実験結果を説明したように、事象関連電位の反応によって注意状態が判定できるため、この事象関連電位の振幅によってそれぞれの注意量が推定できる。
情報決定部5bでは、注意量推定部4bで推定された注意喚起物体ごとの注意量にしたがって、注意量が低いものから順に再度注意喚起を行う。
このような構成で処理される運転支援装置の全体のフローチャートについて図19を用いて説明する。図19は図2の一部を修正したものであり、図2と同じ処理のステップについては同一の参照符号を付し、その詳細な説明を省略する。また、データ表現の例として図20も併用する。
ステップS10では、センサ等により車両の周辺状況の情報を取得する。
ステップS20では、車両の周辺状況の情報から、注意物体のリストを作成する。これは、図20では自転車や歩行者等7つの注意物体のリストが作成されている。
ステップS30では、脳波を計測する。この場合には、出力部からの注意喚起出力を起点とした事象関連電位を計測する。
ステップS40aは、注意量推定部4bにて、注意量を推定する。事象関連電位の振幅が所定の閾値以上の場合(閾値を含む)、対応する注意喚起物体に対して注意が十分に配分されていると判定する。また、事象関連電位の振幅が小さい場合、対応する注意喚起物体に対して注意が十分ではないと判定する。
図20の例では、注意喚起物体に対する最初の注意喚起物体に対する事象関連電位の振幅が列31に示されている。値は説明のために仮想的に設定したものである。数値がなく「未計測」と表示されている部分はまだ注意喚起が行われていない物体である。事象関連電位の振幅は様々な値をとりうるため、例えば、図11の実験結果等を踏まえると閾値を15μVに設定するとその上下で、注意量の大小が判定できることになる。この基準で判定したのが、推定された注意状態の列32で15μV以上のところは集中していると判定される。
また、列32でID11の自転車に対しては、0.6μVの振幅が確認されている。これは集中状態と判定されておらず、運転者7は注意喚起情報を正しく認識しなかった可能性がある。このため、列33において注意喚起表示が必要と判定され、「○」がつけられている。
ステップS50aで、情報決定部5が、注意喚起を行う物体を決定する。図20の列33を参照し、ID11の自転車やID13の車の陰のバイク等に対する喚起が必要であると決定する。例えば、喚起が必要であると決定した物体のうち、予め定められた最大表示個数以下の物体を呈示すると決定する。
ステップS60aで、決定した物体を運転者に提示することによって、注意喚起表示を行う。事象関連電位の抽出のために、物体を提示した時刻(タイミング)を、注意量推定部4bに送る。
このような処理によって、注意喚起物体ごとの注意量を算出して、注意喚起の必要性の有無を決定できる。
なお、ステップS50aにおいて、注意物体リストのうち集中していると推定された注意物体の数が、所定の数以上(閾値を含む)の場合には、最大表示個数を増やすことができる。そして、増やした最大表示個数に応じて、注意喚起を行う物体を決定する。一方、注意物体リストのうち集中していると推定された注意物体の数が、所定の数より少ない場合には、最大表示個数を減らし、その最大表示個数に対応する注意喚起を行う物体を決定する。
また、注意物体リストのうち集中していないと推定された注意物体の数が、最大表示個数よりも大きい場合には、例えば、左右45度以内、かつ30m以内に存在する集中していないと推定された全ての注意物体を呈示することができる。呈示の方法としては、注意物体ごとに枠で囲んで呈示しても良いが、左右45度以内、かつ30m以内の範囲全体を枠で囲んで呈示する。
注意物体リストのうち集中していないと推定された注意物体の数が多くなる場所として、注意物体の数が非常に多い交差点や交通量の多い場所等が考えられる。このような運転者が注意すべき物体が多く、又はその注意すべき物体が時々刻々変化していく。したがって、制限した範囲の注意物体を呈示することによって、運転の集中を妨げず、安全運転に必要最小限の部分を呈示することができる。
以上のように本実施の形態2によれば、注意物体に対する注意喚起表示に対する事象関連電位の分析により、注意物体ごとの運転者7の視認状況が把握できるために、運転者7がまだ視認していない注意物体にのみ注意喚起の情報が提供できるので、運転の妨げをせず、安全運転に集中できる。
なお、本実施の形態2の注意量推定部4bでは、各物体に対する注意喚起表示1回に対する事象関連電位に対して注意散漫判定を行った例について説明した。脳波はノイズ成分を含むため、より正確に判定を行いたい場合には、同一物体に対して複数回の注意喚起表示を行いその事象関連電位を加算平均した後に、判定を行ってもよい。この場合、各物体に対する注意状態の判定に要する時間は延びるため、アプリケーションによって、加算回数は調節すると良い。
なお、実施の形態に対しては、注意喚起出力をトリガとした事象関連電位を用いて注意喚起物体ごとの注意量の推定を行ったが、トリガは注意喚起出力には限定されない。
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅は注意量のみに影響を受けるわけではない。注意喚起物体に対する注意喚起を初めて見た場合には、その事象関連電位の振幅は大きいことが想定されるが、同一物体に対する2回目の注意喚起に対する振幅は、1回目よりも小さいことが想定されるので、その減少分も想定した判定が必要である。
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅が小さいときには注意が散漫になっている場合以外にも、見落としていて注意喚起刺激を受けていない場合も考えられる。このどちらの場合も、再度注意喚起が必要な状況であることには代わりがないので、情報決定部5bで注意喚起をする決定を行えばよい。
本発明にかかる運転支援装置は、安全運転を行うための情報呈示が必要な分野で幅広く利用可能であり、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラックやタクシーやバスの運転者、車でなくても、電車や飛行機や船舶の操縦者、工場等のプラントの監視者等、運転や操作等の安全に運転を行うための大量の情報を選別する必要がある場合に利用可能である。
1 入力部
2 注意物体検出部
3 生体信号検出部
4 注意量推定部
5 情報決定部
6 出力部
7 運転者
11 自転車
12 歩行者
13 バイク
14 歩行者
15 対向車
16 歩行者用信号機
17 信号機
21 脳波波形
22 トリガ
23 事象関連電位
24 加算平均後の波形
25 事象関連電位の振幅
2 注意物体検出部
3 生体信号検出部
4 注意量推定部
5 情報決定部
6 出力部
7 運転者
11 自転車
12 歩行者
13 バイク
14 歩行者
15 対向車
16 歩行者用信号機
17 信号機
21 脳波波形
22 トリガ
23 事象関連電位
24 加算平均後の波形
25 事象関連電位の振幅
Claims (18)
- 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。 - 前記情報決定部は、予め定めた事象関連電位の振幅と運転者に呈示する注意物体の最大個数との関係を記憶しており、
前記関係を参照して、前記注意量推定部が推定した注意量に対応する運転者に呈示する注意物体の最大個数を決定し、前記最大個数以下の注意物体を運転者に呈示する注意喚起物体と決定する
請求項1に記載の運転支援装置。 - 前記注意量推定部は、事象関連電位の振幅が所定の基準より小さい場合に、運転に対する注意が散漫になっていると判定する、
請求項1に記載の運転支援装置。 - 前記注意量推定部は、運転者の周辺視野の物体に対する事象関連電位の振幅を利用する、
請求項1に記載の運転支援装置。 - 前記注意量推定部は、運転者の眼球運動に連動した事象関連電位の振幅を利用する、
請求項1に記載の運転支援装置。 - 前記情報決定部は、前記注意量推定部で前記運転者が注意散漫であると判定された場合に、前記出力部から出力する注意喚起物体の個数を減らす、
請求項1に記載の運転支援装置。 - 前記注意物体検出部は、前記車両と前記注意物体との接触危険度を算出し、前記危険度の順番に並べられたリストを作成する、
請求項1に記載の運転支援装置。 - 前記情報決定部は、前記危険度の順番に並べられたリストのうち、所定の値以上の危険度を有する注意物体がある場合には、注意喚起ではなく警告を行う、
請求項7に記載の運転支援装置。 - 前記注意物体検出部は、さらに、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報を検出し、
前記前記車両と前記注意物体との接触危険度は、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報に基づいて、算出される
請求項7に記載の運転支援装置。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量を参照して、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数に対応する個数の前記運転者に呈示する注意物体として決定する情報決定部と、
を備え、
前記情報決定部は、前記決定した注意物体を、前記運転者に呈示する出力部に送信する
運転支援装置。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を1つずつ呈示する出力部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。 - 前記注意量推定部は、前記出力部が注意物体を1つずつ呈示した時点を起点とした事象関連電位の振幅から、それぞれの注意物体毎に、前記運転者の注意配分量を推定する
請求項11に記載の運転支援装置。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
生体信号検出部が計測した前記車両の運転者の脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を1つずつ呈示する出力部と、
生体信号検出部が計測した前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
を有する運転支援方法。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を1つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
を有する運転支援方法。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
をコンピュータに実行させるためのプログラム。 - 車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を1つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010045131A JP2011180873A (ja) | 2010-03-02 | 2010-03-02 | 運転支援装置、及び運転支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010045131A JP2011180873A (ja) | 2010-03-02 | 2010-03-02 | 運転支援装置、及び運転支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011180873A true JP2011180873A (ja) | 2011-09-15 |
Family
ID=44692304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010045131A Pending JP2011180873A (ja) | 2010-03-02 | 2010-03-02 | 運転支援装置、及び運転支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011180873A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014006776A (ja) * | 2012-06-26 | 2014-01-16 | Honda Motor Co Ltd | 車両周辺監視装置 |
KR101524526B1 (ko) * | 2013-11-29 | 2015-06-01 | 국립대학법인 울산과학기술대학교 산학협력단 | 네비게이션 정보 기반 차량 충돌 방지 시스템 및 방법 |
JP2016146173A (ja) * | 2015-01-30 | 2016-08-12 | パナソニック株式会社 | 刺激提示システム、刺激提示方法、コンピュータ、および制御方法 |
JP2018047737A (ja) * | 2016-09-20 | 2018-03-29 | 日産自動車株式会社 | 運転者意図特定方法及び運転者意図特定装置 |
JP2018103859A (ja) * | 2016-12-27 | 2018-07-05 | 日産自動車株式会社 | 操舵支援方法及び操舵支援装置 |
JP2018120267A (ja) * | 2017-01-23 | 2018-08-02 | 日産自動車株式会社 | 車載用表示方法及び車載用表示装置 |
JP2019191978A (ja) * | 2018-04-26 | 2019-10-31 | トヨタ自動車株式会社 | 車両用表示制御装置 |
WO2019239459A1 (ja) * | 2018-06-11 | 2019-12-19 | 三菱電機株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
JP2020501227A (ja) * | 2016-11-07 | 2020-01-16 | ナウト, インコーポレイテッドNauto, Inc. | 運転者の注意散漫決定のためのシステム及び方法 |
CN111383480A (zh) * | 2018-12-28 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于交通工具的危险预警的方法、装置、设备和介质 |
JPWO2020240672A1 (ja) * | 2019-05-27 | 2020-12-03 | ||
JP2021524105A (ja) * | 2018-05-17 | 2021-09-09 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 自動車用のカメラモニターシステムを動作させる方法および装置 |
JP2021528628A (ja) * | 2018-04-03 | 2021-10-21 | ズークス インコーポレイテッド | センサーデータにおけるエラーの検出 |
CN114159061A (zh) * | 2020-09-11 | 2022-03-11 | 丰田自动车株式会社 | 注意力能力检查装置以及注意力能力检查方法 |
WO2022185687A1 (ja) * | 2021-03-02 | 2022-09-09 | パナソニックIpマネジメント株式会社 | 運転支援装置および運転支援方法 |
-
2010
- 2010-03-02 JP JP2010045131A patent/JP2011180873A/ja active Pending
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014006776A (ja) * | 2012-06-26 | 2014-01-16 | Honda Motor Co Ltd | 車両周辺監視装置 |
KR101524526B1 (ko) * | 2013-11-29 | 2015-06-01 | 국립대학법인 울산과학기술대학교 산학협력단 | 네비게이션 정보 기반 차량 충돌 방지 시스템 및 방법 |
JP2016146173A (ja) * | 2015-01-30 | 2016-08-12 | パナソニック株式会社 | 刺激提示システム、刺激提示方法、コンピュータ、および制御方法 |
JP2018047737A (ja) * | 2016-09-20 | 2018-03-29 | 日産自動車株式会社 | 運転者意図特定方法及び運転者意図特定装置 |
JP2020501227A (ja) * | 2016-11-07 | 2020-01-16 | ナウト, インコーポレイテッドNauto, Inc. | 運転者の注意散漫決定のためのシステム及び方法 |
JP7290567B2 (ja) | 2016-11-07 | 2023-06-13 | ナウト,インコーポレイテッド | 運転者の注意散漫決定のためのシステム及び方法 |
JP2018103859A (ja) * | 2016-12-27 | 2018-07-05 | 日産自動車株式会社 | 操舵支援方法及び操舵支援装置 |
JP2018120267A (ja) * | 2017-01-23 | 2018-08-02 | 日産自動車株式会社 | 車載用表示方法及び車載用表示装置 |
JP7140840B2 (ja) | 2018-04-03 | 2022-09-21 | ズークス インコーポレイテッド | センサーデータにおけるエラーの検出 |
JP2021528628A (ja) * | 2018-04-03 | 2021-10-21 | ズークス インコーポレイテッド | センサーデータにおけるエラーの検出 |
US11423938B2 (en) | 2018-04-03 | 2022-08-23 | Zoox, Inc. | Detecting errors in sensor data |
JP2019191978A (ja) * | 2018-04-26 | 2019-10-31 | トヨタ自動車株式会社 | 車両用表示制御装置 |
JP7063086B2 (ja) | 2018-04-26 | 2022-05-09 | トヨタ自動車株式会社 | 車両用表示制御装置 |
US11766971B2 (en) | 2018-05-17 | 2023-09-26 | Continental Automotive Gmbh | Method and apparatus for operating a camera-monitor system for a motor vehicle |
JP2021524105A (ja) * | 2018-05-17 | 2021-09-09 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 自動車用のカメラモニターシステムを動作させる方法および装置 |
WO2019239459A1 (ja) * | 2018-06-11 | 2019-12-19 | 三菱電機株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
JPWO2019239459A1 (ja) * | 2018-06-11 | 2020-12-17 | 三菱電機株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
JP7003254B2 (ja) | 2018-06-11 | 2022-01-20 | 三菱電機株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
JP2020109655A (ja) * | 2018-12-28 | 2020-07-16 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 交通手段の危険早期警告方法、装置、機器および媒体 |
US11308138B2 (en) | 2018-12-28 | 2022-04-19 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Danger warning method for vehicle, danger warning device for vehicle, and medium |
JP7222879B2 (ja) | 2018-12-28 | 2023-02-15 | アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド | 交通手段の危険早期警告方法、装置、機器および媒体 |
CN111383480A (zh) * | 2018-12-28 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于交通工具的危险预警的方法、装置、设备和介质 |
WO2020240672A1 (ja) * | 2019-05-27 | 2020-12-03 | 日本電信電話株式会社 | 移動状況学習装置、移動状況認識装置、モデル学習方法、移動状況認識方法、及びプログラム |
JPWO2020240672A1 (ja) * | 2019-05-27 | 2020-12-03 | ||
JP7176626B2 (ja) | 2019-05-27 | 2022-11-22 | 日本電信電話株式会社 | 移動状況学習装置、移動状況認識装置、モデル学習方法、移動状況認識方法、及びプログラム |
CN114159061A (zh) * | 2020-09-11 | 2022-03-11 | 丰田自动车株式会社 | 注意力能力检查装置以及注意力能力检查方法 |
JP7359112B2 (ja) | 2020-09-11 | 2023-10-11 | トヨタ自動車株式会社 | 注意能力検査装置および注意能力検査方法 |
US11819330B2 (en) | 2020-09-11 | 2023-11-21 | Toyota Jidosha Kabushiki Kaisha | Attention ability inspection device and attention ability inspection method |
WO2022185687A1 (ja) * | 2021-03-02 | 2022-09-09 | パナソニックIpマネジメント株式会社 | 運転支援装置および運転支援方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011180873A (ja) | 運転支援装置、及び運転支援方法 | |
JP4500369B2 (ja) | 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム | |
US9117124B2 (en) | Driving attention amount determination device, method, and computer program | |
JP4625544B2 (ja) | 運転注意量判定装置、方法およびプログラム | |
JP4603264B2 (ja) | 運転者注意負荷の監視と管理とを行なうシステムおよび方法 | |
US20110295086A1 (en) | State-of-attention determination apparatus, method, and program | |
JP4841425B2 (ja) | 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構 | |
KR101999211B1 (ko) | 뇌파를 이용한 운전자 상태 검출 장치 및 그 방법 | |
KR101259663B1 (ko) | 무력상태 모니터 | |
WO2015175435A1 (en) | Driver health and fatigue monitoring system and method | |
JP2012173803A (ja) | 安全運転支援装置及び安全運転支援方法 | |
JP2007183824A (ja) | 運転支援装置 | |
KR20130108778A (ko) | Ssvep 기반 차량 안전 주행 제어 시스템 및 방법 | |
JP2012085746A (ja) | 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置 | |
JP2009528600A5 (ja) | ||
Ahlstrom et al. | Measuring driver impairments: sleepiness, distraction, and workload | |
JP2018195249A (ja) | 自動車ドライバーの身体情報に対応した安全運転支援装置 | |
Jumaa et al. | Drowsiness Detection for Driver: A Review of Systems and Technologies | |
Hagenmeyer et al. | Development and application of a universal, multimodal hypovigilance-management-system | |
Miyaji et al. | Detection of hasty state by means of using psychosomatic information | |
JP2019070873A (ja) | 警告情報通知装置 |