JP2013244116A - 注意状態推定装置及び注意状態推定方法 - Google Patents

Abstract

【課題】高精度に注意状態を推定できる注意状態推定装置を提供する。
【解決手段】サッケード終了時点を基準に、所定時間における被験者の脳波信号を抽出する脳波信号抽出部１４と、被験者の眼球関連情報を用いて、被験者の注意量と抽出された脳波信号との相関を示す相関値を決定する相関値決定部１３と、相関値に応じて、抽出された脳波信号を重み付けして加算する加重平均信号算出部１５と、加重平均信号に基づいて、被験者の注意状態を推定する注意状態推定部１６と、を備える。
【選択図】図６

Description

本開示は、注意状態推定装置及び注意状態推定方法に関する。特に、被験者の脳波信号に基づいて、被験者の注意状態を推定する注意状態推定装置等に関する。

従来、注意状態（集中状態・注意散漫状態）の推定方法として、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いた研究が行われている。

「眼球停留関連電位」とは、人が作業する場合又は自由にものを見る場合における、急速眼球運動（サッケード）の終了、すなわち眼球停留の開始に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、眼球停留の開始時点より約１００ミリ秒後付近に後頭部で有意に出現する正の成分を「ラムダ反応」という。ラムダ反応は、視対象に対する注意量によって変動することが知られている。

従来の注意状態推定方法の１つとして、特許文献１に記載された方法は、ラムダ反応の振幅値（以降、ラムダ反応振幅値ともいう）により、運転中の視対象に対する注意量を計測し、運転者の注意状態を推定する（以下、従来技術１という）。

また、特許文献２に記載された従来の注意状態推定方法は、サッケードサイズ、視対象（例えば、カーナビゲーションシステムの画面、またはルームミラー）の位置、または領域毎にサッケードを分類し、分類毎に眼球停留関連電位を算出する（以下、従来技術２という）。

特開昭５５−１０１２４４号公報 特開２００７−１２５１８４号公報

上記のように、従来技術１および２は、ラムダ反応の振幅値、またはサッケードサイズを単独で用いて注意状態を推定する。しかしながら、従来の注意状態推定方法によっては、高精度に注意状態を推定することが困難であった。

本開示は、高精度に注意状態を推定できる注意状態推定装置及び注意状態推定方法を提供することを目的とする。

本開示の注意状態推定装置は、被験者の脳波信号を取得する脳波信号取得部と、前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得する眼球関連情報取得部と、前記サッケード終了時点を基準に、前記脳波信号取得部により取得された脳波信号から、所定時間における脳波信号を抽出する脳波信号抽出部と、前記眼球関連情報取得部により取得された眼球関連情報を用いて、前記被験者の注意量と、前記脳波信号抽出部により抽出された脳波信号と、の相関を示す相関値を決定する相関値決定部と、前記相関値決定部により決定された相関値に応じて、前記脳波信号抽出部により抽出された脳波信号を重み付けして加算する加重平均信号算出部と、前記加重平均信号算出部により算出された加重平均信号に基づいて、前記被験者の注意状態を推定する注意状態推定部と、を備える。

また、本開示の注意状態推定方法は、注意状態推定装置における注意状態推定方法であって、被験者の脳波信号を取得するステップと、前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得するステップと、前記サッケード終了時点を基準に、前記取得された脳波信号から、所定時間における脳波信号を抽出するステップと、前記取得された眼球関連情報を用いて、前記被験者の注意量と、前記抽出された脳波信号と、の相関を示す相関値を算出するステップと、前記算出された相関値に応じて、前記抽出された脳波信号を重み付けして加算するステップと、前記算出された加重平均信号に基づいて、前記被験者の注意状態を推定するステップと、を有する。

本開示によれば、高精度に注意状態を推定できる。

国際１０−２０法の電極位置を示す図 （Ａ）〜（Ｃ）サッケード速度と注意量との関係を説明するための図 サッケード速度と注意量との関係（全被験者）を説明するための図 （Ａ）〜（Ｃ）サッケードサイズと注意量との関係を説明するための図 サッケードサイズと注意量との関係（全被験者）を説明するための図 第１の実施形態における注意状態推定装置の構成例を示すブロック図 第１の実施形態における注意状態推定装置の動作例を示すフローチャート 第１の実施形態における注意状態推定処理を説明するための概念図 第２の実施形態における注意状態推定装置の構成例を示すブロック図 第２の実施形態における注意状態推定装置の動作例を示すフローチャート 第３の実施形態における状態推定装置の構成例を示すブロック図 第３の実施形態における注意状態推定装置の動作例を示すフローチャート 第４の実施形態における注意状態推定装置の構成例を示すブロック図 第４の実施形態における注意状態推定装置の動作例を示すフローチャート （Ａ），（Ｂ）相関値の分布の一例を示す図

以下、本開示の実施形態について、図面を参照して説明する。

（本開示の一形態を得るに至った経緯）
発明者は、従来技術１および従来技術２に記載される内容について下記のとおり分析を行った。従来技術１は、高精度に注意状態を推定できるのは、発生するサッケードサイズが比較的均一になるようにコントロールされた、実験環境などの環境下に限られていた。また、従来技術２は、サッケードサイズにより分類することで、大小様々なサッケードが発生するような環境下でも注意状態を推定可能である。しかしながら、サッケードによって発生するラムダ反応は、運転に対する注意量と相関の低いものも存在する。すなわち、運転中のサッケードは、注意量と相関の高いラムダ反応を発生させるサッケードと、注意量と相関の低いラムダ反応を発生させるサッケードとが混在する。そのため、従来技術２を用いた注意状態推定の精度は、サッケードサイズの影響を除外してラムダ反応を算出した場合でも、不十分であった。

以下では、高精度に注意状態を推定できる注意状態推定装置及び注意状態推定方法について説明する。

（開示の一態様の概要）
本開示の第１の注意状態推定装置は、
被験者の脳波信号を取得する脳波信号取得部と、
前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得する眼球関連情報取得部と、
前記サッケード終了時点を基準に、前記脳波信号取得部により取得された脳波信号から、所定時間における脳波信号を抽出する脳波信号抽出部と、
前記眼球関連情報取得部により取得された眼球関連情報を用いて、前記被験者の注意量と、前記脳波信号抽出部により抽出された脳波信号と、の相関を示す相関値を決定する相関値決定部と、
前記相関値決定部により決定された相関値に応じて、前記脳波信号抽出部により抽出された脳波信号を重み付けして加算する加重平均信号算出部と、
前記加重平均信号算出部により算出された加重平均信号に基づいて、前記被験者の注意状態を推定する注意状態推定部と、
を備える。

この構成により、被験者の注意量と脳波信号との相関値に応じて脳波信号の加重平均信号を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第２の注意状態推定装置は、第１の注意状態推定装置であって、
前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
前記相関値決定部は、前記眼球関連情報に基づいてサッケード速度を算出し、前記サッケード速度に基づいて前記相関値を決定する。

この構成により、サッケードの速度に基づいて被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第３の注意状態推定装置は、第２の注意状態推定装置であって、
前記相関値決定部は、前記眼球関連情報に基づいてサッケード加速度を算出し、前記サッケード加速度に基づいて前記相関値を決定する。

この構成により、サッケードの加速度に基づいて被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第４の注意状態推定装置は、第１の注意状態推定装置であって、
前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
前記相関値決定部は、前記眼球関連情報に基づいてサッケードサイズを算出し、前記サッケードサイズに基づいて前記相関値を決定する。

この構成により、サッケードのサイズに基づいて被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第５の注意状態推定装置は、第１の注意状態推定装置であって、
前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
前記相関値決定部は、前記眼球関連情報に基づいてサッケードベクトルを算出し、前記サッケードベクトルに基づいて前記相関値を決定する。

この構成により、サッケードのベクトルに基づいて被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第６の注意状態推定装置は、第１ないし第５のいずれか１つの注意状態推定装置であって、
前記被験者が乗車する自車両の周辺環境を検出する周辺環境検出部を備え、
前記相関値決定部は、前記眼球関連情報及び前記自車両の周辺環境に基づき、前記相関値を決定する。

この構成により、自車の周辺環境の状況に基づいて、被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第７の注意状態推定装置は、第１ないし第６のいずれか１つの注意状態推定装置であって、
前記被験者が乗車する自車両内の状況を検出する自車両状況検出部を備え、
前記相関値決定部は、前記眼球関連情報及び前記自車両内の状況に基づき、前記相関値を決定する注意状態推定装置。

この構成により、例えば、自車両内の情報提示装置の状況に基づいて、被験者の注意量と脳波信号との相関値を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

本開示の第８の注意状態推定装置は、第１ないし第７のいずれか１つの注意状態推定装置であって、
前記相関値決定部により決定された各相関値の分布に基づき、前記注意状態推定部により推定された注意状態の信頼度を推定する信頼度推定部と、
前記注意状態推定部による推定結果と前記信頼度推定部による推定結果とに基づいて、提示部に情報提示させる情報提示制御部と、
を備える。

この構成により、運転集中、注意散漫の注意状態の推定結果だけでなく、推定結果の信頼度を推定し、注意状態の推定結果と信頼度とに基づく情報提示が可能となる。したがって、例えば運転者へ情報提示又は警告する安全運転支援システムにおいて、より運転者の状態にあった情報提示が可能である。

本開示の第９の注意状態推定方法は、
注意状態推定装置における注意状態推定方法であって、
被験者の脳波信号を取得するステップと、
前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得するステップと、
前記サッケード終了時点を基準に、前記取得された脳波信号から、所定時間における脳波信号を抽出するステップと、
前記取得された眼球関連情報を用いて、前記被験者の注意量と、前記抽出された脳波信号と、の相関を示す相関値を決定するステップと、
前記決定された相関値に応じて、前記抽出された脳波信号を重み付けして加算するステップと、
前記算出された加重平均信号に基づいて、前記被験者の注意状態を推定するステップと、
を有する。

この方法により、被験者の注意量と脳波信号との相関値に応じて脳波信号の加重平均信号を算出し、注意量と相関の高い脳波信号に基づいて注意状態を推定することで、注意状態の推定精度を向上できる。

（実験概要）
本発明者らは、運転中に注意状態が変化する状況を実験環境において再現し、注意量と相関の高い脳波を発生するサッケードの特徴について、分析を行った。その結果、特定の特徴を持ったサッケードを抽出することによって、精度良く注意状態を推定できることを見出した。まず、本発明者らが行った実験内容及び実験結果から得られた新しい知見について説明する。

本実験では、ドライビングシミュレータ（ＤＳ：Ｄｒｉｖｉｎｇ Ｓｉｍｕｌａｔｏｒ）を利用し、４名の男性被験者に対して実験を行った。

［実験課題］
まずは、実験課題を説明する。本実験では、運転に対する注意量を変化させるために、被験者に対して、２つの課題を並行して実施させる二重課題法による実験を行った。

第１の実験課題は、運転課題である。被験者に対して、約６分の市街地コースを運転する課題を課した。市街地コースの道路の混雑状況は、制限速度内で自由に走行できる程度に設定された。また、前方車両、対向車両、後続車両、及び歩行者が配置された。また、被験者は、カーナビゲーションシステムの画面に表示される指示に従い、所定の道順を走行した。但し、被験者は、被験者自身による画面の目視により道順の確認を行い、音声によるナビゲーションは行わなかった。

第２の実験課題は、認知負荷課題である。被験者の注意を実験的に運転から逸らすことを目的に、被験者に対して、「ｎ−Ｂａｃｋテスト」と呼ばれる課題を課した。「ｎ−Ｂａｃｋテスト」とは、例えば３秒ごとに１桁の数字が音声により提示され、提示後にｎ個前（例：０個前、２個前）に提示された数字を発声により回答させるという課題である。

「ｎ−Ｂａｃｋテスト」について具体的に説明する。
例えば、“３、５、９、１、６、…”という音声提示が３秒ごとにあり、０個前（０−Ｂａｃｋ）の数字を回答する場合、被験者は、“３、５、９、１、６、…”と提示された数字をそのまま回答する。

一方、“３、５、９、１、６、…”という音声提示が３秒ごとにあり、２個前（２-Ｂａｃｋ）の数字を回答する場合、被験者は、“−（無回答）、−（無回答）、３、５、９、…”のように常に２個前の数字を回答する。

「ｎ−Ｂａｃｋテスト」では、ｎの値が大きいほど、被験者は多くの情報量を一時的に記憶および更新しなければならなくなり、認知負荷は大きくなる。そのため、「ｎ−Ｂａｃｋテスト」により、例えば運転中の考え事又は同乗者との会話を実験的に模擬できると考えられている。

［実験条件］
続いて、実験条件を説明する。
本実験では、表１に示すように、運転に集中している運転集中条件と、運転に集中していない注意散漫条件の２条件下において、被験者の運転中の脳波を計測した。

運転集中条件では、被験者は、ＤＳ操作（運転）と０−Ｂａｃｋテストとを並行して実施する。０−Ｂａｃｋテストはそれほど認知負荷が大きくないため、被験者は、運転に集中できる状態になると考えられる。

注意散漫条件では、被験者は、ＤＳ操作（運転）と２−Ｂａｃｋテストとを並行して実施する。２−Ｂａｃｋテストは認知負荷が大きいため、被験者は、多くの注意資源を２−Ｂａｃｋテストに割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。

［脳波計測条件・脳波解析条件］
また、被験者は、脳波計（ティアック製、ポリメイトＩＩ ＡＰ２１６）を装着した。また、脳波計の電極のうち、導出電極をＯｚ（後頭部）、基準電極をＡ１およびＡ２（左右両耳朶の平均位置）、接地電極を前額部に配置した。

図１は国際１０−２０法の電極位置を示す。図１には、導出電極Ｏｚおよび左右両耳朶の基準電極Ａ１およびＡ２が示されている。脳波計により、サンプリング周波数５００Ｈｚにより脳波信号の計測を行い、脳波信号に対して１〜１５Ｈｚのバンドパスフィルタ処理を行った。

［脳波解析方法］
次に、計測された脳波信号の解析の方法について説明する。
サッケードの特徴として、サッケードの速度とサッケードサイズに着目し、注意量との関係について分析を行った。

脳波解析装置により、サッケード速度と注意量との関係について解析した。この解析では、サッケード速度の速いサッケードのみを使用してラムダ反応振幅値を算出した場合に、運転集中条件及び注意散漫条件において、ラムダ反応振幅値がどのように変化するか評価した。また、サッケード速度の遅いサッケードのみを使用してラムダ反応振幅値を算出した場合に、運転集中条件及び注意散漫条件において、ラムダ反応振幅値がどのように変化するか評価した。なお、脳波解析装置は、たとえばパーソナルコンピュータに所定のソフトウェアをインストールしたものでよい。

なお、サッケード速度とは、サッケードサイズをサッケードに要した時間で除したものを指す。サッケード速度が速いとは、サッケード速度が所定値以上であることを指す。サッケード速度が遅いとは、サッケード速度が所定値未満であることを指す。

また、脳波解析装置により、サッケードサイズと注意量との関係について解析した。この解析では、サッケードサイズの大きなサッケードのみを使用してラムダ反応振幅値を算出した場合に、運転集中条件及び注意散漫条件において、ラムダ反応振幅値がどのように変化するか評価した。また、サッケードサイズの小さなサッケードのみを使用してラムダ反応振幅値を算出した場合に、運転集中条件及び注意散漫条件において、ラムダ反応振幅値がどのように変化するか評価した。

なお、サッケードサイズが大きいとは、サッケードサイズが所定値以上であることを指す。また、サッケードサイズが小さいとは、サッケードサイズが前記所定値未満であることを指す。

いずれの解析でも、脳波解析装置は、ラムダ反応振幅値を算出する場合、サッケード終了時点すなわち眼球停留開始時点を起点に、−３００ミリ秒〜６００ミリ秒の脳波信号を切り出した。また、脳波解析装置は、０ミリ秒の時刻（サッケード終了時点）における電位値によって、脳波信号をベースライン補正した。

［知見］
次に、実験結果と、実験から得られた新たな知見について、図２〜図５を用いて説明する。

［サッケード速度に関する新たな知見］
図２（Ａ）は、運転集中条件及び注意散漫条件において、被験者の１人について、全てのサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。図２（Ｂ）は、運転集中条件及び注意散漫条件において、被験者の１人について、速いサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。図２（Ｃ）は、運転集中条件及び注意散漫条件において、被験者の１人について、遅いサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。

図２（Ａ）〜（Ｃ）では、運転集中条件を実線、注意散漫条件を点線により示している。また、便宜的に、グラフの区間（横軸）は、サッケード終了時点を起点として−３００ミリ秒〜＋６００ミリ秒までとしている。また、ラムダ反応振幅値（縦軸）は、下向きを正、上向きを負としている。また、ラムダ反応振幅値は、サッケード終了時点から２００ミリ秒までの間の脳波信号の平均値である。

図２（Ａ）〜（Ｃ）では、運転集中条件の方が注意散漫条件よりも大きいラムダ反応振幅値を示している（図では、より下に凸の形状となっている）。また、いずれの実験条件下においても、閾値を設定することにより、ラムダ反応振幅値により注意状態を推定できることを示している。例えば、図２（Ａ）では、０．５μＶ以上を運転集中状態、０．５μＶ未満を注意散漫状態として閾値を設定することで、注意状態の推定が可能となる。

しかし、運転集中条件におけるラムダ反応振幅値と注意散漫条件におけるラムダ反応振幅値との差分は、図２（Ａ）〜(Ｃ)で異なる。運転集中条件及び注意散漫条件のラムダ反応振幅値の差分は、全サッケード使用時：０．８５μＶ（図２（Ａ）参照）、サッケード速度大のみ使用時：０．３１μＶ（図２（Ｂ）参照）、サッケード速度小のみ使用時：１．７９μＶ（図２（Ｃ）参照）である。したがって、サッケード速度小のみを使用した場合に、運転集中条件と注意散漫条件とのラムダ反応振幅値の差分が、より大きくなっていることが分かる。

図３は、全被験者について、全サッケードを使用した場合と、速度の遅いサッケードのみを使用した場合とにおける、実験条件ごとのラムダ反応振幅値の結果を示す。図３により、運転集中条件におけるラムダ反応振幅値と注意散漫条件におけるラムダ反応振幅値との差分が、サッケード速度小のみを使用した場合に大きくなるという傾向が、全被験者について確認できた。

以上より、速度の遅いサッケードが、運転に対する注意量との相関が高く、運転に対する注意量をより正確に反映するという知見が得られた。

［サッケードサイズに関する新たな知見］
図４（Ａ）は、運転集中条件及び注意散漫条件において、被験者の１人について、全てのサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。図４（Ｂ）は、運転集中条件及び注意散漫条件において、被験者の１人について、サイズの大きいサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。図４（Ｃ）は、運転集中条件及び注意散漫条件において、被験者の１人について、サイズの小さいサッケードを用いて脳波信号を切り出し、加算平均した結果を示す。

図４（Ａ）〜（Ｃ）では、運転集中条件を実線、注意散漫条件を点線により示している。また、便宜的に、グラフの区間は、サッケード終了時点を起点として−３００ミリ秒〜＋６００ミリ秒までとしている。また、ラムダ反応振幅値は、下向きを正、上向きを負としている。また、ラムダ反応振幅値は、サッケード終了時点から２００ミリ秒までの間の脳波信号の平均値である。

図４（Ａ）〜（Ｃ）では、全サッケードを用いた場合（図４（Ａ）参照）と、サイズの大きいサッケードのみを用いた場合（図４（Ｂ）参照）とでは、運転集中条件よりも注意散漫条件のラムダ反応振幅値が大きい値を示している。したがって、注意量がラムダ反応振幅値に正しく反映されていないため、注意状態の推定が困難になることを示している。

具体的には、運転集中条件及び注意散漫条件のラムダ反応振幅値の差分は、全サッケード使用時：−０．１４μＶ（図４（Ａ）参照）、サッケードサイズ大のみ使用時：−１．４２μＶ（図４（Ｂ）参照）、サッケードサイズ小のみ使用時：０．７６μＶ（図４（Ｃ）参照）である。したがって、サッケードサイズ小のみを使用した場合に、注意量がラムダ反応振幅値に正しく反映され、運転集中状態と注意散漫状態とを精度良く推定できる可能性があることが分かる。

図５は、全被験者について、全サッケードを使用した場合と、サイズの小さなサッケードのみを使用した場合とにおける、実験条件ごとのラムダ反応振幅値を示す。図５により、運転集中条件及び注意散漫条件のラムダ反応振幅値の差が、サイズの小さなサッケードのみを使用した場合に大きくなるという傾向が、４名の被験者の平均値により確認できた。

以上より、サイズが小さいサッケードは、運転に対する注意量との相関が高く、運転に対する注意量をより正確に反映するという知見が得られた。

［新たな知見から着想した推定方法］
サッケード速度と注意量とに関する上記の知見より、以下の着想を得た。つまり、運転に対する注意量と相関の高い、速度の遅いサッケードにより発生する脳波信号を優先的に採用し、脳波信号の加算平均波形及びラムダ反応振幅値を算出することで、注意状態を精度良く推定できることを着想した。

また、サッケードサイズと注意量に関する上記の知見より、以下の着想を得た。つまり、運転に対する注意量と相関の高い、サイズが小さいサッケードにより発生する脳波信号を優先的に採用し、脳波信号の加算平均波形及びラムダ反応振幅値を算出することで、注意状態を精度良く推定できることを着想した。

（第１の実施形態）
図６は、本開示の第１の実施形態における注意状態推定装置１０の構成例を示すブロック図である。

注意状態推定装置１０は、例えば、運転者の注意状態に基づき、運転者に対して運転支援（例えば、警告、制動）する安全運転支援システム（図示せず）において、運転者の注意状態を推定する。

運転者は、注意状態を推定される被験者の一例である。被験者は、注意力を要する業務（例えば、監視カメラの確認作業者又は航空管制官）に従事している作業者であってもよい。

注意状態推定装置１０は、脳波信号取得部１１、眼球関連情報取得部１２、相関値決定部１３、脳波信号抽出部１４、加重平均信号算出部１５、及び注意状態推定部１６を備える。相関値決定部１３は、サッケード速度算出部１３１及び相関値設定部１３２を備える。

脳波信号取得部１１は、脳波計により計測された脳波信号を取得する。脳波計は、運転者の頭部に装着された電極の電位変化（脳波信号）を計測する。脳波計は、ヘッドマウント式脳波計であり、運転者に予め装着されている。また、車のシート（主にヘッドレスト）に脳波計の電極を埋め込み、運転者が着座すると、脳波計の電極が運転者の頭部と接するようにしてもよい。

脳波計が運転者の頭部に装着されたとき、頭部の所定の位置に接触するよう、脳波計には電極が配置されている。例えば、図１に示す国際１０−２０法の電極位置では、後頭部（Ｏｚ）、マストイド（Ａ１またはＡ２）の位置において頭部と接触するように、電極が配置される。但し、後頭部Ｏｚ以外の部位でも計測は可能であり、Ｏｚ周辺位置（例えば位置Ｐｚ）に電極が配置されても良い。電極位置は、例えば、脳波信号の計測の信頼性及び装着の容易さに基づいて決定される。

脳波信号取得部１１によって取得された脳波信号は、図示しない注意状態推定装置１０のサンプリング部により、コンピュータが処理できるようにサンプリングされる。また、脳波信号のうちの予め決められた一定時間分のデータは、脳波信号取得部１１内部にある記憶部に一次的に記憶され、随時更新される。

また、脳波信号取得部１１は、取得された脳波信号に対し、例えば１５Ｈｚのローパスフィルタ処理を施す。これにより、脳波信号取得部１１は、脳波信号に混入するノイズの影響を低減する。

また、脳波信号取得部１１は、予め脳波計により計測され、コンピュータに記録された運転者の脳波信号を読み込んでもよい。これにより、例えば運転後における事故解析も可能である。

眼球関連情報取得部１２は、例えばＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｍ）法を用いて、眼球関連情報を取得する。眼球関連情報は、眼球運動情報、サッケード開始時点すなわち眼球停留終了時点の情報、及びサッケード終了時点の情報を含む。

「ＥＯＧ法」とは、眼球の左右または上下に配置された電極の電位変化から眼球運動を計測する方法である。ＥＯＧ法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。この性質を利用して、眼球関連情報取得部１２は、眼球の左右または上下の電極における電位変化から、眼球運動を計測する。眼球関連情報取得部１２は、予め計測され、コンピュータに記録された運転者の眼球運動情報を読み込んでもよい。

眼球関連情報取得部１２は、眼球運動を示す信号を出力する。

また、眼球関連情報取得部１２は、ＥＯＧ法を用いる代わりに、運転者の顔又は眼球を撮影するカメラにより取得した画像から、例えば「角膜反射法」により眼球運動情報を計算してもよい。「角膜反射法」とは、近赤外線光源（点光源）が近赤外線を眼球に照射し、カメラにより眼球の映像を撮影し、撮影された映像を用いて瞳孔および角膜表面における光源の角膜反射像の位置を検出する方法である。眼球関連情報取得部１２は、検出された瞳孔と角膜反射像の位置関係から、眼球運動情報を算出できる。

眼球関連情報取得部１２としては、運転席のステアリングコラム付近に設置された装置から情報を取得しても良いし、ヘッドマウント式の計測器から情報を取得しても良い。

また、眼球関連情報取得部１２は、計測された眼球運動情報を基に、眼球運動情報が大きく変化した時点を、サッケード開始時点とサッケード終了時点として検出する。なお、眼球運動情報と、サッケード開始時点及びサッケード終了時点の情報とは、それぞれＥＯＧ法と角膜反射法といった別の方法により取得されても良い。

相関値決定部１３は、眼球関連情報取得部１２により取得された眼球関連情報に基づいて、運転者の運転に対する注意量と、脳波信号抽出部１４により抽出される脳波信号と、の相関値を決定する。

サッケード速度算出部１３１は、眼球関連情報取得部１２により取得された眼球関連情報を用いて、サッケード速度を算出する。例えば、サッケード速度算出部１３１は、眼球移動量（サッケードサイズ）を、眼球移動に要した時間（サッケード時間）により除することで、サッケード速度を算出する。サッケード時間は、サッケード開始時点からサッケード終了時点までの時間差である。

相関値設定部１３２は、サッケード速度算出部１３１により算出されたサッケード速度から、運転者の注意量と脳波信号抽出部１４により抽出される脳波信号との相関を示す相関値を設定する。

脳波信号抽出部１４は、脳波信号取得部１１により取得された脳波信号と、眼球関連情報取得部１２により取得された眼球関連情報と、を用いて、取得された脳波信号から、サッケード終了時点を基準とした脳波信号を抽出する。

加重平均信号算出部１５は、相関値設定部１３２により設定された相関値に応じて、抽出された脳波信号を重み付けし、加重平均する。例えば、加重平均信号算出部１５は、相関値が高い脳波信号が高く評価されるように重み付けして加重平均し、加重平均信号を得る。

注意状態推定部１６は、加重平均信号算出部１５が算出した加重平均信号に基づいて、運転者の注意状態を推定する。例えば、注意状態推定部１６は、加重平均信号を用いて、サッケードの終了時点より約１００ミリ秒後付近に出現するラムダ反応振幅値を算出する。そして、注意状態推定部１６は、ラムダ反応振幅値に基づき、運転者の注意状態を推定する。

なお、注意状態推定装置１０は、注意状態推定部１６による注意状態推定結果に基づき、例えば音声又は表示により、運転者に情報提示する提示部を備えてもよい。また、注意状態推定装置１０に接続された外部装置が、この提示部を備えてもよい。

また、相関値決定部１３、脳波信号抽出部１４、加重平均信号算出部１５、及び注意状態推定部１６は、図示しないメモリに格納されたプログラムの実行によって、各機能が実現される。

次に、注意状態推定装置１０の動作例について説明する。
図７は注意状態推定装置１０の動作例を示すフローチャートである。尚、図７に示す注意状態推定処理は、所定の判定間隔ＴＳ毎に実行される。また、図８は注意状態推定処理を説明するための概要図である。

まず、ステップＳ０１において、脳波信号取得部１１は、所定時間ＴＷ前から現在までの運転者の脳波信号４２を取得する。所定時間ＴＷは、注意状態の推定に使用される脳波信号４２の区間である。所定時間ＴＷとして、任意の値（例えば３０秒、９０秒、１２０秒）が設定される。取得された脳波信号４２は、所定時間ＴＷにおける脳波信号の時系列情報として、例えば注意状態推定装置１０の一時記憶装置に記録される。

続いて、ステップＳ０２において、眼球関連情報取得部１２は、所定時間ＴＷ前から現在までの運転者の眼球運動情報を取得する。眼球運動情報は、運転者の視線の水平方向の角度の情報を含む。所定時間ＴＷにおける視線の水平方向の角度の時系列情報として、例えば注意状態推定装置１０の一時記憶装置に記録される。

続いて、ステップＳ０３において、眼球関連情報取得部１２は、所定時間ＴＷにおける眼球運動情報を用いて、所定時間ＴＷ内のサッケード４１（ＳＣ１，ＳＣ２，ＳＣ３，・・・）の有無を判定する。サッケードに要する時間は通常２０〜７０ミリ秒であり、サッケードの速度は視角で表すと角速度３００〜５００度／秒であるとされている（例えば、参考文献１参照）。

（参考文献１）宮田洋ら、「新生理心理学１」、ｐ２５６、北大路書房、１９９８年

したがって、眼球関連情報取得部１２は、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度／秒〜５００秒の範囲内の眼球運動を、サッケード４１として検出できる。

ステップＳ０３において所定時間ＴＷ内にサッケード４１が検出されない場合、注意状態推定装置１０は、図７の処理を終了する。この場合、判定間隔ＴＳが経過した後、再びステップＳ０１が開始される。

一方、ステップＳ０３において所定時間内にサッケード４１が検出された場合、眼球関連情報取得部１２は、検出した各サッケード４１の開始時点と終了時点とを取得する。取得されたサッケード開始時点及びサッケード終了時点の情報は、サッケード情報として、例えば注意状態推定装置１０の一時記憶装置に記録される。図８では、例えば、所定時間ＴＷにおいて、サッケード４１がｎ個検出される。

続いて、ステップＳ０４において、サッケード速度算出部１３１は、ステップＳ０３において検出された眼球運動情報、サッケード開始時点及びサッケード終了時点の情報から、サッケードサイズ、サッケード時間を算出する。サッケードサイズは、サッケード開始時点及びサッケード終了時点における眼球運動の差分、つまり眼球移動量に対応する。サッケード速度算出部１３１は、サッケードサイズをサッケード時間により除することで、各サッケードに対応するサッケード速度を算出する。

図８では、眼球運動情報の時系列の推移を示し、眼球移動量が多く変化するラインの傾きがサッケード速度を示す。

続いて、ステップＳ０５において、相関値設定部１３２は、運転者の注意量とサッケード４１により発生する脳波信号４２との相関値を設定する。相関値設定部１３２は、サッケード速度が所定値以下であれば、相関値Ｒを高い値（例えば１）に設定する。一方、相関値設定部１３２は、サッケード速度が所定値以上であれば、相関値Ｒを低い値（例えば０）に設定する。相関値設定部１３２は、相関値Ｒ（Ｒ１〜Ｒｎ）をサッケード毎に設定する。

相関値設定部１３２は、上記の所定値として、運転者によらず共通の値を設定してもよいし、運転者の運転歴、年齢、道路環境（例えば高速道路、一般道路）、又は道路状況（例えば渋滞・混雑・閑散）に応じた値を設定しても良い。また、上記の所定値は、予め設定されてもよいし、相関値設定部１３２により設定されてもよい。

また、相関値設定部１３２は、例えば、所定時間ＴＷ内に含まれる全てのサッケード４１の速度の頻度分布に対する５０パーセンタイル値を使用して、動的に変動するように上記の所定値を設定してもよい。

また、相関値設定部１３２は、サッケード速度が低いほど、注意量と脳波信号４２との相関値が高くなるように、サッケード速度と相関値との関係を定義し、サッケード速度毎の相関値を算出して設定しても良い。表２は、サッケード速度と相関値との関係の一例を示す。

なお、表２では、６つの相関値に分類しているが、分類数はこれに限られず、複数であればよい。

また、相関値設定部１３２は、サッケード速度が低いほど、注意量と脳波信号４２との相関値が高くなるように、サッケード速度と相関値との関係を定式化し、サッケード速度に対する相関値を算出して設定しても良い。

続いて、ステップＳ０６において、脳波信号抽出部１４は、所定時間ＴＷにおいて検出されたサッケード終了時点の付近における脳波信号４５（Ｅ１〜Ｅｎ）を切り出す。切り出された複数の脳波信号４５（Ｅ１〜Ｅｎ）には、例えば、運転者の動きによる影響、周辺に存在する電子機器の影響によるノイズ成分、が多く含まれる。脳波信号４５は、１次元の時系列ベクトルである。

続いて、ステップＳ０７において、脳波信号抽出部１４は、所定時間ＴＷにおいて検出されたサッケード４１全てに対して、サッケード速度、相関値の算出、及び脳波信号４５（Ｅ１〜Ｅｎ）の抽出を完了したかどうかを判定する。

全てのサッケード４１に対して上記処理が完了している場合には、ステップＳ０８へと移る。また、全てのサッケード４１に対して処理が完了していない場合には、ステップＳ０４へと戻る。

続いて、ステップＳ０８において、加重平均信号算出部１５は、所定時間ＴＷにおいて検出された各サッケード終了時点を起点とした各脳波信号４２（Ｅ１〜Ｅｎ）を、ステップＳ０５においてサッケード４１（ＳＣ１，ＳＣ２，ＳＣ３，・・・）毎に算出された相関値Ｒに基づいて、重み付けする。

加重平均信号算出部１５は、複数の脳波信号４２を加算平均することにより、各脳波信号４２に含まれるノイズ成分を平滑化し、脳波信号４２の特徴成分を抽出できる。加重平均信号算出部１５は、相関値Ｒ１〜Ｒｎを基づいて、複数の脳波信号４２を重み付け加算し、加重平均信号４３を算出する。加重平均信号は、１次元の時系列ベクトルである。

図８では、各サッケード４１に基づく各脳波信号４２のサッケード終了時点を０ミリ秒として、３００ミリ秒〜６００ミリ秒における加重平均信号４３を例示している。

例えば、加重平均信号算出部１５は、（式１）を用いて、脳波信号４２（Ｅｎ）の加重平均を加重平均信号４３（Ｅ_ａｖｅ）として算出する。したがって、加重平均信号４３では、相関値Ｒｎが大きいほど、脳波信号Ｅｎの比率が高くなる。

図８の加重平均信号４３において、サッケード終了時点から約１００ミリ秒後付近に現れる特徴的な反応が、ラムダ反応４４である。注意状態推定部１６は、ラムダ反応４４の振幅値を、注意量を示すラムダ反応振幅値として算出する。

注意状態推定部１６は、ラムダ反応振幅値として、例えば、サッケード終了時点から１００ミリ秒後までの間（区間）の最大振幅値、極大値、又は平均振幅を用いる。また、同区間は、サッケード終了時点から５０ミリ秒後から１５０ミリ秒後までの間に設定されても良いし、サッケード終了時点から２００ミリ秒後までの間に設定されても良い。

続いて、ステップＳ０９において、注意状態推定部１６は、ラムダ反応振幅値と、所定の閾値とを比較する。注意状態推定部１６は、所定の閾値よりラムダ反応振幅値が高い場合、運転者が運転に対して注意を十分に払っている集中状態であると推定する。一方、注意状態推定部１６は、所定の閾値よりラムダ反応振幅値が低い場合は、注意散漫状態であると判定する。

注意状態推定装置１０によれば、運転者の注意量と相関が高い、速度の低いサッケードにより発生する脳波信号に基づいて注意量を判定することで、注意状態の推定精度を向上できる。

また、サッケードの中から、注意量と相関の高いラムダ反応を発生させるサッケードを抽出してラムダ反応振幅値を算出できるので、注意状態の推定精度が向上する。

また、運転者の注意量と相関の高い脳波信号を、運転者の注意量と相関の低い脳波信号に対して優先的に採用されるように重み付けを行えるので、注意状態の推定精度が向上する。

（第２の実施形態）
第２の実施形態では、注意状態推定装置１０Ｂは、サッケードサイズに基づいて相関値を決定する。

図９は、本開示の第２の実施形態における注意状態推定装置１０Ｂの構成例を示すブロック図である。注意状態推定装置１０Ｂにおいて、第１の実施形態における注意状態推定装置１０と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

注意状態推定装置１０Ｂは、注意状態推定装置１０の相関値決定部１３に代わり、相関値決定部１３Ｂを備える。相関値決定部１３Ｂは、サッケードサイズ算出部１３３及び相関値設定部１３４を備える。

サッケードサイズ算出部１３３は、眼球関連情報取得部１２により取得された、眼球関連情報に含まれる眼球運動情報とサッケード情報とを用いて、サッケードサイズを算出する。

相関値設定部１３４は、サッケードサイズ算出部１３３により算出されたサッケードサイズから、運転者の注意量と抽出される脳波信号との相関を示す相関値を設定する。

次に、注意状態推定装置１０Ｂの動作例について説明する。
図１０は注意状態推定装置１０Ｂの動作例を示すフローチャートである。尚、図１０に示す注意状態推定処理は、所定の判定間隔ＴＳ毎に実行される。ここでは、図７との差分について主に説明する。

ステップＳ０３の後、ステップＳ１０において、サッケードサイズ算出部１３３は、取得された眼球運動情報、サッケード開始時点及びサッケード終了時点の情報を用いて、サッケードサイズを算出する。サッケードサイズは、サッケード開始時点の眼球運動情報と終了時点の眼球運動情報との差分である。眼球運動量の情報は、眼球運動情報に含まれる。

続いて、ステップＳ１１において、相関値設定部１３４は、運転者の注意量とサッケードにより発生する脳波信号との相関値を設定する。相関値設定部１３４は、サッケードサイズが所定値未満であれば、相関値を高い値（例えば１）に設定する。一方、相関値設定部１３４は、サッケードサイズが前記所定値以上であれば、相関値を低い値（例えば０）に設定する。相関値設定部１３４は、相関値をサッケード毎に設定する。

上記の所定値の設定方法は、第１の実施形態における方法と基本的に同様であるが、相関値設定部１３４は、サッケード速度の代わりにサッケードサイズを用いる。

例えば、相関値設定部１３４は、サッケードサイズが小さいほど、注意量と脳波信号との相関値が高くなるように、サッケードサイズと相関値との関係を定義し、サッケードサイズ毎の相関値を設定しても良い。表３は、サッケードサイズと相関値との関係の一例を示す。

また、相関値設定部１３４は、サッケードサイズが小さい程、注意量と脳波信号との相関値が高くなるように、サッケードサイズと相関値との関係を定式化し、サッケードサイズに対する相関値を算出して設定しても良い。

ステップＳ１１の後、ステップＳ０６に進む。

注意状態推定装置１０Ｂによれば、運転者の注意量と相関が高い、サイズの小さいサッケードにより発生する脳波信号に基づいて注意量を判定することで、注意状態の推定精度を向上できる。

（第３の実施形態）
図１１は本開示の第３の実施形態における注意状態推定装置１０Ｃの構成例を示すブロック図である。注意状態推定装置１０Ｃにおいて、第１，第２の実施形態における注意状態推定装置１０，１０Ｂと同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

注意状態推定装置１０Ｃは、注意状態推定装置１０，１０Ｂの構成部１１〜１６と、周辺環境検出部２１と、を備える。

周辺環境検出部２１は、運転者が乗車する自車両の周辺環境を検出する。周辺環境は、自車両の周辺の車両、物体（例えば歩行者）の存在の有無及び位置、道路信号機の位置又は灯火状況を含む。周辺環境検出部２１として、例えば、カメラ又はレーザレーダの光学式撮影装置を用いても良いし、電磁波（例えばミリ波）センサを用いても良い。また、周辺環境検出部２１は、通信（例えば路車間通信、車車間通信）を活用して、交通インフラ又は他車両から周辺環境の検出結果の情報を外部装置から受信しても良い。

相関値決定部１３は、サッケード情報と周辺環境検出部２１により検出された自車両の周辺環境の情報とに基づき、相関値を設定する。

次に、注意状態推定装置１０Ｃの動作例について説明する。
図１２は、注意状態推定装置１０Ｃの動作例を示すフローチャートである。なお、図１２に示す注意状態推定処理は、所定の判定間隔ＴＳ毎に実行される。ここでは、図７，図１０との差分について主に説明する。

ステップＳ０２の後、ステップＳ１２において、周辺環境検出部２１は、周辺環境を検出する。検出結果の情報（例えば物体の位置、状況の情報）は、所定時間ＴＷにおける時系列情報として、例えば注意状態推定装置１０Ｃの一時記憶装置に記録される。そして、ステップＳ１２の後、ステップＳ０３に進む。

ステップＳ０３の後、ステップＳ１３において、相関値決定部１３は、記録された検出結果の時系列情報から、周辺環境（例えば、物体の位置、状況）の時間的な変化量を算出する。相関値決定部１３は、算出された変化量が所定の閾値以上となった場合、大きな視覚的変化が発生したイベントを推定する。イベントの情報は、例えば注意状態推定装置１０Ｃの一時記憶装置に記録される。イベントの情報には、例えば、道路信号機の灯火状況の変化の情報、歩行者の急な飛び出しの情報、が含まれる。

続いて、ステップＳ１４において、相関値決定部１３は、周辺環境の変化量から推定されたイベントが発生した際、サッケードが発生していたかどうかを判定する。相関値決定部１３は、例えば、イベント発生時点とサッケード終了時点とが所定の範囲内であれば、検出されたサッケードが、周辺環境の変化という視覚的変化に注意を払うためのサッケードであると判定する。

視覚的変化に注意を払うためのサッケードであると判定された場合、運転に対する注意量が低い場合でも一定の注意を払う可能性が高いので、相関値決定部１３は、相関値を低い値（例えば０）に設定する。例えば、相関値決定部１３は、イベント発生時点とサッケード発生時点との差分が所定の範囲内である場合、相関値を低い値（例えば０）に設定する。

一方、相関値決定部１３は、イベント発生時点とサッケード発生時点との差分が所定の範囲外である場合、相関値を高い値（例えば１）に設定する。

ステップＳ１４の後、ステップＳ０６に進む。

注意状態推定装置１０Ｃによれば、周辺環境の視覚的な変化に対するサッケードは、視覚的変化に注意を払うためのサッケードであると推定して、相関値を低く設定する。したがって、注意量と相関の高い脳波信号に基づいて注意量を判定でき、注意状態の推定精度を向上できる。

（第４の実施形態）
図１３は本開示の第４の実施形態における注意状態推定装置１０Ｄの構成例を示すブロック図である。注意状態推定装置１０Ｄにおいて、第１，第２の実施形態における注意状態推定装置１０，１０Ｂと同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

注意状態推定装置１０Ｄは、注意状態推定装置１０，１０Ｂの構成部１１〜１５、注意状態推定部１６Ｄ、提示部１７、及び信頼度推定部２２を備える。

信頼度推定部２２は、相関値決定部１３により所定時間ＴＷにおけるサッケード毎に算出された各相関値の分布に基づき、注意状態推定部１６Ｄにより推定される注意状態の推定結果の信頼度を推定する。

注意状態推定部１６Ｄは、第１，第２の実施形態における注意状態推定部１６と同様に、運転者の注意状態を推定する。また、注意状態推定部１６Ｄは、信頼度推定部２２により推定された信頼度の情報を出力する。

提示部１７は、注意状態の推定結果と注意状態の推定結果の信頼度とに基づき、運転者に対して、例えば音声又は表示により情報提示する。なお、注意状態推定装置１０Ｄに接続された外部装置が、提示部１７を備えてもよい。

次に、注意状態推定装置１０Ｄの動作例について説明する。
図１４は、注意状態推定装置１０Ｄの動作例を示すフローチャートである。尚、図１４に示す注意状態推定処理は、所定の判定間隔ＴＳ毎に実行される。ここでは、図７，図１０との差分について主に説明する。

ステップＳ０７において全サッケードに対する所定の処理が終了した場合、ステップＳ１５において、信頼度推定部２２は、相関値決定部１３により算出された各相関値の分布に基づき、信頼度を推定する。

具体的には、信頼度推定部２２は、相関値が高い脳波信号が多い場合、脳波信号から算出されるラムダ反応振幅値の信頼度が高いと推定する。したがって、この場合、信頼度推定部２２は、注意状態の推定結果の信頼度を高く設定する。

一方、信頼度推定部２２は、相関値が低い脳波信号が多い場合、脳波信号から算出されるラムダ反応振幅値の信頼度が低いと推定する。したがって、この場合、信頼度推定部２２は、注意状態の推定結果の信頼度を低く設定する。

図１５（Ａ），（Ｂ）は、相関値の分布の一例を示す図である。図１５（Ａ）は、相関値が高い脳波信号が多く分布する場合の概念図であり、図１５（Ｂ）は、相関値が低い脳波信号が多く分布する場合の概念図である。

信頼度推定部２２は、図１５（Ａ），（Ｂ）に示す各相関値の平均値又は最頻値を信頼度として設定した場合、図１５（Ａ）では信頼度として高い値、図１５（Ｂ）では信頼度として低い値を算出する。

ステップＳ１５の後、ステップＳ０８に進む。

ステップＳ０８の後、ステップＳ０９において、注意状態推定部１６Ｄは、注意状態の推定結果と、注意状態の推定結果の信頼度と、を提示部１７へ出力する。したがって、注意状態推定部１６Ｄは、注意状態の推定結果と信頼度とを提示部に情報提示させる情報提示制御部としての機能を有する。

続いて、ステップＳ１６において、提示部１７は、注意状態の推定結果と注意状態の推定結果の信頼度とに応じて、運転者へ所定の情報を提示する。表４は、注意状態の推定結果と信頼度とに基づく情報提示の一例を示す。

表４の例では、信頼度が高く、注意状態の推定結果が運転集中である場合、提示部１７は、正常状態として情報提示しない。また、信頼度が高く、注意状態の推定結果が注意散漫である場合は、提示部１７は、例えば注意散漫状態を警告するための警報を提示する。一方、注意状態の推定結果に関わらず、信頼度が低い場合、提示部１７は、例えば運転に対する集中を促すために注意喚起する。このように、提示部１７は、注意状態の推定結果及び信頼度に応じて、情報提示の方法を変更できる。

注意状態推定装置１０Ｄによれば、運転集中状態又は注意散漫状態を含む注意状態と信頼度とを推定できる。したがって、注意状態の推定結果と信頼度とに基づいて情報提示できる。また、運転者へ情報提示又は警告する安全運転支援システムにおいて、信頼度が低い場合は運転者に対して注意喚起することで、より運転者の状態を加味して情報提示できる。

本開示は、上記実施形態の構成に限られるものではなく、特許請求の範囲において示した機能、または上記実施形態の構成が持つ機能が達成できる構成であれば、どのようなものであっても適用可能である。

第１の実施形態では、相関値決定部１３は、サッケード開始時点とサッケード終了時点とから、サッケードの加速度を算出し、サッケードの加速度に基づき、相関値を決定しても良い。

第２の実施形態では、眼球関連情報取得部１２が、左右方向（水平方向）に加えて上下方向（鉛直方向）の眼球運動の計測結果を取得してもよい。計測結果の情報は、眼球運動情報に含まれる。また、相関値決定部１３Ｂは、眼球運動の計測結果の情報から、サッケードサイズ及びサッケード方向を含むサッケードベクトルを算出してもよい。相関値決定部１３Ｂは、サッケードベクトルに応じて、相関値を決定しても良い。

一般に、人間の視野は、視野の中心に近いほど情報受容特性（視野内の情報を受容する能力）が高い（例えば、下記参考文献２参照）。

（参考文献２）野呂 影勇、「図説エルゴノミクス」、日本規格境界、１９９０年２月

また、人間の視野は、視野の中心から順に、以下のように分類される。
（１）弁別視野（視野の中心から数度以内）
（２）有効視野（左右約１５度、上約８度、下約１２度）
（３）注視安定視野（左右約３０度、上約２０度、下約２５度）
（４）誘導視野
（５）補助視野

特に、注視点に近い、（１）弁別視野、（２）有効視野、及び（３）注視安定視野内では、無理なく注視が可能である。一方、（４）誘導視野及び（５）補助視野では、呈示された情報の存在を判断できる程度の識別能力しかなく、情報受容性が低下する。

この情報重要性の特徴を利用して、相関値決定部１３Ｂは、サッケードの上下方向及び左右方向の大きさに基づき、相関値を決定しても良い。表５は、サッケードベクトルと相関値との関係の一例を示す。

相関値決定部１３Ｂは、サッケードベクトルを用いて、左右方向及び上下方向の情報受容特性を考慮して相関値を決定することにより、サッケードサイズに基づき相関値を決定した場合よりも更に精度良く注意状態を推定できる。

第３の実施形態では、注意状態推定装置１０Ｃは、図示しない自社内状況検出部を備えてよい。自車内状況検出部は、運転者が乗車する自車両内の状況を検出する。自車両内の状況には、情報提示装置（例えばカーナビゲーションシステム）の表示状況が含まれる。また、相関値決定部１３は、車室内におけるイベント発生状況に基づき、運転者の注意量と脳波信号との相関値を決定しても良い。自車両内のイベントには、例えば、カーナビゲーションシステムにおける表示が含まれる。

上記実施形態では、本開示をハードウェアによって構成する場合を例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしてもよいし、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称してもよい。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。例えば、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続、又は、設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、高精度に注意状態を推定できる注意状態推定装置、注意状態推定方法等に有用である。例えば、車両又は電車に搭載され、運転者の注意量の低下を防止する安全運転支援システムとして有用である。

１０，１０Ｂ，１０Ｃ，１０Ｄ 注意状態推定装置
１１ 脳波信号取得部
１２ 眼球関連情報取得部
１３，１３Ｂ 相関値決定部
１３１ サッケード速度算出部
１３２ 相関値設定部
１３３ サッケードサイズ算出部
１３４ 相関値設定部
１４ 脳波信号抽出部
１５ 加重平均信号算出部
１６ 注意状態推定部
１７ 提示部
２１ 周辺環境検出部
２２ 信頼度推定部
４１ サッケード
４２ 脳波信号
４３ 加重平均信号

Claims (9)

1. 被験者の脳波信号を取得する脳波信号取得部と、
   前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得する眼球関連情報取得部と、
   前記サッケード終了時点を基準に、前記脳波信号取得部により取得された脳波信号から、所定時間における脳波信号を抽出する脳波信号抽出部と、
   前記眼球関連情報取得部により取得された眼球関連情報を用いて、前記被験者の注意量と、前記脳波信号抽出部により抽出された脳波信号と、の相関を示す相関値を決定する相関値決定部と、
   前記相関値決定部により決定された相関値に応じて、前記脳波信号抽出部により抽出された脳波信号を重み付けして加算する加重平均信号算出部と、
   前記加重平均信号算出部により算出された加重平均信号に基づいて、前記被験者の注意状態を推定する注意状態推定部と、
   を備える注意状態推定装置。
2. 請求項１に記載の注意状態推定装置であって、
   前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
   前記相関値決定部は、前記眼球関連情報に基づいてサッケード速度を算出し、前記サッケード速度に基づいて前記相関値を決定する注意状態推定装置。
3. 請求項２に記載の注意状態推定装置であって、
   前記相関値決定部は、前記眼球関連情報に基づいてサッケード加速度を算出し、前記サッケード加速度に基づいて前記相関値を決定する注意状態推定装置。
4. 請求項１に記載の注意状態推定装置であって、
   前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
   前記相関値決定部は、前記眼球関連情報に基づいてサッケードサイズを算出し、前記サッケードサイズに基づいて前記相関値を決定する注意状態推定装置。
5. 請求項１に記載の注意状態推定装置であって、
   前記眼球関連情報は、前記眼球運動の情報と、前記眼球運動に基づくサッケード開始時点及びサッケード終了時点の情報と、を含み、
   前記相関値決定部は、前記眼球関連情報に基づいてサッケードベクトルを算出し、前記サッケードベクトルに基づいて前記相関値を決定する注意状態推定装置。
6. 請求項１ないし５のいずれか１項に記載の注意状態推定装置であって、更に、
   前記被験者が乗車する自車両の周辺環境を検出する周辺環境検出部を備え、
   前記相関値決定部は、前記眼球関連情報及び前記自車両の周辺環境に基づき、前記相関値を決定する注意状態推定装置。
7. 請求項１ないし６のいずれか１項に記載の注意状態推定装置であって、更に、
   前記被験者が乗車する自車両内の状況を検出する自車両状況検出部を備え、
   前記相関値決定部は、前記眼球関連情報及び前記自車両内の状況に基づき、前記相関値を決定する注意状態推定装置。
8. 請求項１ないし７のいずれか１項に記載の注意状態推定装置であって、更に、
   前記相関値決定部により決定された各相関値の分布に基づき、前記注意状態推定部により推定された注意状態の信頼度を推定する信頼度推定部と、
   前記注意状態推定部による推定結果と前記信頼度推定部による推定結果とに基づいて、提示部に情報提示させる情報提示制御部と、
   を備える注意状態推定装置。
9. 注意状態推定装置における注意状態推定方法であって、
   被験者の脳波信号を取得するステップと、
   前記被験者の眼球運動に基づくサッケード終了時点の情報を含む眼球関連情報を取得するステップと、
   前記サッケード終了時点を基準に、前記取得された脳波信号から、所定時間における脳波信号を抽出するステップと、
   前記取得された眼球関連情報を用いて、前記被験者の注意量と、前記抽出された脳波信号と、の相関を示す相関値を決定するステップと、
   前記決定された相関値に応じて、前記抽出された脳波信号を重み付けして加算するステップと、
   前記算出された加重平均信号に基づいて、前記被験者の注意状態を推定するステップと、
   を有する注意状態推定方法。

Images