JP2020015417A - 運転支援方法及び運転支援装置 - Google Patents

Abstract

【課題】生体情報に基づいて運転支援を行う場合に、生体情報の誤解析により誤った運転支援が実行されるのを防止する。【解決手段】運転支援方法では、自車両の周囲環境と運転者の状態とに基づいて運転者が自車両の運転操作を行う可能性の有無を判断し（Ｓ６）、運転者の生体情報に基づき運転者による自車両の運転操作の操作種別を予測し（Ｓ９）、運転者が運転操作を行う可能性があると判断した場合に予測した操作種別に基づいて、自車両の運転支援を実行する（Ｓ１１）。【選択図】図７

Description

本発明は、運転支援方法及び運転支援装置に関する。

運転者の脳活動等の生体情報に基づいて車両の運転支援を行う技術が提案されている。例えば特許文献１に記載の車両用運転支援装置では、ブレイン・ネットワーク・インタフェースをドライバーの頭部に装着して、ドライバーの脳活動データを検出する。運転支援制御ユニットは、検出した脳活動データに基づいて車両の操作対象（ステアリング、ブレーキ等）の目標操作量を特定し、特定した目標操作量に基づいて、上記操作対象の駆動制御を行う。

特開２００８−２４７１１８号公報

生体情報に基づいて運転支援を行う場合には、生体情報の誤解析により不適切な運転支援が実行されるおそれがある。
本発明は、生体情報に基づいて誤った運転支援が実行されるのを防止することを目的とする。

本発明の一態様に係る運転支援方法では、自車両の周囲環境と運転者の状態とに基づいて運転者が自車両の運転操作を行う可能性の有無を判断し、運転者の生体情報に基づき運転者による自車両の運転操作の操作種別を予測し、運転者が運転操作を行う可能性があると判断した場合に予測した操作種別に基づいて、自車両の運転支援を実行する。

本発明の態様によれば、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

実施形態の運転支援装置の一例の概略構成図である。 脳波の波形の一例を表すグラフである。 運動準備電位の測定方法を説明するための概略図である。 図１に示すコントローラの機能構成の一例を示すブロック図である。 運転操作の可能性の有無の判定結果を示すタイムチャートである。 運動準備電位を含む脳波の波形のタイムチャートである。 Ｔ１＜Ｔ３ａの場合の操作タイミングの説明図である。 Ｔ１＞Ｔ３ｂの場合の操作タイミングの説明図である。 実施形態の運転支援方法の一例のフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（構成）
図１を参照する。運転支援装置１は、運転者が運転支援装置１を搭載する車両（以下、「自車両」と表記する）を運転する際に、補助的に自車両を運転することにより、運転者による運転操作を支援する装置である。
運転支援装置１は、周囲環境センサ２と、車内センサ３と、車両センサ４と、脳波センサ５と、ナビゲーションシステム６と、コントローラ７と、車両制御アクチュエータ８を備える。

周囲環境センサ２は、自車両の周囲環境、例えば自車両の周囲の他車両や障害物などの物体を検出するセンサである。
周囲環境センサ２は、例えばレーザレンジファインダ（ＬＲＦ：Laser Range-Finder）やレーダなどの測距装置であってよい。測距装置は、例えば、自車両周囲に存在する物体（他車両や障害物）、自車両と物体との相対位置、自車両と物体との距離を検出する。測距装置は、検出した測距データをコントローラ７へ出力する。

周囲環境センサ２は、テレオカメラや単眼カメラ等のカメラであってもよい。カメラは、自車両の周囲に存在する物体や、車線境界線（例えば白線）などの道路標示、交通信号機、道路標識、縁石やガードレール等の地物などを撮影した撮影データをコントローラ７へ出力する。

車内センサ３は、自車両の車室内の運転者の状態を検出する。例えば車内センサ３は、車室内に設けられて運転者を撮影する車内カメラであってよい。また例えば車内センサ３は、運転者によるステアリングホイールの把持状態や、アクセルペダルやブレーキペダルへ足を載せていることを検出するタッチセンサであってよい。
車内センサ３は、運転者の撮影データや、タッチセンサの検出信号をコントローラ７へ出力する。

車両センサ４は、自車両の走行状態を検出するセンサと、運転者により行われた運転操作を検出するセンサとを含む。
自車両の走行状態を検出するセンサは、例えば車速センサあってよい。
運転操作を検出するセンサは、例えば、操舵角センサと、アクセルセンサと、ブレーキセンサと、シフトポジションセンサであってよい。

車速センサは、自車両の車輪速に基づいて自車両の速度を検出する。
操舵角センサは、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。
アクセルセンサは、自車両のアクセル開度を検出する。例えばアクセルセンサは、自車両のアクセルペダルの踏み込み量をアクセル開度として検出する。

ブレーキセンサは、運転者によるブレーキ操作量を検出する。例えばブレーキセンサは、自車両のブレーキペダルの踏み込み量をブレーキ操作量として検出する。
シフトポジションセンサは、シフトレバーの状態を検出する。
車両センサ４は、検出した自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態をコントローラ７へ出力する。

脳波センサ５は、被験者である運転者（人間）の脳波（脳活動）を検出し、検出された脳波信号（脳波データ）をコントローラ７に出力する。
脳波センサ５は、脳波計測用の電極群（複数の電極）と、電極群で採集された電位変化である複数の脳波信号を増幅する増幅器と、増幅器から出力された複数の脳波信号のそれぞれから所定の通過帯域の周波数成分を抽出するフィルタと、抽出された脳波信号のアナログデータを所定のサンプリング周期でサンプリングしてデジタルデータに変換するＡ／Ｄ変換器を有する。

なお、脳波センサ５の電極群以外の機能の一部がコントローラ７に内蔵されていてもよい。
また、脳波センサ５以外のセンサを用いて運転者の脳活動を測定してもよい。例えば、脳血流、心拍数、呼吸、発汗量及び顔画像など、運転者の脳活動を推定しうる生体情報を検出するセンサを用いてもよい。

脳波センサ５は、運転者の頭部に取り付けられた複数の電極間に生じる微弱な電位差信号を運転者の脳において生じる電気活動として検出する。例えば、コントローラ７は、脳波センサ５により検出された各電極の脳波のデータ間の電位差信号を周波数解析することにより、運転者の脳において生じる運動準備電位（ＭＲＰ）を算出する。
運動準備電位は、思考や認知の結果として現れる脳の反応を示す事象関連電位（ＥＲＰ）の一種であり、自発的に手や脚等を動かそうとする時に発生する電位である。

運動準備電位の基礎となる脳波は運転者が実際に行動を開始する前に発生する。このため、運動準備電位は運転者が行動を開始するタイミングよりも２秒程度前から検出され、４００ｍｓ程度前からより大きく検出される。このため、運動準備電位を算出することにより、運転者が実際に行動を開始する前に運転者の行動（行動意図）を予測することができる。なお、ここではコントローラ７が、周波数解析により運動準備電位を算出する場合を例示するが、周波数解析に限らずパターン解析でもよく、信号解析できるものであればよい。

図２は、脳波信号における特徴ベクトルの一例を示す図である。ここでは、運転者の行動開始前の脳波信号からＮ個の特徴量を抽出し、脳波の特徴ベクトルＰ＝（ｐ１，ｐ２，…，ｐＮ）を生成する。特徴量は、例えば一定の等間隔でサンプリングした値等を使用する。図３に示すように、過去の運動準備電位の特徴量を予めデータベース化しておき、特徴空間に配置される領域Ｄを決定する。

領域Ｄの定義は、例えば複数サンプルがあれば、ベクトル集合｛Ｐ｝の重心点を中心とし、半径を標準偏差σとする円を領域Ｄとして決定する。そして、運転者からリアルタイムで計測した運動準備電位の特徴ベクトルＰが、領域Ｄに入るか否かを判定する。
コントローラ７は、特徴ベクトルＰが領域Ｄに入る場合に運動準備電位が発生していると判定し、特徴ベクトルＰが領域Ｄに入っていない場合に運動準備電位が発生していないと判定する。

図１を参照する。ナビゲーションシステム６は、自車両の現在位置と、その現在位置における道路地図情報を認識する。ナビゲーションシステム６は、乗員が入力した目的地までの走行経路を設定し、この走行経路に従って乗員に経路案内を行う。
さらにナビゲーションシステム６は、設定した走行経路や、走行経路上の道路地図情報をコントローラ７へ出力する。ナビゲーションシステム６からコントローラ７へ提供される情報を「ナビ情報」と表記する。

ナビゲーションシステム６は、ナビコントローラ６１と、測位装置６２と、地図データベース６３と、表示部６４と、操作部６５と、音声出力部６６と、通信部６７を備える。なお、図１において地図データベースを地図ＤＢと表記する。
ナビコントローラ６１は、ナビゲーションシステム６の情報処理動作を制御する電子制御ユニットである。ナビコントローラ６１は、プロセッサとその周辺部品とを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）、やＭＰＵ（Micro-Processing Unit）であってよい。

周辺部品には記憶装置等が含まれる。記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。

測位装置６２は、自車両の現在位置を測定する。測位装置６２は、例えばＧＰＳ（Global Positioning System）受信器であってよい。また測位装置６２は、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）等の他の衛星測位システムの衛星信号に基づいて自車両の現在位置を測定してもよい。また測位装置６２は、慣性航法装置であってもよい。

地図データベース６３は、道路地図情報を記憶している。道路地図情報は、走行車線、道路線種、道路形状、勾配、車線数、法定速度（制限速度）、道幅、一時停止線、交差点、合流地点、分岐地点に関する情報を含む。
表示部６４は、ナビゲーションシステム６において様々な視覚的情報を出力する。例えば、表示部６４には、自車両周囲の地図画面や推奨経路の案内を表示してよい。また、表示部６４には、運転支援装置１による運転支援制御で生成されるメッセージ（例えば、運転者に操舵操作や減速操作を促すメッセージ）を表示してよい。

操作部６５は、ナビゲーションシステム６において乗員の操作を受け付ける。操作部６５は、例えばボタン、ダイヤル、スライダなどであってよく、表示部６４に設けられたタッチパネルであってもよい。例えば操作部６５は、乗員による目的地の入力操作や、表示部６４の表示画面の切り替え操作を受け付けてよい。

音声出力部６６は、ナビゲーションシステム６において様々な音声情報を出力する。音声出力部６６は、設定した走行経路に基づく運転案内や、自車両周囲の地図情報に基づく道路案内情報を出力してよい。また、音声出力部６６は、運転支援装置１による運転支援制御で生成されるメッセージ（例えば、運転者に操舵操作や減速操作を促すメッセージ）を出力してよい。

通信部６７は、自車両の外部の通信装置との間で無線通信を行う。通信部６７による通信方式は、例えば公衆携帯電話網による無線通信や、車車間通信、路車間通信、又は衛星通信であってよい。ナビゲーションシステム６は、通信部６７によって外部装置から道路地図情報を取得してもよい。

コントローラ７は、自車両の運転支援を行う電子制御ユニットである。コントローラ７は、プロセッサ７１と、記憶装置７２等の周辺部品とを含む。プロセッサ７１は、例えばＣＰＵやＭＰＵであってよい。
記憶装置７２は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置７２は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。

なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ７を実現してもよい。例えば、コントローラ７はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。

コントローラ７は、周囲環境センサ２が検出した周囲環境、車内センサ３が検出した運転者状態、車両センサ４が検出した車両状態、脳波センサ５が検出した運転者の脳波信号、及びナビゲーションシステム６から提供されるナビ情報に基づいて、運転者が意図する運転操作を予測する。
コントローラ７は、予測した運転操作を実現するための運転操作系（例えばステアリングホイール機構、アクセル機構、ブレーキ機構）の目標操作量を算出し、目標操作量に基づいて車両制御アクチュエータ８を駆動して自車両の運転操作系を制御する。
これにより、コントローラ７は、運転者があたかも自分で操作している感覚となるように自車両を運転し、運転者の運転操作を支援する。

車両制御アクチュエータ８は、コントローラ７からの制御信号に応じて、自車両のステアリングホイール、アクセル開度及びブレーキ装置を操作して、自車両の車両挙動を発生させる。車両制御アクチュエータ８は、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備える。
ステアリングアクチュエータは、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両のブレーキ装置の制動動作を制御する。

次に図４を参照して、コントローラ７による運転支援機能について説明する。コントローラ７は、ナビ情報取得部１０１と、周囲環境認識部１０２と、車両データ取得部１０３と、運転者状態認識部１０４と、脳活動解析部１０５と、脳活動データベース１０６と、感度時間記憶部１０７と、運転操作データベース１０８と、運転操作判断部１１０と、走行シーンデータベース１１３と、操作タイミング予測部１２０と、自動機能装置１３０と、自動機能制御部１４０を備える。図４において「データベース」を「ＤＢ」と表記する。

例えばコントローラ７は、図１の記憶装置７２に格納されたコンピュータプログラムをプロセッサ７１で実行することにより、ナビ情報取得部１０１、周囲環境認識部１０２、車両データ取得部１０３、運転者状態認識部１０４、脳活動解析部１０５、運転操作判断部１１０、操作タイミング予測部１２０、自動機能装置１３０、自動機能制御部１４０の機能を実現してよい。

ナビ情報取得部１０１は、ナビゲーションシステム６からナビ情報を取得する。ナビ情報取得部１０１は、例えば自車両の進行方向に存在する交差点、合流地点、分岐地点、ワインディングロード、一時停止線などの道路地図情報を取得する。ナビ情報取得部１０１は、取得したナビ情報を運転操作判断部１１０へ出力する。
また、ナビ情報取得部１０１は、自車両の周囲の走行車線、道路形状、法定速度、道幅、一時停止線などの道路地図情報をナビゲーションシステム６から取得する。ナビ情報取得部１０１は、取得した道路地図情報を自動機能装置１３０へ出力する。

周囲環境認識部１０２は、自車両の周囲の撮影データや周囲の物体までの測距データを周囲環境センサ２から取得する。周囲環境認識部１０２は、周囲環境センサ２から取得したデータに基づいて、自車両の周囲環境を認識する。
例えば周囲環境認識部１０２は、以下のような周囲環境を認識する。
(1) 周囲（前方、後方、横前後）の車両との車間距離、相対速度、衝突余裕時間（ＴＴＣ：Time To Collision）、車間時間（ＴＨＷ：Time-Head Way）、自車両が他車両に囲まれていて操舵や加減速が制約されているか否か等の周囲車両情報

(2)自車両の周囲の障害物（例えば前方の進路を塞ぐ障害物）
(3)自車両の前方の交通信号機の信号現示（赤信号）や信号現示の変化（例えば赤信号から青信号への変化）
(4)車線変更可能な隣接車線が左右にあるか否か等の車線情報
周囲環境認識部１０２は、認識した周囲環境の情報を運転操作判断部１１０及び自動機能装置１３０へ出力する。

車両データ取得部１０３は、自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態等の自車両の車両データを車両センサ４から取得する。車両データ取得部１０３は、車両データを運転操作判断部１１０へ出力する。
運転者状態認識部１０４は、運転者の撮影データや、タッチセンサの検出信号を車内センサ３から取得する。

例えば運転者状態認識部１０４は、運転者の撮影データに基づいて運転者の姿勢や、顔の向き、視線の方向を運転者の状態として認識してよい。
運転者状態認識部１０４は、タッチセンサの検出信号に基づいてステアリングホイールの把持状態や、アクセルペダル、ブレーキペダルへの接触状態を運転者の状態として認識してよい。
運転者状態認識部１０４は、認識した運転者の状態の情報を運転操作判断部１１０へ出力する。

脳活動解析部１０５は、運転者の脳波信号を脳波センサ５から取得する。脳活動解析部１０５は、脳波信号の特徴ベクトルＰを生成し（図２参照）、脳活動データベース１０６に記憶された特徴空間に配置される領域Ｄ（図３参照）に特徴ベクトルＰが入るか否かに応じて運動準備電位が発生しているか否かを判定する。
脳活動解析部１０５は、検出した運動準備電位を運転操作判断部１１０と操作タイミング予測部１２０へ出力する。

運転操作データベース１０８は、各運転者についての、運転操作と脳活動との関係を示す脳活動データを記憶している。例えば、脳活動解析部１０５にて、運転者によるステアリング操作の運動準備電位が検出された際に、この検出タイミングから実際にステアリングが操作されるまでの時間（これを遅れ時間βとする）を求める。そして、遅れ時間βを累積的に記憶する。遅れ時間βとして、複数の検出データの平均値を用いることもできる。

感度時間記憶部１０７は、運転操作データベース１０８に記憶されているデータに基づいて、各運転者が操作種別を操作する際の感度時間（後述するΔｔ）を求めこの感度時間を記憶する。例えば、先行車両を回避するためにステアリングを操作して車線変更する際に、早めに車線変更する運転者と、先行車両との間の車間距離が短くなってから車線変更する運転者を区別し、運転者を、運転技能の高い上級者、運転技能の低い初級者、及びその中間の技能である中級者の３つの技能レベルに分類する。そして、例えば初級者の感度時間を８００［ｍsec］とし、中級者の感度時間を５００［ｍsec］とし、上級者の感度時間を２００［ｍsec］とする。

なお、技能レベルの設定は、各運転者の過去の運転操作データに基づいて設定する以外で、例えば、ユーザが任意に設定することも可能である。例えば、運転経験が１年未満の運転者を初級者、１年以上で１０年未満の運転者を中級者、１０年以上の運転者を上級者に設定することも可能である。なお、本発明は３つの技能レベルに限定されるものではなく、４以上の技能レベルを設定しそれぞれについて異なる感度時間を設定してもよい。

運転操作判断部１１０は、ナビ情報取得部１０１が取得したナビ情報と、周囲環境認識部１０２が認識した周囲環境と、車両データ取得部１０３が取得した車両データと、運転者状態認識部１０４が認識した運転者の状態に基づいて、運転者が自車両の運転操作を行う可能性の有無を判断する。
運転操作判断部１１０は、運転操作を行う可能性があると判断した場合に検出した運転準備電位に基づいて、運転者による自車両の運転操作の操作種別を予測する。

運転操作判断部１１０は、操作可能性判断部１１１と、操作種別予測部１１２を備える。
操作可能性判断部１１１は、ナビ情報取得部１０１が取得したナビ情報や周囲環境認識部１０２の認識結果に基づいて、自車両の周囲環境を判断する。また、操作可能性判断部１１１は、車両データ取得部１０３が取得した車両データや、運転者状態認識部１０４の認識結果に基づいて、運転者の状態を判断する。操作可能性判断部１１１は、自車両の周囲環境と、運転者の状態と、に基づいて運転者が自車両の運転操作を行う可能性の有無を判断する。

例えば、操作可能性判断部１１１は、ナビ情報取得部１０１が取得したナビ情報や周囲環境認識部１０２の認識結果に基づいて、自車両の運転操作が予測される地点や、運転操作が必要とされる地点や、運転操作が必要とされるシチュエーションがあるか否かを判断する。
例えば操作可能性判断部１１１は、交差点、合流地点、分岐地点、所定曲率半径以下のカーブ、停止線、赤信号、本線道路の手前の地点を、自車両の運転操作が予測される地点や運転操作が必要とされる地点と判断してよい。

例えば操作可能性判断部１１１は、これら運転操作が必要とされる地点の所定距離以内に自車両が位置する場合に、運転操作が必要とされるシチュエーションがあると判断してよい。
例えば操作可能性判断部１１１は、自車両が先行車両に接近しており車間距離が所定距離以下であるか、又は自車両と先行車両とが所定速度以上の相対速度で接近している場合に、運転操作が必要とされるシチュエーションがあると判断してよい。
例えば操作可能性判断部１１１は、前方に進路を塞ぐ障害物が存在したり、自車両が他車両に囲まれていて操舵や加減速が制約されている場合に、運転操作が必要となるシチュエーションがあると判断してよい。

一方で、操作可能性判断部１１１は、車両データ取得部１０３が取得した車両データ（操舵角、アクセル開度、ブレーキ操作量）に基づいて、直近の所定距離走行中に運転者による運転操作があったか否かを判断する。
操作可能性判断部１１１は、自車両の運転操作が予測される地点が自車両の進行方向に存在したり、運転操作が必要とされるシチュエーションで、直近の所定距離走行中に運転者による運転操作があった場合に、運転者が自車両の運転操作を行う可能性があると判断する。

また、操作可能性判断部１１１は、運転者がステアリングホイール、アクセルペダル、ブレーキペダル等の運転操作子に触れており、これら運転操作子を操作可能な状態であるか否かを判断する。例えば操作可能性判断部１１１は、運転者がステアリングホイールを把持しているか否か、アクセルペダルやブレーキペダルに足を載せているか否かを判断する。
操作可能性判断部１１１は、自車両の運転操作が予測される地点が自車両の進行方向に存在したり、運転操作が必要とされるシチュエーションで、運転者が運転操作子を操作可能な状態である場合、運転者が自車両の運転操作を行う可能性があると判断する。

例えば操作可能性判断部１１１は、運転者がよそ見をしていたりステアリングホイールから手を離している場合に、運転者の運転意識が低下していると判断する。
操作可能性判断部１１１は、自車両の運転操作が予測される地点が自車両の進行方向に存在したり、運転操作が必要とされるシチュエーションであっても、運転者の運転意識が低下している場合は、運転者が自車両の運転操作を行う可能性がないと判断する。

また操作可能性判断部１１１は、自車両の運転操作が予測される自車両の進行方向の地点の走行シーンを、ナビ情報取得部１０１が取得したナビ情報や周囲環境認識部１０２の認識結果に基づいて判断する。
例えば、操作可能性判断部１１１は、自車両の進行方向の地点の道路形状や、交差点、合流・地点、停止線、及び赤信号の有無、障害物、他車両の状況を走行シーンとして判断する。
操作可能性判断部１１１は、運転操作が予測される走行シーンと、走行シーンデータベース１１３に記憶された過去に運転操舵が発生した走行シーンとが類似する場合に、運転者が自車両の運転操作を行う可能性があると判断する。

操作可能性判断部１１１は、運転者が自車両の運転操作を行う可能性があると判断した場合、運転者が運転操作を行う可能性がある期間を決定する。
図５Ａを参照する、例えば操作可能性判断部１１１は、現時刻ｔ０から期間ΔＴだけ経過した時刻ｔ１を、運転操作が予測される地点や運転操作が必要な地点に到達する時刻として予測する。期間ΔＴは、運転操作が予測される地点や運転操作が必要な地点までの距離と、自車両の車速に基づいて算出する。
操作可能性判断部１１１は、時刻ｔ１よりも所定時間前の時刻ｔ２から開始して所定時間後の時刻ｔ３に終了する期間を、運転者が運転操作を行う可能性がある期間Ｐｄとして推定する。

図４を参照する。操作種別予測部１１２は、運転者が運転操作を行う可能性がある期間Ｐｄに検出された運動準備電位に基づいて、運転者による自車両の運転操作の操作種別を予測する。
図５Ｂを参照する。いま、脳波信号の波形Ｗ１及びＷ２で運転準備電位を検出した場合を想定する。操作種別予測部１１２は、運転者が運転操作を行う可能性がある期間Ｐｄ内の波形Ｗ２で検出した運転準備電位に基づいて操作種別を予測するが、期間Ｐｄ外の波形Ｗ１は操作種別の予測には用いない。

すなわち、運転者が自車両の運転操作を行う可能性があると操作可能性判断部１１１が判断しない場合、操作種別予測部１１２は、運転者による自車両の運転操作の操作種別を予測しない。
これにより、運転操作以外の運動（例えばペットボトルの水を取るために手を動かす）の運動準備電位などによって誤って操作種別を予測することを防止できる。

図４を参照する。例えば操作種別予測部１１２は、検出した運動準備電位が脳のどの部位で発生したかに応じて、運転者が右手、左手、又は足のいずれを動かすのかを予測してよい。操作種別予測部１１２は、運転者が右手、左手、又は足のいずれを動かすかによって、右操舵操作、左操舵操作、加速操作及び減速操作などのいずれの操作種別の運転操作を行うのか予測してよい。

また例えば操作種別予測部１１２は、運動準備電位が発生したときに運転者が行った運転操作を機械学習した判別器を使用して、運転者による運転操作の操作種別を予測してもよい。
また例えば操作種別予測部１１２は、運動準備電位に加えて、ナビ情報取得部１０１が取得したナビ情報（例えば走行経路や、道路形状、合流車線の位置）や、周囲環境認識部１０２の認識結果（例えば周囲物体の相対位置、相対距離）、運転者状態認識部１０４の認識結果（例えば、運転者の姿勢、顔の向き、視線の方向）に基づいて、運転者による運転操作の操作種別を予測してもよい。
操作種別予測部１１２は、予測した操作種別を自動機能制御部１４０へ出力する。

自動機能装置１３０は、ナビ情報取得部１０１が取得した道路地図情報、及び周囲環境認識部１０２が認識した周囲環境の情報に基づいて、自車両の運転操作を補助的に実行する機能を有する。自動機能装置１３０は、例えば、ＡＣＣ(Adaptive Cruise Control)装置であってよい。なお、ＡＣＣ装置は周知の装置であるので、詳細な説明を省略する。また、自動機能装置を自動運転装置としてもよい。自動運転装置についても周知の装置であるので説明を省略する。

操作タイミング予測部１２０は、脳活動解析部１０５で検出した運動準備電位に基づいて、運転者の運転操作の開始タイミングを予測する。
図５Ｂを参照する。運転者の実際の運転操作の開始タイミングは、運動準備電位の検出時刻から遅れ時間βだけ遅れた時刻ｔ４である。
操作タイミング予測部１２０は、運転操作データベース１０８に運転者毎に記憶された遅れ時間βを読み出し、運転者が運転操作を行うタイミング（これを「対象者操作タイミングＴ２」とする）を決定する。

図６Ａ及び図６Ｂのタイミングチャートに示すように、運動準備電位が検出されるタイミングＴ０から遅れ時間βが経過した時刻が対象者操作タイミングＴ２となる。
時刻Ｔ１は、自動機能装置１３０が運転者の意図によらずに自動操作を行う場合の操作タイミング（これを「自動操作タイミングＴ１」とする）を示す。

操作タイミング予測部１２０は、対象となる運転者の感度時間（これを「Δｔ」とする）を感度時間記憶部１０７から読み出す。前述のように、各運転者の運転技能に基づいて、初級者、中級者、及び上級者の技術レベルが設定されており、各技術レベルに応じて感度時間Δｔが設定されている。
この処理では、対象となる運転者の運転技能に基づいて、感度時間Δｔを取得する。例えば、運転者の運転技能が中級者である場合には感度時間Δｔは５００［ｍsec］に設定される。

操作タイミング予測部１２０は、対象者操作タイミングＴ２と自動操作タイミングＴ１との差分「Ｔ２−Ｔ１」（これを「時間差α」とする）を演算し、この時間差αと運転者の感度時間Δｔとを比較する。
α＞Δｔである場合には、操作タイミング予測部１２０は、自動機能装置１３０の作動タイミングＴｒを「Ｔ２−Δｔ」に設定する。即ち、図６Ａに示すように、対象者操作タイミングＴ２から感度時間Δｔだけ遡ったタイミングＴ３ａを、自動操作する際の作動タイミングＴｒとして設定する。

α≦Δｔである場合には、操作タイミング予測部１２０は、自動機能装置１３０の作動タイミングＴｒを、自動操作タイミングＴ１に設定する。即ち、図６Ｂに示すように、対象者操作タイミングＴ２から感度時間Δｔだけ遡ったタイミングＴ３ｂは、自動操作タイミングＴ１よりも早いタイミングＴ３ｂとなるので、自動操作タイミングＴ１を、自動操作する際の作動タイミングＴｒとして設定する。

図４を参照する。自動機能制御部１４０は、運転操作判断部１１０で予測された運転者の操作種別、及び操作タイミング予測部１２０で設定された作動タイミングＴｒに基づいて、自動機能装置１３０へ運転支援指令を出力する。
自動機能装置１３０は、自動機能装置１３０からの運転支援指令に応じて自動機能を制御する。具体的には、予測された操作種別の運転操作を実現する運転操作系（例えばステアリングホイール機構、アクセル機構、ブレーキ機構）の目標操作量を算出する。
そして、目標操作量に基づいて車両制御アクチュエータ８を駆動して自車両の運転操作系を制御する。

（動作）
図７を参照して、実施形態の運転支援装置の動作を説明する。
ステップＳ１においてナビ情報取得部１０１は、ナビゲーションシステム６からナビ情報を取得する。
ステップＳ２において周囲環境認識部１０２は、周囲環境センサ２から取得したデータに基づいて、自車両の周囲環境を認識する。

ステップＳ３において車両データ取得部１０３は、自車両の速度、操舵角、アクセル開度、ブレーキ操作量、シフトレバーの状態等の自車両の車両データを車両センサ４から取得する。
ステップＳ４において運転者状態認識部１０４は、運転者の撮影データに基づいて運転者の姿勢や、顔の向き、視線の方向を運転者の状態として認識する。運転者状態認識部１０４は、タッチセンサの検出信号に基づいて運転操作子への接触状態を運転者の状態として認識する。

ステップＳ５において脳波センサ５により運転者の脳波を測定する。脳活動解析部１０５は、運転者の脳波信号を解析することにより運動準備電位を検出する。
ステップＳ６において操作可能性判断部１１１は、ナビ情報取得部１０１が取得したナビ情報と、周囲環境認識部１０２が認識した周囲環境と、車両データ取得部１０３が取得した車両データと、運転者状態認識部１０４が認識した運転者の状態に基づいて、運転者が自車両の運転操作を行う可能性の有無を判断する。

運転操作を行う可能性がある場合（ステップＳ６：Ｙ）に処理はステップＳ７へ進む。運転操作を行う可能性がない場合（ステップＳ６：Ｎ）に運転支援を行わずに処理は終了する。
ステップＳ７において操作可能性判断部１１１は、運転者が運転操作を行う可能性がある期間Ｐｄを決定する。

ステップＳ８において操作種別予測部１１２は、運転者が運転操作を行う可能性がある期間Ｐｄ内に運動準備電位が検出されたか否かを判断する。期間Ｐｄ内に運動準備電位が検出された場合（ステップＳ８：Ｙ）に処理はステップＳへ進む。期間Ｐｄ内に運動準備電位が検出されない場合（ステップＳ８：Ｎ）に運転支援を行わずに処理は終了する。

ステップＳ９において操作種別予測部１１２は、運動準備電位に基づいて運転者による自車両の運転操作の操作種別を予測する。
ステップＳ１０において操作タイミング予測部１２０は、運動準備電位の検出タイミングに基づいて、運転者の運転操作の開始タイミングＴ２を予測する。操作タイミング予測部１２０は、予測した運転操作の開始タイミングＴ２に基づいて、自動機能装置１３０の作動タイミングＴｒを設定する。

ステップＳ１１において自動機能制御部１４０は、運転操作判断部１１０で予測された運転者の操作種別、及び操作タイミング予測部１２０で設定された作動タイミングＴｒに基づいて、自動機能装置１３０へ運転支援指令を出力する。
自動機能装置１３０は、自動機能装置１３０からの運転支援指令に応じて自動機能を制御することにより、運転支援を実行する。

（実施形態の効果）
（１）操作可能性判断部１１１は、自車両の周囲環境と運転者の状態とに基づいて運転者が自車両の運転操作を行う可能性の有無を判断する。操作種別予測部１１２は、運転者の生体情報に基づいて運転者による自車両の運転操作の操作種別を予測する。自動機能制御部１４０及び自動機能装置１３０は、運転者が運転操作を行う可能性が有ると判断した場合に予測した操作種別に基づいて、自車両の運転支援を実行する。

これにより、周囲環境及び運転者の状態に基づいて運転者の運転操作の可能性を正しく予測することができるので、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（２）操作可能性判断部１１１は、生体情報に基づいて操作種別を予測する期間Ｐｄを、周囲環境に基づいて決定する。
これにより、運転者の運転操作の可能性がある期間Ｐｄを周囲環境に基づいて判断し、期間Ｐｄ以外の期間に発生した生体情報に基づいて誤って操作種別を予測することを防止できる。例えば運転操作と関係のない運動（ペットボトルの水を取る等）の際に生じた生体情報によって誤って操作種別を予測することを防止できる。

（３）操作可能性判断部１１１は、自車両の運転操作が予測される地点が自車両の進行方向にあり、かつ直近の所定距離走行中に運転者による運転操作が検出された場合に、運転者が運転操作を行う可能性が有ると判断する。
これにより、周囲環境及び運転者の状態の両方を用いて運転操作の可能性を判断できるため、運転者の運転操作の実行を正しく予測でき、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（４）操作可能性判断部１１１は、自車両の運転操作が予測される地点が自車両の進行方向にあり、かつ運転者の運転意識が低下している場合に、運転者が運転操作を行う可能性が無いと判断する。
これにより、運転者の運転意識が低下した状態で、例えばペットボトルの水を取るために手を動かす等のために生体情報が検出された場合に、この生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（５）操作可能性判断部１１１は、自車両の運転操作が予測される自車両の進行方向の走行シーンと、過去に運転操作が発生した走行シーンとが類似する場合に、運転者が運転操作を行う可能性が有ると判断する。
このように個々の運転者毎の習性を学習することにより、運転者毎の運転操作の実行を正しく予測できる。

（６）操作可能性判断部１１１は、自車両の運転操作が必要とされる地点から所定距離範囲内に自車両が位置する場合、運転者が運転操作を行う可能性が有ると判断する。
これにより、それぞれの対象の場面において周囲環境に基づいて運転操作を予測するとともに運転者が運転操作可能な状態であることを予測するので、運転者の運転操作の実行を正しく判断でき、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（７）操作可能性判断部１１１は、自車両の運転操作が必要とされ、且つ運転者が運転操作子を操作可能な状態にある場合に、運転者が運転操作を行う可能性が有ると判断する。
これにより、それぞれの対象の場面において周囲環境に基づいて運転操作を予測するとともに運転者が運転操作可能な状態であることを予測するので、運転者の運転操作の実行を正しく判断でき、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（８）操作可能性判断部１１１は、自車両と先行車両との車間距離が所定距離以下であるか、又は自車両と先行車両とが所定速度以上の相対速度で接近している場合で、且つ運転者がアクセル及びブレーキのいずれかに足を載せている場合に、運転者が運転操作を行う可能性が有ると判断する。
これにより、それぞれの対象の場面において周囲環境に基づいて運転操作を予測するとともに運転者が運転操作可能な状態であることを予測するので、運転者の運転操作の実行を正しく判断でき、生体情報に基づいて誤った運転支援が実行されるのを防止できる。

（９）脳波センサ５及び脳活動解析部１０５は、運転者の脳活動を検出して生体情報を取得する。
このように脳活動解析を用いることで、運転者が操作を実行する前に迅速に運転操作を検出できる。

１…運転支援装置、２…周囲環境センサ、３…車内センサ、４…車両センサ、５…脳波センサ、６…ナビゲーションシステム、７…コントローラ、８…車両制御アクチュエータ、６１…ナビコントローラ、６２…測位装置、６３…地図データベース、６４…表示部、６５…操作部、６６…音声出力部、６７…通信部、７１…プロセッサ、７２…記憶装置、１０１…ナビ情報取得部、１０２…周囲環境認識部、１０３…車両データ取得部、１０４…運転者状態認識部、１０５…脳活動解析部、１０６…脳活動データベース、１０７…感度時間記憶部、１０８…運転操作データベース、１１０…運転操作判断部、１１１…操作可能性判断部、１１２…操作種別予測部、１１３…走行シーンデータベース、１２０…操作タイミング予測部、１３０…自動機能装置、１４０…自動機能制御部

Claims (10)

1. 自車両の周囲環境と運転者の状態とに基づいて前記運転者が前記自車両の運転操作を行う可能性の有無を判断し、
   前記運転者の生体情報に基づいて前記運転者による前記自車両の運転操作の操作種別を予測し、
   前記運転者が運転操作を行う可能性が有ると判断した場合に予測した前記操作種別に基づいて、前記自車両の運転支援を実行する、
   ことを特徴とする運転支援方法。
2. 前記生体情報に基づいて前記操作種別を予測する期間を、前記周囲環境に基づいて決定することを特徴とする請求項１に記載の運転支援方法。
3. 前記自車両の運転操作が予測される地点が前記自車両の進行方向にあり、かつ直近の所定距離走行中に前記運転者による運転操作が検出された場合に、前記運転者が運転操作を行う可能性が有ると判断することを特徴とする請求項１又は２に記載の運転支援方法。
4. 前記自車両の運転操作が予測される地点が前記自車両の進行方向にあり、かつ前記運転者の運転意識が低下している場合に、前記運転者が運転操作を行う可能性が無いと判断することを特徴とする請求項１〜３のいずれか一項に記載の運転支援方法。
5. 前記自車両の運転操作が予測される前記自車両の進行方向の走行シーンと、過去に運転操作が発生した走行シーンとが類似する場合に、前記運転者が運転操作を行う可能性が有ると判断することを特徴とする請求項１〜４のいずれか一項に記載の運転支援方法。
6. 前記自車両の運転操作が必要とされる地点から所定距離範囲内に自車両が位置する場合に、前記運転者が運転操作を行う可能性が有ると判断することを特徴とする請求項１〜５のいずれか一項に記載の運転支援方法。
7. 前記自車両の運転操作が必要とされ、且つ前記運転者が運転操作子を操作可能な状態にある場合に、前記運転者が運転操作を行う可能性が有ると判断することを特徴とする請求項１〜６のいずれか一項に記載の運転支援方法。
8. 前記自車両と先行車両との車間距離が所定距離以下であるか、又は前記自車両と前記先行車両とが所定速度以上の相対速度で接近している場合で、且つ前記運転者がアクセル及びブレーキのいずれかに足を載せている場合に、前記運転者が運転操作を行う可能性が有ると判断することを特徴とする請求項７に記載の運転支援方法。
9. 前記運転者の脳活動を検出して前記生体情報を取得することを特徴とする請求項１〜８のいずれか一項に記載の運転支援方法。
10. 自車両の周囲環境を検出する第１センサと、
    運転者の状態を検出する第２センサと、
    前記運転者の生体情報を取得する第３センサと、
    前記第１センサが検出した前記周囲環境と前記第２センサが検出した前記運転者の状態とに基づいて前記運転者が前記自車両の運転操作を行う可能性の有無を判断し、前記第３センサが取得した前記生体情報に基づいて前記運転者による前記自車両の運転操作の操作種別を予測し、前記運転者が運転操作を行う可能性が有ると判断した場合に予測した前記操作種別に基づいて、前記自車両の運転支援を実行するコントローラと、
    を備えることを特徴とする運転支援装置。

Images