JP2020093590A - 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム - Google Patents

Abstract

【課題】運転時の安全性を確保しつつ、ドライビングプレジャーを体感することができる運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラムを提供する。
【解決手段】運転支援装置１は、メモリと、ハードウェアを有するＥＣＵ１９と、を備え、ＥＣＵ１９は、運転者の視線に関する視線情報を取得し、この視線情報に基づいて、運転者の視野領域に車両の運転を支援する運転支援情報を出力する。
【選択図】図１

Description

本発明は、運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラムに関する。

車両の挙動に基づいて、運転者による車両の運転操作を評価する技術が知られている（例えば特許文献１参照）。この技術では、車両に生じる加速度等の挙動に基づいて、運転操作を評価する画像を生成し、この画像を車両の停止時または運転時にナビゲーションシステムの表示画面に表示することによって、運転者に運転操作の評価結果を提示する。

特開２００６−３４７２９６号公報

しかしながら、上述した特許文献１では、運転者が運転時に視線の先をフロントウィンドウからナビゲーションシステムの表示画面に移動させるため、運転時の安全性に欠けるという問題点があった。

本発明は、上記に鑑みてなされたものであって、運転時の安全性を確保することができる運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、車両の運転席に着座した運転者の視線に関する視線情報を取得し、前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する。

また、前記プロセッサは、前記視野領域内において前記車両に設けられた操作部材の直上の領域であって、前記操作部材と直交する直交方向の領域に前記運転支援情報を出力してもよい。

これによれば、操作部材の直上に運転支援情報が表示されるため、運転者は、運転支援情報を直感的に把握することができる。

また、前記プロセッサは、前記操作部材に対する前記運転者の操作量と前記車両の車速とを取得し、複数の車両の走行データに基づいて機械学習された学習済みモデルに対して、前記操作量と前記車速とを入力パラメータとして入力し、前記学習済みモデルから出力された出力パラメータの前記操作部材に対する推奨操作量と、前記操作量とを前記運転支援情報として出力してもよい。

これによれば、操作部材の直上に、実際の操作量と推奨操作量とが表示されるため、運転者は、実際の操作量と推奨操作量との差を把握しながら操作することができるので、ドライビングプレジャーを体感しながら、運転技術の向上を図ることができる。

また、前記プロセッサは、前記運転者の視線上における前記運転者と前記車両のフロントウィンドウとの間に前記運転支援情報を出力してもよい。

これによれば、運転者の視線上の領域であって、運転者と車両のフロントウィンドウとの間の領域に運転支援情報が表示されるため、運転者は、運転時の安全性を確保しつつ、ドライビングプレジャーを体感することができる。

また、前記プロセッサは、前記車両の挙動に関する挙動情報を取得し、前記挙動情報に基づいて、前記運転支援情報を生成し、前記運転支援情報を出力してもよい。

これによれば、車両の挙動に基づいた運転支援情報が表示するため、運転者は、車両に生じている挙動を直感的に把握しながら運転することができるので、運転技術の向上を図ることができる。

また、前記プロセッサは、凹面を有する受け部と前記凹面上を前記車両の前後および左右に生じる重力加速度の変化に応じて仮想的に移動可能な球部とを前記運転支援情報として出力してもよい。

これによれば、運転者は、車両の挙動を直感的に把握しながら運転することができるので、運転技術の向上を図ることができる。

また、前記プロセッサは、前記車両の車速を取得し、前記車速に基づいて、前記車両が移動状態であるか否かを判定し、前記車両が移動状態である場合、前記運転支援情報を前記運転者の視線上に出力してもよい。

これによれば、運転者は、運転時に車両の挙動を視線上で確認しながら直感的に把握することができるので、運転技術の向上を図ることができる。

また、前記プロセッサは、前記視野領域内における前記車両のステアリングホイール上に前記運転支援情報を出力してもよい。

これによれば、ステアリングホイール上に運転支援情報が表示されるため、運転者は、安全正を確保しつつ、直感的に把握することができる。

また、前記プロセッサは、前記ステアリングホイールにおける基準位置からの操舵量と前記車両の車速とを取得し、複数の車両の走行データに基づいて機械学習された学習済みモデルに対して、前記操舵量と前記車速とを入力パラメータとして入力し、前記学習済みモデルから出力された出力パラメータの前記ステアリングホイールに対する推奨操舵量と、前記基準位置と、前記操舵量との各々を前記運転支援情報として出力してもよい。

これによれば、ステアリングホイール上に、実際の操舵量と推奨操舵量とが表示されるため、運転者は、実際の操舵量と推奨操舵量との差を把握しながら操作することができるので、ドライビングプレジャーを体感しながら、運転技術の向上を図ることができる。

また、前記プロセッサは、前記運転者の操作能力の指標である操作レベルを取得し、前記操作レベルに基づいて、前記運転支援情報の表示内容を制御してもよい。

これによれば、運転者の操作レベルに基づいて、運転支援情報の表示内容が制御されるため、運転者に適した運転支援を行うことができる。

また、本発明に係るウェアラブル装置は、車両と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に画像を仮想的に表示可能なウェアラブル装置であって、当該ウェアラブル装置を装着した運転者の視線に関する視線情報を検出する視線センサと、メモリと、ハードウェアを有するプロセッサであって、前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力するプロセッサと、を備える。

また、本発明に係る運転支援システムは、上記の運転支援装置と、前記運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に画像を仮想的に表示可能なウェアラブル装置と、を備え、前記ウェアラブル装置は、当該ウェアラブル装置を装着した運転者の視線情報を検出する視線センサを備え、前記プロセッサは、前記視線情報に基づいて、前記運転者の視野領域に前記運転支援情報を前記ウェアラブル装置に出力する。

また、本発明に係る運転支援方法は、運転支援装置が実行する運転支援方法であって、車両の運転席に着座した運転者の視線に関する視線情報を取得し、メモリから読み出した前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する。

また、本発明に係るプログラムは、運転支援装置に実行させるプログラムであって、車両の運転席に着座した運転者の視線に関する視線情報を取得し、前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する。

本発明によれば、運転者の視線を含む視野領域に車両の運転を支援する運転支援情報を表示するため、運転者は、運転中に視野領域を変更することがないので、運転時の安全性を確保することができるという効果を奏する。

図１は、実施の形態１に係る車両に搭載される運転支援装置の機能構成を示すブロック図である。 図２は、実施の形態１に係る運転支援装置が実行する処理の概要を示すフローチャートである。 図３は、実施の形態１に係るＥＣＵが表示部に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図４は、実施の形態１の変形例１に係るＥＣＵが表示部に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図５は、実施の形態１の変形例２に係るＥＣＵが表示部に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図６は、実施の形態１の変形例３に係るＥＣＵが表示部に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図７は、実施の形態２に係る運転支援システムの概略構成を示す図である。 図８は、実施の形態２に係る運転支援システムの機能構成を示すブロック図である。 図９は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。 図１０は、実施の形態２に係る運転支援装置が実行する処理の概要を示すフローチャートである。 図１１は、車両の停止時にＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１２は、車両の移動時にＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１３は、実施の形態２の変形例１に係るＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１４は、実施の形態２の変形例２に係るＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１５は、実施の形態２の変形例３に係るＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１６は、実施の形態２の変形例４に係るＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１７は、実施の形態２の変形例５に係るＥＣＵがウェアラブル装置に運転支援情報を表示させる際の表示位置を模式的に示す図である。 図１８は、実施の形態３に係る運転支援システムの概略構成を示す模式図である。 図１９は、実施の形態２，３の変形例に係るウェアラブル装置の概略構成を示す図である。 図２０は、実施の形態２，３の変形例に係るウェアラブル装置の概略構成を示す図である。 図２１は、実施の形態２，３の変形例に係るウェアラブル装置の概略構成を示す図である。 図２２は、実施の形態２，３の変形例に係るウェアラブル装置の概略構成を示す図である。

以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔運転支援装置の構成〕
図１は、実施の形態１に係る車両に搭載される運転支援装置の機能構成を示すブロック図である。図１に示す運転支援装置１は、車両に搭載され、この車両に搭載された他のＥＣＵ（Electronic Control Unit）と連携しながら車両内の運転者に対して運転を支援する。図１に示す運転支援装置１は、イグニッションスイッチ１０（以下、「ＩＧスイッチ１０」という）と、車速センサ１１と、操作センサ１２と、ステアリングホイールセンサ１３と、挙動センサ１４と、通信部１５と、視線センサ１６と、表示部１７と、学習済みモデル記憶部１８と、ＥＣＵ１９と、を備える。

ＩＧスイッチ１０は、エンジンやモータ等の電気系統の始動および停止を受け付ける。ＩＧスイッチ１０は、オン状態となった場合、ＩＧ電源を始動させ、オフ状態となった場合、ＩＧ電源を停止させる。

車速センサ１１は、車両の走行時における車速を検出し、この検出結果をＥＣＵ１９へ出力する。

操作センサ１２は、運転者によるアクセルペダル、ブレーキペダルおよびクラッチペダルの各々の踏み込み量を示す操作量を検出し、この検出結果をＥＣＵ１９へ出力する。

ステアリングホイールセンサ１３は、運転者によるステアリングホイールの操舵量を検出し、この検出結果をＥＣＵ１９へ出力する。

挙動センサ１４は、車両の挙動を検出し、この検出結果をＥＣＵ１９へ出力する。ここで、車両の挙動とは、ピッチレート、ロールレート、ヨーレート、上下方向加速度、左右方向加速度および前後方向加速度等である。挙動センサ１４は、加速度センサやジャイロセンサ等を用いて構成される。

通信部１５は、ＥＣＵ１９の制御のもと、基地局およびネットワークを介して所定の通信規格に従って各種情報を図示しないサーバへ送信するとともに、サーバから各種情報を受信する。また、通信部１５は、図示しないウェアラブル装置、他の車両またはユーザ端末装置等に対して所定の通信規格に従って各種情報を送信するとともに、各種情報をウェアラブル装置、他の車両またはユーザ端末装置等から受信する。通信部１５は、無線通信可能な通信モジュールを用いて構成される。また、通信部１５は、有線であっても無線であってもよい。

視線センサ１６は、車両の運転席に着座した運転者の視線を検出し、この検出結果をＥＣＵ１９へ出力する。視線センサ１６は、光学系と、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）と、メモリと、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のハードウェアを有するプロセッサを用いて構成される。視線センサ１６は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。なお、実施の形態１では、視線センサ１６を可視カメラによって運転者の視線を検出しているが、これに限定されることなく、赤外カメラによって運転者の視線を検出してもよい。視線センサ１６を赤外カメラによって構成する場合、赤外ＬＥＤ（Light Emitting Diode）等によって赤外光を運転者に照射し、赤外カメラで運転者を撮像することによって生成された画像データから基準点（例えば角膜反射）および動点（例えば瞳孔）を検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。

表示部１７は、車両のフロントウィンドウまたはインストルメントパネルに設けられ、ＥＣＵ１９の制御のもと、画像、映像および文字情報をフロントウィンドウに投影することによって表示する。表示部１７は、例えばＨＵＤ（Head-UP Display）等を用いて構成される。具体的には、表示部１７は、画像を投影する有機ＥＬ（Electro Luminescence）や液晶等の表示パネルを有する画像表示機と、この画像表示機から投影された画像が中間像として結像される拡散板と、拡散板で結像された中間像を拡大してフロントウィンドウに投影する拡大鏡等を用いて構成される。

学習済みモデル記憶部１８は、複数の車両で取得された走行データを用いて機械学習された学習済みモデルを記憶する。ここで、走行データとは、車両の車速、アクセルペダル、ブレーキペダルおよびクラッチペダル等に対する操作量、ステアリングホイールに対する操舵量、車両に生じた加速度等の挙動情報、天候、渋滞状況、車両の位置情報および車両のギア情報である。また、学習済みモデルは、ニューラルネットワークを用いた深層学習に基づいて生成された学習済みモデルである。具体的には、学習済みモデルは、順伝搬型ニューラルネットワークであり、入力層、中間層および出力層を有する。入力層は、複数のノードからなり、各ノードには互いに異なる入力パラメータが入力される。中間層は、入力層からの入力を受け付ける複数のノードからなる層を含む多層の構造を有する。出力層は、中間層からの出力が入力され、出力パラメータを出力する。入力層の各ノードは、隣接する中間層の各ノードに対し、入力パラメータに所定の重みを乗じた値を有する信号を出力する。中間層は、入力層の各ノードからの出力に所定のバイアスを加えた値が入力される。このように、入力層の側から出力層の側へ向かう順方向に沿って順次繰り返すことにより、最終的に出力層から一つの出力パラメータが出力される。中間層が多層構造を有するニューラルネットワークを用いた機械学習は、深層学習と呼ばれる。実施の形態１では、入力パラメータが「車両の車速、アクセルペダル、ブレーキペダルおよびクラッチペダル等に対する操作量、ステアリングホイールに対する操舵量、車両に生じた加速度等の挙動情報および車両の位置情報」であり、出力パラメータが「操作部材に対する推奨操作量、ステアリングホイールに対する推奨操舵量、車両の車速および車両の走行ライン」である。また、学習済みモデルを記憶するとは、学習済みモデルにおけるネットワークパラメータや演算のアルゴリズム等の情報を記憶することを意味する。

ＥＣＵ１９は、運転支援装置１を構成する各部の動作を制御する。ＥＣＵ１９は、メモリと、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processing）およびＡＳＩＣ（Application Specific Integrated Circuit）等のいずれかのハードウェアを有するプロセッサを用いて構成される。ＥＣＵ１９は、視線センサ１６から取得した運転者の視線に関する視線情報に基づいて、運転者の視野領域に、運転支援情報を出力する。ここで、運転者の視野領域とは、静視野角の場合において、運転者の視線を基準（０度）したとき、視野角が水平方向の左右方向の各々において１００度であり、垂直方向の上方向に６０度であり、垂直方向の下方向に７５度である。

また、ＥＣＵ１９は、運転者の視野領域内において車両に設けられた操作部材の領域であって、操作部材と直交する直交方向の領域（以下、単に「直上の領域」という）に運転支援情報を出力する。具体的には、ＥＣＵ１９は、学習済みモデル記憶部１８が記憶する学習済みモデルに対して、操作センサ１２から取得したアクセルペダルに対する運転者の操作量と、車速センサ１１から取得した車両の車速とを入力パラメータとして入力し、学習済みモデルから出力された出力パラメータのアクセルペダルに対する推奨操作量を出力する。そして、ＥＣＵ１９は、操作量および推奨操作量がアクセルペダルの直上の領域に運転支援情報として投影されて表示されるように操作量および推奨操作量を表示部１７へ出力する。

さらに、ＥＣＵ１９は、学習済みモデル記憶部１８が記憶する学習済みモデルに対して、ステアリングホイールセンサ１３から取得したステアリングホイールに対する運転者の操舵量と、車速センサ１１から取得した車両の車速とを入力パラメータとして入力し、学習済みモデルから出力された出力パラメータのステアリングホイールに対する推奨操舵量を出力する。そして、ＥＣＵ１９は、操舵量および推奨操舵量がステアリングホイールの直上の領域に運転支援情報として投影されて表示されるように操舵量および推奨操舵量を表示部１７へ出力する。

さらにまた、ＥＣＵ１９は、運転者の視線上における運転者と車両のフロントウィンドウとの間に運転支援情報を出力する。具体的には、ＥＣＵ１９は、挙動センサ４から取得した車両の挙動情報に基づいて、運転支援情報を生成し、この運転支援情報が運転者と車両のフロントウィンドウとの間に投影されて表示されるように運転支援情報を表示部１７に出力する。ここで、視線上とは、運転者の視線を基準に視線を含む所定の範囲（例えば視線から５ｃｍ×５ｃｍの範囲）で設定された視野領域内であればよい。なお、実施の形態１では、ＥＣＵ１９がプロセッサとして機能する。

〔運転支援装置の処理〕
次に、運転支援装置１が実行する処理について説明する。図２は、運転支援装置１が実行する処理の概要を示すフローチャートである。

図２に示すように、まず、ＥＣＵ１９は、視線センサ１６が検出した運転者の視線に関する視線情報を取得し（ステップＳ１０１）、挙動センサ１４から車両の挙動情報、操作センサ１２から運転者の操作量に関する操作情報およびステアリングホイールセンサ１３から運転者の操舵量に関する操舵情報を取得する（ステップＳ１０２）。

続いて、ＥＣＵ１９は、車両の車速、車両の挙動情報、運転者の操作情報、運転者の操舵情報を入力パラメータとして学習済みモデル記憶部１８が記憶する学習済みモデル入力することによって、学習済みモデルにアクセルペダルの推奨操作量およびステアリングホイールの推奨操舵量の各々を出力パラメータとして算出させる（ステップＳ１０３）。

その後、ＥＣＵ１９は、運転者の視野領域に運転支援情報が表示されるように運転支援情報を表示部１７へ出力することによって、表示部１７に運転支援情報を投影させて表示させる（ステップＳ１０４）。

ここで、ＥＣＵ１９が出力する運転支援情報について詳細に説明する。図３は、ＥＣＵ１９が表示部１７に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図３に示すように、ＥＣＵ１９は、車両１００に設けられた操作部材であるアクセルペダル１０１およびブレーキペダル１０２の直上の領域であって、運転者の視野領域内のフロントウィンドウＷ１の領域に運転支援情報Ｍ１が投影されて表示されるように運転支援情報Ｍ１を表示部１７へ出力する。運転支援情報Ｍ１には、運転者がアクセルペダル１０１に対して実際に操作している操作量Ｔ１と、アクセルペダル１０１に対する推奨操作量Ｔ２とが含まれる。この場合、ＥＣＵ１９は、操作量Ｔ１および推奨操作量Ｔ２の各々を識別可能な表示態様、例えば操作量Ｔ１を赤色および推奨操作量Ｔ２を緑色で表示されるように表示部１７へ出力してもよい。なお、ＥＣＵ１９は、アクセルペダル１０１に対する運転支援情報Ｍ１が表示されるように運転支援情報Ｍ１を表示部１７に出力していたが、例えばアクセルペダル１０１と同様に、ブレーキペダル１０２の操作量および推奨操作量を含む運転支援情報を表示部１７に出力してもよいし、ブレーキペダル１０２およびアクセルペダル１０１の各々の運転支援情報が並列して表示されるように２つの運転支援情報を表示部１７に出力してもよい。

また、ＥＣＵ１９は、車両１００のステアリングホイール１０３の直上の領域であって、運転者の視野領域内のフロントウィンドウＷ１の領域に運転支援情報Ｍ１０が投影されて表示されるように運転支援情報Ｍ１０を表示部１７へ出力する。運転支援情報Ｍ１０には、ステアリングホイール１０３の基準位置Ｔ１０と、運転者がステアリングホイール１０３の基準位置（センター位置）から実際に操舵している操舵量Ｔ１１と、ステアリングホイール１０３に対する推奨操舵量Ｔ１２とが含まれる。この場合、ＥＣＵ１９は、基準位置Ｔ１０、操舵量Ｔ１１および推奨操舵量Ｔ１３の各々を識別可能な表示態様、例えば基準位置Ｔ１０を青色、操舵量Ｔ１１を赤色および推奨操舵量Ｔ１２を緑色で表示されるように表示部１７へ出力してもよい。

さらに、ＥＣＵ１９は、運転者の視線上における運転者と車両のフロントウィンドウＷ１との間に運転支援情報Ｇ１が投影されて表示されるように運転支援情報Ｇ１を表示部１７へ出力する。運転支援情報Ｇ１には、凹面を有し、椀状をなす受け部Ｂ１と、受け部Ｂ１上を車両１００の前後および左右に生じる重力加速度の変化に応じて仮想的に移動可能な球部Ｂ２とが含まれる。ＥＣＵ１９は、挙動センサ１４から入力された挙動情報に基づいて、球部Ｂ２を受け部Ｂ１上で移動するように表示部１７へ出力する。なお、ＥＣＵ１９は、運転支援情報Ｇ１を立体的な形状で表示部１７に表示させているが、これに限定されることなく、例えば２次元画像の矢印や図形を平面内で移動させて表示部１７に表示させてもよい。

このように、運転者は、運転時に運転の視野領域を変更することなく、視線を動かすだけで、実際の操作量と推奨操作量とを直感的に把握することができるので、安全性を確保し、かつ、ドライビングプレジャーを体感しつつ、運転技術を向上させることができる。

図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、ＥＣＵ１９は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１９によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ１０５：Ｙｅｓ）、運転支援装置１は、本処理を終了する。これに対して、ＥＣＵ１９によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ１０５：Ｎｏ）、運転支援装置１は、ステップＳ１０１へ戻る。

以上説明した実施の形態１によれば、ＥＣＵ１９が運転者の視線情報に基づいて、運転者の視野領域に、車両の運転を支援する運転支援情報Ｍ１，Ｍ１０，Ｇ１を出力するため、運転者は、運転中に視野領域を変更することがないので、運転時の安全性を確保することができる。

また、実施の形態１によれば、ＥＣＵ１９がアクセルペダル１０１の直上に運転支援情報Ｍ１が投影されて表示されるように運転支援情報Ｍ１を表示部１７に出力するため、運転者は、運転支援情報Ｍ１を直感的に把握することができる。

また、実施の形態１によれば、ＥＣＵ１９がアクセルペダル１０１の直上に、実際の操作量Ｔ１と推奨操作量Ｔ２とが投影されて表示されるように操作量Ｔ１と推奨操作量Ｔ２とを表示部１７に出力するため、運転者は、実際の操作量と推奨操作量との差を把握しながら操作することができるので、ドライビングプレジャーを体感しながら、運転技術の向上を図ることができる。

また、実施の形態１によれば、ＥＣＵ１９が運転者の視線上の領域であって、運転者と車両のフロントウィンドウＷ１との間の領域に運転支援情報Ｇ１が投影されて表示されるように運転支援情報Ｇ１を表示部１７に出力するため、運転者は、運転時の安全性を確保しつつ、ドライビングプレジャーを体感することができる。

また、実施の形態１によれば、ＥＣＵ１９が車両の挙動に基づいた運転支援情報Ｇ１が投影されて表示されるように運転支援情報Ｇ１を表示部１７に出力するため、運転者は、車両に生じている挙動を直感的に把握し、車両の挙動に応じた操作を行うことができるので、運転技術の向上を図ることができる。

また、実施の形態１によれば、ＥＣＵ１９が車両の前後および左右に生じる重力加速度の変化に応じて、球部Ｂ２を受け部Ｂ１上で移動させるため、運転者は、車両の挙動を直感的に把握しながら車両の挙動に応じた操作を行うことができるので、運転技術の向上を図ることができる。

なお、実施の形態１では、運転者が運転支援情報を視認可能にＥＣＵ１９が表示部１７に運転支援情報を出力していたが、これに限定されることなく、例えばＥＣＵ１９は、車両に乗車した乗員の視線情報に基づいて、乗員の視野領域に、車両の運転を支援する運転支援情報が表示されるように表示部１７に運転支援情報を出力するようにしてもよい。

（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。上述した実施の形態１では、車両１００がオートマチックトランスミッション車の場合を想定していたが、実施の形態１の変形例１では、車両１００がマニュアルトランスミッション車の場合を想定している。

図４は、実施の形態１の変形例１に係るＥＣＵ１９が表示部１７に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図４に示すように、ＥＣＵ１９は、上述した運転支援情報Ｍ１および運転支援情報Ｇ１に加えて、ブレーキペダル１０２に対する運転操作を支援する運転支援情報Ｍ２０およびクラッチペダル１０５に対する運転操作を支援する運転支援情報Ｍ３０を表示部１７に出力することによって、表示部１７に運転支援情報Ｍ２０および運転支援情報Ｍ３０を表示させる。この場合、ＥＣＵ１９は、ブレーキペダル１０２およびクラッチペダル１０５の各々の直上の領域に運転支援情報Ｍ２０および運転支援情報Ｍ３０が表示されるように表示部１７に出力する。

運転支援情報Ｍ２０には、運転者がブレーキペダル１０２に対して実際に操作している操作量Ｔ２１と、ＥＣＵ１９がブレーキペダル１０２に対する運転者の操作量Ｔ２１と学習済みモデルとに基づいて算出したブレーキペダル１０２に対する推奨操作量Ｔ２２とが含まれる。この場合、ＥＣＵ１９は、操作量Ｔ２１および推奨操作量Ｔ２２の各々を識別可能な表示態様、例えば操作量Ｔ２１を赤色および推奨操作量Ｔ２２を緑色で表示されるように表示部１７へ出力してもよい。

また、運転支援情報Ｍ３０には、運転者がクラッチペダル１０５に対して実際に操作している操作量Ｔ３１と、ＥＣＵ１９がクラッチペダル１０５に対する運転者の操作量Ｔ３１に基づいて算出したクラッチペダル１０５に対する推奨操作量Ｔ３２とが含まれる。この場合、ＥＣＵ１９は、操作量Ｔ３１および推奨操作量Ｔ３２の各々を識別可能な表示態様、例えば操作量Ｔ３１を赤色および推奨操作量Ｔ３２を緑色で表示されるように表示部１７へ出力してもよい。

以上説明した実施の形態１の変形例１によれば、ＥＣＵ１９が運転者の視線情報に基づいて、運転者の視線を含む視野領域に、車両の運転を支援する運転支援情報Ｍ１，Ｍ２０，Ｍ３０，Ｇ１を出力するため、運転者は、運転中に視野領域を変更することがないので、運転時の安全性を確保することができる。

（実施の形態１の変形例２）
次に、実施の形態１の変形例２について説明する。図５は、実施の形態１の変形例２に係るＥＣＵ１９が表示部１７に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図５に示すように、ＥＣＵ１９は、アクセルペダル１０１の直上の領域であって、運転者の視野領域内に対応するフロントウィンドウＷ１の領域に運転支援情報Ｍ４０，Ｍ４１が投影されて表示されるように運転支援情報Ｍ４０，Ｍ４１を表示部１７へ出力する。運転支援情報Ｍ４０には、運転者がアクセルペダル１０１に対して実際に操作している操作量Ｔ４１とアクセルペダル１０１に対する推奨操作量Ｔ４２とが含まれる。さらに、運転支援情報Ｍ４１には、運転者がブレーキペダル１０２に対して実際に操作している操作量Ｔ４３とブレーキペダル１０２に対する推奨操作量Ｔ４４とが含まれる。また、ＥＣＵ１９は、操作量Ｔ４１，Ｔ４３および推奨操作量Ｔ４２，Ｔ４４の各々を識別可能な表示態様で表示部１７に出力してもよい。

以上説明した実施の形態１の変形例２によれば、ＥＣＵ１９が運転者の視線情報に基づいて、運転者の視線を含む視野領域に車両の運転を支援する運転支援情報Ｍ４０，Ｍ４１を出力するため、運転者は、運転中に視野領域を変更することがないので、運転時の安全性を確保することができる。

（実施の形態１の変形例３）
次に、実施の形態１の変形例３について説明する。図６は、実施の形態１の変形例３に係るＥＣＵ１９が表示部１７に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図６に示すように、ＥＣＵ１９は、アクセルペダル１０１およびブレーキペダル１０２の各々の直上の領域であって、運転者の視野領域内に対応するフロントウィンドウＷ１の領域に運転支援情報Ｍ４２および運転支援情報Ｍ４３が投影されて表示されるように運転支援情報Ｍ４２および運転支援情報Ｍ４３を表示部１７へ出力する。運転支援情報Ｍ４２には、運転者がアクセルペダル１０１に対して実際に操作している操作量Ｔ４５とアクセルペダル１０１に対する推奨操作量Ｔ４６とが含まれる。さらに、運転支援情報Ｍ４３には、運転者がブレーキペダル１０２に対して実際に操作している操作量Ｔ４７とブレーキペダル１０２に対する推奨操作量Ｔ４８とが含まれる。また、ＥＣＵ１９は、操作量Ｔ４５，Ｔ４７および推奨操作量Ｔ４６，Ｔ４８の各々を識別可能な表示態様で表示部１７に出力してもよい。

以上説明した実施の形態１の変形例３によれば、ＥＣＵ１９が運転者の視線情報に基づいて、運転者の視線を含む視野領域に車両の運転を支援する運転支援情報Ｍ４２，Ｍ４３を出力するため、運転者は、運転中に視野領域を変更することがないので、運転時の安全性を確保することができる。

（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、表示部１７が車両内に投影することによって運転支援情報を表示させていたが、実施の形態２では、ウェアラブル装置を用いて運転支援情報を表示する。以下において、上述した実施の形態１に係る運転支援装置１と同一の構成には同一の符号を付して詳細な説明は省略する。

〔運転支援システムの構成〕
図７は、実施の形態２に係る運転支援システムの概略構成を示す図である。図８は、実施の形態２に係る運転支援システムの機能構成を示すブロック図である。図９は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。

図７〜図９に示す運転支援システム１０００は、車両１００に設けられた運転支援装置１Ａと、運転者Ｕ１が装着可能であり、運転支援装置１Ａと所定の通信規格に従って双方向に通信を行うウェアラブル装置２と、を備える。

〔運転支援装置の構成〕
まず、運転支援装置１Ａの構成について説明する。図７〜図９に示す運転支援装置１Ａは、上述した実施の形態１に係る運転支援装置１の構成のうち、視線センサ１６および表示部１７を備えない点、およびカーナビゲーションシステム２０をさらに備える点以外は、運転支援装置１と同様の構成を有する。なお、運転支援装置１Ａは、ウェアラブル装置２に内蔵されてもよい。

カーナビゲーションシステム２０は、ＧＰＳ（Global Positioning System）センサ２０１と、地図データベース２０２と、報知装置２０３と、を有する。

ＧＰＳセンサ２０１は、複数のＧＰＳ衛星や送信アンテナからの信号を受信し、受信した信号に基づいて車両１００の位置を算出する。ＧＰＳセンサ２０１は、ＧＰＳ受信センサ等を用いて構成される。なお、ＧＰＳセンサ２０１を複数個搭載し車両１００の向き精度向上を図ってもよい。

地図データベース２０２は、各種の地図データを記憶する。地図データベース２０２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録媒体を用いて構成されてもよい。

報知装置２０３は、画像、映像および文字情報を表示する表示部２０３ａと、音声や警報音等の音を発生する音声出力部２０３ｂや骨伝導等を有してもよい。と、を有する。表示部２０３ａは、液晶や有機ＥＬ等の表示ディスプレイを用いて構成される。音声出力部２０３ｂは、スピーカ等を用いて構成される。

このように構成されたカーナビゲーションシステム２０は、ＧＰＳセンサ２０１によって取得した現在の車両１００の位置を、地図データベース２０２が記憶する地図データに重ねることによって、車両１００が現在走行している道路および目的地までの経路等を含む情報を、表示部２０３ａと音声出力部２０３ｂとによって運転者に対して報知する。

〔ウェアラブル装置の構成〕
次に、ウェアラブル装置２の構成について説明する。図７〜図９に示すウェアラブル装置２は、運転者が装着自在であり、拡張現実（ＡＲ）を実現可能な眼鏡型の装置である。さらに、ウェアラブル装置２は、運転者の視野領域からの光を透過しつつ、運転者の視野領域内において仮想的な画像を視認できるように運転者の網膜の画像を結像させる装置である。ウェアラブル装置２は、撮像装置２１と、９軸センサ２２と、投影部２４と、ＧＰＳセンサ２５と、装着センサ２６と、通信部２７と、制御部２８等と、を備える。

撮像装置２１は、図９に示すように、複数設けられてもよい。撮像装置２１は、制御部２８の制御のもと、例えばユーザの視線の先を撮像することによって画像データを生成し、この画像データを制御部２８へ出力する。撮像装置２１は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤやＣＭＯＳ等を用いて構成される。

９軸センサ２２は、３軸ジャイロセンサ、３軸加速度センサおよび３軸地磁気センサ（コンパス）を用いて構成される。９軸センサ２２は、ウェアラブル装置２に生じる角速度および加速度を検出し、この検出結果を制御部２８へ出力する。また、９軸センサ２２は、地磁気を検出することによって絶対方向を検出し、この検出結果を制御部２８へ出力する。

視線センサ２３は、ウェアラブル装置２の装着者である運転者の視線の向きを検出し、この検出結果を制御部２８へ出力する。視線センサ２３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ２３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線の向きを検出する。

投影部２４は、制御部２８の制御のもと、画像、映像および文字情報をウェアラブル装置表示部（例えばレンズ部）や運転者の網膜に向けて投影する。投影部２４は、ＲＧＢの各々のレーザ光を照射するＲＧＢレーザビーム、レーザ光を反射するＭＥＭＳミラー、ＭＥＭＳミラーから反射されたレーザ光を運転者の網膜へ投影する反射ミラー等を用いて構成される。

ＧＰＳセンサ２５は、複数のＧＰＳ衛星からの信号を受信し、受信した信号に基づいてウェアラブル装置２の位置を算出する。ＧＰＳセンサ２５は、算出したウェアラブル装置２の位置を制御部２８へ出力する。ＧＰＳセンサ２５は、ＧＰＳ受信センサ等を用いて構成される。

装着センサ２６は、ユーザの装着状態を検出し、この検出結果を制御部２８へ出力する。装着センサ２６は、例えばユーザがウェアラブル装置２を装着した際の圧力を検出する圧力センサ、ユーザの体温、脈拍、脳波、血圧および発汗状態等のバイタル情報を検出するバイタルセンサ等を用いて構成される。

通信部２７は、制御部２８の制御のもと、ネットワークを介して所定の通信規格に従って各種情報を運転支援装置１またはサーバへ送信するとともに、運転支援装置１またはサーバから各種情報を受信する。通信部２７は、無線通信可能な通信モジュールを用いて構成される。

制御部２８は、ウェアラブル装置２を構成する各部の動作を制御する。制御部２８は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。

〔運転支援装置の処理〕
次に、運転支援装置１Ａが実行する処理について説明する。図１０は、運転支援装置１Ａが実行する処理の概要を示すフローチャートである。

図１０に示すように、ＥＣＵ１９は、運転者が車両１００に乗車したか否かを判定する（ステップＳ２０１）。例えば、ＥＣＵ１９は、通信部１５を介して取得したウェアラブル装置２のＧＰＳセンサ２５が検出した位置情報とカーナビゲーションシステム２０のＧＰＳセンサ２０１が検出した位置情報とに基づいて、車両１００とウェアラブル装置２との距離を算出し、この算出した距離が所定値以上であるか否かを判定し、距離が所定値以上である場合、運転者が車両１００から降車したと判定する一方、距離が所定値以上でない場合、運転者が車両１００に乗車したと判定する。なお、ＥＣＵ１９は、距離以外にも、車両１００に設けられたシートセンサ等の検出結果に基づいて、運転者が車両１００に乗車したか否かを判定してもよい。ＥＣＵ１９によって運転者が車両１００に乗車したと判定された場合（ステップＳ２０１：Ｙｅｓ）、運転支援装置１Ａは、後述するステップＳ２０２へ移行する。これに対して、ＥＣＵ１９によって運転者が車両１００に乗車していないと判定された場合（ステップＳ２０１：Ｎｏ）、運転支援装置１Ａは、後述するステップＳ２１２へ移行する。

ステップＳ２０２において、ＥＣＵ１９は、運転者がウェアラブル装置２を装着しているか否かを判定する。具体的には、ＥＣＵ１９は、通信部１５を介してウェアラブル装置２の装着センサ２６から検出結果を示す装着信号を受信し、受信した装着信号に基づいて、運転者がウェアラブル装置２を装着しているか否かを判定する。ＥＣＵ１９によって運転者がウェアラブル装置２を装着していると判定された場合（ステップＳ２０２：Ｙｅｓ）、運転支援装置１Ａは、後述するステップＳ２０３へ移行する。これに対して、ＥＣＵ１９によって運転者がウェアラブル装置２を装着していないと判定された場合（ステップＳ２０２：Ｎｏ）、運転支援装置１Ａは、後述するステップＳ２１２へ移行する。

ステップＳ２０３において、ＥＣＵ１９は、運転者が車両１００に運転支援設定を行っているか否かを判定する。具体的には、ＥＣＵ１９は、運転支援情報をウェアラブル装置２に表示させる運転支援設定を設定する図示しない操作部やスイッチ等の状態がオン状態となっているか否かを判定する。ＥＣＵ１９によって運転者が車両１００に運転支援設定を行っていると判定された場合（ステップＳ２０３：Ｙｅｓ）、運転支援装置１Ａは、後述するステップＳ２０４へ移行する。これに対して、ＥＣＵ１９によって運転者が車両１００に運転支援設定を行っていないと判定された場合（ステップＳ２０３：Ｎｏ）、運転支援装置１Ａは、後述するステップＳ２１２へ移行する。

ステップＳ２０４において、ＥＣＵ１９は、運転者の操作レベルを取得する。具体的には、ＥＣＵ１９は、通信部１５を介して図示しないサーバからウェアラブル装置２に対応付けられた識別情報に応じた運転者の操作能力の指標である操作レベルを取得する。ここで、操作レベルとは、運転者による車両１００の走行時間に応じて定められたレベルおよび上述した運転支援情報Ｇ１に基づいて運転された運転履歴に応じて定められたレベル等である。

続いて、ＥＣＵ１９は、運転者の操作レベルに基づいて、運転者の視野領域に運転支援情報をウェアラブル装置２へ出力することによって、ウェアラブル装置２に運転支援情報を表示させる（ステップＳ２０５）。ステップＳ２０６の後、運転支援装置１Ａは、後述するステップＳ２０６へ移行する。

ここで、ＥＣＵ１９が出力する運転支援情報について詳細に説明する。図１１は、ＥＣＵ１９が出力することによってウェアラブル装置２に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図１１に示すように、ＥＣＵ１９は、アクセルペダル１０１およびブレーキペダル１０２の各々の直上の領域であって、運転者の視野領域内におけるステアリングホイール１０３上の領域に運転支援情報Ｍ５０および運転支援情報Ｍ５１が表示されるように運転支援情報Ｍ５０および運転支援情報Ｍ５１をウェアラブル装置２へ出力する。運転支援情報Ｍ５０には、運転者がアクセルペダル１０１に対して実際に操作している操作量Ｔ１と、アクセルペダル１０１に対する推奨操作量Ｔ２とが含まれる。また、運転支援情報Ｍ５１には、運転者がブレーキペダル１０２に対して実際に操作している操作量Ｔ２１と、ブレーキペダル１０２に対する推奨操作量Ｔ２２とが含まれる。この場合、ＥＣＵ１９は、操作量Ｔ１，Ｔ３、操作量Ｔ２１および推奨操作量Ｔ２２の各々を識別可能な表示態様で表示されるように表示部１７へ出力してもよい。

また、ＥＣＵ１９は、運転者の視野領域内におけるステアリングホイール１０３の一部と重なる領域に運転支援情報Ｍ５３が表示されるように運転支援情報Ｍ５３をウェアラブル装置２へ出力する。運転支援情報Ｍ５２には、運転者がステアリングホイール１０３の基準位置Ｔ１０（センター位置）から実際に操舵している操舵量Ｔ１１と、ステアリングホイール１０３に対する推奨操舵量Ｔ１２とが含まれる。

さらに、ＥＣＵ１９は、運転者の視線領域内におけるインストルメントパネル上の中央の領域に運転支援情報Ｇ１が表示されるように運転支援情報Ｇ１をウェアラブル装置２へ出力する。なお、ＥＣＵ１９は、運転者の視線領域内におけるインストルメントパネル上の中央の領域以外に限定されることなく、インストルメントパネル上であれば運転者の操作に応じて適宜変更してもよい。

また、図１１に示す状況下で、ＥＣＵ１９は、運転者の操作レベルに基づいて、運転支援情報の表示内容を制限してもよい。具体的には、ＥＣＵ１９は、運転者の操作レベルが所定のレベル以上であるか否かを判定し、所定のレベル以上である場合、例えば運転支援情報Ｇ１のみが表示されるように運転支援情報Ｇ１をウェアラブル装置２へ出力する。これにより、運転者の操作レベルに応じた表示を行うことができるので、ドライビングプレジャーを体感しつつ、運転技術を向上させることができる。なお、図１１に示す状況下において、ＥＣＵ１９は、図示しないスイッチ等の操作信号に基づいて、運転支援情報の表示内容を制限してもよい。例えば、ＥＣＵ１９は、図示しないスイッチ等から運転支援情報の表示を禁止する操作信号が入力された場合、運転支援情報の出力を停止してもよいし、図示しないスイッチからのレベルを指示する指示信号に応じて運転支援情報の表示内容を制御してもよい。これにより、運転者の趣向に応じた表示を行うことができる。

このように、運転者は、ウェアラブル装置２を介して、運転時に運転の視野領域を変更することなく、視線を動かすだけで、実際の操作量と推奨操作量とを直感的に把握することができるので、安全性を確保し、かつ、ドライビングプレジャーを体感しつつ、運転技術を向上させることができる。

図１０に戻り、ステップＳ２０６以降の説明を続ける。
ＥＣＵ１９は、車速センサ１１の検出結果に基づいて、車両１００が走行中であるか否かを判定する。ＥＣＵ１９によって車両１００が走行中であると判定された場合（ステップＳ２０６：Ｙｅｓ）、運転支援装置１Ａは、後述するステップＳ２０７へ移行する。これに対して、ＥＣＵ１９によって車両１００が走行中でないと判定された場合（ステップＳ２０６：Ｎｏ）、運転支援装置１Ａは、後述するステップＳ２１２へ移行する。

ステップＳ２０７において、ＥＣＵ１９は、通信部１５を介してウェアラブル装置２の視線センサ２３から運転者の視線に関する視線情報を取得する。

続いて、ＥＣＵ１９は、挙動センサ１４から車両１００の挙動情報、操作センサ１２から運転車の操作量に関する操作情報およびステアリングホイールセンサ１３から運転車の操舵量に関する操舵情報を取得する（ステップＳ２０８）。

その後、ＥＣＵ１９は、車両１００の車速、車両１００の挙動情報、運転者の操作情報、運転者の操舵情報を入力パラメータとして学習済みモデル記憶部１８が記憶する学習済みモデル入力することによって、学習済みモデルにアクセルペダル１０１の推奨操作量およびステアリングホイール１０３の推奨操舵量の各々を出力パラメータとして算出させる（ステップＳ２０９）。

続いて、ＥＣＵ１９は、運転者の視野領域に運転支援情報をウェアラブル装置２へ出力することによって、ウェアラブル装置２に運転支援情報を表示させる（ステップＳ２１０）。具体的には、図１２に示すように、ＥＣＵ１９は、運転者の視線上における運転者と車両のフロントウィンドウＷ１との間に運転支援情報Ｇ１が表示されるように運転支援情報Ｇ１をウェアラブル装置２へ出力する。この場合、ＥＣＵ１９は、挙動センサ１４から入力された挙動情報に基づいて、車両１００の前後および左右に生じる重力加速度の変化に応じて球部Ｂ２を受け部Ｂ１上で移動するようにウェアラブル装置２へ出力する。これにより、運転者は、運転時に運転の視野領域を変更することなく、視線を動かすだけで、実際の操作量に対する操作レベルを直感的に把握することができるので、安全性を確保し、かつ、ドライビングプレジャーを体感しつつ、運転技術を向上させることができる。

その後、ＥＣＵ１９は、車速センサ１１の検出結果に基づいて、車両１００が停止したか否かを判定する（ステップＳ２１１）。ＥＣＵ１９によって車両１００が停止したと判定された場合（ステップＳ２１１：Ｙｅｓ）、運転支援装置１Ａは、後述するステップＳ２１２へ移行する。これに対して、ＥＣＵ１９によって車両１００が停止していないと判定された場合（ステップＳ２１１：Ｎｏ）、運転支援装置１Ａは、上述したステップＳ２０４へ戻る。

ステップＳ２１２において、ＥＣＵ１９は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１９によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ２１２：Ｙｅｓ）、運転支援装置１Ａは、本処理を終了する。これに対して、ＥＣＵ１９によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ２１２：Ｎｏ）、運転支援装置１Ａは、ステップＳ２０１へ戻る。

以上説明した実施の形態２によれば、ＥＣＵ１９がステアリングホイール１０３上に運転支援情報が表示されるようにウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

また、実施の形態２によれば、ＥＣＵ１９が運転者の視線を含む視野領域内におけるステアリングホイール１０３上に、基準位置Ｔ１０、操舵量Ｔ１１および推奨操舵量Ｔ１２の各々を運転支援情報Ｍ５２としてウェアラブル装置２へ出力するため、運転者は、実際の操舵量と推奨操舵量との差を把握しながら操作することができるので、ドライビングプレジャーを体感しながら、運転技術の向上を図ることができる。

また、実施の形態２によれば、車両１００が移動状態である場合、ＥＣＵ１９が運転支援情報Ｇ１を運転者の視線上の領域に表示されるようにウェアラブル装置２へ出力する一方、車両１００が移動状態でない場合、ＥＣＵ１９が運転支援情報Ｇ１を車両１００のインストルメントパネル１０４上の中央に表示されるように運転支援情報Ｇ１をウェアラブル装置２に出力するため、運転者は、運転時に車両１００の挙動を視線上で確認しながら直感的に把握することができるので、運転技術の向上を図ることができる。

また、実施の形態２によれば、ＥＣＵ１９が運転者の操作能力の指標である操作レベルに基づいて、運転支援情報の表示内容を制御することによって、運転者に適した操作レベルの運転支援情報が表示されるので、運転者に適した運転支援を行うことができる。

なお、実施の形態２では、ＥＣＵ１９がステアリングホイール１０３上に運転支援情報が投影されて表示されるように運転支援情報をウェアラブル装置２へ出力していたが、ウェアラブル装置２の制御部２８が視線センサ２３から運転者の視線に関する視線情報を取得し、取得した視線情報に基づいて、運転者の視線を含む視野領域内に車両１００の運転を支援する運転支援情報が投影部２４によって投影されることで表示されるように制御してもよい。具体的には、制御部２８は、撮像装置２１から取得した画像データに基づいて、車両１００の操作部材、例えばステアリングホイールの位置を検出し、この検出結果と視線とに基づいて、ステアリングホイール上に運転支援情報が投影して表示されるように投影部２４を制御してもよい。この場合、制御部２８がウェアラブル装置２のプロセッサとして機能する。

（実施の形態２の変形例１）
次に、実施の形態２の変形例１について説明する。実施の形態２の変形例１では、グリップハンドルに適用した例について説明する。

図１３は、実施の形態２の変形例１に係るＥＣＵ１９が出力することによってウェアラブル装置２に表示させる運転支援情報の表示位置を模式的に示す図である。

図１３に示すように、ＥＣＵ１９は、運転車の視野領域内におけるグリップハンドル１０３Ａの直上の領域に運転支援情報Ｍ６０が投影されて表示されるように運転支援情報Ｍ６０をウェアラブル装置２へ出力する。運転支援情報Ｍ６０には、グリップハンドル１０３Ａに対する基準位置（水平位置）からの推奨操舵量Ｔ６０と、基準位置からの角度を示す角度情報Ｔ６１，Ｔ６２，Ｔ６３とが含まれる。

以上説明した実施の形態２の変形例１によれば、ＥＣＵ１９がグリップハンドル１０３Ａの直上に運転支援情報Ｍ６０が表示されるように運転支援情報Ｍ６０をウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（実施の形態２の変形例２）
次に、実施の形態２の変形例２について説明する。実施の形態２の変形例２では、操縦桿に適用した場合について説明する。

図１４は、実施の形態２の変形例２に係るＥＣＵ１９がウェアラブル装置２に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図１４に示すように、ＥＣＵ１９は、運転者の視野領域内における操縦桿１０３Ｂの直上の領域に運転支援情報Ｍ６１が表示されるように運転支援情報Ｍ６１をウェアラブル装置２へ出力する。運転支援情報Ｍ６１には、操縦桿１０３Ｂに対する推奨操作量Ｔ６４，Ｔ６５と、操縦桿１０３Ｂに対する基準位置からの推奨操舵量Ｔ６６，Ｔ６７と、が含まれる。推奨操作量Ｔ６４は、ブレーキに対する推奨操作量を示し、推奨操作量Ｔ６５は、アクセルに対する推奨操作量を示す。

以上説明した実施の形態２の変形例２によれば、ＥＣＵ１９が操縦桿１０３Ｂの直上に運転支援情報Ｍ６１が表示されるように運転支援情報Ｍ６１をウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（実施の形態２の変形例３）
次に、実施の形態２の変形例３について説明する。上述した実施の形態２では、アクセルペダル１０１、ブレーキペダル１０２およびステアリングホイール１０３を用いた例を説明していたが、実施の形態２の変形例３では、アクセルバーおよび操縦桿との組み合わせであっても適用することができる。

図１５は、実施の形態２の変形例３に係るＥＣＵ１９がウェアラブル装置２に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図１５に示すように、ＥＣＵ１９は、運転者の視野領域内におけるアクセルバー１０１Ｃの直上の領域に運転支援情報Ｍ６２が表示されるように運転支援情報Ｍ６２をウェアラブル装置２へ出力する。また、ＥＣＵ１９は、運転者の視野領域内における操縦桿１０３Ｃの直上の領域に運転支援情報Ｍ６３が表示されるように運転支援情報Ｍ６３をウェアラブル装置２へ出力する。さらに、ＥＣＵ１９は、運転者の視野領域内に運転支援情報Ｇ１が表示されるように運転支援情報Ｇ１をウェアラブル装置２へ出力する。運転支援情報Ｍ６２には、アクセルバー１０１Ｃに対する基準位置からの推奨操作量Ｔ６８，Ｔ６９が含まれる。推奨操作量Ｔ６８は、ブレーキに対する推奨操作量を示し、推奨操作量Ｔ６９は、アクセルに対する推奨操作量を示す。運転支援情報Ｍ６３には、操縦桿１０３Ｃに対する基準位置（直立情報）からの推奨操舵量Ｔ７０，Ｔ７１と、が含まれる。

以上説明した実施の形態２の変形例３によれば、ＥＣＵ１９がアクセルバー１０１Ｃの直上の領域に運転支援情報Ｍ６２および操縦桿１０３Ｃの直上の領域に運転支援情報Ｍ６３が投影して表示されるため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（実施の形態２の変形例４）
次に、実施の形態２の変形例４について説明する。実施の形態２の変形例４では、ジョイスティックに適用する。

図１６は、実施の形態２の変形例４に係るＥＣＵ１９がウェアラブル装置２に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図１６に示すように、ＥＣＵ１９は、運転者の視野領域内におけるジョイスティック１０１Ｄの直上の領域に運転支援情報Ｍ６４，Ｍ６５が表示されるようにウェアラブル装置２へ出力する。運転支援情報Ｍ６４には、ジョイスティック１０１Ｄに対する基準位置からの推奨操作量Ｔ７２，Ｔ７３が含まれる。推奨操作量Ｔ７２は、アクセルに対する推奨操作量を示し、推奨操作量Ｔ７３は、ブレーキに対する推奨操作量を示す。運転支援情報Ｍ６３には、ジョイスティック１０１Ｄに対する基準位置（直立情報）からの推奨操舵量Ｔ７４，Ｔ７５と、が含まれる。

以上説明した実施の形態２の変形例４によれば、ＥＣＵ１９がジョイスティック１０１Ｄの直上の領域に運転支援情報Ｍ６４，Ｍ６５が表示されるようにウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（実施の形態２の変形例５）
次に、実施の形態２の変形例５について説明する。実施の形態２の変形例５では、グリップハンドル型のハンドルに適用する。

図１７は、実施の形態２の変形例５に係るＥＣＵ１９がウェアラブル装置２に運転支援情報を表示させる際の表示位置を模式的に示す図である。

図１７に示すように、ＥＣＵ１９は、運転者の視野領域内におけるグリップ型のハンドル１０１Ｅの直上の領域に運転支援情報Ｍ６５および運転支援情報Ｍ６６が表示されるようにウェアラブル装置２へ出力する。運転支援情報Ｍ６５には、グリップ型のハンドル１０１Ｅに対する基準位置からの推奨操作量Ｔ７９，Ｔ８０が含まれる。推奨操作量Ｔ７９、アクセルに対する推奨操作量を示し、推奨操作量Ｔ８０は、ブレーキに対する推奨操作量を示す。また、運転支援情報Ｍ６６には、グリップハンドル１０３Ｅの基準位置Ｔ７７（水平位置）と、基準位置からの推奨操作量Ｔ７８とが含まれる。

以上説明した実施の形態２の変形例５によれば、ＥＣＵ１９がグリップ型のハンドル１０１Ｅの直上の領域に運転支援情報Ｍ６５，Ｍ６５が表示されるようにウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（実施の形態３）
次に、実施の形態３について説明する。上述した実施の形態１，２では、運転支援装置１，１ＡのＥＣＵ１９が運転者の視線情報に基づいて、運転者の視野領域内に運転支援情報が表示されるように出力していたが、実施の形態３では、サーバが運転支援装置およびウェアラブル装置の各々から車速情報、操作情報、挙動情報および視線情報の各々を取得することによってウェアラブル装置が投影する運転支援情報を制御する。なお、上述した実施の形態２に係る運転支援システム１０００と同一の構成には同一の符号を付して詳細な説明は省略する。

図１８は、実施の形態３に係る運転支援システムの概略構成を示す模式図である。図１８に示す運転支援システム１００１は、複数の車両１００の各々に搭載された運転支援装置１Ａと、運転者Ｕ１が装着したウェアラブル装置２と、サーバ３００と、を備える。複数の運転支援装置１、ウェアラブル装置２およびサーバ３００は、基地局４００およびネットワーク５００を介して相互に情報通信可能に構成されている。また、サーバ３００は、基地局４００およびネットワーク５００を介してＧＰＳ衛星６００から車両１００の上空を撮像して画像データを取得する。

〔サーバの構成〕
次に、サーバ３００の構成について説明する。サーバ３００は、通信部３０１と、制御部３０２と、を備える。

通信部３０１は、制御部３０２の制御のもと、ネットワーク５００および基地局４００を介して所定の通信規格に従って各種情報を送信するとともに、各種情報を受信する。また、通信部３０１は、制御部３０２の制御のもと、各車両１００の運転支援装置１およびウェアラブル装置２に対して所定の通信規格に従って各種情報を送信するとともに、ＧＰＳ衛星６００、各車両１００の運転支援装置１およびウェアラブル装置２から各種情報を受信する。通信部３０１は、無線通信可能な通信モジュールを用いて構成される。

制御部３０２は、メモリと、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰおよびＡＳＩＣ等のいずれかのハードウェアを有するプロセッサを用いて構成される。制御部３０２は、通信部３０１を介してウェアラブル装置２の視線センサ２３から取得した運転者の視線に関する視線情報に基づいて、運転者の視線を含む視野領域に運転支援情報が表示されるようにウェアラブル装置２へ出力する。具体的には、制御部３０２は、学習済みモデル記憶部３０３が記憶する学習済みモデルに対して、通信部３０１を介して操作センサ１２から取得したアクセルペダルに対する運転者の操作量と、車速センサ１１から取得した車両の車速とを入力パラメータとして入力し、学習済みモデル記憶部３０３が記憶する学習済みモデルから出力された出力パラメータのアクセルペダルに対する推奨操作量を取得する。そして、制御部３０２は、操作量および推奨操作量がアクセルペダルの直上の領域に運転支援情報として表示されるように操作量および推奨操作量をウェアラブル装置２へ出力する。

さらに、制御部３０２は、学習済みモデル記憶部３０３が記憶する学習済みモデルに対して、通信部３０１を介してステアリングホイールセンサ１３から取得したステアリングホイールに対する運転者の操舵量と車速センサ１１から取得した車両の車速とを入力パラメータとして入力し、学習済みモデル記憶部３０３が記憶する学習済みモデルから出力された出力パラメータのステアリングホイールに対する推奨操舵量を取得する。そして、制御部３０２は、通信部３０１を介して、操舵量および推奨操舵量がステアリングホイールの直上の領域に運転支援情報として表示されるように操舵量および推奨操舵量をウェアラブル装置２へ出力する。

さらにまた、制御部３０２は、通信部３０１を介して挙動センサ４から取得した車両の挙動情報に基づいて、運転支援情報を生成し、この運転支援情報が運転者と車両のフロントウィンドウとの間の領域に表示されるように運転支援情報をウェアラブル装置２に出力する。なお、実施の形態３では、制御部３０２がプロセッサとして機能する。

学習済みモデル記憶部３０３は、上述した実施の形態１に係る学習済みモデル記憶部１８と同様の機械学習された学習済みモデルを記憶する。

以上説明した実施の形態３によれば、制御部３０２が通信部３０１を介して、運転者の視線を含む視野領域内におけるステアリングホイール１０３上に表示されるように運転支援情報をウェアラブル装置２へ出力するため、運転者は、安全正を確保しつつ、直感的に把握することができる。

（その他の実施の形態）
実施の形態２，３では、運転者が装着可能な眼鏡型のウェアラブル装置２を用いた例を説明していたが、これに限定されることなく、種々のウェアラブル装置に適用することができる。例えば図１９に示すように撮像機能を有するコンタクトレンズ型のウェアラブル装置２Ａであっても適用することができる。さらに、図２０のウェアラブル装置２Ｂまたは図２１の脳内チップ型のウェアラブル装置２Ｃのように運転者Ｕ１の脳へ直接的に伝達する装置であっても適用することができる。さらにまた、図２２のウェアラブル装置２Ｄのようにバイザーを備えたヘルメット形状に構成されてもよい。この場合は、ウェアラブル装置２Ｄは、バイザーに画像を投影して表示するものであってもよい。

また、実施の形態２，３では、ウェアラブル装置２が運転者の網膜に投影することによって画像を視認させていたが、例えば眼鏡等のレンズに画像を投影して表示するものであってもよい。

また、実施の形態１〜３では、機械学習の一例としてニューラルネットワークを用いた深層学習を説明してきたが、それ以外の方法に基づく機械学習を適用してもよい。例えばサポートベクターマシン、決定木、単純ベイズ、ｋ近傍法等、他の教師あり学習を用いてもよい。また、教師あり学習に代えて半教師あり学習を用いてもよい。

また、実施の形態１〜３では、入力パラメータとして車両の走行データ以外にも、例えば車車間通信や路車間通信等によって得られるデータを用いてもよい。

また、実施の形態１〜３では、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

また、実施の形態１〜３に係る運転支援装置およびウェアラブル装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜３に係る運転支援装置およびウェアラブル装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１，１Ａ 運転支援装置
２，２Ａ，２Ｂ，２Ｃ，２Ｄ ウェアラブル装置
１０ ＩＧスイッチ
１１ 車速センサ
１２ 操作センサ
１３ ステアリングホイールセンサ
１４ 挙動センサ
１５，２７，３０１ 通信部
１６ 視線センサ
１７ 表示部
１８，３０３ 学習済みモデル記憶部
１９ ＥＣＵ
２０ カーナビゲーションシステム
２１ 撮像装置
２２ ９軸センサ
２３ 視線センサ
２４ 投影部
２５，２０１ ＧＰＳセンサ
２６ 装着センサ
２８，３０２ 制御部
１００ 車両
１０１ アクセルペダル
１０１Ｃ アクセルバー
１０１Ｄ ジョイスティック
１０１Ｅ ハンドル
１０２ ブレーキペダル
１０３ ステアリングホイール
１０３Ａ グリップハンドル
１０３Ｂ，１０３Ｃ 操縦桿
１０３Ｅ グリップハンドル
１０５ クラッチペダル
３００ サーバ
１０００，１００１ 運転支援システム

Claims (14)

1. メモリと、
   ハードウェアを有するプロセッサと、
   を備え、
   前記プロセッサは、
   車両の運転席に着座した運転者の視線に関する視線情報を取得し、
   前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する、
   運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記プロセッサは、
   前記視野領域内において前記車両に設けられた操作部材の直上の領域であって、前記操作部材と直交する直交方向の領域に前記運転支援情報を出力する、
   運転支援装置。
3. 請求項２に記載の運転支援装置であって、
   前記プロセッサは、
   前記操作部材に対する前記運転者の操作量と前記車両の車速とを取得し、
   複数の車両の走行データに基づいて機械学習された学習済みモデルに対して、前記操作量と前記車速とを入力パラメータとして入力し、
   前記学習済みモデルから出力された出力パラメータの前記操作部材に対する推奨操作量と、前記操作量とを前記運転支援情報として出力する、
   運転支援装置。
4. 請求項１に記載の運転支援装置であって、
   前記プロセッサは、
   前記運転者の視線上における前記運転者と前記車両のフロントウィンドウとの間に前記運転支援情報を出力する、
   運転支援装置。
5. 請求項４に記載の運転支援装置であって、
   前記プロセッサは、
   前記車両の挙動に関する挙動情報を取得し、
   前記挙動情報に基づいて、前記運転支援情報を生成し、
   前記運転支援情報を出力する、
   運転支援装置。
6. 請求項５に記載の運転支援装置であって、
   前記プロセッサは、
   凹面を有する受け部と前記凹面上を前記車両の前後および左右に生じる重力加速度の変化に応じて仮想的に移動可能な球部とを前記運転支援情報として出力する、
   運転支援装置。
7. 請求項４〜６のいずれか一つに記載の運転支援装置であって、
   前記プロセッサは、
   前記車両の車速を取得し、
   前記車速に基づいて、前記車両が移動状態であるか否かを判定し、
   前記車両が移動状態である場合、前記運転支援情報を前記運転者の視線上に出力する、
   運転支援装置。
8. 請求項１に記載の運転支援装置であって、
   前記プロセッサは、
   前記視野領域内における前記車両のステアリングホイール上に前記運転支援情報を出力する、
   運転支援装置。
9. 請求項８に記載の運転支援装置であって、
   前記プロセッサは、
   前記ステアリングホイールにおける基準位置からの操舵量と前記車両の車速とを取得し、
   複数の車両の走行データに基づいて機械学習された学習済みモデルに対して、前記操舵量と前記車速とを入力パラメータとして入力し、
   前記学習済みモデルから出力された出力パラメータの前記ステアリングホイールに対する推奨操舵量と、前記基準位置と、前記操舵量との各々を前記運転支援情報として出力する、
   運転支援装置。
10. 請求項１〜９のいずれか一つに記載の運転支援装置であって、
    前記プロセッサは、
    前記運転者の操作能力の指標である操作レベルを取得し、
    前記操作レベルに基づいて、前記運転支援情報の表示内容を制御する、
    運転支援装置。
11. 車両と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に画像を仮想的に表示可能なウェアラブル装置であって、
    当該ウェアラブル装置を装着した運転者の視線に関する視線情報を検出する視線センサと、
    メモリと、
    ハードウェアを有するプロセッサであって、前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力するプロセッサと、
    を備える、
    ウェアラブル装置。
12. 請求項１〜１０のいずれか一つに記載の運転支援装置と、
    前記運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に画像を仮想的に表示可能なウェアラブル装置と、
    を備え、
    前記ウェアラブル装置は、当該ウェアラブル装置を装着した運転者の視線情報を検出する視線センサを備え、
    前記プロセッサは、
    前記視線情報に基づいて、前記運転者の視野領域に前記運転支援情報を前記ウェアラブル装置に出力する、
    運転支援システム。
13. 運転支援装置が実行する運転支援方法であって、
    車両の運転席に着座した運転者の視線に関する視線情報を取得し、
    メモリから読み出した前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する、
    運転支援方法。
14. 運転支援装置に実行させるプログラムであって、
    車両の運転席に着座した運転者の視線に関する視線情報を取得し、
    前記視線情報に基づいて、前記運転者の視野領域に前記車両の運転を支援する運転支援情報を出力する、
    プログラム。

Images