JP2015210660A - 情報呈示装置及び情報呈示方法 - Google Patents

Abstract

【課題】運転者が感じる自動運転制御に対する安心感及び信頼感を向上させる。【解決手段】情報呈示装置１００は、車両の走行状態および車両外部の状況に基づいて、車両の走行制御を自動的に行う自動運転制御と運転者が行う手動運転制御とを切り換えることができる自動走行車両に用いる情報呈示装置である。情報呈示装置１００は、運転者が運転以外の行為をしているか否かを判断する行為判断部１２と、運転以外の行為をしていると行為判断部１２が判断した場合、運転以外の行為に応じて、複数の情報呈示部（３１〜３６）から選ばれる特定の情報呈示部を用いて運転以外の行為の停止を促す情報呈示制御部１４とを備える。【選択図】図１

Description

本発明は、情報呈示装置及び情報呈示方法に関する。

従来から、運転操作の少なくとも一部を自動で行なう自動運転装置を備えた車両に装備された前方監視促進装置が知られている（特許文献１参照）。特許文献１では、自動運転装置の作動中にドライバが前方監視していなければ、窓ガラスの一部を曇りガラス状態に変更する、ディスプレイへ警告を表示する、或いはシートを振動させることにより、ドライバの前方監視を促す。

特開２０１３−０９５３３０号

しかし、ドライバの前方監視を促す際に、前方監視していないドライバが行っている運転以外の具体的な行為は、何ら考慮されていない。よって、運転以外の行為に適した情報呈示手段を用いて前方の安全監視を促すことは難しい。

本発明は、上記課題に鑑みてなされたものであり、運転者が感じる自動運転制御に対する安心感及び信頼感が向上する情報呈示装置及び情報呈示方法を提供することを目的としている。

本発明の一態様に係わる情報呈示装置は、運転者が運転以外の行為をしているか否かを判断する行為判断部と、運転以外の行為をしていると行為判断部が判断した場合、運転以外の行為に応じて、複数の情報呈示手段から選ばれる特定の情報呈示手段を用いて運転以外の行為の停止を促す情報呈示制御部とを備える。

本発明の情報呈示装置及び情報呈示方法によれば、運転以外の行為に適した情報呈示手段を用いて運転以外の行為の停止を促すことにより、運転者が感じる自動運転制御に対する安心感及び信頼感を向上させることができる。

図１は、第１実施形態に係わる情報呈示装置１００の構成を示すブロック図である。 図２は、運転以外の行為の分類と測定部１１（複数のセンシング手段）との関係を示す表である。 図３（ａ）はセンサー検出率とシステム自信係数Ｓａとの関係の一例を示すグラフであり、図３（ｂ）はＣＰＵ負荷率とシステム自信係数Ｓｂとの関係の一例を示すグラフであり、図３（ｃ）は軌跡・目標値演算結果の確からしさとシステム自信係数Ｓｃとの関係の一例を示すグラフである。 図４は、運転以外の行為の分類と各情報呈示部（３１、３２、３４〜３６）による情報呈示方法との関係を示すグラフである。 図５（ａ）〜図５（ｃ）は、運転者が携帯端末装置４３を両手４２で持って操作している場合における情報呈示方法の例を示す図である。 図６（ａ）〜図５（ｃ）は、運転者がハンズフリーのヘッドセット４５を装着して電話を行っている場合における情報呈示方法の例を示す図である。 図７（ａ）〜図７（ｃ）は、本４６を手４２で持って読んでいる場合における情報呈示方法の例を示す図である。 図８（ａ）及び図８（ｂ）は、運転者４７がダッシュボードに設けられたテレビ４８を視聴している場合における情報呈示方法の例を示す図である。 図９（ａ）〜図９（ｃ）は、運転者が飲食をしている場合における情報呈示方法の例を示す図である。 図１０は、図１の情報呈示装置１００を用いた情報呈示方法の一例を示すフローチャートである。 図１１は、図１０のステップＳ０１及びＳ０３の詳細な手順の一例を示すフローチャートである。 図１２は、第２実施形態に係わる情報呈示装置２００の構成を示すブロック図である。 図１３は、図１２の情報呈示装置２００を用いた情報呈示方法の一例を示すフローチャートである。 図１４は、運転以外の行為と、発話内容との関係を示す表である。

以下、本発明の実施形態を複数の図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

（第１実施形態）
［情報呈示装置の構成］
図１を参照して、第１実施形態に係わる情報呈示装置１００の構成を説明する。情報呈示装置１００は、車両の走行状態および車両外部の状況に基づいて、車両の走行制御を自動的に行う自動運転制御と運転者が行う手動運転制御とを切り換えることができる自動走行車両に適用することができる。情報呈示装置１００は、自動運転制御中において、車両の運転者が行う運転以外の行為の中断を、運転者に気づかせるための情報を運転者に対して呈示する。例えば、自動運転制御に用いる制御システムから自動運転制御から手動運転制御への切り替え要求がある場合に、情報呈示装置１００は、自動運転制御から手動運転制御へ復帰させるために、運転以外の行為の停止を運転者に対して促す。

情報呈示装置１００は、自動運転制御中に運転者が行っている行為或いは状態に応じて選択される複数の情報呈示部を備える。情報呈示装置１００は、運転者の行為或いは状態に応じて複数の情報呈示部の中から特定の情報呈示部を選択し、選択した特定の情報呈示部を用いて運転以外の行為を停止させるための情報を呈示する。

具体的に、図１に示す情報呈示装置１００は、測定部１１と、行為判断部１２と、システム自信度算出部１３と、情報呈示制御部１４と、情報呈示ユニット１５とを備える。測定部１１は、運転者の行為或いは状態を推定するための複数のセンシング手段からなる。複数のセンシング手段には、撮像部２１、タッチセンサ２２、マイク２３、スピーカボリューム測定部２４、臭気測定器２５、及び電波測定器２６が含まれる。

撮像部２１は、車両の車室内に配置され、運転者を撮像して運転者の画像を取得する。撮像部２１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。画像には運転者の上半身が含まれていることが望ましい。人間の感覚器が集中する頭部や、運転以外の行為に用いられる体の部位一例としての手元が、画像に含まれていることが望ましい。運転者の行為の推定に大きな影響を与える運転者の視覚の状態（視線の方向及び動き）を精度良く計測することが望ましい。なお、運転者のみならず、車両の他の乗員の画像を取得しても構わない。他の乗員の行為（発話）から運転者の行為を推測することもできるからである。例えば、運転者及び他の乗員が交互に発話していれば車内での会話と判断できるが、他の乗員が発話していなければ、運転者は電話をしていると判断できる。

タッチセンサ２２は、車両に搭載されたタッチパネルへの接触を計測する。タッチパネルには、ナビゲーションシステム又はテレビのディスプレイ、自動運転制御に係わるユーザインターフェースが含まれる。

マイク２３は、車室内の音を測定する。マイク２３の集音に指向性を持たせることにより、発話の主体（運転者、他の乗員）を識別することができる。これにより、撮像部２１と同様にして、他の乗員の行為（発話）から運転者の行為を推測することができる。

スピーカボリューム測定部２４は、車両に搭載されたスピーカから出力される音量レベルを計測する。

臭気測定器２５は、特定の物質から発せられるにおい（臭気）の強さを測定可能であり、車室内の臭気の強さを測定する。臭気の強さから、運転以外の行為の例として、飲食をする行為を推定することができる。

電波測定器２６は、携帯電話或いは無線ＬＡＮ機器が送受信する電磁波の強度或いは周波数帯を測定する。電磁波の強度或いは周波数帯から、運転以外の行為の例として、電話をする行為、テレビを視聴する行為、インターネット、メール、ゲーム、或いはヘッドアップディスプレイを使用する行為を推定することができる。

行為判断部１２は、撮像部２１、タッチセンサ２２、マイク２３、スピーカボリューム測定部２４、臭気測定器２５、及び電波測定器２６の測定結果から、運転者が運転以外の行為をしているか否かを判断する。更に、運転以外の行為をしていると判断した場合、行為判断部１２は、測定結果から、運転者が行う運転以外の行為を推定する。行為判断部１２は、先ず、撮像部２１により取得された運転者の画像から、運転者が行う運転以外の行為を推定する。撮像部１による推定結果の確からしさ（確信度）が所定の基準値以下である場合、他のセンシング手段の測定結果も加えた上で、運転以外の行為を推定する。運転以外の行為の推定については、図２を参照して後述する。

システム自信度算出部１３は、自動運転制御に用いる制御システムの状態を示すシステム自信度を、センサー検出率、ＣＰＵ負荷率、及び軌跡・目標値演算結果の確からしさから算出する。

センサー検出率とは、センサーの最大能力に対する現在のセンサー能力の割合である。センサーは、自動運転制御に用いられる車内外を測定対象とするセンサーである。例えば、車両から最大２００ｍ前方を検出範囲をとするセンサーが１００ｍ前方までしか検出できない場合、センサー検出率は０．５となる。システム自信度算出部１３は、図３（ａ）に示すデータを参照して、センサー検出率からシステム自信係数Ｓａを算出する。

ＣＰＵ負荷率とは、ＣＰＵの最大演算処理能力に対する現在の演算処理能力の割合である。ＣＰＵは、自動運転制御に用いられる演算処理装置である。システム自信度算出部１３は、図３（ｂ）に示すデータを参照して、ＣＰＵ負荷率からシステム自信係数Ｓｂを算出する。

軌跡・目標値演算結果の確からしさとは、ナビゲーションシステムが示した道（目標値）に対する自動運転制御による走行軌跡の一致度合いを示す。例えば、夜間、悪天候（雨、強風）により走行軌跡が目標値から大きくずれれば、確からしさは小さくなる。一方、昼間、走行軌跡が目標値から大きくずれなければ、確からしさは大きくなる。システム自信度算出部１３は、図３（ｃ）に示すデータを参照して、軌跡・目標値演算結果の確からしさからシステム自信係数Ｓｃを算出する。

なお、システム自信係数（Ｓａ、Ｓｂ、Ｓｃ）は、所定の正数（下限値）から１までの間で変動する。図３（ａ）〜図３（ｃ）に示すデータは、システム自信度算出部１３がアクセス可能なメモリに格納されている。システム自信係数（Ｓａ、Ｓｃ）は、センサー検出率、或いは軌跡・目標値演算結果の確からしさが高まるほど、大きくなり、システム自信係数（Ｓｂ）は、ＣＰＵ負荷率が高まるほど、小さくなる。

システム自信度算出部１３は、（１）式のように、システム自信係数（Ｓａ、Ｓｂ、Ｓｃ）を乗算することにより、システム自信度（Ｓ）を算出する。

Ｓ＝Ｓａ×Ｓｂ×Ｓｃ×１００（％） ・・・（１）

情報呈示制御部１４は、運転以外の行為をしていると行為判断部１２が判断した場合、特定の情報呈示部（３１〜３６）を用いて運転以外の行為の停止を促すための情報を呈示する。情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為に応じて、情報呈示ユニット１５の中から特定の情報呈示部（３１〜３６）を選択し、選択された特定の情報呈示部（３１〜３６）を用いて情報を呈示する。

行為判断部１２、システム自信度算出部１３、及び情報呈示制御部１４は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラにより構成される。マイクロコントローラは、予めインストールされたコンピュータプログラムを実行することにより、複数の情報処理部（１２〜１４）を構成する。マイクロコントローラは、測定部１１により取得された情報から、運転以外の行為を停止させるための情報を呈示する一連の情報処理サイクルを、予め定めた周期毎に繰り返し実行する。マイクロコントローラは、車両にかかわる他の制御に用いる他のマイクロコントローラと兼用してもよい。

情報呈示ユニット１５は、複数の情報呈示部（３１〜３６）からなる。例えば、情報呈示ユニット１５は、視覚情報呈示部３１と、振動情報呈示部３２と、温度変更部３３と、聴覚情報呈示部３４と、化学情報呈示部３５と、通信遮断部３６とを備える。複数の情報呈示部（３１〜３６）の各々は、情報呈示制御部１４による制御の元で、運転者に対して、運転以外の行為の停止を促すための情報を呈示する。

視覚情報呈示部３１は、例えば、光の明度、彩度及び色相の少なくとも１つを連続的に変化させることにより、運転者の視覚器の対象物に対して情報を呈示する。運転者の視覚器の対象物とは、運転者が目で見ている対象物、例えば、本、又はインターネット、メール、テレビ或いはゲームのディスプレイである。例えば、図５（ａ）及び図７（ｂ）に示すように、視覚情報呈示部３１ａは、指向性を有する光４１を運転者の手元４２に向けて射出する。光４１は、運転者が操作する携帯端末装置４３に照射される。

振動情報呈示部３２は、図５（ｂ）、図７（ｃ）、図８（ａ）及び図９（ｂ）に示すように、運転者が着座するシートを振動させることにより運転者の体、手元、或いは頭を揺らす。温度変更部３３は、車両に搭載された空調システムを制御して、車室内の温度を変化させることにより運転者の肌が感じる体感温度を変化させる。聴覚情報呈示部３４は、例えば、運転以外の行為の停止を促すための音声を出力する、或いは運転者が聞いている音声を削除する。化学情報呈示部３５は、車室内ににおいを発生させることにより、運転以外の行為の停止を促すための情報を呈示する。においの種類には、例えば芳香剤の香りが含まれる。通信遮断部３６は、携帯電話、テレビ或いは無線ＬＡＮ機器が送受信する電磁波に干渉する電磁波を出力することにより、車室内における無線通信を遮断する。

図２を参照して、運転以外の行為の分類と測定部１１（複数のセンシング手段）との関係について説明する。運転以外の行為を、当該行為を行う運転者が使用する感覚器に基づいて分類している。各運転以外の行為の推定に関して、測定結果を用いることができるセンシング手段（２２〜２６）に一重丸を付している。運転以外の全ての行為の推定に関して、撮像部２１により取得される画像を用いることができるので、撮像部２１には二重丸を付している。

例えば、電話をする行為において、運転者は、聞く及び話すという動作を行うため、聴覚を使用すると同時に発話を行う。よって、電話をする行為は、撮像部２１、マイク２３、スピーカボリューム測定部２４の測定結果から推定することができる。

本を読む行為において、運転者は、読む、本を持つ、頁をめくるという動作を行うため、視覚及び手先（触覚）を使用する。よって、本を読む行為は、撮像部２１により取得された画像から推定することができる。

インターネット、メール或いはゲームを行う行為において、運転者は、探す、読む、携帯端末装置を持つ、ボタンを打つ、という動作を行うため、視覚及び手先（触覚）を使用する。よって、インターネット、メール或いはゲームを行う行為は、撮像部２１及びタッチセンサ２２の測定結果を用いて推定することができる。なお、無線の送受信を伴う場合、インターネット、メール或いはゲームを行う行為は、電波測定器２６を用いて推定することもできる。

テレビを見る行為において、運転者は、見る、聞くという動作を行うため、視覚及び聴覚を使用する。よって、テレビを見る行為は、撮像部２１、スピーカボリューム測定部２４の測定結果から推定することができる。

音楽を聴く行為において、運転者は、聞くという動作を行うため、聴覚を使用する。よって、音楽を聴く行為は、撮像部２１、スピーカボリューム測定部２４の測定結果から推定することができる。

飲食をする行為において、運転者は、食べ物を持つ、口に運ぶ、臭う、味わうという動作を行うため、手先（触覚）、味覚、臭覚を使用する。よって、飲食をする行為は、撮像部２１、臭気測定器２５の測定結果から推定することができる。

ヘッドアップディスプレイを使用する行為において、運転者は、探す、読む、視点を固定する、という動作を行うため、視覚を使用する。よって、ヘッドアップディスプレイを操作する行為は、撮像部２１の測定結果から推定することができる。なお、無線の送受信を伴う場合、ヘッドアップディスプレイを使用する行為は、電波測定器２６を用いて推定することもできる。

情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為において運転者が使用する感覚器に基づいて、複数の情報呈示部（３１〜３６）を、運転以外の行為を直接妨げる手段、或いは運転以外の行為を直接妨げない手段に分類する。運転以外の行為を直接妨げる手段は、運転以外の行為において運転者が使用する感覚器或いは感覚器の対象物に対して、運転以外の行為の停止を促すための情報を呈示する手段である。運転以外の行為を直接妨げない手段は、運転以外の行為において運転者が使用する感覚器を除く他の感覚器に対して、運転以外の行為の停止を促すための情報を呈示する手段である。

図４を参照して、運転以外の行為の分類と各情報呈示部（３１、３２、３４〜３６）による情報呈示方法との関係を説明する。情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為に応じて、特定の情報呈示部（３１〜３６）を用いて情報を呈示する。

電話をする行為が推定された場合、情報呈示制御部１４は、聴覚情報呈示部３４及び通信遮断部３６を、運転以外の行為を直接妨げる手段として分類する。電話をする行為において運転者は聴覚を使用するからであり、通信遮断部３６を用いることにより電話をする行為を直接妨げることができるからである。情報呈示制御部１４は、視覚情報呈示部３１及び振動情報呈示部３２を、運転以外の行為を直接妨げない手段として分類する。

例えば、図６（ａ）に示すように、ハンズフリーのヘッドセット４５を装着して電話を行っている場合、ダッシュボード上のディスプレイ４４（視覚情報呈示部３１の一例）に、電話をする行為の停止を促すための文字或いは図形を表示してもよい。これにより、電話をする行為を直接妨げることはない。図６（ｂ）に示すように、車室内に設けられたスピーカ（聴覚情報呈示部３４の一例）から、電話をする行為の停止を促すための音声５０ａを出力してもよい。或いは、図６（ｃ）に示すように、無線通信を通信妨害するための通信機能抑止装置３６ｂ（通信遮断部３６の一例）を用いて、通話を遮断してもよい。これらにより、電話をする行為を直接妨げることができる。

本を読む行為が推定された場合、情報呈示制御部１４は、視覚情報呈示部３１及び振動情報呈示部３２を、運転以外の行為を直接妨げる手段として分類する。本を読む行為において運転者は視覚及び手元（触覚）を使用するからである。情報呈示制御部１４は、聴覚情報呈示部３４を、運転以外の行為を直接妨げない手段として分類する。

例えば、図７（ａ）に示すように、本４６を手４２で持って読んでいる場合、車室内に設けられたスピーカ（聴覚情報呈示部３４の一例）から、本を読む行為の停止を促すための音声５０ｂを出力してもよい。これにより、本を読む行為を直接妨げることはない。一方、図７（ｂ）に示すように、視覚情報呈示部３１ａは、指向性を有する光４１を運転者の手元４２或いは本４６に向けて照射してもよい。或いは、図７（ｃ）に示すように、振動情報呈示部３２は、シートを振動させることにより運転者の手元４２を揺らしてもよい。これらにより、本を読む行為を直接妨げることができる。

メールをする行為が推定された場合、情報呈示制御部１４は、視覚情報呈示部３１、振動情報呈示部３２及び通信遮断部３６を、運転以外の行為を直接妨げる手段として分類する。メールをする行為において運転者は視覚及び手元（触覚）を使用するからであり、通信遮断部３６を用いることによりメールをする行為を直接妨げることができるからである。情報呈示制御部１４は、聴覚情報呈示部３４を、運転以外の行為を直接妨げない手段として分類する。

例えば、図５（ａ）に示すように、携帯端末装置４３を両手４２で持って操作している場合、視覚情報呈示部３１ａは、指向性を有する光４１を運転者の手元４２或いは携帯端末装置４３に向けて照射してもよい。或いは、図５（ｂ）に示すように、振動情報呈示部３２は、シートを振動させることにより運転者の手元４２を揺らしてもよい。或いは、図５（ｃ）に示すように、無線通信を通信妨害するための通信機能抑止装置３６ａ（通信遮断部３６の一例）を用いて、無線ＬＡＮ通信を遮断してもよい。これらにより、メールをする行為を直接妨げることができる。

テレビを視聴する行為が推定された場合、情報呈示制御部１４は、視覚情報呈示部３１、聴覚情報呈示部３４及び通信遮断部３６を、運転以外の行為を直接妨げる手段として分類する。テレビを視聴する行為において運転者は視覚及び聴覚を使用するからであり、通信遮断部３６を用いることによりテレビを視聴する行為を直接妨げることができるからである。情報呈示制御部１４は、振動情報呈示部３２を、運転以外の行為を直接妨げない手段として分類する。

例えば、図８（ａ）に示すように、運転者４７がダッシュボードに設けられたテレビ４８を視聴している場合、振動情報呈示部３２は、シートを振動させることにより運転者４７の頭を揺らしてもよい。これにより、テレビを視聴する行為を直接妨げることはない。一方、図８（ｂ）に示すように、通信遮断部３６を用いて、地上デジタル波の受信を遮断してもよい。これらにより、テレビを視聴する行為を直接妨げることができる。

飲食をする行為が推定された場合、情報呈示制御部１４は、視覚情報呈示部３１、振動情報呈示部３２及び化学情報呈示部３５を、運転以外の行為を直接妨げる手段として分類する。飲食をする行為において運転者は、視覚、手元（触覚）及び臭覚を使用するからである。情報呈示制御部１４は、聴覚情報呈示部３４を、運転以外の行為を直接妨げない手段として分類する。

例えば、図９（ａ）に示すように、振動情報呈示部３２は、車室内に設けられたスピーカ（聴覚情報呈示部３４の一例）から、飲食をする行為の停止を促すための音声５０ｃを出力してもよい。これにより、飲食をする行為を直接妨げることはない。一方、図９（ｂ）に示すように、振動情報呈示部３２は、シートを振動させることにより運転者４７の手元４２を揺らしてもよい。或いは、図９（ｃ）に示すように、化学情報呈示部３５は、車室内に芳香剤の香りを発生させてもよい。これらにより、飲食をする行為を直接妨げることができる。

情報呈示制御部１４は、システム自信度算出部１３により算出されたシステム自信度Ｓが所定の基準値よりも低い場合、運転以外の行為を直接妨げる手段を用いて運転以外の行為の停止を促す。システム自信度算出部１３により算出されたシステム自信度Ｓが所定の基準値以上である場合、運転以外の行為を直接妨げない手段を用いて運転以外の行為の停止を促す。

図１０を参照して、図１の情報呈示装置１００を用いた情報呈示方法の一例を説明する。図１０のフローチャートは、マイクロコントローラが定める所定の周期で繰り返し実施される。

先ず、ステップＳ０１において、行為判断部１２は、撮像部２１、タッチセンサ２２、マイク２３、スピーカボリューム測定部２４、臭気測定器２５、及び電波測定器２６の測定結果から、運転者が運転以外の行為をしているか否かを判断する。運転以外の行為をしている場合（Ｓ０１でＹＥＳ）、ステップＳ０３に進み、運転以外の行為をしていない場合（Ｓ０１でＮＯ）、リターンへ進む。つまり、図１の情報呈示装置１００は、運転者が運転以外の行為をすることを監視し、図１０のフローチャートは、運転者が運転以外の行為をすることをトリガーとして開始される。

ステップＳ０３において、行為判断部１２は、測定結果から、運転者が行う運転以外の行為を推定する。ステップＳ０５に進み、システム自信度算出部１３は、センサー検出率、ＣＰＵ負荷率或いは軌跡・目標値演算結果の確からしさから、システム自信係数（Ｓａ、Ｓｂ、Ｓｃ）を算出し、（１）式に従ってシステム自信度（Ｓ）を算出する。

ステップＳ０７に進み、情報呈示制御部１４は、システム自信度（Ｓ）が、第２しきい値（Ｓ２）よりも大きいか否かを判断する。システム自信度（Ｓ）が第２しきい値（Ｓ２）よりも大きい場合（Ｓ０７でＹＥＳ）、自動運転制御に用いる制御システムが安定しているため、自動運転制御から手動運転制御へ切り替わる可能性が低いと判断できる。よって、この場合、情報呈示制御部１４は、運転以外の行為の停止を促すための情報は呈示しない。

一方、システム自信度（Ｓ）が第２しきい値（Ｓ２）以下である場合（Ｓ０７でＮＯ）、自動運転制御に用いる制御システムが安定していないため、自動運転制御から手動運転制御へ切り替わる可能性が高いと判断できる。よって、この場合、運転以外の行為の停止を促すために、ステップＳ０９へ進む。

ステップＳ０９において、情報呈示制御部１４は、システム自信度（Ｓ）が、第１しきい値（Ｓ１）よりも大きいか否かを判断する。第１しきい値（Ｓ１）は、第２しきい値（Ｓ２）よりも低い値である。システム自信度（Ｓ）が第１しきい値（Ｓ１）よりも大きい場合（Ｓ０９でＹＥＳ）、自動運転制御から手動運転制御へ早期に復帰する可能性は低いと判断できる。よって、この場合、情報呈示制御部１４は、運転以外の行為を直接妨げない手段を用いて、運転以外の行為の停止を促すための情報を呈示する（ステップＳ１３）。この時、情報呈示制御部１４は、ステップＳ０３の推定結果に応じて、運転以外の行為を直接妨げない手段を特定する。

一方、第１しきい値（Ｓ１）以下である場合（Ｓ０９でＮＯ）、自動運転制御から手動運転制御へ早期に復帰する可能性は高いと判断できる。よって、この場合、ステップＳ１５に進み、情報呈示制御部１４は、運転以外の行為を直接妨げる手段を用いて、運転以外の行為の停止を促すための情報を呈示する。この時、情報呈示制御部１４は、ステップＳ０３の推定結果に応じて、運転以外の行為を直接妨げる手段を特定する。

なお、システム自信度（Ｓ）が第１しきい値（Ｓ１）よりも大きい場合（Ｓ０９でＹＥＳ）であって、既に運転以外の行為を直接妨げない手段を用いた情報の呈示を行っている場合（Ｓ１１でＹＥＳ）、運転以外の行為を直接妨げる手段を用いて情報を呈示する（Ｓ１５）。運転以外の行為を直接妨げない手段を用いた情報呈示を繰り返すことにより運転者が感じる煩わしさを軽減することができる。

図１１を参照して、図１０のステップＳ０１及びＳ０３の詳細な手順の一例を説明する。ステップＳ１０１において、運転者による運転以外の動作が、撮像部２１により取得された画像から観察できるか否かを判断する。運転以外の動作が観察できる場合（Ｓ１０１でＹＥＳ）、ステップＳ１０３に進み、撮像部２１による運転以外の行為の推定精度（確信度）を算出する。撮像部２１の確信度が所定の基準値よりも高い場合（Ｓ１０５でＹＥＳ）、撮像部２１の画像から推定される運転以外の行為を情報呈示制御部１４へ出力する。

一方、運転以外の動作が画像から観察できない場合（Ｓ１０１でＮＯ）、或いは撮像部２１の確信度が所定の基準値以下である場合（Ｓ１０５でＮＯ）、ステップＳ１０７に進む。そして、運転者による運転以外の動作が、撮像部２１を除く他のセンシング手段（２２〜２６）から観察できるか否かを判断する。運転以外の動作が観察できる場合（Ｓ１０７でＹＥＳ）、ステップＳ１０９に進み、他のセンシング手段（２２〜２６）による運転以外の行為の推定精度（確信度）を算出する。他のセンシング手段（２２〜２６）の確信度が所定の基準値よりも高い場合（Ｓ１１１でＹＥＳ）、他のセンシング手段（２２〜２６）の測定結果から推定される運転以外の行為を情報呈示制御部１４へ出力する。

他のセンシング手段（２２〜２６）の測定結果から運転以外の動作が観察できない場合（Ｓ１０７でＮＯ）、或いは他のセンシング手段（２２〜２６）の確信度が所定の基準値以下である場合（Ｓ１１１でＮＯ）、ステップＳ１１３に進む。そして、撮像部２１と他のセンシング手段（２２〜２６）を組み合わせて推定される運転以外の行為の推定精度（確信度）を算出する（Ｓ１１３）。確信度が所定の基準値よりも高い場合（Ｓ１１５でＹＥＳ）、撮像部２１及び他のセンシング手段（２２〜２６）の測定結果から推定される運転以外の行為を情報呈示制御部１４へ出力する。確信度が所定の基準値よりも高い場合（Ｓ１１５でＮＯ）、図１０のステップＳ０１でＮＯと判断する。

以上説明したように、第１実施形態によれば以下の作用効果が得られる。

情報呈示装置１００は、運転者が運転以外の行為をしていると判断した場合、運転以外の行為に応じて、複数の情報呈示部（３１〜３６）から選ばれる特定の情報呈示部を用いて運転以外の行為の停止を促す。これにより、運転以外の行為に適した情報呈示部（３１〜３６）を用いて運転以外の行為の停止を促すことができるので、運転者に過度の緊張感を与えること無く、車両（自動運転制御）から人間へ権限委譲の意思を伝達することができる。よって、運転者は安心して車両の運転を自動運転制御から引き継ぐことができるので、運転者が感じる自動運転制御に対する安心感及び信頼感が向上する。

情報呈示装置１００は、運転者を撮像して画像を取得する撮像部２１を備え、撮像部２１により取得された画像から運転以外の行為を推定する。運転以外のほぼ全ての行為の推定に関して、撮像部２１により取得される画像を用いることができる。よって、図２に示したように、運転以外の行為を詳細に分類して推定することができる。

図４に示したように、情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為において運転者が使用する感覚器に基づいて、複数の情報呈示部（３１〜３６）を、運転以外の行為を直接妨げる手段、或いは運転以外の行為を直接妨げない手段に分類する。運転以外の行為を直接妨げない手段は、運転以外の行為を直接妨げる手段に比べて、情報を呈示した時に運転者に与える緊張感が低くなる。したがって、運転者に過度の緊張感を与えること無く、車両（自動運転制御）から人間へ権限委譲の意思を伝達することができる。なお、運転以外の行為が推定されれば、図２に示したように、その行為で運転者が使用する感覚器も同時に推定可能である。

情報呈示装置１００は、自動運転制御のシステム自信度（Ｓ）を算出するシステム自信度算出部１３を更に備える。情報呈示制御部１４は、システム自信度（Ｓ）が第１のしきい値（Ｓ１）よりも低い場合（Ｓ０９でＮＯ）、運転以外の行為を直接妨げる手段を用いて運転以外の行為の停止を促し（Ｓ１５）、システム自信度（Ｓ）が第１のしきい値（Ｓ１）以上である場合（Ｓ０９でＹＥＳ）、運転以外の行為を直接妨げない手段を用いて運転以外の行為の停止を促す（Ｓ１３）。システム自信度（Ｓ）が低いほど、自動運転制御から手動運転制御へ移行の緊急度が高まる。よって、移行の緊急度に応じて、運転以外の行為を直接妨げる手段及び妨げない手段を使い分けることにより、適切な緊張感を運転者に付与することができる。運転者が感じる自動運転制御に対する安心感及び信頼感が向上する。

運転以外の行為を直接妨げる手段は、運転以外の行為において運転者が使用する感覚器或いは感覚器の対象物に対して、運転以外の行為の停止を促すための情報を呈示する手段である。一方、運転以外の行為を直接妨げない手段は、運転以外の行為において運転者が使用する感覚器を除く他の感覚器に対して、運転以外の行為の停止を促すための情報を呈示する手段である。これにより、情報呈示装置１００は、情報の呈示を受けた運転者が感じる緊張感を制御することができる。

複数の情報呈示部には、光の明度、彩度及び色相の少なくとも１つを連続的に変化させることにより、運転者が使用する視覚器の対象物に対して情報を呈示する視覚情報呈示部３１が含まれる。これにより、視覚情報呈示部３１を、運転以外の行為を直接妨げる手段として用いることができる。

複数の情報呈示部には、運転者が着座するシートを振動させることにより運転者の体を揺らす振動情報呈示部３２が含まれる。これにより、振動情報呈示部３２を、運転以外の行為に応じて、運転以外の行為を直接妨げる手段、或いは運転以外の行為を直接妨げない手段として使い分けることができる。

複数の情報呈示部には、車両の車室内の温度を変化させることにより運転者の肌が感じる体感温度を変化させる温度変更部３３が含まれる。これにより、温度変更部３３を、運転以外の行為を直接妨げない手段として用いることができる。

複数の情報呈示部には、運転以外の行為の停止を促すための音声を出力する、或いは運転者が聞いている音声を削除する聴覚情報呈示部３４が含まれる。これにより、聴覚情報呈示部３４を、運転以外の行為に応じて、運転以外の行為を直接妨げる手段、或いは運転以外の行為を直接妨げない手段として使い分けることができる。

複数の情報呈示部には、車両の車室内ににおいを発生させる化学情報呈示部３５が含まれる。これにより、聴覚情報呈示部３４を、運転以外の行為に応じて、運転以外の行為を直接妨げる手段、或いは運転以外の行為を直接妨げない手段として使い分けることができる。

複数の情報呈示部には、無線通信を遮断する通信遮断部３６が含まれる。これにより、通信遮断部３６を、運転以外の行為を直接妨げる手段として用いることができる。

（第２実施形態）
図１２を参照して、第２実施形態に係わる情報呈示装置２００の構成を説明する。情報呈示装置２００は、図１の情報呈示装置１００に比べて、次の点が相違する。情報呈示装置２００は、マイクロコントローラにより構成される情報処理部として、周辺リスク演算部１６（到達推定部）及び引継時間演算部１７（引継推定部）を更に備える。情報呈示ユニット１５には、複数の情報呈示部として、視覚情報呈示部３１及び聴覚情報呈示部３４が含まれる。情報呈示ユニット１５は、振動情報呈示部３２、温度変更部３３、化学情報呈示部３５及び通信遮断部３６を備えていなくても構わない。

情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為を運転者に対して報知して当該行為の停止を促す。具体的には、図１４に示すように、運転以外の行為を明示した上で、当該行為の停止を促すための情報を、視覚情報呈示部３１或いは聴覚情報呈示部３４を用いて、運転者に対して呈示する。情報呈示制御部１４は、車室内に設けられた、視覚情報呈示部３１の一例であるスピーカから、図１４に示す内容の音声を出力する。或いは、例えばダッシュボード上に設けられた視覚情報呈示部３１の一例であるディスプレイに、図１４に示す内容の文字を表示する。

周辺リスク演算部１６は、車両が周辺リスクに到達するまでの到達時間ＴＲを推定する。「周辺リスク」とは、自動運転制御中の車両が、自動運転制御が継続できなくなると予想される地図上の位置、或いは自動運転制御が継続できなくなる原因となる障害物を示す。到達時間ＴＲは、車両の現在位置から周辺リスクに到達するまでの予想時間である。よって、周辺リスク演算部１６には、周辺リスク及び車両の現在位置に関する情報が入力され、これらの情報から到達時間ＴＲを演算する。

例えば、周辺リスク演算部１６は、（２）式に従って到達時間ＴＲを演算する。ＢＤは車両の制動距離を示し、ＯＢＤは車両から障害物（車、歩行者など）までの距離を示し、ＬＤＤは車両が道路から逸脱するまでの距離を示し、ＶＬは車両の速度を示す。Ｌ１、Ｌ２、Ｌ３は、車両の走行状況及び車両の種類に応じて変化する係数である。

ＴＲ＝（Ｌ１×ＢＤ＋Ｌ２×ＯＢＤ＋Ｌ３×ＬＤＤ）／ＶＬ ・・・（２）

引継時間演算部１７は、行為判断部１２により推定された運転以外の行為から運転者が車両の走行制御を開始するまでに要する引継時間ＴＴを推定する。引継時間ＴＴとは、運転者が運転以外の行為を停止すべきことに気づいてから、運転以外の行為を停止して、自ら車両の走行制御を行うことができるようになるまでに必要な時間である。例えば、ステアリングから両手を離していた状態から、ステアリングを両手で握るまでに、およそ０．８秒間を要する。携帯端末装置などに視点を固定した状態から車両の前方に視線を向けるまでに、およそ０．８秒間を要する。身体的な観点から引継時間を、運転以外の行為ごとに予めデータベースとして記憶していることが望ましい。引継時間演算部１７は、データベースを参照することにより、行為判断部１２により推定された運転以外の行為から、引継時間ＴＴを求めることができる。

例えば、引継時間演算部１７は、（３）式に従って引継時間ＴＴを演算する。ＶＤＴは、視覚を用いた運転以外の行為からの引継時間を示し、ＭＤＴは、手元（触覚）を用いた運転以外の行為からの引継時間を示し、ＡＤＴは、聴覚を用いた運転以外の行為からの引継時間を示し、ＣＤＴは、電話、インターネット及びメールを含むコミュニケーション、テレビ及び音楽を含む娯楽、睡眠などからの引継時間を示す。Ｋ１、Ｋ２、Ｋ３、Ｋ４は、車両の走行状況及び車両の種類に応じて変化する係数である。

ＴＴ＝Ｋ１×ＶＤＴ＋Ｋ２×ＭＤＴ＋Ｋ３×ＡＤＴ＋Ｋ４×ＣＤＴ ・・・（３）

その他の構成は、図１の情報呈示装置１００と同じであるため、説明を省略する。

図１３を参照して、図１２の情報呈示装置２００を用いた情報呈示方法の一例を説明する。図１３のフローチャートは、マイクロコントローラが定める所定の周期で繰り返し実施される。

先ず、図１０のステップＳ０１及びＳ０３と同じ処理を実施する。つまり、行為判断部１２は、各センシング手段（２１〜２６）の測定結果から、運転者が運転以外の行為をしているか否かを判断する。運転以外の行為をしている場合（Ｓ０１でＹＥＳ）、行為判断部１２は、測定結果から、運転者が行う運転以外の行為を推定する。

ステップＳ２１に進み、引継時間演算部１７は、（３）式に従って引継時間ＴＴを演算する。ステップＳ２３に進み、周辺リスク演算部１６は、車両が周辺リスクに到達するまでの到達時間ＴＲを推定する。

ステップＳ０５に進み、システム自信度算出部１３は、センサー検出率、ＣＰＵ負荷率或いは軌跡・目標値演算結果の確からしさから、システム自信係数（Ｓａ、Ｓｂ、Ｓｃ）を算出し、（１）式に従ってシステム自信度（Ｓ）を算出する。

ステップＳ２５に進み、情報呈示制御部１４は、システム自信度（Ｓ）が、第２しきい値（Ｓ２）よりも大きいか否かを判断する。システム自信度（Ｓ）が第２しきい値（Ｓ２）よりも大きい場合（Ｓ２５でＹＥＳ）、自動運転制御に用いる制御システムが安定しているため、自動運転制御から手動運転制御へ切り替わる可能性が低いと判断できる。よって、この場合、情報呈示制御部１４は、運転以外の行為の停止を促すための情報は呈示しない。なお、第２しきい値（Ｓ２）を用いるが、第１しきい値（Ｓ１）であっても、それ以外のしきい値（Ｓlimit）であっても構わない。

一方、システム自信度（Ｓ）が第２しきい値（Ｓ２）以下である場合（Ｓ２５でＮＯ）、ステップＳ２７へ進む。自動運転制御に用いる制御システムが安定していないため、自動運転制御から手動運転制御へ切り替わる可能性が高いと判断できる。

ステップＳ２７において、情報呈示制御部１４は、引継時間ＴＴが到達時間ＴＲよりも長いか否かを判断する。引継時間ＴＴが到達時間ＴＲよりも長い場合（Ｓ２７でＹＥＳ）、手動運転制御への移行を早期に運転者に気づかせる必要がある。そこで、ステップＳ２９に進み、情報呈示制御部１４は、運転以外の行為を明示した上で、当該行為の停止を促すための情報を、視覚情報呈示部３１或いは聴覚情報呈示部３４を用いて、運転者に対して呈示する。

一方、引継時間ＴＴが到達時間ＴＲ以下である場合（Ｓ２７でＮＯ）、手動運転制御への移行を早期に運転者に気づかせる必要はない。行為の停止を促すための情報は呈示しない。

なお、ステップＳ２７で、引継時間ＴＴと到達時間ＴＲを比較した。聴覚的情報呈示部３４を用いて情報を提示する場合、発話を開始してから終了するまでの発話時間が存在する。そこで、到達時間ＴＲに発話時間を加えた時間と、引継時間ＴＴとを比較してもよい。

以上説明したように、第２実施形態によれば、以下の作用効果が得られる。

情報呈示制御部１４は、行為判断部１２により推定された運転以外の行為を運転者に対して報知して当該行為の停止を促す。これにより、自動運転制御中における運転以外の行為の停止を直接報知することができる。よって、運転者に適度な緊張感を与えながら、運転以外の行為の停止を促すことができる。

情報呈示制御部１４は、システム自信度が所定の基準値（Ｓ２）よりも低く（Ｓ２５でＮＯ）、且つ引継時間ＴＴが到達時間ＴＲよりも長い場合（Ｓ２７でＹＥＳ）、運転以外の行為の停止を促すための情報を呈示する（Ｓ２９）。自動運転制御から手動運転制御へ移行の緊急度が高い場合に、運転者に適度な緊張感を与えながら、運転以外の行為の停止を促すことができる。

情報呈示制御部１４は、視覚情報呈示部３１を用いて、運転以外の行為を運転者に対して報知してもよい。瞬時に情報を提示できるので、手動運転制御への移行を早期に運転者に気づかせることができる。

情報呈示制御部１４は、聴覚情報呈示部３４を用いて、運転以外の行為を運転者に対して報知してもよい。電話、本、インターネット、テレビ、ゲームなど、運転者が視覚器を用いて運転以外の行為を行っていても、当該行為の停止を気づかせることができる。

１２ 行為判断部
１３ システム自信度算出部
１４ 情報呈示制御部
１６ 周辺リスク演算部（到達推定部）
１７ 引継時間演算部（引継推定部）
２１ 撮像部
３１ 視覚情報呈示部
３２ 振動情報呈示部
３３ 温度変更部
３４ 聴覚的情報呈示部
３５ 化学情報呈示部
３６ 通信遮断部

Claims (16)

1. 車両の走行状態および車両外部の状況に基づいて、前記車両の走行制御を自動的に行う自動運転制御と運転者が行う手動運転制御とを切り換えることができる自動走行車両に用いる情報呈示装置であって、
   前記運転者が運転以外の行為をしているか否かを判断する行為判断部と、
   前記運転以外の行為をしていると前記行為判断部が判断した場合、前記運転以外の行為に応じて、複数の情報呈示手段から選ばれる特定の情報呈示手段を用いて前記運転以外の行為の停止を促す情報呈示制御部と、
   を備えること特徴とする情報呈示装置。
2. 前記情報呈示制御部は、前記行為判断部により推定された前記運転以外の行為において前記運転者が使用する感覚器に基づいて、前記複数の情報呈示手段を、前記運転以外の行為を直接妨げる手段、或いは前記運転以外の行為を直接妨げない手段に分類する
   ことを特徴とする請求項１に記載の情報呈示装置。
3. 自動運転制御のシステム自信度を算出するシステム自信度算出部を更に備え、
   前記情報呈示制御部は、
   前記システム自信度算出部により算出された前記システム自信度が所定のしきい値よりも低い場合、前記運転以外の行為を直接妨げる手段を用いて前記運転以外の行為の停止を促し、
   前記システム自信度算出部により算出された前記システム自信度が所定のしきい値以上である場合、前記運転以外の行為を直接妨げない手段を用いて前記運転以外の行為の停止を促す
   ことを特徴とする請求項２に記載の情報呈示装置。
4. 前記運転以外の行為を直接妨げる手段は、前記運転以外の行為において運転者が使用する感覚器或いは前記感覚器の対象物に対して、前記運転以外の行為の停止を促すための情報を呈示する手段であり、
   前記運転以外の行為を直接妨げない手段は、前記運転以外の行為において運転者が使用する感覚器を除く他の感覚器に対して、前記運転以外の行為の停止を促すための情報を呈示する手段であることを特徴とする請求項２または３に記載の情報呈示装置。
5. 前記運転者を撮像して画像を取得する撮像部を更に備え、
   前記行為判断部は、前記撮像部により取得された前記画像から前記運転以外の行為を推定する
   ことを特徴とする請求項１〜４のいずれか一項に記載の情報呈示装置。
6. 前記複数の情報呈示手段には、光の明度、彩度及び色相の少なくとも１つを連続的に変化させることにより、前記運転者が使用する視覚器の対象物に対して前記運転以外の行為の停止を促すための情報を呈示する視覚情報呈示手段が含まれることを特徴とする請求項１〜５のいずれか一項に記載の情報呈示装置。
7. 前記複数の情報呈示手段には、前記運転者が着座するシートを振動させることにより前記運転者の体を揺らす振動情報呈示手段が含まれることを特徴とする請求項１〜６のいずれか一項に記載の情報呈示装置。
8. 前記複数の情報呈示手段には、前記車両の車室内の温度を変化させることにより前記運転者の肌が感じる体感温度を変化させる温度変更手段が含まれることを特徴とする請求項１〜７のいずれか一項に記載の情報呈示装置。
9. 前記複数の情報呈示手段には、前記運転以外の行為の停止を促すための音声を出力する、或いは前記運転者が聞いている音声を削除する聴覚情報呈示手段が含まれることを特徴とする請求項１〜８のいずれか一項に記載の情報呈示装置。
10. 前記複数の情報呈示手段には、前記車両の車室内ににおいを発生させる化学情報呈示手段が含まれることを特徴とする請求項１〜９のいずれか一項に記載の情報呈示装置。
11. 前記複数の情報呈示手段には、無線通信を遮断する通信遮断手段が含まれることを特徴とする請求項１〜９のいずれか一項に記載の情報呈示装置。
12. 前記情報呈示制御部は、前記行為判断部により推定された前記運転以外の行為を運転者に対して報知して当該行為の停止を促すことを特徴とする請求項１に記載の情報呈示装置。
13. 前記行為判断部により推定された前記運転以外の行為から運転者が車両の走行制御を開始するまでに要する引継時間を推定する引継推定部と、
    前記車両が周辺リスクに到達するまでの到達時間を推定する到達推定部と、
    自動運転制御のシステム自信度を算出するシステム自信度算出部と、を更に備え、
    前記情報呈示制御部は、
    前記システム自信度算出部により算出された前記システム自信度が所定のしきい値よりも低く、且つ前記引継時間が前記到達時間よりも長い場合、前記運転以外の行為の停止を促すための情報を呈示することを特徴とする請求項１２に記載の情報呈示装置。
14. 前記情報呈示制御部は、視覚情報呈示手段を用いて、前記運転以外の行為を運転者に対して報知することを特徴とする請求項１２に記載の情報呈示装置。
15. 前記情報呈示制御部は、聴覚情報呈示手段を用いて、前記運転以外の行為を運転者に対して報知することを特徴とする請求項１２に記載の情報呈示装置。
16. 車両の走行状態および車両外部の状況に基づいて、前記車両の走行制御を自動的に行う自動運転制御と運転者が行う手動運転制御とを切り換えることができる自動走行車両に適用される情報呈示方法であって、
    前記運転者が運転以外の行為をしているか否かを判断し、
    前記運転以外の行為をしていると判断した場合、前記運転以外の行為に応じて、複数の情報呈示手段から選ばれる特定の情報呈示手段を用いて前記運転以外の行為の停止を促すための情報を提示する
    こと特徴とする情報呈示方法。

Images