JP2018134902A - 情報提示システム - Google Patents

Abstract

【課題】 移動体に搭載されるセンサ類から提供される走行に直接関連する情報を運転者に視覚的に提示するためのシステムを提供する。【解決手段】 移動体の走行状態を示す走行情報、移動体の外方における走行に必要な外部環境情報、および、移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備える。情報覚知手段は、複数の表示体３１ａ，３１ｂ，・・・，３１ｎを備え、表示体は、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させる。【選択図】 図２

Description

本発明は、移動体を運転する運転者に対して走行に関連する情報を提示するための情報提示システムに関するものである。

車両等の移動体に搭載される情報提示システムには、いわゆるカーナビゲーションシステムがあり、運転者に対する走行関連情報を提供するものであることは周知である。この種の技術は、運転者が移動体を運転するに際し、走行体の進路や道路状況などの走行関連情報を運転者に提供するものであった。しかし、走行関連情報の提供は、情報提供システムから運転者に対して一方向であり、インタラクティブなものではなかった。そのため、運転者は情報提供システムから提供される情報に対し一方的に従うのみであり、同乗者のような関係が構築されるものではなかった。

そこで、車載ロボットというコンセプトが出現し、インタラクティブな関係性をもった情報提示システムが開発されている（非特許文献１および２参照）。この種の技術は、走行関連情報に加えて相互間の情報伝達を可能にするものであり、映像、音声、光または駆動部の動きを媒体として、画像処理または音声認識などの技術を応用することによって、会話的要素を導入しようとするものである。

ところが、上記技術によれば、車載ロボットと運転者とが一対一型のインタラクションが前提であり、例えば、運転中において、車載ロボットが会話を開始した場合、運転者は応答しなければならない意識を持つこととなり、運転に集中できない要素を招来させるという問題点があった。他方、車載ロボットの会話に応答しない場合には、有効なインタラクションが形成されず、単なるナビゲーションシステムが搭載されているに過ぎない状態となり、従前と相違しないこととなり得るものであった。

そこで、本願の発明者らにおいて、多人数会話を利用した認知負荷の軽減を目的とする車載型情報提示システムを開発した（非特許文献３参照）。この技術は、一対一型のインタラクションの問題点を解消すべく、車載ロボットによって多人数会話を実現させるものであり、運転者の会話への参加が要請されないことをコンセプトとするものである。すなわち、車載ロボットが多人数会話を実行することにより、運転者は会話の参加に対し自由度を有することとなり、この自由度により多人数会話における緩やかな共同性を実現するのである。その結果として、運転に集中する際には、会話に応答しないことが許容され、運転者の認知負荷を軽減するものであった。

特開２０１７−１９４３６号公報

伊藤宏平他，「車載ロボットの試作」ＰＩＯＮＥＥＲ Ｒ＆Ｄ，Ｖｏｌ．１７，Ｎｏ．１／２００７ 市原直彦他，「車載カメラ応用技術〜画像認識カーナビゲーションと車載ロボット〜」ＰＩＯＮＥＥＲ Ｒ＆Ｄ，Ｖｏｌ．１７，Ｎｏ．１／２００７ 吉川宗志他，「多人数インタラクション型ドライビングエージェント（ＮＡＭＩＤＡ）におけるインタラクションデザイン」Ｐ−２９，ＨＡＩシンポジウム２０１６

前掲の車載ロボットは、専らナビゲーション情報を運転者に伝達するためのものであり、当該ナビゲーション情報に追加して、日常会話または関連情報を話題として提供するものであった。また、多人数会話型の車載ロボットにあっては、運転者の認知負荷を軽減するものである点で優れるが、提供される情報については、やはりナビゲーション情報および付加情報に限定され、運転操作に関する情報、すなわち移動体の走行に直接的に関連する情報は含まれていなかった。これは、走行に関連する情報を音声等で伝達することの困難性に由来するものであった。

ところで、近時の移動体には、自動ブレーキシステムに代表されるように、各種のセンサ類とコンピュータ制御によって、走行体を運転者の操作ミスから防御することができるものとなっており、さらに、自動運転システムに関する技術が急速に進歩し、移動体を自動で走行させることが実現しつつある。このように、移動体に各種センサが搭載されることにより、運転者が注視しなければならない情報についてもセンサによる検知がなされ、また死角領域についてもセンサによる検知がなされ、これらの情報に基づいて制御がなされ得る構成となっている（特許文献１参照）。

上記の自動運転システムについて広く受け容れられている定義には、自動化の程度によりレベル０〜４まで段階的に区分されているものがある。この定義によれば、レベル４では完全自動運転の状態であるが、レベル３では、自動運転状態と手動操作による運転状態とが混在する状態とされている。従って、レベル３および４の状態は、運転者が運転操作を行わない状況において移動体が走行する事象を出現させることとなる。

しかしながら、上記自動運転システムにおいては、特にレベル３における自動運転状態においては、移動体が自動運転できる状態であるのか、または手動操作によって運転すべき状態であるのかは、移動体に搭載された制御システムによって制御されることから、制御システム外部（運転者）において客観的に把握することは容易でなかった。そして、これらの状況の変化は、専ら報知装置によって運転者に覚知させるに留まり、自動運転時における走行が、どのような状況判断によってなされているのかは運転者において知ることができなかった。そのため、運転者は自動運転状態であっても安心することができず、また、移動体の走行状態について自らの観察によって安全性を確認せざるを得なかった。すなわち、自動運転システムと運転者とのインターフェース（ＨＭＩ：Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｔｅｒｆａｃｅ）に関する技術については開発されてこなかった。

本発明は、上記諸点にかんがみてなされたものであって、その目的とするところは、移動体に搭載されるセンサ類から提供される走行に直接関連する情報を運転者に視覚的に提示するためのシステムを提供するとともに、移動体が走行に関連する情報を入力している状況をも運転者に覚知させ得る情報提示システムを提供することである。

そこで、本発明は、有人の移動体に備えられて運転者に対して該移動体の走行に関連する情報を提示する情報提示システムであって、前記移動体の走行状態を示す走行情報、該移動体の外方における走行に必要な外部環境情報、および、該移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、前記情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、前記制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備え、前記情報覚知手段は、複数の表示体を備え、該表示体は、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させるものであることを特徴とする。

上記構成によれば、走行情報、外部環境情報および運転者情報の一種以上を取得し、これらの情報に基づいて運転者に提示すべき情報が生成され、覚知手段によって運転者に情報提示されるものである。ここで、覚知手段としては、複数の表示体を備えており、この複数の表示体について、形態変化させることによって運転者の意識を喚起させ、走行関連情報を提示するものであり、表示体の形態とは、音（もしくは音声）による場合のほか、表示の形状、色彩、模様またはこれらの組合せであり、映像として形態を変化させる場合のほか、表示体を移動または回転させるなど、表示体を駆動することによって形態を変化させる場合もあり得る。文字による形態の表示もあり得るが、視覚的に瞬間認識できるためには、専ら外観上の変化による形態認識を中心とし、音声による場合は副次的な内容とすることができる。

本発明の移動体は、その移動行程の一部または全部を制御する自動運転制御装置と、前記自動運転制御装置による移動運転モードと運転者による手動運転モードとの切り換えを可能にする切換手段とを備える場合があり、このような移動体の場合の制御手段は、自動運転モードへの切り換えが可能であることを提示する提示情報を生成し、または手動運転モードへの切り換えを示唆することを提示する提示情報を生成するものとすることができる。そして、運転者によって自動運転モードに切り換えられた場合には、外部環境情報のうち、移動体が走行に際して必要となるべき情報が取得されていることを提示するように提示情報を生成するような構成としている。

さらに、本発明の情報的システムには、運転者の視覚に関する情報を取得する手段（アイトラッカー）を同時に備えることができ、運転者の視線を入力情報として、覚知手段における覚知の態様に反映させることが可能である。このような態様においては、自動運転時または手動運転時のいずれの場合においても、運転者の視線を検出し、覚知手段による覚知の状態が、運転者の視線に同調するように同一方向を注視している状態を表現させることも可能となる。覚知手段を構成する表示体が生物の様態を模したものであれば、運転者と表示体とが協力関係にあるような覚知方法も実現できる。また、走行時（特に自動運転時）において、運転者の視線が頻繁に特定の方向を示す場合、運転者が特に注視している事項を特別な情報として入力させることもでき、この情報の処理方法としては、移動体の走行における注意点を運転者が指示するような様態を形成することも可能となる。

本発明によれば、複数の表示体によって形態変化によって走行関連情報を表示するため、運転者が運転操作を行っている場合には、運転に集中しつつ走行関連情報を視覚的に入手することができる。また、移動体が自動運転により走行している状況下においては、自動運転に際していかなる情報を入手しているかが表示体を介して提示されることとなり、運転者において、表示体以外の状況との比較、すなわち自らの観察による走行関連情報との比較を可能とするものである。従って、移動体が自動運転操作によって走行する場合においても、運転者において、正常な状況判断がなされていることを視覚的に覚知することができ、運転者を安心させることができる。

本発明の実施形態の概要を示す説明図である。 ＨＭＩコントローラおよびＨＭＩの構成を示す説明図である。 ＨＭＩの具体的形態の一態様を示す説明図である。 ＨＭＩの移動体への搭載例を示す説明図である。 ＨＭＩコントローラにおける処理フローを示す説明図である。 ＨＭＩコントローラにおける処理フローを示す説明図である。 表示体の制御方法を示す説明図である。 表示体の制御方法を示す説明図である。 ＨＭＩの具体的形態についての変形例を示す説明図である。

以下、本発明の実施の形態を図面に基づいて説明する。図１は、本実施形態のシステムの概要を示している。本実施形態に係る情報提示システムは、車両等の移動体に搭載されるものであり、当該移動体は自動運転システム１が搭載されていることを前提とするものである。また、自動運転システム１は、自動運転制御装置による自動運転と運転者ＤＲが運転操作する手動運転との相互間において、移動体の走行中に運転者ＤＲの操作によって切換を可能としている。

自動運転システム１は、図１に示されるように、各種の情報を入手するための情報取得手段を備えている。例えば、位置情報の入手のためのＧＰＳ受信部１１、地図データベース１２、外部センサ１３，内部センサ１４などがある。これらの情報は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６に入力され、このＥＣＵによる制御により運転切換の可否の判定および自動運転時の走行制御を可能としている。

外部センサ１３は、移動体の外方における走行に必要な外部環境を取得するためのセンサ類であり、カメラ、レーダー、ライダー（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などがある。カメラは、所定の外部環境を撮影するためのものであり、先行車や障害物などの物体の検出に必要な情報を取得するために使用される。また、画像処理によって、信号機、歩行者、構造物などを区別するとともに、信号機の表示の状態や道路標識の表示内容などを検出する。レーダーは、電波を利用して移動体外方の障害物などを検出するために使用される。ライダーは、光を利用して移動体外方の障害物などを検出するために使用される。外部環境に関する情報を入手するためには、これらの以外の入力装置を付加してもよく、入手情報は重複してもよい。また、重複する情報の入手が制御を混乱させる場合は、一部のセンサ類を省略してもよい。

内部センサ１４は、移動体の走行状態を取得するためのセンサ類であり、車速センサ、加速度センサ、ヨーレートセンサなどがある。車速センサは、車輪または車軸における回転速度を検出するものである。加速度センサは、前後方向の加速度とともに、左右方向の加速度を検出するものである。ヨーレートセンサは、移動体の重心の鉛直軸周りの回転角速度を検出するものである。これらのセンサ類により、少なくとも移動体が走行している（または停止している）状況の基本的な状態を取得することができる。これらの情報をＧＰＳ情報や地図データ等に付加して処理することにより、走行計画に基づく運転状況を検出することも可能となる。

ＥＣＵ１６は、外部状況認識部および位置認識部を備えており、ＧＰＳ受信部１１，地図データベース１２および外部センサ１３から入力される情報により、外部状況および位置情報から、外部環境情報として認識する。なお、外部状況として認識されるべき事項としては、道路の幅や形状、移動体外方の障害物の存否、信号機や道路標識の表示内容などが挙げられる。

また、ＥＣＵ１６は、運転制御部を備えており、外部環境情報を参照しつつアクセル操作、ブレーキ操作および操舵操作を制御するものである。これらの操作には、スロットルアクチュエータ、ブレーキアクチュエータ、および操舵アクチュエータによるものであり、各アクチュエータによって各操作が制御されるものである。なお、予め走行計画が生成されるシステムでは、当該走行計画に基づいた走行を実現する。

さらに、ＥＣＵ１６は、操作入力量検出部、走行状態認識部、運転者状態認識部、運転切換部などを備える。操作入力量検出部、運転者状態認識部および運転切換部は、後述の運転者情報センサ１５により検出された情報を認識するものであり、走行状態認識部は、内部センサ１４による走行状態を認識するものである。

上記のＥＣＵ１６により認識され、または制御される情報は、ＨＭＩコントローラ２０に出力され、さらに提示情報がＨＭＩ３０に出力される。ＨＭＩコントローラ２０およびＨＭＩ３０の詳細は後述するが、ＨＭＩコントローラ２０の概略は、情報の入力部、運転者ＤＲに対する提示情報の生成部、および出力部などを備えている。出力部から出力された信号が、ＨＭＩ３０に入力され、運転者ＤＲへ覚知するための情報が表示される構成となっている。ＨＭＩには複数の表示体が備えられ、例えば、アクチュエータの駆動により形態を変形するものとなっている。複数の表示体は、同時かつ同様の形態変化により提示情報を覚知させる場合のほか、個々の表示体が個別に形態変化し、総合的に提示情報を覚知させる場合がある。これらの覚知方法の相違は、走行安定時と緊急時とで区別することがあるほか、自動運転時と手動運転時とで区別することがある。いずれの場合においても、表示体によって表示される提示情報を運転者ＤＲが確認することができる。なお、ＨＭＩは、移動体と運転者ＤＲとの間で情報を入出力するためのインターフェースであり、入力としては音声認識のためのマイクなどを備えることができるほか、操作ボタンを備える構成としてもよい。

また、自動運転システム１には、運転者情報センサ１５を備えている。この運転者情報センサ１５は、移動体を操作する運転者ＤＲの状態を検出するものであり、前記表示体によって表示された情報に基づき、適宜操作を行った、または行わなかったかを検出し、さらに視線に関する情報を得るためのアイトラッカーなどを備えている。なお、触覚センサはハンドルに設けられ、運転者ＤＲよるハンドル操作が可能な状態であるかを検知し、操作入力量センサは、運転者ＤＲの操作による操作量を検知するものである。切換操作スイッチは、運転者ＤＲが自動運転と手動運転との切換操作を行ったことを検知するものである。

本実施形態に係る情報提示システムの概要は上記のとおりであるが、自動運転システム１については、その他の機能を付加させたものであってもよい。また、ＨＭＩコントローラ２０における制御部は、ＥＣＵ１６の制御装置によって作用させてもよいが、本実施形態では、ＨＭＩの機能を説明するうえで、個別のコントローラとして構成したものを例示している。

図２は、ＨＭＩコントローラ２０およびＨＭＩ３０の構成を示すものである。この図に示しているように、ＨＭＩコントローラ２０は、制御部（制御手段）２１と入出力部２２とを備えている。入出力部２２は、前述のＥＣＵ１６において外部環境情報（外部状況・位置情報など）および走行情報（走行状態など）として認識された各種センサ類の情報を入力し、また、ＨＭＩ３０から出力される情報を入力する。また、制御部２１によって生成される制御信号をＨＭＩ３０に出力する。入出力部２２に入力される情報を取得する前記センサ類などが具体的な情報取得手段であるが、制御部２１の入力情報モジュールを合わせた構成によって情報取得手段として機能するものと観念することができる。

制御部２１は、入力情報認識モジュール、提示情報制御モジュール、提示情報生成モジュールおよび運転者状態認識モジュールを備えている。前記入出力部２２から入力される情報は、入力情報認識モジュールまたは運転者状態認識モジュールにより、外部環境情報、走行情報および運転者情報として認識される。これらの情報は、提示情報制御モジュールによって、提示すべき情報として整理される。整理された情報は、提示情報生成モジュールによって出力信号が生成され、入出力部２２を介してＨＭＩ３０に出力される。

ＨＭＩ３０は、表示体３１、スピーカ３３および映像表示部３４などを備え、情報覚知手段として機能するものである。情報覚知手段はこれらの全てを備えてもよいが、うち少なくとも一つによって構成してもよい。また、スピーカ３３および映像表示部３４は表示体３１に内蔵させる構成としてもよい。

表示体３１は、提示情報を視覚的に提示するためのものであり、複数の表示体（第１〜第ｎ番目）３１ａ，３１ｂ，・・・３１ｎの集合体で構成されている。複数の表示体３１ａ〜３１ｎによって構成するのは、文字や図形で表示することなく、各表示体３１ａ〜３１ｂの形態を変化させるような情報提示方法により、視覚から直感的に情報を得るためである。表示体３１ａ〜３１ｎの形態を変化させるために、ＨＭＩ３０には、アクチュエータ３２を設けている。例えば、表示体３１ａ〜３１ｎを球状の回転体で構成した場合は、その回転体を回転させるための駆動力に変化させるのである。また、各種アクチュエータにより、多種多様な形態の変化を可能にする。

スピーカ３３は、音声として情報提示を行うものである。例えば、緊急時において、表示体３１による情報提示では提示情報が不足する場合などで音声として情報提示させるのである。なお、スピーカ３３は、提示情報のみを音声出力する必要はなく、平常時のように音声出力すべき情報が存在しない場合は、複数の表示体３１ａ〜３１ｎの形態変化と同期させることにより、表示体３１とともに複数人会話を実行させてもよい。

映像表示部３４は、表示体３１またはこれに代わる表示部（ディスプレイパネル等）に映像を表示するものである。カーナビゲーションシステムを搭載する場合には、走行計画に従った走行状態であることを示すことができる。さらには、取得された外部環境情報のうちカメラから取得された映像を提示することもできる。なお、表示体３１に対する映像表示の場合には、個々の表示体３１ａ〜３１ｎの形態変化を生じさせるような映像を提示するものとしてもよい。この場合の表示体３１ａ〜３１ｎは、映像が表示される機能を有する構造として製造される。

ＨＭＩ３０には、入力操作部３５を備える構成としてもよい。入力操作部３５は、例えば、タッチパネルや切換スイッチなどがある。タッチパネルの場合には、映像表示部３４と兼用することができ、ナビゲーションシステムと連動する場合には、走行経路を変更する際の入力装置として機能させることができ、または、画像情報として提示される場合には、画像の表示切換として使用してもよい。切換スイッチは、自動運転と手動運転との切換スイッチなどがあり、前記自動運転システム１（図１）の運転者情報センサ１５の切換操作スイッチに代えて設置することができる。なお、入力操作部３５は、音声認識システムなどによることもでき、運転者ＤＲが発する音声を取得して入力としてもよい。

運転者ＤＲは、上記構成の表示体３１の形態変化を視覚より認識し、そこに表示される内容から提示情報を覚知する。形態の変化は、直感的に認識できるものとし、その程度の提示情報の範囲で表示されるものである。また、スピーカから音声出力される音声情報により表示体３１から認識できない情報を得ることができる。

また、外部装置（運転者情報センサの一部）として、アイトラッキングシステム（アイトラッカー）１５ａが設けられ、移動体を操作すべき運転者ＤＲの視線情報を入手できる構成としている。これは、手動運転時においては、注意すべき対象物（信号機や障害物など）に運転者ＤＲの視線が移動しているかを確認するものであり、自動運転時においては、表示体３１の表示情報や外方の対象物などの視認状態を、視線によって確認するものである。

視線情報の利用としては、例えば、手動運転時にあっては、視線情報の入力により、運転者ＤＲが注意すべき対象物に視線を移していない場合には、表示体３１の形態変化により表示し、その後も視線が移動しない場合は音声情報として提示する場合がある。また、自動運転時にあっては、表示体３１によって表示されている内容を運転者ＤＲが確認しているか否かを判断し、例えば、手動運転に切り換えるべき状態であることを表示体３１によって表示させた場合、運転者ＤＲが見たかどうかを確認するために使用する。手動運転に切り換えるべき状態であるにもかかわらず、表示体３１を見ていない場合は音声情報によって覚知させるなどの判断基準にも利用され得る。

さらに、視線情報は、運転者ＤＲが表示体３１に対して共感できるように、運転者ＤＲの視線に追随させるための情報として使用することができる。運転者は、自動運転時および手動運転時のいずれの場合においても、移動体外方の情報を入手するため、視線を頻繁に移動するが、表示体３１によって表示される内容を当該視線の方向に関するものとするのである。すなわち、表示体３１による表示内容が、運転者ＤＲにおいて視覚的かつ直感的に認知できるものであれば、その表示内容を専ら注視すべき方向とすることも可能となり、その注視すべき方向は、安定走行時においては、運転者ＤＲの視線の方向とすることができる。この場合、表示体３１が後述のように生物の様態を模したものであれば、両者による協力関係（共同注意態勢）が形成しているかのような態様を示すことができる。さらには、運転者とその視線方向とを、交互に注視することを表示内容とすれば、愛玩動物の仕草の一種（いわゆるゲイズオルタネーション）に類似する動作を表現することも可能となる。

また、視線情報は、運転者ＤＲが注視する対象物を示す情報であることから、移動体を走行させる際の重要な情報である。そこで、視線情報のうち、繰り返し視線が向けられる方向に存在する対象物、または相対的に長く視線が向けられる方向の対象物については、特に注視すべき対象物として認識させることにも使用できる。この対象物の認識は、ＥＣＵ１６に記憶されることで、自動運転時における安全性の向上を促すこととなる。

なお、アイトラッキングシステム１５ａによって取得される情報は、直接ＨＭＩコントローラ２０の入出力部２２から制御部２１に入力させてもよいが、一義的にＥＣＵ１６に出力し、他の入力情報とともにＥＣＵ１６からＨＭＩコントローラ２０へ出力させる構成としてもよい。

ここで、複数の表示体３１ａ〜３１ｎを使用するＨＭＩ３０の具体例について説明する。図３は、ＨＭＩ３０の具体的形態を示すものである。具体的形態は、図３に示されるように、３つの表示体３１ａ，３１ｂ，３１ｃを有する構成としている。３つの表示体３１ａ，３１ｂ，３１ｃは、ベース３６に設けられた３つの貫通孔３７ａ，３７ｂ，３７ｃに設置され、それらの各頭部が表面から露出させた状態としている。各表示体３１ａ，３１ｂ，３１ｃは、少なくとも頭部の形状が球状となっており、貫通孔３７ａ，３７ｂ，３７ｃに遊嵌された状態で回動可能となっている。また、ベース３６の内部には、個々の表示体３１ａ，３１ｂ，３１ｃを駆動する３つのアクチュエータが設けられ、前記回動を駆動制御できるようになっている。従って、３つの表示体３１ａ，３１ｂ，３１ｃは、ＨＭＩコントローラ２０からの出力により、個別にアクチュエータが作動し、球状頭部を回転させることができる構造となっている。

また、各表示体３１ａ，３１ｂ，３１ｃの球状頭部は、部分的に半透明部材によって周囲と区別され、当該区別された部分によって顔面形態部３８ａ，３８ｂ，３８ｃが形成されている。顔面形態部３８ａ，３８ｂ，３８ｃの内側に各２個ずつのＬＥＤを設置することにより、目部形態部３９ａ１，３９ａ２，３９ｂ１，３９ｂ２を形成している。なお、図中に示されていなが、第３番目の表示体３１ｃにも同様の目部形態部が形成されている。また、図は、スピーカや映像表示部を図示していないが、ベース３６に設置することができるほか、別体で設けてもよい。また、ＨＭＩコントローラ２０は、ベース３６の内部に設けてもよく、これも別体として設置してもよい。ＥＣＵがＨＭＩコントローラとしての機能を有する場合は、格別に設置する必要がないことは言うまでもない。

上記のように、顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２を形成させることにより、表示体３１ａ，３１ｂ，３１ｃが、三つの表示生物のような態様としている。従って、ベース３６の貫通孔３７ａ，３７ｂ，３７ｃが生物の首となり、頭部が回転することにより、顔面（視線）の向きを変更させる状態を模した様態となる。そこで、この顔面（視線）の変更により、形態の変化を実現するのである。このときの視線の変化は、動物などの生物が見る方向を示すものとして、運転者に対し、視覚的かつ直感的に表示することができる。その視線の変更により、運転者と共同して注意しているような状況を表現し得るとともに、緊急時には、特別な態様（生物が慌てた様子）を表現し得るものである。

例えば、３つの表示体３１ａ，３１ｂ，３１ｃについて、全て同一方向に顔面（視線）を向けることにより、当該方向に重要な注意物の存在（提示情報）を提示し、また、例えば、これらの１つの表示体３１ｃが、運転者の方向に顔面（視線）を向けることにより、運転者の状態を注視しているような状態を表現することができる。さらに、３つの表示体３１ａ，３１ｂ，３１ｃの全てが、小刻みに左右に回動することにより、慌てているような形態を表現し、緊急時である提示情報を示すことも可能となる。さらには、３つの表示体３１ａ，３１ｂ，３１ｃの顔面（視線）が相互に向かい合う状態とすることにより、複数話者における会話の状態であることを表現することも可能となる。特に、自動運転時においては、自動運転システムによって走行がコントロールされているが、自動運転システムにおいて取得される各種情報（センサが感知する情報）の所在に向かって、顔面（視線）を向けるように表示体３１ａ，３１ｂ，３１ｃを作動させることにより、自動運転システムが、どのような状態で走行しているのかを運転者に対して、感覚的に提示させることが可能となる。

なお、目部形態部３９ａ１〜３９ｂ２は、ＬＥＤ等の発光によって出現させるものであるが、この発光色を変化させることによって、形態変化を生じさせてもよい。この場合、自動運転時は、比較的安定した状態であって、その状態を示すために緑色に点灯させ、手動運転時においては、注意喚起のために赤色に点灯させる方法がある。そして、切換可能状態を示す場合には、点滅するなどによって覚知させる方法がある。これらの発光色の変化と、頭部の回転とを重畳的に表示させてもよい。

また、上記のような顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２は、頭部全体を映像表示画面として、内部から映像を投影させる構成としてもよい。この場合、頭部そのものを回転駆動する必要がなく、映像を編集することにより、頭部に投影される顔面形態部３８ａ〜３８ｃおよび目部形態部３９ａ１〜３９ｂ２の映像によって、これらの向きが変更しているように視認させる方法としてもよい。

上記構成のＨＭＩ３０は、運転者から容易に確認できる場所に設置されるものである。例えば、設置すべき移動体が車両である場合には、図４に示すように、ハンドル前方または斜め前方の見やすい位置におけるダッシュボード表面に設置すれば、手動運転時であっても、表示体３１ａ，３１ｂ，３１ｃの動きを確認することができる。このように、文字による表示でなく、視覚的かつ直感的に提示情報が取得できることによって、手動運転時においては注意ポイントを瞬間的に把握でき、また、自動運転時においては、自動運転システムの作動状態を視覚的に把握することができる。

次に、ＨＭＩコントローラ２０による制御方法について説明する。前述のとおり、ＨＭＩ３０による提示情報の表示は、音声や画像によるものもあるが、ここでは、専ら表示体に対する制御方法を説明する。図５および図６は、制御フローを示すものである。図５は自動運転時（これを自動運転モードという）における制御フローであり、図６は手動運転時（これを手動運転モードという）における制御フローである。

図５に示されているように、自動運転モードにおいては、センサ情報（取得情報）が読み込まれ（Ｓ１０１）、さらに、走行情報が読み込まれる（Ｓ１０２）。これら読み込まれた情報に基づいて、まずは、自動走行（自動運転モードによる走行）の継続について可能か否かが判断される（Ｓ１０３）。この判断は、センサ類によって取得されたセンサ情報（検出値）と、これらの数値に関する閾値との比較によってなされる。ここでは、ＨＭＩコントローラで判断しているが、通常はＥＣＵで処理される。自動走行が可能な場合は、自動運転モード状態としての表示処理がなされる。すなわち、自動走行中において運転者に提示すべき情報（表示情報）を選択し、その情報を表示情報として生成し（Ｓ１０４）、複数の表示体ごとに駆動制御情報として生成したうえ（Ｓ１０５）、駆動部（アクチュエータ）に対して出力する（Ｓ１０６）。取得情報は時々刻々変化することから、ＨＭＩコントローラが終了しない限り（Ｓ１０７）、センサ情報を再度読み込む（Ｓ１０１）ことから制御は繰り返される。

前記自動走行可能か否かの判断（Ｓ１０３）において、自動走行が不可能である場合には、走行切換（手動走行への切換）を促すための情報が生成される（Ｓ１１１）。手動走行への切換情報は、段階的な表示情報を設定することができる。例えば、緊急性を有する場合、近い将来に手動運転が必要となる場合、手動・自動のいずれでも可能であるが手動運転が好ましい場合などがある。ここでは、手動運転が好ましい場合を例に説明する。このような場合には、手動運転を促すための表示情報に沿った駆動部（アクチュエータ）の駆動制御情報を生成し（Ｓ１１２）、駆動部に出力する（Ｓ１１３）。その後、切換スイッチ等の情報を取得し、運転モードが切り換えられたか否かが判断される（Ｓ１１４）。運転モードが切り換えられていない場合は、切換が完了するまで、同様の駆動制御情報が駆動部に出力される。切換が完了した場合は、その後は手動運転モードにおける制御に変更される。

上記駆動情報としては、前記に例示した表示体３１ａ，３１ｂ，３１ｃによる場合、自動走行時における表示情報としては、外部環境情報のうち、一般的に注視すべき対象物（歩行者、先行車両、信号機等）に対して顔面（視線）を向けること、また、一部の表示体の顔面（視線）を運転者の方向に向けることなどがある。他方、手動運転への切換を促す表示情報の場合には、全ての表示体の顔面（視線）を運転者の方向に向けること、または全てが小刻みに揺れる（左右に往復回転する）ことなどが挙げられる。

手動運転モードにおいては、図６に示しているように、センサ情報（取得情報）の読み込み（Ｓ２０１）および走行情報の読み込み（Ｓ１０２）が行われ、これらの情報に基づいて、自動走行の可能性が判断される（Ｓ２０３）。この判断についても、自動運転の継続性の判断と同様であり、センサ情報（検出値）が閾値との比較によるものである。自動運転が不可能な場合は、手動運転が継続されることから、表示情報は手動運転に応じたものが生成される（Ｓ２０４）。当該表示情報に基づき、駆動制御情報が生成され（Ｓ２０５）、駆動情報が出力されるのであり（Ｓ２０６）、ＨＭＩコントローラが終了されない限り、情報の読み込み（Ｓ２０１）から繰り返される。

前記自動走行の可能性判断（Ｓ２０３）において、自動走行が可能であると判断される場合は、自動走行への切換が可能な状態であることを表示する（Ｓ２１１〜Ｓ２１３）。自動運転が可能であることの情報提示にあっては、自動運転を促すものではなく、可能であることを示すのみである。これは、自動運転が可能であるとしても自動運転モードが強制されるべき事態ではないからである。そこで、自動運転可能であることの情報提示がなされた後、運転モードの切換について判断されるが（Ｓ２１４）、切換がなされていない場合であっても、手動運転モードと同様の制御がなされる（Ｓ２０４〜Ｓ２０７）。なお、自動運転への切換が完了すれば、自動運転モードによる制御に移行する。

上記駆動情報としては、前記に例示した表示体３１ａ，３１ｂ，３１ｃによる場合、手動走行時における提示情報としては、外部環境情報のうち、一般的に注視すべき対象物（歩行者、先行車両、信号機等）に対して、その優先度（重要度）に応じて、同時または個別に、個々の表示体について、顔面（視線）を変更することが挙げられる。また、一部の表示体の顔面（視線）を運転者の方向に向けて、運転者の視線情報を取得している状態を表示してもよい。自動運転が可能であることを示す表示情報としては、全ての表示体の顔面（視線）を進行方向に向けることなどが挙げられる。

なお、前述の目部形態部は、ＬＣＤ等の光によって表示するものであるが、この光の色彩を変更させる形態変化もあり得ることから、自動運転モードでは、目部形態部を緑色とし、手動運転モードでは赤色として、視覚によって現在モードを表示してもよい。また、モードの切換を促す場合または切換可能である場合を表示するものとして、当該光を点滅させるような形態変化を行うことでもよい。

ここで、代表的な表示体の制御方法について説明する。図７は自動走行時における表示体の制御フローであり、図８は手動走行時における表示体の制御フローである。なお、既に説明した部分は重複するため、ここでは省略している。

図７に示されているように、自動運転時においては、表示すべき情報（表示情報）が読み込まれる（前述により作成された表示情報が使用される）ことにより（Ｓ３０１）、手動運転への切換情報が含まれているかが判断される（Ｓ３０２）。切換情報が含まれない場合は、自動運転状態が継続されることから、その内容に応じて表示体への情報が制御される。このとき、表示すべき情報の数が多数である場合、その数と表示体の数とを比較し（Ｓ３０３）、表示体の数よりも多い場合、具体的には、表示体の１個を除き、残りの数よりも表示情報が多い場合には、表示すべき情報について優先順位を決定する（Ｓ３０４）。表示情報の優先順位は、個々の情報に対して予め順位を設定しておき、その設定順位に従って決定される。例えば、外部環境情報のうちの、歩行者情報を第１順位とし、信号機情報を第２順位とすることができ、また、走行情報のうちの速度情報を第３順位とするように、自動走行において重要となるべき要素について順位が設定される。さらに、例えば、特別に注視すべき対象が存在しない場合などにあっては、運転者の視線に追随させるように、その優先順位を運転者の視線の追随として設定してもよい。

上記の優先順位に従って、複数の表示体（全体の数−１）に対して、必要な表示を行う。ここでの必要な情報とは、前記例示の場合には、表示体の顔面（視線）を注視すべき方向へ向けるような内容である。特に、自動運転の場合には、操舵が自動で操作され、また、加速し、減速し、または停止するものであるが、それらの操作の原因となる外部環境について、運転者に表示させることが重要となる。そのため、操舵の場合、加減速の場合などに応じて、優先順位を変更してもよく、この場合は、走行情報の取得が同時になされることとなる。なお、多数の表示情報は、第１順位から順次繰り下げて、個々の表示体によって段階的に表示内容を変更し、短時間で全ての表示情報を表示させるように制御してもよい。

残余の１個の表示体については、任意情報が表示されるように制御されている。任意の表示情報とは、運転者に対する表示であり、例えば、前記例示の場合には、顔面（視線）を運転者の方向に向けて、運転者を観察している状態を表示するようなものである。このように、１個の表示体について自由度を与え、表示情報を表示させないことにより、緊急時等の情報を表示させるための重要な表示手段とするのである。すなわち、緊急性を有する表示情報を表示させるときには、この残余の表示体の形態変化によって、緊急状態を示すことができるのである。任意情報には、動物の仕草の一種であるゲイズオルタネーションを再現するように、運転手の目元と、視線に追随する方向との二方向に対し、顔面（視線）を交互に向けるようなものとしてもよい。

前記読込情報における手動運転への切換情報が含まれている場合には、まず、緊急性の有無が判断される（Ｓ３１１）。緊急性がない場合とは、手動運転が望ましいが、手動運転に切り換えなければならない状況ではない場合である。このような場合には、切換情報を表示することとなる。この切換表示は、全ての表示体が使用されることとなる。この表示の後、手動運転に切り換えられたか否かが判断され（Ｓ３１３）、切り換えられれば、手動運転時の表示体制御に移行する（Ｓ３１４）が、切り換えられない場合は、通常の自動運転時における表示として制御される。

また、手動運転への切換情報において、緊急性を有すると判断された場合には、表示体全体に対して、緊急に手動運転に切り換えるべきであることを知らせる表示制御がなされる（Ｓ３２１）。そして、切換の完了を確認し（Ｓ３２２）、切り換えられれば、手動運転時の表示体制御に移行する（Ｓ３２３）。切換がなされない場合は、自動運転における走行が継続可能かを判断し（Ｓ３２４）、走行可能である場合は、上記のような表示制御を継続させるが、走行できない場合には、結果的にＥＣＵによって緊急停止されることとなり、表示制御は終了する（Ｓ３２５）。

手動運転時における表示体の制御は、図８に示すように、読み込まれた情報（Ｓ４０１）に基づき、自動運転切換情報の有無が判断されたうえで（Ｓ４０２）、切換情報が含まれない場合は、１個の表示体を除き、残りの表示体を使用して、優先順位に応じて表示情報が表示される（Ｓ４０３〜４０５）。優先順位に従った表示の方法、および１個の表示体が任意の情報を表示すること（Ｓ４０６）については、自動運転時における表示体制御の場合と同様であり、また、表示制御が終了するまで上記処理が繰り返される（４０７）。

読込情報に切換情報が含まれる場合は、全ての表示体を使用して切換可能であることを表示する（Ｓ４１１）。なお、表示の方法は前述のとおりである。そして、切換の状態が判断され（Ｓ４１２）、切り換えられた場合は、自動運転時における表示体制御に移行する（Ｓ４１３）が、切り換えられない場合は、通常の手動運転時の表示体制御として処理されることとなる（Ｓ４０３〜Ｓ４０７）。

このように、表示体の制御においては、その全てを同様に制御するのではなく、少なくとも１個の表示体について自由度を与えることにより、種々の状態を表示体によって運転者に覚知させることが可能となるのである。そして、前述のように、表示体が生物の様態を有するものである場合には、その顔面（視線）の方向を制御することとなり、その方向によって、センサ類が何を検知しているか、特に、自動運転時においては、これらのセンサ類が正常に機能しているのか、そしてまた、自動運転システムによって制御され走行する移動体が、そのような状態で、何に注視しつつ走行を継続しているのかが、運転者において容易に確認することが可能となるのである。

本発明の実施形態は上記のとおりであるが、上記実施形態は本発明の一例を示すものであり、本発明が上記実施形態に限定されるものではない。従って、上記実施形態に示した構成については適宜変更してもよい。例えば、具体的な表示体の例として図３および図４を示して説明した。この実施形態では３つの表示体を例示したが、この数は適宜増減することができる。また、図示したベース２６の形状は、三方向へ延出するアーチ状としているが、この形状についても適宜変更が可能である。すなわち、表示体を４個にする場合は、ベース２６の中央を中心として、四方に各１個の表示体を配置する構成とすることができ、また、アーチ状のベース２６は円形または矩形の箱体に形成してもよい。

さらに、個々の表示体３１ａ，３１ｂ，３２ｃは、ベース２６に設置したが、ベース２６を設けずに、個別に自立する表示体によって構成してもよい。具体的には、図９に示すような卵型の表示体１３１ａ，１３１ｂ，１３１ｃを自在な場所に設置することも可能である。この卵型の表示体は、低重心に構成することにより、自立可能であり、生物の様態を模した頭部や目部を備えており、全体が回転するか、または頭部に映像を投影させることにより、その形態を変化させることが可能である。また、卵型を呈する外形を変形させることによって形態を変化させてもよい。

上記形態の表示体に代えて、または追加的に表示パネルを設ける構成であってもよい。生物の様態に模した表示物体は、パネル内に映像として表示してもよい。表示パネルはタッチパネルを兼用させることにより、入力操作部を表示体と一体的に構成することができる。

１ 自動運転システム
１１ ＧＰＳ受信部
１２ 地図データベース
１３ 外部センサ
１４ 内部センサ
１５ 運転者情報センサ
１５ａ アイトラッキングシステム
１６ ＥＣＵ
２０ ＨＭＩコントローラ
２１ 制御部
２２ 入出力部
３０ ＨＭＩ
３１ 表示体
３１ａ，３１ｂ，３１ｃ，３１ｎ，１３１ａ，１３１ｂ，１３１ｃ 個々の表示体
３２ アクチュエータ
３３ スピーカ
３４ 映像表示部
３５ 入力操作部
３６ ＨＭＩのベース
３７ａ，３７ｂ，３７ｃ 貫通孔
３８ａ，３８ｂ，３８ｃ 顔面形態部
３９ａ１，３９ａ２，３９ｂ１，３９ｂ２ 目部形態部

Claims (12)

1. 有人の移動体に備えられて運転者に対して該移動体の走行に関連する情報を提示する情報提示システムであって、
   前記移動体の走行状態を示す走行情報、該移動体の外方における走行に必要な外部環境情報、および、該移動体を操作する運転者にかかる運転者情報のうち一種以上の情報を、センサ類から取得する情報取得手段と、前記情報取得手段により取得される情報から運転者に提示すべき提示情報を生成する制御手段と、前記制御手段により生成される提示情報を運転者に覚知させるための情報覚知手段とを備え、
   前記情報覚知手段は、複数の表示体を備え、該表示体は、それぞれが同一の形態変化によって、または個別に単独の形態変化によって運転者に覚知させるものであることを特徴とする情報提示システム。
2. 前記移動体は、その移動行程の一部または全部を制御する自動運転制御装置と、前記自動運転制御装置による自動運転モードと運転者による手動運転モードとの切り換えを可能にする切換手段とを備え、
   前記制御手段は、自動運転モードへの切り換えが可能であることを提示する提示情報を生成し、または手動運転モードへの切り換えを示唆することを提示する提示情報を生成するものである
   ことを特徴とする請求項１に記載の情報提示システム。
3. 前記制御手段は、運転者によって自動運転モードに切り換えられた場合、前記外部環境情報のうち、前記移動体が走行に際して必要となるべき情報が取得されていることを提示するように提示情報を生成するものであることを特徴とする請求項２に記載の情報提示システム。
4. 前記提示情報は、移動体の進行方向を変更する場合、減速する場合または停止する場合において、その原因となる外部環境情報を含み、かつ、前記複数の表示体のうち、少なくとも１つが該外部環境情報に基づく提示情報を表示するものである請求項３に記載の情報提示システム。
5. 前記情報取得手段は、少なくとも運転者情報として運転者の視線に関する情報を取得するものであり、前記表示体は、少なくとも１つが運転者情報を取得していることを表示するものである請求項３または４に記載の情報提示システム。
6. 前記表示体は、前記制御手段が手動運転モードへの切り換えを示唆する提示情報を生成した場合、少なくとも１つの表示体が運転者に対して該提示情報を表示するものである請求項３ないし５のいずれかに記載の情報提示システム。
7. 前記制御手段は、運転者によって手動運転モードに切り換えられた場合、前記外部環境情報のうち、該運転者が前記移動体を走行させる操作を行う際に注視すべき要素にかかる提示情報を生成するものであることを特徴とする請求項２に記載の情報提示システム。
8. 前記表示体は、その一部または全部が移動、回転または変形することによって形態を変化させるものであることを特徴とする請求項１ないし７のいずれかに記載の情報提示システム。
9. 前記表示体は、映像を表示するものであり、前記制御手段は、前記映像を生成する機能を有するものであり、該映像は、表示体の部分的領域または全体領域において、特定画像が移動し、回転しまたは変形するような態様で表示させるものであり、前記特定画像の移動、回転または変形によって表示される形態を変化させるものであることを特徴とする請求項１ないし７のいずれかに記載の情報提示システム。
10. 前記情報覚知手段は、音による出力手段を備えていることを特徴とする請求項１ないし９のいずれかに記載の情報提示システム。
11. 前記表示体は、独立した複数の表示部または単一の表示体の内部に視認される複数の表示部によって構成されていることを特徴とする請求項１ないし１０のいずれかに記載の情報提示システム。
12. 前記表示体の形態またはその変形の様態が生物の様態を模したものであることを特徴とする請求項１ないし１１のいずれかに記載の情報提示システム。