JP2018055590A - 情報提供システムおよび情報提供方法 - Google Patents

Abstract

【課題】拡張性の高い情報提供システムおよび情報提供方法を提供する。【解決手段】ロボット１０と、ユーザが所持するコンピュータであるユーザ端末２０と、からなる情報提供システムであって、ロボットは、音声データを再生する音声出力部を有する。ユーザ端末は、車両に備えられた情報収集装置３０の一つ以上のセンサからセンサ情報を取得し、取得したセンサ情報に基づいて、ユーザに提供する情報を生成する情報生成手段と、提供する情報を対話文に変換する変換手段と、対話文を音声に変換し、ロボットを介してに出力するするための制御部２２、を有する。【選択図】図１

Description

本発明は、情報提供システムに関する。

車両に搭載されたセンサから情報を取得し、取得した情報を運転者に伝達することで運転のサポートを行うシステムが実用化されている。情報の伝達は、車載コンピュータが音声を合成して出力することで行うことが一般的であったが、近年、コミュニケーションロボットを用いて、ユーザへの情報伝達を行う試みが行われている。

例えば、特許文献１には、車両に搭載されたＥＣＵから情報を取得して演算を行い、結果を運転者に音声によって伝達する車載ロボット（車両用報知装置）が記載されている。
また、特許文献２には、車両に設置されたセンサから情報を取得し、取得した情報に基づいて自己表現を行う電子パートナーシステムが記載されている。
これらの特許文献に記載の装置によると、乗員を楽しませながら情報伝達を行うことができる。

特開２００２−１０４１０３号公報 特開２００２−２３９９５９号公報 特開２００２−１６６３７９号公報 特開２０１４−１６４３１６号公報 特開２０１３−０３８４７６号公報

特許文献１および２に記載の発明においては、演算処理が車載装置またはロボットによって行われるため、装置に記憶された情報を更新することが難しい。一方、センサ情報に基づいて情報提供を行う技術は日々進歩しているため、システムが早期に陳腐化してしまうという課題があった。

本発明は上記の課題を考慮してなされたものであり、拡張性の高い情報提供システムを提供することを目的とする。

本発明に係る情報提供システムは、
ロボットと、ユーザが所持するコンピュータであるユーザ端末と、からなる情報提供システムであって、前記ロボットは、音声インタフェース手段を有し、前記ユーザ端末は、車両に備えられた一つ以上のセンサからセンサ情報を取得し、前記取得したセンサ情報に基づいて、ユーザに提供する情報を生成する情報生成手段と、前記ユーザに提供する情報を対話文に変換する変換手段と、前記対話文を音声に変換し、前記ロボットを介して出力する音声送信手段と、を有することを特徴とする。

本発明に係る情報提供システムは、ロボットは音声のインタフェース手段としてのみ機能し、センサ情報の収集と、ユーザに提供すべき情報の生成（音声データの生成を含む）は、ユーザが所持するコンピュータによって行う。かかる構成によると、技術背景に応じて機能を更新することができ、システムの陳腐化を防ぐことができる。
なお、センサ情報とは、車両の運行に関する情報であれば、特定の情報に限定されない。例えば、車両周辺の環境に関する情報、車両のステータス、運転者自身のステータスなどであってもよい。また、センサ情報は、センサが出力した物理量を表すものであってもよいし、画像から取得した特徴量や、画像の解析結果などであってもよい。

また、前記ユーザ端末および前記ロボットは、無線通信によって接続され、かつ、音声通信用のプロファイルを利用して接続されることを特徴としてもよい。

ロボットとユーザ端末は、互いにペアリングされた状態で近距離通信を行うため、特にＢｌｕｅｔｏｏｔｈ（登録商標）による接続を好適に用いることができる。また、ユーザ端末にスマートフォンなどを用いることができ、かつ、消費電力を抑えることができるという利点がある。また、音声通信用のプロファイルを利用することで、遅延の少ない発話をさせることができる。

また、前記ユーザ端末は、前記ロボットを介してユーザと対話を行う対話手段をさらに有し、前記情報生成手段が情報を生成した場合に、当該情報を前記ユーザに優先的に提供することを特徴としてもよい。

ユーザ端末に、ユーザとロボットとが音声対話するための手段を持たせてもよい。これにより、乗車中において会話によるコミュニケーションを楽しむことができる。また、ユーザに提供すべき情報が生成された場合、当該情報を優先的に提供することで、安全に資することができる。

また、前記対話手段は、親密度に関するパラメータを保持しており、前記変換手段は、前記パラメータを用いて前記ユーザに提供する情報を対話文に変換することを特徴としてもよい。

ロボットとの対話を通して、親密度が変動するようにしてもよい。また、情報提供を行う際の文章を親密度に基づいて生成するようにしてもよい。例えば、親密度が低いうちは丁寧口調であり、親密度が高くなると親しみをこめた口調となるようにしてもよい。

なお、本発明は、上記手段の少なくとも一部を含む情報提供システムとして特定することができる。また、前記情報提供システムが行う情報提供方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、拡張性の高い情報提供システムを提供することができる。

第一の実施形態に係る情報提供システムのシステム構成図である。 ロボット１０を説明する図である。 ロボット１０とユーザ端末２０との接続を説明する図である。 第一の実施形態における各装置間のデータフロー図である。 第二の実施形態に係る情報提供システムのシステム構成図である。 第二の実施形態におけるロボット１０およびユーザ端末２０間のデータフロー図である。

第一の実施形態に係る情報提供システムについて、システム構成図である図１を参照し
ながら説明する。第一の実施形態に係る情報提供システムは、車両に備えられた複数のセンサから収集したデータ（以下、センサ情報）に基づいて、運転操作上の助言となる情報を生成し、ユーザに提供するシステムである。なお、生成する情報は、例えば、車線の逸脱に対する警報、前方における歩行者の有無、車線変更の要否、障害物の有無などであるが、センサ情報に基づいて推定できる事象に基づいたものであれば、これらに限られない。

（第一の実施形態）
<システム構成>
図１は、第一の実施形態に係る情報提供システムのシステム構成図である。本実施形態に係る情報提供システムは、ロボット１０と、ユーザ端末２０と、情報収集装置３０から構成される。

ロボット１０は、スピーカ等の音声出力手段を有しており、ユーザとのインタフェースを担う手段である。また、ユーザ端末２０は、ロボット１０を制御する装置である。また、情報収集装置３０は、車両に搭載されたセンサ等の手段を用いて、当該車両の運行に関する情報を収集する車載装置である。
本実施形態では、ロボット１０およびユーザ端末２０は持ち運び可能な装置であり、ユーザによって車内に搬入および設置された状態で使用される。また、本実施形態では、ロボット１０はユーザインタフェースとしてのみ機能し、システム全体を制御する処理はユーザ端末２０が行う。

まず、ロボット１０について説明する。
ロボット１０は、近距離通信部１１および音声出力部１２から構成される。ロボット１０は、人型やキャラクター型であってもよいし、他の形状であってもよい。本実施形態では、図２のような人型を想定する。

近距離通信部１１は、ユーザ端末２０と近距離無線通信を行う手段である。本実施形態では、近距離通信部１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を利用して通信を行う。近距離通信部１１は、ペアリング先となるユーザ端末２０に関する情報を記憶しており、簡便な処理で接続を行うことができる。なお、Ｂｌｕｅｔｏｏｔｈ規格は、ＩＥＥＥ８０２．１５．１とも呼ばれる。

音声出力部１２は、ユーザに提供する音声を出力する手段である。具体的には、内蔵されたスピーカを用いて、ユーザ端末２０から送信された音声データを音声に変換する。例えば、図２に示したように、口の位置にスピーカを内蔵していてもよい。

次に、ユーザ端末２０について説明する。ユーザ端末２０は、車両から収集した情報に基づいて、ユーザに提供する音声データを生成し、ロボット１０を介して出力する制御を行う装置である。
ユーザ端末２０は、典型的にはモバイルコンピュータ、携帯電話、スマートフォンなどの小型のコンピュータである。ユーザ端末２０は、ＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、図１に図示した各手段が機能する。なお、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。

ユーザ端末２０は、近距離通信部２１、制御部２２、通信部２３から構成される。

近距離通信部２１が有する機能は、前述した近距離通信部１１と同様であるため、詳細
な説明は省略する。

制御部２２は、ユーザに対する情報提供処理を司る手段である。具体的には、後述する情報収集装置３０から、車両の運行に関する情報を収集し、収集した情報に基づいて、ユーザに提供する文章（テキスト）を生成する。また、生成したテキストを音声合成機能によって音声データに変換し、ロボット１０を介して出力する。これによりユーザは、音声による情報提供を受けることができる。

ユーザに提供される情報は、車両に備えられたセンサやカメラなどによって取得した情報に基づくものであれば、どのようなものであってもよい。例えば、車両の速度、車間距離、歩行者の存在などを警告するもの（注意喚起情報）であってもよい。また、ユーザに提供される情報は、注意喚起情報に限られず、運転に対するアドバイスなどであってもよい。例えば、道路標識を読み取り、通知するものであってもよいし、車外の状況に応じてヘッドライトやワイパー、デフロスタなどの使用を薦めるものであってもよい。

通信部２３は、無線通信（例えば無線ＬＡＮ）を用いて、情報収集装置３０との通信を行う手段である。

情報収集装置３０は、車両周辺の情報を収集する装置であり、通信部３１、センサ３２、カメラ３３を有している。情報収集装置３０は、車両に固定された状態で使用される。

通信部３１が有する機能は、前述した通信部２３と同様であるため、詳細な説明は省略する。

センサ３２は、車両に搭載された複数のセンサ群を含んでおり、センサ情報を出力する手段である。センサ３２は、例えば、速度センサ、加速度センサ、ヨーレートセンサ、操舵角センサ、レーダー、カメラ等を含んでいてもよい。なお、センサ情報は、車両の運行に関するものであれば、どのようなものであってもよい。例えば、速度、加速度、ステアリング角度、自車両の現在位置、障害物の位置に関する情報などであってもよい。また、運転者の生体情報に関する情報であってもよい。また、センサ情報は、必ずしも物理量を表すものでなくてもよい。

画像情報取得部３３は、カメラによって車外の画像を取得し、取得した画像に基づいて情報を出力する手段である。画像に基づく情報とは、例えば、取得した画像を解析して得られる情報（例えば、歩行者や先行車両の有無、車外の明るさ、信号機の色など）であってもよいし、画像から取得した特徴量であってもよい。また、画像そのものであってもよい。なお、画像情報取得部３３が有しているカメラは、単眼であってもよいし、距離情報を取得可能なステレオカメラであってもよい。
なお、本明細書では、センサ３２が取得する情報と、画像情報取得部３３が取得する情報の双方を「センサ情報」と称する。情報収集装置３０は、ユーザ端末２０の求めに応じてセンサ情報を収集し、送信する。

情報収集装置３０も、ユーザ端末２０と同様に、ＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。また、情報収集装置３０は、汎用の情報処理装置であってもよいが、車両に組み込まれたＥＣＵによってその機能が実行されるものであってもよい。

<ロボットと制御装置間の接続>
次に、ロボット１０とユーザ端末２０との間における情報の送受信方法について説明する。

図３は、ロボット１０とユーザ端末２０との接続シーケンス図である。なお、本例では、ロボット１０は、接続先としてユーザ端末２０の情報を有しているものとする。すなわち、ペアリングが完了しているものとする。
両者が未接続状態にある場合、ロボット１０は、周期的に（例えば１秒周期で）ユーザ端末２０を検索し、ユーザ端末２０を発見すると、ＨＦＰ（Hands-Free Profile）による接続を開始する。ＨＦＰとは、音声の伝送に特化したプロファイルであり、これを利用することで、双方向の音声伝送が可能になる。なお、本実施形態では、ロボット１０がＨＦＰにおけるハンズフリーユニットに対応し、ユーザ端末２０がオーディオゲートウェイに対応する。

接続リクエストがユーザ端末２０によって受け入れられると、各種初期化処理が実行される。ここでは、ノイズリダクション機能の設定（ＮＲＥＣ）、スピーカ音量の設定（ＶＧＳ）、マイクゲイン設定（ＶＧＭ，マイクがある場合のみ）などが行われる。なお、ＨＦＰによる初期化処理には若干の時間がかかるため、ロボット１０やユーザ端末２０が、平行して他の処理を行うようにしてもよい。初期化処理が終了すると、ロボット１０とユーザ端末２０との間の音声チャネルが開通した状態となる。

<処理フローチャート>
次に、図１に示した各手段が行う処理とデータの流れについて、処理内容およびデータの流れを説明するフロー図である図４を参照しながら説明する。
ステップＳ１１〜Ｓ１３に示した処理は、ユーザ端末２０が、情報収集装置３０からセンサ情報を収集し、ユーザに提供すべき情報があるか否かを判定する処理である。ステップＳ１１〜Ｓ１３に示した処理は、車両の走行中において周期的に実行される。

まず、ステップＳ１１で、ユーザ端末２０が有する制御部２２が、情報収集のためのリクエストを生成し、情報収集装置３０に送信する。なお、本例では、ユーザ端末２０が情報収集のためのリクエストを情報収集装置３０に送信しているが、情報収集装置３０が、収集したセンサ情報をユーザ端末２０に対して送信するようにしてもよい。

次に、情報収集装置３０が有するセンサ３２および画像情報取得部３３がセンサ情報の収集を行い、得られたセンサ情報をユーザ端末２０へ送信する（ステップＳ１２）。なお、センサ情報には複数の情報が含まれていてもよい。

次に、ステップＳ１３で、制御部２２が、取得したセンサ情報に基づいて、ユーザに提供すべき情報の有無を判定する。ここで、ユーザに提供すべき情報が無い場合、処理は終了する。ユーザに提供すべき情報がある場合の処理については、ステップＳ１４以降を参照しながら後ほど説明する。

なお、図４の例では、一回のリクエストに対してセンサ情報を一回送信しているが、一回のリクエストに対してセンサ情報の送信を複数回行い、得られた複数のセンサ情報を用いてステップＳ１３の判定を行ってもよい。例えば、時系列によって得られた複数のセンサ情報を用いて、対象物（例えば障害物や歩行者など）の時間的な位置変化を検出するようにしてもよい。

ステップＳ１３にて、ユーザに提供すべき情報があると判定された場合、処理はステップＳ１４へ遷移し、提供する情報に対応する音声データが生成される。

ユーザに提供される情報には、例えば、以下のようなものがある。
（１）車線逸脱警報：カメラが取得した画像を解析することで車線の位置を判定し、車線
の逸脱が発生した場合に警告を行う。（例：「車線からはみ出てるよ！」）
（２）ヘッドライト点灯要請：明度センサによって周囲の明るさを取得し、ヘッドライトの点灯が推奨される場合にその旨を通知する。（例：「暗くなってきたね。そろそろライトをつけようか？」）
（３）車間距離警告：車間距離センサから取得した車間距離と、車両の速度から適切な車間距離を算出し、前車に接近しすぎている場合にその旨を警告する。（例：「高速道路だから、車間距離をもう少し開けたほうがいいよ」）
（４）信号機の現示内容：青信号であるにもかかわらず発車しない場合や、赤信号であるにもかかわらず減速しない場合、その旨を警告する。（例：「青信号になったよ！」）
もちろん、車両に備えられたセンサやカメラが取得した情報に基づいて生成可能な情報であれば、これ以外の情報を提供してもよい。

生成された音声データは、ロボット１０へ送信され、音声出力部１２を介して出力される（ステップＳ１５）。

以上説明したように、本実施形態に係る情報提供システムでは、ユーザが携帯するコンピュータであるユーザ端末２０がセンサ情報の取得を行い、ロボット１０を利用して音声の出力を行う。従来、ロボット１０が全ての処理を行っていたのに対し、情報の生成をユーザ端末で行うようにすることで、アプリケーションの更新が容易になり、拡張性を向上させることができる。また、音声の出力をコミュニケーションロボットが行うため、ユーザの注意力をひき、情報の伝達を確実に行うことができる。

なお、第一の実施形態では、ＨＦＰを用いて音声データを伝送したが、音声通信用のプロファイルであれば、他のプロファイルを利用してもよい。また、他の無線接続規格を用いて接続を行ってもよい。

（第二の実施形態）
第一の実施形態では、ユーザ端末２０が、ロボット１０を介して情報の提供のみを行った。これに対し、第二の実施形態は、ユーザとの対話を行う機能をロボット１０に追加した実施形態である。

図５は、第二の実施形態における情報提供システムのシステム構成図である。
第二の実施形態では、ロボット１０が音声入力部１３をさらに有しており、ユーザ端末２０が音声認識部２４および対話文生成部２５をさらに有している。

音声入力部１３は、ユーザが発した音声を取得する手段である。具体的には、内蔵されたマイクを用いて、音声を電気信号（以下、音声データ）に変換する。取得した音声データは、近距離通信部１１を介してユーザ端末２０へ送信される。

音声認識部２４は、ロボット１０から送信された音声データに対して音声認識を行い、テキストに変換する手段である。音声認識は、既知の技術によって行うことができる。例えば、音声認識部２４には、音響モデルと認識辞書が記憶されており、取得した音声データと音響モデルとを比較して特徴を抽出し、抽出した特徴を認識辞書とをマッチングさせることで音声認識を行う。認識結果は、対話文生成部２５へ送信される。

対話文生成部２５は、音声認識部２４が生成したテキスト（すなわち、ユーザが行った発話の内容）に基づいて、応答となる文章（以下、対話文）を生成する手段である。対話文生成部２５は、例えば、予め記憶された対話シナリオ（対話辞書）に基づいて対話文を生成してもよい。対話文の生成には、既知の手法を用いることができる。対話文生成部２５が生成した対話文は、合成音声によって音声データに変換され、その後、ユーザに向け
て出力される。

図６は、ロボット１０がユーザと対話する際の処理内容およびデータの流れを説明するフロー図である。
まず、ステップＳ２１で、ロボット１０が有する音声入力部１３が、マイクを通してユーザが発話した音声を取得する。取得した音声は音声データに変換され、近距離通信部を介して、ユーザ端末２０が有する制御部２２へ送信される。また、制御部２２は、取得した音声データを音声認識部２４へ送信する。

次に、音声認識部２４が、取得した音声データに対して音声認識を行い、テキストに変換する（ステップＳ２２）。音声認識の結果得られたテキストは、対話文生成部２５へ送信される。
次に、対話文生成部２５が、ユーザから得られた発話の内容に基づいて応答を生成する（ステップＳ２３）。

前述したように、応答文は、自装置が有する対話辞書（対話シナリオ）を用いて生成してもよい。また、外部にある情報ソース（データベースサーバやウェブサーバ）を用いて生成してもよい。生成された応答文は、制御部２２によって音声データに変換される（ステップＳ２４）。その後、音声データがロボット１０へ送信され、再生が行われる（ステップＳ２５）。

なお、図６の例では、ユーザが先に発話を行ったが、ロボット１０およびユーザ端末２０が自発的に対話文を生成し、話し掛けを行うようにしてもよい。また、ロボット１０に、カメラなどの情報収集を行う手段を設け、収集した情報に基づいて対話文を生成するようにしてもよい。

第二の実施形態では、図４に示した処理と、図６に示した処理が平行して実行される。また、ユーザとの対話中に、情報提供を行う必要が生じた場合、当該情報を優先的に提供する。例えば、危険を報知する場合、発話に割り込む形で音声データを再生するようにしてもよい。また、情報提供をただちに行う必要がない場合、次の会話ターンで情報提供を行ってもよい。この場合、情報提供が完了したのちに元の話題に戻すようにしてもよい。

第二の実施形態によると、対話を通して信頼関係が構築できているロボットが情報提供や注意喚起などを行うため、安全運転に対する意識をより向上させることができる。

（第二の実施形態の変形例）
第二の実施形態に係るユーザ端末２０に、ロボット１０とユーザとの親密度を算出および記憶する手段を追加してもよい。例えば、ユーザに対する現在の親密度を表す値を記憶させておき、ユーザから発話を受けた場合に、当該親密度を用いて対話文を生成するようにしてもよい。また、対話の結果に基づいて、対話後の親密度を算出し、値を更新するようにしてもよい。

かかる構成によると、対話における口調や、情報提供を行う際の口調を親密度に応じて変更することができる。例えば、親密度が低いうちは丁寧口調で情報を提供し、親密度が高い場合は親しみをこめた口調で情報を提供するようにしてもよい。かかる構成によると、ロボットに対する親近感をユーザに抱かせることができ、提供する情報に対して信頼を抱かせることが可能になる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適
宜変更して実施しうる。

例えば、実施形態の説明では、ユーザ端末２０が音声認識を行ったが、音声認識を行う手段を外部に持たせてもよい。例えば、ユーザ端末２０がネットワーク経由で音声認識サーバと通信することで、音声認識を行うようにしてもよい。同様に、対話文の生成を行う手段を外部に持たせてもよい。例えば、ユーザ端末２０がネットワーク経由で対話文生成サーバと通信することで、対話文を生成するようにしてもよい。

また、実施形態の説明では、ロボット１０、ユーザ端末２０、情報収集装置３０をそれぞれ無線によって接続したが、装置間の接続は有線接続であってもよい。

１０・・・ロボット
１１，２１・・・近距離通信部
１２・・・音声出力部
２０・・・ユーザ端末
２２・・・制御部
２３，３１・・・通信部
３２・・・センサ
３３・・・画像情報取得部

Claims (5)

1. ロボットと、ユーザが所持するコンピュータであるユーザ端末と、からなる情報提供システムであって、
   前記ロボットは、音声インタフェース手段を有し、
   前記ユーザ端末は、
   車両に備えられた一つ以上のセンサからセンサ情報を取得し、前記取得したセンサ情報に基づいて、ユーザに提供する情報を生成する情報生成手段と、
   前記ユーザに提供する情報を対話文に変換する変換手段と、
   前記対話文を音声に変換し、前記ロボットを介して出力する音声送信手段と、
   を有する、情報提供システム。
2. 前記ユーザ端末および前記ロボットは、無線通信によって接続され、かつ、音声通信用のプロファイルを利用して接続される、
   請求項１に記載の情報提供システム。
3. 前記ユーザ端末は、前記ロボットを介してユーザと対話を行う対話手段をさらに有し、
   前記情報生成手段が情報を生成した場合に、当該情報を前記ユーザに優先的に提供する、
   請求項１または２に記載の情報提供システム。
4. 前記対話手段は、親密度に関するパラメータを保持しており、
   前記変換手段は、前記パラメータを用いて前記ユーザに提供する情報を対話文に変換する、
   請求項３に記載の情報提供システム。
5. 音声インタフェースを有するロボットと、ユーザが所持するコンピュータであるユーザ端末と、からなる情報提供システムが行う情報提供方法であって、
   前記ユーザ端末が、
   車両に備えられた一つ以上のセンサからセンサ情報を取得し、前記取得したセンサ情報に基づいて、ユーザに提供する情報を生成する情報生成ステップと、
   前記情報を対話文に変換する変換ステップと、
   前記対話文を音声に変換し、前記ロボットを介して出力する音声送信ステップと、
   を実行する、情報提供方法。

Images