JP2018036811A - 車両の情報提供システム - Google Patents

Abstract

【課題】必要な情報を適切に提供することができる車両の情報提供システムを提供する。
【解決手段】車両１０Ａの機器及び装備の問合せ対象箇所の写真を撮影し、撮影した写真を送信する携帯端末３０と、携帯端末３０から送信された写真が示す問合せ対象箇所を認識する認識サーバ２１と、機器及び装備に関する説明を行う複数の説明情報を有するＦＡＱデータベース２４を有し、認識サーバ２１で認識した問合せ対象箇所に対応する説明情報をＦＡＱデータベース２４から選択して送信する処理サーバ２２と、車両１０Ａに設けられ、処理サーバ２２から送信された説明情報を表示する表示装置１２とを有する。
【選択図】図１

Description

本発明は、車両が備える機器や装備に関する情報を提供する車両の情報提供システムに関する。

モバイル端末でショット（写真など）を撮影し、ショットを通信システムに送信し、通信システムでショット内のオブジェクト（バーコードなど）を検出し、モバイル端末の位置を考慮して、オブジェクトに関連付けられる場所を選択し、場所及びオブジェクトに関連付けられる情報（クーポンなど）をモバイル端末上に表示する技術が知られている（特許文献１参照）。

特表２０１５−５１５６６９号公報

近年、車両が備える機器や装備の高機能化、多機能化が進んで、益々便利になってきているが、新しい機能に対する知識不足や情報不足のため、その機能を運転者や搭乗者が十分に使いこなせていない可能性がある。例えば、車室内にあるスイッチやアイコンに運転者や搭乗者が興味を持ち、操作しようとしても、該当するスイッチやアイコンがどのようなものか理解していないと、その操作をためらってしまう。また、エンジンルーム内にある部品に運転者や搭乗者が興味を持っても、該当する部品の説明を車両の取扱説明書から見つけ出すのは簡単ではない。

近年、音声認識システムや画像認識システムなどの技術も益々発展してきている。このような技術を用いて、車両の機器や装備に関する情報を提供することができれば、運転者や搭乗者に必要な情報を適切に提供することが可能になる。また、会話が苦手な運転者や搭乗者に対しても、必要な情報を適切に提供することが可能になる。

本発明は上記課題に鑑みなされたもので、必要な情報を適切に提供することができる車両の情報提供システムを提供することを目的とする。

上記課題を解決する第１の発明に係る車両の情報提供システムは、
車両の機器及び装備の問合せ対象箇所の写真を撮影し、撮影した前記写真を送信する携帯端末と、
前記携帯端末から送信された前記写真が示す前記問合せ対象箇所を認識する認識手段と、
前記機器及び前記装備に関する説明を行う複数の説明情報を有し、前記認識手段で認識した前記問合せ対象箇所に対応する前記説明情報を選択して送信する処理手段と、
前記車両に設けられ、前記処理手段から送信された前記説明情報を表示する表示手段とを有する
ことを特徴とする。

上記課題を解決する第２の発明に係る車両の情報提供システムは、
上記第１の発明に記載の車両の情報提供システムにおいて、
前記処理手段は、各々の前記説明情報に優先順位が付けられた優先順位情報を有し、選択された前記説明情報と共に当該説明情報の前記優先順位を送信し、
前記表示手段は、前記処理手段から複数の前記説明情報が選択されて送信された場合、複数の前記説明情報の項目を前記優先順位の高い順にリスト表示する
ことを特徴とする。

上記課題を解決する第３の発明に係る車両の情報提供システムは、
上記第１又は第２の発明に記載の車両の情報提供システムにおいて、
前記説明情報の選択履歴から前記説明情報に対する前記優先順位を学習し、前記優先順位情報を更新する学習手段を有する
ことを特徴とする。

上記課題を解決する第４の発明に係る車両の情報提供システムは、
上記第３の発明に記載の車両の情報提供システムにおいて、
前記認識手段、前記処理手段及び前記学習手段は、クラウド上に設けられた少なくとも１つのサーバコンピュータからなる
ことを特徴とする。

上記課題を解決する第５の発明に係る車両の情報提供システムは、
上記第３の発明に記載の車両の情報提供システムにおいて、
前記認識手段及び前記処理手段は、前記車両に設けられた少なくとも１つのコンピュータからなり、
前記学習手段は、クラウド上に設けられた１つのサーバコンピュータからなる
ことを特徴とする。

本発明によれば、車両の機器や装備に関して、運転者や搭乗者に必要な情報を適切に提供することができる。その結果、車両の利便性を向上させることができる。

本発明に係る車両の情報提供システムの実施形態の一例（実施例１）を示す概略構成図である。 図１に示した車両の情報提供システムにおける情報の送受信の一例を説明するフローチャートである。 図１に示した車両の情報提供システムにおいて、表示装置と携帯端末における情報の送受信の一例を示す図である。 本発明に係る車両の情報提供システムの実施形態の他の一例（実施例２）を示す概略構成図である。 図４に示した車両の情報提供システムにおける情報の送受信の一例を説明するフローチャートである。 図４に示した車両の情報提供システムにおいて、表示装置と携帯端末における情報の送受信の一例を示す図である。

以下、図１〜図６を参照して、本発明に係る車両の情報提供システムの実施形態のいくつかを説明する。

［実施例１］
図１は、本実施例の車両の情報提供システムを示す概略構成図である。また、図２は、図１に示した車両の情報提供システムにおける情報の送受信の一例を説明するフローチャートである。また、図３は、図１に示した車両の情報提供システムにおいて、表示装置と携帯端末における情報の送受信の一例を示す図である。

本実施例の車両の情報提供システムは、図１に示すように、車両１０Ａに設けられた処理装置１１Ａと入出力機能付きの表示装置１２（表示手段）と通信装置１３Ａとを有し、また、クラウド２０Ａ上に設けられた認識サーバ２１（認識手段）と処理サーバ２２（処理手段及び学習手段）とを有し、更に、携帯端末３０を有している。なお、図１では、１台の車両１０Ａ及び１つの携帯端末３０を例示しているが、クラウド２０Ａ上の認識サーバ２１及び処理サーバ２２は、複数の車両１０Ａ及び複数の携帯端末３０に対応するものである。

処理装置１１Ａは、例えば、コンピュータなどであり、入出力機能付きの表示装置（以降、表示装置）１２や通信装置１３Ａから入力された情報に対する処理を行って、表示装置１２や通信装置１３Ａへ処理後の情報を出力している。

また、表示装置１２は、例えば、タッチパネルなどであり、処理装置１１Ａから出力された情報を画面に表示したり、画面に入力された情報を処理装置１１Ａへ入力したりしている。また、表示装置１２は、マイクやスピーカを備えており、処理装置１１Ａから出力された音声をスピーカから出力したり、マイクから入力された音声を処理装置１１Ａへ入力したりしている。なお、表示装置１２としては、ナビゲーション・システムのディスプレイなどを利用可能であり、また、このディスプレイとは別に、他のディスプレイを設けても良い。

また、通信装置１３Ａは、例えば、ＬＴＥ（登録商標：Long Term Evolution）規格などの移動体通信機やＷｉ−Ｆｉ（登録商標：Wireless Fidelity）規格などの無線ＬＡＮ通信機であり、認識サーバ２１や処理サーバ２２との通信を無線ネットワーク４０で行うものである。

また、認識サーバ２１は、例えば、記憶装置を有するサーバコンピュータなどであり、その記憶装置内に認識データベース２３を有している。この認識データベース２３には、画像や音声の認識のため、車両１０Ａが備える機器及び装備に関する認識情報（画像情報や音声情報）が記録されている。そして、認識サーバ２１は、認識データベース２３に基づいて、無線ネットワーク４０を介して通信装置１３Ａや携帯端末３０から送信された画像や音声の認識を行って、その認識結果を処理サーバ２２へ送信している。

この認識サーバ２１は、例えば、ニューラルネットワークなどの人工知能を用いて、画像や音声の認識を行っており、その場合、認識サーバ２１は、認識データベース２３に記録する認識情報も、人工知能による学習（機械学習）を用いて記録すれば良い。

また、処理サーバ２２も、例えば、記憶装置を有するサーバコンピュータなどであり、その記憶装置内にＦＡＱ（frequently asked questions）データベース２４を有している。このＦＡＱデータベース２４には、認識結果に対応する情報を選択するため、車両１０Ａが備える機器及び装備に関する説明を行う説明情報（文字情報、音声情報、画像情報、動画情報など）が記録されると共に、各々の説明情報に対する優先順位を付けた優先順位情報が記録されている。各々の説明情報としては、車両１０Ａの機器及び装備の取扱説明書の各項目の説明内容が利用可能であり、これらを文字情報、音声情報、画像情報として記憶すれば良く、必要な場合には、機器及び装備の操作や動作の動画情報を記憶すれば良い。

そして、処理サーバ２２は、ＦＡＱデータベース２４に基づいて、認識サーバ２１から送信された画像や音声の認識結果に対応する説明情報を１つ又は複数選択し、無線ネットワーク４０を介して、選択した説明情報を車両１０Ａの通信装置１３Ａや携帯端末３０へ送信している（処理手段）。

上述した認識サーバ２１には、特定の車両１０Ａの運転者や搭乗者からだけでなく、他の車両１０Ａの運転者や搭乗者からも、携帯端末３０を用いて、問合せ情報となる画像や音声が送信されており、認識サーバ２１は、これらの画像や音声を認識した認識結果を処理サーバ２２に送信している。そして、処理サーバ２２は、例えば、ニューラルネットワークなどの人工知能を用いており、これらの認識結果に対する説明情報の選択履歴に基づいて、換言すると、多数の運転者や搭乗者からの問合せ履歴に基づいて、説明情報に対する優先順位を学習し、優先順位情報を更新している（学習手段）。優先順位は、処理サーバ２２での選択頻度が多い説明情報ほど、つまり、多数の運転者や搭乗者からの問合せ頻度が多い説明情報ほど、高くしている。

また、携帯端末３０は、例えば、スマートフォンであり、ＬＴＥ規格やＷｉ−Ｆｉ規格などの無線通信機能を有すると共に、カメラ機能を有しており、運転者や搭乗者が携帯している。この携帯端末３０には、専用プログラムがインストールされており、この専用プログラムを用いて、運転者や搭乗者が撮影した画像や入力した文字、音声を認識サーバ２１へ送信したり、処理サーバ２２からの情報を受信したりしている。

認識サーバ２１又は処理サーバ２２には、予め、携帯端末３０の識別情報（例えば、ＰＩＮコードなど）と車両１０Ａの通信装置１３Ａの識別情報（例えば、ＰＩＮコードなど）とを関連付けて登録している。そのため、携帯端末３０から入力された情報に対する処理結果は、携帯端末３０だけでなく、関連付けた車両１０Ａの通信装置１３Ａへも送信可能になっている。

なお、ここでは、認識サーバ２１と処理サーバ２２とを独立して設けているが、認識サーバ２１と処理サーバ２２とを１つのサーバコンピュータから構成しても良く、その場合、認識データベース２３やＦＡＱデータベース２４も１つの記憶装置に設けても良い。また、処理サーバ２２は、上述した処理手段の機能と学習手段の機能を有しているが、機能毎に異なるサーバコンピュータに分けて構成しても良く、その場合、ＦＡＱデータベース２４も、説明情報からなるデータベースと優先順位情報からなるデータベースに分けて構成しても良い。

次に、上述した構成を有する本実施例の車両の情報提供システムについて、図２及び図３も参照して、表示装置１２と携帯端末３０における情報の送受信の一例を説明する。

（ステップＳ１）
運転者や搭乗者は、車両１０Ａの機器や装備について、操作や機能が分からない場合、例えば、エンジンルーム内の部品が分からなかったり、車室内にあるスイッチやアイコンの操作や意味が分からなかったりした場合、携帯端末３０の専用プログラムを用いて、問合せ対象箇所の写真を撮影し、撮影した写真を問合せ情報として、無線ネットワーク４０を介して認識サーバ２１へ送信する。

例えば、車両１０Ａのセレクトレバー近くのスイッチの操作や機能が分からない場合は、図３（ａ）に示すように、この問合せ対象箇所の写真Ｑ１を携帯端末３０で撮影して、認識サーバ２１へ送信すれば良い。なお、該当箇所の名称が分かっている場合には、写真Ｑ１に代えて、携帯端末３０へ音声や文字を入力して、入力した音声や文字を問合せ情報として認識サーバ２１へ送信しても良い。

（ステップＳ２）
認識サーバ２１は、無線ネットワーク４０を介して携帯端末３０から送信された写真Ｑ１について、認識データベース２３に基づいて、写真Ｑ１が示す問合せ対象箇所の認識を行い、認識結果を処理サーバ２２へ送信する。

例えば、図３（ａ）中に示す写真Ｑ１については、左側から右側に順に、「バッテリチャージスイッチ」、「セレクタレバー操作アイコン」、「バッテリセーブスイッチ」と認識することができる。このように、写真Ｑ１に複数のスイッチなどが写っているときには、可能なものを全て認識するようにしている。

また、写真Ｑ１に代えて、音声が送信された場合も、認識サーバ２１は、認識データベース２３に基づいて、音声の認識を行い、認識結果を処理サーバ２２へ送信する。一方、文字が送信された場合は、送信された文字を認識結果として処理サーバ２２へ送信する。なお、携帯端末３０に音声や文字を入力するとき、名称の一部を間違って入力した場合には、入力した音声の認識結果に近いもの、入力した文字に近いものを、認識データベース２３から探し出し、認識結果として処理サーバ２２へ送信する。

（ステップＳ３）
処理サーバ２２は、認識サーバ２１から送信された認識結果に対応する説明情報を、ＦＡＱデータベース２４から１つ又は複数選択する。なお、認識結果に対応する説明情報を見つけ出せない場合には、認識結果に近いものに対応する説明情報を、ＦＡＱデータベース２４から１つ又は複数選択する。また、処理サーバ２２は、選択された説明情報の選択履歴に基づいて、説明情報に対する優先順位を学習し、優先順位情報を更新する。

（ステップＳ４）
処理サーバ２２は、選択した説明情報を、無線ネットワーク４０を介して、通信装置１３Ａへ送信し、処理サーバ２２から通信装置１３Ａへ送信された説明情報は、処理装置１１Ａを経由して、表示装置１２へ入力される。表示装置１２は、処理サーバ２２で選択した説明情報が１つであれば、当該説明情報を表示し、処理サーバ２２で選択した説明情報が複数であれば、当該複数の説明情報の項目を優先順位の高い順に従ってリスト表示する。また、処理サーバ２２は、選択した説明情報を、無線ネットワーク４０を介して、携帯端末３０へ送信しても良く、その場合、携帯端末３０は、表示装置１２と同様の表示をすれば良い。

例えば、図３（ａ）中に示した写真Ｑ１に対しては、図３（ｂ）の表示装置１２中の表示欄Ａ１に示すように、優先順位の高い順に従って、「チャージモードの意味が知りたい」、「セーブモードの意味が知りたい」、「Ｂの意味が知りたい」と上から下へ表示される。この際、各説明情報の項目の左隣には、認識サーバ２１で認識した「バッテリチャージスイッチ」、「バッテリセーブスイッチ」、「セレクタレバー操作アイコン」を示す画像が表示され、携帯端末３０で撮影した写真Ｑ１との対応関係が分かるようになっている。

表示装置１２の画面内に全ての説明情報の項目を表示しきれない場合は、図３（ｂ）に示すように、表示欄Ａ１にスクロールバーＣ１を設け、表示欄Ａ１を上下方向にスクロール表示するようにして、表示されていない説明情報の項目も表示可能としている。

処理サーバ２２からは、操作補助情報（文字情報、音声情報、画像情報など）も送信されており、表示装置１２に説明情報の項目を表示する際には、同時に、この操作補助情報も表示装置１２から出力されている。ここでは、処理サーバ２２は、表示装置１２側に音声情報からなる操作補助情報を送信しており、表示装置１２のスピーカからは、「知りたいスイッチをタッチしてもらえば、使い方を教えますよ」との音声が出力されている。

処理サーバ２２からの操作補助情報は、携帯端末３０へ送信しても良く、ここでは、図３（ａ）中のメッセージＭ１に示すように、携帯端末３０側に文字情報からなる操作補助情報が送信されており、携帯端末３０上に、「知りたいスイッチをタッチしてもらえば、使い方を教えますよ」との文字情報が表示されている。特に、車両１０Ａのバッテリが上がっていたり、何らかの不具合があったりして、処理装置１１Ａ、表示装置１２及び通信装置１３Ａが起動できない場合には、表示装置１２へ表示する説明情報の項目や操作補助情報を、携帯端末３０で表示するようにすれば良い。

（ステップＳ５〜Ｓ６）
表示装置１２や携帯端末３０は、表示した説明情報の項目や操作補助情報について、運転者や搭乗者からの操作入力（音声入力、タッチ操作による入力など）を待ち、操作入力があれば、その操作入力に対応する説明情報を表示装置１２や携帯端末３０に提供する。

例えば、図３（ｂ）に示した表示装置１２の表示欄Ａ１において、運転者が「チャージモードの意味が知りたい」と表示された領域をタッチすると、その操作入力が、処理装置１１Ａ、通信装置１３Ａ、認識サーバ２１を介して、処理サーバ２２へ送信される。処理サーバ２２は、「チャージモードの意味が知りたい」に対応する説明情報（文字情報、音声情報、画像情報、動画情報）をＦＡＱデータベース２４から取り出して、通信装置１３Ａや携帯端末３０に送信し、処理装置１１Ａは、通信装置１３Ａを介して送信された説明情報を表示装置１２の画面に表示し、携帯端末３０は、送信された説明情報を画面に表示することになる。

また、例えば、図３（ｂ）に示した表示装置１２の表示欄Ａ１の表示に対して、運転者が「チャージモード」と発音して、表示装置１２のマイクから音声を入力すると、その操作入力が、処理装置１１Ａ、通信装置１３Ａを介して、認識サーバ２１へ送信され、入力された音声の認識が認識サーバ２１で行われた後、その認識結果が処理サーバ２２へ送信される。処理サーバ２２は、認識結果に対応する説明情報（文字情報、音声情報、画像情報、動画情報）をＦＡＱデータベース２４から取り出して、通信装置１３Ａや携帯端末３０に送信し、処理装置１１Ａは、通信装置１３Ａを介して送信された説明情報を表示装置１２の画面に表示し、携帯端末３０は、送信された説明情報を画面に表示することになる。

（ステップＳ７）
終了操作があれば、一連の動作を終了し、終了操作がなければ、ステップＳ５へ戻る。つまり、終了操作があるまで、ステップＳ５〜Ｓ６が繰り返され、対話形式で情報の送受信を行って、表示装置１２や携帯端末３０に所望の説明情報を表示させている。終了操作としては、例えば、表示装置１２上に終了操作用のボタンＢ１を表示しておき、このボタンＢ１を運転者や搭乗者がタッチすることで、表示装置１２の画面が初期画面に戻り、一連の動作が終了することになる。

本実施例では、以上のようにして、車両の機器や装備に関する運転者や搭乗者からの問合せについて、携帯端末３０で写真を撮って問合せをしているので、会話が苦手な運転者や搭乗者に対しても、その意図を汲み取り、必要な情報を適切に提供することができる。その結果、車両の利便性を向上させることができる。

［実施例２］
図４は、本実施例の車両の情報提供システムを示す概略構成図である。また、図５は、図４に示した車両の情報提供システムにおける情報の送受信の一例を説明するフローチャートである。また、図６は、図４に示した車両の情報提供システムにおいて、表示装置と携帯端末における情報の送受信の一例を示す図である。

本実施例の車両の情報提供システムは、図４に示すように、車両１０Ｂに設けられた処理装置１１Ｂ（認識手段及び処理手段）と表示装置１２と通信装置１３Ｂと認識データベース１４とＦＡＱデータベース１５とを有し、また、クラウド２０Ｂ上に設けられた処理サーバ２２（処理手段及び学習手段）を有し、更に、携帯端末３０を有している。なお、図４では、１台の車両１０Ｂ及び１つの携帯端末３０を例示しているが、クラウド２０Ｂ上の処理サーバ２２は、複数の車両１０Ｂ及び複数の携帯端末３０に対応するものである。

実施例１の図１に示した構成と本実施例の図４に示した構成との比較から分かるように、実施例１では、クラウド２０Ａ上に認識サーバ２１及び処理サーバ２２があるのに対して、本実施例では、クラウド２０Ｂ上には処理サーバ２２があるだけであり、車両１０Ｂ内の処理装置１１Ｂ、通信装置１３Ｂ、認識データベース１４及びＦＡＱデータベース１５が、実施例１における認識サーバ２１の機能及び処理サーバ２２の一部の機能を担う構成に変更している。

つまり、実施例１では、通信装置１３Ａ及び携帯端末３０と認識サーバ２１及び処理サーバ２２とがオンライン状態である必要があるが、本実施例では、通信装置１３Ｂと処理サーバ２２とが必ずしもオンライン状態である必要はなく、オフライン状態であっても、運転者や搭乗者に必要な情報を適切に提供することができるようにしている。

本実施例の車両の情報提供システムの具体的な構成を説明する。処理装置１１Ｂは、実施例１で説明した処理装置１１Ａと同様に、例えば、コンピュータであり、表示装置１２や通信装置１３Ｂから入力された情報に対する処理を行って、表示装置１２や通信装置１３Ｂへ処理後の情報を出力している。

加えて、処理装置１１Ｂは、認識データベース１４に基づいて、通信装置１３Ｂを介して携帯端末３０から送信された画像や音声の認識を行い（認識手段）、更に、ＦＡＱデータベース１５に基づいて、画像や音声の認識結果に対応する説明情報を１つ又は複数選択し、選択した説明情報を表示装置１２へ出力したり、通信装置１３Ｂを介して携帯端末３０へ送信したりする（処理手段）。この処理装置１１Ｂは、例えば、ニューラルネットワークなどの人工知能を用いて、画像や音声の認識を行っている。

また、通信装置１３Ｂは、例えば、ＬＴＥ規格やＷｉ−Ｆｉ規格などの複数の無線通信機能を有する通信機であり、基本的には、携帯端末３０との通信を行うものであり、必要に応じて、無線ネットワーク４０を介して、処理サーバ２２との通信を行う。

そして、認識データベース１４は、実施例１で説明した認識データベース２３と同等のものである。具体的には、画像や音声の認識のため、車両１０Ｂが備える機器及び装備に関する認識情報（画像情報や音声情報）が記録されている。この認識データベース１４に記録した認識情報は、予め、人工知能により学習した学習済みのものである。

また、ＦＡＱデータベース１５も、実施例１で説明したＦＡＱデータベース２４と同等のものである。具体的には、認識結果に対応する情報を選択するため、車両１０Ｂが備える機器及び装備に関する説明を行う説明情報（文字情報、音声情報、画像情報、動画情報など）が記録されると共に、各々の説明情報に対する優先順位を付けた優先順位情報が記録されている。このＦＡＱデータベース１５に記録した優先順位情報も、予め、人工知能により学習した学習済みのものである。

なお、ここでは、処理装置１１Ｂは、上述した認識手段の機能と処理手段の機能を有しているが、機能毎に異なるコンピュータに分けて構成しても良い。また、認識データベース１４及びＦＡＱデータベース１５も、１つの記憶装置に設けても良いし、互いに異なる記憶装置に分けて設けても良い。

そして、本実施例において、表示装置１２については、実施例１で説明した表示装置１２と同じもので良い。また、携帯端末３０についても、実施例１で説明した携帯端末３０と同じもので良いが、本実施例では、通信装置１３Ｂとのみ直接通信しているので、少なくとも、Ｗｉ−Ｆｉ規格の無線通信機能やカメラ機能などを有する携帯型の端末であれば、他のもの、例えば、タブレット型端末などでも良い。また、携帯端末３０が通信装置１３Ｂとのみ直接通信しているので、実施例１のように、携帯端末３０の識別情報と通信装置１３Ｂの識別情報とを関連付けて、処理サーバ２２に登録しておく必要はない。

本実施例において、処理サーバ２２については、少なくとも、実施例１で説明した学習手段の機能を有するものが良い。その場合、処理装置１１Ｂは、適宜なときに、通信装置１３Ｂを用い、無線ネットワーク４０を介して、処理装置１１Ｂにおける説明情報の選択履歴を処理サーバ２２に送信しており、処理サーバ２２は、送信された説明情報の選択履歴に基づく学習を行って、ＦＡＱデータベース２４内の優先順位情報を更新している（学習手段）。そして、ＦＡＱデータベース２４において、優先順位情報が更新された場合には、処理サーバ２２は、ＦＡＱデータベース２４で更新された優先順位情報を、無線ネットワーク４０を介して、通信装置１３Ｂへ送信しており、処理装置１１Ｂは、ＦＡＱデータベース２４で更新された優先順位情報を用いて、ＦＡＱデータベース１５内の優先順位情報を更新している。

また、本実施例において、処理サーバ２２は、実施例１で説明した処理手段の機能を更に有しても良い。つまり、実施例１で説明した処理サーバ２２と同じもので良い。例えば、処理装置１１Ｂは、ＦＡＱデータベース１５に必要とする情報がない場合、通信装置１３Ｂを介して、画像や音声の認識結果を処理サーバ２２に送信し、処理サーバ２２は、通信装置１３Ｂから送信された画像や音声の認識結果に対応する説明情報を、ＦＡＱデータベース２４の中から１つ又は複数選択し、選択した情報を車両１０Ｂの通信装置１３Ｂへ、無線ネットワーク４０を介して送信すれば良い（処理手段）。

つまり、本実施例では、携帯端末３０からの問合せ情報に対する認識及び処理が、基本的には、処理装置１１Ｂで行われており、ＦＡＱデータベース１５に必要とする情報が無い場合に、処理サーバ２２（ＦＡＱデータベース２４）から必要な情報を取得するようにしている。

次に、上述した構成を有する本実施例の車両の情報提供システムについて、図５及び図６も参照して、表示装置１２と携帯端末３０における情報の送受信の一例を説明する。

（ステップＳ１１）
運転者や搭乗者は、車両１０Ｂの機器や装備について、操作や機能が分からない場合、携帯端末３０の専用プログラムを用いて、問合せ対象箇所の写真を撮影し、撮影した写真を問合せ情報として通信装置１３Ｂへ送信する。

例えば、車両１０Ｂのステアリング近くのスイッチの操作や機能が分からない場合は、図６（ａ）に示すように、問合せ対象箇所の写真Ｑ２を携帯端末３０で撮影して、通信装置１３Ｂへ送信すれば良い。なお、該当箇所の名称が分かっている場合には、写真Ｑ２に代えて、携帯端末３０へ音声や文字を入力して、入力した音声や文字を問合せ情報として通信装置１３Ｂへ送信しても良い。

（ステップＳ１２）
処理装置１１Ｂは、通信装置１３Ｂを介して携帯端末３０から送信された写真Ｑ２について、認識データベース１４に基づいて、写真Ｑ２が示す問合せ対象箇所の認識を行う。

例えば、図６（ａ）中に示す写真Ｑ２については、上側から下側に順に、「ＣＡＮＣＥＬスイッチ」、「ＲＥＳ＋スイッチ」、「ＳＥＴ−スイッチ」、「ＡＣＣ ＯＮ／ＯＦＦスイッチ」、「ＡＣＣ車間設定スイッチ」と認識することができる。このように、写真Ｑ２に複数のスイッチなどが写っているときには、可能なものを全て認識するようにしている。

また、写真Ｑ２に代えて、音声が送信された場合も、処理装置１１Ｂは、認識データベース１４に基づいて、音声の認識を行う。一方、文字が送信された場合は、送信された文字を認識結果とする。なお、携帯端末３０に音声や文字を入力するとき、名称の一部を間違って入力した場合には、入力した音声の認識結果に近いもの、入力した文字に近いものを、認識データベース１４から探し出して、認識結果とする。

（ステップＳ１３）
処理装置１１Ｂは、認識結果に対応する説明情報を、ＦＡＱデータベース１５から１つ又は複数選択する。なお、処理装置１１Ｂは、適宜なときに、通信装置１３Ｂを用いて、処理装置１１Ｂにおける説明情報の選択履歴を処理サーバ２２に送信しており、処理サーバ２２は、送信された説明情報の選択履歴に基づく学習を行って、ＦＡＱデータベース２４内の優先順位情報を更新する。

（ステップＳ１４）
認識結果に対応する説明情報がＦＡＱデータベース１５にある場合には、ステップＳ１６へ進むが、認識結果に対応する説明情報がＦＡＱデータベース１５にない場合には、ステップＳ１５へ進む。つまり、処理装置１１ＢがＦＡＱデータベース１５から認識結果に対応する説明情報を見つけ出せない場合には、ステップＳ１５へ進む。

（ステップＳ１５）
認識結果に対応する説明情報をＦＡＱデータベース１５から見つけ出せない場合、処理装置１１Ｂは、通信装置１３Ｂを介して、認識結果を処理サーバ２２へ送信する。処理サーバ２２は、処理装置１１Ｂから送信された認識結果に対応する説明情報を、ＦＡＱデータベース２４から１つ又は複数選択する。なお、処理サーバ２２でも、認識結果に対応する説明情報を見つけ出せない場合には、認識結果に近いものに対応する説明情報を、ＦＡＱデータベース２４から１つ又は複数選択する。また、処理サーバ２２は、選択された説明情報の選択履歴に基づいて、説明情報に対する優先順位を学習し、優先順位情報を更新する。

（ステップＳ１６）
認識結果に対応する説明情報がＦＡＱデータベース１５から選択できた場合、処理装置１１Ｂは、選択した説明情報を表示装置１２へ出力し、表示装置１２は、処理装置１１Ｂで選択した説明情報が１つであれば、当該説明情報を表示し、処理装置１１Ｂで選択した説明情報が複数であれば、当該複数の説明情報の項目を優先順位の高い順に従ってリスト表示する。また、処理装置１１Ｂは、選択した説明情報を、通信装置１３Ｂを介して、携帯端末３０へ送信しても良く、その場合、携帯端末３０は、表示装置１２と同様の表示をすれば良い。

一方、認識結果に対応する説明情報がＦＡＱデータベース１５から選択できなかった場合、処理サーバ２２は、選択した説明情報を、無線ネットワーク４０を介して、通信装置１３Ｂへ送信し、処理サーバ２２から通信装置１３Ｂへ送信された説明情報は、処理装置１１Ｂを経由して、表示装置１２へ入力される。表示装置１２は、処理サーバ２２で選択した説明情報が１つであれば、当該説明情報を表示し、処理サーバ２２で選択した説明情報が複数であれば、当該複数の説明情報の項目を優先順位の高い順に従ってリスト表示する。また、処理装置１１Ｂは、処理サーバ２２から送信された説明情報を、通信装置１３Ｂを介して、携帯端末３０へ送信しても良く、その場合、携帯端末３０は、表示装置１２と同様の表示をすれば良い。

例えば、図６（ａ）中に示した写真Ｑ２に対しては、図６（ｂ）の表示装置１２中の表示欄Ａ２に示すように、優先順位の高い順に従って、「ＳＥＴ−の意味が知りたい」、「ＲＥＳ＋の意味が知りたい」、「ＡＣＣ車間設定の意味が知りたい」と上から下へ表示される。この際、各説明情報の項目の左隣には、処理装置１１Ｂで認識した「ＳＥＴ−スイッチ」、「ＲＥＳ＋スイッチ」、「ＡＣＣ車間設定スイッチ」を示す画像が表示され、携帯端末３０で撮影した写真Ｑ２との対応関係が分かるようになっている。

表示装置１２の画面内に全ての説明情報の項目を表示しきれない場合は、図６（ｂ）に示すように、表示欄Ａ２にスクロールバーＣ２を設け、表示欄Ａ２を上下方向にスクロール表示するようにして、表示されていない説明情報の項目も表示可能としている。

処理装置１１Ｂからは、操作補助情報（文字情報、音声情報、画像情報など）も送信されており、表示装置１２に説明情報の項目を表示する際には、同時に、この操作補助情報も表示装置１２から出力されている。ここでは、処理装置１１Ｂは、表示装置１２側に音声情報からなる操作補助情報を送信しており、表示装置１２のスピーカからは、「知りたいスイッチをタッチしてもらえば、使い方を教えますよ」との音声が出力されている。

処理装置１１Ｂからの操作補助情報は、携帯端末３０へ送信しても良く、ここでは、図６（ａ）中のメッセージＭ２に示すように、携帯端末３０側に文字情報からなる操作補助情報を送信しており、携帯端末３０上に、「知りたいスイッチをタッチしてもらえば、使い方を教えますよ」との文字情報が表示されている。

（ステップＳ１７〜Ｓ１８）
表示装置１２や携帯端末３０は、表示した説明情報の項目や操作補助情報について、運転者や搭乗者からの操作入力（音声入力、タッチ操作による入力など）を待ち、操作入力があれば、その操作入力に対応する説明情報を表示装置１２や携帯端末３０に提供する。

例えば、図６（ｂ）に示した表示装置１２の表示欄Ａ２において、運転者が「ＳＥＴ−の意味が知りたい」と表示された領域をタッチすると、その操作入力が処理装置１１Ｂへ入力される。処理装置１１Ｂは、「ＳＥＴ−の意味が知りたい」に対応する説明情報（文字情報、音声情報、画像情報、動画情報）をＦＡＱデータベース１５から取り出して、表示装置１２や通信装置１３Ｂに出力し、表示装置１２は、出力された説明情報を画面に表示し、携帯端末３０は、通信装置１３Ｂを介して送信された説明情報を画面に表示することになる。

また、例えば、図６（ｂ）に示した表示装置１２の表示欄Ａ２の表示に対して、運転者が「セット」と発音して、表示装置１２のマイクから音声を入力すると、その操作入力が処理装置１１Ｂへ入力され、処理装置１１Ｂにおいて、入力された音声の認識が行われた後、その認識結果に対応する説明情報（文字情報、音声情報、画像情報、動画情報）をＦＡＱデータベース１５から取り出して、表示装置１２や通信装置１３Ｂに出力し、表示装置１２は、出力された説明情報を画面に表示し、携帯端末３０は、通信装置１３Ｂを介して送信された説明情報を画面に表示することになる。

（ステップＳ１９）
終了操作があれば、一連の動作を終了し、終了操作がなければ、ステップＳ１７へ戻る。つまり、終了操作があるまで、ステップＳ１７〜Ｓ１８が繰り返され、対話形式で情報の送受信を行って、表示装置１２や携帯端末３０に所望の説明情報を表示させている。終了操作としては、例えば、表示装置１２上に終了操作用のボタンＢ２を表示しておき、このボタンＢ２を運転者や搭乗者がタッチすることで、表示装置１２の画面が初期画面に戻り、一連の動作が終了することになる。

本実施例でも、以上のようにして、車両の機器や装備に関する運転者や搭乗者からの問合せについて、携帯端末３０で写真を撮って問合せをしているので、会話が苦手な運転者や搭乗者に対しても、その意図を汲み取り、必要な情報を適切に提供することができる。その結果、車両の利便性を向上させることができる。

本発明は、車両の機器や装備に対する情報提供システムとして好適なものである。

１０Ａ、１０Ｂ 車両
１１Ａ、１１Ｂ 処理装置
１２ 表示装置
１３Ａ、１３Ｂ 通信装置
１４ 認識データベース
１５ ＦＡＱデータベース
２０Ａ、２０Ｂ クラウド
２１ 認識サーバ
２２ 処理サーバ
２３ 認識データベース
２４ ＦＡＱデータベース
３０ 携帯端末
４０ 無線ネットワーク

Claims (5)

1. 車両の機器及び装備の問合せ対象箇所の写真を撮影し、撮影した前記写真を送信する携帯端末と、
   前記携帯端末から送信された前記写真が示す前記問合せ対象箇所を認識する認識手段と、
   前記機器及び前記装備に関する説明を行う複数の説明情報を有し、前記認識手段で認識した前記問合せ対象箇所に対応する前記説明情報を選択して送信する処理手段と、
   前記車両に設けられ、前記処理手段から送信された前記説明情報を表示する表示手段とを有する
   ことを特徴とする車両の情報提供システム。
2. 請求項１に記載の車両の情報提供システムにおいて、
   前記処理手段は、各々の前記説明情報に優先順位が付けられた優先順位情報を有し、選択された前記説明情報と共に当該説明情報の前記優先順位を送信し、
   前記表示手段は、前記処理手段から複数の前記説明情報が選択されて送信された場合、複数の前記説明情報の項目を前記優先順位の高い順にリスト表示する
   ことを特徴とする車両の情報提供システム。
3. 請求項１又は請求項２に記載の車両の情報提供システムにおいて、
   前記説明情報の選択履歴から前記説明情報に対する前記優先順位を学習し、前記優先順位情報を更新する学習手段を有する
   ことを特徴とする車両の情報提供システム。
4. 請求項３に記載の車両の情報提供システムにおいて、
   前記認識手段、前記処理手段及び前記学習手段は、クラウド上に設けられた少なくとも１つのサーバコンピュータからなる
   ことを特徴とする車両の情報提供システム。
5. 請求項３に記載の車両の情報提供システムにおいて、
   前記認識手段及び前記処理手段は、前記車両に設けられた少なくとも１つのコンピュータからなり、
   前記学習手段は、クラウド上に設けられた１つのサーバコンピュータからなる
   ことを特徴とする車両の情報提供システム。

Images