JP2018081102A - Communication device, communication method, and program - Google Patents
Communication device, communication method, and program Download PDFInfo
- Publication number
- JP2018081102A JP2018081102A JP2017240973A JP2017240973A JP2018081102A JP 2018081102 A JP2018081102 A JP 2018081102A JP 2017240973 A JP2017240973 A JP 2017240973A JP 2017240973 A JP2017240973 A JP 2017240973A JP 2018081102 A JP2018081102 A JP 2018081102A
- Authority
- JP
- Japan
- Prior art keywords
- facility
- map
- voice
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ユーザの所望する施設を検索し、検索結果をユーザに通知する技術に関する。 The present invention relates to a technique for searching a facility desired by a user and notifying a user of a search result.
従来より、ナビゲーション機能等において目的地となる施設を検索した際、検索された施設の特徴を音声で報知するシステムが知られている（例えば、特許文献１参照。）。 2. Description of the Related Art Conventionally, there is known a system that, when searching for a destination facility in a navigation function or the like, informs the characteristics of the searched facility by voice (for example, see Patent Document 1).
例えば、ユーザがレストランを検索すると、付近のレストランが地図上に表示され、表示されたレストランの特徴が音声で紹介される。 For example, when a user searches for a restaurant, nearby restaurants are displayed on a map, and features of the displayed restaurant are introduced by voice.
このような検索機能を用いることで、ユーザは、例えば車両の走行中に車両内の画面を注視せずとも、検索結果の詳細を知ることができる。 By using such a search function, the user can know details of the search result without gazing at the screen inside the vehicle while the vehicle is running, for example.
だたし、このような施設の検索では、検索により得られる施設の情報は必ずしも一つとは限らない。むしろ、複数の施設情報を提示し、所望の施設をユーザが自由に選択することが好ましい。 However, in such a facility search, the facility information obtained by the search is not necessarily one. Rather, it is preferable that a plurality of facility information is presented and the user freely selects a desired facility.
しかし、複数の施設情報を示して、いずれかの施設の特徴を音声で紹介すると、ユーザは提示されたどの施設について紹介されているのか判別できない。この場合、所望の施設をユーザが適宜選択できず、利便性の低下を招く。 However, if a plurality of facility information is shown and the features of any facility are introduced by voice, the user cannot determine which facility that has been presented. In this case, the user cannot select a desired facility as appropriate, resulting in a decrease in convenience.
本発明は、上記課題に鑑み、検索された複数の施設情報のうち、いずれかの施設の特徴が音声で紹介された場合、ユーザがどの施設について紹介されているか判別できる技術を提供することを目的とする。 In view of the above-described problems, the present invention provides a technique that allows a user to determine which facility is introduced when a feature of one of the searched facility information is introduced by voice. Objective.
上記課題を解決するため、請求項１の発明は、サーバ装置と通信を行う通信装置であって、地図を表示する表示手段と、ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する検索手段と、前記複数の施設に関する情報を前記サーバ装置から取得する情報取得手段と、前記複数の施設のうちの１つの施設について、前記情報を音声で出力する音声出力手段と、前記１つの施設が、前記表示手段で表示される前記地図に含まれるように前記地図の表示範囲を移動させる移動手段と、を備える。 In order to solve the above-mentioned problem, the invention of claim 1 is a communication device that communicates with a server device, and a plurality of facilities existing near a predetermined point based on a display means for displaying a map and a voice uttered by a user Search means for searching, information acquisition means for acquiring information on the plurality of facilities from the server device, voice output means for outputting the information by voice for one of the plurality of facilities, One facility includes moving means for moving the display range of the map so as to be included in the map displayed by the display means.
また、請求項２の発明は、請求項１に記載の通信装置において、前記音声出力手段が出力する前記情報は、前記１つの施設の詳細情報を含む。 According to a second aspect of the present invention, in the communication device according to the first aspect, the information output by the voice output unit includes detailed information of the one facility.
また、請求項３の発明は、請求項１または２に記載の通信装置において、前記音声出力手段は、前記ユーザの発する音声に基づき、前記複数の施設のうち、前記１つの施設とは異なる施設の前記情報を音声で出力する。 According to a third aspect of the present invention, in the communication device according to the first or second aspect, the voice output means is a facility different from the one facility among the plurality of facilities, based on a voice uttered by the user. The above information is output by voice.
また、請求項４の発明は、請求項３に記載の通信装置において、前記移動手段は、前記異なる施設が前記地図に含まれるように前記地図の表示範囲を移動させる。 According to a fourth aspect of the present invention, in the communication device according to the third aspect, the moving means moves the display range of the map so that the different facilities are included in the map.
また、請求項５の発明は、サーバ装置と通信を行う通信方法であって、（ａ）地図を表示する工程と、（ｂ）ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する工程と、（ｃ）前記複数の施設に関する情報を前記サーバ装置から取得する工程と、（ｄ）前記複数の施設のうちの１つの施設について、前記情報を音声で出力する工程と、（ｅ）前記１つの施設が、前記工程（ａ）で表示される前記地図に含まれるように前記地図の表示範囲を移動させる工程と、を備える。
Further, the invention of
また、請求項６の発明は、サーバ装置と通信を行う通信装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）地図を表示する工程と、（ｂ）ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する工程と、（ｃ）前記複数の施設に関する情報を前記サーバ装置から取得する工程と、（ｄ）前記複数の施設のうちの１つの施設について、前記情報を音声で出力する工程と、（ｅ）前記１つの施設が、前記工程（ａ）で表示される前記地図に含まれるように前記地図の表示範囲を移動させる工程と、を実行させる。 The invention of claim 6 is a program executable by a computer included in a communication device that communicates with a server device, wherein (a) a step of displaying a map on the computer, and (b) issued by a user. A step of searching for a plurality of facilities existing in the vicinity of a predetermined point based on voice; (c) a step of acquiring information on the plurality of facilities from the server device; and (d) one of the plurality of facilities. A facility for outputting the information by voice; and (e) moving the display range of the map so that the one facility is included in the map displayed in the step (a). Let it run.
請求項１ないし６の発明によれば、ユーザは、車両へ乗車中に表示画面を注視しなくとも、施設に関する情報を地図に表示された位置情報と共に把握することができる。 According to invention of Claim 1 thru | or 6, the user can grasp | ascertain the information regarding a facility with the positional information displayed on the map, without paying attention to a display screen during boarding to a vehicle.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜１．概要＞
図１は、本実施の形態に係る通信システム１０の概要を示す。通信システム１０は、車両用装置２及び携帯端末３を備える。
通信システム１０は、車両１に搭載される車両用装置２、車両１内に持ち込まれる携帯端末３を備える。
<1. Overview>
FIG. 1 shows an overview of a communication system 10 according to the present embodiment. The communication system 10 includes a
The communication system 10 includes a
車両用装置２は、目的地までのルートを案内するナビゲーション機能を備える電子制御装置であり、ディスプレイや、スピーカ、マイクロフォンを備える。携帯端末３は、無線回線及びインターネット等のネットワーク４を介し、音声認識サーバ５、検索サーバ６、及び地図サーバ７と相互にデータを送受信する携帯型の通信装置である。また、車両用装置２と携帯端末３とは、互いにデータの送受信を行う。
The
ユーザは、様々な音声を発声することで、例えば所望する施設（ＰＯＩ：Ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）を検索し、検索で得られた施設の位置をナビゲーション機能の目的地に設定することができる。 By uttering various voices, the user can search for a desired facility (POI: Point of interest), for example, and set the location of the facility obtained by the search as the destination of the navigation function.
このような通信システム１０による施設の検索は、まず、車両用装置２がユーザの音声を取得し、その音声を示す音声データを現在地の座標データと共に携帯端末３に送信することで開始する。携帯端末３は、受信した音声データと座標データとを音声認識サーバ５に送信する。
The facility search by the communication system 10 is started when the
音声認識サーバ５は、音声データに音声認識処理を実行し、音声データを文字データに変換し、文字データを検索サーバ６へ、座標データを地図サーバ７へ送信する。
The
検索サーバ６は、文字データの意味に該当する施設をデータベースから検索し、検索結果を音声認識サーバ５に送信する。
The search server 6 searches the database for a facility corresponding to the meaning of the character data, and transmits the search result to the
地図サーバ７は、座標データに基づき、現在地周辺の地図を生成し、地図データを音声認識サーバ５に送信する。音声認識サーバ５は、検索結果データと地図データとを携帯端末３に送信する。
The
携帯端末３は、検索結果データと地図データと基づき、検索結果を一覧で表示する地図画像を生成し、車両用装置２へ送信する。例えば、ユーザが「近くのイタリアン・レストラン」と発声した場合、該当するレストランが点在する現在地周辺の地図画像が生成される。
Based on the search result data and the map data, the
そして、ユーザは、車両用装置２のディスプレイに表示された地図画像から一つの施設を選択することで、例えば地図に表示されたレストランの位置をナビゲーション機能の目的地に設定することができる。
And the user can set the position of the restaurant displayed on the map as the destination of the navigation function, for example, by selecting one facility from the map image displayed on the display of the
このように、車両用装置２及び携帯端末３は、音声認識サーバ５、検索サーバ６、及び地図サーバ７と協働することで、車両１のユーザの発声に応じた情報を提供する検索機能を実現する。
As described above, the
以下、このような検索機能を実現する通信システム１０について、詳細に説明する。 Hereinafter, the communication system 10 that realizes such a search function will be described in detail.
＜２．構成＞
＜２−１．通信システムの構成＞
図２は、通信システム１０の備える車両用装置２及び携帯端末３の構成を示す。図２下段は車両用装置２の構成である。図２上段は携帯端末３の構成である。
<2. Configuration>
<2-1. Configuration of communication system>
FIG. 2 shows a configuration of the
まず、車両用装置２の構成を説明する。車両用装置２は、制御部２１、連携部２２、ディスプレイ２３、スピーカ２４、マイクロフォン２５、ナビゲーション部２６、及び記憶部２７を備える。
First, the configuration of the
制御部２１は、車両用装置２の全体を統括的に制御するマイクロコンピュータであり、ＣＰＵ、ＲＡＭ、及びＲＯＭを備える。なお、制御部２１の備える各部の動作は後述する。
The
OLE_LINK1OLE_LINK2連携部２２は、OLE_LINK1OLE_LINK2携帯端末３と近距離無線通信で接続し、携帯端末３と情報の送受信を行う。近距離無線通信は、例えば、ブルートゥース（Bluetooth：登録商標）や、ワイファイ（Wi-Fi：登録商標）、ジグビー（Zig Bee：登録商標）等の無線通信規格である。なお、連携部２２による通信は、無線ではなく、有線で携帯端末３と通信可能に接続されてもよい。
The
ディスプレイ２３は、文字や図形を表示し、ドライバへ情報を提示する表示装置である。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイである。また、ディスプレイ２３は、タッチパネルを備え、ユーザの操作に供される。
The
スピーカ２４は、制御部３１からの信号に応じた音声を出力し、車両１のドライバに音声情報を報知する。
The
マイクロフォン２５は、ユーザの発話による音声を集音する。マイクロフォン２５は、集音して得られた音声情報を制御部３１に送信する。なお、道路上の騒音等を不必要に集音しないよう、正面方向を高感度に設計した単一指向性のマイクロフォンを採用することが望ましい。
The
ナビゲーション部２６は、目的地までの走行経路を案内するナビゲーション機能を実行する。ナビゲーション部２６は、ユーザにより目的地が設定されると、ＧＰＳ等の測位システムで取得される車両１の現在位置から目的地までの経路を導出し、ユーザへ案内を行う。
The
記憶部２７は、各種データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶装置である。記憶部２７は、プログラム２７ａを記憶している。
The
プログラム２７ａは、制御部２１により読み出され、制御部２１が車両用装置２を制御するために実行されるファームウェアである。
The
前述の制御部２１は、記憶部２７に記憶されたプログラム２７ａに従い、ＣＰＵの演算処理により実現される各種機能を備える。検索指示部２１ａ、表示制御部２１ｂ、及び音声制御部２１ｃは、プログラム２７ａに従い演算処理を行うことで実現される制御部２１の機能である。
The
検索指示部２１ａは、ユーザのタッチパネルへの入力やマイクロフォン２５への発声に基づき、施設の検索条件を含む検索指示データを生成する。生成された検索指示データは、連携部２２を介して携帯端末３から検索サーバ６へ送信される。
The
表示制御部２１ｂは、携帯端末３から送信された画像データをディスプレイ２３に表示する。
The
音声制御部２１ｃは、携帯端末３から送信された音声データをスピーカ２４に出力する。また、音声制御部２１ｃは、マイクロフォン２５から送信される音声データを取得する。
The
目的地設定部２１ｄは、ナビゲーション部２６を制御し、ナビゲーション機能における目的地の設定を行う。
The
次に、携帯端末３の構成について説明する。携帯端末３は、制御部３１、通信部３２、ディスプレイ３３、スピーカ３４、記憶部３５、及び連携部３６を備える。
Next, the configuration of the
制御部３１は、携帯端末３全体を統括的に制御するマイクロコンピュータであり、ＣＰＵ、ＲＡＭ、及びＲＯＭを備える。なお、制御部３１の備える各部の動作は後述する。
The
通信部３２は、ネットワーク４を介してサーバと無線通信を行い、施設の検索や地図画像データの取得等に必要なデータの送受信を行う。例えば、施設の検索データを検索サーバ６に送信し、検索サーバ６から検索処理の施設データを取得する。携帯端末３は、通信部３２を備えることにより、車両用装置２とサーバとの間におけるデータの中継器として機能する。
The
ディスプレイ３３は、文字や図形等の各種情報を表示して、車両１のドライバに情報を提示する表示装置である。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等である。なお、ディスプレイ３３は、タッチパネルを備え、ユーザの操作に供される。
The
スピーカ３４は、制御部３１からの信号に応じた音声を出力し、車両１のドライバに音声情報を報知する。
The
記憶部３５は、フラッシュメモリ等の不揮発性の記憶装置であり、各種情報を記憶する。記憶部３５は、プログラム３５ａを記憶している。
The
プログラム３５ａは、制御部３１により読み出され、制御部３１が携帯端末３を制御するために実行されるファームウェアである。
The
連携部３６は、車両用装置２と近距離無線通信で接続し、車両用装置２と情報の送受信を行う。近距離無線通信は、例えば、ブルートゥース（Bluetooth：登録商標）や、ワイファイ（Wi-Fi：登録商標）、ジグビー（Zig Bee：登録商標）等の無線通信規格である。なお、連携部３６による通信は、無線ではなく、有線で車両用装置２と通信可能に接続されてもよい。
The
画像処理部３１ａは、ディスプレイに表示してユーザへ提示すべき画像を生成する。例えば、検索された施設の位置を地図上で指し示すＰＯＩ画像を生成し、地図画像に重畳する。画像処理部３１ａは、画像を生成するとスクリーンキャプチャを行い、生成した画像データを車両用装置２及びディスプレイ３３へ送信する。
The
音声処理部３１ｂは、車両用装置２から送信された音声データに対し、雑音や無音期間の除去等を行う。音声処理部３１ｂにより処理された音声データは、音声認識サーバ５へストリーミング送信され、音声認識サーバ５にて音声認識処理が行われる。
The
＜２−２．サーバの構成＞
次に、ネットワーク４に接続された各サーバの構成について図３から図６を参照して説明する。まず、音声認識サーバ５について説明する。図３は、音声認識サーバ５の構成である。音声認識サーバ５は、制御部５１、通信部５２、及び記憶部５３を備える。
<2-2. Server configuration>
Next, the configuration of each server connected to the
制御部５１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたコンピュータである。後述の記憶部５３に記憶されたプログラム５３ｃに従いＣＰＵが演算処理を実行し、制御部５１の各種機能が実現される。制御部５１は、音声認識部５１ａ、情報生成部５１ｂを備える。
The
音声認識部５１ａは、後述の音声認識辞書５３ａを参照し、ユーザの音声の特徴量に基づいてユーザの音声を文字に変換する。そして、音声認識処理の認識結果として、ユーザの音声を表す文字データを生成する。そして音声認識部５１ａは、音声認識処理の認識結果の文字データから、助詞や接続詞等の不用語を消去し、単語を抽出する。抽出した単語と、後述の意味判定辞書５３ｂとに基づき、ユーザの音声の意味を判定する。音声認識部５１ａは、検索条件を満足するデータを音声データベースから検索する。検索条件は、例えば、「近く」等の距離や「レストラン」等の施設種別である。そして、音声認識部５１ａは、音声認識処理の処理結果として、検索結果を携帯端末３に通信部５２を介して送信する。
The
情報生成部５１ｂは、音声認識部５１ａが抽出した単語に基づいてユーザの嗜好に関するデータを生成し、後述のユーザデータ５３ｄに登録及び更新を行う。この際、発生頻度の高い単語を嗜好度の上位に登録する。
The
通信部５２は、ネットワーク４に接続され、ネットワーク４に接続可能な他の通信端末やサーバとデータ通信を行う。このため、通信部５２は、携帯端末３及び後述の検索サーバ６とネットワーク４を介し、データの送受信を行う。
The
記憶部５３は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部５３は、音声認識辞書５３ａ、意味判定辞書５３ｂ、プログラム５３ｃ、及びユーザデータ５３ｄを記憶している。
The
音声認識辞書５３ａは、音声認識部５１ａがユーザの音声を認識する際に参照する辞書である。音声認識辞書５３ａは、音声の特徴量と文字との対応関係を示すデータを含む。
The
意味判定辞書５３ｂは、音声認識部５１ａによりユーザの音声の意味を判定する際に参照される辞書である。音声認識辞書５３ａは、単語と意味との対応関係を示すデータを含む。
The meaning
プログラム５３ｃは、制御部５１により読み出され、制御部５１が音声認識サーバ５を制御するために実行されるファームウェアである。
The
ユーザデータ５３ｄは、音声認識部５１ａが検索対象とするデータベースである。ユーザデータ５３ｄは、ナビゲーション機能の目的地の候補となる多数の施設データを含み、情報生成部５１ｂがユーザ情報を生成する際に参照される。ユーザデータ５３ｄに含まれるデータは、情報生成部５１ｂにより常時更新される。
The
図４は、ユーザデータ５３ｄの例を示す。ユーザデータ５３ｄは、「種類」と「嗜好度」とからなるマトリックス状のデータベースである。
FIG. 4 shows an example of the
「種類」は、施設の種類、及び施設で提供されるサービスの種類である。例えば、コンビニエンスストア、ガソリンスタンド、レストラン、中華、イタリアン、和食等の単語が入力される。「嗜好度」は、ユーザの嗜好の高さを「最も好き」、「次に好き」、「好き」の３段階で示す指標である。「嗜好度」には、施設の種類、又は施設で提供されるサービスの種類を示す単語が入力される。 “Type” is the type of facility and the type of service provided at the facility. For example, words such as convenience store, gas station, restaurant, Chinese, Italian, Japanese food are input. The “preference level” is an index that indicates the level of user preference in three levels: “most like”, “next like”, and “like”. In the “preference level”, a word indicating the type of facility or the type of service provided at the facility is input.
例えば、「種類」がコンビニエンスストアの場合、ユーザのコンビニエンスストアの種類に対する嗜好として「最も好き」に「Ａマート」、「次に好き」に「Ｂチェーン」、「好き」に「Ｃストア」が入力される。また、例えば、「種類」が「中華料理」の場合、ユーザの中華料理の種類に対する嗜好として「最も好き」に四川料理、「次に好き」に広東料理、「好き」に北京料理が入力される。 For example, when “type” is a convenience store, “A mart” is “most favorite”, “B chain” is “next favorite”, and “C store” is “like” as the user's preference for the type of convenience store. Entered. Also, for example, when “type” is “Chinese cuisine”, Sichuan cuisine is input to “most favorite” as a preference for the type of Chinese cuisine, Cantonese cuisine is input to “next favorite”, and Beijing cuisine is input to “like”. The
これらのデータがユーザデータ５３ｄに登録されるタイミングは、ユーザの発声が音声認識サーバ５に入力された際である。音声認識部５１ａは、ユーザの発声に含まれる単語をデータベースに蓄積し、発生頻度の高い単語をユーザデータ５３ｄに登録する。この際、発生頻度のより高い単語を嗜好度の高いデータに登録する。
The timing at which these data are registered in the
次に、検索サーバ６について説明する。図５は、検索サーバ６の構成を示す。検索サーバ６は、制御部６１、通信部６２、及び記憶部６３を備える。
Next, the search server 6 will be described. FIG. 5 shows the configuration of the search server 6. The search server 6 includes a
制御部６１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたコンピュータである。後述の記憶部６３に記憶されたプログラム６３ｂに従いＣＰＵが演算処理を実行し、制御部６１の各種機能が実現される。
The
通信部６２は、ネットワーク４に接続され、ネットワーク４に接続可能な他の通信端末やサーバとデータ通信を行う。通信部６２は、音声認識サーバ５とネットワーク４を介し、データの送受信を行う。
The
記憶部６３は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部５３は、音声認識辞書５３ａ、意味判定辞書５３ｂ、プログラム５３ｃ、及びユーザデータ５３ｄを記憶している。
The
前述の制御部６１は、施設検索部６１ａを備える。施設検索部６１ａは、ユーザの発声内容と後述の施設データベース６３ａに基づき、コンビニエンスストアやガソリンスタンド等の施設の位置を検索し、施設情報を音声認識サーバ５へ送信する。施設情報は、「施設名称」、施設の距離及び所在地を示す「簡易情報」、施設の特徴を紹介する「詳細情報」、及び施設の所在を緯度及び経度で示す「位置情報」からなる。なお、施設の距離は、目的地又は現在位置からの距離である。
The
次に、地図サーバ７について説明する。図６は、地図サーバ７の構成を示す。地図サーバ７は、制御部７１、通信部７２、及び記憶部７３を備える。
Next, the
OLE_LINK3OLE_LINK4制御部７１は、OLE_LINK3OLE_LINK4ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたコンピュータである。後述の記憶部７３に記憶されたプログラム７３ｂに従いＣＰＵが演算処理を実行し、制御部６１の各種機能が実現される。また、制御部７１は、地図生成部７１ａを備える。
The
地図生成部７１ａは、携帯端末３から位置情報を取得し、後述の地図データベース７３ａを参照して当該位置周辺の地図を生成し、携帯端末３へ送信する。
The map generation unit 71 a acquires position information from the
通信部７２は、ネットワーク４に接続され、ネットワーク４に接続可能な他の通信端末やサーバとデータ通信を行う。通信部７２は、携帯端末３とネットワーク４を介し、データの送受信を行う。
The
記憶部７３は、例えば、ハードディスク等の不揮発性の記憶装置であり、各種情報を記憶している。記憶部７３は、地図データベース７３ａ及びプログラム７３ｂを記憶している。
The
地図データベース７３ａは、緯度と経度に基づく道路の地図情報であり、ラスタデータ（画像）として記憶部７３に記憶されている。また、地図データベース７３ａでは、地図データが、複数の縮尺別に用意される。例えば、「１／５０００」、「１／１万」、「１／２万」、「１／４万」、「１／８万」、「１／１６万」、「１／３２万」、「１／６４万」「１／１２８万」、及び「１／２５６万」の１０種類の縮尺の地図データが地図データベース７３ａに含まれる。
The
＜３．処理手順＞
次に、通信システム１０の処理手順を図７から図１７を用いて説明する。図７、図９、図１１、図１３、図１５、及び図１６は、通信システム１０の処理のフローチャートを示す。図８、図１２、図１４、図１７は、車両用装置２のディスプレイ２３での表示例を示す。
<3. Processing procedure>
Next, the processing procedure of the communication system 10 will be described with reference to FIGS. 7, 9, 11, 13, 15, and 16 are flowcharts of processing of the communication system 10. 8, 12, 14, and 17 show examples of display on the
まず、図７を参照する。通信システム１０の処理の開始前は、車両用装置２の制御部２１が、ディスプレイ２３に車両１周辺の地図を含むナビゲーション画像を表示する。この状態において、連携部２２と連携部３６とで無線通信が行われ、車両用装置２と携帯端末３との通信が確立されると、通信システム１０の処理が開始される。
First, referring to FIG. Before the processing of the communication system 10 starts, the
処理が開始されると、車両用装置２の制御部２１が、ユーザが施設の検索を指示するために、タッチパネル上の「検索」ボタンをタッチしたか否か判断する（ステップＳ１１）。制御部２１は、ユーザのタッチがないと判断すると（ステップＳ１１でＮｏ）、繰り返し「検索」ボタンへのタッチの有無を判断する。
When the process is started, the
一方、制御部２１が、ユーザのタッチがあったと判断すると（ステップＳ１１でＹｅｓ）、音声制御部２１ｃは、スピーカ３４へ音声データを出力し、ユーザに対し音声入力の案内を行う（ステップＳ１２）。音声入力の案内は、例えば、「お話し下さい」という音声をスピーカ３４から出力する。
On the other hand, when the
ユーザが検索条件を発声すると、マイクロフォン２５が音声を集音する（ステップＳ１３）。音声制御部２１ｃは、マイクロフォン２５で集音した音声を音声データとして取得する。検索指示部２１ａは、連携部２２を介し、音声データを検索指示命令と共に携帯端末３へ送信する（ステップＳ１４）。なお、検索指示部２１ａにより送信される音声データは、検索指示命令に含まれる施設の検索条件である。
When the user utters the search condition, the
音声データが送信されると、検索指示部２１ａは、緯度及び経度を示す目的地の座標データを携帯端末３へ送信する（ステップＳ１５）。なお、検索指示部２１ａにより送信される座標データも、検索指示命令に含まれる施設の検索条件である。
When the audio data is transmitted, the
ここで、車両用装置２と携帯端末３との通信が確立された後のディスプレイ２３の表示について説明する。図８は、車両用装置２と携帯端末３との通信が確立された後のディスプレイ２３の表示例を示す。ユーザＵＳがタッチパネル上の「検索」ボタンをタッチすると、携帯端末３の制御部３１は、キャラクタ画像ＣＧを生成し、車両用装置２へ送信する。車両用装置２は、ディスプレイ２３の左半面に車両１周辺の地図を含むナビゲーション画像ＮＶを表示し、右半面にキャラクタ画像ＣＧを表示する。
Here, the display on the
キャラクタ画像ＣＧが表示されると、「お話し下さい。」との文字表示ＴＰを表示すると共に、スピーカ２４から「お話し下さい」と音声出力ＳＮを行う。ユーザＵＳはこれに対し、例えば、「目的地付近で食事がしたい」等をマイクロフォン２５へ向けて発話ＶＯを行う。このようにキャラクタ画像ＣＧを表示することで、ユーザＵＳは、キャラクタ画像ＣＧとの対話形式により、円滑に施設の検索を行うことができる。
When the character image CG is displayed, a character display TP “Please speak” is displayed, and a voice output SN “Please speak” is performed from the
再度図７を参照し、通信システム１０の処理手順を説明する。携帯端末３の制御部３１は、連携部３６を介し、ステップＳ１４で車両用装置２から送信された音声データを受信する（ステップＳ３１）。受信した音声データに対し、音声処理部は、雑音や無音期間の除去等の処理を行う（ステップＳ３２）。
With reference to FIG. 7 again, the processing procedure of the communication system 10 will be described. The
次に、携帯端末３の制御部３１は、連携部３６を介し、ステップＳ１５で車両用装置２から送信された座標データを受信する（ステップＳ３３）。制御部３１は、車両用装置２から送信された音声データと座標データとを音声認識サーバ５へ送信する（ステップＳ３４）。
Next, the
音声認識サーバ５は、携帯端末３から送信された音声データと座標データとを受信すると（ステップＳ５１）、音声データに対して音声認識部５１ａが音声認識辞書５３ａ及び意味判定辞書５３ｂを参照して音声認識処理を行う（ステップＳ５２）。音声認識処理により、例えば、「目的地」、「付近」、及び「食事」とういう単語が抽出され、新たに音声認識データとして編集される。
When the
音声認識部５１ａが音声認識処理を行うと、制御部５１は音声認識処理を行った音声認識データと座標データとを検索サーバ６へ送信する（図９のステップＳ５３）。
When the
検索サーバ６が音声認識サーバ５から音声認識データと座標データとを受信すると（ステップＳ７１及びステップＳ７２）、施設検索部６１ａが、音声認識データと座標データとに基づき、施設データベース６３ａを参照して施設の検索を実行する（ステップＳ７３）。施設の検索は、座標データにより緯度・経度で示される地点付近に存在する飲食店を施設データベース６３ａから検索し、施設データを生成して処理される。なお、座標データにより緯度・経度で示される地点付近とは、座標データで示される緯度及び経度を中心とした位置から１０分程度で移動可能な範囲が適当である。
When the search server 6 receives the voice recognition data and the coordinate data from the voice recognition server 5 (steps S71 and S72), the
施設データは、施設名称、簡易情報、詳細情報、及び位置情報からなるデータリストである。かかる施設データが、検索サーバ６で検索された施設である抽出施設に関する施設情報である。なお、施設データの簡易情報には、施設の所在地の他、現在位置、目的地、又は所定位置から施設までの距離データが含まれる。図１０は、施設データＩＦの具体的な例を示す。例えば、施設名称として「イタリアン “ｂｕｏｎａ”」、簡易情報として「距離：８．５ｋｍ 所在地：中央区」、詳細情報として「イタリア直輸入の食材を使った自家製パスタ・・・」、位置情報として「北緯34度40分26秒 東経135度6分28秒」が入力される。施設データＩＦには、多数の施設が含まれ、これらの情報が各施設に該当して入力されている。
The facility data is a data list including a facility name, simple information, detailed information, and position information. Such facility data is the facility information regarding the extracted facility that is the facility searched by the search server 6. The simple information of the facility data includes the current location, the destination, or distance data from the predetermined location to the facility in addition to the location of the facility. FIG. 10 shows a specific example of the facility data IF. For example, “Italian“ buona ”” as the facility name, “Distance: 8.5 km Location: Chuo-ku” as the simple information, “Homemade pasta using ingredients imported directly from Italy” as the detailed information, “
施設データが生成されると、検索サーバ６は、施設データを音声認識サーバ５へ送信する（ステップＳ７４）。 When the facility data is generated, the search server 6 transmits the facility data to the voice recognition server 5 (step S74).
音声認識サーバ５は、検索サーバ６から施設データを受信すると（ステップＳ５４）、施設データに含まれる施設の簡易情報及び詳細情報を音声データに変換し（ステップＳ５５）、受信した施設データ及び作成した音声データを携帯端末３へ送信する（ステップＳ５６）。
When the
音声認識サーバ５は、施設データ及び音声データを携帯端末３へ送信すると、検索した施設の位置を示す座標データを地図サーバ７へ送信する（ステップＳ５７）。
When the
地図サーバ７が音声認識サーバ５から施設の位置を示す座標データを受信すると（ステップＳ９１）、地図生成部７１ａが、座標データで示される全ての施設の位置が含まれる範囲とその周辺範囲の地図画像を生成する（ステップＳ９２）。なお、周辺範囲も含めて地図画像を生成するのは、ユーザが表示された範囲を超えて、すなわち地図を移動させて、地図を参照したいと望む場合もあるからである。
When the
地図生成部７１ａにより地図画像が生成されると、地図サーバ７の制御部７１は、通信部７２を介して音声認識サーバ５へ地図画像を送信する（ステップＳ９３）。
When the map image is generated by the map generation unit 71a, the
音声認識サーバ５は、地図サーバ７から地図画像を受信すると、受信した地図画像を携帯端末３へ転送する（ステップＳ５８）。
When the
携帯端末３が地図画像を受信すると（ステップＳ３６）、画像処理部３１ａが、検索結果画像を生成する（ステップＳ３７）。検索結果画像は、ＰＯＩや目的地を表示する画像を地図画像に重畳した画像である。
When the
画像処理部３１ａが検索結果画像を生成すると、制御部３１は、連携部３６を介し、検索結果画像データ、音声データ、及び施設データＩＦを車両用装置２へ送信する（ステップＳ３８）。
When the
車両用装置２は、携帯端末３から検索結果画像、音声データ、及び施設データを受信すると（図１１のステップＳ１６）、ＰＯＩを示す画像と共に地図画像をディスプレイ２３に表示する（ステップＳ１７）。これにより、ユーザは目的地付近の地図とともにＰＯＩの数と位置を把握できる。このように、地図サーバ７が地図画像を作成し、携帯端末３が地図画像とＰＯＩ画像を合成して検索結果画像を作成する。そして、車両用装置２が携帯端末３で作成された検索結果画像を表示する。
When receiving the search result image, the voice data, and the facility data from the portable terminal 3 (step S16 in FIG. 11), the
次に、車両用装置２の制御部２１は、表示された地図に複数の施設が存在するか否か判断する（ステップＳ１８）。制御部２１は、複数の施設が存在すると判断する場合（ステップＳ１８でＹｅｓ）、携帯端末３から送信された施設データを参照し、ユーザの嗜好度の最も高い施設を選択する（ステップＳ１９）。表示制御部２１ｂは、選択された施設のＰＩＯ画像に対し、施設名を表示する吹き出し画像を表示する（ステップＳ２０）。すなわち、表示制御部２１ｂは、施設情報の出力の対象となっている地図上の施設を特定する図形を表示する。地図上の施設を特定する図形は、地図上における施設の位置に該施設の情報を表示する図形でもよい。なお、制御部２１は、複数の施設が存在しないと判断する場合（ステップＳ１８でＮｏ）、すなわち１つの施設しか存在しないと判断する場合は、かかる施設のＰＩＯ画像に対し、施設名を表示する吹き出し画像を表示する（ステップＳ２０）。
Next, the
施設のＰＩＯ画像に対し、施設名を表示する吹き出し画像が表示されると、音声制御部２１ｃは、携帯端末３から送信された音声データに基づき、吹き出し画像を表示した施設の簡易情報の内容をスピーカ２４から音声出力する（ステップＳ２１）。これにより、ユーザは、車両１へ乗車中にディスプレイ２３を注視しなくとも、施設に関する情報を地図上の位置情報と共に把握することができる。また、ユーザは、嗜好に合致する施設の情報を優先して取得することができる。さらに、ユーザは、施設に関する情報に加え、どの施設が音声出力されているかを吹き出し画像により直ちに判別することができる。
When a balloon image that displays a facility name is displayed with respect to the PIO image of the facility, the
ここで、車両用装置２のディスプレイ２３に施設のＰＩＯ画像に対し、施設名を表示する吹き出し画像が表示された例について説明する。図１２は、目的地ＧＬ付近に存在する複数の施設のＰＩＯ画像ＰＩのうち、ユーザの嗜好度の高いＰＩＯ画像ＰＩａに吹き出し画像ＢＬが表示された車両用装置２のディスプレイ２３の表示である。このようなディスプレイ２３の表示状態において、簡易情報ＳＮとして「イタリアン ブゥオナ、距離は８．５ｋｍ、所在地は中央区です」がスピーカ２４から音声出力される。これにより、ユーザはディスプレイ２３を注視せずとも、目的地ＧＬとＰＩＯ画像ＰＩａとの位置関係及び簡易情報ＳＮを把握できる。
Here, an example in which a balloon image for displaying the facility name is displayed on the
再度図１１を参照し、通信システム１０の処理手順を説明する。ステップＳ２１において、音声制御部２１ｃが簡易情報を音声出力すると、表示制御部２１ｂは、ユーザがディスプレイ２３のタッチパネルを操作して地図の拡大操作を行っているか否か判断する（ステップＳ２２）。なお、この場合、表示制御部２１ｂは、タッチパネルに対する操作として、いわゆるピンチ・アウト操作を検出する。
With reference to FIG. 11 again, the processing procedure of the communication system 10 will be described. In step S21, when the
表示制御部２１ｂは、地図の拡大操作が行われていると判断すると（ステップＳ２２でＹｅｓ）、地図拡大処理を実行する（ステップＳ２３）。なお、地図拡大処理の詳細は後述する。
When the
一方、表示制御部２１ｂは、地図の拡大操作が行われていないと判断すると（ステップＳ２２でＮｏ）、ユーザがディスプレイ２３のタッチパネルを操作して地図の移動操作を行っているか否か判断する（ステップＳ２４）。なお、この場合、表示制御部２１ｂは、タッチパネルに対する操作として、いわゆるフリック操作を検出する。地図の移動とは、すなわち地図画像のスクロールである。
On the other hand, when the
表示制御部２１ｂは、地図の移動操作が行われていると判断すると（ステップＳ２４でＹｅｓ）、地図移動処理を実行する（ステップＳ２５）。なお、地図移動処理の詳細は後述する。
When the
一方、表示制御部２１ｂが、地図の移動操作が行われていないと判断すると（ステップＳ２４でＮｏ）、目的地設定部２１ｄが、ユーザにより目的地設定の操作が行われているか否か判断する（ステップＳ２６）。ユーザはＰＯＩを含む地図を参照し、簡易情報を聴取することで、該当のＰＯＩに立ち寄りたいと考える場合があるからである。
On the other hand, when the
目的地設定部２１ｄは、目的地設定の操作が行われていると判断すると（ステップＳ２６でＹｅｓ）、ナビゲーション部２６を制御し、目的地の設定処理を実行する（ステップＳ２７）。これにより、ユーザは、関心のあるＰＯＩへ向け、ナビゲーションの支援を受けつつ移動することができる。目的地の設定処理が実行されると、本処理手順は終了する。
If the
一方、目的地設定部２１ｄが、目的地設定の操作が行われていないと判断すると（ステップＳ２６でＮｏ）、音声制御部２１ｃが、ディスプレイ２３に表示されているＰＯＩの全てについて簡易情報が音声出力されたか否か判断する（ステップＳ２８）。
On the other hand, when the
全ＰＯＩについて簡易情報が音声出力されていないと判断すると（ステップＳ２８でＮｏ）、処理はステップＳ１９に戻る。再度実行されるステップＳ１９では、制御部２１は、携帯端末３から送信された施設データを参照し、簡易情報が音声出力されていない施設のうちユーザの嗜好度の最も高い施設を選択する。以降、前述のステップＳ２０以下の処理が実行される。
If it is determined that the simple information is not output for all POIs (No in step S28), the process returns to step S19. In step S <b> 19 executed again, the
一方、全ＰＯＩについて簡易情報が音声出力されたと判断すると（ステップＳ２８でＹｅｓ）、本処理手順は終了する。簡易情報が全て音声出力された以上、ユーザに対してさらに通知すべき情報はないからである。 On the other hand, when it is determined that the simple information has been output for all the POIs (Yes in step S28), this processing procedure ends. This is because there is no information to be further notified to the user as long as all the simple information is output by voice.
次に、ステップＳ２３における地図拡大処理の詳細について説明する。地図拡大処理とは、ディスプレイ２３に表示された地図を拡大して表示させ、拡大された地図中に表示された施設の内容について、音声で詳細に説明を行う処理である。これにより、ユーザは、地図に表示された複数の施設のうち、関心のある施設について地図を拡大操作することで、施設周辺を拡大された地図で把握できると共に、施設の内容を音声で詳細に知ることができる。図１３は、地図拡大処理の詳細を示すフローチャートである。
Next, the details of the map enlargement process in step S23 will be described. The map enlargement process is a process for enlarging and displaying the map displayed on the
なお、本処理は、ユーザがタッチパネル上に親指と人差し指等を乗せ、二本の指の間隔を押し広げる操作、いわゆるピンチ・アウト操作を行った場合に実行される。処理が開始されると、表示制御部２１ｂは、ユーザのピンチ・アウト操作に対応して地図を拡大して表示する（ステップＳ１１１）。
This process is executed when the user performs an operation of placing a thumb and forefinger or the like on the touch panel to increase the distance between the two fingers, that is, a so-called pinch-out operation. When the process is started, the
地図が拡大して表示されると、音声制御部２１ｃは、拡大された地図中に施設が存在するか否か判断する（ステップＳ１１２）。
When the map is enlarged and displayed, the
音声制御部２１ｃは、拡大された地図中に施設が存在しないと判断すると（ステップＳ１１２でＮｏ）、地図中に施設が存在しない旨を、音声制御部２１が音声で出力し、表示制御部２１ｂがディスプレイ２３に文字で表示してユーザへ通知する（ステップＳ１１３）。このように、音声と文字とで施設が存在しない旨をユーザに通知することで、ユーザに所望の施設を地図中に表示させるよう操作を促すことができる。ユーザに通知を行うと、表示制御部２１ｂは、地図の拡大処理前の地図表示を行う（ステップＳ１１４）。拡大処理前の地図表示を行うと、本処理は図１１に示す処理手順に戻り、ステップＳ２６以下を実行する。
When the
一方、音声制御部２１ｃが、拡大された地図中に施設が存在すると判断すると（ステップＳ１１２でＹｅｓ）、表示制御部２１ｂは、施設の位置を示すＰＯＩ画像に吹き出し画像を付加して表示する（ステップＳ１１５）。
On the other hand, when the
表示制御部２１ｂが吹き出し画像を表示すると、音声制御部２１ｃが、吹き出しが表示された施設の詳細情報を携帯端末３から送信された施設データから取得して音声出力する（ステップＳ１１６）。施設の詳細情報を音声出力すると、本処理は図１１に示す処理手順に戻り、ステップＳ２６以下を実行する。
When the
次に、地図拡大処理におけるディスプレイ２３に表示される画像の例を説明する。図１４は、地図拡大処理におけるディスプレイ２３に表示される画像の例を示す。図１４上段は、ユーザがディスプレイ２３のタッチパネルへピンチ・アウト操作ＰＯを行った図である。図において、ユーザは施設ＰＩｏを含む領域に対し、ピンチ・アウト操作ＰＯを行っている。
Next, an example of an image displayed on the
図１４下段は、ユーザのピンチ・アウト操作ＰＯに基づき、拡大された地図表示である。地図中に施設ＰＩｏが存在し、ＰＯＩ画像に吹き出し画像ＢＬが付加されている。また、スピーカ２４からは、施設の詳細情報である「広東菜館、中国人シェフによる本格的な中華料理と・・・」が音声出力されている。これにより、ユーザは所望の施設ＰＩｏ周辺の様子を詳細に視認できると共に、施設の詳細な特徴を聴取できる。
The lower part of FIG. 14 is an enlarged map display based on the user's pinch-out operation PO. A facility PIo exists in the map, and a balloon image BL is added to the POI image. In addition, the
次に、ステップＳ２５における地図移動処理の詳細について説明する。地図移動処理とは、ディスプレイ２３に表示された地図を移動して表示させ、移動された地図中に施設が存在するか検索し、移動して表示された新たな地図に検索された施設を表示する処理である。これにより、ユーザは、地図を移動させることで、当初表示された地図周辺に存在する施設をも把握できる。なお、地図表示の移動は、ユーザによるタッチパネルへのフリック操作等により行われる。
Next, the details of the map movement process in step S25 will be described. The map movement process is to move and display the map displayed on the
図１５及び図１６は、地図移動処理の詳細を示すフローチャートである。なお、車両用装置が地図移動処理に関する処理を実行すると、実行された処理に対応して携帯端末３、音声認識サーバ５、検索サーバ６も所定の処理を実行する。
15 and 16 are flowcharts showing details of the map movement process. In addition, when the apparatus for vehicles performs the process regarding a map movement process, the
本処理は、ユーザがタッチパネルに触れた指をスライドさせる操作、いわゆるフリック操作を行った場合に実行される。処理が開始されると、表示制御部２１ｂは、ユーザのフリック操作に対応して地図を移動して表示する（ステップＳ２１１）。なお、地図データは、前述の通り表示範囲に隣接する範囲も予め取得しているので、新たに地図データを取得する必要はない。移動範囲が大きく、新たな地図データが必要な場合は、地図サーバ７から取得すればよい。
This process is executed when the user performs an operation of sliding a finger touching the touch panel, a so-called flick operation. When the process is started, the
地図を移動して表示すると、音声制御部２１ｃは、ユーザがマイクロフォン２５へ発声を行ったか否か判断する（ステップＳ２１２）。ユーザの発声がないと判断する場合（ステップＳ２１２でＮｏ）、処理は、ステップＳ２１１に戻り、地図表示を継続すると共にマイクロフォン２５へ発声があるか判断する。なお、ユーザによる更なる地図移動のためのフリック操作の有無を判断し、かかる操作があった場合に地図を移動させて表示してもよい。
When the map is moved and displayed, the
一方、音声制御部２１ｃが、ユーザがマイクロフォン２５へ発声を行ったと判断すると（ステップＳ２１２でＮｏ）、マイクロフォン２５で集音した音声データを携帯端末３へ送信する（ステップＳ２１３）。音声データを受信した携帯端末３は、音声データを音声認識サーバ５へ転送する（ステップＳ２３１）。
On the other hand, when the
音声認識サーバ５は、音声データを受信すると（ステップＳ２５１）、音声認識処理を実行し（ステップＳ２５２）、音声認識処理の結果データを携帯端末３へ送信する（ステップＳ２５３）。
When receiving the voice data (step S251), the
携帯端末３は、音声認識処理の結果データを音声認識サーバ５から受信すると、車両用装置２へ転送する（ステップＳ２３２）。
When the
車両用装置２が音声認識処理の結果データを携帯端末３から受信すると（ステップＳ２１４）、音声制御部２１ｃは、音声認識処理された音声が所定の音声であるか、すなわちユーザが所定の発声をしたか否か判断する（ステップＳ２１５）。なお、所定の発声とは、「この辺り」や「この付近」等の位置を表す言葉であり、かつ否定的意味の含まない言葉の発声である。このような言葉が、ユーザが表示されている地図において施設の検索を望むと判断できるからである。また、ユーザの発声が所定の発声であるか否かの判断処理（ステップＳ２１５）、及びかかる処理に付随する処理（ステップＳ２１６）は、携帯端末３又はサーバ５で行ってもよい。
When the
音声制御部２１ｃが、音声認識処理された音声が所定の音声でないと判断する場合（ステップＳ２１５でＮｏ）、処理は、ステップＳ２１１に戻り、ユーザによる更なる地図移動のためのフリック操作及びマイクロフォン２５への発声に備えて待機する。
When the
一方、音声制御部２１ｃが、音声認識処理された音声が所定の音声であると判断する場合（ステップＳ２１５でＹｅｓ）、検索指示部２１ａは、移動した地図の表示上の中心点の座標データを検索指示命令と共に携帯端末３へ送信する（図１６のステップＳ２１６）。なお、検索指示部２１ａにより送信される座標データは、検索指示命令に含まれる施設の検索条件である。また、座標データは、緯度及び経度を示すデータである。
On the other hand, when the
座標データを受信した携帯端末３は、受信した座標データを音声認識サーバ５へ転送する（ステップＳ２３３）。そして、座標データを受信した音声認識サーバ５は、受信した座標データを検索サーバ６へ転送する（ステップＳ２５４）。
The
検索サーバ６が座標データを受信すると（ステップＳ２７１）、施設検索部６１ａが座標データで示される緯度及び経度を中心とした所定範囲内において、前述の手法により施設の検索を行う（ステップＳ２７２）。なお、所定範囲とは、座標データで示される緯度及び経度を中心とした位置から１０分程度で移動可能な範囲が適当である。検索サーバ６は、施設の検索を行うと、施設データＩＦを生成し、生成した施設データＩＦを音声認識サーバ５へ送信する（ステップＳ２７３）。
When the search server 6 receives the coordinate data (step S271), the
音声認識サーバ５が検索サーバ６から施設データＩＦを受信すると（ステップＳ２５５）、情報生成部５１ｂが施設データＩＦから音声データを作成する（ステップＳ２５６）。音声データは、施設データＩＦに含まれる施設の簡易情報及び詳細情報をスピーカ２４から音声出力可能なデータ形式としたデータである。音声認識サーバ５は、音声データが作成されると、検索サーバ６から受信した施設データ及び作成した音声データを携帯端末３へ送信する（ステップＳ２５７）。
When the
携帯端末３は、施設データ及び音声データを音声認識サーバ５から受信すると（ステップＳ２３４）、検索結果画像を生成し（ステップＳ２３５）、生成した検索結果画像及び施設データを車両用装置２へ送信する（ステップＳ２３６）。ここで生成される検索結果画像は、ＰＯＩ画像及び吹き出し画像である。
When the
車両用装置２が、検索結果画像及び施設データを携帯端末３から受信すると（ステップＳ２１７）、処理は図１１のフローチャートへ戻り、ステップＳ１７以降の処理が実行される。すなわち、車両用装置２の表示制御部２１ｂにより、携帯端末３から受信した検索結果画像及び施設データに基づき、ユーザにより移動された地図にＰＯＩ画像及び吹き出し画像が付加されて表示される。これにより、ユーザは、地図を移動して所定の発声を行うことで、関心のある地点に立地する施設を参照することが可能となる。
When the
次に、地図移動処理におけるディスプレイ２３に表示される画像の例を説明する。図１７は、地図移動処理においてディスプレイ２３に表示される画像の例を示す。図１７上段は、ユーザがディスプレイ２３のタッチパネルに対し、画面右端から左側へフリック操作ＦＬを行った図である。
Next, an example of an image displayed on the
図１７中段は、ユーザＵＳのフリック操作ＦＬにより、地図が移動して表示され、ユーザＵＳが「この付近」と発声ＶＯを行った図である。移動して表示された地図には、目的地マーク「Ｇ」が画面の左端に移動している。また、ＰＯＩ画像ＰＩは一つのみ表示されている。なお、前述の通り、「この辺り」や「この付近」等の位置を表し、かつ否定的意味の含まない言葉は、ユーザＵＳが表示されている地図において施設の検索を望むと判断できる言葉である。 The middle part of FIG. 17 is a diagram in which the map is moved and displayed by the user US flick operation FL, and the user US utters “this neighborhood” and utters VO. The destination mark “G” has moved to the left end of the screen in the moved and displayed map. Only one POI image PI is displayed. Note that, as described above, words that indicate positions such as “this neighborhood” and “this neighborhood” and that do not include a negative meaning are words that can be determined to search for a facility on the map on which the user US is displayed. is there.
図１７下段は、ユーザの発声に基づき、移動された地図上における施設の検索結果がＰＩＯ画像として表示され、かつ最もユーザの嗜好度の高い施設ＰＩａの簡易情報が音声出力された図である。地図中に複数の施設ＰＩが存在し、施設ＰＩａに吹き出し画像ＢＬが付加されている。また、スピーカ２４からは、施設ＰＩａの簡易情報ＳＮである「蕎麦処Ｋ、距離は１８．８ｋｍ、所在地は東灘区です」が音声出力されている。これにより、ユーザは地図を移動して所定の発声を行うことで、関心のある地点に立地し、かつ嗜好度の高い施設ＰＩａの位置を視認できると共に、施設ＰＩａの簡易な情報を聴取できる。
The lower part of FIG. 17 is a diagram in which, based on the user's utterance, the search result of the facility on the moved map is displayed as a PIO image, and the simple information of the facility PIa having the highest user preference level is output as voice. A plurality of facilities PI exist in the map, and a balloon image BL is added to the facility PIa. In addition, the
以上のように、本実施の形態においては、サーバと通信を行う車両用装置２は、ユーザの検索指示に応じて検索された施設の位置をサーバから取得し、かかる施設の位置を含む地図を表示する。そして、地図に表示された抽出施設に関する施設情報を音声でユーザへ報知する。これにより、ユーザは、施設に関する情報を音声で取得できるので、車両へ乗車中に表示画面を注視しなくとも、地図に表示された位置情報と共に施設に関する情報を把握することができる。特に、ユーザが運転中である場合には、前方に注意を払いつつ、施設に関する情報を把握することができる。
As described above, in the present embodiment, the
また、車両用装置２は、地図の表示範囲が移動されると、地図の表示範囲内に抽出施設が複数存在する場合に、ユーザの嗜好に合致する抽出施設の施設情報を優先して音声で出力する。このため、ユーザは、嗜好に合致する施設の情報を優先して取得することができる。
In addition, when the map display range is moved, the
また、車両用装置２は、施設情報の音声出力の対象となっている施設に対し、地図上でかかる施設を特定する図形を表示する。これにより、ユーザは、施設に関する情報と、どの施設の情報が音声出力されているかを直ちに判別することができる。
Moreover, the
また、車両用装置２は、地図の表示が拡大されると、地図の表示範囲内に抽出施設が存在する場合、抽出施設の施設情報に含まれる詳細情報を音声で出力する。これにより、ユーザは、地図を拡大して表示することにより、関心のある施設について詳細な情報を取得できる。
In addition, when the map display is enlarged, the
また、車両用装置２は、地図の表示範囲を移動され、かつユーザの所定の発声を取得した場合、施設の検索条件として表示されている地図の位置情報を含む検索指示を検索サーバへ送信する。これにより、ユーザは、施設の検索条件として、表示されている地図の位置情報を発声により検索サーバへ送信できる。なお、ユーザの所定の発声に、「この辺り」や「この付近」等の言葉を設定すると、ユーザは車両用装置２と対話するように操作が可能となり、利便性が向上する。
Further, when the
＜４．変形例＞
以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。様々な変形が可能である。以下、このような変形例について説明する。なお、上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜、組み合わせ可能である。
<4. Modification>
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Various modifications are possible. Hereinafter, such a modification will be described. In addition, all the forms including the said embodiment and the form demonstrated below are combinable suitably.
上記実施の形態では、ＰＯＩ画像を表示した地図画像には、ナビゲーションのルート案内用の表示を行っていなかった。しかし、ＰＯＩ画像を表示した地図画像にナビゲーションのルート案内用の表示を行ってもよい。図１８は、ＰＯＩ画像を表示した地図画像にナビゲーションのルート案内用の表示ＲＴを行った画像の例である。このように、ルート案内の表示ＲＴを行うことで、ユーザは走行ルートからどれだけ離れた位置に検索した施設が立地するか把握できる。ユーザは、ルート案内の表示ＲＴとＰＯＩ画像の位置とを比較し、検索した施設に立ち寄るか否か判断できる。ユーザにとっては、案内されたルートに近い施設のほうが立ち寄りやすいからである。 In the above embodiment, the navigation route guidance display is not performed on the map image displaying the POI image. However, navigation map guidance display may be performed on the map image displaying the POI image. FIG. 18 is an example of an image obtained by performing a display RT for navigation route guidance on a map image displaying a POI image. Thus, by performing the route guidance display RT, the user can grasp how far the searched facility is located from the travel route. The user compares the route guidance display RT with the position of the POI image, and can determine whether or not to stop at the searched facility. This is because it is easier for the user to drop in at a facility closer to the guided route.
また、上記実施の形態では、処理手順において車両用装置２が各種の判断処理、及びかかる判断処理に付随する処理を行っていたが、これら判断処理及び付随処理は携帯端末３又はサーバ５で行ってもよい。例えば、地図に表示された施設が複数であるか否かの判断（図１１のステップＳ１８）、地図が拡大されたか否かの判断（図１１のステップＳ２２）、地図が移動されたか否かの判断（図１１のステップＳ２４）、目的地が設定されたか否かの判断（図１１のステップＳ２６）、全ての施設が音声出力されたか否かの判断（図１１のステップＳ２８）、地図中に施設があるか否かの判断（図１３のステップＳ１１２）、ユーザの発声が所定の発声であるか否かの判断（図１５のステップＳ２１５）、及びこれら判断処理に付随する処理は、携帯端末３又はサーバ５で行ってもよい。
In the above embodiment, the
また、上記実施の形態では、施設の詳細情報を音声で出力したが、ディスプレイ２３に文字で表示してもよい。この場合、吹き出し画像ＢＬに詳細情報を文字で表示させるためのタッチパネル用ボタンを設けてもよい。図１８は、吹き出し画像ＢＬに詳細情報を文字で表示させるためのタッチパネル用の詳細表示ボタンＤＢを設けた画像の例である。ユーザは、詳細表示ボタンＤＢをタッチすることで、該当施設の詳細な情報を表示させることができる。
Moreover, in the said embodiment, although the detailed information of the facility was output with the audio | voice, you may display on the
また、上記実施の形態では、車両用装置２にマイクロフォンを備えたが、携帯端末３にマイクロフォンを備え、携帯端末３のマイクロフォンからユーザの音声を入力し、所定のサーバへ送信してもよい。
Moreover, in the said embodiment, although the microphone was provided in the
また、上記実施の形態では、車両用装置２は、車両１に搭載される装置として説明したが、携帯電話やスマートフォン等の車両１に固定して設置されない可搬性の装置であってもよい。
In the above-described embodiment, the
また、上記実施の形態では、携帯端末３と車両用装置２とは、別体の装置として説明したが、一体の装置であってもよい。すなわち、上記実施の形態の通信システム１０の機能と同等の機能を、車両で用いられる一つの車両用装置が備えていてもよい。
In the above embodiment, the
また、上記実施の形態では、携帯端末３及び車両用装置２のユーザは、車両１のドライバであると説明したが、ドライバ以外のユーザであってもよい。
Moreover, although the said embodiment demonstrated that the user of the
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によりソフトウェアとして各機能が実現されると説明した。しかし、機能の一部は電気的なハードウェア回路により実現されてもよい。 Further, in the above embodiment, it has been described that each function is realized as software by the arithmetic processing of the CPU according to the program. However, some of the functions may be realized by an electrical hardware circuit.
１ 車両
２ 車両用装置
３ 携帯端末
４ ネットワーク
５ 音声認識サーバ
６ 検索サーバ
７ 地図サーバ
１０ 通信システム
DESCRIPTION OF SYMBOLS 1
Claims (6)
地図を表示する表示手段と、
ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する検索手段と、
前記複数の施設に関する情報を前記サーバ装置から取得する情報取得手段と、
前記複数の施設のうちの１つの施設について、前記情報を音声で出力する音声出力手段と、
前記１つの施設が、前記表示手段で表示される前記地図に含まれるように前記地図の表示範囲を移動させる移動手段と、
を備えることを特徴とする通信装置。 A communication device that communicates with a server device,
Display means for displaying a map;
Search means for searching for a plurality of facilities existing in the vicinity of a predetermined point based on the voice uttered by the user;
Information acquisition means for acquiring information on the plurality of facilities from the server device;
Voice output means for outputting the information by voice for one of the plurality of facilities;
Moving means for moving the display range of the map so that the one facility is included in the map displayed by the display means;
A communication apparatus comprising:
前記音声出力手段が出力する前記情報は、前記１つの施設の詳細情報を含むことを特徴とする通信装置。 The communication device according to claim 1,
The communication apparatus, wherein the information output by the voice output unit includes detailed information of the one facility.
前記音声出力手段は、前記ユーザの発する音声に基づき、前記複数の施設のうち、前記１つの施設とは異なる施設の前記情報を音声で出力することを特徴とする通信装置。 The communication device according to claim 1 or 2,
The said audio | voice output means outputs the said information of the facilities different from said one facility among the said some facilities with an audio | voice based on the audio | voice which the said user utters, The communication apparatus characterized by the above-mentioned.
前記移動手段は、前記異なる施設が前記地図に含まれるように前記地図の表示範囲を移動させることを特徴とする通信装置。 The communication device according to claim 3.
The communication device is characterized in that the display range of the map is moved so that the different facilities are included in the map.
（ａ）地図を表示する工程と、
（ｂ）ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する工程と、
（ｃ）前記複数の施設に関する情報を前記サーバ装置から取得する工程と、
（ｄ）前記複数の施設のうちの１つの施設について、前記情報を音声で出力する工程と、
（ｅ）前記１つの施設が、前記工程（ａ）で表示される前記地図に含まれるように前記地図の表示範囲を移動させる工程と、
を備えることを特徴とする通信方法。 A communication method for communicating with a server device,
(A) displaying a map;
(B) a step of searching for a plurality of facilities existing in the vicinity of a predetermined point based on the voice uttered by the user;
(C) obtaining information about the plurality of facilities from the server device;
(D) outputting the information by voice for one of the plurality of facilities;
(E) moving the display range of the map so that the one facility is included in the map displayed in the step (a);
A communication method comprising:
前記コンピュータに、
（ａ）地図を表示する工程と、
（ｂ）ユーザの発する音声に基づき、所定地点付近に存在する複数の施設を検索する工程と、
（ｃ）前記複数の施設に関する情報を前記サーバ装置から取得する工程と、
（ｄ）前記複数の施設のうちの１つの施設について、前記情報を音声で出力する工程と、
（ｅ）前記１つの施設が、前記工程（ａ）で表示される前記地図に含まれるように前記地図の表示範囲を移動させる工程と、
を実行させることを特徴とするプログラム。 A program executable by a computer included in a communication device that communicates with a server device,
In the computer,
(A) displaying a map;
(B) a step of searching for a plurality of facilities existing in the vicinity of a predetermined point based on the voice uttered by the user;
(C) obtaining information about the plurality of facilities from the server device;
(D) outputting the information by voice for one of the plurality of facilities;
(E) moving the display range of the map so that the one facility is included in the map displayed in the step (a);
A program characterized by having executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017240973A JP2018081102A (en) | 2017-12-15 | 2017-12-15 | Communication device, communication method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017240973A JP2018081102A (en) | 2017-12-15 | 2017-12-15 | Communication device, communication method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013133337A Division JP2015007595A (en) | 2013-06-26 | 2013-06-26 | Device for vehicle, communication system, communication method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018081102A true JP2018081102A (en) | 2018-05-24 |
Family
ID=62197646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017240973A Pending JP2018081102A (en) | 2017-12-15 | 2017-12-15 | Communication device, communication method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018081102A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020140487A (en) * | 2019-02-28 | 2020-09-03 | トヨタ自動車株式会社 | Processing device, processing method, and program |
| JPWO2021192520A1 (en) * | 2020-03-27 | 2021-09-30 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000350151A (en) * | 1999-06-02 | 2000-12-15 | Canon Inc | Information processing unit, digital camera and method for controlling them |
| JP2001091273A (en) * | 1999-09-20 | 2001-04-06 | Katsuyoshi Nagashima | Automatic advertisement and publicity system of car navigation terminal |
| JP2001264088A (en) * | 2000-03-17 | 2001-09-26 | Hitachi Ltd | Navigation system |
| JP2002350151A (en) * | 2001-05-24 | 2002-12-04 | Mitsubishi Electric Corp | Navigation device |
| JP2006145331A (en) * | 2004-11-18 | 2006-06-08 | Kenwood Corp | Navigation system, navigation method, and program for navigation |
| JP2007163226A (en) * | 2005-12-12 | 2007-06-28 | Denso Corp | Navigation apparatus |
-
2017
- 2017-12-15 JP JP2017240973A patent/JP2018081102A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000350151A (en) * | 1999-06-02 | 2000-12-15 | Canon Inc | Information processing unit, digital camera and method for controlling them |
| JP2001091273A (en) * | 1999-09-20 | 2001-04-06 | Katsuyoshi Nagashima | Automatic advertisement and publicity system of car navigation terminal |
| JP2001264088A (en) * | 2000-03-17 | 2001-09-26 | Hitachi Ltd | Navigation system |
| JP2002350151A (en) * | 2001-05-24 | 2002-12-04 | Mitsubishi Electric Corp | Navigation device |
| JP2006145331A (en) * | 2004-11-18 | 2006-06-08 | Kenwood Corp | Navigation system, navigation method, and program for navigation |
| JP2007163226A (en) * | 2005-12-12 | 2007-06-28 | Denso Corp | Navigation apparatus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020140487A (en) * | 2019-02-28 | 2020-09-03 | トヨタ自動車株式会社 | Processing device, processing method, and program |
| JPWO2021192520A1 (en) * | 2020-03-27 | 2021-09-30 | ||
| WO2021192520A1 (en) * | 2020-03-27 | 2021-09-30 | パイオニア株式会社 | Information providing device, information providing method and information providing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11035688B2 (en) | Map application with improved search tools | |
| US9500492B2 (en) | Map application with improved navigation tools | |
| EP2728313B1 (en) | Method of displaying objects on a navigation map | |
| EP2518447A1 (en) | System and method for fixing user input mistakes in an in-vehicle electronic device | |
| JPWO2016002406A1 (en) | In-vehicle interactive system and in-vehicle information equipment | |
| KR20130101505A (en) | Disambiguating input based on context | |
| US11415429B2 (en) | Control apparatus and control system | |
| US20220299335A1 (en) | Content-aware navigation instructions | |
| JP2015007595A (en) | Device for vehicle, communication system, communication method, and program | |
| KR20150050836A (en) | The POI highlight system and method of navigation through the analysis of user behavior patterns | |
| JP2018081102A (en) | Communication device, communication method, and program | |
| JP2018141742A (en) | Navigation device, navigation method, and navigation program | |
| JP2018059940A (en) | Information providing device, control method, program, and storage medium | |
| US20150192425A1 (en) | Facility search apparatus and facility search method | |
| JP6115202B2 (en) | Speech recognition system, method and program | |
| JP2010231346A (en) | Retrieval support device, retrieval support method, and retrieval support program | |
| EP3321820A1 (en) | Information processing device and information presentation system | |
| JP2008157885A (en) | Information guide device, navigation device, information guide method, navigation method, information guide program, navigation program, and recording medium | |
| JP2006145331A (en) | Navigation system, navigation method, and program for navigation | |
| WO2011030404A1 (en) | Operating system and operating method | |
| WO2023234929A1 (en) | Requesting and receiving reminder instructions in a navigation session | |
| WO2023214959A1 (en) | Determining places and routes through natural conversation | |
| WO2024019710A1 (en) | Ad-hoc navigation instructions | |
| KR20160111645A (en) | Automatic destination setting method and navigation apparatus performing the same | |
| JP2023140027A (en) | Information processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190109 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190625 |