JP2016081513A - 情報取得方法、情報取得システム及び情報取得プログラム - Google Patents

情報取得方法、情報取得システム及び情報取得プログラム Download PDF

Info

Publication number
JP2016081513A
JP2016081513A JP2015140762A JP2015140762A JP2016081513A JP 2016081513 A JP2016081513 A JP 2016081513A JP 2015140762 A JP2015140762 A JP 2015140762A JP 2015140762 A JP2015140762 A JP 2015140762A JP 2016081513 A JP2016081513 A JP 2016081513A
Authority
JP
Japan
Prior art keywords
information
user
information acquisition
voice
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015140762A
Other languages
English (en)
Other versions
JP6480279B2 (ja
Inventor
琢士 平本
Takushi Hiramoto
琢士 平本
三浦 康史
Yasushi Miura
康史 三浦
智 高岸
Satoru Takagishi
智 高岸
夏樹 佐伯
Natsuki Saeki
夏樹 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201510586756.3A priority Critical patent/CN105528385B/zh
Priority to US14/878,170 priority patent/US9791925B2/en
Publication of JP2016081513A publication Critical patent/JP2016081513A/ja
Application granted granted Critical
Publication of JP6480279B2 publication Critical patent/JP6480279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】情報取得システムにおける情報取得方法を更に改善する。【解決手段】本開示の一態様は、ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、車を運転中のユーザにより行われる特定動作を検知する検知ステップと、特定動作が検知ステップにより検知されると、車の位置を表す車位置情報を取得して記憶部に保存する第1保存ステップと、特定動作が音声を発生する動作以外の動作である場合であって、かつ、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行わない場合には、所定時間が経過したときに車位置情報を記憶部から消去する消去ステップと、を備えるものである。【選択図】図1

Description

本開示は、情報取得方法、情報取得システム及び情報取得プログラムに関する。
従来、ユーザの音声を認識する音声認識技術として、特許文献1に記載の技術が知られている。特許文献1に記載の音声入力装置は、ユーザの音声を音声信号に変換する音声入力部と、音声入力部の角度を検出する角度検出部と、音声入力部とユーザとの距離を検出する距離検出部と、検出された角度及び距離に基づいて、音声入力部のオンオフを制御する音声入力切替部とを備える。この構成により、音声入力のオンオフ制御が精度良く実現され、その結果、音声認識の精度向上が可能にされている。
国際公開第2010/106711号
しかしながら、上記特許文献1では、更なる改善が必要とされていた。
上記課題を解決するために、本開示の一態様は、
ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、
車を運転中の前記ユーザにより行われる特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する第1保存ステップと、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去ステップと、を備えるものである。
上記一態様によれば、情報取得方法の更なる改善を実現することができる。
本実施形態の情報取得システムの構成を示すブロック図である。 本実施形態の情報取得システムが利用される状況を概略的に示す図である。 携帯機器の構成を概略的に示すブロック図である。 スマートフォンの構成を概略的に示すブロック図である。 車制御システムの構成を概略的に示すブロック図である。 スマートフォンのコントローラからクラウドセンターに送信される音声処理要求信号のデータ構造の一例を概略的に示す図である。 クラウドセンターの構成を概略的に示すブロック図である。 音声制御DBに保存されている、制御内容に対応して規定された音声のリストを含む特定音声対応表の一例を概略的に示す図である。 制御コマンドに対応する応答内容を規定する応答表を概略的に示す図である。 車の進行方向を向いているユーザの視野範囲を概略的に示す図である。 ユーザが車の進行方向を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。 ユーザが車の進行方向より右側を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。 クリップ情報DBに保存されているクリップ情報のデータ構造の一例を概略的に示す図である。 スマートフォンのタッチパネルディスプレイに表示されるクリップ情報リスト画面の一例を概略的に示す図である。 スマートフォンのタッチパネルディスプレイに表示される検索結果画面の一例を概略的に示す図である。 図1に示される情報取得システムの動作の一例を概略的に示すシーケンス図である。 図16の動作が行われる状況を概略的に示す図である。 図1に示される情報取得システムの動作の図16と異なる例を概略的に示すシーケンス図である。 図16、図18の動作におけるスマートフォンのコントローラの動作手順を概略的に示すフローチャートである。
(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様の着眼点について説明する。
車の走行中に、道路脇に建っている施設に気付いても、運転中であるため、機器を操作して、その施設の情報を取得することは困難である。また、その施設を運転後に検索しようとしても、場所や景色がうろ覚えである場合には、その施設を正確に検索することは困難である。
そこで、特許文献1に記載の音声認識技術を利用して、例えば「チェック」とのユーザの音声指示に基づき車の位置を表す位置情報を記憶し、その位置に該当する施設を検索してユーザに提示することが考えられる。
この場合、ユーザが道路脇の施設に気付いて「チェック」との音声を発生した時点から音声認識処理を開始し、発生された音声が「チェック」との位置情報を記憶すべきコマンドであるという音声認識処理の結果が得られると、位置情報を記憶することになる。しかしながら、音声認識処理の開始から終了までにある程度の時間を要するため、車の走行速度が速い場合には、記憶した位置情報がユーザの意図した位置を表していない可能性がある。
例えば、車が80km/hで走行中に、ユーザが「チェック」との音声指示を発生した時点から音声認識処理の結果が得られるまでに1.5秒要する場合には、約33mずれることになる。
また、ユーザが、道路脇に建っている施設に気付いたときに、ユーザは、音声を発生する前に他の動作を行うことも考えられる。その場合には、音声を発生した位置よりも、他の動作を行った位置の方が、施設の位置に近いことがあり得る。
以上の課題を解決するために、本発明者は、以下の各態様にかかる発明を想到するに至った。
本開示の一態様は、
ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、
車を運転中の前記ユーザにより行われる特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する第1保存ステップと、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去ステップと、を備えるものである。
本態様では、ユーザにより行われる特定動作が検知されると、車位置情報が取得されて記憶部に保存される。すなわち、音声認識処理が行われることなく、ユーザが特定動作を行うだけで、車位置情報が記憶部に保存される。したがって、本態様によれば、車が高速で走行中であっても、ユーザが所望する車位置情報を記憶部に保存することができる。
また、本態様では、ユーザが行った特定動作が音声を発生する動作以外の動作である場合であって、かつ、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行わない場合には、所定時間が経過したときに車位置情報が記憶部から消去される。ユーザが音声を発生して車位置情報に関して何らかの指示を行わない場合には、記憶部に保存された車位置情報は不要であると考えられる。したがって、本態様によれば、不要な車位置情報により記憶部の容量が占有されるのを防止することができる。
なお、本態様では、特定動作が音声を発生する動作である場合には、車位置情報が記憶部に保存された状態が維持されることとなる。また、特定動作が音声を発生する動作以外の動作であっても、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行った場合には、車位置情報が記憶部に保存された状態が維持されることとなる。
上記一態様において、例えば、
前記検知ステップは、前記ユーザの視線方向に関する視線情報を検知し、前記ユーザにより行われる視線を所定角度以上動かす動作を、前記特定動作として検知してもよい。
本態様では、ユーザが視線を所定角度以上動かす動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、視線を所定角度以上動かす動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
上記一態様において、例えば、
前記保存ステップは、前記車位置情報と前記視線情報とを互いに対応づけて前記記憶部に保存してもよく、
前記消去ステップは、前記車位置情報を前記記憶部から消去する場合には、前記視線情報も消去してもよい。
本態様では、車位置情報が視線情報に対応づけて記憶部に保存される。このため、本態様によれば、例えば車位置情報を用いて地図の検索を行う際に、視線情報を利用することが可能になる。また、車位置情報が記憶部から消去される場合には、視線情報も消去される。このため、不要な視線情報により記憶部の容量が占有されるのを防止することができる。
上記一態様において、例えば、
前記検知ステップは、前記ユーザが腕を所定値以上の速度又は加速度で動かす動作を、前記特定動作として検知してもよい。
本態様では、ユーザが腕を所定値以上の速度又は加速度で動かす動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、腕を所定値以上の速度又は加速度で動かす動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
上記一態様において、例えば、
前記検知ステップは、前記ユーザが前記車のブレーキペダルを所定値以上踏み込む動作を、前記特定動作として検知してもよい。
本態様では、ユーザが車のブレーキペダルを所定値以上踏み込む動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、車のブレーキペダルを所定値以上踏み込む動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
上記一態様において、例えば、
前記検知ステップは、前記ユーザが音声を発生する動作を、前記特定動作として検知してもよい。
本態様では、ユーザが音声を発生する動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、音声を発生する動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
上記一態様において、例えば、
前記情報取得システムは、サーバ装置をさらに含んでもよく、
前記サーバ装置は、地図情報を用いて施設に関する情報を検索する検索機能と前記ユーザが発生する音声の内容を認識する音声認識機能とを有してもよく、
前記情報装置は、前記サーバ装置との間で通信可能に構成されてもよく、
前記情報取得方法は、さらに、
前記特定動作が音声を発生する動作である場合、又は、前記特定動作が音声を発生する動作以外の動作であっても、前記特定動作が検知された時点から前記所定時間が経過するまでに前記ユーザが音声を発生する動作を行った場合に、前記ユーザにより発生された音声の内容を認識する音声認識ステップと、
前記ユーザにより発生された音声が特定の検索に関連する音声を含むと前記音声認識ステップにより判断されると、前記地図情報を用いて前記記憶部に保存されている前記車位置情報に対応する位置の周辺に設けられた施設に関する情報を検索する検索ステップと、を備えてもよい。
本態様では、特定動作が音声を発生する動作である場合、又は、特定動作が音声を発生する動作以外の動作であっても、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行った場合に、ユーザにより発生された音声の内容が認識される。その音声認識の結果、ユーザにより発生された音声が特定の検索に関連する音声を含むと判断されると、地図情報を用いて、記憶部に保存されている車位置情報に対応する位置の周辺に設けられた施設に関する情報が検索される。したがって、本態様によれば、ユーザが所望する車位置情報に対応する位置の周辺に設けられた施設に関する情報を検索することができる。
上記一態様において、例えば、
前記ユーザにより発生された音声が特定の保存に関連する音声を含むと前記音声認識ステップにより判断されると、前記車位置情報及び前記検索ステップにより検索された前記施設に関する情報を含むクリップ情報を生成して前記サーバ装置に保存する第2保存ステップ、をさらに備えてもよい。
本態様では、ユーザにより発生された音声が特定の保存に関連する音声を含むと判断されると、検索された施設に関する情報と車位置情報とが互いに対応付けられてサーバ装置に保存される。したがって、本態様によれば、ユーザが所望する車位置情報に対応する位置の施設に関する情報を保存することができる。
上記一態様において、例えば、
前記消去ステップは、前記ユーザにより発生された音声が前記特定の検索に関連する音声も前記特定の保存に関連する音声も含まないと前記音声認識ステップにより判断されると、前記記憶部に保存されている前記車位置情報を前記記憶部から消去してもよい。
本態様では、ユーザにより発生された音声が特定の検索に関連する音声も特定の保存に関連する音声も含まないと判断されると、車位置情報が記憶部から消去される。ユーザが発生した音声が特定の検索に関連する音声も特定の保存に関連する音声も含まない場合には、記憶部に保存されている車位置情報は不要であったと考えられる。したがって、本態様によれば、不要な車位置情報により記憶部の容量が占有されるのを防止することができる。
本開示の他の態様は、
情報を記憶するための記憶部と、
車を運転中のユーザにより行われる特定動作を検知する検知部と、
前記特定動作が前記検知部により検知されると、前記車の位置を表す車位置情報を取得して前記記憶部に保存する保存制御部と、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去制御部と、を備えるものである。
本開示のさらに他の態様は、
ユーザが所有する情報装置を含む情報取得システムに用いられる情報取得プログラムであって、
前記情報取得システムのコンピュータに、
車を運転中の前記ユーザにより行われる特定動作を検知する検知処理と、
前記特定動作が前記検知処理により検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する保存処理と、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去処理と、を実行させるものである。
(実施の形態)
以下、本開示の一実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素については同じ符号が用いられている。
(情報取得システムの構成)
図1は、本実施形態の情報取得システム1の構成を示すブロック図である。図2は、本実施形態の情報取得システム1が利用される状況を概略的に示す図である。
図1に示されるように、本実施形態の情報取得システム1は、携帯機器100と、スマートフォン200と、車制御システム300と、クラウドセンター400とを備える。
なお、図1では、情報取得システム1は、携帯機器100と、スマートフォン200とを備えているが、本開示は、この構成に限られない。代替的に、情報取得システム1は、携帯機器100とスマートフォン200とが統合された機器、例えば車載ナビゲーションシステムを備えても良い。さらに代替的に、情報取得システム1は、携帯機器100とスマートフォン200とに代えて、スマートフォン200が備える機能のみを備える車載ナビゲーションシステムを備えてもよい。
図2において、携帯機器100及びスマートフォン200のユーザ11は、車12を運転している。走行中の車12から、気になる施設13がユーザ11の視野に入ったときに、ユーザ11が特定動作を行う。すると、情報取得システム1は、ユーザ11が特定動作を行った時点の位置情報を一時的に保存する。
その後、所定時間内にユーザ11が特定の検索に関連する音声を発生すると、情報取得システム1は、位置情報に基づき施設13を検索する。ユーザ11の所望により、情報取得システム1は、検索結果を保存しておき、運転終了後等に閲覧することを可能にする。
なお、特定動作については、後に詳述される。また、車12の運転中は、移動速度に応じてユーザ11の視野が狭くなる。このため、情報取得システム1は、位置情報と移動速度から検索対象の範囲を制御する。
図3は、携帯機器100の構成を概略的に示すブロック図である。携帯機器100は、本実施形態では、図2に示されるように、腕時計型のウェアラブル端末である。
携帯機器100は、コントローラ101、マイクロフォン102、スピーカ103、タッチパネルディスプレイ104、電池105、近距離無線モジュール106、加速度センサ107、電源ボタン108を備える。
電源ボタン108が押されると、電池105から各部に電力が供給される。マイクロフォン102は、ユーザ11の音声を収集してアナログ音声信号を生成する。マイクロフォン102は、生成したアナログ音声信号を例えばパルス符号変調(PCM)によりデジタルデータに変換し、PCM音声信号を生成する。マイクロフォン102は、生成したPCM音声信号をコントローラ101に出力する。
コントローラ101は、各部の動作を制御する。コントローラ101は、例えば、入力されたユーザ11の音声に対する応答をスピーカ103から出力する。タッチパネルディスプレイ104は、この実施形態では、例えば液晶パネルを含む。
近距離無線モジュール106は、スマートフォン200と近距離無線通信を行う。近距離無線モジュール106は、例えば無線LANの規格に準拠するものであってもよい。近距離無線モジュール106は、無線LANの各種の方式、例えば2.4GHz帯の電波を使用する方式に準拠するものであってもよい。近距離無線モジュール106は、スマートフォン200との間で近距離無線通信を行えるものであればよい。
加速度センサ107は、携帯機器100を手首に着けているユーザ11が腕を動かしたときの加速度を検出する。加速度センサ107は、検出した加速度をコントローラ101に出力する。コントローラ101(検知部の一例)は、運転中に、所定値以上の加速度が加速度センサ107(検知部の一例)により検出されると、ユーザ11により特定動作が行われたと判断する。上記所定値は、ユーザ11が車12の周囲の施設を指さすジェスチャーを行ったことが推定される加速度に予め定められている。コントローラ101は、近距離無線モジュール106を介して、ユーザ11が特定動作を行ったことをスマートフォン200に送信する。
図4は、スマートフォン200の構成を概略的に示すブロック図である。スマートフォン200(情報装置の一例)は、コントローラ201、マイクロフォン202、スピーカ203、タッチパネルディスプレイ204、電池205、近距離無線モジュール206、加速度センサ207、広域無線モジュール208、不揮発性メモリ209、揮発性メモリ210、GPS(グローバル・ポジショニング・システム)211、振動モータ212、方位センサ213を備える。
マイクロフォン202、スピーカ203、タッチパネルディスプレイ204、電池205、近距離無線モジュール206は、携帯機器100(図3)のマイクロフォン102、スピーカ103、タッチパネルディスプレイ104、電池105、近距離無線モジュール106と同様に構成されている。
広域無線モジュール208は、例えばインターネット又は携帯電話網を介して、クラウドセンター400と通信を行う。不揮発性メモリ209は、例えばフラッシュメモリを含む。揮発性メモリ210は、例えばダイナミックランダムアクセスメモリを含む。GPS211は、衛星からの電波を受信して位置情報を取得する。振動モータ212は、モータの回転によりスマートフォン200の本体を振動させる。方位センサ213は、例えばスマートフォン200の上端が向いている方位を検出する。
コントローラ201は、携帯機器100のコントローラ101から送信される、ユーザ11が特定動作を行ったことを表す検知情報を受信すると、GPS211を利用して、受信時点の位置情報を取得する。
コントローラ201は、マイクロフォン202から入力されるPCM音声信号から音楽又は雑音などの環境音を除去した後、高速フーリエ変換(FFT)を行う。コントローラ201は、FFTが行われた結果において、所定の周波数範囲の音圧が予め定められた閾値を超えると、人間が発した音声であると判断する。
図5は、車制御システム300の構成を概略的に示すブロック図である。車制御システム300は、コントローラ301、スピーカ303、ディスプレイ304、近距離無線モジュール306、加速度センサ307、GPS311、方位センサ313、速度センサ314、視線センサ315、動きセンサ316、ブレーキセンサ317を備える。
スピーカ303、近距離無線モジュール306、加速度センサ307は、それぞれ、携帯機器100(図3)のスピーカ103、近距離無線モジュール106、加速度センサ107と同様に構成されている。GPS311は、スマートフォン200のGPS211と同様に構成されている。方位センサ313は、例えば北向きを基準として、車12の進行方向を検出する。ディスプレイ304は、例えば液晶パネルを含む。速度センサ314は、車12の走行速度を検出する。
視線センサ315(検知部の一例)は、運転席を撮像し、画像処理を行って、ユーザ11の視線(顔)が向いている方位及び高さ方向の角度(仰角)を検出する。視線センサ315は、検出したユーザ11の視線(顔)が向いている方位及び高さ方向の角度をコントローラ301に出力する。
コントローラ301は、ユーザ11の視線(顔)が向いている方位又は高さ方向の角度が所定角度以上変化したか否かを判断する。上記所定角度は、ユーザ11が車12の周囲の物体に関心を示したことが想定される角度に予め定められている。コントローラ301(検知部の一例)は、ユーザ11の視線(顔)が向いている方位又は高さ方向の角度が所定角度以上変化したと判断すると、ユーザ11が特定動作を行ったと判断する。
動きセンサ316(検知部の一例)は、運転手であるユーザ11の位置及び動きなどのジェスチャーを認識するセンサであり、ユーザ11の腕の動きを検出する。動きセンサ316は、検出したユーザ11の腕の動きをコントローラ301に出力する。コントローラ301(検知部の一例)は、ユーザ11の腕が所定値以上の速度又は加速度で動いたと判断すると、ユーザ11が特定動作を行ったと判断する。上記所定値は、ユーザ11が車12の周囲の施設を指さすジェスチャーを行ったことが推定される速度又は加速度に予め定められている。
ブレーキセンサ317(検知部の一例)は、ユーザ11によるブレーキペダル14の踏み込み量を検出する。ブレーキセンサ317は、検出したブレーキペダル14の踏み込み量をコントローラ301に出力する。コントローラ301(検知部の一例)は、ブレーキペダル14の踏み込み量が所定値以上であると判断すると、ユーザ11が特定動作を行ったと判断する。上記所定値は、ユーザ11が車12の周囲の物体に関心を示したことが想定される踏み込み量に予め定められている。
コントローラ301は、ユーザ11が特定動作を行ったと判断すると、ユーザ11が特定動作を行ったことを表す検知情報をスマートフォン200のコントローラ201に送信する。
図4において、スマートフォン200のコントローラ201は、ユーザ11が特定動作を行ったことを携帯機器100又は車制御システム300から受信すると、受信時点から所定時間が経過するまでに、ユーザ11が音声を発生したか否かを判断する。上記所定時間は、特定動作に関連する音声を発生することが想定される時間に予め定められている。上記所定時間は、本実施形態では、例えば5秒である。
ユーザ11が音声を発生したと判断すると、コントローラ201は、広域無線モジュール208を介して、当該音声信号と受信時点の位置情報とを含む音声処理要求信号(後述)を、クラウドセンター400に送信する。
コントローラ201(検知部の一例)は、さらに、ユーザ11が特定動作を行ったことを携帯機器100又は車制御システム300から受信しない場合において、ユーザ11が音声を発生したと判断すると、GPS211を利用して、ユーザ11が音声を発生したと判断した時点の位置情報を取得する。コントローラ201は、当該音声信号と判断時点の位置情報とを含む音声処理要求信号(後述)を、クラウドセンター400に送信する。
なお、ここでは、コントローラ201は、GPS211を利用して位置情報を取得しているが、本開示は、これに限られない。コントローラ201は、車制御システム300のGPS311の位置情報を取得してもよい。
図6は、スマートフォン200のコントローラ201からクラウドセンター400に送信される音声処理要求信号600のデータ構造の一例を概略的に示す図である。
図6に示されるように、音声処理要求信号600は、トランザクションID601、携帯機器ID602、車制御システムID603、関連情報604、センサデータ605、及び発話データ606を含む。
トランザクションID601は、この音声処理要求信号を識別する識別子である。携帯機器ID602は、携帯機器100を識別する識別子である。車制御システムID603は、車制御システム300を識別する識別子である。関連情報604は、例えばドライブレコーダ(図示省略)に記録された映像のデータ名である。
センサデータ605は、日時611、位置情報612、及び視線情報613を含む。位置情報612は、GPS情報621、方位622、及び速度623を含む。視線情報613は、車制御システム300の視線センサ315により検出された視線の方位624及び高さ625を含む。
日時611は、スマートフォン200のコントローラ201が、GPS211又はGPS311からGPS情報621を取得した日及び時刻を示す。
GPS情報621は、GPS211又はGPS311により取得された緯度、経度、標高を含む。方位622は、日時611において方位センサ313により検出された車12の進行方向を示す。方位622は、本実施形態では北向きを基準の0度として時計回りの角度で表されている。速度623は、車制御システム300の速度センサ314により日時611において検出された車12の走行速度を示す。
視線の方位624は、視線を地表面に投影したときの方位であり、本実施形態では北向きを基準の0度として時計回りの角度で表されている。高さ625は、水平面に対する高さ方向の角度(仰角)で表されている。
発話データ606は、言語631及び音声データ632を含む。言語631は、本実施形態では「日本」とのデータを含む。音声データ632は、例えば上述のPCM音声信号を含む。
図7は、クラウドセンター400の構成を概略的に示すブロック図である。クラウドセンター400は、クラウドサーバ401(サーバ装置の一例)、通信部402、音声制御データベース(DB)403、クリップ情報DB404、レストランDB405、ホテルDB406、娯楽施設DB407、地図DB408等を備える。
通信部402は、例えばインターネット又は携帯電話網を介して、スマートフォン200と通信を行う。レストランDB405、ホテルDB406、娯楽施設DB407には、それぞれ、レストラン、ホテル、娯楽施設に関する位置及び電話番号等を含む情報が保存されている。地図DB408には、地図に関する情報が保存されている。
音声制御DB403には、音声認識のための音響モデル及び言語モデル等が保存されている。音声制御DB403には、クラウドサーバ401の制御内容に対応して規定された音声のリストを含む特定音声対応表が保存されている。音声制御DB403には、制御コマンドに対応するクラウドサーバ401による応答内容が保存されている。音声制御DB403には、発生された音声の内容に対する応答内容を規定するシナリオが保存されている。
図8は、音声制御DB403に保存されている、制御内容に対応して規定された音声のリストを含む特定音声対応表800の一例を概略的に示す図である。
図8に示されるように、ユーザ11が、例えば「クリップ」、「メモ」、「保存」等の音声(特定の保存に関連する音声の一例)を発生すると、クラウドサーバ401は、クリップ情報(後述)を生成してクリップ情報DB404に保存する。ユーザ11が、例えば「何」、「教えて」、「調べて」、「調査」等の音声(特定の検索に関連する音声の一例)を発生すると、クラウドサーバ401は、レストランDB405、ホテルDB406、娯楽施設DB407、地図DB408を用いて、施設の分野及び名称等を検索する。
図9は、制御コマンドに対応する応答内容を規定する応答表900を概略的に示す図である。図9に示されるように、応答表900は、トランザクションID901、制御902を含む。制御902は、制御コマンド911、制御データ912を含む。トランザクションID901は、上述のように、音声処理要求信号を識別する識別子である。
図9の例では、トランザクションIDが「002」の音声処理要求信号600(図6)に対して、クラウドサーバ401は、制御コマンド911が「読上げ」、制御データ912が「りょうかいしました」との応答をスマートフォン200に送信する。
次に、図10〜図12を参照して、クラウドサーバ401が地図DB408を用いて施設を検索する際の検索範囲が説明される。
図10は、車の進行方向を向いているユーザ11の視野範囲を概略的に示す図である。角度X1は、視線の中央から視野の左端までの角度を表す。角度X2は、視線の中央から視野の右端までの角度を表す。角度Y1は、安全確認のため、通常の運転中に運転手であるユーザ11が見る範囲の左端の視線方向までの角度を表す。角度Y2は、安全確認のため、通常の運転中に運転手であるユーザ11が見る範囲の右端の視線方向までの角度を表す。
図11は、ユーザ11が車の進行方向を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。図11に示されるように、低速運転時の視野角度X11は、高速運転時の視野角度X12より大きい。そこで、高速運転時の検索範囲Z2を低速運転時の検索範囲Z2より狭くしている。すなわち、車の走行速度が高くなると検索範囲を絞り込んでいる。
図12は、ユーザ11が車の進行方向より右側を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。車制御システム300の視線センサ315により検出された、ユーザ11の視線の方位及び高さを含む視線情報は、音声処理要求信号600(図6)に含まれている。また、車制御システム300の速度センサ314により検出された車12の走行速度は、音声処理要求信号600(図6)に含まれている。これらの視線情報及び車12の走行速度を用いて、図12に示されるように、クラウドサーバ401は、低速運転時の検索範囲Z11及び高速運転時の検索範囲Z12を決定する。
図7に戻って、クラウドサーバ401は、施設を検索した結果を含むクリップ情報を生成する。クラウドサーバ401は、生成したクリップ情報をクリップ情報DB404に保存する。
図13は、クリップ情報DB404に保存されているクリップ情報1300のデータ構造の一例を概略的に示す図である。
図13に示されるように、クリップ情報1300は、クリップID1301、携帯機器ID1302、車制御システムID1303、ユーザ発話1304、及び施設情報1305を含む。
クリップID1301は、このクリップ情報を識別する識別子である。携帯機器ID1302、車制御システムID1303、施設情報1305のGPS情報1311、方位1312、速度1313、視線情報1314、日時1315は、それぞれ、音声処理要求信号600の携帯機器ID602、車制御システムID603、GPS情報621、方位622、速度623、視線情報613、日時611と同じである。
ユーザ発話1304の「言語」は、音声処理要求信号600に含まれる言語631と同じである。ユーザ発話1304の「文字列」は、音声処理要求信号600に含まれる音声データ632に対して、クラウドサーバ401が音声制御DB403を用いて音声認識処理を行った結果、抽出されたテキストデータである。図13では、ユーザ11が「左側にあるレストランをメモ」との音声を発生した例が示されている。
施設情報1305の施設分野1316は、検索された施設13(図2)の分野を示し、施設名称1317は、検索された施設13(図2)の名称を示す。図13の例では、2つの飲食店が検索されている。
施設情報1305の関連情報1318の「タイプ」は、情報のタイプを表し、「データ名」は、情報のデータ名を表す。図13の例では、図6の関連情報604と同じデータ名の情報が含まれている。
図14は、スマートフォン200のタッチパネルディスプレイ204に表示されるクリップ情報リスト画面1400の一例を概略的に示す図である。
クリップ情報リスト画面1400は、表題表示領域1401と、リスト表示領域1402とを含む。表題表示領域1401には、図14では、「クリップ情報のリストを表示しています。」と表示されており、この表示画面がクリップ情報リスト画面であることが明示されている。リスト表示領域1402には、クリップ情報番号が、そのクリップ情報を取得した日時及び住所とともに、表示されている。
クリップ情報リスト画面1400がタッチパネルディスプレイ204に表示された状態で、ユーザが、例えば指でリスト表示領域1402のクリップ情報番号に接触すると、その接触をコントローラ201が検知する。すると、コントローラ201は、接触されたクリップ情報番号に対応するクリップ情報1300の検索結果画面1500(図15)をタッチパネルディスプレイ204に表示する。
図15は、スマートフォン200のタッチパネルディスプレイ204に表示される検索結果画面1500の一例を概略的に示す図である。
検索結果画面1500は、表題表示領域1501と、映像表示領域1502と、施設表示領域1503とを含む。表題表示領域1501には、図15では、「位置情報及び視線情報で検索した結果を表示しています」と表示されており、この表示画面が検索結果画面であることが明示されている。
映像表示領域1502には、位置情報を取得したときの映像が表示されている。図13に示されるように、クリップ情報1300の関連情報1318として、例えばドライブレコーダにより記録された映像が含まれている場合に、その映像が映像表示領域1502に表示される。
施設表示領域1503には、検索により得られた施設の名称が表示される。上述のように、図13の例では、クリップ情報1300に、施設名称1317として、2つの飲食店が含まれている。したがって、図15の施設表示領域1503には、2つの飲食店の名称が表示されている。
検索結果画面1500がタッチパネルディスプレイ204に表示された状態で、ユーザが、例えば指で施設表示領域1503の施設名称に接触すると、その接触をコントローラ201が検知する。すると、コントローラ201は、接触された施設名称の詳細な内容をタッチパネルディスプレイ204に表示してもよい。
代替的に、図15に示されるように、複数の施設を含む検索結果画面1500がタッチパネルディスプレイ204に表示された状態で、ユーザが、例えば指で施設表示領域1503の施設名称に接触すると、その接触をコントローラ201が検知する。すると、コントローラ201は、接触された施設名称をクリップ情報1300から削除する指示をクラウドサーバ401に送信してもよい。あるいは逆に、コントローラ201は、接触された施設名称のみをクリップ情報1300に残す指示をクラウドサーバ401に送信してもよい。
(情報取得システムの動作)
図16は、図1に示される情報取得システム1の動作の一例を概略的に示すシーケンス図である。図17は、図16の動作が行われる状況を概略的に示す図である。図16の動作は、図17に示されるように、ユーザ11が車12を運転して走行しているときに行われる。
車12の運転中に道路脇の施設13を見たユーザ11は、S1601において、特定動作を行う。S1602において、ユーザ11が行う特定動作が車制御システム300において検知される(検知ステップの一例)。すると、その検知情報が車制御システム300のコントローラ301からスマートフォン200のコントローラ201に送信される。
特定動作としてユーザ11が腕を所定値以上の速度で動かす動作を行った場合には、車制御システム300の動きセンサ316により検知される。特定動作としてユーザ11がブレーキペダル14を所定値以上踏み込む動作を行った場合には、車制御システム300のブレーキセンサ317により検知される。
特定動作としてユーザ11が視線を所定角度以上動かす動作を行った場合には、車制御システム300の視線センサ315により検知される。この場合には、車制御システム300のコントローラ301は、視線センサ315により検知されたユーザ11の視線の方位及び高さを含む視線情報を含む検知情報をスマートフォン200に送信する。スマートフォン200のコントローラ201は、車制御システム300から送信された視線情報を不揮発性メモリ209に保存する。
S1603において、スマートフォン200のコントローラ201は、現在時刻を取得して不揮発性メモリ209に保存する。S1604(第1保存ステップの一例)において、スマートフォン200のコントローラ201(保存制御部の一例)は、位置情報を取得して、現在時刻に対応づけて不揮発性メモリ209(記憶部の一例)に保存する。図16の動作では、S1604において、スマートフォン200のコントローラ201は、位置情報を車制御システム300に要求し、車制御システム300のGPS311が検知した位置情報を車制御システム300から取得する。
なお、S1602において視線情報が不揮発性メモリ209に保存された場合には、コントローラ201は、S1603において、視線情報に対応づけて現在時刻を不揮発性メモリ209に保存し、S1604(第1保存ステップの一例)において、視線情報に対応づけて位置情報を不揮発性メモリ209に保存する。
S1605において、ユーザ11は、図17に示されるように、例えば「調べて保存」との音声を発生する。S1606において、携帯機器100は、マイクロフォン102が取得したユーザ11の音声から得られたPCM音声信号を、スマートフォン200に送信する。
S1607において、スマートフォン200のコントローラ201は、音声処理要求信号600(図6)をクラウドセンター400に送信する。
S1608において、クラウドセンター400のクラウドサーバ401は、音声制御DB403を用いて、音声処理要求信号600に含まれる発話データ606から音声認識処理を行う(音声認識ステップの一例)。また、クラウドサーバ401は、特定音声対応表800(図8)を用いて、ユーザ11の意図を分析する。
ここでは、ユーザ11が発生した音声が「調べて保存」であるので、クラウドサーバ401は、特定音声対応表800に基づき、まず、「調べて」に対応して施設検索を行う。すなわち、S1609において、クラウドサーバ401は、音声処理要求信号600に含まれる視線情報613から地図DB408における検索対象の範囲を決定する。クラウドサーバ401は、さらに、レストランDB405、ホテルDB406、娯楽施設DB407を検索して、地図DB408における検索対象範囲に含まれる施設の情報を抽出する(検索ステップの一例)。
次に、S1610において、クラウドサーバ401は、ユーザ11が発生した音声が「調べて保存」であるので、特定音声対応表800に基づき、「保存」に対応して、クリップ情報1300を生成する。クラウドサーバ401は、S1607においてスマートフォン200から送信された音声処理要求信号600に含まれる情報と、S1609において得られた施設の情報とから、クリップ情報1300を生成する。クラウドサーバ401は、生成したクリップ情報1300をクリップ情報DB404に保存する(第2保存ステップの一例)。
S1611において、クラウドサーバ401は、制御コマンド911及び制御データ912を含む応答表900(図9)をスマートフォン200に送信する。S1612において、スマートフォン200のコントローラ201は、受信した制御コマンドの内容を判定する。
制御コマンド911には、図9の例では、「読上げ」が含まれているので、S1613において、スマートフォン200のコントローラ201は、制御データ912を携帯機器100に送信する。S1614において、携帯機器100のスピーカ103は、制御データ912に基づき、図17に示されるように「了解しました」との音声を出力する。
その後、図17に示されるように、ユーザ11が「さっきの左の建物は?」と質問すると、クラウドサーバ401で音声認識処理を行った後、携帯機器100のスピーカ103から「イタリアンレストラン伊太利です」と応答してもよい。
(図16の動作の変形例)
(1)S1601の特定動作が腕を所定値以上の加速度で動かす動作である場合には、S1602では、その動作を携帯機器100の加速度センサ107が検知すると、携帯機器100のコントローラ101が、検知情報をスマートフォン200のコントローラ201に送信してもよい。
(2)S1604では、スマートフォン200のコントローラ201は、位置情報を車制御システム300から取得しているが、GPS211が検知した位置情報を取得してもよい。
(3)S1606では、スマートフォン200のコントローラ201は、ユーザ11の音声信号を携帯機器100から取得しているが、ユーザ11の音声信号をマイクロフォン202から取得してもよい。
(4)S1609では、クラウドサーバ401は、音声処理要求信号600に含まれる視線情報613から検索対象の範囲を決定しているが、本開示はこれに限られない。S1608における音声認識処理の結果、ユーザ11が発生した音声に、例えば「右の建物は何?」のように方角を表す言葉が含まれていた場合には、クラウドサーバ401は、その方角に検索対象の範囲を絞ってもよい。
(5)S1612において、スマートフォン200のコントローラ201は、受信した制御コマンドの内容を判定できない場合、予め定められたエラー処理を行ってもよい。
(6)S1614では、携帯機器100のスピーカ103から応答の音声を出力しているが、スマートフォン200のスピーカ203から音声を出力してもよく、車制御システム300のスピーカ303から音声を出力してもよい。
(7)S1608における音声認識処理の結果、ユーザ11により発生された音声が、特定音声対応表800における「施設検索」に対応する音声でもなく「クリップ情報保存」に対応する音声でもない場合、例えば「電話をかけて」との音声である場合には、クラウドサーバ401は、S1609及びS1610を実行しなくてもよい。その場合、クラウドサーバ401は、S1611において、位置情報を不揮発性メモリ209から消去する指示を含む制御コマンドをスマートフォン200のコントローラ201に送信してもよい。スマートフォン200のコントローラ201は、S1612において、位置情報を不揮発性メモリ209から消去してもよい(消去ステップの一例)。
(図16と異なる動作例)
図18は、図1に示される情報取得システム1の動作の図16と異なる例を概略的に示すシーケンス図である。図18の動作も、図17に示されるように、ユーザ11が車12を運転して走行しているときに行われる。
車12の運転中に道路脇の施設13を見たユーザ11は、S1801において、特定動作として、例えば「調べて保存」との音声を発生する。S1802において、携帯機器100のコントローラ101は、マイクロフォン102が集音した信号をユーザ11が発生した音声であると検知する(検知ステップの一例)。すると、ユーザ11の音声から得られたPCM音声信号を、コントローラ101は、検知情報として、スマートフォン200に送信する。
S1603,S1604,S1607−S1614は、それぞれ、図16のS1603,S1604,S1607−S1614と同じである。
なお、S1802において、スマートフォン200のコントローラ201は、ユーザ11の音声信号を携帯機器100から取得しているが、ユーザ11の音声信号をマイクロフォン202から直接取得してもよい。
(スマートフォンの動作)
図19は、図16、図18の動作におけるスマートフォン200のコントローラ201の動作手順を概略的に示すフローチャートである。
S1901において、コントローラ201は、まず、車制御システム300又は携帯機器100から検知情報を取得したか否かを判断する(検知ステップの一例)。検知情報を取得していなければ(S1901でNO)、コントローラ201は、S1901の判定を繰り返す。
検知情報を取得すると(S1901でYES)、S1902において、コントローラ201は、現在時刻を取得して不揮発性メモリ209に保存する。S1903において、コントローラ201は、位置情報を取得して、現在時刻に対応づけて不揮発性メモリ209に保存する(第1保存ステップの一例)。S1903では、コントローラ201は、位置情報を車制御システム300から取得してもよく、GPS211が検知した位置情報を取得してもよい。
なお、S1901において検知情報を取得した場合に(S1901でYES)、取得した検知情報に視線情報が含まれる場合には、図16を用いて説明されたように、コントローラ201は、取得した視線情報を不揮発性メモリ209に保存する。この場合、S1902では、コントローラ201は、視線情報に対応づけて現在時刻を不揮発性メモリ209に保存する。また、S1903(第1保存ステップの一例)では、コントローラ201は、視線情報に対応づけて位置情報を不揮発性メモリ209に保存する。
S1904において、コントローラ201は、ユーザ11が発生した音声信号を受信したか否かを判断する。音声信号を受信していなければ(S1904でNO)、S1905において、コントローラ201は、S1901で検知情報を取得した時点から所定時間が経過したか否かを判断する。所定時間が経過していなければ(S1905でNO)、処理はS1904に戻る。なお、本実施形態では、視線センサ315等がユーザ11により行われる特定動作を検知した時点と、コントローラ201がS1901で検知情報を取得した時点とは、一致していると見なしている。
S1901で検知情報を取得した時点から所定時間が経過していれば(S1905でYES)、S1906において、コントローラ201(消去制御部の一例)は、S1902,S1903で保存した現在時刻及び位置情報を不揮発性メモリ209から消去する(消去ステップの一例)。すなわち、コントローラ201は、S1901で検知情報を取得した時点から所定時間が経過しても、音声信号を受信しなければ、不揮発性メモリ209に保存されている現在時刻及び位置情報を消去する。
なお、S1901において視線情報が不揮発性メモリ209に保存された場合には、S1906において、コントローラ201は、不揮発性メモリ209から現在時刻及び位置情報を消去する際に、視線情報も消去する。
一方、音声信号を受信すると(S1904でYES)、コントローラ201は、S1907において、音声処理要求信号600(図6)をクラウドセンター400に送信する。
S1908において、コントローラ201は、制御コマンドをクラウドセンター400から受信する。S1909において、コントローラ201は、制御コマンドの内容を判定して、判定結果に従って制御コマンドを実行する。
図19が図16の動作における動作手順を表す場合には、図16のS1606において音声信号が受信されるまで、図19のS1904ではNOと判断される。図16のS1606において音声信号が受信されると、図19のS1904でYESと判断される。その結果、現在時刻及び位置情報が不揮発性メモリ209に保存された状態が維持される。
図19が図18の動作における動作手順を表す場合には、図18のS1802において音声信号が受信されているので、図19のS1904では、NOと判断されることなくYESと判断される。その結果、現在時刻及び位置情報が不揮発性メモリ209に保存された状態が維持される。
なお、本実施形態では、図19の動作をスマートフォン200が実行しているが、本開示はこれに限られない。例えば携帯機器100等の他の機器が図19の動作を実行してもよい。
(効果)
以上説明されたように、本実施形態では、車制御システム300の視線センサ315等によって、ユーザ11により行われる特定動作が検知されると、スマートフォン200のコントローラ201は、位置情報を取得して不揮発性メモリ209に保存する。したがって、音声認識処理の結果が得られるまで待機しないため、ユーザ11が所望する位置情報を好適に取得することができる。
(その他)
(1)図1において、車制御システム300が車メーカのクラウドセンターに接続されており、車制御システム300の視線センサ315等の各センサの検知データは全て車メーカのクラウドセンターに送信される構成も考えられる。この構成の場合には、情報取得システム1のスマートフォン200又はクラウドセンター400は、車制御システム300の各センサの検知データを車メーカのクラウドセンターから取得すればよい。
(2)スマートフォン200の初期設定において、ユーザ11の年齢、身長、視力、眼鏡の有無等の情報を入力してもよい。これらの情報を用いることによって、視線センサ315による視線方向の検出精度を向上することができる。
(3)上記実施形態の車制御システム300は、視線センサ315を備えているが、本開示は、これに限られない。代替的に、車制御システム300は、視線センサ315を備えなくてもよい。車制御システム300が視線センサ315を備えない場合には、音声処理要求信号600(図6)は、視線情報613を含まない。その場合、クラウドサーバ401は、図11に示されるように、車の進行方向を中心として、車速に応じて検索範囲を決定してもよい。すなわち、車制御システム300が視線センサ315を備え、音声処理要求信号600(図6)が視線情報613を含む場合のみ、クラウドサーバ401は、図12に示されるように、視線の方向に応じて検索範囲を決定してもよい。
本開示の情報取得方法、情報取得システム及び情報取得プログラムは、車の走行中にユーザが気付いた道路脇の施設に関する情報を取得する技術に利用することができる。
1 情報取得システム
100 携帯機器
107 加速度センサ
200 スマートフォン
211 GPS
300 車制御システム
311 GPS
315 視線センサ
316 動きセンサ
317 ブレーキセンサ
400 クラウドセンター
401 クラウドサーバ
403 音声制御DB
404 クリップ情報DB
408 地図DB
800 特定音声対応表

Claims (11)

  1. ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、
    車を運転中の前記ユーザにより行われる特定動作を検知する検知ステップと、
    前記特定動作が前記検知ステップにより検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する第1保存ステップと、
    前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去ステップと、
    を備える情報取得方法。
  2. 前記検知ステップは、前記ユーザの視線方向に関する視線情報を検知し、前記ユーザにより行われる視線を所定角度以上動かす動作を、前記特定動作として検知する、
    請求項1に記載の情報取得方法。
  3. 前記保存ステップは、前記車位置情報と前記視線情報とを互いに対応づけて前記記憶部に保存し、
    前記消去ステップは、前記車位置情報を前記記憶部から消去する場合には、前記視線情報も消去する、
    請求項2に記載の情報取得方法。
  4. 前記検知ステップは、前記ユーザが腕を所定値以上の速度又は加速度で動かす動作を、前記特定動作として検知する、
    請求項1に記載の情報取得方法。
  5. 前記検知ステップは、前記ユーザが前記車のブレーキペダルを所定値以上踏み込む動作を、前記特定動作として検知する、
    請求項1に記載の情報取得方法。
  6. 前記検知ステップは、前記ユーザが音声を発生する動作を、前記特定動作として検知する、
    請求項1に記載の情報取得方法。
  7. 前記情報取得システムは、サーバ装置をさらに含み、
    前記サーバ装置は、地図情報を用いて施設に関する情報を検索する検索機能と前記ユーザが発生する音声の内容を認識する音声認識機能とを有し、
    前記情報装置は、前記サーバ装置との間で通信可能に構成され、
    前記情報取得方法は、さらに、
    前記特定動作が音声を発生する動作である場合、又は、前記特定動作が音声を発生する動作以外の動作であっても、前記特定動作が検知された時点から前記所定時間が経過するまでに前記ユーザが音声を発生する動作を行った場合に、前記ユーザにより発生された音声の内容を認識する音声認識ステップと、
    前記ユーザにより発生された音声が特定の検索に関連する音声を含むと前記音声認識ステップにより判断されると、前記地図情報を用いて前記記憶部に保存されている前記車位置情報に対応する位置の周辺に設けられた施設に関する情報を検索する検索ステップと、
    を備える請求項1〜6のいずれか1項に記載の情報取得方法。
  8. 前記ユーザにより発生された音声が特定の保存に関連する音声を含むと前記音声認識ステップにより判断されると、前記車位置情報及び前記検索ステップにより検索された前記施設に関する情報を含むクリップ情報を生成して前記サーバ装置に保存する第2保存ステップ、
    をさらに備える請求項7に記載の情報取得方法。
  9. 前記消去ステップは、前記ユーザにより発生された音声が前記特定の検索に関連する音声も前記特定の保存に関連する音声も含まないと前記音声認識ステップにより判断されると、前記記憶部に保存されている前記車位置情報を前記記憶部から消去する、
    請求項8に記載の情報取得方法。
  10. 情報を記憶するための記憶部と、
    車を運転中のユーザにより行われる特定動作を検知する検知部と、
    前記特定動作が前記検知部により検知されると、前記車の位置を表す車位置情報を取得して前記記憶部に保存する保存制御部と、
    前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去制御部と、
    を備える情報取得システム。
  11. ユーザが所有する情報装置を含む情報取得システムに用いられる情報取得プログラムであって、
    前記情報取得システムのコンピュータに、
    車を運転中の前記ユーザにより行われる特定動作を検知する検知処理と、
    前記特定動作が前記検知処理により検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する保存処理と、
    前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去処理と、
    を実行させる情報取得プログラム。
JP2015140762A 2014-10-15 2015-07-14 情報取得方法、情報取得システム及び情報取得プログラム Active JP6480279B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510586756.3A CN105528385B (zh) 2014-10-15 2015-09-15 信息取得方法、信息取得系统以及信息取得程序
US14/878,170 US9791925B2 (en) 2014-10-15 2015-10-08 Information acquisition method, information acquisition system, and non-transitory recording medium for user of motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462064171P 2014-10-15 2014-10-15
US62/064,171 2014-10-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019019465A Division JP6746735B2 (ja) 2014-10-15 2019-02-06 情報提示方法、情報提示システム及び情報提示プログラム

Publications (2)

Publication Number Publication Date
JP2016081513A true JP2016081513A (ja) 2016-05-16
JP6480279B2 JP6480279B2 (ja) 2019-03-06

Family

ID=55956354

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015140762A Active JP6480279B2 (ja) 2014-10-15 2015-07-14 情報取得方法、情報取得システム及び情報取得プログラム
JP2019019465A Active JP6746735B2 (ja) 2014-10-15 2019-02-06 情報提示方法、情報提示システム及び情報提示プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019019465A Active JP6746735B2 (ja) 2014-10-15 2019-02-06 情報提示方法、情報提示システム及び情報提示プログラム

Country Status (1)

Country Link
JP (2) JP6480279B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106997A (ja) * 2018-12-26 2020-07-09 アルパイン株式会社 車載装置、通信システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082966A (ja) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd 車両用報知装置
JP2005300989A (ja) * 2004-04-13 2005-10-27 Mitsubishi Electric Corp 音声認識システム
US20060187628A1 (en) * 2002-02-28 2006-08-24 Accenture Global Services Gmbh, A Switzerland Corporation Wearable computer system and modes of operating the system
JP2009085750A (ja) * 2007-09-28 2009-04-23 Aisin Aw Co Ltd 施設特定システム及び施設特定装置
JP2012256001A (ja) * 2011-06-10 2012-12-27 Alpine Electronics Inc 移動体における音声認識装置および方法
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556586B2 (ja) * 2004-09-22 2010-10-06 トヨタ自動車株式会社 運転支援装置
JP4952379B2 (ja) * 2007-05-30 2012-06-13 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーション装置の検索方法及び検索プログラム
JP2013011483A (ja) * 2011-06-28 2013-01-17 Denso Corp 運転支援装置
US8818716B1 (en) * 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082966A (ja) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd 車両用報知装置
US20060187628A1 (en) * 2002-02-28 2006-08-24 Accenture Global Services Gmbh, A Switzerland Corporation Wearable computer system and modes of operating the system
JP2005300989A (ja) * 2004-04-13 2005-10-27 Mitsubishi Electric Corp 音声認識システム
JP2009085750A (ja) * 2007-09-28 2009-04-23 Aisin Aw Co Ltd 施設特定システム及び施設特定装置
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
JP2012256001A (ja) * 2011-06-10 2012-12-27 Alpine Electronics Inc 移動体における音声認識装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106997A (ja) * 2018-12-26 2020-07-09 アルパイン株式会社 車載装置、通信システム
JP7233918B2 (ja) 2018-12-26 2023-03-07 アルパイン株式会社 車載装置、通信システム

Also Published As

Publication number Publication date
JP6746735B2 (ja) 2020-08-26
JP2019133670A (ja) 2019-08-08
JP6480279B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
KR102404702B1 (ko) 크로스-디바이스 핸드오프
US9699617B2 (en) Sharing location information among devices
US9401147B2 (en) Disambiguating input based on context
EP2494771B1 (en) Voice actions on computing devices
US20170323641A1 (en) Voice input assistance device, voice input assistance system, and voice input method
KR101578737B1 (ko) 이동 단말기의 음성 처리 장치 및 그 방법
US9288594B1 (en) Auditory environment recognition
KR20140007282A (ko) 음성 인식 장치 및 그 방법
KR102257910B1 (ko) 음성 인식 장치 및 방법, 잡음-음성 인식 모델 생성 장치 및 방법
CN105528385B (zh) 信息取得方法、信息取得系统以及信息取得程序
CN113434643A (zh) 一种信息推荐方法以及相关设备
JPWO2012098574A1 (ja) 情報処理システム及び情報処理装置
JP6746735B2 (ja) 情報提示方法、情報提示システム及び情報提示プログラム
US20130332166A1 (en) Processing apparatus, processing system, and output method
KR101746503B1 (ko) 이동단말기 및 그 제어방법
JP6387287B2 (ja) 不明事項解消処理システム
JP2014123353A (ja) ヘルプを提供する方法、コンピュータプログラム及びコンピュータ
JP5160653B2 (ja) 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体
JP2022153363A (ja) サーバ装置及び情報処理方法並びにサーバプログラム
US20200154233A1 (en) Geospecific information system and method
JP2014235084A (ja) 携帯端末を持った人が特定の場所に居ることを検知するコンピューティング
CN104023130A (zh) 位置提醒方法和装置
KR101622692B1 (ko) 전자기기 및 그것의 제어방법
JP2024052850A (ja) 情報提供装置、情報提供方法及び情報提供用プログラム
JP5829345B2 (ja) 表示装置、ナビゲーション装置、表示方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190207

R150 Certificate of patent or registration of utility model

Ref document number: 6480279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150