JP6590710B2 - 情報処理装置、情報処理サーバおよびプログラム - Google Patents

情報処理装置、情報処理サーバおよびプログラム Download PDF

Info

Publication number
JP6590710B2
JP6590710B2 JP2016013269A JP2016013269A JP6590710B2 JP 6590710 B2 JP6590710 B2 JP 6590710B2 JP 2016013269 A JP2016013269 A JP 2016013269A JP 2016013269 A JP2016013269 A JP 2016013269A JP 6590710 B2 JP6590710 B2 JP 6590710B2
Authority
JP
Japan
Prior art keywords
information
unit
evaluation
speaker
evaluation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016013269A
Other languages
English (en)
Other versions
JP2017134577A (ja
Inventor
博彬 柴田
博彬 柴田
翔伍 岡本
翔伍 岡本
季美果 池上
季美果 池上
晃平 鎌田
晃平 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016013269A priority Critical patent/JP6590710B2/ja
Publication of JP2017134577A publication Critical patent/JP2017134577A/ja
Application granted granted Critical
Publication of JP6590710B2 publication Critical patent/JP6590710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

この発明は、発話が行われた地点の評価情報を作成する情報処理装置、情報処理サーバ
およびプログラムに関するものである。
従来、移動体の搭乗者の発話を認識し、設定されたキーワードが認識された場合に当該キーワードに対応した評価情報を移動体の現在位置情報と組み合わせて蓄積する方法が提案されている。例えば、特許文献1に記載された情報記憶装置は、移動体が所定の地物から所定の範囲内に位置する場合に、移動体の搭乗者の会話を継続的に解析し、発話内容が所定の地物に関するものである場合に、その地物と発話内容とを関連付けて評価情報として記録していた。
特開2011−179917号公報
上記特許文献1によれば、例えば「東京タワー」等の地物の周辺領域に移動体が進入すると搭乗者の発話を受け付けて音声認識を開始するため、搭乗者の発話内容を記録するためには予め辞書等に登録された所定の地物が必要であるという課題があった。そのため、移動体が所定の地物の周辺領域外に位置している場合には、発話内容を記録することができなかった。
また、発話内容が所定の地物に関するものであると判断した場合に、その地物と発話内容とを関連付けて記録するため、所定の地物を見た際に発話する当該地物の過去の状況、当該地物に関する搭乗者の思い出等、所定の地物の現在の状況を反映していない発話内容であっても評価情報として記録してしまうことがある、または登録されていない地物について発話された場合、発話内容を記録することができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、特定の地物が存在するかに関わらずに搭乗者の発話内容を認識し、発話の対象である事象の現在の状況を反映した発話内容を用いて評価情報を作成することを目的とする。
この発明に係る情報処理装置は、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていた場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていない場合には評価情報を蓄積すると判定するものである。
また、この発明に係る情報処理装置は、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者がキーワードを発話した時の表情を含む属性情報を取得し、蓄積判定部は、表情を予め設定された感情表現のいずれかに分類し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致する場合には評価情報を蓄積すると判定し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致しない場合には評価情報を蓄積しないと判定するものである。
また、この発明に係る情報処理装置は、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、電話の通話状態を示す情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者が通話中である場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者が通話中でない場合には評価情報を蓄積すると判定するものである。
また、この発明に係る情報処理サーバは、外部機器と通信する通信部と、通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、通信部を介して入力された発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか判定する蓄積判定部と、蓄積判定部が蓄積すると判定した評価情報を蓄積する蓄積部と、通信部を介して外部機器から評価情報の取得要求が入力された場合に、蓄積部に蓄積された評価情報を取得し、外部機器に出力するための制御を行う出力制御部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていた場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていない場合には評価情報を蓄積すると判定するものである。
また、この発明に係る情報処理サーバは、外部機器と通信する通信部と、通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、通信部を介して入力された発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか判定する蓄積判定部と、蓄積判定部が蓄積すると判定した評価情報を蓄積する蓄積部と、通信部を介して外部機器から評価情報の取得要求が入力された場合に、蓄積部に蓄積された評価情報を取得し、外部機器に出力するための制御を行う出力制御部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者がキーワードを発話した時の表情を含む属性情報を取得し、蓄積判定部は、表情を予め設定された感情表現のいずれかに分類し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致する場合には評価情報を蓄積すると判定し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致しない場合には評価情報を蓄積しないと判定するものである。
また、この発明に係る情報処理サーバは、外部機器と通信する通信部と、通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、通信部を介して入力された発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか判定する蓄積判定部と、蓄積判定部が蓄積すると判定した評価情報を蓄積する蓄積部と、通信部を介して外部機器から評価情報の取得要求が入力された場合に、蓄積部に蓄積された評価情報を取得し、外部機器に出力するための制御を行う出力制御部と、搭乗者のうち話者を特定する話者特定部とを備え、情報抽出部が抽出する情報は、話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、電話の通話状態を示す情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者が通話中である場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者が通話中でない場合には評価情報を蓄積すると判定するものである
また、この発明に係るプログラムは、コンピュータを、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部として機能させ、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていた場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者の口癖がキーワードに含まれていない場合には評価情報を蓄積すると判定するように機能させるものである。
また、この発明に係るプログラムは、コンピュータを、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部として機能させ、情報抽出部が抽出する情報は、キーワード及び話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、話者特定部により話者であると特定された搭乗者がキーワードを発話した時の表情を含む属性情報を取得し、蓄積判定部は、表情を予め設定された感情表現のいずれかに分類し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致する場合には評価情報を蓄積すると判定し、キーワードに含まれる感情表現と表情から分類された感情表現とが一致しない場合には評価情報を蓄積しないと判定するように機能させるものである。
また、この発明に係るプログラムは、コンピュータを、移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、発話時の移動体の位置情報を取得する位置情報取得部と、情報抽出部が抽出した情報と、位置情報取得部が取得した位置情報とを組み合わせた評価情報を作成する評価情報作成部と、評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、評価情報作成部が作成した評価情報と、参照情報取得部が取得した参照情報とを比較し、評価情報を蓄積するか否かを判定する蓄積判定部と、搭乗者のうち話者を特定する話者特定部として機能させ、情報抽出部が抽出する情報は、話者特定部により話者であると特定された搭乗者を示す情報を含み、参照情報取得部は、参照情報として、電話の通話状態を示す情報を取得し、蓄積判定部は、話者特定部により話者であると特定された搭乗者が通話中である場合には評価情報を蓄積しないと判定し、話者特定部により話者であると特定された搭乗者が通話中でない場合には評価情報を蓄積すると判定するように機能させるものである。
この発明によれば、特定の地物が存在するかに関わらず搭乗者の発話内容を認識し、発話の対象である事象の現在の状況が反映された発話内容を用いて評価情報を作成することができる。
実施の形態1に係る情報処理装置の構成を示すブロック図である。 実施の形態1に係る情報処理装置のキーワードデータベースの構成例を示す図である。 実施の形態1に係る情報処理装置のハードウェア構成例を示す図である。 実施の形態1に係る蓄積サーバのハードウェア構成例を示す図である。 実施の形態1に係る情報処理装置の動作を示すフローチャートである。 実施の形態1に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態2に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態3に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態4に係る情報処理装置の構成を示すブロック図である。 実施の形態4に係る情報処理装置の動作を示すフローチャートである。 実施の形態4に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態4に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態4に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態4に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態5に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態5に係る情報処理装置の参照情報取得部および蓄積判定部の動作を示すフローチャートである。 実施の形態6に係る情報処理装置の構成を示すブロック図である。 実施の形態6に係る情報処理装置の動作を示すフローチャートである。 実施の形態7に係る情報処理装置の構成を示すブロック図である。 実施の形態7に係る情報処理装置の動作を示すフローチャートである。 実施の形態8に係る情報提供サーバの構成を示すブロック図である。
以下に示す実施の形態1から実施の形態7では、移動体として車両を適用した場合を例に説明を行うが、車両以外にも列車、航空機および船舶等が適用可能である。また、移動体は人でもよく、その場合、移動体の搭乗者とは当該人自であるものとする。
実施の形態1.
図1は、この発明の実施の形態1に係る情報処理装置100の構成を示すブロック図である。
情報処理装置100は、入力部1、音声認識部2、情報抽出部3、キーワードデータベース4、位置情報取得部5、車両情報取得部6、地図データベース7、評価情報作成部8、参照情報取得部9、蓄積判定部10、蓄積制御部11および通信部12を備える。また、情報処理装置100は、通信部12、21を介して蓄積サーバ200と接続されている。
入力部1は、マイク等であり、車両内の搭乗者の発話音声を収集する。音声認識部2は、収集された発話音声を文字列等に変換する認識処理を行い、文字列等を音声認識結果として取得する。音声認識部2は、取得した音声認識結果を情報抽出部3に出力する。情報抽出部3は、音声認識結果にキーワードデータベース4に蓄積されたキーワードが含まれている場合に、当該キーワードを抽出し、位置情報取得部5および評価情報作成部8に出力する。なお、情報抽出部3は、音声認識結果からキーワードのみを抽出するものに限らない。例えば、評価情報にキーワードが属するジャンル、「良い/悪い」または「安全/危険」といった評価を示す言葉、または搭乗者の発話内容全てを抽出してもよい。ただし、以下では、情報抽出部3がキーワードを抽出して、ジャンルと合わせて出力するものとして説明する。
キーワードデータベース4は、音声認識結果から抽出するためのキーワードを蓄積したものである。キーワードデータベース4の蓄積例を図2に示す。この蓄積例では、キーワードデータベース4は、複数のキーワードをジャンルに関連付けて蓄積している。具体的に、ジャンル「景色」について第1のキーワードとして「きれい」、第2のキーワードとして「いい眺め」、第3のキーワードとして「絶景」を関連付けて蓄積している。例えば、音声認識結果に「きれい」というキーワードが含まれ、情報抽出部3が図2に示すキーワードデータベース4を参照して「きれい」というキーワードを抽出した場合、上述のように、情報抽出部3は、抽出したキーワード「きれい」に加えて、抽出したキーワードが属するジャンル「景色」も合わせて出力する。なお、キーワードデータベース4は、情報処理装置100外に備えられてもよい。
キーワードデータベース4は、キーワードとして、時系列を示す時系列関連キーワード、周辺道路の状況を示す周辺道路交通関連キーワード、周辺の環境の状況を示す周辺自然環境関連キーワード、発話者の感情を示す感情表現キーワード等を蓄積している。時系列関連キーワードは、季節、年月日、時刻、時間帯、曜日、過去・現在・未来を示す概念等のいずれかを表すキーワードである。
周辺道路交通関連キーワードは、周辺の施設、店舗、建造物、車両、歩行者、移動体、道路、車線、道路標識、交差点、高速出入口、信号、踏切、渋滞、規制、事故等、のいずれかを表すキーワードである。
周辺自然環境関連キーワードは、風景、景観、地形、山、川、湖、海、空、天候、気温、風雨、降雪、積雪、台風、地震、津波、噴火、火災、その他の災害等、のいずれかを表すキーワードである。
感情表現関連キーワードは、発話者の感情、感想、感動、情緒、印象、欲求、欲望、想像、妄想、追想、反撃、反響、愛情、驚嘆、落胆、喜怒哀楽、感覚、食感、五感、嗜好、良否、可否、好き嫌い、向き不向き、リピート欲、寸評、比較、ランキング、コメント、評価等のいずれかを表すキーワードである。
位置情報取得部5は、情報抽出部3からキーワードが入力された場合、その時点の日時を発話時の日時情報として取得する。また、位置情報取得部5は、情報抽出部3からキーワードが入力された場合、その時点の車両の位置情報および方位情報を、それぞれ発話時の車両の位置情報および方位情報として取得する。位置情報取得部5は、これらの情報を、例えばGPS(Global Positioning System)情報、走行方位情報および地図情報等から取得する。位置情報取得部5は、GPS情報および走行方位情報を、車両情報取得部6から取得する。位置情報取得部5は、地図情報を地図データベース7から取得する。車両情報取得部6は、図示しない車載機器に搭載されたGPS受信器から現在の日時および車両の位置情報を含むGPS情報を取得する。また、車両情報取得部6は、車載機器等から車両の走行位置および走行方位を取得する。また、車両情報取得部6は、車両の周辺状況を示す情報(以下、車両の周辺情報と称する)を取得する。
なお、発話時の日時情報は、位置情報取得部5が情報抽出部3からキーワードが入力された場合に、車両情報取得部6から取得することに替えて、入力部1が発話を取得した日時、音声認識部2が音声認識した日時、情報抽出部3がキーワードを抽出した日時等を、情報処理装置100内の図示しない時計等から取得してもよい。
地図データベース7は、地図情報を蓄積する。なお、情報処理装置100は地図データベース7を備えず、情報処理装置100の外部に設けられた地図データベースから地図情報を取得する構成としてもよい。
評価情報作成部8は、情報抽出部3から入力されたキーワードおよびジャンルと、発話時の日時情報と、発話時の車両の位置情報および方位情報とを組み合わせて評価情報を作成する。
参照情報取得部9は、評価情報作成部8が作成した評価情報が、当該評価情報に含まれるキーワードに関連する事象の現在の状況と関連性があるかを判断するための参照情報を取得する。ここで、参照情報は、当該キーワードに関連する事象の現在の状況、即ち当該事象の現況を示す情報である。この実施の形態1では、参照情報取得部9は、車両情報取得部6から入力される車両の周辺情報から、キーワードに関連する事象の現況を、参照情報として取得する場合を示す。なお、参照情報の詳細については、後述する。
また、ここでは、評価情報作成部8は、評価情報をキーワードおよびジャンルと、発話時の日時情報と、発話時の車両の位置情報および方位情報の組み合わせとしたが、発話時の日時情報と、発話時の車両の方位情報は含まなくともよい。即ち、参照情報取得部9が、参照情報を取得する日時を現在とすれば、評価情報と参照情報との比較が可能である。また、車両の位置情報が分かれば、参照情報取得部9は、参照情報を得ることができる。
蓄積判定部10は、評価情報作成部8が作成した評価情報と、参照情報取得部9が取得した参照情報とを比較して、評価情報と参照情報の関連性が高く、蓄積すべき情報であるか判定を行う。関連性については、例えば適宜数値化を行い、関連性を示す数値が閾値以上であるか否かを判定する等、何らかの基準を満たすかどうかで判断できるものであれば、どのような手法で行われてもよい。
蓄積制御部11は、蓄積判定部10において評価情報が蓄積すべき情報であると判定された場合に、その評価情報を通信部12を介して蓄積サーバ200側に出力する。
通信部12は、Wi−Fi(登録商標)、3G、4Gなどの通信規格に準拠した通信網やインターネットなどの公共無線通信網にアクセスし、蓄積サーバ200と通信を行い、評価情報の送信を行う。また、通信部12は、外部のネットワークと通信を行い、例えばコンテンツプロバイダからコンテンツプロバイダ情報等を受信する、または車両内外に設置された機器から車両情報等を受信する。
なお、図1では、情報処理装置100が入力部1および音声認識部2を備える構成を示したが、入力部1および音声認識部2に相当する機能を、車両に搭載された機器、または搭乗者が携帯する携帯端末で実行し、音声認識結果と、発話時の日時情報とが情報処理装置100に入力されるように構成してもよい。
蓄積サーバ200は、通信部21、制御部22および評価情報データベース23を備える。通信部21は、情報処理装置100と通信を行い、情報処理装置100から評価情報を受信する。評価情報データベース23は、評価情報を蓄積するものである。制御部22は、情報処理装置100から受信した評価情報を評価情報データベース23に蓄積するための制御を行う。また、制御部22は、図示しない外部装置から評価情報の取得要求が入力された場合に、この取得要求に基づいて評価情報データベース23から評価情報を読み出し、対応する外部装置に出力する制御を行う。
次に、情報処理装置100のハードウェア構成例を説明する。
図3は、情報処理装置100のハードウェア構成例を示す図である。
図3に示すように、情報処理装置100における入力部1、位置情報取得部5、車両情報取得部6および参照情報取得部9は、外部からの情報を入力する入力装置101により実現される。情報処理装置100におけるキーワードデータベース4および地図データベース7は、メモリ103により実現される。情報処理装置100における通信部12は、蓄積サーバ200または外部のネットワークとの間で無線通信を行う無線通信装置104により実現される。
また、情報処理装置100における音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11は、処理回路により実現される。すなわち、音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11は、音声認識結果からキーワードを抽出し、キーワードを含む評価情報と参照情報とを比較し、比較した結果に基づいて評価情報の蓄積を判定し、評価情報の出力を制御するための処理回路を備える。処理回路は、メモリ103に格納されるプログラムを実行するCPU(Central Processing Unit)102である。
この音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ103に格納される。CPU102は、メモリ103に記憶されたプログラムを読み出して実行することにより、音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11の各機能を実現する。即ち、音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11は、CPU102により実行されるときに、後述する図5および図6に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ103を備える。また、これらのプログラムは、音声認識部2、情報抽出部3、評価情報作成部8、蓄積判定部10および蓄積制御部11の手順または方法をコンピュータに実行させるものであるともいえる。
ここで、CPU102は、例えば、中央処理装置、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などのことである。
メモリ103は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
図4は、蓄積サーバ200のハードウェア構成例を示す図である。
図4に示すように、蓄積サーバ200における評価情報データベース23は、メモリ202により実現される。蓄積サーバ200における通信部21は、情報処理装置100または図示しない外部機器との間で無線通信を行う無線通信装置203により実現される。
また、蓄積サーバ200における制御部22は、処理回路により実現される。即ち、蓄積サーバ200は、情報処理装置100から受信した評価情報を用いて評価情報データベース23の評価情報を更新し、更新した評価情報を外部機器からの取得要求に応じて送信するための処理回路を備える。処理回路は、メモリ202に格納されるプログラムを実行するCPU201である。
この制御部22の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ202に格納される。CPU201は、メモリ202に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、蓄積サーバ200は、CPU201により実行されるときのプログラムを格納するためのメモリ202を備える。また、これらのプログラムは、制御部22の手順または方法をコンピュータに実行させるものであるともいえる。
次に、情報処理装置100の動作について説明する。
図5は、実施の形態1による情報処理装置100の動作を示すフローチャートである。
なお、入力部1は情報処理装置100の電源が投入されている間は、常に音声を収集できる状態である。また、図示しない音声収集の開始ボタンが操作されてから一定時間のみ音声を取得するようなもので合ってもよい。
入力部1が車両の搭乗者の発話音声を収集すると(ステップST101)、音声認識部2は収集された発話音声の認識処理を行う(ステップST102)。音声認識部2は、音声認識結果を情報抽出部3に出力する。情報抽出部3は、入力された音声認識結果からキーワードの抽出のための処理を行う(ステップST103)。さらに、情報抽出部3は、キーワードが抽出されたか判定を行う(ステップST104)。キーワードが抽出されなかった場合(ステップST104;NO)、ステップST101の処理に戻り、上述した処理を繰り返す。
一方、キーワードが抽出された場合(ステップST104;YES)、情報抽出部3は、抽出したキーワードを、位置情報取得部5および評価情報作成部8に出力する。位置情報取得部5は、発話時の日時情報における発話時の車両の位置情報および方位情報を取得する(ステップST105)。評価情報作成部8は、ステップST103で抽出されたキーワードと、ステップST105で取得された車両の位置情報および方位情報と、発話時の日時情報とを組み合わせて評価情報を作成する(ステップST106)。参照情報取得部9は、ステップST106で作成された評価情報を評価するための参照情報を取得する(ステップST107)。
蓄積判定部10は、ステップST106で作成された評価情報に含まれるキーワードと、ステップST107で取得された参照情報とを比較し、評価情報と参照情報との関連性を評価する(ステップST108)。蓄積判定部10は、評価した関連性が閾値以上かどうか等一定の基準を満たすか判定を行う(ステップST109)。関連性が基準を満たす場合(ステップST109;YES)、蓄積制御部11は評価情報を、通信部12を介して蓄積サーバ200に出力し(ステップST110)、ステップST101の処理に戻る。一方、関連性が基準を満たさない場合(ステップST109;NO)、蓄積判定部10は評価情報を蓄積しないと判断してステップST101の処理に戻る。
次に、参照情報取得部9が取得する参照情報の詳細について説明する。
参照情報取得部9は、車両の周辺情報を、参照情報として取得する。ここでいう車両の周辺とは、評価情報に含まれる発話時の車両の位置情報に示された地点を中心として例えば半径1km以内の領域等、発話時の車両の位置を中心として予め設定された領域を示すものとする。また、この実施の形態1では、参照情報取得部9は、周辺情報として、例えば「東京タワー」など地物の特定がされていない搭乗者の発話内容であっても評価することができる情報を取得する。また、参照情報取得部9は、周辺情報として、車両の走行エリアに限定されることなく、どのエリアを走行していても搭乗者の発話内容を評価することができる情報を取得する。具体的には、参照情報取得部9は、参照情報として、コンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも1つを取得する。
コンテンツプロバイダ情報は、通信部12を介してコンテンツプロバイダから入力される情報である。コンテンツプロバイダ情報は、例えばVICS(Vehicle Information and Communication System、登録商標)情報、天気情報、ヒヤリハット情報、SNS(Social Networking Service)情報、路線情報、地図情報、施設情報、観光情報、学校情報、イベント情報、日の出日の入り情報、ストリートビュー等の画像情報等である。
車載カメラ情報は、車両内または車両外に設置された車載カメラが車両の周囲を撮像した撮像画像を画像認識して得られた情報であり、車両情報取得部6で取得される。車載カメラ情報は、例えば、交通状況、障害物状況、天候、看板、路面状況、他の移動体状況等を示す情報である。
地図情報は、地図データベース7から取得される情報である。地図情報は、例えば、施設情報、道路形状、地形データ、舗装状況、鉄道等である。
参照情報取得部9は、これらのコンテンツプロバイダ情報、車載カメラ情報、または地図情報を常時取得してもよいし、任意のタイミングで取得して図示しない記憶領域に記憶させてもよい。また、参照情報取得部9は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報から、評価情報に含まれるキーワードに関連する情報のみを取得してもよい。また、参照情報取得部9は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報から、評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関連する情報のみを取得してもよい。このように、参照情報取得部9による周辺情報の取得タイミングおよび取得方法は、適宜設定可能である。
参照情報取得部9は、コンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも1つを取得すると、まず取得した情報を用いて評価情報との関連性を評価することができるか判断する。
例えば、参照情報取得部9は、評価情報のキーワードのジャンルが「天候」であり、天気情報に関するプロバイダ情報が存在する、または評価情報のキーワードのジャンルが「イベント」であり、イベント情報またはSNS情報に関するプロバイダ情報が存在すると、評価情報との関連性について評価することができると判断する。
また、参照情報取得部9は、評価情報のキーワードのジャンルが「交通状況」であり、交通状況に関する車載カメラ情報が存在すると、評価情報との関連性について評価することができると判断する。
また、参照情報取得部9は、評価情報のキーワードのジャンルが「道路形状」であり、道路形状に関する地図情報が存在すると、評価情報との関連性について評価することができると判断する。
なお、上記ではキーワードのジャンルを用いて、関連する情報が存在するかを判断する場合を例に示したが、評価情報がキーワードのジャンルを含んでいない場合には、参照情報取得部9が、例えばキーワードデータベース4を参照して、キーワードがどのジャンルに属するか判断し、判断した内容に関する情報が存在するか判断する。例えば、参照情報取得部9は、キーワードが「いい眺め」である場合、ジャンルは「景色」であると判断し、景色に関するコンテンツプロバイダ情報、車載カメラ情報、または地図情報が存在するか判断する。
参照情報取得部9は、評価情報との関連性について評価することができると判断した場合に、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報から設定された距離内の領域に関連するコンテンツプロバイダ情報、車載カメラ情報、または地図情報の少なくとも1つを、参照情報として取得する。
次に、上記のように取得した参照情報と評価情報との関連性を評価する蓄積判定部10の詳細について説明する。
蓄積判定部10は、評価情報作成部8が作成した評価情報のキーワードと、参照情報取得部9が取得した参照情報とを比較して、評価情報と参照情報の関連性を評価する。蓄積判定部10は、関連性を、例えば評価情報のキーワードと参照情報との一致度、類似度、共通部分の有無または共通部分の割合等のいずれかに基づいて、評価する。
まず、蓄積判定部10が、評価情報のキーワードと、参照情報取得部9が取得したコンテンツプロバイダ情報との一致度に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「晴れ」であり、参照情報取得部9はコンテンツプロバイダから、評価情報が示す発話時の車両の位置情報を中心とした周辺の天気情報として晴天である確率が90%との参照情報を取得したとする、この場合、蓄積判定部10は一致度を90%と算出する。ここで、例えば、一致度に関して、関連性が高いと判断する閾値が60%以上と設定されている場合、蓄積判定部10は算出した一致度90%が閾値である60%以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
次に、蓄積判定部10が、評価情報のキーワードと、参照情報取得部9が取得したコンテンツプロバイダ情報との類似度に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「きれい」であり、参照情報取得部9は評価情報が示す発話時の車両の位置情報を中心とした周辺の観光情報に山の景色、夜景またはイルミネーション等が見られることを示す情報を取得している場合に、蓄積判定部10は類似度を「高」と算出する。例えば、類似度に関して、関連性が高いと判断する閾値が類似度「中」以上と設定されている場合、蓄積判定部10は算出した類似度「高」が閾値である類似度「中」以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
次に、蓄積判定部10が、評価情報のキーワードと、参照情報取得部9が取得した車載カメラ情報との共通部分の割合に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「渋滞」であり、参照情報取得部9は車載カメラ情報から取得した評価情報が示す発話時の車両の位置情報における車両の前方に位置する他の車両の台数に応じて、共通部分の割合を例えば80%と算出する。例えば、共通部分の割合に関して、関連性が高いと判断する閾値が60%以上と設定されている場合、蓄積判定部10は算出した共通部分の割合80%が閾値である60%以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
次に、蓄積判定部10が、評価情報のキーワードと、参照情報取得部9が取得した地図情報との共通部分の有無に基づいて、関連性を評価する場合を例に説明する。評価情報のキーワードが「急カーブ」であり、参照情報取得部9は地図情報から取得した評価情報が示す発話時の車両の位置情報が示す地点の道路形状がカーブを示している場合に、蓄積判定部10は共通部分が「有」と算出する。例えば、共通部分の有無に関して、関連性が高いと判断する基準が共通部分「有」と設定されている場合、蓄積判定部10は、算出した共通部分「有」であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。
なお、上述した関連性を評価する際の具体例は、一例であり、評価情報のキーワード、コンテンツプロバイダ情報、車載カメラ情報および地図情報は、種々設定されるものである。また、評価情報のキーワードと参照情報との一致度、類似度、共通部分の有無または共通部分の割合について、例を挙げて示したが、これらに限定されるものではなく、評価情報のキーワードと参照情報との乖離度、共通部分の頻度等に基づいて、評価情報と参照情報の関連性を評価してもよい。
また、評価情報に、発話時の車両の方位情報が含まれ、キーワードは「前」、「後ろ」などが抽出されて含まれている場合には、これらの上方も考慮して関連性を評価することも可能である。
次に、図5のフローチャートのステップST107からステップST109で示した、参照情報取得部9および蓄積判定部10の処理をより詳細に説明する。
図6は、実施の形態1に係る情報処理装置100の参照情報取得部9および蓄積判定部10の動作を示すフローチャートである。なお、図6のフローチャートでは、参照情報取得部9が、一時格納領域に記憶されているコンテンツプロバイダ情報から参照情報を取得する場合を例に説明する。
参照情報取得部9は、記憶されたコンテンツプロバイダ情報を参照し、評価情報作成部8が作成した評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在するか判定を行う(ステップST201)。評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在しない場合(ステップST201;NO)、図5のフローチャートのステップST101の処理に戻る。一方、評価情報に含まれるキーワードに関連するコンテンツプロバイダ情報が存在する場合(ステップST201;YES)、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関するコンテンツプロバイダ情報を取得する(ステップST202)。
参照情報取得部9は、ステップST202で取得したコンテンツプロバイダ情報を参照情報として蓄積判定部10に出力する(ステップST203)。蓄積判定部10は、ステップST203で入力された参照情報と、評価情報作成部8が作成した評価情報に含まれるキーワードとの一致度を算出する(ステップST204)。蓄積判定部10は、ステップST204で算出した一致度が基準を満たしているか判定を行う(ステップST205)。一致度が基準を満たしていない場合(ステップST205;NO)、図5のフローチャートのステップST101の処理に戻る。一方、一致度が基準を満たしている場合(ステップST205;YES)、蓄積判定部10は評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST206)、図5のフローチャートのステップST110の処理に進む。
なお、図6のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度に限定されるものではない。上述したように、評価情報のキーワードと参照情報との一致度、類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて評価情報と参照情報の関連性を評価することができる。
また、図6のフローチャートでは、コンテンツプロバイダ情報のみを参照して関連性を評価する動作を示したが、コンテンツプロバイダ情報、車載カメラ情報または地図情報を任意で組み合わせた情報を用いて評価情報と参照情報の関連性を評価してもよい。例えば、コンテンツプロバイダ情報および車載カメラ情報を参照情報として、評価情報に含まれるキーワードとの一致度をそれぞれ算出し、コンテンツプロバイダ情報との一致度と、車載カメラ情報との一致度の平均値が、閾値以上であり、基準を満たしているか判定を行うように構成してもよい。
以上のように、この実施の形態1によれば、移動体である車両の搭乗者の発話の音声認識結果からキーワードを抽出する情報抽出部3と、発話時の移動体の位置情報を取得する位置情報取得部5と、キーワードと、発話時の移動体の位置情報および方位情報とを組み合わせた評価情報を作成する評価情報作成部8と、キーワードに関連する事象について、現在の状況を示す情報を参照情報として取得する参照情報取得部9と、評価情報と参照情報とを比較して評価情報を蓄積するか否か判定する蓄積判定部10とを備えるように構成したので、特定の地物が存在しない場合でも搭乗者の発話内容を認識し、認識結果から抽出されたキーワードに関連する情報のうち現在の状況が反映された参照情報を用いて評価情報を評価して蓄積するか否かを判定することができる。これにより、発話が行われた地点とは関係のない発話、発話の対象である事象の現在の状況を反映していない発話等に基づいて評価情報が蓄積されるのを抑制することができる。その結果、各事象に対する信頼性の高い評価情報を効率的に蓄積することができる。
また、この実施の形態1によれば、参照情報取得部9が、コンテンツプロバイダ情報から参照情報を取得するように構成したので、例えば「東京タワー」など地物を含まない発話等、発話の対象である事象が明確でない発話であっても、キーワードに関連するコンテンツプロバイダ情報を用いて、関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報、または地図データから取得することができない事象に対するものであっても、評価情報と参照情報の関連性を判断して、評価情報を蓄積することができる。
また、この実施の形態1によれば、参照情報取得部9が、車載カメラ情報から参照情報を取得するように構成したので、発話の対象である事象が明確でない発話であっても、キーワードに関連する車載カメラ情報を用いて、現在の状況との関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報、または地図データから取得することができない事象に対するものであっても、評価情報の関連性を判断して、評価情報を蓄積することができる。
また、この実施の形態1によれば、参照情報取得部9が、地図情報から参照情報を取得するように構成したので、発話の対象である事象が明確でない発話であっても、キーワードに関連する地図情報を用いて、現在の状況との関連性を判断して、関連性の高い評価情報のみを蓄積することができる。よって、発話内容が、移動体の状態を示す情報から取得することができない事象に対するものであっても、評価情報の関連性を判断して、評価情報を蓄積することができる。
実施の形態2.
この実施の形態2では、参照情報として車両情報を用いる構成を示す。なお、実施の形態1で示したコンテンツプロバイダ情報、車載カメラ情報または地図情報の少なくとも1つに替えて、車両情報のみを用いてもよいし、実施の形態1で示したコンテンツプロバイダ情報、車載カメラ情報または地図情報の少なくとも1つの情報と車両情報とを組み合わせて用いてもよい。
実施の形態2に係る情報処理装置100の構成は、上記実施の形態1の図1に示した情報処理装置100の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図1を用いて説明する。
参照情報取得部9は、車両情報取得部6から入力される車両情報を参照情報として取得する。ここでいう車両情報とは、車両の速度、方位、操舵角、ワイパー操作の状態、照明機器の動作状態、空調機器の動作状態、音響機器の動作状態、音響機器が動作している場合に再生中の楽曲の歌詞を示す情報等である。車両情報取得部6は、コントローラー・エリア・ネットワーク(CAN)等の公知のネットワークから、車両の速度、操舵角、ブレーキ操作などの車両情報を取得する。
参照情報取得部9は、車両情報を常時取得してもよいし、任意のタイミングで取得して図示しない記憶領域に記憶させてもよい。また、参照情報取得部9は、評価情報に含まれるキーワードに関連する車両情報のみを取得してもよいし、評価情報に含まれる発話時の車両の位置情報における車両情報のみを取得してもよい。このように、参照情報取得部9の車両情報の取得タイミングおよび取得方法は、適宜設定可能である。
参照情報取得部9は、車両情報を取得すると、まず取得した情報を用いて評価情報の関連性を評価することができるか判断する。例えば、参照情報取得部9は、評価情報のキーワードのジャンルが「道路形状」であり、車両の操舵角を示す車両情報が存在すると、評価情報と参照情報の関連性について評価することができると判断する。参照情報取得部9は、関連性について評価することができると判断した場合に、評価情報に含まれるキーワードに関連する車両情報であって、且つ評価情報に含まれる発話時の車両の位置情報が示す位置、または発話時の日時情報が示す日時における車両情報を、参照情報として取得する。
蓄積判定部10は、評価情報作成部8が作成した評価情報のキーワードと、参照情報取得部9が取得した参照情報とを比較して、関連性を評価する。例えば、蓄積判定部10が、評価情報のキーワードと、参照情報取得部9が取得した車両情報との一致度に基づいて、評価情報と参照情報の関連性を評価する場合、評価情報のキーワードが「急カーブ」であり、参照情報の操舵角がほとんど変化していない場合に、一致度を0%と算出する。例えば、一致度に関して、関連性が高いとする閾値が60%以上と設定されている場合、蓄積判定部10は算出した一致度0%が閾値である60%以上でないので、基準を満たしていないと判定し、評価情報と参照情報との関連性が低いと判定する。蓄積判定部10は、蓄積制御部11に対して評価情報の蓄積を指示しない。
また、蓄積判定部10は、参照情報として、音響機器が動作していることを示す情報、および発話時に再生中の楽曲の歌詞を示す情報が入力された場合、評価情報のキーワードと、楽曲の歌詞との一致度を算出する。蓄積判定部10は、算出した一致度が閾値以上と判定した場合に、評価情報は単に車両内で再生中の楽曲の歌詞に関するキーワードを含んでいて蓄積は不要と判断し、蓄積制御部11に対して評価情報の蓄積を指示しない。
なお、参照情報として車両の速度、方位、操舵角等を用いた判定と、参照情報として楽曲の歌詞を示す情報を用いた判定とを組み合わせて、評価情報との関連性を評価してもよい。
次に、実施の形態1の図5のフローチャートのステップST107からステップST109の処理について、実施の形態2の参照情報取得部9および蓄積判定部10を適用した場合の、詳細な動作について説明する。
図7は、実施の形態2に係る情報処理装置100の参照情報取得部9および蓄積判定部10の動作を示すフローチャートである。なお、図7のフローチャートでは、参照情報取得部9が、一時格納領域に記憶されている車両情報から参照情報を取得する場合を例に説明する。
参照情報取得部9は、記憶された車両情報を参照し、評価情報作成部8が作成した評価情報に含まれるキーワードに関連する車両情報が存在するか判定を行う(ステップST301)。評価情報に含まれるキーワードに関連する車両情報が存在しない場合(ステップST301;NO)、図5のフローチャートのステップST101の処理に戻る。一方、評価情報に含まれるキーワードに関連する車両情報が存在する場合(ステップST301;YES)、評価情報に含まれるキーワードに関連し、且つ評価情報に含まれる車両の位置情報から設定された距離内の領域に関する車両情報を取得する(ステップST302)。
参照情報取得部9は、ステップST302で取得した車両情報を参照情報として蓄積判定部10に出力する(ステップST303)。蓄積判定部10は、ステップST303で入力された参照情報と、評価情報作成部8が作成した評価情報に含まれるキーワードとの一致度を算出する(ステップST304)。蓄積判定部10は、ステップST304で算出した一致度が基準を満たしているか判定を行う(ステップST305)。一致度が基準を満たしていない場合(ステップST305;NO)、図5のフローチャートのステップST101の処理に戻る。一方、一致度が基準を満たしている場合(ステップST305;YES)、蓄積判定部10は評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST306)、図5のフローチャートのステップST110の処理に進む。
なお、図7のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度以外にも、評価情報のキーワードと参照情報との類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて評価情報と参照情報の関連性を評価することができる。
以上のように、この実施の形態2によれば、参照情報取得部9が、参照情報としてキーワードに関連し、且つ評価情報に含まれる発話時の車両の位置情報が示す位置から設定された距離内の領域に関する車両情報を参照情報として取得するように構成したので、特定の地物が存在するかに関わらず搭乗者の発話内容を認識し、車両の挙動を考慮して評価情報が発話の対象である事象の現在の状況が反映されている情報であるか評価することができる。
実施の形態3.
この実施の形態3では、蓄積サーバ200から取得した過去の評価情報を用いて、新たに評価情報作成部8が作成した評価情報を評価する構成を示す。
なお、実施の形態1および実施の形態2で示したコンテンツプロバイダ情報、車載カメラ情報、地図情報または車両情報の少なくとも1つに替えて、過去の評価情報のみを用いてもよいし、実施の形態1および実施の形態2で示したコンテンツプロバイダ情報、車載カメラ情報、地図情報または車両情報の少なくとも1つの情報と過去の評価情報とを組み合わせて用いてもよい。
実施の形態3に係る情報処理装置100の構成は、上記実施の形態1の図1に示した情報処理装置100の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図1を用いて説明する。
参照情報取得部9は、蓄積サーバ200の評価情報データベース23に蓄積された過去の評価情報を、参照情報として取得する。参照情報取得部9は、評価情報作成部8が作成した評価情報に含まれる発話時の車両の位置情報を取得し、取得した位置情報と地図データベース7から取得される地図情報とから、評価情報の発話エリアを設定する。参照情報取得部9は、例えば発話時の車両の位置情報が示す地点から半径1km以内のエリアを地図情報で特定し、発話エリアとする。
参照情報取得部9は、設定した評価情報の発話エリア内の位置を示す発話時の車両情報を含む、過去の評価情報の取得要求を、通信部12を介して蓄積サーバ200に送信する。この蓄積サーバ200には、少なくともこの情報処理装置100を有する全ての車両を対象として収集された評価情報が蓄積されており、取得要求の結果、取得される過去の評価情報には他車両が作成したものも含まれることになる。
参照情報取得部9は、設定した評価情報の発話エリア内の過去の評価情報の取得を要求する際に、現在時刻から5分前までの期間で登録された評価情報のみを検索対象とすると指定してもよいし、前日の同一のタイミング、例えば前日の夕方の2時間で登録された評価情報のみを検索対象とすると指定してもよい。参照情報取得部9が指定する検索対象は任意に設定することができる。
参照情報取得部9は、発話エリア内の過去の評価情報の取得要求に応じて、蓄積サーバ200から過去の評価情報が送信されると、通信部12を介してこの過去の評価情報を取得する。参照情報取得部9は、過去の評価情報を取得すると、関連性を評価することができると判断する。一方、参照情報取得部9は、過去の評価情報が取得できなければ関連性を評価することができないと判断する。参照情報取得部9は、評価情報と参照情報の関連性について評価することができると判断した場合に、取得した過去の評価情報を参照情報として蓄積判定部10に出力する。
蓄積判定部10は、評価情報作成部8が作成した評価情報のキーワードと、参照情報取得部9が取得した参照情報とを比較して、関連性を評価する。また、評価情報作成部8が作成した評価情報に相対的な評価を示す表現が含まれていた場合、例えば評価情報が相対的に悪い評価を示す表現であり、参照情報取得部9が取得した参照情報も同様に発話エリア内で相対的に悪い評価を示す表現である割合が80%を占めている場合、一致度を80%と算出する。例えば、一致度に関して、関連性が高いとする閾値が60%以上と設定されている場合、蓄積判定部10は算出した一致度80%が閾値である60%以上であるので基準を満たしていると判定し、評価情報と参照情報の関連性が高いと判定する。蓄積判定部10は、蓄積制御部11に対して評価情報の蓄積を指示する。
次に、実施の形態1の図5のフローチャートのステップST107からステップST109の処理について、実施の形態3の参照情報取得部9および蓄積判定部10を適用した場合の、詳細な動作について説明する。
図8は、実施の形態3に係る情報処理装置100の参照情報取得部9および蓄積判定部10の動作を示すフローチャートである。
参照情報取得部9は、評価情報作成部8が作成した評価情報に含まれる車両の位置情報を取得し、取得した位置情報に基づいて発話エリアを設定する(ステップST401)。参照情報取得部9は、設定した評価情報の発話エリア内の過去の評価情報の取得要求を通信部12を介して蓄積サーバ200に出力、即ち送信する(ステップST402)。参照情報取得部9は、取得要求に応じて蓄積サーバ200から過去の評価情報を受信したか判定を行う(ステップST403)。過去の評価情報を受信しない場合(ステップST403;NO)、図5のフローチャートのステップST101の処理に戻る。一方、過去の評価情報を受信した場合(ステップST403;YES)、受信した過去の評価情報を参照情報として蓄積判定部10に出力する(ステップST404)。
蓄積判定部10は、ステップST404で入力された参照情報と、評価情報作成部8が作成した評価情報に含まれるキーワードとの一致度を算出する(ステップST405)。蓄積判定部10は、ステップST405で算出した一致度が基準を満たしているか判定を行う(ステップST406)。一致度が基準を満たしていない場合(ステップST406;NO)、図5のフローチャートのステップST101の処理に戻る。一方、一致度が基準を満たしている場合(ステップST406;YES)、蓄積判定部10は評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST407)、図5のフローチャートのステップST110の処理に進む。
なお、図8のフローチャートでは、評価情報のキーワードと参照情報との一致度を用いて、関連性を評価する場合を例に示したが、一致度以外にも、評価情報のキーワードと参照情報との類似度、乖離度、共通部分の有無、共通部分の割合、または共通部分の頻度等を用いて関連性を評価することができる。
また、キーワード同士の一致度を用いて評価情報と参照情報の関連性を評価するのみではなく、評価情報のジャンル、相対的な評価を示す表現同士の一致度、類似度、乖離度等を用いて評価情報と参照情報の関連性を評価することができる。
以上のように、この実施の形態3によれば、参照情報取得部9が、蓄積サーバ200に蓄積された過去の評価情報を参照情報として取得し、蓄積判定部10が、取得された参照情報と評価情報とを比較して評価情報と参照情報の関連性を評価するように構成したので、信頼度の高い評価情報を蓄積することができる。
なお、上述した実施の形態3の構成に加えて、蓄積判定部10が評価情報を蓄積すると判定した割合をユーザ毎に蓄積する、または蓄積サーバ200に蓄積された評価情報に対して「いいね」などの投稿を受け付ける構成としてもよい。
また、蓄積判定部10が評価情報と参照情報の関連性を評価する場合に、過去のユーザ毎の蓄積率、または評価情報に対する投稿結果を考慮してもよい。
また、蓄積判定部10が評価情報のユーザ毎の蓄積率を考慮することにより、悪意あるユーザの投稿を抑制する効果もある。
実施の形態4.
この実施の形態4では、参照情報として搭乗者の属性情報を用いる構成を示す。なお、実施の形態1,2,3で示した参照情報に替えて、搭乗者の属性情報のみを用いてもよいし、実施の形態1,2,3で示した参照情報のいずれか、または全てと搭乗者の属性情報とを組み合わせて用いてもよい。
図9は、この発明の実施の形態4に係る情報処理装置100aの構成を示すブロック図である。実施の形態4に係る情報処理装置100aは、図1に示した実施の形態1の情報処理装置100に対して属性情報蓄積部13および話者特定部14が追加され、参照情報取得部9および蓄積判定部10に替えて参照情報取得部9aおよび蓄積判定部10aを備えた構成である。図9において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
属性情報蓄積部13は、搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を記憶する。
属性情報蓄積部13は、搭乗者の口癖として、例えば「疲れた」、「無理」、「しんどい」、「めんどい」、「やばい」等、特に搭乗者の感情を示す口癖を記憶する。
属性情報蓄積部13は、搭乗者の趣味嗜好として、例えば車載機器での目的地の設定履歴、車載機器での訪問地点の履歴、視聴するテレビ番組または楽曲、通常の会話から推測される事項等を記憶する。
属性情報蓄積部13は、発話時の搭乗者の視線情報として、評価情報に含まれるキーワードを発話した搭乗者の、発話時の視線方向を記憶する。まず、発話者の視線方向を取得する方法は種々想定されるが、例えば発話者の特定を行った後、図示しない機器が特定された発話者の車載カメラによる撮像画像から発話時の視線方向を算出する。また、発話者の特定を行う方法としては、図示しない機器が発話音声の特徴量から発話者を特定する話者認識、車載カメラの撮像画像の画像認識を行った認識結果から発話者を特定する話者特定、マイクの指向性から発話者を特定する話者特定等により発話者を特定する。
属性情報蓄積部13は、発話時の搭乗者の表情情報として、評価情報に含まれるキーワードを発話した搭乗者の、発話時の表情を予め設定された感情表現のいずれかに分類した情報を記憶する。
発話者の表情情報を取得する方法は種々想定されるが、例えば図示しない機器が、発話者の特定を行った後、特定された発話者の車載カメラによる撮像画像から発話者の表情を推定し、近似する感情表現に分類する。具体的には、発話者の表情を、喜、怒、哀、楽、怖、恥、好、厭、昂、驚等の感情表現に分類する。
話者特定部14は、収集された発話音声の発話者を特定する。話者特定部14は、発話音声の特徴量と予め蓄積された搭乗者の発話音声の特徴量とを比較して発話者を特定する方法、車載カメラの撮像画像の画像認識を行って発話者を特定する方法、入力部1を構成するマイクの指向性から発話者の位置を特定して特定された位置に着席している搭乗者を発話者と特定する方法などを用いて、発話音声の発話者を特定する。話者特定部14が特定した発話者を示す情報は、情報抽出部3に出力される。
情報抽出部3は、抽出したキーワードと、発話者を示す情報とを評価情報作成部8に出力する。
評価情報作成部8は、情報抽出部3から入力されたキーワードと、発話時の日時情報と、発話時の車両の位置情報および発話時の車両の方位情報と、発話者を示す情報とを組み合わせて評価情報を作成する。
参照情報取得部9aは、評価情報作成部8が作成した評価情報が、発話者の口癖、発話者の趣味嗜好等に依存する情報でないか判断するための参照情報を取得する。参照情報取得部9aは、属性情報蓄積部13から発話者の状態を示す情報を取得する。ここでいう発話者の状態とは、上述した発話者の口癖、発話者の趣味嗜好、発話時の発話者の視線情報、発話時の搭乗者の表情情報等である。
蓄積判定部10aは、評価情報作成部8が作成した評価情報のキーワードと、参照情報取得部9aが取得した参照情報の発話者の状態を示す情報とを比較して、関連性を評価する。例えば、参照情報が、発話者の口癖を判断するための情報である場合、蓄積判定部10aは、参照情報と、評価情報のキーワードとを比較して、発話者の口癖が含まれていた場合には、蓄積制御部11に対して評価情報の蓄積を指示しない。これにより、個人の癖、個人の偏った発話等に基づく評価情報を蓄積してしまうのを抑制することができる。
また、参照情報が、発話者の趣味嗜好への依存を判断するための情報である場合、蓄積判定部10aは、参照情報と、評価情報のキーワードとを比較して、発話者の趣味嗜好が含まれていた場合には、蓄積制御部11に対して評価情報の蓄積を指示しない。これにより、個人の癖、個人の偏った発話に基づく評価情報を蓄積してしまうのを抑制することができる。
また、参照情報が発話者の視線情報である場合、蓄積判定部10aは、発話者の視線情報を参照して、発話者の発話時の視線が車外を向いていた場合には、蓄積制御部11に対して評価情報の蓄積を指示する。なお、視線情報を用いた判定は、その他の情報との比較と組み合わせて実施するのが望ましい。これにより、車外の情報について発話した可能性が高いキーワードを含む評価情報を蓄積することができる。
また、参照情報が発話者の表情情報である場合、蓄積判定部10aは、表情情報を用いて発話者の発話時の表情を、予め設定された感情表現のいずれかに分類する。蓄積判定部10aは、評価情報のキーワードに含まれる感情表現が、分類した感情表現と一致する場合には、蓄積制御部11に対して評価情報の蓄積を指示する。これにより、発話者の発話時の表情と、発話内容とが乖離している評価情報を蓄積してしまうのを抑制することができる。
次に、情報処理装置100aのハードウェア構成例を説明する。なお、実施の形態1と同一の構成の説明は省略する。
情報処理装置100aにおける参照情報取得部9aは、外部からの情報を入力する図3における入力装置101により実現される。また、情報処理装置100aにおける属性情報蓄積部13は、図3で示したメモリ103により実現される。また、情報処理装置100aにおける蓄積判定部10aおよび話者特定部14は、処理回路により実現される。処理回路は、図3で示したメモリ103に格納されるプログラムを実行するCPU(Central Processing Unit)102である。
次に、情報処理装置100aが、発話者の状態を示す情報を用いて評価情報を蓄積するか判定を行う動作について説明する。
図10は、実施の形態4による情報処理装置100aの動作を示すフローチャートである。図10において、図5で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
ステップST101で発話音声が収集されると、ステップST102の発話音声の認識処理と並行して、話者特定部14が収集された発話音声の発話者を特定する(ステップST501)。話者特定部14は、特定した発話者を示す情報を情報抽出部3に出力する。情報抽出部3はステップST103およびステップST104の処理によりキーワードを抽出する。情報抽出部3は、抽出したキーワードと、発話者を示す情報とを評価情報作成部8に出力する。位置情報取得部5は、ステップST105の処理により、発話時の日時情報、発話時の車両の位置情報および発話時の車両の方位情報を取得する。評価情報作成部8は、ステップST103で抽出されたキーワードと、発話時の日時情報と、ステップST105で取得された車両の位置情報および方位情報と、ステップST501で特定された発話者を示す情報とを組み合わせて評価情報を作成する(ステップST502)。
参照情報取得部9aは、ステップST502で作成された評価情報を評価するための参照情報を、属性情報蓄積部13等から取得する(ステップST503)。蓄積判定部10は、ステップST502で作成された評価情報に含まれるキーワードと、ステップST503で取得された参照情報とを比較し、関連性を評価する(ステップST504)。その後、フローチャートはステップST109の処理に進む。
次に、図10のフローチャートのステップST503からステップST109で示した、参照情報取得部9aおよび蓄積判定部10aの処理をより詳細に説明する。
図11は、実施の形態4に係る情報処理装置100aの参照情報取得部9aおよび蓄積判定部10aの動作を示すフローチャートである。なお、図11のフローチャートでは、参照情報取得部9aが、属性情報蓄積部13に記憶されている発話者の口癖を示す情報を取得する場合を例に説明する。なお、図11のフローチャートでは、評価情報にキーワードが含まれている場合を例に説明する。
参照情報取得部9aは、評価情報に含まれる発話者を示す情報から、キーワードの発話者を特定する(ステップST601)。参照情報取得部9aは、ステップST601で特定した発話者の口癖を示す情報を属性情報蓄積部13から取得する(ステップST602)。蓄積判定部10aは、ステップST602で取得された発話者の口癖を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の口癖が含まれているか判定を行う(ステップST603)。キーワードに発話者の口癖が含まれている場合(ステップST603;YES)、図10のフローチャートのステップST101に戻る。一方、キーワードに発話者の口癖が含まれていない場合(ステップST603;NO)、蓄積判定部10aは評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST604)、図10のフローチャートのステップST110の処理に進む。
同様に図12は、実施の形態4に係る情報処理装置100aの参照情報取得部9aおよび蓄積判定部10aの動作を示すフローチャートであり、参照情報取得部9aが、属性情報蓄積部13に記憶されている搭乗者の趣味嗜好を示す情報を取得する場合を例に示している。
図12において、図11で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部9aは、ステップST601で特定した発話者の趣味嗜好を示す情報を属性情報蓄積部13から取得する(ステップST611)。蓄積判定部10aは、ステップST605で取得された発話者の趣味嗜好を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の趣味嗜好が含まれているか判定を行う(ステップST612)。キーワードに発話者の趣味嗜好が含まれている場合(ステップST612;YES)、図10のフローチャートのステップST101に戻る。一方、キーワードに発話者の趣味嗜好が含まれていない場合(ステップST612;NO)、蓄積判定部10aは評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST604)、図10のフローチャートのステップST110の処理に進む。
同様に図13は、実施の形態4に係る情報処理装置100aの参照情報取得部9aおよび蓄積判定部10aの動作を示すフローチャートであり、参照情報取得部9aが、属性情報蓄積部13に記憶されている搭乗者の視線を示す情報を取得する場合を例に示している。
図13において、図11で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部9aは、ステップST601で特定した発話者の視線を示す情報を属性情報蓄積部13から取得する(ステップST621)。蓄積判定部10aは、ステップST621で取得された発話者の視線を示す情報から、発話者が車外を向いて発話しているか判定を行う(ステップST622)。発話者が車外を向いて発話していない場合(ステップST622;NO)、図10のフローチャートのステップST101に戻る。一方、発話者が車外を向いて発話している場合(ステップST622;YES)、蓄積判定部10aは評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST604)、図10のフローチャートのステップST110の処理に進む。
蓄積判定部10aは、ステップST604の処理が終了すると、参照情報取得部9aが視線を示す情報と異なる情報を参照情報として取得し、蓄積判定部10aが蓄積するか判断する処理に進むように構成してもよい。
同様に図14は、実施の形態4に係る情報処理装置100aの参照情報取得部9aおよび蓄積判定部10aの動作を示すフローチャートであり、参照情報取得部9aが、属性情報蓄積部13に記憶されている搭乗者の感情表現を示す情報を取得する場合を例に示している。
図14において、図11で示したフローチャート同一のステップには同一の符号を付し、説明を省略する。
参照情報取得部9aは、ステップST601で特定した発話者の感情表現を示す情報を属性情報蓄積部13から取得する(ステップST631)。蓄積判定部10aは、評価情報に含まれるキーワードに発話者の感情表現が含まれるか判定を行う(ステップST632)。発話者の感情表現が含まれない場合(ステップST632;NO)、図10のフローチャートのステップST101に戻る。一方、発話者の感情表現が含まれる場合(ステップST632;YES)、ステップST631で取得された発話者の感情表現を示す情報と、評価情報に含まれるキーワードとを比較して、発話者の感情表現を示す情報とキーワードの感情表現が一致するか判定を行う(ステップST633)。感情表現が一致しない場合(ステップST633;NO)、図10のフローチャートのステップST101に戻る。一方、感情表現が一致する場合(ステップST633;YES)、蓄積判定部10aは評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST604)、図10のフローチャートのステップST110の処理に進む。
以上のように、この実施の形態4によれば、搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を記憶する属性情報蓄積部13と、属性情報蓄積部13に記憶された情報から参照情報を取得する参照情報取得部9aと、評価情報作成部8が作成した評価情報と、参照情報取得部9aが取得した参照情報の発話者の状態を示す情報とを比較して、関連性を評価する蓄積判定部10aとを備えるように構成したので、発話者の癖、発話者の偏った発言等による評価情報の蓄積を抑制することができる。また、発話者の感情表現と一致した評価情報を蓄積することができ、信頼度の高い評価情報を蓄積することができる。
なお、上述した実施の形態4では、情報処理装置100aが属性情報蓄積部13を備える構成を示したが、情報処理装置100aが、情報処理装置100aの外部の機器から搭乗者の口癖、搭乗者の趣味嗜好、発話時の搭乗者の視線情報、発話時の搭乗者の表情情報等、搭乗者の状態を示す情報を取得する構成としてもよい。
実施の形態5.
この実施の形態5では、参照情報として評価情報に含まれるキーワード等に含まれる日時情報または位置情報(以下、それぞれキーワード日時情報、キーワード位置情報という)の少なくとも1つに基づいて評価情報の蓄積を判定する構成を示す。なお、実施の形態1−4で示した参照情報に替えて、キーワード日時情報またはキーワード位置情報のみを用いてもよいし、実施の形態1−4で示した参照情報とキーワード日時情報またはキーワード位置情報の少なくとも1つを組み合わせて用いてもよい。
実施の形態5に係る情報処理装置100の構成は、上記実施の形態1の図1に示した情報処理装置100の構成と図面上は同様であるため、ブロック図の記載を省略し、以下では図1を用いて説明する。
参照情報取得部9は、評価情報に含まれるキーワード等に含まれる、キーワード日時情報またはキーワード位置情報の少なくとも1つを参照情報として取得する。評価情報に含まれるキーワード日時情報のうち、日を示す情報としては、例えば、「今日」、「明日」等の相対的な表現、「○月○日」、「○○の日」等の絶対的な表現等がある。また、日時情報のうち、時を示す情報としては、例えば、「今」、「○○分前」等の相対的な表現、「○時○分」、「○時○分○秒」等の絶対的な表現等がある。評価情報に含まれるキーワード位置情報とは、「○○市で」、「○○県の」等の地名表現または番地等の住所表現等である。
蓄積判定部10は、参照情報取得部9が取得した参照情報にキーワード日時情報が含まれる場合には、当該評価情報に含まれる発話時の日時情報を取得し、双方の日時情報が同日同時刻を示しているかの判定を行う。ここで、2つ日時情報が同日同時刻を示しているか否かは、同一の日時情報を示しているか否か、あるいは、キーワード日時情報が発話時の日時情報と同日の同時刻を示していると判断可能な表現であるか否か等、ほぼ同一の日時であると判断可能な範囲に含まれる等の条件に基づいて判定する。即ち、厳密に同日同時刻である必要はない。
また、蓄積判定部10は、参照情報取得部9の参照情報に位置情報が含まれる場合には、評価情報に含まれる発話時の車両の位置情報を取得し、双方の位置情報が同一エリアに存在するか判定を行う。ここで、2つの位置情報が示す位置が同一エリアに存在しているかは、2つの位置情報が設定された領域内、例えば半径1km以内に共に存在している等の条件に基づいて判定する。即ち、厳密に位置が一致している必要はない。
次に、実施の形態1の図5のフローチャートのステップST107からステップST109の処理について、実施の形態5の参照情報取得部9および蓄積判定部10を適用した場合の、詳細な動作について説明する。
図15は、実施の形態5に係る情報処理装置100の参照情報取得部9および蓄積判定部10の動作を示すフローチャートである。
なお、図15のフローチャートでは、参照情報取得部9が評価情報に含まれるキーワードから日時情報を取得する場合を例に説明する。
参照情報取得部9は、評価情報作成部8が作成した評価情報に含まれるキーワード日時情報が含まれるか、即ち、当該評価情報にキーワード日時情報が含まれるかの判定を行う(ステップST701)。キーワードに日時情報が含まれない場合(ステップST701;NO)、図1のフローチャートのステップST101に戻る。一方、キーワード日時情報が含まれる場合(ステップST701;YES)、参照情報取得部9はキーワード日時情報を参照情報として蓄積判定部10に出力する(ステップST702)。蓄積判定部10は、キーワード日時情報を含む参照情報が入力されると、評価情報に含まれる発話時の日時情報を取得する(ステップST703)。蓄積判定部10は、ステップST702で入力された参照情報であるキーワード日時情報と、ステップST703で取得した発話時の日時情報とが同日同時刻を示しているか判定を行う(ステップST704)。2つの日時情報が同日同時刻を示していない場合(ステップST704;NO)、図1のフローチャートのステップST101の処理に戻る。
一方、2つの日時情報が同日同時刻を示している場合(ステップST704;YES)、蓄積判定部10は評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST705)、図5のフローチャートのステップST110の処理に進む。
同様に図16は、実施の形態5に係る情報処理装置100の参照情報取得部9および蓄積判定部10の動作を示すフローチャートであり、参照情報取得部9が、評価情報に含まれるキーワードから位置情報、即ちキーワード位置情報を取得する場合を例に説明する。なお図15のフローチャートは、評価情報に含まれるキーワードに合わせて、キーワードのジャンル、相対的な評価、または搭乗者の発話内容全ての情報のいずれかを含む場合にも適用可能である。
参照情報取得部9は、評価情報作成部8が作成した評価情報に含まれるキーワードに位置情報が含まれるか、即ちキーワード位置情報が含まれるか否かの判定を行う(ステップST711)。キーワード位置情報が含まれない場合(ステップST711;NO)、図1のフローチャートのステップST101に戻る。一方、キーワード位置情報が含まれる場合(ステップST711;YES)、参照情報取得部9はキーワード位置情報を参照情報として蓄積判定部10に出力する(ステップST712)。蓄積判定部10は、キーワード位置情報を含む参照情報が入力されると、評価情報に含まれる発話時の車両の位置情報を取得する(ステップST713)。
蓄積判定部10は、ステップST712で入力された参照情報であるキーワード位置情報と、ステップST713で取得した発話時の位置情報とが同一エリアに存在するか判定を行う(ステップST714)。2つの位置情報が同一エリアに存在していない場合(ステップST714;NO)、図1のフローチャートのステップST101の処理に戻る。一方、2つの位置情報が同一エリアに存在している場合(ステップST714;YES)、蓄積判定部10は評価情報を蓄積すると判断し、蓄積制御部11に出力し(ステップST715)、図5のフローチャートのステップST110の処理に進む。
以上のように、この実施の形態5によれば、評価情報作成部8がキーワードを含む情報と発話時の日時情報をさらに組み合わせて評価情報を作成し、参照情報取得部9が評価情報からキーワード日時情報またはキーワード位置情報を参照情報として取得し、蓄積判定部10が参照情報であるキーワード日時情報またはキーワード位置情報と、評価情報に含まれる発話時の日時情報または発話時の位置情報とを比較し、条件を満たす場合に評価情報を蓄積するように構成したので、現在の状況を示さない評価情報の登録を抑制することができ、蓄積する評価情報の信頼性を向上させることができる。特に、蓄積判定部10が参照情報の日時情報と発話時の日時情報とを比較することにより、信頼性の高い評価情報を登録することができる。
実施の形態6.
この実施の形態6では、参照情報として電話の通話状態を示す情報を用いる構成を示す。なお、実施の形態1−5で示した参照情報に替えて、電話の通話状態を示す情報のみを用いてもよいし、実施の形態1−5で示した参照情報と電話の通話状態を示す情報とを組み合わせて用いてもよい。
図17は、この発明の実施の形態6に係る情報処理装置100bの構成を示すブロック図である。実施の形態6に係る情報処理装置100bは、図1に示した実施の形態1の情報処理装置100に対して話者特定部14が追加された構成である。図17において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
話者特定部14は、収集された発話音声の発話者を特定する。話者特定部14は、発話音声の特徴量と予め蓄積された搭乗者の発話音声の特徴量とを比較して発話者を特定する方法、車載カメラの撮像画像の画像認識を行って発話者を特定する方法、入力部1を構成するマイクの指向性から発話者の位置を特定して特定された位置に着席している搭乗者を発話者と特定する方法などを用いて、発話音声の発話者を特定する。話者特定部14が特定した発話者を示す情報は、情報抽出部3に出力される。
評価情報作成部8は、情報抽出部3から入力されたキーワードと、発話時の日時情報と、発話時の車両の位置情報および発話時の車両の方位情報と、発話者を示す情報とを組み合わせて評価情報を作成する。
蓄積判定部10bは、発話者の通話状態を示す情報を取得する。発話者の通話状態を示す情報は、例えば車載カメラの撮像画像の画像認識により得られる情報、ハンズフリー通話の使用を示す情報等である。蓄積判定部10bは、この発話者の通話状態を示す情報を、例えば情報処理装置100bの外部の図示しない装置から取得する。蓄積判定部10bは、発話者の通話状態を示す情報を参照して、発話者が通話中である場合には、蓄積制御部11に対して評価情報の蓄積を指示しない。なお、通話状態を示す情報を用いた判定は、その他の情報との比較と組み合わせて実施するのが望ましい。
次に、情報処理装置100bのハードウェア構成例を説明する。なお、実施の形態1と同一の構成の説明は省略する。
情報処理装置100bにおける蓄積判定部10bおよび話者特定部14は、処理回路により実現される。処理回路は、図3で示したメモリ103に格納されるプログラムを実行するCPU(Central Processing Unit)102である。
図18は、実施の形態6による情報処理装置100bの動作を示すフローチャートである。図18において、図5で示した実施の形態1のフローチャート同一のステップには同一の符号を付し、説明を省略する。
ステップST101で発話音声が収集されると、ステップST102の発話音声の認識処理と並行して、話者特定部14が収集された発話音声の発話者を特定する(ステップST801)。話者特定部14は、特定した発話者を示す情報を情報抽出部3に出力する。情報抽出部3はステップST103およびステップST104の処理によりキーワードを抽出する。情報抽出部3は、抽出したキーワードと、発話者を示す情報とを評価情報作成部8に出力する。位置情報取得部5は、ステップST105の処理により、発話時の日時情報における発話時の車両の位置情報および発話時の車両の方位情報を取得する。評価情報作成部8は、ステップST103で抽出されたキーワードと、発話時の日時情報と、ステップST105で取得された発話時の車両の位置情報および発話時の車両の方位情報と、ステップST801で特定された発話者を示す情報とを組み合わせて評価情報を作成する(ステップST802)。
参照情報取得部9aは、ステップST802で作成された評価情報を評価するための参照情報を取得する(ステップST107)。蓄積判定部10bは、ステップST802で作成された評価情報に含まれる発話者を示す情報に示された発話者の通話状態を示す情報を取得する(ステップST803)。蓄積判定部10bは、ステップST803で取得した発話者の通話状態を示す情報を参照して発話者が通話中であるか判定する(ステップST804)。発話者が通話中である場合(ステップST804;YES)、ステップST101の処理に戻る。一方、発話者が通話中でない場合(ステップST804;NO)、ステップST108の処理に進む。
以上のように、この実施の形態6では、発話者の通話状態を示す情報を取得し、発話者が通話中である場合には評価情報を蓄積しないと判断する蓄積判定部10bを備えるように構成したので、移動体の外部の発話の可能性が低い通話中の発話に基づく評価情報を蓄積するのを抑制することができ、信頼度の高い評価情報を蓄積することができる。
実施の形態7.
この実施の形態7では、蓄積サーバ200の評価情報データベース23に蓄積された、過去の評価情報を取得し、車両の搭乗者に提示する構成を示す。
図19は、この発明の実施の形態7に係る情報処理装置100cの構成を示すブロック図である。実施の形態7に係る情報処理装置100cは、図1に示した実施の形態1の情報処理装置100に対して経路情報蓄積部15、評価情報取得部16、出力制御部17および出力部18が追加された構成である。図19において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
経路情報蓄積部15は、ナビゲーション装置などの車載機器に現在設定されている、目的地までの経路情報を取得して記憶する。また、経路情報蓄積部15は、車両の過去の走行履歴も記憶する。
評価情報取得部16は、車両の搭乗者に提示するための過去の評価情報を、通信部12を介して蓄積サーバ200から取得する。
評価情報取得部16は、経路情報蓄積部15から現在設定されている目的地までの走行経路を取得する。また、車両が目的地を設定しないまま走行している場合、評価情報取得部16は、経路情報蓄積部15から車両の過去の走行履歴を取得し、車両情報取得部6から入力される車両の現在位置に基づいて車両の目的地および走行経路を推測する。
評価情報取得部16は、現在設定されている走行経路、または推測される走行経路に関する過去の評価情報の取得要求を蓄積サーバ200に出力する。評価情報取得部16は、評価情報の取得要求に応じて蓄積サーバ200から送信された評価情報を取得する。評価情報取得部16は、取得した過去の評価情報を、走行経路と共に出力制御部17に出力する。
なお、経路情報蓄積部15は情報処理装置100c外にあって、評価情報取得部16は、情報処理装置100c外の経路情報蓄積部15からこれらの情報を取得してもよい。
出力制御部17は、評価情報取得部16から入力される経路情報に基づいて、過去の評価情報を走行経路上に割り当てる。
出力部18は、例えばスピーカまたはディスプレイ等であり、出力制御部17が割り当てた評価情報を各地点で音声出力、または表示出力する。
なお、出力部18は、情報処理装置100c外にあってもよい。
通信部12は、蓄積サーバ200と通信を行い、評価情報の送信に加えて、評価情報の取得要求を送信し、蓄積サーバ200の評価情報データベース23に蓄積された評価情報を受信する。また、通信部12は、外部のネットワークと通信を行う。
上述した評価情報取得部16および出力制御部17は、図3で示したハードウェア構成においてCPU201により実現され、経路情報蓄積部15は、メモリ202により実現される。また、出力部18は、図3では図示していないが、ハードウェア構成における出力装置により実現される。
次に、情報処理装置100cが過去の評価情報を搭乗者に提示するための動作について説明する。
図20は、実施の形態8に係る情報処理装置100aの評価情報の出力の動作を示すフローチャートである。
搭乗者が評価情報の表示指示を入力すると、評価情報取得部16は、経路情報蓄積部15を参照し、目的地までの走行経路が設定されているか判定を行う(ステップST901)。目的地までの走行経路が設定されていない場合(ステップST901;NO)、評価情報取得部16は、経路情報蓄積部15に記憶された車両の走行履歴から走行経路を推測する(ステップST902)。目的地までの走行経路が設定されている場合(ステップST901;YES)、およびステップST902で走行経路が推測された場合、評価情報取得部16は、走行経路に関連する過去の評価情報の取得要求を、通信部12を介して蓄積サーバ200に出力、即ち送信する(ステップST903)。
評価情報取得部16は、ステップST903で送信した出力要求に応じて、蓄積サーバ200から通信部12を介して過去の評価情報を受信すると(ステップST904)、受信した過去の評価情報と、走行経路とを出力制御部17に出力する(ステップST905)。出力制御部17は、過去の評価情報を走行経路上に割り当てる(ステップST906)。出力部18は、出力制御部17の割り当てに基づいて、各地点において評価情報を音声出力、または表示出力し(ステップST907)、処理を終了する。
以上のように、この実施の形態7によれば、移動体の目的地までの経路情報、または移動体の過去の走行履歴を蓄積する経路情報蓄積部15と、蓄積サーバ200から過去の評価情報を取得する評価情報取得部16と、経路情報に基づいて過去の評価情報を走行経路上に割り当てる出力制御部17および評価情報を対応する地点で出力する出力部18を備えるように構成したので、過去に蓄積された評価情報を走行経路に沿って表示することができる。
なお、上述した実施の形態1−7で示したいずれかの情報処理装置100,100a,100b,100c機能を、移動体の搭乗者が携帯する携帯端末に搭載し、その携帯端末が評価情報を作成し、評価情報の蓄積を判断するように構成してもよい。
実施の形態8.
この実施の形態8では、上述した実施の形態1−7の機能を備えた情報処理サーバの構成を示す。なお、以下では、実施の形態1の機能を備えた情報処理サーバの例を示すが、実施の形態2−7の機能を備えた情報処理サーバを構成することが可能である。
図21は、実施の形態8に係る情報処理サーバ300の構成を示すブロック図である。図21において実施の形態1−7と同一または相当する部分は、同一の符号を付し説明を省略する。
情報処理サーバ300は、通信部12、制御部301、キーワードデータベース4、地図データベース7および評価情報データベース23を備える。
また、制御部301は、情報抽出部3、位置情報取得部5、評価情報作成部8、参照情報取得部9、蓄積判定部10、蓄積制御部11および出力制御部17を備える。
情報抽出部3は、情報処理サーバ300の外部の装置が取得した音声認識結果を取得するものとする。位置情報取得部5は、情報処理サーバ300の外部の装置が取得した車両情報を取得するものとする。
情報処理サーバ300は、蓄積判定部10が蓄積すると判定した評価情報を、蓄積制御部11を介して自身の装置内の評価情報データベース23に蓄積する。
また、情報処理サーバ300は、通信部12が他の機器からの送信された評価情報の取得要求を受信すると、当該取得要求に応じて、出力制御部17が評価情報データベース23に蓄積した対応する評価情報を読み出して、通信部12を介して他の機器に送信する。

以上のように、この実施の形態8によれば、搭乗者の発話の音声認識結果からキーワードを抽出する情報抽出部3と、発話時の移動体の位置情報を取得する位置情報取得部5と、キーワードと、発話時の移動体の位置情報とを組み合わせた評価情報を作成する評価情報作成部8と、キーワードに関連する事象について、現在の状況を示す情報を参照情報として取得する参照情報取得部9と、評価情報と参照情報とを比較して評価情報を蓄積するか否か判定する蓄積判定部10とを備えるように構成したので、特定の地物が存在しない場合の搭乗者の発話内容を認識し、認識結果から抽出されたキーワードに関連する情報のうち現在の状況が反映された参照情報を用いて評価情報を評価して蓄積するか否かを判定することをできる。これにより、発話が行われた地点とは関係のない発話、発話の対象である事象の現在の状況を反映していない発話等に基づいて評価情報が蓄積されるのを抑制することができる。その結果、各事象に対する信頼性の高い評価情報を効率的に蓄積することができる。
なお、上述した実施の形態8では、実施の形態1−7の機能を情報処理サーバ300が備える構成を示したが、情報処理サーバ300に限定されることなく、可能であれば図示しない携帯端末が備えて実現してもよい。また、情報処理装置100、情報処理サーバ300および図示しない携帯端末が連携して、実施の形態1−7で示した機能を実現してもよい。また、情報処理装置100と図示しない携帯端末の連携、または情報処理装置100と情報処理サーバ300の連携により、実施の形態1−7で示した機能を実現してもよい。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
1 入力部、2 音声認識部、3 情報抽出部、4 キーワードデータベース、5 位置情報取得部、6 車両情報取得部、7 地図データベース、8 評価情報作成部、9,9a 参照情報取得部、10,10a,10b 蓄積判定部、11 蓄積制御部、12,21 通信部、13 属性情報蓄積部、14 話者特定部、15 経路情報蓄積部、16 評価情報取得部、17 出力制御部、22,301 制御部、23 評価情報データベース、100,100a,100b,100c 情報処理装置、200 蓄積サーバ、300 情報処理サーバ。

Claims (9)

  1. 移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組
    み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていた場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていない場合には前記評価情報を蓄積すると判定する情報処理装置。
  2. 移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組
    み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者が前記キーワードを発話した時の表情を含む属性情報を取得し、
    前記蓄積判定部は、前記表情を予め設定された感情表現のいずれかに分類し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致する場合には前記評価情報を蓄積すると判定し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致しない場合には前記評価情報を蓄積しないと判定する情報処理装置。
  3. 移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、電話の通話状態を示す情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者が通話中である場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者が通話中でない場合には前記評価情報を蓄積すると判定する情報処理装置。
  4. 外部機器と通信する通信部と、
    前記通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記通信部を介して入力された前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか判定する蓄積判定部と、
    前記蓄積判定部が蓄積すると判定した前記評価情報を蓄積する蓄積部と、
    前記通信部を介して前記外部機器から前記評価情報の取得要求が入力された場合に、前記蓄積部に蓄積された評価情報を取得し、前記外部機器に出力するための制御を行う出力
    制御部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていた場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていない場合には前記評価情報を蓄積すると判定する情報処理サーバ。
  5. 外部機器と通信する通信部と、
    前記通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記通信部を介して入力された前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか判定する蓄積判定部と、
    前記蓄積判定部が蓄積すると判定した前記評価情報を蓄積する蓄積部と、
    前記通信部を介して前記外部機器から前記評価情報の取得要求が入力された場合に、前記蓄積部に蓄積された評価情報を取得し、前記外部機器に出力するための制御を行う出力制御部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者が前記キーワードを発話した時の表情を含む属性情報を取得し、
    前記蓄積判定部は、前記表情を予め設定された感情表現のいずれかに分類し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致する場合には前記評価情報を蓄積すると判定し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致しない場合には前記評価情報を蓄積しないと判定する情報処理サーバ。
  6. 外部機器と通信する通信部と、
    前記通信部を介して入力された移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記通信部を介して入力された前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか判定する蓄積判定部と、
    前記蓄積判定部が蓄積すると判定した前記評価情報を蓄積する蓄積部と、
    前記通信部を介して前記外部機器から前記評価情報の取得要求が入力された場合に、前記蓄積部に蓄積された評価情報を取得し、前記外部機器に出力するための制御を行う出力制御部と
    前記搭乗者のうち話者を特定する話者特定部とを備え、
    前記情報抽出部が抽出する情報は、前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、電話の通話状態を示す情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者が通話中である場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者が通話中でない場合には前記評価情報を蓄積すると判定する情報処理サーバ。
  7. コンピュータを、
    移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組
    み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得す
    る参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報と
    を比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部として機能させ、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者の口癖を含む属性情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていた場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者の口癖が前記キーワードに含まれていない場合には前記評価情報を蓄積すると判定するように機能させるためのプログラム。
  8. コンピュータを、
    移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部として機能させ、
    前記情報抽出部が抽出する情報は、キーワード及び前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、前記話者特定部により話者であると特定された搭乗者が前記キーワードを発話した時の表情を含む属性情報を取得し、
    前記蓄積判定部は、前記表情を予め設定された感情表現のいずれかに分類し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致する場合には前記評価情報を蓄積すると判定し、前記キーワードに含まれる感情表現と前記表情から分類された感情表現とが一致しない場合には前記評価情報を蓄積しないと判定するように機能させるためのプログラム。
  9. コンピュータを、
    移動体の搭乗者の発話の音声認識結果から情報を抽出する情報抽出部と、
    前記発話時の前記移動体の位置情報を取得する位置情報取得部と、
    前記情報抽出部が抽出した情報と、前記位置情報取得部が取得した前記位置情報とを組み合わせた評価情報を作成する評価情報作成部と、
    前記評価情報作成部が作成した評価情報に関連する事象の現況を参照情報として取得する参照情報取得部と、
    前記評価情報作成部が作成した評価情報と、前記参照情報取得部が取得した参照情報とを比較し、前記評価情報を蓄積するか否かを判定する蓄積判定部と
    前記搭乗者のうち話者を特定する話者特定部として機能させ、
    前記情報抽出部が抽出する情報は、前記話者特定部により話者であると特定された搭乗者を示す情報を含み、
    前記参照情報取得部は、前記参照情報として、電話の通話状態を示す情報を取得し、
    前記蓄積判定部は、前記話者特定部により話者であると特定された搭乗者が通話中である場合には前記評価情報を蓄積しないと判定し、前記話者特定部により話者であると特定された搭乗者が通話中でない場合には前記評価情報を蓄積すると判定するように機能させるためのプログラム。
JP2016013269A 2016-01-27 2016-01-27 情報処理装置、情報処理サーバおよびプログラム Active JP6590710B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016013269A JP6590710B2 (ja) 2016-01-27 2016-01-27 情報処理装置、情報処理サーバおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016013269A JP6590710B2 (ja) 2016-01-27 2016-01-27 情報処理装置、情報処理サーバおよびプログラム

Publications (2)

Publication Number Publication Date
JP2017134577A JP2017134577A (ja) 2017-08-03
JP6590710B2 true JP6590710B2 (ja) 2019-10-16

Family

ID=59503705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016013269A Active JP6590710B2 (ja) 2016-01-27 2016-01-27 情報処理装置、情報処理サーバおよびプログラム

Country Status (1)

Country Link
JP (1) JP6590710B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7064952B2 (ja) * 2018-05-17 2022-05-11 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム
JP7095431B2 (ja) * 2018-06-19 2022-07-05 トヨタ自動車株式会社 情報処理装置、情報処理方法、情報処理システム
JP6664596B2 (ja) * 2018-08-30 2020-03-13 ヤフー株式会社 評価装置、評価方法及び評価プログラム
JP7337965B2 (ja) * 2020-02-10 2023-09-04 三菱電機株式会社 発話者推定装置
KR102468307B1 (ko) * 2021-02-06 2022-11-17 주식회사 엠에이치엔씨티 주차 및 주행시 차량용 블랙박스 이벤트 감지시스템 및 이벤트 학습방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4909633B2 (ja) * 2006-05-12 2012-04-04 ヤフー株式会社 投稿情報の評価方法およびシステム
JP2009104319A (ja) * 2007-10-22 2009-05-14 Navitime Japan Co Ltd 交通機関障害情報および復旧情報提供システム、情報提供サーバ、携帯端末装置ならびに交通機関障害情報および復旧情報提供方法
JP5372254B2 (ja) * 2010-07-21 2013-12-18 楽天株式会社 サーバ装置、投稿情報処理方法、投稿情報処理プログラム及び記録媒体
US20140259189A1 (en) * 2013-03-11 2014-09-11 Qualcomm Incorporated Review system
JP6173477B2 (ja) * 2013-10-22 2017-08-02 三菱電機株式会社 ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
JP5683726B2 (ja) * 2014-03-17 2015-03-11 ヤフー株式会社 情報提供装置及び情報提供方法
JP6022627B2 (ja) * 2014-03-27 2016-11-09 株式会社電通 避難支援システム、避難支援用管理プログラム、避難支援用端末アプリケーションプログラム及び避難支援方法

Also Published As

Publication number Publication date
JP2017134577A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6590710B2 (ja) 情報処理装置、情報処理サーバおよびプログラム
CN109801491A (zh) 基于风险评估的智能导航方法、装置、设备及存储介质
KR20180070970A (ko) 음성 인식 방법 및 장치
CN107850455B (zh) 提供具有可通航路线的导航系统
CN111762147B (zh) 控制装置、控制方法以及存储程序的存储介质
JP2007017990A (ja) 単語列認識装置
US8645143B2 (en) Systems and methods of performing speech recognition using global positioning (GPS) information
US20100292917A1 (en) System and method for guiding a user through a surrounding environment
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
JP6173477B2 (ja) ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
JP6846617B2 (ja) 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
JP4156563B2 (ja) 単語列認識装置
JP2006251298A (ja) 音声入力装置および音声入力方法
KR20200000155A (ko) 대화 시스템 및 이를 이용한 차량
US20220365991A1 (en) Method and apparatus for enhancing a geolocation database
KR20190011458A (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
JP7426176B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム、およびサーバ
JP2018097292A (ja) 感情識別装置、感情識別方法および感情識別プログラム
JP6956232B2 (ja) 探索システム、探索方法、および探索プログラム
KR20200006738A (ko) 대화 시스템 및 대화 처리 방법
US20180090133A1 (en) Keyword generation apparatus and keyword generation method
JP4497526B2 (ja) ナビゲーション装置、情報呈示方法、およびナビゲーション用プログラム
US9803991B2 (en) Route guide device and route guide method
JP4661379B2 (ja) 車載音声認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R150 Certificate of patent or registration of utility model

Ref document number: 6590710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250