JP5042799B2 - 音声チャットシステム、情報処理装置およびプログラム - Google Patents

音声チャットシステム、情報処理装置およびプログラム Download PDF

Info

Publication number
JP5042799B2
JP5042799B2 JP2007325275A JP2007325275A JP5042799B2 JP 5042799 B2 JP5042799 B2 JP 5042799B2 JP 2007325275 A JP2007325275 A JP 2007325275A JP 2007325275 A JP2007325275 A JP 2007325275A JP 5042799 B2 JP5042799 B2 JP 5042799B2
Authority
JP
Japan
Prior art keywords
keyword
information
information processing
processing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007325275A
Other languages
English (en)
Other versions
JP2008287697A5 (ja
JP2008287697A (ja
Inventor
宜典 倉田
浩明 小川
元樹 中出
等 本田
大介 石塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007325275A priority Critical patent/JP5042799B2/ja
Priority to US12/102,158 priority patent/US8620658B2/en
Priority to CN2008100904833A priority patent/CN101309327B/zh
Priority to TW097113830A priority patent/TWI506982B/zh
Publication of JP2008287697A publication Critical patent/JP2008287697A/ja
Publication of JP2008287697A5 publication Critical patent/JP2008287697A5/ja
Application granted granted Critical
Publication of JP5042799B2 publication Critical patent/JP5042799B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、音声チャットシステム、情報処理装置およびプログラムに関する。
インターネット関連技術の発達により、パーソナルコンピュータ(Personal Computer:PC)間で、音声によるチャット(以下、「音声チャット」ともいう。)を実現することが可能となった。
PCにインストールされた音声チャットアプリケーション等で会話内容と関連する情報をPCの表示装置に表示等できれば、チャットを行っているユーザの利便性を向上できる。このような観点から、音声チャットの会話内容を音声認識し、キーワードを抽出してデータベースから関連する情報を検索して画面に表示するシステムが、既に報告されている(特許文献1参照。)。
他方、音声チャットとは関係なく、単純に2台のPCのブラウザで同じ画面を見ることが出来るように同期するシステムについても、既に発表されている。
特許第3526101号公報
しかしながら、特許文献1に記載のシステムでは、画面に表示されている情報を共有するために、ユーザが音声チャットの相手に対して、手動で画面に表示されている情報を送信しなくてはならず、コミュニケーションに不向きであるという問題があった。
また、PCのブラウザで同じ画面を見ることが出来るように同期するシステムでは、会話とは無関係にシステムが構成されているため、会話の話題が変わる都度ユーザが手入力をして会話と関係のあるサイトを選択していく作業をする必要があり、会話内容や、話者全員の端末全てを自動的かつ効率的に同期させることが出来ないという問題があった。
そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、音声チャットの会話内容と関連するキーワードを自動的かつ効率的に同期することが可能な、新規かつ改良された音声チャットシステム、情報処理装置およびプログラムを提供することにある。
さらに、本発明は、放送局から送信された放送情報中に含まれるキーワードを自動的かつ効率的に同期することが可能な、新規かつ改良された情報処理装置およびプログラムを提供する。
上記課題を解決するために、本発明のある観点によれば、音声チャットを行う複数の情報処理装置と、情報処理装置が、音声チャットの会話の中からキーワードを抽出する際に参照するキーワード抽出データベースと、情報処理装置が、抽出されたキーワードを用いて当該キーワードおよび当該キーワードに関連する記事を検索する検索エンジンと、を備え、少なくとも1つの情報処理装置は、会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、生成された音声データを認識し、パラメータおよびキーワード抽出データベースに基づいて音声データからキーワードを抽出するキーワード抽出部と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索部と、キーワードの検索結果の所在情報と関連付けられた当該キーワードと、キーワードに関連する記事の所在情報と関連付けられた当該記事と、をそれぞれ表示する表示部と、抽出されたキーワードをチャットの相手である情報処理装置に送信し、当該チャットの相手である情報処理装置とのキーワードの同期を行うキーワード同期部と、を備える音声チャットシステムが提供される。
かかる構成によれば、音声チャットを行う情報処理装置のパラメータ抽出部は、音声チャットの会話を取り込んで生成された音声データから当該音声データを特徴付けるパラメータを抽出し、キーワード抽出部は、生成された音声データを認識してキーワード抽出データベースおよび上記パラメータに基づいて音声データからキーワードを抽出し、情報検索部は、抽出したキーワードを検索エンジンによって検索して、キーワードの検索結果およびキーワードに関連する記事を取得し、表示部は、キーワードおよびキーワードに関連する記事を、当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連づけて表示し、キーワード同期部は、抽出されたキーワードをチャット相手である情報処理装置に送信し、チャットの相手である情報処理装置とキーワードの同期を行う。本発明に係る音声チャットシステムは、音声チャットの会話内容を自動的に音声認識してキーワードを抽出し、キーワードを自動的に音声チャットのチャット相手に送信するため、音声チャットの利便性を高めることが可能である。
上記課題を解決するために、本発明の別の観点によれば、他の情報処理装置との間で音声チャットを行う情報処理装置であって、音声チャットでの会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、生成された音声データを認識し、キーワード抽出データベースおよび上記パラメータに基づいて音声データからキーワードを抽出するキーワード抽出部と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索部と、検索結果および記事を当該検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する検索情報蓄積部と、を備える情報処理装置が提供される。
かかる構成によれば、パラメータ抽出部は、音声チャットでの会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出し、キーワード抽出部は、生成された音声データを認識し、キーワード抽出データベースに基づいて音声データからキーワードを抽出し、情報検索部は、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得し、検索情報蓄積部は、キーワードおよびキーワードに関連する記事を当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する。音声データの生成から検索情報の取得までの処理は、情報処理装置によって自動的に行われるために、情報処理装置のユーザは、特別な作業をする必要がなく、また、音声チャットの話題となりうる情報を自動的に取得することが可能となる。
上記の情報処理装置は、抽出したキーワードをチャットの相手である情報処理装置に送信し、当該チャットの相手である情報処理装置とのキーワードの同期を行うキーワード同期部を更に備えてもよい。かかる構成によれば、キーワード同期部は、抽出したキーワードをチャットの相手である情報処理装置に送信して、キーワードの同期処理を行う。抽出したキーワードをチャットの相手である情報処理装置に自動的に送信するので、音声チャットの相手同士は、特別な作業をすることなく、抽出したキーワードを共有することが可能となる。
上記の情報処理装置は、キーワード抽出データベースを記憶するデータベース記憶部を更に備えてもよい。かかる構成によれば、キーワード抽出データベースが、情報処理装置に設けられたデータベース記憶部に格納されることとなり、情報処理装置がキーワード抽出データベースにアクセスするために要する時間を短縮することができる。その結果、情報処理装置において、キーワード抽出に要する時間を短縮することができる。
上記の情報処理装置は、検索エンジンを当該情報処理装置内に備えてもよい。かかる構成によれば、検索エンジンが情報処理装置に配置されることとなる。その結果、情報処理装置が検索エンジンにアクセスするために要する時間を短縮することができる。その結果、キーワードに関連する情報検索に要する時間を短縮することができる。
上記の情報処理装置は、キーワードの検索結果の所在情報と関連付けられた当該キーワードと、キーワードに関連する記事の所在情報と関連付けられた当該記事とをそれぞれ表示する表示部を更に備えてもよい。かかる構成によれば、表示部には、キーワードおよびキーワードに関連する記事が、キーワードの検索結果の所在情報および記事の所在情報とそれぞれ関連づけられて表示される。キーワードだけでなくキーワードに関連する記事が併せて記載されるため、併せて表示された記事の中に興味のある情報がある場合には、興味のある情報に、容易に情報にアクセスすることができる。
上記の情報処理装置は、キーワードの参照履歴を記憶する参照履歴記憶部を更に備えてもよい。かかる構成によれば、情報処理装置に設けられた参照履歴記憶部には、キーワードの参照履歴が格納される。情報処理装置が音声データからキーワードを抽出する際に参照履歴記憶部を参照することで、効率の良いキーワード抽出を行うことができる。
上記の参照履歴記憶部は、参照したキーワードと個々のチャットに付与される識別子とを関連付けて記憶するとともに、参照したキーワードとチャット相手とを関連付けて記憶してもよい。かかる構成によれば、参照したキーワードに関する情報と、個々のチャットに付与される識別子およびチャット相手とが、関連づけられて参照履歴記憶部に記憶される。かかる参照履歴記憶部の記憶内容を用いることで、より効率的なキーワード抽出を行うことが可能となる。
上記のキーワード抽出部は、参照履歴の上位に位置するキーワードを優先的に抽出してもよく、検索エンジンの上位検索キーワードを優先的に抽出してもよい。かかる構成によれば、参照履歴の上位に位置するキーワードや検索エンジンの上位検索キーワードが、キーワード抽出部により優先的に抽出される。このようなキーワードは、音声チャットにおいて話題となりうるキーワードであるため、音声認識における認識精度を向上させることが可能となる。
上記課題を解決するために、本発明の更に別の観点によれば、音声チャットでの会話より生成された音声データから当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、生成された音声データを認識し、キーワード抽出データベースおよび上記パラメータに基づいて音声データからキーワードを抽出するキーワード抽出部と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索部と、キーワードおよび記事を当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する検索情報蓄積部と、を備える他の情報処理装置との間で音声チャットを行う情報処理装置であって、上記の他の情報処理装置から自動的に送信されたキーワードを受信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期部を備える情報処理装置が提供される。
かかる構成によれば、キーワード同期部は、パラメータ抽出部と、キーワード抽出部と、情報検索部と、検索情報蓄積部とを備える音声チャットの相手である他の情報処理装置からキーワードを受信して、他の情報処理装置とのキーワードの同期を行う。音声認識やキーワード抽出といった負荷のかかる処理を、音声チャットの相手である他の情報処理装置に実行してもらうことが可能となるため、情報処理装置に負荷をかけることなく音声チャットを行うことが可能となる。
上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、音声チャットでの会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出機能と、生成された音声データを認識し、キーワード抽出データベースおよび上記パラメータに基づいて音声データからキーワードを抽出するキーワード抽出機能と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する情報を取得する情報検索機能と、キーワードおよび記事を当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する検索情報蓄積機能と、を実現させるためのプログラムが提供される。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、他の情報処理装置から送信されたキーワードを受信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期機能を実現させるためのプログラムが提供される。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
上記課題を解決するために、本発明の更に別の観点によれば、放送局から送信された放送文字情報を受信する放送文字情報受信部と、キーワード抽出データベースに基づいて放送文字情報からキーワードを抽出するキーワード抽出部と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索部と、外部表示装置との接続制御を行い、キーワード、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する外部表示装置接続制御部と、を備える情報処理装置が提供される。
かかる構成によれば、放送文字情報受信部は、放送局から送信された放送文字情報を受信し、キーワード抽出部は、キーワード抽出データベースに基づいて放送文字情報からキーワードを抽出し、情報検索部は、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得し、外部表示装置接続制御部は、外部表示装置との接続制御を行い、キーワード、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する。放送文字情報の受信から検索情報の取得までの処理は、情報処理装置によって自動的に行われるために、情報処理装置のユーザは、特別な作業をする必要がなく、また、取得した検索情報を外部表示装置に自動的に表示させることが可能となる。
放送文字情報受信部は、情報処理装置に接続された外部表示装置から、当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報と、放送チャンネルに対応する放送文字情報と、を取得してもよい。また、放送文字情報受信部は、情報処理装置に接続された外部表示装置から当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報を取得するとともに、放送局から放送チャンネルに対応した放送文字情報を取得してもよい。
情報処理装置は、外部表示装置でのキーワードの参照履歴を記憶する参照履歴記憶部を更に備え、外部表示装置接続制御部は、外部表示装置で選択されたキーワードを、検索エンジンに通知してもよい。
情報処理装置は、抽出したキーワードを他の情報処理装置に送信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期部を更に備えてもよい。
上記課題を解決するために、本発明の更に別の観点によれば、放送局から送信された放送音声情報を受信する放送音声情報受信部と、放送音声情報に含まれる音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、音声データを認識し、キーワード抽出データベースおよびパラメータに基づいて音声データからキーワードを抽出するキーワード抽出部と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索部と、外部表示装置との接続制御を行い、キーワード、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する外部表示装置接続制御部と、を備える情報処理装置が提供される。
かかる構成によれば、放送音声情報受信部は、放送局から送信された放送音声信号を受信し、パラメータ抽出部は、放送音声情報に含まれる音声データから、当該音声データを特徴付けるパラメータを抽出し、キーワード抽出部は、音声データを認識し、キーワード抽出データベースおよびパラメータに基づいて音声データからキーワードを抽出し、情報検索部は、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得し、外部表示装置接続制御部は、外部表示装置との接続制御を行い、キーワード、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する。放送音声情報に含まれる音声データの受信から検索情報の取得までの処理は、情報処理装置によって自動的に行われるために、情報処理装置のユーザは、特別な作業をする必要がなく、また、取得した検索情報を外部表示装置に自動的に表示させることが可能となる。
放送音声情報受信部は、情報処理装置に接続された外部表示装置から、当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報と、放送チャンネルに対応する放送音声情報と、を取得してもよい。また、放送音声情報受信部は、情報処理装置に接続された外部表示装置から当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報を取得するとともに、放送局から放送チャンネルに対応した放送音声情報を取得してもよい。
情報処理装置は、外部表示装置でのキーワードの参照履歴を記憶する参照履歴記憶部を更に備え、外部表示装置接続制御部は、外部表示装置で選択されたキーワードを、検索エンジンに通知してもよい。
情報処理装置は、抽出したキーワードを他の情報処理装置に送信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期部を更に備えてもよい。
上記課題を解決するために、本発明の更に別の観点によれば、放送局から放送された放送文字情報を受信する放送文字情報受信機能と、キーワード抽出データベースに基づいて放送文字情報からキーワードを抽出するキーワード抽出機能と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索機能と、外部表示装置との接続制御を行い、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する外部表示装置接続制御機能と、を実現させるためのプログラムが提供される。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、放送局から放送された放送音声情報を受信する放送音声情報受信機能と、放送音声情報に含まれる音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出機能と、音声データを認識し、キーワード抽出データベースおよびパラメータに基づいて音声データからキーワードを抽出するキーワード抽出機能と、抽出したキーワードを検索エンジンによって検索し、キーワードの検索結果およびキーワードに関連する記事を取得する情報検索機能と、外部表示装置との接続制御を行い、キーワードの検索結果およびキーワードに関連する記事を外部表示装置へと出力する外部表示装置接続制御機能と、を実現させるためのプログラムが提供される。
かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
本発明によれば、音声チャットの会話内容と関連するキーワードを自動的かつ効率的に同期することが可能である。また、本発明によれば、放送情報中に含まれるキーワードを自動的かつ効率的に同期することが可能である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
以下に、本発明の第1の実施形態に係る音声チャットシステムについて、詳細に説明する。
図1は、本実施形態に係る音声チャットシステムを説明するための説明図である。音声チャットシステム10は、例えば、通信網12と、情報処理装置20A、20Bと、キーワード抽出データベース30と、検索エンジン40と、を含む。
通信網12は、情報処理装置20、キーワード抽出データベース30および検索エンジン40を双方向通信または一方向通信可能に接続する通信回線網である。この通信網12は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網等で構成されており、有線/無線を問わない。
情報処理装置20は、通信網12を介して接続された他の情報処理装置20と、音声によるチャット(音声チャット)を行う。また、情報処理装置20は、通信網12に接続されているキーワード抽出データベース30および検索エンジン40に対して、通信網12を介してデータベースの参照を要求したり、情報の検索を要求したりすることができる。また、音声チャットを行う他の情報処理装置20は、図示のように通信網12を介して接続されていてもよく、また、通信網12を介さずに、例えば、USB(Universal Serial Bus)ポートや、i.Link等のIEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等により直接接続されていてもよい。
なお、図示の例では、情報処理装置20として、デスクトップ型のPCを示しているが、本実施形態に係る情報処理装置20は、デスクトップ型PC、ノート型PCを問わない。また、本実施形態に係る情報処理装置20は、かかる例に限定されず、ネットワークを介した通信機能を有する機器であれば、例えば、テレビジョン受像器や家庭用ゲーム機等の情報家電、携帯電話、PDA(Personal Digital Assistant)等で構成することもできる。また、情報処理装置20は、契約者が持ち運びできるポータブルデバイス(Portabale Device)、例えば、携帯型ゲーム機、PHS、携帯型映像/音声プレーヤなどであってもよい。
さらに、図1では、通信網12に接続されている情報処理装置20は、2つのみであるが、本実施形態は、上記の場合に限定されるわけではなく、情報処理装置20は、通信網12上に複数接続されていてもよい。
キーワード抽出データベース30は、情報処理装置20が音声データとなった音声チャットでの会話内容からキーワードを抽出する際に、情報処理装置20が参照するデータベースである。このキーワード抽出データベース30には、キーワードとなる単語についての発音、音韻、音節の連鎖関係を記述したモデルおよびキーワードのカテゴリ等の各種情報が記載されている。キーワード抽出データベース30には、例えば、検索エンジンの上位検索キーワードや、ブログの話題となっている頻度の高い用語等がキーワードとして記載されている。また、このキーワード抽出データベース30は、検索エンジン(検索サーバ)の上位検索キーワードやブログの話題となっている頻度の高い用語等の変化に応じて記載が随時更新される動的なデータベースであってもよく、静的なデータベースであってもよい。さらに、キーワード抽出データベース30に記載されているキーワードは、例えばPLSA(Probabilistic Latent Semantic Analysis)モデル等で処理され、適切な話題ベクトルの形に変換されていてもよい。ここで、話題ベクトルとは、任意の話題をベクトル空間に表現して、話題の共通性等について判断するために利用されるものである。また、キーワード抽出データベース30に記載されているキーワードには、後述する認識重み情報が付加されていてもよい。
ここで、上記のキーワードとなる単語についての発音、音韻、音節の連鎖関係とは、キーワードとしてキーワード抽出データベース30に記載されている各単語が、発音、音韻、音節といった観点において、互いにどのように連鎖するか(接続するか)を表す関係であり、このような連鎖関係を記述する方法としては、例えば、統計的な単語連鎖確率(n−gramやclass n−gram)、生成文法、有限状態オートマトン等がある。
検索エンジン40は、インターネット等で公開されている情報や非公開となっている情報等についてキーワード等を使って検索できるWebサイト等のデータベースである。本実施形態に係る検索エンジン40は、キーワードによって蓄えられている情報の全文検索を行う全文検索型であってもよく、カテゴリ別に分類されている情報を検索するディレクトリ型であってもよい。
(情報処理装置20の構成)
次に、本実施形態に係る情報処理装置20のハードウェア構成について、図2を参照しながら簡単に説明する。
なお、以下の説明において、単語とは、音声を認識する処理において、1つのまとまりとして扱った方がよい単位のことを言い、言語学的な単語とは必ずしも一致しない。例えば、「タロウ君」は、それ全体を1単語として扱ってもよいし、「タロウ」、「君」という2単語として扱ってもよい。さらに、もっと大きな単位である「こんにちはタロウ君」等を1単語として扱ってもよい。
また、音韻とは、音響的に1つの単位として扱った方が処理上都合のよいもののことを言い、音声学的な音韻や音素とは必ずしも一致しない。例えば、「東京」の「とう」の部分を“t/o/u”という3個の音韻記号で表すことも可能であり、または“o”の長音である“o:”という記号を用意してもよい。さらに、“t/o/o”と表してもよい。他にも、無音を表す記号を用意してもよく、さらに無音を表す記号を「発話前の無音」「発話に挟まれた短い無音区間」「「っ」」の部分の無音」のように細かく分類してもよい。
図2は、本実施形態にかかる情報処理装置20のハードウェア構成を示した説明図である。情報処理装置20は、主に、CPU(Central Processing Unit)201と、ROM(Read Only Memory)203と、RAM(Random Access Memory)205と、ホストバス207と、ブリッジ209と、外部バス211と、インターフェース213と、入力装置215と、出力装置217と、ストレージ装置219と、ドライブ221と、通信装置223とを備える。
CPU201は、演算処理装置および制御装置として機能し、ROM203、RAM205、ストレージ装置219、またはリムーバブル記録媒体14に記録された各種プログラムに従って情報処理装置20内の動作全般またはその一部を制御する。ROM203は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM205は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス207により相互に接続されている。
ホストバス207は、ブリッジ209を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス211に接続されている。
入力装置215は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバー等のユーザが操作する操作手段と、マイクロフォンやヘッドセット等の音声入力手段とを備える。また、入力装置215は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置20の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置215は、例えば、上記の操作手段や音声入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。情報処理装置20のユーザは、この入力装置215を操作することにより、情報処理装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置217は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(Liquid Crystal Display:LCD)装置、プラズマディスプレイ(Plasma Display Panel:PDP)装置、EL(Electro−Luminescence)ディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置217は、例えば、検索エンジンを用いて検索した各種情報を出力する。具体的には、表示装置は、検索エンジンによる各種情報の検索結果をテキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
ストレージ装置219は、本実施形態にかかる情報処理装置20の記憶部の一例として構成されたデータ格納用の装置であり、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置219は、CPU201が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
ドライブ221は、記憶媒体用リーダライタであり、情報処理装置20に内蔵、あるいは外付けされる。ドライブ221は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体14に記録されている情報を読み出して、RAM205に出力する。また、ドライブ221は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体14に記録を書き込むことも可能である。リムーバブル記録媒体14は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア、コンパクトフラッシュ(CompactFlash:CF)、メモリースティック、または、SDメモリカード(Secure Digital memory card)等である。また、リムーバブル記録媒体14は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
通信装置223は、例えば、通信網12に接続するための通信デバイス等で構成された通信インターフェースである。通信装置223は、例えば、有線または無線LAN(Local Area Network)、Bluetooth、またはWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等である。この通信装置223は、他の情報処理装置20との間で音声チャットに関する情報を送受信すると共に、例えば、インターネットや他の通信機器との間で各種の情報を送受信することができる。また、通信装置223に接続される通信網12は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、または衛星通信等であってもよい。
以上説明した構成により、情報処理装置20は、当該情報処理装置20に直接接続された他の情報処理装置、または、通信網12に接続された他の情報処理装置と音声チャットを行うことが可能になると同時に、通信網12に接続されたキーワード抽出データベース30や検索エンジン40等から、各種の情報を取得することが可能となる。さらに、情報処理装置20は、リムーバブル記録媒体14を用いて、当該情報処理装置20に蓄積されている情報を持ち出すことも可能である。
以上、本実施形態に係る情報処理装置20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。また、上記のハードウェア構成は、あくまでも一例であり、これに限定されるものでないことは言うまでもない。また、利用形態によっては、ホストバス207や外部バス211、またはインターフェース213等を省略する構成も可能である。
続いて、本実施形態に係る情報処理装置20の構成について詳細に説明を行うが、以下の説明においては、音声チャットを行う2つの情報処理装置20について、便宜的に第1情報処理装置20Aおよび第2情報処理装置20Bと称することとする。また、第1情報処理装置20Aおよび第2情報処理装置20Bは、各情報処理装置のユーザの声を音声データ化し、音声チャットの会話相手である他の情報処理装置に対して、音声データを送信するものとする。図3は、本実施形態に係る情報処理装置20Aの構成を説明するためのブロック図である。
本実施形態に係る情報処理装置20Aは、例えば、音声入力部231と、音声認識部233と、音声会話制御部239と、音声出力部241と、情報検索部243と、キーワード同期部245と、表示部247と、通信部249と、記憶部251と、を備える。
音声入力部231は、第1情報処理装置20Aのユーザが発した音声である音声チャットでの会話を、第1情報処理装置20Aへと取り込むインターフェースであって、例えば、第1情報処理装置20Aに接続された入力装置であるマイクロフォンやヘッドセット等から構成される。マイクロフォンやヘッドセットに向かって発せられたユーザの会話は、自動的かつリアルタイムに第1情報処理装置20Aへと取り込まれ、AD(Analog Digital)変換によりアナログ信号をサンプリングおよび量子化し、ディジタル信号である音声データとして音声入力部231により音声認識部233へと伝送される。
音声認識部233は、例えば、CPU、ROM、RAM等で構成され、音声入力部231から伝送された音声データに基づいてリアルタイム言語認識を行う。この音声認識部233は、例えば、パラメータ抽出部235と、キーワード抽出部237と、を更に備える。
パラメータ抽出部235は、生成された音声データについて、適当なフレーム毎(適当な時間間隔毎)に、例えば、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients:MFCC)とその時間差分パラメータや、音声データのスペクトル、パワー線形予測係数、ケプストラム係数、線スペクトル対等の特徴パラメータを抽出する。
パラメータ抽出部235は、抽出された特徴パラメータをキーワード抽出部237に伝送する。また、パラメータ抽出部235は、抽出した特徴パラメータを、例えば後述する記憶部251に格納してもよい。
キーワード抽出部237は、パラメータ抽出部235により生成・抽出された特徴パラメータと、キーワード抽出データベース30とに基づいて、第1情報処理装置20Aのユーザが発した会話のディジタルデータである音声データから、キーワードを抽出する。キーワード抽出部237がキーワードを抽出する際には、キーワード抽出部237は、通信部249を介して、通信網12に接続されているキーワード抽出データベース30を参照することが可能である。
通常、ユーザが音声チャット時に発する会話の文章の中には、複数のキーワードが含まれているものであり、キーワード抽出部237は、会話の文章の中に存在する全てのキーワードを、自動的に抽出する。キーワード抽出部237は、抽出したキーワードを、後述する情報検索部243へと伝送する。また、キーワード抽出部237は、抽出したキーワードを、記憶部251に格納してもよい。
なお、音声認識部233が、音声入力部231から伝送された音声を認識し、キーワードを抽出する方法については、以下で改めて説明する。
音声会話制御部239は、例えば、CPU、ROM、RAM等で構成され、通信網12を介して接続されている第2情報処理装置20Bとの間で行われる音声チャットを制御する。音声会話制御部239は、音声入力部231で生成された音声データの伝送を受け、通信部249を介して音声データを第2情報処理装置20Bへと送信するとともに、第2情報処理装置20Bから送信される音声データを、通信部249を介して受信し、音声出力部241へと伝送する。また、音声会話制御部239は、音声チャットが行われる毎に、音声チャットの行われた日時、音声チャット自体を識別する識別子および音声チャットの相手を表す識別子を関連付けて、記憶部251に記憶してもよい。
なお、音声会話制御部239は、音声会話制御に特化したハードウェアにより構成されていてもよく、音声チャットプログラム等のアプリケーションプログラムとして提供されてもよい。
音声出力部241は、第2情報処理装置20Bのユーザが発した音声の音声データを受信し、第1情報処理装置20Aへと取り込むインターフェースであって、例えば、第1情報処理装置20Aに接続された出力装置であるスピーカやイヤフォン等から構成される。通信部249を介して受信された第2情報処理装置20Bからの音声データは、音声出力部241を介して、第1情報処理装置20Aのユーザへと出力される。
情報検索部243は、キーワード抽出部237から伝送されたキーワードと、当該キーワードがキーワード抽出部237から伝送された時刻とを関連付けて、後述する記憶部251に格納する。また、情報検索部243は、キーワード抽出部237から伝送されたキーワードについて、キーワードの同期処理を行うか否かを判断し、キーワードの同期処理を行うと判断した場合には、キーワードをキーワード同期部245へ伝送して、キーワード同期処理の実行を要請する。さらに、情報検索部243は、通信部249を介して検索エンジン40にアクセスし、キーワード抽出部237から伝送されたキーワードについて情報検索を行い、キーワードの検索結果およびキーワードに関連する記事を取得する。情報検索部243は、得られた検索結果を記憶部251の検索情報蓄積部253に格納するとともに、表示部247へと伝送する。ここで、情報検索部243が検索エンジン40により取得する検索結果は、検索キーワードに関する検索エンジン40中の情報の表題やURLや情報のジャンルといった、情報に関するメタデータ等である。
また、後述する表示部247から、ある特定のキーワードやキーワードに関する記事について更に詳細な情報を取得するように要請されると、情報検索部243は、通信部249を介して検索エンジン40にアクセスし更に詳細な情報を取得するとともに、表示部247から通知された特定のキーワードを、記憶部251の参照履歴記憶部255に記憶する。
キーワード同期部245は、キーワード抽出部237により音声データから抽出されたキーワードについて、通信部249を介して第2情報処理装置20Bに送信し、第2情報処理装置と同期させる。キーワードの同期処理は、第1情報処理装置20Aから第2情報処理装置20Bに対して行うだけでなく、第2情報処理装置20Bからのキーワードの同期処理に対して第1情報処理装置20Aが応答して、第2情報処理装置20Bから送信されたキーワードを第1情報処理装置20Aが受信してもよい。
表示部247は、情報検索部243から伝送された情報検索結果を、例えばブラウザアプリケーション等を介して第1情報処理装置20Aに備えられたディスプレイ等の出力装置に表示する。情報検索部243が検索エンジン40から取得する情報には、検索エンジン40中における情報や記事のURL等が含まれているため、第1情報処理装置20Aのユーザが、第1情報処理装置20Aに接続されているマウスやキーボード等の入力装置を介して表示されている情報を選択すると、表示部247は、情報検索部243に対して選択された情報の詳細を取得するように要請する。
通信部249は、例えば第1情報処理装置20Aに設けられた通信装置であって、第1情報処理装置20Aのキーワード抽出部237と、音声会話制御部239と、情報検索部243と、キーワード同期部245とが、通信網12を介して第1情報処理装置20Aの外部の装置等である第2情報処理装置20Bやキーワード抽出データベース30や検索エンジン40等と行う情報の送受信を、仲介する。また、通信部249は、通信網12を介さずに、第1情報処理装置20Aに直接接続されているその他の情報処理装置等に対して、情報の送受信を行うことも可能である。
記憶部251は、例えば第1情報処理装置20Aに設けられたストレージ装置であって、キーワード抽出部237が抽出したキーワードや情報検索部243が取得した検索情報等のデータを記憶する。また、これらのデータ以外にも、音声入力部231が生成した音声データや各種のデータベース等を記憶することも可能である。更に、これらのデータ以外にも、第1情報処理装置20Aが、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等を、適宜記憶することが可能である。この記憶部251は、音声認識部233、音声会話制御部239、情報検索部243、キーワード同期部245等が、自由に読み書きを行うことが可能である。この記憶部251は、例えば、検索情報蓄積部253と、参照履歴記憶部255と、を更に備える。
検索情報蓄積部253は、情報検索部243が取得した検索情報を、情報を取得した日時等と関連付けて蓄積する。一度取得した検索情報について再度情報の表示が必要となった場合に、検索情報蓄積部253に蓄積されている情報を参照して再表示することが可能である。
参照履歴記憶部255は、第1情報処理装置20Aのユーザが、表示部247に表示されたキーワードや記事の中から更なる詳細情報を参照したキーワードを、参照履歴として記憶する。上記の参照履歴は、参照したキーワード、参照したキーワードの重み情報、キーワードを参照した音声チャット自体の識別子、および、音声チャットの相手等の情報を含むデータである。この参照履歴記憶部255に記憶された参照履歴は、例えばキーワード抽出部237がキーワードを抽出する際に利用されてもよい。
なお、上記の情報検索部243、キーワード同期部245および表示部247等は、それぞれの機能に特化したハードウェアにより構成されていてもよく、音声認識プログラム等のアプリケーションプログラムとして提供されてもよい。
また、第2情報処理装置20Bの構成は、第1情報処理装置20Aの構成と実質的に同一であるので、説明を省略する。
以上、本実施形態に係る情報処理装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
(音声認識方法・キーワード抽出方法)
以下に、図4を参照しながら、音声認識部233が、音声を認識し、キーワードを抽出する方法について簡単に説明するが、本実施形態に係る音声認識部233が使用する音声認識方法およびキーワード抽出方法は、以下の例に限定されるわけではない。図4は、本実施形態に係る音声認識部233が使用する音声認識方法およびキーワード抽出方法の一例を説明するための流れ図である。
音声入力部231は、取り込んだ第1情報処理装置20Aのユーザの会話から、音声データを生成する。音声入力部231では、取り込んだユーザの会話を、AD(Analog Digital)変換してアナログ信号である会話をサンプリングおよび量子化し、ディジタル信号である音声データへと変換する(ステップS101)。音声データへの変換が終了すると、音声入力部231は、生成した音声データを音声認識部233および音声会話制御部239へと伝送する。
続いて、パラメータ抽出部235は、生成された音声データから、適当なフレーム毎(適当な時間間隔毎)に、例えば、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients:MFCC)とその時間差分パラメータや、音声データのスペクトル、パワー線形予測係数、ケプストラム係数、線スペクトル対等の特徴パラメータを抽出する(ステップS103)。
キーワード抽出部237は、パラメータ抽出部235からの特徴パラメータに基づき、例えば、キーワード抽出データベース30および音響モデルや言語モデルが備える単語辞書と、音響モデルおよび言語モデルといったモデルとを参照しながら、音声入力部231に入力された音声(入力音声)に最も近い単語列を認識結果として求め、この認識結果の中からキーワードを抽出する。
上記の音響モデルは、音声認識する音声の個々の音韻や音節等といった音響的な特徴を表すモデルを記憶している。この音響モデルとしては、例えば隠れマルコフモデル(Hidden Markov Model:HMM)を用いることが可能である。また、静かな環境用(静かな環境で高い認識率が出る音響モデル)と雑音環境用(騒がしい環境でもそれなりの認識率が出る音響モデル)との2種類を用意し、環境に応じてどちらかを参照するようにしてもよい。
上記の言語モデルは、単語辞書に登録されている単語がどのように連鎖するか(接続するか)を示す情報(連鎖情報)を記述しているモデルを記憶する。上記の言語モデルとしては、例えば、統計的な単語連鎖確率(n−gramやclass n−gram)、生成文法、有限状態オートマトン(Finite State Automaton:FSA)等がある。
また、言語モデルは、単語に関する連鎖情報だけでなく、単語のカテゴリに関する連鎖情報も記憶することが可能である。例えば、「人名を表す単語からなるカテゴリ」を“_人名_”というシンボルで表し、「食品を表す単語からなるカテゴリ」を“_食品_”というシンボルで表す場合、言語モデルは、“_人名_”、“_食品_”についての連鎖情報(すなわち、カテゴリ同士の連鎖、カテゴリと辞書に予め記憶されている単語との連鎖等)も記述している。
したがって、言語モデルに含まれない単語についても、連鎖情報を取得することができる。例えば、「イチロー」と「は(助詞)」の連鎖情報を取得する場合、言語モデルに「イチロー」についての連鎖情報が記述されていなくても、「イチロー」が“_人名_”というシンボルで表されるカテゴリに属していることがわかれば、代わりに“_人名_”と「は」との連鎖情報を取得することによって、「イチロー」と「は」の連鎖情報を取得することができる。
次に、キーワード抽出部237は、音声データが音声入力部231から伝送されると、音響モデルに基づいて、単語の発音や音韻を元に単語をいくつか連結し、単語列を生成する。キーワード抽出部237は、生成した単語列に対して、音響モデルに基づく音響スコアを計算する(ステップS105)。ここで、上記の音響スコアとは、音声認識の結果である単語列と入力音声とが、音として(音響的に)どれだけ近いかを表す数値である。キーワード抽出部237は、計算された音響スコアに基づいて、音響スコアの高い単語列を所定の個数だけ選択する。
なお、キーワード抽出部237は、例えば、ビームサーチに基づくビタビ(Viterbi)デコーダや、A探索に基づくスタックデコーダなどの手法を用いてマッチングを行なうことも可能であり、例えば、いわゆるキーワードスポッティング等の手法を用いてマッチングを行なうことも可能である。また、キーワード抽出部237が参照する各種の単語辞書に、「認識重み」情報が付加されている場合には、後述する言語スコアに重みをつけた上で認識結果の順位付けを行なうことも可能である。ここで、上記認識重み情報とは、言語スコアの算出の際に利用される補正係数(重み付け係数)である認識重みが記載されている情報であって、認識重みが大きい値であるほど言語スコアの補正値は大きな値となり、認識結果として採用されやすくなる。例えば、認識重みが10であるキーワードは、認識重みが1であるキーワード(すなわち、重み付けがなされていないキーワード)よりも10倍高い確率で音声認識される。
なお、認識重みの決定においては、例えば、検索エンジン40から取得した検索キーワードリストでの順位情報や、音声認識結果の出力中に現れるキーワードの頻度等を利用することが可能である。検索キーワードリストは、検索エンジン40における上位いくつかの検索キーワードであるため、例えば、一番検索されているキーワードから順に順位付けを行い、順位付けの上位のものから順に、所定の認識重みを決定することが可能である。具体的には、一番検索されているキーワードから順に所定の係数を付加し、付加した係数に正規化したキーワードの頻度を乗じることで、認識重みとすることが可能である。また、検索エンジン40の代わりに、通信網12を介して接続されている任意のサーバ等に記憶されているシソーラス、オントロジーデータベース、百科事典、国語辞書および形態素解析ツール等を利用してもよい。また、検索エンジン40と、上記のシソーラス、オントロジーデータベース、百科事典、国語辞書、形態素解析ツール等とを併用してもよい。
また、認識重みの決定において、音声認識結果のキーワードに関して第1情報処理装置20Aのユーザが検索エンジン40を用いて検索を行ったかどうかという情報や、第1情報処理装置20Aのユーザの嗜好等も利用することが可能である。
続いて、キーワード抽出部237は、選択した単語列の各言語スコアを言語モデルに基づき計算する(ステップS109)。ここで、上記の言語スコアとは、選択した単語列が言語モデルとして適切であるか否かを判断する数値であり、言語モデルとして生成文法や有限状態オートマトンを使用している場合は、単語列を言語モデルとして受理することができるか否かを示す数値となり、言語モデルとして統計的言語モデルを使用している場合には、単語列の生成確率が言語スコアとなる。すなわち、言語モデルとして生成文法や有限状態オートマトンを使用している場合は、単語列がその言語モデルで受理することができるとき、言語スコアは「1」であり、受理することができないとき、言語スコアは「0」となる。また、言語モデルとして、n−gramやclass n−gramのような統計言語モデルを使用している場合、その単語列の生成確率を言語スコアとする。この言語スコアを求める方法の詳細は、例えば、本出願人が先に提案した特願2001−382579号に開示されている。
続いて、キーワード抽出部237は、計算した音響スコアと言語スコアとを統合して各単語列をスコア順に並び替えて選択を行い(ステップS111)、例えば、統合したスコアの一番大きな単語列を認識結果として決定する(ステップS113)。すなわち、キーワード抽出部237は、例えば、音響モデルから得られた音響スコアと言語モデルから得られた言語スコアとの積や、音響スコアの対数と言語スコアの対数との和等を最大とするような単語列を、認識結果として決定する。また、言語モデルで用いた各種の単語辞書に、単語の認識重み情報が付加されている場合には、認識重み情報を加味した言語スコアを利用してもよい。
このような方法により、音響モデル的にも言語モデル的にも最もふさわしい単語列を、認識結果として決定することができる。
続いて、キーワード抽出部237は、通信部249を介してキーワード抽出データベース30にアクセスし、音声認識結果とキーワード抽出データベースに登録されているキーワードとを比較する(ステップS115)。音声認識結果中に、データベースに登録されている単語が含まれている場合には、キーワード抽出部237は、音声認識結果中の単語をキーワードと決定して抽出する(ステップS117)。
また、キーワード抽出部237は、キーワード抽出データベース30にアクセスする前に、音声チャットの相手である第2情報処理装置20Bにアクセスして、音声チャットの認識結果を交換してもよい。例えば話者の話し方の癖や音声情報等を交換することで、音声認識の精度を高めることが可能である。また、互いの情報処理装置が適切な音声認識をしたか否かを確認するために、音声認識結果の話題ベクトルを交換しても良い。
上記のような音声認識方法およびキーワード抽出方法を適用することで、音声チャットの会話内容を適切に認識することが可能となるだけでなく、音声認識結果の中から適切なキーワードを抽出することが可能となる。
(キーワードの同期方法)
続いて、図5を参照しながら、本実施形態に係る音声チャットシステムにおけるキーワードの同期方法を詳細に説明する。図5は、本実施形態に係る音声チャットシステムのキーワード同期方法を説明するための流れ図である。図5では、第1情報処理装置20Aのユーザが第2情報処理装置20Bに対して声を発した場合を示している。
第1情報処理装置20Aのユーザが、音声入力部231である第1情報処理装置に接続されたマイクやヘッドセット等に向けて声を発すると、音声入力部231はユーザが発した声から音声データを生成する(ステップS201)。生成された音声データは、パラメータ抽出部235および音声会話制御部239へと伝送される。音声会話制御部239は、生成された音声データを通信部249を介して第2情報処理装置20Bへと伝送し、第2情報処理装置20Bとの間で音声会話がなされる(ステップS203)。
また、パラメータ抽出部235は、音声データおよび抽出した各種パラメータをキーワード抽出部237にも伝送し、キーワード抽出部237は、キーワード抽出のために、音声データを音声認識する。続いて、キーワード抽出部237は、通信部249を介して音声認識結果を第2情報処理装置20Bと交換して(ステップS205)、音声認識結果の精度を高める。その後、キーワード抽出部237は、通信部249を介して、通信網12に接続されているキーワード抽出データベース30にアクセスする(ステップS207)。キーワード抽出データベース30は、登録されているデータベースの参照許可を第1情報処理装置20Aに与え(ステップS209)、第1情報処理装置20Aのキーワード抽出部237は、キーワード抽出データベース30を参照しながらキーワードを抽出する(ステップS211)。
なお、キーワードの抽出にあたっては、キーワード抽出部237は、検索エンジン40等にアクセスし、検索エンジン40の上位検索キーワードや、多くのブログで話題となっているキーワードを優先的に抽出するようにしてもよい。音声チャットにおいて話題となる事柄は、音声チャット実施時に流行している話題である場合が多く、このような話題に関連するキーワードは、検索エンジンにおける上位検索キーワードや、多くのブログで話題となっているキーワードである可能性が高いためであり、このようなキーワードを優先的に抽出することで、より効果的なキーワード抽出を行うことが可能だからである。
次に、キーワード抽出部237は、抽出したキーワードを情報検索部243に伝送し、情報検索部243は、伝送されたキーワードを、伝送された日時と関連づけて、記憶部251に保持する(ステップS213)。続いて、情報検索部243は、伝送されたキーワードが、現在行われている音声チャット中で、既に抽出されたものであるか否かを判断する(ステップS215)。伝送されたキーワードが抽出されたことがないものであれば、キーワード抽出部237は、キーワードを新規登録する(ステップS219)。
伝送されたキーワードが既に抽出されたものであれば、情報検索部243は、前回同一のキーワードが伝送された時刻を調べ、一定時間(例えば5分)が経過しているか否かを判断する(ステップS217)。なお、同一のキーワードが抽出されたか否かを判断する一定時間は上記の例に限定されず、任意の時間を設定することが可能である。前回同一のキーワードが伝送された時刻から一定時間経過していない場合には、情報検索部243は、伝送されたキーワードを棄却してキーワード抽出処理を終了する。また、同一のキーワードが伝送された時刻から一定時間が経過している場合には、情報検索部243は、当該キーワードが伝送された時刻を更新して、キーワードを新規登録する(ステップS219)。
キーワードが新規に登録されると、情報検索部243は、新規登録されたキーワードを、キーワード同期部245へと伝送する。キーワードが伝送されたキーワード同期部245は、伝送されたキーワードを、通信部249を介して第2情報処理装置20Bへと伝送する(ステップS221)。この伝送処理が、第1情報処理装置20Aで抽出されたキーワードを音声チャットの相手である第2情報処理装置20Bに同期させる同期処理となり、同期処理は、このキーワードを交換する点に限られる。従って、情報処理装置のメモリ上には、同期エリアは存在しなくてもよい。
また、新規キーワードが登録された第1情報処理装置20Aでは、情報検索部243が通信部249を介して通信網12に接続された検索エンジン40にアクセスし(ステップS223)、新規キーワードの検索結果およびキーワードに関連する記事のURL等が記載されたメタデータを取得する(ステップS225)。その後、情報検索部243は、取得した情報を検索情報蓄積部253に格納するとともに、取得した情報を表示部247へと伝送する。続いて、表示部247は、伝送された情報を、ブラウザ等を介して、表示装置に表示する(ステップS227)。
キーワードが伝送された第2情報処理装置20Bにおいても、第1情報処理装置とは独立に、キーワードが既出であるか、および、既出である場合には一定時間が経過しているか等の判定を行なう。キーワードが既出ではない場合または既出ではあるが一定時間を経過している場合には、第2情報処理装置20Bは伝送されたキーワードを新規登録する。その後、第2情報処理装置20Bは、検索エンジン40に対してアクセスを行い(ステップS229)、伝送されたキーワードに関するURL等が記載されたメタデータを取得する(ステップS231)。第2情報処理装置20Bにおいても、第1情報処理装置20Aと同様に、取得した情報を検索情報蓄積部253に格納するとともに、取得した情報を表示部247へと伝送する。続いて、表示部247は、伝送された情報を、ブラウザ等を介して、表示装置に表示する(ステップS233)。
なお、音声チャットの会話内容を第1情報処理装置20Aに取り込む処理から、キーワードを同期して、キーワードに関連する情報の検索結果を表示するまでの各処理は、第1情報処理装置20Aによって自動的に行われるものであり、第1情報処理装置20Aのユーザは、音声認識、キーワード抽出およびキーワード同期処理のために特別な操作をする必要はなく、音声チャットに専念することができる。また、第2情報処理装置20Bも、キーワードの同期処理や情報検索結果の表示処理を自動的に行うため、第2情報処理装置20Bのユーザも、特別の操作をすることなく、音声チャットに専念することができる。
以上説明したように、第1情報処理装置20Aのユーザが発した声に起因して、第1情報処理装置20Aがキーワード抽出を行った上で第2情報処理装置20Bに対してキーワードの同期処理を行う。その結果、キーワードの抽出を行った第1情報処理装置20Aと、キーワードの同期処理を受けた第2情報処理装置20Bとは、互いに独立してキーワードを検索エンジン40により検索し、検索結果を表示する。このような処理を行うことで、第1情報処理装置20Aおよび第2情報処理装置20Bの表示装置には、同一のキーワードと当該キーワードに関連する記事が、通信時間程度のタイムラグが発生するのみで、ほぼ同期して表示されることとなる。また、キーワードに関連する情報を検索して表示するため、音声チャットにおける話題となりうる情報を自動的に提供することができ、音声チャットの内容に広がりを持たせることができる。
また、以上の説明では、第1情報処理装置20Aのユーザが会話を発した場合について説明したが、第2情報処理装置20Bのユーザが会話を発した場合についても、上記と同様の処理がなされる。すなわち、第2情報処理装置20Bにおいて音声データの生成およびキーワードの抽出が行われ、抽出され新規登録されたキーワードに関して、第1情報処理装置20Aに対して同期処理が行われる。その結果、上記の説明と同様に、第1情報処理装置20Aと第2情報処理装置20Bとは、キーワード関連情報の検索および検索結果の表示が、互いに独立して並行に行われることとなる。このように、音声チャット中における会話の取り込み(音声データの生成)とキーワードの抽出は、それぞれの情報処理装置で並行して独立に処理される。
また、第1情報処理装置20Aと第2情報処理装置20Bとの音声チャットが終了した場合には、双方の情報処理装置20において、登録されたキーワードと当該キーワードの日時情報とが棄却され、次回利用時には、また新たにキーワードが登録される。
なお、上記の説明では、キーワード抽出データベース30が、第1情報処理装置20Aが接続されている通信網12に独立して接続されている場合について説明したが、キーワード抽出データベース30は、第1情報処理装置20Aに併設されていてもよい。この場合には、キーワード抽出データベース30は、例えば、第1情報処理装置20Aのデータベース記憶部に格納される。キーワード抽出データベース30が第1情報処理装置20Aに設けられることにより、キーワード抽出の際の通信タイムラグがなくなり、より短時間にキーワード抽出を行うことが可能となる。なお、上記のデータベース記憶部は、第1情報処理装置20A内に独立して設けられていてもよく、第1情報処理装置20Aの記憶部251内に設けられていても良い。
また、上記の説明では、検索エンジン40が、第1情報処理装置20Aが接続されている通信網12に独立して接続されている場合について説明したが、第1情報処理装置20Aが検索エンジン40を備えていても良い。検索エンジン40が第1情報処理装置20Aに設けられることにより、情報検索の際の通信タイムラグがなくなり、より短時間に情報検索を行うことが可能となる。
(検索結果の表示画面)
続いて、図6を参照しながら、本実施形態に係る情報検索結果の表示画面の一例を、詳細に説明する。図6は、本実施形態に係る情報処理装置の検索情報表示例を説明するための説明図である。
検索結果表示画面50は、音声チャット中に検出されたキーワードを、表示画面上に継続的に追加したものである。表示画面では、基本的に新しいキーワードが上に入り、既に表示されているキーワードは、下に下がっていくようになっている。また、一画面上に表示されるキーワードの最大値は、適宜設定することが可能であり、最大値を超えた場合には、一番下に表示されているキーワードから順に削除される。
図6の場合では、キーワードが登録された時間順に項目番号501が付されたキーワード503が、表示されており、新しいキーワード、つまり、項目番号501の大きなキーワード503程、上に表示されるようになっている。また、項目番号501とキーワード503の他に、キーワードを上に表示したままにしておくためのピン留め欄505と、検出されたキーワードを表示画面の再描画のタイミングで削除するための削除欄507とが、それぞれのキーワード503に対して設けられている。
このキーワード503に対しては、検索エンジン40で当該キーワード503を検索した場合の検索結果表示画面が対応づけられており、キーワード503を例えばマウスポインタ等でクリックすると、検索エンジン40におけるキーワードの検索結果表示画面にリンクするようになっている。
また、ピン留め欄505にマークすると、マークされたキーワードは、表示画面の一番上に来て固定され、新たにキーワードが追加表示された場合にも、繰り下がることがないようになっている。また、既にピン留めされているキーワードが存在する場合には、例えばピン留めされているキーワード同士で時系列に沿って表示されてもよい。
また、音声チャット中の会話から抽出され登録されたキーワードであっても、音声チャットを行っている情報処理装置のユーザにとっては不必要なキーワードである場合が生じうる。そのような場合には、削除欄507にマークすることで、新規登録されたキーワードを、例えば表示画面の再描画のタイミングに合わせて削除することができる。
また、1つのキーワード503に関して、当該キーワードに関する表示だけではなく、検索エンジン40に記載されている当該キーワード503に関連する記事509も、キーワード503の下に例えばサムネイル状に複数表示される。このキーワードに関連する記事509についても、記事509を例えばマウスポインタ等でクリックすることで、検索エンジン40に記載されている記事に直接リンクするようになっている。また、ピン留め欄505および削除欄507が、それぞれの記事509に対して1つずつ設けられる。なお、キーワード503に関連する記事509の表示個数は図中の個数に限定されず、任意の個数を設定することが可能である。また、検索結果表示画面50には、検索エンジン40において参照された件数の多い記事509であってもよい。
図6に示した表示画面50の例では、音声チャットにおいて、「カシム」、「代表」、「イエメン」、「千葉」、「牧」というキーワードが順に抽出されている。また、「カシム」というキーワードに関しては、ピン留め欄がチェックされているため、一番古く登録されたにもかかわらず、表示画面50の一番上に表示されている。また、「代表」というキーワードおよびキーワード「牧」に関連した情報である「新潟市牧支所ホームページ」という関連記事の削除欄にはそれぞれマークが付されており、次の画面再描画のタイミングでこれらのキーワードおよびキーワード関連情報は削除される。
なお、表示画面50に表示されるキーワード503に関しては、情報処理装置20に設けられているキーワード同期部245により、音声チャットの会話者それぞれの情報処理装置20の画面に同一のものがほぼ同一のタイミングで新規に表示されることとなるが、上記のピン留め欄や削除欄へのマークは各会話者が独立して操作するため、音声チャットが進むにつれて、それぞれの情報処理装置20における表示画面50は異なるものとなっていく。
(検索情報の参照履歴データ)
続いて、図7を参照しながら、本実施形態に係るキーワードの抽出に際して、検索情報の参照履歴を利用する方法を説明する。図7は、本実施形態に係る検索情報の参照履歴データを説明する説明図である。
本実施形態に係る情報処理装置20では、当該情報処理装置20のユーザが検索結果表示画面50から選択したキーワード503について、例えば図7に示す情報と関連づけて参照履歴データとし、参照履歴記憶部255に格納する。
参照履歴データは、例えば図7に示したように、ユーザが選択したキーワード601と、当該キーワードが何回選択されたかを示す重み情報603と、当該キーワード601が選択された音声チャットを識別する識別子であるセッションID情報605と、セッションIDが付与されたそれぞれの音声チャットにおける通話相手を示す通話相手情報607と、を含む。
重み情報603は、本実施形態に係る音声チャットシステム10において、あるキーワード601が選択された延べ数を示す情報である。図7に示した参照履歴データでは、例えば、「ジャパンカップ」というキーワードが、延べ2回選択されており、「ザンブロック」および「牧」というキーワードが、それぞれ1回ずつ選択されたことを示している。
本実施形態に係る音声チャットシステム10では、音声チャットが行われるごとに、音声チャットが行われた日付と、この日付中に行われた音声チャットの回数とからなるセッションID605が、各音声チャットのセッションに付与される。図7に示した参照履歴データでは、「ジャパンカップ」というキーワードは、セッションIDが「200609150001」という音声チャットと、セッションIDが「200609150002」という音声チャットの2回で選択されたことを示している。
通話相手情報607は、キーワード601が選択された音声チャットの通話相手を表すデータであって、図7に示した参照データでは、「ジャパンカップ」というキーワードが、「200609150001」というセッションIDが付与された「A」との音声チャットと、「200609150002」というセッションIDが付与された「B」との音声チャットにおいて、それぞれ1回ずつ選択されたことを示している。
本実施形態に係る情報処理装置20では、上記のような参照履歴データを、音声データからのキーワード抽出に際して利用することが可能である。この参照履歴データを利用することで、通話相手による話題の指向性や、単語間の関連性といった情報を得ることが可能であり、これらの情報を得ることで、音声認識やキーワード抽出をより効率的に行うことが可能である。以下に参照履歴データの利用方法について、簡単に説明する。
本実施形態に係るキーワード抽出部237は、音声認識を行う際に、上記の参照履歴データが記憶されている参照履歴記憶部255を参照して参照履歴データに含まれる各種情報を音声認識におけるパラメータ情報の一つとして利用することが可能である。例えば、キーワード抽出部237は、音声認識を行う際に参照履歴記憶部255を参照して、参照履歴データの重み情報603の数値が大きなキーワードについて、音声認識の優先順位を高め、音声認識を効果的に行うことが可能である。
また、キーワード抽出部237により認識されたキーワードが、上記の参照履歴データに登録されていた場合には、このキーワードが選択された時のセッションIDと同一のIDが付与されている他のキーワードについて、音声認識の優先順位を高めることが可能である。これは、同一のセッションIDが付与されているキーワードは、キーワード間の関連性が高いと推測されるからである。
また、キーワード抽出部237により認識されたキーワードが、上記の参照履歴データに登録されていた場合には、このキーワードが選択された時の通話相手となっている他のキーワードについて、音声認識の優先順位を高めることが可能である。これは、同一の通話相手における音声チャットで選択されたキーワードは、通話相手による話題の指向性が一致している可能性が高いと推測されるからである。
以上のように、本実施形態に係る情報処理装置20では、参照履歴データを有効にフィードバックすることにより、より効率的な音声認識およびキーワード抽出を行うことが可能となる。
(情報処理装置の変形例)
続いて、図8A〜図8Dを参照しながら、本実施形態に係る情報処理装置20の変形例について、簡単に説明する。図8Aは、本実施形態に係る情報処理装置の音声認識方法を説明するための簡略化されたブロック図である。図8B〜図8Dは、本実施形態に係る情報処理装置の音声認識方法の各変形例を説明するための簡略化されたブロック図である。なお、図8A〜図8Dにおいては、本実施形態における情報処理装置20の一部の処理部のみを記載しているが、図8A〜図8Dに記載されている各情報処理装置では、図示されている処理部以外にも、例えば図3に示した処理部が設けられていることは言うまでもない。
前述の本実施形態に係る情報処理装置20の説明では、図8Aに示したように、音声チャットを行っている第1情報処理装置20Aおよび第2情報処理装置20Bのそれぞれが、ユーザの発した声を取り込んで音声認識部233において音声認識し、キーワード同期部245によってキーワードの同期処理を行う場合について説明したが、本実施形態に係る情報処理装置では、以下のような変形例も実施可能である。
(第1変形例)
図8Bに示した第1変形例では、音声チャットを行っている情報処理装置20A,20Bは、それぞれ情報処理装置のユーザが発した声はそのまま相手の情報処理装置へと伝送し、相手の情報処理装置のユーザが発した声を音声認識して出力する場合を示している。すなわち、例えば第1情報処理装置20Aのユーザが発した声は、そのまま音声会話制御部239および通信部249を介して第2情報処理装置20Bに伝送され、第2情報処理装置20Bにより音声認識されて出力される。同様に、第2情報処理装置20Bのユーザが発した声は、そのまま音声会話制御部239および通信部249を介して第1情報処理装置20Aに伝送され、第1情報処理装置20Aにより音声認識されて出力される。本変形例においては、第1情報処理装置20Aおよび第2情報処理装置20Bのそれぞれにおいて、音声認識およびキーワード抽出がなされ、キーワードに関する情報が検索される。
(第2変形例)
図8Cに示した第2変形例は、いずれか一方の情報処理装置が全ての音声認識を行い、他方の情報処理装置は、キーワードの同期および情報検索だけを行う場合について示している。この場合、例えば第1情報処理装置20Aが全ての音声認識を行い、第2情報処理装置20Bは、キーワードの同期処理のみを行う。第1情報処理装置20Aのユーザが発した声は、音声認識部233により音声認識およびキーワード抽出が行われて第2情報処理装置20Bに伝送され、第2情報処理装置20Bでは、キーワードの同期処理やキーワードに関する情報の検索のみが行われる。また、第2情報処理装置20Bのユーザが発した声は、そのまま第1情報処理装置20Aに伝送され、第1情報処理装置20Aの音声認識部257で音声認識およびキーワード抽出がなされる。
なお、図8Cにおいては、第1情報処理装置20Aが全ての音声認識を行う場合について図示したが、第2情報処理装置20Bが全ての音声認識を行っても良い。また、図8Cでは、第1情報処理装置20Aに2つの独立した音声認識部が設けられる場合を示しているが、1つの音声認識部が上記の処理を行っても良い。以上説明したような本変形例は、例えば一方の情報処理装置の処理能力が他方の情報処理装置の処理能力に対して格段に優れている場合、または、格段に劣っている場合に利用することが可能である。
(第3変形例)
図8Dに示した第3変形例は、双方の情報処理装置は音声認識を全く行わずにキーワードの同期と情報検索のみを行い、それぞれの情報処理装置の接続を仲立ちしているサーバ16が音声認識を行う場合について示している。この場合、第1情報処理装置20Aのユーザが発した声は、そのままサーバ16へと伝送され、サーバ16の音声認識部161において音声認識され、第2情報処理装置20Bへと伝送される。また、第2情報処理装置20Bのユーザが発した声は、そのままサーバ16へと伝送され、サーバ16の音声認識部163において音声認識され、第1情報処理装置20Aへと伝送される。なお、図8Dでは、サーバ16に2つの独立した音声認識部が設けられる場合を示しているが、1つの音声認識部が上記の処理を行っても良い。
(第2の実施形態)
以下に、本発明の第2の実施形態に係るキーワード抽出システムについて、詳細に説明する。
図9は、本実施形態に係るキーワード抽出システムを説明するための説明図である。図9に示したように、本実施形態に係るキーワード抽出システム11は、例えば、通信網12と、情報処理装置20A、20Bと、キーワード抽出データベース30と、検索エンジン40と、を含む。また、情報処理装置20Aは、ホームネットワーク18内で、外部表示装置70と接続されている。さらに、情報処理装置20A、20Bと、外部表示装置70とは、放送局80から送信された放送情報を受信することが可能である。
ここで、通信網12、キーワード抽出データベース30および検索エンジン40は、本発明の第1の実施形態に係る通信網12、キーワード抽出データベース30および検索エンジン40と同様の構成を有し、ほぼ同一の効果を奏するため、詳細な説明は省略する。
情報処理装置20は、通信網12を介して接続された他の情報処理装置20と、音声によるチャット(音声チャット)を行う。また、情報処理装置20は、通信網12に接続されているキーワード抽出データベース30および検索エンジン40に対して、通信網12を介してデータベースの参照を要求したり、情報の検索を要求したりすることができる。また、音声チャットを行う他の情報処理装置20は、図示のように通信網12を介して接続されていてもよく、また、通信網12を介さずに、例えば、USBポートや、i.Link等のIEEE1394ポート、SCSIポート、RS−232Cポート等により直接接続されていてもよい。
また、情報処理装置20は、ホームネットワーク18内で、後述する外部表示装置70に接続されており、情報処理装置20と外部表示装置70との間で各種データの送受信を行うことが可能である。情報処理装置20と外部表示装置70との接続は、例えば、HDMI(High−Definition Multimedia Interface)−CEC(Consumer Electronics Control)等の接続ポートを介して行われる。また、情報処理装置20は、後述する放送局80から送信された放送情報を含む放送電波を、内部に設けられた受信機能を用いて受信することも可能である。
なお、図示の例では、情報処理装置20として、デスクトップ型のPCを示しているが、本実施形態に係る情報処理装置20は、デスクトップ型PC、ノート型PCを問わない。また、本実施形態に係る情報処理装置20は、かかる例に限定されず、ネットワークを介した通信機能を有する機器であれば、例えば、テレビジョン受像器や家庭用ゲーム機等の情報家電、携帯電話、PDA等で構成することもできる。また、情報処理装置20は、契約者が持ち運びできるポータブルデバイス、例えば、携帯型ゲーム機、PHS、携帯型映像/音声プレーヤなどであってもよい。
外部表示装置70は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置等の表示装置であって、後述する放送局80から送信された放送情報を含む放送電波を受信して、当該表示装置の表示領域に表示する。ここで、放送局から送信された放送情報とは、放送文字情報や放送音声情報や画像情報等のデータを意味しており、放送情報を含む放送電波とは、ワンセグ(ワンセグメント放送)や12セグメントからなるディジタル放送(以下では、フルセグと略称する。)等のディジタル放送の電波を意味する。外部表示装置70は、HDMI−CEC等の接続ポートを介して、受信した放送情報を情報処理装置20に送信することが可能である。また、外部表示装置70は、情報処理装置20から送信された各種データを受信して、当該データに対応した情報を表示することが可能である。
放送局80は、放送文字情報や放送音声情報や画像情報等のデータから構成される放送情報を含む放送電波を送信する。外部表示装置70は、放送局80から送信された放送電波を受信し、放送電波に含まれる放送文字情報に基づいて字幕情報を表示したり、音声を出力したりする。また、情報処理装置20は、放送局80から送信された放送電波を受信して、各種の処理に利用することが可能である。
(情報処理装置20の構成)
次に、本実施形態に係る情報処理装置20の構成について、詳細に説明する。なお、本実施形態に係る情報処理装置20のハードウェア構成は、本発明の第1の実施形態に係るハードウェア構成と実質的に同一であるため、詳細な説明は省略する。
図10は、本実施形態に係る情報処理装置20の構成を説明するためのブロック図である。本実施形態に係る情報処理装置20は、例えば図10に示したように、キーワード同期部245と、表示部247と、通信部249と、記憶部251と、放送文字情報受信部261と、キーワード抽出部263と、情報検索部265と、外部表示装置接続制御部267と、を主に備える。
キーワード同期部245は、後述するキーワード抽出部263により放送文字情報データから抽出されたキーワードについて、通信部249を介して他の情報処理装置20に送信し、他の情報処理装置と同期させる。キーワードの同期処理は、情報処理装置20から他の情報処理装置20に対して行うだけでなく、他の情報処理装置20から送信されたキーワードの同期処理に対してこの情報処理装置20が応答して、他の情報処理装置20から送信されたキーワードを情報処理装置20が受信してもよい。
表示部247は、後述する情報検索部265から伝送された情報検索結果を、例えばブラウザアプリケーション等を介して情報処理装置20に備えられたディスプレイ等の出力装置に表示する。情報検索部265が検索エンジン40から取得する情報には、検索エンジン40中における情報や記事のURL等が含まれているため、情報処理装置20のユーザが、情報処理装置20に接続されているマウスやキーボード等の入力装置を介して表示されている情報を選択すると、表示部247は、情報検索部265に対して選択された情報の詳細を取得するように要請する。
通信部249は、例えば情報処理装置20に設けられた通信装置であって、情報処理装置20のキーワード同期部245と、キーワード抽出部263と、情報検索部265とが、通信網12を介して情報処理装置20の外部の装置等である他の情報処理装置20やキーワード抽出データベース30や検索エンジン40等と行う情報の送受信を、仲介する。また、通信部249は、通信網12を介さずに、情報処理装置20Aに直接接続されているその他の情報処理装置等に対して、情報の送受信を行うことも可能である。
記憶部251は、例えば情報処理装置20に設けられたストレージ装置であって、キーワード抽出部263が抽出したキーワードや情報検索部265が取得した検索情報等のデータを記憶する。また、これらのデータ以外にも、各種のデータベース等を記憶することも可能である。更に、これらのデータ以外にも、情報処理装置20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等を、適宜記憶することが可能である。この記憶部251は、キーワード同期部245、情報検索部265等が、自由に読み書きを行うことが可能である。この記憶部251は、例えば、検索情報蓄積部253と、参照履歴記憶部255と、を更に備える。
検索情報蓄積部253は、後述する情報検索部265が取得した検索情報を、情報を取得した日時等と関連付けて蓄積する。一度取得した検索情報について再度情報の表示が必要となった場合に、検索情報蓄積部253に蓄積されている情報を参照して再表示することが可能である。
参照履歴記憶部255は、情報処理装置20のユーザが、表示部247に表示されたキーワードや記事の中から更なる詳細情報を参照したキーワードを、参照履歴として記憶する。上記の参照履歴は、参照したキーワード、参照したキーワードの重み情報、キーワードを参照した音声チャット自体の識別子、および、音声チャットの相手等の情報を含むデータである。この参照履歴記憶部255に記憶された参照履歴は、例えばキーワード抽出部263がキーワードを抽出する際に利用されてもよい。
なお、上記のキーワード同期部245、表示部247および情報検索部265等は、それぞれの機能に特化したハードウェアにより構成されていてもよく、音声認識プログラム等のアプリケーションプログラムとして提供されてもよい。
放送文字情報受信部261は、外部表示装置70が現在受信している放送チャンネルに関する受信チャンネル情報を、外部表示装置70から取得する。ここで、受信チャンネル情報とは、外部表示装置70が現在受信している放送チャンネルが何チャンネルかを表す情報である。放送文字情報受信部261は、この受信チャンネル情報を外部表示装置70から取得することにより、外部表示装置70が受信している放送チャンネルと、放送文字情報受信部261が受信する放送チャンネルとを同期させることができる。
また、放送文字情報受信部261は、取得した受信チャンネル情報に基づいて、外部表示装置70が受信している放送チャンネルに対応した放送電波を、放送局80から直接受信する。この際、放送文字情報受信部261は、放送局80が送信している放送電波のうちワンセグの電波を直接受信し、受信した電波の中から文字情報を取得してもよい。また、放送文字情報受信部261は、放送局80が送信しているフルセグの放送電波を直接受信してもよい。
また、放送文字情報受信部261は、取得した受信チャンネル情報に基づいて、外部表示装置70が受信し外部表示装置70から情報処理装置20に送信された放送文字情報を、受信してもよい。
放送文字情報受信部261が受信した放送文字情報は、後述するキーワード抽出部263へと出力される。また、放送文字情報受信部261は、受信した放送文字情報を記憶部251に記録してもよい。
キーワード抽出部263は、キーワード抽出データベース30に基づいて、放送文字情報受信部261が受信した放送文字情報に含まれる文字列から、キーワードを抽出する。キーワード抽出部263がキーワードを抽出する際には、キーワード抽出部263は、通信部249を介して、通信網12に接続されているキーワード抽出データベース30を参照することが可能である。
通常、放送文字情報を表す文字列の中には、複数のキーワードが含まれているものであり、キーワード抽出部263は、文字列の中に存在する全てのキーワードを、自動的に抽出する。キーワード抽出部263は、抽出したキーワードを、後述する情報検索部265および外部表示装置制御部267へと伝送する。また、キーワード抽出部263は、抽出したキーワードを、記憶部251に格納してもよい。
情報検索部265は、キーワード抽出部263から伝送されたキーワードと、当該キーワードがキーワード抽出部263から伝送された時刻とを関連付けて、記憶部251に格納する。また、情報検索部265は、キーワード抽出部263から伝送されたキーワードについて、キーワードの同期処理を行うか否かを判断し、キーワードの同期処理を行うと判断した場合には、キーワードをキーワード同期部245へ伝送して、キーワード同期処理の実行を要請する。さらに、情報検索部265は、通信部249を介して検索エンジン40にアクセスし、キーワード抽出部263から伝送されたキーワードについて情報検索を行い、キーワードの検索結果およびキーワードに関連する記事を取得する。情報検索部265は、得られた検索結果を記憶部251の検索情報蓄積部253に格納するとともに、表示部247および後述する外部表示装置接続制御部267へと伝送する。ここで、情報検索部265が検索エンジン40により取得する検索結果は、検索キーワードに関する検索エンジン40中の情報の表題やURLや情報のジャンルといった、情報に関するメタデータ等である。
また、表示部247または外部表示装置接続制御部267から、ある特定のキーワードやキーワードに関する記事について更に詳細な情報を取得するように要請されると、情報検索部265は、通信部249を介して検索エンジン40にアクセスし更に詳細な情報を取得するとともに、表示部247または外部表示装置接続制御部267から通知された特定のキーワードを、記憶部251の参照履歴記憶部255に記録する。
外部表示装置接続制御部267は、情報処理装置20に接続されている外部表示装置70と情報処理装置20との接続制御を行う。また、外部表示装置制御部267は、キーワード抽出部263により抽出されたキーワードと、情報検索部265が取得した当該キーワードに関する検索結果を、外部表示装置70に送信する。また、外部表示装置70からある特定のキーワードやキーワードに関する記事について更に詳細な情報を取得するように要請されると、外部表示装置接続制御部267は、取得した要請を、情報検索部265に伝送する。要請に応じて情報検索部265が詳細な情報を検索エンジン40等から取得すると、外部表示装置接続制御部267は、情報検索部265が取得した詳細な情報を外部表示装置70に出力する。なお、外部表示装置接続制御部267は、外部表示装置70に各種情報に対応したデータを送信する際に、送信予定のデータのデータ形式を、外部表示装置70が表示可能なデータ形式へと変換してもよい。
また、外部表示装置接続制御部267は、参照履歴記憶部255に記録されている内容に基づいて、選択されたキーワードに関する情報を、検索エンジン40に送信してもよい。検索エンジン40は、外部表示装置接続制御部267から送信された情報を、検索エンジン40内で行われる各種の処理に利用することが可能である。
以上、本実施形態に係る情報処理装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、本実施形態に係る情報処理装置20は、本発明の第1の実施形態に係る情報処理装置20が有する音声認識部や音声会話制御部を更に備えても良い。また、キーワード抽出データベース30の内容を記憶するデータベース記憶部を更に備えてもよい。これにより、キーワード抽出データベース30の内容が、情報処理装置20に設けられたデータベース記憶部に格納されることとなり、情報処理装置20がキーワード抽出データベース30にアクセスするために要する時間を短縮することができる。その結果、情報処理装置20において、キーワード抽出に要する時間を短縮することができる。また、データベース記憶部の内容を定期的に更新することで、キーワード抽出データベース30に記録されている最新のデータベースの内容を取得することが可能となる。
(外部表示装置70の構成)
続いて、図11および図12を参照しながら、本実施形態に係る外部表示装置70の構成について、詳細に説明する。図11は、本実施形態に係る外部表示装置の構成を説明するためのブロック図であり、図12は、本実施形態に係る外部表示装置の情報表示画面について説明するための説明図である。
本実施形態に係る外部表示装置70のハードウェアは、CRTや、液晶パネル、プラズマディスプレイパネル、ELパネル等の表示素子と、CPU、ROM、RAM等から構成され、これらの表示素子を駆動制御するために用いられる駆動制御回路等から構成される。
また、本実施形態に係る外部表示装置70は、例えば図11に示したように、放送受信部701と、接続ポート制御部703と、放送情報表示制御部705と、キーワード情報表示制御部707と、表示部709と、を主に備える。
放送受信部701は、放送局80から送信された放送電波を受信し、放送電波中に含まれる放送文字情報や放送音声情報や画像情報等のデータを、後述する接続ポート制御部703と、放送情報表示制御部705に出力する。また、放送受信部701は、外部表示装置70に備えられた記憶部(図示せず。)や、外部表示装置70に接続された記憶部(図示せず。)等に、受信した情報を記録してもよい。
接続ポート制御部703は、情報処理装置20とディジタル通信が可能なHDMI−CEC等の接続ポートを制御する。放送ポート制御部703は、放送受信部701が受信している放送チャンネルに関する放送チャンネル情報を、HDMI−CEC等の接続ポートを介して情報処理装置20に送信する。また、放送受信部701が受信した放送文字情報や放送音声情報や画像情報等のデータは、接続ポート制御部703を介して情報処理装置20に出力されてもよい。また、情報処理装置20から送信された各種データは、接続ポート制御部703を介して外部表示装置70に入力される。情報処理装置20から送信された各種データは、後述するキーワード情報表示制御部707に伝送される。
放送情報表示制御部705は、放送受信部701から伝送された放送文字情報、放送音声情報および画像情報を後述する表示部709に表示する際の表示制御を行う。
キーワード情報表示制御部707は、情報処理装置20から送信されたキーワード情報を後述する表示部709に表示する際の表示制御を行う。ここで、情報処理装置20から送信されたキーワード情報とは、情報処理装置20により抽出されたキーワード、抽出されたキーワードの検索結果およびキーワードに関連する記事等の情報である。また、後述する表示部709に表示された情報を、外部表示装置70のユーザがマウスやキーボードやリモコン等の入力装置を用いて選択した場合に、選択された情報の詳細を取得するように表示部709から要請がなされると、キーワード情報表示制御部707は、この詳細情報取得要求を、接続ポート制御部703を介して情報処理装置20に送信する。
表示部709は、放送情報表示制御部705により表示制御される放送文字情報、放送音声情報および画像情報と、キーワード情報表示制御部707により表示制御されるキーワード情報とを、外部表示装置70の情報表示画面に表示する。
外部表示装置70の情報表示画面751は、通常は、放送文字情報、放送音声情報および画像情報等が表示される画像表示領域753が主に存在している。ここで、情報処理装置20からキーワード情報が伝送されると、情報表示画面751は、表示領域が分割され、キーワード情報が表示されるキーワード情報表示領域755が生成される。この画像表示領域753は、例えば放送情報表示制御部705により制御され、キーワード情報表示領域755は、例えばキーワード情報表示制御部707により制御される。
なお、キーワード情報表示領域755の詳細については、本発明の第1の実施形態に係る情報処理装置における検索結果表示画面50と実質的に同一であるため、詳細な説明は省略する。
以上、本実施形態に係る外部表示装置70の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
(キーワード抽出方法)
続いて、図13を参照しながら、本実施形態に係る情報処理装置20で行われるキーワード抽出方法の一例について、詳細に説明する。図13は、本実施形態に係るキーワード抽出方法について説明するための流れ図である。
まず、情報処理装置20の放送文字情報受信部261は、外部表示装置70から取得した受信チャンネル情報に基づいて、外部表示装置70または放送局80から放送文字情報を受信し、放送字幕の文字列を文字情報データとして取得する(ステップS301)。放送文字情報受信部261は、取得した文字情報データを、キーワード抽出部263に出力する。
次に、キーワード抽出部263は、伝送された文字情報データを形態素解析して文字列から単語を抽出し、情報処理装置20のメモリ上に記録する(ステップS303)。
次に、キーワード抽出部263は、通信網12に接続されているキーワード抽出データベース30の情報、または、情報処理装置20内に記憶しているキーワード抽出データベース30の内容を利用して、抽出した単語を検索する(ステップS305)。
続いて、キーワード抽出部263は、キーワード抽出データベース30の中に抽出単語が存在しているか否かを判定する(ステップS307)。抽出単語がデータベース30の中に存在している場合には、キーワード抽出部263は、存在した抽出単語を、放送キーワードデータとしてメモリ上に記録する(ステップS309)。また、抽出単語がデータベース30の中に存在していない場合には、キーワード抽出部263は、後述するステップS311を実行する。
次に、キーワード抽出部263は、キーワード抽出データベース30を用いて検索していない抽出単語がメモリ上に存在するか否かを判定する(ステップS311)。メモリ上に未検索の単語が存在する場合には、ステップS305に戻って処理を実行する。また、メモリ上に未検索の単語が存在しない場合には、キーワード抽出部263は、メモリ上に存在する放送キーワードデータを、抽出キーワードとして出力する(ステップS313)。
以上説明したような方法で、本実施形態に係る情報処理装置20は、受信した放送文字情報の中からキーワードを抽出することが可能となる。
なお、本実施形態に係る情報処理装置20が実行するキーワードの同期方法は、本発明の第1の実施形態に係る情報処理装置20が実行するキーワードの同期方法と実質的に同一であるため、説明は省略する。
以上、本実施形態に係る情報処理装置20では、放送局が送信している放送文字情報の中から、キーワード抽出データベース30に存在している単語(キーワード)を自動的に抽出することが可能となり、抽出したキーワードを外部表示装置70に表示させることができる。かかる機能を用いることで、情報処理装置20や外部表示装置70でチャット等の双方向通信を実施しているユーザは、抽出されたキーワードをチャット等の話題として用いることが可能となる。
(本実施形態に係る情報処理装置の第1変形例)
続いて、図14および図15を参照しながら、本実施形態に係る情報処理装置20の第1変形例について、詳細に説明する。図14は、本変形例に係る情報処理装置20の構成を説明するためのブロック図であり、図15は、本変形例に係るキーワード抽出方法を説明するための流れ図である。なお、本変形例に係る情報処理装置20のハードウェア構成は、本発明の第2の実施形態に係るハードウェア構成と実質的に同一であるため、詳細な説明は省略する。
本変形例に係る情報処理装置20は、例えば図14に示したように、キーワード同期部245と、表示部247と、通信部249と、記憶部251と、放送音声情報受信部269と、情報検索部265と、外部表示装置接続制御部267と、パラメータ抽出部271と、キーワード抽出部273と、を主に備える。
ここで、キーワード同期部245、表示部247、通信部249、記憶部251、情報検索部265、および、外部表示装置接続制御部267については、本発明の第2の実施形態に係るキーワード同期部245、表示部247、通信部249、記憶部251、情報検索部265、および、外部表示装置接続制御部267と実質的に同一であり、それぞれ同様の効果を奏するため、詳細な説明は省略する。
放送音声情報受信部269は、外部表示装置70が現在受信している放送チャンネルに関する受信チャンネル情報を、外部表示装置70から取得する。放送音声情報受信部269は、この受信チャンネル情報を外部表示装置70から取得することにより、外部表示装置70が受信している放送チャンネルと、放送音声情報受信部269が受信する放送チャンネルとを同期させることができる。
また、放送音声情報受信部269は、取得した受信チャンネル情報に基づいて、外部表示装置70が受信している放送チャンネルに対応した放送電波を、放送局80から直接受信する。この際、放送音声情報受信部269は、放送局80が送信している放送電波のうちワンセグの電波を直接受信し、受信した電波の中から音声情報を取得してもよい。また、放送音声情報受信部269は、放送局80が送信しているフルセグの放送電波を直接受信してもよい。
また、放送音声情報受信部269は、取得した受信チャンネル情報に基づいて、外部表示装置70が受信し外部表示装置70から情報処理装置20に送信された放送音声情報を、受信してもよい。
放送音声情報受信部269が受信した放送音声情報は、後述するキーワード抽出部271へと出力される。また、放送音声情報受信部269は、受信した放送音声情報を記憶部251に記録してもよい。
パラメータ抽出部271と、キーワード抽出部273は、本変形例に係る情報処理装置20の音声認識部233を構成する処理部である。パラメータ抽出部271は、放送音声情報に含まれる音声データについて、適当なフレーム毎(適当な時間間隔毎)に、例えば、メル周波数ケプストラム係数(Mel Frequency Cepstrum Coefficients:MFCC)とその時間差分パラメータや、音声データのスペクトル、パワー線形予測係数、ケプストラム係数、線スペクトル対等の特徴パラメータを抽出する。
パラメータ抽出部271は、抽出された特徴パラメータをキーワード抽出部273に伝送する。また、パラメータ抽出部271は、抽出した特徴パラメータを、記憶部251に格納してもよい。
キーワード抽出部273は、パラメータ抽出部271により生成・抽出された特徴パラメータと、キーワード抽出データベース30とに基づいて、放送音声情報に含まれる音声データから、キーワードを抽出する。キーワード抽出部273がキーワードを抽出する際には、キーワード抽出部273は、通信部249を介して、通信網12に接続されているキーワード抽出データベース30を参照することが可能である。
通常、放送音声情報に含まれる音声データの中には、複数のキーワードが含まれているものであり、キーワード抽出部273は、音声データの中に存在する全てのキーワードを、自動的に抽出する。キーワード抽出部273は、抽出したキーワードを、情報検索部265へと伝送する。また、キーワード抽出部273は、抽出したキーワードを、記憶部251に格納してもよい。
以上、本変形例に係る情報処理装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、本変形例に係る情報処理装置20は、本発明の第1の実施形態に係る情報処理装置20が有する音声会話制御部を更に備えても良い。また、キーワード抽出データベース30の内容を記憶するデータベース記憶部を更に備えてもよい。これにより、キーワード抽出データベース30の内容が、情報処理装置20に設けられたデータベース記憶部に格納されることとなり、情報処理装置20がキーワード抽出データベース30にアクセスするために要する時間を短縮することができる。その結果、情報処理装置20において、キーワード抽出に要する時間を短縮することができる。
(キーワード抽出方法)
続いて、図15を参照しながら、本変形例に係る情報処理装置20で行われるキーワード抽出方法の一例について、詳細に説明する。
まず、情報処理装置20の放送音声情報受信部269は、外部表示装置70から取得した受信チャンネル情報に基づいて、外部表示装置70または放送局80から放送音声情報を受信し、パラメータ抽出部271およびキーワード抽出部273は、音声データを音声認識し、音声認識結果を決定する(ステップS401)。
次に、キーワード抽出部273は、伝送された文字情報データを形態素解析して文字列から単語を抽出し、情報処理装置20のメモリ上に記録する(ステップS403)。
次に、キーワード抽出部273は、通信網12に接続されているキーワード抽出データベース30の情報、または、情報処理装置20内に記憶しているキーワード抽出データベース30の内容を利用して、抽出した単語を検索する(ステップS405)。
続いて、キーワード抽出部273は、キーワード抽出データベース30の中に抽出単語が存在しているか否かを判定する(ステップS407)。抽出単語がデータベース30の中に存在している場合には、キーワード抽出部273は、存在した抽出単語を、放送キーワードデータとしてメモリ上に記録する(ステップS409)。また、抽出単語がデータベース30の中に存在していない場合には、キーワード抽出部273は、後述するステップS411を実行する。
次に、キーワード抽出部273は、キーワード抽出データベース30を用いて検索していない抽出単語がメモリ上に存在するか否かを判定する(ステップS411)。メモリ上に未検索の単語が存在する場合には、ステップS405に戻って処理を実行する。また、メモリ上に未検索の単語が存在しない場合には、キーワード抽出部273は、メモリ上に存在する放送キーワードデータを、抽出キーワードとして出力する(ステップS413)。
以上説明したような方法で、本変形例に係る情報処理装置20は、受信した放送音声情報の中からキーワードを抽出することが可能となる。
なお、本変形例に係る情報処理装置20が実行するキーワードの同期方法は、本発明の第1の実施形態に係る情報処理装置20が実行するキーワードの同期方法と実質的に同一であるため、説明は省略する。
以上、本変形例に係る情報処理装置20では、放送局が送信している放送音声情報の中から、キーワード抽出データベース30に存在している単語(キーワード)を自動的に抽出することが可能となり、抽出したキーワードを外部表示装置70に表示させることができる。かかる機能を用いることで、情報処理装置20や外部表示装置70でチャット等の双方向通信を実施しているユーザは、抽出されたキーワードをチャット等の話題として用いることが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態においては、2つの情報処理装置が音声チャットを行う場合について説明したが、本実施形態に係る音声チャットシステムでは、複数の情報処理装置間で音声チャットを行い、それぞれの情報処理装置間でキーワードの同期を行うことも可能である。
本発明の第1の実施形態に係る音声チャットシステムを示す説明図である。 同実施形態に係る情報処理装置のハードウェア構成を説明するためのブロック図である。 同実施形態に係る情報処理装置の構成を説明するためのブロック図である。 同実施形態に係る情報処理装置が使用する音声認識方法およびキーワード抽出方法の一例を説明するための流れ図である。 同実施形態に係る音声チャットシステムのキーワード同期方法を説明するための流れ図である。 同実施形態に係る情報処理装置の検索情報表示例を説明するための説明図である。 同実施形態に係る検索情報の参照履歴データを説明する説明図である。 同実施形態に係る情報処理装置の音声認識方法を説明するための簡略化されたブロック図である。 同実施形態に係る情報処理装置の音声認識方法の第1変形例を説明するための簡略化されたブロック図である。 同実施形態に係る情報処理装置の音声認識方法の第2変形例を説明するための簡略化されたブロック図である。 同実施形態に係る情報処理装置の音声認識方法の第3変形例を説明するための簡略化されたブロック図である。 本発明の第2の実施形態に係るキーワード抽出システムについて説明するための説明図である。 同実施形態に係る情報処理装置の構成を説明するためのブロック図である。 同実施形態に係る外部表示装置の構成を説明するためのブロック図である。 同実施形態に係る外部表示装置の情報表示画面について説明するための説明図である。 同実施形態に係るキーワード抽出方法について説明するための流れ図である。 同実施形態に係る情報処理装置の第1変形例の構成を説明するためのブロック図である。 同変形例に係るキーワード抽出方法について説明するための流れ図である。
符号の説明
10 音声チャットシステム
11 キーワード抽出システム
12 通信網
14 リムーバブル記録媒体
16 サーバ
20 情報処理装置
30 キーワード抽出データベース
40 検索エンジン
50 検索情報表示画面
70 外部表示装置
80 放送局
161,163 音声認識部
201 CPU
203 ROM
205 RAM
207 ホストバス
209 ブリッジ
211 外部バス
213 インターフェース
215 入力装置
217 出力装置
219 ストレージ装置
221 ドライブ
223 通信装置
231 音声入力部
233 音声認識部
235,271 パラメータ抽出部
237,263,273 キーワード抽出部
239 音声会話制御部
241 音声出力部
243,265 情報検索部
245 キーワード同期部
247 表示部
249 通信部
251 記憶部
253 検索情報蓄積部
255 参照履歴記憶部
261 放送文字情報受信部
267 外部表示装置接続制御部
269 放送音声情報受信部
701 放送受信部
703 接続ポート制御部
705 放送情報表示制御部
707 キーワード情報表示制御部
709 表示部
751 情報表示画面
753 画像表示領域
755 キーワード情報表示領域

Claims (19)

  1. 音声チャットを行う複数の情報処理装置と、
    前記情報処理装置が、前記音声チャットの会話の中からキーワードを抽出する際に参照するキーワード抽出データベースと、
    前記情報処理装置が、抽出された前記キーワードを用いて当該キーワードおよび当該キーワードに関連する記事を検索する検索エンジンと、
    を備え、
    少なくとも1つの前記情報処理装置は、
    前記会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、
    前記生成された音声データを認識し、前記パラメータおよび前記キーワード抽出データベースに基づいて前記音声データから前記キーワードを抽出するキーワード抽出部と、
    抽出した前記キーワードを検索エンジンによって検索し、前記キーワードの検索結果および前記キーワードに関連する記事を取得する情報検索部と、
    前記キーワードの検索結果の所在情報と関連付けられた当該キーワードと、前記キーワードに関連する記事の所在情報と関連付けられた当該記事と、をそれぞれ表示する表示部と、
    前記抽出されたキーワードをチャットの相手である情報処理装置に送信し、当該チャットの相手である情報処理装置とのキーワードの同期を行うキーワード同期部と、
    前記キーワードの参照履歴を記憶する参照履歴記憶部と、
    を備え
    前記参照履歴記憶部は、参照した前記キーワードと個々のチャットに付与される識別子とを関連付けて記憶し、
    前記キーワード抽出部は、前記識別子を利用して前記キーワードを抽出する、
    音声チャットシステム。
  2. 他の情報処理装置との間で音声チャットを行う情報処理装置であって、
    音声チャットでの会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、
    前記生成された音声データを認識し、キーワード抽出データベースおよび前記パラメータに基づいて前記音声データからキーワードを抽出するキーワード抽出部と、
    抽出した前記キーワードを検索エンジンによって検索し、前記キーワードの検索結果および前記キーワードに関連する記事を取得する情報検索部と、
    前記キーワードおよび前記記事を当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する検索情報蓄積部と、
    前記キーワードの参照履歴を記憶する参照履歴記憶部と、
    を備え
    前記参照履歴記憶部は、参照した前記キーワードと個々のチャットに付与される識別子とを関連付けて記憶し、
    前記キーワード抽出部は、前記識別子を利用して前記キーワードを抽出する、
    情報処理装置。
  3. 前記情報処理装置は、抽出した前記キーワードをチャットの相手である情報処理装置に送信し、当該チャットの相手である情報処理装置とのキーワードの同期を行うキーワード同期部を更に備える、請求項2に記載の情報処理装置。
  4. 前記情報処理装置は、前記キーワード抽出データベースを記憶するデータベース記憶部を更に備える、請求項2に記載の情報処理装置。
  5. 前記情報処理装置は、前記検索エンジンを当該情報処理装置内に備える、請求項2に記載の情報処理装置。
  6. 前記情報処理装置は、前記キーワードの検索結果の所在情報と関連付けられた当該キーワードと、前記キーワードに関連する記事の所在情報と関連付けられた当該記事とをそれぞれ表示する表示部を更に備える、請求項2に記載の情報処理装置。
  7. 前記参照履歴記憶部は、前記参照したキーワードとチャット相手とを関連付けて記憶する、請求項に記載の情報処理装置。
  8. 前記キーワード抽出部は、前記参照履歴の上位に位置するキーワードを優先的に抽出する、請求項に記載の情報処理装置。
  9. 前記キーワード抽出部は、前記検索エンジンの上位検索キーワードを優先的に抽出する、請求項2に記載の情報処理装置。
  10. コンピュータに、
    音声チャットでの会話より生成された音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出機能と、
    前記生成された音声データを認識し、キーワード抽出データベースおよび前記パラメータに基づいて前記音声データからキーワードを抽出するキーワード抽出機能と、
    抽出した前記キーワードを検索エンジンによって検索し、前記キーワードの検索結果および前記キーワードに関連する記事を取得する情報検索機能と、
    前記キーワードおよび前記記事を当該キーワードの検索結果の所在情報および当該記事の所在情報とそれぞれ関連付けて蓄積する検索情報蓄積機能と、
    前記キーワードの参照履歴を記憶する参照履歴記憶機能と、
    を実現させ
    前記キーワード抽出機能は、参照した前記キーワードと関連付けて記憶される個々のチャットに付与される識別子を利用して前記キーワードを抽出する、
    ためのプログラム。
  11. 放送局から送信された放送文字情報を受信する放送文字情報受信部と、
    キーワード抽出データベースに基づいて前記放送文字情報からキーワードを抽出するキーワード抽出部と、
    抽出した前記キーワードを検索エンジンによって検索し、前記キーワードの検索結果および前記キーワードに関連する記事を取得する情報検索部と、
    外部表示装置との接続制御を行い、前記キーワード、前記キーワードの検索結果および前記キーワードに関連する記事を前記外部表示装置へと出力する外部表示装置接続制御部と、
    前記キーワードの参照履歴を記憶する参照履歴記憶部と、
    を備え、
    前記参照履歴記憶部は、参照した前記キーワードと個々のチャットに付与される識別子とを関連付けて記憶し、
    前記キーワード抽出部は、前記識別子を利用して前記キーワードを抽出する、
    情報処理装置。
  12. 前記放送文字情報受信部は、前記情報処理装置に接続された前記外部表示装置から、当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報と、前記放送チャンネルに対応する前記放送文字情報と、を取得する、請求項11に記載の情報処理装置。
  13. 前記放送文字情報受信部は、前記情報処理装置に接続された前記外部表示装置から当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報を取得するとともに、前記放送局から前記放送チャンネルに対応した前記放送文字情報を取得する、請求項11に記載の情報処理装置。
  14. 前記参照履歴記憶部は、前記外部表示装置での前記キーワードの参照履歴を記憶
    前記外部表示装置接続制御部は、前記外部表示装置で選択されたキーワードを、前記検索エンジンに通知する、請求項11に記載の情報処理装置。
  15. 前記情報処理装置は、抽出した前記キーワードを他の情報処理装置に送信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期部を更に備える、請求項11に記載の情報処理装置。
  16. 放送局から送信された放送音声情報を受信する放送音声情報受信部と、
    前記放送音声情報に含まれる音声データから、当該音声データを特徴付けるパラメータを抽出するパラメータ抽出部と、
    前記音声データを認識し、キーワード抽出データベースおよび前記パラメータに基づいて前記音声データからキーワードを抽出するキーワード抽出部と、
    抽出した前記キーワードを検索エンジンによって検索し、前記キーワードの検索結果および前記キーワードに関連する記事を取得する情報検索部と、
    外部表示装置との接続制御を行い、前記キーワード、前記キーワードの検索結果および前記キーワードに関連する記事を前記外部表示装置へと出力する外部表示装置接続制御部と、
    前記キーワードの参照履歴を記憶する参照履歴記憶部と、
    を備え、
    前記参照履歴記憶部は、参照した前記キーワードと個々のチャットに付与される識別子とを関連付けて記憶し、
    前記キーワード抽出部は、前記識別子を利用して前記キーワードを抽出する、
    情報処理装置。
  17. 前記放送音声情報受信部は、前記情報処理装置に接続された前記外部表示装置から、当該外部表示装置が受信している放送チャンネルに関する受信チャンネル情報と、前記放送チャンネルに対応する前記放送音声情報と、を取得する、請求項16に記載の情報処理装置。
  18. 前記参照履歴記憶部は、前記外部表示装置での前記キーワードの参照履歴を記憶
    前記外部表示装置接続制御部は、前記外部表示装置で選択されたキーワードを、前記検索エンジンに通知する、請求項16に記載の情報処理装置。
  19. 前記情報処理装置は、抽出した前記キーワードを他の情報処理装置に送信し、当該他の情報処理装置とのキーワードの同期を行うキーワード同期部を更に備える、請求項16に記載の情報処理装置。
JP2007325275A 2007-04-16 2007-12-17 音声チャットシステム、情報処理装置およびプログラム Expired - Fee Related JP5042799B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007325275A JP5042799B2 (ja) 2007-04-16 2007-12-17 音声チャットシステム、情報処理装置およびプログラム
US12/102,158 US8620658B2 (en) 2007-04-16 2008-04-14 Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition
CN2008100904833A CN101309327B (zh) 2007-04-16 2008-04-16 语音聊天系统、信息处理装置、话语识别和关键字检测
TW097113830A TWI506982B (zh) 2007-04-16 2008-04-16 音訊聊天系統、資訊處理裝置、語音辨識方法、關鍵字偵測方法、及記錄媒體

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007107319 2007-04-16
JP2007107319 2007-04-16
JP2007325275A JP5042799B2 (ja) 2007-04-16 2007-12-17 音声チャットシステム、情報処理装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2008287697A JP2008287697A (ja) 2008-11-27
JP2008287697A5 JP2008287697A5 (ja) 2011-01-20
JP5042799B2 true JP5042799B2 (ja) 2012-10-03

Family

ID=40125536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007325275A Expired - Fee Related JP5042799B2 (ja) 2007-04-16 2007-12-17 音声チャットシステム、情報処理装置およびプログラム

Country Status (2)

Country Link
JP (1) JP5042799B2 (ja)
CN (1) CN101309327B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566980A (zh) * 2017-10-27 2018-01-09 努比亚技术有限公司 一种移动终端的定位方法和移动终端
US11145303B2 (en) 2018-03-29 2021-10-12 Samsung Electronics Co., Ltd. Electronic device for speech recognition and control method thereof

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
CN103621011B (zh) * 2011-05-09 2017-05-03 三星电子株式会社 用于在通用即插即用家庭网络环境中管理电话服务的方法和系统
KR101872033B1 (ko) * 2011-12-29 2018-06-29 주식회사 알티캐스트 단말장치 및 단말장치의 제어 방법과 이에 관한 기록매체
JP5965175B2 (ja) * 2012-03-27 2016-08-03 ヤフー株式会社 応答生成装置、応答生成方法および応答生成プログラム
CN102722539A (zh) * 2012-05-23 2012-10-10 华为技术有限公司 一种基于语音识别的查询方法及装置
CN103076893B (zh) * 2012-12-31 2016-08-17 百度在线网络技术(北京)有限公司 一种用于实现语音输入的方法与设备
KR102013612B1 (ko) * 2013-01-03 2019-08-23 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN103474063B (zh) * 2013-08-06 2015-12-23 福建华映显示科技有限公司 语音辨识系统以及方法
JP5940038B2 (ja) * 2013-10-18 2016-06-29 Necパーソナルコンピュータ株式会社 情報処理装置、情報処理方法、及びプログラム
US20150309984A1 (en) * 2014-04-25 2015-10-29 Nuance Communications, Inc. Learning language models from scratch based on crowd-sourced user text input
JP6289662B2 (ja) * 2014-07-02 2018-03-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 情報送信方法及び送信装置
WO2016006088A1 (ja) * 2014-07-10 2016-01-14 株式会社 東芝 電子機器及び方法及びプログラム
JP5951161B2 (ja) * 2014-07-23 2016-07-13 三菱電機株式会社 音声認識装置及び音声認識方法
KR20160059162A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 방송 수신 장치 및 그 제어 방법
US20160164815A1 (en) * 2014-12-08 2016-06-09 Samsung Electronics Co., Ltd. Terminal device and data processing method thereof
CN105022595B (zh) * 2015-07-01 2018-03-23 苏州奥莱维信息技术有限公司 一种语音打印方法
CN107346318B (zh) * 2016-05-06 2021-01-12 腾讯科技(深圳)有限公司 提取语音内容的方法及装置
JP6618884B2 (ja) * 2016-11-17 2019-12-11 株式会社東芝 認識装置、認識方法およびプログラム
EP3343951A1 (en) * 2016-12-27 2018-07-04 GN Hearing A/S Sound signal modelling based on recorded object sound
WO2018163321A1 (ja) * 2017-03-08 2018-09-13 マクセル株式会社 情報処理装置および情報提供方法
CN108733739B (zh) * 2017-04-25 2021-09-07 上海寒武纪信息科技有限公司 支持集束搜索的运算装置和方法
WO2018207485A1 (ja) * 2017-05-11 2018-11-15 株式会社村田製作所 情報処理システム、情報処理装置、コンピュータプログラム、及び辞書データベースの更新方法
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
US11600270B2 (en) * 2017-09-15 2023-03-07 Saturn Licensing Llc Information processing apparatus and information processing method
US10304454B2 (en) * 2017-09-18 2019-05-28 GM Global Technology Operations LLC Persistent training and pronunciation improvements through radio broadcast
JP2019128374A (ja) * 2018-01-22 2019-08-01 トヨタ自動車株式会社 情報処理装置、及び情報処理方法
CN110717012A (zh) * 2018-07-11 2020-01-21 上海谦问万答吧云计算科技有限公司 语术推荐方法、装置、设备和存储介质
KR20200030789A (ko) * 2018-09-13 2020-03-23 삼성전자주식회사 음성 인식 방법 및 장치
CN110970021B (zh) * 2018-09-30 2022-03-08 航天信息股份有限公司 一种问答控制方法、装置及系统
WO2020162930A1 (en) * 2019-02-06 2020-08-13 Google Llc Voice query qos based on client-computed content metadata
CN109976702A (zh) * 2019-03-20 2019-07-05 青岛海信电器股份有限公司 一种语音识别方法、装置及终端
CN110110044B (zh) * 2019-04-11 2020-05-05 广州探迹科技有限公司 一种企业信息组合筛选的方法
CN110265010A (zh) * 2019-06-05 2019-09-20 四川驹马科技有限公司 基于百度语音的货车多人语音识别方法及系统
CN111176618B (zh) * 2019-12-10 2023-09-01 武汉学子明灯科技有限责任公司 一种语音唤醒开发程序的方法及系统
CN111161730B (zh) * 2019-12-27 2022-10-04 中国联合网络通信集团有限公司 语音指令匹配方法、装置、设备及存储介质
CN112417095A (zh) * 2020-11-17 2021-02-26 维沃软件技术有限公司 语音消息处理方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526101B2 (ja) * 1995-03-14 2004-05-10 株式会社リコー 音声認識装置
JP2001184289A (ja) * 1999-12-27 2001-07-06 Js Corporation:Kk チャットシステム、及びそれを含むインターネット上の情報提供システム
JP2002297645A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd インターネット情報検索端末
JP2003186494A (ja) * 2001-12-17 2003-07-04 Sony Corp 音声認識装置および方法、記録媒体、並びにプログラム
JP2006319456A (ja) * 2005-05-10 2006-11-24 Ntt Communications Kk キーワード提供システム及びプログラム
CN1731804A (zh) * 2005-08-23 2006-02-08 黄保国 一种电话语音搜索的方法
JP2007079745A (ja) * 2005-09-12 2007-03-29 Sharp Corp ネットワーク接続装置、サーバ装置、端末装置、システム、受信方法、文字入力方法、送信方法、プログラムおよびコンピュータ読み取り可能な記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566980A (zh) * 2017-10-27 2018-01-09 努比亚技术有限公司 一种移动终端的定位方法和移动终端
US11145303B2 (en) 2018-03-29 2021-10-12 Samsung Electronics Co., Ltd. Electronic device for speech recognition and control method thereof

Also Published As

Publication number Publication date
CN101309327B (zh) 2012-09-19
CN101309327A (zh) 2008-11-19
JP2008287697A (ja) 2008-11-27

Similar Documents

Publication Publication Date Title
JP5042799B2 (ja) 音声チャットシステム、情報処理装置およびプログラム
US8620658B2 (en) Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition
US10410627B2 (en) Automatic language model update
JP4987682B2 (ja) 音声チャットシステム、情報処理装置、音声認識方法およびプログラム
US8666963B2 (en) Method and apparatus for processing spoken search queries
US8990182B2 (en) Methods and apparatus for searching the Internet
EP2612261B1 (en) Internet search related methods and apparatus
KR101770358B1 (ko) 내장형 및 네트워크 음성 인식기들의 통합
KR102241972B1 (ko) 환경 콘텍스트를 이용한 질문 답변
US20120060113A1 (en) Methods and apparatus for displaying content
US20120059658A1 (en) Methods and apparatus for performing an internet search
US20120059814A1 (en) Methods and apparatus for selecting a search engine to which to provide a search query
JP2009163358A (ja) 情報処理装置、情報処理方法、プログラムおよび音声チャットシステム
JP2015099290A (ja) 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム
JP2005084829A (ja) 情報検索方法、情報検索装置、情報検索プログラム、及びプログラム記録媒体
TWI574255B (zh) 語音辨識方法、電子裝置及語音辨識系統
JP2005151037A (ja) 音声処理装置および音声処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120711

R150 Certificate of patent or registration of utility model

Ref document number: 5042799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees