JP2006058887A - 情報処理システム、並びに、情報処理装置および方法 - Google Patents

Abstract

【課題】 簡単かつ迅速に、データを処理できるようにする。
【解決手段】 ＣＣＤビデオカメラ３１で、本４１のカラーコード４２を取り込み、カラーコード識別部６１でこれを識別する。音声認識部６２は、マイクロホン３２で取り込んだ音声を認識する際、識別されたカラーコード４２に対応する分野の辞書を選択し、参照する。視覚メッセージ発生部６７は、音声認識部６２で認知された結果に基づく視覚メッセージを発生する。スーパインポーズ部６８は、ビデオ信号に視覚メッセージをスーパインポーズし、テレビジョン受像機３３のディスプレイに供給し、表示される。本発明は、音声認識システムに適用できる。
【選択図】 図２

Description

本発明は、情報処理システム、並びに、情報処理装置および方法に関し、特に所望の情報を迅速かつ確実に得ることができるようにした情報処理システム、並びに、情報処理装置および方法に関する。

最近、音声認識システムの開発が進み、各種の分野で応用されている。この音声認識システムにおいては、ユーザの会話をマイクロホンを介して取り込み、その特徴を分析して、単語として認識するようにしている。

そして不明な単語が認識された場合においては、文脈情報（会話の流れ）から分析を行うようにしている。これにより、例えば、「我輩は猫であるの著者は誰ですか。」といった文章をユーザが音声入力した場合、この質問を分析し、コンピュータにより、その回答を出力させることができる。

特開平５−３０３３２８号公報

しかしながら、例えば、「この本の著者は誰ですか。」といった文章が入力された場合、「この本」の単語を認識することができたとしても、「この本」が具体的にどの本を指すのか特定しなければ、その質問に対する回答を行うことができない。このような代名詞により、指称される意味を会話の文脈だけから判断することは困難である。

また、音声認識の認識率を向上させるには、できるだけ多くの語彙を辞書に登録しておき、これを参照するようにすればよいが、語彙の数が多くなると、それだけ認識に時間がかかることになる。また、誤認識のおそれも多くなる。

本発明はこのような状況に鑑みてなされたものであり、迅速かつ簡単に、データを処理することができるようにするものである。

本発明の情報処理システムは、所定のコードにそれぞれ対応付けられた所定の情報を記憶する記憶手段と、現実世界のオブジェクトの画像を取り込む画像取込手段と、前記画像取込手段により取り込まれた前記画像の中の前記コードを識別する識別手段と、前記画像取込手段により取り込まれた前記画像を表示する表示手段と、前記記憶手段に記憶されている前記情報の中から、前記識別手段により識別された前記コードに対応づけられている情報を選択する選択手段とを備え、前記表示手段は、前記選択手段により選択された前記情報を、前記画像取込手段により取り込まれた前記画像に重畳させて表示することを特徴とする。

前記オブジェクトに関するキーワードの入力を制御する入力制御手段をさらに備え、前記選択手段は、前記コードおよび前記キーワードに基づいて、前記情報を選択することを特徴とする。

本発明の情報処理装置は、他の装置とネットワークを介して接続される情報処理装置であって、現実世界のオブジェクトの画像を取り込む画像取込手段と、前記画像取込手段により取り込まれた前記画像を表示する表示手段と、前記他の装置と通信を行う通信手段とを備え、前記通信手段は、前記ネットワークを介して、前記画像を前記他の装置に送信するとともに、前記画像の中の所定のコードに基づいて検索された所定の情報を前記他の装置より受信し、前記表示手段は、受信した前記情報を、前記画像取込手段により取り込まれた前記画像に重畳させて表示することを特徴とする。

本発明の情報処理方法は、現実世界のオブジェクトの画像を取り込む画像取込ステップと、前記画像の中の所定のコードを識別する識別ステップと、所定のコードにそれぞれ対応付けられた記憶手段に記憶されている所定の情報の中から、識別された前記コードに対応づけられている情報を選択する選択ステップと、選択された前記情報を、取り込まれた前記画像に重畳させて表示する表示ステップとを含むことを特徴とする。

本発明の情報処理システムおよび情報処理方法においては、現実世界のオブジェクトの画像が取り込まれ、画像の中の所定のコードが識別され、所定のコードにそれぞれ対応付けられた記憶手段に記憶されている所定の情報の中から、識別されたコードに対応づけられている情報が選択され、選択された情報が、取り込まれた画像に重畳されて表示される。

本発明の情報処理装置においては、現実世界のオブジェクトの画像が取り込まれ、ネットワークを介して、画像が他の装置に送信されるとともに、画像の中の所定のコードに基づいて検索された所定の情報が他の装置より受信され、受信された情報が、取り込まれた画像に重畳されて表示される。

本発明によれば、簡単、確実、迅速に、所望の情報を検索することが可能となる。また、本発明によれば、迅速かつ簡単に、データを処理することができる。

図１は、本発明の情報処理システムの一般的な構成例を表している。この実施例においては、携帯端末１０が入力部１を備え、現実世界オブジェクト１３のデータを取り込むようになされている。入力部１は、ＣＣＤビデオカメラ、バーコードリーダ、マイクロホンなどにより構成される。現実世界オブジェクト１３としては、テーブル、キャビネット、ドア、壁、コンピュータ、オフィス機器、文書、ホルダなど、種々のものが考えられる。

検出部２は、例えばＧＰＳ装置、ＰＨＳ装置（簡易無線電話）などよりなり、衛星その他を介して伝送されてくる電波を受信して、現在時刻や現在位置を検出する。

入力部３は、例えばキーボード、トラックボールなどにより構成され、ユーザＩＤ、その他のデータを入力するとき操作される。

合成部４は、入力部１より供給される現実世界オブジェクト１３のデータ、検出部２より供給される時刻データや位置データ、入力部３より供給されるユーザＩＤなどのデータを合成し、通信部６に供給している。通信部６は、入力されたデータをネットワーク１１に出力するとともに、ネットワーク１１より伝送されてきたデータを取り込み、ディスプレイ、スピーカなどより構成される出力部５に出力する。

ネットワーク１１は、ワイヤレス、あるいは所定の通信回線を介して構成され、データベース１２に接続されている。

次に、その動作について説明する。通信部６は、データベース１２にアクセスするとき、入力部１から現実世界オブジェクト１３の所定のものの識別コード（ＩＤ）をＣＣＤビデオカメラで読み取る。この読み取られた識別データは、合成部４を介して通信部６に供給される。通信部６は、このデータをネットワーク１１を介してデータベース１２に供給する。

データベース１２は、入力された識別コードに対応する検索処理を行い、得られた検索結果をネットワーク１１を介して通信部６に出力する。通信部６は、このデータを出力部５に供給し、画像データは、そのディスプレイに表示させるとともに、音声データはスピーカから出力させる。

なお、この実施例においては、データベース１２をネットワーク１１を介して携帯端末１０に接続するようにしたが、データベース１２を携帯端末１０に内蔵させるようにすることも可能である。

図２は、図１に示した実施例を音声認識システムに応用した例を表している。この実施例においては、携帯端末１０が、入力部１としてのＣＣＤビデオカメラ３１と、マイクロホン３２を有しており、また、出力部５として、パームトップのテレビジョン受像機（ＴＶ）３３を有している。この他、図１における通信部６も有しているが、便宜上、図２においては省略されている。また、ネットワーク１１は、ワイヤレスネットワークにより構成されるが、図２においては、その図示は省略されている。

データベース１２は、例えば図書館に配置されているコンピュータ５１により構成されている。ＣＣＤビデオカメラ３１は、現実世界オブジェクト１３の１つとしての本４１の所定の位置に印刷されているカラーコード４２を読み取り、その読み取った画像データをＮＴＳＣ方式のビデオ信号として、コンピュータ５１のカラーコード識別部６１に供給している。カラーコード識別部６１は、入力されたビデオ信号からカラーコードを識別し、その識別結果を音声認識部６２と自然言語処理部６４に出力している。

音声認識部６２には、対話辞書６３が接続されており、音声認識部６２は、この対話辞書６３のデータを利用して、マイクロホン３２より入力された音声データを認識する処理を実行する。

音声認識部６２の出力は、自然言語処理部６４に供給され、解析されるようになされている。自然言語処理部６４の出力は、会話メッセージ発生部６５に供給され、会話メッセージ発生部６５は、入力に対応する会話メッセージを発生し、音声合成部６６と視覚メッセージ発生部６７に出力している。

音声合成部６６は、会話メッセージ発生部６５より供給された会話メッセージを音声信号に変換し、テレビジョン受像機３３のスピーカ（図示せず）に供給するようになされている。

視覚メッセージ発生部６７は、会話メッセージ発生部６５からの入力に対応する視覚メッセージ（文字データ）を発生し、スーパインポーズ部６８に出力している。スーパインポーズ部６８は、視覚メッセージ発生部６７より入力された文字データと、ビデオカメラ３１より供給されたビデオデータとを合成し、テレビジョン受像機３３に供給し、表示させるようになされている。

次に、その動作について説明する。ユーザは、例えば、「この本の著者は誰ですか。」の音声を出力し、その回答をコンピュータ５１より得たいと思うとき、ＣＣＤビデオカメラ３１で対象とする本４１のカラーコード４２を読み取らせる。カラーコード識別部６１は、ＣＣＤビデオカメラ３１より入力されるビデオ信号からカラーコードを識別し、その識別結果（ＩＤ番号）を音声認識部６２に出力する。音声認識部６２は、このＩＤ番号の入力に対応して図３のフローチャートに示す処理を実行する。

すなわち、最初にステップＳ１において、ＩＤ番号が入力されたか否かを判定し、ＩＤ番号が入力されていないと判定された場合、ステップＳ２に進み、予め設定されているデフォルトの参照順位で、対話辞書６３に記憶されている複数の辞書を順次参照して、マイクロホン３２より入力された音声の認識処理を実行する。

これに対して、ステップＳ１において、ＩＤ番号が入力されたと判定された場合、ステップＳ３に進み、入力されたＩＤ番号に対応する分野の辞書を第１番目の参照順位に設定する。そして、対話辞書６３に記憶されている複数の辞書のうち、第１番目の参照順位に設定された辞書を参照して、マイクロホン３２より入力された音声データの認識処理を実行する。

例えば、音声認識部６２は、入力されたＩＤ番号から、その本４１の著者、タイトルを判定することができる。そして、その本の分野（フィールド）を判定する。この分野とは、例えば、政治、経済、物理、運動といったような分野である。対話辞書６３は、こういった分野別に辞書を有している。音声認識部６２は、マイクロホン３２より入力された音声データを認識するに際し、第１番目の参照順位に選定された分野の辞書から順次参照を行う。マイクロホン３２より入力される音声は、ＣＣＤビデオカメラ３１で、そのカラーコード４２を取り込んだ本４１に関する音声である可能性が高い。その結果、この現実世界における本４１の分野に関する辞書を参照して音声認識処理を行うと、より的確に、短時間で、音声認識を完了することができる。

音声認識部６２で認知された結果は、自然言語処理部６４に供給され、解析される。この解析に際しても、カラーコード識別部６１で識別されたＩＤ番号が利用される。これにより、例えば、「この本」の音声が認識された場合において、「この本」が意味するところの本をＩＤ番号で特定される本として認識する。従って、例えば、ＩＤ番号が「我輩は猫である」のタイトルの本のものである場合においては、その著者は「夏目漱石」と判定する。

そこで、自然言語処理部６４は、例えば、「この本の著者は夏目漱石です。」の会話メッセージを発生させるように、会話メッセージ発生部６５を制御する。会話メッセージ発生部６５は、音声合成部６６を制御し、「この本の著者は夏目漱石です。」の音声メッセージを発生させる。この音声メッセージは、テレビジョン受像機３３のスピーカより出力される。

一方、会話メッセージ発生部６５が発生した会話メッセージは、視覚メッセージ発生部６７に入力され、視覚メッセージ、すなわち文字、あるいは図形に変換される。いまの場合、「この本の著者は夏目漱石です。」の文字列（文章）が発生され、スーパインポーズ部６８において、ＣＣＤビデオカメラ３１が出力するビデオ信号にスーパインポーズされ、テレビジョン受像機３３のディスプレイに供給、表示される。

このようにして、簡単かつ確実に、音声認識部６２において使用する辞書を特定の分野の辞書に切り替えることができる。その結果、認識率を向上させることができるばかりでなく、より迅速な認識処理を行うことが可能となる。

また、「この本」といった、曖昧な表現に対する分析も、迅速かつ確実に、行うことが可能となる。

図４は、他の実施例を表している。この実施例においては、雑誌広告４３にカラーコード４４が印刷されている。この雑誌広告４３には、例えば、所定の自動車の宣伝広告が印刷されている。

このカラーコード４４を、ＣＣＤビデオカメラ３１で取り込むと、この取り込んだビデオ信号がコンピュータ８１の位置データベース９１に供給される。位置データベース９１は、入力されたビデオ信号からカラーコード４４を識別し、対応するＩＤ番号に変換する。

また、位置データベース９１は、仮想世界９３のデータを記憶している。この仮想世界９３には、各種の商品を扱う仮想世界の販売店などが形成されている。データベース９１は、この仮想世界９３の中から、ＣＣＤビデオカメラ３１より取り込んだＩＤ番号に対応する商品を取り扱っている店を検索する。

すなわち、位置データベース９１は、図５のフローチャートに示す処理を実行する。最初にステップＳ１１においてＩＤ番号が入力されるまで待機し、ＩＤ番号が入力されたときステップＳ１２に進み、入力されたＩＤ番号に対応する仮想世界の情報を読み出し、これを出力する。

そして、検索された店のデータを３Ｄ（３次元）ビジュアライザ９２に供給し、ビデオ信号に変換させ、このビデオ信号は、携帯端末１０のテレビジョン受像機３３のディスプレイ３４に供給され、表示される。

これにより、ユーザは、雑誌広告４３に掲載されている自動車のより詳しい情報を仮想世界９３から（仮想世界９３の販売店から）得ることができる。

従って、自動車販売者は、雑誌に各種の広告を行い、その広告にカラーコードを付しておくとともに、その広告する商品を取り扱う販売店を仮想世界９３に形成しておくことで、より効果的な販売促進を行うことができる。

図６は、本発明のさらに他の実施例を表している。この実施例においては、携帯端末１０が、インターネットなどに代表されるネットワーク１１に接続されている。このネットワーク１１には、ＷＷＷ（World Wide Web）のシステムが構築されており、各種の情報プロバイダ１０１から各種の情報がハイパーテキストに代表されるハイパーメディアとして提供されている。従って、各ユーザは、情報を一元的に識別するアドレスとしてのＵＲＬ（Uniform Resource Locator）を指定することで、各種の情報にアクセスすることが可能となされている。

データベース１２は、ネットワーク１１を介してＷＷＷに接続されており、ＷＷＷに情報を提供している情報提供者の緯度、経度、高度などの位置情報を記憶している。そして、この位置情報は、ＷＷＷに登録されている情報にＵＲＬでリンクしている。

すなわち、例えば、情報プロバイダ１０１から、ＷＷＷに所定の情報を登録するとき、その表示画面には、例えば図７に示すような項目が表示される。情報プロバイダ１０１では、この各項目に必要な入力を行う。この実施例においては、ＵＲＬとして、ｈｔｔｐ：／／ｗｗｗ．ｔａｘｉｍ．ｃｏ．ｊｐが入力され、緯度として、４０°１３’１０”が、また経度として、１３５°４０’０５”が、それぞれ入力されている。さらに、情報のタイトルとして、「タキシムドパリ銀座店」が、またキーワードとして「レストラン」と「フランス料理」が、それぞれ入力されている。

このような所定の項目に、所定の入力を行った後、登録キーを操作すると、ＷＷＷに、タキシムドパリ銀座店のタイトルの情報（ファイル）が登録される。ファイルの中身には、必要な文字（テキスト）や図形を書き込むことができる。そして、ハイパーメディアとして、所定の文字に所定のＵＲＬを対応させることができる。

またこの時、データベース１２には、ファイルの中身は登録されないが、図７に示した各項目が登録される。

この実施例においては、携帯端末１０が、検出部２として、ＧＰＳ装置２０を有している。従って、携帯端末１０の現在位置が、常に分かるようになっている。

この実施例の場合、ネットワーク１１には、この他、カーナビゲーションシステム１０Ａや、街頭キオスク１０Ｂが接続されている。カーナビゲーションシステム１０ＡもＧＰＳ装置２０Ａを有しており、常に現在位置を検出するようになされている。また、街頭キオスク１０Ｂは固定されているため、固定した位置情報を発生する。

なお、現在位置を知るには、ＧＰＳの他、ＰＨＳ（簡易無線電話）を用いるようにしてもよい。この場合、現在位置は、現在、どのセルの中にいるかということから判定される。

いま、例えば、ユーザが携帯端末１０を携帯して、銀座、またはその周辺に到着したとする。そして、その近傍のレストランで食事をしたいと思ったとき、携帯端末１０において、図８のフローチャートに示す処理を実行する。

すなわち、最初にステップＳ２１において、キーワードと現在位置を入力する。いま、検索したいのはレストランであるから、キーボードを操作して、「レストラン」の文字をキーワードとして入力する。現在位置は、ＧＰＳ装置２０により検出され、自動的に設定されている。

図９は、携帯端末１０において、検索を指令する場合における携帯端末１０のディスプレイ３４の表示例を表している。キーワードには、「レストラン」の文字が入力されている。また、緯度と経度は、ＧＰＳ装置２０により検出したものが自動的に設定されている。

この状態において、検索ボタンを操作すると、携帯端末１０の通信部６はステップＳ２２に進み、データベース１２にアクセスする。そして、キーワードと現在位置の情報をデータベース１２に出力する。

データベース１２は、このキーワードと位置情報の供給を受けたとき、そのキーワードに対応されており、かつ、現在位置から所定の距離（例えば１ｋｍ）の範囲内の位置情報が対応されているＵＲＬ（すなわちレストラン）を検索する。そして、データベース１２は、検索した結果を携帯端末１０に伝送する。

携帯端末１０は、ステップＳ２３において、データベース１２より供給された検索結果を取得し、そのディスプレイ３４に検索結果を表示させる。これにより、携帯端末１０のディスプレイ３４には、図１０に示すように、現在位置から１ｋｍの範囲内のレストランの名称が表示される。このレストランの名称には、そのレストランに関する、より詳細な情報を取得するためのＵＲＬが対応されている。

そこで、ユーザはステップＳ２４に進み、表示されているレストランの中から所望のレストランを選択する（所望のＵＲＬを選択する）。

この時、携帯端末１０はステップＳ２５に進み、ＷＷＷにアクセスし、ステップＳ２４で選択したＵＲＬに対応する情報の検索を要求する。ＷＷＷにおいては、この要求に対応して指定されたＵＲＬに対応する情報を検索し、携帯端末１０に出力する。

携帯端末１０は、ＷＷＷより供給された情報をステップＳ２６で取得し、ディスプレイ３４に表示させる。

例えば、図１０に示すレストランのうち、「タキシムドパリ銀座店」を選択したとき、図１１に示すように、ＷＷＷからこの「タキシムドパリ銀座店」の情報（ファイル）が読みだされ、表示される。

以上のようにして、現在位置の周辺のレストランに関する情報を、簡単かつ確実に、得ることができる。各情報プロバイダは、ＷＷＷに登録している情報を常に最新の情報に更新しているので、ユーザは、最新の情報を迅速に得ることができる。

なお、図６の実施例においては、データベース１２をＷＷＷと別個に構成するようにしたが、これをＷＷＷに含めてシステムを構築することも可能である。

以上、本発明を説明したが、本発明は上記した実施例以外の各種の情報処理システムに適応することが可能である。

本発明の情報処理システムの一実施例の構成例を示すブロック図である。 本発明の情報処理システムの他の実施例の構成例を示すブロック図である。 図２の実施例の動作を説明するフローチャートである。 本発明の情報処理システムのさらに他の実施例の構成例を示すブロック図である。 図４の実施例の動作を説明するフローチャートである。 本発明の情報処理システムの他の構成例を示すブロック図である。 図６の実施例における情報登録画面の表示例を示す図である。 図６の実施例の検索時における処理を説明するフローチャートである。 図６の実施例の検索時の表示例を示す図である。 図６の実施例の検索結果の表示例を示す図である。 図６の実施例の検索結果の他の表示例を示す図である。

符号の説明

１ 入力部， ２ 検出部， ３ 入力部， ４ 合成部， ５ 出力部， ６ 通信部， １０ 携帯端末， １１ ネットワーク， １２ データベース， １３ 現実世界オブジェクト

Claims (4)

1. 所定のコードにそれぞれ対応付けられた所定の情報を記憶する記憶手段と、
   現実世界のオブジェクトの画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた前記画像の中の前記コードを識別する識別手段と、
   前記画像取込手段により取り込まれた前記画像を表示する表示手段と、
   前記記憶手段に記憶されている前記情報の中から、前記識別手段により識別された前記コードに対応づけられている情報を選択する選択手段と
   を備え、
   前記表示手段は、前記選択手段により選択された前記情報を、前記画像取込手段により取り込まれた前記画像に重畳させて表示する
   ことを特徴とする情報処理システム。
2. 前記オブジェクトに関するキーワードの入力を制御する入力制御手段を
   さらに備え、
   前記選択手段は、前記コードおよび前記キーワードに基づいて、前記情報を選択する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 他の装置とネットワークを介して接続される情報処理装置において、
   現実世界のオブジェクトの画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた前記画像を表示する表示手段と、
   前記他の装置と通信を行う通信手段と
   を備え、
   前記通信手段は、前記ネットワークを介して、前記画像を前記他の装置に送信するとともに、前記画像の中の所定のコードに基づいて検索された所定の情報を前記他の装置より受信し、
   前記表示手段は、受信した前記情報を、前記画像取込手段により取り込まれた前記画像に重畳させて表示する
   ことを特徴とする情報処理装置。
4. 現実世界のオブジェクトの画像を取り込む画像取込ステップと、
   前記画像の中の所定のコードを識別する識別ステップと、
   所定のコードにそれぞれ対応付けられた記憶手段に記憶されている所定の情報の中から、識別された前記コードに対応づけられている情報を選択する選択ステップと、
   選択された前記情報を、取り込まれた前記画像に重畳させて表示する表示ステップと
   を含むことを特徴とする情報処理方法。
   

Images