JP2003302996A - 情報処理システム - Google Patents

Abstract

(57)【要約】 【課題】 複数の不特定のオブジェクトに対して特定の
オブジェクトを対象とするのと同等以上の頑健さでデー
タの内容を把握できる情報処理システムの提供。 【解決手段】 オブジェクトに固有のＩＤ番号を付す手
段、ＩＤ番号を表すタグをオブジェクトに与える手段、
タグが表すＩＤ番号を認識する手段、オブジェクトを観
測してデータを得る手段、得られたデータの特徴抽出を
行なう手段、その抽出した特徴をＩＤ番号に対応づけて
情報サーバに記録する手段、ＩＤ番号認識手段の認識結
果に基づいてそのＩＤ番号に対応した特徴を情報サーバ
より情報ネットワークを介してダウンロードする手段、
ダウンロードされた特徴を利用して観測データの内容を
認識する手段を含むデータの内容を認識する情報処理シ
ステム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理システムに
関し、特に複数のオブジェクトを想定したシステムであ
って、それぞれのオブジェクトを観測して得られる音声
データや画像データなどの内容を、単一のオブジェクト
に限定したシステムと同程度の頑健さで認識するシステ
ムに関する。なお、本明細書で「オブジェクト」とは、
音声や外見などを観測される対象のことを意味し、人間
も含むものとする。

【０００２】

【従来の技術】特願平１０−４３０５１号公報などにみ
られるように、不特定複数の話者を想定した従来の音声
認識技術は、話者の音声の特徴に基づき認識に必要な各
パラメータの値を適応させることにより、頑健性を高め
ようとしていた。しかし話者の音声特徴は、発話される
環境やマイクロフォンなどの観測系、発話内容などに依
存して変化するため、適応により単一特定話者に対する
音声認識程度の高い頑健性は実現できなかった。

【０００３】

【発明が解決しようとする課題】音声データや画像デー
タなどオブジェクトを観測して得られるデータの内容を
認識するシステムは、キーボードを利用することなく、
情報処理装置に情報を直接入力するなどの目的で様々な
分野で広く利用されている。例えば音声認識システムは
カーナビゲーションシステムや携帯電話、パーソナルコ
ンピュータを音声で操作するためなどに利用されてい
る。例えば画像認識システムは顔による人物同定などの
ほかに、郵便番号読み取りや帳票や名刺、図面の記載内
容をコンピュータに入力することなどに利用されてい
る。

【０００４】現在、これらの認識システムは、オブジェ
クトの種類を限定した上で実現されている。例えば音声
認識システムにおいては、日本語認識システムは発話者
が話す言語を日本語に限定しており、英語などの他の言
語の発話内容は認識できない。また日本語であってもあ
る特定の話者専用の音声認識装置は、他の話者の発話内
容を特定話者の発話内容ほど頑健には認識できない。例
えば帳票認識システムは帳票に記載されている文字を認
識するが、名刺や地形図など帳票以外に記載されている
文字を頑健には認識できない。また帳票ではあってもフ
ォーマットが既知の帳票と未知の帳票とを比較すると前
者に記載されている文字をより頑健に認識することがで
きる。

【０００５】一般に認識システムは、対象とするオブジ
ェクトの種類が少なければ少ないほど、高い認識性能を
実現できる。音声認識システムにおいては、不特定話者
のシステムより特定話者専用のシステム方が頑健に音声
を認識する。帳票認識システムにおいては、不特定フォ
ーマットを想定したシステムより、特定フォーマットを
想定したシステムの方が頑健に記載内容を認識する。

【０００６】例えば音声認識においては発話者ごとに声
やアクセントなどが異なるため、不特定話者を想定する
場合、同一の音素に対して様々な音声特徴を対応づけな
ければならない。一方特定の話者のみを想定する場合、
同一の音素に対応する音声特徴は極めて限定される。こ
のため特定の話者を想定した音声認識システムは頑健に
発話内容を認識できる。

【０００７】例えば帳票認識システムを含む文字認識シ
ステムにおいては、不特定のオブジェクトを想定する場
合、文字が記載されている位置や大きさ、フォントなど
がオブジェクトごとに異なる。一方ある特定の帳票など
にオブジェクトを限定する場合、画像中のどこにどのよ
うな種類の文字列が記載されるかを限定することができ
る。このためオブジェクトを限定した画像認識システム
の方が頑健に認識できる。

【０００８】多数のオブジェクトを想定した認識システ
ムは、認識の頑健さを向上させるために、従来は観測さ
れたデータより観測しているオブジェクトを同定しよう
としてきた。特定すれば観測データの内容と観測データ
から抽出される特徴とを特定できるからである。例えば
不特定の話者の音声認識システムにおいては、音声のピ
ッチなど音声特徴から話者を特定し、音声認識する。例
えば多品種帳票認識システムにおいては、帳票の枠線な
どから帳票の種類を特定し、その後で文字認識をおこな
う。

【０００９】上記手法のほかに、オブジェクトの違いに
よる観測データから抽出される特徴の違いを無視し、内
容の違いによる観測データから抽出される特徴の違いを
強調するための信号処理手法についても研究がなされて
きているが、オブジェクトの種類をひとつに限定したと
きの頑健さを実現するには至っていない。

【００１０】各オブジェクトに固有の番号を付し、その
番号を表すタグをオブジェクトに添付し、タグが表す番
号を頑健に認識するシステム（以下タグシステムと呼
ぶ）として、バーコードタグやＲＦＩＤタグ、ＩＣタグ
などのタグを利用したシステムが現在様々な分野で広く
利用されている。

【００１１】従って、本発明の目的は、複数の不特定オ
ブジェクトに対して特定のオブジェクトを対象とするシ
ステムと同等以上の頑健さで観測して得られるデータの
内容を把握することのできる情報処理システムを提供す
ることにある。

【００１２】

【課題を解決するための手段】本発明に従えば、オブジ
ェクトを観測して得られるデータの内容を認識する情報
処理システムにおいて、（１）オブジェクトに固有の番
号であるＩＤ番号を付す手段と、（２）ＩＤ番号を表す
タグをオブジェクトに与える手段と、（３）オブジェク
トに与えられたタグが表すＩＤ番号を認識する手段と、
（４）オブジェクトを観測してデータを得る手段と、
（５）オブジェクトを観測して得られるデータの特徴抽
出を行なう手段と、（６）その抽出した特徴をＩＤ番号
に対応づけて情報サーバに記録する手段と、（７）前記
ＩＤ番号認識手段の認識結果に基づいてそのＩＤ番号に
対応した特徴を情報サーバより情報ネットワークを介し
てダウンロードする手段と、（８）ダウンロードされた
特徴を利用して観測データの内容を認識する手段とを含
む情報処理システムが提供される。

【００１３】

【発明の実施の形態】本発明に従った情報処理システム
において使用するオブジェクトに固有のＩＤ番号を付す
手段（１）としては、例えばネットワークカードに固有
のＭＡＣアドレスを付すのと同様にオブジェクトが生成
されるときにオブジェクトを生成する者が固有の番号を
生成されるオブジェクトに付したり、本発明にかかるシ
ステムにオブジェクトを登録する際に例えば管理者がシ
リアル番号を付したり、パスポート番号や自動車運転免
許証やＥメールアドレスのように本発明にかかるシステ
ムとは関連しないところで定められた固有の番号をＩＤ
として利用したりする手段などがあげられ、これらは従
来から当業界において知られている手段である。これら
の中で特にパスポート番号や自動車運転免許証やＥメー
ルアドレスのように本発明とは関連しないところで定め
られたＩＤ番号の使用が好ましい。

【００１４】本発明に従った情報処理システムにおいて
使用するＩＤ番号を表すタグをオブジェクトに与える手
段（２）としては、例えばＲＦＩＤタグをオブジェクト
が生成される際に添付しておいたり、生成されたオブジ
ェクトにバーコードタグを印刷したり、生成されたオブ
ジェクトにＲＦＩＤタグを添付したり、ＲＦＩＤタグの
添付されたカードをオブジェクトである人に保持された
りする手段などがあげられ、これらは従来から当業界に
おいて知られている手段である。これらの中で特にオブ
ジェクトが工業生産物である場合にはオブジェクトが生
成される際にタグを添付しておく手段がのぞましく、そ
れ以外の場合にはあとから添付したり保持させたりする
手段の使用が好ましい。

【００１５】本発明に従った情報処理システムにおいて
使用するタグが表すＩＤ番号を認識する手段（３）とし
ては、例えばＲＦＩＤタグリーダやバーコードタグ・リ
ーダを利用したりする手段などがあげられ、これらは従
来から当業界において知られている手段である。これら
の中で特にタグとセンサとを接触させる必要の少ないＲ
ＦＩＤタグリーダの使用が好ましい。なお、タグが表す
ＩＤ番号を認識する手段（３）はできるだけ頑健に番号
が認識されることを目的として専用に開発されたタグ
と、そのタグが表す番号を認識することを目的として専
用に開発された装置とを利用する手段であるのが好まし
い。

【００１６】本発明に従った情報処理システムにおいて
使用するオブジェクトの観測データを得る手段（４）と
しては、例えばマイクロフォンによる音声データ観測や
ＣＣＤカメラやＣＭＯＳイメージセンサを利用した画像
データ観測などがあげられ、これらは従来から当業界に
おいて知られている手段である。これらの中で特に音声
データの観測にはマイクロフォンが、画像データの観測
にはＣＭＯＳイメージセンサの使用が好ましい。

【００１７】本発明に従った情報処理システムにおいて
使用するオブジェクトの観測データの特徴抽出を行なう
手段（５）としては、例えば音声データからの特徴抽出
にはケプストラム解析、フーリエ解析、ホルマント解析
などの信号処理が、画像からの特徴抽出には微分演算を
利用したエッジ抽出やコーナー抽出、明暗の極大・極小
点、明暗の勾配方向の抽出、複数の観測データを対象と
する主成分分析などがあげられ、また音声データ・画像
データのいずれに対してもニューラルネットワークを利
用した特徴抽出手法などがあげられ、これらは従来から
当業界において知られている手段である。これらの中で
特に音声データに対してはホルマント解析が、画像デー
タに対しては微分を利用した特徴抽出の使用が好まし
い。

【００１８】本発明に従った情報処理システムにおいて
使用する抽出した特徴をＩＤ番号に対応づけて情報サー
バに記録する手段（６）としては、例えばＡＰＡＣＨＥ
などによるＨＴＴＰサーバやＳＱＬを用いるデータベー
スサーバやＦＴＰサーバにインターネットを介して記録
する手段などがあげられ、これらは従来から当業界にお
いて知られている手段である。これらの中で特にＡＰＡ
ＣＨＥによるＨＴＴＰサーバを利用してインターネット
を介して記録する手段の使用が好ましい。

【００１９】本発明に従った情報処理システムにおいて
使用する認識ＩＤ番号に対応した特徴を情報サーバより
情報ネットワークを介してダウンロードする手段（７）
としては、例えばＦＴＰやＨＴＴＰなどインターネット
で利用可能な通信プロトコルを利用した手段などがあげ
られ、これらは従来から当業界において知られている手
段である。これらの中で特にＨＴＴＰプロトコルなどを
利用した手段の使用が好ましい。

【００２０】本発明に従った情報処理システムにおいて
使用する観測データの内容を認識する手段（８）として
は、例えばＨＭＭなどの音響モデルを利用した音声認識
手法や複合類似度法を利用した画像認識手法やニューラ
ルネットワークを利用した認識手法など従来知られてい
る認識手法に基づいた手段などがあげられ、これらは従
来から当業界において知られている手段である。これら
の中で特に音声データに対してはＨＭＭであらわされる
音響モデルを利用した手段が、画像データに対しては複
合類似度法の使用が好ましい。

【００２１】

【実施例】以下、本発明の情報処理システムの具体例に
ついて添付図面を参照して説明する。図１は本発明の代
表的な実施形態を説明する図面である。システムの利用
者は複数おり、各利用者に固有のＩＤを割り振る。利用
者（１）、（１′）は自分のＩＤを示すタグ（２）、
（２′）を保持する。パーソナルコンピュータ（３）に
はＲＦＩＤタグの番号を認識するためのＲＦＩＤタグリ
ーダ（４）と利用者の音声データを観測するためのマイ
クロフォン（５）とインターネット（６）と情報提示装
置（７）とを接続している。パーソナルコンピュータ
（３）はマイクロフォン（５）からの音声データからの
特徴抽出を行うプログラムやその特徴結果を利用して音
声認識を行うプログラムおよび後述する音声特徴記録用
プログラムを搭載している。インターネット（６）には
ＩＤ→情報変換サーバ（８）が接続されており、ＩＤ番
号をそのＩＤ番号に対応する利用者の音声特徴が配録さ
れている。パーソナルコンピュータ（３）はサーバ
（８）のＩＰアドレスなどインターネット上での所在な
どを入力しておき、サーバ（８）と通信ができるように
しておく。サーバ（８）はパーソナルコンピュータ
（３）からの要求に応じてＲＦＩＤタグリーダが認識し
たＩＤ番号に対応する音声特徴をパーソナルコンピュー
タ（３）へと送信することができる。

【００２２】利用者へのＩＤ番号の割り振りは、例えば
免許証や保険証などＩＤ番号となりうる既知の番号を利
用するか、システムの利用を登録制とし登録された順序
にＩＤ番号を発行するなどしておこなう。ＩＤ番号が割
り振られる際に、例えば管理者がサーバ（８）にＩＤ番
号と利用者の氏名や国籍などの利用者（１）の個人情報
を入力しておく。

【００２３】各利用者はシステムを利用するにあたっ
て、まず自分の音声特徴データをサーバ（８）に記録す
る。利用者（１）がＲＦＩＤタグ（２）をＲＦＩＤタグ
リーダ（４）に近づけると、ＲＦＩＤタグリーダ（４）
は利用者（１）のＩＤ番号を認識する。認識したＩＤ番
号とともにパーソナルコンピュータはサーバ（８）へと
音声特徴の要求をおこなう。利用者（１）のＩＤ番号に
対応する音声特徴データが記録されていない場合、サー
バ（８）は音声特徴の記録がない旨をパーソナルコンピ
ュータ（３）に利用者（１）の個人情報とともに送信す
る。

【００２４】サーバ（８）からの送信内容を受信したパ
ーソナルコンピュータ（３）は音声特徴記録用プログラ
ムを起動し、情報提示装置（７）により利用者（１）に
対して氏名などの個人情報とともに音声特徴の記録に必
要な手順を提示する。例えば情報提示装置（７）に定型
文を表示しその文章を声に出して読むよう利用者（１）
に提示する。音声特徴記録用プログラムはマイクロフォ
ン（５）により観測される音声データをケプストラム解
析するなどして利用者（１）の音声特徴を抽出する。音
声特徴とは例えば各音素のケプストラム発生確率分布を
あらわすパラメータなどである。特徴抽出後、抽出した
特徴は利用者（１）のＩＤ番号とともにサーバ（８）へ
と送信し、サーバ（８）は受信したユーザＩＤと特徴と
を組にして記録する。記録が済んだらサーバ（８）は記
録終了をパーソナルコンピュータ（３）へと送信し、パ
ーソナルコンピュータ（３）は記録終了を情報提示装置
（７）に提示する。

【００２５】利用者（１）がＲＦＩＤタグ（２）をＲＦ
ＩＤタグリーダ（４）に近づけると、ＲＦＩＤタグリー
ダ（４）は利用者（１）のＩＤ番号を認識する。認識し
たＩＤ番号とともにパーソナルコンピュータはサーバ
（８）へと音声特徴の要求をおこなう。利用者（１）の
ＩＤ番号に対応する音声特徴データが記録されている場
合、サーバ（８）はパーソナルコンピュータ（３）へと
音声特徴と利用者（１）の個人情報とを送信する。音声
特徴を受信したパーソナルコンピュータ（３）は情報提
示装置（７）に個人情報とともに音声データ入力待ちで
あることを提示する。

【００２６】利用者（１）はマイクロフォン（５）に向
って発声し、その音声データはマイクロフォン（５）に
より観測され、パーソナルコンピュータ（３）により特
徴抽出及び音声認識がなされる。この音声認識の結果は
情報提示装置（７）に文字列で表示される。

【００２７】異なるＩＤ番号がＲＦＩＤタグリーダによ
り認識されるまで、利用者（１）の音声特徴データによ
る音声認識を続ける。

【００２８】情報サーバ（８）は単一の情報処理装置で
ある必要はなく、図２に示すように、例えば利用者ごと
に異なるＩＰアドレスで表される情報サーバ（１０）、
（１０′）に音声特徴を記録しておき、ＩＤ→ＩＰアド
レス情報サーバ（９）はパーソナルコンピュータ（３）
からの要求に対してＩＤ番号から情報サーバ（１０）や
（１０′）へのＩＰアドレスへと変換し、変換されたＩ
Ｐアドレスで表される情報サーバ（１０）にＩＤ番号と
ともに音声特徴データを要求し、情報サーバ（１０）が
パーソナルコンピュータ（３）へと音声特徴を送信して
も良い。

【００２９】図３は本発明の情報処理システムの応用実
施例の一つである観光情報提示システムである。観光客
（１）、（１′）はそれぞれのＩＤ番号を表すＲＦＩＤ
タグ（２）、（２′）を保持している。観光情報提示シ
ステム（７）はＲＦＩＤタグリーダ（４）とマイクロフ
ォン（５）と情報提示装置（７）とを有し、それらはパ
ーソナルコンピュータ（３）と情報のやりとりが可能な
ように接続され、パーソナルコンピュータ（３）はイン
ターネット（６）と接続し、インターネット（６）には
音声特徴サーバ（１１）が接続されている。

【００３０】観光客（１）の母国語は例えば日本語、観
光客（１′）の母国語は例えば英語であるとする。各観
光客は観光情報提示システム（７）が設置してある場所
に来る前に、例えば自宅もしくは都合の良い場所におい
て、自分の音声特徴をＩＤ→情報変換サーバ（８）に記
録しておく。１度記録すれば、設置場所を問わず本発明
の応用実施例であるところの観光情報提示システムを利
用できる。

【００３１】観光地において観光客（１）が自分のＲＦ
ＩＤタグ（２）をＲＦＩＤタグリーダ（４）に近づける
と観光客（１）のＩＤ番号がパーソナルコンピュータ
（３）とインターネット（６）を経由して情報サーバ
（８）へと送信される。情報サーバ（８）は観光客
（１）の国籍と音声特徴とをパーソナルコンピュータ
（３）へと送信し、パーソナルコンピュータ（３）は情
報提示装置（７）に、受信した国籍に基づき日本語で観
光情報や観光客（１）の氏名など個人情報を表示すると
ともに音声の入力をうながす。利用者（１）はマイクロ
フォン（５）にむかって地名など情報提示装置への要求
を音声で伝え、音声データはパーソナルコンピュータ
（３）において利用者（１）の国籍情報に基づき日本語
認識プログラムを起動し、利用者（１）の音声特徴に基
づき認識処理を行う。

【００３２】認識結果に基づき、例えば発話された地名
への行き先情報などを情報提示装置（７）に日本語で表
示する。

【００３３】一方英語を母国語とする観光客（１′）の
ＲＦＩＤタグが認識された場合、情報サーバ（８）から
の国籍情報に基づきパーソナルコンピュータ（３）は英
語認識プログラムを起動し、図４に示すように英語によ
り観光情報を情報提示システム（７）に提示するととも
に、観光客（１′）の音声特徴に基づき音声認識をおこ
なう。

【００３４】図５は本発明の情報処理システムの他の応
用実施例である議事録作成システムである。会議の参加
者（１）、（１′）は各自のＩＤ番号を表すＲＦＩＤタ
グ（２）、（２′）を保有している。参加者が会議にお
いて利用するテーブル（１１）には各参加者の音声デー
タを観測するためのマイクロフォン（５）とそれぞれの
マイクロフォンに向かって発話している参加者のＩＤ番
号を認識するためのＲＦＩＤタグリーダ（４）とが備え
られている。これらマイクロフォンやＲＦＩＤタグリー
ダなどは図４には示されないパーソナルコンピュータに
それぞれ接続されており、それらパーソナルコンピュー
タはインターネット（６）に接続し、インターネット
（６）にはＩＤ→情報変換サーバ（８）と、各パーソナ
ルコンピュータの認識結果を記録する議事録サーバ（１
２）が接続されている。

【００３５】図６は参加者一人一人に割り当てられる議
事録作成システムの詳細である。参加者の発話内容を観
測するためのマイクロフォン（１）と参加者のＩＤを認
識するＲＦＩＤタグリーダ（２）、議事録作成システム
が認識した結果などを提示する情報提示システム（７）
がパーソナルコンピュータ（３）に接続されており、パ
ーソナルコンピュータ（３）はインターネット（６）を
経由してＩＤ情報変換サーバ（８）と議事録サーバ（１
２）に接続している。

【００３６】会議参加者は会議に参加する前に図６に示
すＩＤ情報サーバ（８）に自己の音声特徴やその他自己
の氏名などを記録しておく。

【００３７】会議参加者は自らのＩＤ番号をあらわすＲ
ＦＩＤタグを保持しており、着席するとともに図６に示
すＲＦＩＤタグリーダ（４）が着席した参加者のＩＤ番
号を認識し、パーソナルコンピュータ（３）はＩＤの認
識結果とともにＩＤ番号に対応する音声特徴を含む事前
に記録されている情報を情報サーバ（８）へと要求す
る。

【００３８】情報サーバ（８）は音声特徴をパーソナル
コンピュータ（３）へと送信し、受信したパーソナルコ
ンピュータ（３）は氏名などの情報を情報提示装置
（７）に提示するとともに、音声入力待ちである旨を情
報提示装置（７）に提示する。

【００３９】参加者はマイクロフォン（５）に向かって
発話し、観測された発話内容はパーソナルコンピュータ
（３）が受信した音声特徴を利用することで音声認識処
理される。

【００４０】認識結果はインターネット（６）経由で議
事録サーバへと送信され、そこで例えば図７のＣ（議事
録サーバ）に示すように発言内容が認識された時刻と発
言者ＩＤおよび認識結果を表す文字列が記録される。こ
の記録は後述する発言内容検索に利用することができ
る。

【００４１】同時にパーソナルコンピュータ（３）はＩ
Ｄ→情報変換サーバ（８）に対してＩＤ番号とともに認
識処理をおこなった時刻に、認識結果を記録した議事録
サーバ（１２）のＩＰアドレスを送信し、議事録サーバ
（１２）は受信内容を対応するＩＤに箇所に例えば図７
のＡ（利用履歴）に示すように記録する。この記録は後
述する発言内容検索に利用することができる。

【００４２】認識結果は上記のように議事録サーバに記
録しなくても、例えば図６のＩＤ情報サーバに直接図７
のＢ（発話履歴）に示すように記録しても構わない。

【００４３】各参加者の発言内容の認識結果はインター
ネット経由で共有できる。図６のパーソナルコンピュー
タ（３）はインターネット経由で議事録サーバ（１２）
へと認識結果を送信するだけではなく、図５のテーブル
（１１）に設置されている他のパーソナルコンピュータ
へと送信し、受信したパーソナルコンピュータは受信し
た内容を情報提示装置（７）に認識時刻順に提示する。

【００４４】会議終了にともないＲＦＩＤタグリーダは
参加者のＩＤ番号を認識できなくなり、これにともない
認識処理の終了させる。

【００４５】図８は図６に示した議事録作成システムの
内容を音声により検索する手順を説明するためのもので
ある。図７のＡ（利用履歴）やＣ（議事録サーバ）のよ
うに議事録サーバに議事録が記録されている場合の検索
手順を示す。

【００４６】参加者（１）はＲＦＩＤタグ（２）を保持
し、パーソナルコンピュータ（３）はＲＦＩＤタグリー
ダ（４）とマイクロフォン（５）に接続されている。ま
たパーソナルコンピュータ（３）はインターネット
（６）を経由してＩＤ情報サーバ（７）と議事録サーバ
（８）とに接続している。パーソナルコンピュータ
（３）には情報提示装置（９）とキーボード（１０）が
接続されている。

【００４７】参加者（１）はＲＦＩＤタグ（２）により
パーソナルコンピュータ（３）にＩＤを認識させ、パー
ソナルコンピュータ（３）は認識結果に基づきインター
ネット（６）経由でＩＤ→情報変換サーバ（８）より音
声特徴を受信し音声認識プログラムを起動し、音声入力
待ちであることを情報提示装置（７）に提示する。

【００４８】さらに参加者（１）はキーボード（１４）
を利用してパーソナルコンピュータ（３）に議事録検索
プログラムを起動する。

【００４９】参加者（１）は会議中になされた発言内容
をマイクロフォン（５）に対しておこなう。発言内容は
認識され、議事録検索プログラムは認識結果、ＩＤ番
号、議事録検索要求とともに図８の情報サーバ（８）へ
と送信する。

【００５０】情報サーバ（８）はＩＤ番号に対応する記
録より議事録サーバ（１２）の所在をつきとめ、議事録
サーバ（１２）に対してＩＤ番号と認識結果を送信す
る。

【００５１】議事録サーバ（１２）はＩＤ番号が含まれ
る議事録より認識結果である文字列を含む発現内容を検
索し、発言内容を含む議事録の前後の記録をパーソナル
コンピュータ（３）に送信する。

【００５２】受信したパーソナルコンピュータ（３）は
受信内容を情報提示装置（７）に提示する。

【００５３】図９は本発明の情報処理システムの更に他
の応用実施例である会話内容の自動提示システムであ
る。利用者（１）は携帯型パーソナルコンピュータ（１
５）を携帯し、携帯型パーソナルコンピュータ（１５）
にはＲＦＩＤタグリーダ（２）と小型マイクロフォン
（５）と自らのＩＤ番号を表すＲＦＩＤタグ（４）と頭
部搭載型の透過型ＨＭＤ（ヘッドマウンテッドディスプ
レイ）（１６）が接続されている。携帯型パソコン（１
５）には無線ＬＡＮの送受信機（１７）が接続されてお
り、他の無線ＬＡＮ送受信機（１７）を経由してインタ
ーネット（６）に接続している。インターネット（６）
にはＩＤ→情報変換サーバ（８）が接続されている。

【００５４】システム利用者（１）は自分の氏名や趣味
など会話の相手に知らせたい情報を情報サーバ（９）に
事前に記録しておくほか、自己の音声特徴を記録してお
く。

【００５５】携帯型パソコン（１５）にはあらかじめ自
己のＩＤ番号を登録しておく。

【００５６】会話する際、ＲＦＩＤタグリーダ（４）は
利用者（１）本人と会話の相手の二つのＩＤ番号を認識
する。このうち利用者本人のＩＤ番号以外の方を認識結
果とみなし、ＩＤ番号とともにインターネット（６）経
由で情報サーバ（８）に対して相手の音声特徴と相手が
事前に登録した情報を要求する。情報サーバ（８）は要
求に応じてパソコン（１５）に音声特徴と事前登録され
た情報を送信する。

【００５７】携帯型パソコン（１５）は受信した情報の
うち事前登録情報をＨＭＤ（１６）に提示するほか、相
手の発言内容をマイクロフォン（５）で観測し、相手の
音声特徴に基づき音声認識処理を行い認識結果をＨＭＤ
（１６）に提示する。図１０にこれら情報提示結果を示
す。会話の相手に重ね合わせて、相手が事前に登録した
氏名情報や相手の発話内容の認識結果も図示することが
できる。

【００５８】携帯型パソコン（１５）は音声認識処理結
果を図９の情報サーバ（８）へと送信する。受信した情
報サーバ（８）は認識結果を相手が事前登録した情報や
時刻とともに認識結果を図１１のように記録しておく。

【００５９】図１２は本発明の情報処理システムの更に
他の応用実施例である空港におけるアナウンス内容自動
翻訳装置である。例として英語圏における空港で日本語
を母国語とする観光客が本発明を利用する例を示す。

【００６０】例えば英語によるアナウンスをおこなう空
港職員である利用者（１）、（１′）はそれぞれのＩＤ
番号を表すＲＦＩＤタグ（２）、（２′）を保持する。
アナウンスを行なうためのマイクロフォン（５）とＲＦ
ＩＤタグリーダ（４）および情報提示装置（７）がパソ
コン（３）に接続されている。パソコン（３）はインタ
ーネット（６）に接続し、インターネットにはＩＤ→情
報変換サーバ（８）と英語から各国語への翻訳サーバ
（１８）が接続している。空港の利用者でここでは日本
語を母国語とする聞き手である利用者（１″）は自らの
ＩＤ番号を表すＲＦＩＤタグ（２″）を保持し、空港が
用意する英語から各国語への翻訳内容提示装置（１９）
には英語によるアナウンス内容を各国語で提示する情報
提示装置（７）とＲＦＩＤタグリーダ（４）と無線ＬＡ
Ｎの送受信機（１７）が接続されている。送受信機（１
７）は他の送受信機（１７）と多数の送受信機を接続す
るためのＨＵＢ（２３）を経由してインターネット
（６）に接続している。

【００６１】職員（１）、（１′）、聞き手（１″）は
それぞれ空港利用以前に自らの音声特徴をサーバ（８）
に記録しておく。インターネットは国籍を問わず利用で
きるため、聞き手（１″）が日本国内で記録した音声特
徴は英語圏の空港でも参照できる。聞き手（１″）は音
声特徴のほかに自分の母国語名（ここでは日本語）もサ
ーバ（８）に記録しておく。

【００６２】空港の職員（１）はＲＦＩＤタグ（２）を
保持し、アナウンスのためのマイクロフォン（５）の前
に立つとＲＦＩＤタグ（４）がＩＤ番号を認識しインタ
ーネット（６）経由で情報サーバ（８）より職員（１）
の音声特徴がパソコン（３）に送信される。特徴を受信
した旨はディスプレイ（７）に提示される。

【００６３】職員（１）はマイクロフォン（５）に向か
って英語アナウンスし、それは空港のスピーカから流さ
れる。一方音声データはパソコン（３）により英語文を
認識する。

【００６４】認識結果はテキストの形で翻訳サーバ（１
８）に送信される。翻訳サーバ（１８）は英語以外の仏
語、日本語など各国語への翻訳をおこなう。

【００６５】翻訳内容提示装置（１９）はＲＦＩＤタグ
リーダ（４）により利用者（１″）のＲＦＩＤタグ
（２″）を認識し、認識結果に基づき母国語情報をＩＤ
→情報変換サーバ（８）から受信する。

【００６６】情報サーバ（８）より受信した母国語情報
が日本語であったら翻訳内容提示装置（１９）は、次に
翻訳サーバ（１８）に日本語へのアナウンス内容翻訳結
果を要求する。情報サーバ（８）は翻訳結果をインター
ネット（６）経由で翻訳内容提示装置（１９）へと送信
し情報提示装置（７）に提示する。

【００６７】ＩＤ情報サーバ（８）より受信した母国語
情報が英語であったら翻訳サーバ（１８）は英語の文章
そのものを翻訳機（１９）へと送信し、翻訳機（１９）
は英文そのものを提示する。

【００６８】図１３は本発明の情報処理システムの更に
他の応用実施例である旅先で各国語の発言内容を自己の
母国語へ翻訳する翻訳システムの例である。話者の言語
がスペイン語であり、利用者の母国語が日本語であった
場合を例として説明する。

【００６９】話者である利用者（１）は自分のＩＤをあ
らわすＲＦＩＤタグ（２）を保持している。聞き手であ
る利用者（１′）が保持する翻訳内容提示装置（１９）
にはＲＦＩＤタグリーダ（４）とディスプレイ（７）と
無線ＬＡＮの送受信機（２０）とスピーカ（２１）が接
続されており、他の無線ＬＡＮ送受信機（２０）により
インターネット（６）に接続されている。インターネッ
ト（６）にはＩＤ→情報変換サーバ（８）と各国語を日
本語へと翻訳する翻訳サーバ（１８）が接続されてい
る。翻訳機には各国語の自動認識プログラムが保存され
ている。

【００７０】事前に話者である利用者（１）はＩＤ→情
報変換サーバ（８）に音声特徴と母国語情報を記録して
おく。

【００７１】聞き手である利用者（１′）が保持する翻
訳内容提示装置（１９）のＲＦＩＤタグリーダに話者
（１）のＲＦＩＤタグ（２）があらわすＩＤ番号が認識
されると、翻訳内容提示装置（１９）は情報サーバ
（８）に対して話者（１）の音声特徴と母国語情報を要
求する。

【００７２】情報サーバ（８）から音声特徴と母国語情
報を受信したら翻訳内容提示装置（１９）は受信した旨
をディスプレイ（７）に提示するとともに、母国語情報
をもとにその母国語認識プログラムを起動する。この例
では話者はスペイン語を話すのでスペイン語自動認識プ
ログラムが起動される。

【００７３】話者（１）はスピーカ（２１）にむかって
話し、翻訳内容提示装置（１９）は話者（１）の音声特
徴を利用してスペイン語を認識する。認識結果であるス
ペイン語のテキストとそのテキストがスペイン語である
こととが翻訳サーバ（１８）へと送信され、翻訳サーバ
（１８）は日本語へと翻訳する。

【００７４】翻訳サーバ（１８）は翻訳結果である日本
語テキストを翻訳内容提示装置（１９）へと送信し、翻
訳機は受信した日本語テキストをディスプレイ（７）に
提示する。

【００７５】図１４は本発明の情報処理システムの更に
他の応用実施例である映像と登場人物のＩＤと登場人物
の発言内容とを合わせて記録するシステムの例である。

【００７６】登場人物である利用者（１）、（１′）は
各自のＩＤ番号をあらわすＲＦＩＤタグ（２）、
（２′）を保持する。各登場人物の音声を記録するマイ
クロフォン（５）とそれぞれのＲＦＩＤタグを認識する
ＲＦＩＤタグリーダ（４）とが各自の音声を認識するた
めのパソコン（３）と接続されている。また映像を撮影
するためのビデオカメラ（２２）は通信をおこなうため
のパソコン（３′）に接続されている。パソコン
（３）、（３′）はＨＵＢ（２３）を介してインターネ
ット（６）に接続し、インターネットにはＩＤ情報サー
バ（８）とビデオザーバ（２４）が接続されている。

【００７７】事前に登場人物（１）、（１′）は自分の
音声特徴をＩＤ情報サーバ（８）に記録しておく。パソ
コン（３）、（３′）にはビデオサーバ（２４）のＩＰ
アドレスが記録されている。

【００７８】登場人物（１）、（１′）のＩＤ番号はＲ
ＦＩＤタグリーダ（４）によって認識され、パソコン
（３）はそれぞれのＩＤ番号に対応する音声特徴をＩＤ
情報サーバ（８）より取得する。

【００７９】登場人物（１）、（１′）はマイクロフォ
ン（５）にむかって発言し、その発言内容はパソコン
（３）で音声認識される。同時にカメラ（２２）は登場
人物の映像を取得する。

【００８０】音声認識結果と映像とはパソコン（３）、
（３′）よりＨＵＢ（２３）を介してインターネットを
経由してビデオサーバ（２４）へと送信される。ビデオ
サーバ（２４）は送信された内容を時刻ごとに映像と登
場人物のＩＤ番号と認識結果のテキストとを記録する。
またパソコン（９）、（３′）はビデオサーバのＩＰア
ドレスをＩＤ情報サーバ（８）に送信しＩＤ情報サーバ
は参加者（１）、（１′）のＩＤ番号に対応づけてビデ
オサーバのＩＰアドレスを図７のように記録する。

【００８１】ビデオサーバ（２４）に記載された内容は
ＩＤ番号もしくは発話内容によって検索が可能である。

【００８２】

【発明の効果】以上の通り、本発明に従えば、タグが表
すＩＤ番号の認識によりオブジェクトを一意に限定し、
対応する特徴を情報ネットワークより取得して認識する
ため、複数のオグジェクトそれぞれに対して、オブジェ
クトを特定しているシステムと同程度の頑健さで認識が
表現できるという効果がある。従ってかかる情報処理シ
ステムを用いれば、ひとたびオブジェクトの特徴をネッ
トワーク上に記録しさえすれば、本発明にかかるシステ
ムにより、オブジェクトを観測して得られるデータを世
界中どこででも頑健に認識することができる。また認識
に利用する特徴をネットワーク上で管理しているため、
世界中どこででも、次々と新たなオブジェクトの特徴を
サーバに記録することが可能である。音声データや画像
データの内容を頑健に認識できることから、キーボード
による文字列入力を効果的に代替することができる。頑
健さに劣るとき音声や画像の内容の認識結果を修正する
必要が頻繁に生じ、キーボードにより直接入力するほう
が効率的なためキーボード入力の代替手段としての効果
が低かった。音声や画像の内容を頑健に認識できるよう
になるため、例えば仮名漢字変換や文字列検索や自動翻
訳など従来キーボードにより入力された文字列を対象と
して開発されてきた様々な技術を音声データや画像デー
タにより入力された内容に対しても適用が可能となる。

【図面の簡単な説明】

【図１】本発明に係る情報処理システムの構成の代表例
を説明する図面である。

【図２】複数個の情報サーバを有する本発明に係る情報
処理システムの一例を説明する図面である。

【図３】本発明の情報処理システムの応用実施例である
観光情報提示システムを説明する図面である。

【図４】図３の情報提示システムにおいて、日本語の観
光情報を英語で提示するシステムを説明する図面であ
る。

【図５】本発明の情報処理システムの他の応用実施例で
ある議事録作成システムの一例を説明する図面である。

【図６】図５に示す議事録作成システムにおいて、各参
加者毎の議事録作成システムの一例を説明する図面であ
る。

【図７】図６の議事録作成システムにおいて、得られる
認識結果の記録例を説明する図面である。

【図８】図６の議事録作成システムにおいて、その内容
を音声により検索する手順を説明する図面である。

【図９】本発明の情報処理システムの応用実施例の一つ
である会話内容自動提示システムを説明する図面であ
る。

【図１０】図９の会話内容自動提示システムにおける情
報提示結果を説明する図面である。

【図１１】図９の会話内容自動提示システムにおける音
声認識結果を事前登録情報などとともに記録することを
説明する図面である。

【図１２】本発明の情報処理システムの他の応用実施例
である空港におけるアナウンス内容自動翻訳システムの
例を説明する図面である。

【図１３】本発明の情報処理システムの他の応用実施例
である各国語の発言内容を自国語へ翻訳する翻訳機の例
を説明する図面である。

【図１４】映像と登場人物のＩＤと登場人物の発言内容
とを合わせて記録するシステムを示す図面である。

【符号の説明】

１，１′，１″…利用者 ２，２′，２″…利用者のＲＦＩＤタグ ３，３′，３″…パーソナルコンピュータ ４…ＲＦＩＤタグリーダ ５…マイクロフォン ６…インターネット ７…情報提示装置 ８…ＩＤ→情報変換サーバ ９…ＩＤ→ＩＰアドレス情報サーバ １０…利用者Ａへの音声情報サーバ １０′…利用者Ｂへの音声情報サーバ １１…会議用テーブル １２…議事録サーバ １３…発言内容表示装置 １４…キーボード １５…携帯型パーソナルコンピュータ １６…透過型ヘッドマウンテッドディスプレイ １７…送受信機 １８…翻訳サーバ １９…翻訳内容提示装置 ２０…無線ＬＡＮ ２１…スピーカ ２２…ビデオカメラ ２３…ＨＵＢ ２４…ビデオサーバ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ１０Ｌ 3/00 ５３１Ｋ ５Ｌ０９６ Ｇ１０Ｌ 15/00 ５７１Ｇ 15/24 ５７１Ａ 15/28 ５５１Ａ ５５１Ｃ Ｆターム(参考） 5B057 CE03 DB02 DC16 5B058 CA17 KA02 KA04 KA06 KA08 KA13 YA20 5B064 DA14 DA29 5B091 AA04 CB12 CD03 5D015 HH13 LL10 LL12 5L096 JA11 KA01

Claims (14)

【特許請求の範囲】
1. 【請求項１】 オブジェクトを観測して得られるデータ
   の内容を認識する情報処理システムにおいて、（１）オ
   ブジェクトに固有の番号であるＩＤ番号を付す手段と、
   （２）ＩＤ番号を表すタグをオブジェクトに与える手段
   と、（３）オブジェクトに与えられたタグが表すＩＤ番
   号を認識する手段と、（４）オブジェクトを観測してデ
   ータを得る手段と、（５）オブジェクトを観測して得ら
   れるデータの特徴抽出を行なう手段と、（６）その抽出
   した特徴をＩＤ番号に対応づけて情報サーバに記録する
   手段と、（７）前記ＩＤ番号認識手段の認識結果に基づ
   いてそのＩＤ番号に対応した特徴を情報サーバより情報
   ネットワークを介してダウンロードする手段と、（８）
   ダウンロードされた特徴を利用して観測データの内容を
   認識する手段とを含む情報処理システム。
2. 【請求項２】 オブジェクトに固有のＩＤ番号を付す手
   段（１）がオブジェクトが新たに生成される際に固有の
   番号を付したり、本発明にかかるシステムにオブジェク
   トを登録する際に固有の番号を付したり、オブジェクト
   に対して本システムに関連しないところで付された固有
   の番号を利用したりする手段である請求項１に記載の情
   報処理システム。
3. 【請求項３】 ＩＤ番号を表すタグをオブジェクトに与
   える手段（２）がオブジェクトを生成する際にタグを付
   しておいたり、タグのないオブジェクトに後からタグを
   添付したり保持させたりする手段である請求項１又は２
   に記載の情報処理システム。
4. 【請求項４】 タグが表すＩＤ番号を認識する手段
   （３）ができるだけ頑健に番号が認識されることを目的
   として専用に開発されたタグと、そのタグが表す番号を
   認識することを目的として専用に開発された装置とを利
   用する手段である請求項１〜３のいずれか１項に記載の
   情報処理システム。
5. 【請求項５】 オブジェクトの観測データを得る手段
   （４）がマイクロフォンやカメラなどのセンサを利用し
   てオブジェクトの音声データや映像データなどを取得す
   る手段である請求項１〜４のいずれか１項に記載の情報
   処理システム。
6. 【請求項６】 オブジェクトの観測データの特徴抽出を
   行なう手段（５）が音声データに対するホルマント解析
   や画像データに対するエッジ抽出処理など、観測された
   データより認識に有用な特徴を信号処理技術を利用して
   抽出する手段である請求項１〜５のいずれか１項に記載
   の情報処理システム。
7. 【請求項７】 抽出した特徴をＩＤ番号に対応づけて情
   報サーバに記録する手段（６）がサーバとしてＨＴＴＰ
   サーバやデータベースサーバなどインターネットを介し
   て情報の記録・発信ができるサーバを利用し、通信には
   ＦＴＰやＨＴＴＰなどのインターネットで利用可能な情
   報通信用プロトコルを利用する手段である請求項１〜６
   のいずれか１項に記載の情報処理システム。
8. 【請求項８】 認識ＩＤ番号に対応した特徴を情報サー
   バより情報ネットワークを介してダウンロードする手段
   （７）がインターネットで利用可能な情報通信用プロト
   コルを利用した手段である請求項１〜７のいずれか１項
   に記載の情報処理システム。
9. 【請求項９】 観測データの内容を認識する手段（８）
   が音声認識手法や画像認識手法など従来知られている認
   識手法に基づいた手段である請求項１〜８のいずれか１
   項に記載の情報処理システム。
10. 【請求項１０】 請求項１〜８のいずれか１項に記載の
    情報処理システムで認識した観光情報を提示する観光情
    報提示システム。
11. 【請求項１１】 請求項１〜８のいずれか１項に記載の
    情報処理システムで認識した会議参加者の発言内容に基
    づいて議事録を作成する議事録作成システム。
12. 【請求項１２】 請求項１〜８のいずれか１項に記載の
    情報処理システムで認識した会議参加者の発言内容を音
    声特徴に基づいて検索する議事録発言内容検索システ
    ム。
13. 【請求項１３】 請求項１〜８のいずれか１項に記載の
    情報処理システムで認識した会話内容を自動的に提示す
    る自動提示システム。
14. 【請求項１４】 請求項１〜８のいずれか１項に記載の
    情報処理システムで認識したアナウンスを自動的に翻訳
    して提示するアナウンス内容自動翻訳システム。