前述したように、音声認識機能を有効に活用したアプリケーションの普及およびそれに伴う音声認識技術の発展が期待されている。しかしながら、音声認識機能を有効に活用したアプリケーションは、未だに多いとは言えないのが実情である。その原因の1つとして、利用者やアプリケーションが期待する程度の認識精度や認識速度を実現することが必ずしも容易ではない点が挙げられる。例えば、音声認識器では、利用環境に合わせた音響モデルや言語モデルの選択、雑音除去やエコーキャンセルモジュールの利用、探索のための適切なパラメータの設定が必要となる。しかしながら、どのようなモデルやモジュールを認識器に組み込み、どのように利用するべきかを適切に判断するためには、その認識器に関する深い知識や経験だけではなく、音声認識技術やパターン認識技術、信号処理に関する専門知識まで要求されることが多い。システムに組み込まれたモデルをそのまま利用することも可能であるが、利用者が期待する認識精度や認識速度が満たされないことがある。
また、話者や周辺環境を特定しない高精度な音声認識の実現は困難であり、音声認識機能を利用したアプリケーションの開発者に多大な負担がかかってしまうという問題がある。例えば、利用者のマイク特性や周辺環境を事前に想定することが困難であるために、アプリケーション開発者は、話者や環境を特定しない汎化性能の高い音声認識器を選択する必要がある。一般に、汎化性能の高い音声認識器は、特定の条件に最適化された音声認識器と比較して認識精度が低くなり、利用者やアプリケーション開発者の期待する性能を引き出すためには大きな困難を伴う。音声認識器に話者適応の機能を付加することにより、ある程度の認識精度の向上を図ることも可能であるが、その利用は容易ではない。
従って、以上の問題を解決し、利用者やアプリケーション開発者に負担を与えない高精度な音声認識機能を実現するためのシステムが望まれる。そして、以上に述べたことは、音声認識だけではなく、その他のパターン認識についても同様にいえることである。
なお、前述した特許文献1に記載されたシステムでは、音声データや文書データをネットワークを介して送信して音響モデルデータや言語モデルデータを作成するので、多種多様な音響モデルデータや言語モデルデータを迅速、かつ、低コストで作成できるものの、特許文献1には、それらのモデルデータを、利用者やアプリケーション開発者の期待する性能を有する音声認識器を構成するためのモジュールとして機能させる方法が提示されているわけではないため、利用者やアプリケーション開発者に負担を与えない高精度な音声認識機能を実現するためのシステムが提案されているわけではない。
そして、前述した特許文献1に記載されたシステムは、本発明のように、認識器を利用する利用者の実際の環境やアプリケーション開発者の想定環境についてのデータを収集し、それらのデータを用いた認識器の自動構築を可能にする枠組みを提案するものではなく、本発明とはシステム構成が相違するものである。また、前述した特許文献2〜6に記載されたシステムについても、上記のような認識器の自動構築を可能にする枠組みを提案するものではなく、本発明とはシステム構成が相違するものである。
本発明の目的は、利用者やアプリケーション開発者に負担を与えずに高精度な認識機能を実現することができる認識器構築システム、認識器構築方法、組立サービス提供システム、およびプログラムを提供するところにある。
本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データを提供する組立サービス提供システムと、パターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとを協調させ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じたパターン認識器を自動構築することにより、前記目的を達成するものである。この際、組立サービス提供システムにより提供する組立データは、予め作成しておいてもよく、あるいは取得要求を受信してから作成してもよい。
<組立データを予め作成しておく場合>
具体的には、本発明は、パターン認識器を構築する認識器構築システムであって、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データを提供する組立サービス提供システムと、パターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとがネットワークで接続され、組立サービス提供システムは、モジュールを識別するモジュールIDを含む複数の組立データを記憶する組立データ記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する組立データ選択手段と、この組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段とを備え、認識処理実行端末装置は、プロキシエージェント処理手段を備え、このプロキシエージェント処理手段は、組立データ取得要求信号をネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信するモジュール取得要求送信手段と、モジュール提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成され、モジュール提供システムは、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備えていることを特徴とするものである。
ここで、「ネットワークで接続され」という意味は、常時接続を意味するものではなく(常時接続を排除するものではないが、常時接続に限定されるものではなく)、必要なときに通信を行うことができるように、各機器を通信回線(無線を含む。)としてのネットワークに繋ぐという意味である。他の発明についても同様である。
また、「認識器組立手段」により組み立てられる「パターン認識器」は、必ずしもパターン認識に必要な処理の全てを行うものである必要はなく(つまり、パターン認識器の全体である必要はなく)、パターン認識に必要な処理の一部を行うもの(つまり、パターン認識器の一部)であってもよい。パターン認識に必要な処理の一部を行うものである場合には、パターン認識に必要な処理のうちの残りの部分は、例えば、認識処理実行端末装置に既に設置されているパターン認識器(パターン認識器の一部)により行われてもよく、あるいは、認識処理実行端末装置とネットワークで接続された別の端末装置(認識処理支援端末装置)との通信を行うことで、この認識処理支援端末装置に設置されているパターン認識器(パターン認識器の一部)により行われてもよい。後者の場合は、パターン認識器の機能が、ネットワークで接続された認識処理実行端末装置および1台または複数台の認識処理支援端末装置に分散され、分散処理によってパターン認識の処理が実現される場合である(例えば、後述する図22の場合等)。この場合、認識処理実行端末装置に置かれるパターン認識器の機能は、1台または複数台の認識処理支援端末装置との間の通信を行う機能だけであってもよく、本願明細書では、このようなパターン認識を行うための通信処理も、パターン認識の処理の一部として記載されており、従って、本発明における「モジュール」には、1台または複数台の認識処理支援端末装置との通信処理を行うための機能を備えたモジュール(そのような通信機能のみを備えたモジュールを含む。)も含まれる。他の発明についても同様である。
さらに、「モジュール」の粒度や役割は任意であり、例えば、1つのモジュールだけでパターン認識に必要な全ての処理を行うパターン認識器を構築できてもよく、あるいは、前述したように、1台または複数台の認識処理支援端末装置との通信機能のみを備えたモジュールでもよい。他の発明についても同様である。
そして、「組立データ」には、モジュールIDが少なくとも1つ含まれていればよく、従って、認識器組立手段により組み立てられるパターン認識器は、複数のモジュールにより構成されるものに限定されず、1つのモジュールにより構成されるものであってもよい。なお、本願明細書では、1つのモジュールを主メモリ上にロードしてパターン認識器を構築することについても、パターン認識器を組み立てるという表記を行っている。また、後者のように、認識器組立手段により組み立てられるパターン認識器が1つのモジュールにより構成される場合には、そのパターン認識器は、前述したように、パターン認識に必要な全ての処理を行うパターン認識器であってもよく、あるいはパターン認識に必要な処理の一部を行うパターン認識器(パターン認識器の一部)であってもよい。なお、本システムは、複数のモジュールIDが含まれている組立データに混在するようにして、モジュールIDが1つだけ含まれている組立データが送信される構成のみならず、システム上の設定で、常に、モジュールIDが1つだけ含まれている組立データが送信される構成としてもよい。他の発明についても同様である。
また、組立データ取得要求信号に含まれる「アプリケーション開発者入力データ」や「利用者入力データ」は、これらのデータを参照しただけで、その意味内容を把握することができるようなデータ、例えば、「実時間音声認識」であることを概ね把握することができるような「RealTime…」等の文字データとなっていてもよく、あるいはこのようなデータではなく、例えば、「A」、「B」、「α−X」、「β*K」等のような単なる記号や識別子(それ自体では、意味内容を把握することができないデータ)となっていてもよく、要するに、組立データ取得要求信号を受信する組立サービス提供システムが、そのデータの意味内容を把握することができればよい。他の発明についても同様である。
このような本発明の認識器構築システムにおいては、認識処理実行端末装置から組立サービス提供システムへのアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号の送信から始まり、認識処理実行端末装置と、組立サービス提供システムと、モジュール提供システムとの間で、ネットワークを介してデータの送受信が行われ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じたパターン認識器が自動構築される。このため、アプリケーション開発者や利用者は、自動構築されたパターン認識器を用いることで、高精度なパターン認識機能を、専門知識を必要とせず、容易に利用することが可能となり、これにより前記目的が達成される。
<取得要求を受信してから組立データを作成する場合>
また、取得要求を受信してから組立データを作成する場合の構成は、次のようになる。すなわち、本発明は、パターン認識器を構築する認識器構築システムであって、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データを提供する組立サービス提供システムと、パターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとがネットワークで接続され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する要求組立データ作成手段と、この要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段とを備え、認識処理実行端末装置は、プロキシエージェント処理手段を備え、このプロキシエージェント処理手段は、組立データ取得要求信号をネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信するモジュール取得要求送信手段と、モジュール提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成され、モジュール提供システムは、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備えていることを特徴とするものである。このように取得要求を受信してから組立データを作成する場合においても、組立データを予め作成しておく場合と同様な作用・効果が得られる。
なお、上記の発明(組立データを予め作成しておく場合、および取得要求を受信してから組立データを作成する場合のいずれも含む。)において、組立サービス提供システムを構成するコンピュータ・システムは、モジュール提供システムの機能を備えていてもよい。すなわち、本発明の認識器構築システムを、複数のモジュール提供システムを備えた構成とする場合には、複数のモジュール提供システムのうちの1つが、組立サービス提供システムを構成するコンピュータ・システムにより実現され、この組立サービス提供システムを構成するコンピュータ・システムにより、本発明の認識器構築システムで用いられるモジュール群のうちの一部が提供される構成としてもよい。但し、上記の発明では、組立サービス提供システムを構成するコンピュータ・システム以外のコンピュータ・システムにより構成されるモジュール提供システムが存在することを前提としているので、次に述べるモジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合とは異なる。
すなわち、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとを協調させ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じたパターン認識器を自動構築することにより、前記目的を達成するものである。この際、組立サービス提供システムにより提供する組立データは、予め作成しておいてもよく、あるいは取得要求を受信してから作成してもよい。
<組立データを予め作成しておく場合>
具体的には、本発明は、パターン認識器を構築する認識器構築システムであって、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとがネットワークで接続され、組立サービス提供システムは、モジュールを識別するモジュールIDを含む複数の組立データを記憶する組立データ記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する組立データ選択手段と、この組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段と、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備え、認識処理実行端末装置は、プロキシエージェント処理手段を備え、このプロキシエージェント処理手段は、組立データ取得要求信号をネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して組立サービス提供システムへ送信するモジュール取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成されていることを特徴とするものである。
このような本発明の認識器構築システムにおいては、認識処理実行端末装置から組立サービス提供システムへのアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号の送信から始まり、認識処理実行端末装置と、組立サービス提供システムとの間で、ネットワークを介してデータの送受信が行われ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じたパターン認識器が自動構築される。このため、アプリケーション開発者や利用者は、自動構築されたパターン認識器を用いることで、高精度なパターン認識機能を、専門知識を必要とせず、容易に利用することが可能となり、これにより前記目的が達成される。
<取得要求を受信してから組立データを作成する場合>
また、取得要求を受信してから組立データを作成する場合の構成は、次のようになる。すなわち、本発明は、パターン認識器を構築する認識器構築システムであって、パターン認識器による認識処理を実行する認識処理実行端末装置と、パターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとがネットワークで接続され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する要求組立データ作成手段と、この要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段と、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備え、認識処理実行端末装置は、プロキシエージェント処理手段を備え、このプロキシエージェント処理手段は、組立データ取得要求信号をネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して組立サービス提供システムへ送信するモジュール取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成されていることを特徴とするものである。このように取得要求を受信してから組立データを作成する場合においても、組立データを予め作成しておく場合と同様な作用・効果が得られる。
また、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段は、アプリケーション開発者入力データおよび/または利用者入力データに加え、認識処理実行端末装置を構成するハードウェアの仕様および/またはオペレーティングシステムの種類を含むシステムデータを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する構成とされていることが望ましい。
ここで、組立データ取得要求信号に含まれる「システムデータ」は、このデータを参照しただけで、その意味内容を把握することができるようなデータ、例えば、オペレーティングシステムの種類がWindowsXP(登録商標)であることを概ね把握することができるような「WindowsXP…」等の文字データとなっていてもよく、あるいはこのようなデータではなく、例えば、「A」、「B」、「α−X」、「β*K」等のような単なる記号や識別子(それ自体では、意味内容を把握することができないデータ)となっていてもよく、要するに、組立データ取得要求信号を受信する組立サービス提供システムが、そのデータの意味内容を把握することができればよい。他の発明についても同様である。
このように組立データ取得要求信号にシステムデータを含める構成とした場合には、認識処理実行端末装置のシステム特性に応じたパターン認識器を自動構築することが可能となる。
<組立データを予め作成しておく場合における組立データの選択処理の詳細>
組立データを予め作成しておく場合における組立サービス提供システムによる組立データの選択処理については、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合も含め、次のようにすることが望ましい。
すなわち、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段により送信される組立データ取得要求信号に含まれるアプリケーション開発者入力データには、アプリケーションの特性を示す情報が含まれ、組立データ取得要求信号に含まれる利用者入力データには、利用者の特性を示す情報が含まれ、組立サービス提供システムの組立データ記憶手段には、複数の組立データが、それぞれアプリケーションの特性を示す情報および利用者の特性を示す情報と関連付けられて記憶され、組立サービス提供システムの組立データ選択手段は、組立データ取得要求信号に含まれるアプリケーションの特性を示す情報および利用者の特性を示す情報とそれぞれ一致する情報と関連付けられて記憶されている組立データを選択する構成とされていることが望ましい。
また、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段により送信される組立データ取得要求信号に含まれるアプリケーション開発者入力データには、アプリケーションの特性を示す情報が含まれ、組立データ取得要求信号に含まれる利用者入力データには、利用者の特性を示す情報が含まれ、組立データ取得要求信号に含まれるシステムデータには、認識処理実行端末装置のシステム特性を示す情報が含まれ、組立サービス提供システムの組立データ記憶手段には、複数の組立データが、それぞれアプリケーションの特性を示す情報、利用者の特性を示す情報、および認識処理実行端末装置のシステム特性を示す情報と関連付けられて記憶され、組立サービス提供システムの組立データ選択手段は、組立データ取得要求信号に含まれるアプリケーションの特性を示す情報、利用者の特性を示す情報、および認識処理実行端末装置のシステム特性を示す情報とそれぞれ一致する情報と関連付けられて記憶されている組立データを選択する構成とされていることが望ましい。
ここで、「組立データ記憶手段」に「複数の組立データ」がアプリケーションの特性を示す情報、利用者の特性を示す情報、認識処理実行端末装置のシステム特性を示す情報(以下、アプリケーションの特性を示す情報等という。)と「関連付けられて」記憶されている状態には、例えば、組立データがアプリケーションの特性を示す情報等と同じテーブルに対応した状態で記憶されている場合のように、直接に対応付けられている場合に限らず、間接的に対応付けられている場合も含まれる。例えば、組立データと組立データ識別情報とが同じテーブルに対応付けられて記憶され、さらに、別のテーブルで、組立データ識別情報とアプリケーションの特性を示す情報等とが対応付けられて記憶されていてもよく、あるいは、組立データを格納したファイルのファイル名が組立データ識別情報(組立データの識別子)とされ、この組立データ識別情報であるファイル名とアプリケーションの特性を示す情報等とが同じテーブルに対応付けられて記憶されていてもよい。さらには、組立データを格納したファイルのファイル名と組立データ識別情報とが同じテーブルに対応付けられて記憶され、さらに、別のテーブルで、組立データ識別情報とアプリケーションの特性を示す情報等とが対応付けられて記憶されていてもよい。
<取得要求を受信してから組立データを作成する場合における取得要求に係る組立データの作成処理の詳細>
取得要求を受信してから組立データを作成する場合における組立サービス提供システムによる取得要求に係る組立データの作成処理については、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合も含め、次のようにすることが望ましい。
すなわち、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段により送信される組立データ取得要求信号に含まれるアプリケーション開発者入力データには、アプリケーションの特性を示す情報が含まれ、組立データ取得要求信号に含まれる利用者入力データには、利用者の特性を示す情報が含まれ、組立サービス提供システムは、(i)アプリケーションの特性を示す情報および/または利用者の特性を示す情報に関連付けて、パターン認識器の構成モジュールとして選択し得るモジュールのモジュールID若しくは選択し得ないモジュールのモジュールIDを要求組立データ作成用情報として記憶するか、(ii)アプリケーションの特性を示す情報および/または利用者の特性を示す情報に関連付けて、パターン認識器の構成モジュールとして選択し得るモジュールの組合せを示すモジュールIDの組合せ若しくは選択し得ないモジュールの組合せを示すモジュールIDの組合せを要求組立データ作成用情報として記憶するか、(iii)組合せ可能なモジュールを示すモジュールIDの組合せを要求組立データ作成用情報として記憶するか、(iv)モジュールの組合せの雛形を示すモジュールIDの組合せおよびこの雛形を構成するモジュールと代替可能なモジュールのモジュールIDを要求組立データ作成用情報として記憶するか、(i)、(ii)、(iii)、(iv)のうちの少なくとも1つの要求組立データ作成用情報を記憶する要求組立データ作成用情報記憶手段を備え、組立サービス提供システムの要求組立データ作成手段は、要求組立データ作成用情報記憶手段に記憶された情報を用いて取得要求に係る組立データを作成する構成とされていることが望ましい。
また、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段により送信される組立データ取得要求信号に含まれるアプリケーション開発者入力データには、アプリケーションの特性を示す情報が含まれ、組立データ取得要求信号に含まれる利用者入力データには、利用者の特性を示す情報が含まれ、組立データ取得要求信号に含まれるシステムデータには、認識処理実行端末装置のシステム特性を示す情報が含まれ、組立サービス提供システムは、(i)アプリケーションの特性を示す情報、利用者の特性を示す情報、またはシステム特性を示す情報のうちの少なくとも1つの情報に関連付けて、パターン認識器の構成モジュールとして選択し得るモジュールのモジュールID若しくは選択し得ないモジュールのモジュールIDを要求組立データ作成用情報として記憶するか、(ii)アプリケーションの特性を示す情報、利用者の特性を示す情報、またはシステム特性を示す情報のうちの少なくとも1つの情報に関連付けて、パターン認識器の構成モジュールとして選択し得るモジュールの組合せを示すモジュールIDの組合せ若しくは選択し得ないモジュールの組合せを示すモジュールIDの組合せを要求組立データ作成用情報として記憶するか、(iii)組合せ可能なモジュールを示すモジュールIDの組合せを要求組立データ作成用情報として記憶するか、(iv)モジュールの組合せの雛形を示すモジュールIDの組合せおよびこの雛形を構成するモジュールと代替可能なモジュールのモジュールIDを要求組立データ作成用情報として記憶するか、(i)、(ii)、(iii)、(iv)のうちの少なくとも1つの要求組立データ作成用情報を記憶する要求組立データ作成用情報記憶手段を備え、組立サービス提供システムの要求組立データ作成手段は、要求組立データ作成用情報記憶手段に記憶された情報を用いて取得要求に係る組立データを作成する構成とされていることが望ましい。
ここで、(i)の要求組立データ作成用情報は、アプリケーションの特性を示す情報等が与えられたとき、それに対応する1つまたは複数のモジュールが定まる対応関係を規定する情報であり、(ii)の要求組立データ作成用情報は、アプリケーションの特性を示す情報等が与えられたとき、それに対応する1つまたは複数のモジュールの組合せ(パターン認識器の一部分を構成するモジュールの組合せも含む。)が定まる対応関係を規定する情報であり、(iii)の要求組立データ作成用情報は、例えば、階層状、マトリックス状等の様々な形態で、組合せ可能なモジュール(パターン認識器の一部分を構成するモジュールの組合せも含む。)を規定する情報であり、(iv)の要求組立データ作成用情報は、モジュールの組合せ(パターン認識器の一部分を構成するモジュールの組合せも含む。)の雛形を定めるとともに、この雛形の構成モジュールと代替可能な1つまたは複数のモジュールを規定する情報である。
そして、「要求組立データ作成手段」が「要求組立データ作成用情報記憶手段に記憶された情報を用いて取得要求に係る組立データを作成する」処理には、要求組立データ作成用情報記憶手段に記憶された情報を一度参照する場合のみならず、繰り返し参照する場合も含まれる。例えば、アプリケーションの特性を示す情報等のうちの一部の情報が与えられたとき、これに対応するモジュールのモジュールIDを、要求組立データ作成用情報記憶手段における(i)の要求組立データ作成用情報を参照して抽出することにより、第1段階の絞込みを行い、次に、抽出したモジュールIDと組合せ可能なモジュールのモジュールIDを、要求組立データ作成用情報記憶手段における(iii)の要求組立データ作成用情報を参照して抽出し、さらに、ここで抽出したモジュールのモジュールIDについて、アプリケーションの特性を示す情報等のうちの残りの一部の情報を用いて第2段階の絞込みを行うために、要求組立データ作成用情報記憶手段における(i)の要求組立データ作成用情報を参照すること等ができる。また、アプリケーションの特性を示す情報等のうちの一部の情報が与えられたとき、これに対応するモジュールの組合せを示すモジュールIDの組合せを、要求組立データ作成用情報記憶手段における(ii)の要求組立データ作成用情報を参照して抽出することにより、第1段階の絞込みを行い、次に、抽出したモジュールIDの組合せで示されるモジュールの組合せを雛形とし、この雛形の構成モジュールと代替可能なモジュールのモジュールIDを、要求組立データ作成用情報記憶手段における(iv)の要求組立データ作成用情報を参照して抽出し、ここで抽出されたモジュールIDについて、アプリケーションの特性を示す情報等のうちの残りの一部の情報を用いて第2段階の絞込みを行うために、要求組立データ作成用情報記憶手段における(i)の要求組立データ作成用情報を参照すること等ができる。従って、このように(i)、(ii)、(iii)、(iv)の要求組立データ作成用情報を、適宜な順序で参照することにより、パターン認識器の構成モジュールのモジュールID(つまり、提供する組立データに含ませるモジュールID)を決定し、取得要求に係る組立データを作成することができる。なお、パターン認識器の構成モジュールのモジュールIDを決定する過程で、候補となるモジュールを用いてパターン認識器を組み立てて、この組み立てたパターン認識器について、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いて評価を行い(つまり、取得要求を受信してから評価を行う。)、評価結果の良好なモジュールのモジュールIDを採用して取得要求に係る組立データを作成してもよい。
そして、以上に述べた組立データの選択処理、あるいは取得要求に係る組立データの作成処理において、アプリケーションの特性を示す情報、利用者の特性を示す情報、および認識処理実行端末装置のシステム特性を示す情報は、それぞれパターン認識器の機能特性に関するラベル、パターン認識器の動作条件に関するラベル、パターン認識器の得意分野に関するラベルのうちの少なくとも1種類のラベルにより構成されていることが望ましい。
さらに、前述した認識器構築システムにおいて、認識処理実行端末装置は、プロキシエージェント処理手段により組み立てられたパターン認識器を利用するアプリケーションを実行するアプリケーション処理手段と、プロキシエージェント処理手段により組み立てられたパターン認識器による認識処理を実行する認識処理手段と、パターン認識器のメモリアドレスとこのパターン認識器を識別する認識器識別情報とを関連付けて記憶する認識器ロード情報記憶手段とを備え、プロキシエージェント処理手段の組立データ取得要求送信手段は、アプリケーション処理手段から受け取ったアプリケーション開発者入力データを、ネットワークを介して組立サービス提供システムへ送信する構成とされ、プロキシエージェント処理手段の認識器組立手段は、アプリケーション開発者入力データを発信したアプリケーション処理手段に対し、組み立てたパターン認識器の認識器識別情報を渡す構成とされ、プロキシエージェント処理手段は、アプリケーション処理手段から認識器識別情報を含む認識処理開始要求信号を受け取り、認識器ロード情報記憶手段を参照して認識器識別情報に対応するパターン認識器のメモリアドレスを取得し、取得したメモリアドレスに構築されているパターン認識器による認識処理を実行する前記認識処理手段に、認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡す認識処理時データ中継手段を含んで構成されていることが望ましい。
このようにアプリケーション処理手段とプロキシエージェント処理手段との間のデータ連携、および認識処理手段とプロキシエージェント処理手段との間のデータ連携を行う構成とした場合には、プロキシエージェント処理手段により、認識処理に伴うデータを中継し、コントロールすることが可能となる。
そして、上述したようにアプリケーション処理手段とプロキシエージェント処理手段との間のデータ連携、および認識処理手段とプロキシエージェント処理手段との間のデータ連携を行う構成とした場合において、プロキシエージェント処理手段は、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理時データ中継手段により認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、フィードバックデータとしてネットワークを介して組立サービス提供システムへ送信するフィードバックデータ送信手段を含んで構成され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるフィードバックデータを受信するフィードバックデータ受信手段と、このフィードバックデータ受信手段により受信したフィードバックデータを記憶するフィードバックデータ記憶手段とを備えていることが望ましい。
このように認識処理の履歴データを、フィードバックデータとして組立サービス提供システムへ送信する構成とした場合には、認識処理実行端末装置で収集された履歴データを本発明の認識器構築システムで活用し、認識精度の向上等に役立てることが可能となる。
また、前述した認識器構築システムにおいて、組立データには、カスタマイズ用のリクエストパラメータが含まれ、プロキシエージェント処理手段のモジュール取得要求送信手段は、組立データ受信手段により受信した組立データに含まれるカスタマイズ用のリクエストパラメータに基づき、モジュールIDに加えてカスタマイズ用データを含むモジュール取得要求信号を作成し、ネットワークを介してモジュール提供システムへ送信する構成とされ、モジュール提供システムは、モジュール取得手段により取得したモジュールについて、モジュール取得要求信号に含まれるカスタマイズ用データを用いてカスタマイズ処理を行うカスタマイズ処理手段を備え、モジュール提供システムのモジュール送信手段は、カスタマイズ処理手段によるカスタマイズ処理を行ったモジュールを、ネットワークを介して認識処理実行端末装置へ送信する構成とされていることが望ましい。
このようにモジュールのカスタマイズ処理を行う構成とした場合には、利用者の特性または認識処理実行端末装置のシステム特性に、より一層合ったパターン認識器を自動構築することが可能となり、認識精度の向上を図ることが可能となる。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のような構成とすることが望ましい。すなわち、前述した認識器構築システムにおいて、組立データには、カスタマイズ用のリクエストパラメータが含まれ、プロキシエージェント処理手段のモジュール取得要求送信手段は、組立データ受信手段により受信した組立データに含まれるカスタマイズ用のリクエストパラメータに基づき、モジュールIDに加えてカスタマイズ用データを含むモジュール取得要求信号を作成し、ネットワークを介して組立サービス提供システムへ送信する構成とされ、組立サービス提供システムは、モジュール取得手段により取得したモジュールについて、モジュール取得要求信号に含まれるカスタマイズ用データを用いてカスタマイズ処理を行うカスタマイズ処理手段を備え、組立サービス提供システムのモジュール送信手段は、カスタマイズ処理手段によるカスタマイズ処理を行ったモジュールを、ネットワークを介して認識処理実行端末装置へ送信する構成とされていることが望ましい。
<組立データを予め作成しておく場合>
さらに、前述した認識器構築システムにおいて、組立サービス提供システムは、モジュール記憶手段に記憶されたモジュールについてのモジュールIDを含むモジュールメタデータを記憶するモジュールメタデータ記憶手段と、このモジュールメタデータ記憶手段に記憶されたモジュールメタデータを用いて、組立データ記憶手段に記憶させる組立データを作成する組立データ作成手段とを備えていることが望ましい。
ここで、「モジュール記憶手段」は、モジュール提供システムのモジュール記憶手段であるか、または、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、組立サービス提供システムのモジュール記憶手段である。
このようにモジュールメタデータを用いて組立データを作成する構成とした場合には、モジュールメタデータから得られるモジュールの特性に応じて、ある特性を有するパターン認識器を組み立てるための組立データを作成することが可能となる。
<取得要求を受信してから組立データを作成する場合>
また、前述した認識器構築システムにおいて、組立サービス提供システムは、モジュール記憶手段に記憶されたモジュールについてのモジュールIDを含むモジュールメタデータを、要求組立データ作成用情報として記憶するか、または要求組立データ作成用情報を作成するための情報として記憶するモジュールメタデータ記憶手段を備えていることが望ましい。
そして、上述したようにモジュールメタデータ記憶手段を備えた構成とした場合において、ネットワークには、モジュール開発者が操作するモジュール開発者端末装置が接続され、組立サービス提供システムは、モジュール開発者端末装置からネットワークを介して送信されてくるモジュール開発用情報の取得要求信号を受信し、この取得要求信号に応じてモジュール開発用情報をネットワークを介してモジュール開発者端末装置へ送信するモジュール開発用情報提供手段と、モジュール開発用情報を参照したモジュール開発者により作成されてモジュール開発者端末装置からネットワークを介して送信されてくるモジュールメタデータを受信し、受信したモジュールメタデータをモジュールメタデータ記憶手段に記憶させるモジュールメタデータ登録手段とを備えていることが望ましい。
このようにモジュール開発者端末装置へのモジュール開発用情報の送信およびモジュール開発者端末装置からのモジュールメタデータの登録受付を行う構成とした場合には、本発明の認識器構築システムの運用に必要な情報をモジュール開発者に伝え、必要情報を組み込んだモジュールメタデータをモジュール開発者に作成して送信してもらうことが可能となるうえ、ネットワークを介した情報伝達およびデータ登録であるため、モジュール開発者の手間を軽減することも可能となる。
また、前述した認識器構築システムにおいて、組立サービス提供システムは、テスト用認識処理対象データを記憶するテスト用認識処理対象データ記憶手段と、このテスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いてパターン認識器を評価する認識器評価手段と、この認識器評価手段による評価結果を示す評価データを、評価対象のパターン認識器の組立データの組立データ識別情報と関連付けて記憶する評価データ記憶手段とを備え、認識器評価手段は、組立データ記憶手段に記憶された組立データを用いて、評価対象のパターン認識器を構成する評価用モジュールについてのモジュールIDを含む評価用モジュール取得要求信号を作成し、作成した評価用モジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信する評価用モジュール取得要求送信手段と、モジュール提供システムからネットワークを介して送信されてくる評価用モジュールを受信する評価用モジュール受信手段と、この評価用モジュール受信手段により受信した評価用モジュールを用いて、評価対象のパターン認識器を組み立てる評価対象認識器組立手段と、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段により組み立てられた評価対象のパターン認識器による認識処理を実行することにより、評価対象のパターン認識器の評価結果を示す評価データを作成する評価データ作成手段とを含んで構成され、組立サービス提供システムの組立データ選択手段は、選択対象の組立データの組立データ識別情報をキーとして、評価データ記憶手段から選択対象の組立データを用いて組み立てられるパターン認識器の評価データを取得し、取得した評価データおよび組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する構成とされていることが望ましい。
このようにパターン認識器の評価を行って評価データを作成し、この評価データを用いて、提供する組立データを選択する構成とした場合には、アプリケーションの特性および/または利用者の特性に、より一層合ったパターン認識器を自動構築することが可能となる。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のような構成とすることが望ましい。すなわち、組立サービス提供システムは、テスト用認識処理対象データを記憶するテスト用認識処理対象データ記憶手段と、このテスト用認識処理対象データ記憶手段に記憶された前記テスト用認識処理対象データを用いて前記パターン認識器を評価する認識器評価手段と、この認識器評価手段による評価結果を示す評価データを、評価対象の前記パターン認識器の組立データの組立データ識別情報と関連付けて記憶する評価データ記憶手段とを備え、認識器評価手段は、組立データ記憶手段に記憶された組立データを用いて、モジュール記憶手段から評価対象のパターン認識器を構成する評価用モジュールを取得する評価用モジュール取得手段と、この評価用モジュール取得手段により取得した評価用モジュール用いて、評価対象のパターン認識器を組み立てる評価対象認識器組立手段と、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段により組み立てられた評価対象のパターン認識器による認識処理を実行することにより、評価対象のパターン認識器の評価結果を示す評価データを作成する評価データ作成手段とを含んで構成され、組立サービス提供システムの組立データ選択手段は、選択対象の組立データの組立データ識別情報をキーとして、評価データ記憶手段から選択対象の組立データを用いて組み立てられるパターン認識器の評価データを取得し、取得した評価データおよび組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する構成とされていることが望ましい。
さらに、前述した認識器構築システムにおいて、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データ作成用情報の取得要求信号を受信し、この取得要求信号に応じてアプリケーション開発者入力データ作成用情報をネットワークを介して認識処理実行端末装置へ送信するアプリケーション開発者入力データ作成用情報提供手段を備え、認識処理実行端末装置のプロキシエージェント処理手段は、組立サービス提供システムへネットワークを介してアプリケーション開発者入力データ作成用情報の取得要求信号を送信するとともに、組立サービス提供システムからネットワークを介して送信されてくるアプリケーション開発者入力データ作成用情報を受信し、受信したアプリケーション開発者入力データ作成用情報を用いて、アプリケーション開発者の入力用画面を表示する処理を行うアプリケーション開発者入力用画面表示処理手段を含んで構成されていることが望ましい。
このように組立サービス提供システムから認識処理実行端末装置へアプリケーション開発者入力データ作成用情報を送信し、これを用いてプロキシエージェント処理手段がアプリケーション開発者の入力用画面を表示する構成とした場合には、アプリケーション開発者入力データ作成用情報に変化があっても、プロキシエージェント処理手段による処理内容を変化させることなく対応することが可能となる。従って、例えば、組立データ取得要求信号に含ませて組立サービス提供システムへ送信するアプリケーション開発者入力データについて、選択肢の追加、変更、削除があっても、アプリケーション開発者の入力用画面で、追加、変更、削除された後の選択肢を表示し、アプリケーション開発者に選択入力をさせることが可能となる。
そして、前述した認識器構築システムにおいて、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくる利用者入力データ作成用情報の取得要求信号を受信し、この取得要求信号に応じて利用者入力データ作成用情報をネットワークを介して認識処理実行端末装置へ送信する利用者入力データ作成用情報提供手段を備え、認識処理実行端末装置のプロキシエージェント処理手段は、組立サービス提供システムへネットワークを介して利用者入力データ作成用情報の取得要求信号を送信するとともに、組立サービス提供システムからネットワークを介して送信されてくる利用者入力データ作成用情報を受信し、受信した利用者入力データ作成用情報を用いて、利用者の入力用画面を表示する処理を行う利用者入力用画面表示処理手段を含んで構成されていることが望ましい。
このように組立サービス提供システムから認識処理実行端末装置へ利用者入力データ作成用情報を送信し、これを用いてプロキシエージェント処理手段が利用者の入力用画面を表示する構成とした場合には、利用者入力データ作成用情報に変化があっても、プロキシエージェント処理手段による処理内容を変化させることなく対応することが可能となる。従って、例えば、組立データ取得要求信号に含ませて組立サービス提供システムへ送信する利用者入力データについて、選択肢の追加、変更、削除があっても、利用者の入力用画面で、追加、変更、削除された後の選択肢を表示し、利用者に選択入力をさせることが可能となる。
また、前述した認識器構築システムにおいて、認識処理実行端末装置のプロキシエージェント処理手段は、認識処理実行端末装置を構成するハードウェアの仕様および/またはオペレーティングシステムの種類を含むシステムデータのうち自動取得が可能なデータを自動取得するシステムデータ自動取得手段と、システムデータのうちシステムデータ自動取得手段により自動取得することができないデータを、利用者に入力させるためのシステムデータ入力用画面を表示する処理を行うシステムデータ入力用画面表示処理手段とを含んで構成され、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段は、アプリケーション開発者入力データおよび/または利用者入力データに加え、システムデータを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する構成とされていることが望ましい。
このようにプロキシエージェント処理手段をシステムデータ自動取得手段およびシステムデータ入力用画面表示処理手段を含む構成とした場合には、利用者に過大な負担をかけることなく、認識処理実行端末装置のシステムデータを取得し、組立サービス提供システムへ送信することが可能となる。
さらに、前述したようにプロキシエージェント処理手段が認識処理の履歴データをフィードバックデータとして組立サービス提供システムへ送信する構成とした場合において、組立サービス提供システムは、フィードバックデータ記憶手段に蓄積記憶されたフィードバックデータを、ネットワークを介してモジュール提供システムへ配信するか、またはモジュール開発者からの要求に応じてネットワークを介してモジュール開発者端末装置へ送信するフィードバックデータ提供手段を備えていることが望ましい。
このように組立サービス提供システムにフィードバックデータ提供手段を設けた場合には、フィードバックデータがモジュールの作成または更新処理に活用され、モジュールの質を向上させることが可能となる。
そして、前述したようにプロキシエージェント処理手段が認識処理の履歴データをフィードバックデータとして組立サービス提供システムへ送信する構成とした場合には、組立サービス提供システムにおいて、次のようにしてフィードバックデータをテスト用認識処理対象データとして利用してパターン認識器を評価(再評価)し、その評価データを用いて組立データ選択手段による処理を行う構成とすることが望ましい。すなわち、前述した認識器構築システムにおいて、認識処理実行端末装置は、プロキシエージェント処理手段により組み立てられたパターン認識器を利用するアプリケーションを実行するアプリケーション処理手段と、プロキシエージェント処理手段により組み立てられたパターン認識器による認識処理を実行する認識処理手段と、パターン認識器のメモリアドレスとこのパターン認識器を識別する認識器識別情報とを関連付けて記憶する認識器ロード情報記憶手段とを備え、プロキシエージェント処理手段の組立データ取得要求送信手段は、アプリケーション処理手段から受け取ったアプリケーション開発者入力データを、ネットワークを介して組立サービス提供システムへ送信する構成とされ、プロキシエージェント処理手段の認識器組立手段は、アプリケーション開発者入力データを発信したアプリケーション処理手段に対し、組み立てたパターン認識器の認識器識別情報を渡す構成とされ、プロキシエージェント処理手段は、アプリケーション処理手段から認識器識別情報を含む認識処理開始要求信号を受け取り、認識器ロード情報記憶手段を参照して認識器識別情報に対応するパターン認識器のメモリアドレスを取得し、取得したメモリアドレスに構築されているパターン認識器による認識処理を実行する認識処理手段に、認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡す認識処理時データ中継手段と、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理時データ中継手段により認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、フィードバックデータとしてネットワークを介して組立サービス提供システムへ送信するフィードバックデータ送信手段とを含んで構成され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるフィードバックデータを受信するフィードバックデータ受信手段と、このフィードバックデータ受信手段により受信したフィードバックデータを記憶するフィードバックデータ記憶手段と、テスト用認識処理対象データを記憶するテスト用認識処理対象データ記憶手段と、フィードバックデータ記憶手段に記憶されたフィードバックデータのうち同一の認識処理実行端末装置からのフィードバックデータが一定量を超えた場合に、この認識処理実行端末装置からのフィードバックデータをテスト用認識処理対象データとしてテスト用認識処理対象データ記憶手段に追加して記憶させる処理を行うテスト用認識処理対象データ追加手段と、少なくともこのテスト用認識処理対象データ追加手段による追加処理が行われたときに、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いてパターン認識器を評価する認識器評価手段と、この認識器評価手段による評価結果を示す評価データを、評価対象のパターン認識器の組立データの組立データ識別情報と関連付けて記憶する評価データ記憶手段とを備え、認識器評価手段は、組立データ記憶手段に記憶された組立データを用いて、評価対象のパターン認識器を構成する評価用モジュールについてのモジュールIDを含む評価用モジュール取得要求信号を作成し、作成した評価用モジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信する評価用モジュール取得要求送信手段と、モジュール提供システムからネットワークを介して送信されてくる評価用モジュールを受信する評価用モジュール受信手段と、この評価用モジュール受信手段により受信した評価用モジュールを用いて、評価対象のパターン認識器を組み立てる評価対象認識器組立手段と、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段により組み立てられた評価対象のパターン認識器による認識処理を実行することにより、評価対象のパターン認識器の評価結果を示す評価データを作成する評価データ作成手段とを含んで構成され、組立サービス提供システムの組立データ選択手段は、選択対象の組立データの組立データ識別情報をキーとして、評価データ記憶手段から選択対象の組立データを用いて組み立てられるパターン認識器の評価データを取得し、取得した評価データおよび組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する構成とされていることが望ましい。
このように同一の認識処理実行端末装置からのフィードバックデータが一定量を超えたときに、このフィードバックデータをテスト用認識処理対象データに追加し、フィードバックデータを追加された後のテスト用認識処理対象データを用いてパターン認識器を評価する構成とした場合には、特定の認識処理実行端末装置から収集される、ある特徴を持ったフィードバックデータをテスト用認識処理対象データに追加して評価に反映させるので、評価の信頼性を高めることが可能となる。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のような構成とすることが望ましい。すなわち、前述した認識器構築システムにおいて、認識処理実行端末装置は、プロキシエージェント処理手段により組み立てられたパターン認識器を利用するアプリケーションを実行するアプリケーション処理手段と、プロキシエージェント処理手段により組み立てられたパターン認識器による認識処理を実行する認識処理手段と、パターン認識器のメモリアドレスとこのパターン認識器を識別する認識器識別情報とを関連付けて記憶する認識器ロード情報記憶手段とを備え、プロキシエージェント処理手段の組立データ取得要求送信手段は、アプリケーション処理手段から受け取ったアプリケーション開発者入力データを、ネットワークを介して組立サービス提供システムへ送信する構成とされ、プロキシエージェント処理手段の認識器組立手段は、アプリケーション開発者入力データを発信したアプリケーション処理手段に対し、組み立てたパターン認識器の認識器識別情報を渡す構成とされ、プロキシエージェント処理手段は、アプリケーション処理手段から認識器識別情報を含む認識処理開始要求信号を受け取り、認識器ロード情報記憶手段を参照して認識器識別情報に対応するパターン認識器のメモリアドレスを取得し、取得したメモリアドレスに構築されているパターン認識器による認識処理を実行する認識処理手段に、認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡す認識処理時データ中継手段と、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理時データ中継手段により認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、フィードバックデータとしてネットワークを介して組立サービス提供システムへ送信するフィードバックデータ送信手段とを含んで構成され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくるフィードバックデータを受信するフィードバックデータ受信手段と、このフィードバックデータ受信手段により受信したフィードバックデータを記憶するフィードバックデータ記憶手段と、テスト用認識処理対象データを記憶するテスト用認識処理対象データ記憶手段と、フィードバックデータ記憶手段に記憶されたフィードバックデータのうち同一の認識処理実行端末装置からのフィードバックデータが一定量を超えた場合に、この認識処理実行端末装置からのフィードバックデータをテスト用認識処理対象データとしてテスト用認識処理対象データ記憶手段に追加して記憶させる処理を行うテスト用認識処理対象データ追加手段と、少なくともこのテスト用認識処理対象データ追加手段による追加処理が行われたときに、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いてパターン認識器を評価する認識器評価手段と、この認識器評価手段による評価結果を示す評価データを、評価対象のパターン認識器の組立データの組立データ識別情報と関連付けて記憶する評価データ記憶手段とを備え、認識器評価手段は、組立データ記憶手段に記憶された組立データを用いて、モジュール記憶手段から評価対象のパターン認識器を構成する評価用モジュールを取得する評価用モジュール取得手段と、この評価用モジュール取得手段により取得した評価用モジュールを用いて、評価対象のパターン認識器を組み立てる評価対象認識器組立手段と、テスト用認識処理対象データ記憶手段に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段により組み立てられた評価対象のパターン認識器による認識処理を実行することにより、評価対象のパターン認識器の評価結果を示す評価データを作成する評価データ作成手段とを含んで構成され、組立サービス提供システムの組立データ選択手段は、選択対象の組立データの組立データ識別情報をキーとして、評価データ記憶手段から選択対象の組立データを用いて組み立てられるパターン認識器の評価データを取得し、取得した評価データおよび組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する構成とされていることが望ましい。
また、前述したようにアプリケーション処理手段とプロキシエージェント処理手段との間のデータ連携、および認識処理手段とプロキシエージェント処理手段との間のデータ連携を行う構成とした場合において、認識処理実行端末装置は、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理時データ中継手段により認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを記憶する履歴データ記憶手段を備え、認識処理実行端末装置のプロキシエージェント処理手段は、認識処理実行端末装置のアプリケーション処理手段から広告の分類を示す広告ラベルデータを含む広告データ取得要求信号を受け取り、受け取った広告データ取得要求信号に、履歴データ記憶手段に記憶された履歴データを構成する認識処理対象入力データまたはこの認識処理対象入力データを解析して得られる特徴量を加え、広告ラベルデータ並びに認識処理対象入力データまたは特徴量を含む広告データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する広告データ取得要求取次手段と、組立サービス提供システムからネットワークを介して送信されてくる広告データを受信し、受信した広告データをアプリケーション処理手段に渡す広告データ取次手段とを含んで構成され、組立サービス提供システムは、複数の広告データを記憶する広告データ記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくる広告データ取得要求信号を受信する広告データ取得要求受信手段と、この広告データ取得要求受信手段により受信した広告データ取得要求信号に含まれる広告ラベルデータ並びに認識処理対象入力データまたは特徴量を用いて、広告データ記憶手段に記憶された複数の広告データの中から、少なくとも1つの広告データを選択する広告データ選択手段と、この広告データ選択手段により選択した広告データを、ネットワークを介して認識処理実行端末装置へ送信する広告データ送信手段とを備えていることが望ましい。
このように認識処理実行端末装置で広告表示を行う構成とした場合には、プロキシエージェント処理手段が、アプリケーション処理手段から受け取った広告ラベルデータ、並びに履歴データを構成する認識処理対象入力データまたはこの認識処理対象入力データを解析して得られる特徴量を含む広告データ取得要求信号を、組立サービス提供システムへ送信するので、アプリケーションの要求、あるいは利用者の状態に従った広告表示を行うことが可能となる。
さらに、上述したように認識処理実行端末装置で広告表示を行う構成とした場合において、認識処理実行端末装置のプロキシエージェント処理手段は、アプリケーション処理手段から広告クリック信号を受け取り、受け取った広告クリック信号をネットワークを介して組立サービス提供システムへ送信する広告クリック取次手段を含んで構成され、組立サービス提供システムは、認識処理実行端末装置からネットワークを介して送信されてくる広告クリック信号を受信する広告クリック受信手段と、この広告クリック受信手段により受信した広告クリック信号を用いて課金処理を行う課金処理手段とを備えていることが望ましい。
このように組立サービス提供システムで広告クリック信号を受信して課金処理を行う構成とした場合には、広告をクリックした利用者または広告主に対する課金処理が可能となる。例えば、利用者に対しては、広告をクリックして商品購入や予約等を行った場合における取扱手数料や支払代金の計算処理等を行うことができ、広告主に対しては、利用者に広告を提供し、取引が成立したことに基づいて徴収する仲介手数料や広告掲載料の計算処理等を行うことができる。
また、前述した認識器構築システムにおいて、組立サービス提供システムは、各モジュール毎のモジュール累積利用回数をモジュールIDと関連付けて記憶するか、または各モジュール毎でかつ各アプリケーション毎のモジュール累積利用回数をモジュールIDおよびアプリケーション開発者入力データに含まれるアプリケーションIDと関連付けて記憶するモジュール累積利用回数記憶手段と、組立データ選択手段で組立データが選択されたときに、モジュール累積利用回数記憶手段に記憶されたモジュール累積利用回数のうち、選択された組立データに含まれるモジュールIDに対応するモジュール累積利用回数を1増加させるか、または選択された組立データに含まれるモジュールIDおよび選択された組立データの取得要求に係るアプリケーションのアプリケーションIDに対応するモジュール累積利用回数を1増加させるモジュール累積利用回数更新手段と、モジュール累積利用回数記憶手段に記憶されたモジュール累積利用回数を用いて、各モジュールを開発した各モジュール開発者への支払処理および/または各アプリケーションを開発した各アプリケーション開発者への請求処理を行うためのモジュール利用対価額を算出するモジュール利用対価額算出手段とを備えていることが望ましい。
このように組立サービス提供システムで組立データ取得要求信号を受信し、提供する組立データを選択したときに、その組立データに基づくパターン認識器の自動構築で用いられるモジュールの累積利用回数をカウントし、モジュール利用対価額を算出する構成とした場合には、モジュールを開発し、提供したモジュール開発者への支払処理を行うために、そのモジュールの利用頻度に応じて、モジュール利用対価額を算出したり、あるいはアプリケーションが実行され、そのアプリケーションで利用されるパターン認識器が自動構築される際にはモジュールが利用されるので、そのモジュールを利用するアプリケーションの開発者へのモジュール利用に対する請求処理を行うために、そのアプリケーションによるそのモジュールの利用頻度に応じて、モジュール利用対価額を算出することが可能となる。
そして、以上に述べた本発明の認識器構築システムにおいて、パターン認識器は、音声認識器の他、例えば、画像パターン、文字列パターン、各種波形パターン等の認識器とすることができる。しかし、構成モジュールの多様性、利用環境の多様性等から、本発明の効果が顕著に得られるという点で、パターン認識器は、音声認識器であり、認識処理実行端末装置は、音声認識処理を実行する音声認識処理実行端末装置であることが望ましい。
このように本発明を音声認識器の自動構築に適用した場合には、音響モデルモジュール、言語モデルモジュール、デコーダモジュール、音響分析モジュール等の最適な組み合わせで、高精度な音声認識器を構築することが可能となる。
また、以上に述べた本発明の認識器構築システムにより実現される認識器構築方法として、以下のような本発明の認識器構築方法が挙げられる。
すなわち、本発明は、パターン認識器を構築する認識器構築システムで実行される認識器構築方法であって、パターン認識器による認識処理を実行する認識処理実行端末装置と、この認識処理実行端末装置で利用されるパターン認識器を組み立てるための組立データを提供する組立サービス提供システムと、パターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとをネットワークで接続しておき、組立サービス提供システムの組立データ記憶手段に、モジュールを識別するモジュールIDを含む複数の組立データを記憶しておき、モジュール提供システムのモジュール記憶手段に、1つまたは複数のモジュールを記憶しておき、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段が、アプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムの組立データ取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくる組立データ取得要求信号を受信する処理を行い、組立サービス提供システムの組立データ選択手段が、組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する処理を行い、組立サービス提供システムの組立データ送信手段が、組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の組立データ受信手段が、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール取得要求送信手段が、組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信する処理を行い、モジュール提供システムのモジュール取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信する処理を行い、モジュール提供システムのモジュール取得手段が、モジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得する処理を行い、モジュール提供システムのモジュール送信手段が、モジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール受信手段が、モジュール提供システムからネットワークを介して送信されてくるモジュールを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の認識器組立手段が、モジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる処理を行うことを特徴とするものである。
このような本発明の認識器構築方法においては、前述した本発明の認識器構築システムで得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
また、本発明は、パターン認識器を構築する認識器構築システムで実行される認識器構築方法であって、パターン認識器による認識処理を実行する認識処理実行端末装置と、この認識処理実行端末装置で利用されるパターン認識器を組み立てるための組立データを提供する組立サービス提供システムと、パターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとをネットワークで接続しておき、モジュール提供システムのモジュール記憶手段に、1つまたは複数のモジュールを記憶しておき、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段が、アプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムの組立データ取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくる組立データ取得要求信号を受信する処理を行い、組立サービス提供システムの要求組立データ作成手段が、組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する処理を行い、組立サービス提供システムの組立データ送信手段が、要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の組立データ受信手段が、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール取得要求送信手段が、組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信する処理を行い、モジュール提供システムのモジュール取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信する処理を行い、モジュール提供システムのモジュール取得手段が、モジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得する処理を行い、モジュール提供システムのモジュール送信手段が、モジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール受信手段が、モジュール提供システムからネットワークを介して送信されてくるモジュールを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の認識器組立手段が、モジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる処理を行うことを特徴とするものである。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のようになる。すなわち、本発明は、パターン認識器を構築する認識器構築システムで実行される認識器構築方法であって、パターン認識器による認識処理を実行する認識処理実行端末装置と、この認識処理実行端末装置で利用されるパターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとをネットワークで接続しておき、組立サービス提供システムの組立データ記憶手段に、モジュールを識別するモジュールIDを含む複数の組立データを記憶しておき、組立サービス提供システムのモジュール記憶手段に、1つまたは複数のモジュールを記憶しておき、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段が、アプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムの組立データ取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくる組立データ取得要求信号を受信する処理を行い、組立サービス提供システムの組立データ選択手段が、組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する処理を行い、組立サービス提供システムの組立データ送信手段が、組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の組立データ受信手段が、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール取得要求送信手段が、組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムのモジュール取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信する処理を行い、組立サービス提供システムのモジュール取得手段が、モジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得する処理を行い、組立サービス提供システムのモジュール送信手段が、モジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール受信手段が、組立サービス提供システムからネットワークを介して送信されてくるモジュールを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の認識器組立手段が、モジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる処理を行うことを特徴とするものである。
また、本発明は、パターン認識器を構築する認識器構築システムで実行される認識器構築方法であって、パターン認識器による認識処理を実行する認識処理実行端末装置と、この認識処理実行端末装置で利用されるパターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとをネットワークで接続しておき、組立サービス提供システムのモジュール記憶手段に、1つまたは複数のモジュールを記憶しておき、認識処理実行端末装置のプロキシエージェント処理手段の組立データ取得要求送信手段が、アプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムの組立データ取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくる組立データ取得要求信号を受信する処理を行い、組立サービス提供システムの要求組立データ作成手段が、組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する処理を行い、組立サービス提供システムの組立データ送信手段が、要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の組立データ受信手段が、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール取得要求送信手段が、組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して組立サービス提供システムへ送信する処理を行い、組立サービス提供システムのモジュール取得要求受信手段が、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信する処理を行い、組立サービス提供システムのモジュール取得手段が、モジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得する処理を行い、組立サービス提供システムのモジュール送信手段が、モジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段のモジュール受信手段が、組立サービス提供システムからネットワークを介して送信されてくるモジュールを受信する処理を行い、認識処理実行端末装置のプロキシエージェント処理手段の認識器組立手段が、モジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる処理を行うことを特徴とするものである。
また、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置およびパターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとネットワークで接続されてパターン認識器を組み立てるための組立データを提供する組立サービス提供システムであって、モジュールを識別するモジュールIDを含む複数の組立データを記憶する組立データ記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する組立データ選択手段と、この組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段とを備えていることを特徴とするものである。
さらに、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置およびパターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとネットワークで接続されてパターン認識器を組み立てるための組立データを提供する組立サービス提供システムであって、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する要求組立データ作成手段と、この要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段とを備えていることを特徴とするものである。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のような構成になる。すなわち、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置とネットワークで接続されてパターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムであって、モジュールを識別するモジュールIDを含む複数の組立データを記憶する組立データ記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データ記憶手段に記憶された複数の組立データの中から、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた1つの組立データを選択する組立データ選択手段と、この組立データ選択手段により選択した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段と、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備えていることを特徴とするものである。
また、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置とネットワークで接続されてパターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムであって、認識処理実行端末装置からネットワークを介して送信されてくるアプリケーション開発者入力データおよび/または利用者入力データを含む組立データ取得要求信号を受信する組立データ取得要求受信手段と、この組立データ取得要求受信手段により受信した組立データ取得要求信号に含まれるアプリケーション開発者入力データおよび/または利用者入力データを用いて、パターン認識器を構成するモジュールを識別するモジュールIDを含み、かつ、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じた取得要求に係る組立データを作成する要求組立データ作成手段と、この要求組立データ作成手段により作成した組立データをネットワークを介して認識処理実行端末装置へ送信する組立データ送信手段と、1つまたは複数のモジュールを記憶するモジュール記憶手段と、認識処理実行端末装置からネットワークを介して送信されてくるモジュール取得要求信号を受信するモジュール取得要求受信手段と、このモジュール取得要求受信手段により受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールをモジュール記憶手段から取得するモジュール取得手段と、このモジュール取得手段により取得したモジュールをネットワークを介して認識処理実行端末装置へ送信するモジュール送信手段とを備えていることを特徴とするものである。
なお、以上の説明では、組立データ取得要求信号に、アプリケーション開発者入力データおよび/または利用者入力データが含まれ、これらのアプリケーション開発者入力データおよび/または利用者入力データを用いて、組立データの選択処理や作成処理が行われることが前提となっていたが、以上に述べた発明において、アプリケーション開発者入力データおよび利用者入力データのいずれも含まない組立データ取得要求信号、すなわち、アプリケーション開発者入力データおよび利用者入力データのいずれも含まず、かつ、システムデータを含む組立データ取得要求信号、あるいはアプリケーション開発者入力データ、利用者入力データ、およびシステムデータのいずれも含まない組立データ取得要求信号を用いて、組立データの選択処理や作成処理を行うようにしてもよい。例えば、アプリケーション開発者入力データ、利用者入力データ、およびシステムデータのいずれも含まない組立データ取得要求信号を用いる場合としては、組立サービス提供システムで、組立データ取得要求信号を受信したときに、その受信した時間帯や季節等に応じた組立データを選択したり、作成すること等ができる。この場合には、例えば、受信時刻が夜間であれば、静寂を前提としたパターン認識器(音声認識器)を組み立てるための組立データを送信したり、花粉の飛来する季節であれば、鼻声であることを前提としたパターン認識器(音声認識器)を組み立てるための組立データを送信したり、オリンピックの中継時間帯であれば、興奮した声であることを前提としたパターン認識器(音声認識器)を組み立てるための組立データを送信すること等ができる。また、例えば、組立データ取得要求信号からその送信元の地域(国、地方等)が把握できる場合には、その地域(国、地方等)に応じたパターン認識器(音声認識器)を組み立てるための組立データを送信すること等ができる。さらに、最初は、最も汎化性能の高いパターン認識器を組み立てるための組立データを送信しておき、その後、前述したフィードバックデータを利用して、送信する組立データを徐々に適切なものに変えていく構成とする場合も、アプリケーション開発者入力データ、利用者入力データ、およびシステムデータのいずれも含まない組立データ取得要求信号により実現することができる。このような構成とする場合には、例えば、フィードバックデータの提供元となった利用者を識別する利用者識別情報、あるいはフィードバックデータの提供元となった認識処理実行端末装置を識別する認識処理実行端末装置識別情報を、フィードバックデータを利用して更新した組立データ(組立データ識別情報)やモジュール(モジュールID)と関連付けて、組立サービス提供システムに記憶しておき、組立サービス提供システムで組立データ取得要求信号を受信したときに、利用者識別情報や認識処理実行端末装置識別情報(これらの識別情報は、組立データ取得要求信号に含ませてもよく、あるいは組立データ取得要求信号とは別途に送信してもよい。)に基づき、組立データ取得要求信号を送信してきた利用者や認識処理実行端末装置によりそれ以前に提供されているフィードバックデータを利用して更新された組立データ(組立データ識別情報)やモジュール(モジュールID)を抽出し、抽出された組立データ、あるいは抽出されたモジュールIDを含む組立データを、組立データ取得要求信号を送信してきた利用者や認識処理実行端末装置に送信すること等ができる。但し、より一層適切な組立データを送信するという観点からは、組立データ取得要求信号に、アプリケーション開発者入力データおよび/または利用者入力データが含まれることが好ましく、さらには、システムデータが含まれることが、より好ましい。
さらに、本発明は、パターン認識器を組み立てるための組立データを提供する組立サービス提供システムおよびパターン認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システムとネットワークで接続されてパターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、プロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、組立データ取得要求信号をネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して少なくとも1つのモジュール提供システムへ送信するモジュール取得要求送信手段と、モジュール提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成されるプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
なお、モジュール提供システムを置かずに組立サービス提供システムによりモジュールの提供も行う発明の場合には、次のような構成になる。すなわち、本発明は、パターン認識器を組み立てるための組立データおよびパターン認識器を構成するモジュールを提供する組立サービス提供システムとネットワークで接続されてパターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、プロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、組立データ取得要求信号を前記ネットワークを介して組立サービス提供システムへ送信する組立データ取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくる組立データを受信する組立データ受信手段と、この組立データ受信手段により受信した組立データを用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワークを介して組立サービス提供システムへ送信するモジュール取得要求送信手段と、組立サービス提供システムからネットワークを介して送信されてくるモジュールを受信するモジュール受信手段と、このモジュール受信手段により受信したモジュールを用いて、パターン認識器を組み立てる認識器組立手段とを含んで構成されるプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
また、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、パターン認識器を利用するアプリケーションを実行するアプリケーション処理手段およびパターン認識器による認識処理を実行する認識処理手段と協働するプロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、アプリケーションが利用する前記パターン認識器の組立処理と、アプリケーション処理手段によりアプリケーションを実行して得られる認識処理対象入力データおよびこれに対する認識処理手段からの認識処理結果出力データを対にして構成される履歴データを記憶または送信する処理と、認識処理実行端末装置の画面上に広告を表示するための処理とのうち、少なくとも1つの処理を行うプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
より具体的には、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、パターン認識器を利用するアプリケーションを実行するアプリケーション処理手段およびパターン認識器による認識処理を実行する認識処理手段と協働するプロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、アプリケーション処理手段からパターン認識器の作成要求信号を受け取り、アプリケーションで利用される作成要求に係るパターン認識器を構成するモジュールを識別するモジュールIDを含む組立データを、認識処理実行端末装置とネットワークで接続された組立サービス提供システムまたは認識処理実行端末装置の取得組立データ記憶手段から取得し、取得した組立データを用いて、モジュールIDに対応するモジュールを、認識処理実行端末装置とネットワークで接続されたモジュール提供システム若しくは組立サービス提供システムまたは認識処理実行端末装置の取得モジュール記憶手段から取得し、取得したモジュールを用いて、パターン認識器を組み立て、パターン認識器の作成要求信号を発信したアプリケーション処理手段に対し、組み立てたパターン認識器を識別する認識器識別情報を渡すとともに、パターン認識器のメモリアドレスとこのパターン認識器を識別する認識器識別情報とを関連付けて認識器ロード情報記憶手段に記憶させる認識器構築手段と、アプリケーション処理手段から認識器識別情報を含む認識処理開始要求信号を受け取り、認識器ロード情報記憶手段を参照して認識器識別情報に対応するパターン認識器のメモリアドレスを取得し、取得したメモリアドレスに構築されているパターン認識器による認識処理を実行する認識処理手段に、認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡す認識処理時データ中継手段とを含んで構成されるプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
ここで、「認識器構築手段」が、「組立データ」を「認識処理実行端末装置の取得組立データ記憶手段」から取得する場合における「取得組立データ記憶手段」には、組立サービス提供システムからネットワークを介して取得した組立データが記憶されていてもよく、あるいは、例えば、光磁気ディスク(MO)、コンパクトディスク(CD)を利用した読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)、デジタル・バーサタイル・ディスク(DVD)を利用した読出し専用メモリ(DVD−ROM)、DVDを利用したランダム・アクセス・メモリ(DVD−RAM)、フレキシブルディスク(FD)、磁気テープ等の記録媒体から読み込まれた組立データが記憶されていてもよい。後者の場合としては、例えば、パターン認識器を利用するアプリケーションを認識処理実行端末装置へインストールするとともに、そのパターン認識器を組み立てるための組立データも認識処理実行端末装置へインストールする場合等が挙げられる。なお、「取得組立データ記憶手段」には、工場出荷時にプリインストールされた組立データが記憶されていてもよい。
そして、「認識器構築手段」が、「モジュール」を「認識処理実行端末装置の取得モジュール記憶手段」から取得する場合における「取得モジュール記憶手段」には、モジュール提供システムや組立サービス提供システムからネットワークを介して取得したモジュールが記憶されていてもよく、あるいは、例えば、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、FD、磁気テープ等の記録媒体から読み込まれたモジュールが記憶されていてもよい。後者の場合としては、例えば、パターン認識器を利用するアプリケーションを認識処理実行端末装置へインストールするとともに、そのパターン認識器を構成するモジュールも認識処理実行端末装置へインストールする場合(そのパターン認識器を構成しないモジュールも含めてインストールしてもよい。)等が挙げられる。なお、「取得モジュール記憶手段」には、工場出荷時にプリインストールされたモジュールが記憶されていてもよい。
このようなプロキシエージェントとして機能する本発明のプログラムにおいては、アプリケーション処理手段に対し、そのアプリケーション処理手段の作成要求に基づき組み立てたパターン認識器を識別する認識器識別情報を渡すことにより、アプリケーション処理手段とそのアプリケーションで利用されるパターン認識器による認識処理手段とを結び付け、データの中継を行うことが可能となる。このため、複数のアプリケーション処理手段(つまり、複数種類のアプリケーション)や複数の認識処理手段(つまり、複数種類のパターン認識器)がある場合でも、アプリケーション処理手段と認識処理手段との対応関係を保ちながらデータの中継を行うことが可能となる。
また、上記のプログラムにおいて、プロキシエージェント処理手段の認識処理時データ中継手段は、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、認識処理実行端末装置に設けられた履歴データ記憶手段に記憶させる処理を行う構成とされていることが望ましい。
ここで、「履歴データ記憶手段」に記憶された「履歴データ」は、例えば、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、FD、磁気テープ等の記録媒体に格納され、モジュール開発者や組立サービス提供システムの運用者等に提供されてもよく、あるいはオンラインで組立サービス提供システム等、予め設定されたサーバへ送信されてもよいが、特に、本発明の認識器構築システムにおいて収集データの有効活用を図り、本発明の認識器構築システムの機能を顕著に向上させるという観点からは、次のようにすることが望ましい。すなわち、上記のプログラムにおいて、プロキシエージェント処理手段は、履歴データ記憶手段に記憶された履歴データを、フィードバックデータとしてネットワークを介して組立サービス提供システムへ送信するフィードバックデータ送信手段を含んで構成されていることが望ましい。
さらに、本発明のプログラムは、以上のように、複数のアプリケーション処理手段(つまり、複数種類のアプリケーション)や複数の認識処理手段(つまり、複数種類のパターン認識器)がある場合に対応することができる構成に限定されるものではなく、次のような構成を採ることもできる。
すなわち、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、パターン認識器を利用するアプリケーションを実行するアプリケーション処理手段およびパターン認識器による認識処理を実行する認識処理手段と協働するプロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、アプリケーション処理手段から認識処理操作要求信号を受け取り、認識処理手段に、認識処理操作要求信号および/または認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡す認識処理時データ中継手段と、認識処理操作要求信号、認識処理対象入力データ、認識処理結果出力データのうちの少なくとも1つのデータを、フィードバックデータとして認識処理実行端末装置とネットワークで接続されたサービス提供システムへ送信するフィードバックデータ送信手段とを含んで構成されるプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
ここで、「認識処理操作要求信号」には、認識処理開始要求信号の他、例えば、認識処理結果出力データに対する利用者の評価を示すデータ(所望の認識結果が得られたか否かを示すデータ、認識結果に対する利用者の満足度を示すデータ等)、同一または略同一の認識処理対象(例えば、同一の画像、あるいは同一の発声を意図して利用者が発した音声)について、もう1回認識処理を行う旨の利用者による意思表示データ、あるいは認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データ等が含まれる。
また、「フィードバックデータ」としては、認識処理操作要求信号、認識処理対象入力データ、認識処理結果出力データのうちの少なくとも1つのデータを送信すればよく、例えば、認識処理操作要求信号を収集すれば、ある特性を有する利用者の操作傾向(例えば、認識処理のやり直しの頻度、認識処理に対する全体的な満足度等)を分析することができ、組立データの選択方法や組立データの作成方法等の決定、修正に役立てることが可能となる。また、認識処理対象入力データを収集すれば、音声入力データの場合には、コーパスモジュールの作成等に利用することができる。さらに、認識処理結果出力データを収集すれば、ある程度の認識精度の分析等を行うことが可能となる。しかし、フィードバックデータについて、より一層の有効活用を図るとともに、パターン認識器についてのプロキシエージェントとしての機能を顕著に発揮させるという観点から、認識処理操作要求信号、認識処理対象入力データ、認識処理結果出力データの3つのデータのうち、2以上のデータを組合せてフィードバックデータとすることが望ましい。例えば、認識処理対象入力データと認識処理結果出力データとの組合せをフィードバックデータとすれば、認識精度の評価を行うことが可能となり、認識処理結果出力データと認識処理操作要求信号(例えば、所望の認識結果が得られたか否かを示すデータ、あるいは認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データ)との組合せをフィードバックデータとしても、認識精度の評価を行うことが可能となり、認識処理対象入力データと認識処理操作要求信号(例えば、同一または略同一の認識処理対象について、もう1回認識処理を行う旨の利用者による意思表示データ)との組合せをフィードバックデータとすれば、どのような認識処理対象について認識処理の困難性があるか等の分析を行うことが可能となる。なお、評価や分析の自動化を、より一層進め、あるいは評価や分析の信頼性を、より一層高めるという観点から、認識処理操作要求信号、認識処理対象入力データ、認識処理結果出力データの3つのデータの全てを、フィードバックデータとすることが、より好ましい。
さらに、上記のプログラムにおいて、プロキシエージェント処理手段の認識処理時データ中継手段は、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、認識処理実行端末装置に設けられた履歴データ記憶手段に記憶させる処理を行う構成とされていることが望ましい。
そして、上記のプログラムにおいて、サービス提供システムは、前述した組立サービス提供システムであることが望ましい。このように組立サービス提供システムにフィードバックデータを送信する構成とした場合には、組立サービス提供システムから認識処理実行端末装置へ提供される組立データの内容、あるいは組立サービス提供システムから認識処理実行端末装置へ提供されるモジュールの内容を、フィードバックデータを反映させて更新された内容とすることが可能となる。このため、プロキシエージェント処理手段により認識処理実行端末装置から組立サービス提供システムへ、前回と同じ内容の組立データ取得要求信号やモジュール取得要求信号を送信したとしても、取得される組立データやモジュールの内容は、前回と異なるものとなり得るので、認識処理実行端末装置において、プロキシエージェント処理手段により、異なる機能を有するパターン認識器(機能の追加、削除、変更が行われたパターン認識器)を構築すること、すなわちパターン認識器をバージョンアップされた状態で再構築することが可能となる。
また、複数のアプリケーション処理手段(つまり、複数種類のアプリケーション)や複数の認識処理手段(つまり、複数種類のパターン認識器)がある場合に対応することができることを必ずしも前提としない構成として、次のような構成を採ることもできる。
すなわち、本発明は、パターン認識器による認識処理を実行する認識処理実行端末装置に搭載されることにより、パターン認識器を利用するアプリケーションを実行するアプリケーション処理手段およびパターン認識器による認識処理を実行する認識処理手段と協働するプロキシエージェント処理手段として、コンピュータを機能させるためのプログラムであって、アプリケーション処理手段から認識処理操作要求信号を受け取り、認識処理手段に、認識処理操作要求信号および/または認識処理対象入力手段から入力された認識処理対象入力データを渡すとともに、この認識処理対象入力データに対する認識処理結果出力データを認識処理手段から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段に渡し、さらに、認識処理対象入力手段から入力された認識処理対象入力データと、認識処理手段から受け取った認識処理結果出力データまたはこの認識処理結果出力データに対して利用者による修正入力を加えた修正後の認識処理結果出力データとを対にして構成される履歴データを、認識処理実行端末装置に設けられた履歴データ記憶手段に記憶させる認識処理時データ中継手段を含んで構成されるプロキシエージェント処理手段として、コンピュータを機能させるためのものである。
さらに、以上に述べたプログラムにおいて、プロキシエージェント処理手段は、アプリケーション処理手段から広告の分類を示す広告ラベルデータを含む広告データ取得要求信号を受け取り、受け取った広告データ取得要求信号に、履歴データ記憶手段に記憶された履歴データを構成する認識処理対象入力データまたはこの認識処理対象入力データを解析して得られる特徴量を加え、広告ラベルデータ並びに認識処理対象入力データまたは特徴量を含む広告データ取得要求信号を、ネットワークを介して組立サービス提供システムへ送信する広告データ取得要求取次手段と、組立サービス提供システムからネットワークを介して送信されてくる広告データを受信し、受信した広告データをアプリケーション処理手段に渡す広告データ取次手段とを含んで構成されていることが望ましい。
なお、以上に述べたプログラムまたはその一部は、例えば、光磁気ディスク(MO)、コンパクトディスク(CD)を利用した読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)、デジタル・バーサタイル・ディスク(DVD)を利用した読出し専用メモリ(DVD−ROM)、DVDを利用したランダム・アクセス・メモリ(DVD−RAM)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去および書換可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、以上に述べたプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
以上に述べたように本発明によれば、認識処理実行端末装置と、組立サービス提供システムと、モジュール提供システムとを協調させることにより、あるいは、認識処理実行端末装置と、組立サービス提供システムとを協調させることにより、パターン認識器を利用するアプリケーションの特性および/またはパターン認識器を利用する利用者の特性に応じたパターン認識器を自動構築するので、アプリケーション開発者や利用者は、自動構築されたパターン認識器を用いることで、高精度なパターン認識機能を、専門知識を必要とせず、容易に利用することができるという効果がある。
また、本発明によれば、アプリケーション処理手段および認識処理手段と協働するプロキシエージェント処理手段としてコンピュータを機能させるためのプログラムを提供することができるので、パターン認識器による認識処理を行う過程で、それ以後の認識処理に反映させることが可能なデータを収集することができるという効果がある。
以下に本発明の一実施形態について図面を参照して説明する。図1には、本発明の認識器構築システムの一例である本実施形態の音声認識器構築システム10の全体構成が示されている。図2には、音声認識処理実行端末装置20の構成が示され、図3には、組立サービス提供システム70の構成が示され、図4には、モジュール提供システム100の構成が示されている。また、図5には、アプリケーション開発時の処理の流れがフローチャートで示され、図6には、音声認識処理実行端末装置20へのプロキシエージェントのインストール後の処理の流れがフローチャートで示され、図7〜図9には、音声認識器を利用するアプリケーション実行時の音声認識処理の流れがフローチャートで示され、図10には、アプリケーション実行時の広告表示処理の流れがフローチャートで示され、図11には、モジュール開発時の処理の流れがフローチャートで示されている。さらに、図12には、組立データ取得要求信号130の構成例が示され、図13には、ラベルデータ記憶手段82に記憶されたラベルデータの内容が示され、図14には、組立データ一覧表記憶手段81に記憶された組立データ一覧表の内容が示され、図15には、評価データ記憶手段88に記憶された評価データの内容が示され、図16には、組立データ140の構成例が示され、図17〜図20には、各種モジュールのモジュールメタデータの構成例が示され、図21には、組立データ作成処理の流れの具体例が示されている。
図1において、音声認識器構築システム10は、パターン認識器である音声認識器を自動構築するシステムであり、アプリケーション開発者や利用者により操作されて音声認識器による認識処理を実行する音声認識処理実行端末装置20と、音声認識器を組み立てるための組立データを提供する組立サービス提供システム70と、音声認識器を構成するモジュールを提供する少なくとも1つのモジュール提供システム100と、モジュール開発者により操作されるモジュール開発者端末装置120とを備えて構成されている。そして、これらの各システム70,100および各端末装置20,120は、それぞれコンピュータにより構成され、ネットワーク1で接続されている。
ここで、ネットワーク1は、例えば、LAN、MAN、WAN、インターネット、イントラネット、エクストラネット、あるいはこれらの組合せ等、様々な形態のものが含まれ、有線であるか無線であるか、さらには有線および無線の混在型であるかは問わず、要するに、複数地点(距離の長短は問わない。)間で、ある程度の速度をもって情報を伝送することができるものであればよい。
図1および図2において、音声認識処理実行端末装置20は、本発明における認識処理実行端末装置であり、音声認識に関する各種データの統括・管理・中継等の処理を行うプロキシエージェント処理手段30と、このプロキシエージェント処理手段30により組み立てられた音声認識器を利用するアプリケーションを実行するアプリケーション処理手段40と、プロキシエージェント処理手段30により組み立てられた音声認識器による音声認識処理を実行する音声認識処理手段50とを備えている。
図2には、一例として、音声認識処理実行端末装置20にインストールされた3種類のアプリケーションA,B,Cが同時に立ち上げられることにより、3種類のアプリケーション処理手段40が構成されている状態が示されている。また、3種類の音声認識器X,Y,Zが組み立てられて主メモリ上にロードされ、3種類の音声認識処理手段50が構成されている状態が示されている。なお、本願明細書では、アプリケーションは、プログラム自体を指し、アプリケーション処理手段40は、中央演算処理装置(CPU)およびこの動作手順を規定するアプリケーションプログラムにより実現される手段を指すものとする。また、音声認識器は、プログラム自体およびデータ自体を指し、音声認識処理手段50は、CPUおよびこの動作手順を規定する音声認識器の構成プログラム、並びに音声認識器の構成データにより実現される手段を指すものとする。
また、図2において、音声認識処理実行端末装置20は、例えばキーボードやマウス等の入力手段21と、例えば液晶ディスプレイやCRTディスプレイ等の表示手段22と、認識処理対象入力手段である音声入力用のマイクロフォン23とを備えている。
さらに、音声認識処理実行端末装置20は、取得組立データ記憶手段60と、取得モジュール記憶手段61と、認識器ロード情報記憶手段62と、履歴データ記憶手段63と、アプリケーション開発者入力データ記憶手段64と、利用者入力データ記憶手段65と、システムデータ記憶手段66とを備えている。
プロキシエージェント処理手段30は、認識器構築手段31と、認識処理時データ中継手段32と、フィードバックデータ送信手段33と、組立データ取得要求信号添付データ作成手段34と、広告処理時取次手段35とを備えて構成されている。
認識器構築手段31は、組立データ取得要求送信手段31Aと、組立データ受信手段31Bと、モジュール取得要求送信手段31Cと、モジュール受信手段31Dと、認識器組立手段31Eとを含んで構成されている。
組立データ取得要求送信手段31Aは、アプリケーション処理手段40からアプリケーション開発者入力データ132を含む音声認識器の作成要求信号を受け取り、利用者入力データ記憶手段65から利用者入力データ133を読み込み、システムデータ記憶手段66からシステムデータ134を読み込み、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を含む組立データ取得要求信号130(図12参照)を、ネットワーク1を介して組立サービス提供システム70へ送信する処理を行うものである。
組立データ受信手段31Bは、組立サービス提供システム70からネットワーク1を介して送信されてくる組立データ140(図16参照)を受信する処理を行うものである。この組立データ受信手段31Bは、受信した組立データ140を、アプリケーション開発者入力データ132と合体させた状態で、取得組立データ記憶手段60に記憶させる処理も行う。
モジュール取得要求送信手段31Cは、組立データ受信手段31Bにより受信した組立データ140(図16参照)を用いて、モジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号をネットワーク1を介して少なくとも1つのモジュール提供システム100へ送信する処理を行うものである。また、モジュール取得要求送信手段31Cは、組立データ受信手段31Bにより受信した組立データ140に、カスタマイズ用のリクエストパラメータが含まれている場合には、このカスタマイズ用のリクエストパラメータに基づき、カスタマイズ用データを取得し、モジュールIDに加えてカスタマイズ用データを含むモジュール取得要求信号を作成し、ネットワーク1を介してモジュール提供システム100へ送信する。この際、カスタマイズ用データは、利用者入力データ記憶手段65(図2参照)に利用者入力データ133として設定されて記憶された音声入力データ(システムで指定された一定の文章の読み上げデータ)としてもよく、履歴データ記憶手段63に既に記憶されている音声入力データとしてもよく、あるいはその時点でマイクロフォン23から収録した音声入力データとしてもよい。
モジュール受信手段31Dは、モジュール提供システム100からネットワーク1を介して送信されてくるモジュールを受信する処理を行うものである。このモジュール受信手段31Dは、受信したモジュールを取得モジュール記憶手段61に記憶させる処理も行う。
認識器組立手段31Eは、モジュール受信手段31Dにより受信したモジュールを用いて、音声認識器を組み立てる処理を行うものである。この認識器組立手段31Eは、アプリケーション開発者入力データ132(図12参照)を含む音声認識器の作成要求信号を発信したアプリケーション処理手段40に対し、組み立てた音声認識器の識別子(認識器識別情報)を渡す処理を行う。
認識処理時データ中継手段32は、アプリケーション処理手段40から認識器識別情報(本実施形態では、音声認識器の識別子とする。)を含む認識処理開始要求信号を受け取り、認識器ロード情報記憶手段62を参照して認識器識別情報(音声認識器の識別子)に対応する音声認識器のメモリアドレス(例えば、音声認識器オブジェクトのポインタ)を取得し、取得したメモリアドレスに構築されている音声認識器による音声認識処理を実行する音声認識処理手段50に、認識処理対象入力手段であるマイクロフォン23から入力された認識処理対象入力データ(本実施形態では、音声入力データ)を渡すとともに、この認識処理対象データ(音声入力データ)に対する認識処理結果出力データ(本実施形態では、音声認識処理で得られた認識文字列データ)を音声認識処理手段50から受け取り、受け取った認識処理結果出力データ(認識文字列データ)をアプリケーション処理手段40に渡す処理を行うものである。
また、認識処理時データ中継手段32は、マイクロフォン23から入力された認識処理対象入力データ(音声入力データ)と、音声認識処理手段50から受け取った認識処理結果出力データ(認識文字列データ)またはこの認識処理結果出力データ(認識文字列データ)に対して利用者による修正入力を加えた修正後の認識処理結果出力データ(認識文字列データ)とを対にして構成される履歴データを、履歴データ記憶手段63に追加して記憶させる処理を行う。なお、修正後の認識処理結果出力データ(認識文字列データ)の取得処理は、次のようにして行うことができる。すなわち、認識処理時データ中継手段32が音声認識処理手段50から受け取った認識処理結果出力データ(認識文字列データ)をアプリケーション処理手段40に渡し、アプリケーション処理手段40がこの認識処理結果出力データ(認識文字列データ)を表示手段22に画面表示し、この表示を見た利用者による入力手段21を用いた修正入力をアプリケーション処理手段40で受け付け、アプリケーション処理手段40が修正後の認識処理結果出力データ(認識文字列データ)を認識処理時データ中継手段32に渡し、認識処理時データ中継手段32が修正後の認識処理結果出力データ(認識文字列データ)を履歴データ記憶手段63に記憶させることができる。また、別の処理方法として、認識処理時データ中継手段32が音声認識処理手段50から認識処理結果出力データ(認識文字列データ)を受け取ると、認識処理時データ中継手段32がこの認識処理結果出力データ(認識文字列データ)を表示手段22に画面表示し、この表示を見た利用者による入力手段21を用いた修正入力を認識処理時データ中継手段32が受け付け、認識処理時データ中継手段32が修正後の認識処理結果出力データ(認識文字列データ)を履歴データ記憶手段63に記憶させることができる。このようにすれば、例えば、チャット会議等を行っているときに、利用者が音声認識処理結果に対し、直ぐにキーボード等を用いて修正入力を加える操作を行った場合等に、有効な履歴データを収集することができる。
フィードバックデータ送信手段33は、履歴データ記憶手段63に記憶された履歴データを、フィードバックデータとしてネットワーク1を介して組立サービス提供システム70へ送信する処理を行うものである。この送信処理は、所定の時間間隔で定期的に行ってもよく、あるいは認識処理時データ中継手段32が新しいデータを履歴データ記憶手段63に記憶させる都度に、その新しいデータを送信してもよい。
組立データ取得要求信号添付データ作成手段34は、アプリケーション開発者入力用画面表示処理手段34Aと、利用者入力用画面表示処理手段34Bと、システムデータ自動取得手段34Cと、システムデータ入力用画面表示処理手段34Dとを含んで構成されている。
アプリケーション開発者入力用画面表示処理手段34Aは、組立サービス提供システム70へネットワーク1を介してアプリケーション開発者入力データ作成用情報(アプリケーション開発者入力データ132(図12参照)を選択入力する際の選択肢となる情報)の取得要求信号を送信するとともに、組立サービス提供システム70からネットワーク1を介して送信されてくるアプリケーション開発者入力データ作成用情報を受信し、受信したアプリケーション開発者入力データ作成用情報を用いて、アプリケーション開発者の入力用画面(アプリケーション開発者入力データ132(図12参照)を選択入力するための画面)を表示手段22に画面表示する処理を行うものである。
利用者入力用画面表示処理手段34Bは、組立サービス提供システム70へネットワーク1を介して利用者入力データ作成用情報(利用者入力データ133(図12参照)を選択入力する際の選択肢となる情報)の取得要求信号を送信するとともに、組立サービス提供システム70からネットワーク1を介して送信されてくる利用者入力データ作成用情報を受信し、受信した利用者入力データ作成用情報を用いて、利用者の入力用画面(利用者入力データ133(図12参照)を選択入力するための画面)を表示手段22に画面表示する処理を行うものである。
システムデータ自動取得手段34Cは、音声認識処理実行端末装置20を構成するハードウェアの仕様(CPU、メモリに関する情報等)、オペレーティングシステムの種類、およびデバイス情報(マイクロフォンの仕様等)を含むシステムデータのうち、自動取得が可能なデータを自動取得する処理を行うものである。
システムデータ入力用画面表示処理手段34Dは、システムデータのうち、システムデータ自動取得手段34Cにより自動取得することができないデータを、利用者に通知し、利用者に入力させるためのシステムデータ入力用画面を表示手段22に画面表示する処理を行うものである。
広告処理時取次手段35は、広告データ取得要求取次手段35Aと、広告データ取次手段35Bと、広告クリック取次手段35Cとを含んで構成されている。
広告データ取得要求取次手段35Aは、アプリケーション処理手段40から広告の分類を示す広告ラベルデータを含む広告データ取得要求信号を受け取り、受け取った広告データ取得要求信号に、履歴データ記憶手段63に記憶された履歴データを構成する認識処理対象入力データ(音声入力データ)またはこの認識処理対象入力データを解析して得られる特徴量を加え、広告ラベルデータ並びに認識処理対象入力データ(音声入力データ)または特徴量を含む広告データ取得要求信号を、ネットワーク1を介して組立サービス提供システム70へ送信する処理を行うものである。
広告データ取次手段35Bは、組立サービス提供システム70からネットワーク1を介して送信されてくる広告データを受信し、受信した広告データをアプリケーション処理手段40に渡す処理を行うものである。
広告クリック取次手段35Cは、アプリケーション処理手段40から広告クリック信号を受け取り、受け取った広告クリック信号をネットワーク1を介して組立サービス提供システム70へ送信する処理を行うものである。
取得組立データ記憶手段60は、組立データ受信手段31Bにより組立サービス提供システム70からネットワーク1を介して受信した組立データ140(図16参照)を記憶するものである。この際、本実施形態では、組立データ140は、この組立データ140を取得するための組立データ取得要求信号130(図12参照)に含ませたアプリケーション開発者入力データ132を合体させた状態で記憶される。これにより、アプリケーション開発者入力データ132が与えられると、このアプリケーション開発者入力データ132をキーとして、対応する組立データ140の検索を行うことができる。また、本実施形態では、組立データ140(アプリケーション開発者入力データ132を含んでいる。)は、ファイルとして記憶され、この組立データ140のファイル名は、組立データ識別情報としての組立データの識別子としても使用され、さらに、組立データ140とそれによって組み立てられる音声認識器は、1対1の対応であるため、組立データ140のファイル名は、認識器識別情報としての音声認識器の識別子にもなっている。なお、組立データ140とアプリケーション開発者入力データ132との対応付けは、上記のように、組立データ140とアプリケーション開発者入力データ132とを合体させたファイルを作成することに限定されるものではなく、例えば、アプリケーション開発者入力データ132と、組立データ140のファイル名とを対応させたテーブルを用意して記憶しておき、アプリケーション開発者入力データ132をキーとして、このテーブルを検索し、組立データ140のファイル名を把握し、組立データ140を読み込めるようにしてもよい。
取得モジュール記憶手段61は、モジュール受信手段31Dによりモジュール提供システム100からネットワーク1を介して受信したモジュールを、モジュールIDと関連付けて記憶するものである。本実施形態では、モジュールは、ファイルとして記憶され、このモジュールのファイル名は、モジュールIDと一致している。これにより、モジュールIDが与えられると、対応するモジュールを読み込むことができる。なお、取得モジュール記憶手段61に記憶したモジュールと、モジュールIDとの対応付けは、上記の方法に限定されるものではなく、例えば、モジュールIDとモジュールのファイル名とを対応させたテーブルを用意して記憶しておき、モジュールIDをキーとして、このテーブルを検索し、モジュールのファイル名を把握し、モジュールを読み込めるようにしてもよく、あるいはモジュールデータの中にモジュールIDを含ませておくことにより、モジュールIDに対応するモジュールを把握できるようにしてもよい。
認識器ロード情報記憶手段62は、音声認識器のメモリアドレス(例えば、音声認識器オブジェクトのポインタ)と、認識器識別情報としての音声認識器の識別子(本実施形態では、組立データのファイル名と一致させている。)とを、主メモリ上で関連付けて記憶するものである。
履歴データ記憶手段63は、マイクロフォン23から入力された認識処理対象入力データ(音声入力データ)と、音声認識処理手段50から受け取った認識処理結果出力データ(認識文字列データ)またはこれに利用者による修正が加えられた修正後の認識処理結果出力データ(認識文字列データ)とを対にして構成される履歴データを記憶するものである。1台の音声認識処理実行端末装置20を複数の利用者で使用する場合には、履歴データは、各利用者毎の個別の格納場所(フォルダ等)に記憶されるか、あるいは利用者識別情報と関連付けられて各利用者毎に記憶される。また、1台の音声認識処理実行端末装置20で複数種類のアプリケーションが実行される場合には、各アプリケーション毎の個別の格納場所(フォルダ等)に記憶されるか、あるいはアプリケーションIDと関連付けられて各アプリケーション毎に記憶される。
アプリケーション開発者入力データ記憶手段64は、アプリケーション開発者入力データ132(図12参照)を記憶するものである。アプリケーション開発者が操作する音声認識処理実行端末装置20の場合には、アプリケーション開発者入力データ記憶手段64には、アプリケーション開発者入力用画面表示処理手段34Aにより表示されたアプリケーション開発者の入力用画面を用いて、アプリケーション開発者により選択入力されたアプリケーション開発者入力データ132が記憶される。ここに記憶されたアプリケーション開発者入力データ132は、アプリケーション開発者により開発中のアプリケーションに組み込まれて使用されるか、あるいは開発中のアプリケーションをテストで実行したときに、開発中のアプリケーションにより読み込まれてプロキシエージェント処理手段30へ発信する音声認識器の作成要求信号として使用される。
また、利用者が操作する音声認識処理実行端末装置20の場合には、アプリケーション開発者入力データ記憶手段64には、アプリケーションを音声認識処理実行端末装置20へインストールしたときに保存されたアプリケーション開発者入力データ132(図12参照)が記憶される。このインストール時の保存処理では、CD−ROM等の記録媒体からアプリケーションとともに読み込んだアプリケーション開発者入力データ132を保存してもよく、あるいはアプリケーション提供サーバ(不図示)からネットワーク1を介してアプリケーションとともにダウンロードしたアプリケーション開発者入力データ132を保存してもよい。なお、アプリケーション開発者入力データ132がアプリケーションに組み込まれている場合には、アプリケーション開発者入力データ記憶手段64へのアプリケーション開発者入力データ132の保存処理は省略することができる。
利用者入力データ記憶手段65は、利用者入力用画面表示処理手段34Bにより表示された利用者の入力用画面を用いて、利用者により選択入力された利用者入力データ133(図12参照)を記憶するものである。この利用者入力データ記憶手段65に、一旦、利用者入力データが記憶されると、プロキシエージェント処理手段30は、音声認識器の自動構築処理を行う際に、ここから利用者入力データを読み込むことができるので、利用者は、利用者入力データの入力作業を1回行うだけでよい。
システムデータ記憶手段66は、システムデータ自動取得手段34Cにより自動取得したシステムデータ、およびシステムデータ入力用画面表示処理手段34Dにより表示されたシステムデータ入力用画面を用いて、利用者により入力されたシステムデータを記憶するものである。このシステムデータ記憶手段66に、一旦、システムデータが記憶されると、プロキシエージェント処理手段30は、音声認識器の自動構築処理を行う際に、ここからシステムデータを読み込むことができるので、利用者は、システムデータの入力作業を1回行うだけでよい。
図3において、組立サービス提供システム70は、組立データ提供手段71と、組立データ作成手段72と、モジュール開発支援手段73と、認識器評価手段74と、アプリケーション開発者入力データ作成用情報提供手段75と、利用者入力データ作成用情報提供手段76と、フィードバックデータ管理手段77と、広告処理手段78と、モジュール利用状況管理手段79とを備えている。
また、組立サービス提供システム70は、組立データ記憶手段80と、組立データ一覧表記憶手段81と、ラベルデータ記憶手段82と、モジュールメタデータ記憶手段83と、モジュールメタデータ一覧表記憶手段84と、モジュール開発用情報記憶手段85と、評価用モジュール記憶手段86と、テスト用認識処理対象データ記憶手段87と、評価データ記憶手段88と、アプリケーション開発者入力データ作成用情報記憶手段89と、アプリケーション開発者入力データ記憶手段90と、利用者入力データ作成用情報記憶手段91と、利用者入力データ記憶手段92と、フィードバックデータ記憶手段93と、広告データ記憶手段94と、課金データ記憶手段95と、モジュール累積利用回数記憶手段96と、モジュール開発者情報記憶手段97と、アプリケーション開発者情報記憶手段98とを備えている。
組立データ提供手段71は、組立データ取得要求受信手段71Aと、組立データ選択手段71Bと、組立データ送信手段71Cとを含んで構成されている。
組立データ取得要求受信手段71Aは、音声認識処理実行端末装置20からネットワーク1を介して送信されてくるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を含む組立データ取得要求信号130(図12参照)を受信する処理を行うものである。
組立データ選択手段71Bは、組立データ取得要求受信手段71Aにより受信した組立データ取得要求信号130(図12参照)に含まれるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を用いて、組立データ記憶手段80に記憶された複数の組立データの中から、音声認識器の作成要求信号を発信したアプリケーションの特性に応じ、かつ、音声認識器を利用する利用者(話者)に適し、かつ、音声認識処理実行端末装置20のシステム環境で動作する音声認識器を構築できる1つの組立データ140(図16参照)を選択する処理を行うものである。この際、組立データ選択手段71Bは、選択対象の組立データの組立データ識別情報(組立データの識別子)をキーとして、評価データ記憶手段88から選択対象の組立データを用いて組み立てられる音声認識器の評価データを取得し、取得した評価データも組立データの選択処理に用いる。
組立データ送信手段71Cは、組立データ選択手段71Bにより選択した組立データを、ネットワーク1を介して音声認識処理実行端末装置20へ送信する処理を行うものである。
組立データ作成手段72は、モジュールメタデータ記憶手段83に記憶されたモジュールメタデータ、モジュールメタデータ一覧表記憶手段84に記憶されたモジュールメタデータ一覧表、およびラベルデータ記憶手段82に記憶されたラベルデータを用いて、組立データ140(図16参照)を作成する処理を行うものである。また、組立データ作成手段72は、作成した組立データ140を、組立データ記憶手段80に保存する処理を行う。さらに、組立データ作成手段72は、作成した組立データ140にラベルを付与し(つまり、作成した組立データ140を用いて組み立てられる音声認識器にラベルを付与し)、このラベルの付与情報を組立データ一覧表記憶手段81に保存する処理も行う。これらの組立データ作成手段72による処理は、定期的に行われ、組立データ記憶手段80に記憶される複数の組立データや、組立データ一覧表記憶手段81に記憶される組立データ一覧表の内容は、定期的に更新される。また、新しいモジュールが作成され、またはモジュールが更新され、これに伴って、モジュールメタデータの新規作成または更新が行われ、モジュールメタデータ登録手段73Bによるモジュールメタデータの登録(新規登録または更新登録)があったときに、組立データ作成手段72による処理を行うようにしてもよい。
モジュール開発支援手段73は、モジュール開発用情報提供手段73Aと、モジュールメタデータ登録手段73Bとを含んで構成されている。
モジュール開発用情報提供手段73Aは、モジュール開発者端末装置120からネットワーク1を介して送信されてくるモジュール開発用情報の取得要求信号を受信し、この取得要求信号に応じて、モジュール開発用情報(ラベル情報等)を、ネットワーク1を介してモジュール開発者端末装置120へ送信する処理を行うものである。
モジュールメタデータ登録手段73Bは、モジュール開発用情報を参照したモジュール開発者により作成されてモジュール開発者端末装置120からネットワーク1を介して送信されてくるモジュールメタデータ(図17〜図20参照)を受信し、受信したモジュールメタデータをモジュールメタデータ記憶手段83に記憶させて登録する処理を行うものである。
認識器評価手段74は、テスト用認識処理対象データ記憶手段87に記憶されたテスト用認識処理対象データを用いて、音声認識器を評価する処理を行うものであり、評価用モジュール取得要求送信手段74Aと、評価用モジュール受信手段74Bと、評価対象認識器組立手段74Cと、評価データ作成手段74Dとを含んで構成されている。
評価用モジュール取得要求送信手段74Aは、組立データ記憶手段80に記憶された組立データ140(図16参照)を用いて、評価対象の音声認識器を構成する評価用モジュールについてのモジュールIDを含む評価用モジュール取得要求信号を作成し、作成した評価用モジュール取得要求信号を、ネットワーク1を介して少なくとも1つのモジュール提供システム100へ送信する処理を行うものである。この評価用モジュール取得要求送信手段74Aは、前述した音声認識処理実行端末装置20のプロキシエージェント処理手段30のモジュール取得要求送信手段31C(図2参照)と同様な処理を行うものである。
評価用モジュール受信手段74Bは、モジュール提供システム100からネットワーク1を介して送信されてくる評価用モジュールを受信する処理を行うものである。また、評価用モジュール受信手段74Bは、受信した評価用モジュールを評価用モジュール記憶手段86に記憶させる処理も行う。この評価用モジュール受信手段74Bは、前述した音声認識処理実行端末装置20のプロキシエージェント処理手段30のモジュール受信手段31D(図2参照)と同様な処理を行うものである。
評価対象認識器組立手段74Cは、評価用モジュール受信手段74Bにより受信した評価用モジュールを用いて、評価対象の音声認識器を組み立てる処理を行うものである。この評価対象認識器組立手段74Cは、前述した音声認識処理実行端末装置20のプロキシエージェント処理手段30の認識器組立手段31E(図2参照)と同様な処理を行うものである。
評価データ作成手段74Dは、テスト用認識処理対象データ記憶手段87に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段74Cにより組み立てられた評価対象の音声認識器による音声認識処理を実行することにより、評価対象の音声認識器の評価結果を示す評価データを作成する処理を行うものである。この評価データ作成手段74Dによる評価データの作成処理は、各音声認識器(つまり、各組立データ)について、得意分野に関するラベルに対応する各環境で収録されたテスト用認識処理対象データを用いて各収録環境毎に行う(図15参照)。また、評価データ作成手段74Dによる評価データの作成処理は、組立データ作成手段72による組立データの作成処理が行われ、自動構築可能な音声認識器が新たに用意されたときに行うとともに、テスト用認識処理対象データ追加手段77Cによるテスト用認識処理対象データの追加処理が行われたときに行うことが好ましい。
アプリケーション開発者入力データ作成用情報提供手段75は、音声認識処理実行端末装置20からネットワーク1を介して送信されてくるアプリケーション開発者入力データ作成用情報(アプリケーション開発者入力データ132(図12参照)を選択入力する際の選択肢となる情報)の取得要求信号を受信し、この取得要求信号に応じて、アプリケーション開発者入力データ作成用情報記憶手段89に記憶されたアプリケーション開発者入力データ作成用情報を、ネットワーク1を介して音声認識処理実行端末装置20へ送信する処理を行うものである。
利用者入力データ作成用情報提供手段76は、音声認識処理実行端末装置20からネットワーク1を介して送信されてくる利用者入力データ作成用情報(利用者入力データ133(図12参照)を選択入力する際の選択肢となる情報)の取得要求信号を受信し、この取得要求信号に応じて、利用者入力データ作成用情報記憶手段91に記憶された利用者入力データ作成用情報を、ネットワーク1を介して音声認識処理実行端末装置20へ送信する処理を行うものである。
フィードバックデータ管理手段77は、フィードバックデータ受信手段77Aと、フィードバックデータ提供手段77Bと、テスト用認識処理対象データ追加手段77Cとを含んで構成されている。
フィードバックデータ受信手段77Aは、音声認識処理実行端末装置20からネットワーク1を介して送信されてくるフィードバックデータを受信する処理を行うものである。このフィードバックデータ受信手段77Aは、受信したフィードバックデータをフィードバックデータ記憶手段93に記憶させる処理も行う。
フィードバックデータ提供手段77Bは、フィードバックデータ記憶手段93に蓄積記憶されたフィードバックデータを、ネットワーク1を介してモジュール提供システム100へ配信するか、またはモジュール開発者からの要求に応じて、ネットワーク1を介してモジュール開発者端末装置120へ送信する処理を行うものである。例えば、フィードバックデータ記憶手段93に蓄積記憶されたフィードバックデータをラベル毎に管理しているものとすれば、モジュール開発者からの要求に、そのモジュール開発者が開発したいモジュールの特性に応じたラベルデータ(例えば、「男性大人」を示すラベルデータ)を含めるようにした場合には、そのラベルデータに対応するフィードバックデータ(例えば、「男性大人」という収録環境で収集された音声入力データ)を、モジュール開発者端末装置120へ送信することができ、これにより、モジュール開発者は、例えば、「男性大人」という収録環境で収集された音声入力データをサンプルデータとして、「男性大人」用の音響モデルモジュールを作成することが可能となる。また、フィードバックデータ記憶手段93に蓄積記憶されたフィードバックデータをラベル毎に管理しているものとすれば、あるラベル(例えば、「オフィス環境」を示すラベル)に対応するフィードバックデータの蓄積量が一定量を超えたときに、そのラベルが付されているモジュールを記憶しているモジュール提供システム10の情報(フィードバックデータの配信先となる格納場所の情報)を、モジュールメタデータ一覧表記憶手段84やモジュールメタデータ記憶手段83を検索して抽出し、抽出したモジュール提供システム10へ、そのフィードバックデータ(例えば、「オフィス環境」という収録環境で収集された音声入力データ)を配信することができ、これにより、モジュール開発者は、モジュール提供システム10へ配信されたフィードバックデータを、ダウンロード等によりモジュール提供システム10から取得し、例えば、「オフィス環境」という収録環境で収集された音声入力データをサンプルデータとして、「オフィス環境」用の音響モデルモジュールを作成することが可能となる。
テスト用認識処理対象データ追加手段77Cは、フィードバックデータ記憶手段93に記憶されたフィードバックデータのうち、同一の音声認識処理実行端末装置20からのフィードバックデータの蓄積量が一定量を超えた場合に、この音声認識処理実行端末装置20からのフィードバックデータを、テスト用認識処理対象データとしてテスト用認識処理対象データ記憶手段87に追加して記憶させる処理を行うものである。なお、同一の音声認識処理実行端末装置20からのフィードバックデータの蓄積量が一定量を超えた場合とは、1台の音声認識処理実行端末装置20を複数の利用者が使用する場合には、同一の音声認識処理実行端末装置20からの同一の利用者についてのフィードバックデータの蓄積量が一定量を超えた場合となり、1台の音声認識処理実行端末装置20で複数種類のアプリケーションが実行される場合には、同一の音声認識処理実行端末装置20からの同一のアプリケーションについてのフィードバックデータの蓄積量が一定量を超えた場合となり、従って、同一の音声認識処理実行端末装置20で、かつ、同一の利用者で、かつ、同一のアプリケーションについてのフィードバックデータの蓄積量が一定量を超えた場合に、その音声認識処理実行端末装置20のその利用者のそのアプリケーションについてのフィードバックデータを、テスト用認識処理対象データとしてテスト用認識処理対象データ記憶手段87に追加して記憶させる。なお、フィードバックデータ記憶手段93のフィードバックデータが、得意分野に関する各ラベルに対応して蓄積記憶されている場合には、各ラベル毎の蓄積量が一定量を超えたか否かを判断し、テスト用認識処理対象データ記憶手段87への追加処理を行えばよい。
広告処理手段78は、広告データ取得要求受信手段78Aと、広告データ選択手段78Bと、広告データ送信手段78Cと、広告クリック受信手段78Dと、課金処理手段78Eとを含んで構成されている。
広告データ取得要求受信手段78Aは、音声認識処理実行端末装置20からネットワーク1を介して送信されてくる広告データ取得要求信号を受信する処理を行うものである。
広告データ選択手段78Bは、広告データ取得要求受信手段78Aにより受信した広告データ取得要求信号に含まれる広告ラベルデータ、並びに認識処理対象入力データ(音声入力データ)またはこれを解析して得られた特徴量を用いて、広告データ記憶手段94に記憶された複数の広告データの中から、アプリケーションの要求および利用者の状態に応じた、少なくとも1つの広告データを選択する処理を行うものである。
この際、広告データ記憶手段94に記憶された広告データと、広告ラベルデータとの対応関係は、1対1でもよく、多対1でもよく、1対多でもよく、多対多でもよいので、広告データ取得要求信号に含まれる広告ラベルデータだけでは、提供する広告データの絞り込みが行えない場合があり得るが、この場合には、広告データ選択手段78Bは、認識処理対象入力データ(音声入力データ)またはこれを解析して得られた特徴量を用いて、提供する広告データの絞り込みを行う。そして、それでも1つの広告データに絞り込めない場合には、複数の広告データを選択してもよく、あるいは最も新しい広告データを選択する等の基準を設けておき、1つの広告データを選択してもよい。
広告データ送信手段78Cは、広告データ選択手段78Bにより選択した広告データを、ネットワーク1を介して音声認識処理実行端末装置20へ送信する処理を行うものである。
広告クリック受信手段78Dは、音声認識処理実行端末装置20からネットワーク1を介して送信されてくる広告クリック信号を受信する処理を行うものである。
課金処理手段78Eは、広告クリック受信手段78Dにより受信した広告クリック信号を用いて、広告をクリックした利用者または広告主に対する課金処理を行うものである。ここで、課金処理とは、例えば、利用者に対しては、広告をクリックして商品購入や予約等を行った場合における取扱手数料や支払代金の計算処理等であり、広告主に対しては、利用者に広告を提供し、取引が成立したことに基づいて徴収する仲介手数料(広告主と利用者とを仲介したことによる広告主からの徴収手数料)や広告掲載料の計算処理等である。
モジュール利用状況管理手段79は、モジュール累積利用回数更新手段79Aと、モジュール利用対価額算出手段79Bとを含んで構成されている。
モジュール累積利用回数更新手段79Aは、組立データ選択手段71Bで組立データが選択されたときに、モジュール累積利用回数記憶手段96に記憶されたモジュール累積利用回数のうち、選択された組立データに含まれるモジュールIDに対応するモジュール累積利用回数を1増加させるか、または選択された組立データに含まれるモジュールIDおよび選択された組立データの取得要求に係るアプリケーションのアプリケーションIDに対応するモジュール累積利用回数を1増加させる処理を行うものである。
モジュール利用対価額算出手段79Bは、モジュール累積利用回数記憶手段96に記憶されたモジュール累積利用回数を用いて、各モジュールを開発した各モジュール開発者への支払処理および各アプリケーションを開発した各アプリケーション開発者への請求処理を行うためのモジュール利用対価額を算出する処理を行うものである。また、モジュール利用対価額算出手段79Bは、モジュールIDをキーとしてモジュール開発者情報記憶手段97を検索して支払対象のモジュール開発者の情報記憶領域(レコード等)を把握し、この領域に、算出したモジュール利用対価額を記憶させるとともに、支払対象のモジュール開発者の振込口座情報等を抽出し、算出したモジュール利用対価額および抽出した振込口座情報等を、例えば金融機関とオンライン接続されている別の送金処理システム(不図示)へ送信する。同様に、モジュール利用対価額算出手段79Bは、アプリケーションIDをキーとしてアプリケーション開発者情報記憶手段98を検索して請求対象のアプリケーション開発者の情報記憶領域(レコード等)を把握し、この領域に、算出したモジュール利用対価額を記憶させるとともに、請求対象のアプリケーション開発者の引落口座情報等を抽出し、算出したモジュール利用対価額および抽出した引落口座情報等を、例えば金融機関とオンライン接続されている別の請求処理システム(不図示)へ送信する。
組立データ記憶手段80は、組立データ作成手段72により作成された複数の組立データ140(図16参照)を記憶するものである。図16に示すように、組立データ140には、音声認識器を構成する少なくとも1つのモジュールについてのモジュールIDおよびバージョンが含まれている。また、組立データ140には、音声認識器を構成する少なくとも1つのモジュールについて、モジュールIDおよびバージョンの他に、パラメータに関するデータ、そのモジュールを記憶しているモジュール提供システム100のモジュール格納場所の情報(そのモジュールをダウンロードする際の要求先であるモジュール提供システム100のサーバのURL)、カスタマイズ用のリクエストパラメータ等が含まれる。
組立データ一覧表記憶手段81は、図14に示すように、音声認識器(つまり、その音声認識器を組み立てるための組立データ)に付与されたラベル(または各ラベルの付与の有無の情報)を、組立データの識別子(組立データ識別情報)と関連付けて記憶するものである。この音声認識器へのラベルの付与情報は、組立データ作成手段72により決定され、組立データ作成手段72により組立データ一覧表記憶手段81に保存されるものである。
ラベルデータ記憶手段82は、図13に示すように、各ラベルについてのラベル名称(文字列データ)、ラベル属性(ANDかORかの情報)、ラベル種類(機能特性、動作条件、得意分野のうちのいずれに関するラベルであるかの情報)、組立データ取得要求信号130(図12参照)に含まれている場合のラベルの重み、組立データ取得要求信号130に含まれていない場合のラベルの重み等を記憶するものである。
モジュールメタデータ記憶手段83は、モジュール提供システム100のモジュール記憶手段110に記憶されたモジュールについてのモジュールメタデータ(図17〜図20参照)を記憶するものである。図17〜図20に示すように、各モジュールメタデータには、メタデータIDおよびバージョンが含まれ、これらのメタデータIDおよびバージョンは、いずれのモジュールについてのモジュールメタデータであるのかを識別できるように、モジュールIDおよびバージョンと一致している。なお、このようにモジュールメタデータの中にモジュールIDおよびバージョンを含ませるのではなく、例えば、メタデータIDおよびバージョンと、モジュールIDおよびバージョンとを対応させたテーブルを用意して記憶しておくことにより、両者を関連付けてもよい。また、各モジュールメタデータには、メタデータIDおよびバージョン(モジュールIDおよびバージョンと同じ。)の他に、そのモジュールの特性を示すラベルデータ(ラベル名称)、パラメータに関するデータ、そのモジュールを記憶しているモジュール提供システム100のモジュール格納場所の情報(そのモジュールをダウンロードする際の要求先であるモジュール提供システム100のサーバのURL)等が含まれ、さらに、デコーダモジュールのモジュールメタデータ(図17参照)には、そのデコーダモジュールを使って構築可能な音声認識器の構成モジュールとなり得るモジュールの条件を示すラベルデータ(ラベル名称)が含まれる。
モジュールメタデータ一覧表記憶手段84は、図21に示すように、モジュールメタデータに含まれる1つまたは複数のラベル名称を、モジュールID(メタデータIDと同じである。)と関連付けて記憶するものである。
モジュール開発用情報記憶手段85は、モジュール開発用情報提供手段73Aによりネットワーク1を介してモジュール開発者端末装置120へ送信するためのモジュール開発用情報を記憶するものである。このモジュール開発用情報は、モジュール開発者が、モジュールメタデータ記憶手段83に登録するモジュールメタデータを作成する際に、モジュールメタデータに含ませるラベルデータを選択するために参照する情報であり、ラベルの内容に関する情報等である。
評価用モジュール記憶手段86は、評価用モジュール受信手段74Bによりモジュール提供システム100からネットワーク1を介して受信した評価用モジュールを、モジュールIDと関連付けて記憶するものである。
テスト用認識処理対象データ記憶手段87は、評価に用いられるサンプルデータであるテスト用認識処理対象データを記憶するものである。このテスト用認識処理対象データは、得意分野に関するラベルに対応する各環境で収録された多数の音声入力データおよびこれらの音声入力データに対応する文字列データであり、得意分野に関するラベル毎に用意されて記憶されている。また、テスト用認識処理対象データ記憶手段87に記憶されたテスト用認識処理対象データには、テスト用認識処理対象データ追加手段77Cにより追加された、ある音声認識処理実行端末装置20からのフィードバックデータ(すなわち、ある1人の利用者によって特定の環境下で発声された音声入力データであり、アプリケーション開発者入力データ132、利用者入力データ133、システムデータ134に含まれる得意分野に関するラベルにより、収録環境を特定することができる音声入力データ)も含まれる。
評価データ記憶手段88は、図15に示すように、認識器評価手段74による評価結果を示す評価データを、評価対象の音声認識器を組み立てるための組立データについての組立データ識別情報(組立データの識別子)と関連付けて記憶するものである。この評価データは、評価に用いられたテスト用認識処理対象データの収録環境に対応する得意分野に関するラベル毎に算出され、記憶されている。例えば、図15において、ラベルLGが「男性大人」という得意分野に関するラベルであった場合には、ラベルLG欄の各評価データの数値は、「男性大人」の発声を収録したテスト用認識処理対象データ(音声入力データ)を用いて、各音声認識器の評価(例えば、認識精度の評価でもよく、認識速度の評価でもよい。)を行った結果が示されているものであり、ラベルLHが、「駅構内の環境」という得意分野に関するラベルであった場合には、ラベルLH欄の各評価データの数値は、「駅構内の環境」での発声を収録したテスト用認識処理対象データ(音声入力データ)を用いて、各音声認識器の評価(例えば、認識精度の評価でもよく、認識速度の評価でもよい。)を行った結果が示されているものである。
アプリケーション開発者入力データ作成用情報記憶手段89は、アプリケーション開発者入力データ作成用情報提供手段75によりネットワーク1を介して音声認識処理実行端末装置20へ送信するためのアプリケーション開発者入力データ作成用情報を記憶するものである。このアプリケーション開発者入力データ作成用情報は、音声認識処理実行端末装置20で、アプリケーション開発者が、アプリケーション開発者入力データ132(図12参照)を選択入力する際の選択肢となる情報であり、随時、追加、変更、削除が行われるものである。
アプリケーション開発者入力データ記憶手段90は、音声認識処理実行端末装置20で、アプリケーション開発者入力用画面表示処理手段34A(図2参照)により表示されたアプリケーション開発者の入力用画面を用いて、アプリケーション開発者により入力され、ネットワーク1を介して送信されてきたアプリケーション開発者入力データ132(図12参照)を、アプリケーションIDと対応させて記憶するものである。
利用者入力データ作成用情報記憶手段91は、利用者入力データ作成用情報提供手段76によりネットワーク1を介して音声認識処理実行端末装置20へ送信するための利用者入力データ作成用情報を記憶するものである。この利用者入力データ作成用情報は、音声認識処理実行端末装置20で、利用者が、利用者入力データ133(図12参照)を選択入力する際の選択肢となる情報であり、随時、追加、変更、削除が行われるものである。
利用者入力データ記憶手段92は、音声認識処理実行端末装置20で、利用者入力用画面表示処理手段34B(図2参照)により表示された利用者の入力用画面を用いて、利用者により入力され、ネットワーク1を介して送信されてきた利用者入力データ133(図12参照)を、利用者識別情報と対応させて記憶するものである。
フィードバックデータ記憶手段93は、フィードバックデータ受信手段77Aにより音声認識処理実行端末装置20からネットワーク1を介して受信したフィードバックデータを記憶するものである。このフィードバックデータは、音声認識処理実行端末装置20毎に記憶される。また、1台の音声認識処理実行端末装置20を複数の利用者が使用する場合には、利用者毎に記憶され、1台の音声認識処理実行端末装置20で複数種類のアプリケーションが実行される場合には、アプリケーション毎に記憶される。従って、音声認識処理実行端末装置20毎で、かつ、利用者毎で、かつ、アプリケーション毎に記憶される。なお、アプリケーション、利用者、音声認識処理実行端末装置が特定されれば、アプリケーション開発者入力データ132、利用者入力データ133、システムデータ134(図12参照)に含まれる得意分野に関するラベルにより、音声入力データの収録環境を特定することができるので、フィードバックデータを得意分野に関する各ラベル毎に記憶してもよい。
広告データ記憶手段94は、複数の広告データを広告ラベルデータ(広告の分類を示すラベル等)と対応させて記憶するものである。ここで、広告データと広告ラベルデータとの対応関係は、1対1でもよく、多対1でもよく、1対多でもよく、多対多でもよい。
課金データ記憶手段95は、課金処理手段78Eにより算出した利用者や広告主に対する課金データを、利用者毎または広告主毎に記憶するものである。
モジュール累積利用回数記憶手段96は、各モジュール毎のモジュール累積利用回数を、モジュールIDと関連付けて記憶するか、または各モジュール毎でかつ各アプリケーション毎のモジュール累積利用回数を、モジュールIDおよびアプリケーション開発者入力データ132に含まれるアプリケーションIDと関連付けて記憶するものである。
モジュール開発者情報記憶手段97は、各モジュール開発者が開発してモジュール提供システム100に登録したモジュールについてのモジュールID、モジュール利用対価額算出手段79Bにより算出した各モジュール開発者への支払処理を行うためのモジュール利用対価額、各モジュール開発者への振込用の金融機関コードおよび口座番号等の振込口座情報、各モジュール開発者の住所や電話番号や電子メールアドレス等の連絡先情報等を記憶するものである。
アプリケーション開発者情報記憶手段98は、各アプリケーション開発者が開発したアプリケーションについてのアプリケーションID、モジュール利用対価額算出手段79Bにより算出した各アプリケーション開発者への請求処理を行うためのモジュール利用対価額、各アプリケーション開発者からの引落用の金融機関コードおよび口座番号等の引落口座情報、各アプリケーション開発者の住所や電話番号や電子メールアドレス等の連絡先情報等を記憶するものである。
図4において、モジュール提供システム100は、モジュール登録手段101と、モジュール提供手段102と、モジュール記憶手段110と、カスタマイザ記憶手段111とを備えている。
モジュール登録手段101は、モジュール開発者端末装置120からネットワーク1を介して送信されてくるモジュールを受信し、モジュール記憶手段110に記憶させて登録する処理を行うものである。
モジュール提供手段102は、モジュール取得要求受信手段102Aと、モジュール取得手段102Bと、カスタマイズ処理手段102Cと、モジュール送信手段102Dとを含んで構成されている。
モジュール取得要求受信手段102Aは、音声認識処理実行端末装置20からネットワーク1を介して送信されてくるモジュール取得要求信号を受信する処理を行うものである。また、モジュール取得要求受信手段102Aは、組立サービス提供システム70(図3参照)からネットワーク1を介して送信されてくる評価用モジュール取得要求信号を受信する処理も行う。
モジュール取得手段102Bは、モジュール取得要求受信手段102Aにより受信したモジュール取得要求信号や評価用モジュール取得要求信号に含まれるモジュールIDに対応するモジュールを、モジュール記憶手段110から取得する処理を行うものである。
カスタマイズ処理手段102Cは、モジュール取得要求受信手段102Aにより受信したモジュール取得要求信号や評価用モジュール取得要求信号にカスタマイズ用データが含まれている場合に、モジュール取得要求信号や評価用モジュール取得要求信号に含まれるモジュールIDに対応するカスタマイザ(カスタマイズ処理用の小プログラム)をカスタマイザ記憶手段111(図4参照)から取得し、モジュール取得手段102Bにより取得したモジュールについて、モジュール取得要求信号や評価用モジュール取得要求信号に含まれるカスタマイズ用データ、および取得したカスタマイザを用いて、カスタマイズ処理を行うものである。
モジュール送信手段102Dは、モジュール取得手段102Bにより取得したモジュール(モジュールデータ)を、ネットワーク1を介して音声認識処理実行端末装置20(評価用モジュールの場合には、組立サービス提供システム70)へ送信する処理を行うものである。また、モジュール送信手段102Dは、カスタマイズ処理手段102Cによるカスタマイズ処理が行われた場合には、カスタマイズ処理を行ったモジュールを、ネットワーク1を介して音声認識処理実行端末装置20(評価用モジュールの場合には、組立サービス提供システム70)へ送信する。
モジュール記憶手段110は、提供対象となる1つまたは複数のモジュール(モジュールデータ)を、モジュールIDと関連付けて記憶するものである。例えば、モジュールのファイル名を、モジュールIDと一致させてもよく、あるいはモジュールIDとモジュールのファイル名とを対応させたテーブルを用意して記憶しておき、モジュールIDをキーとして、このテーブルを参照し、対応するモジュールのファイル名を抽出し、そのファイル名のファイルを読み込むようにしてもよい。このモジュール記憶手段110に記憶されるモジュールには、例えば、デコーダモジュール、音響分析モジュール、音響モデルモジュール、言語モデルモジュール、辞書モジュール等がある。また、モジュール記憶手段110には、直接に音声認識器の構成モジュールになるのではなく、音声認識器の構成モジュールを作成するために用いられるモジュール、例えば、音響モデルモジュールを作成するための音響データモジュール、言語モデルモジュールを作成するためのコーパスモジュール等も記憶されており、例えば、前述したフィードバックデータ提供手段77Bによりネットワーク1を介してモジュール提供システム100へ配信されるフィードバックデータ(図3のフィードバックデータ記憶手段93に蓄積記憶されたフィードバックデータ)も、このようなモジュールとしてモジュール記憶手段110に記憶される。
カスタマイザ記憶手段111は、カスタマイズ処理手段102Cによるカスタマイズ処理で使用されるカスタマイザ(カスタマイズ処理用の小プログラム)を、モジュールIDと関連付けて記憶するものである。例えば、モジュールIDとカスタマイザのファイル名とを対応させたテーブルを用意して記憶しておき、モジュールIDをキーとして、このテーブルを参照し、対応するカスタマイザのファイル名を抽出し、そのファイル名のカスタマイザを読み込むようにしてもよい。
そして、以上において、音声認識処理実行端末装置20のプロキシエージョント処理手段30に含まれる各手段31(31A〜31E),32,33,34(34A〜34D),35(35A〜35C)、アプリケーション処理手段40、音声認識処理手段50、組立サービス提供システム70の組立データ提供手段71(71A〜71C)、組立データ作成手段72、モジュール開発支援手段73(73A,73B)、認識器評価手段74(74A〜74D)、アプリケーション開発者入力データ作成用情報提供手段75、利用者入力データ作成用情報提供手段76、フィードバックデータ管理手段77(77A〜77C)、広告処理手段78(78A〜78E)、モジュール利用状況管理手段79(79A,79B)、モジュール提供システム100のモジュール登録手段101、モジュール提供手段102(102A〜102D)、モジュール開発者端末装置120で各種処理を行う手段(不図示)は、音声認識処理実行端末装置20、組立サービス提供システム70、モジュール提供システム100、モジュール開発者端末装置120を構成する各コンピュータ本体(パーソナル・コンピュータのみならず、その上位機種のものも含む。)の内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する1つまたは複数のプログラムにより実現される。
また、組立サービス提供システム70およびモジュール提供システム100は、それぞれ1台のコンピュータあるいは1つのCPUにより実現されるものに限定されず、複数のコンピュータ等で分散処理を行うことにより実現されるものであってもよい。
さらに、音声認識処理実行端末装置20の各記憶手段60〜66、組立サービス提供システム70の各記憶手段80〜98、モジュール提供システム100の各記憶手段110,111は、例えば、ハードディスク、ROM、EEPROM、フラッシュ・メモリ、RAM、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、FD、磁気テープ、あるいはこれらの組合せ等により実現することができる。
このような本実施形態においては、以下のようにして音声認識器構築システム10により音声認識器が自動構築され、音声認識処理が行われる。
図5において、先ず、音声認識器を利用するアプリケーションを開発するアプリケーション開発者は、自己の操作する音声認識処理実行端末装置20に、プロキシエージェント(プログラム)をインストールし、立ち上げる。
続いて、アプリケーション開発者が入力手段21を操作し、プロキシエージェント処理手段30にコマンドを送ると、アプリケーション開発者入力用画面表示処理手段34Aにより、アプリケーション開発者入力データ作成用情報の取得要求信号が、音声認識処理実行端末装置20からネットワーク1を介して組立サービス提供システム70へ送信される(ステップS1)。組立サービス提供システム70では、アプリケーション開発者入力データ作成用情報提供手段75により、アプリケーション開発者入力データ作成用情報の取得要求信号を受信すると(ステップS2)、アプリケーション開発者入力データ作成用情報記憶手段89に記憶されたアプリケーション開発者入力データ作成用情報を、ネットワーク1を介して音声認識処理実行端末装置20へ送信する(ステップS3)。
音声認識処理実行端末装置20では、アプリケーション開発者入力用画面表示処理手段34Aにより、アプリケーション開発者入力データ作成用情報を受信すると(ステップS4)、受信したアプリケーション開発者入力データ作成用情報を用いて、アプリケーション開発者の入力用画面が表示手段22の画面上に表示される。この画面には、アプリケーション開発者入力データ132(図12参照)を選択入力する際の選択肢が表示される。例えば、認識の種類として、「大語彙連続音声認識」、「孤立単語認識」等の選択肢が表示されるので、アプリケーション開発者は、これらの選択肢の中から、自己の開発するアプリケーションの特性に応じた選択肢を1つまたは複数選択する。これらの「大語彙連続音声認識」、「孤立単語認識」等の選択肢は、組立サービス提供システム70からアプリケーション開発者入力データ作成用情報として送信されてきたものであるが、組立サービス提供システム70の管理者(すなわち、音声認識器構築システム10の管理者)により、これらの選択肢の追加・変更・削除(統合・分割も含む。)は、適宜行われる。同様に、認識精度や認識速度に対する要求として、「5秒の遅延まで許可」等の選択肢が表示され、認識処理対象の文脈・語彙として、「日常対話」、「会議対話」、コマンドのカテゴリ等の選択肢が表示され、利用想定環境として、「オフィス環境」、「駅構内の環境」等の選択肢が表示されるので、アプリケーション開発者は、これらの選択肢の中から、それぞれ自己の開発するアプリケーションの特性に応じた選択肢を1つまたは複数選択する。なお、アプリケーション開発者は、アプリケーションIDおよびバージョンの入力も行う。そして、アプリケーション開発者入力用画面表示処理手段34Aは、アプリケーション開発者による入力を受け付け、アプリケーション開発者入力データ132(図12参照)を作成し、表示手段22の画面上に表示する(ステップS5)。
表示手段22の画面上で、アプリケーション開発者によるアプリケーション開発者入力データ132の内容の確認が行われた後、アプリケーション開発者入力用画面表示処理手段34Aは、作成したアプリケーション開発者入力データ132を、音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64(図2参照)に保存する(ステップS6)。また、作成したアプリケーション開発者入力データ132を、ネットワーク1を介して組立サービス提供システム70へ送信し、組立サービス提供システム70のアプリケーション開発者入力データ記憶手段90(図3参照)に保存してもよい。
その後、アプリケーション開発者は、アプリケーション開発者入力データ記憶手段90に記憶されたアプリケーション開発者入力データ132を、自己の開発中のアプリケーションに組み込むか、あるいは自己の開発中のアプリケーションにより、アプリケーション開発者入力データ記憶手段90に記憶されたアプリケーション開発者入力データ132が読み込まれるようにする。つまり、アプリケーション開発者入力データ132を組み込んだアプリケーションを作成するか、アプリケーション開発者入力データ132を読み込むアプリケーションを作成する。そして、開発中のアプリケーションをテストするために、アプリケーションを実行する。
開発中のアプリケーションが実行されると、開発中のアプリケーションにより実現されるアプリケーション処理手段40により、アプリケーションに組み込まれているアプリケーション開発者入力データ132を含む音声認識器の作成要求信号がプロキシエージェント処理手段30に渡されるか、または開発中のアプリケーションにより実現されるアプリケーション処理手段40により、アプリケーション開発者入力データ記憶手段90からアプリケーション開発者入力データ132が読み込まれ、読み込まれたアプリケーション開発者入力データ132を含む音声認識器の作成要求信号がプロキシエージェント処理手段30に渡される。そして、以降は、後述する図7〜図9の場合と同様に、プロキシエージェント処理手段30による音声認識器の組立処理(ステップS7)および組み立てられた音声認識器のテスト利用のための音声認識処理(ステップS8)が行われる。
アプリケーション開発者は、アプリケーションの開発を終えると、アプリケーション開発者入力データ132をアプリケーションプログラム内にコピーして組み込み、アプリケーション開発者入力データ132を組み込んだ開発済のアプリケーションプログラムを、利用者に配布する。利用者への配布は、CD−ROM等の記録媒体を用いてもよく、あるいはサーバ(組立サービス提供システム70のサーバでも、それ以外のサーバでもよい。)にアップロードしておき、利用者にダウンロードさせてもよい。これにより、アプリケーションとアプリケーション開発者入力データ132との組合せ配布を実現することができる。
また、別の配布方法として、アプリケーション開発者入力データ132を取得するためのキーをアプリケーションプログラム内に埋め込んでおくとともに、サーバ(組立サービス提供システム70のサーバでも、それ以外のサーバでもよい。)にアプリケーション開発者入力データ132を登録しておく。そして、キーを埋め込まれたアプリケーションプログラムを、利用者に対し、CD−ROM等の記録媒体またはサーバ(組立サービス提供システム70のサーバでも、それ以外のサーバでもよい。)からのダウンロード方式で配布し、利用者の音声認識処理実行端末装置20にインストールさせる。この状態で、アプリケーションを実行すると、アプリケーションプログラム内に埋め込まれたキーを用いて、サーバに登録されたアプリケーション開発者入力データ132をダウンロードすることができるので、ダウンロードして音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64に保存する。アプリケーション処理手段40は、音声認識器の作成要求信号を発信するために、音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64に保存されたアプリケーション開発者入力データ132を読み込み、読み込んだアプリケーション開発者入力データ132を含む音声認識器の作成要求信号をプロキシエージェント処理手段30に渡す。これにより、アプリケーションとアプリケーション開発者入力データ132との組合せ配布を実現することができる。
さらに、別の配布方法として、アプリケーションプログラムおよびアプリケーション開発者入力データ132を、利用者に対し、CD−ROM等の記録媒体またはサーバ(組立サービス提供システム70のサーバでも、それ以外のサーバでもよい。)からのダウンロード方式で配布し、利用者の音声認識処理実行端末装置20にインストールさせる。インストール後には、アプリケーション開発者入力データ132が、音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64に保存された状態となる。そして、アプリケーション処理手段40は、音声認識器の作成要求信号を発信するために、音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64に保存されたアプリケーション開発者入力データ132を読み込み(アプリケーションプログラム内にアプリケーション開発者入力データ132を読み込むためのアプリケーション開発者入力データ識別情報、例えば、データ132のファイル名が埋め込まれている。)、読み込んだアプリケーション開発者入力データ132を含む音声認識器の作成要求信号をプロキシエージェント処理手段30に渡す。これにより、アプリケーションとアプリケーション開発者入力データ132との組合せ配布を実現することができる。
図6において、利用者は、自己の操作する音声認識処理実行端末装置20にプロキシエージェント(プログラム)をインストールし、立ち上げる。
続いて、利用者が入力手段21を操作し、プロキシエージェント処理手段30にコマンドを送ると、利用者入力用画面表示処理手段34Bにより、組立サービス提供システム70へネットワーク1を介して利用者入力データ作成用情報の取得要求信号が送信される(ステップS11)。組立サービス提供システム70では、利用者入力データ作成用情報提供手段76により、利用者入力データ作成用情報の取得要求信号を受信すると(ステップS12)、利用者入力データ作成用情報記憶手段91に記憶された利用者入力データ作成用情報を、ネットワーク1を介して音声認識処理実行端末装置20へ送信する(ステップS13)。
音声認識処理実行端末装置20では、利用者入力用画面表示処理手段34Bにより、利用者入力データ作成用情報を受信すると(ステップS14)、受信した利用者入力データ作成用情報を用いて、利用者の入力用画面が表示手段22の画面上に表示される。この画面には、利用者入力データ133(図12参照)を選択入力する際の選択肢が表示される。例えば、性別・年齢カテゴリとして、「男性」、「女性」、「大人」、「15歳未満」、「60歳以上」等の選択肢が表示され、言語や方言として、「日本語」、「東北地方」等の選択肢が表示される。これらの選択肢は、組立サービス提供システム70から利用者入力データ作成用情報として送信されてきたものであるが、組立サービス提供システム70の管理者(すなわち、音声認識器構築システム10の管理者)により、これらの選択肢の追加・変更・削除(統合・分割も含む。)は、適宜行われる。また、利用者は、システムで指定された一定の文章の読み上げデータをマイクロフォン23から入力する。そして、利用者入力用画面表示処理手段34Bは、利用者による入力を受け付け、利用者入力データ133(図12参照)を作成し、表示手段22の画面上に表示する(ステップS15)。
表示手段22の画面上で、利用者による利用者入力データ133の内容の確認が行われた後、利用者入力用画面表示処理手段34Bは、作成した利用者入力データ133を、音声認識処理実行端末装置20の利用者入力データ記憶手段65(図2参照)に保存する(ステップS16)。また、作成した利用者入力データ133を、ネットワーク1を介して組立サービス提供システム70へ送信し、組立サービス提供システム70の利用者入力データ記憶手段92(図3参照)に保存してもよい。
なお、作成された利用者入力データ133のうち、システムで指定された一定の文章の読み上げデータ(マイクロフォン23からの音声入力データ)については、組立データ取得要求信号130(図12参照)に含めて組立サービス提供システム70へ送信するデータとしてもよく、あるいは、組立サービス提供システム70へ送信せずに、例えばカスタマイズ用データとしてモジュール提供システム100へ送信するモジュール取得要求信号に含めるデータとしてもよい。
次に、システムデータ自動取得手段34Cにより、システムデータの自動取得処理が行われる(ステップS17)。すなわち、音声認識処理実行端末装置20を構成するハードウェアの仕様(CPU、メモリに関する情報等)、オペレーティングシステムの種類、およびデバイス情報(マイクロフォン23の仕様等)を含むシステムデータのうち、自動取得が可能なデータを自動取得する処理が行われる。
続いて、システムデータ入力用画面表示処理手段34Dにより、システムデータのうち、システムデータ自動取得手段34Cにより自動取得することができたデータと、自動取得することができなかったデータとが、表示手段22の画面上に表示されて利用者に通知される。そして、システムデータ入力用画面表示処理手段34Dは、自動取得することができなかったデータについて、利用者による入力手段21を用いた入力を受け付ける(ステップS18)。また、システムデータ入力用画面表示処理手段34Dは、組立サービス提供システム70への送信を許可しないデータの入力を受け付ける処理を行ってもよい。
そして、システムデータ入力用画面表示処理手段34Dは、利用者による内容の確認後に、作成したシステムデータ134(図12参照)を、音声認識処理実行端末装置20のシステムデータ記憶手段66(図2参照)に保存する(ステップS19)。また、作成したシステムデータ134を、ネットワーク1を介して組立サービス提供システム70へ送信し、組立サービス提供システム70のシステムデータ記憶手段(不図示)に保存してもよい。
図7〜図9において、利用者は、自己の操作する音声認識処理実行端末装置20に、音声認識器を利用する開発済のアプリケーション(前述した図5の処理を経たアプリケーション)をインストールして立ち上げる。すると、このアプリケーションにより実現されるアプリケーション処理手段40は、アプリケーションプログラムの内部に組み込まれたアプリケーション開発者入力データ132(図12参照)を取得するか、または音声認識処理実行端末装置20のアプリケーション開発者入力データ記憶手段64(図2参照)に記憶されたアプリケーション開発者入力データ132を読み込み、アプリケーション開発者入力データ132を含む音声認識器の作成要求信号を発信し、プロキシエージェント処理手段30に渡す(ステップS21)。
プロキシエージェント処理手段30の認識器構築手段31の組立データ取得要求送信手段31Aは、アプリケーション処理手段40から受け取ったアプリケーション開発者入力データ132をキーとして、取得組立データ記憶手段60(図2参照)を検索し(ステップS22)、アプリケーション開発者入力データ132に対応する組立データがあるか否かを判断する(ステップS23)。ここで、対応する組立データがある場合には、組立データを組立サービス提供システム70から取得する必要はないので、後述するステップS32の処理へ移行する。例えば、アプリケーションをインストール後、2回目以降の立ち上げであれば、対応する組立データが、既に取得組立データ記憶手段60に記憶されている。また、対応する組立データがある場合には、検索で抽出されたその組立データのファイル名が、本実施形態では、音声認識器の識別子(音声認識器識別情報)となる。
一方、対応する組立データが取得組立データ記憶手段60に記憶されていない場合には、組立サービス提供システム70からの組立データの取得処理に移行する。すなわち、先ず、利用者入力データ記憶手段65(図2参照)に記憶された利用者入力データ133を読み込む(ステップS24)。なお、利用者入力データ記憶手段65に利用者入力データ133が保存されていない場合には、前述した図6の利用者入力データ133の入力処理を行う。
続いて、システムデータ記憶手段66(図2参照)に記憶されたシステムデータ134を読み込む(ステップS25)。なお、システムデータ記憶手段66にシステムデータ134が保存されていない場合には、前述した図6のシステムデータ134の自動取得および入力処理を行う。
そして、プロキシエージェント処理手段30の認識器構築手段31の組立データ取得要求送信手段31Aは、ヘッダ131、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を含む組立データ取得要求信号130(図12参照)を作成し、この組立データ取得要求信号130を、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS26)。
組立サービス提供システム70では、組立データ提供手段71の組立データ取得要求受信手段71A(図3参照)により、組立データ取得要求信号130(図12参照)を受信すると(ステップS27)、組立データ選択手段71B(図3参照)により、受信した組立データ取得要求信号130に含まれるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を用いて、組立データ記憶手段80(図3参照)に記憶された複数の組立データの中から、音声認識器の作成要求信号を発信したアプリケーションの特性に応じ、かつ、音声認識器を利用する利用者(話者)に適し、かつ、音声認識処理実行端末装置20のシステム環境で動作する音声認識器を構築できる1つの組立データ140(図16参照)を選択する処理を行う(ステップS28)。
より具体的には、組立データ選択手段71Bは、先ず、組立データ一覧表記憶手段81(図3参照)に記憶された組立データ一覧表(図14参照)を読み込む。
次に、組立データ選択手段71Bは、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134に記述された全ラベルのうち、機能特性および動作条件に関するラベルを抽出する。例えば、図12の例の場合には、アプリケーション開発者入力データ132に記述された「実時間音声認識」であることを示すラベル、「5秒の遅延まで許可」することを示すラベル等を、機能特性に関するラベルとして抽出し、システムデータ134に記述されたオペレーティングシステムの種類に関するラベル、メモリの種類に関するラベル、CPUの種類に関するラベル等を、動作条件に関するラベルとして抽出する処理等を行う。なお、各ラベルが、機能特性や動作条件に関するラベルであるか否かは、ラベルデータ記憶手段82(図3参照)に記憶されたラベルデータの内容(図13参照)におけるラベル種類(F,M,Sの別)を参照することにより把握される。
そして、組立データ選択手段71Bは、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された機能特性および動作条件に関するラベルを全て備えている組立データを、組立データ一覧表記憶手段81(図3参照)に記憶された組立データ一覧表(図14参照)から抽出する。例えば、図14の例の場合には、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された機能特性および動作条件に関するラベルが、ラベルLA,LC,LDであったとすると、これらのラベルLA,LC,LDを全て備えた組立データは、「5432421」という識別子(図14の上から2番目の識別子)および「5454343」という識別子(図14の上から3番目の識別子)を有する2つの組立データとなるので、これらの2つの組立データが、選択候補の組立データとして絞り込まれたことになる。これにより、稼働可能な音声認識器を構築するための組立データを絞り込むことができ(主としてシステムデータ134から抽出されたラベルに基づく絞込み)、かつ、アプリケーションの要求を満たす音声認識器を構築するための組立データを絞り込むことができ(主としてアプリケーション開発者入力データ132から抽出されたラベルに基づく絞込み)、かつ、利用者の話者特性に適した音声認識器を構築するための組立データを絞り込むことができる(主として利用者入力データ133から抽出されたラベルに基づく絞込み)。
それから、組立データ選択手段71Bは、上記の処理で、1つの組立データに絞り込めない場合には、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134に記述された全ラベルのうち、得意分野に関するラベルを抽出する。例えば、図12の例の場合には、アプリケーション開発者入力データ132に記述された「オフィス環境」であることを示すラベル、利用者入力データ133に記述された「男性大人」であることを示すラベル等を、得意分野に関するラベルとして抽出する処理等を行う。なお、各ラベルが、得意分野に関するラベルであるか否かは、ラベルデータ記憶手段82(図3参照)に記憶されたラベルデータの内容(図13参照)におけるラベル種類(F,M,Sの別)を参照することにより把握される。
そして、組立データ選択手段71Bは、組立データ一覧表記憶手段81(図3参照)に記憶された組立データ一覧表(図14参照)を参照し、前述した処理で、機能特性および動作条件に関するラベルに基づき絞り込まれた組立データの中から、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルを全て備えている組立データを抽出する。例えば、図14の例の場合には、機能特性および動作条件に関するラベルに基づく絞込みで、「5432421」という識別子(図14の上から2番目の識別子)および「5454343」という識別子(図14の上から3番目の識別子)を有する2つの組立データが、選択候補の組立データとして残っていたとする。このとき、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルが、ラベルLG,LHであったとすると、これらのラベルLG,LHを全て備えた組立データは、「5432421」という識別子(図14の上から2番目の識別子)を有する組立データだけとなるので、この組立データが、選択されることになる。なお、この得意分野に関するラベルに基づく絞込みで、選択候補の組立データが無くなってしまった場合には、利用者入力データ133から抽出された得意分野に関するラベルのみに基づき、再度、組立データの絞込みを行う。
さらに、組立データ選択手段71Bは、以上のような機能特性および動作条件に関するラベルに基づく絞込み、および得意分野に関するラベルに基づく絞込みを行っても、1つの組立データに絞り込めない場合には、評価データ記憶手段88(図3参照)に記憶された評価データの内容(図15参照)を用いた絞込みを行う。すなわち、機能特性および動作条件に関するラベルに基づく絞込み、および得意分野に関するラベルに基づく絞込みを行って残った組立データのそれぞれについて、各得意分野に関するラベルについての評価データの数値に重み付けを行い、重み付けを行った後の数値を加算して得られるスコアを算出し、このスコアの値が、最も大きくなる組立データを選択する。この際、重み付けは、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルについての評価データに対する重みが、その他の得意分野に関するラベルについての評価データに対する重みに比べて、大きくなるようにする。各得意分野に関するラベルの重みは、ラベルデータ記憶手段82(図3参照)に記憶されている(図13参照)。例えば、図13において、得意分野に関するラベルLGが、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルである場合には、得意分野に関するラベルLG欄の各評価データの数値(図15参照)に、「1.0」が乗じられ、一方、得意分野に関するラベルLGが、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルでない場合には、得意分野に関するラベルLG欄の各評価データの数値(図15参照)に、「0.01」が乗じられる。
より具体的には、図14および図15の例において、機能特性および動作条件に関するラベルに基づく絞込みを行って、例えば、「4234123」という識別子(図14の上から1番目の識別子)および「8395028」という識別子(図14の上から5番目の識別子)を有する2つの組立データが、選択候補の組立データとして残っていたとし、このとき、アプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134から抽出された得意分野に関するラベルが、ラベルLG,LKであったとすると、図14の一覧表より、「4234123」という識別子(図14の上から1番目の識別子)および「8395028」という識別子(図14の上から5番目の識別子)を有する2つの組立データは、いずれもラベルLG,LKを備えているため、1つの組立データに絞り込むことができない。そこで、これらの2つの組立データについて、図15の評価データの数値に図13の重み付けを行って得られるスコアを算出する。「4234123」という識別子(図14の上から1番目の識別子)を有する組立データについてのスコアは、0.85(ラベルLGの評価データの数値)×1.0(組立データ取得要求信号130に含まれている場合のラベルLGの重み)+0.56(ラベルLHの評価データの数値)×0.01(組立データ取得要求信号130に含まれていない場合のラベルLHの重み)+0.95(ラベルLJの評価データの数値)×0.02(組立データ取得要求信号130に含まれていない場合のラベルLJの重み)+0.87(ラベルLKの評価データの数値)×0.9(組立データ取得要求信号130に含まれている場合のラベルLKの重み)+…となる。この加算は、得意分野に関する全てのラベルについて行う。すなわち、組立データ取得要求信号130に含まれている得意分野に関するラベルについては、そのラベル欄の評価データの数値と、組立データ取得要求信号130に含まれている場合の当該ラベルの重みとを乗じ、組立データ取得要求信号130に含まれていない得意分野に関するラベルについては、そのラベル欄の評価データの数値と、組立データ取得要求信号130に含まれていない場合の当該ラベルの重みとを乗じ、それらを全て加算する。同様に、「8395028」という識別子(図14の上から5番目の識別子)を有する組立データについてのスコアは、0.95(ラベルLGの評価データの数値)×1.0(組立データ取得要求信号130に含まれている場合のラベルLGの重み)+0.22(ラベルLHの評価データの数値)×0.01(組立データ取得要求信号130に含まれていない場合のラベルLHの重み)+0.58(ラベルLJの評価データの数値)×0.02(組立データ取得要求信号130に含まれていない場合のラベルLJの重み)+0.85(ラベルLKの評価データの数値)×0.9(組立データ取得要求信号130に含まれている場合のラベルLKの重み)+…となる。そして、スコアが大きい方の組立データを選択する。
また、以上のようにして、組立データ選択手段71Bにより組立データが選択されたときには、モジュール累積利用回数更新手段79Aにより、モジュール累積利用回数記憶手段96に記憶されたモジュール累積利用回数のうち、選択された組立データに含まれるモジュールIDに対応するモジュール累積利用回数を1増加させるか、または選択された組立データに含まれるモジュールIDおよび選択された組立データの取得要求に係るアプリケーションのアプリケーションIDに対応するモジュール累積利用回数を1増加させる処理を行う。さらに、必要に応じ、モジュール利用対価額算出手段79Bにより、モジュール累積利用回数記憶手段96に記憶されたモジュール累積利用回数を用いて、各モジュールを開発した各モジュール開発者への支払処理および各アプリケーションを開発した各アプリケーション開発者への請求処理を行うためのモジュール利用対価額を算出する。但し、このモジュール利用対価額算出手段79Bによる処理は、必ずしも図7のステップS28で行う必要はなく、例えば、定期的に行う等、適宜なタイミングで行えばよい。
そして、以上のようにして、組立データ選択手段71Bによる組立データの選択処理を終了させた後、組立データ送信手段71Cにより、組立データ選択手段71Bにより選択した組立データを、ネットワーク1を介して音声認識処理実行端末装置20へ送信する(図7のステップS29)。
音声認識処理実行端末装置20では、組立データ受信手段31Bにより、組立データ140(図16参照)を受信すると(ステップS30)、受信した組立データ140を、アプリケーション開発者入力データ132と合体させた状態で、取得組立データ記憶手段60に保存する(ステップS31)。これにより、アプリケーションのインストール後、2回目以降の立ち上げでは、組立サービス提供システム70からの組立データ140の取得処理は省略することができる。
続いて、プロキシエージェント処理手段30は、認識器ロード情報記憶手段62(図2参照)を参照し、アプリケーションの要求に係る音声認識器がロードされているか否かを判断する(図8のステップS32)。この判断処理については、図7のステップS22,S23の処理で、アプリケーションの要求に係る音声認識器用の組立データがあった場合には、その組立データのファイル名が、音声認識器の識別子(音声認識器識別情報)となるので、認識器ロード情報記憶手段62を参照し、その組立データのファイル名およびこれに対応するメモリアドレスが記憶されているかを判断し、記憶されていれば、音声認識器は、既に主メモリ上にロードされている状態であり、一方、記憶されていなければ、音声認識器は、ロードされていないと判断することができる。後者の場合は、例えば、組立データは既に取得して取得組立データ記憶手段60に保存し、少なくとも1回は音声認識器を組み立てているが、その後、音声認識処理実行端末装置20の電源を落としたので、音声認識器が主メモリ上にロードされていない状態の場合等である。また、図7のステップS22,S23の処理で、アプリケーションの要求に係る音声認識器用の組立データがなかった場合には、組立サービス提供システム70からの組立データの取得処理(図7のステップS24〜S31)が行われ、これにより取得した組立データを用いて、初めてそのアプリケーションの要求に係る音声認識器が組み立てられることになるので、つまり以降のステップの処理で、初めてそのアプリケーションの要求に係る音声認識器が組み立てられることになるので、その音声認識器はロードされていないと判断される。
なお、図8のステップS32で、音声認識器がロードされていると判断される場合としては、次のような場合がある。あるアプリケーションを立ち上げて音声認識器の作成要求信号を発信したときには、他のアプリケーションの要求で、それと同じ音声認識器が既に主メモリ上にロードされていることがあり得る。例えば、アプリケーションAによるアプリケーション処理手段40と、アプリケーションBによるアプリケーション処理手段40とから、同じ音声認識器Xの作成要求信号が発信されることがあり得るからである。また、アプリケーションAを立ち上げ、アプリケーションAによるアプリケーション処理手段40から音声認識器Xの作成要求信号が発信され、音声認識器Xが組み立てられて主メモリ上にロードされた状態となった後、アプリケーションAを終了させても、音声認識器Xが主メモリ上にロードされた状態を保っていれば、再度、アプリケーションAを立ち上げ、アプリケーションAによるアプリケーション処理手段40から音声認識器Xの作成要求信号が発信されたときには、音声認識器Xが既に主メモリ上にロードされた状態となっているので、音声認識器Xの組立処理を行う必要はなく、また、この場合には、音声認識器Xの組立データは既に取得されて取得組立データ記憶手段60に記憶されているので、組立サービス提供システム70からの組立データの取得処理も行う必要はない。
そして、図8のステップS32で、音声認識器がロードされていると判断された場合には、音声認識器の組立処理を行う必要はないので、後述するステップS44の処理に移行する。一方、ステップS32で、音声認識器がロードされていないと判断された場合には、組立サービス提供システム70からの組立データの取得処理(図7のステップS24〜S31)で取得した組立データを用いるか、またはステップS22で取得組立データ記憶手段60から読み込んだ組立データを用いて、音声認識器の組立処理を行う。
音声認識器の組立処理では、先ず、組立データ140(図16参照)に含まれる1つのモジュールIDについて着目し(すなわち、1つの構成モジュールについて着目し)、モジュール取得要求送信手段31Cにより、取得モジュール記憶手段61(図2参照)を検索し(ステップS33)、そのモジュールIDに対応するモジュールが記憶されているか否かを判断する(ステップS34)。そして、そのモジュールIDに対応するモジュールが取得モジュール記憶手段61に既に記憶されていた場合には、モジュール提供システム100からの当該モジュールの取得処理を行う必要はないので、ステップS42の処理へ移行し、取得対象モジュールがまだ残っていれば、次のモジュールの処理に移る。例えば、他のアプリケーションの要求により、当該モジュールが既にモジュール提供システム100から取得されている場合等があり得る。
一方、ステップS34で、着目しているモジュールIDに対応するモジュールが取得モジュール記憶手段61に記憶されていなかった場合には、モジュール取得要求送信手段31Cにより、着目しているモジュールIDを含むモジュール取得要求信号を作成し、作成したモジュール取得要求信号を、ネットワーク1を介してモジュール提供システム100へ送信する(図8のステップS35)。この際、モジュール取得要求信号の送信先となるモジュール提供システム100のサーバのURLは、組立データ140(図16参照)の中に各モジュール毎に含まれているので、これを取得してモジュール取得要求信号の送信先情報を作成する。
また、モジュール取得要求送信手段31Cは、組立データ140に含まれるモジュールIDのうち、着目しているモジュールIDに対応するモジュールの情報記述部分に、カスタマイズ用のリクエストパラメータが含まれている場合には、このカスタマイズ用のリクエストパラメータに基づき、カスタマイズ用データを取得し、着目しているモジュールIDに加えてカスタマイズ用データを含むモジュール取得要求信号を作成し、ネットワーク1を介してモジュール提供システム100へ送信する。例えば、図16に示された組立データ140の場合には、モジュールM3(音響モデルモジュール)に関するデータに、カスタマイズ用のリクエストパラメータが含まれているので、このリクエストパラメータに基づき、利用者入力データ記憶手段65(図2参照)に利用者入力データ133として設定されて記憶された音声入力データ(システムで指定された一定の文章の読み上げデータ)を読み込み、これをカスタマイズ用データとしてモジュール取得要求信号に含ませる。なお、履歴データ記憶手段63(図2参照)に既に記憶されている音声入力データを読み込んだり、あるいはその時点でマイクロフォン23から利用者の発声による音声入力データを収録し(モジュール取得要求送信手段31Cが、利用者に対し、一定の文章を発声して下さいという発声の誘導表示または誘導音声出力を行う。)、これらをカスタマイズ用データとしてモジュール取得要求信号に含ませてもよい。
モジュール提供システム100では、モジュール取得要求受信手段102Aにより、モジュール取得要求信号を受信すると(ステップS36)、モジュール取得手段102Bにより、受信したモジュール取得要求信号に含まれるモジュールIDに対応するモジュールを、モジュール記憶手段110から取得する(ステップS37)。
続いて、モジュール取得要求信号にカスタマイズ用データが含まれている場合には、カスタマイズ処理手段102Cにより、モジュール取得要求信号に含まれるモジュールIDに対応するカスタマイザ(カスタマイズ処理用の小プログラム)をカスタマイザ記憶手段111(図4参照)から取得する。そして、カスタマイズ処理手段102Cは、モジュール取得手段102Bにより取得したモジュールについて、モジュール取得要求信号に含まれるカスタマイズ用データと、カスタマイザ記憶手段111から取得したカスタマイザとを用いて、カスタマイズ処理を行う(ステップS38)。
それから、モジュール送信手段102Dにより、モジュール取得手段102Bにより取得したモジュール、またはカスタマイズ処理手段102Cによるカスタマイズ処理後のモジュールを、ネットワーク1を介して音声認識処理実行端末装置20へ送信する(ステップS39)。
音声認識処理実行端末装置20では、モジュール受信手段31Dにより、モジュールを受信し(ステップS40)、受信したモジュールを取得モジュール記憶手段61(図2参照)に保存する(ステップS41)。
そして、全ての構成モジュール(組立データ140に含まれている各モジュールIDに対応するモジュール)についての取得処理が終了したか否かを判断し(ステップS42)、まだ取得対象のモジュールが残っている場合には、ステップS33の処理に戻り、次のモジュールについての取得処理を行う。一方、全ての構成モジュールについての取得処理が終了した場合には、認識器組立手段31Eにより、音声認識器を組み立てて主メモリ上にロードする処理を行う(ステップS43)。
この際、認識器組立手段31Eは、ステップS40でモジュール受信手段31Dにより受信したモジュールを用いるか、またはステップS33で取得モジュール記憶手段61から読み込んだモジュールを用いて、すなわち組立データ140に含まれている各モジュールIDに対応する構成モジュールの全てを用いて、音声認識器を組み立てて主メモリ上にロードするとともに、認識器ロード情報記憶手段62に、組み立てた音声認識器の識別子(本実施形態では、組立データのファイル名と同じにする。)と対応させてこの音声認識器のメモリアドレスを記憶させる。これにより、組み立てた音声認識器による音声認識処理手段50が機能するようになる。なお、音声認識器の識別子(認識器識別情報)を、組立データのファイル名と一致させない管理を行う場合には、組み立てた音声認識器に対し、識別子を自動付与する処理を行えばよく、この場合には、音声認識器の識別子(認識器識別情報)と、その音声認識器を組み立てるための組立データのファイル名と、その音声認識器のロード情報であるメモリアドレスとを対応させて、認識器ロード情報記憶手段62に記憶しておけばよい。
続いて、認識器組立手段31Eは、組み立てた音声認識器の識別子(本実施形態では、組立データのファイル名と同じにする。)を、その音声認識器の作成要求を行ったアプリケーション処理手段40へ渡す(ステップS44)。
アプリケーション処理手段40は、プロキシエージェント処理手段30の認識器組立手段31Eから音声認識器の識別子を受け取り(ステップS45)、受け取った音声認識器の識別子を保持することで(そのアプリケーションが使用する主メモリ上の領域に格納しておくことで)、自分の使用する音声認識器を常時把握している状態となる。
アプリケーション処理手段40は、アプリケーションの実行過程で、音声認識処理を行うことが必要となったときに、音声認識器の識別子を含む認識処理開始要求信号を発信し、プロキシエージェント処理手段30へ渡す(ステップS46)。
プロキシエージェント処理手段30は、認識処理時データ中継手段32により、音声認識器の識別子(認識器識別情報)を含む認識処理開始要求信号を受け取ると(ステップS47)、マイクロフォン23からの利用者の発声による音声入力データを取得し(ステップS48)、取得した音声入力データを、アプリケーション処理手段40から受け取った識別子に対応する音声認識器による音声認識処理手段50へ渡す(ステップS49)。この際、認識処理時データ中継手段32は、認識器ロード情報記憶手段62(図2参照)を参照し、受け取った識別子に対応する音声認識器のメモリアドレス(例えば、音声認識器オブジェクトのポインタ)を取得し、取得したメモリアドレスに構築されている音声認識器による音声認識処理手段50に、音声入力データを渡す。例えば、アプリケーションAが音声認識器Xを利用する場合には、アプリケーションAによるアプリケーション処理手段40から受け取る音声認識器の識別子は、音声認識器Xの識別子であるから、認識器ロード情報記憶手段62を参照し、音声認識器Xの識別子に対応するメモリアドレスを取得すれば、音声認識器Xを利用することができる。なお、図2の状態では、音声認識器X,Y,Zが構築されているので、認識器ロード情報記憶手段62には、音声認識器Xの識別子とそれに対応するメモリアドレス、音声認識器Yの識別子とそれに対応するメモリアドレス、音声認識器Zの識別子とそれに対応するメモリアドレスが記憶されている状態である。従って、アプリケーションBが音声認識器Yを利用するものとすれば、認識処理時データ中継手段32は、他のアプリケーションBによるアプリケーション処理手段40から音声認識器Yの識別子を受け取ったときには、認識器ロード情報記憶手段62から、音声認識器Yの識別子に対応するメモリアドレスを取得すれば、音声認識器Yを利用することができる。
続いて、音声認識処理手段50は、プロキシエージェント処理手段30の認識処理時データ中継手段32から音声入力データを受け取ると(ステップS50)、組み立てられてロードされている音声認識器による音声認識処理を行い(ステップS51)、この音声認識処理で得られた認識処理結果出力データ(認識文字列データ)を、プロキシエージェント処理手段30の認識処理時データ中継手段32に渡す(ステップS52)。
プロキシエージェント処理手段30では、認識処理時データ中継手段32により、認識処理結果出力データ(認識文字列データ)を受け取ると(ステップS53)、受け取った認識処理結果出力データ(認識文字列データ)を認識処理対象入力データ(音声入力データ)と対にした状態で、履歴データとして履歴データ記憶手段63(図2参照)に保存する(ステップS54)。そして、認識処理時データ中継手段32は、受け取った認識処理結果出力データ(認識文字列データ)をアプリケーション処理手段40に渡す(ステップS55)。なお、履歴データの保存では、認識処理結果出力データ(認識文字列データ)に対して利用者の修正入力が加えられた状態のデータを保存してもよい。
そして、アプリケーション処理手段40は、プロキシエージェント処理手段30の認識処理時データ中継手段32から、認識処理結果出力データ(認識文字列データ)を受け取り(ステップS56)、受け取った認識処理結果出力データ(認識文字列データ)を表示手段22の画面上に表示する処理等を行う。
以下には、アプリケーション実行時の広告表示処理の流れについて説明する。
図10において、音声認識処理実行端末装置20で、アプリケーション処理手段40が、広告の分類を示す広告ラベルデータを含む広告データ取得要求信号を発信し、プロキシエージェント処理手段30に渡す(ステップS61)。この際、広告データ取得要求信号の発信のタイミングは、例えば、アプリケーションの立ち上げ時、アプリケーション処理手段40により利用者の操作を受け付けない演算処理を行っている最中またはそのような演算処理の開始時等、適宜なタイミングとしてよい。なお、広告ラベルデータは、アプリケーション開発者が、アプリケーションプログラムの内部に組み込んで設定したものであり、例えば、表示したい広告の分類を示す広告ラベルデータ(例えば、スポーツ、健康、コンピュータに関する広告表示をそれぞれ行うための「Sports」、「Health」、「Computer」等のラベル)、取得する広告データのフォーマットを示す広告ラベルデータ(例えば、「XML」、「HTML」等)等がある。
プロキシエージェント処理手段30では、広告データ取得要求取次手段35Aにより、アプリケーション処理手段40から広告データ取得要求信号を受け取ると(ステップS62)、履歴データ記憶手段63(図2参照)から、履歴データを構成する認識処理対象入力データ(音声入力データ)を取得する(ステップS63)。また、広告データ取得要求取次手段35Aは、取得した認識処理対象入力データ(音声入力データ)を解析し、利用者の音声の特徴量を抽出する処理を行ってもよい。なお、利用者の音声の特徴量は、予め解析されて履歴データとともに履歴データ記憶手段63に記憶しておいてもよい。そして、広告データ取得要求取次手段35Aは、受け取った広告データ取得要求信号に、認識処理対象入力データ(音声入力データ)またはこれを解析して得られた特徴量を加える処理を行い、広告ラベルデータ並びに認識処理対象入力データ(音声入力データ)または特徴量を含む広告データ取得要求信号を、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS64)。
組立サービス提供システム70では、広告データ取得要求受信手段78Aにより、広告データ取得要求信号を受信すると(ステップS65)、広告データ選択手段78Bにより、受信した広告データ取得要求信号に含まれる広告ラベルデータ、並びに認識処理対象入力データ(音声入力データ)またはこれを解析して得られた特徴量を用いて、広告データ記憶手段94(図3参照)に記憶された複数の広告データの中から、アプリケーションの要求および利用者の状態に応じた、少なくとも1つの広告データを選択する(ステップS65)。
具体的には、広告データ選択手段78Bは、先ず、受信した広告データ取得要求信号に含まれる広告の分類を示す広告ラベルデータに従って、選択提供する広告データの候補を抽出する。すなわち、広告データ記憶手段94に記憶された各広告データには、少なくとも1つの広告ラベルデータが付与されているので、受信した広告データ取得要求信号に含まれる広告ラベルデータと同じ広告ラベルデータが付与されている広告データを抽出する。例えば、野球用品、サッカー用品、大相撲観戦、テニスコート予約、フィギアスケート用品等の広告データには、スポーツに関する広告表示を行うための広告ラベルデータである「Sports」が付与されているので、受信した広告データ取得要求信号に含まれる広告ラベルデータが、スポーツに関する広告表示を行うためのラベル「Sports」であった場合には、これらの野球用品、サッカー用品、大相撲観戦、テニスコート予約、フィギアスケート用品等の広告データが選択対象として抽出される。また、胃薬、風邪薬、漢方薬、歯磨き粉、病院案内等の広告データには、健康に関する広告表示を行うための広告ラベルデータである「Health」が付与されているので、受信した広告データ取得要求信号に含まれる広告ラベルデータが、健康に関する広告表示を行うためのラベル「Health」であった場合には、これらの胃薬、風邪薬、漢方薬、歯磨き粉、病院案内等の広告データが選択対象として抽出される。
また、1つの広告データに複数の広告ラベルデータが付与されている場合があり、例えば、登山用品、スイミングスクール紹介、体操教室案内等の広告データには、スポーツに関する広告表示を行うためのラベル「Sports」と、健康に関する広告表示を行うためのラベル「Health」とが付与されている。従って、登山用品、スイミングスクール紹介、体操教室案内等の広告データは、受信した広告データ取得要求信号に、スポーツに関する広告表示を行うためのラベル「Sports」が含まれている場合に選択対象として抽出される他、健康に関する広告表示を行うためのラベル「Health」が含まれている場合にも選択対象として抽出されることになる。さらに、受信した広告データ取得要求信号に、スポーツ、健康に関する広告表示をそれぞれ行うためのラベル「Sports」、「Health」の双方が同時に含まれている場合にも、登山用品、スイミングスクール紹介、体操教室案内等の広告データには、これらの双方のラベルが付与されているので、これらの広告データは、選択対象として抽出されることになる。なお、受信した広告データ取得要求信号に、広告の分類を示す広告ラベルデータが2以上含まれている場合には、それらの2以上の広告ラベルデータを全て備えている広告データを抽出するのではなく、それらの2以上の広告ラベルデータのうちのいずれかを1つでも備えている広告データを抽出するようにしてもよい。
そして、以上のような広告データ(広告データ識別情報)と、それに付与された広告ラベルデータとの対応関係は、組立データ一覧表記憶手段81(図14参照)の場合と同様に、広告データ一覧表記憶手段(不図示)に記憶されている。なお、広告データと広告データ識別情報との関連付けは、広告データのファイル名を、広告データ識別情報としてもよく、あるいは広告データのファイル名と広告データ識別情報とを対応させたテーブルを用意して記憶しておいてもよい。
次に、広告データ選択手段78Bは、受信した広告データ取得要求信号に含まれる音声入力データまたはその特徴量を用いて、選択提供する広告データの絞込みを行う。広告データ記憶手段94に記憶された各広告データには、各広告データを好んで見ると予想される者の発声による多数の学習データを用いて与えられた音声データの特徴量(例えば、MFCC39次元、PLP60次元等)が対応している。例えば、サッカー用品の広告データの場合には、30歳以下の男性の発声による多数の学習用音声データを用いて与えられた音声の特徴量(平均値)が対応している。また、フィギアスケート用品の広告データの場合には、30歳以下の女性の発声による多数の学習用音声データを用いて与えられた音声の特徴量(平均値)が対応している。さらに、風邪薬の広告データの場合には、風邪をひいた人の発声による多数の学習用音声データを用いて与えられた音声の特徴量(平均値)が対応している。このような広告データ(広告データ識別情報)と、その広告データを好んで見ると予想される者の発声による多数の学習データを用いて与えられた特徴量データとの対応関係は、特徴量記憶手段(不図示)に記憶しておけばよい。
一方、受信した広告データ取得要求信号には、履歴データ記憶手段63(図2参照)から取得した音声入力データ(最近収録された音声入力データ)またはその特徴量が含まれているので、音声入力データが含まれている場合には、広告データ選択手段78Bにより解析を行ってその音声入力データの特徴量を抽出し、特徴量が含まれている場合には、そのままその特徴量を用い、このようにして得られた利用者個人の特徴量と、前述した多数の学習用音声データを用いて与えられた特徴量(平均値)との類似度を求める。特徴量どうしの類似度の算出は、各種距離を求めたり、パターンマッチングを行う等、既存の手法で実現することができる。そして、類似度が閾値の範囲内の値である場合には、その広告データ、すなわち利用者個人の特徴量と類似する特徴量(平均値)を持つ広告データを選択対象として抽出することにより、広告データの絞込を行う。これにより利用者(話者)の性別、年齢、体調、感情、嗜好等に応じた広告データの絞込みを行うことができる。例えば、スポーツに関する広告表示を行うためのラベル「Sports」に基づき、野球用品、サッカー用品、大相撲観戦、テニスコート予約、フィギアスケート用品等の広告データへの絞込みが行われたとし、このとき、利用者が実際に30歳以下の女性であったとすると、その利用者個人の発声を収録した音声入力データの特徴量は、特徴量記憶手段(不図示)に記憶された特徴量のうち、フィギアスケート用品の広告データに対応する特徴量との類似度が、閾値の範囲内の値となるので、フィギアスケート用品の広告データが選択される。また、健康に関する広告表示を行うためのラベル「Health」に基づき、胃薬、風邪薬、漢方薬、歯磨き粉、病院案内等の広告データへの絞込みが行われたとし、このとき、利用者が実際に風邪をひいていたとすると、その利用者個人の発声を収録した音声入力データの特徴量は、特徴量記憶手段(不図示)に記憶された特徴量のうち、風邪薬および病院案内の各広告データに対応する特徴量との類似度が、閾値の範囲内の値となるので、風邪薬および病院案内の2つの広告データが選択される。
以上のようにして、広告データ選択手段78Bによる広告データの選択を終えた後、広告データ送信手段78Cにより、広告データ選択手段78Bにより選択した1つまたは複数の広告データを、ネットワーク1を介して音声認識処理実行端末装置20へ送信する(図10のステップS67)。
音声認識処理実行端末装置20では、プロキシエージェント処理手段30の広告データ取次手段35Bにより、広告データを受信し(ステップS68)、受信した広告データをアプリケーション処理手段40に渡す(ステップS69)。
アプリケーション処理手段40は、広告データ取次手段35Bから広告データを受け取ると(ステップS70)、受け取った広告データを用いて、表示手段22の画面上に広告表示を行う(ステップS71)。そして、この広告表示を見た利用者が、入力手段21であるマウスを操作し、広告表示領域または広告表示領域内の広告対象物表示領域をクリックするか、広告に従ったクリック操作を行うと、その広告クリック信号が、アプリケーション処理手段40からプロキシエージェント処理手段30に渡される(ステップS72)。
プロキシエージェント処理手段30では、広告クリック取次手段35Cにより、アプリケーション処理手段40から広告クリック信号を受け取り(ステップS73)、受け取った広告クリック信号を、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS74)。
組立サービス提供システム70では、広告クリック受信手段78Dにより、広告クリック信号を受信すると(ステップS75)、課金処理手段78Eにより、受信した広告クリック信号を用いて、広告をクリックした利用者または広告主に対する課金処理を行う(ステップS76)。例えば、利用者に対する課金処理としては、広告をクリックして商品購入や予約等を行った場合における取扱手数料や支払代金の計算処理等を行ったり、広告主に対する課金処理としては、利用者に広告を提供し、取引が成立したことに基づいて徴収する仲介手数料(広告主と利用者とを仲介したことによる広告主からの徴収手数料)や広告掲載料の計算処理等を行う。また、課金処理手段78Eは、課金処理で得られたデータを、課金データ記憶手段95(図3参照)に保存する。
以下には、モジュール開発時の処理の流れを説明する。モジュール開発は、随時行われ、新しいモジュールの追加、あるいはモジュールの内容変更(バージョンアップ)は、モジュール提供システム100へのモジュールの登録により、適宜、音声認識器構築システム10に反映される。なお、組立データを用いて音声認識器の構成モジュールがモジュール提供システム100からダウンロードされる際には、取得対象となる構成モジュールは、モジュール提供システム100のモジュール記憶手段110に既に記憶された状態となっている。後述するように、組立データは、モジュール提供システム100のモジュール記憶手段110に既に記憶されている登録済のモジュールについてのモジュールメタデータを用いて作成されるからである。
図11において、モジュール開発者は、モジュール開発者端末装置120を操作し、モジュール開発用情報の取得要求信号を、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS81)。組立サービス提供システム70では、モジュール開発用情報提供手段73Aにより、モジュール開発用情報の取得要求信号を受信すると(ステップS82)、受信した取得要求信号に応じて、モジュール開発用情報(ラベル情報等)を、ネットワーク1を介してモジュール開発者端末装置120へ送信する(ステップS83)。
モジュール開発者端末装置120では、モジュール開発用情報を受信すると(ステップS84)、受信したモジュール開発用情報の画面表示が行われるとともに、モジュール開発者の操作に基づきモジュール開発用情報の印刷処理が適宜行われる。モジュール開発用情報は、モジュール開発者が自己の開発したモジュールの性質に応じ、自己のモジュールに対してラベルを付すために参照されるラベル情報等であり、例えば、音響モデルモジュールのモジュール開発者は、モジュール開発用情報として組立サービス提供システム70から送信されてきた「オフィス環境」、「駅構内の環境」等のラベル情報を参照し、自己の開発した音響モデルモジュールに付すラベルを選択することができる。
そして、モジュールの開発を終えたモジュール開発者は、自己の開発したモジュールを、ネットワーク1を介してモジュール提供システム100へ送信する(ステップS85)。モジュール提供システム100では、モジュール登録手段101により、モジュール開発者端末装置120からネットワーク1を介して送信されてくるモジュールを受信し、モジュール記憶手段110(図4参照)に記憶させて登録する(ステップS86)。
また、モジュールの開発を終えたモジュール開発者は、前述したように、組立サービス提供システム70から送信されてきたモジュール開発用情報(ラベル情報等)を参照し、自己の開発したモジュールの性質に応じ、そのモジュールに付すラベルを選択し、その選択したラベルを含むモジュールメタデータを、自己の開発したモジュールについてのモジュールメタデータとして作成し、作成したモジュールメタデータ(図17〜図20参照)を、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS87)。組立サービス提供システム70では、モジュールメタデータ登録手段73Bにより、モジュール開発者端末装置120からネットワーク1を介して送信されてくるモジュールメタデータを受信し、受信したモジュールメタデータを、モジュールメタデータ記憶手段83(図3参照)に記憶させて登録する(ステップS88)。
その後、組立サービス提供システム70では、適宜なタイミングで、組立データ作成手段72により、モジュールメタデータ記憶手段83(図3参照)に記憶されたモジュールメタデータ(図17〜図20参照)と、モジュールメタデータ一覧表記憶手段84(図3参照)に記憶されたモジュールメタデータ一覧表(図21参照)と、ラベルデータ記憶手段82(図3参照)に記憶されたラベルデータ(図13参照)とを用いて、組立データ140(図16参照)を作成し、作成した組立データ140を、組立データ記憶手段80に保存する(ステップS89)。さらに、組立データ作成手段72は、作成した組立データ140にラベルを付与し(つまり、作成した組立データ140を用いて組み立てられる音声認識器にラベルを付与し)、このラベルの付与情報を組立データ一覧表記憶手段81に保存する(図14参照)。これらの組立データ作成手段72による処理は、定期的に行われるが、新しいモジュールが作成され、またはモジュールが更新(バージョンアップ)され、これに伴って、モジュールメタデータの新規作成または更新(バージョンアップ)が行われ、前述したステップS88でのモジュールメタデータ登録手段73Bによるモジュールメタデータの登録(新規登録または更新登録)があったときに、ステップS89の組立データ作成手段72による処理を行うようにしてもよい。
より具体的には、先ず、組立データ作成手段72は、モジュールメタデータ一覧表記憶手段84からモジュールメタデータ一覧表(図21参照)を読み込む。そして、組立データ作成手段72は、モジュールメタデータ一覧表を参照し、デコーダラベルが付与されたモジュール(デコーダモジュール)を抽出する。図21の例では、デコーダラベルは、L11およびL14であるものとする。この際、デコーダラベルの種類は、モジュール開発用情報記憶手段85(図3参照)にモジュール開発用情報として記憶されているので、組立データ作成手段72は、モジュール開発用情報記憶手段85を参照し、デコーダラベルが、例えば、L11およびL14であることを把握する。従って、図21の例では、デコーダラベルL11およびL14が付与されているのは、モジュールM1およびM5であるから、モジュールM1およびM5が抽出される。
次に、組立データ作成手段72は、デコーダラベルが付与されたモジュール(デコーダモジュール)毎に以下の処理を繰り返す。図21の例では、モジュールM1およびM5のそれぞれについて以下の処理を繰り返す。
着目しているデコーダモジュールについてのモジュールメタデータを、モジュールメタデータ記憶手段83(図3参照)から読み込み、このモジュールメタデータ内に記述された「認識器の構成に関するデータ」を参照することにより、着目しているデコーダモジュールとともに、音声認識器を構成し得るモジュールの条件を取得する。ここでは、図17に示すモジュールM1が、着目しているデコーダモジュールであるものとする。図17において、モジュールM1のモジュールメタデータ内に記述された「認識器の構成に関するデータ」には、モジュールM1とともに、音声認識器を構成し得るモジュールとして、モジュールMA(音響分析モジュール)、モジュールMB(音響モデルモジュール)、モジュールMC(言語モデルモジュール)が記述されている。従って、組立データ作成手段72は、図21に示すように、(M1,MA,MB,MC)という組合せで音声認識器を構成可能であるということを把握する。
ここで、組立データ作成手段72は、図17に示すように、「認識器の構成に関するデータ」として記述されたモジュールMA(音響分析モジュール)の条件を示すラベルデータの内容から、モジュールMA(音響分析モジュール)の条件が、ラベルL21と、ラベルL22またはL23と、ラベルL24とを備えたモジュールであるということを把握することができる。従って、組立データ作成手段72は、モジュールメタデータ一覧表記憶手段84に記憶されたモジュールメタデータ一覧表(図21参照)を参照し、モジュールM2およびM6を、モジュールMA(音響分析モジュール)の条件を満たすモジュールとして抽出する。なお、モジュールM7は、ラベルL24を備えていないので、抽出されない。
また、組立データ作成手段72は、「認識器の構成に関するデータ」として記述されたモジュールMB(音響モデルモジュール)の条件を示すラベルデータの内容から、モジュールMB(音響モデルモジュール)の条件が、ラベルL31と、ラベルL32と、ラベルL33と、ラベルL34とを備えたモジュールであるということを把握することができる。従って、組立データ作成手段72は、モジュールメタデータ一覧表記憶手段84に記憶されたモジュールメタデータ一覧表(図21参照)を参照し、モジュールM3を、モジュールMB(音響モデルモジュール)の条件を満たすモジュールとして抽出する。なお、モジュールM8は、ラベルL31,L32,L33,L34を備えていないので、抽出されない。
さらに、組立データ作成手段72は、「認識器の構成に関するデータ」として記述されたモジュールMC(言語モデルモジュール)の条件を示すラベルデータの内容から、モジュールMC(言語モデルモジュール)の条件が、ラベルL41と、ラベルL42と、ラベルL43と、ラベルL44とを備えたモジュールであるということを把握することができる。従って、組立データ作成手段72は、モジュールメタデータ一覧表記憶手段84に記憶されたモジュールメタデータ一覧表(図21参照)を参照し、モジュールM4を、モジュールMC(言語モデルモジュール)の条件を満たすモジュールとして抽出する。なお、モジュールM9は、ラベルL43,L44を備えていないので、抽出されず、モジュールM10は、ラベルL42,L43,L44を備えていないので、抽出されない。
これらにより、組立データ作成手段72は、(M1,M2,M3,M4)、(M1,M6,M3,M4)という2つの組合せパターンで音声認識器を構成可能であることを把握することができる。
それから、組立データ作成手段72は、このようにして把握された組合せパターン毎に、組立データの雛形(つまり、音声認識器の雛形)を用意し、各雛形毎に、各々の構成モジュールのパラメータを変化させてパラメータの組合せを作成し、パラメータの組合せの数に相当する組立データを作成する(つまり、音声認識器を構成する)。なお、各パラメータの選択肢は、組立サービス提供システム70に設けられたパラメータ情報記憶手段(不図示)に記憶されている。例えば、上記のように(M1,M2,M3,M4)、(M1,M6,M3,M4)という2つの組合せパターンの雛形を用意する。そして、1番目の(M1,M2,M3,M4)という組合せパターンの雛形については、図17に示すように、モジュールM1にパラメータP1,P2…があるので、これらのパラメータP1,P2…をそれぞれ変化させた組合せを作成し、パラメータの組合せの数に相当する組立データを作成する(つまり、音声認識器を構成する)。なお、他のモジュールM2,M3,M4についても、パラメータがあれば、同様に変化させて組合せが作成されるので、組立データ(音声認識器)の数は、より多くなる。また、2番目の(M1,M6,M3,M4)という組合せパターンの雛形についても、各構成モジュールにパラメータがあれば、同様に変化させて組合せを作成し、パラメータの組合せの数に相当する組立データを作成する(つまり、音声認識器を構成する)。
そして、組立データ作成手段72は、以上の処理を、他のデコーダモジュールについても行う。図21の例では、最初にモジュールM1(デコーダモジュール)に着目して処理を行ったため、次は、モジュールM5(デコーダモジュール)に着目して同様な処理を行う。なお、より多くのデコーダモジュールが抽出されている場合には、全てのデコーダモジュールについて同様な処理を繰り返す。
続いて、組立データ作成手段72は、以上の処理で作成された全ての組立データ(つまり、音声認識器)に対し、一意の識別子(組立データ識別情報)を付与する。なお、本実施形態では、組立データの識別子は、組立データのファイル名と同じとし、さらに、音声認識器の識別子とも共通しているものとする。
さらに、組立データ作成手段72は、作成した全ての組立データ(つまり、全ての音声認識器)について、組立データのラベル(つまり、音声認識器のラベル)を付与する。すなわち、ある1つの音声認識器を構成する各モジュールが備えている全てのラベルを統合することにより、その音声認識器のラベルを付与する。そして、このラベル付与の処理を、全ての音声認識器(つまり、全ての組立データ)について行う。また、組立データ作成手段72は、音声認識器(つまり、組立データ)に付与された一意の識別子(組立データ識別情報)と、この音声認識器(つまり、組立データ)へのラベル付与情報を、組立データ一覧表記憶手段81に保存する(図14参照)。
より具体的には、組立データ作成手段72は、次のような処理を全ての音声認識器(つまり、全ての組立データ)について行う。先ず、組立データ作成手段72は、着目する音声認識器(組立データ)を構成する各モジュールについてのモジュールメタデータ(図17〜図20参照)を、モジュールメタデータ記憶手段83(図3参照)から読み込み、各モジュールが備えている全てのラベルを取得する。続いて、組立データ作成手段72は、取得した全てのラベルについて、ラベルデータ記憶手段82(図13参照)から、ラベル属性(「AND」か「OR」かの別)を取得する。そして、組立データ作成手段72は、取得した全てのラベルのうち、ラベル属性が「AND」であるラベルについては、全てのモジュールが同一のラベル(つまり、ラベル属性が「AND」である当該ラベル)を備えている場合には、当該ラベルを音声認識器(組立データ)のラベルとし、そうでない場合には、当該ラベルを音声認識器(組立データ)のラベルとはしない。また、ラベル属性が「OR」であるラベルについては、当該ラベルを音声認識器(組立データ)のラベルとする。
例えば、着目する音声認識器Xが、モジュールMα、Mβ、Mγで構成されるものとする。そして、組立データ作成手段72は、モジュールMαのモジュールメタデータから、モジュールMαが、ラベルLA,LB,LCを備えていることを把握し、モジュールMβのモジュールメタデータから、モジュールMβが、ラベルLA,LD,LEを備えていることを把握し、モジュールMγのモジュールメタデータから、モジュールMγが、ラベルLA,LB,LFを備えていることを把握したものとする。従って、着目する音声認識器Xに付与されるラベルの候補として、ラベルLA,LB,LC,LD,LE,LFがあることになる。
このとき、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLAのラベル属性が「AND」であることを取得し、このラベルLAが、全てのモジュールMα、Mβ、Mγに付与されているラベルであるか否かを判断する。上記の例では、全てのモジュールMα、Mβ、Mγが、ラベルLAを備えているので、このラベルLAは、着目する音声認識器Xのラベルとして付与される。
また、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLBのラベル属性が「AND」であることを取得し、このラベルLBが、全てのモジュールMα、Mβ、Mγに付与されているラベルであるか否かを判断する。上記の例では、モジュールMβは、ラベルLBを備えていないので、このラベルLBは、着目する音声認識器Xのラベルにはならない。
さらに、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLCのラベル属性が「OR」であることを取得し、このラベルLCを、着目する音声認識器Xのラベルとして付与する。
また、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLDのラベル属性が「OR」であることを取得し、このラベルLDを、着目する音声認識器Xのラベルとして付与する。
さらに、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLEのラベル属性が「AND」であることを取得し、このラベルLEが、全てのモジュールMα、Mβ、Mγに付与されているラベルであるか否かを判断する。上記の例では、モジュールMα、Mγは、ラベルLEを備えていないので、このラベルLEは、着目する音声認識器Xのラベルにはならない。
また、組立データ作成手段72は、ラベルデータ記憶手段82(図13参照)から、ラベルLFのラベル属性が「OR」であることを取得し、このラベルLFを、着目する音声認識器Xのラベルとして付与する。
そして、以上により、組立データ作成手段72は、着目する音声認識器Xを構成する各モジュールが備えている全てのラベルLA,LB,LC,LD,LE,LFのうち、ラベルLA,LC,LD,LFを、着目する音声認識器Xのラベルとして付与する。
さらに、組立データ作成手段72は、事前にシステムで定められたラベルの組合せルールに従い、音声認識器に付与するラベルを追加または削除する処理を行ってもよい。例えば、ラベルLAとラベルLBとが音声認識器Xのラベルとして付与された場合には、ラベルLGも音声認識器Xのラベルとして追加して付与する処理、あるいはラベルLBとラベルLCとが音声認識器Xのラベルとして付与された場合には、ラベルLCを削除してラベルLBだけにする処理等を行ってもよい。
また、組立データ作成手段72は、ある1つの音声認識器に、排他的なラベル(互いのラベルの性質上、同じ音声認識器に付与されることが適当でないラベルであり、事前にシステムで定められて記憶されているラベル間の関係に基づき判断される。)が付与された場合には、その音声認識器を削除する処理を行ってもよい。
さらに、組立データ作成手段72は、以下に述べる図11のステップS90〜S97における評価データの作成処理が行われた後に、それらの評価データを用いてラベルを付与する処理を行ってもよい。すなわち、評価に用いたメモリ使用量に応じて最低必要メモリに関するラベルを付与したり、評価結果として得られた認識速度に応じて実時間動作が可能か否かを示すラベルを付与することができる。また、各収録環境で収録されたテスト用認識処理対象データを用いて評価された評価データ(図15参照)のうち、数値が大きくなっている評価データ(評価結果の良好な評価データ)に対応するラベルを、音声認識器に付与してもよい。例えば、「オフィス環境」というラベルに対応する収録環境で収録されたテスト用認識処理対象データを用いて評価された結果である、ある音声認識器の評価データの数値が、閾値を超えている場合には、その音声認識器に、「オフィス環境」というラベルを付与することができる。なお、図15には、得意分野に関するラベルに対応する評価データしか記載されていないが、機能特性や動作条件に関するラベルに対応する評価データも求め、その評価データの数値の大小に従ってラベル付与の処理を行ってもよい。
それから、以上のような組立データ作成手段72による全ての音声認識器(つまり、全ての組立データ)に対するラベル付与の処理が終了した後に、以下のようにして、作成した全ての音声認識器についての評価データの作成処理(図11のステップS90〜S97)を行う。なお、図11には、説明を簡略にするため、1つの音声認識器についての評価データの作成処理しか記載されていないが、実際には、全ての音声認識器について評価データの作成処理が行われるため、図11のステップS90〜S97は、ループ処理となる。また、評価用モジュールの取得処理(図11のステップS90〜S95)についても、説明を簡略にするため、1つの評価用モジュールの取得処理しか記載されていないが、実際には、評価対象の音声認識器を構成する全ての評価用モジュールの取得処理が行われるため、図11のステップS90〜S95は、ループ処理となる。
組立サービス提供システム70では、評価用モジュール取得要求送信手段74Aにより、組立データ記憶手段80に記憶された組立データ140(図16参照)を用いて、評価対象の音声認識器を構成する評価用モジュールについてのモジュールIDを含む評価用モジュール取得要求信号を作成し、作成した評価用モジュール取得要求信号を、ネットワーク1を介してモジュール提供システム100へ送信する(図11のステップS90)。この評価用モジュール取得要求送信手段74Aによる処理は、前述した図8のステップS35における音声認識処理実行端末装置20のプロキシエージェント処理手段30のモジュール取得要求送信手段31C(図2参照)による処理と同様である。
モジュール提供システム100では、モジュール取得要求受信手段102Aにより、組立サービス提供システム70から送信されてくる評価用モジュール取得要求信号を受信すると(ステップS91)、モジュール取得手段102Bにより、受信した評価用モジュール取得要求信号に含まれるモジュールIDに対応するモジュールを、モジュール記憶手段110から取得する(ステップS92)。そして、カスタマイズ処理手段102Cにより、受信した評価用モジュール取得要求信号にカスタマイズ用データが含まれている場合には、評価用モジュール取得要求信号に含まれるモジュールIDに対応するカスタマイザ(カスタマイズ処理用の小プログラム)をカスタマイザ記憶手段111(図4参照)から取得し、モジュール取得手段102Bにより取得したモジュールについて、評価用モジュール取得要求信号に含まれるカスタマイズ用データ、および取得したカスタマイザを用いて、カスタマイズ処理を行う(ステップS93)。さらに、モジュール送信手段102Dにより、モジュール取得手段102Bにより取得したモジュールまたはカスタマイズ処理手段102Cによるカスタマイズ処理を行ったモジュールを、ネットワーク1を介して組立サービス提供システム70へ送信する(ステップS94)。これらの図11のステップS91〜S94の処理は、組立サービス提供システム70との間でデータの送受信を行うか、音声認識処理実行端末装置20との間でデータの送受信を行うかの違いを除けば、図8のステップS36〜S39と同様である。
組立サービス提供システム70では、評価用モジュール受信手段74Bにより、モジュール提供システム100から送信されてくる評価用モジュールを受信し(ステップS95)、受信した評価用モジュールを、評価用モジュール記憶手段86(図3参照)に保存する。この評価用モジュール受信手段74Bによる処理は、前述した図8のステップS40,S41における音声認識処理実行端末装置20のプロキシエージェント処理手段30のモジュール受信手段31D(図2参照)による処理と同様である。
続いて、評価対象認識器組立手段74Cにより、受信した評価用モジュールを用いて、評価対象の音声認識器を組み立てて主メモリ上にロードする処理を行う(ステップS96)。この評価対象認識器組立手段74Cによる処理は、前述した図8のステップS43における音声認識処理実行端末装置20のプロキシエージェント処理手段30の認識器組立手段31E(図2参照)による処理と同様である。
そして、評価データ作成手段74Dにより、テスト用認識処理対象データ記憶手段87に記憶されたテスト用認識処理対象データを用いて、評価対象認識器組立手段74Cにより組み立てられた評価対象の音声認識器による音声認識処理を実行することにより、評価対象の音声認識器の評価結果を示す評価データを作成する(ステップS97)。また、評価データ作成手段74Dは、作成した評価データを、評価データ記憶手段88(図3、図15)に保存する。
より具体的には、評価データ作成手段74Dは、図15に示すように、ある1つの音声認識器(つまり、ある1つの組立データ)について、得意分野に関するラベルに対応する各環境で収録されたテスト用認識処理対象データを用いて、評価データの作成処理を各収録環境毎に行う(図15参照)。そして、この処理を、全ての音声認識器(つまり、全ての組立データ)について行う。例えば、図15において、「4234123」という識別子(図15の上から1番目の識別子)を持つ組立データを用いて組み立てられる音声認識器について、得意分野に関するラベルに対応する各環境(例えば、「オフィス環境」、「駅構内の環境」、「男性大人」、…というラベルに対応する各環境)で収録されたテスト用認識処理対象データ(多数の音声入力データおよびこれらの音声入力データに対応する文字列データ)を用いて、評価データの作成処理を各収録環境毎に行う。同様に、「5432421」という識別子(図15の上から2番目の識別子)を持つ組立データを用いて組み立てられる音声認識器について、例えば、「オフィス環境」、「駅構内の環境」、「男性大人」、…というラベルに対応する各環境で収録されたテスト用認識処理対象データを用いて、評価データの作成処理を各収録環境毎に行う。他の識別子(図15の上から3番目以降の識別子)を持つ組立データを用いて組み立てられる音声認識器についても同様である。なお、評価データ作成手段74Dによる評価データの作成処理は、組立データ作成手段72による組立データの作成処理(図11のステップS89参照)が行われ、自動構築可能な音声認識器が新たに用意されたときに行うとともに、テスト用認識処理対象データ追加手段77Cによるテスト用認識処理対象データの追加処理が行われたときに行うことが好ましい。
なお、以上の説明では、組立データ作成手段72による組立データの作成処理(図11のステップS89)の後に、組立データ作成手段72によりラベル付与の処理を行い、その後、評価データの作成処理(図11のステップS90〜S97)を行う順序となっていたが、評価データを用いて評価結果に従ったラベル付与の処理を行う場合には、評価データの作成処理(図11のステップS90〜S97)の後に、組立データ作成手段72により全てのラベル付与の処理(評価データを用いないラベル付与の処理および評価データを用いたラベル付与の処理の双方)を行ってもよく、あるいは、先ず、評価データの作成処理(図11のステップS90〜S97)の前に、組立データ作成手段72により評価データを用いないラベル付与の処理を行い、次に、評価データの作成処理(図11のステップS90〜S97)を経た後に、組立データ作成手段72により評価データを用いたラベル付与の処理を追加的に行ってもよい。
このような本実施形態によれば、次のような効果がある。すなわち、音声認識器構築システム10では、音声認識処理実行端末装置20から組立サービス提供システム70へのアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を含む組立データ取得要求信号130(図12参照)の送信から始まり、音声認識処理実行端末装置20と、組立サービス提供システム70と、モジュール提供システム100との間で、ネットワーク1を介してデータの送受信を行うことにより、音声認識処理実行端末装置20で稼働可能であり、かつ、音声認識器を利用するアプリケーションの特性に応じ、かつ、音声認識器を利用する利用者の話者特性に適した音声認識器を自動構築することができる。このため、アプリケーション開発者や利用者は、自動構築された音声認識器を用いることで、高精度なパターン認識機能を、専門知識を必要とせず、容易に利用することができる。
また、音声認識処理実行端末装置20は、プロキシエージェント処理手段30を備え、このプロキシエージェント処理手段30の組立データ取得要求送信手段31A(図2参照)は、アプリケーション処理手段40から受け取ったアプリケーション開発者入力データ132を、ネットワーク1を介して組立サービス提供システム70へ送信する構成とされているので、アプリケーション処理手段40とプロキシエージェント処理手段30との間のデータ連携により、アプリケーション処理手段40による要求を、プロキシエージェント処理手段30を通じて、組立サービス提供システム70へ伝達することができる。また、プロキシエージェント処理手段30の認識器組立手段31E(図2参照)は、アプリケーション開発者入力データ132を発信したアプリケーション処理手段40に対し、組み立てた音声認識器の識別子を渡す構成とされ、プロキシエージェント処理手段30の認識処理時データ中継手段32(図2参照)は、アプリケーション処理手段40から音声認識器の識別子を含む認識処理開始要求信号を受け取り、その識別子に対応する音声認識器による音声認識処理手段50に、マイクロフォン23から入力された音声入力データを渡すとともに、この音声入力データに対する認識処理結果出力データを音声認識処理手段50から受け取り、受け取った認識処理結果出力データをアプリケーション処理手段40に渡す構成とされているので、アプリケーション処理手段40とプロキシエージェント処理手段30との間のデータ連携、および音声認識処理手段50とプロキシエージェント処理手段30との間のデータ連携が実現され、プロキシエージェント処理手段30により、認識処理に伴うデータの中継および管理を実現することができる。
さらに、音声認識処理実行端末装置20のプロキシエージェント処理手段30は、フィードバックデータ送信手段33(図2参照)を備え、組立サービス提供システム70は、フィードバックデータ受信手段77Aおよびフィードバックデータ記憶手段93(図3参照)を備えているので、音声認識処理実行端末装置20で収集された履歴データを活用することができ、認識精度の向上等に役立てることができる。
また、プロキシエージェント処理手段30のモジュール取得要求送信手段31C(図2参照)は、組立データ140(図16参照)に含まれるカスタマイズ用のリクエストパラメータに基づき、モジュールIDに加えてカスタマイズ用データを含むモジュール取得要求信号を作成し、モジュール提供システム100へ送信する構成とされ、モジュール提供システム100は、カスタマイズ処理手段102C(図4参照)を備えているので、利用者の話者特性または音声認識処理実行端末装置20のシステム特性に、より一層合った音声認識器を自動構築することができ、認識精度の向上を図ることができる。
さらに、組立サービス提供システム70は、モジュールメタデータ記憶手段83および組立データ作成手段72(図3参照)を備えているので、モジュールメタデータ(図17〜図20参照)から得られるモジュールの特性(ラベルから把握される特性)に応じて、ある特性を有する音声認識器を組み立てるための組立データを作成することができる。
そして、組立サービス提供システム70は、モジュール開発用情報提供手段73Aおよびモジュールメタデータ登録手段73B(図3参照)を備えているので、音声認識器構築システム10の運用に必要な情報をモジュール開発者に伝え、必要情報を組み込んだモジュールメタデータをモジュール開発者に作成して送信してもらうことができるうえ、ネットワーク1を介した情報伝達およびデータ登録であるため、モジュール開発者の手間を軽減することもできる。
また、組立サービス提供システム70は、テスト用認識処理対象データ記憶手段87と、認識器評価手段74と、評価データ記憶手段88とを備え(図3参照)、組立データ選択手段71B(図3参照)は、評価データを用いて、提供する組立データを選択する構成とされているので、アプリケーションの特性、利用者の話者特性、あるいは音声認識処理実行端末装置20のシステム特性に、より一層合った音声認識器を自動構築することができる。
さらに、組立サービス提供システム70は、アプリケーション開発者入力データ作成用情報提供手段75(図3参照)を備え、音声認識処理実行端末装置20のプロキシエージェント処理手段30は、アプリケーション開発者入力用画面表示処理手段34A(図2参照)を備えているので、アプリケーション開発者入力データ作成用情報に変化があっても、プロキシエージェント処理手段30による処理内容を変化させることなく対応することができる。従って、例えば、組立データ取得要求信号130(図12参照)に含ませて組立サービス提供システム70へ送信するアプリケーション開発者入力データ132について、選択肢の追加、変更、削除があっても、アプリケーション開発者の入力用画面で、追加、変更、削除された後の選択肢を表示し、アプリケーション開発者に選択入力をさせることができる。
そして、組立サービス提供システム70は、利用者入力データ作成用情報提供手段76(図3参照)を備え、音声認識処理実行端末装置20のプロキシエージェント処理手段30は、利用者入力用画面表示処理手段34B(図2参照)を備えているので、利用者入力データ作成用情報に変化があっても、プロキシエージェント処理手段30による処理内容を変化させることなく対応することができる。従って、例えば、組立データ取得要求信号130(図12参照)に含ませて組立サービス提供システム70へ送信する利用者入力データ133について、選択肢の追加、変更、削除があっても、利用者の入力用画面で、追加、変更、削除された後の選択肢を表示し、利用者に選択入力をさせることができる。
また、音声認識処理実行端末装置20のプロキシエージェント処理手段30は、システムデータ自動取得手段34Cおよびシステムデータ入力用画面表示処理手段34D(図2参照)を備えているので、利用者に過大な負担をかけることなく、音声認識処理実行端末装置20のシステムデータを取得し、組立サービス提供システム70へ送信することができる。
さらに、組立サービス提供システム70は、フィードバックデータ提供手段77B(図3参照)を備えているので、フィードバックデータをモジュールの作成または更新処理に活用することができ、モジュールの質を向上させることができる。
そして、組立サービス提供システム70は、テスト用認識処理対象データ追加手段77C(図3参照)を備えているので、同一の音声認識処理実行端末装置20からのフィードバックデータが一定量を超えたときに、このフィードバックデータをテスト用認識処理対象データに追加することができるため、フィードバックデータを追加された後のテスト用認識処理対象データを用いて音声認識器を評価することができる。このため、特定の音声認識処理実行端末装置20から収集される、ある特徴を持ったフィードバックデータをテスト用認識処理対象データに追加して評価に反映させることができるので、評価の信頼性を高めることができる。
また、音声認識処理実行端末装置20は、履歴データ記憶手段63(図2参照)を備え、プロキシエージェント処理手段30は、広告データ取得要求取次手段35Aおよび広告データ取次手段35B(図2参照)を備え、組立サービス提供システム70は、広告データ記憶手段94、広告データ取得要求受信手段78A、広告データ選択手段78B、および広告データ送信手段78C(図3参照)を備えているので、プロキシエージェント処理手段30により、アプリケーション処理手段40から受け取った広告ラベルデータ、並びに履歴データを構成する音声入力データまたはその特徴量を含む広告データ取得要求信号を、組立サービス提供システム70へ送信することができる。このため、アプリケーションの要求、あるいは利用者の状態に従った広告表示を行うことができる。
さらに、音声認識処理実行端末装置20のプロキシエージェント処理手段30は、広告クリック取次手段35C(図2参照)を備え、組立サービス提供システム70は、広告クリック受信手段78Dおよび課金処理手段78E(図3参照)を備えているので、広告をクリックした利用者または広告主に対する課金処理を行うことができる。
また、組立サービス提供システム70は、モジュール累積利用回数記憶手段96、モジュール累積利用回数更新手段79A、およびモジュール利用対価額算出手段79B(図3参照)を備えているので、モジュールを開発し、提供したモジュール開発者への支払処理を行うために、そのモジュールの利用頻度に応じて、モジュール利用対価額を算出することができる。また、アプリケーションが実行され、そのアプリケーションで利用される音声認識器が自動構築される際にはモジュールが利用されるので、そのモジュールを利用するアプリケーションの開発者へのモジュール利用に対する請求処理を行うために、そのアプリケーションによるそのモジュールの利用頻度に応じて、モジュール利用対価額を算出することができる。
そして、音声認識器構築システム10は、ネットワーク1に接続されたモジュール提供システム100から、音声認識器の組立に必要なモジュールを集める構成とされているので、例えば、各企業、各工場、各研究所、各教育機関等の様々な場所で作成された様々なモジュールを活用し、様々な用途に応じた音声認識器を構成することができる。従って、従来、個別に作成され、独立して存在していたようなモジュール同士を結び付けることができるうえ、活用される機会がなく休眠状態となっていたモジュールの有効活用を図ることもできる。このため、音声認識器の業界全体の活性化を図ることができ、また、重複投資や重複開発を抑制することもでき、産業の発展に寄与することができる。
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
例えば、前記実施形態では、音声認識器構築システム10が記載されていたが、本発明の認識器構築システムによる自動構築処理の対象となるパターン認識器は、音声認識器に限定されるものではなく、例えば、画像パターン、文字列パターン、各種波形パターン等の認識器とすることができる。
また、前記実施形態では、ラベルを利用して組立データの選択処理等を行っていたが、ラベル利用による処理に限定されるものではなく、要するに、組立データ取得要求信号に含ませて組立サービス提供システムへ送信するアプリケーション開発者入力データ、利用者入力データ、およびシステムデータに、それぞれアプリケーションの特性を示す情報、利用者の特性(音声認識の場合には、利用者の話者特性)を示す情報、および認識処理実行端末装置(音声認識の場合には、音声認識処理実行端末装置)のシステム特性を示す情報を含ませるようにし、組立データを、アプリケーションの特性を示す情報、利用者の特性(音声認識の場合には、利用者の話者特性)を示す情報、および認識処理実行端末装置(音声認識の場合には、音声認識処理実行端末装置)のシステム特性を示す情報と関連付けた状態で、組立サービス提供システムの組立データ記憶手段に記憶しておき、組立サービス提供システムの組立データ選択手段が、組立データ取得要求信号に含まれるアプリケーションの特性を示す情報、利用者の特性(音声認識の場合には、利用者の話者特性)を示す情報、および認識処理実行端末装置(音声認識の場合には、音声認識処理実行端末装置)のシステム特性を示す情報に従って、これらの情報と関連付けられた組立データを組立データ記憶手段から抽出し、選択するようにすればよい。
さらに、前記実施形態では、組立サービス提供システム70を構成するコンピュータ・システムは、組立データの提供は行うが、モジュールの提供は行わない構成とされていたが(図3参照)、組立サービス提供システム70を構成するコンピュータ・システムを、モジュール提供システム100と同様な機能を備えた構成とし(組立サービス提供システム70を構成するコンピュータ・システムを、本発明におけるモジュール提供システムを構成するコンピュータ・システムとして兼用する。)、組立サービス提供システム70を構成するコンピュータ・システムにより、モジュールの提供も行うようにしてもよい。つまり、組立サービス提供システム70を構成するコンピュータ・システムを、1群のモジュール提供システム100のうちの1つとし、1群のモジュール提供システム100により提供される多数のモジュールのうちの一部のモジュールが、モジュール提供システム100として機能する組立サービス提供システム70を構成するコンピュータ・システムにより提供されるようにしてもよい。この場合、組立サービス提供システム70を構成するコンピュータ・システムからダウンロードして取得するモジュールがあるときには、組立データ(図16参照)において、そのモジュールに関するデータの記述部分の中のダウンロード要求先情報(URL)に、組立サービス提供システム70を構成するコンピュータ・システムのサーバのURL(モジュール記憶手段の場所)を記述しておけばよい。
一方、上記のように、組立サービス提供システム70を構成するコンピュータ・システムを、1群のモジュール提供システム100のうちの1つとするのではなく、モジュール提供システムを置かずに組立サービス提供システムにより、組立データの提供およびモジュールの提供の双方を行う構成としてもよい。すなわち、前記実施形態の組立サービス提供システム70の構成および機能(図3参照)と、前記実施形態のモジュール提供システム100の構成および機能(図4参照)とを合わせた構成および機能を有する組立サービス提供システムを設けてもよい。この場合、パターン認識器を構成する各種モジュールは、前記実施形態のようにネットワーク上に散在するのではなく、組立サービス提供システムに設けられたモジュール記憶手段に集中しているので、組立データの中には、前記実施形態のように各構成モジュール毎にダウンロード要求先情報(URL)を記述しておく必要はなく、このようなダウンロード要求先情報(URL)の記述を省略するか(プロキシエージェントに予め保持させておく。)、または各構成モジュール毎ではなく全構成モジュールに共通のダウンロード要求先情報(URL)を1つだけ記述しておけばよい。なお、各構成モジュール毎にダウンロード要求先情報(URL)の記述を行ってもよく、この場合には、全構成モジュールについて同じサーバのURLをダウンロード要求先情報(URL)として記述しておけばよい。このようにモジュール提供システムを置かずに組立サービス提供システムにより、組立データの提供およびモジュールの提供の双方を行う構成とした場合には、モジュール開発者は、自己の開発したモジュールを、組立サービス提供システムに登録すればよい。なお、自己の開発したモジュールについてのモジュールメタデータについては、前記実施形態の場合と同様に、組立サービス提供システムに登録する。
また、前記実施形態では、図2に示すように、プロキシエージェント処理手段30は、複数のアプリケーション処理手段40および複数の音声認識処理手段50に対応することができる構成とされていたが、本発明におけるプロキシエージェント処理手段は、これに限定されるものではなく、1つのアプリケーション処理手段および1つの認識処理手段への対応を前提とする構成としてもよい。
さらに、前記実施形態では、組立サービス提供システム70(図3参照)は、組立データ作成手段72により組立データ(図16参照)を予め作成して組立データ記憶手段80に記憶させておき、この組立データ記憶手段80に記憶された複数の組立データの中から、組立データ選択手段71Bにより1つの組立データを選択し、選択した組立データを音声認識処理実行端末装置20へ送信する構成とされていたが、本発明は、これに限定されるものではなく、認識処理実行端末装置からネットワークを介して送信されてくる組立データ取得要求信号を受信してから、組立サービス提供システムで、取得要求に係る組立データを作成し、作成した組立データをネットワークを介して認識処理実行端末装置へ送信する構成としてもよい。
例えば、パターン認識器が音声認識器である場合には、前記実施形態と同一部分(または対応する部分)については同一符号を用いて説明を行うと、次のようになる。組立サービス提供システム70に、組立データ選択手段71Bを設ける代わりに、要求組立データ作成手段を設ける。そして、組立サービス提供システム70において、組立データ取得要求受信手段71Aにより、音声認識処理実行端末装置20からネットワーク1を介して送信されてくる組立データ取得要求信号を受信した後、要求組立データ作成手段により、取得要求に係る組立データ(図16参照)を作成し、作成した組立データを、組立データ送信手段71Cにより、ネットワーク1を介して音声認識処理実行端末装置20へ送信する。従って、この場合には、予め組立データを作成する処理を行う組立データ作成手段72および予め作成された組立データを記憶する組立データ記憶手段80の設置は、省略することができる。
要求組立データ作成手段は、組立データ取得要求受信手段71Aにより受信した組立データ取得要求信号130(図12参照)に含まれるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134を用いて、アプリケーションにより利用される音声認識器を構成するモジュールを識別する少なくとも1つのモジュールIDを含む組立データ(図16参照)を作成する。ここで作成される組立データは、取得要求に係る組立データであり、音声認識器を利用するアプリケーションの特性、音声認識器を利用する利用者の特性(話者特性)、および音声認識処理が実行される音声認識処理実行端末装置20のシステム特性に応じた組立データである。
より具体的には、要求組立データ作成手段は、組立データ取得要求信号130(図12参照)に含まれるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134に、例えば、ラベルLA,LB,LD,LG,LH,…が含まれていたとすると、これらの中から、機能特性に関するラベルおよび動作条件に関するラベルを、ラベルデータ記憶手段82(図13参照)を参照して抽出する。ここでは、ラベルLA,LB,LDが抽出されたものとする。
続いて、要求組立データ作成手段は、抽出されたラベルLA,LB,LDのそれぞれについて、排他的なラベル(ラベルLA,LB,LDとそれぞれ同時に存在することが不可能なラベル)を抽出し、そのラベルを有するモジュールを、候補から除外する。例えば、組立データ取得要求信号130の中にラベルLAがある場合には、ラベルLX,LY,LZを含むモジュールを除外する等の処理を行い、この処理を、ラベルLB,LDについても行う。あるラベルについての排他的なラベルがいずれのラベルであるかは、要求組立データ作成用情報記憶手段に記憶されているので、これを参照して把握する。また、ラベルLX,LY,LZ(排他的なラベル)を含むモジュールを除外する処理を行う場合には、モジュールメタデータ一覧表記憶手段84(図3参照)に記憶されたモジュールメタデータ一覧表(図21参照)を参照するか、または、モジュールメタデータ記憶手段83(図3参照)に記憶されたモジュールメタデータ(図17〜図20参照)を参照することにより、各モジュールに、ラベルLX,LY,LZが含まれているか否かを判断する。従って、この場合には、モジュールメタデータ一覧表記憶手段84およびモジュールメタデータ記憶手段83は、要求組立データ作成用情報記憶手段として機能することになる。このようにして多数のモジュール、例えば、100個のモジュールM1〜M100から、70個のモジュールM1〜M70への絞込みを行うことができたとする。
それから、要求組立データ作成手段は、絞り込まれた70個のモジュールM1〜M70の中から、デコーダラベルが付与されたモジュール(デコーダモジュール)を抽出する。このデコーダモジュールの抽出処理は、図21を用いて説明した前記実施形態の場合と同様である。ここでは、図21の例の場合と同様に、デコーダモジュールM1,M5,…が抽出されたものとする。
次に、要求組立データ作成手段は、図21の例の場合と同様に、デコーダモジュールM1,M5,…のそれぞれについて、モジュールメタデータ記憶手段83(図3参照)に記憶されたモジュールメタデータ(図17参照)を参照し、デコーダモジュールM1,M5,…とともに音声認識器を構成し得るモジュールの条件を取得する。図21の例では、デコーダモジュールM1については、(M1,MA,MB,MC)という組合せで音声認識器を構成可能であるから、図21の例の場合と同様に、MA,MB,MCの各条件を満たすモジュールを抽出し、(M1,M2,M3,M4)、(M1,M6,M3,M4)という2つの組合せパターンで音声認識器を構成可能であることを把握する。他のデコーダモジュールM5,…についても同様に、音声認識器を構成可能な組合せパターンを把握する。この時点で、音声認識処理実行端末装置20への送信対象候補となる複数の組立データが作成されることになる。なお、実際に各組立データ(音声認識処理実行端末装置20へ送信する状態のテキストデータそのもの)を作成する必要はなく、各組立データの内容(各音声認識器の構成モジュールのモジュールIDの組合せ)を記憶しておけばよい。そして、これらの処理で把握した音声認識器を構成可能な組合せパターンの全てについて、音声認識器(つまり、組立データ)へのラベルの付与処理を行う。すなわち、ある1つの音声認識器を構成する各モジュールが備えている全てのラベルを統合することにより、その音声認識器のラベルを付与する。そして、このラベルの付与処理を、全ての音声認識器について行う。この際の音声認識器へのラベルの付与処理は、前記実施形態で説明した組立データ作成手段72によるラベルの付与処理と同様であるため、ここでは説明を省略する。
それから、要求組立データ作成手段は、組立データ取得要求信号130(図12参照)に含まれるアプリケーション開発者入力データ132、利用者入力データ133、およびシステムデータ134に含まれるラベルLA,LB,LD,LG,LH,…のうち、機能特性に関するラベルおよび動作条件に関するラベルであるラベルLA,LB,LDを抽出し、これらのラベルLA,LB,LDの全てが付与されている音声認識器(組立データ)に絞り込み、これで1つの音声認識器(組立データ)に絞り込めない場合には、さらに、ラベルLA,LB,LD,LG,LH,…のうち、得意分野に関するラベルLG,LHを抽出し、これらのラベルLG,LHの全てが付与されている音声認識器(組立データ)に絞り込む。この際の音声認識器(組立データ)の絞込処理は、前記実施形態の組立データ選択手段71Bによる絞込処理と同様である。なお、以上の処理でも絞り込めない場合には、前記実施形態の組立データ選択手段71Bは、評価データ記憶手段88(図3参照)に記憶された評価データの内容(図15参照)を用いて絞込みを行っていたが、要求組立データ作成手段は、組立データ取得要求信号を受信してから組立データを作成するので、音声認識処理実行端末装置20への送信対象候補となる組立データを用いて組み立てられた音声認識器についての評価データは未だ作成されていない状態にある。従って、要求組立データ作成手段は、音声認識処理実行端末装置20への送信対象候補となる各組立データを用いて音声認識器を組み立て、組み立てた各音声認識器について、テスト用認識処理対象データ記憶手段87(図3参照)に記憶されたテスト用認識処理対象データを用いて評価データを作成し(つまり、組立データ取得要求信号を受信してから評価データを作成することになる。)、この評価データ内容を用いて絞込みを行ってもよく、あるいはこのような評価データの作成処理を行わずに、機能特性に関するラベルおよび動作条件に関するラベルによる絞込処理、さらには得意分野に関するラベルによる絞込処理を経て絞り込まれた複数の音声認識器(組立データ)の中から、例えば、識別子の番号が小さい音声認識器(組立データ)を選択したり、あるいは最初に生成された音声認識器(組立データ)を選択する等の方法により、適当な音声認識器(組立データ)を選択してもよい。
また、前記実施形態では、特に説明しなかったが、組立サービス提供システム70から提供された組立データ140(図16参照)を用いて、モジュール提供システム100から取得するモジュール(組立サービス提供システムから取得するモジュールでもよい。)は、図22に示すように、音声認識処理支援端末装置150に設けられた音声認識処理支援手段151と通信を行うための通信機能を備えたモジュールでもよい。図22の例では、そのような通信機能のみを備えたモジュールにより、音声認識器Pが構成されている。従って、この場合における音声認識処理実行端末装置20の音声認識処理手段50は、通信機能のみを備えたモジュールにより構成される音声認識器Pおよびこの音声認識器Pの構成プログラムにより動作するCPUにより実現される。一方、音声認識処理支援端末装置150の音声認識処理支援手段151は、デコーダモジュール等により構成される音声認識器Qおよびこの音声認識器Qの構成プログラムにより動作するCPUにより実現される。そして、これらの音声認識処理実行端末装置20に設けられた音声認識器Pによる音声認識処理手段50と、音声認識処理支援端末装置150に設けられた音声認識器Qによる音声認識処理支援手段151とにより、分散処理による音声認識処理が実現される。