JP2020532804A - コグニティブ・インスタンスのためのコグニティブ・モデレータ - Google Patents

Abstract

【課題】クエリに対する改善された応答を複数の異なるコグニティブ・エンジンから生成する。【解決手段】方法は、コンピューティング・デバイスによって、第１のクエリを受信することと、各々がデータを処理するための異なる特徴を有する複数のコグニティブ・エンジンに第１のクエリを割り当てることとを含む。方法はまた、第１のクエリについて複数のコグニティブ・エンジンの各々から応答を受信したことに応答して、複数のコグニティブ・エンジンから受信した応答を比較することを含む。方法はまた、第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、差異が所定のしきい値を下回るまで応答調停プロセスを実施することを含む。方法はまた、第１のクエリおよび第２のクエリについて受信された応答から第１の最終応答を選択することと、第１の最終応答をユーザに表示することとを含む。【選択図】図２

Description

本開示は全体的にコグニティブ・コンピューティングに関し、より詳細には２つの異なるコグニティブ・エンジンに向けられたクエリに対する改善された応答を生成する方法に関する。本発明は、クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成するためのシステム、およびコンピュータ・プログラム製品にさらに関する。

現在、コグニティブ・コンピューティングは、部分的に商品サービスとなっており、モバイルまたはクラウドのコンピューティング・プロバイダが、話し言葉を認識し解釈することのできるエンドユーザ指向デバイスを、作成および配信するものである。エンドユーザ指向デバイスはまた個人的なアシスタントおよびナレッジ・ナビゲータとして働くことができる。異なるプロバイダからのコグニティブ・サービスは、異なるデータ・ソース、異なるアルゴリズム、および異なるチューニング・パラメータを使用し、異なる自己学習方法を経時的に適用することができる。加えて、様々なプロバイダの属性は、例えば、特定のタイプの言語を話すことなど、コグニティブ・サービスの特定のユーザのグループに特有であり得る。第１の言語で訓練された第１のコグニティブ・サービス・プロバイダからのコグニティブ・サービスは、第２の言語で訓練された第２のコグニティブ・サービス・プロバイダからのコグニティブ・サービスとは異なる回答を与えることがある。エンドユーザは典型的に、質問に対して最も価値のある応答を取得することに興味がある。

コグニティブ・システムから回答を生成する方法に関連して、いくつかの開示が存在する。文書「Cognitive Instance-Based Learning Agents in a Multi-Agent Congestion Game」、Paul Scerriら、ＡＡＭＡＳにおけるInformation Sharing in Large Multi-Agent Systemsに関するワークショップ（2013）は、より数値集約的なエージェントの学習法に対して人間の学習法にヒントを得たマルチエージェント学習手法の経験的な比較を開示している。より具体的には、エージェントはグラフを繰り返しトラバースしなければならず、同一のエッジにある複数のエージェントは互いに干渉するので、渋滞していないルートを見つけるために学習が必要とされる。しかしながら、複数のエージェントによる学習は、学習が他のエージェントが学習する対象となる非静止の環境を生み出すため、望ましくない、かつ不要なダイナミクスをもたらすことがある。

「Cognitive Instance-Based Learning Agents in a Multi-Agent Congestion Game」、Paul Scerriら、ＡＡＭＡＳにおけるInformation Sharing in Large Multi-Agent Systemsに関するワークショップ（2013）

クエリに対する改善された応答を複数の異なるコグニティブ・エンジンから生成することを目的とする。

本発明による実施形態は、コグニティブ調停のための、方法、コンピュータ・プログラム製品およびコンピュータ・システムを開示しており、方法は、第１のクエリを、コンピューティング・デバイスで受信することと、コンピューティング・デバイスによって、第１のクエリを複数のコグニティブ・エンジンに割り当てることであって、複数のコグニティブ・エンジンのそれぞれがデータを処理するための異なる特徴を含む、割り当てることと、第１のクエリについて複数のコグニティブ・エンジンのそれぞれから応答を受信したことに応答して、コンピューティング・デバイスによって、複数のコグニティブ・エンジンからの受信された応答を比較することと、第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、差異が所定のしきい値を下回るまでコンピューティング・デバイスによって、応答調停プロセスを実施することであって、応答調停プロセスは、コンピューティング・デバイスによって、第１の応答を第２のコグニティブ・エンジンに送信することと、コンピューティング・デバイスによって、第１の応答と第２の応答との間で共通の概念を決定することと、コンピューティング・デバイスによって、第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成することと、コンピューティング・デバイスによって、第２のクエリを第２のコグニティブ・エンジンに送信することと、コンピューティング・デバイスで第２のコグニティブ・エンジンから第２のクエリについて第３の応答を受信することとを含む、実施することと、コンピューティング・デバイスによって、第１のクエリおよび第２のクエリについて受信された応答から第１の最終応答を選択することと、コンピューティング・デバイスによって、第１の最終応答をユーザに表示することとを含む。

コンピュータ・システムであって、１つまたは複数のコンピュータ・プロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによって実行するためにコンピュータ可読記憶媒体に記憶されるプログラム命令であって、プログラム命令は、第１のクエリを受信するためのプログラム命令と、第１のクエリを複数のコグニティブ・エンジンに割り当てるためのプログラム命令であって、複数のコグニティブ・エンジンのそれぞれがデータを処理するための異なる特徴を含む、割り当てるためのプログラム命令と、第１のクエリについて複数のコグニティブ・エンジンのそれぞれから応答を受信したことに応答して、複数のコグニティブ・エンジンからの受信された応答を比較するためのプログラム命令と、第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、差異が所定のしきい値を下回るまで応答調停プロセスを実施するためのプログラム命令であって、応答調停プロセスは、第１の応答を第２のコグニティブ・エンジンに送信するためのプログラム命令と、第１の応答と第２の応答との間で共通の概念を決定するためのプログラム命令と、第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成するためのプログラム命令と、第２のクエリを第２のコグニティブ・エンジンに送信するためのプログラム命令と、第２のコグニティブ・エンジンから第２のクエリについて第３の応答を受信するためのプログラム命令とを含む、実施するためのプログラム命令と、第１のクエリおよび第２のクエリについて受信された応答から第１の最終応答を選択するためのプログラム命令と、第１の最終応答をユーザに表示するためのプログラム命令とを含む、プログラム命令とを備える、コンピュータ・システム。

コンピュータ・プログラム製品であって、１つまたは複数のコンピュータ可読記憶媒体と、１つまたは複数の記憶媒体のうちの少なくとも１つに記憶されるプログラム命令であって、プログラム命令は、第１のクエリを受信するためのプログラム命令と、第１のクエリを複数のコグニティブ・エンジンに割り当てるためのプログラム命令であって、複数のコグニティブ・エンジンのそれぞれがデータを処理するための異なる特徴を含む、割り当てるためのプログラム命令と、第１のクエリについて複数のコグニティブ・エンジンのそれぞれから応答を受信したことに応答して、複数のコグニティブ・エンジンからの受信された応答を比較するためのプログラム命令と、第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、差異が所定のしきい値を下回るまで応答調停プロセスを実施するためのプログラム命令であって、応答調停プロセスは、第１の応答を第２のコグニティブ・エンジンに送信するためのプログラム命令と、第１の応答と第２の応答との間で共通の概念を決定するためのプログラム命令と、第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成するためのプログラム命令と、第２のクエリを第２のコグニティブ・エンジンに送信するためのプログラム命令と、第２のコグニティブ・エンジンから第２のクエリについて第３の応答を受信するためのプログラム命令とを含む、実施するためのプログラム命令と、第１のクエリおよび第２のクエリについて受信された応答から第１の最終応答を選択するためのプログラム命令と、第１の最終応答をユーザに表示するためのプログラム命令とを含む、プログラム命令とを備える、コンピュータ・プログラム製品。

本発明の実施形態による、分散データ処理環境を説明する機能のブロック図である。 本発明の実施形態による、一時的な固定数を有する冗長性を除去するための、部分的な冗長性除去モジュールの動作ステップを描写するフローチャートである。 本発明の実施形態による、部分的な冗長性除去モジュールが冗長性除去を実施する制御フロー・グラフの一例である。 本発明の実施形態による、図３の制御フロー・グラフに関連するメモリ位置およびレジスタのセットについての特徴の表である。 本発明の実施形態による、部分的な冗長性除去モジュールによって処理される図４のメモリ位置Ｍ１についてのグローバルな情報の表である。 本発明の実施形態による、図１のサーバ・コンピュータなどのコンピュータ・システムのコンポーネントのブロック図である。 本発明の実施形態による、２つのコグニティブ・エンジンからのクエリに対して改善された応答を生成するためのシステムの統合したブロック図である。 本発明の実施形態による、提案される方法に関するプログラム・コードを実行するために適切な例示のコンピューティング・システムである。

クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成するための提案される方法は、複数の利点および技術的効果を提供することができる。

２つ以上のコグニティブ・エンジンからの応答を考慮することにより、異なるコグニティブ・エンジンからの異なる応答にアクセスし重みづけすることができる調停ユニットは、個々のコグニティブ・エンジンからの単一の応答と比較して、エンドユーザのクエリに対して改善された応答を生成するように設計して構成することができる。複数のコグニティブ・エンジンを使用することにより、応答は改善された正確性を有することができる。加えて、提案される方法および関連するシステムは、複数のコグニティブ・インスタンスからの応答を、エンドユーザにとってより有用な応答に組み込むことができる。特定の応答についてのデシジョン・ツリーを表示することも可能であり、この場合デシジョン・ツリーは異なるソースからの長所と短所を示す。

さらには、特別な知識分野にしたがって、クエリまたはその部分に対して特殊化されたコグニティブ・インスタンス／コグニティブ・エンジンを活用することが可能である。したがって、エンドユーザがどのコグニティブ・エンジンがクエリに対処し得るかを決定する必要はないが、複数のコグニティブ・エンジンの組み合わされたナレッジが、特定のユーザ・クエリに対してどのコグニティブ・エンジンが最も適当な回答（すなわち、改善された応答）を有し得るかを決定する。

異なるコグニティブ・エンジンからの応答を重み付けすることにより、また、異なるコグニティブ・エンジンからの他の方法およびシステムの変形例が異なる知識分野に特化されていることにより、関連性、自己一貫性の観点で、および特定の応答が完全なクエリまたはその一部のみに対処しているかどうかの観点で応答をチェックすることが可能になることがある。これらのチェックは、コグニティブ・モデレータ・エンジンの自己学習プロセスのために使用することができる。

提案される方法およびシステムによって、わずかに異なる（例えば、コーパスおよびチューニングが異なる）か、または完全に異なっていてもよい（例えば、アルゴリズムが異なる）２つのコグニティブ・エンジンのうちの１つを、特殊化されたコンピューティング・デバイスであるコグニティブ・モデレータ・エンジンとして、２つのコグニティブ・エンジンに関する２つのコグニティブ・サービスのうちの１つにおいて少ないオーバーヘッドで使用することを可能にする。オーバーヘッドが小さくなることにより、コグニティブ・サービスを提供するために要求されるデバイスが少ない合併されたシステムにおいて、中央処理装置（ＣＰＵ）使用率が低くなり、ランダム・アクセス・メモリ（ＲＡＭ）使用率が低くなる。

以下に、提案される方法およびシステムのいくつかのさらなる実施形態を説明する。

一実施形態において、方法は最終応答の範囲の応答を与えるようにコグニティブ・エンジンのうちの少なくとも１つのデータのコーパスを適合することを含むことができる。これは１つまたは複数のナレッジ・グラフを補正することによって達成することができる。代替的に、ナレッジ・グラフの代わりに、１つまたは複数のリンクされたリストを使用することができる。結果的に、データのコーパスを適合することは、将来的にこのコグニティブ・エンジンが最終的に選択される応答に一致し得る応答を生成するように、基本的に欠落している概念をナレッジ・グラフに追加することと等価であり得る。クエリおよび応答は自然言語の形態であることができ、この場合、自然言語は人間によって話されるあらゆる自然言語であってもよい。したがって、ユーザは自身のクエリまたは質問を、コグニティブ・エンジンのシステムにとって自然なやり方に構築することができる。代替的に、クエリはまた、「これはスポーツカーの絵であるか？」などまたは類似のクエリを可能とするために、スタンドアロンのまたは音響センサなどと組合せたセンサ（例えば、画像センサ）からのデータを含んでもよい。

別の実施形態において、方法はまた、２つよりも多いコグニティブ・エンジンへクエリを割り当てることを含むことができ、この場合２つのコグニティブ・エンジンはそれぞれ異なる特徴を有する。異なるデータ・ソース（すなわち、異なるコーパス）、コグニティブ・エンジンの異なるチューニング・パラメータ、または異なるアルゴリズムあるいはその組合せから成るグループから少なくとも１つの特徴を選択することができる。したがって、一般的かつ提案される概念にとって、異なる振る舞いを有し、それにより異なる応答を生成する複数のコグニティブ・エンジンを適用することが有用であり得る。これらの応答は、特定の知識エリアに応じてわずかにまたはかなりの程度までの変化があってもよい。

方法はまた、２つのコグニティブ・エンジンを試験クエリのセットおよび関連する応答によって分類すること（すなわち、スコア値を割り当てること）を含むことができる。試験クエリのセットは、コグニティブ・エンジンの分類を目的として、特定のコグニティブ・エンジンの能力を推論するために予め定義することができる。結果として、方法はまたコグニティブ・エンジンのそれぞれにスコア値を割り当てることもできる。スコア値によって、物理学、哲学、化学、および政治学などの異なる知識分野へのカテゴライズを可能とすることができる。分類は、コグニティブ・エンジンのスタートアップ／訓練手順の間に実施することができる。追加的に、２つよりも多いコグニティブ・エンジンが方法および訓練フェーズの一部として可能とされ得る。そして分類プロセスは、異なる知識エリアを異なるコグニティブ・エンジンに割り当てることができる。

方法は、クエリのタイプを査定すること、およびクエリのタイプに一致しないコグニティブ・エンジンからの応答よりも高い質問／クエリのタイプに一致するスコア値を有するコグニティブ・エンジンの応答を重みづけすることをさらに含むことができる。人間のカテゴリに変換することにより、コグニティブ・エンジンがそのクエリの技術分野における「スペシャリスト」であるという信頼がもたらされる。概念はクエリのタイプとスコア値との間の相対距離に拡大され得る。割り当ておよび重みづけプロセスは、コグニティブ・モデレータ・エンジンによって実施することができる。

コグニティブ・モデレータ・エンジンは、地理的トピック、センサ・タイプ関連のトピック、タイプに関連するトピックから成る群から選択される少なくとも２つのカテゴリにしたがってクエリを部分に分割することができ、部分のそれぞれを異なるコグニティブ・エンジンに割り当てる。結果として、コグニティブ・エンジンのうちの１つの生成される応答のより高い関連性を増大させる。それぞれの部分を割り当てることは、地理学的トピック、センサ・タイプ関連のトピック、および主題関連のトピックから成る群から選択されるカテゴリにしたがって実施される。したがって、方法はコグニティブ・エンジンのカテゴライズならびにクエリを部分に分割することにしたがって適用され得る。

可能な一実施形態において、コグニティブ・エンジンのうちの１つ、およびコグニティブ・モデレータ・エンジンは、同一のものであってもよく、その結果２つのコグニティブ・エンジンのうちの１つが、方法および関連するシステムの２つの基礎的な要素、コグニティブ・エンジンそれ自身ならびにコグニティブ・モデレータ・エンジンの役割を引き継ぐ。これにより貴重なリソースを節約することができ、またコグニティブ・モデレータ・エンジンおよび少なくとも２つのコグニティブ・エンジンを含む３つの部分によるソリューションと比較して、それに匹敵する応答を生成することができる。

コグニティブ・エンジンのうちの１つは、２つのレベル２のコグニティブ・エンジンに接続されるレベル２のモデレータ・システムを含むことができる。したがって、コグニティブ・エンジンおよびコグニティブ・モデレータ・エンジンの階層は、より深くより洗練された応答生成を可能にするように構築される。提案される概念および関連するシステムの深度（すなわち、階層レベルの数）、ならびに幅（すなわち、レベルごとのコグニティブ・モデレータ・エンジンに結合する並列なコグニティブ・エンジンの数）は、理論的に無限であり、ほとんどあらゆるタイプのクエリまたは質問に適用可能な微調整された応答生成器を可能にしている。

方法はまた、自己一貫性の観点で応答を査定することにより、わずかに修正された質問、関連性およびカバレッジに対して同一または類似の回答を呼び出すことにより、クエリを異なるやり方で再構築して関連する部分的な応答を比較することにより、コグニティブ・エンジンの不適当な（すなわち、不足のあるまたは不十分な）応答を除去することを含むことができる。

わずかに修正された複数のクエリに対する応答が同一の応答に帰着する場合、自己一貫性を与えることができる。また、予め定義されたしきい値を適用することができる。応答の比較値が予め定義されたしきい値を下回っている場合、応答は自己一貫性を有していると判断される。

さらなる一実施形態によると、方法はまたそのクエリのタイプに一致しないコグニティブ・エンジンからの応答を除去することを含むことができる。したがって、異なるコグニティブ・エンジンからの応答が著しく異なっている場合、これらの応答は、そのクエリのタイプに一致している標準的なクエリのセット（上で言及した訓練セッションと比較されたい）によって決定される現在のコグニティブ・エンジンのタイプから選択することができる。結果として、有用な応答についての確率がより大きくなる。複数のコグニティブ・エンジンが適用されている場合、その大部分を構築している応答は、少数のグループからの応答よりも好まれる。

方法のさらなる実施形態によると、応答が最初のクエリのすべての部分に対処している場合に、カバレッジを与えることができる。したがって、複数の部分にわかれたクエリに対して欠落している部分的な応答は残っていない。

方法はまた、コグニティブ・エンジンの可用性を示す可用性シグナルに応じてクエリを割り当てるためにコグニティブ・エンジンを選択することを含むことができる。これは、サービスとしてのクラウド・コンピューティング環境で展開されるコグニティブ・エンジンにとって有利な特徴であり得る。コグニティブ・エンジンが「予約済」（すなわち、完全に使用されている）である場合、クエリはこのコグニティブ・エンジンには割り当てることができない。代わりに、複数のコグニティブ・エンジンから別のコグニティブ・エンジンを選ぶことができる。選択基準は、質問のタイプおよびコグニティブ・エンジンのタイプによって影響され得る。クエリを１つの代替的なコグニティブ・エンジンに割り当てる代わりに、クエリを他の複数の代替的なコグニティブ・エンジンに割り当てることも可能であり得る。

方法の有利な一実施形態によると、共通の概念を決定することは、オントロジに基づくファジィ一致方法またはシノニム一致あるいはその両方を適用することを含むことができる。１つのクエリが、１つまたは複数のシノニムの形式で元々の表現を含む複数のクエリに多重化されるように、特定の表現のシノニムを有する辞書を使用することができる。

方法はまた、ナレッジ・グラフ内の知識概念を構成するノード間の欠落したリンクに対処することを含む、第２の質問を生成する能力を有する。ナレッジ・グラフにおいて、第１のリンクは応答のうちの１つを表現している第１の概念と、第３の概念との間に存在することができる。ナレッジ・グラフにおいて、第２のリンクは応答のうちの他のものを表現している第２の概念と、第３の概念との間に存在することができる。しかしながら、第１の概念と第２の概念との間の潜在的なリンクが「欠落しているリンク」を表現し得るように、第１の概念と第２の概念との間にはリンクが存在しなくてもよい。上で言及したように、ナレッジ・グラフの代わりに、提案される方法はリンクされた表のリストで機能することもできる。

さらには、実施形態は、コンピュータもしくはあらゆる命令実行システムによって、またはそれらと関連して使用するための、プログラム・コードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能な関連するコンピュータ・プログラム製品の形態を取ってもよい。本説明の目的として、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれらと関連して使用するための、プログラムを記憶する、通信する、伝搬する、または移送するための手段を含み得るあらゆる装置であることができる。

本説明のコンテキストにおいて、以下の慣例、用語、または表現あるいはその組合せが使用され得る。

用語「改善された応答」は、単一のコグニティブ・エンジンの応答と比較した場合の、一群のコグニティブ・エンジンからの応答（または回答−両方の表現が、本文書のコンテキストにおいてはシノニムとして使用され得る）を意味することができる。この概念によって、２つまたはそれ以上のコグニティブ・エンジンの組み合わされた知識を使用することができる。このことはまた、複数のコグニティブ・エンジンが相互に影響し応答を向上させるために組み合わされるため、複数のコグニティブ・エンジンの大量の情報を使用することと考えることができる。

用語「コグニティブ・エンジン」は、人工知能の科学的規律および信号処理に基づく技術プラットフォームを意味することができる。基本的に、これらのプラットフォームは機械学習、推論、自然言語処理、発話および視覚、人間−コンピュータ対話、ダイアログおよびナレーション生成などを包含することができる。

コグニティブ・エンジンという用語は、開発のために使用されるコンポーネント、および大規模に学習し、目的に基づいて推論し、人間と自然に対話するシステムから得られる振る舞いを有するとして説明することもできる。それにより、人工知能の分野と多くの属性を共有する一方、異種類のコンポーネントの複雑な相互作用を通じてそれ自身を差別化しており、異種類のコンポーネントのそれぞれは自身の個々の成熟した規律を含んでいる。

コグニティブ・エンジンまたはシステムが表現し得るいくつかの特徴は、以下を含む。適合性：情報が変わると、また目的および要求が発展すると、学習することができる。曖昧性を解決し予測不能性に耐えることができる。リアルタイム、またはほぼリアルタイムで動的なデータが与えられるように設計され得る。対話性：ユーザが自身のニーズを快適に定義することができるように、ユーザと容易に対話することができる。また、人と同様に、他のプロセッサ、デバイスおよびクラウド・コンピューティング・サービスと対話することができる。反復性およびステートフル（stateful）：問題のステートメントが曖昧または不十分である場合、質問を問いかけることにより、またはさらなるソース入力を見つけることにより、問題を定義する際に助けとなり得る。プロセスにおける以前の対話を「覚える」−すなわち記憶することができ、特定の用途にその時点で適切な情報を返すことができる。コンテキスト性：意味、文法、時間、場所、適当な領域、規則、ユーザのプロファイル、プロセス、タスク、および目的などの、コンテキスト上の要素を理解し、識別し、および抽出することができる。構造化されたデジタル情報、および構造化されていないデジタル情報の両方を含む、複数の情報源、ならびに感覚的な入力（視覚、ジェスチャ、聴覚、またはセンサによって提供されるもの）を利用することができる。用語「クエリ」は本文書のコンテキストにおいては、コグニティブ・システムに対して、問いかけられた−すなわち問い合わせされた（queried）−質問を意味することができる。ユーザ・インターフェースを介してシステムによって受信された入力に等価であり得る。本文書において、クエリおよび質問という用語は、互換的に使用される場合がある。クエリは、テキストとして、音声入力として、画像として、またはあらゆる種類のセンサ・データ（例えば、温度フィールド・データ、天気データ、流量データ・・・）の形態など、様々な異なるフォーマットで存在することができる。

用語「クエリ」は本文書のコンテキストにおいては、コグニティブ・システムに対して、問いかけられた−すなわち問い合わせされた（queried）−質問を意味することができる。ユーザ・インターフェースを介してシステムによって受信された入力に等価であり得る。本文書において、クエリおよび質問という用語は、互換的に使用される場合がある。クエリは、テキストとして、音声入力として、画像として、またはあらゆる種類のセンサ・データ（例えば、温度フィールド・データ、天気データ、流量データ・・・）の形態など、様々な異なるフォーマットで存在することができる。

用語「応答」は、コグニティブ・システムの出力を意味することができる。質問／クエリに対する回答、と意味することもできる。用語「改善された応答」は、単一のコグニティブ・エンジンの応答と比較した場合の、一群のコグニティブ・エンジンによって生成された質問に対して、より良好、より精密または適切な回答を表現する応答を意味することができる。形容詞「改善された」は、常に単一のクエリおよび単一の回答に適用されるものではない。しかしながら、複数のクエリの平均について、提案されるシステムの応答は、正確性、信頼性、精密さ、および信用能力の観点から改善されたと意味することができる。

用語「差異」−特に異なるコグニティブ・エンジンの応答同士の差異−は、基本的に異なる応答から導出される数値を意味することができる。応答それ自身は、文字列、すなわちいくつかの語句、文章または文章の断片の形態で構造化され得る。文字列は、次元ごとに１語句のベクトルによって表現することができる。そして、文字列比較を、次元ごとに実施することができる。差異は、そのような文字列比較に基づくことができる（例えば、完全に同一であるか、または数文字の差異）−結果が数値となるような文字列比較のためのアルゴリズムは、当業者に既知である。差異を判断する代替的な比較方法はまた、例えば、８０％（または他のあらゆる値）一致となるアルゴリズムである、ファジィ文字列一致に基づくことができる。そのような比較の結果は、その後−正規化の後−しきい値と比較され得る数値として常に表現することができる。

用語「ナレッジ・データベース」は、互いにリンクされ得る概念と事実を記憶する統合されたデータベースを意味することができる。これは、ナレッジ・グラフ（または複数のナレッジ・グラフを相互リンクしたもの）、またはリンクされたリストのセットの形態で実装することができる。

用語「コーパス」は、ナレッジ・データベースの概念と事実の形態のナレッジを意味することができる。この時、「コーパスを適合すること」は、新しい概念または事実あるいはその両方を追加すること、およびナレッジ・データベースのノード間のリンクを追加または変更することにより、ナレッジ・データベースの内容を変更することを意味することができる。

本明細書、および神経心理学、言語学、および言語の理念において、用語「自然言語」は、自然言語、または意識的な計画性を伴わずもしくは故意ではなく使用および繰り返しを通じて人類の間で自然に発展した通常の言語を意味することができる。自然言語は、発話、手話、または筆記などの様々な形態を取ることができる。自然言語は、コンピュータをプログラムするために使用される言語、または論理を研究するための言語などの、構築された形式的な言語とは区別される。

用語「レベル２モデレータ・システム」は、コグニティブ・エンジンおよびコグニティブ・モデレータ・エンジンの、最上位レベルまたはツリーのルートに配置されておらず、より低い、すなわち第２のレベルにある、コグニティブ・モデレータ・エンジンを意味することができる。また、レベル３コグニティブ・モデレータ・エンジン−以降も同様−が可能であり得る。

用語「レベル２コグニティブ・エンジン」は、コグニティブ・エンジンおよびコグニティブ・モデレータ・エンジンのツリーで先端に最も近い葉の位置に位置するコグニティブ・エンジンを意味することができる。より包括的な定義を図５のコンテキストで与える。

以下に図面の詳細な説明を与える。図面におけるすべての命令は概略的なものである。まず、クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成する本発明方法の実施形態のブロック図を与える。その後、さらなる実施形態ならびに、クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成するシステムの実施形態を説明する。

図１は、クエリまたは質問に対する改善された応答を２つの異なるコグニティブ・エンジンから生成する方法１００の実施形態のブロック図を示している。クエリまたは質問は、ユーザから、例えば、ユーザ・インターフェース（ＵＩ）によって受信することができる１０２。ユーザ・インターフェースは、古典的なテキストベースのＵＩ、音声入力画像、もしくは動画入力、その組合せであってもよく、または他の種類のセンサおよび関連するデータによって表現することができる。

方法１００はまた、（ａ）クエリを異なる特徴を有する２つのコグニティブ・エンジン−特徴の観点で異なっている−に割り当てること１０４、（ｂ）２つのコグニティブ・エンジンのそれぞれから応答を受信すること１０６、（ｃ）応答を比較すること１０８、（ｄ）応答間の差異が所定のしきい値を上回ると査定すること１１０に応答して、応答調停プロセスを実施すること１１２、を含む。そのような応答調停プロセスは、第１のコグニティブ・エンジンの応答を第２のコグニティブ・エンジンに与えることを含み、これはまた「ピア・レビュー」と説明することができ、少なくとも２つの応答の共通の概念を決定するか、または１つの応答およびナレッジ・データベースから第２の質問を生成し、それをコグニティブ・エンジンの他の１つに割り当てる。共通の概念を決定するために、ファジィ一致方法、および／またはオントロジ・ベース、および／またはシノニム・ベースの方法を利用することができる。「欠落したリンク」を議論する際、第２の質問／クエリは、上述したように、ナレッジ・グラフまたはリンクされたリスト／表に基づく。

方法１００は、（ｅ）差異が所定のしきい値以下になるまでステップ（ｂ）から（ｄ）を繰り返すこと１１４を、さらに含む。これは、統合または収束を表現し、回答および／または応答へ向かって収束することを表現することができる。最後に、方法は、（ｆ）最終応答として応答の１つを選択し、その最終応答をユーザに表示すること１１６を含む。２つのコグニティブ・エンジンの２つの応答を査定して、等価であるまたは等しい場合、２つの応答のうちの１つを、主要なコグニティブ・マシンの概念によって、または異なるクエリについて選択された応答の固定シーケンスによって、例えば、ランダムに選択することができる。やはり、２つの応答が互いに等価である場合、任意の他の選択プロセスが適用されてもよい。さらには、改善された応答を生成するべく、ステップ（ａ）から（ｆ）が、コグニティブ・モデレータによって実施される。

図２は、提案される方法１００を実施するために関与するコンポーネントの実施形態２００のブロック図を示している。ユーザ・インターフェース２０２は、様々な形態でコグニティブ・モデレータ・エンジン２０４に、例えば、筆記入力、発話としてまたはデータ・ストリーミングとしてあるいはその両方で、質問／クエリを投げかけるように適合される。ユーザ・インターフェース２０２はサポートされる入力フォーマットの範囲に応じて実装される。

コグニティブ・モデレータ・エンジン２０４は、以下の要素を備える特殊化されたコンピューティング・デバイスである：データ・プリプロセッサ２０６は、投げかけられた質問のデータ・フォーマットを検出し、例えば質問がサポートされているフォーマットかどうかなどの基本的なチェックを実施する。コグニティブ・アナライザ２１２は、クエリを解析し、コグニティブ・エンジン２１６、・・・、２２２との通信を扱い、最終的に回答をポストプロセッサ２０８に送信する。自然言語プロセッサ２１０は、コグニティブ・プロセスをサポートして、クエリおよび回答を解釈し、フォローアップの質問またはクエリあるいはその両方および最終的な回答を構築する。

コグニティブ・アナライザ２１２は、試験質問（新しいコグニティブ・エンジンを評価するために使用される）および様々なコグニティブ・エンジン２１６、・・・、２２２での作業から経時的に収集された経験を記憶するためにデータ・ストア２１４を使用し、またコグニティブ・エンジン２１６、・・・、２２２で作業する際この情報を使用する。データ・ストア２１４は、コグニティブ・アナライザ２１２が、新しい概念および事実を、経時的に学習できることを保証する。

ポストプロセッサ２０８は、与えられた回答／応答を要求される出力フォーマットに変換し、改善された応答をユーザ・インターフェース２０２に送信する。

コグニティブ・アナライザ２１２はコグニティブ・モデレータ・エンジン２０４に配置され、プリプロセッサ２０６からの入力は十分に構造化されておらず、コグニティブ・アナライザ２１２がその入力を構造化する。テキストの入力の場合、コグニティブ・アナライザ２１２は以下のやり方で自然言語プロセッサ２１０を利用する。

クエリの分割および割り当ての方法を適用するために、コグニティブ・モデレータ・エンジン２０４はクエリを分析して、それを例えば、以下のような基準によって区別され得る部分に分割する。

地理学的な基準：質問を分割することは、応答の地理学的な正確性の利点を有していることがある。質問「世界規模で最もゴールを決めたのは、どのサッカー選手ですか？」は、例えば、「スイスで最もゴールを決めたのは、どのサッカー選手ですか？」、「イギリスで最もゴールを決めたのは、どのサッカー選手ですか？」に分割される。したがって、異なる地理学的な地域が次から次へと試される。

センサ／アクチュエータ関連の基準：例えば、自動運転システムへの質問：「前方の車を追い越しますか？」など、複雑なシステム中のセンサ／アクチュエータの監視または制御を可能とするために、質問をサブ質問に分割することが実施されてもよい。コグニティブ・モデレータ・エンジン２０４は、そのような質問を分割して、他の可能な車を追跡するための光学センサに、利用可能な出力をチェックしているモータのコントローラに、および急なカーブが差し迫っていないかどうかを確認するナビゲータ・システムに、分配する。

主題による基準：質問をサブ質問に分割することは、クエリを論理的な部分に分割する概念に適用することもできる。質問を論理的な部分に分割するための方法は、自然言語処理に基づく。例えば、質問／クエリは：「宝くじに当たるのと、建物に稲妻が落ちるのはどちらが、可能性が高いか？」である場合がある。そのような質問は、「宝くじに当たる可能性はどれくらいか？」と「建物に稲妻が落ちる可能性はどれくらいか？」に分割することができる。次いで、断片的な質問がコグニティブ・エンジン２１６、・・・、２２２に送信される。１つの質問が複数のコグニティブ・エンジンに送信されてもよい。それぞれのコグニティブ・エンジンの選択は、ソリューションを最適化するために、コグニティブ・エンジンが有する機能（アルゴリズムについての訓練データに応じて）、および可用性に基づく。

コグニティブ・アナライザ２１２についての有用な概念は、ナレッジ・グラフによって学習プロセスを促進することである。異なるエンティティが異なる関係性でリンクされ、例えば、人を関係性「誕生日」について日付でリンクすることができる。コグニティブ・モデレータ・エンジン２０４にとって新しい回答を処理する際、自然言語プロセッサ２１０は、ユーザ・インターフェース２０２からだけでなく、異なるコグニティブ・エンジン２１６、・・・、２２２からのフィードバックからの入力に基づいてナレッジ・グラフについて新しいエンティティおよびレーンを識別することができる。次いでナレッジ・グラフは将来的に、新しい応答をコグニティブ・モデレータ・エンジン２０４に対してより良く構造化するまたは分けるために、利用され得る。ナレッジ・グラフはデータ・ストア２１４、すなわちナレッジ・データベースに記憶される。

十分な応答の統合および収束について、より包括的な理念を与えるために、以下の例を与えることができる：プロセスの統合ステップにおいて、コグニティブ・モデレータ・エンジンの回答は単一の回答、すなわち複数のコグニティブ・エンジンがある状況においてコグニティブ・エンジンのうちの１つのみによって与えられる回答、を考慮しない。この態様は、システム内に５つ以上のコグニティブ・エンジンが関与し得る場合に実装することができる。

収束ステップにおいて、残りの応答（すなわち、ステートメント）は１つのステートメントに組み合わされるか、または結合される。コグニティブ・モデレータ・エンジンは、組み合わされたステートメントが自己一貫性、関連性、およびカバレッジの基準を充足するかどうかをチェックする。組み合わされたオンセットが３つの試験基準のいずれにも失敗する場合、コグニティブ・モデレータ・エンジンは、試験の失敗につながるステートメントの構築を避けて、組み合わされるステートメントを再構築する。

以下は、分かりやすい例であり得る：「１５３について特別なことは何か？」

６つのコグニティブ・エンジンによって、回答が与えられ得る：
Ａ） １５３は、１から１７までの最初の整数の合計であり、１５３個のボールから三角形を形成する際、
Ｂ） 三角形はそれぞれ１７個のボールの辺の長さを有する。
Ｃ） １５３は、最初の５つの階乗の合計１！＋２！＋３！＋４！＋５！である。
Ｄ） １５３は、数字の三乗の合計１^３＋５^３＋３^３である
Ｅ） 毎時１５３マイル（２４６ｋｍ）の奇跡的なピッチ
Ｆ） 車モデル１５３は特別である。
Ｇ） アラバマ州道１５３号線は特別である。

また不足のある、または不十分な回答の除去は、コグニティブ・モデレータ・エンジンによって質問を再構築することにより実施することができる：数字１５３の一意な属性は何か？何によって他から１５３を区別するか？自己一貫性についてのチェックは以下を提供する：コグニティブ・エンジンＤ）、Ｅ）およびＦ）は、「数字１５３の一意な属性」を問う再構築された質問において同一の回答を与えない。

関連性についてのチェック：回答として車のモデルを与えるコグニティブ・エンジンＥ）、およびハイウェイ番号を与えるコグニティブ・エンジンＦ）は、数字そのものについてのステートメントを作成していないため、関連性の試験に失敗した。コグニティブ・エンジンＡ）、Ｂ）およびＣ）からの回答だけが、試験を文法的に説明することができる。

この例では、十分な回答の統合および収束は次の通りである：例であるため、すべての回答Ａ）〜Ｆ）は第１のステップを通過したと仮定することができる。統合ステップは単一の回答Ｅ）、Ｄ）、およびＦ）を除去するが、これはこれらのステートメントは単一のコグニティブ・エンジンにより与えられただけであり、かつ他の回答とはどうやっても関連しないからである。収束ステップはコグニティブ・エンジンＡ）、Ｂ）、およびＣ）の回答は数値１５３の除外された表現であることをもたらす。収束された回答は：「数字１５３は、Σｉ（ｉ＝１〜１７）＝１５３、１！＋２！＋３！＋４！＋５！＝１５３、および１^３＋５^３＋３^３＝１５３といった様々な表現について特別である。」となり得る。

図３は、方法１００に関与する要素のブロック図３００を時系列で示している。図面において、上から下へ向かって時間が経過するものと仮定することができる。一番左の破線は、異なる時点における、コグニティブ・モデレータ・エンジン２０４（図２の２０４と比較されたい）を表している。方法１００の主要なフェーズは、水平方向の実線で分けられている。また３つのコグニティブ・エンジン２１６、２１８、２２０が関与していると仮定することができる。初めに、質問３０２が第１の部分、第２の部分、および第３の部分によって表される分割された質問３０４に分けられ、分割された質問３０４の下の破線上に四角で表記され得るように、コグニティブ・モデレータ・エンジン２０４は、コグニティブ・エンジン２１６、２１８、２２０についての知識に基づいて質問またはクエリの分割を実施する。

部分的な質問３１０に対して、第１の部分、第２の部分、および第３の部分用の部分的な応答３１２が、コグニティブ・エンジン２１６、２１８、２２０によって生成される。これはまた、ブロック３０６およびブロック３０６から延びる破線のタイムラインの数字１、２、３によっても表現されている。次のフェーズ３１４において、コグニティブ・モデレータ・エンジン２０４は、直接的に不足のあるまたは不十分な回答を除去し３１６、部分的な回答３１８を導く。代替的に、フェーズ３１４の次のステップで、コグニティブ・エンジン２１６、２１８、２２２によってピア・レビュー３２０が実施され、次の部分的な応答３２２が実現されてもよい。この次のステップは、フェーズ３１４内の水平な破線によって表記されている。この部分的なプロセスは、コグニティブ・モデレータ・エンジン２０４によって統制され、フェーズ３１４の最後の線のセット３２４および結果としての部分的な応答３２６によって表記される。

最終的なフェーズ３２８において、コグニティブ・モデレータ・エンジン２０４は部分的な応答３２６を統合して、改善された応答または改善された回答３０８とする。

コグニティブ・モデレータ・エンジン２０４は、エンジンの最初の評価から、また質問の分割および割り当てについての回答発見プロセスに対する以前の寄与から得られたコグニティブ・エンジン２１６、２１８、２２０についての知識を使用する。コグニティブ・エンジン２１６、２１８、２２０が回答３１２を与えた後、いずれかのコグニティブ・エンジン自身が不足のある不十分な回答を除去するか、またはピア・レビュー（コグニティブ・エンジンＡがコグニティブ・エンジンＢからの回答を評価する）からの結果が、除去ステップのために使用される。最終的に、コグニティブ・モデレータ・エンジン２０４は、部分的な回答３２６を改善された応答３０８に統合して収束させる。

回答のフィルタリングを容易にするために、ピア・レビューおよび最初のクエリに関連する応答の収束が、図４に示されるように分析され、カテゴライズされる。図４のブロック図４００は、ブロック４０２、４０４、４０６内のコグニティブ・モデレータ・エンジン２０４のタスク、ならびに矢印４０８、４１０、４１２、４１４、４１６、４１８によって表現されるコグニティブ・エンジン２１６、２１８、２２２との対話を含む。ボックス４０２、４０４、４０６のうちの１つからの外向きの矢印は、コグニティブ・モデレータ・エンジン２０４からコグニティブ・エンジン２１６、２１８、２２２のうちの少なくとも１つへの信号フローを表しており、ボックス４０２、４０４、４０６のうちの１つへの内向きの矢印はコグニティブ・モデレータ・エンジン２０４からコグニティブ・エンジン２１６、２１８、２２２のうちの少なくとも１つからの信号フローを表している。

特に、矢印４０８は質問がコグニティブ・エンジン２１６、２１８、２２２のうちの１つへ渡されたことを表している。矢印４１０はコグニティブ・エンジン２１６、２１８、２２２からの複数の回答の受信を表している。矢印４１２は、コグニティブ・エンジン２１６、２１８、２２２のうちの少なくとも１つからの制御の質問／コグニティブ・エンジン２１６、２１８、２２２のうちの少なくとも１つによるピア・レビューの問いかけを表している。矢印４１４は、ピア・フィードバックの受信された回答を表している。矢印４１６は検証質問を問いかけることを表しており、矢印４１８は関連する複数の回答を表している。

統合および収束アルゴリズムは、次のように構成され、コグニティブ・エンジン２１６、２１８、２２２がコグニティブ・モデレータ・エンジン２０４によって提示された質問に回答すると、モデレータ（コグニティブ・モデレータ・エンジン２０４の省略形）はナレッジ・グラフの形態の知識を利用して複数の回答を相対的に評価する。評価は、ナレッジ・グラフを使用して回答を合成するために、外れ値である回答を特定し、関連する回答をグループ化する。この情報を使用して、コグニティブ・モデレータ・エンジンは、単一のインスタンスからはい／いいえの回答を得るために構築される、合成された回答を評価するための第２の質問に回答する。回答は再度評価され、合成回答を調査する質問は、コグニティブ・エンジン２１６、２１８、２２２が共通のステートメントに合意するまで再反復される。共通のステートメントについての合意は、ユーザ定義の５１％から１００％の範囲のしきい値に依存しており、しきい値１００％とは、コグニティブ・エンジン２１６、２１８、２２２のすべてが「はい」と回答するか、またはそのすべてが「いいえ」と回答することを意味している。

モデレータは、与えられた回答にポストプロセスを行い、レーティングを適用することにより単一のコグニティブ・エンジンの「ナレッジ・ギャップ」を見つけ出す。レーティングはエンジン特有であり、主題（例えば、微生物学、暗号化手法・・・）によって分類される複数の次元を有している。レーティングは、訓練データおよびエンジンが更新される都度、すなわちそれぞれのエンジンが主題特有の信頼水準（confidence level）を受信する都度、既知の回答を伴う一連の質問で評価される。このシナリオにおいて、レーティングは、単一エンジンの回答を重みづけされた平均（重みがレーティングである）と組合せることによって、はい／いいえの質問に対する正しい回答を見つけ出すために使用される。単一エンジンの「ナレッジ・ギャップ」は、最も簡単な構成においてモデレータによって正しい回答で作成された質問である訓練データを追加することによって満たされる。この点において、モデレータの第１のレベルの質問に対するすべてのエンジンの回答がすべて一貫するまで、すなわち回答同士の相対的な評価に外れ値がなくなるまで、プロセスは反復様式で繰り返される。

図５はコグニティブ・モデレータ・エンジンの階層５００の実施形態のブロック図を示している。ここでは、コグニティブ・モデレータ・エンジンは上位レベルに配置されているだけでなく、下位レベルにも配置されている。上で議論したように、ユーザ・インターフェース２０２が、レベル１でコグニティブ・モデレータ５０４に接続されている。しかしながら、位置５０８では、期待されるコグニティブ・エンジン２の代わりに、別のコグニティブ・モデレータ５０８が存在しており、コグニティブ・エンジン５１４、・・・、５２０に接続されている。上位レベルにあるコグニティブ・モデレータ５０４は、他のあらゆるコグニティブ・エンジンのように第２のレベルでコグニティブ・モデレータ・エンジン５０８に接続されている。場合によっては、コグニティブ・モデレータ５０４は、通信相手の１つがコグニティブ・エンジンの代わりにコグニティブ・モデレータであることを認識しない。図２のコンテキストにおいて説明したように、コグニティブ・エンジン５０６、５１０、・・・、５１２はレベル１のコグニティブ・モデレータ５０４に接続されている。

図６で示したように、コグニティブ・モデレータ・エンジンの階層６００の概念は、さらなるレベルに拡大することもできる。コグニティブ・モデレータ・エンジン５０４、６０８、６１０、６１２、６１４は、第１レベルおよび第２レベルに配置されているだけでなく、下位レベルにも配置されている。ユーザ・インターフェース２０２には変更がないままである。分かりやすくするため、コグニティブ・モデレータ・エンジン（ＣＭ：cognitive moderator engine）およびコグニティブ・エンジン（ＣＥ：cognitive engine）を符号なしに示す。当業者であれば、コグニティブ・モデレータおよびコグニティブ・エンジンのより複雑な階層を想像することができよう。

一般的なやり方として、以下の規則を反映することができる限り、コグニティブ・モデレータ（コグニティブ・モデレータ・エンジンの省略形）およびコグニティブ・エンジンをあらゆる可能なツリー構造に配置構成することができる：（１）ルート位置はＵＩに接続されるコグニティブ・モデレータ・エンジンでなければならない。（２）すべての葉の位置はコグニティブ・インスタンスでなければならない。（３）葉の位置はコグニティブ・エンジンであってもよい。（４）それぞれのコグニティブ・モデレータ・エンジンは、次の下位レベルの少なくとも２つのオブジェクトと接続され、またより上のレベルの１つのコグニティブ・モデレータ・エンジンに接続される。

図７は、上図と比較した場合の別の態様の下、２つの異なるコグニティブ・エンジン６０２、６０４からのクエリに改善された応答を生成するためのシステムの統合したブロック図を示している。システムは、クエリまたは質問を受信するように構成されるユーザ・インターフェース２０２と、コグニティブ・モデレータ・エンジン２０４とを備え、コグニティブ・モデレータ・エンジン２０４は、クエリを異なる特徴を有する２つのコグニティブ・エンジン７０２、７０４に割り当てるように構成される割り当てユニット７０６と、、２つのコグニティブ・エンジン７０２、７０４のそれぞれからの応答を受信するように構成される受信ユニット７０８と、応答を比較するように構成される比較モジュール７１０と、応答同士の間の差異が所定のしきい値を上回ると査定することに応答して応答調停プロセスを実施するように構成される査定モジュール７１２と、を備える。

応答調停プロセスを実施することは、コグニティブ・エンジン７０２、７０４のうちの第１のエンジンの応答をコグニティブ・エンジン７０２、７０４のうちの第２のエンジンに与えること、応答の少なくとも２つの共通の概念を決定すること、および／または応答およびナレッジ・データベースから第２の質問を生成してそれをコグニティブ・エンジンの他の１つに割り当てること、を含む。

コグニティブ・モデレータ・エンジン２０４はまた、差異が所定のしきい値を下回るようになるまで、割り当てユニット７０６、受信ユニット７０８、比較モジュール７１０、および査定モジュール７１２をアクティブ化するように構成される。システムはまた、改善された応答３０８を生成するために、最終応答として応答のうちの１つを選択するように構成される選択ユニット７１４を備える（図３と比較されたい）。

本発明の実施形態は、プログラム・コードを記憶または実行あるいはその両方を行うための適切なプラットフォームに関わらず、仮想的なあらゆるタイプのコンピュータとともに実装することができる。図８は、例として、提案される方法に関連するプログラム・コードを実行するために適切なコンピューティング・システム８００を示している。コンピューティング・システム８００は、クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成するためのシステムについて、主に入力／出力エンジンとして使用され得ることに留意されたい。

コンピューティング・システム８００は、適切なコンピュータ・システムのただの一例であり、本明細書で説明される本発明の実施形態の使用または機能性の範囲に関していかなる制限を提案するように意図されていない。とにかく、コンピュータ・システム８００は、本明細書で上述の機能性のあらゆるものを実装することができるか、または実施することができるか、あるいはその両方である。コンピュータ・システム８００には、多くの他の汎用または特殊目的の、コンピューティング・システム環境または構成で動作可能である、コンポーネントが存在する。コンピュータ・システム／サーバ８００での使用に適切であり得る良く知られているコンピューティング・システム、環境、または構成あるいはそれらの組合せの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップのデバイス、マルチ・プロセッサ・システム、マイクロ・プロセッサベースのシステム、セット・トップ・ボックス、プログラム可能家庭用電子機器、ネットワークＰＣ、ミニ・コンピュータ・システム、メインフレーム・コンピュータ・システム、および上記システムまたはデバイスのいずれかを含むデバイス分散クラウド・コンピューティング環境などを含むがそれに限定しない。コンピュータ・システム／サーバ８００は、コンピュータ・システム８００によって実行されるプログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的なコンテキストで説明され得る。一般的に、プログラム・モジュールは、特定のタスクを実施するか、または特定の抽象的なデータ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータ・システム／サーバ８００は、タスクが通信ネットワークを通じてリンクされたリモート処理デバイスによって実施される分散クラウド・コンピューティング環境において実用化することができる。分散クラウド・コンピューティング環境において、プログラム・モジュールはローカルおよびリモートの両方のメモリ記憶デバイスを含むコンピュータ・システム記憶媒体に配置することができる。

図面において示されるように、コンピュータ・システム／サーバ８００が汎用コンピューティング・デバイスの形態で示されている。コンピュータ・システム／サーバ８００のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット８０２、システム・メモリ８０４、およびシステム・メモリ８０４を含む様々なシステム・コンポーネントをプロセッサ８０２に連結するバス８０６を含むことができるが、それに限定されない。バス８０６は、バス構造のいくつかのタイプのうちの任意の１つまたは複数を表しており、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、およびプロセッサまたは様々なバス・アーキテクチャのいずれかを使用するローカル・バスを含む。限定ではなく例として、そのようなアーキテクチャはインダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、エンハンストＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカル・バス、およびＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスを含む。コンピュータ・システム／サーバ８００は、典型的には様々なコンピュータ・システム可読媒体を含む。そのような媒体は、コンピュータ・システム／サーバ８００によってアクセス可能なあらゆる利用可能な媒体であることができ、揮発性および非揮発性の媒体、ならびにリムーバブルおよび非リムーバブルの媒体の両方を含む。

システム・メモリ８０４は、ランダム・アクセス・メモリ（ＲＡＭ）８０８またはキャッシュ・メモリ８１０あるいはその両方などの揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム／サーバ８００は、他のリムーバブル／非リムーバブルの、揮発性／非揮発性のコンピュータ・システム記憶媒体をさらに含むことができる。単なる例として、非リムーバブル、非揮発性の磁気媒体（典型的には「ハード・ドライブ」と称され、図示せず）からの読み取りおよびそれへの書き込みのための記憶装置システム８１２を設けることができる。図示していないが、リムーバブル、非揮発性の磁気ディスク（例えば、「フロッピー・ディスク」）からの読み取りおよびそれへの書き込みのための磁気ディスク・ドライブ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたは他の光学媒体などのリムーバブル、非揮発性の光学ディスクからの読み取りおよびそれへの書き込みのための光学ディスク・ドライブを設けることができる。そのような事例において、それぞれは１つまたは複数のデータ媒体インターフェースによってバス８０６へ接続することができる。以下でさらに描写され説明されるように、メモリ８０４は、本発明の実施形態の機能を実行するように構成されるプログラム・モジュールのセット（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含むことができる。

プログラム・モジュール８１６のセット（少なくとも１つ）を有するプログラム／ユーティリティは、限定ではなく例として、メモリ８０４に記憶することができ、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データも同様である。オペレーティング・システムのそれぞれ、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データまたはそのいくつかの組合せは、ネットワーク環境の実装を含むことができる。プログラム・モジュール８１６は、一般的に本明細書において説明されるような本発明の実施形態の、機能または方法あるいはその両方を実行する。

コンピュータ・システム／サーバ８００はまた、キーボード、ポインティング・デバイス、ディスプレイ８２０、などの１つもしくは複数の外部デバイス８１８、ユーザがコンピュータ・システム／サーバ８００と対話できるようにする１つもしくは複数のデバイス、またはコンピュータ・システム／サーバ８００が１つもしくは複数の他のコンピューティング・デバイスと通信できるようにするあらゆるデバイス（例えば、ネットワーク・カード、モデムなど）あるいはその組合せと通信することができる。そのような通信は入力／出力（Ｉ／Ｏ）インターフェース８１４を介して行うことができる。さらになお、コンピュータ・システム／サーバ８００は、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、またはネットワーク・アダプタ８２２を介するパブリック・ネットワーク（例えば、インターネット）あるいはその組合せなどの１つまたは複数のネットワークと通信することができる。描写されるように、ネットワーク・アダプタ８２２は、バス８０６を介してコンピュータ・システム／サーバ８００の他のコンポーネントと通信することができる。図示していないが、他のハードウェアまたはソフトウェアあるいはその両方のコンポーネントが、コンピュータ・システム／サーバ８００と併せて使用することができることが理解されるべきである。例として、マイクロコード、デバイス・ドライバ、冗長化処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ記憶装置システムなどが挙げられるが、それに限定されない。

追加的に、クエリに対する改善された応答を２つの異なるコグニティブ・エンジンから生成するためのシステム８００は、バス・システム８０６に接続されていても良い。

例示を目的として本発明の様々な実施形態の説明を提示してきたが、網羅的であること、または開示された実施形態に限定することは意図されていない。説明された実施形態の範囲および思想から逸脱することなく、多くの修正形態および変形形態が当業者にとって明らかとなろう。本明細書において使用される用語法は、実施形態の原理、実践的な用途もしくは市場で見られる技術に対する技術的な改善を最良に説明するため、または当業者の他の者が本明細書において開示される実施形態を理解できるように選ばれたものである。

本発明は、システム、方法、またはコンピュータ・プログラム製品あるいはその組合せとして具体化することができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。

媒体は、電子的、磁気的、光学的、電磁気的、赤外、または伝搬媒体用の半導体システムであってもよい。コンピュータ可読媒体の例としては、半導体またはソリッド・ステートのメモリ、磁気テープ、リムーバブルのコンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性の磁気ディスク、および光学ディスクを挙げることができる。光学ディスクの現在の例としては、コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクト・ディスク読み取り／書き込み（ＣＤ−Ｒ／Ｗ）、ＤＶＤおよびＢｌｕ−Ｒａｙディスクが挙げられる。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置デバイス、磁気記憶装置デバイス、光学記憶装置デバイス、電磁気記憶装置デバイス、半導体記憶装置デバイスまたは前述のあらゆる適切な組合せであってもよいが、それに限定はしない。コンピュータ可読記憶媒体のより具体的な例の非網羅的な列挙としては、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、命令を記録されて有するパンチカードまたは溝に刻まれた構造などの機械的にエンコードされたデバイス、および前述のあらゆる適切な組合せ、を含む。本明細書において使用される場合、コンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波路もしくは他の送信媒体（例えば、光ファイバ・ケーブルを通過する光パルス）を介して伝搬する電磁波、または電線を介して送信される電気的信号など、一過性の信号そのものであると解釈されてはならない。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、個別のコンピューティング／処理デバイスに、あるいは、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはその組合せなどのネットワークを介して、外部のコンピュータもしくは外部の記憶装置デバイスに、ダウンロードすることができる。ネットワークは、銅の送信ケーブル、光学送信ファイバ、無線送信、ルータ、ファイヤウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはその組合せを備えることができる。それぞれのコンピューティング／処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、個別のコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはスモールトーク（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来的な手続き型プログラミング言語もしくは類似するプログラミング言語、を含む１つまたは複数のプログラミング言語のあらゆる組合せで記述された、ソース・コードまたはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、すべてユーザのコンピュータ上で、一部はユーザのコンピュータ上でスタンドアロンのソフトウェア・パッケージとして、一部はユーザのコンピュータ上かつ一部は遠隔のコンピュータ上で、またはすべて遠隔のコンピュータ上もしくはサーバ上で、実行することができる。後者のシナリオにおいて、遠隔のコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含むあらゆるタイプのネットワークを介してユーザのコンピュータに接続することができるか、または接続は外部のコンピュータ（例えば、インターネット・サービス・プロバイダを使用するインターネットを介して）に対してなされてもよい。一部の実施形態において、例えば、プログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路を個別化することができる。

本発明の態様は本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら本明細書において説明される。フローチャート図またはブロック図あるいはその両方のそれぞれのブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装され得ることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／作用を実装する手段を作成すべく、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて機械を作るものであってよい。これらのコンピュータ可読プログラム命令はまた、命令を記憶して有するコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／作用の態様を実装するための命令を含む製造物品を備えるべく、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに特定のやり方で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／作用を実装するべく、コンピュータ実装処理を作るために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または別のデバイス上で一連の動作可能なステップを実施させるものであってもよい。

図面中のフローチャートまたはブロック図あるいはその両方は、本発明の様々な実施形態にしたがって、システム、方法、およびコンピュータ・プログラム製品の可能な実装形態の、アーキテクチャ、機能性、および動作を図示している。この点において、フローチャートまたはブロック図のそれぞれのブロックは、指定される論理機能を実装するための１つまたは複数の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表現することができる。一部の代替的な実装形態において、ブロックにおいて示した機能は図面で示した順とは異なって発生してもよい。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、またはブロックは関与する機能性によっては、時に逆の順で実行されてもよい。ブロック図またはフローチャート図あるいはその両方のそれぞれのブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定される機能もしくは作用を実施する、または特殊目的ハードウェアおよびコンピュータ命令の組合せを実行する、特殊目的ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。

本明細書で使用される用語法は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図されていない。本明細書で使用される場合、コンテキストが明確にそうではないと指示しない限り、単数形「１つの（a）」、「１つの（an）」および「その（the）」は複数形を同様に含むように意図されている。用語「を含む（comprises）」または「を含む（comprising）」あるいはその両方は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、またはコンポーネントあるいはその組合せの存在を特定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネントまたはそのグループあるいはその組合せの、存在または追加を排除しないことが、さらに理解されよう。

以下の特許請求の範囲における、対応する構造、材料、作用、およびすべての手段またはステップ・プラス・ファンクション要素の等価物は、具体的に特許請求されるように、他の特許請求される要素と組合せて機能を実施するために、あらゆる構造、材料、または作用を含むことを意図されている。例示および説明を目的として、本発明の説明を提示してきたが、網羅的であること、または開示された形式の発明に限定することは意図されていない。本発明の範囲および思想から逸脱することなく、多くの修正形態および変形形態が当業者にとって明らかとなろう。実施形態は、本発明の原理および実践的な用途を最良に説明するために選ばれ説明されたものであり、企図される特定の使用に適した様々な修正形態を伴う様々な実施形態のために本発明を、当業者の他の者に理解させることができる。

Claims (25)

1. 方法であって、
   第１のクエリを、コンピューティング・デバイスで受信することと、
   前記コンピューティング・デバイスによって、各々がデータを処理するための異なる特徴を含む複数のコグニティブ・エンジンに、前記第１のクエリを割り当てることと、
   前記第１のクエリについて前記複数のコグニティブ・エンジンの各々から応答を受信したことに応答して、前記コンピューティング・デバイスによって、前記複数のコグニティブ・エンジンから受信された前記応答を比較することと、
   第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、前記差異が前記所定のしきい値を下回るまで前記コンピューティング・デバイスによって、応答調停プロセスを実施することであって、前記応答調停プロセスは、
   前記コンピューティング・デバイスによって、前記第１の応答を前記第２のコグニティブ・エンジンに送信することと、
   前記コンピューティング・デバイスによって、前記第１の応答と前記第２の応答との間で共通の概念を決定することと、
   前記コンピューティング・デバイスによって、前記第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成することと、
   前記コンピューティング・デバイスによって、前記第２のクエリを前記第２のコグニティブ・エンジンに送信することと、
   前記コンピューティング・デバイスで前記第２のコグニティブ・エンジンから前記第２のクエリについて第３の応答を受信することと
   を含む、前記実施することと、
   前記コンピューティング・デバイスによって、前記第１のクエリおよび前記第２のクエリについて受信された前記応答から第１の最終応答を選択することと、
   前記コンピューティング・デバイスによって、前記第１の最終応答をユーザに表示することと
   を含む、方法。
2. 前記コンピューティング・デバイスによって、選択された前記第１の最終応答に基づいて第２の最終応答を生成するように、前記複数のエンジンのうちの少なくとも１つのコグニティブ・エンジンに関連付けられるデータのコーパスを適合することをさらに含む、請求項１に記載の方法。
3. 前記第１のクエリ、前記第２のクエリ、および受信された前記応答が、自然言語の形態である、請求項１または２に記載の方法。
4. 前記異なる特徴の少なくとも１つの特徴が、データ・ソース、チューニング・パラメータ、およびアルゴリズムから成る群から選択される、請求項１ないし３のいずれか一項に記載の方法。
5. 前記コンピューティング・デバイスによって、試験クエリのセットおよび試験応答のセットに基づいて、前記複数のコグニティブ・エンジンを分類することであって、スコア値が前記複数のコグニティブ・エンジンの各コグニティブ・エンジンに割り当てられる、前記分類すること
   をさらに含む、請求項１ないし４のいずれか一項に記載の方法。
6. 前記コンピューティング・デバイスによって、前記第１のクエリを査定することと、
   前記コンピューティング・デバイスによって、前記第１のクエリについて、前記第１のコグニティブ・エンジンが前記第２のコグニティブ・エンジンのスコア値よりも大きいスコア値を有していると特定することと
   をさらに含む、請求項５に記載の方法。
7. 前記コンピューティング・デバイスによって、前記第１のクエリを第１のカテゴリに関連付けられる第１の部分と第２のカテゴリに関連付けられる第２の部分とに分割することであって、前記第１のカテゴリおよび前記第２のカテゴリが、地理学的トピック、センサ・タイプ関連のトピック、および主題関連のトピックから成る群から選択される、前記分割することと、
   前記コンピューティング・デバイスによって、前記第１のクエリの前記第１の部分および前記第２の部分のそれぞれを、前記複数のコグニティブ・エンジンのうちの異なるコグニティブ・エンジンに割り当てることと
   をさらに含む、請求項１ないし６のいずれか一項に記載の方法。
8. 前記第１のクエリの前記第１の部分および前記第２の部分のそれぞれを割り当てることが、地理学的トピック、センサ・タイプ関連のトピック、および主題関連のトピックから成る群から選択されるカテゴリに基づいている、請求項７に記載の方法。
9. 前記第１のコグニティブ・エンジンが、前記コンピューティング・デバイスである、請求項１ないし８のいずれか一項に記載の方法。
10. 前記第２のコグニティブ・エンジンが、前記コンピューティング・デバイスである、請求項１ないし９のいずれか一項に記載の方法。
11. 前記コンピューティング・デバイスによって、前記第１のクエリを異なるやり方で再構築して関連する部分的な応答を比較することにより、自己一貫性、関連性、およびカバレッジによって定義される査定に基づいて、コグニティブ・エンジンからの少なくとも１つの不適当な応答を除去すること
    をさらに含む、請求項１ないし１０のいずれか一項に記載の方法。
12. 自己一貫性が、少なくとも２つの異なるクエリに対する単一の応答によって定義される、請求項１１に記載の方法。
13. 前記除去される不適当な応答が、前記第１のクエリについてのクエリのタイプに一致しない、請求項１１または１２に記載の方法。
14. カバレッジが、前記第１のクエリのすべての部分に対処する応答によって定義される、請求項１ないし１３のいずれか一項に記載の方法。
15. 前記コンピューティング・デバイスによって、前記複数のコグニティブ・エンジンの各コグニティブ・エンジンの可用性に基づいて、前記第１のクエリを割り当てるための前記複数のコグニティブ・エンジンを選択すること
    をさらに含む、請求項１ないし１４のいずれか一項に記載の方法。
16. 前記コンピューティング・デバイスによって、前記第１のクエリについての共通の概念を決定することが、オントロジに基づくファジィ一致方法またはシノニム一致あるいはその両方を適用することを含む、請求項１ないし１５のいずれか一項に記載の方法。
17. コンピュータ・システムであって、
    １つまたは複数のコンピュータ・プロセッサと、
    １つまたは複数のコンピュータ可読記憶媒体と、
    前記１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによる実行のために前記コンピュータ可読記憶媒体に記憶されるプログラム命令であって、前記プログラム命令は、
    第１のクエリを受信するためのプログラム命令と、
    前記第１のクエリを複数のコグニティブ・エンジンに割り当てるためのプログラム命令であって、前記複数のコグニティブ・エンジンの各々がデータを処理するための異なる特徴を含む、前記割り当てるためのプログラム命令と、
    前記第１のクエリについて前記複数のコグニティブ・エンジンの各々から応答を受信したことに応答して、前記複数のコグニティブ・エンジンからの受信された前記応答を比較するためのプログラム命令と、
    第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、前記差異が前記所定のしきい値を下回るまで応答調停プロセスを実施するためのプログラム命令であって、前記応答調停プロセスは、
    前記第１の応答を前記第２のコグニティブ・エンジンに送信するためのプログラム命令と、
    前記第１の応答と前記第２の応答との間で共通の概念を決定するためのプログラム命令と、
    前記第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成するためのプログラム命令と、
    前記第２のクエリを前記第２のコグニティブ・エンジンに送信するためのプログラム命令と、
    前記第２のコグニティブ・エンジンから前記第２のクエリについて第３の応答を受信するためのプログラム命令と
    を含む、前記実施するためのプログラム命令と、
    前記第１のクエリおよび前記第２のクエリについて受信された前記応答から第１の最終応答を選択するためのプログラム命令と、
    前記第１の最終応答をユーザに表示するためのプログラム命令と
    を含む、前記プログラム命令と
    を備える、コンピュータ・システム。
18. 前記１つまたは複数のコンピュータ可読記憶媒体に記憶され、プロセッサによって実行されると、前記プロセッサに
    前記選択された第１の最終応答に基づいて第２の最終応答を生成するために、前記複数のエンジンのうちの少なくとも１つのコグニティブ・エンジンに関連付けられるデータのコーパスを適合させる、
    プログラム命令をさらに備える、請求項１７に記載のコンピュータ・システム。
19. 前記第１のクエリ、前記第２のクエリ、および受信された前記応答が、自然言語の形態である、請求項１７または１８に記載のコンピュータ・システム。
20. 前記異なる特徴の少なくとも１つの特徴が、データ・ソース、チューニング・パラメータ、およびアルゴリズムから成る群から選択される、請求項１７ないし１９のいずれか一項に記載のコンピュータ・システム。
21. 前記１つまたは複数のコンピュータ可読記憶媒体に記憶され、プロセッサによって実行されると、前記プロセッサに
    試験クエリのセットおよび試験応答のセットに基づいて、前記複数のコグニティブ・エンジンを分類することであって、スコア値が前記複数のコグニティブ・エンジンの各コグニティブ・エンジンに割り当てられる、前記分類すること、
    を行わせるプログラム命令をさらに含む、請求項１７ないし２０のいずれか一項に記載のコンピュータ・システム。
22. 前記１つまたは複数のコンピュータ可読記憶媒体に記憶され、プロセッサによって実行されると、前記プロセッサに
    前記第１のクエリを査定することと、
    前記第１のコグニティブ・エンジンが、前記第１のクエリについての前記第２のコグニティブ・エンジンのスコア値よりも大きいスコア値を有していると特定することと
    を行わせるプログラム命令をさらに含む、請求項２１に記載のコンピュータ・システム。
23. 前記１つまたは複数のコンピュータ可読記憶媒体に記憶され、プロセッサによって実行されると、前記プロセッサに
    前記第１のクエリを第１のカテゴリに関連付けられる第１の部分と第２のカテゴリに関連付けられる第２の部分とに分割することであって、前記第１のカテゴリおよび前記第２のカテゴリは、地理学的トピック、センサ・タイプ関連のトピック、および主題関連のトピックから成る群から選択される、前記分割することと、
    前記第１のクエリの前記第１の部分および前記第２の部分のそれぞれを、前記複数のコグニティブ・エンジンからの異なるコグニティブ・エンジンに割り当てることと
    を行わせるプログラム命令をさらに含む、請求項１７ないし２０のいずれか一項に記載のコンピュータ・システム。
24. 前記第１のクエリの前記第１の部分および前記第２の部分のそれぞれを割り当てるためのプログラム命令が、地理学的トピック、センサ・タイプ関連のトピック、および主題関連のトピックから成る群から選択されるカテゴリに基づいている、請求項２３に記載のコンピュータ・システム。
25. コンピュータ・プログラム製品であって、
    １つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数の記憶媒体のうちの少なくとも１つに記憶されるプログラム命令であって、前記プログラム命令は、
    第１のクエリを受信するためのプログラム命令と、
    前記第１のクエリを複数のコグニティブ・エンジンに割り当てるためのプログラム命令であって、前記複数のコグニティブ・エンジンの各々がデータを処理するための異なる特徴を含む、前記割り当てるためのプログラム命令と、
    前記第１のクエリについて前記複数のコグニティブ・エンジンの各々から応答を受信したことに応答して、前記複数のコグニティブ・エンジンからの受信された前記応答を比較するためのプログラム命令と、
    第１のコグニティブ・エンジンからの第１の応答と、第２のコグニティブ・エンジンからの第２の応答との差異が所定のしきい値を上回ると判断したことに応答して、前記差異が前記所定のしきい値を下回るまで応答調停プロセスを実施するためのプログラム命令であって、前記応答調停プロセスは、
    前記第１の応答を前記第２のコグニティブ・エンジンに送信するためのプログラム命令と、
    前記第１の応答と前記第２の応答との間で共通の概念を決定するためのプログラム命令と、
    前記第１の応答およびナレッジ・データベースに基づいて第２のクエリを生成するためのプログラム命令と、
    前記第２のクエリを前記第２のコグニティブ・エンジンに送信するためのプログラム命令と、
    前記第２のコグニティブ・エンジンから前記第２のクエリについて第３の応答を受信するためのプログラム命令と
    を含む、前記実施するためのプログラム命令と、
    前記第１のクエリおよび前記第２のクエリについて受信された前記応答から第１の最終応答を選択するためのプログラム命令と、
    前記第１の最終応答をユーザに表示するためのプログラム命令と
    を含む、前記プログラム命令と
    を備える、コンピュータ・プログラム製品。

Images