JP2009525547A - 質問分類のためのメタ学習 - Google Patents

Abstract

【課題】利用可能な情報を効率的に使用し、訓練時間及び誤差率を改善する。
【解決手段】自動質問分類及び自動回答システム並びに方法が開示される。メインの人工神経回路（ＡＮＮ）と補助ＡＮＮを有するマルチパートＡＮＮは、複数の定義されたカテゴリのうちの１つに従って、受け付けた質問を分類する。一旦補助ＡＮＮが訓練するとウエイトは凍結されてメインのＡＮＮに移転される。メインのＡＮＮは、このとき、ラベル付けされた質問を使用して訓練され得る。本発明によれば、利用可能な情報を効率的に使用でき、単一パートＡＮＮを使用するのに比較して訓練時間及び誤差率を改善できる。
【選択図】図１

Description

（関連出願の参照）
本出願は、２００６年２月１日に出願された“Meta Learning for Question Answering”と題する米国特許仮出願第６０／７６４，４１２号、及び２００６年４月２４日に出願された“Meta Learning for Question Classification”と題する米国特許出願第１１／４１０，４４３号を基礎とする優先権を米国特許法第１１９条（ｅ）に基づき主張し、これらの出願はその全体がここに引用される。

本出願は、２００５年１月２８日に出願された“Responding to Situations Using Knowledge Representation and Inference”と題する米国特許出願第１１／０４６，３４３号と関連しており、当該出願はその全体がここに引用される。

本出願は、２００５年１２月６日に出願された“Building Plan for Household Tasks from Distributed Knowledge”と題する米国特許出願第１１／２９６，０２０号と関連しており、当該出願はその全体がここに引用される。

本出願は、２００６年３月１６日に出願された“Commonsense Reasoning About Task Instructions”と題する米国特許出願第１１／３７８，０６３号と関連しており、当該出願はその全体がここに引用される。

本発明は、自律機械の分野に関し、特に、自律機械が質問に回答することを可能にすることに関する。

例えば人間の特徴を有するロボットのような人間形ロボットは、自律機械技術を適用して家庭やオフィスの人間を支援するうえで重要なステップである。子供の世話をする、情報提供や支援のために電話に応答する、等の無数の日常的活動に対して潜在的な適用可能性がある。屋内用人間形ロボットは、コーヒーを作る、衣服を洗濯する、こぼした汚れを掃除する等の一般的な家庭内の雑事を遂行するものと考えられている。
更なる適用例として、年配者や障害者の支援も含み得る。人間形ロボットは、ロボットのユーザからの多くのタイプの命令や質問に対応することになると考えられている。このような質問は、幅広い主題をカバーし得る。例えば、質問は、“大統領は誰ですか”というような事実に関するものであってもよい。他の質問のタイプは、“天候はどうですか”というような条件に関するものであってもよい。更に、他の質問のタイプは、“冷蔵庫の中に食料はありますか”というような観測に関するものであってもよい。

いくつかのシステムは、質問階層を手動で構築してきている。この説明は、“D.Moldovan,et al.,Lasso:A Tool for Surfing the Answer Net,proceedings of TREC-8,pp175-183,1999”の中に発見され得る。
ある代替的なアプローチは、言い換え変形語を認識する。例えば、Barzilay et al.は、コーパスから２００個の２センテンステーマを分析し、７つの語彙統語的言い換え規則を抽出した。これらの規則は、統語的かつ語彙的言い換えの８２％をカバーし、更に、言い換え語は全変形語の７０％をカバーしていた。この説明は、“R.Barzilay, et al.,Information Fusion in the Context of Multi−Document Summarization,Proceedings of ACL,1999”の中に発見され得る。そしてこの文献はその全体がここに引用される。
Qi et al.は、確率的分類法を用いた多数カテゴリを考慮に入れていた。この説明は、“H.Qi, et al.,Question Answering and Novelty Tracks, Proceedings of TREC2002,The University of Michigan at Trec,2002”の中に発見され得る。そしてこの文献はその全体がここに引用される。

AskMSRは、例えば“Bill Gates is married to”の右側に来る５つのトークンのように、回答を含むと思われるトークンのシーケンスを抽出するために、質問から派生したテキストパターンを使用するＮグラム収穫法を使用していた。このアプローチは、例えば“is Gates married to”“Gates is married to”“Gates married is to”“Gates married to is”に対し名詞-目的語（ＮＯ）構文分析又は品詞（ＰＯＳ）タグ付けを行うというような、規則に一致する表現例によって、質問をサーチエンジン用クエリに変換していた。サーチエンジン用クエリは、ウエブをサーチするサーチエンジンに従っていた。応答は、予想回答のタイプ、発生頻度多数決、及び複数の短い候補を結合して長い候補、例えば国連児童基金、にすることによるタイリング（tiling）によりフィルタにかけられていた。この説明は、“AskMSR:Question Answering Using the Worldwide Web,M.Banko,et al.,Proceedings of AAAI Spring Symposium on Mining Answers from Texts and Knowledge Bases,March 2002” の中に発見され得る。そしてこの文献はその全体がここに引用される。

PaskaとHarabigiuは、質問タイプと予想回答タイプの大まかな分類法を開発した。質問と回答に関連するテキストを構文解析するために、そして知識ベースを構築するために、統計的構文分析が使用された。処理可能な段落数を検索し、回答を抽出するためにクエリ語を加え又は削除するクエリ拡大ループが使用された。一旦質問が分類されると、適当な知識ソースを使用して回答が得られた。例えば、天候に関する質問については、天候ウエブサイトが適当である。例えば、定義に関する質問については、ユーザにもよるが、辞書の定義、一般的な百科事典エントリ、又は特定分野の記事が適当である。この説明は、“M.A.Pasca,and S.M.Harabagiu,High Performance Question Answering,Proceedings of the 24^thAnnual International ACM SIGIR Conference on Research and Development in Information Retrieval,2001”の中に発見され得る。

従来のＱＡシステムは、多重回答発生に関する統計（多数決、タイリング、フィルタリング等）を使用し、回答が予想タイプに一致することを保証している。事実に関する質問に対する回答は、典型的には、例えば場所、人物、組織のような実在する名前（名詞）が付けられる。
Lehnertによれば、質問の分類は、“何時かわかりますか”“はい”、“ジョンはどのようにして試験に合格しましたか”“ペンで”のような質問に対する回答を避けるために重要である。この説明は、“W.Lehnert, A Conceptual Theory of Question Answering, Proceedings of the Fifth international Joint Conference on Artificial Intelligence(IJCAI),158-164,1997”の中に発見され得る。そしてこの文献はその全体がここに引用される。

質問回答（ＱＡ）の従来の業績は、事実に関するＱＡに焦点を合わせてきた。例えば、テキスト検索参照（Text Retrieval Conference:ＴＲＥＣ）は、ワールドワイドウエブ上で多くの回答が発見されるような、疑似事実に関する質問に焦点を合わせてきた。ＴＲＥＣシステムは、所与の質問に対する回答を決定するために単語ベースの分類を使用し、また、回答候補を抽出するために、再構成／パターンマッチングのような言語技術を使用する。例えば、“ニクソンはいつ中国を訪問したか”という質問に対する回答タイプは日付である。質問の再構成は、“Nixon visited china in ”のような変形例を含む。この説明は、“A.R.Diekema,et al.,Finding Answers to Complex Questions,2004,in M.T.Maybury,ed.,New Directions in Question Answering,AAAI Press/MIT Press,141-152”の中に発見される。そしてこの文献はその全体がここに引用される。

質問分類に対する従来アプローチは、ラベル付けされた例、すなわち、ペアになった回答が付された質問例に頼っている。残念ながら、ラベル付けされた例は、比較的希少で高価である。なぜならば、質問例を手動でラベリングすることは大変手間がかかるからである。更に、従来アプローチは、例外的な場合に機能停止し得る、質問分類規則の手動コード化を必要とし、加えて、従来アプローチは、事実に関する質問のみを受け入れる。
しかしながら、人間形ロボットのような自律機械に対してなされた質問のうち、事実に関するものは比較的少ない。それどころか、このような質問は、状況（例えば、赤ん坊が泣いていればどうすればよいかあなたは知っているか）、観測や進行中の事象に関する問合せ、及び黙示的な質問（例えば、応答を引き出すために提供されたステートメント）に対する応答にまで及ぶ。従って、自律機械は、適当な知識及び情報に対するリアルタイムのアクセスを必要とすることになる。

前記から、人間形ロボットのような自律機械に、知識及び情報の様々なソースに対するアクセスを提供し、前記自律機械が、どのソースが求められる回答を提供する可能性が高いかを決定するために、効果的に質問を分類する方法及び装置が必要であることがわかる。更に、このことは、実質的な数の、手動でラベル付けされた例及び質問分類規則の手動コード化を要求することなく達成されるべきである。

（要約）
本発明は、自動的に質問を分類し、質問に対して回答するシステム及び方法を含む。ある実施形態において、１つのマルチパート人工神経回路（ＡＮＮ）が、受け付けた質問を、複数の定義済カテゴリのうちの１つと関連するものとして分類するために適用される。このカテゴリは、例えば、日付に関する事実、人物に関する事実、ある特性を有する客体に対する応答、場所、及び事象や時間に関する観測等を含み得る。
このような分類は、質問が、複数の使用可能なデータベースのうちの１つ又はウエブに対してマッピングされ得るようにする。マルチパートＡＮＮは、１つのメインのＡＮＮと、１つの補助ＡＮＮを含む。それぞれのＡＮＮは、ノードとウエイトの階層を含む。

ラベル付けされていないデータが、複数の人間ボランティアのようなソースから受け付けられる。ラベル付けされていないデータは、人間形ロボットのような自律機械に対して問われるかも知れない一式の補足的質問を含む。ラベルが付されていないデータは、教師なし状態で、補助ＡＮＮを訓練するために使用される。それによって、１つのアプリオリに定義された回答が要求されることはない。
教師なし訓練は、補足的質問中の単語毎に品詞タグを生成する、補足的質問中の残存単語から疑問詞（例えばWhat,where,how）を予測する、及び１つの補足的質問中の２つの単語間の統語的関係の組を予測する、というような多重補助タスクを含み得る。補助的タスクは、ラベル付けされていないデータから、それによって基底となる予測的又は機能的な構造を学習するラベル付けされたデータを生成する。

一旦補助ＡＮＮが訓練されると、ウエイトは固定されメインのＡＮＮへ移転される。これは、予測構造をメインのＡＮＮへ移転するもので、帰納的移転と呼ばれるプロセスである。その結果、メインのＡＮＮは、例えば、組になった回答を有する質問のような、ラベル付けされた質問を使用して訓練され得るようになる。そこで、回答されるべき元の質問は、定義済のカテゴリのうちの１つを割り当てる、訓練されたメインのＡＮＮに対して適用される。割り当てられたカテゴリは、元の質問を適当な回答を含むと最も思われるデータベースに対してマッピングするために使用される。

ある実施形態においては、客体及び／又は特性は、回答するべき元の質問の範囲内で識別される。客体及び／又は特性は、選択されたデータベース内で回答をサーチするために、例えばシステムクエリ言語（ＳＱＬ）を使用して１つのクエリを定式化するために使用される。

実際には、ラベル付けされていないデータが比較的豊富で、容易に入手できるのに対して、ラベル付けされたデータは、相対的に利用不可能であり、入手コストが高い。そこで、本発明は、利用可能な情報を効率的に使用する。更に、マルチパートＡＮＮ及びラベル付けされていないデータの適用は、シングルパートＡＮＮとの比較では、訓練時間及び誤差率を改善する。

（図面の簡単な説明）
図面と以下の説明は、図示された通りにのみ、本発明の言及された実施形態に関する。類似の参照番号が複数の図面で使用される場合は類似の機能を示している。各図は、単に例示目的で本発明の実施形態を描写している。当業者であれば、本発明の原理から逸脱することなく以下に例示する構成や方法の代替的実施形態を実施することが可能であることを後記する明細書の記載から容易に知り得るであろう。

（言及された実施形態の詳細な説明）
質問分類のためのメタ学習のための方法及び装置が説明されている。以下の説明では、説明目的で、本発明の完全な理解を提供するために多くの詳細が説明される。しかしながら、当業者にとっては、特定された詳細なしでも本発明が実施され得ることが明らかであろう。他の場合には、本発明が不明確になるのを防ぐために、構造及び部材はブロック図で示される。

本明細書において、“ある実施形態”又は“１つの実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特定の特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態では”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。

図１は、本発明の一実施形態に係るシステム１００を示している。コンピュータシステム１１０は、入力装置１１２、主記憶装置１１４、補助記憶装置１１８、中央制御装置１２２、及び入出力装置１２４を有する。代替的な実施形態においては、音声画像処理装置１２０は、中央制御装置１２２の一部であってもよいし、ユーザからの質問及び命令を受け付け処理するための別の装置であってもよい。
同様に、主記憶装置１１４は、スタンドアロンの記憶デバイス（ＲＡＭ）であってもよいし、処理装置１２２付きのメモリーチップ（例えばキャッシュメモリ）であってもよい。
補助記憶装置１１８は、ハードディスク、ＤＶＤ−Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷ又はＲＡＭのような任意の大容量ストレージである。同様にコンピュータシステム１１０は、サーバ、パーソナルコンピュータのようなスタンドアロンのシステムであってよい。代替例として、コンピュータシステム１１０は、例えば、音声画像処理システムを備えるロボットのようなより大きなシステムの一部であってもよい。

この実施形態によれば、入力装置１１２は、データベース１４０から、人間ボランティアによって提供された知識のような情報を受け付ける。入力装置１１２は、マイクロホン又は同様のデバイス１３０から発話を直接受け付けてもよいし、カメラ又はビデオキャプチャデバイス１３２から画像を受け付けてもよい。
また、入力装置１１２は、他のデータベース、他の聴覚システム、インターネットサーバのようなネットワークシステムから情報を受け付けるインタフェースであってもよい。このネットワークインタフェースは、ＵＳＢ、ＲＳ−２３２シリアルポート、イーサネットカードのような有線インタフェースであってもよいし、ブルートウース、ＷｉＦｉ、ＩＥＥＥ８０２.１１のような無線プロトコルを使用した無線通信デバイスのような無線インタフェースモジュールであってもよい。音声画像処理装置１２０は、入力装置１１２を介して受け付けた音声命令又は質問あるいは画像の事前処理用に使用され、中央制御装置１２２が処理可能なフォーマットに音声命令又は質問あるいは画像を変換する。

中央制御装置１２２による処理を受ける情報は、主記憶装置１１４に格納される。中央制御装置１２２は、本発明に係る１つ又は複数の方法（例えば、質問に対して回答する、又は命令を実行する等）を遂行する一連の命令を読み込み実行する。主記憶装置１１４は、このような回答又は実行のための命令モジュール１１６を含んでもよい。

中央制御装置１２２は、ネットワーク要素又はサーバ１５０ａ、ディスプレイ１５０ｂ、データベース１５０ｃのような外部装置１５０と、入出力装置１２４を介して情報を交換する。ネットワーク要素又はサーバ１５０ａは、インターネットのような他のネットワークと接続し得、それによってワールドワイドウエブのようなソースからの情報にアクセスし得る。
入力装置１１２と同様に、入出力装置１２４は、有線であってもよいし、無線であってもよい。入出力装置１２４は、ストレージドライブインタフェース（例えばハードドライブ又は光学ドライバ）、ネットワークインタフェースデバイス（例えば、イーサネットインタフェースカード、無線インタフェースカード）、ディスプレイドライバ（例えばグラフィックカード）あるいは決定された情報又は応答を出力する任意の装置であってもよい。更に、入出力装置１２４は、機械的機能を達成することを受け持つ自律機械に対し適当な方法でインタフェースしてもよい。

（質問分類）
図２は、本発明の一実施形態に係る、自動的に質問を分類しそれに回答する方法を示すフロー図である。例えば、マイクロホン１３０及び入力装置１１２を介して質問が受け付けられる（ステップ２０４）。受け付けられた質問は、人工神経回路（ＡＮＮ）を使用して、解釈され質問カテゴリに関連付けられる（ステップ２０８）。ＡＮＮの形状と操作は後記する通りである。ある実施形態においては、図３のテーブル３００に示されるカテゴリセット３１０のように、１組の質問カテゴリが予め定義されている。質問カテゴリ３１０は以下を含む。

３１０ａ事実−日付：特定の事象が発生した（又は発生する予定である）日付

３１０ｂ事実−人物：識別された人物についての情報

３１０ｃ事実−他：事象及び人物以外の特定の主題についての情報

３１０ｄ応答−to−客体−特性：特定の客体及び特性に関するクエリに対する応答として、人物、人間形ロボット又は他の自律エージェントがとり得る行為

３１０ｅ応答−to−人物−行為：特定の又は仮定上の人物及び行為に関するクエリに対する応答として、人物、人間形ロボット又は他の自律エージェントがとり得る行為

３１０ｆ黙示−応答−to−客体−特性：特定の客体及び特性に関する命令に対する応答として、人物、人間形ロボット又は他の自律エージェントがとり得る行為

３１０ｇ黙示−応答−to−客体−行為：特定の又は仮定上の人物及び行為に関する命令に対する応答として、人物、人間形ロボット又は他の自律エージェントがとり得る行為

３１０ｈ場所：特定の物が存在する又は発見され得る場所

３１０ｉ観測−事象−時刻：事象の観測に基づく、特定の事象が発生した時刻

３１０ｊ観測−客体−状態：客体の観測に基づく客体の状態

３１０ｋ観測−人物−行為：観測に基づく特定の又は仮定上の人物の行為

３１０ｌステップ：特定のタスクを実行するために、人物、人間形ロボット又は他の自律エージェントが取り得る行為の候補のシーケンス

３１０ｍウエブ−現状−事象：発生しつつある又は発生したばかりである事象についての情報

３１０ｎウエブ−天候：特定の又は仮定上の場所内の天候条件についての情報

カテゴリ３１０ａ〜ｃ、ｆ〜ｋに対応する質問又は命令に対する回答は、前記した米国特許出願“Building Plan for Household Tasks from Distributed Knowledge”に記載されたデータベースのような、分散知識キャプチャ技術を使用してコンパイルされたデータベース内に発見される可能性が最も高い。
カテゴリ３１０ｄ〜ｅに対応する質問又は命令に対する回答は、同じく前記した米国特許出願“Responding to Situations Using Knowledge Representation and Inference”の中に発見され得る。
カテゴリ３１０ｍ、ｎのような質問に対する回答は、ウエブ上で利用可能なデータベースのような、オープンデータベースの中に発見される可能性が最も高い。
テーブル３００のカテゴリは例示的なものであるに過ぎず、当業者であれば、本発明の主旨を逸脱することなくカテゴリ３１０に対し変形や追加をすることが可能であることがわかる。

図２に戻り、ある実施形態においては、質問において参照された１つの客体及び１つの特性が、もしあれば、識別される（ステップ２１２）。
例えば、“赤ん坊が泣いていれば、どうすればよいかあなたは知っているか”という例を考える。参照される客体は“赤ん坊”であり、参照される特性は“泣いている”である。識別されたカテゴリ、客体及び特性は、適当な回答を含む可能性が最も高いデータベースに対して（データベース内のテーブルに対しての場合もある）マッピングされる（ステップ２１６）べきクエリを定式化するために使用される。
システムクエリ言語（ＳＱＬ）に基づくこのようなマッピングの例が、図４のテーブル４００に示されている。
現在の質問例４１０ｂに対する回答は、マッピング４２０ｂを使用してあるデータベースに対して検索をかける（ステップ２２０）ことによって発見され得る。このマッピングは、関連付けられた客体が“赤ん坊”であり、関連付けられた特性が“泣いている”であるような、データベース内の状況に対する応答に基づく。
同様に、客体“スーツケース”を含む（が特性は含まない）他の質問例４１０ａに対する回答は、マッピング４２０ａを使用して発見され得る。
他の質問例４１０ｃに対する回答は、例えばマッピング４２０ｃに基づき、あるサーチエンジンを使用してウエブサーチを実行することによって発見され得る。

一旦データベースクエリから質問に対する回答が受け付けられると（ステップ２２４）、その回答は、例えばディスプレイ１５０ｂに表示される（ステップ２２８）。代替的に、回答は、音声画像処理装置１２０によって実行される音声合成に基づいて、ユーザに対して聴覚的に伝達され得る。自律機械、ユーザ、環境、及び操作の状況次第で、受け付けられた回答の他の使用も可能であることが当業者であればわかるであろう。

(人工神経回路)
前記したように、受け付けられた質問は、解釈されて、人工神経回路（ＡＮＮ）を使用して質問カテゴリに関連付けられる（ステップ２０８）。ＡＮＮは、アルゴリズム的な解決が利用可能ではないが、関連付けられた行動の多くの例が利用可能であるような問題に対して有用であり、また、利用可能なデータから構造が識別可能である場合にも有用である。
汎用ＡＮＮは、図５の概念図を参照することによって理解され得る。
多重入力５１０は、受け付けられると、入力層を有する１組のノード５２０によって示される。
第一のウエイトの組５３０（例えば、乗数）は、入力層ノード５２０上で動作し、中位層すなわち隠れ層を有する他の組のノードによって１組の合計値を生成する。
隠れ層のノード５４０に対応する値は、他の組のウエイトを乗ぜられ、出力層のノード５６０によって合計された値からなる他の組を生成する。１組の出力５７０は、ノード５６０から提供される。
出力５７０は、例えば、０から１まで、又は−１から１までの範囲を占めるように拡大・縮小される。
入力５１０から出力５７０までの伝播処理は、前進行動と呼ばれることがある。ＡＮＮのウエイト５３０、５５０は、初期化されてデフォルト値に設定され、入力５１０から出力５７０の最初の組を生成し得る。この説明は、“Artifical Neural Networks:An Introduction,K.Priddy and P.Keller,The International Society for Optical Engineering,2005”の中に発見され得る。そしてこの文献はその全体がここに引用される。

ＡＮＮ５００は、訓練する、すなわち、所望の出力５７０の組と実際の出力５７０の組との差分に比例する量だけウエイト５３０、５５０を変更することによって、１組の周辺状況に適応することができる。これは、教師がＡＮＮに対し、所与の入力５１０の組に基づく出力５７０の期待応答を教えるような、教師付訓練に従ってなされ得る。
例えば、前記したように、質問カテゴリ３１０に対応している１４個の出力５７０があり得る。最大値を有する出力５７０が入力質問に対して決定されるカテゴリに対応するように、ＡＮＮは作られている。質問に対応するカテゴリを決定し、指示する別の方法によって、ＡＮＮ５００の様々な代替例が作られ得ることが当業者であればわかるであろう。

汎用ＡＮＮの期待応答は、ウエイト５３０、５５０を適応させる誤差信号を生成するために使用され得る。これは、逆伝播又は逆エラー伝播と呼ばれることがある。このように、教師付訓練を用いれば、１組の入力５１０に当てられた質問は、出力５７０に対応する、１つの関連付けられた期待回答を有することになる。質問と対応する正しい回答又は期待回答の組み合わせは、ラベル付けされたパターン又はラベル付けされた標本と呼ばれる。
ＡＮＮ５００は、前進行動と逆伝播の反復起動、すなわちエポック（epoch）によって訓練され、別のラベル付けされた例を適用し、各エポックの期間中に、ＡＮＮの出力とウエイトを更新することができる。このプロセスは、１つの期待出力誤差が獲得されるまで続く。このような時点で、ＡＮＮは、収束した、又は訓練されたといわれ、ウエイトは固定され得る。この説明は、前記“Priddy,et al.”の中に発見され得る。

ＡＮＮ内で適用可能なウエイト更新のための離散時間アルゴリズムは、ベクトル方程式（１）で示される勾配降下法によって公式化され得る。
Δｗｔ＝η（∂ｅ／∂ｗ）＋δ（Δｗｔ−１）−γｗｔ （１）
ここで、Δｗｔは、現在のウエイト変化であり、ηは、ＡＮＮ内のウエイトが訓練の間に調整されていく率を決定するために用いられるスカラー量の学習率であり、∂ｅ／∂ｗは、誤差をウエイトで偏微分した偏微分係数であり、δは、現在のウエイト変化に対する直前のウエイト変化の割合を加えるために使用される運動量因子である。運動量因子は、ウエイトが、グローバルというより局所的な、誤差の最小値に収束していくことを回避し得る平滑化効果を提供する。Δｗｔ−１は、直前のウエイト変化であり、γは、不安定性を防止するために使用されるウエイト減衰（weight decay）である。本発明の一実施形態によれば、ηは０.１に設定され、δとγはゼロに設定される。

実際には、教師付訓練に要求されるラベル付けされたデータは、比較的利用困難であり入手にコストがかかることもある。しかしながら、ラベル付けされていないデータ、すなわち、期待される又は予想される回答が事前に利用可能でない場合の入力動機は、比較的豊富であり、コストが低い。
ＡＮＮ５００のようなＡＮＮは、事前に定義された期待回答が要求されないように、その入力５１０に対して単に適合するように作られ得る。このようにしてラベル付けされていないデータは、ラベル付けされているデータに代替し得る。このようなＡＮＮは、教師なしＡＮＮと呼ばれる。この説明は、前記“Priddy,et al.”の中に発見され得る。

本発明の一実施形態によれば、ＡＮＮは、ラベル付けされたデータとラベル付けされていないデータの両者を使用して訓練する。このアプローチは、部分教師付学習と呼ばれ、図６に示される。
ラベル付けされていないデータは、補助ＡＮＮと呼ばれる第１のＡＮＮ６３０ａに適用される。第１のＡＮＮは、ラベル付けされていないデータからラベル付けされているデータを生成し、その結果、データの基底予測構造又は基底機能構造を学習する。例えば、ラベル付けされていないデータは、その上で平滑機能分類が定義され得るデータ多様体（グラフ構造）を生成するのに使用され得る。これは、構造学習と呼ばれる。補助ＡＮＮ６３０ａが１つ以上の補助タスク、単一の問題に対する予測子（predictor）の役割を果たすキャッシュを有し得る。別々の問題毎の複数の多重予測子が観測されるとき、基底予測子空間が、複数の予測子に共有される共通の基底構造を発見するために分析され得る。逆に言えば、１つの共通な基底構造が複数の多重予測問題に共有される場合は、その構造は、より確実に学習され得る。予測空間上の重要な予測構造が一旦発見されると、その情報は、それぞれの個別の予測問題を改良するために使用され得る。
ラベル付けされていないデータに作用する複数の多重補助タスクから学習される予測構造は、ラベル付けされたデータを使用するターゲット教師付問題、すなわちメインタスクに作用するメインのＡＮＮ６３０ｂに移転され得る。これは、帰納的移転と呼ばれる。帰納的移転は、学習された基底構造がターゲット教師付問題に役立つ場合により有益である。もし１つの補助タスクによって解決される問題がメインの問題に関係しているならば、帰納的移転は、ターゲット問題を解決するのに役立つ。このようにして、１つの補助タスクに扱われる問題は、メインタスクに扱われる問題に関連付けられるべきである。この説明は、“A Framework for Learning Predictive Structures from Multiple Tasks and Unlabeled Data,R.Ando and T.Zhang,Journal of Machine Learning Research,2005”の中に発見され得る。そしてこの文献はその全体がここに引用される。

この実施形態においては、補助ＡＮＮ６３０aは、Ｍａ個の入力ノードの組６４０ａ、第１のウエイトの組６４２ａ、Ｎａ個の隠れノードの組６４４ａ、第２のウエイトの組６４６、及びＯａ個の出力ノードの組６４８を有する。ＡＮＮ６３０ａは、後記するようにラベル付けされていないデータを使用して訓練される。ＡＮＮ６３０ａが一旦収束すると、学習された予測構造は、図６に示されたようにウエイト６４２ａを固定し移転することにより、メインのＡＮＮ６３０ｂへ移転される。
ある実施形態においては、ウエイト６４２ａに対応する中央制御装置１２２内の実装リソースは、補助ＡＮＮ６３０ａとメインのＡＮＮ６３０ｂとの間で共有される。他の実施形態においては、このような実装リソースは分離したままであり、補助ＡＮＮ６３０ａは、ウエイトのメインのＡＮＮ６３０ｂへの移転を補助するためにはもはや用いられない。

メインのＡＮＮ６３０ｂは、このように、補助ＡＮＮ６３０ａから移転されたＭａ個の入力ノード６４０ａと、Ｍｍ個の入力ノード６４０ｂを有する。ある実施形態においては、Ｍａ＝Ｍｍである。メインのＡＮＮ６３０ｂは、第１のウエイトの組６４２ａ、６４２ｂ、それぞれＮａ及びＮｍ個の隠れノードの組６４４ａ、６４４ｂ、及び第２のウエイトの組６５０ａ、６５０ｂを同様に有する。メインのＡＮＮ６３０ｂは、出力層６５２及びＯm個の出力ノードも有する。
メインのＡＮＮ６３０ｂのようなＡＮＮは、別々の神経回路の部分を共通の出力層に結合することから、マルチパート神経回路、すなわちＭＰＮＮと呼ばれることがある。ある実施形態においては、Ｏmは、質問カテゴリの数に等しく、この例で言えば１４である。この実施形態においては、出力ノード６５２は、入力質問毎に決定されたカテゴリを指示する検出器又は検出アルゴリズムによって処理され得る。この検出器は、正しい検出確率と誤った検出確率との間の最適トレードオフを実現するために調整され得る閾値を実装し得る。このトレードオフは、レーダ受信機の設計との類似性に基づいて、受動者動作特性曲線上の点選択と呼ばれることがある。この説明は、前記“Priddy,et al.”の中に発見され得る。

図７を参照すると、フロー図７００は、本発明のある実施形態によるＡＮＮ６３０ａ、６３０ｂの学習方法を示している。ラベル付けされていないデータが受け付けられる（ステップ７０８）。このようなデータは、例えば、地理的に分散した人間のボランティアが、図８に示されるようなプロンプトに対する応答としてウエブを介して提供した質問を有する。このような方法論が効果的なのは、コンセンサス、すなわち常識を構成する、広くかつ多様な主題からデータが入手され得るからである。分散データキャプチャ技術に関する追加情報は、前記した米国特許出願“Responding to Situations Using Knowledge Representation and Inference”及び“Commonsense Reasoning About Task Instructions”の中に発見され得る。

ラベル付けされていないデータは、特有のバイアスを回避するために、注意深く入手されるべきである。例えば、プロンプトの作りがよくなければ、プロンプトは、対象者から予想される質問の種類を示唆することになる。さらに、ある種の質問は、他の種よりも、対象者にとって想像することが容易であり、その結果、より頻繁に入力され得る。このように、データの片寄りを補償し、質問カテゴリ毎の質問数のバランスを取るためにこのような質問を選択する場合には注意が払われるべきである。同様に、僅かな質問カテゴリについてだけデータの数が多いと、質問分類がより困難になる。なぜならば、他のカテゴリよりも少ない例から学習される質問カテゴリもあるからである。

補助ＡＮＮ６３０ａは、受け付けた質問を自動的にラベル付けするように学習される（ステップ７１２）。ある実施形態においては、補助ＡＮＮ６３０は、３つの補助タスクを有する。各補助タスクは、ラベル付けされていないデータについての特定のタイプの分析を行い、こうすることにより、特定のタイプのラベルを割り当て得る。ある補助タスクは、受け付けた質問中に含まれる単語から、“何”、“何処”又は“どのように”のような疑問詞を予測する。他の補助タスクは、受け付けた質問中の連続する単語毎に品詞２-グラム及び３-グラムを予測する。例えば、動詞−名詞−前置詞又は名詞−名詞−動詞のシーケンスを特定する。

第３の補助タスクは、質問中の単語間の統語的な関係組（relation tuple）を予測する。これは、例えば、ＭＩＮＩＰＡＲ広範囲カバー係り受け構文解析ツールを使用してなされ得る。この構文解析ツールは、“カテゴリ１：関係：カテゴリ２”という形式の組によって単語間の統語的関係を表す係り受けツリーを作成する。
各カテゴリは、例えば、名詞はＮＮ、動詞はＶＢというような、質問中の単語の品詞ラベルである。関係は、２つのカテゴリ間の有向統語的関係（例えば、客体に対してはＯＢＪ、主題に対してはＳＵＢＪ、接続語に対してはＣＯＮＪ）であり、係り受けツリーのリンクに対応する。
例えば、“赤ん坊が泣いていたらあなたはどうしますか？”という質問中、泣く[ＶＢ]は、赤ん坊[ＮＮ]の主題[ＳＵＢＪ]であり、対応する統語的関係は、ＶＢ：ＳＵＢＪ：ＮＮである。“ジョンは問題に対する解決を発見した”というセンテンスに対する統語的関係のタグの組が図９に示されている。この説明は、“Dependency Based Evaluation of Minipar,Workshop on the Evaluation of Parsing Systems,Granada,Spain,1998”の中に発見され得る。そしてこの文献はその全体がここに引用される。

この実施形態において、前記３つの補助タスクは、それらの出力を単一の出力層６４８内で組み合わせ（ステップ７１６）、ＡＮＮ６３０ａを1つの全体として訓練する（ステップ７２０）ことにより、並列的に学習される。一旦ＡＮＮ６３０ａが訓練すると、ウエイト６４４ａは固定され、メインのＡＮＮ６３０ｂに移管される（ステップ７２４）。ラベル付けされたデータ、例えばラベル付けされた質問が受け付けられる（ステップ７２８）。メインのＡＮＮ６３０ｂは、このとき、このラベル付けされたデータを使用して訓練される（ステップ７３２）。
移転されたウエイトは、メインのＡＮＮ６３０ｂがウエイト空間の特定の領域を見ることに限定し、それによって、メインのＡＮＮ６３０ｂが利用できる仮説空間を削減するので、移転された複数のウエイトは、１つの帰納的バイアスを表すことになる。この背後にある考え方は、補助タスクには重要ではなかったが、メインのタスクには重要であるかも知れないラベル付けされた入力データからメインのタスクが新たな特徴を抽出することを可能にするということである。補助タスクを経て基底構造を学習するプロセスはメタ学習と呼ばれる。

例えば、“フローレンスナイチンゲールはいつ生まれたか？（When was Florence Nightingale born?）”と言う質問については、固有名詞は記号ＮＮＰで置き換えられ、結果として、“When was ＮＮＰ born?”となる。単語又は記号“When”、“was”、ＮＮＰ及び“born”（例えば、ノード２３、２９、９９、１０３）を表すＭｍ個の入力ノードのノードは、値「１」を有することになる。ＡＤＪが形容詞“when”を意味し、ＶＢが“was”を意味し、ＮＮが名詞の記号ＮＮＰを意味することとする。Miniparによれば、“was”は“Florence Nightingale”の主題であり、“born”は“Florence Nightingale”の客体である。
従って、このセンテンス内の２つの関係は、ＶＢ：ｓ：ＮＮ及びＶＢ：ｏｂｊ：ＮＮである。これらの関係（例えば、ノード６２０、６３０）に対応する入力ノードは、値「１」を有することとなる。同様に、３−グラム[ＡＤＪ ＶＢ ＮＮ]、[ＶＢ ＮＮ ＮＮ]及び[ＮＮ ＮＮ ＶＢ]（ノード８１２，８２０、８３０）に対応する入力は値「１」を有することとなる。他の入力ノードの値は「０」となる。

前記の補助タスクは例示に過ぎず、当業者であれば、このような補助タスクは、本発明の主旨を逸脱することなく、タイプや数において変化しうることがわかるであろう。また、補助タスクは、直列的又は並列的に実行され得る。補助タスクは、ラベル付けされていないデータと同様、ラベル付けされているデータにも作用を及ぼし得る。

機械学習誤差は、推定誤差と、近似誤差を含む。推定誤差は、仮説空間からの最良の仮説を推定する際に発生する。この仮説空間が大きければ大きいほど、利用可能な最良仮説を発見することはより困難になる。近似誤差は、利用可能な仮説空間中の最良の仮説と、実際の分類子、例えば質問分類子との間の差から発生する。仮説空間が小さければ小さいほど、利用可能な最良の仮説が真の分類子に対する芳しくない近似となる確率は高い。
従って、推定誤差を削減するには小さな仮説空間が望ましい一方で、近似誤差を削減するには大きな仮説空間が望ましい。このことは、バイアス／分散トレードオフとして知られている。

教師付学習のある公式が、入力ベクトルＸを対応する出力Ｙにマッピングする予測子を追求する。通常は、予測子は、不知の確率分布Ｄに従い独立して生成される訓練標本の有限集合に基づく関数の組Ｈから選択される。組Ｈは、仮説空間と呼ばれ、入力Ｘから出力Ｙを予測するために使用され得る関数からなる。目的は、Ｄに対する誤差が小さい予測子を発見することにある。
予測子ｐの質は、Ｄに対する損失関数によって計測され得る。ｍ個の学習タスクと、１組の仮説空間Ｈθがあるとする。ここで、θは、仮説空間に索引を付けるために使用される共通構造パラメータである。メタ学習問題は、ｍ個のタスクについての予測子の平均期待リスクを最小化するθの値を学習することである。この問題は、次の式（２）で示される、ｍ個のタスクに対する複合最適化問題として提起され得る。

ここで、Ｌは、１つの適当な損失関数である。

ある実施形態において、θは、共有されるウエイト６４２ａの組である。補助ＡＮＮ６３０ｂのそれぞれの出力６４８は、そこからθが推定される個々のタスクに対応する。仮説空間の組Ｈθは、例えば、６４２ａ、６４２ｂ、６５０ａ、６５０ｂのようなすべての神経回路ウエイトの空間である。
（実験結果）

本発明の一実施形態に係る１つのＭＰＮＮが実験的に評価された。補助タスクは、５４８個の手動でラベル付けされた訓練標本と、３２５２個のラベル付けされていない訓練標本を使用し、Ｍａ＝８５０個の入力であった。合計３８００個の訓練標本は、前記の３つのタスク、すなわち、名づけて疑問詞予測、品詞２−グラム３−グラム予測、統語的関係組予測、を有していた。これらの補助タスクは、１つの共通補助ＡＮＮを用いて実装され、並行的に訓練された。それぞれの補助タスクは、複数の出力を含んでいた。
例えば、疑問詞予測タスクは、疑問詞の候補毎に１つの、２０の２値の出力を含んでいた。３つの補助タスクの出力は、組み合わされて６４９個の２値の出力となっており、効果的に６４９個の２クラス分類タスクを有していた。補助ＡＮＮ６３０ａは、Ｎａ＝２０個のノードを有する１つの隠れ層を有していた。

一旦、補助ＡＮＮ６３０ａが訓練すると、ウエイト６４２ａはメインのＡＮＮ６３０ｂに移管され、ＭＰＮＮを形成した。このＭＰＮＮは、Ｎｍ＝２０個の隠れノードと同様に、補助ＡＮＮ及びメインのＡＮＮのそれぞれについて繰り返された８５０個の入力を有していた。メインのタスクは、同じ５４８個の手動でラベル付けされた標本につき訓練した。メインのＡＮＮ６３０ｂが訓練する期間中、補助ＡＮＮが提供したウエイト６４２ａは固定されていた。パフォーマンスの比較としては、１７００個の入力があった第２のメインのＡＮＮは、５４８個の手動でラベル付けされた標本のみを使用して訓練された。両ＡＮＮの学習は、固定値「０.１」に設定された学習率ηの値に対して敏感ではないことがわかった。

帰納的移転を伴う実験結果と、帰納的移転なしの実験結果が得られた（ぞれぞれ、ＭＰＮＮ及び第２のメインのＡＮＮに対応する）。これらは、図１０のグラフ１０００において、それぞれ、曲線１０１０及び曲線１０２０として示されている。収束は、帰納的移転を伴うほうが有意に速い。補助タスク（６４２ａによって表される）によって抽出された特徴はメインのタスクに有用であるからである。メインのＡＮＮ６３０ｂが訓練するとき、出力層６５２は、移転されたウエイト６４２ａから有意な情報を入手する。
また、逆エラー伝播アルゴリズムは、ウエイト６４２ａ、ｂよりも、（出力層６５２により近い）ウエイト６５０ａ、ｂを速く修正する傾向がある。それで、移転されたウエイト付のＭＰＮＮの部分をより注視し得る。帰納的移転に関するこれらの２つの因子は、より速い収束を促進する。ＭＰＮＮの部分がすべて訓練可能であるという事実は、帰納的移転を伴う最終的精度が、少なくとも、帰納的移転なしの場合と同程度には良好であることを保証する。

グラフ１０００のｙ軸は、“トップ３”アルゴリズムによる誤差をプロットする。このアルゴリズムでは、もし、正しい質問カテゴリが、ＭＰＮＮの最高位の出力６５２の上位３つ中になければ、１つの出力は、１つの誤分類としてカウントされる。ラベル付けされた標本の約６５％について、正しい分類は、現に出力６５２中の最高位のカテゴリであった。
図１０の誤差バーの垂直に立ち上がった部分は、ある標準偏差に相当し、帰納的移転なしよりも帰納的移転を伴うほうが、小さい傾向がある。検定装置の誤分類率が、図１１に示されている。この率は、それぞれ誤差バー１１１０と１１２０によって示されるように、帰納的移転を伴わない２０.６５％から、帰納的移転を伴う１５．９５％までの間に収まっている。

図１１の垂線１１１２、１１２２は、対応する９５％信頼区間を示し、重複することはない。このことは、誤分類率の差が統計的に有意であることを暗示している。また、これらの信頼区間は、帰納的移転なしよりも帰納的移転を伴うほうが、僅かに小さい（０．００７対０.００９）。もし、最上位のカテゴリだけが質問分類に使用されるならば、誤差はより大きく、信頼区間の差はより顕著になる。このことは、ＡＮＮ学習は帰納的移転を付されるとより確実（robust）になることをさらに示唆する。

帰納的移転の効果を定量化するために、追加実験が行われた。その実験では、６６３個の出力（１４個のメインのタスクの出力と６４９個の補助タスクの出力）を伴う単一ＡＮＮを構築し、このＡＮＮを、直前にメインのタスクのみに使用された５４８個のラベル付けされた標本に対し訓練することによって、すべての補助タスクが、メインのタスクと並行して学習された。この構成は、マルチタスク学習（ＭＴＬ）として知られている。
前記した補助タスクに使用されたデータは、排除された。なぜならば、メインのタスクのためのラベルは、補助タスクには適用できないからであり、大量の利用可能な補助タスクのデータは、メインのタスクの学習を圧倒するからでもある。この説明は、“Multitask leaning,Machine Leaning,28,41-75,R.Caruana 1997”の中に発見され得る。そしてこの文献はその全体がここに引用される。

図１２を参照すると、ＭＴＬ構成についての学習曲線１２１０が、直前に示された学習曲線１０１０、１０２０とともに示されている。検定誤差１３１０が、図１３において、直前の検定誤差１１１０、１１２０とともに示されている。これらはメインのタスクの誤差であって、たとえすべてのタスクが１つの単一神経回路を用いて同時に学習されるとしても、正しい比較を提供するために、補助タスクの誤差を含まない。
図１３に見られるように、ＭＴＬの検定誤差１３１０は、帰納的移転を伴う学習の誤差（１１２０）と、帰納的移転なしの学習の誤差（１１１０）との間の値を取る。帰納的移転を伴う学習のためのＭＰＮＮが隠れノード６４４ａ、ｂを合計４０個しか使用しない一方、このパフォーマンスは、ＡＮＮ中の６０個の隠れ層のノードを使用することによって得られる。図１２、１３のデータは、補助タスクからの帰納的移転の追加的な利点を論証しているように見える。

本発明の利点は、比較的多量に存在し入手コストも低いラベル付けされないデータの適用を通じて利用可能な情報を効果的に使用することを含む。更に、マルチパートＡＮＮとラベル付けされていないデータを適用することは、単一パートＡＮＮに関する訓練時間と誤差率を改善する。

当業者であれば、自動質問分類及び回答のためのシステム及びプロセスについての追加的代替的実施形態がわかるであろう。本発明は、ここで開示された詳細構成に限定されることはなく、特許請求の範囲に規定された本発明の主旨を逸脱することなく、当業者が、本発明の方法及び装置の配置、操作及び詳細に修正や変更を加えることが可能である。

本発明の１つの実施形態に係るシステムを示す図である。 本発明の１つの実施形態に係る質問に回答する方法を示す図である。 本発明の１つの実施形態に係る質問カテゴリを示す図である。 本発明の１つの実施形態に係る質問からデータベースへのマッピングを示す図である。 汎用人工神経回路を示す図である。 本発明の１つの実施形態に係るマルチパート人工神経回路の補助タスク及びメインのタスクを示す図である。 本発明の１つの実施形態に係るマルチパート人工神経回路の適用方法を示す図である。 本発明の１つの実施形態に係るラベル付けされていないデータを受け付けるインタフェースを示す図である。 センテンス内の統語的関係タグの組を示す図である。 本発明の１つの実施形態の実験評価に係る学習曲線を示す図である。 本発明の１つの実施形態の実験評価に係る検定誤差を示す図である。 本発明の１つの実施形態の実験評価に係る学習曲線を示す図である。 本発明の１つの実施形態の実験評価に係る検定誤差を示す図である。

Claims (19)

1. 第１の質問を自動的に分類する方法であって、
   前記方法は、
   ラベル付けされていないデータを受け付け、
   前記ラベル付けされていないデータを自動的にラベル付けし、第１のウエイトの組を有する第１の人工神経回路を使用して第１のラベル付けされたデータを作成し、
   前記第１のウエイトの組を第２の人工神経回路に移転し、
   第２の質問と対応する回答を有する第２のラベル付けされたデータを受け付け、
   前記第２のラベル付けされたデータを使用して前記第２の人工神経回路を訓練し、
   前記第１の質問を受け付け、
   前記第２の人工神経回路を使用して、質問カテゴリを前記第１の質問に関連付ける、
   ことを含むことを特徴とする方法。
2. 前記質問カテゴリに基づき、前記第１の質問を、複数のデータベースのうちの第１のデータベースにマッピングするステップを更に有する、
   ことを特徴とする請求項１に記載の方法。
3. 前記自動的にラベル付けすることは、
   前記ラベル付けされていないデータ内で予測構造を学習することを有する、
   ことを特徴とする請求項１に記載の方法。
4. 前記ラベル付けされていないデータは、第３の質問を有する、
   ことを特徴とする請求項１に記載の方法。
5. 前記ラベル付けされていないデータを自動的にラベル付けすることは、
   前記第３の質問毎に品詞タグを自動的に生成すること、
   前記第３の質問内に残存する１又は複数の単語から疑問詞を自動的に予測すること、及び、
   前記第３の質問内の２つの単語間の統語的関係組を自動的に予測すること、のうちの少なくとも１つを有すること、
   を特徴とする請求項３に記載の方法。
6. 前記質問カテゴリは、
   事実−日付、事実−人物、事実−他、客体−特性に対する応答、人物−行為に対する応答、客体−特性に対する黙示の応答、人物−行為に対する黙示の応答、場所、観測−事象−時刻、観測−客体−状態、観測−人物−行為、ステップ、ウエブ現在事象、及びウエブ天候からなるグループに属する１つである、
   ことを特徴とする請求項１に記載の方法。
7. 前記質問カテゴリをシステムクエリ語（ＳＱＬ）のクエリにマッピングするステップを更に有する、
   ことを特徴とする請求項１に記載の方法。
8. 前記第１及び第２の人工神経回路のそれぞれは、１つの入力層、１つの隠れ層、及び１つの出力層を有する、
   ことを特徴とする請求項１に記載の方法。
9. 前記第２の人工神経回路の前記学習は、前進活動及び逆エラー伝播を有する、
   ことを特徴とする請求項１に記載の方法。
10. 前記ラベル付けされていないデータは、人間によって分散データコレクションを介して提供される、
    ことを特徴とする請求項１に記載の方法。
11. 前記第１のウエイトの組を前記第２の人工神経回路に移転する前に、前記第１のウエイトの組を固定するステップを更に有する、
    ことを特徴とする請求項１に記載の方法。
12. 前記第１の質問内の客体及び特性のうちの少なくとも１つを特定するステップを更に有する、
    ことを特徴とする請求項２に記載の方法。
13. 前記客体及び前記特性に従って、前記第１のデータベースに問い合わせるステップを更に有する、
    ことを特徴とする請求項１１に記載の方法。
14. 前記第２の人工神経回路は、
    １組の出力ノードを有し、
    前記質問カテゴリは、
    前記出力ノードの組のうち最強の出力ノードに従って、前記質問カテゴリが前記第１の質問と関連付けられる、
    ことを特徴とする請求項１に記載の方法。
15. 第１の質問を自動的に分類する装置であって、
    前記装置は、入力部と、制御部とを有し、
    前記入力部は、
    ラベル付けされていないデータを受け付け、
    第２の質問と対応する回答を有する第２のラベル付けされたデータを受け付け、
    前記第１の質問を受け付け、
    前記制御部は、
    前記ラベル付けされていないデータを自動的にラベル付けし、第１のウエイトの組を有する第１の人工神経回路を使用して第２のラベル付けされたデータを作成し、
    前記第１のウエイトの組を第２の人工神経回路に移転し、
    前記第１のラベル付けされたデータを使用して前記第２の人工神経回路を訓練し、
    前記第２の人工神経回路を使用して、質問カテゴリを前記第１の質問に関連付ける、
    ことを特徴とする装置。
16. 前記第１及び第２の人工神経回路は、マルチパート人工神経回路を有すること、
    を特徴とする請求項１５に記載の装置。
17. 第１の質問を自動的に分類する装置であって、
    ラベル付けされていないデータを受け付ける手段と、
    前記ラベル付けされていないデータを自動的にラベル付けし、第１のウエイトの組を有する第１の人工神経回路を使用して第１のラベル付けされたデータを作成する手段と、
    前記第１のウエイトの組を第２の人工神経回路に移転する手段と、
    第２の質問と対応する回答を有する第２のラベル付けされたデータを受け付ける手段と、
    前記第２のラベル付けされたデータを使用して前記第２の人工神経回路を訓練する手段と、
    前記第１の質問を受け付ける手段と、
    前記第２の人工神経回路を使用して、質問カテゴリを前記第１の質問に関連付ける手段と、
    を有することを特徴とする装置。
18. 前記第１及び第２の人工神経回路は、マルチパート人工神経回路を有すること、
    を特徴とする請求項１７に記載の装置。
19. コンピュータの制御部に、第１の質問を自動的に分類する方法を実装させるコンピュータプログラム指示を格納する、コンピュータに読取り可能な媒体を含むコンピュータプログラム製品であって、
    前記方法は、
    前記ラベル付けされていないデータを自動的にラベル付けし、第１のウエイトの組を有する第１の人工神経回路を使用して第１のラベル付けされたデータを作成することと、
    前記第１のウエイトの組を第２の人工神経回路に移転することと、
    第２の質問と対応する回答を有する第２のラベル付けされたデータを受け付けることと、
    前記第２のラベル付けされたデータを使用して前記第２の人工神経回路を訓練することと、
    前記第１の質問を受け付けることと、
    前記第２の人工神経回路を使用して、質問カテゴリを前記第１の質問に関連付けることと、
    を含むことを特徴とするコンピュータプログラム製品。

Images