JP2020533692A5 - - Google Patents

Claims (19)

1. 自然言語分類器において使用される訓練データを更新するためのコンピュータ実施方法であって、
   前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
   前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
   前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
   前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
   前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
   それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
   を含む、コンピュータ実施方法。
2. それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１に記載のコンピュータ実施方法。
3. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、マッチングの程度が所定の閾値を超えるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
4. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、連続するマッチングの程度の間の差が所定の閾値を超えなくなるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
5. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、マッチングの程度の移動平均値が所定の閾値を超えるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
6. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することは、信頼度値が所定の閾値を超えるときに行われる、請求項１に記載のコンピュータ実施方法。
7. 質問に対する前記回答を含む回答クラスを決定することは、
   前記質問に対する前記回答を含む各回答クラスの信頼度値を決定することと、
   相対信頼度値が最も高い前記回答クラス、および、対応する信頼度値が所定の閾値を超える前記回答クラスのうちの一方に基づいて、前記回答クラスを決定することと
   を含む、請求項１に記載のコンピュータ実施方法。
8. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することは、
   対応する信頼度値が所定の閾値を超える場合、質問を１つの回答クラスから別の回答クラスへと再分類することを含む、請求項１に記載のコンピュータ実施方法。
9. それぞれ、前記更新された第１の訓練データおよび第２の訓練データのうちの一方に基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの１つまたは複数を更新することをさらに含む、請求項１に記載のコンピュータ実施方法。
10. 質問グループを前記第１の質問グループおよび前記第２の質問グループに分割することと、
    各質問を前記回答と関連付けることと
    をさらに含む、請求項１に記載のコンピュータ実施方法。
11. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、各質問を前記回答と関連付けることは、所定の閾値を超えない最低の相対信頼度値を含む対応する回答クラスに関する質問の分類が行われるまで反復される、請求項１０に記載のコンピュータ実施方法。
12. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、各質問を前記回答と前記関連付けることは、
    検索エンジンおよび回答コーパスのうちの１つまたは複数を使用することを含む、請求項１０に記載のコンピュータ実施方法。
13. 前記回答が、最高の相対信頼度値を有する回答クラスのものであり、前記回答が、前記検索エンジンおよび前記回答コーパスのうちの１つまたは複数を使用して識別される、請求項１２に記載のコンピュータ実施方法。
14. 各質問を前記回答と前記関連付けることが、最低の相対信頼度値を超える相対信頼度値を含む対応する回答クラスに関する質問の分類が行われるまで反復される、請求項１１に記載のコンピュータ実施方法。
15. 自然言語分類器において使用される訓練データを更新するためのコンピュータ・システムであって、
    １つまたは複数のコンピュータ・プロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによって実行するための、前記コンピュータ可読記憶媒体のうちの１つまたは複数に記憶されているプログラム命令とを備え、前記プログラム命令は、前記１つまたは複数のコンピュータ・プロセッサのうちの前記少なくとも１つによって実行されると、前記コンピュータ・システムに、訓練データを更新するための方法を実施させ、前記方法は、
    前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
    前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
    前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
    前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
    前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
    それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
    を含む、コンピュータ・システム。
16. 前記方法が、
    それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１５に記載のコンピュータ・システム。
17. コンピュータ・プログラムであって、
    １つまたは複数のコンピュータ可読記憶デバイスと、コンピュータ・システムの少なくとも１つまたは複数のコンピュータ・プロセッサによって実行するための、前記１つまたは複数のコンピュータ可読記憶デバイスのうちの少なくとも１つに記憶されているプログラム命令とを備え、前記プログラム命令は、前記１つまたは複数のコンピュータ・プロセッサのうちの前記少なくとも１つによって実行されると、前記コンピュータ・システムに、訓練データを更新するための方法を実施させ、前記方法は、
    前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
    前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
    前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
    前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
    前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
    それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
    を含む、コンピュータ・プログラム。
18. 前記方法が、
    それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１７に記載のコンピュータ・プログラム。
19. 請求項１８に記載の前記コンピュータ・プログラムを、コンピュータ可読記録媒体に記録した、記録媒体。