JP2021157602A

JP2021157602A - 機械学習モデル訓練装置、機械学習モデル、及びコンピュータプログラム

Info

Publication number: JP2021157602A
Application number: JP2020058332A
Authority: JP
Inventors: ジュリアンクロエツェー; Kloetzer Julien; 鍾勲呉; Jong Hoon Oh; 龍飯田; Ryu Iida; 健太郎鳥澤; Kentaro Torisawa
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07
Anticipated expiration: 2040-03-27
Also published as: JP7550432B2

Abstract

【課題】従来より高精度に因果関係を判定するよう機械学習モデルを訓練するモデル訓練装置及びそのモデルを提供する。【解決手段】モデル１８０は同構成の複数のＢＥＲＴと、これらの出力から分類結果を出力する分類層とを含む。モデル訓練装置２２０は、各因果関係候補から、因果関係に関する複数種類の背景知識を抽出する背景知識抽出部２４２、各因果関係候補に対する複数の評価者による評価結果を記憶する評価結果記憶部２４０、各因果関係候補に対し、当該候補から抽出された背景知識の各々について、当該候補と、当該背景知識と、当該候補に関する評価結果とを組合せた訓練データを生成する訓練データ作成部２４６と、当該候補から複数種類の背景知識について得られた訓練データを、複数のＢＥＲＴに入力したときの分類層の出力と、当該訓練データの評価結果とを用いてモデル１８０の訓練を行うＢＥＲＴ訓練部２５０とを含む。【選択図】図６

Description

この発明は機械学習モデルの訓練装置に関し、特に、因果関係候補が因果関係として相当か否かを判定する機械学習モデルと、当該機械学習モデルを訓練する装置とに関する。

「タバコを吸う→肺がんで死亡する」のような事象の因果関係（以下、単に「因果関係」という。）は、言語理解のための基本的知識であると考えられてきた。そのため、因果関係に関しては多くの研究がなされてきており、様々な自然言語のアプリケーションに適用されてきた。したがって因果関係を高い精度で判定することは、自然言語処理について必須の技術である。

また、一部の研究者は、「地球温暖化が進む→海洋温度が上昇する」と「海洋温度が上昇する→腸炎ビブリオによる汚染が発生する」という２つの因果関係を連鎖させることにより、「地球温暖化が進む→海洋温度が上昇する→腸炎ビブリオによる汚染が発生する」のような新たな因果関係（ここでは「シナリオ」と呼ぶ。）を得る試みを行っている。人間の行為に起因する気候変動とビブリオによる汚染との関連については、バルト海で発生したことが２０１３年に初めて報告されたが、２００７年にウェブから収集したテキスト（上記関連についての記載はない。）から上記方法で生成したシナリオには、上記関連に関する記載が既に含まれていた。この例からも、因果関係からシナリオを生成する技術は有用であることが分かる。

すなわち、既知の因果関係を連鎖させることで、新たな因果関係を見出すことができるということである。これは、何らかの決定を行う際には非常に有効な情報として利用できる。

しかし、シナリオを生成する上では文脈のミスマッチを避ける必要があり、これが最も大きな課題となっている。例えば「太陽光パネルで受光する→エネルギを消費する」と「エネルギを消費する→人体の細胞を復元する」という因果関係を連鎖させるとおかしなシナリオが得られてしまう。これはこれら因果関係の周辺の文脈が互いに一致していないために生じる問題である。

後掲の非特許文献１は、こうした問題を解決するための提案を行っている。非特許文献１に開示された因果関係の認識方法は、ＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ）モデル（以下、単に「ＢＥＲＴ」という。）を用いる。ＢＥＲＴは、内部に複数のトランスフォーマモデルを含んだモデルであり、大量のテキストから教師なしで事前学習を行うことができる。さらに特定のタスクに関するファインチューニングと呼ばれる訓練を行うことで、そのタスクに対する比較的少ない教師データでも高い精度が得られるとされている。

非特許文献１では、因果関係を大量に含むテキストでＢＥＲＴの事前学習を行った上で、３種類のファインチューニング方法を提案している。そのうちの一つの方法では、ＢＥＲＴのファインチューニング用の入力データとして、因果関係候補と、その因果関係候補が因果関係として相当か否かを示す評価者によるラベルと、背景知識を示す情報とを与える。評価者は３人とし、各評価者について別々のソフトマックス層を同一のＢＥＲＴの出力を受けるように設けてＢＥＲＴ及び各ソフトマックス層の学習を行う。このとき、各評価者によるラベルを教師データとし、各評価者について別々のソフトマックス層を用いて学習する。こうしてＢＥＲＴ及び３個のソフトマックス層の学習が終了した後、入力に応じてＢＥＲＴ及び３つのソフトマックス層の各々との組合せの出力を算出し、それらの平均を最終結果とする。背景知識としては、非特許文献２に記載のものを用いる。この背景知識は、バイナリパターン、なぜ型質問応答システムから得た回答、及び手がかり語を含む文を含む。

バイナリパターンとは、ウェブから収集したテキストの依存構造上で、ある因果関係の原因部の名詞句（以下、「原因名詞」という。）と結果部の名詞句（以下、「結果名詞」という。）とを接続する最短のパスをいう。例えば「ＡがＢを引き起こす」という因果関係の場合、Ａが原因名詞、Ｂが結果名詞である。このようなバイナリパターンとともに生じる原因名詞及び結果名詞の組み合わせ（例えば「たばこ」と「肺がん」）は、因果関係の存在を強く示唆する。なおバイナリパターンでは、原因名詞はそれを表す何らかの変数（例えば「Ａ」）に、結果名詞は同様にそれを表す何らかの変数（例えば「Ｂ」）に、それぞれ置き換えられている。

なぜ型質問応答システムから得た回答とは、因果関係の結果部から自動生成された質問、例えば「なぜ人は肺がんで死亡するのですか？」という質問に対して、既存のなぜ型質問応答システムから得られた回答、例えば「タバコを吸うからです。」というような回答のことをいう。

なお、因果関係の原因部は一般的に「原因名詞＋原因部の述語」という形式であり、結果部は一般的に「結果名詞＋結果部の述語」という形式である。

手がかり語を含む文とは、因果関係を表すとされる接続詞である「ため」「から」等の手がかり語により原因名詞と結果名詞とが連結されているような文のことをいう。

非特許文献１によれば、このような情報を用いて訓練したＢＥＲＴを用いた実験では、従来の技術によるものと比較してＦメジャーの値も平均適合率も高くなり、特にＦメジャーの値は従来の技術と比較して有意に高かったとされている。Ｆメジャーと平均適合率とは、ここでは、得られた因果関係の表現が、因果関係としてふさわしいかについての指標であり、値が高いほど、精度がよいことを示すものである。

Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, Jong-Hoon Oh, and Julien Kloetzer. 2019. Event causality recognition exploiting multiple annotators’ judgments and background knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5816-5822, Hong Kong, China. Association for Computational Linguistics. Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh, and Masahiro Tanaka. 2017. Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pages 3466-3473. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin (2017). Attention is All You Need. In Proceedings of the 31st Neural Information Processing Systems Conference (NIPS), pp. 5998-6008. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186. Association for Computational Linguistics. Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, Istvan Varga, Jong-Hoon Oh, and Yutaka Kidawara. 2014. Toward future scenario generation: Extracting event causality exploiting semantic relation, context, and association features. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pages 987-997.

非特許文献１に記載された技術は、従来の技術と比べてより高いＦメジャー及び適合率を示すという優れた効果が得られる。しかし、前述したようにこの分野では、より高い性能を示すような因果関係の判定のためのモデルが常に求められている。そのためには、判定に使用する機械学習モデルとしてさらに望ましいものを探索し、あわせてその機械学習モデルを適切に訓練する必要がある。

したがってこの発明は、因果関係の判定が従来よりも高い精度で行えるように機械学習モデルを訓練できるモデル訓練装置及びその機械学習モデルを提供することを目的とする。

この発明の第１の局面に係るモデル訓練装置は、機械学習モデルの訓練を行うためのモデル訓練装置であって、機械学習モデルは複数のニューラル・ネットワークと、当該複数のニューラル・ネットワークの出力に基づき分類結果を出力する分類層とを含み、モデル訓練装置は、複数の因果関係候補の各々から、因果関係に関する複数種類の背景知識を抽出する背景知識抽出手段を含み、複数種類の背景知識はそれぞれ複数のニューラル・ネットワークの異なる一つに対応付けられ、複数の因果関係候補の各々に対し、当該因果関係候補から抽出された複数種類の背景知識の各々について、当該因果関係と、当該背景知識と、当該因果関係候補に関する評価結果とを組み合わせた訓練データを生成する訓練データ生成手段と、当該因果関係候補から複数種類の背景知識について得られた訓練データを、複数のニューラル・ネットワークに入力したときの分類層の出力と、当該訓練データの評価結果とを用いて機械学習モデルの訓練を行う訓練手段とを含む。

好ましくは、複数のニューラル・ネットワークは、互いに同じ構成の複数のＢＥＲＴを含む。

より好ましくは、背景知識抽出手段は、複数の因果関係候補の各々から、原因名詞と結果名詞とを抽出し、原因名詞と結果名詞との各々について、類義語を取得する類義語取得手段と、類義語取得手段により取得された原因名詞の類義語と、結果名詞の類義語との任意の組み合わせを結ぶバイナリパターンを文書アーカイブから抽出する類義バイナリパターン抽出手段と、因果関係を記憶する因果関係記憶手段と、類義語取得手段により取得された原因名詞の類義語の一つと、結果名詞の類義語の一つとを持つ因果関係を因果関係記憶手段から抽出する類義因果関係抽出手段とを含む。

さらに好ましくは、モデル訓練装置は、複数の評価者による評価結果を記憶する評価結果記憶手段と、複数の評価者による評価結果の多数決による評価結果を記憶する多数決結果記憶手段とをさらに含み、訓練データ生成手段は、複数の因果関係候補の各々に対し、当該因果関係候補に対する複数の評価者による評価結果の各々について、当該因果関係候補から抽出された複数種類の背景知識の各々について、当該因果関係候補と、当該背景知識と、評価者を示す識別子と、当該因果関係候補に関する識別子により表される評価者別の評価結果とを組み合わせた訓練データ及び当該因果関係候補から抽出された複数種類の背景知識の各々について、当該因果関係候補と、当該背景知識と、当該因果関係候補に関する多数決による評価結果を示す識別子と、当該因果関係候補に関する多数決による評価結果とを組み合わせた訓練データを生成する評価者別訓練データ生成手段とを含む。

この発明の第２の局面に係る機械学習モデルは、上記したいずれかのモデル訓練装置により訓練された機械学習モデルである。

この発明の第３の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの装置の各手段として機能させる。

この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

図１は、因果関係からシナリオを生成する過程を模式的に示す図である。図２は、非特許文献１で使用されている背景知識の構成を模式的に示す図である。図３は、非特許文献１で使用されているＢＥＲＴによる機械学習モデルの構成を模式的に示す図である。図４は、この発明の第１の実施の形態で使用する背景知識の構成を模式的に示す図である。図５は、第１の実施の形態で使用するマルチＢＥＲＴによる機械学習モデルの構成を模式的に示す図である。図６は、第１の実施の形態に係る機械学習モデル訓練装置の構成を示すブロック図である。図７は、図６に示す背景知識抽出部２４２の構成を示すブロック図である。図８は、第１の実施の形態に係る機械学習モデル訓練装置により訓練したマルチＢＥＲＴを用いた因果関係判定装置の構成を示すブロック図である。図９は、第１の実施の形態に係る機械学習モデル訓練装置により訓練した因果関係判定装置の性能を、従来技術による性能と比較して表形式で示す図である。図１０は、先行技術に係る機械学習モデル訓練装置の構成を示すブロック図である。図１１は、図１０に示すシナリオ判定部の構成を模式的に示す図である。図１２は、この発明の第２の実施の形態に係る機械学習モデル訓練装置の構成を示すブロック図である。図１３は、図１２に示すシナリオ判定部の構成を模式的に示す図である。図１４は、この発明の第２の実施の形態に係る機械学習モデル訓練装置により訓練したマルチＢＥＲＴの性能を従来技術と比較して表形式で示す図である。図１５は、シナリオのスコア算出方法の従来技術を模式的に示す図である。図１６は、この発明の第３の実施の形態に係るシナリオの算出方法を模式的に示す図である。図１７は、この発明の第４の実施の形態に係るシナリオの算出方法を模式的に示す図である。図１８は、この発明の第３の実施の形態に係るシナリオスコア算出方法を実現するプログラムの制御構造を示すフローチャートである。図１９は、この発明の第４の実施の形態に係るシナリオスコア算出方法を実現するプログラムの制御構造を示すフローチャートである。図２０は、この発明の第４の実施の形態に係るシナリオスコア算出方法を実現する他のプログラムの制御構造を示すフローチャートである。図２１は、この発明の第３の実施の形態及び第４の実施の形態に係るシナリオ算出方法によるシナリオ算出の精度を表形式で示す図である。図２２は、この発明の各実施の形態に係る装置及び方法を実現するコンピュータシステムの外観図である。図２３は、図２２に示すコンピュータのハードウェアブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰り返さない。

第１先行技術
１．シナリオ生成
図１に、シナリオ生成の一般的な流れを示す。図１を参照して、シナリオ生成システム５０は、ウェブ６０から因果関係を収集する因果関係取得部６２と、因果関係取得部６２により収集された因果関係から因果シナリオ６６を生成するシナリオ生成部６４とを含む。シナリオ生成部６４は、複数のシナリオ候補を取得（生成）するシナリオ候補の取得処理部７０と、シナリオ候補の取得処理部７０により取得された複数のシナリオ候補をそれらのスコアに基づいてランキングし、最もスコアの高いいくつかのシナリオ候補を因果シナリオ６６として出力するシナリオランキング部７２とを含む。

因果関係の収集は何らかの手段で自動的に行ってもよいし、人手で行ってもよい。

２．背景知識
非特文献１に記載の因果関係の判定では、図２に示すような背景知識を用いている。

事象の因果関係９０として、「原因名詞＋原因の述語」→「結果名詞＋結果の述語」というものを考える。例えば原因名詞として「薬」、結果名詞として「副作用」という組み合わせが考えられる。このとき、原因名詞（薬）と結果名詞（副作用）とを結ぶバイナリパターンを一般的な文から抽出する。これらをバイナリパターン（ＢＰ）背景知識９２と呼ぶ。また、結果名詞と結果の述語との組み合わせから自動的に質問を生成し、なぜ型質問応答システムに入力して得られた回答から、原因名詞と結果名詞とを結んだバイナリパターンを抽出する。これらをＷＨＹ背景知識９４と呼ぶ。最後に、手がかり語を持つパッセージから抽出した原因名詞と結果名詞を結ぶバイナリパターンを抽出する。これらをＣＬＵＥ背景知識９６と呼ぶ。

これら背景知識は、基本的にはウェブ９８から抽出される。非特許文献１ではこれらを背景知識として因果関係の判定に用いている。

３．機械学習モデル
図３に、非特許文献１が使用している機械学習モデルの構成を模式的に示す。図３を参照して、この機械学習モデル１１０は、ベクトルからなる入力１２０を受けて入力１２０により表される入力文ｘが因果関係として適切か否かを示す判定結果を出力するよう訓練されたＢＥＲＴ１２２と、ＢＥＲＴ１２２の出力を受け、入力文ｘが因果関係として適切か否かに関する、３人の判定者の判定結果をそれぞれ表す３つの確率分布にしたがう値を出力するよう訓練済の分類層１２４とを含む。なお、ＢＥＲＴ１２２は予め大量の一般文書を用いて事前学習したものである。ＢＥＲＴが事前学習済であることは、以下に説明する各実施の形態でも同様である。

入力１２０は、判定対象となる因果関係候補である入力文ｘと、ＢＰ背景知識９２と、ＷＨＹ背景知識９４と、ＣＬＵＥ背景知識９６とを区切り文字を挟んで連結したベクトルである。ＢＥＲＴへの入力では、入力される各文字列の間に分離のための区切り文字を挿入することになっている。以下の説明でＢＥＲＴへの入力を連結する、というときには、それらの間に区切り文字を挟むことが前提となっている。これら入力を構成する各文字はそれぞれいわゆるワンホットベクトルでもよいし、埋め込みベクトルでもよい。

ＢＥＲＴ１２２は、入力１２０を受けてエンコードされた入力（ｈ_０）を出力する入力層１３０と、入力層１３０の出力を受ける第１トランスフォーマ層１３２と、第１トランスフォーマ層１３２の出力を受ける第２トランスフォーマ層１３４と、以下複数のトランスフォーマ層（図示せず）と、最終のトランスフォーマ層の出力する最終の隠れベクトル（ｈ_Ｎ）を分類層１２４に出力する最終層１３６とを含む。

第１トランスフォーマ層１３２、第２トランスフォーマ層１３４等のトランスフォーマと呼ばれるニューラル・ネットワークについては最近になって非特許文献３により提案されたモデルである。ＢＥＲＴはさらに最近になって非特許文献４において提案されたモデルであり、このトランスフォーマを複数個含む。ＢＥＲＴは、その性能の高さと事前学習のしやすさ及び特定のタスクへの転移学習の容易さとにより、自然言語処理においては事実上の標準モデルとなっている。

なお、この先行技術では、入力文ｘが因果関係として適当なものか否かを３人の判定者がそれぞれ判定している。分類層１２４はこれら３人の判定者にそれぞれ応じた３つの線形和及びソフトマックス層を含む。機械学習モデル１１０の訓練は、分類層１２４については各判定者による判定結果を教師ラベルとして行われる。

第２第１の実施の形態
１．構成
（１）新しい背景知識
図４に、この発明の第１の実施の形態で使用する背景知識を模式的に示す。図４を参照して、先行技術の事象の因果関係９０と同様の因果関係を例に説明する。この実施の形態では、図２に示すＢＰ背景知識９２及びＷＨＹ背景知識９４を先行技術として使用する。しかしこの実施の形態では、図２のＣＬＵＥ背景知識９６に代えて、原因名詞と結果名詞との双方についての類義語を用いた背景知識１５０を新たに用いる。

具体的には、事象の因果関係９０の原因名詞と結果名詞との双方から原因名詞の類義語（以下これを「類義原因名詞」という。）と、結果名詞の類義語（以下これを「類義結果名詞」という。）とからなる類義名詞１６０を生成する。次に、ウェブ９８から抽出した因果関係についての文から、類義原因名詞と類義結果名詞とを連結するバイナリパターンからなるＳＩＭ−ＢＰ背景知識１６２と、類義原因名詞と類義結果名詞とを連結する因果関係からなるＳＩＭ−ＥＣ背景知識１６４を生成し、これらを因果関係判定のための背景知識として用いる。ここで、ＳＩＭ−ＥＣ背景知識は、従来技術を用いて構築した因果関係のデータベースを利用して、類義原因名詞と類義結果名詞を用いて、因果関係を抽出して生成する。例えば、因果関係のデータベースに「シガレットを吸って、肺の病気になった。」という因果関係が含まれていたと仮定し、原因名詞が「タバコ」、結果名詞が「肺がん」であった場合、類義原因名詞として「シガレット」、類義結果名詞として「肺の病気」を利用することで、先の因果関係を生成できる。実施例の構成では、背景知識として、因果関係のデータベースから抽出した因果関係（先の例では「シガレットを吸って、肺の病気になった。」の基になった文章（センテンス又はセンテンスの集まり）を、原因名詞及び結果名詞と結合させて、訓練データとして利用している。類義原因名詞として「シガレット」ではなくタバコの特定の銘柄の名称が得られた場合等も同様である。

（２）機械学習モデル
図５は、この実施の形態の機械学習モデル１８０の概略構成を示す。機械学習モデル１８０は、いずれもベクトルからなる入力１９０、１９４、１９８及び２０２を受け、推論結果のベクトルを出力するＢＥＲＴ１９２、１９６、２００及び２０４と、ＢＥＲＴ１９２、１９６、２００、及び２０４の出力を受けるように接続され、３人の判定者の判定結果に応じた確率分布にしたがって判定対象の因果関係候補が適切か否かに関する分類結果を出力する分類層２０６とを含む。

ＢＥＲＴ１９２、１９６、２００及び２０４の構成は図３に示すものと同様である。このように複数のＢＥＲＴを組み合わせたモデルを、この明細書では「マルチＢＥＲＴ」という。

ＢＥＲＴ１９２への入力１９０であるｘ_１は、対象となる因果関係候補の文と、この文に基づいて得られたＢＰ背景知識とを連結したベクトルである。ＢＥＲＴ１９６への入力１９４であるｘ_２は、対象となる文と、この文に基づいて得られた質問に対し、なぜ型質問応答システムから得られた回答であるＷＨＹ背景知識とを連結したベクトルである。ＢＥＲＴ２００への入力１９８であるｘ_３は、対象となる文と、この文の原因名詞及び結果名詞から得られたＳＩＭ−ＢＰ背景知識とを連結したベクトルである。ＢＥＲＴ２０４への入力２０２であるｘ_４は、対象となる文と、この文の原因名詞及び結果名詞から得られたＳＩＭ−ＥＣ背景知識とを連結したベクトルである。

この実施の形態でも、分類層２０６は３人の判定者にそれぞれ応じた３つの線形和及びソフトマックス層を含む。これらはいずれもＢＥＲＴ１９２、１９６、２００及び２０４の出力を受けるように接続されている。

（３）訓練装置
図６は、図５に示す機械学習モデル１８０を訓練するための訓練装置のブロック図である。図６を参照して、この訓練装置２２０は、訓練に使用される多数の因果関係候補を記憶するための因果関係候補記憶部２３０と、類義語辞書を記憶する類義語辞書記憶部２３２と、因果関係に関する多数のバイナリパターンからなるバイナリパターン辞書を記憶するバイナリパターン辞書記憶部２３４と、ウェブから抽出した多数の文書を含むウェブアーカイブを記憶するウェブアーカイブ記憶部２３６とを含む。

訓練装置２２０はさらに、因果関係候補記憶部２３０から因果関係候補を読み出し、３人の評価者にその評価（その因果関係候補が因果関係として適切か否か）を行わせる因果関係評価部２３８と、因果関係評価部２３８による評価結果を因果関係候補と評価者との組み合わせごとに記憶する評価結果記憶部２４０と、因果関係候補記憶部２３０、類義語辞書記憶部２３２及びバイナリパターン辞書記憶部２３４を参照して、ウェブアーカイブ記憶部２３６から因果関係候補に関する上述した背景知識を抽出する背景知識抽出部２４２と、背景知識抽出部２４２により抽出された背景知識を因果関係ごとに記憶する背景知識記憶部２４４とを含む。

訓練装置２２０はさらに、因果関係ごとに、背景知識記憶部２４４に記憶された背景知識と、評価結果記憶部２４０に記憶された評価者ごとの評価結果とに基づいて、図５に示す入力１９０、１９４、１９８及び２０２を教師ラベルと組み合わせた訓練データを作成するための訓練データ作成部２４６と、訓練データ作成部２４６が作成した訓練データを記憶するための訓練データ記憶部２４８と、訓練データ記憶部２４８に記憶された訓練データを用いて機械学習モデル１８０の訓練（ファインチューニング）を行うためのＢＥＲＴ訓練部２５０とを含む。

図７は、図６に示す背景知識抽出部２４２のより詳細なブロック図である。図７を参照して、背景知識抽出部２４２は、因果関係候補記憶部２３０から因果関係候補を読み出し、その因果関係候補の原因名詞と結果名詞とを抽出する原因単語・結果単語抽出部２７０と、原因単語・結果単語抽出部２７０により抽出された原因名詞及び結果名詞の各々についての類義語（類義原因名詞及び類義結果名詞）を類義語辞書記憶部２３２において検索し取り出すための類義語検索部２７２とを含む。

背景知識抽出部２４２はさらに、原因単語・結果単語抽出部２７０により抽出された原因名詞及び結果名詞、類義語検索部２７２により出力された類義原因名詞及び類義結果名詞、バイナリパターン辞書記憶部２３４に記憶されたバイナリパターン辞書、並びにウェブアーカイブ記憶部２３６に記憶された多数の文書を参照して、ＢＰ背景知識、ＳＩＭ−ＢＰ背景知識、及びＳＩＭ−ＥＣ背景知識を生成し出力するための背景知識生成部２７４を含む。

背景知識抽出部２４２はさらに、因果関係候補記憶部２３０から因果関係候補を読み出し、その結果部から従来と同様にして質問文を自動的に生成する質問生成部２７８と、質問生成部２７８が生成した質問文を外部のなぜ型質問応答システム２８０に与え、その回答をそのスコアとともに受信するための回答収集部２８２と、回答収集部２８２が収集した回答の中でスコアが高いものから所定個数を選択するための回答選択部２８４と、バイナリパターン辞書記憶部２３４を参照して、回答選択部２８４により選択された回答からバイナリパターン辞書記憶部２３４に記憶されたいずれかのバイナリパターンと合致するものを抽出しＷＨＹ背景知識として出力するバイナリパターン抽出部２８６とを含む。

背景知識抽出部２４２はさらに、背景知識生成部２７４及びバイナリパターン抽出部２８６が出力した背景知識を記憶するための背景知識記憶部２４４を含む。背景知識記憶部２４４は、ＢＰ背景知識を記憶するためのＢＰ記憶部３００と、ＳＩＭ−ＢＰ背景知識を記憶するためのＳＩＭ−ＢＰ記憶部３０２と、ＳＩＭ−ＥＣ背景知識を記憶するためのＳＩＭ−ＥＣ記憶部３０４と、バイナリパターン抽出部２８６が出力するＷＨＹ背景知識を記憶するためのＷＨＹ記憶部３０６とを含む。

（４）因果関係の判定
図８に、以上に説明した訓練データにより訓練した機械学習モデル１８０を用い、入力される因果関係候補が因果関係として適切か否かを判定する装置の構成について説明する。図８にそうした装置の例である因果関係判定装置３３０の構成を示す。図８を参照して、因果関係判定装置３３０は、類義語辞書記憶部２３２、バイナリパターン辞書記憶部２３４、及びウェブアーカイブ記憶部２３６と、因果関係候補３５０を受け付け、ベクトル化して出力する因果関係候補受付部３５２とを含む。

因果関係判定装置３３０はさらに、因果関係候補受付部３５２が受け付けた因果関係候補３５０から原因名詞と結果名詞とを抽出する、図７の原因単語・結果単語抽出部２７０と同様の機能を持つ原因単語・結果単語抽出部３５４と、原因単語・結果単語抽出部３５４により抽出された原因名詞と結果名詞の各々について類義語辞書記憶部２３２を検索し、類義語を出力する、図７に示す類義語検索部２７２と同様の機能を持つ類義語検索部３５６と、原因単語・結果単語抽出部３５４が抽出した原因名詞と、類義語検索部３５６が出力した類義語とを用い、バイナリパターン辞書記憶部２３４に記憶されたバイナリパターンを参照してＢＰ３６０、ＳＩＭ−ＢＰ３６２、及びＳＩＭ−ＥＣ３６４を生成する背景知識生成部３５８とを含む。

因果関係判定装置３３０はさらに、因果関係候補受付部３５２の結果部から自動的に質問文を生成する質問生成部３６８と、質問生成部３６８が生成した質問文を外部のなぜ型質問応答システム３７０に与え、その回答を収集する回答収集部３７２と、回答収集部３７２が収集した回答の中でスコアが最も高いものを選択する回答選択部３７４と、バイナリパターン辞書記憶部２３４に記憶されたバイナリパターン辞書を参照し、回答選択部３７４により選択された回答からバイナリパターンを抽出してＷＨＹ背景知識３７８として出力するためのバイナリパターン抽出部３７６とを含む。

因果関係判定装置３３０はさらに、背景知識生成部３５８が出力するＢＰ３６０及び因果関係候補受付部３５２の出力を用いて図５の入力１９０の構成を持つ入力を生成し、ＢＥＲＴ１９２に入力するための第１入力生成部３８０と、バイナリパターン抽出部３７６が出力するＷＨＹ背景知識３７８と因果関係候補受付部３５２の出力を用いて図５の入力１９４の構成を持つ入力を生成し、ＢＥＲＴ１９６に与えるための第２入力生成部３８４と、背景知識生成部３５８が出力するＳＩＭ−ＢＰ３６２と因果関係候補受付部３５２の出力とを用いて図５の入力１９８の構成を持つ入力を生成し、ＢＥＲＴ２００に与えるための第３入力生成部３８８と、背景知識生成部３５８の出力するＳＩＭ−ＥＣ３６４と因果関係候補受付部３５２の出力とを用いて、図５の入力２０２の構成を持つ入力を生成し、ＢＥＲＴ２０４に与えるための第４入力生成部３９２とを含む。

ＢＥＲＴ１９２、１９６、２００及び２０４の出力はいずれも分類層２０６の３つの線形和及びソフトマックス層の入力に接続されている。これら３つの線形和及びソフトマックス層の各々は、３人の評価者のうちの一人に対応する判定結果を示す出力を持つ。

以上に構成を説明した訓練装置２２０及び因果関係判定装置３３０は以下のように動作する。

２．動作
（１）事前学習
事前学習では、事前にウェブから収集した多数の文を用いてＢＥＲＴ１９２、１９６、２００及び２０４の学習を行う。ＢＥＲＴの事前学習の仕方についてはよく知られているのでここではその詳細は繰り返さない。

（２）訓練データの準備
機械学習モデル１８０を訓練（ファインチューニング）するための訓練データは以下のようにして準備される。図６を参照して、ウェブ等から多数の因果関係候補を因果関係候補記憶部２３０に保存しておく。類義語辞書記憶部２３２、バイナリパターン辞書記憶部２３４、及びウェブアーカイブ記憶部２３６についても必要なデータを保存しておく。

因果関係評価部２３８は、因果関係候補記憶部２３０から因果関係候補の各々を読み出し因果関係評価部２３８に与える。因果関係評価部２３８は、３人の評価者に因果関係候補が因果関係として適切か否かに関する判定を行わせ、その結果を評価結果記憶部２４０に記憶させる。

一方、背景知識抽出部２４２は以下のように動作する。図７を参照して、原因単語・結果単語抽出部２７０は、因果関係候補記憶部２３０から因果関係候補を読み出し、その因果関係候補の原因名詞と結果名詞とを抽出する。類義語検索部２７２は、原因単語・結果単語抽出部２７０により抽出された原因名詞及び結果名詞の各々についての類義語（類義原因名詞及び類義結果名詞）を類義語辞書記憶部２３２において検索し取り出す。

背景知識生成部２７４は、原因単語・結果単語抽出部２７０により抽出された原因名詞及び結果名詞、類義語検索部２７２により出力された類義原因名詞及び類義結果名詞、並びにバイナリパターン辞書記憶部２３４に記憶されたバイナリパターン辞書を参照して、ＢＰ背景知識、ＳＩＭ−ＢＰ背景知識、及びＳＩＭ−ＥＣ背景知識を生成し出力する。

質問生成部２７８は、因果関係候補記憶部２３０から因果関係候補を読み出し、その結果部から従来と同様にして質問文を自動的に生成する。回答収集部２８２は、質問生成部２７８が生成した質問文を外部のなぜ型質問応答システム２８０に与え、その回答をそのスコアとともに受信する。回答選択部２８４は、回答収集部２８２が収集した回答の中でスコアが最も高い所定個数を選択する。バイナリパターン抽出部２８６は、バイナリパターン辞書記憶部２３４を参照して、回答選択部２８４により選択された回答からバイナリパターン辞書記憶部２３４に記憶されたいずれかのバイナリパターンと合致するものを抽出しＷＨＹ背景知識として出力する。

背景知識記憶部２４４のＢＰ記憶部３００は、ＢＰ背景知識を記憶する。ＳＩＭ−ＢＰ記憶部３０２は、ＳＩＭ−ＢＰ背景知識を記憶する。ＳＩＭ−ＥＣ記憶部３０４は、ＳＩＭ−ＥＣ背景知識を記憶する。ＷＨＹ記憶部３０６は、バイナリパターン抽出部２８６が出力するＷＨＹ背景知識を記憶する。

図６に戻り、訓練データ作成部２４６は、因果関係候補記憶部２３０から読み出された因果関係候補と、その因果関係候補に関して背景知識記憶部２４４に記憶された背景知識と、同じくその因果関係候補に対して評価結果記憶部２４０に記憶されていた３人の評価者の評価結果の各々とを組み合わせて訓練データを作成し、訓練データ記憶部２４８に格納する。

（３）ファインチューニング
訓練データ記憶部２４８はこの訓練データから、図５に示すような入力１９０、１９４、１９８及び２０２のような形式の入力ベクトルを生成し、それらに対する評価結果を教師ラベルとして機械学習モデル１８０の訓練（ファインチューニング）を行う。ファインチューニングは通常の誤差逆伝播法で行われる。

（４）因果関係の判定処理
図８を参照して、因果関係判定装置３３０は以下のように動作する。因果関係判定装置３３０の因果関係候補受付部３５２は、因果関係候補３５０を受け付け、ベクトル化して出力する。

原因単語・結果単語抽出部３５４は、図７の原因単語・結果単語抽出部２７０と同様、因果関係候補受付部３５２が受け付けた因果関係候補３５０から原因名詞と結果名詞とを抽出する。類義語検索部３５６は、図７に示す類義語検索部２７２と同様、原因単語・結果単語抽出部３５４により抽出された原因名詞と結果名詞の各々について類義語辞書記憶部２３２を検索し、類義語を出力する。背景知識生成部３５８は、原因単語・結果単語抽出部３５４が抽出した原因名詞と、類義語検索部３５６が出力した類義語とを用い、バイナリパターン辞書記憶部２３４に記憶されたバイナリパターン及びウェブアーカイブ記憶部２３６に記憶された多数の文書内の文を参照してＢＰ３６０、ＳＩＭ−ＢＰ３６２、及びＳＩＭ−ＥＣ３６４を生成する。

因果関係判定装置３３０の質問生成部３６８は、因果関係候補受付部３５２の結果部から自動的に質問文を生成する。回答収集部３７２は、質問生成部３６８が生成した質問文を外部のなぜ型質問応答システム３７０に与え、その回答を収集する。回答選択部３７４は、回答収集部３７２が収集した回答の中でスコアが最も高いものを選択する。バイナリパターン抽出部３７６は、バイナリパターン辞書記憶部２３４に記憶されたバイナリパターン辞書を参照し、回答選択部３７４により選択された回答からバイナリパターンを抽出してＷＨＹ背景知識３７８として出力する。

因果関係判定装置３３０の第１入力生成部３８０は、背景知識生成部３５８が出力するＢＰ３６０及び因果関係候補受付部３５２の出力を用いて図５の入力１９０の構成を持つ入力を生成し、ＢＥＲＴ１９２に入力する。第２入力生成部３８４は、バイナリパターン抽出部３７６が出力するＷＨＹ背景知識３７８と因果関係候補受付部３５２の出力を用いて図５の入力１９４の構成を持つ入力を生成し、ＢＥＲＴ１９６に与える。第３入力生成部３８８は、背景知識生成部３５８が出力するＳＩＭ−ＢＰ３６２と因果関係候補受付部３５２の出力とを用いて図５の入力１９８の構成を持つ入力を生成し、ＢＥＲＴ２００に与える。第４入力生成部３９２は、背景知識生成部３５８の出力するＳＩＭ−ＥＣ３６４と因果関係候補受付部３５２の出力とを用いて、図５の入力２０２の構成を持つ入力を生成し、ＢＥＲＴ２０４に与える。

ＢＥＲＴ１９２、１９６、２００及び２０４の出力はいずれも分類層２０６の３つの線形和及びソフトマックス層の入力に与えられる。これら３つの線形和及びソフトマックス層の各々は、３人の評価者のうちの一人に対応する判定結果を示す値を出力する。例えば、これら３つの値（確率値）の平均を計算して、判定結果として用いることで、因果関係候補３５０が因果関係として適切か否かを判定できる。

３．実験と効果
図９に、上記第１の実施の形態の効果を確認するための実験結果を示す。実験では、非特許文献３で使用したものと同じ因果関係候補を使用した。これらは６億のウェブページから抽出したものである。各因果関係候補は、原因部、結果部、及びそれらが抽出された元の文を含んでいた。３人の評価者が各因果関係候補について因果関係か非因果関係かを判定しラベルを付した。

ＢＥＲＴを用いた全ての方法には、非特許文献４に記載の、ウェブから抽出した４×１０^８文を用いて事前学習した基本モデル（ＢＥＲＴ_ＢＡＳＥ）を用いた。評価には、各ＢＥＲＴを開発セットで最適化した後にテストセットに適用した結果から得られたＦメジャー（Ｆ１）と平均適合率とを用いた。結果の信頼性を確保するため、いずれも５つのモデルに対するモデル平均手法（ＭｏｄｅｌＡｖｅｒａｇｉｎｇ）を用いた。

図９に結果を表形式で示す。図９は、上から単純ＢＥＲＴで非特許文献２に記載の背景知識を用いたもの、単純ＢＥＲＴに上記実施の形態で説明した新たな背景知識を用いたもの、非特許文献１に記載の方式に上記した新たな背景知識を用いたもの、上記実施の形態で説明したマルチＢＥＲＴに新たな背景知識を用いたもの、及び非特許文献１による最高結果とを示す。

１行目と２行目とを比較することにより、新たな背景知識を用いることで、非特許文献２に記載のものよりも平均適合率が３．０高くなったことが分かる。また３行目と４行目とを比較することにより、非特許文献１の方式と比較して、上記実施の形態のマルチＢＥＲＴを用いると平均適合率が１．１高くなった事がわかる。さらに５行目と４行目とを比較すると、非特許文献１の方式よりも上記実施の形態によるモデルがＦメジャーで０．９、平均適合率で２．２上回っている。したがって、本願実施の形態によるマルチＢＥＲＴの性能の高さ、及び新たな背景知識が有効であることが確認できた。

４．変形例
上記実施の形態では、評価者に関する情報は、ファインチューニングの際の教師ラベルに関するのみである。しかしこの発明はそのよう実施の形態には限定されない。図５に示す入力１９０、１９４、１９８及び２０２の任意の位置（例えば先頭）に、評価者の識別子をプレフィックスとして付すようにしてもよい。また、後に実施の形態で説明する多数決による評価結果を示す識別子「ＭＡＪ」をプレフィックスとして付して、ファインチューニングを行うようにしてもよい。この変形例の場合は、線形和及びソフトマックス層は、一つだけ用意することになり、因果関係として適切かどうかを示す確率値を出力する。

なお、ここには記載していないが、マルチＢＥＲＴを用いて、上記した新たな背景知識のいずれかを取り除いてテストセットによりその性能を測る実験も行った。実験結果によれば、いずれの背景知識を取り除いた場合にも、図９に示す結果を下回った。その結果、上記した新たな背景知識の各々がいずれも重要な意味を持つことが分かる。

第３第２の実施の形態
１．構成
（１）先行技術
第２の実施の形態は、因果関係を連鎖させてシナリオを生成する装置に関する。図１０に、非特許文献１に記載の技術をシナリオ生成に適用して得られるシナリオ生成装置の構成を示す。

図１０を参照して、先行技術に係るシナリオ生成装置４１０は、多数の因果関係を記憶する因果関係記憶部４２０と、因果関係記憶部４２０に記憶された因果関係のうち、一方の結果部と他方の原因部とが一致するような因果関係を抽出し連鎖させることにより、多数のシナリオ候補を生成するシナリオ候補生成部４２２と、シナリオ候補生成部４２２が生成したシナリオ候補を記憶するシナリオ候補記憶部４２４と、シナリオ候補記憶部４２４に記憶されたシナリオ候補の各々について、所定の数（例えば３人）の評価者にそれぞれ評価させ、評価結果を得るシナリオ候補評価部４２６と、各シナリオ候補についてシナリオ候補評価部４２６により得られた３つの評価結果に対して多数決によりそのシナリオ候補の評価を決定するための多数決部４２８と、多数決部４２８による評価結果を記憶するための多数決結果記憶部４３０とを含む。

シナリオ生成装置４１０はさらに、シナリオ候補記憶部４２４に記憶された各シナリオ候補と、多数決結果記憶部４３０に記憶されたそのシナリオ候補に対する多数決の評価結果とから訓練データを作成する訓練データ作成部４３２と、訓練データ作成部４３２が作成した訓練データを記憶するための訓練データ記憶部４３４と、訓練データ記憶部４３４を用いて、シナリオ候補が因果関係シナリオとして適切か否かを判定する、ＢＥＲＴを含むシナリオ判定部４３８を訓練するためのＢＥＲＴ訓練部４３６とを含む。

（２）先行技術の機械学習モデル
図１１に、図１０のシナリオ判定部４３８の構成を模式的に示す。図１１を参照して、シナリオ判定部４３８は、入力４５０をその入力として受けるＢＥＲＴ４５２を含む。入力４５０は、因果関係シナリオ候補を形成する第１文と第２文とを連結したベクトルｘ_Ｍであり、教師ラベルは多数決結果（ｙ_Ｍ）である。

ＢＥＲＴ４５２は、第１の実施の形態と同様、入力をエンコードする入力層と、出力である隠れベクトルを出力する出力層と、入力層及び出力層の間に直列に置かれた複数のトランスフォーマ層とを含む。

シナリオ判定部４３８はさらに、ＢＥＲＴ４５２の出力する隠れベクトルを受け、このベクトルの各要素の重み付き線形和とソフトマックス関数とにより、入力４５０に対する分類結果（シナリオとして適切か否か）を示す値を出力する分類層４５４とを含む。

（３）実施の形態の訓練装置
図１２に第２の実施の形態に係るシナリオ生成装置４７０の概略ブロック図を示す。図１２を参照して、シナリオ生成装置４７０は、図１０に示すシナリオ生成装置４１０とほぼ同じ構成を持つ。シナリオ生成装置４７０がシナリオ生成装置４１０と異なるのは、シナリオ候補評価部４２６の出力する、各シナリオ候補に関する３人の評価者の評価を記憶する評価結果記憶部４８０を含むこと、並びに、図１０の訓練データ作成部４３２、訓練データ記憶部４３４、ＢＥＲＴ訓練部４３６、及びシナリオ判定部４３８に代えて、訓練データ作成部４８２、訓練データ記憶部４８４、ＢＥＲＴ訓練部４８６、及びシナリオ判定部４８８を含むことである。

訓練データ作成部４８２は、図１０の訓練データ作成部４３２と異なり、各シナリオ候補に対して、評価者の数＋１だけの数の訓練データを作成する。訓練データの構成も図１０に示すものと異なる。

より具体的には、図１３を参照して、３人の評価者がいる場合、訓練データ作成部４８２は多数決入力５００、第１評価者入力５０２、第２評価者入力５０４及び第３評価者入力５０６の４つの訓練データを作成する。

訓練データ記憶部４８４及びＢＥＲＴ訓練部４８６は扱う対象の訓練データが異なるだけで、図１０の訓練データ記憶部４３４及びＢＥＲＴ訓練部４３６と機能的には同じである。

（４）実施の形態の機械学習モデルと訓練データ
図１３を参照して、訓練データのうち、多数決入力５００は、入力ｘ_Ｍと出力ｙ_Ｍとを含む。ｙ_Ｍは多数決の結果である。入力ｘ_Ｍは出力ｙ_Ｍが多数決の結果であることを示す識別子「ＭＡＪ」と、シナリオ候補の第１文と、第２文とを連結したものである。

第１評価者入力５０２は、入力ｘ_１と出力ｙ_１とを含む。ｙ_１は第１の評価者によるこのシナリオ候補の評価結果である。入力ｘ_１は出力ｙ_１が第１の評価者による評価であることを示す識別子「ＡＮＮ１」と、シナリオ候補の第１文と、第２文とを連結したものである。第２評価者入力及び第３評価者入力も同様に、それぞれ第２の評価者及び第３の評価者に対する訓練データである。

シナリオ判定部４８８の基本的構成も図１１に示すシナリオ判定部４３８と同様であり、ＢＥＲＴ５０８と、ＢＥＲＴ５０８の出力を受け、シナリオとしての適切さを表す確率値を出力する分類層５１０とを含む。ただし、前述したように入力の構成がシナリオ判定部４３８の場合とは異なるため、少なくとも例えばＢＥＲＴ５０８の入力層のノード数等の点でシナリオ判定部４８８はシナリオ判定部４３８と異なっている。

２．動作
図１２及び図１３を参照して、シナリオ生成装置４７０は以下のように動作する。シナリオ生成装置４７０の因果関係記憶部４２０には、多数の因果関係が記憶されている。シナリオ候補生成部４２２は、因果関係記憶部４２０から、一方の結果部が他方の原因部と合致する２つの因果関係を抽出し、シナリオ候補としてシナリオ候補記憶部４２４に格納する。シナリオ候補記憶部４２４には、因果関係記憶部４２０から抽出されたシナリオ候補が多数記憶される。

シナリオ候補評価部４２６は、シナリオ候補記憶部４２４に格納されたシナリオ候補の各々について、そのシナリオ候補が因果関係シナリオとして適切か否かの評価を３人の評価者に評価させ、その結果を評価者の区別とともに評価結果記憶部４８０に格納する。多数決部４２８は、シナリオ候補の各々について、そのシナリオ候補に関する各評価者による評価を評価結果記憶部４８０から読み出し、多数決により評価を決定する。この評価結果はシナリオ候補ごとに多数決結果記憶部４３０に記憶される。

訓練データ作成部４８２は、各シナリオ候補に対して、評価者の数＋１だけの数の訓練データを作成する。より具体的には、図１３を参照して、３人の評価者がいる場合、訓練データ作成部４８２は多数決入力５００、第１評価者入力５０２、第２評価者入力５０４及び第３評価者入力５０６の４つの訓練データを作成する。すなわち、訓練データ作成部４８２は、シナリオ候補記憶部４２４に記憶されたシナリオ候補の各々について、多数決結果記憶部４３０から多数決結果を読み出し、多数決結果を示す識別子「ＭＡＪ」並びにシナリオ候補の第１文及び第２文を連結した入力ｘ_Ｍと、多数決結果ｙ_Ｍとを組み合わせて多数決入力５００を作成し訓練データ記憶部４８４に格納する。訓練データ作成部４８２は同様に、シナリオ候補の各々について、評価結果記憶部４８０から第１の評価者による評価結果ｙ_１を読み出し、第１の評価者を示す識別子「ＡＮＮ１」並びにシナリオ候補の第１文及び第２文を連結した入力ｘ_１と、多数決結果ｙ_１とを組み合わせて多数決入力５００を作成し訓練データ記憶部４８４に格納する。訓練データ作成部４８２はさらに、入力ｘ_２と出力ｙ_２とを組み合わせて第２評価者入力を生成し、訓練データ記憶部４８４に格納する。ｙ_２は第２の評価者によるこのシナリオ候補の評価結果である。訓練データ作成部４８２は最後に、入力ｘ_３と出力ｙ_３とを組み合わせて第３評価者入力を生成し、訓練データ記憶部４８４に格納する。ｙ_３は第３評価者によるこのシナリオ候補の評価結果である。

図１２に示すＢＥＲＴ訓練部４８６は、このようにして作成され訓練データ記憶部４８４に格納された訓練データを用いてシナリオ判定部４８８のＢＥＲＴ５０８をファインチューニングする。このファインチューニングは、通常の訓練と同様、誤差逆伝播法による。

３．シナリオ判定装置
この第２の実施の形態に係るシナリオ生成装置４７０により訓練したシナリオ判定装置の構成及び動作の概略は、図１２と類似しているため詳細な説明はここでは繰り返さない。変わる点としては、シナリオ候補生成部４２２に判定対象のシナリオ候補が入力されるということ、訓練データ作成部４８２により作成される訓練データの入力ｘと同様の構成の入力を作成してシナリオ判定部４８８のＢＥＲＴ５０８に与えるということ、及びシナリオ判定部４８８の出力に基づいて、入力されたシナリオ候補が因果関係候補として適切か否かが判定される、ということである。つまり、評価時の入力としては、シナリオとして適切かどうかの判定の対象となる、シナリオを構成する候補の第１文と第２文に加えて、識別子「ＭＡＪ」が必ず入力される。

４．実験と効果
図１４に、この第２の実施の形態に係るシナリオ生成装置４７０により訓練したＢＥＲＴの性能を評価するための実験結果を、他の例による結果と比較して示す。図１４の１行目は、単純なＢＥＲＴを使用した例である。２行目は、上記実施の形態に係るＢＥＲＴを用いた例である。３行目は、２行目に加えて実施の形態１でも用いた因果関係の判定のための訓練データを用いたものである。この例では、入力には、評価者の識別子に加え、シナリオ判定の訓練データか、因果関係の判定データかを示す識別子を付加した。因果関係の判定時には、因果関係に関する評価者による評価を教師データとする訓練を行った。４行目は、非特許文献１の方式による結果である。

１行目と２行目とを比較することにより、評価者の識別子を訓練データに加えてＢＥＲＴを訓練することにより、因果関係シナリオの判定に関するＦメジャーと平均適合率の双方が向上したことが分かる。

さらに、２行目と３行目とを比較すると、シナリオ判定とは異なる因果関係判定という他のタスクの訓練データを加え、タスクの識別子を加えて訓練をすることにより、さらに精度が向上する事がわかった。したがって、上記第２の実施の形態のように評価者の識別子、及びタスクの識別子のような何らかのプレフィックスを訓練データに加えることで、モデルの精度が向上することが期待できる。

４行目と２行目及び３行目とを比較すると、この実施の形態により訓練したＢＥＲＴにより、非特許文献１の方式により訓練したＢＥＲＴよりも精度が向上したことが分かる。すなわちこの第２の実施の形態によれば、２つの因果関係を連鎖させてシナリオが因果関係として適切なものか否かに関する判定が、従来のものよりも正確に行える。

第４第３の実施の形態
１．構成
（１）先行技術
この第３の実施の形態及び後述の第４の実施の形態は、３つ以上の因果関係を連鎖させてシナリオを生成する技術に関する。このような場合、従来技術では、個々の因果関係の、因果関係としての適切さを表すスコアを用いていた（非特許文献５）。

すわなち、図１５を参照して、因果関係１のスコアをＥ（ＥＣ_１）、因果関係２のスコアをＥ（ＥＣ_２）、…、因果関係ＮのスコアをＥ（ＥＣ_Ｎ）とする。すると、これら因果関係１から因果関係Ｎを連鎖させてできるシナリオのスコアは以下で計算されていた。

スコア＝E(EC₁)×E(EC₂)×…×E(EC_N)
このスコアは、因果関係として確実なものを連鎖させたシナリオがよいシナリオであるという考え方に基づくものであり、合理的である。

（２）実施の形態のスコア算出方法
しかし、既に説明した第２の実施の形態では、２つの因果関係からなるシナリオのスコア（これを「２ステップスコア」という。）を高い精度で算出できる。こうした技術があれば、この第３の実施の形態のように３個以上の因果関係からなるシナリオについても先行技術とは違う考え方でより高い精度でその妥当性を判定するスコアを算出できる可能性がある。そうした考え方を図１６に示す。

図１６を参照して、因果関係１、２、３、…、因果関係Ｎを連鎖させたシナリオのスコア（マルチステップスコア）を以下のようにして算出する。

スコア＝
S(EC₁,EC₂)
×S([EC₁,EC₂],EC₃)
×S([EC₁,EC₂,EC₃],EC₄)
×…
×S([EC₁,EC₂,…,EC_N-1],EC_N)
ここで、S(EC_M,EC_M+1)は因果関係Ｍと因果関係Ｍ＋１との間の２ステップスコアを示し、［EC_M,EC_M+1，…，EC_M+K］は因果関係Ｍ、因果関係Ｍ＋１、…、因果関係Ｍ＋ＫのＫ＋１個の因果関係を連鎖させたシナリオを示す。このスコアは、因果関係と因果関係とを連鎖させるときの妥当性をシナリオの全体にわたり乗算したときの妥当性を示すものと考えられる。したがって、３個以上の因果関係を連鎖させて得られるシナリオの妥当性を判定するための指標としてこのスコアを利用できると考えられる。

（３）スコア算出プログラム
図１８は、図１６に示すような考え方でシナリオのスコアを算出する方法をコンピュータにより実現するためのプログラムの制御構造を示すフローチャートである。

図１８を参照して、このプログラムは、最初に初期設定を行うステップ５６０を含む。なお、ここでは因果関係１から因果関係ＮのＮ個の因果関係を連鎖させたシナリオの妥当性を判定するものとする。ステップ５６０では、スコアを表す変数scoreに１が代入され、各ステップで連鎖される先行する因果関係を示す変数ＥＣ_ｘに判定対象のシナリオの先頭の因果関係ＥＣ_１が代入される。

このプログラムはさらに、ステップ５６０に続き、変数ｊの値を２からＮまで１ずつ増分させながら処理５６４を繰り返すことで上記したシナリオのscoreを算出するステップ５６２と、ステップ５６２で算出されたscoreを出力して処理を終了するステップ５６６とを含む。

処理５６４は、以下の式にしたがってscoreの値を更新するステップ５７０と、変数ＥＣ_ｘを［ＥＣ_ｘ，ＥＣ_ｊ］で置き換えるステップ５７２とを含む。

score=score×S[EC_x,EC_j]
２．動作
図１８において、scoreはステップ５６０で１に初期化される。その後、最初に処理５６４が実行されると、ｊ＝２であるからscoreの値はS［ＥＣ_１，ＥＣ_２］で更新される。変数ＥＣ_ｘはステップ５７２で［ＥＣ_１，ＥＣ_２］に更新される。

次に処理５６４が実行されるとき（ｊ＝３）には、scoreの値はS（［ＥＣ_１，ＥＣ_２］，ＥＣ_３）に更新される。以下同様にｊ＝４，…，Ｎまで処理５６４が繰り返され、その結果、scoreは以下の式により表される値となり、ステップ５６６で出力される。

Score
＝S(EC₁,EC₂)
×S([EC₁,EC₂],EC₃)
×S([EC₁,EC₂,EC₃],EC₄)
×…
×S([EC₁,EC₂,…,EC_N-1],EC_N)

第５第４の実施の形態
１．構成
（１）実施の形態のスコア算出方法
この第４の実施の形態は、第３の実施の形態と同様、先行技術と異なる算出方法でシナリオのスコアを算出する。図１７を参照して、その式は第３の実施の形態とは異なり、以下のようなものである。

すなわち、対象となる因果関係ＥＣ_１，ＥＣ_２，…，ＥＣ_Ｎから２個ずつを取り出す全ての組み合わせにわたり、それらの２ステップスコアを算出し、それらをかけ合わせてスコアを算出する。こうすることで、１つのシナリオを構成する全ての因果関係の２個ずつの組み合わせについて、その２ステップスコアが計算される。仮にある因果関係と別の因果関係との間の関連がほとんどない場合には、両者について算出した２ステップスコアは小さくなり、したがってシナリオ全体のスコアも小さくなる。シナリオを構成する全ての因果関係の間の２ステップスコアが高い場合には、全体のスコアも大きくなる。この場合、シナリオを構成する全ての因果関係がある共通の文脈にあると考えられる。したがってこの方式にしたがってシナリオの妥当性を判定することで、判定精度が高くなることが期待できる。

（２）スコア算出プログラム
図１９に、この第４の実施の形態に係るスコア算出方法を実行するようコンピュータを機能させるプログラムの制御構造を示す。

図１９を参照して、このプログラムは初期設定を行うステップ５８０を含む。初期設定では、スコアを表す変数scoreに１を代入する。

このプログラムはさらに、変数ｉの値を１からＮ―１まで１ずつ増分させながら処理５８４を繰り返し実行することでシナリオ全体のスコアであるscoreを算出するステップ５８２と、ステップ５８２で算出されたscoreを出力しプログラムの実行を終了するステップ５８６とを含む。

処理５８４は、変数ｊの値をｉ＋１からＮまで１ずつ増分させながらステップ５９２を繰り返し実行するステップ５９０を含む。ステップ５９２では、scoreを以下の式により更新する。

Score＝score×S（ＥＣ_ｉ，ＥＣ_ｊ）
２．動作
図１９を参照して、ステップ５８０で変数scoreに１が代入される。

ステップ５８２で変数ｉに１が代入される。処理５８４を最初に実行するとき、ステップ５９０で最初に変数ｊにｉ＋１＝２が代入される。ステップ５９２ではscore＝１×S［ＥＣ_１，ＥＣ_２］でscoreが更新される。ステップ５９２の２回目の実行では、変数ｊにｉ＋２＝３が代入される。ステップ５９２では、score＝Ｓ［ＥＣ_１，ＥＣ_２］×Ｓ［ＥＣ_１，ＥＣ_３］でscoreが更新される。

これをｊ＝Ｎまで繰り返すことで、scoreの値は以下により計算される。

同様にして、ｉ＝２，…，Ｎ−１まで変化させながらscoreを更新することで、scoreは以下のように計算される。

同様の計算は、図２０に制御構造を示すプログラムでも実現できる。図２０を参照して、このプログラムは、変数scoreに１を代入するという初期設定を実行するステップ６２０と、変数ｊを２からＮまで１ずつ増分させながら処理６２４を繰り返し実行することによりscoreを算出するステップ６２２と、ステップ６２２により算出されたscoreを出力してこのプログラムの実行を終了するステップ６２６とを含む。

処理６２４は、変数ｉの値を１からｊ―１まで１ずつ増分させながらステップ６４２を繰り返し実行するステップ６４０とを含む。

このプログラムを実行することにより、図１９に示すプログラムと同様の結果を得ることができる。

３．第３及び４の実施の形態の効果
図２１に、この発明の第３及び４の実施の形態の効果を、先行技術等と比較して表形式で示す。図２１を参照して、１列目はランキングに用いたスコアリング手法を示し、２列目は３ステップで作成したシナリオに対して１列目のスコアリング手法を適用したときの平均適合率を示し、３列目は４ステップで作成したシナリオに対して１列目のスコアリング手法を適用したときの平均適合率を示す。

１行目はランキング手法として非特許文献１に記載したモデルによるものを示す。２行目はシナリオの先頭と最後のみに対して２ステップスコアを算出した結果を用いたものを示す。３行目は、連続する２つの因果関係のペアについて２ステップスコアを算出し、それらを乗算したものを示す。４行目は第３の実施の形態によるものであり、５行目は第４の実施の形態によるものを示す。

３行目から５行目は、第２の実施の形態に示す２ステップスコアを用いたものと考えられるが、これらはいずれも１行目及び２行目の双方に対して、かつ３ステップシナリオと４ステップシナリオの双方に対しより高い平均適合率を示した。特に４ステップでの平均適合率は、これら３行の値を１行目及び２行目の値を比較すると非常に大きな相違があることが分かる。したがって、シナリオを生成するときに連鎖させる因果関係の数が多くなるほど、上記この発明の第２の実施の形態に係る２ステップスコアを組み合わせて算出したスコアを用いた場合の精度と従来の手法を用いた場合の手法との精度の差が大きくなると考えられる。

第６コンピュータによる実現
図２２は、上記各実施の形態を実現するコンピュータシステムの外観図である。図２３は、図２２に示すコンピュータシステムのハードウェアブロック図である。

図２２を参照して、このコンピュータシステム９５０は、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、及びモニタ９７２とを含む。もちろんこれはユーザ対話のための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。

図２３を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ９９０と、ＧＰＵ（Ｇｒａｐｈｉｃs ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０と、バス１０１０に接続され、コンピュータ９７０のブートアッププログラム等を記憶するＲＯＭ９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データ等を記憶するＲＡＭ９９８と、バス１０１０に接続された不揮発性メモリであるハードディスクドライブ（ＨＤＤ）１０００とを含む。ハードディスク１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータ等を記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６への接続を提供するネットワークＩ／Ｆ１００８と、ＵＳＢメモリ９８４が着脱可能で、ＵＳＢメモリ９８４とコンピュータ９７０内の各部との通信を提供するＵＳＢポート１００６とを含む。

上記実施の形態では、図６から図８、図１０及び図１２等のデータ及びパラメータ等は、いずれも例えば図２３に示すＨＤＤ１０００、ＲＡＭ９９８、ＤＶＤ９７８、又はＵＳＢメモリ９８４、若しくはネットワークＩ／Ｆ１００８及びネットワーク９８６を介して接続された図示しない外部装置の記憶媒体等に格納される。典型的には、これらのデータ及びパラメータ等は、例えば外部からＨＤＤ１０００に書込まれコンピュータ９７０の実行時にはＲＡＭ９９８にロードされる。

このコンピュータシステムを図６に示す訓練装置２２０、図８に示す因果関係判定装置３３０、図１２に示すシナリオ生成装置４７０及びそれらの各構成要素の機能を実現するよう動作させるためのコンピュータプログラム、及び図１８から図２０に制御構造を示すプログラム等は、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からＨＤＤ１０００に転送される。又は、このプログラムはＵＳＢメモリ９８４に記憶され、ＵＳＢメモリ９８４をＵＳＢポート１００６に装着し、プログラムをハードディスク１０００に転送する。又は、このプログラムはネットワーク９８６を通じてコンピュータ９７０に送信されＨＤＤ１０００に記憶されてもよい。プログラムは実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをＨＤＤ１０００に格納してもよい。スクリプト言語の場合には、キーボード９７４等を用いて入力したスクリプトをＨＤＤ１０００に格納してもよい。仮想マシン上で動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。

ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスにしたがってＲＡＭ９９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを命令及びデータにより指定されるアドレスにしたがってＲＡＭ９９８、ハードディスク１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ハードディスク１０００、ＣＰＵ９９０内のレジスタ等、プログラム及びデータにより指定されるアドレスに格納する。このとき、プログラムカウンタの値もプログラムによって更新される。コンピュータプログラムは、ＤＶＤ９７８から、ＵＳＢメモリ９８４から、又はネットワークを介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果にしたがって、ＧＰＵ９９２にディスパッチされる。

コンピュータ９７０により上記した各実施の形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ９７０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ９７０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又は「プログラミング・ツール・キット」の機能を呼出すことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知であるので、ここでは繰り返さない。なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習及び推論実行に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中で発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。

第７変形例
上記した実施の形態では、評価者は３人としたが、３人には限定されず、任意の人数を採用できる。また図４に示す背景知識１５０以外の背景知識を用いてもよいことは言うまでもない。その場合、マルチＢＥＲＴの個数もそれに応じて増加させる必要がある。

今回開示された実施の形態は単に例示であって、この発明が上記した実施の形態のみに制限されるわけではない。この発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０シナリオ生成システム
６０、９８ウェブ
６２因果関係取得部
６４シナリオ生成部
６６因果シナリオ
７０シナリオ候補の取得処理部
７２シナリオランキング部
９０事象の因果関係
９４、３７８ＷＨＹ背景知識
９６ＣＬＵＥ背景知識
１１０、１８０機械学習モデル
１２０、１９０、１９４、１９８、２０２、４５０入力
１２４、２０６、４５４、５１０分類層
１３０入力層
１３２第１トランスフォーマ層
１３４第２トランスフォーマ層
１３６最終層
１５０背景知識
１６０類義名詞
２２０訓練装置
２３０因果関係候補記憶部
２３２類義語辞書記憶部
２３４バイナリパターン辞書記憶部
２３６ウェブアーカイブ記憶部
２３８因果関係評価部
２４０、４８０評価結果記憶部
２４２背景知識抽出部
２４４背景知識記憶部
２４６、４３２、４８２訓練データ作成部
２４８、４３４、４８４訓練データ記憶部
２５０、４３６、４８６ＢＥＲＴ訓練部
２７０、３５４原因単語・結果単語抽出部
２７２、３５６類義語検索部
２７４、３５８背景知識生成部
２７８、３６８質問生成部
２８０、３７０なぜ型質問応答システム
２８２、３７２回答収集部
２８４、３７４回答選択部
２８６、３７６バイナリパターン抽出部
３００ＢＰ記憶部
３０２ＳＩＭ−ＢＰ記憶部
３０４ＳＩＭ−ＥＣ記憶部
３０６ＷＨＹ記憶部
３３０因果関係判定装置
３５０因果関係候補
３５２因果関係候補受付部
３６０ＢＰ
３６２ＳＩＭ−ＢＰ
３６４ＳＩＭ−ＥＣ
３８０第１入力生成部
３８４第２入力生成部
３８８第３入力生成部
３９２第４入力生成部
４１０、４７０シナリオ生成装置
４２０因果関係記憶部
４２２シナリオ候補生成部
４２４シナリオ候補記憶部
４２６シナリオ候補評価部
４２８多数決部
４３０多数決結果記憶部
４３８、４８８シナリオ判定部
５００多数決入力
５０２第１評価者入力
５０４第２評価者入力
５０６第３評価者入力

Claims

機械学習モデルの訓練を行うためのモデル訓練装置であって、
前記機械学習モデルは複数のニューラル・ネットワークと、当該複数のニューラル・ネットワークの出力に基づき分類結果を出力する分類層とを含み、
前記モデル訓練装置は、
複数の因果関係候補の各々から、因果関係に関する複数種類の背景知識を抽出する背景知識抽出手段を含み、前記複数種類の背景知識はそれぞれ前記複数のニューラル・ネットワークの異なる一つに対応付けられ、
前記複数の因果関係候補の各々に対し、
当該因果関係候補から抽出された前記複数種類の背景知識の各々について、当該因果関係と、当該背景知識と、当該因果関係候補に関する評価結果とを組み合わせた訓練データを生成する訓練データ生成手段と、
当該因果関係候補から前記複数種類の背景知識について得られた前記訓練データを、前記複数のニューラル・ネットワークに入力したときの前記分類層の出力と、当該訓練データの前記評価結果とを用いて前記機械学習モデルの訓練を行う訓練手段とを含む、モデル訓練装置。
前記複数のニューラル・ネットワークは、互いに同じ構成の複数のＢＥＲＴを含む、請求項１に記載のモデル訓練装置。
前記背景知識抽出手段は、
前記複数の因果関係候補の各々から、原因名詞と結果名詞とを抽出し前記原因名詞と結果名詞との各々について、類義語を取得する類義語取得手段と、
前記類義語取得手段により取得された前記原因名詞の類義語と、前記結果名詞の類義語との任意の組み合わせを結ぶバイナリパターンを文書アーカイブから抽出する類義バイナリパターン抽出手段と、
因果関係を記憶する因果関係記憶手段と、
前記類義語取得手段により取得された前記原因名詞の類義語の一つと、前記結果名詞の類義語の一つとを持つ因果関係を前記因果関係記憶手段から抽出する類義因果関係抽出手段とを含む、請求項１又は請求項２に記載のモデル訓練装置。
前記モデル訓練装置は、
複数の評価者による評価結果を記憶する評価結果記憶手段と、
前記複数の評価者による評価結果の多数決による評価結果を記憶する多数決結果記憶手段とをさらに含み、
前記訓練データ生成手段は、
前記複数の因果関係候補の各々に対し、
当該因果関係候補に対する前記複数の評価者による評価結果の各々について、
当該因果関係候補から抽出された前記複数種類の背景知識の各々について、当該因果関係候補と、当該背景知識と、前記評価者を示す識別子と、当該因果関係候補に関する前記識別子により表される評価者別の前記評価結果とを組み合わせた訓練データ及び当該因果関係候補から抽出された前記複数種類の背景知識の各々について、当該因果関係候補と、当該背景知識と、当該因果関係候補に関する前記多数決による評価結果を示す識別子と、当該因果関係候補に関する前記多数決による評価結果とを組み合わせた訓練データを生成する評価者別訓練データ生成手段とを含む、請求項１から請求項３のいずれか１項に記載のモデル訓練装置。
請求項１から請求項４のいずれか１項に記載のモデル訓練装置により訓練された機械学習モデル。
コンピュータを、請求項１から請求項４のいずれか１項に記載のモデル訓練装置として機能させる、コンピュータプログラム。