JP2020102131A - テキスト生成方法、テキスト生成装置および学習済みモデル - Google Patents

Abstract

【課題】学習データの構築の困難性を軽減しつつ、処理の複雑化に対応する。【解決手段】置換情報収集部２２１は、補助置換器の役割を決定し、補助置換器教師データ生成部２２２は、置換情報ＤＢ２１１の参照結果に基づいて、補助置換器の機械学習に用いる置換教師データを生成し、補助置換器生成部２２３は、置換教師データＤＢ２１２に基づいて、補助置換器を生成し、補助置換器テキスト生成器結合部２４０は、補助置換器生成部２２３が生成した補助置換器を未学習のテキスト生成器に結合し、テキスト生成情報収集部２５１は、テキストの生成前情報および生成後情報を収集し、テキスト生成器教師データ生成部２５２は、生成情報ＤＢ２３１の参照結果に基づいて、テキスト生成器の機械学習に用いる生成教師データを生成し、テキスト生成器生成部２５３は、生成教師データＤＢ２３２に基づいて、テキスト生成器２６０を生成する。【選択図】図２

Description

本発明は、テキスト生成方法、テキスト生成装置および学習済みモデルに関する。

２つのテキストの意味または意図が同じであるかを認識することは、自然言語処理に関する多くのシステムで必要とされている。例えば、質問文と回答文のペアを持ち、ユーザからの入力を受けて、その入力に該当する質問文を探した後、その質問文に対応する回答を出力する質問応答システムを考える。

ユーザからの入力は、必ずしも質問応答システムが持つ質問文と同一テキストにはならない。質問応答システムが、質問文として「駅の場所を教えて下さい」、回答文として「北へ２００メートルです」のペアを持っていたとしても、「駅の場所を教えて下さい」ではなく、「駅の場所を知りたい」というテキストがユーザから入力される場合がある。質問応答システムは、「駅の場所を教えて下さい」と完全一致するかどうかで、該当する質問文を探す場合、「駅の場所を知りたい」という入力に対して、「北へ２００メートルです」と回答することはできない。

前記事例に限らず、活用形の揺らぎや、同じ意味を持つ別の単語が入力されることで、質問応答システムは、回答文を持っているにも関わらず、ユーザからの入力を対応する質問文に関連付けることができないという結果が起こり得る。

このような問題を解決する方法の一つとして、言い換え生成（Ｐａｒａｐｈｒａｓｅ Ｇｅｎｅｒａｔｉｏｎ）がある。言い換え生成は、あるテキストが与えられた時に、同じ意味を持つ別のテキストを生成する技術である。言い換え生成を行い、一つの回答文に対して複数の質問文を対応づけることで、質問応答システムは、多様な入力に対して回答可能になる。

非特許文献１〜３には、ニューラルネットワークを初めとしたＥｎｄ−ｔｏ−Ｅｎｄアーキテクチャで、言い換え生成を行う方法が開示されている。例えば、「駅の場所を確認したい」から「駅の場所を知りたい」を生成する処理のように、テキストの一部の動詞を置き換えるだけの場合、同義語辞書などを用いて学習用データを自動的に構築することが可能であり、実現したい処理も複雑でないため、Ｅｎｄ−ｔｏ−Ｅｎｄアーキテクチャとの相性はよい。

Ｐａｒａｐｈｒａｓｅ Ｇｅｎｅｒａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｚｉｃｈａｏ Ｌｉ， Ｘｉｎ Ｊｉａｎｇ， Ｌｉｆｅｎｇ Ｓｈａｎｇ， Ｈａｎｇ Ｌｉ， ＥＭＮＬＰ ２０１８ Ｎｅｕｒａｌ Ｐａｒａｐｈｒａｓｅ Ｇｅｎｅｒａｔｉｏｎ ｗｉｔｈ Ｓｔａｃｋｅｄ Ｒｅｓｉｄｕａｌ ＬＳＴＭ Ｎｅｔｗｏｒｋｓ ａａｄｉｔｙａ ｐｒａｋａｓｈ， Ｓａｄｉｄ Ａ． Ｈａｓａｎ， Ｋａｔｈｙ Ｌｅｅ， ＶｉｖｅｋＤａｔｌａ， Ａｓｈｅｑｕｌ Ｑａｄｉｒ， Ｊｏｅｙ Ｌｉｕ， Ｏｌａｄｉｍｅｊｉ Ｆａｒｒｉ， ＣＯＬＩＮＧ ２０１６ Ｊｏｉｎｔ Ｃｏｐｙｉｎｇ ａｎｄ Ｒｅｓｔｒｉｃｔｅｄ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｐａｒａｐｈｒａｓｅ Ｚｉｑｉａｎｇ Ｃａｏ， Ｃｈｕｗｅｉ Ｌｕｏ， Ｗｅｎｊｉｅ Ｌｉ， Ｓｕｊｉａｎ Ｌｉ， ＡＡＡＩ ２０１７

しかしながら、例えば、「駅の場所はどこですか」から「電車に乗りたい」を生成する処理のように、テキストの単語および文体を変更する場合、実現したい処理が複雑になり、大量の学習データが必要となる上に、学習データを自動的に構築することも困難になるため、Ｅｎｄ−ｔｏ−Ｅｎｄアーキテクチャとの相性は悪かった。

本発明は、上記事情に鑑みなされたものであり、その目的は、学習データの構築の困難性を軽減しつつ、処理の複雑化に対応可能なテキスト生成方法、テキスト生成装置および学習済みモデルを提供することにある。

上記目的を達成するため、第１の観点に係るテキスト生成方法は、テキストを分割して得られる要素のペアを学習させた補助置換器を生成し、前記補助置換器の結合後に言い換え前後のテキストを学習させたテキスト生成器を生成し、前記テキスト生成器を用いてテキストを生成する。

本発明によれば、学習データの構築の困難性を軽減しつつ、処理の複雑化に対応することができる。

図１は、第１実施形態に係るテキスト生成装置のハードウェア構成を示すブロック図である。 図２は、図１のテキスト生成装置の機能的な構成を示すブロック図である。 図３は、図２の置換情報ＤＢに格納される置換情報の一例を示す図である。 図４は、図２の置換教師データＤＢに格納される置換教師データの一例を示す図である。 図５は、図２の生成情報ＤＢに格納される生成情報の一例を示す図である。 図６は、図２の生成教師データＤＢに格納される生成教師データの一例を示す図である。 図７は、図２のテキスト生成装置の動作を示すフローチャートである。 図８は、図７の置換情報収集処理を示すフローチャートである。 図９は、図７の補助置換器教師データ生成処理を示すフローチャートである。 図１０は、図７の補助置換器生成処理を示すフローチャートである。 図１１は、図７のテキスト生成情報収集処理を示すフローチャートである。 図１２は、図７のテキスト生成器教師データ生成処理を示すフローチャートである。 図１３は、図７のテキスト生成器生成処理を示すフローチャートである。 図１４は、第２実施形態に係る学習済みモデルの構成例を示すブロック図である。 図１５は、第３実施形態に係る学習済みモデルの構成例を示すブロック図である。 図１６は、図１５の学習済みモデルが言い換え生成に用いられるときの学習データの一例を示すブロック図である。 図１７は、第４実施形態に係る学習済みモデルの構成例を示すブロック図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、第１実施形態に係るテキスト生成装置のハードウェア構成を示すブロック図である。
図１において、テキスト生成装置１００は、プロセッサ１１０、メインメモリ１２０、補助記憶装置１３０、入力デバイス１４０、出力デバイス１５０およびネットワークデバイス１６０を備える。プロセッサ１１０、メインメモリ１２０、補助記憶装置１３０、入力デバイス１４０、出力デバイス１５０およびネットワークデバイス１６０は、バス１７０を介して相互に接続されている。メインメモリ１２０および補助記憶装置１３０は、プロセッサ１１０からアクセス可能である。

プロセッサ１１０は、テキスト生成装置１００全体の動作制御を司るハードウェアである。プロセッサ１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ１１０は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ１１０は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を備えていてもよい。

メインメモリ１２０は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。メインメモリ１２０には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１０がプログラムを実行するためのワークエリアを設けたりすることができる。

補助記憶装置１３０は、大容量の記憶容量を備える記憶デバイスであり、例えば、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。補助記憶装置１３０は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。補助記憶装置１３０には、学習データ１３０Ａおよびテキスト生成プログラム１３０Ｂを格納することができる。学習データ１３０Ａは、ネットワークデバイス１６０を介してネットワーク１８０から収集してもよいし、入力デバイス１４０を介してユーザが直接入力してもよい。テキスト生成プログラム１１３０Ｂは、テキスト生成装置１００にインストール可能なソフトウェアであってもよいし、テキスト生成装置１００にファームウェアとして組み込まれていてもよい。

入力デバイス１４０は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。出力デバイス１５０は、例えば、画面表示装置（液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、グラフィックカード等）、音声出力装置（スピーカ等）、印字装置等である。

ネットワークデバイス１６０は、外部との通信を制御する機能を備えるハードウェアである。ネットワークデバイス１６０は、ネットワーク１８０に接続される。ネットワーク１８０は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。

プロセッサ１１０は、学習データ１３０Ａおよびテキスト生成プログラム１３０Ｂをメインメモリ１２０に読み出し、学習データ１３０Ａを用いてテキスト生成プログラム１３０Ｂを実行する。このとき、プロセッサ１１０は、テキストを分割して得られる要素のペアを学習させた補助置換器を生成し、その補助置換器の結合後に言い換え前後のテキストを学習させたテキスト生成器を生成し、そのテキスト生成器を用いてテキストを生成することができる。テキストを分割して得られる要素は、例えば、トークンである。トークンは、テキストから意味を持つものとして抽出可能な最小単位であり、例えば、単語または単語の断片である。

なお、テキスト生成プログラム１３０Ｂの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１０は、ネットワーク１８０を介してクラウドコンピュータなどにテキスト生成プログラム１３０Ｂの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。

ここで、補助置換器には、表層的類似度が低いテキストを生成するために必要な機能の一部を持たせることができる。このため、補助置換器をテキスト生成器の結合することにより、テキスト生成器が獲得するべき機能を、表層的類似度が低いテキストを生成するために必要な機能の一部に限定することができる。このため、テキスト生成器の学習に必要なデータ量を減少させることができ、表層的類似度が低い大量の教師データが用意できない状況でも、表層的類似度が低い言い換え生成の学習が可能なテキスト生成方法を提供できる。

２つのテキストの「表層的類似度が低い」とは、単語や文体が大きく異なることを指す。具体的には、異なる要素を含むテキスト間において、１つの要素の置換で要素の同じ集合とならないテキスト同士を表層的類似度が低いと定義することができる。すなわち、２つのテキストｘ、ｙの表層的類似度は、以下のように定義することができる。

テキスト分割方法Ｄを設定する。テキスト分割方法Ｄは、形態素、句構造、依存構造、固有表現およびＳｕｂ ｗｏｒｄ ｕｎｉｔのうちのいずれか少なくとも１つに注目して決定することができる。形態素は、意味を持つ表現要素の最小単位である。句構造は、テキストを分割して得られた隣接する語句同士の意味的および機能的関係である。依存構造は、単語間の係り受け関係である。固有表現は、固有名詞（人名、組織名および地名など）、日付、時間表現、数量および金額などの表現である。Ｓｕｂ ｗｏｒｄ ｕｎｉｔは、一つの単語でも、その単語の出現頻度が低い場合は単語をさらに分割した小さい単位を要素としたものである。Ｓｕｂ ｗｏｒｄ ｕｎｉｔは、アルゴリズムや実装の差異でｓｅｎｔｅｎｃｅｐｉｅｃｅまたはｗｏｒｄｐｉｅｃｅなどとも呼ばれる。

次に、テキスト分割方法Ｄで各テキストｘ、ｙを分割し、以下の集合Ｘ、Ｙを定義する。
Ｘ＝（ｘ１，ｘ２，ｘ３・・・ｘｎ）
Ｙ＝（ｙ１，ｙ２，ｙ３，・・・・ｙｍ）
ただし、ｘ１，ｘ２，ｘ３・・・ｘｎ（ｎは正の整数）は、テキストｘの要素である。ｙ１，ｙ２，ｙ３，・・・・ｙｍ（ｍは正の整数）は、テキストｙの要素である。

集合Ｘ、Ｙの全ての要素が同じである、あるいは集合Ｘ内の１つの要素の置換で集合Ｙと同じとなる場合を表層的類似度が高いと定義する。そうでない場合を表層的類似度が低いと定義する。

表層的類似度が低い場合、２つのテキスト間で異なる単語が２以上あり、意味を持つ最小単位の差異も２以上ある。このため、表層的類似度が低いテキスト間では、意味または意図が同じかどうかの判断が困難であり、表層的類似度が低くかつ意味または意図が同じテキストのペアを取集するのは難しい。一方、表層的類似度が高い場合、２つのテキスト間で異なる単語が１個しかなく、意味を持つ最小単位の差異が１つしかない。このため、表層的類似度が高いテキスト間では、意味または意図が同じかどうかの判断の困難性が軽減され、表層的類似度が高くかつ意味または意図が同じテキストのペアを取集するのは比較的容易である。

補助置換器を生成するための学習データは、テキストを分割して得られる要素のペアであり、意味を持つ最小単位の差異が１つしかない。このため、補助置換器を生成するための学習データの収集を容易化することが可能となり、テキスト生成器は、表層的類似度が低いテキストを生成するために必要な機能の一部を学習すればよいため、表層的類似度が低いテキストの学習に必要なデータ収集の困難性を軽減することができる。

例えば、「駅の場所を確認したい」と「駅の場所を知りたい」という２つのテキスト間においては、異なる単語が１個しかない。このため、それらの２つのテキストの意味または意図が同じかどうかは容易に判断することができ、そのような２つのテキストを学習データとして大量に収集するのは容易である。一方、「駅の場所はどこですか」と「電車に乗りたい」という２つのテキスト間においては、異なる単語が２個以上ある。このため、それらの２つのテキストの意味または意図が同じかどうかを判断することは難しく、そのような２つのテキストを学習データとして大量に収集するのは困難である。

この場合、「駅はどこですか」と「電車に乗りたい」という２つのテキストをそれぞれ要素に分割し、補助置換器の役割を決定する。このとき、「電車に乗る」を「駅」に置換することを可能とする補助置換器Ａと、「たい」を「どこですか」に置換することを可能とする補助置換器Ｂを定義する。補助置換器Ａの役割は、行為内容から行為対象への変換である。補助置換器Ｂの役割は、願望文から疑問文への変換である。

補助置換器Ａ、Ｂに対し、各役割に該当する置換前情報および置換後情報を収集する。そして、置換前情報および置換後情報を用いて、各補助置換器Ａ、Ｂの機械学習に用いる教師データを生成する。そして、当該教師データを用いて、補助置換器Ａ、Ｂを生成する。

次に、補助置換器Ａ、Ｂを未学習のテキスト生成器を結合する。そして、テキスト生成器の学習に用いる生成前情報および生成後情報を収集する。生成前情報は、「電車に乗りたい」というテキスト、生成後情報は、「駅はどこですか」というテキストである。そして、生成前情報および生成後情を用いて、テキスト生成器の機械学習に用いる教師データを生成する。そして、当該教師データを用いてテキスト生成器を生成する。そして、学習済みのテキスト生成器を用いることにより、ユーザ端末からの入力テキストに応じて応答テキストを生成する。

これにより、テキスト生成器は、学習時とテキスト生成時に補助置換器の処理を活用することができる。このとき、テキスト生成器が獲得するべき機能は、「行為内容から行為対象への変換」、「願望文から疑問文への変換」および「入力テキストに応じて、前記２つの機能を取捨選択して利用する」という三つの機能である。ただし、「行為内容から行為対象への変換」および「願望文から疑問文への変換」という２つの機能は補助置換器と結合することで獲得しているため、テキスト生成器は、「入力テキストに応じて、前記２つの機能を取捨選択して利用する」という機能のみ獲得できればよい。

これにより、テキスト生成器が獲得するべき機能を、表層的類似度が低いテキストを生成するために必要な機能の一部に限定することができる。このため、収集が困難な表層的類似度が低いテキストの学習に必要なデータ量を減少させることができ、大量の教師データが用意できない状況でも、Ｅｎｄ−ｔｏ−Ｅｎｄアーキテクチャで表層的類似度が低い言い換え生成の学習が可能になる。

図２は、図１のテキスト生成装置の機能的な構成を示すブロック図である。なお、以下の説明では、“〜部は”と動作主体を記した場合、図１のプロセッサ１１０が補助記憶装置１３０からプログラムである“〜部”を読み出し、メインメモリ１２０にロードした上で“〜部”の機能を実現することを意味するものとする。

図２において、テキスト生成装置１００は、補助置換器ＤＢ（Ｄａｔａ Ｂａｓｅ）２１０、テキスト生成器ＤＢ２３０、置換情報収集部２２１、補助置換器教師データ生成部２２２、補助置換器生成部２２３、補助置換器テキスト生成器結合部２４０、テキスト生成情報収集部２５１、テキスト生成器教師データ生成部２５２、テキスト生成器生成部２５３およびテキスト生成器２６０を備える。テキスト生成装置１００は、ユーザ端末２０１に接続されている。

補助置換器ＤＢ２１０は、補助置換器の生成に必要なデータを格納する。補助置換器ＤＢ２１０は、置換情報ＤＢ２１１および置換教師データＤＢ２１２を備える。置換情報ＤＢ２１１は、補助置換器の生成のための置換前情報および置換後情報を格納する。置換前情報および置換後情報は、例えば、テキストを分割して得られるトークンのペアである。置換教師データＤＢ２１２は、補助置換器の機械学習に用いられる教師データを格納する。

テキスト生成器ＤＢ２３０は、テキスト生成器の生成に必要なデータを格納する。テキスト生成器ＤＢ２３０は、生成情報ＤＢ２３１および生成教師データＤＢ２３２を備える。生成情報ＤＢ２３１は、テキスト生成器の生成のための生成前情報および生成後情報を格納する。生成教師データＤＢ２３２は、テキスト生成器の機械学習に用いられる教師データを格納する。

置換情報収集部２２１は、ユーザ端末２０１からの入力を受け取り、補助置換器の役割を決定する。補助置換器は、役割ごとに複数設けることができる。例えば、２つの補助置換器Ａ、Ｂについて、「行為内容から行為対象への変換」という役割を補助置換器Ａに与え、「願望文から疑問文への変換」という役割を補助置換器Ｂに与えることができる。そして、置換情報収集部２２１は、各役割に該当する置換前情報および置換後情報を収集し、置換情報ＤＢ２１１に格納する。

補助置換器教師データ生成部２２２は、置換情報ＤＢ２１１の参照結果に基づいて、補助置換器の機械学習に用いる置換教師データを生成し、置換教師データＤＢ２１２に格納する。補助置換器生成部２２３は、置換教師データＤＢ２１２の参照結果に基づいて、補助置換器を生成する。補助置換器テキスト生成器結合部２４０は、補助置換器生成部２２３が生成した補助置換器を未学習のテキスト生成器に結合する。

テキスト生成情報収集部２５１は、ユーザ端末２０１からの入力を受け取り、テキストの生成前情報および生成後情報を収集し、生成情報ＤＢ２３１に格納する。テキスト生成器教師データ生成部２５２は、生成情報ＤＢ２３１の参照結果に基づいて、テキスト生成器の機械学習に用いる生成教師データを生成し、生成教師データＤＢ２３２に格納する。テキスト生成器生成部２５３は、生成教師データＤＢ２３２の参照結果に基づいて、テキスト生成器２６０を生成する。テキスト生成器２６０は、ユーザ端末２０１からの入力テキストに応じて、応答テキストを生成する。このとき、テキスト生成器２６０は、入力テキストに対して表層的類似度が低い応答テキストを生成することができる。

図３は、図２の置換情報ＤＢに格納される置換情報の一例を示す図である。
図３において、置換情報ＤＢ２１１のデータ３００は、１以上の「置換情報」レコードを含む。「置換情報」レコードは、「役割」および「収集方法」等の複数のフィールドを含む。フィールド「置換前情報」は、置換前のテキストの要素情報を保持する。フィールド「置換後情報」は、置換後のテキストの要素情報を保持する。フィールド「役割」は、該当する置換の役割を識別するための情報を保持する。

役割は、例えば、行為内容から行為対象、願望文から疑問文、対義語、略語、別名、行為内容から行為主体、行為内容から行為結果、上位概念語から下位概念語および比喩である。「行為内容から行為対象」という役割では、例えば、置換前情報として「電車に乗る」、置換後情報として「駅」を保持する。「願望文から疑問文」という役割では、例えば、置換前情報として「たい」、置換後情報として「どこですか」を保持する。「対義語」という役割では、例えば、置換前情報として「面白い」、置換後情報として「退屈だ」を保持する。

フィールド「収集方法」は、「置換情報」レコードを収集するために用いた方法を識別するための情報を保持する。収集方法が、ユーザ端末２０１からの直接入力の場合、「直接入力」を保持する。収集方法が、図１のネットワーク１８０を介してＷｅｂサイトの言語資源を利用した場合、Ｗｅｂサイトのアドレスを保持する。

例えば、クローリングを収集に用いる場合、表層的類似度が低い言い換え前後のテキストの収集に比べ、置換前情報および置換後情報の収集の方が容易である。また、ユーザによる直接入力の場合、表層的類似度が低い言い換え前後のテキストよりも、置換前情報および置換後情報の方が思いつき易い。このため、補助置換器の学習に用いられる学習データを容易に収集することができる。

図４は、図２の置換教師データＤＢに格納される置換教師データの一例を示す図である。
図４において、置換教師データＤＢ２１２のデータ４００は、１以上の「置換教師データ」レコードを含む。「置換教師データ」レコードは、「役割」および「変換方法」等の複数のフィールドを含む。

フィールド「役割」は、当該レコードを機械学習の教師データとして利用できる置換器の役割を識別するための情報を保持する。例えば、フィールド「役割」に「疑問文から願望文」を保持している場合、そのレコードは、「疑問文から願望文」の役割が定義されている補助置換器の学習に利用できる。

フィールド「変換方法」は、「置換情報」レコードの置換前情報を説明変数に変換するために用いた方法を識別するための情報を保持する。また、フィールド「変換方法」は、「置換情報」レコードの置換後情報を目的変数に変換するために用いた方法を識別するための情報を保持する。フィールド「説明変数」は、フィールド「変換方法」で保持する方法で、「置換情報」レコードの置換前情報を説明変数に変換した結果を保持する。フィールド「目的変数」は、変換方法フィールドで保持する方法で、「置換情報」レコードの置換後情報を目的変数に変換した結果を保持する。これらの説明変数および目的変数は、ベクトルデータで表現することができる。

図５は、図２の生成情報ＤＢに格納される生成情報の一例を示す図である。
図５において、生成情報ＤＢ２３１のデータ５００は、１以上の「生成情報」レコードを含む。「生成情報」レコードは、「収集方法」および「生成前情報」等の複数のフィールドを含む。

フィールド「収集方法」は、「生成情報」レコードを収集するために用いた方法を識別するための情報を保持する。収集方法が、ユーザ端末からの直接入力の場合「直接入力」を保持する。収集方法が、通信ネットワークを介して外部Ｗｅｂサイトの言語資源を利用した場合、Ｗｅｂサイトのアドレスを保持する。フィールド「生成前情報」は、生成前のテキスト情報を保持する。フィールド「生成後情報」は、生成後のテキスト情報を保持する。

生成前情報および生成後情報は、言い換え前後のテキストを用いることができる。生成前情報および生成後情報は、表層的類似度が低い方が好ましい。ただし、表層的類似度に関係なく、生成前情報および生成後情報を設定してもよい。

図６は、図２の生成教師データＤＢに格納される生成教師データの一例を示す図である。
図６において、生成教師ＤＢ２３２のデータ６００は、１以上の「生成教師データ」レコードを含む。「生成教師データ」レコードは、「変換方法」および「説明変数」等の複数のフィールドを含む。フィールド「変換方法」は、「生成情報」レコードの生成前情報を説明変数に変換するために用いた方法を識別するための情報を保持する。また、フィールド「変換方法」は、「生成情報」レコードの生成後情報を目的変数に変換するために用いた方法を識別するための情報を保持する。

フィールド「説明変数」は、変換方法フィールドで保持する方法で、「生成情報」レコードの生成前情報を説明変数に変換した結果を保持する。フィールド「目的変数」は、変換方法フィールドで保持する方法で、「生成情報」レコードの生成後情報を目的変数に変換した結果を保持する。これらの説明変数および目的変数は、ベクトルデータで表現することができる。

図７は、図２のテキスト生成装置の動作を示すフローチャートである。
図７において、図２の置換情報収集部２２１は、ユーザ端末２０１からの入力を受けて、置換情報収集処理を行う（Ｓ７０１）。

次に、補助置換器教師データ生成部２２２は、補助置換器を生成するための置換教師データを生成する（Ｓ７０２）。次に、補助置換器生成部２２３、置換教師データに基づいて、補助置換器を生成する（Ｓ７０３）。次に、補助置換器テキスト生成器結合部２４０は、補助置換器を未学習のテキスト生成器に結合する（Ｓ７０４）。

次に、テキスト生成情報収集部２５１は、テキスト生成情報収集処理を行う（Ｓ７０５）。次に、テキスト生成器教師データ生成部２５２は、テキスト生成器２６０を生成するための生成教師データを生成する（Ｓ７０６）。次に、テキスト生成器生成部２５３は、生成教師データに基づいて、学習済みのテキスト生成器２６０を生成する（Ｓ７０７）。次に、テキスト生成器２６０は、ユーザ端末２０１からの入力テキストに応じて、応答テキストを生成する（Ｓ７０８）。

次に、テキスト生成器２６０は、ユーザ端末２０１からの追加入力があるかどうかを判断する。ユーザ端末２０１からの追加入力がある場合（Ｓ７０９：ＹＥＳ）、テキスト生成器２６０は、ステップ７０８に戻り、入力テキストに応じて、応答テキストを生成する。一方、ユーザ端末２０１からの追加入力がない場合（Ｓ７０９：ＮＯ）、テキスト生成器２６０は、テキスト生成処理を終了する。

テキスト生成器２６０は、Ｅｎｄ−ｔｏ−Ｅｎｄモデルの説明変数が入力となる。このため、図１２のステップ１３０１で獲得した変換方法で入力テキストを説明変数に変換した後、Ｅｎｄ−ｔｏ−Ｅｎｄモデルに入力する。また、テキスト生成器２６０は、Ｅｎｄ−ｔｏ−Ｅｎｄモデルの目的変数が出力となる。このため、図１２のステップ１３０１で獲得した逆変換方法で目的変数を応答テキストに変換した後、ユーザ端末２０１に出力する。

図８は、図７の置換情報収集処理を示すフローチャートである。
図８において、図２の置換情報収集部２２１は、補助置換器の役割を決定する（Ｓ８０１）。次に、置換情報収集部２２１は、各役割に該当する置換前情報および置換後情報の収集方法を決定する（Ｓ８０２）。

次に、置換情報収集部２２１は、収集方法がユーザ端末２０１からの直接入力であるかどうかを判断する。収集方法がユーザ端末２０１からの直接入力である場合（Ｓ８０３：ＹＥＳ）、置換情報収集部２２１は、ユーザ端末２０１からの入力を受信する（Ｓ８０４）。収集方法がユーザ端末２０１からの直接入力でない場合（Ｓ８０３：ＮＯ）、置換情報収集部２２１は、直接入力以外の収集方法で置換前情報および置換後情報を取得する（Ｓ８０５）。次に、置換情報収集部２２１は、収集した置換前情報および置換後情報を置換情報ＤＢ２１１に格納する（Ｓ８０６）。

図９は、図７の補助置換器教師データ生成処理を示すフローチャートである。
図９において、図２の補助置換器教師データ生成部２２２は、置換情報ＤＢ２１１を参照し、説明変数および目的変数への変換処理および逆変換処理を獲得する（Ｓ９０１）。

次に、補助置換器教師データ生成部２２２は、置換情報ＤＢ２１１から獲得した置換前情報および置換後情報を説明変数および目的変数へ変換する（Ｓ９０２）。次に、補助置換器教師データ生成部２２２は、それらの説明変数および目的変数を置換教師データＤＢ２１２に格納する（Ｓ９０３）。

図１０は、図７の補助置換器生成処理を示すフローチャートである。
図１０において、図２の補助置換器生成部２２３は、生成する補助置換器を初期化する（Ｓ１００１）。

次に、補助置換器生成部２２３は、置換教師データＤＢ２１２から、生成したい補助置換器に対応する説明変数および目的変数を置換教師データとして取得する（Ｓ１００２）。次に、補助置換器生成部２２３は、取得した置換教師データに基づいて補助置換器を学習させる（Ｓ１００３）。

図１１は、図７のテキスト生成情報収集処理を示すフローチャートである。
図１１において、図２のテキスト生成情報収集部２５１は、生成前情報および生成後情報の収集方法を決定する（Ｓ１２０１）。

次に、テキスト生成情報収集部２５１は、収集方法がユーザ端末２０１からの直接入力であるかどうかを判断する。収集方法がユーザ端末２０１からの直接入力である場合（Ｓ１２０２：ＹＥＳ）、テキスト生成情報収集部２５１は、ユーザ端末２０１からの入力を受信する（Ｓ１２０３）。収集方法がユーザ端末２０１からの直接入力でない場合（Ｓ１２０３：ＮＯ）、テキスト生成情報収集部２５１は、直接入力以外の収集方法で生成前情報および生成後情報を取得する（Ｓ１２０４）。次に、テキスト生成情報収集部２５１は、収集した生成前情報および生成後情報を生成情報ＤＢ２３１に格納する（Ｓ１２０５）。

図１２は、図７のテキスト生成器教師データ生成処理を示すフローチャートである。
図１２において、図２のテキスト生成器教師データ生成部２５２は、生成情報ＤＢ２３１を参照し、説明変数および目的変数への変換処理および逆変換処理を獲得する（Ｓ１３０１）。次に、テキスト生成器教師データ生成部２５２は、生成情報ＤＢ２３１から獲得した生成前情報および生成後情報を説明変数および目的変数へ変換する（Ｓ１３０２）。次に、テキスト生成器教師データ生成部２５２は、それらの説明変数および目的変数を生成教師データＤＢ２３２に格納する（Ｓ１３０３）。

図１３は、図７のテキスト生成器生成処理を示すフローチャートである。
図１３において、図２のテキスト生成器生成部２５３は、生成するＥｎｄ−ｔｏ−Ｅｎｄモデルを初期化する（Ｓ１４０１）。

次に、生成教師データＤＢ２３２から、生成するＥｎｄ−ｔｏ−Ｅｎｄモデルに対応する説明変数および目的変数を生成教師データとして取得する（Ｓ１４０２）。次に、テキスト生成器生成部２５３は、取得した生成教師データに基づいてＥｎｄ−ｔｏ−Ｅｎｄモデルを学習させる（Ｓ１４０３）。

なお、上述した補助置換器およびテキスト生成器はともにニューラルネットワークで実現することができる。このとき、テキスト生成器のニューラルネットワークの一部を補助置換器のニューラルネットワークに置き換えることで、補助置換器をテキスト生成器に結合することができる。以下、補助置換器およびテキスト生成器をともにニューラルネットで実現した構成例について説明する。

図１４は、第２実施形態に係る学習済みモデルの構成例を示すブロック図である。
図１４において、この学習済みモデルは、ニューラルネットワーク１０、２０、３０を備える。ニューラルネットワーク１０は、入力層、中間層および出力層を備える。ニューラルネットワーク１０の入力層はノード１１を備え、ニューラルネットワーク１０の中間層はノード１２を備え、ニューラルネットワーク１０の出力層はノード１３を備える。ニューラルネットワーク１０の入力層のノード１１の出力は、中間層のノード１２の入力に結合され、中間層のノード１２の出力は、出力層のノード１３の入力に結合されている。

ニューラルネットワーク１０の中間層には、ニューラルネットワーク２０、３０が設けられている。ニューラルネットワーク２０、３０には、互いに異なる役割を持たせることができる。各ニューラルネットワーク２０、３０の入力は、ニューラルネットワーク１０の入力層のノード１１の出力に結合されている。各ニューラルネットワーク２０、３０の出力は、ニューラルネットワーク１０の出力層のノード１３の入力に結合されている。

ニューラルネットワーク２０は、入力層、中間層および出力層を備える。ニューラルネットワーク２０の入力層はノード２１を備え、ニューラルネットワーク２０の中間層はノード２２を備え、ニューラルネットワーク２０の出力層はノード２３を備える。入力層のノード２１の出力は、中間層のノード２２の入力に結合され、中間層のノード２２の出力は、出力層のノード２３の入力に結合されている。

ニューラルネットワーク２０、３０は、学習済みの状態で未学習のニューラルネットワーク１０に結合することができる。そして、学習済みのニューラルネットワーク２０、３０がニューラルネットワーク１０に結合された状態で、ニューラルネットワーク１０を学習させることができる。ニューラルネットワーク１０には、説明変数１４が入力され、ニューラルネットワーク１０から、目的変数１５が出力される。

図１５は、第３実施形態に係る学習済みモデルの構成例を示すブロック図である。
図１５において、この学習済みモデルは、ニューラルネットワーク２０、３０、４０を備える。ニューラルネットワーク４０は、入力層、中間層および出力層を備える。ニューラルネットワーク４０の入力層はノード４１を備え、ニューラルネットワーク４０の中間層はノード４２を備え、ニューラルネットワーク４０の出力層はノード４３を備える。ニューラルネットワーク４０の入力層のノード４１の出力は、中間層のノード４２の入力に結合され、中間層のノード４２の出力は、出力層のノード４３の入力に結合されている。

ニューラルネットワーク４０の入力層には、ニューラルネットワーク２０、３０が設けられている。各ニューラルネットワーク２０、３０の出力は、ニューラルネットワーク４０の中間層のノード４２の入力に結合されている。

ニューラルネットワーク２０、３０は、学習済みの状態で未学習のニューラルネットワーク４０に結合することができる。そして、学習済みのニューラルネットワーク２０、３０がニューラルネットワーク４０に結合された状態で、ニューラルネットワーク４０を学習させることができる。ニューラルネットワーク４０には、説明変数１４が入力され、ニューラルネットワーク１０から、目的変数１５が出力される。

ここで、ニューラルネットワーク４０の入力層にニューラルネットワーク２０、３０を設けることにより、各ニューラルネットワーク２０、３０は、何も変換されていない生の入力データに干渉することができる。

図１６は、図１５の学習済みモデルが言い換え生成に用いられるときの学習データの一例を示すブロック図である。
図１６において、言い換え前後のテキストとして、「荷物を預けたい」というテキスト１と、「ロッカーはどこですか」というテキスト２があるものとする。また、言い換え前後の別のテキストとして、「車を止めたい」というテキスト３と、「駐車場はどこですか」というテキスト４があるものとする。

このとき、補助置換器Ａには、「行為内容から行為対象への変換」という役割を持たせ、補助置換器Ｂには、「願望文から疑問文への変換」という役割を持たせたものとする。補助置換器Ａは、図１５のニューラルネットワーク３０で構成し、補助置換器Ｂは、図１５のニューラルネットワーク２０で構成することができる。

ここで、「荷物を預けたい」というテキスト１を分割して得られる「荷物を預け」という要素１Ａと、「ロッカーはどこですか」というテキスト２を分割して得られる「ロッカー」という要素２Ａが、学習データ５Ａとして補助置換器Ａに与えられることで、補助置換器Ａは、「行為内容から行為対象への変換」の機能を学習する。また、「車を止めたい」というテキスト３を分割して得られる「車を止め」という要素３Ａと、「駐車場はどこですか」というテキスト４を分割して得られる「駐車場」という要素４Ａが、学習データ６Ａとして補助置換器Ａに与えられることで、補助置換器Ａは、「行為内容から行為対象への変換」の機能を学習する。

さらに、「荷物を預けたい」というテキスト１を分割して得られる「たい」という要素１Ｂと、「ロッカーはどこですか」というテキスト２を分割して得られる「どこですか」という要素２Ｂが、学習データ５Ｂとして補助置換器Ｂに与えられることで、補助置換器Ｂは、「願望文から疑問文への変換」の機能を学習する。

「行為内容から行為対象への変換」の機能を学習した補助置換器Ａおよび「願望文から疑問文への変換」の機能を学習した補助置換器Ｂを生成すると、それらの学習済みの補助置換器Ａ、Ｂを未学習のニューラルネットワーク４０に結合させる。

次に、「荷物を預けたい」というテキスト１と、「ロッカーはどこですか」というテキスト２が、学習データ５としてニューラルネットワーク４０に与えられることで、ニューラルネットワーク４０は、「入力テキストに応じて、補助置換器Ａ、Ｂの機能を取捨選択して利用する」という機能を学習する。

次に、「車を止めたい」というテキスト３をニューラルネットワーク４０に入力すると、補助置換器Ａは、「車を止め」という要素３Ａを「駐車場」という要素４Ａに変換し、補助置換器Ｂは、「たい」という要素３Ｂを「どこですか」という要素４Ｂに変換する。そして、ニューラルネットワーク４０は、「駐車場」という要素４Ａと「どこですか」という要素４Ｂを組み合わせることにより、「車を止めたい」という入力テキストに対し、「駐車場はどこですか」という応答テキストを出力することができる。

ここで、補助置換器Ａ、Ｂが結合される前のニューラルネットワーク４０のＥｎｄ−ｔｏ−Ｅｎｄ学習では、「荷物を預けたい」というテキスト１と、「ロッカーはどこですか」というテキスト２を学習データ５として与えただけでは、「荷物」、「預ける」、「ロッカー」および「どこですか」というキーワード間の相関の強さを獲得するのみで、手段→目的置換、願望→疑問置換という抽象的な処理を獲得することはない。

これに対して、補助置換器Ａ、Ｂが結合された後のニューラルネットワーク４０のＥｎｄ−ｔｏ−Ｅｎｄ学習では、手段→目的置換、願望→疑問置換の組み合わせを学習でき、表層的類似度が低く、抽象的な処理を要する言い換えの学習効率を向上させることができる。

なお、上述した実施形態では、ニューラルネットワーク一部を別のニューラルネットワークに置き換えたネスト構造が２段階である場合を示したが、ニューラルネットワークのネスト構造がＮ（Ｎは２以上の整数）段階であってもよい。

図１７は、第４実施形態に係る学習済みモデルの構成例を示すブロック図である。なお、図１７の例では、ニューラルネットワークのネスト構造が３段階である場合を示した。
図１７において、この学習済みモデルは、ニューラルネットワーク５０、６０、７０、８０、９０を備える。ニューラルネットワーク５０は、入力層、中間層および出力層を備える。ニューラルネットワーク５０の入力層はノード５１を備え、ニューラルネットワーク５０の中間層はノード５２を備え、ニューラルネットワーク５０の出力層はノード５３を備える。ニューラルネットワーク５０の入力層のノード５１の出力は、中間層のノード５２の入力に結合され、中間層のノード５２の出力は、出力層のノード５３の入力に結合されている。

ニューラルネットワーク５０の中間層には、ニューラルネットワーク６０、７０が設けられている。ニューラルネットワーク６０、７０には、互いに異なる役割を持たせることができる。各ニューラルネットワーク６０、７０の入力は、ニューラルネットワーク５０の入力層のノード５１の出力に結合されている。各ニューラルネットワーク６０、７０の出力は、ニューラルネットワーク５０の出力層のノード５３の入力に結合されている。

ニューラルネットワーク６０は、入力層、中間層および出力層を備える。ニューラルネットワーク６０の入力層はノード６１を備え、ニューラルネットワーク６０の中間層はノード６２を備え、ニューラルネットワーク６０の出力層はノード６３を備える。入力層のノード６１の出力は、中間層のノード６２の入力に結合され、中間層のノード６２の出力は、出力層のノード６３の入力に結合されている。

ニューラルネットワーク６０の中間層には、ニューラルネットワーク８０、９０が設けられている。ニューラルネットワーク８０、９０には、互いに異なる役割を持たせることができる。各ニューラルネットワーク８０、９０の入力は、ニューラルネットワーク６０の入力層のノード６１の出力に結合されている。各ニューラルネットワーク８０、９０の出力は、ニューラルネットワーク６０の出力層のノード６３の入力に結合されている。

ニューラルネットワーク８０は、入力層、中間層および出力層を備える。ニューラルネットワーク８０の入力層はノード８１を備え、ニューラルネットワーク８０の中間層はノード８２を備え、ニューラルネットワーク８０の出力層はノード８３を備える。入力層のノード８１の出力は、中間層のノード８２の入力に結合され、中間層のノード８２の出力は、出力層のノード８３の入力に結合されている。

ニューラルネットワーク８０、９０は、学習済みの状態で未学習のニューラルネットワーク６０に結合することができる。そして、学習済みのニューラルネットワーク８０、９０がニューラルネットワーク６０に結合された状態で、ニューラルネットワーク６０を学習させることができる。さらに、ニューラルネットワーク６０、７０は、学習済みの状態で未学習のニューラルネットワーク５０に結合することができる。そして、学習済みのニューラルネットワーク６０、７０がニューラルネットワーク５０に結合された状態で、ニューラルネットワーク５０を学習させることができる。

以上説明したように、上述した実施形態によれば、ニューラルネットワークの一部に学習済みの別のニューラルネットワークを結合させることにより、ニューラルネットワークで実現させる機能の一部を別のニューラルネットワークに持たせることができる。このとき、ニューラルネットワークで実現させる機能の全部を学習させる学習データの収集よりも、ニューラルネットワークで実現させる機能の一部を学習させる学習データの収集を容易化することができ、学習データの収集の困難性を軽減しつつ、ニューラルネットワークで実現される機能の複雑化に対応することが可能となる。

なお、上述したニューラルネットワークは、言い換え生成に用いた場合を示したが、画像処理、文字認識処理、音声認識処理、顔認証処理および自動運転などの言い換え生成以外の処理に用いるようにしてもよい。上述したニューラルネットワークは、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）が適用可能な全ての技術分野に用いることができる。

また、第１ニューラルネットワークの一部のノードに第２ニューラルネットワークを結合させる場合、第１ニューラルネットワークの内部ノードの入力に第２ニューラルネットワークの出力を結合させてもよいし、第１ニューラルネットワークの内部ノードの出力に第２ニューラルネットワークの入力を結合させてもよい。

以上、本発明の実施形態について説明したが、これらの実施形態はあくまでも一例であって、本発明の技術的範囲はこれらに限定されるものではない。例えば、補助置換器およびテキスト生成器は、ニューラルネットワークで実現されなくてもよい。置換情報または生成情報から、教師データへの変換は、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒネットワークで実現されなくてもよい。

１１０ プロセッサ、１２０ メインメモリ、１３０ 補助記憶装置、１４０ 入力デバイス、１５０ 出力デバイス、１６０ ネットワークデバイス、１７０ バス、２０１ ユーザ端末、２１０ 補助置換器ＤＢ、２１１ 置換情報ＤＢ、２１２ 置換教師データＤＢ、２２１ 置換情報収集部、２２２ 補助置換器教師データ生成部、２２３ 補助置換器生成部、２３０ テキスト生成器ＤＢ、２３１ 生成情報ＤＢ、２３２ 生成教師データＤＢ、２４０ 補助置換器テキスト生成器結合部、２５１ テキスト生成情報収集部、２５２ テキスト生成器教師データ生成部、２５３ テキスト生成器生成部、２６０ テキスト生成器

Claims (15)

1. テキストを分割して得られる要素のペアを学習させた補助置換器を生成し、
   前記補助置換器の結合後に言い換え前後のテキストを学習させたテキスト生成器を生成し、
   前記テキスト生成器を用いてテキストを生成するテキスト生成方法。
2. 前記テキストを分割して得られる要素のペアを収集し、
   前記要素のペアに基づいて、前記補助置換器の学習に用いられる置換教師データを生成し、
   前記置換教師データに基づいて、前記補助置換器を生成し、
   前記補助置換器と未学習のテキスト生成器を結合し、
   前記テキスト生成器の学習に用いられる前記言い換え前後のテキストを収集し、
   前記言い換え前後のテキストに基づいて、前記テキスト生成器の学習に用いられる生成教師データを生成し、
   前記生成教師データに基づいて、前記テキストの言い換えを実行可能な前記テキスト生成器を生成する請求項１に記載のテキスト生成方法。
3. 異なる要素を含むテキスト間において、１つの要素の置換で要素の同じ集合とならないテキスト同士を表層的類似度が低いと定義したときに、
   前記言い換え前後のテキストは、前記表層的類似度が低い請求項１に記載のテキスト生成方法。
4. 前記テキスト生成器は、前記補助置換器で学習された前記要素のペアの組み合わせを学習する請求項１に記載のテキスト生成方法。
5. 前記テキスト生成器は、入力層、中間層および出力層を持つニューラルネットワークであり、
   前記補助置換器は、前記ニューラルネットワークの入力層または中間層に設けられている請求項１に記載のテキスト生成方法。
6. 前記補助置換器は、前記要素のペアが示す役割ごとに生成され、
   前記役割ごとに生成された複数の補助置換器が前記テキスト生成器に結合されている請求項１に記載のテキスト生成方法。
7. 前記役割は、行為内容から行為対象、願望文から疑問文、対義語、略語、別名、行為内容から行為主体、行為内容から行為結果、上位概念語から下位概念語および比喩のうちのいずれか少なくとも１つから選択される請求項６に記載のテキスト生成方法。
8. テキストを分割して得られる要素のペアを学習させた補助置換器を生成する補助置換器生成部と、
   前記補助置換器の結合後に言い換え前後のテキストを学習させたテキスト生成器を生成するテキスト生成器生成部とを備えるテキスト生成装置。
9. 第１ニューラルネットワークと、
   前記第１ニューラルネットワークの一部のノードに結合された第２ニューラルネットワークとを備える学習済みモデル。
10. 前記第２ニューラルネットワークは、前記第１ニューラルネットワークの入力層に設けられ、
    前記第１ニューラルネットワークは、前記第１ニューラルネットワークの入力層のノードからの出力と、前記第２ニューラルネットワークからの出力が双方とも入力されるノードを備える請求項９に記載の学習済みモデル。
11. 前記第２ニューラルネットワークは、前記第１ニューラルネットワークの中間層に設けられ、
    前記第１ニューラルネットワークは、前記第１ニューラルネットワークのノードからの出力と、前記第２ニューラルネットワークからの出力が双方とも入力されるノードとを備える請求項９に記載の学習済みモデル。
12. 前記第２ニューラルネットワークは、前記第１ニューラルネットワークで学習される機能の一部を学習し、
    前記第１ニューラルネットワークは、前記第２ニューラルネットワークで学習された機能の組み合わせを学習している請求項９に記載の学習済みモデル。
13. 前記第２ニューラルネットワークは、前記第１ニューラルネットワークで学習される機能の一部を役割ごとに学習する請求項１１に記載の学習済みモデル。
14. 異なる要素を含むテキスト間において、１つの要素の置換で要素の同じ集合とならないテキスト同士を表層的類似度が低いと定義したときに、
    前記第２ニューラルネットワークは、前記表層的類似度が低いテキスト間の要素のペアを、前記要素のペアが示す役割ごとに学習し、
    前記第１ニューラルネットワークは、前記第２ニューラルネットワークで学習された前記要素のペアの組み合わせを学習する請求項１３に記載の学習済みモデル。
15. 前記第１ニューラルネットワークの一部のノードに結合された第３ニューラルネットワークをさらに備え、
    前記第２ニューラルネットワークの機能と前記第３ニューラルネットワークの機能とは役割が互いに異なる請求項９に記載の学習済みモデル。
    
    

Images