JP2021111075A - 対話システムおよび文章生成装置の構成方法 - Google Patents

Abstract

【課題】与えられた文章をもとに，別の文章を自動生成し，ユーザに追加情報の提供を促すことができるシステムおよび方法を提供する。【解決手段】対話システムにおいて、文書生成装置は、現象に関する第１の文章を受け付ける現象文章受付部と，第１の文章に対する対処に関する分類を出力する対処推薦部と，対処推薦部が出力した対処に関する分類に基づいた表示を行う対処表示部と，を少なくとも備える。対処推薦部は，文章生成モデルを用いて，第１の文章から，該第１の文章とは異なる複数の第２の文章を生成し，推薦モデルを用いて，第１の文章から，第１の文章に対する対処に関する分類を推定し，また，第２の文章から，第２の文章に対する対処に関する分類を推定する。対処表示部は，第１の文章に対する対処に関する分類および第２の文章に対する対処に関する分類に基づいた表示を行う。【選択図】図１

Description

本発明は，データに基づく機械学習装置に関し，とくに，与えられた文章をもとに，別の文章を生成し，それを活用してユーザに追加情報の提供を促す対話システムおよび文章生成装置の構成方法に関する。

近年，ＩｏＴによる産業のデジタル化を背景に，工場・物流・発電施設などでは，機器，設備，車両など多種多様なアセットが運用されている。これらのアセットはときに電気的，機械的などの理由で故障が発生することがある。アセットの故障発生時には，部品の交換や修繕などを施すことで，運用に大きな支障が出ないようにすることが重要である。しかしながら，アセットの複雑化や熟練した修理員の不足などから，適切な対処が成されない場合がある。そこで，アセットに関する故障時の情報とアセットに施した対処の情報との組を収集した修理履歴をもとに適切な対処を推薦することで熟練した修理員を補い，安定的にアセット運用を可能とするシステムなどが実現されつつある。

上記のようなシステム・サービスにおいて，適切な対処を推薦するための機械学習を用いたモデル（「推薦モデル」と呼ぶ）は，修理履歴に含まれるアセットに関する故障時の情報とアセットに施した対処の関係性を学習する教師あり学習と呼ばれる枠組みに基づいて構築される。アセットに関する故障時の情報には，「異音がする」や「オイルリーク」などの現象に関する文章が広く用いられている。また，アセットに施した対処の情報には，部品番号や修理種別など，対処に関する分類が広く用いられている。この対処に関する分類は，予め定められた特定個数の分類群のうちの１つの分類を示す。そのため，推薦モデルは，過去の現象に関する文章とその対処に関する分類との関係性を学習し，現象に関する文章から対処に関する分類を推薦できることが望ましい。

しかしながら，修理員はアセットに対する理解度の低さや確認漏れなどから，対処に関する分類を特定するための情報が不足した曖昧な現象に関する文章をシステムに入力する場合がある。この場合，システムは，入力された現象に関する文章に当てはまりそうな複数の対処に関する分類を全て表示したり，その中の対処に関する分類を１つ表示したりするため，修理員は実施すべき適切な対処に関する分類を特定できなくなってしまう。

これに対し，特許文献１では，ユーザに追加情報の提供を促す技術として，過去の現象に関する文章に対して情報量が多い選択肢とFAQ（Frequently Asked Questions）情報を事前に対応付けておき、検索入力文とマッチした現象に関する文章に対応付けてある選択肢をユーザに選ばせ、その選択肢を検索入力文として再入力する技術が開示されている。

特開２００３−２２８５７５号公報

しかしながら，特許文献１記載の技術では，修理員に追加情報の提供を促すための情報量の多い選択肢を事前に人手で作成しなければならない。そのため，頻度の低い文体の文章や筆者特有の表現で書かれた文章など，品質の低い文章が修理員に提示されてしまうことがある。また，修理員から入力されうる全ての現象に関する文章に対して提示する文章を作るには，多大な人的コストが掛かってしまう。

本発明は，上記を鑑みてなされたものであって，与えられた文章をもとに，別の文章を自動生成し，ユーザに追加情報の提供を促すことを目的とする。

本発明の好ましい一側面は，現象に関する第１の文章を受け付ける現象文章受付部と，第１の文章に対する対処に関する分類を出力する対処推薦部と，対処推薦部が出力した対処に関する分類に基づいた表示を行う対処表示部と，を少なくとも備える対話システムである。このシステムは，対処推薦部が，文章生成モデルを用いて，第１の文章から，該第１の文章とは異なる複数の第２の文章を生成し，推薦モデルを用いて，第１の文章から，第１の文章に対する対処に関する分類を推定し，また，第２の文章から，第２の文章に対する対処に関する分類を推定する。また，対処表示部が，第１の文章に対する対処に関する分類および第２の文章に対する対処に関する分類に基づいた表示を行う。

本発明の好ましい他の一側面は，単語の組み合わせを含む情報を入力として所定の生成文章を出力する文章生成モデルを備える，文章生成装置の構成方法である。この方法は，現象に関する現象文章の集合を含む修理履歴を用い，文章生成モデルの学習を，修理履歴の現象文章に近い文章が生成されることを良しとする第１の指標と，入力された単語の組み合わせを含むことを良しとする第２の指標と，の２つの指標を基準として実行する。

与えられた文章をもとに，別の文章を自動生成し，ユーザに追加情報の提供を促すことができる。

本実施形態における文章生成装置の構成のブロック図。 本実施形態におけるハードウェア構成のブロック図。 本実施形態における修理履歴を示す表図。 本実施形態における対処分類情報を示す表図。 本実施形態における訓練データ集合を示す表図。 本実施形態における推薦受付情報を示す表図。 本実施形態における推薦結果を示す表図。 本実施形態における提示現象文章を示す表図。 本実施形態における学習フェーズの全体処理フロー図。 本実施形態における文章生成モデルの学習フロー図。 本実施形態における文章生成モデル学習時のデータフロー図。 本実施形態における推薦フェーズの全体処理フロー図。 本実施形態における修理履歴入力画面イメージ図。 本実施形態における現象受付画面イメージ図。 本実施形態における結果表示画面イメージ図。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

以下、適宜図面を参照しながら本発明を実施するための代表的な形態を説明する。本実施形態では，前記でも挙げたアセットが不調，故障となったときに，修理履歴に基づいて適切な対処を推薦するシステムで用いる文章生成装置を詳細に説明する。

＜１．概略＞
はじめに，図1を参照して，修理履歴の収集からモデルの学習を行うまでの流れ（「学習フェーズ」と呼ぶ）と，現象に関する文章から対処に関する分類を推薦するまでの流れ（「推薦フェーズ」と呼ぶ）に分けてシステムの使い方の概略を説明する。
＜１−１．学習フェーズ＞
図１において、まず，学習フェーズにおいて，修理員１５は，アセット１３の現象に関する文章（修理員１５が入力した現象に関する文章を以下「現象文章」ということがある）とアセット１３の現象を直すために実施した対処に関する分類（対処の分類を以下「対処分類」ということがある）を，修理員端末１２を介して文章生成装置１０に送る。文章生成装置１０は，修理履歴受付部１０２１で修理員１５から送られた情報を受け付ける。文章生成装置１０は，送られてきた現象文章と対処分類の組を収集し，修理履歴管理部１０１１で修理履歴として管理する。

次に，修理履歴のデータが任意の量だけ蓄積されたら、管理者１４は任意のタイミングで，管理者端末１１を介して，モデルの構築命令を文章生成装置１０に送る。そして，文章生成装置１０は，修理履歴管理部１０１１の修理履歴に基づいて，現象文章から各対処分類の確率を出力する推薦モデル１１２３を学習する。また，現象文章から現象に関する別の文章を生成する文章生成モデル１１２２を学習する。文章生成モデル１１２２が生成した当該文章を以下「新しい現象文章」あるいは「生成文章」ということがある。また，ある文章の入力文に対する尤もらしさを出力する尤度評価モデル１１２４を学習する。推薦モデル１１２３は推薦モデル学習部１０２３で学習され、文章生成モデル１１２２は文章生成モデル学習部１０２２で学習され、尤度評価モデル１１２４は尤度評価モデル学習部１０２４で学習される。学習された推薦モデル１１２３、文章生成モデル１１２２、尤度評価モデル１１２４は、モデル管理部１０１２で管理される。

＜１−２．推薦フェーズ＞
次に，推薦フェーズにおいて，修理員１５は，アセット１３の現象に関する文章（現象文章）と対処分類の確率の閾値（以下単に「閾値」ということがある）を，修理員端末１２を介して文章生成装置１０に送る。文章生成装置１０の現象文章受付部１０３１は、修理員１５から送られた情報を受け付ける。ここで，閾値は，例えば修理員１５が，対処分類の確率が閾値を超えた分類を実施するという方針で、値等を設定して入力する。

次に，文章生成装置１０の対処推薦部１０３２は，送られてきた現象文章と閾値から，学習フェーズで学習した推薦モデル１１２３を用いて，送られてきた現象文章に対する対処分類と対処分類の確率の組を生成する。また，送られてきた現象文章と閾値から，学習フェーズで学習した推薦モデル１１２３と文章生成モデル１１２２と尤度評価モデル１１２４を用いて，対処分類の確率が閾値より大きく修理履歴の現象文章に対する尤もらしさが大きい上位１もしくは複数件の生成文章と対処分類の確率の組を生成する。そして対処表示部１０３３は，生成文章に対する対処分類と推薦確率の組を対処分類の確率で並び替えた結果と，対処分類の確率が閾値より大きく修理履歴の現象文章に対する尤もらしさが大きい上位１もしくは複数件の生成文章と対処分類の確率の組を対処分類別に並び替えた結果を，修理員端末１２を介して，修理員１５に表示する。なお，表示を行う対処表示部１０３３は，そのものが画像モニタ等の物理的な表示機能を備える必要はない。対処表示部１０３３は，修理員端末１２にデータを送信し、端末の液晶画面などにブラウザ等を利用して画像を表示させることにより表示を行うものであってもよい。

＜１−３．文章生成装置の構成＞
次に，文章生成装置１０の処理の概略を説明する。
学習フェーズにおいて，文章生成装置１０は，現象文章から生成文章を生成する文章生成モデル１１２２を構築する。その過程で，送られてきた現象文章に関連した生成文章を生成する文章生成モデル１１２２を学習させるために，深層学習(Deep Learning)の一種であるGAN(Generative Adversarial Networks)の枠組みで学習させる。その際，一般的なGANでは修理履歴の現象文章に近い文章を生成するように学習させるのに対し本実施例では，修理履歴の現象文章に近く，かつ送られてきた現象文章の下で生起する確率の高い文章を生成するように学習させる。その結果，送られてきた現象文章と近いが異なる生成文章が生成される。これにより，修理員１５が入力した現象文章に関連した別の文章が生成されやすくなる。結果として，修理方法に対して網羅的な文章の集合を得ることができる。

また，推薦フェーズにおいて，文章生成装置１０は，送られてきた現象文章と文章生成モデル１１２２を用いて，送られてきた現象文章とは異なる生成文章を複数個生成する。その後，文章生成装置１０は，生成した複数個の生成文章のなかで，対処分類の確率の閾値より大きく，修理履歴の現象文章に対する尤もらしさが大きい上位１もしくは複数件の生成文章と対処分類の確率の組を生成する。これにより，対処分類の確率の閾値を超え，かつ品質が担保された文章が提示される。ここで，品質が担保されるとは，修理履歴の現象文章と大きく異なる文章が排除されているということである。

＜２．システム構成＞
＜２−１．機能ブロック＞
図１を用いて本実施形態のシステム構成を説明する。本実施形態のシステムは，文章生成装置１０と，管理者１４が操作する管理者端末１１と，修理員１５が操作する修理員端末１２と，修理員１５が操作するアセット１３とを備える。これらの構成要素は，有線あるいは無線によるネットワーク１６で相互に接続させる。ネットワーク１６自体はLAN(Local Area Network)やWAN(Wide Area Network)などで構成される。なお，上記構成要素は一例であって，要素数は増減してもよい。例えば，分散処理のため文章生成装置１０が複数に分かれていてもかまわない。

文章生成装置１０の詳細について説明する。文章生成装置１０は，管理部１０１と学習部１０２と推薦部１０３を備える。管理部１０１は，修理履歴管理部１０１１とモデル管理部１０１２を備える。モデル管理部１０１２は，文章生成モデル１１２２と推薦モデル１１２３と尤度評価モデル１１２４を管理する。学習部１０２は，修理履歴受付部１０２１と文章生成モデル学習部１０２２と推薦モデル学習部１０２３と尤度評価モデル学習部１０２４を備える。推薦部１０３は，現象文章受付部１０３１と対処推薦部１０３２と対処表示部１０３３を備える。なお，学習部１０２は以下の推薦フェーズでは省略可能である。

＜２−２．機能とハードウェア＞
次に，図１と図２を参照して機能とハードウェアの対応を説明する。
図１は、文章生成装置１０が備える機能ブロックを示している。
図２は、文章生成装置１０のハードウェア構成を示している。当該ハードウェアは例えばサーバのようなコンピュータで構成される。
図１に示す文章生成装置１０が備える管理部１０１と学習部１０２と推薦部１０３は，図２に示すCPU（Central Processing Unit）１Ｈ１０１が、ROM（Read Only Memory）１Ｈ１０２もしくは外部記憶装置１Ｈ１０４に格納されたプログラムをRAM（Random Access Memory）１Ｈ１０３に読み込み、通信I/F（Interface）１Ｈ１０５、マウスやキーボード等に代表される外部入力装置１Ｈ１０６、ディスプレイなどに代表される外部出力装置１Ｈ１０７を制御することで、各種機能が実現される。

本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムがプロセッサによって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」、「モデル」等と呼ぶ場合がある。

文章生成装置１０の構成は、単体のコンピュータで構成してもよいし、あるいは任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。発明の思想としては等価であり、変わるところがない。また、本実施例中、ソフトウエアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。

＜２−３．データ構造＞
図３を用いて，文章生成装置１０の管理部１０１の修理履歴管理部１０１１が管理する修理履歴１Ｄ１を説明する。修理履歴１Ｄ１は，修理履歴受付部１０２１がアセット１３の現象に関する文章（現象文章）と対処に関する分類（対処分類）を，修理員端末１２を介して収集し，それらを結合したアセットの修理単位のデータである。

修理履歴１Ｄ１は，修理単位を特定する修理ID１Ｄ１１と，修理を実施した日時１Ｄ１２と，現象に関する文章を示す現象文章１Ｄ１３と，対処分類ID１Ｄ１４を備える。対処分類IDは後述するが，実施した対処に関する分類が紐づけられている。なお，本実施形態では修理履歴１Ｄ１は前記のような項目を備えたが，アセットに関するその他のデータがあってもよいし，前記項目の一部項目のみを備えたものであってもよい。

一般に、推薦モデル学習部１０２３は、現象文章１Ｄ１３を質問とし、対処分類ID１Ｄ１４を回答とした組を教師データとして、推薦モデル１１２３の教師有り学習を行う。

図４を用いて，文章生成装置１０の管理部１０１の修理履歴管理部１０１１が管理する対処分類情報１Ｄ２を説明する。対処分類情報１Ｄ２は，アセット１３に想定される全ての対処に関する分類をあらかじめ管理者１４が管理者端末１１を通じて修理履歴管理部１０１１に保存しているアセットの修理単位のデータであって，対処に関する分類を特定する対処分類ID１Ｄ２１と，対処に関する分類を示す対処分類１Ｄ２２を備える。

なお，本実施形態では対処分類情報１Ｄ２は前記のような項目を備えたが，対処に関する修理箇所や交換する部品番号，修理手順書等に紐づけられた修理種別，修理手順書等のファイルやＵＲＬ（Uniform Resource Locator）など修理作業に関する情報を備えていても構わない。また， 対処分類情報１Ｄ２は４種類の対処に関する分類のみを扱っているが，それ以上でも以下であってもよい。

図５を用いて，文章生成装置１０の学習部１０２の文章生成モデル学習部１０２２で生成する訓練データ集合１Ｄ３を説明する。訓練データ集合１Ｄ３は，修理履歴管理部１０１１が管理する修理履歴１Ｄ１から生成される，文章生成モデルを学習させるための訓練データ集合である。訓練データ集合１Ｄ３は，現象に関する文章を示す現象文章１Ｄ３１と，対処分類ID１Ｄ３２と，単語の組合せ１Ｄ３３を備える。

単語の組合せ１Ｄ３３は図１０〜図１１で後述するが，現象文章１Ｄ３１の現象に関する文章ごとに，少なくとも1つ以上の単語を含む単語の組合せを格納する。現象文章１Ｄ３１は、修理履歴１Ｄ１（図３）の現象文章１Ｄ１３を引き継ぎ、対処分類ID１Ｄ３２は、修理履歴１Ｄ１の対処分類ID１Ｄ１４を引き継ぐ。

図６を用いて，文章生成装置１０の推薦部１０３の現象文章受付部１０３１が受け付ける推薦受付情報２Ｄ１を説明する。推薦受付情報２Ｄ１は，アセット１３の現象文章と対処分類の確率の閾値を，修理員端末１２を介して受け取った入力データである。推薦受付情報２Ｄ１は，現象文章２Ｄ１１と推薦確率閾値２Ｄ１２を備える。なお，本実施形態では現象文章受付部１０３１が受け付ける推薦受付情報２Ｄ１は前記のような項目を備えたが，アセットに関するその他のデータがあってもよいし，推薦確率閾値２Ｄ１２は省略してもよい。

図７を用いて，文章生成装置１０の推薦部１０３の対処推薦部１０３２が出力する推薦結果２Ｄ２を説明する。推薦結果２Ｄ２は，現象文章受付部１０３１に送られてきた現象文章に基づいて，対処推薦部１０３２が学習済みの推薦モデル１１２３を用いて算出した，各対処分類ＩＤの対処分類の確率に関する出力データである（後に図１５で出力表示例を示す）。推薦結果２Ｄ２は，対処分類ID２Ｄ２１と推薦確率２Ｄ２１を備える。

図８を用いて，文章生成装置１０の推薦部１０３の対処推薦部１０３２が出力する提示現象文章２Ｄ３を説明する。提示現象文章２Ｄ３は，現象文章受付部１０３１に送られてきた現象文章に基づいて，対処推薦部１０３２が文章生成モデル１１２２と推薦モデル１１２３と尤度評価モデル１１２４を用いて生成した出力データである（後に図１５で出力表示例を示す）。文章生成モデル１１２２が生成した新しい現象文章（生成文章）２Ｄ３１と，対処分類の確率が最も高い対処分類ID２Ｄ３２と，その推薦確率２Ｄ３３を備える。

＜３．学習フェーズの処理フロー＞
次に，図９，図１０，図１１を用いて本実施形態における学習フェーズの処理フローを説明する。

＜３−１．全体フロー＞
図９を用いて，全体の流れを説明する。まず，修理履歴受付部１０２１が，修理員１５から修理員端末１２を介して送られてきた現象文章と対処分類の組を収集し，修理履歴管理部１０１１に蓄積する（ステップ１Ｆ１０１）。

次に，管理者１４は，管理者端末１１を介して，現象文章から生成文章を生成する文章生成モデルの学習（ステップ１Ｆ１０２）と，対処分類の確率を出力する推薦モデルの学習（ステップ１Ｆ１０３）と，生成文章の修理履歴の現象文章に対する尤もらしさを出力する尤度表記モデルの学習（ステップ１Ｆ１０４）を実行する。なお，ステップ１Ｆ１０２とステップ１Ｆ１０３とステップ１Ｆ１０４は，順番が前後してもよいし，事前に一部のモデルが学習済みであるならば，そのモデルに関する学習のステップを飛ばしてもよい。なお，各種モデルの学習処理について後述にて詳しく説明する。そして，学習したモデルをモデル管理部１０１２に保存する。

＜３−２．文章生成モデルの学習＞
次に図１０，図１１を用いて，文章生成モデル１１２２の学習（ステップ１Ｆ１０２）の処理について詳細を説明する。なお，本実装形態はGANの１つであるConditional GANを用いた形態を示す。そのため，文章生成モデル１１２２に加え，文章生成モデル１１２２が生成した生成文章と修理履歴の現象文章とを判別する文章識別モデルも同時に学習させる。文章識別モデルは文章生成モデル１１２２の学習時のみ使用され、学習が完了した後は不要となるので図示はしていない。なお，本実施形態では，分布間距離にJSD(Jensen-Shannon Divergence)を用いたGANを使用するが，Wasserstein距離を使ったWasserstein GANなどの他のGANを用いてもよい。

図１０および図１１において、文章生成モデル学習部１０２２は，まず，修理履歴管理部１０１１の修理履歴１Ｄ１（図３）から現象文章１Ｄ１３と対処分類ID１Ｄ１４を取り出す。次に，現象文章１Ｄ１３を形態素解析により単語（例えば名詞や動詞）列に分解する。なお，n-gramやSubwordなどに分割してもよいし，現象文章を構成する部分文字列を用いて単語列に分割してもかまわない。その後，現象文章ごとに，少なくとも1つ以上の単語を含む単語の組合せを少なくとも１つ以上生成する。そして，現象文章と単語の組合せと対処分類IDの組の集合である訓練データ集合１Ｄ３（図５）を生成する。この処理を、修理履歴１Ｄ１の１または複数の修理ID１Ｄ１１のデータ（処理時間等を無視した場合，理想的には全データ）について行う（ステップ１Ｆ１０２１）。

訓練データ集合１Ｄ３は，推薦フェーズにて修理員端末１２から送られてきた現象文章とその現象文章から生起されうる文章の組を疑似的に生成したものである。送られてきた現象文章は単語の組合せを表しており，これらの単語の組み合わせから元の現象文章に近い種々の表現を網羅的に生成できる。種々の表現はあいまいなものや元の現象文章に近いものを含むことができる。例えば、図５の1行目の「部位ｘのオイルリーク」からは「部位ｘ」、「オイルリーク」、「部位ｘ」と「オイルリーク」の単語の組み合わせが得られる。

よって，送られてきた現象文章に関連する別の文章は，現象文章から得られた単語の組み合わせから生成することができる。本実装形態の文章生成モデル１１２２は，この訓練データ集合１Ｄ３を用いて，送られてきた現象文章の単語（たとえば「オイルリーク」）から生起されうる文章（たとえば「部位ｘのオイルリーク」「部位ｙのオイルリーク」「部位ｚのオイルリーク」「オイルリーク；部位ｘ」）の生成を学習することができる。学習された文章生成モデル１１２２は，送られてきた現象文章の単語の組み合わせを入力として，新しい現象文章（生成文章）を生成することができる。すなわち，文章生成モデル１１２２は現象文章に近い多様な文章を生成する機能を持つ。

次に，訓練データ集合１Ｄ３（図５）から現象文章１Ｄ３１と単語の組合せ１Ｄ３３と対処分類ID１Ｄ３２の組をサンプリングする。そして，単語の組合せ１Ｄ３３と対処分類ID１Ｄ３２の組から，単語の組合せと対処分類IDとノイズの組を生成する。次に，単語の組合せと対処分類IDとノイズの組を文章生成モデル１１２２に入力し，新しい現象文章（生成文章）の集合を生成する（ステップ１Ｆ１０２２）。ここで，ノイズは正規分布や一様分布に従うものとする。ノイズが入力されているため，文章生成モデル１１２２は，入力に基づいた多種多様な生成文章を生成できる。

次に，対処分類IDと，訓練データ集合１Ｄ３からサンプリングした現象文章（生成文章の元になっている訓練データ集合１Ｄ３の現象文章）１Ｄ３１または生成文章の組を文章識別モデルに入力し，入力した文章がサンプリングした現象文章か否かを判別する（ステップ１Ｆ１０２３）。ここで，対処分類IDを文章識別モデルに入力する理由は，文章生成モデルと文章識別モデルに与える情報を公平にすることで，円滑な学習を促進するためである。なお本実施形態では，文章識別モデルは，入力された文章が，訓練データ集合１Ｄ３からサンプリングした現象文章となる確率を出力する。確率は現象文章か否かを示す２値でもよいし、たとえば０〜１の連続値でもよい。

本実施例では，Conditional GANと呼ばれる技術を適用することで，特定の対処分類IDに属する可能性の高い文章を生成する。このため，学習時には単語の組合せとノイズに加えて対処分類ID（Condition）を文章生成モデル１１２２に入力する。これにより，運用時には対処分類IDを入力することで，特定の対処分類IDに対応する可能性の高い生成文章を出力することができる。

次に，生成文章が入力した単語の組合せを含むか否かを判別する（ステップ１Ｆ１０２４）。なお，本実施形態では，生成文章に入力した単語の組合せを含む場合は０，含まない場合は１を出力する関数を用いる。値は２値でもよいし、含む度合いに対応した連続値でもよい。生成文章と単語の組合せの標準化レーヴェンシュタイン距離やコサイン類似度など２つの文章を比較できる指標を用いてもよい。

次に，文章識別モデルが訓練データ集合１Ｄ３からサンプリングした現象文章と生成文章を判別できないことを良しとする評価指標と，新しい現象に関する文章に入力した単語の組合せを含むことを良しとする評価指標の重み付け和した目的関数に基づいて文章生成モデルのパラメータを更新する（１Ｆ１０２５）。

なお，文章識別モデルは予め学習済みでも良いが，文章生成モデルと同時あるいは交互に学習を進めることで、文章生成モデルの学習を効率的に進めることができる。

生成文章に入力した単語の組合せを含むことを良しとする評価指標を用いることで，送られてきた現象文章と近いが異なる文章が生成されやすくなる。これにより，修理員１５が入力した現象文章に関連する他の表現による生成文章が生成されやすくなる。なお，本実施形態において，文章生成モデル１１２２の目的関数は，生成文章を入力したときに文章識別モデルから出力される現象文章となる確率を１から引いた値の対数と，生成文章に入力した単語の組合せを含む場合は０，含まない場合は１を出力する関数の値の重み付き和を最小化する関数を用いる。なお，本実施形態では，重み付き和の重みは全て０．５とするが，評価指標ごとに重み付きの重みを変えてもよい。

一方，文章識別モデルが現象文章と生成文章を判別できることを良しとする目的関数を用いて文章識別モデルのパラメータを更新する。なお，本実施形態において，文章識別モデルの目的関数は，現象文章を入力したときに文章識別モデルから出力される現象文章となる確率の対数に−１を掛けた値と，生成文章を入力したときに文章識別モデルから出力される現象文章となる確率を１から引いた値の対数に−１を掛けた値との和を最小化する関数を用いる。

その後，終了条件を満たしているか確認する。本実施形態では，10000回パラメータを更新したとき終了条件を満たしたものとする。終了条件を満たしていない場合は，ステップ１Ｆ１０２２に戻る。終了条件を満たした場合は，文章生成モデルの学習処理を終了する（ステップ１Ｆ１０２）。なお，終了条件は，文章生成モデルまたは文章識別モデルの出力が変化しなくなったタイミングで終了と見做すなどでもよい。

以上の実施例では，文章生成モデルの学習にGANを利用している。前述のように，文章生成モデル１１２２は，現象文章と類似しているが異なる生成文章を，ノイズを用いて生成する。学習時には，文章生成モデル１１２２と現象文章と生成文章を識別する識別モデルを，対戦させながら学習させる。これにより，ノイズを用いて現象文章に似た多種多様な文章を生成するモデルを学習することができる。ただし，この技術はモード崩壊という課題がある。モード崩壊は，入力のノイズによらず，本物の文章生成の中で最頻出する文章だけを出力してしまい，多種多様な文章を生成できないという現象である。そこで，実施例の文章生成モデル１１２２では，出力に入力した単語の組合せを含むことを良しとする評価指標を学習させることで，多種多様な文章を網羅的に生成することを可能としている。

＜３−３．推薦モデルの学習＞
次に，推薦モデルの学習（ステップ１Ｆ１０３）の処理について詳細を説明する。まず，修理履歴管理部１０１１の修理履歴１Ｄ１（図３）から現象文章１Ｄ１３と対処分類ID１Ｄ１４５を取り出す。そして，現象文章１Ｄ１３と対処分類ＩＤ１４５に基づいて対処分類の確率を出力する推薦モデル１１２３を構築する。なお，本実施形態では推薦モデルにSVM(Support Vector Machine)を使用するが，単純ベイズ分類器やニューラルネットなどのモデルを使用してもよい。いずれのモデルも公知のため、詳細な説明は割愛する。

＜３−４．尤度評価モデルの学習＞
次に，尤度評価モデルの学習（ステップ１Ｆ１０４）の処理について詳細を説明する。まず，修理履歴管理部１０１１の修理履歴１Ｄ１（図３）から現象文章１Ｄ１３を取り出す。次に，現象文章１Ｄ１３に基づいて現象文章の分布を学習し，入力された文章の修理履歴の現象文章に対する尤もらしさを出力する尤度評価モデルを構築する。なお，本実施形態ではn-gram言語モデルを使用するが，隠れマルコフモデルや最大エントロピーモデルなどを使用してもよい。いずれのモデルも公知のため、詳細な説明は割愛する。

＜４．推薦フェーズの処理フロー＞
図１２を用いて本実施形態における推薦フェーズの処理フローを説明する。まず，修理員１５は修理員端末１２を介して，アセット１３の現象文章と対処分類の確率の閾値を現象文章受付部１０３１に送る（ステップ１Ｆ２０１）。ここで，対処分類の確率の閾値には，例えば修理員１５が，対処分類の確率がある値を超えた対処分類を実施するといった方針で数値などを入力する。本実施形態では，0.8を対処分類の確率の閾値とする。

次に，対処推薦部１０３２が，送られてきた現象文章と，生成する文章の対処分類IDと，ノイズの組を，モデル管理部１０１２で管理している文章生成モデル１１２２に繰り返し入力して，少なくとも１つ以上の新しい現象に関する文章（生成文章）を生成する。必要により，現象文章は形態要素解析により文字列に分解する前処理を行う（ステップ１Ｆ２０２）。

本実施例では，ステップ１Ｆ２０２において，修理履歴管理部１０１１で管理している対処分類情報１Ｄ２（図４）に含まれる対処分類ＩＤごとに，対処分類ＩＤと送られてきた現象文章とノイズを文章生成モデル１１２２に入力する。例えば，図４では対処分類ＩＤが４種類あるので，対処分類ID１〜4のそれぞれに対して現象文章とノイズを文章生成モデル１１２２に入力して出力を得る処理を100回繰り返し，合計400通りの生成文章を生成する。入力を繰り返す理由は，同じ現象文章と対処分類IDでもノイズにより出力が違うので出力のバリエーションを増やすためである。なお，生成する個数はあらかじめ決めた値でもよいし，実行時のコンピュータリソースや修理員１５への応答時間要求などに基づいて動的に決めた値でもよい。このようにして，文章生成モデル１１２２は，入力された現象文章から似て非なる文章を生成するように機能する。

次に，対処推薦部１０３２は，送られてきた現象文章を，モデル管理部１０１２で管理している推薦モデル１１２３に入力して，対処分類の確率を算出する。推薦モデル１１２３の出力は，入力に対する対処分類と対処分類の確率の組となる。例えば、(対処分類ID
1：７０％、対処分類ID2：２０％、対処分類ID3：１０％）のように出力される。その後，対処推薦部１０３２は，送られてきた現象に関する文章と対処分類とその確率の組を生成する。

また，対処推薦部１０３２は，少なくとも１つ以上の生成文章をモデル管理部１０１２で管理している推薦モデル１１２３に入力して，同様に対処分類の確率を算出する。その後，対処推薦部１０３２は，少なくとも１つ以上の生成文章と対処分類とその確率の組を生成する。（ステップ１Ｆ２０３）。

次に，対処推薦部１０３２は，少なくとも１つ以上の生成文章をモデル管理部１０１２で管理している尤度評価モデル１１２４に入力して，修理履歴の現象文章に対する尤もらしさを算出する。出力はたとえば０〜１の連続値で表される尤度である。その後，対処推薦部１０３２は，少なくとも１つ以上の生成文章とその現象文章に対する尤もらしさの組を生成する（ステップ１Ｆ２０４）。なお、ステップ１Ｆ２０３とステップ１Ｆ２０４の順序は逆転していても構わない。

ステップ１Ｆ２０３で生成されたデータの組とステップ１Ｆ２０４で生成されたデータの組は、生成文章を介して関連付けることができる。すなわち，ある生成文章に対して，その生成文章の尤度と，１または複数の対処分類およびその確率がデータの組として関連付けられる。このデータの組を，「提示現象候補データ」と呼ぶことにする。

次に，対処推薦部１０３２は，送られてきた現象文章に対して，対処分類とその確率の組を，対処分類の確率の高い順に並び替えた推薦結果２Ｄ２（図７）を生成する。

加えて，対処推薦部１０３２は，提示現象候補データから，対処分類の確率が対処分類の確率の閾値以下の対処分類およびその確率を削除する。ある生成文章に対して関連付けられている１または複数の対処分類の確率が全て閾値以下の場合は，そのデータの組ごと削除する。残った提示現象候補データで，ある生成文章に対して関連付けられている対処分類が複数ある場合には，確率が最大の対処分類を残して他の対処分類を削除する。そして残った提示現象候補データから，修理履歴の現象文章に対する尤もらしさが大きい上位１もしくは複数件の生成文章と対処分類およびその確率の組を生成する。

その後，対処推薦部１０３２は，上位１もしくは複数件の生成文章と対処分類の確率の組を，対処分類ごとに対処分類の確率が高い順に並び替えた提示現象文章２Ｄ３（図８）を生成する（ステップ１Ｆ２０５）。

対処に関する分類の確率の閾値より大きい現象文章のなかで，尤度が大きい文章と対処分類の確率の高い組を選別することにより，対処に関する分類の確率が高く，かつ品質が担保された文章を提示することができる。

そして，対処表示部１０３３が，対処分類情報１Ｄ２により推薦結果２Ｄ２と提示現象文章２Ｄ３の対処分類ＩＤを対処分類に変換した結果を修理員１５に修理員端末１２を介して表示する（ステップ１Ｆ２０６）。

以上のように，文章生成装置１０が，修理員端末１２を介して集めた修理履歴に基づいて送られてきた現象文章に対する対処分類を推薦する。これにより，修理員１５は，アセット１３の故障を適切に修理することができる。また，文章生成装置１０は，送られてきた現象文章と近いが異なる別の現象に関する文章（生成文章）を修理員１５に提示現象文章として提示する。これにより，修理員１５は，提示現象文章の中からアセット１３に発生している現象に関する文章を選び，その現象に関する文章と紐づけられた対処分類を行うことで，適切に修理することができる。なお，提示現象文章を提示する処理は，送られてきた現象文章から適切な対処分類を推薦出来ない場合にのみ行ってもよい。例えば、現象文章から推薦される複数の対処分類の推薦確率に差がない場合である。

＜５．ユーザインターフェース＞
図１３を用いて，学習フェーズにおいて，修理員１５が修理員端末１２を介して修理履歴受付部１０２１に対して修理履歴１Ｄ１（図３）を送信するために使う，修理履歴受付部１０２１の修理履歴入力画面１Ｇ１を説明する。

修理履歴入力画面１Ｇ１は，修理日時ボックス１Ｇ１０１と，現象文章ボックス１Ｇ１０２と，対処分類セレクトボックス１Ｇ１０３と，登録ボタン１Ｇ１０４を備える。

修理日時ボックス１Ｇ１０１には，修理の日時を入力する。現象文章ボックスには１Ｇ１０２には，対処する前に発生していたアセット１３の現象に関する文章（現象文章）を入力する。対処分類セレクトボックス１Ｇ１０３は，実施した対処に関する分類（対処分類）を入力する。この項目は修理履歴管理部１０１１の対処分類情報１Ｄ２の対処分類１Ｄ２２がプルダウン形式で表示されている。修理員１５が対処分類を選択した場合，選択した対処分類に対応した対処分類ID１Ｄ２１が入力する値となる。登録ボタン１Ｇ１０４を押すことで，入力したデータを修理履歴受付部１０２１に送信できる。なお，本実施形態では，修理履歴１Ｄ１の項目を入力するための修理日時ボックス１Ｇ１０１と現象文章ボックス１Ｇ１０２と対処分類セレクトボックス１Ｇ１０３を備えるが，アセット１３に関するその他のデータを入力するフォームがあってもよいし，前記項目の一部項目のみを入力するフォームを備えたものであってもよい。

なお，本実施形態では，ボックスとセレクトボックスを入力フォームに使用するが，どちらか一方のフォームだけでも良いし，チェックリストやラジオボタンなど他の入力フォームであっても良い。

図１４を用いて，推薦フェーズにおいて，修理員１５が修理員端末１２を介してアセット１３に関する現象に関する文章（現象文章）と対処に関する分類（対処分類）の確率の閾値を入力するために使う現象文章受付部１０３１の現象文章受付画面１Ｇ２を説明する。

現象文章受付画面１Ｇ２は，現象文章ボックス１Ｇ２０１と，推薦確率閾値ボックス１Ｇ２０２と，送信ボタン１Ｇ２０３を備える。現象文章ボックス１Ｇ２０１には，対処分類を推薦して欲しいアセット１３の現象文章を入力する。推薦確率閾値ボックス１Ｇ２０２には，推薦確率の閾値を入力する。送信ボタン１Ｇ２０３を押すことで，入力した推薦受付情報２Ｄ１を現象文章受付部１０３１に送信できる。

図１５を用いて，推薦フェーズにおいて，対処表示部１０３３が，修理員端末１２を介して修理員１５に表示する結果表示画面１Ｇ３を説明する。

結果表示画面１Ｇ３は，推薦結果表示領域１Ｇ３０１と提示現象文章表示領域１Ｇ３０２を備える。推薦結果表示領域１Ｇ３０１の表示内容は，推薦部１０３の対処推薦部１０３２が出力する推薦結果２Ｄ２（図７）に基づく。提示現象文章表示領域１Ｇ３０２の表示内容は，推薦部１０３の対処推薦部１０３２が出力する提示現象文章２Ｄ３（図８）に基づく。

推薦結果表示領域１Ｇ３０１は，対処推薦部１０３２が対処分類情報１Ｄ２（図４）により推薦結果２Ｄ２（図７）の対処分類IDを対処に関する分類に変換した結果を表示する。推薦結果表示領域１Ｇ３０１は，順位表示領域１Ｇ３０１１と対処表示領域１Ｇ３０１２と推薦確率表示領域１Ｇ３０１３を備える。順位表示領域１Ｇ３０１１には，対処に関する分類の確率が高い順に対処分類を並び替えたときの順位を表示する。対処表示領域１Ｇ３０１２には，送られてきた現象文章に対する対処分類を表示する。

推薦確率表示領域１Ｇ３０１３には，送られてきた現象文章に対する対処分類の確率を表示する。なお，本実施形態では，対処分類の確率の高い上位３件を推薦結果として表示しているが，全ての対処分類に対して表示してもよいし，対処分類の確率があらかじめ決めた値を超えた対処分類だけを表示してもよい。

提示現象文章表示領域１Ｇ３０２は，対処推薦部１０３２が対処分類情報１Ｄ２（図４）により提示現象文章２Ｄ３（図８）の対処分類IDを対処分類に変換した結果を表示する。提示現象文章表示領域１Ｇ３０２は，提示現象文章１Ｇ３０２１と，提示現象文章の対処分類１Ｇ３０２２と，提示現象文章の推薦確率１Ｇ３０２３を備える。提示現象文章１Ｇ３０２１には，対処推薦部１０３２が生成した新しい現象に関する文章（生成文章）を表示する提示現象文章の対処分類１Ｇ３０２２には，対処推薦部１０３２が生成した生成文章の対処分類の確率が最も高い対処分類を表示する。提示現象文章の推薦確率１Ｇ３０２３には，対処推薦部１０３２が生成した生成文章の対処分類の確率を表示する。なお，本実施形態では，対処推薦部１０３２が出力した結果を全て表示しているが，対処分類ごとに１件だけ表示してもよいし，あらかじめ決めた件数だけ表示してもよい。

なお，本実施形態では，送られてきた現象文章に対して推薦する対処分類だけを表示しているが，表示する対処分類に修理手順書等のファイルやＵＲＬを付与することで対処分類の詳細を表示できるようにしてもよい。

なお，本実施形態では，推薦結果表示領域と提示現象文章表示領域の両方を表示したが，推薦結果の対処分類の確率が対処分類の確率の閾値を超えていた場合は提示現象文章を表示しないといったように，どちらか一方だけを表示してもよい。また，画面を切り替えて推薦結果表示領域と提示現象文章表示領域を選択できるようにしてもよい。

以上に説明したように，本実施例によれば，修理履歴の現象文章に近く，かつ送られてきた現象文章下で生起する確率の高い文章を生成するように文章生成モデルを学習させる。このことにより，送られてきた現象文章と近いが異なる現象文章が生成され，修理員が入力した現象文章に関連した別の現象文章（生成文章）が生成されやすくなる。

生成文章は，送られてきた現象文章から想定されうる文章を網羅できるので、多様な文章集合が生成できる。また，生成文章は修理履歴の現象文章に近いものが生成されるので，過去の現象文章の分布とは大きく異なる表現の文章が除外される。よって、多言語が混在したり、特殊な表現の表記が含まれたりする生成文章が除かれる。

また，送られてきた現象文章と文章生成モデルを使って生成文章を生成した後，対処分類の確率の閾値より大きい生成文章のなかで修理履歴の現象文章に対する尤もらしさが大きい上位１もしくは複数件の生成文章と対処分類の確率の組を選別する手順を取ることにより，対処分類の確率が高く，かつ品質が担保された文章を提示することができる。

１０ …… 文章生成装置
１０１…… 管理部
１０１１……修理履歴管理部
１０１２……モデル管理部
１０２…… 学習部
１０２１……修理履歴受付部
１０２２……文章生成モデル学習部
１０２３……推薦モデル学習部
１０２４……尤度評価モデル学習部
１０３…… 推薦部
１０３１……現象文章受付部
１０３２……対処推薦部
１０３３……対処表示部
１１ …… 管理者端末
１２ …… 修理員端末
１３ …… アセット
１４ …… 管理者
１５ …… 修理員
１６ …… ネットワーク

Claims (12)

1. 現象に関する第１の文章を受け付ける現象文章受付部と，
   前記第１の文章に対する対処に関する分類を出力する対処推薦部と，
   前記対処推薦部が出力した対処に関する分類に基づいた表示を行う対処表示部と，
   を少なくとも備え，
   前記対処推薦部が，
   文章生成モデルを用いて，前記第１の文章から，該第１の文章とは異なる複数の第２の文章を生成し，
   推薦モデルを用いて，前記第１の文章から，前記第１の文章に対する対処に関する分類を推定し，また，前記第２の文章から，前記第２の文章に対する対処に関する分類を推定し，
   前記対処表示部が，
   前記第１の文章に対する対処に関する分類および前記第２の文章に対する対処に関する分類に基づいた表示を行う，
   対話システム。
2. 前記対処に関する分類はシステム中で複数が定義されており，
   前記文章生成モデルは，
   前記第１の文章と前記複数の対処に関する分類それぞれとの組み合わせに基づいて，複数の前記第２の文章を生成する，
   請求項１記載の対話システム。
3. 前記対処表示部が，
   前記第２の文章に対する対処に関する分類に基づいた表示を行うとともに，前記第２の文章を表示する，
   請求項１記載の対話システム。
4. 前記推薦モデルが，
   前記第１の文章に対する対処に関する分類の確率を推定し，前記第２の文章に対する対処に関する分類の確率を推定し，
   前記対処表示部が，
   前記第２の文章に対する対処に関する分類の確率の表示を行うとともに，前記第２の文章を表示する，
   請求項３記載の対話システム。
5. 前記現象文章受付部が，
   前記第1の文章とともに閾値を受け付け，
   前記対処推薦部が，
   前記第２の文章に対する対処に関する分類の確率が前記閾値の条件を満たす前記第２の文章を選別し，
   前記対処表示部が，
   前記閾値の条件を満たす前記第２の文章に関する表示を行う，
   請求項４記載の対話システム。
6. 前記対処表示部が，
   前記第１の文章に対する対処に関する分類の確率と前記第２の文章に対する対処に関する分類の確率の，比較可能な表示を行う，
   請求項５記載の対話システム。
7. 単語の組み合わせを含む情報を入力として所定の生成文章を出力する文章生成モデルを備える，文章生成装置の構成方法であって，
   現象に関する現象文章の集合を含む修理履歴を用い，
   前記文章生成モデルの学習を，
   前記修理履歴の現象文章に近い文章が生成されることを良しとする第１の指標と，
   入力された単語の組み合わせを含むことを良しとする第２の指標と，
   の２つの指標を基準として実行する，
   文章生成装置の構成方法。
8. 前記修理履歴は，
   前記現象に関する現象文章と該現象に対する対処を特定する対処分類の組の集合を含み，
   前記文章生成モデルの学習は，
   前記現象文章に基づいた単語の組み合わせと前記対処分類の組を入力とし，出力として得られた生成文章を前記第１の指標および前記第２の指標を基準として評価し，評価結果に基づいて前記文章生成モデルのパラメータを更新することにより実行する，
   請求項７記載の文章生成装置の構成方法。
9. 前記文章生成モデルの学習は，
   前記修理履歴の各現象文章を２つ以上の部分文字列に分解し，少なくとも1つ以上の部分文字列を含む部分文字列の組合せを生成し，該部分文字列の組合せと現象文章と対処分類の組で表現される訓練データを準備し，該訓練データを用いて前記現象文章に基づいた単語の組み合わせと前記対処分類の組を入力する，
   請求項８記載の文章生成装置の構成方法。
10. さらに前記生成文章を評価する尤度評価モデルを実装し，
    前記尤度評価モデルを，
    前記生成文章の前記修理履歴の現象文章に対する尤もらしさを出力するように学習する，
    請求項７記載の文章生成装置の構成方法。
11. 前記文章生成モデルの学習は，
    第１の指標を評価するために文章識別モデルを用い，
    前記文章識別モデルは，
    出力として得られた生成文章と前記修理履歴の現象文章とを判別する，
    請求項７記載の文章生成装置の構成方法。
12. 前記文章識別モデルの学習は，前記文章生成モデルの学習と並行して行われる，
    請求項１１記載の文章生成装置の構成方法。

Images