JP2018028866A - 説明文生成方法、説明文生成モデル学習方法、及びプログラム - Google Patents

Abstract

【課題】文書を説明する文を適切に生成するためのモデルを学習することができる。【解決手段】学習用文書分割部２２が、学習用文書集合の各文書である学習用文書を所定の単位に分割することで、分割された学習用文書の構成要素である学習用文書構成要素の系列である学習用文書構成要素系列を構成する。文書構成要素ラベリング部２４が、学習用文書構成要素系列を構成する各学習用文書構成要素に対して、学習用文書構成要素の重要度を示すラベルである学習用文書構成要素ラベルを、学習用説明文集合のうちの対応する説明文を参照しつつ付与する。説明文生成モデル学習部２６が、学習用文書構成要素系列、及び学習用文書構成要素系列に対応する学習用文書構成要素ラベルの系列である学習用文書構成要素ラベル系列を複数用いて、学習用文書構成要素系列から学習用文書構成要素ラベル系列を予測するためのモデルを、説明文生成モデルとして学習する。【選択図】図１

Description

本発明は、説明文生成方法、説明文生成モデル学習方法、及びプログラムに係り、特に、与えられた文書を説明する文を生成するための説明文生成方法、説明文生成モデル学習方法、及びプログラムに関する。

Twitter（Ｒ）やFacebook（Ｒ）といったソーシャル・ネットワーキング・サービス (SNS)の隆盛により、ニュース消費の方法に大きな変化が訪れている。新聞やテレビといったマスメディア時代におけるニュース消費の方法は、報道機関から大衆＝マスに向けて発信されるニュースを一方的に受け取るだけであった。ニュースに触れることができるのは、基本的に新聞では一日2回、テレビは番組の時間帯だけであった。

しかし、インターネットの登場によりニュースは新聞やテレビだけでなくインターネットで得られるようになり、近年ではSNSとスマートフォンの台頭により、ちょっとした空き時間にも簡単にニュースを見られるよう変化してきた。SNS上には膨大なニュースが溢れるようになり、整理して読者に提示するキュレーションサービスも登場した。これは人々のニュース消費が追いつかない状況を示している。

膨大なニュースから選んでもらうためにニュースを発信する側は、記事の価値だけではなく、数多くの読者の目を引きつけ記事に誘導する様々な仕掛けを行う必要に迫られている。例えば、SNSのアカウントを開設して情報発信したり、記事にはSNSに投稿できるボタンが設置したりしている。

また、記事のタイトルもより読者に訴求するような変更が行われている。アメリカのバイラルメディア「Upworthy」では、拡散する見出しをつけるために１つのコンテンツに対して見出し案を25本書き出すという約束があると言われている。一方で、人々の関心を集める中身が伴わない過激なタイトルは「釣りタイトル」と呼ばれており、読者が適切な記事を見つけることを妨げている。「釣りタイトル」にならず読者に訴求するタイトルの構成は編集者の経験と勘に頼っており、具体的な方法論は見いだせていない。

記事からタイトルを自動的に構成する方法として、文短縮技術を用いてニュース記事の見出しを付与する、非特許文献１の方法が知られている。この方法は、読み手の関心を強く引くと期待される表現があらかじめ与えられるという条件の下で、そのような表現をできるだけ保持したまま文を短く書き換える。

西川，今村，別所，牧野，松尾 "クエリ依存文短縮と見出し生成への応用," 情報処理学会技術報告, 2013-NL-214, No.2, pp.1-7, 2013.

しかしながら、非特許文献１の方法では、内容を要約することを目的として文を短縮する手法であり、SNSユーザの関心を引きつける表現を同定する課題は扱われていない。

本発明は、上記の事情に鑑みてなされたもので、文書を説明する文を適切に生成することができる説明文生成方法、及びプログラムを提供することを目的とする。

また、文書を説明する文を適切に生成するためのモデルを学習することができる説明文生成モデル学習方法、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る説明文生成方法は、与えられた文書である入力文書、及び予め学習された説明文生成モデルから、入力文書を説明する説明文である出力説明文を生成する説明文生成装置における説明文生成方法であって、入力文書分割部が、前記入力文書を所定の単位に分割することで、分割された入力文書の構成要素である入力文書構成要素の系列である入力文書構成要素系列を構成する、入力文書分割ステップと、文書構成要素ラベル推定部が、前記説明文生成モデルを用いることで、入力文書構成要素系列を構成する各入力文書構成要素に対して、前記入力文書構成要素の重要度を示すラベルである入力文書構成要素ラベルを推定する、文書構成要素ラベル推定ステップと、出力説明文生成部が、前記入力文書構成要素系列、及び前記入力文書構成要素系列に対応する入力文書構成要素ラベルの系列である入力文書構成要素ラベル系列を用いて、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成する、出力説明文生成ステップと、を含むことを特徴とする。

本発明に係る説明文生成モデル学習方法は、与えられた文書の集合である学習用文書集合、及び前記学習用文書集合の各文書を説明する説明文の集合である学習用説明文集合から、与えられた文書を説明する文を生成するためのモデルである説明文生成モデルを学習する説明文生成モデル学習装置における説明文生成モデル学習方法であって、学習用文書分割部が、前記学習用文書集合の各文書である学習用文書を所定の単位に分割することで、分割された学習用文書の構成要素である学習用文書構成要素の系列である学習用文書構成要素系列を構成する、学習用文書分割ステップと、文書構成要素ラベリング部が、前記学習用文書構成要素系列を構成する各学習用文書構成要素に対して、前記学習用文書構成要素の重要度を示すラベルである学習用文書構成要素ラベルを、前記学習用説明文集合のうちの対応する説明文を参照しつつ付与する、文書構成要素ラベリングステップと、説明文生成モデル学習部が、前記学習用文書構成要素系列、及び前記学習用文書構成要素系列に対応する学習用文書構成要素ラベルの系列である学習用文書構成要素ラベル系列を複数用いて、学習用文書構成要素系列から学習用文書構成要素ラベル系列を予測するためのモデルを、前記説明文生成モデルとして学習する、説明文生成モデル学習ステップと、を含むことを特徴とする。

本発明に係るプログラムは、コンピュータに、上記の説明文生成方法又は説明文生成モデル学習方法の各ステップを実行させるためのプログラムである。

以上説明したように、本発明の説明文生成方法、及びプログラムによれば、予め学習された説明文生成モデルを用いることで、入力文書構成要素系列を構成する各入力文書構成要素に対して、入力文書構成要素ラベルを推定し、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成することにより、文書を説明する文を適切に生成することができる、という効果が得られる。

本発明の説明文生成モデル学習方法、及びプログラムによれば、学習用文書構成要素系列を構成する各学習用文書構成要素に対して、学習用文書構成要素ラベルを、学習用説明文集合のうちの対応する説明文を参照しつつ付与し、学習用文書構成要素系列から学習用文書構成要素ラベル系列を予測するためのモデルを、説明文生成モデルとして学習することにより、文書を説明する文を適切に生成するためのモデルを学習することができる、という効果が得られる。

本発明の実施の形態に係る説明文生成モデル学習装置の構成を示す概略図である。 説明文生成モデルの例を示す図である。 説明文生成モデルの例を示す図である。 本発明の実施の形態に係る説明文生成装置の構成を示す概略図である。 本発明の実施の形態に係る説明文生成モデル学習処理プログラムを示すフローチャートである。 本発明の実施の形態に係る説明文生成処理プログラムを示すフローチャートである。 実験結果を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

[概要]
本発明の実施の形態は、SNSユーザの関心を引きつける説明文をニュース記事から自動的に構成する方法を提供する。本発明の実施の形態では、SNSユーザの関心を引きつけると考えられる文をニュース記事から選択するモデルを教師付学習により実現する。このモデルを学習するための教師情報として、ニュース記事と、そのニュース記事に言及した中で最も影響力の強かったSNSの投稿を用いる。影響力の強さは、例えばTwitter（Ｒ）の場合にはリツイート数やお気に入り数、Facebook（Ｒ）の場合には「いいね」の数やシェア数などを利用することができる。

本発明の実施の形態は、これまでに記載の通り、ニュース記事を主な対象としているが、文書とそれを説明する説明文の対を教師情報として利用できる対象であれば、文書の種類は特に限定されるものではない。例えば、SNS投稿に含まれるURLのコンテンツがニュース記事でなくても、本発明は同様に利用できる。また、SNS投稿の代わりに書籍のレビューを教師情報として用いることにより、書籍の文章からレビューの素材となる説明文を自動的に生成する方法として本発明を利用できる。さらに、文書がwebコンテンツである必要もなく、雑誌とその広告文、新聞とその見出しなど、あらゆる形態の文書に適用できる。

本発明の実施の形態では、(1)与えられた文書の集合である学習用文書集合、及び学習用文書集合の各文書を説明する文章の集合である学習用説明文集合から、与えられた文書を説明する文を生成するためのモデルである説明文生成モデルを学習する説明文生成モデル学習方法、及び、(2)学習用文書とは別に与えられた文書である入力文書及び説明文生成モデルから入力文書を説明する説明文である出力説明文を生成する説明文生成方法、この２つの方法を提供する。SNSユーザの関心を引きつける説明文を生成する目的においては、学習用文書集合の各要素である学習用文書はwebニュース記事、学習用説明文集合の各要素である学習用説明文はwebニュース記事に言及したSNSの投稿と解釈できる。

具体的には、本発明の実施の形態では、文書構成要素ラベリング部において、学習用説明文の記述内容を考慮しながら学習用文書にラベルを付与し、説明文生成モデル学習部において、学習用文書、及び文書構成要素ラベリング部により付与したラベルの対を利用することにより、与えられた文書を説明する文を生成する説明文生成モデルを教師付学習により獲得する。この説明文生成モデルを用いることで、文書構成要素ラベル推定部において、新規に与えられた入力文書に対してのラベルを推定し、出力説明文生成部において、文書構成要素ラベル推定部で推定したラベルに基づいて、入力文書から出力説明文を構成する。

[説明文生成モデル学習装置の構成]
以下、本発明の実施形態に係る説明文生成モデル学習装置について図面を参照して説明する。説明文生成モデル学習装置は、ＣＰＵと、ＲＡＭと、プログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図１には、本発明の実施形態に係る説明文生成モデル学習装置１００の構成の概略が示されている。図１に示すように、本実施形態に係る説明文生成モデル学習装置１００は、入力部１０と、演算部２０とで構成されている。

入力部１０は、与えられた文書の集合である学習用文書集合、及び前記学習用文書集合の各文書を説明する説明文の集合である学習用説明文集合を受け付ける。

演算部２０は、学習用文書分割部２２と、文書構成要素ラベリング部２４と、説明文生成モデル学習部２６と、説明文生成モデル記憶部２８とを備えている。

学習用文書分割部２２は、学習用文書集合を入力し、学習用文書集合の各文書である学習用文書を所定の単位に分割することで、分割された学習用文書の構成要素である学習用文書構成要素の系列である学習用文書構成要素系列を構成し、この学習用文書構成要素系列の集合である学習用文書構成要素系列集合を出力する。

学習用文書構成要素系列の構成方法は特に限定されるものではないが、本実施形態では、学習用文書を文に分割し、一文を文書構成要素として採用する。

文書構成要素ラベリング部２４は、学習用文書構成要素系列集合及び学習用説明文集合を入力し、ある学習用文書から構成された学習用文書構成要素系列と、当該学習用文書を説明する学習用説明文とを対にし、学習用文書構成要素系列を構成する各学習用文書構成要素に対して、その学習用文書構成要素の重要度を示すラベルである学習用文書構成要素ラベルを、対となる学習用説明文を参照しつつ付与することで、この学習用文書構成要素ラベルの系列である学習用文書構成要素ラベル系列を学習用文書構成要素系列と学習用説明文との各対について構成し、この学習用文書構成要素ラベル系列の集合である学習用文書構成要素ラベル系列集合を出力する。

学習用文書構成要素ラベルの与え方は特に限定されるものではないが、本実施形態では、学習用説明文に含まれる内容を考慮して与える方法について説明する。

学習用説明文は、学習用文書を説明する文として適切と判断されたものが用いられている。すなわち、学習用説明文に含まれる内容を示す学習用文書中の部分が、学習用文書の中で重要な部分であると考えることができる。この考えに基づき、本実施形態では、例えば、学習用説明文の各文について、その文の内容と最も適合する学習用文書の中の文、すなわち学習用文書構成要素を特定し、この学習用文書構成要素に「選択」を意味する「１」のラベルを付与する。学習用説明文の各文について同様の処理を行い、「１」のラベルが付与されなかった残りすべての学習用文書構成要素に、「非選択」を意味する「−１」のラベルを付与する。

上記のような手順により、学習用文書各々について、対応する学習用文書構成要素系列と同じ要素数を持つ２値（１ or −１）系列を構成することができる。この２値系列を、学習用文書構成要素ラベル系列とする。

上記の実施形態では、学習用文書構成要素ラベルとして、「選択」と「非選択」の２種類のみを想定していたが、学習用説明文の各文にあらかじめ重要度が設定されている場合には、「選択」「非選択」を示すラベルの代わりにその重要度をラベルに設定する実施形態も可能である。すなわちラベルは任意の整数値や任意の実数値を取ることも可能である。また、学習用文書がニュース記事である場合には，記事の前半に重要な内容が含まれていることが多いことから、「選択」と判断された文書構成要素について，記事の前半ほど大きな値を取る重要度を加算もしくは乗算することも可能である。

上記の実施形態では、手動でラベリングすることが想定されていたが、学習用文書構成要素と学習用説明文との類似度を計算することでラベリングを自動化する実施形態も考えられる。上記類似度では、文同士の類似度を計算する手法であればいかなる方法も適用可能であり、単語頻度ベクトルのコサイン距離、TF-IDF特徴量のコサイン距離、word vector（非特許文献２）の平均ベクトルを特徴とするコサイン距離、paragraph vector（非特許文献３）のコサイン距離、などの方法が考えられる。

（非特許文献２）Mikolov, Sutskever, Chen, Corrado, Dean “Distributed representations of words and phrases and their compositionality,” Proc. Advances in Neural Information Processing Systems (NIPS), pp.3111-3119, 2013. インターネット＜ＵＲＬ：https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf＞

（非特許文献３）Le and Mikolov “Distributed representations of sentences and documents,” arXiv:1405.4053, May 2014. インターネット＜ＵＲＬ：https://cs.stanford.edu/~quocle/paragraph_vector.pdf＞

上記のような手順により、学習用文書各々について、対応する学習用文書構成要素系列と同じ要素数を持つ系列を構成することができ、この系列を学習用文書構成要素ラベル系列とする。

説明文生成モデル学習部２６は、学習用文書構成要素系列集合及び学習用文書構成要素ラベル系列集合を入力し、学習用文書構成要素系列集合に含まれる各学習用文書構成要素系列から、これに対応する学習用文書構成要素ラベル系列を予測するモデルとして、説明文生成モデルを学習し、この説明文生成モデルを出力する。

すなわち、本実施例において、説明文生成モデル学習部２６の目的は、学習用文書の各文に与えられたラベルを予測するモデルを学習することにある。

説明文生成モデルは特に限定されるものではないが、本実施形態では、recurrent neural network (RNN) を用いたモデルを採用する。モデルの概略図を図２に示す。

本実施形態で採用するモデルは、単語系列

を入力し、ラベル系列

の予測

を出力するモデルである。ここで、Ｔは単語系列の長さである。このモデルでは、以下の式（１）に示す計算を行う。ただし、各単語

は1-of-K表現、すなわちＫ種類の単語のうちいずれか1つだけ1で残りがすべて0となる2値ベクトルで表現されているものとする。また、ε（・）は与えられた単語の1-of-K表現を多次元ベクトルに埋め込む関数、

はlong-short term memory (LSTM) block と呼ばれる時系列信号の長期依存性を学習するブロック、σ（・）は任意の活性化関数である。

・・・（１）

活性化関数σ（・）の具体的な形状は特に限定されるものではないが、例えば、シグモイド関数やtanh関数などを用いることができる。埋め込み関数ε（・）については、全体のネットワークと同時に学習する方法だけでなく、非特許文献２に記載の単語埋め込みを利用することも可能である。

本実施形態で採用するモデルにおいて、学習により求めるパラメータは、線形変換行列

、バイアス項

、LSTM

、活性化関数σ（・埋め込み関数ε）の内部パラメータである。これらのパラメータは、正解のラベル系列Ｙと予測ラベル系列

との誤差を小さくするように学習される。ラベル系列の誤差関数としてはクロスエントロピーが、パラメータ修正には確率的最急降下法が、それぞれ一般的に用いられる。

本実施形態では、学習用文書構成要素系列と学習用文書構成要素ラベル系列の組が学習データとして複数与えられる。学習用文書構成要素が文である場合には、ラベルは文ごとに与えられるため、本実施形態で採用する説明文生成モデルに適用するためには、文を単語に分割し、別途定めるストップワードを除去した後に、各単語にラベルを与える必要がある。各単語へのラベルの与え方は、すべての単語に文のラベルと同じものを与える、文の先頭の単語のみ文のラベルと同じものを与える、などの方法が考えられる。

説明文生成モデルは，前述のものに限定されるものではない。例えば、非特許文献４に記載のbidirectional LSTMと呼ばれるモデルを用いることも可能である。モデルの概略図を図３に示す。このモデルでは、以下の式（２）に示す計算を行う。

・・・（２）

（非特許文献４）Graves, Mohamed, Hinton “Speech recognition with deep recurrent neural networks,” Proc. ICASSP, 2013. インターネット＜ＵＲＬ：http://www.cs.toronto.edu/~fritz/absps/RNN13.pdf＞

ここまでの実施形態では、説明文生成モデルとしてRNNを用いてきたが、これに加えてsupport vector machine (SVM) を用いる実施形態も考えられる。この実施形態では、学習済RNNの隠れ層ベクトル

もしくは

もしくはその連結ベクトルをSVMの入力として単語ラベルを予測するSVMモデルを学習する。

上記のような手順により、説明文生成モデル学習部２６は、RNNもしくはRNNとSVMによって構成される説明文生成モデルを学習し、この説明文生成モデルを説明文生成モデル記憶部２８に格納する。

[説明文生成装置の構成]
次に、本発明の実施形態に係る説明文生成装置について図面を参照して説明する。説明文生成装置は、ＣＰＵと、ＲＡＭと、プログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図４には、本発明の実施形態に係る説明文生成装置１５０の構成の概略が示されている。図４に示すように、本実施形態に係る説明文生成装置１５０は、入力部６０と、演算部７０と、出力部９０とで構成されている。

入力部６０は、生成する説明文の説明対象となる入力文書を受け付ける。

演算部７０は、入力文書分割部７２と、説明文生成モデル記憶部７４と、文書構成要素ラベル推定部７６と、出力説明文生成部７８とを備えている。

入力文書分割部７２は、学習用文書とは別に与えられた文書である入力文書を入力し、入力文書を所定の単位に分割することで、分割された入力文書の構成要素である入力文書構成要素の系列である入力文書構成要素系列を構成し、この入力文書構成要素系列を出力する。

入力文書分割部７２は、入力文書を入力として、前述の学習用文書分割部２２と同様の処理を行うことで、入力文書構成要素系列を構成する。

説明文生成モデル記憶部７４は、説明文生成モデル記憶部２８と同一の説明文生成モデルが記憶されている。

文書構成要素ラベル推定部７６は、入力文書構成要素系列及び説明文生成モデルを入力し、入力文書構成要素系列を構成する各入力文書構成要素に対して、その重要度を示すラベルである入力文書構成要素ラベルを推定し、この入力文書構成要素ラベルの系列である入力文書構成要素ラベル系列を出力する。

入力文書構成要素系列を説明文生成モデルに入力することにより、入力文書構成要素ラベル系列を得ることができる。例えば、説明文生成モデルとしてbidirectional LSTMを用いる場合には、前述の式（２）を用いて単語ごとの予測ラベルの系列

が得られる。また、説明文生成モデルとしてbidirectional LSTMとSVMを用いる場合には、前述の式（２）を用いて計算した隠れ層ベクトル

もしくは

もしくはその連結ベクトルをSVMに入力することで、単語ごとの予測ラベルが得られる。このようにして得られた単語ごとの予測ラベルを文で統合することで、入力文書構成要素ラベルが得られる。統合方法として、文中の単語の予測ラベルの平均値、最大値、最小値、最頻値などを用いることができる。

出力説明文生成部７８は、入力文書構成要素系列及び入力文書構成要素ラベル系列を入力し、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成し、この出力説明文を出力部９０により出力する。

出力説明文の生成方法は特に限定されるものではないが、本実施形態では、以下の2つの方法について述べる。

第一の方法は、入力文書構成要素ラベルに基づいた入力文書構成要素の選択によるものである。入力文書構成要素が文である場合、入力文書構成要素ラベルは入力文書における当該文の重要度の推定値を表す。そこで、この入力文書構成要素ラベルを用いる所定の基準によって文を選択し、選択された文を入力文書中での登場順に連結した文系列を、出力説明文とする。ここでの基準として、例えば、入力文書構成要素ラベルが所定の閾値を上回る文を選択する、入力文書構成要素ラベルの大きい順に所定の数の文を選択する、所定の文字数を上回らない範囲で入力文書構成要素ラベルを大きい順に選択する、非特許文献５に記載のナップサック制約最適化に基づく選択方法を用いる、などの方法が考えられる。

（非特許文献５）平尾，鈴木，磯崎 “最適化問題としての文書要約,” 人工知能学会論文誌，Vol.24，No.2，pp.223-231，2009年．インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/tjsai/24/2/24_2_223/_pdf＞

第二の方法は、第一の方法で選択された文をさらに短縮するように編集する方法である。文短縮の方法として、例えば、非特許文献６や非特許文献７に記載の方法などが考えられる。また、非特許文献５に記載の方法のように、文選択と文短縮を同時に行う方法の適用も可能である。

（非特許文献６）平尾，鈴木，磯崎 “識別学習による組合せ最適化問題としての文短縮手法,” 人工知能学会論文誌，Vol.22，No.6A，pp.574-584，2007年．インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/tjsai/22/6/22_6_574/_pdf＞

（非特許文献７）平尾，鈴木，磯崎 “軽量な文短縮手法,” 言語処理学会年次大会発表論文集，2008年3月．インターネット＜ＵＲＬ：http://www.anlp.jp/proceedings/annual_meeting/2008/pdf_dir/C3-1.pdf＞

［説明文生成モデル学習装置の作用］
次に、本発明の実施形態に係る説明文生成モデル学習装置の作用を説明する。

図５には、本発明の実施の形態に係る説明文生成モデル学習処理プログラムを示すフローチャートが示されている。説明文生成モデル学習処理プログラムがスタートすると、ステップＳ１００で、学習用文書分割部２２は、学習用文書集合を入力し、学習用文書集合の各文書である学習用文書を所定の単位に分割することで、分割された学習用文書の構成要素である学習用文書構成要素の系列である学習用文書構成要素系列を構成し、この学習用文書構成要素系列の集合である学習用文書構成要素系列集合を出力する。

ステップＳ１０２で、文書構成要素ラベリング部２４は、学習用文書構成要素系列集合及び学習用説明文集合を入力し、ある学習用文書から構成された学習用文書構成要素系列と、当該学習用文書を説明する学習用説明文とを対にし、学習用文書構成要素系列を構成する各学習用文書構成要素に対して、その学習用文書構成要素の重要度を示すラベルである学習用文書構成要素ラベルを、対となる学習用説明文を参照しつつ付与することで、この学習用文書構成要素ラベルの系列である学習用文書構成要素ラベル系列を学習用文書構成要素系列と学習用説明文との各対について構成し、この学習用文書構成要素ラベル系列の集合である学習用文書構成要素ラベル系列集合を出力する。

ステップＳ１０４で、説明文生成モデル学習部２６は、学習用文書構成要素系列集合及び学習用文書構成要素ラベル系列集合を入力し、学習用文書構成要素系列集合に含まれる各学習用文書構成要素系列から、これに対応する学習用文書構成要素ラベル系列を予測するモデルとして、説明文生成モデルを学習し、この説明文生成モデルを、説明文生成モデル記憶部２８に格納して、説明文生成モデル学習処理プログラムを終了する。

［説明文生成装置の作用］
次に、本発明の実施形態に係る説明文生成装置の作用を説明する。

図６には、本発明の実施の形態に係る説明文生成処理プログラムを示すフローチャートが示されている。説明文生成処理プログラムがスタートすると、ステップＳ１１０で、入力文書を入力し、入力文書を所定の単位に分割することで、分割された入力文書の構成要素である入力文書構成要素の系列である入力文書構成要素系列を構成し、この入力文書構成要素系列を出力する。

ステップＳ１１２で、文書構成要素ラベル推定部７６は、入力文書構成要素系列及び説明文生成モデルを入力し、入力文書構成要素系列を構成する各入力文書構成要素に対して、その重要度を示すラベルである入力文書構成要素ラベルを推定し、この入力文書構成要素ラベルの系列である入力文書構成要素ラベル系列を出力する。

ステップＳ１１４で、出力説明文生成部７８は、入力文書構成要素系列及び入力文書構成要素ラベル系列を入力し、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成し、この出力説明文を出力部９０により出力し、説明文生成処理プログラムを終了する。

[実験結果]
次に、これまでに示した実施形態を検証するために，Twitter（Ｒ） APIから取得したツイートを学習用説明文として用いる実験を行った実験結果について説明する。およそ1年間の間に投稿されたツイートのうち、特定のニュースサイトの記事へのリンクを含み、5回以上リツイートもしくはお気に入り登録されたツイートを抽出した。また、これらの抽出したツイートでリンクされたニュースサイトの記事を収集し、タイトル、本文、メタ情報などを抽出した。上記の手順により、総計約6000記事、80万ツイートを収集した。

各ニュース記事について、その記事へのリンクを含むツイートの中から、リツイート数とお気に入り登録数が最も大きなツイートを選択し、これを当該ニュース記事の説明文の正解とした。この手順はすなわち、学習用文書としてあるニュース記事を設定した際の学習用説明文を設定する手順と見なすことができる。

説明文生成モデル学習部２６及び文書構成要素ラベル推定部７６ではRNNとSVMを併用する方法を採用し、モデル学習の実装として、RNNモデル記述・学習・評価にChainer（インターネット＜ＵＲＬ：http://chainer.org＞）を、SVM学習・評価にLIBSVM（インターネット＜ＵＲＬ：https://www.csie.ntu.edu.tw/~cjlin/libsvm/＞）をそれぞれ用い、4-fold cross validationでモデル学習と評価を実行した。出力説明文生成部７８では文の選択のみを行い、文短縮は行わなかった。すなわち、本実験のタスクは、与えられた入力文書の中から重要な文を選択することにあり、文書構成要素ラベリング部２４によって与えられた文選択の正解をどれだけ正確に再現できるかが評価基準となる。

本実験における説明文生成方法の評価方法として、分類問題における代表的な評価尺度であるROC curve及びarea under the ROC curve (AUC) を用いた。ROC curveは、横軸に誤分類率、縦軸に正答率を取るグラフであり、グラフ曲線が左上にあるほど良い方法と判断される。AUCはROCの右下にある領域の面積であり、値が大きいほど良い方法と判断される。評価対象として、入力文書からランダムに文を選択する手法 (random guess)、入力文書の先頭から順に選択する手法 (baseline)、及び本発明の実施形態による方法 (proposed) を採用した。

入力文書中の評価実験結果を図７に示す。この図から、本発明の実施形態による方法が最も良い結果を示すと共に、いずれの評価対象に対しても優位に良い結果であることが見て取れる。

以上説明したように、本発明の実施の形態に係る説明文生成モデル学習装置によれば、学習用文書構成要素系列を構成する各学習用文書構成要素に対して、学習用文書構成要素ラベルを、学習用説明文集合のうちの対応する説明文を参照しつつ付与し、学習用文書構成要素系列から学習用文書構成要素ラベル系列を予測するためのモデルを、説明文生成モデルとして学習することにより、文書を説明する文を適切に生成するためのモデルを学習することができる。

また、本発明の実施の形態に係る説明文生成装置によれば、上記説明文生成モデル学習装置により予め学習された説明文生成モデルを用いることで、入力文書構成要素系列を構成する各入力文書構成要素に対して、入力文書構成要素ラベルを推定し、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成することにより、文書を説明する文を適切に生成することができる。
また、本発明の実施の形態は、ニュースなど複数の文で構成される文書を端的に説明する説明文を生成する文書要約方法に関するものであり、例えば、ソーシャルメディア上で多くの読者の目を引きつけるためのニュースの説明文を自動的に生成し、その説明文をソーシャルメディア上に配信することを支援することができる。

[変形例]
説明文生成モデル学習装置及び説明文生成装置の各々の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、説明文生成モデル学習装置及び説明文生成装置の各々に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０、６０ 入力部
２０、７０ 演算部
２２ 学習用文書分割部
２４ 文書構成要素ラベリング部
２６ 説明文生成モデル学習部
２８ 説明文生成モデル記憶部
７２ 入力文書分割部
７４ 説明文生成モデル記憶部
７６ 文書構成要素ラベル推定部
７８ 出力説明文生成部
９０ 出力部
１００ 説明文生成モデル学習装置
１５０ 説明文生成装置

Claims (8)

1. 与えられた文書である入力文書、及び予め学習された説明文生成モデルから、入力文書を説明する説明文である出力説明文を生成する説明文生成装置における説明文生成方法であって、
   入力文書分割部が、前記入力文書を所定の単位に分割することで、分割された入力文書の構成要素である入力文書構成要素の系列である入力文書構成要素系列を構成する、入力文書分割ステップと、
   文書構成要素ラベル推定部が、前記説明文生成モデルを用いることで、入力文書構成要素系列を構成する各入力文書構成要素に対して、前記入力文書構成要素の重要度を示すラベルである入力文書構成要素ラベルを推定する、文書構成要素ラベル推定ステップと、
   出力説明文生成部が、前記入力文書構成要素系列、及び前記入力文書構成要素系列に対応する入力文書構成要素ラベルの系列である入力文書構成要素ラベル系列を用いて、入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して出力説明文を生成する、出力説明文生成ステップと、
   を含むことを特徴とする説明文生成方法。
2. 前記入力文書分割ステップにおいて、与えられた入力文書を文単位に分割し、一文を構成要素の単位とする
   ことを特徴とする、請求項１に記載の説明文生成方法。
3. 前記文書構成要素ラベル推定ステップにおいて、入力文書構成要素系列を入力して文書構成要素ラベル系列を予測するための予め学習されたニューラルネットワークを、前記説明文生成モデルとして用いる
   ことを特徴とする、請求項１又は請求項２に記載の説明文生成方法。
4. 前記出力説明文生成ステップにおいて、前記入力文書構成要素ラベルで示される重要度が高い入力文書構成要素を重視して選択し、前記選択された入力文書構成要素を編集することで、前記出力説明文を構成する
   ことを特徴とする、請求項１〜請求項３の何れか１項に記載の説明文生成方法。
5. 与えられた文書の集合である学習用文書集合、及び前記学習用文書集合の各文書を説明する説明文の集合である学習用説明文集合から、与えられた文書を説明する文を生成するためのモデルである説明文生成モデルを学習する説明文生成モデル学習装置における説明文生成モデル学習方法であって、
   学習用文書分割部が、前記学習用文書集合の各文書である学習用文書を所定の単位に分割することで、分割された学習用文書の構成要素である学習用文書構成要素の系列である学習用文書構成要素系列を構成する、学習用文書分割ステップと、
   文書構成要素ラベリング部が、前記学習用文書構成要素系列を構成する各学習用文書構成要素に対して、前記学習用文書構成要素の重要度を示すラベルである学習用文書構成要素ラベルを、前記学習用説明文集合のうちの対応する説明文を参照しつつ付与する、文書構成要素ラベリングステップと、
   説明文生成モデル学習部が、前記学習用文書構成要素系列、及び前記学習用文書構成要素系列に対応する学習用文書構成要素ラベルの系列である学習用文書構成要素ラベル系列を複数用いて、学習用文書構成要素系列から学習用文書構成要素ラベル系列を予測するためのモデルを、前記説明文生成モデルとして学習する、説明文生成モデル学習ステップと、
   を含むことを特徴とする説明文生成モデル学習方法。
6. 前記学習用文書分割ステップにおいて、学習用文書を文単位に分割し、一文を構成要素の単位とする
   ことを特徴とする、請求項５に記載の説明文生成モデル学習方法。
7. 前記説明文生成モデル学習ステップにおいて、前記説明文生成モデルとして、学習用文書構成要素系列を入力して学習用文書構成要素ラベル系列を予測するためのニューラルネットワークを学習する
   ことを特徴とする、請求項５又は請求項６に記載の説明文生成モデル学習方法。
8. コンピュータに、請求項１〜請求項４の何れか１項記載の説明文生成方法、又は請求項５〜請求項７の何れか１項記載の説明文生成モデル学習方法の各ステップを実行させるためのプログラム。