JP2021047817A - 出力装置、及び出力プログラム - Google Patents

Abstract

【課題】説明テキストの情報だけでは、物事から連想される連想テキストを作成できないような場合であったとしても、連想テキストを自動で生成して出力する。【解決手段】出力装置１０は、物事の特徴を表したユーザ単語を受け付け、物事を説明した説明テキストに基づいて抽出された特徴語と、説明テキストから生成されたキャッチコピーとの関連付けを学習した生成モデル１７にユーザ単語を入力することで、ユーザ単語から連想されるキャッチコピーを出力する。【選択図】図１

Description

本発明は、出力装置、及び出力プログラムに関する。

特許文献１には、中央処理装置と、前記中央処理装置がアクセスするアドレス空間内の所定のアドレス範囲が割り当てられている記憶領域に第１の命令群及び第２の命令群を記憶する記憶装置と、前記アドレス空間内で割り当てられているアドレスに従って所定の演算処理を実行する回路と、を備え、前記中央処理装置は、前記アドレス空間内のアドレスを指定するプログラムカウンタと、前記第１の命令群が実行された結果として得られるアドレスを前記プログラムカウンタに出力する制御部と、第１のアドレスとしての前記第２の命令群の実行に用いられるアドレスに対応付けて第２のアドレスとして前記回路に割り当てられているアドレスを記憶する記憶部を備え、前記制御部から出力されたアドレスが前記第１のアドレスに合致する場合に、前記第２のアドレスを前記プログラムカウンタに出力する変換部と、を備える、情報処理装置が開示されている。

特許文献２には、学習者側のコンピュータから入力された質問文に応じて該質問文に関する情報を検索するためのキーワードを生成し該キーワードにより前記情報を検索する情報検索プログラムであって、コンピュータ装置を、複数に区分された学習領域から構成される教材から抽出した第１学習領域を学習者端末に出力する出力手段と、学習者からの質問文の入力を受け付ける質問文受付手段と、前記質問文受付手段で受け付けた質問文を形態素解析して検索のための第１キーワードを抽出する第１キーワード抽出手段と、前記出力手段から出力された前記第１学習領域におけるキーワードのうち、前記質問文に関する情報の検索のために前記第１キーワードに加えるべき重要キーワードを格納した重要語定義テーブルを参照して該重要キーワードを検索のための第２キーワードとして抽出する第２キーワード抽出手段と、前記第１キーワードと前記第２キーワードの双方を用いて前記質問文に関する情報の検索を行う検索手段と、して機能させることを特徴とする情報検索プログラムが開示されている。

特許文献３には、文または文章のテキストを生成するテキスト生成方法であって、入力手段により１個以上のキーワードとなる単語を入力する入力ステップ、抽出手段により該キーワードに係るテキストを、データベースから抽出する抽出ステップ、解析手段と係り受け構造形成手段とを含むテキスト生成手段により、抽出されたテキストを各テキストに含まれる部分的な係り受け関係から組み合わせ、入力したキーワードを用いたテキストを生成するテキスト生成ステップを有し、該テキスト生成ステップにおいて、解析手段が、抽出されたテキストを形態素解析及び構文解析して該テキストの係り受け構造を得ると共に、係り受け構造形成手段が、該係り受け構造におけるキーワードを含む少なくとも１個のノードと、それ以外のノードとの部分的な係り受け関係を複数抽出し、部分的な係り受け関係を組み合わせることでキーワードを含む１文全体の係り受け構造を形成してテキストを生成することを特徴とするテキスト生成方法が開示されている。

特開２０１８−８１５５９号公報 特開２００８−２５０８９３号公報 特許第３９２１５２３号公報

物事を説明したテキスト（以下、説明テキスト）に基づいて、物事から連想されるテキスト（以下、連想テキスト）を出力する出力装置が知られている。

しかしながら、こうした出力装置で連想テキストを出力するためには、連想テキストを生成できるような情報量のある説明テキスト（例えば、物事の特徴を書いた複数の文）をユーザが作成する必要があり、手間がかかっていた。そこで、連想テキストを生成できないような情報量しかない説明テキスト（例えば、単語）であっても連想テキストを出力することが求められていた。

本発明は、物事を説明した説明テキストを受け付けた際に、その説明テキストの情報だけでは、その物事から連想される連想テキストを作成できないような場合であったとしても、連想テキストを自動で生成して出力することができる出力装置、及び出力プログラムを提供することを目的とする。

第１態様に係る出力装置は、プロセッサを備え、前記プロセッサは、ユーザから物事の特徴を表した入力語を受け付け、物事を説明した説明テキストに基づいて抽出された特徴語と、説明テキストから生成された、物事から連想される連想テキストとの関連付けを学習した生成モデルに前記入力語を入力することで、前記入力語に対して生成された連想テキストを出力する。

第２態様に係る出力装置は、第１態様に係る出力装置において、前記プロセッサは、説明テキストから連想テキストを生成する別生成モデルの学習の過程で生成された、説明テキストにおける特徴語を規定した特徴語情報が存在する場合には、前記特徴語情報を参照して説明テキストから特徴語を抽出し、前記特徴語情報が存在しない場合には、説明テキストの内容から、説明テキストに含まれる各語句の重要度を算出し、語句の重要度に応じて特徴語を抽出する。

第３態様に係る出力装置は、第２態様に係る出力装置において、前記別生成モデルは、説明テキストに含まれる語句が連想テキストに与えた影響度を出力するアテンション機構を備え、前記プロセッサは、連想テキストに対する影響度の高い方から順に選択した説明テキストに含まれる語句を特徴語として抽出する。

第４態様に係る出力装置は、第３態様に係る出力装置において、前記プロセッサは、ユーザの指示に応じて連想に与える影響度を修正する。

第５態様に係る出力装置は、第１態様に係る出力装置において、前記プロセッサは、入力された特徴語に対して、説明テキストに予め対応付けられている連想テキストを生成するように学習する前記生成モデルの学習の過程で得られた、前記生成モデルが生成する連想テキストと、説明テキストに予め対応付けられている連想テキストの誤差を表す損失が小さくなるような語句の組み合わせを特徴語として抽出する。

第６態様に係る出力装置は、第５態様に係る出力装置において、前記生成モデルがデコーダで構成され、前記プロセッサは、説明テキストに含まれる語句、及び前記デコーダに含まれる語句のうち説明テキストに含まれない語句の組み合わせを特徴語として抽出する。

第７態様に係る出力装置は、第１態様〜第６態様の何れかの態様に係る出力装置において、前記プロセッサは、特徴語の重要度、または特徴語が連想テキストに与える影響度に応じて、前記生成モデルに入力する特徴語の入力順を決定する。

第８態様に係る出力装置は、第７態様に係る出力装置において、前記プロセッサは、重要度の高い特徴語、または連想テキストに与える影響度の大きい特徴語から順に前記生成モデルに入力する。

第９態様に係る出力装置は、第１態様〜第８態様の何れかの態様に係る出力装置において、前記プロセッサは、特徴語から説明テキストの内容を推定した推定文を出力する推定モデルを用いて、前記入力語から推定される前記推定文を出力する。

第１０態様に係る出力装置は、第９態様に係る出力装置において、前記プロセッサは、ユーザから受け付けた前記入力語毎に前記推定文を出力し、各々の前記推定文の中からユーザが選択した前記推定文に対応した前記入力語を前記生成モデルに入力することで、前記入力語に対して生成された連想テキストを出力する。

第１１態様に係る出力装置は、第１態様〜第１０態様の何れかの態様に係る出力装置において、前記プロセッサは、前記入力語が含まれる説明テキストで用いられている語句の出現数を語句毎に集計した集計情報を参照し、前記入力語と前記入力語以外の語句の組み合わせを前記生成モデルに入力した場合に得られる各々の連想テキストに対して、前記入力語と出現数が最も多い語句の組み合わせを入力した場合に生成される基準連想テキストとの類似度を算出し、前記基準連想テキストとの類似度を用いて、ユーザから受け付けた前記入力語に関連した関連語を選択する。

第１２態様に係る出力装置は、第１１態様に係る出力装置において、前記プロセッサは、基準連想テキストとの類似度が低い方から順に予め定めた数の連想テキストを選択し、選択した連想テキストに対応した前記入力語以外の語句を関連語として出力する。

第１３態様に係る出力プログラムは、コンピュータに、物事の特徴を表した入力語を受け付け、前記物事を説明した説明テキストに基づいて抽出された特徴語と、前記物事を説明した説明テキストから生成された、前記物事から連想される連想テキストとの関連付けを学習した生成モデルに前記入力語を入力することで、前記入力語に対応する連想テキストを出力させるためのプログラムである。

第１態様、及び第１３態様によれば、物事を説明した説明テキストを受け付けた際に、その説明テキストの情報だけでは、その物事から連想される連想テキストを作成できないような場合であったとしても、連想テキストを自動で生成して出力することができる、という効果を有する。

第２態様によれば、特徴語情報の有無に関わらず、説明テキストから特徴語を抽出することができる、という効果を有する。

第３態様によれば、連想テキストの生成に与えた影響度を考慮することなく説明テキストから抽出した特徴語を用いて生成モデルの学習を行う場合と比較して、ユーザの希望に沿った連想テキストを、より少ない数の特徴語で生成することができる、という効果を有する。

第４態様によれば、別生成モデルから得られた影響度に応じて抽出された特徴語を用いて生成モデルの学習を行う場合と比較して、ユーザの希望に沿った連想テキストを生成することができる、という効果を有する。

第５態様によれば、生成モデルにおける学習結果を、説明テキストからの特徴語の抽出過程にフィードバックさせない場合と比較して、説明テキストからの特徴語の抽出精度を向上させることができる、という効果を有する。

第６態様によれば、ユーザが思いつかなかった特徴語も連想テキストの生成に用いることができる、という効果を有する。

第７態様によれば、無作為に選択した特徴語から順に生成モデルに入力して連想テキストを生成する場合と比較して、生成モデルの学習効果が向上する、という効果を有する。

第８態様によれば、無作為に選択した特徴語から順に生成モデルに入力する場合と比較して、生成モデルの学習に要する時間を短縮することができる、という効果を有する。

第９態様によれば、生成モデルの学習状況を確認することができる、という効果を有する。

第１０態様によれば、ユーザの希望に沿った連想テキストが得られるような入力語の組み合わせを推定文から選択することができる、という効果を有する。

第１１態様によれば、ユーザが生成モデルに入力した入力語に対して、表現の異なる複数の連想テキストを出力することができる、という効果を有する。

第１２態様によれば、同じ物事に対して、できるだけ表現の異なる複数の連想テキストを出力することができる、という効果を有する。

出力装置の機能構成例を示す図である。 出力装置における電気系統の要部構成例を示す図である。 学習処理の流れの一例を示すフローチャートである。 単語毎の影響度を利用して説明テキストから特徴語を抽出する抽出モデルを説明する説明図である。 教師なしの特徴語抽出手法を適用して、説明テキストから特徴語を抽出した例を示す図である。 特徴語の分散表現とキャッチコピーの関連付けを学習する例を示す図である。 重み付けされた特徴語の分散表現とキャッチコピーの関連付けを学習する例を示す図である。 出力処理の流れの一例を示すフローチャートである。 類似したユーザ単語が入力された場合の入力画面の一例を示す図である。 キャッチコピーの生成に影響を与えないユーザ単語が入力された場合の入力画面の一例を示す図である。 ユーザ単語に非抽出単語が含まれる場合の入力画面の一例を示す図である。 キャッチコピーの注目度を出力する出力画面の一例を示す図である。 ユーザにキャッチコピーの修正を促す出力画面の一例を示す図である。

以下、本実施の形態について図面を参照しながら説明する。なお、同じ構成要素及び同じ処理には全図面を通して同じ符合を付与し、重複する説明を省略する。

図１は、本実施の形態に係る出力装置１０の機能構成例を示す図である。出力装置１０は、データ蓄積部１１、抽出部１２、生成部１３、学習部１４、入力部１５、及び出力部１６の各機能部を備え、学習部１４は学習の対象となる生成モデル１７を備える。

データ蓄積部１１は、物事を説明するテキストである説明テキストと、説明テキストで説明された物事から連想されるテキストである連想テキストを関連付けたデータ（以降、「ペアデータ」という）を蓄積する。

説明テキストとは、物事の状況または特徴を説明した文または単語である。例えばＡ寺の説明テキストとして、「Ａ寺は７９０年に建立された寺院である。昭和２５年に焼失し、その後、昭和６０年に再建された。秋には園内のメイン通りにあるおよそ３００本の楓が紅葉し、人々を魅了している。」というような文が用いられる。

連想テキストとは、説明テキストから連想される文または単語のことである。関連する説明テキストから連想されるテキストであれば連想テキストの文字数に制約はなく、関連する説明テキストの文字数より多くなっても少なくなってもよい。以降では、連想テキストの一例として、説明テキストで表された物事のキャッチコピーが説明テキストに関連付けられ、説明テキストと一緒にデータ蓄積部１１に蓄積されている例について説明する。

キャッチコピーとは、連想テキストの一例であり、物事の存在をユーザに印象付けるため、人目を引く表現を用いて物事の特徴をまとめた文または単語である。例えば上述したＡ寺の説明テキストに対して、「タイムスリップしたかのよう！歴史感じるＡ寺で紅葉を楽しもう！」というような文が説明テキストで説明される物事のキャッチコピーとなる。

こうしたキャッチコピーはユーザが説明テキストから考えて作成してもよいが、ユーザが作成した説明テキストを入力すれば、入力した説明テキストに関連したキャッチコピーを自動的に生成する図示しない生成装置を用いてもよい。当該図示しない生成装置には、説明テキストからキャッチコピーを生成するモデルが含まれるが、説明の便宜上、説明テキストからキャッチコピーを生成する図示しない生成装置に含まれるモデルを出力装置１０における生成モデル１７と区別するため、別生成モデル１９ということにする。

抽出部１２は、データ蓄積部１１に蓄積されている各々のペアデータから説明テキストを取得し、取得した説明テキストから特徴語を抽出する。特徴語とは、説明テキストで説明される物事の特徴を、説明テキストに含まれる他の語句よりも明確に表している語句のことをいう。語句には文を構成する最小単位である単語、及び文を意味のわかる範囲で区切った単位である文節、文字で区切ったもの、サブワード（例えば、英語だとpreやtionなどの単位で区切ったもの）が含まれる。したがって、抽出部１２は特徴語を文節単位で抽出してもよいが、ここでは単語単位で抽出する例について説明する。

生成部１３は、抽出部１２で抽出された特徴語と、特徴語の抽出元である説明テキストに関連付けられたキャッチコピーとを関連付けて、生成モデル１７の学習データを生成する。生成部１３は、生成した学習データをデータ蓄積部１１に蓄積する。この場合、生成部１３は、生成した学習データと、学習データに含まれる特徴語の抽出元となった説明テキストが含まれるペアデータとを更に関連付けてデータ蓄積部１１に蓄積してもよい。

学習部１４は、生成部１３が生成した各々の学習データを用いて、生成モデル１７に特徴語とキャッチコピーとの関連付けを学習させる。生成モデル１７は例えばニューラルネットワークで構築されており、特徴語を入力とし、入力される特徴語と関連付けられたキャッチコピーを教師データとする機械学習を繰り返し実行することで、生成モデル１７から出力されるキャッチコピーと、教師データであるキャッチコピーとの誤差が小さくなるように学習が行われる。

入力部１５は、出力装置１０を用いてキャッチコピーを生成したいユーザからの情報を受け付ける。具体的には、入力部１５は、ユーザがキャッチコピーの生成対象としている物事の特徴を表した単語を受け付ける。ユーザは、キャッチコピーの生成対象としている物事の特徴を複数の単語で表してもよい。以降では、ユーザが入力部１５に入力した少なくとも１つ以上の単語をユーザ単語ということにする。ユーザ単語は本実施の形態に係る入力語の一例である。

なお、抽出部１２が特徴語を文節単位で抽出し、学習部１４が文節単位の特徴語とキャッチコピーとの関連付けを生成モデル１７に学習させている場合、入力部１５はユーザから文節単位の入力語を受け付けるようにしてもよい。

入力部１５で受け付けたユーザ単語は生成モデル１７に入力され、入力されたユーザ単語に対して生成モデル１７で生成されたキャッチコピーが出力部１６に通知される。

出力部１６は、生成モデル１７から受け付けたキャッチコピーをユーザが認識できる形式に変換して出力する。具体的には、出力部１６は、例えばキャッチコピーを画面に表示する形態、音声で通知する形態、用紙等の記録媒体に文字として印字する形態、及びユーザが読み出し可能な記憶媒体に記憶する形態の少なくとも１つの形態を用いて出力する。

次に、出力装置１０における電気系統の要部構成例について説明する。

図２は、出力装置１０における電気系統の要部構成例を示す図である。出力装置１０は例えばコンピュータ２０を用いて構成される。

コンピュータ２０は、図１に示した出力装置１０に係る各機能部を担うプロセッサの一例であるＣＰＵ(Central Processing Unit)２１、コンピュータ２０を図１に示した各機能部として機能させる出力プログラムを記憶するＲＯＭ(Read Only Memory)２２、ＣＰＵ２１の一時的な作業領域として使用されるＲＡＭ(Random Access Memory)２３、不揮発性メモリ２４、及び入出力インターフェース(Ｉ／Ｏ)２５を備える。そして、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、不揮発性メモリ２４、及びＩ／Ｏ２５がバス２６を介して各々接続されている。

不揮発性メモリ２４は、不揮発性メモリ２４に供給される電力が遮断されても、記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ２４は、必ずしもコンピュータ２０に内蔵されている必要はなく、例えばメモリカードやＵＳＢ(Universal Serial Bus)メモリのようにコンピュータ２０に着脱される可搬型の記憶装置であってもよい。データ蓄積部１１は、例えば不揮発性メモリ２４に構築される。

一方、Ｉ／Ｏ２５には、例えば通信ユニット２７、入力ユニット２８、及び出力ユニット２９が接続される。

通信ユニット２７は図示しない通信回線に接続され、図示しない通信回線に接続される外部装置との間でデータ通信を行う通信プロトコルを備える。

入力ユニット２８は、ユーザからの指示を受け付けてＣＰＵ２１に通知する装置であり、例えばボタン、タッチパネル、キーボード、及びマウス等が用いられる。指示が音声で行われる場合、入力ユニット２８としてマイクが用いられることがある。

出力ユニット２９は、ＣＰＵ２１によって処理された情報を出力する装置であり、ユーザの希望する出力形態に応じて、例えば液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ、プロジェクタ、プリンタ、スピーカー等が用いられる。

なお、Ｉ／Ｏ２５に接続されるユニットは図２に示した各ユニットに限定されず、必要に応じて外部記憶ユニットといった他のユニットを接続してもよい。

次に、出力装置１０の動作について説明する。

図３は、出力装置１０のＣＰＵ２１によって実行される学習処理の流れの一例を示すフローチャートである。学習処理を規定する出力プログラムは、例えば出力装置１０のＲＯＭ２２に予め記憶されている。出力装置１０のＣＰＵ２１は、ＲＯＭ２２に記憶される出力プログラムを読み込み、学習処理を実行する。ＣＰＵ２１は、図３に示す学習処理を何れのタイミングで実行してもよいが、一例として、ユーザから生成モデル１７の学習指示を受け付けた場合に実行するものとする。

ステップＳ１０において、ＣＰＵ２１は不揮発性メモリ２４に記憶されているペアデータの中から、何れか１つのペアデータを選択する。

ステップＳ２０において、ＣＰＵ２１は、ステップＳ１０で選択したペアデータから説明テキストを取得する。

ステップＳ３０において、ＣＰＵ２１は、ステップＳ２０で取得した説明テキストから特徴語を抽出する。説明テキストから特徴語を抽出する抽出モデル１８には様々なモデルが存在する。

説明テキストからキャッチコピーを生成する別生成モデル１９の学習の過程で生成された情報であって、説明テキストにおける特徴語を規定した特徴語情報が存在する場合、ＣＰＵ２１は、特徴語情報を参照して説明テキストから特徴語を抽出すればよい。

例えば別生成モデル１９がアテンション機構を備えている場合、別生成モデル１９に入力した説明テキストに含まれる単語毎に、単語がキャッチコピーの生成に与えた影響度が出力される。キャッチコピーの生成に与える影響度が高い単語ほど、物事の特徴を表している単語であり、重要な単語と考えられることから、ＣＰＵ２１は説明テキストに含まれる単語のうち、キャッチコピーの生成に与える影響度が高い単語から順に抽出した単語を特徴語とすればよい。すなわち、アテンション機構を備える別生成モデル１９が出力する単語毎の影響度は特徴語情報の一例であり、説明テキストにおける単語の重要度を表している。

説明テキストから抽出する特徴語の数に制約はないが、ＣＰＵ２１は、例えば影響度が予め定めた基準影響度以上となる単語を特徴語として抽出すればよい。また、ＣＰＵ２１は、抽出する特徴語の数を予め指定した数に制限し、影響度が高い方の単語から順に、指定した数以下の単語を特徴語として抽出すればよい。基準影響度及び抽出する単語の数は、入力ユニット２８を通じてユーザにより設定される。

別生成モデル１９は出力装置１０以外の装置である図示しない生成装置に構築しても、出力装置１０に構築してもよい。

図４は、アテンション機構を備える別生成モデル１９が出力する単語毎の影響度を利用して、説明テキストから特徴語を抽出する抽出モデル１８を説明する説明図である。例えば説明テキストから得られた単語の影響度が図４に示すような値を示す場合において、影響度が基準影響度以上となる単語が「紅葉」及び「寺院」であったとすれば、ＣＰＵ２１は、説明テキストから「紅葉」及び「寺院」を特徴語として抽出する。

一方、別生成モデル１９が、アテンション機構のようにキャッチコピーに対する単語の影響度を出力するような構成を有していない場合や、そもそも説明テキストからキャッチコピーを生成する別生成モデル１９が存在しないような場合には、ＣＰＵ２１は、説明テキストの内容から、説明テキストに含まれる各単語の重要度を算出し、単語の重要度に応じて特徴語を抽出すればよい。

具体的には、説明テキストに現れる頻度が高い単語ほど重要な単語であり、多くの説明テキストに使用されている単語ほど汎用的な単語と考えられるため説明テキストの特徴を表す重要な単語ではないという考えに基づき、説明テキスト内の単語毎に重要度を算出するtf-idf(Term Frequency-Inverse Document Frequency)を用いて、ＣＰＵ２１は例えば予め定めた基準重要度以上となる単語を特徴語として抽出すればよい。また、ＣＰＵ２１は説明テキストにおける単語の係り具合から、説明テキストを、各単語をノードとするグラフ構造で表した上で、説明テキストから重要な単語を抽出するTextRank等の公知の手法を用いて、説明テキストから特徴語を抽出してもよい。

アテンション機構を備える別生成モデル１９のようにペアデータを用いて説明テキストから特徴語を抽出するのではなく、説明テキストだけから特徴語を抽出する手法を、「教師なしの特徴語抽出手法」ということがある。tf-idf及びTextRankは教師なしの特徴語抽出手法の一例である。

図５は、教師なしの特徴語抽出手法を抽出モデル１８に適用して、説明テキストから特徴語を抽出した例を示す図である。図５は、例示した説明テキストから重要度が基準重要度以上となる「紅葉」及び「寺院」が特徴語として抽出される様子を示している。

また、ＣＰＵ２１は、特徴語の候補として説明テキストから抽出した単語を生成モデル１７に入力し、生成モデル１７から出力されたキャッチコピーと、単語の抽出元となった説明テキストに予め関連付けられているキャッチコピーとの誤差を表す損失が小さくなるような単語の組み合わせの各々を特徴語としてもよい。生成モデル１７における損失は、入力する単語に対して、単語の抽出元となった説明テキストに予め対応付けられているキャッチコピーを出力しようする生成モデル１７の学習の過程で得られる値である。例えば双方向の文脈情報を捉えて、説明テキストに含まれる単語毎の重要度を出力するBi-LSTM-CRF(Bidirection Long-Short Term Memory-Conditional Random Field)に、生成モデル１７で得られた損失をフィードバックして、単語毎の重要度を出力させるような抽出モデル１８が考えられる。

また、説明テキストの特徴を中間表現に変換した後、中間表現に符号化された説明テキストとアテンションに基づいて説明テキストの特徴語を出力するようなリカレントニューラルネットワークを用いたエンコーダ・デコーダモデルに、生成モデル１７で得られた損失をフィードバックして、単語毎の重要度を出力させるような抽出モデル１８が考えられる。

こうした特徴語の抽出を行った場合、説明テキストからの特徴語の抽出と、生成モデル１７の学習が同時に行われることになり、特徴語の抽出と生成モデル１７の学習を分離して行うよりも学習処理の効率が向上することになる。

なお、抽出モデル１８にBi-LSTM-CRFを用いた場合には、説明テキストに含まれる単語毎に重要度が出力されるため、特徴語が説明テキストに含まれる単語の中から抽出される。一方、抽出モデル１８にデコーダが含まれている場合には、デコーダ自体が辞書を備え、辞書の中から中間表現に符号化された説明テキスト及びアテンションに対応した適切な単語を出力するため、説明テキストに含まれない単語も特徴語として抽出されることがある。すなわち、説明テキストに含まれる単語、及び説明テキストに含まれない単語の組み合わせが特徴語として抽出されることがある。

また、ユーザがキャッチコピーを生成したいと考えている物事に関して、例えばインターネット上のブログやソーシャルネットワーキングサービス(Social Networking Service:SNS)等に説明テキスト（以降、「外部の説明テキスト」という）が存在する場合がある。したがって、ＣＰＵ２１は、ステップＳ２０で取得した説明テキストで説明されている物事と同じ物事を説明している外部の説明テキストや、ステップＳ２０で取得した説明テキストと内容が類似する外部の説明テキストを通信ユニット２７経由で取得し、教師なしの特徴語抽出手法を用いて外部の説明テキストから特徴語を抽出するようにしてもよい。ＣＰＵ２１は、例えばユーザがURL(Uniform Resource Locator)で指示した外部の説明テキストを、ステップＳ２０で取得した説明テキストと内容が類似する外部の説明テキストとすればよいが、文章の類似度を評価する公知の評価手法を用いてユーザが指示しなくても自律的に外部の説明テキストを検索して特徴語を抽出するようにしてもよい。

特にSNSに投稿された外部の説明テキストには説明テキストの検索性を高めるため、例えば単語の先頭にハッシュタグ“#”のような記号が付与された記号付き単語が用いられることがある。記号付き単語は、外部の説明テキストを生成したユーザが重要と考えている単語であることが多い。したがって、ＣＰＵ２１は、記号付き単語の中から特徴語を抽出するようにすれば、外部の説明テキストに含まれる単語全体を特徴語の候補とする場合と比較して、効率よく特徴語の抽出が完了することになる。

ＣＰＵ２１は、ステップＳ２０で取得した説明テキストだけから特徴語を抽出する形態だけでなく、外部の説明テキストから抽出した特徴語だけを特徴語としてもよい。また、ＣＰＵ２１は、ステップＳ２０で取得した説明テキストから抽出した特徴語に外部の説明テキストから抽出した特徴語の少なくとも１つを加えるようにしてもよい。

図３のステップＳ４０において、ＣＰＵ２１は、ステップＳ３０で抽出した特徴語と、特徴語の抽出元となった説明テキストに予め関連付けられているキャッチコピーとを関連付け、生成モデル１７の学習データを生成する。この場合、ＣＰＵ２１は、生成した学習データと、学習データに含まれる特徴語の抽出元となった説明テキストを含むペアデータとを対応付けて、例えば不揮発性メモリ２４に記憶する。

なお、ＣＰＵ２１は、説明テキストから抽出する特徴語の数を変えた特徴語の集合を複数生成し、各々の特徴語の集合に対して、特徴語の抽出元となった説明テキストに予め関連付けられているキャッチコピーを関連付けて生成モデル１７の学習データを生成してもよい。このようにすることで、１つのペアデータから様々な特徴語の組み合わせを反映した複数の学習データが得られることになる。

また、ＣＰＵ２１は、説明テキストから抽出した特徴語をそのまま学習データに使用するのではなく、抽出した特徴語の中から、学習データに用いる特徴語を更に選択してもよい。特徴語の選択の方法に制約はなく、例えば無作為に選択してもよい。この場合も特徴語の選択方法により、１つのペアデータから、様々な特徴語の組み合わせを反映した複数の学習データが得られることになる。

ステップＳ５０において、ＣＰＵ２１は、不揮発性メモリ２４に記憶されているペアデータの中に、まだステップＳ１０で選択していない未選択のペアデータが存在するか否かを判定する。未選択のペアデータが存在する場合にはステップＳ１０に移行して、ＣＰＵ２１は、ステップＳ１０で未選択のペアデータの中から何れか１つのペアデータを選択する。ステップＳ５０の判定処理で未選択のペアデータが存在しないと判定されるまで、ステップＳ１０〜ステップＳ５０の処理を繰り返し実行することで、各々のペアデータに対して、特徴語とキャッチコピーとが関連付けられた学習データが生成されることになる。

一方、ステップＳ５０の判定処理で未選択のペアデータが存在しないと判定された場合には、ステップＳ６０に移行する。

ステップＳ６０において、ＣＰＵ２１は、生成された各々の学習データを用いて、入力された特徴語に対して、特徴語と関連付けられたキャッチコピーが出力されるように生成モデル１７を学習する。これにより、ユーザがキャッチコピーを生成したいと考えている物事の特徴を表していると思われるユーザ単語を入力すれば、入力されたユーザ単語からキャッチコピーを生成する生成モデル１７が得られることになる。

なお、生成モデル１７の学習に関しては様々な手法が適用される。例えば生成モデル１７がデコーダを含む場合、各々の特徴語における分散表現の平均を生成モデル１７に入力することで、生成モデル１７の学習を行えばよい。

ここで、特徴語を含む単語の分散表現とは、単語を予め定めた次元の実数値ベクトルとして表したものであり、特徴語を予め定めた次元に圧縮して表現する中間表現の一例である。単語の分散表現は、例えば生成モデル１７に含まれる埋め込み層(embedding層)の出力として得られる。生成モデル１７に学習させる学習データが多いほど、生成モデル１７の学習過程の中で様々な単語の分散表現が得られることになるため、ＣＰＵ２１は特徴語の分散表現として、生成モデル１７のある時点における学習済みの分散表現を用いればよい。また、単語の分散表現は生成モデル１７の学習毎に更新されるため、ＣＰＵ２１は最新の分散表現を用いてもよい。更に、ＣＰＵ２１は、学習済みの生成モデル１７に新たな学習データを追加して学習し直す毎に、各々の単語の分散表現における初期値を無作為に設定し、最初から学習し直した分散表現を用いてもよい。

図６は、デコーダを含む生成モデル１７に、「紅葉」及び「寺院」という２つの特徴語を入力する際の状況を示した図である。「紅葉」及び「寺院」は分散表現の平均として生成モデル１７に入力され、入力された特徴語と関連付けられたキャッチコピー（図６の例では、「タイムスリップしたかのよう！歴史感じるＡ寺で紅葉を楽しもう！」がキャッチコピーである）を出力するように生成モデル１７の学習が行われる。

この際、ＣＰＵ２１は、各々の特徴語の分散表現に重み付けを行った上で、重み付けが行われた各々の特徴語における分散表現の平均を生成モデル１７に入力し、生成モデル１７の学習を行うようにしてもよい。特徴語の分散表現に重み付けを行うことで、キャッチコピーと特徴語との関連度合いが調整される。したがって、例えば特定の特徴語が含まれると、他にどのような特徴語が入力されようとも同じような文脈のキャッチコピーが生成されるような、特定の特徴語に過度に反応するように学習された生成モデル１７の構築が抑制される。

図７は、デコーダを含む生成モデル１７に、それぞれ重み付けを行った「紅葉」及び「寺院」という２つの特徴語を入力する際の状況を示した図である。重みＷ１が「紅葉」の重みであり、重みＷ２が「寺院」の重みである。それぞれ重みＷ１及び重みＷ２で重み付けされた「紅葉」及び「寺院」は分散表現の平均として生成モデル１７に入力され、入力された特徴語と関連付けられたキャッチコピーを出力するように生成モデル１７の学習が行われる。

ＣＰＵ２１は、例えば特徴語の抽出元となった説明テキストにtf-idfを適用して得られた特徴語の重要度や、アテンション機構を備える別生成モデル１９が出力した特徴語の影響度を特徴語の重みとして用いる。

生成モデル１７に入力する特徴語の入力順に制約はないが、特徴語の入力順に関して何らかの規則を持たせた方が、生成モデル１７の学習に要する時間が短縮したり、ユーザの希望に沿ったキャッチコピーが生成されやすくなったりして、生成モデル１７の学習効果が向上することがある。したがって、ＣＰＵ２１は、特徴語の重要度、または生成モデル１７で生成されるキャッチコピーに与える特徴語の影響度に応じて、生成モデル１７に入力する特徴語の入力順を決定してもよい。具体的には、ＣＰＵ２１は、重要度の高い特徴語、または生成モデル１７で生成されるキャッチコピーに与える影響度の大きい特徴語から順に選択して生成モデル１７に入力する。

なお、生成モデル１７に入力される特徴語の数が変われば、特徴語毎の重要度も変化することがある。一方、特徴語を分散表現で生成モデル１７に入力した場合、各々の特徴語の分散表現が平均化されて生成モデル１７に入力されるため、生成モデル１７に入力された特徴語の数は不明となる。

したがって、ＣＰＵ２１は、特徴語と一緒に、生成モデル１７に入力する特徴語の数も生成モデル１７に入力して生成モデル１７の学習を行ってもよい。ＣＰＵ２１は、入力された特徴語の数も生成モデル１７が生成するキャッチコピーの内容に影響を与える学習パラメータとして利用することができるため、入力された特徴語の数を生成モデル１７に入力せずに学習を行った場合の生成モデル１７と比較して、学習後の生成モデル１７の構造が変化し、ユーザ単語からユーザの希望に沿ったキャッチコピーを生成しやすい構造を有する生成モデル１７が得られることがある。

また、ＣＰＵ２１は、学習データを用いて生成モデル１７の学習を行う場合、上述したように、同じペアデータから様々な特徴語の組み合わせを反映した複数の学習データを用いて生成モデル１７の学習を行うことが好ましい。この場合においても、特徴語とキャッチコピーとの関連付けが固定化されないようになるため、ペアデータと１対１に対応する学習データだけから学習を行った場合の生成モデル１７と比較して、学習後の生成モデル１７の構造が変化し、ユーザ単語からユーザの希望に沿ったキャッチコピーを生成しやすい構造を有する生成モデル１７が得られることがある。

また、ＣＰＵ２１は、例えば単語の重要度やキャッチコピーに与える影響度を考慮して説明テキストから抽出した特徴語の中に、説明テキストから無作為に抽出した予め定めた数の単語を加えて生成した学習データを用いて、生成モデル１７の学習を行うようにしてもよい。説明テキストから無作為に抽出した単語が必ずしも説明テキストの特徴を表している単語であるという保証はないが、無作為に抽出した単語を含む学習データを用いて生成モデル１７の学習を行った場合、特徴語の組み合わせが変化するため、生成モデル１７が特定の特徴語に過度に反応するように学習されにくくなる。したがって、後述するように、どのようなユーザ単語の組み合わせを生成モデル１７に入力しても、入力された特定のユーザ単語に過度に反応して、生成されるキャッチコピーの内容が変化しなくなるような生成モデル１７が構築されにくくなる。

上記では、特徴語の分散表現の平均を生成モデル１７に入力して生成モデル１７の学習を行う例について説明したが、例えばLSTM(Long short-time memory)やGRU(Gated Recurrent Unit)を用いて構成した、分散表現を処理する機構であるエンコーダの出力を生成モデル１７に入力して、生成モデル１７の学習を行うようにしてもよい。

このようにして学習を行った生成モデル１７に対して、ユーザがキャッチコピーを生成したいと考えている物事の特徴を表す単語、すなわち、ユーザ単語を入力することで、ユーザ単語から連想されるキャッチコピーが生成されることになる。

図８は、図３に示す学習処理により学習が行われた生成モデル１７に対して、ユーザがユーザ単語を入力した場合に、出力装置１０のＣＰＵ２１によって実行される出力処理の流れの一例を示すフローチャートである。出力処理を規定する出力プログラムは、例えば出力装置１０のＲＯＭ２２に予め記憶されている。出力装置１０のＣＰＵ２１は、ＲＯＭ２２に記憶される出力プログラムを読み込み、出力処理を実行する。

ステップＳ１００において、ＣＰＵ２１は、入力ユニット２８から受け付けたユーザ単語を、学習済みの生成モデル１７に入力する。これにより、生成モデル１７に入力されたユーザ単語に対応したキャッチコピーが生成されることになる。

この場合、ＣＰＵ２１は、受け付けたユーザ単語を生成モデル１７に入力する前に、ユーザから受け付けたユーザ単語と異なる単語であって、ユーザ単語と関連する単語である関連単語を出力するようにしてもよい。関連単語は、本実施の形態に係る関連語の一例である。

具体的には、ＣＰＵ２１は、図３に示した学習処理のステップＳ４０で生成した学習データに含まれる特徴語から、例えば無作為に選択した少なくとも１つの特徴語を取り除いて、残りの特徴語と取り除いた特徴語を関連付けた学習データを生成する。そして、当該学習データを用いて、残りの特徴語から取り除いた特徴語を推定するような推定モデル（「特徴語推定モデル」という）の学習を行う。その上でＣＰＵ２１は、学習が行われた特徴語推定モデルにユーザ単語を入力し、特徴語推定モデルから出力される単語をユーザ単語と関連する関連単語として取得する。ＣＰＵ２１は出力ユニット２９を制御して出力された関連単語を例えば液晶ディスプレイに表示する。ユーザは自分では気づかなかった物事の特徴を表す関連単語が出力装置１０から提示されるため、提示された関連情報をユーザ単語に含めて、再度出力装置１０に入力すればよい。また、ＣＰＵ２１は、ユーザの指示がなくとも、受け付けたユーザ単語に関連単語を組み合わせて生成モデル１７に入力してキャッチコピーを生成してもよい。これにより、当初入力したユーザ単語から生成されるキャッチコピーよりも、ユーザの希望に沿ったキャッチコピーが生成されるようになることがある。なお、ＣＰＵ２１は、ユーザの指示なしに関連単語をユーザ単語に付け加えてキャッチコピーを生成した場合には、キャッチコピーと共に付け加えた関連単語を出力するようにする。関連単語が複数存在する場合には、ＣＰＵ２１は、例えば関連単語のすべての組み合わせ毎にユーザ単語と組み合わせ、各々の組み合わせ毎に生成モデル１７で生成したキャッチコピーを出力してもよい。

また、ＣＰＵ２１は、例えば入力されたユーザ単語が含まれるような説明テキストを参照し、説明テキストで共に用いられているユーザ単語以外の単語、すなわち、共起単語を関連単語として出力するようにしてもよい。

具体的には、ＣＰＵ２１は、ペアデータとして不揮発性メモリ２４に記憶されている説明テキスト毎に、説明テキストで用いられている単語毎の出現数を集計した集計情報を予め作成して不揮発性メモリ２４に記憶しておき、ユーザ単語を受け付けた場合に集計情報を参照して、例えばユーザ単語が含まれる説明テキストで出現数が最も多い共起単語、または、出現数が多い方から予め定めた数の共起単語を関連単語として出力する。

ＣＰＵ２１は、共起単語を関連単語として出力する場合、共起単語の出現数ではなく、ユーザ単語の分散表現との距離に着目して関連単語として出力する共起単語を選択してもよい。例えば、ＣＰＵ２１は、共起単語の分散表現とユーザ単語の分散表現を比較し、ユーザ単語の分散表現との距離が遠い方から予め定めた数の共起単語を関連単語として選択する。分散表現の距離は、例えばコサイン距離等によって表される。

このように分散表現の距離がユーザ単語から遠い共起単語を関連単語とすることで、類似する単語ばかりがユーザ単語として選ばれることを抑制する。例えばユーザ単語が「安い」であった場合に、「安い」と類似した「低価格」という関連単語をユーザ単語に加えたとしても、ユーザ単語に関連単語を加える前と後でそれぞれ生成されるキャッチコピーは同じような内容となる。しかし、「安い」に対して「笑顔」という別の観点の関連単語が加えられることで、ユーザ単語に関連単語を加える前と後でそれぞれ生成されるキャッチコピーが変化する傾向を示すことになり、生成モデル１７で生成されるキャッチコピーの表現に幅が出る。

また、ＣＰＵ２１は、ユーザ単語に対して関連単語が複数得られた場合、すべての関連単語をユーザ単語と共に生成モデル１７に入力して１つのキャッチコピーを生成してもよいが、例えばユーザ単語に組み合わせる関連単語を変えて、複数のキャッチコピーを生成してもよい。このように、複数のキャッチコピーを生成する場合、生成されるすべてのキャッチコピーが、例えば価格の安さを強調するといった物事の特定の特徴を表すよりも、価格の安さを強調するキャッチコピーも品質の良さを強調するキャッチコピーも生成されるというように、物事を異なる観点で表したキャッチコピーが生成された方が、ユーザによるキャッチコピーの選択の幅が広がり、ユーザの希望に沿ったキャッチコピーが得られやすくなる。

したがって、例えばＣＰＵ２１は、ユーザ単語に組み合わせる関連単語を変えながら、生成モデル１７で各々の組み合わせに対するキャッチコピーの候補を一旦生成する。その上で、ＣＰＵ２１は、生成したキャッチコピーの候補同士のすべての組み合わせについて類似度を算出し、類似度が最も低くなるキャッチコピーの組み合わせから順に予め定めた数の組み合わせを選択して、最終的なキャッチコピーとして出力してもよい。

また、ＣＰＵ２１は、例えばキャッチコピーのようなテキストの要約を評価する場合に使用されるROUGEスコアをキャッチコピーの候補毎に推定し、ROUGEスコアの高いから予め定めた数のキャッチコピーの候補を最終的なキャッチコピーとして出力してもよい。ROUGEスコアは、既存のキャッチコピーと、生成モデル１７が生成したキャッチコピーとの類似度を測る公知の指標である。ROUGEスコアが大きいほど、生成モデル１７で生成されたキャッチコピーは既存のキャッチコピーの何れかに類似していることを表していることから、文の構造がキャッチコピーらしい表現になっていることを表しており、換言すれば、キャッチコピーの完成度が高いことを表している。

すなわち、キャッチコピーの完成度とは、生成モデル１７で生成されたキャッチコピーの表現が、例えば新聞やウェブページ等に公開されている既存のキャッチコピーに用いられている表現にどの程度類似しているかによって表される。例えばキャッチコピーには「紅葉が美しいです。」というように主語及び述語を明確に表した説明テキストのような表現よりも、「忘れられない紅葉。」というように体言止め等の手法を用いたり、辞書に載っていないような一般的には使用されていない造語を用いたりといった、人の記憶に残りやすい表現が用いられる傾向がある。ROUGEスコアはこうしたキャッチコピーの完成度を評価する指標値の一例である。

ＣＰＵ２１は、既存のキャッチコピーと、当該キャッチコピーのROUGEスコアとの対応付けを学習データとして機械学習した完成度推定モデルに、ユーザ単語を用いて生成モデル１７で生成したキャッチコピーを入力して、ユーザ単語から生成されたキャッチコピーの完成度を取得する。

取得したキャッチコピーの完成度が予め定めた値以下の場合には、生成モデル１７で生成されたキャッチコピーには、キャッチコピーらしくない表現が含まれることになる。例えば生成モデル１７に入力されるユーザ単語の数が少ない場合に、生成モデル１７でキャッチコピーらしくない表現を含むキャッチコピーが生成される傾向がある。したがって、ＣＰＵ２１は、生成モデル１７で生成したキャッチコピーの完成度が予め定めた値以下である場合には、入力したユーザ単語の数が不足していることをユーザに通知してもよい。

また、例えばＣＰＵ２１は、ユーザ単語に組み合わせる関連単語を変えながら、生成モデル１７で各々の組み合わせに対するキャッチコピーの候補を一旦生成する。その上で、ＣＰＵ２１は、ユーザ単語が含まれる説明テキストで用いられている単語毎の出現数を集計した集計情報を参照し、関連単語の中でも出現数が最も多い関連単語とユーザ単語の組み合わせに対して生成されたキャッチコピーの候補である代表キャッチコピーを特定する。ＣＰＵ２１は、代表キャッチコピー以外のキャッチコピーの各候補と代表キャッチコピーとの類似度を算出し、代表キャッチコピーとの類似度が最も低くなるキャッチコピーの候補から順に予め定めた数のキャッチコピーの候補を選択して、代表キャッチコピーと共に最終的なキャッチコピーとして出力してもよい。代表キャッチコピーは、本実施の形態に係る基準連想テキストの一例である。

すなわち、ＣＰＵ２１は複数の関連単語のうち、ユーザ単語に加えることで、生成モデル１７で生成されるお互いのキャッチコピーの類似度ができるだけ低くなるような関連単語を選択する。こうした関連単語の選択は、例えば生成モデル１７に入力する単語の数に制限が設けられているような場合にも有効である。

なお、ユーザ単語に付け加えることで類似度が予め定めた類似度より低くなるようなキャッチコピーが得られる関連単語は、受け付けたユーザ単語に対する多くの関連単語の中でもキャッチコピーの表現に変化を与えやすい関連単語であると言える。したがって、ＣＰＵ２１は、受け付けたユーザ単語に対して、当該関連単語が出力されるように特徴語推定モデルを学習すれば、表現が似通っていない多様なキャッチコピーを生成するための関連単語が特徴語推定モデルから得られることになる。

ＣＰＵ２１は、ユーザ単語だけから生成されたキャッチコピーと、関連単語のすべての組み合わせ毎に関連単語の組み合わせをユーザ単語に付け加えて生成された各々のキャッチコピーとの類似度を算出し、類似度が最も低いキャッチコピーの生成に用いられた関連単語を特定する。その上で、ＣＰＵ２１は、受け付けたユーザ単語に対して特定した関連単語が出力されるように特徴語推定モデルを学習するようにしてもよい。

なお、キャッチコピーの類似度は、テキストの類似度を算出する既存の手法が適用される。例えばＣＰＵ２１はキャッチコピーを分散表現で表し、分散表現のコサイン距離を測定することでキャッチコピーの類似度を算出する。

更に、ＣＰＵ２１は、例えば単語毎に上位概念にあたる単語、及び下位概念にあたる単語を規定した類似語辞書を参照して、ユーザ単語の上位概念にあたる単語、及びユーザ単語の下位概念にあたる単語の少なくとも一方を関連単語として出力してもよい。ＣＰＵ２１は、例えばWordNetのようにインターネット上で提供される類似語辞書を用いても、不揮発性メモリ２４に記憶される独自の類似語辞書を用いてもよい。

ステップＳ１１０において、ＣＰＵ２１は生成モデル１７で生成したキャッチコピーの中から、ユーザまたはＣＰＵ２１が選択した少なくとも１つのキャッチコピーを取得する。

ステップＳ１２０において、ＣＰＵ２１は出力ユニット２９を制御して、ステップＳ１１０で取得したキャッチコピーを出力して、図８に示す出力処理を終了する。

出力装置１０が生成モデル１７の他、例えば説明テキストから抽出した特徴語と当該特徴語の抽出元となった説明テキストとを関連付けた学習データを用いて、特徴語から説明テキストの内容を推定する推定モデル（「説明テキスト推定モデル」という）を備えている場合、ＣＰＵ２１は出力ユニット２９を制御して、説明テキスト推定モデルにユーザ単語を入力することで得られる説明テキストをキャッチコピーと共に出力してもよい。

出力された説明テキストの内容がキャッチコピーの生成対象となる物事を正しく表していれば、そうした説明テキストと共に出力されているキャッチコピーは信頼できるキャッチコピーということになる。したがって、複数のキャッチコピーが出力されている場合、説明テキスト推定モデルで推定した説明テキストはキャッチコピーを選択する上で有益な情報となる。

一方、入力したユーザ単語に対して出力装置１０が説明テキスト推定モデルを用いて推定した説明テキストの内容が、キャッチコピーの生成対象となる物事を正しく表していない場合には、別のユーザ単語を用いてキャッチコピーを生成した方が、ユーザの希望に沿ったキャッチコピーが生成される確率が高くなる。したがって、ＣＰＵ２１は、ユーザから推定した説明テキストの内容に問題があるとの指示を受け付けた場合、ユーザ単語を修正するようにユーザに促す通知を出力してもよい。

このように、ユーザはキャッチコピーの生成対象となる物事に対して様々なユーザ単語を思いついた場合、思いつくユーザ単語を出力装置１０に順次入力して、どのユーザ単語に対してどのようなキャッチコピーが出力されるかを確認したいことがある。一方、出力されたキャッチコピーの良し悪し（以降、「キャッチコピーの印象度」という）を判断することはユーザにとって難しい判断であり、特にユーザの希望に沿ったキャッチコピーが複数あるような場合では、キャッチコピーの印象度を表す客観的な指標があった方がユーザはキャッチコピーの選択が行いやすくなる。

したがって、ＣＰＵ２１は生成モデル１７で受け付けたユーザ単語に対応するキャッチコピーを生成する前に、受け付けたユーザ単語毎に説明テキスト推定モデルで推定した説明テキストの内容を出力する。これに対して、ユーザは、出力された説明テキストの内容からキャッチコピーの生成対象となる物事を最も正しく表している説明テキストを選択する。ＣＰＵ２１は、選択された説明テキストの推定に用いたユーザ単語を生成モデル１７に入力し、キャッチコピーを生成する。生成されたキャッチコピーは、キャッチコピーの生成対象となる物事を最も正しく表している説明テキストの生成に用いられたユーザ単語から生成されたものであるため、ユーザの希望に沿ったキャッチコピーが得られることになる。

ユーザ単語の入力に伴い、出力装置１０がユーザに対して出力する情報には様々な情報が含まれる。以下では、出力装置１０が出力する情報について説明する。上述したように、出力装置１０における情報の出力形態に制約はないが、ここでは一例として、例えば液晶ディスプレイに表示される画面を通じて情報を視覚的に出力する例について説明する。

出力装置１０に入力されるユーザ単語の数が多くなれば、ユーザ単語から連想されるキャッチコピーの内容も具体化され、ユーザの希望に沿ったキャッチコピーが生成される傾向がある。しかしながら、生成モデル１７に類似したユーザ単語が入力された場合、キャッチコピーの生成過程に与える影響の観点及び度合いが同じ傾向を示すことから、生成されるキャッチコピーの表現が類似する。すなわち、出力装置１０に入力するユーザ単語の数を増やしたとしても、入力されたユーザ単語に表現が類似するユーザ単語が複数存在した場合、生成されるキャッチコピーが、入力したユーザ単語の数より少ない数のユーザ単語によって生成されるキャッチコピーと類似することがある。

したがって、ＣＰＵ２１は、既に入力したユーザ単語との類似度が基準類似度以上となるようなユーザ単語を受け付けた場合に、警告を出力してもよい。具体的には、ＣＰＵ２１は、互いの分散表現の距離が基準距離以下となるようなユーザ単語を受け付けた場合に、何れか一方のユーザ単語に対して警告を出力する。

図９は、ユーザ単語の入力画面３０の一例を示す図である。図９に示す例では、ユーザが「寺院」、「紅葉」、及び「お寺」という３つのユーザ単語を入力画面３０に入力している。「寺院」と「お寺」の分散表現の距離が基準距離以下となるような類似する表現である場合、ＣＰＵ２１は、例えば「お寺」が入力されると「警告：寺院と類似した単語です。」というような警告を出力して、「お寺」は不要なユーザ単語であることをユーザに通知する。当然のことながら、「お寺」ではなく先に入力した「寺院」に対して警告を出力してもよい。

また、図１０もユーザ単語の入力画面３０の一例を示す図である。図１０に示す例では、ユーザが「寺院」、「紅葉」、及び「古い」という３つのユーザ単語を入力画面３０に入力している。ＣＰＵ２１は、「寺院」と「紅葉」の組み合わせによって生成モデル１７で生成されるキャッチコピーと、「寺院」と「紅葉」と「古い」の組み合わせによって生成モデル１７で生成されるキャッチコピーの類似度が基準類似度以上であるか否かを判定する。キャッチコピーの類似度が基準類似度以上である場合、ＣＰＵ２１は例えば「警告：生成されるキャッチコピーに目立った変化がみられません」というような警告文を出力して、ユーザ単語として「古い」を入力してもしなくても、生成されるキャッチコピーに目立った変化がないことをユーザに通知する。

上記では、入力されるユーザ単語の類似度、及び生成されるキャッチコピーの類似度に着目して警告を出力する出力装置１０の例について説明したが、ユーザ単語の中には、例えば説明テキストから特徴語として抽出されなかった単語（「非抽出単語」という）のように、特徴語に比べてキャッチコピーとの関連性が低い単語が存在する。具体的に言えば、名詞、形容詞、副詞、及び動詞といった品詞の単語は物事の特徴を表すことが多いが、接続詞、助詞、及び助動詞といった品詞の単語はそれだけでは物事の特徴を表すことがなく、特徴語として抽出されることは少ない。

したがって、ＣＰＵ２１は、図３のステップＳ３０で説明テキストから特徴語を抽出する場合、特徴語として抽出しなかった非抽出単語を記憶しておき、受け付けたユーザ単語に非抽出単語が含まれる場合、警告を出力するようにしてもよい。

図１１は、ユーザ単語の入力画面３０の一例を示す図である。図１１に示す例では、ユーザが「楓」、「黄色」、及び「が」という３つのユーザ単語を入力画面３０に入力している。このうち、ＣＰＵ２１が非抽出単語であると判定した「が」のユーザ単語に対して、例えば「警告：本当に必要ですか？」というような警告を出力して、「が」はキャッチコピーの生成に有益なユーザ単語であるかユーザに再考を促している。

上記では、ユーザ単語が非抽出単語であるか否かの判定結果に従って警告を出力する例を示したが、既に説明したように接続詞、助詞、及び助動詞といった品詞の単語は特徴語として抽出されることが少ない。したがって、非抽出単語とする品詞を予め設定しておき、ＣＰＵ２１は、受け付けたユーザ単語の品詞からユーザ単語が非抽出単語であるか否かを判定してもよい。この場合、非抽出単語を収集して予め記憶しておかなくとも、ユーザ単語が非抽出単語か判定することができる。なお、ユーザ単語の品詞の解析には公知の解析手法が用いられる。

ＣＰＵ２１は、非抽出単語に対して警告を出力するだけでなく、例えば非抽出単語をユーザ単語から削除し、残りのユーザ単語のみを生成モデル１７に入力して生成したキャッチコピーを出力してもよい。

また、受け付けたユーザ単語に生成モデル１７の学習に用いられたことのない未学習単語が含まれる場合、未学習単語が生成モデル１７でのキャッチコピーの生成に与える影響度は不明であることから、ユーザの希望に沿ったキャッチコピーが生成されないことがある。したがって、こうした場合、ＣＰＵ２１は、受け付けたユーザ単語に未学習単語が含まれていることをユーザに通知する。ＣＰＵ２１は、例えば生成モデル１７の学習に用いた学習データの特徴語を不揮発性メモリ２４やインターネットに接続された外部の記憶装置に記憶しておくことで、受け付けたユーザ単語が未学習単語であるか否かを判定する。

ＣＰＵ２１は、受け付けたユーザ単語に未学習単語が含まれていることをユーザに通知した上で、未学習単語をユーザ単語から削除し、残りのユーザ単語のみを生成モデル１７に入力して生成したキャッチコピーを出力してもよい。

また、ＣＰＵ２１は、受け付けたユーザ単語に未学習単語が含まれている場合、未学習単語を生成モデル１７の学習に用いられたことのある単語で、かつ、未学習単語との類似度が予め定めた値以上の単語に置き換えた上で生成モデル１７に入力し、置き換えた単語を含むユーザ単語に対応したキャッチコピーを出力してもよい。

このように、ＣＰＵ２１は、受け付けたユーザ単語がキャッチコピーの生成に一定程度以上の影響度を与える有益なユーザ単語であるか否かをユーザにキャッチコピーを出力する前に表示し、ユーザが出力装置１０に適切なユーザ単語を入力できるように支援する。

更に、ＣＰＵ２１は、生成モデル１７を用いてユーザ単語から生成したキャッチコピーを出力画面３２に複数出力する場合、キャッチコピーの注目度も一緒に出力してもよい。キャッチコピーの注目度とは、キャッチコピーが人目に触れる度合い、または人目に触れる長さの少なくとも一方を表す。出力装置１０で生成したキャッチコピーを例えばブログ等のウェブページに掲載する場合、キャッチコピーの注目度は、キャッチコピーを掲載したウェブページの閲覧数によって表される。

出力装置１０が出力したキャッチコピーは、まだウェブページに掲載する前のキャッチコピーであることから、当該キャッチコピーがウェブページに記載された場合の閲覧数は不明である。しかし、出力装置１０は、既にウェブページに掲載されている既存のキャッチコピーと当該既存のキャッチコピーが掲載されたウェブページの閲覧数との対応付けを学習した閲覧数の推定モデル（「閲覧数推定モデル」という）を予め備え、閲覧数推定モデルに生成モデル１７で生成したキャッチコピーを入力することで、生成モデル１７で生成したキャッチコピーをウェブページに掲載した場合の閲覧数が得られる。ＣＰＵ２１は、閲覧数推定モデルで推定した閲覧数を生成モデル１７で生成したキャッチコピーの注目度として出力すればよい。

図１２は、キャッチコピーと共にキャッチコピーの注目度を出力した出力画面３２の一例を示す図である。図１２の例では、キャッチコピーの候補１に対して予想閲覧数が30,000件という推定値が示され、キャッチコピーの候補２に対して予想閲覧数が20,000件という推定値が示されている。

キャッチコピーに注目度が付加されることから、出力装置１０が複数のキャッチコピーを出力して、何れのキャッチコピーを採用するかユーザが選択に迷った場合であっても、ユーザは予想閲覧数を参考にすればキャッチコピーの選択が行いやすくなる。

なお、ユーザによるキャッチコピーの選択性を高めるため、ＣＰＵ２１は複数のキャッチコピーにそれぞれ予想閲覧数を付与する場合、予想閲覧数でキャッチコピーの出力順を並び替えてもよい。例えばＣＰＵ２１は、予想閲覧数の大きいキャッチコピーほど出力画面３２の上に表示されるようにキャッチコピーの表示位置を制御する。

ここでは一例として、ウェブページの閲覧数を用いてキャッチコピーの注目度を表したが、例えばキャッチコピーと商品の売上高の関係、キャッチコピーとイベントの参加人数の関係、またはキャッチコピーと当該キャッチコピーが付された商品やイベントに関するSNSへの投稿数の関係を学習した推定モデルを用いて、生成モデル１７で生成したキャッチコピーの注目度を推定してもよい。

キャッチコピーの注目度を推定する推定モデルは出力装置１０に構築してもよいが、ＣＰＵ２１は通信ユニット２７を経由して、例えばインターネットに接続される外部装置に構築された推定モデルに生成モデル１７が生成したキャッチコピーを入力することで得られた出力をキャッチコピーの注目度として出力ユニット２９から出力してもよい。

更に、ＣＰＵ２１は、上述した完成度推定モデルで推定したキャッチコピーの完成度を、生成モデル１７で生成したキャッチコピーと共に出力画面３２に出力してもよい。

上述したように、生成したキャッチコピーのROUGEスコアが大きいほど、キャッチコピーの完成度が高いことを説明したが、このことを別の観点から見れば、生成したキャッチコピーに類似する既存のキャッチコピーが存在することを示していることになる。キャッチコピーが類似し過ぎると著作権侵害になる恐れがあることから、ＣＰＵ２１は生成モデル１７で生成したキャッチコピーのROUGEスコアが予め定めた上限値を超えた場合、生成したキャッチコピーを修正するようにユーザに促す警告を出力することが好ましい。

図１３は、ユーザにキャッチコピーの修正を促す出力画面３２の一例を示す図である。図１３の例では、生成モデル１７が生成した「見事な紅葉を歴史ある建物と共に楽しもう！」という候補２のキャッチコピーが、Ｚ社が2018年に作成したポスターに掲載された「見事な紅葉を建物と共に楽しもう！」というキャッチコピーに類似していることを注意喚起している。このように、出力装置１０は、類似しているキャッチコピーの内容だけでなく、その出典情報も含めて出力画面３２に出力してもよい。出典情報も含めて類似しているキャッチコピーを出力するためには、ＣＰＵ２１は、生成モデル１７の学習に用いたキャッチコピーや、各種ウェブページから収集したキャッチコピーの出典情報も一緒にキャッチコピーと関連付けて記憶しておけばよい。

ここまでユーザ単語からキャッチコピーを生成する出力装置１０について説明してきたが、出力装置１０が出力する連想テキストはキャッチコピーに限られず、ユーザ単語から連想される文であればどのような文であってもよい。

例えばクイズにおける問題と解答のように、受け付けたユーザ単語が表す物事そのものを連想して出力するようにしてもよい。具体的にはユーザが「アメリカ」、「６代」、「大統領」をユーザ単語として出力装置１０に入力すると、「ジョン・クィンシー・アダムス」という解答を連想テキストとして出力するように、特徴語と特徴語が表す物事そのものを生成モデル１７で学習させてもよい。こうした生成モデル１７の学習により、出力装置１０はユーザが指示した内容を把握できるようになるため、例えばユーザが声で発した単語から、インターネットを用いた情報の検索やエアコンの電源のオン及びオフといった特定の処理を実行する出力装置１０を構築することができる。

また、本実施の形態に係る出力装置１０は、単語を入力すれば、単語から連想される文を生成し、報告書やメールといった文章を自動で生成するような装置としても利用可能である。具体的には、出力装置１０は説明テキストから抽出した特徴語と当該特徴語の抽出元となった説明テキストとを関連付けを学習した説明テキスト推定モデルを備えておき、ユーザが出力装置１０に「９時」、「不具合」、「連絡」等を含むユーザ単語を入力した場合、出力装置１０は受け付けたユーザ単語を説明テキスト推定モデルに入力して、例えば「表題の件につき、下記の通り報告いたします。９時にお客様から不具合の連絡があり、・・・」というような報告書を生成することも可能である。

以上、実施の形態を用いて本発明について説明したが、本発明は実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。

本実施の形態では、一例として学習処理及び出力処理をソフトウェアで実現する形態について説明したが、図３及び図８に示した各フローチャートと同等の処理を、例えばＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)、またはＰＬＤ(Programmable Logic Device)に実装し、ハードウェアで処理させるようにしてもよい。この場合、各々の処理をソフトウェアで実現した場合と比較して、処理の高速化が図られる。

このように、ＣＰＵ２１を例えばＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、ＧＰＵ(Graphics Processing Unit)、及びＦＰＵ(Floating Point Unit)といった特定の処理に特化した専用のプロセッサに置き換えてもよい。

実施形態におけるＣＰＵ２１の動作は、１つのＣＰＵ２１によって実現される形態の他、複数のＣＰＵ２１によって実現されてもよい。更に、実施形態におけるＣＰＵ２１の動作は、物理的に離れた位置に存在するコンピュータ２０におけるＣＰＵ２１の協働によって実現されるものであってもよい。

また、上述した実施の形態では、出力プログラムがＲＯＭ２２にインストールされている形態について説明したが、これに限定されるものではない。本発明に係る出力プログラムは、コンピュータで読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、出力プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、またはＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る各々のプログラムをＵＳＢ(Universal Serial Bus)メモリやメモリカード等の可搬型の半導体メモリに記録した形態で提供してもよい。

更に、出力装置１０はインターネットに接続される外部装置から通信ユニット２７を経由して本発明に係る出力プログラムを取得するようにしてもよい。

１０ 出力装置、１１ データ蓄積部、１２ 抽出部、１３ 生成部、１４ 学習部、１５ 入力部、１６ 出力部、１７ 生成モデル、１８ 抽出モデル、１９ 別生成モデル、２０ コンピュータ、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ 不揮発性メモリ、２５ Ｉ／Ｏ、２６ バス、２７ 通信ユニット、２８ 入力ユニット、２９ 出力ユニット、３０ 入力画面、３２ 出力画面

Claims (13)

1. プロセッサを備え、
   前記プロセッサは、
   物事の特徴を表した入力語を受け付け、
   前記物事を説明した説明テキストに基づいて抽出された特徴語と、前記物事を説明した説明テキストから生成された、前記物事から連想される連想テキストとの関連付けを学習した生成モデルに前記入力語を入力することで、前記入力語に対応する連想テキストを出力する
   出力装置。
2. 前記プロセッサは、説明テキストから連想テキストを生成する別生成モデルの学習の過程で生成された、説明テキストにおける特徴語を規定した特徴語情報が存在する場合には、前記特徴語情報を参照して説明テキストから特徴語を抽出し、
   前記特徴語情報が存在しない場合には、説明テキストの内容から、説明テキストに含まれる各語句の重要度を算出し、語句の重要度に応じて特徴語を抽出する
   請求項１記載の出力装置。
3. 前記別生成モデルは、説明テキストに含まれる語句が連想テキストに与えた影響度を出力するアテンション機構を備え、
   前記プロセッサは、連想テキストに対する影響度の高い方から順に選択した説明テキストに含まれる語句を特徴語として抽出する
   請求項２記載の出力装置。
4. 前記プロセッサは、ユーザの指示に応じて連想に与える影響度を修正する
   請求項３記載の出力装置。
5. 前記プロセッサは、入力された特徴語に対して、説明テキストに予め対応付けられている連想テキストを生成するように学習する前記生成モデルの学習の過程で得られた、前記生成モデルが生成する連想テキストと、説明テキストに予め対応付けられている連想テキストの誤差を表す損失が小さくなるような語句の組み合わせを特徴語として抽出する
   請求項１記載の出力装置。
6. 前記生成モデルがデコーダで構成され、
   前記プロセッサは、説明テキストに含まれる語句、及び前記デコーダに含まれる語句のうち説明テキストに含まれない語句の組み合わせを特徴語として抽出する
   請求項５記載の出力装置。
7. 前記プロセッサは、特徴語の重要度、または特徴語が連想テキストに与える影響度に応じて、前記生成モデルに入力する特徴語の入力順を決定する
   請求項１〜請求項６の何れか１項に記載の出力装置。
8. 前記プロセッサは、重要度の高い特徴語、または連想テキストに与える影響度の大きい特徴語から順に前記生成モデルに入力する
   請求項７記載の出力装置。
9. 前記プロセッサは、特徴語から説明テキストの内容を推定した推定文を出力する推定モデルを用いて、前記入力語から推定される前記推定文を出力する
   請求項１〜請求項８の何れか１項に記載の出力装置。
10. 前記プロセッサは、ユーザから受け付けた前記入力語毎に前記推定文を出力し、
    各々の前記推定文の中からユーザが選択した前記推定文に対応した前記入力語を前記生成モデルに入力することで、前記入力語に対して生成された連想テキストを出力する
    請求項９記載の出力装置。
11. 前記プロセッサは、前記入力語が含まれる説明テキストで用いられている語句の出現数を語句毎に集計した集計情報を参照し、前記入力語と前記入力語以外の語句の組み合わせを前記生成モデルに入力した場合に得られる各々の連想テキストに対して、前記入力語と出現数が最も多い語句の組み合わせを入力した場合に生成される基準連想テキストとの類似度を算出し、前記基準連想テキストとの類似度を用いて、ユーザから受け付けた前記入力語に関連した関連語を選択する
    請求項１〜請求項１０の何れか１項に記載の出力装置。
12. 前記プロセッサは、基準連想テキストとの類似度が低い方から順に予め定めた数の連想テキストを選択し、選択した連想テキストに対応した前記入力語以外の語句を関連語として出力する
    請求項１１記載の出力装置。
13. コンピュータに、
    物事の特徴を表した入力語を受け付け、
    前記物事を説明した説明テキストに基づいて抽出された特徴語と、前記物事を説明した説明テキストから生成された、前記物事から連想される連想テキストとの関連付けを学習した生成モデルに前記入力語を入力することで、前記入力語に対応する連想テキストを出力させるための出力プログラム。

Images