JP2018045657A - 学習装置、プログラムパラメータおよび学習方法 - Google Patents

Abstract

【課題】所定の概念の理解を援助する情報を出力する。【解決手段】学習装置１０は、所定の構造を有する文章に含まれる単語群を抽出する抽出部４１と、所定のベクトル空間上において単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、文章が有する概念を示す概念空間を学習する学習部４２と、入力装置１００から受けつけた文章から単語群を抽出して文章ベクトルを生成し、抽出概念空間データベース３２を参照して類似する文章ベクトルを検索し、検索した文章ベクトルと対応付けられた単語群を選択する選択部４３と、選択した単語群を用いて、入力装置１００から受け付けた文章と同様の構造を有する文章を生成する生成部４４と、生成した文章を出力する出力部４５と、を有する。【選択図】図２

Description

本発明は、学習装置、プログラムパラメータおよび学習方法に関する。

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、入力されたテキストに含まれる単語、文章、文脈を多次元ベクトルに変換して解析し、解析結果に基づいて、入力されたテキストと類似するテキストや、入力されたテキストに続くテキストを類推し、類推結果を出力する自然言語処理の技術が知られている。

特開２０００−３５３１６０号公報

"word2vecによる自然言語処理"，西尾泰和，2014年05月発行，ISBN978-4-87311-683-9

しかしながら、上記の従来技術では、所定の概念の理解を援助する情報を出力することができない場合がある。

例えば、上記の従来技術では、入力されたテキストと類似するテキストや、入力されたテキストに続くテキスト等、利用者が予測しうる情報を出力しているに過ぎない。このため、例えば、たとえ話等、利用者の理解を援助する情報を出力することができない場合がある。

本願は、上記に鑑みてなされたものであって、所定の概念の理解を援助する情報を出力することを目的とする。

本願に係る学習装置は、所定の構造を有する文章に含まれる単語群を抽出する抽出部と、所定のベクトル空間上において前記単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、前記単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、前記文章が有する概念を示す概念空間を学習する学習部とを有することを特徴とする。

実施形態の一態様によれば、所定の概念の理解を援助する情報を出力することができる。

図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。 図２は、実施形態に係る学習装置の構成例を示す図である。 図３は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。 図４は、実施形態に係る抽象概念空間データベースに登録される情報の一例を示す図である。 図５は、実施形態に係る学習装置が比較する構造の一例を示す図である。 図６は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。 図７は、実施形態に係る測定処理の流れの一例を説明するフローチャートである。 図８は、ハードウェア構成の一例を示す図である。

以下に、本願に係る学習装置、プログラムパラメータおよび学習方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、プログラムパラメータおよび学習方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１−１．学習装置の一例〕
まず、図１を用いて、学習装置が実行する処理の一例について説明する。図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。図１では、学習装置１０は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

より具体的には、学習装置１０は、インターネット等の所定のネットワークＮを介して、入力装置１００や情報処理装置２００（例えば、図２を参照）といった任意の装置と通信が可能である。

ここで、入力装置１００は、マイクなどの音声を取得する音声取得装置を用いて、利用者の発言を取得する。そして、入力装置１００は、任意の音声認識技術を用いて、発言をテキストデータに変換し、変換後のテキストデータを学習装置１０へと送信する。また、情報処理装置２００は、スピーカ等の音声を出力する装置を用いて、学習装置１０から受信したテキストデータの読み上げを行う。なお、情報処理装置２００は、学習装置１０から受信したテキストデータを所定の表示装置に表示してもよい。

なお、入力装置１００や情報処理装置２００は、スマートフォンやタブレット等のスマートデバイス、デスクトップＰＣ（Personal Computer）やノートＰＣ等、サーバ装置等の情報処理装置により実現される。なお、入力装置１００および情報処理装置２００は、例えば、同一の情報処理装置によって実現されてもよく、例えば、ロボット等の装置によって実現されてもよい。

〔１−２．学習装置の処理について〕
ここで、ある事柄についてたとえ話を生成することができるのであれば、その事柄の概念を理解しているとも考えられる。また、かかる事柄の抽象化度が高い程、事柄をより良く理解しているとも考えられる。このため、学習装置１０が事柄をより高度に抽象化できるのであれば、その事柄の概念を理解している（事柄の概念を学習している）と言うことができる。また、学習装置１０が、ある事柄の概念をたとえ話にすることができるのであれば、利用者にその事柄をより容易に理解させることができるとも考えられる。

そこで、学習装置１０は、入力された事柄を精度良く抽出するために、以下の学習処理を実行する。まず、学習装置１０は、所定の構造を有する文章に含まれる複数の単語（以下、「単語群」と記載する。）を抽出する。そして、学習装置１０は、所定のベクトル空間上において単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、文章が有する概念を示す概念空間を学習する。例えば、学習装置１０は、構造が類似する文章から抽出された概念空間が類似するように、モデルの学習を行う。

例えば、学習装置１０は、正解データとして入力された文章から第１単語、第２単語、および第３単語を抽出したものとする。このような場合、学習装置１０は、ｗｏｒｄ２ｖｅｃ等の技術を用いて、各単語を分散表現（ベクトル）へと変換する。そして、学習装置１０は、第１単語のベクトルを含むベクトル空間（分散表現空間）において、第１単語のベクトルの先端に、第２単語のベクトルを含むベクトル空間を紐付ける。すなわち、学習装置１０は、所定のベクトル空間上において第１単語のベクトルが示す位置に第２ベクトルを含むベクトル空間を紐付けることで、第１単語のベクトルの先端に第２単語のベクトルを埋め込む。

そして、学習装置１０は、第１単語のベクトルの先端に埋め込んだ第２単語のベクトルの先端に、さらに第３単語のベクトルを埋め込む。すなわち、学習装置１０は、第１単語のベクトルの先端に第２単語のベクトルを含むベクトル空間を紐付け、第２単語のベクトルの先端に第３単語のベクトルを含むベクトル空間を紐付ける。例えば、学習装置１０は、第１単語、第２単語、および第３単語をｎ次元のベクトルに変換する。このような場合、学習装置１０は、第１単語のベクトル「（ａ１、ａ２・・・・ａｎ）」、第２単語のベクトル「（ｂ１、ｂ２・・・・ｂｎ）」、および第３単語のベクトル「（ｃ１、ｃ２・・・・ｃｎ）」が得られた場合、第１単語、第２単語、および第３単語を含む文章の抽象化された概念を示すベクトルとして「（ａ１、ａ２・・・・ａｎ、ｂ１、ｂ２・・・・ｂｎ、ｃ１、ｃ２・・・・ｃｎ）」といった、各単語のベクトルの結合である３ｎ次元のベクトルを生成する。なお、例えば、学習装置１０は、上記したベクトルの結合の他に、ベクトル同士のテンソル積空間のいずれかを用いて、文章の抽象化された概念を示す空間（以下、「抽象概念空間」と記載する。）として生成する。

ここで、抽象概念空間で、各文章の分散表現を比較した場合には、文章の構造を考慮した上で、文章の抽象化された概念同士を比較することができる。例えば、「「月曜日」は「曜日」の「１つ目」である」という第１文章と「「１月１日」は「一年」の「初日」である」という第２文章とを考える。例えば、学習装置１０は、「月曜日」を第１単語とし、「曜日」を第２単語とし「１つ目」を第３単語として、第１単語のベクトルの先端に第２単語を埋め込み、第２単語のベクトルの先端に第３単語を埋め込むことで、第１文章を抽象概念空間に落とし込む。また例えば、学習装置１０は、「１月１日」を第１単語とし、「一年」を第２単語とし「初日」を第３単語として、第１単語のベクトルの先端に第２単語を埋め込み、第２単語のベクトルの先端に第３単語を埋め込むことで、第２文章を抽象概念空間に落とし込む。

ここで、抽象概念空間上においては、第１文章のベクトルと第２文章のベクトルとのユークリッド距離とが近くなるとは限らない。しかしながら、第１文章および第２文章においては、文章構造が類似している。例えば、第１文章および第２文章では、第１単語が日付に関連する単語であり、第２単語が日付を含む単語であり、第３単語が第２単語において第１単語が示す意味を示す単語である。このため、抽象概念空間上においては、第１文章のベクトルの構造と第２文章のベクトルの構造とが類似すると予測される。この結果、抽象概念空間上においては、第１文章のベクトルと第２文章のベクトルのコサイン距離が１に近い値や所定の範囲内に収まる値を取ると予測される。

このため、例えば、学習装置１０は、正解データとなる様々な文章を抽象概念空間上に落とし込んでおき、抽象概念空間上において、処理対象となる文章のベクトルと類似するベクトル（例えば、コサイン距離が１に近いベクトル）が示す文章を出力した場合は、処理対象となる文章と構造が類似する文章、すなわち、処理対象となる文章のたとえ話を出力することができると考えられる。

そこで、学習装置１０は、以下の測定処理を実行する。まず、学習装置１０は、上述した学習処理によって学習が行われたモデルを用いて、利用者から受け付けた文章と抽象概念空間上における構造が類似する単語群を選択し、選択された単語群を用いて、受付けられた文章と同様の構造を有する文章を生成する。すなわち、学習装置１０は、利用者から受付けた文章に含まれる単語群と関係性の連鎖が類似する他の単語群を含む文章を生成する。そして、学習装置１０は、生成した文章を出力する。より具体的には、学習装置１０は、利用者から受付けた文章が有する概念を示すたとえとして、生成した文章を出力する。

〔１−３．学習処理や測定処理の利用例について〕
ここで、学習装置１０は、上述したたとえ話を出力する処理を任意の目的で実行してよい。例えば、学習装置１０は、利用者に概念を教示するために、上述した学習処理や測定処理を利用してもよい。より具体的な例を挙げると、学習装置１０は、利用者が知識を有する分野でのたとえ話を生成することで、効率的に人に概念を理解させてもよい。

例えば、学習装置１０は、利用者から文章Ａおよび分野Ｄの指定を受付ける。このような場合、学習装置１０は、抽象概念空間上において、分野Ｄに属する文章のベクトルのうち、文章Ａと類似するベクトルを抽出する。そして、学習装置１０は、抽出したベクトルが示す文章Ｂを出力することで、利用者が指定した分野Ｄでのたとえ話を出力してもよい。より具体的には、学習装置１０は、「文章Ａに含まれる各単語の関係は、文章Ｂに含まれる各単語の関係みたいなもの」等といった応答を出力してもよい。

このように、学習装置１０は、文章Ａを構成する単語のみならず、文章Ａの構造（各単語の関係性）を文章Ａの概念の構成要素として学習し、構成要素が類似する概念（すなわち、文章Ｂの概念）を抽象概念空間上で抽出し、抽出した概念の構成要素を用いて、文章Ａの概念のたとえ話を生成する。

なお、例えば、学習装置１０は、利用者からたとえ話の条件を受付けてもよい。例えば、学習装置１０は、文章Ａおよび分野Ｄの指定と共に、たとえのベースとなる単語Ｃの指定を受付ける。このような場合、学習装置１０は、分野Ｄに属する文章のベクトルのうち、文章Ａと類似するベクトルであって、単語Ｃのベクトル（すなわち、単語Ｃの概念）を含むベクトルを選択し、選択したベクトルが示す文章を出力する。この結果、学習装置１０は、文章Ａに含まれる各単語の関係性を、単語Ｃを用いてたとえたたとえ話を出力することができるので、利用者の理解を促進させることができる。

一方、上述したようなたとえ話の精度は、入力された文章の理解度を図る指標となりえる。そこで、学習装置１０は、上述した測定処理により利用者から受付けた文章と単語群の関係性の連鎖が類似する文章を応答として出力し、利用者との対話を通して効率的な学習を行ってもよい。

例えば、学習装置１０は、利用者から文章Ａおよび分野Ｄの指定を受付ける。このような場合、学習装置１０は、抽象概念空間上において、分野Ｄに属する文章のベクトルのうち、文章Ａのベクトルと構造が類似する複数のベクトルを候補として抽出する。そして、学習装置１０は、抽出したベクトルのうち、正答である最も可能性が高いベクトルを用いてたとえ話を生成し、生成したたとえ話を出力する。この結果、利用者からたとえ話が正しい旨の入力を受付けた場合は、処理を終了する。一方、学習装置１０は、利用者からたとえ話が間違っている旨の入力を受付けた場合は、そのベクトルを候補から除外するように、最も正答である可能性が高いベクトルを再選択し、他のベクトルからたとえ話を再生成する。そして、学習装置１０は、再生成したたとえ話を出力する。このような処理を繰り替えす際に、正答である最も可能性が高いベクトルを選択する際のアルゴリズムを段階的に補正すればよい。

〔１−４．学習処理について〕
なお、学習装置１０は、任意の数の単語を含む文章を抽象概念空間上に落とし込んでよい。例えば、学習装置１０は、順次、ある単語のベクトルの先端に他の単語のベクトルを埋め込むことで、任意の数の単語を含む文章を抽象概念空間に落とし込むことができる。また、学習装置１０は、各単語を任意の次元数の分散表現に変更して良い。

なお、学習装置１０は、単語群が所定の構造を有する文章、すなわち、各単語が所定の関係性を有する文章であれば、任意の文章を正解データとし、上述した学習処理を実行すればよい。この際、学習装置１０は、文章の内容が属する分野（例えば、医療分野や技術分野等）等に関わらず、任意の文章を正解データとして学習してよい。

〔１−５．学習装置１０が実行する処理の一例〕
次に、図１を用いて、学習装置１０が実行する学習処理および測定処理の一例について説明する。まず、学習装置１０は、正解データとなる文章を用いた学習処理を実行する。より具体的には、学習装置１０は、正解データとなる文章に含まれる単語群を抽出し、抽出した単語のベクトルの先端に、他の単語のベクトルを順次埋め込むことで、文章の概念を示す抽象概念空間を形成する（ステップＳ１）。

例えば、学習装置１０は、文章＃１から単語＃１、単語＃２、単語＃３を抽出した場合は、各単語を分散表現に変換し、単語＃１の分散表現であるベクトルの先端に、単語＃２の分散表現であるベクトルを含むベクトル空間を紐付ける。さらに学習装置１０は、単語＃２の分散表現であるベクトルの先端に、単語＃３の分散表現であるベクトルを含むベクトル空間を紐付ける。この結果、学習装置１０は、文章＃１に含まれる各単語の関係性の構造を投影した抽象概念空間を生成することができる。

また、学習装置１０は、測定処理として、学習処理により学習が行われた抽象概念空間を用いて、入力された文章の単語群と、単語間の関係性の構造が類似する他の単語群を選択し、選択した単語群からなる文章、すなわち、入力された文章のたとえ話を出力する測定処理を実行する。まず、学習装置１０は、利用者の発言Ａを入力として受付ける（ステップＳ２）。このような場合、学習装置１０は、抽象概念空間に、文章＃２に含まれる単語群を落とし込む（ステップＳ３）。例えば、学習装置１０は、学習処理と同様の処理を実行することで、文章＃２から単語群＃２を抽出し、単語群＃２に含まれる各単語をベクトル化し、ある単語のベクトルの先端に他の単語のベクトルを埋め込むことで、抽象概念空間上における文章＃２のベクトル＃２を生成する。

続いて、学習装置１０は、類似するベクトルを構成する単語群を抽象概念空間から選択する（ステップＳ４）。例えば、学習装置１０は、ベクトル＃２と類似するベクトル、すなわち、各単語間の関係性の構造が類似するベクトルを選択する。ここで、学習装置１０は、抽象概念空間上にベクトル＃１とベクトル＃３とが存在するが、ベクトル＃３がベクトル＃２と類似する場合は、ベクトル＃３を選択し、ベクトル＃３を構成する単語群＃３を選択する。

そして、学習装置１０は、選択した単語群を用いて、入力された文章の概念のたとえ話を生成する（ステップＳ５）。例えば、学習装置１０は、単語群＃３から、文章＃２のたとえ話となる文章＃３を生成し、生成した文章＃３をたとえ話として出力する（ステップＳ６）。この結果、例えば、ロボット等の情報処理装置２００は、文章＃３を発言Ｃとして音声出力することができる。

〔２．学習装置の構成〕
以下、上記した学習処理を実現する学習装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る学習装置の構成例を示す図である。図２に示すように、学習装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、入力装置１００、および情報処理装置２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、正解データデータベース３１および抽象概念空間データベース３２を記憶する。

正解データデータベース３１には、正解データとなる文章が登録されている。例えば、図３は、実施形態に係る正解データデータベースに登録される情報の一例を示す図である。図３に示す例では、正解データデータベース３１には、「文章ＩＤ（Identifier）」、「文章データ」、「第１単語」、「第２単語」等といった項目を有する情報が登録される。

ここで、「文章ＩＤ（Identifier）」は、正解データとなる文章を識別するための情報である。また、「文章データ」とは、文章のテキストデータである。また、「第１単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に最初に出現する単語であり、「第２単語」とは、対応付けられた「文章データ」に含まれる単語群のうち、文章内に２番目に出現する単語である。なお、正解データデータベース３１には、「第１単語」や「第２単語」以外にも、文章に含まれる単語が順に登録されているものとする。

例えば、図３に示す例では、文章ＩＤ「ＩＤ＃１」、文章データ「文章データ＃１」、第１単語「単語＃１−１」、および第２単語「単語＃１−２」が対応付けて登録されている。このような情報は、文章ＩＤ「ＩＤ＃１」が示す文章が文章データ「文章データ＃１」であり、かかる文章中に第１単語「単語＃１−１」および第２単語「単語＃１−２」が順に含まれている旨を示す。

なお、図３に示す例では、「文章データ＃１」、「単語＃１−１」、「単語＃１−２」等といった概念的な値について記載したが、実際には文章のテキストデータや単語のテキストデータが登録されることとなる。

抽象概念空間データベース３２には、抽象概念空間に投影された文章のベクトル、すなわち、正解データである文章のベクトルが登録されている。例えば、図４は、実施形態に係る抽象概念空間データベースに登録される情報の一例を示す図である。図４に示す例では、抽象概念空間データベース３２には、「文章ＩＤ」、「文章データ」、「文章ベクトル」等といった項目を有する情報が登録される。

ここで、「文章ベクトル」とは、対応付けられた文章ＩＤが示す文章を抽象概念空間上に投影した際のベクトルであり、対応付けられた文章ＩＤが示す文章に含まれる単語群のうち、所定の単語のベクトルの先端に他の単語のベクトルを埋め込むことで生成されるベクトルである。例えば、「文章ベクトル」は、各単語のベクトルを順次連結することで生成されるベクトルである。

例えば、図４に示す例では、文章ＩＤ「ＩＤ＃１」、文章データ「文章データ＃１」、文章ベクトル「ベクトル＃１」が対応付けて登録されている。このような情報は、文章ＩＤ「ＩＤ＃１」が示す文章が文章データ「文章データ＃１」であり、かかる文章を抽象概念空間上に落とし込んだ場合、文章ベクトル「ベクトル＃１」となる旨を示す。なお、図４に示す例では、「ベクトル＃１」等といった概念的な値について記載したが、実際にはベクトルを示す数値が登録されることとなる。

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、学習装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４０は、抽出部４１、学習部４２、選択部４３、生成部４４、および出力部４５を有する。なお、抽出部４１および学習部４２は、上述した学習処理を実行し、選択部４３〜出力部４５は、上述した測定処理を実行する。

抽出部４１は、所定の構造を有する文章に含まれる単語群を抽出する。例えば、抽出部４１は、図示を省略した任意の装置から正解データとして文章を受信すると、形態素解析等により、文章に含まれる単語群を抽出する。そして、抽出部４１は、受信した文章と、文章に含まれる単語群とを正解データデータベース３１に登録する。例えば、抽出部４１は、単語群に含まれる各単語を、文章中に出現する順に、正解データデータベース３１に登録する。

学習部４２は、所定のベクトル空間上において単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、文章が有する概念を示す概念空間を学習する。すなわち、学習部４２は、抽象概念空間データベース３２を生成する。

例えば、学習部４２は、正解データデータベース３１に登録された各文章の各単語群を、ｗ２ｖ等の技術を用いて、それぞれ分散表現に変換する。そして、学習部４２は、同一の文章に含まる各単語の分散表現、すなわちベクトルを連続させたベクトルを文章ベクトルとして生成する。すなわち、学習部４２は、文章に含まれるある単語のベクトルの先端に、他の単語のベクトルを埋め込み、かかる他の単語のベクトルの先端に、さらに別の単語のベクトルを埋め込む。換言すると、学習部４２は、文章に含まれる各単語のベクトルを多重化することで、文章ベクトルを生成する。そして、学習部４２は、生成した文章ベクトルを抽象概念空間データベース３２に登録する。

このような学習部４２の学習処理により生成された抽象概念空間では、ベクトル同士の比較を行うことで、文章が有する単語間の関係性の構造を比較することができる。例えば、図５は、実施形態に係る学習装置が比較する構造の一例を示す図である。例えば、図５に示す例では、文章＃１には、単語＃１−１〜＃１−３が含まれており、文章＃２には、単語＃２−１〜＃２−３が含まれている。

ここで、文章＃１では、単語＃１−１が文章＃１のベースとなる概念を示し、単語＃１−２がベースのバリエーションを示すという構成＃１−１を有する。また、文章＃１では、単語＃１−３が、単語＃１−１および単語＃１−２からなる概念を修飾するという構成＃１−２を有するものとする。このような文章＃１を学習部４２が生成する抽象概念空間上に落とし込んだ場合、各単語を多重化した際に、各単語の概念のみならず、各単語間の関係性の構造、すなわち構成＃１−１および構成＃１−２も抽象概念空間上に落とし込むことができると考えられる。例えば、学習装置１０は、単語＃１−１のベクトルの先端に単語＃１−２のベクトルを埋め込み、単語＃１−２のベクトルの先端に単語＃１−３のベクトルを埋め込んだ場合は、埋め込みの順序により構成＃１−１および構成＃１−２を再現することができる。

ここで、文章＃２においても同様に、単語＃２−１が文章＃２のベースとなる概念を示し、単語＃２−２がベースのバリエーションを示すという構成＃２−１を有する。また、文章＃２では、単語＃２−３が、単語＃２−１および単語＃２−２からなる概念を修飾するという構成＃２−２を有するものとする。このような文章＃２を抽象概念空間上に落とし込んだ場合、個々の単語＃２−１〜＃２−３が単語＃１−１〜＃１−３と類似せずとも、構成＃２−１および構成＃２−２が構成＃１−１および構成＃１−２と類似する場合は、文章＃２全体のベクトルが文章＃１全体のベクトルと類似すると考えられる。

そこで、学習装置１０は、文章＃１のベクトルと文章＃２のベクトルとが類似する場合には、文章＃１と文章＃２とが同一構造を有すると推定し、文章＃１の構造が示す概念のたとえ話に文章＃２が利用可能であると判定する。例えば、学習装置１０は、以下に説明する測定処理を実行することで、文章＃１のたとえ話を生成する。

図２に戻り、説明を続ける。選択部４３は、入力装置１００から受けつけた文章から単語群を抽出し、学習部４２と同様の処理により、各単語のベクトルを連続させたベクトル、すなわち、入力された文章の文章ベクトルを生成する。そして、選択部４３は、抽象概念空間データベース３２を参照し、入力された文章の文章ベクトルと類似する文章ベクトルを検索する。例えば、選択部４３は、入力された文章の文章ベクトルとのコサイン距離の値が最も小さくなる文章ベクトルを検索する。そして、選択部４３は、検索した文章ベクトルと対応付けられた文章ＩＤを特定し、特定した文章ＩＤと対応付けられた単語群を正解データデータベース３１から選択する。

生成部４４は、選択された単語群を用いて、利用者から受付けた文章と同様の構造を有する文章を生成する。例えば、生成部４４は、入力装置１００から受付けた文章が有する構造と同様の構造を有する文章を選択部４３が選択した単語群から生成する。

出力部４５は、生成部４４が生成した文章を、利用者から受付けた文章が有する概念を示すたとえとして出力する。例えば、出力部４５は、生成部４４が生成した文章を情報処理装置２００へと出力し、入力装置１００から受付けた文章のたとえとして、出力した文章を出力するように指示する。この結果、情報処理装置２００は、たとえ話を出力することができる。

〔３．学習装置が実行する処理の流れの一例〕
次に、図６を用いて、学習装置１０が実行する学習処理の流れの一例について説明する。図６は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。まず、学習装置１０は、正解データとなる文章を取得すると（ステップＳ１０１）、取得した文章から単語群を抽出する（ステップＳ１０２）。そして、学習装置１０は、単語群の各単語をベクトル化し（ステップＳ１０３）、あるベクトルの先端に他のベクトルのベクトル空間を紐付ける処理を順次行うことで、文章を抽象概念空間に落とし込み（ステップＳ１０４）、処理を終了する。

次に、図７を用いて、学習装置１０が実行する測定処理の流れの一例について説明する。図７は、実施形態に係る測定処理の流れの一例を説明するフローチャートである。まず、学習装置１０は、利用者の発言等、利用者が入力した文章を取得すると（ステップＳ２０１）、文章に含まれる各単語群のベクトルを多重化することで、文章を抽象概念空間に落とし込む（ステップＳ２０２）。そして、学習装置１０は、抽象概念空間上で、入力された文章のベクトルと類似するベクトルと対応する単語群を選択する（ステップＳ２０３）。すなわち、学習装置１０は、入力された文章と単語間の関係性の構成が類似する文章のベクトルを抽象概念空間上で検索し、検索したベクトルを構成する単語群を選択する。そして、学習装置１０は、選択した単語群を用いて、取得した文章のたとえ話を生成し（ステップＳ２０４）、生成したたとえ話を出力して（ステップＳ２０５）、処理を終了する。

〔４．変形例〕
上記では、学習装置１０による学習処理および測定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習装置１０が実行する学習処理のバリエーションについて説明する。

〔４−１．学習処理について〕
上述した例では、学習装置１０は、正解データとして受付けた文章の各単語をベクトル化し、ベクトルを順に多重化することで、抽象概念空間を学習した。ここで、学習装置１０は、所定の構造を有する文章であれば、任意の文章を正解データとして採用してよい。

また、例えば、学習装置１０は、文章に含まれる単語間の関係性の構造に応じて、ベクトルを多重化する順番を変化させてもよい。例えば、学習装置１０は、第１の構造を有する文章を抽象概念空間に落とし込む場合は、各単語が文書中に出現する順序で、各単語のベクトルを多重化する。一方、学習装置１０は、第１の構造とは逆の概念を形成する第２の構造を有する文章を抽象概念空間に落とし込む場合は、各単語が文書中に出現する順序とは逆の順序で、各単語のベクトルを多重化してもよい。

〔４−２．装置構成〕
上述した例では、学習装置１０は、学習装置１０内で学習処理および測定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置１０は、学習処理のみを実行し、測定処理については、他の装置が実行してもよい。例えば、学習装置１０が上述した学習処理によって生成した抽象概念空間をプログラムパラメータとして用いるプログラムを実行することで、学習装置１０以外の情報処理装置が、上述した測定処理を実現してもよい。また、学習装置１０は、正解データデータベース３１や抽象概念空間データベース３２を外部のストレージサーバに記憶させてもよい。

〔４−３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５．プログラム〕
また、上述してきた実施形態に係る学習装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が学習装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔６．効果〕
上述したように、学習装置１０は、所定の構造を有する文章に含まれる単語群を抽出する。そして、学習装置１０は、所定のベクトル空間上において単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、文章が有する概念を示す抽象概念空間を学習する。このため、学習装置１０は、文章に含まれる各単語の関係性の構造同士を比較可能な抽象概念空間を生成することができるので、例えば、たとえ話等、利用者の理解を援助する情報を出力することができる。

また、学習装置１０は、学習された抽象概念空間を用いて、利用者から受け付けた文章と単語間の関係性の構造が類似する単語群を選択する。そして、学習装置１０は、選択された単語群を用いて、利用者から受け付けた文章と同様の構造を有する文章を生成し、生成した文章を出力する。例えば、学習装置１０は、利用者から受付けた文章が有する概念を示すたとえとして、生成した文章を出力する。このため、学習装置１０は、利用者の理解を援助する情報を出力することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

２０ 通信部
３０ 記憶部
３１ 正解データデータベース
３２ 抽象概念空間データベース
４０ 制御部
４１ 抽出部
４２ 学習部
４３ 選択部
４４ 生成部
４５ 出力部
１００ 入力装置
２００ 情報処理装置

Claims (5)

1. 所定の構造を有する文章に含まれる単語群を抽出する抽出部と、
   所定のベクトル空間上において前記単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、前記単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、前記文章が有する概念を示す概念空間を学習する学習部と
   を有することを特徴とする学習装置。
2. 前記学習部により学習された概念空間を用いて、利用者から受け付けた文章と単語間の関係性の構造が類似する単語群を選択する選択部と、
   前記選択部により選択された単語群を用いて、利用者から受け付けた文章と同様の構造を有する文章を生成する生成部と、
   前記生成部が生成した文章を出力する出力部と
   を有することを特徴とする請求項１に記載の学習装置。
3. 前記出力部は、前記利用者から受付けた文章が有する概念を示すたとえとして、前記生成部が生成した文章を出力する
   ことを特徴とする請求項２に記載の学習装置。
4. 所定の構造を有する文章に含まれる単語群を抽出する抽出工程と、
   所定のベクトル空間上において前記単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、前記単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、前記文章が有する概念を示す概念空間を学習する学習工程と
   を含むことを特徴とする学習方法で学習される概念空間の情報を含むプログラムパラメータ。
5. 学習装置が実行する学習方法であって、
   所定の構造を有する文章に含まれる単語群を抽出する抽出工程と、
   所定のベクトル空間上において前記単語群に含まれる所定の単語の概念を示すベクトルが示す位置に、前記単語群に含まれる他の単語のベクトルを含むベクトル空間を紐付けることで、前記文章が有する概念を示す概念空間を学習する学習工程と
   を含むことを特徴とする学習方法。

Images