JP2019204362A - 判定装置、判定方法、判定プログラムおよびプログラムパラメータ - Google Patents

Abstract

【課題】分散表現の比較精度を改善する。【解決手段】本願に係る判定装置は、複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成部と、前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定部とを有することを特徴とする。【選択図】図１

Description

本発明は、判定装置、判定方法、判定プログラムおよびプログラムパラメータに関する。

従来、入力された情報の分散表現を生成し、生成した分散表現同士の比較結果に基づいて、情報の類似性を判定する技術が知られている。このような技術の一例として、類似若しくは関連性を有するテキストの分散表現同士がユークリッド空間上で近くなり、非類似若しくは関連性を有しないテキストの分散表現同士がユークリッド空間上で離れるように、ＤＳＳＭ（Deep Semantic Similarity Model）やＲＮＮ（Reccurent Neural Network)といったモデルの学習を行う技術が知られている。

"Poincare Embeddings for Learning Hierarchical Representations"，Maximilian Nickel, Douwe Kiela ＜インターネット＞https://arxiv.org/pdf/1705.08039.pdf（平成３０年５月１日検索）

"Hyperbolic geometry MA 448"，p32, Caroline Series ＜インターネット＞https://homepages.warwick.ac.uk/~masbb/Papers/MA448.pdf平成３０年５月１日検索）

"DSSM"，Jianfeng Gao, Po-Sen Huang, Hamid Palangi, Yelong Shen ＜インターネット＞https://www.microsoft.com/en-us/research/project/dssm/ 平成３０年５月１日検索）

しかしながら、上述した技術では、分散表現の比較精度を向上させる余地がある。

例えば、上述した技術では、モデルがテキストをユークリッド空間上の分散表現へと変換させる。しかしながら、このような技術では、学習データとなったテキストとは異なる字面のテキストであるが、学習データとなったテキストと意味が類似するテキストが入力された場合に、ユークリッド空間上で類似しない分散表現を生成する恐れがある。

本願は、上記に鑑みてなされたものであって、分散表現の比較精度を改善することを目的とする。

本願に係る判定装置は、複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成部と、前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定部とを有することを特徴とする。

実施形態の一態様によれば、分散表現の比較精度を改善することができる。

図１は、実施形態に係る判定装置が実行する処理の一例を示す図である。 図２は、実施形態に係る判定装置の構成例を示す図である。 図３は、実施形態に係る分散表現データベースに登録される情報の一例を示す図である。 図４は、双曲空間としてポアンカレディスクを採用する例を説明する図である。 図５は、双曲空間として二葉双曲面を採用する例を説明する図である。 図６は、実施形態に係る判定処理の流れの一例を説明するフローチャートである。 図７は、ハードウェア構成の一例を示す図である。

以下に、本願に係る判定装置、判定方法、判定プログラムおよびプログラムパラメータを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法、判定プログラムおよびプログラムパラメータが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１−１．判定装置の一例〕
まず、図１を用いて、判定装置が実行する処理の一例について説明する。なお、以下の説明では、判定装置が実行する処理の一例として、文章同士の概念が類似するか否かを判定する処理の一例について記載するが、実施形態は、これに限定されるものではない。例えば、以下に説明する判定装置１０は、文章以外にも、音声データ等、複数の情報（以下、「情報群」と記載する場合がある。）により構成される情報であれば、任意の情報同士が類似するか否かを判定して良い。

図１は、実施形態に係る判定装置が実行する処理の一例を示す図である。図１では、判定装置１０は、以下に説明する判定処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

より具体的には、判定装置１０は、インターネット等の所定のネットワークＮを介して、入出力装置１００（例えば、図２を参照）や情報管理装置１１０といった任意の装置と通信が可能である。

入出力装置１００は、マイクなどの音声を取得する音声取得装置を用いて、利用者の発言を取得する。そして、入出力装置１００は、任意の音声認識技術を用いて、発言をテキストデータに変換し、変換後のテキストデータを判定装置１０へと送信する。また、入出力装置１００は、スピーカ等の音声を出力する装置を用いて、判定装置１０から受信したテキストデータの読み上げを行う。なお、入出力装置１００は、判定装置１０から受信したテキストデータを所定の表示装置に表示してもよい。

なお、入出力装置１００は、スマートフォンやタブレット等のスマートデバイス、デスクトップＰＣ（Personal Computer）やノートＰＣ等、サーバ装置等の情報処理装置により実現される。なお、入出力装置１００は、例えば、同一の情報処理装置によって実現されてもよく、例えば、ロボット等の装置によって実現されてもよい。

情報管理装置１１０は、各種の情報を管理する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報管理装置１１０は、学習データとして利用可能な各種の文章データを保持している。より具体的な例を挙げると、情報管理装置１１０は、文章のテキストデータと、各文章の概念が類似するか否かを示すラベルとを対応付けた学習データを管理しており、判定装置１０の要求に応じて学習データを判定装置１０に提供する。

〔１−２．従来の分散表現の生成について〕
ここで、比較対象となる情報を分散表現に変換し、分散表現同士の比較結果に基づいて情報の類似性を判断する従来技術の一例について説明する。また、以下の説明では、文章の分散表現を生成する従来技術の一例について説明する。

例えば、従来の情報処理装置は、ＲＮＮやＤＳＳＭといったモデルに対して、文章に含まれる各単語を順に入力し、モデルが出力した分散表現を得る。そして、情報処理装置は、複数の文章から生成した分散表現同士を比較し、類似する概念を有する文章同士の分散表現が類似し、類似しない概念を有する文章同士の分散表現が類似しないように、モデルの学習を進めることで、文章が示す概念を分散表現へと変換するモデルを実現する。また、従来の情報処理装置は、上述した学習を行ったモデルを用いて、入力された文章を分散表現へと変換し、変換後の分散表現を他の文章から生成した分散表現と比較することで、入力された文章と概念が類似する他の文章を検索していた。

ここで、従来の情報処理装置は、モデルの学習時やモデルを用いた処理の実行時（以下、「測定時」と記載する。）において、ユークリッド空間上における分散表現同士の距離を算出し、算出した距離に基づいて、分散表現が示す概念同士の類似性を判定していた。より具体的には、情報処理装置は、類似する文章の分散表現同士については、ユークリッド空間上における距離が短くなり、類似しない文章の分散表現同士については、ユークリッド空間上における距離が長くなるように、文章から分散表現を生成するモデルの学習を行った。この結果、情報処理装置は、各文章が示す概念をユークリッド空間上に投影し、ユークリッド空間上で各概念の類似性を判定していた。

しかしながら、このような手法においては、分散表現の精度を向上させる余地がある。例えば、上述したモデルは、学習データに含まれる文章に含まれる単語の語順を変更した文章が入力された場合に、ユークリッド空間上において類似しない分散表現を生成する恐れがある。また、多くの文章をユークリッド空間上に投影するには、あらかじめ多くの次元を設定する必要があり、計算コストが増大してしまう。

一方で、非ユークリッド空間の一例である双曲空間上に分散表現を投影することで、単語の分散表現の精度を向上させる技術が知られている（例えば、非特許文献１）。例えば、非特許文献１においては、ある単語の前後に来る単語を予測するタスクにおいて、単語の分散表現を双曲空間であるポアンカレ空間上で学習する。このようなポアンカレ空間においては、空間の端に近づけば近づくほど、距離の尺度が指数関数的に増加していくため、有限の空間内に無限の情報（空間上の点）を投影することができる。

例えば、このようなポアンカレ空間の一例であるポアンカレディスクに、枝分かれしていく情報を埋め込む処理を考える。このようなポアンカレディスクにおいては、中心から円周上に向かうにつれ、距離の尺度が指数関数的に増加してく。このため、ポアンカレディスクの中心から円周方向に、枝分かれしていくツリーを埋め込んだ場合、ポアンカレディスク上においては、各枝の角度および長さを一定に保ったまま、任意の数の枝分かれを有するツリーを自然に埋め込むことができる。このようなポアンカレディスクの特徴は、さらに高次元なポアンカレ空間においても保持される。

一方で、知識データベースや各種の分類体系、語彙等の情報は、階層構造、すなわち、ツリー構造を有すると考えられる。このため、単語をポアンカレ空間上の分散表現へと変換した場合、各単語が有する階層構造を自然に埋め込むことができる。また、ポアンカレ空間上においては、円周方向に近づく程距離の尺度が増加する。このため、ポアンカレ空間上で単語の分散表現を学習した場合は、多くの階層関係を分散表現に反映させることができるので、分散表現を用いたクラスタリングの精度向上や、分散表現の次元数の削減を実現することが知られている。

〔１−３．判定装置が実行する処理について〕
ここで、文章の概念を考えると、文章に含まれる単語によりツリー状に分岐していく体系を有しているとも考えられる。このため、文章の分散表現を双曲空間上で学習した場合、文章の概念を精度良く学習することができると考えられる。また、双曲空間上で分散表現同士を比較した場合、文章の概念を精度良く比較することができると考えられる。

そこで、判定装置１０は、以下の判定処理を実行する。例えば、判定装置１０は、複数の情報を含む情報群の分散表現であって、情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する。そして、判定装置１０は、双曲空間上の距離に基づいて、情報群同士の類似性を判定する。

例えば、判定装置１０は、情報群として、複数の単語を含む文章の分散表現を生成し、分散表現の双曲空間上の距離に基づいて、文章同士の類似性を判定する。そして、判定装置１０は、生成された分散表現を用いて、学習処理や測定処理を実行する。例えば、判定装置１０は、学習データから生成された分散表現を用いて、情報群を分散表現に変換するモデルの学習を学習する。また、判定装置１０は、利用者から取得した情報群の分散表現を生成し、生成した分散表現と他の情報群の分散表現とを双曲空間上で比較することで、取得した情報群と類似する他の情報群を特定する。そして、判定装置１０は、特定された他の情報群を利用者に提供する。

〔１−４．判定装置が実行する処理の一例について〕
以下、図１を用いて、判定装置１０が実行する処理の一例を説明する。まず、判定装置１０は、情報管理装置１１０から学習データとなる文章を取得する（ステップＳ１）。例えば、判定装置１０は、複数の単語からなる複数の文章と、各文章の類似性を示すラベル情報とを取得する。このような場合、判定装置１０は、ＲＮＮやＤＳＳＭといったモデルを用いて、文章を分散表現に変換する（ステップＳ２）。

例えば、判定装置１０は、形態素解析等の技術を用いて、「明日は晴れるでしょう」といった文章を「明日」、「は」、「晴れ」、「る」、「でしょう」というように、文章を構成する複数の単語に分解する。そして、判定装置１０は、単語を出現順にモデルに入力することで、単語群（すなわち、情報群）である文章の分散表現を生成する。より具体的には、判定装置１０は、再帰型ニューラルネットワークに対して情報群に含まれる複数の単語を順次入力することで、情報群の分散表現を生成する。

なお、図１に示す例においては、判定装置１０は、文章をユークリッド空間上の分散表現に変換するように学習が行われたモデル、すなわち、既存のモデルを用いて、文章を分散表現に変換する。なお、判定装置１０は、ＲＮＮ以外にも、例えば、畳み込みニューラルネットワークを用いて、文章を分散表現に変換してもよい。また、例えば、判定装置１０は、同一の文章に含まれる単語をランダムな順序で入力した際に、出現順に入力した場合の分散表現と類似する分散表現を出力するように学習が行われたモデルを用いてもよい。すなわち、判定装置１０は、入力された文章の概念をユークリッド空間上で示す分散表現を生成する。なお、以下の説明では、入力された文章の概念をユークリッド空間上で示す分散表現を「ユークリッド空間上の分散表現」と記載する場合がある。また、以下の説明では、文章をユークリッド空間上の分散表現へと変換するモデルを第１モデルと記載する。

続いて、判定装置１０は、分散表現を双曲空間上に投影する（ステップＳ３）。例えば、判定装置１０は、双曲空間として、ミンコフスキー空間上に分散表現を投影する。より具体的には、判定装置１０は、ミンコフスキー空間の二葉双曲面（Hyperboloid of two sheets）が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上の分散表現を生成する。

例えば、判定装置１０は、ｘ軸、ｙ軸およびｚ軸により構成される３次元空間を設定し、この３次元空間においてｚ軸を焦点軸とする二葉双曲面を設定する。また、判定装置１０は、第１モデルを用いて、ｘ軸成分およびｙ軸成分からなる２次元のユークリッド空間上の分散表現を生成する。そして、判定装置１０は、設定した３次元空間において、生成した分散表現が示す位置から、ｘｙ平面に対する垂線を設定し、二葉双曲面のうちｚ軸方向の成分が正となる曲面と垂線との交点を分散表現の投影先とする。すなわち、判定装置１０は、文章の概念を示す双曲空間上の分散表現を生成する。

そして、判定装置１０は、双曲空間上における分散表現同士の距離を判定する（ステップＳ４）。例えば、判定装置１０は、文章＃１からユークリッド空間上の分散表現ｕを生成し、文章＃２からユークリッド空間上の分散表現ｖを生成する。そして、判定装置１０は、分散表現ｕと分散表現ｖとの間の双曲空間上における距離を算出する。なお、双曲空間上における距離の算出手法については、後述する。

そして、判定装置１０は、判定結果に基づいて、モデルの学習を行う（ステップＳ５）。例えば、判定装置１０は、文章＃１と文章＃２とが類似する場合には、分散表現ｕと分散表現ｖとの間の双曲空間上における距離がより小さくなるようにモデルを学習し、文章＃１と文章＃２とが類似しない場合には、分散表現ｕと分散表現ｖとの間の双曲空間上における距離がより大きくなるようにモデルを学習する。

なお、判定装置１０は、分散表現ｕと分散表現ｖとの間の双曲空間上における距離が、文章＃１と文章＃２との類似度を反映するように、モデルの学習を行ってもよい。例えば、判定装置１０は、文章＃１と文章＃３との類似度が、文章＃１と文章＃２との類似度よりも高い場合は、分散表現ｕと文章＃３の双曲空間上における分散表現との双曲空間上における距離が、分散表現ｕと分散表現ｖとの間の双曲空間上における距離よりも短くなるように、モデルの学習を行う。すなわち、判定装置１０は、各文章が有する概念の類似性を、双曲空間上に落とし込むように、文章の分散表現を生成するモデルの学習を行う。

例えば、判定装置１０は、第１モデルが生成したユークリッド空間上の分散表現を双曲空間上に投影する関数ｆを固定し、バックプロパゲーション等の学習手法を用いて、第１モデルのノード間を接続する接続係数を修正してもよい。また、判定装置１０は、第１モデルが生成したユークリッド空間上の分散表現を双曲空間上に投影する関数ｆを修正してもよい。すなわち、判定装置１０は、文章が有する概念の類似性を双曲空間上における距離へと投影することができるモデル（以下、「第２モデル」と記載する。）を学習するのであれば、任意の学習を行ってよい。換言すると、判定装置１０は、第１モデルと関数ｆとからなる第２モデルの学習を、第１モデルの修正を行うことで実現してもよく、関数ｆの修正を行うことで実現してもよい。また、判定装置１０は、第１モデルと関数ｆの両方を修正してもよい。また、判定装置１０は、新規なモデルを準備し、準備したモデルの学習を行うことで、第２モデルの学習を行ってもよい。

続いて、判定装置１０は、利用者から判定対象となる文章を取得する（ステップＳ６）。このような場合、判定装置１０は、第２モデルを用いて、取得した文章の分散表現を双曲空間上に投影し、双曲空間上で、他の文章の分散表現との距離を算出する。そして、判定装置１０は、算出した距離が所定の条件を満たす文章を特定する。例えば、判定装置１０は、算出した距離が最も短い文章、すなわち、利用者から取得した文章と概念が類似する文章を特定する。そして、判定装置１０は、特定した文章を利用者に提供する（ステップＳ８）。

このように、判定装置１０は、文章をユークリッド空間上の分散表現ではなく、双曲空間上の分散表現に変換する。そして、判定装置１０は、双曲空間上の距離に基づいて、文章の概念同士を比較する。このような処理を実行した場合、判定装置１０は、文章の概念が有するツリー条の体系を比較することができるので、文章が有する概念の比較精度を向上させることができる。すなわち、判定装置１０は、分散表現が概念を示す精度を向上させることができる。また、判定装置１０は、分散表現が概念を示す精度を保持したまま、分散表現の次元数を削減できるので、計算コストを削減することができる。

〔１−５．モデルについて〕
ここで、図１に示す例では、文章をユークリッド空間上の分散表現に変換する第１モデルを用いて、ユークリッド空間上の分散表現を取得し、関数ｆを用いて、ユークリッド空間上の分散表現を双曲空間上に投影した。しかしながら、実施形態は、これに限定されるものではない。

例えば、判定装置１０は、新規なＣＮＮ（Convolutional Neural Network）やＲＮＮを統合モデルとして準備じ、準備した統合モデルを用いて文章の分散表現を生成する。そして、判定装置１０は、生成した分散表現が所定の双曲空間上の分散表現であるものとして、各文章から生成した分散表現の距離を算出し、算出した距離に基づいて、統合モデルの学習を行ってもよい。また、判定装置１０は、このような学習処理により学習が行われた統合モデルを用いて、文章が有する概念同士の比較を実現してもよい。

また、判定装置１０は、ＲＮＮを用いて文章の分散表現を生成する場合、各単語の概念と、各単語の出現順序とに基づいて、文章の分散表現を生成してもよい。例えば、判定装置１０は、文章に含まれる各単語を出現順に入力した場合の分散表現と、文章に含まれる各単語を出現順とは異なる順で入力した場合の分散表現とが異なるように、第２モデルや統合モデルの学習を行ってもよい。

〔１−６．双曲空間について〕
ここで、判定装置１０は、双曲空間上の分散表現を生成するのであれば、任意の空間を双曲空間として採用可能である。例えば、判定装置１０は、任意の次元数を有するミンコフスキー空間上の分散表現を生成してもよい。また、判定装置１０は、二葉双曲面の任意の面上の分散表現を生成してよい。

また、判定装置１０は、ポアンカレ円板模型（所謂ポアンカレディスク）における任意の次元の円板上、若しくは、ポアンカレ球体模型における任意の次元の球面上の分散表現を生成してもよい。すなわち、判定装置１０は、双曲幾何学が適用可能な空間上の分散表現を生成し、このような空間上において双曲幾何学を用いた距離に基づいて、情報が有する概念の類似性を判定するのであれば、任意の双曲空間を採用してよい。

〔１−７．判定対象となる情報について〕
上述した例では、判定装置１０は、文章が有する概念を分散表現へと変換した。しかしながら、実施形態は、これに限定されるものではない。例えば、判定装置１０は、音声を複数の部分音声に分割し、分割した各部分音声を順次第１モデルに入力し、第１モデルが出力した分散表現を双曲空間上に投影してもよい。また、判定装置１０は、動画像の各フレームの画像を順次第１モデルに入力し、第１モデルが出力した分散表現を双曲空間上に投影してもよい。

すなわち、判定装置１０は、複数の情報からなる情報群を、情報群が有する概念を示す分散表現であって、双曲空間上の分散表現へと変換するのであれば、任意の種別の情報群が有する概念を、双曲空間上の分散表現へと変換し、分散表現の双曲空間上における距離を算出することで、情報群が有する概念同士を比較してよい。また、例えば、判定装置１０は、文章と動画像等、異なる種別の情報群の概念同士を比較してもよい。

〔２．判定装置の構成〕
以下、上記した提供処理を実現する判定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る判定装置の構成例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、入出力装置１００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、分散表現データベース３１およびモデル３２を記憶する。

分散表現データベース３１には、文章の分散表現が登録される。例えば、図３は、実施形態に係る分散表現データベースに登録される情報の一例を示す図である。図３に示すように、分散表現データベース３１には、「文章ＩＤ」、「文章データ」、「ユークリッド分散表現」、および「双曲空間分散表現」といった情報が対応付けて登録されている。

ここで、「文章ＩＤ」とは、文章を示す識別子である。また、「文章データ」とは、文章の文字列、すなわち、文章のデータである。また、「ユークリッド分散表現」とは、対応付けられた文章のユークリッド空間上における分散表現である。また、「双曲空間分散表現」とは、対応付けられた文章の双曲空間上における分散表現である。

例えば、図３に示す例では、文章ＩＤ「文章＃１」、文章データ「データ＃１」、ユークリッド分散表現「分散表現＃１−１」、および双曲空間分散表現「分散表現＃１−２」が対応付けて登録されている。このような情報は、文章ＩＤ「文章＃１」が示す文章の文章データが「データ＃１」であり、「データ＃１」のユークリッド分散表現が「分散表現＃１−１」であり、双曲空間分散表現が「分散表現＃１−２」である旨を示す。

なお、図３に示す例では、「文章＃１」、「データ＃１」、「分散表現＃１−１」等といった概念的な値について記載したが、実際には、文章を識別する文字列や数値、文章を構成する文字列、分散表現となる多次元量等が登録されることとなる。また、図３に示す情報は、あくまで一例であり、分散表現データベース３１には、図３に示す情報以外にも任意の情報が登録されていてよい。

図２に戻り、説明を続ける。モデル３２は、判定装置１０が用いるモデルであり、例えば、文章からユークリッド空間上における分散表現を生成する第１モデルのデータである。より具体的には、記憶部３０には、第１モデルを構成するノードの接続関係や、ノード間の重みである接続係数が登録される。ここで、モデル３２は、例えば、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。

例えば、モデル３２は、複数の情報を含む情報群の分散表現であって、情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成し、双曲空間上の距離に基づいて、情報群同士の類似性を判定し、判定結果に基づいて、情報群を分散表現に変換するモデルを学習する学習方法で学習されるモデルの情報を含むプログラムパラメータである。例えば、モデル３２は、第１モデルと関数ｆとの組合せにより実現される。

また、モデル３２がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデル３２が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

判定装置１０は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、分散表現の算出を行う。具体的には、モデル３２は、情報群が入力された場合に、情報群が示す概念を示す分散表現を出力するように係数が設定される。

なお、上記例では、モデル３２が、情報群が入力された場合に、情報群が示す概念を示す分散表現を出力するモデル（モデルXとする）である例を示した。しかし、実施形態に係るモデル３２は、モデルXにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデル３２は、情報群を入力とし、モデルXが出力する分散表現を出力とするよう学習されたモデル（モデルY)であってもよい。または、モデル３２は、情報群を入力とし、モデルYの出力値を出力とするよう学習されたモデルであってもよい。また、判定装置１０がＧＡＮ（Generative Adversarial Networks）を用いた処理を行う場合、モデル３２は、ＧＡＮの一部を構成するモデルであってもよい。

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。また、例えば、制御部４０は、プログラムモジュールであるモデル３２、もしくは、モデル３２を含むプログラムモジュールが有する指示に従って、判定処理を実行することとなる。

図２に示すように、制御部４０は、生成部４１、判定部４２、学習部４３、および提供部４４を有する。生成部４１は、複数の情報を含む情報群の分散表現であって、情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する。

例えば、生成部４１は、モデルの学習処理においては、情報管理装置１１０から学習データとなる文章およびラベルを取得する。このような場合、生成部４１は、モデル３２に含まれる第１モデルを用いて、文章が有する概念をユークリッド空間上で示す分散表現を生成する。例えば、生成部４１は、ＲＮＮである第１モデル対して文章に含まれる各単語、すなわち、情報群に含まれる複数の情報を順次入力することで、情報群である文章の分散表現を生成する。換言すると、生成部４１は、情報群に含まれる各情報の概念と、各情報の出現順序とに基づいて、情報群の分散表現を生成する。

そして、生成部４１は、関数ｆを用いて、生成した分散表現を双曲空間上に投影することで、文章が有する概念を双曲空間上で示す分散表現を生成する。例えば、生成部４１は、双曲空間として、ポアンカレ円板模型における任意の次元の円板上、若しくは、ポアンカレ球体模型における任意の次元の球面上の分散表現を生成する。また、例えば、生成部４１は、双曲空間として、ミンコフスキー空間上の分散表現を生成する。より具体的な例を挙げると、生成部４１は、双曲空間として、ミンコフスキー空間の二葉双曲面が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上の分散表現を生成する。そして、生成部４１は、取得した文章と、生成したユークリッド空間上の分散表現と、双曲空間上の分散表現とを分散表現データベース３１に登録する。

また、生成部４１は、モデルの測定処理においては、入出力装置１００から利用者が入力した文章を受付ける。このような場合、生成部４１は、受付けた文章に含まれる単語を順に第１モデルに入力し、第１モデルが出力したユークリッド空間上の分散表現を、関数ｆを用いて双曲空間上の分散表現へと変換する。なお、以下の説明では、双曲空間上の分散表現を双曲表現と記載し、利用者が入力した文章の双曲空間上の分散表現を、取得双曲表現と記載する。

判定部４２は、双曲空間上の距離に基づいて、情報群同士の類似性を判定する。例えば、判定部４２は、分散表現の双曲空間上の距離に基づいて、文章同士の類似性を判定する。例えば、判定部４２は、学習時においては、学習データから文章のペアを選択し、選択選択した各文章の双曲空間上の分散表現を分散表現データベース３１から読出し、読み出した分散表現同士の双曲空間上の距離を算出する。そして、判定部４２は、算出した距離が所定の閾値を超える場合は、選択したペアが類似しないと判定し、算出した距離が所定の閾値以下となる場合は、選択したペアが類似すると判定する。

また、判定部４２は、測定時においては、取得双曲表現と、分散表現データベース３１に登録された双曲表現との双曲空間上の距離をそれぞれ算出する。そして、判定部４２は、算出した距離が最も短い双曲表現と対応する文章、すなわち、利用者から取得した文章と最も類似する文章を特定する。

学習部４３は、生成された分散表現を用いて、情報群を分散表現に変換するモデルを学習する。すなわち、学習部４３は、情報群が有する概念を双曲空間上で示す分散表現を用いて、モデルを学習する。

例えば、学習部４３は、判定部４２から選択された文章のペアと、双曲空間上の距離に基づく判定結果、すなわち、ペアが類似するか否かの判定結果を受付ける。このような場合、学習部４３は、学習データのラベルに基づいて、ペアが類似する文章であるか否かを判定する。そして、学習部４３は、学習データのラベルに基づく判定結果と、双曲空間上の距離に基づく判定結果とが一致するように、モデル３２の学習を行う。

例えば、学習部４３は、学習データのラベルに基づく判定結果と、双曲空間上の距離に基づく判定結果とが一致しない場合は、以下の処理を実行する。例えば、学習部４３は、文章のペアが類似する旨を学習データのラベルが示す場合は、各ペアの双曲表現が類似するように（双曲表現同士の距離が短くなるように）、モデル３２を修正する。一方、学習部４３は、文章のペアが類似しない旨を学習データのラベルが示す場合は、各ペアの双曲表現が類似するように（双曲表現同士の距離が離れるように）、モデル３２を修正する。

すなわち、学習部４３は、複数の情報を含む情報群の分散表現であって、情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する処理と、双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定処理と、判定結果に基づいて、情報群を分散表現に変換するモデルを学習する処理とにより学習が行われたモデル３２を生成する。このようなモデル３２は、測定時における各種の処理を制御部４０に実行させるプログラムモジュールに含まれる情報として利用される。

なお、学習部４３は、いかなる学習アルゴリズムを用いてモデル３２を学習してもよい。例えば、学習部４３は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いてモデル３２を学習してよい。

提供部４４は、判定結果に基づいて、利用者から取得した情報群と類似する他の情報群を特定し、特定した他の情報群を利用者に提供する。例えば、提供部４４は、利用者から取得した文章と最も類似する文章の通知を判定部４２から受付ける。このような場合、提供部４４は、分散表現データベース３１から、通知された文章の文章データを読出し、読み出した文章データを入出力装置１００から出力させる。

〔３．数式の一例について〕
続いて、数式を用いて、判定装置１０が実行する処理の一例について説明する。なお、以下の説明では、ユークリッド空間上の分散表現をｖ＝（ｖ_１，ｖ_２）およびｕ＝（ｕ_１，ｕ_２）で示し、双曲空間上に投影した分散表現を、チルダ付のｖまたはｕで示す。

例えば、２次元のポアンカレディスク上における分散表現を生成する例について説明する。例えば、図４は、双曲空間としてポアンカレディスクを採用する例を説明する図である。例えば、第１モデルを用いて生成された分散表現をｖとすると、ポアンカレディスク上に投影された分散表現ｖは、以下の式（１）で表すことができる。

なお、式（１）では、ポアンカレディスク上に投影された分散表現ｖをチルダ付のｖで示した。また、式（１）のａは、スケーリングファクターであり、任意の数値が採用可能である。なお、ａを２分の１に設定した場合、原点と分散表現との距離が、投影前のユークリッド空間上とポアンカレディスク上とで一致することとなる（例えば、非特許文献２、ｐ３２を参照）。

ここで、ポアンカレディスク上に投影した分散表現ｖおよび分散表現ｕの距離ｄは、以下の式（２）で示すことができる。

ここで、式（１）より、式（２）は、式（３）で示すように変形することができる。すなわち、ポアンカレディスク上に投影した分散表現ｖおよび分散表現ｕの距離ｄは、ユークリッド空間上の分散表現ｖおよび分散表現ｕを用いて、以下の式（３）で示すことができる。

このような式（３）を用いることで、判定装置１０は、第１モデルにより生成されたユークリッド空間上の分散表現を用いて、双曲空間上の距離を算出することができる。

ここで、理論上はポアンカレディスク上に無限の情報を埋め込むことができるが、各種の情報処理装置により実際の計算を行った場合、精度的な問題が生じてしまう。例えば、ポアンカレディスク上に投影された分散表現は、ポアンカレディスクの円周よりも外側に投影されることが許されない（すなわち、単位円からはみ出すことが許されない）が、単精度で分散表現の数値を算出した場合、投影対象となる分散表現の数によっては、分散表現がポアンカレディスクの円周よりも外側に投影されてしまう恐れがある。また、ポアンカレディスクの原点には、情報を埋め込むことができない。

一方で、ミンコフスキー空間における二葉双曲面が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上においては、ポアンカレディスクと同様の性質を性質を持ちながら単位円上への閉じ込めが不要となることが知られている。そこで、判定装置１０は、ミンコフスキー空間における二葉双曲面が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上に、分散表現の投影を行ってもよい。

例えば、図５は、双曲空間として二葉双曲面を採用する例を説明する図である。例えば、焦点軸をｚ軸とした場合、図５に示すように、二葉双曲面が有する２つの超平面のうち焦点軸上の座標が正となる超平面、すなわち、ｚ＞０となる超平面（以下、「ミンコフスキー平面」と記載する。）は、以下の式（４）を満たす点の集合で示すことができる。

このようなミンコフスキー平面上に２次元のユークリッド空間上の分散表現を投影する処理の一例について説明する。例えば、ミンコフスキー平面上の点をチルダ付のｖで表し、焦点軸方向の成分をチルダ付きのｖ_０とすると、以下の式（５）で示すことができる。また、式（５）に示す各成分は、以下の式（６）を満たす。

このような式（６）を変形すると、以下の式（７）を得ることができる。

このような式（７）を用いると、ミンコフスキー平面上の点の座標は、以下の式（８）で示すことができる。

ここで、図１に示したように、２次元のユークリッド空間上の分散表現をミンコフスキー平面上へと投影する関数ｆは、以下の式（９）で示すことができる。

また、ミンコフスキー平面上における分散表現ｕおよび分散表現ｖは、以下の式（１０）、（１１）で示すことができる。

この結果、分散表現ｕおよび分散表現ｖの擬内積は、以下の式（１２）で示すことができる。ここで、数式におけるドット積の・記号は、ユークリッド空間なベクトル同士のものは普通の内積、双曲空間上のベクトル同士のものは擬内積、という使い分けを暗黙で行っている。

このため、擬内積と逆双曲線関数（ａｒｃｏｓｈ）とを用いてミンコフスキー平面のベクトルである チルダ付きu、vを用いた距離として表すと、以下の式（１３）で示すことができる。また、ユークリッド平面のベクトル u、vを用いた距離は、（１４）で示すことができる。

判定装置１０は、このような式（１４）を用いて、分散表現同士のミンコフスキー平面上における距離を算出すればよい。なお、上述した式（１４）は、任意の次元のミンコフスキー超平面上における距離に適用可能である。

〔４．判定装置が実行する処理の流れの一例〕
次に、図６を用いて、判定装置１０が実行する提供処理の流れの一例について説明する。図６は、実施形態に係る判定処理の流れの一例を説明するフローチャートである。まず、判定装置１０は、文章を取得し（ステップＳ１０１）、文章に含まれる各単語を順に第１モデルに入力し、ユークリッド空間上の分散表現を生成する（ステップＳ１０２）。続いて、判定装置１０は、分散表現を双曲空間上の分散表現に変換（投影）し（ステップＳ１０３）、双曲空間上における分散表現同士の距離を判定する（ステップＳ１０４）。そして、判定装置１０は、判定結果に基づいて、モデルの学習若しくは類似文章の抽出を行い（ステップＳ１０５）、処理を終了する。

〔５．変形例〕
上記では、判定装置１０による提供処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、判定装置１０が実行する判定処理のバリエーションについて説明する。

〔５−１．装置構成〕
上述した例では、判定装置１０は、判定装置１０内で判定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、判定装置１０は、情報群の双曲表現を生成する生成装置により生成された双曲表現を用いて、判定処理を実行してもよい。また、判定装置１０は、学習処理を実行する学習装置や、提供処理を実行する提供処理と連動することで、上述した各処理を実現してもよい。例えば、生成装置は、図２に示す生成部４１を有し、判定装置１０は、図２に示す判定部４２のみを有し、学習装置は、図２に示す学習部４３のみを有し、提供装置は、図２に示す提供部４４のみを有してもよい。また、判定装置１０は、分散表現データベース３１を外部のストレージサーバに記憶させてもよい。

〔５−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５−３．プログラム〕
また、上述してきた実施形態に係る判定装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムまたはデータ（例えば、モデル３２）を実行することにより、制御部４０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、モデル３２）を記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔６．効果〕
上述したように、判定装置１０は、複数の情報を含む情報群の分散表現であって、その情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する。そして、判定装置１０は、双曲空間上の距離に基づいて、情報群同士の類似性を判定する。このように、判定装置１０は、ユークリッド空間ではなく双曲空間上の距離に基づいて、複数の情報からなる情報群、すなわち、ツリー形式の概念を有すると推定されうる情報群が示す概念同士を比較する。このため、判定装置１０は、分散表現の比較精度を向上させることができる。

また、判定装置１０は、生成された分散表現を用いて、情報群を分散表現に変換するモデルを学習する。例えば、判定装置１０は、モデルを用いて、情報群が有する概念をユークリッド空間上で示す分散表現を生成し、生成した分散表現を双曲空間上に投影することで、その情報群が有する概念を双曲空間上で示す分散表現を生成し、情報群が有する概念を双曲空間上で示す分散表現を用いて、モデルを学習する。このため、判定装置１０は、情報群の双曲表現を適切に生成することができるので、分散表現の比較精度を向上させることができる。

また、判定装置１０は、判定結果に基づいて、利用者から取得した情報群と類似する他の情報群を特定し、特定された他の情報群を利用者に提供する。このため、判定装置１０は、利用者から取得した情報群と概念が類似する他の情報群を利用者に提供することができる。

また、判定装置１０は、再帰型ニューラルネットワークに対して情報群に含まれる複数の情報を順次入力することで、情報群の分散表現を生成する。このため、判定装置１０は、情報群が有する概念を示す分散表現の比較精度を向上させることができる。

また、判定装置１０は、双曲空間として、ポアンカレ円板模型における任意の次元の円板上、若しくは、ポアンカレ球体模型における任意の次元の球面上の分散表現を生成する。また、判定装置１０は、双曲空間として、ミンコフスキー空間上の分散表現を生成する。例えば、判定装置１０は、双曲空間として、ミンコフスキー空間の二葉双曲面が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上の分散表現を生成する。このため、判定装置１０は、情報群の双曲表現を適切に生成することができる。

また、判定装置１０は、情報群に含まれる各情報の概念と、各情報の出現順序とに基づいて、その情報群の分散表現を生成する。このため、判定装置１０は、複数の情報により構成される情報群の概念、すなわち、ツリー形式の情報群の概念を示す双曲表現を適切に生成できる。

また、判定装置１０は、情報群として、複数の単語を含む文章の分散表現を生成し、分散表現の双曲空間上の距離に基づいて、文章同士の類似性を判定する。このため、判定装置１０は、文章の概念の比較精度を向上させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 分散表現データベース
３２ モデル
４０ 制御部
４１ 生成部
４２ 判定部
４３ 学習部
４４ 提供部
１００ 入出力装置
１１０ 情報管理装置

Claims (13)

1. 複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成部と、
   前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定部と
   を有することを特徴とする判定装置。
2. 前記生成部により生成された分散表現を用いて、前記情報群を分散表現に変換するモデルを学習する学習部
   を有することを特徴とする請求項１に記載の判定装置。
3. 前記生成部は、前記モデルを用いて、前記情報群が有する概念をユークリッド空間上で示す分散表現を生成し、生成した分散表現を前記双曲空間上に投影することで、当該情報群が有する概念を双曲空間上で示す分散表現を生成し、
   前記学習部は、前記情報群が有する概念を双曲空間上で示す分散表現を用いて、前記モデルを学習する
   ことを特徴とする請求項２に記載の判定装置。
4. 前記判定部による判定結果に基づいて、利用者から取得した情報群と類似する他の情報群を特定する特定部と、
   前記特定部により特定された他の情報群を前記利用者に提供する提供部と
   を有することを特徴とする請求項１〜３のうちいずれか１つに記載の判定装置。
5. 前記生成部は、再帰型ニューラルネットワークに対して前記情報群に含まれる複数の情報を順次入力することで、前記情報群の分散表現を生成する
   ことを特徴とする請求項１〜４のうちいずれか１つに記載の判定装置。
6. 前記生成部は、前記双曲空間として、ポアンカレ円板模型における任意の次元の円板上、若しくは、ポアンカレ球体模型における任意の次元の球面上の分散表現を生成する
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。
7. 前記生成部は、前記双曲空間として、ミンコフスキー空間上の分散表現を生成する
   ことを特徴とする請求項１〜６のうちいずれか１つに記載の判定装置。
8. 前記生成部は、前記双曲空間として、ミンコフスキー空間の二葉双曲面が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上の分散表現を生成する
   ことを特徴とする請求項７に記載の判定装置。
9. 前記生成部は、前記情報群に含まれる各情報の概念と、各情報の出現順序とに基づいて、当該情報群の分散表現を生成する
   ことを特徴とする請求項１〜８のうちいずれか１つに記載の判定装置。
10. 前記生成部は、前記情報群として、複数の単語を含む文章の分散表現を生成し、
    前記判定部は、前記分散表現の前記双曲空間上の距離に基づいて、文章同士の類似性を判定する
    ことを特徴とする請求項１〜９のうちいずれか１つに記載の判定装置。
11. 判定装置が実行する判定方法であって、
    複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成工程と、
    前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定工程と
    を含むことを特徴とする判定方法。
12. 複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成手順と、
    前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定手順と
    をコンピュータに実行させるための判定プログラム。
13. 複数の情報を含む情報群の分散表現であって、当該情報群の概念を双曲幾何学上の空間である双曲空間上で示す分散表現を生成する生成工程と、
    前記双曲空間上の距離に基づいて、情報群同士の類似性を判定する判定工程と、
    前記判定工程による判定結果に基づいて、前記情報群を分散表現に変換するモデルを学習する学習工程と
    を含むことを特徴とする学習方法で学習されるモデルの情報を含むプログラムパラメータ。

Images