JP2023068865A - 機械学習プログラム、機械学習方法及び機械学習装置 - Google Patents

Abstract

【課題】機械学習の精度に対する信頼性の低下を抑制する機械学習プログラム、機械学習方法及び機械学習装置を提供する。【解決手段】複数のトリプルデータを表すテンソルを生成し、テンソルをコアテンソル及び因子行列にテンソル分解する際、複数のトリプルデータのうちの第１のトリプルデータに対応する前記因子行列の第１の要素の値と、コアテンソルの第２の要素の値とを固定した条件下で、テンソル分解を実行する処理をコンピュータに実行させる。【選択図】図４

Description

本発明は、機械学習技術に関する。

統計的機械学習は、データから統計的方法に基づいて有効な知識を自動抽出する技術である。統計的機械学習は、多くの事例が当てはまるケースについては精度の良い学習を行うことができる。これに対して、ドメイン知識や例外的なデータは、統計的な学習が困難であり、統計的機械学習には不向きである。統計的機械学習を用いて、例えば、多様なバイオデータからの物質の関係の予測（推論）やデータに潜む関係の発見が期待されている。

一般的に、機械学習では、学習したデータを機械学習モデルへ入力した場合でも予測結果に間違いが発生する可能性が存在する。特に、有名なケースや特徴的なケースについて予測を誤った場合、利用者から機械学習の精度に対する信頼を失うおそれが高い。

統計的機械学習では、知識グラフ（ＫＧ：Knowledge Graph）の埋め込み（embedding）が用いられる場合がある。知識グラフとは、専門分野などの知識を体系的に表現するフレームワークである。知識グラフの埋め込み技術では、様々なモデルが研究されている。

知識グラフでは、知識の表現は、「ｓ（主語）についてｒ（述語）の値（目的語）はｏである」といったトリプルと呼ばれる形式で表現される。主語（ｓ）と目的語（ｏ）はエンティティと呼ばれ、述語（ｒ）はリレーションと呼ばれる。トリプルは、記号的には［ｓ，ｒ，ｏ］と表現され、トリプルの３つの要素は埋め込み空間での３つのベクトルでそれぞれ表現される。知識をトリプルデータとし、エンティティ及びリレーションをそれぞれベクトルで表現することが埋め込みにあたり、この埋め込みよって未知のトリプルの予測が可能となる。例えば、バイオデータを用いる場合、たんぱく質の様々な種類がエンティティとなり、反応結果や発生状態などがリレーションとなる。エンティティは１００～数１０万種類におよび、リレーションは１０～１００種類程度である。

知識グラフを用いて統計的機械学習を行うことで、関心のある事象を指定し、指定した事象に関連する他の事象を把握して、データの関連を解釈することが望まれる。特定の事象に関連する事象とは、その特定の事象のエンティティ又はリレーションが繋がり同時に成り立つ事象である。特定の事象に関連する事象は、例えば、「遺伝子＃Ａが変異＃Ｘを持つ、遺伝子＃Ｂが変異＃Ｙを持つ、薬剤＃Ｚがパスウェイ＃Ｐに効くこと、は互いに関連している」という事象である。

知識モデルの埋め込みには、様々なモデルが存在する。例えば、知識モデルの埋め込みとして、ＲＥＳＣＡＬ、ＤｉｓｔＭｕｌｔ、ＨｏｌＥ、ＣｏｍｐｌＥｘ、Ａｎａｌｏｇｙ、ＳｉｍｐｌＥ及びＢｌｏｃｋＨｏｌＥなどが存在する。これらは、φ（ｓ，ｒ，ｏ）と表されるスコアリング関数が１に近いと真となるように学習及び予測が行われる。他にも、知識モデルの埋め込みとして、ＴｒａｎｓＥ、ＴｒａｎｓＨ、ＴｒａｎｓＲ及びＳＴｒａｎｓＲなどが存在する。これらは、スコアリング関数（φ）が０に近いと真となるように学習及び予測が行われる。知識グラフ埋め込みの学習時のコスト関数は、これらのスコアリング関数を全トリプルで合計したものが利用される。

ここで、知識を表現するトリプルデータである（ｓ，ｒ，ｏ）が正例データである場合で考える。トリプルデータのスコアはφ（ｓ，ｒ，ｏ）と表される。そして、正例データを書き換えることで負例データの集合が生成されてもよい。

また、コスト関数は、Ｌ＝Σ_{（ｓ，ｒ，ｏ）∈ｇ，（ｓ’，ｒ，ｏ’）∈ｇ’}［γ－φ（ｓ，ｒ，ｏ）＋φ（ｓ’，ｒ，ｏ’）］_＋と表される。ここで、［ｘ］_＋＝ｍａｘ（０，ｘ）であり、γはマージンハイパーパラメータであり、γ＞０である。コスト関数の括弧内が負、すなわち正例スコアと負例スコアの差であるφ（ｓ，ｒ，ｏ）－φ（ｓ’，ｒ，ｏ’）がγ以上の場合、学習されない。

さらに、知識グラフの埋め込みのためにＴｕｃｋｅｒ分解を用いるＴｕｃｋＥＲと呼ばれる手法が存在する。Ｔｕｃｋｅｒ分解は、テンソルを小さなテンソルであるコアテンソルと、各モードに対応した行列の組にばらす分解である。モードは、分解前のテンソルの各軸である。ＴｕｃｋＥＲにより、スコア関数は、コアテンソルと各モードに対応した行列の組で表される。

一般的に、通常の知識グラフでは正しい事例しか収集されない。すなわち、訓練データとして正例データが収集される。機械学習に用いる訓練データを正例データに限定して学習した場合、エンティティを示すベクトル同士を分離することが困難になる場合がある。そこで、負例の生成が求められる。例えば、正例でないものを全て負例と仮定して学習する技術が提案されている。この技術では、可能性のある負例のうち一部を用いて学習を行う。そして、学習完了後の予測では、入力トリプルのスコアが閾値より大きい場合に真であると予測する。この技術では、次元が充分であれば、訓練データ通りの真偽値を完全に表現するベクトル値を与えることができる。また、この技術は、ＤｉｓｔＭｕｌｔやＣｏｍｐｌＥｘやＳｉｍｐｌＥといった他の従来モデルを一般化する。そして、この技術の予測精度は、ＣｏｍｐｌＥｘなどのＳＯＴＡと比較してもよい精度が得られる。

ところで、一般的に機械学習を行う場合、全ての訓練データが等しく学習される。このような学習により未知のトリプルの真偽が予測可能であるが、そのような予測に至った理由や根拠の解釈が容易ではない。

なお、複数の商品を示すエンティティの属性を含むデータセットを収集して知識グラフを生成し、生成した知識グラフで学習を行い、ユーザのために推薦する商品を決定する技術が存在する。また、対応する２つの実態間の関連関係が予め決められたトレーニングサンプルを関係行列の積に変換し、変換した関係行列の積を用いてニューラルネットワークを生成する技術が存在する。また、知識グラフ及び数値属性の予測の損失を共同で最小化することで知識グラフの埋め込みを学習し、知識グラフの隣接行列とラベル付けされたノードの数値を使用して、数値属性伝播アルゴリズムにより数値属性の欠落しているノードを予測する技術が存在する。

特開２０１９－１２５３６４号公報 特開２０２０－１４９６６３号公報 米国特許出願公開第２０２０／０１６０２１５号明細書

しかしながら、従来の統計的機械学習を行った場合、学習したデータでも学習後の予測誤判定の可能性が残存する。そのため、ＴｕｃｋＥＲを用いた技術であっても、訓練データの全てが真になる保証はない。したがって、有名なケースや特徴的なケースについて予測を誤るおそれがあり、機械学習の精度に対する信頼性が低くなるおそれがある。

開示の技術は、上記に鑑みてなされたものであって、機械学習の精度に対する信頼性の低下を抑制する機械学習プログラム、機械学習方法及び機械学習装置を提供することを目的とする。

本願の開示する機械学習プログラム、機械学習方法及び機械学習装置の一つの態様において、複数のトリプルデータを表すテンソルを生成し、前記テンソルをコアテンソル及び因子行列にテンソル分解する際、前記複数のトリプルデータのうちの第１のトリプルデータに対応する前記因子行列の第１の要素の値と、前記コアテンソルの第２の要素の値とを固定した条件下で、前記テンソル分解を実行する処理をコンピュータに実行させる。

１つの側面では、本発明は、学習の信頼性を維持し且つデータの関連性の解釈を可能とすることができる。

図１は、実施例に係る機械学習装置のブロック図である。 図２は、３階テンソルを説明するための図である。 図３は、テンソル分解を説明するための図である。 図４は、実施例に係る機械学習装置によるトリプルデータの学習処理のフローチャートである。 図５は、実施例に係る機械学習装置による予測処理のフローチャートである。 図６は、機械学習装置のハードウェア構成図である。

以下に、本願の開示する機械学習プログラム、機械学習方法及び機械学習装置の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する機械学習プログラム、機械学習方法及び機械学習装置が限定されるものではない。

図１は、実施例に係る機械学習装置のブロック図である。機械学習装置１０は、図１に示すように、データ保持部１１及び制御部１２を有する。

データ保持部１１は、記述が真であるトリプルデータを訓練データとして予め保持する。例えば、主語となるエンティティ（ｅ_１）が「日本」であり、目的語となるエンティティ（ｅ_２）が「東京」であり、述語であるリレーション（ｒ_１）が「首都」である場合、このトリプルデータは（ｅ_１，ｒ_１，ｅ_２）と表される。

データ保持部１１が保持する全てのトリプルデータは、３階テンソルとしてまとめて表される。例えば、エンティティの数がｎｅであり、リレーションの数がｎｒの場合、全てのトリプルデータを表すテンソルは、ｎｅ×ｎｒ×ｎｅの３階テンソルである。

図２は、３階テンソルを説明するための図である。ここで、３階テンソルは、３次元配列である。階数は、テンソルを表す配列の次元数にあたる。例えば、１階テンソルはベクトルであり、２階テンソルは行列である。そして、テンソルにおける各要素の位置は、添え字で表される。例えば、図２の３階テンソル１０１の各要素はＡ_１１１～Ａ_３３３により表される。ここで、３階テンソル１０１の指標表現をＡ_ｉｊｋと表す。また、３階テンソル１０１のシンボリック表現をＡと表す。

また、３階テンソルの各次元方向の数をｎとし、階数をｍとした場合、３階テンソルの要素の総数である成分数はｎ^ｍである。例えば、図２の３階テンソル１０１は、ｎ＝３及びｍ＝３であるので、成分数は３^３＝２７である。

さらに、３階テンソルの配列における各次元にあたる配列の方向を示す軸は、モードと呼ばれる。例えば、図２の３階テンソル１０２に示すように、３次元を表す各軸は、モード１～３にあたる。すなわち、モードの数が階数にあたる。ここで、３階テンソル１０２のモード１の方向の要素の個数はＩであり、モード２の方向の要素の個数はＪであり、モード３の方向の要素の個数はＫである。そして、モード１の方向の位置を表す添え字をｉとし、モード２の方向の位置を表す添え字をｊとし、モード３の方向の位置を表す添え字をｋとする。この場合、要素位置は、３個の添え字（ｉ，ｊ，ｋ）でインデックスとして用いて表すことができる。そして、３階テンソル１０２をＡとして、（ｉ，ｊ，ｋ）の位置にあたる要素をａ_ｉｊｋと表すと、Ａ＝（ａ_ｉｊｋ）（ｉ＝１，２，・・・，Ｉ；ｊ＝１，２，・・・，Ｊ；ｋ＝１，２，・・・，Ｋ）と表すことができる。そして、３階テンソル１０２の要素の総数である成分数はＩ×Ｊ×Ｋ個である。ここで、３階テンソル１０２の各要素を表すａ_ｉｊｋは、（ｉ，ｊ，ｋ）を（ｉ_１，ｉ_２，ｉ_３）として、ａ_{ｉ１，ｉ２，ｉ３}とも書かれる。

制御部１２は、学習用のトリプルデータをテンソルで表してテンソル分解を行い、テンソル分解の結果を用いて生成された機械学習モデルによって予測を行う。以下に制御部１２の詳細について説明する。制御部１２は、予約トリプル特定部１２１、負例生成部１２２、値設定部１２３、コアテンソル割当部１２５、因子行列割当部１２６、機械学習モデル生成部１２７及び予測部１２８を有する。

予約トリプル特定部１２１は、例えば、利用者により指定された学習後の予測において正解を予測することを保証したいトリプルデータの情報入力を外部装置（不図示）から受ける。学習後の予測において正解を保証したいトリプルデータは、例えば、特定のトリプルデータを学習に用いた場合に、学習により作成された機械学習モデルを用いてその特定のトリプルデータの真偽の予測を行った場合に、特定のトリプルデータの正解ラベルが示す通りに判定されることを保証したいトリプルデータである。実施例において、訓練済みの機械学習モデルによって教師データの正解レベルが示す通りに真偽が予測されることは「正解する」、または「正解を予測する」と表現される。訓練済みの機械学習モデルが正解するか否かはトリプルデータごとに起こる事象である。このようなトリプルデータは、利用者の興味対象であるトリプルと考えられる。そして、予約トリプル特定部１２１は、データ保持部１１が保持するトリプルデータの中から、指定に応じて学習後の予測において正解することを保証したいトリプルデータを抽出する。この予約トリプル特定部１２１により抽出された学習後の予測において正解することを保証したいトリプルデータの集合が「予約トリプル」である。その後、予約トリプル特定部１２１は、予約トリプルの情報を値設定部１２３へ出力する。

負例生成部１２２は、データ保持部１１が保持するトリプルデータに含まれる正例データをもとにして新たな負例データの生成を実行する。例えば、ｓを主語、ｏを目的語、ｓとｏの関係を表す述語をｒとして（ｓ，ｒ，ｏ）で表されるトリプルデータが正例データである場合で説明する。トリプルのスコアは、φ（ｓ，ｒ，ｏ）とする。ここで、エンティティの集合をε、正例データの集合をｇとした場合、負例生成部１２２は、次の数式（１）又は（２）によりトリプルの負例データを生成する。

その後、負例生成部１２２は、生成した負例のトリプルデータの情報を値設定部１２３へ出力する。以下では負例のトリプルデータを単に負例データと呼ぶ。なお、負例が教師データ中に存在するとき、そのトリプルには「偽(false)」の正解ラベルが対応しており、機械学習モデルによって偽と予測されることが「正解」である。負例に「真(true)」の予測ラベルがつけられるときは、予測結果は「不正解」である。理想的な機械学習モデルは、負例に対して低スコアを出力し、正例には高スコアを出力する。本実施例では、「訓練済みの機械学習モデルが予約トリプルに対して正解を予測することを保証する」という制約を満たす機械学習を行えることが特徴である。

値設定部１２３は、データ保持部１１が保持する全てのトリプルデータを取得する。また、値設定部１２３は、予約トリプルの情報の入力を予約トリプル特定部１２１から受ける。さらに、値設定部１２３は、負例生成部１２２で生成された負例データの情報の入力を負例生成部１２２から受ける。

値設定部１２３は、取得した全てのトリプルデータを表す３階テンソルを生成する。以下では、値設定部１２３により生成された３階テンソルは３階テンソルＸ又は単にＸと表記される。また、３階テンソルＸの各要素は、ｘ_ｉｊｋと表される。

値設定部１２３は、異なるエンティティは異なるベクトルとなり、異なるリレーションは異なるベクトルとなるように各エンティティ及び各リレーションをベクトルで表す。そして、値設定部１２３は、各ベクトルを用いて、生成した３階テンソルＸにおける各トリプルデータの位置を特定する。

例えば、エンティティの数が４であり且つリレーションの数が４の場合について説明する。値設定部１２３は、異なるエンティティであるｅ１～ｅ４をそれぞれ、ｅ１＝（１，０，０，０）、ｅ２＝（０，１，０，０）、ｅ３＝（０，０，１，０）、ｅ４＝（０，０，０，１）と表す。また、値設定部１２３は、異なるリレーションであるｒ１～ｒ４をそれぞれ、ｒ１＝（１，０，０，０）、ｒ２＝（０，１，０，０）、ｒ３＝（０，０，１，０）、ｒ４＝（０，０，０，１）と表す。この場合、（ｅ１，ｒ１，ｅ２）のトリプルデータは、主語が１番目のエンティティであり、述語が１番目のリレーションであり、目的語が２番目のエンティティであるので、値設定部１２３は、３階テンソルＸにおける（１，１，２）の位置の要素であると特定する。

値設定部１２３は、３階テンソルＸの各要素のうち予約トリプルを特定する。また、値設定部１２３は、３階テンソルＸの各要素のうち正例データであるデータ保持部１１が保持していた全てのトリプルデータの位置を特定する。そして、値設定部１２３は、正例データの値として１をセットする。すなわち、正例データをｘ_ｌｍｎとした場合、値設定部１２３は、ｘ_ｌｍｎ＝１とする。

また、値設定部１２３は、３階テンソルＸの各要素のうち負例生成部１２２で生成された負例データの位置を特定する。そして、値設定部１２３は、負例データの値として０をセットする。すなわち、負例データをｘ_oｐｑとした場合、値設定部１２３は、ｘ_oｐｑ＝０とする。

さらに、値設定部１２３は、正例データ及び負例データのいずれでもないトリプルデータである未定データについては、値設定部１２３は、ｍをセットする。すなわち、未定データをｘ_ｒｓｔとした場合、値設定部１２３は、ｘ_ｒｓｔ＝ｍとする。ｍは、負例データの値である０と正例データの値である１との間の値である。例えば、値設定部１２３は、ｍ＝０．５とすることができる。

ここでは３階テンソルＸをテンソル分解する基本方法について説明する。テンソル分解は教師データを学習することに相当する。この方法は、本実施例において参考として説明されているものである。後述のコアテンソル割当部１２５、因子行列割当部１２６及び機械学習モデル生成部１２７の処理ではこの方法が変更して用いられている。３階テンソルＸについてＴｕｃｋｅｒ分解を行い、図３に示すように、コアテンソルであるＧとＡ～Ｃの因子行列を求める。具体的には、テンソル分解部１２４は、コアテンソルであるＧとＡ～Ｃの因子行列の積を用いた次の数式（３）及び（４）によりＸを近似して表す。図３は、テンソル分解を説明するための図である。

ここで、数式（４）における因子行列を表すＡ、Ｂ、Ｃの前の添え字は、各行列が対応するモードを表す。この場合、個々のｇ_ｐｑｒと、対応する（ａ_ｉｐ，ｂ_ｊｑ，ｃ_ｋｒ）を要素に持つ３ベクトルが３階テンソルＸの各軸方向すなわち各モードの方向の変化の特徴をとらえていると期待できる。ｇ_ｐｑｒは相関を保持する潜在変数とみなすことができ、ｇ_ｐｑｒの絶対値は、３階テンソルＸの異なる軸間の相互作用レベルの大きさを表す。コアテンソルであるＧの大きさ（Ｐ，Ｑ、Ｒ）は、３階テンソルＸより小さく設定することが好ましい。すなわち、Ｐ＜Ｉ、Ｑ＜Ｊ、Ｒ＜Ｋである。これは、（Ｇ，Ａ，Ｂ，Ｃ）で表される少ないパターンの組み合わせで、Ｘを解釈するためである。

３階テンソルＸのテンソル分解により、コアテンソルＧ及び因子行列Ａ～Ｃが決定される。基本的なテンソル分解の処理過程では、まずコアテンソルＧ及び因子行列Ａ～Ｃは初期値がランダム値で適当に定められ、後述の数式（７）または（８）で定められた損失関数を減少させるように少しずつパラメータが繰り返し更新されて、繰り返しのストップ条件が満たされたとき、その時点のコアテンソルＧ及び因子行列Ａ～Ｃの値をテンソル分解の解とするものである。

本実施例で利用されるＴｕｃｋＥＲの方法では、上記を変更して以下の変形したＴｕｃｋＥＲ分解（学習）を行う。ｘ_ｉｊｋは、教師データであり、トリプル（ｓ，ｒ，ｏ）が真の場合は１の値をとり、偽の場合は０の値をとる。ｘ_ｉｊｋは、数式（５）で表せられる。ｐ_ｉｊｋは、このｘ_ｉｊｋを近似する機械学習モデルによる計算結果であり、機械学習モデルは式７、式８によって定式化され変形したＴｕｃｋＥＲ分解により訓練される。σは、シグモイド関数である。（φ_ｉｊｋ）＝σ（Ｇ×_１Ａ×_２Ｂ×_３Ｃ）である。ここで、モード１及びモード３は、同じエンティティと仮定され、Ｃ＝Ａであるため、φ_ｉｊｋは数式（６）で表せられる。一定回数の逐次更新が終われば、そのときのＧ、Ａ、Ｂがテンソル分解された解であり、それをもちいて予測が可能となる。

コアテンソル割当部１２５は、予約トリプルの情報を予約トリプル特定部１２１から取得する。また。コアテンソル割当部１２５は、３階テンソルＸの情報を値設定部１２３から受ける。

次に、コアテンソル割当部１２５は、予約トリプル情報を各要素にランダム値が設定された初期のコアテンソルＧに割当てて反映させる。まず、コアテンソル割当部１２５は、予約トリプルをグループ数ｔ にわける。もしグループ分けが不要ならグループは１（ｔ＝１）としてもよい。グループ分けは解釈性の向上を意図するものであり、必ずしも必要な処理ではない。そして、コアテンソル割当部１２５は、初期のコアテンソルに含まれる各要素のうち、グループ数ｔ個の要素を予約トリプルの各グループに割り当てる。例えば、予約トリプルの特徴パターンのグループ数がｔ個の場合、コアテンソル割当部１２５は、初期のコアテンソルに含まれる要素の中からｔ個の要素を適当に選択する。そして、コアテンソル割当部１２５は、選択したｔ個の要素のそれぞれを予約トリプルの特徴パターンの各グループに割り当てる。例えば、コアテンソル割当部１２５は、図３におけるコアテンソルＧの要素のうち、添字１１０で指定される要素１つを予約トリプルの特徴パターンの１つのグループに割り当てる。もしグループが複数あれば、その数だけ、コアテンソル割当部１２５は、コアテンソルＧの１つの要素を予約トリプルの１つのグループに割り当てる。そして、コアテンソル割当部１２５は、コアテンソルＧにおいて予約トリプルの特徴パターンの各グループに割り当てられた要素の情報を因子行列割当部１２６に通知する。以下では、予約トリプルのグループを、単に「グループ」と呼ぶ。

ここで、上述したように、コアテンソル割当部１２５において、予約トリプルは複数のグループに分けられる。ただし、コアテンソル割当部１２５は、グループ内のトリプルデータは関連することを仮定してグループ分けを行うことが好ましい。トリプルデータが関連するとは、例えば、割り当てられたコアテンソルＧの要素であるｇ_ｉｊｋを介して連動して真や偽が予測されることが適当であるトリプルデータ間の関係を指す。もし、複数のトリプルデータが互いに関連するものでないと期待される場合、コアテンソル割当部１２５は、それぞれを異なるグループとしてコアテンソルＧの異なる要素に割り当てることが好ましい。これにより、関連しないトリプルデータのそれぞれについて、コアテンソルＧの絶対値が相対的に大きい要素が割り当てられる。その結果として、グループを分けたトリプルデータはそれぞれが訓練後においても正解を予測されることが保証される。もし予約トリプルのグループ分けが不要と考えられる場合には、グループは１つ（ｔ＝１）であってもよい。

これに対して、もし関連しないトリプルデータを同じグループとしてコアテンソルＧの１つの要素であるｇ_ｉｊｋに割り当てた場合、一貫しないランダムな方向へ逐次学習した結果としてｇ_ｉｊｋの値がゼロに近くなるおそれがあり、その場合、そのグループのトリプルデータは教師データ通りに予測されることが保証されない。したがって、上述したように、コアテンソル割当部１２５は、グループ内のトリプルデータは関連することを仮定してグループ分けを行うことが好ましい。

コアテンソル割当部１２５は、初期のコアテンソルＧにおける予約トリプルのグループに割り当てられた要素の値をｑ（ｑ＞＞１）と設定する。例えば、ｑは１０と設定されてもよい。因子行列割当部１２６により設定された要素の値は、学習時には値が固定されて更新されない。例えば、ｇ_１２７が予約トリプルのグループの１つに割り当てられた場合、コアテンソル割当部１２５は、ｇ_１２７＝ｑとする。また、数式で表現しやすいように、割り当てられたコアテンソルＧの要素を「固定コア要素(ｇ_ｉｊｋ)」と呼び、「固定したコア要素」の集合をΩ＝｛(ｐ，ｑ，ｒ)|ｇ_ｐｑｒ＝ｑ｝と定義する。

次に、因子行列割当部１２６は、予約トリプルのグループを割り当てたコアテンソルＧにおける要素の位置と積を実行される因子行列Ａ～Ｃの要素の一部について値を１または－１に固定する。ここで、モード１及びモード３は、同じエンティティセットを示すと仮定してもよい。その場合は因子行列Ｃ＝Ａとなる。上記の通りｇ_１２７が予約トリプルのグループの１つに割り当てられた場合、数式（６）の計算を行った場合に、コアテンソルＧにおける（１，２、７）の位置にある要素ｇ_１２７との積を実行される因子行列Ａ～Ｂの要素は、ａ_ｉ１、ｂ_ｊ２、ａ_ｋ７である。

因子行列割当部１２６は、ａ_ｉ１、ｂ_ｊ２、ａ_ｋ７と表される要素のうち予約トリプルに影響する要素の値を１または－１に固定する。例えば、３階テンソルＸにおいて予約トリプルが正例（３，１，４）及び負例（３，１，５）の２つである場合、因子行列割当部１２６は、ａ_３１＝１、ｂ_１２＝１、ａ_４７＝１及び、ａ_３１＝１、ｂ_１２＝－１、ａ_５７＝１とする。正例の予約トリプルでは、ｂjq＝１とする。正例の予約トリプル（３，１，４）のテンソル積は、学習後もこれらの積、すなわち（ｇ_１２７×ａ_３１×ｂ_１２×ａ_４７＝ｑ）の値に大きく影響されるため正の値となる。これに対して負例の予約トリプルでは、ｂjq＝－１とする。これにより負例の予約トリプル（３，１，５）のテンソル積は、学習後もこれらの積、すなわち（ｇ_１２７×ａ_３１×ｂ_１２×ａ_5７＝－ｑ）の値に大きく影響されるため負の値となる。

この場合、因子行列Ａ及びＢの要素のうち因子行列割当部１２６が値を固定した要素は、学習時には値が固定されて更新されない。反対に、因子行列割当部１２６により値が固定されていない要素は、学習時に更新される。例えば、因子行列割当部１２６がａ_３１＝１、ｂ_１２＝１、ａ_４７＝１及び、ａ_３１＝１、ｂ_１２＝－１、ａ_５７＝１とした場合、ａ_ｉ１、ｂ_ｊ２、ａ_ｋ７のうち、ａ_ｉ’１、ｂ_ｊ’２、ａ_ｋ’７（ｉ’≠ｉ，ｊ’≠ｊ，ｋ’≠ｋ）は固定されずに、学習時に更新される。固定しなかった要素は予約トリプル以外のトリプル値に合うような適切な値が学習の結果として決定される。

ここで、因子行列割当部１２６は、予約トリプルのグループ数が複数の場合、別のグループとして扱うトリプルはコアテンソルＧの別の要素に対応させる。言い換えれば、予約トリプルのグループ数が複数の場合、各グループ間で因子行列割当部１２６により固定される要素の添え字が一致しないように、各グループに割り当てるコアテンソルＧの要素の位置を決定するものとする。

その後、因子行列割当部１２６は、コアテンソルＧ及び因子行列Ａ～Ｃの要素のうち値を固定した要素の情報及び固定した値の情報とともに３階テンソルＸを機械学習モデル生成部１２７へ出力する。

機械学習モデル生成部１２７は、コアテンソルＧ及び因子行列Ａ～Ｃの要素のうち値を固定した要素の情報及び固定した値の情報とともに３階テンソルＸ及びコアテンソルＧ及び因子行列Ａ～Ｃの情報の入力を因子行列割当部１２６から受ける。機械学習モデル生成部１２７は、データを学習することによって、未知トリプルに対して予測可能なモデルを構築する。まず、機械学習モデル生成部１２７は、固定された要素以外の自由に更新されるコアテンソルＧ及び因子行列Ａ～Ｃの各要素については、絶対値が十分小さいランダムな初期値を設定する。

機械学習モデル生成部１２７で、データを学習した結果、テンソル分解の解が得られる。データの学習とテンソル分解は同じ処理である。上記、値設定部１２３，コアテンソル割当部１２５、因子行列割当部１２６にて、初期値がすべて設定されたあと、学習は逐次更新により実行される。ここで、エンティティの個数をｎｅとして、エンティティであるｉ及びｋをｉ，ｋ＝１，・・・，ｎｅと表し、リレーションの個数をｎｒとして、リレーションであるｒをｒ＝１，・・・，ｎｒとした場合について説明する。この場合、全エンティティ及び全リレーションに対するコストは、次の数式（７）の損失関数で表される。ただし、数式（７）は、正解ラベルがないトリプルデータは除き、全ての正例データと負例データについての総和にあたる。

本実施例では、コアテンソルＧのサイズが埋め込みベクトルの次元と一致する。ここで、コアテンソルＧのサイズとは、各軸方法に並ぶ要素の数である。例えば、コアテンソルＧのサイズが小さすぎると、学習後の予測処理における誤差が大きくなる。逆に、コアテンソルＧのサイズが大きすぎると関連するトリプルが異なるコアテンソルＧの要素に割り当てられるため、データ同士の関係が不明瞭となるおそれがある。そこで、この問題を軽減するために一般化した損失関数を考える。なお、数式（７）の損失関数を用いてテンソル分解は実行されてもよい。コアテンソルＧのサイズの設定はやや大きめにとり、コアテンソルＧの０でない要素数が少なくなるような、すなわちスパースになるような「ｌ_１ノルム（エルワンノルム）」制約および「ｌ₂ノルム（エルツーノルム）」制約の正則化（regularization）を数式（７）の損失関数に加えた次の数式（８）を用いて、学習を行わせてもよい。ここで、ξ及びτは、ハイパーパラメータである。数式（８）の和は、固定コア要素の集合Ω以外のコア要素について行う。

機械学習モデル生成部１２７は、ハイパーパラメータの仮の値が与えられた数式（７）に、正例データ及び負例データのトリプルデータを用いて学習を実行する。１組の固定されたハイパーパラメータで学習するとき、数式（７）を最小化するように各パラメータを更新する。例えば、機械学習モデル生成部１２７は、勾配降下法などを用いることができる。この際、機械学習モデル生成部１２７は、自由に更新される因子行列Ａ～Ｃの要素については、十分に小さいランダムな値を初期値として設定して学習を開始する。学習するにつれて、自由に更新される因子行列Ａ～Ｃの要素の絶対値が増加することで近似が良くなりコストが小さくなる。逐次更新を繰り返した結果、コストの改良が停留したところで、機械学習モデル生成部１２７は、学習を停止する。これにより、機械学習モデル生成部１２７は、与えられたトリプルデータを表す３階テンソルＸを近似するコアテンソルＧ及び因子行列Ａ～Ｃを得ることができる。ここで、実際には、Ｃ＝Ａであるがここでは因子行列Ａ～Ｃと表記する。

機械学習モデル生成部１２７は、数式（８）の損失関数におけるハイパーパラメータを決定して最良の学習モデルを決定する。その方式は、交差検証（クロスバリデーション）を用いてハイパーパラメータを決定する。すなわち、テンソル分解部１２４では、損失関数の演算を正則化した数式（７）において分解をした。機械学習モデル生成部１２７ではあらかじめ適当に与えた様々なハイパーパラメータの組についてテンソル分解部１２４を実行する。パターン毎に学習を実行する。そして、機械学習モデル生成部１２７は、学習により得られた各モデルを用いて交差検証を行い、交差検証の結果、すなわちｔｅｓｔセット（正解がわかっているデータのうち、学習に用いていないデータ）に対して得られた損失関数（数式（８））の値が良い（低い）モデルを１つ選択して、様々なハイパーパラメータの組の中から最適なハイパーパラメータの組を１つ決定する。なお、数式（７）は、数式（８）においてξ及びτをゼロにした場合とみなせばよい。ここで、もしハイパーパラメータの組の異なるパターンの損失関数が同じ誤差を有する場合であれば、機械学習モデル生成部１２７は、ｐ_ｉｊｋの絶対値が小さい方を選ぶ。このように、数式（７）のように「ｌ_１ノルム」制約および「ｌ₂ノルム」制約の正則化を用いることで、機械学習モデル生成部１２７は、絶対値の大きさもコストとして考慮することが可能となる。なお、コアテンソルＧのサイズ（ｐ、ｑ，ｒ）もハイパーパラメータであり、ここで様々な値を検証して決定される。このように、機械学習モデル生成部１２７は、コアテンソルＧのサイズを結果的に最適化する効果がある。

その後、機械学習モデル生成部１２７は、得られたコアテンソルＧ及び因子行列Ａ～Ｃを予測部１２８へ出力する。

予測部１２８は、与えられたトリプルデータを表す３階テンソルＸを近似するコアテンソルＧ及び因子行列Ａ～Ｃの情報を機械学習モデル生成部１２７から取得する。次に、予測部１２８は、取得したコアテンソルＧ及び因子行列Ａ～Ｃを用いて、真偽が不明な未知トリプルの真偽を予測する。

ここで、エンティティを意味するモード１及びモード３の次元は、エンティティの数と同じである。すなわち、因子行列Ａの行数であるＩと、因子行列Ｃの行数であるＫと、エンティティの数であるｎｅとは全て等しく、Ｉ＝Ｋ＝ｎｅである。また、リレーションを意味するモード２の次元はリレーションの数と同じである。すなわち、因子行列Ｂの行数であるＪと、リレーションの数であるｎｒとは全て等しく、Ｊ＝ｎｒである。

そこで、ｉに着目して、因子行列Ａのｉ行目をエンティティｅｉの埋め込みベクトルとする。また、ｋに着目して、因子行列Ａのｋ行目をエンティティｅｋの埋め込みベクトルとする。また、ｊに着目して、因子行列Ｂのｊ行目をエンティティｒｊの埋め込みベクトルとする。この場合に、予測部１２８は、未知のトリプルデータである（ｅｉ，ｒｊ，ｅｋ）の真偽を予測する場合、ｐ＝σ（φ_ｉｊｋ）を計算する。ｐ＝σ（φ_ｉｊｋ）は、トリプルデータである（ｉ，ｊ，ｋ）が真となる確率とみなすことができる。すなわち、予測部１２８は、ｐが予め決められた予測用閾値以上のときは、予測対象としたトリプルデータである（ｉ，ｊ，ｋ）が真であると予測する。予測用閾値は、例えば、０．５とすることが可能である。

特に、予測部１２８は、学習時に予約トリプルとしたトリプルデータに関連する新たなトリプルを同定することができ、且つ、そのトリプルは真と判定することができる。以下に、予約トリプルとしたトリプルデータに関連する新たなトリプルの同定方法を説明する。前提として、予約トリプルは、利用者の興味関心が高い既知事実である。

学習時には、予約トリプルのグループに割り当てたコアテンソルＧの要素に大きい値ｑが設定される。大きい値ｑは、例えば、１０であってもよい。例えば、コアテンソルＧの要素であるｇ_１２７が予約トリプルのグループに割り当てられた場合、ｇ_１２７の値がｑとして固定される。また、この場合、ａ_ｉ１、ｂ_ｊ２、ａ_ｋ７のうちの予約トリプルとなる要素について値を固定した。そして、固定された要素以外のａ_ｉ’１、ｂ_ｊ’２、ａ_ｋ’７（ｉ’≠ｉ，ｊ’≠ｊ，ｋ’≠ｋ）は固定されずに、十分小さい値を初期値として学習時に更新される。ここで、もし関連するトリプルデータが存在する場合、コスト関数に影響ある教師データと一致させるためにａ_ｉ’１、ｂ_ｊ’２、ａ_ｋ’７の絶対値が大きくなると期待できる。

そこで、予測部１２８は、予約トリプルのグループに割り当てられたコアテンソルＧの要素に対応する因子行列Ａ及びＢの要素のうち学習時に値が固定されていない要素の中から絶対値が同定用閾値以上の要素を探す。ここで、同定用閾値として、例えば０．２を用いることができる。例えば、予測部１２８は、絶対値が同定用閾値以上のａ_ｉ’１、ｂ_ｊ’２、ａ_ｋ’７を探す。このようなトリプルデータであるｉ’、ｊ’、ｋ’が存在する場合、予測部１２８は、ｅ_ｉ’、ｅ_ｊ’、ｅ_ｋ’が、ｇ_１２７及び予約トリプルに関連するエンティティ及びリレーションであると判定する。この、ｉ’、ｊ’、ｋ’はそれぞれ２つ以上あり得る。そこで、予測部１２８は、このｇ_１２７及び予約トリプルに関連するエンティティ及びリレーションについてのトリプルデータであるｘ_ｉ’ｍｎ、ｘ_ｌｊ’ｎ、ｘ_ｌｍｋ’が、ｇ_１２７及び予約トリプルに関連するトリプルデータであると判定する。そして、予測部１２８は、これらの予約トリプルに関連するトリプルデータのうち真のトリプルデータ、もしくは予測値が真のトリプルデータが興味深い検討対象として特定する。

この点、従来の学習技術では、正例データのトリプルデータであるにもかかわらず、学習後の予測値が偽となる可能性があった。そのため、従来の学習技術を用いた場合の学習後のモデルでは、訓練データと予測結果が必ずしも一致しないため、同様な解析は一貫性が無く矛盾する場合が発生するおそれがある。そのため、従来の学習技術を用いた場合、所定のトリプルデータに関連するトリプルデータを検出することは困難である。

これに対して、本実施例に係る学習方法の場合、予約トリプルに対応するパラメータを更新しないことで、予約トリプルに関連するトリプルデータを予測対象とした場合、φ_ｉｊｋの絶対値は非常に大きな値になることが保証される。すなわち、予測対象のトリプルデータが、正例については真となる確率であるｐ＝σ（φ_ｉｊｋ）が１に近くなり、負例についてはｐ＝σ（φ_ｉｊｋ）が０に近くなることが保証される。また、添え字の異なるコアテンソル要素は互いに入れ替わった結果となっても、それぞれに対応する要素が交換された因子行列が生成されるため、φ_ｉｊｋは不変となる。例えば、ｇ_ｐｑ５とｇ_ｐｑ６とが入れ替わったとしても、ａ_ｋ５とａ_ｋ６とが交換された因子行列Ａが生成されるため、φ_ｉｊｋは不変である。したがって、予約トリプルのグループのそれぞれに割り当てられるコアテンソルＧの要素の位置の順番は重要ではないといえる。さらに、コアテンソルＧの各次元は近似対象とする３階テンソルＸの各モードの分階数と考えられる。したがって、複雑なデータほど、コアテンソルＧのサイズは大きい方が適切であるといえる。

その後、予測部１２８は、予測結果を利用者端末２０へ送信するなどして、利用者に予測結果を通知する。例えば、予測部１２８は、データ保持部１１に格納されたトリプルデータの中から予約トリプルに関連するトリプルデータを特定して利用者端末２０に送信してもよい。また、予測部１２８は、利用者端末２０から入力されたトリプルデータに対する予測結果として、真偽判定の結果及び予約トリプルに関連するトリプルデータであるか否かを利用者端末２０へ送信してもよい。

図４は、実施例に係る機械学習装置によるトリプルデータの学習処理のフローチャートである。次に、図４を参照して、実施例に係る機械学習装置１０によるトリプルデータの学習処理の流れについて説明する。

予約トリプル特定部１２１は、データ保持部１１が保持するトリプルデータの中から、利用者から興味があるトリプルデータとして指定された予約トリプルを特定する（ステップＳ１）。上記予約トリプルには正例と負例が両方入って良い。その後、予約トリプル特定部１２１は、特定した予約トリプルの情報を値設定部１２３及びコアテンソル割当部１２５へ出力する。

また、負例生成部１２２は、データ保持部１１が保持する正例データであるトリプルデータを取得して、数式（１）又は（２）などを用いて負例データを生成する（ステップＳ２）。その後、負例生成部１２２は、負例データの情報を値設定部１２３へ出力する。

値設定部１２３は、訓練データであるトリプルデータをデータ保持部１１から取得する。また、値設定部１２３は、予約トリプルの情報の入力を予約トリプル特定部１２１から受ける。さらに、値設定部１２３は、負例データの情報の入力を負例生成部１２２から受ける。次に、値設定部１２３は、取得したトリプルデータの真偽を表す３階テンソルを生成する。そして、値設定部１２３は、正例データにあたる要素の値を１に設定する。また、値設定部１２３は、負例データにあたる要素の値を０に設定する。さらに、値設定部１２３は、正例データ及び負例データ以外の未知トリプルにあたる要素の値を１と０との間の値に設定する（ステップＳ３）。その後、値設定部１２３は、値を設定した３階テンソルをテンソル分解部１２４へ出力する。

その後、値設定部１２３は、学習対象の３階テンソル及びコアテンソル及び因子行列の情報をコアテンソル割当部１２５へ出力する。

コアテンソル割当部１２５は、学習対象の３階テンソル及びその３階テンソルの分解後のコアテンソル及び因子行列の情報の入力をテンソル分解部１２４から受ける。また、コアテンソル割当部１２５は、予約トリプルの情報の入力を予約トリプル特定部１２１から受ける。次に、コアテンソル割当部１２５は、予約トリプルの特徴パターンのグループを生成する。そして、コアテンソル割当部１２５は、予約トリプルのグループ毎に、コアテンソルの要素を割り当てる（ステップＳ４）。その後、コアテンソル割当部１２５は、予約トリプルの各グループがいずれかの要素の割り当てられたコアテンソル、因子行列及び３階テンソルの情報を因子行列割当部１２６へ出力する。

因子行列割当部１２６は、予約トリプルの各グループがいずれかの要素の割り当てられたコアテンソル、因子行列及び３階テンソルの情報の入力をコアテンソル割当部１２５から受ける。次に、因子行列割当部１２６は、予約トリプルの各グループが割り当てられたコアテンソルの要素の値を大きな実数に設定して固定する。さらに、因子行列割当部１２６は、予約トリプルの各グループが割り当てられたコアテンソルの要素に対応する各因子行列における要素の値を１に固定する（ステップＳ５）。その後、因子行列割当部１２６は、予約トリプルの各グループが割り当てられた要素の値が固定されたコアテンソル、予約トリプルの各グループが割り当てられた要素に対応する要素の値が固定された因子行列及び３階テンソルの情報を機械学習モデル生成部１２７へ出力する。

機械学習モデル生成部１２７は、取得した３階テンソルに対して数式（７）または数式（８）で表される（ｌ_０－ｎｏｒｍ）制約の正則化を含む損失関数を用いて、学習（テンソル分解）を行う（ステップＳ６）。これにより、機械学習モデル生成部１２７は、Ｘ_ｉｊｋ≒ｐ_ｉｊｋ＝σ（φ_ｉｊｋ）によりＸを近似して表すように係数を求め、学習後のコアテンソル及び因子行列を得る。これはある１組のハイパーパラメータに対する学習に相当する。

機械学習モデル生成部１２７は、上記学習を所与の各ハイパーパラメータについて別々に行う。１組のハイパーパラメータに対して学習を行うと１つの学習モデルが生成される。機械学習モデル生成部１２７は、各モデルに対して交差検証を行い、正解率を出力する。機械学習モデル生成部１２７は、正解率の高いモデルを最適モデルとして選択して、ハイパーパラメータを決定する。次に、機械学習モデル生成部１２７は、得られた最適なモデルを予測部１２８へ出力する（ステップＳ７）。

図５は、実施例に係る機械学習装置による予測処理のフローチャートである。次に、図５を参照して、実施例に係る機械学習装置１０による予測処理の流れを説明する。

予測部１２８は、機械学習モデル生成部１２７から取得した学習対象とした３階テンソルを近似するコアテンソル及び因子行列をモデルとして保持する。予測部１２８は、予測対象のトリプルデータを取得する（ステップＳ１１）。

次に、予測部１２８は、学習済みのコアテンソル及び因子行列を用いて予測対象のトリプルデータの予測を実行する（ステップＳ１２）。

次に、予測部１２８は、予測対象のトリプルデータが真となる確率を、ｐ＝σ（φ_ｉｊｋ）を用いて計算する（ステップＳ１３）。

次に、予測部１２８は、Ｐが予測用閾値以上か否かを判定する（ステップＳ１４）。Ｐが予測閾値以上の場合（ステップＳ１４：肯定）、予測部１２８は、予測対象のトリプルデータは真のトリプルデータであると推定して、トリプルデータに「真」のタグをつける（ステップＳ１５）。これに対して、Ｐが予測閾値未満の場合（ステップＳ１４：否定）、予測部１２８は、予測対象のトリプルデータは偽のトリプルデータであると推定して、トリプルデータに「偽」のタグをつける（ステップＳ１６）。

次に、予測部１２８は、予約トリプルのグループに割り当てられたコアテンソルＧの要素に対応する因子行の要素のうち学習時に値が固定されていない要素の中から絶対値が同定用閾値以上の要素を探す。そして、予約トリプルに関連するトリプルデータを特定する。次に、予測部１２８は、予約トリプルに関連するエンティティ及びリレーションを特定する。そして、予測部１２８は、予約トリプルに関連するエンティティ及びリレーションを用いて、予約トリプルに関連するトリプルデータを特定する（ステップＳ１７）。

次に、予測部１２８は、特定した予約トリプルに関連するトリプルデータに予測対象のトリプルデータが含まれているか否かを判定する（ステップＳ１８）。

特定した予約トリプルに関連するトリプルデータに予測対象のトリプルデータが含まれている場合（ステップＳ１８：肯定）、予測部１２８は、予測対象のトリプルデータは利用者の興味があるトリプルデータであると予測する（ステップＳ１９）。

これに対して、特定した予約トリプルに関連するトリプルデータに予測対象のトリプルデータが含まれていない場合（ステップＳ１８：否定）、予測部１２８は、予測対象のトリプルデータが利用者の興味から外れたトリプルデータであると予測する（ステップＳ２０）。

以上に説明したように、本実施例に係る機械学習装置は、興味の対象となるトリプルデータを予約トリプルとして、訓練データコアテンソルにおけるその予約トリプルが割り当てられた要素の値を大きな実数とする。また、機械学習装置は、その要素に関連する因子行列の要素の値を１（あるいは－１）に固定する。そして、機械学習装置は、値を設定した３階層テンソル及び所定の要素の値を固定したコアテンソル及び因子行列を用いて学習を実行する。

ここで、通常のＴｕｃｋｅｒ分解では、解析するデータのテンソルを再現するように係数が求められる。これに対して、本実施例に係る機械学習装置のようなシグモイドを介したＴｕｃｋＥＲでは、φｉｊｋの値が大きければ１に収束する。そのため、真となることを保証するために値を大きくすることは下位の探索に影響を与えないため、本実施例に係る機械学習装置の処理を行っても適切なモデルを作成することができる。

また、訓練データを学習後のモデルに真偽判定を行わせた場合、予測結果が正解と一致することが望ましい。しかし、統計的学習モデルでは、どのアルゴリズムでも指定した個別のデータについて正解させることは汎化を犠牲しない限り通常は困難である。また、予約トリプルの予測を正解させるという目的であれば単純に予約トリプルと正解との関係を記憶させる方法が考えられる。しかし、その場合、記憶したケースと少しでもずれたトリプルデータを用いた場合、誤る可能性が高い。すなわち、は通常求められる汎化能力をその予測モデルでは獲得しきれていないといえる。これに対して、本実施例に係る機械学習装置は、予約トリプルについては学習後も正解ラベルと同等な真偽を判定して正解することが可能である。

コアテンソルを十分大きなサイズにすると従来方法でも教師ラベル通りに予測をするモデルが可能である。しかし、それでは事例を記憶するような過学習状態の予測モデルとなって、未知トリプルに正しい予測は期待できない。本発明で想定する次元数はそれより小さいサイズのコアテンソルであり、それが故に学習事例のうち似た事例の共通性を学習したモデルが期待され、その結果、未知トリプルについても正確に予測することを意図している。

さらに、機械学習モデルの中には、例えば、ｋ－ＮＮ（Nearest Neighbor）法が存在する。ｋ＝１の場合のｋ－ＮＮでは、予測の真偽判定が訓練データと一致する。また、訓練データに近いケースの予測も正解する確率が高い。ただし、ｋ－ＮＮは、扱うデータが表形式の１行もしくは１ケースといったように１つであるのに対して、全ての説明変数にあたる全属性の値を用いることになる。これに対して、本実施例に係る機械学習装置のように、知識グラフを用いた場合、１ケースあたり、全属性中の３つの変数セットであるトリプルデータが用いられる。つまり、本実施例に係る機械学習装置は、問題設定の条件が緩くても学習を行うことが可能であり、学習の汎用性を向上させることが可能となる。

また、従来の知識グラフの埋め込みの枠組みで、指定した訓練データをできるだけ誤判定しないように学習するには、指定した訓練データを用いて何度も学習する方法や指定した訓練データの重みを大きくする方法などが考えられる。しかし、いずれの方法も生成されたモデルで指定データを誤判定しない保証はない。これに対して、本実施例に係る機械学習装置は、予約トリプルとして指定されたデータに対する正しい予測を保証することが可能である。

このように、本実施例に係る機械学習装置は、特定データにおける学習効果が保証される。すなわち、利用者の興味対象として指定されたトリプルデータである予約トリプルは、同じコアテンソル要素に対応させるならば、学習の最中もそのスコアが高いままであり、学習後も真となることが保証される。したがって、学習の信頼性を維持することができる。また、本実施例に係る機械学習装置は、着目する事実と関連する事象を提示することが可能である。すなわち、本実施例に係る機械学習装置は、与えられた予約トリプルを用いて学習を行うことで、学習後にそれらに関連する他のトリプルを特定することが可能である。これにより、データの一部を解釈することが可能となる。

従来の統計的機械学習を行った場合、学習後のデータ同士の関連は不明である場合が多い。ＴｕｃｋＥＲを用いた技術であっても、Ｌｉｎｋ ｐｒｅｄｉｃｔｉｏｎの精度向上は期待できるが、分解結果からデータ関連性の解釈は困難である。これに対して、本実施例に係る機械学習装置によれば、データの関連性の解釈が可能になる。

（ハードウェア構成）
図６は、実施例に係る機械学習装置のハードウェア構成図である。次に、図６を参照して、本実施例に係る機械学習装置１０のハードウェア構成の一例について説明する。

例えば、本実施例に係る機械学習装置１０は、ＣＰＵ（Central Processing Unit）９１、メモリ９２、ハードディスク９３及びネットワークインタフェース９４を有する。ＣＰＵ９１は、バスを介してメモリ９２、ハードディスク９３及びネットワークインタフェース９４に接続される。

ネットワークインタフェース９４は、機械学習装置１０と外部装置との通信インタフェースである。例えば、ネットワークインタフェース９４は、ＣＰＵ９１と利用者端末２０との間の通信を中継する。

ハードディスク９３は、補助記憶装置である。ハードディスク９３は、図１に例示したデータ保持部１１の機能を実現する。また、ハードディスク９３は、図１に例示した制御部１２の機能を実現するための情報処理プログラムを含む各種プログラムを格納する。

ＣＰＵ９１は、ハードディスク９３から各種プログラムを読み出してメモリ９２上に展開して実行することで、図１に例示した制御部１２の機能を実現することが可能である。

１０ 機械学習装置
１１ データ保持部
１２ 制御部
２０ 利用者端末
１２１ 予約トリプル特定部
１２２ 負例生成部
１２３ 値設定部
１２５ コアテンソル割当部
１２６ 因子行列割当部
１２７ 機械学習モデル生成部
１２８ 予測部

Claims (8)

1. 複数のトリプルデータを表すテンソルを生成し、
   前記テンソルをコアテンソル及び因子行列にテンソル分解する際、前記複数のトリプルデータのうちの第１のトリプルデータに対応する前記因子行列の第１の要素の値と、前記コアテンソルの第２の要素の値とを固定した条件下で、前記テンソル分解を実行する、
   処理をコンピュータに実行させることを特徴とする機械学習プログラム。
2. 前記第１の要素の値は１より大きい実数である、ことを特徴とする請求項１に記載の機械学習プログラム。
3. 正例のトリプルデータに基づいて負例のトリプルデータを作成することによって前記複数のトリプルデータを取得する、
   処理を前記コンピュータに実行させることを特徴とする請求項１又は２に記載の機械学習プログラム。
4. 前記第１の要素と前記第２の要素とは、前記コアテンソルと前記因子行列との積を計算する際に、掛け合わされる位置関係にある、
   ことを特徴とする請求項１～３のいずれか一つに記載の機械学習プログラム。
5. 予測対象のトリプルデータの指定を受け付け、
   前記テンソル分解により得られた前記コアテンソル及び前記因子行列を用いて、前記予測対象のトリプルデータの真偽と、前記予測対象のトリプルデータと前記第１のトリプルデータとの関連性とのうち少なくとも一方を判定する、
   処理を前記コンピュータに実行させることを特徴とする請求項１～４のいずれか一つに記載の機械学習プログラム。
6. 前記第１のトリプルデータを複数のグループに分解し、
   前記グループ毎に対応する前記コアテンソルの要素を割り当てる
   ことを特徴とする請求項１～５のいずれか一つに記載の機械学習プログラム。
7. 複数のトリプルデータを表すテンソルを生成し、
   前記テンソルをコアテンソル及び因子行列にテンソル分解する際、前記複数のトリプルデータのうちの第１のトリプルデータに対応する前記因子行列の第１の要素の値と、前記コアテンソルの第２の要素の値とを固定した条件下で、前記テンソル分解を実行する、
   ことを特徴とする機械学習方法。
8. 学習用の複数のトリプルデータを保持するデータ保持部と、
   複数のトリプルデータを表すテンソルを生成し、前記テンソルをコアテンソル及び因子行列にテンソル分解する際、前記複数のトリプルデータのうちの第１のトリプルデータに対応する前記因子行列の第１の要素の値と、前記コアテンソルの第２の要素の値とを固定した条件下で、前記テンソル分解を実行する制御部と
   を備えたことを特徴とする機械学習装置。

Images