JP2019128603A - 学習プログラム、学習方法および学習装置 - Google Patents

Abstract

【課題】判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる学習プログラム、学習方法および学習装置を提供する。【解決手段】学習プログラムは、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する処理をコンピュータに実行させる。学習プログラムは、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する処理をコンピュータに実行させる。【選択図】図１

Description

本発明は、学習プログラム、学習方法および学習装置に関する。

グラフ構造のデータを深層学習することが可能なグラフ構造学習技術（以降、このようなグラフ構造学習を行う装置の一形態を「ディープテンソル」と呼ぶ。）が知られている。ディープテンソルによる学習においては、入力されたグラフ構造から、判別に寄与する部分構造を自動的に抽出することができる。

特開２０１６−２０７０７２号公報 特開２０１４−０５９７５４号公報 特開２０１７−１２９９９５号公報 特開２０１５−２０４０８４号公報

"Deep Tensor: Eliciting New Insights from Graph Data that Express Relationships between People and Things" Koji Maruhashi著 Fujitsu Sci. Tech. J., Vol.53, No.5, pp.26-31 (September 2017）

機械学習技術では、入力となるグラフを構成するノードの値（ノードラベル）を考慮する学習（ラベルあり学習）またはノードラベルを考慮しない学習（ラベルなし学習）の２つの学習パターンが選択可能である。例えば、化合物における元素間の接続を表すグラフ構造のデータであれば、各ノードに相当する元素の種類を考慮した学習が望ましい。一方、深層学習の判別モデル（学習モデル）における判別ルールでは、グラフ構造のデータの各ノードのうち、特定のノードについて不定であることを許容したい場合がある。

しかしながら、ディープテンソルにおいて、入力グラフ中の一部のノードに対してラベルを考慮しない学習パターンは具備されていない。このため、真の判別ルールとしては特定のノードの要素が不定であることを許容する場合であっても、訓練データに含まれない要素に対応するデータについては、正しく判別することが困難である。

例えば、判別問題において、入力となるグラフ構造に特定の部分構造が存在すれば真（ＴＲＵＥ）、存在しない場合は偽（ＦＡＬＳＥ）と正しく判定でき、また、部分構造中の特定の１ノードに関するラベルは不定であり、他のノードに関するラベルは固定である状況を想定する。

このような状況に対し、ラベルあり学習を行う場合、特定の１ノードについてはラベルが不定である事は許容されているにも関わらず、ラベルあり学習においては訓練データ中の他のノードのラベルに制約され、特定の１ノードに対して訓練データにはないラベルが付与された場合にＦＡＬＳＥと判定することとなり、判定誤りとなってしまう。

また、上記の状況に対し、ラベルなし学習を行う場合、部分構造中のラベルが固定であるノードに、他のラベルが付与された部分構造がマッチしてしまうのでＴＲＵＥと判定されることとなり、判定誤りとなってしまう。

一つの側面では、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる学習プログラム、学習方法および学習装置を提供することにある。

一つの態様では、学習プログラムは、グラフデータに対する機械学習処理をコンピュータに実行させる。すなわち、学習プログラムは、学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する処理をコンピュータに実行させる。学習プログラムは、生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する処理をコンピュータに実行させる。

判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。

図１は、実施例の学習装置の構成の一例を示すブロック図である。 図２は、グラフ構造とテンソルとの関係の一例を示す図である。 図３は、部分グラフ構造の抽出の一例を示す図である。 図４は、部分グラフ構造の抽出における問題点の一例を示す図である。 図５は、拡張グラフの一例を示す図である。 図６は、拡張グラフに対応する行列の一例を示す図である。 図７は、拡張グラフデータからの部分グラフ構造の抽出の一例を示す図である。 図８は、ワイルドカードを含む部分グラフ構造の一例を示す図である。 図９は、実施例の学習処理の一例を示すフローチャートである。 図１０は、実施例の判別処理の一例を示すフローチャートである。 図１１は、学習プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する学習プログラム、学習方法および学習装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例の学習装置の構成の一例を示すブロック図である。図１に示す学習装置１００は、グラフ構造のデータを深層学習するディープテンソルによって判別モデルを生成し、判別モデルを用いて新規なグラフ構造のデータを判別する学習装置の一例である。学習装置１００は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。学習装置１００は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。これにより、学習装置１００は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。

まず、ディープテンソルについて説明する。ディープテンソルとは、テンソル（グラフ情報）を入力とするディープラーニングであり、ニューラルネットワークの学習とともに、判別に寄与する部分グラフ構造を自動的に抽出する。この抽出処理は、ニューラルネットワークの学習とともに、入力テンソルデータのテンソル分解のパラメータを学習することによって実現される。

次に、図２および図３を用いてグラフ構造について説明する。図２は、グラフ構造とテンソルとの関係の一例を示す図である。図２に示すグラフ２０は、４つのノードがノード間の関係性（例えば「相関係数が所定値以上」）を示すエッジで結ばれている。なお、エッジで結ばれていないノード間は、当該関係性がないことを示す。グラフ２０を２階のテンソル、つまり行列で表す場合、例えば、ノードの左側の番号に基づく行列表現は「行列Ａ」で表され、ノードの右側の番号（囲み線で囲んだ数字）に基づく行列表現は「行列Ｂ」で表される。これらの行列の各成分は、ノード間が結ばれている（接続している）場合「１」で表され、ノード間が結ばれていない（接続していない）場合「０」で表される。以下の説明では、この様な行列を接続行列ともいう。ここで、「行列Ｂ」は、「行列Ａ」の２，３行目および２，３列目を同時に置換することで生成できる。ディープテンソルでは、この様な置換処理を用いることで順序の違いを無視して処理を行う。すなわち、「行列Ａ」および「行列Ｂ」は、ディープテンソルでは順序性が無視され、同じグラフとして扱われる。なお、３階以上のテンソルについても同様の処理となる。

図３は、部分グラフ構造の抽出の一例を示す図である。図３に示すグラフ２１は、６つのノードがエッジで結ばれたものである。グラフ２１は、行列（テンソル）で表すと行列２２に示すように表現できる。行列２２に対して、特定の行および列を入れ替える演算、特定の行および列を抽出する演算、ならびに、接続行列における非ゼロ要素をゼロに置換する演算を組み合わせることで、部分グラフ構造を抽出できる。例えば、行列２２の「ノード１，４，５」に対応する行列を抽出すると、行列２３となる。次に、行列２３の「ノード４，５」間の値をゼロに置換すると、行列２４となる。行列２４に対応する部分グラフ構造は、グラフ２５となる。

このような部分グラフ構造の抽出処理は、テンソル分解と呼ばれる数学的演算によって実現される。テンソル分解とは、入力されたｎ階テンソルをｎ階以下のテンソルの積で近似する演算である。例えば、入力されたｎ階テンソルを１つのｎ階テンソル（コアテンソルと呼ばれる。）、および、より低階のｎ個のテンソル（ｎ＞２の場合、通常は２階のテンソル、つまり行列が用いられる。）の積で近似する。この分解は一意ではなく、入力データが表すグラフ構造中の任意の部分グラフ構造をコアテンソルに含める事ができる。

続いて、部分グラフ構造の抽出における問題点について説明する。ディープテンソルにおいては、入力データのグラフ構造のデータ（テンソル）を、ラベルなしグラフ、または、ラベルありグラフのどちらかであると見做して学習および判別を行う。なお、入力データをどちらのグラフと見做して処理を行うかはユーザによって設定される。以下の説明では、入力データをラベルなしグラフと見做す場合をラベルなしグラフ処理モードと表し、入力データをラベルありグラフと見做す場合をラベルありグラフ処理モードと表す。

ラベルなしグラフ処理モードが適切なタスクの一例として、不正アクセス検知が挙げられる。例えば、ネットワーク上のＰＣ（Personal Computer）間の通信情報を用いた不正アクセスを検知するために、グラフの各ノードを各ＰＣ、各ノードのラベルを各ＰＣのＩＰ（Internet Protocol）アドレスとすることが考えられる。ところが、この様なラベルありグラフを入力として、ラベルありの部分グラフ構造（コアテンソル）を学習させてしまうと、他のネットワークではＩＰアドレスが全く重ならないのでマッチしないことになる。従って、不正アクセス検知の場合には、ラベルなしグラフを入力データとして学習させることが求められる。

一方、ラベルありグラフ処理モードが適切なタスクの一例としては、薬効判定が挙げられる。例えば、化合物の構造を表すグラフを入力として特定の薬効があるか否かを判定する場合、どの様な元素がどう繋がっているかが重要となる。従って、薬効判定の場合には、元素名をラベルとしたラベルありグラフを入力データとして学習させることが求められる。

薬効判定の場合には、例えば、ある化合物の構造を表すグラフに対して、一部のノードの元素が不定であってもよい場合がある。この様な場合、判別ルールとして、部分グラフ構造の一部のノードを不定な要素とした汎化された判別ルールを学習できることが望まれる。例えば、訓練データの正例のうち、判別に寄与する部分グラフ構造が共通の特徴を持つ場合に、この共通の特徴を有しているか否かで、新規データを判別したいとする。ところが、単にグラフ構造のデータを入力とするディープテンソルでは、共通の特徴を持つ部分グラフ構造がノードの一部に不定な要素を持つ場合に、この特徴を学習させることが困難である。

図４は、部分グラフ構造の抽出における問題点の一例を示す図である。図４に示すグラフ２６は、学習したい判別ルールを示す部分グラフ構造である。グラフ２６は、不定な要素を持つノードを、ワイルドカードノード（＊印）として表している。すなわち、グラフ２６は、「ラベルＣのノードが３つ以上の任意ラベルのノード（不定な要素を持つノード）に接続する。」という判別ルールである。

一方、グラフ２７は、ラベルありグラフ処理モードを用いた場合に抽出される部分グラフ構造である。この場合、グラフ２６のワイルドカードノードは、訓練データの要素（Ａ,Ｂ，Ｄ，・・・，Ｘ，Ｙ，Ｚ）で置き換えて学習が行われるが、真の判別ルールであるグラフ２６とマッチする新規データを見逃す可能性がある。また、グラフ２８は、ラベルなしグラフ処理モードを用いた場合に抽出される部分グラフ構造である。この場合、グラフ２８は、全てのノードがラベルなしの要素、つまりワイルドカードノードとなるので、グラフ２６のラベルＣのノードであるハブノードが、ラベルＣ以外の新規データであってもマッチしたと誤判定する可能性がある。

すなわち、ラベルありグラフ処理モードでは、全てのノードのラベルをそのまま使用して部分グラフ構造を学習するので、一部のノードをワイルドカードノードに置換するという処理が行えず、グラフ２６のような部分グラフ構造は学習できない。また、ラベルなしグラフ処理モードでは、全てのノードのラベルが任意である、つまりワイルドカードノードである部分グラフ構造を学習するので、一部のノードが特定のラベルであるグラフ２６のような部分グラフ構造は学習できない。また、ディープテンソルでは、ラベルありグラフ処理モードとラベルなしグラフ処理モードとの混在はサポートされない。これに対し、本実施例では、入力データのグラフに対応するワイルドカードノードで構成されたグラフを追加することで、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上することができる。

次に、学習装置１００の構成について説明する。図１に示すように、学習装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、学習装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、図示しないネットワークを介して他の情報処理装置と有線または無線で接続され、他の情報処理装置との間で情報の通信を司る通信インタフェースである。通信部１１０は、例えば、管理者などの端末から学習用の訓練データや判別対象の新規データを受信する。また、通信部１１０は、管理者などの端末に、学習結果や判別結果を送信する。

表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。

操作部１１２は、学習装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、訓練データ記憶部１２１と、拡張グラフデータ記憶部１２２と、判別モデル記憶部１２３とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

訓練データ記憶部１２１は、例えば、通信部１１０を介して入力された学習対象の訓練データを記憶する。訓練データ記憶部１２１には、例えば、化合物の構造を表すグラフに対応する学習対象のグラフデータが訓練データとして記憶される。

拡張グラフデータ記憶部１２２は、訓練データのグラフに対応するワイルドカードノードで構成されたグラフを、当該訓練データに追加した拡張グラフデータを記憶する。ここで、図５および図６を用いて拡張グラフおよび拡張グラフに対応する行列、つまり拡張グラフデータについて説明する。

図５は、拡張グラフの一例を示す図である。図５に示すように、訓練データのグラフ３０は、ノード「１〜４」に対してラベル「Ａ〜Ｄ」が対応付けられている。これに対し、拡張グラフ３１では、単一のラベル「＊」を持ち、ノード「１〜４」に対応するワイルドカードノード「５〜８」が追加される。また、拡張グラフ３１では、追加されたワイルドカードノード間、および、訓練データのグラフ３０のノードとワイルドカードノードとの間の接続関係を、訓練データのグラフ３０に合わせてエッジで結んで設定する。例えば、ノード「１」は、ノード「２，３」と接続しているので、対応するワイルドカードノード「６，７」とも接続する。すなわち、拡張グラフ３１では、部分グラフ構造の抽出の際に、特定のラベルを持つ訓練データのグラフ３０のノードに代えて、対応するワイルドカードノードが選択可能となる。

図６は、拡張グラフに対応する行列の一例を示す図である。図６に示す行列３２は、図５の訓練データのグラフ３０に対応する行列である。また、行列３３は、図５の拡張グラフ３１に対応する行列である。行列３３は、行列３２に対して、当該行列３２を縦横に追加することで生成される。すなわち、行列３３は、行列３２に対応する行列３４と、拡張グラフ３１のワイルドカードノード間の接続情報を表す行列３５と、グラフ３０と拡張グラフ３１のノード間の接続情報を表す行列３６，３７とを有する。拡張グラフデータ記憶部１２２は、例えば、拡張グラフ３１に対応する行列３３を、拡張グラフデータとして記憶する。なお、グラフ３０のうち、ワイルドカードとならないノードがある場合には、当該ノードに対応するワイルドカードノードは設定しない。つまり、設定しないワイルドカードノードに対応する行および列は、行列３５〜３７から削除される。

図１の説明に戻って、判別モデル記憶部１２３は、拡張グラフデータを深層学習した判別モデルを記憶する。判別モデルは、学習モデルとも呼ばれ、例えば、ニューラルネットワークの各種パラメータ（重み係数）や、テンソル分解の方法等を記憶する。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、取得部１３１と、生成部１３２と、学習部１３３と、判別部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部１３１は、例えば、通信部１１０を介して、管理者などの端末から学習用の訓練データを受信して取得する。取得部１３１は、例えば、図５に示すグラフ３０や、グラフ３０に対応する行列３２を取得する。なお、取得部１３１は、訓練データがグラフである場合には、対応する接続行列に変換する。取得部１３１は、取得した行列（接続行列）、または、変換した接続行列を訓練データとして訓練データ記憶部１２１に記憶する。取得部１３１は、訓練データを訓練データ記憶部１２１に記憶すると、生成部１３２に生成指示を出力する。

生成部１３２は、取得部１３１から生成指示が入力されると、訓練データ記憶部１２１を参照し、訓練データに基づいて、拡張グラフデータを生成する。生成部１３２は、例えば、訓練データに対応する図６に示す行列３２に基づいて、当該行列３２を縦横に追加することで、拡張グラフデータに対応する行列３３を生成する。すなわち、生成部１３２は、訓練データがｎ個のノード（ノード番号：１〜ｎ，各ラベル：Ｌ１〜Ｌｎ）で構成されている場合、新たにｎ個のノード（ノード番号ｎ＋１〜２ｎ，各ラベル：＊）を追加し、２ｎ個のノード間の接続行列を生成する。生成部１３２は、生成した拡張グラフデータを拡張グラフデータ記憶部１２２に記憶する。生成部１３２は、拡張グラフデータを拡張グラフデータ記憶部１２２に記憶すると、学習部１３３に学習指示を出力する。

言い換えると、生成部１３２は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。つまり、生成部１３２は、グラフデータに、グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、拡張グラフデータを生成する。

学習部１３３は、生成部１３２から学習指示が入力されると、拡張グラフデータ記憶部１２２を参照し、拡張グラフデータを学習して判別モデルを生成または更新する。つまり、学習部１３３は、拡張グラフデータをテンソル分解し、コアテンソル（部分グラフ構造）を生成する。学習部１３３は、生成したコアテンソルをニューラルネットワークに入力して出力を得る。学習部１３３は、出力値の誤差が小さくなるように学習するとともに、判定精度が高くなるようにテンソル分解のパラメータを学習する。テンソル分解においては自由度があり、テンソル分解のパラメータとして、分解モデル、制約、最適化アルゴリズムの組み合わせ等が挙げられる。分解モデルは、例えば、ＣＰ（Canonical Polyadic decomposition）やＴｕｃｋｅｒが挙げられる。制約は、例えば、直交制約、スパース制約、スムース制約、非負制約等が挙げられる。最適化アルゴリズムは、例えば、ＡＬＳ（Alternating Least Square）、ＨＯＳＶＤ（Higher Order Singular Value Decomposition）、ＨＯＯＩ（Higher Order Orthogonal Iteration of tensors）等が挙げられる。ディープテンソルにおいては、「判定精度が高くなる」という制約下でテンソル分解を行う事になる。

その後、学習部１３３は、所定回数の学習が実行された場合、または、誤差が所定値より小さくなった場合に学習を終了し、各種パラメータやテンソル分解の方法等を判別モデルとして判別モデル記憶部１２３に記憶する。なお、ニューラルネットワークは、ＲＮＮ（再帰型ニューラルネットワーク：Recurrent Neural Network）など様々なニューラルネットワークを用いることができる。また、学習方法は、誤差逆伝播法など様々な手法を採用することができる。

ここで、図７を用いて部分グラフ構造の抽出について説明する。図７は、拡張グラフデータからの部分グラフ構造の抽出の一例を示す図である。図７に示すように、学習部１３３は、行列３３に対して、特定の行および列を入れ替える演算、特定の行および列を抽出する演算、ならびに、接続行列における非ゼロ要素をゼロに置換する演算を組み合わせることで、部分グラフ構造の行列３８を抽出する。図７の例では、学習部１３３は、行列３３からラベル「Ｃ」と、ラベル「Ａ，Ｂ，Ｄ」に対応するワイルドカードのラベル「＊」とに関する行および列を抽出して行列３８を生成する。これは、図５の拡張グラフ３１のノード「３，５，６，８」に対応する行および列である。次に、学習部１３３は、行列３８のノード「５，６」間の値をゼロに置換して行列３９を生成する。行列３９に対応する部分グラフ構造は、グラフ４０となる。グラフ４０は、ラベル「Ｃ」とラベル「＊」とを有するグラフ構造である。従って、学習部１３３は、グラフ４０に対応する行列３９を学習することで、不定要素を含む判別ルールを学習することができる。すなわち、学習装置１００は、汎化された真の判別ルールを学習可能となる。

言い換えると、学習部１３３は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。

図１の説明に戻って、判別部１３４は、判別モデルの学習後に、新規データを取得し、判別モデルを用いて判別した判別結果を出力する。判別部１３４は、例えば、通信部１１０を介して、管理者などの端末から判別対象の新規データを受信して取得する。判別部１３４は、学習時の生成部１３２と同様に、取得した新規データに基づいて、拡張グラフデータを生成する。

判別部１３４は、判別モデル記憶部１２３を参照し、判別モデルを用いて、生成した拡張グラフデータを判別する。すなわち、判別部１３４は、判別モデルの各種パラメータを設定したニューラルネットワークを構築し、テンソル分解の方法を設定する。判別部１３４は、生成した拡張グラフデータをテンソル分解し、ニューラルネットワークに入力して、判別結果を取得する。判別部１３４は、取得した判別結果を表示部１１１に出力して表示したり、記憶部１２０に出力して記憶したりする。

ここで、図８を用いて具体例について説明する。当該具体例では、「ある化合物が酸性を示すか判定したい。」というタスクがあるとする。この場合、訓練データは、素性が化合物の構造を表す接続行列となる。また、目的変数は、酸性を示す場合を「１」、酸性を示さない場合を「０」とする。

図８は、ワイルドカードを含む部分グラフ構造の一例を示す図である。図８に示すグラフ４１は、構造式の一部にワイルドカードを有する化合物の一例である。行列４２は、グラフ４１に対応する接続行列である。なお、行列４２の成分は、「１」が単結合を示し、「２」が二重結合を示す。つまり、学習装置１００では、グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する拡張グラフデータを生成する。また、学習される判別ルールは、グラフ４１に示す部分グラフ構造を含む化合物は酸性であるとする。

このとき、もしワイルドカードが使えないと、ラベル「＊」のノードには、訓練データ中の特定元素が与えられて学習されることになる。ラベル「＊」に与えられる元素としては、Ｃ（カルボン酸）、Ｓ（スルホン酸）、Ｐ（リン酸）、Ａｓ（ヒ酸）、Ｉ（ヨウ素酸）、Ｂ（メタホウ酸）等があり、様々な元素で酸性を示す。グラフ４１に示す部分グラフ構造を含む化合物は、オキソ酸と呼ばれ、ラベル「＊」の元素に関わりなく、この元素に接続する２つの酸素によって酸性を示すことが知られている。従って、ワイルドカードが使えない場合、訓練データには、オキソ酸を構成可能な全ての元素を網羅しなければならなくなる。これに対し、本実施例では、ワイルドカードノードを含むグラフ４１に対応する行列４２を入力として学習することで、この様な化学的性質を意味する部分グラフ構造が学習可能となる。すなわち、訓練データは、オキソ酸を構成可能な全ての元素を網羅しなくてもよくなる。

次に、実施例の学習装置１００の動作について説明する。まず、判別モデルを学習する学習処理について説明する。図９は、実施例の学習処理の一例を示すフローチャートである。

取得部１３１は、例えば、管理者などの端末から学習用の訓練データを受信して取得する（ステップＳ１）。取得部１３１は、取得した訓練データを訓練データ記憶部１２１に記憶する。取得部１３１は、訓練データを訓練データ記憶部１２１に記憶すると、生成部１３２に生成指示を出力する。

生成部１３２は、取得部１３１から生成指示が入力されると、訓練データ記憶部１２１を参照し、訓練データに基づいて、拡張グラフデータを生成する（ステップＳ２）。生成部１３２は、生成した拡張グラフデータを拡張グラフデータ記憶部１２２に記憶する。生成部１３２は、拡張グラフデータを拡張グラフデータ記憶部１２２に記憶すると、学習部１３３に学習指示を出力する。

学習部１３３は、生成部１３２から学習指示が入力されると、拡張グラフデータ記憶部１２２を参照し、拡張グラフデータを学習する（ステップＳ３）。学習部１３３は、所定回数の学習が実行された場合、または、誤差が所定値より小さくなった場合に学習を終了し、各種パラメータやテンソル分解の方法等を判別モデルとして判別モデル記憶部１２３に記憶する（ステップＳ４）。これにより、学習装置１００は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。

続いて、新規データを判別する判別処理について説明する。図１０は、実施例の判別処理の一例を示すフローチャートである。

判別部１３４は、例えば、管理者などの端末から判別対象の新規データを受信して取得する（ステップＳ１１）。判別部１３４は、取得した新規データに基づいて、拡張グラフデータを生成する（ステップＳ１２）。判別部１３４は、判別モデル記憶部１２３を参照し、判別モデルを用いて、生成した拡張グラフデータを判別する（ステップＳ１３）。判別部１３４は、判別モデルの判別結果を、例えば、表示部１１１に出力して表示させる（ステップＳ１４）。これにより、学習装置１００は、任意のラベルを含む部分グラフ構造を有するグラフ構造のデータを判別できる。

すなわち、学習装置１００は、ワイルドカードノードを含む部分グラフ構造が学習可能となるので、新規データに対する判別性能の向上を見込むことが出来る。例えば、真の判定ルールが「ワイルドカードノードを含む部分グラフ構造Ｘを含めば正例」であったとする。図４に示すように、従前のディープテンソルでは、ラベルありグラフ処理モードでは、訓練データには存在しないが、部分グラフ構造Ｘを含む正例を負例と誤判定してしまう。また、ラベルなしグラフ処理モードでは、部分グラフ構造Ｘ中の特定のラベルしかとりえないノードを、それ以外のラベルのノードで置換した部分グラフ構造を含む負例を正例と誤判定してしまう。これに対し、実施例の学習装置１００では、上述の２つのモードにおける誤判定の両方について、正しく判定することができる。

このように、学習装置１００は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。また、学習装置１００は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。その結果、学習装置１００は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。

また、学習装置１００は、グラフデータに、グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、拡張グラフデータを生成する。その結果、学習装置１００は、不定要素を含む判別ルールを学習できる。

また、学習装置１００は、グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する拡張グラフデータを生成する。その結果、学習装置１００は、化合物の構造を学習できる。

なお、上記実施例では、ニューラルネットワークとして、ＲＮＮを一例として挙げたが、これに限定されない。例えば、ＣＮＮ（Convolutional Neural Network）など様々なニューラルネットワークを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、ＳＶＭ（support vector machine）等の各種手法を用いてもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１３１と生成部１３２とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１１は、学習プログラムを実行するコンピュータの一例を示す図である。

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。

ハードディスク装置２０８には、図１に示した取得部１３１、生成部１３２、学習部１３３および判別部１３４の各処理部と同様の機能を有する学習プログラムが記憶される。また、ハードディスク装置２０８には、訓練データ記憶部１２１、拡張グラフデータ記憶部１２２、判別モデル記憶部１２３、および、学習プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００の管理者から操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００の管理者に対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、図１に示した通信部１１０と同様の機能を有し図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した取得部１３１、生成部１３２、学習部１３３および判別部１３４として機能させることができる。

なお、上記の学習プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの学習プログラムを記憶させておき、コンピュータ２００がこれらから学習プログラムを読み出して実行するようにしてもよい。

１００ 学習装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ 訓練データ記憶部
１２２ 拡張グラフデータ記憶部
１２３ 判別モデル記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 学習部
１３４ 判別部

Claims (5)

1. グラフデータに対する機械学習処理をコンピュータに実行させる学習プログラムであって、
   学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成し、
   生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する、
   処理を前記コンピュータに実行させることを特徴とする学習プログラム。
2. 前記生成する処理は、前記グラフデータに、前記グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、前記拡張グラフデータを生成する、
   ことを特徴とする請求項１に記載の学習プログラム。
3. 前記生成する処理は、前記グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する前記拡張グラフデータを生成する、
   ことを特徴とする請求項１または２に記載の学習プログラム。
4. グラフデータに対する機械学習処理をコンピュータが実行する学習方法であって、
   学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成し、
   生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する、
   処理を前記コンピュータが実行することを特徴とする学習方法。
5. グラフデータに対する機械学習を行う学習装置であって、
   学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する生成部と、
   生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する学習部と、
   を有することを特徴とする学習装置。

Images