JP2019128603A - 学習プログラム、学習方法および学習装置 - Google Patents

学習プログラム、学習方法および学習装置 Download PDF

Info

Publication number
JP2019128603A
JP2019128603A JP2018007543A JP2018007543A JP2019128603A JP 2019128603 A JP2019128603 A JP 2019128603A JP 2018007543 A JP2018007543 A JP 2018007543A JP 2018007543 A JP2018007543 A JP 2018007543A JP 2019128603 A JP2019128603 A JP 2019128603A
Authority
JP
Japan
Prior art keywords
learning
graph
graph data
data
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018007543A
Other languages
English (en)
Other versions
JP7006297B2 (ja
Inventor
孝広 齊藤
Takahiro Saito
孝広 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018007543A priority Critical patent/JP7006297B2/ja
Priority to US16/251,130 priority patent/US11562226B2/en
Publication of JP2019128603A publication Critical patent/JP2019128603A/ja
Application granted granted Critical
Publication of JP7006297B2 publication Critical patent/JP7006297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16CCOMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70Machine learning, data mining or chemometrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/10Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105Shells for specifying net layout
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16CCOMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/90Programming languages; Computing architectures; Database systems; Data warehousing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる学習プログラム、学習方法および学習装置を提供する。【解決手段】学習プログラムは、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する処理をコンピュータに実行させる。学習プログラムは、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する処理をコンピュータに実行させる。【選択図】図1

Description

本発明は、学習プログラム、学習方法および学習装置に関する。
グラフ構造のデータを深層学習することが可能なグラフ構造学習技術(以降、このようなグラフ構造学習を行う装置の一形態を「ディープテンソル」と呼ぶ。)が知られている。ディープテンソルによる学習においては、入力されたグラフ構造から、判別に寄与する部分構造を自動的に抽出することができる。
特開2016−207072号公報 特開2014−059754号公報 特開2017−129995号公報 特開2015−204084号公報
"Deep Tensor: Eliciting New Insights from Graph Data that Express Relationships between People and Things" Koji Maruhashi著 Fujitsu Sci. Tech. J., Vol.53, No.5, pp.26-31 (September 2017)
機械学習技術では、入力となるグラフを構成するノードの値(ノードラベル)を考慮する学習(ラベルあり学習)またはノードラベルを考慮しない学習(ラベルなし学習)の2つの学習パターンが選択可能である。例えば、化合物における元素間の接続を表すグラフ構造のデータであれば、各ノードに相当する元素の種類を考慮した学習が望ましい。一方、深層学習の判別モデル(学習モデル)における判別ルールでは、グラフ構造のデータの各ノードのうち、特定のノードについて不定であることを許容したい場合がある。
しかしながら、ディープテンソルにおいて、入力グラフ中の一部のノードに対してラベルを考慮しない学習パターンは具備されていない。このため、真の判別ルールとしては特定のノードの要素が不定であることを許容する場合であっても、訓練データに含まれない要素に対応するデータについては、正しく判別することが困難である。
例えば、判別問題において、入力となるグラフ構造に特定の部分構造が存在すれば真(TRUE)、存在しない場合は偽(FALSE)と正しく判定でき、また、部分構造中の特定の1ノードに関するラベルは不定であり、他のノードに関するラベルは固定である状況を想定する。
このような状況に対し、ラベルあり学習を行う場合、特定の1ノードについてはラベルが不定である事は許容されているにも関わらず、ラベルあり学習においては訓練データ中の他のノードのラベルに制約され、特定の1ノードに対して訓練データにはないラベルが付与された場合にFALSEと判定することとなり、判定誤りとなってしまう。
また、上記の状況に対し、ラベルなし学習を行う場合、部分構造中のラベルが固定であるノードに、他のラベルが付与された部分構造がマッチしてしまうのでTRUEと判定されることとなり、判定誤りとなってしまう。
一つの側面では、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる学習プログラム、学習方法および学習装置を提供することにある。
一つの態様では、学習プログラムは、グラフデータに対する機械学習処理をコンピュータに実行させる。すなわち、学習プログラムは、学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する処理をコンピュータに実行させる。学習プログラムは、生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する処理をコンピュータに実行させる。
判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。
図1は、実施例の学習装置の構成の一例を示すブロック図である。 図2は、グラフ構造とテンソルとの関係の一例を示す図である。 図3は、部分グラフ構造の抽出の一例を示す図である。 図4は、部分グラフ構造の抽出における問題点の一例を示す図である。 図5は、拡張グラフの一例を示す図である。 図6は、拡張グラフに対応する行列の一例を示す図である。 図7は、拡張グラフデータからの部分グラフ構造の抽出の一例を示す図である。 図8は、ワイルドカードを含む部分グラフ構造の一例を示す図である。 図9は、実施例の学習処理の一例を示すフローチャートである。 図10は、実施例の判別処理の一例を示すフローチャートである。 図11は、学習プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する学習プログラム、学習方法および学習装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例の学習装置の構成の一例を示すブロック図である。図1に示す学習装置100は、グラフ構造のデータを深層学習するディープテンソルによって判別モデルを生成し、判別モデルを用いて新規なグラフ構造のデータを判別する学習装置の一例である。学習装置100は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。学習装置100は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。これにより、学習装置100は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。
まず、ディープテンソルについて説明する。ディープテンソルとは、テンソル(グラフ情報)を入力とするディープラーニングであり、ニューラルネットワークの学習とともに、判別に寄与する部分グラフ構造を自動的に抽出する。この抽出処理は、ニューラルネットワークの学習とともに、入力テンソルデータのテンソル分解のパラメータを学習することによって実現される。
次に、図2および図3を用いてグラフ構造について説明する。図2は、グラフ構造とテンソルとの関係の一例を示す図である。図2に示すグラフ20は、4つのノードがノード間の関係性(例えば「相関係数が所定値以上」)を示すエッジで結ばれている。なお、エッジで結ばれていないノード間は、当該関係性がないことを示す。グラフ20を2階のテンソル、つまり行列で表す場合、例えば、ノードの左側の番号に基づく行列表現は「行列A」で表され、ノードの右側の番号(囲み線で囲んだ数字)に基づく行列表現は「行列B」で表される。これらの行列の各成分は、ノード間が結ばれている(接続している)場合「1」で表され、ノード間が結ばれていない(接続していない)場合「0」で表される。以下の説明では、この様な行列を接続行列ともいう。ここで、「行列B」は、「行列A」の2,3行目および2,3列目を同時に置換することで生成できる。ディープテンソルでは、この様な置換処理を用いることで順序の違いを無視して処理を行う。すなわち、「行列A」および「行列B」は、ディープテンソルでは順序性が無視され、同じグラフとして扱われる。なお、3階以上のテンソルについても同様の処理となる。
図3は、部分グラフ構造の抽出の一例を示す図である。図3に示すグラフ21は、6つのノードがエッジで結ばれたものである。グラフ21は、行列(テンソル)で表すと行列22に示すように表現できる。行列22に対して、特定の行および列を入れ替える演算、特定の行および列を抽出する演算、ならびに、接続行列における非ゼロ要素をゼロに置換する演算を組み合わせることで、部分グラフ構造を抽出できる。例えば、行列22の「ノード1,4,5」に対応する行列を抽出すると、行列23となる。次に、行列23の「ノード4,5」間の値をゼロに置換すると、行列24となる。行列24に対応する部分グラフ構造は、グラフ25となる。
このような部分グラフ構造の抽出処理は、テンソル分解と呼ばれる数学的演算によって実現される。テンソル分解とは、入力されたn階テンソルをn階以下のテンソルの積で近似する演算である。例えば、入力されたn階テンソルを1つのn階テンソル(コアテンソルと呼ばれる。)、および、より低階のn個のテンソル(n>2の場合、通常は2階のテンソル、つまり行列が用いられる。)の積で近似する。この分解は一意ではなく、入力データが表すグラフ構造中の任意の部分グラフ構造をコアテンソルに含める事ができる。
続いて、部分グラフ構造の抽出における問題点について説明する。ディープテンソルにおいては、入力データのグラフ構造のデータ(テンソル)を、ラベルなしグラフ、または、ラベルありグラフのどちらかであると見做して学習および判別を行う。なお、入力データをどちらのグラフと見做して処理を行うかはユーザによって設定される。以下の説明では、入力データをラベルなしグラフと見做す場合をラベルなしグラフ処理モードと表し、入力データをラベルありグラフと見做す場合をラベルありグラフ処理モードと表す。
ラベルなしグラフ処理モードが適切なタスクの一例として、不正アクセス検知が挙げられる。例えば、ネットワーク上のPC(Personal Computer)間の通信情報を用いた不正アクセスを検知するために、グラフの各ノードを各PC、各ノードのラベルを各PCのIP(Internet Protocol)アドレスとすることが考えられる。ところが、この様なラベルありグラフを入力として、ラベルありの部分グラフ構造(コアテンソル)を学習させてしまうと、他のネットワークではIPアドレスが全く重ならないのでマッチしないことになる。従って、不正アクセス検知の場合には、ラベルなしグラフを入力データとして学習させることが求められる。
一方、ラベルありグラフ処理モードが適切なタスクの一例としては、薬効判定が挙げられる。例えば、化合物の構造を表すグラフを入力として特定の薬効があるか否かを判定する場合、どの様な元素がどう繋がっているかが重要となる。従って、薬効判定の場合には、元素名をラベルとしたラベルありグラフを入力データとして学習させることが求められる。
薬効判定の場合には、例えば、ある化合物の構造を表すグラフに対して、一部のノードの元素が不定であってもよい場合がある。この様な場合、判別ルールとして、部分グラフ構造の一部のノードを不定な要素とした汎化された判別ルールを学習できることが望まれる。例えば、訓練データの正例のうち、判別に寄与する部分グラフ構造が共通の特徴を持つ場合に、この共通の特徴を有しているか否かで、新規データを判別したいとする。ところが、単にグラフ構造のデータを入力とするディープテンソルでは、共通の特徴を持つ部分グラフ構造がノードの一部に不定な要素を持つ場合に、この特徴を学習させることが困難である。
図4は、部分グラフ構造の抽出における問題点の一例を示す図である。図4に示すグラフ26は、学習したい判別ルールを示す部分グラフ構造である。グラフ26は、不定な要素を持つノードを、ワイルドカードノード(*印)として表している。すなわち、グラフ26は、「ラベルCのノードが3つ以上の任意ラベルのノード(不定な要素を持つノード)に接続する。」という判別ルールである。
一方、グラフ27は、ラベルありグラフ処理モードを用いた場合に抽出される部分グラフ構造である。この場合、グラフ26のワイルドカードノードは、訓練データの要素(A,B,D,・・・,X,Y,Z)で置き換えて学習が行われるが、真の判別ルールであるグラフ26とマッチする新規データを見逃す可能性がある。また、グラフ28は、ラベルなしグラフ処理モードを用いた場合に抽出される部分グラフ構造である。この場合、グラフ28は、全てのノードがラベルなしの要素、つまりワイルドカードノードとなるので、グラフ26のラベルCのノードであるハブノードが、ラベルC以外の新規データであってもマッチしたと誤判定する可能性がある。
すなわち、ラベルありグラフ処理モードでは、全てのノードのラベルをそのまま使用して部分グラフ構造を学習するので、一部のノードをワイルドカードノードに置換するという処理が行えず、グラフ26のような部分グラフ構造は学習できない。また、ラベルなしグラフ処理モードでは、全てのノードのラベルが任意である、つまりワイルドカードノードである部分グラフ構造を学習するので、一部のノードが特定のラベルであるグラフ26のような部分グラフ構造は学習できない。また、ディープテンソルでは、ラベルありグラフ処理モードとラベルなしグラフ処理モードとの混在はサポートされない。これに対し、本実施例では、入力データのグラフに対応するワイルドカードノードで構成されたグラフを追加することで、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上することができる。
次に、学習装置100の構成について説明する。図1に示すように、学習装置100は、通信部110と、表示部111と、操作部112と、記憶部120と、制御部130とを有する。なお、学習装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、図示しないネットワークを介して他の情報処理装置と有線または無線で接続され、他の情報処理装置との間で情報の通信を司る通信インタフェースである。通信部110は、例えば、管理者などの端末から学習用の訓練データや判別対象の新規データを受信する。また、通信部110は、管理者などの端末に、学習結果や判別結果を送信する。
表示部111は、各種情報を表示するための表示デバイスである。表示部111は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部111は、制御部130から入力された表示画面等の各種画面を表示する。
操作部112は、学習装置100のユーザから各種操作を受け付ける入力デバイスである。操作部112は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部112は、ユーザによって入力された操作を操作情報として制御部130に出力する。なお、操作部112は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部111の表示デバイスと、操作部112の入力デバイスとは、一体化されるようにしてもよい。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、訓練データ記憶部121と、拡張グラフデータ記憶部122と、判別モデル記憶部123とを有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。
訓練データ記憶部121は、例えば、通信部110を介して入力された学習対象の訓練データを記憶する。訓練データ記憶部121には、例えば、化合物の構造を表すグラフに対応する学習対象のグラフデータが訓練データとして記憶される。
拡張グラフデータ記憶部122は、訓練データのグラフに対応するワイルドカードノードで構成されたグラフを、当該訓練データに追加した拡張グラフデータを記憶する。ここで、図5および図6を用いて拡張グラフおよび拡張グラフに対応する行列、つまり拡張グラフデータについて説明する。
図5は、拡張グラフの一例を示す図である。図5に示すように、訓練データのグラフ30は、ノード「1〜4」に対してラベル「A〜D」が対応付けられている。これに対し、拡張グラフ31では、単一のラベル「*」を持ち、ノード「1〜4」に対応するワイルドカードノード「5〜8」が追加される。また、拡張グラフ31では、追加されたワイルドカードノード間、および、訓練データのグラフ30のノードとワイルドカードノードとの間の接続関係を、訓練データのグラフ30に合わせてエッジで結んで設定する。例えば、ノード「1」は、ノード「2,3」と接続しているので、対応するワイルドカードノード「6,7」とも接続する。すなわち、拡張グラフ31では、部分グラフ構造の抽出の際に、特定のラベルを持つ訓練データのグラフ30のノードに代えて、対応するワイルドカードノードが選択可能となる。
図6は、拡張グラフに対応する行列の一例を示す図である。図6に示す行列32は、図5の訓練データのグラフ30に対応する行列である。また、行列33は、図5の拡張グラフ31に対応する行列である。行列33は、行列32に対して、当該行列32を縦横に追加することで生成される。すなわち、行列33は、行列32に対応する行列34と、拡張グラフ31のワイルドカードノード間の接続情報を表す行列35と、グラフ30と拡張グラフ31のノード間の接続情報を表す行列36,37とを有する。拡張グラフデータ記憶部122は、例えば、拡張グラフ31に対応する行列33を、拡張グラフデータとして記憶する。なお、グラフ30のうち、ワイルドカードとならないノードがある場合には、当該ノードに対応するワイルドカードノードは設定しない。つまり、設定しないワイルドカードノードに対応する行および列は、行列35〜37から削除される。
図1の説明に戻って、判別モデル記憶部123は、拡張グラフデータを深層学習した判別モデルを記憶する。判別モデルは、学習モデルとも呼ばれ、例えば、ニューラルネットワークの各種パラメータ(重み係数)や、テンソル分解の方法等を記憶する。
制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部130は、取得部131と、生成部132と、学習部133と、判別部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部131は、例えば、通信部110を介して、管理者などの端末から学習用の訓練データを受信して取得する。取得部131は、例えば、図5に示すグラフ30や、グラフ30に対応する行列32を取得する。なお、取得部131は、訓練データがグラフである場合には、対応する接続行列に変換する。取得部131は、取得した行列(接続行列)、または、変換した接続行列を訓練データとして訓練データ記憶部121に記憶する。取得部131は、訓練データを訓練データ記憶部121に記憶すると、生成部132に生成指示を出力する。
生成部132は、取得部131から生成指示が入力されると、訓練データ記憶部121を参照し、訓練データに基づいて、拡張グラフデータを生成する。生成部132は、例えば、訓練データに対応する図6に示す行列32に基づいて、当該行列32を縦横に追加することで、拡張グラフデータに対応する行列33を生成する。すなわち、生成部132は、訓練データがn個のノード(ノード番号:1〜n,各ラベル:L1〜Ln)で構成されている場合、新たにn個のノード(ノード番号n+1〜2n,各ラベル:*)を追加し、2n個のノード間の接続行列を生成する。生成部132は、生成した拡張グラフデータを拡張グラフデータ記憶部122に記憶する。生成部132は、拡張グラフデータを拡張グラフデータ記憶部122に記憶すると、学習部133に学習指示を出力する。
言い換えると、生成部132は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。つまり、生成部132は、グラフデータに、グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、拡張グラフデータを生成する。
学習部133は、生成部132から学習指示が入力されると、拡張グラフデータ記憶部122を参照し、拡張グラフデータを学習して判別モデルを生成または更新する。つまり、学習部133は、拡張グラフデータをテンソル分解し、コアテンソル(部分グラフ構造)を生成する。学習部133は、生成したコアテンソルをニューラルネットワークに入力して出力を得る。学習部133は、出力値の誤差が小さくなるように学習するとともに、判定精度が高くなるようにテンソル分解のパラメータを学習する。テンソル分解においては自由度があり、テンソル分解のパラメータとして、分解モデル、制約、最適化アルゴリズムの組み合わせ等が挙げられる。分解モデルは、例えば、CP(Canonical Polyadic decomposition)やTuckerが挙げられる。制約は、例えば、直交制約、スパース制約、スムース制約、非負制約等が挙げられる。最適化アルゴリズムは、例えば、ALS(Alternating Least Square)、HOSVD(Higher Order Singular Value Decomposition)、HOOI(Higher Order Orthogonal Iteration of tensors)等が挙げられる。ディープテンソルにおいては、「判定精度が高くなる」という制約下でテンソル分解を行う事になる。
その後、学習部133は、所定回数の学習が実行された場合、または、誤差が所定値より小さくなった場合に学習を終了し、各種パラメータやテンソル分解の方法等を判別モデルとして判別モデル記憶部123に記憶する。なお、ニューラルネットワークは、RNN(再帰型ニューラルネットワーク:Recurrent Neural Network)など様々なニューラルネットワークを用いることができる。また、学習方法は、誤差逆伝播法など様々な手法を採用することができる。
ここで、図7を用いて部分グラフ構造の抽出について説明する。図7は、拡張グラフデータからの部分グラフ構造の抽出の一例を示す図である。図7に示すように、学習部133は、行列33に対して、特定の行および列を入れ替える演算、特定の行および列を抽出する演算、ならびに、接続行列における非ゼロ要素をゼロに置換する演算を組み合わせることで、部分グラフ構造の行列38を抽出する。図7の例では、学習部133は、行列33からラベル「C」と、ラベル「A,B,D」に対応するワイルドカードのラベル「*」とに関する行および列を抽出して行列38を生成する。これは、図5の拡張グラフ31のノード「3,5,6,8」に対応する行および列である。次に、学習部133は、行列38のノード「5,6」間の値をゼロに置換して行列39を生成する。行列39に対応する部分グラフ構造は、グラフ40となる。グラフ40は、ラベル「C」とラベル「*」とを有するグラフ構造である。従って、学習部133は、グラフ40に対応する行列39を学習することで、不定要素を含む判別ルールを学習することができる。すなわち、学習装置100は、汎化された真の判別ルールを学習可能となる。
言い換えると、学習部133は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。
図1の説明に戻って、判別部134は、判別モデルの学習後に、新規データを取得し、判別モデルを用いて判別した判別結果を出力する。判別部134は、例えば、通信部110を介して、管理者などの端末から判別対象の新規データを受信して取得する。判別部134は、学習時の生成部132と同様に、取得した新規データに基づいて、拡張グラフデータを生成する。
判別部134は、判別モデル記憶部123を参照し、判別モデルを用いて、生成した拡張グラフデータを判別する。すなわち、判別部134は、判別モデルの各種パラメータを設定したニューラルネットワークを構築し、テンソル分解の方法を設定する。判別部134は、生成した拡張グラフデータをテンソル分解し、ニューラルネットワークに入力して、判別結果を取得する。判別部134は、取得した判別結果を表示部111に出力して表示したり、記憶部120に出力して記憶したりする。
ここで、図8を用いて具体例について説明する。当該具体例では、「ある化合物が酸性を示すか判定したい。」というタスクがあるとする。この場合、訓練データは、素性が化合物の構造を表す接続行列となる。また、目的変数は、酸性を示す場合を「1」、酸性を示さない場合を「0」とする。
図8は、ワイルドカードを含む部分グラフ構造の一例を示す図である。図8に示すグラフ41は、構造式の一部にワイルドカードを有する化合物の一例である。行列42は、グラフ41に対応する接続行列である。なお、行列42の成分は、「1」が単結合を示し、「2」が二重結合を示す。つまり、学習装置100では、グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する拡張グラフデータを生成する。また、学習される判別ルールは、グラフ41に示す部分グラフ構造を含む化合物は酸性であるとする。
このとき、もしワイルドカードが使えないと、ラベル「*」のノードには、訓練データ中の特定元素が与えられて学習されることになる。ラベル「*」に与えられる元素としては、C(カルボン酸)、S(スルホン酸)、P(リン酸)、As(ヒ酸)、I(ヨウ素酸)、B(メタホウ酸)等があり、様々な元素で酸性を示す。グラフ41に示す部分グラフ構造を含む化合物は、オキソ酸と呼ばれ、ラベル「*」の元素に関わりなく、この元素に接続する2つの酸素によって酸性を示すことが知られている。従って、ワイルドカードが使えない場合、訓練データには、オキソ酸を構成可能な全ての元素を網羅しなければならなくなる。これに対し、本実施例では、ワイルドカードノードを含むグラフ41に対応する行列42を入力として学習することで、この様な化学的性質を意味する部分グラフ構造が学習可能となる。すなわち、訓練データは、オキソ酸を構成可能な全ての元素を網羅しなくてもよくなる。
次に、実施例の学習装置100の動作について説明する。まず、判別モデルを学習する学習処理について説明する。図9は、実施例の学習処理の一例を示すフローチャートである。
取得部131は、例えば、管理者などの端末から学習用の訓練データを受信して取得する(ステップS1)。取得部131は、取得した訓練データを訓練データ記憶部121に記憶する。取得部131は、訓練データを訓練データ記憶部121に記憶すると、生成部132に生成指示を出力する。
生成部132は、取得部131から生成指示が入力されると、訓練データ記憶部121を参照し、訓練データに基づいて、拡張グラフデータを生成する(ステップS2)。生成部132は、生成した拡張グラフデータを拡張グラフデータ記憶部122に記憶する。生成部132は、拡張グラフデータを拡張グラフデータ記憶部122に記憶すると、学習部133に学習指示を出力する。
学習部133は、生成部132から学習指示が入力されると、拡張グラフデータ記憶部122を参照し、拡張グラフデータを学習する(ステップS3)。学習部133は、所定回数の学習が実行された場合、または、誤差が所定値より小さくなった場合に学習を終了し、各種パラメータやテンソル分解の方法等を判別モデルとして判別モデル記憶部123に記憶する(ステップS4)。これにより、学習装置100は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。
続いて、新規データを判別する判別処理について説明する。図10は、実施例の判別処理の一例を示すフローチャートである。
判別部134は、例えば、管理者などの端末から判別対象の新規データを受信して取得する(ステップS11)。判別部134は、取得した新規データに基づいて、拡張グラフデータを生成する(ステップS12)。判別部134は、判別モデル記憶部123を参照し、判別モデルを用いて、生成した拡張グラフデータを判別する(ステップS13)。判別部134は、判別モデルの判別結果を、例えば、表示部111に出力して表示させる(ステップS14)。これにより、学習装置100は、任意のラベルを含む部分グラフ構造を有するグラフ構造のデータを判別できる。
すなわち、学習装置100は、ワイルドカードノードを含む部分グラフ構造が学習可能となるので、新規データに対する判別性能の向上を見込むことが出来る。例えば、真の判定ルールが「ワイルドカードノードを含む部分グラフ構造Xを含めば正例」であったとする。図4に示すように、従前のディープテンソルでは、ラベルありグラフ処理モードでは、訓練データには存在しないが、部分グラフ構造Xを含む正例を負例と誤判定してしまう。また、ラベルなしグラフ処理モードでは、部分グラフ構造X中の特定のラベルしかとりえないノードを、それ以外のラベルのノードで置換した部分グラフ構造を含む負例を正例と誤判定してしまう。これに対し、実施例の学習装置100では、上述の2つのモードにおける誤判定の両方について、正しく判定することができる。
このように、学習装置100は、学習対象のグラフデータから、グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する。また、学習装置100は、生成した拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、ニューラルネットワークの深層学習を行うとともに、テンソル分解の方法を学習する。その結果、学習装置100は、判別ルールの中に不定要素を含むグラフについての機械学習の判別精度を向上できる。
また、学習装置100は、グラフデータに、グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、拡張グラフデータを生成する。その結果、学習装置100は、不定要素を含む判別ルールを学習できる。
また、学習装置100は、グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する拡張グラフデータを生成する。その結果、学習装置100は、化合物の構造を学習できる。
なお、上記実施例では、ニューラルネットワークとして、RNNを一例として挙げたが、これに限定されない。例えば、CNN(Convolutional Neural Network)など様々なニューラルネットワークを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層(隠れ層)、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、SVM(support vector machine)等の各種手法を用いてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部131と生成部132とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図11は、学習プログラムを実行するコンピュータの一例を示す図である。
図11に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、データ入力を受け付ける入力装置202と、モニタ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る媒体読取装置204と、各種装置と接続するためのインタフェース装置205と、他の情報処理装置等と有線または無線により接続するための通信装置206とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置208とを有する。また、各装置201〜208は、バス209に接続される。
ハードディスク装置208には、図1に示した取得部131、生成部132、学習部133および判別部134の各処理部と同様の機能を有する学習プログラムが記憶される。また、ハードディスク装置208には、訓練データ記憶部121、拡張グラフデータ記憶部122、判別モデル記憶部123、および、学習プログラムを実現するための各種データが記憶される。入力装置202は、例えば、コンピュータ200の管理者から操作情報等の各種情報の入力を受け付ける。モニタ203は、例えば、コンピュータ200の管理者に対して表示画面等の各種画面を表示する。インタフェース装置205は、例えば印刷装置等が接続される。通信装置206は、例えば、図1に示した通信部110と同様の機能を有し図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
CPU201は、ハードディスク装置208に記憶された各プログラムを読み出して、RAM207に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ200を図1に示した取得部131、生成部132、学習部133および判別部134として機能させることができる。
なお、上記の学習プログラムは、必ずしもハードディスク装置208に記憶されている必要はない。例えば、コンピュータ200が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ200が読み出して実行するようにしてもよい。コンピュータ200が読み取り可能な記憶媒体は、例えば、CD−ROMやDVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの学習プログラムを記憶させておき、コンピュータ200がこれらから学習プログラムを読み出して実行するようにしてもよい。
100 学習装置
110 通信部
111 表示部
112 操作部
120 記憶部
121 訓練データ記憶部
122 拡張グラフデータ記憶部
123 判別モデル記憶部
130 制御部
131 取得部
132 生成部
133 学習部
134 判別部

Claims (5)

  1. グラフデータに対する機械学習処理をコンピュータに実行させる学習プログラムであって、
    学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成し、
    生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する、
    処理を前記コンピュータに実行させることを特徴とする学習プログラム。
  2. 前記生成する処理は、前記グラフデータに、前記グラフデータの各ノードのラベルを不定要素としたワイルドカードノードを追加することで、前記拡張グラフデータを生成する、
    ことを特徴とする請求項1に記載の学習プログラム。
  3. 前記生成する処理は、前記グラフデータが化合物の構造を表す場合、原子間の結合次数に応じた値を有する前記拡張グラフデータを生成する、
    ことを特徴とする請求項1または2に記載の学習プログラム。
  4. グラフデータに対する機械学習処理をコンピュータが実行する学習方法であって、
    学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成し、
    生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する、
    処理を前記コンピュータが実行することを特徴とする学習方法。
  5. グラフデータに対する機械学習を行う学習装置であって、
    学習対象のグラフデータから、前記グラフデータに含まれるノードの少なくとも一部が、当該ノードの値、および、当該ノードにおける不定要素の存在有無に対応する値を有する、拡張グラフデータを生成する生成部と、
    生成した前記拡張グラフデータを入力テンソルデータとしてテンソル分解し、深層学習する際に、ニューラルネットワークに入力し、前記ニューラルネットワークの深層学習を行うとともに、前記テンソル分解の方法を学習する学習部と、
    を有することを特徴とする学習装置。
JP2018007543A 2018-01-19 2018-01-19 学習プログラム、学習方法および学習装置 Active JP7006297B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018007543A JP7006297B2 (ja) 2018-01-19 2018-01-19 学習プログラム、学習方法および学習装置
US16/251,130 US11562226B2 (en) 2018-01-19 2019-01-18 Computer-readable recording medium, learning method, and learning apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018007543A JP7006297B2 (ja) 2018-01-19 2018-01-19 学習プログラム、学習方法および学習装置

Publications (2)

Publication Number Publication Date
JP2019128603A true JP2019128603A (ja) 2019-08-01
JP7006297B2 JP7006297B2 (ja) 2022-01-24

Family

ID=67299496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018007543A Active JP7006297B2 (ja) 2018-01-19 2018-01-19 学習プログラム、学習方法および学習装置

Country Status (2)

Country Link
US (1) US11562226B2 (ja)
JP (1) JP7006297B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021125013A (ja) * 2020-02-06 2021-08-30 Kddi株式会社 潜在グラフを生成してグラフ変数を推定するモデル及び装置、並びに当該モデルの生成方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086968B1 (en) 2017-06-05 2021-08-10 Reservoir Labs, Inc. Systems and methods for memory efficient parallel tensor decompositions
WO2021056389A1 (en) * 2019-09-27 2021-04-01 Intel Corporation Methods and apparatus to process machine learning model in web-browser environment
JP7413131B2 (ja) * 2020-04-08 2024-01-15 株式会社日立製作所 材料特性予測方法、材料特性予測装置
JP2022114792A (ja) 2021-01-27 2022-08-08 富士通株式会社 機械学習プログラム、機械学習方法及び機械学習装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191556A (ja) * 2016-04-15 2017-10-19 富士通株式会社 類似度検索装置、類似度検索方法および類似度検索プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0106441D0 (en) * 2001-03-15 2001-05-02 Bayer Ag Method for generating a hierarchical topological tree of 2D or 3D-structural formulas of chemical compounds for property optimization of chemical compounds
JP5881048B2 (ja) 2012-09-18 2016-03-09 株式会社日立製作所 情報処理システム、及び、情報処理方法
JP6369974B2 (ja) 2014-04-16 2018-08-08 国立大学法人電気通信大学 データマイニングによる、ルール生成装置、方法、及び、プログラム、並びに、介護支援システム
JP6333213B2 (ja) 2015-04-27 2018-05-30 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP6535607B2 (ja) 2016-01-19 2019-06-26 日本電信電話株式会社 前処理モデル学習装置、方法、及びプログラム
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
US20210057050A1 (en) * 2019-08-23 2021-02-25 Insilico Medicine Ip Limited Workflow for generating compounds with biological activity against a specific biological target
JP7388217B2 (ja) * 2020-02-05 2023-11-29 富士通株式会社 結晶材料解析装置、結晶材料解析方法、及び結晶材料解析プログラム
JP2021125172A (ja) * 2020-02-10 2021-08-30 富士通株式会社 最適化装置、最適化プログラム、及び最適化方法
EP4107668A1 (en) * 2020-02-19 2022-12-28 Insilico Medicine IP Limited Adversarial autoencoder architecture for methods of graph to sequence models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191556A (ja) * 2016-04-15 2017-10-19 富士通株式会社 類似度検索装置、類似度検索方法および類似度検索プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丸橋 弘治 KOUJI MARUHASHI: "研究開発最前線", FUJITSU VOL.68 NO.5, vol. 第68巻, JPN6021038714, September 2017 (2017-09-01), ISSN: 0004607277 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021125013A (ja) * 2020-02-06 2021-08-30 Kddi株式会社 潜在グラフを生成してグラフ変数を推定するモデル及び装置、並びに当該モデルの生成方法
JP7328162B2 (ja) 2020-02-06 2023-08-16 Kddi株式会社 潜在グラフを生成してグラフ変数を推定するモデル、プログラム及び装置、並びに当該モデルの生成方法

Also Published As

Publication number Publication date
JP7006297B2 (ja) 2022-01-24
US11562226B2 (en) 2023-01-24
US20190228304A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
JP2019128603A (ja) 学習プログラム、学習方法および学習装置
US11468358B2 (en) Framework for semi-supervised learning when no labeled data is given
JP7006296B2 (ja) 学習プログラム、学習方法および学習装置
JP6973106B2 (ja) 学習プログラム、学習方法および学習装置
de Silva et al. Complex networks and simple models in biology
Wang et al. Automatic inference of demographic parameters using generative adversarial networks
US7647524B2 (en) Anomaly detection
JP7115207B2 (ja) 学習プログラム、学習方法および学習装置
US20160092787A1 (en) Behavioral modeling of a data center utilizing human knowledge to enhance a machine learning algorithm
JP2005173788A (ja) オートノミック・コンピューティングシステム、実行環境制御方法及びプログラム
Ainsworth et al. A comparison of methods for inferring causal relationships between genotype and phenotype using additional biological measurements
CN108304318B (zh) 设备兼容性的测试方法及终端设备
JP7139657B2 (ja) 学習プログラム、学習方法および学習装置
CN111459898A (zh) 机器学习方法、计算机可读记录介质以及机器学习设备
US20220300585A1 (en) Cross-Modality Curiosity for Sparse-Reward Tasks
JP2018055551A (ja) データ変換プログラム、データ変換方法、およびデータ変換装置
EP3756095A1 (en) Workload modeling for cloud systems
Charlier et al. Profiling smart contracts interactions with tensor decomposition and graph mining
Anunciação et al. Using information interaction to discover epistatic effects in complex diseases
JP2024514611A (ja) 動的マイクロサービス相互通信構成
Saldanha et al. Evaluation and validation approaches for simulation of social behavior: challenges and opportunities
Shinmura The Best Model of the Swiss Banknote Data-Validation by the 95% CI of coefficients and t-test of discriminant scores
JP7452247B2 (ja) 変換プログラム、変換方法および情報処理装置
JP2019159613A (ja) 学習データ生成方法、学習データ生成プログラムおよびデータ構造
WO2023228290A1 (ja) 学習装置、学習方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150