JP2019053491A - Neural network evaluation apparatus, neural network evaluation method, and program - Google Patents
Neural network evaluation apparatus, neural network evaluation method, and program Download PDFInfo
- Publication number
- JP2019053491A JP2019053491A JP2017176868A JP2017176868A JP2019053491A JP 2019053491 A JP2019053491 A JP 2019053491A JP 2017176868 A JP2017176868 A JP 2017176868A JP 2017176868 A JP2017176868 A JP 2017176868A JP 2019053491 A JP2019053491 A JP 2019053491A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- value
- sample
- output
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の実施形態は、ニューラルネットワーク評価装置、ニューラルネットワーク評価方法、およびプログラムに関する。 Embodiments described herein relate generally to a neural network evaluation apparatus, a neural network evaluation method, and a program.
近年、様々な分野で機械学習技術が活用され始めている。機械学習で得られたモデルを実際に重要な決定・判断などに活用しようとする場合、モデルがブラックボックスのままではユーザに信用されず、モデルに基づく決定・判断などをユーザがためらってしまう可能性がある。そのため、モデルが捉えているデータ間の関係性や、モデルが出力した結果の根拠などについて、ユーザの理解の助けになる情報を提供できることが望ましい。また、モデルが捉えている関係性を理解すること自体が、ユーザの何らかの決定・判断や改善などに役立つ場合がある。 In recent years, machine learning techniques have begun to be used in various fields. When trying to use a model obtained by machine learning for important decision / judgment, etc., if the model remains in the black box, it is not trusted by the user, and the user may hesitate to make a decision / judgement based on the model. There is sex. Therefore, it is desirable to be able to provide information that helps the user's understanding of the relationship between data captured by the model and the basis of the results output by the model. In addition, understanding the relationship captured by the model itself may be useful for some decision / judgement or improvement of the user.
機械学習技術の中でも特にニューラルネットワークは、精度の高いモデルが得られるポテンシャルがあり広く期待を集めている。しかし、ニューラルネットワークが捉えるデータ間の関係性は複雑であり、そのままではユーザが理解することは難しい。そこで、ニューラルネットワークのモデルをユーザが理解し易くなるように、モデルの出力の根拠を説明する技術、モデルを単純化する技術、モデルを要約する技術などが重要となる。 Among machine learning techniques, neural networks are particularly popular because of their potential for obtaining highly accurate models. However, the relationship between the data captured by the neural network is complicated and difficult for the user to understand as it is. Therefore, in order to make it easy for the user to understand the model of the neural network, a technique for explaining the basis of the model output, a technique for simplifying the model, a technique for summarizing the model, and the like are important.
機械学習に関して、医療診断において、個々の診断対象データに対して、モデルの判定結果とともに、その判定を算出するに至った要因である寄与度を提示する技術が知られている。 With regard to machine learning, in medical diagnosis, there is known a technique that presents, for each diagnosis target data, a determination result of a model and a contribution that is a factor that led to calculation of the determination.
また、学習アルゴリズムにより各変数の有効度Wを求め、求めた各変数の有効度Wを降順に並べる。上位から、変数の有効度の和が、全変数の有効度の総和の一定割合以上となるように変数を選択する技術が知られている。
従来の技術では、ユーザがモデル全体の性質を把握するためには大量のサンプルについて情報を確認する必要があり、ユーザの負担が大きい場合がある。また、モデルの性質を保ちつつモデルを十分に単純化することが難しい場合がある。
Further, the effectiveness W of each variable is obtained by a learning algorithm, and the obtained effectiveness W of each variable is arranged in descending order. From the top, there is known a technique for selecting a variable such that the sum of the effectiveness of variables is equal to or greater than a certain ratio of the sum of the effectiveness of all variables.
In the conventional technique, in order for the user to grasp the properties of the entire model, it is necessary to confirm information about a large number of samples, and the burden on the user may be heavy. In addition, it may be difficult to sufficiently simplify the model while maintaining the properties of the model.
本発明が解決しようとする課題は、ニューラルネットワークの出力ノードの値に基づいて算出される出力値に関して、ニューラルネットワークの入力データのサンプル集合を、入力データの入力値を変動させたときの前記出力値の変動に基づいてクラスタに分類した結果を提供できるニューラルネットワーク評価装置、ニューラルネットワーク評価方法およびプログラムを提供することである。 The problem to be solved by the present invention is that the output when the input value of the input data is varied in the sample set of the input data of the neural network with respect to the output value calculated based on the value of the output node of the neural network. To provide a neural network evaluation apparatus, a neural network evaluation method, and a program capable of providing a result classified into clusters based on a change in value.
実施形態のニューラルネットワーク評価装置は、変動導出部と、グループ化部とを持つ。前記変動導出部は、ニューラルネットワークの出力ノードの値に基づいて算出される出力値に関して、前記ニューラルネットワークに入力される入力データのサンプルの入力値を変動させたときの前記出力値の変動を求める。前記グループ化部は、前記出力値の変動に基づいて、前記サンプルをグループに分類する。 The neural network evaluation apparatus according to the embodiment includes a variation deriving unit and a grouping unit. The fluctuation derivation unit obtains a fluctuation of the output value when an input value of a sample of input data inputted to the neural network is fluctuated with respect to an output value calculated based on a value of an output node of the neural network. . The grouping unit classifies the samples into groups based on fluctuations in the output value.
以下、実施形態のニューラルネットワーク評価装置、ニューラルネットワーク評価方法、およびプログラムを、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。 Hereinafter, a neural network evaluation device, a neural network evaluation method, and a program according to embodiments will be described with reference to the drawings. In the following description, the same reference numerals are given to configurations having the same or similar functions. And the description which overlaps those structures may be abbreviate | omitted.
また、本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。 Further, “based on XX” in the present application means “based on at least XX”, and includes a case based on another element in addition to XX. Further, “based on XX” is not limited to the case where XX is directly used, but also includes the case where it is based on an operation or processing performed on XX. “XX” is an arbitrary element (for example, arbitrary information).
(第1の実施形態)
[ニューラルネットワーク評価システム]
図1は、第1の実施形態のニューラルネットワーク評価システムの一例を示す図である。第1の実施形態のニューラルネットワーク評価システム1は、ニューラルネットワーク評価装置100と、端末装置200とを備える。ニューラルネットワーク評価装置100と、端末装置200とは、ネットワーク50を介して接続される。
(First embodiment)
[Neural network evaluation system]
FIG. 1 is a diagram illustrating an example of a neural network evaluation system according to the first embodiment. The neural
ニューラルネットワーク評価装置100は、指定されたニューラルネットワークに関して、入力データのサンプル(以下「サンプル」という。)に関して、サンプルに含まれる入力値の各々を微小に変動させた場合にの、ニューラルネットワークの出力ノードの値に基づいて算出される出力値(以下、単に「出力値」という。)の変動を算出する。以下、複数の入力値の各々を微小に変動させた際の出力値の変動を、全ての入力変数について並べることによって得られるベクトルを、変動ベクトルという。なお、出力値は、ニューラルネットワークの出力ノードのうち、いずれかひとつのノードの値であっても良いし、出力ノードのうち、ひとつもしくは複数のノードの値に何らかの演算を適用して算出される値であっても良い。
The neural
ニューラルネットワーク評価装置100は、ユーザが指定した複数のサンプル集合について、変動ベクトルを算出し、算出した変動ベクトルを並べる。以下、変動ベクトルを並べることによって得られる行列を変動行列という。ここで、複数のサンプルの各々と、変動行列に含まれる要素とは、関連付けられる。
The neural
ニューラルネットワーク評価装置100は、変動行列に基づいて、各サンプルをグループ化する。本実施形態では、グループ化の一例として、クラスタリングを適用した場合について説明を続ける。この場合、ニューラルネットワーク評価装置100は、変動行列に基づいて、各サンプルをクラスタリングする。ニューラルネットワーク評価装置100は、クラスタごとに、モデルの要約情報を生成する。ここで、モデルの要約情報とは、クラスタごとに出力値に影響の強い順に入力変数を並べたランキングや、クラスタごとに出力値と入力変数の関係を単純な形で近似したモデル(例えば線形モデル)などである。
The neural
端末装置200は、ニューラルネットワーク評価装置100が送信したモデルの要約情報を受信し、受信した要約情報をユーザに提示する。
The
(ニューラルネットワーク評価装置)
図2は、第1の実施形態のニューラルネットワーク評価装置の一例を示すブロック図である。ニューラルネットワーク評価装置100は、例えば、通信部102と、記憶部110と、情報処理部130とを備える。
(Neural network evaluation device)
FIG. 2 is a block diagram illustrating an example of the neural network evaluation apparatus according to the first embodiment. The neural
通信部102は、通信モジュールによって実現される。通信部102は、ネットワーク50を経由して、端末装置200と通信を行う。また、通信部102は、端末装置200へ、モデルの要約情報を送信する。
The
記憶部110は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部110の一部または全部は、ニューラルネットワーク評価装置100の一部として設けられる場合に代えて、NAS(Network Attached Storage)や外部のストレージサーバなど、ニューラルネットワーク評価装置100のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部110には、情報処理部130により実行されるプログラム112と、設定データ114とが記憶される。設定データ114は、情報処理部130が実行する処理に関して、ユーザが設定する内容を含む。具体的には、ユーザが設定する内容は、モデルデータ、サンプル集合、サンプル集合のグループ化のための各種設定などが含まれる。
The
[モデルデータ]
モデルデータについて説明する。モデルデータは、要約情報を生成する対象となるニューラルネットワークのデータである。モデルデータは、最低限、与えられた入力データに対して、ニューラルネットワークの各出力ノードの値を算出するために必要な情報を含む。ここで、各出力ノードの値を算出するために必要な情報は、各エッジの重み、バイアスの値、その他活性化関数のパラメータなどの各種パラメータである。第1の実施形態では、ユーザによって、モデルデータが、ニューラルネットワーク評価装置100に、予め与えられる場合について説明を続ける。なお、要約情報を生成する対象となるニューラルネットワークは、入力変数ごとに標準化ないしは正規化した学習データセットにより学習されたものである場合について説明を続ける。
[Model data]
Model data will be described. The model data is neural network data for which summary information is generated. The model data includes, at a minimum, information necessary for calculating the value of each output node of the neural network for given input data. Here, information necessary for calculating the value of each output node is various parameters such as the weight of each edge, the value of bias, and other parameters of the activation function. In the first embodiment, the description will be continued for the case where model data is given in advance to the neural
[サンプル集合]
サンプル集合について説明する。サンプル集合は、ニューラルネットワークに入力するデータのサンプルの集合である。ここで、サンプルは、ニューラルネットワークの各入力変数に対する具体的な値を、全ての入力変数についてまとめたものである。例えば、一つの入力データのサンプルを、入力変数を順に横に並べたベクトルとして表現すると、サンプル集合は全てのサンプルのベクトルを縦に並べた、「サンプル数×入力変数の数」のサイズの行列で表現できる。この行列を、以下「サンプル行列」という。
[Sample set]
A sample set will be described. The sample set is a set of samples of data input to the neural network. Here, the sample is a collection of specific values for each input variable of the neural network for all input variables. For example, if a sample of one input data is expressed as a vector in which input variables are arranged side by side in order, the sample set is a matrix of size “number of samples × number of input variables” in which vectors of all samples are arranged vertically. Can be expressed as This matrix is hereinafter referred to as a “sample matrix”.
図3は、サンプル行列の一例を示す図である。図3は、入力変数が三つ(x1,x2,x3)である場合のサンプル行列の例である。具体的には、サンプル1には、0.45と、0.12と、0.81とが含まれ、サンプル2には、0.18と、0.29と、0.03とが含まれ、サンプル3には、−0.23と、0.32と、0.53とが含まれ、・・・、サンプルNには、−0.81と、−0.50と、−0.37とが含まれる。第1の実施形態では、ユーザによって、サンプル集合が、ニューラルネットワーク評価装置100に予め与えられる場合について説明を続ける。具体的には、ニューラルネットワークを学習した際の学習データのサンプル集合が、ニューラルネットワーク評価装置100に与えられる。サンプル集合に含まれる各サンプルは、ニューラルネットワークの学習前に学習データセットに対して行った標準化または正規化と同様の係数で、入力変数ごとに変換済みであるものとする。
FIG. 3 is a diagram illustrating an example of a sample matrix. FIG. 3 is an example of a sample matrix when there are three input variables (x 1 , x 2 , x 3 ). Specifically,
図2に戻り、説明を続ける。情報処理部130は、例えば、CPU(Central Processing Unit)のようなプロセッサが記憶部110に記憶されたプログラム112を実行することにより実現される機能部(以下「ソフトウェア機能部」という。)である。なお、情報処理部130は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。情報処理部130は、例えば、変動行列算出部132と、グループ化部134と、要約情報生成部136とを備える。
Returning to FIG. 2, the description will be continued. The
変動行列算出部132は、記憶部110に記憶されている設定データ114に基づいて、変動行列を算出する際の設定を行う。具体的には、要約情報を生成する対象のニューラルネットワークが複数の出力ノードを含み、いずれかの出力ノードの値を出力値として設定して変動行列を算出する場合は、変動行列算出部132は、変動行列を算出する対象の出力ノードを設定する。また、ニューラルネットワークの出力ノードのうち、ひとつあるいは複数のノードの値に何らかの演算を施し、それにより得られる値を出力値として設定して変動行列を算出する場合は、その演算方法を設定する。
The fluctuation
また、変動行列算出部132は、設定データ114に含まれるモデルデータ、サンプル集合を参照し、設定に従って変動行列を算出する。具体的には、変動行列算出部132は、各サンプルに対して、出力値の勾配ベクトルを算出する。これは、具体的には、以下のように実施できる。
Further, the variation
ここで、変数名の上部の「→」は、その変数がベクトルであることを表す。変動行列算出部132は、モデルデータに基づきニューラルネットワークの各出力ノードの値を算出する。変動行列算出部132は、設定データ114に指定されている出力ノードの値を選択するか、設定データ114に設定されている計算法を出力ノードの値に適用することよって、出力値を取得する。このとき、取得された出力値に関する、ある入力データサンプルに対する勾配ベクトルは、式(1)で表される。
Here, “→” above the variable name indicates that the variable is a vector. The variation
変動行列算出部132は、勾配ベクトルを、サンプル集合全体について算出し、算出した勾配ベクトルを並べた行列を変動行列として、グループ化部134へ出力する。ここで、勾配ベクトルを構成する偏微分の値は、チェーンルールなどを用いて計算できる。チェーンルールとは、複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式のことをいう。
The variation
図4は、変動行列の一例を示す図である。図4は、入力変数が三つの場合の例について示す。図4では、変動行列の各行の勾配ベクトルが、サンプル集合のいずれのサンプルから算出されたか対応が分かるようにするために、図3を参照して説明したサンプルの順に合わせて変動行列の各行が並ぶように示されている。具体的には、サンプル1の勾配ベクトルは、0.66、0.01、0.24であり、サンプル2の勾配ベクトルは、0.02、0.74、−0.71であり、サンプル3の勾配ベクトルは、0.01、0.63、−0.65であり、・・・、サンプルNの勾配ベクトルは、0.71、0.01、0.27である。
FIG. 4 is a diagram illustrating an example of a variation matrix. FIG. 4 shows an example in which there are three input variables. In FIG. 4, each row of the variation matrix is arranged in the order of the samples described with reference to FIG. 3 so that the correspondence between the gradient vector of each row of the variation matrix calculated from which sample of the sample set can be understood. Shown side by side. Specifically, the gradient vector of
グループ化部134は、変動行列算出部132が出力した変動行列を取得する。グループ化部134は、取得した変動行列に基づいて、設定データ114に含まれる設定にしたがって、サンプル集合に含まれるサンプルをグループにグループ化する。本実施形態では、グループ化の一例として、クラスタリングを適用した場合について説明を続ける。この場合、グループ化部134は、取得した変動行列に基づいて、サンプル集合に含まれるサンプルを、クラスタリングする。具体的には、グループ化部134は、変動行列の各行の勾配ベクトルを、k−means法などのクラスタリングアルゴリズムでクラスタリングする。変動行列の各行は、サンプル集合に含まれる各サンプルと対応付けられている。このため、変動行列の各行の勾配ベクトルをクラスタリングすることによって、各サンプルがクラスタリングされる。
The
k−means法について説明する。k−means法とは、非階層型クラスタリングのアルゴリズムの一つである。k−means法は、クラスタの平均を用い、サンプル集合を与えられたクラスタ数k個に分類する。k−means法の手順の一例について説明する。データの数をn、クラスタの数をkとする。各データに対してランダムにクラスタを割り振る。割り振ったデータをもとに各クラスタの中心を計算する。各データと各クラスタの平均との距離を求め、各データを最も近い中心のクラスタに割り当て直す。上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値を下回った場合に、収束したと判断して処理を終了する。そうでない場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。 The k-means method will be described. The k-means method is one of non-hierarchical clustering algorithms. The k-means method uses an average of clusters and classifies a sample set into k given clusters. An example of the procedure of the k-means method will be described. Let n be the number of data and k be the number of clusters. A cluster is randomly allocated for each data. Calculate the center of each cluster based on the allocated data. The distance between each data and the average of each cluster is obtained, and each data is reassigned to the nearest central cluster. If the allocation of all data clusters has not changed in the above processing, or if the amount of change has fallen below a predetermined threshold value, it is determined that it has converged, and the processing ends. Otherwise, the center of each cluster is recalculated from the newly allocated cluster and the above processing is repeated.
ユーザは、k−means法を用いてクラスタリングするクラスタ数を示す情報などを、設定データ114に記憶させる。グループ化部134は、サンプル集合に含まれる各サンプルが属するクラスタを示す情報を含むクラスタリング結果を、要約情報生成部136へ出力する。
The user stores information indicating the number of clusters to be clustered using the k-means method in the setting
図5は、第1の実施形態のニューラルネットワーク評価装置におけるクラスタリング結果の一例を示す図である。図5は、サンプル集合に、N個(Nは、N>0の整数)のサンプルが含まれる場合に得られるクラスタリング結果を示す。クラスタリング結果には、サンプル1のクラスタ番号−サンプルNのクラスタ番号が含まれる。具体的には、サンプル1のクラスタ番号は1であり、サンプル2のクラスタ番号は2であり、サンプル3のクラスタ番号は2であり、・・・、サンプルNのクラスタ番号は1である。
FIG. 5 is a diagram illustrating an example of a clustering result in the neural network evaluation apparatus according to the first embodiment. FIG. 5 shows a clustering result obtained when the sample set includes N samples (N is an integer of N> 0). The clustering result includes the cluster number of
要約情報生成部136は、変動行列算出部132が出力した変動行列と、グループ化部134が出力したクラスタリング結果を取得する。以降、第1の実施形態では、グループ化部134が出力したクラスタ毎に、出力値に対する影響度の大きい順に入力変数を並べたランキングをモデル要約情報として作成するものとして説明を続ける。要約情報生成部136は、取得したクラスタリング結果に基づいて、クラスタ毎(グループ毎)に、出力値に対する入力変数の影響度を算出する。要約情報生成部136は、出力値に対する影響度の大きい順に入力変数を並べたランキングを作成する。そして、要約情報生成部136は、作成したランキングを、モデル要約情報として、通信部102へ出力する。
The summary
具体的には、要約情報生成部136は、あるクラスタに関して、そのクラスタに属するサンプルに対応する行を変動行列から抽出した行列を生成する。要約情報生成部136は、生成した行列、もしくは生成した行列の各要素の絶対値を取ることで得られる行列に対し、列ごとに和、平均値、中央値、最大値、最小値、および最頻値などの統計量を算出する。要約情報生成部136は、算出した統計量を入力変数ごとの影響度とみなす。要約情報生成部136は、影響度が大きい順に入力変数をソートし、全入力変数、もしくは上位から設定データ114に指定された個数の入力変数をランキングとして生成する。要約情報生成部136は、ランキングを生成する処理を全てのクラスタで行い、クラスタごとのランキングをモデル要約情報として、通信部102へ出力する。通信部102は、要約情報生成部136が出力したモデル要約情報を取得し、取得したモデル要約情報を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100が送信したモデル要約情報を受信し、受信したモデル要約情報を、ユーザへ提示する。
Specifically, the summary
図6は、モデル要約情報の一例を示す図である。第1の実施形態のニューラルネットワーク評価システム1では、モデル要約情報は、端末装置200が表示する。図6に示される例では、クラスタ1、クラスタ2、クラスタ3、およびクラスタ4のうち、ユーザが選択したクラスタについて、入力変数のランキングが表示される。図6に示される例では、クラスタ1が選択され、クラスタ1について、入力変数のランキングが示されている。具体的には、影響度が大きい順に、変数名x11、x4、x8、x5、x1、x7が示されている。このように構成することによって、ニューラルネットワーク評価装置100は、ユーザに、クラスタ毎にどの入力変数が出力値に強い影響を与えるかを知らせることができる。このため、ユーザは、モデルに対する理解を深めることができる。なお、モデル要約情報として、クラスタ毎の入力変数のランキングの代わりに、クラスタ毎にニューラルネットワークの入力変数と出力値との関係性を単純なモデル(例えば線形モデルなど)で近似した情報を生成しても良い。
FIG. 6 is a diagram illustrating an example of model summary information. In the neural
(ニューラルネットワーク評価装置の動作)
図7は、第1の実施形態のニューラルネットワーク評価装置の動作の一例を示すフローチャートである。
(Operation of the neural network evaluation device)
FIG. 7 is a flowchart illustrating an example of the operation of the neural network evaluation apparatus according to the first embodiment.
(ステップS101) 変動行列算出部132は、記憶部110に記憶されている設定データ114に記憶されている情報に基づいて、変動行列を算出する際の設定を行う。変動行列算出部132は、モデルデータ、サンプル集合を参照し、設定にしたがって変動行列を算出する。変動行列算出部132は、算出した変動行列を、グループ化部134へ出力する。
(Step S <b> 101) The fluctuation
(ステップS102) ニューラルネットワーク評価装置100のグループ化部134は、変動行列算出部132が出力した変動行列を取得し、取得した変動行列に基づいて、設定データ114に含まれる設定にしたがって、サンプル集合に含まれるサンプルをクラスタリングする。グループ化部134は、クラスタリング結果を、要約情報生成部136へ出力する。
(Step S102) The
(ステップS103) ニューラルネットワーク評価装置100の要約情報生成部136は、グループ化部134が出力したクラスタリング結果を取得する。要約情報生成部136は、取得したクラスタリング結果に基づいて、クラスタごとに、出力値に対する入力変数の影響度を算出する。要約情報生成部136は、出力値に対する影響度の大きい順に入力変数を並べたランキングを作成する。
(Step S103) The summary
(ステップS104) ニューラルネットワーク評価装置100の要約情報生成部136は、算出したランキングを示す情報を、モデル要約情報として、通信部102へ出力する。通信部102は、要約情報生成部136が出力したモデル要約情報を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100が送信したモデル要約情報を受信し、受信したモデル要約情報を、ユーザへ提示する。
(Step S104) The summary
前述した実施形態では、サンプル集合、変動の情報、クラスタリング結果が行列で表される場合について説明したが、この例に限られない。例えば、サンプル集合、変動の情報、クラスタリング結果がベクトルで表されてもよい。 In the above-described embodiment, the case where the sample set, the variation information, and the clustering result are represented by a matrix has been described. For example, a sample set, variation information, and clustering result may be represented by vectors.
前述した実施形態では、モデルデータがユーザによって、ニューラルネットワーク評価装置100に予め与えられる場合について説明したが、この限りでない。例えば、ニューラルネットワーク評価装置100に、ニューラルネットワークを学習する機能を追加し、追加したニューラルネットワークを学習する機能によって学習したモデルを、要約情報を生成する対象としてもよい。
In the above-described embodiment, the case where the model data is given in advance to the neural
前述した実施形態においても述べたとおり、ニューラルネットワークの出力ノードのいずれかの値をそのまま出力値として選択する以外に、出力ノードのうち、ひとつあるいは複数のノードの値に何らかの演算を施し、それにより得られる値を出力値に設定して変動行列を算出しても良い。この際の「何らかの演算」とは、例えば出力ノードの値に対してsoftmaxなどの関数を適用することなどが考えられる。 As described in the above-described embodiment, in addition to selecting any value of the output node of the neural network as an output value as it is, some operation is performed on the value of one or a plurality of nodes among the output nodes, thereby The fluctuation matrix may be calculated by setting the obtained value as the output value. The “some operation” at this time may be, for example, applying a function such as softmax to the value of the output node.
前述した実施形態では、サンプル集合に含まれるサンプルの順序に合わせて変動行列の各行を並べる場合について説明したが、この限りでない。例えば、サンプル集合に含まれるサンプルの順序とは逆の順序に合わせて変動行列の各行を並べてもよい。 In the above-described embodiment, the case where the rows of the variation matrix are arranged in accordance with the order of the samples included in the sample set has been described. For example, the rows of the variation matrix may be arranged in the order opposite to the order of the samples included in the sample set.
前述した実施形態では、変動行列算出部132が、設定データ114に含まれるモデルデータを参照して、偏微分を計算することで勾配ベクトルを導出する場合について説明したが、この限りでない。例えば、モデルデータ自体が、与えられた入力データに対する勾配ベクトルを算出する機能を備えており、変動行列算出部132はモデルデータが算出した勾配ベクトルを参照するのみであってもよい。また、変動行列算出部132が、偏微分を計算する代わりに、差分法などによって、勾配ベクトルを導出するようにしてもよい。
In the embodiment described above, the case where the variation
前述した実施形態では、グループ化部134は、k−means法などのクラスタリングアルゴリズムでクラスタリングする場合について説明したが、この限りでない。例えば、クラスタリングアルゴリズムとして、任意のアルゴリズムを用いることができる。また、グループ化部134が複数のグループ化アルゴリズムを備え、ユーザが選択できるようにしてもよい。また、グループ化部134は、何らかのクラスタリングアルゴリズムでグループ化した後に、グループ毎に指定されたモデル(線形モデルなど)を生成し、それらのモデルへの当てはまり度を評価し、当てはまり度の評価結果に基づいて、各サンプルを再振り分けするようにしてもよい。具体的には、各サンプルに対して、各グループの線形モデルにあてはめた結果と、ニューラルネットワークで求めた結果とを比較した際の差分の小ささを、その線形モデルへの当てはまり度として評価し、当てはまり度が最も高い線形モデルを持つグループへ各サンプルを再振り分けする方法が考えられる。また、線形モデルの生成と再振り分けを交互に複数回行っても良い。
In the above-described embodiment, the
前述した実施形態では、グループ化部134がクラスタリング結果を、要約情報生成部136へ出力する場合について説明したが、この限りでない。例えば、グループ化部134は、クラスタリング結果を通信部102へ出力するようにしてもよい。そして、通信部102は、グループ化部134が出力したクラスタリング結果を取得し、取得したクラスタリング結果を、端末装置200へ送信するようにしてもよい。端末装置200は、ニューラルネットワーク評価装置100が送信したクラスタリング結果を取得し、取得したクラスタリンク結果を、ユーザへ提示するようにしてもよい。
In the above-described embodiment, the case where the
前述した実施形態では、グループ化部134が、変動行列の全ての要素を用いて、クラスタリングを行う場合について説明したが、この例に限られない。例えば、グループ化部134は、変動行列の一部の要素を用いて、クラスタリングを行うようにしてもよい。具体的には、グループ化部134は、変動行列の一部の列の要素を抜き出して、抜き出した要素を用いて、クラスタリングを行うようにしてもよい。このとき、変動行列から抜き出す列は、ユーザが指定した内容に基づいて決定してもよい。また、グループ化部134は、変動行列、もしくは変動行列の全ての要素の絶対値を取った行列について、その行列の列ごとに和、平均値、中央値、最大値、最小値、および最頻値などの統計量を算出し、算出した統計量が大きい順に、一定数の列の要素を変動行列から抜き出すようにしてもよい。そして、グループ化部134は、抜き出した要素を用いて、クラスタリングを行うようにしてもよい。
In the above-described embodiment, the case where the
前述した実施形態において、グループ化部134は、変動行列と、サンプル行列との両者を用いて、クラスタリングを行ってもよい。具体的には、グループ化部134は、変動行列と、サンプル行列とを連結することによって得られる行列を、新たな変動行列として使用してもよい。
In the above-described embodiment, the
図8は、変動行列の一例を示す図である。図8に示される例では、サンプル行列と、変動行列とが連結されることによって、変動行列が新たに作成される。ここで、変動行列の代わりに、変動行列の一部の列を抜き出した行列を使用してもよいし、サンプル行列の代わりに、サンプル行列の一部の列を抜き出した行列を使用してもよい。 FIG. 8 is a diagram illustrating an example of a variation matrix. In the example shown in FIG. 8, a variation matrix is newly created by concatenating a sample matrix and a variation matrix. Here, instead of the variation matrix, a matrix obtained by extracting some columns of the variation matrix may be used, or a matrix obtained by extracting some columns of the sample matrix may be used instead of the sample matrix. Good.
前述した実施形態において、グループ化部134は、サンプル行列でクラスタリングした後に、そのクラスタリングによって得られるクラスタごとに、変動行列でクラスタリングしてクラスタを細分化するなど、多段階のクラスタリングを行うようにしてもよい。サンプル行列をクラスタリングに用いることによって、入力変数の類似性を考慮したクラスタリングが可能となり、入力変数の空間におけるクラスタの分布の連続性を高めることができる。
In the above-described embodiment, the
前述した実施形態では、ニューラルネットワーク評価装置100が、記憶部110の設定データ114に含まれるサンプル集合を取得し、モデル要約情報を、端末装置200へ送信する場合について説明したが、この例に限られない。例えば、ニューラルネットワーク評価装置100が、キーボード、マウスなどの入力装置と、ディスプレイなどの表示装置を備え、ユーザが入力装置を操作することによって入力されるサンプルを取得し、表示装置にモデル要約情報を出力するようにしてもよい。
In the embodiment described above, the case where the neural
以上で説明した少なくとも一つの実施形態によれば、変動行列算出部132は、サンプルごとに、入力変数と出力値との関係を示す情報を算出する。このように構成することによって、サンプルごとに線形モデルなどを学習することで類似した情報を算出する場合と比較して、ニューラルネットワーク評価装置100は、偏微分や差分法など、より高速な方法で、入力変数と出力値との関係を算出できる。また、ニューラルネットワーク評価装置100は、サンプル数、入力次元数ともに大きいデータにも対応できる。
According to at least one embodiment described above, the variation
また、以上で説明した少なくとも一つの実施形態によれば、グループ化部134は、変動行列に基づいて、入力変数と出力値との関係性が類似するサンプルをまとめる。このように構成することによって、個別のサンプルについて情報を提示する場合と比較して、ニューラルネットワーク評価装置100は、ユーザが情報を把握するのに必要な労力を削減させることができる。更に、性質が類似するサンプルをクラスタに纏めることによって、ニューラルネットワーク評価装置100は、各々のクラスタで、もとのニューラルネットワークよりも単純なモデルで入力変数と出力値との関係性を表現できる。また、サンプルによるモデルの特性の違いを考慮せず、一括してモデルを単純化する技術と比べ、ニューラルネットワーク評価装置100は、クラスタごとに情報を提示するため、よりサンプルによるモデルの特性の違いを保って情報を提示できる。
Further, according to at least one embodiment described above, the
また、多数の入力変数に出力値が依存するサンプルを優先的に選択して提示する技術では、少数の入力変数にのみ強く出力値が依存するサンプルは提示されない可能性がある。これに対して、ニューラルネットワーク評価装置100は、適切にクラスタリングなどのグループ分けを行うことが出来れば、少数の入力変数にのみ強く出力値が依存するサンプルの集合は、多くの入力変数に出力値が依存するサンプルとは異なるクラスタを形成する。このため、ニューラルネットワーク評価装置100は、少数の入力変数にのみ強く出力値が依存するサンプルの集合についても、モデルの要約情報をユーザに提示できる。
Further, in the technique of preferentially selecting and presenting samples whose output values depend on a large number of input variables, there is a possibility that samples whose output values strongly depend only on a small number of input variables are not presented. On the other hand, if the neural
また、以上で説明した少なくとも一つの実施形態によれば、要約情報生成部136は、クラスタごとに、出力値に対する影響度が大きい入力変数のランキングや、入力変数と出力値との関係性を近似する線形モデルを作成する。このように構成することによって、ユーザはクラスタごとの注目すべき変数を特定したり、各入力変数と出力値との関係性を単純なモデルで把握したりすることができる。
Further, according to at least one embodiment described above, the summary
(第2の実施形態)
(ニューラルネットワーク評価システム)
第2の実施形態のニューラルネットワーク評価システムの一例は、図1を適用できる。ただし、ニューラルネットワーク評価システム1Aは、ニューラルネットワーク評価装置100の代わりにニューラルネットワーク評価装置100Aを備える。
(Second Embodiment)
(Neural network evaluation system)
FIG. 1 can be applied to an example of the neural network evaluation system according to the second embodiment. However, the neural network evaluation system 1A includes a neural
ニューラルネットワーク評価装置100Aは、クラスタごとに、入力データと出力値との関係性を線形モデルにより近似し、近似することによって得られる入力データと出力値との関係性をモデル要約情報として出力する。また、ニューラルネットワーク評価装置100Aは、未知のサンプルをクラスタに分類し、そのクラスタに対応する線形モデルを用いて、出力値を予測する。
The neural
(ニューラルネットワーク評価装置)
図9は、第2の実施形態のニューラルネットワーク評価装置の一例を示すブロック図である。ニューラルネットワーク評価装置100Aは、ニューラルネットワーク評価装置100と比較して、情報処理部130の代わりに情報処理部130Aを備える。また、通信部102は、端末装置200が送信した未知のサンプルを受信する。
(Neural network evaluation device)
FIG. 9 is a block diagram illustrating an example of a neural network evaluation apparatus according to the second embodiment. Compared to the neural
情報処理部130Aは、例えば、CPUのようなプロセッサが記憶部110に記憶されたプログラム112を実行することにより実現されるソフトウェア機能部である。なお、情報処理部130Aは、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。情報処理部130Aは、例えば、変動行列算出部132と、グループ化部134Aと、要約情報生成部136Aと、分類ルール生成部138と、予測部140とを備える。
The
グループ化部134Aは、変動行列算出部132が出力した変動行列を取得する。グループ化部134Aは、設定データ114に含まれるモデルデータと、サンプル集合とを参照し、各サンプルにおいて、ニューラルネットワークのモデルに接する面の切片を、式(2)を用いて算出する。
The grouping unit 134A acquires the variation matrix output from the variation
図10は、第2の実施形態のニューラルネットワーク評価装置における切片の情報の一例を示す図である。図10に示される例では、グループ化部134Aは、サンプル集合内の全てのサンプルについて、切片を算出し、算出した切片を並べる。具体的には、サンプル1の切片は−0.52であり、サンプル2の切片は−0.20であり、サンプル3の切片は−0.23であり、・・・、サンプルNの切片は0.36である。
FIG. 10 is a diagram illustrating an example of intercept information in the neural network evaluation apparatus according to the second embodiment. In the example illustrated in FIG. 10, the grouping unit 134A calculates intercepts for all samples in the sample set, and arranges the calculated intercepts. Specifically, the intercept of
グループ化部134Aは、変動行列と、切片とに基づいて、各サンプルをグループにグループ化する。本実施形態では、グループ化の一例として、クラスタリングを適用した場合について説明を続ける。この場合、グループ化部134Aは、変動行列と、切片とに基づいて、各サンプルをクラスタリングする。具体的には、グループ化部134Aは、変動行列に基づいて、各サンプルをクラスタリングする。変動行列に基づいて、各サンプルをクラスタリングする処理は、第1の実施形態を適用できる。グループ化部134Aは、クラスタリングを行うことによって得られたクラスタ毎に、そのクラスタに属するサンプルを、切片の類似性に基づいて、さらにクラスタリングする。ここで、第1の実施形態で説明したように、グループ化部134Aは、変動行列から一部の列を抜き出すことによって得られる行列を、クラスタリングに使用してもよい。また、グループ化部134Aは、変動行列に、図10を参照して説明した切片を並べることによって得られる行列を連結することによって、行列を新たに生成し、生成した行列に基づいて、クラスタリングを行ってもよい。グループ化部134Aは、変動行列の一部の列を抜き出した行列に、図10を参照して説明した切片を並べることによって得られる行列を連結することによって、行列を新たに生成し、生成した行列に基づいて、クラスタリングを行ってもよい。また、変動行列やその一部の列などを抜き出した行列に、図10を参照して説明した切片を並べることによって得られる行列を連結する際に、それぞれの行列の要素を定数倍などして重みづけをしてから連結してもよい。 The grouping unit 134A groups each sample into a group based on the variation matrix and the intercept. In the present embodiment, a description will be continued for a case where clustering is applied as an example of grouping. In this case, the grouping unit 134A clusters each sample based on the variation matrix and the intercept. Specifically, the grouping unit 134A clusters each sample based on the variation matrix. The first embodiment can be applied to the process of clustering each sample based on the variation matrix. For each cluster obtained by clustering, the grouping unit 134A further clusters the samples belonging to the cluster based on the similarity of the intercepts. Here, as described in the first embodiment, the grouping unit 134A may use a matrix obtained by extracting some columns from the variation matrix for clustering. Further, the grouping unit 134A generates a new matrix by concatenating the matrix obtained by arranging the intercepts described with reference to FIG. 10 to the variation matrix, and performs clustering based on the generated matrix. You may go. The grouping unit 134A newly generates and generates a matrix by concatenating a matrix obtained by arranging the intercept described with reference to FIG. 10 to a matrix obtained by extracting some columns of the variation matrix. Clustering may be performed based on the matrix. In addition, when the matrix obtained by arranging the intercept described with reference to FIG. 10 is connected to the matrix obtained by extracting the variation matrix or a part of the matrix, the elements of each matrix are multiplied by a constant, for example. You may connect after weighting.
変動行列のみに基づいて、クラスタリングを行う場合には、ニューラルネットワークのモデルに接する面の傾きのみに基づいて、傾きが類似するサンプルが同じクラスタにクラスタリングされる。そのため、各クラスタにおいて切片が大きく異なるサンプルが混在すると、入力データと出力値との関係を、一つの線形モデルで上手く近似できない場合がある。ニューラルネットワーク評価装置100Aは、切片に基づいて、クラスタリングを行うことによって、切片が大きく異なるサンプルは、別のクラスタに分けられる。このように構成することによって、より適切に線形モデルを当てはめることが可能になる。グループ化部134Aは、クラスタリング結果と、各サンプルに対する切片の情報とを、要約情報生成部136Aへ、出力する。
When clustering is performed based only on the variation matrix, samples having similar inclinations are clustered into the same cluster based only on the inclination of the surface in contact with the model of the neural network. For this reason, if samples having significantly different intercepts are mixed in each cluster, the relationship between the input data and the output value may not be approximated with a single linear model. The neural
要約情報生成部136Aは、変動行列算出部132が算出した変動行列と、グループ化部134Aが出力したクラスタリング結果と、各サンプルに対する切片の情報とを取得する。要約情報生成部136Aは、取得したクラスタリング結果に基づいて、クラスタごとに、入力データと出力値との関係性を近似した線形モデルを生成する。要約情報生成部136Aは、線形モデルの導出を、例えば次のような方法で実施する。あるクラスタcについて、入力データに対する出力値を近似する線形モデルを、式(3)によって求める。
The summary
式(4)、式(5)において、meanの演算の括弧内がベクトルである場合には平均ベクトル(要素ごとの平均値を取ったベクトル)を取り、スカラである場合には平均値を取る。要約情報生成部136Aは、全てのクラスタについて線形モデルを求め、求めたクラスタ毎の線形モデルをモデル要約情報として、分類ルール生成部138へ出力する。要約情報生成部136Aは、モデル要約情報を、通信部102へ出力するようにしてもよい。この場合、通信部102は、要約情報生成部136が出力したモデル要約情報を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100Aが送信したモデル要約情報を受信し、受信したモデル要約情報を、ユーザへ提示する。
In Equations (4) and (5), if the parentheses in the mean operation are vectors, an average vector (a vector obtained by taking an average value for each element) is taken, and if it is a scalar, an average value is taken. . The summary
分類ルール生成部138は、未知のサンプルが属するクラスタを決定するための分類ルールを生成する。具体的には、分類ルール生成部138は、サンプル行列の各行を入力変数とし、各行に対応するクラスタリング結果を教師データとして、任意の識別モデルを学習することによって、分類ルールを生成する。分類ルール生成部138は、生成した分類ルールを、予測部140へ出力する。分類ルール生成部138は、分類ルールを、通信部102へ出力するようにしてもよい。この場合、通信部102は、分類ルール生成部138が出力した分類ルールを、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100Aが送信した分類ルールを受信し、受信した分類ルールを、ユーザへ提示する。
The classification
予測部140は、分類ルール生成部138が出力した分類ルールを取得する。また、予測部140は、通信部102を制御することによって、未知のサンプルを取得する。ここで、未知のサンプルは、ニューラルネットワークの学習前に学習データセットに対して行った標準化または正規化と同様の係数で、入力変数ごとに変換済みであるものとする。予測部140は、未知のサンプルを取得し、分類ルールを参照し、その未知のサンプルがどのクラスタに属するかを決定する。予測部140は、未知のサンプルが属するクラスタの線形モデルを用いて、出力値を予測し、予測値を、通信部102へ出力する。通信部102は、予測部140が出力した予測値を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100Aが送信した予測値を受信し、受信した予測値を、ユーザへ提示する。
The
図11は、モデル要約情報の一例を示す図である。第2の実施形態のニューラルネットワーク評価システム1Aでは、モデル要約情報は、端末装置200が表示する。図11に示される例では、クラスタ1、クラスタ2、クラスタ3、およびクラスタ4のうち、ユーザが選択したクラスタについて、線形モデルの、入力変数ごとの重みが表示される。図11に示される例では、クラスタ1が選択され、クラスタ1について、入力変数ごとの線形モデルの重みが示されている。具体的には、線形モデルの重みの絶対値の大きさが大きい順に、変数名x11、x4、x8、x5、x1、x7が示されている。このように構成することによって、ニューラルネットワーク評価装置100Aは、ユーザに、クラスタごとに、各入力変数が変化すると、出力値が増えるか減るか、その変化量はどれくらいかを把握させることができる。このため、ユーザは、モデルに対する理解を深めることができる。
FIG. 11 is a diagram illustrating an example of model summary information. In the neural network evaluation system 1A of the second embodiment, the model summary information is displayed by the
また、図11には、分類ルール生成部138が生成した分類ルールも表示されている。ここでは、一例として、分類ルールが決定木である場合について示した。このように構成することによって、ユーザは、分類ルールの決定木を見ることによって、各クラスタと入力変数の値の条件との対応を知ることができる。このため、ニューラルネットワークに対する理解が深まる。また、ユーザが、変数名を選択した場合に、表示中のクラスタ内のサンプルについて、選択した変数と出力値との散布図などを表示することによって、関係性を示すようにしてもよい。
In FIG. 11, the classification rule generated by the classification
(ニューラルネットワーク評価装置の動作)
図12は、第2の実施形態のニューラルネットワーク評価装置の動作の一例を示すフローチャートである。ステップS201は、図7を参照して説明したステップS101を適用できる。
(Operation of the neural network evaluation device)
FIG. 12 is a flowchart illustrating an example of the operation of the neural network evaluation apparatus according to the second embodiment. For step S201, step S101 described with reference to FIG. 7 can be applied.
(ステップS202) ニューラルネットワーク評価装置100Aのグループ化部134Aは、変動行列算出部132が出力した変動行列を取得する。グループ化部134Aは、設定データ114に含まれるモデルデータと、サンプル集合と、変動行列132が出力した変動行列を参照し、各サンプルにおいて、ニューラルネットワークのモデルに接する面の切片を、算出する。グループ化部134Aは、変動行列と、切片とに基づいて、クラスタリングを行う。グループ化部134Aは、クラスタリング結果を、要約情報生成部136Aへ出力する。
(Step S202) The grouping unit 134A of the neural
(ステップS203) ニューラルネットワーク評価装置100Aの要約情報生成部136Aは、変動行列算出部132が出力した変動行列と、グループ化部134Aが出力したクラスタリング結果と、各サンプルに対する切片の情報とを取得する。要約情報生成部136Aは、取得したクラスタリング結果に基づいて、クラスタごとに、入力データと出力値との関係性を近似した線形モデルを生成する。要約情報生成部136Aは、生成した線形モデルを示す情報を、分類ルール生成部138へ出力する。
(Step S203) The summary
(ステップS204) ニューラルネットワーク評価装置100Aの分類ルール生成部138は、グループ化部134Aが出力したクラスタリング結果と、設定データ114に含まれるサンプル集合(サンプル行列)を取得する。分類ルール生成部138は、サンプル行列の各行を入力変数とし、各行に対応するクラスタリング結果を教師データとして、任意の識別モデルを学習することによって、分類ルールを生成する。
(Step S204) The classification
(ステップS205) ニューラルネットワーク評価装置100Aの分類ルール生成部138は、生成した分類ルールを示す情報を、通信部102へ出力する。通信部102は、分類ルール生成部138が出力した分類ルールを示す情報を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100Aが送信した分類ルールを示す情報を受信し、受信した分類ルールを示す情報を、ユーザへ提示する。
(Step S205) The classification
図13は、第2の実施形態のニューラルネットワーク評価装置の動作の一例を示すフローチャートである。図13に示される例では、ニューラルネットワーク評価装置100Aの分類ルール生成部138が、分類ルールを生成した後の動作が示される。
FIG. 13 is a flowchart illustrating an example of the operation of the neural network evaluation apparatus according to the second embodiment. In the example shown in FIG. 13, the operation after the classification
(ステップS301) ニューラルネットワーク評価装置100Aの予測部140は、分類ルール生成部138が出力した分類ルールと、要約情報生成部136Aが生成した各クラスタの線形モデルを取得する。また、予測部140は、通信部102を制御することによって、未知のサンプルを取得し、分類ルールを参照し、取得した未知のサンプルが属するクラスタを決定する。予測部140は、決定したクラスタの線形モデルを用いて、出力値を予測する。
(Step S301) The
(ステップS302) ニューラルネットワーク評価装置100Aの予測部140は、予測値を、通信部102へ出力する。通信部102は、予測部140が出力した予測値を、端末装置200へ送信する。端末装置200は、ニューラルネットワーク評価装置100Aが送信した予測値を受信し、受信した予測値を、ユーザへ提示する。
(Step S302) The
前述した実施形態において、グループ化部134Aは、クラスタリングに、任意のアルゴリズムを適用できる。 In the above-described embodiment, the grouping unit 134A can apply an arbitrary algorithm to clustering.
前述した実施形態では、サンプル集合と、変動の情報と、クラスタリング結果と、切片とが行列で表される場合について説明したが、この例に限られない。例えば、サンプル集合と、変動の情報と、クラスタリング結果と、切片とがベクトルで表されてもよい。 In the above-described embodiment, the case where the sample set, the variation information, the clustering result, and the intercept are represented by a matrix has been described. However, the present invention is not limited to this example. For example, the sample set, variation information, clustering result, and intercept may be represented by vectors.
前述した実施形態においては、グループ化部134Aは、変動行列と切片とに基づいて、クラスタリングを行う場合について説明したが、この限りでない。例えば、グループ化部134Aは、変動行列と切片とに加え、サンプル行列に基づいて、クラスタリングを行ってもよい。また、グループ化部134Aは、第1の実施形態で説明したクラスタリング方法を用いてクラスタリングを行ってもよいし、前述したクラスタリング方法を組み合わせて、クラスタリングを行ってもよい。 In the above-described embodiment, the case where the grouping unit 134A performs clustering based on the variation matrix and the intercept has been described, but the present invention is not limited thereto. For example, the grouping unit 134A may perform clustering based on the sample matrix in addition to the variation matrix and the intercept. The grouping unit 134A may perform clustering using the clustering method described in the first embodiment, or may perform clustering by combining the clustering methods described above.
前述した実施形態においては、要約情報生成部136Aが、全てのクラスタについて線形モデルを求め、求めたクラスタ毎の線形モデルをモデル要約情報として出力する場合について説明したが、この例に限られない。たとえば、要約情報生成部136Aは、全てのクラスタ、もしくは一部のクラスタについて線形モデル以外の任意のモデルを求めるようにしてもよい。
In the above-described embodiment, the case has been described in which the summary
前述した実施形態において、クラスタについて線形モデルを求める場合に、要約情報生成部136Aは、改めて学習を行うことで、クラスタごとに線形モデルを求めてもよい。また、要約情報生成部136Aは、クラスタごとに求めた線形モデルに基づいて、各サンプルが属するクラスタを振り分け直してもよい。例えば、要約情報生成部136Aは、各サンプルを、最もニューラルネットワークの出力値に近い値を出力する線形モデルを含むクラスタに再度振り分け直してもよい。また、ニューラルネットワーク評価装置100Aは、クラスタの再振り分けと線形モデルの算出を交互に複数回行って、クラスタリング結果を更新していくようにしてもよい。
In the above-described embodiment, when obtaining a linear model for a cluster, the summary
前述した実施形態では、ニューラルネットワーク評価装置100Aが、記憶部110の設定データ114に含まれるサンプル集合を取得し、モデル要約情報を、端末装置200へ送信する場合について説明したが、この例に限られない。例えば、ニューラルネットワーク評価装置100Aが、キーボード、マウスなどの入力装置と、ディスプレイなどの表示装置を備え、ユーザが入力装置を操作することによって入力されるサンプルを取得し、表示装置にモデル要約情報を出力するようにしてもよい。これは、予測部140に与えられる未知のサンプルについても同様である。
In the above-described embodiment, the case where the neural
以上で説明した少なくとも一つの実施形態によれば、未知のサンプルをクラスタに分類し、該当クラスタの単純なモデルを使って出力値を予測できる。このように構成することによって、もとのニューラルネットワークを使うよりも、未知データへの予測処理の処理時間が短縮される。また、分類ルールを決定木などユーザが理解しやすいモデルにすることによって、生成されたクラスタがどのように形成されているかをユーザに理解させることができる。前述した実施形態において、変動行列算出部は変動導出部の一例である。 According to at least one embodiment described above, unknown samples can be classified into clusters, and output values can be predicted using a simple model of the corresponding cluster. By configuring in this way, the processing time of the prediction process for unknown data is shortened compared to using the original neural network. In addition, by making the classification rule a model that is easy for the user to understand, such as a decision tree, the user can understand how the generated cluster is formed. In the above-described embodiment, the fluctuation matrix calculation unit is an example of a fluctuation derivation unit.
以上、本発明の実施形態およびその変形例を説明したが、これらの実施形態およびその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態およびその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態およびその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 As mentioned above, although embodiment of this invention and its modification were demonstrated, these embodiment and its modification are shown as an example, and are not intending limiting the range of invention. These embodiments and modifications thereof can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
1、1A…ニューラルネットワーク評価システム、50…ネットワーク、100、100A…ニューラルネットワーク評価装置、102…通信部、110…記憶部、112…プログラム、114…設定データ、130、130A…情報処理部、132…変動行列算出部、134、134A…グループ化部、136、136A…要約情報生成部、138…分類ルール生成部、140…予測部、200…端末装置
DESCRIPTION OF
Claims (12)
前記出力値の変動に基づいて、前記サンプルをグループに分類するグループ化部と
を有する、ニューラルネットワーク評価装置。 A fluctuation derivation unit that obtains fluctuations of the output value when the input value included in the sample of the input data of the neural network is fluctuated with respect to the output value calculated based on the value of the output node included in the neural network. ,
A neural network evaluation apparatus comprising: a grouping unit that classifies the samples into groups based on fluctuations in the output value.
を更に有する、請求項9に記載のニューラルネットワーク評価装置。 The prediction unit according to claim 9, further comprising: a prediction unit that classifies the unknown samples into groups according to the rules generated by the classification rule generation unit, and predicts an output value based on the group into which the unknown samples are classified. The neural network evaluation apparatus described.
ニューラルネットワークに含まれる出力ノードが有する値に基づいて算出される出力値に関して、前記ニューラルネットワークの入力データのサンプルに含まれる入力値を変動させたときの前記出力値の変動を求め、
前記出力値の変動に基づいて、前記サンプルをグループに分類し、
前記サンプルを分類した結果を出力する、
ニューラルネットワーク評価方法。 Computer
Regarding the output value calculated based on the value of the output node included in the neural network, the variation of the output value when the input value included in the sample of the input data of the neural network is varied,
Classifying the samples into groups based on variations in the output values;
Outputting the result of classifying the sample;
Neural network evaluation method.
ニューラルネットワークに含まれる出力ノードが有する値に基づいて算出される出力値に関して、前記ニューラルネットワークの入力データのサンプルに含まれる入力値を変動させたときの前記出力値の変動を求めさせ、
前記出力値の変動に基づいて、前記サンプルをグループに分類させ、
前記サンプルを分類した結果を出力させる、
プログラム。 On the computer,
Regarding the output value calculated based on the value of the output node included in the neural network, the variation of the output value when the input value included in the sample of the input data of the neural network is varied,
Classifying the samples into groups based on variations in the output values;
Outputting the result of classifying the sample;
program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176868A JP6815296B2 (en) | 2017-09-14 | 2017-09-14 | Neural network evaluation device, neural network evaluation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176868A JP6815296B2 (en) | 2017-09-14 | 2017-09-14 | Neural network evaluation device, neural network evaluation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019053491A true JP2019053491A (en) | 2019-04-04 |
JP6815296B2 JP6815296B2 (en) | 2021-01-20 |
Family
ID=66013406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017176868A Active JP6815296B2 (en) | 2017-09-14 | 2017-09-14 | Neural network evaluation device, neural network evaluation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6815296B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021018466A (en) * | 2019-07-17 | 2021-02-15 | 株式会社PKSHA Technology | Rule extracting apparatus, information processing apparatus, rule extracting method, and rule extracting program |
WO2021085581A1 (en) * | 2019-11-01 | 2021-05-06 | キヤノン株式会社 | Information processing device, and method for controlling information processing device |
JP2021096775A (en) * | 2019-12-19 | 2021-06-24 | 富士通株式会社 | Learning method, learning program, and information processing device |
JP2021149893A (en) * | 2020-03-24 | 2021-09-27 | 株式会社東芝 | Neural network analysis apparatus, neural network analysis method, and program |
JPWO2022038729A1 (en) * | 2020-08-20 | 2022-02-24 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04175964A (en) * | 1990-11-09 | 1992-06-23 | Hitachi Ltd | Structure device for neural network and pattern recognition device using neural network |
JPH04205601A (en) * | 1990-11-30 | 1992-07-27 | Hitachi Ltd | Operation supporting system for program |
-
2017
- 2017-09-14 JP JP2017176868A patent/JP6815296B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04175964A (en) * | 1990-11-09 | 1992-06-23 | Hitachi Ltd | Structure device for neural network and pattern recognition device using neural network |
JPH04205601A (en) * | 1990-11-30 | 1992-07-27 | Hitachi Ltd | Operation supporting system for program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021018466A (en) * | 2019-07-17 | 2021-02-15 | 株式会社PKSHA Technology | Rule extracting apparatus, information processing apparatus, rule extracting method, and rule extracting program |
WO2021085581A1 (en) * | 2019-11-01 | 2021-05-06 | キヤノン株式会社 | Information processing device, and method for controlling information processing device |
JP2021096775A (en) * | 2019-12-19 | 2021-06-24 | 富士通株式会社 | Learning method, learning program, and information processing device |
JP2021149893A (en) * | 2020-03-24 | 2021-09-27 | 株式会社東芝 | Neural network analysis apparatus, neural network analysis method, and program |
JPWO2022038729A1 (en) * | 2020-08-20 | 2022-02-24 | ||
WO2022038729A1 (en) * | 2020-08-20 | 2022-02-24 | 日本電気株式会社 | Rule generation device, rule generation method, and non-temporary computer-readable medium having control program stored therein |
JP7424497B2 (en) | 2020-08-20 | 2024-01-30 | 日本電気株式会社 | Rule generation device, rule generation method, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP6815296B2 (en) | 2021-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019053491A (en) | Neural network evaluation apparatus, neural network evaluation method, and program | |
Pritom et al. | Predicting breast cancer recurrence using effective classification and feature selection technique | |
JP6435581B2 (en) | Transfer learning device, transfer learning system, transfer learning method and program | |
Srdjevic et al. | A two-phase algorithm for consensus building in AHP-group decision making | |
US20170177924A1 (en) | Attribute factor analysis method, device, and program | |
Rajala et al. | Detecting multivariate interactions in spatial point patterns with Gibbs models and variable selection | |
KR102293791B1 (en) | Electronic device, method, and computer readable medium for simulation of semiconductor device | |
Rutkowski et al. | On explainable fuzzy recommenders and their performance evaluation | |
Large et al. | The heterogeneous ensembles of standard classification algorithms (HESCA): the whole is greater than the sum of its parts | |
CN114341872A (en) | Facilitating interpretability of classification models | |
Sun et al. | Roc-guided survival trees and ensembles | |
JP7287490B2 (en) | LEARNING DEVICE, LEARNING METHOD, AND PROGRAM | |
Sahu et al. | Performance evaluation of different classifier for eye state prediction using EEG signal | |
JP5167596B2 (en) | Data set selection device and experimental design system | |
JP6773412B2 (en) | Coropress map design | |
US20180121811A1 (en) | Profiling a population of examples in a precisely descriptive or tendency-based manner | |
JP2011003156A (en) | Data classification device, data classification method, and data classification program | |
US20190026890A1 (en) | Display control apparatus, display control method, and recording medium | |
Kamkar et al. | Exploiting feature relationships towards stable feature selection | |
CN112529772B (en) | Unsupervised image conversion method under zero sample setting | |
Hennig et al. | The choice of vantage objects for image retrieval | |
CN113712511A (en) | Stable mode discrimination method for brain imaging fusion features | |
US11289202B2 (en) | Method and system to improve clinical workflow | |
JP6721036B2 (en) | Inference system, inference method, and program | |
JPWO2015141157A1 (en) | Information processing apparatus and clustering method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6815296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |