JP2018181187A5

JP2018181187A5 -

Info

Publication number: JP2018181187A5
Application number: JP2017083608A
Authority: JP
Filing date: 2017-04-20
Publication date: 2019-11-28
Anticipated expiration: 2037-04-20

Description

＜ニューラルネットワーク＞
図１は、実施例１にかかるニューラルネットワーク１００の構造例を示す説明図である。ニューラルネットワーク１００は、データユニット群ＤＵと、レポーティングユニット群ＲＵと、サジェスチョンユニットＳＵと、識別ユニットＩＵと、を有する。データユニット群ＤＵは、複数のデータユニットＤＵｌ（ｌは、階層番号であり、０≦ｌ≦Ｌ。Ｌは最下層の階層番号であり、図１では、Ｌ＝３）を直列に接続した構成である。最上段であるｌ＝０のデータユニットＤＵ０は、ニューラルネットワーク１００の入力層であり、ｌ≧１のデータユニットＤＵｌは、ニューラルネットワーク１００の中間層（隠れ層ともいう）に相当する。データユニットＤＵｌは、前段のデータユニットＤＵ（ｌ−１）からの入力データを自データユニットＤＵｌの学習パラメータを用いて計算して出力データを出力するパーセプトロンである。

サジェスチョンユニットＳＵは、各レポーティングユニットＲＵｌからの出力ベクトルｈ^ｌ _Ｒを用いて、各データユニットＤＵｌの重み（出力ベクトルｈ_Ｓ）を計算する。サジェスチョンユニットＳＵにおける出力ベクトルｈ_Ｓの計算は、下記式（３）で実施される。

式（３）中、行列Ｗ_ＳはサジェスチョンユニットＳＵの学習パラメータである。下記式（４）に示すように、活性化関数の１つであるｓｏｆｔｍａｘ関数では、層数Ｌ（本例ではＬ＝３）に等しい次元のベクトルｈ_Ｓを計算する。右辺のベクトルｈ_Ｒはｈ^ｌ _Ｒを垂直方向にスタックしたベクトルである。

したがって、行列Ｗ_Ｓは、Ｌ行Ｍ列（Ｍは、ベクトルｈ_Ｒの要素数）の行列となる。サジェスチョンユニットＳＵにｓｏｆｔｍａｘ関数を採用することにより、要素数Ｌのベクトルｈ_Ｓの各要素（全要素の和は１）は、対応するデータユニットＤＵｌの重みをあらわすことになる。

識別ユニットＩＵは、各層のデータユニットＤＵｌ（ｌ≧１）の出力ベクトルｈ^ｌ _Ｄを識別する。具体的には、たとえば、識別ユニットＩＵは、ベクトルｈ_Ｓにより、中間層のデータユニットＤＵｌ（ｌ≧１）の各出力ベクトルｈ^ｌ _Ｄを重み付けする。具体的には、たとえば、識別ユニットＩＵは、中間層のデータユニットＤＵｌ（ｌ≧１）の出力ベクトルｈ^ｌ _Ｄを統合して統合ベクトルｈを算出する。統合ベクトルｈの計算は、下記式（５）で実施される。

本実施例では、式（１）から式（６）の計算方法と、その際に用いた学習パラメータである行列Ｗ^ｌ _Ｄ，行列Ｗ^ｌ _Ｒ，行列Ｗ_Ｓ，行列Ｗの値を含めて予測モデルと呼称する。予測モデルの学習パラメータは、ニューラルネットワーク１００に訓練データ｛ｘ_ｎ，ｙ_ｎ｝を与えることにより生成される。

なお、データ分析装置２２０は複数台で構成されてもよい。たとえば、負荷分散のため、データ分析装置２２０が複数存在してもよい。また、データ分析装置２２０は、機能ごとに複数台で構成されてもよい。たとえば、学習部２６１およびサーバＤＢ２６３を含む第１のサーバと、予測部２６２およびサーバＤＢ２６３を含む第２のサーバとで構成されてもよい。また、また、学習部２６１および予測部２６２を含む第１のデータ分析装置と、サーバＤＢ２６３を含む第２のデータ分析装置とで構成されてもよい。また、学習部２６１を含む第１のデータ分析装置と、予測部２６２を含む第２のデータ分析装置と、サーバＤＢ２６３を含む第３のデータ分析装置とで構成されてもよい。

図８は、実施例３にかかるニューラルネットワークの構造例を示す説明図である。ニューラルネットワーク８００には、レポーティングユニットＲＵｌが存在しない。このため、実施例３では、式（２）は不要となる。

また、中間層のデータユニットＤＵｌ（ｌ≧１）からの出力データは、識別ユニットＩＵにのみ入力される。入力層のデータユニットＤＵ０からの訓練データｘ_ｎなどの出力データは、サジェスチョンユニットＳＵに入力される。したがって、実施例２では、式（３），式（４）のかわりに、下記式（１６）が適用される。

図９は、実施例４にかかるニューラルネットワークの構造例を示す説明図である。ニューラルネットワーク９００は、実施例１のニューラルネットワークに、ハーモナイジングユニットが追加された構造となる。ハーモナイジングユニットＨＵｌ（ｌ≧１）は、中間層のデータユニットＤＵｌ（ｌ≧１）と識別ユニットとの間に、中間層のデータユニットＤＵｌ（ｌ≧１）ごとに設けられる。ハーモナイジングユニットＨＵｌは、レポーティングユニットＲＵｌと同様、中間層のデータユニットＤＵｌ（ｌ≧１）からの出力データを次元縮退させる縮退部９０１である。したがって、識別ユニットＩＵには、ハーモナイジングユニットＨＵｌで次元縮退されたデータが入力される。

Claims

第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークを用いたデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定部と、
前記第１出力層に含まれ、前記各出力データを、前記設定部によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理部と、
前記第１出力層に含まれ、前記重み付け処理部によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出部と、
を有することを特徴とするデータ分析装置。
請求項１に記載のデータ分析装置であって、
前記設定部は、前記第１入力層からの出力データを受け付けて、当該出力データと前記第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力することを特徴とするデータ分析装置。
請求項１に記載のデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データの次元数を縮退させて、縮退後の各出力データを前記設定部に出力する第１縮退部を有し、
前記設定部は、前記第１縮退部からの縮退後の各出力データを受け付けて、前記縮退後の各出力データと前記第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力することを特徴とするデータ分析装置。
請求項１に記載のデータ分析装置であって、
前記第１入力層に訓練データが与えられた場合に、前記第１学習パラメータ、前記第２学習パラメータ、および前記第３学習パラメータを調整する学習部を有することを特徴とするデータ分析装置。
請求項３に記載のデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データの次元数を縮退させて、縮退後の各出力データを前記重み付け処理部に出力する第２縮退部を有し、
前記重み付け処理部は、前記第２縮退部からの縮退後の各出力データを、前記第１中間層ごとの重みにより、それぞれ重み付けすることを特徴とするデータ分析装置。
請求項４に記載のデータ分析装置であって、
前記学習部は、
前記訓練データを受け付ける第２入力層と、前記第１ニューラルネットワークのハイパーパラメータを出力する第２出力層と、前記第２入力層と前記第２出力層との間において前段の層からのデータと第４学習パラメータとを第２活性化関数に与えて計算して後段の層に計算結果を出力する第２中間層と、により構成される第２ニューラルネットワークを用い、前記第２入力層に前記訓練データが与えられた場合に、前記第４学習パラメータを調整し、
前記訓練データを、前記第４学習パラメータが調整された前記第２ニューラルネットワークの前記第２入力層に与えることにより、前記第２出力層から前記ハイパーパラメータを出力し、
前記ハイパーパラメータにより前記第１ニューラルネットワークの構造を決定し、
前記構造が決定された前記第１ニューラルネットワークの前記第１入力層に前記訓練データが与えられた場合に、前記第１学習パラメータ、前記第２学習パラメータ、および前記第３学習パラメータを調整することを特徴とするデータ分析装置。
請求項６に記載のデータ分析装置であって、
前記ハイパーパラメータは、前記第１ニューラルネットワークを構成する要素のパターンを決定するハイパーパラメータであることを特徴とするデータ分析装置。
請求項７に記載のデータ分析装置であって、
前記パターンを決定するハイパーパラメータは、前記第１活性化関数の種類を示すパラメータであることを特徴とするデータ分析装置。
請求項６に記載のデータ分析装置であって、
前記ハイパーパラメータは、前記第１ニューラルネットワークを構成する要素の順序を決定するハイパーパラメータであることを特徴とするデータ分析装置。
請求項９に記載のデータ分析装置であって、
前記順序を決定するハイパーパラメータは、前記第１中間層の層数を示すパラメータであることを特徴とするデータ分析装置。
第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークを用いたデータ分析装置によるデータ分析方法であって、
前記データ分析装置は、プロセッサと、前記第１ニューラルネットワークを記憶する記憶デバイスと、を有し、
前記プロセッサは、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定処理と、
前記各出力データを、前記設定処理によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理と、
前記重み付け処理によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出処理と、
を実行することを特徴とするデータ分析方法。
第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークが記憶された記憶デバイスにアクセス可能なプロセッサに、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定処理と、
前記各出力データを、前記設定処理によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理と、
前記重み付け処理によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出処理と、
を実行させることを特徴とするデータ分析プログラム。