JP2018169960A - 多層ニューラルネットワーク（ディープラーニング）における線形多項式モデルの作成システム、作成方法及び作成プログラム - Google Patents

Abstract

【課題】多層ニューラルネットワークで作成されたモデルを基にモデル作成に使用した入力データ項目の寄与度をスコアリングすることができる線形多項式モデルの作成システム、作成方法及び作成プログラムを提供する。
【解決手段】線形多項式モデルの作成システムは、多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、入力項目ごとの寄与度を算出する寄与度算出部１４０と、算出した寄与度に基づいて、線形多項式を生成する線形多項式生成部１８０とを含む。
【選択図】図４

Description

本発明は、多層ニューラルネットワーク（ディープラーニング）における線形多項式モデルの作成システム、作成方法及び作成プログラムに関する。

多層ニューラルネットワークは、人間の脳を模擬した構造を持つ機械学習技術の一種で、多数の入力項目から重要な特徴を自動的に獲得するアルゴリズムを持ち、データの分類や連続値の推定能力に優れており、多くの分野への適用が試みられている（特許文献１参照）。

多層ニューラルネットワークは、大きく三つの層（入力層、中間層、出力層）に分けられ、各層は複数のノードで構成され、各層間のノードはそれぞれ異なる結合重みで連結されている。入力層に投入された入力データは結合重みの異なる中間層内のノードを通過する中で入力項目が結合重みに従って合成され出力層を通過して出力データとして処理され、出力結果が作られる。こうした一連の入力から出力への流れにより、認識判定が可能となる。

ニューラルネットワークは、従来、多くのタイプのものが提案されてきた。中間層を複数持つ多層ニューラルネットワークはコンピュータの計算能力がボトルネックとなり実現されていなかったが、近年のコンピュータ能力の向上により実現されるようになった。

多層ニューラルネットワークは、他の機械学習技術では達成できないレベルの精度を実現することができる。機械学習は人間が明示的にルールを与えることなく、データから機械自身がルールを学習する技術であり、通常、入力データと、入力データが何を意味するのかを表す教師ラベルをもって学習し、学習の結果モデルが作成される。

特開２０１５−２１０７４７号公報

本発明の課題は、多層ニューラルネットワークで作成されたモデルを基にモデル作成に使用した入力データ項目の寄与度をスコアリングすることができる線形多項式モデルの作成システム、方法、及び、プログラムを提供することにある。

また、本発明の課題は、多層ニューラルネットワークで作成されたモデルのアルゴリズムを近似的に線形化することで計算コストの低減を図り、処理性能を向上させるモデルを作成することができる線形多項式モデルの作成システム、作成方法及び作成プログラムを提供することにある。

上記課題を解決するために、本発明の線形多項式モデルの作成システム、作成方法及び作成プログラムは、以下のような解決手段を提供する。

（１）本発明の線形多項式モデルの作成システムは、多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、入力項目ごとの寄与度を算出する寄与度算出部と、算出した寄与度に基づいて、線形多項式を生成する線形多項式生成部とを含むことを特徴とする。

（２）上記（１）において、前記寄与度に基づいて、寄与度スコアの絶対値が所定の閾値を超える項目を抽出する高寄与度項目抽出部を備え、前記線形多項式生成部は、前記抽出された高寄与度の項目に基づいて線形多項式を生成することを特徴とする。

（３）上記（１）又は（２）において、元データを前処理して学習データを作成する前処理部と学習データに基づいて、モデルを生成するモデル生成部と、前記モデルの精度を評価する評価部とを含むことを特徴とする。

（４）上記（１）から（３）のいずれかにおいて、前記抽出された高寄与度の項目に基づいて、項目ごとの寄与度の可視化を行う寄与度可視化部を含むことを特徴とする。

（５）本発明の線形多項式モデルの作成方法は、コンピュータが、多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、入力項目ごとの寄与度を算出する寄与度算出ステップと、算出した寄与度に基づいて、線形多項式を生成する線形多項式生成ステップとを実行することを特徴とする。

（６）本発明の線形多項式モデルの作成プログラムは、コンピュータに、多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、項目ごとの寄与度を算出する寄与度算出ステップと、前記算出した寄与度に基づいて、線形多項式を生成する線形多項式生成ステップとを実行させることを特徴とする。

本発明によれば、多層ニューラルネットワークで作成されたモデルを基にモデル作成に使用した入力データ項目の寄与度をスコアリングすることができる線形多項式モデルの作成システム、方法、及び、プログラムを提供することができる。

また、計算コストの低減を図り、処理性能を向上させる多層ニューラルネットワークにおける線形多項式モデルの作成システム、方法、及び、プログラムを提供することができる。

多層ニューラルネットワークにおける線形多項式モデルの作成システムは、処理の軽量化及び高速化を図ることにより、計算リソースの限られたシステム含め、搭載の機会を増やすことができる。

ディープラーニングを搭載するためには、計算量を削減する必要があるが、本発明によれば、行列計算を一次多項式という計算量の少ない方法に変換することができる。また、一次多項式を作成する際に計算で使用する入力項目を取捨選択することにより、更なる軽量化を図ることができる。

高寄与度項目に係る多層ニューラルネットワーク構造解析システムの機能構成を示す図である。 図１に示す多層ニューラルネットワーク構造解析システムのうち、多層ニューラルネットワーク（ディープラーニング）の性能向上のための高寄与度項目の抽出フローチャートである。 ランキングに対する寄与度の関係を示すグラフである。 線形多項式モデルの作成に係る多層ニューラルネットワーク構造解析システムの機能構成を示す図である。 図４に示す多層ニューラルネットワーク構造解析システムのうち、多層ニューラルネットワーク（ディープラーニング）における線形多項式モデルの作成フローチャートである。 判定処理の概念図である。 多層ニューラルネットワークの概念図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。また、機能構成の図において、機能ブロック間の矢印は、データの流れ方向、又は処理の流れ方向を表す。

図１に示すように、多層ニューラルネットワーク構造解析システム１００は、前処理部１１０とモデル生成部１２０と、評価部１３０と、寄与度算出部１４０と、高寄与度項目抽出部１５０と、データセット生成部１７０とを含む。多層ニューラルネットワーク構造解析システム１００は、多層ニューラルネットワークの性能向上のための高寄与度項目の抽出システムを含んで構成されている。多層ニューラルネットワーク構造解析システム１００は、高寄与度可視化部１６０を含んでいてもよい。

多層ニューラルネットワーク構造解析システム１００は、例えば、パーソナルコンピュータなどの電子機器など、又は、これらに実装されるコンピュータプログラムとして具現化されるものであって、外部からの入力信号を入力するための入力信号部１０１と、外部への出力信号を出力するための出力信号部１０２とを有する。

以下、図１及び図２を参照しながら、多層ニューラルネットワーク構造解析システム１００の各構成とその解析方法を説明する。

前処理部１１０は、元データ２００に前処理を施し、学習データとテストデータとを生成する（ステップＳＴ０１）。元データ２００は、入力データと、入力データに対する教師ラベルとの対で構成されており、また、元データ２００にはノイズが含まれていたり、元データ２００の分布が偏っていたりする。そこで、前処理部１１０では、平均からかけ離れた組を取り除くノイズ除去などを実施する。

モデル生成部１２０は、学習データに基づいて、例えば、図７に示すようなモデルを生成する（ステップＳＴ０３）。図７が表すように、多層ニューラルネットワークは入力層１０と、中間層２０、３０と、出力層４０とで構成されるが、この中間層２０、３０に多層オートエンコーダなどを使用して特徴の合成及び抽出を行うことにより、モデルの生成を実施する。

評価部１３０は、モデルの精度を評価する（ステップＳＴ０５）。モデルの評価は、モデルに対して、入力信号部１０１で受け付けた元データ２００の入力データを入力し、出力信号部１０２からの出力値が教師データと一致しているか否かを組ごとに判断し、元データ２００において、一致の数又は割合が所定の値より多い場合、精度が高い（良い）と評価する。

評価の際には、高寄与度可視化部１６０で可視化することが好ましい。高寄与度可視化部１６０は、可視化された評価をモニタのような出力装置に出力することが好ましい。
評価の結果、精度が悪い場合、再び、モデルを生成すべく、処理をステップＳＴ０３に移す。

評価部１３０が高い（良い）評価をした場合、寄与度算出部１４０は、入力項目が出力結果に与える寄与度を算出する（ステップＳＴ０７）。寄与度とは、各出力ノードの出力結果に対する各入力項目の影響度を意味し、多層ニューラルネットワークを構成する各層におけるノード間の結合重みを抽出し、それを基に入力層１０から出力層４０まで各層間の結合を表す行列を順に積算することにより算出される（後述）。図３に、算出した寄与度の数値で項目を並べ替えた図を示す。

そして、高寄与度項目抽出部１５０は、算出された寄与度に基づいて、「偽」又は「真」に大きく寄与している項目を抽出する（ステップＳＴ０９）。大きく寄与している項目の抽出方法は、寄与度の絶対値が所定の値以上のものを選択する方法や、例えば図３に示すように、寄与度の絶対値が大きい範囲Ａ、Ｂにおける、横軸の端から寄与度の折れ線とで囲まれた斜線で表した領域ａ、ｂの面積が所定範囲の面積になるときの範囲を抽出する方法などがある。横軸の中央付近の領域Ｃは、寄与度の折れ線が略横軸に重なっており、また、略平行であるので、寄与度の折れ線と横軸との間の面積は小さく、出力結果に寄与しない項目であるので、高寄与度の項目としての抽出対象にはならない。

高寄与度可視化部１６０は、「偽」又は「真」に大きく寄与している項目が視覚的に把握容易になるように、例えば、図３に示すようなグラフで表示させる。グラフの左側点線枠の領域Ａ内において、寄与度が上位の項目ほど「偽」に大きく寄与することが示されている。同様に、グラフの右側点線枠の領域Ｂ内において、寄与度が下位の項目ほど「真」に大きく寄与することが示されている。他方、寄与度が中間にある項目は、「偽」にも「真」にも余り寄与していないことが示されている。

データセット生成部１７０は、抽出された高寄与度の入力項目に基づいて、元データ２００を構成する列のうち、「真」又は「偽」に大きく寄与する列のみを抽出し、新たなデータセットを生成する（データセット生成ステップ、ステップＳＴ１１）。

データセット生成部１７０で作成されたデータセットは、高寄与度項目データセットであり、学習データから低寄与度項目をそぎ落としたものである。例えば、高寄与度項目データセットを用いて、再度モデルを作成する用途に用いることができる。これにより、計算リソースが限られている環境において、低寄与度項目をそぎ落としたデータセットでモデルを作成すると、計算リソースを節約することができる。

また、学習データの性質を明らかにするための統計分析において、高寄与度項目を切り口とした分析を実施する用途に用いることができる。これにより、分析の結果に大きく寄与する項目で分析すると、データの性質を表現しやすくすることができる。

次に、図４及び図５を参照して、多層ニューラルネットワーク構造解析システム１００ａの各構成とその解析方法を説明する。多層ニューラルネットワーク構造解析システム１００ａは、多層ニューラルネットワーク構造解析システム１００のデータセット生成部１７０の替わりに、線形多項式生成部１８０を設けている。多層ニューラルネットワーク構造解析システム１００ａは、多層ニューラルネットワークにおける線形多項式モデルの作成システムを含んで構成されている。

以下の説明では、多層ニューラルネットワーク構造解析システム１００ａ特有の部分のみ説明する。
多層ニューラルネットワーク構造解析システム１００ａは、前処理部１１０とモデル生成部１２０と、評価部１３０と、寄与度算出部１４０と、線形多項式生成部１８０とを含む。多層ニューラルネットワーク構造解析システム１００ａは、高寄与度項目抽出部１５０を含んでいてもよく、また、高寄与度可視化部１６０を含んでいてもよい。

線形多項式生成部１８０は、線形多項式モデルを生成する（ステップＳＴ１７）。

線形多項式生成部１８０は、寄与度算出部１４０で算出された寄与度に基づいて、又は、高寄与度項目抽出部１５０を含む場合は高寄与度項目抽出部１５０で抽出した項目とその寄与度に基づいて、線形多項式モデルを生成する。一般に、多層ニューラルネットワークで形成されたモデルは、計算量が膨大になる傾向にあるが、線形多項式生成部１８０が生成する線形多項式は、多層ニューラルネットワークで形成されたモデルのアルゴリズムを近似的に線形化することで、計算コストの低減を可能とする。

図６に示すように、従来のディープラーニングを用いた判定処理方法では、入力データを判定処理する際に、クラウド環境など大規模演算が可能な環境で作動するディープラーニングで作成したモデルに判定依頼をし、その判定結果受け取る。このため、ディープラーニングで作成したモデルが稼動する環境は、ハイスペックを要求される。そこで、線形多項式生成部１８０において、あらかじめディープラーニングのモデルに近似した線形多項式を生成し、判定処理の判定ルールにスコアリングロジックとして組み込むことにより、ハイスペックな環境を必要とせず、ハンディターミナルのようなロースペック端末でも判定処理を行うことができる。

図７において、入力信号の入力と、出力信号の出力とを有する多層ニューラルネットワーク１を例示する。入力データは１つ又は複数の組で構成され、各組は、例えば、２つの入力項目に対応する数字列（例えば、１、２）と、その組の判定結果として、２つの項目（真、偽）と、を有する。

多層ニューラルネットワーク１は、大きく三つの層（入力層１０、中間層２０、３０、出力層４０）に分けられ、各層は複数のノードで構成され、各層間のノードはそれぞれ異なる結合重みで連結されている。入力層１０に投入された入力データは入力層１０を通り、結合重みの異なる中間層２０、３０内のノードを通過する中で入力項目が結合重みに従って合成され、出力層４０を通過して出力データとして処理され、出力結果が作られる。こうした一連の入力から出力への流れにより、認識判定が可能となる。中間層２０、３０は、いずれも、行列の重みで表現することができる。そこで、線形多項式では、あらかじめ、中間層２０、３０の全行列の重みを計算しておくことにより、入力値と計算後の重みの１次多項式で予測計算を生成することができる。

多層ニューラルネットワーク構造解析システム１００、１００ａによれば、マーケティングの分野において、特定商品の成約にいたった顧客の行動履歴、属性データを用いて作成したディープラーニングモデル（多層ニューラルネットワークで作成されたモデル）を見える化（可視化）することにより、マーケティング上着目すべき項目を特定することによって、効果的な施策を実施することができる。

また、各種保険商品を取り扱う分野において、保険商品データと保険金請求データを用いて作成したディープラーニングモデルを見える化することにより、請求される可能性の低い保険商品の特徴を把握することができ、高収益率保険商品を開発することが可能となる。

また、金融機関において、財務状態が健全な顧客企業と劣化した顧客企業のデータを用いて作成したディープラーニングモデルを見える化することにより、財務悪化懸念のある顧客企業をあらかじめ検知することが可能となる。

さらに、軽量化した線形ディープラーニングモデル（線形多項式）を搭載することにより、現場において計算速度と検出精度との両立をすることができ、かつ低スペックハードウェアで構成される測定機器の性能を向上することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲に限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

なお、上記の実施形態では、本発明を物の発明として、多層ニューラルネットワークにおける線形多項式モデルの作成システムについて主に説明したが、本発明は、方法の発明（多層ニューラルネットワークにおける線形多項式モデルの作成方法）又は上記方法の発明（多層ニューラルネットワークにおける線形多項式モデルの作成方法）のそれぞれの段階をコンピュータに実行させるプログラムの発明（多層ニューラルネットワークにおける線形多項式モデルの作成プログラム）として捉えることもできる。

また、上記の実施形態では、多層ニューラルネットワークの性能向上のための高寄与度項目の抽出システム、方法、及び、プログラムも開示されている。

１ 多層ニューラルネットワーク
１０ 入力層
２０、３０ 中間層
４０ 出力層
１００、１００ａ 多層ニューラルネットワーク構造解析システム
１０１ 入力信号部
１０２ 出力信号部
１１０ 前処理部
１２０ モデル生成部
１３０ 評価部
１４０ 寄与度算出部
１５０ 高寄与度項目抽出部
１６０ 高寄与度可視化部
１７０ データセット生成部
１８０ 線形多項式生成部
２００ 元データ

Claims (6)

1. 多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、入力項目ごとの寄与度を算出する寄与度算出部と、
   算出した寄与度に基づいて、線形多項式を生成する線形多項式生成部とを含む、線形多項式モデルの作成システム。
2. 前記寄与度に基づいて、寄与度スコアの絶対値が所定の閾値を超える項目を抽出する高寄与度項目抽出部を備え、
   前記線形多項式生成部は、前記抽出された高寄与度の項目に基づいて線形多項式を生成することを特徴とする、請求項１に記載の線形多項式モデルの作成システム。
3. 元データを前処理して学習データを作成する前処理部と
   学習データに基づいて、モデルを生成するモデル生成部と、
   前記モデルの精度を評価する評価部とを含む、請求項１又は２に記載の線形多項式モデルの作成システム。
4. 前記抽出された高寄与度の項目に基づいて、項目ごとの寄与度の可視化を行う寄与度可視化部を含む、請求項１から３のいずれかに記載の線形多項式モデルの作成システム。
5. コンピュータが、
   多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、入力項目ごとの寄与度を算出する寄与度算出ステップと、
   算出した寄与度に基づいて、線形多項式を生成する線形多項式生成ステップとを実行することを特徴とする線形多項式モデルの作成方法。
6. コンピュータに、
   多層ニューラルネットワークを構成する各層におけるノード間の結合重みに基づいて、項目ごとの寄与度を算出する寄与度算出ステップと、
   前記算出した寄与度に基づいて、線形多項式を生成する線形多項式生成ステップとを実行させることを特徴とする線形多項式モデルの作成プログラム。

Images