JP2001142864A - ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体 - Google Patents
ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体Info
- Publication number
- JP2001142864A JP2001142864A JP32431299A JP32431299A JP2001142864A JP 2001142864 A JP2001142864 A JP 2001142864A JP 32431299 A JP32431299 A JP 32431299A JP 32431299 A JP32431299 A JP 32431299A JP 2001142864 A JP2001142864 A JP 2001142864A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- penalty coefficient
- neural network
- updating
- penalty
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【課題】 ニューラルネットに複数の不要な重みが含ま
れるような場合でも、重要な重みが明確となった数法則
を発見することが可能なニューラルネットの重要重み発
見方法及び装置及びニューラルネットの重要重み発見プ
ログラムを格納した記憶媒体を提供する。 【解決手段】 本発明は、 ニューラルネットの重みと
各重み毎のペナルティ係数を初期化し、２次学習法を用
いて自乗値ペナルティ項付き学習目的関数を最小化する
重みを求め、２次学習法を用いて交差検証とペナルティ
係数更新のための重みを求め、得られた重みから陰関数
の定理に基づいてペナルティ係数更新のための探索方向
を解析的に求め、ガウス−ニュートン法に基づいてペナ
ルティ係数更新のための探索幅を求めてペナルティ係数
の更新を２次学習法用いて行う。
れるような場合でも、重要な重みが明確となった数法則
を発見することが可能なニューラルネットの重要重み発
見方法及び装置及びニューラルネットの重要重み発見プ
ログラムを格納した記憶媒体を提供する。 【解決手段】 本発明は、 ニューラルネットの重みと
各重み毎のペナルティ係数を初期化し、２次学習法を用
いて自乗値ペナルティ項付き学習目的関数を最小化する
重みを求め、２次学習法を用いて交差検証とペナルティ
係数更新のための重みを求め、得られた重みから陰関数
の定理に基づいてペナルティ係数更新のための探索方向
を解析的に求め、ガウス−ニュートン法に基づいてペナ
ルティ係数更新のための探索幅を求めてペナルティ係数
の更新を２次学習法用いて行う。
Description
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
の重要重み発見方法及び装置及びニューラルネットの重
要重み発見プログラムを格納した記憶媒体に係り、特
に、複数の量的、または、質的変数値から構成される入
力ベクトル、及び、量的変数値の目標出力値からなるサ
ンプル集合に対して、入力ベクトルと目標出力値の間に
潜む関係を数法則としてニューラルネットを用いて発見
するためのニューラルネットの重要重み発見方法及び装
置及びニューラルネットの重要重み発見プログラムを格
納した記憶媒体に関する。
の重要重み発見方法及び装置及びニューラルネットの重
要重み発見プログラムを格納した記憶媒体に係り、特
に、複数の量的、または、質的変数値から構成される入
力ベクトル、及び、量的変数値の目標出力値からなるサ
ンプル集合に対して、入力ベクトルと目標出力値の間に
潜む関係を数法則としてニューラルネットを用いて発見
するためのニューラルネットの重要重み発見方法及び装
置及びニューラルネットの重要重み発見プログラムを格
納した記憶媒体に関する。
【０００２】科学的発見を支援することは、学術上だけ
でなく、産業上も広い分野において極めて有用であり、
データから数法則を発見する課題は中心的である。例え
ば、法則発見システムを使えば、数値データからケプラ
ーの第３法則Ｔ＝ｋｒ3/2 などが発見できる。
でなく、産業上も広い分野において極めて有用であり、
データから数法則を発見する課題は中心的である。例え
ば、法則発見システムを使えば、数値データからケプラ
ーの第３法則Ｔ＝ｋｒ3/2 などが発見できる。
【０００３】
【従来の技術】自乗値ペナルティについては、単一のペ
ナルティ係数を用いる方法が多くの場合簡便に利用され
ている。それには、例えば、［B.D. Ripley: "Pattern
recoginition and neural networks", Cambrige Univer
sity Press (1996) ］がある。
ナルティ係数を用いる方法が多くの場合簡便に利用され
ている。それには、例えば、［B.D. Ripley: "Pattern
recoginition and neural networks", Cambrige Univer
sity Press (1996) ］がある。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来の方法は、ニューラルネットに複数の不要な重みが含
まれるような場合には、重要な重みが明確となった数法
則を発見することができないという問題がある。そこ
で、上記の従来の方法に対して、各重みへの個別のペナ
ルティ係数を自動的に調整する方法を開発できれば、以
下のような利点が期待できる。
来の方法は、ニューラルネットに複数の不要な重みが含
まれるような場合には、重要な重みが明確となった数法
則を発見することができないという問題がある。そこ
で、上記の従来の方法に対して、各重みへの個別のペナ
ルティ係数を自動的に調整する方法を開発できれば、以
下のような利点が期待できる。
【０００５】第１に、汎化性能の更なる向上である。こ
こで、汎化とは、学習には用いていない新たなサンプル
に対する性能を意味する。完全結合したニューラルネッ
トには、不要または、冗長な重みが一般に含まれると考
えられる。このとき、これらの重みは訓練事例へのオー
バーフィットのためだけに働くので、汎化性能は一般に
劣化してしまう。ペナルティ項を導入することにより、
このような状況から脱することは可能であるが、全ての
重みに単一の係数でペナルティを課した場合、重要な重
みにも同じ大きさのペナルティが課せられるので、望ま
しくない影響の起こる可能性がある。明らかに、各重み
毎のペナルティ係数を用いれば不要な重みだけにペナル
ティを課すことができる。
こで、汎化とは、学習には用いていない新たなサンプル
に対する性能を意味する。完全結合したニューラルネッ
トには、不要または、冗長な重みが一般に含まれると考
えられる。このとき、これらの重みは訓練事例へのオー
バーフィットのためだけに働くので、汎化性能は一般に
劣化してしまう。ペナルティ項を導入することにより、
このような状況から脱することは可能であるが、全ての
重みに単一の係数でペナルティを課した場合、重要な重
みにも同じ大きさのペナルティが課せられるので、望ま
しくない影響の起こる可能性がある。明らかに、各重み
毎のペナルティ係数を用いれば不要な重みだけにペナル
ティを課すことができる。
【０００６】第２に、発見した法則の読解性の向上であ
る。不要な重みだけにペナルティを大きく課すことによ
り、それらの重みの値は一般に非常に小さくなる。ま
た、学習後のペナルティ係数は、対応する重みの重要度
を表す一つの指標になると考えられる。よって、発見し
た法則の解釈が容易になると期待できる。第３に、この
ようなペナルティ項は、入出力変数の任意の線形スケー
リングに不変となる。ここで不変とは、そのスケーリン
グに応じて重みを変換すれば、常に同値なニューラルネ
ットが学習結果として得られることを意味する。すべて
の重みに単一の係数でペナルティを課す場合には、一般
的なスケーリングに対して、不変でなくなることが知ら
れている。
る。不要な重みだけにペナルティを大きく課すことによ
り、それらの重みの値は一般に非常に小さくなる。ま
た、学習後のペナルティ係数は、対応する重みの重要度
を表す一つの指標になると考えられる。よって、発見し
た法則の解釈が容易になると期待できる。第３に、この
ようなペナルティ項は、入出力変数の任意の線形スケー
リングに不変となる。ここで不変とは、そのスケーリン
グに応じて重みを変換すれば、常に同値なニューラルネ
ットが学習結果として得られることを意味する。すべて
の重みに単一の係数でペナルティを課す場合には、一般
的なスケーリングに対して、不変でなくなることが知ら
れている。
【０００７】最後に、非精密な評価なしで適切なペナル
ティ係数が得られる。従来の方法では、予め用意したペ
ナルティ係数の集合の中から、最も高い性能を示すもの
を選択する。つまり、精度の荒い探索であると言える。
但し、ペナルティ係数が多数になれば、組み合わせ爆発
が容易に起こるため、予め妥当な候補を全て用意するこ
とは殆ど不可能となる。
ティ係数が得られる。従来の方法では、予め用意したペ
ナルティ係数の集合の中から、最も高い性能を示すもの
を選択する。つまり、精度の荒い探索であると言える。
但し、ペナルティ係数が多数になれば、組み合わせ爆発
が容易に起こるため、予め妥当な候補を全て用意するこ
とは殆ど不可能となる。
【０００８】本発明は、上記の点に鑑みなされたもの
で、ニューラルネットに複数の不要な重みが含まれるよ
うな場合でも、重要な重みが明確となった数法則を発見
することが可能なニューラルネットの重要重み発見方法
及び装置及びニューラルネットの重要重み発見プログラ
ムを格納した記憶媒体を提供することを目的とする。
で、ニューラルネットに複数の不要な重みが含まれるよ
うな場合でも、重要な重みが明確となった数法則を発見
することが可能なニューラルネットの重要重み発見方法
及び装置及びニューラルネットの重要重み発見プログラ
ムを格納した記憶媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明（請求項１）は、複数
の量的または、質的変数値から構成される入力ベクト
ル、及び、量的変数値の目標出力値からなるサンプル集
合に対して、該入力ベクトルと該目標出力値の間に潜む
関係を数法則としてニューラルネットを用いて発見する
ニューラルネットの重要重み発見方法において、ニュー
ラルネットの重みと各重み毎のペナルティ係数を初期化
し（ステップ１）、２次学習法を用いて自乗値ペナルテ
ィ項付き学習目的関数を最小化する重みを求め（ステッ
プ２）、２次学習法を用いて交差検証とペナルティ係数
更新のための重みを求め（ステップ３）、得られた重み
から陰関数の定理に基づいてペナルティ係数更新のため
の探索方向を解析的に求め（ステップ４）、終了条件を
満たすとき、重みを出力して、処理を終了し（ステップ
５）、終了条件を満たさない場合には、ガウス−ニュー
トン法に基づいてペナルティ係数更新のための探索幅を
求め、２次学習法を用いてペナルティ係数の更新を反復
して行う（ステップ６）。
説明するための図である。本発明（請求項１）は、複数
の量的または、質的変数値から構成される入力ベクト
ル、及び、量的変数値の目標出力値からなるサンプル集
合に対して、該入力ベクトルと該目標出力値の間に潜む
関係を数法則としてニューラルネットを用いて発見する
ニューラルネットの重要重み発見方法において、ニュー
ラルネットの重みと各重み毎のペナルティ係数を初期化
し（ステップ１）、２次学習法を用いて自乗値ペナルテ
ィ項付き学習目的関数を最小化する重みを求め（ステッ
プ２）、２次学習法を用いて交差検証とペナルティ係数
更新のための重みを求め（ステップ３）、得られた重み
から陰関数の定理に基づいてペナルティ係数更新のため
の探索方向を解析的に求め（ステップ４）、終了条件を
満たすとき、重みを出力して、処理を終了し（ステップ
５）、終了条件を満たさない場合には、ガウス−ニュー
トン法に基づいてペナルティ係数更新のための探索幅を
求め、２次学習法を用いてペナルティ係数の更新を反復
して行う（ステップ６）。
【００１０】図２は、本発明の原理構成図である。本発
明（請求項２）は、複数の量的または、質的変数値から
構成される入力ベクトル、及び、量的変数値の目標出力
値からなるサンプル集合に対して、該入力ベクトルと該
目標出力値の間に潜む関係を数法則としてニューラルネ
ットを用いて発見するニューラルネットの重要重み発見
装置であって、ニューラルネットの重みと各重み毎のペ
ナルティ係数を初期化する初期化手段１と、２次学習法
を用いて自乗値ペナルティ項付き学習目的関数を最小化
する重みを求める重み計算手段２と、２次学習法を用い
て交差検証とペナルティ係数更新のための重みを求め、
得られた重みから陰関数の定理に基づいてペナルティ係
数更新のための探索方向を解析的に求める探索方向計算
手段３と、ガウス−ニュートン法に基づいてペナルティ
係数更新のための探索幅を求め、２次学習法用いてペナ
ルティ係数の更新を反復して行う更新手段４とを有す
る。
明（請求項２）は、複数の量的または、質的変数値から
構成される入力ベクトル、及び、量的変数値の目標出力
値からなるサンプル集合に対して、該入力ベクトルと該
目標出力値の間に潜む関係を数法則としてニューラルネ
ットを用いて発見するニューラルネットの重要重み発見
装置であって、ニューラルネットの重みと各重み毎のペ
ナルティ係数を初期化する初期化手段１と、２次学習法
を用いて自乗値ペナルティ項付き学習目的関数を最小化
する重みを求める重み計算手段２と、２次学習法を用い
て交差検証とペナルティ係数更新のための重みを求め、
得られた重みから陰関数の定理に基づいてペナルティ係
数更新のための探索方向を解析的に求める探索方向計算
手段３と、ガウス−ニュートン法に基づいてペナルティ
係数更新のための探索幅を求め、２次学習法用いてペナ
ルティ係数の更新を反復して行う更新手段４とを有す
る。
【００１１】本発明（請求項３）は、複数の量的また
は、質的変数値から構成される入力ベクトル、及び、量
的変数値の目標出力値からなるサンプル集合に対して、
該入力ベクトルと該目標出力値の間に潜む関係を数法則
としてニューラルネットを用いて発見するニューラルネ
ットの重要重み発見プログラムを格納した記憶媒体であ
って、 ニューラルネットの重みと各重み毎のペナルテ
ィ係数を初期化する初期化プロセスと、２次学習法を用
いて自乗値ペナルティ項付き学習目的関数を最小化する
重みを求める重み計算プロセスと、２次学習法を用いて
交差検証とペナルティ係数更新のための重みを求め、得
られた重みから陰関数の定理に基づいてペナルティ係数
更新のための探索方向を解析的に求める探索方向計算プ
ロセスと、ガウス−ニュートン法に基づいてペナルティ
係数更新のための探索幅を求め、２次学習法用いてペナ
ルティ係数の更新を反復して行う更新プロセスとを有す
る。
は、質的変数値から構成される入力ベクトル、及び、量
的変数値の目標出力値からなるサンプル集合に対して、
該入力ベクトルと該目標出力値の間に潜む関係を数法則
としてニューラルネットを用いて発見するニューラルネ
ットの重要重み発見プログラムを格納した記憶媒体であ
って、 ニューラルネットの重みと各重み毎のペナルテ
ィ係数を初期化する初期化プロセスと、２次学習法を用
いて自乗値ペナルティ項付き学習目的関数を最小化する
重みを求める重み計算プロセスと、２次学習法を用いて
交差検証とペナルティ係数更新のための重みを求め、得
られた重みから陰関数の定理に基づいてペナルティ係数
更新のための探索方向を解析的に求める探索方向計算プ
ロセスと、ガウス−ニュートン法に基づいてペナルティ
係数更新のための探索幅を求め、２次学習法用いてペナ
ルティ係数の更新を反復して行う更新プロセスとを有す
る。
【００１２】上記により、本発明は、不要重みに対する
ペナルティ係数が大きくなり、逆に重み自体は０に近づ
くことにより、ニューラルネットの重要重みを発見する
ことが可能となる。
ペナルティ係数が大きくなり、逆に重み自体は０に近づ
くことにより、ニューラルネットの重要重みを発見する
ことが可能となる。
【００１３】
【発明の実施の形態】最初に、本発明における前提条件
を説明する。各サンプルは、変数ベクトル（ｘ1 ，…，
ｘK ，ｙ）で表されるとする。ｘkは、量的または、質
的説明変数、ｙは量的基準変数である。但し、各質的説
明変数ｘk は、２進のダミー変数で表されているとす
る。本発明では、数法則ｙ（ｘ；Θ）のクラスとして、
以下で表される一般多項式を考える。
を説明する。各サンプルは、変数ベクトル（ｘ1 ，…，
ｘK ，ｙ）で表されるとする。ｘkは、量的または、質
的説明変数、ｙは量的基準変数である。但し、各質的説
明変数ｘk は、２進のダミー変数で表されているとす
る。本発明では、数法則ｙ（ｘ；Θ）のクラスとして、
以下で表される一般多項式を考える。
【００１４】
【数１】
【００１５】各パラメータｗj やｗjkは、未知の実数
で、Ｊは項数に対応する未知の整数である。また、Θ
は、パラータｗj ，ｊ＝０，…，Ｊと、ｗjk，ｊ＝１，
…，Ｊ，ｋ＝１，…，Ｋを並べて構成されるＭ−次元の
縦ベクトルである（ｉ．ｅ．，Ｍ＝１＋Ｊ（Ｋ＋
１））。ここで、式（１）は、標準的な３層ニューラル
ネットの前向き計算と見做すことができ、その中間ユニ
ットの活性化関数は、指数関数ｅｘｐ（ｓ）＝ｅs であ
る。但し、本発明は、活性化関数として指数関数である
ことを前提としないで導出するので、標準的なシグモイ
ド関数を用いるようなニューラルネットにも、そのまま
適用することができる。
で、Ｊは項数に対応する未知の整数である。また、Θ
は、パラータｗj ，ｊ＝０，…，Ｊと、ｗjk，ｊ＝１，
…，Ｊ，ｋ＝１，…，Ｋを並べて構成されるＭ−次元の
縦ベクトルである（ｉ．ｅ．，Ｍ＝１＋Ｊ（Ｋ＋
１））。ここで、式（１）は、標準的な３層ニューラル
ネットの前向き計算と見做すことができ、その中間ユニ
ットの活性化関数は、指数関数ｅｘｐ（ｓ）＝ｅs であ
る。但し、本発明は、活性化関数として指数関数である
ことを前提としないで導出するので、標準的なシグモイ
ド関数を用いるようなニューラルネットにも、そのまま
適用することができる。
【００１６】次に、ニューラルネットの重みに対する目
的関数について説明する。学習サンプル集合を
的関数について説明する。学習サンプル集合を
【００１７】
【数２】
【００１８】とする。但し、Ｎはサンプル数を表し、各
サンプル
サンプル
【００１９】
【数３】
【００２０】は、独立かつ同一の分布から得られている
とする。このとき、法則発見の最終的な目標は、汎化誤
差を最小化する問題として定式化できる。即ち、以下で
定義される期待値を最小化する最適な推定Θ* （Ｄ）を
求める問題である。 Ｇ（Θ* ）＝ＥD ＥT （ｙ −ｙ（ｘ ；Θ* （Ｄ）））2 （２） 但し、
とする。このとき、法則発見の最終的な目標は、汎化誤
差を最小化する問題として定式化できる。即ち、以下で
定義される期待値を最小化する最適な推定Θ* （Ｄ）を
求める問題である。 Ｇ（Θ* ）＝ＥD ＥT （ｙ −ｙ（ｘ ；Θ* （Ｄ）））2 （２） 但し、
【００２１】
【数４】
【００２２】は、学習サンプル集合Ｄとは独立なテスト
サンプルである。
サンプルである。
【００２３】
【数５】
【００２４】で表記されるΘ* の最小自乗推定（Least-
squares estimate) は、以下の自乗誤差を最小化する。
squares estimate) は、以下の自乗誤差を最小化する。
【００２５】
【数６】
【００２６】しかし、この推定では学習サンプルにオー
バーフィットしてしまう傾向があり、式（２）で定義し
た汎化性能の観点では、一般に良い結果を得ることがで
きない。既に述べたように、重みの値が大きくなること
を抑制するペナルティ項を式（３）に付加することによ
り、多くの場合、汎化能力の高いニューラルネットを得
られることが知られている。まず、単一のペナルティ係
数を用いる単純な目的関数は、以下となる。
バーフィットしてしまう傾向があり、式（２）で定義し
た汎化性能の観点では、一般に良い結果を得ることがで
きない。既に述べたように、重みの値が大きくなること
を抑制するペナルティ項を式（３）に付加することによ
り、多くの場合、汎化能力の高いニューラルネットを得
られることが知られている。まず、単一のペナルティ係
数を用いる単純な目的関数は、以下となる。
【００２７】
【数７】
【００２８】ｅｘｐ（λ）は、ペナルティ係数であり、
θm ∈Θである。但し、ペナルティ係数は非負であるた
め、標準的なパラメータ表記λではなく、ｅｘｐ（λ）
を採用している。汎化性能と読解性の両者の向上を目的
として、各重み毎の個別のペナルティ係数を考える。以
下では、Ｍ−次元ベクトルを λ＝（λ1 ，…，λM ）T で定義し、Ｍ−次元対角行列Λを以下で定義する。
θm ∈Θである。但し、ペナルティ係数は非負であるた
め、標準的なパラメータ表記λではなく、ｅｘｐ（λ）
を採用している。汎化性能と読解性の両者の向上を目的
として、各重み毎の個別のペナルティ係数を考える。以
下では、Ｍ−次元ベクトルを λ＝（λ1 ，…，λM ）T で定義し、Ｍ−次元対角行列Λを以下で定義する。
【００２９】
【数８】
【００３０】ここで、ａT は、ａの転置ベクトルであ
る。このとき、式（１）を対象とした法則発見問題は、
以下のニューラルネットの学習問題として定式化でき
る。即ち、重みに関する以下の目的関数を最小化するΘ
を求める問題である。
る。このとき、式（１）を対象とした法則発見問題は、
以下のニューラルネットの学習問題として定式化でき
る。即ち、重みに関する以下の目的関数を最小化するΘ
を求める問題である。
【００３１】
【数９】
【００３２】次に、ペナルティ係数に対する目的関数に
ついて説明する。与えられたサンプル集合と適当な中間
ユニット数に対して、適切なペナルティ係数を求めるた
めには、λを変化させて得られる学習結果を適切に評価
する尺度が必要になる。そのため、ペナルティ係数に関
して、交差検証法（cross-validation）から得られる目
的関数を以下に導入する。交差検証法はニューラルネッ
トなどの学習機械の汎化性能を評価するのにしばしば利
用される。
ついて説明する。与えられたサンプル集合と適当な中間
ユニット数に対して、適切なペナルティ係数を求めるた
めには、λを変化させて得られる学習結果を適切に評価
する尺度が必要になる。そのため、ペナルティ係数に関
して、交差検証法（cross-validation）から得られる目
的関数を以下に導入する。交差検証法はニューラルネッ
トなどの学習機械の汎化性能を評価するのにしばしば利
用される。
【００３３】交差検証法では、与えられたデータＤをラ
ンダムにＳ個のセグメントに分割する（Ｇs ，ｓ＝１，
…，Ｓ）。そして、Ｓ−１個のセグメントを学習に使用
し、残りの１個を（汎化の）テストに使用する。セグメ
ント数とサンプル数が等しい場合（Ｓ＝Ｎ）は、特に、
ひとつ抜き法（leave-one-out ）と呼ばれ、少数サンプ
ルの問題に対して頻繁に適用される。
ンダムにＳ個のセグメントに分割する（Ｇs ，ｓ＝１，
…，Ｓ）。そして、Ｓ−１個のセグメントを学習に使用
し、残りの１個を（汎化の）テストに使用する。セグメ
ント数とサンプル数が等しい場合（Ｓ＝Ｎ）は、特に、
ひとつ抜き法（leave-one-out ）と呼ばれ、少数サンプ
ルの問題に対して頻繁に適用される。
【００３４】この手順をＳ回繰り返し、最終的には以下
の平均自乗誤差ＭＳＥGVを求める。
の平均自乗誤差ＭＳＥGVを求める。
【００３５】
【数１０】
【００３６】但し、
【００３７】
【数１１】
【００３８】は、以下の目的関数を最小化する重みであ
る。
る。
【００３９】
【数１２】
【００４０】なお、与えられたサンプル集合Ｄに対し
て、式（７）は、式（２）の一つの妥当な近似と見るこ
とができる。一方、
て、式（７）は、式（２）の一つの妥当な近似と見るこ
とができる。一方、
【００４１】
【数１３】
【００４２】は、式（８）を最小化するので、以下の極
値に関する必要条件を満たさなければならない。
値に関する必要条件を満たさなければならない。
【００４３】
【数１４】
【００４４】従って、各
【００４５】
【数１５】
【００４６】は、λの陰関数として定義できるので、式
（７）をλの目的関数として定義することができる。次
に、ペナルティ係数の更新法について説明する。前述の
式（７）で定義した目的関数を最小化するペナルティ係
数を求めるため、ＢＰＱアルゴリズムを若干修正した学
習アルゴリズムを採用する。即ち、準ニュートン（Quas
i-Newton) 法に基づき、探索方向については、勾配ベク
トルから小記憶ＢＦＧＳ(Broydon-Fletcher-Goldfarb-S
hanno)に基づいて計算し、一方、探索幅については、２
次近似の最小点の代わりに、ガウス・ニュートン(Gauss
-Newton)近似の最小点として計算するアルゴリズムを用
いる。
（７）をλの目的関数として定義することができる。次
に、ペナルティ係数の更新法について説明する。前述の
式（７）で定義した目的関数を最小化するペナルティ係
数を求めるため、ＢＰＱアルゴリズムを若干修正した学
習アルゴリズムを採用する。即ち、準ニュートン（Quas
i-Newton) 法に基づき、探索方向については、勾配ベク
トルから小記憶ＢＦＧＳ(Broydon-Fletcher-Goldfarb-S
hanno)に基づいて計算し、一方、探索幅については、２
次近似の最小点の代わりに、ガウス・ニュートン(Gauss
-Newton)近似の最小点として計算するアルゴリズムを用
いる。
【００４７】次に、勾配ベクトル計算について説明す
る。与えられたペナルティ係数λに対して、式（７）の
微分は以下のように計算できる。
る。与えられたペナルティ係数λに対して、式（７）の
微分は以下のように計算できる。
【００４８】
【数１６】
【００４９】
【数１７】
【００５０】がλの陰関数として定義できることを用い
れば、
れば、
【００５１】
【数１８】
【００５２】のλに対する微分は、以下となる。
【００５３】
【数１９】
【００５４】一方、陰関数の定理に基づき、式（９）を
微分すれば、
微分すれば、
【００５５】
【数２０】
【００５６】のλについての微分が以下のように求ま
る。
る。
【００５７】
【数２１】
【００５８】ここで、
【００５９】
【数２２】
【００６０】は、以下のサンプル毎のヘッセ行列(Hessi
an) を表し、
an) を表し、
【００６１】
【数２３】
【００６２】
【数２４】
【００６３】は、以下で表される対角行列である。
【００６４】
【数２５】
【００６５】よって、学習結果の重みから式（１０）を
用いることにより、式（７）の勾配ベクトルを解析的に
計算できることが分かる。次に、探索幅計算について説
明する。与えられた探索方向Δλにおいて、
用いることにより、式（７）の勾配ベクトルを解析的に
計算できることが分かる。次に、探索幅計算について説
明する。与えられた探索方向Δλにおいて、
【００６６】
【数２６】
【００６７】の探索幅αに対する線形近似に基づく、ガ
ウス・ニュートン法の目的関数は、以下で定義できる。
ウス・ニュートン法の目的関数は、以下で定義できる。
【００６８】
【数２７】
【００６９】明らかに、式（１５）の最小値は以下で計
算できる。
算できる。
【００７０】
【数２８】
【００７１】よって、式（１６）を用いて妥当な精度の
探索幅を計算することができる。但し、任意の一反復に
おいて、λの修正量の上限を設定することは、多くの場
合、実現の観点で有効であることが知られている。本発
明では、もし、
探索幅を計算することができる。但し、任意の一反復に
おいて、λの修正量の上限を設定することは、多くの場
合、実現の観点で有効であることが知られている。本発
明では、もし、
【００７２】
【数２９】
【００７３】ならば、探索幅αを
【００７４】
【数３０】
【００７５】に設定する。ここで、
【００７６】
【数３１】
【００７７】は、
【００７８】
【数３２】
【００７９】である。図３は、本発明のニューラルネッ
トの重要重み発見装置の構成を示し、図４は、本発明の
ニューラルネットの重要重み発見装置の動作の概要を示
すフローチャートである。以下、図３、図４に基づいて
説明する。 ステップ１０１） 初期化部１は、ニューラルネットの
重みΘ(0) とペナルティ係数λ(0) を初期化し、ｒ＝１
とする。
トの重要重み発見装置の構成を示し、図４は、本発明の
ニューラルネットの重要重み発見装置の動作の概要を示
すフローチャートである。以下、図３、図４に基づいて
説明する。 ステップ１０１） 初期化部１は、ニューラルネットの
重みΘ(0) とペナルティ係数λ(0) を初期化し、ｒ＝１
とする。
【００８０】ステップ１０２） 重み計算部２は、前述
の式（６）を最小化する重み（２次学習法を用いて自乗
値ペナルティ項付き学習目的関数を最小化するための重
み）、
の式（６）を最小化する重み（２次学習法を用いて自乗
値ペナルティ項付き学習目的関数を最小化するための重
み）、
【００８１】
【数３３】
【００８２】を求める。 ステップ１０３） さらに、重み計算部２は、前述の式
（８）を最小化する重み（２次学習法を用いて交差検証
とペナルティ係数の更新のための重み）、
（８）を最小化する重み（２次学習法を用いて交差検証
とペナルティ係数の更新のための重み）、
【００８３】
【数３４】
【００８４】を求める。ここで、（ｓ＝１，…，Ｓ）。 ステップ１０４） 探索方向計算部３は、ステップ１０
３で求められた重みから陰関数の定理に基づいてペナル
ティ係数更新のための探索方向Δλを、前述の式（１
０）を用いて解析的に計算する。 ステップ１０５） 終了判定部５において、もし終了条
件を満たすならば、反復を停止し、ステップ１０３にお
ける最小化された重み
３で求められた重みから陰関数の定理に基づいてペナル
ティ係数更新のための探索方向Δλを、前述の式（１
０）を用いて解析的に計算する。 ステップ１０５） 終了判定部５において、もし終了条
件を満たすならば、反復を停止し、ステップ１０３にお
ける最小化された重み
【００８５】
【数３５】
【００８６】を出力部６から出力する。 ステップ１０６） 更新部４は、前述の式（１６）を用
いて（ガウス−ニュートン法）ペナルティ係数更新のた
めの探索幅αを計算する。 ステップ１０７） 更新部４は、ペナルティ係数を更新
する。 λ(r) ＝λ(r-1) ＋αΔλ ステップ１０８） 更新部４は、ｒ＝ｒ＋１とし、処理
をステップ１０２に移行する。
いて（ガウス−ニュートン法）ペナルティ係数更新のた
めの探索幅αを計算する。 ステップ１０７） 更新部４は、ペナルティ係数を更新
する。 λ(r) ＝λ(r-1) ＋αΔλ ステップ１０８） 更新部４は、ｒ＝ｒ＋１とし、処理
をステップ１０２に移行する。
【００８７】上記のフローチャートにおいて、ステップ
１０２とステップ１０３で用いる重みの初期値は、それ
ぞれ、
１０２とステップ１０３で用いる重みの初期値は、それ
ぞれ、
【００８８】
【数３６】
【００８９】（または、Θ(0) ）と
【００９０】
【数３７】
【００９１】に設定する。これは、初期値の解の近くに
設定し、学習の効率化を測るためである。また、既に述
べたように、ステップ１０４で計算する探索方向は、小
記憶ＢＦＧＳを用いて計算する。本発明において提案し
ているアルゴリズムには、４種の目的関数が使われるの
で、それぞれ役割を以下に示す。
設定し、学習の効率化を測るためである。また、既に述
べたように、ステップ１０４で計算する探索方向は、小
記憶ＢＦＧＳを用いて計算する。本発明において提案し
ているアルゴリズムには、４種の目的関数が使われるの
で、それぞれ役割を以下に示す。
【００９２】・式（７）で定義したＭＳＥCV（λ）は、
メインの目的関数で、その最終値は学習結果の交差検証
誤差となる。 ・式（８）で定義したε（Θ）は、発見した法則の最終
的な重みを得るために使われる。 ・式（８）で定義したεs （Θs ）は、重み
メインの目的関数で、その最終値は学習結果の交差検証
誤差となる。 ・式（８）で定義したε（Θ）は、発見した法則の最終
的な重みを得るために使われる。 ・式（８）で定義したεs （Θs ）は、重み
【００９３】
【数３８】
【００９４】を得るために使われ、その重みは交差検証
誤差とペナルティ係数更新に使われる。 ・最後に、式（１６）で定義したＨ（α）は、ペナルテ
ィ係数更新のためだけに使われる。
誤差とペナルティ係数更新に使われる。 ・最後に、式（１６）で定義したＨ（α）は、ペナルテ
ィ係数更新のためだけに使われる。
【００９５】
【実施例】以下、図面と共に本発明の実施例を説明す
る。上記のロジックを用いたニューラルネットの重要重
み発見法に対する実施例を以下に説明する。以下、本発
明をＭＶＣ正則化法と呼ぶ。最初に、人工データの例に
ついて説明する。
る。上記のロジックを用いたニューラルネットの重要重
み発見法に対する実施例を以下に説明する。以下、本発
明をＭＶＣ正則化法と呼ぶ。最初に、人工データの例に
ついて説明する。
【００９６】以下の人工法則（関数）の発見問題を考え
る。 ｙ＝２＋３ｘ1 +1ｘ2 -0.02 ＋４ｘ3 -1 ｘ4 +0.02 （１７） 説明変数には、法則に現れるｘ1 …，ｘ4 の他に、この
法則とは無関係な変数ｘ 5 ，…，ｘ9 を加える。各説明
変数の値は、領域（０，１）の中でランダムに生成し、
基準変数ｙの値は上記法則に従って計算した後、平均
０、標準偏差０．１の正規ノイズを加えて求める。この
手順を繰り返し、サンプル数Ｎ＝２００のデータを生成
する。また、各変数には次のようなスケーリングを施し
た。
る。 ｙ＝２＋３ｘ1 +1ｘ2 -0.02 ＋４ｘ3 -1 ｘ4 +0.02 （１７） 説明変数には、法則に現れるｘ1 …，ｘ4 の他に、この
法則とは無関係な変数ｘ 5 ，…，ｘ9 を加える。各説明
変数の値は、領域（０，１）の中でランダムに生成し、
基準変数ｙの値は上記法則に従って計算した後、平均
０、標準偏差０．１の正規ノイズを加えて求める。この
手順を繰り返し、サンプル数Ｎ＝２００のデータを生成
する。また、各変数には次のようなスケーリングを施し
た。
【００９７】
【数３９】
【００９８】ここで、meanは平均、std は標準偏差を学
習サンプルに対して計算する関数である。本実施例で、
前述の図４のフローチャートのステップ１０１の初期値
を以下のように設定した。すなわち、入力−中間ユニッ
ト間の重みｗjkについては、平均０、標準偏差１の正規
分布に基づいて独立に生成した。中間−出力ユニット間
の重みｗj は、０に設定した。ペナルティ係数λは０に
設定した。つまり、行列Λは単位行列となる。一方、ス
テップ１０５の終了条件については、勾配ベクトルが十
分に小さいときとした。即ち、重みΘの学習では、
習サンプルに対して計算する関数である。本実施例で、
前述の図４のフローチャートのステップ１０１の初期値
を以下のように設定した。すなわち、入力−中間ユニッ
ト間の重みｗjkについては、平均０、標準偏差１の正規
分布に基づいて独立に生成した。中間−出力ユニット間
の重みｗj は、０に設定した。ペナルティ係数λは０に
設定した。つまり、行列Λは単位行列となる。一方、ス
テップ１０５の終了条件については、勾配ベクトルが十
分に小さいときとした。即ち、重みΘの学習では、
【００９９】
【数４０】
【０１００】ペナルティ係数λの学習では、
【０１０１】
【数４１】
【０１０２】のときとした。ＭＣＶ正則化法を２つの既
存法、即ち、ペナルティなし法、及び単一係数法と比較
した。なお、これらの既存法の学習目的関数は、それぞ
れ、前述の式（３）、及び式（４）である。図５は、本
発明の一実施例の人工問題での３手法の性能を説明する
ための図である。ここで、評価には、ＲＭＳＥ(root me
an squared error) を採用し、中間ユニット数Ｊは真の
個数２に固定し、交差検証誤差の計算には一つ抜き法を
用い（ｉ．ｅ．，Ｓ＝Ｎ）、そして、汎化誤差は、学習
サンプルとは独立に生成したノイズなしの、10,000テス
トサンプルで評価した。同図より、学習サンプルに対す
るＲＭＳＥは、どの方法でもほとんど同じであるが、交
差検証によるＲＭＳＥとテストサンプルに対するＲＭＳ
Ｅの両者は、ＭＣＶ正則化法を用いることにより、明ら
かに減少したことが分かる。なお、ペナルティなし法と
単一係数法の性能は、この実験ではほとんど同じであっ
た。
存法、即ち、ペナルティなし法、及び単一係数法と比較
した。なお、これらの既存法の学習目的関数は、それぞ
れ、前述の式（３）、及び式（４）である。図５は、本
発明の一実施例の人工問題での３手法の性能を説明する
ための図である。ここで、評価には、ＲＭＳＥ(root me
an squared error) を採用し、中間ユニット数Ｊは真の
個数２に固定し、交差検証誤差の計算には一つ抜き法を
用い（ｉ．ｅ．，Ｓ＝Ｎ）、そして、汎化誤差は、学習
サンプルとは独立に生成したノイズなしの、10,000テス
トサンプルで評価した。同図より、学習サンプルに対す
るＲＭＳＥは、どの方法でもほとんど同じであるが、交
差検証によるＲＭＳＥとテストサンプルに対するＲＭＳ
Ｅの両者は、ＭＣＶ正則化法を用いることにより、明ら
かに減少したことが分かる。なお、ペナルティなし法と
単一係数法の性能は、この実験ではほとんど同じであっ
た。
【０１０３】ペナルティなし法で発見した法則の例を以
下に示す。 ｙ＝2.0306＋2.9791ｘ1 +1.0024 ｘ2 -0.0203 ｘ3
-0.0035 ｘ4 -0.0029 ｘ5 +0.0073ｘ6 +0.0056 ｘ7
+0.0010 ｘ8 -0.0022 ｘ9 +0.0036＋3.9993ｘ1
+0.0008 ｘ2 +0.0001 ｘ3 -1.0003 ｘ4 +0.0101 ｘ5
-0.0005 ｘ6 -0.0011 ｘ7 -0.0011 ｘ8 -0.0002 ｘ9
+0.0011 ここで、各重みの値は、小数点第四位で四捨五入した。
また、これらの重みの値は、オリジナルスケールの変数
に対応するように変換したものである。この発見例は、
真の法則にかなり近いものであるが、この結果だけから
重要な重みだけを選択することは困難である。例えば、
＋0.0201は重要であるが、＋0.0073は不要であるとする
のは難しい。一方、ＭＣＶ正則化法による発見結果を以
下に示す。
下に示す。 ｙ＝2.0306＋2.9791ｘ1 +1.0024 ｘ2 -0.0203 ｘ3
-0.0035 ｘ4 -0.0029 ｘ5 +0.0073ｘ6 +0.0056 ｘ7
+0.0010 ｘ8 -0.0022 ｘ9 +0.0036＋3.9993ｘ1
+0.0008 ｘ2 +0.0001 ｘ3 -1.0003 ｘ4 +0.0101 ｘ5
-0.0005 ｘ6 -0.0011 ｘ7 -0.0011 ｘ8 -0.0002 ｘ9
+0.0011 ここで、各重みの値は、小数点第四位で四捨五入した。
また、これらの重みの値は、オリジナルスケールの変数
に対応するように変換したものである。この発見例は、
真の法則にかなり近いものであるが、この結果だけから
重要な重みだけを選択することは困難である。例えば、
＋0.0201は重要であるが、＋0.0073は不要であるとする
のは難しい。一方、ＭＣＶ正則化法による発見結果を以
下に示す。
【０１０４】ｙ＝2.0118＋2.9792ｘ1 +0.0041 ｘ2
-0.0190 ｘ3 -0.0000 ｘ4 -0.0000 ｘ5 +0.0019ｘ6
+0.0007 ｘ7 +0.0000 ｘ8 +0.0000 ｘ9 +0.0003＋3.998
7ｘ1 +0.0000 ｘ2 +0.0001 ｘ3 -0.9999 ｘ4 +0.0197
ｘ5 -0.0000ｘ6 -0.0006 ｘ7 -0.0000 ｘ8 -0.0000 ｘ
9 +0.0003 明らかに、多くの不要な重みの値が０になると共に、０
とはならないまでも、かなり減少したことが分かる。
-0.0190 ｘ3 -0.0000 ｘ4 -0.0000 ｘ5 +0.0019ｘ6
+0.0007 ｘ7 +0.0000 ｘ8 +0.0000 ｘ9 +0.0003＋3.998
7ｘ1 +0.0000 ｘ2 +0.0001 ｘ3 -0.9999 ｘ4 +0.0197
ｘ5 -0.0000ｘ6 -0.0006 ｘ7 -0.0000 ｘ8 -0.0000 ｘ
9 +0.0003 明らかに、多くの不要な重みの値が０になると共に、０
とはならないまでも、かなり減少したことが分かる。
【０１０５】図６は、本発明の一実施例の人工問題での
ペナルティ係数の学習結果を示す。同図により、重要な
重みに対するペナルティ係数の値のみが、十分に小さな
値となっていることが分かる。従って、これらの実験結
果より、ＭＣＶ正則化法を用いれば、変数のスケーリン
グやペナルティ係数候補の選定問題に煩わされることな
く、汎化性能と読解正の両者を同時に改善できることが
示された。
ペナルティ係数の学習結果を示す。同図により、重要な
重みに対するペナルティ係数の値のみが、十分に小さな
値となっていることが分かる。従って、これらの実験結
果より、ＭＣＶ正則化法を用いれば、変数のスケーリン
グやペナルティ係数候補の選定問題に煩わされることな
く、汎化性能と読解正の両者を同時に改善できることが
示された。
【０１０６】以下では、この人工問題における、ＭＣＶ
正則化法の計算特性についての検証結果を述べる。図７
は、本発明の一実施例の人工問題でのＭＣＶ正則化法の
学習曲線を示す。反復回数が増えるにつれ、交差検証誤
差は単調に減少し、かつ、若干の振動はあるものの、テ
ストサンプルに対する誤差も同時に減少していることが
わかる。また、ペナルティなし法の誤差レベルと比較す
れば、学習の早い段階においてＭＣＶ正則化法の性能が
優るようになっていることが分かる。
正則化法の計算特性についての検証結果を述べる。図７
は、本発明の一実施例の人工問題でのＭＣＶ正則化法の
学習曲線を示す。反復回数が増えるにつれ、交差検証誤
差は単調に減少し、かつ、若干の振動はあるものの、テ
ストサンプルに対する誤差も同時に減少していることが
わかる。また、ペナルティなし法の誤差レベルと比較す
れば、学習の早い段階においてＭＣＶ正則化法の性能が
優るようになっていることが分かる。
【０１０７】図８は、本発明の一実施例の人工問題での
ＭＣＶ正則化の１反復計算時間を示す。同図では、ペナ
ルティ係数λに対する学習における１反復の計算処理時
間を示しており、ここで、本発明の実施には、ＳＵＮUl
tra60 を用いた。同図には、３回の試行結果、及び、こ
れらの平均処理時間を示している。ＭＣＶ正則化法に
は、一つ抜き法による各重みベクトルの計算時間が含ま
れているものの、その１反復時間はあまり大きくなかっ
た。これは、学習アルゴリズムＢＰＱにより比較的少な
い計算量で学習が完了しているためと考えられる。
ＭＣＶ正則化の１反復計算時間を示す。同図では、ペナ
ルティ係数λに対する学習における１反復の計算処理時
間を示しており、ここで、本発明の実施には、ＳＵＮUl
tra60 を用いた。同図には、３回の試行結果、及び、こ
れらの平均処理時間を示している。ＭＣＶ正則化法に
は、一つ抜き法による各重みベクトルの計算時間が含ま
れているものの、その１反復時間はあまり大きくなかっ
た。これは、学習アルゴリズムＢＰＱにより比較的少な
い計算量で学習が完了しているためと考えられる。
【０１０８】次に、住宅データに本発明を適用した例を
示す。住宅（Housing ）データは、ボストン近郊の住宅
価格に関するもので、１つの質的説明変数、１２の量的
説明変数、及びＭＥＤＶと表記される１つの量的基準変
数から構成される。この例を図９に示す。データは、５
０６のサンプルを含み（Ｎ＝５０６）、欠損値はない。
示す。住宅（Housing ）データは、ボストン近郊の住宅
価格に関するもので、１つの質的説明変数、１２の量的
説明変数、及びＭＥＤＶと表記される１つの量的基準変
数から構成される。この例を図９に示す。データは、５
０６のサンプルを含み（Ｎ＝５０６）、欠損値はない。
【０１０９】既存法のモデルベース（ニューラルネット
など）や事例ベース（k-nearest neighbour など）、及
び、両者を組み合わせた複数の方法による性能比較が行
われている。この性能評価には、相対誤差（relative e
rror) が用いられた。相対誤差とは、テストサンプルに
対する平均自乗誤差を、基準変数値自身の分数で割った
もので定義される。なお、前述の式（１８）のスケーリ
ングを採用する場合には、相対誤差はスケーリング後の
平均自乗誤差に他ならない。比較実験の結果では、ニュ
ーラルネットに事例ベース学習を組み合わせた方法が最
良値１２．９％を示した。但し、汎化誤差の評価には、
Ｓ＝１０に設定した交差検証法が用いられた。
など）や事例ベース（k-nearest neighbour など）、及
び、両者を組み合わせた複数の方法による性能比較が行
われている。この性能評価には、相対誤差（relative e
rror) が用いられた。相対誤差とは、テストサンプルに
対する平均自乗誤差を、基準変数値自身の分数で割った
もので定義される。なお、前述の式（１８）のスケーリ
ングを採用する場合には、相対誤差はスケーリング後の
平均自乗誤差に他ならない。比較実験の結果では、ニュ
ーラルネットに事例ベース学習を組み合わせた方法が最
良値１２．９％を示した。但し、汎化誤差の評価には、
Ｓ＝１０に設定した交差検証法が用いられた。
【０１１０】ＭＣＶ正則化の実施例では、前述のステッ
プ１０１の初期値、ステップ１０５の終了条件、及び変
数のスケーリングに関して前の人工問題のときと全て同
じ設定を採用したが、λについての学習に関してだけ、
その反復回数の上限を1,000に設定する終了条件を加え
た。一方、中間ユニット数は１から４まで変化させて実
験を行った（Ｊ＝１，２，３，４）。
プ１０１の初期値、ステップ１０５の終了条件、及び変
数のスケーリングに関して前の人工問題のときと全て同
じ設定を採用したが、λについての学習に関してだけ、
その反復回数の上限を1,000に設定する終了条件を加え
た。一方、中間ユニット数は１から４まで変化させて実
験を行った（Ｊ＝１，２，３，４）。
【０１１１】図１０は、本発明の一実施例の住宅データ
でのＭＣＶ正則化法の性能を示す。十分な中間ユニット
数を与えれば（Ｊ＞２）、交差検証誤差はかなり減少し
たことが分かる。なお、前述した従来手法での最良値よ
り優る結果であった。但し、我々の結果は、一つ抜き法
による評価である。一方、中間ユニット数を増やすと共
に、交差検証誤差は単調に減少したが、Ｊ＝３からＪ＝
４での改善度は、他のものより比較的小さかった。よっ
て、法則発見を目的とする場合、これらの中で、Ｊ＝３
のモデルが最も適していると考えられる。
でのＭＣＶ正則化法の性能を示す。十分な中間ユニット
数を与えれば（Ｊ＞２）、交差検証誤差はかなり減少し
たことが分かる。なお、前述した従来手法での最良値よ
り優る結果であった。但し、我々の結果は、一つ抜き法
による評価である。一方、中間ユニット数を増やすと共
に、交差検証誤差は単調に減少したが、Ｊ＝３からＪ＝
４での改善度は、他のものより比較的小さかった。よっ
て、法則発見を目的とする場合、これらの中で、Ｊ＝３
のモデルが最も適していると考えられる。
【０１１２】図１１は、本発明の一実施例の住宅データ
でのペナルティ係数の学習結果を示す。同図では、この
モデル（Ｊ＝３）におけるペナルティ係数の学習結果示
しており、多数の重みに対して、かなり大きなペナルテ
ィが課せられているのが分かる。ペナルティ係数が５よ
りも大きくなった重みを無視したとき、発見結果の法則
は以下のように記述される。
でのペナルティ係数の学習結果を示す。同図では、この
モデル（Ｊ＝３）におけるペナルティ係数の学習結果示
しており、多数の重みに対して、かなり大きなペナルテ
ィが課せられているのが分かる。ペナルティ係数が５よ
りも大きくなった重みを無視したとき、発見結果の法則
は以下のように記述される。
【０１１３】ＭＥＤＶ＝9.095517−0.000013ＮＤＵＳ
-0.3ＲＭ+0.4ＡＧＥ+0.4ＤＩＳ-1.3ＲＡＤ-0.3ＴＡＸ
+2.0Ｔ+0.3ＬＳＴＡＴ+0.3＋0.017296ＮＯＸ-0.6ＤＩＳ
-1.4ＴＡＸ+1.3ＰＴＲＡＴＩＯ-0.6Ｂ+0.3＋0.493787Ｎ
ＯＸ-0.2ＲＭ+2.7ＴＡＸ-0.5ＰＴＲＡＴＩＯ-0.5Ｂ+0.5
ＬＳＴＡＴ -0.2 上記の実施例は、図３に示す構成及び図４に示す動作に
基づいて説明しているが、図３に示す構成要素の各動作
をプログラムとして構築し、ニューラルネット重要重み
発見装置として利用されるコンピュータに接続されるデ
ィスク装置や、フロッピーティスク、ＣＤ−ＲＯＭ等の
可搬記憶媒体に格納しておき、本発明を実施する際にイ
ンストールすることにより、容易に本発明を実現でき
る。
-0.3ＲＭ+0.4ＡＧＥ+0.4ＤＩＳ-1.3ＲＡＤ-0.3ＴＡＸ
+2.0Ｔ+0.3ＬＳＴＡＴ+0.3＋0.017296ＮＯＸ-0.6ＤＩＳ
-1.4ＴＡＸ+1.3ＰＴＲＡＴＩＯ-0.6Ｂ+0.3＋0.493787Ｎ
ＯＸ-0.2ＲＭ+2.7ＴＡＸ-0.5ＰＴＲＡＴＩＯ-0.5Ｂ+0.5
ＬＳＴＡＴ -0.2 上記の実施例は、図３に示す構成及び図４に示す動作に
基づいて説明しているが、図３に示す構成要素の各動作
をプログラムとして構築し、ニューラルネット重要重み
発見装置として利用されるコンピュータに接続されるデ
ィスク装置や、フロッピーティスク、ＣＤ−ＲＯＭ等の
可搬記憶媒体に格納しておき、本発明を実施する際にイ
ンストールすることにより、容易に本発明を実現でき
る。
【０１１４】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内において、種々変更・応
用が可能である。
ることなく、特許請求の範囲内において、種々変更・応
用が可能である。
【０１１５】
【発明の効果】上述のように、本発明によれば、不要重
みに対するペナルティ係数が大きくなり、逆に重み自体
は０に近づくことにより、ニューラルネットの重要重み
を発見可能とすることにより、ニューラルネットに複数
の不要な重みが含まれるような場合でも重要な重みが明
確となった数法則を発見することができる。
みに対するペナルティ係数が大きくなり、逆に重み自体
は０に近づくことにより、ニューラルネットの重要重み
を発見可能とすることにより、ニューラルネットに複数
の不要な重みが含まれるような場合でも重要な重みが明
確となった数法則を発見することができる。
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明のニューラルネット重要重み発見装置の
構成図である。
構成図である。
【図４】本発明のニューラルネット重要重み発見装置の
動作のフローチャートである。
動作のフローチャートである。
【図５】本発明の一実施例の人工問題での３手法の性能
を説明するための図である。
を説明するための図である。
【図６】本発明の一実施例の人工問題でのペナルティ係
数の学習結果を示す図である。
数の学習結果を示す図である。
【図７】本発明の一実施例の人工問題でのＭＣＶ正則化
法の学習曲線である。
法の学習曲線である。
【図８】本発明の一実施例の人工問題でのＭＣＶ正則化
法の１反復計算時間を示す図である。
法の１反復計算時間を示す図である。
【図９】本発明の一実施例の住宅データでの変数の例で
ある。
ある。
【図１０】本発明の一実施例の住宅データでのＭＣＶ正
則化法の性能を示す図である。
則化法の性能を示す図である。
【図１１】本発明の一実施例の住宅データでのペナルテ
ィ係数の学習結果である。
ィ係数の学習結果である。
１ 初期化手段、初期化部 ２ 重み計算手段、重み計算部 ３ 探索方向計算手段、探索方向計算部 ４ 更新手段、更新部 ５ 終了判定部 ６ 出力部
Claims (3)
- 【請求項１】 複数の量的または、質的変数値から構成
される入力ベクトル、及び、量的変数値の目標出力値か
らなるサンプル集合に対して、該入力ベクトルと該目標
出力値の間に潜む関係を数法則としてニューラルネット
を用いて発見するニューラルネットの重要重み発見方法
において、 前記ニューラルネットの重みと各重み毎のペナルティ係
数を初期化し、 ２次学習法を用いて自乗値ペナルティ項付き学習目的関
数を最小化する重みを求め、 前記２次学習法を用いて交差検証とペナルティ係数更新
のための重みを求め、得られた重みから陰関数の定理に
基づいてペナルティ係数更新のための探索方向を解析的
に求め、 ガウス−ニュートン法に基づいてペナルティ係数更新の
ための探索幅を求め、２次学習法用いて該ペナルティ係
数の更新を反復して行うことを特徴とするニューラルネ
ットの重要重み発見方法。 - 【請求項２】 複数の量的または、質的変数値から構成
される入力ベクトル、及び、量的変数値の目標出力値か
らなるサンプル集合に対して、該入力ベクトルと該目標
出力値の間に潜む関係を数法則としてニューラルネット
を用いて発見するニューラルネットの重要重み発見装置
であって、 前記ニューラルネットの重みと各重み毎のペナルティ係
数を初期化する初期化手段と、 ２次学習法を用いて自乗値ペナルティ項付き学習目的関
数を最小化する重みを求める重み計算手段と、 前記２次学習法を用いて交差検証とペナルティ係数更新
のための重みを求め、得られた重みから陰関数の定理に
基づいてペナルティ係数更新のための探索方向を解析的
に求める探索方向計算手段と、 ガウス−ニュートン法に基づいてペナルティ係数更新の
ための探索幅を求め、２次学習法用いて該ペナルティ係
数の更新を反復して行う更新手段とを有することを特徴
とするニューラルネットの重要重み発見装置。 - 【請求項３】 複数の量的または、質的変数値から構成
される入力ベクトル、及び、量的変数値の目標出力値か
らなるサンプル集合に対して、該入力ベクトルと該目標
出力値の間に潜む関係を数法則としてニューラルネット
を用いて発見するニューラルネットの重要重み発見プロ
グラムを格納した記憶媒体であって、 前記ニューラルネットの重みと各重み毎のペナルティ係
数を初期化する初期化プロセスと、 ２次学習法を用いて自乗値ペナルティ項付き学習目的関
数を最小化する重みを求める重み計算プロセスと、 前記２次学習法を用いて交差検証とペナルティ係数更新
のための重みを求め、得られた重みから陰関数の定理に
基づいてペナルティ係数更新のための探索方向を解析的
に求める探索方向計算プロセスと、 ガウス−ニュートン法に基づいてペナルティ係数更新の
ための探索幅を求め、２次学習法用いて該ペナルティ係
数の更新を反復して行う更新プロセスとを有することを
特徴とするニューラルネットの重要重み発見プログラム
を格納した記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32431299A JP2001142864A (ja) | 1999-11-15 | 1999-11-15 | ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32431299A JP2001142864A (ja) | 1999-11-15 | 1999-11-15 | ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001142864A true JP2001142864A (ja) | 2001-05-25 |
Family
ID=18164402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32431299A Pending JP2001142864A (ja) | 1999-11-15 | 1999-11-15 | ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001142864A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017145852A1 (ja) * | 2016-02-24 | 2017-08-31 | 日本電気株式会社 | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法及びプログラムを記憶する記憶媒体 |
| CN111368998A (zh) * | 2020-03-04 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 基于Spark集群的模型训练方法、装置、设备及存储介质 |
-
1999
- 1999-11-15 JP JP32431299A patent/JP2001142864A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017145852A1 (ja) * | 2016-02-24 | 2017-08-31 | 日本電気株式会社 | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法及びプログラムを記憶する記憶媒体 |
| US11263511B2 (en) | 2016-02-24 | 2022-03-01 | Nec Corporation | Neural network training device, neural network training method and storage medium storing program |
| CN111368998A (zh) * | 2020-03-04 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 基于Spark集群的模型训练方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Generative flow networks for discrete probabilistic modeling | |
| Kalayeh et al. | Training faster by separating modes of variation in batch-normalized models | |
| Vasiljevic | Classical and evolutionary algorithms in the optimization of optical systems | |
| US20210073641A1 (en) | Learning device, learning system, and learning method | |
| US20210089832A1 (en) | Loss Function Optimization Using Taylor Series Expansion | |
| US20220067245A1 (en) | Low-cost linear orders for quantum-program simulation | |
| CN112149269A (zh) | 优化设备、优化设备的控制方法和记录介质 | |
| Lichtenstein et al. | Deep eikonal solvers | |
| US11651276B2 (en) | Artificial intelligence transparency | |
| CN115527607A (zh) | 一种药物分子和蛋白靶点结合姿势预测处理方法 | |
| Zhang et al. | Attentional transfer is all you need: Technology-aware layout pattern generation | |
| Jordanov et al. | Neural network learning with global heuristic search | |
| CN117933073A (zh) | 一种用于探索cpu微架构的设计空间的方法和装置 | |
| JPH11316754A (ja) | 実験計画法及び実験計画プログラムを記録した記録媒体 | |
| Zhu et al. | A brief survey of quantum architecture search | |
| JPH10247204A (ja) | 多次元検索方法及び装置 | |
| Gao et al. | Multi-objective pointer network for combinatorial optimization | |
| JP2001142864A (ja) | ニューラルネットの重要重み発見方法及び装置及びニューラルネットの重要重み発見プログラムを格納した記憶媒体 | |
| Zhu et al. | A hybrid model for nonlinear regression with missing data using quasilinear kernel | |
| CN115511262A (zh) | 变压器质量检测方法及装置 | |
| Hu et al. | Pwsnas: powering weight sharing nas with general search space shrinking framework | |
| JP2004265190A (ja) | 階層型ニューラルネットワークの学習方法、そのプログラム及びそのプログラムを記録した記録媒体 | |
| CN113313233A (zh) | 应对器件失配的神经网络配置参数训练和部署方法与装置 | |
| JPH10134018A (ja) | 法則発見方法と装置及び法則発見プログラムを格納した記憶媒体、及びニューラルネット学習方法と装置及びニューラルネット学習プログラムを格納した記憶媒体 | |
| Lee et al. | Overfitting control for surface reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050524 |