JP2015210747A

JP2015210747A - Learning system and learning method of hierarchical neural network

Info

Publication number: JP2015210747A
Application number: JP2014093374A
Authority: JP
Inventors: 隆志篠崎; Takashi Shinozaki
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2014-04-30
Filing date: 2014-04-30
Publication date: 2015-11-24
Anticipated expiration: 2034-04-30
Also published as: JP6327926B2

Abstract

PROBLEM TO BE SOLVED: To achieve precise and high speed learning of a neural network.SOLUTION: Processing in which, a path having the highest fidelity between a propagating signal and coupling load value, or the path and the paths disposed in the vicinity of the path, are selected, out of paths connected to respective neurons 51-54 of respective SOMs 41-43 forming respective layers 31-33 of the hierarchical neural network, and residual paths are set as sparses, is performed for the unit of the SOMs 41-43. An input signal inputted to the hierarchical neural network propagates in an order direction, an output signal is acquired, then, the acquired output signal and a target signal which is a set with the input signal are compared. Then, according to the matching degree, the fidelity between the signal propagating the selected path and coupling load value, is increased or decreased.

Description

本発明は、各種制御、認識、診断等に利用できる階層型ニューラルネットワークの学習システム及び方法に関するものである。 The present invention relates to a learning system and method for a hierarchical neural network that can be used for various types of control, recognition, diagnosis, and the like.

ニューラルネットワークは学習能力を持ち、非線形性、パターンマッチング性能に優れており、各種制御、認識、診断等の多くの分野に用いられている。このニューラルネットワークとして、従来より多くのパターンが提案されているが、その代表的なものとして、階層型ニューラルネットワークがある。階層型ニューラルネットワークは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、入力層ニューロンと出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有してなる。各層は、ＳＯＭ（Self-Organizing Map）に分割され、各ＳＯＭに属するニューロンは、隣接する層のニューロンと結合を構成するものとなっている。このような結合の構造は、結合荷重値等で表され、結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う。 Neural networks have learning ability, are excellent in non-linearity and pattern matching performance, and are used in many fields such as various controls, recognition, and diagnosis. As this neural network, many patterns have been proposed conventionally, and a typical example is a hierarchical neural network. The hierarchical neural network includes an input layer including a plurality of input layer neurons that receive an input signal from the outside, an output layer including a plurality of output layer neurons that transmit an output signal to the outside, an input layer neuron, and an output layer neuron. And one or more intermediate layers including a plurality of intermediate layer neurons. Each layer is divided into SOMs (Self-Organizing Maps), and the neurons belonging to each SOM form a connection with the neurons in the adjacent layers. Such a coupling structure is represented by a coupling load value or the like, and learning is performed in which the output signal is brought close to the target signal by adjusting the coupling load value.

このような学習方法においては、特に教師あり学習を用いた信号判別課題において非常に高い性能を示している。この教師あり学習は、一般に逆誤差伝播学習法（ＢＰ法）が用いられている（例えば、非特許文献１参照。）。このＢＰ法では、与えられた入力信号とニューラルネットワークの出力の誤差が小さくなるように各ニューロンの結合荷重値を更新する。 Such a learning method shows very high performance especially in a signal discrimination task using supervised learning. In this supervised learning, the reverse error propagation learning method (BP method) is generally used (for example, see Non-Patent Document 1). In this BP method, the connection weight value of each neuron is updated so that an error between a given input signal and the output of the neural network becomes small.

Rumelhart, D.D., Hinton,G.E & Williams,r.J.:Leaning representations by backpropagation errors, Nature,323(9),pp.533-536(1986)Rumelhart, D.D., Hinton, G.E & Williams, r.J .: Leaning representations by backpropagation errors, Nature, 323 (9), pp.533-536 (1986) Bengio,Y., Lambling,P.,Popovici,D.&Larochelle,H:Greedy layer-wise training of deep network,Advance in Neural Information Processing Systems 19,pp.153-160(2007)Bengio, Y., Lambling, P., Popovici, D. & Larochelle, H: Greedy layer-wise training of deep network, Advance in Neural Information Processing Systems 19, pp.153-160 (2007)

ところで、上述した従来のＢＰ法では、教師信号を、ニューラルネットワークの出力層から入力層に向けて逆方向に逆誤差伝播させることにより学習させるものである。実際にこのニューラルネットワークにおいて伝播する信号の情報量は、入力層から出力層に向けて層を経るに従い少なくなる。このため、出力層から教師信号を入力するということは、この出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させることに他ならないものであり、学習効率を向上させることができない。更に単一の判別課題においては出力層の出力は基本的にスパースな形態を示すことから、学習のベースとなる教師信号に対する誤差情報についても必然的にスパースなものとなる。その結果、学習情報の不足が顕著なものとなり、同様に学習効率を向上させることができない。 By the way, in the above-described conventional BP method, the teacher signal is learned by causing reverse error propagation in the reverse direction from the output layer to the input layer of the neural network. Actually, the information amount of the signal propagated in this neural network decreases as the layer passes from the input layer to the output layer. For this reason, inputting a teacher signal from the output layer is nothing but learning of the entire neural network based on the insufficient amount of information in the output layer, and the learning efficiency cannot be improved. Furthermore, since the output of the output layer basically shows a sparse form in a single discrimination task, the error information with respect to the teacher signal that is the basis of learning is inevitably sparse. As a result, the shortage of learning information becomes remarkable, and the learning efficiency cannot be improved as well.

近年において提案されている自己符号化器においては、これを解決するために層毎の学習を繰り返す積層自己符号化という手法が用いられている（例えば、非特許文献２参照。）。しかしながら、この非特許文献２の開示技術では、追加学習が困難になるという問題点があった。 In recent years, a self-encoder proposed in recent years employs a technique called stacked self-encoding that repeats learning for each layer in order to solve this problem (see, for example, Non-Patent Document 2). However, the disclosed technique of Non-Patent Document 2 has a problem that additional learning becomes difficult.

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、正確かつ高速なニューラルネットワークの学習を実現できる階層型ニューラルネットワークの学習システム及び方法を提供することにある。 The present invention has been devised in view of the above-described problems, and an object of the present invention is to provide a learning system and method for a hierarchical neural network capable of realizing accurate and high-speed learning of a neural network. There is.

本発明に係る階層型ニューラルネットワークの学習システムは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習システムにおいて、予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得手段と、上記出力信号取得手段により取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えることを特徴とする。 A learning system for a hierarchical neural network according to the present invention includes an input layer including a plurality of input layer neurons for receiving an input signal from the outside, an output layer including a plurality of output layer neurons for transmitting an output signal to the outside, Targeting an output signal by adjusting a connection weight value between layers of a hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons provided between an input layer neuron and the output layer neuron In a learning system of a hierarchical neural network that performs learning approaching a signal, a signal that propagates an input signal in a learning set consisting of a set of a prepared input signal and a target signal to the input layer of the hierarchical neural network. Input means and each SOM constituting each layer of the hierarchical neural network Selects only the path that has the highest degree of matching between the propagation signal and the connection weight value among the paths connected to each neuron of the Self-Organizing Map), or the path and its neighboring paths, and treats the other paths as sparse. Sparse processing means for performing the processing in SOM units, and the input signal input by the signal input means is propagated in the forward direction to the hierarchical neural network processed by the sparse processing means to obtain an output signal A signal that compares the output signal acquired by the output signal acquisition means, the output signal acquired by the output signal acquisition means, and the target signal paired with the input signal, and propagates through the selected path according to the degree of coincidence thereof And a combined load value adjusting means for adjusting to increase / decrease the degree of fitness between the combined load value and the combined load value.

本発明に係る階層型ニューラルネットワークの学習システムは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習システムにおいて、入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得手段と、上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力手段により入力されて上記スパース処理手段による上記処理を経て上記出力信号取得手段により取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えることを特徴とする。 A learning system for a hierarchical neural network according to the present invention includes an input layer including a plurality of input layer neurons for receiving an input signal from the outside, an output layer including a plurality of output layer neurons for transmitting an output signal to the outside, Targeting an output signal by adjusting a connection weight value between layers of a hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons provided between an input layer neuron and the output layer neuron In a learning system of a hierarchical neural network that performs expression learning approaching a signal, an arbitrary input signal selected from an input signal group is used as a representative input signal, and this is input to the input layer of the hierarchical neural network and propagated. Signal input means and each SOM (S In the elf-Organizing Map), select the path that has the highest degree of matching between the propagation signal and the connection weight value from the paths connected to each neuron, or select only the path and its neighboring paths, and treat the other paths as sparse. And a representative output obtained by propagating the representative input signal input by the signal input means to the hierarchical neural network processed by the sparse processing means in the forward direction. Output signal acquisition means for acquiring signals, and another input signal different from the representative input signal from the input signal group is input by the signal input means, and the output signal acquisition is performed through the processing by the sparse processing means. The output signal acquired by the means is compared with the representative output signal regarded as the target signal, and the output is increased according to the degree of coincidence. Characterized in that it comprises a coupling weight value adjusting means for adjusting to increase or decrease the fit between the signals and the coupling weight value to propagate the selected route.

本発明に係る階層型ニューラルネットワークの学習方法は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習方法において、予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得ステップと、上記出力信号取得ステップにおいて取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有することを特徴とする。 A learning method of a hierarchical neural network according to the present invention includes an input layer including a plurality of input layer neurons that receive an input signal from the outside, an output layer including a plurality of output layer neurons that transmit an output signal to the outside, Targeting an output signal by adjusting a connection weight value between layers of a hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons provided between an input layer neuron and the output layer neuron In a learning method of a hierarchical neural network that performs learning approaching a signal, a signal that propagates an input signal in a learning set consisting of a set of an input signal and a target signal prepared in advance to the input layer of the hierarchical neural network. An input step and each SOM (Self -Organizing Map) Select the path that has the highest degree of matching between the propagation signal and the connection weight value among the paths connected to each neuron, or the path and its neighboring paths, and treat the other paths as sparse. A sparse processing step performed in units of the SOM, and an output for acquiring an output signal by propagating the input signal input by the signal input means to the hierarchical neural network subjected to the processing in the sparse processing step in the forward direction A signal acquisition step, the output signal acquired in the output signal acquisition step, a target signal paired with the input signal, and a signal propagating on the selected path according to the degree of coincidence thereof And a combined load value adjusting step for performing an adjustment to increase or decrease the fitness with the combined load value.

本発明に係る階層型ニューラルネットワークの学習方法は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習方法において、入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得ステップと、上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力手段により入力されて上記スパース処理ステップにおける上記処理を経て上記出力信号取得手段により取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有することを特徴とする。 A learning method of a hierarchical neural network according to the present invention includes an input layer including a plurality of input layer neurons that receive an input signal from the outside, an output layer including a plurality of output layer neurons that transmit an output signal to the outside, Targeting an output signal by adjusting a connection weight value between layers of a hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons provided between an input layer neuron and the output layer neuron In a learning method of a hierarchical neural network that performs expression learning approaching a signal, an arbitrary input signal selected from an input signal group is used as a representative input signal, which is input to the input layer of the hierarchical neural network and propagated. The signal input step and each SOM (Self-Or Select the path that has the highest degree of matching between the propagation signal and the connection weight value among the paths connected to each neuron in the ganizing Map), or select the path and its neighboring paths, and treat the other paths as sparse. A sparse processing step performed in SOM units, and a representative output signal obtained by propagating the representative input signal input by the signal input means to the hierarchical neural network subjected to the processing in the sparse processing step in the forward direction An output signal acquisition step to be acquired, and another input signal different from the representative input signal from the input signal group is input by the signal input means, and after the processing in the sparse processing step, by the output signal acquisition means The obtained output signal is compared with the representative output signal regarded as the target signal, and one of these is compared. And having a coupling weight value adjusting step of adjusting to increase or decrease the fit between the signals and the coupling weight value to propagate the selected route according to the degree.

上述した構成からなる本発明によれば、正確かつ高速なニューラルネットワークの学習を実現できる。また、本発明によれば、従来技術のように出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させる必要もなくなることから、大規模化に適した構造を持つと共に、大脳皮質の神経回路をより模したものとなっている。また本発明によれば、他の神経回路の学習手法との親和性をも向上させることができる。 According to the present invention having the above-described configuration, accurate and high-speed neural network learning can be realized. Further, according to the present invention, it is not necessary to learn the entire neural network based on the amount of information lacking in the output layer as in the prior art, so that it has a structure suitable for large scale and has a nerve structure of the cerebral cortex. It is a more imitation of the circuit. Further, according to the present invention, the affinity with other neural circuit learning techniques can also be improved.

本発明を適用した階層型ニューラルネットワークの学習システムのブロック構成図である。It is a block block diagram of the learning system of the hierarchical neural network to which this invention is applied. 階層型ニューラルネットワークの構造について説明するための図である。It is a figure for demonstrating the structure of a hierarchical neural network. ＳＯＭにおけるニューロンの詳細な接続関係を示す図である。It is a figure which shows the detailed connection relation of the neuron in SOM. 入力信号、教師信号及び目標信号の関係について説明するための図である。It is a figure for demonstrating the relationship between an input signal, a teacher signal, and a target signal. 階層型ニューラルネットワーク記憶部に記憶される階層型ニューラルネットワークを簡略化した概念図である。It is the conceptual diagram which simplified the hierarchical neural network memorize | stored in a hierarchical neural network memory | storage part. 本発明における階層型ニューラルネットワークの演算処理方法について説明するための図である。It is a figure for demonstrating the arithmetic processing method of the hierarchical neural network in this invention. 本発明における階層型ニューラルネットワークの演算処理方法について説明するための他の図である。It is another figure for demonstrating the arithmetic processing method of the hierarchical neural network in this invention. 本発明における階層型ニューラルネットワークの演算処理方法について測定したエラー率の結果を示す図である。It is a figure which shows the result of the error rate measured about the arithmetic processing method of the hierarchical neural network in this invention.

以下、本発明を適用した階層型ニューラルネットワークの学習システムを実施するための形態について図面を参照しながら詳細に説明をする。 DESCRIPTION OF EMBODIMENTS Hereinafter, a mode for carrying out a hierarchical neural network learning system to which the present invention is applied will be described in detail with reference to the drawings.

図１は、本発明を適用した階層型ニューラルネットワークの学習システム１のブロック構成を示している。この学習システム１は、例えばパーソナルコンピュータ等の電子機器等、あるいはこれらに実装されるコンピュータプログラムとして具体化されるものであって、外部からの入力信号を入力するための信号入力部１１と、この信号入力部１１に接続された演算部１３と、演算部１３に接続された出力部１２とを備えている。演算部１３は、目標信号記憶部２２と、この目標信号記憶部２２に接続される出力信号生成部２４と、結合荷重値調整部２５とを有し、更にこの出力信号生成部２４は、階層型ニューラルネットワーク記憶部２３が接続される。結合荷重値調整部２５は、目標信号記憶部２２と、階層型ニューラルネットワーク記憶部２３とに接続される。 FIG. 1 shows a block configuration of a learning system 1 of a hierarchical neural network to which the present invention is applied. The learning system 1 is embodied as an electronic device such as a personal computer, or a computer program mounted thereon, and includes a signal input unit 11 for inputting an input signal from the outside, A calculation unit 13 connected to the signal input unit 11 and an output unit 12 connected to the calculation unit 13 are provided. The calculation unit 13 includes a target signal storage unit 22, an output signal generation unit 24 connected to the target signal storage unit 22, and a combined load value adjustment unit 25. A type neural network storage unit 23 is connected. The combined load value adjustment unit 25 is connected to the target signal storage unit 22 and the hierarchical neural network storage unit 23.

信号入力部１１は、外部から入力信号が入力される。実際には、この入力信号は検査対象に基づくデータであり、仮に検査対象が音声であれば音声データが入力信号として入力され、検査対象が画像であれば画像データが入力信号として入力されることとなる。この信号入力部１１は、音声データを入力信号として受け付ける場合には、マイクロフォン等として具現化され、画像データを入力信号として受け付ける場合には、撮像装置等として具現化されるものであってもよい。また信号入力部１１は、他のあらゆるセンシング手段を含む概念であり、検査対象の物理的、化学的性質に関わる測定量、特に人間の五感に関する測定量を電気信号にして出力可能なセンサであればよい。またユーザ側がキーボード等のユーザインターフェースを介して直接的にデータを入力可能なデバイスとして構成されるものであってもよい。 The signal input unit 11 receives an input signal from the outside. Actually, this input signal is data based on the inspection target. If the inspection target is speech, audio data is input as an input signal. If the inspection target is an image, image data is input as an input signal. It becomes. The signal input unit 11 may be embodied as a microphone or the like when receiving audio data as an input signal, and may be embodied as an imaging device or the like when receiving image data as an input signal. . The signal input unit 11 is a concept that includes all other sensing means, and is a sensor that can output a measurement amount related to the physical and chemical properties of the test object, particularly a measurement amount related to the human senses, as an electrical signal. That's fine. Alternatively, the device may be configured as a device on which the user can directly input data via a user interface such as a keyboard.

目標信号記憶部２２は、後述する目標信号を記憶するためのメモリ、ハードディスク等を始めとした記憶手段により構成される。この目標信号は、信号入力部１１に入力される入力信号との間で組を構成する学習セットとなり得る場合もあるが、かかる場合においても同様にこの目標信号記憶部２２に記憶される。ちなみに、この目標信号記憶部２２へ記憶すべき目標信号の入力は、上述した信号入力部１１を介して行われるものであってもよいし、予めシステム内において記憶されているものであってもよい。 The target signal storage unit 22 is configured by storage means such as a memory for storing a target signal to be described later, a hard disk, and the like. In some cases, the target signal can be a learning set that forms a set with the input signal input to the signal input unit 11. In such a case, the target signal is similarly stored in the target signal storage unit 22. Incidentally, the input of the target signal to be stored in the target signal storage unit 22 may be performed via the signal input unit 11 described above or may be stored in advance in the system. Good.

階層型ニューラルネットワーク記憶部２３には、図２に示すような階層型ニューラルネットワーク３が記憶される。この階層型ニューラルネットワーク３は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層３１と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層３３と、入力層ニューロンと出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層３２とを有する階層型として構成される。階層型ニューラルネットワーク３は、入力層３１に入力信号が供給され、これが中間層３２を伝播して出力層３３へと到達するが、この伝播方向を、以下、順方向という。 The hierarchical neural network storage unit 23 stores a hierarchical neural network 3 as shown in FIG. The hierarchical neural network 3 includes an input layer 31 including a plurality of input layer neurons that receive an input signal from the outside, an output layer 33 including a plurality of output layer neurons that transmit an output signal to the outside, an input layer neuron, It is configured as a hierarchical type having one or more intermediate layers 32 including a plurality of intermediate layer neurons provided between the output layer neurons. In the hierarchical neural network 3, an input signal is supplied to the input layer 31, which propagates through the intermediate layer 32 and reaches the output layer 33. This propagation direction is hereinafter referred to as a forward direction.

入力層３１は、複数のＳＯＭ（Self-Organizing Map）４１に分割されており、更に個々のＳＯＭ４１内には複数の入力層ニューロンが配置される。中間層３２は、複数のＳＯＭ４２に分割されており、更に個々のＳＯＭ４２内には複数の中間層ニューロンが配置される。出力層３３は、１つのＳＯＭ４３からなり、このＳＯＭ４３内には複数の出力層ニューロンが配置される。 The input layer 31 is divided into a plurality of SOMs (Self-Organizing Maps) 41, and a plurality of input layer neurons are arranged in each SOM 41. The intermediate layer 32 is divided into a plurality of SOMs 42, and a plurality of intermediate layer neurons are arranged in each SOM 42. The output layer 33 is composed of one SOM 43, and a plurality of output layer neurons are arranged in the SOM 43.

図３は、これら各ＳＯＭ４１とＳＯＭ４２ａにおけるニューロンの詳細な接続関係を示している。 FIG. 3 shows the detailed connection relationship of neurons in these SOM 41 and SOM 42a.

ＳＯＭ４１内にある各入力層ニューロン５１は、ＳＯＭ４２ａ内にある中間層ニューロン５２と完全結合の経路で結ばれている。学習を通じて入力層ニューロン５１と、中間層ニューロン５２との間における経路につき接続重み付けを変化させる。ニューロン５１、５２間における経路の重み付けは結合荷重値ｗとして表される。このような結合荷重値ｗが設定されている前提の下、入力信号が入力層３１に入力された場合には、これに基づいて伝播する信号と結合荷重値ｗとの内積等で表される適合度を算出していくこととなる。ちなみにこの伝播する信号と結合荷重値ｗとの適合度は、これらの内積に限定されるものではなく、例えば、伝播する信号と結合荷重値２とを引数とする任意の評価関数を用いるようにしてもよい。かかる場合において、結合荷重値ｗとの適合度は、シグモイド等特殊な関数を挟んだものを用いるようにしてもよいし、カルバック・ライブラー情報量を用いるようにしてもよい。なお、この図３は、ＳＯＭ４１とＳＯＭ４２ａの関係について示しているが、ＳＯＭ４２ａとＳＯＭ４２ｂ、ＳＯＭ４２ｂとＳＯＭ４３との関係についても同様に完全結合の経路とされており、またその経路間の重み付けは、結合荷重値ｗを介して表されるものとなる。 Each input layer neuron 51 in the SOM 41 is connected to the intermediate layer neuron 52 in the SOM 42a through a completely connected path. Through learning, the connection weight is changed for the path between the input layer neuron 51 and the intermediate layer neuron 52. The weighting of the path between the neurons 51 and 52 is expressed as a connection weight value w. When an input signal is input to the input layer 31 on the assumption that such a combined load value w is set, it is represented by an inner product or the like of the signal propagated based on this and the combined load value w. The fitness will be calculated. Incidentally, the adaptability between the propagating signal and the coupling weight value w is not limited to the inner product of these signals. For example, an arbitrary evaluation function having the propagating signal and the coupling weight value 2 as arguments is used. May be. In such a case, the degree of conformity with the combined load value w may be a value sandwiching a special function such as a sigmoid, or the amount of information of cullback / librar may be used. Although FIG. 3 shows the relationship between the SOM 41 and the SOM 42a, the relationship between the SOM 42a and the SOM 42b and the relationship between the SOM 42b and the SOM 43 is also a completely coupled route. It is expressed via the load value w.

ちなみに、この階層型ニューラルネットワーク３に行われる演算は、従来における通常の計算ロジックを適用するものであり、特段異なる計算ロジックを使用するものではない。 Incidentally, the calculation performed on the hierarchical neural network 3 applies a normal calculation logic in the related art, and does not use a different calculation logic.

出力信号生成部２４は、階層型ニューラルネットワーク記憶部２３に記憶されているニューラルネットワーク３にアクセスし、その演算を全て制御する。出力信号生成部２４は、信号入力部１１から取得した入力信号を、階層型ニューラルネットワーク３における入力層３１に入力する処理を行う。この出力信号生成部２４は、この階層型ニューラルネットワーク３中を伝播する信号について最終的に出力層３３から出力される出力信号を取得し、これを出力部１２へと出力する。 The output signal generation unit 24 accesses the neural network 3 stored in the hierarchical neural network storage unit 23 and controls all of the calculations. The output signal generation unit 24 performs a process of inputting the input signal acquired from the signal input unit 11 to the input layer 31 in the hierarchical neural network 3. The output signal generation unit 24 acquires an output signal that is finally output from the output layer 33 for the signal propagating through the hierarchical neural network 3 and outputs the output signal to the output unit 12.

結合荷重値調整部２５は、目標信号記憶部２２に記憶されている目標信号を読み出し、これを各種制御に利用する。また結合荷重値調整部２５は、階層型ニューラルネットワーク３を構成するニューロンの経路について、後述するスパースとみなす処理を施す。結合荷重値調整部２５は、階層型ニューラルネットワーク３におけるニューロンの伝播する信号と結合荷重値ｗとの内積等で表される適合度が高くなるように、或いは低くなるように調整を行う。 The combined load value adjustment unit 25 reads the target signal stored in the target signal storage unit 22 and uses it for various controls. Further, the connection load value adjustment unit 25 performs a process of regarding a path of neurons constituting the hierarchical neural network 3 as sparse, which will be described later. The connection load value adjustment unit 25 performs adjustment so that the fitness expressed by the inner product of the signal propagated by the neuron in the hierarchical neural network 3 and the connection load value w becomes higher or lower.

出力部１２は、出力信号生成部２４により生成された出力信号を出力する。この出力部１２は、例えばユーザが画面上で出力信号を確認するためのディスプレイ等であり、或いはこれらの出力信号を外部に出力するためのインターフェース等である。出力部１２は、この出力信号を記憶するための固定型又は可搬型のメモリ等で構成されていてもよい。出力部１２は、出力信号に関するデータを次回以降の学習に利用するために、これを出力信号生成部２４や結合荷重値調整部２５にフィードバックさせるようにしてもよい。また出力部１２からの出力信号に基づくデータを目標信号記憶部２２に記憶させるようにしてもよい。 The output unit 12 outputs the output signal generated by the output signal generation unit 24. The output unit 12 is, for example, a display for a user to check output signals on the screen, or an interface for outputting these output signals to the outside. The output unit 12 may be composed of a fixed or portable memory for storing the output signal. The output unit 12 may feed back the data related to the output signal to the output signal generation unit 24 and the combined load value adjustment unit 25 in order to use the data for the subsequent learning. Data based on the output signal from the output unit 12 may be stored in the target signal storage unit 22.

次に、本発明を適用した階層型ニューラルネットワークの学習システム１の動作について説明をする。この学習において使用される入力信号は、図４に示すように同一のカテゴリーからなる群で構成されている。以下の例では、この入力信号のカテゴリーとして、手書きで描いた文字を画像情報として検出したデータとする。 Next, the operation of the learning system 1 of the hierarchical neural network to which the present invention is applied will be described. The input signals used in this learning are composed of groups of the same category as shown in FIG. In the following example, the input signal category is data obtained by detecting hand-drawn characters as image information.

この入力信号の部分集合として教師信号がある。この教師信号は、これは入力信号のセットの中から目標信号と対応付けられた学習セットとして構成されたものである。つまり教師信号はカテゴリーとしては入力信号に属するものであり、換言すれば入力信号の中で目標信号と１対１で関連付けられているものを教師信号として定義している。例えば、目標信号が図４に示すように、「５」を表すニューロンだけが発火した状態である場合に、この目標信号「５」と関連付けて記憶されている、きれいな筆跡の「５」からなる画像情報で構成される入力信号が、教師信号となる。ちなみに、汚い筆跡で書かれたものであっても、目標信号と関連付けられている場合には、教師信号になり得ることは勿論である。 There is a teacher signal as a subset of this input signal. This teacher signal is configured as a learning set associated with the target signal from the set of input signals. That is, the teacher signal belongs to the input signal as a category. In other words, the input signal is defined as the teacher signal that is associated with the target signal on a one-to-one basis. For example, as shown in FIG. 4, when only the neuron representing “5” is in a fired state as shown in FIG. 4, the target signal is composed of “5” of a beautiful handwriting stored in association with the target signal “5”. An input signal composed of image information becomes a teacher signal. Incidentally, even if it is written with dirty handwriting, it can of course be a teacher signal if it is associated with the target signal.

これに対して、入力信号の中で目標信号と関連付けられていないものは、教師信号ではなく、あくまで通常の入力信号である。この教師信号を除く入力信号は、いわばこの階層型ニューラルネットワークの学習システム１において、これから学習させる信号である。図４においては、これから学習させる入力信号の例として、汚い筆跡の「５」の画像を示している。 On the other hand, what is not associated with the target signal among the input signals is not a teacher signal but a normal input signal. The input signals excluding the teacher signal are signals to be learned from the learning system 1 of the hierarchical neural network. In FIG. 4, a dirty handwriting “5” image is shown as an example of an input signal to be learned.

本発明を適用した階層型ニューラルネットワークの学習システム１では、入力信号の中の教師信号を順方向に伝播させることを特徴とする。即ち、汚い筆跡の「５」の画像からなる入力信号を学習させるためには、先ずきれいな筆跡の「５」の画像からなる教師信号を入力信号として信号入力部１１に入力する。信号入力部に入力された教師信号としての入力信号は、演算部１３に送られる。この演算部１３において教師信号としての入力信号を受け付けた場合には、これをニューラルネットワークにおける入力層３１に入力する。図５は、この階層型ニューラルネットワーク記憶部２３に記憶される階層型ニューラルネットワーク３を簡略化した概念図である。この順方向に向けて入力層３１、中間層３２ａ、３２ｂ、出力層３３が配列され、各ＳＯＭ４１〜４３内には、簡単のためそれぞれ４つのニューロン５１〜５４が含まれているものと仮定する。 The hierarchical neural network learning system 1 to which the present invention is applied is characterized in that a teacher signal in an input signal is propagated in the forward direction. That is, in order to learn an input signal composed of an image of “5” with a dirty handwriting, first, a teacher signal composed of an image of “5” with a clean handwriting is input to the signal input unit 11 as an input signal. An input signal as a teacher signal input to the signal input unit is sent to the calculation unit 13. When the arithmetic unit 13 receives an input signal as a teacher signal, the input signal is input to the input layer 31 in the neural network. FIG. 5 is a conceptual diagram in which the hierarchical neural network 3 stored in the hierarchical neural network storage unit 23 is simplified. It is assumed that the input layer 31, the intermediate layers 32a and 32b, and the output layer 33 are arranged in the forward direction, and that each of the SOMs 41 to 43 includes four neurons 51 to 54 for simplicity. .

このような階層型ニューラルネットワーク３に上述した教師信号としての入力信号が入力された場合に、入力層３１に入力された信号は、入力層３１から順方向に向けて伝播していくことになる。このとき、順方向に向けて隣接するニューロン５１〜５４間に形成されるそれぞれの経路について、伝播していく信号と、結合荷重値ｗとの内積等で表される適合度を求める。図５では、より適合度が高い経路が順方向に向けて出力層３３に至るまで連結されている状態が示されている。適合度の高い経路が連結するニューロン５１〜５４、適合度が中程度の経路が連結するニューロンについては、図中において色分けして表示している。実際に演算を行う際において、従来では、この適合度の高い経路のみならず、適合度が中程度並びに適合度が低いものも全て演算式に含めて演算を行っている。このため、実際に適合度が低くて殆どニューロン５１〜５４間で連結経路を形成しないものも含めて演算を行うため、演算量が膨大なものとなってしまっている。特に連結経路を形成しない、言い換えれば僅かにしか活動しないニューロンについて演算に含めても、学習効率を特段向上させることができない。 When the input signal as the teacher signal described above is input to such a hierarchical neural network 3, the signal input to the input layer 31 propagates from the input layer 31 in the forward direction. . At this time, for each path formed between the adjacent neurons 51 to 54 in the forward direction, the fitness expressed by the inner product or the like of the signal that propagates and the combined load value w is obtained. FIG. 5 shows a state in which paths having higher matching degrees are connected to the output layer 33 in the forward direction. The neurons 51 to 54 to which the paths with high fitness are connected and the neurons to which the paths with medium fitness are connected are displayed in different colors in the figure. When actually performing the calculation, conventionally, not only the route with a high degree of fitness but also those with a medium fitness and a low fitness are included in the arithmetic expression. For this reason, the calculation amount is enormous because the calculation is performed including the one that actually has a low fitness and hardly forms a connection path between the neurons 51 to 54. In particular, even if a neuron that does not form a connection path, in other words, only a small amount of activity, is included in the calculation, the learning efficiency cannot be particularly improved.

このため本発明では、入力信号の中の教師信号を順方向に伝播させる際において、図６に示すように、各ＳＯＭ４１〜４３内において伝播する信号と結合荷重値との適合度が最も高い経路を先ず選択する。そして、伝播する信号と結合荷重値との適合度が最も高い経路を抽出後、それ以外の経路はスパースとみなす処理を行う。図６の例では、各ＳＯＭの中で適合度が最も高い経路のみが残り、それ以外の経路はスパースとみなされて図中から削除されている状態が示されている。かかる処理を全てのＳＯＭ４１〜４３について実行する。 Therefore, in the present invention, when the teacher signal in the input signal is propagated in the forward direction, as shown in FIG. 6, the path having the highest degree of matching between the signal propagated in each of the SOMs 41 to 43 and the combined load value. Is first selected. Then, after extracting a route having the highest matching degree between the propagating signal and the combined load value, processing is performed in which other routes are regarded as sparse. The example of FIG. 6 shows a state in which only the route having the highest degree of matching remains in each SOM, and other routes are regarded as sparse and deleted from the drawing. Such processing is executed for all the SOMs 41 to 43.

そして、この選択された適合度の高い経路（ニューロン）を優先的に利用して、信号を入力層３１から出力層３３に至るまで順方向に向けて伝播させ、出力信号を取得する。この過程で、伝播する信号が、何れの経路を辿って順方向に進むかが明確化され、また適合度を通じて当該経路を通過する量（頻度）が明確になる。 Then, using the selected path (neuron) with a high degree of fitness preferentially, the signal is propagated in the forward direction from the input layer 31 to the output layer 33, and an output signal is acquired. In this process, it is clarified which path the propagating signal travels in the forward direction, and the amount (frequency) of passing through the path through the fitness is clarified.

出力信号生成部２４は、取得したこの出力信号を出力部１２に向けて出力する。また出力信号生成部２４は、取得した出力信号と、教師信号としての入力信号と組になっている目標信号とを比較する。即ち、この出力信号は、教師信号としての入力信号を階層型ニューラルネットワーク３に入力し、これを順方向に伝播させることで得られたものであり、当該入力信号と関連付けられている目標信号と比較することにより、この階層型ニューラルネットワーク３による出力が正解であるか否かを判定することができる。 The output signal generation unit 24 outputs the acquired output signal toward the output unit 12. The output signal generator 24 compares the acquired output signal with a target signal that is paired with an input signal as a teacher signal. That is, this output signal is obtained by inputting an input signal as a teacher signal to the hierarchical neural network 3 and propagating the input signal in the forward direction, and a target signal associated with the input signal and By comparing, it can be determined whether or not the output from the hierarchical neural network 3 is correct.

図６の例では、出力層３３から出力された出力信号の値が「５」であり、目標信号と一致していた場合の例である。このように、出力信号と目標信号とが一致している場合には、階層型ニューラルネットワーク３において選択した経路がより正解を導き出す上で重要なものであり、また信号が伝播する確率が高いことが示されている。 In the example of FIG. 6, the value of the output signal output from the output layer 33 is “5”, which corresponds to the target signal. Thus, when the output signal and the target signal match, the route selected in the hierarchical neural network 3 is important for deriving a correct answer, and the probability that the signal propagates is high. It is shown.

かかる場合には、上述の選択した経路を伝播する信号と結合荷重値との適合度が増加するように調整する。かかる調整は、結合荷重値調整部２５による制御を通じて行われる。このようにして適合度が増加するように調整が行われることで、階層型ニューラルネットワーク３を構成する経路がより正解を導く上で好適なものに更新されることとなる。また、上述の適合度は、あくまで今回入力した入力信号と結合荷重値との適合度ではあるが、これを増加させることで、同じ目標信号を持つ他の教師信号としての入力信号の適合度を向上させることができる。 In such a case, adjustment is made so that the degree of matching between the signal propagating through the selected route and the combined load value increases. Such adjustment is performed through control by the combined load value adjustment unit 25. In this way, by adjusting so that the degree of fitness increases, the path configuring the hierarchical neural network 3 is updated to a more suitable one for deriving a correct answer. In addition, the above-mentioned adaptability is only the adaptability between the input signal input this time and the combined load value, but by increasing this, the adaptability of the input signal as another teacher signal having the same target signal is increased. Can be improved.

図７の例では、出力層３３から出力された出力信号の値が「５」であり、目標信号と不一致の場合の例である。このように、出力信号と目標信号とが不一致の場合には、階層型ニューラルネットワーク３において選択した経路がより正解を導き出す上であまり重要なものではなく、また信号が伝播する確率が低いことが示されている。 In the example of FIG. 7, the value of the output signal output from the output layer 33 is “5”, which is an example of a case where the value does not match the target signal. Thus, when the output signal and the target signal do not match, the route selected in the hierarchical neural network 3 is not so important for deriving a correct answer, and the probability that the signal propagates is low. It is shown.

かかる場合には、上述の選択した経路を伝播する信号と結合荷重値との適合度が減少するように調整する。かかる調整も同様に結合荷重値調整部２５による制御を通じて行われる。このようにして適合度が減少するように調整が行われることで、階層型ニューラルネットワーク３を構成する経路がより不正解を導かないようなものとなるように更新されることとなる。また、上述の適合度は、あくまで今回入力した入力信号と結合荷重値との適合度ではあるが、これを減少させることで、同じ目標信号を持つ他の教師信号としての入力信号の適合度を減少させ、今回の経路を極力使用しないように制御することで、不正解になるのを防止するように調整される。
また本発明によれば、出力信号と目標信号との一致もしくは不一致の判定は、必ずしも離散的な２択を意味するものではない。出力信号と目標信号との差異に基づく一致度合に基づいて、結合荷重値との適合度を増加させ、又は減少させるようにしてもよい。この一致度合は、連続的な値を持つものであってもよい。 In such a case, adjustment is performed so that the degree of matching between the signal propagating through the selected path and the combined load value is reduced. Such adjustment is similarly performed through control by the combined load value adjustment unit 25. In this way, the adjustment is performed so that the degree of fitness is reduced, so that the path constituting the hierarchical neural network 3 is updated so as not to lead to incorrect answers. In addition, the above-mentioned adaptability is only the adaptability between the input signal input this time and the combined weight value, but by reducing this, the adaptability of the input signal as another teacher signal having the same target signal can be reduced. It is adjusted so as to prevent an incorrect answer by reducing and controlling the current route to be used as little as possible.
Further, according to the present invention, the determination of whether the output signal matches the target signal or not does not necessarily mean a discrete two-choice. The degree of matching with the combined load value may be increased or decreased based on the degree of matching based on the difference between the output signal and the target signal. This degree of coincidence may have a continuous value.

このような教師ありの先行伝播学習を繰り返し行うことにより、階層型ニューラルネットワーク３の学習効率を向上させることができる。その結果、学習速度をより向上させることができる。 By repeating such supervised advance propagation learning, the learning efficiency of the hierarchical neural network 3 can be improved. As a result, the learning speed can be further improved.

なお、上述した実施の形態においては、各ＳＯＭ４１〜４３内において伝播する信号と結合荷重値との適合度が最も高い経路を先ず選択する場合を例にとり説明をしたが、これに限定されるものではない。結合荷重値との適合度が最も高い経路に加え、その近傍にある経路も同様に選択するようにしてもよい。かかる場合には、選択される経路が、適合度が最も高い経路及びその近傍にある経路と複数に亘ることとなり、それ以外の経路がスパースであるものとみなされる。また、適合度が最も高い経路の近傍の経路の意味するところは、当該適合度が最も高い経路の両側に隣接する経路に限定されるものではなく、更にその外側に向けて隣接するいかなる数の経路も含む。 In the above-described embodiment, an example has been described in which a route having the highest degree of matching between the signal propagating in each of the SOMs 41 to 43 and the combined load value is selected as an example. However, the present invention is not limited to this. is not. In addition to the route having the highest matching degree with the combined load value, a route in the vicinity thereof may be selected in the same manner. In such a case, the route to be selected includes a route having the highest degree of matching and a route in the vicinity thereof, and other routes are considered to be sparse. In addition, the meaning of the route in the vicinity of the route with the highest fitness is not limited to the route adjacent to both sides of the route with the highest fitness, and any number of neighbors toward the outside of the route. Includes routes.

また目標信号と一致したものと判定された入力信号を新たに教師信号とみなし、この教師信号を新たに階層型ニューラルネットワーク３の入力層３１に入力し順方向に伝播させ、選択された正しい経路の情報を記憶するようにしてもよい。この正しい経路の情報は、例えば目標信号記憶部２２又は図示しないメモリやハードディスク等の記憶装置に記憶させる。次に他の学習セットの入力信号が信号入力部１１に入力され、これを階層型ニューラルネットワーク３中を伝播させる上で、上記記憶した正しい経路の情報を読み出し、更に当該正しい経路の情報に基づいてスパース処理を行うようにしてもよい。 Also, the input signal determined to match the target signal is newly regarded as a teacher signal, this teacher signal is newly input to the input layer 31 of the hierarchical neural network 3 and propagated in the forward direction, and the correct path selected. The information may be stored. This correct path information is stored in, for example, the target signal storage unit 22 or a storage device (not shown) such as a memory or a hard disk. Next, an input signal of another learning set is input to the signal input unit 11 and propagated through the hierarchical neural network 3 to read out the stored correct path information and further based on the correct path information. The sparse processing may be performed.

ここで、上述した正しい経路の情報が反映された先行伝播信号をx_advとし、他の学習セットの入力信号をx_targetとする。このとき、学習の目的となるx_targetを先行伝播信号x_advの残効の下で処理する。このとき、実際の階層型ニューラルネットワーク３に入力されるx_inputは、以下の式で表すことが可能となる。 Here, the preceding propagation signal information correct path described above is reflected by the x _adv, the input signal of the other training set and x _target. At this time, the _target x _target is processed under the aftereffect of the preceding propagation signal _xadv . At this time, x _input inputted to the actual hierarchical neural network 3 can be expressed by the following equation.

x_input=βx_adv+(１−β)x_target x _input = βx _adv + (1-β) x _target

βは、全体の入力に対する先行伝播信号をx_advの比率を表している。入力ベクトルx_inputは、目標信号を、教師信号である先行伝播信号をx_advの残効によって修正したものとなる。先行伝播信号x_advをどの程度反映させるかは、システムの設計時においてケースバイケースで設定されるものであるが、ユーザ側において自由に変更可能とされていてもよいことは勿論である。例えば、学習が進展してくれば、経路もかなり固まってくるため、学習の進展に応じてβを徐々に下げることにより先行伝播信号x_advの比率下げるようにしてもよい。 β represents the ratio of the preceding propagation signal to the entire input x _adv . The input vector x _input is obtained by correcting the target signal and the preceding propagation signal that is the teacher signal by the _aftereffect of xadv. The extent to which the preceding propagation signal _xadv is reflected is set on a case-by-case basis at the time of designing the system, but it goes without saying that it may be freely changeable on the user side. For example, as learning progresses, the path becomes considerably solidified. Therefore, the ratio of the preceding propagation signal x _adv may be decreased by gradually decreasing β according to the progress of learning.

また、本発明によれば、各ＳＯＭ４１〜４３内における各経路の結合荷重値の適合度の競合度を利用し、結合荷重値を調整するようにしてもよい。ここでいう各経路の結合荷重値の適合度の競合度とは、それぞれのＳＯＭ４１〜４３内において、経路の結合荷重値の適合度がどの程度競合しているかの度合いを示すものである。例えば図５の例の場合には、ある一つのＳＯＭ４１〜４３内において、適合度の高い経路が１つあり、残りの３つの経路は何れも適合度が低い場合には、当該適合度の高い経路にとって競合する経路が少ないため、競合度が低いということができる。これに対して、適合度中の経路が２つあり、残りの２つの経路は何れも適合度が低い場合には、当該適合度中の経路にとって競合する経路が比較的多いため、競合度が高いということができる。 Further, according to the present invention, the combined load value may be adjusted using the competition degree of the combined load value of each path in each of the SOMs 41 to 43. Here, the degree of competition of the matching degree of the combined load value of each path indicates the degree to which the degree of matching of the combined load value of the path competes in each of the SOMs 41 to 43. For example, in the case of the example in FIG. 5, if there is one route having a high degree of fitness within a single SOM 41 to 43 and the remaining three routes all have low fitness, the fitness level is high. Since there are few routes competing for the route, it can be said that the degree of competition is low. On the other hand, when there are two routes with goodness of fit and the remaining two routes are low in suitability, there are relatively many routes competing for the route with goodness of fit. It can be said that it is expensive.

このようにして各ＳＯＭ４１〜４３内における経路の適合度を相対的に比較し、その相対的な大小関係を数値化した競合度を求め、更にこの求めた競合度に基づいて、結合荷重値の調整量を変化させることを当該ＳＯＭ４１〜４３毎に行う。かかる場合において適合度の競合度が高いＳＯＭ４１〜４３については、今後において特に学習が必要ないことを判別することができる。かかる場合には、他のＳＯＭ４１〜４３と比較して結合荷重値の調整量を低くするように設定する。また、適合度の競合度が低いＳＯＭ４１〜４３については、今後において特に学習が必要であることを判別することができる。かかる場合には、他のＳＯＭ４１〜４３と比較して結合荷重値の調整量を高くするように設定する。これにより、学習が必要なＳＯＭ４１〜４３に焦点を当てて集中的に学習させることが可能となる。 In this way, the degree of compatibility of the paths in each of the SOMs 41 to 43 is relatively compared, and the degree of competition obtained by quantifying the relative magnitude relationship is obtained. Further, based on the obtained degree of competition, the combined load value is calculated. The adjustment amount is changed for each of the SOMs 41 to 43. In such a case, it is possible to determine that learning is not necessary in the future for the SOMs 41 to 43 having a high degree of competition of the fitness. In such a case, the adjustment amount of the combined load value is set to be lower than that of the other SOMs 41 to 43. In addition, it is possible to determine that learning is particularly necessary in the future for the SOMs 41 to 43 having a low degree of fitness competition. In such a case, the adjustment amount of the combined load value is set to be higher than that of the other SOMs 41 to 43. Thereby, it becomes possible to focus on the SOMs 41 to 43 that need to be learned and to make them intensively learn.

また本発明を適用した階層型ニューラルネットワークの学習システム１では、いわゆる表現学習を行わせるものであってもよい。 In the learning system 1 of the hierarchical neural network to which the present invention is applied, so-called expression learning may be performed.

かかる場合には、先ず入力信号群から選択した任意の入力信号を代表入力信号とする。この代表入力信号を階層型ニューラルネットワーク３の入力層３１に対して入力して順方向に伝播させる。このとき、上述と同様に各ＳＯＭ４１〜４３の各ニューロン５１〜５４につながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理をＳＯＭ４１〜４３単位で行う。そして、このようなスパース処理が行われた階層型ニューラルネットワーク３から出力される出力信号を取得する。この代表入力信号を順方向に伝播させることにより得られる出力信号（以下、代表出力信号という。）を一時的に記憶しておく。 In such a case, first, an arbitrary input signal selected from the input signal group is set as the representative input signal. This representative input signal is input to the input layer 31 of the hierarchical neural network 3 and propagated in the forward direction. At this time, in the same manner as described above, only the route having the highest matching degree between the propagation signal and the connection load value among the routes connected to the neurons 51 to 54 of each SOM 41 to 43, or the route and the route in the vicinity thereof is selected. For other routes, processing that is regarded as sparse is performed in units of SOMs 41 to 43. Then, an output signal output from the hierarchical neural network 3 subjected to such sparse processing is acquired. An output signal (hereinafter referred to as a representative output signal) obtained by propagating the representative input signal in the forward direction is temporarily stored.

次に代表入力信号とは異なる他の入力信号を階層型ニューラルネットワーク３の入力層３１に対して入力して順方向に伝播させる。このとき、上述と同様に各ＳＯＭ４１〜４３の各ニューロン５１〜５４につながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理をＳＯＭ４１〜４３単位で行う。このようにして得られた出力信号と、目標信号とみなした代表出力信号とを比較し、これらが一致している場合には、選択した経路を伝播する他の信号と結合荷重値との適合度が増加するように調整し、これらが不一致の場合には、選択した経路を伝播する他の信号と結合荷重値との適合度が減少するように調整する。 Next, another input signal different from the representative input signal is input to the input layer 31 of the hierarchical neural network 3 and propagated in the forward direction. At this time, in the same manner as described above, only the route having the highest matching degree between the propagation signal and the connection load value among the routes connected to the neurons 51 to 54 of each SOM 41 to 43, or the route and the route in the vicinity thereof is selected. For other routes, processing that is regarded as sparse is performed in units of SOMs 41 to 43. Compare the output signal obtained in this way with the representative output signal considered as the target signal, and if they match, match the combined load value with other signals propagating through the selected path The degree of matching is adjusted so that the degree of matching between the other signal propagating along the selected path and the combined load value is decreased.

これらの動作を繰り返し実行することにより、同様に階層型ニューラルネットワーク３の学習効率を向上させることができる。その結果、学習速度をより向上させることができる。 By repeatedly executing these operations, the learning efficiency of the hierarchical neural network 3 can be improved similarly. As a result, the learning speed can be further improved.

ちなみに従来の教師あり学習では学習を安定させるために層ごとの学習(layer-wised learning) を繰り返すのが一般的であるが、本発明によれば、階層型ニューラルネットワーク３全体を一括して学習する。この階層型ニューラルネットワーク３全体に伝達される学習情報として、あくまで出力信号が目標信号と一致しているか否かの判別結果のみ使用し、局所的にはこれを順方向に伝播する信号そのものを教師信号として利用する。 Incidentally, in conventional supervised learning, it is common to repeat layer-wise learning in order to stabilize the learning. However, according to the present invention, the entire hierarchical neural network 3 is collectively learned. To do. As learning information transmitted to the entire hierarchical neural network 3, only the determination result of whether or not the output signal matches the target signal is used, and the signal that propagates this locally in the forward direction is used as a teacher. Use as a signal.

また、本発明によれば、従来技術のように出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させる必要もなくなることから、大規模化に適した構造を持つと共に、大脳皮質の神経回路をより模したものとなっている。また本発明によれば、他の神経回路の学習手法との親和性をも向上させることができる。 Further, according to the present invention, it is not necessary to learn the entire neural network based on the amount of information lacking in the output layer as in the prior art, so that it has a structure suitable for large scale and has a nerve structure of the cerebral cortex. It is a more imitation of the circuit. Further, according to the present invention, the affinity with other neural circuit learning techniques can also be improved.

また、本発明を自然画像認識等に応用する場合においても、新規の自然画像を、学習済みの人工的でクリーンなデータと関連付けられる可能性が考えられ、これによって自然画像内の文字認識等も可能となる。また先行伝播させる教師信号としての入力信号についても、単一の信号のみならず、これを多重化したもの(例えば、「赤く」て「丸い」果物として「りんご」を学習する) も可能である。これにより、自然界のマルチモーダルな情報の統合(例えば画像と音など) が実現できる可能性もある。 Even when the present invention is applied to natural image recognition or the like, there is a possibility that a new natural image may be associated with learned artificial and clean data. It becomes possible. Also, the input signal as a teacher signal to be propagated in advance can be not only a single signal but also a multiplexed signal (for example, learning “apple” as “red” and “round” fruit). . Thus, there is a possibility that multimodal information integration (for example, images and sounds) in the natural world can be realized.

以下、本発明の効果を検証する上で行ったシミュレーションについて説明をする。シミュレーションにおいて使用した階層型ニューラルネットワーク３のパラメータを表１に示す。 Hereinafter, a simulation performed for verifying the effect of the present invention will be described. Table 1 shows the parameters of the hierarchical neural network 3 used in the simulation.

個々のＳＯＭ４１〜４３をモジュールの基本単位として構成している。また個々のＳＯＭ４１〜４３モジュールは１００個のニューロンにより構成され、モジュール毎に一つ前の層から受容野（Receptive Field:RF）に基づいた部分入力を受け取る。１層目のネットワークは、上述した入力層３１に相当し、２層目のネットワークは、中間層３２ａに、３層目のネットワークは中間層３２ｂに、４層目のネットワークは、出力層３３に相当する。表１によれば、１層目のネットワークは、４９個のＳＯＭ、即ち４９００個のニューロンから構成され、個々のニューロンは、２８×２８ピクセルの入力画像のうちの受容野に相当する６×６ピクセルからの入力を受け、層全体で１７６４００個のシナプスを構成する。シナプスの重みの初期値は、一様乱数によって生成し、重みベクトルは、各ニューロンについて２ノルムで規格化している。 The individual SOMs 41 to 43 are configured as the basic unit of the module. Each SOM 41 to 43 module is composed of 100 neurons, and each module receives a partial input based on a receptive field (RF) from the previous layer. The first layer network corresponds to the input layer 31 described above, the second layer network is the intermediate layer 32a, the third layer network is the intermediate layer 32b, and the fourth layer network is the output layer 33. Equivalent to. According to Table 1, the network of the first layer is composed of 49 SOMs, that is, 4900 neurons, and each neuron is 6 × 6 corresponding to the receptive field in the input image of 28 × 28 pixels. In response to input from the pixels, the entire layer constitutes 176400 synapses. The initial value of the synaptic weight is generated by a uniform random number, and the weight vector is normalized by 2 norms for each neuron.

個々のニューロン（これにつながる経路）は、伝播する信号と、結合荷重値との内積を計算し、上述のようにＳＯＭ内において最も大きな内積値を持つニューロン（経路）の出力を１．０とし、その近隣のニューロン（経路）が距離に依存して減衰する値を出力するようにする。距離による減衰は、ガウス関数G(d)=exp(-d²/2σ²)を用いた。dはあるニューロンと最も大きな内積値を持つニューロンとのＳＯＭ内での距離を表している。σは標準偏差であるが、いわばガウス関数における距離減衰係数に相当するものであり、今回のシミュレーションでは０．４としている。 Each neuron (path leading to it) calculates the inner product of the signal to propagate and the connection weight value, and the output of the neuron (path) having the largest inner product value in the SOM is 1.0 as described above. The neighboring neurons (paths) output a value that attenuates depending on the distance. Attenuation due to distance was performed using a Gaussian function G (d) = exp (−d ² / 2σ ² ). d represents the distance in a SOM between a certain neuron and the neuron having the largest inner product value. σ is a standard deviation, which is equivalent to a distance attenuation coefficient in a Gaussian function, and is 0.4 in this simulation.

このシミュレーションでは、最初に事前学習を行っている。この事前学習では、教師なしの競合学習を用いている。この競合学習では、入力信号（入力ベクトル）と結合荷重値との内積を求め、得られる内積値が最大となるニューロン（経路）及びその近傍のニューロン（経路）について、結合荷重値を入力ベクトルに近づけるように更新する。またそれ以外のニューロン（経路）については上述と同様にスパースとみなす処理を行う。結合荷重値の更新の規則は、以下のように記述できる。 In this simulation, preliminary learning is performed first. This pre-learning uses unsupervised competitive learning. In this competitive learning, the inner product of the input signal (input vector) and the connection weight value is obtained, and the connection weight value is used as the input vector for the neuron (path) having the maximum inner product value and the neighboring neurons (path). Update to get closer. For other neurons (paths), processing that is regarded as sparse is performed as described above. The rules for updating the combined load value can be described as follows.

Δw=αx_input exp(-d²/2σ²) Δw = αx _input exp (-d ² / 2σ ² )

ここでwは重みベクトル、x_inputは入力ベクトル、αは学習係数である。この学習係数αは、初期値１．００から学習セッション終了時の値０．００まで単調に減少するように設定している。ガウス関数による距離減衰係数σも同様に初期値３．５から終了時の０．０へと減少するモデルとしている。重みベクトルは、以下の式のように値の更新毎に規格化される。 Here, w is a weight vector, x _input is an input vector, and α is a learning coefficient. The learning coefficient α is set so as to monotonously decrease from an initial value 1.00 to a value 0.00 at the end of the learning session. Similarly, the distance attenuation coefficient σ by the Gaussian function is a model that decreases from the initial value 3.5 to 0.0 at the end. The weight vector is normalized every time the value is updated as in the following equation.

w_new=(w+Δw)/|w+Δw| w _new = (w + Δw) / | w + Δw |

入力信号としては、ＭＮＩＳＴの手書き数字の画像データセットを利用する。事前学習では、層毎に学習を進めていく方式を利用している。先ず１層目について１００００サンプルで学習され、次に２層目が追加された状態で１００００サンプル学習され、層を増やす毎に１００００サンプル学習させる。その結果、最終的には、第１層目が４００００サンプル、第２層目が３００００サンプル、第３層目が２００００サンプル、第４層目が１００００サンプルで学習されることとなる。 As an input signal, an image data set of handwritten numerals of MNIST is used. In the pre-learning, a method of promoting learning for each layer is used. First, 10000 samples are learned for the first layer, then 10000 samples are learned with the second layer added, and 10,000 samples are learned each time the layer is increased. As a result, the first layer is learned with 40000 samples, the second layer with 30000 samples, the third layer with 20000 samples, and the fourth layer with 10,000 samples.

事前学習を行わせた後に、教師ありの先行伝播学習を行わせる。この先行伝播学習の詳細は、上述した実施の形態に示すとおりであるが、その詳細は、（Ahalt,S.C., Krishnamurthy, A.K., Chen, P. & Melton D.E.: Competitive learning algorithms for vector quantization, Neural Networks, 3(3), pp. 277-290(1990)）に記載されているLearning Vector Quantization(LVQ)に基づくものである。具体的には、このＬＶＱを階層型ニューラルネットワーク３に対応させて、上述した教師信号を順方向へ伝播させる。この教師ありの先行伝播学習においても、事前学習と同様にスパース処理が行われる。 After pre-learning is performed, supervised advance propagation learning is performed. The details of this pre-propagation learning are as shown in the above-described embodiment. 3 (3), pp. 277-290 (1990)), based on Learning Vector Quantization (LVQ). More specifically, the LVQ is made to correspond to the hierarchical neural network 3 and the above-described teacher signal is propagated in the forward direction. In this supervised advance propagation learning, the sparse processing is performed in the same manner as the prior learning.

以上に加え、階層型ニューラルネットワークにおける各層に対応する項と、ＳＯＭ内での距離減衰の項を加えた学習の式は、以下のように記述できる。 In addition to the above, the learning equation including the terms corresponding to each layer in the hierarchical neural network and the term of distance attenuation in the SOM can be described as follows.

Δw=r^n-kα(βx_adv+(１−β)x_target)exp(-d²/2σ²) Δw = r ^nk α (βx _adv + (1-β) x _target ) exp (-d ² / 2σ ² )

ここでｒは、層から層への学習の減衰係数であり、ｎは階層型ニューラルネットワークの層の総数、kは学習を適用する層となる。これにより、１層目では最も弱い学習が行われ、順方向に進むにつれて強い学習が行われる。 Here, r is an attenuation coefficient of learning from layer to layer, n is the total number of layers of the hierarchical neural network, and k is a layer to which learning is applied. As a result, the weakest learning is performed in the first layer, and the stronger learning is performed in the forward direction.

この教師ありの先行伝播学習では、上述した事前学習の結果において，それぞれの目標信号(「0」から「9」までの数値) に対して最大の値を出力したニューロンを代表ニューロンとし、これを発火させる入力信号を先行伝播学習法のための教師信号として用いた。 In this supervised pre-propagation learning, the neuron that outputs the maximum value for each target signal (numerical value from “0” to “9”) in the result of the pre-learning described above is used as the representative neuron. The input signal to ignite was used as a teacher signal for the preceding propagation learning method.

図８は、教師ありの先行伝播学習法によるエラー率の変化を示している。それぞれ横軸は、学習セットの適用回数（学習回数）であり、縦軸は、エラー率を示している。事前学習直後では、エラー率が17.2±1.0%であったの対して、先行伝播学習法によれば２０回の学習回数を経てエラー率を5.6±0.1%にまで低下させることができることが示されている。このため、学習効率を向上させることができることがシミュレーションを通じて検証された。 FIG. 8 shows a change in error rate by the supervised preceding propagation learning method. The horizontal axis represents the number of times the learning set is applied (the number of learning times), and the vertical axis represents the error rate. Immediately after prior learning, the error rate was 17.2 ± 1.0%, whereas the prior propagation learning method showed that the error rate could be reduced to 5.6 ± 0.1% after 20 learning cycles. ing. For this reason, it was verified through simulation that learning efficiency could be improved.

１階層型ニューラルネットワークの学習システム
３階層型ニューラルネットワーク
１１信号入力部
１２出力部
１３演算部
２２目標信号記憶部
２３階層型ニューラルネットワーク記憶部
２４出力信号生成部
２５結合荷重値調整部
３１入力層
３２中間層
３３出力層
４１、４２、４３ＳＯＭ
５１〜５４ニューロン DESCRIPTION OF SYMBOLS 1 Learning system of hierarchical neural network 3 Hierarchical neural network 11 Signal input part 12 Output part 13 Operation part 22 Target signal storage part 23 Hierarchical neural network storage part 24 Output signal generation part 25 Joint load value adjustment part 31 Input layer 32 Intermediate layer 33 Output layer 41, 42, 43 SOM
51-54 neurons

Claims

Provided between an input layer including a plurality of input layer neurons that receive external input signals, an output layer including a plurality of output layer neurons that transmit output signals to the outside, and the input layer neurons and the output layer neurons Hierarchical neural network learning system for learning to bring an output signal closer to a target signal by adjusting a connection weight value between each layer of a hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons In
A signal input means for inputting and propagating an input signal in a learning set composed of a set of an input signal and a target signal prepared in advance to the input layer of the hierarchical neural network;
Of the paths connected to each neuron of each SOM (Self-Organizing Map) constituting each layer of the hierarchical neural network, the path having the highest matching degree between the propagated signal and the connection weight value, or the path in the vicinity thereof Sparse processing means for selecting only the other path, and processing other than the path as sparse in units of the SOM,
Output signal acquisition means for propagating the input signal input by the signal input means in the forward direction to the hierarchical neural network processed by the sparse processing means, and acquiring an output signal;
The output signal acquired by the output signal acquisition means is compared with the target signal paired with the input signal, and the signal propagated through the selected path according to the degree of coincidence and the combined load value A learning system for a hierarchical neural network, comprising: a combined load value adjusting means for adjusting to increase or decrease the fitness.

The input signal determined to be coincident with the target signal by the combined load value adjusting unit is regarded as a teacher signal, the teacher signal is input to the signal input unit, propagated in the forward direction, and selected by the sparse processing unit. It further comprises storage means for storing correct route information,
The sparse processing unit performs the processing based on information on a correct path stored by the storage unit when an input signal of another learning set is input to the signal input unit. The learning system for hierarchical neural networks according to 1.

The degree of competition of the matching degree of the combined load value of each path in each SOM is obtained, and the adjustment amount of the combined load value for each SOM is changed based on the obtained degree of competition. The learning system of the described hierarchical neural network.

Provided between an input layer including a plurality of input layer neurons that receive external input signals, an output layer including a plurality of output layer neurons that transmit output signals to the outside, and the input layer neurons and the output layer neurons Learning of a hierarchical neural network that performs expression learning that brings an output signal closer to a target signal by adjusting a connection weight value of each layer of the hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons. In the system,
Any input signal selected from the input signal group as a representative input signal, and this is input to the input layer of the hierarchical neural network and propagated,
Of the paths connected to each neuron of each SOM (Self-Organizing Map) that constitutes each layer of the hierarchical neural network, the path having the highest matching degree between the propagated signal and the connection weight value, or the path in the vicinity thereof Sparse processing means for selecting only the other path, and processing other than the path as sparse in units of the SOM,
Output signal acquisition means for acquiring a representative output signal obtained by propagating the representative input signal input by the signal input means in the forward direction to the hierarchical neural network processed by the sparse processing means;
The other input signal different from the representative input signal from the input signal group is input by the signal input means, the output signal acquired by the output signal acquisition means through the processing by the sparse processing means, and A combined load value adjusting unit that compares the representative output signal regarded as a target signal and adjusts the degree of matching between the signal propagating through the selected path and the combined load value according to the degree of coincidence thereof. A hierarchical neural network learning system characterized by comprising:

Provided between an input layer including a plurality of input layer neurons that receive external input signals, an output layer including a plurality of output layer neurons that transmit output signals to the outside, and the input layer neurons and the output layer neurons A learning method for a hierarchical neural network that performs learning to bring an output signal closer to a target signal by adjusting a connection load value between layers of the hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons. In
A signal input step of inputting and propagating an input signal in a learning set composed of a set of an input signal and a target signal prepared in advance to an input layer of the hierarchical neural network;
Of the paths connected to each neuron of each SOM (Self-Organizing Map) that constitutes each layer of the hierarchical neural network, the path having the highest matching degree between the propagated signal and the connection weight value, or the path in the vicinity thereof A sparse processing step that performs processing in which the other path is regarded as sparse in units of the SOM;
An output signal acquisition step of acquiring an output signal by propagating the input signal input by the signal input means in the forward direction to the hierarchical neural network subjected to the processing in the sparse processing step;
The output signal acquired in the output signal acquisition step is compared with the target signal paired with the input signal, and if they match, the signal propagating on the selected path and the combined load And a combined load value adjusting step for adjusting to increase or decrease the fitness of the signal propagating through the selected path and the combined load value according to the degree of coincidence. A learning method for a hierarchical neural network characterized by

Provided between an input layer including a plurality of input layer neurons that receive external input signals, an output layer including a plurality of output layer neurons that transmit output signals to the outside, and the input layer neurons and the output layer neurons Learning of a hierarchical neural network that performs expression learning that brings an output signal closer to a target signal by adjusting a connection weight value of each layer of the hierarchical neural network having one or more intermediate layers including a plurality of intermediate layer neurons. In the method
An arbitrary input signal selected from the input signal group as a representative input signal, and a signal input step for causing the input signal to propagate to the input layer of the hierarchical neural network,
Of the paths connected to each neuron of each SOM (Self-Organizing Map) that constitutes each layer of the hierarchical neural network, the path having the highest matching degree between the propagated signal and the connection weight value, or the path in the vicinity thereof A sparse processing step that performs processing in which the other path is regarded as sparse in units of the SOM;
An output signal acquisition step of acquiring a representative output signal obtained by propagating the representative input signal input by the signal input means in the forward direction to the hierarchical neural network subjected to the processing in the sparse processing step;
The other input signal different from the representative input signal from the input signal group is input by the signal input means, the output signal acquired by the output signal acquisition means through the processing in the sparse processing step, and A combined load value adjustment step for comparing the representative output signal regarded as a target signal and adjusting to increase or decrease the degree of matching between the signal propagated through the selected path and the combined load value according to the degree of coincidence thereof. A learning method for a hierarchical neural network characterized by comprising: