【０００１】
【発明の属する技術分野】
この発明は、人工ニューラルネットワークの一種であり、教師なし学習が可能な、自己組織化ネットワークの、特徴マップ形成の制御を行うための方法についてである。
【０００２】
【従来の技術】
自己組織化ネットワークとその学習方法については「ニューラルコンピューティング入門」（ＩＳＢＮ４−３０３−７２６４０−０）など多くの文献で紹介されている。概略を以下に示す。自己組織化ネットワークはデータの次元数と同数の入力ノードを持ち、多くの場合２次元マップ状の多数の出力ノードを持つ２層構造である。出力ノード間には位置関係があるため、近傍の大きさを指定することで、ある出力ノードとその近傍内の出力ノードを選択することができる。入力ノードと出力ノードの間には結合があり、すべての結合に結合加重が与えられる。つまり、出力ノードそれぞれに学習用データと同じ次元数のデータが結合加重の集まりとして与えられていることになる。この結合加重の集まりを結合加重ベクトルと呼ぶ。初期値として結合加重の値をランダムに与えておく。学習時は、学習用データのそれぞれの次元の値が対応する入力ノードに与えられ、学習用データと出力ノードに与えられた結合加重ベクトルとの距離の計算をすべての出力ノードに対して行い、距離の最も近かったノードを一つ選ぶ。選ばれた出力ノードを勝利ノードと呼ぶ。勝利ノードとその近傍内にある出力ノードとに対して、結合加重が学習用データに近くなるように結合加重の値を調整する。どの程度値を調整するかは学習率という変数で調節する。学習率は近傍内での位置関係によって値が決まる関数である。これをすべての学習用データについて順番に行うことで１回の学習が終了する。近傍の大きさと学習率を次第に小さくしながら学習を繰り返すことによってネットワークを自己組織化することができる。学習後は学習用データの持つ性質を反映したクラスタが特徴マップ上に形成される。
【０００３】
次に、学習終了の判定について述べる。学習終了の判定は、１）あらかじめ学習回数を定めておく、２）学習用データと勝利ノードの距離の最も遠いものが敷居値以下になるなど学習の進み具合により判定する、などの方法がある。１）の場合は学習回数が一定のため、学習の進み具合に無関係に学習終了の回数は一定であるが、学習終了時点での学習の進み具合は学習ごとに異なる。２）の場合、学習の進み具合が早いほど学習終了が速く、学習速度が速い。学習の進み具合は、学習用データと勝利ノードとの距離によって判定することができる。
【０００４】
学習終了後、ネットワークの利用時は、結合加重の値を変更することなく、入力データと結合加重の距離が最も近い出力ノードを選択することで、データが学習用データのどれに近いかを知ることができ、入力データのクラスタリングを行うことができる。
【０００５】
自己組織化ネットワークは特徴マップの初期値としてランダムな値を用いるため、学習後に形成されたクラスタの位置や距離はランダムになり、これを制御することができない。また、学習アルゴリズムの持つ制約によって、特徴マップの中央部分と周辺部分とで近傍領域の大きさが異なるため、全く同じ学習データを用いた場合でも、学習後に形成されるクラスタの大きさが、中央部では大きく、周辺部分では小さくなることが知られている。しかし、学習後のクラスタの大きさや位置、クラスタ間の距離などの制御についての検討はほとんどない。
【０００６】
自己組織化ネットワークの学習速度を高速化する従来手法の多くは、近傍の大きさや学習率といったパラメータの最適化が主流で、特徴マップの初期値の最適化などについての検討は少ない。
【０００７】
【発明が解決しようとする課題】
利用者は学習後の特徴マップ上に形成されるクラスタの大きさや位置関係によってデータの性質を判断する。このため、クラスタの大きさや位置、クラスタ間の距離は非常に重要な要素である。しかし、従来は特徴マップの形成を制御する方法についての検討はほとんどない。この発明はこの課題を改善し、特徴マップの初期値として特定の値を与えることによって、また、特定の値を与えたノードの学習を制御することによって特徴マップの形成を制御することを目的とする。
【０００８】
さらに、学習速度の高速化は自動的に学習を行う手法に共通の課題である。この発明はこの課題を改善し、特徴マップの初期値として特定の値を与えることによって、また、特定の値を与えた出力ノードの結合加重の学習を制御することによって学習速度の高速化を行うことを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、特徴マップの初期値として特定の値を与えるが、これによって学習後の特徴マップのクラスタの位置が制御可能であることを以下に説明する。
【００１０】
学習前、特徴マップの初期値をランダムに与えた後で、任意の出力ノードを１つ選択し（選択出力ノードと呼ぶ）、任意の学習用データを１つ選択し（選択学習用データと呼ぶ）、選択出力ノードの結合加重の値を選択学習用データと同じ値にするとともに、選択出力ノードは学習によって値の微調整を行わないように制御する場合を考える。この条件下において学習を行うと、選択出力ノードと選択学習用データとの間の距離は０なので、他に同じ値の出力ノード（同値出力ノードと呼ぶ）が無ければ、選択出力ノードが必ず勝利ノードになる。まれではあるが、選択出力ノードが勝利ノードにならない可能性があるのは、ランダムに与えた初期値の中に同値出力ノードが存在する場合と、学習による微調整によって同値出力ノードができる場合である。しかし、学習の初期段階では近傍領域が大きいため、全ての出力ノードは、学習の初期段階で他の出力ノードの近傍内に入る。同値出力ノードが他の出力ノードの近傍内に入るとは、他の学習用データに近づくように値の微調整を受けるということであり、選択学習用データとの間の距離は必ず０より大きくなる。値が変化しない選択出力ノードは、常に選択学習用データとの間の距離が０なので、次回の学習で微調整を受けた出力ノードが選択学習用データの勝利ノードとなることはない。今回の学習による微調整によって新しい出力ノードが同値出力ノードとなる場合も、同様の理由によって、次回の学習では勝利ノードになることはない。このように、学習の初期段階の早い時期から選択出力ノードが選択学習用データの勝利ノードとなって学習が進んでゆく。このため、学習終了時点では特徴マップ上の選択出力ノードの周辺に選択学習用データの属するクラスタが形成される。
【００１１】
上記と同様の条件で、選択出力ノードを複数選択し、その結合加重の値をそれぞれ異なる選択学習用データを選択して同じ値にする場合、選択出力ノードは値が変化しないため、お互いに干渉することがなく、上記と同様の理由で、複数の選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成される。
【００１２】
このように、選択出力ノードが学習によって値の微調整を受けない場合、選択出力ノードの位置と選択学習用データを制御することで、学習後の特徴マップのクラスタの位置が制御可能である。
【００１３】
ランダムに与えた初期値の中に選択出力ノードと同じ値が存在する確率を図２の式２．１に示す。式１によれば、たとえば、選択学習用データ５個、出力ノードの総数１００、有効桁数２桁、次元数５の場合、ｍ個の選択学習用データの内の１つと同じ値の初期値が出現する確率は２万分の１となり、ランダムに与えた初期値の中に同値出力ノードが存在する確率は非常に小さい。
【００１４】
次に、選択出力ノードが他の出力ノードと同様に学習によって値の微調整を受ける場合を考える。上記と同様の条件とパラメータで学習を行うと、学習用データの種類や初期値によって結果が異なるが、学習後の特徴マップを制御することが困難であった。これは、選択出力ノードが他の出力ノードの近傍内に入り学習によって微調整を受けるため、選択学習用データと同じ値にしたという優位性が薄らいだためと考えられる。しかし、学習の初期段階から近傍領域を小さくすることにより、選択出力ノードが当該選択学習用データの勝利ノードとなる可能性を高めることができ、学習後の特徴マップを制御することが可能となった。学習率の初期値を小さな値から始めることも有効であった。近傍領域の大きさの初期値を小さくしたり、学習率の初期値を小さくしたりすることによって、選択出力ノードが学習によって値の微調整を受ける場合にも学習後の特徴マップのクラスタの位置が制御可能であることを計算機シミュレーションによって確認した。
【００１５】
本発明は、特徴マップの初期値として特定の値を与えるが、これによって学習速度の高速化が可能であることを以下に説明する。
【００１６】
従来手法では学習を進めるにあたって、早い順番の学習用データの勝利ノードが遅い順番の学習用データの近傍内に入り、後の学習によって前の学習が打ち消されてしまう状況が発生する。学習の初期段階では特に頻繁に打ち消し合いが発生するため、学習速度を遅くする主な原因の一つであることが知らせている。本発明では特徴マップの初期値として特定の値を与え、また、特定の値を与えた出力ノードの結合加重の学習を制御することによって、学習の初期段階の早い時期にクラスタの大まかな位置が決定されるため、打ち消し合いによる学習速度の低下が少ない。結果的に、本発明の手法は従来手法と比べて高速に学習を行うことができる。
【００１７】
本発明は、以上のような方法に基づいて学習後の特徴マップ上のクラスタの位置の制御と学習速度の高速化を同時に行う自己組織化ネットワークの特徴マップ形成制御方法である。
【００１８】
【発明の実施の形態】
計算機を用いて自己組織化ネットワークのプログラムを作成して実験を行い、この発明の効果を実証した。１００個の出力ノードを１０×１０の２次元に配置し、入力ノードをデータの次元数と同数の５個とし、全ての結合加重を乱数によって初期化した自己組織化ネットワークに対して学習を行った。学習用データは、５次元空間上に５個の中心点を与え、各中心点の周りに正規分布する１０個の合計５０個を乱数により合成した。近傍の大きさの初期値７×７、５×５、３×３、学習率の初期値０．７、０．５、０．３、選択学習用データ数１、５の全ての組み合わせで各１０回実験を行った。
【００１９】
選択出力ノードが学習によって値の微調整を受けない場合では、全ての場合で選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成された。さらに、従来手法と比較して平均２１％学習速度が高速化された。
【００２０】
選択出力ノードが学習によって値の微調整を受ける場合では、近傍の大きさの初期値５×５で学習率の初期値０．５、０．３の場合、近傍の大きさの初期値３×３で学習率の初期値０．７、０．５、０．３の場合、選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成された。
【００２１】
これらの結果は、この発明によって学習後の特徴マップのクラスタの位置が制御可能であること、および、学習速度の高速化が可能であることを示している。
【００２２】
【発明の効果】
この発明によれば、学習後の特徴マップのクラスタの位置が制御可能となった。利用者は特徴マップ上に形成されるクラスタの大きさや位置関係によってデータの性質を判断するため、利用者とって理解しやすい特徴マップを形成することが可能となった。さらに、学習速度の高速化を行うことが可能となった。
【図面の簡単な説明】
【図１】自己組織化ネットワークの特徴マップ上に選択出力ノードと４個配置した概念図である。
【図２】ランダムに与えた初期値の中に選択出力ノードと同じ値が存在する確率を示す式である。
【図３】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図４】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【符号の説明】
式１ ランダムの初期値の中に選択出力ノードと同じ値が存在する確率を示す式[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for controlling the formation of a feature map of a self-organizing network, which is a type of artificial neural network and capable of unsupervised learning.
[0002]
[Prior art]
Self-organizing networks and their learning methods are introduced in many documents such as "Introduction to Neural Computing" (ISBN4-303-72640-0). The outline is shown below. The self-organizing network has a two-layer structure having the same number of input nodes as the number of dimensions of data and often having a large number of output nodes in a two-dimensional map. Since there is a positional relationship between the output nodes, a certain output node and an output node in the vicinity can be selected by specifying the size of the neighborhood. There is a connection between the input node and the output node, and all connections are given connection weights. In other words, each output node is given data having the same number of dimensions as the learning data as a set of connection weights. This set of connection weights is called a connection weight vector. A value of the combination weight is randomly given as an initial value. At the time of learning, the value of each dimension of the learning data is given to the corresponding input node, and the distance between the learning data and the connection weight vector given to the output node is calculated for all output nodes. Choose the node with the closest distance. The selected output node is called a winning node. The value of the connection weight is adjusted so that the connection weight is closer to the learning data with respect to the winning node and the output nodes in the vicinity thereof. The value to be adjusted is adjusted by a variable called a learning rate. The learning rate is a function whose value is determined by the positional relationship in the vicinity. This is performed for all the learning data in order, thereby completing one learning. The network can be self-organized by repeating learning while gradually reducing the size of the neighborhood and the learning rate. After the learning, a cluster reflecting the property of the learning data is formed on the feature map.
[0003]
Next, determination of the end of learning will be described. There are methods for determining the end of learning, such as 1) presetting the number of times of learning in advance, and 2) determining based on the degree of progress of the learning such that the distance between the learning data and the winning node is the threshold value or less. . In the case of 1), since the number of times of learning is constant, the number of times of completion of learning is constant irrespective of the degree of progress of learning, but the degree of progress of learning at the end of learning differs for each learning. In the case of 2), the faster the progress of the learning, the faster the end of the learning and the faster the learning speed. The progress of the learning can be determined based on the distance between the learning data and the winning node.
[0004]
After learning, when using the network, know the data is closer to the learning data by selecting the output node whose input data is closest to the connection weight without changing the value of the connection weight. And clustering of input data can be performed.
[0005]
Since the self-organizing network uses a random value as an initial value of the feature map, the positions and distances of clusters formed after learning become random and cannot be controlled. In addition, because the size of the neighborhood region differs between the central portion and the peripheral portion of the feature map due to the limitations of the learning algorithm, the size of the cluster formed after learning is limited even if the same learning data is used. It is known that the area is large and the peripheral area is small. However, there is hardly any study on the control of the size and position of the cluster after learning and the distance between clusters.
[0006]
Many of the conventional methods for increasing the learning speed of the self-organizing network mainly optimize parameters such as the size of the neighborhood and the learning rate, and there are few studies on optimizing the initial value of the feature map.
[0007]
[Problems to be solved by the invention]
The user determines the nature of the data based on the size and the positional relationship of the clusters formed on the learned feature map. For this reason, the size and position of clusters and the distance between clusters are very important factors. However, there has been little study on a method of controlling the formation of a feature map. It is an object of the present invention to improve this problem and to control the formation of a feature map by giving a specific value as an initial value of a feature map, and by controlling learning of a node to which a specific value is given. I do.
[0008]
Further, increasing the learning speed is a common problem in the method of automatically learning. The present invention solves this problem and speeds up the learning speed by giving a specific value as an initial value of the feature map and controlling the learning of the connection weight of the output node given the specific value. The purpose is to:
[0009]
[Means for Solving the Problems]
According to the present invention, a specific value is given as an initial value of the feature map, and it will be described below that the position of the cluster of the feature map after learning can be controlled by this.
[0010]
Before learning, after randomly giving an initial value of the feature map, one arbitrary output node is selected (referred to as a selected output node), and one arbitrary learning data is selected (referred to as a selected learning data). And the case where the value of the connection weight of the selected output node is set to the same value as that of the selection learning data, and the selected output node is controlled so as not to perform fine adjustment of the value by learning. When learning is performed under these conditions, the distance between the selected output node and the selected learning data is 0, so if there is no other output node having the same value (called an equivalent output node), the selected output node always wins. Become a node. In rare cases, the selected output node may not be the winning node when there is an equivalent output node in the randomly given initial value or when the equivalent output node is created by fine adjustment by learning. is there. However, since the neighborhood area is large in the initial stage of learning, all output nodes enter the vicinity of other output nodes in the initial stage of learning. When an equivalent output node enters the vicinity of another output node, it means that the value is finely adjusted so as to approach another learning data, and the distance between the selected learning data and the selected learning data is always greater than 0. Become. Since the distance between the selected output node whose value does not change and the selected learning data is always 0, the output node that has been fine-tuned in the next learning does not become the winning node of the selected learning data. Even if a new output node becomes an equivalent output node due to fine adjustment by this learning, for the same reason, it does not become a winning node in the next learning. As described above, from the early stage of the initial stage of the learning, the selected output node becomes the winning node of the selected learning data, and the learning proceeds. For this reason, at the end of learning, a cluster to which the selection learning data belongs is formed around the selected output node on the feature map.
[0011]
Under the same conditions as above, when a plurality of selected output nodes are selected and the combined weight values are selected to be the same value by selecting different selection learning data, the selected output nodes do not change, so that the selected output nodes do not interfere with each other. Instead, for the same reason as described above, a cluster to which each selection learning data belongs is formed around a plurality of selected output nodes.
[0012]
As described above, when the selected output node is not subjected to the fine adjustment of the value by learning, the position of the selected output node and the position of the cluster of the feature map after learning can be controlled by controlling the selection learning data.
[0013]
The probability that the same value as the selected output node exists in the randomly given initial value is shown in Equation 2.1 in FIG. According to Equation 1, for example, in the case of 5 pieces of selection learning data, the total number of output nodes is 100, the number of significant digits is 2 and the number of dimensions is 5, the initial value of the same value as one of m pieces of selection learning data is used. Is 1/2000, and the probability that an equivalent output node exists in a randomly given initial value is extremely small.
[0014]
Next, consider a case where the selected output node undergoes fine adjustment of the value by learning in the same manner as the other output nodes. When learning is performed under the same conditions and parameters as described above, the result differs depending on the type and initial value of the learning data, but it has been difficult to control the feature map after learning. This is probably because the selected output node enters the vicinity of another output node and is fine-tuned by learning, so that the advantage that the selected output node has the same value as the selection learning data is weakened. However, by reducing the neighborhood area from the initial stage of learning, it is possible to increase the possibility that the selected output node will be the winning node of the selected learning data, and control the feature map after learning. Was. Starting the initial value of the learning rate from a small value was also effective. By reducing the initial value of the size of the neighboring region or the initial value of the learning rate, the position of the cluster of the feature map after learning can be obtained even if the selected output node is fine-tuned by learning. Is controllable by computer simulation.
[0015]
In the present invention, a specific value is given as an initial value of the feature map, and it is described below that the learning speed can be increased by this.
[0016]
In the conventional method, when proceeding with the learning, the victory node of the learning data in the early order comes into the vicinity of the learning data in the latest order, and a situation occurs in which the previous learning is canceled by the later learning. In the early stage of the learning, cancellation is particularly frequently caused, and it is reported that this is one of the main causes of slowing down the learning speed. In the present invention, a specific value is given as an initial value of the feature map, and by controlling the learning of the connection weight of the output node having given the specific value, the rough position of the cluster can be set earlier in the initial stage of the learning. Since the determination is made, a decrease in the learning speed due to the cancellation is small. As a result, the method of the present invention can perform learning faster than the conventional method.
[0017]
The present invention is a feature map formation control method for a self-organizing network that simultaneously controls the position of a cluster on a feature map after learning and increases the learning speed based on the above method.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Using a computer, a program for a self-organizing network was created and an experiment was conducted to demonstrate the effects of the present invention. 100 output nodes are arranged in two dimensions of 10 × 10, input nodes are set to five of the same number of dimensions of data, and learning is performed on a self-organizing network in which all connection weights are initialized by random numbers. Was. The training data is obtained by giving five center points on a five-dimensional space, and synthesizing a total of 50 pieces of 10 pieces normally distributed around each center point by using random numbers. The initial value of the neighborhood size is 7 × 7, 5 × 5, 3 × 3, the initial value of the learning rate is 0.7, 0.5, 0.3, and the selection learning data number is 1, 5 for all combinations. Ten experiments were performed.
[0019]
In the case where the selected output node is not subjected to the fine adjustment of the value by learning, the cluster to which the respective selection learning data belongs is formed around the selected output node in all cases. Further, the learning speed was increased by an average of 21% compared to the conventional method.
[0020]
In the case where the selected output node receives the fine adjustment of the value by learning, the initial value of the neighborhood size is 5 × 5, the initial value of the learning rate is 0.5 or 0.3, and the initial value of the neighborhood size is 3 × In the case of 3, the initial values of the learning rates of 0.7, 0.5, and 0.3, clusters to which the respective selection learning data belong were formed around the selected output nodes.
[0021]
These results show that the present invention allows control of the positions of the clusters of the feature map after learning, and that the learning speed can be increased.
[0022]
【The invention's effect】
According to the present invention, the positions of the clusters of the feature map after learning can be controlled. Since the user determines the nature of the data based on the size and positional relationship of the clusters formed on the feature map, it is possible to form a feature map that is easy for the user to understand. Further, the learning speed can be increased.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram in which four selected output nodes are arranged on a feature map of a self-organizing network.
FIG. 2 is an equation showing a probability that the same value as a selected output node exists in a randomly given initial value.
FIG. 3 is a conceptual diagram of a relationship between an output node and an input node of a self-organizing network used in an experiment.
FIG. 4 is a conceptual diagram of a 10 × 10 two-dimensional output map, a winning node, and a neighborhood of 5 × 5 used in the experiment.
[Explanation of symbols]
Expression 1 Expression indicating the probability that the same value as the selected output node exists in the random initial value.
