JP2004252943A - Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device - Google Patents
Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device Download PDFInfo
- Publication number
- JP2004252943A JP2004252943A JP2003272813A JP2003272813A JP2004252943A JP 2004252943 A JP2004252943 A JP 2004252943A JP 2003272813 A JP2003272813 A JP 2003272813A JP 2003272813 A JP2003272813 A JP 2003272813A JP 2004252943 A JP2004252943 A JP 2004252943A
- Authority
- JP
- Japan
- Prior art keywords
- type unit
- input
- output
- pattern
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【技術分野】
【０００１】
本発明は、パターン教示システムと、それを用いたパターン識別装置、コンピュータプログラム及びパターン識別装置のデジタル論理回路設計方法に関する。
【背景技術】
【０００２】
【特許文献１】
特開平１−２４３１６９号公報
【特許文献２】
特許第２６０６３１７号公報
【０００３】
画像や音声のパターン識別は、例えば予め実体の知れている標準パターンを用意しておき、被識別パターンがその標準パターンと一致しているかどうかを、パターンを構成する素信号（例えば、画像識別の場合は画素、音声の場合は量子化された音声波形のレベル）同士の一致確率に応じて判定する方法が知られている。しかし、この方法は、あいまいな要素を含んだ柔軟なパターンマッチングや、あるいはノイズに強いパターンマッチングを実現するために不可欠である、統計的手法の導入が面倒であり、性能的にも限界がある。近年、こうした問題を解決するために、ニューラルネットワークを用いたパターン識別手法が種々提案されている。
【０００４】
ニューラルネットワークは、生体の脳をモデルとした情報処理システムであり、その基本構成要素であるニューロンを、多入力１出力の非線形素子（以下、ニューロン型素子ともいう）とみなしてこれをネットワーク状に多数結合したものである。具体的には、ニューラルネットワークに識別すべきパターンを繰り返し与えて教示パターンと比較しながら、ニューロン型素子間の結合の強さ（結合により媒介される入力信号の重み（ウェイトあるいは荷重ともいう））を調整することにより、特定パターンの識別が可能となるように学習を行なう。
【０００５】
従来、パターン識別に広く用いられているのは、階層型ニューラルネットワークと称されるものであり、入力層と出力層との間に１段又は２段以上の中間層を介在させた構造を有する。入力層にある被識別パターンを与えると、出力層には、中間層の結合状態に応じた特有の出力パターンが現われる。そして、学習の繰り返しにより、その出力パターンと、予め用意された所望の教示パターンとの誤差が最小化されるように、中間層の結合の重みを調整する。具体的には、入力層と中間層及び中間層と出力層は、いずれも重み付きの結合によって結び付けられ、出力層側から入力層側に向けて、結合の重みを、最急降下法を用いて順次的に最適化する、バックプロパゲーション法が用いられている（特許文献１，２）。
【考案の開示】
【発明が解決しようとする課題】
【０００６】
しかし、バックプロパゲーション法によるニューラルネットワークの最適化には、以下のような欠点がある。
(1)入力層と中間層との間、及び入力層と出力層との間で、いずれも全てのユニット間でしらみつぶし的に結合が設定され、その結合の重み調整だけでネットワークを最適化するので、計算量が膨大化しやすい。装置規模が大きくなった場合は、現実的な規模のコンピュータあるいはコンピュータネットワークでは、処理が破綻することもある。
(2)最急降下法を用いるため、局所的最適解にはまり込んだときは、誤差の真の最適化が不能となる場合がある。
(3)バックプロパゲーション法においては、一般的には、入力層と出力層に対して適当な数の中間層を用意することになるが、最終的に適正と考えられる中間層の数は予測不能なので、設定数が多すぎれば無駄な結合がたくさん残り、すくなければ分離できないパターンができるなどの不具合につながる。
【０００７】
本発明の課題は、少なくとも演算が必要な中間層の数や、中間層と出力層との間の結合数を少なく留めつつもニューラルネットワークの最適化処理が可能であり、ひいては少ない演算量でも精度の高いパターン教示が可能となるパターン教示システムと、それを用いたパターン識別装置、コンピュータプログラム及びパターン識別装置のデジタル論理回路設計方法とを提供することにある。
【課題を解決するための手段及び発明の効果】
【０００８】
上記の課題を解決するために本発明のパターン教示システムは、
複数の信号が各々並列入力結合可能とされ、かつ、該信号の入力和に対する第一の閾値を有してなり、該入力和と第一の閾値との比較結果に基づいて自身の信号出力を変化させる複数の第一種ユニットを有する中間層と、
中間層の前段に位置し、被識別パターンをなす複数の入力信号を、中間層の最前段に位置する第一種ユニットの列に入力するパターン入力部を有した入力層と、
中間層の最終段に位置する第一種ユニットの出力を中間信号として、該中間信号が並列入力結合可能とされ、かつ、該中間信号の入力和に対する、第一の閾値よりも低い第二の閾値を有してなり、該入力和と第二の閾値との比較結果に基づいて出力信号を変化させる複数の第二種ユニットを有する出力層と、
複数の第二種ユニットの出力信号の集合を出力パターンとして、該出力パターンを構成する出力信号に一義的に対応した教示信号よりなる教示パターンを設定する教示信号設定手段と、
複数の中間信号を、複数の第二種ユニットに対し、任意の組合せにて入力結合設定する出力側結合設定手段と、
出力パターンをなす各出力信号と、対応する教示信号との一致状態を照合し、その照合結果に基づいて、出力パターンと教示パターンとの一致状態が改善されるように、各第二種ユニットに対する第一種ユニットの結合の組合せを変更する出力側結合調整手段とを有し、
入力層に２種以上の被識別パターンを順次繰り返して入力し、各被識別パターンの入力毎に、出力層をなす第二種ユニットの出力信号と教示信号との一致状態が改善されるように、出力側結合調整手段により、第二種ユニットと中間信号を出力する第一種ユニットとの結合の組合せ変更する学習処理を反復して行なうようにしたことを特徴とする。
【０００９】
また、本発明の信号処理装置は、上記本発明のパターン教示システムの入力層に２種以上の被識別パターンを順次繰り返して入力し、各被識別パターンの入力毎に、出力層をなす第二種ユニットの出力信号と教示信号との一致状態が改善されるように、出力側結合調整手段により、第二種ユニットと中間信号を出力する第一種ユニットとの結合の組合せ変更する学習処理を反復して行なうことにより得られることを特徴とする。
【００１０】
被識別パターンが入力される第一種ユニットは、周知のニューロン型素子に比較的近い複数入力／１出力型の素子概念であり、被識別パターンを形成する複数の入力信号を分配入力したときのパターンの選択性を高めるために、入力和に対する出力閾値（第一の閾値）は比較的高い値に設定される。他方、第二種ユニットは、上記第一種ユニットとの結合の組合せ変更（あるいは組換え）により学習処理を進める本願発明特有の素子概念であり、複数入力／１出力型の素子という点では第一種ユニットと同じであるが、その入力和に対する出力閾値（第二の閾値）が、第一種ユニットの閾値（第一の閾値）よりも低く設定される。なお、入力和と出力閾値との高低関係は、アクティブレベル側を正方向として、正側にシフトしている方を「高い」側として定義する。
【００１１】
すなわち、複数のカテゴリの被識別パターンを教示する場合は、第一種ユニットへの信号の入力パターン、ひいては第一種ユニットを経由した信号の伝播パターンはカテゴリによって変化する。第二種ユニットの出力は、そのいずれのカテゴリの被識別パターンに由来する伝播パターンが到来しても、有効な識別結果を示す出力を発生させなければならない。具体例を挙げれば、ある第二種ユニットに入力として集められている（異なる第一種ユニットからの）２つの結合のうち第一のものが、カテゴリＡの被識別パターンが与えられているときに高レベルとなり、第二のものがカテゴリＢの被識別パターンが与えられているときに高レベルになったとすると、第二種ユニットは、２つの結（入力）の少なくとも一方が高レベルのときに、出力が高レベルとなるように動作することが要求される。こうした動作を実現するために、第二種ユニットの入力和に対する出力閾値（第二の閾値）は、前記第一の閾値よりも低く設定される。
【００１２】
そして、本発明においては、出力パターンをなす各出力信号と対応する教示信号との照合結果に応じて、各第二種ユニットに対する第一種ユニットの結合の組合せを変更することにより、出力信号と教示信号との一致状態を高めるようにした。これにより、中間層と出力層との間の結合数を少なく留めつつニューラルネットワークの最適化処理が可能となる。さらに、結合の組合せ変更を繰り返し行なう形で、出力信号と教示信号との一致状態を最適化するので、最適化演算の自由度が大きく、最急降下法による結合重み調整を採用する従来のバックプロパゲーション法のように、局所的最適解にはまり込む確率も大幅に減ずることができる。
【００１３】
なお、第二種ユニットに対する第一種ユニットの結合の組合せ変更（組替え）が可能となるには、具体的な操作として、次の２つの処理ができることが必須である。
(1)特定の第一種ユニットと特定の第二種ユニットとの間に新たな結合を形成する。
(2)特定の第一種ユニットと特定の第二種ユニットとの間にすでに形成されている結合を解除する。
【００１４】
また、必要に応じて、
(3)特定の第一種ユニットを削除する。
(4)必要に応じて第一種ユニットを新たに追加する。
の２つの操作を追加することもできる。なお、特定の第一種ユニットとある第二種ユニットとの間にすでに形成されている結合を、別の第二種ユニットとの結合に切り替えたり、ある第一種ユニットと特定の第二種ユニットとの間に既に形成されている結合を、別の第一種ユニットとの結合に切り替える操作を想定することもできるが、これらは、いずれも(1)と(2)とを組み合わせて行なうことで実現可能である。
【００１５】
なお、本発明は、コンピュータを上記本発明のパターン教示システムの各手段として機能させるコンピュータプログラムも提供する。本発明のパターン教示システムはハードウェアロジックとして構成することも可能であるが、上記本発明のコンピュータプログラムを用いて、ソフトウェア的にエミュレーションすることにより、パターン教示のために、多数の第一種ユニットと第二種ユニットとの結合最適化を行なう処理を、より簡便に行なうことができる。この場合、本発明のパターン識別装置は、上記本発明のコンピュータプログラムの実行により、コンピュータ上にて実現される本発明のパターン教示システムを用いて前記学習処理を反復して行なうことにより、コンピュータ上でのソフトウェア的エミュレーションの形で実現することができる。
【００１６】
次に、出力側結合調整手段は、具体的には、第二種ユニットの出力信号と教示信号との一致状態が予め定められたレベルに到達すれば、複数の第一種ユニットと複数の第二種ユニットとの間に未結合の組合せが残されていても、これを残す形で学習処理の反復を打ち切るものとすることができる。つまり、中間層と出力層との間の第一種ユニットと第二種ユニットとの間の結合を、全ての組合せが網羅されるように設定するのではなく、出力信号と教示信号との一致状態が最適化された時点で、中間層をなす第一種ユニットと出力層をなす第二種ユニットとの間に新たな組合せの結合を作ることなく、学習処理を終了させる。これにより、ユニット間の結合数を必要十分な数に留めつつ、十分な精度のパターン教示が可能となり、ひいては学習の結果物として得られるパターン識別装置の設計効率を大幅に高めることができる。また、識別すべきパターンの種類が増えた場合にも、ユニット間の結合数が過度に増えることがないので、同じ規模の装置でもより識別能力の高いシステムを実現できる。
【００１７】
また、出力側結合調整手段は、複数の中間信号に重み付与することなく、複数の第一種ユニットとの結合の組合せのみを変更するものとして構成することができる。この構成によると、中間層と出力層との結合に重みが関与しないため、最急降下法により結合重み調整する従来のバックプロパゲーション法と比較して、ニューラルネットワーク最適化の演算負担を劇的に減ずることができる。
【００１８】
第一種ユニット及び第二種ユニットは、いずれもアクティブ出力と非アクティブ出力とのいずれかを二値出力するものであり、また、被識別パターンと教示パターンとは、アクティブ状態と非アクティブ状態とのいずれかに設定される二値信号の集合よりなる。各ユニットの出力を二値化（すなわちデジタル化）することにより、ネットワーク最適化の演算処理を一層簡略化することができる。この場合、第二種ユニットへの入力は（結合される第一種ユニットの出力がデジタル化されることで）、必然的に二値となる。前述のように、この入力に重みを付与しない場合は、その単純合計値が第二の閾値以上となっているか否かにより、第二種ユニットの出力が簡便に決定される。
【００１９】
次に、本発明のパターン教示システムには、第一種ユニットの出力状態と、該第一種ユニットの結合先となる第二種ユニットへの教示信号の内容とに基づいて、第二種ユニットの出力信号と、これに対応する教示信号との一致状態を反映した学習判定情報を、複数の第一種ユニット毎に作成する学習判定情報作成手段を設けることができる。この場合、前記の出力側結合調整手段は、学習判定情報の内容に基づいて、対応する第二種ユニットの出力信号と教示信号との一致状態が改善されるように、第二種ユニットと第一種ユニットとの結合の組合せ設定を調整するものとすることができる。
【００２０】
第二種ユニットの出力信号と教示信号とを照合する方法は、教示パターンと出力パターンとの直接比較を行なうので、照合結果を単に把握するだけであれば有効であるが、照合結果の要因特定まで行なうことは困難である。つまり、出力信号と教示信号との不一致が判明しても、その不一致に関与しているのが、どの第一種ユニットからの出力であるかを特定することが原理的に不可能である。その結果、出力信号と教示信号とを一致方向に改善するための具体的対応として、対応する第二種ユニットへの第一種ユニットの結合の組合せを試行錯誤的に変化させる非能率な方法を採用せざるを得なくなる。そこで、上記のように、第二種ユニットの出力信号と教示信号との一致状態を反映した学習判定情報を、複数の第一種ユニット毎に作成すれば、第一種ユニットの出力段階で、出力信号と教示信号との一致／不一致への関与が特定でき、関与の深い第一種ユニットをいわば狙い撃ちする形で第二種ユニットへの結合状態を調整することができる。その結果、出力信号と教示信号との一致状態の改善をより効率的かつ確実に行なうことができる。特に、第二種ユニットを、それら入力の少なくとも一つのものがアクティブのとき出力がアクティブとなるものとして構成しておくと、第一種ユニットの出力が、そのまま第二種ユニットの出力にも反映されるので、学習判定情報の内容の信頼性を高めることができる。
【００２１】
特に、第一種ユニット及び第二種ユニットの出力が二値化されており、被識別パターンと教示パターンとが二値信号の集合よりなる場合、学習判定情報作成手段は、第一種ユニットと教示信号との各出力のアクティブ／非アクティブの組合せに基づいて、学習判定情報を作成することができる。つまり、第一種ユニットと教示信号との各出力よりなる高々２ビットの学習判定情報により、出力信号と教示信号との一致状態を正確に把握することができ、情報作成処理もビットの組合せを識別するだけでよいから極めて容易である。
【００２２】
次に、本発明のパターン教示システムには、パターン入力部からの複数の入力信号を、中間層の最前段側に位置する複数の第一種ユニットに任意の組合せにて分配結合設定する入力側結合設定手段と、出力パターンと教示パターンとの一致状態が改善されるように、各第一種ユニットに対する入力信号の結合の組合せを変更する入力側結合調整手段を設けることができる。第一種ユニットに対する入力信号の結合の重み及び／又は組合せを変更可能とすることで、より自由度の高いニューラルネットワークの最適化が可能となる。また、入力側結合調整手段は、第二種ユニットの出力信号と教示信号との一致状態が予め定められたレベルに到達すれば、複数の入力信号と複数の第一種ユニットとの間に未結合の組合せが残されていても、これを残す形で学習処理の反復を打ち切るものとして構成できる。これにより、入力信号と第一種ユニットとの結合数を必要十分な数に留めつつ、十分な精度のパターン教示が可能となり、ひいては学習の結果物として得られるパターン識別装置の設計効率を大幅に高めることができる。また、識別すべきパターンの種類が増えた場合にも、ユニット間の結合数が過度に増えることがないので、同じ規模の装置でもより識別能力の高いシステムを実現できる。
【００２３】
また、本発明のパターン教示システムにおいて第一種ユニットは、入力信号が重み付与された形で並列入力結合可能とされたものとして構成できる。この場合、第一の閾値は、該入力信号の重み入力和に対して設定される。そして、該システムの構成においては、第一種ユニットに結合される入力信号の重み値を設定する重み設定手段と、学習判定情報の内容に基づいて、対応する第二種ユニットの出力信号と教示信号との一致状態が改善されるように、第二種ユニットに結合されている第一種ユニットへの入力信号の重み値を調整する重み調整手段とを設けるようにする。入力信号の重み付き和を考慮することで、パターン識別の学習効果を一層高めることができ、ひいては、多種の被識別パターンをより正確に分離・識別することができる。
【００２４】
上記構成では、入力信号の重み付き和を用いる点に関しては、従来のニューラルネットワークと同様の構成であるといえるが、本発明においては、出力パターンと教示パターンとの一致度を高める具体的手法として、前記した通り、中間層をなす第一種ユニットと、出力層の第二種ユニットとの結合の組合せを最適化する手法を用いる。この結合最適化の過程で、必要のない第一種ユニットと第二種ユニットとの結合は順次消滅・淘汰されてゆく。そして、学習判定情報を参照することにより、出力信号と教示信号との一致に対し肯定的に結合関与している第一種ユニットを見出し、該第一種ユニットへの入力の重みのみを機械的に増加させてゆけば、種々の出力パターンと教示パターンとの一致精度を自然に高めることができる。従って、従来型のバックプロパゲーション法における最急降下法のような、複雑な数学的アルゴリズムを伴う重み付き和最適化手法は全く不要となる。
【００２５】
また、バックプロパゲーション法で用いる最急降下法では、入力側の重み分布を乱数により偏りなく設定する必要があり、例えば重み分布設定が適切でないと、出力パターンと教示パターンとの一致精度が損なわれる場合があり、局所的最適開に陥りやすい問題もある。しかし、本発明のパターン教示システムにおいては、上記のように入力信号の重みの最適化が、ユニット間の結合最適化にいわば従属する形で進んでゆくので、ユニット間の最適結合形態が決まっていれば、最適の重み分布が、重み初期値の設定に影響されにくい利点がある。最も簡単な手法としては、被識別パターンをなす複数の入力信号のうち、第一種ユニットに最初に結合するものの重み値を同一の初期値に設定する方法を例示できる。そして、このような簡単な重み初期値設定を行なっても、出力パターンと教示パターンとの一致精度を問題なく高めることができる。
【００２６】
入力信号に重み付与した形で並列入力する上記のパターン教示システムの構成（以下、重み付きパターン教示システムという）では、学習処理が終了した段階で各第一種ユニットの入力に、その過程で最適された重み値が随伴したものとなる。これを用いると、学習の結果として得られるパターン識別装置の構成を、以下のようにしてデジタル論理回路に簡単に変換することができる。すなわち、本発明のパターン識別装置のデジタル論理回路設計方法は、パターン教示システムの入力層に２種以上の被識別パターンを順次繰り返して入力し、各被識別パターンの入力毎に、出力層をなす第二種ユニットの出力信号と教示信号との一致状態が改善されるように、出力側結合調整手段により、第二種ユニットと中間信号を出力する第一種ユニットとの結合の組合せ変更し、さらに、学習判定情報の内容に基づいて、対応する第二種ユニットの出力信号と教示信号との一致状態が改善されるように、第二種ユニットに結合されている第一種ユニットへの入力信号の重み値を調整する学習処理を反復して行なう工程と、
入力信号を重み値に応じて取捨選択しつつ第一種ユニットを、残した入力信号に対応した二値入力端子を有する論理積ゲート回路にて置換し、さらに、該第一種ユニットからの中間出力が結合される第二種ユニットを、該中間出力に対応した二値入力端子を有する論理和ゲート回路にて置換する工程と、を含むことを特徴とする。
【００２７】
上記重み付きパターン教示システムの構成を用いると、最終的に、入力側につながる第一種ユニットへの入力の重みと、出力側につながる第一種ユニットと第二種ユニットとの結合が最適化されたパターン識別装置が得られる。この装置自体は、第一種ユニットが重み入力を伴う非線形素子であるため、論理ＩＣの組合せからなる一般のデジタル論理回路とは概念的に相違する。しかし、ニューラルネットワーク的手法により、パターン識別機能を実現するためのシステムは、最小限のユニット結合にて簡便に設計できる利点がある。本願発明のパターン教示システムを用いて結合を最適化したパターン識別装置では、重みの小さい結合はパターン識別処理への寄与が小さいことを考慮すれば、第一種ユニットは、入力信号を重み値に応じて取捨選択すれば、残した入力信号に対応した入力を二値入力化して扱うことにより、論理積ゲート回路により簡単に置換できる。また、第一種ユニットからの中間出力が結合される第二種ユニットは、該中間出力に対応した入力を二値入力化して扱うことにより、論理和ゲート回路にて簡単に置換できる。
【００２８】
特に後者の場合、第二種ユニットが、それら入力の少なくとも一つのものがアクティブのとき出力がアクティブとなるものとして構成されていれば（つまり、中間出力を二値として重みを付与せず、第一種ユニットとの結合組換えのみを行なう場合に相当）、該第二種ユニットは、論理和ゲート回路と機能的には全く同一であるから、具体的な置換処理を行なわず、そのままデジタル論理回路の論理和ゲート回路として流用できるので、一層設計が容易となる。このように、本願発明によると、パターン識別のための結合の最適化自体は、ニューラルネットワーク型のモデルを用いて効率的に行なうことができ、最後に論理ＩＣへの置換を行なうという、Ｑ−Ｍ（クワイン−マクラフスキ）法などの周知の論理最小化手法とは全く異なるアプローチにより、パターン識別装置の複雑な論理も非常に簡単かつ効率的に設計することができるようになる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明のパターン教示システムの構成の一例を、等価回路的に描いたものである。対象となる被識別パターンは、画像パターンや音声パターンを例示できるが、特に限定されない。本実施形態では画像パターンの識別を例にとる。該パターン教示システム１は、階層型ニューラルネットワーク構造を有するものであり、大別して入力層３０、中間層４０及び出力層５０よりなる。
【００３０】
中間層４０は、複数の第一種ユニット１０を有する。これら第一種ユニット１０は、複数の信号が各々並列入力結合可能とされ、該信号の入力和に対する第一の閾値を有し、該入力和と第一の閾値との比較結果に基づいて自身の信号出力を変化させる。また、入力層３０は、中間層４０の前段に位置し、被識別パターンをなす複数の入力信号Ｉｉ（ｉ＝１，２,‥ｎ）を、中間層４０の最前段に位置する第一種ユニット１０の列（本実施形態では、第一種ユニット１０が一列のみなので、該列が必然的に中間層４０の最前段に位置するものとなる）に入力するパターン入力部１２を有する。
【００３１】
さらに、出力層５０は、複数の第二種ユニット１１を有する。これら第二種ユニット１１は、中間層４０の最終段に位置する第一種ユニット１０（本実施形態では、第一種ユニット１０が一列のみなので、該列が必然的に中間層４０の最終段側（兼最前段）に位置するものとなる）の出力を中間信号ｍｉ（ｉ＝１，２,‥ｘ）として、それぞれ該中間信号ｍｉが並列入力結合可能とされ、かつ、該中間信号ｍｉの入力和に対する、第一の閾値よりも低い第二の閾値を有する。そして、該入力和と第二の閾値との比較結果に基づいて出力信号を変化させる。
【００３２】
次に、パターン教示システム１は教示信号設定手段２４を有する。該教示信号設定手段２４は、上記複数の第二種ユニット１１の出力信号Ｏｉ（ｉ＝１，２,‥ｎ）の集合を出力パターンとして、該出力パターンを構成する出力信号に一義的に対応した教示信号ＴＯｉ（ｉ＝１，２,‥ｎ）よりなる教示パターンを設定するものである。
【００３３】
また、パターン教示システム１は、出力側結合設定手段１４と、出力側結合調整手段２１とを有する。出力側結合設定手段１４は、複数の中間信号Ｏｉを、複数の第二種ユニット１１に対し、任意の組合せにて入力結合設定するものである。また、出力側結合調整手段２１は、出力パターンをなす各出力信号Ｏｉと、対応する教示信号Ｔｉとの一致状態を照合し、その照合結果に基づいて、出力パターンと教示パターンとの一致状態（後述する「正解率」）が改善されるように、出力側結合設定手段１４に対し、各第二種ユニット１１に対する第一種ユニット１０の結合の組合せ変更を指令する制御部として機能する。
【００３４】
入力層３０には、２種以上の被識別パターンが順次繰り返して入力される。その入力に対する学習処理は、以下のようにして各被識別パターンの入力毎に反復して行なわれる。すなわち、ある被識別パターンが入力されると、出力側結合調整手段２１は、出力層５０をなす第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの一致状態が改善されるよう、第二種ユニット１１と中間信号ｍｉを出力する第一種ユニット１０との結合の組合せを変更する（つまり、結合を組替える）。
【００３５】
具体的には、出力側結合調整手段２１は、第二種ユニット１１の出力信号Ｏｉが非アクティブであり、対応する教示信号Ｔｉがアクティブである場合、当該第二種ユニット１１に対し第一種ユニット１０との新規な結合を形成する。つまり、教示信号Ｔｉの内容からアクティブとなるべき出力信号Ｏｉが非アクティブとなっているということは、現在結合されている第一種ユニット１０からの中間出力ｍｉの中にアクティブとなっているものが全く含まれていないことを意味する。従って、別のアクティブとなっている第一種ユニット１０との結合を新たに形成することで、現在、非アクティブとなっている出力信号Ｏｉがアクティブとなる確率を上昇させることができる。以下、第一種ユニット１０及び第二種ユニット１１の出力がアクティブとなることを「発火する」ともいう。
【００３６】
なお、出力側結合調整手段２１は、第二種ユニット１１に対し第一種ユニット１０との新規な結合を形成するに際し、図１９に示すように、出力がアクティブとなっている既存の第一種ユニット１０がある場合は該既存の第一種ユニット１０との結合を形成すれば、その第二種ユニット１１を直ちに発火状態に移行させることができる。他方、出力がアクティブとなっている既存の第一種ユニット１０がない場合は、新たな第一種ユニット１０を作成して当該作成した第一種ユニット１０との結合を形成することができる。新しい第一種ユニット１０を追加使用する形で、その第一種ユニット１０との結合を作り、さらにその新しい第一種ユニット１０と入力信号１２のアクティブなものと結合を作れば、結合先の第二種ユニット１１の発火確率を当然に高めることができる。なお、既存の第一種ユニット１０は学習初期では閾値が低く発火しやすくなっているため、新しい第一種ユニット１０が作られることは最低限に抑えられ、システムの肥大化が効果的に阻止される。また使用された第一種ユニット１０の数を監視することにより、教示パターンに対し第一種ユニット１０の数が不足した場合に対応できる。
【００３７】
例えば、文字パターンの識別を例にとると、図２２（ａ）に示すように、互いに異なる文字のパターンを次々に入力し、各文字のパターンを分離識別するための学習処理を行なう。教示パターンは、被識別パターンに対する正しい認識結果を与えるべき標準のパターンであり、例えば文字パターンであれば、被識別パターンが「何の文字として認識されるべきか」を正しく示す標準文字パターンが教示パターンとして選ばれる。具体的には、図２２（ａ）及び（ｂ）に示すように、寸法や線の太さが違ったり、ぼやけていたり、さらには（ｃ）に示すように一部が欠けていたりするなど、同じ種別の文字パターンであっても、被識別パターンの画像情報は一定の範囲でばらつく。しかし、これらの被識別パターンみな同じ文字として識別される必要があるから、教示パターンは（ｄ）に示すような共通の標準文字パターンが使用される。換言すれば、同一文字を表すいろいろな被識別パターンを、同じ教示パターンを用いて学習させることで、被識別パターンに多少の状態の相違が生じていても、同じ文字パターンとして正しく識別することができるようになる。なお、図２２に示すように、特定の種別のパターンの識別精度を高めるには、該特定の種別のパターンを、異なる種別のパターンを挟みながら繰り返し与える形で学習反復することが効果的である。
【００３８】
入力層４０をなす第一種ユニット１０は、周知のニューロン型素子に近い複数入力／１出力型の素子として機能し、その入力和に対する出力閾値（第一の閾値）が比較的高い値に設定される。他方、出力層５０をなす第二種ユニット１１は、出力閾値（第二の閾値）が前記第一の閾値よりも低く設定され、具体的には、結合される複数の中間出力の論理和を演算して出力する機能を有する。本実施形態において、第一種ユニット１０及び第二種ユニット１１は、いずれもアクティブ出力と非アクティブ出力とのいずれかを二値出力するものであり、また、被識別パターンと教示パターンとは、アクティブ状態と非アクティブ状態とのいずれかに設定される二値信号の集合にて形成される。
【００３９】
例えば図２２に示すような複数の文字パターン（被識別パターン）を教示したい場合は、第一種ユニット１０への信号の入力パターン、ひいては第一種ユニット１０を経由した信号の伝播パターンは文字の種別（カテゴリ）によって変化する。第二種ユニット１１の出力は、そのいずれの種別（カテゴリ）の文字（被識別パターン）に由来した信号伝播パターンが到来しても、それぞれ違う文字として正しく識別された結果がその出力に反映される必要がある。ある第二種ユニット１１に結合している例えば２つの中間信号のうち第一のものが、文字「Ａ」のパターンが与えられているときにアクティブレベルとなり、第二のものが文字「Ｂ」のパターンが与えられているときにアクティブレベルになったとすると、「Ａ」「Ｂ」量文字を正しく分離識別できるためには、その第二種ユニット１１は、両結合のどちらがアクティブレベルになった場合も、出力がアクティブとなるように動作しなければならない。これが、第二種ユニット１１を、論理和演算機能を有するものとして構成する理由である。
【００４０】
本実施形態において、第二種ユニット１１に対する第一種ユニット１０の結合の組合せ変更（組替え）を行なうための、具体的な操作は以下の４種類である。
(1)特定の第一種ユニット１０と特定の第二種ユニット１１との間に新たな結合を形成する。
(2)特定の第一種ユニット１０と特定の第二種ユニット１１との間にすでに形成されている結合を解除する。
(3)特定の第一種ユニット１０を削除する。（すべての結合を解除し不使用とする）
(4)第一種ユニット１０を新たに作成する。（現在不使用のユニットに結合を作る）
【００４１】
出力側結合調整手段２１は、第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの一致状態が予め定められたレベルに到達したとき、具体的には、反復学習したときの出力信号Ｏｉと教示信号Ｔｉとの一致確率（本実施形態では、「正解率」と称する）が一定以上に高くなったとき、個々の出力信号Ｏｉと教示信号Ｔｉとの一致状態が最適化されたと判断し、第一種ユニット１０と第二種ユニット１１との間に、出力側結合設定手段１４において仮に未結合の組合せが残っていても、新たな組合せの結合を作ることなく学習処理の反復を打ち切る。なお、本実施形態において出力側結合調整手段２１は、複数の中間信号ｍｉに重み付与することなく、中間信号ｍｉと各第一種ユニット１１との結合の組合せのみを変更するものとして構成されている。
【００４２】
次に、パターン教示システム１には学習判定情報作成手段２２が設けられている。学習判定情報作成手段２２は、第一種ユニット１０の出力状態、つまり中間信号ｍｉの内容と、該第一種ユニット１０の結合先となる第二種ユニット１１への教示信号Ｔｉの内容とに基づいて、第二種ユニット１１の出力信号Ｏｉと、これに対応する教示信号Ｔｉとの一致状態を反映した学習判定情報を、複数の第一種ユニット１０毎に作成するものである。出力側結合調整手段２１は、該学習判定情報の内容に基づいて、対応する第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの、反復学習時の正解率（一致状態）が改善されるように、第二種ユニット１１と第一種ユニット１０との結合の組合せ設定を調整する。
【００４３】
本実施形態では、第二種ユニット１１が論理和演算型のものであるから、第一種ユニット１０からの二値の中間出力ｍｉが、そのまま第二種ユニット１１の出力にも反映される。学習判定情報作成手段２２は、第一種ユニット１０の中間出力ｍｉと教示信号Ｔｉとのアクティブ／非アクティブの組合せに基づく２ビットの枠内にて、学習判定情報を作成する。
【００４４】
具体的には、学習判定情報作成手段２２は学習判定情報を、次の３状態が識別可能なものとして作成する。
・判定一致状態：第一種ユニット１０の出力がアクティブであり、かつ、該第一種ユニット１０が結合する第二種ユニット１１の少なくとも１つのものの出力に対応する教示信号Ｔｉがアクティブとなっている状態（本明細書では「１」を対応させる）。第一種ユニット１０が発火していていれば、これにつながる第二種ユニット１１は（論理和演算型なので）必ず発火する。従って、そのつながっているどれかの発火した第二種ユニット１１に対し、教示信号Ｔｉがアクティブの形で与えられていれば（以下、このような状態を「出力／教示アクティブ一致状態」といい、該状態にある第二種ユニット１１を「正解ユニット」という）、つまるところ、該正解ユニットにつながる第一種ユニット１０は、発火している状態が、正しい識別状態を反映した結合設定状態であるといえる。他方、教示信号Ｔｉが非アクティブの形で与えられている第二種ユニット１１（以下、このような状態を「出力／教示アクティブ不一致状態」といい、該状態にある第二種ユニット１１を「不正解ユニット」という）は、発火して判定一致状態の第一種ユニット１０がこれに結合している場合、正しい識別状態を反映した結合設定状態であるといえないので、後述のように、その第一種ユニット１０と第二種ユニット１１との結合を切断する等の処置が必要となる。
【００４５】
判定不一致状態：第一種ユニット１０の出力がアクティブであり、かつ、該第一種ユニット１０に結合する第二種ユニット１１のすべてのものの出力に対応する教示信号Ｔｉが非アクティブとなっている状態（本明細書では「−１」を対応させる）。判定一致状態の逆であり、つながっている第二種ユニット１１の全てについて、教示信号Ｔｉが非アクティブの形で与えられていると、その第一種ユニット１０の発火状態は、誤った識別状態を反映した状態であるといえる。
中立状態：第一種ユニット１０の出力が非アクティブであることを示す（本明細書では「０」を対応させる）。第二種ユニット１１が論理和型なので、非アクティブの第一種ユニット１０は、第二種ユニット１１に結合されていてもいなくても、その出力には何ら影響を及ぼさない。
【００４６】
本実施形態では、上記のような学習判定情報の内容を参照して、出力側結合調整手段２１は、次のような具体的な結合処理を行なう。すなわち、図１８に示すように、第二種ユニット１１の出力がアクティブであり、対応する教示信号Ｔｉが非アクティブであり、かつ、学習判定情報が判定一致状態（Ｆ＝１）を示す第一種ユニット１０が第二種ユニット１１に接続されている場合は、それら第一種ユニット１０と第二種ユニット１１との結合を解除（カット）する。他方、図１９に示すように、第二種ユニット１１の出力が非アクティブであり、対応する教示信号Ｔｉがアクティブとなっている状態では、その第二種ユニット１１に結合する第一種ユニット１０にはアクティブなものが存在しない状態なので、該第二種ユニット１１と現在結合を有さない、学習判定情報が判定一致状態（Ｆ＝１）を示す第一種ユニット１０があれば該第二種ユニット１１との結合を新規に作る。さらに上記第一種ユニット１０が存在しない場合は、入力信号Ｉｉに正しく反応する第一種ユニット１０が不足している状態なので、現在全く結合を有さない新たな第一種ユニット１０との結合を作り、後述のようにさらにその第一種ユニット１０とパターン入力部１２の入力信号Ｉｉの現在アクティブなものとの結合を作る。（すなわち第一種ユニット１０を新たに作成する）
【００４７】
図１に戻り、パターン教示システム１には、パターン入力部１２からの複数の入力信号Ｉｉを、中間層４０の最前段側に位置する複数の第一種ユニット１０（前述の通り、本実施形態では、第一種ユニット１０が一列のみなので、該列が必然的に中間層４０の最前段側に位置するものとなる）に任意の組合せにて分配結合設定する入力側結合設定手段１３と、出力パターンと教示パターンとの一致状態が改善されるように、各第一種ユニット１０に対する入力信号Ｉｉの結合の組合せを変更する入力側結合調整手段２３とが設けられている。本実施形態においては、入力側結合調整手段２３も、第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの正解率（一致状態）が予め定められたレベルに到達すれば、複数の入力信号Ｉｉと複数の第一種ユニット１０との間に未結合の組合せが残されていても、これを残す形で（入力側結合設定に係る）学習処理の反復を打ち切る。
【００４８】
また、入力側結合調整手段２３は、初期状態の第一種ユニット作成時（つまり、その第一種ユニットの学習処理の開始時）にて、被識別パターンの入力信号Ｉｉのうちアクティブ状態となっているもの（つまり、肯定入力）のみを選択する形で各第一種ユニット１０に分配入力する。本発明者の見出した経験側によると、学習処理の反復過程において、被識別パターンを入力したときに得られる出力パターンを教示パターンと一致状態に導く上で主に寄与するのは、被識別パターンの入力信号Ｉｉの必ずしも全てではなく、肯定入力となっているものの寄与が極めて大きいことが判明している。図１６に示すように、入力信号Ｉｉの肯定と否定（（図面では、上線のバーを付与して否定を表しているが、明細書ではＩｉ（−）と表す）の全てについて第一種ユニット１０との結合を設定して学習処理を行なうことも可能であるが、図１７に示すように、学習処理の開始時に、その（アクティブとなっている）肯定入力のみを選び出して第一種ユニット１０との間に結合形成することにより、非アクティブ状態（否定入力）となっているものが除外される分だけ結合数が減じられ、学習処理に必要な演算を大幅に簡略化することができる。
【００４９】
この場合、否定入力を以下のように活用すれば、入力信号Ｉｉと第一種ユニット１０との結合設定数を過度に増大させることなく、出力パターンと教示パターンとの一致度（正解率）をさらに向上させることができる。すなわち、出力側結合調整手段２１により第二種ユニット１１と第一種ユニット１０との結合の組合せ設定を調整する処理を主学習処理としたとき、該主学習処理を単に反復して行なうことにより、第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの一致状態が、予め定められた条件を充足するように改善された場合は、否定入力との結合導入は行なわず、肯定入力との結合の範囲内だけで、学習処理が十分なされたと判断し、処理を打ち切る。
【００５０】
しかし、主学習処理の反復の後、出力信号Ｏｉと教示信号Ｔｉとの一致状態が、上記条件を充足する程度には改善されなかった場合には、図１６に示すように、第一種ユニット作成時の入力信号Ｉｉのうちアクティブ状態となっているものを肯定アクティブ入力として、該肯定アクティブ入力に、非アクティブ状態となっている入力信号Ｉｉを否定反転してアクティブとした否定アクティブ入力を加えた形にて各第一種ユニット１０に分配入力する。出力側結合調整手段２１は、上記否定アクティブ入力（との結合）が加わった後、さらに、第二種ユニット１１と第一種ユニット１０との結合の組合せ設定を調整する補助学習処理を行なう。すなわち、出力信号Ｏｉと教示信号Ｔｉとの一致状態に応じて、否定アクティブ入力と第一種ユニット１０との結合を行なうかどうかを決定するので、不必要な否定アクティブ入力の結合形成が回避され、学習処理の簡略化を図ることができる。
【００５１】
なお、否定アクティブ入力との結合を導入する際には、全ての第一種ユニット１０に対し一度に設定するようにしてもよいが、教示信号Ｔｉに対し出力信号Ｏｉが不一致（あるいは正解率が所定値以下となっているもの）となっている第二種ユニット１１を探し出し、その第二種ユニット１１に結合されている第一種ユニット１０にのみ否定アクティブ入力を結合するようにしてもよい。後者の場合、否定アクティブ入力との結合数が一挙に増えることによる学習処理演算の過度の増大を回避することができる。
【００５２】
否定アクティブ入力を設定するためには、入力信号Ｉｉに一対一に設けられたパターン入力部１２を、例えば否定アクティブ入力の結合を採用するか否かを指令する結合採用フラグ信号Ｑｉを、入力側結合設定手段１３から受けることにより、Ｉｉを否定入力変換するものとして構成しておけばよい。等価回路的には、図２のようなものを想定することができる。すなわち、入力信号Ｉｉを、スリーステートバッファ１６を介して入力される結合信号値σｉとし、各第一種ユニット１０に分岐入力する。スリーステートバッファ１６をバイパスし設けられたインバータ１８の出力をスリーステートバッファ１６のインヒビット入力Ｐとすれば、入力信号Ｉｉが非アクティブのときインヒビット入力Ｐがアクティブとなり、ローインピーダンス状態となったスリーステートバッファ１６の出力に、Ｉｉのアクティブ入力がそのまま表れる。他方、Ｉｉが非アクティブであればインヒビット入力Ｐは反転によりアクティブとなり、スリーステートバッファ１６の出力はハイインピーダンス状態となって第一種ユニット１０との入力結合が切断される。他方、非アクティブの入力信号Ｉｉ自体はインバータ１８によりアクティブとなり、論理積ゲート１７に入力される。そして、これと否定アクティブ入力設定指令信号Ｑｉとの論理積がアクティブとなっているとき、論理積ゲート１７の出力がアクティブとなり、結合信号値σｉには入力信号Ｉｉに基づく否定アクティブ入力が表れることとなる。
【００５３】
図１に戻り、第一種ユニット１０は、入力信号Ｉｉが重み付与された形で並列入力結合可能とされたものである。該第一種ユニット１０の出力閾値である第一の閾値は、該入力信号Ｉｉの重み入力和に対して設定される。また、各第一種ユニット１０に結合される入力信号Ｉｉの重み値を設定する重み設定手段（入力側結合設定手段１３内に組み込まれている）と、前記した（第一種ユニット１０毎の）学習判定情報の内容に基づいて、対応する第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの一致状態が改善されるように、該第二種ユニット１１に結合されている第一種ユニット１０への入力信号Ｉｉの重み値を調整する重み調整手段２６（入力側結合調整手段２３内に組み込まれている）とが設けられている。
【００５４】
本実施形態のパターン教示システム１においては、出力パターンと教示パターンとの一致度を高める具体的手法として、中間層をなす第一種ユニットと、出力層の第二種ユニットとの結合の組合せを最適化する手法を用いる。この結合最適化の過程で、必要のない第一種ユニット１０と第二種ユニット１１との結合は順次消滅・淘汰されてゆく。また、各第一種ユニット１０に対する学習判定情報を参照すれば、出力信号Ｏｉと教示信号Ｔｉとの一致に対し肯定的に寄与している第一種ユニット１０を見出すことができる。重み調整手段２６は、見出された該第一種ユニット１０への入力Ｉｉの重みのみを増減させるように調整を行なう（この場合、重みの値がゼロ又はこれに近い値に設定される入力信号Ｉｉは、結合が形成されていないことと実質的に同じである）。本実施形態では、被識別パターンをなす複数の入力信号Ｉｉのうち、各第一種ユニット１０にユニット作成時最初に結合するものの重み値を同一の初期値に設定する。
【００５５】
重み調整手段２６は、学習判定情報が前述の判定一致状態となっている第一種ユニット１０に対しては入力信号Ｉｉのうち、現在アクティブなものとの重みを増加させ、判定不一致状態となっている第一種ユニット１０に対しては入力信号Ｉｉのうち、現在アクティブなものとの重みを減少させる処理を行なう。つまり、図１８に示すように、判定一致状態となっている第一種ユニット１０は、教示信号Ｔｉがアクティブの形で与えられている第二種ユニット１１に発火状態にて結合することが正しい設定状態であるから、結合設定されている入力信号Ｉｉのうち現在アクティブなものとの重みを増加させることにより、該第一種ユニット１０の発火状態が支援され、出力パターンと教示パターンとの一致度を高めることができる。
【００５６】
他方、重み調整手段２６は、学習判定情報が中立状態となっている第一種ユニット１０に対しては入力信号Ｉｉの重み増減処理を行なわないものとして構成できる。学習判定情報が中立状態となっている第一種ユニット１０は非発火であるから、いかなる第二種ユニット１１に対しても、結合形成を行なう／行なわないにかかわらず、該第二種ユニット１１の出力状態には影響を及ぼさない。このような中立状態の第一種ユニット１０は、以降の学習処理の繰り返しにおいて、当該第一種ユニット１０に対する学習判定情報が判定一致状態又は判定不一致状態のいずれに移行するかが予測できない限り、入力信号Ｉｉの重み増減処理を無理に行なうと、出力パターンと教示パターンとの一致度向上に返って悪影響を及ぼす可能性がある。従って、中立状態の第一種ユニット１０に対する入力信号Ｉｉとの結合状態、すなわち重みの値は、特に変更せず保留することが望ましいといえる。
【００５７】
例えば、カテゴリの異なる２つのパターン（図では「Ａ」と「Ｂ」の２つの文字パターンの場合を例にとっている）を識別しようとした場合、図２３に示すように、各第一種ユニット１０への入力の重みは、第一のパターン（例えば「Ａ」）を識別するのにアクティブとならなければならない入力の組（（ａ）：入力１，４，７の重みＷ１，Ｗ４，Ｗ７が大きくなっている）と、第二のパターン（例えば「Ａ」）を識別するのにアクティブとならなければならない入力の組（（ｂ）：入力２，５の重みＷ２，Ｗ５が大きくなっている）とが互いに相違するものとなる。学習処理を繰り返すと（例えば図２２（ｂ））、カテゴリ毎に相違する固有の入力の組が独立して重み加算され、両パターンが識別可能となるような入力の重み設定状態が自然に形成される。２つのパターンの類似度が小さければ、重みが一定以上に大きくなる入力のうち、パターン間で互いに共通するものの数が減り、パターンの識別精度は必然的高くなる。他方、類似度が極めて大きい場合は、重みの大きくなる共通入力の数が増大し、パターンの識別精度は低くなる。
【００５８】
また、図２１に示すように、同じカテゴリのパターンであっても、被識別パターンの内容に一定の幅をもたせた曖昧な識別を可能としたい場合は、同一カテゴリなら必ずアクティブとなる入力と、被識別パターンの内容によってアクティブになったりならなかったりする入力とが統計的に分布した形で生ずる。これらの入力の荷重和に対する第一種ユニット１０の出力の閾値（第一の閾値）の調整により、曖昧な識別の許容範囲を規定することができる。
【００５９】
以上、図１の等価回路によるパターン教示システム１の構成と動作の概要とを説明したが、該等価回路と同じ機能を持ったパターン教示システム１は、図３に示すように、コンピュータでのエミュレーションによって実現することもできる。このコンピュータは、ＣＰＵ２とそのワークエリアとなるＲＡＭ３（ＣＰＵ２の動作システム等を格納したＲＯＭ４を設けてもよい）、エミュレーションプログラムを格納した記憶装置５、及び入出力インターフェース６をバス７により結合したもので、被処理パターンを構成する入力信号Ｉｉ、教示パターンをなす教示信号Ｔｉが入出力インターフェース６より入力され、図１の等価回路に従う上記パターン教示システム１の学習処理がエミュレーションプログラムの実行によりＣＰＵ２上にて行なわれ、パターン識別結果である出力パターンの出力信号Ｏｉが入出力インターフェース６より出力される。なお、該エミュレーション処理は、図４に示すように、ネットワーク接続された複数台のコンピュータ群１０１，１０２によって協働的に行なってもよい。図４のシステムでは、中間層４０をなす複数の第一種ユニット（入力層３０を含む）を分担して機能実現する、相互に通信可能な入力層／中間層用コンピュータ群１０１と、出力層５０をなす複数の第二種ユニットを分担して機能実現する、出力層用コンピュータ群１０２とがネットワークＮＷにより互いに接続され、全体として１個のパターン教示システム１を実現するためのコンピュータネットワークシステムが構築されている。
【００６０】
図９に示すように、入力信号値Ｉｉは数ｎが固定とされた一次元変数であり、否定入力の結合採用フラグ信号値Ｑｉと、設定される結合信号値σｉと対応付けられた形で、入力設定メモリに記憶される。本明細書において、入力信号値Ｉｉは、肯定論理においてアクティブを「１」、非アクティブを「０」にて表す。結合信号値σｉは、否定入力の結合採用フラグ信号値Ｑｉが非アクティブ（「０」）ならば肯定結合入力が採用され、入力信号値Ｉｉが「１」となっているものが、そのまま結合信号値σｉの「１」の値として設定される。他方、否定入力の結合採用フラグ信号値Ｑｉがアクティブ（「１」）ならば否定結合入力が採用され、入力信号値Ｉｉが「０」となっているものが否定反転されて、結合信号値σｉの「１」の値として設定される。結合信号値σｉが「１」となる入力信号値Ｉｉは、それぞれ、図１において、全ての第一種ユニット１０（ＭＵ１〜ＭＵｘ：ただし、後述の結合可能テーブル（図１１）に登録されていないものを除く）に分配結合される。第一種ユニット作成時において入力信号値Ｉｉは、入力設定メモリσｉが「１」となっていれば第一種ユニット１０に結合が形成され、σｉが「０」となっていれば第一種ユニット１０と結合が形成されない。
【００６１】
以下、ＲＡＭ３（図３）内に形成される、各種テーブル及びメモリの内容について説明する。出力パターンをなす第二種ユニット１１の出力信号Ｏｉは、総数ｎが固定であり、図１０に示すように、与えられる教示パターンをなす教示信号Ｔｉと対応付けられた形でメモリ５１に記憶される。
【００６２】
図１において、第一種ユニット１０は、前述の通り、学習処理中の要請に応じて随時増設ないし削除されるので、その総数ｘ（＝中間信号ｍｉの総数でもある）は変動する。図１１に示すように、学習処理の途上で、第一種ユニット１０／第二種ユニット１１間にて結合形成が不適切と判断された結合を登録削除したり、第一種ユニット１０の増設により、新たに結合設定可能となった組合せを新規登録したりすることができるように、第一種ユニット１０の列（ＭＵｊ）と第二種ユニット１１の列（ＯＵｉ）との全ての組合せについて、結合可能フラグＢｉｊ（Ｂｉｊ＝１なら結合可能、Ｂｉｊ＝０なら結合不能）が、第一種ユニット結合可能テーブル５２の形で設定される。第一種ユニット１０の番号ＭＵｊはデフォルト設定値ＭＵＤを有し、第二種ユニット１１毎に、対応する結合可能フラグＢｉｘの列は全て初期値が「１」（すなわち、結合可能）に設定される。また、新しい第一種ユニット１０’ＭＵｘ）が増える毎に１づつ増加設定され、これに対応して各第二種ユニット１１の列ＯＵｉに対応した結合可能フラグＢｉｘの列が、初期値「１」を有した形で追加登録される。なお、複数の入力パターンよりなる教示パターンセットの学習を終えたネットワークに対し、新たな教示パターンセットを追加学習させるときも、全て初期値を「１」にリセットする
【００６３】
さらに、図１１の第一種ユニット出力メモリ５３には、各第一種ユニット１０（ＭＵ１，‥，ＭＵｘ）が出力する中間出力ｍｉの値と、各第一種ユニット１０の出力に対する正解率（該第一種ユニット１０が結合される第二種ユニット１１の出力信号Ｏｉと教示信号Ｔｉとの一致度を示す確率的変数である）Ｒｉと、第一種ユニット１０の発火計算における閾値Ｈｉと、学習収束済を示すフラグＧｉが、第一種ユニット１０の番号と対応付けた形で記憶される。
【００６４】
他方、結合設定の登録削除は、第一種ユニット１０（ＭＵｊ）と第二種ユニット１１（ＯＵｉ）の組合せ毎に、Ｂｉｊの値を「０」に設定することで、個別に行なうことができる。また、第一種ユニット１０（ＭＵｊ）が削除されると、その第一種ユニット１０（ＭＵｊ）と全ての第二種ユニット１１との結合が一括して削除される（すなわち、フラグＢ１ｊ，Ｂ２ｊ，‥，Ｂｎｊが一括して「０」に設定される）。第一種ユニット結合可能テーブル５２を参照することで、これに登録されていない結合（つまり、Ｂｉｊが「０」になっている結合）は、学習判定情報の作成など、該結合に関与する学習処理のステップをスキップすることができ、学習処理全体の効率化を図ることができる。
【００６５】
図１２に示すように、入力側結合設定入力信号Ｉｉと第一種ユニット１０（ＭＵｊ）との実際の結合設定状態は、すべての入力信号Ｉｉと第一種ユニット１０（ＭＵｊ）との組合せ毎に、結合設定フラグＣｉｊとして、第一種ユニット入力側結合設定テーブル５３の形で設定記憶される。Ｃｉｊ＝「１」は結合が設定されていることを、Ｃｉｊ＝「０」は結合が設定されていないことをそれぞれ示す。また、図１３に示すように、入力信号Ｉｉと第一種ユニット１０（ＭＵｊ）との個々の結合毎に設定される重み値Ｗｉｊは、重み設定メモリ５４に記憶される。さらに、図１の第一種ユニット１０（ＭＵｊ）と、第二種ユニット１１（出力信号（Ｏｉ））との結合設定状態は、すべての第一種ユニット１０（ＭＵｊ）と第二種ユニット１１（出力信号Ｏｉ）との組合せ毎に、結合設定フラグＫｉｊとして、第一種ユニット出力側結合設定テーブル５５の形で設定記憶される。Ｋｉｊ＝「１」は結合が設定されていることを、Ｋｉｊ＝「０」は結合が設定されていないことをそれぞれ示す。
【００６６】
また、図１５の学習判定メモリ５６には学習判定情報の内容が記憶される。学習判定情報は、前述の通り、個々の第一種ユニット１０の中間信号ｍｉの内容と、該第一種ユニット１０の結合される第二種ユニット１１（の出力信号Ｏｉ）に対応する各教示信号Ｔｉの内容とに基づいて、第一種ユニット１０毎に作成・記憶される。この場合、１つの第一種ユニット１０が複数の第二種ユニット１１に結合されることもありえるので、学習判定情報は、中間信号ｍｉ（第一種ユニット１０）毎に、結合されている全ての第二種ユニット１１への教示信号Ｔｉについて、要素判定情報ｆｉｊとして作成される。その内容は、前述の通り、判定一致状態に対応する「１」、判定不一致状態に対応する「−１」、中立状態に対応する「０」である。結合形成の有無は、第一種ユニット出力側結合設定テーブル５５の内容を参照すれば直ちに把握でき、結合設定されていない組合せについては、要素判定情報ｆｉｊの作成をスキップする。そして、中間信号ｍｉ（第一種ユニット１０）毎に、要素判定情報ｆｉ１，ｆｉ１，‥，ｆｉｎ（結合設定されていない組合せを除く）を用いて、該中間信号ｍｉすなわち第一種ユニット１０を代表した学習判定情報Ｆｉを作成する。本実施形態では、中間信号ｍｉ（第一種ユニット１０）毎の要素判定情報ｆｉ１，ｆｉ１，‥，ｆｉｎの少なくとも一つが「１」（判定一致状態）になっていれば、学習判定情報Ｆｉを「１」（判定一致状態）とし、ｆｉ１，ｆｉ１，‥，ｆｉｎが「１」を含まず、かつ少なくとも一つが「−１」（判定不一致状態）になっていれば、学習判定情報Ｆｉを「−１」（判定不一致状態）とする。また、要素判定情報ｆｉ１，ｆｉ１，‥，ｆｉｎの全てが「０」（中立状態）になっていれば、学習判定情報Ｆｉを「０」（中立状態）とする。
【００６７】
以下、パターン教示システム１の学習処理の更なる詳細を、図４〜図８のフローチャートにより、エミュレーションプログラムの処理の流れに沿って説明する（図１の等価回路に対する補足説明も含むので、符号は該図１のものを援用する）。図４は、主プログラムの流れを示すものである。まず、Ｓ１においては、種々のパラメータの初期化処理を行なう。具体的には、第一種ユニット１０の個々の閾値Ｈを初期化（本実施形態では０．５）、正解率Ｒｉ（初期値：全て０）、被処理パターンをなす入力信号Ｉｉの各第一種ユニット１０との結合の重みＷｉｊ（初期値：すべて０）などが初期化される。初期状態では、全ての結合が非設定の状態とされ、第一種ユニット作成時において入力信号Ｉｉはアクティブとなっているもののみ結合可能とされる。
【００６８】
第一種ユニット１０の個々の閾値Ｈの初期値を０．５前後とする理由は、以下の通りである。説明をわかりやすくするために、１つの教示パターンを与え、その時の肯定入力のアクティブな入力信号Ｉｉのみと結合を作る第一種ユニット１０を作成し、かつ、一つの第二種ユニット１１と結合を作った状態とし、この第一種ユニット１０の結合について考える（他には、第一種ユニット１０が作成されていないものと仮定する）。この時点での結合には、真に必要な入力と余分な入力とが混在している。この第一種ユニット１０の結合の最適化のみであれば、第二種ユニット１１に入力する第一種ユニット１０が一つであるから、単に複数の教示パターンを与え教師信号と入力信号Ｉｉの相関を取れば真に必要な入力のみが分離できることになる。ここで第一種ユニット１０の発火を考慮すると、入力がアクティブとなる数の割合は５０％であるから、閾値を0.5とすることにより、初期では第一種ユニット１０が常時発火となる可能性が高くなる。学習が進むと、真に必要な入力のみでしか発火しなくなり、発火は減少する。
【００６９】
順次教示パターンを与え、一つの第二種ユニット１１に結合された既存の第一種ユニット１０が発火し、教師信号がアクティブな場合は、それら第一種ユニット１０に結合する入力信号Ｉｉの中に真に必要な入力が含まれていて、かつ発火した可能性が高いので、入力信号Ｉｉがアクティブであった結合の重さを増やす処理を行なう。他方、第一種ユニット１０が発火し、教師信号がアクティブでない場合は、必要でない入力信号Ｉｉにより発火した可能性が高いので入力信号Ｉｉがアクティブであった結合の重さを減らす処理を行なう。
【００７０】
次に、第一種ユニット１０の追加作成を考える。順次教示パターンを与え、既存の第一種ユニット１０が発火せず教師信号がアクティブな場合は、その第一種ユニット１０がある程度学習が進んで閾値が高くなっており、入力信号Ｉｉとの結合の中に教師信号が欲する真に必要な入力信号Ｉｉがほとんど含まれていない場合が想定される。従って、新しく第一種ユニット１０を作成し、真に必要な入力が含まれているアクティブな入力信号Ｉｉとの結合を作る。
【００７１】
第一種ユニット１０が一つの場合は教師信号を補正係数として使用すれば十分であるが、複数の場合は、教師信号が欲する真に必要な入力が含まれていない第一種ユニット１０にも正の学習判定信号が返るのは学習の妨げとなる。そこで閾値を徐々に上昇させ、発火した第一種ユニット１０のみが学習されるようにし、真に必要な入力信号Ｉｉとの結合が含まれている第一種ユニット１０にだけ、正の学習判定信号が返るようにすることができる。なお、一つの第一種ユニット１０の発火により正の学習判定信号が返り、他の間違って発火した第一種ユニット１０にも正の学習判定信号が返ることは、直ちには排除できないが、発火して教師信号が１であった第二種ユニット１１に結合する第一種ユニット１０の発火したもののうち、加重和Ｙの最大のもののみに正の学習判定信号を返すことにより効果的に防止できる。
【００７２】
初期の閾値を0.5としておけば、初期の結合により余分な入力信号が含まれていても、第一種ユニット１０が発火しやすくなり、学習が進んで必要な入力信号との結合が高くなるに従い、正の学習判定信号が返る率が上がる。また、それに伴い閾値を上昇させればさらに正解率も上がり必要な入力との結合数が増加する。これにより学習の進んだ段階では、第一種ユニット１０の反応は必要な入力信号のあったときのみに固定され、他のパターンの影響を受けなくできる。また、かなり近い入力信号パターンが与えられた場合も発火しなくなるので、別の第一種ユニット１０の作成を促進できる（つまり、類似のパターンの識別能力が、別ユニット作成により高められるのである）。なお、閾値の上限値は１であり、このとき第一種ユニット１０は論理積ゲートの動作に近いものとなる。
【００７３】
なお、既存第一種ユニット１０が発火せず、教師信号がアクティブな場合でも、既存の第一種ユニット１０に真に必要な入力信号Ｉｉとの結合が含まれている場合を排除できない可能性がある。この場合、同じ第一種ユニット１０が複数作られてしまうことになる。この不具合を解消するには、第一種ユニット１０の初期閾値を0.5より少し低く設定し（例えば０．４０〜０．４９程度）、第一種ユニット１０の発火を促進することが有効である。
【００７４】
図４に戻り、Ｓ２では、複数の第一種ユニット１０の最初のものを選択し（第一種ユニット番号ＮＰｍａｘ＝１）、Ｓ３では、教示反復カウンタＣＴを初期化する（ＣＴ＝１）。Ｓ４では、学習処理に使用する被識別パターンと教示パターンの番号ＮＴを初期化する（ＮＴ＝１）。そして、Ｓ５において、番号ＮＴの被識別パターン（入力信号Ｉｉ）と教示パターン（教示信号Ｔｉ）とをリードする。
【００７５】
次はＳ６に進んで発火処理に移る。図６にその詳細を示す。この処理は、各第一種ユニット１０について行なうことになる。まず、Ｓ２０１では、第一種ユニット１０の番号ＮＰ’を１に設定する。Ｓ２０２では、番号ＮＰ’の第一種ユニット１０に結合しているアクティブとなっている結合入力値σｉ（否定入力を採用していない場合はＩｉの値と一致し、採用している場合はＩｉ（−）と一致する）を全て集める。
【００７６】
Ｓ２０４以下は、結合入力値σｉの荷重和算出処理となる。まず、Ｓ２０４で、結合入力値σｉの番号ｉを１とし、荷重和Σ１と、荷重合計値Σ２をゼロとする初期化を行なう。Ｓ２０６では、Ｗｉ，ＮＰ’を用いて荷重和加算値Ｗｉ，ＮＰ’・σｉを計算して荷重和Σ１に加算する処理を行ない、また、Ｓ２０７では荷重値Ｗｉ，ＮＰ’を荷重合計値Σ２に加算する処理を行なう。この処理を全てのｉ（＝１，２，‥，ｎ）について繰り返し、得られた最終的な荷重和Σ１を、荷重合計値Σ２で除することにより、正規化された荷重和Ｙを求める。このとき荷重値Ｗｉ，ＮＰ’はプラスのものだけを採用し、マイナスのものはゼロとして計算することが望ましい。また結合設定フラグＣｉｊ＝「１」のものだけについて荷重和加算値を加算することにより学習を安定させることもできる。
【００７７】
そして、Ｓ２１２では、正規化された荷重和Ｙを第一の閾値ＨＮＰ’と比較し、Ｙ≧ＨであればＳ２１３に進んで、番号ＮＰ’の第一種ユニットの出力を発火とし、Ｙ＜ＨであればＳ２１４に進んで、番号ＮＰ’の第一種ユニットの出力を非発火とする。以上の処理を、番号ＮＰ’をインクリメントしながら、全ての第一種ユニットについて繰り返し（Ｓ２１５，Ｓ２１６→Ｓ２０２）、重み演算・設定処理を終わる。上記処理の進行に伴い、テーブル５４及びメモリ１５３の内容を随時更新する。また、メモリ１５３の内容とテーブル５５の内容を照合することにより、ＭＵ１〜ＭＵｘのうち、出力信号Ｏｉの第二種ユニット１１と結合している第一種ユニット１０の、少なくとも一つが発火していれば、当該第二種ユニット１１の出力信号Ｏｉがアクティブ（「１」）とされる（すなわち、発火する）。
【００７８】
図４に戻り、次にＳ７に進んで、学習判定情報の更新処理に移る。これも、各第一種ユニットについて求める処理となる。まず、Ｓ３０１では、第一種ユニット１０の番号ＮＰ’を１に設定する。Ｓ３０２では、番号ＮＰ’の第一種ユニット１０が発火しているかどうかを判定する。発火していればＳ３０３に進み、既に図１５にて説明したごとく、該第一種ユニット１０が結合している第二種ユニット１１の全てについて、教示信号Ｔがアクティブ（「１」）になっているものがあるかどうかを調べ、その結果から要素判定情報ｆを定め、要素判定情報ｆが一つでも１になっていれば、Ｓ３０４に進んで、該第一種ユニット１０に対する学習判定情報ＦＮＰ’を「１」（判定一致状態）に定める。また、要素判定情報ｆが「１」を含まず、かつ少なくとも一つが「−１」になっていれば、Ｓ３０５に進んで、該第一種ユニット１０に対する学習判定情報ＦＮＰ’を「−１」（判定不一致状態）に定める。さらに、要素判定情報ｆが全て「０」になっていれば（つまり、その第一種ユニット１０が発火していなければ）、該第一種ユニット１０に対する学習判定情報ＦＮＰ’を「０」（中立状態）に定める。以上の処理を、番号ＮＰ’をインクリメントしながら、全ての第一種ユニットについて繰り返し（Ｓ３０７，Ｓ３０８→Ｓ３０２）、学習判定情報の更新処理を終わる。
【００７９】
図４に戻り、次にＳ８に進んで、現在着目している第一種ユニット１０（番号ＮＰ）の正解率ＲＮＰ’を演算する。該処理の詳細は図８に示す通りである。すなわち、番号ＮＰの第一種ユニット１０の前回の正解率ＲＮＰ’’及び閾値ＨＮＰ’’を読み出す。Ｓ４０２では、その番号ＮＰの第一種ユニット１０の学習判定情報ＦＮＰ’をリードする。そして、前回の正解率ＲＮＰ’’を、学習判定情報ＦＮＰ’を用いて、Ｓ４０３に記載の式により更新し、新しい正解率ＲＮＰ’とする。正解率ＲＮＰ’は、学習が進むにつれ学習判定情報ＦＮＰ’「１」（判定一致状態）が返ることにより上昇する。これによりその第一種ユニット１０の学習の進み具合がわかり、ひいてはすべての第一種ユニット１０の正解率Ｒをつかむことにより学習の進み具合を把握することもできる。つぎに第一種ユニット１０の閾値ＨＮＰ’を、着目している第一種ユニットの前回の閾値ＨＮＰ’’と学習判定情報ＦＮＰ’の値とを用いて、Ｓ４０４に記載の式により更新し、新しい閾値ＨＮＰ’とする。閾値ＨＮＰ’も学習が進むにつれ学習判定情報ＦＮＰ’「１」（判定一致状態）が返ることにより上昇する、これによりある程度学習が進んで正解率が上がってきた段階での第一種ユニット１０の反応を安定化させることができる。さらに結合入力値σｉと第一種ユニット１０の番号ＮＰ’とに対応する重みＷｉ，ＮＰ’を、Ｗｉ，ＮＰ’＋ＦＮＰ’・（２σｉ−１）により更新する（Ｓ４０５の式と等価）。ＦＮＰ’の値は「１，０，−１」なので、重みＷｉ，ＮＰ’は、ＦＮＰ’＝１．σｉ＝１であれば必然的に「＋１」となり、ＦＮＰ＝−１．σｉ＝１であれば「−１」となる。なお、上記重み計算式は、ＦＮ Ｐ’が１のときにのみＷｉ，ＮＰ’＋（２σｉ−１）とするように、簡略化することもできる。また、結合設定フラグＣｉｊ＝「１」のものだけについて重みＷｉ，ＮＰ’を更新することにより学習を安定させることもできる。
【００８０】
図４に戻り、次に、Ｓ９のユニット生成・結合処理へ移る。図５は、その詳細を示す。Ｓ１０１では、第二種ユニット１１の番号ＮＳを初期化する（ＮＳ＝１）。Ｓ１０２では、番号ＮＳの第二種ユニット１１が発火しているかどうかを、その第二種ユニット１１の出力信号ＯＮＳにより判定する。発火していない場合はＳ１０３に進み、教示信号ＴＮＳがアクティブかどうかを判定する。パターン一致するためには、出力信号ＯＮＳと教示信号ＴＮＳが一致していなければならない。教示信号ＴＮＳが非アクティブ（（＝「０」）ならＳ１０４に進む。その第二種ユニット１１との結合が非形成で、学習判定情報ＦＮＰ「１」の第一種ユニット１０との結合を以後作らないよう、結合可能テーブル５２（図１１）に結合非（Ｂｉｊ＝０）と登録する。これは、教示信号ＴＮＳが非アクティブ（（＝「０」）のとき、学習判定情報ＦＮＰ「１」の第一種ユニット１０は教示信号ＴＮＳとの関係がないためである。
【００８１】
また、Ｓ１０３で教示信号ＴＮＳがアクティブな場合はＳ１０５に進み、該第二種ユニット１１に非結合の第一種ユニット１０のうち、学習判定情報ＦＮＰ「１」のものが結合可能テーブルで結合可であればＳ１０６に進んで、その第一種ユニット１０との結合を形成する。また、Ｓ１０５で発火している第一種ユニットがない場合はＳ１０８に進み、新しい第一種ユニット１０（第一種ユニット番号ＮＰｍａｘ）を作成して、番号ＮＳの第二種ユニット１１に結合する。また、新しい第一種ユニット１０を結合可能テーブル５２（図１１）に登録する。また、Ｓ１１０では、学習を収束させるべき第一種ユニット１０の番号の最大値ＮＰmaxを更新する。そして、Ｓ１０７に進んで、の結合した第一種ユニット１０に対し、結合信号値σｉが「１」となっている入力信号Ｉｉを結合設定フラグＣｉｊ＝「１」および荷重値Ｗｉ，ＮＰ’＝１として結合設定する。このとき初期荷重値Ｗｉ，ＮＰ’は１より大きな値とすることもできる。
【００８２】
一方、Ｓ１０２において番号ＮＳの第二種ユニット１１が発火している場合はＳ１１１に進み、教示信号ＴＮＳが非アクティブならばＳ１１２に進んで、学習判定情報Ｆが「１」、すなわち、判定一致状態になっている第一種ユニット１０との結合が存在しているかどうかを調べる。結合が存在すると、番号ＮＳの第二種ユニット１１は必然的に「発火」となるが、教示信号ＴＮＳが示す内容（非アクティブ）と整合しないので該結合をカットし、さらにＳ１１４では、結合可能テーブル５２（図１１）において、その結合していた第一種ユニット１０と番号ＮＳの第二種ユニット１１との結合フラグを「０」とし、結合不能の組合せとして登録する。また、Ｓ１１１において教示信号ＴＮＳがアクティブならば正しい結合状態が実現しているので、特に結合の追加や切断の処理は行なわない。以上の処理を、番号ＮＳをインクリメントしながら、全ての第二種ユニット１１について繰り返し（Ｓ１１５，Ｓ１１６→Ｓ１０２）、ユニット生成・結合処理を終わる。上記処理の進行に伴い、テーブル５２，５３，５４の内容を随時更新する。
【００８３】
図４における以上のＳ６〜Ｓ９の流れにより、番号ＮＰの第一種ユニット１０に関する学習処理が一サイクル終了となる。例えば図２２に示すような方式にて被処理パターンと教示パターンとを変更しながら、この学習処理を複数回繰り返す。図４では、教示反復カウンタＣＴが一定数ＣＴmaxに到達するまで、番号ＮＴのインクリメントにより被処理パターンと教示パターンとを次々と変更して、Ｓ６〜Ｓ９の学習処理を繰り返すようにしている（Ｓ１０，Ｓ１１，Ｓ１２→Ｓ５）。これにより、番号ＮＰの第一種ユニット１０の正解率Ｒは次第に向上してゆく。これは、学習処理を繰り返す毎に、Ｓ９における第一種ユニット１０と第二種ユニット１１との結合設定状態と、Ｓ８での第一種ユニット１０への入力の重み設定状態とが、正解率Ｒが向上する方向に最適化されてゆくためである。図５の処理内容からも明らかなように、結合設定状態の最適化は、出力信号Ｏｉと教示信号Ｔｉとの直接比較による第二種ユニット１１レベルでのフィードバックと、学習判定情報ＦＮＰ’を参照した第一種ユニット１０レベルでのフィードバックとの二面から、効果的に進められてゆく。また、図８の処理内容からも明らかなように、第一種ユニット１０への入力の重み調整は、該第一種ユニット１０に集められている入力結合信号σｉへの一律的な重み加算処理が主体であり、最急降下法のごとき重み最適化のための複雑な数学的アルゴリズムは一切介在していない。
【００８４】
次に、Ｓ１３においては、番号ＮＰの第一種ユニット１０の正解率ＲＮＰをリードし、ＲＮＰの値が予め定められた閾正解率ＲＳを超えたところで、所期の学習効果が得られたと判断して、Ｓ１６（Ｓ１５の重み正規化については後述）へ進み、番号ＮＰの第一種ユニット１０の学習による最適化が収束したと判定して、各第一種ユニット１０に一対一に対応して設けられた収束済みフラグＧ（図１１）の、番号ＮＰに対応する記憶値ＧＮＰを「収束済み」（本実施形態では「１」）に設定する。
【００８５】
一方、一定数ＣＴmaxの学習処理を繰り返しても、Ｓ１４においてＲＮＰの値が閾正解率ＲＳに満たない第一種ユニット１０については、Ｓ２２に進んで、そのユニットが既に否定入力を結合済みであるかどうかを確認する。Ｎｏの場合はＳ２３に進み、その第一種ユニット１０の結合設定フラグＣｉｊ＝「１」の入力結合の重みを全て初期化し（本実施形態では初期値＝１）、図１６に示すごとく、既存の肯定アクティブ入力Ｉｉによる結合信号値σｉに加え、否定アクティブ入力Ｉｉ（−１）を、新たな結合信号値σｉとして付け加える。すなわち、入力信号Ｉｉのうち結合設定フラグＣｉｊ＝「０」になっているものを、否定反転してアクティブとし、これを結合信号値σｉとして追加する。（否定入力結合の重みは本実施形態では初期値＝１又は０）以下、Ｓ３に戻って、学習処理を位置からやり直す。このような否定入力の結合を行なっても、Ｓ１４にてＲＮＰの値が閾正解率ＲＳに満たない場合は、その第一種ユニット１０は学習効果への寄与がほとんど期待できないと判断し、Ｓ２２からＳ２６に進んで、その第一種ユニットの結合をすべて削除する。
【００８６】
上記のごとく、第一種ユニット１０の作成時に否定側入力信号を介在させないようにし、必要に応じて否定側入力信号を採用することにより、次のような利点が得られる。すなわち、本発明の方式による学習処理においては、真に必要な否定側入力信号は一般的に少ないと考えられ（つまり、多くの学習処理では肯定側入力信号だけでこと足りてしまうことが、経験的にわかっている）、敢えて初めから否定側入力信号を採用して学習を行うと、数多い否定側入力信号の影響を大きく受けて学習スピードが低下する可能性がある。そこで、学習初期に限って肯定側入力信号だけを採用すれば、学習の進行に伴い、第一種ユニット１０は発火しやすい側に傾いてゆくため、否定側入力信号を初期状態では不採用としても基本的には学習には悪影響が生じず、また、多数の否定側入力信号を採用したときの弊害も排除できる。また、第一種ユニット１０の作成時に否定側入力信号を肯定側のマイナス結合とすることは、第一種ユニット１０が発火しにくくなる側に傾くため、学習に悪影響が生ずる。
【００８７】
Ｓ２３からＳ２５の処理の代わりに、入力信号Ｉｉに対する荷重値Ｗｉ，ＮＰ’ のうち、マイナス側に絶対値が大きくなっているものを、否定アクティブ入力Ｉｉ（−１）として、否定反転してアクティブとし新たな結合信号値σｉとして付け加えることもできる。また、結合を作る前処理として、あらかじめ入力信号と、第二種ユニットの出力に対する教師信号との相関情報を作成し、第一種ユニットの作成時において、入力信号との結合を作る際に、単に肯定入力となっているものを機械的に採用するのでなく、教師信号とアクティブに相関している入力のみを選択して採用することにより、学習をより安定させることも可能である。
【００８８】
第一種ユニット１０の学習判定情報ＦＮＰは、学習処理の初期段階では教示信号と出力信号との一致が確率的には同程度のため、「判定一致状態」以外の状態（つまり、判定不一致状態あるいは中立状態）になっていることもある。しかし、学習処理を繰り返すことにより、学習判定情報ＦＮＰもやがては「１」（判定一致状態）に変化し、正解率Ｒも高まってゆく。
【００８９】
さて、図４の処理では、学習処理の繰り返しの途上で、第一種ユニット１０が増設されることを考慮して、収束済みフラグＧが「０」となっている第一種ユニット１０、つまり、非収束の第一種ユニット１０を探し出し、学習処理を繰り返す。そして、Ｓ２０において、非収束の第一種ユニット１０がテーブルからなくなれば、全ての第一種ユニット１０において、学習による最適化が収束したと判定し、全体の処理を終了する。
【００９０】
本実施形態の学習方式と、従来のバックプロパゲーション（以下、「ＢＰ」と略記する）方式との効果の差異をまとめると、以下のようになる。ＢＰ方式における重み更新の学習式は、本実施形態の記号を使うと、Ｗｎ=Ｗｎ+ k（Ｔｎ−Ｙｎ）＊Ｉｉと表すことができる（ただし、中間ユニットではＴｎが複数のユニットからのフィードバックとなる）。また、（Ｔｎ−Ｙｎ）の部分が本方式の学習判定情報ＦＮＰに相当するが、その内容は以下のように相違する。
【００９１】
【表１】
なお、図８のＳ４０５において、重みＷＮＰ’を（２Ｉｉ−１）を用いて更新しているのは、Ｉｉが０のとき（２Ｉｉ−１）は−１となるので、統計的に余分な入力の結合を消滅させることができるためである。他方、図８の処理は、図２７に示すように変更することもできる。閾値更新処理を図８のＳ４０４の演算式を用いた方式から、図２７のＳ４０４’の演算式を用いた方式に改めることにより、閾値をよりスムーズに増加させることができる。さらに、図２７のＳ４０５、Ｓ４０５１及びＳ４０５２においては、判定不一致（つまりＦ＝−１）の時の、結合値Ｗの更新回数を少なくできる。入力パターンが複雑に数多く入り混じっているような場合、判定不一致Ｆ＝−１となる確率が判定一致Ｆ＝１に比べて相当多くなってしまい、学習が収束しなくなってしまうこともありえる。この場合、判定一致Ｆ＝１のときのみＷ＝Ｗ＋（Ｉ−１）として、非アクティブな入力を消していく方法もありえるが、ノイズに弱くなってしまう問題がある。そこで、上記Ｓ４０５、Ｓ４０５１及びＳ４０５２の処理は、判定一致（つまり、Ｆ＝１）の場合にのみ、Ｗ＝Ｗ＋（２Ｉ−１）が更新されるのと実質的に等価な処理結果が得られるように工夫されている。
【００９３】
ＢＰ方式では、Ｔｎが大きく出力Ｙｎが小さいと、Ｗｎ=Ｗｎ＋ｋ（Ｔｎ−０）＊Ｉｉとなり、本実施形態の第一種ユニット作成に際しての、アクティブな入力信号との結合形成時の働きと、一見類似したものとなる。しかし、ＢＰ方式において根本的に相違する点は、ユニット間の結合が存在しないとＩｉが定義不能な点であり、これを乱数で初期化するために、真に必要な入力信号との結合を増やすことは偶然にしか起こり得ないことになる。その結果、余分な入力信号との結合も増やさざるを得なくなり、また、必要な入力信号との結合が薄い場合は、結合を増やすことが物理的に不能となる場合もある。また、重みＷｎを一律に設定すると、真に必要な入力信号との結合を増やすことはできるが、ほかのすべてのユニットとの結合も増えてしまうためユニットの分化が起らなくなる。ＢＰ方式では、このように学習の進行が初期の乱数に大きく左右されるため、ユニットがうまく分化しなくなって、局所解に陥りやすくなる欠点がある。しかしながら、本実施形態の方式では、第二種ユニットが不発火時には、必要に応じて第一種ユニットを追加作成することで、肯定側アクティブな入力信号との結合を作るようにしたので、上記のような不具合は生じない。
【００９４】
以上のごとく、図４の処理により、個々の第一種ユニット１０の学習による最適化が収束すれば、パターン教示システム１は、以降は、ある入力パターンが与えられたとき、その入力パターンが教示したパターンと一致しているか否かを、得られる出力パターンが教示パターンと一致しているかどうかにより、簡単に識別できるようになる。すなわち、該システム１をパターン識別装置として使用できる。
【００９５】
なお、上記のパターン教示システム１の構成を用いると、最終的には図２３に示すように、入力側につながる第一種ユニット１０への入力の重みと、出力側につながる第一種ユニット１０と第二種ユニット１１との結合が最適化されたパターン識別装置が得られることとなる。この状態では、第二種ユニット１１は論理和型の素子になっているが、第一種ユニット１０は重み入力を伴う非線形素子のままである。しかし、第一種ユニット１０を、入力信号を重み値に応じて取捨選択し、残した入力信号を二値入力化して扱うことにより、論理積ゲート回路に置換することができる。具体的には、図２０に示すように、入力信号Ｉｉ（否定入力考慮する場合は結合信号値σｉ）のうち、重み値Ｗｉが予め定められた閾値Ｗｓよりも大きいもの（図２０では、重みＷ１，Ｗ４，Ｗ６，Ｗ８）のみを二値入力として残す形で、第一種ユニット１０を論理積ゲート回路にて置換することができる。重み値Ｗｉが予め定められた閾値Ｗｓよりも大きいか否かにより、当該重みＷｉを有した入力の取捨選択処理（以下、重み正規化処理という）、ひいてはそれによる第一種ユニット１０の論理積ゲート回路への転換処理を極めて簡単に行なうことができる。
【００９６】
なお、図１の等価回路にて示すパターン教示システム１では、中間層４０を構成する第一種ユニット１０の列は一段のみであったが、図２５に示すように、第一種ユニット１０の列を入力側結合設定手段１３を介して複数段に接続することも可能である。しかし、この場合、第一種ユニット１０の列間では、従来のニューラルネットワークと同様の重み最適化処理が必要となる。図１の等価回路では、第一種ユニット１０の列が一段であるために、複雑なパターン識別処理には限界があるが、入力側の重み設定と、中間層４０及び出力層５０間の結合設定とをいわば分離して処理できるため、学習処理の効率が極めてよい利点がある。そこで、図２６に示すように、被識別パターンが入力されるシステム１’の出力信号Ｏｉを、そのまま、次の同様の構成のシステム１’の入力に用いることで、複数のシステム１’を結合し、全体として、より識別の自由度の高いパターン教示システムを得ることも可能である。
【図面の簡単な説明】
【００９７】
【図１】本発明のパターン教示システムを、等価回路の一例にて示す概念図。
【図２】パターン入力部の等価回路の一例を示す概念図。
【図３】図１のパターン教示システムを、コンピュータエミュレーションにて実現する例を示す図。
【図４】図３のパターン教示システムの、エミュレーションプログラムの処理の流れの一例を示すフローチャート。
【図５】図４のユニット生成・結合処理の詳細を示すフローチャート。
【図６】図４の発火処理の詳細を示すフローチャート。
【図７】図４の学習判定更新処理の詳細を示すフローチャート。
【図８】図４の重み設定・正解率演算処理の詳細を示すフローチャート。
【図９】入力設定メモリの概念図。
【図１０】教示信号と出力信号との記憶メモリの内容を示す概念図。
【図１１】第一種ユニット結合可能テーブルと、第一種ユニット出力メモリの内容を示す概念図。
【図１２】第一種ユニット入力側結合設定メモリの内容を示す概念図。
【図１３】重み設定メモリの内容を示す概念図。
【図１４】第一種ユニット出力側結合設定メモリの内容を示す概念図。
【図１５】学習判定結果メモリの内容を示す概念図。
【図１６】第一種ユニットへの入力信号の結合形態の第一例を示す模式図。
【図１７】第一種ユニットへの入力信号の結合形態の第二例を示す模式図。
【図１８】第一種ユニットと第二種ユニットとの結合組換えの第一例及び第二例を示す説明図。
【図１９】第一種ユニットと第二種ユニットとの結合組換えの第三例を示す説明図。
【図２０】第一種ユニットを論理積ゲート回路に変換する方法を示す説明図。
【図２１】被識別パターンと教示パターンとの関係を例示する説明図。
【図２２】被識別パターンと教示パターンとを繰り返し教示させるシーケンスの例をいくつか示す説明図。
【図２３】本発明のパターン教示システムによる学習処理と、入力の重み設定との関係を概念的に説明する図。
【図２４】ネットワーク接続された複数のコンピュータにより、エミュレーション型パターン教示システムを実現する例を示すブロック図。
【図２５】図１の本発明のパターン教示システムの変形例を示す等価回路図。
【図２６】図１の本発明のパターン教示システムの別の変形例を示す等価回路図。
【図２７】図４の重み設定・正解率演算処理の別例を示すフローチャート。
【符号の説明】
【００９８】
１０ 第一種ユニット
１１ 第二種ユニット
１２ パターン入力部
１３ 入力側結合設定手段
１４ 出力側結合設定手段
２１ 出力側結合調整手段
２２ 学習判定情報作成手段
２３ 入力側結合調整手段
２４ 教示信号設定手段
３０ 入力層
４０ 中間層
５０ 出力層
Ｉｉ 入力信号
ｍｉ 中間信号
Ｏｉ 出力信号
Ｔｉ 教示信号【Technical field】
[0001]
The present invention relates to a pattern teaching system, a pattern identification device using the same, a computer program, and a digital logic circuit design method for the pattern identification device.
[Background Art]
[0002]
[Patent Document 1]
JP-A-1-243169
[Patent Document 2]
Japanese Patent No. 2606317
[0003]
For pattern identification of images and sounds, for example, a standard pattern whose entity is known is prepared in advance, and it is determined whether or not the pattern to be identified matches the standard pattern by the elementary signals constituting the pattern (for example, image identification). A method is known in which the determination is made according to the coincidence probability between pixels (in the case of speech, and in the case of speech, the level of a quantized speech waveform). However, this method is troublesome to introduce a statistical method, which is indispensable for realizing flexible pattern matching including ambiguous elements or pattern matching resistant to noise, and has a limit in performance. . In recent years, in order to solve such a problem, various pattern identification methods using a neural network have been proposed.
[0004]
A neural network is an information processing system modeled on the brain of a living body. A neural network, which is a basic component of the neural network, is regarded as a multi-input, one-output nonlinear element (hereinafter, also referred to as a neuron-type element) and is formed into a network. Many are combined. Specifically, the strength of the connection between the neuron-type elements (weight of the input signal mediated by the connection (also referred to as weight or weight)) is repeatedly given to the neural network a pattern to be identified and compared with the teaching pattern. Is adjusted so that a specific pattern can be identified.
[0005]
2. Description of the Related Art Hitherto, what is widely used for pattern identification is called a hierarchical neural network, which has a structure in which one or two or more intermediate layers are interposed between an input layer and an output layer. . Given a pattern to be identified in the input layer, a specific output pattern appears on the output layer according to the coupling state of the intermediate layer. Then, by repeating the learning, the weight of the connection of the intermediate layer is adjusted so that the error between the output pattern and the desired teaching pattern prepared in advance is minimized. Specifically, the input layer and the intermediate layer and the intermediate layer and the output layer are all connected by a weighted connection.From the output layer side to the input layer side, the weight of the connection is calculated using the steepest descent method. A back propagation method that optimizes sequentially is used (
[Disclosure of Invention]
[Problems to be solved by the invention]
[0006]
However, optimization of the neural network by the back propagation method has the following disadvantages.
(1) Exhaustive connections are set between all units between the input layer and the intermediate layer and between the input layer and the output layer, and the network is optimized only by adjusting the weight of the connection Therefore, the amount of calculation tends to be enormous. When the size of the apparatus is increased, the processing may fail on a computer or computer network of a realistic scale.
(2) Since the steepest descent method is used, when it is stuck in the local optimal solution, true optimization of the error may not be possible.
(3) In the back propagation method, generally, an appropriate number of hidden layers are prepared for the input layer and the output layer. Since it is impossible, if the number of settings is too large, a lot of useless connections remain, and if it is too small, a pattern that cannot be separated may be caused.
[0007]
An object of the present invention is to enable optimization processing of a neural network while keeping the number of hidden layers at least requiring computation and the number of connections between the hidden layer and the output layer to be small, and thus the accuracy is small even with a small amount of computation. The present invention provides a pattern teaching system capable of teaching a pattern with a high level, a pattern identification device, a computer program, and a digital logic circuit design method for the pattern identification device using the same.
Means for Solving the Problems and Effects of the Invention
[0008]
In order to solve the above problems, a pattern teaching system according to the present invention includes:
Each of the plurality of signals can be coupled in parallel, and has a first threshold value for the input sum of the signals, and outputs its own signal output based on a comparison result between the input sum and the first threshold value. An intermediate layer having a plurality of first type units to be changed,
An input layer having a pattern input unit that is located at the previous stage of the intermediate layer and that inputs a plurality of input signals forming a pattern to be identified to a column of the first type unit located at the front stage of the intermediate layer,
The output of the first type unit located at the final stage of the intermediate layer is used as an intermediate signal, the intermediate signal can be coupled in parallel, and the second sum lower than the first threshold with respect to the input sum of the intermediate signal. An output layer having a threshold, and having a plurality of second type units for changing an output signal based on a comparison result between the input sum and a second threshold,
Teaching signal setting means for setting a teaching pattern consisting of a teaching signal uniquely corresponding to an output signal constituting the output pattern, with a set of output signals of the plurality of second type units as an output pattern;
An output-side coupling setting unit configured to input-couple a plurality of intermediate signals to a plurality of second-class units in an arbitrary combination;
Each output signal forming the output pattern is compared with the matching state of the corresponding teaching signal, and based on the matching result, the matching state between the output pattern and the teaching pattern is improved so as to improve the matching state of each second type unit. Output side coupling adjusting means for changing the combination of the coupling of the first type unit,
Two or more types of identified patterns are sequentially and repeatedly input to the input layer, and for each input of each identified pattern, the matching state between the output signal of the second type unit forming the output layer and the teaching signal is improved. The output-side coupling adjusting means repeatedly performs a learning process for changing the combination of the coupling between the second-type unit and the first-type unit outputting the intermediate signal.
[0009]
Further, the signal processing device of the present invention is configured to sequentially and repeatedly input two or more types of identified patterns to the input layer of the pattern teaching system of the present invention, and to form an output layer for each input of each identified pattern. A learning process for changing the combination of the combination of the second-type unit and the first-type unit that outputs the intermediate signal is performed by the output-side coupling adjustment unit so that the matching state between the output signal of the type unit and the teaching signal is improved. It is characterized by being obtained by performing repeatedly.
[0010]
The first-type unit to which the pattern to be identified is input is a concept of a multiple-input / 1-output element which is relatively close to a well-known neuron-type element, and is used when a plurality of input signals forming the identified pattern are distributed and input. In order to enhance the selectivity of the pattern, the output threshold (first threshold) for the input sum is set to a relatively high value. On the other hand, the second type unit is an element concept unique to the present invention in which the learning process is performed by changing (or recombining) the combination of the first type unit and the combination with the first type unit. It is the same as the first-type unit, but the output threshold (second threshold) for the input sum is set lower than the threshold (first threshold) of the first-type unit. The level relationship between the input sum and the output threshold is defined such that the active level side is the positive direction, and the direction shifted to the positive side is the “high” side.
[0011]
That is, when teaching patterns to be identified in a plurality of categories, the input pattern of signals to the first-type unit and, consequently, the propagation pattern of signals passing through the first-type unit vary depending on the category. Regarding the output of the second type unit, an output indicating a valid identification result must be generated regardless of the arrival of a propagation pattern derived from the identified pattern of any category. As a specific example, when the first one of two combinations (from different first-type units) collected in a certain second-type unit is given an identified pattern of category A If the second unit has a high level when the identified pattern of category B is given, the second type unit has a high level when at least one of the two connections (inputs) is high. Is required to operate so that the output is at a high level. In order to realize such an operation, an output threshold (second threshold) for the input sum of the second type unit is set lower than the first threshold.
[0012]
Then, in the present invention, the output signal and the output signal are changed by changing the combination of the coupling of the first type unit to each second type unit in accordance with the comparison result between each output signal forming the output pattern and the corresponding teaching signal. The matching state with the teaching signal is improved. As a result, it is possible to optimize the neural network while keeping the number of connections between the intermediate layer and the output layer small. Furthermore, since the matching state between the output signal and the teaching signal is optimized by repeatedly changing the combination of the connections, the degree of freedom of the optimization operation is large, and the conventional backproperty adopting the connection weight adjustment by the steepest descent method. As with the gating method, the probability of getting stuck in the local optimal solution can be greatly reduced.
[0013]
In order to be able to change the combination of the combination of the first-type unit with the second-type unit (rearrangement), it is essential that the following two processes can be performed as a specific operation.
(1) A new bond is formed between a specific first type unit and a specific second type unit.
(2) The bond already formed between the specific first type unit and the specific second type unit is released.
[0014]
Also, if necessary,
(3) Delete a specific first-class unit.
(4) First-class units are newly added as necessary.
The following two operations can also be added. It should be noted that a connection already formed between a specific first-type unit and a certain second-type unit is switched to a connection with another second-type unit, or that a certain first-type unit and a specific second-type unit are combined. It is also possible to envisage an operation of switching a bond already formed between units to a bond with another first-class unit, but these operations are all performed by combining (1) and (2). This is feasible.
[0015]
The present invention also provides a computer program that causes a computer to function as each unit of the pattern teaching system of the present invention. The pattern teaching system of the present invention can be configured as hardware logic. However, by emulating the software using the computer program of the present invention, a large number of first-class units can be used for pattern teaching. The process of optimizing the connection between the unit and the second type unit can be performed more easily. In this case, the pattern identification device of the present invention executes the learning process repeatedly using the pattern teaching system of the present invention realized on the computer by executing the computer program of the present invention, thereby executing It can be realized in the form of software-based emulation.
[0016]
Next, the output-side coupling adjusting means specifically, when the matching state between the output signal of the second-type unit and the teaching signal reaches a predetermined level, the plurality of first-type units and the plurality of second-type units. Even if an unconnected combination is left between the two types of units, the repetition of the learning process can be terminated in such a manner as to be left. In other words, the coupling between the first type unit and the second type unit between the intermediate layer and the output layer is not set so that all combinations are covered, but the output signal matches the teaching signal. When the state is optimized, the learning process is terminated without forming a new combination between the first type unit forming the intermediate layer and the second type unit forming the output layer. This makes it possible to teach the pattern with sufficient accuracy while keeping the number of connections between the units to a necessary and sufficient number, and it is possible to greatly increase the design efficiency of the pattern identification device obtained as a result of learning. Further, even when the number of types of patterns to be identified increases, the number of couplings between units does not excessively increase, so that a system with higher identification capability can be realized even with devices of the same scale.
[0017]
Further, the output-side coupling adjusting means can be configured to change only the combination of coupling with the plurality of first-type units without weighting the plurality of intermediate signals. According to this configuration, since the weight is not involved in the connection between the hidden layer and the output layer, the computational burden of neural network optimization is dramatically reduced compared to the conventional back propagation method in which the connection weight is adjusted by the steepest descent method. Can be reduced.
[0018]
Each of the first-type unit and the second-type unit outputs one of an active output and an inactive output in binary, and the identification target pattern and the teaching pattern include an active state and an inactive state. And a set of binary signals set to any of By binarizing (ie, digitizing) the output of each unit, it is possible to further simplify the arithmetic processing for network optimization. In this case, the input to the second type unit (by digitizing the output of the combined first type unit) is necessarily binary. As described above, when no weight is assigned to this input, the output of the second type unit is easily determined based on whether or not the simple total value is equal to or greater than the second threshold value.
[0019]
Next, the pattern teaching system of the present invention includes a second type unit based on the output state of the first type unit and the content of the teaching signal to the second type unit to which the first type unit is coupled. May be provided for each of the plurality of first-class units to create learning determination information reflecting the coincidence between the output signal of the first type and the corresponding teaching signal. In this case, the output-side coupling adjusting means may adjust the second-type unit and the second-type unit based on the content of the learning determination information so that the matching state between the corresponding output signal of the second-type unit and the teaching signal is improved. It is possible to adjust the combination setting of the combination with a kind of unit.
[0020]
The method of comparing the output signal of the second-class unit with the teaching signal is a direct comparison between the teaching pattern and the output pattern, so it is effective to simply grasp the matching result. It is difficult to do until. In other words, even if a mismatch between the output signal and the teaching signal is found, it is in principle impossible to specify which first-class unit is involved in the mismatch. As a result, as a specific measure for improving the output signal and the teaching signal in the matching direction, an inefficient method of changing the combination of the coupling of the first-type unit to the corresponding second-type unit by trial and error is adopted. I have to adopt it. Therefore, as described above, if the learning determination information reflecting the matching state between the output signal of the second type unit and the teaching signal is created for each of the plurality of first type units, at the output stage of the first type unit, Participation in the match / mismatch between the output signal and the teaching signal can be specified, and the state of connection to the second-type unit can be adjusted in such a manner that the first-type unit closely involved is shot. As a result, the state of coincidence between the output signal and the teaching signal can be improved more efficiently and reliably. In particular, if the second type unit is configured so that the output becomes active when at least one of the inputs is active, the output of the first type unit is directly reflected on the output of the second type unit. Therefore, the reliability of the content of the learning determination information can be improved.
[0021]
In particular, when the outputs of the first-type unit and the second-type unit are binarized, and the identified pattern and the teaching pattern are formed of a set of binary signals, the learning determination information creating unit includes Learning determination information can be created based on the active / inactive combination of each output with the teaching signal. In other words, the matching state between the output signal and the teaching signal can be accurately grasped by the learning determination information of at most 2 bits including the outputs of the first type unit and the teaching signal. It is very easy because it only needs to be identified.
[0022]
Next, the pattern teaching system of the present invention includes an input side for distributing and setting a plurality of input signals from the pattern input unit to a plurality of first type units located at the forefront side of the intermediate layer in an arbitrary combination. It is possible to provide a coupling setting unit and an input-side coupling adjusting unit that changes a combination of coupling of input signals to each first-type unit so that a matching state between the output pattern and the teaching pattern is improved. By making it possible to change the weight and / or combination of the connection of the input signal to the first type unit, it is possible to optimize the neural network with a higher degree of freedom. Further, the input-side coupling adjusting means, if the coincidence state between the output signal of the second-type unit and the teaching signal reaches a predetermined level, does not allow the plurality of input signals and the plurality of first-type units to remain. Even if a combination of the connections is left, the repetition of the learning process can be terminated in such a manner as to be left. This makes it possible to teach the pattern with sufficient accuracy while keeping the number of couplings between the input signal and the first-type unit to be a necessary and sufficient number, thereby greatly improving the design efficiency of the pattern identification device obtained as a result of learning. Can be enhanced. Further, even when the number of types of patterns to be identified increases, the number of couplings between units does not excessively increase, so that a system with higher identification capability can be realized even with devices of the same scale.
[0023]
Further, in the pattern teaching system of the present invention, the first type unit may be configured such that input signals can be parallel-input-coupled in a weighted form. In this case, the first threshold is set for the weighted input sum of the input signal. In the configuration of the system, the weight setting means for setting the weight value of the input signal coupled to the first type unit, and the output signal of the corresponding second type unit based on the content of the learning determination information and the teaching Weight adjustment means for adjusting the weight value of an input signal to the first type unit coupled to the second type unit is provided so that the state of coincidence with the signal is improved. By considering the weighted sum of the input signals, the learning effect of pattern identification can be further enhanced, and thus, various types of identified patterns can be separated and identified more accurately.
[0024]
In the above configuration, it can be said that the configuration using the weighted sum of the input signals is similar to that of the conventional neural network. However, in the present invention, as a specific method for increasing the degree of coincidence between the output pattern and the teaching pattern, As described above, a method of optimizing the combination of the combination of the first type unit forming the intermediate layer and the second type unit of the output layer is used. In the course of the connection optimization, unnecessary connections between the first-class unit and the second-class unit are sequentially eliminated and eliminated. Then, by referring to the learning determination information, a first-type unit positively associated with the match between the output signal and the teaching signal is found, and only the weight of the input to the first-type unit is mechanically determined. As the number of patterns increases, the matching accuracy between various output patterns and the teaching pattern can be naturally increased. Therefore, a weighted sum optimization method involving a complicated mathematical algorithm, such as the steepest descent method in the conventional back propagation method, is completely unnecessary.
[0025]
Also, in the steepest descent method used in the back propagation method, it is necessary to set the weight distribution on the input side without bias using random numbers. For example, if the weight distribution setting is not appropriate, the matching accuracy between the output pattern and the teaching pattern is impaired. In some cases, there is a problem that local optimal opening is likely to occur. However, in the pattern teaching system of the present invention, as described above, the optimization of the weight of the input signal proceeds in a manner dependent on the coupling optimization between the units, so that the optimal coupling form between the units is determined. Then, there is an advantage that the optimal weight distribution is hardly influenced by the setting of the initial weight value. As the simplest method, there can be exemplified a method of setting the weight value of the first input unit of the plurality of input signals forming the pattern to be identified to the same initial value. Even if such a simple initial weight setting is performed, the matching accuracy between the output pattern and the teaching pattern can be improved without any problem.
[0026]
In the configuration of the above-described pattern teaching system in which input signals are weighted in parallel and input in parallel (hereinafter, referred to as a weighted pattern teaching system), the input of each first-type unit is optimized when the learning process is completed. The associated weight value accompanies. Using this, the configuration of the pattern identification device obtained as a result of learning can be easily converted to a digital logic circuit as follows. That is, in the digital logic circuit designing method of the pattern identification device of the present invention, two or more types of identified patterns are sequentially and repeatedly input to the input layer of the pattern teaching system, and an output layer is formed for each input of the identified pattern. By changing the combination of the combination of the second-type unit and the first-type unit that outputs the intermediate signal, by the output-side coupling adjustment unit, so that the matching state between the output signal of the second-type unit and the teaching signal is improved, Further, based on the content of the learning determination information, the input to the first type unit coupled to the second type unit is improved so that the matching state between the output signal of the corresponding second type unit and the teaching signal is improved. Repeatedly performing a learning process of adjusting a signal weight value;
The first type unit is replaced by an AND gate circuit having a binary input terminal corresponding to the remaining input signal while selecting and sorting the input signal according to the weight value. Replacing the second type unit to which the output is coupled with an OR gate circuit having a binary input terminal corresponding to the intermediate output.
[0027]
By using the configuration of the weighted pattern teaching system, finally, the weight of the input to the first type unit connected to the input side and the coupling between the first type unit and the second type unit connected to the output side are optimized. The obtained pattern identification device is obtained. This device itself is conceptually different from a general digital logic circuit composed of a combination of logic ICs because the first-type unit is a nonlinear element with a weight input. However, a system for realizing a pattern identification function by a neural network method has an advantage that it can be simply designed with a minimum number of unit connections. In the pattern identification device that optimizes the connection using the pattern teaching system of the present invention, the first-type unit converts the input signal into a weight value, considering that a connection having a small weight has a small contribution to the pattern identification processing. If the selection is made accordingly, the input corresponding to the remaining input signal is converted into a binary input and handled, so that it can be easily replaced by the AND gate circuit. The second-type unit to which the intermediate output from the first-type unit is coupled can be easily replaced by an OR gate circuit by converting the input corresponding to the intermediate output into a binary input.
[0028]
In particular, in the latter case, if the second type unit is configured such that the output is active when at least one of the inputs is active (ie, the intermediate output is not weighted as binary, This corresponds to the case where only the combination and recombination with the
BEST MODE FOR CARRYING OUT THE INVENTION
[0029]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an example of the configuration of the pattern teaching system of the present invention in an equivalent circuit. The target identification pattern can be an image pattern or a sound pattern, but is not particularly limited. In the present embodiment, identification of an image pattern is taken as an example. The
[0030]
The
[0031]
Further, the
[0032]
Next, the
[0033]
In addition, the
[0034]
Two or more types of patterns to be identified are sequentially and repeatedly input to the
[0035]
Specifically, when the output signal Oi of the second-
[0036]
When forming a new connection between the second-
[0037]
For example, taking character pattern identification as an example, as shown in FIG. 22A, different character patterns are sequentially input, and a learning process for separating and identifying each character pattern is performed. The teaching pattern is a standard pattern that should give a correct recognition result for the pattern to be identified. For example, if the pattern is a character pattern, the standard character pattern that correctly indicates "what character should be recognized" is taught. Selected as a pattern. Specifically, as shown in FIGS. 22 (a) and (b), the dimensions and thickness of the lines are different, blurred, or partially missing as shown in (c). However, even for character patterns of the same type, the image information of the pattern to be identified varies within a certain range. However, since these identified patterns need to be identified as the same character, the teaching pattern uses a common standard character pattern as shown in (d). In other words, by learning various patterns to be identified representing the same character using the same teaching pattern, it is possible to correctly identify them as the same character pattern even if the state of the patterns to be identified slightly differs. become able to. As shown in FIG. 22, in order to increase the identification accuracy of a specific type of pattern, it is effective to repeat learning by giving the specific type of pattern repeatedly while sandwiching different types of patterns. .
[0038]
The first-
[0039]
For example, when it is desired to teach a plurality of character patterns (identified patterns) as shown in FIG. 22, the input pattern of the signal to the
[0040]
In the present embodiment, there are the following four types of specific operations for changing the combination (rearrangement) of the combination of the
(1) A new bond is formed between the specific
(2) The connection already formed between the specific
(3) The specific first-
(4) A first-
[0041]
The output-side coupling adjusting means 21 outputs the output signal Oi when the matching state between the output signal Oi of the second-
[0042]
Next, the
[0043]
In the present embodiment, since the
[0044]
More specifically, the learning determination
The judgment coincidence state: the output of the
[0045]
Determination mismatch state: the output of the
Neutral state: indicates that the output of the
[0046]
In the present embodiment, the output-side
[0047]
Returning to FIG. 1, the
[0048]
Further, the input-side
[0049]
In this case, if the negative input is utilized as follows, the degree of coincidence (correct answer rate) between the output pattern and the teaching pattern can be increased without excessively increasing the number of couplings between the input signal Ii and the
[0050]
However, if the matching state between the output signal Oi and the teaching signal Ti is not improved to satisfy the above condition after the repetition of the main learning process, as shown in FIG. Of the input signals Ii at the time of creation, those in the active state are regarded as positive active inputs, and a negative active input in which the input signal Ii in the inactive state is inverted and activated in the negative state is added to the positive active input. The input is distributed to each of the first-
[0051]
When the coupling with the negative active input is introduced, it may be set at once for all the
[0052]
In order to set the negative active input, the
[0053]
Returning to FIG. 1, the
[0054]
In the
[0055]
The weight adjustment means 26 increases the weight of the input signal Ii with the currently active one of the input signals Ii for the first-
[0056]
On the other hand, the
[0057]
For example, when an attempt is made to identify two patterns having different categories (in the figure, two character patterns “A” and “B” are taken as an example), as shown in FIG. The set of inputs that must be active to identify the first pattern (eg, “A”) ((a): weights W1, W4, W7 of
[0058]
Also, as shown in FIG. 21, even if the patterns are in the same category, if it is desired to enable ambiguous identification with a certain width in the content of the pattern to be identified, an input that is always active in the same category, Inputs that may or may not become active depending on the content of the identified pattern occur in a statistically distributed form. By adjusting the threshold value (first threshold value) of the output of the
[0059]
The configuration and operation of the
[0060]
As shown in FIG. 9, the input signal value Ii is a one-dimensional variable having a fixed number n, and is associated with a negative input combination adoption flag signal value Qi and a set combination signal value σi. Are stored in the input setting memory. In the present specification, the input signal value Ii is represented by “1” for active and “0” for inactive in the positive logic. If the coupled adoption flag signal value Qi of the negative input is inactive ("0"), the positive coupled input is employed as the coupled signal value σi, and the coupled signal value σi having the input signal value Ii of "1" is used as it is. The value σi is set as “1”. On the other hand, if the coupling adoption flag signal value Qi of the negative input is active (“1”), the negative coupling input is adopted, and the one having the input signal value Ii of “0” is negatively inverted, and the coupling signal value σi Is set as the value of “1”. Each of the input signal values Ii for which the combined signal value σi is “1” is not registered in all of the first-type units 10 (MU1 to MUx: FIG. 11) in FIG. ). When the first type unit is created, a connection is formed in the
[0061]
Hereinafter, the contents of various tables and memories formed in the RAM 3 (FIG. 3) will be described. The output signal Oi of the
[0062]
In FIG. 1, the
[0063]
Further, in the first-type
[0064]
On the other hand, the registration deletion of the combination setting is performed for each combination of the first type unit 10 (MUj) and the second type unit 11 (OUi).ijCan be individually set by setting the value of “0” to “0”. When the first type unit 10 (MUj) is deleted, the connection between the first type unit 10 (MUj) and all the
[0065]
As shown in FIG. 12, the actual coupling setting state between the input side coupling setting input signal Ii and the first type unit 10 (MUj) is determined for each combination of all the input signals Ii and the first type unit 10 (MUj). And the connection setting flag CijIs set and stored in the form of a first type unit input side connection setting table 53. Cij= “1” indicates that a bond is set, Cij= “0” indicates that no connection is set. Also, as shown in FIG. 13, the weight value Wij set for each connection between the input signal Ii and the first-type unit 10 (MUj) is stored in the
[0066]
The content of the learning determination information is stored in the
[0067]
Hereinafter, further details of the learning process of the
[0068]
The reason why the initial value of each threshold value H of the
[0069]
The teaching patterns are sequentially provided, and the existing first-
[0070]
Next, additional creation of the
[0071]
In the case of one unit of the first kind, it is sufficient to use the teacher signal as the correction coefficient. However, in the case of a plurality of units, the unit of the first kind which does not include the truly necessary input required by the teacher signal is sufficient. Returning a positive learning determination signal hinders learning. Therefore, the threshold value is gradually increased so that only the fired first-
[0072]
If the initial threshold is set to 0.5, even if an extra input signal is included due to the initial coupling, the first-
[0073]
In addition, even when the existing first-
[0074]
Returning to FIG. 4, in S2, the first one of the plurality of
[0075]
Next, the process proceeds to S6 and proceeds to the ignition process. FIG. 6 shows the details. This process is performed for each first-
[0076]
The process after S204 is a load sum calculation process of the combined input value σi. First, in S204, initialization is performed in which the number i of the combined input value σi is set to 1, the load sum Σ1, and the total load value Σ2 are set to zero. In S206, Wi, NP 'Using the sum of weights Wi, NP 'A process of calculating σi and adding it to the load sum Σ1 is performed, and in S207, the load value W is calculated.i, NP 'Is added to the total load value Σ2. This processing is repeated for all i (= 1, 2, ‥, n), and the obtained final load sum Σ1 is divided by the total load value Σ2 to obtain a normalized load sum Y. At this time, the load value Wi, NP 'It is desirable to use only positive ones and calculate negative ones as zero. Also, the connection setting flag CijThe learning can be stabilized by adding the weighted sum addition value for only those of "1".
[0077]
Then, in S212, the normalized load sum Y is set to the first threshold HNP 'If Y ≧ H, the process proceeds to S213, and the output of the first type unit of the number NP ′ is set to fire. If Y <H, the process proceeds to S214, and the output of the first type unit of the number NP ′ Is not fired. The above processing is repeated for all the first type units while incrementing the number NP '(S215, S216 → S202), and the weight calculation / setting processing ends. As the above processing proceeds, the contents of the table 54 and the
[0078]
Returning to FIG. 4, the process then proceeds to S7, where the process proceeds to a process of updating the learning determination information. This is also a process to obtain for each first-class unit. First, in S301, the number NP 'of the
[0079]
Returning to FIG. 4, the process then proceeds to S8, where the correct answer rate R of the first-class unit 10 (number NP) currently focused on is R.NP 'Is calculated. Details of the processing are as shown in FIG. That is, the previous correct answer rate R of the
[0080]
Returning to FIG. 4, the process proceeds to the unit generation / combination processing of S9. FIG. 5 shows the details. In S101, the number NS of the
[0081]
Also, in S103, the teaching signal TNSIs active, the process proceeds to S105, and the learning determination information F of the
[0082]
On the other hand, if the
[0083]
According to the flow of S6 to S9 in FIG. 4, the learning process for the
[0084]
Next, in S13, the correct answer rate R of the
[0085]
On the other hand, even if the learning process for a certain numberNPFor the
[0086]
As described above, the following advantages can be obtained by preventing the negative side input signal from intervening when the
[0087]
Instead of the processing from S23 to S25, the weight value W for the input signal Iii, NP ' Of these, the one whose absolute value is larger on the negative side can be negatively inverted and activated as the negative active input Ii (−1) and added as a new combined signal value σi. In addition, as a pre-process of creating a connection, an input signal and correlation information between the teacher signal and the output of the second type unit are created in advance, and when creating the first type unit, when creating a connection with the input signal, Learning can be further stabilized by selecting and adopting only the input that is actively correlated with the teacher signal, instead of simply mechanically adopting the positive input.
[0088]
Learning determination information F of the
[0089]
By the way, in the process of FIG. 4, in consideration of the fact that the
[0090]
The differences between the effects of the learning method of the present embodiment and the conventional back propagation (hereinafter abbreviated as “BP”) method are summarized as follows. The weight update learning formula in the BP method can be expressed as Wn = Wn + k (Tn-Yn) * Ii using the symbol of the present embodiment (however, in the intermediate unit, Tn is feedback from a plurality of units). Becomes). Further, (Tn-Yn) is the learning determination information F of this method.NP, But the contents are different as follows.
[0091]
[Table 1]
In addition, in S405 of FIG.NP 'Is updated using (2Ii-1) because (2Ii-1) becomes -1 when Ii is 0, so that it is possible to statistically eliminate extra input coupling. . On the other hand, the processing in FIG. 8 can be changed as shown in FIG. The threshold can be more smoothly increased by changing the threshold updating process from the method using the operation formula in S404 in FIG. 8 to the method using the operation expression in S404 'in FIG. Furthermore, in S405, S4051, and S4052 of FIG. 27, the number of updates of the combined value W can be reduced when the determinations do not match (that is, F = −1). When a large number of input patterns are mixed and mixed, the probability of the decision mismatch F = −1 becomes considerably larger than the decision match F = 1, and learning may not converge. In this case, there may be a method of eliminating inactive inputs by setting W = W + (I-1) only when the determination match F = 1, but there is a problem that the input becomes insensitive to noise. Therefore, in the processing of S405, S4051, and S4052, a processing result substantially equivalent to the update of W = W + (2I-1) is obtained only in the case of the determination coincidence (that is, F = 1). It is devised as follows.
[0093]
In the BP method, when Tn is large and the output Yn is small, Wn = Wn + k (Tn-0) * Ii. Seemingly similar. However, the fundamental difference in the BP method is that Ii cannot be defined unless there is a coupling between units. In order to initialize this with a random number, the coupling with the input signal that is truly necessary is performed. Increasing can only happen by chance. As a result, the coupling with an extra input signal has to be increased, and when the coupling with a necessary input signal is thin, it may be physically impossible to increase the coupling. Further, if the weight Wn is set uniformly, the coupling with the truly necessary input signal can be increased, but the coupling with all other units also increases, so that unit differentiation does not occur. In the BP method, the progress of the learning is greatly affected by the initial random numbers, and therefore, there is a disadvantage that the units are not well differentiated and the unit is likely to fall into a local solution. However, in the method of the present embodiment, when the second-type unit is not fired, the first-type unit is additionally created as necessary to make a connection with the positive-side active input signal. Such a problem does not occur.
[0094]
As described above, if the optimization by learning of the individual first-
[0095]
When the configuration of the
[0096]
In the
[Brief description of the drawings]
[0097]
FIG. 1 is a conceptual diagram showing an example of an equivalent circuit of a pattern teaching system according to the present invention.
FIG. 2 is a conceptual diagram showing an example of an equivalent circuit of a pattern input unit.
FIG. 3 is a diagram showing an example of realizing the pattern teaching system of FIG. 1 by computer emulation.
FIG. 4 is a flowchart showing an example of the processing flow of an emulation program of the pattern teaching system of FIG. 3;
FIG. 5 is a flowchart showing details of unit generation / combination processing in FIG. 4;
FIG. 6 is a flowchart showing details of a firing process of FIG. 4;
FIG. 7 is a flowchart illustrating details of a learning determination update process in FIG. 4;
FIG. 8 is a flowchart showing details of a weight setting / correct answer rate calculation process of FIG. 4;
FIG. 9 is a conceptual diagram of an input setting memory.
FIG. 10 is a conceptual diagram showing the contents of a storage memory for teaching signals and output signals.
FIG. 11 is a conceptual diagram showing the contents of a first-type unit linkable table and a first-type unit output memory.
FIG. 12 is a conceptual diagram showing the contents of a first type unit input side connection setting memory.
FIG. 13 is a conceptual diagram showing the contents of a weight setting memory.
FIG. 14 is a conceptual diagram showing the contents of a first type unit output side connection setting memory.
FIG. 15 is a conceptual diagram showing the contents of a learning determination result memory.
FIG. 16 is a schematic diagram showing a first example of a form of coupling an input signal to a first type unit.
FIG. 17 is a schematic diagram showing a second example of a mode of coupling an input signal to a first type unit.
FIG. 18 is an explanatory view showing a first example and a second example of the combined recombination between the first type unit and the second type unit.
FIG. 19 is an explanatory diagram showing a third example of the combined recombination between the first type unit and the second type unit.
FIG. 20 is an explanatory diagram showing a method of converting a first-type unit into an AND gate circuit.
FIG. 21 is an explanatory diagram illustrating the relationship between a pattern to be identified and a teaching pattern;
FIG. 22 is an explanatory view showing some examples of a sequence for repeatedly teaching the identified pattern and the teaching pattern.
FIG. 23 is a view conceptually illustrating the relationship between learning processing by the pattern teaching system of the present invention and input weight setting.
FIG. 24 is a block diagram showing an example in which an emulation type pattern teaching system is realized by a plurality of computers connected to a network.
FIG. 25 is an equivalent circuit diagram showing a modification of the pattern teaching system of the present invention shown in FIG. 1;
FIG. 26 is an equivalent circuit diagram showing another modification of the pattern teaching system of the present invention shown in FIG. 1;
27 is a flowchart showing another example of the weight setting / correct answer rate calculation processing of FIG. 4;
[Explanation of symbols]
[0098]
10
11
12 Pattern input section
13 Input side connection setting means
14 Output side coupling setting means
21 Output side coupling adjustment means
22 Learning determination information creation means
23 Input-side coupling adjustment means
24 Teaching signal setting means
30 Input layer
40 middle class
50 output layer
Ii input signal
mi Intermediate signal
Oi output signal
Ti teaching signal
Claims (22)
前記中間層の前段に位置し、被識別パターンをなす複数の入力信号を、前記中間層の最前段に位置する第一種ユニットの列に入力するパターン入力部を有した入力層と、
前記中間層の最終段に位置する第一種ユニットの出力を中間信号として、該中間信号が並列入力結合可能とされ、かつ、該中間信号の入力和に対する、前記第一の閾値よりも低い第二の閾値を有してなり、該入力和と前記第二の閾値との比較結果に基づいて出力信号を変化させる複数の第二種ユニットを有する出力層と、
複数の前記第二種ユニットの出力信号の集合を出力パターンとして、該出力パターンを構成する前記出力信号に一義的に対応した教示信号よりなる教示パターンを設定する教示信号設定手段と、
複数の前記中間信号を、複数の前記第二種ユニットに対し、任意の組合せにて入力結合設定する出力側結合設定手段と、
前記出力パターンをなす各出力信号と、対応する教示信号との一致状態を照合し、その照合結果に基づいて、前記出力パターンと前記教示パターンとの一致状態が改善されるように、各前記第二種ユニットに対する前記第一種ユニットの結合の組合せを変更する出力側結合調整手段とを有し、
前記入力層に２種以上の被識別パターンを順次繰り返して入力し、各被識別パターンの入力毎に、前記出力層をなす前記第二種ユニットの出力信号と前記教示信号との一致状態が改善されるように、前記出力側結合調整手段により、前記第二種ユニットと前記中間信号を出力する第一種ユニットとの結合の組合せ変更する学習処理を反復して行なうようにしたことを特徴とするパターン教示システム。Each of the plurality of signals can be coupled in parallel, and has a first threshold value for the input sum of the signals, and outputs its own signal based on a comparison result between the input sum and the first threshold value. An intermediate layer having a plurality of first-type units that change
An input layer having a pattern input unit for inputting a plurality of input signals forming a pattern to be identified to a row of a first type unit located at the forefront of the intermediate layer, which is located at a preceding stage of the intermediate layer.
The output of the first type unit located at the final stage of the intermediate layer is used as an intermediate signal, and the intermediate signal can be connected in parallel, and the input signal of the intermediate signal is lower than the first threshold. An output layer having a plurality of second type units that has two thresholds and changes an output signal based on a comparison result between the input sum and the second threshold,
A set of output signals of the plurality of second type units as an output pattern, a teaching signal setting means for setting a teaching pattern consisting of a teaching signal uniquely corresponding to the output signal constituting the output pattern;
A plurality of the intermediate signals, a plurality of the second type units, output-side coupling setting means for input coupling setting in any combination,
Each output signal forming the output pattern is compared with the matching state of the corresponding teaching signal, and based on the matching result, the matching state between the output pattern and the teaching pattern is improved so that each of the output signals is improved. Output-side coupling adjusting means for changing the combination of the coupling of the first-type unit to the two-type unit,
Two or more types of discrimination patterns are sequentially and repeatedly input to the input layer, and for each input of each discrimination pattern, the coincidence between the output signal of the second type unit forming the output layer and the teaching signal is improved. As described above, the output-side coupling adjusting means repeatedly performs a learning process of changing a combination of coupling between the second-type unit and the first-type unit that outputs the intermediate signal. Pattern teaching system.
また、前記被識別パターンと前記教示パターンとは、アクティブ状態と非アクティブ状態とのいずれかに設定される二値信号の集合よりなる請求項１ないし３のいずれか１項に記載のパターン教示システム。The first-type unit and the second-type unit are those that output any one of an active output and an inactive output in binary,
The pattern teaching system according to any one of claims 1 to 3, wherein the identified pattern and the teaching pattern comprise a set of binary signals set to one of an active state and an inactive state. .
前記出力側結合調整手段は、前記学習判定情報の内容に基づいて、対応する第二種ユニットの出力信号と教示信号との一致状態が改善されるように、前記第二種ユニットと前記第一種ユニットとの結合の組合せ設定を調整する請求項１ないし６のいずれか１項に記載のパターン教示システム。An output signal of the second type unit and a corresponding teaching based on an output state of the first type unit and a content of a teaching signal to the second type unit to which the first type unit is coupled; The learning determination information reflecting the state of coincidence with the signal, has learning determination information creating means for creating for each of a plurality of first type units,
The output-side coupling adjustment unit is configured to control the second-type unit and the first-type unit based on the content of the learning determination information so that a matching state between the output signal of the corresponding second-type unit and the teaching signal is improved. The pattern teaching system according to any one of claims 1 to 6, wherein a combination setting of the combination with the seed unit is adjusted.
前記学習判定情報作成手段は、前記第一種ユニットと前記教示信号との各出力のアクティブ／非アクティブの組合せに基づいて、前記学習判定情報を作成する請求項７記載のパターン教示システム。Having the requirements of claim 4,
8. The pattern teaching system according to claim 7, wherein the learning determination information creating unit creates the learning determination information based on an active / inactive combination of each output of the first type unit and the teaching signal.
前記第一種ユニットの出力がアクティブであり、かつ、該第一種ユニットが結合する前記第二種ユニットの少なくとも１つのものの出力に対応する教示信号がアクティブとなっている判定一致状態と、
前記第一種ユニットの出力がアクティブであり、かつ、該第一種ユニットが結合する前記第二種ユニットのすべてのものの出力に対応する教示信号が非アクティブとなっている判定不一致状態と、
前記第一種ユニットの出力が非アクティブであることを示す中立状態と、
が互いに識別可能な情報として作成する請求項８記載のパターン教示システム。The learning determination information creating means includes the learning determination information,
A determination matching state in which the output of the first type unit is active, and a teaching signal corresponding to the output of at least one of the second type units coupled to the first type unit is active;
An output of the first type unit is active, and a determination mismatch state in which a teaching signal corresponding to an output of all of the second type units coupled to the first type unit is inactive,
A neutral state indicating that the output of the first type unit is inactive;
9. The pattern teaching system according to claim 8, wherein the information is created as mutually identifiable information.
前記出力パターンと前記教示パターンとの一致状態が改善されるように、各前記第一種ユニットに対する前記入力信号の結合の重み及び／又は組合せを変更する入力側結合調整手段と、を有する請求項１ないし１０のいずれか１項に記載のパターン教示システム。A plurality of the input signals from the pattern input unit, input-side coupling setting means for setting distribution coupling in any combination to a plurality of first-class units located at the forefront side of the intermediate layer,
An input-side coupling adjusting unit that changes a weight and / or a combination of coupling of the input signal to each of the first-type units so that a matching state between the output pattern and the teaching pattern is improved. 11. The pattern teaching system according to any one of 1 to 10.
前記入力側結合調整手段は、前記新たな第一種ユニットの作成時において前記被識別パターンの前記入力信号のうちアクティブ状態となっているもののみを選択する形で各前記第一種ユニットに分配入力するものであり、さらに前記出力側結合調整手段により前記第二種ユニットと前記第一種ユニットとの結合の組合せ設定を調整する主学習処理を反復して行なったとき、前記第二種ユニットの出力信号と前記教示信号との一致状態が、前記主学習処理の後予め定められた条件を充足するようには改善されなかった場合には、前記入力信号のうちアクティブ状態となっているものを肯定アクティブ入力として、該肯定アクティブ入力に、非アクティブ状態となっている入力信号を否定反転してアクティブとした否定アクティブ入力を加えた形にて各前記第一種ユニットに分配入力するものであり、
前記出力側結合調整手段は、前記否定アクティブ入力が加わった後、さらに、前記第二種ユニットと前記第一種ユニットとの結合の組合せ設定を調整する補助学習処理を行なう請求項１１又は１２に記載のパターン教示システム。Having the requirements of claim 4,
The input-side coupling adjusting unit distributes the input signals of the identified pattern to each of the first-type units by selecting only those that are in an active state among the input signals of the pattern to be identified when the new first-type unit is created. When the main learning process for adjusting the combination setting of the combination of the second-type unit and the first-type unit by the output-side coupling adjustment unit is further repeated, the second-type unit If the matching state between the output signal and the teaching signal is not improved so as to satisfy a predetermined condition after the main learning process, the input signal which is in the active state As a positive active input, and a negative active input in which the inactive input signal is negatively inverted and activated is added to the positive active input. Are those Te distributes input to each of said first type unit,
13. The output-side coupling adjusting means according to claim 11 or 12, further comprising, after the negative active input is applied, an auxiliary learning process for adjusting a combination setting of the coupling between the second type unit and the first type unit. The described pattern teaching system.
前記第一種ユニットに結合される前記入力信号の重み値を設定する重み設定手段と、
前記学習判定情報の内容に基づいて、対応する第二種ユニットの出力信号と教示信号との一致状態が改善されるように、前記第二種ユニットに結合されている前記第一種ユニットへの前記入力信号の重み値を調整する重み調整手段と、
を有した請求項１ないし１３のいずれか１項に記載のパターン教示システム。The first type unit is configured such that the input signal can be parallel-input coupled in a weighted form, and the first threshold is set for a weighted input sum of the input signal,
Weight setting means for setting a weight value of the input signal coupled to the first type unit,
Based on the content of the learning determination information, the matching between the output signal of the corresponding second type unit and the teaching signal is improved, so that the first type unit coupled to the second type unit is Weight adjustment means for adjusting the weight value of the input signal,
The pattern teaching system according to any one of claims 1 to 13, further comprising:
前記重み調整手段は、前記学習判定情報が前記判定一致状態となっている前記第一種ユニットに対しては前記入力信号のうちアクティブとなっているものとの重みを増加させ、前記判定不一致状態となっている前記第一種ユニットに対しては前記入力信号のうちアクティブとなっているものとの重みを減少させる処理を行なう請求項１４又は１５に記載のパターン教示システム。Comprising the requirements of claim 5,
The weight adjusting means increases the weight of the first type unit in which the learning determination information is in the determination coincidence state with an active one of the input signals, and increases the weight in the determination inconsistency state. 16. The pattern teaching system according to claim 14, wherein a process of reducing the weight of the input signal that is active among the input signals is performed on the first type unit.
前記入力信号を前記重み値に応じて取捨選択しつつ前記第一種ユニットを、残した入力信号に対応した二値入力端子を有する論理積ゲート回路にて置換し、さらに、該第一種ユニットからの中間出力が結合される前記第二種ユニットを、該中間出力に対応した二値入力端子を有する論理和ゲート回路にて置換する工程と、
を含むことを特徴とするパターン識別装置のデジタル論理回路設計方法。18. The pattern teaching system according to claim 14, wherein two or more kinds of the identified patterns are sequentially and repeatedly input to the input layer, and the input layer forms the output layer for each input of the identified pattern. Combination of the combination of the second-type unit and the first-type unit outputting the intermediate signal by the output-side coupling adjusting means so that the coincidence between the output signal of the two-type unit and the teaching signal is improved. Change, and further, based on the content of the learning determination information, the second type unit coupled to the second type unit such that the matching state between the output signal and the teaching signal of the corresponding second type unit is improved. Repeatedly performing a learning process of adjusting the weight value of the input signal to the kind of unit;
The first type unit is replaced with an AND gate circuit having a binary input terminal corresponding to the remaining input signal while selecting the input signal according to the weight value, and further, the first type unit Replacing the second type unit to which the intermediate output is coupled with an OR gate circuit having a binary input terminal corresponding to the intermediate output;
A digital logic circuit designing method for a pattern identification device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003272813A JP3526859B1 (en) | 2002-12-26 | 2003-07-10 | Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378619 | 2002-12-26 | ||
| JP2002-378619 | 2002-12-26 | ||
| JP2003272813A JP3526859B1 (en) | 2002-12-26 | 2003-07-10 | Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP3526859B1 JP3526859B1 (en) | 2004-05-17 |
| JP2004252943A true JP2004252943A (en) | 2004-09-09 |
Family
ID=32473744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003272813A Expired - Fee Related JP3526859B1 (en) | 2002-12-26 | 2003-07-10 | Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3526859B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361577B2 (en) | 2013-09-09 | 2016-06-07 | Kabushiki Kaisha Toshiba | Processing device and computation device |
-
2003
- 2003-07-10 JP JP2003272813A patent/JP3526859B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361577B2 (en) | 2013-09-09 | 2016-06-07 | Kabushiki Kaisha Toshiba | Processing device and computation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3526859B1 (en) | 2004-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108465244B (en) | AI method for parameter configuration, device, equipment and storage medium for racing class AI model | |
| US6601053B1 (en) | Optimized artificial neural networks | |
| JP5656202B2 (en) | Feature extraction device, feature extraction method, and program thereof | |
| JPH04288662A (en) | Learning method for neural network system | |
| CN111310409B (en) | Multi-stage FPGA wiring method for optimizing time division multiplexing technology | |
| Yih et al. | A neural network design for circuit partitioning | |
| US7991617B2 (en) | Optimum design management apparatus from response surface calculation and method thereof | |
| CN112242963B (en) | Rapid high-concurrency neural pulse data packet distribution and transmission method and system | |
| Spieth et al. | A memetic inference method for gene regulatory networks based on S-Systems | |
| CN111412795B (en) | Test point setting scheme generation method and device | |
| JP2004252943A (en) | Pattern teaching system, pattern identification device using the same, computer program, and digital logic circuit design method for pattern identification device | |
| Garg et al. | Modeling of multiple valued gene regulatory networks | |
| US7370019B2 (en) | Method and device for evolving a network using a genetic representation | |
| Parvin et al. | A scalable method for improving the performance of classifiers in multiclass applications by pairwise classifiers and GA | |
| CN108334935B (en) | Deep learning neural network method and device for simplifying input and robot system | |
| Gutiérrez et al. | Designing multilayer perceptrons using a guided saw-tooth evolutionary programming algorithm | |
| Santos et al. | Evolutionary generation and training of recurrent artificial neural networks | |
| JP6926045B2 (en) | Neural networks, learning devices, learning methods, and programs | |
| CN111291792A (en) | Traffic data type integrated classification method and device based on double evolution | |
| WO2004097733A2 (en) | Neural networks | |
| CN112733433A (en) | Equipment testability strategy optimization method and device | |
| Tan et al. | Monotonicity of fixation probability of evolutionary dynamics on complex networks | |
| JP2001044286A (en) | Bus structure, data base, and method of designing interface | |
| Koza et al. | Evolving sorting networks using genetic programming and rapidly reconfigurable field-programmable gate arrays | |
| Wu et al. | Counter-propagation neural networks for molecular sequence classification: supervised LVQ and dynamic node allocation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040217 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090227 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |