JPH07219921A - Method and device for learning pattern recognition device using neural network - Google Patents
Method and device for learning pattern recognition device using neural networkInfo
- Publication number
- JPH07219921A JPH07219921A JP6010327A JP1032794A JPH07219921A JP H07219921 A JPH07219921 A JP H07219921A JP 6010327 A JP6010327 A JP 6010327A JP 1032794 A JP1032794 A JP 1032794A JP H07219921 A JPH07219921 A JP H07219921A
- Authority
- JP
- Japan
- Prior art keywords
- pattern data
- learning
- neural network
- data file
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、文字や図形などの画像
やその他の情報のパターンを認識するための装置に関す
るものであり、特にその中でもニューラルネットワーク
（神経回路網）を用いたパターン認識装置におけるニュ
ーラルネットワークの効率的な学習方法および学習装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for recognizing images such as characters and figures and patterns of other information, and in particular, a pattern recognizing device using a neural network. The present invention relates to an efficient learning method and learning device for a neural network.
【０００２】[0002]
【従来の技術】パターン認識装置には、標準パターン辞
書を備え、入力パターンにより標準パターン辞書を検索
して類似度を算出し、最も近い標準パターンを認識結果
として出力する方式と、ニューラルネットワークを用
い、ニューラルネットワークに標準パターン（あるいは
サンプルパターン）を学習させて入力パターンを認識さ
せる方式がある。標準パターン辞書を用いる方式では、
パターン認識の精度を上げようとすると多数の標準パタ
ーンを辞書に登録しなければならず、大きなメモリ容量
が必要となり、また類似度の算出に時間がかかり認識速
度が低下するという問題があった。その点、ニューラル
ネットワークを用いる方式では、標準パターン辞書が不
要であるためメモリ容量は少なくて済み、認識速度も上
げられる利点があるが、ニューラルネットワークの学習
に時間がかかるという問題があった。2. Description of the Related Art A pattern recognition apparatus is provided with a standard pattern dictionary, a standard pattern dictionary is searched by an input pattern to calculate a similarity, and the closest standard pattern is output as a recognition result. , There is a method in which a neural network learns a standard pattern (or sample pattern) to recognize an input pattern. In the method that uses the standard pattern dictionary,
In order to improve the accuracy of pattern recognition, a large number of standard patterns must be registered in the dictionary, a large memory capacity is required, and it takes time to calculate the degree of similarity, resulting in a decrease in recognition speed. On the other hand, the method using the neural network has an advantage that the memory capacity is small and the recognition speed is increased because the standard pattern dictionary is unnecessary, but there is a problem that it takes time to learn the neural network.
【０００３】図４はニューラルネットワークとその学習
方法を示したものである。図４において、１は入力層、
２は中間層、３は出力層である。入力層１、中間層２、
出力層３はそれぞれ複数のニューロンで構成され、各層
のニューロン間は、荷重Ｗ11，Ｗ12，…，Ｗn1，Ｗn2，
…で結合されている。学習時に、学習対象の入力パター
ンが入力層１の各ニューロンに入力され、出力層３の各
ニューロンから出力パターンが出力される。出力パター
ンは教師信号と比較され、誤差が検出される。検出され
た誤差はバックプロパゲーション則などによって各層間
の荷重値に伝搬され、荷重値が修正される。FIG. 4 shows a neural network and its learning method. In FIG. 4, 1 is an input layer,
2 is an intermediate layer and 3 is an output layer. Input layer 1, middle layer 2,
The output layer 3 is composed of a plurality of neurons, and the weights W 11 , W 12 , ..., W n1 , W n2 ,
Are joined by ... At the time of learning, the input pattern to be learned is input to each neuron in the input layer 1, and the output pattern is output from each neuron in the output layer 3. The output pattern is compared with the teacher signal and the error is detected. The detected error is propagated to the load value between the layers by the back propagation rule or the like, and the load value is corrected.
【０００４】たとえば文字認識の場合、入力パターンは
文字のドットパターンであり、出力パターンは文字コー
ドとなる。教師信号は入力パターンに対応する正しい文
字コードであり、学習は、出力パターンの文字コードが
教師信号の文字コードと一致するようにニューラルネッ
トワーク内の荷重値を修正することによって行われる。
この学習は、図５（ａ）に示される学習対象パターンデ
ータファイルのように通常、１つの文字種別について複
数の文字パターンを用いて行われ、これを認識対象の複
数の文字種別について繰り返す。For example, in the case of character recognition, the input pattern is a dot pattern of characters and the output pattern is a character code. The teacher signal is the correct character code corresponding to the input pattern, and learning is performed by modifying the weight value in the neural network so that the character code of the output pattern matches the character code of the teacher signal.
This learning is normally performed using a plurality of character patterns for one character type as in the learning target pattern data file shown in FIG. 5A, and this is repeated for a plurality of character types to be recognized.
【０００５】図５（ｂ）は、従来のニューラルネットワ
ークにおける学習処理のフローであり、図５（ａ）の学
習対象パターンデータファイル内にある各パターンデー
タＡ…，Ｂ…，…が全て一定の誤差範囲内で認識される
まで、学習−認識の処理を循環的に繰り返す。これは、
既に学習済みとなっているパターンデータであっても、
後に他のパターンデータが学習される結果ニューラルネ
ットワークの荷重値が変化して認識不能となる場合もあ
るため、再学習を繰り返すことによって、全体としての
認識精度を高めるためである。FIG. 5B is a flow of a learning process in the conventional neural network, and all the pattern data A ..., B ..., In the learning target pattern data file of FIG. 5A are constant. The learning-recognition process is cyclically repeated until recognition is performed within the error range. this is,
Even if the pattern data has already been learned,
This is because the weighting value of the neural network may be changed as a result of later learning of other pattern data and recognition may not be possible. Therefore, re-learning is repeated to improve the recognition accuracy as a whole.
【０００６】[0006]
【発明が解決しようとする課題】従来のニューラルネッ
トワークを用いたパターン認識装置では、ニューラルネ
ットワークに新しく所定の入出力特性を与えるため（ニ
ューラルネットワークは入力パターンと出力パターンと
の間の一種の変換機能と考えることができる）に学習を
行う場合、学習対象パターンデータファイル全体を繰り
返しニューラルネットワークに与えて学習−認識処理を
行わせており、また学習済みのニューラルネットワーク
の認識対象を拡大、変更する場合には、学習済みの既存
の学習対象パターンデータファイルに新しいパターンデ
ータを追加したものあるいはその一部のパターンデータ
を変更したもの全体をニューラルネットワークに繰り返
して与えて、学習−認識処理を行わせているため、処理
に時間がかかっていた。In a conventional pattern recognition device using a neural network, a new predetermined input / output characteristic is given to the neural network (a neural network is a kind of conversion function between an input pattern and an output pattern). When learning is performed, the learning target pattern data file is repeatedly given to the neural network to perform the learning-recognition process, and the recognition target of the learned neural network is expanded or changed. , The existing learning target pattern data file with new pattern data added or part of the pattern data changed is repeatedly given to the neural network to perform learning-recognition processing. Process takes time because It was.
【０００７】本発明は、ニューラルネットワークを用い
るパターン認識装置において、学習処理を効率化し、処
理時間を短縮することを目的としている。An object of the present invention is to improve the efficiency of learning processing and shorten the processing time in a pattern recognition device using a neural network.
【０００８】[0008]
【課題を解決するための手段】本発明は、学習対象パタ
ーンデータファイルからパターン種別ごとに少数の代表
パターンデータを抽出し、抽出した少数の代表パターン
データと、ニューラルネットワークで正しく認識できな
かったパターンデータとから構成する代表パターンデー
タファイルを元の学習対象パターンデータファイルに代
えて使用し、ニューラルネットワークに学習させること
によって、学習処理を行うデータ量の圧縮を図るもので
ある。この代表パターンデータファイルでニューラルネ
ットワークを学習させ、次に元の学習対象パターンデー
タファイルを認識処理させ、ここで正しく１位で認識さ
れなかったパターンデータを抽出して、代表パターンデ
ータファイルを更新しそのファイルで再び学習を行わせ
る。これを学習対象パターンデータ内の全てのパターン
データが正しく認識できるようになるまで繰り返し実行
する。The present invention extracts a small number of representative pattern data for each pattern type from a learning target pattern data file, and extracts a small number of representative pattern data and patterns that cannot be correctly recognized by a neural network. A representative pattern data file composed of data is used in place of the original learning target pattern data file, and a neural network is made to learn, so that the amount of data for the learning process is compressed. The neural network is trained with this representative pattern data file, then the original learning target pattern data file is recognized, and the pattern data that is not correctly recognized in the first place is extracted here, and the representative pattern data file is updated. Let the file learn again. This is repeated until all pattern data in the learning target pattern data can be correctly recognized.
【０００９】図１は、本発明によるパターン認識装置の
学習方法の説明図である。図１において、４は、文字等
のパターン情報を認識するパターン認識装置である。FIG. 1 is an explanatory diagram of a learning method of the pattern recognition apparatus according to the present invention. In FIG. 1, 4 is a pattern recognition device for recognizing pattern information such as characters.
【００１０】５は、図４に示されるようなニューラルネ
ットワークである。６は、ニューラルネットワーク５を
本発明により学習処理する学習装置である。Reference numeral 5 is a neural network as shown in FIG. Reference numeral 6 is a learning device for learning the neural network 5 according to the present invention.
【００１１】７は学習対象パターンデータファイルであ
り、Ａ1 ，Ａ2 ，…，Ａm ，Ｂ1 ，Ｂ2 ，…，Ｂn ，
…，Ｘ1 ，Ｘ2 ，…，Ｘp はそれぞれパターン種別Ａ，
Ｂ，…，Ｘの異なるｍ個，ｎ個，…，ｐ個のパターンデ
ータを表している。このファイルは、たとえば新規のパ
ターンデータのみ、あるいは以前に学習されたパターン
データと新規の追加パターンデータとによって構成され
る。Reference numeral 7 denotes a learning target pattern data file, which is A 1 , A 2 , ..., Am , B 1 , B 2 , ..., B n ,
, X 1 , X 2 , ..., X p are pattern types A, respectively.
.., X different m, n, ..., P pattern data. This file is composed of, for example, only new pattern data, or previously learned pattern data and new additional pattern data.
【００１２】８は、学習処理のフローである。９は、代
表パターンデータファイルであり、学習対象パターンデ
ータファイル７から、パターン種別ごとに少数個、例え
ば１個ずつ抽出された代表パターンデータを基本に構成
され、さらに学習処理中、ニューラルネットワーク５に
よって１位認識されなかった学習対象パターンデータフ
ァイル７中のパターンデータが追加される。Reference numeral 8 is a flow of learning processing. Reference numeral 9 is a representative pattern data file, which is basically composed of representative pattern data extracted from the learning target pattern data file 7 by a small number, for example, one for each pattern type. The pattern data in the learning target pattern data file 7 which is not recognized as the first place is added.
【００１３】学習処理のフロー８により学習装置６の動
作を説明すると、まず、与えられた学習対象パターンデ
ータファイル７から、代表パターンデータたとえば
Ａi ，Ｂ i ，Ｘi を抽出し、代表パターンデータファイ
ル９を作成する。According to the learning processing flow 8, the learning device 6 operates.
Explaining the work, first, the learning target pattern data
From the data file 7, representative pattern data such as
Ai, B i, XiExtract the representative pattern data file
Create Rule 9.
【００１４】次に、この代表パターンデータファイル９
によりニューラルネットワーク５を学習させる。次に、
ニューラルネットワーク５に学習対象パターンデータフ
ァイル７を認識処理させる。ここでニューラルネットワ
ーク５に入力したパターンデータが正しく１位認識され
なかったとき、つまり、入力されたパターンデータに対
してそのパターンデータの教師信号とは異なる値の出力
パターンが１位となり、誤認識や認識不能となったとき
には、その１位認識されなかった（下位認識された）パ
ターンデータを抽出する。そして抽出したパターンデー
タは全て代表パターンデータファイル９に追加し、代表
パターンデータファイル９を更新する。Next, this representative pattern data file 9
The neural network 5 is learned by. next,
The neural network 5 is made to recognize the learning target pattern data file 7. Here, when the pattern data input to the neural network 5 is not correctly recognized as the first place, that is, the output pattern having a value different from the teacher signal of the pattern data becomes the first place for the input pattern data, resulting in erroneous recognition. When it becomes impossible to recognize the pattern data, the pattern data that is not recognized as the first place (lower order is recognized) is extracted. Then, all the extracted pattern data is added to the representative pattern data file 9 and the representative pattern data file 9 is updated.
【００１５】この更新された代表パターンデータファイ
ル９によりニューラルネットワーク５を学習させ、学習
後のニューラルネットワーク５により学習対象パターン
データファイル７を再び認識処理させる。このようにし
て、学習対象パターンデータファイル７のパターンデー
タが全て１位で認識されるようになり代表パターンデー
タファイル９を更新する必要がなくなるまで、学習と認
識の過程を繰り返す。学習対象パターンデータファイル
７の全てのパターンデータが正しく１位で認識されるよ
うになったとき学習処理を終了する。なお代表パターン
データファイルの更新は、最初の代表パターンデータに
今回の下位認識パターンデータのみを追加する形で行わ
れる。The neural network 5 is learned by the updated representative pattern data file 9, and the learned pattern data file 7 is recognized again by the learned neural network 5. In this way, the process of learning and recognition is repeated until all the pattern data of the learning target pattern data file 7 is recognized in the first place and there is no need to update the representative pattern data file 9. When all the pattern data of the learning target pattern data file 7 are correctly recognized in the first place, the learning process ends. The representative pattern data file is updated by adding only the lower recognition pattern data of this time to the first representative pattern data.
【００１６】図２は、本発明による学習装置６の基本構
成を示す。なお、図１と共通な要素には同一の参照番号
を付して示してある。したがってパターン認識装置４、
ニューラルネットワーク５、学習装置６、学習対象パタ
ーンデータファイル７および代表パターンデータファイ
ル９については、図１での説明がそのまま適用される。FIG. 2 shows the basic configuration of the learning device 6 according to the present invention. Note that elements common to FIG. 1 are shown with the same reference numerals. Therefore, the pattern recognition device 4,
For the neural network 5, the learning device 6, the learning target pattern data file 7, and the representative pattern data file 9, the description in FIG. 1 is applied as it is.
【００１７】１０は、代表パターンデータファイル作成
手段であり、学習対象パターンデータファイル７のパタ
ーンデータからパターン種別ごとに少数の代表パターン
データを抽出する。たとえば各パターン種別ごとに先頭
のパターンデータあるいはパターンデータごとに誤差が
分かっている場合には最も誤差の大きいパターンデータ
を抽出する。そして抽出した各パターンデータにより代
表パターンデータファイル９を作成する機能をもってい
る。A representative pattern data file creating means 10 extracts a small number of representative pattern data for each pattern type from the pattern data of the learning target pattern data file 7. For example, if an error is known for the first pattern data or each pattern data for each pattern type, the pattern data with the largest error is extracted. Then, it has a function of creating a representative pattern data file 9 from each of the extracted pattern data.
【００１８】１１は、学習手段であり、代表パターンデ
ータファイル９によりニューラルネットワーク５を学習
させる機能をもっている。１２は、荷重ファイルであ
り、初めはニューラルネットワーク５の荷重の初期値デ
ータが格納され、その後、学習手段１１がニューラルネ
ットワーク５を代表パターンデータファイル９で学習さ
せた結果の更新された荷重データが格納される。Reference numeral 11 is a learning means, which has a function of learning the neural network 5 using the representative pattern data file 9. Reference numeral 12 is a weight file, which initially stores initial value data of the weight of the neural network 5, and thereafter, updated weight data obtained as a result of the learning means 11 learning the neural network 5 with the representative pattern data file 9. Is stored.
【００１９】１３は、認識制御手段であり、荷重ファイ
ル１２の荷重データをニューラルネットワーク５に適用
して、学習対象パターンデータファイル７の認識処理を
行わせる機能をもっている。Reference numeral 13 is a recognition control means, which has a function of applying the weight data of the weight file 12 to the neural network 5 to perform recognition processing of the learning target pattern data file 7.
【００２０】１４は、下位認識パターンデータ抽出手段
であり、ニューラルネットワーク５が学習対象パターン
データファイル７を認識処理した結果について調べ、１
位認識されなかったパターンデータ（下位認識パターン
データ）を抽出する。機能をもっている。Reference numeral 14 is a lower recognition pattern data extraction means, which checks the result of recognition processing of the learning target pattern data file 7 by the neural network 5 and 1
The pattern data that is not recognized as a position (lower-level recognition pattern data) is extracted. It has a function.
【００２１】１５は、代表パターンデータファイル更新
手段であり、抽出された下位認識パターンデータを代表
パターンデータファイル９の元の代表パターンデータに
追加し、ファイルを更新する機能をもっている。このと
き追加する下位認識パターンデータも、種別ごとに少数
の代表パターンデータを抽出して行う。A representative pattern data file updating means 15 has a function of adding the extracted lower recognition pattern data to the original representative pattern data of the representative pattern data file 9 and updating the file. The lower-level recognition pattern data added at this time is also extracted by extracting a small number of representative pattern data for each type.
【００２２】学習装置６は、１０，１１，１３，１４，
１５の各手段を矢線で示す順序で動作させ、学習対象パ
ターンデータファイル７のパターンデータが全て正しく
１位で認識されるようになったとき、学習処理を終了す
る。The learning device 6 includes 10, 11, 13, 14,
When the respective means of 15 are operated in the order shown by the arrow and all the pattern data of the learning target pattern data file 7 are correctly recognized in the first place, the learning process is ended.
【００２３】[0023]
【作用】図１、図２に示された本発明の動作を説明す
る。学習処理の開始時点では、ニューラルネットワーク
５の荷重データは初期値に設定されている。そのため、
学習対象パターンデータファイル７の中からパターン種
別ごとに少数のたとえば１個の代表パターンデータを抽
出し、代表パターンデータファイル９を作成する。そし
てこの少数のパターンデータからなる代表パターンデー
タファイル９を用いてニューラルネットワーク５を最初
に学習させる。The operation of the present invention shown in FIGS. 1 and 2 will be described. At the start of the learning process, the weight data of the neural network 5 is set to the initial value. for that reason,
A small number of, for example, one representative pattern data is extracted from the learning target pattern data file 7 for each pattern type, and a representative pattern data file 9 is created. Then, the neural network 5 is first learned using the representative pattern data file 9 consisting of this small number of pattern data.
【００２４】ニューラルネットワーク５の最初の学習の
後、ニューラルネットワーク５に学習対象パターンデー
タファイル７を認識処理させると、正しく認識されるパ
ターンデータがかなり得られる。ここで正しく認識され
なかったパターンデータのみを抽出し、必要な場合さら
にその中からパターン識別ごとに代表パターンデータを
さらに抽出して代表パターンデータファイル９に追加す
る（初めの代表パターンデータと今回正しく認識されな
かった代表パターンデータとの合成）。このときの代表
パターンデータファイル９のデータ量は最初の学習に用
いた代表パターンデータファイル９のデータ量よりも誤
読したパターン種別分だけ多くなる。After the initial learning of the neural network 5, when the neural network 5 is made to recognize the pattern data file 7 to be learned, a considerable amount of correctly recognized pattern data is obtained. Here, only the pattern data that is not correctly recognized is extracted, and if necessary, the representative pattern data is further extracted for each pattern identification and added to the representative pattern data file 9 (the first representative pattern data and this time correctly). Synthesis with unrecognized representative pattern data). The data amount of the representative pattern data file 9 at this time is larger than the data amount of the representative pattern data file 9 used for the first learning by the misread pattern type.
【００２５】以後、代表パターンデータファイル９によ
るニューラルネットワーク５の学習、ニューラルネット
ワーク５による学習対象パターンデータファイル７の認
識処理、正しく認識されていないパターンデータの抽出
と代表パターンデータファイル９の更新、のサイクルを
繰り返すごとに代表パターンデータファイル９のデータ
量は多くなるが、学習対象パターンデータファイル７自
体で学習するよりはデータ量が少ないので、短時間で学
習処理が完了する。After that, the learning of the neural network 5 by the representative pattern data file 9, the recognition processing of the learning target pattern data file 7 by the neural network 5, the extraction of the pattern data which is not correctly recognized, and the updating of the representative pattern data file 9 are performed. Although the data amount of the representative pattern data file 9 increases each time the cycle is repeated, the data amount is smaller than that learned by the learning target pattern data file 7 itself, so the learning process is completed in a short time.
【００２６】このように本発明では、ニューラルネット
ワークの認識性能のチェックは学習対象パターンデータ
ファイル７の全パターンデータにより行われるが、ニュ
ーラルネットワーク５の学習は、学習済みのパターンデ
ータをほぼ除去した必要最小限のパターンデータに自動
的に絞り込んで行われるので、効率的な学習処理が可能
となる。As described above, in the present invention, the recognition performance of the neural network is checked by all the pattern data of the learning target pattern data file 7, but the learning of the neural network 5 requires that the learned pattern data is almost removed. Since it is automatically narrowed down to the minimum pattern data, efficient learning processing becomes possible.
【００２７】[0027]
【実施例】図３（ａ），（ｂ）により、本発明を文字認
識装置に適用した実施例について説明する。図３（ａ）
は、実施例の学習処理フローを示し、図３（ｂ）は学習
処理に用いられる文字パターンデータの構成を示す。EXAMPLE An example in which the present invention is applied to a character recognition device will be described with reference to FIGS. 3 (a) and 3 (b). Figure 3 (a)
Shows a learning process flow of the embodiment, and FIG. 3B shows a structure of character pattern data used for the learning process.
【００２８】図３（ｂ）に示される文字パターンデータ
は、１文字ごとに作成され、全体が１３６ｂｙｔｅの大
きさをもつ。図中、１６は１文字のイメージデータであ
り、３２×３２ドット（１０２４ドット）のイメージ領
域のサイズを、１ドット１ｂｙｔｅとして１２８ｂｙｔ
ｅのデータで表している。１７はＪＥＦコードで表した
教師データである。１８はイメージデータ１６の折り返
しドット数（１０２４ドット）である。１９は文字幅で
あり、文字パターン自体のドット幅を示す。２０は文字
高さであり、文字パターン自体のドット高さを示す。The character pattern data shown in FIG. 3B is created for each character, and has a size of 136 bytes as a whole. In the figure, 16 is the image data of one character, and the size of the image area of 32 × 32 dots (1024 dots) is 128 bytes when 1 dot is 1 byte.
It is represented by the data of e. Reference numeral 17 is teacher data represented by a JEF code. 18 is the number of folded dots (1024 dots) of the image data 16. Reference numeral 19 denotes a character width, which indicates the dot width of the character pattern itself. 20 is the character height, which indicates the dot height of the character pattern itself.
【００２９】次に図３（ａ）のフローを説明する。図中
のＡ０〜Ａ９，Ｂ１〜Ｂ３は処理のステップを表す。ま
ずＡ０で、学習対象パターンデータファイル７から代表
パターンデータファイル９を作成する。この後、Ｂ１な
いしＢ３の学習処理が実行される。Next, the flow of FIG. 3A will be described. A0 to A9 and B1 to B3 in the figure represent processing steps. First, in A0, a representative pattern data file 9 is created from the learning target pattern data file 7. After that, the learning process of B1 to B3 is executed.
【００３０】Ｂ１では、Ａ８で作成された代表パターン
データファイル９から１つの文字のパターンデータを読
み出す。Ｂ２では、読み出されたパターンデータに基づ
きニューラルネットワークを学習させる。At B1, pattern data of one character is read from the representative pattern data file 9 created at A8. At B2, the neural network is trained based on the read pattern data.
【００３１】Ｂ３では、代表パターンデータファイル９
の残りを調べ、残りがあればＢ１へ戻り、残りがなけれ
ばＡ１へ戻る。次にＡ１において、学習対象パターンデ
ータファイル７から１文字分のパターンデータ（図３
（ｂ）参照）の読み出しを行う。In B3, the representative pattern data file 9
Check the rest, and if there is a remainder, return to B1, and if there is no remainder, return to A1. Next, in A1, pattern data for one character from the learning target pattern data file 7 (see FIG.
(See (b)).
【００３２】Ａ２において、学習対象パターンデータフ
ァイル７に読み出すべきパターンデータが残っているか
どうかを判定し、パターンデータが残っていない場合に
はＢ１〜Ｂ３の処理を行うが、パターンデータが残って
いる場合には、Ａ４以降の処理を行う。At A2, it is determined whether or not the pattern data to be read remains in the learning target pattern data file 7, and if the pattern data does not remain, the processes of B1 to B3 are performed, but the pattern data remains. In this case, the processing after A4 is performed.
【００３３】Ａ３では、学習対象パターンデータファイ
ル７から読み出した１文字分のパターンデータ（図３
（ｂ））から文字イメージデータ１６を抽出する。Ａ４
では、抽出した文字イメージデータ１６をニューラルネ
ットワークの入力層１（図４）にセットする。At A3, the pattern data for one character read from the learning target pattern data file 7 (see FIG.
The character image data 16 is extracted from (b)). A4
Then, the extracted character image data 16 is set in the input layer 1 (FIG. 4) of the neural network.
【００３４】Ａ５では、ニューラルネットワークに認識
動作を行わせる。Ａ６では、ニューラルネットワークか
ら出力されるデータと教師データ１７（図３（ｂ））と
を比較し、誤差を検出する。At A5, the neural network is made to perform the recognition operation. At A6, the data output from the neural network is compared with the teacher data 17 (FIG. 3B) to detect an error.
【００３５】Ａ７では、誤差の大きさから認識の可、不
可を判定する。認識可の場合にはＡ９以降の処理を行
い、認識不可の場合にはＡ８以降の処理を行う。Ａ８で
は、Ａ０で作成した代表パターンデータファイル９に、
Ａ７で認識不可と判定されたパターンデータを追加し、
ファイルを更新する。このとき、認識不可となった文字
イメージデータ群の中から文字種別ごとに誤差の大きい
方の文字イメージデータを１個ずつ抽出して代表パター
ンデータとし、代表パターンデータファイル９に追加す
ることができる。この後Ａ１に戻る。At A7, whether the recognition is possible or not is determined based on the size of the error. If the recognition is possible, the processing from A9 is performed, and if the recognition is not possible, the processing from A8 is performed. At A8, in the representative pattern data file 9 created at A0,
Add the pattern data that is determined to be unrecognizable in A7,
Update the file. At this time, character image data having a larger error for each character type is extracted from the unrecognizable character image data group one by one, and the representative pattern data can be added to the representative pattern data file 9. . After this, return to A1.
【００３６】Ａ９では、Ａ７で認識可とされた場合、こ
れで学習対象パターンデータファイル７の全てのパター
ンデータが認識可として処理されたがどうかを判定す
る。このため、たとえばＡ８で代表パターンデータファ
イル９を更新したときに、フラグを立てておき、フラグ
の値から認識可でないパターンデータが存在したかどう
かを知ることができるようにする。そしてフラグが立っ
ている場合には、認識不可のパターンデータが含まれて
いたと判定して、Ａ１に戻る。At A9, if the recognition is possible at A7, it is determined whether all the pattern data of the learning target pattern data file 7 are processed as recognizable. Therefore, for example, when the representative pattern data file 9 is updated in A8, a flag is set and it becomes possible to know from the value of the flag whether there is pattern data that cannot be recognized. When the flag is set, it is determined that the unrecognizable pattern data is included, and the process returns to A1.
【００３７】次に先のＡ２で、学習対象パターンデータ
ファイル７から全てのパターンデータが読み出されたこ
とが判定され、しかもＡ９で認識不可のパターンデータ
が含まれていたことが判定されていた場合にＢ１ないし
Ｂ３が実行される。Next, it was determined in A2 that all the pattern data was read from the learning target pattern data file 7, and it was determined in A9 that the unrecognizable pattern data was included. In that case, B1 to B3 are executed.
【００３８】以上のＡ１〜Ａ９、Ｂ１〜Ｂ３の動作は、
Ａ９で学習対象パターンデータファイル７の全パターン
データが認識可となったことを判定されるまで繰り返さ
れ、全パターンデータが認識可となったときに終了す
る。The operations of A1 to A9 and B1 to B3 are as follows.
The process is repeated until it is determined in A9 that all the pattern data of the learning target pattern data file 7 is recognizable, and ends when all the pattern data are recognizable.
【００３９】なお、学習対象パターンデータファイル７
による学習処理が完了したパターン認識装置において、
さらにパターンデータの追加、変更を行う場合には、学
習対象パターンデータファイル７を更新して再学習処理
を行うが、パターンデータの追加の場合には代表パター
ンデータファイル９に追加することもできる。The learning target pattern data file 7
In the pattern recognition device for which the learning process by
Further, when the pattern data is added or changed, the learning target pattern data file 7 is updated and the relearning process is performed. However, when the pattern data is added, it can be added to the representative pattern data file 9.
【００４０】[0040]
【発明の効果】本発明によれば、従来のパターン認識装
置にくらべて、学習が完了するまでの総学習データ量を
大幅に削減することができ、学習処理の効率化により学
習に要する時間が著しく短縮される。According to the present invention, the total amount of learning data until the learning is completed can be greatly reduced as compared with the conventional pattern recognition apparatus, and the time required for the learning is improved by the efficiency of the learning process. Significantly shortened.
【図１】本発明によるパターン認識装置の学習方法の説
明図である。FIG. 1 is an explanatory diagram of a learning method of a pattern recognition device according to the present invention.
【図２】本発明によるパターン認識装置の学習装置の基
本構成図である。FIG. 2 is a basic configuration diagram of a learning device of the pattern recognition device according to the present invention.
【図３】本発明実施例の説明図である。FIG. 3 is an explanatory diagram of an example of the present invention.
【図４】ニューラルネットワークと学習方法の説明図で
ある。FIG. 4 is an explanatory diagram of a neural network and a learning method.
【図５】従来例の学習対象パターンデータファイルと学
習処理の説明図である。FIG. 5 is an explanatory diagram of a learning target pattern data file and a learning process in a conventional example.
４ パターン認識装置 ５ ニューラルネットワーク ６ 学習装置 ７ 学習対象パターンデータファイル ８ 学習処理のフロー ９ 代表パターンデータファイル 4 pattern recognition device 5 neural network 6 learning device 7 learning target pattern data file 8 learning process flow 9 representative pattern data file
Claims (3)
ン認識装置において、 パターン認識装置の学習時に、学習対象パターンデータ
ファイルからパターン種別ごとに代表パターンデータを
抽出し、学習対象パターンデータファイルに代えて当該
抽出した代表パターンデータファイルを用いてニューラ
ルネットワークの学習を行う第１の段階と、 ニューラルネットワークにより上記学習対象パターンデ
ータファイルの認識処理を行い、正しく１位で認識され
なかったパターンデータを抽出して上記代表パターンデ
ータファイルに追加しファイルを更新する第２の段階と
からなり、 上記学習対象パターンデータファイル中の全てのパター
ンデータが第２の段階で正しく１位認識されるまで、第
１の段階と第２の段階を繰り返し実行することを特徴と
するニューラルネットワークを用いたパターン認識装置
の学習方法。1. A pattern recognition device using a neural network, at the time of learning of the pattern recognition device, representative pattern data is extracted from a learning target pattern data file for each pattern type and is extracted instead of the learning target pattern data file. The first step of learning the neural network using the representative pattern data file, and the recognition processing of the learning target pattern data file by the neural network, and extracting the pattern data that was not correctly recognized in the first place The second step of adding to the pattern data file and updating the file includes the first step and the second step until all the pattern data in the learning target pattern data file are correctly recognized in the first step in the second step. It is special to repeat step 2 Learning method of pattern recognition device using neural network.
タを追加学習させる場合、当該新たなパターンデータを
代表パターンデータファイルに追加することを特徴とす
るニューラルネットワークを用いたパターン認識装置の
学習方法。2. The learning method for a pattern recognition apparatus using a neural network according to claim 1, wherein, when new pattern data is additionally learned, the new pattern data is added to a representative pattern data file.
ン認識装置において、 学習対象パターンデータファイルからパターン種別ごと
に代表パターンデータを抽出し代表パターンデータファ
イルを作成する代表パターンデータファイル作成手段
と、 代表パターンデータファイルを用いてニューラルネット
ワークの学習を行う学習手段と、 代表パターンデータファイルをニューラルネットワーク
に学習させることによって得られるニューラルネットワ
ークの荷重データを用いて、ニューラルネットワークに
学習対象パターンデータファイルを認識処理させる認識
制御手段と、 上記ニューラルネットワークによる学習対象パターンデ
ータファイルの認識処理の結果から、認識順位が１位以
外の下位認識パターンデータを抽出する下位認識パター
ンデータ抽出手段と、 抽出された下位認識パターンデータを代表パターンデー
タファイルに追加する代表パターンデータファイル更新
手段と、 を備えていることを特徴とするニューラルネットワーク
を用いたパターン認識装置の学習装置。3. A pattern recognition device using a neural network, a representative pattern data file creating means for extracting representative pattern data for each pattern type from a learning target pattern data file to create a representative pattern data file, and a representative pattern data file. A learning means for learning a neural network by using, and a recognition control for causing the neural network to recognize the learning target pattern data file by using the weight data of the neural network obtained by learning the representative pattern data file by the neural network. And a lower recognition pattern for extracting lower recognition pattern data having a recognition order other than 1 from the result of recognition processing of the learning target pattern data file by the neural network. Learning device pattern recognition apparatus using a neural network, wherein the data extracting means, the representative pattern data file updating means for adding the extracted lower recognition pattern data into representative pattern data file, in that it comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01032794A JP3213151B2 (en) | 1994-02-01 | 1994-02-01 | Learning method and learning device for pattern recognition device using neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01032794A JP3213151B2 (en) | 1994-02-01 | 1994-02-01 | Learning method and learning device for pattern recognition device using neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07219921A true JPH07219921A (en) | 1995-08-18 |
| JP3213151B2 JP3213151B2 (en) | 2001-10-02 |
Family
ID=11747126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01032794A Expired - Fee Related JP3213151B2 (en) | 1994-02-01 | 1994-02-01 | Learning method and learning device for pattern recognition device using neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3213151B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3944110A1 (en) | 2020-07-21 | 2022-01-26 | Fujitsu Limited | Learning program, learning device, and learning method |
-
1994
- 1994-02-01 JP JP01032794A patent/JP3213151B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3944110A1 (en) | 2020-07-21 | 2022-01-26 | Fujitsu Limited | Learning program, learning device, and learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3213151B2 (en) | 2001-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3088171B2 (en) | Self-organizing pattern classification system and classification method | |
| US5805730A (en) | Method for training an adaptive statistical classifier with improved learning of difficult samples | |
| US5903884A (en) | Method for training a statistical classifier with reduced tendency for overfitting | |
| JP3155577B2 (en) | Character recognition method and device | |
| US5796863A (en) | Method for training an adaptive statistical classifier to balance unigram prior factors | |
| US6480621B1 (en) | Statistical classifier with reduced weight memory requirements | |
| JPH05507804A (en) | Neural network that controls backpropagation using output reliability index values | |
| Ahmad et al. | Offline Urdu Nastaleeq optical character recognition based on stacked denoising autoencoder | |
| US5689584A (en) | Method of and apparatus for pattern recognition and method of creating pattern recognition dictionary | |
| JPH10240930A (en) | Pattern recognizing method and its device | |
| JP3537949B2 (en) | Pattern recognition apparatus and dictionary correction method in the apparatus | |
| Anigbogu et al. | Hidden Markov models in text recognition | |
| JPH07219921A (en) | Method and device for learning pattern recognition device using neural network | |
| Oliveira et al. | Improving RBF-DDA performance on optical character recognition through parameter selection | |
| CN112489687A (en) | Speech emotion recognition method and device based on sequence convolution | |
| Bourbakis et al. | Handwriting recognition using a reduced character method and neural nets | |
| JP3249676B2 (en) | How to create a pattern recognition dictionary | |
| JPH01321591A (en) | Character recognizing device | |
| JP2903779B2 (en) | Character string recognition method and apparatus | |
| JPH05233581A (en) | Neural network applying system | |
| JP3249654B2 (en) | Creating a dictionary for character recognition | |
| JPH04260987A (en) | Character recognizing device | |
| JPH03294983A (en) | Character recognizing device | |
| JPH04106674A (en) | Pattern recognizing method | |
| JPH01267789A (en) | Character recognizing device equipped with recognition dictionary preparing function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |