JP3213151B2 - ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 - Google Patents
ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置Info
- Publication number
- JP3213151B2 JP3213151B2 JP01032794A JP1032794A JP3213151B2 JP 3213151 B2 JP3213151 B2 JP 3213151B2 JP 01032794 A JP01032794 A JP 01032794A JP 1032794 A JP1032794 A JP 1032794A JP 3213151 B2 JP3213151 B2 JP 3213151B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern data
- learning
- neural network
- data file
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、文字や図形などの画像
やその他の情報のパターンを認識するための装置に関す
るものであり、特にその中でもニューラルネットワーク
（神経回路網）を用いたパターン認識装置におけるニュ
ーラルネットワークの効率的な学習方法および学習装置
に関する。
やその他の情報のパターンを認識するための装置に関す
るものであり、特にその中でもニューラルネットワーク
（神経回路網）を用いたパターン認識装置におけるニュ
ーラルネットワークの効率的な学習方法および学習装置
に関する。
【０００２】
【従来の技術】パターン認識装置には、標準パターン辞
書を備え、入力パターンにより標準パターン辞書を検索
して類似度を算出し、最も近い標準パターンを認識結果
として出力する方式と、ニューラルネットワークを用
い、ニューラルネットワークに標準パターン（あるいは
サンプルパターン）を学習させて入力パターンを認識さ
せる方式がある。標準パターン辞書を用いる方式では、
パターン認識の精度を上げようとすると多数の標準パタ
ーンを辞書に登録しなければならず、大きなメモリ容量
が必要となり、また類似度の算出に時間がかかり認識速
度が低下するという問題があった。その点、ニューラル
ネットワークを用いる方式では、標準パターン辞書が不
要であるためメモリ容量は少なくて済み、認識速度も上
げられる利点があるが、ニューラルネットワークの学習
に時間がかかるという問題があった。
書を備え、入力パターンにより標準パターン辞書を検索
して類似度を算出し、最も近い標準パターンを認識結果
として出力する方式と、ニューラルネットワークを用
い、ニューラルネットワークに標準パターン（あるいは
サンプルパターン）を学習させて入力パターンを認識さ
せる方式がある。標準パターン辞書を用いる方式では、
パターン認識の精度を上げようとすると多数の標準パタ
ーンを辞書に登録しなければならず、大きなメモリ容量
が必要となり、また類似度の算出に時間がかかり認識速
度が低下するという問題があった。その点、ニューラル
ネットワークを用いる方式では、標準パターン辞書が不
要であるためメモリ容量は少なくて済み、認識速度も上
げられる利点があるが、ニューラルネットワークの学習
に時間がかかるという問題があった。
【０００３】図４はニューラルネットワークとその学習
方法を示したものである。図４において、１は入力層、
２は中間層、３は出力層である。入力層１、中間層２、
出力層３はそれぞれ複数のニューロンで構成され、各層
のニューロン間は、荷重Ｗ11，Ｗ12，…，Ｗn1，Ｗn2，
…で結合されている。学習時に、学習対象の入力パター
ンが入力層１の各ニューロンに入力され、出力層３の各
ニューロンから出力パターンが出力される。出力パター
ンは教師信号と比較され、誤差が検出される。検出され
た誤差はバックプロパゲーション則などによって各層間
の荷重値に伝搬され、荷重値が修正される。
方法を示したものである。図４において、１は入力層、
２は中間層、３は出力層である。入力層１、中間層２、
出力層３はそれぞれ複数のニューロンで構成され、各層
のニューロン間は、荷重Ｗ11，Ｗ12，…，Ｗn1，Ｗn2，
…で結合されている。学習時に、学習対象の入力パター
ンが入力層１の各ニューロンに入力され、出力層３の各
ニューロンから出力パターンが出力される。出力パター
ンは教師信号と比較され、誤差が検出される。検出され
た誤差はバックプロパゲーション則などによって各層間
の荷重値に伝搬され、荷重値が修正される。
【０００４】たとえば文字認識の場合、入力パターンは
文字のドットパターンであり、出力パターンは文字コー
ドとなる。教師信号は入力パターンに対応する正しい文
字コードであり、学習は、出力パターンの文字コードが
教師信号の文字コードと一致するようにニューラルネッ
トワーク内の荷重値を修正することによって行われる。
この学習は、図５（ａ）に示される学習対象パターンデ
ータファイルのように通常、１つの文字種別について複
数の文字パターンを用いて行われ、これを認識対象の複
数の文字種別について繰り返す。
文字のドットパターンであり、出力パターンは文字コー
ドとなる。教師信号は入力パターンに対応する正しい文
字コードであり、学習は、出力パターンの文字コードが
教師信号の文字コードと一致するようにニューラルネッ
トワーク内の荷重値を修正することによって行われる。
この学習は、図５（ａ）に示される学習対象パターンデ
ータファイルのように通常、１つの文字種別について複
数の文字パターンを用いて行われ、これを認識対象の複
数の文字種別について繰り返す。
【０００５】図５（ｂ）は、従来のニューラルネットワ
ークにおける学習処理のフローであり、図５（ａ）の学
習対象パターンデータファイル内にある各パターンデー
タＡ…，Ｂ…，…が全て一定の誤差範囲内で認識される
まで、学習−認識の処理を循環的に繰り返す。これは、
既に学習済みとなっているパターンデータであっても、
後に他のパターンデータが学習される結果ニューラルネ
ットワークの荷重値が変化して認識不能となる場合もあ
るため、再学習を繰り返すことによって、全体としての
認識精度を高めるためである。
ークにおける学習処理のフローであり、図５（ａ）の学
習対象パターンデータファイル内にある各パターンデー
タＡ…，Ｂ…，…が全て一定の誤差範囲内で認識される
まで、学習−認識の処理を循環的に繰り返す。これは、
既に学習済みとなっているパターンデータであっても、
後に他のパターンデータが学習される結果ニューラルネ
ットワークの荷重値が変化して認識不能となる場合もあ
るため、再学習を繰り返すことによって、全体としての
認識精度を高めるためである。
【０００６】
【発明が解決しようとする課題】従来のニューラルネッ
トワークを用いたパターン認識装置では、ニューラルネ
ットワークに新しく所定の入出力特性を与えるため（ニ
ューラルネットワークは入力パターンと出力パターンと
の間の一種の変換機能と考えることができる）に学習を
行う場合、学習対象パターンデータファイル全体を繰り
返しニューラルネットワークに与えて学習−認識処理を
行わせており、また学習済みのニューラルネットワーク
の認識対象を拡大、変更する場合には、学習済みの既存
の学習対象パターンデータファイルに新しいパターンデ
ータを追加したものあるいはその一部のパターンデータ
を変更したもの全体をニューラルネットワークに繰り返
して与えて、学習−認識処理を行わせているため、処理
に時間がかかっていた。
トワークを用いたパターン認識装置では、ニューラルネ
ットワークに新しく所定の入出力特性を与えるため（ニ
ューラルネットワークは入力パターンと出力パターンと
の間の一種の変換機能と考えることができる）に学習を
行う場合、学習対象パターンデータファイル全体を繰り
返しニューラルネットワークに与えて学習−認識処理を
行わせており、また学習済みのニューラルネットワーク
の認識対象を拡大、変更する場合には、学習済みの既存
の学習対象パターンデータファイルに新しいパターンデ
ータを追加したものあるいはその一部のパターンデータ
を変更したもの全体をニューラルネットワークに繰り返
して与えて、学習−認識処理を行わせているため、処理
に時間がかかっていた。
【０００７】本発明は、ニューラルネットワークを用い
るパターン認識装置において、学習処理を効率化し、処
理時間を短縮することを目的としている。
るパターン認識装置において、学習処理を効率化し、処
理時間を短縮することを目的としている。
【０００８】
【課題を解決するための手段】本発明は、学習対象パタ
ーンデータファイルからパターン種別ごとに少数の代表
パターンデータを抽出し、抽出した少数の代表パターン
データと、ニューラルネットワークで正しく認識できな
かったパターンデータとから構成する代表パターンデー
タファイルを元の学習対象パターンデータファイルに代
えて使用し、ニューラルネットワークに学習させること
によって、学習処理を行うデータ量の圧縮を図るもので
ある。この代表パターンデータファイルでニューラルネ
ットワークを学習させ、次に元の学習対象パターンデー
タファイルを認識処理させ、ここで正しく１位で認識さ
れなかったパターンデータを抽出して、代表パターンデ
ータファイルを更新しそのファイルで再び学習を行わせ
る。これを学習対象パターンデータ内の全てのパターン
データが正しく認識できるようになるまで繰り返し実行
する。
ーンデータファイルからパターン種別ごとに少数の代表
パターンデータを抽出し、抽出した少数の代表パターン
データと、ニューラルネットワークで正しく認識できな
かったパターンデータとから構成する代表パターンデー
タファイルを元の学習対象パターンデータファイルに代
えて使用し、ニューラルネットワークに学習させること
によって、学習処理を行うデータ量の圧縮を図るもので
ある。この代表パターンデータファイルでニューラルネ
ットワークを学習させ、次に元の学習対象パターンデー
タファイルを認識処理させ、ここで正しく１位で認識さ
れなかったパターンデータを抽出して、代表パターンデ
ータファイルを更新しそのファイルで再び学習を行わせ
る。これを学習対象パターンデータ内の全てのパターン
データが正しく認識できるようになるまで繰り返し実行
する。
【０００９】図１は、本発明によるパターン認識装置の
学習方法の説明図である。図１において、４は、文字等
のパターン情報を認識するパターン認識装置である。
学習方法の説明図である。図１において、４は、文字等
のパターン情報を認識するパターン認識装置である。
【００１０】５は、図４に示されるようなニューラルネ
ットワークである。６は、ニューラルネットワーク５を
本発明により学習処理する学習装置である。
ットワークである。６は、ニューラルネットワーク５を
本発明により学習処理する学習装置である。
【００１１】７は学習対象パターンデータファイルであ
り、Ａ1 ，Ａ2 ，…，Ａm ，Ｂ1 ，Ｂ2 ，…，Ｂn ，
…，Ｘ1 ，Ｘ2 ，…，Ｘp はそれぞれパターン種別Ａ，
Ｂ，…，Ｘの異なるｍ個，ｎ個，…，ｐ個のパターンデ
ータを表している。このファイルは、たとえば新規のパ
ターンデータのみ、あるいは以前に学習されたパターン
データと新規の追加パターンデータとによって構成され
る。
り、Ａ1 ，Ａ2 ，…，Ａm ，Ｂ1 ，Ｂ2 ，…，Ｂn ，
…，Ｘ1 ，Ｘ2 ，…，Ｘp はそれぞれパターン種別Ａ，
Ｂ，…，Ｘの異なるｍ個，ｎ個，…，ｐ個のパターンデ
ータを表している。このファイルは、たとえば新規のパ
ターンデータのみ、あるいは以前に学習されたパターン
データと新規の追加パターンデータとによって構成され
る。
【００１２】８は、学習処理のフローである。９は、代
表パターンデータファイルであり、学習対象パターンデ
ータファイル７から、パターン種別ごとに少数個、例え
ば１個ずつ抽出された代表パターンデータを基本に構成
され、さらに学習処理中、ニューラルネットワーク５に
よって１位認識されなかった学習対象パターンデータフ
ァイル７中のパターンデータが追加される。
表パターンデータファイルであり、学習対象パターンデ
ータファイル７から、パターン種別ごとに少数個、例え
ば１個ずつ抽出された代表パターンデータを基本に構成
され、さらに学習処理中、ニューラルネットワーク５に
よって１位認識されなかった学習対象パターンデータフ
ァイル７中のパターンデータが追加される。
【００１３】学習処理のフロー８により学習装置６の動
作を説明すると、まず、与えられた学習対象パターンデ
ータファイル７から、代表パターンデータたとえば
Ａi ，Ｂ i ，Ｘi を抽出し、代表パターンデータファイ
ル９を作成する。
作を説明すると、まず、与えられた学習対象パターンデ
ータファイル７から、代表パターンデータたとえば
Ａi ，Ｂ i ，Ｘi を抽出し、代表パターンデータファイ
ル９を作成する。
【００１４】次に、この代表パターンデータファイル９
によりニューラルネットワーク５を学習させる。次に、
ニューラルネットワーク５に学習対象パターンデータフ
ァイル７を認識処理させる。ここでニューラルネットワ
ーク５に入力したパターンデータが正しく１位認識され
なかったとき、つまり、入力されたパターンデータに対
してそのパターンデータの教師信号とは異なる値の出力
パターンが１位となり、誤認識や認識不能となったとき
には、その１位認識されなかった（下位認識された）パ
ターンデータを抽出する。そして抽出したパターンデー
タは全て代表パターンデータファイル９に追加し、代表
パターンデータファイル９を更新する。
によりニューラルネットワーク５を学習させる。次に、
ニューラルネットワーク５に学習対象パターンデータフ
ァイル７を認識処理させる。ここでニューラルネットワ
ーク５に入力したパターンデータが正しく１位認識され
なかったとき、つまり、入力されたパターンデータに対
してそのパターンデータの教師信号とは異なる値の出力
パターンが１位となり、誤認識や認識不能となったとき
には、その１位認識されなかった（下位認識された）パ
ターンデータを抽出する。そして抽出したパターンデー
タは全て代表パターンデータファイル９に追加し、代表
パターンデータファイル９を更新する。
【００１５】この更新された代表パターンデータファイ
ル９によりニューラルネットワーク５を学習させ、学習
後のニューラルネットワーク５により学習対象パターン
データファイル７を再び認識処理させる。このようにし
て、学習対象パターンデータファイル７のパターンデー
タが全て１位で認識されるようになり代表パターンデー
タファイル９を更新する必要がなくなるまで、学習と認
識の過程を繰り返す。学習対象パターンデータファイル
７の全てのパターンデータが正しく１位で認識されるよ
うになったとき学習処理を終了する。なお代表パターン
データファイルの更新は、最初の代表パターンデータに
今回の下位認識パターンデータのみを追加する形で行わ
れる。
ル９によりニューラルネットワーク５を学習させ、学習
後のニューラルネットワーク５により学習対象パターン
データファイル７を再び認識処理させる。このようにし
て、学習対象パターンデータファイル７のパターンデー
タが全て１位で認識されるようになり代表パターンデー
タファイル９を更新する必要がなくなるまで、学習と認
識の過程を繰り返す。学習対象パターンデータファイル
７の全てのパターンデータが正しく１位で認識されるよ
うになったとき学習処理を終了する。なお代表パターン
データファイルの更新は、最初の代表パターンデータに
今回の下位認識パターンデータのみを追加する形で行わ
れる。
【００１６】図２は、本発明による学習装置６の基本構
成を示す。なお、図１と共通な要素には同一の参照番号
を付して示してある。したがってパターン認識装置４、
ニューラルネットワーク５、学習装置６、学習対象パタ
ーンデータファイル７および代表パターンデータファイ
ル９については、図１での説明がそのまま適用される。
成を示す。なお、図１と共通な要素には同一の参照番号
を付して示してある。したがってパターン認識装置４、
ニューラルネットワーク５、学習装置６、学習対象パタ
ーンデータファイル７および代表パターンデータファイ
ル９については、図１での説明がそのまま適用される。
【００１７】１０は、代表パターンデータファイル作成
手段であり、学習対象パターンデータファイル７のパタ
ーンデータからパターン種別ごとに少数の代表パターン
データを抽出する。たとえば各パターン種別ごとに先頭
のパターンデータあるいはパターンデータごとに誤差が
分かっている場合には最も誤差の大きいパターンデータ
を抽出する。そして抽出した各パターンデータにより代
表パターンデータファイル９を作成する機能をもってい
る。
手段であり、学習対象パターンデータファイル７のパタ
ーンデータからパターン種別ごとに少数の代表パターン
データを抽出する。たとえば各パターン種別ごとに先頭
のパターンデータあるいはパターンデータごとに誤差が
分かっている場合には最も誤差の大きいパターンデータ
を抽出する。そして抽出した各パターンデータにより代
表パターンデータファイル９を作成する機能をもってい
る。
【００１８】１１は、学習手段であり、代表パターンデ
ータファイル９によりニューラルネットワーク５を学習
させる機能をもっている。１２は、荷重ファイルであ
り、初めはニューラルネットワーク５の荷重の初期値デ
ータが格納され、その後、学習手段１１がニューラルネ
ットワーク５を代表パターンデータファイル９で学習さ
せた結果の更新された荷重データが格納される。
ータファイル９によりニューラルネットワーク５を学習
させる機能をもっている。１２は、荷重ファイルであ
り、初めはニューラルネットワーク５の荷重の初期値デ
ータが格納され、その後、学習手段１１がニューラルネ
ットワーク５を代表パターンデータファイル９で学習さ
せた結果の更新された荷重データが格納される。
【００１９】１３は、認識制御手段であり、荷重ファイ
ル１２の荷重データをニューラルネットワーク５に適用
して、学習対象パターンデータファイル７の認識処理を
行わせる機能をもっている。
ル１２の荷重データをニューラルネットワーク５に適用
して、学習対象パターンデータファイル７の認識処理を
行わせる機能をもっている。
【００２０】１４は、下位認識パターンデータ抽出手段
であり、ニューラルネットワーク５が学習対象パターン
データファイル７を認識処理した結果について調べ、１
位認識されなかったパターンデータ（下位認識パターン
データ）を抽出する。機能をもっている。
であり、ニューラルネットワーク５が学習対象パターン
データファイル７を認識処理した結果について調べ、１
位認識されなかったパターンデータ（下位認識パターン
データ）を抽出する。機能をもっている。
【００２１】１５は、代表パターンデータファイル更新
手段であり、抽出された下位認識パターンデータを代表
パターンデータファイル９の元の代表パターンデータに
追加し、ファイルを更新する機能をもっている。このと
き追加する下位認識パターンデータも、種別ごとに少数
の代表パターンデータを抽出して行う。
手段であり、抽出された下位認識パターンデータを代表
パターンデータファイル９の元の代表パターンデータに
追加し、ファイルを更新する機能をもっている。このと
き追加する下位認識パターンデータも、種別ごとに少数
の代表パターンデータを抽出して行う。
【００２２】学習装置６は、１０，１１，１３，１４，
１５の各手段を矢線で示す順序で動作させ、学習対象パ
ターンデータファイル７のパターンデータが全て正しく
１位で認識されるようになったとき、学習処理を終了す
る。
１５の各手段を矢線で示す順序で動作させ、学習対象パ
ターンデータファイル７のパターンデータが全て正しく
１位で認識されるようになったとき、学習処理を終了す
る。
【００２３】
【作用】図１、図２に示された本発明の動作を説明す
る。学習処理の開始時点では、ニューラルネットワーク
５の荷重データは初期値に設定されている。そのため、
学習対象パターンデータファイル７の中からパターン種
別ごとに少数のたとえば１個の代表パターンデータを抽
出し、代表パターンデータファイル９を作成する。そし
てこの少数のパターンデータからなる代表パターンデー
タファイル９を用いてニューラルネットワーク５を最初
に学習させる。
る。学習処理の開始時点では、ニューラルネットワーク
５の荷重データは初期値に設定されている。そのため、
学習対象パターンデータファイル７の中からパターン種
別ごとに少数のたとえば１個の代表パターンデータを抽
出し、代表パターンデータファイル９を作成する。そし
てこの少数のパターンデータからなる代表パターンデー
タファイル９を用いてニューラルネットワーク５を最初
に学習させる。
【００２４】ニューラルネットワーク５の最初の学習の
後、ニューラルネットワーク５に学習対象パターンデー
タファイル７を認識処理させると、正しく認識されるパ
ターンデータがかなり得られる。ここで正しく認識され
なかったパターンデータのみを抽出し、必要な場合さら
にその中からパターン識別ごとに代表パターンデータを
さらに抽出して代表パターンデータファイル９に追加す
る（初めの代表パターンデータと今回正しく認識されな
かった代表パターンデータとの合成）。このときの代表
パターンデータファイル９のデータ量は最初の学習に用
いた代表パターンデータファイル９のデータ量よりも誤
読したパターン種別分だけ多くなる。
後、ニューラルネットワーク５に学習対象パターンデー
タファイル７を認識処理させると、正しく認識されるパ
ターンデータがかなり得られる。ここで正しく認識され
なかったパターンデータのみを抽出し、必要な場合さら
にその中からパターン識別ごとに代表パターンデータを
さらに抽出して代表パターンデータファイル９に追加す
る（初めの代表パターンデータと今回正しく認識されな
かった代表パターンデータとの合成）。このときの代表
パターンデータファイル９のデータ量は最初の学習に用
いた代表パターンデータファイル９のデータ量よりも誤
読したパターン種別分だけ多くなる。
【００２５】以後、代表パターンデータファイル９によ
るニューラルネットワーク５の学習、ニューラルネット
ワーク５による学習対象パターンデータファイル７の認
識処理、正しく認識されていないパターンデータの抽出
と代表パターンデータファイル９の更新、のサイクルを
繰り返すごとに代表パターンデータファイル９のデータ
量は多くなるが、学習対象パターンデータファイル７自
体で学習するよりはデータ量が少ないので、短時間で学
習処理が完了する。
るニューラルネットワーク５の学習、ニューラルネット
ワーク５による学習対象パターンデータファイル７の認
識処理、正しく認識されていないパターンデータの抽出
と代表パターンデータファイル９の更新、のサイクルを
繰り返すごとに代表パターンデータファイル９のデータ
量は多くなるが、学習対象パターンデータファイル７自
体で学習するよりはデータ量が少ないので、短時間で学
習処理が完了する。
【００２６】このように本発明では、ニューラルネット
ワークの認識性能のチェックは学習対象パターンデータ
ファイル７の全パターンデータにより行われるが、ニュ
ーラルネットワーク５の学習は、学習済みのパターンデ
ータをほぼ除去した必要最小限のパターンデータに自動
的に絞り込んで行われるので、効率的な学習処理が可能
となる。
ワークの認識性能のチェックは学習対象パターンデータ
ファイル７の全パターンデータにより行われるが、ニュ
ーラルネットワーク５の学習は、学習済みのパターンデ
ータをほぼ除去した必要最小限のパターンデータに自動
的に絞り込んで行われるので、効率的な学習処理が可能
となる。
【００２７】
【実施例】図３（ａ），（ｂ）により、本発明を文字認
識装置に適用した実施例について説明する。図３（ａ）
は、実施例の学習処理フローを示し、図３（ｂ）は学習
処理に用いられる文字パターンデータの構成を示す。
識装置に適用した実施例について説明する。図３（ａ）
は、実施例の学習処理フローを示し、図３（ｂ）は学習
処理に用いられる文字パターンデータの構成を示す。
【００２８】図３（ｂ）に示される文字パターンデータ
は、１文字ごとに作成され、全体が１３６ｂｙｔｅの大
きさをもつ。図中、１６は１文字のイメージデータであ
り、３２×３２ドット（１０２４ドット）のイメージ領
域のサイズを、１ドット１ｂｙｔｅとして１２８ｂｙｔ
ｅのデータで表している。１７はＪＥＦコードで表した
教師データである。１８はイメージデータ１６の折り返
しドット数（１０２４ドット）である。１９は文字幅で
あり、文字パターン自体のドット幅を示す。２０は文字
高さであり、文字パターン自体のドット高さを示す。
は、１文字ごとに作成され、全体が１３６ｂｙｔｅの大
きさをもつ。図中、１６は１文字のイメージデータであ
り、３２×３２ドット（１０２４ドット）のイメージ領
域のサイズを、１ドット１ｂｙｔｅとして１２８ｂｙｔ
ｅのデータで表している。１７はＪＥＦコードで表した
教師データである。１８はイメージデータ１６の折り返
しドット数（１０２４ドット）である。１９は文字幅で
あり、文字パターン自体のドット幅を示す。２０は文字
高さであり、文字パターン自体のドット高さを示す。
【００２９】次に図３（ａ）のフローを説明する。図中
のＡ０〜Ａ９，Ｂ１〜Ｂ３は処理のステップを表す。ま
ずＡ０で、学習対象パターンデータファイル７から代表
パターンデータファイル９を作成する。この後、Ｂ１な
いしＢ３の学習処理が実行される。
のＡ０〜Ａ９，Ｂ１〜Ｂ３は処理のステップを表す。ま
ずＡ０で、学習対象パターンデータファイル７から代表
パターンデータファイル９を作成する。この後、Ｂ１な
いしＢ３の学習処理が実行される。
【００３０】Ｂ１では、Ａ８で作成された代表パターン
データファイル９から１つの文字のパターンデータを読
み出す。Ｂ２では、読み出されたパターンデータに基づ
きニューラルネットワークを学習させる。
データファイル９から１つの文字のパターンデータを読
み出す。Ｂ２では、読み出されたパターンデータに基づ
きニューラルネットワークを学習させる。
【００３１】Ｂ３では、代表パターンデータファイル９
の残りを調べ、残りがあればＢ１へ戻り、残りがなけれ
ばＡ１へ戻る。次にＡ１において、学習対象パターンデ
ータファイル７から１文字分のパターンデータ（図３
（ｂ）参照）の読み出しを行う。
の残りを調べ、残りがあればＢ１へ戻り、残りがなけれ
ばＡ１へ戻る。次にＡ１において、学習対象パターンデ
ータファイル７から１文字分のパターンデータ（図３
（ｂ）参照）の読み出しを行う。
【００３２】Ａ２において、学習対象パターンデータフ
ァイル７に読み出すべきパターンデータが残っているか
どうかを判定し、パターンデータが残っていない場合に
はＢ１〜Ｂ３の処理を行うが、パターンデータが残って
いる場合には、Ａ４以降の処理を行う。
ァイル７に読み出すべきパターンデータが残っているか
どうかを判定し、パターンデータが残っていない場合に
はＢ１〜Ｂ３の処理を行うが、パターンデータが残って
いる場合には、Ａ４以降の処理を行う。
【００３３】Ａ３では、学習対象パターンデータファイ
ル７から読み出した１文字分のパターンデータ（図３
（ｂ））から文字イメージデータ１６を抽出する。Ａ４
では、抽出した文字イメージデータ１６をニューラルネ
ットワークの入力層１（図４）にセットする。
ル７から読み出した１文字分のパターンデータ（図３
（ｂ））から文字イメージデータ１６を抽出する。Ａ４
では、抽出した文字イメージデータ１６をニューラルネ
ットワークの入力層１（図４）にセットする。
【００３４】Ａ５では、ニューラルネットワークに認識
動作を行わせる。Ａ６では、ニューラルネットワークか
ら出力されるデータと教師データ１７（図３（ｂ））と
を比較し、誤差を検出する。
動作を行わせる。Ａ６では、ニューラルネットワークか
ら出力されるデータと教師データ１７（図３（ｂ））と
を比較し、誤差を検出する。
【００３５】Ａ７では、誤差の大きさから認識の可、不
可を判定する。認識可の場合にはＡ９以降の処理を行
い、認識不可の場合にはＡ８以降の処理を行う。Ａ８で
は、Ａ０で作成した代表パターンデータファイル９に、
Ａ７で認識不可と判定されたパターンデータを追加し、
ファイルを更新する。このとき、認識不可となった文字
イメージデータ群の中から文字種別ごとに誤差の大きい
方の文字イメージデータを１個ずつ抽出して代表パター
ンデータとし、代表パターンデータファイル９に追加す
ることができる。この後Ａ１に戻る。
可を判定する。認識可の場合にはＡ９以降の処理を行
い、認識不可の場合にはＡ８以降の処理を行う。Ａ８で
は、Ａ０で作成した代表パターンデータファイル９に、
Ａ７で認識不可と判定されたパターンデータを追加し、
ファイルを更新する。このとき、認識不可となった文字
イメージデータ群の中から文字種別ごとに誤差の大きい
方の文字イメージデータを１個ずつ抽出して代表パター
ンデータとし、代表パターンデータファイル９に追加す
ることができる。この後Ａ１に戻る。
【００３６】Ａ９では、Ａ７で認識可とされた場合、こ
れで学習対象パターンデータファイル７の全てのパター
ンデータが認識可として処理されたがどうかを判定す
る。このため、たとえばＡ８で代表パターンデータファ
イル９を更新したときに、フラグを立てておき、フラグ
の値から認識可でないパターンデータが存在したかどう
かを知ることができるようにする。そしてフラグが立っ
ている場合には、認識不可のパターンデータが含まれて
いたと判定して、Ａ１に戻る。
れで学習対象パターンデータファイル７の全てのパター
ンデータが認識可として処理されたがどうかを判定す
る。このため、たとえばＡ８で代表パターンデータファ
イル９を更新したときに、フラグを立てておき、フラグ
の値から認識可でないパターンデータが存在したかどう
かを知ることができるようにする。そしてフラグが立っ
ている場合には、認識不可のパターンデータが含まれて
いたと判定して、Ａ１に戻る。
【００３７】次に先のＡ２で、学習対象パターンデータ
ファイル７から全てのパターンデータが読み出されたこ
とが判定され、しかもＡ９で認識不可のパターンデータ
が含まれていたことが判定されていた場合にＢ１ないし
Ｂ３が実行される。
ファイル７から全てのパターンデータが読み出されたこ
とが判定され、しかもＡ９で認識不可のパターンデータ
が含まれていたことが判定されていた場合にＢ１ないし
Ｂ３が実行される。
【００３８】以上のＡ１〜Ａ９、Ｂ１〜Ｂ３の動作は、
Ａ９で学習対象パターンデータファイル７の全パターン
データが認識可となったことを判定されるまで繰り返さ
れ、全パターンデータが認識可となったときに終了す
る。
Ａ９で学習対象パターンデータファイル７の全パターン
データが認識可となったことを判定されるまで繰り返さ
れ、全パターンデータが認識可となったときに終了す
る。
【００３９】なお、学習対象パターンデータファイル７
による学習処理が完了したパターン認識装置において、
さらにパターンデータの追加、変更を行う場合には、学
習対象パターンデータファイル７を更新して再学習処理
を行うが、パターンデータの追加の場合には代表パター
ンデータファイル９に追加することもできる。
による学習処理が完了したパターン認識装置において、
さらにパターンデータの追加、変更を行う場合には、学
習対象パターンデータファイル７を更新して再学習処理
を行うが、パターンデータの追加の場合には代表パター
ンデータファイル９に追加することもできる。
【００４０】
【発明の効果】本発明によれば、従来のパターン認識装
置にくらべて、学習が完了するまでの総学習データ量を
大幅に削減することができ、学習処理の効率化により学
習に要する時間が著しく短縮される。
置にくらべて、学習が完了するまでの総学習データ量を
大幅に削減することができ、学習処理の効率化により学
習に要する時間が著しく短縮される。
【図１】本発明によるパターン認識装置の学習方法の説
明図である。
明図である。
【図２】本発明によるパターン認識装置の学習装置の基
本構成図である。
本構成図である。
【図３】本発明実施例の説明図である。
【図４】ニューラルネットワークと学習方法の説明図で
ある。
ある。
【図５】従来例の学習対象パターンデータファイルと学
習処理の説明図である。
習処理の説明図である。
４ パターン認識装置 ５ ニューラルネットワーク ６ 学習装置 ７ 学習対象パターンデータファイル ８ 学習処理のフロー ９ 代表パターンデータファイル
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−197700（ＪＰ，Ａ) 特開 平５−314087（ＪＰ，Ａ) 特開 平７−44514（ＪＰ，Ａ) 特開 平６−250995（ＪＰ，Ａ) 特開 平５−265998（ＪＰ，Ａ) 「ＮＥＵＲＯＳＩＭ／Ｌ−860（階層 型ニューラルネットワークシミュレー タ）使用者の手引 87ＡＲ−0490− １」、富士通株式会社・発行（平成４年 １月、初版）、ｐｐ．51〜52（特許庁Ｃ ＳＤＢ文献番号：ＣＳＮＺ 199900345001) (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)
Claims (3)
- 【請求項１】 ニューラルネットワークを用いたパター
ン認識装置において、 パターン認識装置の学習時に、学習対象パターンデータ
ファイルからパターン種別ごとに代表パターンデータを
抽出し、学習対象パターンデータファイルに代えて当該
抽出した代表パターンデータファイルを用いてニューラ
ルネットワークの学習を行う第１の段階と、 ニューラルネットワークにより上記学習対象パターンデ
ータファイルの認識処理を行い、正しく１位で認識され
なかったパターンデータを抽出して上記代表パターンデ
ータファイルに追加しファイルを更新する第２の段階と
からなり、 上記学習対象パターンデータファイル中の全てのパター
ンデータが第２の段階で正しく１位認識されるまで、第
１の段階と第２の段階を繰り返し実行することを特徴と
するニューラルネットワークを用いたパターン認識装置
の学習方法。 - 【請求項２】 請求項１において、新たなパターンデー
タを追加学習させる場合、当該新たなパターンデータを
代表パターンデータファイルに追加することを特徴とす
るニューラルネットワークを用いたパターン認識装置の
学習方法。 - 【請求項３】 ニューラルネットワークを用いたパター
ン認識装置において、 学習対象パターンデータファイルからパターン種別ごと
に代表パターンデータを抽出し代表パターンデータファ
イルを作成する代表パターンデータファイル作成手段
と、 代表パターンデータファイルを用いてニューラルネット
ワークの学習を行う学習手段と、 代表パターンデータファイルをニューラルネットワーク
に学習させることによって得られるニューラルネットワ
ークの荷重データを用いて、ニューラルネットワークに
学習対象パターンデータファイルを認識処理させる認識
制御手段と、 上記ニューラルネットワークによる学習対象パターンデ
ータファイルの認識処理の結果から、認識順位が１位以
外の下位認識パターンデータを抽出する下位認識パター
ンデータ抽出手段と、 抽出された下位認識パターンデータを代表パターンデー
タファイルに追加する代表パターンデータファイル更新
手段と、 を備えていることを特徴とするニューラルネットワーク
を用いたパターン認識装置の学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01032794A JP3213151B2 (ja) | 1994-02-01 | 1994-02-01 | ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01032794A JP3213151B2 (ja) | 1994-02-01 | 1994-02-01 | ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07219921A JPH07219921A (ja) | 1995-08-18 |
| JP3213151B2 true JP3213151B2 (ja) | 2001-10-02 |
Family
ID=11747126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01032794A Expired - Fee Related JP3213151B2 (ja) | 1994-02-01 | 1994-02-01 | ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3213151B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022021203A (ja) | 2020-07-21 | 2022-02-02 | 富士通株式会社 | 学習プログラム，学習装置及び学習方法 |
-
1994
- 1994-02-01 JP JP01032794A patent/JP3213151B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 「ＮＥＵＲＯＳＩＭ／Ｌ−８６０（階層型ニューラルネットワークシミュレータ）使用者の手引 ８７ＡＲ−０４９０−１」、富士通株式会社・発行（平成４年１月、初版）、ｐｐ．５１〜５２（特許庁ＣＳＤＢ文献番号：ＣＳＮＺ１９９９００３４５００１） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07219921A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5805731A (en) | Adaptive statistical classifier which provides reliable estimates or output classes having low probabilities | |
| US5805730A (en) | Method for training an adaptive statistical classifier with improved learning of difficult samples | |
| US5903884A (en) | Method for training a statistical classifier with reduced tendency for overfitting | |
| JP2607457B2 (ja) | パターン認識装置 | |
| JP3155577B2 (ja) | 文字認識方法及び装置 | |
| US5796863A (en) | Method for training an adaptive statistical classifier to balance unigram prior factors | |
| JP3213151B2 (ja) | ニューラルネットワークを用いたパターン認識装置の学習方法および学習装置 | |
| JP4834693B2 (ja) | パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 | |
| JP3080066B2 (ja) | 文字認識装置、方法及び記憶媒体 | |
| JP3249654B2 (ja) | 活字文字認識用辞書の作成方法 | |
| JP3249676B2 (ja) | パターン認識辞書作成方法 | |
| JP2903779B2 (ja) | 文字列認識方法及びその装置 | |
| JPH06103402A (ja) | 名刺認識装置 | |
| JP3162154B2 (ja) | ニューラルネットによる図形変換方式 | |
| JP2982244B2 (ja) | 文字認識後処理方式 | |
| JPH0654503B2 (ja) | パタ−ン認識装置 | |
| JP3760040B2 (ja) | 文字認識方法、文字認識装置及び情報記録媒体 | |
| Zia et al. | A Novel Procedure for Font Recognition through Deep Learning | |
| JP2917310B2 (ja) | 単語照合における単語辞書検索方式 | |
| JPH0256086A (ja) | 文字認識の後処理方法 | |
| JP3486246B2 (ja) | 文字認識装置 | |
| JPS5810274A (ja) | オンライン手書き文字認識方式 | |
| JP3058706B2 (ja) | 住所カナの漢字変換方法 | |
| JPH10247221A (ja) | オンライン文字認識装置 | |
| JP3271646B2 (ja) | 手書き文字認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |