JP2618504B2 - Character recognition device - Google Patents
Character recognition deviceInfo
- Publication number
- JP2618504B2 JP2618504B2 JP1314583A JP31458389A JP2618504B2 JP 2618504 B2 JP2618504 B2 JP 2618504B2 JP 1314583 A JP1314583 A JP 1314583A JP 31458389 A JP31458389 A JP 31458389A JP 2618504 B2 JP2618504 B2 JP 2618504B2
- Authority
- JP
- Japan
- Prior art keywords
- font
- character
- identification
- node
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Description
【発明の詳細な説明】 ＜産業上の利用分野＞ この発明は、いかなる字体（フォント）にも対応でき
る文字認識装置に関する。Description: TECHNICAL FIELD The present invention relates to a character recognition device that can handle any font.
＜従来の技術＞ 文字認識とは、文字の画像データを入力として、機械
的に文字コードに変換して出力する処理のことである。
印刷文字にはかなりの種類のフォントがある（例えば、
明朝体，ゴシック体，教科書体およびナール体等）。書
物，文献，事務文書および手紙等はその内容に応じて多
種のフォントで印刷される。また、近年の写植技術の進
歩に伴って文字の装飾が増え、フォントの種類は増える
ばかりである。<Related Art> Character recognition is a process in which image data of a character is input, mechanically converted into a character code, and output.
There are quite a few fonts for printed characters (for example,
Mincho style, Gothic style, textbook style and narhl style). Books, documents, office documents, letters, etc. are printed in various fonts according to the contents. In addition, with the progress of photocomposition technology in recent years, the decoration of characters has increased, and the types of fonts have only increased.
一方、最近においては、文字認識方法として複合類似
度法のような統計的手法や文字構造解析による構造解析
的手法が主流になっている。On the other hand, recently, statistical methods such as the compound similarity method and structural analysis methods based on character structure analysis have become mainstream as character recognition methods.
＜発明が解決しようとする課題＞ 上述のような、フォントの種類の増加に伴って、統計
的手法および構造解析的手法のいずれの手法を用いて
も、いかなる種類のフォントの文字でも正確に識別でき
る文字認識装置を得ることが不可能になってきている。
例えば、最近の学会で発表される文字認識手法の技術レ
ベルにおける印刷文字の認識率は、シングルフォント
（すなわち、入力文字のフォントが既知の場合）による
文字認識で99％であり、マルチフォント（すなわち、入
力文字のフォントが未知の場合）による文字認識で96％
である。<Problems to be Solved by the Invention> With the increase in font types as described above, characters of any type of font can be accurately identified using either a statistical method or a structural analysis method. It is becoming impossible to obtain a character recognition device that can.
For example, the recognition rate of printed characters at the technical level of a character recognition method presented at a recent conference is 99% for character recognition using a single font (that is, when the font of an input character is known), and multi-font (ie, 96% in character recognition by input font is unknown)
It is.
すなわち、予め入力される文字のフォントが既知であ
ればかなりの高認識率で文字認識が可能であるが、入力
文字のフォントが未知の場合には認識率が低下してしま
うという問題がある。That is, if the font of the character to be input is known in advance, character recognition can be performed at a considerably high recognition rate. However, if the font of the input character is unknown, the recognition rate is reduced.
そこで、この発明の目的は、マルチフォント文字認識
の場合であっても正しく文字を認識できる文字認識装置
を提供することにある。Therefore, an object of the present invention is to provide a character recognition device capable of correctly recognizing characters even in the case of multi-font character recognition.
＜課題を解決するための手段＞ 上記目的を達成するため、第１の発明の文字認識装置
は、識別対象の文字カテゴリが各字体または字体群別に
割り付けられたノードを有し、上記各ノードは入力され
た文字画像情報に基づいて上記割り付けられた文字カテ
ゴリに入力文字画像情報が属する度合いを表す値を所定
の手順によって算出して出力する文字識別ニューラル・
ネットワークと、入力された文字画像に関する情報に基
づいて入力文字の字体または字体群を所定の手順によっ
て識別する字体識別ニューラル・ネットワークと、上記
字体識別ニューラル・ネットワークにおける識別結果に
基づいて上記文字識別ニューラル・ネットワークにおけ
る上記各ノードの算出値の大きさを制御するノード出力
値制御手段を備えたことを特徴としている。<Means for Solving the Problems> In order to achieve the above object, a character recognition device according to a first aspect of the present invention has a node in which a character category to be identified is assigned to each font or font group. A character identification neural network that calculates and outputs a value indicating the degree to which the input character image information belongs to the assigned character category based on the input character image information by a predetermined procedure.
A network, a character identification neural network that identifies the character or group of characters of the input character by a predetermined procedure based on information on the input character image, and the character identification neural based on an identification result in the character identification neural network. -It is characterized by comprising a node output value control means for controlling the magnitude of the calculated value of each node in the network.
また、第２の発明の文字認識装置は、第１の発明の文
字認識装置において、上記字体識別ニューラル・ネット
ワークは、過去の識別結果を保持すると共にこの保持さ
れた過去の字体または字体群の識別結果を用いて上記字
体または字体群の識別手順を逐次学習する字体学習部を
有することを特徴としている。A character recognition device according to a second aspect of the present invention is the character recognition device according to the first aspect, wherein the font identification neural network retains past identification results and identifies the retained past font or font group. It is characterized by having a font learning unit for sequentially learning the identification procedure of the font or the font group using the result.
＜作用＞ 第１の発明において、文字識別ニューラル・ネットワ
ークに文字画像情報が入力されると、各字体または字体
群別に識別対象の文字カテゴリが割り付けられたノード
によって、上記入力文字画像情報が上記文字カテゴリに
属する度合いを表す値が所定の手順によって算出され
る。その際に、入力された文字画像に関する情報に基づ
いて字体識別ニューラル・ネットワークによって識別さ
れた入力文字の字体または字体群の識別結果に基づい
て、上記文字識別ニューラル・ネットワークにおける各
ノードの算出値の大きさがノード出力制御手段によって
制御される。したがって、上記各ノードにおける算出値
のうち例えば上記字体識別ニューラル・ネットワークに
よって識別された字体または字体群に係る算出値を強調
したり、上記字体識別ニューラル・ネットワークによっ
て識別された字体または字体群とは異なる字体または字
体群に係る算出値を抑制することができる。<Operation> In the first aspect, when character image information is input to the character identification neural network, the input character image information is converted to the character by a node in which a character category to be identified is assigned to each character or character group. A value representing the degree of belonging to the category is calculated by a predetermined procedure. At that time, based on the identification result of the character or group of characters of the input character identified by the character identification neural network based on the information on the input character image, the calculated value of each node in the character identification neural network is calculated. The size is controlled by the node output control means. Therefore, among the calculated values at the nodes, for example, the calculated value related to the font or the font group identified by the font identification neural network is emphasized, and the font or the font group identified by the font identification neural network is It is possible to suppress a calculated value related to a different font or font group.
また、第２の発明において、上記文字認識装置の字体
識別ニューラル・ネットワークにおいて入力文字の字体
または字体群を識別する際の識別手順は、字体学習部に
よって、保持されている過去の字体または字体群の識別
結果を用いて逐次学習される。したがって、入力文字の
字体または字体群が高い精度で識別される。Further, in the second invention, in the character recognition neural network of the character recognition device, the identification procedure for identifying the character or group of characters of the input character includes the past character or character group held by the character learning unit. Are sequentially learned using the identification result of. Therefore, the font or group of fonts of the input character is identified with high accuracy.
＜実施例＞ 以下、この発明を図示の実施例により詳細に説明す
る。<Example> Hereinafter, the present invention will be described in detail with reference to an illustrated example.
この発明は、マルチフォント文字認識の場合に、入力
文字画像データに基づいて入力文字のフォントを予測す
ることによって、シングルフォント文字認識と同じよう
にフォント既知の状態にし、マルチフォント文字認識の
場合であっても高認識率を得るものである。According to the present invention, in the case of multi-font character recognition, a font of an input character is predicted based on input character image data so that a font is known in the same manner as in single-font character recognition. Even if there is, a high recognition rate is obtained.
第１はこの発明の文字認識装置の概略ブロック図であ
る。この文字認識装置は、文字識別部およびフォント識
別部の配置によってタイプＩとタイプIIとの２通りがあ
り、第１図（ａ）はタイプＩの文字認識装置の概略ブロ
ック図を示し、第１図（ｂ）はタイプIIの文字認識装置
の概略ブロック図を示す。また、第２図は第１図に示す
文字認識装置における文字認識処理動作の概略フローチ
ャートであり、第２図（ａ）はタイプＩの文字認識装置
における文字認識処理動作のフローチャートを示し、第
２図（ｂ）はタイプIIの文字認識装置における文字認識
処理動作のフローチャートを示す。以下、第１図および
第２図を参照して、この発明の文字認識装置の概略を説
明する。The first is a schematic block diagram of the character recognition device of the present invention. There are two types of character recognition devices, type I and type II, depending on the arrangement of a character identification unit and a font identification unit. FIG. 1 (a) shows a schematic block diagram of a type I character recognition device. FIG. 1B is a schematic block diagram of a type II character recognition device. FIG. 2 is a schematic flowchart of the character recognition processing operation in the character recognition device shown in FIG. 1, and FIG. 2 (a) is a flowchart of the character recognition processing operation in the type I character recognition device. FIG. 2B is a flowchart of a character recognition processing operation in the type II character recognition device. The outline of the character recognition device of the present invention will be described below with reference to FIGS.
（イ）タイプＩ タイプＩの文字認識装置は、フォント識別部と文字識
別部とを一つのニューラル・ネットワークで構築したも
のである。第１図（ａ）および第２図（ａ）において、
文字／フォント識別ニューラル・ネットワーク１に入力
文字画像データ（あるいは、入力文字画像データから抽
出された特徴パターン）が入力される（ステップS1）。
そして、文字／フォント識別ニューラル・ネットワーク
１によって、入力文字画像データと既に識別されたフォ
ント（予測フォントFn（ｎ＝１〜N:Nはフォント数ある
いはフォント群数））とに基づいて、入力文字が識別さ
れる。さらに、この文字識別結果とフォント学習部２か
らの学習結果とに基づいて入力文字のフォントが識別さ
れる（ステップS2）。こうして識別された文字が認識文
字として出力される（ステップS4）。一方、識別された
フォントは、入力文字に対する予測フォントFnの情報と
して文字／フォント識別ニューラル・ネットワーク１の
文字識別部にフィードバックされて、上述のように入力
文字の文字識別の際に用いられるのである。(A) Type I In the type I character recognition device, a font identification unit and a character identification unit are constructed by one neural network. In FIG. 1 (a) and FIG. 2 (a),
Input character image data (or a feature pattern extracted from the input character image data) is input to the character / font identification neural network 1 (step S1).
Then, based on the input character image data and the already identified font (predicted font Fn (n = 1 to N: N is the number of fonts or font groups)) by the character / font identification neural network 1, the input character Is identified. Further, the font of the input character is identified based on the character identification result and the learning result from the font learning unit 2 (step S2). The character thus identified is output as a recognition character (step S4). On the other hand, the identified font is fed back to the character identification unit of the character / font identification neural network 1 as information on the predicted font Fn for the input character, and is used for character identification of the input character as described above. .
さらに、フォント識別結果はフォント学習部２へ送出
される。そして、フォント学習部２において、このフォ
ント識別結果と次入力文字のフォント識別結果とに基づ
いて次入力文字に対するフォント識別手順の学習が実施
される（ステップS3）。この学習結果は文字／フォント
識別ニューラルネットワーク１のフォント識別部にフィ
ードバックされて、上述のように次入力文字のフォント
識別の際に用いられるのである。Further, the font identification result is sent to the font learning unit 2. Then, the font learning unit 2 learns the font identification procedure for the next input character based on the font identification result and the font identification result of the next input character (step S3). This learning result is fed back to the font identification unit of the character / font identification neural network 1 and used for font identification of the next input character as described above.
こうすることによって、入力文字のフォントを予測し
てシングルフォント文字認識と同じようにフォント既知
の状態にすることができるのである。したがって、例え
ば文字／フォント識別ニューラル・ネットワーク１にお
ける予測フォントFn以外のフォントの識別能力を抑制し
て、マルチフォント文字認識であっても高い文字認識率
を得ることができるのである。By doing so, it is possible to predict the font of the input character and to make the font known as in the case of single font character recognition. Therefore, for example, a high character recognition rate can be obtained even in multi-font character recognition by suppressing the ability to identify fonts other than the predicted font Fn in the character / font identification neural network 1.
（ロ）タイプII タイプIIの文字認識装置は、フォント識別部と文字識
別部とを別々のニューラル・ネットワークで構築したも
のである。第１図（ｂ）および第２図（ｂ）において、
フォント識別／フォント学習ニューラル・ネットワーク
３および文字識別ニューラル・ネットワーク４に入力文
字画像データ（あるいは、入力文字画像データから抽出
された特徴パターン）が入力される（ステップS11）。
そうすると、文字識別ニューラル・ネットワーク４にお
いて、入力文字画像データと既に予測されたフォント
（予測フォントFn）に基づいて入力文字が識別される
（ステップS12）。そして、識別された文字が認識文字
として出力される（ステップS15）。さらに文字識別結
果はフォント識別／フォント学習ニューラル・ネットワ
ーク３に送出されて、入力文字のフォント識別の際に用
いられるのである。一方、フォント識別／フォント学習
ニューラル・ネットワーク３において、入力文字画像デ
ータと文字識別ニューラル・ネットワーク４からの文字
識別結果とフォント識別学習結果とに基づいて入力文字
のフォントが識別される（ステップS13）。そして、フ
ォント識別結果は、入力文字に対する予測フォントFnの
情報として文字識別ニューラル・ネットワーク４にフィ
ードバックされ、上述のように文字識別の際に用いられ
るのである。(B) Type II In the type II character recognition device, the font identification unit and the character identification unit are constructed by separate neural networks. In FIG. 1 (b) and FIG. 2 (b),
Input character image data (or a feature pattern extracted from the input character image data) is input to the font identification / font learning neural network 3 and the character identification neural network 4 (step S11).
Then, in the character identification neural network 4, the input character is identified based on the input character image data and the already predicted font (predicted font Fn) (step S12). Then, the identified character is output as a recognized character (step S15). Further, the character identification result is sent to the font identification / font learning neural network 3 and used for font identification of input characters. On the other hand, in the font identification / font learning neural network 3, the font of the input character is identified based on the input character image data, the character identification result from the character identification neural network 4, and the font identification learning result (step S13). . Then, the font identification result is fed back to the character identification neural network 4 as information on the predicted font Fn for the input character, and is used for character identification as described above.
さらに、上記フォント識別／フォント学習ニューラル
・ネットワーク３において、得られた入力文字のフォン
ト識別結果と過去のフォント識別結果とに基づいてフォ
ント識別手順の学習が実施される（ステップS14）。こ
の学習結果はフォント識別／フォント学習ニューラル・
ネットワーク３のフォント識別部にフィードバックされ
て、次入力文字のフォント識別の際に用いられるのであ
る。Further, in the font identification / font learning neural network 3, learning of a font identification procedure is performed based on the obtained font identification result of the input character and the past font identification result (step S14). This learning result is based on font identification / font learning neural
The information is fed back to the font identification unit of the network 3 and is used for identifying the font of the next input character.
こうして、入力文字のフォントFnを予測することによ
って、シングルフォント文字認識のごとくマルチフォン
ト文字認識を実施でき、マルチフォント文字認識であっ
ても高い文字認識率を得ることができるのである。Thus, by predicting the font Fn of the input character, multi-font character recognition can be performed as in single-font character recognition, and a high character recognition rate can be obtained even in multi-font character recognition.
上記タイプＩおよびタイプIIにおいては、いずれもフ
ォント学習部を設けてフォント識別の識別能力をより高
めるようにしているが、フォント学習部は必ずしも必要
とはしない。In both Type I and Type II, a font learning unit is provided to further enhance the identification capability of font identification, but the font learning unit is not always necessary.
以下、実際的なモデルを上げて、上記文字認識装置の
動作をより具体的に説明する。Hereinafter, the operation of the character recognition device will be described more specifically with reference to a practical model.
ここで、上記実際的なモデルとは次のような例であ
る。Here, the practical model is an example as follows.
認識対象文字ｊは３文字:A,B,C 入力パターン・特徴ベクトルＸの次数ｉは２次:X（xi,x
ii） フォントＦの数ｋは２種類:F1,F2 すなわち、 第１表におけるA1,A2,B1,B2,C1,C2の６文字を識別す
るのである。Recognition target character j is three characters: A, B, C The degree i of the input pattern / feature vector X is quadratic: X (xi, x
ii) There are two types k of font F: F1, F2, The six characters A1, A2, B1, B2, C1, and C2 in Table 1 are identified.
モデル１ モデル１は、第１図（ａ）および第２図（ａ）におけ
るタイプＩであって、かつフォント学習部を備えた文字
認識装置を用いて、上記６文字A1,A2,B1,B2,C1,C2を識
別するモデルである。モデル１の文字認識装置は、第３
図（ａ）に示すような文字／フォント識別ニューラル・
ネットワークによって構成する。この文字／フォント識
別ニューラル・ネットワークは、入力層11,中間層12お
よび最上層13から成る３層構造を有している。図中、△
はフォントF1の識別に係るニューラル・ネットワークを
構築するノードであり、○はフォントF2の識別に係るニ
ューラル・ネットワークを構築するノードである。Model 1 Model 1 is of the type I in FIGS. 1 (a) and 2 (a) and uses the character recognition device equipped with a font learning unit to generate the six characters A1, A2, B1, B2. , C1, C2. Model 1 character recognition device
Character / font identification neural as shown in FIG.
Configure by network. This character / font identification neural network has a three-layer structure including an input layer 11, an intermediate layer 12, and a top layer 13. In the figure, △
Is a node for constructing a neural network related to the identification of the font F1, and ○ is a node for constructing a neural network related to the identification of the font F2.
上記入力層11には２個のノード14,15を設け、このノ
ード14,15には認識対象文字の特徴パターン・ベクトル
Ｘの要素値を入力する。中間層12にはフォントF1の識別
に係る３個のノード16,17,18とフォントF2の識別に係る
３個のノード19,20,21との合計６個のノードを設ける。
そして、６個のノードを夫々入力層11の２つのノード1
4,15と結合する。さらに、入力層11のノードと中間層12
のノードとの結合には、結合の重みWjki（j:文字、k:フ
ォント数、i:特徴パターン次数）を付加する。The input layer 11 is provided with two nodes 14 and 15, to which the element values of the characteristic pattern vector X of the character to be recognized are input. The intermediate layer 12 is provided with a total of six nodes including three nodes 16, 17, and 18 for identifying the font F1 and three nodes 19, 20, and 21 for identifying the font F2.
Then, each of the six nodes is divided into two nodes 1 of the input layer 11.
Combine with 4,15. Further, the nodes of the input layer 11 and the intermediate layer 12
In addition, a connection weight Wjki (j: character, k: font number, i: feature pattern order) is added to the connection with the node.
上記最上層13にはフォントF1の識別に係る１個のノー
ド22とフォントF2の識別に係る１個のノード23との合計
２個のノードを設ける。そして、フォントF1の識別に係
るノード22を中間層12におけるフォントF1の識別に係る
総てのノード16,17,18と結合する。同様に、フォントF2
の識別に係るノード23を中間層12におけるフォントF2の
識別に係る総てのノード19,20,21と結合する。さらに、
最上層13のノードと中間層12のノードとの結合には結合
の重みWjkを付加する。The uppermost layer 13 is provided with a total of two nodes, one node 22 for identifying the font F1 and one node 23 for identifying the font F2. Then, the node 22 relating to the identification of the font F1 is connected to all the nodes 16, 17, 18 relating to the identification of the font F1 in the intermediate layer 12. Similarly, font F2
Is connected to all the nodes 19, 20, and 21 related to the identification of the font F2 in the intermediate layer 12. further,
A connection weight Wjk is added to the connection between the node of the uppermost layer 13 and the node of the intermediate layer 12.
また、最上層13のフォントF1の識別に係るノード22の
出力側を同じノード22の入力側と結合すると共に、中間
層12におけるフォントF2の識別に係るノード19,20,21の
入力側とも結合する。同様に、最上層13のフォントF2の
識別に係るノード23の出力側を同じノード23の入力側と
結合すると共に、中間層12におけるフォントF1の識別に
係るノード16,17,18の入力側とも結合する。そして、こ
の最上層13のノードの出力側と中間層12のノードの入力
側との結合は、結合の重みWkを付加する。また、最上層
13のノード22,23の内部には遅延素子（図示せず）を設
けて、直前に算出した値（以下、前算出値と言う）を保
持するようにする。上記文字／フォント識別ニューラル
・ネットワークにおける識別結果出力用のノードには、
次のように識別カテゴリを割り付ける。すなわち、中間
層12のノード16にはフォントF1の文字Ａすなわち“A1"
を割り付け、ノード17にはフォントF1の文字Ｂ“B1"を
割り付け、ノード18にはフォントF1の文字Ｃ“C1"を割
り付ける。同様に、ノード19,20,21にはフォントF2の文
字“A2",“B2",“C2"を割り付ける。また、最上層13の
ノード22にはフォント“F1"を割り付け、ノード23には
フォント“F2"を割り付けるのである。すなわち、中間
層12における各ノードの出力値のうち最大値を出力して
いるノードが割り付けられている文字を認識文字とする
のである。In addition, the output side of the node 22 related to the identification of the font F1 in the uppermost layer 13 is connected to the input side of the same node 22, and also the input side of the nodes 19, 20, and 21 related to the identification of the font F2 in the middle layer 12. I do. Similarly, the output side of the node 23 relating to the identification of the font F2 in the top layer 13 is connected to the input side of the same node 23, and the input side of the nodes 16, 17, 18 relating to the identification of the font F1 in the intermediate layer 12 is also connected. Join. Then, the connection between the output side of the node of the uppermost layer 13 and the input side of the node of the intermediate layer 12 adds a connection weight Wk. Also, the top layer
A delay element (not shown) is provided inside the nodes 22 and 23 of the thirteen so as to hold a value calculated immediately before (hereinafter referred to as a previously calculated value). The nodes for outputting the identification result in the character / font identification neural network include:
Assign identification categories as follows. That is, the character A of the font F1, that is, "A1" is stored in the node 16 of the intermediate layer 12.
Is assigned to the node 17, the character B "B1" of the font F1 is assigned, and the node 18 is assigned the character C "C1" of the font F1. Similarly, characters “A2”, “B2”, and “C2” of font F2 are assigned to nodes 19, 20, and 21, respectively. The font “F1” is assigned to the node 22 of the uppermost layer 13 and the font “F2” is assigned to the node 23. That is, the character to which the node outputting the maximum value among the output values of the nodes in the intermediate layer 12 is assigned is the recognized character.
換言すれば、上記文字／フォント識別ニューラルネッ
トワークは、フォントF1の識別に係る３層パーセプトロ
ン型ニューラル・ネットワークと、フォントF2の識別に
係る３層パーセプトロン型ニューラル・ネットワークと
を平行に２つ配置して入力層を共有したものであると言
える。In other words, the character / font identification neural network is configured by arranging two parallel three-layer perceptron neural networks for identifying the font F1 and two three-layer perceptron neural networks for identifying the font F2. It can be said that the input layer is shared.
上記構成の文字／フォント識別ニューラル・ネットワ
ークは、次のように動作して文字およびフォントを識別
する。The character / font identification neural network configured as described above operates as follows to identify characters and fonts.
ここで、結合の重みWjkiの値は、入力された文字の特
徴パターン・ベクトルＸが属する文字カテゴリを識別で
きるように、予め学習ベクトル量子化２（LVQ2）等によ
って学習されて第４図に示すように得られている。ま
た、結合の重みWjkの値は、中間層12における各ノード
のうち最大出力値を出力しているノードに割り付けられ
た文字（例えばｊ′）に対応する結合の重み（例えばW
j′ｋ）の値のみを“1"とし、他の値を“0"とする。一
方、結合の重みWkの値は予め所定の値が与えられる。Here, the value of the connection weight Wjki is learned in advance by learning vector quantization 2 (LVQ2) or the like so as to identify the character category to which the feature pattern vector X of the input character belongs, and is shown in FIG. Has been obtained. The value of the connection weight Wjk is a connection weight (for example, W ′) corresponding to the character (for example, j ′) assigned to the node that outputs the maximum output value among the nodes in the intermediate layer 12.
Only the value of j′k) is “1”, and the other values are “0”. On the other hand, a predetermined value is given to the value of the connection weight Wk in advance.
上記入力層11のノード14に入力文字の特徴パターン・
ベクトルＸの要素xiの値が入力されると同時に、ノード
15には要素xiiの値が入力される。そうすると、中間層1
2の各ノードは、この入力値xi,xiiと最上層13のノード
からフィードバックされた前算出値Ｏ′ｋと結合の重み
Wjki,Wkの値とに基づいて出力値Yjkを算出して出力す
る。そして、こうして出力された中間層12の各ノード1
6,…,21からの出力値Yjkのうち、最大値を出力している
ノードに割り付けられた文字ｊを認識文字とするのであ
る。In the node 14 of the input layer 11, the characteristic pattern of the input character
As soon as the value of the element xi of the vector X is input, the node
In 15, the value of the element xii is input. Then, the middle layer 1
2 are input values xi, xii, the pre-calculated value O'k fed back from the node of the uppermost layer 13, and the weight of the connection.
An output value Yjk is calculated and output based on the values of Wjki and Wk. Then, each node 1 of the intermediate layer 12 thus output
Among the output values Yjk from 6,..., 21, the character j assigned to the node outputting the maximum value is used as the recognition character.
また、上述のようにして算出された出力値Yjkのう
ち、フォントF1に係る出力値Yj1が最上層13のフォントF
1に係るノード22に入力される一方、フォントF2に係る
出力値Yj2が最上層13のフォントF2に係るノード23に入
力される。そうすると、最上層13の各ノードは、この入
力値Yjkと自ノードの上記遅延素子に保持された前算出
値Ｏ′ｋと結合の重みWjkとに基づいて出力値Okを算出
して上述のようにノード22内の遅延素子に保持する。そ
して、この保持された出力値OkのうちのフォントF1に係
る出力値O1が、次の入力文字に対する出力値Yj2およびO
1の算出の際に、最上層13のフォントF1に係る自ノード2
2および中間層12のフォントF2に係るノード19,20,21に
フィードバックされるのである。一方、フォントF2に係
る出力値O2が、次の入力文字に対する出力値Yj1およびO
2の算出の際に、最上層13のフォントF2に係る自ノード2
3および中間層12のフォントF1に係るノード16,17,18に
フィードバックされるのである。Further, of the output values Yjk calculated as described above, the output value Yj1 related to the font F1 is the font F
1, while the output value Yj2 related to the font F2 is input to the node 23 related to the font F2 in the uppermost layer 13. Then, each node of the uppermost layer 13 calculates the output value Ok based on the input value Yjk, the pre-calculated value O′k held in the delay element of the own node, and the connection weight Wjk, as described above. At the delay element in the node 22. Then, of the held output values Ok, the output value O1 related to the font F1 is changed to the output values Yj2 and Oj for the next input character.
When calculating 1, the own node 2 relating to the font F1 of the top layer 13
This is fed back to the nodes 19, 20, and 21 relating to the font F2 of the second and middle layers 12. On the other hand, the output value O2 related to the font F2 is the output value Yj1 and Oj for the next input character.
When calculating 2, the own node 2 related to the font F2 of the top layer 13
This is fed back to the nodes 16, 17, and 18 relating to the font F1 of the third layer and the middle layer 12.
次に、上述の中間層12の各ノードにおいて実行される
文字識別用の出力値Yjkの算出アルゴリズム、および、
最上層13の各ノードにおいて実行されるフォント識別用
の出力値Okの算出アルゴリズムについて詳細に述べる。Next, an algorithm for calculating the output value Yjk for character identification executed in each node of the above-described intermediate layer 12, and
The calculation algorithm of the output value Ok for font identification executed in each node of the uppermost layer 13 will be described in detail.
文字識別用の出力値Yjkおよびフォント識別用の出力
値Okは、出力関数ｆを用いて次式のように表される。The output value Yjk for character identification and the output value Ok for font identification are expressed by the following equation using an output function f.
ここで、出力関数f1,f2は、第３図（ｂ）および第３
図（ｃ）に示すようなリニア関数である。 Here, the output functions f 1 and f 2 are shown in FIG.
This is a linear function as shown in FIG.
上記（１）式における変数項の第１項は入力された特
徴パターン・ベクトルＸに基づく文字識別結果を表す項
であり、第２項は前回のフォント識別結果に基づく活性
化／抑制化項である。また、上記（２）式における変数
項の第１項は入力された文字識別結果に基づくフォント
識別結果を表す項であり、第２項は前回のフォント識別
結果に基づく学習項である。すなわち、（２）式によっ
てフォント識別ノード前の前算出値のμ倍の値を加え合
わすことによって、入力文字のフォント識別手順を逐次
学習するようにしている。The first term of the variable term in the above equation (1) is a term representing a character identification result based on the input feature pattern vector X, and the second term is an activation / suppression term based on the previous font identification result. is there. The first term of the variable term in the above equation (2) is a term representing the font identification result based on the input character identification result, and the second term is a learning term based on the previous font identification result. That is, the font identification procedure of the input character is successively learned by adding the value μ times the pre-calculated value before the font identification node according to the equation (2).
つまり、最上層13における夫々のノードの演算部と自
ノードの出力側〜入力側間の結合部と上記遅延素子とに
よってフォント学習部を構成するのである。In other words, the font learning unit is configured by the arithmetic unit of each node in the uppermost layer 13, the coupling unit between the output side and the input side of the own node, and the delay element.
いま、各ノードによる出力値算出をより具体的に説明
するため、上述のようなモデルにおいて、以下に示すよ
うな未知文字の特徴パターン・ベクトルＸ（xi,xii）を
以下に示すような時刻に入力するものとする。Now, in order to describe the output value calculation by each node more specifically, in the above-described model, a characteristic pattern vector X (xi, xii) of an unknown character as shown below is set at a time as shown below. Shall be entered.
時刻t1 X1（−0.2,−0.98）∈B2 時刻t2 X2（ 0.8,−0.6 ）∈C2 また、結合の重みWjkの初期値，結合の重みWkの値お
よび係数μｋの値は、予め次のように設定されているも
のとする。Time t1 X 1 (−0.2, −0.98) ∈B2 Time t2 X 2 (0.8, −0.6) ∈C2 Also, the initial value of the connection weight Wjk, the value of the connection weight Wk, and the value of the coefficient μk are determined in advance as follows. It is assumed to be set as follows.
Wa1＝Wa2＝Wb1＝Wb2＝Wc1＝Wc2＝１ W1＝W2＝−１ μ１＝μ２＝１ このように、モデル１の場合には、最上層13のノード
出力側と中間層12のノードの入力側とを結合する際に、
その最上層13のノードが割り付けられたフォントと中間
層12のノードが割り付けられたフォントとは異なるフォ
ントになるようにし、結合の重みWkの値を負の値“−1"
に設定する。Wa1 = Wa2 = Wb1 = Wb2 = Wc1 = Wc2 = 1 W1 = W2 = −1 μ1 = μ2 = 1 Thus, in the case of the model 1, the node output side of the uppermost layer 13 and the input of the node of the intermediate layer 12 When joining with the side,
The font to which the node of the top layer 13 is allocated is different from the font to which the node of the intermediate layer 12 is allocated, and the value of the connection weight Wk is set to a negative value “−1”.
Set to.
すなわち、中間層12における夫々のノードの演算部と
最上層ノードの出力側〜中間層ノードの入力側間の結合
部とその結合部に付加された結合の重みWjkとでノード
出力値制御手段を構成するのである。そして、（１）式
に基づく文字認識用出力値Yjk算出に際して、直前のフ
ォント認識結果に基づいて、その直前のフォント以外の
フォントの文字が割り付けられたノードの出力値を抑制
するようにし、相対的に直前のフォントの文字が割り付
けられたノードの出力値が強調されるようにするのであ
る。こうすることによって、シングルフォント文字認識
の場合と同様の状態してに高認識率を得ることができる
のである。That is, the node output value control means is calculated by the arithmetic unit of each node in the intermediate layer 12, the connection between the output side of the uppermost layer node and the input side of the intermediate layer node, and the connection weight Wjk added to the connection. Make up. Then, when calculating the character recognition output value Yjk based on the expression (1), based on the immediately preceding font recognition result, the output value of a node to which a character of a font other than the immediately preceding font is assigned is suppressed, The output value of the node to which the character of the immediately preceding font is assigned is emphasized. By doing so, a high recognition rate can be obtained in the same state as in the case of single font character recognition.
実際の出力値算出手順は以下の通りである。ここで、
時刻t0における最上層13のフォントF1に係るノード22の
出力値（すなわち、時刻t1における前算出値Ｏ′１）は
“0"であり、時刻t0におけるフォントF2に係るノード23
の出力値（すなわち、時刻t1における前算出値Ｏ′２）
は“0.7"であるとする。The actual output value calculation procedure is as follows. here,
The output value of the node 22 related to the font F1 of the uppermost layer 13 at the time t0 (that is, the previous calculated value O′1 at the time t1) is “0”, and the node 23 related to the font F2 at the time t0 is “23”.
(Ie, the previously calculated value O'2 at time t1)
Is "0.7".
まず、時刻t1に、入力層11のノード14に未知文字の特
徴パターン・ベクトル X1（−0.2,−0.98）の要素xi＝
−0.2が入力される一方、ノード15には要素xii＝−0.98
が入力される。そうすると、中間層12の各ノードにおい
て第４図に示す結合の重みWjkiを用いて上記（１）式に
よって文字識別用出力値Yjkが以下に示すように算出さ
れる。First, at time t1, an element xi of a feature pattern vector X 1 (−0.2, −0.98) of an unknown character is added to a node 14 of the input layer 11 =
While −0.2 is input, element xii = −0.98 is input to node 15.
Is entered. Then, in each node of the intermediate layer 12, the output value Yjk for character identification is calculated by the above equation (1) using the connection weight Wjki shown in FIG.
すなわち、例えばYa1の場合には、 Ya1＝f1（（Wa1 i・xi・Wa1 ii・xii）＋W2・Ｏ′２） ＝f１((0.7×(-0.2)+0.7×(-0.98))+(-1)×0.7) ＝f1（−1.526） ＝−1.53 となる。以下同様にして、 Ya2＝f1（（Wa2 i・xi＋Wa2 ii・xii）＋W1×Ｏ′１） ＝−0.98 Yb1＝f1（（Wb1 i・xi＋Wb1 ii・xii）＋W2×Ｏ′２） ＝−0.50 Yb2＝f1（（Wb2 i・xi＋Wb2 ii・xii）＋W1・Ｏ′１） ＝0.90 Yc1＝f1（（Wc1 i・xi＋Wc1 ii・xii）＋W2・Ｏ′２） ＝0.28 Yc2＝f1（（Wc2 i・xi＋Wc2 ii・xii）＋W1・Ｏ′１） ＝0.55 となる。That is, for example, in the case of Ya1 is, Ya1 = f 1 ((Wa1 i · xi · Wa1 ii · xii) + W2 · O'2) = f 1 ((0.7 × (-0.2) + 0.7 × (-0.98)) + (- 1) a × 0.7) = f 1 (-1.526 ) = -1.53. Similarly, in the same manner, Ya2 = f 1 ((Wa2 i · xi + Wa2 ii · xii) + W1 × O′1) = − 0.98 Yb1 = f 1 ((Wb1 i · xi + Wb1 ii · xii) + W2 × O′2) = − 0.50 Yb2 = f 1 ((Wb2 i · xi + Wb2 ii · xii) + W1 · O′1) = 0.90 Yc1 = f 1 (((Wc1 i · xi + Wc1 ii · xii) + W2 · O′2) = 0.28 Yc2 = f 1 ( (Wc2 i · xi + Wc2 ii · xii) + W1 · O′1) = 0.55.
次に、こうして算出された中間層12のフォントF1に係
るノード16,17,18からの出力値Yj1が、最上層13の同じ
フォントF1に係るノード22に入力される。一方、フォン
トF2に係るノード19,20,21からの出力値Yj2が、上述の
ように最上層13の同じフォントF2に係るノード23に入力
される。そうすると、最上層13の各ノードにおいて、入
力された中間層12からの出力値Yjkを用いて上記（２）
式によってフォント識別用出力値Okが以下に示すように
算出される。Next, the output value Yj1 from the nodes 16, 17, 18 relating to the font F1 of the intermediate layer 12 calculated in this way is input to the node 22 relating to the same font F1 in the uppermost layer 13. On the other hand, the output value Yj2 from the nodes 19, 20, and 21 related to the font F2 is input to the node 23 related to the same font F2 in the uppermost layer 13 as described above. Then, at each node of the uppermost layer 13, using the input output value Yjk from the intermediate layer 12,
The output value Ok for font identification is calculated by the formula as shown below.
その際に、結合の重みWjkは次のように決定される。
すなわち、上述のように時刻t1における文字識別用出力
値Yjkの最大値はYb2であるから、結合の重みWjkの値は Wb1＝Wb2＝１ Wa1＝Wa2＝Wc1＝Wc2＝０ と決定されるのである。At this time, the connection weight Wjk is determined as follows.
That is, since the maximum value of the character identification output value Yjk at time t1 is Yb2 as described above, the value of the connection weight Wjk is determined as Wb1 = Wb2 = 1 Wa1 = Wa2 = Wc1 = Wc2 = 0 is there.
そうすると、例えばO1の場合には、 O1＝f２((Wa1・Ya1+Wb1・Yb1+Wc1・Yc1)+μ1・O′1) ＝f２((0×(-1.53)+1×(-0.50)+0×0.28)+1×0) ＝f2（−0.50） ＝−0.25 となる。以下同様にして、 O2＝f２((Wa2・Ya2+Wb2・Yb2+Wc2・Yc2 +μ2・O′2) ＝0.80 こうして、時刻t1に入力された特徴パターン・ベクト
ルX1（−0.2,−0.98）に基づいて、文字認識用出力値Yj
kとフォント識別出力値Okとが算出されて出力される。Then, for example in the case of O1 is, O1 = f 2 ((Wa1 · Ya1 + Wb1 · Yb1 + Wc1 · Yc1) + μ1 · O'1) = f 2 ((0 × (-1.53) + 1 × (- 0.50) + 0 × 0.28) + 1 × 0) = f 2 (−0.50) = − 0.25 Similarly, in the same manner, O2 = f 2 ((Wa2 · Ya2 + Wb2 · Yb2 + Wc2 · Yc2 + μ2 · O′2) = 0.80 Thus, the feature pattern vector X 1 (−0.2, − 0.98), the output value for character recognition Yj
k and the font identification output value Ok are calculated and output.
次に時刻t2に、入力層11の各ノード14,15に未知文字
の特徴パターン・ベクトルX2（0.8,−0.6）の各要素が
入力される。そうすると、上述のようにして中間層12の
各ノードにおいて文字識別用出力値Yjkが算出される。
さらに、こうして算出された中間層12の各ノードからの
出力値Yjkが、上述のように最上層13の同じフォントに
係るノードに入力される。そして、上述のように最上層
13の各ノードにおいてフォント識別用出力値Okが算出さ
れる。Next, at time t2, each element of the characteristic pattern vector X 2 (0.8, −0.6) of the unknown character is input to each of the nodes 14 and 15 of the input layer 11. Then, the output value Yjk for character identification is calculated at each node of the intermediate layer 12 as described above.
Further, the output value Yjk from each node of the intermediate layer 12 calculated in this way is input to the node related to the same font in the uppermost layer 13 as described above. And the top layer as described above
In each of the 13 nodes, the font identification output value Ok is calculated.
その結果、得られた文字識別用出力値Yjkとその際の
フォント識別用出力値Okとは、第２表に示すようになる
のである。As a result, the obtained character identification output value Yjk and the font identification output value Ok at that time are as shown in Table 2.
第２表から、時刻t1における文字認識用出力値Yjkの
最大値を出力しているノードに割り付けられている文字
カテゴリ“B2"から、特徴パターン・ベクトルX1（−0.
2,−0.98）の文字はB2であると正しく識別される。同様
に、時刻t2における文字認識用出力値Yjkの最大値を出
力しているノードに割り付けられている文字カテゴリ
“C2"から、特徴パターン・ベクトルX2（0.8,−0.6）の
文字はC2であると正しく識別される。 From Table 2, from the character category “B2” assigned to the node outputting the maximum value of the character recognition output value Yjk at time t1, the characteristic pattern vector X 1 (−0.
The characters 2, −0.98) are correctly identified as B2. Similarly, from the character category “C2” assigned to the node outputting the maximum value of the character recognition output value Yjk at time t2, the character of the feature pattern vector X 2 (0.8, −0.6) is C2. Correctly identified.
また、フォント識別手順の逐次学習の効果によって、
フォントF2に係るフォント識別用出力値O2の値が、時刻
t0から時刻t2に進むに連れて大きくなるのが分かる。In addition, due to the effect of sequential learning of the font identification procedure,
The value of the font identification output value O2 for the font F2 is the time
It can be seen that it increases as the time progresses from t0 to time t2.
本実施例においては、文字識別の際に、直前のフォン
ト識別結果に基づいて入力文字のフォントを予測し、こ
の予測フォント以外のフォントの文字に関する文字識別
用出力値Yjkを抑制することに特徴があるのである。す
なわち、第５図は第３図（ａ）における最上層13のノー
ド22,23を除去して、フォント識別結果の中間層ノード
へのフィードバックを無くした場合の文字／フォント識
別ニューラル・ネットワークの概略図である。この第５
図の文字／フォント識別ニューラル・ネットワークによ
って、上述と同じ結合の重みや定数の値を用いて、上述
と同じ特徴パターン・ベクトルに対する文字認識を実行
した場合の結果を第３表に示す。The present embodiment is characterized in that at the time of character identification, the font of the input character is predicted based on the immediately preceding font identification result, and the output value for character identification Yjk relating to characters of a font other than the predicted font is suppressed. There is. That is, FIG. 5 is a schematic diagram of a character / font identification neural network in the case where nodes 22 and 23 of the uppermost layer 13 in FIG. 3 (a) are removed and feedback of the font identification result to the intermediate layer node is eliminated. FIG. This fifth
Table 3 shows the result of the case where the character / font identification neural network shown in the figure performs character recognition for the same feature pattern vector as described above using the same connection weights and constant values as described above.
第３表に示すように、直前のフォント識別結果に基づ
く文字識別用出力値Yjkの抑制を実行しない場合には、
正しい識別結果が得られない場合が生じるのである。こ
のことから、フォント識別結果と異なるフォントの文字
に係る文字認識ノードの出力値の抑制は、マルチフォン
ト文字認識の際に大いに効果があるのである。 As shown in Table 3, when the suppression of the character identification output value Yjk based on the immediately preceding font identification result is not performed,
In some cases, a correct identification result cannot be obtained. From this, suppression of the output value of the character recognition node related to a character of a font different from the font identification result is very effective in multi-font character recognition.
モデル２ モデル２は、上述のモデル１におけるフォント識別の
逐次学習に際して、総てのフォントの識別結果を用いる
ことによって、より効率良くフォント識別手順の学習を
行うようにしたモデルである。Model 2 Model 2 is a model in which the font identification procedure is learned more efficiently by using all the font identification results in the above-described sequential learning of the font identification in the model 1.
このモデル２における文字／フォント識別ニューラル
・ネットワークは、第６図（ａ）に示すように、第３図
（ａ）の文字／フォント識別ニューラル・ネットワーク
の構成に加えて、最上層25におけるフォントF1の識別に
係るノード26の出力側をフォントF2の識別に係るノード
27の入力側と結合する。同様に、フォントF2の識別に係
るノード27の出力側をフォントF1の識別に係るノード26
の入力側と結合する。そして、上記（２）式における学
習項を次のようにするのである。As shown in FIG. 6 (a), the character / font identification neural network in the model 2 has a font F1 in the uppermost layer 25 in addition to the configuration of the character / font identification neural network shown in FIG. 3 (a). The output side of the node 26 related to the identification of the font F2
Combine with 27 inputs. Similarly, the output side of the node 27 related to the identification of the font F2 is changed to the node 26 related to the identification of the font F1.
And the input side of. The learning term in the above equation (2) is set as follows.
ここで、 μk1:自ノード間の結合に係る係数 Ｏ′K1:自ノードの前算出値 μk2:他ノード間の結合に係る係数 Ｏ′k2:他ノードの前算出値 そして、予め係数μk1の値を“1"に設定すると共に係
数μk2の値を“−1"に設定する。こうして、最上層25の
各ノードにおいて、夫々のノードから出力される前算出
値に応じた値だけ、次回における自ノードの算出値を活
性化すると共に他のノードの算出値を抑制するのであ
る。こうすることによって、第４表に示すように、最上
層25におけるフォント識別に係るノードからの出力値間
の差がより大きくなり、フォント識別を確実に行うこと
ができるのである。 Here, μk 1 : Coefficient related to coupling between own nodes O′K 1 : Previous calculated value of own node μk 2 : Coefficient related to coupling between other nodes O′k 2 : Previous calculated value of other node The value of the coefficient μk 1 is set to “1” and the value of the coefficient μk 2 is set to “−1”. In this way, in each node of the uppermost layer 25, the calculated value of the own node at the next time is activated and the calculated value of the other node is suppressed by a value corresponding to the previously calculated value output from each node. By doing so, as shown in Table 4, the difference between the output values from the nodes relating to the font identification in the uppermost layer 25 becomes larger, and the font identification can be performed reliably.
したがって、時刻t1におけるフォント識別結果に基づ
いて行われる時刻t2のおける文字認識の際に、（１）式
における抑制項の効果がさらに顕著に現れて、入力文字
の識別がより的確に実行できるのである。 Therefore, at the time of character recognition at time t2 performed based on the font identification result at time t1, the effect of the suppression term in equation (1) appears more prominently, and the input characters can be more accurately identified. is there.
第７図は識別対象フォントが３種類有り、それに対応
して最上層31にフォントF1が割り付けられたノード32、
フォントF2が割り付けられたノード33、フォントF3が割
り付けられたノード34が設けられている場合における各
最上層ノード間の結合の一例を示す図である。FIG. 7 shows three types of fonts to be identified, corresponding to the node 32 in which the font F1 is assigned to the uppermost layer 31;
FIG. 9 is a diagram showing an example of a connection between the uppermost nodes when a node 33 to which a font F2 is assigned and a node 34 to which a font F3 is assigned are provided.
モデル３ 上記モデル１では、直前のフォント識別結果に基づい
て入力文字のフォントを予測し、この予測結果を用いて
入力文字を識別している。これに対して、モデル３で
は、入力された特徴パターン・ベクトルのみに基づいて
予め入力文字のフォントを識別し（すなわち、入力文字
のフォントを予測し）、このフォント識別結果を用いて
上記特徴パターン・ベクトルに基づいて入力文字を識別
するのである。Model 3 In the model 1, the font of the input character is predicted based on the immediately preceding font identification result, and the input character is identified using the prediction result. On the other hand, in the model 3, the font of the input character is identified in advance based on only the input feature pattern vector (that is, the font of the input character is predicted), and the feature pattern -Identify input characters based on vectors.
このモデル３における文字／フォント識別ニューラル
・ネットワークは、第８図（ａ）に示すように、第３図
（ａ）の文字／フォント識別ニューラル・ネットワーク
において、最上層13の各ノード22,23における自ノード
の出力側〜入力側間の接続を取り去った構造を有する。
すなわち、遅延素子を含めたフォント学習部を備えてい
ないのである。As shown in FIG. 8 (a), the character / font identification neural network in this model 3 is the same as the character / font identification neural network shown in FIG. It has a structure in which the connection between the output side and the input side of its own node is removed.
That is, the font learning unit including the delay element is not provided.
上記モデル３におけるフォント識別アルゴリズムおよ
び文字識別アルゴリズムは、次のようなアルゴリズムで
ある。The font identification algorithm and the character identification algorithm in the model 3 are as follows.
（イ）フォント識別アルゴリズム （ロ）文字識別アルゴリズム ここで、出力関数f1,f2は、第８図（ｂ）および第８
図（ｃ）に示すようなリニア関数である。また、モデル
３においては、結合の重みWjkの値を総て予め設定され
た所定値とするのである。このように、結合の重みWjk
の値を予め所定値に設定するのは次の理由による。すな
わち、同一フォントに属する特徴パターン・ベクトルは
ある一定の傾向を有することが多い。そこで、同一フォ
ントに係る総ての文字識別結果に基づいて、そのフォン
トに係る上記傾向を抽出するようにするのである。(B) Font identification algorithm (B) Character identification algorithm Here, the output functions f 1 and f 2 are obtained by comparing FIG.
This is a linear function as shown in FIG. Further, in the model 3, the values of the weights Wjk of the connection are all set to predetermined values. Thus, the connection weight Wjk
Is set to a predetermined value in advance for the following reason. That is, the characteristic pattern vectors belonging to the same font often have a certain tendency. Therefore, the above-mentioned tendency relating to the same font is extracted based on all character identification results relating to the same font.
上記構成の文字／フォント識別ニューラル・ネットワ
ークは、次のように動作して文字およびフォントを識別
する。The character / font identification neural network configured as described above operates as follows to identify characters and fonts.
入力層35に入力文字の特徴パターン・ベクトルＸ（x
i,xii）が入力される。そうすると、中間層36の各ノー
ドは、この特徴パターン・ベクトルＸ（xi,xii）との結
合の重みWjkiとを用いて、（４）式に基づいて出力値
Ｙ″jkが算出される。こうして算出された出力値Ｙ″jk
は最上層37の各ノードに入力される。そして、最上層37
の各ノードにおいて、この出力値Ｙ″jkと結合の重みWj
kとを用いて、（５）式に基づいて出力値Okが算出され
る。その際に、結合の重みWjkの値は所定の値に固定さ
れているのである。次に、この算出された出力値Okの値
が中間層36の各ノードにフィードバックされる。そし
て、再度中間層36各ノードにおいて、上記特徴パターン
・ベクトルＸ（xi,xii）と結合の重みWjkiと最上層37か
らの出力値Okとを用いて、（６）式に基づいて出力値Yj
kが算出される。そして、こうして算出された出力値Yjk
のうち、最大値を出力しているノードに割り付けられた
文字ｊを文字認識結果とするのである。In the input layer 35, the characteristic pattern vector X (x
i, xii) is input. Then, each node of the intermediate layer 36 calculates the output value Y ″ jk based on the equation (4) using the weight Wjki of the connection with the feature pattern vector X (xi, xii). The calculated output value Y ″ jk
Is input to each node of the uppermost layer 37. And the top layer 37
, The output value Y ″ jk and the connection weight Wj
Using k and the output value Ok is calculated based on equation (5). At that time, the value of the connection weight Wjk is fixed to a predetermined value. Next, the calculated value of the output value Ok is fed back to each node of the intermediate layer 36. Then, at each node of the intermediate layer 36 again, using the feature pattern vector X (xi, xii), the connection weight Wjki, and the output value Ok from the uppermost layer 37, the output value Yj is obtained based on the equation (6).
k is calculated. Then, the output value Yjk thus calculated
Of these, the character j assigned to the node outputting the maximum value is used as the character recognition result.
上述のように、このモデル３においては、文字／フォ
ント識別ニューラル・ネットワークの入力層35→中間層
36→最上層37を介して予め入力文字のフォントを識別す
る。そして、このフォント識別結果（すなわち、予測フ
ォント）を用いて、さらに最上層37→中間層36を介して
上記入力文字を識別するのである。As described above, in this model 3, the input layer 35 of the character / font identification neural network → the hidden layer
36 → The font of the input character is identified in advance via the uppermost layer 37. Then, using the font identification result (that is, the predicted font), the input character is further identified through the uppermost layer 37 → the intermediate layer 36.
上記モデル１の場合と同じ結合の重みWjki,Wkの値お
よび未知文字の特徴パターン・ベクトルXxと、総ての結
合の重みWjkの値“1"とを用いて、上記（４）式，
（５）式および（６）式に従って文字識別用出力値Yjk
およびフォント識別用出力値Okを算出した場合の各出力
値の算出結果を第５表に示す。Using the same values of the connection weights Wjki and Wk and the characteristic pattern vector Xx of the unknown character as in the case of the model 1, and the value “1” of all the connection weights Wjk, the above equation (4) is used.
Output value Yjk for character identification according to equations (5) and (6)
Table 5 shows the calculation results of each output value when the font identification output value Ok is calculated.
この場合においても、正しくフォント識別が実施され
る。しかしながら、第２表に示したモデル１の場合と比
較してフォント識別用出力値の差が小さく、フォント識
別手順の逐次学習を行なった方がフォント識別の精度が
良いと言うことができる。 Also in this case, font identification is correctly performed. However, the difference between the output values for font identification is smaller than that of the model 1 shown in Table 2, and it can be said that the accuracy of font identification is better when successive learning of the font identification procedure is performed.
モデル３′ モデル３′は、第９図に示すように、モデル３におけ
る文字／フォント識別ニューラル・ネットワークの構造
に加えて、最上層42のフォントF1の識別に係るノード49
の出力側を中間層41の同じフォントF1の識別に係るノー
ド43,44,45の入力側と結合する。同様に、最上層42のフ
ォントF2の識別に係るノード50を中間層41のフォントF2
の識別に係るノード46,47,48の入力側と結合する。そし
て、上記（６）式における文字認識用出力値Yjkの算出
アルゴリズムを（７）式に示すように変更する。Model 3 'Model 3' includes a node 49 relating to the identification of the font F1 in the uppermost layer 42 in addition to the structure of the character / font identification neural network in the model 3 as shown in FIG.
Is connected to the input side of the nodes 43, 44, and 45 of the intermediate layer 41 relating to the identification of the same font F1. Similarly, the node 50 related to the identification of the font F2 in the uppermost layer 42 is
To the input sides of the nodes 46, 47, and 48 related to the identification. Then, the calculation algorithm of the character recognition output value Yjk in the above equation (6) is changed as shown in the equation (7).
ここで、 Wk1:同一フォントに係るノード間の結合重み Ok1:同一フォントに係る最上層ノードの出力値 Wk2:異なるフォントに係るノード間の結合重み Ok2:異なるフォントに係る最上層ノードの出力値 そして、上記結合重みWk1の値は“1"に、また結合の
重みWk2の値は“−1"に予め設定しておく。すなわち、
文字認識用出力値Yjk算出アルゴリズムに抑制化項と活
性化項との２つの項を設けるのである。 Here, Wk 1 : connection weight between nodes related to the same font Ok 1 : output value of the top layer node related to the same font Wk 2 : connection weight between nodes related to different fonts Ok 2 : top layer node related to different fonts output value and, in the value of "1" the connection weight Wk 1, and the value of the weight Wk 2 bonds preset to "-1". That is,
The character recognition output value Yjk calculation algorithm is provided with two terms, a suppression term and an activation term.
入力層40に入力された入力文字の特徴パターン・ベク
トルに基づいて上記（４）式および（５）式によってフ
ォント識別用出力値Okを算出し、入力文字のフォントを
予測する。そして、その予測フォント以外のフォントの
文字に関する出力値を抑制する一方、その予測フォント
と同じフォントの文字に関する出力値を活性化するので
ある。こうすることによって、活性化と抑制化との相乗
効果によって、推定フォントと同じフォントの文字の識
別能力がより一層高められるのである。Based on the characteristic pattern vector of the input character input to the input layer 40, the output value Ok for font identification is calculated by the above expressions (4) and (5), and the font of the input character is predicted. Then, while suppressing output values relating to characters in a font other than the predicted font, output values relating to characters in the same font as the predicted font are activated. By doing so, the synergistic effect of activation and suppression further enhances the ability to identify characters of the same font as the estimated font.
モデル４ モデル４は、第１図（ａ）および第２図（ａ）におけ
るタイプIIであって、かつフォント学習部を備えていな
い文字認識装置を用いて、上記６文字A1,A2,B1,B2,C1,C
2を識別するモデルである。モデル４の文字認識装置
は、第10図に示すようにフォント識別ニューラル・ネッ
トワークと文字識別ニューラル・ネットワークとから構
成する。フォント識別ニューラル・ネットワークは入力
層55および出力層56から成る２層構造を有する一方、文
字識別ニューラル・ネットワークは入力層55および出力
層57から成る２層構造を有している。すなわち、フォン
ト識別ニューラル・ネットワークと文字識別ニューラル
・ネットワークとは入力層55を共有しているので、図
中、△はフォントF1の識別に係るネットワークを構築す
るノードであり、○はフォントF2の識別に係るネットワ
ークを構築するノードである。Model 4 Model 4 is a type II in FIGS. 1 (a) and 2 (a) and uses a character recognition device that does not have a font learning unit, and uses the six characters A1, A2, B1, B2, C1, C
This is a model that identifies 2. The model 4 character recognition device is composed of a font identification neural network and a character identification neural network as shown in FIG. The font identification neural network has a two-layer structure including an input layer 55 and an output layer 56, while the character identification neural network has a two-layer structure including an input layer 55 and an output layer 57. That is, since the font identification neural network and the character identification neural network share the input layer 55, in the figure, △ is a node for constructing a network relating to the identification of the font F1, and ○ is the identification of the font F2. Is a node that constructs a network according to.
上記フォント識別ニューラル・ネットワークの入力層
55には２個のノード58,59を設け、このノードには認識
対象文字の特徴パターン・ベクトルＸの要素の値を入力
する。出力層56にはフォントF1の識別に係る１個のノー
ド60とフォントF2の識別に係る１個のノード61を設け
る。そして、出力層56の各ノードは入力層55の全ノード
と結合する。さらに、入力層55のノードと出力層56のノ
ードとの結合には、結合の重みWkiを付加する。また、
出力層56のノード60,61の内部には遅延素子（図示せ
ず）を設けて、直前に算出した前算出値を保持するよう
にする。Input layer of the above font identification neural network
55 has two nodes 58 and 59, into which the values of the elements of the characteristic pattern vector X of the recognition target character are input. The output layer 56 is provided with one node 60 for identifying the font F1 and one node 61 for identifying the font F2. Each node of the output layer 56 is connected to all nodes of the input layer 55. Further, a connection weight Wki is added to the connection between the node of the input layer 55 and the node of the output layer 56. Also,
A delay element (not shown) is provided inside the nodes 60 and 61 of the output layer 56 so as to hold a previously calculated value calculated immediately before.
上記文字識別ニューラル・ネットワークの出力層57に
はフォントF1の識別に係る３個のノード62,63,64とフォ
ントF2の識別に係る３個のノード65,66,67との６個のノ
ードを設ける。そして、出力層57の各ノードは入力層55
の全ノードと結合する。さらに、入力層55のノードと出
力層57のノードとの結合には、結合の重みWjkiを付加す
る。また、出力層57の内部には遅延素子を設け、直前に
出力した前出力値を保持するようにする。In the output layer 57 of the character identification neural network, six nodes of three nodes 62, 63, 64 relating to the identification of the font F1 and three nodes 65, 66, 67 relating to the identification of the font F2 are provided. Provide. Each node of the output layer 57 is connected to the input layer 55
To all nodes. Further, a connection weight Wjki is added to the connection between the node of the input layer 55 and the node of the output layer 57. In addition, a delay element is provided inside the output layer 57 so as to hold the previous output value output immediately before.
上記フォント識別ニューラル・ネットワークの出力層
56のノード60にはフォント“F1"を割り付け、ノード61
にはフォント“F2"を割り付ける。また、文字識別ニュ
ーラル・ネットワーク出力層57のノード62,63,64にはフ
ォントF1の文字“A1",“B1",“C1"を割り付ける。同様
に、出力層57のノード65,66,67にはフォントF2の文字
“A2",“B2",“C2"を割り付ける。そして、文字識別ニ
ューラル・ネットワークの出力層57における各ノードの
出力値のうち最大値を出力しているノードが割り付けら
れている文字を認識文字とするのである。Output layer of the above font identification neural network
Font "F1" is assigned to node 60 of 56, and node 61
Is assigned the font "F2". The characters "A1", "B1", and "C1" of the font F1 are allocated to the nodes 62, 63, and 64 of the character identification neural network output layer 57. Similarly, characters “A2”, “B2”, and “C2” of font F2 are assigned to nodes 65, 66, and 67 of output layer 57. Then, the character to which the node that outputs the maximum value among the output values of the nodes in the output layer 57 of the character identification neural network is assigned as the recognition character.
上記構成の文字認識装置は、次のように動作して文字
およびフォントを識別する。The character recognition device configured as described above operates as follows to identify characters and fonts.
ここで、結合の重みWjki,Wkiは、入力された文字の特
徴パターン・ベクトルＸが属するフォントカテゴリある
いは文字カテゴリを識別できるように、予め学習ベクト
ル量子化２（LVQ2）等によって学習されている。また、
結合の重みWjkは、文字認識ニューラル・ネットワーク
の出力層57における各ノードのうち最大値を出力してい
るノードに割り付けられた文字に係る結合の重みのみを
“1"とし、他を“0"とする。一方、結合の重みWkは予め
所定値（出力値を活性化する値：例えば“1"）が与えら
れる。Here, the connection weights Wjki and Wki have been learned in advance by learning vector quantization 2 (LVQ2) or the like so that the font category or character category to which the feature pattern vector X of the input character belongs can be identified. Also,
As the connection weight Wjk, only the connection weight relating to the character assigned to the node outputting the maximum value among the nodes in the output layer 57 of the character recognition neural network is set to “1”, and the others are set to “0”. And On the other hand, a predetermined value (a value for activating the output value: for example, “1”) is given to the connection weight Wk in advance.
上記入力層55の各ノード58,59に特徴パターン・ベク
トルＸ（xi,xii）の要素の値が入力される。そうする
と、文字識別ニューラル・ネットワークの出力層57の各
ノードは、この入力値xi,xiiとフォント識別ニューラル
・ネットワークの出力層56の遅延素子に保持された前算
出値Ｏ′ｋと結合の重みWjki,Wkとに基づいて後に詳述
するアルゴリズムによって文字識別用出力値Yjkを算出
して出力する。そして、こうして出力された出力層57の
各ノードからの出力値Yjkのうち、最大値を出力してい
るノードに割り付けられた文字ｊを認識文字とするので
ある。The values of the elements of the characteristic pattern vector X (xi, xii) are input to the nodes 58 and 59 of the input layer 55. Then, each node of the output layer 57 of the character identification neural network outputs the input value xi, xii, the previously calculated value O'k held in the delay element of the output layer 56 of the font identification neural network, and the connection weight Wjki. , Wk, and calculates and outputs a character identification output value Yjk by an algorithm described in detail later. Then, of the output values Yjk output from the nodes of the output layer 57 thus output, the character j assigned to the node that outputs the maximum value is used as the recognition character.
また、上述のようにして算出された文字識別用出力値
Yjkの値は、出力層57の各ノードの遅延素子に保持され
る。そして、この保持された文字識別用出力値Yjkのう
ちフォントF1に係る出力値Yj1の値は、次の入力文字の
フォント識別の際に前出力値Ｙ′jkとしてフォント識別
ニューラル・ネットワークの出力層56のフォントF1に係
るノード60にフィードバックされる。一方、フォントF2
に係る出力値Yj2の値は前出力値Ｙ′jkとしてフォント
識別ニューラル・ネットワークの出力層56のフォントF2
に係るノード61にフィードバックされるのである。Also, the output value for character identification calculated as described above
The value of Yjk is held in the delay element of each node of the output layer 57. The output value Yj1 related to the font F1 among the held character identification output values Yjk is used as the previous output value Y′jk at the time of font identification of the next input character, and is used as the output layer of the font identification neural network. This is fed back to the node 60 related to the 56 font F1. On the other hand, font F2
Is the output value Yj2 of the font F2 of the output layer 56 of the font identification neural network as the previous output value Y'jk.
Is fed back to the node 61 related to.
一方、フォント識別ニューラル・ネットワークの出力
層56の各ノードは、入力層55に入力された入力値xi,xii
と文字識別ニューラル・ネットワークの出力層57の遅延
素子に保持された前出力値Ｙ′jkと結合の重みWki,Wjk
とに基づいて後に詳述するアルゴリズムによってフォン
ト識別用出力値Okを算出する。そして、こうして算出さ
れたフォント識別用出力値Okの値は、出力層56の各ノー
ドの遅延素子に保持される。そして、この保持された文
字識別用出力値Okのうちノード60からのフォントF1に係
る出力値O1の値は、次の入力文字の文字識別の際に前算
出値Ｏ′ｋとして文字識別ニューラル・ネットワークの
出力層57のフォントF1に係るノード62,63,64にフィード
バックされる。一方、ノード61からのフォントF2に係る
出力値O2の値は、前出力値Ｏ′ｋとして文字識別ニュー
ラル・ネットワークの出力層57のフォントF2に係るノー
ド65,66,67にフィードバックされるのである。On the other hand, each node of the output layer 56 of the font identification neural network outputs the input values xi, xii
And the previous output value Y'jk held in the delay element of the output layer 57 of the character recognition neural network, and the connection weights Wki and Wjk
Then, the output value Ok for font identification is calculated by an algorithm described later in detail. Then, the value of the font identification output value Ok thus calculated is held in the delay element of each node of the output layer 56. Then, the value of the output value O1 relating to the font F1 from the node 60 among the held character identification output values Ok is used as a pre-calculated value O'k at the time of character identification of the next input character. The feedback is made to the nodes 62, 63, and 64 related to the font F1 in the output layer 57 of the network. On the other hand, the value of the output value O2 relating to the font F2 from the node 61 is fed back to the nodes 65, 66, 67 relating to the font F2 in the output layer 57 of the character identification neural network as the previous output value O'k. .
上記文字識別ニューラル・ネットワークの出力層57の
各ノードにおいて実行される文字識別用出力値Yjkの算
出アルゴリズム、および、フォント識別ニューラル・ネ
ットワークの出力層56の各ノードにおいて実行されるフ
ォント識別用出力値Okの算出アルゴリズムは、出力関数
ｆを用いて次式のように表される。The algorithm for calculating the character identification output value Yjk executed at each node of the output layer 57 of the character identification neural network, and the font identification output value executed at each node of the output layer 56 of the font identification neural network The algorithm for calculating Ok is expressed by the following equation using the output function f.
つまり、モデル４においては、文字認識ニューラル・
ネットワークにおいて文字を認識する際には、過去のフ
ォント識別結果に基づいて入力文字のフォントを予測し
て、文字認識の認識率を高めるようにしている。一方、
フォント識別ニューラル・ネットワークにおいてフォン
トを識別する際には、過去の文字識別結果に基づいて入
力文字のフォントを予測して、フォント識別の認識率を
高めるようにしているのである。 That is, in Model 4, the character recognition neural
When recognizing a character in a network, the font of an input character is predicted based on a past font identification result, so that the recognition rate of character recognition is increased. on the other hand,
When a font is identified in the font identification neural network, the font of the input character is predicted based on the past character identification result, so that the recognition rate of the font identification is increased.
上記モデル４においては、文字認識ニューラル・ネッ
トワークの出力層57の各ノード62〜67およびフォント識
別ニューラル・ネットワークの出力層56の各ノード60,6
1に遅延素子を設け、文字識別あるいはフォント識別に
際しては、過去の識別結果に基づいて文字あるいはフォ
ントを識別するようにしている。しかしながら、上記各
ノードには遅延素子を設けずに、上述のモデル３の場合
と同様にして、入力文字の特徴パターン・ベクトルのみ
に基づいて一旦入力文字とそのフォントを推定し、その
推定結果と上記特徴パターン・ベクトルとから再度入力
文字とそのフォントを識別するようにしてもよい。In the model 4, the nodes 62 to 67 of the output layer 57 of the character recognition neural network and the nodes 60 and 6 of the output layer 56 of the font identification neural network are used.
1 is provided with a delay element to identify characters or fonts based on past identification results in character identification or font identification. However, without providing a delay element in each of the above nodes, the input character and its font are once estimated based on only the characteristic pattern vector of the input character, and the estimation result The input character and its font may be identified again from the feature pattern vector.
また、モデル４の実施例においては、文字識別用出力
値Yjkおよびフォント識別用出力値Okの算出の際に、前
算出値Ｏ′ｋあるいは前出力値Ｙ′jkによって同じフォ
ントに係る算出値を活性化するようにしているが、異な
るフォントに係る算出値を抑制するようにしても構わな
い。また、フォント識別ニューラル・ネットワークの出
力層ノードに学習部を設けて、よりフォント識別率を高
めるようにしてもよい。Also, in the embodiment of the model 4, when calculating the character identification output value Yjk and the font identification output value Ok, the calculated value related to the same font is calculated by the previous calculated value O′k or the previous output value Y′jk. Although the activation is performed, the calculated value of a different font may be suppressed. Further, a learning unit may be provided at the output layer node of the font identification neural network to further increase the font identification rate.
上述のように、モデル１およびモデル２の実施例にお
いては、文字／フォント識別ニューラル・ネットワーク
の入力層のノードに入力された文字画像の特徴パターン
・ベクトルの要素値に基づいて、中間層の文字識別ノー
ドにおいて文字識別用出力値Yjkが算出される。その際
に、最上層のフォント識別ノードから出力された前算出
値に基づいて、前のフォント識別結果と異なるフォント
に係る文字識別用出力値を抑制するようにしている。す
なわち、文字識別に際して予め入力文字のフォントを予
測して、マルチフォント文字認識であるにも拘らずあた
かもシングルフォント文字認識のごとく文字認識を行う
ことができるのである。したがって、本実施例によれば
高認識率を得ることができるのである。As described above, in the embodiments of the model 1 and the model 2, based on the element value of the feature pattern vector of the character image input to the node of the input layer of the character / font identification neural network, the character of the intermediate layer is used. At the identification node, the output value Yjk for character identification is calculated. At this time, based on the previously calculated value output from the uppermost font identification node, the output value for character identification relating to a font different from the previous font identification result is suppressed. That is, the character of the input character is predicted in advance at the time of character identification, and character recognition can be performed as if it were single font character recognition, despite multi-font character recognition. Therefore, according to this embodiment, a high recognition rate can be obtained.
上述のように、前のフォント識別結果を次の入力文字
の予測フォントとした場合には、一文章中でフォントが
変化した際に、変化直後の入力文字のフォント識別率が
低下することが考えられる。しかしながら、通常文章中
においてフォントが変化することは殆んど無いため、上
述の効果の方が上記欠点を補って余り在るのである。As described above, when the previous font identification result is used as the predicted font of the next input character, when the font changes in one sentence, the font identification rate of the input character immediately after the change may decrease. Can be However, since the font rarely changes in the text, the above-mentioned effects more than compensate for the above-mentioned disadvantages.
また、モデル３およびモデル３′の実施例において
は、文字／フォント識別ニューラル・ネットワークの最
上層のフォント識別ノードにおいて、入力文字の特徴パ
ターン・ベクトルに基づいて予め入力文字のフォントを
予測する。そして、次に中間層の文字識別用のノードに
おいて、この予測フォントに基づいて文字識別用出力値
を抑制あるいは活性化して、上記特徴パターン・ベクト
ルに基づいて文字識別用出力値Yjkを算出する。すなわ
ち、文字識別の際における入力文字のフォントの予測
を、前のフォント識別結果によらず現入力文字のフォン
ト識別結果によっておこなうのである。したがって、本
実施例によれば上述の一文章中におけるフォント変化の
問題が解消されるのである。In the embodiments of the model 3 and the model 3 ', the font of the input character is predicted in advance on the basis of the characteristic pattern vector of the input character at the font identification node at the uppermost layer of the character / font identification neural network. Then, in the character identification node of the intermediate layer, the character identification output value is suppressed or activated based on the predicted font, and the character identification output value Yjk is calculated based on the feature pattern vector. That is, the prediction of the font of the input character at the time of character identification is performed based on the font identification result of the current input character without depending on the previous font identification result. Therefore, according to the present embodiment, the problem of the font change in one sentence described above is solved.
また、モデル４の実施例においては、フォント識別ニ
ューラル・ネットワークおよび文字識別ニューラル・ネ
ットワークの入力層のノードに文字画像の特徴パターン
・ベクトルの要素値を入力する。そうすると、この入力
された特徴パターン・ベクトルに基づいてフォント識別
ニューラル・ネットワークの出力層のノードにおいてフ
ォント識別用出力値Okが算出される。一方、文字識別ニ
ューラル・ネットワークの出力層のノードにおいて文字
識別用出力値Yjkが算出される。その際に、フォント識
別ニューラル・ネットワークの出力層のノードから出力
された出力値に基づいて、フォント識別結果と同じフォ
ントに係る文字識別用出力値を活性化するようにしてい
る。したがって、文字識別に際して予め入力文字のフォ
ントを予測して文字認識を行うことができ、マルチフォ
ント文字識別であっても高認識率を得ることができるの
である。Further, in the embodiment of the model 4, the element values of the characteristic pattern vector of the character image are input to the nodes of the input layer of the font identification neural network and the character identification neural network. Then, a font identification output value Ok is calculated at the node of the output layer of the font identification neural network based on the input feature pattern vector. On the other hand, an output value Yjk for character identification is calculated at a node of the output layer of the character identification neural network. At this time, based on the output value output from the node of the output layer of the font identification neural network, the output value for character identification relating to the same font as the font identification result is activated. Therefore, in character identification, character recognition can be performed by predicting the font of the input character in advance, and a high recognition rate can be obtained even in multi-font character identification.
また、モデル１およびモデル２の実施例においては、
最上層におけるフォント識別ノードに遅延素子を設けて
前出力値を保持しておく。そして、入力文字のフォント
識別に際してフォント識別用出力値Okを算出する場合に
は、自ノードあるいは他ノードに保持した前出力値に基
づいて、フォント識別手順を逐次学習するようにしてい
る。したがって、フォント識別の精度をより高めること
ができるのである。In the embodiments of the model 1 and the model 2,
A delay element is provided in the font identification node in the uppermost layer to hold the previous output value. Then, when calculating the font identification output value Ok at the time of font identification of the input character, the font identification procedure is sequentially learned based on the previous output value held in the own node or another node. Therefore, the accuracy of font identification can be further improved.
上記各実施例においては、認識対象文字を３文字、入
力特徴パターン・ベクトルの次数を２次、フォント数を
２種類としているが、この発明においてはこれに限定さ
れるものではない。In each of the above embodiments, the number of characters to be recognized is three, the degree of the input feature pattern / vector is two, and the number of fonts is two. However, the present invention is not limited to this.
上記各実施例においては、複数のフォントを識別する
ようにしているが、複数のフォント群を識別するように
してもよい。In each of the above embodiments, a plurality of fonts are identified, but a plurality of font groups may be identified.
上記モデル１およびモデル２におけるフォント識別学
習は、過去のフォント識別結果を所定倍した値を加算
（平均化）してフォント識別手順を逐次学習するように
している。しかしながら、この発明はこれに限定される
ものではなく、結合重みWjk,Wkを学習するようにしても
よい。In the font identification learning in the models 1 and 2, the values obtained by multiplying the past font identification results by a predetermined value are added (averaged) to sequentially learn the font identification procedure. However, the present invention is not limited to this, and the connection weights Wjk and Wk may be learned.
この発明における文字識別用出力値Yjkおよびフォン
ト識別用出力値Okの算出アルゴリズムは、上記各実施例
に限定されるものではない。すなわち、例えば出力関数
ｆとしてシグモイド関数を用いてもよい。The calculation algorithm of the output value Yjk for character identification and the output value Ok for font identification in the present invention is not limited to the above embodiments. That is, for example, a sigmoid function may be used as the output function f.
この発明の文字／フォント識別ニューラル・ネットワ
ークおよびフォント識別／フォント学習ニューラル・ネ
ットワークの構造とその学習方法は、上記各実施例にお
けるネットワークの構造および学習方法に特定されるも
のではない。The structure and learning method of the character / font identification neural network and the font identification / font learning neural network of the present invention are not limited to the network structure and learning method in each of the above embodiments.
この発明の実施例は上記各モデルに限定されるもので
はない。すなわち、例えばモデル１における最上層ノー
ドから中間層ノードへのフィードバックとして、予測フ
ォント以外のフォントに係る文字識別用出力値を抑制す
るためのフィードバックに加えて予測フォントに係る文
字識別用出力値を活性化するためのフィードバックを設
けてもよい。また、予測フォントに係る文字識別用出力
値を活性化するためのフィードバックのみを設けても何
等差し支えない。Embodiments of the present invention are not limited to the above models. That is, for example, as feedback from the top layer node to the middle layer node in the model 1, in addition to the feedback for suppressing the character identification output value of a font other than the predicted font, the character identification output value of the predicted font is activated. Feedback may be provided. Further, there is no problem even if only feedback for activating the character identification output value relating to the predicted font is provided.
上記各実施例の文字認識装置において、結合の重みWj
ki,Wkiの学習に際して筆記者の字の癖を識別できるよう
に学習すれば、フォント識別ノードによる識別結果を筆
記者識別結果とすることができる。したがって、このよ
うに学習された文字認識装置を用いれば、筆記者を推定
して他の筆記者の癖に関与する文字識別ノードの出力値
を抑制することができ、不特定筆記者手書文字認識装置
としても使用することができるのである。In the character recognition device of each of the above embodiments, the connection weight Wj
If learning is performed so that the writer's character habit can be identified when learning ki and Wki, the identification result by the font identification node can be used as the writer identification result. Therefore, by using the character recognition device trained in this way, it is possible to estimate the writer and suppress the output value of the character identification node related to the habit of another writer, and to specify the unspecified writer's handwritten character. It can also be used as a recognition device.
＜発明の効果＞ 以上より明らかなように、第１の発明の文字認識装置
は、文字識別ニューラル・ネットワーク，字体識別ニュ
ーラル・ネットワークおよびノード出力値制御手段を備
えて、上記文字識別ニューラル・ネットワークの夫々の
ノードが文字認識に係る値を所定の手順によって算出す
る際に、上記字体識別ニューラル・ネットワークの識別
結果に基づいて、上記各ノードの算出値の大きさを上記
ノード出力制御手段によって制御するので、シングルフ
ォント文字認識と同様の文字認識処理を実行でき、マル
チフォント文字認識であっても正しく入力文字を認識で
きる。<Effects of the Invention> As is apparent from the above description, the character recognition device of the first invention includes a character identification neural network, a character type identification neural network, and a node output value control means. When each node calculates a value related to character recognition by a predetermined procedure, the size of the calculated value of each node is controlled by the node output control means based on the identification result of the font identification neural network. Therefore, the same character recognition processing as in single font character recognition can be executed, and input characters can be correctly recognized even in multi-font character recognition.
また、第２の発明の文字認識装置は、上記字体識別ニ
ューラル・ネットワークに字体学習部を設けて、保持し
ている過去の字体または字体群の識別結果を用いて入力
文字の字体または字体群を識別する際の識別手順を逐次
学習するようにしたもので、高い精度で入力文字の字体
または字体群を識別することができる。したがって、上
記字体識別手段による高い精度の字体または字体群の識
別結果に基づいて、マルチフォント文字認識における文
字認識をより正しく実行できる。Further, the character recognition device of the second invention is provided with a character learning unit in the character identification neural network, and uses the retained past character or character group identification result to determine the character or character group of the input character. Since the identification procedure at the time of identification is sequentially learned, the font or the font group of the input characters can be identified with high accuracy. Therefore, the character recognition in the multi-font character recognition can be more correctly executed based on the result of the highly accurate character or character group identification by the character identification means.
第１図はこの発明の文字認識装置における一実施例の概
略ブロック図、第２図は第１図における文字認識装置に
よる文字認識処理の概略フローチャート、第３図（ａ）
はモデル１における文字認識装置の構成図、第３図
（ｂ）および第３図（ｃ）はモデル１における出力関数
の一例を示す図、第４図はモデル１における結合の重み
Wjkiの値の一例を示す図、第５図は入力文字のフォント
を予測しない場合の文字認識装置の構成図、第６図
（ａ）はモデル２における文字認識装置の構成図、第６
図（ｂ）および第６図（ｃ）はモデル２における出力関
数の一例を示す図、第７図はモデル２の他の実施例にお
ける部分構成図、第８図（ａ）はモデル３における文字
認識装置の構成図、第８図（ｂ）および第８図（ｃ）は
モデル３における出力関数の一例を示す図、第９図はモ
デル３′における文字認識装置の構成図、第10図はモデ
ル４における文字認識装置の構成図である。 １……文字／フォント識別ニューラル・ネットワーク、 ２……フォント学習部、 ３……フォント識別／フォント学習ニューラル・ネット
ワーク、 ４……文字識別ニューラル・ネットワーク、 11,35,40,55……入力層、 12,36,41……中間層、 13,25,31,37,42……最上層、 56,57……出力層。FIG. 1 is a schematic block diagram of an embodiment of the character recognition device of the present invention, FIG. 2 is a schematic flowchart of a character recognition process by the character recognition device in FIG. 1, and FIG.
3 is a diagram showing a configuration of a character recognition device in model 1, FIGS. 3 (b) and 3 (c) are diagrams showing an example of an output function in model 1, and FIG.
FIG. 5 is a diagram showing an example of the value of Wjki, FIG. 5 is a configuration diagram of a character recognition device when the font of an input character is not predicted, FIG.
6 (b) and 6 (c) are diagrams showing an example of an output function in the model 2, FIG. 7 is a partial configuration diagram in another embodiment of the model 2, and FIG. 8 (b) and 8 (c) are diagrams showing an example of an output function in the model 3, FIG. 9 is a diagram showing the configuration of the character recognition device in the model 3 ', and FIG. FIG. 9 is a configuration diagram of a character recognition device in model 4. 1 ... Character / Font Identification Neural Network, 2 ... Font Learning Unit, 3 ... Font Identification / Font Learning Neural Network, 4 ... Character Identification Neural Network, 11,35,40,55 ... Input Layer , 12,36,41 ... middle layer, 13,25,31,37,42 ... top layer, 56,57 ... output layer.
Claims (2)
体群別に割り付けられたノードを有し、上記各ノードは
入力された文字画像情報に基づいて上記割り付けられた
文字カテゴリに入力文字画像情報が属する度合いを表す
値を所定の手順によって算出して出力する文字識別ニュ
ーラル・ネットワークと、 入力された文字画像に関する情報に基づいて入力文字の
字体または字体群を所定の手順によって識別する字体識
別ニューラル・ネットワークと、 上記字体識別ニューラル・ネットワークにおける識別結
果に基づいて上記文字識別ニューラル・ネットワークに
おける上記各ノードの算出値の大きさを制御するノード
出力値制御手段を備えたことを特徴とする文字認識装
置。A character category to be identified has nodes assigned to each font or font group, and each of the nodes stores input character image information in the assigned character category based on input character image information. A character identification neural network that calculates and outputs a value indicating the degree of belonging according to a predetermined procedure, and a character identification neural network that identifies the character or group of characters of the input character based on information about the input character image according to a predetermined procedure. A character recognition device comprising: a network; and node output value control means for controlling a magnitude of a calculated value of each of the nodes in the character identification neural network based on a result of identification in the character identification neural network. .
結果を保持すると共にこの保持された過去の字体または
字体群の識別結果を用いて上記字体または字体群の識別
手順を逐次学習する字体学習部を有することを特徴とす
る文字認識装置。2. The character recognition apparatus according to claim 1, wherein said font identification neural network retains past identification results and uses said retained identification results of past fonts or font groups to store said fonts. A character recognition device comprising a character learning unit for sequentially learning a character group identification procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1314583A JP2618504B2 (en) | 1989-12-04 | 1989-12-04 | Character recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1314583A JP2618504B2 (en) | 1989-12-04 | 1989-12-04 | Character recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03175594A JPH03175594A (en) | 1991-07-30 |
| JP2618504B2 true JP2618504B2 (en) | 1997-06-11 |
Family
ID=18055042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1314583A Expired - Fee Related JP2618504B2 (en) | 1989-12-04 | 1989-12-04 | Character recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2618504B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6795195B2 (en) * | 2017-10-25 | 2020-12-02 | ネットスマイル株式会社 | Character type estimation system, character type estimation method, and character type estimation program |
| US10515295B2 (en) * | 2017-10-27 | 2019-12-24 | Adobe Inc. | Font recognition using triplet loss neural network training |
| US10592787B2 (en) * | 2017-11-08 | 2020-03-17 | Adobe Inc. | Font recognition using adversarial neural network training |
-
1989
- 1989-12-04 JP JP1314583A patent/JP2618504B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03175594A (en) | 1991-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111699498B (en) | Multitask learning as question and answer | |
| Bishop | Exact calculation of the Hessian matrix for the multilayer perceptron | |
| KR102555057B1 (en) | Method for formatting weight matrix, accelerator using the formatted weight matrix and system including the same | |
| EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
| WO2019102984A1 (en) | Learning device and learning method, identification device and identification method, program, and recording medium | |
| JP2618504B2 (en) | Character recognition device | |
| US5220618A (en) | Classification method implemented in a layered neural network for multiclass classification and layered neural network | |
| KR950012359B1 (en) | A neural network structure and its learning method | |
| EP0521729B1 (en) | Neural network and learning method therefor | |
| US5259039A (en) | Method of separating specific patterns from pattern space and apparatus therefor | |
| CN112214683B (en) | Mixed recommendation model processing method, system and medium based on heterogeneous information network | |
| JPH05101028A (en) | Integral decision method for plural feature quantity | |
| JP2021081930A (en) | Learning device, information classification device, and program | |
| JP2699447B2 (en) | Signal processing device | |
| JP6918030B2 (en) | Learning equipment, learning methods, programs and information processing systems | |
| Bobrowski | Learning processes in multilayer threshold nets | |
| JP3082530B2 (en) | Neural network circuit | |
| Ulgen et al. | The hypercube separation algorithm: a fast and efficient algorithm for on-line handwritten character recognition | |
| JPH11175494A (en) | Neural network | |
| Tsoi et al. | Building MLP networks by construction | |
| Zaccone | Leveraging Relative-Norm-Alignment in higher norm feature space for Cross-Domain First Person Action Recognition | |
| JP2930653B2 (en) | Character recognition device | |
| KR20200055163A (en) | Convolution neural network-based input classification apparatus and method | |
| JP3249996B2 (en) | Pattern identification device | |
| CN114416985A (en) | Customer intention analysis method, system, device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |