JP2002259906A - Pattern recognition method, device and program - Google Patents

Pattern recognition method, device and program

Info

Publication number
JP2002259906A
JP2002259906A JP2001060858A JP2001060858A JP2002259906A JP 2002259906 A JP2002259906 A JP 2002259906A JP 2001060858 A JP2001060858 A JP 2001060858A JP 2001060858 A JP2001060858 A JP 2001060858A JP 2002259906 A JP2002259906 A JP 2002259906A
Authority
JP
Japan
Prior art keywords
recognition
algorithm
pattern
score
confidence interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001060858A
Other languages
Japanese (ja)
Other versions
JP4320124B2 (en
Inventor
Yukihisa Uchiyama
幸央 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001060858A priority Critical patent/JP4320124B2/en
Publication of JP2002259906A publication Critical patent/JP2002259906A/en
Application granted granted Critical
Publication of JP4320124B2 publication Critical patent/JP4320124B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a pattern recognition device capable of correctly determining an algorism to be given priority, in a pattern recognition method using plural algorisms. SOLUTION: This pattern recognition device recognizes a pattern read by using the plural algorisms. The device comprises: a highly reliable section holding part 105 used for outputting one algorism out of the plural algorisms and storing a highly reliable section table with highly reliable sections predetermined by the respective algorisms based on a recognition score expressing sureness of a recognition candidate obtained from the algorism; a recognition control part 102 for recognizing the pattern read by a pattern input part 101 by the use of the plural algorisms registered in an algorism module group memorizing part 103 and for calculating the recognition score by one algorism; and a recognition result determination part 106 for determining the final recognition candidate and the degree of sureness of the candidate based on the difference between the recognition score calculated by the control part 102 and the highly reliable sections of the respective algorisms.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明はパターン認識方法、
装置及びプログラムに関し、特に、複数のアルゴリズム
を用いるパターン認識方法、装置及びプログラムに関す
る。
TECHNICAL FIELD The present invention relates to a pattern recognition method,
The present invention relates to an apparatus and a program, and particularly to a pattern recognition method, an apparatus, and a program using a plurality of algorithms.

【0002】[0002]

【従来の技術】従来、光学的文字読み取りシステム(O
CR)の分野では、これまでに様々なアルゴリズムが提
案され、実用化されてきた。これらのアルゴリズムは、
各々が異なる理論的背景から発展し、また、認識辞書を
作成する際に用いた学習サンプルも異なることが多い。
従って、認識傾向もアルゴリズム毎に異なってくるもの
である。
2. Description of the Related Art Conventionally, an optical character reading system (O
In the field of CR), various algorithms have been proposed and put to practical use. These algorithms are
Each of them develops from a different theoretical background, and the learning samples used in creating the recognition dictionary are often different.
Therefore, the recognition tendency also differs for each algorithm.

【0003】そこで、認識傾向の異なる複数のアルゴリ
ズムを用いることで、相互に性能を補完し合う効果を得
て、認識精度を高める方法が考えられる。特に、近年は
低品質原稿や手書き文字等、難易度の高いパターンを認
識対象とするケースが増えていることもあって、複数の
アルゴリズムによるパターン認識の重要性がますます高
まっている。
[0005] Therefore, a method is conceivable in which a plurality of algorithms having different recognition tendencies are used to obtain an effect of mutually complementing the performance, thereby improving recognition accuracy. In particular, in recent years, patterns having high difficulty, such as low-quality originals and handwritten characters, have been increasingly recognized, and the importance of pattern recognition using a plurality of algorithms has been increasing.

【0004】[0004]

【発明が解決しようとする課題】複数のアルゴリズムを
用いてパターン認識を行う際に問題となるのが、入力パ
ターンを各アルゴリズムに認識させた後、どのアルゴリ
ズムの結果を信頼して優先的に取り上げるべきなのか、
ということである。
A problem in performing pattern recognition using a plurality of algorithms is that, after making each algorithm recognize an input pattern, the result of any algorithm is picked up with reliability. Should be
That's what it means.

【0005】簡単な方法として、各アルゴリズムから候
補文字と共に確信度を出力させるようにする方法であ
る。なお、この確信度は、各アルゴリズムがそれぞれに
算出する局所的な評価値であって、最終的にユーザに出
力する確信度とは異なるので、以降は局所的アルゴリズ
ムと呼ぶ。そして、居所的確信度の最も高いアルゴリズ
ムを優先的に上位とする方法が考えられる。
As a simple method, there is a method in which each algorithm outputs a certainty factor together with a candidate character. Note that this certainty factor is a local evaluation value calculated by each algorithm and is different from the certainty factor that is finally output to the user, and is hereinafter referred to as a local algorithm. Then, a method is considered in which the algorithm having the highest whereabouts certainty is given higher priority.

【0006】しかし、局所的確信度はそれぞれのアルゴ
リズムの中での独自な方法によって算出されるため、値
に対する意味がアルゴリズム毎にばらばらで、整合がと
れない。例えば、同じ局所的アルゴリズム80でも、あ
るアルゴリズムは「認識結果はほぼ間違いない」水準を
表し、別のアルゴリズムでは「誤認識の可能性に注意す
べきである」水準を表すことがある。また、手法の特徴
から確信度に相当する有効な評価値を算出することが困
難なアルゴリズムも存在する。
However, since the local certainty factor is calculated by a unique method in each algorithm, the meaning with respect to the value is different for each algorithm and cannot be matched. For example, even with the same local algorithm 80, one algorithm may represent a "recognition result is almost correct" level and another algorithm may represent a "remember the possibility of misrecognition". Further, there is an algorithm in which it is difficult to calculate an effective evaluation value corresponding to the certainty factor from the characteristics of the technique.

【0007】また、複数のアルゴリズムを用いてパター
ン認識を行う際のもう一つの問題は、ユーザに出力すべ
き最終的な確信度算出方法である。上述したようにアル
ゴリズム毎に局所的確信度の尺度が異なったり、局所的
確信度を得られないことがある状況では、複数の局所的
確信度を統合して一つにまとめ上げるのはかなり困難で
ある。
Another problem in performing pattern recognition using a plurality of algorithms is how to calculate the final certainty factor to be output to the user. As described above, it is very difficult to combine multiple local confidences into one in a situation where the local confidence scale differs for each algorithm or local confidence cannot be obtained. It is.

【0008】第1の問題を解決するための従来技術とし
て、特開平10−334190号公報の“文字認識方
法、装置及び記録媒体”がある。この従来文献では、一
方のアルゴリズムの一位候補が他方のアルゴリズムの候
補文字群に含まれているかどうか、あるいは一方のアル
ゴリズムの一位候補が所定の文字種であるかどうか、と
いう局所的確信度を用いないで最終的な候補文字を決定
する方法が提案されている。
As a prior art for solving the first problem, there is "character recognition method, apparatus and recording medium" in Japanese Patent Laid-Open No. Hei 10-334190. In this conventional document, the local certainty degree of whether the first candidate of one algorithm is included in a candidate character group of the other algorithm or whether the first candidate of one algorithm is a predetermined character type is determined. A method of determining a final candidate character without using it has been proposed.

【0009】しかしながら、候補文字の参照だけによっ
て優先アルゴリズムを決定する方法では、精密さに限界
があり、より高精度な判定を行うための改良の余地があ
る。また、この従来文献に記載された方法では、相変わ
らず上述した第2の問題点を解決することができない。
However, the method of determining the priority algorithm only by referring to the candidate characters has a limit in precision, and there is room for improvement for performing a more accurate determination. Further, the method described in the conventional document still cannot solve the second problem described above.

【0010】本発明は上記事情に鑑みてなされたもので
あり、複数のアルゴリズムを用いたパターン認識方法に
おいて、優先すべきアルゴリズムを正しく判定するこ
と、及び局所的確信度の尺度や有無にとらわれない最終
確信度の算出方法を提供することを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and in a pattern recognition method using a plurality of algorithms, it is possible to correctly determine an algorithm to be prioritized, and to be irrespective of the scale or presence or absence of local confidence. An object of the present invention is to provide a method for calculating the final certainty factor.

【0011】[0011]

【課題を解決するための手段】係る目的を達成するため
に請求項1記載の発明は、複数のアルゴリズムを用いて
読み込んだパターンを認識するパターン認識方法であっ
て、複数のアルゴリズムのうちの一つのアルゴリズムが
出力する、該アルゴリズムによって求められた認識候補
の確からしさを表す認識スコアを基にして、各アルゴリ
ズムに対する高信頼区間を予め定めておき、入力パター
ンを認識する際には、該入力パターンを各アルゴリズム
により認識すると共に一つのアルゴリズムによる認識ス
コアを算出し、算出した認識スコアとそれぞれのアルゴ
リズムの高信頼区間との差に基づいて最終的な認識候補
とその候補の確信度を決定することを特徴とする。
According to one aspect of the present invention, there is provided a pattern recognition method for recognizing a pattern read using a plurality of algorithms. A high confidence interval for each algorithm is determined in advance based on a recognition score that is output by the two algorithms and indicates the likelihood of the recognition candidate obtained by the algorithm. Recognize by each algorithm and calculate the recognition score by one algorithm, and determine the final recognition candidate and the confidence of the candidate based on the difference between the calculated recognition score and the high confidence interval of each algorithm It is characterized by.

【0012】請求項2記載の発明は、請求項1記載の発
明において、入力パターンの認識スコアと、各アルゴリ
ズムに対して定められた高信頼区間とを比較して、認識
スコアが高信頼区間の中にあるとき最大であり、認識ス
コアが高信頼区間から離れるほど小さくなるような値を
該アルゴリズムの暫定確信度として求め、最高の暫定確
信度を持つアルゴリズムの認識候補を優先的に上位とす
ることを特徴とする。
According to a second aspect of the present invention, in the first aspect of the present invention, the recognition score of the input pattern is compared with a high confidence interval determined for each algorithm, and the recognition score of the high confidence interval is determined. The value that is the largest when it is in the middle and the value that the recognition score becomes smaller as the distance from the high confidence interval becomes smaller is determined as the tentative confidence of the algorithm, and the recognition candidate of the algorithm with the highest tentative confidence is preferentially ranked higher It is characterized by the following.

【0013】請求項3記載の発明は、請求項2記載の発
明において、優先すべく決定されたアルゴリズムの暫定
確信度を、最終的に出力する確信度とすることを特徴と
する。
According to a third aspect of the present invention, in the second aspect of the present invention, the provisional certainty of the algorithm determined to be prioritized is the finally output certainty.

【0014】請求項4記載の発明は、複数のアルゴリズ
ムを用いて読み込んだパターンを認識するパターン認識
装置であって、複数のアルゴリズムのうちの一つのアル
ゴリズムが出力する、該アルゴリズムによって求められ
た認識候補の確からしさを表す認識スコアを基にした、
各アルゴリズムによる高信頼区間が予め定められた高信
頼区間テーブルを記憶した記憶手段と、読み込んだパタ
ーンを複数のアルゴリズムにより認識すると共に、一つ
のアルゴリズムによる認識スコアを算出する認識制御手
段と、認識制御手段の算出した認識スコアとそれぞれの
アルゴリズムの高信頼区間との差に基づいて最終的な認
識候補とその候補の確信度を決定する認識結果決定手段
と、を有することを特徴とする。
According to a fourth aspect of the present invention, there is provided a pattern recognition apparatus for recognizing a pattern read by using a plurality of algorithms, wherein one of the plurality of algorithms is output and the recognition obtained by the algorithm is performed. Based on the recognition score indicating the likelihood of the candidate,
Storage means for storing a high-confidence section table in which high-confidence sections of each algorithm are predetermined; recognition control means for recognizing a read pattern by a plurality of algorithms and calculating a recognition score by one algorithm; And a recognition result determining means for determining a final recognition candidate and a certainty factor of the candidate based on a difference between the recognition score calculated by the means and the high confidence interval of each algorithm.

【0015】請求項5記載の発明は、請求項4記載の発
明において、認識結果決定手段は、入力パターンの認識
スコアと、各アルゴリズムに対して定められた高信頼区
間とを比較して、認識スコアが高信頼区間の中にあると
き最大であり、認識スコアが高信頼区間から離れるほど
小さくなるような値を該アルゴリズムの暫定確信度とし
て求め、最高の暫定確信度を持つアルゴリズムの認識候
補を優先的に上位とすることを特徴とする。
According to a fifth aspect of the present invention, in the fourth aspect of the invention, the recognition result determining means compares the recognition score of the input pattern with a high confidence interval determined for each algorithm. When the score is in the high confidence interval, the value is the maximum, and a value such that the recognition score decreases as the distance from the high confidence interval decreases is determined as the tentative certainty of the algorithm. It is characterized by being preferentially ranked higher.

【0016】請求項6記載の発明は、請求項5記載の発
明において、認識結果決定手段は、優先すべく決定され
たアルゴリズムの暫定確信度を、最終的に出力する確信
度とすることを特徴とする。
According to a sixth aspect of the present invention, in the invention of the fifth aspect, the recognition result determining means sets the provisional certainty of the algorithm determined to have priority as the finally output certainty. And

【0017】請求項7記載の発明は、複数のアルゴリズ
ムを用いて読み込んだパターンを認識するパターン認識
プログラムであって、複数のアルゴリズムのうちの一つ
のアルゴリズムが出力する、該アルゴリズムによって求
められた認識候補の確からしさを表す認識スコアを基に
して、各アルゴリズムに対する高信頼区間を予め定めて
おき、入力パターンを認識する際には、該入力パターン
を各アルゴリズムにより認識すると共に一つのアルゴリ
ズムによる認識スコアを算出し、算出した認識スコアと
それぞれのアルゴリズムの高信頼区間との差に基づいて
最終的な認識候補とその候補の確信度を決定することを
特徴とする。
According to a seventh aspect of the present invention, there is provided a pattern recognition program for recognizing a pattern read by using a plurality of algorithms, wherein one of the plurality of algorithms is output. Based on a recognition score indicating the likelihood of a candidate, a high confidence interval for each algorithm is determined in advance, and when recognizing an input pattern, the input pattern is recognized by each algorithm and a recognition score by one algorithm is used. Is calculated, and the final recognition candidate and the certainty factor of the candidate are determined based on the difference between the calculated recognition score and the high confidence interval of each algorithm.

【0018】請求項8記載の発明は、請求項7記載の発
明において、入力パターンの認識スコアと、各アルゴリ
ズムに対して定められた高信頼区間とを比較して、認識
スコアが高信頼区間の中にあるとき最大であり、認識ス
コアが高信頼区間から離れるほど小さくなるような値を
該アルゴリズムの暫定確信度として求め、最高の暫定確
信度を持つアルゴリズムの認識候補を優先的に上位とす
ることを特徴とする。
According to an eighth aspect of the present invention, in the invention according to the seventh aspect, the recognition score of the input pattern is compared with a high confidence interval defined for each algorithm, and the recognition score of the high confidence interval is determined. The value that is the largest when it is in the middle and the value that the recognition score becomes smaller as the distance from the high confidence interval becomes smaller is determined as the tentative confidence of the algorithm, and the recognition candidate of the algorithm with the highest tentative confidence is preferentially ranked higher It is characterized by the following.

【0019】請求項9記載の発明は、請求項8記載の発
明において、優先すべく決定されたアルゴリズムの暫定
確信度を、最終的に出力する確信度とすることを特徴と
する。
A ninth aspect of the present invention is characterized in that, in the invention of the eighth aspect, the provisional certainty of the algorithm determined to be prioritized is the finally output certainty.

【0020】[0020]

【発明の実施の形態】次に、添付図面を参照しながら本
発明のパターン認識方法、装置及びプログラムに係る実
施の形態を詳細に説明する。図1〜図8を参照すると本
発明のパターン認識方法、装置及びプログラムに係る実
施の形態が示されている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the pattern recognition method, apparatus and program of the present invention will be described in detail with reference to the accompanying drawings. 1 to 8 show an embodiment of a pattern recognition method, apparatus, and program according to the present invention.

【0021】図1に本発明に係る第1の実施形態の構成
を示す。図1に示されるように本実施形態は、パターン
入力部101、認識制御部102、アルゴリズムモジュ
ール群記憶部103、高信頼区間決定部104、高信頼
区間保存部105、認識結果決定部106、認識結果出
力部107とを有して構成される。また、認識結果決定
部106には、認識候補決定部108と、確信度決定部
109とが設けられている。
FIG. 1 shows the configuration of a first embodiment according to the present invention. As shown in FIG. 1, in the present embodiment, a pattern input unit 101, a recognition control unit 102, an algorithm module group storage unit 103, a high confidence interval determination unit 104, a high confidence interval storage unit 105, a recognition result determination unit 106, a recognition And a result output unit 107. The recognition result determining unit 106 includes a recognition candidate determining unit 108 and a certainty factor determining unit 109.

【0022】パターン入力部101は、スキャナ等の読
み取り装置により構成される。
The pattern input unit 101 is constituted by a reading device such as a scanner.

【0023】アルゴリズムモジュール群記憶部103に
は、パターン入力部101により読み取ったパターンを
認識するためのアルゴリズムが記録されている。
An algorithm for recognizing the pattern read by the pattern input unit 101 is recorded in the algorithm module group storage unit 103.

【0024】認識制御部102は、アルゴリズムモジュ
ール群記憶部103に記憶されたアルゴリズムを用い
て、認識対象パターンの認識を行い、認識結果である認
識候補と、認識スコアとを高信頼区間決定部104に出
力する。また、認識制御部102は、パターン入力部1
01、アルゴリズムモジュール群記憶部103、高信頼
区間決定部104、高信頼区間保存部105、認識結果
決定部106を制御する。
The recognition control unit 102 recognizes a pattern to be recognized using the algorithm stored in the algorithm module group storage unit 103, and determines a recognition candidate as a recognition result and a recognition score as a high confidence interval determination unit 104. Output to In addition, the recognition control unit 102 controls the pattern input unit 1
01, the algorithm module group storage unit 103, the high-reliability section determination unit 104, the high-reliability section storage unit 105, and the recognition result determination unit 106.

【0025】高信頼区間決定部104は、認識制御部1
02で算出された認識候補と、一つのアルゴリズムから
求められた認識スコアとを用いて、アルゴリズム毎に正
読/誤読の別と、認識スコアとの関係を調べ、各アルゴ
リズムに対する高信頼区間を算出する。算出された高信
頼区間情報は、高信頼区間保存部105に保存される。
The high-confidence section determination unit 104 includes the recognition control unit 1
Using the recognition candidate calculated in step 02 and the recognition score obtained from one algorithm, examine the relationship between the correct reading / misreading and the recognition score for each algorithm, and calculate a high confidence interval for each algorithm. I do. The calculated high reliability section information is stored in the high reliability section storage unit 105.

【0026】認識候補決定部106は、認識制御部10
2からの認識候補及び認識スコアと、高信頼区間保存部
105の高信頼区間の情報により認識候補を決定する。
また、確信度決定部109は、認識スコアと、高信頼区
間の情報とから確信度を決定する。
The recognition candidate determining unit 106
The recognition candidate is determined based on the recognition candidate and the recognition score from No. 2 and the information on the high confidence section in the high confidence section storage unit 105.
In addition, the certainty determining unit 109 determines the certainty from the recognition score and the information on the high confidence section.

【0027】認識結果出力部107は、認識候補決定部
108により決定された認識結果と確信度決定部109
により決定された確信度とを出力する。
The recognition result output unit 107 outputs the recognition result determined by the recognition candidate determining unit 108 and the certainty determining unit 109.
Is output.

【0028】認識対象パターンは、まず、スキャナ等に
より構成されるパターン入力部101にてデジタル画像
として取り込まれる。次に、認識制御部102の制御に
従い、アルゴリズムモジュール群記憶部103の中の各
アルゴリズムA,B…が逐次的あるいは並列的に実行さ
れる。
The pattern to be recognized is first captured as a digital image by the pattern input unit 101 composed of a scanner or the like. Next, under the control of the recognition control unit 102, each algorithm A, B,... In the algorithm module group storage unit 103 is executed sequentially or in parallel.

【0029】認識に先立つシステム開発時には、上記実
行結果としての各アルゴリズムの認識候補と、一つのア
ルゴリズムとから認識スコアが、認識制御部102を通
じて高信頼区間決定部104に送られ、アルゴリズム毎
に正読/誤読の別と、認識スコアとの関係が調べられ
る。そして、それぞれに決定された高信頼区間は、高信
頼区間保存部105に保存される。
At the time of system development prior to recognition, a recognition score from one of the algorithms and a recognition candidate for each algorithm as the execution result is sent to the high-reliability interval determination unit 104 through the recognition control unit 102, and a correct score is obtained for each algorithm. The relation between reading / misreading and the recognition score is examined. Then, the determined high reliability sections are stored in the high reliability section storage unit 105.

【0030】認識時には、各アルゴリズムによる認識候
補と、一つのアルゴリズムから求めた認識スコアが、認
識制御部102を通じて認識結果決定部106へ送られ
る。その中の認識候補決定部108と確信度決定部10
9において、高信頼区間保存部105からのデータを併
せて、最終的な認識候補と確信度が決定され、認識結果
出力部107によってユーザに出力される。
At the time of recognition, a recognition candidate by each algorithm and a recognition score obtained from one algorithm are sent to a recognition result determination unit 106 through a recognition control unit 102. Among them, the recognition candidate determination unit 108 and the certainty determination unit 10
In step 9, the final recognition candidate and the certainty factor are determined together with the data from the high confidence interval storage unit 105, and are output to the user by the recognition result output unit 107.

【0031】以下に、2つのアルゴリズムA,Bを用い
て数字を認識する場合について説明する。なお、A,B
どちらのアルゴリズムもパターン認識手法として一般的
な既知の方法を用いるものとし、認識対象パターンから
の特徴抽出手順や認識辞書とのマッチングの手順につい
ての説明は省略する。
A case will be described below where a number is recognized using two algorithms A and B. A, B
In both algorithms, a general known method is used as a pattern recognition method, and a description of a procedure for extracting a feature from a recognition target pattern and a procedure for matching with a recognition dictionary will be omitted.

【0032】まず、システム開発時に、図2に示す流れ
に従って、高信頼区間を求めておく。その最初のステッ
プは、アルゴリズムA,Bに対して、学習サンプルを用
いて認識実験を行うことである(ステップS1)。そし
て、その学習サンプルを、アルゴリズムAによって算出
された1位候補TA と、アルゴリズムBによって算出さ
れた1位候補TB の組み合わせ(TA 、TB )によって
分類する(ステップS2)。
First, at the time of system development, a high confidence interval is obtained in accordance with the flow shown in FIG. The first step is to perform a recognition experiment on algorithms A and B using learning samples (step S1). Then, the learning sample is classified according to a combination (T A , T B ) of the first candidate T A calculated by the algorithm A and the first candidate T B calculated by the algorithm B (step S2).

【0033】図3は、認識実験の結果、TA が「1」、
B が「7」と判定された学習サンプルについてまとめ
た例である。ここでは、アルゴリズムAにより0〜10
0の範囲をとり得る局所信頼度LA が算出されるものと
する。また、アルゴリズムBは、局所確信度を出力しな
いものとする。図3には、このLA の値が大きい順に学
習サンプルが並べられている。また、LA を本発明でい
う「一つのアルゴリズムが出力する認識スコア」と見な
している。なお、認識スコアとは、そのアルゴリズムに
よって求められた1位候補の確からしさを表す尺度であ
る。
FIG. 3 shows that T A is “1” as a result of the recognition experiment,
T B is an example summarizes the learning samples judged as "7". Here, 0-10
Local reliability can range of 0 L A is assumed to be calculated. The algorithm B does not output the local certainty factor. In FIG. 3, the learning sample in the order value of the L A is large are arranged. Also refers to L A in the present invention is regarded as "recognition score one algorithm outputs". Note that the recognition score is a measure indicating the likelihood of the first-place candidate obtained by the algorithm.

【0034】図3によれば、認識スコア80〜100の
区間にアルゴリズムAによる正読サンプルが集中してお
り、認識スコア20〜40の区間にアルゴリズムBによ
る正読サンプルが集中している。そこで、アルゴリズム
Aの高信頼区間を80〜100、アルゴリズムBの高信
頼区間を20〜40とする。
According to FIG. 3, the correct reading samples by the algorithm A are concentrated in the section of the recognition score 80 to 100, and the correct reading samples by the algorithm B are concentrated in the section of the recognition score 20 to 40. Therefore, the high confidence interval of the algorithm A is set to 80 to 100, and the high confidence interval of the algorithm B is set to 20 to 40.

【0035】同様にして求められた全ての(TA
B )の組み合わせについて、アルゴリズムA、アルゴ
リズムBの高信頼区間を求め、図4に示すような高信頼
区間テーブルとして図1に示された高信頼区間保存部1
05に保存しておく。
All (T A ,
For the combination of T B ), the high confidence intervals of the algorithms A and B are obtained, and the high confidence interval storage unit 1 shown in FIG. 1 as a high confidence interval table as shown in FIG.
05.

【0036】なお、図3のフローチャートでは、
(TA 、TB )の組み合わせの総数をnとし(ステップ
S3)、それぞれの組み合わせのについて、Aの高信頼
区間とBの高信頼区間とを求め(ステップS5)、求め
た高信頼区間をテーブルに保存する(ステップS6)。
この作業をすべての(TA 、TB )の組み合わせにおい
て実行する(ステップS8/YES)。
In the flowchart of FIG.
The total number of combinations of (T A , T B ) is set to n (step S3). For each combination, a high confidence interval of A and a high confidence interval of B are determined (step S5). It is stored in a table (step S6).
This task all (T A, T B) is executed in a combination of (step S8 / YES).

【0037】ユーザがパターンをシステムに認識させる
際には、図5に示す流れに従って認識結果を決定する。
まず、認識を行うパターンを入力し(ステップ10)、
アルゴリズムA,Bを用いてパターン認識を行う(ステ
ップ11、かつステップ12)。ここでは、Aからは1
位候補「1」と認識スコア70が、Bからは1位候補
「7」が出力されてきたとする。また、どちらも2位候
補以下は出力しなかったものとする。
When the user makes the system recognize the pattern, the recognition result is determined according to the flow shown in FIG.
First, a pattern to be recognized is input (step 10).
Pattern recognition is performed using algorithms A and B (steps 11 and 12). Here, A is 1
It is assumed that the ranking candidate “1” and the recognition score 70 have been output, and the first ranking candidate “7” has been output from B. It is also assumed that neither of them output the second and lower candidates.

【0038】次に、(TA 、TB )=(1,7)をキー
として高信頼区間テーブルを検索する(ステップS1
3)。そして、得られた信頼区間データを用いて、それ
ぞれのアルゴリズムに対して次のような暫定確信度を求
める(ステップS14,15)。
Next, (T A, T B) = (1,7) to search for reliable section table as a key (step S1
3). Then, using the obtained confidence interval data, the following tentative certainty factors are obtained for the respective algorithms (steps S14 and S15).

【0039】アルゴリズムXの高信頼区間をa〜b、認
識スコアをs、Xの暫定確信度をC X とすると、 0≦s<aの場合 CX =100×s/a a≦s≦bの場合 CX =100 b<s≦100の場合 CX =100×(100−s)/(100−b) つまり、認識スコアが高信頼区間の範囲にあれば暫定確
信度は最大値100であり、高信頼区間から距離が離れ
るにしたがって、暫定確信度は線形に減少していく(図
6)。
If the high confidence interval of the algorithm X is ab,
Knowledge score s and provisional confidence of X C XThen, when 0 ≦ s <a, CX= 100 × s / a When a ≦ s ≦ b CX= 100 b <s ≦ 100 CX= 100 × (100−s) / (100−b) In other words, if the recognition score is within the range of the high confidence interval, the provisional
The reliability is 100 at maximum, and the distance is far from the high confidence interval.
The provisional confidence decreases linearly as
6).

【0040】これを本実施例にあてはめると、認識スコ
アは70であるから、図4のデータも参照して、 アルゴリズムAの暫定確信度:CA =100 ×70/80 =87 アルゴリズムBの暫定確信度:CB =100 ×(100-70)
/ (100-40)=50 となる(小数点以下切り捨て)。
When this is applied to this embodiment, since the recognition score is 70, the provisional certainty of the algorithm A: C A = 100 × 70/80 = 87 The provisional confidence of the algorithm B is also referred to the data of FIG. Confidence: C B = 100 × (100-70)
/ (100-40) = 50 (rounded down after the decimal point).

【0041】そして、CA とCB とを比較する(ステッ
プS16)。CA の方がCB よりも大きいので(ステッ
プS16/yes)、この場合はアルゴリズムAを優先
して最終的な認識候補を設定する(ステップS17)。
例えば最終的な1位候補をAから採用して「1」、2位
候補をBから採用して「7」と設定する。また、最終的
な確信度もAの暫定確信度を採用して87とする。
[0041] Then, to compare the C A and C B (step S16). Since C A is larger than C B (step S16 / yes), in this case, the algorithm A is prioritized and a final recognition candidate is set (step S17).
For example, the final first-place candidate is set to "1" from A, and the second-place candidate is set to "7" from B. The final certainty is also set to 87 by adopting the provisional certainty of A.

【0042】参考のため、(TA ,TB )=(1,7)
の場合の認識スコアと優先アルゴリズム・最終確信度の
関係を図7に示す。認識スコアが57以下ならばアルゴ
リズムBを優先、58以上ならばAを優先することがわ
かる。
For reference, (T A , T B ) = (1, 7)
FIG. 7 shows the relationship between the recognition score and the priority algorithm / final certainty factor in the case of. It can be seen that if the recognition score is 57 or less, the algorithm B has priority, and if the recognition score is 58 or more, A has priority.

【0043】なお、ここで述べた方法はあくまで例であ
って、用いるアルゴリズムの数は2に限定されるもので
はなく、2以上であればよい。また、認識スコアに何を
用いるか・認識スコアの取りうる値の範囲・暫定確信度
の算出方法や取りうる値の範囲等は、ここで述べたもの
に限定されず、別の方法や数値であってもよい。
Note that the method described here is merely an example, and the number of algorithms used is not limited to two, but may be two or more. In addition, what to use for the recognition score, the range of possible values of the recognition score, the calculation method of the provisional confidence, the range of the possible values, and the like are not limited to those described here, but may be different methods or numerical values. There may be.

【0044】なお、上述した実施形態はソフトウェアに
よっても実現することができる。本発明をソフトウエア
によって実現する場合には、図8に示すように、CPU
115、ROM116、RAM117、表示装置11
4、ハードディスク113、キーボード112、CD−
ROMドライブ111、通信装置118、スキャナ11
0などからなる汎用の処理装置を用意する。
The above-described embodiment can be realized by software. When the present invention is realized by software, as shown in FIG.
115, ROM 116, RAM 117, display device 11
4. Hard disk 113, keyboard 112, CD-
ROM drive 111, communication device 118, scanner 11
A general-purpose processing device, such as 0, is prepared.

【0045】CD−ROMなどのコンピュータ読み取り
可能な記録媒体には、本発明に関わる機能を実現するプ
ログラムが記録され、一般にはハードディスク上にイン
ストールされて用いられる。該プログラムが起動される
と、該プログラムがRAM上にロードされた後、スキャ
ナからパターンを画像データとして入力するか、もしく
はあらかじめハードディスクに保存されている画像デー
タを読み出してRAM上にロードし、該データに対して
認識処理を実行する。
A computer-readable recording medium such as a CD-ROM records a program for implementing the functions according to the present invention, and is generally used by being installed on a hard disk. When the program is started, after the program is loaded on the RAM, a pattern is input as image data from the scanner, or image data stored in advance on the hard disk is read and loaded on the RAM. Perform recognition processing on the data.

【0046】以上のように本実施形態によれば、複数の
アルゴリズムがそれぞれ整合の取れない局所確信度を出
力したり、あるいは局所確信度を出力しないものが含ま
れる場合であっても、優先すべきアルゴリズムを効果的
に判定するとともに、局所確信度の尺度に影響されない
最終確信度を算出することができる。
As described above, according to the present embodiment, even if a plurality of algorithms output local certainty factors that do not match each other, or some of them do not output local certainty factors, priority is given to them. The power algorithm can be effectively determined, and the final certainty that is not affected by the local certainty measure can be calculated.

【0047】なお、上述した実施形態は本発明の好適な
実施の形態である。但し、これに限定されるものではな
く、本発明の要旨を逸脱しない範囲内において種々変形
実施が可能である。
The above-described embodiment is a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

【0048】[0048]

【発明の効果】本発明によれば、複数のアルゴリズムが
それぞれ整合の取れない局所確信度を出力したり、ある
いは局所確信度を出力しないものが含まれる場合であっ
ても、優先すべきアルゴリズムを効果的に判定するとと
もに、局所確信度の尺度に影響されない最終確信度を算
出することができる。
According to the present invention, even when a plurality of algorithms output inconsistent local certainty factors, or a case where a plurality of algorithms do not output local certainty factors is included, the algorithm to be given priority is determined. It is possible to effectively determine and calculate a final certainty factor that is not affected by the measure of the local certainty factor.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る実施形態の構成を表すブロック図
である。
FIG. 1 is a block diagram illustrating a configuration of an embodiment according to the present invention.

【図2】認識実験の動作手順を示すフローチャートであ
る。
FIG. 2 is a flowchart illustrating an operation procedure of a recognition experiment.

【図3】認識実験の結果を表す一例である。FIG. 3 is an example showing a result of a recognition experiment.

【図4】高信頼区間テーブルの構成を表す図である。FIG. 4 is a diagram illustrating a configuration of a high confidence section table.

【図5】パターン認識の動作手順を表すフローチャート
である。
FIG. 5 is a flowchart showing an operation procedure of pattern recognition.

【図6】認識スコアと暫定確信度との関係を表す図であ
る。
FIG. 6 is a diagram illustrating a relationship between a recognition score and a provisional certainty factor.

【図7】認識スコアと最終確信度との関係を表す図であ
る。
FIG. 7 is a diagram illustrating a relationship between a recognition score and a final certainty factor.

【図8】本発明に係る実施形態の構成を表すブロック図
である。
FIG. 8 is a block diagram illustrating a configuration of an embodiment according to the present invention.

【符号の説明】[Explanation of symbols]

101 パターン入力部 102 認識制御部 103 アルゴリズムモジュール群記憶部 104 高信頼区間決定部 105 高信頼区間保存部 106 認識結果決定部 107 認識結果出力部 108 認識候補決定部 109 確信度決定部 Reference Signs List 101 Pattern input unit 102 Recognition control unit 103 Algorithm module group storage unit 104 High-reliability section determination unit 105 High-reliability section storage unit 106 Recognition result determination unit 107 Recognition result output unit 108 Recognition candidate determination unit 109 Confidence determination unit

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 複数のアルゴリズムを用いて読み込んだ
パターンを認識するパターン認識方法であって、 前記複数のアルゴリズムのうちの一つのアルゴリズムが
出力する、該アルゴリズムによって求められた認識候補
の確からしさを表す認識スコアを基にして、 各アルゴリズムに対する高信頼区間を予め定めておき、 入力パターンを認識する際には、該入力パターンを各ア
ルゴリズムにより認識すると共に前記一つのアルゴリズ
ムによる前記認識スコアを算出し、 算出した認識スコアとそれぞれのアルゴリズムの高信頼
区間との差に基づいて最終的な認識候補とその候補の確
信度を決定することを特徴とするパターン認識方法。
1. A pattern recognition method for recognizing a pattern read by using a plurality of algorithms, comprising the steps of: outputting one of the plurality of algorithms; and determining the likelihood of a recognition candidate obtained by the algorithm. Based on the recognition score represented, a high confidence interval for each algorithm is determined in advance, and when recognizing an input pattern, the input pattern is recognized by each algorithm and the recognition score by the one algorithm is calculated. A pattern recognition method comprising: determining a final recognition candidate and a certainty factor of the candidate based on a difference between the calculated recognition score and a high confidence interval of each algorithm.
【請求項2】 入力パターンの認識スコアと、各アルゴ
リズムに対して定められた高信頼区間とを比較して、前
記認識スコアが前記高信頼区間の中にあるとき最大であ
り、前記認識スコアが前記高信頼区間から離れるほど小
さくなるような値を該アルゴリズムの暫定確信度として
求め、最高の暫定確信度を持つアルゴリズムの認識候補
を優先的に上位とすることを特徴とする請求項1記載の
パターン認識方法。
2. The method according to claim 1, wherein the recognition score of the input pattern is compared with a high confidence interval defined for each algorithm, and the recognition score is the maximum when the recognition score is within the high confidence interval. 2. The method according to claim 1, wherein a value that becomes smaller as the distance from the high confidence interval becomes smaller is determined as provisional certainty of the algorithm, and recognition candidates of the algorithm having the highest provisional certainty are preferentially ranked higher. Pattern recognition method.
【請求項3】 優先すべく決定されたアルゴリズムの暫
定確信度を、最終的に出力する確信度とすることを特徴
とする請求項2記載のパターン認識方法。
3. The pattern recognition method according to claim 2, wherein the provisional certainty factor of the algorithm determined to be prioritized is the finally output certainty factor.
【請求項4】 複数のアルゴリズムを用いて読み込んだ
パターンを認識するパターン認識装置であって、 前記複数のアルゴリズムのうちの一つのアルゴリズムが
出力する、該アルゴリズムによって求められた認識候補
の確からしさを表す認識スコアを基にした、各アルゴリ
ズムによる高信頼区間が予め定められた高信頼区間テー
ブルを記憶した記憶手段と、 読み込んだパターンを前記複数のアルゴリズムにより認
識すると共に、前記一つのアルゴリズムによる認識スコ
アを算出する認識制御手段と、 前記認識制御手段の算出した認識スコアとそれぞれのア
ルゴリズムの高信頼区間との差に基づいて最終的な認識
候補とその候補の確信度を決定する認識結果決定手段
と、 を有することを特徴とするパターン認識装置。
4. A pattern recognition apparatus for recognizing a pattern read using a plurality of algorithms, wherein the likelihood of a recognition candidate obtained by one of the plurality of algorithms is output. Storage means for storing a high-reliability interval table in which high-reliability intervals of each algorithm are predetermined based on the recognition score to be represented; and a recognition score by the one algorithm while recognizing the read pattern by the plurality of algorithms. Recognition control means for calculating a recognition score calculated by the recognition control means and a recognition result determining means for determining the final recognition candidate and the certainty factor of the candidate based on the difference between the high confidence interval of each algorithm and A pattern recognition device, comprising:
【請求項5】 前記認識結果決定手段は、 入力パターンの認識スコアと、各アルゴリズムに対して
定められた高信頼区間とを比較して、前記認識スコアが
前記高信頼区間の中にあるとき最大であり、前記認識ス
コアが前記高信頼区間から離れるほど小さくなるような
値を該アルゴリズムの暫定確信度として求め、最高の暫
定確信度を持つアルゴリズムの認識候補を優先的に上位
とすることを特徴とする請求項4記載のパターン認識装
置。
5. The recognition result determining means compares a recognition score of an input pattern with a high confidence interval determined for each algorithm, and determines that the maximum score is within the high confidence interval. And determining a value such that the recognition score decreases as the distance from the high confidence interval decreases as the provisional certainty of the algorithm, and preferentially ranks recognition candidates of the algorithm having the highest provisional certainty. The pattern recognition device according to claim 4, wherein
【請求項6】 前記認識結果決定手段は、 優先すべく決定されたアルゴリズムの暫定確信度を、最
終的に出力する確信度とすることを特徴とする請求項5
記載のパターン認識装置。
6. The recognition result determination means according to claim 5, wherein the provisional certainty of the algorithm determined to be prioritized is a certainty to be finally output.
The pattern recognition device according to the above.
【請求項7】 複数のアルゴリズムを用いて読み込んだ
パターンを認識するパターン認識プログラムであって、 前記複数のアルゴリズムのうちの一つのアルゴリズムが
出力する、該アルゴリズムによって求められた認識候補
の確からしさを表す認識スコアを基にして、 各アルゴリズムに対する高信頼区間を予め定めておき、 入力パターンを認識する際には、該入力パターンを各ア
ルゴリズムにより認識すると共に前記一つのアルゴリズ
ムによる前記認識スコアを算出し、 算出した認識スコアとそれぞれのアルゴリズムの高信頼
区間との差に基づいて最終的な認識候補とその候補の確
信度を決定することを特徴とするパターン認識プログラ
ム。
7. A pattern recognition program for recognizing a pattern read by using a plurality of algorithms, wherein the likelihood of a recognition candidate obtained by one of the plurality of algorithms is output. Based on the recognition score represented, a high confidence interval for each algorithm is determined in advance, and when recognizing an input pattern, the input pattern is recognized by each algorithm and the recognition score by the one algorithm is calculated. A pattern recognition program for determining a final recognition candidate and a certainty factor of the candidate based on a difference between the calculated recognition score and a high confidence interval of each algorithm.
【請求項8】 入力パターンの認識スコアと、各アルゴ
リズムに対して定められた高信頼区間とを比較して、前
記認識スコアが前記高信頼区間の中にあるとき最大であ
り、前記認識スコアが前記高信頼区間から離れるほど小
さくなるような値を該アルゴリズムの暫定確信度として
求め、最高の暫定確信度を持つアルゴリズムの認識候補
を優先的に上位とすることを特徴とする請求項7記載の
パターン認識プログラム。
8. A comparison between a recognition score of an input pattern and a high confidence interval defined for each algorithm, wherein the recognition score is maximum when the recognition score is within the high confidence interval, and the recognition score is 8. The method according to claim 7, wherein a value that becomes smaller as the distance from the high confidence interval becomes smaller is obtained as the provisional certainty of the algorithm, and the recognition candidate of the algorithm having the highest provisional certainty is preferentially ranked higher. Pattern recognition program.
【請求項9】 優先すべく決定されたアルゴリズムの暫
定確信度を、最終的に出力する確信度とすることを特徴
とする請求項8記載のパターン認識プログラム。
9. The pattern recognition program according to claim 8, wherein the provisional certainty factor of the algorithm determined to be prioritized is a certainty factor to be finally output.
JP2001060858A 2001-03-05 2001-03-05 Pattern recognition method, apparatus and program Expired - Fee Related JP4320124B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001060858A JP4320124B2 (en) 2001-03-05 2001-03-05 Pattern recognition method, apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001060858A JP4320124B2 (en) 2001-03-05 2001-03-05 Pattern recognition method, apparatus and program

Publications (2)

Publication Number Publication Date
JP2002259906A true JP2002259906A (en) 2002-09-13
JP4320124B2 JP4320124B2 (en) 2009-08-26

Family

ID=18920229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001060858A Expired - Fee Related JP4320124B2 (en) 2001-03-05 2001-03-05 Pattern recognition method, apparatus and program

Country Status (1)

Country Link
JP (1) JP4320124B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093895A (en) * 2010-10-26 2012-05-17 Ricoh Co Ltd Image processing system, image processing method and image processing program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (en) * 1993-04-20 1994-11-04 Fujitsu Ltd Pattern recognizing device based upon multidiscriminator
JPH08272907A (en) * 1995-03-28 1996-10-18 Toshiba Corp Device and method for character recognition
JPH0981730A (en) * 1995-09-18 1997-03-28 Canon Inc Method and device for pattern recognition and computer controller
JP2000293623A (en) * 1999-04-06 2000-10-20 Mitsubishi Electric Corp Character recognizing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (en) * 1993-04-20 1994-11-04 Fujitsu Ltd Pattern recognizing device based upon multidiscriminator
JPH08272907A (en) * 1995-03-28 1996-10-18 Toshiba Corp Device and method for character recognition
JPH0981730A (en) * 1995-09-18 1997-03-28 Canon Inc Method and device for pattern recognition and computer controller
JP2000293623A (en) * 1999-04-06 2000-10-20 Mitsubishi Electric Corp Character recognizing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012093895A (en) * 2010-10-26 2012-05-17 Ricoh Co Ltd Image processing system, image processing method and image processing program

Also Published As

Publication number Publication date
JP4320124B2 (en) 2009-08-26

Similar Documents

Publication Publication Date Title
CN110147726B (en) Service quality inspection method and device, storage medium and electronic device
CN111145733A (en) Speech recognition method, speech recognition device, computer equipment and computer readable storage medium
CN112468659A (en) Quality evaluation method, device, equipment and storage medium applied to telephone customer service
KR20210082222A (en) Image recognition apparatus and method
CN115661836A (en) Automatic correction method, device and system and readable storage medium
CN111177388B (en) Processing method and computer equipment
JP2005084436A (en) Speech recognition apparatus and computer program
JP3589007B2 (en) Document filing system and document filing method
JP2018112839A (en) Image processing program, image recognition program, image processing device, image recognition device, image recognition method, and image processing method
JP2004171316A (en) Ocr device, document retrieval system and document retrieval program
JP2002259906A (en) Pattern recognition method, device and program
JPH0729003A (en) Fingerprint collation device
JP2003346080A (en) Character recognition method
JP2002183667A (en) Character-recognizing device and recording medium
JP2998054B2 (en) Character recognition method and character recognition device
JP2002207960A (en) Method and program for recognized character correction
JPH05314320A (en) Recognition result evaluating system using difference of recognition distance and candidate order
JP2003108576A (en) Database control device and database control method
CN113255361B (en) Automatic voice content detection method, device, equipment and storage medium
JP3487400B2 (en) Character recognition device, character recognition method, and storage medium
JP4805485B2 (en) Word recognition method and word recognition device
JP3109476B2 (en) Character recognition device with candidate number control function and method
JPH10171488A (en) Method for speech recognition and device therefor and storage medium
JP4543190B2 (en) Character judging method, character judging device and computer program
JPH0628461A (en) Fingerprint matching processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060327

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120605

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130605

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees