JP2011257896A - Character recognition method and character recognition apparatus - Google Patents
Character recognition method and character recognition apparatus Download PDFInfo
- Publication number
- JP2011257896A JP2011257896A JP2010130613A JP2010130613A JP2011257896A JP 2011257896 A JP2011257896 A JP 2011257896A JP 2010130613 A JP2010130613 A JP 2010130613A JP 2010130613 A JP2010130613 A JP 2010130613A JP 2011257896 A JP2011257896 A JP 2011257896A
- Authority
- JP
- Japan
- Prior art keywords
- character
- recognition
- separation
- characters
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000926 separation method Methods 0.000 claims abstract description 114
- 238000011156 evaluation Methods 0.000 claims abstract description 82
- 239000013598 vector Substances 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 30
- 230000001965 increasing effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000032258 transport Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000007723 transport mechanism Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
Description
本発明は、紙やプラスチックなどの媒体上にある文字を光学的に読み取る文字認識方法及び文字認識装置に関する。 The present invention relates to a character recognition method and a character recognition device for optically reading characters on a medium such as paper or plastic.
従来から、例えば小切手などの媒体表面に印刷された文字列を認識するための装置がある。例えば、二値化された画像データから文字部分を検出して、その文字部分を外接矩形枠に沿って切り出し、得られた文字パターンから特徴量を抽出し、入力パターンの特徴ベクトルと特徴辞書中の文字ごとの基準ベクトルとの類似度を求め、その類似度の大きさにより候補文字を選択する、といった文字認識装置などが知られている。 Conventionally, there is an apparatus for recognizing a character string printed on the surface of a medium such as a check. For example, a character part is detected from binarized image data, the character part is cut out along a circumscribed rectangular frame, a feature amount is extracted from the obtained character pattern, and the feature vector of the input pattern and the feature dictionary are extracted. There is known a character recognition device that obtains a similarity to a reference vector for each character and selects a candidate character according to the magnitude of the similarity.
このような文字認識装置の中には、認識精度を向上させるために、認識結果に基づいて二値化をやり直すなどの様々な工夫を施したものが存在する(例えば特許文献1,2参照)。
Among such character recognition devices, there have been various devices such as binarization based on the recognition result in order to improve recognition accuracy (see, for example,
より具体的に説明すると、特許文献1に開示された技術では、文字認識の結果と黒点数の計数結果によって、多値画像を二値化しなおす必要があるか否かを判定し、必要があれば、当初の閾値とは異なる閾値を設定し、その新たな閾値を用いて多値画像を二値化するようにしている。また、特許文献2に開示された技術では、1文字ごとに多値画像を二値化し、文字認識の結果、照合できなかった場合に、例えば文字線幅などの図形情報を抽出して、その値に応じた再二値化を行うようにしている。
More specifically, in the technique disclosed in
しかしながら、特許文献1に開示された技術では、再二値化をするか否かは、二値化文字画像の黒点数の計数結果に応じて決定する。そのため、文字が標準字形と相似である場合は大きな問題はないが、印刷時の変形や印刷後の欠け等により字形の変化が大きい場合、正しい判断が行われなくなる虞がある。すなわち、認識結果に対する信頼性の確保、という点で問題がある。また、特許文献2に開示された技術でも、抽出する図形情報によっては、再二値化するための閾値設定が難しい、という問題がある。例えば、再二値化の閾値の決定に際して、文字線幅が一様に太く又は細くなるとは限らず、再二値化するための正確な閾値設定は難しい。
However, in the technique disclosed in
本発明は、このような点に鑑みてなされたものであり、その目的は、文字認識の認識結果に対する信頼性を高めることが可能な文字認識方法及び文字認識装置を提供することにある。 The present invention has been made in view of these points, and an object of the present invention is to provide a character recognition method and a character recognition device that can improve the reliability of the recognition result of character recognition.
以上のような課題を解決するために、本発明は、以下のものを提供する。 In order to solve the above problems, the present invention provides the following.
(1) 媒体を撮像して得られた画像データを二値化する二値化処理ステップと、二値化された画像データから認識対象文字を含む領域を求める文字切出しステップと、前記領域にある認識対象文字の特徴ベクトルを抽出する特徴抽出ステップと、前記特徴抽出ステップで抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出する類似度算出ステップと、前記類似度算出ステップで算出した複数の類似度を類似度閾値と比較して候補文字を判定する第一の文字判定ステップと、前記第一の文字判定ステップに基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求める分離処理ステップと、前記分離評価値それぞれを分離評価閾値と比較して候補文字を判定する第二の文字判定ステップと、を含むことを特徴とする文字認識方法。 (1) A binarization processing step for binarizing image data obtained by imaging a medium, a character cutting step for obtaining a region including a recognition target character from the binarized image data, and the region A feature extraction step for extracting a feature vector of a character to be recognized, a feature vector extracted in the feature extraction step is compared with a given reference feature vector for each of a plurality of reference characters, and a similarity with each reference feature vector is determined. Based on a similarity calculation step to be calculated, a first character determination step for comparing a plurality of similarities calculated in the similarity calculation step with a similarity threshold, and determining a candidate character, and the first character determination step When there are a plurality of candidate characters, a separation processing step for obtaining a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character; Character recognition method characterized by comprising a second character judgment step of judging candidate characters each release evaluation value is compared with separate evaluation threshold, the.
本発明によれば、媒体を撮像して得られた画像データを二値化し、二値化された画像データから認識対象文字を含む領域を求め、その領域にある認識対象文字の特徴ベクトルを抽出し、抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出し、算出した複数の類似度を類似度閾値と比較して候補文字を判定し、その判定結果に基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求め、その分離評価値を分離評価閾値と比較して候補文字を判定することとしたので、最初の候補文字の判定によって区別できなかったものについて、別の特徴ベクトル(分離評価値)による判定を行うことができ、認識結果に対する信頼性を高めることができる。 According to the present invention, image data obtained by imaging a medium is binarized, a region including a recognition target character is obtained from the binarized image data, and a feature vector of the recognition target character in the region is extracted. The extracted feature vector is compared with each given reference feature vector for each of a plurality of reference characters, a similarity with each reference feature vector is calculated, and the calculated plurality of similarities are compared with a similarity threshold. A candidate character is determined, and when there are a plurality of candidate characters based on the determination result, a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character is obtained, and the separation evaluation value is separated. Since it was decided to determine the candidate character in comparison with the evaluation threshold, it is possible to make a determination by another feature vector (separation evaluation value) for those that could not be distinguished by the determination of the first candidate character, It is possible to improve the reliability of the identification results.
(2) 前記分離評価ステップにおける前記分離評価値は、前記領域をn×mの分割領域に分けた後、当該分割領域にある少なくとも二以上の文字特徴量を抽出することによって求められることを特徴とする文字認識方法。 (2) The separation evaluation value in the separation evaluation step is obtained by dividing the region into n × m divided regions and then extracting at least two or more character feature amounts in the divided region. Character recognition method.
本発明によれば、上述した分離評価ステップにおける分離評価値は、領域をn×mの分割領域に分けた後、その分割領域にある少なくとも二以上の文字特徴量を抽出することによって求められることとしたので、nやmの値(整数)を適当な値に設定することで、分離評価値の精度を変化させることができる。例えば、nやmを大きな値にすれば、より細かく分割された領域で分離評価値が求められるので、より精度を高めることができる。なお、nとmは異なる値であってもよいし、同じ値(n=m)であってもよい。 According to the present invention, the separation evaluation value in the separation evaluation step described above is obtained by dividing an area into n × m divided areas and then extracting at least two or more character feature quantities in the divided areas. Therefore, the accuracy of the separation evaluation value can be changed by setting the values of n and m (integers) to appropriate values. For example, if n or m is set to a large value, the separation evaluation value is obtained in a more finely divided area, so that the accuracy can be further improved. Note that n and m may be different values or the same value (n = m).
(3) 媒体を撮像して得られた画像データを二値化する二値化処理部と、二値化された画像データから認識対象文字を含む領域を求める文字切出し部と、前記領域にある認識対象文字の特徴ベクトルを抽出する特徴抽出部と、前記特徴抽出部で抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出する文字認識部と、前記文字認識部で算出した複数の類似度を類似度閾値と比較して候補文字を判定する判定部と、前記判定部に基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求めるとともに、前記分離評価値それぞれを分離評価閾値と比較して候補文字を判定する分離処理部と、を備えたことを特徴とする文字認識装置。 (3) a binarization processing unit that binarizes image data obtained by imaging the medium, a character cutout unit that obtains a region including a recognition target character from the binarized image data, and the region A feature extraction unit that extracts a feature vector of a character to be recognized, and a feature vector extracted by the feature extraction unit is compared with a given reference feature vector for each of a plurality of reference characters, and a similarity with each reference feature vector is determined. A character recognition unit to be calculated; a determination unit that compares a plurality of similarities calculated by the character recognition unit with a similarity threshold to determine candidate characters; and a plurality of candidate characters based on the determination unit And a separation processing unit for obtaining a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character, and comparing each of the separation evaluation values with a separation evaluation threshold value to determine a candidate character. Character recognition apparatus according to claim and.
本発明によれば、判定部の判定結果に基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求め、その分離評価値を分離評価閾値と比較して候補文字を判定することとしたので、第一の文字判定で候補文字の判定によって区別できなかったものについて、別の特徴ベクトル(分離評価値)による第二の文字判定を行うことができ、認識結果に対する信頼性を高めることができる。 According to the present invention, when there are a plurality of candidate characters based on the determination result of the determination unit, a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character is obtained, and the separation evaluation value Since the candidate character is determined by comparing with the separation evaluation threshold, the second character with a different feature vector (separation evaluation value) for those that could not be distinguished by the determination of the candidate character in the first character determination The determination can be performed, and the reliability of the recognition result can be improved.
本発明に係る文字認識方法及び文字認識装置によれば、第一の文字判定で候補文字が複数であった場合でも、別の特徴ベクトルである分離評価値を用いて第二の文字判定が行われるので、文字認識の認識結果に対する信頼性を簡易に高めることができる。 According to the character recognition method and the character recognition device of the present invention, even if there are a plurality of candidate characters in the first character determination, the second character determination is performed using the separation evaluation value that is another feature vector. Therefore, the reliability of the recognition result of character recognition can be easily increased.
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
[文字認識装置]
図1は、本発明の実施の形態に係る文字認識装置1の電気的構成を示すブロック図である。
[Character recognition device]
FIG. 1 is a block diagram showing an electrical configuration of a
文字認識装置1は、記録媒体表面に印刷された文字列の画像をイメージスキャナにより光学的に読み取り、この読み取られた文字列の画像から認識対象文字1文字ごとの文字画像を切り出し、この文字画像から抽出した特徴ベクトル(特徴点や特徴量等)を、認識用辞書に記憶された基本となる特徴ベクトル(特徴点や特徴量等)と比較・照合することにより文字認識を行い、認識された文字を出力するようにした光学的文字読取装置(Optical Character Reader)が用いられている。
The
図1において、記録媒体2は、JISに準拠している一般的なカードであり、例えば、幅86mm,高さ54mm,厚み0.76mmというサイズのプラスチックカードである。
In FIG. 1, a
図1に示すように、記録媒体2には、光学的に読み取りが可能な文字・数字等が印字された文字記録領域2Aが設定されている。具体的には、複数の文字が一定方向に規則正しく並んで文字列を形成しており、かつ、文章等を構成している。この文字記録領域2Aには、例えば、記録媒体2を特定する固有情報が表示されている。この固有情報とは、例えば、記録媒体2の使用者の氏名及び記録媒体2を特定する番号や記録媒体2の使用者番号等である。なお、記録媒体2は、このプラスチックカードに限定されるものではなく、文字列が印字されているものであればよく、例えば、IDカードやパスポートブック、或いは運転免許証などでもよい。
As shown in FIG. 1, the
図1に示す文字認識装置1は、記録媒体2に表示された文字列を光学的に読み取り可能な装置であり、密着型の(1次元)撮像素子11と、画像メモリ12と、データ処理部13と、を有している。
A
密着型の(1次元)撮像素子11は、図1に示すように、記録媒体2を、図示しない搬送手段によって所定の搬送方向T(図1では左から右)に搬送する媒体搬送機構に設けられている。この撮像素子11は、CCD等からなるラインセンサであり、搬送方向Tとほぼ直交する方向(記録媒体2の幅方向)に一列に配置され、かつ、記録媒体2上に形成された文字記録領域2Aの幅よりも長く形成されている。なお、媒体搬送機構には搬送ガイド(番号を付記せず)が形成されており、記録媒体2は、その一端が搬送ガイドに接して搬送されるようになっている。なお、撮像素子11は、1次元に限定されるものではなく、2次元撮像素子であってもよい。
As shown in FIG. 1, the contact type (one-dimensional)
画像メモリ12は、撮像して得られた画像データを格納するものである。具体的には、画像データを有限個の画素の行列とみなし、例えば、各画素は、8ビットの情報量をもち、256階調の多値画像データで表され、画素値である輝度値は0から255までの整数値として表されている。なお、この画像メモリ12は、RAM,SDRAM,DDR SDRAM,RDRAMなど、画像データを記憶しうるものであれば如何なるものであってもよい。
The
データ処理部13は、画像メモリ12から多値画像データを読み出して、上述した各部において様々な処理を施し、最終的に、記録媒体2上の文字列を認識するものである。本実施の形態では、図1に示すように、二値化処理部13aと、文字切り出し部13bと、類似特徴抽出部13cと、文字認識部13dと、特徴辞書格納部13eと、判定部13fと、再二値化処理部13gと、分離処理部13hと、文字出力部13iと、分離条件格納部13jとを有している。また、これらの各部は、CPU又はMPUやRAM,ROMなどの電気要素によって、ハードウェア的に実現することができる。
The
二値化処理部13aは、媒体を撮像して得られた画像データを二値化する。本実施の形態では、画像メモリ12に格納された256階調の多値画像データを読み出して、既に公知となっている判別分析法など適当な方法によって第1の二値化閾値を求め、白黒二値の二値画像データに変換を行うものである。なお、二値画像データは、画像メモリ12に、多値画像データが格納されているメモリ領域とは別のメモリ領域に、二値画像データとして格納されている。
The
文字切出し部13bは、二値化処理部13aで得られた二値画像データから、認識対象文字(以下、「文字」という。)を含む領域、すなわち、1文字分ずつの(文字)画像を検出して切り出すものである。本実施の形態では、二値画像データから1文字(例えば、1文字を形成する黒画素領域)に外接した外接矩形領域が切り出されるようになっている。
The
特徴抽出部13cは、文字切り出し部13bで切り出された領域にある認識対象文字の特徴ベクトル(例えば、特徴量、特徴点等)を抽出する。本実施の形態では、文字切出し部13bから供給される外接矩形領域を複数の部分領域に分け、各部分領域ごとの特徴ベクトルを抽出する。
The
文字認識部13dは、それぞれの文字ごとに文字認識を行い、候補文字を出力する。ここで、この文字認識は、文字切出し部13bにより切り出された文字の特徴ベクトルのそれぞれに対し、認識辞書315に予め登録されている個々の基準文字の基準特徴ベクトルと1つずつ照合することにより行われる。本実施の形態では、特徴抽出部で抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出する。
The
特徴辞書格納部13eは、予め、記録媒体2で使用される全文字について求めておいた基準特徴ベクトルが格納されている。この特徴ベクトルは、特徴比較が行われる際に、特徴辞書格納部13eから類似度が高い候補文字の特徴ベクトルが読み出され、特徴比較が行われ、類似度が算出される。
The feature
判定部13fは、文字認識部13dで算出された類似度から認識結果の判定を行う。本実施形態では、算出された類似度が、類似度閾値より高い値を持つ候補文字を読み出す。
The
再二値化処理部13gは、判定部13fにおいて、類似度の最大値が所定の類似度閾値をクリアしていない場合、すなわち、類似度閾値をクリアしなかった候補文字については当該認識対象文字を認識できないので、再二値化処理が実行される。この場合、第1の二値化閾値とは異なる第2の二値化閾値を用いて、上述した特徴抽出部13cで再処理されるようになっている。また、分離処理部13hにおいて、分離評価値が所定の分離評価閾値をクリアしていない場合、すなわち、分離評価閾値をクリアしなかった候補文字について当該認識対象文字を認識できないので、再二値化処理が実行される。この場合、第1の二値化閾値とは異なる第2の二値化閾値を用いて、分離処理部13hで再処理されるようになっている。
The
分離処理部13hは、判定部13fにおいて、所定の類似度閾値を複数の候補文字がクリアしている場合、これら複数の候補文字について分離処理が行われる。例えば、第一位と第二位の文字候補の類似度が共に類似度閾値をクリアし、かつ、両者が接近している場合(数字の「0(ゼロ)」とアルファベット文字「O(オー)、アルファベットの小文字のl(エル)とアルファベットの大文字のI(アイ)」等)などには、それらを分離する処理を行う。本処理では、類似度閾値をクリアした複数の候補文字を最もよく分離できる評価値を特徴ベクトルの適切な1個又は複数要素の組合せから計算し分離評価値として求め、その分離評価値を所定の分離評価閾値と比較することによって、分離を行う。また、分離処理部13hは、算出された分離評価値から認識結果の判定を行う。本実施の形態では、算出された分離評価値が、分離評価閾値より低い値を持つ候補文字を読み出す。
When the
文字出力部13iは、判定部13fからの認識結果を出力する。
The character output unit 13i outputs the recognition result from the
分離条件格納部13jは、類似度が近似する複数の候補文字、例えば、数字「0(ゼロ)」とアルファベット文字「O(オー)」、数字「6」と「8」とアルファベット文字「B」等を判定可能となるような分離評価値を求める計算式やこれら候補文字の高さHの情報等が格納されている。 The separation condition storage unit 13j has a plurality of candidate characters that are similar in similarity, for example, the number “0 (zero)” and the alphabet character “O (O)”, the numbers “6” and “8”, and the alphabet character “B”. A calculation formula for obtaining a separation evaluation value that makes it possible to determine the above, information on the height H of the candidate characters, and the like are stored.
[文字認識方法]
図2は、本発明の実施の形態に係る文字認識方法を示すフローチャートである。
図3は、記録媒体2の文字記憶領域2A(図1参照)に印刷された文字列を撮像したときの二値画像データを示す図である。
[Character recognition method]
FIG. 2 is a flowchart showing a character recognition method according to the embodiment of the present invention.
FIG. 3 is a diagram showing binary image data when a character string printed in the
図2に示すように、本実施形態に係る文字認識方法では、まず、カードなどの記録媒体2は、媒体搬送機構の搬送ガイドに沿って搬送され、撮像素子11を通過することによって、記録媒体2上の文字記録領域2Aが撮像される。撮像によって得られたアナログの画像データは、光電変換され、図示しないアナログ/ディジタル変換回路が接続され、このアナログ画像データをディジタル画像データに変換される。例えば8ビットの256階調の多値画像データに変換されて画像メモリ12に格納される。なお、このようなアナログ/ディジタル変換回路自体は、既に公知であるので、ここでの詳細な説明は省略する。
As shown in FIG. 2, in the character recognition method according to the present embodiment, first, a
図3は、記録媒体2の文字記憶領域2A(図1参照)に印刷された文字列を撮像したときの画像データを示す図である。なお、本実施の形態では、2列の文字列が印字されている。また、説明を簡単にするために、文字列の方向は、画像メモリ12の水平方向とほぼ一致しており、文字列の方向に直交する方向を垂直方向としている。
FIG. 3 is a diagram showing image data when a character string printed in the
本実施の形態では、画像メモリ12は、M行×N列の画素をマトリクス状に配列して構成され、各画素には文字記録領域2A内の多値画像データがそれぞれ記憶されている。具体的には、白エレメントを構成する画素では輝度値(最大値255)が相対的に大きな値になり、黒エレメントを構成する画素では輝度値(最小値0)が相対的に小さな値になっている。
In the present embodiment, the
図2においては、まず、二値化処理が行われる(ステップS1)。具体的には、二値化処理部13aは、画像メモリ12から256階調の多値画像データを読み出して、判別分析法など適当な方法によって第1の二値化閾値を求め、白黒の二値画像データに変換を行う。また、このステップS1は、媒体を撮像して得られた画像データを二値化する「二値化処理ステップ」の一例に相当する。
In FIG. 2, first, binarization processing is performed (step S1). Specifically, the
次に、文字切り出し処理が行われる(ステップS2)。文字切り出し部13bは、記録媒体2上に形成された文字記録領域2Aに印字された認識対象文字を1文字ごとに文字画像を切り出す。なお、このステップS2は、二値化された画像データから認識対象文字を含む領域を求める「文字切出しステップ」の一例に相当する。
Next, a character cutout process is performed (step S2). The
より詳細に述べれば、まず、文字列の切り出しが行われる。具体的には、文字切り出し部13bは、2列の文字列の二値画像データを、水平方向(文字列の方向)に射影して、各文字列の上下エッジ(図3において上下)を検出する。そして、上下エッジの中心位置を、各文字列の中心ラインとして2列の文字列の切り出しを行う。次いで、各文字列について文字切り出しが行われる。まず、文字区切り位置検出が行われる。具体的には、文字切り出し部13bは、上述したように、検出された文字列ごとの二値画像データについて、垂直方向に射影計算を行う。垂直射影によって得られた垂直射影データには、文字列を構成する文字と隣の文字間の空白部分が含まれているため、垂直射影データが所定の区切り位置検出用閾値を超えた箇所を、文字列を構成する文字の区切り位置として検出する。この過程については、図4及び図5を用いて詳しく説明する。なお、文字区切り位置検出は、垂直射影データが所定の区切り位置検出用閾値(図5ではSLEVで示す線)を超えた箇所を、文字列を構成する文字と隣の文字の区切り位置として検出する。
More specifically, the character string is first cut out. Specifically, the
図4は、文字列を構成する文字(一部)に着目したときの二値画像データである。また、図5は、図4に示す二値画像データを垂直射影することによって得られた垂直射影データである。なお、図4は、図3中の上の文字列の「K」から「C」までの画像データを図5において、各文字間の空白部分は、SLEV(区切り位置検出用閾値)を超えていることを示している。 FIG. 4 is binary image data when attention is paid to characters (part) constituting the character string. FIG. 5 shows vertical projection data obtained by vertical projection of the binary image data shown in FIG. 4 shows the image data from “K” to “C” of the upper character string in FIG. 3 in FIG. 5, and the blank portion between each character exceeds SLEV (separation position detection threshold). It shows that.
次に、仮決定された文字の外周矩形領域内における文字位置を正確に決定する処理を、図6を用いて説明する。図6は、文字列を構成する文字「<」の二値画像データを示す図である。 Next, a process for accurately determining the character position in the outer peripheral rectangular area of the temporarily determined character will be described with reference to FIG. FIG. 6 is a diagram showing binary image data of the character “<” constituting the character string.
図6において、この「<」の文字の位置を正確に特定するために、外周矩形領域内の二値画像データにおいて、垂直射影PX及び水平射影PYを計算する。そして、求められたPXに沿って、文字の左右境界位置の検出を行い、外周矩形領域の左端点を起点としてPXを右方向にスキャンして、連続して一定回数して、そのレベル値(画素の検出)が連続して一定回数(例えば3回)境界位置検出用閾値を下回ったら、その最初の地点を文字の左エッジとする。そして、同様に、外周矩形領域の右端点を起点としてPXを左方向にスキャンして、境界位置検出用閾値を下回ったらその最初の地点を文字の右エッジとする。 In FIG. 6, in order to accurately specify the position of the character “<”, vertical projection PX and horizontal projection PY are calculated in the binary image data in the outer peripheral rectangular area. Then, the left and right boundary positions of the characters are detected along the obtained PX, the PX is scanned rightward from the left end point of the outer peripheral rectangular area, and the level value ( When the pixel detection) continuously falls below the boundary position detection threshold value a certain number of times (for example, 3 times), the first point is set as the left edge of the character. Similarly, PX is scanned leftward starting from the right end point of the outer peripheral rectangular area, and when it falls below the boundary position detection threshold, the first point is set as the right edge of the character.
次に、水平射影PYについても同様に処理する。図6において、上述した境界決定処理にて得られている左エッジ位置と右エッジ位置とで区切られた範囲を定義域として行い、外周矩形領域の上端、下端を外側からスキャンして、各レベル値が連続して一定回数、境界位置検出用閾値を下回ったら、その最初の地点を文字の上エッジ、下エッジとする。このようにして、文字列内の文字「<」の位置を特定し、1つの文字に外接した外接矩形領域を切り出す。これにより、文字に外接する外接矩形領域を求めることによって、正確な文字切出しを行うことができ、類似度を算出する処理を行う際に、(余白があることに起因した)誤差を少なくすることができる。図2のステップS2の文字切り出し処理が終了すると、図6に示すように、認識対象文字の外接矩形領域が求められる。 Next, the same processing is performed for the horizontal projection PY. In FIG. 6, the range divided by the left edge position and the right edge position obtained by the boundary determination process described above is used as the definition area, and the upper and lower ends of the outer peripheral rectangular area are scanned from the outer side. If the value falls below the boundary position detection threshold for a certain number of consecutive times, the first point is taken as the upper and lower edges of the character. In this manner, the position of the character “<” in the character string is specified, and a circumscribed rectangular area circumscribing one character is cut out. Thus, by obtaining a circumscribed rectangular area circumscribing the character, it is possible to perform accurate character extraction, and reduce errors (due to margins) when performing the similarity calculation processing. Can do. When the character cut-out process in step S2 in FIG. 2 is completed, a circumscribed rectangular area of the recognition target character is obtained as shown in FIG.
次に、特徴抽出処理が行われる(ステップS3)。具体的には、特徴抽出部13cは、外接矩形領域を任意の部分領域に分割する。本実施の形態では、図7に示すように、例えば、1個の外接矩形領域を5×5の領域に分割し、各領域を部分領域とする。各部分領域において、部分領域内の全画素数に占める黒画素数の割合を求め、それらを要素とする特徴ベクトルとしての特徴量を生成する。なお、図7に示すように、外接矩形領域を任意の部分領域に分割する際の領域の大きさは同等でなくてもよい。
Next, feature extraction processing is performed (step S3). Specifically, the
図8は、図7に示す外接矩形領域(図6でいう一点鎖線に囲まれた領域内)を、一点鎖線で示すような5×5の領域に分割したとき、各部分領域における各画素の画素値(二値)を示している。図8では、数値255は二値の「白」を示し、数値0は二値の「黒」を示している。
FIG. 8 shows the circumscribed rectangular area shown in FIG. 7 (inside the area surrounded by the one-dot chain line in FIG. 6) divided into 5 × 5 areas shown by the one-dot chain line. The pixel value (binary) is shown. In FIG. 8, the
次に、特徴ベクトルとしての特徴量を、各部分領域ごとに算出する。特徴量は、各部分領域内の全画素数に占める黒画素数(輝度値0の数)の割合を求める。
その結果、図9に示すように、25個の特徴量を生成することができる。例えば、図9中の右上(符号ax)の0.90909は、図7の部分領域axに対応した図8中の右上の部分領域axにおいて、0(黒画素)の数(30個)を、0(黒画素)と255(白画素)の総数(33個)で割った値となる(30÷33≒0.90909)。なお、このステップS3は、領域にある認識対象文字の特徴ベクトルを抽出する「特徴抽出ステップ」の一例に相当する。
Next, a feature amount as a feature vector is calculated for each partial region. As the feature amount, a ratio of the number of black pixels (number of luminance values 0) to the total number of pixels in each partial region is obtained.
As a result, as shown in FIG. 9, 25 feature quantities can be generated. For example, 0.90909 in the upper right (symbol ax) in FIG. 9 is the number (30) of 0 (black pixels) in the upper right partial area ax in FIG. 8 corresponding to the partial area ax in FIG. The value is divided by the total number (33) of 0 (black pixels) and 255 (white pixels) (30 ÷ 33≈0.90909). This step S3 corresponds to an example of a “feature extraction step” for extracting feature vectors of recognition target characters in the region.
次に、文字認識処理が行われる(ステップS4)。具体的には、文字認識部13dは、上述のようにして得られた部分領域ごとの特徴量を、予めこの記録媒体2で使用される全文字について求めておいた基準特徴量(たとえば図10の符号saxで示す値を参照)に対する類似度(例えば正規化相関係数)を計算し、最も類似度が高いもの、すなわち最大スコア値を与えるものを、その文字が該当する候補文字に設定する。本実施例では、文字「<」に対する類似度が0.902と最大値を与えるため、「<」が該当する候補文字となる。なお、このステップS4は、抽出した特徴ベクトル(特徴量)を複数の基準文字ごとに所与の基準特徴ベクトル(基準特徴量)それぞれと比較し、各基準特徴ベクトル(基準特徴量)との類似度を算出する「類似度算出ステップ」の一例に相当する。
Next, a character recognition process is performed (step S4). Specifically, the
なお、基準特徴量は、予め特徴辞書格納部13eに格納されているものであって、特徴比較が行われる際に、特徴辞書格納部13eから類似度が高い文字のデータが読み出され、特徴比較が行われる。
The reference feature amount is stored in advance in the feature
候補文字の判定処理が行われる(ステップS5)。具体的には、判定部13fにより、候補文字が抽出されたか否かが判断される。候補文字が1文字抽出された場合、文字出力部13iに出力され、判定部13fからの認識結果を出力する(ステップS8)。一方、候補文字が抽出されなかった場合、再二値化処理が必要と判断され(ステップS5:NO)、(認識対象)文字について、再二値化処理部13gで再二値化処理が実行される(ステップS6)。また、候補文字が2文字以上抽出された場合、分離処理部13hに出力され、分離処理が行われる(ステップS7)。なお、このステップS5は、算出した複数の類似度を類似度閾値と比較して候補文字を判定する「第一の文字判定ステップ」の一例に相当する。
A candidate character determination process is performed (step S5). Specifically, the
(分離処理)
分離処理部13hによる分離処理が行われる(ステップS7)。文字認識部13dで(認識対象)文字との類似度を算出し判定部13fで判定するが、類似度が第一位と第二位の複数の候補文字が、各類似度が共に類似度閾値をクリアし、かつ、両者が接近している場合などには、候補文字を特定することができず判定ができないので、それらを(認識対象)文字に対して分離する処理を行う。このような候補文字として、例えば、数字「0(ゼロ)」とアルファベットの「O(オー)」や、アルファベットの小文字「l(エル)」とアルファベットの大文字「I(アイ)」などがある。なお、このステップS7は、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求める「分離処理ステップ」の一例に相当する。
(Separation process)
Separation processing by the
本処理では、このように類似度が近い候補文字を、(認識対象)文字に対して最もよく分離できる評価値を特徴量の適切な1個又は複数要素の組合せから計算し、その分離評価値を分離評価閾値と比較することによって、分離を行う。 In this processing, an evaluation value that can best separate candidate characters having similar similarities with respect to the (recognition target) character is calculated from an appropriate combination of one or more elements of the feature amount, and the separation evaluation value Is compared with the separation evaluation threshold.
この分離処理の詳細な情報処理の流れについて説明は、図11に示すとおりである。また、具体例を図12に示す。図12に示すように、パスポートガイドでは数字「0(ゼロ)」とアルファベット文字「O(オー)」が代表的な候補文字である。フォント上はストロークの曲率の違いや、文字高さの違いによる判別が可能であるが、印刷条件や走査条件、光学条件などの理由で、文字の歪みや文字線太さの変化が生じやすく、分離不能となる場合がある。上述した文字認識処理での特徴量における類似度も近い値をとることがあり、差異も顕著でない場合がある。そこで、本実施例では、分離評価値を分離評価閾値と比較することによって、分離を行う。 The detailed information processing flow of this separation processing is as shown in FIG. A specific example is shown in FIG. As shown in FIG. 12, the number “0 (zero)” and the alphabet letter “O (o)” are typical candidate characters in the passport guide. On the font, it is possible to discriminate by the difference in the curvature of the stroke and the difference in the character height, but due to the printing condition, scanning condition, optical condition, etc., the distortion of the character and the change in the character line thickness are likely to occur. May become inseparable. The similarity in the feature amount in the character recognition process described above may take a close value, and the difference may not be significant. Therefore, in this embodiment, the separation is performed by comparing the separation evaluation value with the separation evaluation threshold.
例えば図12に示すように、類似度を算出する際に使用した部分分割領域、すなわち5×5分割された領域の四隅の値DA,DB,DC,DDと、左右の中央値E,Fを用いて、第一位と第二位の複数の候補文字と判別することができなかった(認識対象)文字について、図14(a)に示す計算式で分離評価値を算出する(図11のステップS11)。図14(a)に示す計算式で求めた分離評価値は数字「0(ゼロ)」で小さくなる一方、アルファベット文字「O(オー)」で大きくなるようになっている。そこで、判別論理を図14(b)に示すようにする(図11のステップS12)。図14(b)中のK1及びK2は、分離評価閾値であり、実験的に求めることが可能である。求めた分離評価値fxが分離評価閾値K1よりも小さい場合には、(認識対象)文字は数字「0(ゼロ)」と、分離処理部13hで判定する。また、求めた分離評価値fxが分離評価値K2よりも大きい場合には、文字はアルファベット文字「O(オー)」と判定する。さらに、分離評価値fxがK1とK2に挟まれた範囲にあるときは、判定不能領域として、後述する別の指標を用いる。なお、5×5分割された領域は文字認識で使用した部分分割領域を用いたが、分離評価値を求めるために,新たな部分分割領域を設定してもよい。
For example, as shown in FIG. 12, the values DA, DB, DC, DD of the four corners of the partial divided area used when calculating the similarity, that is, the area divided by 5 × 5, and the median values E, F on the left and right are obtained. Using the calculation formula shown in FIG. 14A, a separation evaluation value is calculated for the characters that could not be distinguished from the first and second candidate characters (recognition target) (FIG. 11). Step S11). The separation evaluation value obtained by the calculation formula shown in FIG. 14A decreases with the number “0 (zero)”, but increases with the alphabet letter “O (O)”. Therefore, the discrimination logic is as shown in FIG. 14B (step S12 in FIG. 11). K1 and K2 in FIG. 14B are separation evaluation threshold values and can be obtained experimentally. When the obtained separation evaluation value fx is smaller than the separation evaluation threshold K1, the
判定不能領域にある場合、たとえば、初期状態すなわち文字認識処理後の文字画像(二値画像)が図12(a)に示すものとなっている場合、分離評価値(fxの値)は判定不能領域にある。このときは、別の指標として文字高さHを用いる。H1<H2として、文字高さH(H')が、H(H')<H1であれば「O(オー)」とし、H(H')>H2であれば「0(ゼロ)」として、分離処理部13hで判定し、結果が確定された後(図11のステップS14)、文字出力部13iから文字出力がされることになる(図2のステップS8)。なお、文字高さH'は、後述する再二値化処理(ステップS13)の反復によって形成された文字画像の文字高さを示す(図12(b)参照)。
For example, if the character image (binary image) after the character recognition process is as shown in FIG. 12A, the separation evaluation value (the value of fx) cannot be determined. In the area. At this time, the character height H is used as another index. If H1 <H2 and the character height H (H ′) is H (H ′) <H1, “O” is set, and if H (H ′)> H2, “0 (zero)” is set. After the determination is made by the
なお、H1≦H(H')≦H2であれば判定不能領域にあるとして(図11のステップS12:NO)、再二値化処理部13gに出力される。再二値化処理部13gでは、(認識対象)文字について、第1の二値化閾値を第2の二値化閾値に代えて再二値化を繰り返しながら、分離評価値fxを計算する(図11のステップS13)。再度計算して求めた分離評価値fxが上述した分離閾値K1またはK2と比較し、再度計算して求めた分離評価値fxが判定不能領域から外れたか又は規定反復回数に到達したか否かにより、最終判定を行う。判定不能領域から外れた場合は、「0(ゼロ)」か「O(オー)」のうち該当する文字が文字出力部13iから出力され、判定不能領域から外れなかった場合は、文字出力部13iから判定不能として出力される。
If H1 ≦ H (H ′) ≦ H2, it is determined that the region is in an indeterminable region (step S12: NO in FIG. 11), and is output to the
本実施例では、例えば、図12(a)に示す文字画像が分離評価値(fxの値)は判定不能領域にあると判定された場合(図11のステップS12)、再二値化処理(ステップS13)の反復によって、図12(b)に示すような文字画像が形成された。この文字画像の二値画像データを用いて、分離処理部13hで分離処理を行い、計算された分離評価値fx'<K1(分離評価閾値)となり、「0(ゼロ)」と判定される。また、図12(b)において、再二値化処理された文字画像は文字高さH'となり、上述した分離評価値fx'を用いた分離処理で、以前として判定不能領域からはずれなかった場合には、上述したように、文字高さH'を、H1、H2と比較するようにしてもよい。なお、再二値化処理の詳細な説明は後述する。また、上述したステップS11は、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値(上述したfx)を求める「分離処理ステップ」の一例に相当する。また、上述したステップS12は、分離評価値それぞれを分離評価閾値(上述したK1、K2)と比較して候補文字を判定する「第二の文字判定ステップ」の一例に相当する。
In the present embodiment, for example, when it is determined that the character image shown in FIG. 12A has a separation evaluation value (the value of fx) in an indeterminable region (step S12 in FIG. 11), a rebinarization process ( By repeating step S13), a character image as shown in FIG. 12B was formed. Separation processing is performed by the
(再二値化処理)
図2のフローチャートに戻り、判定部13fにより、候補文字が抽出されなかった場合、再二値化処理が必要と判断され(ステップS5:NO)、(認識対象)文字について、再二値化処理部13gで再二値化処理が実行される(ステップS6)。上述したように、図2のステップS4の文字認識処理において、基準文字「<」に対する類似度が0.902と最大値を与えるため、「<」が該当する文字として決定されることになるが、合理的に決定された第1の二値化閾値による文字画像であっても、文字の形状によっては認識対象文字と基準文字との類似度が類似度閾値に到達しないことがあり得る(上述のように、0.902のような高い類似度が与えられない場合がある)。
これは、例えば、手動走査型スキャナにおける走査速度による幅方向の解像度低下などが原因となって、文字形状が著しく歪んだり、印刷時あるいは使用中に生じた文字のかすれ・欠如が生じていたりするからである。この場合、再二値化するための第2の二値化閾値を求めるのに、たとえば黒点数だけによる方法では、文字のかすれ・欠落などにより、見かけ上濃度が濃くなっている場合でも濃度が濃くなる方向に閾値補正が行われる。そして、欠落以外の部分の文字線が太い場合には、過剰に線が太くなる方向に作用するため、正確な認識が行われなくなってしまう。
(Rebinarization processing)
Returning to the flowchart of FIG. 2, when the candidate character is not extracted by the
This is due to, for example, a decrease in resolution in the width direction due to the scanning speed in a manual scanning scanner, and the character shape is significantly distorted, or characters are blurred or missing during printing or during use. Because. In this case, in order to obtain the second binarization threshold value for re-binarization, for example, in the method using only the number of sunspots, the density is increased even if the density is apparently increased due to blurring / missing of characters. Threshold correction is performed in the direction of increasing darkness. When the character line other than the missing part is thick, it acts in the direction where the line becomes excessively thick, so that accurate recognition cannot be performed.
そこで、本実施形態に係る文字認識方法では、再二値化の要否判定に、特徴量の類似度を用いるようにしている。文字欠けやかすれなどの形状に生じた変形は、確実に類似度に反映させることができるため、黒点数による方法に比べて判断誤りが生じにくい、というメリットがある。 Therefore, in the character recognition method according to the present embodiment, the similarity of feature amounts is used for determining whether or not re-binarization is necessary. Since deformations that occur in shapes such as missing characters or fading can be reliably reflected in the similarity, there is an advantage that a determination error is less likely to occur compared to the method using the number of black dots.
図17は、再二値化の要否判定に関する具体例を説明するための説明図である。図17には、アルファベットの大文字"L"の文字画像(二値画像データ)を示しており、図17(a)は、文字認識処理(図2のステップS4)で使用した第1の二値化閾値を適用した場合の図である。この場合、相対的に二値化閾値が低いために線が細くなり、文字切出し処理で右側のエッジ部が実際よりも内側に検出されている。そのため、基準文字との類似度は0.475という低い数値を示している。このとき、上述したように、判定部13fにおいて、照合が正しく行われていないので判定不能として、再二値化処理が必要であると判定する。この二値化閾値を変化させる方向は、増加か減少か類似度からでは分からないため、初めに増加させる方向にシフトさせる。文字画像としては、黒画素の数が増える方向である。図17(b)は、第1の二値化閾値として設定した256階調の多値画像データ上の輝度値よりも8増加させた輝度値を第2の二値化閾値と設定した場合、この第2の二値化閾値で再二値化処理した文字画像である。この文字画像と基準文字との類似度は0.572である。さらに、輝度値を増加させ、第3の二値化閾値を設定し、再二値化処理した文字画像と基準文字との類似度は0.886と十分大きい値となった(図17(c)参照)。これにより、本来の正しい結果に到達したと判断する。なお、輝度値を増加方向への変化で類似度が十分に改善されなかった場合は、減少する方向(例えば、輝度値で8減少)へ変化させ、類似度が改善されるかを調べる。改善が見られなかった場合は、再二値化処理前の結果を採用することにする。
FIG. 17 is an explanatory diagram for describing a specific example related to determination of necessity of re-binarization. FIG. 17 shows a character image (binary image data) of the capital letter “L” of the alphabet, and FIG. 17A shows the first binary used in the character recognition process (step S4 in FIG. 2). It is a figure at the time of applying a threshold value. In this case, since the binarization threshold is relatively low, the line becomes thin, and the right edge is detected on the inner side in the character cutting process. Therefore, the similarity to the reference character is a low value of 0.475. At this time, as described above, the
図11のステップS13は再二値化処理であり、図2のステップS6と同様の処理を行うので、ここでの説明は省略する。また、ステップS13での第2の二値化閾値、第3の二値化閾値等は、ステップS6で説明したような輝度値8づつ増加、減少させてもよいし、8以外の数値であってもよい。 Step S13 in FIG. 11 is a re-binarization process, and a process similar to that in step S6 in FIG. 2 is performed. Further, the second binarization threshold value, the third binarization threshold value, etc. in step S13 may be increased or decreased by 8 luminance values as described in step S6, or values other than 8. May be.
[実施形態の主な効果]
以上説明したように本実施形態に係る文字認識方法によれば、記録媒体2の既知の位置に印刷された既知の文字数からなる文字列を、1次元撮像素子11で主走査を行い、手動もしくは機械駆動による記録媒体2移動で副走査を行うようにして、2次元の画像情報に変換し、この画像データを適切に処理することにより文字列の認識を行うようにした文字認識装置1において、記録媒体2を走査した多値画像を二値化するステップ(図2のステップS1)と、(認識対象)文字に外接する外接矩形領域を求め、外接矩形領域内の特徴量を抽出するステップ(図2のステップS2,ステップS3)と、基準特徴量との類似度を算出するステップ(図2のステップS4)と、類似度を類似度閾値と比較して第一の文字判定するステップ(図2のステップS5)と、その判定結果に基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと(認識対象)文字と分離評価する分離評価値を求め、その分離評価値を分離評価閾値と比較して候補文字を判定する(図2のステップS7)ことで構成することで、第一の文字判定で候補文字の判定によって区別できなかったものについて、別の特徴量(分離評価値)による判定を行うことができ、認識結果に対する信頼性を高めることができる。
[Main effects of the embodiment]
As described above, according to the character recognition method according to the present embodiment, a character string composed of a known number of characters printed at a known position on the
また、上述した図2のステップS5で、判定ができなかった場合、(認識対象)文字について再二値化処理を行うステップ(図2のステップ6)を構成することで、再二値化後の(認識対象)文字を、特徴抽出ステップ(図2のステップ4)に出力するように構成することで、判定できなかった(認識対象)文字の読取精度を更に上げることができる。
同様に、分離処理ステップ(図2のステップS7)で、判別できなかった(認識対象)文字について、再二値化処理部13gに出力し、再二値化処理を行うことにより、再二値化で求めた(認識対象)文字と、類似度が近似した基準文字との分離精度を高めることができ、ひいては認識結果に対する信頼性を高めることができる。
Further, in the case where the determination cannot be made in step S5 of FIG. 2 described above, a step (
Similarly, in the separation processing step (step S7 in FIG. 2), the characters that could not be discriminated (recognition target) are output to the
[他の実施形態]
また、上述した分離条件格納部13jでは、数字「0(ゼロ)」とアルファベット文字「O(オー)」と、類似度が近似する2つの候補文字での分離評価を行ったが、3つの候補文字等、数字「6」と「8」とアルファベット文字「B」の類似度が近似した候補文字の計算式も格納されている。例えば、図15に示すように、5×5分割された領域の右上の値DA'、その下の値DB'、中央の値DC'、左下の値DD'を用いて、図16(a)に示す計算式で分離評価値を算出する(図11のステップS11)。この分離評価値は、候補文字「6」で小さくなる一方、候補文字「B」で大きくなる。そこで、判別論理を図16(b)及び図16(c)に示すようにする(図11のステップS12)。図16(b)中のK1'及びK2'は、分離評価閾値であり、実験的に求めることが可能である。K1'とK2'に挟まれた範囲にあるときは、候補文字「8」と判定する。
[Other Embodiments]
Further, in the separation condition storage unit 13j described above, the separation evaluation is performed with the number “0 (zero)” and the alphabet character “O (o)”, and two candidate characters that are similar in degree of similarity. Also stored are calculation formulas of candidate characters, such as characters, in which the similarity between the numbers “6” and “8” and the alphabet character “B” is approximate. For example, as shown in FIG. 15, using the value DA ′ at the upper right of the region divided by 5 × 5, the value DB ′ below it, the value DC ′ at the center, and the value DD ′ at the lower left, FIG. The separation evaluation value is calculated using the calculation formula shown in FIG. 11 (step S11 in FIG. 11). The separation evaluation value decreases with the candidate character “6”, but increases with the candidate character “B”. Therefore, the discrimination logic is as shown in FIGS. 16B and 16C (step S12 in FIG. 11). K1 ′ and K2 ′ in FIG. 16B are separation evaluation threshold values and can be obtained experimentally. If it is within the range between K1 ′ and K2 ′, it is determined as a candidate character “8”.
このように、特徴抽出ステップ(図2のステップS3)で外接矩形領域(図6でいう一点鎖線に囲まれた領域内)を、5×5の領域に分割した後、分離処理ステップ(図2のステップS7)において、分割領域にある少なくとも二以上(図13ではA〜Fの6個、図15ではA〜Dの4個))の別の特徴量を抽出する(分離評価値を求める)こととしたので、分割する領域数を調整することで、精度調整が可能になる。たとえば、図13でいうとEとFはなくても分離評価値を求めることもできるが、EとFがあった方が、数字「0(ゼロ)」とアルファベット文字「O(オー)」の違いがはっきりし(fxの値に差がつく)、より精度を高めることができる。 As described above, after the circumscribed rectangular area (in the area surrounded by the one-dot chain line in FIG. 6) is divided into 5 × 5 areas in the feature extraction step (step S3 in FIG. 2), the separation processing step (FIG. 2). In step S7), at least two or more other feature quantities (six A to F in FIG. 13, four A to D in FIG. 15) in the divided region are extracted (separation evaluation values are obtained). As a result, the accuracy can be adjusted by adjusting the number of areas to be divided. For example, in FIG. 13, the separation evaluation value can be obtained without E and F, but the numbers “0 (zero)” and the alphabet letter “O (o)” are present when E and F are present. The difference is clear (the value of fx is different), and the accuracy can be further improved.
また、本実施形態では、再二値化処理(図2のステップS6及び図11のステップS13)を行う際、類似度が改善されるように再二値化のための二値化閾値を変化させることとしたが、たとえば判定された全ての文字に関する類似度の基本統計量を算出し、その算出された基本統計量に基づいて、再二値化処理を行ってもよい。すなわち、本実施形態における文字認識方法は、第一の文字判定ステップに基づいて、判定された全ての文字に関する類似度の基本統計量を算出する基本統計量算出ステップと、この基本統計量算出ステップで算出された基本統計量に基づいて、二値化処理を行う再二値化処理ステップと、を含むことにより、基本統計量を用いて最適な二値化閾値を設定した上で再二値化処理を行うことができ、認識結果に対する信頼性をより高めることができる。ここでいう基本統計量とは、たとえば類似度の総数、最大値、最小値、平均値、標準偏差などである。基本統計量として最小値を採用した場合には、最小値が大きくなるように変更していき、基本統計量として分散や標準偏差を採用した場合には、これらが小さくなるように変更していく。このようにして、基本統計量が改善するように閾値を変更すれば、分離評価値による認識対象文字1個1個の精度向上に加え、文字列全体を考えた際の精度向上に大きく貢献することができる。 In the present embodiment, when the re-binarization process (step S6 in FIG. 2 and step S13 in FIG. 11) is performed, the binarization threshold for re-binarization is changed so that the similarity is improved. However, for example, a basic statistic of similarity regarding all the determined characters may be calculated, and the re-binarization process may be performed based on the calculated basic statistic. That is, the character recognition method according to the present embodiment includes a basic statistic calculating step for calculating a basic statistic of similarity for all determined characters based on the first character determining step, and the basic statistic calculating step. And re-binarization processing step for performing binarization processing based on the basic statistic calculated in step (2), and setting an optimal binarization threshold using the basic statistic Processing can be performed, and the reliability of the recognition result can be further improved. The basic statistics here are, for example, the total number of similarities, the maximum value, the minimum value, the average value, the standard deviation, and the like. When the minimum value is adopted as the basic statistic, the minimum value is changed. When the variance or standard deviation is adopted as the basic statistic, the values are changed so as to be reduced. . In this way, if the threshold value is changed so that the basic statistic is improved, in addition to improving the accuracy of each character to be recognized based on the separation evaluation value, it greatly contributes to improving the accuracy when considering the entire character string. be able to.
また、類似度の基本統計量に基づいて、再二値化処理を繰り返すことで、再二値化する際の二値化閾値を適切に設定することができ、文字認識の効率化に貢献することができる。 Also, by repeating the re-binarization process based on the basic statistic of similarity, it is possible to appropriately set a binarization threshold for re-binarization, contributing to the efficiency of character recognition. be able to.
なお、本実施形態では、1次元撮像素子11,リニア搬送機構を用いることとしたが、本発明はこれらに限定されるものではない。例えば、2次元CCDやCMOSイメージャなどのエリアセンサと被写体支持機構との組み合わせでもよい。また、認識対象としては、活字文字だけでなく、手書き文字にも適用できる。また、文字認識に留まらず、1D及び2Dバーコードの復号などにも応用することができる。
In the present embodiment, the one-
本発明に係る文字認識方法及び文字認識装置は、文字認識の信頼性を高めるものとして有用である。 The character recognition method and the character recognition device according to the present invention are useful for enhancing the reliability of character recognition.
1 文字認識装置
2 記録媒体
11 撮像素子
12 画像メモリ
13 データ処理部
13a 二値化処理部
13b 文字切出し部
13c 特徴抽出部
13d 文字認識部
13e 特徴辞書格納部
13f 判定部
13g 再二値化処理部
13h 分離処理部
13i 文字出力部
13j 分離条件格納部
DESCRIPTION OF
Claims (3)
二値化された画像データから認識対象文字を含む領域を求める文字切出しステップと、
前記領域にある認識対象文字の特徴ベクトルを抽出する特徴抽出ステップと、
前記特徴抽出ステップで抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出する類似度算出ステップと、
前記類似度算出ステップで算出した複数の類似度を類似度閾値と比較して候補文字を判定する第一の文字判定ステップと、
前記第一の文字判定ステップに基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求める分離処理ステップと、
前記分離評価値それぞれを分離評価閾値と比較して候補文字を判定する第二の文字判定ステップと、を含むことを特徴とする文字認識方法。 A binarization processing step for binarizing image data obtained by imaging a medium;
A character extraction step for obtaining an area including a recognition target character from the binarized image data;
A feature extraction step of extracting a feature vector of a recognition target character in the region;
Comparing the feature vector extracted in the feature extraction step with each given reference feature vector for each of a plurality of reference characters, and calculating a similarity with each reference feature vector;
A first character determination step of determining candidate characters by comparing a plurality of similarities calculated in the similarity calculation step with a similarity threshold;
Based on the first character determination step, when there are a plurality of candidate characters, a separation processing step for obtaining a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character;
A character recognition method comprising: a second character determination step of determining candidate characters by comparing each of the separation evaluation values with a separation evaluation threshold value.
二値化された画像データから認識対象文字を含む領域を求める文字切出し部と、
前記領域にある認識対象文字の特徴ベクトルを抽出する特徴抽出部と、
前記特徴抽出部で抽出した特徴ベクトルを複数の基準文字ごとに所与の基準特徴ベクトルそれぞれと比較し、各基準特徴ベクトルとの類似度を算出する文字認識部と、
前記文字認識部で算出した複数の類似度を類似度閾値と比較して候補文字を判定する判定部と、
前記判定部に基づいて、候補文字が複数であった場合に、これら複数の候補文字それぞれと前記認識対象文字と分離評価する分離評価値を求めるとともに、前記分離評価値それぞれを分離評価閾値と比較して候補文字を判定する分離処理部と、を備えたことを特徴とする文字認識装置。 A binarization processing unit that binarizes image data obtained by imaging a medium;
A character cutout unit for obtaining an area including a recognition target character from the binarized image data;
A feature extraction unit for extracting a feature vector of a recognition target character in the region;
A character recognition unit that compares the feature vector extracted by the feature extraction unit with each given reference feature vector for each of a plurality of reference characters, and calculates a similarity to each reference feature vector;
A determination unit that determines a candidate character by comparing a plurality of similarities calculated by the character recognition unit with a similarity threshold;
Based on the determination unit, when there are a plurality of candidate characters, a separation evaluation value for separating and evaluating each of the plurality of candidate characters and the recognition target character is obtained, and each of the separation evaluation values is compared with a separation evaluation threshold value. And a separation processing unit for determining candidate characters.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010130613A JP5630689B2 (en) | 2010-06-08 | 2010-06-08 | Character recognition method and character recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010130613A JP5630689B2 (en) | 2010-06-08 | 2010-06-08 | Character recognition method and character recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011257896A true JP2011257896A (en) | 2011-12-22 |
JP5630689B2 JP5630689B2 (en) | 2014-11-26 |
Family
ID=45474031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010130613A Expired - Fee Related JP5630689B2 (en) | 2010-06-08 | 2010-06-08 | Character recognition method and character recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5630689B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033205A (en) * | 2015-07-31 | 2017-02-09 | 富士通フロンテック株式会社 | Description contents recognition system, description contents recognition method, and description contents recognition program |
CN109978078A (en) * | 2019-04-10 | 2019-07-05 | 厦门元印信息科技有限公司 | Font copyright detection method, medium, computer equipment and device |
CN111783765A (en) * | 2020-07-10 | 2020-10-16 | 上海淇毓信息科技有限公司 | Method and device for identifying image characters and electronic equipment |
CN112699886A (en) * | 2020-12-30 | 2021-04-23 | 广东德诚大数据科技有限公司 | Character recognition method and device and electronic equipment |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019164654A2 (en) | 2018-02-02 | 2019-08-29 | Westinghouse Electric Company Llc | Nuclear fuel failure protection method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53118943A (en) * | 1977-03-28 | 1978-10-17 | Hitachi Ltd | Pattern recognition unit |
JP2010123090A (en) * | 2008-11-23 | 2010-06-03 | Nidec Sankyo Corp | Method and device for recognizing character string |
-
2010
- 2010-06-08 JP JP2010130613A patent/JP5630689B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53118943A (en) * | 1977-03-28 | 1978-10-17 | Hitachi Ltd | Pattern recognition unit |
JP2010123090A (en) * | 2008-11-23 | 2010-06-03 | Nidec Sankyo Corp | Method and device for recognizing character string |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033205A (en) * | 2015-07-31 | 2017-02-09 | 富士通フロンテック株式会社 | Description contents recognition system, description contents recognition method, and description contents recognition program |
CN109978078A (en) * | 2019-04-10 | 2019-07-05 | 厦门元印信息科技有限公司 | Font copyright detection method, medium, computer equipment and device |
CN109978078B (en) * | 2019-04-10 | 2022-03-18 | 厦门元印信息科技有限公司 | Font copyright detection method, medium, computer equipment and device |
CN111783765A (en) * | 2020-07-10 | 2020-10-16 | 上海淇毓信息科技有限公司 | Method and device for identifying image characters and electronic equipment |
CN111783765B (en) * | 2020-07-10 | 2024-03-22 | 上海淇毓信息科技有限公司 | Method and device for recognizing image characters and electronic equipment |
CN112699886A (en) * | 2020-12-30 | 2021-04-23 | 广东德诚大数据科技有限公司 | Character recognition method and device and electronic equipment |
CN112699886B (en) * | 2020-12-30 | 2024-06-11 | 广东德诚科教有限公司 | Character recognition method and device and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5630689B2 (en) | 2014-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5334042B2 (en) | Character string recognition method and character string recognition apparatus | |
JP5591578B2 (en) | Character string recognition apparatus and character string recognition method | |
CN103914858B (en) | Document Image Compression Method And Its Application In Document Authentication | |
US9158986B2 (en) | Character segmentation device and character segmentation method | |
US7949187B2 (en) | Character string recognition method and device | |
CN102982330B (en) | Character identifying method and identification device in character image | |
US8462394B2 (en) | Document type classification for scanned bitmaps | |
JP6268023B2 (en) | Character recognition device and character cutout method thereof | |
KR20070081410A (en) | Detection system of two dimensional code and detection program thereof | |
JP6487255B2 (en) | Character cutout device, character recognition device, and character cutout method | |
US9251430B2 (en) | Apparatus, method, and program for character recognition using minimum intensity curve of image data | |
JP4945739B2 (en) | Character string recognition method and character string recognition apparatus | |
JP5630689B2 (en) | Character recognition method and character recognition device | |
US8200016B2 (en) | Method and apparatus for character string recognition | |
KR100726473B1 (en) | Apparatus for classifying an image and method therefor | |
CN116469090A (en) | Method and device for detecting code spraying pattern, electronic equipment and storage medium | |
JP5041775B2 (en) | Character cutting method and character recognition device | |
JP2007060417A (en) | Pattern recognition method | |
JP6144892B2 (en) | Image processing apparatus, image processing method, and program | |
KR101070051B1 (en) | recognition method of unchangeability field in dotpattern. | |
JP6039944B2 (en) | Form type discriminating apparatus and form type discriminating method | |
Choudhary et al. | An efficient algorithm for characters recognition of printed oriya script | |
JPH0877293A (en) | Character recognition device and generating method for dictionary for character recognition | |
JPH05166010A (en) | Character siegmenting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5630689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |