JP4160206B2 - Database registration method using character recognition device - Google Patents

Database registration method using character recognition device Download PDF

Info

Publication number
JP4160206B2
JP4160206B2 JP17302499A JP17302499A JP4160206B2 JP 4160206 B2 JP4160206 B2 JP 4160206B2 JP 17302499 A JP17302499 A JP 17302499A JP 17302499 A JP17302499 A JP 17302499A JP 4160206 B2 JP4160206 B2 JP 4160206B2
Authority
JP
Japan
Prior art keywords
character recognition
character
data
processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17302499A
Other languages
Japanese (ja)
Other versions
JP2001005804A (en
Inventor
省三 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP17302499A priority Critical patent/JP4160206B2/en
Publication of JP2001005804A publication Critical patent/JP2001005804A/en
Application granted granted Critical
Publication of JP4160206B2 publication Critical patent/JP4160206B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)
  • Character Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、たとえば、郵便書状上の文字を認識する文字認識における文字認識アルゴリズムの評価に使用する正解データを文字認識装置を利用してデータベースに登録する文字認識装置を利用したデータベース登録方法に関する。
【0002】
【従来の技術】
近年、コンピュータやインターネットなどの普及により、各種の情報をデータベース化して利用するようなシステムが開発されている。このようなデータベースの活用形態として、各種開発における評価・分析を行なうためにデータベースを構築することが一般化してきている。たとえば、文字認識装置におけるアルゴリズムの開発において、性能評価の基準となる正解データとの比較によって、該アルゴリズムの評価・分析を行なうことで、開発効率の向上を図ろうとしている。
【0003】
該文字認識装置の対象となるものとして、たとえば、郵便書状に記載された文字情報を読取る場合を考えた場合、大量の郵便書状の正解データをデータベースに登録する際には、従来、1枚1枚の郵便書状のイメージデータを読取り、表示装置に表示したものをオペレータが目で見て、所定の読取領域の文字コードを正解データとしてキーボードから入力していた。
【0004】
また、文字認識の高度化に伴って、最終段の認識文字コードの評価に加えて、記載文字列を文字単位に検出切出し(以後、検切と略称する)する処理のアルゴリズム評価が重要になってきている。
【0005】
このことを考慮して、該文字認識装置の対象となるものとして、たとえば、郵便書状に記載された文字情報を読取る場合を考えた場合、文字認識処理の前段の処理である検切処理のアルゴリズム評価を行なうための、記載文字枠(領域、文字枠)の正解とする座標データが必要になってくる。
【0006】
従来、正解とする座標データをデータベースに登録する際には、1枚1枚の郵便書状のイメージデータを読取り、表示装置に表示したものをオペレータが目で見ながら、マウスなどのポインティング装置で1領域ずつ、または、1文字ごとに該文字枠の座標データを正解座標データとして入力していた。
【0007】
【発明が解決しようとする課題】
しかしながら、人手による大量のデータ入力作業は、オペレータの疲労度を増大するとともに、それに伴って作業効率が低下し、かつ、データ入力ミスの増大につながり、期待する量の正解データを収集することが困難になるといった課題があった。
【0008】
そこで、本発明は、文字認識アルゴリズムの評価に使用する正解データをデータベースに登録する作業において、より正確に、かつ、時間をかけずにデータ入力を行なうことができ、その結果、データ入力の疲労度を軽減した効率的なデータベースへの登録が可能となる文字認識装置を利用したデータベース登録方法を提供することを目的とする。
【0009】
また、本発明は、文字認識アルゴリズムの評価に使用する記載文字の正解座標データをデータベースに登録する作業において、より正確に、かつ、時間をかけずにデータ入力を行なうことができ、その結果、データ入力の疲労度を軽減した効率的なデータベースへの登録が可能となる文字認識装置を利用したデータベース登録方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明の文字認識装置を利用したデータベース登録方法は、文字の自動認識における文字認識アルゴリズムの性能評価に使用する用紙上に記載された文字の領域の座標データを正解座標データとしてデータベースに登録する文字認識装置を利用したデータベース登録方法において、データベースに登録する定形化された用紙上のデータをデータ収集部により読取って収集するデータ収集ステップと、このデータ収集ステップにより収集したデータに対して、当該収集したデータに対して記載文字領域の検出切出しを行なう記載文字領域検切抽出部およびこの記載文字領域検切抽出部により検出切出しされた記載文字領域に対し文字認識を行なう文字認識部を有して構成される文字認識装置を用いて文字認識処理を行ない、その文字認識過程において記載文字領域の抽出候補等の処理履歴情報を出力する文字認識処理ステップと、この文字認識処理ステップにより出力される文字認識過程における処理履歴情報から得られる記載文字領域の抽出候補に対して、対話処理部でその記載文字領域の抽出候補を前記データ収集ステップにより収集されたデータとともに表示しながらオペレータが対話的に行なう処理操作に基づき正解座標データ教示部により前記正解座標データを生成する正解座標データ生成ステップと、この正解座標データ生成ステップにより生成された正解座標データに対してタグ付け処理部により文字認識すべき読取単位ごとにタグ情報を付加し、このタグ情報を付加した正解座標データをデータベースに登録するタグ付け処理ステップとを具備している。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0026】
まず、第1の実施の形態について説明する。
【0027】
図1は、一般的なデータベース登録システムの例を説明したものである。郵便書状を表示装置に表示したイメージをオペレータが目視して、該郵便書状上の認識すべき各領域ごとの文字コードをキーボードから入力することによって、正解教示部1で処理を施し、該認識領域ごとのタグ付け処理をタグ付け処理部2で行なった後、データベース3に登録するものである。
【0028】
図2は、文字認識アルゴリズムの性能向上のために、通常、開発される文字認識シミュレータの環境を説明したものである。データ収集部4では、文字認識シミュレータ5の認識対象とするデータシートに記された文字データのイメージ情報を収集する。たとえば、郵便書状の場合、文字認識アルゴリズムの性能評価のために大量の枚数の郵便書状データが必要となり、専用のハードウェアで該イメージデータを収集蓄積する。
【0029】
文字認識シミュレータ5は、データ収集部4で収集したイメージデータを読込み、文字認識アルゴリズムを組込んだハードウェアロジックで文字認識処理を行ない、その認識結果は処理結果分析処理部6で分析処理される。ここで、分析処理するために、文字認識過程の各処理ブロックごとのログ情報を中間情報の形で保存している。
【0030】
図3は、第1の実施の形態に係る文字認識装置を利用したデータベース登録システムの構成を概略的に説明したものである。本システムの基本的な構成は、図1および図2の各構成要素を組合わせたものとなっており、以下、詳細に説明する。
【0031】
データ収集部11は、現場でのデータ収集が可能であり、郵便書状のイメージ収集とともに各種収集条件用のファイルがハードディスク装置に蓄積される。文字認識シミュレータ12は、データ収集部11のハードディスク装置に蓄積された郵便書状のイメージデータを入力として文字認識アルゴリズムのシミュレーションを行ない、その認識結果を処理結果分析処理部13に転送するとともに、正解教示部14に転送する。
【0032】
正解教示部14では、対話処理部15からオペレータによる入力データと文字認識シミュレータ12の認識結果を受取り、正解教示処理を行なうことにより正解データを生成し、タグ付け処理部16に転送する。正解教示処理の詳細については後で説明を行なう。タグ付け処理部16は、正解教示部14からの正解データに対して文字認識すべき読取領域ごとのタグ情報を付加し、そのタグ情報を付加した正解データをデータベース17に登録する。
【0033】
処理結果分析処理部13は、その処理結果のうち必要なデータをデータベース17に登録することも可能である。
【0034】
図4は、郵便書状上の文字認識を行なう場合の各領域例を示したものである。郵便書状上の文字を認識する文字認識アルゴリズムでは、読取領域ごとに各種属性情報を基に専用のアルゴリズムで認識させることで、全体の認識率を向上させるようになっている。
【0035】
たとえば、郵便書状の上方の数字列の領域として郵便番号領域R1の内容である「210−0915」と、その座標データ(X5,Y5)/(X6,Y6)、複数行にわたる住所領域R2の内容である「川崎市幸区柳町/50−2番地」と、その座標データ(X1,Y1)/(X2,Y2)、宛名領域R3の内容である「東京太郎様」と、その座標データ(X3,Y3)/(X4,Y4)、などの領域を別々に抽出して各領域内の認識アルゴリズムで認識するものである。文字認識結果は、各領域ごとに認識結果の信頼性情報などを文字認識シミュレータ12が出力する結果ファイルから取得することができる。
【0036】
図5は、タグ付けの例を説明したものである。図4で説明した郵便書状上の各領域ごとにタグ名を付けたものである。たとえば、「210−0915」のタグ名は「郵便番号文字列」、「川崎市幸区柳町」のタグ名は「宛名町名文字列」、「50−2番地」のタグ名は「宛名街区文字列」、といった具合にタグ名を付ける。これによって、データベース17へのデータ登録を自動化することができる。
【0037】
ちなみに、住所領域を「宛名町名文字列」と「宛名街区文字列」の2つに分けた理由としては、実システムでの文字認識結果の信頼性の違いによるものである。すなわち、「宛名街区文字列」の内容の文字認識結果の信頼性は、「宛名町名文字列」の内容の文字認識結果の信頼性に比べると低くなる傾向がある。このため、データベース17へのデータの自動登録において、該データを分けることによって、より効率的に操作することが可能となる。
【0038】
図6は、文字認識シミュレータ12の一般的な機能ブロック図を説明したものである。イメージ入力部21は、郵便書状の画像をシステム側にデジタルデータとして入力する。通常、文字認識シミュレータ12と独立した装置で、該データはハードディスク装置などに蓄積され、必要に応じて文字認識シミュレータ12の入力データとするものである。
【0039】
検切り処理部22は、領域(行)検切り処理部23と文字検切り処理部24とから構成される。文字認識処理部25は、検切り処理部22での検切り処理によって候補として文字領域ごとに抽出した領域に対して文字認識処理を行なう。その際、辞書部26に辞書として蓄積している情報とマッチング処理を行なうことにより、最終的に文字認識結果を文字コードとして出力するものである。
【0040】
以上説明したように、各処理ブロックでの処理はログデータとして保持され、文字認識結果の分析に利用されるものである。たとえば、ログデータの中には候補データから答えとして選択した状況情報が蓄積されており、本実施の形態では、この情報を有効に活用しようとするものである。
【0041】
図7は、文字認識結果を表示装置に表示して、編集や結果内容の確認を行なう操作について説明したものである。操作画面の左上方のイメージ表示領域E1には、郵便書状のイメージが表示されている。画面右側のタグ名表示領域E2にはタグ名が一覧表示され、その更に右側のタグ名内容表示領域E3にはタグ名の内容が一覧表示されている。
【0042】
ここで、タグ名の内容、すなわち、文字認識した結果コードを表示するわけであるが、該認識の信頼性情報を使って、認識の信頼性が高いデータについては、通常の表示を行ない、認識の信頼性が設定閾値よりも低いデータについては、点滅表示などを行なっている。これにより、オペレータは、この時点で画面左側の郵便書状イメージ表示をみながら、修正編集を行なうことが可能となる。たとえば、タグ名が「宛名街区文字列」の内容である「50−2番地」の表示部R11が点滅表示になった場合、オペレータは、郵便書状イメージの対応する領域を見て、結果を認識する。もし間違っていれば、この段階で、「宛名街区文字列」の内容である「50−2番地」の表示部R11を修正することになる。また、確認をよりしやすくするために、郵便書状イメージの対応する領域を矩形で表示するなどの処理方法は色々と考えることができる。
【0043】
以上説明したことでもわかるように、この画面上での操作では、文字認識シミュレータ12で自動的に処理した結果データを第1候補として表示することによって、オペレータは、従来から行なっているような郵便書状を見ながら、最初からデータを入力する必要がなく、確認を行ない、認識不能で文字コードが表示されない項目や認識の信頼性が低いデータ項目にのみ注力して確認する編集操作とすることができるので、データ入力効率は格段に向上するものと考えられる。
【0044】
図8は、上述したデータベース登録処理の流れの概要を説明したものである。まず、最初に、郵便書状データのイメージを取込み(S1)、該イメージ画像を表示装置に表示しておく(S2)。一方、該イメージ画像は、文字認識シミュレータ12によって自動認識され(S3)、その文字認識結果を図7で示した操作画面上に表示する(S4)。
【0045】
その後、オペレータによる認識結果の確認、または、修正の処理を行なった後(S5)、郵便書状上の各領域ごとに認識した結果コードに対してタグ付け処理し(S6)、そのタグ内容に沿ってデータベース17へのタグ情報の登録処理を行なう(S7)。
【0046】
文字認識シミュレータ12に入力する郵便書状のイメージは、通常、各種シミュレーション条件などによって数千枚単位で処理されるため、ステップS8で処理枚数のチェックを行なっている。
【0047】
なお、上記説明では、認識確度の高くない文字認識について、認識結果の文字情報領域を点滅させるなどしてオペレータに容易に気付くようにしているが、同時に、文字認識処理を行なった文字領域を表示しているイメージ上で座標データを使って矩形で示すこともできる。たとえば、宛名街区文字コードの認識結果の認識確度が低い場合、表示装置の画面上の該当する文字コード部分を反転表示させたり、点滅させたりする表示を行なうとともに、郵便書状のイメージを表示している領域に座標データに基づいた矩形を同様に反転、点滅、もしくは、矩形色を変えたりして表示することにより、オペレータに容易に気付かせるようにすることができる。さらに、郵便書状イメージの表示を拡大表示させて文字行、または文字列間の検切り処理の評価に利用することも可能である。
【0048】
以上説明したように第1の実施の形態によれば、以下のような作用効果が期待できる。すなわち、文字認識開発環境においては、通常、大量のデータによる認識アルゴリズムの実証性能向上を目的として、文字認識シミュレータを同時に開発している。この文字認識シミュレータを活用して、該認識結果の文字コード情報をデータベースに登録する。勿論、文字認識シミュレータで認識した文字コード情報は、100%正しく認識することはほとんどないため、該認識結果は、従来の正解教示処理の環境でデータ入力を行なうオペレータが修正できるように、該認識結果を第1候補データとして表示装置に表示する形としている。これによって、オペレータは、イメージデータを見ながら最初から正解の文字コードを入力する必要がないので、格段にデータ入力の効率が高まる。
【0049】
また、文字認識シミュレータが出力する情報は、認識過程の処理の状況データを保持しているので、認識結果の信頼度を知ることができる。該信頼情報は、認識結果の文字コードを第1候補として表示装置に表示する際に、認識結果の信頼度の重み付けの属性情報として、たとえば、確実に認識していれば青色で表示し、確信が持てない認識結果であれば黄色で表示し、また、認識できない領域は赤色で表示するなどの処理を施すことができるので、さらに、オペレータの疲労度を軽減させることができるといった効果がある。
【0050】
次に、第2の実施の形態について説明する。
【0051】
図9は、第2の実施の形態に係る文字認識装置を利用したデータベース登録システムの構成を概略的に説明したものである。
【0052】
データ収集部31は、現場でのデータ収集が可能であり、郵便書状のイメージ収集とともに各種収集条件用のファイルがハードディスク装置に蓄積される。文字認識シミュレータ32は、データ収集部31のハードディスク装置に蓄積された郵便書状のイメージデータを入力として文字認識アルゴリズムのシミュレーションを行ない、その認識結果である文字認識コードは、図示しない他のシステムの入力情報となる。
【0053】
文字認識シミュレータ32は、書状画像入力部33、記載文字領域検切抽出部34、および、文字認識部35の各処理モジュールで構成されており、これら各処理モジュールでの処理履歴情報は、処理履歴情報蓄積部(ログファイル)36に1つのログファイルとして出力され、蓄積される。
【0054】
書状画像データベース37は、データ収集部31によって収集された郵便書状画像のデータベースである。蓄積媒体としては、通常、CD−ROMで保存さている。対話処理部38は、書状画像データベース37からの書状画像を操作管理して、GUI(グラフィカル・ユーザ・インタフェイス)表示部39に表示する。
【0055】
正解座標データ教示部40は、対話処理部38の操作管理によってGUI表示部39に表示された書状画像に対して、処理履歴情報蓄積部36内の処理履歴情報に基づき正解座標データを生成し、タグ付け処理部41に転送する。正解教示処理の詳細については後で説明を行なう。タグ付け処理部41は、正解座標データ教示部40からの正解座標データに対して文字認識すべき読取領域ごとのタグ情報を付加し、そのタグ情報を付加した正解座標データを書状属性データベース42に登録する。
【0056】
書状属性データベース42に登録された正解座標データは、文字認識シミュレータ32の入力データとして使用され、文字認識処理の前段の記載文字領域の検切処理アルゴリズムの評価を行なうことが可能となる。
【0057】
図10は、各文字記載領域の特性に沿った文字検切処理を行なうために、各領域属性アイコンによる操作を説明するためのもので、文字認識シミュレータにおける処理履歴情報のログ情報を利用して、各文字記載領域の抽出候補を書状画像上に表示したものである。すなわち、操作画面の書状イメージ表示領域E4内に郵便番号領域候補R21、住所領域候補R22、氏名領域候補R23,R24をそれぞれ矩形表示したものである。
【0058】
図10において、操作画面の書状イメージ表示領域E4の右側には、各抽出領域として、郵便番号領域を示すアイコンA1、住所領域/横を示すアイコンA2、住所領域/縦を示すアイコンA3、氏名領域を示すアイコンA4、その他のアイコンが用意されている。オペレータは、マウスなどの位置指定装置を用いて、該アイコンを表示イメージ上の対応する抽出領域上に移動させ、確定することによって、各抽出領域の属性を決定することができるようになっている。
【0059】
すなわち、郵便番号領域アイコンA1は表示枠領域R21に、住所領域/縦アイコンA3は表示枠領域R22に、氏名領域アイコンA4は表示枠領域R23に移動して確定する。ここで、氏名領域候補R24は、領域R25の広告イメージの影響を受けて、氏名領域として誤った領域を抽出しており、オペレータは、それを判断して、氏名領域アイコンA4を領域R23に移動して確定したものである。なお、位置指定装置としては、マウスの他にタッチパネルによる直接指定による方法によることも可能である。
【0060】
図11は、各記載文字領域に対応したアイコンと関連する属性情報の内容を説明したものである。たとえば、郵便番号領域の属性情報として、横書き、数字文字、記載枠ありといった情報を使って、この属性情報に応じた記載文字の検切り処理を行なうことができる。
【0061】
また、住所領域の属性情報として、縦書き、印活文字(印刷活字文字)、複数行ありといった情報を使って、この属性情報に応じた記載文字の検切り処理を行なうことができる。因みに、操作画面の右側には、横書き用の住所領域アイコンA2も準備されているが、この場合は縦書きの住所領域アイコンA3を用いたことになる。
【0062】
このような処理により、各領域内の属性情報に応じた検切り処理により、高性能で、かつ、安定した記載文字の検切り処理による各記載文字の正解座標データを得ることができる。勿論、上記各領域内での文字ごとの検切り処理アルゴリズムは、文字認識シミュレータで使用している方法で行なうものである。
【0063】
類似書状の例としては、ダイレクトメール書状が考えられている。こういったダイレクトメール書状は、住所情報の書き方が統一されているため、その類似性をイメージとしてチェックすることが可能である。また、ダイレクトメール書状の特性として、住所領域外にはユニークにデザインされたものが多い。こういったイメージの類似性をチェックすることも充分考えられる。
【0064】
図12は、こういったダイレクトメール書状などに対する類似性のパターン例を説明したものである。図12において、領域P1はダイレクトメール書状などでよく用いられるラベルを使った住所、宛名を記載した例である。該ラベル内には、郵便番号、住所、宛名といった情報が全部、同じラベル内に記載されており、該ラベル枠サイズ情報も利用して、類似性をチェックすることができる。
【0065】
また、図12において、領域P2は、ダイレクトメール書状の住所記載領域外に、よく用いられる広告ロゴマークの例を示している。該広告ロゴマーク領域をイメージとして捉え、その類似性をチェックすることで、同種類のダイレクトメール書状と判断することが可能である。
【0066】
図13は、郵便書状イメージの類似性をチェックして、似ている書状は一括して正解座標データとして自動的に取得し、データベース登録することを説明したものである。
【0067】
図13において、まず、ステップS11にて書状の類似性をチェックする。ここでは、図12で説明した方法で、その書状の類似性をチェックする。なお、類似書状の対象とする書状パターンデータは、書状パターンのテンプレートデータ(記憶部)43にあらかじめテンプレートの形で登録しておく。
【0068】
ステップS11での類似性のチェックの結果、類似度が設定値を越えた書状については、類似性の高いテンプレートデータに付随している各種処理パラメータを使って自動的に各正解座標データを取得する(S12)。
【0069】
一方、ステップS11での類似性のチェックの結果、類似度が設定値以下の書状については、図10で説明した形で、正解座標データ取得のための対話的処理操作を行なう。以下、それについて詳細に説明する。
【0070】
まず、処理履歴情報蓄積部36に蓄積されている文字認識処理過程の処理履歴情報の中に存在している各記載文字領域ごとの抽出領域候補情報を使用して、その結果を書状イメージを表示している操作画面上に抽出矩形として表示する処理を行なう(S13)。その後、対応する各記載文字領域に対応したアイコンをGUI操作することにより、その属性を決定する(S14)。
【0071】
次に、各記載文字領域に割り当てられたアイコンにリンクした抽出領域に依存した属性情報を使って、文字単位の検切り処理を行なう(S15)。これにより、各記載文字領域の特性にあった最適な文字検切り処理を行なうことができる。次に、該抽出した各記載文字領域の正解座標データは、書状属性データベース42内での複数の属性情報を識別するために、正解座標データとして、たとえば、郵便番号領域、住所領域、氏名領域などといった各識別タグ名を付加することによって、自動処理により書状属性データベース42に登録を行なう(S16)。
【0072】
図14は、郵便書状のイメージを説明したもので、郵便書状上の文字認識を行なう場合の各文字記載領域を示している。郵便書状上の文字を認識する文字認識アルリゴズムでは、読取領域ごとに各種属性情報を基に専用のアルゴリズムで認識させることで、全体の文字認識率を向上させる。
【0073】
たとえば、郵便書状上方の数字列の領域として郵便番号領域R21の内容である「210−0915」と、その座標データ(X5,Y5)/(X6,Y6)、複数行にわたる住所領域R22の内容である「川崎市幸区柳町/50−2番地」と、その座標データ(X1,Y1)/(X2,Y2)、宛名領域R23の内容である「東京太郎様」と、その座標データ(X3,Y3)/(X4,Y4)、などの領域を別々に抽出して、各領域内の認識アルゴリズムで文字認識するものである。文字認識結果は、各領域ごとに認識結果の信頼性情報などを文字認識シミュレータ32が出力する結果ファイルから取得することができる。
【0074】
図15は、各記載文字領域の正解座標データに対するタグ付けの例を説明したものであり、図14で説明した郵便書状上の各領域ごとにタグ名を付けたものである。たとえば、「210−0915」の正解座標データのタグ名は「郵便番号座標」、「川崎市幸区柳町50−2番地」の正解座標データのタグ名は「住所座標」、「東京太郎様」の正解座標データのタグ名は「氏名座標」、といった具合にタグ名を付ける。これによって、書状属性データベース42へのデータ登録を自動化することができる。
【0075】
なお、図9に示す書状属性データベース42には、複数の種類の属性情報が構造を持って登録されており、該正解座標データはその1つの属性情報である。この正解座標データを識別するためにタグ名を定義するものである。
【0076】
以上説明したように第2の実施の形態によれば、以下のような作用効果が期待できる。すなわち、文字認識開発環境においては、通常、大量のデータによる認識アルゴリズム、および、その前段である記載文字領域、および、記載文字の検切り処理アルゴリズムの実証性能向上を目的として、文字認識シミュレータを同時に開発している。この文字認識シミュレータは、文字入力、検切り処理、認識処理の過程の各情報をログ情報ファイルとして蓄積している。この文字認識シミュレータを活用して、該記載文字領域、および、記載文字抽出矩形情報、すなわち、抽出矩形を示す座標データの情報をデータベースに登録する。勿論、記載文字領域、記載文字を抽出する矩形座標データは、100%正しく抽出されることはほとんどないため、該抽出座標データは、前述した対話処理による方法を加味することにより、オペレータは書状画像を見ながら、最初から正解座標データを一々生成していく必要がないので、格段に正解座標データ生成の効率が向上するものである。
【0077】
また、たとえば、ダイレクトメール書状などは同じ書状形式と考えられる。このような書状形式が似たものに対して、書状画像の類似性をチェックして、似ている書状については、あらかじめ設定したテンプレート情報を使用することによって、一括して大量の書状の正解座標データを自動的に取得するようにしているので、さらに正解座標データ生成の効率向上を図ることができ、かつ、オペレータの疲労度を極めて軽減させることができるといった効果がある。
【0078】
【発明の効果】
以上詳述したように本発明によれば、文字認識アルゴリズムの評価に使用する正解データをデータベースに登録する作業において、より正確に、かつ、時間をかけずにデータ入力を行なうことができ、その結果、データ入力の疲労度を軽減した効率的なデータベースへの登録が可能となる文字認識装置を利用したデータベース登録方法を提供できる。
【0079】
また、本発明によれば、文字認識アルゴリズムの評価に使用する記載文字の正解座標データをデータベースに登録する作業において、より正確に、かつ、時間をかけずにデータ入力を行なうことができ、その結果、データ入力の疲労度を軽減した効率的なデータベースへの登録が可能となる文字認識装置を利用したデータベース登録方法を提供できる。
【図面の簡単な説明】
【図1】一般的なデータベース登録システムの例を説明するブロック図。
【図2】文字認識シミュレータシステムの構成例を説明するブロック図。
【図3】本発明の第1の実施の形態に係る文字認識装置を利用したデータベース登録システムの構成を概略的に示すブロック図。
【図4】郵便書状上の文字認識を行なう場合の各領域例を説明する図。
【図5】図4で示した各領域ごとの認識結果をタグで区分けする例を説明する図。
【図6】文字認識シミュレータの機能ブロックを説明する図。
【図7】文字認識シミュレータの出力結果を領域ごとにタグ名を付けた状態で表示装置に表示し、オペレータが編集や確認操作を行なうことを説明するための操作画面例を示す図。
【図8】データベース登録処理の流れの概要を説明するフローチャート。
【図9】本発明の第2の実施の形態に係る文字認識装置を利用したデータベース登録システムの構成を概略的に示すブロック図。
【図10】郵便書状上の各記載文字領域における正解座標データの編集や確認操作を説明するための操作画面例を示す図。
【図11】郵便書状上の各記載文字領域に対応したアイコンと関連する属性情報の例を説明するための図。
【図12】郵便書状の画像に対する類似性のパターン例を説明するための図。
【図13】正解座標データの生成およびデータベース登録処理の流れの概要を説明するフローチャート。
【図14】郵便書状上の文字認識を行なう場合の各領域例を説明する図。
【図15】図14で示した各領域ごとの抽出座標結果をタグで区分けする例を説明する図。
【符号の説明】
11……データ収集部
12……文字認識シミュレータ(文字認識装置)
13……処理結果分析処理部
14……正解教示部
15……対話処理部
16……タグ付け処理部
17……データベース
21……イメージ入力部
22……検切り処理部
23……行検切り処理部
24……文字検切り処理部
25……文字認識処理部
26……辞書部
31……データ収集部
32……文字認識シミュレータ(文字認識装置)
33……書状画像入力部
34……記載文字領域検切抽出部
35……文字認識部
36……処理履歴情報蓄積部(ログファイル)
37……書状画像データベース
38……対話処理部
39……GUI表示部
40……正解座標データ教示部
41……タグ付け処理部
42……書状属性データベース
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a database registration method using a character recognition device for registering correct data used for evaluation of a character recognition algorithm in character recognition for recognizing characters on a postal letter in a database using the character recognition device.
[0002]
[Prior art]
In recent years, with the widespread use of computers, the Internet, etc., systems have been developed that use various information in a database. As a utilization form of such a database, it has become common to construct a database for evaluation and analysis in various developments. For example, in the development of an algorithm in a character recognition device, the development efficiency is improved by evaluating and analyzing the algorithm by comparing with correct answer data that is a standard for performance evaluation.
[0003]
As a target of the character recognition device, for example, when considering the case of reading character information described in a postal letter, when registering a large amount of correct data of a postal letter in a database, one piece of paper is conventionally used. The operator read the image data of one postal letter and visually displayed what was displayed on the display device, and entered the character code of a predetermined reading area as correct data from the keyboard.
[0004]
Further, along with the advancement of character recognition, in addition to the evaluation of the recognized character code at the final stage, it is important to evaluate the algorithm for detecting and cutting out the described character string in character units (hereinafter abbreviated as “censoring”). It is coming.
[0005]
In consideration of this, as an object of the character recognition device, for example, when considering the case of reading character information described in a postal letter, an algorithm for a censoring process that is a process preceding the character recognition process Coordinate data for the correct answer of the written character frame (area, character frame) for evaluation is required.
[0006]
Conventionally, when registering the correct coordinate data in the database, the image data of each postal letter is read and displayed on the display device by the operator, while the operator looks at it with a pointing device such as a mouse. The coordinate data of the character frame is input as correct coordinate data for each area or for each character.
[0007]
[Problems to be solved by the invention]
However, a large amount of data input work manually increases the fatigue level of the operator, resulting in a decrease in work efficiency and an increase in data input errors, and collecting the expected amount of correct data. There was a problem that it became difficult.
[0008]
Therefore, the present invention can perform data input more accurately and without taking time in the operation of registering correct data used for evaluation of the character recognition algorithm in the database. It is an object of the present invention to provide a database registration method using a character recognition device that enables efficient registration to a database with reduced degree.
[0009]
Further, the present invention can perform data input more accurately and without taking time in the work of registering correct coordinate data of written characters used for evaluation of the character recognition algorithm in the database. It is an object of the present invention to provide a database registration method using a character recognition device that enables efficient database registration with reduced fatigue of data input.
[0010]
[Means for Solving the Problems]
The database registration method using the character recognition device of the present invention is: Register in the database in the database registration method using the character recognition device that registers the coordinate data of the character area described on the paper used for the performance evaluation of the character recognition algorithm in automatic character recognition as the correct coordinate data in the database A data collection step for reading and collecting the data on the standardized paper by the data collection unit, and a description for performing the detection cutout of the written character area for the collected data with respect to the data collected by the data collection step Character recognition processing is performed using a character recognition device configured to have a character recognition unit that performs character recognition on the character region detection and extraction unit and the written character region detected and cut out by the written character region inspection and extraction unit , Process history information such as written character region extraction candidates in the character recognition process The character collection processing step and the data collection of the written character area extraction candidates obtained from the processing history information in the character recognition process output by the character recognition processing step, with the dialogue processing unit collecting the written character area extraction candidates. A correct coordinate data generating step for generating the correct coordinate data by the correct coordinate data teaching unit based on a processing operation performed interactively by the operator while being displayed together with the data collected in the step, and generated by the correct coordinate data generating step A tagging process step of adding tag information for each reading unit to be recognized by the tagging processor with respect to the correct coordinate data, and registering the correct coordinate data to which the tag information is added in the database; It has.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0026]
First, the first embodiment will be described.
[0027]
FIG. 1 illustrates an example of a general database registration system. The operator visually observes the image of the postal letter displayed on the display device, and inputs the character code for each area to be recognized on the postal letter from the keyboard. Each tagging process is performed by the tagging processing unit 2 and then registered in the database 3.
[0028]
FIG. 2 illustrates the environment of a character recognition simulator that is usually developed to improve the performance of the character recognition algorithm. The data collection unit 4 collects image information of character data written on a data sheet to be recognized by the character recognition simulator 5. For example, in the case of a postal letter, a large amount of postal letter data is required for the performance evaluation of the character recognition algorithm, and the image data is collected and stored by dedicated hardware.
[0029]
The character recognition simulator 5 reads the image data collected by the data collection unit 4 and performs character recognition processing with hardware logic incorporating a character recognition algorithm. The recognition result is analyzed by the processing result analysis processing unit 6. . Here, in order to perform analysis processing, log information for each processing block in the character recognition process is stored in the form of intermediate information.
[0030]
FIG. 3 schematically illustrates the configuration of a database registration system that uses the character recognition apparatus according to the first embodiment. The basic configuration of this system is a combination of the components shown in FIGS. 1 and 2, and will be described in detail below.
[0031]
The data collection unit 11 is capable of collecting data on-site, and various collection condition files are stored in the hard disk device together with the collection of postal letter images. The character recognition simulator 12 performs the simulation of the character recognition algorithm using the postal letter image data stored in the hard disk device of the data collection unit 11 as an input, transfers the recognition result to the processing result analysis processing unit 13, and teaches the correct answer Transfer to the unit 14.
[0032]
The correct answer teaching unit 14 receives input data from the operator and the recognition result of the character recognition simulator 12 from the dialogue processing unit 15, generates correct answer data by performing correct answer teaching processing, and transfers the correct answer data to the tagging processing unit 16. Details of the correct answer teaching process will be described later. The tagging processing unit 16 adds tag information for each reading area to be character-recognized to the correct data from the correct answer teaching unit 14, and registers the correct data to which the tag information is added in the database 17.
[0033]
The processing result analysis processing unit 13 can also register necessary data among the processing results in the database 17.
[0034]
FIG. 4 shows an example of each area when character recognition on a postal letter is performed. In a character recognition algorithm for recognizing characters on a postal letter, the overall recognition rate is improved by making a special algorithm recognize each read area based on various attribute information.
[0035]
For example, “210-0915”, which is the contents of the postal code area R1, as the area of the numeric string above the postal letter, its coordinate data (X5, Y5) / (X6, Y6), and the contents of the address area R2 over a plurality of lines “Yukimachi, Kawasaki-shi / 50-2”, its coordinate data (X1, Y1) / (X2, Y2), “Taro Tokyo” as the contents of the address area R3, and its coordinate data (X3 , Y3) / (X4, Y4), etc., are extracted separately and recognized by a recognition algorithm in each area. The character recognition result can be obtained from the result file output by the character recognition simulator 12 such as reliability information of the recognition result for each region.
[0036]
FIG. 5 illustrates an example of tagging. A tag name is assigned to each area on the postal letter described in FIG. For example, the tag name of “210-0915” is “zip code character string”, the tag name of “Yukimachi Kawasaki City” is “address town name character string”, and the tag name of “50-2 address” is “address town block character” Add a tag name such as “Column”. Thereby, data registration in the database 17 can be automated.
[0037]
By the way, the reason why the address area is divided into “address town name character string” and “address town block character string” is due to the difference in the reliability of the character recognition result in the actual system. That is, the reliability of the character recognition result of the content of “address town block character string” tends to be lower than the reliability of the character recognition result of the content of “address town name character string”. For this reason, in automatic registration of data in the database 17, it becomes possible to operate more efficiently by dividing the data.
[0038]
FIG. 6 illustrates a general functional block diagram of the character recognition simulator 12. The image input unit 21 inputs a postal letter image as digital data to the system side. Usually, this is an apparatus independent of the character recognition simulator 12, and the data is stored in a hard disk device or the like and used as input data for the character recognition simulator 12 as necessary.
[0039]
The check processing unit 22 includes an area (line) check processing unit 23 and a character check processing unit 24. The character recognition processing unit 25 performs character recognition processing on the region extracted for each character region as a candidate by the cut-off processing in the cut-off processing unit 22. At this time, by performing matching processing with information stored as a dictionary in the dictionary unit 26, the character recognition result is finally output as a character code.
[0040]
As described above, the processing in each processing block is held as log data and used for analysis of character recognition results. For example, status information selected as an answer from candidate data is stored in the log data, and in this embodiment, this information is intended to be used effectively.
[0041]
FIG. 7 illustrates an operation for displaying a character recognition result on a display device and editing and confirming the content of the result. A postal letter image is displayed in the upper left image display area E1 of the operation screen. A list of tag names is displayed in the tag name display area E2 on the right side of the screen, and a list of tag name contents is displayed in the tag name content display area E3 on the right side.
[0042]
Here, the contents of the tag name, that is, the result code obtained by character recognition is displayed. However, the data with high reliability of recognition is displayed using the recognition reliability information, and the normal display is performed. For data whose reliability is lower than the set threshold, blinking display or the like is performed. Thereby, the operator can perform correction editing while viewing the postal letter image display on the left side of the screen at this point. For example, when the display portion R11 of “address 50-2”, which has the tag name “address block character string”, blinks, the operator looks at the corresponding area of the postal letter image and recognizes the result. To do. If it is wrong, at this stage, the display section R11 of “address 50-2”, which is the content of “address block character string”, is corrected. In order to make confirmation easier, various processing methods such as displaying a corresponding area of a postal letter image in a rectangle can be considered.
[0043]
As can be seen from the above description, in the operation on this screen, the result data automatically processed by the character recognition simulator 12 is displayed as the first candidate, so that the operator can perform postal mail as conventionally performed. While looking at the letter, there is no need to input data from the beginning, and it is possible to confirm and edit operations that focus only on items that cannot be recognized and character codes are not displayed, or on data items with low recognition reliability. As a result, the data input efficiency is considered to be significantly improved.
[0044]
FIG. 8 explains the outline of the flow of the database registration process described above. First, an image of postal letter data is captured (S1), and the image is displayed on a display device (S2). On the other hand, the image is automatically recognized by the character recognition simulator 12 (S3), and the character recognition result is displayed on the operation screen shown in FIG. 7 (S4).
[0045]
Thereafter, the operator confirms or corrects the recognition result (S5), and then tags the result code recognized for each area on the postal letter (S6). The tag information is registered in the database 17 (S7).
[0046]
The postal letter image input to the character recognition simulator 12 is normally processed in units of several thousand sheets according to various simulation conditions and the like, and the number of processed sheets is checked in step S8.
[0047]
In the above description, the character recognition area with high recognition accuracy is easily noticed by the operator by blinking the character information area of the recognition result. At the same time, the character area subjected to the character recognition process is displayed. It can also be shown as a rectangle using coordinate data on the image. For example, if the recognition accuracy of the address block character code recognition result is low, the corresponding character code portion on the screen of the display device is displayed in reverse video or blinking, and a postal letter image is displayed. Similarly, a rectangle based on the coordinate data is displayed in a reversed area, blinking, or changing the color of the rectangle in a certain area so that the operator can easily notice it. Furthermore, it is also possible to enlarge the display of the postal letter image and use it for evaluating the censoring process between character lines or character strings.
[0048]
As described above, according to the first embodiment, the following effects can be expected. That is, in the character recognition development environment, a character recognition simulator is usually developed at the same time for the purpose of improving the verification performance of a recognition algorithm using a large amount of data. Using this character recognition simulator, the character code information of the recognition result is registered in the database. Of course, since the character code information recognized by the character recognition simulator is hardly recognized 100% correctly, the recognition result can be corrected so that an operator who inputs data in the environment of a conventional correct answer teaching process can correct it. The result is displayed on the display device as the first candidate data. This eliminates the need for the operator to input the correct character code from the beginning while looking at the image data, so that the data input efficiency is remarkably improved.
[0049]
Further, since the information output from the character recognition simulator holds the status data of the recognition process, it is possible to know the reliability of the recognition result. When the character code of the recognition result is displayed on the display device as the first candidate, the reliability information is displayed as blue, for example, as attribute information for weighting the reliability of the recognition result. If the recognition result cannot be held, it can be displayed in yellow, and the unrecognizable area can be displayed in red. Thus, there is an effect that the operator's fatigue level can be reduced.
[0050]
Next, a second embodiment will be described.
[0051]
FIG. 9 schematically illustrates the configuration of a database registration system that uses the character recognition apparatus according to the second embodiment.
[0052]
The data collection unit 31 is capable of collecting data on-site, and various collection condition files are stored in the hard disk device together with the collection of postal letter images. The character recognition simulator 32 simulates a character recognition algorithm using the postal letter image data stored in the hard disk device of the data collection unit 31 as input, and the character recognition code as the recognition result is input to another system (not shown). Information.
[0053]
The character recognition simulator 32 is composed of processing modules such as a letter image input unit 33, a written character area check extraction unit 34, and a character recognition unit 35. Processing history information in each processing module includes processing history information. It is output and stored as one log file in the information storage unit (log file) 36.
[0054]
The letter image database 37 is a database of postal letter images collected by the data collection unit 31. The storage medium is usually stored on a CD-ROM. The dialogue processing unit 38 operates and manages letter images from the letter image database 37 and displays them on a GUI (graphical user interface) display unit 39.
[0055]
The correct coordinate data teaching unit 40 generates correct coordinate data based on the processing history information in the processing history information storage unit 36 for the letter image displayed on the GUI display unit 39 by the operation management of the dialogue processing unit 38. Transfer to the tagging processor 41. Details of the correct answer teaching process will be described later. The tagging processing unit 41 adds tag information for each reading area to be recognized to the correct coordinate data from the correct coordinate data teaching unit 40, and adds the correct coordinate data to which the tag information is added to the letter attribute database 42. sign up.
[0056]
The correct coordinate data registered in the letter attribute database 42 is used as input data for the character recognition simulator 32, and it is possible to evaluate the censoring processing algorithm for the described character area in the previous stage of the character recognition processing.
[0057]
FIG. 10 is a diagram for explaining the operation by each area attribute icon in order to perform the character censoring process in accordance with the characteristics of each character description area. By using the log information of the processing history information in the character recognition simulator. The extraction candidates for each character description area are displayed on the letter image. That is, the postal code area candidate R21, the address area candidate R22, and the name area candidates R23 and R24 are respectively displayed in a rectangle in the letter image display area E4 of the operation screen.
[0058]
In FIG. 10, on the right side of the letter image display area E4 of the operation screen, as each extraction area, an icon A1 indicating a zip code area, an icon A2 indicating an address area / horizontal, an icon A3 indicating an address area / vertical, a name area An icon A4 indicating “” and other icons are prepared. The operator can determine the attribute of each extraction region by moving the icon onto the corresponding extraction region on the display image and using a position designation device such as a mouse. .
[0059]
That is, the zip code area icon A1 is moved to the display frame area R21, the address area / vertical icon A3 is moved to the display frame area R22, and the name area icon A4 is moved to the display frame area R23. Here, the name area candidate R24 is affected by the advertisement image of the area R25, and an incorrect area is extracted as the name area, and the operator judges it and moves the name area icon A4 to the area R23. It was decided. In addition, as a position designation apparatus, the method by the direct designation | designated with a touchscreen other than a mouse | mouth is also possible.
[0060]
FIG. 11 explains the contents of the attribute information related to the icon corresponding to each written character area. For example, by using information such as horizontal writing, numeric characters, and a description frame as the attribute information of the postal code area, it is possible to perform a cut-off process of the written characters according to the attribute information.
[0061]
In addition, by using information such as vertical writing, stamped characters (printed characters), and a plurality of lines as the attribute information of the address area, it is possible to perform a cut-off process of written characters according to the attribute information. Incidentally, the address area icon A2 for horizontal writing is also prepared on the right side of the operation screen. In this case, the address area icon A3 for vertical writing is used.
[0062]
By such processing, correct coordinate data of each written character can be obtained by the cut-off processing according to the attribute information in each region with high-performance and stable written character check-out processing. Of course, the cut-off processing algorithm for each character in each area is performed by the method used in the character recognition simulator.
[0063]
A direct mail letter is considered as an example of a similar letter. Since these direct mail letters have a uniform way of writing address information, their similarity can be checked as an image. In addition, as a characteristic of direct mail letters, many are uniquely designed outside the address area. It is quite possible to check the similarity of these images.
[0064]
FIG. 12 illustrates an example of a similarity pattern for such a direct mail letter. In FIG. 12, a region P1 is an example in which an address and address using a label often used in a direct mail letter or the like are described. In the label, all information such as the postal code, address, and address is described in the same label, and the similarity can be checked using the label frame size information.
[0065]
In FIG. 12, a region P2 shows an example of a frequently used advertisement logo mark outside the address description region of the direct mail letter. By capturing the advertisement logo mark area as an image and checking its similarity, it is possible to determine the same type of direct mail letter.
[0066]
FIG. 13 illustrates that the similarity of postal letter images is checked, and similar letters are automatically acquired as correct coordinate data in a lump and registered in the database.
[0067]
In FIG. 13, first, the similarity of letters is checked in step S11. Here, the similarity of the letter is checked by the method described in FIG. Note that the letter pattern data that is the target of the similar letter is registered in advance in the form of a template in the letter pattern template data (storage unit) 43.
[0068]
As a result of the similarity check in step S11, for the letter whose similarity exceeds the set value, each correct coordinate data is automatically acquired using various processing parameters attached to the template data having high similarity. (S12).
[0069]
On the other hand, as a result of the similarity check in step S11, for a letter whose similarity is equal to or less than the set value, an interactive processing operation for obtaining correct coordinate data is performed in the form described in FIG. This will be described in detail below.
[0070]
First, using the extracted region candidate information for each written character region existing in the processing history information of the character recognition processing process stored in the processing history information storage unit 36, the result is displayed as a letter image. A process of displaying the extracted rectangle on the operation screen is performed (S13). Thereafter, the GUI is operated on the icon corresponding to each corresponding written character area to determine its attribute (S14).
[0071]
Next, a character-by-character check-out process is performed using attribute information depending on the extraction area linked to the icon assigned to each written character area (S15). Thereby, it is possible to perform an optimum character inspection process suitable for the characteristics of each written character area. Next, in order to identify a plurality of attribute information in the letter attribute database 42, the correct coordinate data of each extracted character area extracted as correct coordinate data, for example, a zip code area, an address area, a name area, etc. Are added to the letter attribute database 42 by automatic processing (S16).
[0072]
FIG. 14 illustrates an image of a postal letter, and shows each character description area when character recognition on the postal letter is performed. In the character recognition algorithm for recognizing characters on a postal letter, the overall character recognition rate is improved by causing each reading area to recognize with a dedicated algorithm based on various attribute information.
[0073]
For example, “210-0915”, which is the contents of the zip code area R21, and its coordinate data (X5, Y5) / (X6, Y6) as the contents of the numerical string above the postal letter, and the contents of the address area R22 over a plurality of lines. A certain “Yukimachi, Kawasaki city / 50-2 address”, its coordinate data (X1, Y1) / (X2, Y2), “Taro Tokyo” as the contents of the address area R23, and its coordinate data (X3 Y3) / (X4, Y4), etc. are extracted separately, and characters are recognized by a recognition algorithm in each area. The character recognition result can be obtained from the result file output by the character recognition simulator 32, such as reliability information of the recognition result for each region.
[0074]
FIG. 15 illustrates an example of tagging the correct coordinate data of each written character area, in which a tag name is assigned to each area on the postal letter described in FIG. For example, the tag name of the correct coordinate data of “210-0915” is “zip code coordinates”, the tag name of the correct coordinate data of “50-2 Yanagimachi, Saiwai-ku, Kawasaki-shi” is “address coordinates”, “Taro Tokyo” The tag name of the correct coordinate data is given as “name coordinate”. Thus, data registration in the letter attribute database 42 can be automated.
[0075]
In the letter attribute database 42 shown in FIG. 9, a plurality of types of attribute information are registered with a structure, and the correct coordinate data is one attribute information. A tag name is defined to identify the correct coordinate data.
[0076]
As described above, according to the second embodiment, the following effects can be expected. In other words, in a character recognition development environment, a character recognition simulator is usually used at the same time for the purpose of improving the verification performance of a recognition algorithm based on a large amount of data, the preceding character area, and the written character censoring processing algorithm. We are developing. This character recognition simulator accumulates information on the process of character input, cut-off processing, and recognition processing as a log information file. Utilizing this character recognition simulator, the described character area and the described character extraction rectangle information, that is, the information of the coordinate data indicating the extraction rectangle is registered in the database. Of course, the rectangular character data for extracting the written character region and the written character is hardly extracted 100% correctly. Therefore, the extracted coordinate data is added to the letter image by adding the above-described interactive processing method. Since it is not necessary to generate correct coordinate data from the beginning while watching the above, the efficiency of generating correct coordinate data is greatly improved.
[0077]
For example, a direct mail letter is considered to be the same letter form. By checking the similarity of letter images against similar letter forms, and using similar template information for similar letters, correct coordinates of a large number of letters at once. Since the data is automatically acquired, there is an effect that it is possible to further improve the efficiency of generating correct coordinate data and extremely reduce the fatigue level of the operator.
[0078]
【The invention's effect】
As described above in detail, according to the present invention, in the operation of registering correct data used for evaluation of the character recognition algorithm in the database, data can be input more accurately and without taking time. As a result, it is possible to provide a database registration method using a character recognition device that enables efficient database registration with reduced data input fatigue.
[0079]
Further, according to the present invention, in the operation of registering correct coordinate data of written characters used for evaluation of the character recognition algorithm in the database, data can be input more accurately and without taking time, As a result, it is possible to provide a database registration method using a character recognition device that enables efficient database registration with reduced data input fatigue.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a general database registration system.
FIG. 2 is a block diagram illustrating a configuration example of a character recognition simulator system.
FIG. 3 is a block diagram schematically showing a configuration of a database registration system using the character recognition device according to the first embodiment of the present invention.
FIG. 4 is a diagram for explaining an example of each area when character recognition on a postal letter is performed.
5 is a diagram for explaining an example in which recognition results for each area shown in FIG. 4 are classified by tags.
FIG. 6 is a diagram illustrating functional blocks of a character recognition simulator.
FIG. 7 is a diagram showing an example of an operation screen for explaining that an output result of a character recognition simulator is displayed on a display device with a tag name assigned to each region, and an operator performs an editing or confirmation operation.
FIG. 8 is a flowchart for explaining an outline of the flow of database registration processing;
FIG. 9 is a block diagram schematically showing a configuration of a database registration system using a character recognition device according to a second embodiment of the present invention.
FIG. 10 is a diagram showing an example of an operation screen for explaining correct coordinate data editing and confirmation operations in each written character area on a postal letter.
FIG. 11 is a diagram for explaining an example of attribute information related to an icon corresponding to each written character area on a postal letter.
FIG. 12 is a diagram for explaining a pattern example of similarity to a postal letter image;
FIG. 13 is a flowchart for explaining an overview of the flow of correct coordinate data generation and database registration processing;
FIG. 14 is a diagram for explaining an example of each area when character recognition on a postal letter is performed.
15 is a diagram for explaining an example in which the extracted coordinate result for each area shown in FIG. 14 is divided by tags.
[Explanation of symbols]
11 …… Data collection part
12. Character recognition simulator (character recognition device)
13 …… Processing result analysis processing section
14 …… Correct answer teaching part
15 ... Dialogue processing part
16 …… Tagging processing part
17 …… Database
21 …… Image input section
22 …… Cut-off processing section
23 …… Line check cut-off processing section
24 …… Character cut-off processing section
25 …… Character recognition processing section
26 …… Dictionary
31 …… Data Collection Department
32 …… Character recognition simulator (character recognition device)
33 ... Letter image input section
34 …… Described character area check extraction part
35 …… Character recognition part
36 …… Processing history information storage (log file)
37 ... Letter image database
38 …… Dialogue processing section
39 …… GUI display
40 …… Correct answer data teaching part
41 …… Tagging processing section
42 ... Letter attribute database

Claims (1)

文字の自動認識における文字認識アルゴリズムの性能評価に使用する用紙上に記載された文字の領域の座標データを正解座標データとしてデータベースに登録する文字認識装置を利用したデータベース登録方法において、
データベースに登録する定形化された用紙上のデータをデータ収集部により読取って収集するデータ収集ステップと、
このデータ収集ステップにより収集したデータに対して、当該収集したデータに対して記載文字領域の検出切出しを行なう記載文字領域検切抽出部およびこの記載文字領域検切抽出部により検出切出しされた記載文字領域に対し文字認識を行なう文字認識部を有して構成される文字認識装置を用いて文字認識処理を行ない、その文字認識過程において記載文字領域の抽出候補等の処理履歴情報を出力する文字認識処理ステップと、
この文字認識処理ステップにより出力される文字認識過程における処理履歴情報から得られる記載文字領域の抽出候補に対して、対話処理部でその記載文字領域の抽出候補を前記データ収集ステップにより収集されたデータとともに表示しながらオペレータが対話的に行なう処理操作に基づき正解座標データ教示部により前記正解座標データを生成する正解座標データ生成ステップと、
この正解座標データ生成ステップにより生成された正解座標データに対してタグ付け処理部により文字認識すべき読取単位ごとにタグ情報を付加し、このタグ情報を付加した正解座標データをデータベースに登録するタグ付け処理ステップと、
を具備したことを特徴とする文字認識装置を利用したデータベース登録方法。
In the database registration method using the character recognition device that registers the coordinate data of the character area described on the paper used for the performance evaluation of the character recognition algorithm in automatic character recognition in the database as the correct coordinate data,
A data collection step of reading and collecting data on the standardized paper to be registered in the database by a data collection unit;
A written character area detection / extraction unit for detecting and cutting out a written character area for the collected data with respect to the data collected by the data collection step, and a written character detected and cut out by the written character area detection / extraction unit Character recognition that performs character recognition processing using a character recognition device that includes a character recognition unit that performs character recognition on a region and outputs processing history information such as written character region extraction candidates in the character recognition process Processing steps;
For the written character area extraction candidates obtained from the processing history information in the character recognition process output in the character recognition processing step, the data collected by the data collection step for the written character area extraction candidates in the dialog processing unit A correct coordinate data generation step for generating the correct coordinate data by the correct coordinate data teaching unit based on a processing operation performed interactively by the operator while displaying with
Tag for adding tag information for each reading unit to be recognized by the tagging processing unit to the correct coordinate data generated in the correct coordinate data generating step, and registering the correct coordinate data with the tag information in the database Processing steps;
A database registration method using a character recognition device.
JP17302499A 1999-06-18 1999-06-18 Database registration method using character recognition device Expired - Fee Related JP4160206B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17302499A JP4160206B2 (en) 1999-06-18 1999-06-18 Database registration method using character recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17302499A JP4160206B2 (en) 1999-06-18 1999-06-18 Database registration method using character recognition device

Publications (2)

Publication Number Publication Date
JP2001005804A JP2001005804A (en) 2001-01-12
JP4160206B2 true JP4160206B2 (en) 2008-10-01

Family

ID=15952807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17302499A Expired - Fee Related JP4160206B2 (en) 1999-06-18 1999-06-18 Database registration method using character recognition device

Country Status (1)

Country Link
JP (1) JP4160206B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426496B2 (en) * 2004-03-03 2008-09-16 Microsoft Corporation Assisted form filling
JP5356654B2 (en) * 2007-03-15 2013-12-04 日本電気株式会社 Mail automatic sorting system
JP2016159245A (en) * 2015-03-03 2016-09-05 株式会社東芝 Delivery processor and delivery processing program
JP6561525B2 (en) * 2015-03-23 2019-08-21 日本電気株式会社 Character extraction device, character extraction method, and character extraction program
CN110516663A (en) * 2019-07-15 2019-11-29 平安普惠企业管理有限公司 Test method, device, computer equipment and the storage medium of OCR recognition accuracy
CN112559369A (en) * 2020-12-23 2021-03-26 上海眼控科技股份有限公司 Automatic testing method, automatic testing equipment and storage medium
JP7482057B2 (en) 2021-02-10 2024-05-13 富士通フロンテック株式会社 Document recognition program and document recognition device

Also Published As

Publication number Publication date
JP2001005804A (en) 2001-01-12

Similar Documents

Publication Publication Date Title
US10860848B2 (en) Multi-page document recognition in document capture
US10120537B2 (en) Page-independent multi-field validation in document capture
US7668372B2 (en) Method and system for collecting data from a plurality of machine readable documents
JP2968145B2 (en) Advanced data collection method and data processing system
JP4996940B2 (en) Form recognition device and program thereof
US8467614B2 (en) Method for processing optical character recognition (OCR) data, wherein the output comprises visually impaired character images
JP4347677B2 (en) Form OCR program, method and apparatus
US8015203B2 (en) Document recognizing apparatus and method
JP4977368B2 (en) Medium processing apparatus, medium processing method, medium processing system, and computer-readable recording medium recording medium processing program
JP2004139484A (en) Form processing device, program for implementing it, and program for creating form format
JP6100532B2 (en) Receipt definition data creation device and program thereof
JP2008003740A (en) Input correction method, postscript information processing method, postscript information processor, and program
JP4733577B2 (en) Form recognition device and form recognition program
JPH11282955A (en) Character recognition device, its method and computer readable storage medium recording program for computer to execute the method
JP4160206B2 (en) Database registration method using character recognition device
KR102282025B1 (en) Method for automatically sorting documents and extracting characters by using computer
JP2012181653A (en) Scoring method, program of scoring method, and scoring system
US20020186885A1 (en) Verifying results of automatic image recognition
JP5670156B2 (en) Test result verification system, method, and program
JPH1173472A (en) Format information registering method and ocr system
JP5134383B2 (en) OCR device, trail management device and trail management system
JP4347675B2 (en) Form OCR program, method and apparatus
JP3732254B2 (en) Format information generation method and format information generation apparatus
JP2007286711A (en) Information processor and information processing method, and computer program
JP2019185140A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees