JP2019057311A - Ledger sheet information recognition device and ledger sheet information recognition method - Google Patents
Ledger sheet information recognition device and ledger sheet information recognition method Download PDFInfo
- Publication number
- JP2019057311A JP2019057311A JP2018222605A JP2018222605A JP2019057311A JP 2019057311 A JP2019057311 A JP 2019057311A JP 2018222605 A JP2018222605 A JP 2018222605A JP 2018222605 A JP2018222605 A JP 2018222605A JP 2019057311 A JP2019057311 A JP 2019057311A
- Authority
- JP
- Japan
- Prior art keywords
- information
- character recognition
- form image
- model
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
本発明の実施形態は、帳票に記載された情報のうち、必要な情報を文字認識する帳票情報認識装置および帳票情報認識方法に関する。 Embodiments described herein relate generally to a form information recognition apparatus and a form information recognition method for recognizing necessary information from among information described in a form.
従来、帳票に記載されている文字や数字を文字認識する帳票情報認識装置および帳票情報認識方法が知られている。 Conventionally, a form information recognition device and a form information recognition method for recognizing characters and numbers written on a form are known.
この種の帳票情報認識装置および帳票情報認識方法によって、帳票に記載されている文字や数字のうち、その後のデータエントリ処理のために必要な文字や数字が文字認識され、例えばテキストデータのような電子データへ変換されている。 With this type of form information recognition device and form information recognition method, letters and numbers necessary for subsequent data entry processing are recognized among the letters and numbers described in the form, such as text data. It has been converted to electronic data.
例えば帳票が振込用紙である場合、振込用紙に記載されている文字や数字のうち、日付（数字）、振込人の名称（文字）、振込金額（数字）が文字認識され、テキストデータへ変換されるものの、項目や、注意書きといった定型的な文字やそれに含まれる数字は、その後のデータエントリ処理のために使用されないので、文字認識されないという具合である。 For example, when the form is a transfer form, the date (number), the name of the transfer person (character), and the transfer amount (number) are recognized as characters and converted into text data. However, the standard characters such as items and notes and the numbers included in them are not used for subsequent data entry processing, so that the characters are not recognized.
このように、帳票情報認識装置および帳票情報認識方法では、必要な情報が選択的に文字認識されている。これを実現するため、文字認識すべき情報が帳票におけるどの位置に記載されているのかが、帳票種類毎に定義されたモデル情報が予め定義され、保存されている。 Thus, in the form information recognition apparatus and the form information recognition method, necessary information is selectively recognized as characters. In order to realize this, model information defined for each form type is stored in advance and stored in which position in the form the information to be recognized is written.
そして、帳票に記載された文字や数字の文字認識処理を行う場合には、先ず、当該帳票の帳票種類が把握され、次に、把握された帳票種類のために定義されたモデル情報が参照されることによって、どの位置の情報を文字認識すべきであるかが把握され、把握された位置に記載されている情報が文字認識される。これによって、その後のデータエントリ処理のために必要な文字や数字のみが文字認識され、テキストデータのような電子データへ変換されている。 When performing character recognition processing for characters and numbers described in a form, the form type of the form is first grasped, and then model information defined for the grasped form type is referred to. Thus, it is grasped which position information should be character-recognized, and the information described in the grasped position is character-recognized. As a result, only characters and numbers necessary for subsequent data entry processing are recognized and converted into electronic data such as text data.
このように帳票種類毎に定義されたモデル情報を使用することによって、帳票内において文字認識すべき位置を決定するためには、先ず、帳票種類毎のモデル情報を事前に準備しておく必要がある。次に、当該帳票が、どのモデル情報に対応するのかを決定するために、文字認識処理を行う前に帳票種類を把握する必要がある。 In order to determine the position where the character should be recognized in the form by using the model information defined for each form type in this way, first, it is necessary to prepare model information for each form type in advance. is there. Next, in order to determine which model information the form corresponds to, it is necessary to grasp the form type before performing the character recognition process.
帳票種類を把握するための一例では、帳票内に印字された帳票固有の文字列が、帳票種類を識別するための識別キーとして使用されている。このためには、帳票用紙において、識別キーが記載されている位置が、モデル情報に定義されている必要がある。 In an example for grasping the form type, a character string specific to the form printed in the form is used as an identification key for identifying the form type. For this purpose, the position where the identification key is described in the form sheet needs to be defined in the model information.
そして、帳票に対する文字認識処理を行う場合には、当該帳票の識別キーが認識され、次に、識別キーの位置に基づいて、対応するモデル情報が把握され、このモデル情報が参照されることによって、当該帳票におけるどの位置の情報を、文字認識すべきであるかが決定される。 When character recognition processing is performed on a form, the identification key of the form is recognized, and then the corresponding model information is grasped based on the position of the identification key, and this model information is referred to. Then, it is determined which position information in the form should be character-recognized.
なお、識別キーとなり得る文字列は、帳票内の一般的な文字認識対象（たとえば、帳票が請求書である場合、請求先、日付、金額等）と一致するとは必ずしも限らない。 Note that a character string that can serve as an identification key does not necessarily match a general character recognition target in a form (for example, if the form is an invoice, a billing address, date, amount, etc.).
しかしながら、上述したような従来の技術では、モデル情報を帳票種類毎に事前に準備しておく必要があるため、対象とする帳票が少量多種の場合や、頻繁にフォーマットが変更され得る帳票については、モデルの作成や変更に要するコストが大きい。 However, in the conventional technology as described above, it is necessary to prepare the model information in advance for each form type, so when there are a small number of target forms or when the format can be changed frequently. The cost for creating and changing models is large.
これに対処すべく、特許文献１には、画像処理技術によって、帳票内から識別キーとなり得る箇所が部分画像として自動的に抽出され、更に、抽出された部分画像の一覧から、識別キーとして適切な箇所が、ユーザによって選択されることによって、帳票種類が識別される技術が開示されている。 In order to cope with this, in Patent Document 1, a part that can be an identification key is automatically extracted as a partial image from the form by image processing technology, and further, an appropriate identification key is obtained from the list of extracted partial images. A technique is disclosed in which the type of a form is identified by selecting an appropriate part by a user.
この技術によれば、識別キーが無く、モデル情報の定義が困難な帳票であっても、必要な情報の識別を可能にし、またモデル情報の定義に要するコストを削減することも可能となる。 According to this technique, even if the form has no identification key and model information is difficult to define, necessary information can be identified, and the cost required for defining model information can be reduced.
しかしながら、ユーザが識別キーとする箇所を選択する必要があるために、ユーザは、ある程度の専門知識を要求される。また、モデル情報の定義に要するコストが削減されるとはいえ、その代わりに、ユーザが帳票毎にモデル情報を定義することが必要となり、ユーザの負担が増加してしまう。 However, since it is necessary for the user to select a location as an identification key, the user is required to have a certain degree of expertise. Further, although the cost required for defining the model information is reduced, instead, the user needs to define the model information for each form, which increases the burden on the user.
本発明が解決しようとする課題は、帳票において文字認識されるべき情報の位置を定義したモデル情報を、ユーザの負担を増やすことなく作成し、作成したモデル情報に基づいて、必要な情報を文字認識することを繰り返すことによって、自動文字認識効率を高めるように自己学習する帳票情報認識装置および帳票情報認識方法を提供することである。 The problem to be solved by the present invention is to create model information that defines the position of information that should be character-recognized in a form without increasing the burden on the user. It is to provide a form information recognition device and a form information recognition method that learn by themselves so as to increase automatic character recognition efficiency by repeating recognition.
実施形態の帳票情報認識装置によれば、帳票に記載された情報を文字認識するための帳票情報認識装置は、取得部、抽出部、保存部、認識部、およびモデル作成部を備える。取得部は、帳票から帳票イメージを取得する。抽出部は、帳票イメージにおいて文字認識対象部分の位置情報を抽出する。保存部は、位置情報を帳票種類毎に定義したモデル情報を保存する。認識部は、抽出部によって抽出された位置情報に一致する位置情報が定義されたモデル情報が保存部に保存されている場合、このモデル情報に定義されている位置情報に対応する文字認識対象部分の文字認識処理を行い、保存されていない場合、帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行う。モデル作成部は、指定された文字認識対象部分の文字認識処理がなされた場合、指定された文字認識対象部分の帳票イメージにおける位置情報を用いて、帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、保存部に保存させる。 According to the form information recognition apparatus of the embodiment, the form information recognition apparatus for recognizing information written in the form includes an acquisition unit, an extraction unit, a storage unit, a recognition unit, and a model creation unit. The acquisition unit acquires a form image from the form. The extraction unit extracts position information of a character recognition target portion in the form image. The storage unit stores model information in which position information is defined for each form type. The recognition unit, when model information in which position information that matches the position information extracted by the extraction unit is defined is stored in the storage unit, a character recognition target part corresponding to the position information defined in the model information If the character recognition process is not stored, the character recognition process is performed on the character recognition target portion designated by the operation input in the form image. When the character recognition process for the designated character recognition target part is performed, the model creation unit uses the position information in the form image of the designated character recognition target part to obtain model information for the form corresponding to the form image. Create and store this model information in the storage unit.
以下に、本発明の実施形態を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本発明の実施形態の帳票情報認識方法が適用された帳票情報認識装置１０の構成例を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration example of a form information recognition apparatus 10 to which a form information recognition method according to an embodiment of the present invention is applied.
帳票情報認識装置１０は、帳票イメージ取得部１１、ユーザ入力受付部１２、対象抽出部１４、帳票イメージ表示部１６、文字認識結果表示部１８、文字認識結果出力部２０、モデル保存部２２、文字認識部２４、およびモデル作成部２６を備え、図２Ａおよび図２Ｂのフローチャートに示すように動作する。 The form information recognition apparatus 10 includes a form image acquisition unit 11, a user input reception unit 12, a target extraction unit 14, a form image display unit 16, a character recognition result display unit 18, a character recognition result output unit 20, a model storage unit 22, a character A recognition unit 24 and a model creation unit 26 are provided and operate as shown in the flowcharts of FIGS. 2A and 2B.
帳票イメージ取得部１１は、例えばＯＣＲスキャナや、複合機を用いることができ、帳票Ａを読み込んで帳票イメージａを生成する。 The form image acquisition unit 11 can use, for example, an OCR scanner or a multifunction peripheral, and reads the form A to generate a form image a.
ユーザ入力受付部１２、対象抽出部１４、帳票イメージ表示部１６、文字認識結果表示部１８、文字認識結果出力部２０、文字認識部２４、およびモデル作成部２６は、例えばＦＰＧＡ（field-programmable gate array）もしくはＣＰＵ（Central Processing Unit）もしくはこれらの組合せおよびプログラムメモリ（例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリ）を有するコンピュータによって実現され、本実施形態を実施するために必要な制御機能を実現する。これら制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記ＦＰＧＡやＣＰＵに実行させることにより実現される。モデル保存部２２は、プログラムメモリ（例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリ）により実現される。 The user input reception unit 12, the target extraction unit 14, the form image display unit 16, the character recognition result display unit 18, the character recognition result output unit 20, the character recognition unit 24, and the model creation unit 26 are, for example, an FPGA (field-programmable gate). This is realized by a computer having an array) or CPU (Central Processing Unit) or a combination thereof and a program memory (for example, a nonvolatile memory such as an SSD (Solid State Drive) or HDD (Hard Disk Drive) that can be written and read at any time). The control function necessary for carrying out this embodiment is realized. All of these control functions are realized by causing the FPGA or CPU to execute a program stored in the program memory. The model storage unit 22 is realized by a program memory (for example, a non-volatile memory that can be written and read at any time, such as a solid state drive (SSD) or a hard disk drive (HDD)).
以下、帳票情報認識装置１０の各部の構成を、図２Ａおよび図２Ｂにおけるステップ番号に従って説明する。 Hereinafter, the configuration of each unit of the form information recognition apparatus 10 will be described according to the step numbers in FIGS. 2A and 2B.
前述したように、帳票イメージ取得部１１は、帳票Ａを読み込んで帳票イメージａを生成する（Ｓ１）。 As described above, the form image acquisition unit 11 reads the form A and generates the form image a (S1).
対象抽出部１４は、帳票イメージ取得部１１から帳票イメージａを受け取り、帳票イメージａから、文字認識対象部分を抽出する。文字認識対象部分とは、例えば、日付や金額等の文字認識対象文字列ｃである。文字認識対象文字列ｃは、帳票イメージａの全面にＯＣＲ処理が実施されることによって、事前定義されたフォーマットで文字列が並んでいる箇所の位置情報（Ｘ、Ｙ座標値）ｄとともに抽出される（Ｓ２）。 The object extraction unit 14 receives the form image a from the form image acquisition unit 11 and extracts a character recognition target part from the form image a. The character recognition target portion is, for example, a character recognition target character string c such as date or amount. The character recognition target character string c is extracted together with position information (X, Y coordinate values) d of the part where the character strings are arranged in a predefined format by performing OCR processing on the entire form image a. (S2).
対象抽出部１４はさらに、モデル保存部２２からモデル情報Ｂを取得する（Ｓ３）。 The target extraction unit 14 further acquires model information B from the model storage unit 22 (S3).
図３は、モデル情報Ｂの一例を示すデータ構造図である。モデル情報Ｂは、文字認識対象文字列Ｃの項目名（氏名、住所、生年月日、金額）と、その位置情報（Ｘ、Ｙ座標値）Ｄとを含む。 FIG. 3 is a data structure diagram illustrating an example of the model information B. The model information B includes an item name (name, address, date of birth, amount of money) of the character recognition target character string C and position information (X, Y coordinate values) D thereof.
モデル保存部２２は、このようなモデル情報Ｂを、帳票Ａの種類毎に予め保存している。また、後述するように、新たな種類の帳票Ａが帳票情報認識装置１０によって処理される毎に、新たな種類の帳票Ａに対応する新たなモデル情報Ｂが生成されると、新たなモデル情報Ｂが、モデル作成部２６から出力されて来る。このようにしてモデル保存部２２には、帳票Ａの種類毎に、モデル情報Ｂを蓄積して行く。 The model storage unit 22 stores such model information B in advance for each type of form A. Further, as described later, whenever new model information B corresponding to a new type of form A is generated each time a new type of form A is processed by the form information recognition apparatus 10, new model information is generated. B is output from the model creation unit 26. In this manner, the model storage unit 22 accumulates the model information B for each type of form A.
図４は、帳票イメージａにおける文字認識対象文字列ｃおよびその位置情報ｄと、モデル情報Ｂにおける文字認識対象文字列Ｃおよびその位置情報Ｄとの対応関係を示す図である。 FIG. 4 is a diagram illustrating a correspondence relationship between the character recognition target character string c and its position information d in the form image a and the character recognition target character string C and its position information D in the model information B.
対象抽出部１４は、図４に示すように、ステップＳ２で抽出された位置情報ｄと、モデル情報Ｂに定義された文字認識対象文字列Ｃの位置情報Ｄとを照合する。対象抽出部１４は、この照合処理を、モデル保存部２２に保存されたすべてのモデル情報Ｂを対象に実行する（Ｓ３）。 As shown in FIG. 4, the target extraction unit 14 collates the position information d extracted in step S <b> 2 with the position information D of the character recognition target character string C defined in the model information B. The target extraction unit 14 performs this matching process on all model information B stored in the model storage unit 22 (S3).
対象抽出部１４は、ステップＳ３の位置情報ｄと位置情報Ｄとの照合処理の結果、帳票イメージａに対応するモデル情報Ｂが、モデル保存部２２に保存されているか否かを判定する（Ｓ４）。 The object extraction unit 14 determines whether or not the model information B corresponding to the form image a is stored in the model storage unit 22 as a result of the collation processing between the position information d and the position information D in step S3 (S4). ).
判定の結果、保存されていない場合、すなわち、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されていない（存在しない）場合には、後述するステップＳ５に進む。一方、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂが保存されている（存在する）場合には、後述するステップＳ７に進む。 As a result of the determination, if not stored, that is, if the model information B having the position information D that matches the position information d is not stored (does not exist) in the model storage unit 22, the process proceeds to step S5 described later. . On the other hand, when the model information B having the position information D that matches the position information d is stored (exists), the process proceeds to step S7 described later.
ステップＳ５では、帳票イメージ表示部１６が、帳票イメージ取得部１１から帳票イメージａを受け取り、ユーザが確認できるように、図５に示すように、帳票イメージａを、ブランクの文字認識処理用テーブルＥとともに表示する（Ｓ５）。この表示を参照しながら、ユーザは、ユーザ入力受付部１２を操作することによって、帳票イメージａにおける各文字認識対象文字列ｃを文字認識処理するために、文字認識処理用テーブルＥにおける対応する欄を指定する。例えば、図５に示す帳票イメージａの部分拡大図である図６に示すように、帳票イメージａ内の「山田太郎」という文字認識対象文字列ｃは、「氏名」に該当するので、ユーザは、ユーザ入力受付部１２のマウス等を操作することによって、「山田太郎」と記載されている文字認識対象文字列ｃを、ドラッグ等によって文字認識処理用テーブルＥの「氏名」欄に指定する。 In step S5, the form image display unit 16 receives the form image a from the form image acquisition unit 11 so that the user can confirm the form image a as shown in FIG. It is displayed together (S5). While referring to this display, the user operates the user input receiving unit 12 to perform character recognition processing on each character recognition target character string c in the form image a, so that the corresponding column in the character recognition processing table E corresponds. Is specified. For example, as shown in FIG. 6 which is a partially enlarged view of the form image a shown in FIG. 5, the character recognition target character string c “Taro Yamada” in the form image a corresponds to “name”. By operating the mouse or the like of the user input reception unit 12, the character recognition target character string c described as “Taro Yamada” is designated in the “Name” column of the character recognition processing table E by dragging or the like.
このようにステップＳ５のようなユーザ操作による文字認識対象文字列ｃの指定は、どのようなフォーマットの帳票に対しても対応可能であるので、高い柔軟性を備えている。 As described above, the designation of the character recognition target character string c by the user operation as in step S5 can be applied to a form of any format, and thus has high flexibility.
次に、文字認識部２４は、図５に示す文字認識処理用テーブルＥの部分拡大図である図７に示すように、文字認識処理用テーブルＥの各欄にドラッグされた文字認識対象文字列ｃに対する文字認識を行い、例えばテキストデータである文字認識結果ｆ（例えば、「山田太郎」）を、文字認識処理用テーブルＥの所定の欄に書き込む（Ｓ６）。 Next, as shown in FIG. 7 which is a partial enlarged view of the character recognition processing table E shown in FIG. 5, the character recognition unit 24 drags the character recognition target character string dragged to each column of the character recognition processing table E. Character recognition for c is performed, and a character recognition result f (for example, “Taro Yamada”), which is text data, for example, is written in a predetermined column of the character recognition processing table E (S6).
ユーザはさらに、ユーザ入力受付部１２のマウス等を操作することによって、図６に示すように、「東京都〜」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「住所」欄に指定し、「昭和５６年１月１２日」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「生年月日」欄に指定し、「３００，０００」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「金額」欄に指定する。これによって、文字認識部２４は、これら文字認識対象文字列ｃに対する文字認識を行う。 The user further operates the mouse or the like of the user input accepting unit 12 to drag the character recognition target character string c described as “Tokyo-to” as shown in FIG. Designate in the “Address” field of E, and designate the character recognition target character string c described as “January 12, 1981” in the “Birth date” field of the character recognition processing table E by dragging or the like. The character recognition target character string c described as “300,000” is designated in the “Amount” column of the character recognition processing table E by dragging or the like. As a result, the character recognition unit 24 performs character recognition on the character recognition target character string c.
同様に、ユーザはさらに、次のレコード（図５に示す例では「田中花子」）についても、ユーザ入力受付部１２のマウス等を操作することによって、文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの所定の欄に指定し、これに応じて、文字認識部２４は、文字認識対象文字列ｃに対する文字認識を行う。 Similarly, for the next record ("Hanako Tanaka" in the example shown in FIG. 5), the user operates the mouse or the like of the user input receiving unit 12 to move the character recognition target character string c by dragging or the like. The character recognition unit 24 performs character recognition on the character recognition target character string c in response to the designation in a predetermined column of the recognition processing table E.
このような処理によって、文字認識部２４は、ユーザによって指定された文字認識対象文字列ｃに対する文字認識を行うとともに、対応する帳票Ａの帳票イメージａにおける文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）と、各項目に対応する、帳票Ａの帳票イメージａ内における位置情報（Ｘ、Ｙ座標値）ｄを把握する。 Through such processing, the character recognition unit 24 performs character recognition on the character recognition target character string c designated by the user, and at the same time, the item name of the character recognition target character string c in the form image a of the corresponding form A (for example, , Name, address, date of birth, amount of money) and position information (X, Y coordinate values) d in the form image a of the form A corresponding to each item.
なお、図５の示すような文字認識処理用テーブルＥのフォーマットは一例であって、他のフォーマットであっても良く、モデル保存部２２に、代表的ないくつかのフォーマットの文字認識処理用テーブルＥを予め保存しておき、それらの中から適切な文字認識処理用テーブルＥをユーザが選択できるように、帳票イメージ表示部１６が表示するようにしても良い。一般に、データエントリ処理で使用されるデータの項目は類似している場合が多いので、仮に多くの帳票が存在していたとしても、文字認識処理用テーブルＥのフォーマットは、何種類かのパターンに集約される。 Note that the format of the character recognition processing table E as shown in FIG. 5 is an example, and other formats may be used. The model storage unit 22 stores the character recognition processing table in several representative formats. E may be stored in advance, and the form image display unit 16 may display it so that the user can select an appropriate character recognition processing table E from them. In general, since data items used in data entry processing are often similar, even if there are many forms, the format of the character recognition processing table E has several types of patterns. Aggregated.
また、文字認識処理用テーブルＥは、文字認識対象文字列Ｃの項目毎に属性を定義していても良い。たとえば、「氏名」や「住所」の属性は文字であり、「生年月日」や「金額」の属性は数字であると定義していても良い。 Further, the character recognition processing table E may define an attribute for each item of the character recognition target character string C. For example, the attributes of “name” and “address” may be defined as characters, and the attributes of “birth date” and “amount of money” may be defined as numbers.
ステップＳ７では、文字認識部２４が、モデル情報Ｂにおいて定義されたすべての位置情報Ｄに一致する位置情報ｄにおける文字認識対象文字列ｃに対して、文字認識処理を実行し、文字認識結果ｆを、文字認識結果表示部１８へ出力する（Ｓ７）。 In step S7, the character recognition unit 24 executes character recognition processing on the character recognition target character string c in the position information d that matches all the position information D defined in the model information B, and the character recognition result f Is output to the character recognition result display unit 18 (S7).
ステップＳ６およびステップＳ７の後、文字認識結果表示部１８は、文字認識結果ｆが書き込まれた文字認識処理用テーブルＥを表示する（Ｓ８）。 After step S6 and step S7, the character recognition result display unit 18 displays the character recognition processing table E in which the character recognition result f is written (S8).
これによって、ユーザは、文字認識結果ｆを確認できるようになる。そして、ユーザは、文字認識結果ｆに誤りがあることを発見すると、ユーザ入力受付部１２の例えばキーボードから修正情報ｇを入力することによって、文字認識結果ｆの誤りを修正する（Ｓ９）。 As a result, the user can check the character recognition result f. When the user finds that there is an error in the character recognition result f, the user corrects the error in the character recognition result f by inputting correction information g from the keyboard of the user input receiving unit 12, for example (S9).
図８は、このような修正処理の一例を示す図であり、帳票イメージａに「田中花子」と記載されているものの、文字認識部２４によって、「田中花了」と誤認識された文字認識結果ｆの例を示している。このような場合、ユーザは、ユーザ入力受付部１２のキーボードから修正情報ｇを入力することによって、「田中花了」の「了」を「子」に修正する。 FIG. 8 is a diagram showing an example of such correction processing. Although the form image “a” is described as “Tanaka Hanako”, the character recognition unit 24 erroneously recognizes “Tanaka Hanato” as the character recognition. An example of the result f is shown. In such a case, the user corrects “End” of “Hana Ryo Tanaka” to “Child” by inputting the correction information g from the keyboard of the user input receiving unit 12.
あるいは、文字認識結果表示部１８は、文字認識対象文字列Ｃの項目毎に定義されている属性と一致していない文字認識結果ｆがある場合、その文字認識結果ｆを強調表示しても良い。例えば、「氏名」の属性が文字として定義されているにも関わらず、「氏名」欄において変換された文字認識結果ｆがすべて数字であったり、「金額」の属性が数字として定義されているにも関わらず、「金額」欄において変換された文字認識結果ｆに文字が含まれているように、定義されている属性と一致していない文字認識結果ｆについては、強調表示する。これによって、ユーザが、文字認識結果ｆの誤りを容易に発見できるようにしている。 Alternatively, when there is a character recognition result f that does not match the attribute defined for each item of the character recognition target character string C, the character recognition result display unit 18 may highlight the character recognition result f. . For example, although the “name” attribute is defined as a character, the character recognition results f converted in the “name” field are all numbers, or the “money” attribute is defined as a number. Nevertheless, the character recognition result f that does not match the defined attribute is highlighted so that the character recognition result f converted in the “money” column includes a character. Thus, the user can easily find an error in the character recognition result f.
ユーザは、必要な修正を行い、すべての文字認識結果ｆが正しく表示されたことを確認すると、ユーザ入力受付部１２から修正終了指示ｈを入力する。ユーザ入力受付部１２は、修正終了指示ｈを、文字認識結果表示部１８へ出力する。これによって、文字認識結果ｆが確定され、文字認識結果表示部１８は、確定済文字認識結果Ｆを生成し、文字認識結果出力部２０へ出力する（Ｓ１０）。 When the user makes necessary corrections and confirms that all the character recognition results f are correctly displayed, the user inputs a correction end instruction h from the user input receiving unit 12. The user input receiving unit 12 outputs a correction end instruction h to the character recognition result display unit 18. As a result, the character recognition result f is confirmed, and the character recognition result display unit 18 generates a confirmed character recognition result F and outputs it to the character recognition result output unit 20 (S10).
ステップＳ１０の後の処理は、ステップＳ４の処理結果に応じて、ステップＳ１１またはステップＳ１２に進む。 The processing after step S10 proceeds to step S11 or step S12 depending on the processing result of step S4.
すなわち、ステップＳ４において、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されていない（存在しない）場合には、後述するステップＳ１１へ進み、その後、ステップＳ１２へ進む。一方、ステップＳ４において、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されている（存在する）場合には、ステップＳ１２へ進む。 That is, in step S4, when the model information B having the position information D that matches the position information d is not stored (does not exist) in the model storage unit 22, the process proceeds to step S11 to be described later, and then to step S12. move on. On the other hand, when the model information B having the position information D matching the position information d is stored (exists) in the model storage unit 22 in step S4, the process proceeds to step S12.
ステップＳ１１では、文字認識結果出力部２０が、確定済文字認識結果Ｆが属する文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）を、帳票Ａの帳票イメージａ内における位置情報（Ｘ、Ｙ座標値）ｄとともにモデル作成部２６へ出力する。モデル作成部２６は、文字認識結果出力部２０から出力された文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）および位置情報（Ｘ、Ｙ座標値）ｄに基づいて、新たなモデル情報Ｂを作成し、モデル保存部２２に保存する（Ｓ１１）。このようにして、モデル作成部２６は、モデル保存部２２にモデル情報Ｂが保存されていなかった帳票Ａのためのモデル情報Ｂを生成し、モデル保存部２２に蓄積させて行く。その後、ステップＳ１２に進む。 In step S11, the character recognition result output unit 20 uses the item name (for example, name, address, date of birth, amount) of the character recognition target character string c to which the confirmed character recognition result F belongs to the form image a of the form A. The position information (X, Y coordinate value) d in the image is output to the model creation unit 26. The model creation unit 26 adds the item name (for example, name, address, date of birth, amount) and position information (X, Y coordinate values) d of the character recognition target character string c output from the character recognition result output unit 20. Based on this, new model information B is created and stored in the model storage unit 22 (S11). In this way, the model creation unit 26 generates the model information B for the form A for which the model information B has not been stored in the model storage unit 22 and accumulates the model information B in the model storage unit 22. Thereafter, the process proceeds to step S12.
ステップＳ１２では、文字認識結果出力部２０が、確定済文字認識結果Ｆを出力する（Ｓ１２）。これは、文字認識結果出力ファイルＧとして電子データまたは紙媒体として出力されることも可能である。 In step S12, the character recognition result output unit 20 outputs the confirmed character recognition result F (S12). This can also be output as electronic data or paper media as a character recognition result output file G.
次に、以上のように構成した本実施形態の帳票情報認識装置１０の動作について図２Ａおよび図２Ｂのフローチャートを用いて説明する。 Next, the operation of the form information recognition apparatus 10 of the present embodiment configured as described above will be described with reference to the flowcharts of FIGS. 2A and 2B.
本実施形態の帳票情報認識装置１０によって帳票Ａの文字認識処理を行うためには、先ず、帳票イメージ取得部１１によって帳票Ａが読み込まれ、帳票イメージａが生成される（Ｓ１）。 In order to perform the character recognition processing of the form A by the form information recognition apparatus 10 of the present embodiment, first, the form image acquisition unit 11 reads the form A and generates the form image a (S1).
帳票イメージａは、帳票イメージ取得部１１から対象抽出部１４へ送られ、対象抽出部１４では、帳票イメージａから、文字認識対象部分が抽出される。文字認識対象部分とは、例えば、日付や金額等の文字認識対象文字列ｃである。文字認識対象文字列ｃは、帳票イメージａの全面にＯＣＲ処理が実施されることによって、事前定義されたフォーマットで文字列が並んでいる箇所の位置情報（Ｘ、Ｙ座標値）ｄとともに抽出される（Ｓ２）。 The form image a is sent from the form image acquisition unit 11 to the target extraction unit 14, and the target extraction unit 14 extracts a character recognition target portion from the form image a. The character recognition target portion is, for example, a character recognition target character string c such as date or amount. The character recognition target character string c is extracted together with position information (X, Y coordinate values) d of the part where the character strings are arranged in a predefined format by performing OCR processing on the entire form image a. (S2).
対象抽出部１４ではさらに、モデル保存部２２からモデル情報Ｂが取得される（Ｓ３）。 The target extraction unit 14 further acquires model information B from the model storage unit 22 (S3).
対象抽出部１４では、図４に示すように、ステップＳ２で抽出された位置情報ｄと、モデル情報Ｂに定義された文字認識対象文字列Ｃの位置情報Ｄとが照合される。対象抽出部１４では、この照合処理が、モデル保存部２２に保存されたすべてのモデル情報Ｂを対象に実行される（Ｓ３）。 As shown in FIG. 4, the target extraction unit 14 collates the position information d extracted in step S <b> 2 with the position information D of the character recognition target character string C defined in the model information B. In the target extraction unit 14, this collation process is executed for all model information B stored in the model storage unit 22 (S3).
対象抽出部１４では、ステップＳ３の位置情報ｄと位置情報Ｄとの照合処理の結果、帳票イメージａに対応するモデル情報Ｂが、モデル保存部２２に保存されているか否かが判定される（Ｓ４）。 In the target extraction unit 14, it is determined whether or not the model information B corresponding to the form image a is stored in the model storage unit 22 as a result of the collation processing between the position information d and the position information D in step S3 ( S4).
判定の結果、保存されていない場合には、ステップＳ５に進み、保存されている場合には、ステップＳ７に進む。 As a result of the determination, if not stored, the process proceeds to step S5, and if stored, the process proceeds to step S7.
ステップＳ５では、帳票イメージ表示部１６において、帳票イメージ取得部１１から帳票イメージａが受け取られ、ユーザが確認できるように、図５に示すように、帳票イメージａが、ブランクの文字認識処理用テーブルＥとともに表示される（Ｓ５）。この表示を参照しながら、ユーザが、ユーザ入力受付部１２を操作することによって、帳票イメージａにおける各文字認識対象文字列ｃを文字認識処理するために、文字認識処理用テーブルＥにおける対応する欄が指定される。 In step S5, the form image display unit 16 receives the form image a from the form image acquisition unit 11 and can be confirmed by the user. As shown in FIG. Is displayed together with E (S5). In order to perform character recognition processing for each character recognition target character string c in the form image a by operating the user input receiving unit 12 while referring to this display, the corresponding column in the character recognition processing table E Is specified.
このようなステップＳ５のようなユーザ操作による文字認識対象文字列ｃの指定は、どのようなフォーマットの帳票に対しても対応可能であるので、高い柔軟性を備えている。 The designation of the character recognition target character string c by the user operation as in step S5 can be applied to any format of the form, and thus has high flexibility.
次に、文字認識部２４では、図７に示すように、文字認識処理用テーブルＥの各欄にドラッグされた文字認識対象文字列ｃに対する文字認識が行われ、例えばテキストデータである文字認識結果ｆ（例えば、「山田太郎」）が、文字認識処理用テーブルＥの所定の欄に書き込まれる（Ｓ６）。 Next, as shown in FIG. 7, the character recognition unit 24 performs character recognition on the character recognition target character string c dragged to each column of the character recognition processing table E. For example, the character recognition result is text data. f (for example, “Taro Yamada”) is written in a predetermined column of the character recognition processing table E (S6).
このような処理によって、文字認識部２４では、ユーザによって指定された文字認識対象文字列ｃに対する文字認識が行われるとともに、対応する帳票Ａの帳票イメージaにおける文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）と、各項目に対応する、帳票Ａのイメージa内における位置情報（Ｘ、Ｙ座標値）ｄとが把握される。 By such processing, the character recognition unit 24 performs character recognition for the character recognition target character string c designated by the user, and the item name of the character recognition target character string c in the form image a of the corresponding form A ( For example, the name, address, date of birth, amount of money) and position information (X, Y coordinate values) d in the image a of the form A corresponding to each item are grasped.
ステップＳ７では、文字認識部２４において、モデル情報Ｂにおいて定義されたすべての位置情報Ｄに一致する位置情報ｄに対応する文字認識対象文字列ｃに対して、文字認識処理が実行され、文字認識結果ｆが、文字認識結果表示部１８へ出力される（Ｓ７）。 In step S7, the character recognition unit 24 performs a character recognition process on the character recognition target character string c corresponding to the position information d that matches all the position information D defined in the model information B, and character recognition is performed. The result f is output to the character recognition result display unit 18 (S7).
ステップＳ６およびステップＳ７の後、文字認識結果表示部１８では、文字認識結果ｆが書き込まれた文字認識処理用テーブルＥが表示される（Ｓ８）。 After step S6 and step S7, the character recognition result display unit 18 displays the character recognition processing table E in which the character recognition result f is written (S8).
これによって、ユーザは、文字認識結果ｆを確認できるようになる。そして、ユーザは、文字認識結果ｆに誤りがあることを発見すると、ユーザ入力受付部１２の例えばキーボードから修正情報ｇを入力する。これによって、文字認識結果ｆの誤りが修正される（Ｓ９）。 As a result, the user can check the character recognition result f. When the user finds that the character recognition result f has an error, the user inputs correction information g from the keyboard of the user input receiving unit 12, for example. Thereby, the error of the character recognition result f is corrected (S9).
必要な修正がなされ、すべての文字認識結果ｆが正しく表示されたことがユーザによって確認されると、ユーザによって、ユーザ入力受付部１２へ修正終了指示ｈが入力される。修正終了指示ｈは、ユーザ入力受付部１２から、文字認識結果表示部１８へ出力される。これによって、文字認識結果ｆが確定され、文字認識結果表示部１８では、確定済文字認識結果Ｆが生成され、文字認識結果出力部２０へ出力される（Ｓ１０）。 When necessary corrections are made and the user confirms that all the character recognition results f are correctly displayed, the user inputs a correction end instruction h to the user input reception unit 12. The correction completion instruction h is output from the user input receiving unit 12 to the character recognition result display unit 18. Thereby, the character recognition result f is confirmed, and the character recognition result display unit 18 generates a confirmed character recognition result F and outputs it to the character recognition result output unit 20 (S10).
ステップＳ１０の後の処理は、ステップＳ４の処理結果に応じて、ステップＳ１１またはステップＳ１２に進む。 The processing after step S10 proceeds to step S11 or step S12 depending on the processing result of step S4.
すなわち、ステップＳ４において、保存されていないと判定された場合には、ステップＳ１１へ進み、その後、ステップＳ１２へ進む一方、保存されていると判定された場合には、ステップＳ１２へ進む。 In other words, if it is determined in step S4 that it is not stored, the process proceeds to step S11, and then proceeds to step S12. If it is determined that it is stored, the process proceeds to step S12.
ステップＳ１１では、文字認識結果出力部２０によって、確定済文字認識結果Ｆが属する文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）が、帳票Ａの帳票イメージa内における位置情報（Ｘ、Ｙ座標値）ｄとともにモデル作成部２６へ出力される。さらに、モデル作成部２６では、文字認識結果出力部２０から出力された文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）および位置情報（Ｘ、Ｙ座標値）ｄに基づいて、新たなモデル情報Ｂが作成され、モデル保存部２２に保存される（Ｓ１１）。このようにして、モデル作成部２６では、モデル保存部２２にモデル情報Ｂが保存されていなかった帳票Ａのためのモデル情報Ｂが生成され、モデル保存部２２に蓄積されて行く。その後、ステップＳ１２に進む。 In step S11, the character recognition result output unit 20 causes the item name (for example, name, address, date of birth, amount) of the character recognition target character string c to which the confirmed character recognition result F belongs to the form image a of the form A. The position information (X, Y coordinate values) d in the image is output to the model creating unit 26. Further, in the model creation unit 26, the item name (for example, name, address, date of birth, amount) of the character recognition target character string c output from the character recognition result output unit 20 and position information (X, Y coordinate values). Based on d, new model information B is created and stored in the model storage unit 22 (S11). In this way, the model creation unit 26 generates model information B for the form A for which the model information B has not been stored in the model storage unit 22 and accumulates the model information B in the model storage unit 22. Thereafter, the process proceeds to step S12.
ステップＳ１２では、文字認識結果出力部２０によって、電子データまたは紙媒体等として文字認識結果出力ファイルＧが出力される（Ｓ１２）。 In step S12, the character recognition result output unit 20 outputs a character recognition result output file G as electronic data or a paper medium (S12).
上述したように、本実施形態の帳票情報認識装置１０によれば、上記のような作用により、モデル保存部２２にモデル情報Ｂが保存されている帳票Ａについては、モデル保存部２２からの対応するモデル情報Ｂの抽出、モデル情報Ｂに基づく文字認識対象文字列の文字認識といった一連の処理を自動的に行うことが可能となる。 As described above, according to the form information recognition apparatus 10 of the present embodiment, for the form A in which the model information B is stored in the model storage unit 22 due to the above operation, the correspondence from the model storage unit 22 A series of processing such as extraction of model information B to be performed and character recognition of a character recognition target character string based on the model information B can be automatically performed.
また、モデル保存部２２にモデル情報Ｂが保存されていない帳票Ａについては、ユーザ操作によって指定された文字認識対象文字列ｃと、その位置情報ｄに基づいて、モデル情報Ｂを生成することが可能となる。このようなユーザ操作に基づく文字認識対象文字列ｃおよび位置情報ｄの指定は、どのようなフォーマットの帳票Ａに対しても実施可能であるので、モデル情報Ｂの生成に関する柔軟性および容易性を高めることが可能となる。 Further, for the form A in which the model information B is not stored in the model storage unit 22, the model information B may be generated based on the character recognition target character string c specified by the user operation and the position information d. It becomes possible. The designation of the character recognition target character string c and the position information d based on the user operation can be performed for the form A of any format, so that the flexibility and ease of generating the model information B can be increased. It becomes possible to raise.
これによって、新たなモデル情報を自動的に作成し、蓄積することができるので、モデル情報の作成に関するユーザの負担およびコストの削減が可能となる。さらには、モデル情報の作成が容易になることから、少量多種の帳票や、頻繁にフォーマットが変更される帳票であっても、モデル定義に要するコストを削減することが可能となる。 As a result, new model information can be automatically created and stored, so that the burden on the user and the cost for creating model information can be reduced. Furthermore, since the creation of model information is facilitated, the cost required for model definition can be reduced even for a small number of various forms or even a form whose format is frequently changed.
そして、このようにモデル情報Ｂがモデル保存部２２に保存されると、以降は、モデル保存部２２からの対応するモデル情報Ｂの抽出、モデル情報Ｂに基づく文字認識対象文字列の文字認識といった一連の処理が自動的に行われるようになる。 When the model information B is stored in the model storage unit 22 in this manner, the corresponding model information B is extracted from the model storage unit 22 and character recognition of the character recognition target character string based on the model information B is performed thereafter. A series of processing is automatically performed.
このように、本実施形態の帳票情報文字認識装置１０によれば、モデル情報Ｂを、ユーザの負担を増やすことなく作成し、作成したモデル情報Ｂに基づいて、文字認識対象文字列の文字認識を繰り返すことによって、自動文字認識効率を高めるように自己学習することが可能となる。 As described above, according to the form information character recognition apparatus 10 of the present embodiment, the model information B is created without increasing the burden on the user, and the character recognition of the character recognition target character string is performed based on the created model information B. By repeating the above, self-learning can be performed so as to increase the automatic character recognition efficiency.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
本願は、特願２０１７−１８０８６１を原出願とする分割出願である。以下、分割直前の原出願の明細書に付記された発明（原出願の出願当初の特許請求の範囲に記載された発明）である。
［Ｃ１］
帳票に記載された情報を文字認識するための帳票情報認識装置であって、
前記帳票から帳票イメージを取得する取得部と、
前記帳票イメージにおいて文字認識対象部分の位置情報を抽出する抽出部と、
前記位置情報を帳票種類毎に定義したモデル情報を保存する保存部と、
前記抽出部によって抽出された位置情報に一致する位置情報が定義されたモデル情報が前記保存部に保存されている場合、このモデル情報に定義されている位置情報に対応する前記文字認識対象部分の文字認識処理を行い、保存されていない場合、前記帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行う文字認識部と、
前記指定された文字認識対象部分の文字認識処理がなされた場合、前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、前記保存部に保存させるモデル作成部と、
を備えた帳票情報認識装置。
［Ｃ２］
前記モデル情報が前記保存部に既に保存されている帳票については、前記文字認識部によって、前記操作入力なしで自動的に前記文字認識処理がなされるような、自己学習機能を実現する、［Ｃ１］に記載の帳票情報認識装置。
［Ｃ３］
前記文字認識部によってなされた文字認識処理の結果を表示する表示部と、
前記表示部に表示された文字認識処理の結果を修正するための操作入力を受け付ける入力受付部と、をさらに備える［Ｃ１］または［Ｃ２］に記載の帳票情報認識装置。
［Ｃ４］
前記モデル情報は、前記文字認識対象部分の各々の属性を定義しており、
前記表示部は、前記文字認識処理された文字認識対象部分の属性が、前記モデル情報で定義された属性とは異なる場合、当該文字認識対象部分の文字認識処理の結果を強調表示する、［Ｃ３］に記載の帳票情報認識装置。
［Ｃ５］
帳票に記載された情報を文字認識するための帳票情報認識方法であって、
帳票読取装置によって前記帳票から帳票イメージを取得し、
前記帳票イメージにおいて文字認識対象部分の位置情報を抽出し、
前記抽出された位置情報に一致する位置情報が定義されたモデル情報が記憶装置に保存されている場合、このモデル情報に定義されている位置情報に対応する前記文字認識対象部分の文字認識処理を行い、
前記抽出された位置情報に一致する位置情報が定義されたモデル情報が前記記憶装置に保存されていない場合、前記帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行い、
前記操作入力によって指定された文字認識対象部分の文字認識処理がなされた場合、前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、前記記憶装置に保存することによって、前記モデル情報が前記記憶装置に既に保存されている帳票については、前記操作入力なしで自動的に前記文字認識処理がなされるような、自己学習機能を実現する、帳票情報認識方法。
Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
This application is a divisional application whose original application is Japanese Patent Application No. 2017-180861. Hereinafter, the invention (the invention described in the scope of claims of the original application) appended to the specification of the original application immediately before the division.
[C1]
A form information recognition device for character recognition of information written in a form,
An acquisition unit for acquiring a form image from the form;
An extraction unit for extracting position information of a character recognition target portion in the form image;
A storage unit for storing model information in which the position information is defined for each form type;
When model information in which position information matching the position information extracted by the extraction unit is defined is stored in the storage unit, the character recognition target portion corresponding to the position information defined in the model information is stored. When character recognition processing is performed and not saved, in the form image, a character recognition unit that performs character recognition processing of a character recognition target portion designated by an operation input;
When character recognition processing of the designated character recognition target part is performed, model information for a form corresponding to the form image is created using position information of the designated character recognition target part in the form image A model creation unit for storing the model information in the storage unit;
Form information recognition device with
[C2]
For a form in which the model information is already stored in the storage unit, a self-learning function is realized such that the character recognition unit automatically performs the character recognition process without the operation input [C1 ] The form information recognition device described in the above.
[C3]
A display unit for displaying a result of the character recognition processing performed by the character recognition unit;
The form information recognition apparatus according to [C1] or [C2], further comprising: an input reception unit that receives an operation input for correcting a result of the character recognition process displayed on the display unit.
[C4]
The model information defines each attribute of the character recognition target part,
When the attribute of the character recognition target part subjected to the character recognition process is different from the attribute defined in the model information, the display unit highlights the result of the character recognition process of the character recognition target part [C3 ] The form information recognition device described in the above.
[C5]
A form information recognition method for character recognition of information written in a form,
Obtain a form image from the form by the form reading device,
Extracting the position information of the character recognition target part in the form image,
When model information in which position information matching the extracted position information is defined is stored in a storage device, character recognition processing of the character recognition target portion corresponding to the position information defined in the model information is performed. Done
When model information in which position information matching the extracted position information is defined is not stored in the storage device, in the form image, character recognition processing of a character recognition target portion designated by an operation input is performed,
A model for a form corresponding to the form image using the position information in the form image of the designated character recognition target part when the character recognition process of the character recognition target part specified by the operation input is performed By creating information and storing the model information in the storage device, the character recognition processing is automatically performed without the operation input for the form in which the model information is already stored in the storage device. A form information recognition method that realizes a self-learning function.
１０ 帳票情報認識装置、１１ 帳票イメージ取得部、１２ ユーザ入力受付部、１４ 対象抽出部、１６ 帳票イメージ表示部、１８ 文字認識結果表示部、２０ 文字認識結果出力部、２２ モデル保存部、２４ 文字認識部、２６ モデル作成部。 DESCRIPTION OF SYMBOLS 10 Form information recognition apparatus, 11 Form image acquisition part, 12 User input reception part, 14 Object extraction part, 16 Form image display part, 18 Character recognition result display part, 20 Character recognition result output part, 22 Model storage part, 24 characters Recognition unit, 26 Model creation unit.
Claims (14)
前記帳票の帳票イメージを取得する帳票イメージ取得部と、
この帳票イメージから、文字認識対象部分を抽出する対象抽出部と、
操作により指定された文字認識対象部分の文字認識処理を行う文字認識部と、
前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成出来るモデル作成部と、
このモデル作成部で作成されたモデル情報を蓄積するモデル保存部と
を備えた帳票情報認識装置。 A form information recognition device for character recognition of information written in a form,
A form image acquisition unit for acquiring a form image of the form;
A target extraction unit that extracts a character recognition target part from the form image;
A character recognition unit that performs character recognition processing of the character recognition target portion specified by the operation;
A model creation unit capable of automatically creating model information for a form corresponding to the form image, using position information in the form image of the designated character recognition target part;
A form information recognition apparatus comprising a model storage unit for storing model information created by the model creation unit.
前記帳票イメージ取得部が取得した帳票イメージが、前記モデル保存部に保存されていない場合は、前記モデル作成部は新たなモデル情報を作成し、前記モデル保存部に新たなモデル情報を蓄積することを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1,
When the form image acquired by the form image acquisition unit is not stored in the model storage unit, the model generation unit generates new model information and stores the new model information in the model storage unit A form information recognition device characterized by this.
前記モデル情報には、帳票のフォーマット情報を含むことを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2,
A form information recognition apparatus characterized in that the model information includes form format information.
帳票イメージを表示する帳票イメージ表示部を有し、
この帳票イメージ表示部は、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルを並べて表示出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2,
It has a form image display part that displays a form image,
The form image display unit can display the form image and a character recognition processing table having form item information side by side.
帳票イメージを表示する帳票イメージ表示部を有し、
この帳票イメージ表示部は、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルを並べて表示し、文字認識結果に誤りがある場合は、ユーザ入力受付部より修正情報を入力し、修正すべき文字を修正出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2,
It has a form image display part that displays a form image,
The form image display unit displays the form image and the character recognition processing table having the item information of the form side by side. If there is an error in the character recognition result, the correction information is input from the user input reception unit and corrected. Form information recognition device characterized by being able to correct power characters.
前記操作とは、文字認識対象文字列を、ドラッグ処理により文字認識処理テーブルの所定の欄に紐付けて指定することが出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1,
The operation is a form information recognition apparatus characterized in that a character recognition target character string can be specified by being associated with a predetermined column of a character recognition processing table by drag processing.
前記ドラッグ処理はマウスにより行われることを特徴とする帳票情報認識装置。 In the form information recognition apparatus according to claim 6,
The form information recognition apparatus characterized in that the drag processing is performed with a mouse.
前記帳票から、帳票イメージ取得部により帳票イメージを取得し、
この帳票イメージから、文字認識対象部分を抽出し、
操作者の操作により指定された文字認識対象部分の文字認識処理を行い、
前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成し、
このモデル情報をコンピュータシステムの記憶部に保存する
ステップを有することを特徴とする帳票情報認識方法。 Using a computer system that has a semiconductor chip including at least a CPU, a form image acquisition unit that can acquire a form image, a storage unit that can store at least data or a program, and information written on the form A form information recognition method for character recognition,
A form image is acquired from the form by the form image acquisition unit,
Extract the character recognition target part from this form image,
Perform character recognition processing for the character recognition target part specified by the operator's operation,
Using the position information in the form image of the designated character recognition target part, automatically creates model information for the form corresponding to the form image,
A form information recognition method comprising a step of storing the model information in a storage unit of a computer system.
前記帳票イメージ取得部が取得した帳票イメージが、前記記憶部にモデル情報として保存されていない場合、前記半導体チップを使用し新たなモデル情報を作成し、前記記憶部に新たなモデル情報を保存することを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8,
When the form image acquired by the form image acquisition unit is not stored as model information in the storage unit, new model information is created using the semiconductor chip, and the new model information is stored in the storage unit A form information recognition method characterized by that.
前記コンピュータシステムの表示部に帳票イメージを表示することが出来、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルが並べて表示出来ることを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8 or 9,
A form information recognition method, wherein a form image can be displayed on a display unit of the computer system, and the form image and a character recognition processing table having item information of the form can be displayed side by side.
前記コンピュータシステムの表示部に帳票イメージを表示することが出来、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルが並べて表示出来、文字認識結果に誤りがある場合は、ユーザ入力受付部より修正情報を入力し、修正すべき文字を修正出来ることを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8 or 9,
A form image can be displayed on the display unit of the computer system, and the form image can be displayed side by side with a character recognition processing table having item information of the form. A form information recognition method characterized by being able to input correction information and correct a character to be corrected.
前記帳票から帳票イメージを取得し、
この帳票イメージ内であって、操作により指定された部分の文字認識処理を行い、
前記指定された部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成し、このモデル情報を装置の記憶部に蓄積する帳票情報認識方法。 A form information recognition method for character recognition of information written in a form,
Obtain a form image from the form,
In this form image, perform character recognition processing of the part specified by the operation,
A form information recognition method for automatically creating model information for a form corresponding to the form image using position information in the form image of the designated portion and storing the model information in a storage unit of the apparatus .
前記帳票から帳票イメージを取得し、
この帳票イメージから、文字認識対象部分を抽出し、
この帳票イメージ内であって、操作により指定された部分の文字認識処理を行い、
前記指定された部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成し、このモデル情報を装置の記憶部に蓄積する処理をコンピュータに実行させるプログラムを記憶した記憶媒体。 A program for character recognition of information written in a form,
Obtain a form image from the form,
Extract the character recognition target part from this form image,
In this form image, perform character recognition processing of the part specified by the operation,
Using the position information of the designated part in the form image, automatically creates model information for the form corresponding to the form image, and stores the model information in the storage unit of the apparatus in the computer A storage medium that stores a program to be executed.
前記帳票イメージが、前記記憶部にモデル情報として保存されていない場合、新たなモデル情報を作成し、前記記憶部に新たなモデル情報を保存する処理をコンピュータに実行させるプログラムを記憶した記憶媒体。 The storage medium according to claim 13, wherein
A storage medium storing a program for creating new model information and causing a computer to execute processing for saving new model information in the storage unit when the form image is not stored as model information in the storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222605A JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222605A JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017180861A Division JP6445645B1 (en) | 2017-09-21 | 2017-09-21 | Form information recognition apparatus and form information recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019057311A true JP2019057311A (en) | 2019-04-11 |
| JP6755926B2 JP6755926B2 (en) | 2020-09-16 |
Family
ID=66107691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018222605A Active JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6755926B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329708A (en) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | Bill identification method and device |
| JP2021026671A (en) * | 2019-08-08 | 2021-02-22 | 株式会社三菱Ｕｆｊ銀行 | Telegram distribution device, method, program and system |
| KR20210140844A (en) * | 2020-05-14 | 2021-11-23 | 지의소프트 주식회사 | Table data storing system and method on the electronic document |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0973500A (en) * | 1995-09-06 | 1997-03-18 | Oki Electric Ind Co Ltd | Document recognition and classification system |
| JPH09204422A (en) * | 1996-01-26 | 1997-08-05 | Casio Comput Co Ltd | Read data processor |
| JPH11306281A (en) * | 1998-04-27 | 1999-11-05 | Nec Corp | Recognizing condition specifying system, its method, and recording medium in which program to generate recognizing condition specifying function on computer is recorded |
| JP2000315209A (en) * | 1999-04-30 | 2000-11-14 | Ricoh Co Ltd | Image filing device, image filing method and recording medium readable by computer in which program to make computer execute the method is recorded |
| JP2002298081A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Optical character recognition device and field definition method of document reading definition body |
| JP2011248669A (en) * | 2010-05-27 | 2011-12-08 | Ricoh Co Ltd | Document management program, storage medium, information processor, and document management method |
| JP2016192223A (en) * | 2016-06-17 | 2016-11-10 | 弘明 小野 | Accounting information reading system and program |
-
2018
- 2018-11-28 JP JP2018222605A patent/JP6755926B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0973500A (en) * | 1995-09-06 | 1997-03-18 | Oki Electric Ind Co Ltd | Document recognition and classification system |
| JPH09204422A (en) * | 1996-01-26 | 1997-08-05 | Casio Comput Co Ltd | Read data processor |
| JPH11306281A (en) * | 1998-04-27 | 1999-11-05 | Nec Corp | Recognizing condition specifying system, its method, and recording medium in which program to generate recognizing condition specifying function on computer is recorded |
| JP2000315209A (en) * | 1999-04-30 | 2000-11-14 | Ricoh Co Ltd | Image filing device, image filing method and recording medium readable by computer in which program to make computer execute the method is recorded |
| JP2002298081A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Optical character recognition device and field definition method of document reading definition body |
| JP2011248669A (en) * | 2010-05-27 | 2011-12-08 | Ricoh Co Ltd | Document management program, storage medium, information processor, and document management method |
| JP2016192223A (en) * | 2016-06-17 | 2016-11-10 | 弘明 小野 | Accounting information reading system and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021026671A (en) * | 2019-08-08 | 2021-02-22 | 株式会社三菱Ｕｆｊ銀行 | Telegram distribution device, method, program and system |
| JP7376275B2 (en) | 2019-08-08 | 2023-11-08 | 株式会社三菱Ｕｆｊ銀行 | Message sorting device, method, program, and system |
| KR20210140844A (en) * | 2020-05-14 | 2021-11-23 | 지의소프트 주식회사 | Table data storing system and method on the electronic document |
| KR102364100B1 (en) * | 2020-05-14 | 2022-02-21 | 지의소프트 주식회사 | Table data storing system and method on the electronic document |
| CN112329708A (en) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | Bill identification method and device |
| CN112329708B (en) * | 2020-11-24 | 2024-08-06 | 北京百度网讯科技有限公司 | Bill identification method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6755926B2 (en) | 2020-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6881990B2 (en) | Image processing device, its control method, and program | |
| JP5623079B2 (en) | Automatic generation of form definitions from hardcopy forms | |
| JP4347677B2 (en) | Form OCR program, method and apparatus | |
| US9613267B2 (en) | Method and system of extracting label:value data from a document | |
| US20050289182A1 (en) | Document management system with enhanced intelligent document recognition capabilities | |
| US10963717B1 (en) | Auto-correction of pattern defined strings | |
| JP6755926B2 (en) | Form information recognition device and form information recognition method | |
| JP2008145611A (en) | Information processor and program | |
| JP6445645B1 (en) | Form information recognition apparatus and form information recognition method | |
| US8200009B2 (en) | Control of optical character recognition (OCR) processes to generate user controllable final output documents | |
| JP7439435B2 (en) | Information processing device and program | |
| JP4518212B2 (en) | Image processing apparatus and program | |
| US20100023517A1 (en) | Method and system for extracting data-points from a data file | |
| JP4347675B2 (en) | Form OCR program, method and apparatus | |
| US11170211B2 (en) | Information processing apparatus for extracting portions filled with characters from completed document without user intervention and non-transitory computer readable medium | |
| JP7408340B2 (en) | Image processing device control method, program, and image processing device | |
| TWM626292U (en) | Business-oriented key item key-value identification system | |
| JP4517822B2 (en) | Image processing apparatus and program | |
| JP6190549B1 (en) | Document processing system | |
| JP6682827B2 (en) | Information processing apparatus and information processing program | |
| TWI807467B (en) | Key-item detection model building method, business-oriented key-value identification system and method | |
| JP6003677B2 (en) | Image processing apparatus and image processing program | |
| US20240193370A1 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
| JP2009223391A (en) | Image processor and image processing program | |
| US20240346068A1 (en) | Drawing search device, drawing database construction device, drawing search system, drawing search method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6755926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |