JP2021005234A - Form recognition device, form recognition method, and form recognition system - Google Patents

Form recognition device, form recognition method, and form recognition system Download PDF

Info

Publication number
JP2021005234A
JP2021005234A JP2019118900A JP2019118900A JP2021005234A JP 2021005234 A JP2021005234 A JP 2021005234A JP 2019118900 A JP2019118900 A JP 2019118900A JP 2019118900 A JP2019118900 A JP 2019118900A JP 2021005234 A JP2021005234 A JP 2021005234A
Authority
JP
Japan
Prior art keywords
shaded
pixels
unit
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019118900A
Other languages
Japanese (ja)
Other versions
JP7267854B2 (en
Inventor
広 新庄
Hiroshi Shinjo
広 新庄
英輔 浅野
Eisuke Asano
英輔 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Omron Terminal Solutions Corp
Original Assignee
Hitachi Omron Terminal Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Omron Terminal Solutions Corp filed Critical Hitachi Omron Terminal Solutions Corp
Priority to JP2019118900A priority Critical patent/JP7267854B2/en
Publication of JP2021005234A publication Critical patent/JP2021005234A/en
Application granted granted Critical
Publication of JP7267854B2 publication Critical patent/JP7267854B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To remove shaded pixels of various shapes.SOLUTION: A form recognition device comprises: a shaded area extraction unit that extracts a shaded area from a form image by extracting pixels in which a continuous length of black pixels is a predetermined value or less in units of rows and columns of the form image input from an image input unit; and a shading removal unit that removes shaded pixels from the form image by removing pixels in which a continuous length of black pixels is a predetermined value or less in units of rows and columns in the shaded area of the form image.SELECTED DRAWING: Figure 3

Description

本発明は、帳票画像上に記載される網掛け領域の抽出と網掛け画素の除去、および帳票認識の技術に関する。 The present invention relates to a technique for extracting a shaded area described on a form image, removing shaded pixels, and recognizing a form.

光学式文字認識装置(OCR)に代表される帳票認識装置は、処理する帳票の罫線や枠、文字列等のレイアウトを解析し、文字列内の文字を認識する。 The form recognition device represented by the optical character recognition device (OCR) analyzes the layout of the ruled lines, frames, character strings, etc. of the form to be processed, and recognizes the characters in the character string.

通常の帳票認識では、均一な背景上に記載された文字を認識対象としている。しかし、網掛け領域に記載された文字は、網掛けの影響により背景と文字を正しく分離できないため、通常のOCRでは認識できない。網掛け領域上の文字を認識するには、網掛け領域を抽出し、網掛けの画素を除去する処理が必要となる。 In normal form recognition, characters written on a uniform background are recognized. However, the characters described in the shaded area cannot be recognized by normal OCR because the background and the characters cannot be correctly separated due to the influence of the shaded area. In order to recognize the characters on the shaded area, it is necessary to extract the shaded area and remove the shaded pixels.

帳票から網掛け領域を抽出して文字を認識する技術として、例えば特許文献1に開示の技術がある。この技術では、孤立点のヒストグラムを解析することにより網掛け領域を判定して網掛けの画素を除去する。 As a technique for extracting a shaded area from a form and recognizing characters, for example, there is a technique disclosed in Patent Document 1. In this technique, a shaded area is determined by analyzing a histogram of isolated points, and shaded pixels are removed.

特開2001−76096号公報Japanese Unexamined Patent Publication No. 2001-76096

特許文献1の方式では孤立点のヒストグラムを用いているため、小さい点で構成される網掛けしか対応できない。細い斜め線が交差する網掛けなどには対応できない。 Since the method of Patent Document 1 uses a histogram of isolated points, only shading composed of small points can be supported. It cannot be used for shading where thin diagonal lines intersect.

本発明は、孤立点で構成される網掛けだけでなく、線が交差する網掛けパターンでも網掛け領域を抽出し、網掛けを除去する技術を提供することを目的とする。 An object of the present invention is to provide a technique for extracting a shaded area and removing the shaded area not only in a shaded pattern composed of isolated points but also in a shaded pattern in which lines intersect.

本発明における帳票認識装置は、好ましくは、画像入力部から入力された帳票画像を行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を抽出することにより、前記帳票画像の中から網掛け領域を抽出する網掛け領域抽出部と、前記帳票画像の網掛け領域内において、行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を除去することにより、前記帳票画像の中から網掛け画素を除去する網掛け除去部と、を備えることを特徴とする帳票認識装置として構成される。 The form recognition device in the present invention preferably extracts a form image input from an image input unit in rows and columns so that the continuous length of black pixels is equal to or less than a predetermined value. In the shaded area extraction unit that extracts the shaded area from the form image and the shaded area of the form image, the continuous length of black pixels in row units and column units is equal to or less than a predetermined value. The form recognition device is configured to include a shading removal unit that removes shading pixels from the form image by removing the pixels of the above.

また、本発明は、上記帳票認識装置において行われる帳票認識方法、および帳票認識システムとしても把握される。 The present invention is also understood as a form recognition method and a form recognition system performed in the form recognition device.

本発明の一態様によれば、様々な網掛けの画素を除去することができる。 According to one aspect of the present invention, various shaded pixels can be removed.

第1実施形態の帳票認識装置の構成図である。It is a block diagram of the form recognition apparatus of 1st Embodiment. 入力対象の帳票画像と処理結果の例である。This is an example of the form image to be input and the processing result. 第1実施形態の網掛け除去処理のフローを示す図である。It is a figure which shows the flow of the shading removal processing of 1st Embodiment. 入力対象の帳票画像の例である。This is an example of a form image to be input. 第1実施形態の網掛け画素候補抽出処理結果の例である。This is an example of the shaded pixel candidate extraction processing result of the first embodiment. 第1実施形態の網掛け画素候補抽出処理結果の例である。This is an example of the shaded pixel candidate extraction processing result of the first embodiment. 第1実施形態の網掛け画素候補連結処理結果の例である。This is an example of the shaded pixel candidate concatenation processing result of the first embodiment. 第1実施形態の網掛け領域抽出処理結果の例である。This is an example of the shaded area extraction processing result of the first embodiment. 第1実施形態の網掛け画素除去処理結果の例である。This is an example of the shaded pixel removal processing result of the first embodiment. 第2実施形態の網掛け除去パラメータ設定のGUIを示す図である。It is a figure which shows the GUI of the shading removal parameter setting of 2nd Embodiment. 網掛け除去処理の挙動を確認するためのテスト画像の例である。This is an example of a test image for confirming the behavior of the shading removal process. 第3実施形態の網掛け除去処理のパラメータを自動的に決定するフローを示す図である。It is a figure which shows the flow which determines the parameter of the shading removal processing of 3rd Embodiment automatically. 帳票認識システムの構成例を示す図である。It is a figure which shows the configuration example of the form recognition system.

以下、実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。 Hereinafter, embodiments will be described in detail with reference to the drawings. However, the present invention is not construed as being limited to the description of the embodiments shown below. It is easily understood by those skilled in the art that a specific configuration thereof can be changed without departing from the idea or purpose of the present invention.

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。 In the configuration of the invention described below, the same reference numerals may be used in common among different drawings for the same parts or parts having similar functions, and duplicate description may be omitted.

本明細書等における「第1」、「第2」、「第3」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。 The notations such as "first", "second", and "third" in the present specification and the like are attached to identify the components, and do not necessarily limit the number or order. In addition, numbers for identifying components are used for each context, and numbers used in one context do not always indicate the same composition in other contexts. Further, it does not prevent the component identified by a certain number from having the function of the component identified by another number.

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。 The position, size, shape, range, etc. of each configuration shown in the drawings and the like may not represent the actual position, size, shape, range, etc. in order to facilitate understanding of the invention. Therefore, the present invention is not necessarily limited to the position, size, shape, range, etc. disclosed in the drawings and the like.

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。 Components represented in the singular form herein shall include the plural form unless explicitly stated in the context.

続いて、本実施例における帳票認識装置、帳票認識方法、及び帳票認識プログラムについて、図面を用いて詳細に説明する。まず、ハードウェア構成について説明する。 Subsequently, the form recognition device, the form recognition method, and the form recognition program in this embodiment will be described in detail with reference to the drawings. First, the hardware configuration will be described.

図1は、本実施例における帳票認識装置100のハードウェア構成例である。帳票認識装置100は、操作部110と、表示部120と、画像入力部130と、記憶部140と、制御部150と、インターフェース(IF)160とを備えるコンピュータ装置である。 FIG. 1 is a hardware configuration example of the form recognition device 100 in this embodiment. The form recognition device 100 is a computer device including an operation unit 110, a display unit 120, an image input unit 130, a storage unit 140, a control unit 150, and an interface (IF) 160.

操作部110は、例えば、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等、ハードウェアとしては一般的な装置から構成される。表示部120は、例えば、入力画像や認識結果等を表示する液晶ディスプレイ等、ハードウェアとしては一般的な装置から構成される。 The operation unit 110 is composed of devices that are general in terms of hardware, such as a keyboard used when a user inputs numbers and characters, and a button for instructing the start of scanning. The display unit 120 is composed of a device that is general as hardware, such as a liquid crystal display that displays an input image, a recognition result, or the like.

画像入力部130は、例えば、フラットベッドスキャナやオートシートフィーダ付きのスキャナ、およびCCD(Charge Coupled Device)等の撮像素子を用いて画像を撮像するデジタルカメラ等、ハードウェアとしては一般的な装置から構成される。記憶部140は、例えば、メモリやハードディスク装置等からなる記憶デバイス等、ハードウェアとしては一般的な装置から構成される。記憶部140は、画像入力部130で入力された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、記憶部140は、文字識別辞書等を記憶する。 The image input unit 130 is derived from a device generally used as hardware, such as a flatbed scanner, a scanner with an auto sheet feeder, and a digital camera that captures an image using an image sensor such as a CCD (Charge Coupled Device). It is composed. The storage unit 140 is composed of devices that are general in terms of hardware, such as a storage device including a memory or a hard disk device. The storage unit 140 stores the image input by the image input unit 130, various internal processing programs, and various setting data. In addition, the storage unit 140 stores a character identification dictionary and the like.

制御部150は、例えば、CPU(Central Processing Unit)等、ハードウェアとしては一般的な装置から構成される。制御部150は、網掛け領域の抽出や網掛け画素の除去、および文字列の検出、文字列認識等を行う帳票認識や装置全体の制御を行う。なお、入力画像は、画像入力部130が撮像する替わりに、記憶部140内に記録された画像データを用いてもよい。IF160は、例えば、NIC(Network Interface Card)等、ハードウェアとしては一般的な装置から構成され、他の装置とデータを入出力する。 The control unit 150 is composed of a device that is generally used as hardware, such as a CPU (Central Processing Unit). The control unit 150 performs form recognition for extracting a shaded area, removing shaded pixels, detecting a character string, recognizing a character string, and controlling the entire device. As the input image, the image data recorded in the storage unit 140 may be used instead of being imaged by the image input unit 130. The IF160 is composed of devices that are generally used as hardware, such as a NIC (Network Interface Card), and inputs / outputs data to and from other devices.

以下に示す各実施形態における処理は、制御部150が記憶部140に記憶されているプログラムを読み出して、メモリにロードして実行することにより実現される。例えば、制御部150は、画像入力部、網掛け領域抽出部、網掛け除去部、2値化部、文字認識部、パラメータ設定部、帳票認識部、スコア計算部、パラメータ記録部等の各機能を実現するためのプログラムやモジュールをメモリにロードして実行する。 The processing in each of the following embodiments is realized by the control unit 150 reading the program stored in the storage unit 140, loading it into the memory, and executing the program. For example, the control unit 150 has functions such as an image input unit, a shaded area extraction unit, a shaded removal unit, a binarization unit, a character recognition unit, a parameter setting unit, a form recognition unit, a score calculation unit, and a parameter recording unit. Load and execute the program or module to realize.

上記プログラムは、IF160を介してネットワークから記憶部140にダウンロードされ、メモリ上にロードされて、制御部150により実行されるようにしてもよい。また、CD(Compact Disk)やDVD(Digital Versatile Disk)等の可搬性を有するコンピュータで読み取り可能な記憶媒体に対して情報を読み書きする読書装置を介して、当該記憶媒体からメモリ上に直接ロードされ、制御部150により実行されるようにしてもよい。さらには、上記プログラムを、コンピュータにインストール可能な形式又は実行可能な形式のファイルで上記記憶媒体に記録して提供したり、配布してもよい。さらには、上記プログラムを、通信ネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供したり、配布してもよい。 The program may be downloaded from the network to the storage unit 140 via the IF 160, loaded into the memory, and executed by the control unit 150. In addition, it is directly loaded onto the memory from the storage medium via a reading device that reads and writes information to a storage medium that can be read by a portable computer such as a CD (Compact Disk) or DVD (Digital Versatile Disk). , May be executed by the control unit 150. Further, the program may be recorded on the storage medium in a file in a computer-installable format or an executable format, provided, or distributed. Further, the above program may be provided or distributed by storing it on a computer connected to a communication network and downloading it via the network.

(第1実施形態)
本実施形態における帳票装置100は、図2の(A)に示す入力画像から図2の(B)に示す網掛けを除去した画像を生成する。図3を用いて、制御部150における帳票認識の概略の処理フローを示す。網掛け領域は、処理対象となる帳票上の領域が所定の微小パターン(例えば、点)や細い線の交差が周期的に配置された領域である。また、以下の説明において、文字といった場合には、かな、漢字等の文字情報のほか、英数字をはじめ、記号、符号、図形等の様々な識別情報を含む。これらの点は、第1実施形態以降、第3実施形態までの各実施形態についても同様である。本実施形態の説明においては、図4の網掛け画像を例として説明する。図2が孤立点の網掛けであるのに対し、図4は孤立点ではなく、線の交差で網掛けを表現している。なお、以下の例は図2の孤立点で表現した網掛けに対しても有効である。
(First Embodiment)
The form device 100 in the present embodiment generates an image obtained by removing the shading shown in FIG. 2 (B) from the input image shown in FIG. 2 (A). FIG. 3 shows a schematic processing flow of form recognition in the control unit 150. The shaded area is an area on the form to be processed in which a predetermined minute pattern (for example, a point) or the intersection of thin lines is periodically arranged. Further, in the following description, the term "character" includes not only character information such as kana and kanji, but also various identification information such as alphanumeric characters, symbols, symbols, and figures. These points are the same for each embodiment from the first embodiment to the third embodiment. In the description of the present embodiment, the shaded image of FIG. 4 will be described as an example. While FIG. 2 shows shaded isolated points, FIG. 4 shows shaded lines at the intersection of lines rather than isolated points. The following example is also effective for shading represented by isolated points in FIG.

図3に、制御部150が実行する帳票認識の処理フロー図を示す。
まず、ステップ300の画像入力では、制御部150(網掛け領域抽出部)が、画像入力部130が入力した帳票画像を読み出す。以降の処理は2値画像を前提とした処理であるため、カラー画像の帳票が入力された場合は制御部150(2値化部)が2値化し、2値画像の帳票が入力された場合はそのまま後段の処理に用いる。
FIG. 3 shows a processing flow diagram of form recognition executed by the control unit 150.
First, in the image input in step 300, the control unit 150 (shaded area extraction unit) reads out the form image input by the image input unit 130. Since the subsequent processing is based on the assumption of a binary image, when a color image form is input, the control unit 150 (binary unit) is binarized and a binary image form is input. Is used as it is for the subsequent processing.

2値画像の符号化方法として「ランレングス符号化」がある。ランレングス符号化は、連続する黒画素の始点座標と連続する長さ(run-length)の情報に置き換える方式である。例えば、横方向のランレングス符号は、横方向に連続する黒画素に対して、黒画素の始点座標と連続する長さを記録する。縦方向のランレングス符号は、縦方向の連続する黒画素に対して、同様に符号化したものである。本実施例では、ランレングス符号を用いた処理の例を記載する。ただし、他の符号化方法を用いてもよい。 There is "run length coding" as a method of coding a binary image. Run-length coding is a method of replacing information on the starting point coordinates of continuous black pixels and the continuous length (run-length). For example, the run-length code in the horizontal direction records the length continuous with the start point coordinates of the black pixels for the black pixels continuous in the horizontal direction. The run-length code in the vertical direction is similarly encoded for consecutive black pixels in the vertical direction. In this embodiment, an example of processing using a run-length code will be described. However, other coding methods may be used.

次に、ステップ305の網掛け領域抽出処理において、制御部150(網掛け領域抽出部)は、入力された帳票画像から網掛けが印刷されている領域を抽出する。ステップ305はステップ310からステップ350の5つの処理から構成されている。 Next, in the shaded area extraction process of step 305, the control unit 150 (shaded area extraction unit) extracts the shaded area from the input form image. Step 305 is composed of five processes from step 310 to step 350.

ステップ310の横方向網掛け画素候補抽出処理において、制御部150(網掛け領域抽出部)は、2値画像に対して、行ごとに網掛け画素の候補を求める。具体的には、網掛け領域抽出部は、長さが所定の長さ以下のランを選択し、選択されたラン同士の間隔が所定の間隔以内であれば、横方向の網掛け画素の候補とする。図5(A)の例では、図4の入力画像に対して、横方向のランの長さが3画素以下、間隔が3画素以下の場合の処理結果である。図4の黒画素のうち、網掛け画素の候補として抽出した画素を黒、網掛け画素の候補でない画素をハッチングで表現している。行単位に画素を囲む四角形(例えば、四角形501)は、網掛け画素の候補のランの間隔が3画素以下であり、横方向に近接している領域であることを表す。このように、網掛け領域抽出部は、帳票画像の横方向の黒画素の連続性を評価して、横方向の網掛け画素の候補を抽出する。 In the horizontal shaded pixel candidate extraction process of step 310, the control unit 150 (shaded area extraction unit) obtains shaded pixel candidates for each row of the binary image. Specifically, the shaded area extraction unit selects runs having a length equal to or less than a predetermined length, and if the distance between the selected runs is within a predetermined distance, candidates for shaded pixels in the horizontal direction are selected. And. In the example of FIG. 5A, it is a processing result when the length of the run in the horizontal direction is 3 pixels or less and the interval is 3 pixels or less with respect to the input image of FIG. Among the black pixels in FIG. 4, the pixels extracted as candidates for shaded pixels are represented by black, and the pixels that are not candidates for shaded pixels are represented by hatching. A quadrangle (for example, quadrangle 501) that surrounds pixels in line units indicates that the interval between runs of shaded pixel candidates is 3 pixels or less, and is a region that is close to each other in the horizontal direction. In this way, the shaded area extraction unit evaluates the continuity of the black pixels in the horizontal direction of the form image and extracts candidates for the shaded pixels in the horizontal direction.

次に、ステップ320の縦方向網掛け画素候補抽出処理において、制御部150(網掛け領域抽出部)は、ステップ310と同じ処理を列単位で実行する。図5(B)は図4の入力画像に対してステップ320の処理を実行した結果である。列単位に画素を囲む四角形(例えば、四角形502)は、網掛け画素の候補のランの間隔が3画素以下であり、縦方向に近接している領域であることを表す。このように、網掛け領域抽出部は、帳票画像の縦方向の黒画素の連続性を評価して、縦方向の網掛け画素の候補を抽出する。 Next, in the vertical shaded pixel candidate extraction process in step 320, the control unit 150 (shaded area extraction unit) executes the same process as in step 310 in column units. FIG. 5B is the result of executing the process of step 320 on the input image of FIG. A quadrangle (for example, a quadrangle 502) that surrounds pixels in a column unit indicates that the interval between runs of shaded pixel candidates is 3 pixels or less, and the regions are close to each other in the vertical direction. In this way, the shaded area extraction unit evaluates the continuity of the black pixels in the vertical direction of the form image and extracts candidates for the shaded pixels in the vertical direction.

次に、ステップ330の網掛け画素候補抽出処理において、制御部150(網掛け領域抽出部)は、ステップ310とステップ320の処理で抽出した画素の論理積をとる。網掛け領域抽出部は、この論理積を取った後の黒画素を網掛け画素の候補とする。図6は、図5(A)と図5(B)の黒画素同士で論理積をとった結果である。黒が論理積の結果が真となった画素、ハッチングと白が論理積の結果が偽となった画素である。網掛け領域抽出部は、論理積で真となった画素を網掛け画素の候補とする。このように、網掛け領域抽出部は、横方向の網掛け画素の候補と縦方向の網掛け画素の候補の両方で共通する黒画素を網掛け画素として抽出する。 Next, in the shaded pixel candidate extraction process in step 330, the control unit 150 (shaded area extraction unit) takes the logical product of the pixels extracted in the processes of step 310 and step 320. The shaded area extraction unit uses the black pixels after taking this logical product as candidates for shaded pixels. FIG. 6 is a result of taking a logical product between the black pixels of FIGS. 5 (A) and 5 (B). Black is a pixel whose logical product result is true, and hatching and white are pixels whose logical product result is false. The shaded area extraction unit uses pixels that are true in the logical product as candidates for shaded pixels. As described above, the shaded area extraction unit extracts the black pixels common to both the candidate for the shaded pixel in the horizontal direction and the candidate for the shaded pixel in the vertical direction as the shaded pixel.

次に、ステップ340の網掛け画素候補連結処理において、制御部150(網掛け領域抽出部)は、ステップ330で論理積をとった画素同士が近接している場合に接続する。図7は、図6の網掛け画素候補に対して、間隔5画素以下を接続した例である。まず、横方向に接続した結果が図7(A)であり、図7(A)を縦方向に接続した結果が図7(B)である。 Next, in the shaded pixel candidate connection process of step 340, the control unit 150 (shaded area extraction unit) connects when the pixels obtained by ANDing in step 330 are close to each other. FIG. 7 is an example in which intervals of 5 pixels or less are connected to the shaded pixel candidates of FIG. First, the result of connecting in the horizontal direction is FIG. 7 (A), and the result of connecting FIG. 7 (A) in the vertical direction is FIG. 7 (B).

次に、ステップ350の網掛け領域選択処理において、制御部150(網掛け領域抽出部)は、ステップ340で得られた画像中の黒画素が連結している領域を検出し、これを網掛け領域とする。図8の黒画素の領域は、図4の画像から図7の結果(図7の(B))に基づいて選択した網掛け領域であり、図4または図7の(B)のうち黒画素を含む領域である。このように、網掛け領域抽出部は、上記網掛け画素候補を連結して得られた隣接して得られた領域を網掛け領域とする。 Next, in the shaded area selection process of step 350, the control unit 150 (shaded area extraction unit) detects an area in which the black pixels in the image obtained in step 340 are connected, and shades the area. Let it be an area. The black pixel area of FIG. 8 is a shaded area selected from the image of FIG. 4 based on the result of FIG. 7 ((B) of FIG. 7), and the black pixel of FIG. 4 or 7 (B). Is an area containing. In this way, the shaded area extraction unit uses the adjacently obtained areas obtained by connecting the shaded pixel candidates as the shaded area.

次に、ステップ360の網掛け除去処理において、制御部150(網掛け除去部)は、ステップ305で抽出された網掛け領域から、網掛けの画素を除去する。ステップ360はステップ370とステップ380の2つの処理から構成されている。必要に応じて、この2つの処理をN回繰り返す。繰り返しについては、図9の(B)を用いて後述する。 Next, in the shading removal process of step 360, the control unit 150 (shading removing unit) removes the shading pixels from the shading region extracted in step 305. Step 360 is composed of two processes, step 370 and step 380. If necessary, these two processes are repeated N times. The repetition will be described later with reference to FIG. 9B.

ステップ370の横方向網掛け画素除去処理において、制御部150(網掛け除去部)は、ステップ305において選択した網掛け領域内から行ごとに網掛けの画素を抽出し、除去する。網掛け除去の基準は、例えば、ステップ330で抽出した網掛け画素候補である。その他には、基準となる長さ(例えば、3画素)よりも短いランであり、かつ、ランの上下に黒画素がない黒画素である。これらの画素を網掛け画素として除去する。 In the horizontal shading pixel removal process of step 370, the control unit 150 (shading removing unit) extracts and removes the shaded pixels line by line from the shaded area selected in step 305. The criterion for removing the shading is, for example, the shaded pixel candidate extracted in step 330. In addition, the run is shorter than the reference length (for example, 3 pixels), and there are no black pixels above and below the run. These pixels are removed as shaded pixels.

次に、ステップ380の縦方向網掛け画素除去処理において、制御部150(網掛け除去部)は、ステップ370と同じ処理を列単位で実行する。このように、網掛け除去部は、網掛け領域抽出部により抽出された網掛け領域に対応する入力帳票の画像から、横方向、および縦方向の黒画素の連続性を評価することにより、網掛けの画素であると判別し、網掛けの画素を除去する。 Next, in the vertical shading pixel removal processing in step 380, the control unit 150 (shading removing unit) executes the same processing as in step 370 in column units. In this way, the shading removal unit evaluates the continuity of the black pixels in the horizontal direction and the vertical direction from the image of the input form corresponding to the shading area extracted by the shading area extraction unit. It is determined that the pixels are shaded, and the shaded pixels are removed.

図9の(A)は、図4に対して網掛け除去を実行した結果である。しかしながら、文字の境界線と接触した網掛け画素が残っているため、境界付近が直線になっていない。 FIG. 9A shows the result of performing shading removal on FIG. However, since the shaded pixels that are in contact with the boundary line of the characters remain, the vicinity of the boundary is not a straight line.

そこで、制御部150(網掛け除去部)は、ステップ370とステップ380の処理を、条件を変えて再度実行してもよい。例えば、網掛け除去部は、ステップ370の網掛け除去の基準を、基準となる長さ(例えば、3画素)よりも短いランであり、かつ、ランの上または下が白画素の黒画素を網掛け画素として除去する。ステップ380も同様の基準を列単位で実行する。 Therefore, the control unit 150 (shading removal unit) may re-execute the processes of step 370 and step 380 under different conditions. For example, the shading removal unit sets the reference for shading removal in step 370 as a run shorter than the reference length (for example, 3 pixels), and black pixels having white pixels above or below the run. Remove as shaded pixels. Step 380 also implements the same criteria column by column.

図9の(B)は、図4に対して2回目の網掛け除去(ステップ370とステップ380)を実行した結果である。図9の(B)では、図9の(A)に比べて、文字の境界の網掛けが除去されていることが分かる。なお、ステップ370とステップ380の処理の繰り返し回数に制限はない。ただし、回数が多いほど文字の黒画素も除去される。 FIG. 9B is the result of executing the second shading removal (step 370 and step 380) with respect to FIG. In FIG. 9B, it can be seen that the shading of the character boundaries is removed as compared with FIG. 9A. There is no limit to the number of times the processing of step 370 and step 380 is repeated. However, as the number of times increases, the black pixels of the characters are also removed.

以上のように、本実施形態によると、帳票上の網掛け領域を検出し、網掛け領域内の様々な網掛け画素を抽出して、除去することができるため、通常のOCRで網掛け領域内の文字を認識することができる。 As described above, according to the present embodiment, the shaded area on the form can be detected, and various shaded pixels in the shaded area can be extracted and removed. Therefore, the shaded area can be removed by ordinary OCR. Can recognize the characters in.

(第2実施形態)
第1実施形態では、入力画像から網掛け領域を抽出し、抽出した領域内の網掛け画素を除去した。これに対し、第2実施形態は、網掛け領域抽出や網掛け除去のパラメータ調整のためのGUIに関する。
(Second Embodiment)
In the first embodiment, a shaded area is extracted from the input image, and shaded pixels in the extracted area are removed. On the other hand, the second embodiment relates to a GUI for adjusting parameters for extracting shaded areas and removing shaded areas.

図10は網掛け除去のパラメータ設定の画面の一例である。当該画面は、操作部110がユーザからの操作を受け付け、制御部150により表示部120に表示される。 FIG. 10 is an example of a screen for setting parameters for shading removal. The operation unit 110 receives an operation from the user, and the control unit 150 displays the screen on the display unit 120.

領域1000は、入力画像を表示する領域である。画像がこの領域内に表示できない場合には、スクロールすることができる。また、拡大・縮小の機能を設けてもよい。 The area 1000 is an area for displaying an input image. If the image cannot be displayed in this area, it can be scrolled. Further, a function of enlargement / reduction may be provided.

領域1010は、領域1000に示す画像がどの処理の結果であるかを選択するための領域である。領域1010の例では、処理をチェックボックスで選択することができる。例えば、制御部150は、図3に示した各ステップに対応するチェックボックスを表示し、いずれかのチェックボックスにチェックされた場合、当該チェックされた処理を実行したときの画像を記憶部140から読み出して、領域1000に表示する。各ステップにおける画像は、図3の各ステップ実行時に、ステップ名に対応付けて記憶部150に記憶されているものとする。これにより、ユーザは、どのステップでどのような画像が生成されたのかを容易に確認することができる。 The area 1010 is an area for selecting which processing result is obtained from the image shown in the area 1000. In the example of region 1010, the process can be selected with a check box. For example, the control unit 150 displays a check box corresponding to each step shown in FIG. 3, and when any of the check boxes is checked, an image when the checked process is executed is stored in the storage unit 140. Read and display in area 1000. It is assumed that the image in each step is stored in the storage unit 150 in association with the step name at the time of executing each step in FIG. This allows the user to easily confirm what kind of image was generated in which step.

さらに、図10では、制御部150は、制御部150(文字認識部)が図3の実行により得られた画像を解析して認識した文字を領域1011に表示する。これにより、ユーザは、入力画像が最終的にどのような文字として認識されたのかを容易に把握することができる。また、ユーザは、領域1011に表示された文字と、各ステップにおいて領域1000に表示された画像とを見比べる等して、各ステップにおける画像と最終的に認識された文字との違いを容易に把握することができる。 Further, in FIG. 10, the control unit 150 displays the characters recognized by the control unit 150 (character recognition unit) by analyzing the image obtained by the execution of FIG. 3 in the area 1011. As a result, the user can easily grasp what kind of character the input image is finally recognized as. Further, the user can easily grasp the difference between the image in each step and the finally recognized character by comparing the character displayed in the area 1011 with the image displayed in the area 1000 in each step. can do.

領域1020は、網掛け画素抽出のパラメータを設定するための領域である。この例では、制御部150は、縦方向、横方向の短ランの長さの上限や、短ラン同士の間隔の上限を設定することができる。 The area 1020 is an area for setting parameters for shaded pixel extraction. In this example, the control unit 150 can set the upper limit of the length of the short runs in the vertical direction and the horizontal direction and the upper limit of the interval between the short runs.

領域1030は、網掛け除去のパラメータを設定するための領域である。この例では、まず、網掛け除去の処理を何回繰り返すかを指定する。さらに、縦方向、横方向の短ランの長さを設定できる。さらに、短ランの両側の画素について、両側が白画素でないと除去しないのか、片側が白画素であれば除去するのかを選択するためのチェックボックスがある。全てのパラメータをこの領域内で表示できない場合は、スクロールして部分ごとに表示することができる。 Region 1030 is a region for setting parameters for shading removal. In this example, first, the number of times to repeat the shading removal process is specified. Furthermore, the length of the short run in the vertical direction and the horizontal direction can be set. Further, for the pixels on both sides of the short run, there is a check box for selecting whether to remove the pixels unless both sides are white pixels or if one side is white pixels. If not all parameters can be displayed in this area, you can scroll to display them part by part.

以上のように、本実施形態によると、帳票上の網掛けの状態に応じて、パラメータを変更しながら除去結果を確認することにより、網掛け除去に最適なパラメータを設定することができる。 As described above, according to the present embodiment, the optimum parameter for shading removal can be set by checking the removal result while changing the parameter according to the shading state on the form.

さらに、図11に示すようなテスト画像、もしくはテストシートを用いることにより、網掛け除去の挙動を詳細に可視化することができる。 Further, by using the test image or the test sheet as shown in FIG. 11, the behavior of shading removal can be visualized in detail.

例えば、図3に示した網掛け除去を実行可能な装置であるか否かを、図11に示したテスト画像やテストシートを当該装置に入力し、当該装置で処理を実行する。仮に本実施例のような網掛け除去が可能でない装置の場合、図11に示した7つの網掛けのテストパターンのうち、テストパターン1101〜1104の4つしか除去できない。したがって、当該装置は図3のような網掛け除去を実行できない装置であると判断することができる。また、これとは逆に、図11に示した7つの網掛けのテストパターンのすべてが除去できた場合は、当該装置は図3のような網掛け除去を実行している装置であると判断することができる。 For example, the test image or test sheet shown in FIG. 11 is input to the device to determine whether or not the device can execute the shading removal shown in FIG. 3, and the processing is executed by the device. In the case of an apparatus that cannot remove shading as in this embodiment, only four of the seven shading test patterns shown in FIG. 11, test patterns 1101 to 1104, can be removed. Therefore, it can be determined that the device cannot perform the shading removal as shown in FIG. On the contrary, when all of the seven shaded test patterns shown in FIG. 11 can be removed, it is determined that the device is the device performing the shaded removal as shown in FIG. can do.

(第3実施形態)
第2実施形態では、網掛け領域抽出や網掛け除去のパラメータを、GUIを用いて調整した。これに対し、第3実施形態は、最適なパラメータを自動的に決定する。
(Third Embodiment)
In the second embodiment, the parameters of shading area extraction and shading removal were adjusted using GUI. On the other hand, in the third embodiment, the optimum parameter is automatically determined.

図12はパラメータ決定の処理フロー図である。
まず、ステップ1200において、制御部150(パラメータ設定部)は、最大スコアの初期値をセットする。
FIG. 12 is a processing flow diagram of parameter determination.
First, in step 1200, the control unit 150 (parameter setting unit) sets the initial value of the maximum score.

次に、ステップ1210において、制御部150(パラメータ設定部)は、網掛け領域抽出と網掛け除去のパラメータをセットする。 Next, in step 1210, the control unit 150 (parameter setting unit) sets the parameters for shading area extraction and shading removal.

次に、ステップ1220において、制御部150(帳票認識部)は、ステップ1210で設定したパラメータを用いて図3に示した網掛け領域抽出処理や網掛け除去処理、その後の文字認識処理を実行する。 Next, in step 1220, the control unit 150 (form recognition unit) executes the shaded area extraction process, the shaded area removal process, and the subsequent character recognition process shown in FIG. 3 using the parameters set in step 1210. ..

次に、ステップ1230において、制御部150(スコア計算部)は、ステップ1220の認識結果に基づいて網掛け除去を評価するためのスコアを計算する。スコアの一例としては、孤立点の数や面積比、短ランの数や面積比、文字を認識した際に得られる文字認識結果の確からしさを示す確信度の合計値などがある。 Next, in step 1230, the control unit 150 (score calculation unit) calculates a score for evaluating shading removal based on the recognition result in step 1220. Examples of scores include the number and area ratio of isolated points, the number and area ratio of short runs, and the total value of certainty indicating the certainty of the character recognition result obtained when recognizing a character.

次に、ステップ1240において、制御部150(パラメータ記録部)は、ステップ1230で算出したスコアと、記録された最大スコアを比較する。 Next, in step 1240, the control unit 150 (parameter recording unit) compares the score calculated in step 1230 with the recorded maximum score.

ステップ1230で算出したスコアの方が低い場合は(S1240;No)、何もせずに次に進む。 If the score calculated in step 1230 is lower (S1240; No), the process proceeds without doing anything.

ステップ1230で算出したスコアの方が高い場合は(S1240;Yes)、ステップ1250において、制御部150(パラメータ記録部)は、ステップ1210で設定したパラメータを記録する。 If the score calculated in step 1230 is higher (S1240; Yes), in step 1250, the control unit 150 (parameter recording unit) records the parameter set in step 1210.

次に、ステップ1260において、制御部150(パラメータ記録部)は、ステップ1230で算出したスコアを最大スコアとして記録する。 Next, in step 1260, the control unit 150 (parameter recording unit) records the score calculated in step 1230 as the maximum score.

ステップ1210からステップ1260の処理は、ステップ1210のパラメータを変更して複数回繰り返す。 The process from step 1210 to step 1260 is repeated a plurality of times by changing the parameters of step 1210.

以上のように、本実施形態によると、最適な網掛け除去のパラメータを決定することができる。なお、各パラメータの実験結果を、例えば図10に示すGUIに表示してもよい。 As described above, according to the present embodiment, the optimum shading removal parameter can be determined. The experimental results of each parameter may be displayed on the GUI shown in FIG. 10, for example.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.

上述した説明では、図1に示した帳票認識装置100が図3に示した処理を実行することとした。しかし、例えば、図13に示すような帳票認識システムとして図3に示した処理を実行してもよい。具体的には、帳票認識装置100とサーバ装置200とがネットワークNを介して接続されたシステムを考えた場合、図3に示したステップ300において、帳票認識装置100の制御部150(網掛け領域抽出部)が、画像入力部130が入力した帳票画像を読み出し、IF160を介して、読み出した帳票画像をサーバ装置200に送信する。サーバ装置200の制御部230は、帳票認識装置100から受信した帳票画像を入力として、図3のステップ305、ステップ360と同様の処理を実行し、網掛け除去後の画像を、IF250を介して帳票認識装置100に送信する。帳票認識装置100の制御部150は、サーバ装置200から受信した網掛け除去後の画像を出力し、表示部120に表示する。 In the above description, the form recognition device 100 shown in FIG. 1 executes the process shown in FIG. However, for example, the process shown in FIG. 3 may be executed as the form recognition system as shown in FIG. Specifically, when considering a system in which the form recognition device 100 and the server device 200 are connected via the network N, in step 300 shown in FIG. 3, the control unit 150 (shaded area) of the form recognition device 100 The extraction unit) reads the form image input by the image input unit 130, and transmits the read form image to the server device 200 via the IF 160. The control unit 230 of the server device 200 takes the form image received from the form recognition device 100 as an input, executes the same processing as in steps 305 and 360 of FIG. 3, and outputs the image after shading removal via the IF 250. It is transmitted to the form recognition device 100. The control unit 150 of the form recognition device 100 outputs the image after removing the shading received from the server device 200 and displays it on the display unit 120.

このような構成とすることにより、例えば、クラウド環境にあるサーバ装置200が、帳票認識装置100を有した様々な企業、あるいは企業内の様々な部署から、網掛け除去した画像の提供要求を受信し、当該要求に従って生成した網掛け除去後の画像を、上記企業や部署に送信することができる。したがって、これらの企業や部署では、サーバ装置200に上記提供要求を送信するだけで、所望の網掛け除去後の画像を得ることができる。 With such a configuration, for example, the server device 200 in the cloud environment receives requests for providing the shaded image from various companies having the form recognition device 100 or various departments in the company. Then, the image after shading removal generated according to the request can be transmitted to the above-mentioned company or department. Therefore, in these companies and departments, a desired image after shading can be obtained only by transmitting the above provision request to the server device 200.

また、上記構成とした場合のパラメータの設定については、以下のようにすればよい。例えば、帳票認識装置100の制御部150が、図3に示した各ステップに対応するチェックボックスを表示し、いずれかのチェックボックスにチェックされた場合、当該チェックされた処理を実行したときの画像を読み出す読み出し要求をサーバ装置200に送信する。サーバ装置200の制御部230は、上記読み出し要求を帳票認識装置100から受信すると、記憶部240から上記チェックされた処理を実行したときの画像を記憶部240から読み出し、帳票認識装置100に送信する。帳票認識装置100の制御部150は、サーバ装置200から受信した上記チェックされた処理を実行したときの画像を領域1000に表示する。この場合、各ステップにおける画像は、図3の各ステップ実行時に、サーバ200の制御部230が、ステップ名に対応付けて記憶部240に記憶されているものとする。領域1011に表示する文字についても同様に、帳票認識装置100からの要求に従ってサーバ装置200が処理を実行し、帳票認識装置100がその結果を受信して、サーバ装置200が図3の処理を実行したことにより得られた画像を解析して認識した文字を領域1011に表示すればよい。 Further, the parameter settings in the case of the above configuration may be as follows. For example, when the control unit 150 of the form recognition device 100 displays a check box corresponding to each step shown in FIG. 3 and one of the check boxes is checked, an image when the checked process is executed. Sends a read request to the server device 200. When the control unit 230 of the server device 200 receives the read request from the form recognition device 100, the control unit 230 reads the image when the above-checked process is executed from the storage unit 240 from the storage unit 240 and transmits it to the form recognition device 100. .. The control unit 150 of the form recognition device 100 displays an image received from the server device 200 when the above-mentioned checked process is executed in the area 1000. In this case, it is assumed that the image in each step is stored in the storage unit 240 in association with the step name by the control unit 230 of the server 200 at the time of executing each step in FIG. Similarly, for the characters displayed in the area 1011 the server device 200 executes the process according to the request from the form recognition device 100, the form recognition device 100 receives the result, and the server device 200 executes the process of FIG. The characters recognized by analyzing the image obtained by the above may be displayed in the area 1011.

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

以上説明した帳票認識方法又は帳票認識装置・システムは、その各手順をコンピュータに実行させるための帳票認識プログラム、帳票認識プログラムを記録したコンピュータ読み取り可能な記録媒体、帳票認識プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。 The form recognition method or form recognition device / system described above includes a form recognition program for causing a computer to execute each procedure, a computer-readable recording medium on which the form recognition program is recorded, and a form recognition program, and is an internal memory of the computer. It can be provided by a program product that can be loaded into the computer, a computer such as a server that includes the program, and the like.

100 帳票認識装置
110 操作部
120 表示部
130 画像入力部
140 記憶部
150 制御部
160 インターフェース(IF)
200 サーバ装置
210 操作部
220 表示部
230 制御部
240 記憶部
250 インターフェース(IF)
100 Form recognition device 110 Operation unit 120 Display unit 130 Image input unit 140 Storage unit 150 Control unit 160 Interface (IF)
200 Server device 210 Operation unit 220 Display unit 230 Control unit 240 Storage unit 250 Interface (IF)

Claims (7)

画像入力部から入力された帳票画像を行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を抽出することにより、前記帳票画像の中から網掛け領域を抽出する網掛け領域抽出部と、
前記帳票画像の網掛け領域内において、行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を除去することにより、前記帳票画像の中から網掛け画素を除去する網掛け除去部と、
を備えることを特徴とする帳票認識装置。
A shaded area is extracted from the form image by extracting pixels in which the continuous length of black pixels is equal to or less than a predetermined value in units of rows and columns of the form image input from the image input unit. Shading area extraction unit and
In the shaded area of the form image, the shaded pixels are removed from the form image by removing the pixels in which the continuous length of the black pixels is equal to or less than a predetermined value in units of rows and columns. Shading remover and
A form recognition device characterized by being equipped with.
請求項1に記載された帳票認識装置であって、
前記網掛け領域抽出部は、前記帳票画像の横方向の黒画素の連続性を評価して、横方向の網掛け画素の候補を抽出し、前記帳票画像の縦方向の黒画素の連続性を評価して、縦方向の網掛け画素の候補を抽出し、前記横方向の網掛け画素の候補と縦方向の網掛け画素の候補の両方で共通する黒画素を網掛け画素として抽出し、前記網掛け画素候補を連結して得られた隣接して得られた領域を網掛け領域とする、
ことを特徴とする帳票認識装置。
The form recognition device according to claim 1.
The shaded area extraction unit evaluates the continuity of black pixels in the horizontal direction of the form image, extracts candidates for shaded pixels in the horizontal direction, and determines the continuity of black pixels in the vertical direction of the form image. After evaluation, candidates for shaded pixels in the vertical direction are extracted, and black pixels common to both the candidates for shaded pixels in the horizontal direction and the candidates for shaded pixels in the vertical direction are extracted as shaded pixels. The adjacently obtained area obtained by connecting the shaded pixel candidates is defined as the shaded area.
A form recognition device characterized by this.
請求項1に記載された帳票認識装置であって、
前記網掛け除去部は、前記網掛け領域抽出部により抽出された前記網掛け領域に対応する入力帳票の画像から、横方向、および縦方向の黒画素の連続性を評価することにより、網掛けの画素であると判別し、網掛けの画素を除去する、
ことを特徴とする帳票認識装置。
The form recognition device according to claim 1.
The shading removal unit is shaded by evaluating the continuity of black pixels in the horizontal direction and the vertical direction from the image of the input form corresponding to the shading area extracted by the shading area extraction unit. It is determined that the pixel is a pixel of, and the shaded pixel is removed.
A form recognition device characterized by this.
請求項1に記載された帳票認識装置であって、
前記画像入力部から入力された帳票画像の表示領域と、前記網掛け領域抽出部の処理結果として得られた画像の表示領域と、前記網掛け除去部の処理結果として得られた画像の表示領域と、網掛け領域抽出のパラメータを入力および表示する領域と、網掛け除去のパラメータを入力および表示する領域と、を含む画面を表示部に表示する制御部、
を備えたことを特徴とする帳票認識装置。
The form recognition device according to claim 1.
The display area of the form image input from the image input unit, the display area of the image obtained as the processing result of the shading area extraction unit, and the display area of the image obtained as the processing result of the shading removal unit. A control unit that displays a screen including an area for inputting and displaying the parameters for extracting the shaded area and an area for inputting and displaying the parameters for removing the shaded area on the display unit.
A form recognition device characterized by being equipped with.
請求項1に記載された帳票認識装置であって、
画像入力部から入力された帳票画像に対して、前記網掛け領域抽出部が行う網掛け領域抽出のパラメータ、および前記網掛け除去部が行う網掛け除去のパラメータを設定するパラメータ設定部と、
設定されたパラメータを用いて帳票認識を実行する帳票認識部と、
帳票認識の結果を用いて、網掛け除去を評価するためのスコアを計算するスコア計算部とを有し、
パラメータを変更して前記パラメータ設定部、前記帳票認識部、前記スコア計算部の処理を繰り返し、前記スコアが最大となるパラメータを前記網掛け領域の抽出および前記網掛け除去のパラメータに決定するパラメータ記録部と、
を備えることを特徴とする帳票認識装置。
The form recognition device according to claim 1.
For the form image input from the image input unit, a parameter setting unit for setting the parameters for shading area extraction performed by the shading area extraction unit and the parameters for shading removal performed by the shading removal unit, and
A form recognition unit that executes form recognition using the set parameters,
It has a score calculation unit that calculates a score for evaluating shading removal using the result of form recognition.
Parameter recording that changes the parameters and repeats the processes of the parameter setting unit, the form recognition unit, and the score calculation unit, and determines the parameter that maximizes the score as the parameter for extracting the shaded area and removing the shaded area. Department and
A form recognition device characterized by being equipped with.
網掛け領域抽出部が、画像入力部から入力された帳票画像を行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を抽出することにより、前記帳票画像の中から網掛け領域を抽出し、
網掛け除去部が、前記帳票画像の網掛け領域内において、行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を除去することにより、前記帳票画像の中から網掛け画素を除去する、
ことを特徴とする帳票認識方法。
The shaded area extraction unit extracts the form image input from the image input unit in units of rows and columns, and the continuous length of black pixels is equal to or less than a predetermined value. Extract the shaded area from the inside and
In the shaded area of the form image, the shading removal unit removes pixels in which the continuous length of black pixels is equal to or less than a predetermined value in units of rows and columns, thereby forming the inside of the form image. Remove shaded pixels from,
A form recognition method characterized by this.
帳票認識装置とサーバ装置とがネットワークを介して接続された帳票認識システムであって、
前記帳票認識装置は、
帳票画像を入力する画像入力部と、
前記画像入力部が入力した帳票画像を前記サーバ装置に送信し、前記サーバ装置から網掛け画素が除去された画像を受信する通信部と、
前記通信部が受信した前記網掛け画素が除去された画像を出力する制御部と、を備え、
前記サーバ装置は、
前記帳票認識装置から前記帳票画像を受信し、前記網掛け画素が除去された画像を前記帳票認識装置に送信するサーバ通信部と、
前記帳票認識装置から受信した前記帳票画像を行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を抽出することにより、前記帳票画像の中から網掛け領域を抽出する網掛け領域抽出部と、
前記帳票画像の網掛け領域内において、行単位、および列単位で黒画素の連続している長さが所定の値以下の画素を除去することにより、前記帳票画像の中から網掛け画素を除去する網掛け除去部と、
を備えることを特徴とする帳票認識システム。
A form recognition system in which a form recognition device and a server device are connected via a network.
The form recognition device is
Image input section for inputting form images and
A communication unit that transmits a form image input by the image input unit to the server device and receives an image in which shaded pixels are removed from the server device.
A control unit that outputs an image from which the shaded pixels received by the communication unit have been removed is provided.
The server device is
A server communication unit that receives the form image from the form recognition device and transmits the image from which the shaded pixels have been removed to the form recognition device.
By extracting pixels in which the continuous length of black pixels is equal to or less than a predetermined value in row units and column units from the form image received from the form recognition device, a shaded area is obtained from the form image. The shaded area extractor to be extracted and
In the shaded area of the form image, the shaded pixels are removed from the form image by removing the pixels in which the continuous length of the black pixels is equal to or less than a predetermined value in units of rows and columns. Shading remover and
A form recognition system characterized by being equipped with.
JP2019118900A 2019-06-26 2019-06-26 Form recognition device, form recognition method, and form recognition system Active JP7267854B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118900A JP7267854B2 (en) 2019-06-26 2019-06-26 Form recognition device, form recognition method, and form recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118900A JP7267854B2 (en) 2019-06-26 2019-06-26 Form recognition device, form recognition method, and form recognition system

Publications (2)

Publication Number Publication Date
JP2021005234A true JP2021005234A (en) 2021-01-14
JP7267854B2 JP7267854B2 (en) 2023-05-02

Family

ID=74097260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118900A Active JP7267854B2 (en) 2019-06-26 2019-06-26 Form recognition device, form recognition method, and form recognition system

Country Status (1)

Country Link
JP (1) JP7267854B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071770A (en) * 2023-03-06 2023-05-05 深圳前海环融联易信息科技服务有限公司 Method, device, equipment and medium for general identification of form

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877294A (en) * 1994-09-06 1996-03-22 Toshiba Corp Image processor for document
JPH08149298A (en) * 1994-11-24 1996-06-07 Mita Ind Co Ltd Color dot area decision device
JP2000196882A (en) * 1998-12-25 2000-07-14 Fujitsu Ltd Binary image converting device
JP2003223612A (en) * 2002-01-31 2003-08-08 Ricoh Co Ltd Image processing method and image processing device
JP2010219577A (en) * 2009-03-13 2010-09-30 Murata Machinery Ltd Image processing apparatus
JP2010244472A (en) * 2009-04-09 2010-10-28 Hitachi Omron Terminal Solutions Corp Image processing device and method
JP2013084071A (en) * 2011-10-07 2013-05-09 Hitachi Computer Peripherals Co Ltd Form recognition method and form recognition device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877294A (en) * 1994-09-06 1996-03-22 Toshiba Corp Image processor for document
JPH08149298A (en) * 1994-11-24 1996-06-07 Mita Ind Co Ltd Color dot area decision device
JP2000196882A (en) * 1998-12-25 2000-07-14 Fujitsu Ltd Binary image converting device
JP2003223612A (en) * 2002-01-31 2003-08-08 Ricoh Co Ltd Image processing method and image processing device
JP2010219577A (en) * 2009-03-13 2010-09-30 Murata Machinery Ltd Image processing apparatus
JP2010244472A (en) * 2009-04-09 2010-10-28 Hitachi Omron Terminal Solutions Corp Image processing device and method
JP2013084071A (en) * 2011-10-07 2013-05-09 Hitachi Computer Peripherals Co Ltd Form recognition method and form recognition device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARTURO PIZANO: ""Extracting Line Features from Images of Business Forms and Tables"", PROCEEDINGS., 11TH IAPR INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. VOL. III. CONFERENCE C: IMA, JPN6023007650, 30 August 1992 (1992-08-30), US, pages 399 - 403, XP010030147, ISSN: 0005038272, DOI: 10.1109/ICPR.1992.202008 *
田中 宏、外3名: ""テクスチャ領域を含む帳票画像からの罫線抽出"", 電子情報通信学会技術研究報告, vol. 106, no. 605, JPN6023007649, 8 March 2007 (2007-03-08), JP, pages 67 - 72, ISSN: 0005038271 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071770A (en) * 2023-03-06 2023-05-05 深圳前海环融联易信息科技服务有限公司 Method, device, equipment and medium for general identification of form

Also Published As

Publication number Publication date
JP7267854B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110942074B (en) Character segmentation recognition method and device, electronic equipment and storage medium
US10049291B2 (en) Image-processing apparatus, image-processing method, and computer program product
JP5831420B2 (en) Image processing apparatus and image processing method
KR101015663B1 (en) Method for recognizing character and apparatus therefor
US10740899B2 (en) Image processing apparatus for identifying region within image, information processing method, and storage medium
JP2005173730A (en) Business form ocr program, method, and device
US11341739B2 (en) Image processing device, image processing method, and program recording medium
JP5547226B2 (en) Image processing apparatus and image processing method
JP2021135993A (en) Text recognition method, text recognition apparatus, electronic device, and storage medium
JP4860574B2 (en) Character segmentation device, method and program
JP5906788B2 (en) Character cutout method, and character recognition apparatus and program using this method
JP7267854B2 (en) Form recognition device, form recognition method, and form recognition system
US10134138B2 (en) Information processing apparatus, computer-readable storage medium, information processing method
JP2010186246A (en) Image processing apparatus, method, and program
JP6247103B2 (en) Form item recognition method, form item recognition apparatus, and form item recognition program
JP5857634B2 (en) Word space detection device, word space detection method, and computer program for word space detection
JP7013341B2 (en) Form recognition device, form recognition method, and form recognition program
US20200304683A1 (en) Image processing apparatus and non-transitory computer readable medium
US20220406083A1 (en) Image processing apparatus, control method thereof, and storage medium
JP2012222581A (en) Image processing device, image processing method, program, and storage medium
JP2006072839A (en) Image processing method, image processing apparatus, image processing program and recording medium
US20230196519A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium storing program
US8432555B2 (en) Image processing apparatus, image processing method, computer-readable medium and computer data signal
JP4810995B2 (en) Image processing apparatus, method, and program
KR20220168787A (en) Method to extract units of Manchu characters and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7267854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150