JP2009116520A

JP2009116520A - Image recognition device, image recognition method and program

Info

Publication number: JP2009116520A
Application number: JP2007287392A
Authority: JP
Inventors: Tomoya Igi; 智也井木
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2007-11-05
Filing date: 2007-11-05
Publication date: 2009-05-28
Anticipated expiration: 2027-11-05
Also published as: JP4867894B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recognition device, capable of accurately recognizing an image described on a form surface, an image recognition method and a program. <P>SOLUTION: The image recognition device includes a recording part which preliminarily records information based on a reverse image on the reverse side relative to the surface side of a form that is a reading object; an image input part 102 which reads the surface of the form; a noise removing part 118, 218 which removes, when a surface image read by the image input part includes a noise image consisting of show-through on the reverse side, the noise image from the surface image using at least a part of the information; and an image recognition part 140 which recognizes an image described on the surface of the document from the surface image from which the noise image is removed. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像認識装置、画像認識方法及びプログラムに関する。 The present invention relates to an image recognition apparatus, an image recognition method, and a program.

表面又は裏面に印刷がされた帳票などの書類上の文字をコンピュータ上のデータとして扱う場合、ＯＣＲ等からなるスキャナ等の文字認識装置１１を用いて、帳票上の文字を読取り、文字の認識を行なう。文字認識装置１１は、例えば、帳票１２上の認識対象領域内に記載された文字に対して読取りを行い、文字認識を行なう。 When handling characters on a document such as a form printed on the front or back side as data on a computer, the character recognition device 11 such as a scanner made of OCR or the like is used to read the characters on the form and recognize the characters. Do. For example, the character recognition device 11 reads characters written in a recognition target area on the form 12 and performs character recognition.

従来の文字認識装置１１は、図１に示すように、例えば、画像入力部１３と、レイアウト解析部１４と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１５と、文字認識部１７と、出力形成部１８とを備える。なお、レイアウト解析部１４には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１６が接続可能となっている。図１は、従来の文字認識装置１１を示すブロック図である。 As shown in FIG. 1, the conventional character recognition apparatus 11 includes, for example, an image input unit 13, a layout analysis unit 14, a recording unit 15 in which a format database (hereinafter, database is abbreviated as DB), A character recognition unit 17 and an output forming unit 18 are provided. The layout analysis unit 14 can be connected to a display device such as a CRT (cathode ray tube) and an input device 16 such as a keyboard and a mouse. FIG. 1 is a block diagram showing a conventional character recognition device 11.

ここで、画像入力部１３は、読取り対象である帳票１２からその記載内容を画像データとして読み取る。レイアウト解析部１４は、帳票１２上における認識対象領域の位置を解析する。また、レイアウト解析部１４は、画像入力部１３が読み取った画像データから特徴情報を抽出してフォーマットの作成をし、フォーマットをフォーマットＤＢとして記録部１５に記録する。レイアウト解析部１４は、フォーマットに基づいて認識対象領域内の画像データのみを抽出する。 Here, the image input unit 13 reads the description content as image data from the form 12 to be read. The layout analysis unit 14 analyzes the position of the recognition target area on the form 12. The layout analysis unit 14 also extracts feature information from the image data read by the image input unit 13 to create a format, and records the format in the recording unit 15 as a format DB. The layout analysis unit 14 extracts only the image data in the recognition target area based on the format.

記録部１５は、フォーマットＤＢを記録しており、フォーマットＤＢは、レイアウト解析部１４での解析に必要な情報、例えば、読取り対象である帳票１２の認識対象領域内の画像データのみを抽出するために用いられる。 The recording unit 15 records a format DB, and the format DB extracts only information necessary for the analysis by the layout analysis unit 14, for example, image data in the recognition target area of the form 12 to be read. Used for.

文字認識部１７は、レイアウト解析部１４によって認識対象領域と判断された領域内の画像データに対し、文字認識を行なう。出力形成部１８は、文字認識部１７で認識された文字認識結果を、帳票１２上の認識対象領域内に記載された文字として、テキストデータ等として出力する。 The character recognition unit 17 performs character recognition on the image data in the region determined as the recognition target region by the layout analysis unit 14. The output forming unit 18 outputs the character recognition result recognized by the character recognition unit 17 as text data or the like as characters described in the recognition target area on the form 12.

次に、図２を参照して、従来のレイアウト解析部１４について更に詳しく説明する。図２は、従来のレイアウト解析部１４を示すブロック図である。レイアウト解析部１４は、制御部２１と、認識対象領域矩形座標設定部２２と、フォーマットＤＢ作成部２３と、フォーマットＤＢ解析部２４と、認識対象領域作成部２５と、ラベリング部２６と、雑音判断部２７と、雑音除去部２８などを有する。 Next, the conventional layout analysis unit 14 will be described in more detail with reference to FIG. FIG. 2 is a block diagram showing a conventional layout analysis unit 14. The layout analysis unit 14 includes a control unit 21, a recognition target region rectangular coordinate setting unit 22, a format DB creation unit 23, a format DB analysis unit 24, a recognition target region creation unit 25, a labeling unit 26, and a noise determination. A unit 27, a noise removing unit 28, and the like.

制御部２１は、レイアウト解析部１４全体の制御手段を有する。認識対象領域矩形座標設定部２２は、入力装置１６の操作に基づいて、例えば矩形からなる認識対象領域の矩形座標を設定する。フォーマットＤＢ作成部２３は、画像入力部１３が読み取った画像データから特徴情報を抽出してフォーマットの作成をする。フォーマットＤＢ解析部２４は、認識対象領域内の画像データのみを抽出するため、フォーマットＤＢの解析を行なう。認識対象領域作成部２５は、認識対象領域の矩形座標に基づいて認識対象領域を作成する。ラベリング部２６は、４近傍ラベリング処理、８近傍ラベリング処理等のラベリング処理を行って、認識対象領域のラベルを抽出する。ラベルとは、黒画素の連続している領域のことを指し、ラベリング処理は画像から黒画素が連続している部分を抽出する処理のことを指す。１つの文字は、字の形状によって１つまたは複数のラベルで構成される。雑音判断部２７は、ラベルの幅と高さが閾値を下回る黒画素を雑音と判断する。雑音除去部２８は、雑音と判断された黒画素を除去する。 The control unit 21 has control means for the layout analysis unit 14 as a whole. The recognition target area rectangular coordinate setting unit 22 sets the rectangular coordinates of the recognition target area including, for example, a rectangle based on the operation of the input device 16. The format DB creation unit 23 extracts feature information from the image data read by the image input unit 13 and creates a format. The format DB analysis unit 24 analyzes the format DB in order to extract only the image data in the recognition target area. The recognition target area creating unit 25 creates a recognition target area based on the rectangular coordinates of the recognition target area. The labeling unit 26 performs a labeling process such as a 4-neighbor labeling process or an 8-neighbor labeling process, and extracts a label of the recognition target region. The label refers to an area where black pixels are continuous, and the labeling process refers to a process of extracting a portion where black pixels are continuous from an image. One character is composed of one or more labels depending on the shape of the character. The noise determination unit 27 determines that black pixels whose label width and height are lower than the threshold are noise. The noise removing unit 28 removes black pixels determined to be noise.

上記の構成を有する従来の文字認識装置１１の動作について説明する。まず、図３を参照して、従来の文字認識装置１１のフォーマットＤＢ作成処理について説明する。図３は、従来の文字認識装置１１のフォーマットＤＢ作成処理を示すフローチャートである。 The operation of the conventional character recognition apparatus 11 having the above configuration will be described. First, a format DB creation process of the conventional character recognition device 11 will be described with reference to FIG. FIG. 3 is a flowchart showing a format DB creation process of the conventional character recognition apparatus 11.

まず、画像入力部１３が帳票１２、３２表面の画像データを読み取る（ステップＳ１１）。続いて、オペレータ（操作者）による操作を介して入力装置１６に認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部２２が、認識対象領域１９の矩形座標を設定する（ステップＳ１２）。そして、フォーマットＤＢ作成部２３が、フォーマットＤＢを作成し（ステップＳ１３）、記録部１５にフォーマットＤＢが記録される。 First, the image input unit 13 reads the image data on the surfaces of the forms 12 and 32 (step S11). Subsequently, the recognition target area rectangular coordinate setting unit 22 sets the rectangular coordinates of the recognition target area 19 by inputting the recognition target area rectangular coordinates to the input device 16 through an operation by an operator (operator) ( Step S12). Then, the format DB creation unit 23 creates the format DB (step S13), and the format DB is recorded in the recording unit 15.

次に、図４及び図５を参照して、従来の文字認識装置１１の文字認識処理について説明する。図４は、従来の文字認識装置１１の文字認識処理を示すフローチャートである。図５は、従来の文字認識装置１１の文字認識処理で読み取られる帳票を示す説明図である。ここで読み取られる帳票１２は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない罫線２０等が記載されているとする。 Next, a character recognition process of the conventional character recognition device 11 will be described with reference to FIGS. FIG. 4 is a flowchart showing the character recognition processing of the conventional character recognition device 11. FIG. 5 is an explanatory diagram showing a form read by the character recognition processing of the conventional character recognition device 11. It is assumed that the form 12 to be read here has a character recognition processing target on the front surface, for example, a number such as a monetary amount or the like, and a ruled line 20 or the like that is not a character recognition processing target on the back surface.

まず、画像入力部１３が、図５に示すような帳票１２の画像データを読み取る（ステップＳ２１）。続いてフォーマットＤＢ解析部２４が、記録部１５に記録されたフォーマットＤＢを読み込み、解析する（ステップＳ２２）。次に、認識対象領域作成部２５が、認識対象領域の矩形座標に基づいて認識対象領域１９を作成する（ステップＳ２３）。そして、図５に示すような認識対象領域１９に対して文字認識部１７が文字認識を行い（ステップＳ２４）、出力形成部１８が認識結果を出力する（ステップＳ２５）。 First, the image input unit 13 reads the image data of the form 12 as shown in FIG. 5 (step S21). Subsequently, the format DB analysis unit 24 reads and analyzes the format DB recorded in the recording unit 15 (step S22). Next, the recognition target area creating unit 25 creates the recognition target area 19 based on the rectangular coordinates of the recognition target area (step S23). And the character recognition part 17 performs character recognition with respect to the recognition object area | region 19 as shown in FIG. 5 (step S24), and the output formation part 18 outputs a recognition result (step S25).

また、図６及び図７を参照して、従来の文字認識装置１１の別の文字認識処理について説明する。図６は、従来の文字認識装置１１の文字認識処理を示すフローチャートである。図７は、従来の文字認識装置１１の文字認識処理で読み取られる帳票を示す説明図である。ここで読み取られる帳票３２は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない注意事項などの文字４０等が記載されているとする。 Further, another character recognition process of the conventional character recognition device 11 will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart showing the character recognition processing of the conventional character recognition device 11. FIG. 7 is an explanatory diagram showing a form read by the character recognition processing of the conventional character recognition device 11. The form 32 to be read here has a character recognition processing target on the front surface, for example, a number such as a monetary amount or the like, and a character 40 or the like that is not a character recognition processing target on the back surface. .

まず、上述した従来の文字認識装置１１と同様に、画像入力部１３が図７に示すような帳票３２表面の画像データを読み取り（ステップＳ３１）、続いてフォーマットＤＢ解析部２４が、記録部１５に記録されたフォーマットＤＢを読み込み、解析する（ステップＳ３２）。次に、ラベリング部２６が認識対象領域のラベルを抽出する（ステップＳ３３）。そして、雑音判断部２７及び雑音除去部２８が、予め設定された閾値よりも低い値を有するラベルを除去する（ステップＳ３４）。次に、認識対象領域作成部２５が、認識対象領域の矩形座標に基づいて認識対象領域３９を作成する（ステップＳ３５）。そして、図７に示すような認識対象領域に対して文字認識部１７が文字認識を行い（ステップＳ３６）、出力形成部１８が認識結果を出力する（ステップＳ３７）。このような雑音除去を行う技術として、例えば特許文献１のような孤立点ノイズ除去の技術がある。 First, like the conventional character recognition device 11 described above, the image input unit 13 reads the image data on the surface of the form 32 as shown in FIG. 7 (step S31), and then the format DB analysis unit 24 performs the recording unit 15 as shown in FIG. Is read and analyzed (step S32). Next, the labeling unit 26 extracts a label of the recognition target area (step S33). And the noise judgment part 27 and the noise removal part 28 remove the label which has a value lower than the preset threshold value (step S34). Next, the recognition target area creating unit 25 creates the recognition target area 39 based on the rectangular coordinates of the recognition target area (step S35). Then, the character recognition unit 17 performs character recognition on the recognition target region as shown in FIG. 7 (step S36), and the output forming unit 18 outputs the recognition result (step S37). As a technique for performing such noise removal, for example, there is a technique for removing isolated point noise as disclosed in Patent Document 1.

特開平０９−２３８２０８号公報JP 09-238208 A

ところで、表面及び裏面に印刷がされている帳票１２、３２などの書類上の文字をスキャナで読取り、文字を認識する際、帳票１２、３２の紙の厚さや印刷の濃さ等によっては、帳票１２、３２の表面上の文字を読み取りたい場合に裏面上の罫線２０や文字４０、模様等を同時に読み取ってしまう場合がある。 By the way, when characters on a document such as forms 12 and 32 printed on the front and back sides are read by a scanner and recognized, the form depends on the paper thickness of the forms 12 and 32, the printing density, and the like. When reading characters on the front surface of 12, 32, the ruled line 20, character 40, pattern, etc. on the back surface may be read simultaneously.

例えば、図５に示すように、帳票１２の裏面に罫線２０が印刷されていることによって、帳票１２の表面画像の認識対象領域１９に裏面の罫線２０が裏映りする場合がある。このとき、認識対象領域１９内の文字を正確に認識できないという問題があった。 For example, as shown in FIG. 5, the ruled line 20 on the back side of the form 12 may be displayed on the recognition target area 19 of the front image of the form 12. At this time, there is a problem that the characters in the recognition target area 19 cannot be recognized accurately.

また、図７に示すように、帳票１２の裏面に文字４０が印刷されていることによって、帳票１２の表面画像の認識対象領域３９に裏面の文字４０が裏映りする場合がある。このとき、上述したように雑音判断部２７及び雑音判断部２８が閾値より低いラベルを除去するとしても、裏映りした文字４０を除去することができない場合がある。そのため、帳票１２の表面画像の認識対象領域３９内の文字を正確に認識できないという問題があった。 Further, as shown in FIG. 7, the characters 40 on the back side of the form 12 may be shown on the recognition target area 39 of the front image of the form 12 because the characters 40 are printed on the back side of the form 12. At this time, even if the noise determination unit 27 and the noise determination unit 28 remove the label lower than the threshold value as described above, the reflected character 40 may not be removed. Therefore, there is a problem that characters in the recognition target area 39 of the surface image of the form 12 cannot be accurately recognized.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、帳票表面に記載された画像を正確に認識することが可能な、新規かつ改良された画像認識装置、画像認識方法及びプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved image recognition capable of accurately recognizing an image described on the surface of a form. An apparatus, an image recognition method, and a program are provided.

上記課題を解決するために、本発明のある観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録された記録部と、帳票の表面を読取る画像入力部と、画像入力部で読取られた表面画像に帳票の裏面の裏写りからなる雑音画像が含まれるとき、表面画像から雑音画像を情報の少なくとも一部を用いて除去する雑音除去部と、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する画像認識部とを備えることを特徴とする画像認識装置が提供される。 In order to solve the above-described problem, according to one aspect of the present invention, a recording unit in which information based on a back side image on the back side is recorded in advance with respect to a front side of a form to be read, and an image for reading the front side of the form A noise removing unit that removes the noise image from the front image using at least a part of the information when the noise image including the show-through of the back side of the form is included in the front image read by the image input unit; There is provided an image recognition apparatus comprising: an image recognition unit that recognizes an image described on a surface of a form from a surface image from which a noise image has been removed.

かかる構成により、記録部は、読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録され、画像入力部は、帳票の表面を読取り、雑音除去部は、画像入力部で読取られた表面画像に帳票の裏面の裏写りからなる雑音画像が含まれるとき、表面画像から雑音画像を情報の少なくとも一部を用いて除去し、画像認識部は、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する。その結果、帳票表面に記載された画像を正確に認識することができる。 With this configuration, the recording unit records in advance information based on the back side image on the back side with respect to the front side of the form to be read, the image input unit reads the front side of the form, and the noise removing unit is the image input unit. When the front image read in step 2 contains a noise image consisting of the back of the back of the form, the noise image is removed from the front image using at least a part of the information, and the image recognition unit removes the noise image. The image written on the surface of the form is recognized from the surface image. As a result, the image described on the form surface can be accurately recognized.

上記裏面画像に基づく情報は罫線の位置情報であり、雑音除去部は、予め記録された裏面の罫線の位置と一致する罫線を除去してもよい。また、上記記録部に表面画像に基づく罫線の位置情報を記録し、雑音除去部は、予め記録した裏面の罫線と表面の罫線の位置が重なる場合は、重なる部分の罫線を除去しなくてもよい。 The information based on the back image is ruled line position information, and the noise removing unit may remove a ruled line that matches the position of the ruled line on the back recorded in advance. Further, the position information of the ruled lines based on the front image is recorded in the recording unit, and the noise removing unit does not need to remove the ruled lines of the overlapping portion when the positions of the ruled lines on the back surface and the ruled lines on the front surface overlapped in advance. Good.

上記記録部に帳票の文字認識対象領域を記録し、雑音除去部は文字認識対象領域内に対して裏面の罫線と一致する罫線を除去し、画像認識部は文字認識対象領域内の文字を認識してもよい。 The character recognition target area of the form is recorded in the recording part, the noise removal part removes the ruled line that matches the ruled line on the back side of the character recognition target area, and the image recognition part recognizes the characters in the character recognition target area. May be.

上記記録部に複数の帳票に対応させて帳票ごとの表面と裏面の罫線の位置情報を記録し、画像認識部は、雑音画像が除去された表面画像の罫線と予め記録された帳票ごとの表面の罫線とを比較してどの帳票かを特定してもよい。 The position information of the front and back ruled lines for each form is recorded in the recording unit corresponding to a plurality of forms, and the image recognizing unit records the ruled lines of the front image from which the noise image has been removed and the surface for each pre-recorded form. It may be specified which form is compared with the ruled line.

上記裏面画像に基づく情報は文字の情報であってもよい。また、上記画像入力部で読取られた表面画像をラベリング処理して第１のラベルを生成するラベリング部を備え、雑音除去部が、所定の雑音閾値に基づいて第１のラベルを除去することによって雑音画像を除去してもよい。 The information based on the back image may be character information. In addition, a labeling unit that generates a first label by labeling the surface image read by the image input unit is provided, and the noise removing unit removes the first label based on a predetermined noise threshold value. Noise images may be removed.

上記ラベリング部は、記録部に記録された裏面画像をラベリング処理し第２のラベルを生成し、第２のラベルに基づいて雑音閾値を変更する雑音閾値変更部を備え、雑音除去部は、変更された雑音閾値に基づいて雑音画像を除去してもよい。 The labeling unit includes a noise threshold changing unit that performs a labeling process on the back image recorded in the recording unit to generate a second label, and changes a noise threshold based on the second label. The noise image may be removed based on the determined noise threshold.

上記第２のラベルに基づいて、画像入力部で読取られた表面画像を複数の領域に分割する領域分割部を備え、雑音閾値変更部は、複数の領域ごとに雑音閾値を変更してもよい。 An area dividing unit that divides the surface image read by the image input unit into a plurality of regions based on the second label may be provided, and the noise threshold value changing unit may change the noise threshold value for each of the plurality of regions. .

また、上記課題を解決するために、本発明の別の観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像を記録するステップと、帳票の表面を読取るステップと、読取られた表面画像に裏面画像の反転画像の少なくとも一部からなる雑音画像が含まれるとき、表面画像から雑音画像を除去するステップと、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識するステップとを含むことを特徴とする画像認識方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a step of recording a back side image on the back side with respect to a surface of a form to be read, a step of reading the surface of the form, and a reading A noise image comprising at least a part of a reverse image of the back image is included in the obtained front image, and a step of removing the noise image from the front image and the surface image from which the noise image has been removed are described on the surface of the form An image recognition method comprising: recognizing an image.

また、上記課題を解決するために、本発明の別の観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像を記録する手段、帳票の表面を読取る手段、読取られた表面画像に裏面画像の反転画像の少なくとも一部からなる雑音画像が含まれるとき、表面画像から雑音画像を除去する手段、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する手段として、コンピュータを機能させることを特徴とするプログラムが提供される。 In order to solve the above problem, according to another aspect of the present invention, a means for recording a back side image on the back side with respect to a surface of a form to be read, a means for reading the surface of the form, When the front image contains a noise image consisting of at least part of the reverse image of the back image, means to remove the noise image from the front image, and recognize the image written on the surface of the form from the front image from which the noise image has been removed As a means for doing so, a program characterized by causing a computer to function is provided.

本発明によれば、帳票表面に記載された画像を正確に認識することができる。 According to the present invention, it is possible to accurately recognize an image written on the form surface.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

（第１の実施形態の構成）
まず、本発明の第１の実施形態に係る文字認識装置（画像認識装置）１００について説明する。図８は、本実施形態に係る文字認識装置１００を示すブロック図である。文字認識装置１００は、表面又は裏面に印刷がされた帳票などの書類上の文字をコンピュータ上のデータとして扱うため、例えば、帳票１０１上の認識対象領域内に記載された文字に対して読取りを行い、文字認識を行なう。 (Configuration of the first embodiment)
First, a character recognition device (image recognition device) 100 according to a first embodiment of the present invention will be described. FIG. 8 is a block diagram showing the character recognition device 100 according to this embodiment. Since the character recognition device 100 handles characters on a document such as a form printed on the front or back side as data on a computer, for example, the character recognition device 100 reads characters written in a recognition target area on the form 101. And character recognition.

文字認識装置１００は、図８に示すように、例えば、画像入力部１０２と、レイアウト解析部１１０と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１２０と、文字認識部１４０と、出力形成部１５０とを備える。なお、レイアウト解析部１１０には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１３０が接続可能となっている。 As shown in FIG. 8, the character recognition device 100 includes, for example, an image input unit 102, a layout analysis unit 110, a recording unit 120 in which a format database (hereinafter, database is abbreviated as DB), a character recognition unit, and the like. Unit 140 and output forming unit 150. Note that a display device such as a CRT (cathode ray tube) and an input device 130 such as a keyboard and a mouse can be connected to the layout analysis unit 110.

ここで、画像入力部１０２は、読取り対象である帳票１０１からその記載内容を画像データとして読み取る。レイアウト解析部１１０は、帳票１０１上における認識対象領域の位置を解析する。また、レイアウト解析部１１０は、画像入力部１０２が読み取った画像データから特徴情報を抽出してフォーマットの作成をし、フォーマットをフォーマットＤＢとして記録部１２０に記録する。更に、レイアウト解析部１１０は、フォーマットに基づいて認識対象領域内の画像データのみを抽出する。 Here, the image input unit 102 reads the description content as image data from the form 101 to be read. The layout analysis unit 110 analyzes the position of the recognition target area on the form 101. In addition, the layout analysis unit 110 extracts feature information from the image data read by the image input unit 102 to create a format, and records the format in the recording unit 120 as a format DB. Furthermore, the layout analysis unit 110 extracts only the image data in the recognition target area based on the format.

記録部１２０は、フォーマットＤＢを記録しており、フォーマットＤＢは、レイアウト解析部１１０での解析に必要な情報、例えば、読取り対象である帳票１０１の認識対象領域内の画像データのみを抽出するために用いられる帳票フォーマットのデータである。フォーマットＤＢは１つの帳票ごとに作成される。 The recording unit 120 records a format DB, and the format DB extracts only information necessary for analysis by the layout analysis unit 110, for example, image data in a recognition target area of the form 101 to be read. This is the data of the form format used for. The format DB is created for each form.

文字認識部１４０は、画像認識部の一例であり、レイアウト解析部１１０によって認識対象領域と判断された領域内の画像データに対し、文字認識を行なう。出力形成部１５０は、文字認識部１４０で認識された文字認識結果を、帳票１０１上の認識対象領域内に記載された文字として、テキストデータ等として出力する。 The character recognizing unit 140 is an example of an image recognizing unit, and performs character recognition on image data in an area determined as a recognition target area by the layout analyzing unit 110. The output forming unit 150 outputs the character recognition result recognized by the character recognition unit 140 as text data or the like as characters written in the recognition target area on the form 101.

次に、図９を参照して、レイアウト解析部１１０について更に詳しく説明する。図９は、第１の実施形態のレイアウト解析部１１０を示すブロック図である。レイアウト解析部１１０は、制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５と、罫線検出部１１６と、表裏面罫線一致判定部１１７と、罫線除去部１１８などを有する。 Next, the layout analysis unit 110 will be described in more detail with reference to FIG. FIG. 9 is a block diagram illustrating the layout analysis unit 110 according to the first embodiment. The layout analysis unit 110 includes a control unit 111, a recognition target region rectangular coordinate setting unit 112, a format DB creation unit 113, a format DB analysis unit 114, a recognition target region creation unit 115, a ruled line detection unit 116, and a table. A backside ruled line coincidence determining unit 117 and a ruled line removing unit 118 are included.

制御部１１１は、レイアウト解析部１１０全体の制御手段を有する。認識対象領域矩形座標設定部１１２は、入力装置１３０の操作に基づいて、例えば矩形からなる認識対象領域の矩形座標を設定する。フォーマットＤＢ作成部１１３は、画像入力部１０２が読み取った画像データから特徴情報を抽出してフォーマットの作成をする。フォーマットＤＢ解析部１１４は、認識対象領域内の画像データのみを抽出するため、フォーマットＤＢの解析を行なう。認識対象領域作成部１１５は、認識対象領域の矩形座標に基づいて認識対象領域を作成する。 The control unit 111 includes control means for the layout analysis unit 110 as a whole. The recognition target area rectangular coordinate setting unit 112 sets the rectangular coordinates of the recognition target area including, for example, a rectangle based on the operation of the input device 130. The format DB creation unit 113 extracts feature information from the image data read by the image input unit 102 and creates a format. The format DB analysis unit 114 analyzes the format DB in order to extract only the image data in the recognition target area. The recognition target area creating unit 115 creates a recognition target area based on the rectangular coordinates of the recognition target area.

罫線検出部１１６は、帳票１０１上における水平方向又は垂直方向の連続する黒画素を探索し、罫線を検出する。表裏面罫線一致判定部１１７は、罫線検出部１１６で検出された表面画像の罫線座標と、予め記録部１２０に記録されていた裏面画像の罫線座標に一致しているものがあるか否かを判断する。また、予め記録部１２０に記録されていた表面画像の罫線座標と一致するか否かを判断することにより帳票画像に対応するフォーマットＤＢの特定を行うこともできるものとする。罫線除去部１１８は、雑音除去部の一例であり、画像入力部１０２で読み取られた帳票１０１の画像データから罫線（雑音画像）を除去する。 The ruled line detection unit 116 searches for continuous black pixels in the horizontal direction or the vertical direction on the form 101 and detects ruled lines. The front and back ruled line coincidence determining unit 117 determines whether or not there is a rule that matches the ruled line coordinates of the front surface image detected by the ruled line detection unit 116 and the ruled line coordinates of the back image recorded in the recording unit 120 in advance. to decide. It is also possible to specify the format DB corresponding to the form image by determining whether or not the ruled line coordinates of the surface image previously recorded in the recording unit 120 match. The ruled line removal unit 118 is an example of a noise removal unit, and removes a ruled line (noise image) from the image data of the form 101 read by the image input unit 102.

（第１の実施形態の動作）
次に、本発明の第１の実施形態に係る文字認識装置１００の動作について説明する。 (Operation of the first embodiment)
Next, the operation of the character recognition device 100 according to the first embodiment of the present invention will be described.

まず、図１０及びを参照して、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理について説明する。図１０は、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理を示すフローチャートである。図１２は、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理で読み取られる帳票１０１を示す説明図である。ここで読み取られる帳票１０１は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない罫線１６２等が記載されているとする。 First, the format DB creation processing of the character recognition device 100 according to the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing format DB creation processing of the character recognition device 100 according to this embodiment. FIG. 12 is an explanatory diagram showing a form 101 read by the format DB creation process of the character recognition device 100 according to the present embodiment. It is assumed that the form 101 to be read here has a character recognition processing target on the front surface, for example, a number such as a monetary amount or the like, and a ruled line 162 that is not a character recognition processing target on the back surface.

まず、画像入力部１０２が登録画像を取得するため、帳票１０１の表面及び裏面の画像データを読み取る（ステップＳ１０１）。続いて、オペレータ（操作者）による操作を介して入力装置１３０に帳票１０１表面の認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部１１２が、認識対象領域１６０の矩形座標を設定する（ステップＳ１０２）。また、罫線検出部１１６が、帳票１０１の裏面に印刷された罫線１６２を検出する（ステップＳ１０３）。次に、フォーマットＤＢ作成部１１３が、認識対象領域１６０の矩形座標と帳票１０１裏面の罫線の座標に基づいてフォーマットＤＢを作成し（ステップＳ１０４）、記録部１２０にフォーマットＤＢを記録する。本実施形態において、フォーマットＤＢは、１つの帳票ごとの表面および裏面の罫線の検出結果の情報を含むものである。フォーマットＤＢは各帳票に対応した名称がつけられて記録される。罫線情報が一致するフォーマットＤＢを検索することにより、その罫線情報に対応する帳票を特定することができる。さらにフォーマットＤＢには、その帳票ごとの文字認識を行う認識対象領域の帳票上の位置、認識対象文字種等の情報が含まれており、特定した帳票に応じた文字認識を行うことができるようになっている。 First, in order to obtain a registered image, the image input unit 102 reads the image data on the front and back surfaces of the form 101 (step S101). Subsequently, when the recognition target area rectangular coordinates on the surface of the form 101 are input to the input device 130 through an operation by an operator (operator), the recognition target area rectangular coordinate setting unit 112 causes the rectangular coordinates of the recognition target area 160 to be Is set (step S102). Further, the ruled line detection unit 116 detects the ruled line 162 printed on the back side of the form 101 (step S103). Next, the format DB creation unit 113 creates a format DB based on the rectangular coordinates of the recognition target area 160 and the coordinates of the ruled lines on the back of the form 101 (step S104), and records the format DB in the recording unit 120. In the present embodiment, the format DB includes information on the detection results of the ruled lines on the front and back surfaces for each form. The format DB is recorded with a name corresponding to each form. By searching the format DB that matches the ruled line information, it is possible to specify a form corresponding to the ruled line information. Further, the format DB includes information such as the position on the form of the recognition target area for performing character recognition for each form, the character type to be recognized, and the like so that character recognition can be performed according to the specified form. It has become.

次に、図１１及び図１２を参照して、本実施形態に係る文字認識装置１００の文字認識処理について説明する。図１１は、本実施形態に係る文字認識装置１００の文字認識処理を示すフローチャートである。図１２は、本実施形態に係る文字認識装置１００の文字認識処理で読み取られる帳票１０１を示す説明図である。 Next, with reference to FIG.11 and FIG.12, the character recognition process of the character recognition apparatus 100 which concerns on this embodiment is demonstrated. FIG. 11 is a flowchart showing the character recognition processing of the character recognition device 100 according to the present embodiment. FIG. 12 is an explanatory diagram showing a form 101 read by the character recognition process of the character recognition device 100 according to the present embodiment.

まず、画像入力部１０２が、図１２に示すような帳票１０１の表面の画像データを読み取る（ステップＳ１１１）。続いてフォーマットＤＢ解析部１１４が、記録部１２０に記録されたフォーマットＤＢを読み込み解析し、フォーマットＤＢから認識対象領域１６０の矩形座標と、帳票１０１裏面の罫線１６２の座標を抽出する（ステップＳ１１２）。 First, the image input unit 102 reads the image data on the surface of the form 101 as shown in FIG. 12 (step S111). Subsequently, the format DB analysis unit 114 reads and analyzes the format DB recorded in the recording unit 120, and extracts the rectangular coordinates of the recognition target area 160 and the coordinates of the ruled lines 162 on the back of the form 101 from the format DB (step S112). .

次に、罫線検出部１１６が、画像入力部１０２で読み取られた帳票１０１表面の読み取り画像から、画像内に含まれる罫線１６２の検出を開始する（ステップＳ１１３）。このとき、裏面の罫線１６２が帳票１０１の表面に裏映りしている場合、表面の罫線とともに読み取り画像の画像内に裏面の罫線１６２が検出される。そして、表裏面罫線一致判定部１１７が、記録部１２０に予め記録された登録画像の帳票１０１裏面の罫線検出結果を反転させた情報と、読み取り画像に基づいて検出された罫線検出結果とを比較する（ステップＳ１１４）。帳票１０１の認識対象領域１６０内に両者が一致する罫線１６２がある場合（ステップＳ１１５）は、罫線除去部１１８が認識対象領域１６０内の一致する罫線１６２を除去する（ステップＳ１１６）。 Next, the ruled line detection unit 116 starts detecting the ruled lines 162 included in the image from the read image on the surface of the form 101 read by the image input unit 102 (step S113). At this time, if the back ruled line 162 is reflected on the front surface of the form 101, the back ruled line 162 is detected in the image of the read image together with the front ruled line. Then, the front and back ruled line coincidence determining unit 117 compares the information obtained by inverting the ruled line detection result on the back of the form 101 of the registered image recorded in the recording unit 120 in advance with the ruled line detection result detected based on the read image. (Step S114). When there is a ruled line 162 that matches both in the recognition target area 160 of the form 101 (step S115), the ruled line removal unit 118 removes the matching ruled line 162 in the recognition target area 160 (step S116).

帳票１０１の認識対象領域１６０内に両者が一致する罫線がない場合（ステップＳ１１５）や罫線除去部１１８による罫線除去後は、認識対象領域作成部１１５が、認識対象領域１６０の矩形座標に基づいて認識対象領域１６０を作成する（ステップＳ１１７）。そして、図１２に示すような認識対象領域１６０に対して文字認識部１４０が文字認識を行い（ステップＳ１１８）、出力形成部１５０が認識結果を出力する（ステップＳ１１９）。 When there is no ruled line that matches both in the recognition target area 160 of the form 101 (step S115) or after the ruled line removal unit 118 removes the ruled line, the recognition target area creation unit 115 uses the rectangular coordinates of the recognition target area 160 as a basis. A recognition target area 160 is created (step S117). Then, the character recognition unit 140 performs character recognition on the recognition target area 160 as shown in FIG. 12 (step S118), and the output forming unit 150 outputs the recognition result (step S119).

次に、上記のステップＳ１１１で読み取られた帳票１０１の読み取り画像において、帳票１０１裏面の罫線が裏映りしているが、かすれた状態で読み取られた場合について説明する。 Next, a description will be given of a case where the ruled line on the back side of the form 101 is shown in the read image of the form 101 read in step S111 but is read in a blurred state.

このとき、表裏面罫線一致判定部１１７が記録部１２０に記録された帳票１０１裏面の罫線検出結果と、読み取り画像に基づいて検出された罫線検出結果とを比較するとき（ステップＳ１１４）、表裏面罫線一致判定部１１７は、読み取り画像に基づいて検出された罫線が断続的に連なった罫線であっても、予め設定された所定の距離以内の間隔であれば、連続した罫線とみなして検出する。 At this time, when the front and back ruled line match determination unit 117 compares the ruled line detection result on the back of the form 101 recorded in the recording unit 120 with the ruled line detection result detected based on the read image (step S114). The ruled line coincidence determination unit 117 detects a ruled line that is detected based on the read image as a continuous ruled line if it is an interval within a predetermined distance set in advance even if the ruled line is intermittently connected. .

また、表裏面罫線一致判定部１１７は、予め読み取られた帳票１０１裏面の画像データから、罫線の特徴情報（例えば、各罫線の方向（縦方向又は横方向など）、座標、長さ、太さ、線種（実線、破線など））を反転させ、表面側で罫線が裏映りして罫線が存在すると想定される領域を参照して判定をする。これにより、効率良く裏映りした罫線を除去することができる。 Also, the front and back ruled line matching determination unit 117 determines ruled line feature information (for example, the direction of each ruled line (vertical direction or horizontal direction, etc.), coordinates, length, and thickness from image data on the back side of the form 101 that has been read in advance. The line type (solid line, broken line, etc.) is reversed, and the determination is made with reference to the area where the ruled line is shown on the surface side and the ruled line is assumed to exist. Thereby, it is possible to efficiently remove the ruled lines that are shown back.

ステップＳ１１３において、罫線検出部１１６が、画像入力部１０２で読み取られた読み取り画像から画像内に含まれる罫線を検出するとき、かすれた罫線を破線として検出するとしてもよい。そして、表裏面罫線一致判定部１１７は、裏面の罫線情報と重なる破線を裏映りした裏面の罫線として判定する。もし、帳票１０１の表面の実線の罫線が、裏映りした裏面の罫線と近接している場合、破線のほうを裏面の罫線と判定するとすれば、裏面の罫線の判定の精度が向上する。 In step S113, when the ruled line detection unit 116 detects a ruled line included in the image from the read image read by the image input unit 102, the ruled line detection unit 116 may detect the blurred ruled line as a broken line. Then, the front and back ruled line coincidence determining unit 117 determines that the broken line overlapping the ruled line information on the back side is the ruled line on the back side. If the solid ruled line on the front side of the form 101 is close to the backside ruled line, the accuracy of the determination of the ruled line on the back side is improved if the broken line is judged as the ruled line on the back side.

更に、ステップＳ１１６において罫線除去部１１８が罫線除去する際、認識対象領域１６０に限定せず、帳票１０１全面に対して帳票１０１裏面の罫線特徴に基づいて罫線除去を行うとしてもよい。これにより、記録部１２０に記録された罫線特徴に基づく帳票１０１表裏面の罫線の識別を精度良く行うことができる。 Further, when the ruled line removal unit 118 removes the ruled line in step S116, the ruled line removal may be performed on the entire surface of the form 101 based on the ruled line feature on the back side of the form 101 without being limited to the recognition target area 160. Thereby, the ruled lines on the front and back sides of the form 101 based on the ruled line characteristics recorded in the recording unit 120 can be accurately identified.

なお、ステップＳ１１２で帳票に対応するフォーマットＤＢを読み込む前に、読み込んだ帳票画像をもとに帳票を特定するようにすることもできる。すなわち、裏面の罫線を除去した画像（表面の罫線のみが残った画像）から抽出した罫線情報とフォーマットＤＢの表面の罫線情報を比較して一致するものを選択することにより、帳票識別（どの帳票かを特定する処理）を行うようにすることができる。 Note that before reading the format DB corresponding to the form in step S112, the form may be specified based on the read form image. That is, by comparing the ruled line information extracted from the image from which the ruled line on the back surface is removed (the image in which only the ruled line on the front side remains) and the ruled line information on the front side of the format DB are compared, Can be performed).

その場合、表裏面罫線一致判定部１１７は、ひとつのフォーマットＤＢを読み込んで、ステップＳ１１３からステップＳ１１６までと同様な処理をフォーマットＤＢごとに繰り返しつつ、残った罫線と表面の罫線の情報とを比較するようにすればよい。このとき、裏面の罫線と表面の罫線が重なる位置にある場合は、除去しないか、重ならない部分のみの罫線情報を除去する（当該罫線の座標情報を、裏面のみに存在する部分を含まないように修正する）ようにして、表面に存在する罫線を除去してしまわないようにする。このようにすれば、裏写りする可能性のある裏面の罫線を除去した上で、残った表面の罫線のみによる罫線情報による帳票識別が行えるので、帳票識別の精度を向上させることができる。 In that case, the front and back ruled line coincidence determination unit 117 reads one format DB, and repeats the same processing from step S113 to step S116 for each format DB, and compares the remaining ruled lines with the information of the ruled lines on the front surface. You just have to do it. At this time, if the ruled line on the back surface and the ruled line on the front surface are overlapped, the ruled line information is not removed or only the non-overlapping part is removed (the coordinate information of the ruled line does not include the part existing only on the back side) So that the ruled lines existing on the surface are not removed. In this way, it is possible to perform form identification based on ruled line information based only on the remaining surface ruled lines after removing the ruled lines on the back side that may be show-through, so that the accuracy of form identification can be improved.

本実施形態によれば、フォーマットに帳票１０１裏面画像の罫線を記録し、読み取り時に帳票１０１裏面画像と一致する罫線がある場合は、認識対象領域１６０の罫線を除去することによって正確に文字を認識することができる。 According to this embodiment, the ruled line of the back image of the form 101 is recorded in the format, and when there is a ruled line that matches the back image of the form 101 at the time of reading, the character is accurately recognized by removing the ruled line in the recognition target area 160. can do.

（第２の実施形態の構成）
まず、本発明の第２の実施形態に係る文字認識装置２００について説明する。文字認識装置２００は、第１の実施形態と同様に、図８に示すように、例えば、画像入力部１０２と、レイアウト解析部１１０と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１２０と、文字認識部１４０と、出力形成部１５０とを備える。なお、レイアウト解析部１１０には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１３０が接続可能となっている。これらの構成要素については、第１の実施形態と同一であるため、詳細な説明は省略する。 (Configuration of Second Embodiment)
First, a character recognition device 200 according to a second embodiment of the present invention will be described. As in the first embodiment, the character recognition device 200 records, for example, an image input unit 102, a layout analysis unit 110, and a format database (hereinafter, the database is abbreviated as DB) as shown in FIG. The recording unit 120, the character recognition unit 140, and the output forming unit 150 are provided. Note that a display device such as a CRT (cathode ray tube) and an input device 130 such as a keyboard and a mouse can be connected to the layout analysis unit 110. Since these components are the same as those in the first embodiment, detailed description thereof is omitted.

次に、図１３を参照して、レイアウト解析部１１０について更に詳しく説明する。図１３は、第２の実施形態のレイアウト解析部１１０を示すブロック図である。レイアウト解析部１１０は、制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５と、ラベリング部２１６と、雑音判断部２１７と、雑音除去部２１８と、認識対象領域分割部２１９と、雑音閾値変更部２２０などを有する。 Next, the layout analysis unit 110 will be described in more detail with reference to FIG. FIG. 13 is a block diagram illustrating the layout analysis unit 110 according to the second embodiment. The layout analysis unit 110 includes a control unit 111, a recognition target region rectangular coordinate setting unit 112, a format DB creation unit 113, a format DB analysis unit 114, a recognition target region creation unit 115, a labeling unit 216, and a noise determination. A unit 217, a noise removing unit 218, a recognition target region dividing unit 219, a noise threshold changing unit 220, and the like.

制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５については、第１の実施形態と同様であるため、詳細な説明は省略する。 Since the control unit 111, the recognition target region rectangular coordinate setting unit 112, the format DB creation unit 113, the format DB analysis unit 114, and the recognition target region creation unit 115 are the same as those in the first embodiment, details are described. The detailed explanation is omitted.

ラベリング部２１６は、４近傍ラベリング処理、８近傍ラベリング処理等のラベリング処理を行って、認識対象領域内のラベルを抽出する。雑音判断部２１７は、ラベルの幅と高さが閾値を下回る黒画素を雑音と判断する。雑音除去部２１８は、雑音と判断された黒画素を除去する。認識対象領域分割部２１９は、領域分割部の一例であり、設定された認識対象領域を分割し、複数の部分領域を作成する。雑音閾値変更部２２０は、予め設定されている雑音閾値を変更する。 The labeling unit 216 performs a labeling process such as a 4-neighbor labeling process or an 8-neighbor labeling process to extract a label in the recognition target region. The noise determination unit 217 determines that black pixels whose label width and height are lower than the threshold are noise. The noise removing unit 218 removes black pixels determined to be noise. The recognition target area dividing unit 219 is an example of an area dividing unit, and divides a set recognition target area to create a plurality of partial areas. The noise threshold change unit 220 changes a preset noise threshold.

（第２の実施形態の動作）
次に、本発明の第２の実施形態に係る文字認識装置２００の動作について説明する。 (Operation of Second Embodiment)
Next, the operation of the character recognition device 200 according to the second embodiment of the present invention will be described.

まず、図１４及び図１６を参照して、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理について説明する。図１４は、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理を示すフローチャートである。図１６は、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理で読み取られる帳票２０１を示す説明図である。ここで読み取られる帳票２０１は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない例えば約款、注意事項等の文字などが記載されているとする。 First, the format DB creation processing of the character recognition device 200 according to this embodiment will be described with reference to FIGS. FIG. 14 is a flowchart showing format DB creation processing of the character recognition device 200 according to this embodiment. FIG. 16 is an explanatory diagram showing a form 201 read by the format DB creation process of the character recognition device 200 according to this embodiment. The form 201 to be read here has a character recognition processing target on the front surface, for example, a number such as a monetary amount, etc., and a back surface, for example, a character such as a contract or precautionary item that is not a character recognition processing target. And

まず、画像入力部１０２が登録画像を取得するため、帳票２０１の表面及び裏面の画像データを読み取る（ステップＳ２０１）。続いて、オペレータ（操作者）による操作を介して入力装置１３０に帳票２０１表面の認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部１１２が、認識対象領域２６０の矩形座標を設定する（ステップＳ２０２）。 First, in order to obtain a registered image, the image input unit 102 reads image data on the front and back surfaces of the form 201 (step S201). Subsequently, when the recognition target area rectangular coordinates on the surface of the form 201 are input to the input device 130 through an operation by an operator (operator), the recognition target area rectangular coordinate setting unit 112 causes the rectangular coordinates of the recognition target area 260 to be displayed. Is set (step S202).

また、ラベリング部２１６が帳票２０１の裏面画像のラベル（第２のラベル）を抽出する（ステップＳ２０３）。次に、フォーマットＤＢ作成部１１３が、認識対象領域の矩形座標と帳票２０１裏面の画像データのラベルに基づいてフォーマットＤＢを作成し（ステップＳ２０４）、記録部１２０にフォーマットＤＢを記録する。 Further, the labeling unit 216 extracts the label (second label) of the back image of the form 201 (step S203). Next, the format DB creation unit 113 creates a format DB based on the rectangular coordinates of the recognition target area and the label of the image data on the back of the form 201 (step S204), and records the format DB in the recording unit 120.

次に、図１５及び図１６を参照して、本実施形態に係る文字認識装置２００の文字認識処理について説明する。図１５は、本実施形態に係る文字認識装置２００の文字認識処理を示すフローチャートである。図１６は、本実施形態に係る文字認識装置２００の文字認識処理で読み取られる帳票を示す説明図である。 Next, a character recognition process of the character recognition device 200 according to the present embodiment will be described with reference to FIGS. 15 and 16. FIG. 15 is a flowchart showing character recognition processing of the character recognition device 200 according to the present embodiment. FIG. 16 is an explanatory diagram showing a form read by the character recognition process of the character recognition device 200 according to the present embodiment.

まず、画像入力部１０２が、図１６に示すような帳票２０１の表面の画像データを読み取る（ステップＳ２１１）。続いてフォーマットＤＢ解析部１１４が、記録部１２０に記録されたフォーマットＤＢを読み込み、解析し、フォーマットＤＢから認識対象領域２６０の矩形座標と、帳票１０１裏面の画像データのラベルを抽出する（ステップＳ２１２）。 First, the image input unit 102 reads the image data on the surface of the form 201 as shown in FIG. 16 (step S211). Subsequently, the format DB analysis unit 114 reads and analyzes the format DB recorded in the recording unit 120, and extracts the rectangular coordinates of the recognition target area 260 and the label of the image data on the back of the form 101 from the format DB (step S212). ).

次に、認識対象領域分割部２１９が、抽出された帳票２０１の裏面画像のラベル（第２のラベル）を参照し（ステップＳ２１３）、例えば図１７に示すようにラベルサイズに基づいて認識対象領域２６０を複数に分割する（ステップＳ２１４）。具体的には、図１７に示すように、１行単位で文字が連なって文章が形成されているものをグルーピングする。即ち、帳票２０１の裏面画像のラベルの位置（帳票上の高さ方向）がほぼ同じであり、相互の距離が所定の間隔以内のものを１つのグループとしてグルーピングする。グルーピングされたものをラベルグループとする。そして、ラベルグループの外接矩形をそれぞれのラベルグループごとの領域２６２、２６３とする。この裏面画像のラベルグループの領域２６２、２６３は、反転されて認識対象領域２６０の分割領域の１つとして決定される。図１７は、認識対象領域２６０を示し、上記のラベルをグルーピングした領域２６２、２６３と、それ以外の領域２６４、２６５からなる。 Next, the recognition target area dividing unit 219 refers to the label (second label) of the back side image of the extracted form 201 (step S213), for example, based on the label size as shown in FIG. 260 is divided into a plurality (step S214). Specifically, as shown in FIG. 17, a group of characters in which text is formed in a line unit is grouped. In other words, labels having the same position (in the height direction on the form) of the back image of the form 201 and having a mutual distance within a predetermined interval are grouped as one group. The grouped group is defined as a label group. Then, the circumscribed rectangle of the label group is set as regions 262 and 263 for each label group. The label group areas 262 and 263 of the back image are reversed and determined as one of the divided areas of the recognition target area 260. FIG. 17 shows a recognition target area 260, which is composed of areas 262 and 263 in which the above-mentioned labels are grouped, and other areas 264 and 265.

そして、分割領域ごとにラベルサイズの最大値を抽出する（ステップＳ２１５）。次に、分割領域ごとに雑音閾値Ｔｈを変更する処理を行う。例えば、それぞれの分割領域に番号を振るとする。そして、初期値としてｎ＝０とし（ステップＳＳ２１６）、ｎ＝ｎ＋１の演算（ステップＳ２１７）により、まず、番号１の分割領域について雑音閾値Ｔｈを変更する。具体的には、番号１の分割領域における裏面ラベルサイズの最大値が、予め設定されている雑音閾値Ｔｈ_ｐｒｅより大きく、かつ予め設定されている最大雑音閾値Ｔｈ_ｍａｘよりも小さいかどうかを判断する（ステップＳ２１８）。そして、該当する場合、雑音閾値Ｔｈを裏面ラベルサイズの最大値に変更する（ステップＳ２１９）。 Then, the maximum value of the label size is extracted for each divided area (step S215). Next, the process which changes noise threshold Th for every division area is performed. For example, a number is assigned to each divided area. Then, n = 0 is set as an initial value (step SS216), and the noise threshold Th is first changed for the divided region of number 1 by the calculation of n = n + 1 (step S217). Specifically, it is determined whether or not the maximum value of the back surface label size in the divided area of number 1 is larger than a preset noise threshold Th _{pre and} smaller than a preset maximum noise threshold Th _max. (Step S218). If applicable, the noise threshold Th is changed to the maximum value of the back surface label size (step S219).

例えば、裏面画像のラベルをグルーピングした領域２６２、２６３は、裏面ラベルサイズの最大値が、予め設定されている雑音閾値Ｔｈ_ｐｒｅより大きく、かつ予め設定されている最大雑音閾値Ｔｈ_ｍａｘよりも小さい。また、領域２６２の裏面ラベルサイズの最大値が、領域２６３の裏面ラベルサイズの最大値よりも大きい。その結果、図１７に示すように、領域２６２の雑音閾値Ｔｈは大きく設定され、領域２６３の雑音閾値Ｔｈは領域２６２よりも小さく設定され、裏面画像のラベルをグルーピングした領域２６２、２６３以外の領域２６４、２６５については、予め設定されている雑音閾値Ｔｈ_ｐｒｅに決定される。 For example, in the areas 262 and 263 in which the labels of the back image are grouped, the maximum value of the back surface label size is larger than the preset noise threshold Th _{pre and} smaller than the preset maximum noise threshold Th _max . Further, the maximum value of the back surface label size of the region 262 is larger than the maximum value of the back surface label size of the region 263. As a result, as shown in FIG. 17, the noise threshold Th of the region 262 is set larger, the noise threshold Th of the region 263 is set smaller than the region 262, and the regions other than the regions 262 and 263 grouping the labels of the back image H.264 and 265 are determined as a preset noise threshold Th _pre .

次に、ラベリング部２１６が帳票２０１表面における認識対象領域２６０の分割領域ｎ＝１のラベル（第１のラベル）を抽出する（ステップＳ２２０）。そして、雑音判断部２１７及び雑音除去部２１８が、雑音閾値Ｔｈよりも低い値を有するラベルを除去する（ステップＳ２２１）。そして、分割領域の数に到達するまで、上記のステップＳ２１７〜ステップＳ２２１を繰り返して、分割領域ごとに雑音閾値を変更する（ステップＳ２２２）。 Next, the labeling unit 216 extracts a label (first label) of the divided area n = 1 of the recognition target area 260 on the surface of the form 201 (step S220). Then, the noise determination unit 217 and the noise removal unit 218 remove a label having a value lower than the noise threshold Th (Step S221). Then, the above steps S217 to S221 are repeated until the number of divided areas is reached, and the noise threshold is changed for each divided area (step S222).

次に、認識対象領域作成部１１５が、認識対象領域２６０の矩形座標に基づいて認識対象領域２６０を作成する（ステップＳ２２３）。そして、図１６に示すような認識対象領域２６０に対して文字認識部１４０が文字認識を行い（ステップＳ２２４）、出力形成部１５０が認識結果を出力する（ステップＳ２２５）。 Next, the recognition target area creating unit 115 creates the recognition target area 260 based on the rectangular coordinates of the recognition target area 260 (step S223). Then, the character recognition unit 140 performs character recognition on the recognition target area 260 as shown in FIG. 16 (step S224), and the output forming unit 150 outputs the recognition result (step S225).

本実施形態によれば、フォーマットとして認識対象領域２６０の位置に該当する帳票２０１裏面の画像データのラベルを予め登録し、帳票２０１の読取り時に、認識対象領域２６０を複数に分割した後、分割領域ごとに雑音閾値を変更して雑音除去を実施する。その結果、帳票２０１表面の文字を正確に認識することができる。また、分割領域ごとに雑音除去をするために必要な雑音閾値Ｔｈを設定するため、帳票２０１表面上の比較的小さな文字や記号（例えば、゛（濁点）等）を雑音と誤って判断して除去してしまう可能性を低減することができる。 According to the present embodiment, the label of the image data on the back side of the form 201 corresponding to the position of the recognition target area 260 as a format is registered in advance, and the recognition target area 260 is divided into a plurality of areas when the form 201 is read. Noise removal is performed by changing the noise threshold every time. As a result, the characters on the surface of the form 201 can be accurately recognized. Further, in order to set a noise threshold Th necessary for noise removal for each divided area, a relatively small character or symbol (for example, “(cloud point)) on the surface of the form 201 is erroneously determined as noise. The possibility of removal can be reduced.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

従来の文字認識装置を示すブロック図である。It is a block diagram which shows the conventional character recognition apparatus. 従来のレイアウト解析部を示すブロック図である。It is a block diagram which shows the conventional layout analysis part. 従来の文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。It is a flowchart which shows the format DB creation process of the conventional character recognition apparatus. 従来の文字認識装置の文字認識処理を示すフローチャートである。It is a flowchart which shows the character recognition process of the conventional character recognition apparatus. 従来の文字認識装置の文字認識処理で読み取られる帳票を示す説明図である。It is explanatory drawing which shows the form read by the character recognition process of the conventional character recognition apparatus. 従来の文字認識装置の文字認識処理を示すフローチャートである。It is a flowchart which shows the character recognition process of the conventional character recognition apparatus. 従来の文字認識装置の文字認識処理で読み取られる帳票を示す説明図である。It is explanatory drawing which shows the form read by the character recognition process of the conventional character recognition apparatus. 本発明の第１の実施形態に係る文字認識装置を示すブロック図である。It is a block diagram which shows the character recognition apparatus which concerns on the 1st Embodiment of this invention. 同実施形態のレイアウト解析部を示すブロック図である。It is a block diagram which shows the layout analysis part of the same embodiment. 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。It is a flowchart which shows the format DB creation process of the character recognition apparatus which concerns on the embodiment. 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。It is a flowchart which shows the character recognition process of the character recognition apparatus which concerns on the embodiment. 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理及び文字認識処理で読み取られる帳票を示す説明図である。It is explanatory drawing which shows the form read by the format DB creation process and character recognition process of the character recognition apparatus concerning the embodiment. 本発明の第２の実施形態のレイアウト解析部を示すブロック図である。It is a block diagram which shows the layout analysis part of the 2nd Embodiment of this invention. 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。It is a flowchart which shows the format DB creation process of the character recognition apparatus which concerns on the embodiment. 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。It is a flowchart which shows the character recognition process of the character recognition apparatus which concerns on the embodiment. 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。It is a flowchart which shows the character recognition process of the character recognition apparatus which concerns on the embodiment. 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理及び文字認識処理で読み取られる帳票を示す説明図である。It is explanatory drawing which shows the form read by the format DB creation process and character recognition process of the character recognition apparatus concerning the embodiment. 同実施形態の認識対象領域を示す説明図である。It is explanatory drawing which shows the recognition object area | region of the embodiment.

Explanation of symbols

１００、２００文字認識装置
１０２画像入力部
１１０レイアウト解析部
１１１制御部
１１２認識対象領域矩形座標設定部
１１３フォーマットＤＢ作成部
１１４フォーマットＤＢ解析部
１１５認識対象領域作成部
１１６罫線検出部
１１７表裏面罫線一致判定部
１１８罫線除去部
１２０記録部
１３０入力装置
１４０文字認識部
１５０出力形成部
２１６ラベリング部
２１７雑音判断部
２１８雑音除去部
２１９認識対象領域分割部
２２０雑音閾値変更部 100, 200 Character recognition device 102 Image input unit 110 Layout analysis unit 111 Control unit 112 Recognition target region rectangular coordinate setting unit 113 Format DB creation unit 114 Format DB analysis unit 115 Recognition target region creation unit 116 Ruled line detection unit 117 Front and back ruled line matching Determination unit 118 Ruled line removal unit 120 Recording unit 130 Input device 140 Character recognition unit 150 Output formation unit 216 Labeling unit 217 Noise determination unit 218 Noise removal unit 219 Recognition target region division unit 220 Noise threshold value change unit

Claims

A recording unit in which information based on the back side image on the back side is recorded in advance with respect to the front side of the form to be read;
An image input unit for reading the surface of the form;
A noise removing unit that removes the noise image from the front image using at least a part of the information when the front image read by the image input unit includes a noise image including a show-through of the back side of the form; ,
An image recognition unit for recognizing an image described on the surface of the form from the surface image from which the noise image has been removed;
An image recognition apparatus comprising:

The information based on the back image is ruled line position information,
The image recognition apparatus according to claim 1, wherein the noise removing unit removes a ruled line that matches a position of a ruled line on the back surface recorded in advance.

Record the position information of the ruled line based on the surface image in the recording unit,
The image recognition apparatus according to claim 2, wherein the noise removing unit does not remove the ruled line of the overlapping portion when the positions of the ruled line on the back surface and the ruled line on the front surface that are recorded in advance overlap.

Record the character recognition target area of the form in the recording unit,
The noise removing unit removes a ruled line that matches the ruled line on the back surface in the character recognition target area,
The image recognition apparatus according to claim 2, wherein the image recognition unit recognizes a character in a character recognition target area.

Record the position information of the front and back ruled lines for each form in correspondence with a plurality of forms in the recording unit,
The image recognition unit compares the ruled line of the surface image from which the noise image has been removed with the ruled line of the surface for each form recorded in advance, and identifies which form is specified. The image recognition apparatus described.

The image recognition apparatus according to claim 1, wherein the information based on the back image is character information.

A labeling unit that generates a first label by labeling the surface image read by the image input unit;
The image recognition apparatus according to claim 1, wherein the noise removing unit removes the noise image by removing the first label based on a predetermined noise threshold.

The labeling unit generates a second label by labeling the back image recorded in the recording unit;
A noise threshold changing unit for changing the noise threshold based on the second label;
The image recognition apparatus according to claim 7, wherein the noise removing unit removes the noise image based on the changed noise threshold.

An area dividing unit that divides the surface image read by the image input unit into a plurality of areas based on the second label;
The image recognition apparatus according to claim 8, wherein the noise threshold value changing unit changes the noise threshold value for each of the plurality of regions.

Recording a back side image on the back side with respect to the front side of the form to be read;
Reading the surface of the form;
Removing the noise image from the front image when the read front image includes a noise image consisting of at least a part of a reverse image of the back image;
Recognizing the image described on the surface of the form from the surface image from which the noise image has been removed;
An image recognition method comprising:

Means for recording the back side image on the back side with respect to the front side of the form to be read;
Means for reading the surface of the form;
Means for removing the noise image from the front image when the read front image includes a noise image consisting of at least a part of a reverse image of the back image;
A program causing a computer to function as means for recognizing an image described on a surface of the form from a surface image from which the noise image has been removed.