JP2019159932A - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP2019159932A JP2019159932A JP2018047061A JP2018047061A JP2019159932A JP 2019159932 A JP2019159932 A JP 2019159932A JP 2018047061 A JP2018047061 A JP 2018047061A JP 2018047061 A JP2018047061 A JP 2018047061A JP 2019159932 A JP2019159932 A JP 2019159932A
- Authority
- JP
- Japan
- Prior art keywords
- entry
- image
- frame
- extracted
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
Abstract
Description
本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing apparatus and a program.
帳票等の用紙に対してＯＣＲ（Optical Character Recognition）等の文字認識処理を適用することで、当該用紙上の記入欄に記入されている文字が認識される場合がある。その文字認識には、一般的には、予め作成された定義情報が用いられる。定義情報は、例えば、文字が記入されるべき記入欄に対応する記入枠の用紙上の位置情報を含む。その定義情報を作成するための技術として、記入欄が形成されている用紙（例えば帳票等）の画像から、その記入欄に対応する記入枠としての矩形部分を自動的に抽出する技術が知られている。 By applying a character recognition process such as OCR (Optical Character Recognition) to paper such as a form, the characters entered in the entry field on the paper may be recognized. In general, definition information created in advance is used for the character recognition. The definition information includes, for example, position information on a sheet of an entry frame corresponding to an entry field in which characters are to be entered. As a technique for creating the definition information, a technique for automatically extracting a rectangular portion as an entry frame corresponding to the entry field from an image of a form (for example, a form) on which the entry field is formed is known. ing.
特許文献１には、ユーザによって指定された範囲を枠線検出範囲として定義し、その枠線検出範囲内に存在する枠線を検出し、その検出された枠線の位置情報を含むフォーマット情報を表示する方法が記載されている。
特許文献２には、スキャナによる読み取りによって生成されたドットパターンデータに真線化処理を施すことで、図形や文字のパターンを認識するシステムが記載されている。
特許文献３には、帳票画像から罫線を抽出し、罫線情報から罫線枠を抽出し、その後、抽出された罫線枠に相当する部分の画像を帳票画像から消去し、生成された枠消去画像から再び罫線を抽出し、これらの処理を繰り返す装置が記載されている。
In
ところで、全自動で記入枠を抽出する技術が適用された場合、抽出されるべき記入枠が抽出されないことや、記入枠として抽出されるべきではない部分が記入枠として抽出されることがある。 By the way, when a technique for extracting an entry frame in a fully automatic manner is applied, an entry frame to be extracted may not be extracted, or a portion that should not be extracted as an entry frame may be extracted as an entry frame.
本発明の目的は、情報が記入されるべき記入欄が形成されている用紙の画像から、その記入欄に対応する記入枠を全自動で抽出する場合と比べて、より正確に記入枠を抽出することにある。 The purpose of the present invention is to extract the entry frame more accurately than the case where the entry frame corresponding to the entry field is automatically extracted from the image of the paper on which the entry field to be filled with information is formed. There is to do.
請求項１に記載の発明は、情報が記入されるべき記入欄が形成されている用紙の画像から前記記入欄に対応する記入枠としての矩形部分を抽出する抽出手段と、前記抽出手段による抽出結果を表示手段に表示させる表示制御手段と、前記抽出結果の表示の後、ユーザの指示に従って、前記記入枠としての矩形部分を抽出するための編集を前記画像に対して行う画像編集手段と、前記編集が反映された前記画像から前記記入枠としての矩形部分を再抽出する再抽出手段と、前記記入欄に記入された情報を抽出するために用いられる定義情報を出力する出力手段であって、前記再抽出手段によって抽出された前記記入枠と、前記記入欄に記入されるべき情報の属性との対応付けを示す定義情報を出力する出力手段と、を有する情報処理装置である。
The invention according to
請求項２に記載の発明は、前記画像編集手段は、ユーザの指示に従って、前記編集として、前記画像に対して線分からなる図形を形成し、前記再抽出手段は、前記図形が形成されている前記画像から前記記入枠としての矩形部分を再抽出する、ことを特徴とする請求項１に記載の情報処理装置である。
According to a second aspect of the present invention, the image editing unit forms a figure composed of a line segment with respect to the image as the editing in accordance with a user instruction, and the re-extracting unit forms the figure. The information processing apparatus according to
請求項３に記載の発明は、前記画像編集手段は、ユーザの指示に従って、前記編集として、前記画像に対して矩形部分からなる図形を形成し、前記再抽出手段は、前記図形が形成されている前記画像から前記記入枠としての矩形部分を再抽出する、ことを特徴とする請求項１に記載の情報処理装置である。
According to a third aspect of the present invention, the image editing means forms a graphic consisting of a rectangular portion with respect to the image as the editing in accordance with a user instruction, and the re-extracting means forms the graphic. The information processing apparatus according to
請求項４に記載の発明は、前記画像編集手段は、ユーザによって前記画像上に形成されている図形を補正することで、前記画像に対して矩形部分を形成する、ことを特徴とする請求項３に記載の情報処理装置である。 The invention according to claim 4 is characterized in that the image editing means corrects a figure formed on the image by a user to form a rectangular portion with respect to the image. 3. The information processing apparatus according to 3.
請求項５に記載の発明は、前記画像編集手段は、前記画像に表された前記記入欄を構成する線分と接する前記図形を形成する、ことを特徴とする請求項２から請求項４のいずれか一項に記載の情報処理装置である。
The invention according to
請求項６に記載の発明は、前記画像編集手段は、ユーザの指示に従って、前記編集として、前記画像上に非抽出領域を形成し、前記再抽出手段は、前記画像内の前記非抽出領域以外の領域から前記記入枠としての矩形部分を再抽出する、ことを特徴とする請求項１に記載の情報処理装置である。
According to a sixth aspect of the present invention, the image editing means forms a non-extraction area on the image as the editing in accordance with a user instruction, and the re-extraction means is other than the non-extraction area in the image. The information processing apparatus according to
請求項７に記載の発明は、前記表示制御手段は、前記抽出結果と共に、前記画像を背景画像として前記表示手段に表示させる、ことを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置である。 The invention according to claim 7 is characterized in that the display control means causes the display means to display the image as a background image together with the extraction result. It is an information processing apparatus as described in.
請求項８に記載の発明は、コンピュータを、情報が記入されるべき記入欄が形成されている用紙の画像から前記記入欄に対応する記入枠としての矩形部分を抽出する抽出手段、前記抽出手段による抽出結果を表示手段に表示させる表示制御手段、前記抽出結果の表示の後、ユーザの指示に従って、前記記入枠としての矩形部分を抽出するための編集を前記画像に対して行う画像編集手段、前記編集が反映された前記画像から前記記入枠としての矩形部分を再抽出する再抽出手段、前記記入欄に記入された情報を抽出するために用いられる定義情報を出力する出力手段であって、前記再抽出手段によって抽出された前記記入枠と、前記記入欄に記入されるべき情報の属性との対応付けを示す定義情報を出力する出力手段、として機能させるプログラムである。 According to an eighth aspect of the present invention, there is provided an extracting means for extracting a rectangular portion as an entry frame corresponding to the entry field from an image of a sheet on which an entry field to be filled with information is formed. Display control means for displaying the extraction result by the display means, after displaying the extraction result, an image editing means for performing editing for extracting the rectangular portion as the entry frame on the image according to a user instruction, Re-extracting means for re-extracting a rectangular portion as the entry frame from the image in which the edit is reflected, output means for outputting definition information used for extracting information entered in the entry field, A program that functions as output means for outputting definition information indicating the correspondence between the entry frame extracted by the re-extraction means and the attribute of the information to be entered in the entry field. It is a lamb.
請求項１，８に記載の発明によれば、情報が記入されるべき記入欄が形成されている用紙の画像から、その記入欄に対応する記入枠を全自動で抽出する場合と比べて、より正確に記入枠を抽出することにある。
According to the inventions described in
請求項２，３，５に記載の発明によれば、抽出されるべき記入枠が抽出される。
According to the invention described in
請求項４に記載の発明によれば、ユーザの操作のみによって矩形部分を形成する場合と比べて、より正確に矩形部分が形成される。 According to the fourth aspect of the present invention, the rectangular portion is formed more accurately than when the rectangular portion is formed only by the user's operation.
請求項６に記載の発明によれば、抽出されるべきではない部分が記入枠として抽出されることが防止される。 According to the sixth aspect of the present invention, it is prevented that a portion that should not be extracted is extracted as an entry frame.
請求項７に記載の発明によれば、抽出された記入枠と画像に表されている記入欄との対比が可能となる。 According to the invention described in claim 7, it is possible to compare the extracted entry frame with the entry field shown in the image.
図１を参照して、本発明の実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの一例が示されている。 An information processing system according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 shows an example of an information processing system according to this embodiment.
本実施形態に係る情報処理システムは、一例として、情報処理装置１０とスキャナ１２とを含む。情報処理装置１０とスキャナ１２は、ネットワーク等の通信経路を介して、又は、直接的に、互いに通信する機能を有する。その通信は、無線通信であってもよいし、有線通信であってもよい。
The information processing system according to the present embodiment includes an
情報処理装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の端末装置であり、ＯＣＲ等の文字認識処理に用いられる定義情報を作成する装置である。その定義情報は、帳票等の用紙に対する文字認識処理によって、その用紙上の記入欄に記入されている情報としての文字を認識するために用いられる情報である。定義情報は、例えば、当該記入欄に対応する記入枠の用紙上の位置情報を含む情報である。記入枠は、文字認識処理が適用される矩形状の領域である。記入枠は、記入欄と同じ形状及び大きさを有していてもよいし、記入欄とは異なる形状及び大きさを有していてもよい。例えば、記入枠は、記入欄内において文字が記載されると想定される領域として定められる。
The
スキャナ１２は、スキャン機能を有する装置であり、原稿を読み取ることで画像データを生成する。生成された画像データは、スキャナ１２から情報処理装置１０に送られる。
The
本実施形態では、帳票等の用紙がスキャナ１２によって読み取られ、これによって、その用紙を表す画像データが生成される。その用紙には、文字が記入されるべき記入欄が形成されている。文字認識処理に用いられる定義情報を作成するためには、記入欄に文字が記入されていない帳票等の用紙がスキャナ１２によって読み取られ、これによって、記入欄に文字が記入されていない用紙を表す画像データが生成される。情報処理装置１０は、その画像データに画像処理を適用することで、当該画像データから記入欄に対応する記入枠を抽出し、更に、用紙上における当該記入枠の位置情報を含む定義情報を作成する。
In the present embodiment, a sheet such as a form is read by the
なお、情報処理装置１０は、スキャナ１２以外の装置（例えばサーバ等の装置）から画像データを取得し、当該画像データに対して画像処理を適用することで、記入枠の抽出と定義情報の作成を行ってもよい。情報処理装置１０にスキャナ１２が含まれて、これによって、いわゆる複合機等の画像形成装置（スキャン機能の他に、コピー機能やプリント機能等の画像形成機能を有する装置）が構成されてもよい。この場合、画像形成装置によって、画像データに対して画像処理が適用される。
The
以下、情報処理装置１０の構成について詳しく説明する。
Hereinafter, the configuration of the
通信部１４は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１４は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
The
ＵＩ部１６はユーザインターフェースであり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボードやマウス等の入力装置である。
The
記憶部１８はハードディスクやメモリ等の記憶装置である。記憶部１８には、例えば、スキャナ１２や他の装置から送られてきた画像データ、その他のデータ、各種のプログラム、等が記憶されている。
The
画像処理部２０は、記入欄が形成されている帳票等の用紙を表す画像データに対して画像処理を適用することで、当該記入欄に対応する記入枠を当該画像データから抽出し、更に、当該用紙上における当該記入枠の位置情報を含む定義情報を作成するように構成されている。以下、画像処理部２０の構成について詳しく説明する。
The
抽出部２２は、記入欄が形成されている帳票等の用紙を表す画像データから、当該記入欄に対応する記入枠としての矩形部分を抽出するように構成されている。例えば、抽出部２２は、ヒストグラム法やハフ変換等を用いることで画像データから枠線としての線分を検出し、複数の線分によって構成される矩形部分（複数の線分によって矩形状の囲みが形成されている部分）を記入枠として抽出する。具体的には、１つの線分に他の線分が接続され、４つの線分によって矩形状の囲みが形成されている場合、抽出部２２は、それらの線分を一纏めにして矩形部分としての記入枠を抽出する。
The
表示制御部２４は、抽出部２２によって抽出された記入枠を表す画像をＵＩ部１６の表示部に表示させるように構成されている。また、表示制御部２４は、後述する再抽出部２８によって抽出された記入枠を表す画像をＵＩ部１６の表示部に表示させるように構成されている。
The
画像編集部２６は、ユーザの指示に従って、用紙を表す画像データを編集するように構成されている。編集は、図形の追加や削除等である。画像データに対して、図形が追加されると共に、画像データを構成する図形が削除されてもよい。図形は、例えば、線分からなる図形や、矩形部分からなる図形等である。
The
再抽出部２８は、画像編集部２６による編集が反映された画像データから、記入枠としての矩形部分を抽出するように構成されている。その抽出アルゴリズムは、抽出部２２における抽出アルゴリズムと同じである。なお、再抽出部２８が画像処理部２０に設けられずに、抽出部２２によって、再抽出部２８による処理が実行されてもよい。
The
定義情報作成部３０は、再抽出部２８によって抽出された記入枠と、その記入枠に対応する記入欄に記載されるべき情報（文字）の属性との対応付けを示す定義情報を作成するように構成されている。例えば、その定義情報は、用紙上における記入枠の位置情報（座標情報）と、情報（文字）の属性を示す属性情報とが互いに対応付けられている。属性情報は、例えば、記入欄に記入されるべき内容を示す情報や、文字認識処理に用いられる辞書を示す情報等を含む。定義情報は、例えば、ＵＩ部１６の表示部に表示されてもよいし、情報処理装置１０以外の装置や記録媒体に出力されてもよい。また、定義情報は、ユーザによって編集されてもよい。定義情報は、記入欄に文字が記入された用紙から文字を認識するときに用いられる。例えば、定義情報に含まれる位置情報に基づいて、用紙の画像に表されている記入枠が特定され、その記入枠内に表されている画像に対して文字認識処理が適用されることで、記入欄に記入されている文字が認識される。
The definition
制御部３２は、情報処理装置１０の各部の動作を制御するように構成されている。例えば、制御部３２は、通信部１４による通信、ＵＩ部１６の表示部による情報の表示、記憶部１８からの情報の読み出し、記憶部１８への情報の書き込み、等を制御する。
The
なお、画像処理部２０による処理は、サーバ等の外部装置によって行われ、その処理結果を示す情報が外部装置から情報処理装置１０に送信されて、その情報が情報処理装置１０に表示されてもよい。すなわち、画像処理部２０による画像処理と、その処理結果の表示は、同一装置によって行われてもよいし、それぞれ異なる装置によって行われてもよい。また、画像処理部２０による処理の対象となる画像データは、スキャナ１２以外の装置（例えばサーバ等の外部装置）から情報処理装置１０に送られてもよい。すなわち、画像処理部２０による処理の対象となる画像データは、文字が記入されていない帳票等の用紙がスキャナ１２によってスキャンされることで生成された画像データであってもよいし、スキャンによらずに生成された画像データであってもよい。
The processing by the
以下、本実施形態に係る情報処理システムについて詳しく説明する。 Hereinafter, the information processing system according to the present embodiment will be described in detail.
図２を参照して、記入欄に文字が記入されていない用紙の一例として、帳票について説明する。以下、記入欄に文字列が記入されていない用紙を「テンプレート」と称することとする。図２には、帳票のテンプレートの一例が示されている。帳票３４（テンプレート）は、用紙の一例である。帳票３４には、表形式の記入欄が形成されている。具体的には、帳票３４には、「氏名」が記入されるべき記入欄３６，３８と、「住所」が記入されるべき記入欄４０，４２，４４，４６が形成されている（例えば印刷されている）。記入欄３６は、「氏名」の「ふりがな」が記入されるべき欄であり、記入欄３８は、漢字、ひらがな、カタカナ、数字、アルファベット等によって表現される「氏名」が記入されるべき欄である。記入欄４０は、「住所１」の「ふりがな」が記入されるべき欄であり、記入欄４２は、漢字、ひらがな、カタカナ、数字、アルファベット等によって表現される「住所１」が記入されるべき欄である。記入欄４４は、「住所２」の「ふりがな」が記入されるべき欄であり。記入欄４６は、漢字、ひらがな、カタカナ、数字、アルファベット等によって表現される「住所２」が記入されるべき欄である。各記入欄には文字は記入されていない。
With reference to FIG. 2, a form will be described as an example of a sheet on which characters are not entered in the entry column. Hereinafter, a sheet in which no character string is entered in the entry field is referred to as a “template”. FIG. 2 shows an example of a form template. The form 34 (template) is an example of paper. The
氏名に関しては、全体の記入欄は実線で構成されているが、記入欄３６と記入欄３８は、破線によって区分けされている。同様に、住所１に関しては、全体の記入欄は実線で構成されているが、記入欄４０と記入欄４２は、破線によって区分けされている。住所２についても同様であり、記入欄４４と記入欄４６は、破線によって区分けされている。
Regarding the name, the entire entry field is composed of solid lines, but the
また、Ｘ方向とＹ方向は互いに直交する方向であり、各記入欄は、Ｘ方向に平行な線分とＹ方向に平行な線分とによって構成されている。線分は、実線又は破線である。例えば、記入欄３６は、Ｘ方向に平行な２つの線分と、Ｙ方向に平行な２つの線分とによって構成されている。他の記入欄についても同様である。このように、図２に示されている各記入欄は、矩形状の形状を有する。
Further, the X direction and the Y direction are directions orthogonal to each other, and each entry column is composed of a line segment parallel to the X direction and a line segment parallel to the Y direction. The line segment is a solid line or a broken line. For example, the
ここで、図３を参照して、記入欄３６，３８の構成について詳しく説明する。図３には、記入欄３６，３８が示されている。記入欄３６は、点Ａ１，Ａ２，Ａ３，Ａ４を頂点とする矩形状の領域である。つまり、記入欄３６は、Ｘ方向に平行な線分Ａ１Ａ２（点Ａ１と点Ａ２とを結ぶ線分）、Ｘ方向に平行な線分Ａ３Ａ４（点Ａ３と点Ａ４とを結ぶ線分）、Ｙ方向に平行な線分Ａ１Ａ３（点Ａ１と点Ａ３とを結ぶ線分）、及び、Ｙ方向に平行な線分Ａ２Ａ４（点Ａ２と点Ａ４とを結ぶ線分）によって囲まれた矩形状の領域である。記入欄３８は、点Ａ３，Ａ４，Ａ５，Ａ６を頂点とする矩形状の領域である。つまり、記入欄３８は、Ｘ方向に平行な線分Ａ３Ａ４、Ｘ方向に平行な線分Ａ５Ａ６（点Ａ５と点Ａ６とを結ぶ線分）、Ｙ方向に平行な線分Ａ３Ａ５（点Ａ３と点Ａ５とを結ぶ線分）、及び、Ｙ方向に平行な線分Ａ４Ａ６（点Ａ４と点Ａ６とを結ぶ線分）によって囲まれた矩形状の領域である。線分Ａ３Ａ４は破線であり、他の線分は実線である。住所に関する記入欄４０，４２，４４，４６も同様の構成を有する。
Here, the configuration of the entry fields 36 and 38 will be described in detail with reference to FIG. In FIG. 3, entry fields 36 and 38 are shown. The
帳票３４が実際に利用される場面においては、帳票３４の利用者によって、帳票３４内の各記入欄に、氏名や住所を表す文字列が記入される。そのようにして文字列が記入された帳票に対して、ＯＣＲ等の文字認識処理が適用されることで、氏名や住所を表す文字列が認識される。その文字認識には定義情報が用いられる。
In a scene where the
以下、図４を参照して、文字認識処理に用いられる定義情報について説明する。図４には、帳票３４の定義情報の一例が示されている。この定義情報においては、一例として、記入欄に対応する記入枠の識別情報としての名称やＩＤと、用紙上における当該記入枠の位置情報としての座標情報と、当該記入枠の種類を示す種類情報と、が互いに対応付けられている。これら以外の情報が、定義情報に含まれていてもよい。識別情報と種類情報は、記入欄に記入されるべき情報（文字）の属性を示す属性情報の一例に相当する。座標は、Ｘ軸（Ｘ方向）とＹ軸（Ｙ方向）上の位置によって定義されている。
Hereinafter, the definition information used for the character recognition process will be described with reference to FIG. FIG. 4 shows an example of definition information for the
記入枠の識別情報は、記入欄に記入されるべき内容を示している。例えば、枠名「Ｆｕｒｉｇａｎａ＿Ｎａｍｅ」は、その記入欄に「氏名のふりがな」が記入されるべきことを示している。座標情報は、文字認識処理を適用すべき領域を示している。つまり、座標情報によって示された領域（記入枠）に対して文字認識処理が適用され、その記入枠から文字が抽出される。また、記入枠の種類は、文字認識処理に用いられる辞書を示している。例えば、枠種類「氏名ふりがな」は、その記入欄に対する文字認識処理には、「氏名ふりがな」専用の辞書を用いることを示している。なお、枠名は、文字認識処理によって認識された文字列を管理するデータベースにおける管理情報に対応していてもよい。 The identification information of the entry frame indicates the contents to be entered in the entry column. For example, the frame name “Furigana_Name” indicates that “phonetic name” should be entered in the entry field. The coordinate information indicates an area to which the character recognition process is to be applied. That is, the character recognition process is applied to the area (entry frame) indicated by the coordinate information, and characters are extracted from the entry frame. The type of entry frame indicates a dictionary used for character recognition processing. For example, the frame type “name furigana” indicates that a dictionary dedicated to “name furigana” is used for character recognition processing for the entry field. The frame name may correspond to management information in a database that manages the character string recognized by the character recognition process.
例えば、枠名「Ｆｕｒｉｇａｎａ＿Ｎａｍｅ」は、帳票３４に形成されている記入欄３６に対応する記入枠の識別情報である。この識別情報は、記入欄３６に「氏名ふりがな」が記入されるべきことを示している。座標「１１００，２１００，３７０，３９０」は、記入欄３６に対応する記入枠の座標である。より詳しく説明すると、記入欄３６に対応する記入枠は、頂点としての点Ａ１、Ａ２，Ａ３，Ａ４に対応する頂点を有する。点Ａ１に対応する頂点の座標（Ｘ，Ｙ）は（１１００，３７０）であり、点Ａ２に対応する頂点の座標（Ｘ，Ｙ）は（２１００，３７０）であり、点Ａ３に対応する頂点の座標（Ｘ，Ｙ）は（１１００，３９０）であり、点Ａ４に対応する頂点の座標（Ｘ，Ｙ）は（２１００，３９０）である。なお、文字認識処理が適用される記入枠の各頂点の座標は、記入欄３６の各頂点の座標と一致していてもよいし、一致していなくてもよい。つまり、記入枠は、記入欄３６よりも広い領域として定義されてもよいし、狭い領域として定義されてもよい。また、枠種類「氏名ふりがな」は、記入欄３６に記入されるべき情報（文字）の種類である。この種類情報は、文字認識処理に際して「氏名ふりがな」専用の辞書を用いるべきことを示している。他の記入欄に対応する記入枠についても、記入欄３６に対応する記入枠と同様に、座標情報等が定義されている。
For example, the frame name “Furigana_Name” is identification information of an entry frame corresponding to the
例えば、記入欄３６に対応する記入枠（上記の座標情報で定義されている領域）に対して文字認識処理が適用される。その際、「氏名ふりがな」専用の辞書が用いられて、その記入枠から文字が抽出される。抽出された文字は、「氏名ふりがな」を示す文字として、データベース等に管理される。他の記入欄についても同様である。
For example, the character recognition process is applied to an entry frame (an area defined by the coordinate information) corresponding to the
情報処理装置１０は、上記の定義情報を作成するために用いられる。そのために、情報処理装置１０は、記入欄に文字が記入されていない帳票３４（テンプレート）から記入欄に対応する記入枠を抽出する。
The
なお、帳票３４は用紙の一例に過ぎない。帳票以外にも、例えば、テストの解答用紙、アンケートの回答用紙、カルテ、公的機関が発行する書類（例えば住民票等）、申込用紙、投票用紙、等のように、記入欄が形成されている用紙であれば、本実施形態に係る処理が適用されてもよい。以下では、用紙の一例として帳票３４を例に挙げて各処理について説明するが、帳票３４以外の用紙にも、帳票３４に対する処理と同様の処理が適用されてもよい。
The
以下、定義情報を作成するための処理について詳しく説明する。 Hereinafter, the process for creating the definition information will be described in detail.
定義情報を作成するためには、まず、記入欄に文字が記入されていない帳票３４がスキャナ１２によってスキャンされる。これにより、記入欄に文字が記入されていない帳票３４の画像データ（以下、「テンプレート画像データ」と称する）が生成され、その画像データは、スキャナ１２から情報処理装置１０に送信される。そのテンプレート画像は、ＵＩ部１６の表示部に表示される。
In order to create the definition information, first, the
図５には、テンプレート画像の表示例が示されている。例えば、ユーザがＵＩ部１６を操作してテンプレート画像の表示指示を与えた場合、表示制御部２４は、テンプレート表示画面４８を表示部に表示させ、そのテンプレート表示画面４８にテンプレート画像を表示させる。テンプレート表示画面４８は領域５０を含み、その領域５０内にテンプレート画像が表示される。例えば、氏名の記入欄を表す記入欄オブジェクト５２と、住所の記入欄を表す記入欄オブジェクト５４とを含む画像が、テンプレート画像として表示されている。また、テンプレート表示画面４８には、記入枠の抽出指示を与えるための枠抽出ボタンと、定義情報の登録指示を与えるための登録ボタンが表示されている。
FIG. 5 shows a display example of the template image. For example, when the user operates the
テンプレート表示画面４８上で、ユーザが枠抽出ボタンを押した場合、抽出部２２は、テンプレート画像から記入枠としての矩形部分を抽出する。表示制御部２４は、抽出部２２によって抽出された記入枠を表す画像をＵＩ部１６の表示部に表示させる。
When the user presses the frame extraction button on the
図６には、記入枠の抽出結果の表示例が示されている。表示制御部２４は、枠表示画面５６をＵＩ部１６の表示部に表示させ、その枠表示画面５６に記入枠を表す画像を表示させる。枠表示画面５６は、記入枠を表す画像が表示される領域５８と、記入枠の座標情報等が表示される領域６０とを含む。図６に示す例では、記入枠を表す記入枠画像６２，６４，６６が表示されている。記入枠画像６２は、記入欄３６，３８を合体させたような領域を表す画像である。記入枠画像６４は、記入欄４０，４２を合体させたような領域を表す画像である。記入枠画像６６は、記入欄４４，４６を合体させたような領域を表す画像である。つまり、各記入欄を構成する実線は枠線として抽出されているが、破線は枠線として抽出されていないため、記入欄３６，３８が区別されずに抽出されている。記入欄４０，４２と記入欄４４，４６についても同様である。
FIG. 6 shows a display example of the extraction result of the entry frame. The
ここで、図３を参照して、線分の抽出アルゴリズムについて説明する。一例として、ヒストグラム法を用いて線分を抽出するものとする。抽出部２２は、記入欄３６，３８を表す画像（テンプレート画像の一部）を構成する画素の黒点数を、抽出しようとする枠線と同一方向（例えばＸ方向及びＹ方向）に集計し、ヒストグラムを作成する。例えば、抽出部２２は、Ｙ方向の各座標において、画素の黒点数をＸ方向に集計し、各Ｙ座標におけるＸ方向に対するヒストグラムを作成する。具体例を挙げて説明すると、抽出部２２は、線分Ａ１Ａ２を構成する画素の黒点数をＸ方向に集計し、線分Ａ１Ａ２のヒストグラムを作成する。同様に、抽出部２２は、Ｘ方向の各座標において、画素の黒点数をＹ方向に集計し、各Ｘ座標におけるＹ方向に対するヒストグラムを作成する。具体例を挙げて説明すると、抽出部２２は、線分Ａ１Ａ５を構成する画素の黒点数をＹ方向に集計し、線分Ａ１Ａ５のヒストグラムを作成する。線分Ａ１Ａ２等の実線のヒストグラムは、枠線のない部分の黒点数に比べて大きな値となっている。それ故、線分Ａ１Ａ２等の実線が記入欄を構成する枠線として抽出されて枠線のない部分が枠線として抽出されないような閾値を設定しておき、ヒストグラムの値が閾値以上となる線分を枠線として抽出することで、線分Ａ１Ａ２等の実線が枠線として抽出される。その結果、実線として、Ｘ方向に平行な線分Ａ１Ａ２，Ａ５Ａ６と、Ｙ方向に平行な線分Ａ１Ａ５，Ａ２Ａ６が、枠線として抽出される。一方、破線としての線分Ａ３Ａ４は、上記の閾値との関係で、枠線として抽出されない場合がある。
Here, the line segment extraction algorithm will be described with reference to FIG. As an example, a line segment is extracted using a histogram method. The
抽出された線分Ａ１Ａ２，Ａ５Ａ６，Ａ１Ａ５，Ａ２Ａ６に、これらの線分の中の他の線分が接続され、これら４つの線分によって矩形状の囲みが形成されているので、抽出部２２は、これら４つの線分を一纏めにして矩形部分としての記入枠を抽出する。図６に示されている記入枠画像６２は、このようにして抽出された記入枠を表す画像である。つまり、記入枠画像６２は、線分Ａ１Ａ２，Ａ５Ａ６，Ａ１Ａ５，Ａ２Ａ６によって構成される矩形部分を表す画像（点Ａ１，Ａ２，Ａ５，Ａ６を頂点とする矩形部分を表す画像）である。破線としての線分Ａ３Ａ４は枠線として抽出されていないため、記入欄３６と記入欄３８は区別されずに、それらが１つの纏まりの領域として抽出されている。
Since the extracted line segments A1A2, A5A6, A1A5, and A2A6 are connected to other line segments, and these four line segments form a rectangular box, the
住所に関する記入欄４０，４２，４４，４６についても同様であり、これらの記入欄を構成する実線が枠線として抽出され、破線は抽出されない。それ故、記入欄４０，４２が区別されずに、それらが１つの纏まりの領域として抽出され、その領域を表す画像が記入枠画像６４として表示されている。同様に、記入欄４４，４６が区別されずに、それらが１つの纏まりの領域として抽出され、その領域を表す画像が記入枠画像６６として表示されている。
The same applies to the entry fields 40, 42, 44, and 46 regarding the address, and the solid lines constituting these entry fields are extracted as frame lines, and the broken lines are not extracted. Therefore, the entry fields 40 and 42 are not distinguished from each other, and they are extracted as one grouped area, and an image representing the area is displayed as the
領域６０には、例えば、抽出された記入枠のＩＤや、テンプレート画像上の記入枠の座標情報等が表示される。ＩＤは、例えば、Ｙ座標の小さい順に各記入枠に自動的に紐付けられる。図６に示す例では、３つの記入枠（記入枠画像６２，６４，６６が表す記入枠）が抽出されているため、それら３つの記入枠のＩＤや座標情報が、領域６０内に表示されている。
In the
また、枠表示画面５６には、定義情報の登録指示を与えるための登録ボタンと、テンプレート画像の編集指示を与えるための編集ボタンが表示されている。ユーザが編集ボタンを押した場合、テンプレート画像を編集するための画面がＵＩ部１６の表示部に表示される。
The
図６に示す例では、抽出されるべき記入枠（記入欄３６，３８，４０，４２，４４，４６のそれぞれに対応する記入枠）が抽出されていないため、記入枠の抽出に不足が発生している。この場合、ユーザによってテンプレート画像が編集され、その編集が反映されたテンプレート画像に対して抽出処理が適用されることで、より正確に記入枠が抽出される。 In the example shown in FIG. 6, since the entry frames to be extracted (entry frames corresponding to the entry fields 36, 38, 40, 42, 44, 46) are not extracted, there is a shortage of entry frame extraction. is doing. In this case, the template image is edited by the user, and the entry frame is extracted more accurately by applying the extraction process to the template image reflecting the editing.
以下、テンプレート画像の編集について説明する。 Hereinafter, editing of the template image will be described.
ユーザが編集ボタンを押した場合、表示制御部２４は、テンプレート表示画面４８をＵＩ部１６の表示部に表示させる。図７には、そのテンプレート表示画面４８が示されている。テンプレート表示画面４８には、図５と同様に、テンプレート画像が表示される。ユーザがＵＩ部１６を操作して、テンプレート表示画面４８上で線分の描画指示を与えると、画像編集部２６は、その指示に従って、テンプレート画像に線分からなる図形を追加する。例えば、ユーザが、マウスによるクリックやタッチパネル上のタッチ操作によって、図３中の線分Ａ３Ａ４を表す破線６８の端点７０，７２を指定した場合、画像編集部２６は、端点７０，７２を結ぶ実線からなる図形をテンプレート画像に追加する。なお、端点７０は、線分Ａ１Ａ５上に指定され、端点７２は、線分Ａ２Ａ６上に指定されている。表示制御部２４は、その実線をテンプレート表示画面４８に表示させる。図８には、その表示例が示されている。破線６８上に、実線としての線分７４が描画されている。なお、ユーザは、端点７０，７２を指定する方法以外に、テンプレート画像上に線分を直接的に描画してもよい。
When the user presses the edit button, the
他の破線についても上記の描画操作によって、実線としての線分がテンプレート画像に追加される。具体的には、テンプレート画像上において、記入欄４０，４２を区分けする破線と、記入欄４４，４６を区分けする破線とに、実線としての線分が追加される。例えば図９に示すように、各破線上に実線としての線分が追加されて描画されている。 As for other broken lines, a line segment as a solid line is added to the template image by the above drawing operation. Specifically, on the template image, a line segment as a solid line is added to the broken line that separates the entry fields 40 and 42 and the broken line that separates the entry fields 44 and 46. For example, as shown in FIG. 9, a line segment as a solid line is added and drawn on each broken line.
上記のようにして実線がテンプレート画像に追加された後、ユーザが枠抽出ボタンを押した場合、再抽出部２８は、実線が追加されたテンプレート画像から記入枠としての矩形部分を抽出する。その抽出アルゴリズムは、上述した抽出アルゴリズム（抽出部２２の抽出アルゴリズム）と同じである。再抽出部２８は、実線が追加された部分については、その実線を対象として抽出アルゴリズムを適用する。例えば、ヒストグラム法が適用された場合、その実線が追加された部分（破線の部分）のヒストグラムの値は閾値以上となるため、その実線が追加された部分は線分として抽出される。
After the solid line is added to the template image as described above, when the user presses the frame extraction button, the
なお、編集（図８に示す例では線分の追加）によって、テンプレート画像に線分等の図形が合成されてもよいし、テンプレート画像のレイヤーとその図形のレイヤーとが分かれて管理されてもよい。記入枠の抽出処理では、テンプレート画像のレイヤーとその図形のレイヤーとが合成された画像に対して抽出アルゴリズムが適用されることで、線分が抽出される。 Note that a graphic such as a line segment may be combined with the template image by editing (adding a line segment in the example shown in FIG. 8), or the template image layer and the graphic layer may be managed separately. Good. In the entry frame extraction process, a line segment is extracted by applying an extraction algorithm to an image in which a template image layer and a graphic layer are combined.
図１０には、再抽出結果の一例が示されている。記入枠が抽出された場合、表示制御部２４は、枠表示画面５６をＵＩ部１６の表示部に表示させ、その枠表示画面５６に記入枠を表す画像を表示させる。例えば、記入枠画像７６，７８，８０，８２，８４，８６が表示されている。図９に示すように、各破線上に実線からなる線分が追加されたので、各破線も抽出されている。その結果、記入欄３６，３８，４０，４２，４４，４６のそれぞれに対応する記入枠が個別的に抽出され、各記入欄に対応する記入枠を表す画像が表示されている。詳しく説明すると、図３中の線分Ａ３Ａ４（破線）も抽出され、これにより、線分Ａ１Ａ２，Ａ３Ａ４，Ａ１Ａ３，Ａ２Ａ４によって矩形状の囲みが形成されているので、再抽出部２８は、これら４つの線分を一纏めにして矩形部分としての記入枠を抽出する。これにより、記入欄３６に対応する記入枠が抽出される。他の記入欄についても同様である。
FIG. 10 shows an example of the re-extraction result. When the entry frame is extracted, the
例えば、記入枠画像７６は、記入欄３６に対応する記入枠を表す画像である。記入枠画像７８は、記入欄３８に対応する記入枠を表す画像である。記入枠画像８０は、記入欄４０に対応する記入枠を表す画像である。記入枠画像８２は、記入欄４２に対応する記入枠を表す画像である。記入枠画像８４は、記入欄４４に対応する記入枠を表す画像である。記入枠画像８６は、記入欄４６に対応する記入枠を表す画像である。
For example, the
図１０に示す例では、帳票３４に形成されている６つの記入欄に対応する６つの記入枠が抽出されているため、それら６つの記入枠のＩＤや座標情報が、領域６０内に表示されている。
In the example shown in FIG. 10, since six entry frames corresponding to the six entry fields formed in the
枠表示画面５６上で、ユーザが登録ボタンを押した場合、定義情報作成部３０は、各記入枠の座標情報を含む定義情報を作成する。その定義情報は、ＵＩ部１６の表示部に表示されてもよいし、他の装置に出力されてもよいし、ユーザによって編集されてもよい。例えば、各記入枠の座標情報に、文字認識処理に用いられる辞書を示す辞書情報（指名用の辞書情報や住所用の辞書情報等）や、記入欄に記入されるべき内容を示す情報等が、ユーザによって紐付けられる。また、座標情報が編集されてもよい。例えば、実際の記入欄よりも広い範囲が記入枠として定義されてもよい。また、定義情報は、そのデータ形式が変換されて出力されてもよい。
When the user presses the registration button on the
記入欄に文字が記入された帳票３４に対して、上記の定義情報を用いて文字認識処理を適用することで、記入枠画像７６，７８，８０，８２，８４，８６のそれぞれに対応する記入枠内に対して文字認識処理が適用され、各記入枠内から文字が抽出される。
The entry corresponding to each of the
以上のように、本実施形態によれば、全自動抽出処理では抽出されなかった破線が、記入枠を構成する枠線として抽出されるので、全自動で記入枠を抽出する場合と比べて、より正確に記入枠が抽出される。 As described above, according to the present embodiment, since the broken line that is not extracted in the fully automatic extraction process is extracted as the frame line constituting the entry frame, compared to the case where the entry frame is extracted fully automatically, The entry box is extracted more accurately.
再抽出の後、枠表示画面５６上でユーザが編集ボタンを押した場合、表示制御部２４は、テンプレート表示画面４８を表示部に表示させる。ユーザは、そのテンプレート表示画面４８上で、再び、テンプレート画像を編集してもよい。その編集後、ユーザが枠抽出ボタンを押した場合、再抽出部２８は、その編集が反映されたテンプレート画像から記入枠を抽出し、表示制御部２４は、その抽出結果を枠表示画面５６に表示させる。このように、ユーザは、枠表示画面５６上で記入枠の抽出結果を確認し、その抽出結果がユーザの期待と異なれば、テンプレート表示画面４８にてテンプレート画像を編集してもよい。抽出結果がユーザの期待通りになるまで、ユーザは、上記の操作を繰り返してもよい。なお、表示制御部２４は、枠抽出ボタンと編集ボタンとに対する操作によって画面を切り替えずに、タブ画面を利用して画面を切り替えてもよいし、１つの画面内に、テンプレート表示画面４８と枠表示画面５６の両方を表示させてもよい。
After the re-extraction, when the user presses the edit button on the
なお、枠表示画面５６上で、ユーザが、記入枠のＩＤを指定した場合、表示制御部２４は、その指定されたＩＤに紐付く記入枠画像を、他の記入枠画像と区別して（識別可能な状態にして）枠表示画面５６に表示させてもよい。例えば、表示制御部２４は、指定されたＩＤに紐付く記入枠画像をハイライト表示によって枠表示画面５６に表示させる。こうすることで、上記の区別を行わない場合と比べて、ユーザにとって、自身が指定している記入枠の認識が容易となる。例えば、ユーザが記入枠の座標情報を編集する場合に、ユーザが指定したＩＤに紐付く記入枠画像がハイライト表示されることで、ユーザにとって、その編集対象の記入枠の認識が容易となる。
When the user designates an entry frame ID on the
以下、変形例について説明する。 Hereinafter, modified examples will be described.
（変形例１）
図１１を参照して、変形例１について説明する。図１１には、変形例１に係る記入欄が示されている。この記入欄８８は、全体が実線によって構成された矩形状の形状を有するが、その矩形部分の内部に、Ｙ方向に平行な破線９０等が形成されている。この場合も、その破線は線分として抽出されない場合がある。その場合、ユーザが、テンプレート表示画面において、破線９０の端点９２，９４を指定すると、画像編集部２６は、端点９２，９４を結ぶ実線としての線分をテンプレート画像に追加する。なお、端点９２，９４は、Ｘ方向に平行な実線としての線分上に指定されている。他の線分についても同様の操作によって、実線としての線分が追加される。線分が追加されたテンプレート画像に対して抽出処理が適用されることで、破線９０も線分として抽出され、その破線９０を含む記入欄に対応する記入枠が抽出される。他の破線についても同様である。
(Modification 1)
A first modification will be described with reference to FIG. FIG. 11 shows an entry field according to the first modification. The
変形例１においても、上記の実施形態と同様に、全自動で記入枠を抽出する場合と比べて、より正確に記入枠が抽出される。 Also in the modified example 1, as in the above-described embodiment, the entry frame is extracted more accurately than in the case where the entry frame is extracted fully automatically.
（変形例２）
変形例２について説明する。図１２には、変形例２に係る記入欄が示されている。記入欄９６は、曲線を有する表形式の記入欄である。記入欄９６は、線分Ｃ１Ｄ１，Ｂ１Ｄ２，Ｄ１Ｄ２と曲線部分Ｃ１Ｂ１とによって囲まれている記入欄（氏名欄）、線分Ｄ１Ｃ２，Ｄ２Ｂ２，Ｄ１Ｄ２と曲線部分Ｃ２Ｂ２とによって囲まれている記入欄（氏名欄）、線分Ｂ１Ｄ２，Ｂ３Ｄ３，Ｂ１Ｂ３，Ｄ２Ｄ３によって囲まれている記入欄（住所欄）、線分Ｄ２Ｂ２，Ｄ３Ｂ４，Ｄ２Ｄ３，Ｂ２Ｂ４によって囲まれている記入欄（住所欄）、線分Ｂ３Ｄ３，Ｃ３Ｄ４，Ｄ３Ｄ４と曲線部分Ｂ３Ｃ３とによって囲まれている記入欄（電話番号欄）、及び、線分Ｄ３Ｂ４，Ｄ４Ｃ４，Ｄ３Ｄ４と曲線部分Ｂ４Ｃ４とによって囲まれている記入欄（電話番号欄）を含む。なお、点Ｃ１等の各点を表す黒丸は、説明の便宜上、図示されているが、実際の記入欄９６には、黒丸は形成されていない。
(Modification 2)
記入欄９６に対して抽出部２２による抽出処理が適用された場合、曲線部分は抽出されずに、直線部分のみが抽出される。図１３には、線分の抽出結果９８が示されている。例えば、線分Ｂ１Ｂ２，Ｂ３Ｂ４，Ｂ１Ｂ３，Ｂ２Ｂ４，Ｃ１Ｃ２，Ｃ３Ｃ４，Ｄ１Ｄ４が抽出され、曲線部分Ｂ１Ｃ１，Ｂ２Ｃ２，Ｂ３Ｃ３，Ｂ４Ｃ４は抽出されない。つまり、上述したヒストグラム法によれば、Ｘ方向又はＹ方向に平行な線分が抽出され、それら以外の線分（斜め線）や曲線は抽出されない。従って、記入欄９６を構成する曲線部分は抽出されない。その結果、記入枠としては、上記の線分によって構成される記入枠のみが抽出される。
When the extraction process by the
図１４には、抽出部２２によって抽出された記入枠１００，１０２が示されている。記入枠１００は、線分Ｂ１Ｄ２，Ｂ３Ｄ３，Ｂ１Ｂ３，Ｄ３Ｄ３によって構成される矩形部分である。記入枠１０２は、線分Ｄ２Ｂ２，Ｄ３Ｂ４，Ｄ２Ｄ３，Ｂ２Ｂ４によって構成される矩形部分である。このように、曲線部分を含む記入欄（氏名欄と電話番号欄）に対応する記入枠は抽出されない。
FIG. 14 shows entry frames 100 and 102 extracted by the
曲線部分を含む記入欄に対応する記入枠を抽出するために、変形例２では、画像編集部２６は、矩形部分を形成するための頂点を擬似的に作成し、再抽出部２８は、その頂点を含む矩形部分を記入枠として抽出する。
In the second modification, in order to extract the entry frame corresponding to the entry field including the curved portion, the
以下、図１５を参照して、変形例３について詳しく説明する。例えば、テンプレート表示画面上で、ユーザが点Ｂ１，Ｃ１を指定すると、画像編集部２６は、線分Ｂ１Ｂ３の延長線と線分Ｃ１Ｃ２の延長線とを仮想的に形成し、それら２つの延長線の交点である点Ｅ１の位置を演算する。次に、画像編集部２６は、点Ｅ１と点Ｂ１とを結ぶ線分Ｅ１Ｂ１、及び、点Ｅ１と点Ｃ１とを結ぶ線分Ｅ１Ｃ１を、記入欄９６を表すテンプレート画像に追加する。点Ｅ２，Ｅ３，Ｅ４についても同様であり、線分Ｅ２Ｂ２，Ｅ２Ｃ２，Ｅ３Ｂ３，Ｅ３Ｃ３，Ｅ４Ｂ４，Ｅ４Ｃ４が、テンプレート画像に追加される。なお、点Ｂｉ＝（Ｘｂｉ，Ｙｂｉ）、点Ｃｉ＝（Ｘｃ１，Ｙｃｉ）とした場合、点Ｅｉ＝（Ｘｂｉ，Ｙｃｉ）である（ｉ＝１，２，３，４）。
Hereinafter, the third modification will be described in detail with reference to FIG. For example, when the user designates points B1 and C1 on the template display screen, the
図１５に示されているテンプレート画像（線分が追加されたテンプレート画像）に対して、再抽出部２８による抽出処理が適用された場合、線分Ｅ１Ｅ２，Ｂ１Ｂ２，Ｂ３Ｂ４，Ｅ３Ｅ４，Ｅ１Ｅ３，Ｄ１Ｄ４，Ｅ２Ｅ４が抽出され、これらによって構成される矩形部分が記入枠として抽出される。
When the extraction process by the
図１６には、記入枠の抽出結果が示されている。ここでは、記入枠１０４，１０６，１０８，１１０，１１２，１１４が抽出されている。記入枠１０４は、線分Ｅ１Ｄ１，Ｂ１Ｄ２，Ｅ１Ｂ１，Ｄ１Ｄ２によって構成される矩形部分である。記入枠１０６は、線分Ｄ１Ｅ２，Ｄ２Ｂ２，Ｄ１Ｄ２，Ｅ２Ｂ２によって構成される矩形部分である。記入枠１０８は、線分Ｂ１Ｄ２，Ｂ３Ｄ３，Ｂ１Ｂ３，Ｄ２Ｄ３によって構成される矩形部分である。記入枠１１０は、線分Ｄ２Ｂ２，Ｄ３Ｂ４，Ｄ２Ｄ３，Ｂ２Ｂ４によって構成される矩形部分である。記入枠１１２は、線分Ｂ３Ｄ３，Ｅ３Ｄ４，Ｂ３Ｅ３，Ｄ３Ｄ４によって構成される矩形部分である。記入枠１１４は、線分Ｄ３Ｂ４，Ｄ４Ｅ４，Ｄ３Ｄ４，Ｂ４Ｅ４によって構成される矩形部分である。これらの記入枠は、記入欄９６に含まれる各記入欄に対応する領域である。
FIG. 16 shows the extraction result of the entry frame. Here,
以上のように、変形例２によれば、記入欄が曲線部分を含む場合であっても、その記入欄を含む記入枠が抽出され、その記入枠の座標情報を含む定義情報が作成される。 As described above, according to the second modification, even if the entry field includes a curved portion, the entry frame including the entry field is extracted, and the definition information including the coordinate information of the entry frame is created. .
なお、曲線部分を含む記入欄に対応する記入枠は、その記入欄と全く同じ形状を有する枠として抽出されないが、その記入欄を含む枠として抽出される。このように、記入欄が矩形状の形状を有していない場合、抽出された記入枠と元々の記入欄との間で、形状や大きさは一致しない。この場合であっても、抽出された記入枠は、元々の記入欄を含む領域であるため、その記入枠内を対象として文字認識処理が適用されることで、その記入欄に記載された文字が認識される。 Note that the entry frame corresponding to the entry field including the curved portion is not extracted as a frame having exactly the same shape as the entry field, but is extracted as a frame including the entry field. Thus, when the entry field does not have a rectangular shape, the shape and size do not match between the extracted entry frame and the original entry field. Even in this case, since the extracted entry frame is an area including the original entry field, the character recognition process is applied to the inside of the entry box, so that the characters described in the entry field are displayed. Is recognized.
（変形例３）
変形例３について説明する。変形例３では、外枠の一部を有していない記入欄を対象にして記入枠が抽出される。図１７には、変形例３に係る記入欄の一例が示されている。記入欄１１５は、Ｙ方向に平行な外枠を有していない表（開放表）である。つまり、点Ｆ１と点Ｆ１０とを結ぶ線分が形成されておらず、同様に、点Ｆ３と点Ｆ１２とを結ぶ線分が形成されていない。なお、点Ｆ１等の各点を表す黒丸は、説明の便宜上、図示されているが、実際の記入欄１１５には、黒丸は形成されていない。
(Modification 3)
記入欄１１５に対して抽出部２２による抽出処理が適用された場合、線分Ｆ１Ｆ３，Ｆ４Ｆ６，Ｆ７Ｆ９，Ｆ１０Ｆ１２，Ｆ２Ｆ１１が抽出される。しかし、これらの線分によっては矩形部分は構成されないため、矩形部分としての記入枠は抽出されない。
When the extraction process by the
記入枠を抽出するために、テンプレート表示画面上で、ユーザが点Ｆ１，Ｆ１０を指定すると、画像編集部２６は、線分Ｆ１Ｆ１０をテンプレート画像に追加する。同様に、ユーザが点Ｆ３Ｆ１２を指定すると、画像編集部２６は、線分Ｆ３Ｆ１２をテンプレート画像に追加する。
When the user designates points F1 and F10 on the template display screen in order to extract the entry frame, the
各線分が追加されたテンプレート画像に対して、再抽出部２８による抽出処理が適用された場合、線分Ｆ１Ｆ３，Ｆ４Ｆ６，Ｆ７Ｆ９，Ｆ１０Ｆ１２，Ｆ２Ｆ１１に加えて、線分Ｆ１Ｆ１０，Ｆ３Ｆ１２が抽出され、これらによって構成される矩形部分が記入枠として抽出される。図１８には、記入枠の抽出結果が示されている。ここでは、記入枠１１６，１１８，１２０，１２２，１２４，１２６が抽出されている。
When the extraction process by the
以上のように、変形例３によれば、記入欄が外枠を有していない場合であっても、その記入欄に対応する記入枠が抽出され、その記入枠の座標情報を含む定義情報が作成される。 As described above, according to the third modification, even when the entry field does not have an outer frame, the entry frame corresponding to the entry field is extracted, and the definition information including the coordinate information of the entry frame Is created.
元々の記入欄１１５には、線分Ｆ１Ｆ１０，Ｆ３Ｆ１２が記載されていないが、例えば、点Ｆ２，Ｆ３，Ｆ５，Ｆ６を頂点とする仮想の矩形部分に氏名が記入されることが想定されている。住所や電話番号についても同様である。その仮想の矩形部分は、図１８に示されている記入枠１１８に相当する。それ故、記入枠１１８に対して文字認識処理が適用されることで、氏名が記入されることが想定されている部分から、氏名を表す文字列が認識されることになる。
Although the line segments F1F10 and F3F12 are not described in the
（変形例４）
変形例４について説明する。変形例４では、外枠を有していない記入欄を対象にして記入枠が抽出される。図１９には、変形例４に係る記入欄の一例が示されている。記入欄１２８は、Ｘ方向に平行な外枠とＹ方向に平行な外枠の両方を有していない表（開放表）である。なお、点Ｇ１等の各点を表す黒丸は、説明の便宜上、図示されているが、実際の記入欄１２８には、黒丸は形成されていない。
(Modification 4)
Modification 4 will be described. In the fourth modification, entry frames are extracted for entry fields that do not have an outer frame. FIG. 19 shows an example of an entry field according to the fourth modification. The
記入欄１２８に対して抽出部２２による抽出処理が適用された場合、線分Ｇ２Ｇ４，Ｇ５Ｇ７，Ｇ１Ｇ８が抽出される。しかし、これらの線分によっては矩形部分は構成されないため、矩形部分としての記入枠は抽出されない。
When the extraction process by the
記入枠を抽出するために、テンプレート表示画面上で、ユーザが、外枠を構成する４つの点を指定すると、画像編集部２６は、その４つの点を頂点とする矩形をテンプレート画像に追加する。例えば、図２０に示すように、ユーザが、矩形を構成する点Ｈ１，Ｈ２，Ｈ３，Ｈ４を指定すると、画像編集部２６は、それらの点を頂点とする矩形１３０をテンプレート画像に追加する。この矩形１３０は、Ｘ方向に平行な線分Ｈ１Ｈ２，Ｈ３Ｈ４と、Ｙ方向に平行な線分Ｈ１Ｈ３，Ｈ２Ｈ４とによって構成されている。図２０に示す例では、線分Ｈ１Ｈ２は、記入欄１２８を構成する線分の端点である点Ｇ１上を通るように形成されており、線分Ｈ３Ｈ４は、記入欄１２８を構成する線分の端点である点Ｇ８上を通るように形成されており、線分Ｈ１Ｈ３は、記入欄１２８を構成する線分の端点である点Ｇ２、Ｇ５上を通るように形成されており、線分Ｈ２Ｈ４は、記入欄１２８を構成する線分の端点である点Ｇ４，Ｇ７上を通るように形成されている。このようにして、元々の記入欄１２８の外枠を形成する矩形１３０がテンプレート画像に追加されている。
In order to extract the entry frame, when the user designates four points constituting the outer frame on the template display screen, the
矩形１３０が追加されたテンプレート画像に対して、再抽出部２８による抽出処理が適用された場合、線分Ｈ１Ｈ２，Ｇ２Ｇ４，Ｇ５Ｇ７，Ｈ３Ｈ４，Ｈ１Ｈ３，Ｇ１Ｇ８，Ｈ２Ｈ４が抽出され、これらによって構成される矩形部分が記入枠として抽出される。例えば、図１８に示されている記入枠と同じ記入枠が抽出される。
When the extraction process by the
以上のように、変形例４によれば、記入欄が外枠を有していない場合であっても、その記入欄に対応する記入枠が抽出され、その記入枠の座標情報を含む定義情報が作成される。 As described above, according to the modified example 4, even when the entry field does not have an outer frame, the entry frame corresponding to the entry field is extracted, and the definition information including the coordinate information of the entry frame Is created.
元々の記入欄１２８には、矩形１３０を構成する線分が記載されていないが、例えば、点Ｇ１，Ｈ２，Ｇ３，Ｇ４を頂点とする仮想の矩形部分に氏名が記入されることが想定されている。住所や電話番号についても同様である。その仮想の矩形部分は、図１８に示されている記入枠１１８に相当する。それ故、記入枠１１８に対して文字認識処理を適用することで、氏名が記入されることが想定されている部分から、氏名を表す文字列が認識されることになる。
The
また、変形例４において、画像編集部２６は、ユーザによって指定された４点によって矩形が形成されるように、各点の位置を補正してもよい。図２１及び図２２を参照して、この補正処理について説明する。図２１に示すように、ユーザが、元々の記入欄１２８が表されているテンプレート画像に対して、点Ｋ１、Ｋ２，Ｋ３，Ｋ４を指定したものとする。画像編集部２６は、点Ｋ１，Ｋ２，Ｋ３、Ｋ４を頂点とする図形１３２をテンプレート画像に追加する。図形１３２は、矩形ではなく台形である。つまり、点Ｋ１，Ｋ２，Ｋ３との関係で、点Ｋ２が矩形の頂点の位置に指定されていないため、図形１３２は矩形に該当していない。この場合、画像編集部２６は、線分Ｋ１Ｋ２と線分Ｋ２Ｋ４とが直交するように、点Ｋ２の位置を補正する。つまり、画像編集部２６は、線分が他の線分と直交するように、当該線分の傾きを補正する。図２２には、補正後の図形１３４が示されている。点Ｋ５は、補正後の点Ｋ２の位置である。補正によって、線分Ｋ１Ｋ５と線分Ｋ５Ｋ４とが直交し、これにより、矩形状の図形１３４が形成される。矩形状の図形１３４が形成された後は、上記の変形例４に係る処理と同様に、再抽出部２８によって、記入枠が抽出される。なお、図２２に示す例では、点Ｋ２の位置が補正されているが、他の点の位置が補正されることで、矩形状の図形がテンプレート画像に追加されてもよい。
In the fourth modification, the
画像編集部２６は、各点の位置の補正量（複数の点の位置を補正する場合には、その補正量の合計）が最小となるように、各点の位置を補正してもよいし、補正対象となる点の数が最小となるように、各点の位置を補正してもよい。図２１及び図２２に示す例では、画像編集部２６は、各点の位置の補正量が最小であり、かつ、補正対象となる点の数が最小となるように、点Ｋ２の位置を補正している。
The
また、上記の補正量が閾値以上となる場合、アラームが通知されてもよい。例えば、表示制御部２４は、補正量が閾値以上となる旨を示すメッセージをＵＩ部１６の表示部に表示させる。もちろん、アラーム音が発せられてもよい。補正量が閾値以上となる場合、画像編集部２６は、画像の編集（矩形の形成）を中止してもよい。
Further, an alarm may be notified when the correction amount is equal to or greater than the threshold value. For example, the
なお、画像編集部２６は、ユーザによって描画された線分が、Ｘ方向又はＹ方向に平行となるように線分の位置を補正してもよい。例えば、ユーザによって２点が指定された場合において、その２点を結ぶ線分が、Ｘ方向又はＹ方向に平行ではない場合、画像編集部２６は、その線分がＸ方向又はＹ方向に平行となるように線分の位置を補正する。例えば、画像編集部２６は、ユーザによって指定された２点の中の１点を固定し、他の１点の位置を補正することで、Ｘ方向又はＹ方向に平行な線分を形成してもよいし、当該２点の位置を補正することで、Ｘ方向又はＹ方向に平行な線分を形成してもよい。
Note that the
（変形例５）
変形例５について説明する。変形例５では、画像編集部２６は、ユーザによって指定された４つの点を頂点とする矩形を形成し、更に、その矩形の大きさを調整することで、元々の記入欄を構成する線分に接する矩形を形成し、その矩形をテンプレート画像に追加する。再抽出部２８は、その矩形が追加されたテンプレート画像に対して抽出処理を適用することで、矩形部分としての記入枠を抽出する。以下、変形例５について詳しく説明する。
(Modification 5)
例えば、図１９に示すように、元々のテンプレート画像に、外枠を有していない記入欄１２８が表されているものとする。この記入欄１２８に対して、ユーザによって４つの点が指定されると、変形例４と同様に、画像編集部２６は、４つの点を頂点とする矩形を形成する。図２３には、その矩形の一例が示されている。矩形１３６が、ユーザによって指定された４つの点を頂点とする矩形である。この矩形１３６は、図２０に示されている矩形１３０（記入欄１２８の外枠に相当する図形）よりも内側に形成されている。つまり、矩形１３６は、記入欄１２８において文字が記入されると想定される領域よりも狭い範囲を囲む図形である。この場合、画像編集部２６は、矩形１３６を拡大することで、記入欄１２８の外枠に相当する図形を形成する。図２３に示されている矩形１３８は、矩形１３６が拡大された後の図形である。矩形１３８は、元々の記入欄１２８を構成する線分の端点である点Ｇ１，Ｇ２，Ｇ４，Ｇ５，Ｇ７，Ｇ８上を通るように形成されている。つまり、矩形１３８は、元々の記入欄１２８を構成する線分に接する矩形であるといえる。このようにして、元々の記入欄１２８の外枠を形成する矩形１３８がテンプレート画像に追加される。矩形１３８が追加されたテンプレート画像に対して、再抽出部２８による抽出処理が適用され、これによって、矩形部分としての記入枠が抽出される。
For example, as shown in FIG. 19, it is assumed that an
また、図２４には、ユーザによって指定された４つの点を頂点とする別の矩形１４０が示されている。この矩形１４０は、元々の記入欄１２８の外枠に相当する図形（例えば図２中の矩形１３０）よりも外側に形成されている。つまり、矩形１４０は、記入欄１２８において文字が記入されると想定される領域よりも広い範囲を囲む図形である。矩形１４０が追加されたテンプレート画像に対して再抽出部２８による抽出処理が適用された場合、元々の記入欄１２８に対応する記入枠は抽出されず、新たに追加された矩形１４０が抽出されるだけである。つまり、矩形１４０は、元々の記入欄１２８を構成する線分に接していないため、矩形１４０は、記入欄１２８に対応する記入枠の抽出に寄与しない。この場合、画像編集部２６は、矩形１４０を縮小することで、記入欄１２８の外枠に相当する図形を形成する。図２４に示されている矩形１３８は、矩形１４０が縮小された後の図形である。その矩形１３８が追加されたテンプレート画像に対して、再抽出部２８による抽出処理が適用され、これによって、矩形部分としての記入枠が抽出される。
FIG. 24 shows another
以上のように、変形例５によれば、ユーザの指示によって描画された矩形の大きさが自動的に調整されて、記入欄に対応する記入枠が抽出される。 As described above, according to the fifth modification, the size of the rectangle drawn by the user's instruction is automatically adjusted, and the entry frame corresponding to the entry field is extracted.
なお、記入欄の外枠に相当しなくても、記入欄を構成する線分に接する矩形が形成されてもよい。記入欄を構成する線分に接する矩形の概念の範疇には、その線分と交差する矩形も含まれる。例えば、図２３に示されている矩形１３６は、記入欄を構成する線分Ｇ２Ｇ４，Ｇ５Ｇ７，Ｇ１Ｇ８に交差する図形である。この矩形１３６が追加されたテンプレート画像に対して再抽出部２８による抽出処理が適用された場合、矩形１３６を構成する線分と、矩形１３６の内側に存在する線分（元々の記入欄１２８を構成する線分）が抽出される。それらの線分によって６つの矩形部分が構成されるため、再抽出部２８は、それら６つの矩形部分を記入枠として抽出する。具体的には、図１８に示されている記入枠１１６，１１８，１２０，１２２，１２４，１２６よりも小さい６つの記入枠が抽出される。このように、矩形１３６がテンプレート画像に追加された場合には、記入欄に対応する記入枠が抽出される。その抽出後、ユーザは、記入枠の座標情報を編集することで、記入枠の大きさを調整してもよい。
In addition, even if it does not correspond to the outer frame of the entry field, a rectangle in contact with the line segment constituting the entry field may be formed. The category of the rectangle that touches the line segment that forms the entry field includes a rectangle that intersects the line segment. For example, a
記入欄を構成する線分に接する線分がユーザによって追加された場合も、上記と同様のことがいえる。例えば図７及び図８に示すように、ユーザによって追加された線分７４は、元々の記入欄３６，３８を構成する線分Ａ１Ａ５，Ａ２Ａ６（図３参照）に接する線分であるといえる。
The same applies to the case where a line segment in contact with the line segment constituting the entry field is added by the user. For example, as shown in FIGS. 7 and 8, the
また、ユーザの指示に従って追加された線分や矩形が、元々の記入欄を構成する線分と全く接しない場合、エラーが通知されてもよい。例えば、表示制御部２４は、そのエラーを示す情報を表示部に表示させる。こうすることで、記入枠の抽出に寄与する線分や矩形の追加をユーザに促すことができる。
Further, an error may be notified when the line segment or rectangle added according to the user's instruction does not touch the line segment constituting the original entry field at all. For example, the
また、記入枠の抽出に寄与しない図形がユーザによって追加された場合、表示制御部２４は、テンプレート表示画面４８上にて、その追加された図形を、他の図形と識別可能にして表示してもよい。例えば、表示制御部２４は、追加された図形をハイライト表示によってテンプレート表示画面４８に表示させてもよい。それとは逆に、表示制御部２４は、テンプレート画像をハイライト表示によってテンプレート表示画面４８に表示させてもよい。
When a figure that does not contribute to extraction of the entry frame is added by the user, the
（変形例６）
変形例６について説明する。変形例６では、画像編集部２６は、ユーザの指示に従って、テンプレート画像上に非抽出領域を形成する。再抽出部２８は、テンプレート画像内の非抽出領域以外の領域から記入枠としての矩形部分を抽出する。非抽出領域は、例えば、その部分の画像を白色で塗り潰すことによって形成されてもよいし、その部分の画像が削除されることで形成されてもよい。以下、変形例６について詳しく説明する。
(Modification 6)
Modification 6 will be described. In the sixth modification, the
図２５には、変形例６に係る記入欄１４２が示されている。この記入欄１４２は、Ｙ方向に平行な二重線部分１４４を有する。この記入欄１４２に対して抽出部２２による抽出処理が適用されると、その二重線部分１４４を構成する線分によって囲まれた部分が記入枠として抽出される。図２６には、その抽出結果１４６が示されている。二重線部分１４４に対応する記入枠１４８が抽出されている。
FIG. 25 shows an
上記の二重線部分１４４は、通常、文字が記入される領域ではなく、互いに隣り合う記入欄を区分けするために用いられる。そのため、二重線部分１４４を残したまま抽出処理を実行すると、記入枠ではない部分も記入枠として抽出されることになる。
The double-
そこで、変形例６では、線分が抽出されない非抽出領域がテンプレート画像に形成される。例えば、図２７に示すように、ユーザが、テンプレート表示画面において、不要な矩形部分を構成する４つの頂点Ｌ１，Ｌ２，Ｌ３，Ｌ４を指定すると、画像編集部２６は、頂点Ｌ１，Ｌ２，Ｌ３、Ｌ４によって構成される非抽出領域をテンプレート画像に形成する。例えば、画像編集部２６は、その非抽出領域を白色で塗り潰す。図２８には、非抽出領域が白色で塗り潰された記入欄１５０が示されている。この記入欄１５０に対して再抽出部２８による抽出処理が適用された場合、白色の非抽出領域以外の領域から線分が抽出され、更に、記入枠が抽出される。つまり、非抽出領域は白色に塗り潰されているため、その部分からは線分が抽出されない。これにより、二重線部分１４４に対応する記入枠は抽出されず、それ以外の記入枠が抽出される。
Therefore, in Modification 6, a non-extracted area where no line segment is extracted is formed in the template image. For example, as illustrated in FIG. 27, when the user designates four vertices L1, L2, L3, and L4 that form unnecessary rectangular portions on the template display screen, the
変形例６によれば、記入枠ではない部分が記入枠として抽出されることが防止される。 According to the modified example 6, it is possible to prevent a portion that is not an entry frame from being extracted as an entry frame.
なお、非抽出領域として、白色の線分がテンプレート画像に追加されてもよい。例えば図２９に示すように、記入欄１４２の二重線部分１４４の内側に、白色の線分１５２（便宜的に破線で示されている）がＹ方向に平行に追加されている。その線分１５２は、二重線部分１４４の内側において、Ｘ方向に平行な各線分と交差するように、つまり、各線を分断するように、テンプレート画像に追加されている。このような線分１５２がテンプレート画像に追加された場合も、二重線部分１４４においては矩形部分としての記入枠が抽出されないので、記入枠ではない部分が記入枠として抽出されることが防止される。
A white line segment may be added to the template image as a non-extraction region. For example, as shown in FIG. 29, a white line segment 152 (shown by a broken line for convenience) is added in parallel to the Y direction inside the
（変形例７）
変形例７について説明する。図３０には、変形例７に係る記入欄１５４が示されている。記入欄１５４は、表形式の記入欄である。また、記入欄１５４は、ハッチングが形成されている領域１５６を有する。線分の抽出アルゴリズムとして、上述したヒストグラム法が用いられる場合、領域１５６内のハッチングの程度によっては、領域１５６内から、Ｘ方向に平行な線分やＹ方向に平行な線分が抽出される場合がある。そのような線分は、不要な線分である。そこで、変形例６と同様に、画像編集部２６は、ユーザの指示に従って、不要な線分が抽出される領域に対して非抽出領域を形成する。例えば、画像編集部２６は、その非抽出領域を白色で塗り潰す。
(Modification 7)
Modification 7 will be described. FIG. 30 shows an
図３１には、非抽出領域が白色で塗り潰された記入欄１５４が示されている。ハッチングが形成されている領域１５６が、ユーザによって非抽出領域として指定された場合、画像編集部２６は、矢印１５８で示すように、その領域１５６を白色で塗り潰す。こうすることで、領域１５６からは線分が抽出されないので、その線分によって構成される矩形部分が記入枠として抽出されることが防止される。
FIG. 31 shows an
なお、ハッチング以外にも、記入欄以外の図形や画像や文字が、記入欄に形成されている場合、その図形や画像や文字が形成された部分から、Ｘ方向に平行な線分やＹ方向に平行な線分が抽出される場合がある。この場合、ハッチングの対処方法と同様に、抽出されるべきではない線分が抽出される部分を白色で塗り潰すことで、抽出されるべきではない線分が抽出されることが防止される。 In addition to hatching, when a figure, image, or character other than the entry field is formed in the entry field, a line segment parallel to the X direction or the Y direction from the part where the figure, image, or character is formed. May be extracted in parallel. In this case, as in the hatching handling method, a portion where a line segment that should not be extracted is painted in white to prevent a line segment that should not be extracted from being extracted.
（変形例８）
変形例８について説明する。図３２には、変形例８に係る用紙（テンプレート）が示されている。この用紙１６０（テンプレート）には、氏名が記入されるべき記入欄１６２が形成されている（例えば印刷されている）。また、用紙１６０に折り目１６４，１６６が形成されている。折り目１６４，１６６が形成された状態で、用紙１６０がスキャナ１２によってスキャンされた場合、そのスキャンによって生成されたテンプレート画像には、折り目１６４，１６６を表す部分が表示される。
(Modification 8)
Modification 8 will be described. FIG. 32 shows a sheet (template) according to Modification 8. On this sheet 160 (template), an
図３３には、用紙１６０を表すテンプレート画像１６８が示されている。テンプレート画像１６８には、記入欄１６２を表す記入欄画像１７０が表されていると共に、折り目１６４，１６６を表す線分１７２，１７４が表示されている。線分１７２は、記入欄画像１７０をＸ方向に横切っている。
In FIG. 33, a
テンプレート画像１６８に対して抽出部２２による抽出処理が適用された場合、線分１７２，１７４も抽出され、その線分１７２，１７４によって構成される矩形部分が記入枠として抽出される場合がある。例えば、記入欄１６２は１つの記入欄であるが、線分１７２が記入欄画像１７０をＸ方向に横切っているので、記入欄画像１７０から２つの記入枠が抽出されることになる。図３４には、その抽出結果が示されている。記入欄画像１７０が線分１７２によって分断されているため、記入欄画像１７０から記入枠１７６，１７８が抽出されている。
When the extraction process by the
上記のように、用紙に折り目が形成されている場合、記入枠ではない部分が記入枠として抽出される場合がある。その抽出を防止するために、変形例８においても、変形例６，７と同様に、画像編集部２６は、ユーザの指示に従って、折り目に対応する線分１７２，１７４に対して非抽出領域を形成する。つまり、画像編集部２６は、線分１７２，１７４を白色で塗り潰す。図３５には、線分１７２が白色に塗り潰された状態が示されている。例えば、矢印１８０で示すように、線分１７２において、記入欄画像１７０内に描画されている部分がユーザによって指定され、その部分が、白色に塗り潰されている。こうすることで、その白色に塗り潰された部分からは線分が抽出されないので、記入欄画像１７０は、線分１７２によって分断されず、記入欄画像１７０から１つの矩形部分が記入枠として抽出される。なお、線分１７２，１７４の全部が白色に塗り潰されてもよい。
As described above, when a crease is formed on a sheet, a portion that is not an entry frame may be extracted as an entry frame. In order to prevent the extraction, also in the modified example 8, as in the modified examples 6 and 7, the
（変形例９）
変形例９について説明する。図３６には、変形例９に係る記入欄１８６が示されている。この記入欄１８６は、全体として実線からなる矩形部分を有し、更に、その矩形部分の内部にＸ方向に平行な破線を有する。上記の実施形態と同様に、この記入欄１８６に対して抽出部２２による抽出処理が適用された場合、破線は枠線として抽出されないので、その破線で区切られた２つの記入欄に対応する２つの記入枠は抽出されずに、全体として１つの矩形部分が記入枠として抽出される。
(Modification 9)
Modification 9 will be described. FIG. 36 shows an
２つの記入枠を抽出するために、上記の実施形態では、破線の両端部がユーザによって指定され、その両端部を結ぶ実線がテンプレート画像に追加される。変形例９では、記入欄１８６の外側に２つの点がユーザによって指定されてもよい。図３６に示す例では、破線をその前後方向に延長したそれぞれの位置に、点１８８，１９０がユーザによって指定されている。画像編集部２６は、図３７に示すように、点１８８，１９０を結ぶ線分１９２をテンプレート画像に追加する。線分１９２は、破線上に描画される。点１８８，１９０は記入欄１８６の外側の位置に指定されているため、線分１９２は、記入欄１８６を構成する線分に交差する。その線分１９２が追加されたテンプレート画像に対して、再抽出部２８による抽出処理が適用されると、記入欄１８６を構成する線分に交差する線分１９２によって記入欄１８６はＹ方向に分断され、その結果、Ｙ方向に並ぶ２つの矩形部分がそれぞれ記入枠として抽出される。
In order to extract the two entry frames, in the above embodiment, both ends of the broken line are designated by the user, and a solid line connecting the both ends is added to the template image. In Modification 9, two points may be designated by the user outside the
以上のように、記入欄を構成する線分に交差する線分がテンプレート画像に追加された場合も、上述した実施形態と同様に、抽出されるべき記入枠が抽出される。 As described above, even when a line segment that intersects the line segment constituting the entry field is added to the template image, the entry frame to be extracted is extracted as in the above-described embodiment.
なお、変形例９では、テンプレート画像に線分が追加されているが、記入欄を構成する線分に交差する矩形がテンプレート画像に追加されてもよい。 In Modification 9, a line segment is added to the template image. However, a rectangle that intersects the line segment that forms the entry field may be added to the template image.
（変形例１０）
変形例１０について説明する。変形例１０では、表示制御部２４は、抽出部２２による抽出結果を枠表示画面に表示させると共に、テンプレート画像を背景画像として枠表示画面に表示させる。以下、図３８を参照して、変形例１０について詳しく説明する。
(Modification 10)
図３８には、変形例１０に係る枠表示画面が示されている。例えば、図２に示されている帳票３４を対照として、抽出部２２による抽出処理が実行され、その抽出結果が枠表示画面５６に表示されている。図６を参照して説明したように、帳票３４における実線部分によって構成される各記入枠を表す記入枠画像６２，６４，６６が、枠表示画面５６に表示されている。
FIG. 38 shows a frame display screen according to Modification Example 10. For example, the extraction process by the
表示制御部２４は、抽出部２２による抽出結果と共に、テンプレート画像を背景画像として枠表示画面５６に表示させる。具体的には、表示制御部２４は、図５に示されている記入欄オブジェクト５２，５４を、記入枠画像６２，６４，６６の背景画像として枠表示画面５６に表示させる。図３８に示す例では、記入欄オブジェクト５２中の破線画像１９４が、記入枠画像６２が表す記入枠の内側に表示されている。同様に、記入欄オブジェクト５４中の破線画像１９６が、記入枠画像６４が表す記入枠の内側に表示され、記入欄オブジェクト５４中の破線画像１９８が、記入枠画像６６が表す記入枠の内側に表示されている。
The
以上のように、変形例１０によれば、記入枠の抽出結果と共にテンプレート画像が表示されるので、ユーザは、記入枠として抽出されていない部分を目視で確認することができる。 As described above, according to the modified example 10, the template image is displayed together with the extraction result of the entry frame, so that the user can visually confirm the portion that is not extracted as the entry frame.
表示制御部２４は、テンプレート画像内の少なくとも一部の画像を、背景画像として枠表示画面５６に表示させてもよい。例えば、表示制御部２４は、記入枠として抽出されなかった部分の画像を、背景画像として枠表示画面５６に表示させる。帳票３４を構成する破線は枠線として認識されず、その破線は記入枠として検出されていないため、図３８に示す例では、各破線を表す破線画像１９４，１９６，１９８が背景画像として表示される。このように、記入枠として抽出されなかった部分の画像を表示することで、ユーザは、その部分を目視で確認することができる。
The
また、表示制御部２４は、記入枠として抽出されなかった部分の画像と、記入枠として抽出された部分の画像とを区別して（識別可能な状態で）枠表示画面５６に表示させてもよい。例えば、表示制御部２４は、記入枠として抽出されなかった部分の画像をハイライト表示によって枠表示画面５６に表示させ、記入枠として抽出された部分の画像を非ハイライト表示によって枠表示画面５６に表示させる。図３８に示す例では、破線画像１９４，１９６，１９８がハイライト表示される。こうすることで、上記の区別を行わない場合と比べて、ユーザにとって、記入枠として抽出されなかった部分の認識が容易となる。もちろん、表示制御部２４は、記入枠として抽出された部分の画像をハイライト表示によって枠表示画面５６に表示させ、記入枠として抽出されなかった部分の画像を非ハイライト表示によって枠表示画面５６に表示させてもよい。
In addition, the
なお、上記の実施形態及び変形例では、文字が記入されるべき記入欄に対応する記入枠が抽出されるが、別の例として、画像や図形が形成されるべき欄に対応する枠や、指紋が押捺されるべき欄に対応する枠や、押印されるべき欄（印影が形成されるべき欄）に対応する枠等が、抽出されてもよい。つまり、文字以外にも、画像、図形、指紋、印影等も、記入欄に記入されるべき情報の一例に該当してもよい。例えば、画像認識処理や図形認識処理によって、欄に形成された画像や図形が認識され、指紋認識処理によって、欄に形成された指紋が認識される。また、画像認識処理や文字認識処理によって、欄に形成された印影が認識される。これらの認識処理のために、上記の枠の座標情報を含む定義情報が作成される。 In the above-described embodiment and modification, an entry frame corresponding to an entry field in which characters are to be entered is extracted, but as another example, a frame corresponding to a field in which an image or a figure is to be formed, A frame corresponding to a field where a fingerprint is to be imprinted, a frame corresponding to a field where a fingerprint is to be impressed (a field where an imprint is to be formed), and the like may be extracted. That is, in addition to characters, images, graphics, fingerprints, seals, and the like may also correspond to examples of information to be entered in the entry field. For example, an image or a graphic formed in a column is recognized by image recognition processing or graphic recognition processing, and a fingerprint formed in the column is recognized by fingerprint recognition processing. In addition, the imprint formed in the column is recognized by image recognition processing and character recognition processing. For these recognition processes, definition information including the coordinate information of the frame is created.
上記の情報処理装置１０は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、情報処理装置１０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、情報処理装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、情報処理装置１０の各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、情報処理装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
The
１０ 情報処理装置、１２ スキャナ、２０ 画像処理部、２２ 抽出部、２４ 表示制御部、２６ 画像編集部、２８ 再抽出部、３０ 定義情報作成部。
DESCRIPTION OF
Claims (8)
前記抽出手段による抽出結果を表示手段に表示させる表示制御手段と、
前記抽出結果の表示の後、ユーザの指示に従って、前記記入枠としての矩形部分を抽出するための編集を前記画像に対して行う画像編集手段と、
前記編集が反映された前記画像から前記記入枠としての矩形部分を再抽出する再抽出手段と、
前記記入欄に記入された情報を抽出するために用いられる定義情報を出力する出力手段であって、前記再抽出手段によって抽出された前記記入枠と、前記記入欄に記入されるべき情報の属性との対応付けを示す定義情報を出力する出力手段と、
を有する情報処理装置。 An extracting means for extracting a rectangular portion as an entry frame corresponding to the entry field from an image of a sheet on which an entry field to be filled with information is formed;
Display control means for displaying the extraction result by the extraction means on the display means;
After displaying the extraction result, in accordance with a user instruction, image editing means for editing the image to extract a rectangular portion as the entry frame;
Re-extracting means for re-extracting a rectangular portion as the entry frame from the image reflecting the editing;
Output means for outputting definition information used for extracting information entered in the entry field, the entry frame extracted by the re-extraction means, and attributes of information to be entered in the entry field Output means for outputting definition information indicating the correspondence with
An information processing apparatus.
前記再抽出手段は、前記図形が形成されている前記画像から前記記入枠としての矩形部分を再抽出する、
ことを特徴とする請求項１に記載の情報処理装置。 The image editing means forms a figure composed of line segments on the image as the editing in accordance with a user instruction,
The re-extraction means re-extracts a rectangular portion as the entry frame from the image on which the graphic is formed.
The information processing apparatus according to claim 1.
前記再抽出手段は、前記図形が形成されている前記画像から前記記入枠としての矩形部分を再抽出する、
ことを特徴とする請求項１に記載の情報処理装置。 The image editing means forms a figure composed of a rectangular portion with respect to the image as the editing in accordance with a user instruction,
The re-extraction means re-extracts a rectangular portion as the entry frame from the image on which the graphic is formed.
The information processing apparatus according to claim 1.
ことを特徴とする請求項３に記載の情報処理装置。 The image editing unit corrects a figure formed on the image by a user to form a rectangular portion with respect to the image;
The information processing apparatus according to claim 3.
ことを特徴とする請求項２から請求項４のいずれか一項に記載の情報処理装置。 The image editing means forms the figure in contact with a line segment constituting the entry field represented in the image;
The information processing apparatus according to claim 2, wherein the information processing apparatus is an information processing apparatus.
前記再抽出手段は、前記画像内の前記非抽出領域以外の領域から前記記入枠としての矩形部分を再抽出する、
ことを特徴とする請求項１に記載の情報処理装置。 The image editing means forms a non-extraction region on the image as the editing in accordance with a user instruction,
The re-extraction means re-extracts a rectangular portion as the entry frame from an area other than the non-extraction area in the image.
The information processing apparatus according to claim 1.
ことを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。 The display control means causes the display means to display the image as a background image together with the extraction result.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
情報が記入されるべき記入欄が形成されている用紙の画像から前記記入欄に対応する記入枠としての矩形部分を抽出する抽出手段、
前記抽出手段による抽出結果を表示手段に表示させる表示制御手段、
前記抽出結果の表示の後、ユーザの指示に従って、前記記入枠としての矩形部分を抽出するための編集を前記画像に対して行う画像編集手段、
前記編集が反映された前記画像から前記記入枠としての矩形部分を再抽出する再抽出手段、
前記記入欄に記入された情報を抽出するために用いられる定義情報を出力する出力手段であって、前記再抽出手段によって抽出された前記記入枠と、前記記入欄に記入されるべき情報の属性との対応付けを示す定義情報を出力する出力手段、
として機能させるプログラム。
Computer
An extraction means for extracting a rectangular portion as an entry frame corresponding to the entry field from an image of a sheet on which an entry field to be filled with information is formed;
Display control means for displaying the extraction result by the extraction means on the display means;
An image editing means for performing editing on the image to extract a rectangular portion as the entry frame in accordance with a user instruction after the extraction result is displayed;
Re-extracting means for re-extracting a rectangular portion as the entry frame from the image in which the editing is reflected;
Output means for outputting definition information used for extracting information entered in the entry field, the entry frame extracted by the re-extraction means, and attributes of information to be entered in the entry field Output means for outputting definition information indicating correspondence with
Program to function as.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018047061A JP7035656B2 (en) | 2018-03-14 | 2018-03-14 | Information processing equipment and programs |
| JP2022030979A JP2022066321A (en) | 2018-03-14 | 2022-03-01 | Information processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018047061A JP7035656B2 (en) | 2018-03-14 | 2018-03-14 | Information processing equipment and programs |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022030979A Division JP2022066321A (en) | 2018-03-14 | 2022-03-01 | Information processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159932A true JP2019159932A (en) | 2019-09-19 |
| JP7035656B2 JP7035656B2 (en) | 2022-03-15 |
Family
ID=67993506
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018047061A Active JP7035656B2 (en) | 2018-03-14 | 2018-03-14 | Information processing equipment and programs |
| JP2022030979A Pending JP2022066321A (en) | 2018-03-14 | 2022-03-01 | Information processing device and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022030979A Pending JP2022066321A (en) | 2018-03-14 | 2022-03-01 | Information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7035656B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021117128A1 (en) * | 2019-12-10 | 2021-06-17 | ネットスマイル株式会社 | Form image processing system |
| US20220198183A1 (en) * | 2020-12-17 | 2022-06-23 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
| JP7385324B1 (en) | 2023-05-16 | 2023-11-22 | 株式会社SoVa | Information processing system, information processing program, information processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08339419A (en) * | 1995-06-09 | 1996-12-24 | Oki Electric Ind Co Ltd | Method and device for generating format information |
| JPH09245099A (en) * | 1996-03-05 | 1997-09-19 | Toshiba Corp | Slip preparation device |
| JP2005056010A (en) * | 2003-08-08 | 2005-03-03 | Hitachi Ltd | Device, method and program for defining business form |
| US20120063684A1 (en) * | 2010-09-09 | 2012-03-15 | Fuji Xerox Co., Ltd. | Systems and methods for interactive form filling |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06119485A (en) * | 1992-10-05 | 1994-04-28 | Toshiba Corp | Ocr verify system |
| JP6007774B2 (en) * | 2012-12-14 | 2016-10-12 | 富士ゼロックス株式会社 | Character recognition data processing apparatus, character recognition data processing system, and program |
-
2018
- 2018-03-14 JP JP2018047061A patent/JP7035656B2/en active Active
-
2022
- 2022-03-01 JP JP2022030979A patent/JP2022066321A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08339419A (en) * | 1995-06-09 | 1996-12-24 | Oki Electric Ind Co Ltd | Method and device for generating format information |
| JPH09245099A (en) * | 1996-03-05 | 1997-09-19 | Toshiba Corp | Slip preparation device |
| JP2005056010A (en) * | 2003-08-08 | 2005-03-03 | Hitachi Ltd | Device, method and program for defining business form |
| US20120063684A1 (en) * | 2010-09-09 | 2012-03-15 | Fuji Xerox Co., Ltd. | Systems and methods for interactive form filling |
Non-Patent Citations (2)
| Title |
|---|
| R. G. CASEY ET AL.: ""Intelligent Forms Processing"", IBM SYSTEMS JOURNAL, vol. 29, no. 3, JPN6022003796, 31 December 1990 (1990-12-31), US, pages 435 - 450, XP000265375, ISSN: 0004695195 * |
| 小山 俊哉、外４名: ""帳票データ入力システム ＦｏｒｍＤａｔａＥｎｔｒｙ"", 富士ゼロックステクニカルレポート, JPN6022003793, 17 March 2016 (2016-03-17), JP, pages 82 - 90, ISSN: 0004695194 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021117128A1 (en) * | 2019-12-10 | 2021-06-17 | ネットスマイル株式会社 | Form image processing system |
| US20220198183A1 (en) * | 2020-12-17 | 2022-06-23 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
| JP7385324B1 (en) | 2023-05-16 | 2023-11-22 | 株式会社SoVa | Information processing system, information processing program, information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7035656B2 (en) | 2022-03-15 |
| JP2022066321A (en) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4572669B2 (en) | Layout rule generation system, layout system, layout rule generation method, and layout rule generation program | |
| JP3996579B2 (en) | Form processing system for identifying active areas of machine-readable forms | |
| JP2022066321A (en) | Information processing device and program | |
| EP2264995B1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2012203458A (en) | Image processor and program | |
| JP2011141677A (en) | Apparatus and method for digitizing documents | |
| JP2011013897A (en) | Image processing device, image processing method and program | |
| WO2013058397A1 (en) | Digital comic editing device and method therefor | |
| JP2010009509A (en) | Image processor, image processing method, program thereof, and storage medium | |
| CN107133615B (en) | Information processing apparatus, information processing method, and computer program | |
| JP2009193356A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| WO2001003416A1 (en) | Border eliminating device, border eliminating method, and authoring device | |
| JP2002203207A (en) | Character recognizing method and program, and recording medium | |
| JP2015167001A (en) | Information processing program, information processing device, information processing system, information processing method, image processor and image processing system | |
| JP5020698B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN115147858A (en) | Method, device, equipment and medium for generating image data of handwritten form | |
| JPS58208865A (en) | Document producing device | |
| JP2009223363A (en) | Document processor and document processing program | |
| JP6676121B2 (en) | Data input device and data input program | |
| JP2000029198A (en) | Color proof device, image processor and recording medium | |
| JP5528410B2 (en) | Viewer device, server device, display control method, electronic comic editing method and program | |
| JP2016139360A (en) | Computer program and control device | |
| JP6682827B2 (en) | Information processing apparatus and information processing program | |
| JP2006293970A (en) | Image processor, image processing method and image processing program | |
| JP2020099031A (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7035656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |