JP2010176267A - Information processor and program - Google Patents

Information processor and program Download PDF

Info

Publication number
JP2010176267A
JP2010176267A JP2009016502A JP2009016502A JP2010176267A JP 2010176267 A JP2010176267 A JP 2010176267A JP 2009016502 A JP2009016502 A JP 2009016502A JP 2009016502 A JP2009016502 A JP 2009016502A JP 2010176267 A JP2010176267 A JP 2010176267A
Authority
JP
Japan
Prior art keywords
size
information
recognition
image data
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009016502A
Other languages
Japanese (ja)
Other versions
JP5343584B2 (en
Inventor
Yuji Kasuya
勇児 糟谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009016502A priority Critical patent/JP5343584B2/en
Publication of JP2010176267A publication Critical patent/JP2010176267A/en
Application granted granted Critical
Publication of JP5343584B2 publication Critical patent/JP5343584B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To create a business form whose recognition processing by a computer is made possible by changing the scale or position of a recognition region without imposing any burden on a business form creator, and to recognize a business form in which the scale or position of the recognition region has been changed. <P>SOLUTION: An information processor for executing the recognition processing of entry information entered in the entry column of an original, the entry column having an identification code for obtaining basic size information showing the basic size of the entry column, includes: an input means for inputting the image data of an original; an obtaining means for obtaining the basic size information on the basis of the identification code included in the input image data; a size change means for changing the size of a recognition object region by using the obtained basic size information; and a recognition means for executing the recognition processing to the recognition object region whose size has been changed. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、情報処理装置及びプログラムに関し、特に、帳票の設計や作成、帳票記入者による記入内容の認識処理に好ましく適用される技術に関するものである。   The present invention relates to an information processing apparatus and a program, and more particularly to a technique that is preferably applied to design and creation of a form and recognition processing of entry contents by a form writer.

従来、専用の帳票設計ソフトウエアを用いてコンピュータで読み取り可能な帳票を設計する方法が知られている。例えば、既存の帳票の画像上に文字やタイミングマークを認識する場所等を指定するもの、また文字を入力するための矩形やその矩形に対する処理を画面上で貼り付けて帳票を一から設計するもの等が知られている。このような専用の帳票設計ソフトウエアを用いた帳票作成においては、帳票設計が煩雑な作業であるため帳票作成者の作業負担増につながり、また人手をかけて帳票設計するため実際の帳票とずれが生じたりするといった問題があった。   Conventionally, a method for designing a computer-readable form using dedicated form design software is known. For example, designating a form from scratch by specifying where to recognize characters and timing marks on the image of an existing form, or pasting a rectangle for entering characters and processing for that rectangle on the screen Etc. are known. In creating a form using such dedicated form design software, the form design is a complicated task, which increases the work load of the form creator, and the form design takes time to deviate from the actual form. There was a problem such as.

上記の問題は、帳票への記入情報に対する認識処理にも影響する。通常、認識処理を行うにあたって、帳票ごとあるいは矩形(認識領域)ごとに帳票作成者による設定が必要となる。具体的には、認識領域の位置や大きさ、処理の仕方(どの領域をどのOCR(Optical Character Reader)で処理するか等)、認識結果の出力(選択内容をどのように出力するか等(例えば“1”なら“男”、“2”なら“女”))等、処理に必要な情報を設定する。このように、従来の方法では、帳票作成者による設定作業は煩雑で作成者の作業負担が大きく、また実際の帳票とずれが生じた場合には正確かつ迅速な帳票認識処理が困難である。   The above problem also affects the recognition process for the information entered in the form. Normally, when the recognition process is performed, a form creator needs to set each form or each rectangle (recognition area). Specifically, the position and size of the recognition area, the processing method (which area is to be processed by which OCR (Optical Character Reader), etc.), the output of the recognition result (how to output the selected contents, etc.) For example, “1” is set to “male” and “2” is set to “female”)). As described above, according to the conventional method, the setting work by the form creator is complicated and the work burden on the creator is large, and when there is a deviation from the actual form, accurate and rapid form recognition processing is difficult.

例えば特許文献1では、表の読み取りを高速化、高精度化することを目的とした表データ入出力装置が開示されている。この表データ入出力装置は、表の種別や表中の各データの行方向並びに列方向の位置を指定するためのバーコードを表データに付与するバーコード付与手段と、バーコードを読み取るバーコードリーダと、読み取られたバーコードから表種別、行方向及び列方向の位置を通知する種別・位置認識手段等を備える。   For example, Patent Document 1 discloses a table data input / output device intended to increase the speed and accuracy of table reading. This table data input / output device includes a bar code adding means for adding a bar code to the table data for designating the type of the table and the row direction and column direction position of each data in the table, and a bar code for reading the bar code A reader and classification / position recognition means for notifying the position in the table type, row direction and column direction from the read barcode are provided.

また、例えば特許文献2では、イメージスキャナ等によって入力された記入済み帳票の画像から文字や記号等の記入情報を精度良く抽出することを目的とした記入情報抽出方法が開示されている。この記入情報抽出方法では、記入済み帳票画像のほかに未記入帳票画像(記入前の帳票画像)を別に用意し、双方の画像の位置合わせを行うことで、ノイズの影響を軽減して帳票の記入内容を柔軟に抽出する。   For example, Patent Document 2 discloses an entry information extraction method for accurately extracting entry information such as characters and symbols from an image of a completed form input by an image scanner or the like. In this entry information extraction method, in addition to the completed form image, an unfilled form image (form image before filling) is prepared separately, and both images are aligned to reduce the effect of noise and reduce the form's effect. Extract entry details flexibly.

コンピュータでの認識処理が可能な帳票を作成するに際して、認識領域の大きさや位置の変更を、自在にかつ帳票作成者の負担を少なくして行えれば、帳票設計上の柔軟性が増すとともに、帳票作成における生産性の向上につながる。そして、上記のようにして認識領域の大きさや位置を変更して作成された帳票を、帳票作成者がその都度処理のための設定を行うことなく認識できるようにすることが望ましい。   When creating a form that can be recognized by a computer, the size and position of the recognition area can be changed freely and with less burden on the form creator. It leads to productivity improvement in form creation. Then, it is desirable to allow the form creator to recognize the form created by changing the size and position of the recognition area as described above without setting for processing each time.

特許文献1の発明は、バーコードを用いて表の読み取りを高速化、高精度化するものであるものの、例えば表の大きさや位置を変更した場合に、その都度変更後の位置を指定するバーコードを付加する必要があり、帳票作成者の負担を軽減して帳票作成の自在性を高めることはできない。また、特許文献2の発明は、帳票の記入情報を精度良く抽出するものではあるが、認識領域の大きさや位置を変更して作成された帳票を、帳票作成者がその都度処理のための設定を行うことなく認識できるようにしたものではない。   The invention of Patent Document 1 uses a bar code to increase the speed and accuracy of reading a table. For example, when the size or position of a table is changed, a bar that specifies the changed position each time is changed. It is necessary to add a code, and it is not possible to reduce the burden on the form creator and increase the flexibility of form creation. Further, although the invention of Patent Document 2 accurately extracts form entry information, a form creator sets a form created by changing the size and position of a recognition area for each process. It is not intended to be able to recognize without doing.

そこで、本発明は、帳票作成者に負担をかけることなく、認識領域の大きさや位置を変更してコンピュータでの認識処理が可能な帳票を作成することができ、認識領域の大きさや位置が変更された帳票を認識できるようにすることを目的とする。   Therefore, the present invention can create a form that can be recognized by a computer by changing the size and position of the recognition area without imposing a burden on the form creator, and the size and position of the recognition area can be changed. The purpose is to be able to recognize the generated form.

上記目的を達成するために、本発明は、原稿の記入欄に記入された記入情報の認識処理を実行する情報処理装置であって、記入欄は、該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードを有しており、原稿の画像データを入力する入力手段と、入力された画像データに含まれる識別コードに基づいて基本サイズ情報を取得する取得手段と、取得された基本サイズ情報を用いて認識対象領域のサイズを変更するサイズ変更手段と、サイズが変更された認識対象領域に対して認識処理を実行する認識手段と、を備える情報処理装置である。   In order to achieve the above object, the present invention provides an information processing apparatus for executing recognition processing of entry information entered in an entry column of a manuscript, wherein the entry column includes basic size information indicating a basic size of the entry column. An input unit that inputs image data of a document, an acquisition unit that acquires basic size information based on an identification code included in the input image data, and An information processing apparatus comprising size changing means for changing the size of a recognition target area using basic size information, and recognition means for executing recognition processing on the recognition target area whose size has been changed.

また、本発明は、上記の帳票認識装置において、入力された画像データに含まれる識別コードについて、基本サイズ情報の取得に必要なコード読み取りが可能な比率に変更する比率変更手段を有するものであってもよい。さらに、比率変更手段は、識別コードを有する記入欄を構成する罫線の太さの比率を求め、罫線比率を用いて識別コードの比率変更を行うものであってもよい。   The present invention also provides the above-described form recognition apparatus having ratio changing means for changing the identification code included in the input image data to a ratio at which the code necessary for obtaining the basic size information can be read. May be. Further, the ratio changing means may obtain a ratio of the thicknesses of the ruled lines constituting the entry column having the identification code, and change the ratio of the identification codes using the ruled line ratio.

他の態様として、本発明は、記入欄に記入された記入情報の認識処理に用いられる原稿を作成する情報処理装置であって、記入欄及び該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードが含まれる画像データを記憶手段から取得する取得手段と、取得された画像データを用いて原稿データを生成する生成手段と、を備える情報処理装置である。   As another aspect, the present invention provides an information processing apparatus for creating a manuscript used for recognition processing of entry information entered in an entry column, and acquires basic size information indicating the entry column and the basic size of the entry column. An information processing apparatus comprising: an acquisition unit that acquires image data including an identification code for performing from a storage unit; and a generation unit that generates document data using the acquired image data.

また、本発明は、上記の帳票作成装置において、画像データについてサイズの変更や文字データの追加入力を行う編集手段を有するものであってもよい。   The present invention may also include an editing unit that changes the size of image data or additionally inputs character data in the form creation device.

他の態様として、本発明は、原稿の記入欄に記入された記入情報の認識処理を実行するためのプログラムであって、記入欄は、該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードを有しており、原稿の画像データが入力された場合、コンピュータに、入力された画像データに含まれる識別コードに基づいて基本サイズ情報を取得する取得機能と、取得された基本サイズ情報を用いて認識対象領域のサイズを変更するサイズ変更機能と、サイズが変更された認識対象領域に対して認識処理を実行する認識機能と、を実行させるプログラムである。   As another aspect, the present invention is a program for executing recognition processing of entry information entered in an entry column of a manuscript, and the entry column acquires basic size information indicating the basic size of the entry column. An acquisition function for acquiring basic size information on the basis of the identification code included in the input image data when the image data of the document is input, and the acquired basic This is a program for executing a size changing function for changing the size of a recognition target area using size information and a recognition function for executing a recognition process on the recognition target area whose size has been changed.

また、本発明は、上記のプログラムにおいて、入力された画像データに含まれる識別コードについて、基本サイズ情報の取得に必要なコード読み取りが可能な比率に変更する比率変更機能をコンピュータに実行させるものであってもよい。さらに、比率変更機能は、識別コードを有する記入欄を構成する罫線の太さの比率を求め、罫線比率を用いて識別コードの比率変更を行うものであってもよい。   In the above program, the computer causes the computer to execute a ratio changing function for changing the identification code included in the input image data to a ratio capable of reading the code necessary for obtaining the basic size information. There may be. Further, the ratio changing function may obtain the ratio of the thickness of the ruled lines constituting the entry field having the identification code, and change the ratio of the identification codes using the ruled line ratio.

他の態様として、本発明は、記入欄に記入された記入情報の認識処理に用いられる原稿を作成するためのプログラムであって、コンピュータに、記入欄及び該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードが含まれる画像データを記憶手段から取得する取得機能と、取得された前記画像データを用いて原稿データを生成する生成機能と、を実行させるプログラムである。   As another aspect, the present invention is a program for creating a manuscript used for recognition processing of entry information entered in an entry field, wherein the basic size indicating the entry field and the basic size of the entry field is displayed on a computer. A program for executing an acquisition function for acquiring image data including an identification code for acquiring information from a storage unit and a generation function for generating document data using the acquired image data.

また、本発明は、上記のプログラムにおいて、画像データについてサイズの変更や文字データの追加入力を行う編集機能をコンピュータに実行させるものであってもよい。   Further, in the above program, the present invention may cause the computer to execute an editing function for changing the size of image data or additionally inputting character data.

本発明によれば、帳票作成者に負担をかけることなく、認識領域の大きさや位置を変更してコンピュータでの認識処理が可能な帳票を作成し、認識領域の大きさや位置が変更された帳票を認識することが可能となる。   According to the present invention, a form that can be recognized by a computer by changing the size and position of a recognition area without imposing a burden on the form creator is created, and the size and position of the recognition area are changed. Can be recognized.

本発明を適用した情報処理装置の構成を示した図である。It is the figure which showed the structure of the information processing apparatus to which this invention is applied. 本発明を適用した情報処理装置の構成を示した図である。It is the figure which showed the structure of the information processing apparatus to which this invention is applied. 本発明の実施形態に係るクライアントPCのハードウエア構成及び該クライアントPCを含むシステムにおける動作を説明するための図である。It is a figure for demonstrating the operation | movement in the hardware constitutions of the client PC which concerns on embodiment of this invention, and the system containing this client PC. 本発明の実施形態における帳票作成処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the form creation process in embodiment of this invention. 本発明の実施形態における帳票認識処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the form recognition process in embodiment of this invention. 本発明の実施形態におけるパーツデータの例を示した図である。It is the figure which showed the example of the parts data in embodiment of this invention. 本発明の実施形態におけるパーツデータの例を示した図である。It is the figure which showed the example of the parts data in embodiment of this invention.

図1は、本発明を適用した情報処理装置の構成を示した機能ブロック図である。情報処理装置10は、認識処理を実行する装置で、入力手段11、比率変更手段12、取得手段13、サイズ変更手段14、認識手段15を有する。入力手段11は、認識処理に用いる原稿の画像データを入力する。認識処理に用いる原稿の記入欄には、記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードが含まれている。また、識別コードを含む記入欄の画像データは、ワープロソフトや画像編集ソフト等により編集可能な形式で部品化されたデータ(パーツデータ)となっている。比率変更手段12は、入力手段11で入力された画像データ中の識別コードについて、必要に応じてコード読み取り可能な比率に変更する。取得手段13は、入力手段11で入力された画像データ内の識別コードあるいは比率変更手段12で比率変更された識別コードを読み取って基本サイズ情報を取得する。サイズ変更手段14は、取得手段13で取得された基本サイズ情報を用いて認識対象領域のサイズ変更を行う。認識手段15は、サイズ変更手段14でサイズ変更された認識対象領域に対して認識処理を実行する。   FIG. 1 is a functional block diagram showing a configuration of an information processing apparatus to which the present invention is applied. The information processing apparatus 10 is a device that executes recognition processing, and includes an input unit 11, a ratio change unit 12, an acquisition unit 13, a size change unit 14, and a recognition unit 15. The input unit 11 inputs image data of a document used for recognition processing. The original entry field used for the recognition process includes an identification code for acquiring basic size information indicating the basic size of the entry area. Further, the image data in the entry column including the identification code is data (part data) that has been made into parts in a format that can be edited by word processing software, image editing software, or the like. The ratio changing unit 12 changes the identification code in the image data input by the input unit 11 to a code-readable ratio as necessary. The acquisition unit 13 acquires the basic size information by reading the identification code in the image data input by the input unit 11 or the identification code whose ratio has been changed by the ratio changing unit 12. The size changing unit 14 changes the size of the recognition target area using the basic size information acquired by the acquiring unit 13. The recognition unit 15 executes a recognition process on the recognition target area whose size has been changed by the size changing unit 14.

図2は、本発明を適用した情報処理装置の構成を示した機能ブロック図である。情報処理装置20は、認識処理に用いる帳票等の原稿を作成する装置で、取得手段21、作成手段22、編集手段23を有する。取得手段21は、記入欄と識別コードを含む画像データ(パーツデータ)をネットワーク上あるいは自装置の記憶手段40から取得する。パーツデータについては帳票認識装置10で述べたものと同様である。作成手段22は、取得手段21で取得された画像データを用いて原稿データを生成する。編集手段23は、画像データについてサイズの変更や文字テキストデータの追加入力といった編集を行う。   FIG. 2 is a functional block diagram showing the configuration of the information processing apparatus to which the present invention is applied. The information processing apparatus 20 is an apparatus that creates a document such as a form used for recognition processing, and includes an acquisition unit 21, a creation unit 22, and an editing unit 23. The acquisition unit 21 acquires image data (part data) including an entry field and an identification code on the network or from the storage unit 40 of the own device. The part data is the same as that described in the form recognition device 10. The creation unit 22 generates document data using the image data acquired by the acquisition unit 21. The editing means 23 performs editing such as changing the size of the image data and adding input of text data.

本発明では、帳票においてよく使用する機能を1つの機能単位でパーツとして用意し、パーツはワープロソフト等で使用できる形式の画像データで提供される。このため、帳票作成処理において、ユーザは単数個あるいは複数個のパーツをワープロソフト等のツールに貼り付けるだけで容易に帳票を作成できる。また、ユーザは、パーツにあらかじめ決められた範囲で追記を行ったり、位置やサイズの変更を行ったりすることも可能である。そして、パーツにはQRコード等が含まれ、QRコード等にパーツの設計情報、処理情報へのリンクが付与されている。このため、帳票認識処理において、帳票をコンピュータで読み取る際はリンクをたどることで帳票の設計情報、処理情報へアクセスし、これらの情報を用いて迅速に帳票の認識処理を行うことができる。   In the present invention, functions frequently used in a form are prepared as parts in one functional unit, and the parts are provided as image data in a format that can be used by word processing software or the like. Therefore, in the form creation process, the user can easily create a form simply by pasting a single part or a plurality of parts to a tool such as word processing software. In addition, the user can add information to a part within a predetermined range, or change the position and size. Each part includes a QR code or the like, and the QR code or the like is provided with a link to part design information and processing information. For this reason, in the form recognition process, when the form is read by the computer, the form design information and the processing information are accessed by following the link, and the form recognition process can be quickly performed using these pieces of information.

このように、ユーザが専用の帳票設計ソフトウエアを用いて直接設計を行わず、パーツをワープロソフト等の上で貼り合わせることにより帳票を作成するので、ユーザにとって簡単に帳票を作成することができ、人手によるずれを軽減することができる。また、パーツに設計情報や処理情報を取得するための識別コードを持たせているため、帳票認識に際して逐一ユーザが設定をすることなく、迅速かつ精度良く記入情報の認識処理を行うことができる。   In this way, the user does not design directly using dedicated form design software, but creates the form by pasting the parts together on word processing software, etc., so the form can be easily created for the user. , It can reduce the shift due to human hands. In addition, since the identification code for acquiring the design information and the processing information is given to the part, the entry information recognition process can be performed quickly and accurately without the user setting each time when recognizing the form.

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の述べる実施形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments described below are preferred embodiments of the present invention, and thus various technically preferable limitations are given. However, the scope of the present invention is particularly limited in the following description. Unless otherwise stated, the present invention is not limited to these embodiments.

本発明の実施形態として、認識処理を実行し、また認識処理に用いる帳票を作成する情報処理装置(クライアントPC)について説明する。図3は、本実施形態のクライアントPCのハードウエア構成と、クライアントPCを含むシステムにおける動作を説明するための図である。   As an embodiment of the present invention, an information processing apparatus (client PC) that executes recognition processing and creates a form used for recognition processing will be described. FIG. 3 is a diagram for explaining a hardware configuration of the client PC according to the present embodiment and an operation in a system including the client PC.

図3(a)に示すように、本実施形態のクライアントPC100は、CPU110、ROM120、RAM130、HDDコントローラ140、HDD141、外部I/F150、入出力コントローラ160、マウス161、KB(キーボード)162、DSP(ディスプレイ)163を備え、各装置が内部バスに接続して構成される。ROM120には本実施形態特有の処理を実行するためのプログラムが格納されており、CPU110はそのプログラムを読み込んで本実施形態特有の処理を行う。すなわち、CPU110は、ROM120内のプログラムを読み込むことで、図1に示す各手段(比率変更手段12、取得手段13、サイズ変更手段14、認識手段15)を主記憶上に構成する。なお、入力手段11は外部I/Fに相当する。また、CPU110は、ROM120内のプログラムを読み込むことで、図2に示す各手段(取得手段21、生成手段22、編集手段23)を主記憶上に構成する。   As shown in FIG. 3A, the client PC 100 of this embodiment includes a CPU 110, a ROM 120, a RAM 130, an HDD controller 140, an HDD 141, an external I / F 150, an input / output controller 160, a mouse 161, a KB (keyboard) 162, and a DSP. A (display) 163 is provided, and each device is connected to an internal bus. The ROM 120 stores a program for executing processing specific to the present embodiment, and the CPU 110 reads the program and performs processing specific to the present embodiment. That is, the CPU 110 reads each program in the ROM 120 to configure each means (ratio changing means 12, obtaining means 13, size changing means 14, and recognizing means 15) shown in FIG. The input unit 11 corresponds to an external I / F. Further, the CPU 110 reads the program in the ROM 120 to configure each unit (acquisition unit 21, generation unit 22, and editing unit 23) illustrated in FIG. 2 on the main memory.

クライアントPCを含むシステムにおける動作について図3(b)を参照して説明する。クライアントPC100は、スキャナ等の画像読み取り機器400、プリンタ等の画像出力機器300と接続され、またネットワーク上のサーバ220や自装置の記憶領域210からデータを取得する。クライアントPC100は、上述したように、CPU110上に構成された各手段(入力手段11、比率変更手段12、取得手段13、サイズ変更手段14、認識手段15)により、帳票認識処理を行う。また、同じくCPU110上に構成された各手段(取得手段21、生成手段22、編集手段13)により、帳票作成処理を行う。   The operation in the system including the client PC will be described with reference to FIG. The client PC 100 is connected to an image reading device 400 such as a scanner and an image output device 300 such as a printer, and acquires data from the server 220 on the network and the storage area 210 of the own device. As described above, the client PC 100 performs a form recognition process by each means (input means 11, ratio change means 12, acquisition means 13, size change means 14, and recognition means 15) configured on the CPU 110. Similarly, a form creation process is performed by each means (acquiring means 21, generating means 22, editing means 13) configured on the CPU 110.

本実施形態における帳票作成処理及び帳票認識処理の概要について説明する。まず、帳票の作成にあたり、クライアントPC100は、取得手段21により、自装置の記憶領域210あるいはネットワーク上のサーバ220からパーツデータ1を取得する((1))。そして、生成手段22は、取得したパーツデータ1をワープロソフトや画像編集ソフト上で貼り合せて帳票データを生成する((2))。帳票データ生成の段階で、編集手段23により、データの編集を適宜行う。そして、クライアントPC100は帳票データ2を画像出力機器300に送出し、画像出力機器300は記録紙等に画像を出力して帳票3を作成する((3))。帳票記入者500は未記入の帳票に記入を行う((4))。   An outline of the form creation process and the form recognition process in this embodiment will be described. First, in creating a form, the client PC 100 acquires the part data 1 from the storage area 210 of the own device or the server 220 on the network by the acquisition unit 21 ((1)). Then, the generation unit 22 generates form data by pasting the acquired part data 1 on word processor software or image editing software ((2)). At the stage of form data generation, the editing unit 23 edits the data as appropriate. Then, the client PC 100 sends the form data 2 to the image output device 300, and the image output device 300 outputs the image on a recording sheet or the like to create the form 3 ((3)). The form filler 500 fills in a blank form ((4)).

次に、帳票の認識に際して、画像読み取り機器400は、記入済み帳票4を読み取って記入済み帳票データ5(記入済み帳票の画像データ)を取得し、クライアントPC100に送出する((5))。クライアントPC100は、入力手段11により記入済み帳票データ5を画像読み取り機器400から入力し、取得手段13により、記入済み帳票データ5内の識別コードを読み取って、認識処理に必要な処理情報6を自装置の記憶領域210あるいはネットワーク上のサーバ220から取得する((6))。識別コードの読み取りに際して、比率変更手段12は、必要に応じて、読み取り可能な比率に識別コードの比率を変更する。そして、サイズ変更手段14は、処理情報6を用いて、記入欄(認識対象領域)のサイズを認識処理可能なサイズに変更し、認識手段15は、サイズ変更された記入欄内の記入情報に対して認識処理を行う((7))。   Next, when recognizing the form, the image reading device 400 reads the completed form 4, acquires the completed form data 5 (image data of the completed form), and sends it to the client PC 100 ((5)). The client PC 100 inputs the completed form data 5 from the image reading device 400 by the input unit 11, reads the identification code in the completed form data 5 by the acquisition unit 13, and automatically acquires the processing information 6 necessary for the recognition process. Obtained from the storage area 210 of the device or the server 220 on the network ((6)). When reading the identification code, the ratio changing unit 12 changes the ratio of the identification code to a readable ratio as necessary. Then, the size changing means 14 uses the processing information 6 to change the size of the entry field (recognition target area) to a size that can be recognized, and the recognition means 15 uses the entry information in the entry field whose size has been changed. Then, recognition processing is performed ((7)).

本実施形態における帳票作成処理及び帳票認識処理についてさらに詳細に説明する。はじめに帳票作成処理について述べる。図4は、本実施形態における帳票作成処理の流れを示したフローチャートである。クライアントPC100の取得手段21は、ローカル記憶領域210あるいはサーバ220からパーツデータをロードする(ステップS101)。そして、ワープロソフトや画像編集ソフト上でパーツデータを貼り合せる(ステップS102)。パーツデータを貼り合せる際、編集手段23は、サイズや貼り付け位置を変更する。さらにパーツデータを貼り付ける場合(ステップS103/YES)は上記を繰り返す(ステップS101、ステップS102)。生成手段22は、帳票の設計を終了する場合(ステップS103/NO)はパーツデータの貼り付けを終了し、パーツデータを貼り付けて帳票データを生成する。そして、生成した生成した帳票データを記録紙等に出力する(ステップS104)。   The form creation process and form recognition process in the present embodiment will be described in more detail. First, the form creation process will be described. FIG. 4 is a flowchart showing the flow of the form creation process in the present embodiment. The acquisition unit 21 of the client PC 100 loads part data from the local storage area 210 or the server 220 (step S101). Then, the part data is pasted on word processor software or image editing software (step S102). When pasting part data, the editing means 23 changes the size and the pasting position. Further, when part data is pasted (step S103 / YES), the above is repeated (step S101, step S102). When the design of the form is finished (step S103 / NO), the generation unit 22 finishes the pasting of the part data, and creates the form data by pasting the part data. Then, the generated form data is output to a recording sheet or the like (step S104).

パーツデータは、例えば図6や図7に示すようなデータで、ビットマップからなる画像データであり、認識処理の対象領域である矩形、該矩形内の先頭(左端あるいは左上部分)に付されたQRコード、該矩形内の帳票記入者の記入領域(あらかじめ入力された文字や画像を含む)が1つのパッケージとして部品化されている。QRコードには、このパーツの設計情報や処理情報のファイルの保存先がリンク情報として保持されている。QRコードの容量が許せば、ファイルのリンク情報でなく、ファイルそのものを保持するようにすることもできる。また、識別コードとしては、もちろんバーコードを用いることもできるが、この場合QRコードよりもサイズが大きくなってしまう。パーツデータは、貼り付け位置を自在に変更することが可能で、また縦横サイズを自由に変更できる。さらに、図6に示すように、パーツデータの外側のみならず、画像データの上(矩形内部の領域)にも文字入力を行ってテキストデータを追加することが可能である。   The part data is, for example, data as shown in FIG. 6 or FIG. 7 and is image data including a bitmap. The part data is a rectangle that is a target area for recognition processing, and is attached to the top (left end or upper left part) of the rectangle The QR code and the entry area (including previously entered characters and images) of the form writer in the rectangle are formed as a single package. In the QR code, the storage location of the part design information and processing information file is held as link information. If the capacity of the QR code permits, the file itself can be held instead of the file link information. Of course, a bar code can be used as the identification code, but in this case, the size becomes larger than the QR code. For part data, the pasting position can be freely changed, and the vertical and horizontal sizes can be freely changed. Further, as shown in FIG. 6, it is possible to add text data by inputting characters not only on the outside of the part data but also on the image data (region inside the rectangle).

続いて帳票認識処理について述べる。図5は、本実施形態における帳票認識処理の流れを示したフローチャートである。クライアントPC100は、入力手段11により、画像読み取り機器400から記入済み帳票データを取得する(ステップS201)。次いで、クライアントPC100は、記入済み帳票データから矩形画像データを全て検出する(ステップS202)。未処理の矩形画像データがなくなるまで(ステップS203/YES)以下の処理を繰り返す。   Next, the form recognition process will be described. FIG. 5 is a flowchart showing the flow of the form recognition process in the present embodiment. The client PC 100 acquires completed form data from the image reading device 400 by the input unit 11 (step S201). Next, the client PC 100 detects all rectangular image data from the completed form data (step S202). The following processing is repeated until there is no unprocessed rectangular image data (step S203 / YES).

はじめに、クライアントPC100は、検出した矩形の画像データがパーツデータであるかの判別を行う(ステップS204)。例えば、矩形の画像データがパーツデータであるか否かは、矩形の4隅に設けられた白ドットの形状や大きさで判断するように構成してもよい(図6(a)参照)。その他種々の方法でパーツデータの判別を行うことができる。矩形データがパーツデータである場合、帳票認識機能110は、矩形画像データに付されたQRコードの検索を行う(ステップS205)。QRコードの検索は、矩形内の領域に対してコードのマスクパターンを走査することで行う(パターンマッチング)。   First, the client PC 100 determines whether the detected rectangular image data is part data (step S204). For example, whether or not the rectangular image data is part data may be determined based on the shape and size of white dots provided at the four corners of the rectangle (see FIG. 6A). Part data can be determined by various other methods. If the rectangular data is part data, the form recognition function 110 searches for a QR code attached to the rectangular image data (step S205). The search for the QR code is performed by scanning the mask pattern of the code in the area within the rectangle (pattern matching).

次いで、比率変更手段12は、検索されたQRコードが読み取り可能な比率か否かを判定する(ステップS206)。例えば、QRコードが読み取り可能な比率か否かは、QRコードを囲む矩形の罫線の比率を参照する。すなわち、縦罫線の太さと横罫線の太さが同一であるときのQRコードの縦横比率を読み取り可能な比率と判定する。その他種々の方法でQRコードの比率が読み取り可能なものかの判定を行うことができる。検索されたQRコードが読み取り可能な比率でない場合(ステップS206/NO)、比率変更手段12は、QRコードの比率を読み取り可能な比率に変更する(ステップS207)。そして、取得手段13は、比率変更後のQRコードを読み取って処理情報を取得する(ステップS208)。QRコードの比率が読み取り可能なものであった場合(ステップS206/YES)、取得手段13は、そのままQRコードを読み取って処理情報の取得を行う(ステップS208)。   Next, the ratio changing unit 12 determines whether or not the searched QR code is a readable ratio (step S206). For example, whether or not the QR code is a readable ratio refers to the ratio of rectangular ruled lines surrounding the QR code. That is, the vertical / horizontal ratio of the QR code when the thickness of the vertical ruled line and the thickness of the horizontal ruled line are the same is determined as a readable ratio. It is possible to determine whether the QR code ratio can be read by various other methods. If the retrieved QR code is not a readable ratio (step S206 / NO), the ratio changing unit 12 changes the ratio of the QR code to a readable ratio (step S207). Then, the acquisition unit 13 acquires the processing information by reading the QR code after the ratio change (step S208). If the QR code ratio is readable (step S206 / YES), the acquisition unit 13 reads the QR code as it is to acquire processing information (step S208).

処理情報は、認識処理の対象となる矩形領域の位置(座標値)、サイズ(縦幅や横幅)、処理の仕方(どの領域をどのOCRで処理するか等の情報)、認識結果の出力内容(記入内容をどのように出力するか等の情報)等が含まれる。上述したように、QRコードには、処理情報のファイル保存先のリンク情報が保持されているが、データ容量が許せばファイル自体を保持するように構成することもできる。   The processing information includes the position (coordinate value), size (vertical width and horizontal width), the processing method (information such as which OCR is to be processed), and the output result of the recognition result. (Information on how to output the entry contents) and the like. As described above, the QR code holds the link information of the file storage destination of the processing information, but it can be configured to hold the file itself if the data capacity permits.

続いて、サイズ変更手段14は、取得した処理情報から位置情報やサイズ情報を抽出し、パーツデータの矩形が認識処理可能な位置及びサイズかを判定する(ステップS209)。認識処理可能な位置及びサイズでない場合(ステップS209/NO)、サイズ変更手段14は、処理情報の位置やサイズに基づいて矩形データのサイズを変更し、矩形データの位置を調整する(ステップS210)。そして、認識手段15は、矩形内の記入内容として表された画像データの認識処理を行う(ステップS211)。矩形が認識処理可能な位置及びサイズである場合(ステップS209/YES)、認識手段15は、サイズや位置の調整を行わずにそのまま記入内容の認識処理を行う(ステップS211)。   Subsequently, the size changing unit 14 extracts position information and size information from the acquired processing information, and determines whether the rectangle of the part data is a position and a size that can be recognized (step S209). If the position and size are not recognizable (step S209 / NO), the size changing unit 14 changes the size of the rectangular data based on the position and size of the processing information and adjusts the position of the rectangular data (step S210). . Then, the recognizing unit 15 performs a process of recognizing the image data represented as the entry content in the rectangle (step S211). If the rectangle has a position and size that can be recognized (step S209 / YES), the recognizing means 15 performs the process of recognizing the content as it is without adjusting the size or position (step S211).

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。   The above-described embodiment is a preferred embodiment of the present invention, and the scope of the present invention is not limited to the above-described embodiment alone, and various modifications are made without departing from the gist of the present invention. Implementation is possible.

すなわち、本実施形態におけるクライアントPCで実行されるプログラムは、先に述べた各手段(比率変更手段12、取得手段13、サイズ変更手段14、認識手段15、取得手段21、生成手段22、編集手段23)を含むモジュール構成となっており、実際のハードウエアを用いて具体的手段を実現する。すなわち、コンピュータ(CPU)が所定の記録媒体からプログラムを読み出して実行することにより上記各手段が主記憶装置上にロードされて生成される。   That is, the program executed on the client PC in the present embodiment includes the above-described units (ratio changing unit 12, acquiring unit 13, size changing unit 14, recognizing unit 15, acquiring unit 21, generating unit 22, editing unit). 23), and a specific means is realized by using actual hardware. That is, when the computer (CPU) reads a program from a predetermined recording medium and executes it, the above-mentioned means are loaded onto the main storage device and generated.

本実施形態におけるクライアントPCで実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。   The program executed on the client PC in the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.

また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ROM等にあらかじめ組み込んで提供するように構成してもよい。   The program is a file in an installable or executable format, such as a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD, nonvolatile memory card, or the like. It may be configured to be provided by being recorded on a computer-readable recording medium. Further, the program may be provided by being incorporated in advance in a ROM or the like.

この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。   In this case, the program code itself read from the recording medium or loaded and executed through the communication line realizes the functions of the above-described embodiments. And the recording medium which recorded the program code comprises this invention.

10,20 情報処理装置
11 入力手段
12 比率変更手段
13 取得手段
14 サイズ変更手段
15 認識手段
21 取得手段
22 生成手段
23 編集手段
40 記憶手段
100 クライアントPC
110 CPU
120 ROM
130 RAM
140 HDDコントローラ
141 HDD
150 外部I/F
160 入出力コントローラ
161 マウス
162 KB
163 DSP
210 クライアントPC記憶領域
220 サーバ
300 画像出力機器
400 画像読み取り機器
500 帳票記入者
DESCRIPTION OF SYMBOLS 10, 20 Information processing apparatus 11 Input means 12 Ratio change means 13 Acquisition means 14 Size change means 15 Recognition means 21 Acquisition means 22 Generation means 23 Editing means 40 Storage means 100 Client PC
110 CPU
120 ROM
130 RAM
140 HDD controller 141 HDD
150 External I / F
160 I / O controller 161 Mouse 162 KB
163 DSP
210 Client PC Storage Area 220 Server 300 Image Output Device 400 Image Reading Device 500 Form Filler

特開平5−342239号公報JP-A-5-342239 特許第3614252号公報Japanese Patent No. 3614252

Claims (10)

原稿の記入欄に記入された記入情報の認識処理を実行する情報処理装置であって、
前記記入欄は、該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードを有しており、
前記原稿の画像データを入力する入力手段と、
入力された前記画像データに含まれる前記識別コードに基づいて前記基本サイズ情報を取得する取得手段と、
取得された前記基本サイズ情報を用いて認識対象領域のサイズを変更するサイズ変更手段と、
サイズが変更された前記認識対象領域に対して認識処理を実行する認識手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus for performing recognition processing of entry information entered in an entry column of a manuscript,
The entry field has an identification code for obtaining basic size information indicating the basic size of the entry field,
Input means for inputting image data of the original;
Obtaining means for obtaining the basic size information based on the identification code included in the input image data;
A size changing means for changing the size of the recognition target area using the acquired basic size information;
Recognition means for performing recognition processing on the recognition target area whose size has been changed;
An information processing apparatus comprising:
入力された前記画像データに含まれる前記識別コードについて、前記基本サイズ情報の取得に必要なコード読み取りが可能な比率に変更する比率変更手段を有することを特徴とする請求項1に記載の情報処理装置。   2. The information processing according to claim 1, further comprising: a ratio changing unit that changes the identification code included in the input image data to a ratio that enables reading of the code necessary for obtaining the basic size information. apparatus. 前記比率変更手段は、前記識別コードを有する前記記入欄を構成する罫線の太さの比率を求め、前記罫線比率を用いて前記識別コードの比率変更を行うことを特徴とする請求項2に記載の情報処理装置。   3. The ratio change unit obtains a ratio of thicknesses of ruled lines constituting the entry field having the identification code, and changes the ratio of the identification codes using the ruled line ratio. Information processing device. 記入欄に記入された記入情報の認識処理に用いられる原稿を作成する情報処理装置であって、
前記記入欄及び該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードが含まれる画像データを記憶手段から取得する取得手段と、
取得された前記画像データを用いて原稿データを生成する生成手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus for creating a manuscript used for recognition processing of entry information entered in an entry field,
Acquisition means for acquiring image data including an identification code for acquiring the entry field and basic size information indicating the basic size of the entry field;
Generating means for generating document data using the acquired image data;
An information processing apparatus comprising:
前記画像データについてサイズの変更や文字データの追加入力を行う編集手段を有することを特徴とする請求項4に記載の情報処理装置。   The information processing apparatus according to claim 4, further comprising an editing unit that changes a size of the image data and additionally inputs character data. 原稿の記入欄に記入された記入情報の認識処理を実行するためのプログラムであって、
前記記入欄は、該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードを有しており、前記原稿の画像データが入力された場合、
コンピュータに、
入力された前記画像データに含まれる前記識別コードに基づいて前記基本サイズ情報を取得する取得機能と、
取得された前記基本サイズ情報を用いて認識対象領域のサイズを変更するサイズ変更機能と、
サイズが変更された前記認識対象領域に対して認識処理を実行する認識機能と、
を実行させることを特徴とするプログラム。
A program for executing recognition processing of information entered in the entry column of a manuscript,
The entry field has an identification code for acquiring basic size information indicating the basic size of the entry field, and when image data of the original is input,
On the computer,
An acquisition function for acquiring the basic size information based on the identification code included in the input image data;
A size changing function for changing the size of the recognition target area using the acquired basic size information;
A recognition function for performing recognition processing on the recognition target area whose size has been changed;
A program characterized by having executed.
入力された前記画像データに含まれる前記識別コードについて、前記基本サイズ情報の取得に必要なコード読み取りが可能な比率に変更する比率変更機能をコンピュータに実行させることを特徴とする請求項6に記載のプログラム。   7. The computer according to claim 6, wherein the computer executes a ratio changing function for changing the identification code included in the input image data to a ratio at which the code necessary for obtaining the basic size information can be read. Program. 前記比率変更機能は、前記識別コードを有する前記記入欄を構成する罫線の太さの比率を求め、前記罫線比率を用いて前記識別コードの比率変更を行うことを特徴とする請求項7に記載のプログラム。   8. The ratio changing function obtains a ratio of thicknesses of ruled lines constituting the entry column having the identification code, and changes the ratio of the identification codes using the ruled line ratio. Program. 記入欄に記入された記入情報の認識処理に用いられる原稿を作成するためのプログラムであって、
コンピュータに、
前記記入欄及び該記入欄の基本サイズを示す基本サイズ情報を取得するための識別コードが含まれる画像データを記憶手段から取得する取得機能と、
取得された前記画像データを用いて原稿データを生成する生成機能と、
を実行させることを特徴とするプログラム。
A program for creating a manuscript used for recognition processing of information entered in an entry field,
On the computer,
An acquisition function for acquiring from the storage means image data including an identification code for acquiring the entry size and basic size information indicating the basic size of the entry column;
A generation function for generating document data using the acquired image data;
A program characterized by having executed.
前記画像データについてサイズの変更や文字データの追加入力を行う編集機能をコンピュータに実行させることを特徴とする請求項9に記載のプログラム。   The program according to claim 9, causing the computer to execute an editing function for changing the size of the image data and additionally inputting character data.
JP2009016502A 2009-01-28 2009-01-28 Information processing apparatus and program Expired - Fee Related JP5343584B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009016502A JP5343584B2 (en) 2009-01-28 2009-01-28 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009016502A JP5343584B2 (en) 2009-01-28 2009-01-28 Information processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2010176267A true JP2010176267A (en) 2010-08-12
JP5343584B2 JP5343584B2 (en) 2013-11-13

Family

ID=42707211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009016502A Expired - Fee Related JP5343584B2 (en) 2009-01-28 2009-01-28 Information processing apparatus and program

Country Status (1)

Country Link
JP (1) JP5343584B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415566B2 (en) 2020-01-07 2024-01-17 富士フイルムビジネスイノベーション株式会社 Information processing device, image reading device, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03126187A (en) * 1989-10-11 1991-05-29 Nec Corp Optical character reader
JPH05274470A (en) * 1992-03-25 1993-10-22 Toshiba Corp Optical character reader
JP2002304597A (en) * 2001-04-04 2002-10-18 Sakana Ryutsu Net:Kk System for recognizing handwritten numeric information entered in container box
JP2004164376A (en) * 2002-11-14 2004-06-10 Fujitsu Ltd Identification-code-attached form, form reading program, and form creation program
JP2007011801A (en) * 2005-06-30 2007-01-18 Canon Marketing Japan Inc Combination form preparing device, control method for combination form preparing device, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03126187A (en) * 1989-10-11 1991-05-29 Nec Corp Optical character reader
JPH05274470A (en) * 1992-03-25 1993-10-22 Toshiba Corp Optical character reader
JP2002304597A (en) * 2001-04-04 2002-10-18 Sakana Ryutsu Net:Kk System for recognizing handwritten numeric information entered in container box
JP2004164376A (en) * 2002-11-14 2004-06-10 Fujitsu Ltd Identification-code-attached form, form reading program, and form creation program
JP2007011801A (en) * 2005-06-30 2007-01-18 Canon Marketing Japan Inc Combination form preparing device, control method for combination form preparing device, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415566B2 (en) 2020-01-07 2024-01-17 富士フイルムビジネスイノベーション株式会社 Information processing device, image reading device, and program

Also Published As

Publication number Publication date
JP5343584B2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
JP5121599B2 (en) Image processing apparatus, image processing method, program thereof, and storage medium
JP4854491B2 (en) Image processing apparatus and control method thereof
JP2009122760A (en) Document processing apparatus, document processing method, and document processing program
JP2004265384A5 (en)
JP4785655B2 (en) Document processing apparatus and document processing method
JP6795195B2 (en) Character type estimation system, character type estimation method, and character type estimation program
JP2007141159A (en) Image processor, image processing method, and image processing program
JP6000992B2 (en) Document file generation apparatus and document file generation method
JP5950700B2 (en) Image processing apparatus, image processing method, and program
JP2008108114A (en) Document processor and document processing method
JP5020698B2 (en) Image processing apparatus, image processing method, and image processing program
JP5343584B2 (en) Information processing apparatus and program
JP2008282094A (en) Character recognition processing apparatus
JP2009223363A (en) Document processor and document processing program
JP2008027133A (en) Form processor, form processing method, program for executing form processing method, and recording medium
JP2002024838A (en) Image processing device and method, and recording medium
JP6194781B2 (en) Image processing apparatus and program
JP2010102734A (en) Image processor and program
JP2009182530A (en) Business processing execution support device
JP5724286B2 (en) Form creation device, form creation method, program
JP2005275830A (en) Form recognition method
JP6481204B2 (en) Information processing apparatus, processing method thereof, and program
JP2010146143A (en) Document processing apparatus and program
CN113065318B (en) Electronic point reading material manufacturing method and device, electronic equipment and storage medium
JP2005208934A (en) Document distribution processing device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

LAPS Cancellation because of no payment of annual fees