JP2017097859A - Information processing device, and processing method and program thereof - Google Patents

Information processing device, and processing method and program thereof Download PDF

Info

Publication number
JP2017097859A
JP2017097859A JP2016212535A JP2016212535A JP2017097859A JP 2017097859 A JP2017097859 A JP 2017097859A JP 2016212535 A JP2016212535 A JP 2016212535A JP 2016212535 A JP2016212535 A JP 2016212535A JP 2017097859 A JP2017097859 A JP 2017097859A
Authority
JP
Japan
Prior art keywords
imaging
error
recognition
information processing
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016212535A
Other languages
Japanese (ja)
Inventor
大 野呂
Masaru Noro
大 野呂
由季 親松
Yuki Chikamatsu
由季 親松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Publication of JP2017097859A publication Critical patent/JP2017097859A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a mechanism for suitably performing re-imaging after entry error check.SOLUTION: An information processing device provided with an imaging device acquires a document as electronic data by imaging the document by the imaging device. The information processing device manages document form definition information including a recognition area and a recognition condition of the document, and uses the recognition area and the recognition condition to determine whether contents entered in the recognition area included in the acquired electronic data are normal or erroneous. When determined to be erroneous, the information processing device displays a guide for expanding an area including the recognition area determined to be erroneous more than during imaging the document to image the area, and uses the guide to acquire the document as electronic data by causing the imaging device to image the document.SELECTED DRAWING: Figure 4

Description

本発明は、記入不備チェックを行うための情報処理装置と、その処理方法及びプログラムに関する。   The present invention relates to an information processing apparatus, a processing method, and a program for performing an entry defect check.

従来より、利用者端末から帳票サーバに帳票データを送信して、帳票サーバ側で記入内容に不備が無いかをチェックし、利用者端末にチェック結果を返す仕組みがある。   Conventionally, there is a mechanism in which form data is transmitted from a user terminal to a form server, the form server checks whether there are any deficiencies in the entered contents, and returns a check result to the user terminal.

特許文献1には、利用者端末から送信された帳票の記入内容の判定、オペレータの操作によるエラー修正、修正結果のメッセージを付与した処理結果の作成などの処理すべてを帳票サーバ側で行う電子処理システムの技術が記載されている。   Patent Document 1 discloses an electronic process that performs all processing on the form server side, such as determination of entry contents of a form transmitted from a user terminal, error correction by an operator's operation, and creation of a processing result with a correction result message. System technology is described.

特開平6−28275号公報JP-A-6-28275

しかし、特許文献1のシステム構成では、利用者端末から送信された帳票が記入内容の判定によりエラーとなった場合、帳票全体の記入内容を再送信しなければならないという課題がある。   However, the system configuration of Patent Document 1 has a problem that if the form transmitted from the user terminal has an error due to the determination of the entry contents, the entry contents of the entire form must be retransmitted.

そこで、本発明の目的は、記入不備チェック後における再撮像を好適に行う仕組みを提供することである。   Accordingly, an object of the present invention is to provide a mechanism for suitably performing re-imaging after a check for entry errors.

撮像装置を備える情報処理装置であって、帳票を前記撮像装置で撮像することにより電子データとして取込む取込手段と、前記帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する管理手段と、前記管理手段により管理されている認識領域と認識条件とを用いて、前記取込手段により取込まれた電子データに含まれる、前記認識領域に記入された内容が正常かエラーかを判定する記入不備判定手段と、前記記入不備判定手段によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示するガイド表示手段と、前記ガイド表示手段により表示されたガイドを用いて、前記帳票を前記撮像装置で撮像させることにより電子データとして取込む再取込手段とを備えることを特徴とする情報処理装置。   An information processing apparatus including an imaging device, which manages a form form definition information including a capturing unit that captures a form as electronic data by imaging the form with the imaging device, and a recognition area and a recognition condition of the form Whether the contents entered in the recognition area included in the electronic data captured by the capturing means are normal or error using the means, the recognition area managed by the management means, and the recognition conditions Defect entry determination means to be determined, and a guide for imaging an area including the recognition area determined to be the error larger than that at the time of imaging the form when an error is determined by the entry defect determination means. Using the guide display means to display and the guide displayed by the guide display means, the recapture is acquired as electronic data by imaging the form with the imaging device. The information processing apparatus characterized by comprising a means.

本発明によれば、記入不備チェック後における再撮像を好適に行う仕組みを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the mechanism which performs the re-imaging suitably after an entry defect check can be provided.

本発明の帳票システム100の構成の一例を示す図The figure which shows an example of a structure of the form system 100 of this invention. 情報処理装置101のハードウエア構成の一例を示す図The figure which shows an example of the hardware constitutions of the information processing apparatus 101 情報処理装置101の機能構成の一例を示すブロック図The block diagram which shows an example of a function structure of the information processing apparatus 101 帳票システム100における記入不備チェック処理の一例を示すフローチャートFlowchart showing an example of entry defect check processing in the form system 100 帳票システム100における全体記入不備チェック処理の一例を示すフローチャートThe flowchart which shows an example of the whole entry deficiency check process in the form system 100 帳票システム100における部分記入不備チェック処理の一例を示すフローチャートThe flowchart which shows an example of the partial incompleteness check process in the form system 100 情報処理装置101において表示する送信画像確認画面の一例を示す図The figure which shows an example of the transmission image confirmation screen displayed in the information processing apparatus 101 情報処理装置101において表示する記入不備チェック結果画面(記入不備なし)の一例を示す図The figure which shows an example of the incompleteness check result screen (no incompleteness of entry) displayed on the information processing apparatus 101 情報処理装置101において表示する記入不備チェック結果画面(記入不備あり)の一例を示す図The figure which shows an example of the incomplete entry check result screen (with incomplete entry) displayed in the information processing apparatus 101 情報処理装置101において表示する不備箇所再撮像画面の一例を示す図The figure which shows an example of the defect location re-imaging screen displayed in the information processing apparatus 101 帳票システム100において帳票フォームを管理するテーブルの一例を示す図The figure which shows an example of the table which manages the form form in the form system 100 帳票システム100においてフォームごとの記入不備チェック認識領域およびチェック方法を管理するテーブルの一例を示す図The figure which shows an example of the table which manages the deficiency check recognition area | region and check method for every form in the form system 100 帳票システム100における記入不備チェック処理の結果リストの一例を示す図The figure which shows an example of the result list of the incompleteness check process in the form system 100 第2の実施形態の帳票システム100における記入不備チェック処理の一例を示すフローチャートThe flowchart which shows an example of a deficiency check process in the form system 100 of 2nd Embodiment. 第2の実施形態の情報処理装置101において表示される警告メッセージの一例を示す図A figure showing an example of a warning message displayed in information processor 101 of a 2nd embodiment. 第3の実施形態の帳票システム100における記入不備チェック処理の一例を示すフローチャートThe flowchart which shows an example of the deficiency check process in the form system 100 of 3rd Embodiment. 第3の実施形態の情報処理装置101において表示する記入不備チェック結果画面(記入不備あり)の一例を示す図The figure which shows an example of the incomplete entry check result screen (with incomplete entry) displayed in the information processing apparatus 101 of 3rd Embodiment.

〔第1の実施形態〕
以下、図面を参照して本発明の実施形態を詳細に説明する。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1に示すように、本実施形態に帳票システム100は、情報処理装置101およびサーバ102が、ネットワーク103により通信可能に接続された構成をとる。
情報処理装置101は、カメラ等を用いて帳票の画像を取り込み、サーバ102に送信する。サーバ102は、受信した帳票画像の記入不備チェックするために必要な、記入内容の認識領域と認識条件を帳票フォーム識別情報(以下、フォームIDと記す)毎に管理している。
As shown in FIG. 1, the form system 100 according to the present embodiment has a configuration in which an information processing apparatus 101 and a server 102 are connected to be communicable via a network 103.
The information processing apparatus 101 captures a form image using a camera or the like and transmits it to the server 102. The server 102 manages, for each form form identification information (hereinafter referred to as “form ID”), a recognition area and recognition condition of the entry contents necessary for checking the incomplete entry of the received form image.

なお、この実施形態においては、サーバ102において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置101がサーバ102から認識領域と認識条件を受信し、情報処理装置101において記入不備チェックを行うとしてもよい。   In this embodiment, it is assumed that the server 102 performs an input defect check. However, the present invention is not limited to this, and the information processing apparatus 101 receives the recognition area and the recognition condition from the server 102, and the information processing apparatus 101 An incomplete entry check may be performed.

情報処理装置101は、携帯電話、スマートフォン、タブレット端末、ノートPC、およびPDA端末などの持ち運び可能な端末であって、ブラウザまたは帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク103を介して、サーバ102と通信可能である。
The information processing apparatus 101 is a portable terminal such as a mobile phone, a smartphone, a tablet terminal, a notebook PC, and a PDA terminal, and a browser or a form system application is installed on the information processing apparatus 101 via a network 103 by wireless communication. , And can communicate with the server 102.

以下、図2を用いて、図1に示した情報処理装置101に適用可能なハードウエア構成の一例について説明する。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ212には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な各種プログラム等が記憶されている。
Hereinafter, an example of a hardware configuration applicable to the information processing apparatus 101 illustrated in FIG. 1 will be described with reference to FIG.
In FIG. 2, reference numeral 201 denotes a CPU that comprehensively controls each device and controller connected to the system bus 204. Further, the ROM 203 or the external memory 212 is necessary to realize a BIOS (Basic Input / Output System) or an operating system program (hereinafter referred to as an OS), which is a control program of the CPU 201, or a function executed by each server or each PC. Various programs are stored.

202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ212からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   A RAM 202 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program or the like necessary for execution of processing from the ROM 203 or the external memory 212 to the RAM 202 and executing the loaded program.

また、205は入力コントローラで、タッチセンサ210からの入力を制御する。206はビデオコントローラで、ディスプレイ211等の表示器への表示を制御する。なお、図2では、ディスプレイ211と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置101のユーザが使用するものである。   An input controller 205 controls input from the touch sensor 210. A video controller 206 controls display on a display device such as the display 211. In FIG. 2, the display 211 is described, but the display may be not only a CRT but also other display such as a liquid crystal display. These are used by the user of the information processing apparatus 101 as necessary.

207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ212へのアクセスを制御する。   A memory controller 207 is provided in an external storage device (hard disk (HD)), a flexible disk (FD), or a PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, and the like. Controls access to an external memory 212 such as a compact flash (registered trademark) memory connected via an adapter.

208は通信I/Fコントローラで、ネットワーク103を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。   A communication I / F controller 208 is connected to and communicates with an external device via the network 103, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ211上での表示を可能としている。また、CPU201は、ディスプレイ211上のタッチセンサ210におけるユーザのタッチ操作指示を受付けることを可能とする。   Note that the CPU 201 enables display on the display 211 by, for example, executing outline font rasterization processing on a display information area in the RAM 202. In addition, the CPU 201 can accept a user's touch operation instruction on the touch sensor 210 on the display 211.

本発明を実現するための後述する各種プログラムや各種テーブルは、外部メモリ212に記録されており、必要に応じてRAM202にロードされ、CPU201によって実行されるものである。
209は撮像画像入力コントローラで、撮像画像入力処理部214を介してカメラ215からの入力を制御する。カメラ215から入力された撮像画像を認識し、撮像することが可能となっている。
Various programs and various tables to be described later for realizing the present invention are recorded in the external memory 212, loaded into the RAM 202 as necessary, and executed by the CPU 201.
A captured image input controller 209 controls input from the camera 215 via the captured image input processing unit 214. A captured image input from the camera 215 can be recognized and captured.

図3は、情報処理装置101とサーバ102の機能構成の一例を示すブロック図である。
取込部301は、帳票を撮像装置で撮像することにより電子データとして取込む機能部である。
管理部302は、帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する機能部である。
FIG. 3 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 101 and the server 102.
The capturing unit 301 is a functional unit that captures a form as electronic data by capturing an image with an imaging device.
The management unit 302 is a functional unit that manages form form definition information including a form recognition area and recognition conditions.

記入不備チェック部303は、管理部302により管理されている認識領域と認識条件とを用いて、取込部301により取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする機能部である。   The entry deficiency check unit 303 uses the recognition area and the recognition conditions managed by the management unit 302 to recognize the content entered in the recognition area included in the electronic data captured by the capture unit 301. It is a functional unit that checks whether or not the condition is met.

記入不備判定部307は、管理部302により管理されている認識領域と認識条件とを用いて、取込部301により取込まれた電子データに含まれる、認識領域に記入された内容が正常かエラーかを判定する機能部である。   The entry deficiency determination unit 307 uses the recognition area and the recognition conditions managed by the management unit 302 to check whether the contents entered in the recognition area included in the electronic data captured by the capture unit 301 are normal. It is a functional unit that determines whether there is an error.

ガイド表示部304は、記入不備チェック部303により認識条件に適合していないと判定された場合、当該認識条件に適合していないと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示する機能部である。   When it is determined by the incompleteness check unit 303 that the guide display unit 304 does not meet the recognition condition, the guide display unit 304 displays an area including the recognition region that is determined not to match the recognition condition from the time when the form is captured. Is a functional unit that displays a guide for enlarging and capturing an image.

ガイド表示部304は、記入不備チェック部303によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示する機能部である。
再取込部305は、ガイド表示部304により表示されたガイドを用いて、帳票を撮像装置で撮像させることにより電子データとして取込む機能部である。
管理部302は、認識領域をグループに分けて管理する機能部である。
When the entry deficiency check unit 303 determines that an error has occurred, the guide display unit 304 displays a guide for imaging an area including the recognition area determined to be the error larger than when the form is captured. It is a functional part.
The re-acquisition unit 305 is a functional unit that captures a form as electronic data by causing the imaging device to capture an image using the guide displayed by the guide display unit 304.
The management unit 302 is a functional unit that manages the recognition area in groups.

ガイド表示部304は、認識条件に適合していないと判定された認識領域が含まれるグループの認識領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示する機能部である。   The guide display unit 304 is a functional unit that displays a guide for capturing an image of a recognition region of a group including a recognition region that has been determined not to meet the recognition conditions, as compared to when capturing the form. .

記入不備チェック部303は、管理部302により管理されている認識領域のうち認識条件に適合していないと判定された認識領域が含まれるグループの認識領域を用いて、取込部301により取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする機能部である。   The deficiency check unit 303 uses the recognition area of the group including the recognition areas determined to be not conforming to the recognition conditions among the recognition areas managed by the management unit 302 to be captured by the capture unit 301. This is a functional unit that checks whether or not the contents entered in the recognition area included in the read electronic data match the recognition conditions.

記入不備チェック部303は、管理部302により管理されている認識領域のうち認識条件に適合していないと判定された認識領域が含まれるグループの認識領域を用いて、取込部301により取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする機能部である。   The deficiency check unit 303 uses the recognition area of the group including the recognition areas determined to be not conforming to the recognition conditions among the recognition areas managed by the management unit 302 to be captured by the capture unit 301. This is a functional unit that checks whether or not the contents entered in the recognition area included in the read electronic data match the recognition conditions.

記入不備判定部307は、管理部302により管理されている認識領域のうちエラーと判定された認識領域が含まれるグループの認識領域を用いて、取込部301により取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする機能部である。   The incomplete entry determination unit 307 is included in the electronic data captured by the capture unit 301 using the recognition region of the group including the recognition region determined to be an error among the recognition regions managed by the management unit 302. This is a functional unit that checks whether or not the content entered in the recognition area conforms to the recognition conditions.

指示受付部306は、記入不備チェック部303により認識条件に適合していないと判定された場合、当該認識条件に適合していないと判定された認識領域を含む領域を当該帳票の撮像時よりも拡大して撮像するか、または当該帳票の全体を撮像するか、の選択を受け付ける機能部である。   When it is determined by the entry defect check unit 303 that the recognition condition does not conform to the recognition condition, the instruction receiving unit 306 displays an area including the recognition region that is determined not to conform to the recognition condition than when the form is captured. This is a functional unit that accepts selection of whether to magnify and image or to image the entire form.

指示受付部306は、記入不備チェック部303によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を当該帳票の撮像時よりも拡大して撮像するか、または当該帳票の全体を撮像するか、の選択を受け付ける機能部である。   When it is determined that there is an error by the entry deficiency check unit 303, the instruction receiving unit 306 captures an image of an area including the recognition region determined to be the error larger than when the document is captured, or the entire document Is a functional unit that accepts selection of whether or not to pick up images.

デジタルズーム抑止部308は、ガイド表示部304により表示されたガイドを用いて、帳票を撮像装置で撮像するときに、撮像装置のデジタルズームを抑止する機能部である。
エラー種類決定部309は、記入不備判定部307によりエラーと判定された場合、当該エラーの種類を決定する機能部である。
再撮像方法決定部310は、エラー種類決定部309により決定されたエラーの種類に従って当該帳票の再撮像方法を決定する機能部である。
The digital zoom suppression unit 308 is a functional unit that suppresses digital zoom of the imaging device when the form is imaged by the imaging device using the guide displayed by the guide display unit 304.
The error type determination unit 309 is a functional unit that determines the type of error when it is determined as an error by the entry defect determination unit 307.
The re-imaging method determination unit 310 is a functional unit that determines the re-imaging method of the form according to the error type determined by the error type determination unit 309.

再撮像方法決定部310は、エラー種類決定部309により決定されたエラーの種類が記入漏れを示す場合、帳票の全体を再撮像する方法に決定し、エラー種類決定部309により決定されたエラーの種類が読取エラーを示す場合、当該エラーと判定された認識領域を含む領域を帳票の撮像時よりも拡大して再撮像する方法に決定すること機能部である。
When the error type determined by the error type determination unit 309 indicates omission, the re-imaging method determination unit 310 determines a method for re-imaging the entire form, and determines the error determined by the error type determination unit 309. When the type indicates a reading error, it is a functional unit that determines a method for enlarging and re-imaging the area including the recognition area determined to be the error more than when the form is imaged.

図4は、帳票システム100における記入不備チェック処理の一例を示すフローチャートである。
また、図8の記入不備チェック結果画面(記入不備なし)800は、情報処理装置101において表示する記入不備チェック結果画面の一例で、記入不備がないケースである。画面上部に「記入不備はありませんでした。」を表示し、その下に撮像した帳票画像を表示する。
FIG. 4 is a flowchart illustrating an example of an incomplete entry check process in the form system 100.
8 is an example of an incomplete entry check result screen displayed on the information processing apparatus 101, and is a case where there is no incomplete entry. “There was no incomplete entry” is displayed at the top of the screen, and the captured form image is displayed below it.

また、図9の記入不備チェック結果画面(記入不備あり)900は、情報処理装置101において表示する記入不備チェック結果画面の一例で、記入不備があるケースである。画面上部に「○箇所の記入不備があります。」を表示し、その下に撮像した帳票画像の記入不備箇所(902、903)を赤で塗りつぶした画像を表示する。   Further, the incomplete entry check result screen (with incomplete entry) 900 in FIG. 9 is an example of an incomplete entry check result screen displayed on the information processing apparatus 101, and is a case where there is an incomplete entry. “There is a missing entry in the circle” is displayed at the top of the screen, and an image in which the missing entry (902, 903) in the captured form image is filled with red is displayed below it.

なお、記入不備箇所902、903の表示は、赤による塗りつぶしに限定するものではなく、赤以外の色による塗りつぶし、枠による囲み、点滅、拡大、反転表示など、ユーザによる識別が可能となる表示であればよい。また、表示による識別方法に限定するものではなく、音声による記入不備箇所の読み上げなど音声による識別方法であってもよい。   It should be noted that the display of the defective places 902 and 903 is not limited to red filling, but can be identified by the user, such as filling with a color other than red, surrounding with a frame, blinking, enlargement, and reverse display. I just need it. Further, the identification method is not limited to the display method, and may be a voice identification method such as reading out an imperfect entry by voice.

また、図11は、帳票システム100において帳票フォームを管理するテーブルの一例を示す図である。フォームテーブル1100は、サーバ102の外部メモリ212に記憶され、サーバ102で管理する帳票フォームについて、「フォームID」「フォーム名」「フォーム画像のファイル名」を管理する。   FIG. 11 is a diagram showing an example of a table for managing a form form in the form system 100. The form table 1100 is stored in the external memory 212 of the server 102 and manages “form ID”, “form name”, and “form image file name” for the form managed by the server 102.

なお、フォームテーブル1100のレコードは、帳票システム100のシステム管理者が登録し、システム管理者がメンテナンス画面(不図示)を用いてメンテナンスを行う。具体的には、帳票フォームが新規作成された場合は、フォームテーブル1100に新規レコードを登録する。また、帳票のレイアウト変更や文言変更によってフォーム画像ファイルが変更された場合は、フォームテーブル1100のフォーム画像の値を変更後のフォーム画像ファイルに更新する。
The records in the form table 1100 are registered by the system administrator of the form system 100, and the system administrator performs maintenance using a maintenance screen (not shown). Specifically, when a new form is created, a new record is registered in the form table 1100. Further, when the form image file is changed due to a form layout change or wording change, the form image value in the form table 1100 is updated to the changed form image file.

図4の記入不備チェック処理について、説明する。
ステップS401において、情報処理装置101は、帳票システムのユーザによって行われる帳票システムへのログインを受け付ける。なお、この記入不備チェック処理において、ユーザインターフェースとなる帳票アプリケーションは、情報処理装置101にインストールされたアプリケーションであってもよいし、ブラウザに表示されるWebアプリケーションなどのアプリケーションであってもよい。
The incomplete entry check process in FIG. 4 will be described.
In step S401, the information processing apparatus 101 accepts a login to the form system performed by the user of the form system. It should be noted that the form application serving as the user interface in this incompleteness check process may be an application installed in the information processing apparatus 101 or an application such as a Web application displayed on the browser.

ステップS402において、情報処理装置101は、カメラ215を用いて記入不備チェックを行う記入済帳票を撮像し、撮像された画像(以下、撮像画像)を外部メモリ212に記憶する。すなわち、ステップS402は、帳票を撮像装置で撮像することにより電子データとして取込む処理の一例を示すステップである。なお、この実施形態においては、情報処理装置101のカメラ215を用いて撮像画像を得るとしたが、デジタルカメラなどを用いて撮像された画像やスキャナーなどを用いてスキャンされた画像を情報処理装置101に取り込むとしてもよい。   In step S <b> 402, the information processing apparatus 101 captures a filled-out form for performing an incompleteness check using the camera 215, and stores the captured image (hereinafter referred to as a captured image) in the external memory 212. That is, step S402 is a step showing an example of processing for capturing a form as electronic data by imaging a form with an imaging device. In this embodiment, the captured image is obtained using the camera 215 of the information processing apparatus 101. However, the information processing apparatus displays an image captured using a digital camera or an image scanned using a scanner. 101 may be taken in.

ステップS403において、情報処理装置101は、変数「フォームID」=NULL、変数「グループID」=“0”とし、RAM202に記憶する。なお、「グループID」は、帳票を再撮像した場合、帳票のどの部分を拡大して再撮像されたかを示す変数である。
ステップS404において、情報処理装置101は、「撮像画像」「フォームID」「グループID」をサーバ102に送信する。
In step S <b> 403, the information processing apparatus 101 sets the variable “form ID” = NULL and the variable “group ID” = “0”, and stores them in the RAM 202. The “group ID” is a variable indicating which part of the form is enlarged and re-imaged when the form is re-imaged.
In step S <b> 404, the information processing apparatus 101 transmits “captured image”, “form ID”, and “group ID” to the server 102.

具体的には、サーバ102に送信する前に、情報処理装置101は、送信画像確認画面700(図7)を表示し、送信ボタン704の押下を受け付けると、「撮像画像701」「フォームID」「グループID」を送信する。なお、この実施例においては、筆圧が弱い、撮像時に光が反射してきれいに撮像できなかった等の理由によって、記入内容が不鮮明と判定されてしまう箇所があったとする(図7の702、703)。   Specifically, before transmitting to the server 102, the information processing apparatus 101 displays the transmission image confirmation screen 700 (FIG. 7), and upon accepting pressing of the transmission button 704, “captured image 701” “form ID”. “Group ID” is transmitted. In this embodiment, it is assumed that there is a place where the entry content is determined to be unclear due to low writing pressure, light being reflected at the time of imaging, or the like (see 702 in FIG. 7). 703).

なお、後述するステップS422またはステップS424の次にこのステップS404を実行する場合は、後述するステップS421またはステップS423にて再撮像した撮像画像を送信するため、撮像画像の「フォームID」は後述するステップS407にて特定されている。よって、「フォームID」にはステップS413にて受信した記入不備チェック結果リストに含まれる「フォームID」の値を設定してサーバ102に送信する。   Note that when executing step S404 after step S422 or step S424 described later, the captured image re-imaged in step S421 or step S423 described later is transmitted, and the “form ID” of the captured image will be described later. It is specified in step S407. Therefore, the “form ID” is set to the value of “form ID” included in the entry deficiency check result list received in step S 413 and transmitted to the server 102.

ステップS405において、サーバ102は、「撮像画像」「フォームID」「グループID」を受信する。なお、後述するステップS422で説明するが、再撮像を複数回行った場合、「グループID」はリスト形式の場合もある。   In step S <b> 405, the server 102 receives “captured image”, “form ID”, and “group ID”. As will be described later in step S422, when the re-imaging is performed a plurality of times, the “group ID” may be in a list format.

ステップS406において、サーバ102は、グループIDの値を判定し、“0”の場合はステップS407に進み、“0”以外の場合はステップS409に進む。   In step S406, the server 102 determines the value of the group ID. If “0”, the process proceeds to step S407, and if other than “0”, the process proceeds to step S409.

ステップS407において、サーバ102は、撮像画像の帳票のフォームIDを特定する。具体的には、フォームテーブル1100の全レコードを検索し、「フォーム画像」カラムに記憶されているファイルパスを用いて外部メモリ212から取り出したフォーム画像と撮像画像とを比較することで、記入不備チェックを行う帳票フォームのフォームIDを特定する。外部メモリ212から取り出したフォーム画像と撮像画像を比較し、所定の値以上の割合で画像が一致した場合、撮像画像は外部メモリ212から取り出したフォーム画像の帳票フォームであると判定し、撮像した帳票のフォームIDは、画像比較で一致したフォーム画像に対応するフォームIDであると特定する。   In step S407, the server 102 specifies the form ID of the form of the captured image. Specifically, all the records in the form table 1100 are searched, and the form image taken out from the external memory 212 using the file path stored in the “form image” column is compared with the captured image, so that there is an incomplete entry. Specify the form ID of the form to be checked. The form image taken out from the external memory 212 is compared with the picked-up image, and when the images match at a rate equal to or greater than a predetermined value, the picked-up image is determined to be a form form of the form image taken out from the external memory 212 and picked up The form ID of the form is specified as the form ID corresponding to the form image matched in the image comparison.

なお、この画像比較に用いる2つの画像は未加工のまま画像を比較してよいし、画像比較の精度を上げるために、輪郭を抽出するなどの画像加工を施した後に画像比較を行うとしてもよい。   Note that the two images used for this image comparison may be compared with each other without being processed, or in order to increase the accuracy of the image comparison, image comparison may be performed after image processing such as extracting contours. Good.

なお、この実施形態においては、撮像画像とサーバ102で管理するフォーム画像とを比較することで、記入不備チェックを行う帳票フォームの特定を行ったが、この方法に限定するものではなく、フォームIDを示すバーコードや番号を帳票に記しておき、撮像時の読み取りまたは撮像画像の解析から帳票のフォームIDを特定する方法などであってもよい。本実施例においては、撮像画像からフォームID=FORM01の「ショッピングクレジット申込書」が特定されたとする。   In this embodiment, the form form to be checked for deficiencies is identified by comparing the captured image with the form image managed by the server 102. However, the present invention is not limited to this method. A method of identifying the form ID of the form from reading at the time of imaging or analysis of the captured image may be used. In the present embodiment, it is assumed that “shopping credit application form” of form ID = FORM01 is specified from the captured image.

ステップS408において、サーバ102は、全体記入不備チェック処理(図5)を行う。すなわち、ステップS408は、認識領域と認識条件とを用いて、取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする処理の一例を示すステップである。また、ステップS408は、認識領域と認識条件とを用いて、取込まれた電子データに含まれる、認識領域に記入された内容が正常かエラーかを判定する処理の一例を示すステップである。
ここで、図5について説明しておく。
In step S408, the server 102 performs an overall entry deficiency check process (FIG. 5). That is, step S408 is an example of a process for checking whether the contents written in the recognition area included in the captured electronic data match the recognition condition using the recognition area and the recognition condition. It is a step which shows. Step S408 is a step showing an example of processing for determining whether the content written in the recognition area included in the captured electronic data is normal or error by using the recognition area and the recognition condition.
Here, FIG. 5 will be described.

図5は、帳票システム100における全体記入不備チェック処理の一例を示すフローチャートである。
また、図12は、帳票システム100においてフォームごとの記入不備チェック認識領域およびチェック方法を管理するフォーム定義テーブルの一例を示す図である。フォーム定義テーブル1200は、サーバ102の外部メモリ212に記憶され、「フォームID」「(複数の認識領域をまとめたグループを識別する)グループID」「(記入不備チェックにおいて認識領域を識別する)チェックID」「(記入不備チェックの)認識条件」「(認識領域の)起点座標(X、Y))」と「終点座標(X、Y)」を管理する。すなわち、フォーム定義テーブル1200は、帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する手段の一例である。
FIG. 5 is a flowchart showing an example of the entire entry deficiency check process in the form system 100.
FIG. 12 is a diagram showing an example of a form definition table for managing the entry defect check recognition area and the check method for each form in the form system 100. The form definition table 1200 is stored in the external memory 212 of the server 102, and checks “form ID” “identifies a group in which a plurality of recognition areas are grouped” ”“ identifies a recognition area in a check for filling in errors ”. “ID” “recognition condition (incomplete entry check)” “starting point coordinate (X, Y))” and “end point coordinate (X, Y)” are managed. In other words, the form definition table 1200 is an example of means for managing the form form definition information including the form recognition area and the recognition conditions.

なお、この実施形態においては、サーバ102においてフォームテーブル1100およびフォーム定義テーブル1200を管理し、サーバ102において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置101においてフォームテーブル1100およびフォーム定義テーブル1200を管理し、情報処理装置101において記入不備チェックを行うとしてもよい。
In this embodiment, the server 102 manages the form table 1100 and the form definition table 1200, and the server 102 performs an incomplete entry check. However, the present invention is not limited to this, and the information processing apparatus 101 uses the form table. 1100 and the form definition table 1200 may be managed, and the information processing apparatus 101 may perform an incomplete entry check.

図5の全体記入不備チェック処理について説明する。
ステップS501において、サーバ102は、ステップS407にて特定された「フォームID」を検索キーとして、フォーム定義テーブル1200を検索し、フォーム定義情報リストを取得する。
ステップS502において、サーバ102は、変数iに1を代入し、RAM202に記憶する。
The entire entry defect check process of FIG. 5 will be described.
In step S501, the server 102 searches the form definition table 1200 using the “form ID” specified in step S407 as a search key, and acquires a form definition information list.
In step S <b> 502, the server 102 assigns 1 to the variable i and stores it in the RAM 202.

ステップS503において、サーバ102は、ステップS501にて取得したフォーム定義情報リストのレコード数だけ、ステップS504〜ステップS509を繰り返す。   In step S503, the server 102 repeats steps S504 to S509 for the number of records in the form definition information list acquired in step S501.

ステップS504において、サーバ102は、フォーム定義情報リストのi番目のレコードから、認識領域の起点(X座標、Y座標)と終点(X座標、Y座標)と認識条件を取得する。   In step S504, the server 102 acquires the start point (X coordinate, Y coordinate) and end point (X coordinate, Y coordinate) and the recognition condition of the recognition area from the i-th record in the form definition information list.

ステップS505において、サーバ102は、取得した認識条件の値について判定する。認識条件=“必須”の場合はステップS506に進み、認識条件=“丸囲み”の場合はステップS507に進む。   In step S505, the server 102 determines the acquired recognition condition value. If the recognition condition = “essential”, the process proceeds to step S506, and if the recognition condition = “circle”, the process proceeds to step S507.

ステップS506において、サーバ102は、撮像画像の認識領域が記入必須項目に該当するため、文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“OK”と判定しステップS509に進み、文字や記号が記入されていない場合は“NG”と判定しステップS508に進む。なお、この判定処理は、OCR等による解析技術を用いるが、既知の技術であるため説明を省略する。   In step S506, the server 102 determines whether characters or symbols are entered because the recognition area of the captured image corresponds to a mandatory entry item. If a character or symbol is entered, it is determined as “OK” and the process proceeds to step S509. If a character or symbol is not entered, it is determined as “NG” and the process proceeds to step S508. This determination process uses an analysis technique using OCR or the like, but since it is a known technique, a description thereof will be omitted.

ステップS507において、サーバ102は、撮像画像の認識領域が複数の選択肢のうち1つを丸印で囲む項目に該当するため、丸印が記入されているか否かを判定する。丸印が記入されている場合は“OK”と判定しステップS509に進み、丸印が記入されていない場合は“NG”と判定しステップS508に進む。なお、この判定処理は、OMR等による解析技術を用いるが、既知の技術であるため説明を省略する。なお、本実施例では丸印の有無を判定しているが、丸印に限定するものではなく、レ点やその他の図形などの判定であってもよい。   In step S507, since the recognition area of the captured image corresponds to an item in which one of a plurality of options is surrounded by a circle, the server 102 determines whether or not a circle is entered. If a circle is entered, it is determined as “OK” and the process proceeds to step S509. If a circle is not entered, it is determined as “NG” and the process proceeds to step S508. This determination process uses an analysis technique based on OMR or the like, but the description is omitted because it is a known technique. In this embodiment, the presence / absence of a circle is determined. However, the present invention is not limited to a circle, and a check of a check mark or other figure may be used.

なお、上記において、丸印の数を「1つ」としたが、「1つ」に限定するものではなく、フォーム定義テーブル1200に、「チェック上限数」や「チェック数」などのカラムを設け、丸印の数が「チェック上限数」を超えた場合は“NG”、丸印の数が「チェック数」以外の場合は“NG”と判定するとしてもよい。   In the above, the number of circles is “1”, but the number is not limited to “1”, and columns such as “the upper limit number of checks” and “the number of checks” are provided in the form definition table 1200. If the number of circles exceeds the “maximum number of checks”, “NG” may be determined, and if the number of circles is other than “check number”, “NG” may be determined.

なお、この実施形態においては、認識条件は、“必須”および“丸囲み”の2種類としたが、これに限定するものではなく、“桁数”や“文字属性”などとしてもよい。その場合、フォーム定義テーブル1200に「桁数」カラムを設け、記入された文字が許可された桁数であれば“OK”、許可されていない桁数であれば“NG”と判定するとしてもよい。   In this embodiment, the recognition conditions are two types of “required” and “circled”. However, the recognition conditions are not limited to this, and may be “number of digits” or “character attribute”. In that case, a “number of digits” column may be provided in the form definition table 1200, and “OK” may be determined if the entered character is the permitted number of digits, and “NG” if the number is not permitted. Good.

また、フォーム定義テーブル1200に「文字属性」カラムを設け、記入された文字の属性、例えば「数字」「ひらがな」「カタカナ」「英数字」などによって、“OK”または“NG”と判定するとしてもよい。
また、OCR等による解析結果で、記入された文字を認識できなかった場合、“NG”と判定するとしてもよい。
Further, it is assumed that a “character attribute” column is provided in the form definition table 1200, and “OK” or “NG” is determined based on the attribute of the entered character, for example, “number”, “hiragana”, “katakana”, “alphanumeric”. Also good.
Further, if the entered character cannot be recognized as a result of analysis by OCR or the like, it may be determined as “NG”.

また、認識領域が認識条件に適合しているかの判定結果は、“OK”および“NG”の2つに限定するものではなく、“矛盾”、“不鮮明”、“認識不可”などの値を持つとしてもよい。   In addition, the determination result of whether the recognition area conforms to the recognition condition is not limited to “OK” and “NG”, and values such as “Contradiction”, “Unclear”, “Unrecognizable”, etc. You may have it.

ステップS508において、サーバ102は、記入不備チェック結果リスト1300(図13)にフォーム定義情報リストのi番目のレコードを挿入する。図13の記入不備チェック結果リスト1300は、記入不備チェックの結果=“NG”となったフォーム定義情報レコードを要素に持つリストである。   In step S508, the server 102 inserts the i-th record of the form definition information list into the entry defect check result list 1300 (FIG. 13). The entry defect check result list 1300 in FIG. 13 is a list having, as elements, form definition information records in which the entry defect check result = “NG”.

なお、記入不備チェック結果リスト1300には、図13のように「エラー詳細」項目を持ち、“必須”、“丸囲み”、“矛盾”、“不鮮明”、“認識不可”など、記入不備チェックの結果=“NG”と判定された理由を記録する。「エラー詳細」=NULLであるレコード1303、1304については、ステップS411の説明にて後述する。
ステップS509において、サーバ102は、変数iの値をインクリメントする。
The entry deficiency check result list 1300 has an “error details” item as shown in FIG. 13 and checks entry deficiencies such as “required”, “circled”, “contradiction”, “unclear”, “unrecognizable”, etc. The reason why it is determined that “NG” is “NG” is recorded. The records 1303 and 1304 in which “error details” = NULL will be described later in the description of step S411.
In step S509, the server 102 increments the value of the variable i.

ステップS510において、ステップS501にて取得したフォーム定義情報リストのレコードが残っている場合、ステップS504〜ステップS509を繰り返す。   In step S510, when the record of the form definition information list acquired in step S501 remains, step S504 to step S509 are repeated.

以上で、図5の全体記入不備チェック処理の説明を終了する。図5の全体記入不備チェック処理によって、記入不備チェック結果リスト1300には、記入不備チェックの結果=“NG”となったフォーム定義情報レコードが登録されていることになる。
This is the end of the description of the entire entry incompleteness check process in FIG. By the entire entry defect check process of FIG. 5, the form definition information record in which the entry defect check result = “NG” is registered in the entry defect check result list 1300.

図4の記入不備チェック処理の説明に戻る。
ステップS409において、サーバ102は、部分記入不備チェック処理(図6)を行う。すなわち、ステップS409は、認識領域と認識条件とを用いて、取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする処理の一例を示すステップである。また、ステップS409は、認識領域のうち認識条件に適合していないと判定された認識領域が含まれるグループの認識領域を用いて、取込まれた電子データに含まれる、認識領域に記入された内容が、認識条件に適合しているか否かをチェックする処理の一例を示すステップである。ここで、図6について説明しておく。
Returning to the description of the entry defect check process in FIG.
In step S409, the server 102 performs partial entry defect check processing (FIG. 6). That is, step S409 is an example of a process for checking whether the content entered in the recognition area included in the captured electronic data matches the recognition condition using the recognition area and the recognition condition. It is a step which shows. Further, step S409 is entered in the recognition area included in the captured electronic data, using the recognition area of the group including the recognition area determined to not meet the recognition conditions among the recognition areas. It is a step which shows an example of the process which checks whether the content is adapted to recognition conditions. Here, FIG. 6 will be described.

図6は、帳票システム100における部分記入不備チェック処理の一例を示すフローチャートである。図5の全体記入不備チェック処理のフローチャートを部分記入不備チェック処理用に置き換え、図5のステップと同じ処理については、同じステップ番号を付与し説明を省略する。図6の処理により、再撮像された部分帳票の記入不備チェックを行う。
ステップS601において、サーバ102は、ステップS405にて取得した「グループID」の数だけ、ステップS602〜ステップS510を繰り返す。
FIG. 6 is a flowchart illustrating an example of the partial entry defect check process in the form system 100. The flowchart of the whole entry deficiency check process in FIG. 5 is replaced with the partial entry deficiency check process, and the same process as the step in FIG. By the processing of FIG. 6, the entry defect check of the re-imaged partial form is performed.
In step S601, the server 102 repeats steps S602 to S510 as many times as the number of “group IDs” acquired in step S405.

ステップS602において、サーバ102は、ステップS405にて受信した「フォームID」と、ステップS601で対象とした「グループID」を検索キーとして、フォーム定義テーブル1200を検索し、フォーム定義情報リストを取得する。
以降のステップS502〜ステップS510は、図5の説明と同様である。
In step S602, the server 102 searches the form definition table 1200 using the “form ID” received in step S405 and the “group ID” targeted in step S601 as a search key, and acquires a form definition information list. .
The subsequent steps S502 to S510 are the same as those in FIG.

ただし、ステップS506〜ステップS507の認識領域は、撮像画像に含まれるガイド枠画像からの距離に従って決定する。具体的には、グループID=1の認識領域を拡大した撮像画像の場合、撮像画像に含まれるガイド枠に囲まれた矩形は、フォーム定義テーブル1200のレコード1201から起点座標(100、100)と終点座標(450、300)の2点を対角とする矩形であると捉えることができる。   However, the recognition areas in steps S506 to S507 are determined according to the distance from the guide frame image included in the captured image. Specifically, in the case of a captured image obtained by enlarging the recognition area of group ID = 1, the rectangle surrounded by the guide frame included in the captured image is the origin coordinates (100, 100) from the record 1201 of the form definition table 1200. It can be understood that the rectangle has two end point coordinates (450, 300) as diagonals.

また、ガイド枠に囲まれた矩形の大きさがヨコ=3500ピクセル、タテ=2000ピクセルであって、グループID=1、チェックID=8のチェックを行う場合、認識領域はフォーム定義テーブル1200のレコード1203から起点座標(225、250)と終点座標(350、300)であるため、ステップS506の認識領域は、ガイド枠に囲まれた矩形画像の左上から、
起点((225−100)*3500/(450−100)、(250−100)*2000/(300−100)=(1250ピクセル、1500ピクセル)、
終点((350−100)*3500/(450−100)、(300−100)*2000/(300−100)=(2500ピクセル、2000ピクセル)
の距離だけ離れた2点を対角とする矩形となる。
Further, when the size of the rectangle surrounded by the guide frame is horizontal = 3500 pixels and vertical = 2000 pixels, and the group ID = 1 and the check ID = 8 are checked, the recognition area is a record of the form definition table 1200. Since the start point coordinates (225, 250) and end point coordinates (350, 300) from 1203, the recognition area in step S506 is from the upper left of the rectangular image surrounded by the guide frame.
Origin ((225-100) * 3500 / (450-100), (250-100) * 2000 / (300-100) = (1250 pixels, 1500 pixels),
End point ((350-100) * 3500 / (450-100), (300-100) * 2000 / (300-100) = (2500 pixels, 2000 pixels)
This is a rectangle with two points diagonally separated by a distance of.

これにより、再撮像された画像を受信した102サーバが、帳票のどの部分が拡大された画像なのかを特定できず、記入内容の判定ができないという課題を解決することができる。つまり、帳票のどの部分が拡大された画像なのかを特定することができるため、再撮像された画像を用いて、記入不備チェックを行うことができるようになる。   This can solve the problem that the 102 server that has received the re-captured image cannot identify which part of the form is an enlarged image and cannot determine the contents of entry. In other words, since it is possible to specify which part of the form is an enlarged image, it is possible to perform a check for deficiencies using the re-captured image.

なお、この実施形態においては、拡大して再撮像された撮像画像に含まれるガイド枠画像からの距離に従って認識領域を決定するとしたが、これに限定するものではなく、例えば、再撮像時の拡大率を記憶しておき、その拡大率を用いて認識領域を決定する方法、認識領域のグループで再撮像するのではなく、不備箇所のみを再撮像しその再撮像画像全体を認識領域とする方法などであってもよい。   In this embodiment, the recognition area is determined according to the distance from the guide frame image included in the enlarged and re-captured captured image. However, the present invention is not limited to this. A method for storing a rate and determining a recognition area using the enlargement rate, and a method for re-imaging only a deficient part and using the entire re-captured image as a recognition area, instead of re-imaging with a group of recognition areas It may be.

ステップS506において、サーバ102は、撮像画像の認識領域が記入必須項目に該当するため、文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“OK”と判定しステップS509に進み、文字や記号が記入されていない場合は“NG”と判定しステップS508に進む。なお、この判定処理は、OCR等による解析技術を用いるが、既知の技術であるため説明を省略する。   In step S506, the server 102 determines whether characters or symbols are entered because the recognition area of the captured image corresponds to a mandatory entry item. If a character or symbol is entered, it is determined as “OK” and the process proceeds to step S509. If a character or symbol is not entered, it is determined as “NG” and the process proceeds to step S508. This determination process uses an analysis technique using OCR or the like, but since it is a known technique, a description thereof will be omitted.

以上で、図6の部分記入不備チェック処理の説明を終了する。図6の部分記入不備チェック処理によって、再撮像された部分帳票の記入不備チェックを行い、記入不備チェック結果リスト1300には、再撮像された部分帳票の記入不備チェックの結果=“NG”となったフォーム定義情報レコードが登録されていることになる。図4の記入不備チェック処理の説明に戻る。   This is the end of the description of the partial entry deficiency check process of FIG. The incompleteness check of the re-imaged partial form is performed by the partial incompleteness check process of FIG. 6, and the incompleteness check result list 1300 shows the result of the incompleteness check of the re-imaged partial form = “NG”. Form definition information record is registered. Returning to the description of the entry defect check process in FIG.

ステップS410において、サーバ102は、後述するステップS420にて再撮像するために必要となるガイド枠座標を取得する。具体的には、ステップS405にて受信したまたはステップS407にて特定した「フォームID」と、ステップS408またはステップS409にて生成した記入不備チェック結果リスト1300に含まれる「グループID」と、「チェックID」=NULLとを検索キーとして、フォーム定義テーブル1200を検索し、認識領域グループの座標を取得する。   In step S410, the server 102 acquires guide frame coordinates necessary for re-imaging in step S420 described later. Specifically, the “form ID” received in step S405 or specified in step S407, the “group ID” included in the entry defect check result list 1300 generated in step S408 or step S409, and “check” The form definition table 1200 is searched using “ID” = NULL as a search key, and the coordinates of the recognition area group are acquired.

ここでは、「フォームID」=“FORM01“と、図13の記入不備チェック結果リスト1300から「グループID」=1,2と、「チェックID」=NULLとを検索キーとして、フォーム定義テーブル1200を検索することで、フォーム定義レコード1201および1202を取得する。   Here, the form definition table 1200 is searched using “form ID” = “FORM01”, “group ID” = 1, 2 and “check ID” = NULL from the incomplete check result list 1300 of FIG. By searching, form definition records 1201 and 1202 are acquired.

ステップS411において、サーバ102は、ステップS410にて取得したガイド枠座標を記入不備チェック結果リスト1300に追加する。ここでは、ステップS410にて取得したフォーム定義レコード1201および1202を、記入不備チェック結果リスト1300に追加する(1303と1304)。
ステップS412において、サーバ102は、記入不備チェック結果リスト1300を情報処理装置101に送信する。
ステップS413において、情報処理装置101は、記入不備チェック結果リスト1300を受信する。
In step S411, the server 102 adds the guide frame coordinates acquired in step S410 to the entry defect check result list 1300. Here, the form definition records 1201 and 1202 acquired in step S410 are added to the entry defect check result list 1300 (1303 and 1304).
In step S <b> 412, the server 102 transmits the entry defect check result list 1300 to the information processing apparatus 101.
In step S413, the information processing apparatus 101 receives the entry defect check result list 1300.

ステップS414において、情報処理装置101は、記入不備チェックにて不備が検出されたか否かを判定する。具体的には、記入不備チェック結果リスト1300にレコードが存在するか否かによって判定する。不備が無いと判定された場合はステップS415に進み、不備が有ると判定された場合はステップS416に進む。   In step S414, the information processing apparatus 101 determines whether or not deficiencies are detected in the entry deficiency check. Specifically, the determination is made based on whether or not a record exists in the entry defect check result list 1300. If it is determined that there is no deficiency, the process proceeds to step S415. If it is determined that there is a deficiency, the process proceeds to step S416.

ステップS415において、情報処理装置101は、記入不備チェック結果画面(記入不備なし)800(図8)を表示する。具体的には、ステップS402にて撮像した撮像画像801をディスプレイ211に表示し、「記入不備はありませんでした。」のメッセージを重畳させ、図4の記入不備チェック処理を終了する。   In step S415, the information processing apparatus 101 displays an entry defect check result screen (no entry defect) 800 (FIG. 8). Specifically, the captured image 801 captured in step S402 is displayed on the display 211, and a message “No deficiency in entry” is superimposed, and the deficiency check process in FIG. 4 is terminated.

ステップS416において、情報処理装置101は、記入不備チェック結果画面(記入不備あり)900(図9)を表示する。具体的には、ステップS402にて撮像した撮像画像901をディスプレイ211に表示し、「記入不備があります。」のメッセージを重畳させ、記入不備領域を識別して表示する(図9の902、903)。なお、記入不備領域の識別表示は、ステップS413で取得した記入不備チェック結果リスト1300にレコード(1301、1302)から、「認識領域」の起点座標(X、Y)と終点座標(X、Y)を取得し、その2点を対角とする矩形を撮像画像上に描き、赤く塗りつぶすことで行う。これにより、記入不備のあった領域を識別可能に表示することができる。   In step S416, the information processing apparatus 101 displays an incomplete entry check result screen (with incomplete entry) 900 (FIG. 9). Specifically, the captured image 901 captured in step S402 is displayed on the display 211, and a message “There is an entry defect” is superimposed to identify and display the entry defect area (902 and 903 in FIG. 9). ). It should be noted that the identification deficient area is identified from the entry deficiency check result list 1300 acquired in step S413 from the records (1301, 1302) from the start point coordinates (X, Y) and end point coordinates (X, Y) of the “recognition area”. This is done by drawing a rectangle with the two diagonals on the captured image and painting it in red. As a result, it is possible to display an area in which entry is incomplete in an identifiable manner.

また、記入不備チェック結果画面(記入不備あり)900には、「全体を再撮像するボタン904」と「不備箇所のみ再撮像するボタン905」を表示し、記入不備チェックの内容によって、ユーザが再撮像の方法を選択できるようにする。   In addition, the entry deficiency check result screen (with entry deficiency) 900 displays a “button for reimaging the whole 904” and a “button for reimaging only the deficient part 905”. Enable to select the imaging method.

ステップS417において、情報処理装置101は、ユーザによる操作を受け付ける。「全体を再撮像するボタン904」が押下された場合はステップS423に進み、「不備箇所のみ再撮像するボタン905」場合はステップS418に進む。   In step S417, the information processing apparatus 101 receives an operation by the user. When the “button for re-imaging the whole 904” is pressed, the process proceeds to step S423, and when the “button for re-imaging only the defective portion 905” is selected, the process proceeds to step S418.

すなわち、ステップS417は、認識条件に適合していないと判定された場合、当該認識条件に適合していないと判定された認識領域を含む領域を帳票の撮像時よりも拡大して撮像するか、または帳票の全体を撮像するか、の選択を受け付ける処理の一例を示すステップである。また、ステップS417は、エラーと判定された場合、当該エラーと判定された認識領域を含む領域を帳票の撮像時よりも拡大して撮像するか、または帳票の全体を撮像するか、の選択を受け付ける処理の一例を示すステップである。   That is, if it is determined in step S417 that the recognition condition is not met, the area including the recognition area that is determined not to meet the recognition condition is imaged in a larger size than when the form is imaged. Or it is a step which shows an example of the process which receives selection of whether the whole form is imaged. Further, when it is determined that an error has occurred, step S417 selects whether to magnify the area including the recognition area determined to be the error as compared to when capturing the form or to capture the entire form. It is a step which shows an example of the process to accept.

具体的には、誤記など帳票への記入内容が原因でエラーが発生したとユーザが判断した場合、記入内容を修正した後、ユーザは「全体を再撮像するボタン904」を押下する。撮像画像が不鮮明であることが原因でエラーが発生した、つまり拡大して再撮像すればエラーは解消されるとユーザが判断した場合、ユーザは「不備箇所のみ再撮像するボタン905」を押下する。これにより、帳票を再撮像する場合、上記のようにエラー部分を拡大して再撮像するか、エラー部分を記入し直したため帳票全体を再撮像するか、をユーザが自由に選択できないという課題を解決することができる。   Specifically, when the user determines that an error has occurred due to the entry content in the form such as an error, the user presses a “button for re-imaging the whole” 904 after correcting the entry content. If an error has occurred due to the unclear image, that is, if the user determines that the error will be resolved if the image is enlarged and re-imaged, the user presses the “button 905 for re-imaging only the defective portion” . As a result, when re-imaging the form, there is a problem that the user cannot freely select whether to re-image by enlarging the error part as described above or re-imaging the entire form because the error part has been rewritten. Can be solved.

なお、この実施形態においては、「全体を再撮像する」か「不備箇所のみ再撮像する」かをユーザが選択するとしたが、これに限定するものではなく、記入不備チェック結果リスト1300の「エラー詳細」の値が“必須”、“丸囲み”、“矛盾”の場合は、誤記など記入内容がエラーの原因と捉え、帳票を修正するようメッセージを表示して全体を再撮像させ、「エラー詳細」の値が“不鮮明”、“認識不可”の場合は、撮像がエラーの原因と捉え、不備箇所のみを拡大して再撮像させるなど、記入不備チェック結果リスト1300に含まれる値に従って、情報処理装置101が「全体を再撮像する」か「不備箇所のみ再撮像する」かを決定するとしてもよい。   In this embodiment, the user selects “re-image the whole” or “re-image only the deficient part”. However, the present invention is not limited to this, and “Error” in the entry deficiency check result list 1300 is not limited to this. If the value of “Detail” is “Mandatory”, “Circle”, or “Contradiction”, the entry content such as typographical errors is regarded as the cause of the error, a message is displayed to correct the form, and the entire image is re-imaged. When the value of “detail” is “unclear” or “unrecognizable”, the imaging is considered to be the cause of the error, and only the incomplete part is enlarged and re-imaged. The processing apparatus 101 may determine whether to “re-image the entire image” or “re-image only the defective part”.

ステップS418において、情報処理装置101は、不備のあった認識領域グループの数だけ、ステップS419〜ステップS421を繰り返すグループの数だけ、ステップS419〜ステップS421を繰り返す。具体的には、ステップS413にて受信した記入不備チェック結果リスト1300に含まれる重複を省いた「グループID」の個数だけ繰り返す。ここでは、図13の記入不備チェック結果リスト1300のレコード1301、1302から、「グループID」={1,2}の2つであるため、「グループID」=1と2について、ステップS419〜ステップS421をそれぞれ行う。   In step S418, the information processing apparatus 101 repeats step S419 to step S421 as many times as there are deficient recognition area groups and equal to the number of groups in which steps S419 to S421 are repeated. Specifically, the process is repeated for the number of “group IDs” that are not included in the entry defect check result list 1300 received in step S413. Here, since there are two “group IDs” = {1, 2} from the records 1301 and 1302 of the entry defect check result list 1300 in FIG. 13, Steps S419 to S4 are performed for “Group ID” = 1 and 2. S421 is performed.

ステップS419において、情報処理装置101は、不備箇所再撮像画面(図10)を表示する。具体的には、「グループID」=1の場合は、不備箇所再撮像画面1010を表示し、「グループID」=2の場合は、不備箇所再撮像画面1020を表示する。   In step S419, the information processing apparatus 101 displays a defective part re-imaging screen (FIG. 10). Specifically, when “Group ID” = 1, the defective part re-imaging screen 1010 is displayed, and when “Group ID” = 2, the defective part re-imaging screen 1020 is displayed.

ステップS420において、情報処理装置101は、記入不備のあった記入領域グループのみを再撮像するためのガイド枠1011または1021を表示する。すなわち、ステップS420は、認識条件に適合していないと判定された場合、当該認識条件に適合していないと判定された認識領域を含む領域を、帳票の撮像時よりも拡大して撮像するためのガイドを表示する処理の一例を示すステップである。また、ステップS420は、エラーと判定された場合、当該エラーと判定された認識領域を含む領域を、帳票の撮像時よりも拡大して撮像するためのガイドを表示する処理の一例を示すステップである。   In step S420, the information processing apparatus 101 displays a guide frame 1011 or 1021 for re-imaging only the entry area group in which entry is incomplete. That is, when it is determined in step S420 that the recognition condition is not met, an area including the recognition area that is determined not to meet the recognition condition is captured in an enlarged manner compared to the time when the form is captured. It is a step which shows an example of the process which displays this guide. Step S420 is a step showing an example of a process for displaying a guide for capturing an image of an area including a recognition area determined to be an error larger than that at the time of image capturing when it is determined as an error. is there.

また、ステップS420は、認識条件に適合していないと判定された認識領域が含まれるグループの認識領域を、帳票の撮像時よりも拡大して撮像するためのガイドを表示する処理の一例を示すステップである。また、ステップS420はエラーと判定された認識領域が含まれるグループの認識領域を、帳票の撮像時よりも拡大して撮像するためのガイドを表示する処理の一例を示すステップである。   Further, step S420 shows an example of processing for displaying a guide for capturing an image of the recognition area of the group including the recognition area determined to not meet the recognition condition, as compared with the time of capturing the form. It is a step. Further, step S420 is a step showing an example of a process for displaying a guide for capturing an image of the recognition area of the group including the recognition area determined to be an error larger than when capturing the form.

なお、このガイド枠は、ステップS413にて受信した記入不備チェック結果リスト1300に含まれる「チェックID」=NULLのレコード(1303、1304)の起点座標(X、Y)と終点座標(X、Y)の縦横比率を保持したまま、ディスプレイ211に収まる程度に拡大して表示する。これにより、ユーザは帳票をどの部分をどの程度拡大して再撮像すればよいかわからないという課題を解決することができる。   Note that this guide frame includes the start point coordinates (X, Y) and end point coordinates (X, Y) of the “check ID” = NULL records (1303, 1304) included in the entry defect check result list 1300 received in step S413. ) While maintaining the aspect ratio of (), the image is enlarged so as to fit in the display 211. This can solve the problem that the user does not know which part of the form should be enlarged and re-imaged.

例えば、「グループID」=1の場合は、記入不備チェック結果リスト1300のレコード1303の起点座標(100、100)と終点座標(450、300)の縦横比率を保持したまま、ディスプレイ211に収まる程度に拡大して、不備箇所再撮像画面1010にガイド枠1011を表示する。また、「グループID」=2の場合は、記入不備チェック結果リスト1300のレコード1304の起点座標(100、400)と終点座標(450、700)の縦横比率を保持したまま、ディスプレイ211に収まる程度に拡大して、不備箇所再撮像画面1010にガイド枠1021を表示する。   For example, when “group ID” = 1, the aspect ratio of the start point coordinates (100, 100) and end point coordinates (450, 300) of the record 1303 of the entry deficiency check result list 1300 is maintained and can be accommodated on the display 211. The guide frame 1011 is displayed on the defective portion re-imaging screen 1010. In addition, when “group ID” = 2, the aspect ratio of the start point coordinates (100, 400) and end point coordinates (450, 700) of the record 1304 of the entry defect check result list 1300 is maintained and can be accommodated on the display 211. The guide frame 1021 is displayed on the defective part re-imaging screen 1010.

なお、図10の不備箇所再撮像画面1010または不備箇所再撮像画面1020に表示されている帳票の画像は、カメラ215が捉えた帳票の画像をリアルタイムに表示したものである。   Note that the image of the form displayed on the defective portion re-imaging screen 1010 or the defective portion re-imaging screen 1020 in FIG. 10 is an image of the form captured by the camera 215 displayed in real time.

ステップS421において、情報処理装置101は、ユーザによる再撮像ボタン1013または1023の押下を受け付け、不備箇所を含む認識領域グループを再撮像する。すなわち、ステップS421は、表示されたガイドを用いて、帳票を撮像装置で撮像させることにより電子データとして取込む処理の一例を示すステップである。   In step S <b> 421, the information processing apparatus 101 accepts pressing of the re-imaging button 1013 or 1023 by the user, and re-images the recognition area group including the defective part. That is, step S421 is a step showing an example of processing for capturing a form as electronic data by causing the imaging device to capture an image using the displayed guide.

また、再撮像は、ステップS420にて表示したガイド枠も含めて撮像する。これにより、利用者端末から送信された帳票が記入内容の判定によりエラーとなった場合、帳票全体の記入内容を再送信しなければならないという課題を解決することができる。また、そのエラーが送信された帳票画像が不鮮明なため発生したエラーの場合、再送信したとしても同じエラーが再度発生してしまうという課題も解決することができる。   The re-imaging is performed including the guide frame displayed in step S420. Thereby, when the form transmitted from the user terminal becomes an error due to the determination of the entry contents, it is possible to solve the problem that the entry contents of the entire form must be retransmitted. Further, in the case of an error that occurs because the form image to which the error is transmitted is unclear, the problem that the same error occurs again even if it is retransmitted can be solved.

なお、この実施形態においては、ユーザによる再撮像ボタンの押下に従って再撮像するとしたが、これに限定するものではなく、例えば、カメラ215が捉えた帳票の画像を解析し、不備箇所を含む認識領域グループがガイド枠内に収まったと判定したことをトリガーにして、情報処理装置101が再撮像する方法や、帳票に認識領域グループ毎にマークを印刷しておき、カメラ215が捉えた帳票の画像を解析し、そのマークの大きさを測定することによって、不備箇所を含む認識領域グループが所定の大きさに拡大されたと判定したことをトリガーにして、情報処理装置101が再撮像する方法などの方法であってもよい。
不備のあった認識領域グループの数だけ、ステップS419〜ステップS421を繰り返す。
In this embodiment, re-imaging is performed according to the user pressing the re-imaging button. However, the present invention is not limited to this. For example, the image of the form captured by the camera 215 is analyzed, and a recognition area including a defective portion is detected. Using the determination that the group is within the guide frame as a trigger, the information processing apparatus 101 re-images the image, or prints a mark for each recognition area group on the form, and captures the form image captured by the camera 215. A method such as a method in which the information processing apparatus 101 re-images triggered by determining that the recognition area group including the defective portion has been enlarged to a predetermined size by analyzing and measuring the size of the mark It may be.
Steps S419 to S421 are repeated by the number of defective recognition area groups.

ステップS422において、情報処理装置101は、グループIDに再撮像したグループIDのリストを設定する。例えば、再撮像した「グループID」={1,2}の場合は、グループID={1,2}となる。
ステップS423において、情報処理装置101は、帳票全体を再撮像する(不図示)。
ステップS424において、情報処理装置101は、グループID=“0”を設定する。
以上で、図4の記入不備チェック処理の説明を終了する。
In step S422, the information processing apparatus 101 sets a list of group IDs that have been re-imaged as the group ID. For example, in the case of “group ID” = {1,2} obtained by re-imaging, the group ID = {1,2}.
In step S423, the information processing apparatus 101 re-images the entire form (not shown).
In step S424, the information processing apparatus 101 sets group ID = “0”.
This is the end of the description of the entry defect check process in FIG.

なお、この実施形態においては、不備箇所を含む認識領域グループを再撮像するとしたが、これに限定するものではなく、不備箇所のみを再撮像する方法、不備箇所を含む認識領域グループを再撮像するが不備箇所の認識領域のみにトリミングする方法などであってもよい。   In this embodiment, it is assumed that the recognition region group including the defective portion is re-imaged. However, the present invention is not limited to this. A method of re-imaging only the defective portion, and a re-image of the recognition region group including the defective portion. However, a method of trimming only the recognition area of the defective part may be used.

以上により、利用者端末から送信された帳票が記入内容の判定によりエラーとなった場合、帳票全体の記入内容を再送信しなければならないという課題を解決することができ、記入不備チェック後における再撮像を好適に行う仕組みを提供することができる。
As described above, when the form sent from the user terminal has an error due to the determination of the entry contents, the problem that the entry contents of the entire form must be retransmitted can be solved. A mechanism for suitably performing imaging can be provided.

〔第2の実施形態〕
第1の実施形態は、帳票の撮像時よりも拡大して撮像するためのガイドを表示することにより、記入不備チェック後における再撮像を好適に行う仕組みであり、第2の実施形態は、その拡大撮像の際にデジタルズームを抑止する仕組みである。これにより、撮像画像が不鮮明であることが原因でエラーが発生した場合に、デジタルズームを使って拡大して撮像することによる、同様のエラーの繰り返しを防ぐことができる。
図14〜図15を用いて、第2の実施形態について説明する。
[Second Embodiment]
The first embodiment is a mechanism that favorably performs re-imaging after an entry deficiency check by displaying a guide for capturing an image larger than when capturing a form, and the second embodiment This is a mechanism that suppresses digital zoom during magnified imaging. Thereby, when an error occurs due to the unclearness of the captured image, it is possible to prevent the same error from being repeated by enlarging the image using the digital zoom.
The second embodiment will be described with reference to FIGS.

図14は、第2の実施形態の帳票システム100における記入不備チェック処理の一例を示すフローチャートである。なお、図14は、第1の実施形態における図4のフローチャートを第2の実施形態に置き換えたフローチャートであり、第1の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。   FIG. 14 is a flowchart illustrating an example of an entry defect check process in the form system 100 according to the second embodiment. FIG. 14 is a flowchart in which the flowchart of FIG. 4 in the first embodiment is replaced with the second embodiment. The same process as the step in the first embodiment is assigned the same step number and the description is given. Omitted.

ステップS1401において、情報処理装置101は、撮像時のデジタルズーム機能を抑止する。すなわち、ステップS1401は、表示されたガイドを用いて、帳票を撮像装置で撮像するときに、撮像装置のデジタルズームの利用を抑止する処理の一例を示すステップである。   In step S1401, the information processing apparatus 101 suppresses the digital zoom function during imaging. That is, step S1401 is a step illustrating an example of processing for suppressing the use of the digital zoom of the imaging device when the form is imaged by the imaging device using the displayed guide.

具体的には、この後のステップS421(図14)の不備箇所の再撮像は、ステップS420(図14)にて表示したガイド枠に不備箇所を含む認識領域グループが収まるようにしてユーザが撮像するが、その際、デジタルズーム機能を用いて撮像されたのでは、撮像画像が不鮮明であることが原因で発生したエラーが解消されない。   Specifically, the subsequent re-imaging at step S421 (FIG. 14) is performed by the user so that the recognition area group including the deficient portion is included in the guide frame displayed at step S420 (FIG. 14). However, at that time, if the image is captured using the digital zoom function, an error caused by the unclearness of the captured image cannot be resolved.

これにより、デジタルズーム機能を用いて拡大するのではなく、光学ズーム機能を用いてまたは情報処理装置101自体を帳票に近づけて、拡大して撮像させることができる。つまり、撮像画像が不鮮明であることが原因でエラーが発生した場合に、デジタルズームを使って拡大して撮像することによる、同様のエラーの繰り返しを防ぐことができる。   As a result, the image can be enlarged and imaged by using the optical zoom function or by bringing the information processing apparatus 101 itself close to the form instead of using the digital zoom function. In other words, when an error occurs due to an unclear image, it is possible to prevent the same error from being repeated by enlarging and imaging using the digital zoom.

よって、ステップS421(図14)にて、不備箇所の再撮像を行う際に、ユーザがデジタルズーム機能を利用しようとした場合、警告メッセージ1500(図15)のようなメッセージを出力し、デジタルズーム機能を抑止する。   Therefore, in step S421 (FIG. 14), when the user tries to use the digital zoom function when re-imaging the defective portion, a message such as a warning message 1500 (FIG. 15) is output, and the digital zoom function is activated. Deter.

ステップS1402において、情報処理装置101は、デジタルズーム機能の抑止を解除する。これにより、撮像時にデジタルズーム機能が利用できるようになる。
In step S1402, the information processing apparatus 101 cancels the suppression of the digital zoom function. This makes it possible to use the digital zoom function during imaging.

〔第3の実施形態〕
第1の実施形態は、記入不備チェックの不備箇所の再撮像を好適に行う仕組みであり、第3の実施形態は、記入不備チェックにおけるエラーの種類に従って、エラーを解消するための方法で再撮像させる仕組みである。これにより、記入不備チェックにおけるエラーの種類に従って、エラーを解消するための方法で再撮像させることができる。
図16〜図17を用いて、第3の実施形態について説明する。
[Third Embodiment]
The first embodiment is a mechanism that suitably performs re-imaging of a deficiency portion of a deficiency check, and the third embodiment re-images by a method for eliminating an error according to the type of error in the deficiency check. It is a mechanism to make it. Thereby, according to the kind of error in an incomplete entry check, it can be made to re-image by the method for eliminating an error.
A third embodiment will be described with reference to FIGS.

図16は、第3の実施形態の帳票システム100における記入不備チェック処理の一例を示すフローチャートである。なお、図16は、第1の実施形態における図4のフローチャートを第3の実施形態に置き換えたフローチャートであり、第1の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。   FIG. 16 is a flowchart illustrating an example of an entry defect check process in the form system 100 according to the third embodiment. FIG. 16 is a flowchart in which the flowchart of FIG. 4 in the first embodiment is replaced with the third embodiment. The same processes as those in the steps of the first embodiment are denoted by the same step numbers and described. Omitted.

ステップS1601において、情報処理装置101は、再撮像ボタン1703(図17)の押下を受け付けると、ステップS413(図16)にて受信した記入不備チェック結果リスト1300に記入漏れエラーのレコードが存在するか否かを判定する。存在する場合はステップS418(図16)に進み、存在しない場合はステップS423(図16)に進む。   In step S1601, when the information processing apparatus 101 accepts pressing of the re-imaging button 1703 (FIG. 17), is there a record of an omission error in the entry defect check result list 1300 received in step S413 (FIG. 16)? Determine whether or not. When it exists, it progresses to step S418 (FIG. 16), and when it does not exist, it progresses to step S423 (FIG. 16).

すなわち、ステップS1601は、決定されたエラーの種類に従って当該帳票の再撮像方法を決定する処理の一例を示すステップである。また、ステップS1601は、決定されたエラーの種類が記入漏れを示す場合、帳票の全体を再撮像する方法に決定し、決定されたエラーの種類が読取エラーを示す場合、当該エラーと判定された認識領域を含む領域を帳票の撮像時よりも拡大して再撮像する方法に決定する処理の一例を示すステップである。   That is, step S1601 is a step showing an example of processing for determining a re-imaging method for the form according to the determined error type. In step S1601, when the determined error type indicates omission of entry, a method of re-imaging the entire form is determined, and when the determined error type indicates a reading error, the error is determined. It is a step showing an example of a process for determining a method for re-imaging by enlarging an area including a recognition area more than when capturing a form.

具体的には、記入不備チェック結果リスト1300に、「エラー詳細」=“必須”または“丸囲み”のレコードが存在する場合は、記入漏れエラーのレコードが存在すると捉え、「エラー詳細」=“必須”または“丸囲み”のレコードが存在しない場合は、記入漏れエラーのレコードが存在しないと捉える。   Specifically, if there is a record of “error details” = “required” or “circled” in the entry deficiency check result list 1300, it is assumed that there is a record of missing entry errors, and “error details” = “ If there is no “required” or “circled” record, it is considered that there is no record with an omission error.

また、ステップS506(図5および図6)またはステップS507(図5および図6)ではOCR等による解析技術を用いるが、撮像画像の不鮮明さだけでなく、文字や記号の潰れ、かすれ、重なり、用紙汚れ、ゴミ等が原因で、文字や記号を正しく読み取れず、“読取エラー”が発生することがある。その場合は、ステップS508に進み、記入不備チェック結果リスト1300に「エラー詳細」=“読取エラー”のレコードを登録する。すなわち、ステップS506およびステップS507は、エラーと判定された場合、当該エラーの種類を決定する処理の一例を示すステップである。   In step S506 (FIGS. 5 and 6) or S507 (FIGS. 5 and 6), an analysis technique using OCR or the like is used, but not only the captured image is unclear, but also characters and symbols are crushed, blurred, overlapped, Due to paper stains, dust, etc., characters and symbols may not be read correctly and a “reading error” may occur. In this case, the process proceeds to step S508, and a record of “error details” = “reading error” is registered in the entry defect check result list 1300. That is, step S506 and step S507 are steps showing an example of processing for determining the type of error when it is determined as an error.

つまり、この“読取エラー”はエラー箇所を拡大して再撮像すれば解消される可能性があるが、“記入漏れエラー“はエラー箇所を拡大して再撮像しても解消されない。つまり、“記入漏れエラー“は、帳票に記入または訂正してもらった後、エラー箇所を拡大して再撮像するのではなく、帳票全体を再撮像しなければならない。   That is, this “reading error” may be resolved if the error part is enlarged and re-imaged, but the “entry error” is not solved even if the error part is enlarged and re-imaged. In other words, after “entry omission error” is entered or corrected in the form, the entire part of the form must be re-imaged, not enlarged and re-imaged.

よって、記入不備チェック結果画面(記入不備あり)1700(図17)において、再撮像ボタン1703(図17)の押下を受け付けると、記入漏れエラー1702が存在する場合は帳票全体を再撮像し(図16のステップS423)、記入漏れエラー1702が存在せず、読取エラー1701のような(記入漏れエラー以外の)エラーが存在する場合は、エラー箇所を拡大して再撮像させる(図16のステップS421)。   Therefore, when the re-imaging button 1703 (FIG. 17) is received on the entry deficiency check result screen (with entry deficiency) 1700 (FIG. 17), if the entry omission error 1702 exists, the entire form is re-imaged (FIG. 17). 16 step S423), if there is no entry error 1702 and there is an error such as a reading error 1701 (other than entry error), the error part is enlarged and re-imaged (step S421 in FIG. 16). ).

これにより、撮像画像の不鮮明さ等が原因の読取時のエラーの場合は不備箇所を拡大して再撮像させ、記入漏れなど記入内容が原因のエラーの場合は帳票の記入者に記入または訂正してもらった後、帳票全体を再撮像することができる。   As a result, in the case of an error during reading due to unclearness of the captured image, etc., the defective part is enlarged and re-imaged, and in the case of an error caused by the entry content such as omission of entry, the form writer is filled in or corrected. After being received, the entire form can be re-imaged.

なお、本実施形態においては、読取エラーはエラー箇所の拡大再撮像、記入漏れエラーは帳票全体の再撮像としたが、これに限定するものではなく、例えば、文字や記号の潰れ、かすれ、重なりなど読取エラーの種類に従って、再撮像方法を変えても良い。また、再撮像してもエラーになってしまった場合、つまり“再撮像エラー”であることから異なる再撮像方法を用いて再撮像させてもよい。つまり、エラーの種類に従って、再撮像方法を変える仕組みであればよい。   In the present embodiment, the reading error is an enlarged re-imaging of the error part, and the omission error is the re-imaging of the entire form.However, the present invention is not limited to this. For example, characters, symbols are crushed, blurred, and overlapped. The re-imaging method may be changed according to the type of reading error. If an error occurs even after re-imaging, that is, a “re-imaging error”, re-imaging may be performed using a different re-imaging method. That is, any mechanism that changes the re-imaging method according to the type of error may be used.

また、本実施形態においては、再撮像方法は「エラー箇所の拡大再撮像」「帳票全体の再撮像」の2種類としたが、これに限定するものではなく、例えば、「動画による再撮像」「コントラストやシャープネスなどの設定を変更した再撮像」など他の再撮像方法であってもよい。
以上により、つまり、記入不備チェックにおけるエラーの種類に従って、エラーを解消するための方法で再撮像させることができる。
In the present embodiment, the re-imaging method has two types of “enlarged re-imaging of the error part” and “re-imaging of the entire form”, but is not limited to this. For example, “re-imaging by moving image” Other re-imaging methods such as “re-imaging with changed settings such as contrast and sharpness” may be used.
As described above, that is, according to the type of error in the entry defect check, the image can be re-imaged by the method for eliminating the error.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。   In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることが出来る。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   The present invention may be applied to a system constituted by a plurality of devices or an apparatus constituted by a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、OS(オペレーティングシステム)に供給されるスクリプトデータ等の形態から成ってもよい。
The form of the program may be in the form of object code, program code executed by an interpreter, script data supplied to an OS (operating system), and the like.

Claims (9)

撮像装置を備える情報処理装置であって、
帳票を前記撮像装置で撮像することにより電子データとして取込む取込手段と、
前記帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する管理手段と、
前記管理手段により管理されている認識領域と認識条件とを用いて、前記取込手段により取込まれた電子データに含まれる、前記認識領域に記入された内容が正常かエラーかを判定する記入不備判定手段と、
前記記入不備判定手段によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示するガイド表示手段と、
前記ガイド表示手段により表示されたガイドを用いて、前記帳票を前記撮像装置で撮像させることにより電子データとして取込む再取込手段と
を備えることを特徴とする情報処理装置。
An information processing apparatus including an imaging device,
Capture means for capturing a form as electronic data by imaging the form with the imaging device;
Management means for managing form form definition information including the recognition area and recognition conditions of the form;
An entry for determining whether the content entered in the recognition area included in the electronic data captured by the capture means is normal or error, using the recognition area and recognition conditions managed by the management means Deficiency determination means,
A guide display means for displaying a guide for imaging an area including the recognition area determined to be an error larger than that at the time of imaging the form, when it is determined as an error by the incomplete entry determination means;
An information processing apparatus comprising: a re-acquisition unit that captures the form as electronic data by causing the imaging device to capture an image of the form using the guide displayed by the guide display unit.
前記管理手段は、前記認識領域をグループに分けて管理し、
前記ガイド表示手段は、
前記認識条件に適合していないと判定された認識領域が含まれる前記グループの認識領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示すること
を特徴とする請求項1に記載の情報処理装置。
The management means manages the recognition area divided into groups,
The guide display means includes
The guide for enlarging and imaging the recognition area of the group including the recognition area determined not to meet the recognition condition as compared with the time of imaging the form is displayed. The information processing apparatus described in 1.
前記記入不備判定手段は、
前記管理手段により管理されている認識領域のうちエラーと判定された認識領域が含まれる前記グループの認識領域を用いて、前記取込手段により取込まれた電子データに含まれる、前記認識領域に記入された内容が、前記認識条件に適合しているか否かをチェックすること
を特徴とする請求項2に記載の情報処理装置。
The deficiency determination means is
The recognition area included in the electronic data captured by the capture means using the recognition area of the group including the recognition areas determined to be errors among the recognition areas managed by the management means. The information processing apparatus according to claim 2, wherein it is checked whether or not the entered content conforms to the recognition condition.
前記記入不備判定手段によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を当該帳票の撮像時よりも拡大して撮像するか、または当該帳票の全体を撮像するか、の選択を受け付ける指示受付手段
を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
When it is determined as an error by the incomplete entry determination means, whether the area including the recognition area determined as the error is magnified from the time of capturing the form, or the entire form is imaged. The information processing apparatus according to claim 1, further comprising an instruction receiving unit configured to receive a selection.
前記ガイド表示手段により表示されたガイドを用いて、前記帳票を前記撮像装置で撮像するときに、前記撮像装置のデジタルズームの利用を抑止するデジタルズーム抑止手段
を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
The digital zoom suppression means for suppressing use of the digital zoom of the imaging device when the form is imaged by the imaging device using the guide displayed by the guide display means. 5. The information processing apparatus according to any one of 4.
前記記入不備判定手段によりエラーと判定された場合、当該エラーの種類を決定するエラー種類決定手段と、
前記エラー種類決定手段により決定された前記エラーの種類に従って当該帳票の再撮像方法を決定する再撮像方法決定手段と
を更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
An error type determining means for determining the type of the error, if determined to be an error by the incomplete entry determining means;
The re-imaging method determination unit that determines a re-imaging method of the form according to the error type determined by the error type determination unit, further comprising: Information processing device.
前記再撮像方法決定手段は、
前記エラー種類決定手段により決定された前記エラーの種類が記入漏れを示す場合、前記帳票の全体を再撮像する方法に決定し、
前記エラー種類決定手段により決定された前記エラーの種類が読取エラーを示す場合、当該エラーと判定された認識領域を含む領域を前記帳票の撮像時よりも拡大して再撮像する方法に決定すること
を特徴とする請求項6に記載の情報処理装置。
The re-imaging method determining means includes
If the error type determined by the error type determination means indicates omission, determine the method for re-imaging the entire form,
When the error type determined by the error type determination unit indicates a reading error, the method includes a method for re-imaging the area including the recognition area determined to be the error larger than when the form is captured. The information processing apparatus according to claim 6.
撮像装置を備える情報処理装置における処理方法であって、
前記情報処理装置が、
帳票を前記撮像装置で撮像することにより電子データとして取込む取込ステップと、
前記帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する管理ステップと、
前記管理ステップにより管理されている認識領域と認識条件とを用いて、前記取込ステップにより取込まれた電子データに含まれる、前記認識領域に記入された内容が正常かエラーかを判定する記入不備判定ステップ、
前記記入不備判定ステップによりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示するガイド表示ステップと、
前記ガイド表示ステップにより表示されたガイドを用いて、前記帳票を前記撮像装置で撮像させることにより電子データとして取込む再取込ステップと
を実行することを特徴とする処理方法。
A processing method in an information processing apparatus including an imaging device,
The information processing apparatus is
A capture step of capturing a form as electronic data by imaging the form with the imaging device;
A management step for managing form form definition information including a recognition area and recognition conditions of the form;
An entry for determining whether the content entered in the recognition area included in the electronic data captured by the capture step is normal or error, using the recognition area and recognition conditions managed by the management step. Deficiency determination step,
A guide display step for displaying a guide for imaging an area including the recognition area determined to be the error larger than that at the time of imaging the form when it is determined as an error by the incomplete entry determination step;
A processing method, comprising: performing a re-acquisition step of capturing the form as electronic data by causing the imaging device to capture an image using the guide displayed in the guide display step.
撮像装置を備える情報処理装置で実行可能なプログラムであって、
前記情報処理装置を、
帳票を前記撮像装置で撮像することにより電子データとして取込む取込手段と、
前記帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する管理手段と、
前記管理手段により管理されている認識領域と認識条件とを用いて、前記取込手段により取込まれた電子データに含まれる、前記認識領域に記入された内容が正常かエラーかを判定する記入不備判定手段と、
前記記入不備判定手段によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を、当該帳票の撮像時よりも拡大して撮像するためのガイドを表示するガイド表示手段と、
前記ガイド表示手段により表示されたガイドを用いて、前記帳票を前記撮像装置で撮像させることにより電子データとして取込む再取込手段
として機能させるためのプログラム。
A program that can be executed by an information processing apparatus including an imaging device,
The information processing apparatus;
Capture means for capturing a form as electronic data by imaging the form with the imaging device;
Management means for managing form form definition information including the recognition area and recognition conditions of the form;
An entry for determining whether the content entered in the recognition area included in the electronic data captured by the capture means is normal or error, using the recognition area and recognition conditions managed by the management means Deficiency determination means,
A guide display means for displaying a guide for imaging an area including the recognition area determined to be an error larger than that at the time of imaging the form, when it is determined as an error by the incomplete entry determination means;
A program for causing a function displayed as electronic data to be taken in as electronic data by causing the imaging device to take an image of the form using the guide displayed by the guide display means.
JP2016212535A 2015-11-12 2016-10-31 Information processing device, and processing method and program thereof Pending JP2017097859A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015222420 2015-11-12
JP2015222420 2015-11-12

Publications (1)

Publication Number Publication Date
JP2017097859A true JP2017097859A (en) 2017-06-01

Family

ID=58804017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016212535A Pending JP2017097859A (en) 2015-11-12 2016-10-31 Information processing device, and processing method and program thereof

Country Status (1)

Country Link
JP (1) JP2017097859A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079290A (en) * 2017-10-25 2019-05-23 キヤノンマーケティングジャパン株式会社 Information processing device, processing method and program thereof
JP2019091318A (en) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 Information processing device and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079290A (en) * 2017-10-25 2019-05-23 キヤノンマーケティングジャパン株式会社 Information processing device, processing method and program thereof
JP2019091318A (en) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 Information processing device and program

Similar Documents

Publication Publication Date Title
US10339383B2 (en) Method and system for providing augmented reality contents by using user editing image
JP6826293B2 (en) Information information system and its processing method and program
JP6712045B2 (en) Information processing system, its processing method, and program
JP6123881B2 (en) Verification system, terminal device, server device, verification method and program
US10452943B2 (en) Information processing apparatus, control method of information processing apparatus, and storage medium
JP2008122788A (en) Image processing apparatus, image processing method, program for performing the method, and recording medium
JP2017097859A (en) Information processing device, and processing method and program thereof
JP6886100B2 (en) Information processing equipment, its processing method and program
JP2006277001A (en) Input image displaying method, and input image displaying program
JP6708935B2 (en) Information processing apparatus, processing method thereof, and program
JP4102365B2 (en) Data linkage support method between applications
JP6788197B2 (en) Information processing equipment, its processing method and program
JP2019169182A (en) Information processing device, control method, and program
JP6850323B2 (en) Information processing device, its control method and program
JP6558145B2 (en) Information processing terminal, information processing system, processing method thereof, and program
CN115769256A (en) Segmentation of continuous dynamic scan
US11462014B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2016126763A (en) Information processing system, and information processing method and program thereof
JP2020091748A (en) Terminal device, program, and image management method
JP6705984B2 (en) Information processing apparatus, processing method thereof, and program
JP6795770B2 (en) Information processing device and its processing method and program
JP2019067145A (en) Information processing device, processing method of the same, and program
JP2019067146A (en) Information processing device, processing method of the same, and program
JP2019091373A (en) Document analysis system, mobile terminal for document analysis and document analysis program for mobile terminal
JP2008123446A (en) Log information management system, log information management device, log information management method, and log information management program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161107

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190111