JP2021068306A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2021068306A
JP2021068306A JP2019194629A JP2019194629A JP2021068306A JP 2021068306 A JP2021068306 A JP 2021068306A JP 2019194629 A JP2019194629 A JP 2019194629A JP 2019194629 A JP2019194629 A JP 2019194629A JP 2021068306 A JP2021068306 A JP 2021068306A
Authority
JP
Japan
Prior art keywords
image
confirmation
entry field
form image
handwritten character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019194629A
Other languages
Japanese (ja)
Inventor
良恵 松尾
Yoshie Matsuo
良恵 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2019194629A priority Critical patent/JP2021068306A/en
Publication of JP2021068306A publication Critical patent/JP2021068306A/en
Pending legal-status Critical Current

Links

Images

Abstract

To enable another confirmation corrector to confirm, on one image, a handwritten character image in an entry field of a form image confirmed and corrected by a certain confirmation corrector before return and a handwritten character image in an entry field of a form image confirmed and corrected after return, in a case where a form with multiple entry fields is read, character recognition processing is performed on the read form image, and multiple confirmation correctors confirm and correct the recognition processing result.SOLUTION: A recognition processing unit 40 performs OCR processing for cutting out a handwritten character image filled in each entry field of a form having multiple entry fields and converting it into text data. A reception unit 41 accepts confirmation and correction of the OCR result and determines the text data for each entry field. A display control unit 44 displays a composite image that is a combination of handwritten character images, which have been referred to when determining the text data for each entry field in each of a first form image filled in before return and a second form image filled in after the return.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置およびプログラムに関する。 The present invention relates to an information processing device and a program.

特許文献１には、文字認識対象を３種類のいずれかに分類する分類手段と、分類手段によって第１の種類に分類された場合に、文字認識対象の文字認識結果を抽出する抽出手段と、分類手段によって第２の種類に分類された場合に、文字認識対象の文字認識結果を抽出し、文字認識対象を人手で入力させるように制御する第１の制御手段と、分類手段によって第３の種類に分類された場合に、文字認識対象を複数人の人手で入力させるように制御する第２の制御手段を具備することを特徴とする情報処理装置が開示されている。 Patent Document 1 describes a classification means for classifying a character recognition target into one of three types, an extraction means for extracting the character recognition result of the character recognition target when the character recognition target is classified into the first type by the classification means, and an extraction means. When the character recognition target is classified into the second type by the classification means, the first control means that extracts the character recognition result of the character recognition target and controls the character recognition target to be manually input, and the third control means by the classification means. Disclosed is an information processing apparatus including a second control means for controlling a character recognition target to be manually input by a plurality of people when classified into types.

特開２０１６−２１２８１２号公報Japanese Unexamined Patent Publication No. 2016-212812

複数の記入欄を有する帳票を読み取って、読み取られた帳票画像に対して文字認識処理を行い、それぞれの記入欄に記載された文字をデータ化するような情報処理装置が用いられている。このような情報処理装置により、文字認識処理を行う場合、記入欄に記載された手書文字の状態によっては他の文字と誤認識してしまう場合がある。そのため、このような情報処理装置では、文字認識処理結果と手書文字の画像とを確認訂正者が見比べて、必要に応じて訂正するような確認訂正が行なわれる。そして、より確認精度を高めるために、ある確認訂正者による確認訂正結果を、別の確認訂正者がさらに確認する場合がある。 An information processing device is used that reads a form having a plurality of entry fields, performs character recognition processing on the read form image, and converts the characters written in each entry field into data. When character recognition processing is performed by such an information processing device, it may be erroneously recognized as another character depending on the state of the handwritten character described in the entry field. Therefore, in such an information processing device, a confirmation correction is performed so that the confirmation corrector compares the character recognition processing result with the image of the handwritten character and corrects it as necessary. Then, in order to further improve the confirmation accuracy, another confirmation corrector may further confirm the confirmation correction result by one confirmation corrector.

また、確認訂正者が確認訂正を行った結果、記入欄に記載された文字内容自体に不備がある場合、帳票を差し戻して再度記入を行ってもらうような場合がある。このような場合、差し戻し後に再記入された帳票の画像と、差し戻し前に最初に記入された帳票の画像という２つの画像が存在することになる。この場合、最初の確認訂正者は、２つの帳票の画像の記入欄のうち、記載内容が異なる記入欄のみ確認訂正を行えばよい。しかし、最初の確認訂正者とは異なる後の確認訂正者にとっては、差し戻し前の帳票画像と、差し戻し後の帳票画像という２つの画像が存在するため、それぞれの記入欄に対してどの手書き文字画像の文字認識処理結果に基づいて最終的な文字データを確認したのかが分かり難くなってしまう。 In addition, as a result of the confirmation correction by the confirmation corrector, if the character content itself described in the entry field is incomplete, the form may be returned and the entry may be performed again. In such a case, there are two images, an image of the form refilled after the remand and an image of the form first filled in before the remand. In this case, the first confirmation / correction person may perform confirmation / correction only in the entry fields in which the description contents are different from the entry fields of the images of the two forms. However, since there are two images, the form image before remand and the form image after remand, for the confirmation corrector after different from the first confirmation corrector, which handwritten character image is used for each entry field. It becomes difficult to understand whether the final character data was confirmed based on the character recognition processing result of.

本発明の目的は、複数の記入欄を有する帳票を読み取って、読み取られた帳票画像に対して文字認識処理を行って、認識処理結果を複数の確認訂正者が確認訂正する場合、ある確認訂正者により、差し戻し前に確認訂正された帳票画像の記入欄の手書文字画像と、差し戻し後に確認訂正された帳票画像の記入欄の手書文字画像と、を別の確認訂正者が１つの画像で確認することが可能な情報処理装置およびプログラムを提供することである。 An object of the present invention is to read a form having a plurality of entry fields, perform character recognition processing on the read form image, and confirm and correct the recognition processing result by a plurality of confirmation correctors. One image of the handwritten text image in the entry field of the form image that was confirmed and corrected before the remand and the handwritten text image in the entry field of the form image that was confirmed and corrected after the remand. It is to provide an information processing device and a program that can be confirmed in.

請求項１に係る本発明は、
複数の記入欄を有する帳票の各記入欄に記入された手書文字画像を切出して文字情報に変換する文字認識処理を行う認識処理手段と、
前記認識処理手段による認識処理結果に対する確認訂正を受け付けて、各記入欄に対する文字情報を決定する決定手段と、
差し戻し前に記入された第１の帳票画像と、差し戻し後に記入された第２の帳票画像のそれぞれにおける各記入欄に対する文字情報を決定する際に参照された手書文字画像を合成した合成画像を表示するよう制御する表示制御手段と、
を備えた情報処理装置である。 The present invention according to claim 1
A recognition processing means that performs character recognition processing that cuts out the handwritten character image entered in each entry field of a form having multiple entry fields and converts it into character information.
A determination means for accepting confirmation and correction of the recognition processing result by the recognition processing means and determining character information for each entry field,
A composite image obtained by synthesizing the handwritten character image referred to when determining the character information for each entry field in each of the first form image entered before the remand and the second form image entered after the remand. Display control means for controlling display and
It is an information processing device equipped with.

請求項２に係る本発明は、前記表示制御手段は、前記第１の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、前記第１の帳票画像の記入欄に対応する前記第２の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、が一致した場合には、前記第１の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する請求項１記載の情報処理装置である。 In the present invention according to claim 2, the display control means corresponds to the recognition processing result of the handwritten character image entered in the entry field of the first form image and the entry field of the first form image. When the recognition processing result of the handwritten character image entered in the entry field of the second form image matches, the handwritten character image entered in the entry field of the first form image was combined. The information processing apparatus according to claim 1, which displays a composite image.

請求項３に係る本発明は、前記表示制御手段は、前記第１の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、前記第１の帳票画像の記入欄に対応する前記第２の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、が一致しない場合には、前記第２の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する請求項１記載の情報処理装置である。 In the present invention according to claim 3, the display control means corresponds to the recognition processing result of the handwritten character image entered in the entry field of the first form image and the entry field of the first form image. If the recognition processing result of the handwritten character image entered in the entry field of the second form image does not match, the handwritten character image entered in the entry field of the second form image was combined. The information processing apparatus according to claim 1, which displays a composite image.

請求項４に係る本発明は、前記手書文字画像と、前記手書文字画像の認識処理結果と、前記認識処理結果に対して決定された確認訂正の内容と、を対応付けて記憶する記憶手段をさらに備えた請求項１から３のいずれか記載の情報処理装置である。 The present invention according to claim 4 stores the handwritten character image, the recognition processing result of the handwritten character image, and the content of confirmation correction determined for the recognition processing result in association with each other. The information processing apparatus according to any one of claims 1 to 3, further comprising means.

請求項５に係る本発明は、前記表示制御手段は、前記手書文字画像と、前記手書文字画像の認識処理結果と、前記認識処理結果に対して決定された確認訂正の内容と、を対応付けて表示するように制御する請求項４記載の情報処理装置である。 According to the fifth aspect of the present invention, the display control means obtains the handwritten character image, the recognition processing result of the handwritten character image, and the content of confirmation and correction determined for the recognition processing result. The information processing apparatus according to claim 4, wherein the information processing device is controlled so as to be displayed in association with each other.

請求項６に係る本発明は、前記記憶手段は、前記第１の帳票画像と、前記第２の帳票画像と、前記合成画像と、を対応付けて記憶する請求項４又は５に記載の情報処理装置である。 The information according to claim 4, wherein the storage means stores the first form image, the second form image, and the composite image in association with each other. It is a processing device.

請求項７に係る本発明は、前記第１の帳票画像と、前記第２の帳票画像と、前記合成画像と、をそれぞれ切り替えて表示する切替手段をさらに備えた請求項６記載の情報処理装置である。 The information processing apparatus according to claim 6, wherein the information processing apparatus according to claim 6 further includes a switching means for switching and displaying the first form image, the second form image, and the composite image, respectively. Is.

請求項８に係る本発明は、
複数の記入欄を有する帳票の各記入欄に記入された手書文字画像を切出して文字情報に変換する文字認識処理を行う認識処理ステップと、
前記認識処理ステップによる認識処理結果に対する確認訂正を受け付けて、各記入欄に対する文字情報を決定する決定ステップと、
差し戻し前に記入された第１の帳票画像と、差し戻し後に記入された第２の帳票画像のそれぞれにおける各記入欄に対する文字情報を決定する際に参照された手書文字画像を合成した合成画像を表示するよう制御する表示制御ステップと、
をコンピュータに実行させるためのプログラムである。 The present invention according to claim 8 is
A recognition processing step that performs character recognition processing that cuts out the handwritten character image entered in each entry field of a form having multiple entry fields and converts it into character information.
A decision step of accepting confirmation and correction of the recognition process result by the recognition process step and determining character information for each entry field,
A composite image obtained by synthesizing the handwritten character image referred to when determining the character information for each entry field in each of the first form image entered before the remand and the second form image entered after the remand. Display control steps that control the display and
Is a program to make a computer execute.

請求項１に係る本発明によれば、複数の記入欄を有する帳票を読み取って、読み取られた帳票画像に対して文字認識処理を行って、認識処理結果を複数の確認訂正者が確認訂正する場合、ある確認訂正者により、差し戻し前に確認訂正された帳票画像の記入欄の手書文字画像と、差し戻し後に確認訂正された帳票画像の記入欄の手書文字画像と、を別の確認訂正者が１つの画像で確認することが可能な情報処理装置を提供することができる。 According to the present invention according to claim 1, a form having a plurality of entry fields is read, character recognition processing is performed on the read form image, and a plurality of confirmation correctors confirm and correct the recognition processing result. In the case, another confirmation correction is made between the handwritten text image in the entry field of the form image that was confirmed and corrected before the remand and the handwritten text image in the entry field of the form image that was confirmed and corrected after the remand. It is possible to provide an information processing device that allows a person to confirm with one image.

請求項２に係る本発明によれば、ある確認訂正者により既に確認訂正を受け付けて決定された記入欄の確認訂正を、別の確認訂正者により重複して実施させてしまうことを防止することが可能な情報処理装置を提供することができる。 According to the second aspect of the present invention, it is possible to prevent another confirmation corrector from duplicating the confirmation correction of the entry field determined by receiving the confirmation correction by one confirmation corrector. It is possible to provide an information processing device capable of providing an information processing device.

請求項３に係る本発明によれば、ある確認訂正者により既に確認訂正を受け付けて決定された記入欄の確認訂正を、別の確認訂正者により重複して実施させてしまうことを防止することが可能な情報処理装置を提供することができる。 According to the third aspect of the present invention, it is possible to prevent another confirmation corrector from duplicating the confirmation correction of the entry field determined by receiving the confirmation correction by one confirmation corrector. It is possible to provide an information processing device capable of providing an information processing device.

請求項４に係る本発明によれば、手書文字画像と、手書文字画像の認識処理結果と、認識処理結果に対して決定された確認訂正の内容と、を確認訂正者が１つの画像で確認することが可能な情報処理装置を提供することができる。 According to the present invention according to claim 4, one image of the confirmation corrector confirms the handwritten character image, the recognition processing result of the handwritten character image, and the content of the confirmation correction determined for the recognition processing result. It is possible to provide an information processing device that can be confirmed by.

請求項５に係る本発明によれば、手書文字画像と、手書文字画像の認識処理結果と、認識処理結果に対して決定された確認訂正の内容と、を確認訂正者が１つの画像で確認することが可能な情報処理装置を提供することができる。 According to the present invention according to claim 5, the confirmation corrector confirms the handwritten character image, the recognition processing result of the handwritten character image, and the content of the confirmation correction determined for the recognition processing result. It is possible to provide an information processing device that can be confirmed by.

請求項６に係る本発明によれば、ある確認訂正者により、差し戻し前に確認訂正された帳票画像の記入欄の手書文字画像と、差し戻し後に確認訂正された帳票画像の記入欄の手書文字画像と、合成画像と、を確認することが可能な情報処理装置を提供することができる。 According to the present invention according to claim 6, a handwriting image in the entry field of the form image confirmed and corrected before the remand and a handwriting in the entry field of the form image confirmed and corrected after the remand by a certain confirmation corrector. It is possible to provide an information processing apparatus capable of confirming a character image and a composite image.

請求項７に係る本発明によれば、複数の確認訂正者により確認訂正された帳票画像の証跡情報を確認することが可能な情報処理装置を提供することができる。 According to the seventh aspect of the present invention, it is possible to provide an information processing apparatus capable of confirming trail information of a form image confirmed and corrected by a plurality of confirmation correctors.

請求項８に係る本発明によれば、複数の記入欄を有する帳票を読み取って、読み取られた帳票画像に対して文字認識処理を行って、認識処理結果を複数の確認訂正者が確認訂正する場合、ある確認訂正者により、差し戻し前に確認訂正された帳票画像の記入欄の手書文字画像と、差し戻し後に確認訂正された帳票画像の記入欄の手書文字画像と、を別の確認訂正者が１つの画像で確認することが可能なプログラムを提供することができる。 According to the eighth aspect of the present invention, a form having a plurality of entry fields is read, character recognition processing is performed on the read form image, and a plurality of confirmation correctors confirm and correct the recognition processing result. In the case, another confirmation correction is made between the handwritten text image in the entry field of the form image that was confirmed and corrected before the remand and the handwritten text image in the entry field of the form image that was confirmed and corrected after the remand. It is possible to provide a program that allows a person to confirm with one image.

本発明の一実施形態の情報処理システムの構成を示す図である。It is a figure which shows the structure of the information processing system of one Embodiment of this invention. 本発明の一実施形態におけるデータ管理サーバ１３のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware structure of the data management server 13 in one Embodiment of this invention. 本発明の一実施形態におけるデータ管理サーバ１３の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the data management server 13 in one Embodiment of this invention. 本発明の一実施形態における確認訂正者１の確認対象テーブルを示す図である。It is a figure which shows the confirmation target table of the confirmation corrector 1 in one Embodiment of this invention. 本発明の一実施形態における確認訂正者２の確認対象テーブルを示す図である。It is a figure which shows the confirmation target table of the confirmation corrector 2 in one Embodiment of this invention. 本発明の一実施形態におけるデータ管理サーバ１３の動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the data management server 13 in one Embodiment of this invention. 本発明の一実施形態において取り扱う第１の帳票画像の一例を示す図である。It is a figure which shows an example of the 1st form image to deal with in one Embodiment of this invention. 本発明の一実施形態における確認訂正者１の確認訂正用画面の一例を示す図である。It is a figure which shows an example of the confirmation correction screen of confirmation corrector 1 in one Embodiment of this invention. 本発明の一実施形態において取り扱う第２の帳票画像の一例を示す図である。It is a figure which shows an example of the 2nd form image to deal with in one Embodiment of this invention. 本発明の一実施形態における確認訂正者１の確認訂正用画面の一例を示す図である。It is a figure which shows an example of the confirmation correction screen of confirmation corrector 1 in one Embodiment of this invention. 本発明の一実施形態における確認訂正者２の確認訂正用画面の一例を示す図である。It is a figure which shows an example of the confirmation correction screen of confirmation corrector 2 in one Embodiment of this invention. 本発明の一実施形態における管理者の確認用画面の一例を示す図である。It is a figure which shows an example of the confirmation screen of the administrator in one Embodiment of this invention. 本発明の一実施形態における管理者の確認用画面の一例を示す図である。It is a figure which shows an example of the confirmation screen of the administrator in one Embodiment of this invention. 本発明の一実施形態における管理者の確認用画面の一例を示す図である。It is a figure which shows an example of the confirmation screen of the administrator in one Embodiment of this invention. 本発明の一実施形態において取り扱う第２の帳票画像の変形例を示す図である。It is a figure which shows the modification of the 2nd form image to deal with in one Embodiment of this invention. 本発明の一実施形態における確認訂正者１の確認訂正用画面の一例を示す図である。It is a figure which shows an example of the confirmation correction screen of confirmation corrector 1 in one Embodiment of this invention.

次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings.

図１は本発明の一実施形態の情報処理システムのシステム構成を示す図である。 FIG. 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.

本発明の一実施形態の情報処理システムは、図１に示されるように、ネットワーク１により相互に接続された端末装置１０、１１、１２、情報処理装置であるデータ管理サーバ１３、画像形成装置１４により構成される。 As shown in FIG. 1, the information processing system according to the embodiment of the present invention includes terminal devices 10, 11 and 12, which are interconnected by a network 1, a data management server 13 which is an information processing device, and an image forming device 14. Consists of.

画像形成装置１４は、入力者であるユーザのオフィス等に設定された、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。本実施形態では、画像形成装置１４は、入力者であるユーザにより手書きの帳票等の書類がスキャンされる（読み取られる）ことにより電子化して帳票画像のデータに変換する画像読取装置として機能する。 The image forming apparatus 14 is a so-called multifunction device having a plurality of functions such as a printing (printing) function, a scanning function, a copying (copying) function, and a facsimile function, which are set in the office of the user who is the input person. is there. In the present embodiment, the image forming apparatus 14 functions as an image reading apparatus that digitizes and converts the document such as a handwritten form into data of the form image by scanning (reading) a document such as a handwritten form by a user who is an input person.

データ管理サーバ１３では、帳票画像のデータに対して文字認識処理であるＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｉｎｇ）処理を実行することにより文字情報であるテキストデータに変換して文字認識処理結果であるＯＣＲ結果として格納することができるよう構成されている。 The data management server 13 executes OCR (Optical Character Reading) processing, which is a character recognition process, on the form image data to convert it into text data which is character information and stores it as an OCR result which is a character recognition process result. It is configured to be able to.

端末装置１０は、確認訂正者１により操作されるパーソナルコンピュータ等の装置である。確認訂正者１は、端末装置１０において、帳票画像と、この帳票画像のデータに対してＯＣＲ処理が実行されてテキストデータに変換されたＯＣＲ結果と、この帳票画像の各記入欄に記入された手書文字画像と、を見比べて、必要に応じて訂正するような確認訂正を行う。 The terminal device 10 is a device such as a personal computer operated by the confirmation corrector 1. The confirmation corrector 1 entered the form image, the OCR result converted into text data by performing OCR processing on the data of the form image, and each entry field of the form image in the terminal device 10. Compare with the handwritten character image and make confirmation corrections such as making corrections as necessary.

また、端末装置１１は、確認訂正者２により操作されるパーソナルコンピュータ等の装置である。確認訂正者２は、端末装置１１において、確認訂正者１による確認訂正結果をさらに確認して、必要に応じて訂正するような確認訂正を行う。 Further, the terminal device 11 is a device such as a personal computer operated by the confirmation corrector 2. The confirmation corrector 2 further confirms the confirmation correction result by the confirmation corrector 1 on the terminal device 11, and makes a confirmation correction such as making a correction as necessary.

また、端末装置１２は、管理者により操作されるパーソナルコンピュータ等の装置である。管理者は、端末装置１２において、確認訂正者１及び確認訂正者２による確認訂正完了後に、確認訂正者１及び確認訂正者２がそれぞれどのような帳票画像に対して、どのように確認訂正を行ったかの証跡情報を確認する。 Further, the terminal device 12 is a device such as a personal computer operated by an administrator. In the terminal device 12, after the confirmation correction is completed by the confirmation corrector 1 and the confirmation corrector 2, the confirmation corrector 1 and the confirmation corrector 2 make confirmation corrections for what form images and how. Check the trail information of whether you went.

すなわち、本実施形態の情報処理システムは、ある確認訂正者である確認訂正者１が確認訂正を行った後、確認訂正者１とは別の確認訂正者である確認訂正者２により確認訂正を行うダブルエントリーフローでのデータエントリー支援システムである。 That is, in the information processing system of the present embodiment, after the confirmation corrector 1 who is a certain confirmation corrector makes the confirmation correction, the confirmation correction person 2 who is a confirmation corrector 2 different from the confirmation corrector 1 makes the confirmation correction. It is a data entry support system with a double entry flow.

そして、本実施形態の情報処理システムは、確認訂正者１が確認訂正を行った結果、記入欄に記載された文字内容自体に不備がある場合、記入者に帳票を差し戻して再度記入を行ってもらうような場合を想定している。以下において、差し戻し後に再記入された帳票の画像を第２の帳票画像とし、差し戻し前に最初に記入された帳票の画像を第１の帳票画像として説明する。 Then, in the information processing system of the present embodiment, as a result of the confirmation correction by the confirmation corrector 1, if there is a defect in the character content itself described in the entry field, the form is returned to the entry person and the entry is performed again. It is supposed to be received. In the following, the image of the form refilled after the remand will be referred to as the second form image, and the image of the form first filled in before the remand will be described as the first form image.

なお、本実施形態では、入力者であるユーザが画像形成装置１４を操作して帳票をスキャンして電子化された帳票画像のデータをデータ管理サーバ１３に格納する場合を用いて説明するが、スマートフォン（以下スマホと略す。）等の携帯端末装置により帳票を撮像して取得された帳票の写真画像のデータを格納する場合にも適用可能である。 In the present embodiment, the case where the user who is the input person operates the image forming apparatus 14 to scan the form and store the digitized form image data in the data management server 13 will be described. It can also be applied to store the data of the photographic image of the form obtained by imaging the form with a mobile terminal device such as a smartphone (hereinafter abbreviated as a smartphone).

次に、本実施形態の情報処理システムにおけるデータ管理サーバ１３のハードウェア構成を図２に示す。 Next, FIG. 2 shows the hardware configuration of the data management server 13 in the information processing system of the present embodiment.

データ管理サーバ１３は、図２に示されるように、ＣＰＵ１６、メモリ１７、ハードディスクドライブ（ＨＤＤ）等の記憶装置１８、ネットワーク１を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１９、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置２０を有する。これらの構成要素は、制御バス２１を介して互いに接続されている。 As shown in FIG. 2, the data management server 13 transmits and receives data to and from an external device and the like via a CPU 16, a memory 17, a storage device 18 such as a hard disk drive (HDD), and a network 1. It has a communication interface (IF) 19, a user interface (UI) device 20 including a touch panel or liquid crystal display, and a keyboard. These components are connected to each other via a control bus 21.

ＣＰＵ１６は、メモリ１７または記憶装置１８に格納された制御プログラムに基づいて所定の処理を実行して、データ管理サーバ１３の動作を制御する。なお、本実施形態では、ＣＰＵ１６は、メモリ１７または記憶装置１８内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１６に提供することも可能である。 The CPU 16 executes a predetermined process based on the control program stored in the memory 17 or the storage device 18 to control the operation of the data management server 13. In the present embodiment, the CPU 16 is described as reading and executing the control program stored in the memory 17 or the storage device 18, but the program is stored in a storage medium such as a CD-ROM and stored in the CPU 16. It is also possible to provide.

図３は、上記の制御プログラムが実行されることにより実現されるデータ管理サーバ１３の機能構成を示すブロック図である。 FIG. 3 is a block diagram showing a functional configuration of the data management server 13 realized by executing the above control program.

本実施形態のデータ管理サーバ１３は、図３に示されるように、データ通信部３１と、制御部３２と、記憶部３３とを備えている。 As shown in FIG. 3, the data management server 13 of the present embodiment includes a data communication unit 31, a control unit 32, and a storage unit 33.

データ通信部３１は、ネットワーク１を介して端末装置１０、１１、１２、画像形成装置１４との間でデータを送受信する。また、データ通信部３１は、画像形成装置１４でスキャンされることにより電子化して変換された帳票画像のデータを取得する。 The data communication unit 31 transmits / receives data to / from the terminal devices 10, 11, 12 and the image forming device 14 via the network 1. In addition, the data communication unit 31 acquires the data of the form image that has been digitized and converted by being scanned by the image forming apparatus 14.

データ管理サーバ１３は、制御プログラムを制御部３２において実行することにより、認識処理部４０、受付部４１、表示制御部４２として機能する。 The data management server 13 functions as the recognition processing unit 40, the reception unit 41, and the display control unit 42 by executing the control program in the control unit 32.

表示制御部４２は、端末装置１０、１１、１２の表示画面を制御する。 The display control unit 42 controls the display screens of the terminal devices 10, 11 and 12.

認識処理部４０は、帳票画像から複数の記入欄を有する帳票の各記入欄に記入された手書文字画像を切出してテキストデータに変換するＯＣＲ処理を行う。 The recognition processing unit 40 performs OCR processing for cutting out a handwritten character image entered in each entry field of a form having a plurality of entry fields from the form image and converting it into text data.

受付部４１は、認識処理部４０による認識処理結果であるＯＣＲ結果に対する確認訂正を受け付ける。受付部４１は、確認訂正を受け付けることにより、各記入欄に対するテキストデータを決定する決定手段として機能する。 The reception unit 41 receives confirmation and correction for the OCR result, which is the recognition processing result by the recognition processing unit 40. The reception unit 41 functions as a determination means for determining the text data for each entry field by accepting confirmation and correction.

表示制御部４２は、差し戻し前に記入された第１の帳票画像と、差し戻し後に記入された第２の帳票画像のそれぞれにおける各記入欄に対するテキストデータを決定する際に参照された手書文字画像を合成した合成画像を表示するよう制御する。 The display control unit 42 determines the text data for each entry field in each of the first form image entered before the remand and the second form image entered after the remand, and the handwritten character image referred to. Controls to display a composite image that is a composite of.

表示制御部４２は、第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、第１の帳票画像の記入欄に対応する第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致した場合には、差し戻し前に記入された第１の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する。 The display control unit 42 entered the OCR result of the handwritten character image entered in the entry field of the first form image and the entry field of the second form image corresponding to the entry field of the first form image. If the OCR result of the handwritten character image matches, a composite image obtained by synthesizing the handwritten character image entered in the entry field of the first form image entered before the remand is displayed.

また、表示制御部４２は、第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、第１の帳票画像の記入欄に対応する第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致しない場合には、差し戻し後に記入された第２の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する。 Further, the display control unit 42 fills in the OCR result of the handwritten character image entered in the entry field of the first form image and the entry field of the second form image corresponding to the entry field of the first form image. If the OCR result of the handwritten character image does not match, a composite image obtained by synthesizing the handwritten character image entered in the entry field of the second form image entered after the remand is displayed.

記憶部３３は、各確認訂正者の確認訂正対象となる帳票画像の確認対象テーブルを記憶する。具体的には、記憶部３３は、図４に示すような確認訂正者１の確認対象テーブルと、図５に示すような確認訂正者２の確認対象テーブルを記憶する。確認訂正者１の確認対象テーブルには、確認訂正者１の端末装置１０において確認訂正された帳票画像、帳票画像の項目ＩＤと項目名、帳票画像の各記入欄から手書文字画像を抽出して切り出した切り出し画像、切り出し画像のＯＣＲ結果、確認訂正内容、確認番号と確認日時、記入画像入力日時等が対応付けて記憶される。また、確認訂正者２の確認対象テーブルには、確認訂正者２の端末装置１１において確認訂正された帳票画像、帳票画像の項目ＩＤと項目名、帳票画像の各記入欄から手書文字画像を抽出して切り出した切り出し画像、切り出し画像のＯＣＲ結果、確認訂正内容、確認番号と確認日時等が対応付けて記憶される。 The storage unit 33 stores the confirmation target table of the form image to be confirmed and corrected by each confirmation corrector. Specifically, the storage unit 33 stores the confirmation target table of the confirmation corrector 1 as shown in FIG. 4 and the confirmation target table of the confirmation corrector 2 as shown in FIG. In the confirmation target table of the confirmation corrector 1, the handwritten character image is extracted from the form image confirmed and corrected by the terminal device 10 of the confirmation corrector 1, the item ID and item name of the form image, and each entry field of the form image. The cut-out image cut out, the OCR result of the cut-out image, the confirmation correction content, the confirmation number and the confirmation date and time, the input image input date and time, and the like are stored in association with each other. Further, in the confirmation target table of the confirmation corrector 2, the form image confirmed and corrected by the terminal device 11 of the confirmation corrector 2, the item ID and item name of the form image, and the handwritten character image from each entry field of the form image are displayed. The extracted and cut out cut-out image, the OCR result of the cut-out image, the confirmation correction content, the confirmation number and the confirmation date and time are stored in association with each other.

そして、表示制御部４２は、端末装置１０、１１、１２の表示画面に帳票画像を表示するように制御する。さらに、表示制御部４２は、端末装置１０、１１、１２の表示画面に、帳票画像の各項目の各記入欄における手書文字画像の切り出し画像と、切り出し画像のＯＣＲ結果と、ＯＣＲ結果に対する確認訂正の内容と、を対応付けて表示するように制御する。 Then, the display control unit 42 controls to display the form image on the display screens of the terminal devices 10, 11 and 12. Further, the display control unit 42 displays the cutout image of the handwritten character image in each entry field of each item of the form image, the OCR result of the cutout image, and the confirmation of the OCR result on the display screens of the terminal devices 10, 11 and 12. Control so that the content of the correction and the content of the correction are displayed in association with each other.

また、記憶部３３は、第１の帳票画像と、第２の帳票画像と、第１の帳票画像と第２の帳票画像のそれぞれにおける各記入欄に対するテキストデータを確認訂正して決定する際に参照された手書文字画像を合成した合成画像と、を対応付けて記憶する。 Further, when the storage unit 33 confirms and corrects the text data for each entry field in each of the first form image, the second form image, the first form image and the second form image, and determines the determination. A composite image obtained by synthesizing the referenced handwritten character image is stored in association with the composite image.

また、表示制御部４２は、第１の帳票画像と、第２の帳票画像と、第１の帳票画像と第２の帳票画像のそれぞれにおける各記入欄に対するテキストデータを確認訂正して決定する際に参照された手書文字画像を合成した合成画像と、をそれぞれ切り替えて表示する切替手段として機能する。 Further, when the display control unit 42 confirms, corrects, and determines the text data for each entry field in each of the first form image, the second form image, the first form image, and the second form image. It functions as a switching means for switching and displaying a composite image obtained by synthesizing a handwritten character image referred to in 1.

次に、帳票に対して実施するデータ管理サーバ１３の確認訂正処理について図６に示すフローチャートを用いて説明する。本実施形態では、確認訂正者１による確認訂正において第１の帳票画像の記入欄に記入漏れが見つかって記入者に差し戻しを行い、記入漏れのあった記入欄のみが記入された帳票が入力者により再スキャンされて第２の帳票画像のデータに変換され、確認訂正者１による確認訂正を再度行ってから、確認訂正者２による確認訂正を行う場合を例にして説明する。 Next, the confirmation / correction process of the data management server 13 performed on the form will be described with reference to the flowchart shown in FIG. In the present embodiment, in the confirmation correction by the confirmation corrector 1, an entry omission is found in the entry field of the first form image and the entry is returned to the entry person, and the form in which only the entry field with the omission is entered is the input person. The case where the data is rescanned by the confirmation corrector 1 and converted into the data of the second form image, the confirmation correction is performed again by the confirmation corrector 1, and then the confirmation correction is performed by the confirmation corrector 2 will be described as an example.

先ず、ステップＳ１００において、データ通信部３１は、各記入欄に手書きで記入された帳票を、画像形成装置１４を用いてスキャンされることによりデータ化して第１の帳票画像を取得する。本実施形態において取り扱う第１の帳票画像の一例を図７に示す。 First, in step S100, the data communication unit 31 obtains the first form image by converting the form entered by hand in each entry field into data by scanning it with the image forming apparatus 14. FIG. 7 shows an example of the first form image handled in the present embodiment.

次に、ステップＳ１０１において、認識処理部４０は、第１の帳票画像の記入欄から手書文字画像を抽出し、ＯＣＲ処理を行う。 Next, in step S101, the recognition processing unit 40 extracts the handwritten character image from the entry field of the first form image and performs OCR processing.

そして、制御部３２は、確認訂正者１の確認対象テーブルを生成して、記憶部３３に記憶する。具体的には、図４に示すように、記憶部３３は、確認訂正者１の確認対象テーブルとして、第１の帳票画像における項目ＩＤと項目名と、項目ＩＤ毎の記入欄の手書文字画像の切り出し画像と、対象画像と、切り出し画像のＯＣＲ結果と、第１の帳票画像の記入画像入力日時を記憶する。 Then, the control unit 32 generates a confirmation target table of the confirmation corrector 1 and stores it in the storage unit 33. Specifically, as shown in FIG. 4, the storage unit 33 serves as the confirmation target table of the confirmation corrector 1, the item ID and the item name in the first form image, and the handwritten characters in the entry column for each item ID. The cut-out image of the image, the target image, the OCR result of the cut-out image, and the entry image input date and time of the first form image are stored.

次に、ステップＳ１０２において、表示制御部４２は、図８に示すように、確認訂正者１の端末装置１０の表示画面に、第１の帳票画像５０と、第１の帳票画像５０の各項目の記入欄における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、訂正内容入力欄５３と、を対応付けて表示するように制御する。 Next, in step S102, as shown in FIG. 8, the display control unit 42 displays each item of the first form image 50 and the first form image 50 on the display screen of the terminal device 10 of the confirmation corrector 1. The cut-out image 51 of the handwritten character image in the entry field, the OCR result 52 of the cut-out image 51, and the correction content input field 53 are controlled to be displayed in association with each other.

そして、ステップＳ１０３において、確認訂正者１により、各項目の記入欄における切り出し画像５１と、ＯＣＲ結果５２と、が比較され、各項目の記入欄における切り出し画像５１のＯＣＲ結果５２が適切でない場合には、訂正内容が訂正内容入力欄５３に入力され、確認訂正が行なわれる。このとき、図８に示す表示画面は、確認訂正者１による確認訂正を受け付ける確認訂正画面として機能する。図８に示す例では、氏名１における切り出し画像「富士みなと」のＯＣＲ結果が「富士みなお」と適切でないため、確認訂正者１により訂正内容入力欄５３に「富士みなと」が入力されている。さらに、生年月日１の記入欄に記入漏れがあり不備があるため、確認訂正者１は入力者に差し戻しを行う必要がある。 Then, in step S103, when the confirmation corrector 1 compares the cutout image 51 in the entry field of each item with the OCR result 52, and the OCR result 52 of the cutout image 51 in the entry field of each item is not appropriate. Is entered in the correction content input field 53, and confirmation correction is performed. At this time, the display screen shown in FIG. 8 functions as a confirmation correction screen for accepting confirmation correction by the confirmation corrector 1. In the example shown in FIG. 8, since the OCR result of the cut-out image “Fuji Minato” in the name 1 is not appropriate as “Fuji Minao”, “Fuji Minato” is entered in the correction content input field 53 by the confirmation corrector 1. .. Furthermore, since there is an omission in the entry field of the date of birth 1 and there is an incompleteness, the confirmation corrector 1 needs to send back to the input person.

そして、ステップＳ１０４において、差し戻しボタン５４が押下されることにより、差し戻しが行なわれる。すなわち、入力者へ差し戻しが指示される。差し戻しボタン５４が押下されることにより、受付部４１は、第１の帳票画像におけるＯＣＲ結果５２又は訂正内容入力欄５３に訂正内容が入力されている場合には、訂正内容入力欄５３に入力された訂正内容で第１の帳票画像における確認訂正を受け付け、各記入欄に対するテキストデータを決定する。そして、制御部３２は、図４に示すように、記憶部３３の確認訂正者１の確認対象テーブルの各項目の記入欄における対応する箇所に、確認訂正者１による確認訂正内容と、確認番号と確認日時を記録する。 Then, in step S104, the remand is performed by pressing the remand button 54. That is, the input person is instructed to remand. When the remand button 54 is pressed, the reception unit 41 is input to the correction content input field 53 when the correction content is input to the OCR result 52 or the correction content input field 53 in the first form image. The confirmation correction in the first form image is accepted based on the corrected content, and the text data for each entry field is determined. Then, as shown in FIG. 4, the control unit 32 places the confirmation correction contents by the confirmation corrector 1 and the confirmation number in the corresponding places in the entry fields of each item of the confirmation target table of the confirmation corrector 1 of the storage unit 33. And record the confirmation date and time.

そして、ステップＳ１０５において、データ通信部３１は、差し戻し後の第２の帳票画像が画像形成装置１４を用いてスキャンされることにより、差し戻されて再記入された帳票をデータ化して第２の帳票画像を取得する。本実施形態において取り扱う第２の帳票画像の一例を図９に示す。図９に示すように、第２の帳票画像には、第１の帳票画像において記入漏れのあった項目１の生年月日の記入欄にのみ記入されている。 Then, in step S105, the data communication unit 31 converts the returned and re-filled form into data by scanning the second form image after the remand using the image forming apparatus 14, and the second form is converted into data. Get the form image. FIG. 9 shows an example of the second form image handled in the present embodiment. As shown in FIG. 9, in the second form image, only the entry column of the date of birth of the item 1 that was omitted in the first form image is entered.

次に、ステップＳ１０６において、認識処理部４０は、第２の帳票画像から手書文字画像を抽出し、ＯＣＲ処理を行う。 Next, in step S106, the recognition processing unit 40 extracts the handwritten character image from the second form image and performs OCR processing.

そして、制御部３２は、図４に示すように、記憶部３３の確認訂正者１の確認対象テーブルに、第２の帳票画像における項目ＩＤと項目名と、項目ＩＤ毎の記入欄の手書文字画像の切り出し画像と、対象画像と、切り出し画像のＯＣＲ結果と、第２の帳票画像の記入画像入力日時を記録する。 Then, as shown in FIG. 4, the control unit 32 puts the item ID and the item name in the second form image and the handwriting of the entry column for each item ID in the confirmation target table of the confirmation corrector 1 of the storage unit 33. The cutout image of the character image, the target image, the OCR result of the cutout image, and the entry image input date and time of the second form image are recorded.

次に、ステップＳ１０７において、表示制御部４２は、図１０に示すように、確認訂正者１の端末装置１０の表示画面に、第２の帳票画像５５と、第２の帳票画像５５の生年月日１の記入欄における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、訂正内容入力欄５３と、を対応付けて表示するように制御する。 Next, in step S107, as shown in FIG. 10, the display control unit 42 displays the second form image 55 and the date of birth of the second form image 55 on the display screen of the terminal device 10 of the confirmation corrector 1. The cutout image 51 of the handwritten character image in the entry field of day 1, the OCR result 52 of the cutout image 51, and the correction content input field 53 are controlled to be displayed in association with each other.

そして、ステップＳ１０８において、確認訂正者１により、不備のあった生年月日１の記入欄における切り出し画像５１と、ＯＣＲ結果５２と、が比較され、切り出し画像５１のＯＣＲ結果５２が適切である場合には、訂正内容入力欄５３を空欄のままにして、再度の確認訂正が行なわれる。このとき、図１０に示す表示画面は、確認訂正者１による確認訂正を受け付ける確認訂正画面として機能する。図１０に示す例では、第１の帳票画像において不備のあった生年月日１の記入欄における切り出し画像「１９８１年３月５日」のＯＣＲ結果が適切であるため、確認訂正者１の確認訂正は完了することとなる。 Then, in step S108, when the confirmation corrector 1 compares the cutout image 51 in the entry field of the defective date of birth 1 with the OCR result 52, and the OCR result 52 of the cutout image 51 is appropriate. The correction content input field 53 is left blank, and the confirmation correction is performed again. At this time, the display screen shown in FIG. 10 functions as a confirmation correction screen for accepting confirmation correction by the confirmation corrector 1. In the example shown in FIG. 10, since the OCR result of the cut-out image "March 5, 1981" in the entry field of the date of birth 1 which was incomplete in the first form image is appropriate, the confirmation corrector 1 is confirmed. The correction will be completed.

そして、第２の帳票画像により不備が解消される場合には、完了ボタン５６が押下されることにより、確認訂正者１の確認訂正は完了する。完了ボタン５６が押下されることにより、受付部４１は、第２の帳票画像におけるＯＣＲ結果５２又は訂正内容入力欄５３に訂正内容が入力されている場合には、訂正内容入力欄５３に入力された訂正内容で第２の帳票画像における確認訂正を受け付け、各記入欄に対するテキストデータを決定する。そして、制御部３２は、図４に示すように、記憶部３３の確認訂正者１の確認対象テーブルの第２の帳票画像における生年月日１の記入欄における対応する箇所に、確認訂正者１による確認訂正内容と、確認番号と確認日時を記録する。 Then, when the deficiency is resolved by the second form image, the confirmation correction of the confirmation corrector 1 is completed by pressing the completion button 56. When the completion button 56 is pressed, the reception unit 41 is input to the correction content input field 53 when the correction content is input to the OCR result 52 or the correction content input field 53 in the second form image. The confirmation correction in the second form image is accepted based on the corrected content, and the text data for each entry field is determined. Then, as shown in FIG. 4, the control unit 32 places the confirmation corrector 1 in the corresponding place in the entry field of the date of birth 1 in the second form image of the confirmation target table of the confirmation corrector 1 of the storage unit 33. Confirmation and correction by, confirmation number and confirmation date and time are recorded.

そして、ステップＳ１０９において、制御部３２は、確認訂正者２の確認対象テーブルを生成して、記憶部３３に記憶する。具体的には、確認訂正者１の確認対象テーブルを参照して、確認訂正者２の確認対象テーブルを生成する。より具体的には、記憶部３３は、図５に示すように、図４に示す確認訂正者１の確認対象テーブルにおける重複のない項目ＩＤと項目名と、項目ＩＤ毎の記入欄の手書文字画像の切り出し画像と、対象画像と、切り出し画像のＯＣＲ結果と、確認訂正者１による確認訂正内容と、確認番号と確認訂正日時と、を対応付けて記憶する。そして、図４に示す確認訂正者１の確認対象テーブルにおいて項目ＩＤが重複している場合には、記入画像入力日時が一番新しい手書文字画像の切り出し画像と、対象画像と、切り出し画像のＯＣＲ結果と、確認訂正者１による確認訂正内容と、確認番号と確認訂正日時と、を確認訂正者２の確認対象として確認訂正者２の確認対象テーブルに記憶する。 Then, in step S109, the control unit 32 generates a confirmation target table of the confirmation corrector 2 and stores it in the storage unit 33. Specifically, the confirmation target table of the confirmation corrector 2 is generated by referring to the confirmation target table of the confirmation corrector 1. More specifically, as shown in FIG. 5, the storage unit 33 has a unique item ID and item name in the confirmation target table of the confirmation corrector 1 shown in FIG. 4, and a handwriting of an entry field for each item ID. The cutout image of the character image, the target image, the OCR result of the cutout image, the confirmation correction content by the confirmation corrector 1, the confirmation number, and the confirmation correction date and time are stored in association with each other. Then, when the item IDs are duplicated in the confirmation target table of the confirmation corrector 1 shown in FIG. 4, the cut-out image of the handwritten character image having the latest input image input date and time, the target image, and the cut-out image The OCR result, the confirmation correction content by the confirmation corrector 1, the confirmation number, and the confirmation correction date and time are stored in the confirmation target table of the confirmation corrector 2 as the confirmation target of the confirmation corrector 2.

そして、ステップＳ１１０において、表示制御部４２は、図１１に示すように、確認訂正者２の端末装置１１の表示画面に、記憶部３３に記憶された確認訂正者２の確認対象テーブルに基づいて、第１の帳票画像と第２の帳票画像のそれぞれにおける各記入欄に対応するＯＣＲ結果を確認訂正して決定する際に参照された手書文字画像を合成した合成画像５７を表示するように制御する。さらに、表示制御部４２は、合成画像５７における各項目の記入欄における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、訂正内容入力欄５３と、を対応付けて表示するよう制御する。 Then, in step S110, as shown in FIG. 11, the display control unit 42 displays the confirmation target table of the confirmation corrector 2 stored in the storage unit 33 on the display screen of the terminal device 11 of the confirmation corrector 2. , The composite image 57 which is a composite of the handwritten character image referred to when confirming, correcting, and determining the OCR result corresponding to each entry field in each of the first form image and the second form image is displayed. Control. Further, the display control unit 42 displays the cutout image 51 of the handwritten character image in the entry field of each item in the composite image 57, the OCR result 52 of the cutout image 51, and the correction content input field 53 in association with each other. To control.

そして、ステップＳ１１１において、確認訂正者２により、確認訂正者１により確認訂正された合成画像５７と、合成画像５７における各項目の記入欄における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、が比較され、切り出し画像５１のＯＣＲ結果５２が適切である場合には、訂正内容入力欄５３を空欄のままにして、確認訂正が行なわれる。このとき、図１１に示す表示画面は、確認訂正者２による確認訂正を受け付ける確認訂正画面として機能する。 Then, in step S111, the composite image 57 confirmed and corrected by the confirmation corrector 2 by the confirmation corrector 1, the cutout image 51 of the handwritten character image in the entry field of each item in the composite image 57, and the cutout image 51. The OCR result 52 and the OCR result 52 are compared, and if the OCR result 52 of the cutout image 51 is appropriate, the correction content input field 53 is left blank and the confirmation correction is performed. At this time, the display screen shown in FIG. 11 functions as a confirmation correction screen for accepting confirmation correction by the confirmation corrector 2.

そして、完了ボタン５６が押下されることにより、確認訂正者２の確認訂正は完了する。完了ボタン５６が押下されることにより、受付部４１は、合成画像５７におけるＯＣＲ結果５２又は訂正内容入力欄５３に訂正内容が入力されている場合には、訂正内容入力欄５３に入力された訂正内容で合成画像５７における確認訂正を受け付け、各記入欄に対するテキストデータを決定する。そして、制御部３２は、記憶部３３の確認訂正者２の確認対象テーブルの各項目の記入欄における対応する箇所に、図５において不図示の確認訂正者２による確認訂正内容と、確認番号と確認日時を記録する。 Then, when the completion button 56 is pressed, the confirmation correction of the confirmation corrector 2 is completed. When the completion button 56 is pressed, the reception unit 41 receives the correction input in the correction content input field 53 when the correction content is input in the OCR result 52 or the correction content input field 53 in the composite image 57. The content confirms and corrects the composite image 57, and determines the text data for each entry field. Then, the control unit 32 sets the contents of the confirmation correction by the confirmation corrector 2 (not shown in FIG. 5) and the confirmation number in the corresponding places in the entry fields of each item of the confirmation target table of the confirmation corrector 2 of the storage unit 33. Record the confirmation date and time.

次に、確認訂正者１と確認訂正者２による確認訂正処理が完了した後に、データ管理サーバ１３を管理する管理者が帳票画像の証跡情報を確認する場合の端末装置１２の表示画面例について図１２〜図１４に基づいて詳述する。 Next, the figure shows an example of a display screen of the terminal device 12 when the administrator who manages the data management server 13 confirms the trail information of the form image after the confirmation correction process by the confirmation corrector 1 and the confirmation corrector 2 is completed. It will be described in detail with reference to FIGS. 12 to 14.

管理者は、端末装置１２の表示画面上で、確認訂正者１及び確認訂正者２によりそれぞれ確認訂正された帳票画像と、帳票画像の切り出し画像と、切り出し画像のＯＣＲ結果と、ＯＣＲ結果における訂正内容を確認することが可能である。 On the display screen of the terminal device 12, the administrator confirms and corrects the form image, the cutout image of the form image, the OCR result of the cutout image, and the correction in the OCR result, respectively. It is possible to check the contents.

具体的には、図１２に示すように、確認訂正者１の１回目のタブ６０を選択することにより、確認訂正者１が１回目に確認訂正した第１の帳票画像５０と、第１の帳票画像５０における各項目の切り出し画像と、切り出し画像のＯＣＲ結果と、ＯＣＲ結果の訂正内容を確認することが可能である。 Specifically, as shown in FIG. 12, by selecting the first tab 60 of the confirmation corrector 1, the confirmation corrector 1 first confirms and corrects the first form image 50 and the first. It is possible to confirm the cut-out image of each item in the form image 50, the OCR result of the cut-out image, and the corrected content of the OCR result.

また、図１３に示すように、確認訂正者１の２回目のタブ６１を選択することにより、確認訂正者１が２回目に確認訂正した第２の帳票画像５５と、第２の帳票画像５５における各項目の切り出し画像と、切り出し画像のＯＣＲ結果と、ＯＣＲ結果の訂正内容を確認することが可能である。 Further, as shown in FIG. 13, the second form image 55 and the second form image 55 that the confirmation corrector 1 has confirmed and corrected for the second time by selecting the second tab 61 of the confirmation corrector 1. It is possible to confirm the cut-out image of each item in the above, the OCR result of the cut-out image, and the corrected content of the OCR result.

また、図１４に示すように、確認訂正者２の１回目のタブ６２を選択することにより、確認訂正者２が１回目に確認訂正した合成画像５７と、合成画像５７における各項目の切り出し画像と、切り出し画像のＯＣＲ結果と、ＯＣＲ結果の訂正内容を確認することが可能である。なお、本実施形態では、確認訂正者２の１回目の合成画像５７が、最終確認結果として表示される。 Further, as shown in FIG. 14, by selecting the first tab 62 of the confirmation corrector 2, the composite image 57 confirmed and corrected by the confirmation corrector 2 for the first time, and the cut-out image of each item in the composite image 57. It is possible to confirm the OCR result of the cut-out image and the corrected content of the OCR result. In the present embodiment, the first composite image 57 of the confirmation corrector 2 is displayed as the final confirmation result.

つまり、タブ６０〜６２を切り替えることにより、確認訂正者１により確認訂正された差し戻し前の第１の帳票画像５０と、確認訂正者１により確認訂正された差し戻し後の第２の帳票画像５５と、確認訂正者２により確認訂正され、最終確認結果である合成画像５７と、をそれぞれ切り替えて表示することができる。 That is, by switching tabs 60 to 62, the first form image 50 before remand confirmed and corrected by the confirmation corrector 1 and the second form image 55 after remand confirmed and corrected by the confirmation corrector 1 The composite image 57, which has been confirmed and corrected by the confirmation corrector 2 and is the final confirmation result, can be switched and displayed.

［他の実施形態］
次に、他の実施形態について説明する。本実施形態は、上述した実施形態と差し戻し後の第２の帳票画像が異なる。本実施形態において取り扱う第２の帳票画像の一例を図１５に示す。図１５に示すように、本実施形態では、記入漏れのあった項目の記入欄だけでなく、その他の項目も全て再記入されている帳票画像を第２の帳票画像として用いる。以下では、主に、上述した実施形態と異なる箇所について記載する。本実施形態によっても、上述した実施形態に示す態様と同様の効果が得られる。 [Other Embodiments]
Next, other embodiments will be described. In this embodiment, the second form image after remand is different from the above-described embodiment. FIG. 15 shows an example of the second form image handled in the present embodiment. As shown in FIG. 15, in the present embodiment, a form image in which not only the entry fields for the items that have been omitted but also all other items are re-entered is used as the second form image. In the following, mainly, the parts different from the above-described embodiment will be described. The same effect as that of the embodiment shown in the above-described embodiment can be obtained by this embodiment as well.

データ通信部３１により第２の帳票画像が取得され、認識処理部４０により第２の帳票画像から手書文字画像が抽出され、ＯＣＲ処理が行われると、制御部３２は、差し戻し前の第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、差し戻し後の第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致するか否かを判断する。そして、一致した場合には、第２の帳票画像の記入欄に記入された手書文字画像を抽出しない。また、一致しない場合には、第２の帳票画像の記入欄に記入された手書文字画像を抽出する。 When the data communication unit 31 acquires the second form image, the recognition processing unit 40 extracts the handwritten character image from the second form image, and OCR processing is performed, the control unit 32 performs the first before remand. Whether or not the OCR result of the handwritten character image entered in the entry field of the form image and the OCR result of the handwritten character image entered in the entry field of the second form image after remand match. to decide. Then, if they match, the handwritten character image entered in the entry field of the second form image is not extracted. If they do not match, the handwritten character image entered in the entry field of the second form image is extracted.

そして、表示制御部４２は、図１６に示すように、確認訂正者１の端末装置１０の表示画面に、第２の帳票画像６５を表示するように制御する。さらに、表示制御部４２は、差し戻し前の第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、差し戻し後の第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致しない第２の帳票画像６５の記入欄における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、訂正内容入力欄５３と、を対応付けて表示するように制御する。すなわち、第１の帳票画像において記入漏れの生年月日１の第２の帳票画像６５における手書文字画像の切り出し画像５１と、切り出し画像５１のＯＣＲ結果５２と、訂正内容入力欄５３と、を対応付けて表示するように制御する。 Then, as shown in FIG. 16, the display control unit 42 controls to display the second form image 65 on the display screen of the terminal device 10 of the confirmation corrector 1. Further, the display control unit 42 sets the OCR result of the handwritten character image entered in the entry field of the first form image before the remand and the handwritten character entered in the entry field of the second form image after the remand. The cut-out image 51 of the handwritten character image in the entry field of the second form image 65 that does not match the OCR result of the image, the OCR result 52 of the cut-out image 51, and the correction content input field 53 are displayed in association with each other. Control to do. That is, the cutout image 51 of the handwritten character image in the second form image 65 of the date of birth 1 of the date of birth 1 of the omission in the first form image, the OCR result 52 of the cutout image 51, and the correction content input field 53 are displayed. Control to display in association with each other.

そして、確認訂正者１により、第２の帳票画像６５における生年月日１の記入欄における切り出し画像５１と、ＯＣＲ結果５２と、が比較され、切り出し画像５１のＯＣＲ結果５２が適切である場合には、訂正内容入力欄５３を空欄のままにして、再度の確認訂正が行なわれ、記憶部３３の確認訂正者１の確認対象テーブルに記録される。そして、上述したように、確認訂正者１の確認対象テーブルを参照して、確認訂正者２の確認対象テーブルが生成されて、図１１に示すような確認訂正者２の端末装置１１の表示画面に、確認訂正者２による確認訂正を受け付ける確認訂正画面が表示される。 Then, the confirmation corrector 1 compares the cutout image 51 in the entry field of the date of birth 1 in the second form image 65 with the OCR result 52, and when the OCR result 52 of the cutout image 51 is appropriate. Is left blank in the correction content input field 53, the confirmation correction is performed again, and the image is recorded in the confirmation target table of the confirmation corrector 1 of the storage unit 33. Then, as described above, the confirmation target table of the confirmation corrector 2 is generated with reference to the confirmation target table of the confirmation corrector 1, and the display screen of the terminal device 11 of the confirmation corrector 2 as shown in FIG. A confirmation correction screen for accepting confirmation correction by the confirmation corrector 2 is displayed.

つまり、表示制御部４２は、差し戻し前の第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、差し戻し後の第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致した場合には、差し戻し前に記入された第１の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する。また、表示制御部４２は、差し戻し前の第１の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、差し戻し後の第２の帳票画像の記入欄に記入された手書文字画像のＯＣＲ結果と、が一致しない場合には、差し戻し後に記入された第２の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する。 That is, the display control unit 42 has the OCR result of the handwritten character image entered in the entry field of the first form image before the remand and the handwritten character entered in the entry field of the second form image after the remand. If the OCR result of the image matches, a composite image obtained by synthesizing the handwritten character image entered in the entry field of the first form image entered before the remand is displayed. In addition, the display control unit 42 sets the OCR result of the handwritten character image entered in the entry field of the first form image before the remand and the handwritten character entered in the entry field of the second form image after the remand. If the OCR result of the image does not match, a composite image obtained by synthesizing the handwritten character image entered in the entry field of the second form image entered after the remand is displayed.

なお、上記実施形態では、第１の帳票画像において記入漏れがあった場合を用いて説明したが、本発明はこれに限定されるものではなく、第１の帳票画像において記入ミス等の不備があった場合においても同様に本発明を適用することができる。 In the above embodiment, the case where there is an omission in the entry in the first form image has been described, but the present invention is not limited to this, and there is a defect such as an entry error in the first form image. If so, the present invention can be applied in the same manner.

なお、上記実施形態では、データ管理サーバ１３において文書認識処理を実行する場合を用いて説明したが、本発明はこれに限定されるものではなく、画像形成装置１４や端末装置１０、１１、１２においてそれぞれＯＣＲ処理を実行する場合においても同様に本発明を適用することができるものである。 In the above embodiment, the case where the document recognition process is executed on the data management server 13 has been described, but the present invention is not limited to this, and the image forming apparatus 14 and the terminal apparatus 10, 11, 12 are not limited thereto. The present invention can be similarly applied to the case where the OCR processing is executed in each of the above cases.

また、スマートフォン、タブレット端末装置等の携帯情報端末装置等においても本発明は同様に適用可能である。 Further, the present invention can be similarly applied to mobile information terminal devices such as smartphones and tablet terminal devices.

また、実施形態において、データ管理サーバ１２によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピュータが読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、これらのプログラムは、インターネットなどのネットワーク経由でダウンロードされてもよい。 Further, in the embodiment, the program executed by the data management server 12 includes a magnetic recording medium (magnetic tape, magnetic disk (HDD, Flexible Disk), etc.), an optical recording medium (optical disc (CD (Compact Disk), etc.). It may be provided in a state of being stored in a computer-readable recording medium such as a DVD (Digital Versatile Disk)), an optical magnetic recording medium, or a semiconductor memory (flash ROM or the like). In addition, these programs may be downloaded via a network such as the Internet.

１ ネットワーク
１０、１１、１２ 端末装置
１３ データ管理サーバ
１４ 画像形成装置
１６ ＣＰＵ
１７ メモリ
１８ 記憶装置
１９ 通信インタフェース（ＩＦ）
２０ ユーザインタフェース（ＵＩ）装置
３１ データ通信部
３２ 制御部
３３ 記憶部
４０ 認識処理部
４１ 受付部
４２ 表示制御部 1 Network 10, 11, 12 Terminal equipment 13 Data management server 14 Image forming equipment 16 CPU
17 Memory 18 Storage device 19 Communication interface (IF)
20 User interface (UI) device 31 Data communication unit 32 Control unit 33 Storage unit 40 Recognition processing unit 41 Reception unit 42 Display control unit

Claims (8)

複数の記入欄を有する帳票の各記入欄に記入された手書文字画像を切出して文字情報に変換する文字認識処理を行う認識処理手段と、
前記認識処理手段による認識処理結果に対する確認訂正を受け付けて、各記入欄に対する文字情報を決定する決定手段と、
差し戻し前に記入された第１の帳票画像と、差し戻し後に記入された第２の帳票画像のそれぞれにおける各記入欄に対する文字情報を決定する際に参照された手書文字画像を合成した合成画像を表示するよう制御する表示制御手段と、
を備えた情報処理装置。 A recognition processing means that performs character recognition processing that cuts out the handwritten character image entered in each entry field of a form having multiple entry fields and converts it into character information.
A determination means for accepting confirmation and correction of the recognition processing result by the recognition processing means and determining character information for each entry field,
A composite image obtained by synthesizing the handwritten character image referred to when determining the character information for each entry field in each of the first form image entered before the remand and the second form image entered after the remand. Display control means for controlling display and
Information processing device equipped with. 前記表示制御手段は、前記第１の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、前記第１の帳票画像の記入欄に対応する前記第２の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、が一致した場合には、前記第１の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する請求項１記載の情報処理装置。 The display control means has the recognition processing result of the handwritten character image entered in the entry field of the first form image and the entry field of the second form image corresponding to the entry field of the first form image. If the recognition processing result of the handwritten character image entered in the above matches with that of the handwritten character image, a composite image obtained by synthesizing the handwritten character image entered in the entry field of the first form image is displayed. Information processing equipment. 前記表示制御手段は、前記第１の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、前記第１の帳票画像の記入欄に対応する前記第２の帳票画像の記入欄に記入された手書文字画像の認識処理結果と、が一致しない場合には、前記第２の帳票画像の記入欄に記入された手書文字画像を合成した合成画像を表示する請求項１記載の情報処理装置。 The display control means has the recognition processing result of the handwritten character image entered in the entry field of the first form image and the entry field of the second form image corresponding to the entry field of the first form image. If the recognition processing result of the handwritten character image entered in the above does not match, the composite image obtained by synthesizing the handwritten character image entered in the entry field of the second form image is displayed. Information processing equipment. 前記手書文字画像と、前記手書文字画像の認識処理結果と、前記認識処理結果に対して決定された確認訂正の内容と、を対応付けて記憶する記憶手段をさらに備えた請求項１から３のいずれか記載の情報処理装置。 From claim 1, further comprising a storage means for storing the handwritten character image, the recognition processing result of the handwritten character image, and the content of the confirmation correction determined for the recognition processing result in association with each other. The information processing apparatus according to any one of 3. 前記表示制御手段は、前記手書文字画像と、前記手書文字画像の認識処理結果と、前記認識処理結果に対して決定された確認訂正の内容と、を対応付けて表示するように制御する請求項４記載の情報処理装置。 The display control means controls to display the handwritten character image, the recognition processing result of the handwritten character image, and the content of the confirmation correction determined for the recognition processing result in association with each other. The information processing apparatus according to claim 4. 前記記憶手段は、前記第１の帳票画像と、前記第２の帳票画像と、前記合成画像と、を対応付けて記憶する請求項４又は５に記載の情報処理装置。 The information processing device according to claim 4 or 5, wherein the storage means stores the first form image, the second form image, and the composite image in association with each other. 前記第１の帳票画像と、前記第２の帳票画像と、前記合成画像と、をそれぞれ切り替えて表示する切替手段をさらに備えた請求項６記載の情報処理装置。 The information processing apparatus according to claim 6, further comprising a switching means for switching and displaying the first form image, the second form image, and the composite image, respectively. 複数の記入欄を有する帳票の各記入欄に記入された手書文字画像を切出して文字情報に変換する文字認識処理を行う認識処理ステップと、
前記認識処理ステップによる認識処理結果に対する確認訂正を受け付けて、各記入欄に対する文字情報を決定する決定ステップと、
差し戻し前に記入された第１の帳票画像と、差し戻し後に記入された第２の帳票画像のそれぞれにおける各記入欄に対する文字情報を決定する際に参照された手書文字画像を合成した合成画像を表示するよう制御する表示制御ステップと、
をコンピュータに実行させるためのプログラム。 A recognition processing step that performs character recognition processing that cuts out the handwritten character image entered in each entry field of a form having multiple entry fields and converts it into character information.
A decision step of accepting confirmation and correction of the recognition process result by the recognition process step and determining character information for each entry field,
A composite image obtained by synthesizing the handwritten character image referred to when determining the character information for each entry field in each of the first form image entered before the remand and the second form image entered after the remand. Display control steps that control the display and
A program that lets your computer run.
JP2019194629A 2019-10-25 2019-10-25 Information processing device and program Pending JP2021068306A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019194629A JP2021068306A (en) 2019-10-25 2019-10-25 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019194629A JP2021068306A (en) 2019-10-25 2019-10-25 Information processing device and program

Publications (1)

Publication Number Publication Date
JP2021068306A true JP2021068306A (en) 2021-04-30

Family

ID=75637339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019194629A Pending JP2021068306A (en) 2019-10-25 2019-10-25 Information processing device and program

Country Status (1)

Country Link
JP (1) JP2021068306A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171456A1 (en) * 2022-03-11 2023-09-14 パナソニックＩｐマネジメント株式会社 Determination system, terminal device, determination method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171456A1 (en) * 2022-03-11 2023-09-14 パナソニックＩｐマネジメント株式会社 Determination system, terminal device, determination method, and program

Similar Documents

Publication Publication Date Title
US10984233B2 (en) Image processing apparatus, control method, and non-transitory storage medium that obtain text data for an image
KR102408019B1 (en) Apparatus for setting file name and the like for scan image, control method thereof, and storage medium
JP6050843B2 (en) Information processing apparatus, method, and program
US8676747B2 (en) Document management apparatus, document management method, and computer-readable non-transitory storage medium storing document management program
US11836442B2 (en) Information processing apparatus, method, and storage medium for associating metadata with image data
US9621628B1 (en) Mobile image capture and transmission of documents to a secure repository
US10275196B2 (en) Image forming apparatus that receives bibliographic information including identification information of print data transmitted to other image forming apparatuses and obtains user information associated with the print data, and related display method and non-transitory computer-readable storage medium storing program
US20160231887A1 (en) Document management system, document registration apparatus, document registration method, and computer-readable storage medium
JP2021068306A (en) Information processing device and program
US11462056B2 (en) Information processing device including face authentication, control method, and medium
JP2006209261A (en) Method, apparatus, and program for displaying job of received business form
JP6191500B2 (en) Image processing apparatus, image processing system, and image processing program
US20210166284A1 (en) Information processing system, information processing method, and non-transitory recording medium
US11252290B2 (en) Image processing apparatus, image processing method and storage medium
US10943108B2 (en) Image reader performing character correction
JP7409427B2 (en) Information processing device, information processing system, and program
US11588945B2 (en) Data input support apparatus that displays a window with an item value display area, an overview image display area, and an enlarged image display area
JP6921522B2 (en) Image processing device and its control method and program
JP2006072506A (en) Photographic processor
WO2022070353A1 (en) Information processing system, information processing method, and program
JP2019004365A (en) Information processing apparatus
US9143656B2 (en) Image processing apparatus in which identification information is read from reading medium and process for allowing user to use apparatus if identification information is registered
JP2012243150A (en) Content management device, content management method and content management program
US11206336B2 (en) Information processing apparatus, method, and non-transitory computer readable medium
US20220198210A1 (en) Information processing apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240130