JP2021157249A - Image acquisition system for OCR and image acquisition method for OCR - Google Patents

Image acquisition system for OCR and image acquisition method for OCR Download PDF

Info

Publication number
JP2021157249A
JP2021157249A JP2020054205A JP2020054205A JP2021157249A JP 2021157249 A JP2021157249 A JP 2021157249A JP 2020054205 A JP2020054205 A JP 2020054205A JP 2020054205 A JP2020054205 A JP 2020054205A JP 2021157249 A JP2021157249 A JP 2021157249A
Authority
JP
Japan
Prior art keywords
image
document
document image
ocr
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020054205A
Other languages
Japanese (ja)
Inventor
亮介 小井戸
Ryosuke Koido
亮介 小井戸
佑亮 谷津
Yusuke Yatsu
佑亮 谷津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Edge Inc
Original Assignee
Toppan Forms Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Forms Co Ltd filed Critical Toppan Forms Co Ltd
Priority to JP2020054205A priority Critical patent/JP2021157249A/en
Publication of JP2021157249A publication Critical patent/JP2021157249A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an image acquisition system for OCR that suppresses the transmission of document image data that cannot be subjected to character recognition processing to a server for OCR processing and reduces a load on the server due to the OCR processing.SOLUTION: The present invention relates to a system for acquiring a document image of a document that is a target of character recognition processing and transmitting the document image to a server for OCR processing, and includes a module group that is downloaded when performing acquisition processing for the document image to be subjected to character recognition and is included in an image acquisition application that operates with a web browser as a platform. The module group includes: a document image imaging module that causes an imaging device to image the document and generates the document image; an image form determination module that determines whether or not the document image is captured as an image form corresponding to a predetermined determination rule; and a document image selection module that performs a selection as the document image to be transmitted to the server that satisfies the form in the determination.SELECTED DRAWING: Figure 1

Description

本発明は、OCR用画像取得システム及びOCR用画像取得方法に関する。 The present invention relates to an OCR image acquisition system and an OCR image acquisition method.

近年、携帯電話やスマートフォンなどのユーザ端末によって、免許証、マイナンバーカード及びマイナンバー通知カードなどの身分証明書を撮像した画像データと、当該画像データを文字認識処理(OCR(Optical Character Recognition)処理)することで得られるテキスト文字情報とを用いることにより、銀行の口座開設などの各種申し込み手続が電子的に行なわれるようになってきている。
ユーザ端末の撮像装置により撮像した文書画像データのOCR処理を行なう技術として、例えば、特許文献1に記載された装置がある。
In recent years, image data obtained by imaging identification cards such as licenses, My Number cards, and My Number notification cards using user terminals such as mobile phones and smartphones, and the image data are subjected to character recognition processing (OCR (Optical Character Recognition) processing). By using the text character information obtained by doing so, various application procedures such as opening a bank account have come to be performed electronically.
As a technique for performing OCR processing of document image data captured by an image pickup device of a user terminal, for example, there is a device described in Patent Document 1.

上記特許文献1に開示される技術においては、例えば、身分証明書を連続して撮像して得られる、当該身分証明書の各々の文書画像データに対してOCR処理を行ない、身分証明書に含まれる、契約書に必要となる読取り対象の項目の文字や数値などの文字情報を取得する。
そして、取得した各項目の文字情報により、申し込み手続の際に必要となる入力フォームの記入欄に対して記載して、ユーザに対応した申し込み書の生成を行なう。
In the technique disclosed in Patent Document 1, for example, OCR processing is performed on each document image data of the identification card obtained by continuously imaging the identification card, and the identification card is included in the identification card. Acquires character information such as characters and numerical values of the item to be read required in the contract.
Then, based on the acquired character information of each item, the application form corresponding to the user is generated by filling in the entry field of the input form required at the time of the application procedure.

特許第6364051号公報Japanese Patent No. 6364051

上述したOCR処理においては、例えば、認識対象の文書を撮像した複数の文書画像データの各々をOCR処理して、同一の認識結果が得られた文書画像データの数を計数し、所定の設定数以上の文書画像データから取得されたテキスト文字をOCR処理における文字認識処理の認識結果として出力する。
このため、上記OCR処理を行なうため、ユーザ端末からOCR処理を行なう申込受付サーバに複数の文書画像データを送信する必要がある。
In the above-mentioned OCR processing, for example, each of a plurality of document image data obtained by capturing an image of a document to be recognized is subjected to OCR processing, the number of document image data for which the same recognition result is obtained is counted, and a predetermined set number is obtained. The text characters acquired from the above document image data are output as the recognition result of the character recognition process in the OCR process.
Therefore, in order to perform the OCR processing, it is necessary to transmit a plurality of document image data from the user terminal to the application reception server that performs the OCR processing.

しかしながら、送信された文書画像データの各々の画像の形態(撮像状態)によっては文字認識が行えずに上記認識結果が得られない場合があり、撮像をやり直し、ユーザ端末から複数の文書画像データを申込受付サーバに送信し直すことになる。
例えば、ユーザが撮像する際、身分証明書の全体が撮像されていない、撮像画像が小さすぎるなどのOCR処理が行えない品質の撮像画像を、文書画像データとして送信した場合、OCR処理において上記認識結果を得ることができない。
この結果、大容量のデータの送信を複数回繰返すことにより、ユーザ端末及び申込受付サーバ間の通信網におけるトラフィックが増大してしまう。
However, depending on the form (imaging state) of each image of the transmitted document image data, character recognition may not be possible and the above recognition result may not be obtained. It will be sent back to the application reception server.
For example, when a user transmits a captured image of a quality that cannot be OCR processed, such as the entire identification card is not captured or the captured image is too small, the above recognition is performed in the OCR processing. I can't get the result.
As a result, the traffic in the communication network between the user terminal and the application reception server increases by repeating the transmission of a large amount of data a plurality of times.

また、上述した文書画像データの品質の問題により、文書画像データの送信が複数回繰返されるため、OCR処理を行なう回数も増加することになり、申込受付サーバにおけるOCR処理の負荷も増大する。
上述した通信網のトラフィックの増大と、申込受付サーバの負荷の増大とにより、申し込み手続の処理が遅延することで、インターネットを利用した申込みの手続に時間を要することになり、インターネットを介した申込み処理におけるユーザの満足度が低下してしまう。
Further, due to the above-mentioned problem of the quality of the document image data, the transmission of the document image data is repeated a plurality of times, so that the number of times of performing the OCR processing also increases, and the load of the OCR processing on the application reception server also increases.
Due to the increase in the traffic of the communication network and the increase in the load on the application reception server described above, the processing of the application procedure is delayed, and it takes time to complete the application procedure using the Internet. User satisfaction in processing is reduced.

本発明は、このような事情に鑑みてなされたもので、OCR処理を行なうサーバに対する文字認識処理が行えない文書画像データの送信を抑制し、かつサーバにおけるOCR処理による負荷を低減させるOCR用画像取得システム及びOCR用画像取得方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and is an image for OCR that suppresses the transmission of document image data that cannot be subjected to character recognition processing to a server that performs OCR processing and reduces the load due to OCR processing on the server. An object of the present invention is to provide an acquisition system and an image acquisition method for OCR.

この発明は上述した課題を解決するためになされたもので、本発明のOCR用画像取得システムは、文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得システムであり、前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれるモジュール群であり、当該モジュール群が、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像モジュールと、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定モジュールと、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択モジュールとを備えることを特徴とする。 The present invention has been made to solve the above-mentioned problems, and the image acquisition system for OCR of the present invention acquires a document image of a document to be subjected to character recognition processing, and is used for a server that performs OCR processing. , An image acquisition system for OCR that transmits the acquired document image, and is a module included in an image acquisition application that is downloaded when the document image acquisition process for performing the character recognition process is performed and operates using a web browser as a platform. It is a group, and the module group is a document image imaging module that causes an imaging device to image a document to generate the document image, and whether or not the document image is imaged in the form of an image corresponding to a predetermined determination rule. It is characterized by including an image form determination module that performs the determination of the above, and a document image selection module that selects a document image satisfying the above form as the document image to be transmitted to the server.

本発明のOCR用画像取得システムは、前記判定ルールが、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える所定の画像領域の形態に対する規定であることを特徴とする。 In the image acquisition system for OCR of the present invention, the determination rule can determine whether or not character recognition processing of a character image in a document image is possible with higher accuracy than other image areas in the document image. It is characterized in that it is a regulation for the form of a predetermined image area.

本発明のOCR用画像取得システムは、前記画像形態判定モジュールが、前記文書画像の前記文書の種別を判別し、前記文書画像とともに前記サーバに送信することを特徴とする。 The OCR image acquisition system of the present invention is characterized in that the image morphology determination module determines the type of the document of the document image and transmits the document image to the server together with the document image.

本発明のOCR用画像取得システムは、前記文書の種別の各々に対して、当該種別毎の前記文書の特徴的な形態に対応して前記判定ルールが設定されていることを特徴とする。 The OCR image acquisition system of the present invention is characterized in that the determination rule is set for each of the document types according to the characteristic form of the document for each type.

本発明のOCR用画像取得方法は、文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得方法であり、前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれる、文書画像撮像モジュール、画像形態判定モジュール及び文書画像選択モジュールの各々を用いて、前記文書画像撮像モジュールが、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像過程と、前記画像形態判定モジュールが、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定過程と、前記文書画像選択モジュールが、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択過程とを含むことを特徴とする。 The OCR image acquisition method of the present invention is an OCR image acquisition method that acquires a document image of a document that is a target of character recognition processing and transmits the acquired document image to a server that performs OCR processing. , Each of the document image imaging module, the image morphology determination module, and the document image selection module, which are downloaded when the document image acquisition process for performing the character recognition process is performed and are included in the image acquisition application that operates using a web browser as a platform. A document image imaging process in which the document image imaging module causes an imaging device to image a document to generate the document image, and an image in which the document image corresponds to a predetermined determination rule by the image morphology determination module. The image form determination process for determining whether or not the image is captured as the form of the above, and the document image selection module selects a document image satisfying the form in the determination as the document image to be transmitted to the server. It is characterized by including a document image selection process.

この発明によれば、OCR処理を行なうサーバに対する文字認識処理が行えない文書画像データの送信を抑制し、かつサーバにおけるOCR処理による負荷を低減させるOCR用画像取得システム及びOCR用画像取得方法を提供することができる。 According to the present invention, there is provided an OCR image acquisition system and an OCR image acquisition method that suppress the transmission of document image data that cannot be subjected to character recognition processing to a server that performs OCR processing and reduce the load of OCR processing on the server. can do.

本発明の実施形態によるOCR用画像取得システムの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the image acquisition system for OCR by embodiment of this invention. 本実施形態のOCR用画像取得システムにより得られた文書画像データに基づく、申込書の入力フォームの生成を説明する図である。It is a figure explaining the generation of the input form of the application form based on the document image data obtained by the image acquisition system for OCR of this embodiment. 本実施形態のOCR用画像取得システムによる身分証明書の文書画像データの取得の処理の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the process of the acquisition of the document image data of the identification card by the image acquisition system for OCR of this embodiment.

本発明のOCR用画像取得システムは、銀行の口座開設などの各種申し込み手続をインターネットを利用して行う場合、免許証、マイナンバーカード及びマイナンバー通知カードなどの身分証明書をユーザの操作により撮像する。
そして、本発明のOCR用画像取得システムは、この身分証明書が撮像された画像データである文書画像データのなかから、OCR処理が可能な形態の文書画像データを選択し、選択された文書画像データを、申し込みの受付を行う申込受付サーバに送信する。これにより、ユーザのユーザ端末から申込受付サーバに対して、OCR処理に適さない形態の文書画像を送信することがなくなり、通信網のトラフィックを抑制し、かつ申込受付サーバがOCR処理の前に行なう前処理の負荷を低減させることができる。
The image acquisition system for OCR of the present invention captures identification cards such as a driver's license, My Number card, and My Number notification card by user's operation when performing various application procedures such as opening a bank account using the Internet. ..
Then, the image acquisition system for OCR of the present invention selects the document image data in a form capable of OCR processing from the document image data which is the image data captured by this identification card, and the selected document image. The data is sent to the application reception server that accepts applications. As a result, the user terminal of the user does not send a document image in a form unsuitable for OCR processing to the application reception server, the traffic on the communication network is suppressed, and the application reception server performs the document image before the OCR processing. The load of preprocessing can be reduced.

以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の実施形態によるOCR用画像取得システムの構成例を示す概念図である。この図1において、ユーザ端末100及び申込受付サーバ200とがインターネットを含む通信網300により接続されている。
ユーザ端末100はユーザの所有するスマートフォンなどの端末である。申込受付サーバ200は、例えば、銀行口座の開設、スポーツクラブへの入会などの申込みの申請を受け付けるサーバである。
ユーザ端末100は、OCR用画像取得システム1、ウェブブラウザ(web(World Wide Web)browser)2及び表示部3を備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a conceptual diagram showing a configuration example of an image acquisition system for OCR according to an embodiment of the present invention. In FIG. 1, the user terminal 100 and the application reception server 200 are connected by a communication network 300 including the Internet.
The user terminal 100 is a terminal such as a smartphone owned by the user. The application reception server 200 is a server that accepts applications for applications such as opening a bank account and joining a sports club.
The user terminal 100 includes an OCR image acquisition system 1, a web browser (web (World Wide Web) browser) 2, and a display unit 3.

本実施形態におけるOCR用画像取得システム1は、利用者が所有するユーザ端末100に備えられているウェブブラウザをプラットフォームとして動作する画像取得アプリケーションにより形成される。すなわち、画像取得アプリケーションは、ウェブブラウザ上で起動することにより、ユーザ端末100のメモリ上において複数のモジュール(モジュール群)として展開され、OCR用画像取得システム1の機能が実現される。また、画像取得アプリケーションのプログラムは、ユーザがユーザ端末100により申請処理を行なう(文字認識処理を行なう必要が生じた)度に、申込受付サーバ200から各ユーザ端末100にダウンロードされ、ユーザ端末100の記憶部に書き込まれて記憶され、申請処理が終了した後に上記記憶部から消去される。
OCR用画像取得システム1は、データ入出力モジュール11、撮像制御モジュール12、画像形態判定モジュール13、文書画像選択モジュール14及び判定ルールテーブル15を備えている。
The OCR image acquisition system 1 in the present embodiment is formed by an image acquisition application that operates using a web browser provided in a user terminal 100 owned by the user as a platform. That is, when the image acquisition application is started on the web browser, it is expanded as a plurality of modules (module groups) on the memory of the user terminal 100, and the function of the OCR image acquisition system 1 is realized. Further, the program of the image acquisition application is downloaded from the application reception server 200 to each user terminal 100 every time the user performs an application process by the user terminal 100 (it becomes necessary to perform a character recognition process), and the user terminal 100 has a program. It is written and stored in the storage unit, and is deleted from the storage unit after the application process is completed.
The OCR image acquisition system 1 includes a data input / output module 11, an imaging control module 12, an image form determination module 13, a document image selection module 14, and a determination rule table 15.

データ入出力モジュール11は、ウェブブラウザ2を介して、申込受付サーバ200との間のデータの送受信を行う。
撮像制御モジュール12は、撮像ガイド枠を表示部3に表示させ、この撮像ガイド枠内に身分証明書が包含される状態でユーザに撮像の操作をさせ、文書の撮像画像である文書画像データを取得する。
ここで、撮像制御モジュール12は、ユーザ端末100の搭載する撮像装置(不図示)を駆動して、身分証明書の撮像画像の所定の周期による連写を行わせて、複数枚(例えば、15枚)の文章画像データ(動画のフレーム画像としてもよい)を取得する。
例えば、身分証明書が免許証及びマイナンバーカードの各々の場合には、裏と表との文書画像データを取得し、マイナンバー通知カードの場合には、表の文書画像データを取得する。
The data input / output module 11 transmits / receives data to / from the application reception server 200 via the web browser 2.
The image pickup control module 12 displays the image pickup guide frame on the display unit 3, causes the user to perform an image pickup operation with the identification card included in the image pickup guide frame, and displays the document image data which is the image capture image of the document. get.
Here, the image pickup control module 12 drives an image pickup device (not shown) mounted on the user terminal 100 to perform continuous shooting of the captured images of the identification card at a predetermined cycle, and a plurality of images (for example, 15). Acquires the text image data (which may be a frame image of a moving image).
For example, if the identification card is a driver's license and My Number card, the document image data on the back and front is acquired, and if the identification card is My Number notification card, the document image data on the front is acquired.

画像形態判定モジュール13は、文書画像データにおける文書の画像部分である文書オブジェクト画像の形態が、予め設定された所定の判定ルールに対応しているか否かの判定を行う。本実施形態においては、上記判定ルールが、文書画像データにおける文字画像の文字認識処理が可能か否かの判定が、この文書画像データの文書オブジェクト画像における他の画像領域に比較してより高い確度で行える文書オブジェクト画像の所定の画像領域(後述する最外枠)の形態に対する規定として設定されている。
ここで、所定の判定ルールとは、ダウンロードした画像取得アプリケーションのプログラムに判定ルールテーブル15として内包されており、少なくとも、文書オブジェクト画像の最外枠の形状(文書の平面視での輪郭の形状)が四角形(頂点が4つ)か否か、文書オブジェクト画像の最外枠の線(例えば、文字画像の近傍にある線分)が検知されるか、文書オブジェクト画像の輪郭である四角形の内角が所定の角度範囲内か否か(台形形状などの形状変形の程度の判定)、文書オブジェクト画像の最外枠の線(例えば、文字画像の近傍にある線分)が湾曲している(歪んでいる)か否か、文書オブジェクト画像の文書画像データに示る面積比率が所定の比率以上であるか否か(の文書オブジェクト画像のサイズの判定)、などである。
また、所定の判定ルールには、文書オブジェクト画像の最外枠における色相が予め設定した色相範囲であるか否か、彩度が予め設定した彩度範囲であるか否か、明度が予め設定した明度範囲であるか否かなども含んでもよい。
The image form determination module 13 determines whether or not the form of the document object image, which is an image portion of the document in the document image data, corresponds to a predetermined determination rule set in advance. In the present embodiment, the determination of whether or not the character recognition processing of the character image in the document image data is possible is more accurate than the other image areas in the document object image of the document image data. It is set as a regulation for the form of a predetermined image area (outermost frame described later) of the document object image that can be performed in.
Here, the predetermined determination rule is included as the determination rule table 15 in the program of the downloaded image acquisition application, and at least the shape of the outermost frame of the document object image (the shape of the outline in the plan view of the document). Is a quadrangle (4 vertices), the outermost frame line of the document object image (for example, a line near the character image) is detected, or the inner angle of the quadrangle that is the outline of the document object image is Whether or not it is within a predetermined angle range (determination of the degree of shape deformation such as a trapezoidal shape), the line of the outermost frame of the document object image (for example, the line segment near the character image) is curved (distorted). Whether or not the area ratio shown in the document image data of the document object image is equal to or greater than a predetermined ratio (determination of the size of the document object image).
Further, in the predetermined determination rule, whether or not the hue in the outermost frame of the document object image is within the preset hue range, whether or not the saturation is within the preset saturation range, and whether or not the brightness is preset are set. It may also include whether or not it is in the lightness range.

すなわち、文書オブジェクト画像が四角形でない場合、撮像ガイド枠から外れており、OCR処理を行う際の文書画像を取得するための情報が欠落していることを示している。輪郭の線が検知されない場合、文書オブジェクト画像の範囲が抽出できないため、文書画像の台形補正などを行うことができないことを意味している。四角形の内角については、斜めに撮像されて台形形状に変形しており、所定の角度を外れている場合、台形補正をしても文字画像がOCR処理できる程度の品質とならないことを示している。輪郭の線が湾曲している場合、文字画像も歪んでおり、OCR処理が可能な品質で撮像されていないことを示している。面積比率が所定の比率未満の場合、文書画像がOCR処理における文字認識が可能な大きさで撮像されていないことを示している。
また、文書オブジェクト画像の最外枠における色相が予め設定された色相範囲でない場合、彩度が予め設定された彩度範囲でない場合、及び明度が予め設定された明度範囲でない場合の各々は、文書オブジェクト画像がOCR処理を行うことが可能な鮮明さを有する文字画像として撮像されていないことを示している。
That is, when the document object image is not a quadrangle, it is out of the imaging guide frame, indicating that the information for acquiring the document image when performing the OCR processing is missing. If the contour line is not detected, it means that the range of the document object image cannot be extracted, and therefore the keystone correction of the document image cannot be performed. The internal angle of the quadrangle is imaged diagonally and deformed into a trapezoidal shape, indicating that if the angle deviates from a predetermined angle, the quality of the character image will not be sufficient for OCR processing even if the trapezoidal correction is performed. .. If the contour line is curved, the character image is also distorted, indicating that the image is not captured with a quality capable of OCR processing. When the area ratio is less than a predetermined ratio, it indicates that the document image is not captured in a size capable of character recognition in the OCR processing.
In addition, when the hue in the outermost frame of the document object image is not in the preset hue range, when the saturation is not in the preset saturation range, and when the brightness is not in the preset brightness range, each of the documents It shows that the object image is not captured as a character image having sharpness capable of performing OCR processing.

文書画像選択モジュール14は、画像形態判定モジュール13の撮像した各文章画像データの判定結果を確認し、上記判定ルールに対応している文書画像データを選択し、それ以外の文書画像データを削除する。
そして、文書画像選択モジュール14は、選択した文書画像データを、データ入出力モジュール11及びウェブブラウザ2を介して申込受付サーバ200に対して送信する。
The document image selection module 14 confirms the determination result of each sentence image data captured by the image form determination module 13, selects the document image data corresponding to the above determination rule, and deletes the other document image data. ..
Then, the document image selection module 14 transmits the selected document image data to the application reception server 200 via the data input / output module 11 and the web browser 2.

申込受付サーバ200は、ユーザ端末100から供給される文書画像データの各々のOCR処理を行なう前に、文書オブジェクト画像の形状の台形補正や、サイズ調整、回転などの前処理を行う。
そして、申込受付サーバ200は、前処理が終了した文書オブジェクト画像が免許証、マイナンバーカード及びマイナンバー通知カードのいずれの文書の画像であるかの判定を行う。
申込受付サーバ200は、例えば、文書画像データにおける文書オブジェクト画像が免許証の画像であると判定した場合、免許証のテンプレート画像と文書オブジェクト画像とを比較し、申請書に必要な項目の文字画像を抽出し、OCR処理(文字認識処理)を行って文字画像を取得する。
The application reception server 200 performs preprocessing such as keystone correction of the shape of the document object image, size adjustment, and rotation before performing OCR processing for each of the document image data supplied from the user terminal 100.
Then, the application reception server 200 determines whether the document object image for which the preprocessing has been completed is the image of the document of the driver's license, the My Number card, or the My Number notification card.
For example, when the application reception server 200 determines that the document object image in the document image data is the image of the license, the application reception server 200 compares the template image of the license with the document object image and character images of the items required for the application form. Is extracted, and OCR processing (character recognition processing) is performed to acquire a character image.

ここで、文字画像は、文書オブジェクト画像に対してOCR処理を行うことで得られた情報であり、項目を示す画像と項目のデータを示す文字の画像を含む。項目を示す画像は、氏名や住所などの項目の欄外に印刷された名称の文字列の画像である。項目のデータを示す画像は、欄の内部に印刷された個人データの画像であり、例えば、文字(数字、記号などを含む)文字列の画像である。 Here, the character image is information obtained by performing OCR processing on the document object image, and includes an image indicating an item and an image of characters indicating item data. The image showing the item is an image of a character string of the name printed in the margin of the item such as a name and an address. The image showing the data of the item is an image of personal data printed inside the column, for example, an image of a character string (including numbers, symbols, etc.).

そして、申込受付サーバ200は、前処理が終了した文書オブジェクト画像の各々のOCR処理を行ない、各項目の文書画像が3個以上の文章画像データにおいて同一のテキスト文字に変換された場合、そのテキスト文字を文字画像のテキストへの変換結果とする。
ここで、本実施形態においては、OCR処理が可能であると判定された文書画像データのみが送信されるため、テキスト文字を変換結果として決定する際、従来に対して同一のテキスト文字に変換された文書画像の枚数を低減させることが可能であり、例えば、従来が3個以上であれば2個以上と数を減少させることにより、申込受付サーバ200のOCR処理における負荷を低減させる構成とすることができる。
Then, the application reception server 200 performs OCR processing for each of the document object images whose preprocessing has been completed, and when the document image of each item is converted into the same text character in three or more sentence image data, the text is displayed. Characters are used as the result of converting character images to text.
Here, in the present embodiment, only the document image data determined to be capable of OCR processing is transmitted, so that when the text character is determined as the conversion result, it is converted to the same text character as in the conventional case. It is possible to reduce the number of document images, for example, if the number is 3 or more in the past, the number is reduced to 2 or more to reduce the load in the OCR processing of the application reception server 200. be able to.

ユーザ端末100のデータ入出力モジュール11は、申し込みの入力フォームの所定の欄に対して、申込受付サーバ200におけるOCR処理によって文書画像データの文字画像からテキスト文字に変換された、申し込みに必要な項目のデータを書き込む(後述の図2(c)における表示領域501及び表示領域502)。
また、このとき、申込受付サーバ200は、文書オブジェクト画像510を入力フォームに張り付ける合成処理を行うが、この合成処理の際に文書オブジェクト画像510(身分証明書の画像)における機微情報の部分510Bを視認できない形態とする(例えば、黒塗りや白抜き、あるいは文字画像を消去など、以下マスクすると称する)。
The data input / output module 11 of the user terminal 100 is an item necessary for application, in which a character image of document image data is converted into text characters by OCR processing in the application reception server 200 for a predetermined field of an application input form. Data is written (display area 501 and display area 502 in FIG. 2C described later).
Further, at this time, the application reception server 200 performs a compositing process of pasting the document object image 510 on the input form, and at the time of this compositing process, the sensitive information portion 510B in the document object image 510 (image of the identification card). Is invisible (for example, blackened or whitened, or erased a character image, etc., hereinafter referred to as masking).

図2は、本実施形態のOCR用画像取得システムにより得られた文書画像データに基づく、申込書の入力フォームの生成を説明する図である。
図2(a)は、画像取得アプリケーションが、申込受付サーバ200からダウンロードされて、ウェブブラウザ上で起動された際に、撮像制御モジュール12が表示部3の表示画面3Sに表示する身分証明書の撮像を促す画像の例である。
図2(a)において、表示領域501は、身分証明書の文書画像データがOCR処理され、ユーザの名前の文字列が表示される領域である。表示領域502は、身分証明書の文書画像データがOCR処理され、ユーザの住所の文字列が表示される領域である。
また、ボタン503は、身分証明書の撮像を行う際に、ユーザが押下(タッチ)することが可能に表示されたボタンである。
FIG. 2 is a diagram illustrating the generation of an application form input form based on the document image data obtained by the OCR image acquisition system of the present embodiment.
FIG. 2A shows an identification card displayed on the display screen 3S of the display unit 3 by the image pickup control module 12 when the image acquisition application is downloaded from the application reception server 200 and started on the web browser. This is an example of an image that encourages imaging.
In FIG. 2A, the display area 501 is an area in which the document image data of the identification card is OCR-processed and the character string of the user's name is displayed. The display area 502 is an area in which the document image data of the identification card is OCR-processed and the character string of the user's address is displayed.
Further, the button 503 is a button displayed so that the user can press (touch) the image of the identification card.

図2(b)は、撮像制御モジュール12が、図2(a)におけるボタン503をユーザが押下した際に表示部3の表示画面3Sに表示する、身分証明書の撮像処理を行う画像の例である。撮像制御モジュール12は、表示部3の表示画面3Sに撮像ガイド枠504を表示する。ユーザは、この撮像ガイド枠504内に身分証明書の文書オブジェクト画像600が包含される位置に、ユーザ端末100をかざして、身分証明書の撮像を行なう。
ボタン507は、ユーザ端末100の撮像装置に対して、身分証明書の撮像を行わせるためのシャッターボタンである。撮像制御モジュール12は、上記ボタン507(シャッターボタン)が押下(タッチ)されることにより、所定の複数枚の文章画像データを取得する。
FIG. 2B is an example of an image in which the imaging control module 12 performs imaging processing of an identification card, which is displayed on the display screen 3S of the display unit 3 when the user presses the button 503 in FIG. 2A. Is. The image pickup control module 12 displays the image pickup guide frame 504 on the display screen 3S of the display unit 3. The user holds the user terminal 100 at a position where the document object image 600 of the identification card is included in the image pickup guide frame 504 to take an image of the identification card.
The button 507 is a shutter button for causing the image pickup device of the user terminal 100 to take an image of the identification card. The image pickup control module 12 acquires a plurality of predetermined text image data by pressing (touching) the button 507 (shutter button).

図2(c)は、文書画像データがOCR処理が行われた後に、申込受付サーバ200が生成した入力フォームの画像の例である。撮像制御モジュール12は、申込受付サーバ200から入力フォームが供給された際、図2(c)の入力フォームを表示部3の表示画面3Sに表示する。
図2(b)において、表示領域501は、身分証明書の文書画像データがOCR処理され、ユーザの名前の文字列が表示される領域である。表示領域501には、文書画像データのOCR処理によって、ユーザの名前を示す文字画像からテキスト文字に変換された、ユーザの名前の文字列が表示される。
FIG. 2C is an example of an image of the input form generated by the application reception server 200 after the document image data is subjected to OCR processing. When the input form is supplied from the application reception server 200, the image pickup control module 12 displays the input form of FIG. 2C on the display screen 3S of the display unit 3.
In FIG. 2B, the display area 501 is an area in which the document image data of the identification card is OCR-processed and the character string of the user's name is displayed. In the display area 501, a character string of the user's name converted from a character image indicating the user's name into text characters by OCR processing of the document image data is displayed.

表示領域502は、身分証明書の文書画像データがOCR処理され、ユーザの住所の文字列が表示される領域である。表示領域502には、文書画像データのOCR処理によって、ユーザの住所を示す文字画像からテキスト文字に変換された、ユーザの住所の文字列が表示される。
また、文書オブジェクト画像は、文書画像から抽出し、前処理で補正された形状の文書オブジェクトの画像であり、入力フォーマットに張り付けられて(合成されて)表示される。この文書オブジェクト画像の機微情報の記載された部分510Bは、例えば、黒く塗りつぶされ、あるいは白抜きとされてマスクされている。
The display area 502 is an area in which the document image data of the identification card is OCR-processed and the character string of the user's address is displayed. In the display area 502, a character string of the user's address converted from a character image indicating the user's address into text characters by OCR processing of the document image data is displayed.
Further, the document object image is an image of a document object having a shape extracted from the document image and corrected by preprocessing, and is pasted (combined) in an input format and displayed. The portion 510B in which the sensitive information of the document object image is described is, for example, painted black or masked as white.

上述した構成により、本実施形態によれば、OCR用画像取得システムが文書画像データをユーザ端末100に搭載された撮像装置により撮像し、撮像された複数の文書画像データにおける文書オブジェクト画像の各々が、文字認識が可能な形態で撮像されているか否かの判定を行い、可能な形態で撮像された文書画像データのみを申込受付サーバ200に対して送信するため、撮像ガイド枠504に包含されていないにも関わらず誤って撮像したり、身分証明書を撮像する際の撮像角度が不適正であったり、文書オブジェクト画像のサイズが小さいなどのOCR処理により文字認識が可能でない文書画像データを従来のように送信したり、OCR処理が行えない場合に身分証明書を再度撮像して文書画像データを再送信したりすることが低減され、通信網300におけるトラフィックを無駄に増加させることを抑制することが可能となり、通信網300に対する通信の負荷を低減することができる。 According to the present embodiment, according to the above-described configuration, the document image data is imaged by the image acquisition device mounted on the user terminal 100, and each of the document object images in the plurality of imaged document image data is captured. , It is included in the image pickup guide frame 504 because it is determined whether or not the image is captured in a form capable of character recognition and only the document image data captured in the possible form is transmitted to the application reception server 200. Conventionally, document image data that cannot be recognized by OCR processing, such as erroneous imaging even though it is not present, the imaging angle when imaging the identification card is inappropriate, or the size of the document object image is small, is conventionally obtained. In the case of transmission such as This makes it possible to reduce the communication load on the communication network 300.

また、本実施形態によれば、文字認識が可能な形態で撮像されている文書画像データが供給されることで、申込受付サーバ200が従来のように文字認識が行えない品質に対する文書画像データに対して前処理、及びOCR処理を行う必要がなくなるため、申込受付サーバ200におけるOCR処理における負荷を低減させることができる。 Further, according to the present embodiment, by supplying the document image data captured in a form capable of character recognition, the document image data for the quality that the application reception server 200 cannot perform character recognition as in the conventional case can be obtained. On the other hand, since it is not necessary to perform the pre-processing and the OCR processing, the load on the OCR processing on the application reception server 200 can be reduced.

また、本実施形態によれば、ウェブブラウザ上において画像取得アプリケーションが、OCR用画像取得システム1における各モジュールに展開されて動作し、OCR処理における前処理の一部を代行して行うため、画像形態判定モジュール13が行う文書オブジェクト画像の形態の判定処理を、申込受付サーバ200との間における判定に必要なデータの送受信を行わずに実行することが可能となり、申込受付サーバ200とウェブブラウザ2との間におけるデータの送受信を行なう必要がなくなり、文書画像選択モジュール14の文書画像データの選択して申込受付サーバ200へ送信するまでの時間が短縮されることで、文書画像データの取得からOCR処理までを短時間で行うことができ、ユーザが身分証明書を撮像してから、図2(c)の入力フォームの画像の取得するまでのリアルタイムに実行することができる。 Further, according to the present embodiment, the image acquisition application is deployed and operated in each module in the OCR image acquisition system 1 on the web browser, and a part of the preprocessing in the OCR processing is performed on behalf of the image. The form determination process of the document object image performed by the form determination module 13 can be executed without sending and receiving data necessary for determination between the application reception server 200 and the web browser 2. It is no longer necessary to send and receive data to and from the document image selection module 14, and the time required to select the document image data of the document image selection module 14 and send it to the application reception server 200 is shortened, so that the time from the acquisition of the document image data to the OCR is shortened. The process can be performed in a short time, and can be executed in real time from the user taking the image of the identification card to the acquisition of the image of the input form shown in FIG. 2 (c).

また、本実施形態によれば、OCR処理により文字認識が可能な文書画像データの取得を行うアプリケーションを、申し込みの処理ごとに申込受付サーバ200からダウンロードして、ユーザ端末100のウェブブラウザ上で実行させる形態として構成しているため、OSをプラットフォームとして動作するアプリケーションがバージョンアップなどのユーザの手間をかける必要があるのに比較して、常に最新のバージョンの文書取得アプリケーションを容易に申込受付サーバ200から提供できる。 Further, according to the present embodiment, an application for acquiring document image data capable of character recognition by OCR processing is downloaded from the application reception server 200 for each application processing and executed on the web browser of the user terminal 100. Since it is configured as a form to be used, the application reception server 200 can easily obtain the latest version of the document acquisition application, as compared with the case where the application operating on the OS as a platform requires time and effort for the user such as version upgrade. Can be provided from.

図3は、本実施形態のOCR用画像取得システムによる身分証明書の文書画像データの取得の処理の動作例を示すフローチャートである。以下の説明においては、銀行口座を開設する際における免許証の文書画像データの取得を例として説明する。
ステップS101:ユーザは、スマートフォンをユーザ端末100として、通信網300におけるインターネットを介して、銀行口座の開設を行うため、銀行の申込受付サーバ200に対してアクセスする。
FIG. 3 is a flowchart showing an operation example of the process of acquiring the document image data of the identification card by the image acquisition system for OCR of the present embodiment. In the following description, acquisition of document image data of a driver's license when opening a bank account will be described as an example.
Step S101: The user uses the smartphone as the user terminal 100 to access the bank application reception server 200 in order to open a bank account via the Internet in the communication network 300.

ステップS102:ユーザは、申込受付サーバ200が表示する口座開設の説明のページにおける画像取得アプリケーションのダウンロードのボタンを押下(タッチ)する。
これにより、ウェブブラウザ2が画像取得アプリケーションをダウンロードし、ユーザ端末100の記憶部(不図示)に対して、画像取得アプリケーションのプログラムを書き込んで記憶させる。
Step S102: The user presses (touches) the download button of the image acquisition application on the account opening explanation page displayed by the application reception server 200.
As a result, the web browser 2 downloads the image acquisition application, and writes and stores the program of the image acquisition application in the storage unit (not shown) of the user terminal 100.

ステップS103:ユーザは、申込受付サーバ200に対して送信する文書画像データを取得するため、画像取得アプリケーションを起動する。
このとき、ウェブブラウザ2は、画像取得アプリケーションをメモリ上に展開し、データ入出力モジュール11、撮像制御モジュール12、画像形態判定モジュール13、文書画像選択モジュール14及び判定ルールテーブルの各々を生成する。
そして、撮像制御モジュール12は、図2(a)に示す、免許証の撮像を促す画面を、ユーザ端末100における表示部3の表示画面3Sに表示する。
Step S103: The user starts an image acquisition application in order to acquire the document image data to be transmitted to the application reception server 200.
At this time, the web browser 2 expands the image acquisition application on the memory and generates each of the data input / output module 11, the imaging control module 12, the image form determination module 13, the document image selection module 14, and the determination rule table.
Then, the image pickup control module 12 displays the screen for prompting the image capture of the driver's license shown in FIG. 2A on the display screen 3S of the display unit 3 on the user terminal 100.

ステップS104:ユーザは、免許証の画像を撮像するため、図2(a)におけるボタン503を押下する。
これにより、撮像制御モジュール12は、ボタン503が押下されたことを検出した場合、図2(b)に示す身分証明書の撮像処理を行う画像を、表示部3の表示画面3Sに表示する。
Step S104: The user presses the button 503 in FIG. 2A to capture an image of the driver's license.
As a result, when the image pickup control module 12 detects that the button 503 is pressed, the image pickup control module 12 displays the image of the identification card shown in FIG. 2B on the display screen 3S of the display unit 3.

ユーザは、表示部3の表示画面3Sにおける撮像ガイド枠504内に、免許証の文書オブジェクト画像600が包含されるように、すなわち、免許証の外周のすべてが撮像ガイド枠504内に収まるように、免許証の撮像位置を調整する。
そして、ユーザは、撮像ガイド枠504内に文書オブジェクト画像が包含されたことを確認し、ボタン507を押下する。
撮像制御モジュール12は、ボタン507が押下したことを検出した場合、所定の周期で複数枚、例えば15枚の文書の撮像画像を撮像装置により撮像する。
The user can include the document object image 600 of the driver's license in the image pickup guide frame 504 on the display screen 3S of the display unit 3, that is, so that the entire outer circumference of the driver's license fits in the image pickup guide frame 504. , Adjust the imaging position of the driver's license.
Then, the user confirms that the document object image is included in the imaging guide frame 504, and presses the button 507.
When the image pickup control module 12 detects that the button 507 is pressed, the image pickup control module 12 takes an image of a plurality of documents, for example, 15 documents, by an image pickup device at a predetermined cycle.

ステップS105:画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールテーブル15における各判定ルールを満たしているか否かの判定を行う。
そして、画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールの規定から外れていない場合、この文書画像データに適正を示すフラグを付加する。
一方、画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールの規定から外れている場合、この文書画像データに不適正を示すフラグを付加する。
Step S105: The image form determination module 13 determines whether or not the form of the document object image of the document image data satisfies each determination rule in the determination rule table 15.
Then, when the form of the document object image of the document image data does not deviate from the definition of the determination rule, the image form determination module 13 adds a flag indicating appropriateness to the document image data.
On the other hand, when the form of the document object image of the document image data is out of the definition of the determination rule, the image form determination module 13 adds a flag indicating improperness to the document image data.

ステップS106:文書画像選択モジュール14は、文書画像データに付与されたフラグを確認し、適性を示している(判定ルールに対応している)か否かの判定を行う。
このとき、文書画像選択モジュール14は、フラグが適性の場合に処理をステップS107へ進め、一方、フラグが不適性の場合に処理をステップS110へ進める。
Step S106: The document image selection module 14 confirms the flag given to the document image data, and determines whether or not it indicates suitability (corresponds to the determination rule).
At this time, the document image selection module 14 advances the process to step S107 when the flag is appropriate, and proceeds to step S110 when the flag is inappropriate.

ステップS107:文書画像選択モジュールS109は、文書画像選択モジュール14がフラグが適性として選択した文書画像データを、データ入出力モジュール11を介して申込受付サーバ200に対して送信する。 Step S107: The document image selection module S109 transmits the document image data selected by the document image selection module 14 as appropriate for the flag to the application reception server 200 via the data input / output module 11.

ステップS108:文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データ、すなわち15枚全ての文書画像データにおける文書オブジェクト画像に対する選択の処理が行われた(選択処理が終了した)か否かの判定を行う。
このとき、文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データに対する選択の処理が終了した場合、処理をステップS109へ進める。
一方、文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データに対する選択の処理が終了していない場合、次の文章画像データの選択処理を行うために処理をステップS105へ進める。
Step S108: The document image selection module 14 has performed selection processing for all document image data captured by the imaging control module 12, that is, document object images in all 15 document image data (selection processing has been completed). Judge whether or not.
At this time, when the document image selection module 14 completes the selection process for all the document image data captured by the image pickup control module 12, the process proceeds to step S109.
On the other hand, when the document image selection module 14 has not completed the selection process for all the document image data captured by the image pickup control module 12, the document image selection module 14 advances the process to step S105 in order to perform the next sentence image data selection process. ..

ステップS109:申込受付サーバ200は、ユーザ端末100の文書画像選択モジュール14から供給される文書画像の各々に対して前処理を行った後、OCR処理を行って必要な項目の文字画像をテキストに変換する。
そして、申込受付サーバ200は、必要な項目の欄に文字列を記述し、前処理した文書オブジェクト画像を合成して、図2(c)に示す入力フォームを生成し、生成した入力フォームをユーザ端末100に対して送信する。
Step S109: The application reception server 200 performs preprocessing on each of the document images supplied from the document image selection module 14 of the user terminal 100, and then performs OCR processing to convert character images of necessary items into text. Convert.
Then, the application reception server 200 describes a character string in the required item field, synthesizes the preprocessed document object image, generates the input form shown in FIG. 2C, and uses the generated input form as the user. It is transmitted to the terminal 100.

ステップS110:データ入出力モジュール11は、申込受付サーバ200から供給される入力フォームを受信し、ユーザ端末100における表示部3の表示画面3Sに表示する。
これにより、ユーザは、表示部3の表示画面3Sに表示された入力フォームを確認し、この入力フォームを使用して、銀行口座の開設を申込受付サーバ200に対して申請する。
そして、データ入出力モジュール11は、上述した申請処理が終了した後、ユーザ端末100の記憶部における画像取得アプリケーションのプログラムを消去する。
Step S110: The data input / output module 11 receives the input form supplied from the application reception server 200 and displays it on the display screen 3S of the display unit 3 on the user terminal 100.
As a result, the user confirms the input form displayed on the display screen 3S of the display unit 3, and uses this input form to apply to the application reception server 200 for opening a bank account.
Then, the data input / output module 11 erases the program of the image acquisition application in the storage unit of the user terminal 100 after the above-mentioned application process is completed.

ステップS111:文書画像選択モジュールS109は、文書画像選択モジュール14がフラグが適性でないとされた文書画像データを削除し、申込受付サーバ200に送信する処理を行わない。 Step S111: The document image selection module S109 does not perform a process in which the document image selection module 14 deletes the document image data whose flag is not appropriate and transmits it to the application reception server 200.

上述した実施形態においては、申込受付サーバ200が、ユーザ端末100から供給される、判定ルールに対応した形態の文書画像データに対してOCR処理の前処理を行うように構成しているが、このOCR処理の前処理も文書画像選択モジュールが行い、申込受付サーバ200がOCR処理のみを行なう構成としてもよい。 In the above-described embodiment, the application reception server 200 is configured to perform preprocessing of OCR processing on the document image data in the form corresponding to the determination rule supplied from the user terminal 100. The document image selection module may also perform preprocessing for OCR processing, and the application reception server 200 may perform only OCR processing.

また、本実施形態において、身分証明書の種別毎のフォーマットのテンプレート(参照画像)、あるいは身分証明書の種別の読取り処理の判定基準などの種別判別情報を、画像取得アプリケーションに内包させてダウンロードすることにより、上記種別判別情報に基づき、文書画像データにおける文書オブジェクト画像の身分証明書の種別を判別し、判別した身分証明書の種別の情報を付加した文書画像データを申込受付サーバに送信する構成としてもよい。 Further, in the present embodiment, the template (reference image) of the format for each type of the ID card or the type discrimination information such as the judgment standard of the reading process of the ID card type is included in the image acquisition application and downloaded. As a result, the type of the identification card of the document object image in the document image data is determined based on the above type identification information, and the document image data to which the information of the determined identification card type is added is transmitted to the application reception server. May be.

また、本実施形態において、ダウンロードする画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、上述した文書画像データから判別した身分証明書に対応する判定ルールテーブルを参照して、文書画像データが判定ルールに対応した形態であるか否かの判定を行なう構成としてもよい。この構成の場合、判定ルールは、身分証明書の種別毎に、文書オブジェクト画像における文字画像の文字認識が可能か否かの判定が他の部分に比較して高い、または文書において最も高い確度で行える部分(領域)における線の状態(かすれ、歪みなど)や、欄の四角形の内角の角度あるいはシンボル的なマークの状態(かすれ、歪みなど)、色相・再度・明度の状態などの画像の形態の規定を含んでいる。
また、本実施形態においては、一例として最外枠、欄の枠を形成する罫線、あるいはシンボル的なマークを用いて説明しているが、形態が予め既知である画像領域であれば、判定の精度を容易に高めることができるためいずれの画像領域を用いてもよい。
Further, in the present embodiment, a judgment rule table included in the image acquisition application to be downloaded is provided for each identification card, and the judgment rule table corresponding to the identification card determined from the above-mentioned document image data is referred to. , The configuration may be such that it is determined whether or not the document image data is in a form corresponding to the determination rule. In the case of this configuration, the judgment rule is that the judgment of whether or not the character recognition of the character image in the document object image is possible is higher than that of other parts, or the highest accuracy in the document, for each type of identification card. Image morphology such as line state (blurring, distortion, etc.) in the part (area) that can be done, angle of the internal angle of the quadrangle in the column or symbolic mark state (blurring, distortion, etc.), hue, re-brightness, etc. Includes the provisions of.
Further, in the present embodiment, the outermost frame, the ruled line forming the frame of the column, or the symbolic mark is used as an example, but if the image region has a known form, the determination is made. Any image region may be used because the accuracy can be easily improved.

また、本実施形態において、画像形態判定モジュール13が非適性と判定した文書画像データが多く、適性と判定した文書画像データの数が、申込受付サーバ200のOCR処理における文字認識の結果の判定に用いる文書画像データの数に満たない場合、撮像処理の追加を促す通知を表示部3の表示画面3Sに表示する構成としてもよい。 Further, in the present embodiment, there are many document image data determined to be unsuitable by the image form determination module 13, and the number of document image data determined to be appropriate is used to determine the result of character recognition in the OCR process of the application reception server 200. If the number of document image data to be used is less than the number, a notification prompting the addition of the imaging process may be displayed on the display screen 3S of the display unit 3.

また、図1におけるOCR用画像取得システム1の機能を実現するための画像取得アプリケーションのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより文章画像データにおける文書オブジェクト画像の形態が判定ルールに対応しているか否かの判定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。 Further, the program of the image acquisition application for realizing the function of the image acquisition system 1 for OCR in FIG. 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system. By executing the program, it may be determined whether or not the form of the document object image in the text image data corresponds to the determination rule. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Further, the "computer system" includes a homepage providing environment (or a display environment) if a WWW system is used.
Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. In that case, it also includes the one that holds the program for a certain period of time, such as the volatile memory inside the computer system that is the server or client. Further, the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and the design and the like within a range not deviating from the gist of the present invention are also included.

1…OCR用画像取得システム
2…ウェブブラウザ
3…表示部
3S…表示画面
11…データ入出力モジュール
12…撮像制御モジュール
13…画像形態判定モジュール
14…文書画像選択モジュール
15…判定ルールテーブル
100…ユーザ端末
200…申込受付サーバ
300…通信網
1 ... Image acquisition system for OCR 2 ... Web browser 3 ... Display unit 3S ... Display screen 11 ... Data input / output module 12 ... Imaging control module 13 ... Image form judgment module 14 ... Document image selection module 15 ... Judgment rule table 100 ... User Terminal 200 ... Application reception server 300 ... Communication network

Claims (5)

文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得システムであり、
前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれるモジュール群であり、当該モジュール群が、
撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像モジュールと、
前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定モジュールと、
前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択モジュールと
を備えることを特徴とするOCR用画像取得システム。
This is an OCR image acquisition system that acquires a document image of a document that is the target of character recognition processing and transmits the acquired document image to a server that performs OCR processing.
It is a module group included in an image acquisition application that is downloaded when performing the document image acquisition process that performs the character recognition process and operates using a web browser as a platform.
A document image imaging module that causes an image pickup device to image a document and generates the document image,
An image form determination module that determines whether or not the document image is captured as an image form corresponding to a predetermined determination rule, and an image form determination module.
An image acquisition system for OCR, comprising: a document image selection module that selects a document image satisfying the above-mentioned form in the determination as the document image to be transmitted to the server.
前記判定ルールが、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える所定の画像領域の形態に対する規定である
ことを特徴とする請求項1に記載のOCR用画像取得システム。
The determination rule is a regulation for a predetermined image region form in which it is possible to determine whether or not character recognition processing of a character image in a document image is possible with higher accuracy than other image regions in the document image. The image acquisition system for OCR according to claim 1.
前記画像形態判定モジュールが、
前記文書画像の前記文書の種別を判別し、前記文書画像とともに前記サーバに送信する
ことを特徴とする請求項1または請求項2に記載のOCR用画像取得システム。
The image morphology determination module
The image acquisition system for OCR according to claim 1 or 2, wherein the type of the document of the document image is determined and transmitted to the server together with the document image.
前記文書の種別の各々に対して、当該種別毎の前記文書の特徴的な形態に対応して前記判定ルールが設定されている
ことを特徴とする請求項1から請求項3のいずれか一項に記載のOCR用画像取得システム。
Any one of claims 1 to 3, wherein the determination rule is set for each of the document types according to the characteristic form of the document for each type. Image acquisition system for OCR described in.
文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得方法であり、
前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれる、文書画像撮像モジュール、画像形態判定モジュール及び文書画像選択モジュールの各々を用いて、
前記文書画像撮像モジュールが、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像過程と、
前記画像形態判定モジュールが、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定過程と、
前記文書画像選択モジュールが、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択過程と
を含むことを特徴とするOCR用画像取得方法。
This is an OCR image acquisition method that acquires a document image of a document that is the target of character recognition processing and transmits the acquired document image to a server that performs OCR processing.
Each of the document image imaging module, the image morphology determination module, and the document image selection module, which are downloaded when the document image acquisition process for performing the character recognition process and are included in the image acquisition application operating using a web browser as a platform, are included. make use of,
A document image capturing process in which the document image capturing module causes an imaging device to image a document to generate the document image.
An image form determination process in which the image form determination module determines whether or not the document image is captured as an image form corresponding to a predetermined determination rule.
An image acquisition method for OCR, wherein the document image selection module includes a document image selection process of selecting a document image satisfying the above-mentioned form in the determination as the document image to be transmitted to the server.
JP2020054205A 2020-03-25 2020-03-25 Image acquisition system for OCR and image acquisition method for OCR Pending JP2021157249A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020054205A JP2021157249A (en) 2020-03-25 2020-03-25 Image acquisition system for OCR and image acquisition method for OCR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020054205A JP2021157249A (en) 2020-03-25 2020-03-25 Image acquisition system for OCR and image acquisition method for OCR

Publications (1)

Publication Number Publication Date
JP2021157249A true JP2021157249A (en) 2021-10-07

Family

ID=77917807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020054205A Pending JP2021157249A (en) 2020-03-25 2020-03-25 Image acquisition system for OCR and image acquisition method for OCR

Country Status (1)

Country Link
JP (1) JP2021157249A (en)

Similar Documents

Publication Publication Date Title
JP4019063B2 (en) Optical terminal device, image processing method and system
US10484610B2 (en) Image-capturing apparatus, captured image processing system, program, and recording medium
JP4875117B2 (en) Image processing device
US8528818B2 (en) Optical reader having an imager
JPWO2004015619A1 (en) Character recognition processing device, character recognition processing method, and portable terminal device
JP2002366941A (en) Palm office assistant
CN105830091A (en) Systems and methods for generating composite images of long documents using mobile video data
KR20070056522A (en) Apparatus and method for automatic grouping of an image in mobile phone
JP5024028B2 (en) Image conversion apparatus, image providing system, photographing / editing apparatus, image conversion method, image conversion program, and recording medium recording the program
JP2021157249A (en) Image acquisition system for OCR and image acquisition method for OCR
JP6217225B2 (en) Image collation device, image collation method and program
JP2001008072A (en) Electronic camera and its control method
JP2018151925A (en) Terminal, character recognition system, control method of terminal and program
US10762344B2 (en) Method and system for using whiteboard changes as interactive directives for vectorization software
JP2020091748A (en) Terminal device, program, and image management method
JP5804430B2 (en) Book information processing apparatus, book information processing method, and program
JP2019120984A (en) Business form data management apparatus, business form data management method
JP7292052B2 (en) Image processing device, guide image generation method and program
CN113723416B (en) Image processing method, device, equipment and storage medium
WO2023027133A1 (en) Image assessment method, image assessment device, and character recognition method
JP7046340B2 (en) Image processing device, terminal, image processing method, program
KR20070002209A (en) Method for providing magnifier by using camera and mobile telecommunication terminal thereof
JP4694389B2 (en) Character recognition method and photographing apparatus
JP2010218041A (en) Portable character recognition device, character recognition program, and character recognition method
JP4504140B2 (en) Writing surface reproduction method, writing surface reproduction device and writing surface reproduction program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402