JP2012053519A - Image processing apparatus and image processing system - Google Patents

Image processing apparatus and image processing system Download PDF

Info

Publication number
JP2012053519A
JP2012053519A JP2010193359A JP2010193359A JP2012053519A JP 2012053519 A JP2012053519 A JP 2012053519A JP 2010193359 A JP2010193359 A JP 2010193359A JP 2010193359 A JP2010193359 A JP 2010193359A JP 2012053519 A JP2012053519 A JP 2012053519A
Authority
JP
Japan
Prior art keywords
document
unit
image
character string
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010193359A
Other languages
Japanese (ja)
Other versions
JP5641828B2 (en
Inventor
Tomoyuki Hotta
智之 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2010193359A priority Critical patent/JP5641828B2/en
Publication of JP2012053519A publication Critical patent/JP2012053519A/en
Application granted granted Critical
Publication of JP5641828B2 publication Critical patent/JP5641828B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of confirming readability of a character string of an image which is optically read from a document.SOLUTION: An image processing apparatus comprises: an image acquisition unit; a storage unit; a character recognition unit; a comparison unit; and a readability determination unit. The image acquisition unit acquires an image of a document. The storage unit stores therein a character string candidate specific for the document, for each type of the document. The character recognition unit performs a character recognition process by using a character recognition dictionary set in advance for the image acquired by the image acquisition unit to obtain a character string. The comparison unit compares the character string obtained by the character recognition unit and the character string candidate for each type of the document in the storage unit. The readability determination unit determines readability of the document and a type of the document in which the image is acquired by the image acquisition unit, by whether or not a degree of accordance/discordance between the character string and the character string candidate for each type of the document, which are compared by the comparison unit, exceeds a reference value set in advance.

Description

本発明の実施形態は、画像処理装置および画像処理システムに関する。   Embodiments described herein relate generally to an image processing apparatus and an image processing system.

従来から、例えば書類などの文書を電子化するにあたってはフラットベッドスキャナなどの画像読取装置が利用されている。   2. Description of the Related Art Conventionally, an image reading apparatus such as a flatbed scanner has been used to digitize a document such as a document.

近年、デジタルカメラやカメラ付き携帯電話機などの携帯端末のカメラ性能の向上(高画素化)に伴い文書の電子化に携帯端末などが利用されつつある。   In recent years, with the improvement of camera performance (higher pixels) of mobile terminals such as digital cameras and camera-equipped mobile phones, mobile terminals and the like are being used for digitizing documents.

文字が記載された文書を携帯端末で撮影しその文書の画像を人が読むためには、携帯端末で読み取った画像が十分な判読性を備えていることが重要である。このため、より正確に判読性の有無を確認する技術の構築が必要である。   In order for a person to read a document on which characters are written with a mobile terminal and read an image of the document, it is important that the image read with the mobile terminal has sufficient legibility. For this reason, it is necessary to construct a technique for more accurately checking the presence or absence of legibility.

画像の判読性の判定する技術は、既にいくつか公開されているものの、文書の文字サイズから判読性を判定するため、実際に人が読めるかどうかといったことは判りにくい。   Although several techniques for determining the legibility of an image have already been disclosed, it is difficult to determine whether or not a person can actually read because the legibility is judged from the character size of the document.

特開2005−26597号JP 2005-26597 A

また、読取元の文書が例えば複写したもの、つまりコピー文書などの場合、読取元の文書自体にコピーの影響による文字のつぶれなどが発生していた場合、携帯端末で読み取った画像では、文書に書かれている文字が実際に正しく読めるかどうかは定かでない。   Also, if the source document is a copy, for example, a copy document, or if the source document itself is crushed due to the effect of copying, the image read on the mobile terminal It is not clear whether the written characters can actually be read correctly.

本発明が解決しようとする課題は、書類から光学的に読み取った画像の文字列の判読性を確認することができる画像処理装置および画像処理システムを提供することにある。   An object of the present invention is to provide an image processing apparatus and an image processing system capable of confirming the legibility of a character string of an image optically read from a document.

実施形態の画像処理装置は、画像取得部、記憶部、文字認識部、比較部、判読性判定部を備える。前記画像取得部は書類の画像を取得する。前記記憶部には前記書類特有の文字列候補が前記書類の種別毎に記憶されている。前記文字認識部は前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る。前記比較部は前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する。前記判読性判定部は、前記比較部により比較された書類の種別毎の文字列候補と文字列との一致/不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する。   The image processing apparatus according to the embodiment includes an image acquisition unit, a storage unit, a character recognition unit, a comparison unit, and a legibility determination unit. The image acquisition unit acquires an image of a document. The storage unit stores character string candidates specific to the document for each type of the document. The character recognition unit performs a character recognition process on the image acquired by the image acquisition unit using a preset character recognition dictionary to obtain a character string. The comparison unit compares the character string obtained by the character recognition unit with a character string candidate for each type of document in the storage unit. The readability determination unit is configured to determine whether or not the degree of matching / mismatching between the character string candidate and the character string for each document type compared by the comparison unit exceeds a preset reference value. The type of the document from which the image is acquired and the legibility of the document are determined.

第1実施形態の画像処理システムの概要構成を示す図である。1 is a diagram illustrating a schematic configuration of an image processing system according to a first embodiment. 携帯端末の構成を示す図である。It is a figure which shows the structure of a portable terminal. サーバの構成を示す図である。It is a figure which shows the structure of a server. この画像処理システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of this image processing system. 携帯端末の手続き一覧画面を示す図である。It is a figure which shows the procedure list screen of a portable terminal. 携帯端末の書類撮影画面を示す図である。It is a figure which shows the document photography screen of a portable terminal. 判読性ありと判定される書類画像の例を示す図である。It is a figure which shows the example of the document image determined with a legibility. 判読性なしと判定される書類画像の例を示す図である。It is a figure which shows the example of the document image determined with no legibility. 画像処理装置の第2実施形態の構成を示す図である。It is a figure which shows the structure of 2nd Embodiment of an image processing apparatus. 携帯端末のQRコード認識画面を示す図である。It is a figure which shows the QR code recognition screen of a portable terminal. 画像処理装置の第3実施形態の構成を示す図である。It is a figure which shows the structure of 3rd Embodiment of an image processing apparatus. 携帯端末の確認書類の送付画面を示す図である。It is a figure which shows the sending screen of the confirmation document of a portable terminal. 携帯端末の送信メール作成画面を示す図である。It is a figure which shows the transmission mail preparation screen of a portable terminal. 携帯端末の添付データ選択メニュー画面を示す図である。It is a figure which shows the attached data selection menu screen of a portable terminal.

以下、図面を参照して、実施形態を詳細に説明する。
(第1実施形態)
図1は第1実施形態の画像処理装置の構成を示す図である。
図1に示すように、この第1実施形態の画像処理システムは、携帯端末1とサーバ3とを無線基地局2aおよびインターネットなどのネットワーク2を介して接続して構成されている。携帯端末1は、例えばカメラ付き携帯電話機などであり、保険の契約者などが携行している。サーバ3は、例えば保険会社または保険契約の審査会社などに配置されている。
Hereinafter, embodiments will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating the configuration of the image processing apparatus according to the first embodiment.
As shown in FIG. 1, the image processing system of the first embodiment is configured by connecting a mobile terminal 1 and a server 3 via a wireless base station 2a and a network 2 such as the Internet. The mobile terminal 1 is a mobile phone with a camera, for example, and is carried by an insurance contractor. The server 3 is arranged, for example, in an insurance company or an insurance contract examination company.

図2に示すように、携帯端末1は、表示部9、メモリ10、キー操作部11、画像取得部12、手続き識別子付与部13、画像ファイル暗号化部14、無線通信部15、画像廃棄部16、制御部17などを有している。   As shown in FIG. 2, the mobile terminal 1 includes a display unit 9, a memory 10, a key operation unit 11, an image acquisition unit 12, a procedure identifier assignment unit 13, an image file encryption unit 14, a wireless communication unit 15, an image discard unit. 16, a control unit 17 and the like.

表示部9は例えば液晶ディスプレイなどである。メモリ10は、各部が行う処理の作業領域として利用される。メモリ10には、画像取得部12により取得された画像が記憶される。キー操作部11は、例えばテンキー、矢印キー、決定キーなどの操作ボタン(スイッチ)であり、表示部9に表示された複数の書類の種別の中からユーザが選択した書類の種別を受け付ける。キー操作部11は、画像取得部12で画像を取得する書類を指定する書類指定部として機能する。   The display unit 9 is, for example, a liquid crystal display. The memory 10 is used as a work area for processing performed by each unit. The memory 10 stores an image acquired by the image acquisition unit 12. The key operation unit 11 is an operation button (switch) such as a numeric keypad, an arrow key, and an enter key, for example, and accepts a document type selected by the user from among a plurality of document types displayed on the display unit 9. The key operation unit 11 functions as a document designation unit that designates a document from which an image is acquired by the image acquisition unit 12.

画像取得部12は、例えばCCDカメラなどであり、被写体としての書類を撮像し、書類の画像を取得する。CCDカメラの性能(解像度)としては、例えば200万画素(65dpi)以上あることが好ましい。   The image acquisition unit 12 is a CCD camera, for example, and images a document as a subject to acquire a document image. The performance (resolution) of the CCD camera is preferably 2 million pixels (65 dpi) or more, for example.

画像取得部12による書類撮影の際にキー操作部11の決定キーは撮像ボタンとして機能する。手続き識別子付与部13は、キー操作部11により受け付けられた書類の種別を示す識別子(識別情報)を画像に付与する。すなわち手続き識別子付与部13は、画像取得部12により取得された画像にキー操作部11により指定(選択)された書類の種別を示す識別情報を付与する。   When the document acquisition is performed by the image acquisition unit 12, the determination key of the key operation unit 11 functions as an imaging button. The procedure identifier assigning unit 13 assigns an identifier (identification information) indicating the type of document accepted by the key operation unit 11 to the image. That is, the procedure identifier giving unit 13 gives identification information indicating the type of document designated (selected) by the key operation unit 11 to the image acquired by the image acquisition unit 12.

画像ファイル暗号化部14は、書類の種別を示す識別子が付与された送信対象の画像を暗号化する。無線通信部15は、画像ファイル暗号化部14により暗号化された画像を送信する。すなわち無線通信部15は、識別子が付与された書類の画像をサーバ3へ送信する送信部として機能する。画像廃棄部16は、画像を送信した後、メモリ10の画像を消去(廃棄)する。   The image file encryption unit 14 encrypts an image to be transmitted to which an identifier indicating the type of document is assigned. The wireless communication unit 15 transmits the image encrypted by the image file encryption unit 14. That is, the wireless communication unit 15 functions as a transmission unit that transmits an image of a document with an identifier to the server 3. The image discard unit 16 deletes (discards) the image in the memory 10 after transmitting the image.

図3に示すように、サーバ3は、通信部31、画像復号部32、手続き特定部33、書類名特定部34、書類キーワード抽出部35、文字認識部36、認識結果キーワード比較部37、判読性および書類種別判定部38、書類エッジ検出部39、はみ出し判定部40、記憶部42、マスタDB43などを有している。   As shown in FIG. 3, the server 3 includes a communication unit 31, an image decoding unit 32, a procedure specifying unit 33, a document name specifying unit 34, a document keyword extracting unit 35, a character recognizing unit 36, a recognition result keyword comparing unit 37, reading. And a document type determination unit 38, a document edge detection unit 39, a protrusion determination unit 40, a storage unit 42, a master DB 43, and the like.

マスタDB43は、サーバ3の大容量記憶装置、例えばハードディスク装置などに設けられるデータベースである。マスタDB43には、例えば保険の手続きに関する情報(例えば手続き一覧に載せるリストなど)や保険契約者の情報などが記憶されている。 リストとしては、例えば「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」などがある。このうち、例えば「入院給付金請求」であれば、手続き名称として「給付金のご請求」、給付金の請求に関する詳細情報(必要な書類:「医療機関の領収書」、「診療報明細書」…など)といった書類の種別が記憶されている。   The master DB 43 is a database provided in the large-capacity storage device of the server 3 such as a hard disk device. The master DB 43 stores, for example, information on insurance procedures (for example, a list to be included in the procedure list), information on insurance contractors, and the like. Lists include, for example, “confirmation / change of contract”, “change of insurance premium transfer account”, “reissue of insurance deduction certificate”, “change of surname / name, contractor, change of recipient”, “request for hospitalization benefits” , "Death insurance claim". Of these, for example, for “Inpatient Benefit Claim”, the procedure name is “Request for Benefit”, detailed information on the claim for benefits (necessary documents: “Receipt of Medical Institution”, “Details of Medical Report” "... etc.) is stored.

また「医療機関の領収書」という種別の書類であれば、この書類を特定するための領収書キーワード(書類特有の文字列候補)として、例えば「領収書」、「領収証」、「合計」、「円」、「¥」などが記憶されている。このようにマスタDB43は、書類特有の文字列候補を書類の種別毎に記憶する記憶部として機能する。   In addition, if the type of document is “Receipt of medical institution”, for example, “receipt”, “receipt”, “total” “Yen”, “¥”, and the like are stored. As described above, the master DB 43 functions as a storage unit that stores character string candidates specific to a document for each type of document.

またマスタDB43には、画像に付加される書類の識別子に対応付けて保険の手続きが記憶されている。例えば識別子「0001」に対して「契約内容確認・変更」が対応付けられ、識別子「0002」に対して「保険料振替口座変更」が対応付けられ、識別子「0003」に対して「保険控除証明書再発行」が対応付けられ、識別子「0004」に対して「入院給付金請求」が対応付けられている。   The master DB 43 stores insurance procedures in association with document identifiers added to images. For example, “contract details confirmation / change” is associated with identifier “0001”, “insurance fee transfer account change” is associated with identifier “0002”, and “insurance deduction certificate” is associated with identifier “0003”. "Reissue" is associated, and "Inpatient Benefit Claim" is associated with the identifier "0004".

通信部31は、携帯端末1からネットワーク2を通じて送られてきた画像を受信し記憶部42に記憶する。また通信部31は、判読性および書類種別判定部38により判定された画像の見読性判定結果を、ネットワーク2を通じて携帯端末1へ送り通知する判定結果通知部として機能する。画像復号部32は、通信部31により受信された画像を複合化する。   The communication unit 31 receives an image transmitted from the mobile terminal 1 through the network 2 and stores it in the storage unit 42. Further, the communication unit 31 functions as a determination result notification unit that sends the image readability determination result determined by the legibility and document type determination unit 38 to the mobile terminal 1 through the network 2. The image decoding unit 32 composites the image received by the communication unit 31.

手続き特定部33は、画像に付与された識別子から当該手続きを特定する。書類名特定部34は、手続きにて必要となるいくつかの書類の候補(例えば医療機関の領収書」、「診療報明細書」など)を特定する。氏名特定部44は、受信された電子メールの送信元アドレスから送信者(契約者)の氏名を特定する。これらの特定にはマスタDB43の契約情報を用いる。   The procedure specifying unit 33 specifies the procedure from the identifier given to the image. The document name identification unit 34 identifies some candidate documents (for example, a medical institution receipt, a “medical report specification”, etc.) required in the procedure. The name specifying unit 44 specifies the name of the sender (contractor) from the source address of the received electronic mail. The contract information of the master DB 43 is used for specifying these.

書類キーワード抽出部35は、特定された手続きに必要な書類の候補(「医療機関の領収書」、「診療報明細書」など)に対して予め設定されている文字(円、¥など)および文字列(合計、領収証、領収書など)をマスタDB43から読み出す。   The document keyword extraction unit 35 uses characters (yen, ¥, etc.) set in advance for candidate documents (“receipt of medical institution”, “medical report specification”, etc.) necessary for the specified procedure and Character strings (total, receipt, receipt, etc.) are read from the master DB 43.

文字認識部36は、画像を文字認識し、個々の文字の画像とテキストとのペアを生成する。文字認識部36は、認識結果の1文字ずつ連続するテキストの行を文節また単語の単位に区切った文字または文字列を生成する。すなわち文字認識部36は、通信部31により受信された画像に対して予め設定された文字認識辞書(図示せず)を用いて文字認識処理を行い、文字または文字列を得る。   The character recognition unit 36 performs character recognition on the image and generates a pair of an image of each character and text. The character recognizing unit 36 generates a character or a character string obtained by dividing a line of continuous text of each character of the recognition result into a unit of a phrase or a word. That is, the character recognition unit 36 performs a character recognition process on the image received by the communication unit 31 using a preset character recognition dictionary (not shown) to obtain a character or a character string.

認識結果キーワード比較部37は、文字認識部36により文字認識されて文字認識結果として得られた文字列と、書類キーワード抽出部35により抽出された文字列とを比較し、一致/不一致を判定する。すなわち認識結果キーワード比較部37は、文字認識部36により得られた文字列とマスタDB43の書類の種別毎の文字列候補とを比較する。   The recognition result keyword comparing unit 37 compares the character string obtained as a result of character recognition by the character recognizing unit 36 with the character string extracted by the document keyword extracting unit 35, and determines a match / mismatch. . That is, the recognition result keyword comparison unit 37 compares the character string obtained by the character recognition unit 36 with the character string candidates for each document type in the master DB 43.

判読性および書類種別判定部38は、画像の階調変化率を求め、予め設定されている閾値と比較することでフォーカスの状態(ピントが合っているか否か)を判定し、書類画像の判読性(見読性)を判定する。   The legibility and document type determination unit 38 obtains the gradation change rate of the image, determines the focus state (whether it is in focus) by comparing it with a preset threshold value, and reads the document image. Judgment (readability) is determined.

また判読性および書類種別判定部38は、認識結果キーワード比較部37により比較された結果、一致した文字列(書類キーワード)を多く持つ書類(例えば診療報明細書と医療機関の領収書などの候補のうち例えば医療機関の領収書の方)をマスタDB43の参照により特定する。すなわち判読性および書類種別判定部38は、認識結果キーワード比較部37により比較された書類の種別毎の文字列候補と文字列との一致/不一致の度合いが予め設定された基準値を超えたか否かにより、書類の種別と書類の判読性を判定する。   Further, the legibility and document type determination unit 38, as a result of the comparison by the recognition result keyword comparison unit 37, is a candidate having a large number of matching character strings (document keywords) (for example, medical report specifications and medical institution receipts). Among them, for example, the receipt of the medical institution) is specified by referring to the master DB 43. That is, the legibility and document type determination unit 38 determines whether or not the degree of match / mismatch between the character string candidate and the character string for each document type compared by the recognition result keyword comparison unit 37 exceeds a preset reference value. The type of document and the readability of the document are determined based on the above.

書類エッジ検出部39は、当該画像中の書類縁線を検出する。はみ出し判定部40は、書類縁線が、携帯端末1のCCDカメラの撮影範囲から、はみ出しているか否かを判定する。   The document edge detection unit 39 detects a document edge line in the image. The protrusion determination unit 40 determines whether or not the document edge line protrudes from the photographing range of the CCD camera of the mobile terminal 1.

判定結果通知部41は、はみ出し判定部40による、はみ出し判定結果に応じた定型メッセージを記憶部42から読み出し、通信部31から携帯端末1へ通知する。すなわち判定結果通知部41は、判読性および書類種別判定部38により判定された書類の判読性判定結果を携帯端末1へ通知する。   The determination result notification unit 41 reads a fixed message according to the protrusion determination result from the protrusion determination unit 40 from the storage unit 42 and notifies the mobile terminal 1 from the communication unit 31. That is, the determination result notification unit 41 notifies the portable terminal 1 of the document readability determination result determined by the readability and document type determination unit 38.

記憶部42は、例えばメモリなどであり、通信部31により受信された画像が記憶される。記憶部42には、はみ出し判定部40の判定結果に応じた定型メッセージが記憶されている。   The storage unit 42 is a memory, for example, and stores an image received by the communication unit 31. The storage unit 42 stores a standard message corresponding to the determination result of the protrusion determination unit 40.

判定結果が「合格」の場合、書類の画像を正常に受理した旨の通知情報として、例えば「お送りいただきました証明書の画像は正常に受理されました。」などの定型メッセージが記憶部42に記憶されている。   When the determination result is “pass”, as the notification information indicating that the document image has been normally received, a fixed message such as “The certificate image you received has been successfully received” is stored in the storage unit 42. Is remembered.

また判定結果が「不合格」の場合、読み取り不可の通知情報として「[重要]公的証明書の再撮影・ご送付のお願い。先ほどご送付頂きました写真は受理できませんでした。理由:文字列が読み取れませんでした。お願い:お手数ですが再撮影・ご送付をお願いいたします。」などの定型メッセージが記憶部42に記憶されている。   In addition, if the judgment result is “Fail”, the notice information that cannot be read is “[Important] Please re-shoot / send the official certificate. The photo you sent earlier was not accepted. Reason: Text The column could not be read. Please note: Sorry for your inconvenience, but please re-shoot and send. "

次に、図4乃至図8を参照してこの第1実施形態の画像処理システムの動作を説明する。
この第1実施形態の場合、利用者が携帯端末1のキーを操作して、予め携帯端末1にインストールされている手続き用アプリケーションソフトウェア(以下「手続き用アプリ」と称す)を起動すると(図4のステップS101)、携帯端末1に、図5に示すような画面51が表示される。手続き用アプリの起動は携帯端末1の所定のキー(アプリキーなど)の操作で行うものとする。
Next, the operation of the image processing system according to the first embodiment will be described with reference to FIGS.
In the case of the first embodiment, when a user operates a key of the mobile terminal 1 and starts up procedure application software (hereinafter referred to as “procedure application”) that is installed in the mobile terminal 1 in advance (FIG. 4). Step S101), a screen 51 as shown in FIG. It is assumed that the procedure application is activated by operating a predetermined key (such as an application key) of the mobile terminal 1.

この画面51には、「お手続き一覧」として、マスタDB43のリスト(「契約内容確認・変更」、「保険料振替口座変更」、「保険控除証明書再発行」、「改姓・名、契約者変更、受取人変更」、「入院給付金請求」、「死亡保険金請求」)が選択メニューとして表示されている。   In this screen 51, as the “procedure list”, the master DB 43 list (“contract details confirmation / change”, “insurance transfer account change”, “insurance deduction certificate reissue”, “rename / name, contractor” Change, payee change, hospitalization benefit claim, death insurance claim)) are displayed as selection menus.

この中から、ユーザがキー操作部11により「入院給付金請求」を選択すると(ステップS102)、画像取得部12は、図6に示すような撮像枠52(カメラの視野)を表示する書類撮影画面53を表示し(ステップS103)、ユーザが書類を撮像枠52内に入れるようにして撮像ボタンを押下することで、書類の画像が画像取得部12により撮影されると共に(ステップS104)、選択された書類の種別を示す識別子が、手続き識別子付与部13により画像ファイル名に付与されて(ステップS105)、メモリ10に記憶される。   When the user selects “hospital benefit claim” from the key operation unit 11 (step S102), the image acquisition unit 12 captures a document for displaying an imaging frame 52 (camera field of view) as shown in FIG. The screen 53 is displayed (step S103), and the image of the document is photographed by the image acquisition unit 12 when the user presses the image capture button so that the document is placed in the image capture frame 52 (step S104). An identifier indicating the type of the document that has been assigned is assigned to the image file name by the procedure identifier assigning unit 13 (step S105) and stored in the memory 10.

さらにメモリ10の画像は、画像ファイル暗号化部14により暗号化された後(ステップS106)、無線通信部15によりサーバ3へ送信される(ステップS107)。   Further, the image in the memory 10 is encrypted by the image file encryption unit 14 (step S106), and then transmitted to the server 3 by the wireless communication unit 15 (step S107).

画像が無線通信部15によりサーバ3へ送信された後、画像廃棄部16はメモリ10に保持されている画像を廃棄する(ステップS108)。   After the image is transmitted to the server 3 by the wireless communication unit 15, the image discarding unit 16 discards the image held in the memory 10 (step S108).

一方、サーバ3では、携帯端末1からネットワーク2を通じて送られてきた、暗号化された画像が通信部31により受信され、記憶部42に記憶される。   On the other hand, in the server 3, the encrypted image transmitted from the mobile terminal 1 through the network 2 is received by the communication unit 31 and stored in the storage unit 42.

すると、画像復号部32が、記憶部42の暗号化された画像を読み出して復号し(ステップS201)、その画像を記憶部42に記憶する。   Then, the image decryption unit 32 reads and decrypts the encrypted image in the storage unit 42 (step S201), and stores the image in the storage unit 42.

続いて、手続き特定部33は、復号した画像のファイル名に付与された識別子をキーワードにしてマスタDB43を検索することで当該手続きの内容を特定する(ステップS202)。   Subsequently, the procedure specifying unit 33 specifies the contents of the procedure by searching the master DB 43 using the identifier given to the file name of the decrypted image as a keyword (step S202).

手続きの内容が特定されると、書類名特定部34は、当該手続きでマスタDB43を検索し(ステップS203)、当該手続きに必要となる書類を特定する。   When the contents of the procedure are specified, the document name specifying unit 34 searches the master DB 43 by the procedure (step S203), and specifies a document necessary for the procedure.

この例のように、手続きが例えば入院給付金の精算であれば、画像のファイル名に付加されていた識別子より必要書類は"医療機関の領収書"か"医療報酬明細書"である。   As in this example, if the procedure is, for example, payment of hospitalization benefits, the required document is “medical institution receipt” or “medical remuneration statement” based on the identifier added to the image file name.

書類が特定されると、書類キーワード抽出部35は、特定された書類の書類キーワード(文字列)をマスタDB43から読み出し(ステップS204)、認識結果キーワード比較部37に渡す。"医療機関の領収書"であれば、領収書キーワードとして、「領収書」、「領収証」、「合計」、「円」、「¥」などが予めマスタDB43に登録されており、これらがマスタDB43から読み出される。   When the document is specified, the document keyword extraction unit 35 reads the document keyword (character string) of the specified document from the master DB 43 (step S204), and passes it to the recognition result keyword comparison unit 37. In the case of “Receipt of medical institution”, “Receipt”, “Receipt”, “Total”, “Yen”, “¥”, etc. are registered in the master DB 43 in advance as master keywords. Read from DB43.

また、文字認識部36は、記憶部42から画像を読み出し、文字認識し(ステップS205)、その認識結果として得られた文字列を認識結果キーワード比較部37に渡す。   Further, the character recognition unit 36 reads an image from the storage unit 42, recognizes the character (step S205), and passes the character string obtained as the recognition result to the recognition result keyword comparison unit 37.

認識結果キーワード比較部37は、書類キーワード抽出部35から渡された文字列(文字列候補)と文字認識部36から渡された文字認識結果の文字列とを比較して(ステップS206)、文字列候補と文字列との一致/不一致の度合い、つまり互いの文字列の一致度を判定する。   The recognition result keyword comparison unit 37 compares the character string (character string candidate) passed from the document keyword extraction unit 35 with the character string of the character recognition result passed from the character recognition unit 36 (step S206). The degree of matching / mismatching between the column candidate and the character string, that is, the matching degree between the character strings is determined.

判読性および書類種別判定部38は、認識結果キーワード比較部37により比較された結果、文字列の一致度が予め設定された閾値よりも高い場合、画像の判読性有りするとともに、書類の種別(例えば医療機関の領収書」)を特定する(ステップS207)。なお閾値は例えば80%などに設定されている。   When the character string matching degree is higher than a preset threshold value as a result of comparison by the recognition result keyword comparison unit 37, the legibility and document type determination unit 38 has image legibility and document type ( For example, a medical institution's receipt ") is specified (step S207). The threshold is set to 80%, for example.

この他、判読性および書類種別判定部38は、画像の階調変化率を求め、求めた画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を判読性判定結果の一つに含める。
続いて書類エッジ検出部39は、当該画像中の書類縁線(書類の外縁)を検出する(ステップS208)。
In addition, the legibility and document type determination unit 38 obtains the gradation change rate of the image, determines whether or not the image is in focus based on whether or not the gradation change rate of the obtained image exceeds a preset threshold. The focus pass / fail judgment result is included in one of the legibility judgment results.
Subsequently, the document edge detection unit 39 detects a document edge line (outer edge of the document) in the image (step S208).

書類縁線が検出されると、はみ出し判定部40は、図7に示すように、その検出された元画像71の書類縁線72が、予め設定された書類の画像の判読許容範囲(内側と外側の2つの基準線73,74)に接しているか否かによって、書類の傾きによる判読範囲からのはみ出しの有無を判定する(ステップS209)。   When the document edge line is detected, the protrusion determination unit 40, as shown in FIG. 7, the document edge line 72 of the detected original image 71 is set to a predetermined document image interpretation allowable range (inside and Whether or not it protrudes from the interpretation range due to the inclination of the document is determined depending on whether or not it is in contact with the two outer reference lines 73 and 74) (step S209).

例えば図7に示すように、内側と外側の2つの基準線73,74に書類縁線72が接していなければ、はみ出し判定部40は、その書類の画像は判読できるもの、つまり判読性に問題がない「合格」と判定する。また図8に示すように、内側と外側の2つの基準線73,74のうち少なくとも一つに書類縁線72が接していれば、はみ出し判定部40は、その書類の画像は判読できないもの、つまり判読性に問題がある「不合格」と判定する。   For example, as shown in FIG. 7, if the document edge line 72 is not in contact with the two reference lines 73 and 74 on the inner side and the outer side, the protrusion determination unit 40 can read the image of the document, that is, there is a problem in legibility. It is determined that there is no “pass”. As shown in FIG. 8, if the document edge line 72 is in contact with at least one of the two reference lines 73 and 74 on the inner side and the outer side, the protrusion determination unit 40 cannot read the image of the document. That is, it is determined as “Fail” which has a problem in legibility.

はみ出し判定部40は、書類エッジ検出部39により検出された書類の外縁が画像からはみ出しているか否かを判定し、このはみ出し判定結果を判読性判定結果の一つに含める。   The protrusion determination unit 40 determines whether the outer edge of the document detected by the document edge detection unit 39 protrudes from the image, and includes the protrusion determination result in one of the legibility determination results.

判定結果通知部41は、はみ出し判定部40による判定結果に応じた定型メッセージを記憶部42から読み出し、通信部31から携帯端末1へ通知する(ステップS210)。判定後の画像は制御部30により記憶部42からハードディスク装置などの不揮発性記憶部に移されて保存される(ステップS211)。   The determination result notification unit 41 reads a fixed message corresponding to the determination result by the protrusion determination unit 40 from the storage unit 42 and notifies the portable terminal 1 from the communication unit 31 (step S210). The image after the determination is transferred from the storage unit 42 to a non-volatile storage unit such as a hard disk device and stored by the control unit 30 (step S211).

このようにこの第1実施形態によれば、携帯端末1で撮影した書類の画像のファイル名に書類の種別を示す識別子を付けてサーバ3へ送信し、サーバ3では、携帯端末1から受信された画像に対して文字認識して得られた文字列と画像のファイル名の識別子が示す書類を特定するいくつかの文字列候補との一致度を確認して書類の種別を判定するので、画像が書類としての判読性を備えており、かつ画像が手続きに必要な書類の画像であることを同時に確認でき、信頼性の高い確認結果を得ることができる。   As described above, according to the first embodiment, the file name of the document image taken by the portable terminal 1 is attached to the identifier indicating the document type and transmitted to the server 3, and the server 3 receives the document from the portable terminal 1. The type of document is determined by checking the degree of coincidence between the character string obtained by performing character recognition on the image and the character string candidates for identifying the document indicated by the file name identifier of the image. Has the legibility as a document, and at the same time, it can be confirmed that the image is an image of a document necessary for the procedure, and a highly reliable confirmation result can be obtained.

また、取得した画像における被写体(書類)の外縁形状を検出し、被写領域における書類の占める割合の合否、及び被写領域からのはみ出しの有無を判定して結果を通知することで、撮影失敗時のリカバーを効率化し、後戻り作業を防ぐことに貢献できる。   In addition, by detecting the outer edge shape of the subject (document) in the acquired image, determining whether the ratio of the document to the subject area is acceptable, and whether or not it is protruding from the subject area, and notifying the result, shooting failure It can contribute to the efficiency of time recovery and prevention of backtracking work.

さらに、画像における階調変化率を確認することにより被写体全体のピントの合否を確認することで、文字列だけでなく、絵や写真の部分についても見易さ(見読性)を確認できる。   Furthermore, by confirming whether or not the entire subject is in focus by confirming the gradation change rate in the image, it is possible to confirm not only the character string but also the portion of the picture or photograph (readability).

なお上記実施形態では、携帯端末1の画面51で、ユーザが所望の「手続き」を選択する場合について説明したが、「手続き」によっては複数の書類が必要なものもあり書類を特定するのに候補をあげ、その中から絞り込むという処理が必要である。   In the above embodiment, the case where the user selects a desired “procedure” on the screen 51 of the mobile terminal 1 has been described. However, depending on the “procedure”, a plurality of documents may be required. A process is required in which candidates are given and narrowed down from them.

そこで、携帯端末1の画面51でユーザが所望の「手続き」を選択した後、続いて、必要な書類の候補を列挙し、列挙した中でユーザが送る書類をユーザに選択させるようにすれば、撮像される書類が確定し、サーバ3側での書類種別の絞り込み処理が不用になる。
(第2実施形態)
次に図9、図10を参照して第2実施形態を説明する。図9は第2実施形態の画像処理システムの携帯端末の構成を示す図である。なお第1実施形態と同様の構成には同一の符号を付しその説明は省略する。
Therefore, after the user selects a desired “procedure” on the screen 51 of the portable terminal 1, the necessary document candidates are enumerated, and the user selects a document to be sent in the enumerated list. The document to be imaged is fixed, and the processing for narrowing down the document type on the server 3 side becomes unnecessary.
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. FIG. 9 is a diagram illustrating a configuration of a portable terminal of the image processing system according to the second embodiment. In addition, the same code | symbol is attached | subjected to the structure similar to 1st Embodiment, and the description is abbreviate | omitted.

図9に示すように、この第2実施形態の携帯端末1は、QRコード認識部18を備える。QRコード認識部18はユーザがこれから送る書類または手続きの識別情報(識別子)を含むQRコードを認識する。すなわちQRコード認識部18は、画像取得部12により画像が取得される書類の情報をQRコードから得る。   As shown in FIG. 9, the mobile terminal 1 of the second embodiment includes a QR code recognition unit 18. The QR code recognizing unit 18 recognizes a QR code including identification information (identifier) of a document or procedure to be transmitted from the user. That is, the QR code recognizing unit 18 obtains information on the document from which the image is acquired by the image acquiring unit 12 from the QR code.

この第2実施形態の場合、手続き毎または書類毎のQRコードを予め紙などに印刷しておき、QRコード認識部18は、図10に示すように、QRコード認識画面81を表示し、紙に印刷された所望の書類または手続きを示すQRコード82を撮像し認識することで、書類または手続きを識別する識別情報(識別子)を取得し、それを書類画像のファイル名の一部として付加する。   In the case of the second embodiment, a QR code for each procedure or each document is printed on paper or the like in advance, and the QR code recognition unit 18 displays a QR code recognition screen 81 as shown in FIG. By capturing and recognizing a QR code 82 indicating a desired document or procedure printed on the document, identification information (identifier) for identifying the document or procedure is acquired and added as a part of the file name of the document image. .

書類画像のファイル名については、携帯端末1のデフォルトの名称を自動でリネームするか、または手操作にて「タイトル編集」でリネームする。   As for the file name of the document image, the default name of the portable terminal 1 is automatically renamed or manually renamed by “title editing”.

当該書類画像ファイルを取得後、ユーザによる送信操作により、当該書類画像ファイルは画像ファイル暗号化部14により暗号化され、無線通信部15からネットワーク2を通じてサーバ3へアップロードされる。そして、サーバ3へのアップロード後、メモリ10に保持されていた画像ファイルは画像廃棄部16により廃棄される。   After obtaining the document image file, the document image file is encrypted by the image file encryption unit 14 and uploaded to the server 3 from the wireless communication unit 15 through the network 2 by a transmission operation by the user. Then, after uploading to the server 3, the image file held in the memory 10 is discarded by the image discarding unit 16.

サーバ3では、ネットワーク2から受信された、暗号化されたファイルを画像復号部32が復号する。復号した画像ファイルの名称から書類種別を導出し、当該書類に含まれる書類キーワード(文字列の候補)をマスタDB43から読み出し、当該画像ファイルを文字認識し、その文字認識の結果と当該文書キーワード(文字列の候補)との一致/不一致を確認する。   In the server 3, the image decryption unit 32 decrypts the encrypted file received from the network 2. The document type is derived from the decrypted image file name, the document keyword (character string candidate) included in the document is read from the master DB 43, the image file is recognized, the result of the character recognition and the document keyword ( Check for match / mismatch with (candidate character string).

書類キーワード(文字列の候補)と一致する文字認識結果の文字列が検出された場合には画像が判読性を備えており、かつ画像ファイルがその名称に付与されていた識別子が示す書類であることが確認できる。   When a character string of a character recognition result that matches a document keyword (character string candidate) is detected, the image is readable and the image file is a document indicated by the identifier assigned to the name. I can confirm that.

一方、文書キーワード(文字列の候補)と一致する文字認識結果の文字列が検出されなかった場合には、その画像が判読性を備えていないか、または、受信された画像ファイルがその名称の識別子が示す書類でないことが確認できる。   On the other hand, if the character string of the character recognition result that matches the document keyword (character string candidate) is not detected, the image is not readable or the received image file has the name. It can be confirmed that it is not the document indicated by the identifier.

このような判読性の判定の他に、画像中の書類紙面のエッジを検出し、画像内に書類全体が含まれているか(画像から書類がはみ出していないか)を確認する処理(はみ出し判定)を入れても良い)
このようにこの第2実施形態によれば、QRコード認識部18を設けて、書類または手続きを示すQRコード82を認識することで、第1実施形態の効果に加え、書類または手続きの指定(入力)を容易にかつ確実に行うことができる。
すなわち、撮影した画像と合せて保持させる画像中に含まれる文字列情報をQRコードから取得することで、キー入力による手間・ミスを軽減できる。
(第3実施形態)
次に図11乃至図14を参照して第3実施形態を説明する。図11は第3実施形態の画像処理システムの携帯端末1の構成を示す図である。なお第1実施形態及び第2実施形態と同様の構成には同一の符号を付しその説明は省略する。
In addition to this judgment of legibility, processing to detect the edge of the document paper in the image and check whether the whole document is included in the image (whether the document does not protrude from the image) (extrusion judgment) May be included)
As described above, according to the second embodiment, by providing the QR code recognition unit 18 and recognizing the QR code 82 indicating the document or procedure, in addition to the effects of the first embodiment, the designation of the document or procedure ( Input) can be performed easily and reliably.
That is, by acquiring the character string information included in the image to be held together with the photographed image from the QR code, it is possible to reduce labor and mistakes due to key input.
(Third embodiment)
Next, a third embodiment will be described with reference to FIGS. FIG. 11 is a diagram illustrating a configuration of the mobile terminal 1 of the image processing system according to the third embodiment. In addition, the same code | symbol is attached | subjected to the structure similar to 1st Embodiment and 2nd Embodiment, and the description is abbreviate | omitted.

この第3実施形態の携帯端末1は、図11に示すように、アドレスリンク入力部19を備える。このアドレスリンク入力部19は、書類種別毎に異なるメールアドレスのリンクを手続きの選択項目に設定し、選択項目が選択されることで、送信メール作成画面を表示し、送信メール作成画面の宛先の欄に、リンクされたメールアドレスを入力する。   The mobile terminal 1 according to the third embodiment includes an address link input unit 19 as shown in FIG. This address link input unit 19 sets a mail address link different for each document type as a selection item of the procedure, and when the selection item is selected, displays the outgoing mail creation screen and displays the destination address on the outgoing mail creation screen. Enter the linked email address in the field.

図12に示すように、図5に示した手続き一覧の画面51から、ユーザが例えば契約内容の確認・変更などの選択項目を選択すると、アドレスリンク入力部19は、図12に示すように、「ご本人確認書類の送付」というタイトルの画面83(以下「確認書類の送付画面83」と称す)を表示する。   As shown in FIG. 12, when the user selects a selection item such as confirmation / change of contract contents from the procedure list screen 51 shown in FIG. 5, the address link input unit 19, as shown in FIG. 12, A screen 83 titled “Send Identity Verification Document” (hereinafter referred to as “Send Confirmation Document Screen 83”) is displayed.

この確認書類の送付画面83には、「契約内容確認」、「契約内容変更」といった2つの選択項目と、同意のチェックボックスと、「戻る」、「入力」、「メニュー」のリンクボタンが設けられている。2つの選択項目にはそれぞれ異なる送信先メールアドレスがリンクされている。   The confirmation document sending screen 83 is provided with two selection items such as “confirm contract contents” and “change contract contents”, a check box for consent, and link buttons for “return”, “input”, and “menu”. It has been. Different selection destination email addresses are linked to the two selection items.

マスタDB43には、例えば"契約内容確認"という選択項目に対してサーバ3の受信アドレスとして、例えばxx0@xxxx.co.jpが対応して記憶され、"契約内容変更"という選択項目に対してサーバ3の受信アドレスとして、例えばxx1@xxxx.co.jpなどが対応して記憶された手続き−電子メールアドレス対応テーブルが設けられている。またサーバ3は手続き毎の受信メールアカウントを有しており、電子メールが受信された受信メールアカウントによって、手続きの内容を判定できる。   In the master DB 43, for example, xx0@xxxx.co.jp is stored as a reception address of the server 3 for the selection item “contract content confirmation”, for example, and for the selection item “contract content change”. As the reception address of the server 3, for example, a procedure-email address correspondence table storing xx1@xxxx.co.jp and the like is provided. The server 3 has a received mail account for each procedure, and the contents of the procedure can be determined based on the received mail account from which the e-mail is received.

ここで、例えば「契約内容変更」という選択項目を選択し、「同意…」のチェックボックスにチェックを入れ、「入力」のリンクボタンを操作すると、アドレスリンク入力部19は、図13に示すように、宛先にxx1@xxxx.co.jpを挿入した送信メール作成画面84を表示する。   Here, for example, when the selection item “contract contents change” is selected, the check box of “agreement ...” is checked, and the link button of “input” is operated, the address link input unit 19 is as shown in FIG. Then, a send mail creation screen 84 with xx1@xxxx.co.jp inserted in the destination is displayed.

この送信メール作成画面84にて、「添付」の項目を選択すると、アドレスリンク入力部19は、図14に示すような添付データ選択メニュー画面85を表示する。   When the item “Attachment” is selected on the outgoing mail creation screen 84, the address link input unit 19 displays an attached data selection menu screen 85 as shown in FIG.

ここで、ユーザが「フォト撮影」の項目86を選択すると、図6に示した撮像枠52を設けた書類撮影画面53を表示し、ユーザが書類を撮像枠52内に入れるようにして撮像ボタンを押下することで、書類の画像が撮影され、撮影された書類の画像ファイルを添付した電子メールがサーバ3へ送信される。   Here, when the user selects the “photo shooting” item 86, the document shooting screen 53 provided with the imaging frame 52 shown in FIG. 6 is displayed, and the imaging button is set so that the user puts the document in the imaging frame 52. By pressing, an image of the document is photographed, and an e-mail attached with the image file of the photographed document is transmitted to the server 3.

この場合、サーバ3の通信部31には、書類毎に設定されたサーバ3の受信アドレスが設定されており、通信部31は、電子メールが受信された受信アドレスによって、電子メールに添付されている書類画像の種別を識別できる。またこの例の場合、マスタDB43には、事前にユーザ(契約者)の氏名または個人を特定する識別子(契約者番号など)とユーザの電子メールアドレス(送信元アドレス)とを対応付けて記憶しておく。   In this case, the communication unit 31 of the server 3 is set with the receiving address of the server 3 set for each document, and the communication unit 31 is attached to the e-mail according to the receiving address at which the e-mail is received. Can identify the type of document image. In the case of this example, in the master DB 43, an identifier (such as a contractor number) for specifying the name or individual of the user (contractor) and the user's e-mail address (source address) are stored in advance in association with each other. Keep it.

以下、この第3実施形態の動作を説明する。まず概要動作を説明する。この第2実施形態の場合、携帯端末1から手続きに必要な書類の画像を送信する際に、ユーザが、送信する書類を選択することで、書類の種別毎に設定された送信先サーバの電子メールアドレスを宛先とした送信メール作成画面(電子メール送信用の画面)を表示し、通常の撮影画像添付操作により取得した画像ファイルを添付した電子メールをサーバ3へ送信する。   Hereinafter, the operation of the third embodiment will be described. First, the outline operation will be described. In the case of the second embodiment, when transmitting an image of a document necessary for the procedure from the mobile terminal 1, the user selects the document to be transmitted, and the electronic server of the transmission destination server set for each document type is selected. A transmission mail creation screen (screen for electronic mail transmission) with the mail address as the destination is displayed, and an electronic mail attached with an image file acquired by a normal captured image attachment operation is transmitted to the server 3.

サーバ3では、通信部31が電子メールを受信し、添付されている当該画像ファイルを取得すると、受信した電子メールの送信元アドレスをキーにしてマスタDB43を検索し、当該電子メールの送付者(契約者)の氏名または個人を特定する識別子(契約者番号など)を読み出し、当該電子メールに添付されていた画像ファイルを文字認識した結果から送付者の氏名もしくは個人を特定する識別子を取得し、互いを比較および照合する。   In the server 3, when the communication unit 31 receives the e-mail and acquires the attached image file, the master DB 43 is searched using the transmission source address of the received e-mail as a key, and the sender ( Retrieves the identifier (identity of the contractor) or individual (contractor number, etc.), and obtains the identifier identifying the sender's name or individual from the result of character recognition of the image file attached to the email, Compare and match each other.

マスタDB43から読み出した氏名や識別子と一致する文字列が文字認識結果から見つかった場合には画像が判読性を備えており、かつ電子メールの送付者に関する書類であることが確認できる。   If a character string that matches the name and identifier read from the master DB 43 is found from the character recognition result, it can be confirmed that the image has readability and is a document related to the sender of the e-mail.

一方、一致する文字列が文字認識結果から見つからなかった場合には画像が判読性を備えていないか、または、電子メールの送付者に関する書類でないことが確認できる。   On the other hand, if no matching character string is found from the character recognition result, it can be confirmed that the image is not readable or is not a document related to the sender of the e-mail.

なお、このような判読性の判定の他に、第1実施形態で説明したように、書類画像の階調変化率を求めたり、画像から書類縁線(エッジ)を検出し、はみ出し判定処理を行うことによりさらに確実な判読性の判定を行える。   In addition to the determination of legibility as described above, as described in the first embodiment, the gradation change rate of the document image is obtained, the document edge line (edge) is detected from the image, and the protrusion determination process is performed. This makes it possible to determine the legibility more reliably.

次に、この第3実施形態の詳細な動作を説明する。
携帯端末1の手続き一覧の画面51にて選択された「手続き」から、確認書類の送付画面83(図12参照)を表示し、種別の書類を画像取得部12にて撮影し、その画像を画像ファイル暗号化部14が暗号化して電子メールの添付ファイルとしてサーバ3へ送信する。電子メールをサーバ3へ送信した後、画像廃棄部16はメモリ10に保持されている書類の画像を廃棄(消去)する。
Next, the detailed operation of the third embodiment will be described.
From the “procedure” selected on the procedure list screen 51 of the portable terminal 1, the confirmation document sending screen 83 (see FIG. 12) is displayed, and the image acquisition unit 12 shoots the type of document, and the image is displayed. The image file encryption unit 14 encrypts it and transmits it to the server 3 as an attached file of an electronic mail. After sending the e-mail to the server 3, the image discarding unit 16 discards (erases) the document image held in the memory 10.

サーバ3では、携帯端末1から送信されてきた電子メールが通信部31により受信されると、その電子メールに添付されている、暗号化されたファイルを画像復号部32が復号し、復号した画像を記憶部42に記憶する。   In the server 3, when the e-mail transmitted from the mobile terminal 1 is received by the communication unit 31, the image decryption unit 32 decrypts the encrypted file attached to the e-mail, and the decrypted image Is stored in the storage unit 42.

すると、手続き特定部33は、画像が添付された電子メールの送信先アドレスから、手続きを特定する。また氏名特定部44は、受信された電子メールから送信元アドレスを抽出し、マスタDB43を参照して送信元アドレスに該当する保険契約者の氏名を特定し、記憶部42に記憶する。   Then, the procedure specifying unit 33 specifies the procedure from the transmission destination address of the e-mail attached with the image. The name specifying unit 44 extracts the source address from the received e-mail, specifies the name of the policyholder corresponding to the source address with reference to the master DB 43, and stores it in the storage unit 42.

続いて、文字認識部36は、記憶部42の画像を読み出して文字認識し、文字認識した結果として得られた文字列を記憶部42に記憶する。   Subsequently, the character recognition unit 36 reads the image in the storage unit 42 and performs character recognition, and stores the character string obtained as a result of character recognition in the storage unit 42.

認識結果キーワード比較部37は、記憶部42に記憶された文字認識結果の文字列と保険契約者の氏名とを読み出して互いを比較し、比較結果を判読性及び書類種別判定部38に渡す。   The recognition result keyword comparison unit 37 reads the character recognition result character string stored in the storage unit 42 and the name of the policyholder, compares them, and passes the comparison result to the legibility and document type determination unit 38.

判読性及び書類種別判定部38は、認識結果キーワード比較部37から渡された比較結果を基に当該画像の書類としての判読性と、受信された電子メールの送信者が保険契約者であるか否かを判定する。例えば保険契約者の氏名と文字認識結果の文字列とが一致するものが検出された場合、画像の判読性ありと判定し、かつ画像が電子メールの送付者である契約者に関する書類であることが確認できる。   The legibility and document type determination unit 38 reads the image as a document based on the comparison result passed from the recognition result keyword comparison unit 37 and whether the sender of the received e-mail is an insurance policyholder. Determine whether or not. For example, if a name that matches the name of the policyholder and the character recognition result string is detected, it is determined that the image is legible and the image is a document related to the policyholder who is the sender of the e-mail. Can be confirmed.

さらに、書類エッジ検出部39は、当該画像中から書類縁線を検出し、はみ出し判定部40にて撮影範囲からの書類縁線のはみ出しの有無を判定する。   Further, the document edge detection unit 39 detects a document edge line from the image, and the protrusion determination unit 40 determines whether or not the document edge line protrudes from the photographing range.

これら判定結果(判読性判定結果とはみ出しを判定結果)を判定結果通知部41が携帯端末1へ通知し、通知後、サーバ3では、判読性ありと判定された画像をハードディスク装置のマスタDB43の契約者情報と紐付けて保存する。   The determination result notification unit 41 notifies the portable terminal 1 of these determination results (the determination result of the legibility determination result and the protrusion). After the notification, the server 3 displays the image determined to be legible in the master DB 43 of the hard disk device. Save it in association with the contractor information.

この第3実施形態によれば、書類毎に異なる送信先のアドレスリンクを入力するアドレスリンク入力部19を携帯端末1に設けることで、サーバ3では、携帯端末1から送信されてきた電子メールの受信アドレスで書類を特定でき、手続きや書類を特定するためのファイル名から識別子抽出処理などをすることなく、電子メールに添付されてきた書類画像の判読性を確かめることができる。   According to the third embodiment, by providing the mobile terminal 1 with the address link input unit 19 for inputting an address link of a different transmission destination for each document, the server 3 can receive the e-mail transmitted from the mobile terminal 1. The document can be specified by the reception address, and the legibility of the document image attached to the e-mail can be confirmed without performing an identifier extraction process from the file name for specifying the procedure or the document.

なお、携帯端末1から電子メールで書類の画像をサーバ3へ送信する際、携帯端末1が例えば携帯電話機などでは、通信料金(パケット代)がユーザの負担になる。   When the document image is transmitted from the portable terminal 1 to the server 3 by e-mail, if the portable terminal 1 is, for example, a cellular phone, a communication fee (packet fee) is borne by the user.

そこで、ユーザに対してパケット代を補填するため、フリーダイヤルのように受け手がパケット代を払うメールアドレスの仕組みを用いる。具体的には、キャリヤ間のサービス連携により特定メールアドレスへのパケット送信料を受け手側に請求する仕組みを採用するか、もしくは例えば当該手続きが保険金請求であった場合、パケット代相当分を保険金等の支払い時に合算して入金する仕組みとすることが好ましい。   Therefore, in order to compensate the packet fee for the user, a mail address mechanism is used in which the recipient pays the packet fee, such as toll-free. Specifically, a mechanism is adopted in which a packet transmission fee to a specific mail address is charged to the recipient side through service cooperation between carriers, or if the procedure is an insurance claim, for example, the packet equivalent is insured It is preferable to add money when paying money.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

上記実施形態では、携帯端末1としての一例に、カメラ付き携帯電話機を例示したが、この他、例えばインターネット接続機能とカメラ機能を搭載したPDA、タブレット端末および電子ブック端末などであってもよい。   In the above-described embodiment, the camera-equipped mobile phone is illustrated as an example of the mobile terminal 1, but other than this, for example, a PDA, a tablet terminal, an electronic book terminal, and the like equipped with an Internet connection function and a camera function may be used.

タブレット端末に、携帯端末1の機能とサーバ3の機能とを備えることで、タブレット端末は、書類の画像を取得する画像取得部と、書類特有の文字列候補を書類の種別毎に記憶する記憶部と、画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字または文字列を得る文字認識部と、文字認識部により得られた文字列と記憶部の書類の種別毎の文字列候補とを比較する比較部と、比較部により比較された書類の種別毎の文字列候補と文字列との一致/不一致の度合いが予め設定された基準値を超えたか否かにより、画像取得部により前記画像が取得された書類の種別と書類の判読性を判定する判読性判定部とを備える画像処理装置として機能する。   By providing the tablet terminal with the function of the portable terminal 1 and the function of the server 3, the tablet terminal stores an image acquisition unit that acquires an image of the document and a character string candidate that is unique to the document for each type of document. A character recognition unit that performs character recognition processing using a character recognition dictionary set in advance for the image acquired by the image acquisition unit, and a character string obtained by the character recognition unit And a comparison unit that compares the character string candidates for each document type in the storage unit, and a reference in which the degree of match / mismatch between the character string candidate and the character string for each document type compared by the comparison unit is set in advance It functions as an image processing apparatus including a document type from which the image is acquired by the image acquisition unit and a legibility determination unit that determines the legibility of the document depending on whether or not the value is exceeded.

上記実施形態では、画像ファイル名の一部に、書類の種別を識別するための識別情報を含ませたが、この他、例えば画像自体に電子透かしとして識別情報を埋め込んでもよい。この場合、書類の識別情報を隠蔽できるため、書類画像の不正利用などを抑止することができる効果がある。   In the above embodiment, identification information for identifying the type of document is included in a part of the image file name. However, for example, the identification information may be embedded in the image itself as a digital watermark. In this case, since the identification information of the document can be concealed, there is an effect that unauthorized use of the document image can be suppressed.

また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体:electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。電子媒体としては、例えばCD−ROM等の記録媒体やフラッシュメモリ、リムーバブルメディア:Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。   Further, each component shown in the above embodiment may be realized by a program installed in a storage such as a hard disk device of a computer, and the program is stored in a computer-readable electronic medium: electronic media, The computer may realize the functions of the present invention by causing a computer to read a program from an electronic medium. Examples of the electronic medium include a recording medium such as a CD-ROM, flash memory, and removable media. Further, the configuration may be realized by distributing and storing components in different computers connected via a network, and communicating between computers in which the components are functioning.

1…携帯端末、2…ネットワーク、2a…無線基地局、3…サーバ、9…表示部、10…メモリ、11…キー操作部、12…画像取得部、13…手続き識別子付与部、14…画像ファイル暗号化部、15…無線通信部、16…画像廃棄部、17…制御部、18…QRコード認識部、19…アドレスリンク入力部、30…制御部、31…通信部、32…画像復号部、33…手続き特定部、34…書類名特定部、35…書類キーワード抽出部、36…文字認識部、37…認識結果キーワード比較部、38…書類種別判定部、39…書類エッジ検出部、40…はみ出し判定部、41…判定結果通知部、42…記憶部、44…氏名特定部。   DESCRIPTION OF SYMBOLS 1 ... Portable terminal, 2 ... Network, 2a ... Wireless base station, 3 ... Server, 9 ... Display part, 10 ... Memory, 11 ... Key operation part, 12 ... Image acquisition part, 13 ... Procedure identifier provision part, 14 ... Image File encryption unit, 15 ... wireless communication unit, 16 ... image discarding unit, 17 ... control unit, 18 ... QR code recognition unit, 19 ... address link input unit, 30 ... control unit, 31 ... communication unit, 32 ... image decryption , 33 ... Procedure specifying unit, 34 ... Document name specifying unit, 35 ... Document keyword extracting unit, 36 ... Character recognition unit, 37 ... Recognition result keyword comparing unit, 38 ... Document type determining unit, 39 ... Document edge detecting unit, 40 ... a protrusion determination unit, 41 ... a determination result notification unit, 42 ... a storage unit, 44 ... a name identification unit.

Claims (5)

書類の画像を取得する画像取得部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記画像取得部により取得された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致/不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と
を具備することを特徴とする画像処理装置。
An image acquisition unit for acquiring an image of the document;
A storage unit that stores character string candidates specific to the document for each type of the document;
A character recognition unit that performs character recognition processing using a character recognition dictionary set in advance for the image acquired by the image acquisition unit, and obtains a character string;
A comparison unit that compares a character string obtained by the character recognition unit with a character string candidate for each document type in the storage unit, and a character string candidate and a character string for each document type compared by the comparison unit. A readability determination unit that determines the type of the document from which the image has been acquired by the image acquisition unit and the readability of the document, depending on whether the degree of match / mismatch exceeds a preset reference value; An image processing apparatus.
前記判読性判定部は、
前記画像の階調変化率を求め、求めた前記画像の階調変化率が予め設定された閾値を超えたか否かによりピントの合否を判定し、このピントの合否判定結果を前記判読性判定結果の一つに含めることを特徴とする請求項1記載の画像処理装置。
The legibility determination unit
The gradation change rate of the image is obtained, and whether the obtained gradation change rate exceeds a preset threshold value is determined as to whether or not the image is in focus. The image processing apparatus according to claim 1, further comprising:
前記画像に含まれる書類の外縁を検出する縁線検出部と、
前記縁線検出部により検出された書類の外縁が前記画像からはみ出しているか否かを判定し、このはみ出し判定結果を前記判読性判定結果の一つに含めるはみ出し判定部をさらに具備することを特徴とする請求項1または2いずれか記載の画像処理装置。
An edge detection unit for detecting an outer edge of the document included in the image;
It further includes a protrusion determination unit that determines whether or not an outer edge of the document detected by the edge line detection unit protrudes from the image, and includes the protrusion determination result in one of the legibility determination results. The image processing apparatus according to claim 1 or 2.
前記画像取得部により画像が取得される書類の情報を、QRコードから得るQRコード認識部を具備することを特徴とする請求項1乃至3いずれか1記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a QR code recognition unit that obtains information of a document from which an image is acquired by the image acquisition unit from a QR code. 携帯端末とサーバとをネットワークを介して接続した画像処理システムにおいて、
前記携帯端末は、
書類の画像を取得する画像取得部と、
前記画像取得部で画像を取得する書類を指定する書類指定部と、
前記画像取得部により取得された画像に前記書類指定部により指定された書類の種別を示す識別情報を付与する付与部と、
前記識別情報が付与された前記画像を前記サーバへ送信する送信部とを備え、
前記サーバは、
前記画像を受信する受信部と、
前記書類特有の文字列候補を前記書類の種別毎に記憶する記憶部と、
前記受信部により受信された画像に対して予め設定された文字認識辞書を用いて文字認識処理を行い、文字列を得る文字認識部と、
前記文字認識部により得られた文字列と前記記憶部の書類の種別毎の文字列候補とを比較する比較部と
前記比較部により比較された書類の種別毎の文字列候補と文字列との一致/不一致の度合いが予め設定された基準値を超えたか否かにより、前記画像取得部により前記画像が取得された書類の種別と前記書類の判読性を判定する判読性判定部と、
前記判読性判定部により判定された書類の判読性判定結果を前記携帯端末へ通知する通知部と
を具備することを特徴とする画像処理システム。
In an image processing system in which a mobile terminal and a server are connected via a network,
The portable terminal is
An image acquisition unit for acquiring an image of the document;
A document designating unit for designating a document for obtaining an image in the image obtaining unit;
An assigning unit that assigns identification information indicating the type of document designated by the document designating unit to the image obtained by the image obtaining unit;
A transmission unit that transmits the image to which the identification information is attached to the server,
The server
A receiving unit for receiving the image;
A storage unit that stores character string candidates specific to the document for each type of the document;
A character recognition unit that performs character recognition processing using a preset character recognition dictionary for the image received by the receiving unit, and obtains a character string;
A comparison unit that compares a character string obtained by the character recognition unit with a character string candidate for each document type in the storage unit, and a character string candidate and a character string for each document type compared by the comparison unit. A readability determination unit that determines the type of the document from which the image is acquired by the image acquisition unit and the readability of the document, depending on whether the degree of match / mismatch exceeds a preset reference value;
An image processing system comprising: a notification unit that notifies the portable terminal of a result of document legibility determination determined by the legibility determination unit.
JP2010193359A 2010-08-31 2010-08-31 Image processing apparatus and image processing system Active JP5641828B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010193359A JP5641828B2 (en) 2010-08-31 2010-08-31 Image processing apparatus and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010193359A JP5641828B2 (en) 2010-08-31 2010-08-31 Image processing apparatus and image processing system

Publications (2)

Publication Number Publication Date
JP2012053519A true JP2012053519A (en) 2012-03-15
JP5641828B2 JP5641828B2 (en) 2014-12-17

Family

ID=45906799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010193359A Active JP5641828B2 (en) 2010-08-31 2010-08-31 Image processing apparatus and image processing system

Country Status (1)

Country Link
JP (1) JP5641828B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046027A (en) * 2013-08-28 2015-03-12 あいおいニッセイ同和損害保険株式会社 Information acquisition system for insurance policy
JP2015065652A (en) * 2013-08-30 2015-04-09 キヤノンマーケティングジャパン株式会社 Image management system, image management server, image management system control method, image management server control method, program of image management system, and program of image management server
JP2016057676A (en) * 2014-09-05 2016-04-21 株式会社ブランカ Campaign application system
JP2019016379A (en) * 2018-09-20 2019-01-31 三菱電機インフォメーションシステムズ株式会社 Data input device and data input program
CN111680688A (en) * 2020-06-10 2020-09-18 创新奇智(成都)科技有限公司 Character recognition method and device, electronic equipment and storage medium
JP2022541890A (en) * 2019-07-12 2022-09-28 智慧芽信息科技(蘇州)有限公司 Image database construction method, search method, electronic device and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171920A (en) * 1996-12-13 1998-06-26 Aibitsukusu Kk Method and device for character recognition, and its recording medium
JP2005260597A (en) * 2004-03-11 2005-09-22 Casio Comput Co Ltd Digital camera and program
JP2007280285A (en) * 2006-04-11 2007-10-25 Denso Wave Inc Image scanner, information medium and image information processing system
JP2008250425A (en) * 2007-03-29 2008-10-16 Oki Electric Ind Co Ltd Business form processor
JP2010136221A (en) * 2008-12-05 2010-06-17 Bankutekku Japan Kk Image processing system and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171920A (en) * 1996-12-13 1998-06-26 Aibitsukusu Kk Method and device for character recognition, and its recording medium
JP2005260597A (en) * 2004-03-11 2005-09-22 Casio Comput Co Ltd Digital camera and program
JP2007280285A (en) * 2006-04-11 2007-10-25 Denso Wave Inc Image scanner, information medium and image information processing system
JP2008250425A (en) * 2007-03-29 2008-10-16 Oki Electric Ind Co Ltd Business form processor
JP2010136221A (en) * 2008-12-05 2010-06-17 Bankutekku Japan Kk Image processing system and image processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046027A (en) * 2013-08-28 2015-03-12 あいおいニッセイ同和損害保険株式会社 Information acquisition system for insurance policy
JP2015065652A (en) * 2013-08-30 2015-04-09 キヤノンマーケティングジャパン株式会社 Image management system, image management server, image management system control method, image management server control method, program of image management system, and program of image management server
JP2017054558A (en) * 2013-08-30 2017-03-16 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing system, control method, and program
JP2018045730A (en) * 2013-08-30 2018-03-22 キヤノンマーケティングジャパン株式会社 Image management system, image management server, control method of image management system, control method of image management server, program of image management system, program of image management server
JP2019197596A (en) * 2013-08-30 2019-11-14 キヤノンマーケティングジャパン株式会社 Image management system, image management server, control method of image management system, control method of image management server, program of image management system, program of image management server
JP2016057676A (en) * 2014-09-05 2016-04-21 株式会社ブランカ Campaign application system
JP2019016379A (en) * 2018-09-20 2019-01-31 三菱電機インフォメーションシステムズ株式会社 Data input device and data input program
JP2022541890A (en) * 2019-07-12 2022-09-28 智慧芽信息科技(蘇州)有限公司 Image database construction method, search method, electronic device and storage medium
JP7402965B2 (en) 2019-07-12 2023-12-21 智慧芽信息科技(蘇州)有限公司 Image database construction method, search method, electronic equipment and storage medium
CN111680688A (en) * 2020-06-10 2020-09-18 创新奇智(成都)科技有限公司 Character recognition method and device, electronic equipment and storage medium
CN111680688B (en) * 2020-06-10 2023-08-08 创新奇智(成都)科技有限公司 Character recognition method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP5641828B2 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
US9652704B2 (en) Method of providing content transmission service by using printed matter
JP5641828B2 (en) Image processing apparatus and image processing system
US20050205660A1 (en) Mobile paper record processing system
JP5637817B2 (en) Image processing system
EP2613483A1 (en) Method for obtaining information provided by contacts via network after inputting contact information
JP6143973B2 (en) Reply method, apparatus, terminal, program, and recording medium for incoming call
WO2012050672A2 (en) Image identification and sharing on mobile devices
JP2005190155A (en) Information input device, method for inputting information, control program, and storage medium
US9681016B2 (en) Methods and systems for capturing, sharing, and printing annotations
US9934212B2 (en) Methods and systems for capturing, sharing, and printing annotations
WO2013016908A1 (en) Method and system for transferring e-cards combing geography location message with validation message
KR20090008853A (en) Apparatus and method for providing phonebook using image in portable terminal
JP2009075637A (en) Data management system, data providing system, and program
US20170060495A1 (en) Image processing system, mobile terminal, image processing apparatus, non-transitory computer readable medium, and image processing method
JP2015046027A (en) Information acquisition system for insurance policy
JP4501531B2 (en) Image recognition apparatus and program
JP6541311B2 (en) Decryption system, program and method using cryptographic information code
KR101231156B1 (en) System for managing picture folder using quick response code and method thereof
JP5007642B2 (en) E-mail delivery system
JP6677117B2 (en) Image processing apparatus, image processing system, and image processing program
JP6123278B2 (en) Data creation apparatus and data creation method
KR101216436B1 (en) Method for providing personal information using business card and recording-medium recorded program thereof
JP4661980B2 (en) Image recognition apparatus and program
WO2015160126A1 (en) Business card information management system
JP2013025679A (en) System, device, method and program for information processing of business card information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141028

R150 Certificate of patent or registration of utility model

Ref document number: 5641828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350