JP2021086479A - Information processing system, information processing method, and program - Google Patents
Information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP2021086479A JP2021086479A JP2019216251A JP2019216251A JP2021086479A JP 2021086479 A JP2021086479 A JP 2021086479A JP 2019216251 A JP2019216251 A JP 2019216251A JP 2019216251 A JP2019216251 A JP 2019216251A JP 2021086479 A JP2021086479 A JP 2021086479A
- Authority
- JP
- Japan
- Prior art keywords
- item
- detail
- information
- keyword
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000605 extraction Methods 0.000 claims abstract description 74
- 239000000284 extract Substances 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 45
- 238000012790 confirmation Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Character Input (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、帳票の認識を行う情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing system, an information processing method and a program for recognizing forms.
従来では、帳票を認識する際に、帳票画像上における読取対象文字列の記載位置及びその属性を登録した「帳票定義」を用い、読取対象文字列の読み取りとその属性の認識を行うことが知られている。 Conventionally, when recognizing a form, it is known that the reading target character string is read and its attribute is recognized by using the "form definition" in which the description position of the reading target character string on the form image and its attribute are registered. Has been done.
また、従来では、多様なレイアウトが混在する帳票が存在することから、処理対象とする帳票のレイアウトが未知である場合等を想定した帳票の認識の手法が知られている。具体的には、例えば、読み取り対象となる項目の項目名を予め定義し、帳票画像において認識された文字列から、項目名を特定し、特定した項目名の周辺の文字列から、項目の値を抽出することが知られている。 Further, conventionally, since there is a form in which various layouts are mixed, a method of recognizing a form assuming a case where the layout of the form to be processed is unknown is known. Specifically, for example, the item name of the item to be read is defined in advance, the item name is specified from the character string recognized in the form image, and the item value is specified from the character string around the specified item name. Is known to extract.
帳票の中でも、特に明細部に記載される項目名は、帳票を取り扱う組織や帳票の用途等によって、多種多様である。このため、従来の汎用的な定義では、明細部の項目を正しく抽出することが困難な場合があった。 Among the forms, the item names described in the detail section are diverse depending on the organization handling the forms and the purpose of the forms. Therefore, it may be difficult to correctly extract the items of the detail part by the conventional general-purpose definition.
本発明は、上記事情に鑑みて成されたものであり、帳票の認識の精度を向上させることを目的としている。 The present invention has been made in view of the above circumstances, and an object of the present invention is to improve the accuracy of form recognition.
開示の技術は、帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する項目抽出部と、抽出された前記明細項目及び明細項目の値を認識結果として、前記端末装置へ出力する出力部と、を有し、前記項目抽出部は、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出する。 The disclosed technique is a detail item and a value of the detail item included in the detail part from the reading result data in which the character string read from the area indicating the detail part of the form image and the information indicating the position of the character string are associated with each other. The item extraction unit has an item extraction unit for extracting the item and an output unit for outputting the extracted item and the value of the item to the terminal device as a recognition result, and the item extraction unit is used for the item in the form. And, the value of the detail item and the detail item is extracted by referring to the first detail definition information that defines the keyword to be extracted as the detail item and the position of the keyword in the form.
帳票の認識の精度を向上させることができる。 It is possible to improve the accuracy of form recognition.
以下に図面を参照して、実施形態について説明する。図１は、帳票認識システムのシステム構成の一例を示す図である。 The embodiment will be described below with reference to the drawings. FIG. 1 is a diagram showing an example of a system configuration of a form recognition system.
本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。本実施形態の帳票認識システム１００は、情報処理システムの一例である。
The
また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。
Further, the
本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データから、帳票に含まれる項目と項目の値とを抽出し、項目と項目の値とを対応付けたテキストデータとする。
In the
以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。
In the following description, the image of the form read by the scanner function of the
また、以下の説明では、帳票画像に含まれる項目と、この項目の値とを抽出し、項目と項目の値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。 Further, in the following description, extracting the item included in the form image and the value of this item, converting the item and the value of the item into text data, and associating them with each other is called form recognition.
本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０とを有する。記憶部２１０には、帳票画像データベース２３０、業種判定データベース２４０、明細定義データベース２５０、認識結果データベース２６０が設けられている。
The
帳票画像データベース２３０は、帳票画像データが格納される。業種判定データベース２４０は、帳票の発行元の業種を判別する際に参照される情報が格納される。明細定義データベース２５０は、帳票認識処理部２２０による帳票認識を行う際に参照される明細定義情報が格納される。認識結果データベース２６０は、帳票認識処理部２２０による帳票認識の結果を示す情報である認識結果データが格納される。
The
本実施形態の帳票認識処理部２２０は、帳票画像データベース２３０に格納された帳票画像データを取得し、業種判定データベース２４０を参照して帳票の発行元の業種の判定と、参照すべき明細定義情報の特定を行う。そして、帳票認識処理部２２０は、明細定義データベース２５０において、特定された明細定義情報を用いて帳票認識を行い、その結果を認識結果データベース２６０へ格納する。明細定義情報とは、帳票に含まれる明細項目の項目名と項目名の記載位置を示す情報と、を含む。
The form
ここで、本実施形態の帳票認識処理部２２０は、帳票認識を行う際に、明細定義データベース２５０に格納された、個社明細定義情報と、業種明細定義情報と、汎用明細定義情報と、を参照する。
Here, when the form
本実施形態の汎用明細定義情報とは、一般的な帳票における明細項目名に対応する単語を定義した情報である。業種明細定義情報は、業種毎の帳票における明細項目名に対応する単語を定義した情報である。個社明細定義情報とは、帳票認識システム１００を利用する利用者固有の帳票における明細項目名に対応する単語と帳票画像から抽出する情報を定義した情報である。業種判定データベース２４０と、明細定義データベース２５０の詳細は後述する。
The general-purpose detail definition information of the present embodiment is information that defines words corresponding to the detail item names in a general form. The industry detail definition information is information that defines words corresponding to the detail item names in the form for each industry. The individual company detail definition information is information that defines information extracted from the word and the form image corresponding to the detail item name in the user-specific form using the
本実施形態では、このように、帳票認識の際に、３種類の明細定義情報を用いることで、汎用的な帳票に加えて、帳票の明細部を認識することができ、帳票の認識の精度を向上させることができる。 In the present embodiment, in this way, by using three types of detail definition information when recognizing a form, it is possible to recognize the detail part of the form in addition to the general-purpose form, and the accuracy of the recognition of the form. Can be improved.
以下に、帳票における明細部について説明する。帳票の明細部は、データの集計結果等を示す部分であり、明細項目毎に、同じ形式のデータが縦方向に繰り返し印刷された部分である。明細項目とは、明細部で集計されるデータの項目である。一般的な明細項目としては、商品名、数量、単価、金額等が含まれる。明細部の具体的例は後述する。 The details of the form will be described below. The detail part of the form is a part showing the data aggregation result and the like, and is a part in which data of the same format is repeatedly printed in the vertical direction for each detail item. The detail item is an item of data aggregated in the detail section. General item items include a product name, quantity, unit price, amount of money, and the like. A specific example of the detail part will be described later.
本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。
In the
本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者によって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。
The
尚、本実施形態における利用者とは、例えば、帳票の発行元となる企業等である。より具体的には、例えば、利用者とは、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業所や企業、団体等である。
The user in this embodiment is, for example, a company or the like that is the issuer of the form. More specifically, for example, the user is a business establishment, a company, an organization, or the like that has concluded a contract for using the service provided by the
尚、図１の例では、サーバ装置２００は、記憶部２１０内に４つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。
In the example of FIG. 1, the
また、図１の例では、サーバ装置２００が帳票認識処理部２２０を実現するものとしたが、これに限定されない。帳票認識処理部２２０は、複数の情報処理装置によって実現されても良い。
Further, in the example of FIG. 1, the
また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。
Further, in the example of FIG. 1, the
次に、図２を参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。
Next, the hardware configuration of the
本実施形態のサーバ装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバスＢ、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。
The
これらのうち、ＣＰＵ２０１は、サーバ装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示部である。
Of these, the
外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。データバスＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The external device connection I /
また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。
Further, the
本実施形態のサーバ装置２００は、例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ等であっても良い。
The
本実施形態の端末装置４００は、演算処理装置と記憶装置とを有するコンピュータであり、例えば、タブレット型の端末装置や、スマートフォン等であっても良い。
The
次に、本実施形態のサーバ装置２００の有する業種判定データベース２４０と明細定義データベース２５０について説明する。
Next, the
図３は、業種判定データベースの一例を示す図である。本実施形態の業種判定データベース２４０は、各種の業種毎に設けられる。
FIG. 3 is a diagram showing an example of an industry determination database. The
業種判定データベース２４０では、業種と、帳票の発行元とが対応付けられている。図３の例では、業種「人材派遣」と、Ａ社、Ｂ社、Ｃ社とが対応付けられている。したがって、Ａ社、Ｂ社、Ｃ社は、人材派遣業を行っている組織であることがわかる。
In the
次に、図４乃至図７を参照して、本実施形態の明細定義データベース２５０について説明する。図４は、帳票定義データベースに格納される明細定義情報の種類を示す図である。
Next, the
本実施形態の明細定義データベース２５０には、個社明細定義情報２５１と、業種明細定義情報２５２と、汎用明細定義情報２５３と、が格納されている。尚、本実施形態の個社明細定義情報２５１は、第一の明細定義情報であり、業種明細定義情報２５２は、第二の明細定義情報であり、汎用明細定義情報２５３は、第三の明細定義情報である。
The
本実施形態の個社明細定義情報２５１とは、帳票の中でも、利用者が独自に設計した帳票に含まれる明細項目名と記載位置を定義した明細定義情報であり、利用者専用の明細定義情報である。個社明細定義情報２５１は、３つの明細定義情報のうち、最も尊重されるべき定義であり、最も優先度が高い明細定義情報である。
The individual company
本実施形態の業種明細定義情報２５２は、帳票の中でも、各業界において一般的に利用される帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。業種明細定義情報２５２の優先度は、３つの明細定義情報のうちの中間となる。
The industry
本実施形態の汎用明細定義情報２５３とは、帳票の中でも、複数の利用者により利用される汎用性の高い帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。汎用明細定義情報２５３は、３つの明細定義情報のうち、最も優先度の低い明細定義情報である。
The general-purpose
本実施形態の帳票認識処理部２２０は、この３つの明細定義情報を参照して、帳票画像データの認識を行う。したがって、本実施形態では、例えば、帳票画像データが、個社明細定義情報２５１において定義されていない明細項目名を含む帳票のものであった場合でも、業種明細定義情報２５２や汎用明細定義情報２５３で定義されていれば、この帳票画像データを認識できる。
The form
尚、以下の説明では、請求書を帳票の一例として説明する。尚、帳票は、明細部を含むものであれば、どのような帳票であっても良い。具体的には、例えば、帳票は、納品書や見積書等であっても良い。 In the following description, the invoice will be described as an example of the form. The form may be any form as long as it includes a detailed part. Specifically, for example, the form may be a delivery note, a quotation, or the like.
図５は、汎用明細定義情報の一例を示す図である。汎用明細定義情報２５３は、一般的な請求書の明細部で採用される明細項目名を定義するものであり、汎用明細定義情報２５３は、情報の項目として、項目名と、キーワードとを有し、両者は対応付けられている。
FIG. 5 is a diagram showing an example of general-purpose detailed definition information. The general-purpose
項目「明細項目名」の値は、請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、明細部の明細項目名と同義と見なされるキーワード（単語）を示す。 The value of the item "detail item name" indicates the name of the detail item used in the detail part of the invoice. The value of the item "keyword" indicates a keyword (word) that is considered to be synonymous with the detail item name of the detail part.
つまり、汎用明細定義情報２５３は、一般的な帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。
That is, the general-purpose
図５の例では、明細項目名「商品名」は、「商品」、「製品」、「品名」等のキーワードと同義として扱われることを示している。また、図５の例では、明細項目名「金額」は、「金額」、「総額」、「合計」等のキーワードと同義として扱われることを示している。 In the example of FIG. 5, it is shown that the detailed item name "product name" is treated as synonymous with keywords such as "product", "product", and "product name". Further, in the example of FIG. 5, it is shown that the item name "amount" is treated as synonymous with keywords such as "amount", "total amount", and "total".
図６は、業種明細定義情報の一例を示す図である。業種明細定義情報２５２は、業種毎に設けられる情報であり、業種が示す業界における一般的な請求書の明細部で採用される項目名を定義するものである。
FIG. 6 is a diagram showing an example of industry detail definition information. The industry
業種明細定義情報２５２は、業種を特定する情報と、項目「明細項目名」と、項目「キーワード」とを有し、両者は対応付けられている。図６の例では、業種が「人材派遣」であることを示している。
The industry
項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、請求元が人材派遣業の請求書において、一般的な明細項目名に相当するキーワード（単語）を示す。 The value of the item "detail item name" indicates the name of the detail item used in the detail part of a general invoice. The value of the item "keyword" indicates a keyword (word) corresponding to a general detailed item name in the invoice of the dispatching business by the billing source.
つまり、業種明細定義情報２５２は、業種と、帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。
That is, the industry
図６の例では、一般的な帳票の明細項目名「商品名」は、発行元が人材派遣業の請求書の明細部では、「氏名」、「スタッフ」、「メンバー」等のキーワードに置き換えられる場合があることを示している。 In the example of FIG. 6, the detailed item name "product name" of a general form is replaced with keywords such as "name", "staff", and "member" in the detailed part of the invoice issued by the dispatching business. Indicates that it may be possible.
図７は、個社明細定義情報の一例を示す図である。本実施形態の個社明細定義情報２５１は、利用者毎に登録されるものである。ここでの利用者は、請求書の発行元（請求元）である。
FIG. 7 is a diagram showing an example of individual company detailed definition information. The individual company
個社明細定義情報２５１では、請求元を特定する情報と、項目「明細項目名」と、項目「抽出情報」とが対応付けられている。
In the individual company
請求元を特定する情報とは、請求元の名称、電話番号、口座番号等を含む。尚、図７の例では、請求元を特定する情報に、請求元の名称、電話番号、口座番号が含まれるものとしたが、請求元を特定する情報は、これらの情報のうち何れか１つであっても良い。 The information that identifies the billing source includes the name of the billing source, a telephone number, an account number, and the like. In the example of FIG. 7, it is assumed that the information for identifying the billing source includes the name, telephone number, and account number of the billing source, but the information for identifying the billing source is any one of these information. It may be one.
項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。言い換えれば、個社明細定義情報２５１における明細項目名とは、帳票で用いられる明細項目を示す。
The value of the item "detail item name" indicates the name of the detail item used in the detail part of a general invoice. In other words, the detail item name in the individual company
項目「抽出情報」の値は、請求元から発行される請求書において、一般的な明細項目に相当するキーワード（単語）として抽出するキーワードと、請求書を示す帳票画像において、このキーワードが記載されている位置を示す情報とを含む。 The value of the item "extracted information" is a keyword extracted as a keyword (word) corresponding to a general detailed item in an invoice issued by a billing source, and this keyword is described in a form image showing an invoice. Includes information indicating the location of the image.
つまり、個社明細定義情報２５１における抽出情報は、帳票から明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを含む。したがって、個社明細定義情報２５１は、帳票で用いられる明細項目と、明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを定義した情報である。
That is, the extracted information in the individual company
図７の例では、一般的な帳票の明細項目名「商品名」は、請求元がＡ社である請求書の明細部では、「氏名」、等のキーワードに置き換えられる場合があることを示している。 In the example of FIG. 7, it is shown that the detail item name “product name” of a general form may be replaced with a keyword such as “name” in the detail part of the invoice whose billing source is company A. ing.
また、図７の例では、請求元がＡ社である請求書を示す帳票画像におけるキーワード「氏名」の位置を示す情報として、キーワードの座標を示すキーワード座標、キーワード「氏名」が記入されたセルの座標を示すセル座標、キーワード「氏名」が記入された列の座標を示す列座標が抽出されることを示している。 Further, in the example of FIG. 7, the cell in which the keyword coordinates indicating the coordinates of the keyword and the keyword "name" are entered as the information indicating the position of the keyword "name" in the form image indicating the invoice whose billing source is company A. It is shown that the cell coordinates indicating the coordinates of and the column coordinates indicating the coordinates of the column in which the keyword "name" is entered are extracted.
尚、請求書を示す帳票画像において、キーワードが記載されている位置を示す情報とは、キーワードの座標値、セルの値座標、列の座標値のうち、少なくとも何れか一種類の座標が取得されていれば良い。 In the form image showing the invoice, the information indicating the position where the keyword is described is obtained by acquiring at least one of the coordinate value of the keyword, the coordinate value of the cell, and the coordinate value of the column. I just need to be there.
具体的には、キーワードの座標値とは、キーワードに外接する矩形において対角線上にある２点の座標であっても良い。この座標から、キーワードに外接する矩形の幅と高さがわかる。 Specifically, the coordinate value of the keyword may be the coordinates of two points diagonally in the rectangle circumscribing the keyword. From these coordinates, the width and height of the rectangle circumscribing the keyword can be found.
次に、図８を参照して、本実施形態のサーバ装置２００の機能について説明する。図８は、サーバ装置の機能を説明する図である。
Next, the function of the
本実施形態のサーバ装置２００では、例えば、メモリ装置２５や補助記憶装置２４等に格納された情報処理プログラムを演算処理装置２６が読み出して実行することで、後述する各部の機能が実現される。
In the
本実施形態のサーバ装置２００は、帳票認識処理部２２０、定義登録部２９０を有する。帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２７０を有する。
The
入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、利用者ＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。
The
認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得しても良い。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２７０に渡しても良い。
The
本実施形態の帳票認識部２７０は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、定義特定部２７６、項目抽出部２７７、表示画面生成部２７８、出力部２７９を有する。
The
画像データ格納部２７１は、画像形成装置３００から帳票画像データを受信すると、帳票画像データベース２３０に格納する。
When the image
ジョブリスト生成部２７２は、入力受付部２２１が画像形成装置３００から帳票画像データの入力を受け付けて、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。
In the job
画像データ取得部２７３は、帳票画像データベース２３０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。
The image
文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果データとして保持する。読取結果データの詳細は後述する。
The
定義特定部２７６は、読取結果データに含まれる文字列に基づき、帳票認識の際に参照する明細定義情報を特定し、特定した明細定義情報を明細定義データベース２５０から取得する取得部である。
The
項目抽出部２７７は、読取結果データに基づき、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行った認識結果データを生成し、認識結果データベース２６０へ格納する。
Based on the reading result data, the
このとき、本実施形態の項目抽出部２７７は、定義特定部２７６により特定された明細定義情報を参照し、帳票の明細部に記載された明細項目名と、明細項目の値とを対応付けて抽出する。
At this time, the
以下の説明では、帳票の明細部に記載された明細項目名と、明細項目の値とを対応付けた情報を明細情報と呼ぶ場合がある。本実施形態の明細情報は、認識結果データに含まれる情報であり、認識結果データの一部である。 In the following description, information in which the detail item name described in the detail section of the form and the value of the detail item are associated with each other may be referred to as detail information. The detailed information of the present embodiment is information included in the recognition result data and is a part of the recognition result data.
また、本実施形態の認識結果データは、帳票に記載された帳票の発行元を示す情報（発行元情報）等を含む。つまり、認識結果データには、帳票に記載された文字列が示す情報が含まれる。 In addition, the recognition result data of the present embodiment includes information (issuer information) indicating the issuer of the form described in the form. That is, the recognition result data includes the information indicated by the character string described in the form.
表示画面生成部２７８は、認識結果データベース２６０に格納された認識結果データを用いて、認識結果の確認画面を生成する。
The display
出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面を出力する。言い換えれば、出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面を端末装置４００のウェブブラウザ上で表示させる。
The
本実施形態の定義登録部２９０は、表示制御部２９１、定義生成部２９２、定義更新部２９３を有する。
The
表示制御部２９１は、個社明細定義情報を生成するための画面を端末装置４００に表示させる。具体的には、表示制御部２９１は、画面を表示させるためのＸＭＬ形式のファイルを生成し、端末装置４００のウェブブラウザ上に入力画面を表示させる。
The
尚、本実施形態では、表示制御部２９１は、個社明細定義情報を生成するための画面を端末装置４００に表示させるものとしたが、これに限定されない。表示制御部２９１が画面を表示させる装置は、サーバ装置２００であっても良いし、端末装置４００以外の装置あっても良く、表示機能を有する表示装置であれば良い。
In the present embodiment, the
定義生成部２９２は、入力画面に対して端末装置４００から入力された情報に基づき、個社明細定義情報を生成して明細定義データベース２５０へ格納する。
The
定義更新部２９３は、既に明細定義データベース２５０に登録された個社明細定義情報に対する修正を反映させて、個社明細定義情報を更新する。
The
以下に、図９を参照して、本実施形態の帳票認識システム１００の動作について説明する。図９は、帳票認識システムの動作を説明するシーケンス図である。
Hereinafter, the operation of the
帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ９０１）、このアプリケーションを起動させる（ステップＳ９０２）。
In the
続いて、画像形成装置３００は、利用者から認証情報の入力を受け付けると（ステップＳ９０３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ９０４）。
Subsequently, when the
サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ９０５）。尚、ここでは、利用者が認証された場合の動作を示している。
Upon receiving the authentication request, the
続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ９０６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ９０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ９０８）。
Subsequently, the
サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２７０へ渡す（ステップＳ９０９）。尚、図９の例では、認証処理部２２２を介して帳票画像データが帳票認識部２７０へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２７０に渡されても良い。
When the
サーバ装置２００の帳票認識部２７０は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ９１０）。続いて、帳票認識部２７０は、画像データ格納部２７１により、帳票画像データを帳票画像データベース２３０へ格納する（ステップＳ９１１）。
When the
続いて、帳票認識部２７０は、画像データ取得部２７３により、帳票画像データベース２３０から認識する対象となる帳票画像データを取得し（ステップＳ９１２）、帳票画像を認識する処理を実行する（ステップＳ９１３）。ステップＳ９１２の処理の詳細は後述する。
Subsequently, the
続いて、帳票認識部２７０は、項目抽出部２７７が生成した認識結果データを認識結果データベース２６０に格納する（ステップＳ９１４）。
Subsequently, the
帳票認識システム１００において、端末装置４００は、利用者からのブラウザの表示指示の入力を受け付けると（ステップＳ９１５）、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ９１６）。
In the
また、端末装置４００は、利用者から認証情報の入力を受け付けて（ステップＳ９１７）、この認証情報をサーバ装置２００へ送信する（ステップＳ９１８）。
Further, the
サーバ装置２００は、認証処理部２２２により、利用者の認証を行い（ステップＳ９１９）、その結果を端末装置４００へ通知する（ステップＳ９２０）。尚、ここでは、利用者が認証された場合の処理を示す。
The
続いて、端末装置４００は、利用者から、帳票画像の認識結果の閲覧指示の入力を受け付けると（ステップＳ９２１）、サーバ装置２００に対して閲覧要求を行う（ステップＳ９２２）。
Subsequently, when the
サーバ装置２００は、閲覧要求を受けて、認識結果データベース２６０に格納されている認識結果データを取得し（ステップＳ９２３）、認識結果の確認画面を生成して端末装置４００のブラウザ上に表示させ（ステップＳ９２４）、利用者に、表示された認識結果の確認画面で認識結果を確認させる。
Upon receiving the browsing request, the
続いて、端末装置４００は、利用者から、個社明細定義情報の登録指示の入力を受け付けると（ステップＳ９２５）、個社明細定義情報の登録要求をサーバ装置２００へ送信する（ステップＳ９２６）。
Subsequently, when the
サーバ装置２００は、この登録要求を受け付けると、定義登録部２９０の表示制御部２９１により、端末装置４００に個社明細定義情報の登録画面を表示させる（ステップＳ９２７）。
When the
続いて、端末装置４００は、個社明細定義情報の入力を受け付けると（ステップＳ９２８）、入力された情報をサーバ装置２００へ送信する（ステップＳ９２９）。サーバ装置２００は、定義生成部２９２により、端末装置４００から送信された情報に基づき、個社明細定義情報を生成し（ステップＳ９３０）、明細定義データベース２５０に格納して（ステップＳ９３１）、処理を終了する。尚、定義登録部２９０による処理の詳細は後述する。
Subsequently, when the
ここで、図１０を参照して、本実施形態のジョブリスト生成部２７２により生成されるジョブリストについて説明する。図１０は、ジョブリストの一例を示す図である。
Here, the job list generated by the job
本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。
When the form image data is input from the
本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、利用者ＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータスを有する。
The
項目「ジョブＩＤ」の値は、ジョブを特定する識別子である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別子である。
The value of the item "job ID" is an identifier that identifies the job. In other words, the value of the item "job ID" is an identifier for identifying the form image data received from the
項目「利用者ＩＤ」の値は、帳票認識システム１００にログインした利用者を特定するための識別子である。
The value of the item "user ID" is an identifier for identifying the user who has logged in to the
項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。 The value of the item "image file path" is information indicating the location where the form image data is stored. The value of the item "recognition result file path" is information indicating the location where the recognition result data of the result of recognizing the form image is stored.
項目「ステータス」の値は、帳票画像の認識の進捗を示す。言い換えれば、項目「ステータス」の値は、ジョブの状態を示す。 The value of the item "status" indicates the progress of recognition of the form image. In other words, the value of the item "status" indicates the status of the job.
本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態の４つがある。各状態は、以下の通りである。 In the present embodiment, there are four values of the item "status": an unprocessed state, a draft save state, a confirmed state, and an external output completed state. Each state is as follows.
・未処理状態（状態１） 帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態。 -Unprocessed state (state 1) A state in which recognition result data has not been confirmed immediately after the recognition result data has been acquired by form recognition.
・下書き保存状態（状態２） 認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態。 -Draft save state (state 2) A state that is in the middle of work such as confirmation of recognition result data and before the recognition result data is confirmed.
・確定済み状態（状態３） 認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２６０へ格納された状態。
・外部出力済み状態（状態４） 帳票認識システム１００と連携する会計システム等への認識結果データの出力が完了した状態。
-Confirmed state (state 3) A state in which work such as confirmation of recognition result data is completed and stored in the
-External output completed state (state 4) A state in which the output of the recognition result data to the accounting system or the like linked with the
本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得した利用者ＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが帳票画像データベース２３０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。
When the
さらに、ジョブリスト生成部２７２は、認識結果データが認識結果データベース２６０に格納されると、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を確定済み状態とする。
Further, when the recognition result data is stored in the
本実施形態では、例えば、ジョブリスト生成部２７２によって生成されたジョブリストを表示しても良い。この場合、利用者は、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。
In the present embodiment, for example, the job list generated by the job
次に、図１１を参照して、本実施形態の帳票認識部２７０の処理について説明する。図１１は、帳票認識部の処理を説明する第一のフローチャートである。図１１では、図９のステップＳ９１３の処理の詳細を示している。また、図１１では、複数の帳票画像データを画像形成装置３００から受け取った場合の処理を示している。
Next, the process of the
本実施形態の帳票認識部２７０は、ジョブリストから１つのジョブの選択を受け付けると（ステップＳ１１０１）、前処理部２７４により、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う（ステップＳ１１０２）。前処理とは、具体的には、例えば、帳票画像の向きを揃える補正処理等である。
When the
続いて、帳票認識部２７０は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）の中の文字を切り取り、文字認識する（ステップＳ１１０３）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。
Subsequently, the
続いて、帳票認識部２７０は、文字認識部２７５により認識された各文字列の位置関係に基づいて読取結果データを生成して、保持する（ステップＳ１１０４）。具体的に、帳票認識部２７０は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果データを生成する。
Subsequently, the
続いて、帳票認識部２７０は、定義特定部２７６により、読取結果データに含まれる請求元を特定する情報（以下、請求元情報）と、業種判定データベース２４０とを参照し、請求元の業種を特定する（ステップＳ１１０５）。
Subsequently, the
続いて、帳票認識部２７０は、定義特定部２７６により、明細定義データベース２５０に、請求元情報と対応する個社明細定義情報２５１が存在するか否かを判定する（ステップＳ１１０６）。
Subsequently, the
ステップＳ１１０６において、個社明細定義情報２５１が存在する場合、帳票認識部２７０は、項目抽出部２７７により、個社明細定義情報２５１に基づき明細情報を抽出し（ステップＳ１１０７）、後述するステップＳ１１１１へ進む。ステップＳ１１０７の処理の詳細は後述する。
In step S1106, when the individual company
ステップＳ１１０６において、個社明細定義情報２５１が存在しない場合、定義特定部２７６は、明細定義データベース２５０に、ステップＳ１１０５で特定された業種と対応する業種明細定義情報２５２が存在するか否かを判定する（ステップＳ１１０８）。
In step S1106, when the individual company
ステップＳ１１０７において、業種明細定義情報２５２が存在する場合、帳票認識部２７０は、項目抽出部２７７により、業種明細定義情報２５２に基づき明細情報を抽出し（ステップＳ１１０９）、後述するステップＳ１１１１へ進む。ステップＳ１１０９の処理の詳細は後述する。
In step S1107, when the industry
ステップＳ１１０８において、業種明細定義情報２５２が存在しない場合、帳票認識部２７０は、項目抽出部２７７により、汎用明細定義情報２５３に基づき明細情報を抽出し（ステップＳ１１１０）、後述するステップＳ１１１１へ進む。ステップＳ１１１０の処理の詳細は後述する。
In step S1108, when the industry
帳票認識部２７０は、明細情報の抽出に成功したか否かを判定する（ステップＳ１１１１）。具体的には、帳票認識部２７０は、ステップＳ１１０７、ステップＳ１１０９、ステップＳ１１１０の何れかの処理で抽出された明細情報が存在するか否かを判定している。
The
ステップＳ１１１１において、明細情報の抽出に失敗した場合、帳票認識部２７０は、端末装置４００又は画像形成装置３００に対してエラーを通知し（ステップＳ１１１２）、処理を終了する。
If the extraction of the detailed information fails in step S1111, the
ステップＳ１１１１において、明細情報の抽出に成功した場合、帳票認識部２７０は、項目抽出部２７７により、抽出された明細情報をマージした認識結果データを生成し、認識結果データベース２６０に格納する（ステップＳ１１１３）。
If the detail information is successfully extracted in step S1111, the
続いて、帳票認識部２７０は、ジョブリスト生成部２７２により、認識結果データの格納先をジョブリスト１０１に登録する（ステップＳ１１１４）。
Subsequently, the
続いて、帳票認識部２７０は、表示画面生成部２７８により、認識結果データを用いて生成された認識結果の確認画面を端末装置４００に表示させ（ステップＳ１１１５）、処理を終了する。
Subsequently, the
尚、図１１の例では、認識結果データを表示させる処理までを一連の動作として説明したが、これに限定されない。帳票認識部２７０は、端末装置４００から、認識結果データの閲覧要求を受け付けてから、認識結果データを表示させても良い。
In the example of FIG. 11, the process of displaying the recognition result data has been described as a series of operations, but the present invention is not limited to this. The
次に、図１２と図１３を参照して、本実施形態の項目抽出部２７７による明細情報の抽出について説明する。図１２は、帳票認識部の処理を説明する第二のフローチャートである。図１２は、図１１のステップＳ１１０７の処理の詳細を示している。
Next, with reference to FIGS. 12 and 13, the extraction of detailed information by the
本実施形態の帳票認識部２７０において、項目抽出部２７７は、読取結果データが保持されると、各文字の座標値を抽出する（ステップＳ１２０１）。続いて、項目抽出部２７７は抽出した各文字の座標からキーワード（文字列）を特定し、キーワードと対応する座標値を特定する（ステップＳ１２０２）。
In the
続いて、項目抽出部２７７は、特定したキーワードで、個社明細定義情報２５１に含まれる明細項目名を検索し（ステップＳ１２０３）、検索結果が存在するか否かを判定する（ステップＳ１２０４）。具体的には、項目抽出部２７７は、個社明細定義情報２５１に、特定したキーワードと一致する明細項目名が存在するか否かを判定している。
Subsequently, the
ステップＳ１２０４において、該当する明細項目名が存在しない場合、帳票認識部２７０は、処理を終了する。また、ステップＳ１２０４において、該当する明細項目名が存在する場合、特定したキーワードを明細部の明細項目名とし、特定したキーワードの下に縦方向な並ぶキーワードを明細項目名の項目値を抽出し（ステップＳ１２０５）、処理を終了する。
In step S1204, if the corresponding item item name does not exist, the
尚、図１１のステップＳ１１０９の処理は、図１２のステップＳ１２０３において、参照する明細定義情報が業種明細定義情報２５２である点以外は、図１２の処理と同様であるから、説明を省略する。
The process of step S1109 of FIG. 11 is the same as the process of FIG. 12 except that the detail definition information to be referred to in step S1203 of FIG. 12 is the industry
図１３は、帳票認識部の処理を説明する第三のフローチャートである。図１３は、図１１のステップＳ１１１０の処理の詳細を示している。言い換えれば、図１３は、請求元と対応する個社明細定義情報２５１も汎用明細定義情報２５３も存在しない場合に、汎用明細定義情報２５３を参照して明細情報を抽出する処理を示している。
FIG. 13 is a third flowchart illustrating the processing of the form recognition unit. FIG. 13 shows the details of the process of step S1110 of FIG. In other words, FIG. 13 shows a process of extracting detailed information by referring to the general-purpose
図１３のステップＳ１３０１とステップＳ１３０２の処理は、図１２のステップＳ１２０１とステップＳ１２０２の処理と同様であるから、説明を省略する。 Since the processes of steps S1301 and S1302 of FIG. 13 are the same as the processes of steps S1201 and S1202 of FIG. 12, the description thereof will be omitted.
項目抽出部２７７は、キーワードと座標値を特定すると、帳票画像データに表が存在するか否かを判定する（ステップＳ１３０３）。ステップＳ１３０３において、表が存在しない場合、項目抽出部２７７は、後述するステップＳ１３１０へ進む。
When the
ステップＳ１３０３において、表が存在する場合、項目抽出部２７７は、表の各セルの座標値を抽出する（ステップＳ１３０４）。尚、このとき、項目抽出部２７７は、各セルに、各セルを識別する識別情報（ＩＤ）を付与しても良い。また、識別情報は、例えば、表の列を特定する列ＩＤ及び表の行を特定する行ＩＤとして付与されても良い。このように、列ＩＤと行ＩＤとを付与すれば、列ＩＤと行ＩＤとの組み合わせにより、セルを特定できる。
In step S1303, if the table exists, the
続いて、項目抽出部２７７は、表の各セルに含まれるキーワードを特定し、セルの座標値と対応付けて保持する（ステップＳ１３０５）。
Subsequently, the
続いて、項目抽出部２７７は、表の先頭行（一番上の行）の各セルに含まれるキーワードを特定する（ステップＳ１３０６）。続いて、項目抽出部２７７は、先頭行に各セルに含まれるキーワードで、汎用明細定義情報２５３を検索する（ステップＳ１３０７）。
Subsequently, the
続いて、項目抽出部２７７は、汎用明細定義情報２５３に、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在するか否かを判定する（ステップＳ１３０８）。ステップＳ１３０８において、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在しない場合、項目抽出部２７７は、処理を終了する。
Subsequently, the
ステップＳ１３０８において、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在する場合、項目抽出部２７７は、先頭行に各セルに含まれるキーワードを明細項目名とし、このキーワードを含む列に含まれるキーワードを、明細項目の項目値として抽出し（ステップＳ１３０９）、処理を終了する。
In step S1308, when a detail item name matching the keyword included in each cell exists in the first row, the
ステップＳ１３０３において、表が存在しない場合、帳票認識部２７０は帳票画像における明細部の領域を特定する（ステップＳ１３１０）。具体的には、帳票認識部２７０は、例えば、キーワードが縦方向に並んでいる領域を、明細部の領域と特定しても良い。
In step S1303, when the table does not exist, the
続いて、帳票認識部２７０は、項目抽出部２７７により、明細部に特定された領域における一行目のキーワードを特定し、特定したキーワードの座標値と対応付けて保持する（ステップＳ１３１１）。特定された領域における一行目のキーワードとは、特定された領域なにおいて、一番上に位置するキーワードである。
Subsequently, the
続いて、項目抽出部２７７は、ステップＳ１３１１で特定したキーワードで、汎用明細定義情報２５３を検索する（ステップＳ１３１２）。続いて、項目抽出部２７７は、汎用明細定義情報２５３に、特定したキーワードと一致する明細項目名が存在するか否かを判定する（ステップＳ１３１３）。
Subsequently, the
ステップＳ１３１３において、一致する明細項目名が存在しない場合、帳票認識部２７０は、処理を終了する。
If there is no matching item item name in step S1313, the
ステップＳ１３１３において、一致する明細項目名が存在する場合、項目抽出部２７７は、ステップＳ１３１１で特定したキーワードの座標値から、キーワードが外接する領域の幅を取得し、この幅において縦方向に並んでいるキーワードを明細項目の項目値として抽出し（ステップＳ１３１４）、処理を終了する。
In step S1313, when a matching item item name exists, the
尚、図１３の例では、帳票画像に表が存在する場合には、セルの座標値を抽出するものとしたが、表の代わりに縦線を用いても良い。その場合、帳票認識部２７０は、帳票画像に縦線が存在するか否かを判定し、縦線が存在する場合には、縦線と縦線の間に位置するキーワードと、キーワードの座標を特定すれば良い。
In the example of FIG. 13, when a table exists in the form image, the coordinate values of the cells are extracted, but vertical lines may be used instead of the table. In that case, the
そして、帳票認識部２７０は、縦線と縦線の間のキーワードのうち、一番上のキーワードと一致する明細項目名が汎用明細定義情報２５３に存在する場合には、この縦線と縦線の間にある２番目以降のキーワードを明細項目の値とすれば良い。
Then, when the detail item name matching the top keyword among the keywords between the vertical lines and the vertical lines exists in the general-purpose
以下に、図１４と図１５を参照して、帳票認識部２７０の処理についてさらに説明する。図１４は、明細情報の抽出を説明する第一の図である。
Hereinafter, the processing of the
図１４は、明細情報の抽出を説明する第一の図である。図１４に示す請求書１４１には、請求元を特定する請求元情報１４１ａと、明細項目毎に同じ形式のデータが縦方向に繰り返し印刷された明細部１４１ｂとが含まれる。図１４（Ａ）に示す請求書１４１は、請求元情報１４１ａは、請求元の名称であり、明細部１４１ｂは、表形式で記載されている。
FIG. 14 is a first diagram illustrating the extraction of detailed information. The
本実施形態では、請求書１４１を画像形成装置３００で読み取って帳票画像データとし、帳票画像データに対して帳票認識部２７０の処理を実行することで、認識結果データが生成される。
In the present embodiment, the
図１５は、明細情報の抽出を説明する図である。図１５（Ａ）に示す情報１５１は、請求書１４１を示す帳票画像データに対し、文字認識部２７５による文字認識を行った結果である。
FIG. 15 is a diagram illustrating extraction of detailed information. The
情報１５１は、請求書１４１のうち、明細部１４１ｂから文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。
本実施形態の文字認識部２７５は、この情報１５１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２７５は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つ単語として認識しても良い。
From this
図１５（Ａ）示す情報１５２は、文字認識部２７５により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２７５による帳票画像の読取結果データである。
The
また、文字認識部２７５は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。
Further, the
図１５（Ａ）に示す情報１５３は、明細部１４１ｂから認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。
The
図１５（Ａ）では、例えば、キーワード「氏名」が認識された領域は、情報１５２において、Ｘ座標とＹ座標によって示される位置を基準として、高さと幅とから特定される。
In FIG. 15A, for example, the region in which the keyword “name” is recognized is specified from the height and the width with reference to the position indicated by the X coordinate and the Y coordinate in the
また、情報１５３において、キーワード「氏名」が認識された領域は、セルＩＤ「２」に含まれることがわかる。したがって、キーワード「氏名」は、明細部１４１ｂに含まれるキーワードして、セルＩＤ「２」と対応付けられる。尚、情報１５３では、キーワード「氏名」が認識された領域に対してセルＩＤを対応付けるものとしたが、これに限定されない。セルＩＤは、キーワードが縦方向に並ぶ列を特定する列ＩＤと、キーワードが横方向に並ぶ行ＩＤとによって特定されても良い。
Further, in the
本実施形態の帳票認識部２７０は、このようにして、帳票画像データから、キーワードとセルとを対応付ける。
In this way, the
図１５（Ｂ）に示す情報１５４は、請求書１４１と対応する読取結果データに基づき生成された、明細部１４１ｂの明細情報である。したがって、図１５（Ｂ）に示す明細情報１５４は、帳票画像データ全体の認識結果データの一部である。
The
図１５（Ｂ）に示す明細情報１５４は、項目抽出部２７７によって生成されるものであり、情報の項目として、列ＩＤ、項目名、列の座標、行ＩＤ、項目値、明細項目指定とを有する。
The
項目「列ＩＤ」の値は、明細部１４１ｂ（表）に含まれる列を特定する識別情報であり、項目「明細項目名」の値は、表の一番上の行の各セル内のキーワードである。項目「列の座標」の値は、列の座標を示す。尚、本実施形態では、列の座標を、帳票画像における明細の列の左上の点の座標値と右下の点の座標値とをする。
The value of the item "column ID" is the identification information for identifying the column included in the
項目「行ＩＤ」の値は、行を特定する識別情報であり、項目「項目値」の値は、明細項目と対応する項目値を示す。 The value of the item "row ID" is the identification information for identifying the row, and the value of the item "item value" indicates the item value corresponding to the detail item.
項目「明細項目指定」の値は、対応する項目名と、項目名の位置を示す座標とを、個社明細定義情報２５１に登録するか否かを示す。項目名の位置を示す座標とは、例えば、列の座標と行ＩＤとの組み合わせ等によって示される。
The value of the item "detailed item designation" indicates whether or not the corresponding item name and the coordinates indicating the position of the item name are registered in the individual company
明細情報１５４では、項目名の値である「氏名」に項目「明細項目指定」の値である「商品名」が対応付けられている。また、「氏名」の位置を示す座標を、列の座標としたとする。
In the
この場合、「氏名」と「氏名」の列の座標とは、個社明細定義情報２５１に、項目「明細項目名」の値である「商品名」のと対応する項目「抽出情報」の値として、登録される。
In this case, the coordinates of the columns of "name" and "name" are the values of the item "extracted information" corresponding to the value of the item "detailed item name" in the individual company
尚、図１５（Ｂ）の明細情報１５４の例では、情報の項目として、列の座標、列ＩＤ、行ＩＤを含むものとしたが、これに限定されない。明細情報１５４は、情報の項目として、路委細項目名と、項目値とが含まれていれば良く、それ以外の項目は、明細情報１５４に含まれなくても良い。
In the example of the
また、本実施形態では、認識結果の確認画面に明細情報１５４を表示させる場合には、明細項目名と項目値のみを表示させれば良い。
Further, in the present embodiment, when displaying the
以下に、項目抽出部２７７による明細情報１５４の生成について具体的に説明する。
The generation of the
始めに、項目抽出部２７７が個社明細定義情報２５１を参照して、明細情報１５４を生成した場合を説明する。以下の説明は、図１２の処理を具体的に示している。
First, a case where the
この場合、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、キーワード「氏名」で、個社明細定義情報２５１を検索する。
In this case, for example, when the keyword "name" and the keyword coordinate value are specified in the
ここで、個社明細定義情報２５１には、キーワード「氏名」が存在するため（図７参照）、項目抽出部２７７は、キーワード「氏名」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「氏名」のキーワード座標値から求められるキーワード「氏名」の下に並ぶキーワードを明細項目の項目値として抽出する。
Here, since the keyword "name" exists in the individual company detail definition information 251 (see FIG. 7), the
このとき、項目抽出部２７７は、キーワード「氏名」の位置を示す座標（列ＩＤ、列の座標）を抽出し、明細項目名であるキーワード「氏名」と対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワード（例えば、「Ａ」）と、このキーワード（項目値）の位置を示す座標（列ＩＤ、行ＩＤ）を対応付ける。
At this time, the
次に、項目抽出部２７７が業種明細定義情報２５２を参照して、明細情報１５４を生成した場合を説明する。
Next, a case where the
この場合も、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、キーワード「氏名」で、個社明細定義情報２５１を検索する。また、業種明細定義情報２５２には、キーワード「氏名」が存在するため（図６参照）、項目抽出部２７７は、キーワード「氏名」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「氏名」のキーワード座標値から求められるキーワード「氏名」の下に並ぶキーワードを明細項目の項目値として抽出する。
Also in this case, for example, when the keyword "name" and the keyword coordinate value are specified in the
ここでも、項目抽出部２７７は、明細項目名であるキーワード「氏名」と、キーワード「氏名」の位置を示す座標とを対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワードと、このキーワード（項目値）の位置を示す座標を対応付ける。
Here, too, the
次に、項目抽出部２７７が汎用明細定義情報２５３を参照して、明細情報１５４を生成した場合を説明する。以下の説明は、図１３の処理を具体的に示している。
Next, a case where the
この場合、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、明細部１４１ｂに表が存在するか否かを判定する。ここでは、明細部１４１ｂは、図１４に示すように、表形式としているため、表が存在することとなる。
In this case, for example, when the keyword "name" and the keyword coordinate value are specified in the
したがって、項目抽出部２７７は、情報１５３のうち、明細部１４１ｂを示す表に含まれる各セルの座標値を抽出し、各セルの座標値と、セル内のキーワードとを対応付けて保持する。
Therefore, the
図１５の例では、セルＩＤ「２」の座標値とキーワード「氏名」、セルＩＤ「７」の座標値とキーワード「最終金額」というように、対応付けて保持する。 In the example of FIG. 15, the coordinate value of the cell ID “2” and the keyword “name”, the coordinate value of the cell ID “7” and the keyword “final amount” are stored in association with each other.
次に、項目抽出部２７７は、表の一番上の行に含まれるキーワードを特定する。ここでは、キーワード「氏名」、「最終金額」が一番上の行に含まれるキーワードとして特定される。
Next, the
次に、項目抽出部２７７は、特定したキーワードで、汎用明細定義情報２５３を検索する。ここで、キーワード「氏名」は、汎用明細定義情報２５３に存在しない（図７参照）。したがって、項目抽出部２７７は、キーワード「氏名」に対しては、項目値を抽出しない。
Next, the
また、キーワード「最終金額」は、汎用明細定義情報２５３に存在する（図７参照）。したがって、項目抽出部２７７は、キーワード「最終金額」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「最終金額」キーワード座標値から求められるキーワード「最終金額」の下に並ぶキーワードを明細項目の項目値として抽出する。
Further, the keyword "final amount" exists in the general-purpose detail definition information 253 (see FIG. 7). Therefore, the
このとき、項目抽出部２７７は、キーワード「最終金額」の位置を示す座標（列ＩＤ、列の座標）を抽出し、明細項目名であるキーワード「最終金額」と対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワード（例えば、「３００，０００」）と、このキーワード（項目値）の位置を示す座標（列ＩＤ、行ＩＤ）を対応付ける。
At this time, the
このように、本実施形態では、始めに個社明細定義情報２５１を参照して、明細部１４１ｂから明細項目名を抽出する。したがって、本実施形態によれば、請求元毎に独自で用いる明細項目名と項目値とを対応付けて抽出することができる。言い換えれば、本実施形態によれば、個社明細定義情報２５１を参照して、帳票の明細部から明細情報を抽出することができる。
As described above, in the present embodiment, the detail item name is first extracted from the
また、本実施形態では、個社明細定義情報２５１が存在しない場合には、請求元の業種と対応した業種明細定義情報２５２を参照して、明細項目名と項目値を抽出する。したがって、本実施形態によれば、個社明細定義情報２５１が存在しない場合でも、請求元の業種特有の明細項目類と項目値を対応付けて抽出することができる。言い換えれば、本実施形態によれば、業種明細定義情報２５２を参照して、帳票の明細部から明細情報を抽出することができる。
Further, in the present embodiment, when the individual company
また、本実施形態では、個社明細定義情報２５１と業種明細定義情報２５２とが存在しない場合には、汎用明細定義情報２５３を参照する。そして、本実施形態では、汎用明細定義情報２５３に、明細部１４１ｂに記載された明細項目名が存在しない場合には、新たに抽出すべき明細項目名と、帳票画像において明細項目名が記載された位置を示す情報とを、個社明細定義情報２５１として登録することができる。
Further, in the present embodiment, when the individual company
以下に、図１６と図１７を参照して、定義登録部２９０による個社明細定義情報２５１の登録について説明する。
The registration of the individual company
図１６は、定義登録部の処理を説明する第一のフローチャートである。図１６では、図９のステップＳ９２４からステップＳ９３１までの処理の詳細を示している。 FIG. 16 is a first flowchart illustrating the processing of the definition registration unit. FIG. 16 shows the details of the processes from step S924 to step S931 of FIG.
本実施形態のサーバ装置２００は、帳票認識部２７０による帳票の認識結果の確認画面において、端末装置４００から、認識結果の登録要求を受け付けたか否かを判定する（ステップＳ１６０１）。具体的には、サーバ装置２００は、認識結果データベース２６０に対する、確認画面に表示された認識結果データの格納が指示されたか否かを判定している。
The
ステップＳ１６０１において、認識結果の登録要求を受け付けていない場合、サーバ装置２００は、後述するステップＳ１６０５へ進む。
If the recognition result registration request is not accepted in step S1601, the
ステップＳ１６０１において、認識結果の登録要求を受け付けた場合、サーバ装置２００は、確認画面上で、認識結果データが修正されたか否かを判定する（ステップＳ１６０２）。尚、本実施形態における認識結果データの修正とは、主に明細部の認識結果データに対する修正を示す。
When the recognition result registration request is received in step S1601, the
ステップＳ１６０２において、認識結果データが修正されていない場合、サーバ装置２００は、処理を終了する。
If the recognition result data has not been modified in step S1602, the
ステップＳ１６０２において、認識結果データが修正されていた場合、定義登録部２９０は、定義生成部２９２により、帳票画像データの認識において、個社明細定義情報２５１が用いられたか否かを判定する（ステップＳ１６０３）。具体的には、定義生成部２９２は、請求元と対応付けられた個社明細定義情報２５１が存在するか否かを判定している。
When the recognition result data is modified in step S1602, the
ステップＳ１６０３において、個社明細定義情報２５１が用いられていない場合、定義登録部２９０は、後述するステップＳ１６０６へ進む。
If the individual company
ステップＳ１６０３において、個社明細定義情報２５１が用いられていた場合、定義更新部２９３は、明細定義データベース２５０に格納されたこの個社明細定義情報２５１を更新し（ステップＳ１６０４）、処理を終了する。
When the individual company
ステップＳ１６０１において、認識結果データの登録要求を受け付けない場合、サーバ装置２００は、端末装置４００から、帳票定義（個社明細定義情報２５１）の登録要求を受け付けたか否かを判定する（ステップＳ１６０５）。
When the registration request for the recognition result data is not accepted in step S1601, the
ステップＳ１６０５において、帳票定義の登録要求を受け付けていない場合、サーバ装置２００は、ステップＳ１６０１へ戻る。
If the registration request for the form definition is not accepted in step S1605, the
ステップＳ１６０５において、帳票定義の登録要求を受け付けた場合、定義登録部２９０は、定義生成部２９２により、個社明細定義情報２５１を生成する（ステップＳ１６０６）。ステップＳ１６０６の処理の詳細は後述する。
When the registration request for the form definition is received in step S1605, the
続いて、サーバ装置２００は、端末装置４００から、請求元情報の入力を受け付ける（ステップＳ１６０７）。続いて、定義生成部２９２は、入力された請求元情報と、個社明細定義情報２５１とを対応付けて、明細定義データベース２５０に登録（格納）して（ステップＳ１６０８）、処理を終了する。
Subsequently, the
以下に、図１７を参照して、定義生成部２９２による個社明細定義情報２５１の生成について説明する。図１７は、定義登録部の処理を説明する第二のフローチャートである。図１７では、図１６のステップＳ１６０６の処理の詳細を示している。
Hereinafter, the generation of the individual company
本実施形態の定義登録部２９０において、定義生成部２９２は、確認画面において、明細情報の表示欄に表示された明細項目名の選択を受け付ける（ステップＳ１７０１）。
In the
続いて、定義登録部２９０は、表示制御部２９１により、確認画面に表示されている帳票画像において、明細情報の項目に該当する領域をハイライト等で表示させる（ステップＳ１７０２）。
Subsequently, the
続いて、定義登録部２９０は、帳票画像上で、項目の選択を受け付けると（ステップＳ１７０３）、表示制御部２９１により、帳票画像上に、選択された項目の値としてキーワードが抽出される領域を示す画像を表示させる（ステップＳ１７０４）。
Subsequently, when the
続いて、定義登録部２９０は、帳票画像上で列の選択を受け付けると（ステップＳ１７０５）、定義生成部２９２により、ステップＳ１７０３で選択された項目の項目名と、選択された列の座標とを取得し、確認画面の明細情報の表示欄において選択された明細項目名と対応付ける（ステップＳ１７０６）。
Subsequently, when the
つまり、ここでは、明細情報の表示欄に表示された明細項目名とは、個社明細定義情報２５１における項目「明細項目名」の値である。また、ステップＳ１７０３で選択された項目の項目名と、選択された列の座標とは、個社明細定義情報２５１における項目「抽出情報」の値である。したがって、定義生成部２９２は、ステップＳ１７０６において、個社明細定義情報２５１の項目「明細項目名」の値と、項目「抽出情報」の値とを取得している。
That is, here, the detail item name displayed in the detail information display column is the value of the item "detail item name" in the individual company
続いて、定義登録部２９０は、表示制御部２９１により、ステップＳ１７０５で選択された列の項目値を、確認画面の明細情報の表示欄に反映させ（ステップＳ１７０７）、処理を終了する。
Subsequently, the
以下に、図１８乃至図２２を参照して、認識結果の確認画面の表示例について説明する。図１８は、表示例を示す第一の図である。図１８に示す画面１８１は、例えば、図９のステップＳ９２４で端末装置４００に表示される認識結果の確認画面の一例である。
A display example of the recognition result confirmation screen will be described below with reference to FIGS. 18 to 22. FIG. 18 is a first diagram showing a display example. The
画面１８１は、表示欄１８２、表示欄１８３と、操作ボタン１９０、１９１とを含む。表示欄１８２には、帳票画像データが示す帳票画像が表示される。図１８の例では、帳票が請求書であり、帳票画像に明細部（表）を示す領域１８４が含まれる。
The
表示欄１８３は、表示欄１８２に表示された帳票画像を示す帳票画像データに対して帳票認識部２７０による帳票認識を行った結果の認識結果データが表示される。
In the
表示欄１８３は、表示欄１８５、１８６、１８７、１８８を含む。表示欄１８５は、ジョブリスト１０１の項目「ステータス」の値が表示される。表示欄１８６は、請求元情報が表示される。請求元情報は、認識結果データの一部である。
The
表示欄１８７は、明細情報に含まれる明細項目名の一覧が表示される。尚、図１８の例では、帳票画像データから認識結果データを生成する際に個社明細定義情報２５１が参照されておらず、帳票画像データから明細情報が抽出されていない。このため、表示欄１８７には、汎用明細定義情報２５３で定義された一般的な明細項目名が表示されている。
In the
尚、表示欄１８３に表示される認識結果データが、個社明細定義情報２５１を参照して生成された場合には、表示欄１８７には、個社明細定義情報２５１に定義された明細項目名が表示される。また、表示欄１８３に表示される認識結果データが、業種明細定義情報２５２を参照して生成された場合には、表示欄１８７には、業種明細定義情報２５２に定義された明細項目名が表示される。
When the recognition result data displayed in the
表示欄１８８は、明細情報が表示される。具体的には、表示欄１８８は、表示欄１８７に表示された明細項目毎に、項目値を表示させる表示欄を含む。具体的には、表示欄１８８には、明細項目「商品名」の項目値が表示される欄、明細項目「金額」の項目値が表示される欄、明細項目「備考」の項目値が表示される欄等が含まれる。
Detailed information is displayed in the
画面１８１では、表示欄１８８に含まれる各欄には、初期状態として、対応する明細項目名が表示される。具体的には、表示欄１８８において、明細項目「商品名」の項目値が表示される欄には、明細項目名である「商品名」が初期設定として表示される。
On the
また、図１８の例では、帳票認識により明細部を示す領域１８４に４行の表が存在することが判明しているため、表示欄１８８には、３行分の項目値の表示欄が表示されている。
Further, in the example of FIG. 18, since it is found by the form recognition that the table of 4 rows exists in the
定義登録部２９０は、例えば、画面１８１の表示欄１８７において、明細項目「商品名」が選択されると、表示欄１８２に表示された帳票画像において、明細部を示す領域１８４内の表の先頭の行（一番上の行）１９２がハイライトされる。
For example, when the detail item "product name" is selected in the
本実施形態では、このように、領域１８４内の表の先頭の行１９２をハイライトすることで、帳票画像において、明細部における明細項目が記載されていると想定される領域を、利用者に提示することができる。尚、先頭の行１９２の表示態様は、ハイライトに限定されない。本実施形態では、表示欄１８７において項目の選択を受け付けて、行１９２の表示態様を、領域１８４内の表の他の行の表示態様と異ならせれば良い。
In the present embodiment, by highlighting the
本実施形態では、先頭の行１９２において、項目の選択を受け付けると、項目と対応する項目値を示す領域にマーカが表示される。
In the present embodiment, when the item selection is accepted in the
操作ボタン１９０は、ジョブリスト１０１のステータスの値を、未処理状態から下書き保存状態とするための操作ボタンである。操作ボタン１９０が操作されると、表示欄１８５は、「未処理」から「下書き保存」に変化する。
The
操作ボタン１９１は、ジョブリスト１０１のステータスの値を、確定状態とするための操作ボタンである。本実施形態では、表示欄１８８に表示された明細情報が変更された場合には、操作ボタン１９１が操作された際に、請求元情報を入力するための画面が表示される。
The
図１９は、表示例を示す第一の図である。図１９に示す画面１８１Ａは、図１８に示す画面１８１において、領域１８４内の先頭の行１９２から、キーワード「氏名」が選択された場合を示している。
FIG. 19 is a first diagram showing a display example. The
画面１８１Ａでは、領域１８４内の表において、キーワード「氏名」の下に縦方向に並んだ３つセルを含む領域１９３にマークが付されている。これは、領域１９３が、キーワード「氏名」の項目値を抽出する対象の領域であることを示している。
On the
図２０は、表示例を示す第三の図である。図２０に示す画面１８１Ｂは、領域１８４内の表において、キーワード「氏名」の列１９５が選択された場合を示している。
FIG. 20 is a third diagram showing a display example. The
本実施形態では、領域１８４内の表において、列１９５が選択されると、列１９５に含まれるキーワード「氏名」と、表示欄１８７で選択された明細項目「商品名」とが対応付けられる。そして、表示欄１８８Ａに含まれる、明細項目「商品名」の項目値が表示される欄１８８ａに、領域１９３から抽出されたキーワードが表示される。
In the present embodiment, when
つまり、領域１８４内の表から、キーワード「氏名」が明細項目「氏名」として抽出され、キーワード「氏名」の下のセル内のキーワードが、明細項目「氏名」の項目値として抽出される。
That is, the keyword "name" is extracted as the detail item "name" from the table in the
表示欄１８８Ａでは、領域１８４内の表から抽出されたが明細項目「氏名」と、明細項目「氏名」の項目値とが対応付けられて表示される。具体的には、表示欄１８８Ａでは、明細項目「商品名」の項目値が表示される欄１８８ａに、領域１９３から抽出されたキーワード「Ａ」、「Ｂ」、「Ｃ」が表示される。
In the
このとき、定義登録部２９０は、定義生成部２９２により、帳票画像におけるキーワード「氏名」の位置を示すキーワード座標、キーワード「氏名」を含むセルのセル座標、列１９５の座標の少なくとも何れか１つを取得する。そして、定義生成部２９２は、キーワード「氏名」と、キーワード座標、セル座標、列の座標の何れかと、を、個社明細定義情報２５１の抽出情報とする。
At this time, the
また、定義生成部２９２は、表示欄１８７において選択された明細項目「商品名」と、抽出情報とを対応付けて、保持しておく。
Further, the
図２１は、表示例を示す第三の図である。図２１に印す画面１８１Ｃでは、表示欄１８７から、明細項目「金額」が選択された後に、領域１８４内の表の先頭の行において、キーワード「最終金額」を含む列１９４が選択された場合を示している。
FIG. 21 is a third diagram showing a display example. In the
この場合、明細項目「金額」と、キーワード「最終金額」とが対応付けられる。したがって、表示欄１８８Ｂにおける、明細項目「金額」の項目値が表示される欄１８８ｂに、列１９４において、キーワード「最終金額」の下に縦方向に並んだセル内のキーワードが表示される。
In this case, the detail item "amount" and the keyword "final amount" are associated with each other. Therefore, in the
このとき、定義登録部２９０は、定義生成部２９２により、帳票画像におけるキーワード「最終金額」の位置を示すキーワード座標、キーワード「最終金額」を含むセルのセル座標、列１９４の座標の少なくとも何れか１つを取得する。そして、定義生成部２９２は、キーワード「最終金額」と、キーワード座標、セル座標、列の座標の何れかと、を、個社明細定義情報２５１の抽出情報とする。
At this time, the
また、定義生成部２９２は、表示欄１８７において選択された明細項目「金額」と、抽出情報とを対応付けて、保持しておく。
Further, the
そして、画面１８１Ｃにおいて、操作ボタン１９１が操作されると、定義登録部２９０の表示制御部２９１は、請求元情報を入力するためのウィンドウ等が表示させる。定義生成部２９２は、請求元情報の入力が完了し、登録指示がなされると、保持している明細項目と抽出情報とに、入力された請求元情報を対応付けた個社明細定義情報２５１を生成し、明細定義データベース２５０に格納する。
Then, when the
このように、本実施形態では、明細項目の選択と、明細項目として抽出するキーワードの指定とが行われると、指定されたキーワードと、キーワードの位置を示す情報と、選択された明細項目とを含む個社明細定義情報２５１を生成する。
As described above, in the present embodiment, when the detail item is selected and the keyword to be extracted as the detail item is specified, the designated keyword, the information indicating the position of the keyword, and the selected detail item are displayed. Generate individual company
このため、本実施形態によれば、個社明細定義情報２５１を参照して、帳票画像データに含まれる利用者独自の明細部から、明細情報を抽出することができる。したがって、本実施形態では、帳票の認識の精度を向上させることができる。
Therefore, according to the present embodiment, the detailed information can be extracted from the user's own detailed portion included in the form image data by referring to the individual company
尚、表示欄１８７の表示態様は、図１８乃至図２１に示す表示態様に限定されない。図２２は、表示例を示す第四の図である。
The display mode of the
図２２に示す画面１８１Ｄでは、表示欄１８３において、汎用明細定義情報２５３で定義された一般的な明細項目名が表示された表示欄１８７Ａと、明細情報が表示される表示欄１８８Ｃとが、表形式で表示される。
In the
また、図２２の例では、表示欄１８７Ａの項目名である「金額」は、領域１８４内の表に含まれる項目「最終金額」と部分一致する。このため、図２２の例では、領域１８４内の表における項目「最終金額」の列１９６の各項目値を、表示欄１８８Ｃの項目「金額」と対応付けて表示させる。つまり、図２２の例では、個社明細定義情報２５１を用いて一部の明細情報の認識に失敗し、一部が成功したことになる。
Further, in the example of FIG. 22, the item name “amount” in the
また、本実施形態では、領域１８４内の表において、ハイライトされた行１９２から項目を選択する際に、複数の項目を選択しても良い。言い換えれば、領域１８４内の表において、項目と対応する列を選択する際に、複数列が選択されても良い。
Further, in the present embodiment, when selecting an item from the highlighted
図２２の例では、表示欄１８７Ａの明細項目「商品名」と対応するキーワードとして、領域１８４内の表から、キーワード「スタッフＩＤ」を含む列と、キーワード「氏名」を含む列とが選択されている。この場合、表示欄１８７Ａの明細項目「商品名」と、領域１８４内の表のキーワード「スタッフＩＤ」、「氏名」とが対応付けられる。
In the example of FIG. 22, a column including the keyword "staff ID" and a column including the keyword "name" are selected from the table in the
そして、表示欄１８８Ｃの明細項目「商品名」と対応する表示欄には、領域１８４内の表におけるキーワード「スタッフＩＤ」と対応する項目値と、キーワード「氏名」と対応する項目値とが表示される。
Then, in the display column corresponding to the detailed item "product name" in the
図２２の例では、具体的には、表示欄１８８Ｃの明細項目「商品名」と対応する表示欄には、「００１２Ａ」が表示される。尚、複数列を選択する操作は、例えば、「Ctrl」キーを押した状態で、マウスで２つの列を選択すれば良い。
In the example of FIG. 22, specifically, "0012A" is displayed in the display column corresponding to the detailed item "product name" in the
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.
また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。 Further, the device group described in the embodiment is only one of a plurality of computing environments for implementing the embodiment disclosed in the present specification.
ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、サーバ装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
In certain embodiments, the
さらに、サーバ装置２００は、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、サーバ装置２００によって実行されるプロセスは、他のサーバ装置によって実行され得る。同様に、サーバ装置２００の機能は、他のサーバ装置によって実行することができる。また、サーバ装置と他のサーバ装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
Further, the
また、明細書中の対応テーブルは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。 Further, the correspondence table in the specification may be generated by the learning effect of machine learning. Further, by classifying the keywords and account items that can be included in the description of the transaction contents by machine learning, it is not necessary to use the correspondence table.
ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。 Here, machine learning is a technology for making a computer acquire learning ability like a human being, and the computer autonomously generates an algorithm necessary for judgment such as data identification from learning data taken in advance. However, it refers to a technology that applies this to new data to make predictions. The learning method for machine learning may be any of supervised learning, unsupervised learning, semi-supervised learning, enhanced learning, and deep learning, and may be a learning method that combines these learning methods. Machine learning It doesn't matter how you learn for.
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on each embodiment, the present invention is not limited to the requirements shown in the above embodiments. With respect to these points, the gist of the present invention can be changed without impairing the gist of the present invention, and can be appropriately determined according to the application form thereof.
１００ 帳票認識システム
２００ サーバ装置
２１０ 記憶部
２２０ 帳票認識処理部
２３０ 帳票画像データベース
２４０ 業種判定データベース
２５０ 明細定義データベース
２６０ 認識結果データベース
２７０ 帳票認識部
２７１ 画像データ格納部
２７２ ジョブリスト生成部
２７３ 画像データ取得部
２７４ 前処理部
２７５ 文字認識部
２７６ 定義特定部
２７７ 項目抽出部
２７８ 表示画面生成部
２７９ 出力部
３００ 画像形成装置
４００ 端末装置
５００ 基幹システム
100
Claims (11)
抽出された前記明細項目及び明細項目の値を認識結果として出力する出力部と、を有し、
前記項目抽出部は、
帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記領域に含まれる明細項目及び明細項目の値を抽出する、情報処理システム。 Item extraction unit that extracts the detail items included in the area and the values of the detail items from the reading result data in which the character string read from the area indicating the detail part of the form image and the information indicating the position of the character string are associated with each other. When,
It has an output unit that outputs the extracted detailed item and the value of the detailed item as a recognition result.
The item extraction unit
The detail item and the detail item included in the area with reference to the first detail definition information that defines the detail item used in the form, the keyword extracted as the detail item, and the position of the keyword in the form. An information processing system that extracts the value of.
前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、請求項１記載の情報処理システム。 The item extraction unit
When there is no keyword matching the character string read from the area among the keywords included in the first detail definition information.
For each type of business from which the form is issued, refer to the second detail definition information in which the detail item used in the form and the keyword extracted as the detail item are associated with each other, and the items and items included in the detail section. The information processing system according to claim 1, wherein a value is extracted.
前記第二の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
帳票に用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第三の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、請求項２記載の情報処理システム。 The item extraction unit
When there is no keyword matching the character string read from the area in the keywords included in the second detail definition information,
The item according to claim 2, wherein the item and the value of the item included in the detail part are extracted by referring to the third detail definition information in which the detail item used in the form and the keyword to be extracted as the detail item are associated with each other. Information processing system.
前記出力部は、
前記表示画面生成部が生成した画面データを前記認識結果の確認画面として端末装置に表示させる、請求項４の何れか一項に記載の情報処理システム。 It has a display screen generation unit that generates screen data including the form image and the detail items and the values of the detail items extracted by the item extraction unit.
The output unit
The information processing system according to any one of claims 4, wherein the screen data generated by the display screen generation unit is displayed on the terminal device as a confirmation screen of the recognition result.
前記明細項目及び明細項目の値が抽出されなかった場合に、前記第三の明細定義情報に含まれる明細項目を前記帳票画像と共に前記確認画面に表示させる、請求項５に記載の情報処理システム。 The display screen generator
The information processing system according to claim 5, wherein when the item and the value of the item are not extracted, the item included in the third item definition information is displayed on the confirmation screen together with the form image.
前記定義生成部は、
前記確認画面において、前記第三の明細定義情報に含まれる明細項目に対する選択と、前記帳票画像の明細部を含む領域内のキーワードに対する指定とを受け付けて、選択された前記明細項目と、指定された前記キーワードと、前記帳票画像における前記キーワードの位置と、を対応づける、請求項６記載の情報処理システム。 It has a definition generation unit that generates the first detail definition information.
The definition generator
On the confirmation screen, the selected item is designated by accepting the selection for the item included in the third item definition information and the designation for the keyword in the area including the item part of the form image. The information processing system according to claim 6, wherein the keyword is associated with the position of the keyword in the form image.
前記帳票の発行元を特定する発行元情報の入力を受けて、前記発行元情報に、選択された前記明細項目と、指定された前記キーワードと、前記帳票画像における前記キーワードの位置と、を対応付けた第一の明細定義情報を生成し、記憶部に格納する、請求項７記載の情報処理システム。 The definition generator
In response to the input of the issuer information that identifies the issuer of the form, the issuer information corresponds to the selected detailed item, the designated keyword, and the position of the keyword in the form image. The information processing system according to claim 7, wherein the attached first detail definition information is generated and stored in a storage unit.
前記サーバ装置は、
帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する項目抽出部と、
抽出された前記明細項目及び明細項目の値を認識結果として、前記端末装置へ出力する出力部と、を有し、
前記項目抽出部は、
帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出する、情報処理システム。 An information processing system having a server device and a terminal device.
The server device
Item extraction to extract the detail item and the value of the detail item included in the detail part from the reading result data in which the character string read from the area indicating the detail part of the form image and the information indicating the position of the character string are associated with each other. Department and
It has an output unit that outputs the extracted detailed item and the value of the detailed item to the terminal device as a recognition result.
The item extraction unit
The value of the detail item and the detail item is extracted by referring to the first detail definition information that defines the detail item used in the form, the keyword to be extracted as the detail item, and the position of the keyword in the form. Information processing system.
帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する手順と、
抽出された前記明細項目及び明細項目の値を認識結果として出力する手順と、を有し、
前記抽出する手順は、
帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出する、情報処理方法。 Information processing method by computer, the computer
A procedure for extracting the detail items and the values of the detail items included in the detail part from the reading result data in which the character string read from the area indicating the detail part of the form image and the information indicating the position of the character string are associated with each other. ,
It has a procedure for outputting the extracted detailed item and the value of the detailed item as a recognition result.
The extraction procedure is
The value of the detail item and the detail item is extracted by referring to the first detail definition information that defines the detail item used in the form, the keyword to be extracted as the detail item, and the position of the keyword in the form. Information processing method.
抽出された前記明細項目及び明細項目の値を認識結果として出力する処理と、をコンピュータに実行させ、
前記抽出する処理は、
帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出する、プログラム。 A process of extracting the detail item and the value of the detail item included in the detail part from the reading result data in which the character string read from the area indicating the detail part of the form image and the information indicating the position of the character string are associated with each other. ,
A computer is made to execute a process of outputting the extracted detailed item and the value of the detailed item as a recognition result.
The extraction process is
The value of the detail item and the detail item is extracted by referring to the first detail definition information that defines the detail item used in the form, the keyword to be extracted as the detail item, and the position of the keyword in the form. Program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019216251A JP7456131B2 (en) | 2019-11-29 | 2019-11-29 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019216251A JP7456131B2 (en) | 2019-11-29 | 2019-11-29 | Information processing system, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021086479A true JP2021086479A (en) | 2021-06-03 |
| JP7456131B2 JP7456131B2 (en) | 2024-03-27 |
Family
ID=76088862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019216251A Active JP7456131B2 (en) | 2019-11-29 | 2019-11-29 | Information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7456131B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01269189A (en) * | 1988-04-21 | 1989-10-26 | Oki Electric Ind Co Ltd | Optical reader |
| JP2005100079A (en) * | 2003-09-25 | 2005-04-14 | Casio Comput Co Ltd | Form data inputting device and program |
| JP2007213551A (en) * | 2005-08-24 | 2007-08-23 | System Produce:Kk | Data management system |
| JP2011123825A (en) * | 2009-12-14 | 2011-06-23 | Fujitsu Frontech Ltd | Character recognition method, character recognition device, and character recognition program |
| JP2012252657A (en) * | 2011-06-06 | 2012-12-20 | Toshiba Corp | Business form identification system, business form identification method and business form processing program |
| JP2014016762A (en) * | 2012-07-09 | 2014-01-30 | Hitachi Omron Terminal Solutions Corp | Form recognition apparatus and form recognition method |
-
2019
- 2019-11-29 JP JP2019216251A patent/JP7456131B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01269189A (en) * | 1988-04-21 | 1989-10-26 | Oki Electric Ind Co Ltd | Optical reader |
| JP2005100079A (en) * | 2003-09-25 | 2005-04-14 | Casio Comput Co Ltd | Form data inputting device and program |
| JP2007213551A (en) * | 2005-08-24 | 2007-08-23 | System Produce:Kk | Data management system |
| JP2011123825A (en) * | 2009-12-14 | 2011-06-23 | Fujitsu Frontech Ltd | Character recognition method, character recognition device, and character recognition program |
| JP2012252657A (en) * | 2011-06-06 | 2012-12-20 | Toshiba Corp | Business form identification system, business form identification method and business form processing program |
| JP2014016762A (en) * | 2012-07-09 | 2014-01-30 | Hitachi Omron Terminal Solutions Corp | Form recognition apparatus and form recognition method |
Non-Patent Citations (1)
| Title |
|---|
| 平山 淳一、外３名: ""仮説検証型アプローチを用いた定義レス非定型帳票認識技術"", 電子情報通信学会論文誌Ｄ, vol. 97, no. 12, JPN6023029920, 1 December 2014 (2014-12-01), JP, pages 1797 - 1808, ISSN: 0005113140 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7456131B2 (en) | 2024-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354490B1 (en) | Systems, methods, and computer readable media for creating slide presentations | |
| JP7131488B2 (en) | Information processing device, information processing method and information processing program | |
| US11468226B2 (en) | Systems and methods for presentation of a terminal application screen | |
| US20210166284A1 (en) | Information processing system, information processing method, and non-transitory recording medium | |
| JP2021140788A (en) | Information processing system, information processing method and program | |
| US11887390B2 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory recording medium | |
| JP7346931B2 (en) | Information processing device, information processing method, and information processing program | |
| JP7456131B2 (en) | Information processing system, information processing method and program | |
| JP7211276B2 (en) | Information processing device, information processing method and information processing program | |
| JP2021196840A (en) | Information processing apparatus, information processing method, program, and information processing system | |
| US20210409550A1 (en) | Data input support apparatus, data input support method, and storage medium | |
| JP7447928B2 (en) | Information processing device, program, information processing system, information processing method | |
| JP2012146147A (en) | Document processing device and document processing program | |
| JP2017084198A (en) | System, program, and control method | |
| JP7380653B2 (en) | Information processing device, information processing method, information processing program, information processing system | |
| JP2021064209A (en) | Information processor and information processing program | |
| JP2020115260A (en) | Information processing device and information processing program | |
| JP2023081132A (en) | Information processing system, form recognition method, program, form recognition system | |
| US20210157969A1 (en) | Information processing system, information processing apparatus, and non-transitory computer readable medium storing program | |
| JP2021149336A (en) | Information processing apparatus, information processing method, program, and information processing system | |
| JP7458816B2 (en) | Data input support device, data input support method, display device, and program | |
| US20220311894A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and information processing method | |
| JP2023111566A (en) | Information processing device, information processing method, program, and information processing system | |
| JP2020113120A (en) | Electronic form system, information processor, method, and program | |
| JP2022096490A (en) | Image-processing device, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240110 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7456131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |