JP2020160649A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】非定型書類の読取り処理を高速化すること。【解決手段】画像処理装置１は、読取り項目に対応する読取りキーワードが登録された読取りキーワードＤＢを格納する記憶装置１０２と、書類に記載された文字と、読取りキーワードＤＢに登録された読取りキーワードとを比較し、文字と合致する読取りキーワードに対応する読取り項目の情報の読取り処理を行う演算装置１０１と、を備えている。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）装置により帳票等の書類から文字や図形等の情報を読取り、読取った情報をデータ化する手法が広く用いられている。ＯＣＲでは、読取り位置が定まっている定型帳票に対しては、大量かつ高速に読取り処理を行うことが可能である。その準備段階として、ユーザは、マーカーが付された書類を用いて、読取り領域を規定する読取りフォーマット（テンプレート）を登録する必要がある。読取りフォーマットには、例えば、マーカーの位置情報、文字種別や属性に関する情報等が含まれる。

読取りフォーマットの設定処理は、ＧＵＩを用いて行われるため、読取りフォーマットの登録処理の効率化が要求されている。このため、読取りフォーマットの登録処理を効率化するための技術として、例えば以下の特許文献１〜３が開示されている。

特許文献１には、文字認識の対象とされる文書の状態を劣化させることなく文字認識の領域を指定させる画像処理装置が開示されている。

特許文献２の文書処理装置は、テンプレート画像において色マーカーが付された領域を認識し、各領域の位置を示す座標と各領域に含まれる文字列（指定文字）とを、テンプレートとして登録する。こうして登録されたテンプレートを用いて、文書処理装置は、新たに読まれた原稿の画像において、テンプレートの座標で特定される領域内で、指定文字以外の文字をＯＣＲにより認識し、変動パラメータとして原稿画像と共に登録する。これにより、文書処理装置は、ＯＣＲに用いるテンプレートを容易に作成する。

特許文献３には、簡単な操作で必要な部分のみ抽出することのできる文書読取装置が開示されている。具体的には、必要な部分がマーキングされた文書の画像データを画像入力処理部で読み取る。マーキング領域抽出処理部は、画像データから色成分の相違に基づいてマーキング領域を抽出する。文字検索領域決定処理部は、抽出されたマーキング領域を含む矩形領域を設定する。行・文字切出し処理部は、設定された矩形領域内の文字を切り出す。対象文字決定処理部は、行・文字切出し処理部で切り出された文字と、マーキング領域抽出処理部で抽出されたマーキング領域との重なり部分を抽出し、この重なり部分の文字を処理対象文字として設定する。文字認識処理部は、対象文字決定処理部で設定された文字を文字認識辞書により文字認識処理する。

特開２０１１−７６５８１号公報 特開２０１１−２３７８４０号公報 特開２００２−１８９９８４号公報

ここで、従来の読取り処理の概要について説明する。図９は、従来の読取りフォーマットの登録処理を説明する図である。ユーザは、読取りフォーマットの登録対象である書類ＤＯＣの読取り領域に対し、各読取り項目（１〜５）に対応するマーカーＭ１１〜Ｍ１５を付す。

演算装置は、マーカーが付された書類ＤＯＣの画像データからマーカーＭ１１〜Ｍ１５に対応するマーキング領域Ｒ１１〜Ｍ１５を抽出し、各マーキング領域Ｒ１１〜Ｒ１５の座標を測定する。マーキング領域の座標は、マーキング領域の範囲を特定できるように測定される。マーキング領域が矩形の場合であれば、例えば左上及び右下の座標が測定される。また、マーキング領域が複雑な形状であれば、より多くの座標が測定される。演算装置は、各読取り項目のマーキング領域Ｒ１１〜Ｒ１５及び座標を読取りフォーマットとして記憶装置に登録する。また、ユーザは、ＧＵＩを操作して、登録された読取りフォーマットに対し、各読取り項目の属性等の各種情報を追加登録する。このように、読取りフォーマットの登録処理が行われる。

図１０は、従来の読取り処理の概要を説明するフロー図である。図１０には、ステップＳ１０〜Ｓ８０が含まれている。そのうち、ステップＳ１０〜Ｓ３０は、読取りフォーマットの登録処理に係るステップであり、ステップＳ４０〜Ｓ８０は、読取りフォーマットを用いた読取り処理に係るステップである。

読取り処理が開始されると（ＳＴＡＲＴ）、スキャナ装置は、帳票等の書類を読取って画像データを生成し、生成した画像データを演算装置へ送信する（ステップＳ１０）。

次に、演算装置は、マーカーが付されたステップＳ１０と同じ書類を読取って画像データを生成し、生成した画像データを演算装置へ送信する（ステップＳ２０）。

そして、ステップＳ３０において、演算装置は、ステップＳ１０において生成された画像データと、ステップＳ２０において生成された画像データとを比較し、マーカーが付されたマーキング領域を検出する。マーキング領域には、座標の情報も含まれる。ここで検出されたマーキング領域は、読取りフォーマットとして登録され、記憶装置に格納される。

演算装置は、ステップＳ３０で検出したマーキング領域を用いた読取り処理を行い、文字等を読取る（ステップＳ４０）。ここでは、読取りフォーマットに含まれる各マーキング領域の位置や座標を用いて読取り処理が行われる。ステップＳ４０における読取り対象の書類は、ステップＳ１０の書類でもよいし、同じ構成を持つ別の書類でもよい。なお、図９に示すように、読取りフォーマットに複数のマーキング領域が含まれる場合、演算装置は、各マーキング領域に対して、文字等の読取り処理を行う。

そして、演算装置は、各マーキング領域における読取り結果を記憶装置に格納する（ステップＳ５０）。例えば、演算装置は、文字等の読取り処理に成功したマーキング領域（あるいは対応する読取り項目）に対し「読み取り成功」を示す情報を付与し、文字等の読取り処理に失敗したマーキング領域（読取り項目）に対し「読み取り失敗」を示す情報を付与する。演算装置は、マーキング領域（読取り項目）ごとの読取り結果を記憶装置に格納する。

ステップＳ６０では、すべてのマーキング領域において読取り処理が成功したかどうかが判断される。演算装置は、ステップＳ５０において付与した各マーキング領域の読取り結果を用いて、すべてのマーキング領域において文字認識が成功したと判断した場合、認識したすべての文字等の読取り情報を記憶装置に格納する（ステップＳ７０）。一方、読取りに失敗したマーキング領域があると判断した場合、演算装置は、読取りに成功したマーキング領域の読取り情報のみを記憶装置に格納する（ステップＳ８０）。また、ステップＳ８０において、演算装置は、読取りに失敗したマーキング領域があったことを、画面等でユーザに通知し、読取りフォーマットの再登録を促す。

図１１は、従来における読取りに成功した場合と、読取りに失敗した場合とを比較して示す図である。図１１（ａ）は、すべてのマーキング領域において読取りが成功した場合を示している。図１１（ａ）では、項目（１）の文字列に対応する読取り情報「請求書」の読取りが成功している。また、項目（２）の会社名に対応する読取り情報「（株）ＡＢＣ」の読取りが成功している。また、項目（３）の社印に対応する読取り情報である印影の読取りが成功している。また、項目（４）の金額に対応する読取り情報「￥１０，０００」の読取りが成功している。また、項目（５）の銀行情報に対応する読取り情報「〇×銀行普通口座」の読取りが成功している。

一方、図１１（ｂ）は、各マーキング領域において読取りが失敗した場合を示している。具体的に述べると、マーキング領域は、対応する読取り情報が記載された場所とずれており、読取り情報を読取ることができない。この場合、ユーザは、読取り領域の再設定を行い、読取りフォーマットを再登録すればよい。

定型帳票等の定型書類を取り扱う場合には、予め登録された読取りフォーマットを用いて、高速に読取り処理を行うことが可能である。しかし、読取りフォーマットが登録されていない非定型帳票等の非定型書類については、前述したような読取りフォーマットの登録処理を改めて行う必要がある。このため、非定型書類の読取り処理には、大変な手間が掛かっていた。

そこで、本発明は、非定型書類の読取り処理を高速化することが可能な画像処理装置等を提供することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。本発明の代表的な実施の形態による画像処理装置は、読取り項目に対応する読取りキーワードが登録された読取りキーワードＤＢを格納する記憶装置と、書類に記載された文字と、読取りキーワードＤＢに登録された読取りキーワードとを比較し、文字と合致する読取りキーワードに対応する読取り項目の情報の読取り処理を行う演算装置と、を備えている。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、非定型書類の読取り処理を高速化することが可能となる。

本発明の実施の形態１に係る画像処理装置の一例を示す構成図である。 本発明の実施の形態１に係るマーキング方法の一例を説明する図である。 本実施の形態における読取り処理の概要を説明するフロー図である。 本発明の実施の形態１の変型例に係る読取りキーワードＤＢの自動登録方法を説明する図である。 本発明の実施の形態２に係る読取り処理の一例を説明する図である。 本発明の実施の形態２に係る読取り処理の他の例を説明する図である。 本発明の実施の形態２に係る読取り処理の他の例を説明する図である。 表に枠線がない場合の読取り処理を説明する図である。 従来の読取り処理の概要を説明するフロー図である。 従来の読取り処理の概要を説明するフロー図である。 従来における読取りに成功した場合と、読取りに失敗した場合とを比較して示す図である。

以下、本発明を実施の形態について、図面を用いて説明する。なお、発明を実施するための最良の形態を説明するための各図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
＜画像処理装置の構成＞
図１は、本発明の実施の形態１に係る画像処理装置の一例を示す構成図である。画像処理装置１は、図１に示すように、演算装置１０１、記憶装置１０２、通信インタフェース装置１０３、入出力インタフェース装置１０４、入力装置１０５、表示装置１０６、スキャナ装置１０７、外部記憶装置１０８等を備えている。

演算装置１０１は、プロセッサ（例えばＣＰＵ）、ＲＯＭ、ＲＡＭ等で構成され、画像処理装置１の全体を制御する制御部を実現する。演算装置１０１は、ソフトウェアプログラム処理により実現される処理部として、例えば、画像読取り部１１、画像データ入力部１２、図形等読取り部１３、文字認識部１４、文字データ出力部１５、画像データ出力部１６、設定部１７、キーワード照合部１８等を有する。演算装置１０１は、記憶装置１０２から画像処理プログラム１２１を読み出して実行することにより、前述の各部を演算装置１０１内に実現する。これにより、演算装置１０１は、画像処理を行うことが可能となる。

記憶装置１０２は、画像処理プログラム１２１、画像データ１２２、文字データ１２３、マーキング領域データ１２４、辞書データ１２５、設定情報１２６、読取りキーワードＤＢ１２８等の各種情報を格納する。画像データ１２２は、スキャナ装置１０７で生成された書類の画像データ、後述するマーキング領域やマーキング領域に対応する読取り領域の画像データ等を含む。文字データ１２３は、画像データ１２２に基づいてＯＣＲ処理により取得した文字等である。

マーキング領域データ１２４は、書類における文字の読取り位置を規定するデータである。マーキング領域データ１２４は、書類ごとに関連付けて格納される。各書類のマーキングデータ１２４は、１個の場合もあれば複数個の場合もある。

設定情報１２６は、設定部１７を通じて設定されたパラメータ等の情報である。読取りキーワードＤＢ１２８については後述する。

通信インタフェース装置１０３は、外部装置との間で、通信処理を行う。画像処理装置１は、通信インタフェース装置１０３を介して、例えば外部装置のサーバ等と各種情報の送受信を行ってもよい。

入出力インタフェース装置１０４は、入出力インタフェースを有し、演算装置１０１、記憶装置１０２、入力装置１０５、表示装置１０６、スキャナ装置１０７、外部記憶装置１０８等と接続されている。入力装置１０５及び表示装置１０６は、例えば操作パネル等で構成される。ユーザは、入力装置１０５を介して操作指示や、設定情報等を入力可能である。また、ユーザは、入力装置１０５を介して読取りキーワードＤＢ１２８の編集を行ってもよい。読取りキーワードＤＢの編集については後述する。入力装置１０５は、表示装置１０６に表示されるＧＵＩで構成されてもよい。この場合、ユーザは、表示装置１０６のＧＵＩをタッチしながら各種操作を行う。表示装置１０６は、装置状態等の情報を表示する。ユーザは、表示された情報から装置状態を認識することができる。

外部記憶装置１０８は、例えばディスク装置やメモリカード装置等の記憶媒体である。外部記憶装置１０８は、演算装置１０１からの制御に基づいて、例えば、画像データ１２２、文字データ１２３、マーキング領域データ１２４等の各種データを格納することができる。また、画像処理装置１は、外部記憶装置１０８に格納されている各種データを、入出力インタフェース装置１０４を介して読み出すこともできる。

スキャナ装置１０７は、セットされた帳票等の書類をスキャンして画像を読み取る画像読取り装置である。スキャナ装置１０７は、読み取った画像の画像データ生成し、生成した画像データを画像データ１２２として、演算装置１０１や記憶装置１０２に送信する。

演算装置１０１の画像読取り部１１は、スキャナ装置１０７に命令を送り、セットされた書類の画像データを生成させ、生成された画像データを取得する処理を行う。画像データ入力部１２は、例えば通信インタフェース装置１０３や入出力インタフェース装置１０４等に命令を送り、外部装置から画像データを入力して画像データ１２２として取得する処理を行う。

図形等読取り部１３は、例えば、書類に付されたマーカーの形状や色、社印の印影等の読取りを行う。文字認識部１４は、例えば、後述するマーキング領域に対応する領域の画像データに対するＯＣＲ処理を行い、当該領域の文字データを取得する。文字データ出力部１５は、ＯＣＲ処理により取得された文字データを、記憶装置１０２や表示装置１０６等へ出力する処理を行う。画像データ出力部１６は、画像データ１２２を、記憶装置１０２や表示装置１０６等へ出力する処理を行う。

設定部１７は、管理者等のユーザの操作に基づいて、ＯＣＲ処理等の読取り処理に係わる設定処理等を行う機能ブロックである。設定部１７は、例えば、マーキング領域に対する読取り領域の設定等を行う。設定部１７は、マーキング領域と、対応する読取り領域とを関連付けて記憶装置１０２へ格納してもよい。

キーワード照合部１８は、読取り処理において、画像データから読み取った文字データと、読取りキーワードＤＢ１２８に登録された読取りキーワードとの照合を行う。

＜読取りキーワードＤＢの作成＞
次に、本実施の形態の読取り処理に用いられる読取りキーワードＤＢ１２８の作成について説明する。

ここでは、マーカーが付された書類をスキャンして読取りキーワードを登録する方法について説明する。本実施の形態では、従来のように読取り領域をマーキングするのではなく、読取り項目ごとに共通のキーワードが記載された部分のみがマーキングされる。

図２は、本発明の実施の形態１に係るマーキング方法の一例を説明する図である。図２（ａ）は、マーキングされた書類を示し、図２（ｂ）は、各読取り項目の説明を一覧にして示す図である。図２（ａ）に示すように、書類ＤＯＣには、マーカーＭ１１１〜Ｍ１１６が付されている。まず、マーカーＭ１１１は、読取り項目（１）と対応している。読取り項目（１）は、書類のタイトルであり、マーカーＭ１１１は、「請求書」と記載された領域に付されている。「請求書」は、書類のタイトルとして共通の読取りキーワードである。

マーカーＭ１１２は、読取り項目（２）と対応している。読取り項目（２）は、「請求先」であり、マーカーＭ１１２は、「請求先」の会社名のうち、「（株）」と記載された領域のみに付されている。「（株）」は、「請求先」の社名として共通の読取りキーワードであるが、後続の「ＡＢＣ」は社名として共通のキーワードではないため、マーカーは付されていない。

マーカーＭ１１３は、読取り項目（３）と対応している。読取り項目（３）は、「金額」であり、マーカーＭ１１３は、「ご請求額」と記載された領域に付されている。「ご請求額」は、読取り項目（３）として共通の読取りキーワードであるが、実際の請求額「￥１０，０００」は、共通のキーワードではないため、マーカーは付されていない。

マーカーＭ１１４は、読取り項目（４）と対応している。読取り項目（４）は、「請求元」であり、マーカーＭ１１４は、「請求元」の会社名のうち、「（株）」と記載された領域のみに付されている。「（株）」は、「請求元」の社名として共通の読取りキーワードであるが、後続の「〇工業」は社名として共通のキーワードではないため、マーカーは付されていない。

マーカーＭ１１５は、読取り項目（５）と対応している。読取り項目（５）は、「社印」であり、マーカーＭ１１５は、「社印」と記載された領域を含む領域に付されている。社印が押印される領域は、請求元の社名が記載された領域を含む領域であるため、マーカーＭ１１５が付されたマーキング領域は、マーカーＭ１１４が付されたマーキング領域を含む場合がある。

マーカーＭ１１６は、読取り項目（６）と対応している。読取り項目（６）は、「取引銀行」であり、マーカーＭ１１６は、「振込先」と記載された領域のみに付されている。「振込先」は、共通の読取りキーワードであるが、後続の「〇×銀行 普通口座」は振込先として共通のキーワードではないため、マーカーは付されていない。

例えば、図形等読取り部１３は、受信した画像データからマーカーＭ１１１〜Ｍ１１６が付されたマーキング領域を抽出し、マーキング領域の座標を測定する。そして、文字認識部１４は、各マーキング領域の座標を用いて、マーカーＭ１１１〜Ｍ１１６が付された領域に記載された文字を読取る。文字データ出力部１６は、読み取った文字を読取りキーワードとして記憶装置１０２へ送信する。記憶装置１０２は、受信した読取りキーワードを読取りキーワードＤＢ１２８として格納する。

次に、ユーザは、入力装置１０６から、読取りキーワードＤＢ１２８に、読取りキーワードの属性等の情報を追加する処理を行う。例えば、読取り項目（１）の属性は、「文字列」に設定される。読取り項目（２）の属性は、「会社名」に設定される。読取り項目（３）の属性は、「金額」に設定される。読取り項目（４）の属性は、「会社名」に設定される。読取り項目（５）の属性は、「社印」に設定される。読取り項目（６）の属性は、「銀行情報」に設定される。なお、図２（ａ）に示すように、マーカーＭ１１５は、マーカーＭ１１４と重複して付されている。この場合、ユーザは、読取りキーワードＤＢ１２８の情報を正しい情報に修正する。

また、ユーザは、このようなスキャナを用いずに、入力装置１０６から、読取りキーワード、対応する属性等の情報を手入力することにより、読取りキーワードＤＢ１２８を作成してもよい。また、ユーザは、スキャナを用いた方法と、手入力による方法を併用して読取りキーワードＤＢ１２８を作成してもよい。

＜画像読取り方法＞
次に、本実施の形態における読取り処理について説明する。図３は、本実施の形態における読取り処理の概要を説明するフロー図である。図３には、ステップＳ１１０〜Ｓ１８０が含まれている。そのうち、ステップＳ１１０〜Ｓ１３０は、読取りキーワードＤＢの登録処理に係るステップであり、ステップＳ１４０〜Ｓ１８０は、読取りキーワードＤＢを用いた読取り処理に係るステップである。

読取り処理が開始されると（ＳＴＡＲＴ）、スキャナ装置１０７は、画像読取り部１１からの命令に従い、書類を読取って画像データ（第１画像データ）を生成し、生成した画像データを演算装置１０１（画像データ入力部１２）へ送信する（ステップＳ１１０）。

次に、ステップＳ１２０において、スキャナ装置１０７は、画像読取り部１１からの命令に従い、マーカーが付されたステップＳ１１０と同じ書類を読取って画像データ（第２画像データ）を生成し、生成した画像データを演算装置１０１（画像データ入力部１２）へ送信する（ステップＳ１２０）。

ステップＳ１３０において、例えば図形等読取り部１３は、ステップＳ１１０において生成された画像データと、ステップＳ１２０において生成された画像データとを比較し、マーカーに対応するマーキング領域を検出する。マーキング領域には、座標の情報も含まれてもよい。そして、文字認識部１４は、検出されたマーキング領域を用いて文字の読取り処理を行う。文字認識部１４が読取った文字は、読取りキーワードとして読取りキーワードＤＢに登録される。

なお、前述した読取りキーワードＤＢの作成処理を事前に行った場合には、ステップＳ１１０〜Ｓ１３０は、適宜省略可能である。

ステップＳ１４０において、文字認識部１４や図形等読取り部１３は、ステップＳ１３０で登録した読取りキーワードＤＢを用いた読取り処理を行い、文字等の読取り処理を行う。ここでは、読取りキーワードＤＢに含まれる各読取りキーワードを用いて読取り処理が行われる。ステップＳ１４０における読取り対象の書類は、ステップＳ１１０の書類でもよいし、別の書類でもよい。

ステップＳ１４０における読取り処理の前に、例えば設定部１７は、ステップＳ１３０で読取られた読取りキーワードに対応する読取り領域を設定する。その際、設定部１７は、各読取りキーワードに対応する読取り項目の属性を参照しつつ読取り領域を設定する。具体的に述べると、図２（ｂ）の読取り項目（１）については、読取りキーワード「請求書」が記載された領域が読取り領域として設定される。読取り項目（２）については、読取りキーワード「（株）」の左右の領域が読み取り領域として設定される。あるいは、読取りキーワード「（株）」を含む左右の領域が読み取り領域として設定されてもよい。

読取り項目（３）については、読取りキーワード「ご請求額」と同じ行や直近の行が読取り領域として設定される。読取り項目（４）については、読取りキーワード「（株）」の左右の領域が読み取り領域として設定される。あるいは、読取りキーワード「（株）」を含む左右の領域が読み取り領域として設定されてもよい。

読取り項目（５）については、社印が押印される領域が読み取り領域として設定される。読取り項目（６）については、読取りキーワード「振込先」と同じ行や直近の行が読取り領域として設定される。設定部１７は、これらの読取り領域の座標をＲＡＭや記憶装置１０２等に格納してもよい。

ステップＳ１５０において、文字認識部１４、図形等読取り部１３は、各読取りキーワードに対する読取り結果を記憶装置に格納する。例えば、文字認識部１４、図形等読取り部１３は、読取りキーワードに対する読取り処理に成功した読取り項目に対し「読み取り成功」を示す情報を付与し、読取りキーワードに対する読取り処理に失敗した読取り項目に対し「読み取り失敗」を示す情報を付与する。文字認識部１４、図形等読取り部１３は、読取り項目ごとの読取り結果を記憶装置１０２に格納する。

ステップＳ１６０では、すべての読取り項目について読取り処理が成功したかどうかが判断される。演算装置１０１は、ステップＳ１５０において付与した読取り結果を用いて、すべての読取り項目に対して読取りが成功したと判断した場合、読取ったすべての文字等の読取り情報を記憶装置１０２に格納する（ステップＳ１７０）。一方、読取りに失敗した読取り項目があると判断した場合、演算装置は、読取りに成功した読取り項目の読取り情報のみを記憶装置１０２に格納する（ステップＳ１８０）。また、ステップＳ１８０において、演算装置１０１は、読取りに失敗した読取り項目があったことを、画面等でユーザに通知してもよい。この場合、ユーザは、読取り領域の再設定を行えばよい。

［変型例］
次に、本実施の形態における変型例について説明する。ここで述べる３つの変型例は、読取りキーワードＤＢの自動登録に関するものである。図４は、本発明の実施の形態１の変型例に係る読取りキーワードＤＢの自動登録方法を説明する図である。

＜第１変型例＞
図４（ａ）は、第１変型例を説明する図である。第１変型例は、読取り項目の属性ごとに書類に付されるマーカーの色が異なっている。記憶装置１０２には、マーカーの色と属性とを対応させた色−属性情報が事前に格納される。例えば、（１）には赤色のマーカーが付され、（２）には橙色のマーカーが付され、（３）には黄色のマーカーが付され、（４）には青色のマーカーが付され、（５）には水色のマーカーが付され、（６）には紫色のマーカーが付されるとする。なお、マーカーの色や対応する属性等は、ユーザが任意に設定可能である。

一方、色−属性情報では、赤色はタイトルを示しており、対応する属性として「文字列」が登録されている。橙色は会社名を示しており、対応する属性として「会社名」が登録されている。黄色は金額を示しており、対応する属性として「金額」が登録されている。青色は会社名を示しており、対応する属性として「会社名」が登録されている。水色は社印を示しており、対応する属性として「社印」が登録されている。紫色は銀行情報を示しており、対応する属性として「銀行情報」が登録されている。

図３のステップＳ１３０において、図形等読取り部１３は、マーキング領域とともに、マーカーの色を検出する。そして、文字認識部１４が読取った読取りキーワードは、色−属性情報に基づき、対応する属性と関連付けて読取りキーワードＤＢに自動登録される。

＜第２変型例＞
次に、図４（ｂ）は、第２変型例を説明する図である。第２変型例は、読取り項目の属性ごとにマーカーに付される記号が異なっている。記憶装置１０２には、マーカーに付される記号と属性とを対応させた記号−属性情報が事前に格納される。例えば、（１）には記号「１」が付され、（２）には記号「２」が付され、（３）には記号「３」が付され、（４）には記号「４」が付され、（５）には記号「５」が付され、（６）には記号「６」が付されるとする。なお、マーカーに付される記号や対応する属性等は、ユーザが任意に設定可能である。

一方、色−属性情報では、記号「１」はタイトルを示しており、対応する属性として「文字列」が登録されている。記号「２」は会社名を示しており、対応する属性として「会社名」が登録されている。記号「３」は金額を示しており、対応する属性として「金額」が登録されている。記号「４」は会社名を示しており、対応する属性として「会社名」が登録されている。記号「５」は社印を示しており、対応する属性として「社印」が登録されている。記号「６」は銀行情報を示しており、対応する属性として「銀行情報」が登録されている。

図３のステップＳ１３０において、文字認識部１４又は図形等読取り部１３は、マーキング領域とともに、マーカーに付された記号を検出する。そして、文字認識部１４が読取った読取りキーワードは、記号−属性情報に基づき、対応する属性と関連付けて読取りキーワードＤＢに自動登録される。

なお、これら以外にも、属性ごとにマーカーの形状を異ならせてもよい。この場合、記憶装置１０２には、マーカーの形状と属性とを対応させた形状−属性情報が事前に格納される。

＜第３変型例＞
次に、図４（ｃ）は、第３変型例を説明する図である。第３変型例では、読取りキーワードごとに属性が予め設定されている。記憶装置１０２には、読取りキーワードと属性とを対応させたキーワード−属性情報が事前に格納される。例えば、（１）の読取りキーワードは「請求書」である。（２）の読取りキーワードは「（株）」である。（３）の読取りキーワードは「ご請求額」である。（４）の読取りキーワードは「（株）」である。（５）の読取りキーワードは「社印」である。（６）の読取りキーワードは「振込先」である。

一方、キーワード−属性情報では、読取りキーワード「請求書」はタイトルを示しており、対応する属性として「文字列」が登録されている。読取りキーワード「（株）」は会社名を示しており、対応する属性として「会社名」が登録されている。読取りキーワード「ご請求額」は金額を示しており、対応する属性として「金額」が登録されている。読取りキーワード「（株）」は会社名を示しており、対応する属性として「会社名」が登録されている。読取りキーワード「社印」は社印を示しており、対応する属性として「社印」が登録されている。読取りキーワード「振込先」は銀行情報を示しており、対応する属性として「銀行情報」が登録されている。

図３のステップＳ１３０において、文字認識部１４等が読取った読取りキーワードは、キーワード−属性情報に基づき、対応する属性と関連付けて読取りキーワードＤＢに自動登録される。

＜本実施の形態による主な効果＞
本実施の形態によれば、読取り項目の共通キーワードのみにマーカーが付され、共通キーワードが読取りキーワードとして読取りキーワードＤＢに登録される。そして、演算装置１０１は、画像データから、読取りキーワードＤＢに登録された読取りキーワードと合致する文字を検出すると、読取りキーワードに対応する読取り項目に対する情報の読取り処理を行う。この構成によれば、マーキング領域以外の領域に設定される読取り領域に対する読取り処理が行われるので、非定型書類の読取り処理を高速化することが可能となる。

また、本実施の形態によれば、色−属性情報、記号−属性情報、キーワード−属性情報等を用いて、読取りキーワードと、対応する属性とが自動登録される。この構成によれば、読取りキーワードＤＢの作成に要するユーザの負担が軽減される。また、誤入力による設定ミスの発生も抑えられる。

（実施の形態２）
次に、実施の形態２について説明する。以下の実施の形態では、書類中の表の読取り方法について説明する。なお、以下では、前述の実施の形態と重複する箇所については原則として説明を省略する。

＜単純な表の場合＞
図５は、本発明の実施の形態２に係る読取り処理の一例を説明する図である。図５は、単純なｎ行ｍ列の表に対する読取り処理を示している。図５（ａ）には、読取り領域となる表Ｔ１１が示されている。表Ｔ１１の最上段には、表Ｔ１１の項目として、例えば「品名」、「型番」、「金額」、「個数」がそれぞれ示されている。最上段より下方の各段には、各項目に対応する情報が記載されている。

図５（ｂ）は、図５（ａ）に示す表Ｔ１１に対応する読取りキーワードＤＢの作成方法の例が示されている。図５（ｂ）に示すように、表Ｔ１１の最上段の各項目には、マーカーＭ１１１〜Ｍ１１４がそれぞれ付されている。

図３のステップＳ１３０において、図形等読取り部１３は、表Ｔ１１の各項目に付されたマーカーに対応するマーキング領域を検出する。そして、文字認識部１４は、検出されたマーキング領域に対する文字の読取り処理を行い、例えば項目「品名」、「型番」、「金額」、「個数」を組パターンとして読取る。そして、演算装置１０１は、読取ったこれらの項目「品名」、「型番」、「金額」、「個数」を含む組パターンを表読取り項目として読取りキーワードＤＢに登録する。

図３のステップＳ１４０において、演算装置１０１は、表読取り項目に含まれるすべての項目「品名」、「型番」、「金額」、「個数」を読取ると、読取り対象が表であることを認識する。そして、文字認識部１４は、表読取り項目を用いて表Ｔ１１から各項目に対応する情報の読取り処理を行う。なお、表読取り項目の各項目の順序は特に限定されるものではない。これらの項目の順序が入れ替わっていても、演算装置１０１は、これらの項目から表読取り項目であると認識可能である。

図５（ｃ）は、文字認識部１４が表と認識した箇所を模式的に示す図である。図５（ｃ）に示すように、文字認識部１４は、表読取り項目に基づき、各項目の下方に記載された６段分を表と認識し表中の情報を読取る。図３のステップＳ１５０以降の処理は前述の実施の形態と同様である。

なお、文字認識部１４が読取った情報は、例えば段ごとに関連付けて記憶装置１０２に格納されてもよいし、項目別に関連付けて格納されてもよい。

本実施の形態によれば、表読取り項目を登録することにより、非定型の表に記載された情報の読取りを行うことが可能となる。

＜複雑な表の場合（１）＞
図６は、本発明の実施の形態２に係る読取り処理の他の例を説明する図である。図６は、ある項目に対し複数の情報が並列に記載された表に対する読取り処理を示している。図６（ａ）には、読取り領域となる表Ｔ２１が示されている。表Ｔ２１の最上段には、表Ｔ２１の項目として、例えば「品名（型）」、「個数」、「単価」、「金額」がそれぞれ示されている。最上段より下方の各段には、各項目に対応する情報が記載されている。具体的に述べると、「品名（型）」については、２つの情報が並列に記載されている。例えば、最初の段には、「品名（型）」に対し、「ｓＡＡ」、「Ａ−ｓＡ」がそれぞれ記載されている。その他の項目については、１つの情報がそれぞれ示されている。また、図６（ａ）の項「３」の段は空欄となっている。

図６（ｂ）は、図６（ａ）に示す表Ｔ２１に対応する読取りキーワードＤＢの作成方法の例が示されている。図６（ｂ）に示すように、表Ｔ２１の最上段の各項目には、マーカーＭ１２１〜Ｍ１２４がそれぞれ付されている。そして、次段の各情報には、マーカーＭ１２１１〜Ｍ１２４１がそれぞれ付されている。具体的には、「品名（型）」に付されたマーカーＭ１２１に対応する２つの情報には、マーカーＭ１２１１、Ｍ１２１２がそれぞれ付されている。「個数」に付されたマーカーＭ１２２に対応する１つの情報には、マーカーＭ１２２１が付されている。「単価」に付されたマーカーＭ１２３に対応する１つの情報には、マーカーＭ１２３１が付されている。「金額」に付されたマーカーＭ１２４に対応する１つの情報には、マーカーＭ１２４１が付されている。

図３のステップＳ１３０において、図形等読取り部１３は、表Ｔ２１に付されたマーカーに対応するマーキング領域を検出する。そして、文字認識部１４は、検出されたマーキング領域における文字の読取り処理を行い、マーカーＭ１２１〜Ｍ１２４に対応するマーキング領域から「品名（型）」、「個数」、「単価」、「金額」をそれぞれ読取り、これらの項目名「品名（型）」、「個数」、「単価」、「金額」を表読取り項目として認識する。さらに、演算装置１０１は、次段に付されたマーカーＭ１２１１、Ｍ１２１２に対応するマーキング領域から、「品名（型）」は２つの情報が並列に記載された表構造であることを認識する。また、マーカーＭ１２２１〜Ｍ１２４１に対応するマーキング領域から、「個数」、「単価」、「金額」はそれぞれ１つの情報のみが記載された表構造であることを認識する。このように、演算装置１０１は、表Ｔ２１の各項目に付されたマーカーに対応するマーキング領域、及び各項目に直近の情報に付されたマーカーに対応するマーキング領域の配置から表構造を作成する。そして、演算装置１０１は、表読取り項目と対応する表構造とを関連付けた情報を読取りキーワードＤＢに登録する。

図３のステップＳ１４０において、演算装置１０１は、「品名（型）」、「個数」、「単価」、「金額」のすべてを検出すると、読取りキーワードＤＢから表読取り項目を満たしていると認識する。そして、文字認識部１４は、この表読取り項目と関連付けられた表構造を用いて、表Ｔ２１から各項目に対応する情報の読取り処理を行う。

図６（ｃ）は、文字認識部１４が表と認識した箇所を模式的に示す図である。図５（ｃ）に示すように、文字認識部１４は、表読取り項目に基づき、各項目の下方に記載された３段分を表と認識し表中の情報を読取る。図３のステップＳ１５０以降の処理は前述の実施の形態と同様である。

なお、文字認識部１４が読取った情報は、例えば段ごとに関連付けて記憶装置１０２に格納されてもよいし、項目別に関連付けて格納されてもよい。また、最上段から３段目には、対応する情報が記載されていないので、直前の段までを、表として認識されるようにしてもよい。

本実施の形態によれば、表読取り項目及び対応する表構造を登録することにより、複雑な構成を持つ非定型の表に記載された情報の読取りを行うことが可能となる。

＜複雑な表の場合（２）＞
図７は、本発明の実施の形態２に係る読取り処理の他の例を説明する図である。図７（ａ）には、読取り領域を含む表Ｔ３１が示されている。表Ｔ３１の最上段には、表Ｔ３１の項目として、例えば「品名（型）」、「個数」、「単価」、「金額」、「備考」がそれぞれ示されている。最上段より下方の各段には、各項目に対応する情報が記載されている。図７は、図６と比較して項目「備考」が増えている点が異なる以外は同様である。

図７（ｂ）は、図７（ａ）に示す表Ｔ３１における表構造の例が示されている。「品名（型）」、「個数」、「単価」、「金額」に対する図７（ｂ）の表構造は、図６と同様である。このため、演算装置１０１は、読取りキーワードＤＢを参照し、図６の例と同様の表読取り項目と、対応する表構造とを用いて、表Ｔ３１に含まれる読取り領域に記載された情報を読取る。

このように、表読取り項目と、対応する表構造とを用いることにより、表の一部の領域に対しても読取り処理を行うことが可能となる。すなわち、新たに表Ｔ３１用の表読取り項目及び表構造の登録処理を行う必要がない。なお、＜単純な表の場合＞で説明した単純な行列については、表構造の登録は行われていないが、この場合にはすでに登録された表読取り項目のみを用いて、表の一部の領域に対する読取り処理を行えばよい。

本実施の形態によれば、登録された別の表に対する表読取り項目、表構造を流用することにより、表の一部の領域に対する読取り処理を行うことが可能となる。

＜表に枠線がない場合の読取り処理＞
次に、表に枠線がない場合の読み取り処理について説明する。前述の表読取り項目を用いた場合でも、表に枠線がない場合、隣接する項目や、対応する各情報が繋がった状態で認識される場合がある。そこで、ここでは、このような問題を解消する方法を説明する。

図８は、表に枠線がない場合の読取り処理を説明する図である。図８（ａ）には、枠線がない元の表Ｔ４１が示されている。表Ｔ４１の最上段には、例えば「社名」、「取引実績」、「経過」、「取引日」、「内容」が項目としてそれぞれ示されている。最上段より下方の各段には、各項目に対応する情報が記載されている。

図８（ｂ）は、図８（ａ）に示す表Ｔ４１に対するマーキング方法の一例を示している。図８（ｂ）に示すように、表Ｔ４１における最上段の各項目にマーカーがそれぞれ付されている。また、表Ｔ４１には、各項目に対応する情報にもマーカーが付されている。情報のマーカーは、図示で上下左右の各方向に隣接する情報の各マーカーと重複しないように付される。

図３のステップＳ１３０において、図形等読取り部１３は、図８（ｂ）に基づき、表Ｔ４１に対応するマーキング領域を検出する（図８（ｃ））。マーキング領域は、記憶装置１０２に格納されてもよい。そして、文字認識部１４は、検出された図８（ｃ）のマーキング領域に対する読取り処理を行い、例えば「社名」、「取引実績」、「経過」、「取引日」、「内容」を表読取り項目として読取る。また、文字認識部１４は、表読取り項目を用いて各情報を読取る。

なお、文字読取りの際、例えば図８（ｄ）のように、隣接する情報や項目が繋がって認識された場合でも、文字認識部１４は、対応するマーキング領域と照合することにより繋がった情報を情報や項目ごとに分離することができる。

本実施の形態によれば、項目や情報のマーキング領域を登録することにより、枠線がない表に対する情報の読取りを確実に行うことが可能となる。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、前述の実施の形態では、画像処理装置にスキャナ装置が含まれる場合について説明したが、スキャナ装置は、画像処理装置とは別体で設けられてもよい。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。

１…画像処理装置、１０１…演算装置、１０２…記憶装置

Claims (20)

1. 書類に記載された情報を読取る画像処理装置であって、
   読取り項目に対応する読取りキーワードが登録された読取りキーワードＤＢを格納する記憶装置と、
   前記書類に記載された文字と、前記読取りキーワードＤＢに登録された前記読取りキーワードとを比較し、前記文字と合致する前記読取りキーワードに対応する前記読取り項目の情報の読取り処理を行う演算装置と、
   を備えている、
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記演算装置は、前記読取り処理を行う前に、前記書類の第１画像データと、マーカーが付された当該書類の第２画像データとを用いて前記マーカーに対応するマーキング領域を検出し、検出した前記マーキング領域に対する読取り処理を行い、読取った文字を前記読取りキーワードとして前記読取りキーワードＤＢに登録する処理を行う、
   画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記演算装置は、前記読取りキーワードを、対応する属性と関連付けて前記読取りキーワードＤＢに登録する、
   画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記記憶装置は、前記マーカーの色と前記読取り項目の属性とを対応させた色−属性情報を格納し、
   前記演算装置は、前記色−属性情報を用いて、前記マーカーの色に対応する前記読取り項目の属性を検出し、前記マーキング領域に含まれる前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
   画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記記憶装置は、前記マーカーに付された記号と前記読取り項目の属性とを対応させた記号−属性情報を格納し、
   前記演算装置は、前記記号−属性情報を用いて、前記マーカーに付された前記記号に対応する前記読取り項目の属性を検出し、前記マーキング領域に含まれる前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
   画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記記憶装置は、前記読取りキーワードと、前記読取り項目の属性とを関連付けたキーワード−属性情報を格納し、
   前記演算装置は、前記キーワード−属性情報を用いて、前記マーキング領域に含まれる前記読取りキーワードに対応する前記読取り項目の属性を検出し、前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
   画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記演算装置は、所定の項目を含む組パターンを表読取り項目として前記読取りキーワードＤＢに登録し、読取った前記読取りキーワード前記表読取り項目に含まれるすべての前記項目と一致する場合、読取り対象が表であると認識し、それぞれの前記読取りキーワードに対応する前記情報を前記表から読み取る、
   画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記項目に対応する前記情報が複数並列に記載されている場合、前記演算装置は、前記表読取り項目と、対応する表構造とを関連付けて前記読取りキーワードＤＢに格納する、 画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記演算装置は、前記表の前記項目に付されたマーカーに対応するマーキング領域、及び前記項目に直近の前記情報に付されたマーカーに対応するマーキング領域の配置から前記表構造を作成する、
   画像処理装置。
10. 請求項１に記載の画像処理装置において、
    前記読取りキーワードＤＢは、前記読取り項目に対し複数の前記読取りキーワードが登録されている、
    画像処理装置。
11. 書類に記載された情報を読取る画像処理方法であって、
    演算装置が、前記書類に記載された文字と、記憶装置に格納された読取りキーワードＤＢに登録された、読取り項目に対応する前記読取りキーワードと、を比較する比較ステップと、
    演算装置が、前記文字と合致する前記読取りキーワードに対応する前記読取り項目の情報の読取り処理を行う読取りステップと、
    を有する、
    画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記演算装置が、前記読取りステップを行う前に、前記書類の第１画像データと、マーカーが付された当該書類の第２画像データとを用いて前記マーカーに対応するマーキング領域を検出するステップと、
    前記演算装置が、検出した前記マーキング領域に対する読取り処理を行うステップと、
    前記演算装置が、読取った文字を前記読取りキーワードとして前記読取りキーワードＤＢに登録する登録ステップと、
    を有する、
    画像処理方法。
13. 請求項１２に記載の画像処理方法において、
    前記演算装置は、前記登録ステップにおいて、前記読取りキーワードを、対応する属性と関連付けて前記読取りキーワードＤＢに登録する、
    画像処理方法。
14. 請求項１３に記載の画像処理方法において、
    前記記憶装置は、前記登録ステップにおいて、前記マーカーの色と前記読取り項目の属性とを対応させた色−属性情報を用いて、前記マーカーの色に対応する前記読取り項目の属性を検出し、前記マーキング領域に含まれる前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
    画像処理方法。
15. 請求項１３に記載の画像処理方法において、
    前記記憶装置は、前記登録ステップにおいて、前記マーカーに付された記号と前記読取り項目の属性とを対応させた記号−属性情報を用いて、前記マーカーに付された前記記号に対応する前記読取り項目の属性を検出し、前記マーキング領域に含まれる前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
    画像処理方法。
16. 請求項１３に記載の画像処理方法において、
    前記記憶装置は、前記登録ステップにおいて、前記読取りキーワードと、前記読取り項目の属性とを関連付けたキーワード−属性情報を用いて、前記マーキング領域に含まれる前記読取りキーワードに対応する前記読取り項目の属性を検出し、前記読取りキーワードと、対応する前記属性とを関連付けて前記記憶装置に格納する、
    画像処理方法。
17. 請求項１１に記載の画像処理方法において、
    前記演算装置が、所定の項目を含む組パターンを表読取り項目として前記読取りキーワードＤＢに登録ステップと、
    前記演算装置が、読取った前記読取りキーワード前記表読取り項目に含まれるすべての前記項目と一致する場合、読取り対象が表であると認識し、それぞれの前記読取りキーワードに対応する前記情報を前記表から読み取るステップと、
    を有する、
    画像処理方法。
18. 請求項１７に記載の画像処理方法において、
    前記演算装置は、前記登録ステップにおいて、前記項目に対応する前記情報が複数並列に記載されている場合、前記表読取り項目と、対応する表構造とを関連付けて前記読取りキーワードＤＢに格納する、
    画像処理方法。
19. 請求項１８に記載の画像処理方法において、
    前記演算装置は、前記登録ステップにおいて、前記表の前記項目に付されたマーカーに対応するマーキング領域、及び前記項目に直近の前記情報に付されたマーカーに対応するマーキング領域の配置から前記表構造を作成する、
    画像処理方法。
20. 書類に記載された情報を読取る画像処理プログラムであって、
    前記書類に記載された文字と、記憶装置に格納された読取りキーワードＤＢに登録された、読取り項目に対応する読取りキーワードと、を比較するステップと、
    前記文字と合致する前記読取りキーワードに対応する前記読取り項目の情報の読取り処理を行うステップと、
    を演算装置に実行させる、
    画像処理プログラム。