JP2020107272A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】入力された画像の種別を効率よく判定することが可能な仕組みを提供する。【解決手段】スキャナ装置１０１に対して入力された帳票に関しての帳票画像をサーバ装置１０３で受信する。サーバ装置の前処理部１３１は、帳票の画像データを用いて帳票の種別を学習した学習データに基づいて、ＣＮＮにより、入力された帳票の帳票種別の候補を推定する。帳票別処理部１３２は、前処理部により推定して得られた帳票種別の帳票の画像データの特徴量と、入力された帳票の画像の特徴量とを比較することにより、入力された帳票の画像の種別を特定する。【選択図】図１

Description

本発明は、記録媒体に記載された文字列の認識技術に関する。

主に金融や保険業界において、複数の手書き帳票を効率よく処理するために、自動文字認識システム（ＯＣＲ）が利用される。

ＯＣＲにおいては、帳票のうち読み取り対象項目の座標や文字種別の情報を予め定義しておき（読み取り対象定義情報）、入力帳票画像から対象領域を切出して文字認識処理にかけるということが一般的に行われる。

通常、業務において扱う帳票の種類は複数種類ある。この場合、読み取り対象定義情報は帳票の種類によってそれぞれ登録しておく。

この場合、文字認識処理の前段として、入力帳票画像がどの種類の帳票であるかを精度良く認識し、適用する読み取り対象定義情報を決定することが重要となる。

そこで、帳票認識手法としては、帳票画像の罫線特徴によるマッチングや、予めバーコードやＩＤを所定位置に印字しておくなど様々な手法が一般的に利用されている。

従来のバーコードや帳票ＩＤによって帳票種別を認識する手法では、新規マスター帳票を登録する際に、帳票におけるバーコードや帳票ＩＤの位置をユーザ操作により指定させることを必要とするため、帳票登録の作業効率が悪いという問題がある。

またこの方法では、予め帳票にバーコードやＩＤを印刷しておかねばならず、既に流通している既存の帳票のように帳票ＩＤが付いていない帳票では識別することができない。

また、帳票の画像的特徴を用いて、パターンマッチングなどで、帳票を識別する方法では、マスター帳票登録時の入力条件と処理対象となる入力帳票の入力条件が大きく異なる場合、例えば、入力時の濃度設定値や解像度が異なる場合、帳票種類を正しく識別することができないという問題がある。

そこで、このような問題を解決する手法として、一つの帳票種別に対し、予め異なる入力条件での複数のマスター帳票を登録しておくことで、識別対象の帳票画像のスキャン精度にばらつきがあっても精度良く認識できるような手法が提案されている（例えば、特許文献１参照）。

特許第０３９６１７３０号公報

しかしながら、特許文献１における発明では、入力画像の特徴情報に対して登録済みの特徴情報と総当たりで比較するため、登録帳票が膨大になるに従い、認識処理に時間がかかるという問題がある。

そこで、本発明では、入力された画像の種別を効率よく判定することが可能な仕組みを提供することを目的とする。

上記目的を達成するための本発明は、帳票を判別する情報処理装置であって、帳票の画像を学習することにより得られた学習データに基づいて入力された画像データの種別を推定する推定手段と、前記推定手段により推定された画像の種別に対応する画像データと前記入力された画像データとを用いて比較を行う比較手段と、を備えたことを特徴とする。

本発明によれば、入力された画像の種別を効率よく判定することができる、という効果を奏する。

情報処理システムの概略構成を示す構成図である。 クライアント、及びサーバ装置のハードウェアの概略構成を示す構成図である。 帳票の認識処理の流れを示すフローチャートである。 １次識別処理の処理の流れを示すフローチャートである。 二次識別処理の流れを示すフローチャートである。 ユーザ確認処理の流れを示すフローチャートである。 帳票を学習する処理の流れを示すフローチャートである。 各テーブルの構成を示す構成図である。 確認画面の構成を示す構成図である。 確認画面の構成を示す構成図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態における情報処理システムの機能の構成を示す図である。尚、それぞれの機能については、後述するフローチャートによって合わせて説明を行う。

情報処理システム１００は、スキャナ装置１０１、クライアント１０２、及びサーバ装置１０３を含んで構成されている。

スキャナ装置１０１は、紙などの記録媒体をスキャンすることによりスキャンデータを取得する。

スキャナ装置１０１は、スキャン部１１０、及び送受信部１１１を備えており、スキャン部１１０は、紙などの記録媒体（例えば、帳票など、以降、帳票）をスキャンすることによりスキャンデータを取得し、送受信部１１１によって、スキャン部１１０により得られたスキャンデータをクライアント１０２へ送信する。

クライアント１０２は、スキャナ装置１０１よりスキャンデータを受信し、サーバ装置１０３に対してスキャンデータに関して帳票の認識指示を行い、その認識結果を表示する。

クライアント１０２は、送受信部１２０、帳票識別指示部１２１、及び表示部１２２を備えており、送受信部１２０は、スキャナ装置１０１から送信されるスキャンデータを受信し、帳票識別指示部１２１は、送受信部１２０によって受信したスキャンデータに関して帳票の識別指示をサーバ装置１０３に対して行い、その結果を表示部１２２へ表示する。

サーバ装置１０３は、帳票を識別する処理を行い、その処理結果をクライアント１０２へ返す。

サーバ装置１０３は、送受信部１３０、前処理部１３１、帳票識別処理部１３２、及び帳票識別結果生成部１３３を備えている。

送受信部１３０は、クライアント１０２から送信されるスキャンデータを受信し、前処理部１３１によって、送受信部１３０によって受信したスキャンデータの前処理（詳細後述）を行う。

前処理部１３１によって前処理を行った後、帳票識別処理部１３２によって帳票の識別処理を行い、その結果を帳票識別結果生成部１３３によって生成する。

次に、図２では、クライアント１０２、及びサーバ装置１０３に適用可能なハードウェア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。

なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したネットワーク１０６）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

図３には、サーバ装置１０３において行われる帳票の認識処理の流れを示すフローチャートが示されている。

本処理を行う前段として、スキャン部１１０によって帳票をスキャンすることにより得られたスキャンデータを送受信部１１１によってクライアント１０２の送受信部１２０が受信する。

帳票識別指示部１２１によって帳票の識別指示を受け付けると、送受信部１２０によって送信されるスキャンデータをサーバ装置１０３へ送信する。

ステップＳ１００では、送受信部１３０は、クライアント１０２から送信されたスキャンデータを受信し、ステップＳ１０１では、前処理部１３１は、帳票を識別する前処理として、一次識別処理を行う（図４参照）。

ステップＳ１０２では、前処理部１３１は、ステップＳ１０１における帳票の識別結果を判定し、識別に成功したと判定した場合は、ステップＳ１０３へ処理を進め、識別に成功したと判定しない場合は、ステップＳ１０４へ処理を進める。

本ステップにおける判定方法としては、識別結果テーブル（図８参照）に記憶されている一次識別結果に係る情報により判定を行う。

図８には、識別結果テーブルの構成が示されており、識別結果テーブルは、帳票を一意に識別するための帳票ＩＤ、一次識別結果に係る情報を示す一次識別結果：帳票種別、二次識別結果に係る情報を示す二次識別結果、及びユーザの識別結果の確認に係る情報を記憶するユーザ確認結果を含んで構成されている。

ステップＳ１０３では、帳票識別処理部１３２は、二次識別処理を行う（図５参照）。

ステップＳ１０４では、帳票識別処理部１３２は、ステップＳ１０２における帳票の識別結果を判定し、識別に成功したと判定した場合は、ステップＳ１０６へ処理を進め、識別に成功したと判定しない場合は、ステップＳ１０５へ処理を進める。

ステップＳ１０５では、帳票識別結果生成部１３３は、ユーザ確認処理を行う（図６参照）。

ステップＳ１０６では、表示部１２２は、帳票の識別結果を表示する。

図４には、１次識別処理の処理の流れを示すフローチャートが示されている。

ステップＳ２００では、前処理部１３１は、ＣＮＮ（畳込みニューラルネットワーク）をメモリ上に構築し、ＣＮＮの学習済みの重みパラメタをパラメータテーブル（図８参照）から読み出し、ＣＮＮのノードに設定する。

ここで、ＣＮＮは一般的な画像分類用のネットワークアーキテクチャを想定している。例えば、Googleが公開しているＭｏｂｉｌｅｎｅｔというアーキテクチャなどを利用する。

図８には、パラメータテーブルの構成が示されており、パラメータテーブルは、ニューラルネットワークの各層を示すレイヤ、出力元となるノードを示す出力元ニューロン、出力先となるノードを示す出力先ニューロン、出力元ニューロン及び出力先ニューロン間の重み付け係数を含んで構成されている。

ステップＳ２０１では、前処理部１３１は、ステップＳ１００において受信したスキャンデータをＣＮＮに入力する。

ステップＳ２０２では、前処理部１３１は、ＣＮＮによって、候補クラスとその確率が前処理結果テーブル（図８参照）に示されるように出力されるので、確率の上位２つを取得する。

ステップＳ２０３では、前処理部１３１は、ステップＳ２０２において抽出した上位２つの確率から、処理結果を判定し、１位の判定確率が５０％以上であり、かつ２位との比率が２倍以上である場合には、ステップＳ２０４へ処理を進め、それ以外は、ステップＳ２０５へ処理を進める。

ステップＳ２０４では、前処理部１３１は、ＣＮＮの処理結果の判定確率が1位を識別結果として、識別結果テーブルの「一次識別結果：帳票種別」に記憶する。

ステップＳ２０５では、前処理部１３１は、識別失敗として、識別結果テーブルの「一次識別結果：帳票種別」に記憶する。

図５には、二次識別処理の流れを示すフローチャートが示されている。

ステップＳ３００では、帳票識別処理部１３２は、ステップＳ１００で受信したスキャンデータ（帳票画像）の特徴量ベクトルを算出する。特徴量ベクトルとしては、例えば、ＡＫＡＺＥなどの特徴量を使用する。

この特徴量ベクトルは、帳票の中で特徴的な局所領域（特徴点）について特徴量をベクトル表現したものであり、１画像の中で不定数の特徴点を抽出する。

ステップＳ３０１では、帳票識別処理部１３２は、識別結果テーブルを参照し、一次識別結果の帳票種別を取得し、取得した帳票種別の帳票の特徴量ベクトルを特徴量テーブル（図８参照）から読み出す。

図８には、特徴量テーブルの構成が示されており、特徴量テーブルは、帳票を一意に識別するための帳票種別ＩＤ、及び帳票種別ＩＤから特定される帳票の特徴量のベクトルを示す特徴量ベクトルデータを備えている。

ステップＳ３０２では、帳票識別処理部１３２は、ステップＳ３００で算出した特徴量ベクトルと、ステップＳ３０１で読みだした特徴量ベクトルとから、類似している特徴量ベクトルを抽出する。

類似した特徴量ベクトルの抽出は既知の手法の例として総当たりマッチングや、ＦｌａｎｎＢａｓｅｄマッチングを使用する。

ステップＳ３０３では、帳票識別処理部１３２は、ステップＳ３０２で算出した２つの帳票画像の対応点の数を検査し、対応点の数が４つ以上あれば、ステップＳ３０４へ処理を進め、４つ未満であれば、ステップＳ３０９に処理を進める。

ステップＳ３０４では、帳票識別処理部１３２は、ステップＳ３０３において算出した２つの帳票画像の対応点を使って、射影変換行列を求める。射影変換行列の算出は既知の手法を用いる。

ステップＳ３０５では、帳票識別処理部１３２は、ステップＳ３０４で算出した射影変換行列を用いて、入力した帳票画像を帳票種別の画像の座標系に射影した場合の４つのコーナーの座標を求める。

ステップＳ３０６では、帳票識別処理部１３２は、ステップＳ３０５で算出した４つのコーナー座標からなる矩形の４つの内角の角度を求める。

具体的には、４つの座標のうち３点をA(x1,y1), B(x2,y2), C(x3,y3)とすると、点ＢＡＣが成す角度は次式で求められる。
ax = float(x2 - x1)、ay = float(y2 - y1)、bx = float(x3 - x1)、by = float(y3 - y1)
角度＝(180/π)*acos((ax * bx + ay * by) /sqrt((ax * ax + ay * ay) * (bx * bx + by * by)))
ここで、acosは逆余弦(アークコサイン)、sqrtは平方根とする。"

ステップＳ３０７では、帳票識別処理部１３２は、ステップＳ３０６で算出した４つのコーナーの角度が直角に対して閾値以内の角度であるかを判定する。
入力した帳票画像と帳票種別の画像は、いずれも長方形であることが想定される。この２つの画像間で射影変換した結果が同じく長方形であれば、この２つの画像は、同じ局所特徴を同じ位置に保持している、つまり同じ帳票である可能性が高い、と判断することができる。

４つの角度がいずれも、直角(９０度)±閾値(例えば１度)の範囲内であれば、ステップＳ３０８へ処理を進め、そうでなければ、ステップＳ３０９へ処理を進める。

ステップＳ３０８では、帳票識別処理部１３２は、識別結果テーブルの二次識別結果に対して、成功に係る情報を記録する。

ステップＳ３０９では、帳票識別処理部１３２は、識別結果テーブルの二次識別結果に対して、失敗に係る情報を記録する。

図６には、ユーザ確認処理の流れを示すフローチャートが示されている。

ステップＳ４００では、帳票識別結果生成部１３３は、識別結果テーブルから一次識別結果および二次識別結果を取得する。

ステップＳ４０１では、帳票識別結果生成部１３３は、ステップＳ４００で取得した識別結果に基づいて、一次識別結果が成功かつ二次識別結果が失敗の場合は、ステップＳ４０１へ処理を進め、一次識別結果が失敗の場合は、ステップＳ４０３へ処理を進める。

ステップＳ４０２では、帳票識別結果生成部１３３は、入力された帳票画像と、一次識別結果の帳票種別の画像とを確認画面３００（図９参照）に表示する。

図９には、入力された帳票の画像と一次識別結果で該当するとした登録済の画像とを表示する確認画面３００の構成が示されており、確認画面３００は、帳票選択リスト３０１、及びＯＫボタン３０２を備えている。

帳票選択リスト３０１には、既に登録済の帳票種別のリストが表示されており、一次識別結果の帳票種別が選択された状態で、初期表示される。

ユーザが帳票選択リスト３０１から正しい帳票種別を選択するか、「該当帳票なし」を選択するか、あるいは一次識別結果の帳票種別を確認してＯＫボタン３０２が押下されるのを待つ。

ステップＳ４０３では、帳票識別結果生成部１３３は、図１０に示すように、入力された帳票画像と、帳票選択リスト３０１を「当該帳票なし」を選択した状態で確認画面３００に表示する。

ユーザが帳票選択リスト３０１から正しい帳票種別もしくは「該当帳票なし」を選択してＯＫボタン３０２が押下されるのを待つ。

ステップＳ４０４では、帳票識別結果生成部１３３は、確認画面３００において、「該当帳票なし」以外が選択されていた場合は、ステップＳ４０５へ処理を進め、「該当帳票なし」が選択されていた場合は、ステップＳ４０６へ処理を進める。

ステップＳ４０５では、帳票識別結果生成部１３３は、確認画面３００において、帳票選択リスト３０１で選択された帳票種別に関する情報を識別結果テーブルのユーザー確認結果に記録する。

ステップＳ４０６では、帳票識別結果生成部１３３は、帳票種別なしとして、識別結果テーブルのユーザー確認結果に記録する。

図７には、帳票を学習する処理の流れを示すフローチャートが示されている。

ステップＳ７００では、スキャン部１１０によってスキャンを行って、帳帳票種別として登録する帳票画像を受け取る。

ステップＳ７０１では、ステップＳ７００において取得した帳票画像に対して、データオーグメンテーション処理を行い、帳票画像の複数パターンの画像を生成して所定の記憶域に保存する。

データオーグメンテーションは、１つの帳票画像から、拡縮、濃淡、角度、ノイズ有無を変更した画像を作成することである。

帳票を識別する処理において入力画像のスキャン条件によって帳票種別の画像とは異なる条件でスキャンされる可能性があり、このような異なる条件への耐性を高めるために予め異なる条件の帳票種別の画像を学習しておくためにデータオーグメンテーションを行う。

例えば、データオーグメンテーションの例として、拡縮、回転、濃淡、ノイズ、膨張縮小の変換し、変換した画像データを所定の記憶域に保存する。

ステップＳ７０２では、所定の記憶域に保存された帳票種別の画像を順次読み出し、ＣＮＮの重みパラメタの学習を行う。

ＣＮＮは一般的な画像分類用のネットワークアーキテクチャであり、学習方法は誤差逆伝搬手法などの既知の手法を用いる。

ステップＳ７０３では、ステップＳ７０２において学習した重みパラメタをＣＮＮの重みパラメタをパラメータテーブルに保存する。

ステップＳ７０４では、帳票種別の画像に対して特徴量ベクトルを算出する。ステップＳ３００と同等のアルゴリズムによって算出する。算出した特徴量ベクトルは特徴量テーブルに保存する。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 情報処理システム
１０１ スキャナ装置
１０２ クライアント
１０３ サーバ装置

Claims (3)

1. 帳票を判別する情報処理装置であって、
   帳票の画像を学習することにより得られた学習データに基づいて入力された画像データの種別を推定する推定手段と、
   前記推定手段により推定された画像の種別に対応する画像データと前記入力された画像データとを用いて比較を行う比較手段と、
   を備えたことを特徴とする情報処理装置。
2. 帳票を判別する情報処理装置の制御方法であって、
   前記情報処理装置は、
   帳票の画像を学習することにより得られた学習データに基づいて入力された画像データの種別を推定する推定ステップと、
   前記推定ステップにより推定された画像の種別に対応する画像データと前記入力された画像データとを用いて比較を行う比較ステップと、
   を実行することを特徴とする情報処理装置の制御方法。
3. コンピュータを、
   帳票の画像を学習することにより得られた学習データに基づいて入力された画像データの種別を推定する推定手段と、
   前記推定手段により推定された画像の種別に対応する画像データと前記入力された画像データとを用いて比較を行う比較手段と、
   して機能させるためのプログラム。

Images