JP2008129791A

JP2008129791A - 文書処理システム

Info

Publication number: JP2008129791A
Application number: JP2006313145A
Authority: JP
Inventors: Takeshi Hayakawa; 武志早川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-11-20
Filing date: 2006-11-20
Publication date: 2008-06-05

Abstract

【課題】ＯＣＲ処理を行うワークフローにおいて、認識できない帳票の扱いが課題である。この認識できない不明帳票によって新規に帳票フォームを作成し登録する作業の発生や、不明帳票の仕分け作業、帳票認識のためのＯＣＲ処理によるオーバーワークなどが生じるからである。またこれら不明帳票を自動登録したとしても、帳票フォームが修正されることが考えられる。このようなときにワークフローに余分な影響を与えず、効率よく作業を行うことが課題である。
【解決手段】前記課題を解決する手段として、本発明では不明帳票を認識した場合、そのコピー帳票とそれに関係付けられたワークフロー登録用紙を再スキャンさせることにより、新規帳票として登録がおこなわれ、以後同種の帳票を不明帳票と認識することがなくなる。また帳票フォームが更新されたときには、古い帳票フォームでの認識結果に対し、再度ＯＣＲを行い帳票フォームごとのデータの整合性を保つ。
【選択図】図１

Description

本発明は画像データから文字情報を抽出するための技術に関する。

従来の文字認識装置及びOCR(Optical Character Reader)技術では、入力された画像データから特定の領域を参照し、その領域内に記載されている文字を読み取り、読み取った文字の特徴と、登録フォームに設定されている文字認識用の辞書から近似するものを比較し、画像に記述されている文字（または候補文字）を特定するパターン認識処理を行っている。これら特定された文字の一致精度は、画像データに記述されている筆記状態よって大きく変動する。そのため画像データの文字と認識した文字が、認識のたびに完全に一致させることは現在の技術では困難である。そこで、文字認識を行った結果を表示し、オペレータの手によって確認作業を行い誤認識している文字に関しては手作業で補完していた。

１日に数千枚を扱うような大規模なシステムにおいて上記のような帳票記入文字を認識させるOCRの需要は多い。もちろん正確なデータで運用するにはオペレータの介在が必須であるため規模に比例し作業量も増えてしまう。また大規模になればコンピュータのディスク領域やデータ管理方法への影響も無視できない。それでも電子化するメリットが大きいため現在までに負荷軽減する様々な手法（学習機能を設けた辞書や、特定領域に分割しての画像保存など）が考案されてきた。
特開平07-200731号公報特開2003-150906号公報特開平11-316802号公報

このように小規模から大規模まで幅広く運用できるようになったことや、企業の電子データ化の動きに伴い、OCR技術は銀行や証券会社など様々な業種で使用されるようになってきた。これらの導入先は自社内でOCR技術を持たないため、既存の運用システムにOCRモジュールを付け加えるようなシステム構築を行うことが多い。そこで、それら（バックエンド側のシステム）に対しOCR機能を備えるワークフローシステムが提供されるようになった。

前記のOCR機能を備えるワークフローシステムでは、バックエンド側に送るデータが正確でなければならない。従来のようにオペレータが修正を行う部位に加え、データの正当性（バックエンドで要求されたデータかどうか）のチェックなども必要な機能となる。また、画像データの入力方法もバックエンドにより変化するため柔軟な構造を用意する必要がある。（例えば、Fax用紙のスキャン認識や、電子データのOCR、定期的に大量のスキャンを行う場合などである）さらに上記のデータの整合性に加え、帳票フォームのメンテナンスもOCR機能を備えるワークフローシステムで行う必要がある。

これらのOCR機能を備えるワークフローでは、常時ワークフローを滞らせないことが課題である。帳票フォームの登録や修正のたびに業務を停止させるのでは、効率が非常に悪く、また夜間バッチなど大量のデータを扱う状況でも、通常のワークが行われるような仕組みを提供する必要がある。このようなＯＣＲを自動的に行うシステムでは、処理データの中に認識できないものが混入された場合の扱いが課題である。認識できない原因は、スキャン画像が著しく損傷している等の物理的要因を除けば、認識対象として帳票フォームが設定されていない場合である。従来このような不明帳票を発見した場合は、ＯＣＲ処理は行わず、特定のジョブとして扱われていた。（不明帳票ジョブ）しかしながら、前記ワークフローのように、夜間バッチ処理や大量帳票の扱いを前提としているシステムでは、大量の不明帳票を抱えるのは好ましくない。不明帳票が混入されるたびに特定の処理を行うよりは、不明帳票も登録し通常のジョブと同じ扱いにするのが望ましい。

前記課題を解決する手段として、本発明では不明帳票を認識した場合、利用者が不明帳票にＯＣＲ領域を書き込み、登録用紙と共にスキャンすることで、自動的に新規帳票フォームとして登録が行われる。またデータの整合性を保つために、前記登録帳票フォームが更新された場合古いフォーマットでの文字認識結果に対し再ＯＣＲ処理を行う。

自動的に不明帳票を新規フォームとして登録することで、以降に混入される不明帳票処理が通常の処理と同じ扱いにできる。これにより大量に不明帳票が溜まりワークが滞ることを防ぐことができる。また、帳票フォーム修正によって発生するデータの不一致にも再OCR処理を行うことで整合性を保つことができる。

図１は本発明のシステム構成図である。本発明は００１の情報通信網によってネットワークが構築されている環境を実施例として想定する。ネットワークは近傍（ビル内やフロア内）のコンピュータをデータ転送能力を持つ方法で接続したＬＡＮ環境や、遠隔にある前記ＬＡＮを、公衆回線を使い接続したＷＡＮ、さらにＬＡＮ、ＷＡＮを専用線もしくは電話回線によって接続した巨大なネットワーク網であるインターネットのことである。００２〜００５はネットワーク通信機能をもつ情報処理装置である。一般的なパーソナルコンピュータが該当するため、以下ＰＣと表記する。図１に示す通り、本システムの実施例では複数のＰＣによりシステム構成が成される。各ＰＣの役割は、００５をサーバとし、００１〜００４までをクライアントとする。（もちろん図１に示す以上のＰＣ台数で構成されてもよい）００５のサーバＰＣは特定のサービスを提供するシステムの位置付けでデータベースサービスをはじめ、ファイルサービスやプリントサービスなどの機能提供を行う。００１〜００４はそのサーバからのサービスを利用するクライアントＰＣである。００６はネットワーク機能と画像を読み取り電子データを生成するスキャナ部と生成されたデータを保持する機能と生成されたデータを印刷する機能を有した画像形成装置で、以下Multi Function Printer：ＭＦＰと表記する。

図１２は本発明の実施例で考えられる、バックエンドにＯＣＲ機能を提供するワークフローシステムである。１０１はＯＣＲ対象の元となる紙帳票である。１０２はネットワーク機能を持つＭＦＰである。１０３はOCR機能の一部である帳票認識機能をあらわす。この機能はネットワーク通信機能を持つ情報機器（以下パーソナルコンピュータ：ＰＣと表記）上で動作する。１０４はＰＣから抽出する文字領域に従いOCRを行い、その結果をオペレータが修正する部位である。この作業もＰＣを用いて行われる。ただし１０２を動作させるＰＣと同一のマシンである必要はない。１０５は１０４にて修正された文字データを１０６のバックエンド側に送ってよいかどうかの承認処理を行う部位である。１０３、１０４同様にＰＣ上で作業を行うが、これも同一のマシンである必要はない。１０６はワークフローの提供先であるバックエンドシステムである。本実施例ではどのようなバックエンドシステムかは明示しないが、銀行の自動申し込みシステムや、お中元自動発注登録システムなどが導入先として考えられる。もちろんその他のシステムでも前記ワークフローを有効に活用できることはいうまでもない。１０７は帳票投入者、１０８は文字修正者、１０９は承認者である。

今、１０７の帳票投入者によってＭＦＰに１０１の手書き入力がされている紙帳票がスキャン実行されたとする。スキャンされた内容に相当する電子データがＭＦＰ内で生成される。生成された電子データはＭＦＰとＰＣ間の通信経路を介し１０３の帳票認識部へと送られる。１０３は送られてきた電子データに対し、あらかじめ登録されている帳票フォーム郡から特徴の一致するものを探し出す。帳票フォームとは紙帳票の特徴（枠線座標など）を有するものである。一致する帳票フォームが見つかった場合は１０４へ進みＯＣＲ処理が行われる。ＯＣＲ処理とは紙帳票からOCRを行う領域や文字認識時に使用する辞書情報をもつファイルを参照し、必要な情報を取得し文字認識を行う。文字認識が行われた結果は１０８の持つＰＣ上で閲覧することができる。１０８の文字修正者はＯＣＲで文字認識された文字と実際の紙帳票の文字が一致しているかを確認し、不一致な場合はＰＣを介し所定の情報を修正する。修正が終わった結果はＰＣ上に保持される。（結果を保持するＰＣは１０８の使用するＰＣでも良いが、一般的にはネットワークを介して使用できるデータベースに保持する）次に１０５の与信処理が１０９によって行われる。１０５は１０８が修正したデータの整合性をチェックし、１０６のバックエンドシステムに情報を流してよいかの判断を下す。承認された場合は１０６に送られる。

図２は図１２のワークフローを帳票修正用に追記したものである。２０１〜２０６の部位は図１２と同様であり２０１はＯＣＲ対象の元となる紙帳票である。２０２はＭＦＰである。２０３はＰＣ上で動作させるOCR機能の一部である帳票認識機能をあらわす。２０４はＰＣから抽出する文字領域に従いOCRを行い、その結果をオペレータが修正する部位である。２０５は２０４にて修正された文字データを２０６のバックエンド側に送ってよいかどうかの承認処理を行う部位である。２０６はワークフローの提供先であるバックエンドシステムである。追加された２０７は文字認識結果を保持しておくデータベースである。２０４の修正結果を保持しておき、２１０の承認がおりた場合は２０６のバックエンドへとデータが送信される。図では与信処理内に組み込まれているが、ネットワークを介して使用できるデータベースであればどこにあってもよい。２０８は与信処理をさらに細分化したもので、特に帳票の登録／修正／管理を行う管理者である。２０９は２０４が修正した結果を２０７を介して参照し、整合性のチェックを行い承認を下すものである。２１０は同様に最終承認をする者である。２１１は帳票フォームを保持しておくデータベースで、２１２は混入される不明帳票、２１３は修正された帳票である。

従来の手法では、帳票認識機能２０３から不明帳票２１２が検出された場合、不明帳票２１２の存在は管理者２０８に通知され、必要であれば修正（もしくは新規）帳票フォーム２１３を作成し、帳票フォームデータベース２１１に保存し、次回から帳票認識機能２０３で参照されるようにしていた。それに対し本発明は、図３と図４（ないしは図５）を利用して自動的に登録を行う。

図３は自動登録用の不明帳票である。３０１はスキャンされた帳票の全体である。３０２は利用者が記入する欄を表す。３０３は利用者が記入した中のOCR対象とする１番目の領域である。３０４は利用者が記入した中のOCR対象とする２番目の領域である。

図４はワークフロー登録用紙である。４０１は登録用紙全体をあらわす。図４の例では白紙の用紙であるが、図５のように特定の帳票形式であってもよい。４０２は登録するための帳票名である。４０３は帳票名領域をあらわす囲みである。４０４はワークフローの第一承認者名である。４０５は承認者をあらわす囲みである。４０６はワークフローの第二承認者名である。４０７は承認者をあらわす囲みである。

図５も図４と同用途のワークフロー登録用紙である。このように項目を増やしてもよいし、帳票形式であってもよい。（どのようなものを使用するかは利用者に委ねる）５０１は登録用紙全体をあらわす。５０２は自動登録用紙名である。５０３は登録帳票名領域であり、５０４はその帳票名である。５０５は登録帳票枚数領域であり、５０６はその枚数である。５０７は登録日であり、５０８はその登録日である。５０９はワークフローの承認者を示す領域であり、５１０はその第一承認者で、５１１第二承認者である。

図６は図３、図４を用いた本発明の不明帳票自動登録のワークフローである。６０１〜６０６の部位は図１.１と同様であり６０１はＯＣＲ対象の元となる紙帳票である。６０２はＭＦＰである。６０３はＰＣ上で動作させるOCR機能の一部である帳票認識機能をあらわす。６０４はＰＣから抽出する文字領域に従いOCRを行い、その結果をオペレータが修正する部位である。６０５は６０４にて修正された文字データを６０６のバックエンド側に送ってよいかどうかの承認処理を行う部位である。６０６はワークフローの提供先であるバックエンドシステムである。

今、不明帳票６０７が帳票認識部６０３で検出されたとする。ＭＦＰ６０２は不明帳票のコピーと６０９のワークフロー登録用紙を印刷する。帳票投入者６０８はコピーには図３、のようにＯＣＲ領域となる部分に囲みをつけ、ワークフロー登録用紙は図４（ないしは図５）のように帳票名および、承認者の名を記述する。次にこれらの用紙を再度ＭＦＰ６０２においてスキャンさせる。帳票認識部６０３部で、ワークフロー登録用紙及び、帳票コピーと認識され６１０においてその記述内容を電子データとして抽出される。抽出されたデータは６１１部において登録される。登録される内容は、帳票コピーのフォーム情報で新規帳票フォームとして、図２の帳票フォームデータベース２１１に登録され、完了時に６１２の管理者へと通知される。帳票コピーに記述されていた文字は通常のフローに従い６０４でＯＣＲ文字認識および修正が行われる。第一承認者６１３、第二承認者６１４も図２の２０９、２１０と同じ役割を成す。

図７は図６の不明帳票自動登録のワークフローをフローチャート化したものである。ステップＳ７０１はＭＦＰ６０２よりスキャンされたデータを取得する。ステップＳ７０２は帳票フォームデータベース２１１から登録されている帳票フォームを取得する。ステップＳ７０３はＯＣＲ対象がワークフロー登録用紙４０１かどうかを判別する。ワークフロー登録用紙４０１ではない場合は次のステップＳ７０４に進む。ステップＳ７０４でスキャンされた帳票と前記ステップＳ７０２で取得した情報から特徴が一致する帳票フォームを探す。探索の結果該当フォームがないものは不明帳票とみなし、ステップＳ７０５にてＭＦＰ６０２に不明帳票のコピー及びワークフロー登録用紙４０１（または５０１）の印刷要求を行う。ステップＳ７０６でＭＦＰ６０２は印刷を行い、ステップＳ７０７で帳票投入者６０８は、帳票コピー３０１とワークフロー登録用紙４０１に必要事項の記入を行う。記入済みの用紙はＭＦＰ６０２へスキャンするためステップＳ７０１に帰結する。ステップＳ７０３でワークフロー登録用紙４０１と判断された場合は、ステップＳ７０８にてその登録用紙のＯＣＲ及び、コピー帳票フォーム作成のための特徴抽出処理を行う。ステップＳ７０９にて抽出された特徴を新規帳票フォームとして、帳票フォームデータベース２１１に登録する。ワークフロー登録用紙から認識された情報はステップＳ７１０で管理者に通知すると共に登録しステップＳ７１１に進む。ステップＳ７０４でスキャンされた帳票と前記ステップＳ７０２で取得した情報から特徴が一致した場合もステップＳ７１１に進み、帳票フォームの情報にしたがい所定領域をＯＣＲする。ＯＣＲした結果はステップＳ７１２で認識結果データベース２０７に登録され、フローを終了する。

以上がワークフロー登録用紙を用いて、不明帳票を新規帳票フォームとして登録する１つの実施例である。次に登録した新規帳票の修正の実施例を説明する。

今、前記のワークフロー登録用紙を用いて不明帳票が図８の新規帳票フォーム８０１として登録されたとする。次に利用者記入欄に手書き文字が記入されて送られてきたとする。このときワークフローのOCR機能部は、帳票フォーム８０１と特長を比較し対象イメージが帳票フォーム８０１に該当すると判断する。次に帳票フォーム８０１に設定されているOCR箇所８０２と８０３を確認しOCR処理を行う。次にこの帳票フォーム８０１が８０４のフォームに修正されたとする。以後利用者記入欄に手書き文字が記入されて送られてくるものは８０４のフォームと特長を比較し対象イメージが帳票フォーム８０４に該当すると判断する。この場合は８０５〜８０７の領域について文字認識を行う。

図９はOCR機能によって文字認識された結果保持部である。９０１は領域全体をあらわす。この領域は外部との通信機能を有する情報機器上のメモリに作成される。（例：ネットワーク通信機能を有するコンピュータのデータベースなど）９０２、９０３は格納されているデータをあらわす。特に９０２は前記８０１の帳票フォームでOCR処理を行ったもの、９０３は前記８０４の帳票フォームでOCR処理を行ったものとする。このとき文字認識結果領域に差異があることがわかる。９０２の結果では帳票フォーム８０１の８０２、８０３の２個の領域分のデータしか格納することができない。それに対９０３の結果では帳票フォーム８０４の８０５、８０６、８０７の３個の領域分のデータを格納することができる。このように帳票フォームが変更になることで、同様の形式の画像イメージをOCRしてもデータの内容に差異をもつことになってしまう。

バックエンドシステムに対し前記のような、同じ種類の画像の認識結果に差異を持つデータ（いわゆる整合性のないデータ）を送ってしまうことはワークフローとして重大な欠点となる。

図１０は帳票フォームデータベース２１１の登録内容をあらわしたものである。１００１は前記８０１の帳票フォームが登録されている状態をあらわす。１００２はデータフィールドをあらわし、帳票ごとにユニークな値となる帳票ＩＤを記録する。１００３は帳票ＩＤに対応する帳票名を記録する。１００４は帳票ＩＤに対応する帳票フォームファイルを記録する。１００５は登録されている帳票ＩＤである。０００１のＩＤを持つものが登録されている。（例として図８、８０１の帳票が登録されているわけである）１００６は他のＩＤ０００２をもつものである。１００７は他のＩＤ０００３をもつものである。１０１２は１００５の帳票ＩＤ（０００１）に対応する帳票フォームファイルである帳票８０１.pafが登録されていることをあらわす。（拡張子は１実施例であるため他のものでもよい）
次に、図８の帳票フォーム８０１を修正して帳票フォーム８０４を登録したとする。１００８は帳票フォーム８０４の登録後をあらわすデータベース内容である。ここで修正もとである１００５の帳票ＩＤ（０００１）は消去され、あらたに１０１１の帳票ＩＤ（０００４）が登録される。他、１０１０の帳票ＩＤ（０００２）および１０１１の帳票ＩＤ（０００３）は１００６と１００７にそのまま対応している。１０１３の帳票フォームファイルは帳票８０１.pafに修正が加えられた帳票８０４.pafである。

図１１は再ＯＣＲ処理フローチャートである。ステップＳ１１０１で図１０の帳票登録データベースを参照する。次にステップＳ１１０２で新しい帳票フォームが追加されたかを探索する。該当なしの場合は処理のはじめに戻る。（いまは１００１から１００８に更新され、１０１１の帳票ＩＤ（０００４）が追加されたとする）該当有りの場合はステップＳ１１０３で図９のＯＣＲ結果保持データベース９０１を参照する。ステップＳ１１０４でＯＣＲ結果保持データベース９０１の中から、古い帳票フォームでＯＣＲされたものを探し出す。（１００８では帳票ＩＤ０００１番は消去されているので、図９の９０２のデータが該当する）該当なしの場合は処理のはじめに戻る。次にステップＳ１１０５でＳ１１０４で該当したデータに対し帳票認識を行う。（ここでは１１０１に示す帳票ＩＤ０００４番の帳票８０４.pafが帳票フォームとして認識される）認識されたフォーム情報をもとにステップＳ１１０６でＯＣＲを行う。ステップＳ１１０７で文字認識した結果を図９のＯＣＲ結果保持データベース９０１に保存する。

このように本実施例では、ワークフローに不明帳票が混入されたばあい、必須事項を記載した用紙と帳票用紙をＭＦＰに読みとらせることで、新規帳票フォームとして自動的に登録する。また、前記の自動登録手段で登録された帳票フォームに対し、修正が行われた場合に、自動的に検出し再度ＯＣＲを行い結果を保持する。これによりＯＣＲ結果のデータ整合性を保つことを特徴とする。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の動作に必要なシステム概要図である。本発明を用いない帳票修正のワークフローである。実施例の１つとしての登録用の不明帳票である。実施例の１つとしてのワークフロー登録用紙である。実施例の１つとしてのワークフロー登録用紙である。実施例の１つとしての不明帳票の自動登録ワークフローである。実施例の１つとしての不明帳票の自動登録フローチャートである。実施例の１つとしての帳票修正フォームである。実施例の１つとしてのOCR結果保持部示すものである。実施例の１つとしての帳票フォーム登録データベースである。実施例の１つとしての再OCRフローチャートである。実施例の１つとしてのOCR機能を持つワークフローである。

Claims

OCR機能を使用し、入力された文書画像データから、特徴を抽出する手段と、抽出された画像の情報と、予め登録されている複数の画像情報（複数の帳票登録フォーム）と特徴情報を比較して、最も近似する結果から登録フォームを識別するフォーム識別手段において、登録されていない帳票を認識した場合、印刷用紙に特定の文字を記載することで画像形成装置から自動的に新規フォームを登録することを特徴とする文書処理システム。
請求項１において登録されていない帳票を認識した場合、自動的に画像形成装置に通知を行い、スキャンした帳票のコピーと、帳票を前記システムに登録するための必須事項を記載する用紙を印刷させることを特徴とする請求項１記載の文書処理システム。
請求項２で印刷された、帳票を前記システムに登録するための必須事項を記載する用紙とコピー帳票を、画像形成装置に読み込ませた（スキャン）場合、コピー帳票を新規登録する帳票と判断し、登録するための必須事項を記載する用紙の情報をもとに登録を行うことを特徴とする請求項１記載の文書処理システム。
請求項１の文書処理システムで抽出したデータを保持する機能を有し、保持されたデータの内容から、登録データの該当フォームが請求項３の機能により更新されている場合、データを保持部の内容から古いフォームの認識結果を判別し、自動的に再OCRを行い、データを抽出し保持する機能をもつことを特徴とする請求項１記載の文書処理システム。