JP2021089618A - 情報処理装置、制御方法、プログラム - Google Patents

Abstract

【課題】本発明は、文字列の領域を含む画像において取得した文字列の妥当性を確認できる仕組みを提供することを目的とする。【解決手段】文字列の領域を含む複数の画像に対する文字列および当該文字列の領域を記憶する情報処理装置であって、第１の画像に対する文字列および当該文字列の領域を取得する取得手段と、前記第１の画像に対する文字列の領域と前記記憶する複数の画像に対する文字列の領域とに基づき、前記複数の画像から前記第１の画像に対応する第２の画像を決定する決定手段と、前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とを比較した結果に基づいて識別表示する表示制御手段とを備えることを特徴とする。【選択図】図４

Description

本発明は、文字列の領域を含む画像における情報を確認する技術に関する。

ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ。光学文字認識）を使ってテキスト情報を画像より抽出する技術が広く知られているが、アナログ情報をデジタル情報に変換するという性質上、ＯＣＲの精度は１００％ではない。そのため、ＯＣＲの結果を確認・訂正する手順が必要とされている。また、ＯＣＲの対象のドキュメントが、請求書のような業務帳票である場合、ＯＣＲで読み取ったデータを最終的に会計システムに登録する前に、担当部門の上長等の承認者による承認が必要となっている。具体的には、請求書のケースでは、承認者は請求書画像から読み取った請求内容（特に請求元、請求対象、請求金額）を承認時に確認している。

特許文献１には、ＯＣＲ結果の確からしさを確認するために、認識処理の各処理（前処理、認識処理、解析処理）の状況を取得し、取得した処理状況により評価した信頼性情報に基づいて、認識候補の確からしさを評価、分類する技術が示されている。

特開２０１５−１４６０７５号公報

しかし、通常の業務の流れとして、承認者が承認する前に、業務担当者が目視でＯＣＲ結果の確認を行い、認識結果に誤りがある場合には訂正を行う。この作業にはＯＣＲ認識誤りの見落としや訂正時の入力ミス等のリスクが存在する。また、業務担当者が故意に不正な変更を加えるリスクも考えられる。

特許文献１に記載の方法では、ＯＣＲ認識結果の確からしさを確認することはできるが、ＯＣＲ認識結果そのものが変更された場合に、その変更内容が妥当か否かをすぐに確認することはできない。

そこで、本発明は、文字列の領域を含む画像において取得した文字列の妥当性を確認できる仕組みを提供することを目的とする。

本発明は、文字列の領域を含む複数の画像に対する文字列および当該文字列の領域を記憶する情報処理装置であって、第１の画像に対する文字列および当該文字列の領域を取得する取得手段と、前記第１の画像に対する文字列の領域と前記記憶する複数の画像に対する文字列の領域とに基づき、前記複数の画像から前記第１の画像に対応する第２の画像を決定する決定手段と、前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とを比較した結果に基づいて識別表示する表示制御手段とを備えることを特徴とする。

本発明によれば、文字列の領域を含む画像において取得した文字列の妥当性を確認できる仕組みを提供できるようになる。

本発明の実施形態である情報処理システム１の構成の一例を示すシステム構成図である。 情報処理システム１を構成するクライアントＰＣ２００、業務サーバ３００、ＤＢサーバ４００、ＯＣＲサーバ５００、メールサーバ６００に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理システム１を構成する複合機１００に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理システム１を構成する各情報処理装置の機能構成の一例を示すブロック図である。 情報処理システム１のＯＣＲ（読取・認識）処理の一例を示すフローチャートである。 情報処理システム１のＯＣＲ（読取・認識）処理の一例を示すフローチャートである。 情報処理システム１のＶｅｒｉｆｉｃａｔｉｏｎ（確認・訂正）処理の一例を示すフローチャートである。 情報処理システム１のＶｅｒｉｆｉｃａｔｉｏｎ（確認・訂正）処理の一例を示すフローチャートである。 情報処理システム１のＡｐｐｒｏｖａｌ（承認／否認）処理の一例を示すフローチャートである。 情報処理システム１のＡｐｐｒｏｖａｌ（承認／否認）処理の一例を示すフローチャートである。 クライアントＰＣ２００のブラウザに表示される請求書詳細画面の一例を示す画面イメージである。 クライアントＰＣ２００のブラウザに表示される承認依頼詳細画面の一例を示す画面イメージである。 クライアントＰＣ２００のブラウザに表示される承認依頼詳細画面の一例を示す画面イメージである。 クライアントＰＣ２００のブラウザに表示される承認依頼詳細画面の一例を示す画面イメージである。 クライアントＰＣ２００のブラウザに表示される承認依頼詳細画面の一例を示す画面イメージである。 情報処理システム１で使用するデータ類の一例を示すデータ構成図である。 情報処理システム１で使用するレイアウトデータの一例を示すイメージ図である。 情報処理システム１で使用するデータ類の一例を示すデータ構成図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明における情報処理システム１のシステム構成の一例を示す図である。

情報処理システム１は、複合機１００、クライアントＰＣ２００、業務サーバ３００、ＤＢサーバ４００、ＯＣＲサーバ５００、メールサーバ６００が、ＬＡＮ１０（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークにて通信可能に接続されて構成される。

それぞれの情報処理機器の機能については、図４にて後述する。

以上で図１のシステム構成図の説明を終了する。

以下、図２を用いて、図１に示したクライアントＰＣ２００、業務サーバ３００、ＤＢサーバ４００、ＯＣＲサーバ５００、メールサーバ６００に適用可能な情報処理装置のハードウェア構成の一例について説明する。

図２は、情報処理装置のハードウェア構成の一例を示すブロック図である。

図２において、２００１はＣＰＵで、システムバス２００４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２００２あるいは外部メモリ２０１１には、ＣＰＵ２００１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２００３はＲＡＭで、ＣＰＵ２００１の主メモリ、ワークエリア等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＯＭ２００２あるいは外部メモリ２０１１からＲＡＭ２００３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２００５は入力コントローラで、キーボード（ＫＢ）２００９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２００６はビデオコントローラで、ディスプレイ２０１０等の表示器への表示を制御する。なお、表示器はＣＲＴや、液晶ディスプレイ等の様々な種類が存在する。

２００７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦカードメモリ等の外部メモリ２０１１へのアクセスを制御する。

２００８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２００１は、例えばＲＡＭ２００３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２０１０上での表示を可能としている。また、ＣＰＵ２００１は、ディスプレイ２０１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２０１１に記録されており、必要に応じてＲＡＭ２００３にロードされることによりＣＰＵ２００１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２０１１に格納されており、これらについての詳細な説明も後述する。

以上で図２のハードウェア構成図の説明を終了する。

以下、図３を用いて、図１に示した複合機１００に適用可能な情報処理装置のハードウェア構成の一例について説明する。

図３は、情報処理装置のハードウェア構成の一例を示すブロック図である。

図３において、３０２０はコントローラユニットで、画像入力デバイスとして機能するスキャナ３０６０や、画像出力デバイスとして機能するプリンタ３０５０と接続する一方、ＬＡＮ（例えば、図１に示したＬＡＮ１０）や公衆回線（ＷＡＮ）（例えば、ＰＳＴＮまたはＩＳＤＮ等）と接続することで、画像データやデバイス情報の入出力を行う。

コントローラユニット３０２０において、３００１はＣＰＵで、システム全体を制御するプロセッサである。３００２はＲＡＭで、ＣＰＵ３００１が動作するためのシステムワークメモリであり、プログラムを記録するためのプログラムメモリや、画像データを一時記録するための画像メモリでもある。

３００３はＲＯＭで、システムのブートプログラムや各種制御プログラムが格納されている。３００４は外部記憶装置（ハードディスクドライブ（ＨＤＤ））で、システムを制御するための各種プログラム，画像データ等を格納する。

３００７は操作部インタフェース（操作部Ｉ／Ｆ）で、操作部（ＵＩ）３０３０とのインタフェース部であり、操作部３０３０に表示する画像データを操作部３０３０に対して出力する。また、操作部Ｉ／Ｆ３００７は、操作部３０３０から本システム使用者が入力した情報（例えば、ユーザ情報等）をＣＰＵ３００１に伝える役割をする。なお、操作部３０３０はタッチパネルを有する表示部を備え、該表示部に表示されたボタンを、ユーザが押下（指等でタッチ）することにより、各種指示を行うことができる。

３００５はネットワークインタフェース（Ｎｅｔｗｏｒｋ Ｉ／Ｆ）で、ネットワーク（ＬＡＮ）に接続し、データの入出力を行う。３００６はモデム（ＭＯＤＥＭ）で、公衆回線に接続し、ＦＡＸの送受信等のデータの入出力を行う。

３００９は外部インタフェース（外部Ｉ／Ｆ）で、ＵＳＢ、ＩＥＥＥ１３９４，プリンタポート，ＲＳ−２３２Ｃ等の外部入力を受け付けるＩ／Ｆ部であり、本実施形態においては認証で必要となるＩＣカードの読み取り用のカードリーダ３０４０が外部Ｉ／Ｆ３００９に接続されている。そして、ＣＰＵ３００１は、この外部Ｉ／Ｆ３００９を介してカードリーダ３０４０によるＩＣカードからの情報読み取りを制御し、該ＩＣカードから読み取られた情報を取得可能である。尚、ＩＣカードに限らず、ユーザを特定することが可能な記憶媒体であればよい。この場合、記憶媒体にはユーザを識別するための識別情報が記憶される。この識別情報は、記憶媒体の製造番号でも、ユーザが企業内で与えられるユーザコードであってもよい。
以上のデバイスがシステムバス３０１０上に配置される。

３００８はイメージバスインタフェース（ＩＭＡＧＥ ＢＵＳ Ｉ／Ｆ）であり、システムバス３０１０と画像データを高速で転送する画像バス３０１５とを接続し、データ構造を変換するバスブリッジである。

画像バス３０１５は、ＰＣＩバスまたはＩＥＥＥ１３９４で構成される。画像バス３０１５上には以下のデバイスが配置される。

３０１１はラスタイメージプロセッサ（ＲＩＰ）で、例えば、ＰＤＬコード等のベクトルデータをビットマップイメージに展開する。３０１２はプリンタインタフェース（プリンタＩ／Ｆ）で、プリンタ３０５０とコントローラユニット３０２０を接続し、画像データの同期系／非同期系の変換を行う。また、３０１３はスキャナインタフェース（スキャナＩ／Ｆ）で、スキャナ３０６０とコントローラユニット３０２０を接続し、画像データの同期系／非同期系の変換を行う。

３０１４は画像処理部で、入力画像データに対し補正、加工、編集や、プリント出力画像データに対して、プリンタの補正、解像度変換等を行う。また、これに加えて、画像処理部３０１４は、画像データの回転や、多値画像データに対してはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、ＭＨ等の圧縮伸張処理を行う。

スキャナ３０６０は、原稿となる紙上の画像を照明し、ＣＣＤラインセンサで走査することで、ラスタイメージデータとして電気信号に変換する。原稿用紙は原稿フィーダのトレイにセットし、装置使用者が操作部３０３０から読み取り起動指示することにより、ＣＰＵ３００１がスキャナ３０６０に指示を与え、フィーダは原稿用紙を１枚ずつフィードし原稿画像の読み取り動作を行う。

プリンタ３０５０は、ラスタイメージデータを用紙上の画像に変換する部分であり、その方式は感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。プリント動作の起動は、ＣＰＵ３００１からの指示によって開始する。なお、プリンタ３０５０には、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段を持ち、それに対応した用紙カセットがある。

操作部３０３０は、ＬＣＤ表示部を有し、ＬＣＤ上にタッチパネルシートが貼られており、システムの操作画面を表示するとともに、表示してあるキーが押されるとその位置情報を操作部Ｉ／Ｆ３００７を介してＣＰＵ３００１に伝える。また、操作部３０３０は、各種操作キーとして、例えば、スタートキー、ストップキー、ＩＤキー、リセットキー等を備える。

ここで、操作部３０３０のスタートキーは、原稿画像の読み取り動作を開始する時などに用いる。スタートキーの中央部には、緑と赤の２色ＬＥＤがあり、その色によってスタートキーが使える状態にあるかどうかを示す。また、操作部３０３０のストップキーは、稼働中の動作を止める働きをする。また、操作部３０３０のＩＤキーは、使用者のユーザＩＤを入力する時に用いる。リセットキーは、操作部からの設定を初期化する時に用いる。

カードリーダ３０４０は、ＣＰＵ３００１からの制御により、ＩＣカード（例えば、ソニー社のＦｅｌｉＣａ（登録商標））内に記憶されている情報を読み取り、該読み取った情報を外部Ｉ／Ｆ３００９を介してＣＰＵ３００１へ通知する。

以上で図３のハードウェア構成図の説明を終了する。

図４を用いて、本実施形態の各装置の機能について説明する。

まず、複合機１００の処理を実行するための機能について説明する。

複合機１００はスキャン部１０１、ファイル送信部１０２から構成される。

スキャン部１０１は、複合機１００のスキャナ３０６０を制御して、原稿となる紙上の画像をデジタル化し、任意の画像形式に変換して、任意のサーバの任意のフォルダに送信する機能を提供する。ファイル形式について、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）、ＸＰＳ（ＸＭＬ Ｐａｐｅｒ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）、ＯＯＸＭＬ（Ｏｆｆｉｃｅ Ｏｐｅｎ ＸＭＬ）などがある。

ファイル送信部１０２は、ＦＴＰ、ＳＭＢ、ＷｅｂＤＡＶなどのプロトコルを使って、任意のサーバに対してファイルを送信する。

次に、クライアントＰＣ２００の処理を実行するための機能について説明する。

クライアントＰＣ２００はブラウザ部２０１から構成される。

ブラウザ部２０１は、任意のサーバ上で実行されているＷｅｂアプリケーションにＨＴＴＰないしはＨＴＴＰＳプロトコルでリクエストを送信し、サーバから返されるＨＴＭＬメッセージのレスポンスを、クライアントＰＣ２００上の画面にＵＩとして表示する。

次に、業務サーバ３００の処理を実行するための機能について説明する。

業務サーバ３００は画面表示部３０１、データ送受信部３０２、業務データ管理部３０３、業務データ比較部３０４から構成される。

画面表示部３０１は、クライアントＰＣ２００のブラウザ部２０１等からのＨＴＴＰ・ＨＴＴＰＳプロトコルを使ったリクエストを受け付け、レスポンスとして画面情報をＨＴＭＬデータにして返却する。

データ送受信部３０２は、ＤＢサーバ４００のデータ送受信部４０２に対して、請求書データ１４１０のリクエストを送信する。また、ＤＢサーバ４００のデータ送受信部４０２から請求書データ１４１０のレスポンスを受信する。さらに、ＤＢサーバ４００のデータ送受信部４０２に対して、請求書データ１４１０の各フィールド読取領域１４１２とファイルＩＤ１４２０に紐づく領域データ１６００（図１８）のリクエストを送信する。また、ＤＢサーバ４００のデータ送受信部４０２から領域データ１６００のレスポンスを受信する。

業務データ管理部３０３は、データ送受信部３０２で取得した請求書データ１４１０を参照し、画面表示部３０１で返却する画面情報の切り替えを行う。また、データ送受信部３０２で送信する請求書データ１４１０を書き換える。

業務データ比較部３０４は、データ送受信部３０２で取得した請求書データ１４１０と、請求書データ１４１０の各フィールド読取領域１４１２とファイルＩＤ１４２０から取得できる領域データ１６００の抽出情報１６０３や左上Ｘ座標１６０４、左上Ｙ座標１６０５、幅１６０６、高さ１６０７の値を比較する。

次に、ＤＢサーバ４００の処理を実行するための機能について説明する。

ＤＢサーバ４００はデータ管理部４０１、データ送受信部４０２、業務データ記憶部４１０から構成される。

データ管理部４０１はデータ送受信部４０２で取得した請求書データ１４１０を業務データ記憶部４１０に書き込んだり、業務データ記憶部４１０の請求書データ１４１０を書き換えたりする。

データ送受信部４０２は業務サーバ３００のデータ送受信部３０２で取得したリクエストに対して請求書データ１４１０をレスポンスとして返却する。また、ＯＣＲサーバ５００からＯＣＲで抽出されたテキスト情報を受信する。

次に、ＯＣＲサーバ５００の処理を実行するための機能について説明する。

ＯＣＲサーバ５００はメール監視部５０１、ＯＣＲ部５０２、ネットワーク共有フォルダ部５０３から構成される。

メール監視部５０１はメールサーバ６００のメール管理部６０１を監視し、新規のメールが存在するかを確認したり、添付ファイルが存在するかを確認したりする。添付ファイルが存在する場合にはネットワーク共有フォルダ部５０３にファイルを保存する。

ＯＣＲ部５０２はネットワーク共有フォルダ部５０３に保存されたファイルを読み込み、ＯＣＲを行って画像からテキスト情報を抽出する。抽出したテキスト情報をＤＢサーバ４００のデータ送受信部４０２に送信する。

ネットワーク共有フォルダ部５０３は複合機１００のファイル送信部１０２から受信したファイルを保存したり、ＯＣＲサーバ５００のメール監視部５０１で存在を確認した添付ファイルを保存したりする。

次に、メールサーバ６００の処理を実行するための機能について説明する。

メールサーバ６００はメール管理部６０１、メール送受信部６０２から構成される。

メール管理部６０１は受信したメール及び送信したメールの管理を行う。ＯＣＲサーバ５００のメール監視部５０１からの監視を受け、新規のメールが存在する場合には該当のメール情報をＯＣＲサーバ５００のメール監視部５０１に引き渡す。

メール送受信部６０２はメールを受信したり、メールを送信したりする。

次に、図５、図６、図７、図８、図９、図１０、図１１を参照しながら、本発明に係る各ステップでの処理について説明する。

まず、図５を参照しながら、ＯＣＲステップの処理について説明する。

ＯＣＲサーバ５００はネットワーク共有フォルダに保存されたファイルに対してＯＣＲを行う（ステップＳ５０７）。このネットワーク共有フォルダにファイル保存するフローは２通り存在する。

１つ目はメールの添付ファイルをネットワーク共有フォルダに保存するフローである。ＯＣＲサーバ５００ではメールサーバ６００に新規メールが存在するかを監視する（ステップＳ５００）。新規メールが存在する場合にはメールサーバ６００に対してメール取得の要求を行う（ステップＳ５０１）。メールサーバ６００はＯＣＲサーバ５００のメール取得要求に対し、メールの返却を行う（ステップＳ５０２）。ＯＣＲサーバ５００はメールサーバ６００から返却されたメールを受信する（ステップＳ５０３）。ＯＣＲサーバ５００はメールに添付ファイルが存在するか確認する（ステップＳ５０４）。添付ファイルが存在しない場合、ＯＣＲサーバ５００は引き続きメールサーバ６００の監視を行う。添付ファイルが存在する場合には添付ファイルをネットワーク共有フォルダに保存する（ステップＳ５０６）。

２つ目は複合機のスキャンファイルをネットワーク共有フォルダに保存するフローである。複合機１００でスキャンされたファイルをＯＣＲサーバ５００に送信する（ステップＳ５０５）。ＯＣＲサーバ５００では受信したスキャンファイルをネットワーク共有フォルダに保存する（ステップＳ５０６）。

ＯＣＲサーバ５００は前段のステップＳ５０６でネットワーク共有フォルダに保存されたファイルに対して非定型ＯＣＲを行う（ステップＳ５０７）。非定型ＯＣＲで、ファイルから「住所」や「宛先」などの文字列を読み取り、その周辺にある情報をＯＣＲデータとして出力する。非定型ＯＣＲ完了後、ＯＣＲしたデータ及び対象となったファイルをＤＢサーバ４００に送信する（ステップＳ５０８）。

ＤＢサーバ４００はＯＣＲサーバ５００から送信されたＯＣＲデータと対象となったファイルを受信する（ステップＳ５０９）。ＤＢサーバ４００は受信したＯＣＲデータを図１０の請求書データ１４１０のレコードとして業務データ記憶部４１０に保存し、対象となったデータを図１０のファイル１４３０として保存する（ステップＳ５１０）。

次に、図６、図７を参照しながらＶｅｒｉｆｉｃａｔｉｏｎステップの処理について説明する。

クライアントＰＣ２００はブラウザを起動する（ステップＳ６００）。ブラウザから本システムにアクセスすることで、クライアントＰＣ２００はログイン画面を業務サーバ３００にリクエストする（ステップＳ６０１）業務サーバはログイン画面を生成する（ステップＳ６０２）。クライアントＰＣ２００は生成されたログイン画面をブラウザに描画する（ステップＳ６０３）。

クライアントＰＣ２００はブラウザからログイン画面で入力を受け付け、業務サーバ３００に入力情報を送信する（ステップＳ６０４）。業務サーバ３００は図１６のユーザデータ１４００と入力情報を照会し、認証を行う（ステップＳ６０５）。

認証後、業務サーバ３００はログインユーザーに紐づく請求書リストの取得をＤＢサーバ４００に対してリクエストする（ステップＳ６０６）。ＤＢサーバ４００はログインユーザーのユーザーＩＤと図１６の請求書データ１４１０の担当者ＩＤ１４１７が一致する請求書データを業務データ記憶部４１０から取得して請求書リストを返却する（ステップＳ６０７）。業務サーバ３００は取得した請求書リストから請求書リスト画面を生成し、クライアントＰＣ２００に返却する（ステップＳ６０８）。クライアントＰＣ２００は返却された請求書リスト画面をブラウザに描画する（ステップＳ６０９）。

クライアントＰＣ２００はブラウザから請求書選択を受け付け、業務サーバ３００に選択された請求書の情報を送信する（ステップＳ６１０）。業務サーバ３００では受信した請求書の情報をＤＢサーバ４００に引き渡し、請求書詳細情報を要求する（ステップＳ６１１）。ＤＢサーバ４００は受信した請求書の情報をキーとして業務データ記憶部４１０から該当する請求書の請求書データ１４１０を抽出する。抽出した請求書データ１４１０のファイルＩＤ１４２０とファイル１４５０のファイルＩＤ１４５１が一致するファイル１４５０も併せて抽出する。ＤＢサーバ４００は抽出した請求書データ１４１０とファイル１４５０を請求書の詳細情報として業務サーバ３００に返却する（ステップＳ６１２）。業務サーバ３００は取得した請求書の詳細情報を基に図１２の請求書詳細画面１２００を生成して、クライアントＰＣ２００に返却する（ステップＳ６１３）。クライアントＰＣ２００は請求書詳細画面をブラウザに表示する（ステップＳ６１４）。

クライアントＰＣ２００はブラウザから領域訂正、または、手入力訂正を受け付ける。

ここで、領域訂正・手入力訂正について記載する。

領域訂正は非定型ＯＣＲ処理の読み取り領域の誤りを訂正するものである。クライアントＰＣ２００のブラウザに表示された図１２の請求書詳細画面１２００は請求データの入力項目にカーソルを合わせると、請求書詳細画面１２１０のようにスキャンファイルに読み取り対象となった領域を強調表示する。スキャンファイルに強調表示された読み取り領域が請求データの対象項目と一致しない場合に、ＯＣＲ処理の読み取り領域の誤りを訂正する。これが領域訂正である。

手入力訂正はＯＣＲ処理の読み取り結果のデータに誤りがある場合に、直接読み取り結果を訂正するものである。ＯＣＲ処理の読み取り領域は請求データの対象項目と一致しているが、ＯＣＲした結果、スキャンファイルの値と請求データの値が一致しないことがある。例として、数字の「１」と「７」や「０」と「６」など、誤った数値を読み取る場合などが挙げられる。このような場合に、読み取り結果をスキャンファイルに一致させるよう、請求データを直接訂正する。これが手入力訂正である。

クライアントＰＣ２００はブラウザに表示している請求書詳細画面１２００から領域訂正を受け付ける（ステップＳ７００）。領域訂正を受け付けた場合、クライアントＰＣ２００は訂正前の領域と訂正後の領域のデータをブラウザ内で保持する（ステップＳ７０１）。

クライアントＰＣ２００はブラウザに表示している請求書詳細画面１２００から手入力訂正を受け付ける（ステップＳ７０２）。手入力訂正を受け付けた場合、クライアントＰＣ２００は訂正フラグを有効化する（ステップＳ７０３）。

請求書詳細画面１２００の承認依頼ボタンが押下されると、クライアントＰＣ２００は図１６の請求書データ１４１０のデータを業務サーバ３００に送信する（ステップＳ７０４）。

次に、図８、図９を参照しながらＣｏｍｐａｒｅ Ｌａｙｏｕｔステップの処理について説明する。Ｃｏｍｐａｒｅ Ｌａｙｏｕｔステップの処理を行うタイミングは、Ｖｅｒｉｆｉｃａｔｉｏｎステップの処理の後に続けて行う場合と、後述するＡｐｐｒｏｖａｌステップの処理の前に行う場合のどちらでもよい。

業務サーバ３００はクライアントＰＣ２００から請求書データ１４１０を受信する（ステップＳ８００）。

業務サーバ３００は請求書データ１４１０の各フィールド読取領域１４１２とファイルＩＤ１４２０に紐づく領域データ１６００の抽出情報１６０３が"Ｆｒｏｍ"である請求書の取得をＤＢサーバ４００に対してリクエストする（ステップＳ８０１）。Ｆｒｏｍは、請求書に記載されている請求書発行元のことを指す。Ｆｒｏｍは請求書レイアウトを比較するにあたって重要な情報であるため、Ｆｒｏｍの情報を抽出している。

ＤＢサーバ４００は領域データ１６００の抽出情報１６０３が"Ｆｒｏｍ"である請求書データを業務データ記憶部４１０から取得して請求書データを返却し（ステップＳ８０２）、業務サーバ３００は返却された請求書データを取得する（ステップＳ８１１）。

例えば、Ａ社の請求書のファイルデータ１４５５の中身が図１７のレイアウト１５０１となっており、Ｂ社の請求書のファイルデータ１４５６の中身が図１７のレイアウト１５０２となっているとする。このとき、Ａ社の請求書のファイル１４６０のファイルＩＤ１４５３と、Ａ社の領域データ１６１０のファイルＩＤ１６１１が紐づいており、Ｂ社の請求書のファイル１４７０のファイルＩＤ１４５４とＢ社の領域データ１６２０のファイルＩＤ１６２１が紐づいているとする。また、Ａ社の領域データ１６１０の各フィールド読取領域１６１２とファイルＩＤ１６１１が、Ａ社の請求書データ１４３０の各フィールド読取領域１４３１とファイルＩＤ１４３２が紐づいており、Ｂ社の領域データ１６２０の各フィールド読取領域１６２２とファイルＩＤ１６２１が、Ｂ社の請求書データ１４４０の各フィールド読取領域１４４１とファイルＩＤ１４４２に紐づいているとする。

ＤＢサーバ４００にＡ社の請求書データ１４３０とＢ社の請求書データ１４４０と、Ａ社の請求書のファイル１４６０とＢ社の請求書のファイル１４７０と、抽出情報１６０３が"Ｆｒｏｍ"であるＡ社の領域データ１６１０とＢ社の１６２０がＤＢサーバ４００に格納されている場合、請求書のファイル１４５０のファイルＩＤ１４５１と紐づいている領域データ１６００のうち、抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００のファイルＩＤ１６０１と、各フィールド読取領域１６０２と、請求書データ１４１０のファイルＩＤ１４２０と各フィールド読取領域１４１２を紐づけることで、抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００を持つＡ社の請求書データ１４３０とＢ社の請求書データ１４４０のリストが返却される。

業務サーバ３００はステップＳ８００で受信した請求書データと、ステップＳ８１１で取得した請求書データに対して、抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００の左上Ｘ座標１６０４、左上Ｙ座標１６０５、幅１６０６、高さ１６０７の値を用いて、領域の情報を比較する（ステップＳ８０３）。

例えば、左上Ｘ座標１６０４、左上Ｙ座標１６０５、幅１６０６、高さ１６０７の各値を比較し、各値の誤差がそれぞれ値の１０％以下となる場合に、領域の情報が等しいと判断するという方法がある。また、本実施例では簡便的に抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００で比較しているが、他の領域データやその組合せで比較してもよい。

座標を使用してレイアウトを比較する方法以外にも、特徴点を使用してレイアウトを比較する方法もある。これらは、既知の技術として知られている。

ステップＳ８０３では、ステップＳ８１１で取得した請求書データのうち、ステップＳ８００で受信した請求書データとレイアウトが一致しているものをチェック用請求書データとして取得する。ステップＳ８００で受信した請求書データと、チェック用請求書データの各フィールド値１４１１はステップＳ８０５、ステップＳ８０８で使用する。

ステップＳ８１２では、業務サーバ３００はステップＳ８０３でチェック用請求書データ、つまりステップＳ８００で受信した請求書データとレイアウトが一致している請求書データが取得できたかを判断する。取得できた場合はステップＳ８０４に進み、取得できなかった場合はステップＳ８１３に進む。

ステップＳ８１３では、ステップＳ８００で受信した請求書データ１４１０のアラートタイプ１４１４の値を１にする。

ステップＳ８０４では、業務サーバ３００はステップＳ８００で受信した請求書データ１４１０のうち、抽出情報１６０３が"Ｆｒｏｍ"である領域のフィールド訂正フラグが有効であるかを判別する。

ステップＳ８０４で判定した結果、フィールド訂正フラグが有効でない場合、業務サーバ３００はステップＳ８００で受信した請求書データと、ステップＳ８０３で取得した請求書データのうち、ステップＳ８００で受信した請求書データの抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００が等しい請求書データに対して、フィールド値１４１１が等しいか比較する（ステップＳ８０５）。

ステップＳ８０５で判定した結果、フィールド値が等しくない場合、業務サーバ３００はステップＳ８００で受信した請求書データ１４１０のアラートタイプ１４１４の値を１にする（ステップＳ８０６）。このパターンは、ＯＣＲ結果からＦｒｏｍの情報が訂正されていない、かつ、Ａ社のいつもの請求書レイアウトと異なる場合が考えられる。例えば、図１３の請求書詳細画面１２３０において、スキャンファイルのレイアウト１５０３が、Ａ社のいつものレイアウト１５０１と異なっており、請求データの入力項目１２２１を変更しなかった場合などが挙げられる。このパターンは、この会社からの請求書のいつもの請求書レイアウトと異なるが問題ないかどうか確認するために、アラートタイプを１に設定する。

ステップＳ８０５で判定した結果、フィールド値が等しい場合、業務サーバ３００はステップＳ８００で受信した請求書データ１４１０のアラートタイプ１４１４の値を０にする（ステップＳ８０７）。このパターンは、ＯＣＲ結果からＦｒｏｍの情報が訂正されていない、かつ、いつものこの会社の請求書レイアウトと同じ場合。例えば、図１２の請求書詳細画面１２００のように、始めからスキャンファイルと請求データが一致しており、変更する必要がない場合などが挙げられる。このパターンは特に問題ないため、アラートタイプを０に設定する。

ステップＳ８０４で判定した結果、フィールド訂正フラグが有効である場合、業務サーバ３００はステップＳ８００で受信した請求書データと、ステップＳ８０３で取得した請求書データのうち、ステップＳ８００で受信した請求書データの抽出情報１６０３が"Ｆｒｏｍ"である領域データ１６００が等しい請求書データに対して、フィールド値１４１１が等しいか比較する（ステップＳ８０８）。

ステップＳ８０８で判定した結果、フィールド値が等しくない場合、業務サーバ３００はステップＳ８００で受信した請求書データ１４１０のアラートタイプ１４１４の値を２にする（ステップＳ８０９）。このパターンは、いつものＡ社の請求書レイアウトと同じにも関わらず、ＶｅｒｉｆｉｃａｔｉｏｎステップでＡ社と違う会社名に書き換えている場合が考えられる。例えば、図１２の請求書詳細画面１２００において、意図的に請求データの入力項目１２０１を変更し、請求書詳細画面１２２０の請求データの入力項目１２０１のような誤った値に変更した場合などが挙げられる。このパターンは、不正の可能性も考えられるため、アラートタイプを２に設定する。

ステップＳ８０８で判定した結果、フィールド値が等しい場合、業務サーバ３００はステップＳ８００で受信した請求書データ１４１０のアラートタイプ１４１４の値を０にする（ステップＳ８１０）。このパターンは、いつものＡ社の請求書レイアウトにも関わらずＯＣＲが誤って他の社名を認識してしまった場合に、Ｖｅｒｉｆｉｃａｔｉｏｎステップでユーザーが正しい会社名に訂正するような場合が考えられる。例えば、図１３の請求書詳細画面１２２０において、請求データの入力項目１２２１を変更し、請求書詳細画面１２００の請求データの入力項目１２０１のような正しい値に変更した場合などが挙げられる。このパターンは特に問題ないため、アラートタイプを０に設定する。

ステップＳ８００で受信した請求書データ１４１０に対して、フィールド訂正フラグの確認とフィールド値の比較が終わった後、業務サーバ３００は請求書データ１４１０をＤＢサーバ４００に送信する（ステップＳ９００）。

ＤＢサーバ４００は受信した請求書データ１４１０で業務データ記憶部４１０の該当する請求書データ１４１０を更新する（ステップＳ９０１）。

業務サーバ３００は承認依頼完了画面を生成し、クライアントＰＣ２００に送信する（ステップＳ９０２）。

クライアントＰＣ２００はブラウザに承認依頼完了画面を表示する（ステップＳ９０３）。

次に、図１０、図１１を参照しながらＡｐｐｒｏｖａｌステップの処理について説明する。

ステップＳ１０００からステップＳ１００５までは図６のステップＳ６００からステップＳ６０５までと同様の処理となるため、割愛する。

ステップＳ１００５の認証後、業務サーバ３００はログインユーザーに紐づく承認依頼リストの取得をＤＢサーバ４００に対してリクエストする（ステップＳ１００６）。ＤＢサーバ４００はログインユーザーのユーザーＩＤと図１６の請求書データ１４１０の承認者ＩＤ１４１８が一致する請求書データを業務データ記憶部４１０から取得して承認依頼リストを返却する（ステップＳ１００７）。業務サーバ３００は取得した承認依頼リストから承認依頼リスト画面を生成し、クライアントＰＣ２００に返却する（ステップＳ１００８）。クライアントＰＣ２００は返却された承認依頼リスト画面をブラウザに描画する（ステップ１００９）。

クライアントＰＣ２００はブラウザから承認依頼選択を受け付け、業務サーバ３００に選択された承認依頼の情報を送信する（ステップＳ１０１０）。業務サーバ３００では受信した承認依頼の情報をＤＢサーバ４００に引き渡し、承認依頼詳細情報を要求する（ステップＳ１０１１）。ＤＢサーバ４００は受信した請求書の情報をキーとして業務データ記憶部４１０から該当する請求書の請求書データ１４１０を抽出する。抽出した請求書データ１４１０のファイルＩＤ１４２０に一致するファイル１４３０も併せて抽出する。ＤＢサーバ４００は抽出した請求書データ１４１０とファイル１４３０を承認依頼の詳細情報として業務サーバ３００に返却する（ステップＳ１０１２）。業務サーバ３００は取得した承認依頼詳細情報から承認依頼詳細画面を生成する。この際、業務サーバ３００はアラートタイプから生成する承認依頼詳細画面を変更する。

業務サーバ３００は承認依頼詳細情報の各フィールドのアラートタイプの値を判定する（ステップＳ１１００）。

ステップＳ１１００で判定した結果、アラートタイプの値が１の場合、図１４の１３００のように、請求データのうち正しい値に修正されていない箇所１３０１を点線で囲む（ステップＳ１１０１）。アラートタイプの値が１の場合は、値が訂正されていない、かつ、Ａ社のいつもの請求書レイアウトと異なる場合、または、ステップＳ８１２でステップＳ８００で受信した請求書データとレイアウトが一致している請求書データが取得できなかった場合である。これにより、承認依頼詳細画面を参照するユーザーは、会社名が異なるのではないか、ということを確認することができる。

ステップＳ１１００で判定した結果、アラートタイプの値が２の場合、図１５の１３２０のように、請求データのうち異なる値に修正した箇所を実線で囲む（ステップＳ１１０２）。アラートタイプの値が２の場合は、いつものＡ社の請求書レイアウトと同じにも関わらず、ＶｅｒｉｆｉｃａｔｉｏｎステップでＡ社と違う会社名に書き換えている場合である。これにより、入力誤りや意図的に変更された値であるのではないか、ということを確認しやすくなる。点線や実線で囲むという処理は、アラート表現の１つであるため、アイコンを使って表示したり、誤りであると思われる内容をメッセージとして表示したりするなど、他の方法でアラートを表現してもよい。

アラートタイプの値が０の場合、図１４の１３１０のように、承認依頼詳細情報が正しいため、アラートを上げない。

このように、Ｃｏｍｐａｒｅ Ｌａｙｏｕｔステップで、訂正の有無や抽出情報１６０３が等しい請求書データ１４１０に対するフィールド値１４１１を比較し、アラートタイプを設定し、承認依頼詳細画面の表示を変更することで、承認依頼詳細画面を参照するユーザーは重点的に確認すべき箇所を目視で瞬時に判別でき、確認すべき理由もアラートタイプによって伝えることが出来る。また、訂正時の入力誤りや不正な数値の修正の見落としに気づきやすくなり、ユーザーの利便性が向上する。

業務サーバ３００は上記のステップＳ１１００からステップＳ１１０２までを経て、承認依頼詳細画面を生成し、クライアントＰＣ２００に送信する（ステップＳ１１０３）。

クライアントＰＣ２００はブラウザ上に業務サーバから承認依頼詳細画面を受信し、図１５の承認依頼詳細画面１３３０をブラウザに描画する（ステップＳ１１０４）。

クライアントＰＣ２００は承認依頼詳細画面の承認ボタンまたは否認ボタンから承認または否認を受け付け、業務サーバ３００に送信する（ステップＳ１１０５）。

業務サーバ３００は受信した承認または否認のステータスをＤＢサーバ４００に送信する（ステップＳ１１０６）。

ＤＢサーバ４００は受信した承認または否認のステータスによって、業務データ記憶部４１０に格納されている請求書データ１０１００のステータス１０１０９を更新する（ステップＳ１１０７）。

業務サーバ３００は承認または否認に従い、承認または否認完了画面を生成して、クライアントＰＣ２００に送信する（ステップＳ１１０８）。

クライアントＰＣ２００は受信した承認または否認完了画面をブラウザ上に描画する（ステップＳ１１０９）。

上記により、画像（本実施例では請求書データ）のレイアウトの差異を考慮しながら、画像から認識および変更された結果が妥当かを確認できるようになる。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、各フローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各フローチャートの処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図４の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハーｆドディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１ 情報処理システム
１０ ネットワーク（ＬＡＮ）
１００ 複合機
２００ クライアントＰＣ
３００ 業務サーバ
４００ ＤＢサーバ
５００ ＯＣＲサーバ
６００ メールサーバ

Claims (9)

1. 文字列の領域を含む複数の画像に対する文字列および当該文字列の領域を記憶する情報処理装置であって、
   第１の画像に対する文字列および当該文字列の領域を取得する取得手段と、
   前記第１の画像に対する文字列の領域と前記記憶する複数の画像に対する文字列の領域とに基づき、前記複数の画像から前記第１の画像に対応する第２の画像を決定する決定手段と、
   前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とを比較した結果に基づいて識別表示する表示制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とが異なる場合に識別表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とが一致する場合に正常として表示することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第１の画像から認識した文字列の変更を受け付ける受付手段と、
   前記取得した第１の画像に対する前記所定の文字列が変更された文字列か否かを判定する判定手段とを更に備え、
   前記表示制御手段は、前記判定した結果を識別表示することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記第１の画像に対する前記所定の文字列の領域と前記第２の画像に対する前記所定の文字列の領域とが同一または近傍であることを特徴とする請求項１〜４に記載の情報処理装置。
6. 前記表示制御手段は、前記第１の画像に対応する第２の画像が決定されなかった場合に識別表示することを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記複数の画像に対する文字列および当該文字列の領域は、予め記憶されている履歴情報であることを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 文字列の領域を含む複数の画像に対する文字列および当該文字列の領域を記憶する情報処理装置の制御方法であって、
   取得手段が、第１の画像に対する文字列および当該文字列の領域を取得する取得ステップと、
   決定手段が、前記第１の画像に対する文字列の領域と前記記憶する複数の画像に対する文字列の領域とに基づき、前記複数の画像から前記第１の画像に対応する第２の画像を決定する決定ステップと、
   表示制御手段が、前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とを比較した結果に基づいて識別表示する表示制御ステップと
   を備えることを特徴とする情報処理装置の制御方法。
9. 文字列の領域を含む複数の画像に対する文字列および当該文字列の領域を記憶する情報処理装置において実行可能なプログラムであって、
   前記情報処理装置を、
   第１の画像に対する文字列および当該文字列の領域を取得する取得手段と、
   前記第１の画像に対する文字列の領域と前記記憶する複数の画像に対する文字列の領域とに基づき、前記複数の画像から前記第１の画像に対応する第２の画像を決定する決定手段と、
   前記第１の画像の所定の文字列と前記第２の画像の所定の文字列とを比較した結果に基づいて識別表示する表示制御手段
   として機能させるためのプログラム。
   
   

Images