JP2022097259A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】文字列が記載された画像を認識した結果と、認識結果を照合した照合結果とを、ユーザが区別して把握することができる。【解決手段】情報処理装置は、情報を確認させるために、文字列が記載された画像を認識した認識結果を示す情報（８２３）と、当該認識結果を、予め登録されているデータベースに照合した結果である照合結果を示す情報（８２４）と、を並べて表示するように表示部を制御する。【選択図】図９

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来より、帳票を光学的に読み取った画像イメージに対して文字認識する情報処理を実行する情報処理装置が知られている。例えば、特許文献１には、読取り対象の帳票を光学的に読み取って画像イメージを生成する読取手段と、予め格納されている帳票の帳票定義情報に基づいて前記画像イメージのフィールド領域を検出するフィールド領域検出手段と、前記検出手段によって検出されたフィールド領域ごとに、夫々のフィールドに含まれる文字イメージを文字認識し、文字を認識できた場合には対応する文字コードを付与する文字認識手段と、前記文字認識手段によってすべての文字が認識されたフィールドに対しては、それら認識できた文字からなる文字列を前記帳票に用いられる文字列と照合し、その照合結果が前記帳票に用いられない文字列である場合には、該フィールドが誤読フィールドであることを示す認識状態情報を出力する照合手段と、前記文字認識手段によって付与された文字コードに対応する文字フォントをフィールドイメージと対比して表示する際に、前記照合手段によって出力される識別状態情報に基づいて誤読フィールドを正読フィールドと識別可能に表示する表示手段と、を備えたことを特徴とする帳票データ入力処理装置が開示されている。

特開２００５－１８６７８号公報

ユーザによって手書き等によって記載された文字列を文字認識処理（ＯＣＲ）によって認識した場合、認識結果は、ユーザが意図した文字列と合致するとは限らない。例えば、システムに定められている複数の文字列の内の何れかを記載する場合、ユーザが意図した文字列は、システムに定められている複数の文字列の内の何れかである。このため、ユーザによって記載された文字列をＯＣＲによって認識し、その認識結果に対応する文字列を、システムに定められた複数の文字列が登録済みのデータベース（ＤＢ）を用いて特定し、表示することが行われている。しかし、ユーザは、表示された文字列の候補が、文字認識した結果なのか、文字認識して照合された結果なのか、判断することは困難であった。

本開示は、文字列が記載された画像を認識した結果と、認識結果を照合した照合結果とを、ユーザが区別して把握することができる情報処理装置及び情報処理プログラムを提供することを目的とする。

上記目的を達成するために、第１態様は、
プロセッサを備え、
前記プロセッサは、
文字列が記載された画像を認識した認識結果と、前記認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示するように表示部を制御する、
情報処理装置である。

第２態様は、第１態様に係る情報処理装置において、
前記プロセッサは、
前記認識結果と、前記照合結果との対応を示す形態で、前記認識結果と前記照合結果とを表示するように前記表示部を制御する。

第３態様は、第２態様に係る情報処理装置において、
前記対応を示す形態は、前記認識結果と前記照合結果との依存関係を示す依存画像を用いて、前記認識結果と前記照合結果とを表示することである。

第４態様は、第１態様から第３態様の何れか１態様に係る情報処理装置において、
前記プロセッサは、
前記照合結果として、異なる複数の照合結果を表示するように表示部を制御する。

第５態様は、第４態様に係る情報処理装置において、
前記プロセッサは、
前記複数の照合結果の何れかを選択可能に表示し、選択された照合結果を、前記認識結果に対応する照合結果として表示部に表示するように制御する。

第６態様は、第４態様又は第５態様に係る情報処理装置において、
前記プロセッサは、
前記認識結果に対する照合の適合度が閾値を超える照合結果を前記複数の照合結果として表示する。

第７態様は、第６態様に係る情報処理装置において、
前記プロセッサは、
前記複数の照合結果を適合度が高い順に表示するように前記表示部を制御する。

第８態様は、第６態様又は第７態様に係る情報処理装置において、
前記プロセッサは、
前記閾値として予め定められた第１閾値を超えた適合度の照合結果が取得されない場合は、前記第１閾値より低い第２閾値を超える適合度の複数の照合結果を取得し、前記認識結果に対して適合する照合結果が取得されなかったことを示す該当無情報と、前記第２閾値を超える適合度の照合結果と、を表示するように前記表示部を制御する。

第９態様は、
情報処理プログラムであって、
プロセッサに、
文字列が記載された画像を認識した認識結果と、前記認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示するように表示部を制御する、
ことを処理させる、情報処理プログラムである。

第１態様及び第９態様によれば、文字列が記載された画像を認識した結果と、認識結果を照合した照合結果とを、ユーザが区別して把握することができる、という効果を有する。
第２態様によれば、認識結果と照合結果との対応関係を考慮しない場合と比べて、認識結果と照合結果との対応関係をユーザが確認することができる、という効果を有する。
第３態様によれば、認識結果と照合結果との依存関係を画像で示さない場合と比べて、認識結果と照合結果との関係性を、ユーザが直感的に確認することができる、という効果を有する。
第４態様によれば、照合結果を１つだけ表示する場合と比べて、認識結果に関係する照合結果をユーザが確認することができる、という効果を有する。
第５態様によれば、認識結果に対応する唯一の照合結果を表示する場合と比べて、ユーザが意図する照合結果を表示することができる、という効果を有する。
第６態様によれば、認識結果に対する照合の適合度を考慮せずに複数の照合結果を表示する場合と比べて、認識結果に対して確からしい照合結果を表示することができる、という効果を有する。
第７態様によれば、複数の照合結果の間の関係を考慮しない場合と比べて、ユーザが適合度を直感的に確認することができる、という効果を有する。
第８態様によれば、データベースに該当する候補が無く近い文字が選ばれたことを確認することができる、という効果を有する。

実施形態に係る帳票システムの概略構成を示す図である。 実施形態に係る情報処理装置の電気的な概略構成の一例を示す図である。 実施形態に係る情報処理装置の機能的な構成の一例を示す図である。 読取り定義設定の設定画面の一例を示す図である。 読取り定義設定の設定画面に含まれる設定領域の画像の一例を示す図であり、（Ａ）は設定前の画像を示し、（Ｂ）は設定後の画像を示す。 実施形態に係る情報処理プログラムによる情報処理の流れの一例を示すフローチャートである。 実施形態に係る確認訂正画面の一例を示す図である。 実施形態に係る確認訂正画面の一例を示す図である。 実施形態に係る確認訂正画面の一例を示す図である。 認識結果と照合結果との依存関係を含む画像例を示す図である。 認識結果と照合結果との依存関係を含む画像例を示す図である。 照合結果が抽出されない場合を含む確認画面の画像例を示す図である。 データ変換に関する設定画面の一例を示す図である。 データ変換に関する設定画面の一例を示す図である。

以下、図面を参照して本開示の技術を実施するための実施形態の一例を詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。

［第１実施形態］

図１は、本実施形態に係る帳票システム１０の概略構成を示す図である。

図１に示すように、帳票システム１０は、情報処理装置２０と、クライアント端末４０と、入力装置６０とを含む。これらの装置は、図示しないネットワークに接続されており、ネットワークを介して互いに通信可能である。このネットワークには、一例として、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が適用される。

情報処理装置２０は、入力装置６０を通じて入力された、帳票を含んだ複数枚の書類の画像データに対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行い、ＯＣＲ処理の結果を予め定めた出力先に出力する一連の処理の流れを管理する。情報処理装置２０の具体的な構成及び作用については、後述する。

クライアント端末４０は、情報処理装置２０に対して、ＯＣＲ処理に関する各種の指示を送信する。この各種の指示には、一例として、画像データの情報の読取りを開始させる指示、及び画像データの情報を読取った結果を表示させる指示等が含まれる。また、クライアント端末４０は、受付けた各種の指示に応じて情報処理装置２０が行ったＯＣＲ処理の結果、及びＯＣＲ処理に関する通知等の各種の情報を表示する。クライアント端末４０には、一例として、サーバコンピュータ、又はパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用的なコンピュータ装置が適用される。図１では、クライアント端末４０を一台だけ図示しているが、これに限らず、クライアント端末４０が複数台用意されて、一例として、処理別にクライアント端末４０が使い分けられてもよい。

入力装置６０は、ＯＣＲ処理の対象となる画像データを情報処理装置２０に入力する。入力装置６０には、一例として、サーバコンピュータ、又はＰＣ等の汎用的なコンピュータ装置、並びにスキャン機能、プリンタ機能、及びＦＡＸ機能等を有する画像形成装置等が適用される。なお、入力装置６０に加えて、クライアント端末４０からも情報処理装置２０へ画像データが入力可能であってもよい。

次に、帳票システム１０の概要について説明する。

帳票システム１０は、情報処理装置２０が、入力装置６０を通じて入力された画像データに対してＯＣＲ処理を行い、ＯＣＲ処理の結果を予め定めた出力先に出力するシステムである。

情報処理装置２０は、ＯＣＲ処理において、（１）業務設計及び運用検証、（２）データ入力、（３）データ読取り、（４）帳票判別確認訂正、（５）読取り結果確認訂正、（６）業務チェック、（７）データ出力、及び（８）差し戻し、の各種処理を管理する。本実施の形態においては、単に画像データから文字及び記号等を読取る処理だけでなく、文字の修正等の後処理も含めて、ＯＣＲ処理と呼ぶ。

各種処理の管理の一例として、（１）業務設計及び運用検証、（２）データ入力、（３）データ読取り、（６）業務チェック、及び（７）データ出力の処理は、それぞれ、情報処理装置２０により自動で実行される。また、各種処理の管理の一例として、（４）帳票判別確認訂正、及び（５）読取り結果確認訂正の処理は、それぞれ、クライアント端末４０を通じたユーザによる入力により受け付けられる。また、各種処理の管理の一例として、（８）差し戻しの処理は、情報処理装置２０により自動で実行される場合と、クライアント端末４０を通じたユーザによる入力により受け付けられる場合とがある。

（１）業務設計及び運用検証の処理では、読取り定義設定、出力設定、及び業務チェック設定を含んだジョブルールが作成される。読取り定義設定では、一例として、「（３）データ読取り」の処理において画像データの情報を読取る範囲である読取り範囲が設定される。より具体的には、一例として、キーとして抽出される項目の右付近からバリューである項目値を読取るというような定義が設定されうる。出力設定では、一例として、「（７）データ出力」の処理において出力する出力データのファイル形式、及び出力先が設定される。業務チェック設定では、一例として、「（６）業務チェック」の処理において検出対象とする帳票における必須の入力項目、及び入力可能な文字数等の書式等が設定される。

（２）データ入力の処理では、入力装置６０からの画像データの入力を受付ける。入力を受付けた画像データは、「（３）データ読取り」の処理の実行単位であるジョブとして登録される。

（３）データ読取りの処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、実行されるジョブ用のジョブルールを用いて、当該ジョブ内の画像データの情報の読取りが行われる。一例として、この処理では、当該ジョブ内の画像データに含まれる帳票の判別（以下、「帳票判別」とする）及び読取り範囲内の文字及び記号の読取りが行われる。

（４）帳票判別確認訂正の処理では、「（３）データ読取り」の処理で行われた帳票判別の結果を基にジョブ内の画像データが、ジョブ内に含まれる帳票を示すレコードに分割される。その後、この処理では、分割されたレコードを表示させ、ユーザによる帳票判別の確認訂正が受付けられる。

（５）読取り結果確認訂正の処理では、「（３）データ読取り」の処理で行われた読取り範囲内の文字及び記号の読取り結果を表示させ、ユーザによる読取り結果の確認訂正が受付けられる。

（６）業務チェックの処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、当該ジョブ用のジョブルールに含まれる業務チェック設定により、先行する各処理におけるエラーが検出される。検出結果は、ユーザに提示されてもよい。

（７）データ出力の処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、当該ジョブ用のジョブルールに含まれる出力設定を用いて出力データを作成し、作成した出力データが予め定めた出力先に出力される。

（８）差し戻しの処理では、ＯＣＲ処理において実行された処理から、一段階又は複数段階前の処理に差し戻される。差し戻しは、一例として、「（４）帳票判別確認訂正」及び「（５）読取り結果確認訂正」等の各種処理の実行中に、クライアント端末４０からユーザにより指示される。また、差し戻しは、一例として、「（６）業務チェック」と「（７）データ出力」との処理の間に行われる管理者によるチェックの結果に応じて、管理者のクライアント端末４０から指示される。

上記のＯＣＲ処理において、「（１）業務設計及び運用検証」の処理は、「（３）データ読取り」以降の処理が行われる前、すなわち帳票システム１０の運用前に実行される。さらに、「（１）業務設計及び運用検証」の処理は、「（３）データ読取り」以降の処理が行われている帳票システム１０の運用中に実行されてもよい。一例として、帳票システム１０の運用前に「（１）業務設計及び運用検証」の処理において作成したジョブルールを、帳票システム１０の運用中の「（５）読取り結果確認訂正」の処理の結果に応じて適宜修正することができる。

（情報処理装置）
次に、図２を参照して、情報処理装置２０の構成の一例を説明する。図２は、本実施形態に係る情報処理装置２０の電気的な概略構成の一例を示す図である。情報処理装置２０は、例えば、サーバコンピュータや、ＰＣ等の汎用的なコンピュータ装置が適用される。

具体的には、図２に示すように、情報処理装置２０は、コンピュータ本体２１を備えている。コンピュータ本体２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）２４、記憶部２５、及び入出力ポート（Ｉ／Ｏ）２６を備える。ＣＰＵ２２、ＲＡＭ２３、ＲＯＭ２４、記憶部２５、及びＩ／Ｏ２６はバスＢｕｓを介して互いに接続されている。

また、Ｉ／Ｏ２６には、外部装置との通信を可能とする通信部２７、ユーザによる操作入力を可能とする操作入力部２８、及び画像の表示を可能とする表示部２９を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ２６を介して、ＣＰＵ２２と相互に通信可能とされる。

コンピュータ本体２１は、情報処理装置２０の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置２０の全体の動作を制御するメイン制御部の一部として構成されてもよい。コンピュータ本体２１の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。コンピュータ本体２１の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部２５には、情報処理装置２０を本開示の情報処理装置として機能させるための情報処理プログラム２５Ｐが記憶される。ＣＰＵ２２は、情報処理プログラム２５Ｐを記憶部２５から読み出してＲＡＭ２３に展開して処理を実行する。これにより、情報処理プログラム２５Ｐを実行した情報処理装置２０は、本開示の情報処理装置として動作する。情報処理プログラム２５Ｐは、ＣＤ－ＲＯＭ等の記録媒体により提供されるようにしても良い。なお、情報処理装置２０の具体的な処理については、後述する。

記憶部２５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置が用いられる。記憶部２５には、本実施形態に係る情報処理を実現するための情報処理プログラム２５Ｐが記憶される。ＣＰＵ２２は、情報処理プログラム２５Ｐを記憶部２５から読み出してＲＡＭ２３に展開して処理を実行する。これにより、情報処理プログラム２５Ｐを実行した情報処理装置２０は、本開示の情報処理装置として動作する。

情報処理プログラム２５Ｐは、ＲＯＭ２４Ｃに記憶されていてもよい。また、情報処理プログラム２５Ｐは、例えば、情報処理装置２０に予めインストールされていてもよい。情報処理プログラム２５Ｐは、不揮発性の記憶媒体に記憶して、又は図示しないネットワークを介して配布されたプログラム情報を、情報処理装置２０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。

また、記憶部２５には、情報処理装置２０でＯＣＲ処理の各機能を実現するためのシステムプログラム２５Ｓも記憶される。ＣＰＵ２２は、システムプログラム２５Ｓを記憶部２５から読み出してＲＡＭ２３に展開してＯＣＲ処理を実行する。これにより、システムプログラム２５Ｓを実行した情報処理装置２０は、ＯＣＲ処理によるシステム機能を実行可能に動作する。

なお、本実施形態では、情報処理プログラム２５Ｐと、システムプログラム２５Ｓとを別個のプロスラムとして説明するが、情報処理プログラム２５Ｐはシステムプログラム２５Ｓに含まれる一部のプロセスとして実行してもよい。

さらに、記憶部２５には、情報処理装置２０で利用可能なデータを蓄積したデータベース（ＤＢ）２５Ｄも記憶される。データベース２５Ｄは、外部のシステムで用いられる予め定められた複数の文字列（例えば、項目及び項目値）が登録された蓄積部の一例として機能する。データベース２５Ｄは、記憶部２５に記憶されることに限定されない。例えば、図示しない外部装置に記憶しておき、図示しない外部装置に対して通信回線を介して問い合わせや書き込みを行ってもよい。

通信部２７は、通信網に接続されており、情報処理装置２０と外部装置との間で通信が可能に構成される。「通信網」とは、有線接続及び無線接続の少なくとも一方の接続による通信回線を介してデバイス間でデータ授受を可能とするネットワークを含む概念である。例えば、企業の拠点においてデータ授受を可能とする狭域通信網（例えば、ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び公衆の通信回線によりデータ授受を可能とするインターネット等の広域通信網（例えば、ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）が挙げられる。

操作入力部２８には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。

表示部２９には、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部２９は、操作入力部２８の機能を有するタッチパネルを適用してもよい。操作入力部２８及び表示部２９は、情報処理装置２０のユーザから各種の指示を受け付ける。表示部２９は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

図３は、本実施形態に係る情報処理装置２０の機能的な構成の一例を示すブロック図である。
図３に示すように、本実施形態に係る情報処理装置２０のＣＰＵ２２は、情報処理プログラム２５Ｐの実行によって本開示の情報処理装置として機能する。本開示の情報処理装置は、取得部２２０、照合部２２２、及び表示制御部２２４の各々として機能する機能部を含む。

取得部２２０は、文字列が記載された画像を認識した認識結果を示す情報を取得する機能部である。認識結果を示す情報の一例には、帳票に文字列が記載された画像を文字認識した認識結果を示す情報が適用される。

照合部２２２は、取得部２２０で取得された認識結果を照合、すなわち、認識結果を示す情報と、データベース２５Ｄに予め登録されている文字列等を示す情報と照合する機能部である。照合部２２２は、認識結果を示す情報に対応する１以上の情報（例えば、文字列情報）をデータベース２５Ｄから抽出する機能を含む。１以上の情報（例えば、文字列情報）をデータベース２５Ｄから抽出する機能は、認識結果を示す情報に適合する情報を抽出する公知の抽出処理が適用される。公知の抽出処理は、文字列間における類似性の判定処理、及び文字列間の意味的な距離の判定処理を用いることが可能である。データベース２５Ｄから抽出する機能を実現する処理の詳細は後述する。

表示制御部２２４は、取得部２２０で取得された認識結果を示す情報と、照合部２２２で取得された照合結果を示す情報と、を表示部２９の少なくとも一部の領域に並べて表示する機能部である。

次に、本実施形態に係る情報処理装置２０の作用を説明する。
本実施形態では、情報処理装置２０は、入力装置６０を通じて入力された、帳票を含んだ複数枚の書類の画像データに対するＯＣＲ処理のうち、読取り結果確認訂正の処理（図１に示す（５）の処理）について説明する。すなわち、データ読取りの処理で行われた読取り範囲内の文字及び記号の読取り結果を表示させ、ユーザによる読取り結果の確認訂正に関する処理について説明する。

例えば、ユーザが外部のシステムに定められている複数の文字列の内の何れかを帳票に記載する場合、手書き等によって記載された文字列は、外部のシステムに定められている複数の文字列の内の何れかの文字列であると想定される。このため、ユーザによって記載された文字列を文字認識した認識結果に対応する文字列を、外部のシステムにおいて予め定められた複数の文字列が登録済みのデータベース（ＤＢ）を用いて特定し、表示する。ところが、文字認識した認識結果は、ユーザが意図した文字列と合致するとは限らない。このため、ユーザは、読取り結果として表示された文字列の候補が、文字認識した認識結果なのか、文字認識された文字列で照合された照合結果なのかを判断することが困難であった。

そこで、本実施形態では、文字列が記載された画像を認識した認識結果と、当該認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示するように表示部２９を制御する。

本開示において「認識結果と照合結果とを並べて表示する」とは、同一画面上に認識結果を示す画像と照合結果を示す画像とが重複することなく表示することを含む表示処理の概念である。並べて表示する表示の一例には、認識結果を示す画像と照合結果を示す画像とをユーザに共通して提示可能に、表示部２９の少なくとも一部の領域に表示することが挙げられる。

また、「読取り結果」は、文字認識した認識結果（例えば、文字列）と、複数の文字列が登録済みのデータベースを用いて照合した照合結果（例えば、文字列）と、を含む概念である。照合結果は、外部のシステムにおいて予め定められた複数の文字列が登録済みのデータベースを用いて、文字認識した認識結果の文字列を照合し、認識結果の文字列に対応する文字列を照合結果として特定し、表示する文字列を含む。

なお、本実施形態では、ジョブルールに、ユーザによって読取り定義設定が予め設定されているものとする。この読取り定義設定について図４及び図５を参照して説明する。

図４及び図５に、設定画面の一例を示す。図４は、ユーザにより設定される読取り定義設定の設定画面の一例を示す図である。図５は、読取り定義設定の設定画面に含まれる設定領域の画像の一例を示す図であり、（Ａ）は設定前の画像を示し、（Ｂ）は設定後の画像を示す。

図４に示すように、設定画面８０は、ＯＣＲ処理の対象となる画像（以下、対象画像という。）を含むスキャンによる画像（以下、スキャン画像という。）、例えば、帳票のスキャン画像８００、及びユーザにより設定される設定領域の画像（以下、設定画像という。）８０２を含む。設定画面８０は、スキャン画像８００に、ＯＣＲ処理の対象となる画像の領域を示す範囲画像８０１も表示される。

図５（Ａ）に示すように、設定画像８０２は、表示領域８０３、及び表示領域８０４を含む。表示領域８０３には、範囲画像８０１で示されるＯＣＲ処理の対象となる画像を文字認識した認識結果が表示される。図５では、表示領域８０３は、項目「ＯＣＲ結果」と表記された項目に対応した表示領域である。表示領域８０４には、候補補正をするか否かの設定に応じた結果が表示される。図５では、表示領域８０４は、項目「認識結果」と表記された項目に対応した表示領域であり、照合結果を表示する表示領域である。

また、設定画像８０２は、照合による候補補正の設定領域８０５、及び照合によるデータ変換の設定領域８０６を含む。

照合による候補補正の設定領域８０５には、ラジオボタン、照合用データの表示領域、及び補正結果の表示領域を含む。照合による候補補正とは、対象画像の認識結果に対応する文字列情報をデータベース２５Ｄから抽出して表示する補正処理の実行を示す。設定領域８０５のラジオボタンは、照合による候補補正を実行するか否かを設定するためのラジオボタンである（図５では、「する」及び「しない」の何れか一方が選択可能である）。

照合用データの表示領域は、ラジオボタンが「する」に設定された場合に活性化され、データベース２５Ｄに含まれるデータの種別やカテゴリ等の分類を設定することが可能になる。照合用データは、データの種別やカテゴリ等の分類に関する設定に加えて、データの項目を設定可能にしてもよい。補正結果の表示領域も、ラジオボタンが「する」に設定された場合に活性化され、照合による候補補正の結果が表示される。

従って、ラジオボタンで、照合による候補補正の実行が指定された場合、図５（Ｂ）に示すように、照合用データが設定可能となる（図５（Ｂ）では「取引先リスト－会社名」が設定された場合が示されている。）。また、補正結果の表示領域には、照合による候補補正の結果が表示される（図５（Ｂ）では「富士ゼロックス株式」が表示された場合が示されている。）。

なお、照合による候補補正の設定領域８０５のラジオボタンが「する」に設定された場合に照合による候補補正の処理を実行してもよく、実行を設定した後に新たな指示が行われたときに当該処理を実行してもよい。本実施形態では、リロードボタン８０７の押下による指示によって、当該処理が実行される。

照合によるデータ変換の設定領域８０６には、ラジオボタン、変換用データの表示領域、及び変換結果の表示領域を含む。照合によるデータ変換とは、照合による候補補正を行った文字列情報に対応するコードなどの識別情報をデータベース２５Ｄから特定して表示する変換処理の実行を示す。設定領域８０６のラジオボタンは、照合によるデータ変換を実行するか否かを設定するためのラジオボタンである（図５では、「する」及び「しない」の何れか一方が選択可能である）。

変換用データの表示領域は、ラジオボタンが「する」に設定された場合に活性化され、データベース２５Ｄに含まれるデータの種別やカテゴリ等の分類を設定することが可能になる。変換結果の表示領域も、ラジオボタンが「する」に設定された場合に活性化され、照合によるデータ変換の結果が表示される。

従って、ラジオボタンで、照合によるデータ変換の実行が指定された場合、図５（Ｂ）に示すように、変換用データが設定可能となる（図５（Ｂ）では「取引先リスト－会社コード」が設定された場合が示されている。）。また、変換結果の表示領域には、照合によるデータ変換の結果が表示される（図５（Ｂ）では「富士ゼロックス株式」に対応するコード「ＤＢ００１］が表示された場合が示されている。）。

なお、照合によるデータ変換の設定領域８０６のラジオボタンが「する」に設定された場合に照合によるデータ変換の処理を実行してもよく、実行を設定した後に新たな指示が行われたときに当該処理を実行してもよい。本実施形態では、リロードボタン８０７の押下による指示によって、当該処理が実行される。

次に、ジョブルールとしてユーザによって設定された読取り定義設定に従って実行される情報処理を詳細に説明する。

図６は、本実施形態に係る情報処理プログラム２５Ｐによる情報処理の流れの一例を示すフローチャートである。

まず、情報処理装置２０に対して、情報処理プログラム２５Ｐの起動が指示されると、ＣＰＵ２２は、以下の各ステップを実行する。

ステップＳ１００では、文字列が記載された帳票のスキャン画像を認識した認識結果を示す情報を取得する。認識結果を示す情報は、情報処理装置２０においてシステムプログラム２５Ｓの実行により処理されるＯＣＲ処理のうち、データ読取りの処理（図１に示す（３）の処理）の実行結果から得ることが可能である。認識結果を示す情報を取得する処理は、図３に示す取得部２２０の機能の一例である。

ステップＳ１０２では、ステップＳ１００で取得された認識結果を示す情報を、データベース２５Ｄに登録済みの文字列等を示す情報と照合し、その照合結果を示す情報を取得する。照合結果を示す情報を取得する処理は、図３に示す照合部２２２の機能の一例である。

具体的には、ステップＳ１０２では、まず、認識結果を示す情報に対応する１以上の情報（例えば、文字列情報）をデータベース２５Ｄから抽出する抽出処理を実行する。この抽出処理は、認識結果を示す情報に適合する情報を抽出する処理である。抽出処理は、認識結果を示す情報である文字列と、データベース２５Ｄに登録済みの文字列との適合度を導出し、予め定めた適合度を超えた登録済みの文字列を示す情報をデータベース２５Ｄから抽出する。抽出処理の一例としては、公知の処理によって文字列間の類似度を導出し、導出された類似度が予め定めた閾値を超えたことを判定する類似性の判定処理により実現可能である。また、公知の処理によって文字列間の意味的な距離を導出し、導出した意味的な距離が予め定めた閾値を超えたことを判定する距離の判定処理により実現可能である。

ステップＳ１０４では、取得された認識結果を示す情報と、照合された照合結果を示す情報と、をユーザに確認させるための確認訂正画面を表示する。なお、ステップＳ１０２で、複数の照合結果を示す情報が抽出された場合は、適合度が他の情報より高い情報、すなわち、適合度が最大の情報を、照合結果を示す情報として特定し、表示する。

図７は、本実施形態に係る確認訂正画面の一例を示す図である。図７は、帳票のスキャン画像８００を含む画面を示す帳票ビューを確認訂正画面８１として示す一例である。

確認訂正画面８１は、帳票のスキャン画像８００、及びユーザによって認識結果及び照合結果の確認を可能とし、かつ照合結果の訂正を可能とする確認訂正領域の画像（以下、確認訂正画像という。）８１０を含む。確認訂正画面８１には、スキャン画像８００に対して、ＯＣＲ処理の対象となる画像の領域である読取り範囲を示す範囲画像８０１も表示される。

確認訂正画像８１０は、読取り範囲として予め定められた項目ごとに、表示領域８１１を含む。図７に示す例では、項目名の一例として、納品日、登録情報、及び住所の項目ごとに、表示領域８１１を有する。表示領域８１１の各々には、項目名、スキャン画像、認識結果、確信度、及び確認の各々に関する画像が表示される。例えば、項目名「納品日」の表示領域８１１は、項目名を示す画像８１２、スキャン画像８１３、認識結果を示す画像８１４、確信度を示す画像８１５、及びユーザに項目確認の終了を設定させるための画像８１６を含む。

図７に示す確認訂正画像８１０では、認識結果に基づく照合結果を「認識結果」を示す画像８１４として表示されている。画像８１４として表示された文字列はユーザによって訂正可能に表示される。また、確信度を示す画像８１５は、上述した適合度を示す画像であり、具体的には認識結果を示す情報（文字列）に対する、データベース２５Ｄに登録済みの情報（文字列）の適合度の指標を示す画像である。図７では、適合度が高いことを示す、例えば、適合度が閾値を超えたことを示す「高」の画像が表示されている。画像８１６は、ユーザが項目確認を終了したことを設定するためのチェックボックスを示す画像である。画像８１６は、項目確認の終了時にユーザが画像８１６を指示することで、チェックボックスがチェックされた状態の画像に変化するように制御される。

ここで、上述したように、照合によるデータ変換処理の実行が設定された場合は、変換用データの表示領域が活性化され、照合によるデータ変換の結果が表示される。

図８は、照合によるデータ変換処理の実行が設定された場合の確認訂正画面の一例を示す図である。

図８に示すように、照合によるデータ変換処理の実行が設定された場合、変換結果の表示領域に情報が表示されていない確認訂正画像８１０Ｘから、照合によるデータ変換の結果が表示された確認訂正画像８１０Ｙへの遷移過程が示されている。具体的には、確認訂正画像８１０Ｙとして、変換結果の表示領域に、「あんぱん」に対応するコード「ＭＳ－０５Ｂ」が表示された場合が示されている。

ところで、上述したように、ユーザが確認訂正画像８１０を確認する場合、読取り結果として表示された文字列の候補が、文字認識した認識結果なのか、文字認識された文字列で照合された照合結果なのかを判断することが困難である。このため、本実施形態では、文字列が記載された画像を認識した認識結果と、当該認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示する制御を実行する。

具体的には、図６に示すステップＳ１０６で、ＣＰＵ２２は、操作入力部２８からの情報を判定することによって読取り結果として表示された文字列に対する確認指示が指示されたか否かを判断する。ステップＳ１０６で肯定判断した場合は、ステップＳ１０８で、認識結果と、当該認識結果を、データベース２５Ｄによる照合結果と、を並べて同一画面に表示する制御を実行した後に、ステップＳ１１０へ処理を移行する。一方、ステップＳ１０６で否定判断した場合は、ステップＳ１１０へ処理を移行する。

ステップＳ１１０では、ユーザ操作による終了指示を示す操作入力部２８からの情報、又は全ての項目について確認訂正が終了したことを示す情報によって、情報処理を終了するか否かを判断する。ステップＳ１１０で否定判断の場合はステップＳ１０４へ処理を戻し、肯定判断の場合は本情報処理プログラム２５Ｐによる一連の処理を終了する。

図９は、本実施形態に係る確認訂正画面における認識結果と照合結果との確認画面の画像例を示す図である。この確認画面の画像は、確認訂正画面で、読取り結果として表示された文字列に対する確認指示が指示された場合に、さらに表示される。

図９に示す例では、確認訂正画像８１０の表示領域８１１に、項目名の一例として、「商品名１」の項目に関する情報が表示されている。また、確認訂正画像８１０は、認識結果を示す画像８１４の右方に、読取り範囲として予め定められた項目ごとの表示領域８１１に、認識結果と照合結果との確認を指示するユーザ指示のためのアイコン画像８２０を含む。さらに、認識結果を示す画像８１４の下方には、照合結果としてデータベース２５Ｄから抽出された情報に関する属性情報を示す画像８２１が表示される。

ユーザ操作によって、アイコン画像８２０が選択指示（例えばクリック）されると、確認画面の画像８２２が、アイコン画像８２０に関連付けて表示される。図９に示す例では、アイコン画像８２０からの吹き出し画像内に確認画面の画像８２２が表示されている。

確認画面の画像８２２は、文字認識による認識結果を示す画像８２３と、当該認識結果に対するデータベース２５Ｄによる照合結果を示す画像８２４とを含む。確認画面の画像８２２は、文字認識による認識結果と、当該認識結果に対するデータベース２５Ｄによる照合結果と、を並べて同一画面に表示する制御が行われる。

図９に示す例では、認識結果を示す画像８２３は、認識結果の文字列情報（「あんぱい」）と、当該文字列情報が文字認識による認識結果であることを示す属性情報（「ＯＣＲ結果」）とを含む。また、照合結果を示す画像８２４は、照合結果の文字列情報と、当該文字列情報がデータベース２５Ｄから抽出された文字列の候補であることを示す属性情報とを含む。認識結果を示す画像８１４として表示される照合結果は、確認画面の画像８２２の照合結果のうちの適合度が閾値を超えた（例えば最大値の）照合結果が表示される。図９では、データベース２５Ｄから抽出された複数の文字列の候補について適合度が最大値の照合結果から順に表示された例を示す。

データベース２５Ｄから抽出される文字列の候補は、予め優先順位を設定しておき、抽出される文字列について優先順位に従って配列してもよい。

このように、認識結果と照合結果とを同一画面に表示することで、ユーザは、文字認識（ＯＣＲ）ではどのように読取る処理が行われ、照合ではどのような候補が抽出されたのかについて、各々の結果を確認可能である。

上述したように、認識結果と照合結果とを同一画面に表示する制御が行われる。本実施形態では、認識結果と照合結果との依存関係を確認可能に表示することができる。また、認識結果を示す画像８１４として表示される照合結果として、複数の文字列の候補による照合結果から、何れか１候補を選択することが可能である。

図１０は、確認画面における認識結果と照合結果との依存関係を含む画像例を示す図である。

図１０に示すように、確認画面の画像例である画像８２２は、文字認識による認識結果を示す画像８２３と、照合結果を示す画像８２４との依存関係を示す矢印画像８３０を含む。また、照合結果を示す画像８２４は、複数の文字列の候補による照合結果から、何れか１候補を選択可能に表示される。図１０の例では、第１候補（文字列情報「あんぱん」、属性情報「ＤＢ照合による候補（１）」と表記された照合結果）が選択されたことを示す選択画像８４０が示されている。

なお、図１１に示すように、認識結果と照合結果である候補の各々との依存関係を示す画像８５０を異ならせて表示することで、認識結果と照合結果である候補の各々との依存関係の依存度合いをユーザに確認させることが可能である。図１１に示す例では、認識結果と照合結果である候補の各々との依存関係を示す画像８５０を、矢印画像の線種を異ならせた表示形態で表示した場合が示されている。この場合、実線、一点鎖線、及び二点鎖線の順序に従って依存関係が弱くなることを示す。

上述した処理では、認識結果を示す情報に対応する１以上の情報（例えば、文字列情報）、すなわち、適合度が予め定めた閾値を超えた情報である情報をデータベース２５Ｄから抽出した。しかし、データベース２５Ｄに登録済みの情報が、適合度が予め定めた閾値を超えた情報を含まない場合がある。この場合は、認識結果を示す情報に対応する情報をデータベース２５Ｄから抽出できない。そこで、本実施形態では、閾値として予め定められた第１閾値を超えた適合度の照合結果が抽出されない場合は、第１閾値より低い第２閾値を超える適合度の複数の照合結果を抽出することが可能である。この場合、認識結果に対して適合する照合結果が取得されなかったことを示す該当無情報と、第２閾値を超える適合度の照合結果と、を表示するように表示部２９を制御することが可能である

図１２は、照合結果が抽出されない場合を含む確認画面の画像例を示す図である。

図１２に示すように、照合結果が抽出されない場合を含む確認画面の画像例である画像８２２は、認識結果に対して適合する照合結果が取得されなかったことを示す該当無情報を示す画像８６０を含む。図１２の例では、該当無情報として文字列情報「該当なし」と属性情報「ＤＢ照合による候補（０）」との各情報が表記されている。また、図１２では、認識結果と該当無情報と依存関係を示す画像を含む画像８６２を、矢印画像の線種を異ならせた表示形態で表示した場合が示されている。

以上説明したように本実施形態によれば、認識結果と照合結果とを同一画面に表示することで、ユーザは、文字認識ではどのように読取る処理が行われ、照合ではどのような候補が抽出されたのかについて、各々の結果を確認可能である。

なお、本実施形態の情報処理装置２０は、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）形式によるデータ出力が可能な構成とされる。そこで、本実施形態では、認識結果と照合結果とを同一画面に表示する処理を実行し、認識結果が確定した後に、外部のシステムへデータ（例えば、ＣＳＶファイル）を出力するときのデータ変換に関する設定を行うことが可能である。データ変換の一例はＣＳＶ変換が適用される。

図１３及び図１４に、データ変換に関する設定画面の一例を示す。図１３は、認識結果を含む各情報について、例えば、ＣＳＶファイルとしてデータを出力するときのデータ形式を設定するための設定画面の一例を示す図である。図１４は、ＣＳＶファイルのうちの１項目（図１４ではＡ列）に関する設定画面の一例を示す図である。図１３及び図１４に示すように、データ出力変換に関する設定を実行することで、読取り結果（例えば、認識結果）と、読み取り結果に対応付けられる情報とを自動又は手動で出力することが可能となる。

以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０ 帳票システム
２０ 情報処理装置
２５ 記憶部
２５Ｄ データベース
２５Ｐ 情報処理プログラム
２９ 表示部
４０ クライアント端末
６０ 入力装置
８０ 設定画面
８１ 確認訂正画面
２２０ 取得部
２２２ 照合部
２２４ 表示制御部
８００ スキャン画像
８０１ 範囲画像
８１０ 確認訂正画像
８１１ 表示領域
８１２ 画像
８１３ スキャン画像
８１４ 画像
８２０ アイコン画像
８２２、８２３、８２４ 画像
８３０ 矢印画像

Claims (9)

1. プロセッサを備え、
   前記プロセッサは、
   文字列が記載された画像を認識した認識結果と、前記認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示するように表示部を制御する、
   情報処理装置。
2. 前記プロセッサは、
   前記認識結果と、前記照合結果との対応を示す形態で、前記認識結果と前記照合結果とを表示するように前記表示部を制御する
   請求項１に記載の情報処理装置。
3. 前記対応を示す形態は、前記認識結果と前記照合結果との依存関係を示す依存画像を用いて、前記認識結果と前記照合結果とを表示することである
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記照合結果として、異なる複数の照合結果を表示するように表示部を制御する、
   請求項１から請求項３の何れか１項に記載の情報処理装置。
5. 前記プロセッサは、
   前記複数の照合結果の何れかを選択可能に表示し、選択された照合結果を、前記認識結果に対応する照合結果として表示部に表示するように制御する
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   前記認識結果に対する照合の適合度が閾値を超える照合結果を前記複数の照合結果として表示する、
   請求項４又は請求項５に記載の情報処理装置。
7. 前記プロセッサは、
   前記複数の照合結果を適合度が高い順に表示するように前記表示部を制御する
   請求項６に記載の情報処理装置。
8. 前記プロセッサは、
   前記閾値として予め定められた第１閾値を超えた適合度の照合結果が取得されない場合は、前記第１閾値より低い第２閾値を超える適合度の複数の照合結果を取得し、前記認識結果に対して適合する照合結果が取得されなかったことを示す該当無情報と、前記第２閾値を超える適合度の照合結果と、を表示するように前記表示部を制御する、
   請求項６又は請求項７に記載の情報処理装置。
9. 情報処理プログラムであって、
   プロセッサに、
   文字列が記載された画像を認識した認識結果と、前記認識結果を、予め登録されているデータベースに照合した結果である照合結果と、を並べて表示するように表示部を制御する、
   ことを処理させる、情報処理プログラム。

Images