JP2020113901A - 画像処理装置および画像処理システム - Google Patents

Abstract

【課題】請求書などのシートから必要項目の項目値だけを抽出して電子データ化する作業を簡素化する。【解決手段】画像処理装置は、操作パネルと、シートを読み取り画像データを生成する画像読取部と、シートに対応するプレビュー画像を操作パネルに表示させるとともに、プレビュー画像のうち必要項目の項目値を含む領域を指定する領域指定操作の受け付けを操作パネルに行わせ、指定された領域に対応する画像データ内の領域を対象領域に設定し、対象領域に対してＯＣＲ処理を行うことによって認識した情報を対象情報として抽出し、必要項目と対象情報とを対応付けたリストを出力するためのリストデータを生成する制御部と、を備える。【選択図】図４

Description

本発明は、画像処理装置および画像処理システムに関する。

従来、シートに記載された情報を読み取る機能が搭載された装置が知られている。このような装置は、たとえば、特許文献１に開示されている。

特許文献１では、公共料金などの請求書（シート）に記載されたバーコードをカメラ付き携帯電話で撮影すると、バーコードの解読データがサーバーに送信される。解読データを受信したサーバーでは、決済処理が行われる。これにより、公共料金などの支払いを任意の場所（自宅など）で行うことができるので、ユーザーにとっては利便性が良い。

特開２００７−３２３６１３号公報

ユーザーによっては、請求書などのシートに記載された複数の項目の項目値（発行日や支払金額）のうち必要項目の項目値だけを抽出し、必要項目の項目値を電子データ化したい場合がある。必要項目の項目値を電子データ化するには、必要項目の項目値をコンピューターにテキスト入力する作業（ここでは、入力作業と称する）が必要となる。

ここで、必要項目の項目値の文字数が多い場合には、入力作業に時間がかかる。また、必要項目が複数存在する場合にも、入力作業に時間がかかる。したがって、ユーザーにとっては煩わしく利便性が悪い。

本発明は、上記課題を解決するためになされたものであり、請求書などのシートから必要項目の項目値だけを抽出して電子データ化する作業を簡素化することが可能な画像処理装置および画像処理システムを提供することを目的とする。

上記目的を達成するため、本発明の第１の局面による画像処理装置は、操作パネルと、情報抽出ジョブの実行時に、項目の項目値が記載されたシートを読み取り、シートの画像データを生成する画像読取部と、シートに対応するプレビュー画像を操作パネルに表示させるとともに、プレビュー画像のうち必要な項目である必要項目の項目値を含む領域を指定する領域指定操作の受け付けを操作パネルに行わせ、領域指定操作で指定された領域に対応する画像データ内の領域を対象領域に設定し、対象領域に対してＯＣＲ処理を行うことによって認識した情報を対象情報として抽出し、必要項目と対象情報とを対応付けたリストを出力するためのリストデータを生成する制御部と、を備える。

本発明の第２の局面による画像処理システムは、上記画像処理装置と、所定ソフトウェアがインストールされた情報処理装置と、を備える。画像処理装置は、情報処理装置と通信するための通信部を備える。制御部は、リストデータを所定ソフトウェアで使用可能なデータに変換する変換処理を行い、通信部を用いて、変換処理後のリストデータを情報処理装置に送信する。

本発明の構成では、請求書などのシートから必要項目の項目値だけを抽出して電子データ化する作業を簡素化することができる。

本発明の一実施形態による画像形成装置および画像処理システムの構成を示すブロック図 本発明の一実施形態による画像形成装置の構成を示す概略図 本発明の一実施形態による画像形成装置の画像読取部が読み取る伝票シートの一例を示す図 本発明の一実施形態による画像形成装置の制御部が行う処理の流れを示すフローチャート 本発明の一実施形態による画像形成装置の制御部が行う領域設定処理について説明するための図 本発明の一実施形態による画像形成装置の操作パネルが表示するリスト画面を示す図 本発明の一実施形態による画像処理システムのユーザー端末が表示する画面を示す図 本発明の一実施形態による画像形成装置の制御部が行う第１処理の流れを示すフローチャート 本発明の一実施形態による画像形成装置の制御部が行う第２処理の流れを示すフローチャート

以下に、本発明の一実施形態による画像処理装置について、スキャン機能、プリント機能および送信機能など、複数種の機能を搭載する画像形成装置（複合機）を例にとって説明する。

＜画像形成装置の構成＞
図１に示すように、本実施形態の画像形成装置１００は、制御部１および記憶部２を備える。制御部１は、ＣＰＵを含む。制御部１は、制御プログラムおよび制御データに基づき、画像形成装置１００の各部を制御する。記憶部２は、ＲＯＭ、ＲＡＭおよびＨＤＤなどの記憶デバイスを含む。記憶部２は、制御部１に接続される。制御プログラムおよび制御データは、記憶部２に記憶される。

また、画像形成装置１００は、画像読取部３および印刷部４を備える。制御部１は、画像読取部３の読取動作を制御するとともに、印刷部４の印刷動作を制御する。画像読取部３および印刷部４の概略図を図２に示す。

画像読取部３は、シートＳを読み取ってシートＳの画像データを生成する。画像読取部３は、コンタクトガラスＣＧを備える。読取対象のシートＳは、コンタクトガラスＣＧにセットされる。

また、画像読取部３は、シートＳを光学的に読み取る光学系ユニットを備える。光学系ユニットは、光源３１およびイメージセンサー３２を含む。光源３１は、コンタクトガラスＣＧにセットされたシートＳに光を照射する。イメージセンサー３２は、シートＳで反射された反射光を受光して光電変換する。

印刷部４は、用紙搬送路４０（図２では、破線で示す）に沿って用紙Ｐを搬送する。また、印刷部４は、トナー像を形成する。そして、印刷部４は、搬送中の用紙Ｐにトナー像を転写する。

印刷部４は、給紙ローラー４１を備える。給紙ローラー４１は、用紙カセットＣＡに収容された用紙Ｐに当接し、その状態で回転する。これにより、用紙カセットＣＡから用紙搬送路４０に用紙Ｐが給紙される。

また、印刷部４は、転写ローラー対４２を備える。転写ローラー対４２は、感光体ドラムおよび転写ローラーを含む。感光体ドラムは、その周面上にトナー像を担持する。転写ローラーは、感光体ドラムに圧接し、感光体ドラムとの間で転写ニップを形成する。転写ローラー対４２は、回転することにより、転写ニップに進入した用紙Ｐを搬送しつつ、用紙Ｐにトナー像を転写する。

図示しないが、印刷部４は、帯電装置、露光装置および現像装置をさらに備える。帯電装置は、感光体ドラムの周面を帯電させる。露光装置は、感光体ドラムの周面上に静電潜像を形成する。現像装置は、感光体ドラムの周面上の静電潜像をトナー像に現像する。

また、印刷部４は、定着ローラー対４３を備える。定着ローラー対４３は、加熱ローラーおよび加圧ローラーを含む。加熱ローラーは、ヒーター（図示せず）を内蔵する。加圧ローラーは、加熱ローラーに圧接し、加熱ローラーとの間で定着ニップを形成する。定着ローラー対４３は、回転することにより、定着ニップに進入した用紙Ｐを搬送しつつ、用紙Ｐに転写されたトナー像を用紙Ｐに定着させる。定着ニップを抜けた用紙Ｐは排出トレイＥＴに排出される。

図１に戻り、画像形成装置１００は、操作パネル５を備える。操作パネル５は、タッチスクリーンを含む。タッチスクリーンは、種々の情報を表示し、ユーザーからタッチ操作を受け付ける。また、操作パネル５には、ハードウェアボタンが設けられる。ハードウェアボタンとしては、シートＳの読取指示をユーザーから受け付けるためのスタートボタンなどがある。

操作パネル５は、制御部１に接続される。制御部１は、操作パネル５の表示動作を制御する。また、制御部１は、操作パネル５に対して行われた操作を検知する。制御部１は、コンタクトガラスＣＧにシートＳがセットされた状態で、操作パネル５のスタートボタンに対して操作が行われると、シートＳの読取指示を受け付けたと判断し、画像読取部３にシートＳの読み取りを行わせる。

また、画像形成装置１００は、通信部６を備える。通信部６は、インターネットなどのネットワークＮＴに画像形成装置１００を接続するためのインターフェースである。通信部６は、ＬＡＮ通信を行うためのＬＡＮ通信回路などを含む。通信部６は、無線ＬＡＮアクセスポイントに接続される。

制御部１は、通信部６のＬＡＮ通信回路を制御し、ネットワークＮＴに接続された外部機器と通信する。たとえば、ネットワークＮＴには、画像形成装置１００のユーザーにより使用されるユーザー端末２００が接続される。たとえば、ユーザー端末２００は、パーソナルコンピューターである。ユーザー端末２００は「情報処理装置」に相当する。画像形成装置１００とユーザー端末２００とで画像処理システム１０００が構成される。

ここで、画像形成装置１００は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学的文字認識）処理の実行が可能である。ＯＣＲ処理は、制御部１が行う。ＯＣＲプログラムは、記憶部２に記憶される。制御部１は、画像読取部３によるシートＳの読み取りで得られたシートＳの画像データに対してＯＣＲ処理を行う。

制御部１にＯＣＲ処理を行わせるため、パターンマッチング用の標準パターン（文字パターン）を格納する文字データベースが記憶部２に記憶される。制御部１は、ＯＣＲ処理を行うとき、処理対象の画像データから文字画像を抽出し、当該抽出した文字画像と標準パターンとを比較することにより、処理対象の画像データに存在する文字（シートＳに記載された文字や数字）を認識する。

＜情報抽出ジョブ＞
画像形成装置１００には、所定アプリＡＰがインストールされる。所定アプリＡＰは、記憶部２に記憶される（図１参照）。所定アプリＡＰは、画像形成装置１００のメーカーから提供されるアプリケーションである。画像形成装置１００に所定アプリＡＰをインストールすることにより、画像形成装置１００に情報抽出ジョブを実行させることが可能となる。

情報抽出ジョブは、シートＳの読み取りを伴うジョブである。情報抽出ジョブでは、たとえば、請求書、領収書、見積書および納品書など、商品（サービスも含む）の販売業者ごとにフォーマットが予め定められている伝票が読取対象となる。以下の説明では、情報抽出ジョブで読取対象となるシートＳを伝票シートＳと称する。

伝票シートＳには、通常、複数の項目（項目名）および複数の項目の各項目値が記載される。伝票シートＳの一例を図３に示す。

図３に示す例では、「Ｎｕｍｂｅｒ」、「Ｄａｔｅ」、「Ｓｕｂｔｏｔａｌ」、「Ｔａｘ」および「Ｔｏｔａｌ」などが項目に相当する。項目「Ｎｕｍｂｅｒ」に対応する項目値は「１２３４５（伝票シートＳのナンバー）」である。項目「Ｄａｔｅ」に対応する項目値は「１２／２５／２０１５（伝票シートＳの発行日）」である。項目「Ｓｕｂｔｏｔａｌ」に対応する項目値は「６７００」である。項目「Ｔａｘ」に対応する項目値は「８０４」である。項目「Ｔｏｔａｌ」に対応する項目値は「７５０４」である。項目「Ｓｕｂｔｏｔａｌ」、項目「Ｔａｘ」および項目「Ｔａｔａｌ」の各項目値は金額である。

画像形成装置１００に情報抽出ジョブを実行させることにより、伝票シートＳに記載されている複数の項目の各項目値のうち必要な項目である必要項目（項目値を抽出したい項目）の項目値だけを抽出してリストアップすることができる。必要項目の項目値（抽出された項目値）は、操作パネル５に表示させることができる。また、必要項目の項目値は、ユーザー端末２００に表示させることもできる。必要項目の項目値を用紙Ｐに印刷することができてもよい。これにより、伝票シートＳの記載内容（金額など）を確認する確認作業を容易に行える。

なお、伝票シートＳが１枚だけであれば、画像形成装置１００を使用しなくても、伝票シートＳの記載内容の確認作業が簡単に済む。したがって、通常では、確認作業の対象となる伝票シートＳが複数枚存在する場合に画像形成装置１００が使用される。

情報抽出ジョブを要求する要求操作の受け付けは操作パネル５が行う。たとえば、操作パネル５は、所定アプリＡＰのアイコンを配した画面（図示せず）を表示する。操作パネル５は、所定アプリＡＰのアイコンに対する操作を情報抽出ジョブの要求操作として受け付ける。制御部１は、所定アプリＡＰのアイコンに対する操作を検知すると、情報抽出ジョブの要求を受け付けた（操作パネル５が要求操作を受け付けた）と判断する。

操作パネル５は、情報抽出ジョブの要求操作を受け付けると、情報抽出ジョブの設定画面（図示せず）を表示する。情報抽出ジョブの設定画面では、情報抽出ジョブのモード設定の受け付けが行われる。情報抽出ジョブのモードには、シングルフォーマットモードとマルチフォーマットモードとがある。シングルフォーマットモードは「第１モード」に相当する。マルチフォーマットモードは「第２モード」に相当する。

情報抽出ジョブで読み取る複数枚の伝票シートＳの各フォーマットが全て同じである場合（複数の項目の項目値の各記載位置が全て同じである場合）には、情報抽出ジョブのモードをシングルフォーマットモードに設定すればよい。一方で、情報抽出ジョブで読み取る複数枚の伝票シートＳの各フォーマットが全て同じではない場合（複数種のフォーマットが混在する場合）には、情報抽出ジョブのモードをマルチフォーマットモードに設定すればよい。

操作パネル５は、情報抽出ジョブのモード設定を受け付けた後、コンタクトガラスＣＧに伝票シートＳをセットしてスタートボタンを押すようユーザーに促すメッセージ（図示せず）を表示する。当該メッセージが情報抽出ジョブの設定画面内に表示されてもよい。これにより、コンタクトガラスＣＧに伝票シートＳがセットされる。そして、操作パネル５のスタートボタンが操作される。このとき、制御部１は、伝票シートＳの読取指示を受け付けたと判断する。

制御部１は、情報抽出ジョブの要求を受け付けた後、伝票シートＳの読取指示を受け付けると、図４に示すフローチャートに沿った処理を行う。以下に具体的に説明する。

ステップＳ１において、制御部１は、１枚目の伝票シートＳの読み取りを画像読取部３に行わせる。画像読取部３は、コンタクトガラスＣＧにセットされた１枚目の伝票シートＳを読み取り、１枚目の伝票シートＳの画像データを生成する。

ステップＳ２において、制御部１は、１枚目の伝票シートＳの画像データに基づき、１枚目の伝票シートＳに対応するプレビュー画像を生成する。そして、制御部１は、１枚目の伝票シートＳのプレビュー画像を操作パネル５に表示させる。このとき、操作パネル５は、図５上図に示すようなプレビュー画面ＰＳを表示する。プレビュー画像は、プレビュー画面ＰＳ内に配される。図５には、図３に示した伝票シートＳのプレビュー画像（符号ＰＧを付した画像）を図示する。

ステップＳ３において、制御部１は、領域指定操作の受け付けを操作パネル５に行わせる。操作パネル５は、１枚目の伝票シートＳのプレビュー画像のうち必要項目の項目値を含む領域を指定する操作を領域指定操作として受け付ける。

ここで、操作パネル５は、領域指定操作の受け付け前に、必要項目を設定する項目設定操作を受け付ける。制御部１は、項目設定操作で設定された項目を必要項目と認識する。操作パネル５は、項目設定操作を受け付けてから、領域指定操作を受け付ける。

たとえば、操作パネル５に項目（項目名）をテキスト入力する操作が項目設定操作として受け付けられる。この場合、制御部１は、操作パネル５にテキスト入力された項目を必要項目として認識する。

あるいは、操作パネル５に表示されているプレビュー画像内の領域を指定する操作が項目設定操作として受け付けられる。当該操作を項目設定操作として行うとき、ユーザーは必要項目（項目名）を含む領域を指定する。この場合、制御部１は、１枚目の伝票シートＳの画像データのうちユーザー指定の領域に対してＯＣＲ処理を行い、それによって認識した情報を必要項目として認識する。

なお、項目値を抽出したい項目が複数存在する場合には、当該複数の項目をそれぞれ必要項目に設定することができる。この場合には、項目設定操作を行ってから領域指定操作を行う、という一連の操作を繰り返せばよい。

たとえば、図５上図に示す例において、必要項目が「Ｎｕｍｂｅｒ」である場合には、項目値「１２３４５」の表示領域を含む領域Ａ１を領域指定操作で指定すればよい。必要項目が「Ｄａｔｅ」である場合には、項目値「１２／２５／２０１５」の表示領域を含む領域Ａ２を領域指定操作で指定すればよい。必要項目が「Ｔｏｔａｌ」である場合には、項目値「７５０４」の表示領域を含む領域Ａ３を領域指定操作で指定すればよい。以下の説明では、領域Ａ１、Ａ２およびＡ３がそれぞれ領域指定操作で指定されたとする。

ステップＳ４において、制御部１は、伝票シートＳの画像データ内に対象領域を設定する領域設定処理を行う。領域設定処理で設定される対象領域は、ＯＣＲ処理の対象となる領域である。

１枚目の伝票シートＳの読み取り後に行われる領域設定処理では、１枚目の伝票シートＳの画像データのうち、１枚目の伝票シートＳのプレビュー画像に対する領域指定操作で指定された領域に対応する領域が対象領域に設定される。図５上図に示す例では、領域Ａ１、Ａ２およびＡ３がそれぞれ領域指定操作で指定された領域である。したがって、図５下図に示すように、１枚目の伝票シートＳの画像データのうち、領域Ａ１に対応する領域ＴＡ１、領域Ａ２に対応する領域ＴＡ２、および、領域Ａ３に対応する領域ＴＡ３がそれぞれ対象領域に設定される。

ステップＳ５において、制御部１は、伝票シートＳの画像データのうち対象領域に存在する情報を対象情報として抽出する情報抽出処理を行う。このとき、制御部１は、伝票シートＳの画像データ内に設定した対象領域に対してＯＣＲ処理を行い、それによって認識した情報を対象情報として抽出する。対象領域が複数存在する場合（必要項目が複数存在する場合）には、複数の対象領域のそれぞれに対してＯＣＲ処理が行われる。すなわち、この場合には、複数の必要項目にそれぞれ対応する複数の対象情報が抽出される。

１枚目の伝票シートＳの読み取り後に行われる情報抽出処理では、１枚目の伝票シートＳの画像データ内に設定された対象領域から対象情報が抽出される。図５下図に示す例では、領域ＴＡ１、ＴＡ２およびＴＡ３のそれぞれに対してＯＣＲ処理が行われ、領域ＴＡ１、ＴＡ２およびＴＡ３のそれぞれから対象情報が抽出される。領域ＴＡ１からは、必要項目「Ｎｕｍｂｅｒ」の項目値である「１２３４５」が対象情報として抽出される。領域ＴＡ２からは、必要項目「Ｄａｔｅ」の項目値である「１２／２５／２０１５」が対象情報として抽出される。領域ＴＡ３からは、必要項目「Ｔｏｔａｌ」の項目値である「７５０４」が対象情報として抽出される。

ステップＳ６において、制御部１は、シート情報を記憶部２に記憶させる。シート情報は、画像読取部３が読み取った伝票シートＳに関する情報である。記憶部２は、シート情報を伝票シートＳごとに記憶する。情報抽出ジョブで複数枚の伝票シートＳの読み取りが行われた場合には、複数枚の伝票シートＳにそれぞれ対応する複数のシート情報が記憶部２に記憶される。

制御部１は、伝票シートＳの読み取りが行われるごとに、シート情報を生成して記憶部２に記憶させる。制御部１は、伝票シートＳの画像データを対応する伝票シートＳのシート情報に含める。１枚目の伝票シートＳの読み取りが行われると、１枚目の伝票シートＳのシート情報が生成される。１枚目の伝票シートＳのシート情報には、１枚目の伝票シートＳの画像データが含められる。

また、制御部１は、１枚目の伝票シートＳの画像データと当該画像データ内に設定した対象領域の位置とを対応付けた情報を１枚目の伝票シートＳのシート情報に含める。図５下図に示す例では、領域ＴＡ１、ＴＡ２およびＴＡ３の各位置を示す情報がシート情報に含められる。

また、制御部１は、１枚目の伝票シートＳの画像データと当該画像データの対象領域から抽出した対象情報とを対応付けた情報を１枚目の伝票シートＳのシート情報に含める。このとき、制御部１は、必要項目と対象情報とを対応付ける。図５下図に示す例では、対象情報としての「１２３４５」が必要項目「Ｎｕｍｂｅｒ」と対応付けられてシート情報に含められる。対象情報としての「１２／２５／２０１５」が必要項目「Ｄａｔｅ」と対応付けられてシート情報に含められる。対象情報としての「７５０４」が必要項目「Ｔｏｔａｌ」と対応付けられてシート情報に含められる。

ステップＳ７において、制御部１は、情報抽出ジョブの終了を指示する終了操作を受け付けたか否かを判断する。たとえば、操作パネル５は、終了ボタン（図示せず）を表示する。制御部１は、終了ボタンに対する操作を終了操作として検知する。終了操作を受け付けていないと制御部１が判断した場合には、ステップＳ８に移行する。

ステップＳ８に移行すると、制御部１は、伝票シートＳの読取指示を受け付けたか否かを判断する。伝票シートＳの読取指示を受け付けたと制御部１が判断した場合には、ステップＳ９に移行し、伝票シートＳの読取指示を受け付けていないと制御部１が判断した場合には、ステップＳ７に移行する。

ステップＳ９に移行すると、制御部１は、２枚目以降の伝票シートＳの読み取りを画像読取部３に行わせる。画像読取部３は、コンタクトガラスＣＧにセットされた２枚目以降の伝票シートＳを読み取り、２枚目以降の伝票シートＳの画像データを生成する。

ステップＳ１０において、制御部１は、情報抽出ジョブのモードがシングルフォーマットモードであるか否かを判断する。情報抽出ジョブのモードがシングルフォーマットモードであると制御部１が判断した場合には、ステップＳ１１に移行し、情報抽出ジョブのモードがシングルフォーマットモードではない（マルチフォーマットモードである）と制御部１が判断した場合には、ステップＳ１２に移行する。

ステップＳ１１に移行した場合、制御部１は、シングルフォーマットモード用の処理（以下、第１処理と称する）を行う。その後、ステップＳ７に移行する。制御部１は、情報抽出ジョブのモードがシングルフォーマットモードである場合、２枚目以降の伝票シートＳについては第１処理を行うことによってシート情報を生成し、当該生成したシート情報を記憶部２に記憶させる。第１処理については後に詳細に説明する。

ステップＳ１２に移行した場合、制御部１は、マルチフォーマットモード用の処理（以下、第２処理と称する）を行う。その後、ステップＳ７に移行する。制御部１は、情報抽出ジョブのモードがマルチフォーマットモードである場合、２枚目以降の伝票シートＳについては第２処理を行うことによってシート情報を生成し、当該生成したシート情報を記憶部２に記憶させる。第２処理については後に詳細に説明する。

ステップＳ７において、終了操作を受け付けたと制御部１が判断した場合には、ステップＳ１３に移行する。ステップＳ１３に移行すると、制御部１は、複数枚の伝票シートＳの各シート情報に基づき、必要項目と対象情報とを対応付けたリストＬ（図６および図７参照）を出力するためのリストデータを生成する。必要項目が複数存在する場合には、必要項目ごとに対象情報を並べたリストＬを出力するためのリストデータが生成される。

ステップＳ１４において、制御部１は、リストＬの表示指示の受け付けを操作パネル５に行わせる。そして、制御部１は、操作パネル５が表示指示を受け付けたか否かを判断する。表示指示を受け付けたと制御部１が判断した場合には、ステップＳ１５に移行する。

ステップＳ１５に移行すると、制御部１は、リストデータに基づき、リストＬの表示データを生成する。そして、制御部１は、操作パネル５にリストＬを表示させる。操作パネル５は、リストＬを配したリスト画面ＬＳを表示する。リスト画面ＬＳの一例を図６に示す。図６には、図３に示した伝票シートＳを含む５枚の伝票シートＳが情報抽出ジョブで読み取られた場合のリストＬを示す。

リスト画面ＬＳには、送信ボタンＳＢが配される。送信ボタンＳＢに対する操作を制御部１が検知すると、ステップＳ１６に移行する。ステップＳ１４において、リストＬの表示指示を受け付けなかったと制御部１が判断した場合には、ステップＳ１５の処理が省略され、ステップＳ１６に移行する。

ステップＳ１６に移行すると、制御部１は、リストデータをユーザー端末２００にインストールされている所定ソフトウェア（たとえば、表計算ソフト）で使用可能なデータに変換する変換処理を行う。そして、制御部１は、通信部６を用いて、ユーザー端末２００に対し、変換処理後のリストデータを送信する。このとき、制御部１は、情報抽出ジョブで読み取った複数枚の伝票シートＳの各画像データをユーザー端末２００に送信する。なお、伝票シートＳの画像データがユーザー端末２００に送信されなくてもよい（リストデータだけがユーザー端末２００に送信されてもよい）。また、伝票シートＳの画像データをユーザー端末２００に送信するか否かをユーザーが設定できてもよい。複数枚の伝票シートＳの各画像データをユーザー端末２００に送信する場合、制御部１は、各対象情報がいずれの画像データから抽出されたかを示す情報もユーザー端末２００に送信する。

ユーザー端末２００は、受信したリストデータを記憶する。以降、ユーザー端末２００でリストデータを開くための操作をユーザーが行うと、所定ソフトウェアが立ち上がり、ユーザー端末２００にリストＬが表示される（図７参照）。

たとえば、ユーザー端末２００は、リストＬの表示中、いずれかの対象情報（項目値）を指定する操作をシート表示操作として受け付ける。特に限定されないが、対象情報の表示領域にポインタを合わせてクリックする操作がシート表示操作として受け付けられる。そして、ユーザー端末２００は、シート表示操作で指定された対象情報に対応する画像データを認識するとともに、当該認識した画像データに基づき生成した伝票シートＳの画像を表示する。たとえば、図７に示す例において、対象情報「１２３４５」の表示領域に対してシート表示操作を行った場合には、項目「Ｎｕｍｂｅｒ」の項目値が「１２３４５」である伝票シートＳの画像をユーザー端末２００に表示させることができる。

ここで、第１処理および第２処理について説明する。

まず、図８に示すフローチャートを参照し、第１処理について説明する。

情報抽出ジョブのモードがシングルフォーマットモードである場合、ステップＳ２１において、制御部１は、画像読取部３が読み取った新たな伝票シートＳ（２枚目以降の伝票シートＳ）の画像データを取得する。そして、制御部１は、新たな伝票シートＳの画像データのうち１枚目の伝票シートＳのシート情報で示される対象領域と同じ位置の領域を対象領域に設定する（新たな伝票シートＳの画像データ内に対象領域を設定する）。

ステップＳ２２において、制御部１は、ステップＳ５と同様の処理（情報抽出処理）を行う。すなわち、制御部１は、新たな伝票シートＳの画像データ内に設定した対象領域に対してＯＣＲ処理を行い、それによって認識した情報を対象情報として抽出する（新たな伝票シートＳの画像データ内に設定した対象領域から対象情報を抽出する）。すなわち、制御部１は、２枚目以降の伝票シートＳの画像データについては、１枚目の伝票シートＳのシート情報で示される対象領域と同じ位置の領域に対してＯＣＲ処理を行う。

ステップＳ２３において、制御部１は、新たな伝票シートＳのシート情報を生成し、当該生成したシート情報を記憶部２に記憶させる。新たな伝票シートＳのシート情報には、新たな伝票シートＳの画像データ、新たな伝票シートＳの画像データと当該画像データ内に設定した対象領域の位置とを対応付けた情報、および、新たな伝票シートＳの画像データと当該画像データの対象領域から抽出した対象情報とを対応付けた情報が含められる。その後、ステップＳ７に移行する。

次に、図９に示すフローチャートを参照し、第２処理について説明する。

情報抽出ジョブのモードがマルチフォーマットモードである場合、ステップＳ３１において、制御部１は、画像読取部３が読み取った新たな伝票シートＳ（２枚目以降の伝票シートＳ）とフォーマットが同じ伝票シートＳ（複数の項目の項目値の各記載位置が全て同じ伝票シートＳ）の画像データが記憶部２に記憶されているか否かを判断する。言い換えると、制御部１は、新たな伝票シートＳとフォーマットが同じ伝票シートＳのシート情報が記憶部２に記憶されているか否かを判断する。以下の説明では、新たな伝票シートＳとフォーマットが同じ伝票シートＳを同一フォーマットシートＳと称する。

ステップＳ３１において、同一フォーマットシートＳの画像データが記憶部２に記憶されていないと制御部１が判断した場合には、ステップＳ３２に移行する。ステップＳ３２に移行すると、制御部１は、新たな伝票シートＳの画像データに基づき、新たな伝票シートＳに対応するプレビュー画像を生成する。そして、制御部１は、新たな伝票シートＳのプレビュー画像を操作パネル５に表示させる。

ステップＳ３３において、制御部１は、ステップＳ３と同様の処理を行う。すなわち、制御部１は、領域指定操作の受け付けを操作パネル５に行わせる。操作パネル５は、新たな伝票シートＳのプレビュー画像のうち必要項目の項目値を含む領域を指定する操作を領域指定操作として受け付ける。また、操作パネル５は、領域指定操作の受け付け前に、必要項目を設定する項目設定操作を受け付ける。

ステップＳ３４において、制御部１は、ステップＳ４と同様の処理（領域設定処理）を行う。すなわち、制御部１は、新たな伝票シートＳの画像データのうち、新たな伝票シートＳのプレビュー画像に対する領域指定操作で指定された領域に対応する領域を対象領域に設定する。

ステップＳ３５において、制御部１は、ステップＳ５と同様の処理（情報抽出処理）を行う。すなわち、制御部１は、新たな伝票シートＳの画像データ内に設定した対象領域に対してＯＣＲ処理を行い、それによって認識した情報を対象情報として抽出する（新たな伝票シートＳの画像データ内に設定した対象領域から対象情報を抽出する）。

ステップＳ３６において、制御部１は、新たな伝票シートＳのシート情報を生成し、当該生成したシート情報を記憶部２に記憶させる。新たな伝票シートＳのシート情報には、新たな伝票シートＳの画像データ、新たな伝票シートＳの画像データと当該画像データ内に設定した対象領域の位置とを対応付けた情報、および、新たな伝票シートＳの画像データと当該画像データの対象領域から抽出した対象情報とを対応付けた情報が含められる。その後、ステップＳ７に移行する。

ステップＳ３１において、同一フォーマットシートＳの画像データが記憶部２に記憶されていると制御部１が判断した場合には、ステップＳ３７に移行する。ステップＳ３７に移行すると、制御部１は、同一フォーマットシートＳの画像データに対応付けられた対象領域を適用するか否かの受け付けを操作パネル５に行わせる。同一フォーマットシートＳの画像データに対応付けられた対象領域を適用しない旨を操作パネル５が受け付けた場合には、ステップＳ３２に移行する。一方で、同一フォーマットシートＳの画像データに対応付けられた対象領域を適用する旨を操作パネル５が受け付けた場合には、ステップＳ３８に移行する。

ステップＳ３８に移行すると、制御部１は、新たな伝票シートＳの画像データのうち、同一フォーマットシートＳのシート情報で示される対象領域と同じ位置の領域を対象領域に設定する（新たな伝票シートＳの画像データ内に対象領域を設定する）。その後、ステップＳ３５に移行する。

本実施形態の画像形成装置１００は、上記のように、操作パネル５と、情報抽出ジョブの実行時に、伝票シートＳを読み取り、伝票シートＳの画像データを生成する画像読取部３と、伝票シートＳに対応するプレビュー画像を操作パネル５に表示させるとともに、プレビュー画像のうち必要項目の項目値を含む領域を指定する領域指定操作の受け付けを操作パネル５に行わせ、伝票シートＳの画像データのうち領域指定操作で指定された領域に対応する領域を対象領域に設定し、対象領域に対してＯＣＲ処理を行うことによって認識した情報を対象情報として抽出し、必要項目と対象情報とを対応付けたリストＬを出力するためのリストデータを生成する制御部１と、を備える。

本実施形態の構成では、必要項目と対象情報を対応付けたリストデータが生成される（必要項目の項目値が電子データ化される）。ここで、対象情報は対象領域に対するＯＣＲ処理によって抽出された情報である。すなわち、対象情報は必要項目の項目値に相当する情報である。したがって、必要項目の項目値をテキスト入力しなくても、容易に、必要項目の項目値を電子データ化することができる。また、領域指定操作を行うときに、不要な項目の項目値を含む領域を指定から外せば、不要な項目の項目値が電子データ化されることはない（必要な項目の項目値だけを電子データ化することができる）。

また、本実施形態の構成では、上記のように、制御部１は、操作パネル５が要求操作を受け付けてから終了操作を受け付けるまでの間に画像読取部３が読み取った複数枚の伝票シートＳのそれぞれの画像データの対象領域に対してＯＣＲ処理を行い、複数枚の伝票シートＳのそれぞれの画像データから対象情報を抽出する。この構成では、複数枚の伝票シートＳにそれぞれ記載された必要項目の項目値をまとめて電子データ化することができる（複数枚の伝票シートＳにそれぞれ記載された必要項目の項目値をひとまとめにしたリストＬを生成することができる）ので、ユーザーにとっては利便性が良い。

なお、コンタクトガラスＣＧに複数枚の伝票シートＳがセットされている場合、当該複数枚の伝票シートＳのそれぞれの画像データの対象領域に対してＯＣＲ処理が行われ、当該複数枚の伝票シートＳのそれぞれの画像データから対象情報が抽出されるよう構成してもよい。この構成では、複数枚の伝票シートＳの読み取りを一括して行うことができるので、情報抽出ジョブの開始から完了までの時間を短くすることができる。

また、本実施形態の構成では、上記のように、情報抽出ジョブのモードとして、シングルフォーマットモードとマルチフォーマットモードとがある。シングルフォーマットモードでは、１枚目の伝票シートＳの読み取り後に領域指定操作を行えば、以降は領域指定操作を行わなくてもよいので、ユーザーの利便性が向上する。マルチフォーマットモードでは、複数枚の伝票シートＳの各フォーマットが全て同じでなくても、複数枚の伝票シートＳにそれぞれ記載された必要項目の項目値をまとめて電子データ化することができる。

また、本実施形態の構成では、上記のように、制御部１は、画像読取部３が読み取った新たな伝票シートＳとフォーマットが同じ同一フォーマットシートＳの画像データが記憶部２に記憶されているとき、同一フォーマットシートＳの画像データに対応付けられた対象領域を適用するか否かの受け付けを操作パネル５に行わせ、同一フォーマットシートＳの画像データに対応付けられた対象領域を適用する旨を操作パネル５が受け付けた場合、新たな伝票シートＳの画像データのうち同一フォーマットシートＳのシート情報で示される対象領域と同じ位置の領域に対してＯＣＲ処理を行う。この構成では、今回読み取る伝票シートＳと同じフォーマットの伝票シートＳを過去に読み取ったことがある場合、今回は領域指定操作を行わなくてもよくなるので、ユーザーの利便性が向上する。

また、本実施形態の構成では、上記のように、制御部１は、必要項目と対象情報とを対応付けたリストＬを操作パネル５に表示させる。この構成では、情報抽出ジョブの結果を容易に確認することができる。

また、本実施形態の構成では、上記のように、制御部１は、リストデータを所定ソフトウェアで使用可能なデータに変換する変換処理を行い、通信部６を用いて、変換処理後のリストデータをユーザー端末２００に送信する。この構成では、画像形成装置１００で生成されたリストＬをユーザー端末２００に表示させることができる。また、当該リストＬをユーザー端末２００で編集することもできる。

また、本実施形態の構成では、上記のように、ユーザー端末２００は、リストデータに基づきリストＬを表示する。そして、ユーザー端末２００は、リストＬの表示中、予め定められたシート表示操作を受け付けると、画像データに基づき生成したシートＳの画像を表示する。この構成では、リストＬの基になった伝票シートＳの記載内容を容易に確認することができる。

なお、変形例として、リストＬにリストアップする項目の追加が可能に構成されてもよい。変形例の構成では、たとえば、操作パネル５は、追加ボタン（図示せず）を配したリスト画面ＬＳを表示する。制御部１は、追加ボタンに対する操作を検知すると、読取済みの複数枚の伝票シートＳのいずれかの画像データに基づきプレビュー画像を生成し、当該生成したプレビュー画像を操作パネル５に表示させる。そして、制御部１は、領域設定処理を追加的に行う。すなわち、制御部１は、項目設定操作および領域指定操作を操作パネル５に再度行わせる。

制御部１は、追加的に行われた項目設定操作で設定された項目（ここでは、追加項目と称する）を必要項目に設定する。また、制御部１は、追加的に行われた領域指定操作で指定された領域（ここでは、追加領域と称する）を対象領域に設定する。その後、制御部１は、読取済みの複数枚の伝票シートＳの各画像データの追加領域に対してＯＣＲ処理を行い、各画像データの追加領域に存在する情報を対象情報として抽出する。そして、制御部１は、既存のリストＬに追加項目を追加した新たなリストＬを出力するためのリストデータを生成するとともに、新たなリストＬを配したリスト画面ＬＳを操作パネル５に表示させる。

変形例の構成では、画像形成装置１００に伝票シートＳの読み取りを再度行わせなくても、既存のリストＬにリストアップされている項目とは別の項目を追加的にリストアップすることができるので、ユーザーにとっては利便性が良い。

今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

１ 制御部
２ 記憶部
３ 画像読取部
５ 操作パネル
１００ 画像形成装置（画像処理装置）
２００ ユーザー端末（情報処理装置）
１０００ 画像処理システム
Ｌ リスト
Ｓ 伝票シート（シート）

Claims (8)

1. 操作パネルと、
   情報抽出ジョブの実行時に、項目の項目値が記載されたシートを読み取り、前記シートの画像データを生成する画像読取部と、
   前記シートに対応するプレビュー画像を前記操作パネルに表示させるとともに、前記プレビュー画像のうち必要な前記項目である必要項目の前記項目値を含む領域を指定する領域指定操作の受け付けを前記操作パネルに行わせ、前記領域指定操作で指定された前記領域に対応する前記画像データ内の領域を対象領域に設定し、前記対象領域に対してＯＣＲ処理を行うことによって認識した情報を対象情報として抽出し、前記必要項目と前記対象情報とを対応付けたリストを出力するためのリストデータを生成する制御部と、を備えることを特徴とする画像処理装置。
2. 前記操作パネルは、前記情報抽出ジョブを要求する要求操作を受け付けるとともに、前記情報抽出ジョブの終了を指示する終了操作を受け付け、
   前記制御部は、前記操作パネルが前記要求操作を受け付けてから前記終了操作を受け付けるまでの間に前記画像読取部が読み取った複数枚の前記シートのそれぞれの前記画像データの前記対象領域に対して前記ＯＣＲ処理を行い、複数枚の前記シートのそれぞれの前記画像データから前記対象情報を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像読取部が読み取った前記シートに関するシート情報を前記シートごとに記憶する記憶部を備え、
   前記情報抽出ジョブのモードが第１モードである場合、
   前記制御部は、１枚目の前記シートの前記画像データが生成されると、前記領域指定操作の受け付けを前記操作パネルに行わせることにより、１枚目の前記シートの前記画像データ内に前記対象領域を設定し、前記対象領域に対して前記ＯＣＲ処理を行い、
   前記制御部は、１枚目の前記シートの前記画像データ内に設定した前記対象領域の位置を示す情報を１枚目の前記シートの前記シート情報に含め、２枚目以降の前記シートの前記画像データについては、１枚目の前記シートの前記シート情報で示される前記対象領域と同じ位置の領域に対して前記ＯＣＲ処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記情報抽出ジョブのモードが第２モードである場合、
   前記制御部は、前記画像データが生成されるごとに、前記領域指定操作の受け付けを前記操作パネルに行わせることによって前記画像データ内に前記対象領域を設定し、当該設定した前記対象領域に対して前記ＯＣＲ処理を行うことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記画像読取部が読み取った前記シートに関するシート情報を前記シートごとに記憶する記憶部を備え、
   前記シート情報は、前記画像データを含むとともに、前記画像データと前記画像データ内に設定された前記対象領域の位置とを対応付けた情報を含み、
   前記制御部は、前記画像読取部が読み取った新たな前記シートとフォーマットが同じ前記シートである同一フォーマットシートの前記画像データが前記記憶部に記憶されているとき、前記同一フォーマットシートの前記画像データに対応付けられた前記対象領域を適用するか否かの受け付けを前記操作パネルに行わせ、前記同一フォーマットシートの前記画像データに対応付けられた前記対象領域を適用する旨を前記操作パネルが受け付けた場合、新たな前記シートの前記画像データのうち前記同一フォーマットシートの前記シート情報で示される前記対象領域と同じ位置の領域に対して前記ＯＣＲ処理を行うことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記制御部は、前記リストを前記操作パネルに表示させることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置と、
   所定ソフトウェアがインストールされた情報処理装置と、を備え、
   前記画像処理装置は、前記情報処理装置と通信するための通信部を備え、
   前記制御部は、前記リストデータを前記所定ソフトウェアで使用可能なデータに変換する変換処理を行い、前記通信部を用いて、前記変換処理後の前記リストデータを前記情報処理装置に送信することを特徴とする画像処理システム。
8. 前記制御部は、前記通信部を用いて、前記画像データを前記情報処理装置に送信し、
   前記情報処理装置は、前記リストデータに基づき前記リストを表示し、前記リストの表示中、予め定められたシート表示操作を受け付けると、前記画像データに基づき生成した前記シートの画像を表示することを特徴とする請求項７に記載の画像処理システム。

Images