JP2021057783A - 画像処理装置、画像処理装置の制御方法及びそのプログラム - Google Patents

Abstract

【課題】複数の文書を一度にスキャンして、文書を別々のファイルに分割した上でファイル名等をレコメンドする際、レコメンドからＵＩを通じてユーザの確認結果を受け付けるまでの一連の処理を、単純に繰り返すとユーザの待ち時間が長かった。【解決手段】複数の文書の画像データを取得、それを分割して複数のファイルを作成し、さらにＯＣＲ関連処理を実行し、ファイルの文書と登録済み文書とのマッチングを行って、文書の種類を判別する。登録済み文書に紐づいたインデックス抽出ルールに従って、前記ファイルの文書からインデックスに関するレコメンド内容を生成しユーザに提示して、ユーザの修正指示に基づきインデックス及びインデックス抽出ルールの修正処理を実行し、前記ファイルにインデックスを付与する。そしてＯＣＲ関連処理を含む第１の処理と、修正処理を含む第２の処理を並列処理する画像処理装置。【選択図】図3

Description

本発明は、複数の文書をスキャンした際にファイル分割を行い、それぞれの文書に対してファイル名等をレコメンドする機能を備えた画像処理装置、画像処理装置の制御方法及びそのプログラムに関するものである。

帳票等の紙文書を画像読み取り装置でスキャンしてデジタル化する業務フローが存在する。その際には、一般的に、デジタル化した文書画像に、文書の種類・内容に応じたファイル名やメタ情報をつけて、所定のフォルダに格納することが行われる。ここで、ファイル名づけ、メタ情報づけ、送付先の振り分けフォルダの指定を人手で行うことは、デジタル化する紙原稿の枚数が多くなると大きな負荷となる。特に、複合機(ＭＦＰ)では、ユーザインターフェース(ＵＩ)の制約により、ソフトウェアキーボードでファイル名やメタ情報を入力する必要がある場合にはユーザへの負荷はより大きくなる。また、送付先を指定することも、新たなフォルダを作成することが必要な場合は、同様にユーザへの負荷が大きくなる。

これを解決する手法として、特許文献１の手法がある。この手法では、まず、あらかじめ、文書の種類と、ファイル名づけルール、メタ情報づけルール、送付先ルールなどのインデックス抽出ルールを関連づけして登録しておく。次に、同じ種類の文書がスキャンされた場合には、文書の種類を認識し、関連付けられたインデックス抽出ルールを利用して、自動的にファイル名、メタ情報、送付先を決定し、ユーザにレコメンドする。このようにすれば、ユーザ作業負荷を大きく軽減することが可能となる。
また、特許文献２の手法では、登録済み文書のレコメンドを行うだけでなく、ユーザによるレコメンド結果の修正や、未登録文書の命名操作を受け付ける確認用のＵＩを提供する。これにより、インデックス抽出ルールの初期設定を行うことなく、ユーザが命名操作や修正操作を繰り返して行うだけで、インデックス抽出ルールを自動的に学習することが可能となる。

特開2011-15348号公報 特開2018-124656号公報

一方、複数の文書を一度にスキャンして、文書を別々のファイルに分割し、それぞれのファイルに対して、ファイル名やメタ情報、送付先をレコメンドして欲しいという要望がある。しかしながら、特許文献２の技術のように、インデックス抽出ルールを自動学習しながら、複数ファイルのレコメンドを実現するには課題がある。例えば、特許文献２に記載されているレコメンドからＵＩを通じてユーザの確認結果を受け付けるまでの一連の処理を、ファイル数分繰り返す場合、各ファイルの確認の前にレコメンドに係る処理時間分の待ち時間が毎回発生してしまう。また、待ち時間を減らすために、レコメンドに係る画像処理をユーザの確認操作のバックエンドで先に実施する場合、その場で新規に登録したインデックス抽出ルールを、同一スキャン内の他の文書に適用することができない。その場合、もし同一スキャン内に、未登録の同じ種類の文書や、インデックス抽出ルールに変更の必要がある同じ種類の文書があったとしても、同様の操作を繰り返し行う必要があり、ユーザの手間がかかってしまう。
本発明は、上記事情に鑑みてなされたものであり、インデックス抽出ルールを自動学習しながらの複数ファイルのレコメンドを実現するにあたり、ユーザの手間を減らすことを目的とする。

画像処理装置であって、複数の文書の画像データを取得する取得手段と、前記画像データを分割して複数のファイルを作成する作成手段と、前記ファイルに対してＯＣＲ関連処理を実行するＯＣＲ関連処理手段と、前記ファイルの文書と登録済み文書とのマッチングを行い、文書の種類を判別する判別手段と、前記登録済み文書に紐づいたインデックス抽出ルールに従って、前記ファイルの文書からインデックスに関するレコメンド内容を生成する生成処理手段と、前記レコメンド内容をユーザに提示して、ユーザの修正指示に基づきインデックス及びインデックス抽出ルールの修正処理を実行する修正処理手段と、前記ファイルにインデックスを付与する付与手段と、を備え、前記ＯＣＲ関連処理手段を含む第１の処理手段と、前記修正処理手段を含む第２の処理手段が並列して起動されることを特徴とする。

本発明によれば、複数の文書をスキャンした際にファイル分割を行い、それぞれの文書に対してファイル名等のインデックス項目をレコメンドする機能において、ユーザの手間を減らすことができる。特に、同一スキャン内に複数の同じ種類の文書があった場合、ユーザが登録・修正したルールをすぐに適用することができ、ユーザの負荷を削減できる。

実施例に係るシステムの全体構成を示す図 実施例に係る画像処理装置のハードウェア構成示す図 実施例に係る画像処理手順のフローチャート 実施例に係るファイル分割位置の決定処理例を示す図 実施例に係るＯＣＲ関連処理の処理手順のフローチャート 実施例に係るブロックセレクション処理の例を示す図 実施例に係る確認・修正処理のフローチャート 実施例に係るファイル分割後の先頭ページの画像例 実施例に係るインデックス抽出ルールの例 実施例に係るインデックス抽出ルールの例 実施例に係るレコメンド内容の生成処理のフローチャート 実施例に係る確認・修正画面を利用したファイル名指定の例 実施例に係る確認・修正画面を利用したファイル名指定の例 実施例に係る確認・修正画面を利用したファイル名レコメンドの例 他の実施例に係る処理手順のフローチャート 他の実施例に係る確認・修正処理のフローチャート 他の実施例に係る第二のインデックス抽出ルールの例 他の実施例に係る第二のインデックス抽出ルールの例 他の実施例に係るレコメンド内容の生成処理のフローチャート

以下、添付図面を参照して本発明の実施例を詳しく説明する。なお、以下の実施例は特許請求の範囲に係る本発明を限定するものでなく、また本実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜システム構成＞
図１は、本実施例を適用可能なシステムの全体構成を示す図である。図１に示すように、画像処理装置100はＬＡＮ102に接続され、Internet 103等を介してＰＣなどの端末101等と通信可能になっている。なお、本実施例の実現にあたっては、ＰＣなどの端末101に関しては、必ずしも必要なくてもよく、画像処理装置100のみの構成だけでも良い。
画像処理装置100は、例えば、表示・操作部、スキャナ部及び、プリンタ部を有する複合機(ＭＦＰ)であり、スキャナ部を用いて文書原稿をスキャンするスキャン端末として利用することが可能である。また、タッチパネルやハードボタンなどの表示・操作部を有し、ファイル名や格納先のレコメンド結果を表示したり、ユーザからの指示を受け付けたりするためのユーザインタフェースの表示を行う。
なお、本実施例では、画像処理装置100単体で、スキャン処理、ファイル分割処理、ＯＣＲ関連処理、レコメンド内容の生成処理、ファイル送信を行う例について説明するが、その一部を他の端末101で行うように構成したシステムであっても構わない。例えば、まず、スキャン処理とファイル分割処理とを画像処理装置100で実行して、スキャン画像を他の端末101にネットワークを介して送信する。そして、他の端末101においてＯＣＲ関連処理やレコメンド内容の生成処理を実行し、レコメンド結果を画像処理装置100に返信して、画像処理装置100でファイルを生成してファイル送信を行うようにしてもよい。

＜画像処理装置のハードウェア構成＞
図２は、画像処理装置100の構成を示すブロック図である。制御部110は、ＣＰＵ111、記憶装置112、プリンタＩ/Ｆ部113、ネットワークＩ/Ｆ部114、スキャナＩ/Ｆ部115、表示・操作Ｉ/Ｆ部116がシステムバス117を介して互いに通信可能に接続されている。制御部110は、画像処理装置100全体の動作を制御する。
ＣＰＵ111は、記憶装置112に記憶された制御プログラムを読み出し実行することにより、後述のフローチャートにおける各処理(読取制御や画像処理、表示制御など)を実行する手段として機能する。
記憶装置112は、上記プログラム、画像データ、メタデータ、設定データ及び処理結果データなどを格納し保持する。記憶装置112には、不揮発性メモリであるＲＯＭ118、揮発性メモリであるＲＡＭ119及び大容量記憶領域であるＨＤＤ120などがある。
ＲＯＭ118は、制御プログラムなどを保持する不揮発性メモリであり、ＣＰＵ111はその制御プログラムを読み出し制御を行う。
ＲＡＭ119は、ＣＰＵ111の主メモリ、ワークエリア等の一時記憶領域として用いられる揮発性メモリである。
ネットワークＩ/Ｆ部114は、制御部110を、システムバス117を介してＬＡＮ102に接続する。ネットワークＩ/Ｆ部114は、ＬＡＮ102上の外部装置に画像データを送信したり、ＬＡＮ102上の外部装置から各種情報を受信したりする。

スキャナＩ/Ｆ部115は、スキャナ部122と制御部110とを、システムバス117を介して接続する。スキャナ部122は、文書原稿を読み取ってスキャン画像データを生成し、スキャナＩ/Ｆ部115を介してスキャン画像データを制御部110に入力する。なお、スキャナ部122は、原稿フィーダを備え、トレイに置かれた複数の原稿を１枚ずつフィードして、連続的に読み取ることを可能とする。
表示・操作部Ｉ/Ｆ部116は、表示・操作部123と制御部110とを、システムバス117を介して接続する。表示・操作部123には、タッチパネル機能を有する液晶表示部やハードボタンなどが備えられている。
プリンタＩ/Ｆ部113は、プリンタ部121と制御部110とを、システムバス117を介して接続する。プリンタ部121は、ＣＰＵ111で生成された画像データをプリンタＩ/Ｆ部113を介して受信し、当該受信した画像データを用いて記録紙へのプリント処理が行われる。
以上のように、本実施例に係る画像処理装置100では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。

＜画像処理装置が実行する処理手順＞
本実施例における処理の概要は、画像処理装置100が複数の文書原稿を読み取り、ファイル分割設定にしたがって画像データを複数のファイルに分割する。そして、それぞれのファイルに付与するファイル名を、インデックス抽出ルールに基づいて、各ファイルの先頭ページのＯＣＲ結果の文字列を利用して生成し、表示・操作部123を通じてユーザにレコメンド内容を提示する。ユーザは、表示・操作部123において、ファイル名が正しくレコメンド内容が提示されているかどうかを確認し、間違っている場合には修正指示を行う。ユーザの操作結果に基づいて、修正があった場合にはインデックス抽出ルールを更新する。分割後の全てのファイルについて、ユーザによる確認・修正処理が終わると、ファイル名を各ファイルに付与して送信する。
続いて、本実施例における画像処理装置100が実行する処理手順を図３のフローチャートを用いて詳述する。なお、画像処理装置100のＣＰＵ111が、ＲＯＭ118に格納されている処理プログラムをＲＡＭ119にロードして実行することにより、図３の各ステップの処理を実行する処理部として機能する。
ステップS301において、画像処理装置100は、表示・操作部123からユーザの指示を受け付けると、スキャナ部122において、原稿フィーダのトレイから複数の文書原稿を１枚ずつ読み取り、画像データを取得する。
ステップS302において、ＣＰＵ111は、記憶装置112からファイル分割設定を取得する。なお、ファイル分割設定は、事前に表示・操作部123からユーザの指示を受け付けたものを取得してもよいし、予め決められた固定の設定を取得してもよい。

ステップS303において、ＣＰＵ111は、ステップS302で取得したファイル分割設定に基づいて、ステップS301で取得した複数の画像データの分割位置を決定する。そして、分割位置にしたがって、S301で取得した画像データをグループ化する。このグループは、後述するファイル作成の際に１ファイルにする画像データであり、１つのグループには少なくとも１枚の画像データが含まれる。よって、画像データを分割して複数のファイルを生成する。ファイル分割の設定と分割位置決定の例については、図４を用いて後述する。
ステップS304において、ＣＰＵ111は、ステップS309で示す確認・修正処理を並列で起動し、処理をステップS305へ進める。
以下のステップS305〜ステップS307のＯＣＲ関連処理が終わり未確認属性の付与がされたファイルから並列にステップS309の処理が実行される。
ステップS305において、ＣＰＵ111は、ステップS303で決定した画像グループのうち、ＯＣＲ関連処理を実行していないファイルの１つを、読み取りの早い順にしたがって選択する。
ステップS306において、ＣＰＵ111は、ステップS305で選択したファイルの先頭ページの画像に対して、ＯＣＲ関連処理を実行する。ＯＣＲ関連処理の詳細については後述する。
ステップS307において、ＣＰＵ111は、ステップS305で選択し、ステップS306でＯＣＲ関連処理を実行したファイルについて、未確認属性を付与する。未確認属性とは、ステップS304で並列起動した確認・修正処理の処理待ちであることを表す属性のことである。

ステップS308において、ＣＰＵ111は、ステップS303で決定したすべての画像グループについて、ステップS306のＯＣＲ関連処理が終わったかどうかを判定する。すべての画像グループについて、ＯＣＲ関連処理が終わっていない場合、処理をステップS305に戻し、すべての画像グループについて、ＯＣＲ関連処理が終わっている場合、処理をステップS310に進める。
一方、並列処理されるステップS309において、ＣＰＵ111は、ステップS303で決定したすべての画像グループについて、ユーザにレコメンド内容であるファイル名を提示する。その後、ユーザの確認・修正指示に基づいてファイル名を確定する確認・修正処理を実行する。確認・修正処理の詳細については後述する。
ステップS310において、ＣＰＵ111は、ステップS303で決定したすべての画像グループについて、確認・修正処理が終わったかどうかを判定する。すべての画像グループについて、確認・修正処理が終わるまで待機し、終わった場合には処理をステップS311に進める。
ステップS311において、ＣＰＵ111は、ステップS309で確認・修正を終えて決定されたファイル名の一覧を、表示・操作部123に表示する。
ステップS312において、ＣＰＵ111は、ステップS303で決定した画像グループのそれぞれからファイルを作成する。それぞれのファイルには、ステップS309において、ユーザによる確認・修正を終えて決定されたファイル名を付与する。本実施例ではＰＤＦ(Portable Document Format)化し、保存する例を示す。ＰＤＦの場合には、画像をページに分け保存することが可能であり、ステップS303で決定した画像グループ内の各画像データを、別々のページとして１つのファイルに保存する。
ステップS313において、ＣＰＵ111は、ステップS312で作成したファイルを、ＬＡＮ102を通じて送信先に送信する。

＜分割位置決定処理＞
次に、ステップS303における分割位置決定処理について説明する。
図４に、ファイル分割設定ごとの、ページ分割処理の処理イメージを示す。
図４(A)は、ファイル分割設定として、ページ数分割を設定した場合の分割位置の例である。ページ数分割とは、あらかじめ設定されたページ数ごとに分割位置を決定する方法である。ページ数は、ユーザによって表示・操作部123で指示されたり、スキャン設定に従ってあらかじめ固定のページ数が指定されたりする。
例として、ステップS301で、６ページ分の画像データを取得され、２ページごとの分割が設定された場合、分割位置は２ページ目と３ページ目の間、４ページ目と５ページ目の間に設定される。
図４(B)は、ファイル分割設定として、仕切りページ分割を設定した場合の例である。仕切りページ分割とは、画像データを解析し、仕切りページとして認識した場合に、その仕切りページを取り除いた上で、仕切りページのあった位置に分割位置を設定する方法である。ユーザは、分割したい文書と文書の間に仕切りページを挿入した上で、原稿フィーダに文書群をセットする必要がある。
例として、ステップS301で、６ページ分の画像データを取得され、３ページ目と５ページ目が仕切りページであった場合には、まず、３ページ目と５ページ目の画像データが取り除かれる。そして、分割位置は２ページ目と４ページ目、４ページ目と６ページ目の画像の間に設定される。
仕切りページとしては、何も印刷されていない白紙や、バーコードや二次元コードを印刷した用紙を使用すればよい。白紙を仕切りページとして使用する場合には、画像データ内に含まれる一定の画素値以下の画素数や、一定の面積以上の有色画素塊が含まれるかなどを利用して、白紙であるかどうかを判定することで仕切りページの認識を行う。バーコードや二次元コードを印刷した用紙を使用する場合には、まず、画像データ内からバーコードや二次元コードを検出する。そして、検出したバーコードや二次元コードをデコードした結果に、仕切りページであることを識別する情報が含まれるかどうかによって仕切りページの認識を行う。バーコードや二次元コードを用いた仕切りページ用紙は、特定のＰＣアプリケーションを用いて印刷してもよい。または、画像処理装置100内のアプリケーションを用いて、表示・操作部123から枚数や用紙サイズなどを受け付け、プリンタ部121で印刷してもよい。

図４(C)は、ファイル分割設定として、表紙ページ分割を設定した場合の例である。表紙ページ分割とは、画像データを解析し、表紙ページとして認識した場合に、その１ページ前との間に分割位置を設定する方法である。
例として、ステップS301で、６ページ分の画像データが取得され、１ページ目、３ページ目、５ページ目が表紙ページとして認識された場合、分割位置は２ページ目と３ページ目の間、４ページ目と５ページ目の間に設定される。表示ページの認識方法としては、例えば表紙ページの画像データを事前に登録しておき、画像の比較によって認識する。表紙ページの画像データは、画像処理装置100内のアプリケーションを用いて、表紙ページとなる文書原稿をスキャナ部122で読み込んで登録してもよいし、外部からＬＡＮ102、ネットワークＩ/Ｆ部114を通じて登録してもよい。画像の比較では、画像から算出した局所特徴量の一致度に基づいて、登録された表紙ページと同じであるかどうかを認識する。なお、表紙ページの認識は、画像の比較に限定するものではない。
その他の方法として、例えば、画像内の文書に含まれる文字や罫線の配置といったレイアウト特徴を抽出し、レイアウト特徴の比較によって認識してもよい。また、表紙ページを事前に登録するのではなく、表紙ページに特定の文字列やバーコード、二次元コードが含まれるかどうかで認識してもよい。

＜ＯＣＲ関連処理＞
次にステップS306におけるＯＣＲ関連処理の詳細について、図５を用いて説明する。図５は、画像データ一枚に対して、ＯＣＲとその前処理を含めたＯＣＲ関連処理を実行する処理手順を示すフローチャートである。
ステップS501において、ＣＰＵ111は、画像データから傾きの角度を検出し、検出した傾きだけ逆方向に画像を回転することで、傾きを補正した画像データを取得する。
傾き補正の対象となる傾きとは、スキャナ部122による読み取り時に、原稿フィーダ内のローラの摩耗などが原因でまっすぐに原稿が読み取られなかったり、原稿の印刷時にまっすぐ印字できなかったりするような傾きである。
傾き検出では、まず、画像データ内に含まれるオブジェクトを検出し、水平方向あるいは鉛直方向に隣り合うオブジェクト群を連結する。そして、連結されたオブジェクトの中心位置を結んだ角度が、水平方向あるいは鉛直方向からどれだけ傾いているかを取得することで傾きを求める。なお、傾き検出は上記の方法に限るものではない。例えば、画像データ内に含まれるオブジェクトの中心座標を取得し、0.1度単位で中心座標群を回転させながら、中心座標群が水平方向あるいは垂直方向に並ぶ割合がもっとも高い角度を傾きとして求めてもよい。この傾き補正によって、画像の傾きを補正することで、後述する回転補正およびブロックセレクション処理、ＯＣＲのそれぞれの処理精度を上げることが可能となる。

ステップS502において、ＣＰＵ111は、ステップS501で取得した傾き補正後の画像に対して、原稿内の文字が正立する向きになるように、90度単位で画像を回転補正した画像を得る。ステップS501で取得した傾き補正後の画像を基準画像として、基準画像と90回転した画像、180度回転した画像、270度回転した画像の４枚の画像を用意する。そして、それぞれの画像に対し、高速処理が可能で簡易的なＯＣＲ処理を実行して、一定値以上の確信度を持って認識された文字の数が最も多い画像を回転補正後画像として取得する。なお、回転補正の方法は上記に限るものではない。
ステップS503において、ＣＰＵ111は、ステップS502で取得した回転補正後画像に対し、ブロックセレクション処理を実行する。ブロックセレクション処理とは、画像を前景領域と背景領域に分類した上で、前景領域をテキストブロックやそれ以外のブロックに分割する判定処理である。

具体的には、まず白黒に二値化されたクエリ画像に対し輪郭線追跡を行って、黒画素輪郭で囲まれる画素の塊を抽出する。そして、面積が所定の面積よりも大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い、白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部から再帰的に黒画素の塊を抽出する。こうして得られた黒画素の塊を前景領域とし、大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化され得る部分を文字領域(TEXT)とする。また、扁平な画素塊を線領域(LINE)とする。一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域(TABLE)とする。不定形の画素塊が散在している領域を写真領域(PHOTO)とする。そして、それ以外の任意形状の画素塊を図画領域(PICTURE)とする。こうしてオブジェクトの属性毎に領域分割されたものの中から、文字属性を持つと判定されたブロックがテキストブロックとして特定される。

図６は、ブロックセレクション処理の結果の一例を示す図である。図６(A)は回転補正後の画像を示し、図６(B)は当該クエリ画像のブロックセレクション処理結果を示している。本ステップで得られた各テキストブロックの情報(属性と各ブロックの位置を示す情報)は、後述のＯＣＲ処理や類似度計算等で用いられる。なお、本ステップでテキストブロックだけを抽出するのは、文字列の位置は文書画像の構造を良く表現し、スキャンアシスト情報と密接に関連するためである。したがって、写真領域や表領域等の他の属性を持つと判定されたブロックの情報を後続の処理で利用することを排除するものではない。
図５のフローチャートの説明に戻ると、ステップS504において、ＣＰＵ111は、ステップS503で取得したテキストブロックに対してＯＣＲを実行し、各テキストブロックに対応する文字列を結果として取得する。

＜確認・修正処理＞
確認・修正処理（図３のS309）の詳細について説明する。本実施例において、確認・修正処理(S309)は、図３のステップS304で起動され、図３の処理フロー(S305〜S308)と並列で動作する。確認・修正処理は、分割後の各ファイルに付与するファイル名をユーザにレコメンド内容を提示し、ユーザの指示に基づいて確定する処理である。図７は、確認・修正処理の処理ステップを表すフローチャートである。図８は、各画像グループの先頭ページの画像データであり、図８(A)、図８(B)、図８(C)の並び順は読み取りの早い順である。図８(A)と図８(B)は同じ種類の文書で、記載内容が一部異なる文書であり、図８(C)は異なる種類の文書である。以下に、図８の画像データを読み込んだ際の確認・修正処理の振る舞いを、図７のフローチャートを用いて説明する。

ステップS701において、ＣＰＵ111は、図３のステップS301でスキャンされ、ステップS303で決定した画像グループのうち、未確認属性が付与されたグループがあるかどうかを確認する。未確認属性とは、図３のステップS307で付与される属性で本確認・修正処理の実行前であることを意味している。未確認属性の付与された画像グループが現れるまで待機し、１つでもあった場合には、処理をステップS702へ進める。
ステップS702において、ＣＰＵ111は、未確認属性の付与された画像グループの１つを、読み取りの早い順にしたがって選択する。
ステップS703において、ＣＰＵ111は、ＨＤＤ120からインデックス抽出ルールを取得し、ＲＡＭ119に展開した上で取得する。インデックス抽出ルールの例を図９Ａ,Ｂに示す。図９Ａは、文書ＩＤ「0001」という文書1種類が登録されている状態を表し、図９Ｂは、それに加え、文書ＩＤ「0002」という文書が登録されている状態を表す。インデックス抽出ルールは、登録文書1つについて、文書ＩＤと文書識別情報とレコメンド情報の組み合わせであり、登録済み文書の数だけこれらの組み合わせを保持する。文書ＩＤとは文書の種類を表すユニークなＩＤである。文書識別情報は、後述する文書マッチングで使用する文書の種類を識別するために必要な情報であり、ＯＣＲ関連処理を実行して得られるテキストブロック群を利用する。レコメンド情報は、レコメンドする内容を、入力文書から抽出するためのルールであり、登録済み文書内の特定のテキストブロック群の座標および、そのテキストブロック群のＯＣＲ結果をどの順番でつなげてファイル名とするかという順番の情報を持つ。なお、本実施例では、ファイル名をレコメンドする場合の例の詳細を後述するが、レコメンド情報としてファイルの送付先のフォルダ情報や、テキストブロック群のＯＣＲ結果をメタデータとして付与するための情報を保持してもよい。また、図９Ａ,Ｂに示したように、読み取った画像データのサムネイルを一緒に保持してもよい。
ステップS704において、ＣＰＵ111は、ステップS703で取得したインデックス抽出ルールに基づいて、ステップS702で選択した画像グループに対してレコメンドするファイル名を生成するレコメンド内容生成処理を実行する。レコメンド内容生成処理の処理手順を示したフローチャートが図１０である。

＜レコメンド内容の生成処理＞
ステップS1000において、ＣＰＵ111は、文書マッチングを実行する。文書マッチングとは、入力された文書と同じ種類の文書が、インデックス抽出ルールと共に画像処理装置のデータベースに登録されている登録済みの文書の中にあるかどうかを判定し、同じ種類の文書があった場合にはその文書の種類を判別する処理である。本実施例では、まず、入力文書と各登録済み文書との間で、１対１で、ＯＣＲ関連処理で得られるテキストブロックの形状や配置がどれだけ類似しているかを表す類似度の算出を行う。類似度算出では、まず、入力文書のテキストブロック全体と、登録済み文書のテキストブロック全体で位置合わせを行う。次に、入力文書内の各テキストブロックと、登録済み文書のテキストブロックと重なる面積の総和の二乗を、入力文書のテキストブロック面積の総和と登録済み文書のテキストブロック面積の総和の積で割った値を類似度とする。上述した類似度算出を、入力文書とすべての登録済み文書との間で行い、最も高い類似度が一定値以上であれば、その登録済み文書と同じ種類と判定し、最も高い類似度が一定値より小さければ、入力済み文書は登録済み文書内に無い種類であると判定する。なお、文書マッチングは上記の方法に限るものではない。例えば、文書識別情報として、ＯＣＲ関連処理の結果として得られる文書内に含まれる文字列群を保持し、その類似性によってマッチングを行ってもよい。また、文書識別情報として画像データや画像データから得られる画像特徴量を保持しておき、画像特徴量の類似性を使っても行ってもよい。
ステップS1001において、ＣＰＵ111は、ステップS1000で実行した文書マッチングの結果として、入力された文書が登録済み文書であった場合には、処理をステップS1002に進め、登録済み文書でなかった場合には、処理を終了する。
ステップS1002において、ＣＰＵ111は、入力文書に対し、ステップS1000で同じ種類の文書であると判別された文書と、同じ文書ＩＤを付与する。

ステップS1003において、ＣＰＵ111は、インデックス抽出ルールの中から、ステップS1000で判別した文書の文書ＩＤに紐づいたレコメンド情報を取得し、そのルールに基づいて、レコメンド内容であるファイル名を生成する。具体的には、まず、文書の種類毎に設定された位置のレコメンド用のテキストブロック群に対応する入力文書内のレコメンド用のテキストブロック群を取得する。その際、入力文書と登録文書とでは、スキャンタイミングによって画像全体の位置がずれていたり、記載内容にテキストブロックの大きさが変わったりすることがある。そこで、入力文書のテキストブロック全体と、登録済み文書のテキストブロック全体で位置合わせを行った上で、登録済み文書におけるレコメンド用テキストブロックと重なる入力文書内のレコメンド用のテキストブロック群を取得する。そして、取得された入力文書内のレコメンド用のテキストブロック群のＯＣＲ結果として得られる文字列をつなげた結果を、ファイル名としてレコメンドする。

＜確認・修正画面＞
図７のフローチャートの説明に戻る。
図７のステップS705において、ＣＰＵ111は、操作・表示部123に、確認・修正画面を表示する。この確認・修正画面について図１１Ａ,Ｂを参照し説明する。なお、以下では、図１１Ａ及び図１１Ｂを併せて図１１という。
図１１において、表示・操作部123は、タッチパネルディスプレイ領域1101と、ハードキー1102(数字キーや各種処理のスタートキーなど)とを備える。タッチパネルディスプレイ領域1101には、入力文書の読み取り画像データをプレビュー画像が表示される。プレビュー画像上をユーザがスワイプ操作することで、プレビュー画像を任意の方向のスクロールすることができる。また、ファイル名を表示・編集するためのテキストフィールド1103と、ファイル名を削除するための削除ボタン1104、プレビュー画像の表示倍率を拡大および縮小を可能とするボタン1105、1106が表示される。また、ファイル名の決定をキャンセルし、ひとつ前のファイルに戻るためのボタン1107と、ファイル名を決定するボタン1108が表示される。
ここで、図８(A)に示した文書が、ステップS702で選択され、図９Ａに示したインデックス抽出ルールがステップS703で取得された場合、ステップS704では、選択中の文書は未登録の文書であると判定される。そのため、レコメンド内容であるファイル名が生成されず、図１１(A)に示すように、ファイル名のテキストフィールド1103は空白の状態で表示される。ユーザは、この確認・修正画面において、プレビュー表示されている画像データ上のテキストブロックをタッチすることで、ファイルに付与するファイル名を指示することができる。例えば、図１１(B)に示すように、送信元企業を表すテキストブロック1109をタッチした場合、テキストブロック1109がプレビュー上でハイライト表示される。そして、ファイル名のテキストフィールド1103には、テキストブロック1109のＯＣＲ結果のテキストである「ABCCo.」が表示される。同様に、書類番号を表すテキストブロック1110、日付を表すテキストブロック1111を順にタッチした結果を、それぞれ図１１(C)と図１１(D)に示す。このように、複数のテキストブロックをタッチした場合には、あらかじめ決められたセパレータであるアンダースコアでつなげた結果がファイル名となる。
一方、ステップS704において、レコメンド内容であるファイル名が生成された場合には、最初から、図１１(D)に示すように、ファイル名に使用するテキストブロックがハイライトされ、ファイル名が表示された確認・修正画面が表示される。なお、必ずしもＯＣＲ結果のテキストをそのままファイル名に使用する必要はない。たとえば、図１１(D)に示すように、テキストブロック1111のＯＣＲ結果として得られる「2019/04/01」というテキストであるとする。このテキストデータが日付であるYYYY/MM/DD形式であることを識別して、YYYYMMDD形式である「20190401」に変換してもよい。ユーザが決定ボタン1108を押下し、ファイル名を決定した場合には、処理をステップS706に進める。

ステップS706において、ＣＰＵ111は、ステップS705において、ユーザから確認・修正画面を通じて指示された内容に基づいて、選択中の文書に対応するインデックス抽出ルールを作成する。
ステップS707において、ＣＰＵ111は、ステップS704において生成されたファイル名を、ステップS705において、ユーザが修正したかを判定する。レコメンド内容を修正していた場合には、処理をステップS708に進め、修正していなかった場合には、処理をステップS711に進める。なお、ステップS704において、選択中の文書が登録済み文書ではないと判別された場合には、修正された場合と同様に、処理をステップS708に進める。
ステップS708において、ＣＰＵ111は、選択中の画像グループに、文書ＩＤが付与されているかどうかを判定する。文書ＩＤが付与されている場合には、処理をステップS709へ進め、文書ＩＤが付与されていない場合には、処理をステップS710に進める。
ステップS709において、ＣＰＵ111は、該当する文書ＩＤの文書識別情報およびレコメンド情報を、ステップS706で作成したインデックス抽出ルールに基づいて更新し、ステップS711に処理を進める。
ステップS710において、ＣＰＵ111は、新規に文書ＩＤを発行し、ステップS706で作成した文書識別情報およびレコメンド情報と組み合わせて新規にインデックス抽出ルールを登録し、ステップS711に処理を進める。
上記ステップS706〜S708,S710によれば、ユーザが確認・修正画面においてファイル名を指示した場合（図１１(B)〜(D)）、図９Ｂの文書ＩＤ「0002」に対応するインデックス抽出ルールが新規に登録される。

ステップS711において、ＣＰＵ111は、選択中の画像グループの属性を、未確認属性から、確認済み属性に変更する。
ステップS712において、ＣＰＵ111は、ステップS303で決定したすべての画像グループについて、確認済み属性が付与されているかどうか判定する。すべての画像グループについて、確認済み属性が付与されていれば、処理を終了し、そうでなければ、処理をステップS701へ戻る。
上述した確認・修正処理によって、図８(B)および図８(C)に示した画像を続けて処理する場合について説明する。
まず、ステップS702で図８(B)に示した文書が選択されると、ステップS703において、図９Ｂに示した更新済みのインデックス抽出ルールが取得される。ステップS704において、登録済み文書(文書ＩＤ「0002」)であると判定され、レコメンド結果のファイル名が取得される。この場合の、ステップS705において表示される確認・修正画面を、図１２(A)に示す。このように、スキャン前に未登録であった同じ種類の文書が、一度にスキャンされた場合でも、１つの文書について、確認・修正画面においてユーザがファイル名を指示することで、もう１つの文書のファイル名をレコメンドすることができる。

次に、ステップS702において、図８(C)に示した文書が選択され、ステップS703において、図９Bに示した更新済みのインデックス抽出ルールが取得された場合について説明する。ステップS704において、選択中の文書は登録済み文書(文書ＩＤ「0001」)であると判定され、過去に登録していたインデックス抽出ルールに基づき、ファイル名がレコメンドされる。この場合の、ステップS705において表示される確認・修正画面を、図１２(B)に示す。このように、一度に別々の種類のファイルがスキャンされた場合でも、過去に登録されているインデックス抽出ルールに基づいて、それぞれの文書の種類に応じたファイル名のレコメンドが可能になる。
以上、本実施例１によれば、複数の文書をスキャンした際にファイル分割を行い、それぞれの文書に対してファイル名等のインデックス項目をレコメンドする機能において、ユーザの手間を減らすことができる。また、同一スキャン内に複数の同じ種類の文書があった場合でも、その場で登録・修正したルールを適用することができる。さらに、ユーザによる確認・修正を行っているバックエンドで、先にすべての文書についてＯＣＲ関連の処理を実行しておくことで、ユーザの待ち時間を大きく減らすことができる。

実施例１では、確認・修正処理のバックエンドで、全画像グループについて図３のステップS306のＯＣＲ関連処理を実行し、各画像グループの確認・修正画面の表示前に、図７のS704に示すレコメンド内容生成処理を実行する例について説明した。実施例２では、確認・修正処理のバックエンドで、ＯＣＲ関連処理だけでなく、レコメンド内容の生成までを行う。そして、各画像グループの確認・修正画面の表示前に、レコメンド内容を再生成する必要があるかどうかを判別し、再生成が必要な場合にのみ、インデックス抽出ルールの再生成処理を行う例について説明する。なお、以下では、実施例１と差異がある箇所についてのみ説明する。
図１３は、本実施例に係る処理手順のフローチャートである。まず、図１３と、図３に示した実施例１のフローチャートとの差異について説明する。
ステップS304において、確認/修正処理を並列起動した後、ステップS1301において、ＣＰＵ111は、ＨＤＤ120から第一のインデックス抽出ルールを取得し、ＲＡＭ119に展開した上で取得する。第一のインデックス抽出ルールとは、本実施例において、一度だけ読み込まれ、ステップS303で分割された画像グループのそれぞれに対して一度適用されるものである。そして、後述するステップS1302のレコメンド内容生成処理において、利用されるインデックス抽出ルールである。
ステップS305〜S306で、ＯＣＲ関連処理が行われた後、ステップS1302において、ＣＰＵ111は、レコメンド内容生成処理を実行する。ここでは、ＣＰＵ111は、ステップS1301で取得した第一のインデックス抽出ルールに基づいて、ステップS305で選択した画像グループに対してレコメンドするファイル名を生成する。レコメンド内容生成処理の詳細は、実施例１において、図１０を用いて説明した内容と同様である。

並列処理のステップS1303では、ＣＰＵ111は、ステップS303で分割したすべての画像グループについて、ユーザにファイル名をレコメンドし、ユーザの確認・修正指示に基づいてファイル名を確定する確認・修正処理を実行する。確認・修正処理の詳細については後述する。
＜確認・修正処理の詳細説明＞
図１３のS1303で示す確認・修正処理の詳細について、図１４のフローチャートを用いて説明する。本実施例において、確認・修正処理は、図１３のステップS304で起動され、図１３の処理フローと並列で動作する。なお、図１４と、図７に示した実施例１のフローチャートとの差異についてのみ説明する。
ステップS1401において、ＣＰＵ111は、第二のインデックス抽出ルールを作成し、ＲＡＭ119に展開する。第二のインデックス抽出ルールとは、図１３のステップS1301で取得した第一のインデックス抽出ルールに対して、確認・修正処理によってルールの更新や新規登録があった場合に、更新後の状態を一時的に保持するインデックス抽出ルールである。第二のインデックス抽出ルールでは、第一のインデックス抽出ルールに加えて、更新の有無や新規登録されたかといった更新情報を属性として持つ。第二のインデックス抽出ルールの初期状態は、ステップS1301で取得した第一のインデックス抽出ルールの内容である文書ＩＤや文書識別情報、レコメンド情報と同じ内容で、初期の更新情報としては、更新なしの状態である。第二のインデックス抽出ルールの例を図１５Ａ,Ｂに示す。図１５Ａは、文書ＩＤ「0001」という文書１種類が登録されている第一のインデックス抽出ルールを元に生成した状態である。図１５Ｂは、文書ＩＤ「0002」に対応するインデックス抽出ルールが新規に登録された状態を示している。

ステップS1402において、ＣＰＵ111は、ＲＡＭ119に展開された第二のインデックス抽出ルールを取得する。
ステップS1403において、ＣＰＵ111は、ステップS1402で取得した第二のインデックス抽出ルールに基づいて、第二のレコメンド内容生成処理を実行する。第二のレコメンド内容生成処理の詳細については後述する。
ステップS705、S706の後、第二のインデックス抽出ルールに修正があり(S707)、文書ＩＤがある場合には(S708)、ステップS1404に処理を進め文書ＩＤがない場合には、S1405に処理を進める。
ステップS1404において、ＣＰＵ111は、該当する文書ＩＤの文書識別情報およびレコメンド情報を、ステップS706で作成した第二のインデックス抽出ルールに基づいて更新し、更新情報を更新ありとして保持する。
ステップS1405において、ＣＰＵ111は、新規に文書ＩＤを発行し、ステップS706で作成した文書識別情報およびレコメンド情報と組み合わせて、第二のインデックス抽出ルールに新規登録し、更新状態を新規登録として保持する。
全グループの確認/修正処理が終了した場合には、続くステップS1406において、ＣＰＵ111は、第二のインデックス抽出ルールを第一のインデックス抽出ルールに反映し、ＨＤＤ120に格納する。

＜第二のレコメンド内容生成処理の詳細説明＞
第二のレコメンド内容生成処理のフローチャートを図１６に示す。
ステップS1601において、ＣＰＵ111は、図１４のステップS702で選択された画像グループに対して、図１３のステップS1302のレコメンド内容生成処理で登録済み文書として判定され、文書ＩＤが付与されているかどうかを判定する。文書ＩＤが付与されていない場合すなわち第二のインデックス抽出ルールに登録されていない文書画像の場合、処理をステップS1602へ進め、文書ＩＤが付与されている場合、処理をステップS1607へ進める。
ステップS1602において、ＣＰＵ111は、図１４のステップS1402で取得した第二のインデックス抽出ルールの中に、更新情報の属性に新規のルールがあるかどうかを判定する。新規のルールがある場合、処理をステップS1603に進み、新規のルールがない場合には処理を終了する。これにより、新規のルールがない場合には、図１４のステップS705において、図１３のステップS1302のレコメンド内容生成処理の結果がレコメンドされ、確認・修正画面の表示にかかる時間を減らすことができる。
ステップS1603において、ＣＰＵ111は、選択中の文書と、第二のインデックス抽出ルールのうち、新規に登録された文書のみとの間で文書マッチングを実行する。一般的に、文書マッチングは、マッチング対象の登録済み文書の数に応じて処理時間が増えるため、このようにマッチング対象を新規に登録された文書のみに限定することで、処理時間を減らすことができる。
ステップS1604において、ＣＰＵ111は、ステップS1603で実行した文書マッチングの結果として、入力された文書が新規登録済み文書であった場合には、処理をステップS1605に進め、そうでなかった場合には、処理を終了する。新規文書登録済み文書でなかった場合には、レコメンド内容であるファイル名が生成されず、確認・表示画面において、ユーザによるファイル名の指示を受け付ける。

ステップS1605において、ＣＰＵ111は、入力文書に対し、ステップS1603の文書マッチングの結果として、同じ種類の文書であると判別された文書と、同じ文書ＩＤを付与する。
続くステップS1606において、ＣＰＵ111は、第二のインデックス抽出ルールの中から、ステップS1603で判別した文書の種類に紐づいたレコメンド情報を取得し、そのルールに基づいて、レコメンド内容であるファイル名を生成する。
一方、画像グループに文書ＩＤがあった場合、ステップS1607において、ＣＰＵ111は、第二のインデックス抽出ルールの、入力文書に付与された文書ＩＤに紐づいた更新情報を参照し、更新ありかどうかを判定する。更新ありの場合、処理をステップS1608へ進め、更新なしの場合、処理を終了する。これにより、更新がなかった場合には、図１４のステップS705において、図１３のステップS1302のレコメンド内容生成処理の結果がレコメンドされ、確認・修正画面の表示にかかる時間を減らすことができる。また、更新があった場合でも、文書マッチングを行う必要がなく、後述のステップS1608において、レコメンド内容を生成するだけでよいため、確認・修正画面の表示にかかる時間を減らすことができる。
ステップS1608において、ＣＰＵ111は、第二のインデックス抽出ルールの中から、入力文書の文書ＩＤに紐づいたレコメンド情報を取得し、そのレコメンド情報に基づいて、レコメンド内容であるファイル名を生成する。
以上、実施例２によれば、ユーザによる確認・修正を行っているバックエンドで、先にすべての文書について一度レコメンド内容の生成処理を実行し、必要に応じてレコメンド内容の再生成処理を行う。これにより、1文書ごとの確認・修正画面の表示までにかかる時間を減らすことで、実施例１と比べて、さらにユーザの待ち時間を大きく減らすことができる。

(その他の実施例)
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ＡＳＩＣ)によっても実現可能である。

Claims (13)

1. 画像処理装置であって、
   複数の文書の画像データを取得する取得手段と、
   前記画像データを分割して複数のファイルを作成する作成手段と、
   前記ファイルに対してＯＣＲ関連処理を実行するＯＣＲ関連処理手段と、
   前記ファイルの文書と登録済み文書とのマッチングを行い、文書の種類を判別する判別手段と、
   前記登録済み文書に紐づいたインデックス抽出ルールに従って、前記ファイルの文書からインデックスに関するレコメンド内容を生成する生成処理手段と、
   前記レコメンド内容をユーザに提示して、ユーザの修正指示に基づきインデックス及びインデックス抽出ルールの修正処理を実行する修正処理手段と、
   前記ファイルにインデックスを付与する付与手段と、
   を備え、
   前記ＯＣＲ関連処理手段を含む第１の処理手段と、前記修正処理手段を含む第２の処理手段が並列して起動される
   ことを特徴とする画像処理装置。
2. 前記ＯＣＲ関連処理は、傾き補正、回転補正、領域を選択する処理及びＯＣＲ処理である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記修正手段は、
   前記判別手段により、文書の種類が特定された場合、
   前記レコメンド内容をユーザに提示して、ユーザによるインデックスの修正指示を受け付け、インデックス抽出ルールを更新し、
   前記判別手段により、文書の種類が特定されなかった場合、
   前記インデックス抽出ルールに、該ファイルの文書の特徴をユーザの指示に基づき登録する
   ことを特徴とする請求項１〜２のいずれか１項に記載の画像処理装置。
4. 前記ＯＣＲ関連処理を終えたファイルに対して、未確認属性を付与する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第２の処理手段は、前記未確認属性が付与されているファイルについて、並列に処理を実行する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、文書をスキャンして画像データを取得するスキャナである
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記作成手段は、仕切りページ又は表紙を認識することにより、画像データを分割する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記作成手段は、設定されたページ数ごとに、画像データを分割する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記第２の処理手段は、前記判別手段、前記レコメンド内容の生成手段、前記修正手段を含む
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１の処理手段は、前記ＯＣＲ関連処理手段、前記判別手段、前記レコメンド内容の生成処理手段を含む
    ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
11. 前記修正処理手段は、
    ファイルの文書の種類が前記インデックス抽出ルールの新たな登録済み文書の種類である場合、又は前記インデックス抽出ルールが更新された登録済みの文書の種類に該当する場合は、レコメンド内容を再生成して、ユーザに提示する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 複数の文書の画像データを取得する取得手段を有する画像処理装置の制御方法であって、
    前記画像データを分割して複数のファイルを作成する作成ステップと、
    前記ファイルに対してＯＣＲ関連処理を実行するＯＣＲ関連処理ステップと、
    前記ファイルの文書と登録済み文書とのマッチングを行い、文書の種類を判別する判別ステップと、
    前記登録済み文書に紐づいたインデックス抽出ルールに従って、前記ファイルの文書からインデックスに関するレコメンド内容を生成する生成処理ステップと、
    前記レコメンド内容をユーザに提示して、ユーザの修正指示に基づきインデックス及びインデックス抽出ルールの修正処理を実行する修正処理ステップと、
    前記ファイルにインデックスを付与する付与ステップと、
    を備え、
    前記ＯＣＲ関連処理ステップを含む第１の処理ステップと、前記修正処理ステップを含む第２の処理ステップが並列して起動される
    ことを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１〜１２のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images