JP2023167880A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2023167880A
JP2023167880A JP2022079408A JP2022079408A JP2023167880A JP 2023167880 A JP2023167880 A JP 2023167880A JP 2022079408 A JP2022079408 A JP 2022079408A JP 2022079408 A JP2022079408 A JP 2022079408A JP 2023167880 A JP2023167880 A JP 2023167880A
Authority
JP
Japan
Prior art keywords
page
pages
image
scan
scanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022079408A
Other languages
English (en)
Inventor
健太 井上
Kenta Inoue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022079408A priority Critical patent/JP2023167880A/ja
Priority to US18/193,250 priority patent/US20230368558A1/en
Publication of JP2023167880A publication Critical patent/JP2023167880A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Facsimiles In General (AREA)

Abstract

Figure 2023167880000001
【課題】ユーザの負担を軽減しながら、複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を帳票の種類ごとに分割すること。
【解決手段】
画像処理装置は、複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得手段と、帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理手段と、前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析手段と、前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割手段と、を有する
【選択図】図15

Description

本開示は、ページ単位のスキャン画像群を分割する技術に関する。
ユーザが帳票をスキャンする目的の1つに、紙の帳票の電子化がある。帳票を電子化して得られたファイルをクラウドストレージに保管することで、ユーザは、時間と場所を問わず帳票の内容を確認できる。さらに、帳票を電子化することで紙の帳票の保管スペースを削減することができる。帳票を電子化する場合、ユーザは複数の帳票をためておいて、複数の帳票をまとめてスキャンして得られたページ単位のスキャン画像群をユーザ所望のまとまりのスキャン画像ごとに分割して電子化することがある。
特許文献1には、複数種類の帳票をスキャンして得られた画像群のうち、保存されているテンプレートと類似するページの画像を基準に分割する方法が記載されている。また、
特許文献1の方法では、テンプレートが保存されていない新規帳票を先頭にしてスキャンすることで、ページ単位のスキャン画像群に新規帳票の画像が含まれるかを判定する方法が記載されている。
特開2020-170942号公報
しかしながら、特許文献1では、新規帳票を先頭にして複数種類の帳票をスキャンしないと、ページ単位のスキャン画像群に新規帳票に対応する画像が含まれているか判定できない。例えば、複数種類の帳票の束のうち中間に新規帳票が含まれていると、その新規帳票の画像は前の帳票の一部のページの画像として電子化がされてしまう。このため、ユーザは、スキャンの対象となる複数種類の帳票から新規帳票を探して、新規帳票を先頭にしてスキャンしなければならないため、ユーザの負担となってしまう。
本開示の画像処理装置は、複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得手段と、帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理手段と、前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析手段と、前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割手段と、を有することを特徴とする。
本開示の技術によれば、ユーザの負担を軽減しながら、複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を帳票の種類ごとに分割することができる。
本システムの全体構成を示す図である。 MFPのハードウェア構成図である。 MFP連携サービスおよびクライアントPCのハードウェア構成図である。 本システムの機能構成図である。 各機器間の処理の流れを示すシーケンス図である。 各機器間の処理の流れを示すシーケンス図である。 スキャンボタン選択画面の一例を示す図である。 スキャン設定画面の一例を示す図である。 スキャン済み帳票一覧画面の一例を示す図である。 分割位置設定画面の一例を示す図である。 スキャンボタン設定画面の一例を示す図である。 記憶した帳票の位置で分割する方法の比較例を説明するための図である。 画像解析処理の詳細を示すフローチャートである。 登録済みの過去のスキャン画像に関連付けた情報の一例を示す図である。 解析結果情報の一例を示す図である。 記憶した帳票の位置を基準に分割する処理の詳細を示すフローチャートである。 分割位置設定画面の一例を示す図である。
以下、本開示の技術を実施するための形態について図面を用いて説明する。なお、以下の実施形態は特許請求の範囲に係る技術を限定するものでなく、また以下の実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。
<第1の実施形態>
[システム構成]
図1は、本実施形態に係る、画像処理システムの全体構成を示す図である。はじめに図1の画像処理システムについて説明する。図1の画像処理システムは、MFP(Multifunction Peripheral)110、MFP連携サーバ120、クラウドストレージサーバ130、およびクライアントPC(パーソナルコンピュータ)111を有する。MFP110は、LAN(Local Area Network)経由でインターネット上の各種サービスを提供するサーバに対して通信可能に接続されている。
MFP110は、スキャナやプリンタといった複数の機能を有する複合機であり、画像形成装置の一例である。MFP110は、クラウドストレージ等のサービスを提供するクラウドサービスと連携する画像形成装置である。このような画像形成装置は、帳票をスキャンして得られたスキャン画像をユーザが指定したクラウドストレージに保管するため、生成したスキャン画像のデータを送信する機能を有する。クライアントPC111は、MFP連携サーバ120からサービスの提供を受ける情報処理装置である。
MFP連携サーバ120は、MFP110がスキャンして得られた画像ファイルを、自サーバ上に保存したり、ファイル保存を行うストレージサービス等を提供する別のサーバに転送したりするサービスを提供するサーバの一例である。以下、MFP連携サーバ120が提供するクラウドサービスを「MFP連携サービス」と呼ぶことにする。
クラウドストレージサーバ130は、インターネットを介して受信したファイルを保存したり、外部装置がウェブブラウザを介してファイルを取得したりすることができるサービスを提供するサーバである。画像システムには、クラウドストレージサーバ130に限らず、複数のクラウドストレージサーバが存在する。以下、クラウドストレージサーバ130が提供するクラウドサービスを「クラウドストレージサービス」と呼ぶことにする。
本実施形態の画像処理システムは、MFP110、MFP連携サーバ120、クラウドストレージサーバ130、およびクライアントPC111を有する構成としているがこれに限定されない。例えば、MFP110がクライアントPC111またはMFP連携サーバ120の役割を兼ね備えてもよい。また、MFP連携サーバ120がインターネット上ではなくLAN上のサーバに配置されている接続形態であってもよい。また、クラウドストレージサーバ130はメールサーバなどに置き換えて、スキャンした画像をメールに添付し送信してもよい。
[MFPのハードウェア構成]
図2は、MFP110のハードウェア構成を示すブロック図である。MFP110は、制御部210、操作部220、プリンタ221、スキャナ222、モデム223を有する。
制御部210は、以下の各部211~219で構成され、MFP110全体の動作を制御する。CPU211は、ROM212に記憶された様々な制御プログラム(図4の機能構成図で示す各種機能に対応するプログラム)を読み出して実行する。RAM213は、CPU211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施形態では1つのCPU211が1つのメモリ(RAM213またはHDD214)を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のCPUや複数のRAMまたはHDDを協働させて各処理を実行してもよい。HDD214は、画像データや各種プログラムを記憶する大容量記憶部である。
操作部I/F215は、操作部220と制御部210とを接続するインタフェースである。操作部220には、表示部としても機能するタッチパネル、およびキーボードなどが備えられており、ユーザによる操作/入力/指示を受け付ける。なお、タッチパネルへのタッチ操作には、人の指による操作やタッチペンによる操作が含まれる。
プリンタI/F216は、プリンタ221と制御部210とを接続するインタフェースである。印刷用の画像データはプリンタI/F216を介して制御部210からプリンタ221へ転送され、紙等の記録媒体上に印刷される。
スキャナI/F217は、スキャナ222と制御部210とを接続するインタフェースである。スキャナ222は、不図示の原稿台やADF(Auto Document Feeder)にセットされた原稿を光学的に読み取ってスキャン画像を生成し、スキャナI/F217を介して制御部210に入力する。スキャナ222が読み取って生成されたスキャン画像のデータは、プリンタ221で印刷したり(コピー出力)、HDD214に保存したり、LANを介してMFP連携サーバ120等の外部装置にファイル送信したりすることができる。
モデムI/F218は、モデム223と制御部210とを接続するインタフェースである。モデム223は、PSTN上のファクシミリ装置(不図示)との間で画像データをファクシミリ通信する。
ネットワークI/F219は、制御部210(MFP110)をLANに接続するインタフェースである。MFP110は、ネットワークI/F219を用いて、スキャン画像のデータをMFP連携サーバ120に送信したり、MFP連携サーバ120から各種データを受信したりする。以上説明したMFP110のハードウェア構成は一例であり、必要に応じてその他の構成を備えるものであってもよいし、一部の構成を有していなくてもよい。
[MFP連携サーバ、クライアントPCのハードウェア構成]
図3は、MFP連携サーバ120、クラウドストレージサーバ130、およびクライアントPC111のハードウェア構成を示すブロック図である。MFP連携サーバ120、クラウドストレージサーバ130、およびクライアントPC111は、CPU311、ROM312、RAM313、HDD314、及びネットワークI/F315を有する。CPU311は、ROM312に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。RAM313は、CPU311の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD314は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークI/F315は、制御部310をインターネットに接続するインタフェースである。MFP連携サーバ120、クラウドストレージサーバ130、及びクライアントPC111は、ネットワークI/F315を介して他の装置(MFP110など)から様々な処理の要求を受け、当該要求に応じた処理結果を返す。
[画像処理システムの機能構成]
図4は、本実施形態に係る、画像処理システムの機能構成を示すブロック図である。以下、画像処理システムを構成するMFP110及びMFP連携サーバ120のそれぞれの役割に対応した機能構成を順に説明する。なお、以下では、各装置が有する諸機能のうち、文書をスキャンして電子化(ファイル化)し、クラウドストレージサーバ130に保存を行うまでの処理に関わる機能に絞って説明を行うものとする。
[MFPの機能構成]
MFP110は、情報処理装置の機能も含まれ、ネイティブ機能部410および追加機能部420の2つ機能モジュールを有する。ネイティブ機能部410は、MFP110に標準的に備えられたアプリケーションであるのに対し、追加機能部420は、MFP110に追加的にインストールされたアプリケーションである。追加機能部420は、Java(登録商標)をベースとしたアプリケーションであり、MFP110への機能追加は容易に実現される。なお、MFP110には図示しない他の追加アプリケーションがインストールされていてもよい。
ネイティブ機能部410は、スキャン実行部411およびスキャン画像管理部412を有する。また、追加機能部420は、表示制御部421、スキャン制御部422、連携サービスリクエスト部423、および画像処理部424を有する。
表示制御部421は、各種のユーザ操作を受け付けるためのユーザインタフェース画面(UI画面)を、操作部220のタッチパネルに表示する。各種のユーザ操作には、例えば、MFP連携サーバ120へアクセスするためのログイン認証情報の入力、スキャン設定、スキャンの開始指示、ファイル名設定、ファイルの保存指示などがある。
スキャン制御部422は、UI画面を介して行われたユーザ操作(例えば「スキャン開始」ボタンの押下)に応じて、スキャン設定に基づくスキャン処理の実行をスキャン実行部411に指示する。
スキャン実行部411は、スキャン制御部422からのスキャン処理の実行指示に従い、スキャナI/F217を介してスキャナ222に文書の読み取り動作を実行させ、スキャン画像を生成する。
スキャン画像管理部412は、生成されたスキャン画像のデータをHDD214に保存する。このとき、保存されたスキャン画像を一意に示すスキャン画像識別子の情報が、スキャン制御部422へ通知される。スキャン画像識別子は、MFP110においてスキャンした画像をユニークに識別するための番号、記号、およびアルファベットなどである。スキャン制御部422は、例えば上記のスキャン画像識別子を使って、ファイル化する対象のスキャン画像のデータをスキャン画像管理部412から取得することができる。そして、ファイル化のために必要な処理の要求をMFP連携サーバ120に対して行うよう、連携サービスリクエスト部423に対して指示する。
連携サービスリクエスト部423は、MFP連携サーバ120に対して各種処理の要求を送信したり、その要求のレスポンスを受信したりする送信手段または受信手段として機能する。各種処理には、例えば、ログイン認証、スキャン画像の解析、スキャン画像の送信などが含まれる。MFP連携サーバ120とのやり取りはRESTやSOAPなどの通信プロトコルを使用される。画像処理部424は、スキャン画像に対し所定の処理を行う。なお、MFP110とは異なる装置(クライアントPC111などの情報処理装置)が、上述の追加機能部420等によって実現される一部の機能を備えていてもよい。
MFP110の機能部は、MFP110のROM212またはHDD214に記憶されているプログラムを、CPU211がRAM213に読み出し、実行することで実現される。
また、クライアントPCにおいて分割方法の選択等を行うためのプログラム(モジュール)は、クライアントPCに予めインストールしておくように構成してもよいが、これに限るものではない。例えば、クライアントPCが備える汎用のウェブブラウザを利用して、ファイル名等の設定を行うためのウェブアプリケーションをMFP連携サーバ120から取得して実行するように構成してもよい。
[サーバ装置の機能構成]
MFP連携サーバ120の機能構成について図4を用いて説明する。MFP連携サーバ120は、リクエスト制御部431、画像処理部432、ストレージサーバアクセス部433、データ管理部434、および表示制御部435を有する。
リクエスト制御部431は、外部装置からの要求を受信する受信部としても機能し、外部装置からの要求を受信できる状態で待機している。そしてリクエスト制御部431は、受信した要求内容に応じて、画像処理部432、ストレージサーバアクセス部433、データ管理部434、表示制御部435に対し所定の処理の実行を指示する。たとえばMFP110からのログイン要求に応じてログイン処理が行われるように制御する。
画像処理部432は、MFP110から送られてくるスキャン画像に対して、文字列領域の検出処理、文字認識処理(Optical Character Recognition処理またはOCR処理)を行う。さらに、今回スキャンして得られたスキャン画像と類似する登録済みの過去のスキャン画像を決定する類似帳票判別等の解析処理、ページ単位のスキャン画像群を所定のページ数で分割する処理を行う。他にも、回転や傾き補正といった画像加工処理を行う。類似帳票判別および分割の詳細は後述する。また、対象となる文書として、見積書や請求書といった帳票を例に説明を行うことにし、その帳票をスキャンして得られたスキャン画像を帳票画像と呼ぶ場合がある。
ストレージサーバアクセス部433は、クラウドストレージサーバ130に対する処理の要求(リクエスト)を行う。クラウドストレージサーバ130では、RESTやSOAPなどのプロトコルを用いてクラウドストレージサーバ130内にファイルを保存したり、保存したファイルを取得したりするための様々なインタフェースを公開している。ストレージサーバアクセス部433は、公開されたインタフェースを使用して、クラウドストレージサーバ130に対する要求を行う。
データ管理部434は、MFP連携サーバ120で管理するユーザ情報、画像の解析結果情報、各種設定データ等をHDD等に保管して管理する。
表示制御部435は、MFP110、インターネット経由で接続されたクライアントPC111、またはモバイル端末(不図示)に画面表示に必要な画面情報を送信することでその画面が表示されるように制御する。例えば、表示制御部435は、クライアントPC111、またはモバイル端末(不図示)で動作しているウェブブラウザからの要求を受けて、画面表示に必要な画面情報(HTML、CSS等)を返す。ユーザは、ウェブブラウザ等によって表示される画面経由で、登録されているユーザ情報の確認、スキャン設定の変更、未分割のスキャン画像に対応するジョブの確認、分割ページの選択、送信処理の実行を指示できる。
[全体の処理の流れ]
図5Aおよび図5Bは、MFP110で帳票をスキャンし、スキャンの結果得られたスキャン画像をファイル化してストレージサーバに保存する際の、装置間の処理の流れを示すシーケンス図である。図5Aおよび図5Bをまとめて図5とよぶことがある。以下、図5のシーケンス図に沿って、装置間のやり取りを時系列に説明する。なお、以下の説明において記号「S」はステップを表す。
S501においてMFP110の表示制御部421は、MFP連携サーバ120にアクセスするためのログイン認証の情報を入力する不図示のUI画面(以下、「ログイン画面」と表記)をMFP110の操作部220に表示する。
S502では、予め登録されているユーザIDとパスワードをログイン画面上の入力欄にそれぞれユーザが入力し「ログイン」ボタンを押下すると、ログイン認証の要求がMFP連携サーバ120に送信される。
S503においてログイン認証の要求を受けたMFP連携サーバ120は、当該要求に含まれるユーザIDおよびパスワードを用いて認証処理を行う。認証処理の結果、正規のユーザであることが確認されれば、MFP連携サーバ120は、アクセストークンをMFP110に返す。以後、MFP110からMFP連携サーバ120に対して行う各種要求の際にこのアクセストークンを一緒に送ることで、ログイン中のユーザが特定される。本実施形態では、MFP連携サーバ120へのログインの完了によって、クラウドストレージサーバ130へのログインも同時に完了するものとする。このためにユーザは、インターネット上のPCのウェブブラウザ等を介して、MFP連携サービスを利用するためのユーザIDとストレージサービスを利用するためのユーザIDとの紐づけを予め行っておく。これにより、MFP連携サーバ120へのログイン認証に成功すれば同時にクラウドストレージサーバ130へのログイン認証も完了し、クラウドストレージサーバ130にログインするための操作を省略できる。そして、MFP連携サーバ120においては、自装置にログインしたユーザからのストレージサービスに関する要求にも対応可能となる。なお、ログイン認証の方法は一般的に公知な手法(Basic認証、Digest認証、OAuthを用いた認可等)を用いて行えばよい。
S504においてMFP110の表示制御部421は、ログイン処理が完了したら、アプリケーションを選択可能なUI画面(以下、「メイン画面」と表記)を操作部220に表示し、MPF110が利用できるアプリケーションをメイン画面に表示する。
図6(a)は、メイン画面の一例を示す図である。帳票をスキャンしてファイル化し、クラウドストレージサーバに保存するための専用のアプリケーションがMFP110にインストールされることで、メイン画面610上に専用アプリケーションを開始するためのボタンが表示されるようになる。
S505において、ユーザがメイン画面610でスキャンアプリ611を押下すると、連携サービスリクエスト部423は、スキャンアプリ起動の要求をMFP連携サーバ120に送信する。MFP連携サーバ120は、ログインユーザが利用できるスキャン処理のボタン選択画面を表示するために必要な情報をMFP連携サーバ120のHDDから取得し、MFP110に送信する。
S506においてMFP110の表示制御部421は、MFP連携サーバ120から受信した情報に基づきスキャンボタン選択画面を操作部220に表示する。
図6(b)は、スキャンボタン選択画面600の一例を示す図である。図6(b)のボタン601~602は、MFP連携サーバ120に登録されているスキャンボタンのうち、ログインユーザが利用できるボタンである。ユーザは、スキャンボタン登録画面1000(図10参照)を介して、スキャンに関する設定をスキャンボタン選択画面600のボタンに関連付けて登録することができる。登録された設定は、あらかじめMFP連携サーバ120のHDDに登録しておくことができる。以下の各ステップでは、ユーザがボタン601を選択したものとして説明をする。
S507において、ユーザがボタン601を選択すると、連携サービスリクエスト部423は、選択されたボタン601にデフォルトで設定されているスキャン設定の送信の要求をMFP連携サーバ120に対して行う。MFP連携サーバ120は、スキャン設定の送信要求に対して、選択されたボタン601のデフォルトのスキャン設定、およびスキャン設定画面の表示に必要な情報をMFP連携サーバ120のHDDから取得してMFP110に送信する。
S508においてMFP110の表示制御部421は、MFP連携サーバ120から受信した情報に基づきスキャン設定画面をMFP110の操作部220に表示する。
図7は、スキャン設定画面700の一例を示す図である。スキャンボタン701はスキャンの実行を指示するためのボタンである。設定領域702は、カラー、解像度、画質、両面、原稿サイズ混載、濃度、原稿サイズなどの現在のスキャン設定が表示される領域である。設定領域702に表示されているスキャン設定を選択することで、変更するスキャン設定が受け付けられる。ボタン705はスキャンボタン選択画面600に戻るボタンである。
S509で、ユーザがスキャンボタン701を押すと、原稿台ガラスまたはADFに置かれたスキャン対象の紙帳票に対してスキャナ222はスキャンを実行する。そして、スキャン実行部411は、スキャンされた紙帳票を読み取って得られたスキャン画像のデータを生成する。原稿台ガラスで複数枚の帳票をスキャンする場合は、次にスキャンする帳票に置き換えて、スキャンボタン701ボタンを押すことで複数枚の帳票を連続してスキャンすることができる。
スキャンを実行した結果、スキャン設定画面700のプレビュー領域703には、スキャンされた帳票のプレビューが表示される。ボタン群704は、プレビュー領域703に表示される画像のページ送り、ページ回転、ページ削除、ページの追加(追加のスキャン)を行うためのボタン群である。次へボタン706はプレビュー表示されているスキャン画像に対する処理を次に進めるボタンである。
S510で、次へボタン706が押下されると、MFP110の表示制御部421は、スキャン処理中画面をMFP110の操作部220に表示する。
S511においてMFP110の連携サービスリクエスト部423は、S509のスキャンによって得られたスキャン画像を、そのスキャン画像の解析要求と共にMFP連携サーバ120に送信する。
S512では、MFP連携サービスへスキャン画像と解析要求の送信が正常に終了すると、MFP110の表示制御部421はMFP連携サーバ120への送信が完了したことを示すメッセージを表示する。ここでMFP110におけるユーザの操作は完了する。
S513において、スキャン画像の解析要求をMFP110から受信すると、MFP連携サーバ120の画像処理部432は、スキャン画像に対する画像解析を開始する。
画像処理部432は、S513の解析処理において、解析対象となるスキャン画像内に存在する文字列領域を検出する処理を行う。文字列領域の検出は、例えば、ある閾値で2値化を行った画像から文字と推測される矩形領域を抽出する方法など既知の方法を適用すればよい。次に、画像処理部432は、検出された文字列領域に対して、文字認識処理(OCR:Optical Character Recognition)を行う。
そして、解析対象のスキャン画像の特徴と、学習データとして登録されているスキャン画像の特徴と比較して類似するか決定する処理(帳票判別処理)を行う。学習データとして登録されているスキャン画像は過去にスキャンされた帳票のスキャン画像であり、学習データとして登録されている過去のスキャン画像に対応する帳票を登録帳票とよぶ。登録済みの過去のスキャン画像の情報として、そのスキャン画像の特徴情報が保存されている。帳票判別処理では、今回スキャンして得られたスキャン画像と類似する過去のスキャン画像が学習データにあるかが決定されることになる。そして、MFP連携サーバ120は、解析の結果得られた解析対象のスキャン画像の情報である解析結果情報をMFP連携サーバ120のHDDに保存する。なおS513の解析処理の詳細については後述する。
S514においてMFP連携サーバ120の画像処理部432は、分割処理を行う。なお、本ステップの詳細は後述するが、S514で分割処理ができなかった場合は、ユーザの指示に基づき分割ページが決定されてS521で分割処理が実行される。
図5Bは、図5Aで説明したステップ以後のステップからクラウドストレージサーバ130へファイル化されたスキャン画像を送信するまでのステップを説明するための図である。図5BにおけるクライアントPC111の処理は、クライアントPCのCPUがROMまたはHDDに記憶されているプログラムコードをRAMに読み出しし実行することにより行われるものとして説明する。他にも、ステップの一部または全部の機能をASICや電子回路等のハードウェアで実現してもよい。なお、クライアントPC111は不図示の表示装置と接続されておいるものとし、その表示装置に後述する画面が表示されるものとする。クライアントPC111のCPUは表示装置に表示される画面を制御する表示制御部としても機能する。
S515においてクライアントPC111のCPUは、スキャン済み帳票一覧画面の表示に必要な情報の送信をMFP連携サーバ120に要求する。本ステップは、ユーザがクライアントPC111のブラウザなどを用いてMFP連携サーバ120にアクセスすることで行われる。MFP連携サーバ120は、どのユーザのスキャン済み帳票一覧画面の情報を送信するか決定するために、S501~S503と同様のログイン処理が行われることでユーザを特定してもよい。または、MFP連携サーバ120は、ユーザを一意に決定する専用のURLをメールなどでクライアントPC111に送信し、そのURLからアクセスさせることでユーザを特定してもよい。MFP連携サーバ120は、クライアントPC111からの要求を受信すると、スキャン済み帳票一覧画面表示に必要な画面情報、S513の解析結果、および分割の結果をクライアントPC111に送信する。
S516においてクライアントPC111のCPUは、MFP連携サーバ120から受信したスキャン済み帳票一覧画面を表示するために必要な情報に基づき、スキャン済み帳票一覧画面を表示する。
図8は、スキャン済み帳票一覧画面800の一例を示す図である。スキャン済み帳票一覧画面800には、送信待ちタブ801と分割待ちタブ802が含まれており、ユーザは何れかのタブを選択することでスキャン済み帳票一覧画面800に表示される内容を切り替えることができる。なお、後述するが、S514で分割処理が行われた場合は、分割待ちタブ802にはジョブが表示されず、スキャン済み帳票一覧画面800には送信待ちタブ801にのみジョブが表示されることがある。
図8(a)は、S514で分割処理が行われなかった場合に表示されるスキャン済み帳票一覧画面800の例であり、分割待ちタブ802が選択されている場合のスキャン済み帳票一覧画面800の図である。分割待ちタブ802には、分割されなかったスキャン画像の情報が表示される。
未分割ジョブリスト807は、未分割のページ単位のスキャン画像群のジョブを一覧で表示する領域である。未分割ジョブリスト807内の行813~815は、未分割のスキャン画像に対応するジョブを表示する領域である。各行813~815には、帳票を一度にまとめてスキャンして得られたスキャン画像群ごとにジョブが表示される。
列808~812には、未分割ジョブリスト807に表示される項目が表示される。
列808には、チェックボックスが表示される。列808のチェックボックスにチェックをつけることでユーザは未分割ジョブリスト807からジョブを選択できる。また未分割ジョブリスト807の一番上のチェックボックスは、未分割ジョブリスト807に表示されている全てのジョブの選択または解除を一括で行うためのチェックボックスである。複数のジョブに対して、まとめて分割位置の確定または削除等の処理を行う際には、一番上のチェックボックスにチェックがされる。
列809には、ジョブ情報が表示される。ジョブ情報には、ページ単位のスキャン画像群の1ページ目のサムネイル画像、総ページ数、現在の分割ページ候補で分割を実行した場合のファイル数(文書数)などが表示される。
列810には、スキャン日時が表示される。列811には、未分割ジョブリストに入った理由が表示される。列812には、ユーザがスキャンする際に選択した図6(b)のスキャンボタンの名称が表示される。
削除ボタン805は、未分割ジョブリスト807に表示されているジョブのうち、チェックボックスにチェックして選択されたジョブ(スキャン画像)を削除するためのボタンである。更新ボタン806は、S515の要求を再度送信して最新のスキャン済み帳票一覧画面800を表示するために必要な情報を取得して表示するためのボタンである。後から追加したスキャン画像など、まだスキャン済み帳票一覧画面800に表示されていないスキャン画像(ジョブ)がある場合に押下される。
分割位置確定ボタン803は、MFP連携サーバ120によって分割ページが決定された場合は、その決定された分割ページでページ単位のスキャン画像群を分割し、別々の文書としてファイル化するためのボタンである。
送信待ちタブ801には、クラウドストレージサーバ130への送信前のファイル化されたスキャン画像が表示される。送信待ちタブ801には、例えば、送信先、ファイル名などの設定変更が可能な場合は、ファイル化されたスキャン画像が表示される。分割位置設定ボタン804の説明は後述する。
S517~S526は、S514で分割処理が行われなかった場合にユーザが分割ページを選択して分割を指示するための処理である。S514で分割が行われた場合は、S517~S526はスキップされる。
S517は、ユーザが未分割ジョブリスト807に含まれる何れかのジョブを選択状態にして分割位置設定ボタン804を押した場合の処理である。分割位置設定ボタン804は、後述する分割位置設定画面900(図9参照)に遷移するためボタンである。分割位置設定画面900では、ユーザは、ページ単位のスキャン画像群のうちどのページ(分割ページまたは分割位置とよぶ)のスキャン画像で分割するかを指定する。または、MFP連携サーバ120によって分割ページが決定されている場合は、その決定された分割ページを確認ができる。S517においてクライアントPC111のCPUは、分割位置設定ボタン804の押下を受け付けると、選択されたジョブの分割位置確認画面の表示に必要な情報の要求をMFP連携サーバ120へ送信する。例えば、図8(a)のスキャン済み帳票一覧画面800の場合、未分割ジョブリスト807には行813内のチェックボックスにチェックがされているため、行813に表示されているジョブのスキャン画像が選択されたことを示す。
MFP連携サーバ120は、S517の要求を受信すると、選択されたジョブのスキャン画像群を構成する各ページのスキャン画像のデータなど、分割位置設定画面の表示に必要な画面情報をクライアントPC111に送信する。
S518においてクライアントPC111のCPUは、MFP連携サーバ120から受信した画面情報に基づき分割位置設定画面900を表示する。
図9は、分割位置設定画面900の一例を示す図である。図9(a)は、図8(a)の行813に表示されているジョブが選択された状態で、分割位置設定ボタン804が押下された場合に表示される分割位置設定画面の一例である。図9(a)の分割位置設定画面900は、MFP連携サーバ120によって分割ページが一つも決定されていない場合の分割位置設定画面の一例を示している。
図9(a)を用いて分割位置設定画面900の説明を行う。分割位置確定ボタン901は、スキャン済み帳票一覧画面800の分割位置確定ボタン803と同様に分割ページを確定するボタンである。キャンセルボタン902は分割位置設定をキャンセルしスキャン済み帳票一覧画面800に戻るボタンである。
領域903は、現在選択されている分割ページを基準にしてページ単位のスキャン画像群を分割してファイルを生成した場合に、生成される文書(ファイル)数を表示する領域である。領域904は選択されたジョブに対応するスキャン画像群の総ページ数を表示する領域である。
ファイル詳細領域906は現在選択されている分割ページを基準とした場合に1つのファイルのまとまりを表示する領域である。図9(a)にあるとおり、分割ページが選択されていない場合は、ジョブに対応するスキャン画像群を1つのファイルとした場合のファイル情報が表示される。プレビュー領域905は、ファイル詳細領域906に含まれる領域であり、ファイル詳細領域906に対応するファイルに含まれる各ページのスキャン画像のプレビューを表示する領域である。ユーザはプレビュー領域905の各ページのプレビューのうち、分割ページとするスキャン画像のプレビュー画像をクリックすることで分割ページを選択できる。分割ページが選択されると、分割ページの前で分割してファイルが生成されるように分割の設定が行われる。
図9(b)は、図9(a)においてユーザによって分割ページ(分割位置)が選択された後の分割位置設定画面900を示す例である。図9(b)では、ユーザが、総ページ数が10ページのスキャン画像群に対して、3ページ目、7ページ目、9ページ目を分割ページとして選択した場合の画面を表している。このため、この分割ページでファイルを生成した場合のそれぞれのファイル(分割文書)の詳細情報を表示するために、図9(b)では、ファイル詳細領域907~909が複数表示されている。ファイル詳細領域907は1つ目の分割文書のまとまりを示す領域である。図9(a)とは異なりページ数は2ページになっていることがわかる。ファイル詳細領域908は2つ目の分割文書のまとまりを示す領域である。ファイル詳細領域909は3つ目の分割文書のまとまりを示す領域である。4つ目の文書のまとまりはこの例では画面内に収まらず表示されていないが、スクロールバー910をスライドすることで表示することができる。
S519の処理は、図9(b)のように分割ページが選択された状態で分割位置確定ボタン901が押下された場合の処理である。S519においてクライアントPC111のCPUは、ユーザが分割位置確定ボタン901を押下する操作をすると、選択された分割ページに基づく分割実行の要求をMFP連携サーバ120に送信する。この時、ユーザが選択した分割ページの情報も一緒に送信される。
S520においてクライアントPC111のCPUは、分割実行の要求を送信すると、分割処理中画面を不図示の表示装置に表示する。
S521においてMFP連携サーバ120は、選択された分割ページを基準に、ページ単位のスキャン画像群を分割してファイルを生成する。
S522においてMFP連携サーバ120のデータ管理部434は、S521で分割して得られたファイルごとに、表紙ページの特徴情報を学習データとしてMFP連携サーバ120のHDDに保存する。表紙ページの特徴情報は、次回以降、分割ページの候補を決定するために用いられる。保存される情報は図10に示すスキャンボタンの分割設定に応じて内容が変わるため詳しくは後述する。分割処理が完了すると、MFP連携サーバ120は、処理の完了通知をクライアントPC111に送信する。
S523においてクライアントPC111のCPUは、分割処理の完了通知を受信すると、スキャン済み帳票一覧画面の表示に必要な情報の送信を再度要求する。MFP連携サーバ120は、分割文書のファイルの情報、および未分割ジョブの情報をクライアントPC111に送信する。
S524においてクライアントPC111のCPUは、再びスキャン済み帳票一覧画面800を表示する。分割位置確定ボタンが押下されたことにより、図8(a)の未分割ジョブリスト807の行813のスキャン画像が分割ページを基準に分割されたとする。この場合、分割待ちタブ802の未分割ジョブリスト807リストには行813のジョブは表示されなくなる。
図8(b)は、分割処理実行後のスキャン済み帳票一覧画面800の一例を示す図である。ジョブリスト819は、ページ単位のスキャン画像群を分割して生成された分割文書のファイルのリストであり、送信待ちのファイルである。送信待ちタブ801の行823~826は、図8(a)の行813に表示されていたスキャン画像が分割されて生成されたファイルの内容を示している。列820~822は送信待ちジョブリスト819に表示される項目が表示される。列820にはチェックボックスが表示される、チェックボックスは、分割待ちタブ802の列808同様にジョブリスト819に含まれるジョブ(ファイル)を選択状態または選択解除にするために使用される。列821は、ファイルの情報を表示する列である。1ページ目のサムネイル画像、ファイル名、ページ数などを表示する。列822は、スキャン日時を保持する列である。1つのスキャンジョブに対応するスキャン画像から分割して得られたファイルは、同じスキャン日時となる。
送信ボタン816は、選択中の送信待ちジョブをクラウドストレージサーバ130に送信する指示をするボタンである。削除ボタン817は選択中の送信待ちジョブを削除するボタンである。更新ボタン818は、更新ボタン806と同様に、最新のスキャン済み帳票一覧を再取得するためのボタンである。
プロパティ表示エリア827は、選択中のファイルのプロパティ情報を表示するエリアである。送信先、ファイル名、総ページ数、スキャン日時などを表示する。プロパティ表示エリア827に表示されるジョブプロパティに基づき、送信先またはファイル名を変更できるようにしてもよい。また、スキャン画像に対する文字認識結果を使用したフォルダ名またはファイル名の設定ができるようにしてもよい。
S525においてクライアントPC111のCPUは、送信待ちジョブリスト819における選択されたファイルをクラウドストレージサーバ130へ送信する指示を、MFP連携サーバ120に送信する。本ステップでは、ユーザが送信待ちジョブリスト819のファイルを選択して送信ボタン816の押下したことを受け付けることに応じて行われる。この時、プロパティ表示エリア827で変更したデータある場合は一緒に送信される。
S526でクライアントPC111のCPUは、送信中のメッセージを表示装置に表示する。
S527においてMFP連携サーバ120は、送信実行の指示を受けると、送信要求を受けた分割文書のファイル名など変更されたプロパティ情報を更新する。そして指定されたクラウドストレージサーバ130に生成したファイルを送信する。その後、MFP連携サーバ120は、クラウドストレージサーバ130から正常にファイルの保存が完了したという通知を受信すると、クライアントPC111に送信が完了したことを通知する。
S528においてクライアントPC111のCPUは、送信完了の通知を受信すると、送信が完了したことを示す不図示のメッセージを不図示の表示装置に表示する。
以上のように、MFP110で複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を、決定した分割ページに基づき分割してファイルを生成する。生成されたファイルはクラウドストレージサーバ130に保存することができる。
[分割設定の登録について]
図10は、スキャンボタン設定画面の一例を示す図である。図10のスキャンボタン登録画面1000は、MFP110で使用されるボタン601、602に関連付ける各種設定の内容を登録する画面である。ユーザはクライアントPC111のブラウザなどを用いて、MFP連携サーバ120にアクセスして、スキャンボタン登録画面1000をクライアントPC111に接続された表示装置に表示させることができる。スキャンボタン登録画面1000では、スキャン設定、MFP連携サーバ120で行う分割処理の設定、ファイル形式および送信先の設定をボタン601、602単位で生成できる。生成された設定はスキャンボタンと関連付けてMFP連携サーバ120のHDDに保存しておくことができる。
入力フィールド1001はスキャンボタンのボタン名を定義する入力フィールドである。
入力フィールド1001に入力されたボタン名は、図6(b)は、スキャンボタン選択画面600に表示されるボタン名として使用される。図10では、ボタン名として「ボタンA」が表示されているため、スキャンボタン選択画面600でボタン601が押下された場合のデフォルト設定の登録を行う画面であることを示している。設定ボタン1002はスキャン設定登録画面(不図示)に遷移するためのボタンである。スキャン設定登録画面(不図示)では、入力フィールド1001のボタン名のボタンが押下された場合の図7の設定領域702に表示されるスキャン設定のデフォルト値を登録することができる。
プルダウン1003は、入力フィールド1001のボタン名のボタンが押下された場合に実行される分割処理の処理方法(分割方法)を登録するためのプルダウンである。分割方法は本実施形態で紹介する「記憶した帳票の位置で分割」以外にも、バーコードのあるページ、白紙ページを基準に分割する方法、任意ページごとに分割する方法など様々な方法を選択することができる。また分割しないことも選択することができる。「記憶した帳票の位置で分割」は、予め基準となるスキャン画像の特徴情報を登録しておいて、登録済みのスキャン画像に類似するページを分割ページ(分割位置)として、ページ単位のスキャン画像群を分割する方法である。
スキャンボタン選択画面600でユーザが選択したボタンに分割方法が登録されている場合、S514で処理が行われることになる。
プルダウン1003で選択した分割方法に対して、オプションとなる処理がある場合は、プルダウン1003の下部に関連する設定を有効にするためチェックボックス等が表示される。図10は「記憶した帳票の位置で分割」が選択された場合の図であり、チェックボックス1004~1006は「記憶した帳票の位置で分割」を選んだ場合に表示される。
チェックボックス1004にチェックされると、「分割候補ページで必ず分割する」の設定が有効になる。「分割候補ページで必ず分割する」の設定は、登録済みの過去のスキャン画像に類似するページのスキャン画像が、ページ単位のスキャン画像群に1つ以上ある場合、ユーザへの分割ページの確認なしに分割処理が実行される設定である。
チェックボックス1005にチェックされると、「帳票毎にページ数を記憶する」の設定が有効になる。「帳票毎にページ数を記憶する」の設定は、今回スキャンして得られたスキャン画像を学習データとして登録する場合にページ数を関連付けて登録する設定である。2ページ、5ページなどページ数が変動しない帳票をスキャンする場合に有用な設定である。例えば、通常2ページで構成される帳票が3ページになっている場合は1ページだけ余分な帳票が紛れ込んでいると考えられる。このため登録済みのスキャン画像にページ数として「2」を関連付けておくことで、登録済みのスキャン画像と帳票フォームが同一の表紙ページをもつ帳票が3ページで構成されている場合、MFP連携サーバ120は、ユーザに確認を促すことができる。
また、登録済みのスキャン画像に類似するページを分割ページとした場合の分割後の各文書(ファイル)のページ数と、登録済みのスキャン画像に関連付けられたページ数とが一致する場合がある。この場合、チェックボックス1005にチェックされていると、ユーザへの分割ページの確認なしに分割を実行する。これにより、ユーザにとって手間となる分割ページの確認作業を減らすことができる。
チェックボックス1006は、チェックボックス1005にチェックされると表示されるチェックボックスである。チェックボックス1006がチェックされると「記憶した帳票ページ数を優先する」の設定が有効になる。「記憶した帳票ページ数を優先する」の設定は、登録済みのスキャン画像に関連付けられたページ数を優先して分割する設定である。例えば、登録済みのスキャン画像にページ数が「2」と関連付けられている場合であって今回スキャンされた帳票のページ数が3と決定されたとする。この場合、登録済みのスキャン画像に関連付けられたページ数を優先するため、3ページ目の帳票は新規帳票であるとみなして分割ページが決定される。チェックボックス1004~1006にチェックしたことによる「記憶した帳票の位置で分割」での分割処理の違いは後述の図11で詳しく説明する。
領域1007、1009、1011および設定ボタン1008、1010、1012はクラウドストレージサーバ130に保存する際の設定をユーザが登録するために用いられる。
領域1007は、ファイル化されたスキャン画像を保存するクラウドストレージサーバ130におけるフォルダを表示する領域である。領域1007には現在の設定された保存先が示されており、図10では、クラウドAの「見積書」フォルダに保存される設定となっている。設定ボタン1008は保存先のフォルダを変更する画面(不図示)に遷移するためのボタンである。
領域1009は、スキャン画像から生成されるファイルのデフォルトのファイル名を生成するための定義を表示する領域である。領域1009には現在の設定の状態が示されており、図10では、スキャン日時、任意の文字列、および連番の組み合わせによりデフォルトでファイル名が生成されるように設定されている。スキャン画像内から抽出した文字列などを組み合わせてファイル名を定義することもできる。設定ボタン1010はデフォルトで生成されるファイル名の定義を変更するための画面(不図示)に遷移するためのボタンである。
領域1011は、スキャン画像のデータをファイルに変換する際に、変換後のファイルのデータ形式が表示される領域である。領域1011には現在の設定が表示されており、図10ではPDFでファイルが生成される設定となっている。設定ボタン1012はファイル形式の設定を変更する画面(不図示)に遷移するためのボタンである。
キャンセルボタン1013は、スキャンボタン設定の登録をキャンセルするためのボタンである。保存ボタン1014は、入力フィールド1001に入力されたボタン名のスキャンボタンの各種設定を確定し、MFP連携サーバ120のHDDに保存するボタンである。このように、スキャンボタン毎に、スキャンされる帳票の種類および性質に合わせてスキャン設定、分割処理の設定、ファイル送信設定等を関連付けることができる。
[記憶した帳票の位置で分割する方法の比較例について]
図11は、「記憶した帳票の位置で分割」による分割の比較例を説明するための図である。図11(a)は登録済みの過去のスキャン画像を表す図である。図11(a)では、3種類の登録済みのスキャン画像の特徴情報として、夫々の種類の帳票の1ページ目(表紙ページ)の文字列領域の配置情報が登録されている。
図11(b)は、3枚で構成される第1の帳票、4枚で構成される第2の帳票、2枚で構成される第3の帳票の3種類の帳票をまとめてスキャンして得られた9ページのスキャン画像群を表している。「記憶した帳票の位置で分割」する分割方法では、各ページの特徴と、登録済みのスキャン画像の特徴とが類似しているかが判定される。そして、1ページ目、4ページ目、9ページ目のスキャン画像は、類似する登録済みのスキャン画像(類似帳票とよぶ)があると判定されたとする。この場合、類似帳票が見つかったページ(分割ページ)から次に類似帳票が見つかったページ(分割ページ)の前のページまでを分割してファイルが生成される。このように「記憶した帳票の位置で分割」する分割方法では、複数種類の帳票をまとめてスキャンしても、その結果得られたスキャン画像群を帳票の種類ごととなるように分割して、帳票の種類ごとにファイルを生成できる。
図11(c)は、3枚で構成される第1の帳票、4枚で構成される第2の帳票、2枚で構成される第3の帳票の3種類に加えて、1枚の第4の帳票の4種類の帳票をまとめてスキャンして得られた10ページのスキャン画像群を表している。第4の帳票と同一フォームの帳票は過去にスキャンされたことがない新規帳票であるものとする。
図11(c)のように今回スキャンされる帳票群に、新規帳票が紛れていることがある。この場合、図11(b)の比較例の場合と同じように類似帳票が見つかったページを分割ページと決定して分割処理を実行すると、新規帳票のページが他の帳票の一部としてファイル化されるように分割されてしまう。このため、新規帳票がある場合は、スキャン対象の帳票の先頭を新規帳票とすることで、新規帳票を判別することも考えられる。しかしその方法では、ユーザが毎回、新規帳票があるかを調べて、新規帳票を先頭にしてスキャンしなければならず、ユーザの手間が発生してしまう。特に、複数のユーザが利用するMFPにおいては、各ユーザが他のユーザによってスキャンされていない新規帳票があるかを把握することは難しい。
単純な回避策として、決定された分割ページが間違っていないかをユーザに確認するステップを導入することが考えられる。しかしながら、確認するステップを導入した場合、分割ページが正しいか間違っているかに関係なく、ユーザが確認するステップが発生し、ユーザにとっては手間となる。
そこで本実施形態では、登録済みのスキャン画像の特徴情報にページ数を関連付けて管理することで、ユーザの手間を低減させる方法を説明する。
[スキャン画像の解析処理]
図12は、本システムにおけるMFP連携サーバ120の画像処理部432が行う解析処理の詳細を示すフローチャートである。各処理はMFP連携サーバ120のROMまたはHDDに保存されているプログラムを、CPUがRAMに読み出し、実行することで実現される。図12は、図5におけるS513の解析処理の詳細を示した図である。
今回の解析対象のスキャン画像群は、複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群であるものとして説明する。複数種類の帳票のうちの各帳票は、1枚で構成される帳票であることもあるし、複数枚で構成される帳票であることもある。
S1200では、S509で複数種類の帳票をスキャンして得られた、ページ単位のスキャン画像群のうち解析対象のページのスキャン画像を選択する。解析は1ページ目から順に行われるものとする。次のS1201~S1207は解析対象のページのスキャン画像に対する処理である。S1201~S1207の処理が解析対象のスキャン画像群を構成する全てのページ分が終了するまで繰り返し行われる。
S1201においてMFP連携サーバ120の画像処理部432は、解析対象のページスキャン画像に存在する文字列領域群を検出する。これにより解析対象のページのスキャン画像内に含まれる文字列単位の配置および大きさが特定される。
S1202において画像処理部432は、S1201で検出した全ての文字列領域に対して文字認識処理を行う。
S1203において画像処理部432は、解析対象のページのスキャン画像に対し類似帳票判別処理を実行する。この類似帳票判別処理では、S1201の結果得られた今回の解析対象のページの文字列領域の配置情報と、学習データとして登録されている過去のスキャン画像の文字列領域の配置情報とを比較し、配置が同一又は類似するかを判定する。これは、文字列領域の配置が同一又は類似の関係にあれば、それらは同一の文書フォーム(帳票フォーム)を用いて作成された同種の帳票であると推測できることに基づいている。そして類似した文字列領域の配置を持つ過去のスキャン画像が有れば、その過去のスキャン画像を類似帳票の画像(単に類似帳票と記す)として決定する。
図13は、MFP連携サーバ120内のHDDに保存される登録済みの過去のスキャン画像の情報の一例である。過去に新規帳票がスキャンされた際に、その新規帳票のスキャン画像の情報が登録済みのスキャン画像の情報として保存されている。新規帳票のページを含む複数ページがまとめてファイル化された場合、ファイル化された複数ページのうちの表紙ページ(1ページ目)の情報が登録済みのスキャン画像として情報が保存されている。
列1301には登録済みのスキャン画像の帳票IDを示す値が保持される。帳票IDは登録済みのスキャン画像を一意に示すIDである。複数ページでファイル化された場合は表紙ページに対応するスキャン画像に帳票IDが付与されている。
列1302には登録済みのスキャン画像から得られた文字列領域の配置情報が保持される。複数ページでファイル化された場合は表紙ページに対応するスキャン画像から検出された文字列領域の配置情報が保持される。配置情報はJSON形式などにより、各文字列領域の開始と終了の座標などが保存されている。従って、S1203の類似帳票判別は、今回スキャンして得られたページ単位のスキャン画像群における解析対象のページの配置情報と、夫々の登録済みのスキャン画像の配置情報とを比較することで実行される。類似帳票判別に文字認識処理の結果も使用する場合は、文字認識処理の結果も配置情報と一緒に保持するようにしてもよい。
列1303には登録済みのスキャン画像に対応する文書のページ数が保持される。列1303に保持されるページ数は、列1301の帳票IDが紐づけられた登録済みスキャン画像を表紙ページとして過去に生成されたファイルのページ数である。図10のスキャンボタン登録画面1000で「帳票毎にページ数を記憶する」のチェックボックス1005にチェックして有効にした場合に列1303にページ数が保持される。
図13に示した登録済みのスキャン画像の情報は、以前に新規帳票をスキャンした際に実行された図5のS522の処理の結果としてデータ管理部434によって保存され管理される。このように本実施形態では、帳票の種類ごとの過去のスキャン画像の情報として、その文字列領域の配置情報およびページ数が関連付けて保存されている。
S1204では、S1203の処理の結果、解析対象のページのスキャン画像に類似する登録済みの過去のスキャン画像(類似帳票)が決定されたかが判定される。類似帳票が決定された場合(S1204でYES)、S1205に進む。
S1205において画像処理部432は、決定された類似帳票に関連付けられた列1301の帳票IDを、解析対象のページのスキャン画像に関連付ける。また、決定された類似帳票に関連付けて保存されている情報を取得する。設定情報に分割方法として「記憶した帳票の位置で分割」が登録されている場合であって、列1303に類似帳票に関連付けてページ数が保持されている場合は、そのページ数が取得される。
S1204で類似帳票が決定されなかった場合(S1204でNO)、S1206に進む。S1206において画像処理部432は、解析対象のページのスキャン画像に、類似帳票はなかったことを示す情報を付与する。
S1207において画像処理部432は、解析対象のページが1ページ目の場合は、全ページ分のスキャン画像群の解析結果をまとめて保存するための解析結果情報を生成する。そして、画像処理部432は、これまでのステップで得られた情報に基づき、解析対象のページの情報を、解析結果情報に含める。以上が1ページ分のスキャン画像の解析の処理である。全ページのスキャン画像群の情報が保持された解析結果情報は、MFP連携サーバ120内のHDDに保存される。
図14は、画像処理部432で生成され、MFP連携サーバ120内のHDDに保存される解析結果情報の一例を示す図である。図14の解析結果情報は、「記憶した帳票の位置で分割」の分割方法が選択された場合に生成される解析結果情報の例である
列1401は、複数種類の帳票を今回スキャンして得られたページ単位のスキャン画像群における各ページのページ番号を保持する列である。列1402は、類似帳票が決定されたページのページ番号に、その類似帳票の帳票IDを示す値を保持するための列である。なお後述するが新規帳票と決定されたページにも列1402に帳票IDを示す値が保持される。類似帳票が決定されなかったページには、類似帳票が無いことを示す値(本実施形態では、「なし」)が保持される。列1403は、類似帳票が決定された場合で、かつ、図13の登録済みのスキャン画像の情報において、その類似帳票の帳票IDにページ数が関連付けて保持されている場合、その保持されているページ数が保持される。列1403に保持されたページ数を正しいページ数とよぶことがある。列1404に保持される値については後述する。
[「記憶した帳票の位置で分割」による分割処理]
図15は、本システムにおけるMFP連携サーバ120の画像処理部432がS514で行う分割処理の詳細を示すフローチャートである。分割処理は、ページ単位のスキャン画像群に対する処理であるため、ページ単位のスキャン画像群でない場合、S514はスキップされるため本フローチャートの処理は行われない。なおページ単位のスキャン画像群のうちの1つのスキャン画像を単にページとよぶことがある。
また本フローチャートは図5におけるS514の分割処理のうち、「記憶した帳票の位置で分割」が選択されている場合の分割処理を説明するものである。例えば、MFP連携サーバ120の画像処理部432は、本フローチャートを開始する前に、今回のスキャンにおける設定に基づき、選択されている分割方法を確認する。その結果、「記憶した帳票の位置で分割」が選択されている場合、図15のフローチャートの処理がS514で行われる。
S1501において画像処理部432は、今回スキャンして得られたページ単位のスキャン画像群のうち、何れかの登録済みのスキャン画像と類似するページが含まれているかを判定する。即ち、今回スキャンして得られたページ単位のスキャン画像群のうち類似帳票が決定されたページがあるかが判定される。
図14の解析結果情報の類似帳票の帳票IDを保持する列1402に帳票IDを示す値が1つも保持されていない場合、即ち、列1402の各セルに全て「なし」が保持されている場合、S1501はNOと判定される。類似帳票が決定されたページが無い場合(S1501がNO)、本フローチャート終了する。即ち、S514ではスキャン画像を分割してファイルを生成する処理は実行されないことになる。
図14の解析結果情報の列1402に類似帳票の帳票IDが1つ以上ある場合は、類似帳票が決定されたページが含まれると判定される。類似帳票が決定されたページが含まれる場合(S1501がYES)、S1502に進む。
S1502において画像処理部432は、ページ単位のスキャン画像群のうち類似帳票が決定されたページにおいて、その決定された類似帳票にページ数が関連付けて保存されているか判定する。以前にスキャンされた際に用いられた設定が、図10のチェックボックス1005にチェックされておらず「帳票毎にページ数を記憶する」の設定が有効で無かった場合は、類似帳票に関連付けてページ数は保存されていない。この場合、図13の登録済みのスキャン画像の情報に含まれる列1303にはページ数を示す値は保持されない。即ち、図14の解析結果情報に列1402に類似帳票の帳票IDを示す値が保持されている場合でも、列1403の正しいページ数には値が保持されないことがある。この場合、S1502の判定はNOとなる。
以前にスキャンされた際に用いられた設定が、図10の「帳票毎にページ数を記憶する」の設定が有効であった場合、類似帳票に関連付けてページ数は保存されている。この場合、図14の解析結果情報の列1403には正しいページ数の値が保持されていることになる。この場合、S1502の判定はYESとなる。類似帳票に関連付けてページ数が保存されている場合(S1502はYES)、S1503に進む。
S1503において画像処理部432は、ページ単位のスキャン画像群を、類似帳票が決定されたページから次に類似帳票が決定されたページの前で分割した場合に、分割して得られる各ファイルは何ページになるかを算出する。換言すれば、解析結果情報において、列1402に帳票IDを示す値が保持されているページから次に列1402に帳票IDを示す値が保持されているページの前で分割した場合のページ数を算出する。列1402に帳票IDを示す値が保持されているページを分割ページの候補とよぶことがある。
算出されたページ数は、類似帳票が決定されたページのページ番号と関連付けて保存する。例えば、図14の解析結果情報が示すように、帳票IDを示す値が保持されているページ番号の各行には、そのページから次に帳票IDを示す値が保持されているページの前のページまでのページ数が列1404に今回のページ数として保持される。
S1504において画像処理部432は、類似帳票が決定されたページのページ番号に関連付けられた分割後のページ数(今回のページ数)と、その類似帳票に関連付けられているページ数(正しいページ数)と、が一致するか判定する。判定は、類似帳票が決定されたページのページ番号ごとに、類似帳票が決定された全てのページ番号に対して行われる。即ち、解析結果情報の列1430に保持されている値と列1404に保持されている値が全てのページ番号で一致するか判定される。
図14(a)の場合、列1403に保持された類似帳票に関連付けられている正しいページ数と、列1404に保持されているS1503で算出された今回のページ数とが、帳票IDの値が保持されているページ番号の全ての行で一致する。図14(a)のように列1402に帳票IDの値が保持されている全ての行でページ数が一致する場合、S1504ではYESと判定される。S1504がYESの場合、S1516に進みスキャン画像に対して分割が行われる。
S1504で正しいページ数と今回のページ数が一致するためYESと判定され、S1516に進んだ場合における分割処理について説明する。画像処理部432は、ページ単位のスキャン画像群のうち、先の解析処理で類似帳票が決定されたページを分割ページ(分割位置)と決定する。そして、ページ単位のスキャン画像群を分割ページで分割することで得られたスキャン画像のまとまりを1つのファイルとする処理を実行する。例えば、図14(a)の解析結果情報の場合は、類似帳票が決定されたページのページ番号が表紙ページとなるように、正しいページに保持されたページ数毎に分割してファイルが生成される。
一方、図14(b)に示すように、ページ番号3では、列1403に保持された正しいページ数は「2」であり列1404に保持されているS1503で算出された今回のページ数は「4」でありページ数が一致しない。このように正しいページ数と今回のページ数とが一致しないページ番号がある場合、S1504はNOと判定される。S1504がNOと判定された場合はS1505に進む。
S1505において画像処理部432は、今回スキャンした際に用いられたスキャン設定において、「記憶した帳票のページ数を優先」の設定が有効となっていたかが判定される。即ち、図10の「記憶した帳票のページ数を優先」のチェックボックス1006にチェックがされて今回のスキャンが実行された場合、S1505ではYESと判定される。「記憶した帳票のページ数を優先」の設定が有効の場合(S1505がYES)、S1506に進む。
S1506に進むと、はじめに、「今回のページ数」のうち「正しいページ数」の範囲に入らなかったページ(範囲外のページとよぶ)のうち、最初のページを新規帳票に対応するページとして新たな帳票IDを付与する。例えば、図14(b)に示すように、ページ番号3の「正しいページ数」は2であるが、ページ番号3の「今回のページ数」は4である。このため今回のページ数を構成するページのうち正しいページ数に含まれないページ番号5およびページ番号6が範囲外のページとなる。また、範囲外のページのうちの最初のページであるページ番号5が新規帳票とされる。
そして新規帳票に対応するページに対して次のS1506~S1511のループ処理が行われる。ループ処理では、範囲外のページのうち新規帳票とされなかったページ(残りのページとよぶ)のうちの1つのページが、S1506で処理対象ページとして選択される。例えば、図14(b)では、範囲外のページであるページ番号5およびページ番号6のうち新規帳票とされなかったページ番号6のページが残りのページとなる。
S1507において画像処理部432は、新規帳票とされたページと、処理対象ページとが類似するか決定する。類似するかを決定する方法はS1203の類似帳票判別と同じ方法でよい。例えば図14(b)の解析結果情報ではページ番号6のページを処理対象のページとして、ページ番号5の新規帳票とされたページとが類似するか決定する処理が行われる。
S1508において画像処理部432は、S1507の処理の結果、処理対象ページと新規帳票とされたページが類似すると決定されたかを判定する。処理対象ページと新規帳票とされたページが類似すると決定された場合(S1508がYES)、S1509に進む。例えば、図14(b)のページ番号6のページとページ番号5のページが類似すると決定された場合、S1509に進む。
S1509において画像処理部432は、新規帳票されたページと類似すると決定された処理対象ページに対して、新規帳票とされたページと同じ値の帳票IDを付与する。例えば、図14(c)に示すように、ページ番号6のページがページ番号5のページと類似すると決定された場合、ページ番号6に対して、ページ番号5に付与された帳票IDと同じ「formA025」の帳票IDを付与する。そしてS1510に進み、S1509で付与した帳票IDを解析結果情報に保持させる。
例えば、図14(b)の場合は、残りのページはページ番号6のページのみのため、1回のループ処理で終了となる。残りのページのすべてのページに対する処理が完了するとS1506~S1511のループ処理は終わりS1512に進む。
S1512では、現在の解析結果情報に基づき、S1503と同様に今回のページの算出処理が行われる。即ち、解析結果情報の列1402に帳票IDを示す値が保持されているページから次に帳票IDを示す値が保持されているページの前で分割した場合に、分割して得られる各ファイルは何ページになるかを算出する。先のループ処理S1506~S1511を行った結果、列1402に帳票IDを示す値が保持されることになったページ番号がある。このため、S1512で算出される結果は、S1503で算出された結果とは異なる。
図14(c)に示すように、先のループ処理S1506~S1511を行った結果、ページ番号5およびページ番号6の列1402に帳票IDを示す値が保持されている。このため、ページ番号3の今回のページ数は2と算出される。
さらに新規帳票されたページのページ番号5の今回のページ数は1ページと算出される。ページ番号6は新規帳票とされたページのページ番号5のページと類似するため新規帳票とされ、新規帳票とされたページ番号6の今回のページ数は1ページと算出されることになる。
S1513において画像処理部432は、S1506~S1511のループ処理の結果新規帳票とされたページのページ番号の正しいページ数を決定する。S1506~S1511のループ処理の結果、新規帳票とされたページが複数ある場合、新規帳票とされた夫々のページの今回のページ数のうち最小のページ数を決定する。そして今回のS1506~S1511のループ処理で新規帳票とされたページの夫々のページ番号の正しいページ数については、決定された最小のページ数とする。新規帳票が1つの場合は、S1512で算出された今回のページ数と同じ値を正しいページ数とする。
図14(c)の解析結果情報の場合は、新規帳票とされたページはページ番号5および6で複数ある。このためページ番号5およびページ番号6の今回のページ数のうち最小のページ数が、ページ番号5および6の正しいページ数として保持される。ページ番号5および6の今回のページ数はどちらも1ページなので最小のページ数は1であるから、ページ番号5および6の正しいページ数は1として保持される。例えば、図14(c)の解析結果情報に7ページ目がありページ番号5の今回のページ数は1、ページ番号6の今回のページ数が2と算出されたとする。この場合でも、ページ番号5および6の今回のページ数のうち最小のページ数は1なので、ページ番号5および6の正しいページ数は1として保持される。
図14(c)は、図14(b)の解析結果情報に対して、S1506~S1513の処理が完了した結果、更新された解析結果情報を示す。S1506~S1513の処理の結果、列1405には、範囲外のページのうち新規帳票と決定されたページのページ番号には新規帳票を示す値が保持される。図14(c)の解析結果情報では、ページ番号5は、新規帳票とされたページなので、新規帳票であることを示す値として「Yes」が保持される。またページ番号6のページは、新規帳票とされたページ番号5のページと類似すると決定されたため、新規帳票であることを示す値として「Yes」が保持される。ページ番号5および6における今回のページ数は、1ページに更新されている。
一方、図14(b)の解析結果情報の状態において、ページ番号5のページと,ページ番号6のページが類似しないと判定された場合(S1508がNO)、ページ番号5が新規帳票とされてページ番号5のみに帳票IDが付与され列1402に保持される。
S1514は、S1504と同様の処理である。S1504において画像処理部432は、列1402に帳票IDを示す値が保持されている行において、今回のページ数と正しいページ数と、が一致するか判定する。判定は、列1402に類似IDを示す値が保持されている全ての行に対して行われる。
正しいページ数と今回のページ数とが一致しない場合(S1514はNO)、S1506に戻る。S1506では、S1514の結果一致しなかった余分なページのうちの最初のページを新規帳票とし、余分なページのうち新規帳票とされたページ以外のページを残りのページとして、S1507~S1513までの処理が再び実行される。
例えば、図14(c)の解析結果情報に7ページ目がありページ番号5の今回のページ数は1、ページ番号6の今回のページ数が2と算出されたとする。この場合、前述したとおり、ページ番号5および6の正しいページ数は1として保持される。このため7ページ目が余分なページとなるため7ページ目を新規帳票として新たな帳票IDが付与される。
正しいページ数と今回のページ数が一致している場合(S1514はYES)、S1515に進む。図14(c)の場合、S1514はYESと判定されS1515に進むことになる。また、S1502の判定がNOの場合も、S1515に進む。
S1515において画像処理部432は、今回スキャンした際に用いられたスキャン設定において、「分割候補ページで必ず分割する」の設定が有効であったかが判定される。例えば、図10の「分割候補ページで必ず分割する」のチェックボックス1004にチェックがされている設定で今回のスキャンが実行された場合、S1515ではYESと判定される。「分割候補ページで必ず分割する」の設定が選択されていた場合(S1515がYES)、S1516の分割処理に進む。
S1514でYES、S1515でYESと判定された場合のS1516で行われる分割処理について説明する。例えば、S1506~S1511のループ処理の結果、図14(c)の解析結果情報の状態となり、かつ、「分割候補ページで必ず分割する」の設定が選択されていた場合に行われる分割処理である。画像処理部432は、ページ単位のスキャン画像群のうち、類似帳票が見つかったページまたは新規帳票とされたページを分割ページと決定して分割処理を実行する。例えば、図14(c)の解析結果情報の場合は、列1402に帳票IDを示す値が関連付けられている、ページ番号が1,3,5,6のページが分割ページとして決定される。ページ番号が1,3,5,6のページがそれぞれのファイルの表紙ページとなるように、正しいページ数に保持されたページ数毎に分割してファイルが生成される。このため本実施形態では、複数種類の帳票の途中に新規帳票が含まれている場合でもS1513で決定されたページ数で分割されることになる。
次にS1502でNO、S1515でYESと判定されたためS1516に遷移した場合のS1516で行われる分割処理について説明する。例えば、S513の解析の結果得られた解析結果情報が図14(b)の状態となり、かつ、「分割候補ページで必ず分割する」の設定が選択されていた場合に行われる分割処理である。画像処理部432は、ページ単位のスキャン画像群のうち、類似帳票が見つかったページを分割ページと決定して分割処理を実行する。例えば、図14(b)の解析結果情報の場合は、列1402に帳票IDの値が保持されているページ番号が1、3のページがそれぞれ分割ページと決定される。そして、ページ番号が1、3のページがファイルの表紙ページとなるように、今回のページ数に保持されたページ数毎に分割してファイルが生成される。
S1516に遷移して分割処理が行われた場合、図8の分割待ちタブ802には今回のスキャン画像に対応するジョブが表示されることなく、分割後のファイルが送信待ちタブ801に最初から表示される。S1516に遷移して分割処理が行われた場合、ユーザが分割ページを選択することなしに、ページ単位のスキャン画像群に対して分割が行われる。
新規帳票がスキャンされることがない場合で、かつ、それぞれの種類の帳票を構成するページ数が変更される場合は、「分割候補ページで必ず分割する」のチェックボックス1004にチェックする。また、「帳票毎にページ数を記憶する」のチェックボックス1005、「記憶した帳票のページ数を優先する」のチェックボックス1006はチェックしない設定で、スキャンされることが好ましい。
一方、今回のスキャンに用いられたスキャン設定において、「分割候補ページで必ず分割する」の設定が有効になっていない場合(S1515はNO)、S1516で分割処理は実行されないで本フローチャートを終了する。
また、今回スキャンした際に用いられたスキャン設定において、「記憶した帳票のページ数を優先」の設定が有効になっていない場合(S1505がNO)、S1516で分割処理は実行されないで本フローチャートを終了する。
S1516をスキップして分割処理が行われないで本フローチャートを終了した場合、S514では分割処理は行われないことを意味する。その場合、ユーザが分割を指示した場合に分割が行われることになる。即ち、図5のS516において、図8(a)のスキャン済み帳票一覧画面800が表示され、スキャン済み帳票一覧画面800の分割待ちタブ802に未分割ジョブリストとしてジョブが表示される。ユーザは、分割位置設定ボタン804を押下することで遷移する分割位置設定画面900で分割ページを選択することができる。S1516がスキップされた場合でも、図15のフローチャートの処理の結果、ページ単位のスキャン画像群のうち、類似帳票が見つかったページ、および新規帳票とされたページが分割ページの候補と決定される。このため、決定された分割ページの候補に基づき分割位置設定画面900が生成される。
S1516をスキップして分割処理が行われないで本フローチャートを終了した場合、スキャン済み帳票一覧画面800の未分割の要因を表示する列811には、分割処理が実行されなかった理由が表示される。例えば、図14(b)の解析結果情報のように、ページ番号3の類似帳票の正しいページ数は2ページであるのに対し、今回のページ数が4ページでありページ数が一致しないためS1516で分割処理できないことがある。この場合、列811の未分割の要因には、「2文書目が4ページ(通常2ページ)」というメッセージが表示される。
図16は、S1516がスキップされたことによりS514で分割処理が行われなかった場合、S518で表示される分割位置設定画面900を示す図である。図16(a)は、例えば、スキャン済み帳票一覧画面800の未分割ジョブリストの行814が選択された状態で、ユーザが分割位置設定ボタン804を押下することで表示される分割位置設定画面の例である。
図16(a)の分割位置設定画面900は、例えば、図14(b)の解析結果情報に対応する画面である。解析結果情報の列1403に保持された正しいページ数と列1404に保持されている今回のページ数が一致しないページ番号に対応するファイル詳細領域1601に、ユーザへの注意喚起メッセージ1610が表示される。また、ファイル詳細領域1601における、正しいページ数である2ページの範囲に入らなかった次のページ以降のページのプレビュー1611、1612は、注意が必要なことを表すため枠線を付けるなどの強調表示がされる。
なお、分割位置設定画面900に遷移しないで、スキャン済み帳票一覧画面800で分割位置設定ボタン804が押下されると、図15のフローチャートで決定された分割ページの候補のページで分割処理が行われる。今回スキャンされた複数種類の帳票には、通常は2ページで構成されるが、今回は4ページで構成される種類の帳票が含まれていることをユーザが認識している場合がある。この場合は、図16(a)の分割位置設定画面900を表示させることなく、スキャン済み帳票一覧画面800で分割位置確定ボタン803を押下すればよい。即ち、図14(b)の解析結果情報の場合、分割位置確定ボタン803を押下することで、ページ番号2から4のページを分割してファイルを生成するように分割を指示できる。
図15のS1506~S1511のループ処理が行われた後、S1516がスキップされて分割処理が行われずに図15のフローチャートが終了する場合がある。この場合、スキャン済み帳票一覧画面800の未分割の要因を表示する列811には、S1506~S1511において行われた類似帳票判別の結果に基づく未分割の要因が表示される。例えば、図14(c)の解析結果情報のように、ページ番号5およびページ番号6が新規帳票とされたもののS1516で分割処理が行われないことがある。この場合、行815の未分割の要因には、「3,4文書目が新規の帳票」というメッセージが表示される。
図16(b)は、例えば、スキャン済み帳票一覧画面800の未分割ジョブリストの行815が選択された状態で、ユーザが分割位置設定ボタン804を押下することで表示される分割位置設定画面900の例である。図14(c)の解析結果情報では、ページ番号5および6のページが新規帳票であると決定されている。図16(b)の分割位置設定画面900は、図14(c)の解析結果情報に対応する画面であり、新規帳票に対応する文書3および文書4が「新規の帳票」であるメッセージ1613、1614が表示される。スキャン済み帳票一覧画面800においてユーザが分割位置設定ボタン804を押して分割位置設定画面900を開いた場合、新規帳票に対応するファイル詳細領域1615、1616が強調表示される。このため、ユーザは、チェックが必要なスキャン画像を容易に発見することができる。
なお、ユーザが、今回スキャンして得られたスキャン画像のうち、5ページ目および6ページ目をそれぞれ分割して別のファイルとしたいと思っている場合がある。この場合は、ユーザは、図16(b)の分割位置設定画面900を表示させることなく、スキャン済み帳票一覧画面800で分割位置確定ボタン803を押下すればよい。即ち、図14(c)の解析結果情報の場合、分割位置確定ボタン803を押下することで、ページ番号5および6ページをそれぞれ分割してファイルを生成するように分割を指示できる。
このように今回スキャンされた複数種類の帳票に新規帳票が含まれる可能性がある場合で、かつ、複数種類の帳票を構成する各種の帳票のページ数が変動しない場合がある。この場合は「分割候補ページで必ず分割する」のチェックボックス1004は有効にしないことが好ましい。また、「帳票毎にページ数を記憶する」のチェックボックス1005を有効にしてスキャンされることが好ましい。「記憶した帳票のページ数を優先する」のチェックボックス1006は、低頻度とはいえ帳票のページ数が変動する可能性がある場合は有効にしないことが好ましい。しかし、帳票を構成するページ数が確実に固定されている場合は有効の設定でスキャンすることが好ましい。
また、帳票のページが固定の場合は、図10の「分割候補ページで必ず分割する」のチェックボックス1004を有効にすると、ユーザによる分割位置を確認する負荷をより軽減することができる。
以上説明したように本実施形態の分割処理方法によれば、表紙となる帳票の特徴とページ数を関連付けて管理することで、ページ単位のスキャン画像群の分割ページの選択または確認をするユーザの手間を低減することができる。例えば、本実施形態によれば、スキャンする原稿の束に新規帳票が含まれるか否かを確認するユーザ手間を低減させることができる。また、新規帳票がないと判定できる時にはユーザの確認をスキップすることができる。
<その他の実施形態>
上述した実施形態では、スキャン画像に対する解析処理および分割処理は、MFP連携サーバ120の画像処理部432が処理するもとして説明したが、MFP110の画像処理部424によって行われてもよい。
本開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<その他>
上述した実施形態の開示は、以下の構成を含む。
(構成1)
複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得手段と、
帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理手段と、
前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析手段と、
前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割手段と、
を有することを特徴とする画像処理装置。
(構成2)
前記スキャン画像群のうち前記過去のスキャン画像の何れかと類似するスキャン画像に対応するページを分割位置の候補とした場合の分割後のページ数と、
前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、を比較した結果に基づき分割位置を決定し、前記決定された分割位置に基づき前記スキャン画像群を分割する
ことを特徴とする構成1に記載の画像処理装置。
(構成3)
前記分割手段は、
前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、が一致する場合は前記分割位置の候補とされたページを前記分割位置と決定する
ことを特徴とする構成2に記載の画像処理装置。
(構成4)
前記分割手段は、
前記分割位置の候補に基づく分割後のページ数が、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数を超える場合、
前記超えるページ数に対応するページの少なくとも1つのページを新規帳票のページとし、前記新規帳票のページを前記分割位置と決定する
ことを特徴とする構成3に記載の画像処理装置。
(構成5)
前記分割手段は、
前記超えるページ数に対応するページのうち、少なくとも最初のページを新規帳票のページとして前記分割位置を決定する
ことを特徴とする構成4に記載の画像処理装置。
(構成6)
前記分割手段は、
前記新規帳票のページのスキャン画像と、前記超えるページ数に対応するページのうち前記新規帳票のページ以外の夫々のページのスキャン画像とを比較し、
前記新規帳票のページのスキャン画像に類似するスキャン画像に対応するページをさらに新規帳票のページとして前記分割位置を決定する
ことを特徴とする構成5に記載の画像処理装置。
(構成7)
前記決定された分割位置が含まれる設定画面を表示するため情報を送信する送信手段をさらに有し、
前記分割手段は、
前記設定画面を介してユーザが選択した分割位置に基づき前記スキャン画像群を分割する
ことを特徴とする構成2から6のいずれか1項に記載の画像処理装置。
(構成8)
前記設定画面は、
前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、が一致する場合は表示されないで、
前記分割手段は、
前記設定画面が表示されない場合、前記決定された分割位置に基づき前記スキャン画像群を分割する
ことを特徴とする構成7に記載の画像処理装置。
(構成9)
前記送信手段は、
前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページと類似する前記過去のスキャン画像に関連付けられたページ数と、が一致しない場合、前記設定画面を表示するため情報を送信する
ことを特徴とする構成8に記載の画像処理装置。
(構成10)
前記送信手段は、
前記スキャン画像群の情報を表示する一覧画面を表示するめの情報を送信し、
前記一覧画面では、前記設定画面を介してユーザが前記分割位置を設定する必要があるスキャン画像を表示する第1の領域と、前記分割手段によって分割された後のスキャン画像を表示する第2の領域と、が分けて表示される
ことを特徴とする構成7または8に記載の画像処理装置。
(構成11)
前記第1の領域では、前記分割手段によって分割がされなかった理由が表示される
ことを特徴とする構成10に記載の画像処理装置。
(構成12)
前記送信手段は、
前記設定画面を表示するために必要な情報を、表示装置に接続された装置に提供することで、前記設定画面が表示されるように制御する
ことを特徴とする構成7から11のいずれか1項に記載の画像処理装置。
(構成13)
前記管理手段は、
複数ページで構成される新規の帳票がスキャンされた場合、前記新規の帳票に対応するスキャン画像の情報として、前記複数ページのうちの1ページ目のスキャン画像の特徴情報および前記複数ページのページ数を関連付けて管理する
ことを特徴とする構成1から12のいずれか1項に記載の画像処理装置。
(構成14)
前記特徴情報は、文字列領域の配置に係る情報である
ことを特徴とする構成1から12のいずれか1項に記載の画像処理装置。
(構成15)
前記分割手段は、
ページ単位の前記スキャン画像群のうち、前記決定された分割位置に対応するページのスキャン画像から次の前記決定された分割位置に対応するページの前のページのスキャン画像までを1つのファイルとなるように分割する
ことを特徴とする構成2から12のいずれか1項に記載の画像処理装置。
(構成16)
複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得ステップと、
帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理ステップと、
前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析ステップと、
前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割ステップと、
を有することを特徴とする画像処理方法。
(構成17)
コンピュータを、上記の構成1から15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
120 MFP連携サーバ
434 データ管理部
432 画像処理部

Claims (17)

  1. 複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得手段と、
    帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理手段と、
    前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析手段と、
    前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割手段と、
    を有することを特徴とする画像処理装置。
  2. 前記スキャン画像群のうち前記過去のスキャン画像の何れかと類似するスキャン画像に対応するページを分割位置の候補とした場合の分割後のページ数と、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、を比較した結果に基づき分割位置を決定し、前記決定された分割位置に基づき前記スキャン画像群を分割する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記分割手段は、
    前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、が一致する場合は前記分割位置の候補とされたページを前記分割位置と決定する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記分割手段は、
    前記分割位置の候補に基づく分割後のページ数が、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数を超える場合、前記超えるページ数に対応するページの少なくとも1つのページを新規帳票のページとし、前記新規帳票のページを前記分割位置と決定する
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記分割手段は、
    前記超えるページ数に対応するページのうち、少なくとも最初のページを新規帳票のページとして前記分割位置を決定する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記分割手段は、
    前記新規帳票のページのスキャン画像と、前記超えるページ数に対応するページのうち前記新規帳票のページ以外の夫々のページのスキャン画像とを比較し、前記新規帳票のページのスキャン画像に類似するスキャン画像に対応するページをさらに新規帳票のページとして前記分割位置を決定する
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記決定された分割位置が含まれる設定画面を表示するため情報を送信する送信手段をさらに有し、
    前記分割手段は、
    前記設定画面を介してユーザが選択した分割位置に基づき前記スキャン画像群を分割する
    ことを特徴とする請求項2に記載の画像処理装置。
  8. 前記設定画面は、
    前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページのスキャン画像と類似する前記過去のスキャン画像に関連付けられたページ数と、が一致する場合は表示されないで、
    前記分割手段は、
    前記設定画面が表示されない場合、前記決定された分割位置に基づき前記スキャン画像群を分割する
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記送信手段は、
    前記分割位置の候補に基づく分割後のページ数と、前記分割位置の候補とされたページと類似する前記過去のスキャン画像に関連付けられたページ数と、が一致しない場合、前記設定画面を表示するため情報を送信する
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記送信手段は、
    前記スキャン画像群の情報を表示する一覧画面を表示するめの情報を送信し、
    前記一覧画面では、前記設定画面を介してユーザが前記分割位置を設定する必要があるスキャン画像を表示する第1の領域と、前記分割手段によって分割された後のスキャン画像を表示する第2の領域と、が分けて表示される
    ことを特徴とする請求項7に記載の画像処理装置。
  11. 前記第1の領域では、前記分割手段によって分割がされなかった理由が表示される
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記送信手段は、
    前記設定画面を表示するために必要な情報を、表示装置に接続された装置に提供することで、前記設定画面が表示されるように制御する
    ことを特徴とする請求項7に記載の画像処理装置。
  13. 前記管理手段は、
    複数ページで構成される新規の帳票がスキャンされた場合、前記新規の帳票に対応するスキャン画像の情報として、前記複数ページのうちの1ページ目のスキャン画像の特徴情報および前記複数ページのページ数を関連付けて管理する
    ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  14. 前記特徴情報は、文字列領域の配置に係る情報である
    ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  15. 前記分割手段は、
    ページ単位の前記スキャン画像群のうち、前記決定された分割位置に対応するページのスキャン画像から次の前記決定された分割位置に対応するページの前のページのスキャン画像までを1つのファイルとなるように分割する
    ことを特徴とする請求項2から12のいずれか1項に記載の画像処理装置。
  16. 複数種類の帳票をまとめてスキャンして得られたページ単位のスキャン画像群を取得する取得ステップと、
    帳票の種類ごとの過去のスキャン画像の特徴情報および前記過去のスキャン画像に関連付けられたページ数を管理する管理ステップと、
    前記スキャン画像群を構成するスキャン画像の夫々に対して、前記過去のスキャン画像の何れかと類似するかを前記特徴情報に基づき解析する解析ステップと、
    前記スキャン画像群のうち前記過去のスキャン画像と類似するスキャン画像と、前記過去のスキャン画像に関連付けられたページ数と、に基づき前記スキャン画像群を分割する分割ステップと、
    を有することを特徴とする画像処理方法。
  17. コンピュータに請求項16に記載の画像処理方法を実行させるためのプログラム。
JP2022079408A 2022-05-13 2022-05-13 画像処理装置、画像処理方法、およびプログラム Pending JP2023167880A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022079408A JP2023167880A (ja) 2022-05-13 2022-05-13 画像処理装置、画像処理方法、およびプログラム
US18/193,250 US20230368558A1 (en) 2022-05-13 2023-03-30 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022079408A JP2023167880A (ja) 2022-05-13 2022-05-13 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2023167880A true JP2023167880A (ja) 2023-11-24

Family

ID=88699338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022079408A Pending JP2023167880A (ja) 2022-05-13 2022-05-13 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20230368558A1 (ja)
JP (1) JP2023167880A (ja)

Also Published As

Publication number Publication date
US20230368558A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
JP7317561B2 (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
JP2021114736A (ja) 文書を電子化するための画像処理システム、その制御方法及びプログラム
JP7234024B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6762722B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7297510B2 (ja) ユーザ操作のためのガイダンスを表示する画像処理装置、その制御方法及びプログラム
JP7353771B2 (ja) プログラム、記憶媒体、情報処理装置の制御方法、及び情報処理装置
KR20240020719A (ko) 정보 처리 장치, 저장 매체, 및 저장 방법
US11301675B2 (en) Image processing apparatus, image processing method, and storage medium
JP7490415B2 (ja) サーバー、情報処理方法、プログラム
JP7225017B2 (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
US11503170B2 (en) Image processing apparatus, image processing method, and storage medium
JP2022100071A (ja) 画像処理装置、画像処理システム、その制御方法及びプログラム
JP7330742B2 (ja) スキャン画像にプロパティを設定するための画像処理装置、その制御方法及びプログラム
US11800032B2 (en) Apparatus, information processing method, and storage medium
JP2023167880A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018072985A (ja) イメージスキャンシステム、イメージスキャナ、情報取得方法及び情報取得プログラム
JP7358663B2 (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
JP7387282B2 (ja) スキャン画像のプレビュー表示を行なう画像処理装置、その制御方法及びプログラム
JP2023167871A (ja) 画像処理装置、情報処理装置、画像処理システム、画像処理方法、情報処理方法、およびプログラム
JP2023120267A (ja) タッチパネルを用いた文字入力のための画像処理装置、その制御方法及びプログラム
JP2023054708A (ja) 情報処理装置、文書分割方法、及びプログラム
JP2021118534A (ja) 文書を電子化するための画像処理システム、その制御方法及びプログラム
JP2024032563A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2022083074A (ja) 情報処理システム
CN115801963A (zh) 服务器、控制服务器的方法和存储介质