JP2022189109A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2022189109A JP2022189109A JP2021097497A JP2021097497A JP2022189109A JP 2022189109 A JP2022189109 A JP 2022189109A JP 2021097497 A JP2021097497 A JP 2021097497A JP 2021097497 A JP2021097497 A JP 2021097497A JP 2022189109 A JP2022189109 A JP 2022189109A
- Authority
- JP
- Japan
- Prior art keywords
- page
- document
- image
- image processing
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Input (AREA)
- Document Processing Apparatus (AREA)
- Facsimiles In General (AREA)
Abstract
Description
本開示は、複数の文書を連続してスキャンして得られたスキャン画像における文書単位の区切りを判別する技術に関する。 TECHNICAL FIELD The present disclosure relates to a technique for determining a document-by-document break in a scanned image obtained by continuously scanning a plurality of documents.
文書の管理手法として、紙帳票などの文書をスキャナで読み取って得られたスキャン画像を所定フォーマットのファイルに変換し、ネットワーク上のストレージサーバに送信して保存する手法が広く利用されている。 As a document management method, a method of converting a scanned image obtained by reading a document such as a paper form with a scanner into a file of a predetermined format, transmitting the file to a storage server on a network, and storing the file is widely used.
そのような手法が利用されるユースケースとして、複数の帳票等を連続スキャンして得られたスキャン画像を帳票単位の区切りで分割してファイル化し、ストレージサーバに保存することがある。このように文書単位でファイル化する際には、複数の帳票等を連続スキャンして得られたスキャン画像を文書単位で分離する必要がある。この点、特許文献１は、複数の文書を読み込んで得られた文書画像に対して文字認識処理および解析処理を行い、この処理結果を用いて文書区切り情報を抽出する技術を開示している。 As a use case in which such a technique is used, there is a case in which scanned images obtained by continuously scanning a plurality of forms are divided into files by delimiters for each form, and saved in a storage server. In order to create a file for each document in this way, it is necessary to separate scanned images obtained by continuously scanning a plurality of forms or the like for each document. In this regard, Japanese Patent Application Laid-Open No. 2002-200002 discloses a technique of performing character recognition processing and analysis processing on a document image obtained by reading a plurality of documents, and extracting document delimiter information using the processing results.
上記特許文献１の技術では、文書画像の全ページに対して文字認識処理および解析処理を行う必要があるため、多大な処理コストを要した。
In the technique of
本開示は、上記の問題に鑑みてなされたものであり、処理コストを抑えながらも、複数の文書を連続でスキャンして得られたスキャン画像における文書単位の区切りを判別する技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present disclosure has been made in view of the above problems, and provides a technique for determining delimiters for each document in a scanned image obtained by continuously scanning a plurality of documents while suppressing processing costs. With the goal.
本開示の一態様に係る画像処理装置は、複数の文書をページ単位で連続してスキャンして得られたスキャン画像についてページ単位でレイアウトを解析する解析手段と、前記解析手段による解析結果に基づき、前記スキャン画像の各ページについて、当該スキャン画像の１ページ目との類似度を算出する算出手段と、前記算出手段により算出した類似度に基づき、前記スキャン画像から、前記複数の文書の各文書における先頭ページ候補を抽出する抽出手段と、前記抽出手段により抽出した前記先頭ページ候補に対して文字認識を行う文字認識手段と、前記文字認識手段による文字認識結果に基づき、前記各文書の区切りを判定する判定手段と、を有することを特徴とする。 An image processing apparatus according to an aspect of the present disclosure includes analysis means for analyzing a layout of each page of scanned images obtained by continuously scanning a plurality of documents in units of pages; a calculating means for calculating a degree of similarity between each page of the scanned image and the first page of the scanned image; character recognition means for performing character recognition on the first page candidates extracted by the extraction means; and determination means for determining.
本開示によれば、処理コストを抑えながらも、複数の文書を連続でスキャンして得られたスキャン画像における文書単位の区切りを判別することができる。 Advantageous Effects of Invention According to the present disclosure, it is possible to determine a document-by-document break in a scanned image obtained by continuously scanning a plurality of documents while suppressing processing costs.
以下、本開示の技術を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また以下の実施の形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。 Embodiments for implementing the technology of the present disclosure will be described below with reference to the drawings. It should be noted that the following embodiments do not limit the technology of the present disclosure according to the scope of claims, and all combinations of features described in the following embodiments are solutions to the technology of the present disclosure. Not necessarily required.
［第一の実施形態］
＜画像処理システムの概要＞
図１は、本実施形態に係る画像処理システムの全体構成を示す図である。画像処理システム１００は、ＭＦＰ（Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１１０、クライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１１１、ＭＦＰ連携サーバ１２０およびストレージサーバ１３０を含む。ＭＦＰ１１０及びクライアントＰＣ１１１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）経由でインターネット上の各種サービスを提供するサーバに対して通信可能に接続されている。
[First embodiment]
<Overview of image processing system>
FIG. 1 is a diagram showing the overall configuration of an image processing system according to this embodiment.
ＭＦＰ１１０は、スキャン機能を有する画像処理装置の一例である。ＭＦＰ１１０は、スキャン機能に加え印刷機能やＢＯＸ保存機能といった複数の機能を有する複合機である。クライアントＰＣ１１１はＭＦＰ連携サーバ１２０に対して依頼したサービスの提供を受けるアプリケーションがインストールされたコンピュータの一例である。サーバ装置１２０および１３０は、共にクラウドサービスを提供する画像処置装置の一例である。本実施形態のサーバ装置１２０は、ＭＦＰ１１０から受け取ったスキャン画像に対し画像解析を行い自サーバ上に保存したり、別のサービスを提供するサーバ装置１３０に対しＭＦＰ１１０からのリクエストを転送したりするサービスを提供する。以下、サーバ装置１２０が提供するクラウドサービスを「ＭＦＰ連携サービス」と呼ぶこととする。サーバ装置１３０は、インターネットを介して送られてきたファイルを保存したり、モバイル端末（不図示）などのウェブブラウザからの要求に応じて保存ファイルを提供したりするクラウドサービス（以下、「ストレージサービス」と呼ぶ）を提供する。本実施形態では、ＭＦＰ連携サービスを提供するサーバ装置１２０を「ＭＦＰ連携サーバ」と呼び、ストレージサービスを提供するサーバ装置１３０を「ストレージサーバ」と呼ぶこととする。
MFP 110 is an example of an image processing apparatus having a scanning function. The MFP 110 is a multifunction device that has multiple functions such as a print function and a BOX storage function in addition to a scan function. The client PC 111 is an example of a computer in which an application for receiving a requested service from the MFP
本実施形態の画像処理システム１００は、ＭＦＰ１１０、クライアントＰＣ１１１、ＭＦＰ連携サーバ１２０およびストレージサーバ１３０からなる構成としているがこれに限定されない。例えば、クライアントＰＣ１１１やＭＦＰ連携サーバ１２０の機能をＭＦＰ１１０が兼ね備えてもよい。また、ＭＦＰ連携サーバ１２０はインターネット上ではなくＬＡＮ経由でＭＦＰ１１０やクライアントＰＣ１１１と接続されていてもよい。また、ストレージサーバ１３０を、メール配信サービスを行うメールサーバに置き換えて、文書のスキャン画像をメールに添付し送信する場面に適用してもよい。
The
＜ＭＦＰのハードウェア構成＞
図２は、ＭＦＰ１１０のハードウェア構成例を示す図である。ＭＦＰ１１０は、制御部２１０、操作部２２０、プリンタ２２１、スキャナ２２２、モデム２２３を有する。制御部２１０は、以下の各部２１１－２１９を有し、ＭＦＰ１１０全体の動作を制御する。ＣＰＵ２１１は、中央処理装置であり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２に記憶された制御プログラム（後述のソフトウェア構成図で示す各種機能に対応するプログラム）を読み出して実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施形態では１つのＣＰＵ２１１が１つのメモリ（ＲＡＭ２１３またはＨＤＤ２１４）を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のＣＰＵや複数のＲＡＭまたはＨＤＤを協働させて各処理を実行してもよい。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１４は、画像データや各種プログラムを記憶する大容量記憶部である。操作部Ｉ／Ｆ２１５は、操作部２２０と制御部２１０とを接続するインタフェースである。操作部２２０には、表示部として機能するタッチパネルやキーボードなどが備えられており、ユーザによる操作／入力／指示を受け付ける。なお、タッチパネルへのタッチ操作には、人の指による操作やタッチペンによる操作が含まれる。プリンタＩ／Ｆ２１６は、プリンタ２２１と制御部２１０とを接続するインタフェースである。印刷用の画像データはプリンタＩ／Ｆ２１６を介して制御部２１０からプリンタ２２１へ転送され、紙等の記録媒体上に印刷される。スキャナＩ／Ｆ２１７は、スキャナ２２２と制御部２１０とを接続するインタフェースである。スキャナ２２２は、不図示の原稿台やＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）にセットされた原稿（文書）を光学的に読み取って画像データ（すなわち、スキャン画像データ）を生成し、スキャナＩ／Ｆ２１７を介して制御部２１０に入力する。ＭＦＰ１１０は、スキャナ２２２で生成された画像データをプリンタ２２１から印刷出力（コピー）する他、ファイル送信またはメール送信することができる。モデムＩ／Ｆ２１８は、モデム２２３と制御部２１０とを接続するインタフェースである。モデム２２３は、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）上のファクシミリ装置との間で画像データをファクシミリ通信する。ネットワークＩ／Ｆ２１９は、制御部２１０（ＭＦＰ１１０）をＬＡＮに接続するインタフェースである。ＭＦＰ１１０は、ネットワークＩ／Ｆ２１９を用いてインターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりする。
<Hardware Configuration of MFP>
FIG. 2 is a diagram showing a hardware configuration example of the
＜クライアントＰＣ、サーバ装置のハードウェア構成＞
図３は、クライアントＰＣ１１１、ＭＦＰ連携サーバ１２０及びストレージサーバ１３０のハードウェア構成例を示す図である。クライアントＰＣ１１１、ＭＦＰ連携サーバ１２０及びストレージサーバ１３０は共通のハードウェア構成を有し、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、ＨＤＤ３１４及びネットワークＩ／Ｆ３１５で構成される。ＣＰＵ３１１は、ＲＯＭ３１２に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。ＲＡＭ３１３は、ＣＰＵ３１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３１４は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークＩ／Ｆ３１５は、制御部３１０をインターネットに接続するインタフェースである。ＭＦＰ連携サーバ１２０及びストレージサーバ１３０は、ネットワークＩ／Ｆ３１５を介して他の装置（ＭＦＰ１１０等）から様々な処理のリスエストを受け、当該クリエストに応じた処理結果を返す。
<Hardware Configuration of Client PC and Server Device>
FIG. 3 is a diagram showing a hardware configuration example of the client PC 111, the MFP
＜画像処理システムのソフトウェア構成＞
図４は、本実施形態に係る画像処理システム１００のソフトウェア構成例を示すブロック図であり、図４（ａ）に画像処理システム１００の全体を示し、図４（ｂ）にＭＦＰ連携サーバ１２０の画像処理部４３２の詳細を示す。以下、画像処理システム１００を構成するＭＦＰ１１０、ＭＦＰ連携サーバ１２０及びストレージサーバ１３０それぞれの役割に対応したソフトウェア構成を順に説明する。なお、以下では各装置が有する諸機能のうち、文書をスキャンして電子化（ファイル化）し、ストレージサーバ１３０に保存を行うまでの処理に関わる機能に絞って説明を行うものとする。
<Software configuration of image processing system>
4A and 4B are block diagrams showing an example of the software configuration of the
＜ＭＦＰのソフトウェア構成＞
ＭＦＰ１１０の機能モジュールは、ネイティブ機能モジュール４１０とアディショナル機能モジュール４２０の２つに大別される。ネイティブ機能モジュール４１０はＭＦＰ１１０に標準的に備えられたアプリケーションであるのに対し、アディショナル機能モジュール４２０はＭＦＰ１１０に追加的にインストールされたアプリケーションである。アディショナル機能モジュール４２０は、Ｊａｖａ（登録商標）をベースとしたアプリケーションであり、ＭＦＰ１１０への機能追加を容易に実現できる。なお、ＭＦＰ１１０には図示しない他の追加アプリケーションがインストールされていてもよい。
<MFP software configuration>
The functional modules of the
ネイティブ機能モジュール４１０は、スキャン実行部４１１およびスキャン画像管理部４１２を有する。アディショナル機能モジュール４２０は、表示制御部４２１、スキャン指示部４２２、連携サービスリクエスト部４２３、画像処理部４２４を有する。
表示制御部４２１は、操作部２２０のタッチパネル機能を有する液晶表示部に、各種のユーザ操作を受け付けるユーザインターフェース画面（ＵＩ画面）を表示する。各種のユーザ操作には、例えば、ＭＦＰ連携サーバ１２０へのアクセスに用いられるログイン認証情報の入力、スキャン設定、スキャン開始指示、分割ページ確定指示、ファイル名の入力、ファイル名設定指示、ファイルの保存指示などがある。
The
スキャン指示部４２２は、ＵＩ画面でなされたユーザ操作（例えば「スキャン開始」ボタンの押下）に応じて、スキャン設定の情報と共にスキャン実行部４１１に対しスキャン処理の実行を指示する。スキャン実行部４１１は、スキャン指示部４２２からのスキャン処理の実行指示に従い、スキャナＩ／Ｆ２１７を介してスキャナ２２２に文書の読み取り動作を実行させ、原稿台ガラスに置かれた原稿（紙文書）を読み取ることでスキャン画像データを生成する。生成したスキャン画像データは、スキャン画像管理部４１２によってＨＤＤ２１４に保存される。この際、保存されたスキャン画像データを一意に示すスキャン画像識別子の情報が、スキャン指示部４２２へ通知される。スキャン画像識別子は、ＭＦＰ１１０においてスキャンした画像をユニークに識別する番号や記号、アルファベットなどである。スキャン指示部４２２は、例えばファイル化する対象のスキャン画像データを上記のスキャン画像識別子を使ってスキャン画像管理部４１２から取得する。そして、ファイル化のために必要な処理のリクエストをＭＦＰ連携サーバ１２０に対して行うよう、連携サービスリクエスト部４２３に対して指示する。
The
連携サービスリクエスト部４２３は、ＭＦＰ連携サーバ１２０に対して各種処理のリクエストを行ったり、そのレスポンスを受け取ったりする。各種処理には、例えば、ログイン認証、スキャン画像の解析、スキャン画像データの送信等が含まれる。ＭＦＰ連携サーバ１２０とのやり取りにはＲＥＳＴ（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）やＳＯＡＰ（Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）等のプロトコルが使用される。ＭＦＰ連携サーバ１２０とのやり取りはこれに限定されず、その他の通信手段を用いてもよい。画像処理部４２４は、スキャン画像データに対して所定の処理を行って、表示制御部４２１が表示するＵＩ画面で用いられる画像を生成する。
The cooperation service request unit 423 requests various processes from the
＜サーバ装置のソフトウェア構成＞
まず、ＭＦＰ連携サーバ１２０のソフトウェア構成について説明する。ＭＦＰ連携サーバ１２０は、リクエスト制御部４３１、画像処理部４３２、ストレージサーバアクセス部４３３、データ管理部４３４、表示制御部４３５を有する。リクエスト制御部４３１は、外部装置からのリクエストを受信できる状態で待機しており、受信したリクエスト内容に応じて、画像処理部４３２、ストレージサーバアクセス部４３３、データ管理部４３４に対し所定の処理を実行する。
<Software Configuration of Server Device>
First, the software configuration of
画像処理部４３２は、ＭＦＰ１１０から送られてくるスキャン画像に対して、文字領域の検出処理、文字認識処理、類似文書（帳票）の判定処理（図８から図１０を用いて後述する）といった解析処理、回転や傾き補正といった画像加工処理を行う。画像処理部４３２は、図４（ｂ）に示すように、画像補正部４５１、文字領域検出部４５２、ＯＣＲ（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理部（文字認識部）４５３を有する。画像処理部４３２は、文書先頭ページ候補抽出部４６１、文書先頭ページ判定部４７１をさらに有する。文書先頭ページ候補抽出部４６１は、レイアウト解析部４６２、類似度算出部４６３を有する。文書先頭ページ判定部４７１は、不適合率算出部４７２、分割判定利用フラグ設定部４７３を有する。画像処理部４３２が有する各機能部の処理の詳細については、全体の処理の説明の中で随時行う。なお、各機能部は、他の機能部の一部の機能を担ってもよい。
The
ストレージサーバアクセス部４３３は、ストレージサーバ１３０に対する処理のリクエストを行う。クラウドサービスでは、ＲＥＳＴやＳＯＡＰ等のプロトコルを用いてストレージサーバにファイルを保存したり、保存したファイルを取得したりする様々なインタフェースを公開している。ストレージサーバアクセス部４３３は、公開されたストレージサーバのインタフェースを使用して、ストレージサーバ１３０に対するリクエストを行う。データ管理部４３４は、ＭＦＰ連携サーバ１２０で管理するユーザ情報、画像解析結果、各種設定データ等を保持・管理する。
The storage
表示制御部４３５は、インターネット経由で接続されたＰＣやモバイル端末（いずれも不図示）上で動作しているウェブブラウザからのリクエストを受けて、画面表示に必要な画面情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由で、ＭＦＰ連携サーバ１２０に登録されているユーザ情報を確認したり、スキャン設定を変更したりできる。
The
次に、ストレージサーバ１３０のソフトウェア構成について説明する。ストレージサーバ１３０は、リクエスト制御部４４１、ファイル管理部４４２、表示制御部４４３を有する。リクエスト制御部４４１は、外部装置からのリクエストを受信できる状態で待機しており、本実施形態においてはＭＦＰ連携サーバ１２０からのリクエストに応じて、受信したファイルの保存や保存ファイルの読み出しをファイル管理部４４２に指示する。そして、リクエストに応じたレスポンスをＭＦＰ連携サーバ１２０に返す。表示制御部４４３は、インターネット経由で接続されたＰＣやモバイル端末（不図示）上で動作しているウェブブラウザからのリクエストを受けて、画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由で、ストレージサーバ１３０に登録されている保存ファイルを確認したり取得したりできる。
Next, the software configuration of the
なお、図４（ａ）を用いてＭＦＰ１１０がアディショナル機能モジュール４２０を有する構成例について説明したが、本実施形態はこの構成に限定されない。例えば、クライアントＰＣ１１１がアディショナル機能モジュール４２０の機能を含んでいても構わない。すなわち、ＭＦＰ１１０にて得たスキャン画像の解析リクエストや解析結果に基づく各文書における文書先頭ページの確定やファイル名の設定等を、クライアントＰＣ１１１で行うようなシステム構成でも構わない。
Although the configuration example in which the
クライアントＰＣ１１１にて各文書における文書先頭ページの確定やファイル名の設定等を行う場合、これら処理を行うためのプログラム（モジュール）は、クライアントＰＣ１１１に予めインストールしておく構成でもよい。ただし、これに限定されず、例えば、クライアントＰＣ１１１が備える汎用のウェブブラウザを利用して、文書先頭ページの確定等を行うためのウェブアプリケーションをＭＦＰ連携サーバ１２０から取得して実行する構成でもよい。
When the
＜画像処理システム全体の処理の流れ＞
図５は、ＭＦＰ１１０にて複数の文書をページ単位で連続してスキャンし、得られたスキャン画像をファイル化してストレージサーバ１３０に保存（送信）する際の、各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図５のシーケンス図ではＭＦＰ１１０がＭＦＰ連携サーバ１２０とやり取りを行う場合の説明となっているが、後述する解析結果取得、画面の表示等はＭＦＰ１１０でなくクライアントＰＣ１１１が実行する構成でも構わない。
<Processing flow of the entire image processing system>
FIG. 5 shows the flow of processing between devices when the
ＭＦＰ１１０は、通常の状態では提供する各機能を実施するためのボタンを並べたメイン画面をタッチパネル上に表示する。
ＭＦＰ１１０にスキャン画像をストレージサーバ１３０に送信するための追加アプリケーション（以降、スキャンアプリと呼ぶ）をインストールすることで、アプリケーションの機能を使用するボタンがＭＦＰ１１０のメイン画面に表示される。メイン画面に表示されたボタンがユーザ操作によって押下されると、スキャン画像をストレージサーバ１３０に送信するための画面が表示され、図５のシーケンス図で示される一連の処理が開始する。以下、図５のシーケンス図に沿って、装置間のやり取りを時系列に説明する。なお、以下の説明において記号「Ｓ」はステップを表す。
By installing an additional application (hereinafter referred to as a scan application) for transmitting scanned images to
Ｓ５０１では、スキャンアプリが実行されることで、ＭＦＰ１１０は、ＭＦＰ連携サーバ１２０にアクセスするためのログイン認証の情報を入力するＵＩ画面（ログイン画面）を操作部２２０に表示する。
In S<b>501 , the
Ｓ５０２では、ユーザが、予め登録されているユーザＩＤとパスワードを、ログイン画面上の入力欄にそれぞれ入力しログインボタンを押下すると、ログイン認証のリクエストがＭＦＰ連携サーバ１２０に送信される。
In step S<b>502 , when the user enters a pre-registered user ID and password in the entry fields on the login screen and presses the login button, a request for login authentication is transmitted to
Ｓ５０３では、ログイン認証のリクエストを受けたＭＦＰ連携サーバ１２０は、当該リクエストに含まれるユーザＩＤとパスワードを用いて認証処理を行う。認証処理の結果、正規のユーザであることが確認されれば、ＭＦＰ連携サーバ１２０は、アクセストークンをＭＦＰ１１０に返す。以降、ＭＦＰ１１０からＭＦＰ連携サーバ１２０に対して行う各種リクエストの際にこのアクセストークンを一緒に送ることで、ログイン中のユーザが特定される。本実施形態では、ＭＦＰ連携サーバ１２０へのログインの完了によって、ストレージサーバ１３０へのログインも同時に完了するものとする。このためにユーザは、インターネット上のＰＣ（不図示）のウェブブラウザ等を介して、ＭＦＰ連携サービスを利用するためのユーザＩＤとストレージサービスを利用するためのユーザＩＤとの紐づけを予め行っておく。これにより、ＭＦＰ連携サーバ１２０へのログイン認証に成功すれば同時にストレージサーバ１３０へのログイン認証も完了し、ストレージサーバ１３０にログインするための操作を省略できる。そして、ＭＦＰ連携サーバ１２０においては、自装置にログインしたユーザからのストレージサービスに関するリクエストにも対応可能となる。なお、ログイン認証の方法は一般的に公知な手法（Ｂａｓｉｃ認証、Ｄｉｇｅｓｔ認証、ＯＡｕｔｈを用いた認可等）を用いて行えばよい。
In S503, the
ログインが完了すると、ＭＦＰ１１０は、スキャン設定用のＵＩ画面（以下、「スキャン設定画面」と表記）を操作部２２０に表示する（Ｓ５０４）。ユーザが、スキャン設定画面を介して、スキャン処理についての詳細な条件設定を行い、原稿台ガラスまたはＡＤＦにスキャン対象である複数の紙文書をセットし、「スキャン開始」ボタンを押下すると、スキャンが実行される（Ｓ５０５）。これにより、複数の紙文書を電子化したスキャン画像データ（スキャン画像）が生成される。スキャンの完了後、ＭＦＰ１１０は、スキャンによって得られたスキャン画像データを、その解析リクエストと共にＭＦＰ連携サーバ１２０に送信する（Ｓ５０６）。
When login is completed, the
スキャン画像の解析リクエストを受けたＭＦＰ連携サーバ１２０では、リクエスト制御部４３１が画像処理部４３２に対し、画像解析処理の実行を指示する（Ｓ５０７）。その際、リクエスト制御部４３１は、受信した解析リクエストを一意に特定可能な識別子であるリクエストＩＤ（”processId”）をＭＦＰ１１０に返す。一方、解析処理の実行指示を受けた画像処理部４３２は、スキャン画像データに対する解析処理を実行する（Ｓ５０８）。
In the
画像解析処理では、まず、Ｓ５０６にてＭＦＰ１１０より受信したスキャン画像データに対して、Ｓ５０８にて各文書の文書先頭ページ候補を抽出し、抽出した文書先頭ページ候補に対して詳細な解析を行う。そして、解析結果を基づき、各文書の区切り位置を判定するための各文書の文書先頭ページを確定する。Ｓ５０８の解析処理の詳細については、図８から図１０を用いて後述する。なお、スキャン画像は、スキャン画像群ともいう。
In the image analysis process, first, in S508, document first page candidates of each document are extracted from the scanned image data received from the
上記画像解析処理が行われている間、ＭＦＰ１１０は、上述のリクエストＩＤを使用して、ＭＦＰ連携サーバ１２０に対して定期的（例えば数百ミリ秒から数ミリ秒程度毎等）に処理状況の問い合わせを行う（Ｓ５０９～Ｓ５０９’）。この問い合わせは、ＭＦＰ連携サーバ１２０からの解析処理の完了レスポンス（Ｓ５１０）が取得できるまで繰り返し実行される。ＭＦＰ連携サーバ１２０は、処理状況の問い合わせを受けると、リクエストＩＤに対応する画像解析処理の進行状況を確認し、完了していない場合は処理中を表すレスポンスを返す。また、完了していた場合は完了を表すレスポンスを返す。このレスポンスの”status”には現在の処理状況を示す文字列、具体的には、ＭＦＰ連携サーバ１２０で処理が行われている最中である場合には”processing”が入り、処理が完了している場合には”completed”が入る。なお、処理が失敗した場合の”failed”など、他のステータスの文字列が入ることもある。また、処理完了時（statusがcompletedの場合）のレスポンスには、ステータス情報に加え、スキャン画像を解析した解析結果情報、スキャン設定情報等が含まれる。
While the image analysis processing is being performed, the
処理完了レスポンスを受信した後、ＭＦＰ１１０は、当該レスポンスに含まれる、画像解析結果の格納先を示すＵＲＬを用いて、画像解析処理結果の取得を、ＭＦＰ連携サーバ１２０に対してリクエストする（Ｓ５１１）。リクエストを受けたＭＦＰ連携サーバ１２０では、リクエスト制御部４３１が解析処理の結果情報をＭＦＰ１１０に返す。
After receiving the processing completion response, the
そして、ＭＦＰ１１０は、Ｓ５１１のリクエストで取得した解析処理の結果情報を使用して、スキャン画像群における各文書の分割ページを確定するためのＵＩ画面（以下、「分割ページ確定画面」と表記）を表示する（Ｓ５１２）。表示された分割ページ確定画面での処理の詳細については、図７（ａ）を用いて後述する。
Then, the
分割ページ確定画面７１０（図７（ａ））にてスキャン画像群に対し各文書の区切り位置が必要に応じてユーザ操作で再指定された状態で、「ＯＫ」ボタン７１７が押下されると、スキャン画像において、各文書の区切りとなる位置が確定されることとなる。
When the "OK"
そして、ＭＦＰ１１０は、Ｓ５１２の処理で確定した位置で区切られた各ファイルのファイル名を設定するためのＵＩ画面（以下、「ファイル名設定画面」と表記）を表示する（Ｓ５１３）。表示されたファイル名設定画面での処理の詳細については、図７（ｂ）を用いて後述する。ファイル名設定画面７２０（図７（ｂ）にて各ファイルのファイル名が入力された状態で、「ＯＫ」ボタン７２７が押下されると、各ファイルのファイル名が設定されることとなる。
Then, the
そして、Ｓ５１２にて確定された各文書の区切りとなる位置やＳ５１３にて設定されたファイル名などに関する情報がＭＦＰ連携サーバ１２０に送られる（Ｓ５１４）。ＭＦＰ連携サーバ１２０はリクエストを受信すると、ＭＦＰ１１０より受信した情報に基づきファイル生成処理を開始するとともにリクエストを正常に受けたことをＭＦＰ１１０に返す。ＭＦＰ１１０は送信のレスポンスを受けると処理を終了し、Ｓ５０４のスキャン設定画面表示に戻る。
Then, the information about the position of each document delimiter decided in S512 and the file name set in S513 is sent to the MFP cooperation server 120 (S514). Upon receiving the request,
一方、ＭＦＰ連携サーバ１２０では、事前に登録されたスキャン設定からストレージサーバ１３０に送信するファイルフォーマットの情報を取得し、当該ファイルフォーマットに従ってスキャン画像からファイルを生成する（Ｓ５１５）。この際、生成されたファイルにはＳ５１３で設定されたファイル名が付されることになる。こうして生成されたスキャン画像ファイルは、ストレージサーバ１３０に送信され、保存される（Ｓ５１６）。スキャン画像ファイルを受信したストレージサーバ１３０は、ＭＦＰ連携サーバ１２０のリクエスト制御部４３１にスキャン画像ファイルの送信完了のレスポンスを返す。
On the other hand, the
以上が、画像処理システム全体の処理の流れである。 The above is the processing flow of the entire image processing system.
図６は、複数の文書をページ単位で連続してスキャンして得られたスキャン画像群例を示す図である。ＭＦＰ１１０によりＳ５０５の処理にて生成されたスキャン画像群は、「スキャン画像群におけるページ順」に示すように、６ページで構成されており、１、２、３、４、５、６の順番となっているものとする。６ページで構成されるスキャン画像群は、３つの文書のスキャン画像からなる。３つの文書は、それぞれ文書Ａ、文書Ｂ、文書Ｃであるとする。スキャン画像群におけるページ順が２番、３番、５番のページ画像はスキャン画像群におけるページ順が１番のページ画像とレイアウトが類似している。以降、スキャン画像群におけるページ順が１番のページ画像を「スキャン先頭ページ」と呼称し、スキャン画像群に含まれるある文書内の１ページ目を「文書先頭ページ」と呼称し区別することにする。図６の例では、スキャン画像群におけるページ順が１のページ画像がスキャン先頭ページかつ文書先頭ページであり、２番、５番のページ画像が文書先頭ページであるということになる。スキャン先頭ページとレイアウトが類似しているページ画像に記載された内容を見ると、それぞれ文書の識別子を表す「文書ＩＤ」と、文書中のページ番号を表す「Ｐ．」が記載されている。スキャン先頭ページの「文書ＩＤ」の値は１、「Ｐ．」の値は１である。スキャン画像群におけるページ番号が２番、３番、５番のページについては、この順に「文書ＩＤ」の値は２、２、３であり、また「Ｐ．」の値は１、２、１である。一般的に同一の文書中では文書の識別子は同一であり、文書内のページ番号は連番もしくは文書内のページ順に大きくなっていくものと認めることができる。また、スキャン先頭ページは、スキャン画像群に含まれる１つないし複数の文書のうちの１つの文書の文書先頭ページである可能性が高いと認めることができる。また、スキャン画像群に含まれる１つないし複数の文書の文書先頭ページは、スキャン先頭ページと類似していることが多いという前提に立つものである。本実施形態では、これらの前提のもとでスキャン画像群に含まれる１つないし複数の文書を文書単位で適切に分割する（判別する）ための手法を提案する。
FIG. 6 is a diagram showing an example of a scanned image group obtained by continuously scanning a plurality of documents page by page. The scan image group generated by the process of S505 by the
分割ページ確定画面での処理の詳細について、図を用いて説明する。図７は、ＭＦＰ１１０のタッチパネルに表示されるＵＩ画面例を示す図であり、図７（ａ）にＳ５１２にて表示される分割ページ確定画面例を示し、図７（ｂ）に、Ｓ５１３にて表示されるファイル名設定画面例を示す。分割ページ確定画面およびファイル名設定画面の表示箇所は、これに限定されず、クライアントＰＣ１１１であってもよい。図７（ａ）に示すように、分割ページ確定画面７１０には、スキャン及び画像解析処理が完了して得られた、ストレージサーバ１３０に送信する前のスキャン画像群の全てのページが表示される。すなわち、分割ページ確定画面７１０には、スキャン画像群のサムネイル画像７１１及びサムネイル画像７１１に対応するページ番号７１２が、スキャン画像群のページ数分だけ表示される。さらに、分割ページ確定画面７１０には、Ｓ５０８の画像処理で判定された、スキャン画像群における各文書の区切り位置がユーザによって確認可能に表示される。ただし、当該各文書の区切り位置は、ユーザ操作によって修正可能となっている。すなわち、分割ページ確定画面７１０には、Ｓ５０８の画像処理で判定された各文書の区切り位置を示す文書区切り線７１３が表示され、文書区切り線７１３を例えばドラッグするなどのユーザ操作によって各文書の区切り入りを修正可能となっている。分割ページ確定画面７１０には、文書区切り位置を確定するためのボタンである「ＯＫ」ボタン７１７が表示され、ユーザ操作によって押下されると、分割ページ確定画面７１０で設定された文書の区切り位置が文書の区切り情報として確定することになる。
Details of the processing on the divided page confirmation screen will be described with reference to the drawings. FIGS. 7A and 7B show examples of UI screens displayed on the touch panel of the
ファイル名設定画面での処理の詳細について、図７（ｂ）を用いて説明する。図７（ｂ）に示すように、ファイル名設定画面７２０には、分割ページ確定画面７１０と同様、スキャン画像群のサムネイル画像７２１及びサムネイル画像７２１に対応するページ番号７２２が、スキャン画像群のページ数分だけ表示される。さらに、ファイル名設定画面７２０には、Ｓ５０８の画像処理で判定された各文書の区切り位置を示す文書区切り線７２３と、文書区切り線７２３で区切られた文書単位でファイル名を設定するためのファイル名設定欄７２４とが表示される。また、ファイル名設定画面７２０には、ファイル名を設定するための「ＯＫ」ボタン７２７が表示される。例えばタップなどのユーザ操作でファイル名設定欄７２４が選択されると、キーボードなどのファイル名を入力するための入力用ＵＩ画面（不図示）が表示され、入力用ＵＩ画面を介して文字列が入力されると、入力文字列がファイル名設定欄７２４に表示される。そして、このような操作が各ファイルに対して実行された後、「ＯＫ」ボタン７２７がユーザ操作によって押下されると、次の処理が行われる。すなわち、上述のスキャン画像群における各文書の区切り位置およびファイル名などに関する情報が、ＭＦＰ連携サーバ１２０へ送信される。
Details of the processing on the file name setting screen will be described with reference to FIG. 7(b). As shown in FIG. 7B, on the file
＜画像解析処理＞
続いて、上述のＳ５０８にてＭＦＰ連携サーバ１２０の画像処理部４３２が実行する画像解析処理について、図を用いて説明する。図８は、画像解析処理の流れを示すフローチャートである。
<Image analysis processing>
Next, the image analysis processing executed by the
Ｓ８０１では、画像処理部４３２（画像補正部４５１）は、複数の文書をページ単位で連続してスキャンして得られたスキャン画像群に対して画像補正を行う。画像補正部４５１は、スキャン画像群の傾きなどを補正する処理を実行する。なお、スキャン画像群の傾きなどを補正する処理には、公知の技術が用いられる。
In S801, the image processing unit 432 (image correction unit 451) performs image correction on a group of scanned images obtained by continuously scanning a plurality of documents page by page. The
Ｓ８０２では、画像処理部４３２（文書先頭ページ候補抽出部４６１）は、画像補正後のスキャン画像群に対して、複数の文書の各文書における先頭ページ候補を抽出する文書先頭ページ候補抽出処理を実行する。この文書先頭ページ候補抽出処理の詳細な流れについて、図を用いて後述する。 In S802, the image processing unit 432 (document first page candidate extraction unit 461) executes document first page candidate extraction processing for extracting first page candidates in each of a plurality of documents from the scanned image group after image correction. do. A detailed flow of this document first page candidate extraction process will be described later with reference to the drawings.
Ｓ８０３では、画像処理部４３２（文書先頭ページ判定部４７１）は、Ｓ８０２にて抽出した先頭ページ候補に対して、文書先頭ページを判定する処理を行う。文書先頭ページ判定処理の詳細な流れについては、図を用いて後述する。 In S803, the image processing unit 432 (document first page determination unit 471) performs a document first page determination process on the first page candidate extracted in S802. A detailed flow of the document first page determination process will be described later with reference to the drawings.
Ｓ８０３の処理を完了すると、図８に示すフローを終える。 When the processing of S803 is completed, the flow shown in FIG. 8 ends.
＜文書先頭ページ候補抽出処理＞
続いて、上述のＳ８０２にて画像処理部４３２が実行する文書先頭ページ候補抽出処理について、図を用いて説明する。図９は、文書先頭ページ候補抽出処理の詳細な流れを示すフローチャートである。
<Document First Page Candidate Extraction Processing>
Next, document first page candidate extraction processing executed by the
Ｓ９０１では、ＭＦＰ連携サーバ１２０の画像処理部４３２（文書先頭ページ候補抽出部４６１）は、Ｓ５０６においてＭＦＰ１１０より受信したスキャン画像群のうち、スキャン先頭ページから順に、未処理のページに対応するページ画像を取得する。
In S901, the image processing unit 432 (document first page candidate extraction unit 461) of the
Ｓ９０２では、ＭＦＰ連携サーバ１２０の画像処理部４３２（レイアウト解析部４６２）は、Ｓ９０１で取得したページ画像に対して、レイアウト解析を実施する。レイアウト解析の具体的手法は限定されないが、ここでは一例としてページ画像内に存在する文字領域の解析を行うことによって行うものとして説明を進める。レイアウト解析部４６２は、例えば、現在の処理対象であるページ画像に対して文字領域の検出処理を実行するよう文字領域検出部４５２に指示して文字領域を検出する処理を実行させる。そして、レイアウト解析部４６２は、文字領域検出処理後のページ画像のヒストグラムを抽出したり、画素の塊を抽出したりして、文字領域や図形領域など、ページ画像のレイアウトを解析する。すなわち、Ｓ９０２では、レイアウト解析部４６２は、スキャン画像群（スキャン画像）についてページ単位でレイアウトを解析するといえる。なお、Ｓ９０２では、画像処理部４３２（レイアウト解析部４６２）は、文字領域検出部４５２を制御する制御部として機能するともいえる。
In S902, the image processing unit 432 (layout analysis unit 462) of the
Ｓ９０３では、画像処理部４３２は、Ｓ９０２の処理で得たレイアウト解析結果を、レイアウト解析情報としてデータ管理部４３４に保存する。
In S903, the
Ｓ９０４では、画像処理部４３２は、Ｓ９０２でレイアウト解析を実施したページ画像がスキャン先頭ページであるか否かを判定する。スキャン先頭ページであるとの判定結果を得た場合（Ｓ９０４のＹＥＳ）、処理がＳ９０７に移行される。他方、Ｓ９０２でレイアウト解析を実施したページ画像が文書の２ページ目以降のページ画像であり、スキャン先頭ページではないとの判定結果を得た場合（Ｓ９０４のＮＯ）、処理がＳ９０５に移行される。
In S904, the
Ｓ９０５では、画像処理部４３２（類似度算出部４６３）は、先ず、１ページ目（スキャン先頭ページ）の画像に対応し、Ｓ９０２の処理で得たレイアウト解析結果をデータ管理部４３４より取得する。そして、画像処理部４３２（類似度算出部４６３）は、取得したレイアウト解析結果と、現在の処理対象であるページ画像に対するレイアウト解析結果とを比較し、比較結果を基に類似度を導出する。類似度の導出について、具体的な方法は限定しないが、ここでは一例としてレイアウト解析結果として得られた画像内に存在する文字領域を示す座標群のそれぞれについて、各領域の重なり面積を類似度として導出するものとする。
In S905, the image processing unit 432 (similarity calculation unit 463) first acquires from the
Ｓ９０６では、画像処理部４３２（文書先頭ページ候補抽出部４６１）は、Ｓ９０５にて算出した類似度が所定の閾値を超えるか否かにより、現在の処理対象であるページ画像が１ページ目（スキャン先頭ページ）の画像と類似しているか否かを判定する。類似度が所定の閾値を超え、現在の処理対象であるページ画像が１ページ目の画像と類似しているとの判定結果を得た場合（Ｓ９０６のＹＥＳ）、処理がＳ９０７に移行される。他方、類似度が所定の閾値を超えず、現在の処理対象であるページ画像が１ページ目の画像と類似していないとの判定結果を得た場合（Ｓ９０６のＮＯ）、処理がＳ９０８に移行される。 In S906, the image processing unit 432 (document first page candidate extraction unit 461) determines whether the page image currently being processed is the first page (scan first page) is similar to the image. If the degree of similarity exceeds the predetermined threshold and it is determined that the page image currently being processed is similar to the image of the first page (YES in S906), the process proceeds to S907. On the other hand, if the degree of similarity does not exceed the predetermined threshold value and it is determined that the page image currently being processed is not similar to the image of the first page (NO in S906), the process proceeds to S908. be done.
Ｓ９０７では、画像処理部４３２（文書先頭ページ候補抽出部４６１）は、現在の処理対象であるページ画像を文書先頭ページ候補として登録する。すなわち、Ｓ９０７では、画像処理部４３２は、Ｓ９０５で算出した類似度に基づき、スキャン画像から、複数の文書の各文書における文書先頭ページ候補を抽出しているといえる。
In S907, the image processing unit 432 (document first page candidate extraction unit 461) registers the page image currently being processed as a document first page candidate. That is, in S907, the
Ｓ９０８では、画像処理部４３２は、現在の処理対象であるページ画像を処理済みとして登録する。これらＳ９０７、Ｓ９０８による登録処理は、例えば、下記の表１に示すようなページ管理リストをデータ管理部４３４に保持することで行ってもよい。表１に示すページ管理リストでは、スキャン画像群に対するページ番号と、各ページに対する文書先頭ページ候補抽出処理の処理状況と、文書先頭ページ候補か否かを示すフラグ情報とが管理されている。さらに、ページ管理リストでは、各ページに対する文書先頭ページ判定処理の処理状況と、文書先頭ページか否かを示すフラグ情報も管理されている。
In S908, the
ページ管理リストには、文書先頭ページ候補フラグの値として、Ｓ９０７の処理により文書先頭ページ候補として登録されたページ番号（ページ画像）に対しては「１」が付され、それ以外のページ番号（ページ画像）に対しては「０」が付されることになる。すなわち、Ｓ９０７の処理がスキップされて文書先頭ページ候補として登録されていないページ番号に対しては文書先頭ページ候補フラグの値として「０」が付されることになる。また、ページ管理リストには、文書先頭ページ候補抽出処理の処理状況の値として、Ｓ９０８の処理により処理済みページとして登録されたページ番号（ページ画像）に対しては「完了」が付されることになる。それ以外のページ番号（ページ画像）に対しては「未処理」が付されることになる。すなわち、未処理であり、Ｓ９０８の処理が行われていないページ番号に対しては、文書先頭ページ候補抽出処理の処理状況の値として「未処理」が付されることになる。 In the page management list, as the value of the document first page candidate flag, "1" is added to the page number (page image) registered as the document first page candidate by the process of S907, and the other page numbers ( page image) is assigned "0". That is, "0" is attached as the value of the document first page candidate flag to the page number that is not registered as the document first page candidate because the process of S907 is skipped. Also, in the page management list, as a value of the processing status of the document first page candidate extraction processing, the page number (page image) registered as the processed page by the processing of S908 is added with "completed". become. "Unprocessed" is added to other page numbers (page images). In other words, "unprocessed" is attached as the value of the processing status of the document first page candidate extraction process to the page number that is unprocessed and for which the process of S908 has not been performed.
さらに、ページ管理リストには、図１０を用いて後述する文書先頭ページ判定処理の処理状況及びその結果登録された文書先頭ページフラグも管理されており、ページ番号に対して文書先頭ページ候補処理の場合と同様な値が付される。すなわち、ページ管理リストには、文書先頭ページフラグの値として、文書先頭ページとして登録されたページ番号（ページ画像）に対しては「１」が付され、それ以外のページ番号（ページ画像）に対しては「０」が付されることになる。すなわち、文書先頭ページとして登録されていないページ番号に対しては文書先頭ページフラグの値として「０」が付されることになる。また、ページ管理リストには、文書先頭ページ判定処理の処理状況の値として、処理済みページとして登録されたページ番号（ページ画像）に対しては「完了」が付されることになる。それ以外のページ番号（ページ画像）に対しては「未処理」が付されることになる。 Further, the page management list also manages the processing status of document first page determination processing, which will be described later with reference to FIG. 10, and the document first page flag registered as a result. The same value as in the case is attached. That is, in the page management list, as the value of the document first page flag, "1" is added to the page number (page image) registered as the document first page, and "1" is added to the other page numbers (page images). "0" will be added to it. That is, "0" is added as the value of the document first page flag to the page number that is not registered as the document first page. Also, in the page management list, as the value of the processing status of the document first page determination processing, "completed" is attached to the page number (page image) registered as the processed page. "Unprocessed" is added to other page numbers (page images).
表１の例では、９ページで構成されるスキャン画像群のうち、３ページ目まで図９に示す文書先頭ページ候補抽出処理が完了しており、そのうち１ページ目及び３ページ目が文書先頭ページ候補として抽出されたことを示している。 In the example of Table 1, the document first page candidate extraction process shown in FIG. 9 has been completed up to the third page of the scan image group composed of nine pages, and the first and third pages are document first page candidates. It shows that it was extracted as a candidate.
図９の説明に戻る。Ｓ９０９では、画像処理部４３２は、表１に示されたページ管理リストから、現在処理していたページの次のページが存在するか否かを判定する。次のページが存在するとの判定結果を得た場合（Ｓ９０９のＹＥＳ）、処理がＳ９０１に戻され、次のページのページ画像に対して、Ｓ９０１からＳ９０９の一連の処理が実行される。他方、次のページが存在しないとの判定結果を得た場合（Ｓ９０９のＮＯ）、図９に示すフローを終える。
Returning to the description of FIG. In S909, the
以上、図９を用いて説明したフローを実行することにより、Ｓ５０５において生成された複数ページで構成されるスキャン画像群から、複数の文書の各文書における先頭ページ候補が抽出されることになる。 As described above, by executing the flow described with reference to FIG. 9, first page candidates in each document of a plurality of documents are extracted from the scan image group composed of a plurality of pages generated in S505.
＜文書先頭ページ判定処理＞
続いて、上述のＳ８０３にて画像処理部４３２が実行する文書先頭ページ判定処理について、図を用いて説明する。図１０は、文書先頭ページ判定処理の詳細な流れを示すフローチャートである。
<Document First Page Determination Processing>
Next, document first page determination processing executed by the
Ｓ１００１では、ＭＦＰ連携サーバ１２０の画像処理部４３２は、表１に示したページ管理リストをデータ管理部４３４より取得し、文書先頭ページ判定処理状況が「未処理」であるもののうち、ページ番号の最も小さいページに対応する管理データを取得する。
In S1001, the
Ｓ１００２では、画像処理部４３２（文書先頭ページ判定部４７１）は、Ｓ１００１で取得した管理データのうち、文書先頭ページ候補フラグを参照することで、現在の処理対象であるページ番号が文書先頭ページ候補であるか否かを判定する。文書先頭ページ候補フラグが「０」であり、現在の処理対象であるページ番号が文書先頭ページ候補ではないとの判定結果を得た場合（Ｓ１００２のＮＯ）、処理がＳ１００９に移行される。他方、文書先頭ページ候補フラグが「１」であり、現在の処理対象であるページ番号が文書先頭ページ候補であるとの判定結果を得た場合（Ｓ１００２のＹＥＳ）、処理がＳ１００３に移行される。 In S1002, the image processing unit 432 (document first page determination unit 471) refers to the document first page candidate flag in the management data acquired in S1001 to determine whether the current page number to be processed is a document first page candidate. It is determined whether or not. If the document first page candidate flag is "0" and it is determined that the page number currently being processed is not the document first page candidate (NO in S1002), the process proceeds to S1009. On the other hand, if the document first page candidate flag is "1" and it is determined that the page number currently being processed is the document first page candidate (YES in S1002), the process proceeds to S1003. .
Ｓ１００３では、画像処理部４３２（文書先頭ページ判定部４７１）は、ページ管理リストを参照し、現在の処理対象であるページ番号の１つ前のページ番号が存在するか否かを判定する。現在の処理対象であるページ番号の１つ前のページ番号が存在するとの判定結果を得た場合（Ｓ１００３のＹＥＳ）、処理がＳ１００４に移行される。他方、現在の処理対象であるページ番号の１つ前のページ番号が存在しないとの判定結果を得た場合（Ｓ１００３のＮＯ）、処理がＳ１００８に移行される。 In S1003, the image processing unit 432 (document first page determination unit 471) refers to the page management list and determines whether or not there is a page number immediately preceding the page number currently being processed. If it is determined that there is a page number immediately preceding the current page number to be processed (YES in S1003), the process proceeds to S1004. On the other hand, if it is determined that there is no page number immediately preceding the page number currently being processed (NO in S1003), the process proceeds to S1008.
Ｓ１００４では、画像処理部４３２（文書先頭ページ判定部４７１）は、ページ管理リストを参照し、現在の処理対象であるページ番号の１つ前のページ番号に対して付された文書先頭ページ候補フラグの値を取得する。 In S1004, the image processing unit 432 (document first page determination unit 471) refers to the page management list, and determines whether the document first page candidate flag attached to the page number immediately before the page number to be currently processed. get the value of
Ｓ１００５では、画像処理部４３２（文書先頭ページ判定部４７１）は、Ｓ１００４で取得した、現在の処理対象であるページ番号の１つ前のページ番号に対して付された文書先頭ページ候補フラグの値が「１」であるか否かを判定する。現在の処理対象であるページ番号の１つ前のページ番号に対して付された文書先頭ページ候補フラグの値が「１」であるとの判定結果を得た場合（Ｓ１００５のＹＥＳ）、処理がＳ１００６に移行される。他方、現在の処理対象であるページ番号の１つ前のページ番号に対して付された文書先頭ページ候補フラグの値が「０」でるとの判定結果を得た場合（Ｓ１００５のＮＯ）、処理がＳ１００８に移行される。 In S1005, the image processing unit 432 (document first page determination unit 471) determines the value of the document first page candidate flag assigned to the page number immediately preceding the page number to be currently processed, which is acquired in S1004. is "1". If it is determined that the value of the document first page candidate flag attached to the page number immediately before the current page number to be processed is "1" (YES in S1005), the process is executed. The process proceeds to S1006. On the other hand, if it is determined that the value of the document first page candidate flag assigned to the page number immediately preceding the page number currently being processed is "0" (NO in S1005), the process is shifted to S1008.
Ｓ１００６では、画像処理部４３２（文書先頭ページ判定部４７１）は、現在の処理対象であるページ番号のページ画像に対してＯＣＲ処理を実行するようＯＣＲ処理部４５３に指示してＳ９０２の処理で検出した文字領域に対して文字認識処理を実行させる。なお、Ｓ１００６では、画像処理部４３２（文書先頭ページ判定部４７１）は、ＯＣＲ処理部４５３を制御する制御部として機能するともいえる。
In S1006, the image processing unit 432 (document first page determination unit 471) instructs the
Ｓ１００６にてＯＣＲ処理を実行して得られたＯＣＲ処理結果（文字認識結果）について、下記の表２を用いて説明する。表２は、ＯＣＲ処理結果例を示す表である。ＯＣＲ処理結果には、文字認識処理対象となる文字領域について、領域番号と、Ｘ座標と、Ｙ座標と、幅と、高さと、領域内文字列とが含まれる。なお、各文字領域の領域番号、座標（Ｘ座標、Ｙ座標）、幅、高さは、Ｓ９０２にて画像処理部４３２（文字領域検出部４５２）によって取得される。「Ｘ座標」は文字領域の左上隅のＸ座標、「Ｙ座標」は文字領域の左上隅のＹ座標、「幅」は文字領域のＸ（幅）方向のピクセル数、「高さ」は文字領域のＹ（高さ）方向のピクセル数を示す。 The OCR processing result (character recognition result) obtained by executing the OCR processing in S1006 will be described using Table 2 below. Table 2 is a table showing an example of OCR processing results. The OCR processing result includes the region number, the X coordinate, the Y coordinate, the width, the height, and the character string in the region for the character region to be subjected to the character recognition processing. Note that the area number, coordinates (X coordinate, Y coordinate), width, and height of each character area are acquired by the image processing unit 432 (character area detection unit 452) in S902. "X coordinate" is the X coordinate of the upper left corner of the character area, "Y coordinate" is the Y coordinate of the upper left corner of the character area, "width" is the number of pixels in the X (width) direction of the character area, and "height" is the character. Indicates the number of pixels in the Y (height) direction of the region.
Ｓ１００７では、画像処理部４３２（文書先頭ページ判定部４７１）は、Ｓ１００６の処理で得たＯＣＲ結果（文字認識結果）に基づき、現在の処理対象であるページ画像が文書先頭ページであるか否かの判定を行う。本実施形態では、Ｓ１００６で取得した現在の処理対象のページ画像のＯＣＲ結果と、１つ前のページ番号のページ画像のＯＣＲ結果とを比較することで判定を行う。なお、判定の方法は、これに限定されず、ページ画像のＯＣＲ結果を用いたものであればよい。 In S1007, the image processing unit 432 (document first page determination unit 471) determines whether the current page image to be processed is the document first page based on the OCR result (character recognition result) obtained in the processing of S1006. judgment is made. In this embodiment, determination is made by comparing the OCR result of the current page image to be processed acquired in S1006 with the OCR result of the page image of the previous page number. Note that the determination method is not limited to this, as long as it uses the OCR result of the page image.
＜ＯＣＲ結果による文書先頭ページ判定処理＞
続いて、上述のＳ１００７にて画像処理部４３２（文書先頭ページ判定部４７１）が実行する、ＯＣＲ結果による文書先頭ページ判定処理について、図を用いて説明する。図１１は、ＯＣＲ結果による文書先頭ページ判定処理の詳細な流れを示すフローチャートである。
<Document First Page Determination Processing Based on OCR Results>
Next, document first page determination processing based on the OCR results, which is executed by the image processing unit 432 (document first page determination unit 471) in S1007 described above, will be described with reference to the drawings. FIG. 11 is a flow chart showing the detailed flow of document first page determination processing based on OCR results.
Ｓ１１０１では、画像処理部４３２は、Ｓ１００６で取得した、現在の処理対象であるページ画像に対するＯＣＲ結果を取得する。Ｓ１１０１で取得されるＯＣＲ結果は、例えば、表２に示されるＯＣＲ処理結果であるとする。
In S1101, the
Ｓ１１０２では、画像処理部４３２は、データ管理部４３４より、現在の処理対象であるページ画像の１つ前のページ画像のＯＣＲ結果を取得する。Ｓ１１０２の処理で画像処理部４３２が取得した１つ前のページ画像のＯＣＲ結果は、例えば、下記の表３に示されるＯＣＲ結果であるとする。表３に示されるＯＣＲ結果は、表２に示されるＯＣＲ結果と比較すると、領域番号１～５では領域内文字列（ＯＣＲ文字列）が一致するが、領域番号６及び７では領域内文字列（ＯＣＲ文字列）が異なるとする。
In S<b>1102 , the
Ｓ１１０３では、画像処理部４３２は、Ｓ１１０１で取得した現在の処理対象であるページ画像に対するＯＣＲ結果のうち、未取得の領域内文字列（ＯＣＲ文字列）のうち小さい領域番号に対応する領域内文字列（ＯＣＲ文字列）を取得する。画像処理部４３２は、例えば、表２に示されるＯＣＲ結果では、まず領域番号１に対応する領域内文字列（ＯＣＲ文字列）である「見積書」を取得する。なお、処理が後述するＳ１１０５に移行した場合には、領域番号をインクリメントして次の領域番号に対応する領域内文字列（ＯＣＲ文字列）がＳ１１０３に戻されたときに取得される、という処理手順となる。
In S1103, the
Ｓ１１０４では、画像処理部４３２は、Ｓ１１０３で取得した領域内文字列（ＯＣＲ文字列）が後述する同一文書判定ルールに含まれるか否かを判定する。
In S1104, the
同一文書判定ルールについて、下記の表を用いて説明する。下記の表４は、Ｓ１１０４の判定処理で用いるために予め設定された同一文書判定ルール例を示す表である。同一文書判定ルールには、ルールの識別子であるルールＩＤと、同一文書判定処理に用いられる文字列である判定トークンと、各判定トークンに対して判定の際に同一文書と判定するために適用する条件を示す判定条件とが設定されている。判定条件は、判定トークンごとに「連続」または「同一」の値が設定されており、この値に応じて後述するＳ１１１０の同一文書判定処理における判定条件が規定される。より具体的には、判定条件が「連続」であった場合には、判定に用いる２つの領域内文字列（ＯＣＲ文字列）の間に連続の関係にあるか否かに基づく判定を行う。判定条件が「同一」であった場合には、２つの領域内文字列（ＯＣＲ文字列）が同一であるか否かに基づく判定を行う。例えば、２つの領域内文字列（ＯＣＲ文字列）「Ｐａｇｅ １」「Ｐａｇｅ ２」があった場合、両方の領域内文字列の間で値が連続であると認められるため、判定条件が「連続」であった場合には同一文書であると判定される。別の例として、２つの領域内文字列（ＯＣＲ文字列）「文書番号 Ａ－１２３」「文書番号 Ａ－１２３」があった場合、両方の領域内文字列は同一であると認められるため、判定条件が「同一」であった場合には同一文書であると判定される。
The same document determination rule will be explained using the table below. Table 4 below is a table showing an example of a same document determination rule set in advance for use in the determination processing of S1104. The same document determination rule includes a rule ID that is an identifier of the rule, a determination token that is a character string used for the same document determination process, and each determination token that is applied to determine that the document is the same document at the time of determination. A determination condition indicating the condition is set. As the determination condition, a value of "successive" or "same" is set for each determination token, and the determination condition in the same document determination process of S1110, which will be described later, is defined according to this value. More specifically, if the determination condition is "continuous", determination is made based on whether or not there is a continuity relationship between the two character strings (OCR character strings) used for determination. If the determination condition is "same", determination is made based on whether the two character strings (OCR character strings) in the area are the same. For example, if there are two character strings (OCR character strings) "
Ｓ１１０４の判定処理が、例えば、表４に示される判定トークンのうち、領域内文字列（ＯＣＲ文字列）に含まれるものがあるか否かで行われる。例えば、表２に示されるＯＣＲ結果のうち、領域番号４に対応する領域内文字列「見積番号: R12-3456」は、表４に示すルールＩＤ７に対応する判定トークン「見積番号」が含まれており、それ以外の領域内文字列は含まれていないと判定される。領域内文字列（ＯＣＲ文字列）に含まれる判定トークンが存在するとの判定結果を得た場合（Ｓ１１０４のＹＥＳ）、処理がＳ１１０７に移行される。他方、領域内文字列（ＯＣＲ文字列）に含まれる判定トークンが存在しないとの判定結果を得た場合（Ｓ１１０４のＮＯ）、処理がＳ１１０５に移行される。
The determination processing of S1104 is performed based on, for example, whether any of the determination tokens shown in Table 4 is included in the in-area character string (OCR character string). For example, among the OCR results shown in Table 2, the in-area character string "quotation number: R12-3456" corresponding to
Ｓ１１０５では、画像処理部４３２は、Ｓ１１０３で取得した領域内文字列（ＯＣＲ文字列）の領域番号から１だけインクリメントした領域番号に対応する次の領域内文字列（ＯＣＲ文字列）が存在するか否かを判定する。次の領域番号に対応する領域内文字列が存在するとの判定結果を得た場合（Ｓ１１０５のＹＥＳ）、処理がＳ１１０３に戻され、インクリメントした領域番号（次の領域番号）に対応する領域内文字列（ＯＣＲ文字列）に対してＳ１１０３の処理が行われる。他方、次の領域番号に対応する領域内文字列（ＯＣＲ文字列）が存在しないとの判定結果を得た場合（Ｓ１１０５のＮＯ）、処理がＳ１１０６に移行される。
In S1105, the
Ｓ１１０７では、画像処理部４３２は、Ｓ１１０４にて領域内文字列（ＯＣＲ文字列）に含まれると判定された判定トークンに対応する判定条件を取得する。画像処理部４３２は、例えば、上述した、表２に示されるＯＣＲ結果の領域番号４に対応する領域内文字列（ＯＣＲ文字列）「見積番号: R12-3456」に対する判定条件として、表４に示されるルールＩＤ７に対応する判定条件である「同一」を取得する。
In S1107, the
Ｓ１１０８では、画像処理部４３２は、Ｓ１１０２で取得した、現在の処理対象の１つ前のページ画像に対するＯＣＲ結果の中にも、Ｓ１１０４で同一文書判定ルールに含まれると判定された判定トークンを含む領域内文字列が存在するか否かを判定する。すなわち、画像処理部４３２は、１つ前のページ画像に対するＯＣＲ結果も同一文書判定ルールに適合するか否かを判定する。１つ前のページ画像に対するＯＣＲ結果も同一文書判定ルールに適合しないとの判定結果を得た場合（Ｓ１１０８のＮＯ）、処理がＳ１１０６に移行される。１つ前のページ画像に対するＯＣＲ結果が同一文書判定ルールに適合するとの判定結果を得た場合（Ｓ１１０８のＹＥＳ）、処理がＳ１１０９に移行される。
In S1108, the
Ｓ１１０９では、画像処理部４３２は、１つ前のページ画像に対するＯＣＲ結果から同一文書ルールに含まれていると判定したＯＣＲ文字列を取得する。例えば、ルールＩＤ７に対応する判定トークン「見積番号」が、表３に示されるＯＣＲ結果の領域番号４に対応するＯＣＲ文字列「見積番号: R12-3456」に含まれる。そのため、この例では、Ｓ１１０８にてＹＥＳと判定されて処理がＳ１１０９に移行され、Ｓ１１０９にてＯＣＲ文字列として「見積番号: R12-3456」が取得されることになる。
In S1109, the
Ｓ１１１０では、画像処理部４３２は、次に示すＯＣＲ文字列および同一文書判定条件を用いて、現在のページ画像と１つ前のページ画像が同一文書か否かを判定する。すなわち、判定は、Ｓ１１０３で取得した現在のページ画像に対するＯＣＲ文字列、Ｓ１１０７で取得した同一文書判定条件、およびＳ１１０９で取得した１つ前のページ画像に対するＯＣＲ文字列を用いて行われる。判定の方法は、表４を用いて先述した手順で行う。同一文書であるとの判定結果を得た場合（Ｓ１１１０のＹＥＳ）、処理がＳ１１１１に移行される。同一文書でないとの判定結果を得た場合（Ｓ１１１０のＮＯ）、処理がＳ１１０６に移行される。
In S1110, the
Ｓ１１０６では、画像処理部４３２は、現在のページ画像が文書先頭ページであると判定し、現在のページ画像が文書先頭ページあるとして登録する。他方、Ｓ１１１１では、画像処理部４３２は、現在のページ画像が文書先頭ページでないと判定し、現在のページ画像を文書先頭ページではないとして登録する。より具体的に、Ｓ１１０６の処理では、表１に示されたページ管理リストのうち、「文書先頭ページフラグ」の値に「１」が登録されることになる。また、Ｓ１１１１の処理では、表１に示されたページ管理リストのうち、「文書先頭ページフラグ」の値に「０」が登録されることになる。
In S1106, the
なお、Ｓ１１０６の処理、またはＳ１１１１の処理が完了すると、図１１に示すフローを終える。 It should be noted that when the processing of S1106 or the processing of S1111 is completed, the flow shown in FIG. 11 ends.
図１０の説明に戻る。Ｓ１００８では、画像処理部４３２は、現在のページ画像が文書先頭ページであると判定し、上述のＳ１１０６と同様、現在のページ画像が文書先頭ページあるとして登録する。より具体的に、Ｓ１００８の処理では、表１に示されたページ管理リストのうち、「文書先頭ページフラグ」の値に「１」が登録されることになる。
Returning to the description of FIG. In S1008, the
Ｓ１００９では、画像処理部４３２は、上述のＳ９０９と同様、現在の処理対象のページの次のページが存在するか否かを判定する。次のページが存在するとの判定結果を得た場合（Ｓ１００９のＹＥＳ）、処理がＳ１００１に移行され、次のページのページ画像に対して、Ｓ１００１からＳ１００９の一連の処理が実行される。他方、次のページが存在しないとの判定結果を得た場合（Ｓ１００９のＮＯ）、図１０に示すフローを終える。
In S<b>1009 , the
以上図８から図１１に示されるフローによりＳ５０８の画像解析処理を完了し、画像処理部４３２は、解析処理結果（解析情報）をリクエスト制御部４３１に返す。リクエスト制御部４３１に返す解析処理結果には、表１を用いて説明したページ管理リストが含まれる。例えば、解析処理結果（解析情報）の一部として最終的に下記の表５に示されるページ管理リストが含まれるとする。表５では、まず、上述の先頭候補ページ判定処理（Ｓ５０８の処理）にて、ページ番号１、３、４、５、７の各ページが文書先頭ページ候補としてレイアウト解析処理により抽出される。続いて、上述の文書先頭ページ判定処理（Ｓ５０８の処理）にて、それら文書先頭ページ候補それぞれに対してＯＣＲ処理を行って得たＯＣＲ結果を用いて詳細な判定を行った結果、ページ番号１、３、５、７が各文書の文書先頭ページとして判定される。Ｓ５１２では、この処理結果を受けて、文書先頭ページフラグの値が「０」から「１」に変わるページ境界に文書区切り線７１３が描画された状態で分割ページ確定画面７１０が表示される。
8 to 11 completes the image analysis processing in S508, and the
以上説明した通り、本実施形態によれば、複数のページで構成される複数の文書をページ単位で連続してスキャンして得られたスキャン画像群における文書単位の区切りを判別する処理について、次に示すように行えるようになる。すなわち、レイアウト解析によりスキャン先頭ページと類似したページに対してのみＯＣＲ処理を用いた詳細な解析を行うことができるようになる。これにより、文書単位の区切り（分割位置）の自動判定に関する精度を維持しつつ、ＯＣＲ処理が行われるページ数を最小限に抑えられ、処理に要する時間を短縮することから、ユーザにとっての応答性を向上させることができる。すなわち、処理コストを抑えながらも、複数の文書を連続でスキャンして得られたスキャン画像における文書単位の区切りを判別することができる。 As described above, according to the present embodiment, the process of determining the delimitation of each document in a group of scanned images obtained by continuously scanning a plurality of documents each having a plurality of pages is performed as follows. It becomes possible to perform as shown in . In other words, layout analysis enables detailed analysis using OCR processing only for pages similar to the first page of scanning. As a result, the number of pages to be subjected to OCR processing can be minimized while maintaining the accuracy of automatic determination of document unit delimiters (division positions), and the time required for processing can be shortened. can be improved. In other words, it is possible to determine the delimitation of each document in the scanned image obtained by continuously scanning a plurality of documents while suppressing the processing cost.
［第二の実施形態］
本実施形態では、ユーザによる分割ページ確定履歴を利用する態様について、図を用いて説明する。なお、本実施形態では、第一の実施形態と同一の構成や処理手順についてはその説明を省略し、差異のある箇所について説明する。
[Second embodiment]
In the present embodiment, a mode of using a split page confirmation history by a user will be described with reference to the drawings. In this embodiment, descriptions of the same configurations and processing procedures as in the first embodiment will be omitted, and differences will be described.
＜画像処理システム全体の処理の流れ＞
まず、本実施形態に係る画像処理システム全体の処理の流れについて、図を用いて説明する。図１２は、ＭＦＰ１１０にて複数の文書をページ単位で連続してスキャンし、得られたスキャン画像をファイル化してストレージサーバ１３０に保存（送信）する際の、各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図１２のシーケンス図ではＭＦＰ１１０がＭＦＰ連携サーバ１２０とやり取りを行う場合の説明となっているが、後述する解析結果取得、画面の表示等はＭＦＰ１１０でなくクライアントＰＣ１１１が実行する構成でも構わない。
<Processing flow of the entire image processing system>
First, the flow of processing of the entire image processing system according to this embodiment will be described with reference to the drawings. FIG. 12 shows the flow of processing between devices when
Ｓ１２０１では、ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、Ｓ５１２にてユーザによって確定されたスキャン画像群の分割結果の登録を画像処理部４３２に依頼する。登録を依頼する情報は、例えば、Ｓ５１２にて最終的に分割結果が確定した際のページ管理リストと、該スキャン画像群の１ページ目のページ画像に対するＳ９０２の処理によるレイアウト解析結果とが紐づいたデータ（以下、分割確定データと称す）である。例えば、Ｓ５１２で表示された分割ページ確定画面が図７（ａ）に示された状態の画面であるとし、この状態から、ユーザ操作によって、図１３に示すように、分割ページが修正された状態となり、「ＯＫ」ボタン７１７の押下により分割が確定されたとする。具体的には、ユーザ操作によって、３ページ目と４ページ目の間に文書区切り線１３０１が追加された状態となるとする。その結果、スキャン画像群に対するページ管理リストは下記の表６に示すように、ページ番号４に対応する文書先頭ページフラグが「０」から「１」に変更されることになる。Ｓ１２０１で登録依頼する分割確定データにおけるページ管理リストは、このようにＳ５１２を経てユーザにより確定した際のものとなる。図１３に示される分割ページ確定画面７１０では、文書区切り線がユーザ操作によって調整可能となっている。
In S1201, the
図１２の説明に戻る。Ｓ１２０２では、画像処理部４３２は、データ管理部４３４に登録されている分割履歴データに、Ｓ１２０１でリクエスト制御部４３１より依頼された分割確定データを履歴情報として追加する。分割履歴データは、複数のスキャン画像群それぞれに対する分割確定データを集積したデータである。なお、分割履歴データがデータ管理部４３４に登録されていない場合には、Ｓ１２０１でリクエスト制御部４３１より依頼された分割確定データがデータ管理部４３４に登録されることになる。
Returning to the description of FIG. In S1202, the
次に、以上のようにして登録される分割履歴データを用いる文書先頭ページ判定処理について説明する。 Next, document first page determination processing using division history data registered as described above will be described.
＜文書先頭ページ判定処理＞
図１４は、本実施形態に係る文書先頭ページ判定処理の詳細な流れを示すフローチャートである。本フローは、図８におけるＳ８０３の処理に相当する。
<Document First Page Determination Processing>
FIG. 14 is a flowchart showing the detailed flow of document first page determination processing according to the present embodiment. This flow corresponds to the processing of S803 in FIG.
Ｓ１４０１では、ＭＦＰ連携サーバ１２０の画像処理部４３２は、上述した分割履歴データを用いて、文書先頭ページの判定にＯＣＲ処理を実施する必要があるか否かを判定するための処理を実行する。
In S1401, the
＜履歴によるＯＣＲ要否判定処理＞
履歴によるＯＣＲ要否判定処理について、図を用いて説明する。図１５は、Ｓ１４０１の履歴によるＯＣＲ要否判定処理の詳細な流れを示すフローチャートである。
<OCR Necessity Judgment Processing Based on History>
OCR necessity determination processing based on history will be described with reference to the drawings. FIG. 15 is a flowchart showing the detailed flow of the OCR necessity determination process based on the history in S1401.
Ｓ１５０１では、ＭＦＰ連携サーバ１２０の画像処理部４３２は、Ｓ９０３でデータ管理部４３４に保存されたスキャン先頭ページに対応するレイアウト解析結果（レイアウト解析データ）を取得する。続くＳ１５０２では、画像処理部４３２は、データ管理部４３４に保存された分割履歴データから、Ｓ１５０１で取得したレイアウト解析データと類似するレイアウト解析データを検索して取得する。
In S1501, the
Ｓ１５０３では、画像処理部４３２（不適合率算出部４７２）は、Ｓ１５０２で取得した複数の分割履歴データに含まれるページ管理リストを連結した連結リストを作成する。そして、画像処理部４３２（不適合率算出部４７２）は、作成した連結リストに記載された文書先頭ページ候補フラグと文書先頭ページフラグの値とから、両フラグ値の不適合率を算出する。不適合率の算出方法は、これに限定されない。算出方法として、例えば、まず上述の連結リストにおける文書先頭ページ候補フラグと文書先頭ページフラグとの排他的論理和を各ページに対して取り、排他的論理和の総和を文書先頭ページ候補フラグの総和（総数）で除した値を不適合率として算出する。具体的な算出例として、Ｓ１５０３の処理の過程で下記の表７に示されるような連結リスト及び排他的論理和が得られた場合、（文書先頭ページ候補フラグの総和）＝５、（排他的論理和の総和）＝１となるので、不適合率は１／５となる。このような不適合率を算出することで、分割履歴データから文書先頭ページ候補と、Ｓ５１２にてユーザ操作で確定された文書先頭ページとの不適合の度合いを示す指標を得ることができる。そのため、不適合率の算出方法は、これに限定されず、前記指標を算出できればよい。 In S1503, the image processing unit 432 (nonconforming rate calculation unit 472) creates a linked list in which the page management lists included in the plurality of pieces of division history data acquired in S1502 are linked. Then, the image processing unit 432 (non-conforming rate calculating unit 472) calculates the non-conforming rate of both flag values from the values of the document first page candidate flag and the document first page flag described in the created linked list. The method for calculating the failure rate is not limited to this. As a calculation method, for example, first, the exclusive OR of the document first page candidate flag and the document first page flag in the above linked list is obtained for each page, and the sum of the exclusive ORs is the sum of the document first page candidate flags. The nonconforming rate is calculated by dividing by (total number). As a specific calculation example, when a linked list and an exclusive OR as shown in Table 7 below are obtained in the process of S1503, (total sum of document first page candidate flags)=5, (exclusive Since the total sum of the logical sums)=1, the nonconformance rate is 1/5. By calculating such a nonconformance rate, it is possible to obtain an index indicating the degree of nonconformity between the document first page candidate from the division history data and the document first page determined by the user's operation in S512. Therefore, the method of calculating the nonconformance rate is not limited to this, and it is sufficient that the index can be calculated.
Ｓ１５０４では、画像処理部４３２は、Ｓ１５０３で上述のように算出された不適合率が予め定められた一定値より大きいか否かを判定する。一定値として、例えば、１／２（５０％）としてよいが、これに限定されない。不適合率が一定値より大きいとの判定結果を得た場合（Ｓ１５０４のＹＥＳ）、処理がＳ１５０５に移行される。他方、不適合率が一定値以下であるとの判定結果を得た場合（Ｓ１５０４のＮＯ）、処理がＳ１５０６に移行される。
In S1504, the
Ｓ１５０５では、画像処理部４３２は、スキャン画像群の分割判定にはＯＣＲ処理を行う必要があると判定する。Ｓ１５０６では、画像処理部４３２は、スキャン画像群の分割判定にはＯＣＲ処理を行う必要がないと判定する。Ｓ１５０５またはＳ１５０６の処理が完了すると、図１５に示すフローを終える。
In S1505, the
図１４の説明に戻る。Ｓ１４０２では、画像処理部４３２は、Ｓ１４０１の判定処理の結果に基づき、スキャン画像群に対するＯＣＲ処理を行う必要があるか否かを判定する。ＯＣＲ処理を行う必要があると判定結果を得た場合（Ｓ１４０２のＹＥＳ）、処理がＳ１００１に移行される。他方、ＯＣＲ処理を行う必要が無いとの判定結果を得た場合（Ｓ１４０２のＮＯ）、処理がＳ１４０３に移行される。
Returning to the description of FIG. In S1402, the
Ｓ１４０３では、画像処理部４３２は、図９の処理を経て得られた文書先頭ページ候補フラグの値をそのまま各ページの文書先頭ページフラグとして設定する。なお、Ｓ１４０３の処理が完了すると、図１４に示すフローを終える。
In S1403, the
以上説明したように、本実施形態によれば、ユーザによって確定された分割履歴データから、文書先頭ページ候補と確定された文書先頭ページとの間の乖離が小さい場合、ＯＣＲ処理を行うことなく確度の高い分割結果をユーザに提示することができる。これにより、分割履歴データを用いない場合と比べて、処理に要する時間がさらに短縮されることから、ユーザにとって応答性をさらに向上させることができる。 As described above, according to the present embodiment, when the discrepancy between the document first page candidate and the confirmed document first page is small from the division history data confirmed by the user, the accuracy is calculated without performing the OCR process. The user can be presented with a segmentation result with a high . As a result, the time required for the processing is further shortened compared to the case where the division history data is not used, so that it is possible to further improve the responsiveness for the user.
［第三の実施形態］
本実施形態では、文書先頭ページの判定において、ＯＣＲ処理を行う必要があるとなった場合でも、必要最小限の領域に対してのみＯＣＲ処理を実施する態様について、図を用いて説明する。なお、本実施形態では、第一及び第二の実施形態と同一の構成や処理手順についてはその説明を省略し、差異のある箇所について説明する。
[Third embodiment]
In the present embodiment, even when it becomes necessary to perform OCR processing in determining the first page of a document, a manner in which OCR processing is performed only on the minimum necessary area will be described with reference to the drawings. In this embodiment, descriptions of the same configurations and processing procedures as those of the first and second embodiments will be omitted, and differences will be described.
本実施形態では、上述の分割確定データのうち、スキャン画像群の１ページ目の画像に対するＳ９０２によるレイアウト解析結果に、「分割判定利用フラグ」（領域情報）の値が追加される。本実施形態における分割確定データに含まれるレイアウト解析結果例について、下記の表を用い説明する。下記の表８は、本実施形態における分割確定データに含まれるレイアウト解析結果例を示す表である。分割確定データに含まれるレイアウト解析結果では、領域番号４に対応する分割判定利用フラグの値が「１」、それ以外の領域番号に対応する分割判定利用フラグの値は「０」として登録されている。本実施形態における分割判定利用フラグの値の設定方法、及び利用方法については詳細な処理手順の説明と併せて後述する。なお、表８には領域内文字列の値が付されているが、説明の明瞭さのために便宜的に付しているものであって、必ずしも付されていなくてもよい。
In this embodiment, the value of the "division determination use flag" (region information) is added to the layout analysis result of S902 for the image of the first page of the scan image group among the above-described division determination data. An example of the layout analysis result included in the division confirmation data in this embodiment will be described using the following table. Table 8 below is a table showing an example of layout analysis results included in the division confirmation data in this embodiment. In the layout analysis result included in the division confirmation data, the value of the division judgment use flag corresponding to the
＜ＯＣＲ結果による文書先頭ページ判定処理＞
続いて、本実施形態におけるＳ１００７にて画像処理部４３２（文書先頭ページ判定部４７１）が実行する、ＯＣＲ結果による文書先頭ページ判定処理について、図を用いて説明する。図１６は、ＯＣＲ結果による文書先頭ページ判定処理の詳細な流れを示すフローチャートである。本フローチャートは、ＭＦＰ連携サーバ１２０によって実施される。
<Document First Page Determination Processing Based on OCR Results>
Next, document first page determination processing based on OCR results, which is executed by the image processing unit 432 (document first page determination unit 471) in S1007 in this embodiment, will be described with reference to the drawings. FIG. 16 is a flow chart showing the detailed flow of document first page determination processing based on OCR results. This flowchart is executed by the
Ｓ１６０１では、画像処理部４３２（分割判定利用フラグ設定部４７３）は、Ｓ１１０４において、同一文書判定ルールに含まれていると判定された判定トークンを含む領域内文字列（ＯＣＲ文字列）が存在する領域の分割判定利用フラグを「１」に設定する。すなわち、第一の実施形態で例示したのと同じく表２に示される各領域をもつレイアウト解析結果が得られており、かつ同一文書判定ルールが表４を用いて説明したものと同じであるとする。この場合、Ｓ１１０４にて同一文書判定ルールに含まれていると判定された判定トークンを含む領域内文字列（ＯＣＲ文字列）が存在する領域は領域番号４に対応する領域である。そのため、Ｓ１６０１にて領域番号４に対応する領域に対して分割判定利用フラグに「１」が付され、レイアウト解析データは表８で示される状態となる。以上のように設定された分割判定利用フラグを含むレイアウト解析データは、Ｓ５０８の画像解析結果としてリクエスト制御部４３１を経由してＭＦＰ１１０に送信される。そして、Ｓ５１２、Ｓ５１３、Ｓ５１４，Ｓ１２０１、Ｓ１２０２を経て分割履歴データとしてデータ管理部４３４に保存される。
In S1601, the image processing unit 432 (division determination use flag setting unit 473) determines that there is an intra-area character string (OCR character string) containing the determination token determined to be included in the same document determination rule in S1104. Set the division determination use flag of the area to "1". That is, it is assumed that a layout analysis result having each area shown in Table 2 is obtained as illustrated in the first embodiment, and that the identical document determination rule is the same as that explained using Table 4. do. In this case, the area corresponding to the
＜文書先頭ページ判定処理＞
図１７は、本実施形態に係る文書先頭ページ判定処理の詳細な流れを示すフローチャートである。本フローは、図８におけるＳ８０３の処理に相当する。
<Document First Page Determination Processing>
FIG. 17 is a flow chart showing the detailed flow of document first page determination processing according to the present embodiment. This flow corresponds to the processing of S803 in FIG.
Ｓ１７０１では、ＭＦＰ連携サーバ１２０の画像処理部４３２は、データ管理部４３４に保存された分割履歴データから、現在の処理対象であるスキャン画像群の１ページ目とレイアウトが類似するレイアウト解析データを取得する。なお、分割履歴データは、Ｓ１２０２にて登録されたデータである。
In S1701, the
Ｓ１７０２では、画像処理部４３２は、Ｓ１７０１で取得した分割履歴データのレイアウト解析データにて、分割判定利用フラグに「１」が設定されている領域が存在するか否かを判定する。分割判定利用フラグに「１」が設定されている領域が存在するとの判定結果を得た場合（Ｓ１７０２のＹＥＳ）、処理がＳ１７０３に移行される。他方、分割判定利用フラグに「１」が設定されている領域が存在しないとの判定結果を得た場合（Ｓ１７０２のＮＯ）、処理がＳ１００６に移行される。
In S1702, the
Ｓ１７０３では、画像処理部４３２（文書先頭ページ判定部４７１）は、Ｓ１７０１で取得したレイアウト解析データで分割判定利用フラグに「１」が設定されている領域に対してのみＯＣＲ処理を実行するようＯＣＲ処理部４５３に指示する。ＯＣＲ処理部４５３がＳ１７０１で取得したレイアウト解析データで分割判定利用フラグに「１」が設定されている領域に対してのみＯＣＲ処理を実行する。Ｓ１７０３では、画像処理部４３２（文書先頭ページ判定部４７１）は、ＯＣＲ処理部４５３を制御する制御部として機能するともいえる。なお、Ｓ１７０３の処理が完了すると、処理がＳ１００７に移行される。
In S1703, the image processing unit 432 (document first page determination unit 471) performs OCR processing only on the area for which the division determination use flag is set to "1" in the layout analysis data acquired in S1701. The
以上説明した通り、本実施形態によれば、過去にＳ１００７の文書先頭ページ判定で利用された領域に対してのみＯＣＲ処理を行うことができる。これにより、スキャン画像群（ページ画像）で検出した全ての文字領域に対してＯＣＲ処理を行う必要がある文書先頭ページ判定処理と比べて、文書先頭ページ判定処理に要する時間をさらに削減することができる。 As described above, according to the present embodiment, OCR processing can be performed only on the area that has been used in the document first page determination in S1007 in the past. As a result, the time required for document first page determination processing can be further reduced compared to document first page determination processing that requires OCR processing for all character areas detected in a group of scanned images (page images). can.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device read and execute the program. processing is also feasible. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
１２０ ＭＦＰ連携サーバ
４３２ 画像処理部
120
Claims (14)
前記解析手段による解析結果に基づき、前記スキャン画像の各ページについて、当該スキャン画像の１ページ目との類似度を算出する算出手段と、
前記算出手段により算出した類似度に基づき、前記スキャン画像から、前記複数の文書の各文書における先頭ページ候補を抽出する抽出手段と、
前記抽出手段により抽出した前記先頭ページ候補に対して文字認識を行う文字認識手段と、
前記文字認識手段による文字認識結果に基づき、前記各文書の区切りを判定する判定手段と、
を有する、ことを特徴とする画像処理装置。 analysis means for analyzing the layout of each page of scanned images obtained by continuously scanning a plurality of documents page by page;
a calculating means for calculating the degree of similarity between each page of the scanned image and the first page of the scanned image based on the analysis result of the analyzing means;
extracting means for extracting first page candidates in each of the plurality of documents from the scanned image based on the similarity calculated by the calculating means;
character recognition means for performing character recognition on the first page candidate extracted by the extraction means;
determination means for determining a delimiter of each document based on the result of character recognition by the character recognition means;
An image processing apparatus characterized by comprising:
ことを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein said determination means determines the first page of each document as the delimiter of each document.
ことを特徴とする請求項２に記載の画像処理装置。 3. The image processing according to claim 2, wherein said extracting means extracts a page whose degree of similarity exceeds a predetermined threshold and a first page in said scanned image as first page candidates of each document. Device.
前記判定手段は、前記文字認識手段による文字認識結果と前記登録手段により登録された前記履歴情報とに基づき、前記各文書の先頭ページを判定する
ことを特徴とする請求項２または３に記載の画像処理装置。 further comprising registering means for registering history information indicating the first page determined based on past judgment results executed by the judging means;
4. The apparatus according to claim 2, wherein said determining means determines the first page of each document based on the character recognition result by said character recognizing means and said history information registered by said registering means. Image processing device.
前記判定手段は、前記第二の算出手段により算出された不適合率が所定の値より小さい場合には、前記文字認識手段による文字認識を行わせず、前記先頭ページ候補を前記先頭ページとして判定する
ことを特徴とする請求項４に記載の画像処理装置。 a second calculation means for calculating a non-conformance rate between the first page candidate in each of the documents extracted by the extraction means and the determined first page;
The determining means determines the first page candidate as the first page without performing character recognition by the character recognizing means when the non-conforming rate calculated by the second calculating means is smaller than a predetermined value. 5. The image processing apparatus according to claim 4, wherein:
ことを特徴とする請求項５に記載の画像処理装置。 6. The image processing apparatus according to claim 5, wherein the non-conforming rate is a value obtained by dividing an exclusive OR obtained from the first page candidate and the first page by the total number of the first page candidates. .
前記文字認識手段は、前記領域情報に基づき、前記先頭ページの判定に用いられた文字列の文字領域に対してのみ文字認識を行う
ことを特徴とする請求項４から６の何れか一項に記載の画像処理装置。 The history information further includes area information indicating the character area of the character string used for the determination of the first page by the determination means,
7. The apparatus according to any one of claims 4 to 6, wherein said character recognition means performs character recognition only on a character area of the character string used for determining said first page based on said area information. The described image processing device.
ことを特徴とする請求項１から７の何れか一項に記載の画像処理装置。 8. The image processing apparatus according to any one of claims 1 to 7, further comprising dividing means for dividing the scanned image into document units according to the first page of each document determined by the determining means. .
ことを特徴とする請求項８または９に記載の画像処理装置。 10. The image processing apparatus according to claim 8, further comprising display means for displaying a screen containing the result of determination by said determination means.
ことを特徴とする請求項１０に記載の画像処理装置。 11. The image processing apparatus according to claim 10, wherein on the screen containing the result of determination by said determining means, the delimiter position for each document can be adjusted by a user operation.
ことを特徴とする請求項１０または１１に記載の画像処理装置。 12. The image processing apparatus according to claim 10, wherein said display means displays a setting screen for setting a file name for a file obtained by dividing said scanned image by said delimiter for each document.
前記解析ステップによる解析結果に基づき、前記スキャン画像の各ページについて、当該スキャン画像の１ページ目との類似度を算出する算出ステップと、
前記算出ステップにて算出した類似度に基づき、前記スキャン画像から、前記複数の文書の各文書における先頭ページ候補を抽出する抽出ステップと、
前記抽出ステップにて抽出した前記先頭ページ候補に対して文字認識を行う文字認識ステップと、
前記文字認識ステップによる文字認識結果に基づき、前記各文書の区切りを判定する判定ステップと、
を含む、ことを特徴とする画像処理方法。 an analysis step of analyzing the layout of each page of scanned images obtained by continuously scanning a plurality of documents page by page;
a calculation step of calculating the degree of similarity between each page of the scan image and the first page of the scan image based on the analysis result of the analysis step;
an extracting step of extracting first page candidates in each of the plurality of documents from the scanned image based on the degree of similarity calculated in the calculating step;
a character recognition step of performing character recognition on the first page candidate extracted in the extraction step;
a judgment step of judging the delimiters of the respective documents based on the character recognition result of the character recognition step;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021097497A JP2022189109A (en) | 2021-06-10 | 2021-06-10 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021097497A JP2022189109A (en) | 2021-06-10 | 2021-06-10 | Image processing apparatus, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022189109A true JP2022189109A (en) | 2022-12-22 |
Family
ID=84533269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021097497A Pending JP2022189109A (en) | 2021-06-10 | 2021-06-10 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022189109A (en) |
-
2021
- 2021-06-10 JP JP2021097497A patent/JP2022189109A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7317561B2 (en) | Image processing device for character input using touch panel, its control method and program | |
| JP7467737B2 (en) | Image processing device that displays guidance for user operations, and control method and program thereof | |
| EP3890295A1 (en) | Information processing apparatus for obtaining character string | |
| JP2021114736A (en) | Image processing system converting document into electronic data, its control method and program | |
| JP2022096218A (en) | Information processing apparatus, information processing system, control method for the same, and program | |
| US11265431B2 (en) | Image processing apparatus for inputting characters using touch panel, control method thereof and storage medium | |
| JP2021184190A (en) | Image processing device, image processing method, and program | |
| JP2022189109A (en) | Image processing apparatus, image processing method, and program | |
| US11575799B2 (en) | Image processing apparatus for setting property including character strings and separators to scanned image, control method thereof and storage medium | |
| JP2023053602A (en) | Apparatus, information processing method, and program | |
| JP2021164132A (en) | Image processing system and program | |
| US11620840B2 (en) | Image processing apparatus for extracting a desired character string from a scanned image | |
| JP7358663B2 (en) | Image processing device for character input using a touch panel, its control method, and program | |
| JP7387282B2 (en) | Image processing device that displays a preview of a scanned image, its control method, and program | |
| JP2022167157A (en) | Image processing device, image processing method, and program | |
| JP2023071227A (en) | Information processing device, method for controlling information processing device and program | |
| JP2023054708A (en) | Information processing device, document division method, and program | |
| JP2022137727A (en) | Information processing apparatus, information processing system, control method for the same, and program | |
| JP2024040612A (en) | Information processing device, control method for information processing device, and program | |
| JP2023084495A (en) | Information processing device, document computerization system, document processing method and program | |
| JP2023120267A (en) | Image processing device for inputting text using touch panel, control method for the same, and program | |
| JP2024062604A (en) | Image processing system, control method for image processing system, and program | |
| JP2024032563A (en) | Information processing device, control method and program for information processing device | |
| JP2024032186A (en) | Image processing device, control method for image processing device, and program | |
| JP2024034778A (en) | Image processing device, image processing system, image processing method, and program |