JP2014216953A - 画像処理装置および画像処理方法、コンピュータプログラム - Google Patents

Abstract

【課題】複数の原稿をまとめてスキャンする場合に、原稿の順序を自動で判別して保存することを可能にすること。【解決手段】本発明によれば、読み取り領域上に置かれて静止した原稿の順番を自動で認識することで、ページ順番を自動で決定することが可能になる。これにより、ユーザがページ順で原稿を並べてくといった直感的な操作によって、自動で原稿のページ順を認識して出力することができる。【選択図】図１１

Description

本発明は、例えばカメラスキャナを利用して、原稿台に載置された複数枚の原稿の画像データを読み取る画像処理装置方法およびプログラムに関する。

原稿に描かれた画像の画像データを読み取る装置として、原稿台に載置した原稿をカメラで撮像して、カメラで撮像した原稿の画像データを処理して記憶するカメラスキャナが知られている（例えば、特許文献１参照）。特許文献１のカメラスキャナでは、新たに撮像した画像が前回撮像した時の画像と比較してどれぐらい変化したかを示す画像変化量に基づいて画像の動き検出処理を行う。動き検出処理によって、原稿台上の原稿が載置されて静止したタイミングを検出する。静止したタイミングで撮像した画像データ中から原稿部分を認識・抽出し、射影補正、拡大縮小等の画像処理を施して記憶装置に原稿の画像データとして蓄積し、それをプロジェクタに投影する。

特許文献１のカメラスキャナは、フラットベッドスキャナ付き複合機のようなカバー開閉といった手順が省け、また、原稿の撮像タイミングを自動で検出することによって読み込みスタートボタンを押下する手順が省ける。

特開２００６−１１５３３４号公報

上述のカメラスキャナにおいては、原稿台に置かれた複数の原稿を抽出する際には、同時に撮影された複数の原稿間の順番を特定できないため、ユーザの意図した順番通りに原稿が保存されない。

本発明は上記従来例に鑑みてなされたもので、同時に撮影された複数の原稿間の順序を特定し、さらに、特定した順序で原稿画像データを整理、保存、出力等を行う。

上記目的を達成するために、本発明の画像処理装置は、原稿が載置された読み取り領域を撮像することによって画像データを取得する取得手段と、前記読み取り領域に対する原稿の位置イベントを検出する検出手段と、前記検出手段で検出した位置イベントに基づき、前記原稿の順序を判定する判定手段とを備えることを特徴とする。

本発明によれば、複数の原稿を同時に読み取る場合において、撮影された複数の原稿の順序を決定できる。このため、読み取り後に手動で原稿を並び替えるといった作業が不要となり、大幅な生産性の向上にもつながる。

カメラスキャナ１０１が含まれるネットワーク構成図の一例を示す図である。 カメラスキャナ１０１の構成図の一例を示す図である。 コントローラ部２０１のハードウェア構成図の一例を示す図である。 カメラスキャナ１０１の制御用プログラムの機能構成図の一例を示す図である。 原稿をスキャンする際の操作手順の一例を示す図である。 第１の実施形態におけるカメラスキャナ１０１の処理フローの一例を示す図である。 撮像処理部４０６が撮像する読み取り領域２０５の画像の一例を示す図である。 背景差分２値画像について説明する図である。 フレーム差分２値画像について説明する図である。 データ管理部４０５が保存する状態管理テーブルの一例を示す図である。 タイミング検出部４１０が実行する静止オブジェクト検知処理の処理フローの一例を示す図である。 原稿画像データ抽出部４１１が実行する処理フローの一例を示す図である。 データ管理部４０５が保存する静止画像および抽出原稿画像データの模式図である。 データ管理部４０５が保存する属性管理テーブルの一例を示す図である。 出力ファイル生成部４０９が生成する出力ファイルの一例を示す図である。 出力ファイル生成部４０９の処理フローの一例を示す図である。 第２の実施形態における状態管理テーブルの一例を示す図である。 第２の実施形態における原稿画像データ抽出部４１１が実行する処理フローの一例を示す図である。 第３の実施形態における原稿画像データ抽出部４１１が実行する処理フローの一例を示す図である。 第４の実施形態における操作手順および背景差分２値画像の一例を示す図である。 第５の実施形態におけるタイミング検出部４１０が実行する静止オブジェクト検知処理フローの一例を示す図である。 第６の実施形態における操作手順、背景差分２値画像およびフレーム差分２値画像の一例を示す図である。 第６の実施形態におけるタイミング検出部４１０が実行する静止オブジェクト検知処理フローの一例を示す図である。 第９の実施形態におけるユーザインタフェースの一例を示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

［実施形態１］
＜ネットワーク構成＞
図１は、一実施形態に係るカメラスキャナ１０１が含まれるネットワーク構成を示す図である。図１に示すように、カメラスキャナ１０１はイーサネット（登録商標）等のネットワーク１０４にてホストコンピュータ１０２およびプリンタ１０３に接続されている。図１のネットワーク構成において、ホストコンピュータ１０２からの指示により、カメラスキャナ１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。また、ホストコンピュータ１０２を介さず、カメラスキャナ１０１への直接の指示により、スキャン機能、プリント機能の実行も可能である。

＜外観図＞
図２は、一実施形態に係るカメラスキャナ１０１の構成例を示す図である。図２に示すように、カメラスキャナ１０１は、コントローラ部２０１、カメラ部２０２、腕部２０３を含む。カメラスキャナの本体であるコントローラ部２０１と、撮像を行うためのカメラ部２０２は、腕部２０３により連結されている。腕部２０３は関節を用いて自由に曲げ伸ばしが可能である。

図２には、カメラスキャナ１０１が設置されている書画台２０４も示している。カメラ部２０２のレンズは書画台２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取り可能である。図２の例では、原稿２０６は読み取り領域２０５内に置かれているので、カメラスキャナ１０１で読み取り可能となっている。

カメラ部２０２は単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像とが切り換え可能なものとすることが好ましい。一実施形態において、コントローラ部２０１は、カメラ部２０２の低解像度で撮像した撮影画像を用いて、原稿が載置されて読み取り領域内で静止したタイミングなどを検出する。そして、静止を検知するとカメラ部２０２が高解像度で静止した原稿を撮像するように制御する。また、コントローラ部２０１は、カメラ部２０２の低解像度で撮像した撮影画像を用いて、原稿が読み取り領域２０５にフレームインしたタイミングおよび読み取り領域２０５からフレームアウトするタイミング、静止したタイミング、またはそれらのうち少なくともいずれかのタイミングを検出する。例えば同一の画像が所定の期間にわたり（あるいは所定数のフレームにわたり）撮像され続けた場合などに被写体が静止していると判定できる。

なお、カメラスキャナ１０１は、書画台等に、操作を補助する画像の投影を行う短焦点プロジェクタ２０７をさらに含むことができる。また、図２に示されていないが、カメラスキャナ１０１は、ＬＣＤタッチパネル３３０およびスピーカ３４０をさらに含むこともできる。

＜カメラスキャナのコントローラのハードウェア構成＞
図３は、カメラスキャナ１０１の本体であるコントローラ部２０１のハードウェア構成例を示す図である。図３に示すように、コントローラ部２０１は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、ネットワークＩ／Ｆ３０６、画像処理プロセッサ３０７およびカメラＩ／Ｆ３０８を含む。

ＣＰＵ３０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５はＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１が実行する、カメラスキャナ１０１の制御用プログラムが格納されている。

ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＲＯＭ３０４あるいはＨＤＤ３０５に格納されているカメラスキャナ１０１の制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上にはさらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

画像処理プロセッサ３０７はＲＡＭ３０３やＨＤＤ３０５に格納された画像データを読み出して処理し、またＲＡＭ３０３やＨＤＤ３０５へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。

カメラＩ／Ｆ３０８はカメラ部２０２と接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを取得してＲＡＭ３０３へ書き込む。また、ＣＰＵ３０２からの制御コマンドをカメラ部２０２へ送信し、カメラ部２０２の設定を行う。

また、コントローラ部２０１は、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１およびＵＳＢコントローラ３１２のうち少なくとも１つをさらに含むことができる。

ディスプレイコントローラ３０９はＣＰＵ３０２の指示に応じてディスプレイへの画像データの表示を制御する。ここでは、ディスプレイコントローラ３０９は短焦点プロジェクタ２０７およびＬＣＤタッチパネル３３０に接続されている。

シリアルＩ／Ｆ３１０はシリアル信号の入出力を行う。ここでは、シリアルＩ／Ｆ３１０はＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルＩ／Ｆ３１０を介して押下された座標を取得する。

オーディオコントローラ３１１はスピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。

ＵＳＢコントローラ３１２はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、ＵＳＢコントローラ３１２はＵＳＢメモリやＳＤカードなどの外部メモリ３５０に接続され、外部メモリへのデータの読み書きを行う。

＜カメラスキャナの制御用プログラムの機能構成＞
図４は、ＣＰＵ３０２が実行するカメラスキャナ１０１の制御用プログラムの機能構成４０１を示す図である。カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。カメラスキャナ１０１の制御用プログラムの機能構成４０１は、メイン制御部４０２、操作表示部４０３、ネットワーク通信部４０４、データ管理部４０５、撮像処理部４０６、画像認識部４０７、原稿認識部４０８、および出力ファイル生成部４０９を備える。また、撮像処理部４０６はタイミング検出部４１０を、画像認識部４０７は原稿画像データ抽出部４１１を、原稿認識部４０８は除去原稿特定部４１２と両面原稿認識部４１２をそれぞれ含む。

メイン制御部４０２は制御の中心であり、制御用プログラムの機能構成４０１内の他の各部を制御する。操作表示部４０３は、メイン制御部４０２からの描画要求を受け、ディスプレイコントローラ３０９を介して、短焦点プロジェクタ２０７もしくはＬＣＤタッチパネル３３０へ描画を実行する。また、操作表示部４０３は、ＬＣＤタッチパネル３３０が押下されたときにシリアルＩ／Ｆ３１０を介して押下座標を受信し、描画中の操作画面の内容と押下座標を対応させて操作内容（押下されたボタン等）を判定する。この押下内容をメイン制御部４０２へ通知することにより、操作者の操作を受け付ける。

ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによる通信を行う。データ管理部４０５は、制御用プログラム４０１の実行において生成した作業データ、例えば後述の原稿画像データ抽出部４１１で抽出した原稿画像データ、文書属性・画像属性情報をＨＤＤ３０５上やＲＡＭ３０３上の所定の領域へ保存し、管理する。

撮像処理部４０６は、カメラＩ／Ｆ３０８を介してカメラ部２０２を制御し、撮像処理部４０６のタイミング検出部４１０で検出されたタイミングで撮像した撮影画像を画像認識部４０７へ送信する。あるいは、撮像処理部４０６はカメラ２０２を制御して、高解像度で原稿を撮像させてもよい。

タイミング検出部４１０は、読み取り領域２０５上にオブジェクトがフレームイン／フレームアウトしたタイミングおよび、オブジェクトが静止／移動開始したタイミングなどを、読み取り領域２０５上の複数のオブジェクトに対してそれぞれ個別に検出する。そして、読み取り領域２０５上のすべてのオブジェクトが静止したタイミングを撮像タイミングとして検出する。これらのタイミングは、カメラ部２０２から受信した撮影画像に基づいて検出することができる。ここで、フレームアウトタイミングは、原稿が読み取り領域２０５からフレームアウトする直前のタイミングもしくはフレームアウトし始めるタイミング、またはその間の任意のタイミングとしてもよい。なお、個々のオブジェクトに関するタイミング情報は、データ管理部４０５によってＲＡＭ３０３上に保存され、管理される。

画像認識部４０７は、カメラ部２０２から撮影画像を受信し、受信した撮影画像の内容を認識する。図４に示すように、画像認識部４０７は、原稿画像データ抽出部４１１を含む。

原稿画像データ抽出部４１１は、タイミング検出部４１０が検出した撮像タイミングで撮像され送信されてきた撮影画像から、原稿画像データを抽出する。その際、ＲＡＭ３０３上に保存された個々のオブジェクトが静止した順番で、各オブジェクト中から原稿画像データの抽出処理を行う。そして、データ管理部４０５によってＨＤＤ３０５上の所定の領域へ保存され、管理される。

原稿認識部４０８は、原稿画像データ抽出部４１１で抽出された原稿画像データの内容を認識する。出力ファイル生成部４０９は、データ管理部４０５が保存した原稿画像データを変換し適切な画像に整えた上で、所定のデータ出力形式で出力ファイルを生成する。

＜原稿操作の例＞
図５は本実施形態における原稿操作の一例を示す図である。図５において、２枚の原稿５０１および５０２を読み取り領域２０５に連続して載置する際の操作手順を図５（ａ）〜（ｅ）に、その後、３枚目の原稿５０３をさらに追加して載置する際の手順を図５（ｆ）〜（ｈ）にそれぞれ示している。そしてすべての原稿が載置された後スキャンが開始される様子を示している。また図５は、操作の手順であるとともに、カメラ部２０２により撮影される画像の例でもある。

まず図５（ａ）は何もない原稿台を示す。操作者が原稿５０１，５０２を持ち、原稿台に向けて移動させる（図５（ｂ））。操作者は原稿５０１を手離し（図５（ｃ））、原稿５０２を読み取り領域２０５内のやや離れた位置に移動させる（図５（ｄ））。そして原稿５０２を原稿台に置く（図５（ｅ））。引き続き操作者は原稿５０３を持ち、原稿台に向けて移動させる（図５（ｆ））。そして読み取り領域２０５内の所望の位置に原稿５０３を置き（図５（ｇ））、３枚の原稿がそれぞれの位置で静止する（図５（ｈ））。

図６は本実施形態におけるカメラスキャナ１０１の処理フローの一例を示す図である。この手順は、ＲＡＭ３０３等にロードしたプログラムをＣＰＵ３０２が実行することで実現される。

＜初期化処理＞
図６（ａ）は、初期化設定フローを示している。撮像処理部４０６がスタートすると、図６（ａ）で示すように読み取り領域２０５の位置情報を取得する初期化設定を行う。

図６（ａ）のステップＳ６０１において、撮像処理部４０６は、背景画像として、図５（ａ）に示すような原稿が投入されていない状態の読み取り領域２０５の画像をカメラ部２０２に撮像させる。

読み取り領域２０５は矩形であるが、本実施形態ではカメラ部２０２は厳密には読み取り領域２０５の真上、すなわち中央の上部にあるわけではないため、ステップＳ６０１で撮像された背景画像は図７（ａ）に示した画像７０１のように形状が歪んでいる。

ステップＳ６０２において、撮像処理部４０６は、撮像された背景画像７０１を矩形に変換する射影変換のパラメータを算出する。

ステップＳ６０３において、撮像処理部４０６は、ステップＳ６０２で算出した射影変換パラメータを使用してステップＳ６０１で撮像した背景画像７０１を、図７（ｂ）に示した読み取り領域背景画像７０２のように矩形に補正する。なおカメラ部２０２が読み取り領域２０５の真上にあればＳ６０２，６０３で行う台形歪み補正は不要である。

ステップＳ６０４において、撮像処理部４０６は、補正された読み取り領域背景画像７０２を、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１３（ａ）に、読み取り領域背景画像を保存したときの模式図を示す。データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１３（ａ）中の「／ＩＭＧＤＩＲ」）を作成し、読み取り領域背景画像として背景データ１３０１を保存する。

ステップＳ６０５において、撮像処理部４０６は、状態管理テーブルを初期化し、データ管理部４０５を介してＲＡＭ３０３へ保存する。データ管理部４０５がＲＡＭ３０３上に保存する状態管理テーブルの模式図を図１０に示す。状態管理テーブルは、読み取り領域２０５上から検知されたオブジェクト数を保存する変数（ｏｂｊＮｕｍｓ）と、個々のオブジェクトの情報を管理するオブジェクト管理テーブルを含む。また、オブジェクト管理テーブルには、オブジェクトの状態（移動中／静止／原稿検出済など）や、オブジェクトの位置・大きさを含む。これ以外にも状態管理テーブルには、オブジェクトに関連する情報を保持することは可能であることは言うまでもない。図１０（ａ）は初期化処理後の状態管理テーブルを示しており、オブジェクト数（ｏｂｊＮｕｍｓ）に０が設定され、オブジェクト管理テーブル内は空欄となっている。

＜原稿読み取り処理＞
次に、図５の操作を行った際に実行されるスキャン処理フローについて、図６（ｂ）を用いて説明する。初期化処理が終了すると、撮像処理部４０６が図６（ｂ）に示すスキャン処理フローを実行する。すなわち、撮像処理部４０６はカメラ部２０２から受信した撮影画像に基づき、読み取り領域２０５に対するオブジェクトの位置イベントを検出する。ここで、オブジェクトの位置イベントは、読み取り領域２０５へのフレームイン、及び読み取り領域２０５内における移動／静止を含む。そして、撮像処理部４０６は検出したそれぞれの位置イベントに応じてそれぞれの処理を行う。また、すべてのオブジェクトが所定時間静止したときに、原稿画像データ抽出処理を実行する。

図６（ｂ）のステップＳ６１１において、撮像処理部４０６は、カメラ部２０２から読み取り領域２０５を撮像した撮影画像を受信する。ここで、カメラ部２０２は、所定のフレームレートで読み取り領域２０５を撮像し、撮像した撮影画像を１フレームずつ撮像処理部４０６へ送信することができる。

ステップＳ６１２において、撮像処理部４０６は、ステップＳ６１０で取り込んだフレームを対象として、ステップＳ６０２で算出した射影変換パラメータに基づいて射影変換を行い、読み取り領域２０５を撮影した読み取り領域撮影画像を生成する。

ステップＳ６１３において、タイミング検出部４１０は、ステップＳ６０４で生成した読み取り領域背景画像と、ステップＳ６１１で生成した読み取り領域撮影画像より、背景差分２値画像を生成する。図５（ａ）〜（ｈ）に示す読み取り領域撮影画像が入力された場合の背景差分２値画像の例を図８（ａ）〜（ｈ）にそれぞれ示す。背景差分２値画像中の黒画素部分は画像変化量がない、すなわちオブジェクトが存在していない部分を表している。また、白画素部分は画像変化量がある、すなわちオブジェクトが存在している部分であることを示している。なお、原稿内にはたまたま背景画像の対応箇所と一致する色の画素が含まれている可能性があるが、たとえば原稿の縁部などオブジェクトが存在する部分に囲い込まれた領域もまたオブジェクトの領域とみなすことで、図８のような差分画像を生成できる。また、背景画像と撮影画像との位置ずれに対しては、たとえば背景画像と撮影画像との対応箇所（たとえば角部など）の適当な範囲を選択し、その相関を判定してずれ量及び方向を決定して、決定したずれ量及び方向に従っていずれかの画像をシフトして差分をとればよい。より簡単には、読み取り領域を単色にしておくことでも対処可能であろう。

ステップＳ６１４において、タイミング検出部４１０は、ステップＳ６１３で生成された背景差分２値画像に基づいて、読み取り領域２０５上のオブジェクトを検知する。オブジェクトが１つも検知されなかった場合にはステップＳ６２２へ進む。一方、オブジェクトが１つ以上検知された場合にはステップＳ６１５へ進む。例えば、図８（ａ）では白画素部分が存在しないことから、読み取り領域２０５上にオブジェクトが存在しない（オブジェクト数＝０）であると判定されるため、ステップＳ６２２へ進む。図８（ｂ）では、背景差分２値画像中にオブジェクト領域であることを示す白画素領域８０１が１つ存在することから、状態管理テーブル（図１０）のオブジェクト数＝１としてステップＳ６１５へ進む。あるいはステップＳ６１５へ進んでオブジェクト数＝１とする。また、図８（ｆ）では、３つの白画素領域８０１〜８０３が存在することから、オブジェクト数＝３としてステップＳ６１５へ進むことになる。

ステップＳ６１５において、タイミング検出部４１０は、今回ステップＳ６１３で生成した背景差分２値画像と、前回ステップＳ６１３で生成した背景差分２値画像より、フレーム差分２値画像を生成する。これは、連続するフレーム間でどれくらい変化したかを示す画像変化量を表しており、フレーム差分２値画像中の白画素領域として表現される。図５（ａ）〜（ｈ）に示す読み取り領域撮影画像が入力された場合のフレーム差分２値画像を図９（ａ）〜（ｈ）にそれぞれ示す。

ステップＳ６１６において、タイミング検出部４１０は、ステップＳ６１５で生成したフレーム差分２値画像に基づいて、画像変化量が所定の値（ここでの所定の値は０に近い）より大きいかどうかを判定する。差分がある場合には、読み取り領域２０５上のオブジェクトに変化があると判定され、ステップＳ６１７へ進む。

一方、ステップＳ６１６において差分がない場合には、読み取り領域上のすべてのオブジェクトが静止していると判定できるため、ステップＳ６１８へ進む。例えば、ステップＳ６１６において、フレーム差分２値画像が図９（ｂ）であったとすれば、このフレーム差分２値画像中に、所定値以上の画像変化量を表す白画素領域９０１が検出されることから、読み取り領域２０５上のいずれかのオブジェクトが移動状態であると判定され、ステップＳ６１７へ進む。一方、ステップＳ６１６において、フレーム差分２値画像が図９（ｅ）であったとすれば、フレーム差分２値画像中に画像変化量を示す白画素領域が存在しないことから、全オブジェクトが静止した静止状態を検知し、ステップＳ６１８へ進む。

ステップＳ６１７において、タイミング検出部４１０は、ステップＳ６１４で検知されたすべてのオブジェクトに対しての静止検知処理を行う。処理の詳細は図１１を用いて後述する。ステップＳ６１７における静止オブジェクトの検知では、静止が検知された順序を示す情報が静止オブジェクトの属性として付与される。本実施形態では静止の検知順序はオブジェクトＩＤにより示されることとしているが、順序情報を別途属性の一部として用意し、静止検知の順序を順序情報として保存してもよい。

一方、ステップＳ６１６において差分が検出されなかった場合、ステップＳ６１８において、タイミング検出部４１０は、所定時間内で画像変化量がない状態が継続していることを検知する。具体的には、連続して変化がないと判定したカメラ画像のフレーム数をカウントし、所定の基準フレーム数と比較して、基準フレーム数を超えていれば所定時間変化がないと判定することができる。所定時間内で連続して変化がない場合、すべての原稿が完全に静止したと判定することができ、ステップＳ６１９へ進む。一方、所定時間内で変化が生じた場合には、ステップＳ６２２へ進み、所定時間での静止判定処理を繰り返す。なお、所定の基準フレーム数を増減させることにより、原稿を載置してから静止判定されるまでの時間を制御することが出来る。本実施形態では所定の基準フレーム数を大きめに設定した場合について説明する。上述のように、タイミング検出部４１０は、例えば図５（ｅ）の状態において、図９（ｅ）のフレーム差分２値画像を得ると、すべてのオブジェクトの静止を検知する。ここでは、所定のフレーム数を大きく設定しているため、ステップＳ６１８において所定時間内の静止を検知する前に、撮像処理部４０６は、図５（ｆ）に示すように次の原稿が読み取り領域２０５に置かれ始める状態を撮像する。すると、タイミング検出部４１０は、ステップＳ６１６においてフレーム差分量を検出するため、再びステップＳ６１７へ進み、オブジェクトの静止判定処理を行う。そして、最終的に、全ての原稿を原稿台に載置し終えた図５（ｈ）の状態が所定時間続いたタイミングをフレーム間の差分から検知し、続くステップＳ６１９の処理へ進むことになる。

ステップＳ６１９において、タイミング検出部４１０は、ステップＳ６１２で射影変換した読み取り領域カメラ画像と、データ管理部４０５によって保存されている図１３（ｃ）に示す最新静止画像１３０３との差分量を算出する。なお、今回撮像処理部４０６の開始後初めてステップＳ６１９を実行した場合は、ステップＳ６０４で保存した図１３（ｂ）に示すように読み取り領域背景画像との差分量を算出する。

ステップＳ６２０において、タイミング検出部４１０は、ステップＳ６１９で算出した差分量が所定の値（ここでの所定の値は０に近い）より大きいかどうかを判定する。これにより、読み取り領域撮影画像と保存されている最新静止画像１３０３との差分があるか否かを判定する。差分がない場合は、前回の状態から変化がないため、ステップＳ６２２へ進み、処理を繰り返す。一方、保存されている最新静止画像との差分がある場合にはステップＳ６２１へ進む。ステップＳ６２０において差分がある場合とは、現在の処理対象となるフレームが、一定期間静止している静止画像であり、かつ、それ以前の静止画像と対比すると変化が生じている画像である場合である。

ステップＳ６２１において、ステップＳ６１２で生成した読み取り領域撮影画像を画像認識部４０７へ送信する。そして、画像認識部４０７の原稿画像データ抽出部４１１は、この読み取り領域撮影画像を受信すると原稿画像データ抽出処理を行う。原稿画像データ抽出処理の詳細は図１２を参照して後述する。抽出された原稿画像データは一定期間静止した静止画像の画像データである。

ステップＳ６２２において、タイミング検出部４１０は、データ管理部４０５を介して、状態管理テーブルを更新する。

図５（ｂ）〜（ｈ）の状態が撮像された場合の状態管理テーブルの状態を、それぞれ図１０（ｂ）〜（ｈ）に示す。例えば、図５（ｂ）では、図９（ｂ）のようにフレーム差分２値画像による画像変化量が検知されていることから、図１０（ｂ）に示すようにオブジェクト８０１（＝ｏｂｊＩＤ）のオブジェクト状態を移動中として記録することができる。さらには、背景差分２値画像による画像変化量が初めて所定値以上となったフレームであることから、フレームインという状態を記録することもできる。図５（ｄ）では、後述する静止オブジェクト検知処理により、オブジェクト８０１の静止とオブジェクト８０２の移動状態をそれぞれ検知することから、図１０（ｄ）に示すようにそれらの状態がｏｂｊＩＤ８０１と８０２にそれぞれ記録される。また、静止したオブジェクトについては、オブジェクトの位置とサイズおよび、所定時間の静止をカウントするための静止フレーム数も併せて記録される。なお、ここでは、オブジェクト静止時に保存する位置およびサイズは、オブジェクトに外接する矩形の中心座標および幅／高さとした。なお、オブジェクトの位置およびサイズは、後述の原稿画像データ抽出時に特定できるような情報であればこれに限らず、外接円の中心座標と半径であったり、輪郭情報であったりしても構わない。もちろん、移動中のオブジェクトに対しても位置およびサイズ情報を保存しても構わない。図５（ｈ）の状態では、図９（ｈ）のフレーム差分２値画像及び図８（ｈ）の背景差分２値画像ステップＳ６１６およびステップＳ６１８ですべてのオブジェクトの静止を検知することから、オブジェクト（ｏｂｊＩＤ）８０３の状態を静止状態に変更する（図示なし）。そして、所定時間の静止を検知すると原稿画像データの抽出処理を行い、図１０（ｈ）のように状態管理テーブル中のすべてのオブジェクト状態を原稿検出済みに変更する。

ステップＳ６２３において、メイン制御部４０２は、全原稿のスキャンが終了したかを判定する。スキャン終了判定は、ネットワークＩ／Ｆ３０６を介してホストコンピュータ１０２から送信されるスキャン終了命令や、ＬＣＤタッチパネル３３０から入力される終了命令、あるいはタイマー設定（図示せず）などにより行われるものとする。たとえばタイマーを用いる場合、タイマーはＳ６２２で静止画像を新たに保存した場合にスタートさせ、Ｓ６２３ではそれが満了していれば終了と判定する。スキャンを終了する場合にステップＳ６２４へ進み、出力ファイル生成処理を行った後、スキャン処理を終了する。スキャンを継続する場合にステップＳ６１１へ戻り、次のオブジェクトの検出および撮像を行う。

最後に、ステップＳ６２４において、出力ファイル作成部４０９は、ステップＳ６２１で抽出された複数の原稿画像データを、所定のファイル形式に変換して出力する。処理の詳細は図１６を用いて後述する。

＜静止オブジェクト検知処理（Ｓ６１７）＞
続いて、図１１を用いて、図６のステップＳ６１７における静止オブジェクト検知処理について詳細に説明する。図１１のステップＳ１１０１からステップＳ１１０５にループ処理において、タイミング検出部４１０は、ステップＳ６１４で検出したＮ個のオブジェクトに対してそれぞれ静止判定処理を行う。ステップＳ１１０１、Ｓ１１０５は、ループの始端と終端とをそれぞれ示しており、ステップＳ１１０１は、そのループがオブジェクトｉ＝０〜Ｎ−１について実行されることを示す。

ステップＳ１１０２において、タイミング検出部４１０は、ステップＳ６１５で生成したフレーム差分２値画像より、ステップＳ６１４で検出したｉ番目のオブジェクトにおけるフレーム差分量を算出する。静止したオブジェクトに関してはその位置や範囲が属性として記録されるので、移動中のオブジェクトは、処理対象の撮影画像内のオブジェクトのうちから、位置及び範囲が特定できる静止オブジェクトを除いたオブジェクトである。すなわち、移動中のオブジェクトは、当該オブジェクトのオブジェクトＩＤと関連では、それが撮影画像に含まれているという事実のみが状態管理テーブル（図１０等参照）に記録されており、撮影画像中のオブジェクトとの紐付けはされていない。そして撮影画像中のオブジェクトは、それが静止して初めて、その位置や範囲を示す情報によってオブジェクトＩＤと関連付けられる。このため、本実施形態では、オブジェクトＩＤは、オブジェクトが静止した順序で付与される。

例えば、図５（ｄ）の状態が撮影された場合、図８（ｄ）に示す背景差分２値画像が得られ、その中より２つのオブジェクト８０１および８０２が検出される。また、図９（ｄ）に示すフレーム差分２値画像が得られる。そして、この２枚を比較することで、オブジェクトごとのフレーム間の差分量を算出する。ここでは、オブジェクト８０１の領域においてフレーム差分量は検出されないことが分かる。一方、オブジェクト８０２の近傍領域において図９（ｄ）に示す白画素領域９０４および９０５が検出される。これはオブジェクト８０２の移動前後における移動量を表している。ここでは、本ステップでのオブジェクト８０２に対するフレーム差分量なので、白画素領域９０４が検出されることになる。

ステップＳ１１０３において、タイミング検出部４１０は、ステップＳ１１０２で算出したｉ番目のオブジェクトに対するフレーム差分量があるか否かを判定する。図８（ｄ）中のオブジェクト８０２のように、差分量が検出された場合には、そのオブジェクトは移動中のオブジェクトとして判定され、ステップＳ１１０５へ進む。移動中のオブジェクトの暫定位置を保存している場合には、その位置を最新のフレームにおける位置に更新する。一方、図８（ｄ）中のオブジェクト８０１のように、差分量が検出されなかった場合には、ステップＳ１１０４へ進む。

ステップＳ１１０４において、タイミング検出部４１０は、ステップＳ１１０３において差分が検出されなかったオブジェクトを静止オブジェクトとして判定する。さらに、図６のステップＳ６１８と同様に、所定時間変化がないかを判定するために、静止フレーム数をカウントする。なお、本ステップで用いる静止判定のための所定値は、ステップＳ６１８で使用したものと異なるフレーム数を使用してもよい。

ステップＳ１１０５において、タイミング検出部４１０は、Ｎ個のオブジェクトに対しての静止判定処理が終了すると、図６のステップＳ６２２へ進み、データ管理部４０５を介して各オブジェクトの状態を更新する。

以上の通り、図６の手順によれば、最初に撮影画像内において静止した順序でオブジェクトに対してオブジェクトＩＤが付与される。なおＩＤとは別に、順序を示す情報を属性に持たせてもよい。

＜原稿画像データ抽出処理（Ｓ６２１）＞
続いて、図１２〜図１４を用いて、図６のステップＳ６２１における原稿画像データ抽出処理について詳細に説明する。図１２は、画像認識部４０７の原稿画像データ抽出部４１１の処理フローを示す図である。図１３は、データ管理部４０５が管理する静止画像および抽出原稿画像データの保存方法を示す模式図である。図１４は、データ管理部４０５が管理する属性管理テーブルを示している。

図６のステップＳ６２１において送信された射影変換された読み取り領域カメラ画像を原稿画像データ抽出部４１１が静止画像として受信すると、図１２に示すステップＳ１２０１が実行開始される。

ステップＳ１２０１からステップＳ１２０３のループ処理において、原稿画像データ抽出部４１１は、図６のステップＳ６１４で検出されたＮ個のオブジェクトより原稿画像データを抽出する処理を実行する。状態管理テーブルのオブジェクトｉ（ｉ＝０〜Ｎ−１）に順次着目して、Ｓ１２０２の処理を繰り返す。前述のようにオブジェクトＩＤはオブジェクトが静止した順序を示すものでもあるため、図１２の手順では、原稿画像は静止した順序で抽出される。なお、画像内のオブジェクトの認識のために低解像度画像を用いた場合には、Ｓ１２０１に先立って、原稿画像の抽出のために利用する高解像度画像を改めて撮影するのが望ましい。その場合には、改めて撮影した高解像度画像がＳ１２０２における原稿画像データ抽出処理の対象の静止画像となる。また、属性管理テーブルに保存されたオブジェクトの位置や範囲については、低解像度画像と高解像度画像との解像度の比に応じて変換される。

ステップＳ１２０２において、原稿画像データ抽出部４１１は、静止画像１００２からｉ番目のオブジェクト領域８０１より原稿画像データを抽出する。原稿画像データは、図６のステップＳ６１３で生成した背景差分２値画像よりエッジを検出し、それを矩形近似するなど既存の方法を用いて原稿枠を特定し、特定した原稿枠内から抽出すればよい。データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１３（ｄ）中の「／ＤＯＣＤＩＲ」）を作成し、抽出した原稿画像データを、通番管理されたファイル名とともに原稿画像データ１３１１として保存する。さらに、データ管理部４０５は、図１４（ａ）に示すような文書属性と画像属性１４０１とを管理する属性管理テーブルを作成し、ＲＡＭ３０３上に保存する。文書属性には原稿総数および原稿画像データの保存ディレクトリ名が保存される。また、画像属性には、原稿番号（Ｄｏｃ）、面情報、原稿幅／高さ、静止画像中の原稿位置、原稿画像データのファイル名などの情報が保存される。原稿位置は、原稿の左上頂点座標と回転角度の形式で保存しているが、４頂点座標を格納するなどでもよい。なお作成した属性管理テーブルには、本例では、原稿画像を抽出した順に原稿番号が付与されるものとする。したがって、原稿番号は当該原稿が静止した順、すなわち原稿台に載置された順序を示している。

ステップＳ１２０３において、原稿画像データ抽出部４１１はＮ個のオブジェクトに対する原稿画像抽出が終了するまで処理を繰り返す。ここでは、オブジェクト８０１〜８０３に対して原稿抽出処理を行い、図１３（ｅ）に示す原稿画像データ１３１１〜１３１３として保存される。また、ＲＡＭ３０３上には図１４（ｂ）に示す、オブジェクト１〜３それぞれに対して画像属性１４０１〜１４０３が関連付けられた属性管理テーブルが作成され、保存される。

最後に、ステップＳ１２０４において、原稿画像データ抽出部４１１は、受信した静止画像を、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１３（ｂ）に受信した静止画像を保存した時の模式図を示す。データ管理部４０５は、ステップＳ６０４で読み取り領域背景画像１３０１を保存したのと同じディレクトに、最新静止画像として静止画像１３０２を保存する。なお、２ページ目以降の処理においては、図１３（ｃ）に示すように、前回受信した静止画像１３０２を直前静止画像として保存し直し、今回受信した静止画像を最新静止画像１３０３として保存する。

＜出力ファイル生成処理（Ｓ６２４）＞
最後に図１５〜図１６を用いて、図６のステップＳ６２４における出力ファイル生成処理について詳細に説明する。ここでは、抽出された原稿画像データの順番に従って、マルチページドキュメント（たとえばマルチページＰＤＦなどのマルチページファイル）に変換して出力する方法について説明する。なお保存形式はこれに限らず、ファイル名に連番を付与した個別ファイルとして出力するなどでも構わない。

図１５はマルチページドキュメントのフォーマットの一例としてＸＭＬ形式のテキストファイルで記述した場合の例を示す。マルチページドキュメントは、出力ファイルの先頭に挿入されるヘッダ記述１５０１、抽出された原稿画像データをページ単位で記述するための電子文書ページ記述１５０２〜１５０４、そしてファイルの記述終了を示すフッタ記述１５０５で構成される。

図１６に、マルチページドキュメントを出力する処理手順を示す。図１６のステップＳ１６０１において、出力ファイル作成部４０９は、新規のマルチページドキュメントを生成するためのヘッダ記述１５０１を出力する。

ステップＳ１６０２において、出力ファイル作成部４０９は、図１４（ｂ）に示すＲＡＭ３０３上の属性管理テーブルより１枚目の画像属性情報１４０１を取得する。なお、本例では、属性管理テーブルには原稿が載置された順序で各原稿の属性のレコードが登録されるため、最初のレコードから順次処理することで、原稿が載置された順序で処理が進行することになる。ここで原稿番号を参照し、その順序で原稿画像を処理すれば、属性管理テーブルにおけるレコードの順序とは独立して、原稿が載置された順序で処理を行うことができる。

ステップＳ１６０３において、出力ファイル作成部４０９は、図１３（ｅ）に示すＨＤＤ３０５上より１枚目の原稿画像データ１３１１を取得する。

ステップＳ１６０４において、出力ファイル作成部４０９は、ステップＳ１６０３で読み出した原稿画像データ１３１１を電子文書ページ記述１２０２として記述する。この際、画像処理プロセッサ３０７上で、傾き補正・回転などの補正処理や、下地飛ばし・エッジ強調などの補正処理を行って原稿画像データを鮮鋭化しても構わない。

ステップＳ１６０５において、データ管理部４０５は、出力ファイルへの書き込みが終了したオリジナルの原稿画像データ１３１１をＨＤＤ３０５から削除する。

ステップＳ１６０６において、出力ファイル作成部４０９は、全原稿画像データの処理が終了したかを判定する。未処理の原稿画像データが残っている場合にはステップＳ１６０２に戻り、出力ファイル生成処理を続ける。すべての原稿画像データの処理が終了した場合にはステップＳ１６０７へ進む。

ステップＳ１６０７において、出力ファイル作成部４０９は、ファイルの終端を示すフッタ記述１２０５を出力し、出力ファイルを生成する。

以上の処理により、読み取り領域上に原稿が置かれた順番を検知することにより、自動的に原稿画像データの抽出順番を決定し、抽出した順番に従って原稿画像データを所定のフォーマットで保存することができるようになった。そのため、ユーザが原稿をページ順で順番に置いていくという単純操作により連続ページのスキャンをできることから操作性が向上し、処理パフォーマンスの向上にもつながる。

［第２の実施形態］
第１の実施形態では、撮像された画像から、読み取り領域上のオブジェクトの静止を個別に検出し、すべてのオブジェクトの静止が検出されると、静止した順番で原稿画像データを抽出して所定フォーマットで保存する仕組みを提供した。本実施形態では、原稿データ抽出後に、新たに原稿が置かれた場合に、新規原稿のみを検出するための仕組みを提供する。

ここでは、図６のステップＳ６１８での所定時間の静止を判定する際の所定の基準フレーム数が少なかった場合について説明する。ここでは、詳細な説明は省略するが、図５に示す操作を行った際、図５（ｂ）〜（ｅ）の操作において、タイミング検出部４１０は、読み取り領域２０５上に２つのオブジェクトが挿入され、静止したことを検知する。そして、図５（ｆ）に示す３枚目の原稿を挿入するまでの間に、図６のステップＳ６１８において、全オブジェクトの所定時間の静止が検知され、原稿画像データ抽出部４１１により原稿画像データ抽出処理が実行される。そして、ステップＳ６２２において、図１０（ｅ）に示す状態管理テーブル中のオブジェクト８０１と８０２の状態が、図１７（ａ）に示すように静止から原稿抽出済みに更新されて保存される。

続いて、図５（ｆ）に示す３枚目の原稿が挿入され、そのフレームが入力されると、フレーム差分２値画像及び背景差分２値画像から、ステップＳ６１７においてオブジェクト８０３領域のみの移動が検知され、図１７（ｂ）に示すように状態管理テーブルが更新される。そして、図５（ｈ）ですべてのオブジェクトの静止が検知されると、原稿画像データ抽出処理を実行する。

図１８に本実施形態における原稿画像データ抽出処理（ステップＳ６２１）の処理フローを示す。なお、第１の実施形態の図１２と同じ処理については説明を省略する。

ステップＳ１２０１からステップＳ１２０３のループ処理において、原稿画像データ抽出部４１１は、図６のステップＳ６１４で検出されたＮ個のオブジェクトより、原稿画像データを抽出する処理を行う。

ステップＳ１８０１において、原稿画像データ抽出部４１１は、図１７（ｃ）に示すＲＡＭ３０３に保存された状態管理テーブルをもとにｉ番目のオブジェクトが原稿抽出済みか否かを判定する。ここでは３つのオブジェクト８０１〜８０３が検出されているが、オブジェクト８０１および８０２の状態は原稿抽出済みとなっていることから、ステップＳ１２０３へ進み、次のオブジェクトの抽出処理を行う。一方、オブジェクト８０３の状態は静止となっていることからステップＳ１２０２へ進み、原稿画像データの抽出を行う。

以上の処理により、原稿画像データ抽出後に、新しく原稿を置いた場合にも、追加された原稿画像データのみを抽出することが出来る。

［第３の実施形態］
本実施形態では、第２の実施形態で提供した原稿データ抽出後に、新たに原稿が置かれた場合に、新規原稿のみを検出するための仕組みの別形態を提供する。上述のように、図５に示す操作を行った際、図５（ｂ）〜（ｅ）の操作において、タイミング検出部４１０は、読み取り領域２０５上に２つのオブジェクトが挿入され、静止したことを検知する。そして、図５（ｆ）に示す３枚目の原稿を挿入するまでの間に、図６のステップＳ６１８において、全オブジェクトの所定時間の静止が検知され、原稿画像データ抽出部４１１により図１９に示す原稿画像データ抽出処理（ステップＳ６２１）が実行される。

本実施形態における原稿画像データ抽出処理を図１９に示す。なお、第１〜３の実施形態と同じ処理については説明を省略する。図１９のステップ１９０１において、すべての原稿画像データを抽出した後、データ管理部４０５を介して原稿画像データ抽出部４１１が受信した静止画像を、図１３に示す読み取り背景画像１３０１として更新する。これにより、図５（ｆ）に示す撮影画像が入力された場合、図６のステップＳ６１３では、図８（ｆ）中の白画素領域８０３のみが検出されることになる。よって、ステップＳ６１４以降の処理では、新たに検出された１つのオブジェクト８０３のみに注目して処理を行うことができる。

以上の処理により、原稿画像データ抽出後に、新しく原稿を置いた場合にも、追加された原稿画像データのみを抽出することが出来る。

［第４の実施形態］
本実施形態では、新たに読み取り領域２０５上にフレームインしたオブジェクトが、すでに静止検知されたオブジェクト上を通過する際に、オブジェクト検出数を誤検出してしまうことを防止するための仕組みを提供する。

図２０を用いて、本実施形態の処理について説明する。図２０は新たに読み取り領域２０５上にフレームインしたオブジェクトが、すでに静止検知されたオブジェクト上を通過するような操作手順および処理結果を表している。

図２０（ａ）〜（ｃ）に示す操作は、図５（ｆ）〜（ｇ）での操作中に起こりうる状態を図示したものである。すなわち、図２０（ａ）に示すように新たな原稿５０３を挿入し、図２０（ｃ）に示すように原稿を配置するような操作を行う際に、図２０（ｂ）に示すように他の原稿５０１上を通過するような操作方法を示している。また、図２０（ｄ）〜（ｇ）は、図６のステップＳ６１３で生成される背景差分２値画像を示している。

第１〜３の実施形態における図６のステップ６１３で生成される背景差分２値画像は図２０（ｅ）となる。この時ステップＳ６１４では、すでに静止が検知されたオブジェクト８０１と、新たに追加されたオブジェクト８０３が１つのオブジェクトとして認識されてしまう。これにより、フレーム差分量は１つのオブジェクトと認識された領域から検出されることになり、オブジェクト全体が移動中として認識されてしまうことになる。

そこで、本実施形態では、図６のステップＳ６１３において、タイミング検出４１０は、背景差分２値画像を生成する際に、すでに静止を検知しているオブジェクトと新たに検出されたオブジェクトを分離した背景差分２値画像を生成する。すなわち、静止検知されたオブジェクト８０１の位置は図１０（ｆ）に示すようにＲＡＭ３０３中の状態管理テーブルに記録されているため、生成された背景差分２値画像をオブジェクト８０１の輪郭情報を用いて分割する。これにより図２０（ｆ）に示すように、２つのオブジェクトが交差した場合においても、継続して２つのオブジェクトとして検知することが可能となる。

以上の処理により、新たに読み取り領域２０５上にフレームインしたオブジェクトが、すでに静止検知されたオブジェクト上を通過する際に、オブジェクト検出数を誤検出してしまい、静止判定が正しく機能しなくなってしまうことを防止することができる。

［第５の実施形態］
本実施形態では、読み取り領域２０５上に置かれている原稿上に、別の原稿を重ねて置かれた場合に、正しく原稿が抽出できなくなることを回避するための仕組みを提供する。

図２１に本実施形態における静止オブジェクト検知処理（ステップＳ６１７）の一例を示す。なお、第１〜４の実施形態と同じ処理については説明を省略する。図２１のステップＳ１１０３において、タイミング検出部４１０は、前フレームとの差分量を用いてオブジェクトごとの静止状態を検知する。

ステップＳ２１０１において、タイミング検出部４１０は、差分量がないと判定されたオブジェクトに対して、他のオブジェクトとの重なりがあるか否かを判定する。他のオブジェクトとの重なりがないと判定された場合においては、ステップＳ１１０４において静止状態を保存する。一方、他のオブジェクトとの重なりが検出された場合には、ステップＳ２１０２へ進む。

ステップＳ２１０２において、タイミング検出部４１０は、データ管理部４０５を介して、ｉ番目のオブジェクトに対するＲＡＭ３０３上の状態管理テーブルのオブジェクト状態を「原稿重なりあり」として保存する。このとき、メイン制御部４０２は、操作表示部４０３に対して、原稿重なりがあるというエラー表示を出力して、ユーザに原稿の移動を促すことができる。

以上の処理により、静止が検知されたオブジェクトの上に、新しく挿入されたオブジェクトが重なった場合においても、オブジェクトの重なり状態を検知してユーザに警告することで、原稿の抽出に失敗する状況を回避することが出来る。

［第６の実施形態］
本実施形態では、撮像後の原稿を移動させたり、原稿を取り除いたりする操作や、両面原稿の場合に原稿を裏返す操作を可能にするための仕組みを提供する。

図２２と図２３を用いて、本実施形態の処理について説明する。図２２（ａ）〜（ｄ）は、原稿抽出処理が行われた後の２枚の原稿２２０１と２２０２に対して原稿裏返し操作と原稿除去操作を行った時に、読み取り領域２０５上の様子をカメラで撮像した時の様子を示している。なお、図２２（ａ）は、第２の実施形態における図５（ｅ）の状態の直後のカメラ画像を表しており、ＲＡＭ３０３上の状態管理テーブルは図１７（ａ）となっているものとする。図２２（ｅ）〜（ｈ）および図２２（ｉ）〜（ｌ）は、それぞれ図２２（ａ）〜（ｄ）の操作を行った際の背景差分２値画像とフレーム差分２値画像を表している。

図２３は、本実施形態における静止オブジェクト検出処理（ステップＳ６１７）の処理フローである。なお、第１〜５の実施形態と同じ処理については説明を省略する。図２３のステップＳ１１０２において、タイミング検出部４１０は、背景差分２値画像より検出された個々のオブジェクトに対して、フレーム差分量を算出する。ステップＳ１１０３において、タイミング検出部４１０は、ステップＳ１１０２で算出したフレーム差分量が所定値以下であるか否かを判定する。フレーム差分量がない（所定値以下である）と判定された場合にはステップＳ２３０１へ進む。一方、フレーム差分があると判定された場合には、ステップＳ１１０５へ進み、次のオブジェクトの静止検知処理を行う。

ステップＳ２３０１において、タイミング検出部４１０は、オブジェクトがフレームアウトしたか否かを検知する。オブジェクトのフレームアウトは、フレーム差分量が直前のフレームより減少し、かつ、背景差分２値画像中のｉ番目のオブジェクトに対する差分量が所定値以下であるかどうかで判定することができる。オブジェクトがフレームアウトしていないと判定された場合はステップＳ２１０１へ進む。フレームアウトしたと判定された場合にはステップＳ２３０４へ進む。

ステップＳ２１０１において、タイミング検出部４１０は、他のオブジェクトとの重なりがあるかを判定する。

ステップＳ２３０２において、タイミング検出部４１０は、ＲＡＭ３０３に保存された状態管理テーブルより、ｉ番目のオブジェクトの状態を取得する。そして、オブジェクト状態が原稿抽出済みである場合にはステップＳ２３０３へ進む。一方、オブジェクト状態が原稿抽出済みでない（移動中や静止など）場合はステップＳ１１０４へ進む。

ステップＳ２３０３において、タイミング検出部４１０は、原稿抽出されたオブジェクトが移動し、再び静止したことから、このオブジェクト中に含まれている原稿が裏返されたものと判定し、裏面静止状態として検知する。

ステップＳ１１０４において、タイミング検出部４１０は、原稿が未抽出のオブジェクトが静止した場合には、表面静止状態して検知する。

ステップＳ２３０１においてオブジェクトがフレームアウトしたと判定されたことを受け、ステップＳ２３０４において、タイミング検出部４１０は、オブジェクトの除去を検知する。そして、ＲＡＭ３０３上の状態管理テーブルにｉ番目のオブジェクトに該当するデータが存在していた場合には、データ管理部３０５を経由して該当データを削除する。

例えば、図２２（ａ）および（ｂ）では、オブジェクト２２０１と２２０２が検知され、それぞれのオブジェクトからフレーム差分量が検出されるため、オブジェクトの状態を移動中＆原稿抽出済みであると判定される。そして、図２２（ｃ）では、ステップＳ２３０１においてオブジェクト２２０２に対する背景差分量が所定値以下であると判定され、フレームアウトしている状態であると判定される。そして、ステップＳ２３０４において、オブジェクトが除去されたと判定され、ＲＡＭ３０３上の状態管理テーブル上から該当するデータが削除される。最後に、図２２（ｄ）では、ステップＳ１１０３において、オブジェクトの移動がなくなったことを検知する。そしてステップＳ２３０２において、原稿抽出済みのオブジェクトであると検知することから、ステップＳ２３０３へ進み、裏面静止状態して判定されることになる。

その後、図６のステップＳ６２１において、原稿画像データが表面と裏面と区別されて抽出される。なお、原稿抽出時に、裏面静止状態として記録されていたオブジェクトについては、ＲＡＭ３０３上に保存された画像属性の原稿番号（Ｄｏｃ）と面情報に、対応する原稿番号と裏面という情報をそれぞれ保存する。

最後にステップＳ６２４において対応する原稿の表面と裏面が順番に並ぶようにして出力ファイルが生成される。すなわち、１ページ目表面、１ページ目裏面、２ページ目表面の順番でページが生成される。

以上の処理により、原稿を取り除くことで１枚の原稿のスキャンを終了し、両面原稿を裏返すといった操作により、原稿の裏面をスキャンするといったことが自動で行えることから操作性が向上する。また、複数の原稿を同時にスキャンした場合に対しても、表面原稿と裏面原稿が順番に並ぶようにファイルが生成できることから、利便性も向上することになる。

［第７の実施形態］
第６の実施形態では、原稿抽出されたオブジェクトが移動した後に静止した場合に、原稿の裏返し操作として両面原稿と判定を行っていた。本実施形態では、原稿抽出後のオブジェクトの場所を単純に移動した操作を行った場合に、誤って両面原稿として認識されることを防止する仕組みを提供する。

本実施形態では、ステップＳ２３０２において、原稿抽出済みであると判定されたオブジェクトに対して、原稿チェックを行う。原稿のチェックとは、直前に抽出された原稿との画像のマッチングをとり、同一原稿であるか否かを判定する。もし、同一原稿であると判定された場合には、単純に移動しただけと判断することが出来るので、ステップＳ５２１の原稿画像データ抽出処理において、ふたたび原稿画像データを抽出することがなくなる。あるいは、ここで抽出した原稿で上書きすることができる。

さらには、原稿チェックにおいて、白紙チェックをおこなうことで、白紙原稿が抽出されて出力されることを防止することも可能になる。

以上の処理により、原稿抽出が行われたオブジェクトに対して操作した際、単純に場所が移動しただけなのか、裏返し操作が行われたのかを自動で判別することができる。また、画像のチェックを行うことにより、同一原稿の抽出のみならず、白紙原稿の抽出を防止することも可能になる。

［第８の実施形態］
第１〜７の実施形態では、読み取り領域２０５上に原稿を置いた順番を検知してページ順番を検知していた。本実施形態では、読み取り領域２０５上から原稿を取り除いたことを検知して、ページ順番を決定する仕組みを提供する。

本実施系のタイミング検出部４１０は、図２３のステップＳ２３０１において、ｉ番目のオブジェクトの除去を検知する。そして、ステップＳ２３０４において、タイミング検出部４１０は、オブジェクトの除去された順番をページ順番として認識する。そして、データ管理部４０５を介して、ＲＡＭ３０３上に保存された図１４に示す属性管理テーブル中の原稿番号（Ｄｏｃ）にページ順番を記録する。

その後、図６のステップＳ６２４において、出力ファイルを生成する際には、ステップＳ２３０４において、原稿フレームアウト時に記録された属性管理テーブル中の原稿番号順にページを並び替えて出力する。

なお、第６の実施形態のように、両面原稿を取り扱う場合には、オブジェクトの静止検知処理の際に、両面対応するオブジェクトを関連付けしておき、フレームアウト検出時にまとめてオブジェクト番号を付与する。これにより、表面と裏面原稿が連続して指定のページ位置に挿入することが出来るようになる。

以上の処理により、読み取り領域２０５上からオブジェクトがフレームアウトしたことを検知することで、原稿を除去した順番でページ順番を自動で決定することが出来る。これにより、ユーザは複数の原稿をスキャンする際に、読み取り領域２０５上に原稿を乱雑に並べ、置かれた原稿を見ながら順番に原稿を回収すればよくなる。したがって、スキャン前に原稿を並び替える操作が不要になることからも、操作性を大きく向上させることが出来るようになる。

［第９の実施形態］
第１〜７の実施形態では原稿を置いた順番でページ順番を決定し、第８の実施形態では原稿を除去した順番でページ順番を決定していた。本実施形態では、ページ順番を決める際に、原稿を置いた順番あるいは原稿を除去した順番で決定するかを切り替えて選択できる仕組み提供する。さらには、ページの並び順を昇順あるいは降順に切り替えることも可能な仕組みを提供する。

図２４に本実施形態におけるページ順番決定方法を指定するユーザインタフェース（以下、ページ順設定ＵＩとよぶ）の一例を示す。ユーザは、本システムを使用する際に、図２４に示すようなページ順設定ＵＩ２４０１を操作することにより、ページ順決定のタイミングおよび、ページ並び順を決定する。ここでは一例として、ページ順決定のタイミングは「載置時」と「除去時」とし、ページ並び順は「ページ順」と「ページ逆順」であるため、ボタン２４０２〜２４０５の中からユーザが任意の組み合わせの設定を選択する。例えば、ボタン２４０３「載置時 ページ逆順」の設定を選択すると、最初に読み取り領域２０５上に置いた原稿が最終ページになり、最後に読み取り領域２０５上に置いた原稿が先頭ページとなるように検知され、出力される。そして、ボタン２４０６を押下することで設定内容の決定をし、ボタン２４０７を押下することで設定をキャンセルする。

以上のように、ページ順番の決定方法を事前に選択するようなページ順設定ＵＩを提供することにより、ページ順決定のタイミングや並び順を切り替えて使用することが出来るようになるため、ユーザによる原稿操作が柔軟になり、利便性が向上する。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 原稿が載置された読み取り領域を撮像することによって画像データを取得する取得手段と、
   前記読み取り領域に対する原稿の位置イベントを検出する検出手段と、
   前記検出手段で検出した位置イベントに基づき、前記原稿の順序を判定する判定手段と
   を備えることを特徴とする画像処理装置。
2. 前記位置イベントは、前記読み取り領域内における各原稿の静止、および、前記読み取られる領域内のすべての原稿の静止を含み、
   前記取得手段は、すべての原稿の静止を検出したタイミングに基づき前記原稿を撮像して前記画像データを取得し、
   前記判定手段は、各原稿の静止を検出した順序に応じて、各原稿の順序を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置イベントは、前記読み取り領域からの原稿のフレームアウト、および、前記読み取り領域内のすべての原稿の静止を含み、
   前記取得手段は、すべての原稿の静止を検出したタイミングに基づき前記原稿を撮像して前記画像データを取得し、
   前記判定手段は、各原稿のフレームアウトを検出した場合に原稿の順序を判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記位置イベントは、前記読み取り領域内における各原稿の静止、前記読み取り領域からの原稿のフレームアウト、および、前記読み取り領域内におけるすべての原稿の静止を含み、
   前記取得手段は、すべての原稿の静止を検出したタイミングに基づき前記原稿を撮像して前記画像データを取得し、
   前記判定手段は、原稿のフレームアウトを検出した後に原稿の静止を検出した場合に、原稿の順序を判定するとともに、静止が検出された原稿を新たな原稿の表面として判定し、原稿のフレームアウトを検出せずに原稿の静止を検出した場合に、静止が検出された原稿を両面原稿の裏面と判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記判定手段は、原稿の静止を検出した後に、静止が検出された前記原稿上に異なる原稿の静止を検出した際に、原稿の重なりを検出し、警告を発することを特徴とする請求項１に記載の画像処理装置
6. 前記順序が判定された原稿の画像データから所定のデータ出力形式で出力ファイルを作成する作成手段をさらに備えることを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記作成手段における前記所定のデータ出力形式は、順序が判定された原稿を、出力の順番に並び替えて１つのマルチページファイルとして出力する形式、及び原稿ごとの個別ファイルで出力する形式のうち少なくとも一つを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記作成手段は、前記取得手段で取得した原稿の画像データが白紙であるかを判定し、白紙でない場合に前記原稿の画像データを出力ファイルとして作成し、白紙である場合に前記原稿の画像データを削除することを特徴とする請求項６に記載の画像処理装置。
9. 前記判定手段は、前記取得手段で取得した原稿の画像データが直前に検出された原稿の画像データと同一原稿であるかを判定し、前記作成手段は、同一原稿でない場合に前記原稿の画像データを出力ファイルとして作成し、同一原稿である場合に前記原稿の画像データを削除することを特徴とする請求項６に記載の画像処理装置。
10. コンピュータを請求項１から９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
11. 原稿が載置された読み取り領域を撮像することによって画像データを取得する取得工程と、
    前記読み取り領域に対する原稿の位置イベントを検出する検出工程と、
    前記検出工程で検出した位置イベントに基づき、前記原稿の順序を判定する判定工程と
    を有することを特徴とする画像処理方法。

Images