JP2014220772A - 画像処理装置及びその制御方法とプログラム - Google Patents

Abstract

【課題】 複数枚の原稿をスキャンし保存する処理を、原稿の交換や、原稿の読み取り処理の終了指示の手間を省いた操作によって実現できるようにする。
【解決手段】 読取領域に原稿がない状態の背景画像データと、読取領域内で原稿が静止したときの原稿の静止画データとを記憶し、読取領域の原稿の枚数が１枚のとき、背景画像データと原稿の静止画データとの差分に基づいて、読取領域に含まれる原稿の画像データを抽出し、読取領域の原稿の枚数が複数のとき、読取領域の原稿の枚数が現在の枚数よりも１枚少ないときの原稿の静止画データと、読取領域の原稿の枚数が現在の枚数のときの原稿の静止画データと背景画像データとに基づいて、読取領域に最近に置かれた原稿の画像データを抽出する。こうして抽出された画像データから文書ファイルを作成するとともに、画像データを抽出した後、撮影した読取領域の画像データと背景画像データとの差が所定値以下になると、文書ファイルの作成を完了する。
【選択図】 図７

Description

本発明は、原稿を読み取って得られた画像データを処理する技術に関する。

従来、図２に示すような書画台に原稿を載せることによって、その原稿の画像をカメラ部で撮影して読み取っていく撮影装置がある。例えば特許文献１には、原稿台上の原稿の画像データに射影補正、拡大縮小等の画像処理を施して記憶装置に原稿画像データとして蓄積し、プロジェクタに投影する技術が記載されている。

特開２００６−１１５３３４号公報

しかしながら、従来の技術では、複数枚の原稿を読み取って保存する際には、１枚の原稿を読み取った後、必ずその原稿を除去してから次の原稿を読み込ませるというステップを踏む必要があり手間がかかっていた。また、複数枚の原稿を読み取った後、その原稿の画像データの保存操作の終了を指示するために、その保存操作終了を指示するためのキーを設ける必要があった。

本発明の目的は、上記従来技術の問題点を解決することにある。

本発明の特徴は、複数枚の原稿を読み取る際、読み取り済の原稿を除去しなくても複数枚の原稿を読み取る技術を提供することにある。

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
読取領域を撮影して撮影した画像データを出力する撮影手段と、
前記撮影手段から出力された前記読取領域に原稿がない状態の背景画像データと、前記読取領域内で原稿が静止したときの原稿の静止画データとを記憶する記憶手段と、
前記読取領域の原稿の枚数が１枚のとき、前記背景画像データと前記原稿の静止画データとの差分に基づいて、前記読取領域に含まれる原稿の画像データを抽出する第１の抽出手段と、
前記読取領域の原稿の枚数が複数のとき、前記読取領域の原稿の枚数が現在の枚数よりも１枚少ないときの前記記憶手段に記憶されている原稿の静止画データと、前記読取領域の原稿の枚数が現在の枚数のときの前記記憶手段に記憶されている原稿の静止画データと、前記背景画像データとに基づいて、前記読取領域に最近に置かれた原稿の画像データを抽出する第２の抽出手段と、
前記第１及び第２の抽出手段により抽出された画像データから文書ファイルを作成する作成手段と、
前記第１の抽出手段が前記画像データを抽出した後、前記撮影手段が撮影した前記読取領域の画像データと前記背景画像データとの差が所定値以下になると、前記作成手段による前記文書ファイルの作成を完了することを特徴とする。

本発明によれば、複数枚の原稿を読み取る際、読み取り済の原稿を除去しなくても複数枚の原稿を読み取ることができる。

本発明の実施形態１に係る画像読取システムの構成を説明する図。 実施形態１に係るカメラスキャナを説明する外観図。 実施形態１に係るカメラスキャナのコントローラ部の構成を説明するブロック図。 実施形態１に係るカメラスキャナのコントローラ部のＣＰＵが実行する制御用プログラムの機能構成図。 実施形態１に係る撮影処理部の処理を説明するフローチャート。 実施形態１に係る撮影処理部が撮影する読取領域の画像データと、射影変換した画像とを説明する図。 実施形態１に係る画像認識部の処理を説明するフローチャート。 実施形態１に係る画像認識部の処理を説明するフローチャートで、（Ａ）は、図７のＳ７０８の１ページ目の原稿の画像データの抽出処理を説明するフローチャート、（Ｂ）は、図７のＳ７１０の２ページ目以降の原稿の画像データの抽出処理を説明するフローチャート。 実施形態１に係る画像認識部の処理を説明するフローチャートで、（Ａ）は、図８（Ｂ）のＳ８１１の差分画像データの生成と差分量の算出処理を説明するフローチャート、（Ｂ）は、図８（Ｂ）のＳ８１２の差分画像データから画像データを抽出する処理を説明するフローチャート。 実施形態１に係る背景画像データの格納処理、及び原稿の画像データの格納処理を説明する図。 実施形態１に係る１ページ目の原稿の静止画像データの一例とともに、図８（Ａ）の処理を説明する図。 実施形態１に係る画像認識部が実行する２ページ目以降の原稿の画像データの処理を説明する図。 実施形態１に係る抽出画像データの画像属性の一例を示す図。 実施形態１に係る画像変換部が実行する処理を説明するフローチャート。 実施形態１に係る画像変換部が実行する処理を説明するフローチャートで、（Ａ）は、図１４のＳ１４０２の処理を示すフローチャート、（Ｂ）はＳ１４０３，Ｓ１４０５の処理を示すフローチャート。 実施形態１に係る画像変換部が保存する画像データと、その属性を説明する模式図。 図１４のＳ１４０７で生成する出力ファイルのフォーマットの一例であるＸＭＬ形式のテキストファイルの記述例を示す図。 実施形態１に係る画像変換部による、図１４のＳ１４０７の出力ファイルの生成処理手順を説明するフローチャート。 本発明の実施形態２に係る原稿画像の一例を示す図。 実施形態２に係る画像認識部による図７のＳ７１０の２ページ目以降の原稿の画像データの抽出処理を説明するフローチャート。 本発明の実施形態２に係る画像変換部が実行する処理を説明するフローチャート。 実施形態２に係る画像変換部が保存する属性を説明する図。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［実施形態１］
図１は、本発明の実施形態１に係る画像読取システムの構成を説明する図である。

カメラスキャナ１０１は、イーサネット（登録商標）等のＬＡＮ１０４を介してホストコンピュータ１０２及びプリンタ１０３と接続されている。このシステムでは、ホストコンピュータ１０２からの指示によりカメラスキャナ１０１が画像を読み取って生成した画像データをホストコンピュータコンピュータ１０２に送信するスキャン機能を実行できる。また、この画像データをプリンタ１０３により印刷するプリント機能を実行できる。また、ホストコンピュータ１０２を介さずに、ユーザがカメラスキャナ１０１へ直接指示することにより、スキャン機能及びプリント機能を実行できる。

図２は、実施形態１に係るカメラスキャナ１０１を説明する外観図である。

カメラスキャナ１０１は、大きく分けて、コントローラ部２０１、カメラ部２０２、腕部２０３、短焦点プロジェクタ２０７を備えている。カメラスキャナ１０１の本体であるコントローラ部２０１と、カメラスキャナ１０１の入力装置であるカメラ部２０２とは、腕部２０３により連結されている。腕部２０３は関節を用いて自由に曲げ伸ばしが可能である。短焦点プロジェクタ２０７は、書画台２０４等に、操作を補助する画像を投影して表示する。

図２では、カメラスキャナ１０１が書画台２０４上に設置されている様子を表している。カメラ部２０２のレンズは、書画台２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取ることができる。図２の例では、読み取り領域２０５内に原稿２０６が置かれている。

図３は、実施形態１に係るカメラスキャナ１０１のコントローラ部２０１の構成を説明するブロック図である。図３において、前述の図１及び図２と共通する部分は同じ記号で示している。

コントローラ部２０１は、主にシステムバス３０１に接続されたＣＰＵ３０２と各種Ｉ／Ｆコントローラ回路とを有している。ＣＰＵ３０２は、コントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリで、ＣＰＵ３０２の起動用プログラムコード等を格納している。ＨＤＤ３０５はＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５には、ＣＰＵ３０２が実行する、カメラスキャナ１０１の制御用プログラムコードが格納されている。ＣＰＵ３０２は、カメラスキャナ１０１の電源オン等の起動時、ＲＯＭ３０４に格納されている起動用プログラムコードを実行する。この起動用プログラムコードは、ＣＰＵ３０２に、ＨＤＤ３０５に格納されている制御用プログラムコードを読み出してＲＡＭ３０３に展開させる。ＣＰＵ３０２は起動用プログラムコードを実行した後、ＲＡＭ３０３に展開した制御用プログラムコードを実行して、コントローラ部２０１全体の動作を制御する。またＣＰＵ３０２は、制御用プログラムの動作に用いるデータもＲＡＭ３０３に格納して読み書きを行う。ＨＤＤ３０５にはさらに、制御用プログラムの動作に必要な各種設定や、また、カメラ部２０２で撮影して得られた画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。またＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

画像処理プロセッサ３０７は、ＲＡＭ３０３或いはＨＤＤ３０５に格納された画像データを読み出して処理し、またＲＡＭ３０３或いはＨＤＤ３０５へ書き戻す。この画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等を含む。カメラＩ／Ｆ３０８はカメラ部２０２と接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを取得してＲＡＭ３０３へ書き込む。またＣＰＵ３０２からの制御コマンドをカメラ部２０２へ送信し、カメラ部２０２の設定を行う。表示制御部３０９は、ＣＰＵ３０２の指示に応じて表示部への画像データの表示を行う。ここでは、短焦点プロジェクタ２０７とタッチパネル３３０が表示制御部３０９に接続されている。シリアルＩ／Ｆ３１０は、シリアル信号の入出力を行う。ここで、シリアルＩ／Ｆ３１０はタッチパネル３３０に接続され、ＣＰＵ３０２はタッチパネル３３０で押下が検知されたときに、シリアルＩ／Ｆ３１０を介して、その押下された位置の座標を取得する。オーディオコントローラ３１１はスピーカ３４０と接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換してスピーカ３４０を通じて音を出力する。ＵＳＢコントローラ３１２は、ＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスを制御する。ここではＵＳＢメモリやＳＤカードなどの外部メモリ３５０がＵＳＢコントローラ３１２に接続され、外部メモリ３５０へのデータの読み書きを行う。

図４は、実施形態１に係るカメラスキャナ１０１のコントローラ部２０１のＣＰＵ３０２が実行する制御用プログラムの機能構成図である。図４の４０１が制御用プログラム全体を示し、この制御用プログラム４０１は前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３に展開して実行することにより、これら機能が達成される。

メイン制御部４０２はプログラムの本体であり、この制御用プログラム４０１の各モジュールを制御して、カメラスキャナ１０１の制御用プログラムを実行する。操作表示部４０３は、メイン制御部４０２からの描画要求を受け、表示制御部３０９を介して、短焦点プロジェクタ２０７或いはタッチパネル３３０への描画処理を実行する。また操作表示部４０３は、タッチパネル３３０が押下されたときにシリアルＩ／Ｆ３１０を介して、その押下位置の座標を受信し、描画中の操作画面の内容と、その座標を対応させて、その操作内容（押下されたボタン等）を判定する。そして、この操作内容をメイン制御部４０２へ通知することにより、タッチパネル３３０からの操作者の操作を受け付ける。

ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４の他の機器とＴＣＰ／ＩＰによる通信を行う。データファイル管理部４０５は、制御用プログラム４０１の実行において必要な設定データ等をＨＤＤ３０５上の所定の領域へ保存して管理する。画像ファイル管理部４０６は、カメラＩ／Ｆ３０８を介して入力した画像データや、画像処理プロセッサ３０７で処理した画像データを、ＨＤＤ３０５の所定の領域へ保存して管理する。撮影処理部４０７は、カメラＩ／Ｆ３０８を介してカメラ部２０２を制御し、所定のタイミングでカメラ部２０２で撮影されて得た画像データをＲＡＭ３０３へ取り込む。また、その取り込んだ画像データを解析して、有効な画像データが取得されたときには、その画像データを画像認識部４０８へ送信する。画像認識部４０８は、撮影処理部４０７が取得した画像データの内容を認識して、原稿の画像のデータを抽出する。画像変換部４０９は、画像認識部４０８が抽出した原稿の画像データを変換し、適切な画像データに整えたうえで、画像ファイル管理部４０６を介してＨＤＤ３０５へ格納する。尚、これら撮影処理部４０７、画像認識部４０８、画像変換部４０９の処理については、後で詳細に説明する。

図５は、実施形態１に係る撮影処理部４０７の処理を説明するフローチャートである。尚、この処理は、ＨＤＤ３０５に格納された制御プログラムを、ＣＰＵ３０２がＲＡＭ３０３に展開して実行することにより達成されるため、ＣＰＵ３０２による処理として説明する。

この処理は、撮影処理部４０７による処理が起動されることにより開始され、先ずＳ５０１で、ＣＰＵ３２０は、初期状態の書画台２０４上の読取領域２０５の画像を撮影する。この読取領域２０５は矩形であるが、カメラ部２０２は厳密には読取領域２０５の真上にあるわけではないため、撮影された形状は図６（Ａ）に示すように歪んでいる。そこでＳ５０２で、ＣＰＵ３０２は、その撮影した形状を矩形に変換する射影変換のパラメータを算出する。そしてＳ５０３に進み、ＣＰＵ３０２は、Ｓ３０２で算出した射影変換パラメータを使用して、Ｓ５０１で撮影した読取領域２０５の画像データを、図６（Ｂ）に示したように矩形に補正する。次にＳ５０４に進み、ＣＰＵ３０２は、Ｓ５０３で補正した読取領域２０５の画像データを、読取領域の背景画像として画像認識部４０８へ送信する。この読取領域の背景画像データを受信した画像認識部４０８の処理については後述する。

Ｓ５０５以降では、撮影処理部４０７が、読取領域内に新たに入ってきた物体が所定時間静止したときに撮影する処理を実行する。Ｓ５０５ではまず、ＣＰＵ３０２は、カメラ部２０２から１フレームの画像データを取り込む。次にＳ５０６でＣＰＵ３０２は、その取り込んだ画像データを解析し、その中に未撮影の物体があるかどうかを判定する。Ｓ５０６で未撮影の物体がないと判定するとＳ５０５へ戻って、カメラ部２０２からの画像データの取り込みを行う。

Ｓ５０６で未撮影の物体があると判定したときはＳ５０７へ進み、ＣＰＵ３０２は、Ｓ５０６で検知した物体が所定時間静止したかどうかを判定する。Ｓ５０７で所定時間静止していないと判定するとＳ５０５へ戻ってＳ５０５〜Ｓ５０７の処理を繰り返す。Ｓ５０７で所定時間静止したと判定するとＳ５０８へ進み、ＣＰＵ３０２は、カメラ部２０２からの静止画の画像データを取り込む。そしてＳ５０９に進み、ＣＰＵ３０２は、今回Ｓ５０８で取り込んだ静止画像データと、前回Ｓ５０８で取り込んだ静止画像データの各画素値の差分を計算し、全ての画素値の差分の絶対値を加算して、２つの静止画像データの差分量を算出する。尚、今回、撮影処理部４０７が起動された後、初めてＳ５０８を実行した場合は、Ｓ５０９において、Ｓ５０１で取り込んだ読取領域２０５の画像データとの差分量を算出する。

次にＳ５１０に進み、ＣＰＵ３０２は、Ｓ５０９で算出した差分量が所定の値（ここでの所定の値は「０」に近い）より大きいかどうかを判定することによって、今回取り込んだ静止画像データが、１つ前の静止画像データと相違しているかどうかを判定する。Ｓ５１０で差がないと判定するとＳ５０５へ戻って、静止した物体の検知処理を実行する。一方、Ｓ５１０で差があると判定するとＳ５１１へ進み、ＣＰＵ３０２は、Ｓ５０８で取り込んだ静止画像データを、Ｓ５０２で算出した射影変換パラメータに基づいて射影変換を行う。そしてＳ５１２に進み、ＣＰＵ３０２は、その変換した静止画像データを画像認識部４０８へ送信する。この静止画像データを受信したときの画像認識部４０８の処理も後述する。

以上説明した処理を行うことにより、撮影処理部４０７は、新しく読取領域２０５に入った物体（原稿）が静止したときに、その物体の静止画像データを取り込み、画像認識部４０８へ送信することができる。この時、読み取った画像データの射影変換を行うので、カメラ部２０２が撮影する画角による画像の歪みを補正した画像データを取得できる。

図７〜図９のフローチャートを参照して、実施形態１に係る画像認識部４０８の処理について説明する。

図７は、実施形態１に係る画像認識部４０８の処理を説明するフローチャートである。尚、この処理は、ＨＤＤ３０５に格納された制御プログラムを、ＣＰＵ３０２がＲＡＭ３０３に展開して実行することにより達成されるため、ここではＣＰＵ３０２による処理として説明する。

画像認識部４０８の処理が開始されるとまずＳ７０１で、ＣＰＵ３０２は、読取領域２０５の背景画像データを受信する。ここで受信するのは、撮影処理部４０７が図５のＳ５０４で送信した読取領域の背景画像の画像データである。そしてＳ７０２でＣＰＵ３０２は、その受信した読取領域の背景画像データを、画像ファイル管理部４０６を介してＨＤＤ３０５へ保存する。

図１０（Ａ）は、この背景画像データを保存する状態を説明する模式図である。

ここで画像ファイル管理部４０６は、ＨＤＤ３０５に空のディレクトリ（図１０（Ａ）では「/IMGDIR」）を作成し、そのディレクトリに背景画像データ１００１を保存する。

次にＳ７０３に進み、ＣＰＵ３０２は、静止画像データを受信する。ここではまず、１ページ目の静止画像データの受信処理について説明する。ここで受信するのは、撮影処理部４０７が図５のＳ５１２で送信した静止画像データである。静止画像データを受信するとＳ７０４に進み、ＣＰＵ３０２は、その受信した静止画像データを、画像ファイル管理部４０６を介してＨＤＤ３０５へ保存する。

図１０（Ｂ）は、受信した静止画像データを保存したときの模式図である。

ここで画像ファイル管理部４０６は、背景画像データ１００１を保存したのと同じディレクトリに、最新の受信画像データである静止画像データ１００２を保存する。

そしてＳ７０５に進み、ＣＰＵ３０２は、画像処理プロセッサ３０７へ背景画像データ１００１と静止画像データ１００２とを送り、２つの画像データの差分画像データと、その差分量を算出する。これ以降、差分画像データと差分量とを算出する際に画像プロセッサ３０７を用いるが、繰り返しになるため、これ以降、画像プロセッサ３０７の説明を省略する。次にＳ７０６に進み、ＣＰＵ３０２は、１ページ目の原稿の画像データを抽出したかどうかを判定する。ここでは、まず１ページ目の原稿の画像データを処理する説明であるためＳ７０６の判定がＮＯであるとする。Ｓ７０６の判定がＮＯであればＳ７０７へ進み、ＣＰＵ３０２は、Ｓ７０５で算出した差分量が所定値よりも大きいかどうかを判定する。ここで使用する所定値は「０」に近い値であり、つまり、背景画像データ１００１と静止画像データ１００２に差があるかどうかを判定する。Ｓ７０７の判定がＮＯ、即ち、背景画像データ１００１と静止画像データ１００２との間に差が無ければ、１ページ目の原稿が書画台２０４上に置かれていないと判定してＳ７０３へ戻り、次の静止画像データを受信する。一方、Ｓ７０７の判定がＹＥＳであればＣＰＵ３０２は、１ページ目の原稿が置かれたと判定してＳ７０８へ進み、ＣＰＵ３０２は、静止画像データ１００２から１ページ目の原稿の画像データを抽出する第１の抽出処理を行う。このＳ７０８で行う処理は後に説明する。こうしてＳ７０８の処理を実行して後、ＣＰＵ３０２はＳ７０３へ処理を進め、次の静止画像データを受信する。

次に、２ページ目の原稿の処理を説明する。Ｓ７０３で２つ目の静止画像データを受信するとＳ７０４へ進み、ＣＰＵ３０２は、その受信した静止画像データを保存する。

図１０（Ｃ）は、その状態を説明する模式図である。

ここで画像ファイル管理部４０６は、前回受信した静止画像データ１００２を１つ前の受信画像データとして保存し直す。そして、今回受信した静止画像データ１００３を、最新の受信画像データとして保存する。

次にＳ７０５に進み、ＣＰＵ３０２は、１ページ目の画像データの場合と同様に、画像処理プロセッサ３０７を用いて背景画像データ１００１と静止画像データ１００３との差分画像データを生成して、その差分量を算出してＳ７０６に進む。ここでは２ページ目の原稿の画像データの場合を説明しているため、次のＳ７０６の判定はＹＥＳとなる。そこでＳ７０９進み、ＣＰＵ３０２は「０」に近い所定値を用いて、背景画像データ１００１と静止画像データ１００３に差があるかどうか、即ち、撮影対象となる何らかの物体（原稿）が読取領域２０５に置かれているかどうかを判定する。Ｓ７０９の判定がＹＥＳであればＳ７１０へ進み、ＣＰＵ３０２は、２ページ目以降の原稿の画像データを抽出する第２の抽出処理を行う。Ｓ７１０の処理は後に説明する。Ｓ７１０の処理が終わるとＳ７０３へ戻って、ＣＰＵ３０２は、３ページ目以降の原稿の画像データの処理を行う。

Ｓ７０９の判定がＮＯ、即ち、静止画像データ１００２と背景画像データ１００１との差が無ければ、撮影対象となる原稿が全て取り除かれたということになる。この場合はＳ７１１に進み、画像変換部４０９へ１文書のスキャン終了を通知する。そしてＳ７０３に戻り、次の文書の１ページ目の原稿の静止画像データの受信から処理を開始する。

このようにＳ７０９で、背景画像データと、撮影した原稿の静止画像データとの差があるかどうかを判定することで、撮影対象の原稿束が書画台２０４上の読取領域２０５から取り除かれたかどうかを判定することができる。これにより、ユーザが原稿束を読取領域２０５から取り除いたときに、ＣＰＵ３０２は１文書のスキャンの終了であると判定することが可能になる。

またＳ７０６で、１ページ目の原稿の画像データが抽出済みかどうかを判定することにより、ユーザが１枚も原稿を置かない間は、静止画データの処理を開始せずに待機できる。そして、ユーザが１枚以上の原稿を書画台２０４上に置いて初めて、その原稿の画像データに対する処理を開始できる。また、ユーザが１枚目の原稿の画像データを取得した後、書画台２０４から全ての枚数の原稿を取り除いた場合に１文書のスキャンが終了したと判定できるようになる。

図８（Ａ）は、図７のＳ７０８の１ページ目（１枚目）の原稿の画像データの抽出処理を説明するフローチャートであり、図１１の画像例を参照して説明する。

図１１（Ａ）は、１ページ目の原稿の静止画像データの一例を示す図である。前述の図７のＳ７０５では、背景画像データ１００１と静止画像データ１００２との差分から、図１１（Ｂ）に示す多値差分画像データを生成している。

先ずＳ８０１でＣＰＵ３０２は、この多値の差分画像データを二値化し、図１１（Ｂ）に示す二値差分画像データを生成する。更にＣＰＵ３０２は、この二値差分画像データからエッジの抽出及び直線検出を行って図１１（Ｃ）に示す直線画像データを得る。次にＳ８０２に進み、ＣＰＵ３０２は、Ｓ８０１で検出した直線を組み合わせて、矩形を成す直線の組を１又は複数検出する。次にＳ８０３に進み、ＣＰＵ３０２は、Ｓ８０２で検出した矩形について、多値差分画像データ（図１１（Ｂ））と重ね合わせ、重なった矩形内の画素値の絶対値を加算することにより矩形内の差分量を算出する。このときＳ８０２で複数の矩形が検出されている場合は、この差分量の算出処理を、全ての矩形について実行する。

次にＳ８０４に進み、ＣＰＵ３０２は、Ｓ８０３で算出した差分量が最大である矩形を選択する。尚、図１１の例では、図１１（Ｄ）の直線画像データから検出される矩形は１つなので、図１１（Ｄ）に示す直線画像データの矩形が選択矩形となる。次にＳ８０５に進み、ＣＰＵ３０２は、その選択した矩形の内部を有効画素、矩形の外部を無効画素としたマスク画像データ（図１１（Ｅ））を生成してＲＡＭ３０３に格納する。図１１（Ｅ）では、白い部分が有効画素、黒い部分が無効画素を表している。次にＳ８０６に進み、ＣＰＵ３０２は、図１１（Ａ）の静止画像データから図１１（Ｅ）のマスク画像データに基づいて有効画素を抽出して、図１１（Ｆ）に示す抽出画像データを生成する。

次にＳ８０７に進み、ＣＰＵ３０２は、画像ファイル管理部４０６を介して、Ｓ８０６で抽出した、例えば図１１（Ｆ）に示す画像データをＨＤＤ３０５へ保存する。更に、その画像属性をＲＡＭ３０３に保存する。

図１３は、この抽出画像データの画像属性の一例を示す図である。

そしてＳ８０８に進み、画像変換部４０９へ画像属性を送信することにより、１ページ目の画像データの抽出を通知する。

こうして、１ページ目の原稿の画像データが抽出されてＨＤＤ３０５に格納され、またその１ページ目の原稿の画像データの画像属性も記憶される。

次に、書画台２０４上で、１ページ目の原稿の上に置かれた２ページ目以降の原稿の画像データの抽出処理を説明する。

図８（Ｂ）は、図７のＳ７１０の２ページ目（２枚目）以降の原稿の画像データの抽出処理を説明するフローチャートで、図１２の画像例を参照して説明する。

図１２（Ａ）の静止画像データは、２ページ目の原稿の静止画像データの一例を示し、１ページ目の原稿の上に２ページ目の原稿が置かれた状態を撮影した画像データを示している。ここでは１ページ目の原稿の静止画像データの上に２ページ目の原稿の画像データが重なった状態の画像データとなっている。

先ずＳ８１１でＣＰＵ３０２は、前回と今回の静止画像データ、即ち、読取領域の原稿の枚数が現在の枚数より１枚少ない１ページ目の原稿の静止画像データと、その上に２ページ目の原稿が置かれた静止画像データとの差分画像データを生成する。ここでは、差分画像データにノイズや照明の影響を受けることをできるだけ避けるため、差分をとるのは原稿が置かれた領域のみに行い、背景領域はできる限りマスクするようにする。このＳ８１１の処理の詳細は図９（Ａ）のフローチャートで説明する。

図９（Ａ）は、図８（Ｂ）の２ページ目以降の原稿の画像データの抽出処理であるＳ８１１の処理を説明するフローチャートである。

先ずＳ９０１でＣＰＵ３０２は、１つ前に読み取った原稿のマスクデータを読み出す。例えば２ページ目の原稿の場合は、図８（Ａ）のＳ８０５で生成してＲＡＭ３０３に格納された１ページ目の原稿のマスク画像データを読み出す。また３ページ目以降の場合は、後述するＳ９２０で格納されたマスク画像データを読み出す。次にＳ９０２でＣＰＵ３０２は、Ｓ７０３で受け取った、１ページ目の原稿の上に２ページ目の原稿が載った静止画像データと、Ｓ７０２で格納した背景画像データとの差分をとって差分画像データ（図１２（Ｂ））を生成する。そして、その差分画像データを二値化してマスク画像データ２（図１２（Ｃ））を生成する。次にＳ９０３に進みＣＰＵ３０２は、マスク画像データ１（図１１（Ｅ））とマスク画像データ２（図１２（Ｃ））との和を取ったマスク画像データ３を生成する。そしてＳ９０４に進みＣＰＵ３０２は、Ｓ９０３で生成したマスク画像データ３で、Ｓ７０４で保存した１ページ目の原稿の静止画像データのマスク処理を行ってマスク後画像データ（図１２（Ｄ））を生成する。次にＳ９０５に進みＣＰＵ３０２は、Ｓ９０３で生成したマスク画像データ３で、今回受け取った静止画像データ（図１２（Ａ））のマスク処理を行ってマスク後画像データ（図１２（Ｅ））を生成する。そしてＳ９０６に進みＣＰＵ３０２は、マスク後画像データ（図１２（Ｄ））とマスク後画像データ（図１２（Ｅ））との差分を取って差分画像データ（図１２（Ｆ））を生成し、その差分量を算出してＲＡＭ３０３に保存する。以上でＳ８１１の処理が完了する。

次に図８（Ｂ）に戻りＳ８１２でＣＰＵ３０２は、図１２（Ｆ）の差分画像データからの２ページ目の原稿の画像データの抽出処理を行う。このＳ８１２の処理の詳細は図９（Ｂ）のフローチャートで説明する。

図９（Ｂ）は、図８（Ｂ）のＳ８１２の処理を説明するフローチャートである。

まずＳ９１１でＣＰＵ３０２は、Ｓ９０６で生成した図１２（Ｆ）の差分画像データを二値化して二値差分画像データ（図１２（Ｇ））を生成する。そして、この二値差分画像データからエッジ抽出及び直線の検出を行う。ここで検出された直線を示したのが、図１２（Ｈ）の直線画像データである。次にＳ９１２に進みＣＰＵ３０２は、Ｓ９１１で検出した直線の中から、矩形を成す直線の組を検出する。図１２では、図１２（Ｉ）の画像データと、図１２（Ｊ）の画像データの２つの組が矩形として検出されている。

次にＳ９１３に進み、ＣＰＵ３０２は、これら各直線の組について、図１２（Ｆ）の差分画像データの該当矩形内の領域の画素値の絶対値を加算し、矩形内の差分量を算出する。そしてＳ９１４に進み、ＣＰＵ３０２は、その算出した差分量が最大である矩形を選択する。次にＳ９１５に進みＣＰＵ３０２は、その選択した矩形内の面積と、図８（Ａ）のＳ８０６で抽出した１ページ目の原稿の抽出画像データ（図１１（Ｆ））の面積との比を算出する。そしてＳ９１６でＣＰＵ３０２は、その面積比が、予め決定しておいた所定の範囲（例えば、ほぼ「１」に近い値）内かどうかを判定する。ここで所定の範囲内と判定するとＳ９２０へ進み、ＣＰＵ３０２は、その選択した矩形から、その矩形内を有効画素、矩形外を無効画素としたマスク画像データを生成してＲＡＭ３０３に記憶する。図１２（Ｋ）は、このマスク画像データの一例を示す。

そしてＳ９２１に進みＣＰＵ３０２は、図１２（Ａ）の静止画像データから、図１２（Ｋ）のマスク画像データに基づいて有効画素を抽出し、２ページ目の原稿の画像データ（図１２（Ｌ））を生成する。

一方、Ｓ９１６で、面積比が予め決定しておいた所定の範囲内でない場合、つまり、大きすぎる、或いは小さすぎる領域が矩形として検出された場合はＳ９１７に進み、ＣＰＵ３０２は、その矩形領域を無効として直線の組を破棄する。そしてＳ９１８に進み、ＣＰＵ３０２は、その破棄した矩形の他に有効な矩形があるかどうかを判定する。ここで他に有効な矩形があればＳ９１４へ戻り、ＣＰＵ３０２は、矩形内の差分量が次に大きい矩形を選択して有効かどうかの判定処理を継続する。またＳ９１８で、他に有効な矩形がなければＳ９１９へ進む。Ｓ９１９でＣＰＵ３０２は、Ｓ８１１で生成したマスク画像データ（図１２（Ｅ））に基づいて、２つ目の静止画像データから有効画像データを抽出して、２ページ目の原稿の抽出画像データ（図１２（Ｍ））を生成する。以上でＳ８１２の画像データの抽出処理が終了する。

以上説明したように、図９（Ｂ）において、Ｓ９１４で差分量が最大の矩形を選択することにより、一つ前の原稿の上に、後から重ねて置かれた最近の原稿の領域を検出することができる。またＳ９１４，Ｓ９１５で、１つ前の原稿の画像データの面積とかけ離れた面積を持つ矩形を選択対象の矩形から外すことにより、ノイズや照明の変化で画像データの差分を誤検出した場合でも、検出精度を高めることができる。特にＳ９１６で用いる所定の面積比を「１」に近い値にすれば、１文書内で原稿サイズが変わらない場合での検知精度を高くすることができる。

また、選択できる矩形がなかった場合は、Ｓ９１９で背景画像データとの差分に基づいたマスク画像データ（図１２（Ｃ））を用いて画像データを抽出することができる。これにより、精度の高い検出は行えなくても、確実に原稿領域を含む画像データを抽出することが可能となる。

再び図８（Ｂ）に戻り、Ｓ８１２による、後から置かれた原稿の画像データの抽出処理が完了するとＳ８１３に進み、ＣＰＵ３０２は、Ｓ８０７で説明したのと同様にして、抽出した画像データをＨＤＤ３０５へ保存し、画像属性をＲＡＭ３０３へ保存する。そしてＳ８１４に進み、ＣＰＵ３０２は、その画像属性を画像変換部４０９へ送信することにより、２ページ目以降の原稿の画像データが抽出できたことを通知する。

尚、３ページ目（３枚目）以降の原稿の画像データを抽出する際も同様にして実行できる。即ち、１つ前の画像データと背景画像データとの差分から得たマスク画像データ１と、現在の画像データと背景画像データとの差分から得たマスク画像データ２とから、現在の原稿（最も後で置かれた最上位の原稿）の画像データを抽出することができる。

次に実施形態１に係る画像変換部４０９が実行する処理を、図１４、図１５、図１８のフローチャートを参照して説明する。

図１４は、実施形態１に係る画像変換部４０９が実行する処理を説明するフローチャートである。この処理は、ＨＤＤ３０５に格納された制御プログラムを、ＣＰＵ３０２がＲＡＭ３０３に展開して実行することにより達成されるため、ＣＰＵ３０２による処理として説明する。

先ずＳ１４０１でＣＰＵ３０２は、図８（Ａ）のＳ８０８で送信される１ページ目の原稿の画像データの抽出完了通知を受信したかどうかを判定する。Ｓ１４０１の判定がＮＯであればＳ１４０４に進みＣＰＵ３０２が、図８（Ｂ）のＳ８１４で通知される２ページ目以降の原稿の画像データの抽出完了通知を受信したかどうかを判定する。Ｓ１４０４の判定がＮＯであればＳ１４０６に進み、ＣＰＵ３０２は、図７のＳ７１１で通知される１文書のスキャン終了通知を受信したかどうかを判定する。Ｓ１４０６の判定がＮＯであればＳ１４０１へ戻って、通知の受信待ちを続ける。

Ｓ１４０１でＣＰＵ３０２が、１ページ目の原稿の画像データの抽出完了通知を受信したと判定するとＳ１４０２に進み、ＣＰＵ３０２は、新文書の作成処理を開始する。

図１５（Ａ）は、このＳ１４０２の処理を示すフローチャートである。

Ｓ１５０１でＣＰＵ３０２は、図１６（Ａ）に示すように、ＨＤＤ３０５に文書画像保存用の新規ディレクトリを作成する。次にＳ１５０２に進み、ＣＰＵ３０２は、図１６（Ｂ）に示すように、ＲＡＭ３０３に文書属性とページ属性の領域を確保する。ここでは、文書属性のページ数は「０」であり、ページ属性の領域はまだ空である。尚、ここで確保した領域は、画像ファイル管理部４０６が管理しており、この領域へのデータの保存／読み出しは、これ以降も画像ファイル管理部４０６を介して行う。次にＳ１５０３に進み、ＣＰＵ３０２は、Ｓ１５０１で生成した保存ディレクトリ名を、Ｓ１５０２で確保した文書属性領域に保存してこの処理を終了する。

続いて図１４に戻り、Ｓ１４０３でＣＰＵ３０２は、画像データの補正及び画像データ保存処理を行う。

図１５（Ｂ）は、このＳ１４０３の画像データの補正及び画像データ保存処理を説明するフローチャートである。

受信した画像データは、傾いている場合があり、その傾きは図１３で示した、画像認識部４０８が生成した画像属性の中に記録されている。

そこでＳ１５１１でＣＰＵ３０２は、その傾きに基づいて画像処理プロセッサ３０７で、その画像データに逆方向に回転処理を行い、画像として正立するように補正処理を行う。次にＳ１５１２に進み、画像処理プロセッサ３０７を使用して、下地とばし、エッジ強調等の補正処理を行って画像を鮮鋭化させる。そしてＳ１５１３に進み、ＣＰＵ３０２は、図１６（Ｃ）に示すように、Ｓ１５０１で作成した文書画像の保存用ディレクトリに、補正した画像データを保存する。そしてＳ１５１４に進み、ＣＰＵ３０２は、図１６（Ｄ）に示すように、ページ属性に１ページ目の原稿の画像データの情報を格納し、ページ数を「１」とする。以上でＳ１４０３の画像データの補正・保存処理を完了するとＳ１４０１へ戻る。

次に図１４に戻り、Ｓ１４０４の判定がＹＥＳ、即ち、２ページ目以降の原稿の画像データの抽出完了通知を受信した場合はＳ１４０５に進み、受信した画像データの補正・保存処理を行う。このＳ１４０５の処理もＳ１４０３と同様に、図１５（Ｂ）のフローチャートに従った処理である。このとき図１５（Ｂ）のＳ１５１３では、図１６（Ｅ）に示すように、１ページ目の原稿と同じ保存ディレクトリに、補正後の２ページ目の画像データを保存する。そして、図１６（Ｆ）に示すようにページ属性を追加して保存し、文書属性のページ数をインクリメントして「２」とする。こうしてＳ１４０５の処理が完了するとＳ１４０１へ戻る。

これ以降、２ページ目以降の原稿の画像データを受信すると、Ｓ１４０５の処理を繰り返し実行する。こうして図１６（Ｇ）に示すように文書画像の保存用ディレクトリに画像データが保存され、図１６（Ｈ）に示すように文書属性とページ属性が保存される。

また図１４で、Ｓ１４０６の判定がＹＥＳ、即ち、１文書のスキャン終了通知を受信するとＳ１４０７に進み、ＣＰＵ３０２は、出力ファイルの生成処理を行う。このＳ１４０７の処理は後に説明する。そしてＳ１４０８に進み、ＣＰＵ３０２は、Ｓ１４０７で生成した出力ファイルを、予め決められた宛先に送信又は保存する処理を行う。このとき宛先がネットワーク上のＰＣやサーバであれば、ネットワーク通信部４０４を介して所定のプロトコルで送信を行う。また宛先が外部メモリ３５０であれば、データファイル管理部４０５を介して保存処理を行う。これらの宛先は、データファイル管理部４０５によってＨＤＤ３０５に記憶されており、ネットワーク通信部４０４を介して、或いはタッチパネル３３０からのユーザ操作によって、ユーザが設定することが可能である。

図１７は、図１４のＳ１４０７で生成する出力ファイルのフォーマットの一例であるＸＭＬ形式のテキストファイルの記述例を示す図である。

マルチページドキュメントは、出力ファイルの先頭に挿入されるヘッダ記述１７０１、撮影された原稿をページ単位で記述するための電子文書ページ記述１７０２〜１７０４、そしてファイルの記述終了を示すフッタ記述１７０５を有している。

図１８は、実施形態１に係る画像変換部４０９による、図１４のＳ１４０７の出力ファイルの生成処理手順を説明するフローチャートである。

まずＳ１８０１でＣＰＵ３０２は、画像ファイル管理部４０６を介して、例えば図１６（Ｈ）に示す管理テーブルより画像情報を含むページデータを取得する。次にＳ１８０２に進みＣＰＵ３０２は、取得したページデータが１ページ目か否かを判定する。１ページ目であればＳ１８０３へ進み、１ページ目でなければＳ１８０４へ進む。Ｓ１８０３でＣＰＵ３０２は、新規のマルチページドキュメントを生成するためのヘッダ記述（例えば図１７の１７０１）を出力する。次にＳ１８０４に進みＣＰＵ３０２は、画像ファイル管理部４０６を介して画像データをＨＤＤ３０５から読み出し、例えば図１７に示す電子文書ページ記述１７０２として記述する。そしてＳ１８０５に進みＣＰＵ３０２は、出力ファイルへの書き込みが終了した画像データをＨＤＤ３０５から削除する。次にＳ１８０６に進みＣＰＵ３０２は、Ｓ１８０１で取得したページデータが最終ページかどうかを判定し、最終ページであればＳ１８０７へ進み、最終ページでなければＳ１８０１へ戻る。Ｓ１８０７でＣＰＵ３０２は、ファイルの終端を示す、例えば図１７のフッタ記述１７０５を出力して出力ファイルを生成する。そしてＳ１８０８に進みＣＰＵ３０２は、管理テーブルで分類された全てのページデータを出力するまでＳ１８０１〜Ｓ１８０８の処理を繰り返して出力ファイルの生成処理を終了する。

以上説明したように本実施形態１によれば、書画台に置かれた複数枚の原稿を読み取って電子文書ファイルを作成することができる。この際、１枚の原稿を読みこんだ後、その原稿を除去することなく、次の原稿を目の原稿の上に積載するようにして、順次原稿を送り込んで読み込ませることができる。

また複数枚の原稿を読み込んだ後、それら複数枚の原稿の画像データを含むファイルの保存は、最初に原稿を読み込んだ後、書画台上で原稿を検出しなくなることで自動的に開始される。このため、原稿の読み取りの操作の終了を指示するキーなどを設ける必要がないという効果もある。

また本実施形態１によれば、新たな原稿を載置した後の静止画像データと、その原稿を載置する前の静止画像データとの差分から、その新たな原稿の画像データを抽出している。これにより、ユーザが、書画台上の読み取り済の原稿を交換しないで、単にその上に原稿を重ねて置いていくだけで、複数枚の原稿の画像データを抽出して保存できる。

また、書画台の背景静止画像データと読取領域内の背景画像データとの差分から、原稿の読み取り操作の終了を判定することにより、読取領域に置いた原稿を取り除くだけで、複数枚の原稿の読み取り終了を判定できるという効果がある。

［実施形態２］
前述の実施形態１では、原稿が静止したときに撮影した静止画像データと、その原稿が置かれる前に撮影した静止画データとの差分から、読取領域２０５へ原稿が追加して置かれたことを検知して画像データを抽出した。

これに対して実施形態２では、原稿が追加して置かれる場合に加えて、読取領域２０５から原稿を取り除く操作と、原稿をひっくり返して裏面を撮影する操作を検知して、原稿の画像データを抽出する場合を説明する。尚、実施形態２に係る画像読取システム及びカメラスキャナ等の構成は、前述の実施形態１と同様であるため、その説明を省略する。

図１９は、本発明の実施形態２に係る原稿画像の一例を示す図である。

図１９（Ａ）の静止画像データは、１ページ目の原稿の上に２ページ目の原稿が置かれたときの静止画像データを示している。図１９（Ｂ）は、更に２ページ目の原稿の上に３ページ目の原稿が置かれたときの静止画像データを示している。

次に、図１９（Ｂ）の静止画像データから３ページ目の原稿が取り除かれた場合、撮影される静止画像データは図１９（Ｃ）に示す静止画像データになる。このとき、画像認識部４０８が受信している１つ前の静止画像データは図１９（Ｂ）に示すデータであり、図１９（Ｂ）と図１９（Ｃ）の差分画像データは、図１９（Ｄ）に示すような差分画像データとなる。ここで、前述の実施形態１のように、１つ前の静止画データとの差分画像データに基づいて原稿画像を抽出すると、３ページ目の原稿の領域が抽出されてしまう。

しかし、画像認識部４０８が受信した２つ前の静止画像データは図１９（Ａ）の静止画像データであり、３ページ目の原稿が置かれる前の画像データである。このため、図１９（Ａ）の静止画像データと図１９（Ｃ）の静止画像データとの差分画像データは、図１９（Ｅ）で示すように、差分量はほとんど「０」となる。つまり、読取領域に最後に置かれた原稿が、その読取領域から取り除かれたかどうかは、現在の静止画データと２つ前の静止画像データとの差分が小さいことで判別できる。

一方、図１９（Ｂ）の状態で、更にその上に４ページ目の原稿が置かれた場合、画像認識部４０８が受信する静止画像データは、図１９（Ｆ）に示す静止画像データのようになる。このとき、図１９（Ｆ）の静止画像データの１つ前の静止画像データ（図１９（Ｂ））との差分画像データは、図１９（Ｇ）に示す差分画像データのようになる。また図１９（Ｆ）の静止画像データの２つ前の静止画像データ（図１９（Ａ））との差分画像データは、図１９（Ｈ）に示す差分画像データのようになる。つまり、現在の静止画データと２つ前の静止画像データとに差分があることから、原稿が新しく追加されたことが判別できる。尚、１つ前の静止画像データとの差分画像データ（図１９（Ｇ））は４ページ目の原稿の領域であり、２つ前の静止画像データとの差分画像データ（図１９（Ｈ））は、３ページ目と４ページ目の原稿の両方の領域となる。従って、読取領域に新たに原稿が置かれたときには、１つ前の静止画像データとの差分量よりも、２つ前の静止画像データとの差分量の方が大きいことが分かる。

更に、図１９（Ｂ）の状態から、３ページ目の原稿がひっくり返されて裏面が上向きになった場合を考える。このときの静止画像データは、図１９（Ｉ）に示す静止画像データのようになる。このとき図１９（Ｉ）の静止画像データの１つ前の静止画像データ（図１９（Ｂ）との差分画像データは、図１９（Ｊ）に示す差分画像データのようになる。また図１９（Ｉ）の静止画像データの２つ前の静止画像データ（図１９（Ａ））との差分画像は、図１９（Ｋ）に示す差分画像データのようになる。つまり、この場合も、２つ前の静止画像データとは差分が存在する。しかし、２つ前の静止画像データとの差分量は、３ページ目の原稿の裏面の領域だけになるのに対し、１つ前の静止画像データとの差分量は、３ページ目の原稿の表面と裏面の両方の領域になる。このため、１つ前の静止画像データとの差分量の方が、２つ前の静止画像データとの差分量よりも大きくなる。この点を用いて、原稿がひっくり返された場合と、原稿が追加された場合を判別することが可能になる。

次に、上記の判別方法を用いた、実施形態２に係る画像認識部４０８が実行する処理を説明する。ここで、前述の実施形態１で説明した画像認識部４０８の処理とは、図８（Ｂ）の２ページ目以降の原稿の画像データの抽出処理が異なるのみであるので、その処理について図２０のフローチャートを参照して説明する。

図２０は、実施形態２に係る画像認識部４０８による図７のＳ７１０の２ページ目以降の原稿の画像データの抽出処理を説明するフローチャートである。この処理は、ＨＤＤ３０５に格納された制御プログラムを、ＣＰＵ３０２がＲＡＭ３０３に展開して実行することにより達成されるため、ＣＰＵ３０２による処理として説明する。

まずＳ２００１でＣＰＵ３０２は、受信した静止画像データと、１つ前の静止画像データを使用して図９（Ａ）で示す処理を実行し、差分画像データ１及び差分量データ１として１つ前の静止画像データとの差分画像データと第１の差分量を算出する。次にＳ２００２に進みＣＰＵ３０２は、受信した静止画像データと２つ前の静止画像データとから図９（Ａ）の処理を実行し、差分画像データ２及び差分量２として、２つ前の静止画像データとの差分画像データと第２の差分量を算出する。次にＳ２００３に進みＣＰＵ３０２は、差分量２が「０」に近い所定値以下かどうか、つまり、受信した静止画像データと２つ前の静止画像データとの差分が小さいかどうかを判定する。Ｓ２００３で差分が所定値よりも小さいときは、最後に置かれた原稿が１枚取り除かれたと判定してＳ２００４へ進み、前回の抽出画像データを削除するように画像変換部４０９へ通知して２ページ目以降の原稿の画像データの抽出処理を終了する。

一方、Ｓ２００３で、受信した静止画像データと２つ前の静止画像データとの差分が所定値よりも大きいと判定したときはＳ２００５へ進み、ＣＰＵ３０２は、差分量２が差分量１よりも大きいかどうかを判定する。Ｓ２００５の判定がＹＥＳ、つまり２つ前の画像データとの差分量２の方が、直前、即ち、１つ前の画像との差分量１よりも大きければ、ＣＰＵ３０２は新たに原稿が追加して置かれたと判定してＳ２００６へ進む。Ｓ２００６でＣＰＵ３０２は、差分画像データ１（１つ前の静止画像との差分画像）から、新たに置かれた原稿の画像データの抽出処理を行う。ここで行う画像抽出処理は、図９（Ｂ）のフローチャートで説明した処理と同じである。そしてＳ２００７に進み、その抽出した画像データの画像属性に「おもて面」を設定してＳ２０１０に進む。

一方、Ｓ２００５の判定がＮＯ、つまり、２つ前との差分量２の方が１つ前の差分量１よりも小さければ、ＣＰＵ３０２は、最後に置かれた原稿がひっくり返されてうら面が上向きとなったと判定する。そこでＳ２００８へ進み、ＣＰＵ３０２は、差分画像データ２（２つ前の静止画像データとの差分画像）から、図９（Ｂ）のフローチャートで説明した処理を実行して、その原稿の裏面の画像データを抽出する。そしてＳ２００９に進み、ＣＰＵ３０２は、その抽出した画像データの画像属性に「うら面」を設定してＳ２０１０に進む。

Ｓ２０１０ではＣＰＵ３０２は、抽出した画像データと画像属性とを保存する。そしてＳ２０１１に進み、ＣＰＵ３０２は、画像変換部４０９へ画像データの抽出を通知して、２ページ目以降の原稿の画像データの抽出処理を終了する。

次に実施形態２に係る画像変換部４０９の処理を図２１のフローチャートを参照して説明する。

図２１は、本発明の実施形態２に係る画像変換部４０９が実行する処理を説明するフローチャートである。この処理は、ＨＤＤ３０５に格納された制御プログラムを、ＣＰＵ３０２がＲＡＭ３０３に展開して実行することにより達成されるため、ＣＰＵ３０２による処理として説明する。尚、実施形態１の画像変換部４０９の処理である図１４のフローチャートと同じステップ番号を付した部分については同一の処理であるため、異なる点についてのみ説明する。

図２１において、Ｓ１４０５の処理は、図１４のＳ１４０５と同じく図１５（Ｂ）で説明した処理であるが、保存する画像属性のみに違いがあるため、図２２の属性例を使用して、補足して説明を行う。

図２２は、実施形態２に係る画像変換部４０９が保存する属性を説明する図である。

図１９（Ｂ）の静止画像データのように、３ページ目の原稿が置かれた状態では、図２２（Ａ）のように３ページ分のページ属性が保存されている。ここで図１９（Ｆ）の静止画像データのように、４ページ目の原稿が追加して置かれたことを検知すると、先に説明したように、画像認識部４０８がＳ２００７で画像属性に「おもて面」を設定した通知を発行する。従って、図２１のＳ１４０４で、この通知を受け取る。そこでＳ１４０５に進み、ＣＰＵ３０２は、例えば図２２（Ｂ）のように、４ページ目の原稿の画像データの属性としてページ番号４、おもて面、というページ属性を追加する。また図１９（Ｂ）の静止画像データに対して、図１９（Ｉ）の静止画像データのように３ページ目の原稿がひっくり返して置かれたことを検知すると、画像認識部４０８が図２０のＳ２００９で画像属性に「うら面」を設定した通知を発行する。従って図２１のＳ１４０４で、その通知を受け取る。そしてＳ１４０５に進み、ＣＰＵ３０２は、例えば図２２（Ｃ）のように、ページ番号３、うら面、というページ属性を追加する。このように、ページ属性として「おもて面」、「うら面」の区別を保存することができる。

また図２１のフローチャートでは、実施形態１の画像変換部４０９の処理に対して、Ｓ２１０１の処理が追加されている。このＳ２１０１は、図２０のＳ２００４で画像認識部４０８が発行した画像データ削除通知を受信したかどうかを判定している。Ｓ２１０１で削除通知を受信するとＳ２１０２へ進み、ＣＰＵ３０２は、図２２（Ａ）のページ属性から、図２２（Ｄ）のように、最後のページ（３ページ目の原稿）のページ属性を削除する。また、その削除したページ属性に保存されていたファイル名から、その３ページ目の原稿の抽出画像データファイルを特定し、そのファイルも削除する。

このように実施形態２によれば、取り除いた原稿の画像データを削除することができるので、ユーザが誤操作した場合にも、そのデータを取り消すことができる。

また、各原稿の画像データごとに、その画像データが「おもて面」であるか「うら面」であるかを示す情報を保持できる。このため、保存した文書画像データをプリンタ１０３で印刷するときに、「うら面」属性を持つ画像データを用紙のうら面に配置して印刷することができ、原稿をスキャンしたときと同じ面付けで、その原稿を両面で印刷することができる。

また、保存した原稿の画像データを表示するときに、その原稿のおもて面とうら面とを並べて表示するということも可能になる。

以上説明したように上記実施形態１，２によれば、原稿を載置した後の静止画像データと、その原稿を載置する前の静止画像データとの差分から、最後に置かれた原稿の画像データを抽出することができる。これにより、ユーザが原稿を交換しないで重ねて置いていくだけで、原稿の画像データを抽出できるという効果がある。

また、撮影した静止画像データから、原稿の読み取りの終了を判定することにより、ユーザがキーを押す等の特別な操作をしなくても原稿の取り込みを終了することができるという効果がある。

また、静止画像データと背景画像データとの差分から、原稿の読み取り終了を判定することにより、読取領域に置いた原稿を取り除くだけで、原稿の読み取り終了を判定することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 読取領域を撮影して撮影した画像データを出力する撮影手段と、
   前記撮影手段から出力された前記読取領域に原稿がない状態の背景画像データと、前記読取領域内で原稿が静止したときの原稿の静止画データとを記憶する記憶手段と、
   前記読取領域の原稿の枚数が１枚のとき、前記背景画像データと前記原稿の静止画データとの差分に基づいて、前記読取領域に含まれる原稿の画像データを抽出する第１の抽出手段と、
   前記読取領域の原稿の枚数が複数のとき、前記読取領域の原稿の枚数が現在の枚数よりも１枚少ないときの前記記憶手段に記憶されている原稿の静止画データと、前記読取領域の原稿の枚数が現在の枚数のときの前記記憶手段に記憶されている原稿の静止画データと、前記背景画像データとに基づいて、前記読取領域に最近に置かれた原稿の画像データを抽出する第２の抽出手段と、
   前記第１及び第２の抽出手段により抽出された画像データから文書ファイルを作成する作成手段と、
   前記第１の抽出手段が前記画像データを抽出した後、前記撮影手段が撮影した前記読取領域の画像データと前記背景画像データとの差が所定値以下になると、前記作成手段による前記文書ファイルの作成を完了する完了手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の抽出手段は、
   前記読取領域の原稿の枚数が現在の枚数よりも１枚少ないときの前記記憶手段に記憶されている原稿の静止画データと前記背景画像データとの差分が存在する領域と、前記読取領域の原稿の枚数が現在の枚数のときの前記記憶手段に記憶されている原稿の静止画データと前記背景画像データとの差分が存在する領域との和となる領域を検出し、当該和となる領域から前記最近に置かれた原稿の画像データを抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の抽出手段は、
   前記原稿の静止画データと前記背景画像データとの差分画像からエッジ抽出及び直線検出を行う検出手段と、
   前記検出手段により検出された直線から矩形を成す直線の組を抽出する手段と、
   前記矩形を成す直線の組それぞれについて、前記矩形内における前記原稿の静止画データと前記背景画像データとの差分量を算出する算出手段と、
   前記算出手段により算出した前記差分量が最大の矩形を成す直線の組を選択する選択手段と、
   前記選択手段により選択した前記直線の組で構成される矩形内を有効画素としたマスク画像を生成する生成手段とを有し、
   前記マスク画像と前記原稿の静止画データから画像を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の抽出手段は、
   前記選択手段により選択した前記直線の組で構成される矩形の面積と、直前の原稿で抽出した原稿の静止画データの面積との比を算出し、当該算出した前記比が、予め決めた範囲内にあるかどうかを判定する判定手段を有し、
   前記選択手段は、前記判定手段が前記比が前記範囲内でないと判定すると、選択した矩形を成す直線の組を破棄し、当該破棄した矩形を除いた他の矩形の中から、前記差分量が最大の矩形を選択することを特徴とする請求項３に記載の画像処理装置。
5. ２つ前の前記静止画データと最近の前記静止画データとの差分を算出する手段と、
   前記差分が予め決めた値よりも小さいかどうかを判定する手段と、
   前記差分が前記予め決めた値よりも小さければ、最も上の原稿が除去されたと判定して、当該除去された原稿に対応する画像データを削除する削除手段とを更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. １つ前の前記静止画データと最近の前記静止画データとの第１の差分を算出する手段と、
   ２つ前の前記静止画データと最近の前記静止画データとの第２の差分を算出する手段と、
   前記第１の差分より前記第２の差分の方が大きい場合、新たに原稿が載置されたと判定する手段とを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. １つ前の前記静止画データと最近の前記静止画データとの第１の差分を算出する手段と、
   ２つ前の前記静止画データと最近の前記静止画データとの第２の差分を算出する手段と、
   前記第１の差分より前記第２の差分の方が大きい場合、最も上に載置された原稿はおもて面と判定する手段と、
   前記第１の差分より前記第２の差分の方が小さい場合、最も上に載置された原稿はうら面と判定する手段と、
   を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 読取領域を撮影して撮影した画像データを出力する撮影工程と、
   前記撮影工程で出力された前記読取領域に原稿がない状態の背景画像データと、前記読取領域内で原稿が静止したときの原稿の静止画データとをメモリに記憶する記憶工程と、
   前記読取領域の原稿の枚数が１枚のとき、前記背景画像データと前記原稿の静止画データとの差分に基づいて、前記読取領域に含まれる原稿の画像データを抽出する第１の抽出工程と、
   前記読取領域の原稿の枚数が複数のとき、前記読取領域の原稿の枚数が現在の枚数よりも１枚少ないときの前記メモリに記憶されている原稿の静止画データと、前記読取領域の原稿の枚数が現在の枚数のときの前記メモリに記憶されている原稿の静止画データと、前記背景画像データとに基づいて、前記読取領域に最近に置かれた原稿の画像データを抽出する第２の抽出工程と、
   前記第１及び第２の抽出工程で抽出された画像データから文書ファイルを作成する作成工程と、
   前記第１の抽出工程が前記画像データを抽出した後、前記撮影工程でが撮影した前記読取領域の画像データと前記背景画像データとの差が所定値以下になると、前記作成工程による前記文書ファイルの作成を完了する完了工程と、
   を有することを特徴とする画像処理装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に画像処理装置として動作させるためのプログラム。

Images