JP2014155073A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 ステープラなどで綴じられた原稿の両面ページを従来よりも少ない撮影回数で取り込むことができる技術を提供すること。
【解決手段】 撮像画像ｐに対し（２ｐ−３）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−１）ページ目の原稿領域を特定すると共に、該特定した原稿領域内の画像を（２ｐ−１）ページ目の原稿画像として取得する。（２ｐ−４）ページ目の原稿領域が特定されていない場合、（２ｐ−１）ページ目の原稿領域から（２ｐ−２）ページ目の原稿領域を特定する。（２ｐ−４）ページ目の原稿領域が特定されている場合、撮像画像ｐに対し（２ｐ−４）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−２）ページ目の原稿領域を特定する。（２ｐ−２）ページ目の原稿領域内の画像を（２ｐ−２）ページ目の画像として取得する。
【選択図】 図１

Description

本発明は、原稿を読み取る技術に関するものである。

現在普及している多くの読み取り装置は、原稿台上に下向きに置かれた原稿をスキャナで読み取るが、近年では原稿台上に上向きに原稿を置き、原稿台上部に取りつけられた撮像装置を用いて原稿を非接触で読み取る装置が提案されている。原稿が上向きで、撮像装置が非接触であることから、ステープラなどで綴じられた原稿などの複数綴りの原稿を、原稿を分離することなく手でめくって置き直しながら連続で読み取る事ができる。特許文献１には、撮影画像から直線を抽出し、直線の垂直方向の色の勾配情報に基づいて、原稿の四辺を推定する技術が開示されている。

特開２０１２−１４４３０号公報

しかし従来の方法では、撮像画像中に存在する複数の原稿の推定をすることができない。その為、両面に印刷された複数原稿は１枚片面毎に撮影する必要があった。本発明はこのような問題に鑑みてなされたものであり、ステープラなどで綴じられた原稿の両面ページを従来よりも少ない撮影回数で取り込むことができる技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、原稿台上に載置された複数枚綴りの原稿を撮像するために設けられた撮像部が、１枚の原稿がめくられる度に撮像した該原稿の撮像画像を取得する手段と、前記撮像部がｐ（ｐは２以上の自然数）回目に撮像した撮像画像を撮像画像ｐとし、撮像画像ｐに対し、撮像画像（ｐ−１）から特定されている（２ｐ−３）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−１）ページ目の原稿領域を特定すると共に、該特定した原稿領域内の画像を（２ｐ−１）ページ目の原稿画像として取得する第１の取得手段と、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されていない場合には、撮像画像ｐ中の（２ｐ−１）ページ目の原稿領域から撮像画像ｐ中における（２ｐ−２）ページ目の原稿領域を特定する第１の特定手段と、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されている場合には、撮像画像ｐに対し、（２ｐ−４）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−２）ページ目の原稿領域を特定する第２の特定手段と、前記第１の特定手段若しくは前記第２の特定手段により特定された（２ｐ−２）ページ目の原稿領域内の画像を（２ｐ−２）ページ目の画像として取得する第２の取得手段とを備えることを特徴とする。

本発明の構成によれば、ステープラなどで綴じられた原稿の両面ページを従来よりも少ない撮影回数で取り込むことができる。

システムの外観例及び構成例を説明する図。 制御装置１０１のハードウェア構成例を示すブロック図。 制御装置１０１が行う処理のフローチャート。 ステップＳ３１２における処理の詳細を示すフローチャート。 撮影画像の一例を示す図。 原稿領域の枠を推定する処理を説明する図。 原稿領域の枠を推定する処理を説明する図。 原稿領域の枠を推定する処理を説明する図。 原稿領域の枠を推定する処理を説明する図。 補正後の画像を示す図。 投影例を示す図。 ステップＳ３１２における処理の詳細を示すフローチャート。 撮影画像の一例を示す図。 原稿領域の枠を推定する処理を説明する図。 原稿領域の枠を推定する処理を説明する図。 補正後の画像を示す図。 一致領域、不一致領域を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの外観例について、図１（ｂ）を用いて説明する。本実施形態では、原稿台上に載置された複数枚綴りの原稿に対し、原稿が１枚めくられる度に撮像を行うことで、それぞれの原稿の裏表に印刷されているページのスキャン画像を生成・取得する。

撮影装置１０２は、原稿台上に載置された複数枚綴りの原稿を撮像するために設けられたものであり、撮像した画像は制御装置１０１に入力される。投影装置１０３は、プロジェクタなどにより構成される。撮影装置１０２及び投影装置１０３は制御装置１０１に接続されており、制御装置１０１によってその動作が制御される。制御装置１０１は撮影装置１０２及び投影装置１０３の動作制御を行うと共に、撮影装置１０２が撮影した撮影画像から、原稿台上に載置された複数枚綴りの原稿の各ページのスキャン画像を生成する。

制御装置１０１の機能構成例を図１（ａ）にブロック図として示す。なお、図１（ａ）に示した構成は、以下の説明で用いる主要な構成であり、必ずしもこの構成に限るわけではなく、その構成には様々な変形例が考え得る。例えば、撮影装置１０２や投影装置１０３は制御装置１０１内に納められていても良いし、データ記憶部１０７を制御装置１０１の外部メモリとして制御装置１０１に外付けで接続しても良い。図１に示した各機能部の機能に係る説明は、制御装置１０１の動作を示す図３のフローチャートを用いた説明の中で行う。

また、図１（ａ）に示した制御装置１０１を構成する各機能部はいずれもハードウェアで構成しても良いが、データ記憶部１０７をのぞく各機能部をソフトウェアで構成しても良い。この場合、データ記憶部１０７をメモリとして有し、且つこのソフトウェアを実行可能な装置は、制御装置１０１に適用することができる。本実施形態では、データ記憶部１０７をのぞく各部はソフトウェアで構成するものとし、その場合における制御装置１０１のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、以下の説明で用いる主要な構成であり、必ずしもこの構成に限るわけではなく、その構成には様々な変形例が考え得る。

ＣＰＵ２０４はメモリ２０５に格納されているコンピュータプログラムやデータを用いて処理を実行することで、制御装置１０１全体の動作制御を行うと共に、制御装置１０１が行うものとして後述する各処理を実行する。

メモリ２０５は、ハードディスク２０３からロードされたコンピュータプログラムやデータ、撮影装置１０２から順次送出される各フレームの撮影画像を一時的に記憶するためのエリアを有する。更にメモリ２０５は、ＣＰＵ２０４が各種の処理を実行する際に用いるワークエリアも有する。即ちメモリ２０５は、各種のエリアを適宜提供することができる。メモリ２０５は、図１のデータ記憶部１０７としても機能する。

ハードディスク２０３には、ＯＳ（オペレーティングシステム）や制御装置１０１が行うものとして後述する各処理をＣＰＵ２０４に実行させるためのコンピュータプログラムやデータが保存されている。ハードディスク２０３に保存されているコンピュータプログラムやデータは、ＣＰＵ２０４による制御に従って適宜メモリ２０５にロードされ、ＣＰＵ２０４による処理対象となる。なお、メモリ２０５に記憶するとして説明したものの一部若しくは全部をハードディスク２０３に記憶させるようにしても構わない。また、ハードディスク２０３は、図１のデータ記憶部１０７としても機能する。

ＣＰＵ２０４、メモリ２０５、ハードディスク２０３、のそれぞれは共通のバス２０６に接続されており、互いにこのバス２０６を介してデータ通信を行うことができる。また、このバス２０６には上記の撮影装置１０２及び投影装置１０３も接続されている。

次に、制御装置１０１が複数枚綴りの原稿における各ページのスキャン画像を取得するために行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、図３のフローチャートに従った処理をＣＰＵ２０４に実行させるためのコンピュータプログラムやデータはハードディスク２０３に保存されている。然るに、ＣＰＵ２０４はこのコンピュータプログラムやデータをハードディスク２０３からメモリ２０５にロードし、これを用いて処理を実行することで、結果としてＣＰＵ２０４は図３のフローチャートに従った処理を実行することになる。

ステップＳ３０１では、ＣＰＵ２０４は以下の処理で用いる変数Ｎを１に初期化する。この変数Ｎは、スキャンしたページの番号を表すページカウンタとして利用する変数である。

ステップＳ３０２では、ＣＰＵ２０４は撮影制御部１０４として機能し、撮影装置１０２に原稿台上に載置されている原稿の撮影を行わせる。これにより、メモリ２０５には、撮影装置１０２が原稿台上を撮影した撮影画像が入力される。

ステップＳ３０３では、ＣＰＵ２０４は撮影制御部１０４として機能する。即ちＣＰＵ２０４は、ステップＳ３０２でメモリ２０５に格納した撮影画像（現フレームの撮影画像）、該現フレームより１フレーム前の撮影画像（メモリ２０５内に既に格納されている）、の２フレームの撮影画像について以下の２点について判断を行う。
（１） 現フレームの撮影画像中に原稿が写っているか否か
（２） 上記２フレーム間で画像内容に変化がないか（原稿が静止しているか否か）
現フレームの撮影画像中に原稿が写っているか否かを判断する方法には様々な方法が考え得る。例えば、予め「原稿が載置されていない状態の原稿台上の撮影画像」を取得しておき、この撮影画像と現フレームの撮影画像との差分が規定量以上であれば、現フレームの撮影画像中に原稿が写っていると判断する。もちろん、現フレームの撮影画像に対して画像認識を行い、該撮影画像中に原稿が写っているか否かを判断するようにしても構わない。もちろん、後述する原稿抽出の処理を実際に適用して原稿が存在するかを推定してもよい。

また、上記２フレーム間で画像内容に変化がないか否かを判断する方法にも様々な方法が考え得る。例えば、現フレームの撮像画像中の各画素のＲＧＢ値と、現フレームよりも１フレーム前の撮像画像中の各画素のＲＧＢ値と、の間のＲＧＢ色空間における距離が閾値以上であれば、この２フレーム間で画像内容に変化があると判断する。これは複数フレーム間で行ってもよく、その場合、複数フレーム間の距離の平均が閾値以上であれば変化があったと判断する。なお、ＲＧＢ値以外の画素値を用いても構わない。原稿が原稿台上に静止しているか否かは、赤外センサなど専用のセンサを用いて判定しても良い。

ステップＳ３０３における判断の結果、現フレームの撮影画像中に原稿が静止した状態で写っていると判断した場合には、この現フレームの撮影画像を処理対象画像とし、処理はステップＳ３０４に進む。一方、現フレームの撮影画像中に原稿が静止した状態で写っていないと判断した場合には、処理はステップＳ３０２に戻る。

撮影画像中に原稿が静止した状態で写っているということは、ユーザが原稿をめくっている最中ではなく、原稿をめくった後であると判断することができる。本実施形態では、原稿を１枚めくるごとに該原稿を撮影して見開きのページのスキャン画像を生成するので、撮影画像中には、「原稿をめくった後」の状態が写っていることが必須となる。

ステップＳ３０４以降では、現フレームの撮影画像、即ち、原稿が静止した状態で写っている撮影画像が処理の対象となる。然るに、原稿が静止した状態で写っている撮影画像を取得することができるのであれば、他の手法によって「原稿が静止した状態で写っている撮影画像」を取得するようにしても構わない。例えば、本装置のユーザが操作可能なインターフェース及び撮影装置１０２から順次送出される各フレームの撮影画像を閲覧可能な表示画面を設ける。そして、ユーザはこの表示画面に「原稿が静止した状態で写っている撮影画像」が写ったと判断した場合には、インターフェースを操作して撮影指示を入力する。ＣＰＵ２０４はこの撮影指示の入力を検知すると、この時点で撮影装置１０２から取り込んだ撮影画像を以降の処理対象画像とする。

ステップＳ３０４では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３０３で処理対象画像とした撮影画像に対して、後述の処理のために前処理を行う。具体的には、この撮影画像をグレースケール画像に変換してから公知のエッジの強調処理を行う。公知のエッジ強調手法には、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタといった手法が存在する。

ステップＳ３０５では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３０４でエッジ強調された画像から、ハフ変換や最小近似法などの公知の手法により線分群（エッジ線群）を抽出する。なお、本実施形態では、数学上の用語に基づき、両端を持つ直線を線分、持たないものを直線と呼ぶ。同じ説明番号を与えた線分を直線と説明する時は、該線分を含む、つまり該線分と傾き及び切片を共有する直線の事を指す。

ステップＳ３０６では、ＣＰＵ２０４は、変数Ｎの値が１であるか否かを判断する。今判断の結果、Ｎ＝１であれば、ＣＰＵ２０４は「処理対象画像には原稿の表紙ページ（１ページ分の原稿）が写っている」と判断し、処理はステップＳ３０７に進む。一方、Ｎ≠１であれば、ＣＰＵ２０４は「処理対象画像には１枚以上めくった後の状態における原稿が写っている」と判断し、処理はステップＳ３１２に進む。

ステップＳ３０７では、ＣＰＵ２０４は原稿判定部１０６として機能し、処理対象画像中における原稿領域の枠を推定する。公知の原稿枠推定手法は、特開２０１２−１４４３０号公報に開示されているように、線分を縦方向、横方向に分類し、原稿四辺の組み合わせ候補を求め、背景と原稿の輝度差が一定であることを利用して画像中の原稿四辺を推定する方法がある。

ステップＳ３０８では、ＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ３０７で推定した枠を示す情報（例えば枠の４隅の画像上における画像座標）を、撮影画像内における１ページ目の原稿の枠の情報として、メモリ２０５に格納する。

ステップＳ３０９では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３０７で推定した枠内の画像を抽出し、該抽出した画像を、１ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

ステップＳ３１０ではＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ３０７で推定した枠内の領域を規定する情報（例えば枠の４隅の画像上における画像座標）を基準原稿位置としてメモリ２０５に格納する。

本実施形態では、原稿を綴じた状態、つまり原稿束の表紙が撮影されている状態を基準原稿と呼ぶこととする。その状態から原稿をめくった裏の位置、つまり表紙を１ページ目と数えると偶数ページとなる原稿を裏面原稿と呼ぶこととする。

ステップＳ３１１ではＣＰＵ２０４は、変数Ｎの値を１つインクリメントする。そして処理はステップＳ３１７に進む。一方、ステップＳ３１２では、ＣＰＵ２０４は、原稿判定部１０６として機能する。そしてＣＰＵ２０４は、処理対象画像から、綴じられた原稿を開いた状態の２枚の原稿のそれぞれの領域を特定し、特定したそれぞれの領域内の画像をＮページ目のスキャン画像、（Ｎ＋１）ページ目のスキャン画像、としてメモリ２０５に格納する。しかし、処理対象画像に最終ページのみが写っている場合もあり、このときは処理対象画像から最終ページの領域を特定し、特定した領域内の画像をＮページ目のスキャン画像としてメモリ２０５に格納する。ステップＳ３１２における処理の詳細については、図４のフローチャートを用いて後述する。

ステップＳ３１３では、ＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ３１２で得られた原稿が１枚かどうかを判定する。１枚であれば処理はステップＳ３２０に進み、１枚でなければ処理はステップＳ３１４に進む。

ステップＳ３１４では、ＣＰＵ２０４は原稿判定部１０６として機能し、メモリ２０５に格納されている基準原稿位置を、ステップＳ３１２で求めた基準原稿位置に更新する。

ステップＳ３１５では、ＣＰＵ２０４は原稿判定部１０６として機能し、メモリ２０５にまだ裏面原稿位置が格納されていない場合には、ステップＳ３１２で求めた裏面原稿位置をメモリ２０５に格納する。一方、すでにメモリ２０５に裏面原稿位置が格納されている場合には、このすでに格納されている裏面原稿位置を、ステップＳ３１２で求めた裏面原稿位置に更新する。

ステップＳ３１６ではＣＰＵ２０４は、変数Ｎの値を２つインクリメントする。ステップＳ３１７では、ＣＰＵ２０４は画像処理部１０５として機能し、メモリ２０５にスキャン画像として格納した画像（すなわち不等辺四角形領域）を、元の長方形領域の画像へと補正する演算、いわゆる逆透視変換演算（台形ひずみ補正）を行う。用いられる変換行列のパラメータについては、特開２００３−２８８５８８号公報に開示されているように、逆透視変換の演算式に４頂点の座標を与える事で、得られる連立方程式を解くことにより抽出できる。

ステップＳ３１８ではＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３１７で得られた補正済みスキャン画像について原稿方向を判別する。方向判別処理の手法は公知の技術であり、これについては本実施形態にとって本質ではない。そのため、詳細な説明は省略するが、画像を０°、９０°、１８０°、２７０°のそれぞれに回転させた状態で計４方向にいくつかの文字を公知の文字認識手法により文字認識し、その際の認識スコアが最も高い方向を正しい方向と判断する方法が一般的である。

ステップＳ３１９ではＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３１８で判断した原稿方向が規定の方向となるように、ステップＳ３１７で得られた補正済みスキャン画像を回転させる。これにより、原稿方向が規定の方向となるスキャン画像を得ることができる。そしてＣＰＵ２０４はこの回転済みのスキャン画像をメモリ２０５に格納する。

一方、ステップＳ３２０では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３１７と同様にして、メモリ２０５にスキャン画像として格納した画像に対して上記の台形ひずみ補正を行う。

ステップＳ３２１ではＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３１８と同様にして、ステップＳ３２０で得られた補正済みスキャン画像について原稿方向を判別する。

ステップＳ３２２ではＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ３１９と同様にして、ステップＳ３２１で判断した原稿方向が規定の方向となるように、ステップＳ３２０で得られた補正済みスキャン画像を回転させる。そしてＣＰＵ２０４はこの回転済みのスキャン画像をメモリ２０５に格納する。

ステップＳ３２３ではＣＰＵ２０４は電子文書生成部１０８として機能し、ここまでの処理で得られた各ページのスキャン画像を表裏の関係を反映して１つの電子文書データへと変換する。

ステップＳ３２４ではＣＰＵ２０４は電子文書生成部１０８として機能し、ステップＳ３２３で生成した電子文書データをメモリ２０５若しくはハードディスク２０３に保存する。本実施形態では、電子文書とは画像や文字、図形といったレイアウト情報をページデータとして、複数のページを持つファイルフォーマットを指す。

次に、上記のステップＳ３１２における処理の詳細について、図４のフローチャートを用いて説明する。ステップＳ４０１では、ＣＰＵ２０４はステップＳ３１０で格納した若しくはステップＳ３１４で更新した基準原稿位置をメモリ２０５から読み出す。

ステップＳ４０２では、ＣＰＵ２０４は、ステップＳ４０１で読み出した基準原稿位置を用いて、処理対象画像中における原稿領域の枠を推定する。本ステップにおける処理の詳細については、以下で具体例を挙げ、そこで説明する。

ステップＳ４０３では、ＣＰＵ２０４は、ステップＳ４０２で原稿領域の枠の推定に成功したか否かを判断する。この判断結果、成功した場合には、処理はステップＳ４０４に進み、成功していない場合には、処理はステップＳ４０６に進む。

ステップＳ４０４では、ＣＰＵ２０４は、ステップＳ４０２で推定した枠を示す情報（例えば枠の４隅の画像上における画像座標）を、処理対象画像内における（Ｎ＋１）ページ目の原稿の枠の情報として、メモリ２０５に格納する。

ステップＳ４０５では、ＣＰＵ２０４は、ステップＳ４０２で推定した枠内の画像を抽出し、該抽出した画像を、（Ｎ＋１）ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

ステップＳ４０６では、ＣＰＵ２０４は、裏面原稿位置がメモリ２０５に格納されているか否かを判断する。この判断の結果、格納されていれば、処理はステップＳ４０７に進み、格納されていない場合には、処理はステップＳ４０８に進む。

ステップＳ４０７では、ＣＰＵ２０４は、メモリ２０５に格納されている裏面原稿位置を用いて、処理対象画像中におけるもう１つの原稿領域（めくった裏面のページ）の枠を推定する。

一方、ステップＳ４０８では、ＣＰＵ２０４は、ステップＳ４０４でメモリ２０５に格納された（Ｎ＋１）ページ目の原稿の枠を示す情報を用いて、処理対象画像中におけるもう１つの原稿領域（めくった裏面のページ）の枠を推定する。ステップＳ４０７及びＳ４０８における処理の詳細については、以下で具体例を挙げ、そこで説明する。

ステップＳ４０９では、ＣＰＵ２０４は、ステップＳ４０７若しくはステップＳ４０８２で推定した枠を示す情報（例えば枠の４隅の画像上における画像座標）を、処理対象画像内におけるＮページ目の原稿の枠の情報として、メモリ２０５に格納する。

ステップＳ４１０では、ＣＰＵ２０４は、ステップＳ４０７若しくはステップＳ４０８２で推定した枠内の画像を抽出し、該抽出した画像を、Ｎページ目の原稿のスキャン画像としてメモリ２０５に格納する。

次に、図３，４を用いて説明した各処理を、具体例を挙げて説明する。以下の具体例では、左上をステープラで綴じられた２枚の原稿の表紙（１ページ目）、２ページ目（表紙の裏面）、３ページ目（２枚目の原稿）、４ページ目（３ページ目の裏面）のそれぞれのスキャン画像を取得するケースを例にとる。そして以下の説明では、ステップＳ３０４で最初に処理対象とする撮影画像は図５（ａ）に示す如く、このような原稿の表紙を上向きにして原稿台に載置して撮影された画像である。ステップＳ３０４で２回目に処理対象とする撮影画像は図５（ｂ）に示す如く、図５（ａ）に示した状態から原稿を１枚めくり、２ページ目及び３ページ目が見開きのページとして開かれた状態で撮影された画像である。ステップＳ３０４で３回目に処理対象とする撮影画像は図５（ｃ）に示す如く、図５（ｂ）に示した状態から原稿を１枚めくり、最終ページである４ページ目が撮影された画像である。

先ずステップＳ３０１では変数Ｎが１に初期化され、ステップＳ３０２で図５（ａ）の状態における原稿が撮影される。これにより図５（ａ）に示すような撮影画像が得られるので、ステップＳ３０４、Ｓ３０５では、図５の（ａ）に示した撮影画像に対して前処理及びハフ変換を行う。ハフ変換の結果、図６（ａ）に示すような画像が得られたとし、線分（エッジ線）６０１、６０２、６０３、６０４が抽出された、とする。

ステップＳ３０６では、Ｎ＝１であるので、１ページ目、すなわち表紙のみ１ページの原稿であると判断し、処理はステップＳ３０７に進む。ステップＳ３０７では、図５（ａ）に示した撮影画像中の原稿の枠（線分を四辺とした四角形）を抽出する。特許文献２に記載の方法では、画像中の直線の傾きから、縦方向成分と横方向成分に分類する。縦方向の線分として線分６０１、６０３、横方向の線分として線分６０２、６０４が分類される。そして、縦方向の２線分と横方向の２線分を組み合わせ（実際にはこの４線分を延長した４直線を組み合わせる）、四角形を形成する。図６（ｂ）に直線により構成される四角形の例を示す。この場合、縦方向の線分６０１、６０３、横方向の線分６０２、６０４から形成される四角形６０５（斜線部分）のみが組み合わせとして得られるので、四角形６０５を原稿領域（原稿四角形）とする。縦線と横線から得られる四角形の組み合わせが複数ある場合は、本実施形態では四角形の面積が最大となる組み合わせを原稿四角形として推定する。

ステップＳ３０８では、四角形６０５を規定する情報を原稿枠としてメモリ２０５に格納する。ステップＳ３０９では、撮影画像において四角形６０５内の画像、即ち、撮影画像において原稿の表紙が写っている領域の画像を抽出し、該抽出した画像を、１ページ目の原稿のスキャン画像としてメモリ２０５に格納する。ステップＳ３１０では、四角形６０５を規定する情報を基準原稿位置としてメモリ２０５に格納する。ステップＳ３１１では、変数Ｎの値を１つインクリメントする。

ステップＳ３１７では、ステップＳ３０９でメモリ２０５に格納した画像、即ち、撮影画像において原稿の表紙が写っている領域の画像に対して上記の逆透視変換演算（台形ひずみ補正）を行う。これにより、撮影画像において四角形６０５内の画像は図１０（ａ）に示す如く、長方形の画像１００１に変換される。なお、この変換用の行列は、原稿に対する撮影装置１０２の位置と焦点距離、光軸方向がわかれば固定できるので、撮影装置１０２の位置が固定であれば、予めこの変換用の行列を求めておいても良い。

ステップＳ３１８では、ステップＳ３１７で得られた補正済みスキャン画像について原稿方向を判別する。ここでは時計回りに０度回転、つまり無回転が正しい方向として判定されたとする。ステップＳ３１９では、補正済みスキャン画像に回転をかけずに該補正済みスキャン画像を、１ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

ここまでで原稿における表紙（１ページ目）のスキャン画像が得られたので、ユーザはその後、原稿の表紙をめくり、図５（ｂ）に示す如く、２ページ目と３ページ目とを見開きの状態にする。そして、ステップＳ３０３において現フレームの撮影画像中に原稿が静止した状態で写っている（表紙を開く作業が完了している）と判断されれば、処理はステップＳ３０４に進む。

ステップＳ３０４、Ｓ３０５では、ステップＳ３０２で得られた撮影画像（図５（ｂ））に対して前処理及びハフ変換を行う。ハフ変換の結果、図７（ａ）に示すような画像が得られたとし、線分（エッジ線）７０１〜７１７が抽出された、とする。

ステップＳ３０６ではＮ＝２であるので、処理はステップＳ３１２に進む。ステップＳ３１２では、図５（ｂ）の撮影画像からＮページ目の画像及び（Ｎ＋１）目の画像を抽出する。ステップＳ３１２では上記の如く、図４のステップＳ４０１〜Ｓ４１０の処理を実行する。

ステップＳ４０１では、ステップＳ３１０で格納した基準原稿位置（四角形６０５を規定する情報であり、表紙の枠を規定する情報）をメモリ２０５から読み出す。

ステップＳ４０２では、ステップＳ４０１で読み出した基準原稿位置を用いて、処理対象画像中における３ページ目の原稿領域の枠を推定する。具体的には、図７（ｂ）に示す如く、基準原稿位置が規定する枠の４辺のそれぞれからの距離閾値Ｔ以下の領域７２０の範囲から線分を選択する。４線分が領域７２０内に存在しなければ、Ｔの値を徐々に大きくしながら近傍範囲を４線分が見つかるまで広げる。閾値Ｔはたとえば基準原稿位置が規定する枠の短辺の長さの１％を初期値として、１％刻みで広げるなどすればよい。ここでは、線分７０９、７１０、７１１、７１７の４線分が領域７２０の内側に見つかったため、これら４線分を含む直線４つを四辺として組み合わせて求められる不等辺四角形７２１（図７（ｃ））が、３ページ目の原稿領域の枠として推定される。なお、このように領域７２０を用いて４線分を見つける方法は一例であり、各線分の基準原稿各辺に対する位置の近傍度合いを計算して、得点の高いものから順に組み合わせるなどの方法を用いても良い。

ステップＳ４０３では、ステップＳ４０２で原稿領域の枠の推定に成功したので、処理はステップＳ４０４に進む。

ステップＳ４０４では、３ページ目の原稿領域の枠を示す情報（例えば枠の４隅の画像上における画像座標）を、メモリ２０５に格納する。

ステップＳ４０５では、ステップＳ４０２で推定した原稿領域の枠（四角形６０５）内の画像（３ページ目の原稿領域の枠内の画像）を抽出し、該抽出した画像を、３ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

ステップＳ４０６では、Ｎ＝２の時点ではまだ裏面原稿位置はメモリ２０５に格納されていないので、処理はステップＳ４０８に進む。

ステップＳ４０８では、ステップＳ４０４でメモリ２０５に格納された３ページ目の原稿の枠を示す情報を用いて、２ページ目の原稿領域の枠を推定する。ステップＳ４０８における原稿領域の枠の推定方法について、図８を用いて説明する。

まず、検出した線分を含む直線から、３ページ目の原稿領域の内角８０１、８０２、８０３、８０４を通る２直線を探索する。綴じられた位置によって、角は完全に重ならないため、角から半径Ｒまでの距離を許容する。見つからない場合は、徐々に半径Ｒを広げていく。半径Ｒはたとえば、基準原稿の短辺の長さの１％とし、１％刻みで広げていけばよい。この結果、７０２、７０８の２直線が４辺中の２辺の候補として見つけられた。また、本探索方は一例であって、直線と角との最短距離をスコアとして近い順に組み合わせを絞り込んで行くなどの方法でもよい。次に、その２辺に挟まれる領域８１０から残る２辺候補となる線分とあわせて、原稿領域を推定する。領域８１０の中では、前述の公知の原稿推定技術により、原稿枠を推定すればよい。領域８１０の中には線分７０１、７０２、７０３、７０４、７０５、７０６、７０７、７０８の８線分が含まれ、この中から７０２、７０８を２辺として含む不等辺四角形の組み合わせから、原稿領域を推測する。ここでは面積が最大になる四辺を原稿領域の枠として推測する手法を用いる。まず、６線分から２線分を組み合わせる１５通りが、原稿領域の枠候補の全てである。その中で、不等辺四角形の四辺に線分を含むものは、７０１、７０５の組み合わせと、７０１、７０８の組み合わせと、７０３、７０６の組み合わせの３通りである。面積最大のものとして、７０１、７０５の組み合わせより作られる図８（ｃ）の不等辺四角形８２０が原稿領域の枠として推定された。

ステップＳ４０９では、不等辺四角形８２０（２ページ目の原稿領域の枠）を示す情報（例えば枠の４隅の画像上における画像座標）を、処理対象画像内における２ページ目の原稿の枠の情報として、メモリ２０５に格納する。

ステップＳ４１０では、ＣＰＵ２０４は、不等辺四角形８２０内の画像を抽出し、該抽出した画像を、２ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

図３に戻って、次に、ステップＳ３１３では、２ページ目と３ページ目とを検出したので、処理はステップＳ３１４に進む。ステップＳ３１４では、基準原稿位置を不等辺四角形７２１（３ページ目の原稿領域の枠）に更新する。ステップＳ３１５では、裏面原稿位置を不等辺四角形８２０（２ページ目の原稿領域の枠）に更新する。ステップＳ３１６では変数Ｎの値が２つインクリメントされる。これによりＮ＝４となる。

ステップＳ３１７では、２ページ目のスキャン画像及び３ページ目のスキャン画像に対して上記の逆透視変換演算（台形ひずみ補正）を行うことで、それぞれのスキャン画像は図１０（ｂ）の画像１００２、図１０（ｃ）の画像１００３に変換される。

ステップＳ３１８では、画像１００２については時計回りに２７０度回転が正しい方向として判定され、画像１００３については時計回りに０度回転が正しいと判定される。ステップＳ３１９では、画像１００２については反時計回りに２７０度回転させてから、回転後の画像を２ページ目の原稿のスキャン画像としてメモリ２０５に格納する。また、ステップＳ３１９では、画像１００３については回転をかけずに、これを３ページ目のスキャン画像としてメモリ２０５に格納する。

ここまでで原稿における２ページ目及び３ページ目のスキャン画像が得られたので、ユーザはその後、２枚目の原稿をめくり、図５（ｃ）に示す如く、最終ページが上向きに原稿台上に載置されている状態にする。そして、ステップＳ３０３において現フレームの撮影画像中に原稿が静止した状態で写っている（２枚目の原稿をめくる作業が完了している）と判断されれば、処理はステップＳ３０４に進む。

ステップＳ３０４、Ｓ３０５では、ステップＳ３０２で得られた撮影画像（図５（ｃ））に対して前処理及びハフ変換を行う。ハフ変換の結果、図９（ａ）に示す如く、線分（エッジ線）９０１〜９０４が抽出された、とする。

ステップＳ３０６ではＮ＝４であるので、処理はステップＳ３１２に進む。ステップＳ３１２では、図５（ｃ）の撮影画像からＮページ目の画像を抽出する。ステップＳ３１２では上記の如く、図４のステップＳ４０１〜Ｓ４１０の処理を実行する。

ステップＳ４０１では、ステップＳ３１４で更新した基準原稿位置（不等辺四角形７２１の枠を規定する情報）をメモリ２０５から読み出す。

ステップＳ４０２では、ステップＳ４０１で読み出した基準原稿位置を用いて、処理対象画像中における４ページ目の原稿領域の枠を推定する。図９（ａ）に示す如く、基準原稿位置が規定する枠の４辺のそれぞれからの距離閾値Ｔ以下の領域９１０内には４線分が存在しないので、原稿領域の枠の推定はできない。

ステップＳ４０３では、ステップＳ４０２で原稿領域の枠の推定に成功していないので、処理はステップＳ４０６に進む。ステップＳ４０６では、裏面原稿位置はメモリ２０５に格納されているので、処理はステップＳ４０７に進む。

ステップＳ４０７では、裏面原稿位置を用いて、処理対象画像中における４ページ目の原稿領域の枠を推定する。推定方法はステップＳ４０２と同様の方法を用いればよい。図９（ｂ）に示す如く、裏面原稿位置が規定する枠の４辺のそれぞれからの距離閾値Ｔ以下の領域９２０の範囲から４線分９０１〜９０４を選択する。そしてこれら４線分を含む直線４つを四辺として組み合わせて求められる不等辺四角形９３０（図９（ｃ））が、４ページ目の原稿領域の枠として推定される。

ステップＳ４０９では、不等辺四角形９３０（４ページ目の原稿領域の枠）を示す情報（例えば枠の４隅の画像上における画像座標）を、処理対象画像内における４ページ目の原稿の枠の情報として、メモリ２０５に格納する。

ステップＳ４１０では、不等辺四角形９３０（４ページ目の原稿領域の枠）内の画像を抽出し、該抽出した画像を、４ページ目の原稿のスキャン画像としてメモリ２０５に格納する。

図３に戻って、次に、ステップＳ３１３では、４ページ目のみを検出したので、処理はステップＳ３２０に進む。ステップＳ３２０では、ステップＳ３１７と同様にして、メモリ２０５にスキャン画像として格納した「４ページ目の原稿のスキャン画像」に対して上記の台形ひずみ補正を行い、これにより図１０（ｄ）に示すような補正済みスキャン画像１００４を得る。

ステップＳ３２１では、ステップＳ３１８と同様にして、ステップＳ３２０で得られた補正済みスキャン画像１００４について原稿方向を判別する。その結果、時計回りに２７０度回転すれば良いと判断したので、ステップＳ３２２では、補正済みスキャン画像１００４を時計回りに２７０度回転させ、回転済みのスキャン画像をメモリ２０５に格納する。

ステップＳ３２３では、ここまでの処理で得られた４ページ分のスキャン画像を、１ページ目のスキャン画像、２ページ目のスキャン画像、３ページ目のスキャン画像、４ページ目のスキャン画像、の順に並べた１つの電子文書データへと変換する。ステップＳ３２４では、ステップＳ３２３で生成した電子文書データをメモリ２０５若しくはハードディスク２０３に保存する。

このようにして得られた４ページ分のスキャン画像を投影装置１０３を用いて適当な面に投影した例を図１１に示す。投影画面において領域１１０１には上記の処理により得られた４ページ分のスキャン画像のそれぞれのサムネイル画像が一覧表示されている。この４ページ分のスキャン画像のうちユーザが不図示の操作部を用いて選択したスキャン画像は領域１１０２に拡大表示され、ユーザはこのスキャン画像を閲覧したり、上記操作部を操作して適宜編集したりすることができる。表示方法や表示形態については図１１に示した表示方法、表示形態に限るものではない。

このように、本実施形態によれば、ステープラなどで綴じられた原稿を原稿台上に置き、ページをめくる操作のみで容易に該原稿を電子文書として取り込むことができる。

なお、本実施形態では具体的な例を挙げてその処理の流れを説明したが、これは以下に説明する基本構成の一例に過ぎない。基本構成によれば、原稿台上に載置された複数枚綴りの原稿を撮像するために設けられた撮像部が、１枚の原稿がめくられる度に撮像した該原稿の撮像画像を取得する。ここで、撮像部がｐ（ｐは２以上の自然数）回目に撮像した撮像画像を撮像画像ｐとする。このとき、撮像画像ｐに対し、撮像画像（ｐ−１）から特定されている（２ｐ−３）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−１）ページ目の原稿領域を特定する。更に、該特定した原稿領域内の画像を（２ｐ−１）ページ目の原稿画像として取得する（第１の取得）。

そして、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されていない場合には、撮像画像ｐ中の（２ｐ−１）ページ目の原稿領域から撮像画像ｐ中における（２ｐ−２）ページ目の原稿領域を特定する（第１の特定）。

一方、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されている場合には、撮像画像ｐに対し、（２ｐ−４）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−２）ページ目の原稿領域を特定する（第２の特定）。

そして、第１の特定若しくは第２の特定により特定された（２ｐ−２）ページ目の原稿領域内の画像を（２ｐ−２）ページ目の画像として取得する（第２の取得）。然るに、このような基本構成に帰着する若しくはこれと同等の構成であれば、様々な変形例が考え得る。

［第２の実施形態］
第１の実施形態では、原稿束の各原稿サイズが全て同一として処理されるが、前後ページで差分比較することで、原稿束中に異なるサイズの原稿が混在していても処理が可能となる。以下では、第１の実施形態との差分のみについて説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。然るに、本実施形態でも、図１，２に示したシステムを利用する。

本実施形態でも制御装置１０１は図３のフローチャートに従った処理を実行するのであるが、ステップＳ３１２では、図４のフローチャートに従った処理の代わりに、図１２のフローチャートに従った処理を実行する。

なお、図１２において、ステップＳ１２０１、Ｓ１２０２、Ｓ１２０８、Ｓ１２１０、Ｓ１２１１、Ｓ１２１６はそれぞれ、ステップＳ４０１、Ｓ４０２、Ｓ４０５、Ｓ４０８、Ｓ４０７、Ｓ４１０と同様の処理である。そのためステップＳ１２０１、Ｓ１２０２、Ｓ１２０８、Ｓ１２１０、Ｓ１２１１、Ｓ１２１６のそれぞれに係る説明は省略する。

ステップＳ１２０３では、ＣＰＵ２０４は原稿判定部１０６として機能し、基準原稿位置で原稿枠が抽出されたか否かを判定し、抽出されていれば処理はステップＳ１２０４に進み、抽出されていなければ処理はステップＳ１２０９に進む。

ステップＳ１２０４では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ１２０３で抽出された原稿枠内の画像に対し、差分比較のために逆透視変換による歪み補正を行う。台形補正を行った画像については、後段のステップＳ３１７では補正をする必要はない。

ステップＳ１２０５ではＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ１２０４で歪み補正処理を行った画像と、２ページ前のスキャン画像と、の差分を求め、それぞれの画像において一致する領域、一致しない領域を特定する。他には、公知の文書解析技術により、画像領域、文字領域、図形領域などの前景を抽出し、各オブジェクトの位置形状から２つの画像間で一致領域、不一致領域の判断をしてもよい。公知の画像解析技術としては、例えば、ＵＳＰ５６８０４７８に開示されている方法がある。

ステップＳ１２０６では、ＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ１２０５で得られた差分から、２つの画像間で一致する部分（一致領域）があったか否かを判断する。この判断の結果、一致領域があった場合には、処理はステップＳ１２０７に進み、一致領域がなかった場合には、処理はステップＳ１２０８に進む。

ステップＳ１２０７では、ＣＰＵ２０４は原稿判定部１０６として機能し、上記２ページ前のスキャン画像から一致領域を取り除いた残りの領域の画像を、新たな「２ページ前のスキャン画像」としてメモリ２０５に格納する。

ステップＳ１２０９では、ＣＰＵ２０４はメモリ２０５に裏面原稿位置が既に格納されているか否かを判断する。この判断の結果、格納されている場合には、処理はステップＳ１２１１に進み、格納されていない場合には、処理はステップＳ１２１０に進む。

ステップＳ１２１２では、ＣＰＵ２０４は画像処理部１０５として機能し、裏面原稿位置に基づいて得られるＮページ目のスキャン画像に対し、差分比較のために逆透視変換による歪み補正を行う。台形補正を行った画像については、後段のステップＳ３１７では補正をする必要はない。

ステップＳ１２１３では、ＣＰＵ２０４は画像処理部１０５として機能し、ステップＳ１２１２で歪み補正処理を行った画像と、２ページ前のスキャン画像と、の差分を求め、それぞれの画像において一致する領域、一致しない領域を特定する。

ステップＳ１２１４では、ＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ１２１３で得られた差分から、２つの画像間で一致する部分（一致領域）があったか否かを判断する。この判断の結果、一致領域があった場合には、処理はステップＳ１２１５に進み、一致領域がなかった場合には、処理はステップＳ１２１６に進む。

ステップＳ１２１５では、ＣＰＵ２０４は原稿判定部１０６として機能し、ステップＳ１２１２で歪み補正処理を行った画像から一致領域を取り除いた残りの領域の画像をメモリ２０５に格納する。

以下では、具体例を挙げて、図３，１２のフローチャートに従った処理を説明する。先ず最初に図５（ａ）の撮影画像が得られ、次に２枚目の撮影画像として、２ページ目と該２ページ目よりもサイズが小さい３ページ目とが開いている状態で撮影された撮影画像（図１３（ａ））が得られたとする。そして次に、３枚目の撮影画像として、３ページ目の裏面である４ページ目と該４ページ目よりもサイズが大きい５ページ目とが開いている状態で撮影された撮影画像（図１３（ｂ））が得られたとする。そして最後に４枚目の撮影画像として、図５（ｃ）の撮影画像が得られたとする。このようにして４枚の撮影画像がこの順で得られた場合における、図３，１２のフローチャートに従った処理について説明する。

先ずステップＳ３０１では変数Ｎが１に初期化され、ステップＳ３０２では図５（ａ）に示した撮影画像が得られる。Ｎ＝１の場合における処理（Ｓ３０３〜Ｓ３１１，Ｓ３１７〜Ｓ３１９）は第１の実施形態で説明した通りである。然るにＮ＝１の場合における処理（Ｓ３０３〜Ｓ３１１，Ｓ３１７〜Ｓ３１９）が完了した時点で、基準原稿位置として図６（ｂ）の四角形６０５が得られ、１ページ目のスキャン画像として図１０（ａ）の画像１００１が得られる。

Ｎ＝２の時に、ステップＳ３０２で得られた撮影画像が図１３（ａ）に示した画像である。その後、この画像に対してステップＳ３０４，Ｓ３０５の処理を行うと、図１４（ａ）に示す如く、線分（エッジ線）１４０１〜１４１０が得られる。そしてＮ＝２であるので、処理はステップＳ３０６を介してステップＳ３１２に進む。ステップＳ３１２では図１２のフローチャートに従った処理を行う。

ステップＳ１２０１，Ｓ１２０２により、基準原稿位置（四角形６０５の枠）を用いて、図１３（ａ）に示した撮影画像から原稿領域の枠を推定する。その結果、図１４（ｂ）に示す如く、領域１４１１の枠が原稿領域の枠として得られる。原稿領域の枠が得られたので、処理はステップＳ１２０３を介してステップＳ１２０４に進む。ステップＳ１２０４ではこの原稿領域の枠内の画像を抽出し、抽出した画像に対して上記の逆透視変換を行うことで、図１６（ａ）に示す画像を得る。

ステップＳ１２０５では、図１６（ａ）の画像と図１０（ａ）の画像とで対応する画素位置間のＲＧＢ値の差を求める。そして、求めた差が閾値以上となる画素位置が占める領域（不一致領域）、求めた差が閾値未満となる画素位置が占める領域（一致領域）を特定する。ここではそれぞれの画像で一致領域がないので、処理はステップＳ１２０６を介してステップＳ１２０８に進む。

ステップＳ１２０８では、図１６（ａ）の画像を（Ｎ＋１）ページ目（３ページ目）のスキャン画像としてメモリ２０５に格納する。そして、裏面原稿位置はまだメモリ２０５に格納されていないため、処理はステップＳ１２０９を介してステップＳ１２１０に進む。

ステップＳ１２１０では、図１４（ｂ）の領域１４１１の角部を通る直線を検出し、その間の領域から原稿領域の枠を推定し、これにより、図１４（ｃ）に示す領域１４１２の枠が原稿領域の枠として得られる。

ステップＳ１２１６では、領域１４１２内の画像を抽出する。そして抽出した画像をＮページ目（２ページ目）のスキャン画像としてメモリ２０５に格納する。

図３に戻って、検出した原稿は２枚であるため、処理はステップＳ３１３を介してステップＳ３１４に進む。ステップＳ３１４では、領域１４１１の枠を示す情報を（Ｎ＋１）ページ目（３ページ目）の基準原稿位置としてメモリ２０５に格納することで、メモリ２０５内の基準原稿位置を更新する。ステップＳ３１５では、メモリ２０５に、領域１４１２の枠を示す情報をＮページ目（２ページ目）の裏面原稿位置としてメモリ２０５に格納する。そしてステップＳ３１６では変数Ｎの値を２つインクリメントするので、Ｎ＝４となる。

ステップＳ３１７では、ステップＳ１２１６でメモリ２０５に格納した２ページ目のスキャン画像に対して逆透視変換を行うことにより、図１６（ｂ）に示す画像が得られる。３ページ目については既にステップＳ１２０４で補正されているため、ステップＳ３１７における処理対象外とする。ステップＳ３１８では、補正した２ページ目のスキャン画像に対して方向判別を行い、０度回転が正しい方向と判別された。３ページ目のスキャン画像に対しても同様に方向判別を行う。ステップＳ３１９では、方向判別結果に応じてそれぞれの画像を適宜回転させ、これにより３ページ目の最終的なスキャン画像として図１６（ａ）の画像、２ページ目の最終的なスキャン画像として図１６（ｂ）の画像、がメモリ２０５に登録されることになる。

Ｎ＝４の時に、ステップＳ３０２で得られた撮影画像が図１３（ｂ）に示した画像である。その後、この画像に対してステップＳ３０４，Ｓ３０５の処理を行うと、図１５（ａ）に示す如く、線分（エッジ線）１５０１〜１５１０が得られる。そしてＮ＝４であるので、処理はステップＳ３０６を介してステップＳ３１２に進む。ステップＳ３１２では図１２のフローチャートに従った処理を行う。

ステップＳ１２０１，Ｓ１２０２により、基準原稿位置が示す領域１４１１の枠を用いて、図１３（ｂ）に示した撮影画像から原稿領域の枠を推定する。その結果、図１５（ｂ）に示す如く、領域１５１１の枠が原稿領域の枠として得られる。原稿領域の枠が得られたので、処理はステップＳ１２０３を介してステップＳ１２０４に進む。

ステップＳ１２０４ではこの原稿領域の枠内の画像を抽出し、抽出した画像に対して上記の逆透視変換を行うことで、図１６（ｃ）に示す画像を得る。

ステップＳ１２０５では、図１６（ｃ）の画像と図１６（ａ）の画像とで対応する画素位置間のＲＧＢ値の差を求める。そして、求めた差が閾値以上となる画素位置が占める領域（不一致領域）、求めた差が閾値未満となる画素位置が占める領域（一致領域）を特定する。ここでは図１７（ａ）に示す如く、図１６（ａ）の画像に対し、一致領域として領域１７０１、不一致領域として領域１７０２、が特定される。然るに処理はステップＳ１２０６を介してステップＳ１２０７に進む。

ステップＳ１２０７では、図１６（ａ）の画像から一致領域を取り除いた残りの領域の画像（図１６（ｅ））を生成し、すでにメモリ２０５に３ページ目のスキャン画像として格納した画像を、この生成した画像に置き換える。

ステップＳ１２０８では、図１６（ｃ）の画像を（Ｎ＋１）ページ目（５ページ目）のスキャン画像としてメモリ２０５に格納する。そして、裏面原稿位置はすでにメモリ２０５に格納されているため、処理はステップＳ１２０９を介してステップＳ１２１１に進む。

ステップＳ１２１１では、裏面原稿位置が示す領域１４１２の枠を用いて、図１３（ｂ）に示した撮影画像から原稿領域の枠を推定する。その結果、図１５（ｃ）に示す如く、領域１５１２の枠が原稿領域の枠として得られる。ステップＳ１２１２ではこの原稿領域の枠内の画像を抽出し、抽出した画像に対して上記の逆透視変換を行うことで、図１６（ｄ）に示す画像を得る。

ステップＳ１２１３では、図１６（ｄ）の画像と図１６（ｂ）の画像とで対応する画素位置間のＲＧＢ値の差を求める。そして、求めた差が閾値以上となる画素位置が占める領域（不一致領域）、求めた差が閾値未満となる画素位置が占める領域（一致領域）を特定する。ここでは図１７（ｂ）に示す如く、図１６（ｄ）の画像に対し、一致領域として領域１７０３、不一致領域として領域１７０４、が特定される。然るに処理はステップＳ１２１４を介してステップＳ１２１５に進む。

ステップＳ１２１５では、図１６（ｄ）の画像から一致領域を取り除いた残りの領域の枠（図１６（ｆ）の画像の枠、即ち不一致領域の枠）を特定する。そしてステップＳ１２１６では、ステップＳ１２１５で特定した枠内の画像（図１６（ｆ））を抽出し、抽出した画像をＮページ目（４ページ目）のスキャン画像としてメモリ２０５に格納する。

図３に戻って、検出した原稿は２枚であるため、処理はステップＳ３１３を介してステップＳ３１４に進む。ステップＳ３１４では、領域１５１１の枠を示す情報を（Ｎ＋１）ページ目（５ページ目）の基準原稿位置としてメモリ２０５に格納することで、メモリ２０５内の基準原稿位置を更新する。ステップＳ３１５では、領域１５１２の枠を示す情報をＮページ目（４ページ目）の裏面原稿位置としてメモリ２０５に格納する。そしてステップＳ３１６では変数Ｎの値を２つインクリメントするので、Ｎ＝６となる。

４ページ分のスキャン画像、５ページ目のスキャン画像、は共に既に補正されているため、ステップＳ３１７における処理対象外とする。ステップＳ３１８では、それぞれのスキャン画像に対して方向判別を行う。ステップＳ３１９では、方向判別結果に応じてそれぞれの画像を適宜回転させる。これにより４ページ目の最終的なスキャン画像として図１６（ｆ）に示した画像が、５ページ目の最終的なスキャン画像として図１６（ｃ）に示した画像が、メモリ２０５に登録されることになる。

Ｎ＝６の時に、ステップＳ３０２で得られた撮影画像が図５（ｃ）に示した画像である。図１２のフローチャートのステップＳ１２１２、Ｓ１２１３では、図１０（ｄ）の画像と図１６（ｄ）の画像とで上記の如く画素位置間でＲＧＢ値の差を求めて一致領域、不一致領域を特定し、その結果、一致領域はなかったと判断される。その他の処理は、第１の実施形態で説明したとおりであるので、これに係る説明は省略する。そして、６ページ目のスキャン画像として、図１０（ｄ）の画像を時計回りに２７０度回転した画像がメモリ２０５に登録されることになる。ステップＳ３２４では、図１０（ａ）、図１６（ｂ）、図１６（ｅ）、図１６（ｆ）、図１６（ｃ）、図１０（ｄ）を順にページとして構成した電子文書が生成される。

このように、本実施形態によれば、ページサイズの違う原稿も同様に簡単に電子文書化することが可能となる。なお、第１の実施形態と第２の実施形態は適宜切り替えて使用しても構わない。例えばユーザが不図示の操作部を用いて第１の実施形態で説明した電子文書生成処理、第２の実施形態で説明した電子文書生成処理、の何れかを選択して実行するようにしても構わない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 原稿台上に載置された複数枚綴りの原稿を撮像するために設けられた撮像部が、１枚の原稿がめくられる度に撮像した該原稿の撮像画像を取得する手段と、
   前記撮像部がｐ（ｐは２以上の自然数）回目に撮像した撮像画像を撮像画像ｐとし、撮像画像ｐに対し、撮像画像（ｐ−１）から特定されている（２ｐ−３）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−１）ページ目の原稿領域を特定すると共に、該特定した原稿領域内の画像を（２ｐ−１）ページ目の原稿画像として取得する第１の取得手段と、
   撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されていない場合には、撮像画像ｐ中の（２ｐ−１）ページ目の原稿領域から撮像画像ｐ中における（２ｐ−２）ページ目の原稿領域を特定する第１の特定手段と、
   撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されている場合には、撮像画像ｐに対し、（２ｐ−４）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−２）ページ目の原稿領域を特定する第２の特定手段と、
   前記第１の特定手段若しくは前記第２の特定手段により特定された（２ｐ−２）ページ目の原稿領域内の画像を（２ｐ−２）ページ目の画像として取得する第２の取得手段と
   を備えることを特徴とする画像処理装置。
2. 更に、
   前記撮像部が最初に撮像した撮像画像中のエッジ線群から四角形領域を構成する４つのエッジ線を選択し、該選択したエッジ線で構成される領域を１ページ目の原稿領域として取得する手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 更に、
   前記第１の取得手段及び前記第２の取得手段が取得した画像に対して台形補正を行う補正手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 更に、
   前記補正手段が補正した画像における原稿方向を判別し、該判別した原稿方向に応じて該画像を回転させてからメモリに登録する手段を備えることを特徴とする請求項３に記載の画像処理装置。
5. 更に、
   前記メモリに登録された画像を投影して一覧表示する手段を備えることを特徴とする請求項４に記載の画像処理装置。
6. 更に、
   （２ｐ−１）ページ目の画像と、（２ｐ−３）ページ目の画像とで画素値の差が閾値よりも小さい領域を特定し、（２ｐ−３）ページ目の画像から該特定した領域を取り除く手段を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 更に、
   （２ｐ−２）ページ目の画像と、（２ｐ−４）ページ目の画像とで画素値の差が閾値よりも小さい領域を特定し、（２ｐ−２）ページ目の画像から該特定した領域を取り除く手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の撮像画像を取得する手段が、原稿台上に載置された複数枚綴りの原稿を撮像するために設けられた撮像部が、１枚の原稿がめくられる度に撮像した該原稿の撮像画像を取得する工程と、
   前記画像処理装置の第１の取得手段が、前記撮像部がｐ（ｐは２以上の自然数）回目に撮像した撮像画像を撮像画像ｐとし、撮像画像ｐに対し、撮像画像（ｐ−１）から特定されている（２ｐ−３）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−１）ページ目の原稿領域を特定すると共に、該特定した原稿領域内の画像を（２ｐ−１）ページ目の原稿画像として取得する第１の取得工程と、
   前記画像処理装置の第１の特定手段が、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されていない場合には、撮像画像ｐ中の（２ｐ−１）ページ目の原稿領域から撮像画像ｐ中における（２ｐ−２）ページ目の原稿領域を特定する第１の特定工程と、
   前記画像処理装置の第２の特定手段が、撮像画像（ｐ−１）から（２ｐ−４）ページ目の原稿領域が特定されている場合には、撮像画像ｐに対し、（２ｐ−４）ページ目の原稿領域と同位置に領域を設定し、該設定した領域から（２ｐ−２）ページ目の原稿領域を特定する第２の特定工程と、
   前記画像処理装置の第２の取得手段が、前記第１の特定工程若しくは前記第２の特定工程で特定された（２ｐ−２）ページ目の原稿領域内の画像を（２ｐ−２）ページ目の画像として取得する第２の取得工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images