JP2017033389A - 画像処理装置、画像読取方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】撮影対象物の画像を、歪み部分を適切に抑制しながら読み取る画像処理装置を提供する。
【解決手段】画像処理装置１００は、カメラ２０５及び距離画像センサ２０６に接続される。画像処理装置１００は、カメラ２０５から、操作台３０１上に載置される撮影対象物の画像を受け付ける。画像処理装置１００は、距離画像センサ２０６から距離画像を取得し、これにより、手による撮影対象物の歪みを抑制する操作を検出する。手による撮影対象物への歪みを抑制する操作を検出する場合、画像処理装置１００は、操作物の位置に応じて、撮影対象物の一部分の部分画像を取得する。この処理を繰り返して取得した複数の部分画像を使って、撮影対象物を表す画像を生成する。
【選択図】図１

Description

本発明は、紙のドキュメントや書籍等の撮影対象物の画像を適切に読み取るための画像処理装置に関する。

紙のドキュメントや書籍等の撮影対象物を画像データやテキストデータに電子化する技術が広まっている。電子化には、例えば、撮影対象物を圧板で挟んで読み取るスキャナや、手軽に撮影対象物の画像を取得する書画カメラ等が用いられる。書画カメラは、撮影対象物が載置される台と、台を上方から撮影するカメラ等の撮影部とを備える。台上に載置される撮影対象物がカール等の歪みのあるドキュメントや書籍の場合、歪みをできるだけ抑制して撮影することが重要である。特許文献１、２は、ユーザが手で原稿を押さえることで歪みを抑制して撮影し、撮影後の画像から手の画像を消去して電子化する装置を開示する。

特開平１０−１３６１９４号公報 特開２０１３−２４７５３１号公報

手で撮影対象物を押さえて撮影する場合、撮影領域に手ができるだけ入らないようにするために、通常、手は、撮影対象物の端部を押さえることになる。そのために、手で押さえた周辺以外の歪みを十分に抑制できない可能性がある。例えば、ドキュメントの中央付近に折り目が残っている場合、ドキュメントの両脇を押さえるだけでは、折り目付近の歪みを十分に抑制できない。この場合、読み取ったドキュメントの文字等が歪む。そのために、撮影した画像を手書き文字認識、画像認識、或いは帳票認識する場合、画像の歪みによって認識精度が劣化する。従って、撮影対象物の各歪み部分で撮影対象物を押さえて、歪みを抑制しつつ撮影する必要がある。

本発明は、上記の問題を解決するために、撮影対象物の画像を、歪み部分を適切に抑制しながら読み取る画像処理装置を提供することを主たる課題とする。

本発明の画像処理装置は、操作面上に載置された撮影対象物の画像を受け付ける画像入力手段と、所定の操作物による前記撮影対象物の歪みを抑制する操作を検出する操作検出手段と、前記操作検出手段が前記操作を検出する場合、前記操作物の位置に応じて、前記撮影対象物の一部に相当する部分画像を取得する部分画像取得手段と、前記部分画像取得手段が取得した複数の前記部分画像を使って、前記撮影対象物を表す画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、撮影対象物の画像を、歪み部分を適切に抑制しながら読み取る画像処理装置を提供できる。

画像読取システムの構成図。 画像処理装置のハードウェア構成図。 画像処理装置の機能ブロック図。 撮影対象物の画像を読み取る処理を表すフローチャート。 （ａ）〜（ｇ）は画像を読み取る際の状態説明図。 （ａ）、（ｂ）は距離画像の説明図。 （ａ）〜（ｄ）は未取得領域の説明図。 （ａ）〜（ｃ）は未取得領域の別の説明図。 （ａ）〜（ｄ）は画像を読み取る際の別の状態説明図。 （ａ）〜（ｄ）は画像を読み取る際の別の状態説明図。 （ａ）〜（ｅ）は画像を読み取る際の別の状態説明図。 ガイド表示の説明図。 画像処理装置の機能ブロック図。 撮影対象物の画像を読み取る処理を表すフローチャート。 画像を読み取る際の状態説明図。

以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定するものではない。

［第１実施形態］

（構成）
図１は、本実施形態の画像処理装置を備える画像読取システムの構成図である。画像読取システムは、画像処理装置１００、撮影対象物が載置される操作面を有する操作台３０１、カメラ２０５、距離画像センサ２０６、及びプロジェクタ２０７を備える。画像処理装置１００は、カメラ２０５、距離画像センサ２０６、及びプロジェクタ２０７に接続され、各装置の制御装置として機能するパーソナルコンピュータ等の情報処理装置である。

カメラ２０５は、操作台３０１の操作面の可視画像を撮影するように設けられる撮影装置である。カメラ２０５は、操作台３０１の操作面上に載置された紙のドキュメントや書籍等の撮影対象物を撮影する。カメラ２０５は、撮影することで取得した画像データを画像処理装置１００へ送信する。

距離画像センサ２０６は、操作台３０１の操作面の距離画像を取得するように設けられる。距離画像センサ２０６は取得した距離画像を表す距離画像データを画像処理装置１００へ送信する。距離画像は、操作面上を移動する物体の検出に用いられる画像であり、距離画像センサ２０６から操作面の全体を画角に含む各画素までの距離を表す。距離画像センサ２０６は、赤外光等の光を照射してその反射時間によって距離を測定するものや、パターン光を照射してその形状から距離を計測するもの、あるいはステレオカメラ等により実現される。また、距離画像センサ２０６は、カメラ２０５と機能を兼ね備えていてもよい。なお、操作面上の物体の移動を検出可能な移動検出装置であれば、距離画像センサ２０６に代えてモーションセンサを用いることも可能である。

プロジェクタ２０７は、画像処理装置１００の制御により、操作台３０１の操作面上に画像を投影する表示装置である。操作面には、ＵＩ（User Interface）部品や情報を表す画像が表示される。カメラ２０５、距離画像センサ２０６、及びプロジェクタ２０７は、画像処理装置１００のユーザインタフェースとして用いることができる。例えばユーザが操作面に投影されたＵＩ部品をタッチ操作する場合、タッチする位置やジェスチャが、距離画像センサ２０６もしくはカメラ２０５により撮像される画像に基づいて検出される。検出結果は画像処理装置１００へ送信される。画像処理装置１００は、距離画像センサ２０６もしくはカメラ２０５の検出結果により、ユーザのタッチ操作を判定して、タッチ操作に応じた処理を行うことができる。なお、操作面をディスプレイにより構成して、プロジェクタ２０７を用いずに操作面に画像を表示する構成であってもよい。

図２は、画像処理装置１００のハードウェア構成図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、及び記憶部２０４を備える。画像処理装置１００は、Ｉ／Ｏインタフェース２０８を介してカメラ２０５、距離画像センサ２０６、及びプロジェクタ２０７に接続される。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶部２０４、及びＩ／Ｏインタフェース２０８は、バスを介して通信可能に接続される。

ＣＰＵ２０１は、ＲＯＭ２０２からコンピュータプログラムを読み込み、ＲＡＭ２０３を作業領域に用いて実行することで画像読取システム全体の動作を制御する。ＣＰＵ２０１の制御により、カメラ２０５は撮影を行い、距離画像センサ２０６は距離画像を取得し、プロジェクタ２０７は画像を表示する。記憶部２０４は、ハードディスク等の大容量記憶装置であり、カメラ２０５から取得する画像データを格納する。

図３は、画像処理装置１００の機能ブロック図である。画像処理装置１００の各機能は、ＣＰＵ２０１がコンピュータプログラムを実行することで実現される。画像処理装置１００は、画像入力部１０１、領域検出部１０２、操作検出部１０３、部分画像取得部１０４、生成部１０５、出力部１０６、及び制御部１０７として機能する。

画像入力部１０１は、カメラ２０５から入力される画像データを受け付ける。領域検出部１０２は、画像入力部１０１で受け付けた画像データに基づいて、操作面上の撮影対象物の領域を検出する。操作検出部１０３は、撮影対象物の歪みを抑制する操作を検出する。本実施形態では、ユーザが、手やペン、撮影対象物５０２を押さえる専用器具等（以下、「操作物」という。）により、撮影対象物の歪みを抑制する。操作検出部１０３は、操作物の動きを距離画像センサ２０６から取得する距離画像に基づいて検出する。

部分画像取得部１０４は、操作検出部１０３で検出された操作に応じて、画像入力部１０１で受け付けた画像データから、撮影対象物の部分画像を取得する。例えば、部分画像取得部１０４は、手が撮影対象物を押さえながら移動するときに、直前まで手が押さえていた領域の撮影対象物の画像を部分画像として取得する。生成部１０５は、部分画像取得部１０４で取得した複数の部分画像を合成して、歪みを抑制した撮影対象物の合成画像を生成する。生成部１０５は、生成した合成画像を、撮影対象物を電子化したデータとして記憶部２０４に格納する。出力部１０６は、ＵＩ部品、情報、生成部１０５で生成した合成画像等をプロジェクタ２０７により表示させる。制御部１０７は、画像処理装置１００の各機能を制御することで、画像読取システム全体の動作を制御する。

（読取処理）
図４は、このような画像読取システムにより撮影対象物の画像を読み取る処理を表すフローチャートである。図５は、画像を読み取る際の状態説明図である。ユーザは、操作台３０１の操作面上に撮影対象物を載置して、画像処理装置１００により撮影対象物の読取を指示する。読取指示は、例えばプロジェクタ２０７により表示されるＵＩ部品の操作により行われる。画像処理装置１００の制御部１０７は、ユーザの指示に応じて、画像処理装置１００、カメラ２０５、距離画像センサ２０６、及びプロジェクタ２０７の動作を制御する。

カメラ２０５は、制御部１０７の制御により操作面を撮影し、画像処理装置１００に撮影により生成した画像データを送信する。画像入力部１０１は、カメラ２０５から画像データを受け付ける（Ｓ４０１）。画像入力部１０１が受け付ける画像データには、カメラ２０５が撮影したそのままの画像の他に、カメラ設置条件に基づいて操作台３０１を真上から見下ろす視点に相当するように射影変換した画像を用いることができる。図５（ａ）は、画像入力部１０１が受け付ける画像データが表す画像の一例である。画像入力部１０１は、所定の時間間隔で時系列に画像を取得する。画像には、操作台３０１及び操作面に載置されるドキュメント等の撮影対象物５０２の画像が含まれる。

領域検出部１０２は、画像入力部１０１で受け付けた画像データから、ドキュメント等の撮影対象物５０２を含む撮影対象領域を検出する（Ｓ４０２）。撮影対象領域の検出は、背景差分や矩形検出等により行うことができる。

撮影対象物５０２は、操作台３０１に載置されており、紙の保存状態によって折れ目やカール等の歪みが生じている。ユーザは、撮影対象物５０２の歪みを減らす操作として、撮影対象物５０２を押さえてなでるように操作物を移動させる。操作検出部１０３は、このような操作物の位置や動きを検出する（Ｓ４０３）。図５（ｂ）〜図５（ｆ）はユーザが撮影対象物５０２を、操作物である右手で押さえながら、図中で左から右になでる様子を表す図である。本実施形態では。操作検出部１０３は、このユーザの手を操作物として、その位置や動きを検出する。操作検出部１０３は、検出した手の位置や動きから、操作が撮影対象物５０２の歪みを抑制する操作であるか否かを判定する（Ｓ４０４）。操作が撮影対象物５０２の歪みを抑制する操作ではない場合（Ｓ４０４：N）、画像処理装置１００は、Ｓ４０１以降の処理を繰り返し行う。

操作検出部１０３は、図５（ｂ）で撮影対象領域に手が触れたことや、撮影対象物５０２を手で押さえることにより撮影対象領域が変形することに基づいて、撮影対象物５０２の歪みを抑制する操作を検出する。ここで撮影対象領域が変形する場合とは、例えば、紙が浮いていた部分が押さえられたことで凹む、あるいは操作台３０１上面に沿うように平たくなるなど、主に高さ方向に変化する場合である。操作検出部１０３は、一枚の静止画像から操作を検出してもよいし、複数の画像から検出される動きから検出してもよい。また、操作検出部１０３は、図５（ｆ）の段階で、図５（ｂ）〜図５（ｆ）まで手が撮影対象領域を通り抜ける動きに基づいて、操作を検出してもよい。この場合、後述する部分画像取得のために図５（ｂ）〜図５（ｆ）までの画像をバッファリングする必要がある。

操作検出部１０３による操作物の動きの検出は、カメラ２０５から得られる画像に基づいて行ってもよいが、本実施形態では距離画像センサ２０６から得られる距離画像に基づいて行う。図６は、距離画像の説明図である。図６（ａ）は距離画像の例示図である。距離画像は、画像中の各座標（ｘ，ｙ）に対する距離Ｄを含む。なお、操作面がＸＹ平面である。距離画像センサ２０６は、ＴＯＦ（Time-of-Flight）方式やパターン照射方式等によって各画素との距離を計測する。操作検出部１０３は、距離画像に基づいて操作物を検出する。検出方式は背景差分、パターンマッチング、統計モデル等の手法を用いることができる。ここで操作物として検出した手先や各指、重心等の座標とその距離値（ｘ，ｙ，Ｄ）を実世界座標系（Ｘ，Ｙ，Ｚ）に変換する。図６（ｂ）は実世界座標系の例示図である。距離画像系（ｘ，ｙ，Ｄ）と実世界座標系（Ｘ，Ｙ，Ｚ）との変換式は以下の式で表される。

なお、ｒ００〜ｒ２２、ｔ０〜ｔ２、ｆｘ、ｆｙ、ｃｘ、ｃｙは距離画像センサ２０６の設置時にキャリブレーションによって予め求めるパラメータである。各パラメータは、実世界座標(Ｘ，Ｙ、Ｚ)と画像座標（ｘ，ｙ）の対応関係が取れた既知の点がパラメータ数以上あれば、最小二乗法等で予め算出される。

操作検出部１０３は、操作物の位置を実世界座標系（Ｘ，Ｙ，Ｚ）に変換し、その座標により撮影対象領域に操作物が触れているか否かを判定する。ここで、カメラ２０５で取得した画像についても画像中の位置と実世界座標中の位置との対応関係を取る。操作検出部１０３が撮影対象物の歪みを抑制する操作か否かを判定する際には、操作物のＺ座標が撮影対象領域のＺ座標と近接しており、操作物の座標が撮影対象領域のＸ、Ｙ座標系の範囲に含まれるか否かで判定して行う。さらに操作物が手であれば、手が開いているときだけ撮影対象物の歪みを抑制する操作であるとの判定を加えてもよい。

操作が撮影対象物５０２の歪みを抑制する操作である場合（Ｓ４０４：Y）、部分画像取得部１０４は、操作する手の位置に応じて撮影対象領域の部分画像を取得する（Ｓ４０５）。図５（ｃ）では、部分画像取得部１０４が撮影対象物５０２の一部分の部分画像５０３を取得する。部分画像取得部１０４は、操作検出部１０３が検出した操作物の位置と領域検出部１０２が検出した撮影対象領域に基づいて、手が通った直後の範囲と撮影対象領域とで決まる範囲を、部分画像５０３として取得する。部分画像５０３の範囲は、これ以外に、例えば操作物の領域に基づいて設定してもよい。

ユーザが左手で撮影対象物５０２を動かないよう押さえ、右手で撮影対象物５０２を押さえながらなでるように手を移動させると、右手で押さえた直後の領域が、撮影対象物５０２の歪みの少ない領域となる。なお歪みの少ない領域は、手の通過後に高さが低下した、あるいは低いまま維持されている領域として計測により検出することもできる。部分画像取得部１０４は、この右手で押さえてなでられた範囲を部分画像５０３として取得する。部分画像取得部１０４は、図５（ｄ）〜図５（ｆ）でも同様に、部分画像を取得する。なお、図５（ｃ）において、撮影対象物５０２を押さえる左手が部分画像５０３に含まれる場合がある。この場合、操作検出部１０３が検出した手領域に基づいて、画像中の撮影対象領域から手領域を除去するようにしてもよい。

操作検出部１０３は、撮影対象物５０２の歪みを抑制する操作が完了したか否かを判定する（Ｓ４０６）。操作検出部１０３は、撮影対象物５０２の歪みを抑制する操作の完了を、例えば、図５（ｆ）に示すように、ユーザの手が撮影対象領域の外に出たことで検出する。また、操作検出部１０３は、ユーザがＵＩボタンを操作することで、歪みを抑制する操作の完了を検出してもよい。操作が完了していない場合（Ｓ４０６：N）、画像処理装置１００は、Ｓ４０１以降の処理を繰り返し行う。Ｓ４０１以降の処理を繰り返し行うことで、画像処理装置１００は、図５（ｃ）〜図５（ｆ）に示す部分画像を順次取得する。

操作が完了した場合（Ｓ４０６：Y）、部分画像取得部１０４は、撮影対象領域のすべての領域分の部分画像を取得したか否かを確認する（Ｓ４０７）。

すべての領域分の部分画像を取得した場合（Ｓ４０７：Y）、生成部１０５は、部分画像取得部１０４で取得した部分画像を合成して合成画像を生成する（Ｓ４０８）。図５（ｇ）は、合成画像の説明図である。生成部１０５は、撮影対象物５０２の歪みを抑制する操作の間に部分画像取得部１０４が時系列に取得した部分画像列５０４から、撮影対象物５０２の合成画像５０５を生成する。合成画像５０５は、各部分画像５０３の画像中の位置に基づく重ね合わせや、部分画像間で共通する特徴点に基づく合成により生成される。特徴点に基づいて合成する場合、例えば、生成部１０５は、各部分画像から特徴的に表れるキーポイントを検出し、ＳＩＦＴ特徴量に基づいてＲＡＮＳＡＣアルゴリズムで部分画像間の特徴点の対応付けを行って合成する。合成方法はこれに限られるものではない。

出力部１０６は、生成部１０５で生成された撮影対象物５０２の合成画像５０５をプロジェクタ２０７により出力する（Ｓ４０９）。なお、画像処理装置１００は、合成画像５０５を入力として文字認識等の解析処理を行ってもよい。以上のように撮影対象物５０２を手等の操作物で押さえてなでた直後の部分の画像を取得して合成することで、歪みの少ない撮影対象物の画像が取得可能となる。

撮影対象領域の少なくとも一部の部分画像を取得していない場合（Ｓ４０７：N）、出力部１０６は、未取得領域があることをユーザに報知する（Ｓ４１０）。図７は、未取得領域の説明図である。図７（ａ）、図７（ｂ）では、撮影対象物の歪みを抑制する操作が行われ、部分画像取得部１０４がその部分画像を取得する。図７（ｃ）に示すように、ユーザが撮影対象物の歪みを抑制する操作を中止して、手を撮影対象物上から離す場合、部分画像取得部１０４は、撮影対象領域内で取得していない部分画像があると判定する。出力部１０６は、図７（ｄ）に示すように、撮影対象領域中に未取得領域７０１を示す図により、ユーザに未取得領域７０１があることを報知する。本実施形態では、表示装置にプロジェクタ２０７を用いるために、撮影対象物に重畳して未取得領域７０１を表示することが可能である。

図８は、未取得領域の別の説明図である。図８では、ユーザは、撮影対象物を手でなぞる方向に対して直交する方向に二回に分けて、歪みを抑制する操作を行う。図８（ａ）では、部分画像取得部１０４は、図５、図７とは異なり、撮影対象領域から手（操作物）の大きさに応じた領域の画像を部分画像８０１として取得する。手の大きさは、操作検出部１０３により、手のモデルマッチングや太さが極小となる手首の検出に基づいて検出される。図８（ａ）、図８（ｂ）のように部分画像を取得する場合、撮影対象物を複数回押さえてなでるために、複数回の操作で取得した部分画像の間に隙間が生じることがある。図８（ｃ）は、二回の操作によって取得した部分画像の隙間８０２を例示する。図７（ｄ）と同様に、出力部１０６は、プロジェクタ２０７によって撮影対象物に隙間８０２を表す画像を重畳表示して、ユーザに未取得領域があることを報知する。

ユーザが報知された領域を手で押さえながらなでることで、部分画像取得部１０４は未取得領域の部分画像を取得することができる。これにより、生成部１０５は、撮影対象物の全体を表す合成画像を生成することができる。なお、複数回に分けて取得した部分画像を合成する際に部分画像が重なる場合、生成部１０５は、時間的に後に取得した部分画像を使用して合成画像を生成する。或いは、生成部１０５は、操作する手（操作物）の重心が近い方の部分領域をより歪みが少ないと仮定して合成画像を生成する。

以上のように、撮影対象物の歪みを抑制する操作として撮影対象物を押さえてなでる操作を検出し、押さえた直後の部分画像を順次取得して撮影対象物の合成画像を生成することで、歪みの少ない撮影対象物の画像を取得することが可能となる。また、画像処理装置１００は、部分画像に漏れがある場合は未取得領域の存在を報知し、ユーザに歪みを抑制する操作を促すことで、全体に歪みが抑制された撮影対象物の画像を取得することが可能となる。

図９は、画像を読み取る際の別の状態説明図である。図５は、撮影対象物を一方の手で押さえながら、他方の手で撮影対象物を一方向になでる操作を表すが、図９は、両手で撮影対象物をそれぞれ異なる方向になでる操作を表す。部分画像を両手の動きに合わせて取得する点を除き、画像取得システムの処理自体は、片手で撮影対象物をなでる場合と同様である。

図９（ａ）では、ユーザは撮影対象物の中央付近を両手で押さえる。操作検出部１０３は、撮影対象物の歪みを抑制する操作として、図９（ａ）の状態を検出する（Ｓ４０４）。図９（ｂ）〜図９（ｄ）に示すようにユーザが両手をそれぞれ異なる方向に撮影対象物を押さえながら移動させると、部分画像取得部１０４は、手が押さえた直後の領域を部分画像５０３として順次取得する（Ｓ４０５）。

操作検出部１０３は、図９（ｄ）に示すように両手が撮影対象物と一致する高さＺを保ったまま撮影対象領域外に出たことを検出すると、操作が完了したと判定する（Ｓ４０６：Y）。これにより生成部１０５は、取得した部分画像を合成して合成画像を生成する（Ｓ４０８）。

操作検出部１０３は、撮影対象物上に手が一つ置かれるか、二つ置かれるかより、片手で操作が行われるか、両手で操作が行われるかをＳ４０４の処理で検出する。ここで検出した操作が継続している間、部分画像取得部１０４は部分画像を取得する。

図１０は、画像を読み取る際の別の状態説明図である。図１０ではユーザが手や専用器具で撮影対象物を押さえる領域に応じて、部分画像が取得される。

図１０（ａ）では、ユーザが手で部分画像を表す矩形を形作って、撮影対象物を、歪みを抑制するように押さえる。図１０（ｂ）では、ユーザが手で部分画像を表す矩形の頂点を指示して、撮影対象物を、歪みを抑制するように押さえる。図１０（ａ）、図１０（ｂ）では、部分画像取得部１０４は、手の動きに合わせて時系列に連続して部分画像を取得するのではなく、操作検出部１０３が図１０（ａ）、図１０（ｂ）の操作を検出する度に部分画像を取得する。

図１０（ｃ）は、棒状の操作物を用いる例を表す。部分画像取得部１０４は、棒状の操作物で押さえられた直後の操作対象領域を、順次部分画像として取得する。図１０（ｄ）は、矩形の窓枠状の操作物を用いる例を表す。部分画像取得部１０４は、操作物の開口部１００１から見える撮影対象領域を部分画像として取得する。

このように、撮影対象物の歪みを抑制する操作を検出して部分画像を取得し、合成画像を生成可能であれば、撮影対象物の押さえ方や押さえる器具はどのようなものであってもよい。

また、画像処理装置１００は、部分画像により、撮影対象物の少なくとも一部分の画像を生成するようにしてもよい。この場合、図４のＳ４０７及びＳ４１０の処理が不要になる。図１１は、この場合の画像を読み取る際の状態説明図である。

図１１（ａ）に示すように、ユーザが撮影対象物の一部を手で押さえることで、操作検出部１０３は、撮影対象物の歪みを抑制する操作を検出する（Ｓ４０４）。ユーザが図１１（ｂ）、図１１（ｃ）に示すように、ユーザが手で撮影対象物の一部を押さえながらなでることで、部分画像取得部１０４は、手で押さえられた直後の領域の部分画像を取得する（Ｓ４０５）。ユーザが図１１（ｄ）に示すように撮影対象物を押さえる手を抜くことで、操作検出部１０３は、撮影対象物５０２の歪みを抑制する操作が完了したと判定する（Ｓ４０６：Y）。生成部１０５は、部分画像取得部１０４が取得した部分画像を合成して撮影対象物の一部分の画像を生成する。図１１（ｅ）は、生成部１０５が生成する撮影対象物の一部分の画像の例示図である。破線が撮影対象物の全体の領域を示し、実線１１０１が撮影対象物を手で押さえてなでた領域である撮影対象物の一部分の画像である。このような処理により、ユーザは、撮影対象物の所望する一部分の画像を、手で当該部分を押さえてなでるというハンディスキャナに似た直感的な操作を行うことで、電子化することができる。

なお、画像読取システムは、手等の操作物が撮影対象物を押さえる位置やなでる方向をプロジェクタ２０７の表示によりガイドしてもよい。図１２は、ガイド表示の説明図である。画像処理装置１００の出力部１０６は、プロジェクタ２０７により撮影対象物上にガイドを表示する。ユーザがガイドに会わせて手で撮影対象物を押さえると、操作検出部１０３がこれを検出する。画像処理装置１００は、なでる方向をガイドする。ユーザがガイドに従って撮影対象物を押さえながらなでることで、画像処理装置１００は、部分画像を順次取得して、撮影対象物の合成画像を取得することができる。

ガイドの表示により、画像処理装置１００は、ユーザが手を置く位置を想定可能である。操作検出部１０３は、手の位置とガイドの表示位置との関係から、Ｓ４０４の処理で、撮影対象物の歪みを抑制する操作の判定を行う。例えば、操作検出部１０３は、距離画像を用いずに、手の位置とガイド表示の位置とが画像中若しくは操作面上で一致しているか否かにより、撮影対象物の歪みを抑制する操作の判定を行うことができる。

［第２実施形態］

部分画像を合成して撮影対象物の電子化を行う他に、撮影対象物の全体画像を最初に取得しておき、歪みの大きい部分の部分画像を後に取得して、全体画像に部分画像を合成することで、歪みのない撮影対象物の画像を取得することも可能である。第２実施形態の画像処理装置１００は、第１実施形態とは機能ブロックが異なり、他の構成については同様である。同様の構成については説明を省略する。

図１３は、第２実施形態の画像処理装置１００の機能ブロック図である。この画像処理装置１００は、図３の第１実施形態の画像処理装置１００の機能ブロックに、歪み検出部１３０１が追加された構成である。歪み検出部１３０１は、撮影対象物の全体の画像から歪みが発生した歪み領域を検出する。歪み検出部１３０１は、例えば、撮影対象領域に含まれる撮影対象物の輪郭等の直線の歪みや、撮影対象物に文書が含まれていれば文書の行の歪み、文字の歪みにより、歪み領域を検出する。また、歪み検出部１３０１は、距離画像センサ２０６で取得する距離画像から、撮影対象物の高さの平坦さに基づいて歪み領域を検出してもよい。

図１４は、このような画像読取システムにより撮影対象物の画像を読み取る処理を表すフローチャートである。図１５は、画像を読み取る際の状態説明図である。図１４のＳ１４０１、Ｓ１４０２の処理は、図４のＳ４０１、Ｓ４０２の処理と同様である。

Ｓ１４０２の処理で撮影対象領域を検出した画像処理装置１００は、領域検出部１０２により、撮影対象物の全体画像である撮影対象領域の全体画像を取得する（Ｓ１４０３）。図１５（ａ）は、画像入力部１０１が受け付ける画像データが表す画像の一例である。画像には、操作台３０１及び操作面に載置されるドキュメント等の撮影対象物５０２の画像が含まれる。図１５（ｂ）は、撮影対象領域の全体画像を表す。領域検出部１０２は、図１５（ｂ）の全体画像を取得する。

歪み検出部１３０１は、撮影領域の全体画像から、歪み領域を検出する（Ｓ１４０４）。出力部１０６は、歪み検出部１３０１が検出した歪み領域を出力する（Ｓ１４０５）。出力部１０６は、プロジェクタ２０７により、撮影対象物上に歪み領域を表す画像を投影する。図１５（ｃ）は、歪み領域の画像を撮影対象物に投影した状態を表す。図中、左上及び右下部分が歪み領域である。なお、操作台３０１がディスプレイの場合、出力部１０６は、撮影対象物の外の歪み領域近傍に、歪み領域の画像を表示するようにしてもよい。また、出力部１０６は、撮影対象物の載置位置とは別の位置に、撮影対象領域の画像と歪み領域の画像とを重畳して表示してもよい。

Ｓ１４０６〜Ｓ１４０８の処理は、図４のＳ４０３〜Ｓ４０５の処理と同様である。この際、ユーザは、図１５（ｄ）に示すように、歪み領域を手で囲むように押さえる。部分画像取得部１０４は、図中、破線で囲まれた領域を部分画像として取得する。生成部１０５は、部分画像取得部１０４で取得した部分画像と、撮影対象領域の全体画像とを合成した合成画像を生成する（Ｓ１４０９）。図１５（ｅ）は、合成画像の例示図である。破線の領域が全体画像に対して重畳された部分画像である。出力部１０６は、生成部１０５で生成された合成画像を出力する（Ｓ１４１０）。これにより、左上の歪み領域（図１５（ｃ）参照）の歪みが抑制される。

右下の歪み領域については抑制されていないため、画像処理装置１００は、Ｓ１４０１以降の処理を繰り返し行う（Ｓ１４１１：N）。歪み検出部１３０１は、図１５（ｆ）に示す歪み領域を検出する。ユーザは、図１５（ｇ）に示すように、歪み領域を手で囲むように押さえる。画像処理装置１００は、これにより図１５（ｈ）に示すような合成画像を生成する。図１５（ｉ）は、出力される合成画像の例示図。この合成画像の画像データが、撮影対象物を電子化したデータとして記憶部２０４に記憶される。以上のようにして、撮影対象物が電子化される処理が終了する（Ｓ１４１１：Y）。

以上のように、撮影対象の全体画像に対して歪み領域を検出して表示し、ユーザの押さえる操作を検出して部分画像を全体画像に順次合成していく事で、歪みの少ない画像を取得することができる。

第１実施形態及び第２実施形態では、水平に操作面が設けられる操作台３０１に対して、距離画像センサ２０６が上方から距離画像を撮影してユーザの操作を検出する構成である。操作台３０１を壁等に設置することで操作面が鉛直に設けられる場合、距離画像センサ２０６は、水平方向から距離画像を撮影することになる。この場合、撮影対象は、磁石等により操作面に固定される。磁石は、撮影対象物の歪みが効率よく抑制される位置に設けられることが望ましい。また、撮影対象物には、紙等のドキュメントや書籍の他に、衣服の生地、ビニール等の形状が変化して歪みが発生するものであってもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 操作面上に載置された撮影対象物の画像を受け付ける画像入力手段と、
   所定の操作物による前記撮影対象物の歪みを抑制する操作を検出する操作検出手段と、
   前記操作検出手段が前記操作を検出する場合、前記操作物の位置に応じて、前記撮影対象物の一部に相当する部分画像を取得する部分画像取得手段と、
   前記部分画像取得手段が取得した複数の前記部分画像を使って、前記撮影対象物を表す画像を生成する生成手段と、を備えることを特徴とする、
   画像処理装置。
2. 前記部分画像取得手段は、前記操作物の前記操作により移動した位置に応じて、前記部分画像を順次取得することを特徴とする、
   請求項１記載の画像処理装置。
3. 前記部分画像取得手段は、前記操作物が前記操作した範囲に応じて、前記部分画像を順次取得することを特徴とする、
   請求項１又は２記載の画像処理装置。
4. 前記画像入力手段で受け付けた前記画像から、前記操作面上の前記撮影対象物の領域を検出する領域検出手段を備えており、
   前記部分画像取得手段は、前記操作物の位置と前記領域とで決まる範囲を、前記部分画像として取得することを特徴とする、
   請求項１〜３のいずれか１項記載の画像処理装置。
5. 前記操作検出手段は、前記撮影対象物及び前記操作物を含む距離画像を取得し、取得した距離画像に応じて前記操作物による前記操作を検出することを特徴とする、
   請求項１〜４のいずれか１項記載の画像処理装置。
6. 前記操作検出手段は、前記操作物が前記撮影対象物を押さえる操作を検出し、
   前記部分画像取得手段は、押さえる位置に応じて前記部分画像を取得することを特徴とする、
   請求項１〜５のいずれか１項記載の画像処理装置。
7. 前記操作検出手段は、前記操作物が前記撮影対象物を押さえてなでる操作を検出し、
   前記部分画像取得手段は、押さえてなでられた範囲を、前記部分画像として取得することを特徴とする、
   請求項６記載の画像処理装置。
8. 前記操作検出手段は、前記操作物が前記撮影対象物の所定の範囲を囲う操作を検出し、
   前記部分画像取得手段は、前記撮影対象物の前記操作物で囲われた範囲を、前記部分画像として取得することを特徴とする、
   請求項５記載の画像処理装置。
9. 前記生成手段は、複数の前記部分画像を合成して、前記撮影対象物の少なくとも一部を表す合成画像を生成することを特徴とする、
   請求項１〜８のいずれか１項記載の画像処理装置。
10. 前記生成手段は、前記画像入力手段で受け付けた前記画像と前記部分画像取得手段で取得した前記部分画像と合成して、前記撮影対象物を表す合成画像を生成することを特徴とする、
    請求項１〜９のいずれか１項記載の画像処理装置。
11. 前記生成手段で生成した前記画像を所定の表示装置により前記操作面上に表示させる出力手段を備えることを特徴とする、
    請求項１〜１０のいずれか１項記載の画像処理装置。
12. 前記出力手段は、前記撮影対象物に重畳して、前記生成手段で生成した前記画像を表示させることを特徴とする、
    請求項１１記載の画像処理装置。
13. 前記出力手段は、前記操作が完了したときに、前記部分画像取得手段が前記操作面上の前記撮影対象物の領域の少なくとも一部の前記部分画像を取得していない場合に、前記表示装置により未取得領域があることを報知することを特徴とする、
    請求項１１又は１２記載の画像処理装置。
14. 前記出力手段は、前記表示装置に、前記操作物により操作する位置を表すガイドを表示させることを特徴とする、
    請求項１１〜１３のいずれか１項記載の画像処理装置。
15. 前記画像入力手段で受け付けた前記画像から前記撮影対象物の歪み領域を検出する歪み検出手段を備えており、
    前記出力手段は、前記表示装置に、前記歪み領域を表す画像を表示させることを特徴とする、
    請求項１１〜１４のいずれか１項記載の画像処理装置。
16. 前記撮影対象物は、形状が変化して歪みが発生するものであることを特徴とする、
    請求項１〜１５のいずれか１項記載の画像処理装置。
17. 操作面上に載置された撮影対象物の画像を撮影する撮影装置、前記操作面上の所定の操作物の移動を検出する移動検出装置、及び画像処理装置を備えるシステムにより実行される方法であって、
    前記画像処理装置が、
    前記撮影装置が撮影した前記画像を受け付ける工程と、
    前記移動検出装置で検出した前記操作物の移動により、前記操作物による前記撮影対象物の歪みを抑制する操作を検出して、前記操作物の位置に応じて、前記撮影対象物の一部に相当する部分画像を取得する工程と、
    取得した複数の前記部分画像を使って、前記撮影対象物を表す画像を生成する工程と、を含むことを特徴とする、
    画像読取方法。
18. 操作面上に載置される撮影対象物の画像を撮影する撮影装置及び前記操作面上の所定の操作物の移動を検出する移動検出装置が接続されるコンピュータを、
    前記撮影装置が撮影した前記画像を受け付ける画像入力手段、
    前記移動検出装置で検出した前記操作物の移動により、前記操作物による前記撮影対象物の歪みを抑制する操作を検出する操作検出手段、
    前記操作検出手段が前記操作を検出する場合、前記操作物の位置に応じて、前記撮影対象物の一部に相当する部分画像を取得する部分画像取得手段、
    前記部分画像取得手段が取得した複数の前記部分画像を使って、前記撮影対象物を表す画像を生成する生成手段、
    として機能させるコンピュータプログラム。
19. 請求項１８記載のコンピュータプログラムを記憶するコンピュータにより読み取り可能な記憶媒体。