JP2011146873A - 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】処理速度および処理精度を向上させた撮像画像処理システムを実現する。
【解決手段】本発明の撮像画像処理システムは、携帯端末装置と画像出力装置とを備える。携帯端末装置は、撮像時における携帯端末装置の位置変化を検知しながら、連続して複数回撮像し（Ｓ１０）、複数の撮像画像データ、および、当該複数の撮像画像データの各々について検知された位置変化に関する移動情報を画像出力装置に送信するする（Ｓ１５）。また、画像出力装置は、携帯端末装置から送信された複数の撮像画像データ、および移動情報を受信し（Ｓ２０）、移動情報に基づいて、複数の撮像画像データの位置を合わせを行う位置合わせ処理を実行し（Ｓ２１）、位置合わせされた複数の撮像画像データを用いて高解像度画像データを生成し（Ｓ２２）、生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する（Ｓ２９）。
【選択図】図１

Description

本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。

近年、インターネット技術の進展に伴い、携帯電話などカメラ付きモバイル機器を利用して画像を撮像する機会が増加している。また、これと共に、単純に風景や人物などを被写体とするだけではなく、各種イベントなどで展示されている説明図や説明文、或いは学会などで用いられるスライドの撮像にカメラ付きモバイル機器が利用される機会も増加している。

ところが、通常のカメラ付きモバイル機器でＡ４程度の紙面全体を撮像したときに得られる画像の解像度は、フラットベッドスキャナで読み取った画像の解像度に比べて著しく低下してしまう。このため、カメラ付きモバイル機器で撮像した画像に対して、超解像処理を施し、高精細な画像を得る技術が研究されている。

ここで、超解像処理とは、位置ずれのある複数の低解像度画像から高解像度画像を生成する処理であり、ＭＬ（Maximum-likelihood）法や、ＭＡＰ（Maximum A Posterior）法などの様々な超解像処理方法が提案されている。

ＭＬ法は、高解像度画像ベクトルｈから推定される低解像度画像の画素値と、実際に観測される低解像度画像の画素値fとの二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定する方法である。高解像度画像ベクトルｈから低解像度画像の画素値を推定する変換行列をＡとすると、評価関数は下記式（１）で表わされる。

上記式（１）において、Ｍは観測点総数、ｆ_ｉはｉ番目の観測点における低解像度画像の画素値、Ａ_ｉは高解像度画像ベクトルｈからi番目の観測点における低解像度画像の画素値を推定する変換行列を表す。

また、ＭＡＰ法は、ＭＬ法で用いた評価関数に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。

これらの超解像処理では、画素間隔よりも細かい間隔で撮像素子を変位させながら複数の画像を撮影する必要がある。このため、正確に撮像装置を制御することができる複雑な機構が必要とされることが多く、安価にこのような機構を構成することは困難であるという問題があった。

これに対して、特許文献１には、画素間隔よりも細かい間隔で撮像素子を正確に変位させる制御を必要とせずに画素ずらし撮像を行い、複数の低解像度画像を用いて高解像度画像を生成する技術が開示されている。特許文献１に記載の撮像システムでは、撮像装置の状態変位を検出する状態変位検出手段を備え、撮像装置自体の移動速度が一定値よりも低いタイミングで撮像を行うことを可能にしている。これにより、手ぶれなどのランダムな動き、或いは、ばねなどの移動手段を用いて画素ずらし撮像を行い、複数の低解像度画像から超解像処理により高解像度画像を生成している。

特開２００６−１４０８８５号公報（２００６年６月１日公開）

ここで、超解像処理では、まず、高解像度画像を仮定し、位置ずれ情報および撮像特性から得られる点広がり関数（Point Spread Function）に基づいて、仮の高解像度画像から推定される低解像度画像と、実際に観測される低解像度画像との差が小さくなるような高解像度画像を探索する。このため、超解像処理の速度および精度を向上させるためには、複数の観測画像間の正確な位置ずれ量を知る必要がある。

しかしながら、画像間の位置ずれは、単純な平行移動に限られず撮像装置の回転やスケール変化などを含むため、平行移動成分だけを推定したのでは不十分なことが多い。このため、特許文献１のように、画像データ間の相関を用いて位置合わせを行う場合、処理が複雑になり、処理時間を要するという問題を有している。

本発明は、上記従来の問題に鑑みてなされたものであり、その目的は、複数の撮像画像データから高解像度の画像データを生成する処理速度および処理精度を向上させた撮像画像処理システムを実現することにある。

上記の課題を解決するために、本発明の撮像画像処理システムは、携帯端末装置と画像出力装置とを備え、上記携帯端末装置は、撮像した複数の撮像画像データを上記画像出力装置に送信し、上記画像出力装置は、受信した当該複数の撮像画像データから生成した高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する撮像画像処理システムであって、上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像部と、撮像時における上記撮像対象物に対する上記携帯端末装置の位置変化を検知する移動状態検知部と、上記撮像部の連続した複数回の撮像により得られた複数の撮像画像データ、および、当該複数の撮像画像データの各々について上記移動状態検知部により検知された位置変化に関する移動情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記携帯端末装置から送信された上記複数の撮像画像データ、および上記移動情報を受信する受信部と、上記受信部が受信した移動情報に基づいて、上記受信部が受信した複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理を実行する位置合わせ処理部と、上記位置合わせ処理部によって座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データを生成する超解像化処理部と、上記超解像化処理部により生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する出力部とを備えることを特徴としている。

また、上記の課題を解決するために、本発明の撮像画像処理システムの制御方法は、携帯端末装置と画像出力装置とを備え、上記携帯端末装置は、撮像した複数の撮像画像データを上記画像出力装置に送信し、上記画像出力装置は、受信した当該複数の撮像画像データから生成した高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する撮像画像処理システムの制御方法であって、上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像ステップと、撮像時における上記撮像対象物に対する上記携帯端末装置の位置変化を検知する移動状態検知ステップと、上記撮像ステップにて連続した複数回の撮像により得られた複数の撮像画像データ、および、当該複数の撮像画像データの各々について上記移動状態検知ステップにて検知された位置変化に関する移動情報を上記画像出力装置に送信する送信ステップとを備え、上記画像出力装置は、上記携帯端末装置から送信された上記複数の撮像画像データ、および上記移動情報を受信する受信ステップと、上記受信ステップにて受信した移動情報に基づいて、上記受信ステップにて受信した複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理を実行する位置合わせ処理ステップと、上記位置合わせ処理ステップにて座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データを生成する超解像化処理ステップと、上記超解像化処理ステップにて生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する出力ステップとを備えることを特徴としている。

上記発明によれば、携帯端末装置は、撮像部によって撮像された複数の撮像画像データ、および上記移動状態検知部によって検知された当該複数の撮像画像データの各々の撮像時における携帯端末装置の位置変化に関する移動情報を、送信部によって画像出力装置に送信する。

また、画像出力装置は、携帯端末装置から送信された複数の撮像画像データ、および移動情報を受信部によって受信する。そして、受信した移動情報に基づいて、アフィン変換係数を推定し、複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理が位置合わせ処理部によって実行される。さらに、当該位置合わせ処理部によって座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データが超解像化処理部によって生成される。このようにして生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像は、出力部によって出力される。

以上のように、上記発明では、移動状態検知部により検知された位置変化に関する移動情報に基づいて、位置合わせ処理部は、複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理をアフィン変換係数を用いて実行する。このため、従来のように、撮像画像データ間の相関を用いて位置合わせを行う処理に比べて、処理時間を短縮することができると共に、処理精度を向上させることができる。

これにより、複数の撮像画像データから高解像度の画像データを生成する処理速度および処理精度を向上させた撮像画像処理システムを実現することができる。

また、本発明の撮像画像処理システムでは、上記移動状態検知部は、上記携帯端末装置の位置変化として、上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の位置の変化と、当該受光面に垂直な第３軸方向の位置の変化とを検知することが好ましい。

上記発明によれば、移動状態検知部は、携帯端末装置の位置変化として、撮像部における受光面に平行な２つの第１軸方向および第２軸方向の位置の変化と、当該受光面に垂直な第３軸方向の位置の変化、すなわち、携帯端末装置の３次元方向の位置変化を検知する構成である。

これにより、携帯端末装置の３次元方向の位置変化に関する移動情報に基づいて複数の撮像画像データから高解像度の画像データが生成されるため、処理精度を向上させることができる。

また、本発明の撮像画像処理システムでは、上記移動状態検知部は、上記携帯端末装置の位置変化として、上記第１から第３軸方向の移動速度、上記第３軸方向を中心とする回転の角速度、上記第１から第３軸方向の加速度、および上記第３軸方向を中心とする回転の角加速度の少なくとも一つを検知することが好ましい。

上記発明によれば、移動状態検知部は、携帯端末装置の位置変化として、第１から第３軸方向の移動速度、第３軸方向を中心とする回転の角速度、第１から第３軸方向の加速度、および上記第３軸方向を中心とする回転の角加速度の少なくとも一つを検知する構成であるため、撮像時の携帯端末装置の位置変化を容易に検知することができる。

これにより、複数の撮像画像データから高解像度の画像データを生成する処理速度を向上させることができる。

また、本発明の撮像画像処理システムでは、上記携帯端末装置は、上記移動状態検知部が検知した位置変化に基づいて、上記撮像部の連続撮像により得られた複数の撮像画像データの中から、撮像時の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備え、上記送信部は、上記画像選択部により選択された所定数の撮像画像データと、当該所定数の撮像画像データの各々に対応する上記移動情報とを上記画像出力装置に送信することが好ましい。

上記発明によれば、携帯端末装置が、移動状態検知部が検知した位置変化に基づいて、撮像部の連続撮像により得られた複数の撮像画像データの中から、撮像時の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備える構成である。そして、携帯端末装置は、画像選択部によって選択された所定数（２以上）の撮像画像データを画像出力装置に送信する。

これにより、画像出力装置における処理の負担を軽減させることができると共に、送信部による撮像画像データの送信時間を短縮することができる。

また、本発明の撮像画像処理システムでは、上記画像出力装置は、上記受信部が受信した移動情報に基づいて、上記受信部が受信した複数の撮像画像データの中から、撮像時の上記携帯端末装置の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備え、上記位置合わせ処理部は、上記画像選択部により選択された所定数の撮像画像データに対して上記位置合わせ処理を実行し、上記超解像化処理部は、上記位置合わせ処理が実行された上記所定数の撮像画像データを用いて、上記高解像度画像データを生成することが好ましい。

上記発明によれば、画像出力装置が、移動状態検知部が検知した位置変化に基づいて、撮像部の連続撮像により得られた複数の撮像画像データの中から、撮像時の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備える構成である。

これにより、携帯端末装置の機能が簡略化されるため、携帯端末装置の小型化および軽量化を図ることができる。

また、本発明の撮像画像処理システムでは、上記画像選択部は、撮像時の移動速度の小さい上記所定数の撮像画像データを選択することが好ましい。

上記構成によれば、撮像時の移動速度の小さい所定数の撮像画像データが画像選択部によって選択される構成であるため、相対的に画像ぶれの少ない撮像画像データが優先的に選択される。そして、位置合わせ処理部および超解像化処理部は、相対的に画像ぶれの少ない撮像画像データに対して所定の処理を実行する。

これにより、複数の撮像画像データから高解像度の画像データを生成する処理精度を向上させることができる。

また、本発明の撮像画像処理システムでは、上記送信部は、上記画像選択部により選択された上記所定数の撮像画像データのうち撮像時の上記携帯端末装置の移動速度が最も小さい撮像画像データを基準画像として、各撮像画像データについて、上記基準画像の撮像時から当該撮像画像データの撮像時までの間の上記携帯端末装置の移動距離を上記移動情報に含めることが好ましい。

上記発明によれば、送信部は、画像選択部により選択された所定数の撮像画像データのうち撮像時の携帯端末装置の移動速度が最も小さい撮像画像データを基準画像とし、各撮像画像データについて、基準画像の撮像時から当該撮像画像データの撮像時までの間の携帯端末装置の移動距離を含めて画像出力装置に送信する構成である。このため、位置合わせ処理部は、各撮像画像データについて、基準画像の撮像時から当該撮像画像データの撮像時までの間の携帯端末装置の移動距離に基づいて位置合わせ処理を実行することができる。

これにより、各撮像画像データ間の位置合わせ処理の時間を短縮することができる。

また、本発明の撮像画像処理システムでは、上記移動状態検知部は、上記携帯端末装置の位置変化として、上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の上記携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の上記携帯端末装置の移動速度と、所定の基準時からの経過時間とを検知し、上記送信部は、上記移動情報として、上記移動状態検知部が検知した移動速度および経過時間を示す情報を含める構成であってもよい。

上記発明によれば、移動状態検知部は、携帯端末装置の位置変化として、撮像部における受光面に平行な２つの第１軸方向および第２軸方向の携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の携帯端末装置の移動速度と、所定の基準時からの経過時間とを検知する。また、送信部は、携帯端末装置の位置変化をそのまま移動情報として画像出力装置に送信する構成である。このため、携帯端末装置は、移動状態検知部の検置結果と撮像画像データとを関連付けて画像出力装置に送信するのみでよい。

これにより、携帯端末装置の機能を簡略化して、携帯端末装置の小型化、軽量化を図ることができる。

また、本発明の撮像画像処理システムでは、上記移動状態検知部は、さらに、上記第３軸方向を中心とする回転の角速度を検知し、送信部は、上記移動情報に上記移動状態検知部が検知した角速度を示す情報を含めることが好ましい。

上記発明によれば、移動状態検知部は、携帯端末装置の位置変化として、さらに第３軸方向を中心とする回転の角速度を検知し、送信部は、角速度を含めた移動情報を画像出力装置に送信する構成である。

これにより、携帯端末装置の機能を簡略化して、携帯端末装置の小型化、軽量化を図ることができると共に、複数の撮像画像データから高解像度の画像データを生成する処理精度を向上させることができる。

また、本発明の撮像画像処理システムでは、上記送信部は、ユーザ入力に従って、（１）上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の上記携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の上記携帯端末装置の移動速度と、所定の基準時からの経過時間とを示す第１情報と、（２）所定の基準時からの上記携帯端末装置の上記第１から第３軸方向の移動距離を示す第２情報とのいずれかを選択し、選択した情報を上記移動情報とすることが好ましい。

上記発明によれば、ユーザは、（１）撮像部における受光面に平行な２つの第１軸方向および第２軸方向の携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の携帯端末装置の移動速度と、所定の基準時からの経過時間とを示す第１情報と、（２）所定の基準時からの携帯端末装置の第１から第３軸方向の移動距離を示す第２情報とを適宜選択可能な構成である。

これにより、携帯端末装置の処理能力や撮像画像データの容量などに応じて、適切な処理を撮像画像処理システムに実行させることができる。

また、本発明の撮像画像処理システムでは、送信部は、第１情報の中に、第３軸方向を中心とする回転の角速度を示す情報を含め、第２情報の中に、基準時からの携帯端末装置の上記第３軸方向を中心とする回転角度を示す情報を含めることが好ましい。

上記発明によれば、第１情報には、第３軸方向を中心とする回転の角速度を示す情報が含まれ、また、第２情報には、基準時からの携帯端末装置の第３軸方向を中心とする回転角度を示す情報が含まれる構成であるため、携帯端末装置の第３軸方向を中心とする回転による位置変化を検知し移動情報とする構成である。

これにより、携帯端末装置の処理能力や撮像画像データの容量などに応じて、より適切な処理を撮像画像処理システムに実行させることができるとともに、複数の撮像画像データから高解像度の画像データを生成する処理精度を向上させることができる。撮像画像処理システムを実現することができる。

また、本発明の制御装置に含まれる各部をコンピュータで実現してもよく、この場合、コンピュータを前記制御装置に含まれる各部として機能させる制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇にはいる。

以上のように、本発明に係る撮像画像処理システムは、上記携帯端末装置と上記画像出力装置とを備え、上記携帯端末装置は、同一の撮像対象物に対して連続して複数回撮像する撮像部と、撮像時における上記撮像対象物に対する上記携帯端末装置の位置変化を検知する移動状態検知部と、上記撮像部の連続した複数回の撮像により得られた複数の撮像画像データ、および、当該複数の撮像画像データの各々について上記移動状態検知部により検知された位置変化に関する移動情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記携帯端末装置から送信された上記複数の撮像画像データ、および上記移動情報を受信する受信部と、上記受信部が受信した移動情報に基づいて、上記受信部が受信した複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理を実行する位置合わせ処理部と、上記位置合わせ処理部によって座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データを生成する超解像化処理部と、上記超解像化処理部により生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する出力部とを備える構成である。

それゆえ、複数の撮像画像データから高解像度の画像データを生成する処理速度および処理精度を向上させた撮像画像処理システムを提供することができるという効果を奏する。

本発明の撮像画像処理システムの撮像画像処理方法を示すフローチャートであり、（ａ）は携帯端末装置のフローを示し、（ｂ）は画像出力装置のフローを示している。 本発明の撮像画像処理システムの構成を示す図である。 本実施形態の携帯端末装置の構成を示すブロック図である。 図３に示される携帯端末装置の移動状態を示す模式図であり、（ａ）は移動状態検知部が備える３次元位置センサーによって検知される移動状態を示し、（ｂ）は移動状態検知部が備える角速度センサーによって検知される移動状態を示している。 図４（ｂ）に示される３つの軸に対する撮像画像データの幾何学変化を説明するための模式図であり、（ａ）はＸ軸を回転したときの状態、（ｂ）はＹ軸を回転したときの状態、（ｃ）はＺ軸を回転したときの状態を示している。 本実施形態の撮像画像処理方法における画像の傾き検出例を示す模式図である。 図６に示される傾き検出例における正接値とその傾き角度θとの関係を示す表である。 図３に示される撮像画像判定部が行う、撮像画像データの幾何学的歪みの検出例を示す模式図である。 図３に示される撮像画像判定部が行う、撮像画像データの撮像対象物のエッジ検出処理例を示す模式図である。 図３に示される撮像画像判定部が行う、撮像画像データのラスター方向のエッジ検出例を示す模式図である。 図３に示される制御部が行う、撮像画像データの選択例を示す模式図である。 図２に示される画像出力装置の構成を示すブロック図である。 図１２に示される画像処理部の構成を示すブロック図である。 図３に示される携帯端末装置の焦点距離と被写体距離との関係を示す模式図であり、（ａ）は基準画像撮像時の焦点距離と被写体象距離との関係を示し、（ｂ）は撮像対象方向に移動したときの焦点距離と被写体距離との関係を示している。 本実施形態の位置合わせ処理に用いられる焦点距離を算出するための格子パターンを示す模式図である。 Ｘ軸方向移動時における焦点距離と被写体距離との関係を示す模式図である。 画像のカラーバランス検出時のルックアップテーブルの一例を示している。 図１３に示されるレンズ歪み補正部が行う撮像画像データのレンズ歪み補正例を示す模式図である。 図１３に示される幾何学補正部が行う撮像画像データの幾何学補正例を示す模式図である。 本実施形態の携帯端末装置の撮像画像処理方法の変形例を示すフローチャートである。

以下、本発明の実施の形態について、図１から図２０に基づいて説明すれば以下のとおりである。

（１）撮像画像処理システムの全体構成
図２は、本発明の撮像画像処理システムの全体構成を示す図である。図２に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、およびファックス、コピー、プリンタ、スキャナなど複数の機能を有するＭＦＰ（Multi Function Printer）などの画像出力装置２００を備える。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。ただし、携帯端末装置１００で撮像された画像は上述したように解像度が低く、当該解像度で画像出力装置２００によって画像出力（例えば、印刷）を行ったとしても細部まで認識できない場合がある。例えば、文書画像（文字など）が印刷された用紙やポスター、文書画像などが表示されている表示画面を撮像する場合において、文字が判別できないことが考えられる。本実施形態は、このような場合であっても、携帯端末装置１００で撮像された画像の解像度よりも高い解像度を有する画像を得ることができるものである。

本実施形態において、携帯端末装置１００は、撮像した画像の解像度よりも高い解像度を有する画像を画像出力装置２００から得ることが可能な撮像モードである文書撮像モードの機能を有している。

なお、本実施形態では、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、撮像画像よりも高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択するものとする。

また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、携帯端末装置１００の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。

携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、撮像した画像データ（以下、撮像画像データという）を画像出力装置２００に送信する。

画像出力装置２００は、携帯端末装置１００から受信した、同一の撮像対象物に対する複数の撮像画像データ、および撮像画像データごとに関連付けられた携帯端末装置１００の移動情報に基づいて、解像度を高める高解像度補正を行い、高解像度化された画像の出力処理を行うものである。なお、複数の撮像画像データを用いて高解像度補正する手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に挙げられている方法を用いることができる。

画像出力装置２００で実行される出力処理としては、高解像度化された撮像画像データに基づいた画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ高解像度化された撮像画像データを格納するファイリング処理、電子メールに高解像度化された撮像画像データを添付して送信するメール送信処理などがある。

なお、携帯端末装置１００と画像出力装置２００との通信方式としては、図２において符号Ａで示されるように、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、符号Ｂで示されるように、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へデータを転送する方式がある。なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。

（２）携帯端末装置の構成
まず、図３〜１１に基づいて、本実施形態に係る携帯端末装置１００について説明する。

図３は、携帯端末装置１００の構成を示すブロック図である。図３に示されるように、携帯端末装置１００は、移動状態検知部１０１、撮像部１０２、撮像画像判定部１０３、画像処理部１０４、通信部（送信部）１０５、表示部１０６、入力部１０７、記憶媒体アクセス部１０８、記憶部１０９、および制御部（画像選択部、移動状態判定部）１１０を備えている。

移動状態検知部１０１は、携帯端末装置１００の３次元方向の移動状態（位置変化）を検知するものである。移動状態検知部１０１は、移動状態検知センサー（図示省略）を備え、携帯端末装置１００の移動状態として、各撮像画像データの撮像時における携帯端末装置１００の移動速度、角速度を検知する。また、移動状態検知部１０１は、検知した移動状態を検知情報として制御部１１０に出力する。なお、移動状態検知部１０１は、携帯端末装置１００の移動状態として、携帯端末装置１００の加速度、角加速度を検知してもよい。この場合、加速度の方向および大きさの履歴からその速度を算出するものとすることができる。移動状態検知部１０１における具体的な処理については後述する。

撮像部１０２は、ＣＣＤセンサー、ＣＭＯＳセンサーを用いて、撮像対象物の撮像を行うものである。すなわち、撮像部１０２は、外部からの光を受けるための受光素子が面状に配列された受光部を備えている。そして、受光部の受光面に入射した光量を検知することにより、画像を撮像することができる。撮像部１０２は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０２は、ユーザにより文書撮像モードが選択された場合、１回シャッターの押下により、撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれなどによって微少量だけずれることになる。

撮像画像判定部１０３は、文書撮像モードが選択されている際に、撮像部１０２で撮像された複数の撮像画像データが、画像出力装置２００において高解像度補正を実行するための条件を含む処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０３は、その判定結果を制御部１１０に出力する。なお、撮像画像判定部１０３における具体的な処理については後述する。

画像処理部１０４は、撮像部１０２で撮像された撮像画像データに対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１０５は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０５は、撮像部１０２により撮像され、画像処理部１０４にてＡ／Ｄ変換処理が施された複数の撮像画像データ、並びに、移動状態検知部１０１により検知された移動状態に関する移動情報（位置変化に関する情報）などを画像出力装置２００に送信する。なお、後述するように、本実施形態では、通信部１０５は、制御部１１０により選択された撮像画像データおよび移動情報を送信するように設定されている。

表示部１０６は、例えば、液晶ディスプレイなどにより構成されるものである。

入力部１０７は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。

記憶媒体アクセス部１０８は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。

また、記憶部１０９は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置１００のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。

制御部１１０は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１１０は、入力部１０７に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０６に表示させる。そして、制御部１１０は、入力部１０７に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０２が連続撮像する回数、および、撮像画像判定部１０３で用いる処理実行条件の一部を決定すると共に、移動状態検知部１０１を起動させる。なお、制御部１１０は、記憶部１０９に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。

また、制御部１１０は、入力部１０７に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、並びに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０６に表示する。そして、制御部１１０は、入力部１０７から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。

さらに、制御部１１０は、画像出力装置２００に送信する撮像画像データを入力部１０７に入力された倍率に応じた枚数だけ選択し、選択した撮像画像データに、ファイルネーム、記憶部１０９に格納された携帯端末装置１００の機種情報およびユーザ情報、並びに、出力処理情報を付け、通信部１０５に対して画像出力装置２００への送信処理を実行させる。なお、制御部１１０における具体的な処理については後述する。

（３）移動状態検知部の処理
次に、携帯端末装置１００が備える移動状態検知部１０１における具体的な処理について説明する。移動状態検知部１０１は、移動状態検知センサーとして３次元位置センサーおよび角速度センサーを備える。

図４は、携帯端末装置１００の移動状態を示す模式図であり、（ａ）は３次元位置センサーによって検知される移動状態を示し、（ｂ）は角速度センサーによって検知される移動状態を示している。３次元位置センサーは、Ｘ軸、Ｙ軸、Ｚ軸方向への携帯端末装置１００の移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚを測定する。図４（ａ）に示されるように、Ｘ軸は撮像対象物に対する携帯端末装置１００の水平移動に、Ｙ軸は撮像対象物に対する携帯端末装置１００の垂直移動に、Ｚ軸は撮像対象物に対する携帯端末装置１００の拡大・縮小倍率変化にそれぞれ対応している。すなわち、Ｘ軸は、撮像部１０２の受光面に平行であり、所定方向（例えば、携帯端末装置１００の左右方向）に延びる軸であり、Ｙ軸は、撮像部１０２の受光面に平行であり、Ｘ軸に垂直な方向に延びる軸であり、Ｚ軸は、撮像部１０２の受光面に垂直な方向に延びる軸である。従って、３次元位置センサーは、撮像対象物に対する携帯端末装置１００の３次元方向の移動速度をそれぞれ検知することができる。

また、移動状態検知部１０１は演算部（図示省略）を備えており、演算部において３次元位置センサーが検知した移動速度および計測時間（連写間隔）を用いて携帯端末装置１００の移動距離の算出を行う。移動距離は、移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚを積分することにより算出され、例えば、時刻ｔ_０からｔ_ｎまでの移動距離は下記式（２）で表わされる。

このように、３次元位置センサーによって携帯端末装置１００のＸ軸方向の移動速度を検知することにより、撮像画像データ間の水平方向への移動距離を算出することができる。また、携帯端末装置１００のＹ軸方向の移動速度を検知することにより、撮像画像データ間の垂直方向の移動距離を算出することができる。さらに、携帯端末装置１００のＺ軸方向の移動速度を検知することにより、携帯端末装置１００と撮像対象物との間の距離変位、すなわち、拡大・縮小倍率の変化を算出するこができる。このように、３次元位置センサーによって撮像対象物を固定したときのＸ軸、Ｙ軸、Ｚ軸における携帯端末装置１００の移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚを検知することより、Ｘ軸、Ｙ軸、Ｚ軸における携帯端末装置１００の移動距離をそれぞれ算出することができる。

また、角速度センサーは、図４（ｂ）に示されるように、Ｘ軸、Ｙ軸、Ｚ軸における携帯端末装置１００の角速度ωＸ、ωＹ、ωＺを検知する。

図５は、図４（ｂ）に示される３つの軸に対する撮像画像データの幾何学変化を説明するための模式図であり、（ａ）はＸ軸を回転したときの状態、（ｂ）はＹ軸を回転したときの状態、（ｃ）はＺ軸を回転したときの状態を示している。ここで、本実施形態では、角速度センサーは、Ｚ軸方向の角速度ωＺのみを検知するように設定されている。これは、ωＸ、ωＹにより生じる幾何学変化については、後述する画像出力装置２００における幾何学補正によって補正されるためである。このため、角速度センサーは、図５（c）に示されるような幾何学変化を伴う、Ｚ軸における携帯端末装置１００の角速度ωＺのみを検知する。そして、演算部は、角速度センサーから出力される角速度ωＺおよび計測時間を用いてＺ軸における回転角度の算出を行う。回転角度は、角速度ωＺを積分することにより算出する。例えば、時刻ｔ_０からｔ_ｎまでの回転角度は下記式（３）で表わされる。

このように、角速度センサーによって角速度ωＺを検知すること、複数枚撮像された画像間の回転角度を算出することができる。

なお、時刻ｔ_０は、撮像部１０２が連写を開始するときの時刻、つまり、１枚目の画像を撮像したときの時刻が設定され、時刻ｔ_ｎは、ｎ−１枚目の画像を撮像したときの時刻が設定される。よって、移動状態検知部１０１は、１枚目の画像を撮像したときからの移動距離および回転角度を求めることができる。

以上のように、携帯端末装置１００では、移動状態検知部１０１を備えることにより、撮像画像データごとに関連付けられた携帯端末装置１００の移動距離および回転角度を算出することができる。移動状態検知部１０１は、撮像時における携帯端末装置１００の移動速度、角速度、移動距離、回転角度を検知情報として制御部１１０に出力する。

なお、本実施形態では、３次元位置センサーによって３次元方向の移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚを、角速度センサーによって角速度ωＺを検知する場合を示したが、上述したように、移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚや角速度ωＺではなく、加速度および角加速度を検知し、重積分を行うことによって移動距離および回転角度を求めるようにしてもよい。ここで、３次元位置センサーが移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚの代わりに加速度ａ_Ｘ、ａ_Ｙ、ａ_Ｚを測定する場合、加速度ａ_Ｘ、ａ_Ｙ、ａ_Ｚを時間軸で積分することにより移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚを算出することができる。また、角速度センサーによって角加速度を検知する場合も同様である。

また、本実施形態では、移動状態検知部１０１が演算部を備える構成としたが、本発明はこれに限定されない。例えば、移動状態検知部１０１が演算部を備えず、制御部１１０において各種パラメータ（移動速度、角速度、移動距離、回転角度など）の算出を行う構成としてもよい。これにより、移動状態検知部１０１の構成を簡略化して、小型化および軽量化を図ることができる。

（４）撮像画像判定部の処理
次に、携帯端末装置１００が備える撮像画像判定部１０３における具体的な判定処理について説明する。

（４−１）傾きの判定について
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０３は、撮像対象物が矩形状であると仮定して、撮像画像データにおいて、撮像対象物のエッジを検出することで撮像画像データにおける撮像対象物の傾きを検出する。なお、撮像画像データにおける矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。

図６は、本実施形態の撮像画像処理方法における画像の傾き検出例を示す模式図である。図６に示されるように、撮像画像判定部１０３は、傾いた原稿画像を含む撮像画像データにおいて検出された撮像対象物のエッジ上の２点、例えば、撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた点１１・１２を選択する。

次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ１，ｄ２を求めることにより、撮像画像データにおける撮像対象物の傾きを求める。図６のような場合、傾き角度をθとすると、ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、撮像画像判定部１０３は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する傾き角度θをあらかじめ作成済みのテーブル（図７参照）などから読み取る。

そして、撮像画像判定部１０３は、検出した傾き角度θが所定範囲内（例えば、−３０°以上、＋３０°以下）であるか否かを判定し、その判定結果を制御部１１０に出力する。ここで、傾き角度θが所定範囲内であることが処理実行条件の一つとなる。

（４−２）幾何学的歪みの判定について
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像データの中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図８に示されるように、撮像対象物は、歪んだ四角形となる。

本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０３は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。

本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすればよい。

まず、撮像画像判定部１０３は、撮像画像データについてラスター走査を行う。ここで、図８に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像データにおいて左上隅を原点とする。

１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０３は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、撮像画像判定部１０３は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図９に示されるように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。

なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出する。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そうでない場合（ｄｄｉ＞th１）は、別の群（第３群または第４群）に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以下のようにする。

i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。

このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。当該直線は、撮像対象物の辺に相当することとなる。

図１０は、上記のような処理により、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの模式図である。図１０において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。

そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。

さらに、上記の分類処理を９０度回転させた撮像画像データに対して行ってもよい。こうすることで、理想的に撮像画像データ内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の撮像画像データでは、垂直方向のエッジが検出できる。一方、回転後の撮像画像データでは、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めてもよい。すなわち、回転前の撮像画像データから求められた交点座標と、回転後の撮像画像データから求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。

なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。若しくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

そして、撮像画像判定部１０３は、以上のようにして４つの直線、およびそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求めることができる。なお、対辺は２組あるので、撮像画像判定部１０３は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像データの中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像データにおける撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、撮像画像判定部１０３は、求めた二つの比の両方が所定範囲内（例えば、０．５以上、２以下）であるか否かを判定し、その判定結果を制御部１１０に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０９に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５以上、２以下）であることが処理実行条件の一つとなる。

なお、撮像画像判定部１０３は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

（４−３）明るさの判定について
明るさについては、例えば、露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０３は、例えば、撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば、８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば、８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１１０に出力する。若しくは、制御部１１０は、露出アンダーの場合には、撮像部１０２における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。

（４−４）コントラストの判定について
コントラストについては、撮像画像判定部１０３は、撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。

なお、明るさ・コントラストの判定において、撮像画像判定部１０３は、各色チャンネルに対して判定を行ってもよく、また、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いてもよい。

（４−５）カラーバランスの判定について
カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握することができる。そこで、撮像画像判定部１０３は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。

（５）制御部の処理
次に、携帯端末装置１００が備える制御部１１０における具体的な判定処理について説明する。

（５−１）撮像画像データの選択について
制御部１１０は、移動状態検知部１０１から出力された検知情報（移動速度、角速度、移動距離、回転角度など）に基づいて、後述する位置合わせ処理に好適に用いられる撮像画像データを所定枚数選択する。制御部１１０は、検知情報に基づいて撮像時の移動速度Ｖ_Ｘ、Ｖ_Ｙ、Ｖ_Ｚ、および角速度ωＸの総和速度Ｖｔが低い撮像画像データから優先的に選択する。

総和速度Ｖｔは、例えば、下記式（４）を用いて算出することができる。

上記式（４）において、αは所定重み係数を表しており、実験的に得られる移動速度と回転速度の画像ボケへの影響力に基づいて影響力の比率をαに設定する。

以下に、制御部１１０による撮像画像データの選択について具体的に例示する。ここでは、移動状態検知部１０１から出力された８枚の撮像画像データのうち、４枚の撮像画像データを制御部１１０が選択する場合について説明し、また、説明の便宜のため、Ｚ軸を省略し、Ｘ軸およびＹ軸における移動速度と撮像時刻との関係に基づいて説明する。

図１１は、制御部１１０が行う撮像画像データの選択例を示す模式図である。図１１において、ｔ_０〜ｔ_７は、移動状態検知部１０１から制御部１１０に出力された８枚の撮像画像データが撮像された時刻を示している。また、Ｘ軸およびＹ軸は、時刻ｔ_０〜ｔ_７におけるＸ軸およびＹ軸方向への携帯端末装置１００の移動速度を示している。図１１に示されるように、Ｘ軸とＹ軸との交点に最も近い位置にあるのは時刻ｔ_０の撮像画像データであり、撮像時の総和速度Ｖｔが最も低いといえる。このため、制御部１１０は、時刻ｔ_０の撮像画像データを基準画像として選択する。続いて、制御部１１０は、時刻ｔ_０の次に撮像時の総和速度Ｖｔが低い時刻ｔ_３、ｔ_５、ｔ_６の撮像画像データを選択する。このように、制御部１１０は、撮像時の総和速度Ｖｔが低い撮像画像データから優先的に選択することにより、画像ズレの少ない撮像画像データを位置合わせ処理に用いることができる。これにより、超解像処理の精度を向上させることができる。

また、制御部１１０は、選択した撮像画像データの、基準画像からの移動距離をそれぞれ算出する。例えば、時刻ｔ_３に撮像した撮像画像データの基準画像からのＸ軸方向移動距離は、下記式（５）で表される。

同様に、Ｙ軸、Ｚ軸における基準画像からの移動距離をそれぞれ算出する。制御部１１０は、選択した撮像画像データ、および、当該撮像画像データに対する基準画像からの移動距離を含めた移動情報を通信部１０５に出力し、通信部１０５は画像出力装置２００に送信する。

なお、制御部１１０が選択する所定枚数は、解像度変換の倍率に依存し、例えば、解像度変換の倍率が４倍であれば４枚、解像度変換の倍率が２倍であれば２枚とする。

（５−２）ユーザへの通知について
また、制御部１１０は、移動状態検知部１０１から出力された検知情報に応じて、再撮像を促すメッセージを表示部１０６に表示させてもよい。

例えば、移動速度が高いと画像ぶれが大きくなるため、撮像時の移動速度が所定閾値よりも低い撮像画像データが必要枚数分得られることが好ましい。このため、制御部１１０は、総和速度Ｖｔが所定閾値よりも低い撮像画像データが必要枚数分得られたか否かを移動情報に基づいて判定する。撮像時の総和速度Ｖｔが所定閾値よりも低い撮像画像データが必要枚数分得られない場合、制御部１１０は、再度の撮像を促すメッセージを表示部１０６に表示させる。なお、判定に用いる閾値は、携帯端末装置１００の移動速度とそのときの撮像画像データのボケの度合いから実験的に求めることができる。

また、制御部１１０は、撮像画像判定部１０３から受けた判定結果に応じて、再撮像を促すメッセージを表示部１０６に表示させる。

例えば、撮像画像判定部１０３から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１１０は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０６に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１１０は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０６に表示させる。

（６）画像出力装置の構成
次に、図１２〜２０に基づいて、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、ファックス、コピー、プリンタ、スキャナなど複数の機能を有するＭＦＰ（複合機）である。

図１２は、画像出力装置２００の構成を示すブロック図である。また、図１３は、図１２に示される画像処理部２０２の構成を示すブロック図である。図１２に示されるように、画像出力装置２００は、画像読取部２０１、画像処理部２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。

画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置１００から送信された撮像画像データに対して、各種の画像処理を行う。具体的には、画像処理部２０２は、位置合わせ処理／超解像化補正、カラーバランス補正、コントラスト補正、明るさ補正、レンズ歪み補正、幾何学補正などを行う。このため、画像処理部２０２は、図１２に示されるように、位置合わせ処理を行う位置合わせ処理部２０２ｅと、超解像化補正を行う超解像化処理部２０２ｄと、カラーバランス補正、コントラスト補正、明るさ補正を行う画質調整部２０２ａと、レンズ歪み補正を行うレンズ歪み補正部２０２ｃと、幾何学補正を行う幾何学補正部２０２ｂとを備えている。なお、画像処理部２０２が撮像画像データに対して行う画像処理の詳細については後述する。

認証部２０３は、携帯端末装置１００から受信した撮像画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。

画像形成部２０４は、例えば、電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つである印刷処理を実行するものである。

表示部２０５は、例えば、液晶ディスプレイなどより構成される。また、入力部２０６は、例えば、液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された撮像画像データ、並びに、移動情報を受信する。

第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格
である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部２０８は、出力処理として、超解像化補正などが施された撮像画像データをサーバに格納するファイリング処理、若しくは、超解像化補正などが施された撮像画像データを添付したメールを送信するメール送信処理を実行する。

記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から複数の撮像画像データを受信すると、当該複数の撮像画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、撮像画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、撮像画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。

（７）画像処理部における画像処理
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した複数の撮像画像データに対する画像処理の内容について説明する。

（７−１）位置合わせ処理について
画像処理部２０２は、位置合わせ処理部２０２ｅにおいて、通信部１０５から送信された複数の撮像画像データおよび移動情報に基づいて、アフィン変換係数を推定し位置合わせ処理を行う。なお、撮像時の位置ずれは、撮影者が意識的に移動することにより発生するものであってもよく、また、携帯端末装置１００自体が発する振動を利用したものであってもよい。

基準画像からのＸ軸方向移動距離をＭｘ、Ｙ軸方向移動距離をＭｙ、Ｚ軸方向移動距離をＭｚ、Ｚ軸における回転角度をθとすると、位置ずれを補正するためのアフィン変換係数は下記式（６）のとおり推定される。

上記式（６）においてｘ、ｙはアフィン変換前の座標を、ｘ’、ｙ’はアフィン変換後の座標を表す。また、fは拡大・縮小倍率を表すＺ軸方向移動距離Ｍｚの関数を、ｇは移動距離を表すＸ軸方向移動距離Ｍｘ、或いは、Ｙ軸方向移動距離Ｍｙの関数を表す。

上記アフィン変換行列のうち、左側の行列はスケール変化に対応しており、Ｚ軸方向の移動距離をＭｚに応じて推定することができる。中央の行列は回転に対応しており、回転角度をθに応じて推定することができる。右側の行列は平行移動に対応しており、Ｘ軸方向移動距離をＭｘ、Ｙ軸方向移動距離をＭｙに応じて推定することができる。

図１４は、携帯端末装置１００の焦点距離と被写体距離との関係を示す模式図であり、（ａ）は基準画像撮像時の焦点距離と被写体距離との関係を示し、（ｂ）は撮像対象物（Ｚ軸）の方向に距離Ｍｚ移動したときの焦点距離と被写体距離との関係を示している。図１４（ａ）に示されるように、基準画像撮像時のＣＣＤの受光面からレンズの中心までの距離を焦点距離Ｆ、レンズの中心から撮像対象物までの距離を被写体距離Ｌとして、携帯端末装置１００が基準画像撮像時の状態から撮像対象物方向（Ｚ軸方向）に距離Ｍｚだけ移動したと仮定する。このとき、焦点距離Ｆは一定であるため、被写体距離がＬ−Ｍｚに変化する。このような関係にある焦点距離と被写体距離との値を用いれば、関数ｆは下記式（７）のとおり定めることができる。

上記式（７）において、Ｌは被写体距離である。被写体距離は、オートフォーカス処理時に赤外線や超音波など照射して、反射波が戻るまでの時間を用いて被写体距離を測定し、撮像画像データに関連付けられて携帯端末装置１００から移動情報として送信される。

一方、上記機能を備えていない携帯端末装置１００の場合、撮像部１０２の光学倍率と焦点距離（レンズの位置）に応じて、予め実験的に求められた被写体距離を用いることができる（合焦したときのレンズの位置に対する出力値と被写体距離との関係を示したテーブル）。例えば、光学倍率と被写体距離とを固定し、図１５に示されるような格子パターンを撮像したときのコントラストが最も高くなる焦点距離（合焦条件）を求め、コントラストが最も高くなるときの被写体距離と焦点距離との関係を予め算出しておくことにより、オートフォーカスされたときの焦点距離に応じて被写体距離を推定することができる。

なお、上記式（７）において、Ｆは携帯端末装置１００に固有の値であるが、最終的に分子分母で相殺されるため、Ｆを特定する必要はない。また、本実施形態では、Ｚ軸方向の移動状態も含めて移動情報としているが、Ｚ軸方向の移動状態を移動情報に含めない場合には、ｆ（Ｍｚ)は１とすればよい。

図１６は、Ｘ軸方向移動時における焦点距離と被写体距離との関係を示す模式図である。移動距離とそのときの撮像画像データにおける移動画素数との間の関係を定める所定係数βを予め用意しておくことにより、関数ｇを下記式（８）により定めることができる。

上記式（８）に置いてβは携帯端末装置１００に固有の値であり、携帯端末装置１００の画素数に応じて設定するものとする（予め、画素数毎のβを定めておく）。また、Ｘ軸方向の移動状態を検知しない場合はｇ（Ｍｘ）を０に、Ｙ軸方向の移動状態を検知しない場合は、ｇ（Ｍｙ）を０とする。さらに、Ｚ軸における角速度ωＺを検知しない場合は回転角度θを０とする。

以上の処理により、携帯端末装置１００から送信された複数の撮像画像データおよび移動情報に基づいて、位置ずれを補正するためのアフィン変換係数を算出し、位置合わせ処理を行うことができる。

（７−２）カラーバランス補正、コントラスト補正、明るさ補正について
画像処理部２０２は、画質調整部２０２ａにおいて、カラーバランス補正、コントラスト補正、明るさ補正を行う。

カラーバランス補正の方法としては、受信した撮像画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、図１７に示されるように、あるチャンネルの最大値がＭＸ、最小値がＭＮである場合、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。

画質調整部２０２ａは、コントラスト補正および明るさ補正についても同様の方法で実行することができる。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。なお、カラーバランス補正、コントラスト補正、明るさ補正の方法については、その他の公知の技術を適用してもよい。

（７−３）レンズ歪み補正、幾何学補正について
画像処理部２０２は、レンズ歪み補正部２０２ｃにおいて、レンズ歪み補正を、幾何学補正部２０２ｂにおいて幾何学補正をそれぞれ行う。

レンズ歪み補正部２０２ｃは、撮像画像判定部１０３における処理と同様にして、撮像画像データにおける撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、レンズ歪み補正部２０２ｃは、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズ歪み補正を行う。

図１８は、撮像画像データのレンズ歪み補正例を示す模式図である。図１８の実線で示されるように、レンズ歪み補正部２０２ｃは、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０３と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２０２ｃは、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２０２ｃは、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１８において点線で示される）と合同な外接四角形（図１８において１点鎖線で示される）を求める。そして、レンズ歪み補正部２０２ｃは、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像データにおける撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０２によるレンズ歪みを補正することができる。

図１９は、撮像画像データの幾何学補正例を示す模式図である。幾何学補正部２０２ｂは、幾何学補正を以下のようにして実行する。幾何学補正部２０２ｂは、例えば、図１９に示されるように、上述したようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換する。このような写像変換としては、公知の技術を用いることができる。また、幾何学補正部２０２ｂは、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよく、入力部２０６に入力されたアスペクト比に合うように変換してもよい。

なお、レンズ歪み補正および幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。また、レンズ歪み補正および幾何学補正は、個別に行ってもよく、また、同時に行ってもよい。さらに、後述する超解像処理と併せて行ってもよい。

また、画像処理部２０２は、携帯端末装置１００から受けた傾き角度に基づいて、撮像対象物の傾きが０度になるように撮像画像データの回転処理を施す傾き補正を行ってもよい。

（７−４）超解像化補正について
画像処理部２０２は、超画像化処理部２０２ｄにおいて、複数の撮像画像データに対して超解像化補正を行い、１枚の高解像度画像を生成する。超解像処理とし、例えば、ＭＬ(Maximum-likelihood)法を用いることができる。ＭＬ法は、高解像度画像ベクトルｈから推定される観測低解像度画像と、実際に観測される低解像度画像の画素値fとの二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像ベクトルｈを探索する。高解像度画像ベクトルｈから観測低解像度画像の画素値を推定する点広がり関数カーネルベクトルＰＳＦ（Point Spread Function）とすると、評価関数は下記式で表わされる。

上記式（９）において、ｗｉｄｔｈ、ｈｅｉｇｈｔは低解像度画像の横サイズ、縦サイズをそれぞれ表しており、Ｎは撮像された低解像度画像の枚数を表す。また、演算は畳み込み演算を表す。ここで、点広がり関数カーネルＰＳＦは、携帯端末装置１００に固有の撮像特性（カメラモデル）から得られ、点広がり関数に基づくものであることが望ましい。なお、複数の撮像画像データから高解像度画像を生成する方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。

（８）撮像画像処理システムの画像処理方法
以下、図１に基づいて、撮像画像処理システムの処理の流れについて説明する。図１は、撮像画像処理システムの撮像画像処理方法を示すフローチャートであり、（ａ）は携帯端末装置１００のフローを示し、（ｂ）は画像出力装置２００のフローを示している。

まず、携帯端末装置１００は、撮像モードの選択受付を行う。ここで、ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像データを画像出力装置２００により高解像度化して出力することを希望する場合、文書撮像モードを選択する。

文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１１０は、超解像化補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０６に表示し、当該倍率を入力部１０７から取得する。制御部１１０は、取得した倍率に応じて、撮像部１０２における撮像回数、撮像画像判定部１０３における処理実行条件の一部を決定すると共に、移動状態検知部１０１を起動させる。また、制御部１１０は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０６に表示し、入力部１０７から出力処理情報を取得する。

そして、撮像部１０２は、シャッターが押下されたことを検知すると、制御部１１０にて設定された撮像回数だけ連続して撮像する（Ｓ１０）。

次に、画像処理部１０４は、撮像した画像のデータに対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された複数の撮像画像データに対して、撮像画像判定部１０３は、処理実行条件を満たすか否かを判定する（Ｓ１１）。なお、詳しい判定方法、判定項目などは、例えば、上記（４）で説明したとおりである。

また、制御部１１０は、移動状態検知部１０１から出力された携帯端末装置１００の移動情報に基づいて各撮像画像データの撮像時の総和速度Ｖｔを算出し、総和速度Ｖｔが所定閾値よりも低い撮像画像データが必要枚数分得られたか否かを判定する。なお、詳しい判定方法は、例えば、上記（５−２）で説明したとおりである。

撮像画像判定部１０３または制御部１１０が条件を満たさないと判定した場合（Ｓ１１でＮｏ）、制御部１１０は、表示部１０６に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１２）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１０〜Ｓ１２を繰り返して行う。

一方、撮像画像判定部１０３または制御部１１０が処理実行条件を満たすと判定した場合（Ｓ１１でＹｅｓ）、制御部１１０は、上記（５−１）で説明したとおり、画像出力装置２００へ送信する撮像画像データを撮像時の総和速度Ｖｔが低いほうから優先的に所定枚数選択する（Ｓ１３）。また、制御部１１０は、撮像時の総和速度Ｖｔが最も低い撮像画像を基準画像として、選択した撮像画像データの基準画像からの移動距離をそれぞれ算出し、移動情報に含める。

次に、制御部１１０は、選択した複数の撮像画像データにファイルネームを付ける（Ｓ１４）。なお、制御部１１０は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けてもよいし、入力部１０７に入力されたファイルネームを付けてもよい。その後、制御部１１０は、選択された複数の撮像画像データおよび移動情報を、記憶部１０９に格納されている携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０５に出力する。そして、通信部１０５は、これらの情報を画像出力装置２００に送信する（Ｓ１５）。

なお、制御部１１０は、ファイルネームがつけられた撮像画像データを、記憶部１１０、或いはメモリカードに一時保存して、ユーザの要求によって、上記携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０５に出力し、さらに画像出力装置２００に送信してもよい。

次に、画像出力装置２００の第１通信部２０７は、携帯端末装置１００からの複数の撮像画像データ、移動情報、機種情報、ユーザ情報および出力処理情報を受信する（Ｓ２０）。

受信後、画像処理部２０２は、上記（７−１）に説明したとおり、移動情報に基づいてアフィン変換係数を推定し、当該アフィン変換係数を用いて位置合わせ処理を行う（Ｓ２１）。また、画像処理部２０２は、上記（７−２）に説明したとおり、位置合わせ処理が施された複数の撮像画像データに対してカラーバランス補正、コントラスト補正、明るさ補正を行い（Ｓ２２）、さらに、上記（７−３）に説明したとおり、レンズ歪み補正、幾何学的補正を行う。（Ｓ２３）。そして、画像処理部２０２は、上記（７−４）に説明したとおり、複数の撮像画像データに対して超解像処理を行い高解像度の画像データを生成し（Ｓ２４）、制御部２１２に出力する。

なお、レンズ歪み補正および幾何学補正は、上述したとおり、撮像画像データにおける撮像対象物のエッジ点を検出して補正を行う。このため、レンズ歪み補正および幾何学補正の前に、予め撮像画像データに対してカラーバランス補正、コントラスト補正、明るさ補正を行っておくことが好ましい。これにより、レンズ歪み補正、幾何学的補正において、撮像対象物のエッジ点を正確に検出することができる。

制御部２１２は、画像処理部２０２で処理された画像データを、記憶部２１０に格納する（Ｓ２５）。

次に、制御部２１２は、画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ２６）。出力指示の入力がない場合（Ｓ２６でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ２６でＹＥＳ）、認証部２０３は、ユーザ情報（例えば、ユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ２７）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。

ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２８）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２８でＹＥＳ）、制御部２１２は、携帯端末装置１００から受信したい出力処理情報に従って出力処理を実行させる（Ｓ２９）。例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、画像形成部２０４に対して処理実行指示を出力する。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２８でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ３０）。そして、認証回数が所定回数以上でない場合（Ｓ３０でＮＯ）、Ｓ２７、Ｓ２８の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３０でＹＥＳ）、出力せずにフローを終了する。

以上のように、本実施形態によれば、移動状態検知部１０１によって検知した撮像時における携帯末端装置１００の３次元方向の移動状態から得られる移動情報に基づいて画像ぶれの少ない撮像画像データを所定枚数選択すると共に、アフィン変換係数を推定して位置合わせ処理を行う。このため、従来のような平行移動成分だけを推定した位置合わせ処理に比べて、処理時間を短縮することができる。その結果、複数の撮像画像データから高解像度の画像データを生成する処理の速度および精度を向上させた撮像画像処理システムを実現することができる。

（９）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の一例について説明する。

（９−１）ユーザへの通知について
上記の説明では、上記（５−２）に説明したとおり、携帯端末装置１００において撮像画像データが適正か否かを判定する構成について説明したが、本発明はこれに限定されない。例えば、撮像画像データが適正か否かを判定しない構成であってもよい。

図２０は、本実施形態の携帯端末装置１００の撮像画像処理方法の変形例を示すフローチャートである。図２０に示されるように、撮像画像データが適正か否かを判定するステップを省略して、再撮像を促すユーザへの通知を行わない構成としてもよい。なお、この場合であっても、制御部１１０は、撮像画像データを撮像時の総和速度Ｖｔが低いほうから優先的に所定枚数選択するものとする（Ｓ１１３）。

（９−２）撮像画像データの選択について
本実施形態では、携帯端末装置１００において、画像出力装置に基準画像を設定し、撮像時の総和速度Ｖｔが低いほうから優先的に選択した像画像データを画像出力装置２００に送信する構成について説明したが、本発明はこれに限定されない。例えば、全ての撮像画像データ、移動状態検知センサーが検知した移動速度、角速度などの移動情報を画像出力装置２００に送信し、画像出力装置２００において、位置合わせ処理に用いる撮像画像データを選択する構成としてもよい。この場合、携帯端末装置１００の機能が簡略化して処理負荷が軽減されるため、携帯端末装置１００の小型化および軽量化を図ることができる。

（９−３）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。

（９−４）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。

また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、撮像画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。

（９−５）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が超解像処理などを行うものとして説明した。しかしながら、画像出力装置２００は、撮像画像データに対する超解像処理やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した撮像画像データに対して超解像処理を行い、補正後の撮像画像データを出力する画像出力装置であるといえる。

（９−６）移動情報の内容について
上記の説明では、移動距離、回転角度、基準画像からの移動距離などを算出し、移動情報とする場合について説明した。しかしながら、移動情報として利用する情報の内容を選択可能な構成にしてもよい。これにより、携帯端末装置１００の処理能力や撮像画像データの容量等に応じて適切な処理方法を選択することができる。

（１０）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し、画像出力装置２００より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであってもよいし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどによる半導体メモリを含めた固
定的にプログラムコードを担持する媒体であってもよい。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１００ 携帯端末装置
１０１ 移動状態検知部
１０２ 撮像部
１０３ 撮像画像判定部
１０４ 画像処理部
１０５ 通信部（送信部）
１０６ 表示部
１０７ 入力部
１０８ 記憶媒体アクセス部
１０９ 記憶部
１１０ 制御部（画像選択部、移動状態判定部）
２００ 画像出力装置
２０２ 画像処理部
２０２ｅ 位置合わせ処理部
２０２ｄ 超解像化処理部
２０４ 画像形成部（出力部）
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部（出力部）
２１２ 制御部

Claims (14)

1. 携帯端末装置と画像出力装置とを備え、
   上記携帯端末装置は、撮像した複数の撮像画像データを上記画像出力装置に送信し、
   上記画像出力装置は、受信した当該複数の撮像画像データから生成した高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する撮像画像処理システムであって、
   上記携帯端末装置は、
   同一の撮像対象物に対して連続して複数回撮像する撮像部と、
   撮像時における上記撮像対象物に対する上記携帯端末装置の位置変化を検知する移動状態検知部と、
   上記撮像部の連続した複数回の撮像により得られた複数の撮像画像データ、および、当該複数の撮像画像データの各々について上記移動状態検知部により検知された位置変化に関する移動情報を上記画像出力装置に送信する送信部とを備え、
   上記画像出力装置は、
   上記携帯端末装置から送信された上記複数の撮像画像データ、および上記移動情報を受信する受信部と、
   上記受信部が受信した移動情報に基づいて、上記受信部が受信した複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理を実行する位置合わせ処理部と、
   上記位置合わせ処理部によって座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データを生成する超解像化処理部と、
   上記超解像化処理部により生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する出力部とを備えることを特徴とする撮像画像処理システム。
2. 上記移動状態検知部は、上記携帯端末装置の位置変化として、上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の位置の変化と、当該受光面に垂直な第３軸方向の位置の変化とを検知することを特徴とする請求項１に記載の撮像画像処理システム。
3. 上記移動状態検知部は、上記携帯端末装置の位置変化として、上記第１から第３軸方向の移動速度、上記第３軸方向を中心とする回転の角速度、上記第１から第３軸方向の加速度、および上記第３軸方向を中心とする回転の角加速度の少なくとも一つを検知することを特徴とする請求項２に記載の撮像画像処理システム。
4. 上記携帯端末装置は、上記移動状態検知部が検知した位置変化に基づいて、上記撮像部の連続撮像により得られた複数の撮像画像データの中から、撮像時の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備え、
   上記送信部は、上記画像選択部により選択された所定数の撮像画像データと、当該所定数の撮像画像データの各々に対応する上記移動情報とを上記画像出力装置に送信することを特徴とする請求項１から３のいずれか１項に記載の撮像画像処理システム。
5. 上記画像出力装置は、上記受信部が受信した移動情報に基づいて、上記受信部が受信した複数の撮像画像データの中から、撮像時の上記携帯端末装置の移動速度の最も小さい撮像画像データを含む所定数（２以上）の撮像画像データを選択する画像選択部を備え、
   上記位置合わせ処理部は、上記画像選択部により選択された所定数の撮像画像データに対して上記位置合わせ処理を実行し、
   上記超解像化処理部は、上記位置合わせ処理が実行された上記所定数の撮像画像データを用いて、上記高解像度画像データを生成することを特徴とする請求項１から３のいずれか１項に記載の撮像画像処理システム。
6. 上記画像選択部は、撮像時の移動速度の小さい上記所定数の撮像画像データを選択することを特徴とする請求項４または５に記載の撮像画像処理システム。
7. 上記送信部は、上記画像選択部により選択された上記所定数の撮像画像データのうち撮像時の上記携帯端末装置の移動速度が最も小さい撮像画像データを基準画像として、各撮像画像データについて、上記基準画像の撮像時から当該撮像画像データの撮像時までの間の上記携帯端末装置の移動距離を上記移動情報に含めることを特徴とする請求項４に記載の撮像画像処理システム。
8. 上記移動状態検知部は、上記携帯端末装置の位置変化として、上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の上記携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の上記携帯端末装置の移動速度と、所定の基準時からの経過時間とを検知し、
   上記送信部は、上記移動情報として、上記移動状態検知部が検知した移動速度および経過時間を示す情報を含めることを特徴とする請求項１に記載の撮像画像処理システム。
9. 上記移動状態検知部は、さらに、上記第３軸方向を中心とする回転の角速度を検知し、
   上記送信部は、上記移動情報に上記移動状態検知部が検知した角速度を示す情報を含めることを特徴とする請求項８に記載の撮像画像処理システム。
10. 上記送信部は、ユーザ入力に従って、（１）上記撮像部における受光面に平行な２つの第１軸方向および第２軸方向の上記携帯端末装置の移動速度と、当該受光面に垂直な第３軸方向の上記携帯端末装置の移動速度と、所定の基準時からの経過時間とを示す第１情報と、（２）所定の基準時からの上記携帯端末装置の上記第１から第３軸方向の移動距離を示す第２情報とのいずれかを選択し、選択した情報を上記移動情報とすることを特徴とする請求項１に記載の撮像画像処理システム。
11. 上記送信部は、上記第１情報の中に、上記第３軸方向を中心とする回転の角速度を示す情報を含め、上記第２情報の中に、上記基準時からの携帯端末装置の上記第３軸方向を中心とする回転角度を示す情報を含めることを特徴とする請求項１０に記載の撮像画像処理システム。
12. 携帯端末装置と画像出力装置とを備え、
    上記携帯端末装置は、撮像した複数の撮像画像データを上記画像出力装置に送信し、
    上記画像出力装置は、受信した当該複数の撮像画像データから生成した高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する撮像画像処理システムの制御方法であって、
    上記携帯端末装置は、
    同一の撮像対象物に対して連続して複数回撮像する撮像ステップと、
    撮像時における上記撮像対象物に対する上記携帯端末装置の位置変化を検知する移動状態検知ステップと、
    上記撮像ステップにて連続した複数回の撮像により得られた複数の撮像画像データ、および、当該複数の撮像画像データの各々について上記移動状態検知ステップにて検知された位置変化に関する移動情報を上記画像出力装置に送信する送信ステップとを備え、
    上記画像出力装置は、
    上記携帯端末装置から送信された上記複数の撮像画像データ、および上記移動情報を受信する受信ステップと、
    上記受信ステップにて受信した移動情報に基づいて、上記受信ステップにて受信した複数の撮像画像データの各々における撮像対象物の位置を合わせるように当該撮像画像データの座標変換を行う位置合わせ処理を実行する位置合わせ処理ステップと、
    上記位置合わせ処理ステップにて座標変換が行われた複数の撮像画像データを用いて、当該撮像画像データの解像度よりも高い高解像度画像データを生成する超解像化処理ステップと、
    上記超解像化処理ステップにて生成された高解像度画像データ、或いは、当該高解像度画像データで示される画像を出力する出力ステップとを備えることを特徴とする撮像画像処理システムの制御方法。
13. 請求項１から１１のいずれかに記載の撮像画像処理システムを動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。

Images