JP2010273218A - 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置が出力可能であり、かつ、同じ対象物について多数回撮像したとしても、ユーザの画像選択の手間を省くことが可能な画像出力装置を提供する。
【解決手段】画像出力装置は、携帯端末装置から受信した複数の撮像画像データについて、類似度が所定閾値以上の撮像画像データが同じグループになるようにグループ分けを行う類似画像判定部２２４と、グループ分けされた各グループの中から１つの撮像画像データを選択し、選択した撮像画像データに基づいて高解像度の高解像度画像データを生成する高解像度補正部２２５と、当該高解像度画像データを出力する出力処理を実行する出力部とを備える。
【選択図】図１

Description

本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。

インターネット技術の進展と伴に携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学界等でのスライドを撮影する機会も増大してきている。このような携帯端末装置で撮影された画像を保存する際には、撮影日などの情報を元に自動的に付加されるファイル名を用いるか、自分でファイル名を作成し、保存するのが一般的である。

また、特許文献１には、ユーザが、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等の携帯端末装置で収集したデジタル画像データを、ネットワークを介してサーバに送信する技術が記載されている。そして、サーバでは、受信したデジタル画像データを、所定のドキュメントフォーマットに編集し、上記ドキュメントフォーマットの所定の領域に、音声コード画像又はテキストイメージとして貼り付け、当該ドキュメントを、特定用途の報告書として記録媒体に保存、あるいは、紙ドキュメントとして印刷したり、ネットワークを介して特定のサイトに送信される。

特開２００２−４１５０２号公報（２００２年２月８日公開）

しかしながら、携帯電話やデジタルカメラで撮像する際、同じ対象物を何回も撮像することがある。このような同じ対象物を複数回撮像した場合でも、これら複数の撮像画像データは異なる画像データとして取り扱われる。そのため、上記特許文献１の技術では、本来、１個または数個の撮像画像データがあれば良いところが、多数個の撮像画像データが生成され、記録媒体に保存されたり、印刷されたりする。その結果、ユーザが後で見直すときに撮像画像が多すぎて、その整理に手間がかかる。

また、携帯電話やデジタルカメラに用いられているＲＧＢフィルタ、または、補色（ＣＭＹ）フィルタは、各色に対するフィルタが２次元平面に配列されているため、スキャナ等で読み取られた画像データを比較すると、解像力が１／３〜２／３程度低下した画像となっており、特に、文字の判読性が悪いという問題がある。

具体的には、スキャナ等では、ＲＧＢラインセンサを用いているので、画素毎にそれぞれのカラーデータを読み取ることが可能であるが、携帯電話やデジタルカメラにおけるフィルタは、画素に対して、例えば、ＲＧＢＲＧＢ…、あるいは、ライン毎にＲＧＲＧＲＧ…／ＧＢＧＢＧＢ…と配列されており、各画素でフィルタが設けられていない色成分が存在するため、解像力が低い。

本発明は、上記課題を解決するためになされたものであり、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置が出力可能であり、かつ、同じ対象物について多数回撮像したとしても、ユーザの画像選択の手間を省くことが可能な、携帯端末装置、画像出力装置、撮像画像処理システム、撮像画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、本発明の画像出力装置は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信部と、上記受信部が受信した複数の撮像画像データについて、各撮像画像データで示される画像の特徴を示す特徴量を算出し、対応する特徴量の類似度が所定閾値以上の撮像画像データが同じグループになるようにグループ分けを行う類似画像判定部と、上記類似画像判定部によりグループ分けされた各グループの中から所定数の撮像画像データを選択する選択部と、上記撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う高解像度補正部と、上記選択部により選択された撮像画像データに対して上記高解像度補正部が高解像度補正を行うことにより得られた高解像度画像データである選択高解像度画像データ、あるいは、当該選択高解像度画像データで示される画像を出力する出力処理を実行する出力部とを備えることを特徴とする。

また、本発明の画像出力方法は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信ステップと、受信した複数の撮像画像データについて、各撮像画像データで示される画像の特徴を示す特徴量を算出し、対応する特徴量の類似度が所定閾値以上の撮像画像データが同じグループになるようにグループ分けを行う類似画像判定ステップと、グループ分けされた各グループの中から所定数の撮像画像データを選択し、選択した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の選択高解像度画像データを生成する高解像度補正を行う補正処理ステップと、生成された選択高解像度画像データ、あるいは、当該選択高解像度画像データで示される画像を出力する出力処理を実行する出力ステップとを含むことを特徴とする。

上記の構成によれば、同じ撮像対象物を複数回撮像し、同じような撮像画像データを多数生成したとしても、これら多数の撮像画像データを画像出力装置に送信すれば、上記類似画像判定部が類似する画像が同じグループになるようにグループ分けを実行する。そのため、ユーザは、同じ撮像対象物を撮像することにより得られた撮像画像データを確認して、自分で分類する必要がなくなる。

また、グループ分けされた各グループの中から選択された所定数の撮像画像データに対して高解像度補正を行い、選択高解像度画像データあるいは当該選択高解像度画像データで示される画像が出力される。その結果、同じような画像データが多数出力されることを防止でき、必要数だけの出力結果をユーザは得ることができる。ここで所定数とは、例えば１個である。

また、出力されるのは高解像度補正された画像データであるため、高品質の画像データを得ることができる。これにより、例えば、文書画像を含む撮像対象物を携帯端末装置で撮像しても、画像出力装置から当該文書画像の文字の判読性を向上させた画像を得ることができる。

さらに、本発明の画像出力装置において、上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、当該撮像画像データにおける上記矩形状の面の傾きを補正する歪み補正部を備え、上記類似画像判定部は、上記歪み補正部によって補正された撮像画像データに基づいてグループ分けを行い、上記高解像度補正部は、上記歪み補正部によって補正された撮像画像データに基づいて高解像度補正を行うことが好ましい。

上記の構成によれば、ユーザは、撮像対象物に対して斜め方向から撮像した場合であっても、歪みを補正した上で画像同士の類似判定を行う。そのため、同じ撮像対象物を真正面から撮像した場合の撮像画像データと斜め方向から撮像した場合の撮像画像データとを同じグループに分類することができる。これにより、ユーザの撮像画像データの整理の手間を省くことができる。また、歪みのない状態で出力されるため、ユーザにとってより見易い画像を得ることができる。

さらに、本発明の画像出力装置において、上記選択部は、上記各グループに属する撮像画像データの中から、上記歪み補正部による補正前の撮像画像データで示される画像における上記矩形状の面の傾きが最も小さい撮像画像データを選択することが好ましい。

もしくは、本発明の画像出力装置において、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みの度合いを幾何学的歪み度とするとき、上記選択部は、上記各グループに属する撮像画像データの中から、上記歪み補正部による補正前の撮像画像データで示される画像における幾何学的歪み度が最も小さい撮像画像データを選択することが好ましい。

歪み補正部による補正量は、撮像画像データで示される画像における矩形状の撮像対象物の面の傾きまたは幾何学的歪み度が小さいほど小さい。この補正量が小さいほど、撮像対象物により近い状態となる。上記の構成によれば、歪み補正部による補正前の撮像画像データで示される画像において傾きまたは幾何学的歪み度の最も小さい撮像画像データに対応する高解像度画像データのみが出力される。よって、撮像対象物により近い状態の画像を得ることができる。

さらに、本発明の画像出力装置は、上記類似画像判定部によってグループ分けされた各グループについて、当該グループに属する撮像画像データを表示部に表示し、各撮像画像データの属するグループの変更指示を受け付け可能である制御部を備え、上記制御部が上記変更指示を受け付けた場合、上記類似画像判定部は、当該変更指示に従って、各グループに属する撮像画像データを変更することが好ましい。

類似画像判定部は、特徴量に基づいたグループ分けを行うため、異なる画像であっても類似していると判定する可能性がある。しかしながら、上記の構成によれば、ユーザは、類似画像判定部の結果を確認することができ、必要に応じて変更指示を入力することができる。すなわち、類似画像判定部の判定結果を修正することができる。

なお、上記撮像部は、１回の撮像指示で連続して複数回撮像し、上記受信部は、上記撮像画像データとして、上記撮像部が１回の撮像指示で連続して複数回撮像することにより得られる複数のサブ撮像画像データの組を受信し、上記高解像度補正部は、上記撮像画像データに含まれる複数のサブ撮像画像データに基づいて高解像度画像データを生成してもよい。

もしくは、上記撮像部は、１回の撮像指示で１回だけ撮像し、上記受信部は、上記撮像画像データとして、上記撮像部が１回の撮像指示で１回撮像することにより得られる画像データを受信し、上記高解像度補正部は、１つの撮像画像データに基づいて高解像度画像データを生成してもよい。

また、本発明の撮像画像処理システムは、撮像部と、上記撮像部の撮像により撮像画像データを送信する送信部とを備えた携帯端末装置と、上記の画像出力装置とを備えている。

これにより、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置が出力可能であり、かつ、同じ対象物について多数回撮像したとしても、ユーザの画像選択の手間を省くことができる。

なお、上記画像出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより画像出力装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明によれば、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置が出力可能であり、かつ、同じ対象物について多数回撮像したとしても、ユーザの画像選択の手間を省くことができる。

図１は、本発明の一実施形態に係る画像出力装置が有する画像処理部の構成を示すブロック図である。 図２は、本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。 図３は、本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。 図４は、画像の傾き検出例を示す図である。 図５は、図４の傾き検出例における傾き角度θとその正接値を示している。 図６は、画像の幾何学的歪みの検出例を示す図である。 図７は、画像の対象物のエッジ検出処理例を示す図である。 図８は、画像のラスター方向のエッジ検出例を示す図である。 図９は、画像のズレ度合い検出例の１次微分フィルタ例を示す図である。 図１０は、本発明の一実施形態に係る画像出力装置の構成を示すブロック図である。 図１１は、画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。 図１２は、画像のレンズ歪みの補正例を示す図である。 図１３は、画像の幾何学的歪みおよび傾きの補正例を示す図である。 図１４は、画像の再構成画素値の決定例を示す図である。 図１５は、携帯端末装置の処理の流れを示すフローチャートである。 図１６は、画像出力装置の処理の流れの全体を示すフローチャートである。 図１７は、類似画像の判定処理の流れを示すフローチャートである。 図１８は、１つの画像データを用いて高解像度補正を行うときの処理の流れを示すフローチャートである。 図１９は、高解像度画像データにおける基準画素と補間画素とを示している。 補間画素の画素値の算出方法を示す図であり、（ａ）はエッジ方向が左上−右下方向である場合、（ｂ）はエッジ方向が左−右方向である場合、（ｃ）はエッジ方向が右上−左下方向である場合、（ｄ）はエッジ方向が上−下方向である場合を示している。

以下、本発明の実施の形態について、詳細に説明する。

（１）撮像画像処理システムの全体構成
図２は、本発明に係る撮像画像処理システムの全体構成を示す図である。図２に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。ただし、携帯端末装置１００で撮像された画像は上述したように解像度が低く、当該解像度で画像出力装置２００により画像出力（例えば印刷）を行ったとしても細部まで認識できない場合がある。例えば、文書画像（文字など）が印刷された用紙やポスター、文書画像などが表示されている表示画面を撮像する場合において、文字が判別できないことが考えられる。本実施形態は、このような場合であっても、携帯端末装置１００で撮像された画像の解像度よりも高い解像度を有する画像を得ることができるものである。

本実施形態において、携帯端末装置１００は、撮像した画像の解像度よりも高い解像度を有する画像を画像出力装置２００から得ることが可能な撮像モードである文書撮像モードの機能を有している。

なお、本実施形態では、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、撮像画像よりも高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択するものとする。

また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。

携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、撮像した画像データ（以下、撮像画像データという）を画像出力装置２００に送信する。

画像出力装置２００は、携帯端末装置１００から受信した撮像画像データの出力処理を行うものである。ただし、ユーザは、同一の撮像対象物について、複数回撮像する場合がある。しかしながら、ユーザは、この中から一つもしくは数枚の画像の出力を希望する場合がある。そのような場合に、同一の撮像対象物に対して撮像された複数の撮像画像データの全てについて同じように出力すると、後でユーザが整理するのに手間がかかるという問題が生じる。そこで、本実施形態の画像出力装置２００は、携帯端末装置１００から受信した複数の撮像画像データについて、類似している画像同士をグループごとに分類する。そして、画像出力装置２００は、各グループにおいて、当該グループに属する複数の撮像画像データの中から選択された撮像画像データを出力する。これにより、ユーザは、同一対象物に対して複数回撮像したとしても、その中から選択された撮像画像データの出力だけを行うことができ、後の整理が容易となる。

また、画像出力装置２００は、携帯端末装置１００から受信した撮像画像データに基づいて、解像度を高める高解像度補正を行い、高解像度化された画像データ（高解像度画像データ）の出力処理を行うものである。この高解像度補正の手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に記載されている、複数の撮像画像データを用いた方法や、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されている、一つの撮像画像データを用いた方法などがあり、これらの方法を用いることができる。なお、本実施形態では、同一対象物に対して撮像された複数の撮像画像データを用いて高解像度補正を行うものとして説明する。

画像出力装置２００で実行される出力処理としては、高解像度化された撮像画像データに基づいた画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ高解像度化された撮像画像データを格納するファイリング処理、電子メールに高解像度化された撮像画像データを添付して送信するメール送信処理などがある。

なお、携帯端末装置１００と画像出力装置２００との通信方式としては、図２において符号Ａで示されるように、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、符号Ｂで示されるように、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へデータを転送する方式がある。本実施形態では、ユーザは、画像出力装置２００の前にきてから携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置１００から画像出力装置２００へデータ転送するものとする。なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。

（２）携帯端末装置の構成
まず、図３に基づいて、本実施形態に係る携帯端末装置１００について説明する。

図３は、携帯端末装置１００の構成を示すブロック図である。図３に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部１０２、画像処理部１０３、通信部（送信部）１０４、表示部（通知部）１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部、通知部）１０９を備えている。

撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０１は、ユーザにより文書撮像モードが選択された場合、１回シャッターの押下により、撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。

撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１の連続撮像により得られた複数の撮像画像が、画像出力装置２００において高解像度補正を実行するための条件を含む処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。撮像画像判定部１０２における具体的な処理については後述する。

なお、以下では、１回のシャッター押下により撮像部が連続撮像することにより得られる複数の撮像画像の各々を示す画像データをサブ撮像画像データという。また、１回のシャッター押下により撮像部が連絡撮像することにより得られる複数のサブ撮像画像データの組を単に撮像画像データという場合がある。または高解像度出力用データセットという。

画像処理部１０３は、撮像部１０１で撮像された画像のデータ（サブ撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、撮像部１０１により撮像され、画像処理部１０３にてＡ／Ｄ変換処理が施された複数の撮像画像データを画像出力装置２００に送信する。ただし、通信部１０４は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データのみを送信する。また、通信部１０４は、入力部１０６への入力に従って、記憶部１０８に記憶されている、文書撮像モードで撮像された複数の撮像画像データをまとめて画像出力装置２００に出力する。

表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。

記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。

また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。また、記憶部１０８は、文書撮像モードで撮像することにより得られた撮像画像データを記憶する。

制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０５に表示させる。そして、制御部１０９は、入力部１０６に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０１が連続撮像する回数、および、撮像画像判定部１０２で用いる処理実行条件の一部を決定する。なお、制御部１０９は、記憶部１０８に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。

また、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。

そして、制御部１０９は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データに、ファイルネーム、ならびに、出力処理情報を付け、記憶部１０８に一時的に格納しておく。その後、制御部１０９は、入力部１０６への送信指示の入力に従って、記憶部１０８に格納されている撮像画像データを、ファイルネームおよび出力処理情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報と合わせて画像出力装置２００に送信する送信処理を、通信部１０４に実行させる。

（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な判定処理について説明する。

（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、撮像画像データにおいて、撮像対象物のエッジを検出することで撮像画像データにおける撮像対象物の傾きを検出する。なお、撮像画像データの中の矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。

そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図４に示されるように、撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ_１，ｄ_２を求め、撮像画像における撮像対象物の傾きを求めることができる。図４のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ_２−ｄ_１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ_２−ｄ_１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図５参照）などより読み取る。

そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。

なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データに対して、傾きの判定を行えばよい。

（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図６に示されるように、撮像対象物は、歪んだ四角形となる。

本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。

本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。

なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データに対して、以下のような幾何学的歪みの判定を行えばよい。

まず、撮像画像判定部１０２は、サブ撮像画像データについて、ラスター走査を行う。ここで、図６に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。

１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジを検出したラインをＬ_１（１ライン目）とし、図７に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬ_ｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄ_ｉ）を求め下記のように判定を行う。

なお、ラインＬ_ｉにおける最初のエッジのＸ座標をＸ_ｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸ_ｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ_１）目の座標Ｘ_１１およびＸ_１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄ_ｉ１（＝Ｘ_ｉ１−Ｘ_{（ｉ−１）１}）およびｄ_ｉ２(同様)を算出する。以下、ｄ_ｉ１に関して述べるため添え字の１を省略するが、ｄ_ｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄ_ｉ＝abs｛（ｄ_ｉ）−ｄ_ｉ−１｝を算出する。ｄｄ_ｉ≦th_１(≒０に近い小さな数値)であれば、座標Ｘ_iは同じ群に分類する。そうでない場合（ｄｄ_ｉ＞th_１）は、別の群（第３群または第４群）に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ_２の群を確定させるための処理を行う。以下のようにする。

i)ｄｄ_３≦th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：同群
ii)ｄｄ_３＞th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：別群
iii)ｄｄ_３≦th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
iv)ｄｄ_３＞th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。

このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。当該直線は、撮像対象物の辺に相当することとなる。

図８は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。

そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。

さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する交点座標を統合して直線の方程式を求めればよい。

なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、サブ撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

そして、撮像画像判定部１０２は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。

なお、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

（３−３）複数枚の画像のズレ量の判定
上述したように、画像出力装置２００は、同一の撮像対象物の複数のサブ撮像画像データに基づいて、高解像度補正を実行する。当該高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本実施形態では、撮像画像判定部１０２は、撮像部１０１が撮像した複数のサブ撮像画像データの中に、画像出力装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数のサブ撮像画像データが含まれるか否かを判定する。ここで、所定量だけずれた所定数のサブ撮像画像データの組を高解像度出力用データセットという。

なお、文字の判読性を上げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。

例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１０９は、当該情報に基づいて、撮像部１０１に対して２回連続して撮像させ、撮像画像判定部１０２に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。

また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。

なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。

まず、撮像画像判定部１０２は、撮像画像の任意の一つを選択し、当該撮像画像（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りの撮像画像（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１０２は、以下のような方法によってズレ検出用部分領域を抽出する。

撮像画像判定部１０２は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。

ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（x）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。

また一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図９は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。

次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。

その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。

正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。

例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。

なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ_１〜Ｓ_６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。

なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。

そして、撮像画像判定部１０２は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。

（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。

例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。

さらに、所定量だけずれたサブ撮像画像データが所定数ない旨の判定結果を受けた場合、制御部１０９は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像を促すメッセージを表示部１０５に表示し、新たに画像を得るようにする。その後、新たに撮像した複数のサブ撮像画像データの組合せ、もしくは、前に撮像したサブ撮像画像データおよび再度撮像されたサブ撮像画像データの組合せに対して、撮像画像判定部１０２が再度判定処理を行う。

そして、制御部１０９は、撮像画像判定部１０２により全ての処理実行条件を満たすと判定されたときに、当該処理実行条件を満たす所定数のサブ撮像画像データの組を高解像度出力用データセットとし、当該高解像度出力用データセットに対して、ファイルネーム、ならびに、出力処理情報を付け、記憶部１０８に一時的に格納しておく。

（５）撮像画像データの画像出力装置への転送について
ユーザは、携帯端末装置１００を持って画像出力装置２００の近くにきて、携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて撮像画像データを画像出力装置２００に送信させる。具体的には、ユーザは、携帯端末装置１００の入力部１０６に、高解像度出力用データセットの送信指示を入力する。

高解像度出力用データセットの送信指示が入力されると、制御部１０９は、記憶部１０８に格納されている高解像度出力用データセットの全てを、ファイルネームおよび出力処理情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報と合わせて画像出力装置２００に送信する送信処理を、通信部１０４に実行させる。

なお、制御部１０９は、高解像度出力用データセットの送信指示が入力されたとき、記憶部１０８に格納されている高解像度出力用データセットの一覧を表示部１０５に表示し、送信すべき高解像度出力用データセットの選択入力を促してもよい。そして、制御部１０９は、ユーザによって選択された高解像度出力用データセットのみを送信させてもよい。

もしくは、制御部１０９は、前回に高解像度出力用データセットを画像出力装置２００に送信した日時を記憶しておき、当該日時以降に撮像されたサブ撮像画像データを含む高解像度出力用データセットのみを送信させてもよい。

（６）画像出力装置の構成
次に、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図１０は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。

画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置から送信された高解像度出力用データセットが複数ある場合に、類似している画像を一つのグループとしてグループ分けするとともに、各グループに属する高解像度出力用データセットの中から選択されたデータセットに対して高解像度補正を行い高解像度画像データを生成する処理などを含む画像処理を行うものである。画像処理部２０２が撮像画像データに対して行う画像処理の詳細については後述する。

認証部２０３は、携帯端末装置１００から受信した高解像度出力用データセットの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。

画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つである印刷処理を実行するものである。

表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された高解像度出力用データセットを受信する。

第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部２０８は、出力処理として、高解像度補正により得られる高解像度画像データをサーバに格納するファイリング処理、もしくは、高解像度補正により得られる高解像度画像データを添付したメールを送信するメール送信処理を実行する。

記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から高解像度出力用データセット（１回のシャッタ押下による複数回の連続した撮像により得られる複数のサブ撮像画像データの組）を受信すると、当該高解像度出力用データセットを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、高解像度出力用データセットに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２により生成される高解像度画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２により生成される高解像度画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。

（７）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した高解像度出力用データセットに対する画像処理の内容について説明する。

図１は、画像処理部２０２の内部構成を示すブロック図である。図１に示されるように、画像処理部２０２は、画質調整部２２１、幾何学補正部（歪み補正部）２２２、レンズ歪み補正部２２３、類似画像判定部２２４、および高解像度補正部２２５を備えている。以下、各部の具体的な処理内容を順に説明する。

（７−１）画質調整部
画質調整部２２１は、高解像度出力用データセットに含まれるサブ撮像画像データのカラーバランス、コントラストの補正を行うものである。画質調整部２２１は、受信したサブ撮像画像データの各々について、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部２２１は、ルックアップテーブルとして、図１１に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮであり、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部２２１は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。

また、画質調整部２２１は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。

なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。

（７−２）レンズ歪み補正部
レンズ歪み補正部２２３は、撮像画像判定部１０２における処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、レンズ歪み補正部２２３は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。

具体的には、レンズ歪み補正部２２３は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、図１２の実線で示されるように、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２２３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２２３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１２において点線で示される）と合同な外接四角形（図１２において１点鎖線で示される）を求める。そして、レンズ歪み補正部２２３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。

レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（７−３）幾何学補正部
幾何学補正部２２２は、幾何学補正部２２２は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによるサブ撮像画像データにおける撮像対象物の歪み（つまり、文書画像が形成された矩形状の平面の歪み）を補正するとともに、サブ撮像画像データにおける撮像対象物の傾きを補正するものである。

具体的には、幾何学補正部２２２は、幾何学的歪みおよび傾きの補正を以下のようにして実行する。幾何学補正部２２２は、例えば、図１３に示すように、上記のようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書で用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換すればよい。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。

なお、幾何学補正部２２２は、設定されたアスペクト比に変換した後、（３−１）で記載された方法により撮像対象物の傾きを検知し、当該傾きが０度になるようにサブ撮像画像データの回転処理を施す。これにより、図１３の実線に示されるように、傾きが０度のサブ撮像画像データが得られる。

幾何学的歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（７−４）類似画像判定部
類似画像判定部２２４は、複数の高解像度出力用データセットを受けたときに、各高解像度出力用データセットで示される画像同士が類似しているか否かを判定し、類似している画像ごとにグループ分けを行うものである。類似画像判定部２２４は、各高解像度出力用データセットに対して、当該高解像度出力用データセットに含まれる複数のサブ撮像画像データの中から選択した一つのサブ撮像画像データであり、かつ、上記画質調整部２２１、レンズ歪み補正部２２３および幾何学補正部２２２により補正が施されたサブ撮像画像データを類似画像判定用データとする。ここでは、類似画像判定部２２４は、例えば、最初に撮像されたサブ撮像画像データ、つまり、撮像時刻が最も古いサブ撮像画像データに対して補正が施されたデータを類似画像判定用データとして選択するものとする。そして、類似画像判定部２２４は、各高解像度出力用データセットに対応する類似画像判定用データを用いて、画像が類似しているか否かを判定する。

類似画像判定部２２４による判定処理としては、例えば、特開２００７−１７２０７７に記載の方法など公知の技術を用いることができる。以下、本実施形態の類似画像判定部２２４の具体的な処理方法について説明する。

まず、類似画像判定部２２４は、各高解像度出力用データセットに対応する類似画像判定用データについて、一定サイズのブロック（例えば、８×８、１６×１６など）に分割し、例えば、エッジ抽出フィルタを用いてエッジ量の２次元分布（ブロック毎に集計したエッジ量）を求める。なお、エッジ量の代わりに、ブロックの平均色を用いても良い。そして、ブロック毎に集計したエッジ量（または平均色）を第１特徴量とする。

次に、類似画像判定部２２４は、類似画像判定用データの各々について文字認識を行い、例えば、当該類似画像用判定データに含まれる単語の出現回数を求め、これを第２特徴量とする。なお、類似画像判定部２２４は、各類似画像判定用データを識別する識別ＩＤと、当該類似画像判定用データについて算出した第１特徴量・第２特徴量とを対応づけて、記憶部２１０に一時的に格納しておく。

次に、類似画像判定部２２４は、複数の類似画像判定用データの各々について、以下の処理に従ってグループ分けを行う。

最初に、類似画像判定部２２４は、複数（Ｎ個とする）の類似画像判定用データの各々に対して順番を示す番号ｋ（ｋ＝１〜Ｎ）を割り振る。なお、番号ｋの割り振り方法は特に限定されるものではない。例えば、撮像時刻の古い順に番号ｋを割り振る。

そして、ｋ＝１の類似画像判定用データについては第１のグループに属するものとして分類する。

一方、ｋ＝２以降の類似画像判定用データについては、ｋ−１番目までの類似画像判定用データの各々（以下、分類済みの類似画像判定用データという）との間で後述する第１スコアおよび第２スコアを算出し、当該第１スコアおよび第２スコアを統合した統合スコアを求める。そして、この統合スコアを所定閾値と比較して、いずれのグループに属するかを決定する。

ここで、第１スコアとは、ｋ番目の類似画像判定用データから算出された上記第１特徴量と、分類済みの類似画像判定用データから算出された上記第１特徴量とのブロック毎の差分の絶対値の和の逆数を定数倍したものである。ここで、定数とは計算値が整数となるように予め設定されている。ｋ番目の類似画像判定用データと分類済みの類似画像判定用データとが類似している場合、第１特徴量のブロック毎の差分は小さくなり、第１スコアはより大きな値をとる。

なお、第１特徴量が平均色である場合、例えば、２５６色のカラーパレットを用いて当該平均色を数値に置き換えることで、上記のような第１スコアを求めることができる。

また、第２スコアとは、ｋ番目の類似画像判定用データから算出された上記第２特徴量と、分類済みの類似画像判定用データから算出された上記第２特徴量との単語毎の差分の絶対値の和の逆数を定数倍したものである。ここで、定数とは計算値が整数となるように予め設定されている。ｋ番目の類似画像判定用データと分類済みの類似画像判定用データとが類似している場合、第２特徴量の単語毎の差分は小さくなり、第２スコアはより大きな値をとる。

さらに、統合スコアとは、第１スコアと第２スコアとに予め定められた重み係数を乗算し、両スコアを加算したものである。なお、重み係数は、第１スコア・第２スコアを求める際の定数、第１特徴量を求める際のブロック数などによって予め定められる。また、第２特徴量が求められた単語数に応じて重み係数を変更してもよい。

そして、このようにして求めた統合スコアが所定閾値以上である場合、類似画像判定部２２４は、ｋ番目の類似画像判定用データが当該統合スコアに対応する分類済みの類似画像判定用データと類似していると判断し、当該分類済みの類似画像判定用データと同じグループにｋ番目の類似画像判定用データを分類する。もし、全ての分類済みの類似画像判定用データとの間で算出された統合スコアが所定閾値未満である場合、ｋ番目の類似画像判定用データは、新たなグループに属するものと判定する。

なお、各類似画像判定用データは、異なる高解像度出力用データセットに含まれているものであり、類似しているとしても完全に同一ではない。そのため、上記のような統合スコアを用いた類似判定を用いる場合、類似画像判定用データＡと類似画像判定用データＢとが類似し、かつ、類似画像判定用データＢと類似画像判定用データＣとが類似していたとしても、類似画像判定用データＡと類似画像判定用データＣとが類似していないことも有り得る。

そこで、あるグループに、分類済みの類似画像判定用データが複数属する場合、これら分類済みの類似画像判定用データのいずれか一つとの間の統合スコアが所定閾値以上であれば、ｋ番目の類似画像判定用データが当該グループに属するものと判定する。

また、あるグループに属する分類済みの類似画像判定用データとの間の統合スコアが所定閾値以上であり、かつ、別のグループに属する分類済みの類似画像判定用データとの間の統合スコアも所定閾値以上である場合、当該二つのグループを統合して一つのグループとする。

類似画像判定部２２４は、このようにしてグループ分けを行い、各グループと当該グループに属する類似画像判定用データの識別ＩＤとを対応付けたグループ分け情報を記憶部２１０に格納する。

なお、類似画像判定部２２４は、ユーザからの変更指示に応じてグループ分け情報を変更してもよい。

このように、類似画像判定部２２４は、受信した各高解像度出力用データセットから特定した複数の類似画像判定用データについて、各類似画像判定用データで示される画像の特徴を示す特徴量を算出し、対応する特徴量の類似度である統合スコアが所定閾値以上の類似画像判定用データが同じグループになるようにグループ分けを行う。

（７−５）高解像度補正部
高解像度補正部２２５は、携帯端末装置１００から受信した撮像画像データの高解像度補正を行うものである。本実施形態では、高解像度補正部２２５は、携帯端末装置１００から受信した高解像度出力用データセットに含まれる複数のサブ撮像画像データに基づいて高解像度補正を行う。

ただし、高解像度補正部２２５は、類似画像判定部２２４によってグループ分けされた各グループの中から一つの類似画像判定用データを選択する選択部としても機能する。そして、高解像度補正部２２５は、選択した類似画像判定用データに対応する高解像度出力用データセットに基づいて高解像度補正を行う。

ここでは、高解像度補正部２２５は、各グループの中から、撮像対象物の傾きが最も小さい類似画像判定用データを選択するものとする。具体的には、高解像度補正部２２５は、（７−２）（７−３）で求めた撮像対象物の４辺に対応する４つの群の各々に属するエッジ点を特定する。そして、高解像度補正部２２５は、第１群に属するエッジ点の近似直線の傾きが最も小さい類似画像判定用データを選択する。これにより、高解像度補正部２２５は、各グループにおいて、歪みの最も小さい高解像度出力用データセットに基づいて高解像度補正を行うこととなり、出力される高解像度化された画像データの品質を良くすることができる。

複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターンマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合せを行うことができる。

次に、高解像度補正部２２５は、再構成処理を行う。すなわち、高解像度補正部２２５は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、高解像度補正部２２５は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、高解像度補正部２２５は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。

具体的には、図１４に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖ_ｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数のサブ撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。

なお、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。

そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図１４に示されるように、当該交点が２つの線分のそれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、画像処理部２０２は、着目する再構成画素の画素値Ｖ_ｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを高解像度画像データとして生成することができる。

なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。

このように高解像度補正部２２５は、類似画像判定部２２４によりグループ分けされた各グループの中から１つの類似画像判定用データを選択する選択部としても機能する。なお、２以上の類似画像判定用データを選択してもよい。例えば、各グループの中から、撮像対象物の傾きが最も小さい２つの類似画像判定用データを選択してもよい。

そして、高解像度補正部２２５は、高解像度出力用データセットに含まれる複数のサブ撮像画像データに基づいて、当該サブ撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う。

（８）撮像画像処理システムの画像処理の流れ
以下、本実施形態に係る撮像画像処理システムの処理の流れについて説明する。なお、図１５は携帯端末装置１００の処理フローを示し、図１６は画像出力装置２００の処理フローを示している。また、図１７は、図１６に示す類似画像判定の処理の詳細を示すフローである。

まず、図１５を参照しながら携帯端末装置１００の処理フローについて説明する。携帯端末装置１００では、文書撮像モードでの撮像指示の入力の有無を確認する（Ｓ１０）。ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００により高解像度化して出力することを希望する場合、文書撮像モードを選択入力する。

文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１０９は、高解像度補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０５に表示し、当該倍率を入力部１０６から取得する。制御部１０９は、取得した倍率に応じて、撮像部１０１における撮像回数、撮像画像判定部１０２における処理実行条件の一部を決定する。また、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。なお、制御部１０９は、デフォルトの解像度変換の倍率を記憶しておき、入力部１０６に倍率の入力指示が無い場合、当該デフォルトの倍率に設定してもよい。

そして、撮像部１０１は、シャッターが押下されたことを検知すると、制御部１０９にて設定された撮像回数だけ連続して撮像する（Ｓ１１）。

次に、画像処理部１０３は、撮像した画像のデータに対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された撮像画像データに対して、撮像画像判定部１０２は、処理実行条件を満たすか否かを判定する（Ｓ１２）。なお、詳しい判定方法、判定項目などは、例えば上記（３−１）〜（３−３）で説明したとおりである。

撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１２でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１３）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１１〜Ｓ１３を繰り返して行う。

一方、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１２でＹＥＳ）、制御部１０９は、処理実行条件を満たす撮像画像データにファイルネームを付ける（Ｓ１４）。なお、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。その後、制御部１０９は、ファイルネームが付けられた、処理実行条件を満たす撮像画像データを一つの高解像度出力用データセットとして、記憶部１０８に格納する（Ｓ１５）。

その後、制御部１０９は、高解像度出力用データセットの送信指示が入力部１０６に入力されたか否かを判断する（Ｓ１６）。送信指示が入力されていない場合（Ｓ１６でＮＯ）、Ｓ１０の処理に戻る。一方、送信指示が入力された場合（Ｓ１６でＹＥＳ）、制御部１０９は、記憶部１０８に格納されている全ての高解像度出力用データセットの各々に、機種情報、ユーザ情報、および当該データセットの出力処理情報を付加して画像出力装置２００に送信するように、通信部１０４を制御する（Ｓ１７）。なお、本実施形態では、携帯端末装置１００と画像出力装置２００とは近距離無線通信の方式を用いて通信を行う。そのため、ユーザは、携帯端末装置１００を持って画像出力装置２００の近傍まで来た後に、送信指示を入力する。

次に、図１６および図１７を参照しながら画像出力装置２００の処理フローを説明する。画像出力装置２００の第１通信部２０７は、携帯端末装置１００からの高解像度出力用データセット、機種情報、ユーザ情報および各データセットの出力処理情報を受信する（Ｓ２０）。

画像処理部２０２の画質調整部２２１は、受信した高解像度出力用データセットに含まれるサブ撮像画像データの全てについて、例えば上記（７−１）に説明したとおり、カラーバランス、コントラストの補正を行う（Ｓ２１）。続いて、レンズ歪み補正部２２３が上記（７−２）に説明したようにレンズ歪みを行うとともに、幾何学補正部２２２が上記（７−３）に説明したよう幾何学的歪みおよび傾きの補正を行う（Ｓ２２）。

次に、類似画像判定部２２４は、類似画像の判定処理を実行する（Ｓ２３）。この類似画像の判定処理（Ｓ２３）の詳細について図１７を参照しながら説明する。まず、類似画像判定部２２４は、各高解像度出力用データセットについて、最も撮像時刻の古いサブ撮像画像データを特定し、当該サブ撮像画像データに対してＳ２１、Ｓ２２の処理が施されたデータを類似画像判定用データとする（Ｓ２３１）。

そして、類似画像判定部２２４は、各高解像度出力用データセットから選定した類似画像判定用データに対して、上記第１特徴量および第２特徴量を抽出する（Ｓ２３２）。そして、類似画像判定部２２４は、類似画像判定用データを識別する識別ＩＤと当該類似画像判定用データから抽出した第１特徴量および第２特徴量とを対応づけて記憶部２１０に格納する（Ｓ２３３）。この処理を全ての類似画像判定用データについて行う（Ｓ２３２−Ｓ２３４）。

次に、類似画像判定部２２４は、Ｓ２３１において各高解像度出力用データセットから選定した類似画像判定用データの各々に対して順番を示す番号ｋ（ｋ＝１〜Ｎ）を割り振り、番号ｋの順に上記（７−４）に記した方法によって、統合スコアを用いて類似している画像同士が同じグループに属するようにグループ分けを行う（Ｓ２３５）。そして、類似画像判定部２２４は、各グループの識別番号と、当該グループに属する類似画像判定用データの識別ＩＤとを対応付けたグループ分け情報を記憶部２１０に格納する。

なお、類似画像判定部２２４は、ユーザ情報ごとに、グループ分けを実行する。すなわち、類似画像判定部２２４は、ユーザ情報ごとに、当該ユーザ情報が付加された複数の高解像度出力用データセットに対してグループ分けを実行する。

次に、制御部２１２は、グループ分け情報を参照することで、２以上の類似画像判定用データの識別ＩＤに対応付けられたグループが存在するか否かを確認する（Ｓ２３６）。つまり、類似画像が存在するか確認する。２以上の識別ＩＤに対応付けられたグループが存在する場合（Ｓ２３６でＹＥＳ）、制御部２１２は、類似画像が存在している旨を通知する画面を表示部に表示する。さらに、制御部２１２は、類似画像の確認を行うときには確認指示の入力を促す画面も表示する（Ｓ２３７）。

確認指示が入力された場合（Ｓ２３７でＹＥＳ）、２以上の類似画像判定用データの識別ＩＤに対応付けられたグループごとに、制御部２１２は、当該グループに属する類似画像判定用データで示される画像を表示する。そして、制御部２１２は、いずれかの画像の選択指示（例えば、対象の画像が表示されている領域にタッチする）（変更指示）、および、選択された画像の削除指示（変更指示）が入力部に入力されると、当該指示に従った処理を行う。具体的には、制御部２１２は、類似画像判定部２２４に対して、グループ分け情報において、選択された画像を示す類似画像判定用データの識別ＩＤを当該識別ＩＤに対応するグループから削除するように指示する。選択指示および削除指示が入力されなければ、次のグループについて同様の処理を行う。

なお、類似画像判定部２２４は、削除された識別ＩＤと新たなグループとを対応付けたグループ分け情報を生成し、記憶部に更新してもよい。また、類似画像判定部２２４は、各グループに属する類似画像判定用データで示される画像を、順次１枚ずつ表示してもよいし、サムネイルで表示してもよい。

このようにして、類似画像判定部２２４は、制御部２１２からの指示に応じて、記憶部に格納しているグループ分け情報を更新する（Ｓ２３８）。その後、図１６のフローに戻り、Ｓ２４の処理を行う。

Ｓ２４では、高解像度補正部２２５は、グループ分け情報を参照し、各グループの中から、撮像対象物の傾きが最も小さい類似画像判定用データを選択する。この選択方法は上述したとおりである。そして、高解像度補正部２２５は、各グループについて、選択した類似画像判定用データに対応する高解像度出力用データセットに基づいて高解像度補正を行う。なお、高解像度補正部２２５は、Ｓ２１およびＳ２２による各種補正が実行された、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いて高解像度補正を行う。なお、高解像度補正の具体的な方法は（７−５）で説明したとおりである。

そして、高解像度補正部２２５は、各グループについて、高解像度補正により得られた高解像度画像データを記憶部２１０に格納する（Ｓ２５）。なお、このとき、高解像度補正部２２５は、高解像度画像データの元となる高解像度出力用データセットとともに受信したユーザ情報および出力処理情報と対応付けて当該高解像度画像データを格納する。

その後、制御部２１２は、撮像画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ２６）。出力指示の入力がない場合（Ｓ２６でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ２６でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ２７）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。。

ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２８）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２８でＹＥＳ）、制御部２１２は、Ｓ２５において記憶部２１０に格納され、当該ユーザ情報に対応する高解像度画像データの出力処理を、携帯端末装置１００から受信した出力処理情報に従って実行させる（Ｓ２９）。

例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、高解像度補正部２２５により選択された類似画像判定用データを含む高解像度出力用データセットに対して、高解像度補正部２２５が高解像度補正を行うことにより得られた高解像度画像データ（選択高解像度画像データ）で示される画像の印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、高解像度補正部２２５により選択された類似画像判定用データを含む高解像度出力用データセットに対して、高解像度補正部２２５が高解像度補正を行うことにより得られた高解像度画像データ（選択高解像度画像データ）に基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２８でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ３０）。そして、認証回数が所定回数以上でない場合（Ｓ３０でＮＯ）、Ｓ２７，Ｓ２８の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３０でＹＥＳ）、出力せずにフローを終了する。

以上のように、本実施形態によれば、携帯端末装置１００で撮像した撮像画像を高解像度補正した状態で画像出力装置２００で出力させることができる。その結果、文字の判読性を向上させることができる。そのため、原稿用紙を画像出力装置２００まで持っていくことが困難な場合であっても、当該原稿用紙を撮像することで、当該原稿用紙の画像を高解像度で得ることができる。また、プロジェクターなどで表示された映像画面についても携帯端末装置１００で撮像することで、後に画像出力装置２００から高解像度の画像を得ることができる。

また、本実施形態によれば、同じ撮像対象物を複数回撮像することにより得られる高解像度出力用データセットが複数存在する場合でも、画像出力装置２００が類似画像ごとにグループ分けを行い、各グループにおいて選択された一つの高解像度出力用データセットから得られる再構成画像データを出力する。そのため、同じような画像が複数出力されることを防止でき、ユーザの利便性が向上する。

（９）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。

（９−１）撮像回数について
上記の説明では、携帯端末装置１００において、制御部１０９は、高解像度補正のために必要な撮像画像の数だけ撮像部１０１に撮像させるものとした。すなわち、制御部１０９は、撮像回数と処理実行条件の中のサブ撮像画像データの必要数とを同じ値に設定した。しかしながら、制御部１０９は、撮像回数として、高解像度補正のための必要数よりも大きな値を設定してもよい。例えば、解像度変換の倍率が２倍である場合、必要数「２」に対して撮像回数「３」を設定してもよい。

このように撮像回数が必要数よりも大きい場合、撮像画像判定部１０２は、撮像回数分のサブ撮像画像データの中から、処理実行条件を満たすサブ撮像画像データの組合せが存在するか否かを判断すればよい。例えば、必要数「２」に対して撮像回数「３」である場合、３つのサブ撮像画像データの中で、必要数のサブ撮像画像データの組合せが３つある。この場合、撮像画像判定部１０２は、各組合せについて処理実行条件を満たすか否か順次判定する。そして、処理実行条件を満たす組合せを確認できた時点で撮像画像判定部１０２は処理を終了し、当該組合せに含まれるサブ撮像画像データを通信部１０４が画像出力装置２００に送信すればよい。もしくは、撮像画像判定部１０２は、全ての組合せについて処理実行条件を満たすか否か判定してもよい。この場合、複数の組合せが処理実行条件を満たす場合、制御部１０９は、検出したズレ量が所定範囲の中央値に最も近い組合せを画像出力装置２００に送信するものと決定してもよい。例えば、所定範囲が０．３〜０．７である場合、ズレ量が０．５に最も近い組合せを選択すればよい。

（９−２）高解像度補正の別の例
上記の説明では、複数のサブ撮像画像データから高解像度の再構成画像データを生成するものとした。しかしながら、複数の画像データではなく、１つの画像データに基づいて高解像度補正を行ってもよい。

１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。

一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。

図１８は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。

ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図１９は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。

まず、高解像度補正部２２５は、第１通信部２０７が受信した撮像画像データについて、エッジ抽出を行う。例えば、高解像度補正部２２５は、図９に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ４０）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。

次に、高解像度補正部２２５は、Ｓ４０で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ４１）。具体的には、高解像度補正部２２５は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。

なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。

着目画素がエッジである場合（Ｓ４１でＹｅｓ）、高解像度補正部２２５は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ４２）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、高解像度補正部２２５は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。

図２０において、点線は検出したエッジ方向を示している。なお、図２０において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。

次に、高解像度補正部２２５は、Ｓ４２で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。

エッジ方向が左上−右下方向である場合、図２０（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣接するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。

また、エッジ方向が左−右方向である場合、図２０（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣接するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。

補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。

また、エッジ方向が右上−左下方向である場合、図２０（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。

補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。

一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。

また、エッジ方向が上−下方向である場合、図２０（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣接するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。

補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。

なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、高解像度補正部２２５は、Ｓ４２で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。

なお、図２０では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図２０（ｃ）と同様に、補間画素Ｂについては図２０（ｂ）と同様に、補間画素Ｃについては図２０（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図２０（ａ）と同様に、補間画素Ｂについては図２０（ａ）と同様に、補間画素Ｃについては図２０（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。

このようにして、高解像度補正部２２５は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。

一方、着目画素がエッジでない場合（Ｓ４１でＮｏ）、高解像度補正部２２５は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４３）。

高解像度補正部２２５は、上記のＳ４１〜Ｓ４３の処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ４４）。

その後、高解像度補正部２２５は、生成した補間画像データに対して高画質化処理を行う。例えば、高解像度補正部２２５は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図９の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。

なお、高解像度補正部２２５は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。

また、このように１つの画像データから高解像度画像データを生成する場合、携帯端末装置１００の撮像部１０１は、文書撮像モードにおいて、１回のシャッター押下で１回だけ撮像すればよい。また、この場合、上記の（３−３）の処理を省略することができる。そして、携帯端末装置１００は、上記高解像度出力用データセットとして、１回のシャッター押下で１回だけの撮像により得られる１つの撮像画像データを含むものを送信すればよい。さらに、高解像度出力用データセットには１つだけの撮像画像データが含まれるので、画像出力装置２００の類似画像判定部２２４は、高解像度出力用データセットの中から類似画像判定用データの選定処理（Ｓ２３１）を省略することができる。

（９−３）撮像画像判定部の判定項目について
上記の説明では、文書撮像モードが選択されたときに、撮像画像判定部１０２は、撮像画像における撮像対象物の傾き、幾何学的歪み、複数の撮像画像間のズレ量を判定するものとした。しかしながら、撮像画像判定部１０２における判定項目はこれに限定されるものではない。以下にこの変形例を説明する。

（ａ）例えば、ユーザは、文書画像を含む用紙や表示画面のような矩形状の撮像対象物に限らず、風景や人物などの撮像画像についても高解像度化された状態で画像出力装置２００で出力することを希望することが考えられる。そこで、携帯端末装置１００は、文書撮像モードに代えて、もしくは、文書撮像モードとは別に、単に撮像画像を画像出力装置２００において高解像度補正して出力する処理を行うための高解像出力モードを備えていてもよい。文書撮像モードとは別に高解像度出力モードを備える場合、携帯端末装置１００は、選択されたモードを示す情報を付けて高解像度出力用データセットを出力すればよい。これにより、画像出力装置２００はモードに応じた処理を行うことができる。

そして、高解像出力モードが選択された場合、携帯端末装置１００では、撮像画像判定部１０２は、上記の（３−３）に記載されたズレ量の判定のみを行い、（３−１）（３−２）に記載された、撮像対象物の傾き、幾何学的歪みの判定を行わなくてよい。また、（３−３）に記載の判定を行う際、撮像画像の中心付近からズレ検出量部分画像を抽出すればよい。なお、（９−２）に記載の変形例の場合、（３−３）の処理も省略可能である。

そして、高解像度出力モードである旨の通知を受けた画像出力装置２００においても、画像処理部２０２は、（７−４）に記載された類似画像の判定処理と、（７−５）に記載された高解像度補正を行い、（７−１）〜（７−３）に記載された画質調整部２２１、レンズ歪み補正部２２３および幾何学補正部２２２による補正処理を実行しない。そして、この場合、高解像度補正部２２５は、類似画像判定部２２４により分類された各グループに属する全ての高解像度出力用データセットで示される画像と、各グループにおいて出力すべき画像の選択指示の入力を促す画面とを表示部２０５に表示する。なお、高解像度補正部２２５は、高解像度出力用データセットで示される画像として、当該高解像度出力用データセットに含まれる任意の一つのサブ撮像画像データで示される画像を表示すればよい。そして、高解像度補正部２２５は、入力部に入力された選択指示で示される画像に対応する高解像度出力用データセットに対して高解像度補正を実行する。

これによっても、類似した複数の画像のうちの１つの画像だけ出力することができ、撮像した画像よりも高解像度の画像を得るという効果を奏することができる。

（ｂ）上記の判定項目に加えて、他の判定項目について判定してもよい。他の判定項目としては、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などがある。

明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、サブ撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。

コントラストについては、撮像画像判定部１０２は、サブ撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。

カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図９に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、当該標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

（９−４）出力対象の画像の選択について
上記（７−５）の説明では、高解像度補正部２２５は、類似画像判定部２２４によって分類された各グループの中から、撮像対象物の傾きが最も小さい類似画像判定用データを選択し、選択した類似画像判定用データに対応する高解像度出力用データセットに対して高解像度補正を行うものとした。そして、制御部は、高解像度補正部２２５により高解像度補正された高解像度画像データの出力処理を行うものとした。しかしながら、出力対象の画像はこれに限定されるものではない。

例えば、高解像度補正部２２５は、幾何学的歪みの度合い（幾何学的歪み度）の最も小さい類似画像判定用データを選択してもよい。幾何学的歪みの度合い（幾何学的歪み度）を示す特徴量としては、（７−２）で求めた外接四角形の対辺の長さの比が挙げられる。この特徴量を用いる場合、幾何学的歪み度が小さいということは、当該特徴量が１に近いことを意味する。そのため、当該特徴量が１に最も近い類似画像判定用データを選択すればよい。もしくは、外接四角形の対辺の長さの比として、（相対的に長い辺／相対的に短い辺）を算出する場合、当該比が最も小さい類似画像判定用データを選択すればよい。

また、高解像度補正部２２５は、上記のように傾きや幾何学的歪みの度合いの小さい類似画像判定用データを選択するとともに、出力対象の画像の変更指示を受け付けても良い。この場合、高解像度補正部２２５は、各グループについて、当該グループに属する全ての高解像度出力用データセットで示される画像を表示部２０５に表示するとともに、選択した類似画像判定用データに対応する画像を出力対象画像であることを表示する。なお、高解像度補正部２２５は、高解像度出力用データセットで示される画像として、当該高解像度出力用データセットに含まれる任意の一つのサブ撮像画像データで示される画像を表示する。さらに、高解像度補正部２２５は、出力対象画像の変更指示の入力を受け付ける。変更指示が入力された場合、高解像度補正部２２５は、指示された画像に対応する高解像度出力用データセットに対して高解像度補正を行う。

もしくは、高解像度補正部２２５は、上記のような傾きや幾何学的歪みの度合いの小さい類似画像判定用データを選択することなく、出力対象画像の選択指示を受け付けても良い。すなわち、高解像度補正部２２５は、類似画像判定部２２４により分類された各グループに属する高解像度出力用データセットで示される画像と、各グループにおいて出力対象画像の選択指示の入力を促す画面とを表示部２０５に表示する。なお、高解像度補正部２２５は、高解像度出力用データセットで示される画像として、当該高解像度出力用データセットに含まれる任意の一つのサブ撮像画像データで示される画像を表示する。そして、高解像度補正部２２５は、入力部に入力された選択指示で示される画像に対応する高解像度出力用データセットに対して高解像度補正を実行する。

このように出力対象画像の変更指示または選択指示を受け付ける場合、高解像度補正部２２５は、各グループに属する全ての高解像度出力用データセットに対して高解像度補正を実行してもよい。これにより、変更指示や選択指示が入力される前に、高解像度補正部２２５により高解像度補正を開始することができる。変更指示や選択指示は、ユーザが画面を見てから入力されるものであり、ある程度の時間がかかる。そのため、大抵の場合、変更指示や選択指示が入力される前に、全ての高解像度出力用データセットに対する高解像度補正を完了させることができ、変更指示や選択指示が入力されてから、出力されるまでの時間を短縮することができる。

（９−５）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。

（９−６）携帯端末装置から画像出力装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードで撮像された高解像度出力用データセットを携帯端末装置１００で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された高解像度出力用データセットをまとめて送信するものとした。しかしながら、携帯端末装置１００から高解像度出力用データセットを画像出力装置２００に送信するタイミングはこれに限定されない。

例えば、文書撮像モードで撮像部１０１が撮像するたびに当該撮像により得られた一つの高解像度出力用データセットを画像出力装置２００に送信してもよい。この場合、ユーザは、画像出力装置２００の近傍にいない場合がほとんどである。そのため、携帯端末装置１００の通信部１０４は、携帯電話網およびインターネット網を介して、高解像度出力用データセットを画像出力装置２００に送信すればよい。

このように撮像するたびに一つの高解像度出力用データセットが送信される場合、画像出力装置２００は、図１６に示したＳ２１〜Ｓ２５の処理と、Ｓ２６〜Ｓ３０の処理とを分割して、それぞれ別々に実行すればよい。具体的には、画像出力装置２００は、高解像度出力用データセットを受信するたびに、図１６に示したＳ２１〜Ｓ２５を繰り返し実行し、Ｓ２６以降の処理に移行しない。

なお、このとき、Ｓ２３では、以下のように処理を行う。すなわち、類似画像判定部２２４は、記憶部２１０にグループ分け情報が存在しない場合、つまり、一つ目の高解像度出力用データセットを受信した場合、類似画像判定部２２４は、Ｓ２３４、Ｓ２３６〜Ｓ２３８の処理を省略する。そして、Ｓ２３５において、類似画像判定部２２４は、受信した高解像度出力用データセットから選定した類似画像判定用データを第１のグループに属するものと判定し、このグループ分けを示すグループ分け情報を記憶部２１０に格納すればよい。また、記憶部２１０にグループ分け情報が存在する場合、つまり、２つ目以降の高解像度出力用データセットを受信した場合、類似画像判定部２２４は、Ｓ２３４、Ｓ２３６〜Ｓ２３８の処理を省略する。そして、Ｓ２３５において、類似画像判定部２２４は、グループ分け情報に示される類似画像判定用データを分類済みの類似画像判定用データとして、受信した受信した高解像度出力用データセットから選定した類似画像判定用データとの統合スコアを求め、当該統合スコアに従ってグループ分けを実行すればよい。そして、その結果に応じて、類似画像判定部２２４は、記憶部２１０に格納されたグループ分け情報を更新する。

なお、本変形形態でも、類似画像判定部２２４は、ユーザ情報ごとに、グループ分けを実行する。すなわち、類似画像判定部２２４は、ユーザ情報ごとに、当該ユーザ情報が付加された複数の高解像度出力用データセットに対してグループ分けを実行する。

その後、ユーザが画像出力装置まで来て、出力指示を入力することを受けて、図１６に示すＳ２６〜Ｓ３０の処理を実行すればよい。なお、図１７に示したＳ２３６〜Ｓ２３８の処理については、図１６に示したユーザ認証処理（Ｓ２７）の後に実行してもよい。

（９−７）ユーザ情報について
上記の説明では、画像出力装置２００の入力部２０６に入力されたユーザ情報に基づいたユーザ認証に成功した後（図１６のＳ２８でＹＥＳ）、当該ユーザ情報に対応付けられた高解像度画像データの出力処理を行うものとした。ここで、ユーザ情報はユーザ毎にユニークに割り振られたものであってもよいし、ある組織に所属する複数のユーザに対して同じユーザ情報が割り振られていても良い。複数のユーザが同じユーザ情報を有している場合、他の人が撮像した画像も合わせてグループ分けされ、各グループから選択された画像のみが出力される。

もしくは、画像出力装置２００が特定の組織に所属するユーザのみが使用できる環境であり、かつ、あるユーザが撮像した画像を別のユーザも確認したい場合、Ｓ１７において高解像度出力用データセットにユーザ情報を付加せずに送信し、Ｓ２７およびＳ２８のユーザ情報によるユーザ認証の処理を省略してもよい。これによっても、他の人が撮像した画像も合わせてグループ分けされ、各グループから選択された画像のみが出力される。その結果、他のユーザが撮像した画像も容易に確認することができる。

例えば、複数のユーザが同じ展示会場に行き、様々な展示物を各ユーザが撮像するケースが考えられる。このようなケースでは、複数のユーザが別の時間あるいは別の日に同じ展示物を複数回撮像することが考えられる。このような状況であっても、本変形形態であれば、複数のユーザが撮像した画像をまとめて類似画像ごとにグループ分けし、各グループから選択された画像のみを出力することができる。その結果、同じような画像を複数出力することを防止できるという効果を奏する。

（９−８）統合スコアについて
上記の説明の統合スコアに限らず、様々な方法で統合スコアを算出することができる。以下、統合スコアの別の算出方法について説明する。

記憶部２１０に格納されている各類似画像判定用データＧｉ（ｉ＝１，２，３，．．．，ｎ）の各種の特徴量Ｆｊ（ｊ＝１，２，３，．．．，ｍ） を用いた類似度スコアをＳｉｊ（ａ）とする。特徴量Ｆｊは、上記したエッジ量分布などの画像特徴量、単語の出現回数に基づくテキスト特徴量などである。次に、各スコアＳｉｊ（ａ）を特徴量の種類ｊごとに標準化した偏差値Ｚｉｊ（ａ）を算出する。

そして、ｋ番目の類似画像判定用データａに対する分類済みの類似画像判定用データＧｉ（ｋ−１番目までのデータの何れか）の統合スコアをＳｉ（ａ）とし、次式により求める。

ここで、ｆは各特徴量Ｆｊについての偏差値Ｚｉｊ（ａ） から統合スコアを求めるための関数であり、例えば、変数各項の中の最大値を採る関数を用いる。

（９−９）類似画像の判定対象について
上記の説明では、Ｓ２３１において、各高解像度出力用データセットについて、一つの類似画像判定用データを選定するものとした。しかしながら、各高解像度出力用データセットに含まれる全てのサブ撮像画像データを類似画像判定用データとして選択してもよい。

例えば、動きのあるものや動画のスライドなどを撮像する場合、１回のシャッター押下による連続撮像の間に撮像対象物が変化することが考えられる。そこで、携帯端末装置１００は、文書撮像モードのオプションとして、経時的に変化する撮像対象物を撮像する動対象撮像モードを有していても良い。そして、動対象撮像モードが選択された場合、類似画像判定部２２４は、当該高解像度出力用データセットに含まれる全てのサブ撮像画像データを類似画像判定用データとして選択する。

なお、動対象撮像モードが選択された場合、高解像度出力用データセットに含まれる複数のサブ撮像画像データの各々において、撮像対象物の位置が変化している可能性が高い。そのため、動対象撮像モードが選択されている場合、高解像度補正部２２５は、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いた高解像度補正を実行しない。もしくは、高解像度補正部２２５は、（９−２）で説明したように、サブ撮像画像データの一つに基づいて高解像度補正を実行してもよい。

あるいは、撮像対象物の動きの速度に応じて、高解像度補正部２２５は、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いた高解像度補正を実行するか否かを判断してもよい。すなわち、撮像対象物の動きがシャッタースピードよりもかなり速い場合には、高解像度出力用データセットに含まれる複数のサブ撮像画像データの各々における撮像対象物の位置が異なるため、当該複数のサブ撮像画像データを用いた高解像度処理が困難となる。一方、撮像対象物の動きがシャッタースピードに比べてそれほど速くない場合には、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いて高解像度処理が実行できる。そこで、高解像度出力用データセットに含まれる複数のサブ撮像画像データの中から同一の撮像対象物を示す領域を特定し、当該領域の動きベクトルを検出する。そして、動きベクトルの大きさが所定閾値よりも大きい場合に、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いた高解像度補正を実行しないと判断し、動きベクトルの大きさが所定閾値以下の場合に、高解像度出力用データセットに含まれる複数のサブ撮像画像データを用いた高解像度補正を実行すると判断すればよい。

（９−１０）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。

（９−１１）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字部分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。

また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、高解像度画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。

（９−１２）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、高解像度出力用データセットに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した高解像度出力用データセットに対して高解像度補正を行い、補正後の高解像度画像データを出力する画像出力装置であるといえる。

（１０）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部（通知部）
１０６ 入力部
１０９ 制御部（送信部、通知部）
２０２ 画像処理部
２０４ 画像形成部（出力部）
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部（出力部）
２１２ 制御部（出力部）
２２１ 画質調整部
２２２ 幾何学補正部（歪み補正部）
２２３ レンズ歪み補正部
２２４ 類似画像判定部
２２５ 高解像度補正部（選択部）

Claims (11)

1. 撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信部と、
   上記受信部が受信した複数の撮像画像データについて、各撮像画像データで示される画像の特徴を示す特徴量を算出し、対応する特徴量の類似度が所定閾値以上の撮像画像データが同じグループになるようにグループ分けを行う類似画像判定部と、
   上記類似画像判定部によりグループ分けされた各グループの中から所定数の撮像画像データを選択する選択部と、
   上記撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う高解像度補正部と、
   上記選択部により選択された撮像画像データに対して上記高解像度補正部が高解像度補正を行うことにより得られた高解像度画像データである選択高解像度画像データ、あるいは、当該選択高解像度画像データで示される画像を出力する出力処理を実行する出力部とを備えることを特徴とする画像出力装置。
2. 上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、
   上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、当該撮像画像データにおける上記矩形状の面の傾きを補正する歪み補正部を備え、
   上記類似画像判定部は、上記歪み補正部によって補正された撮像画像データに基づいてグループ分けを行い、
   上記高解像度補正部は、上記歪み補正部によって補正された撮像画像データに基づいて高解像度補正を行うことを特徴とする請求項１に記載の画像出力装置。
3. 上記選択部は、上記各グループに属する撮像画像データの中から、上記歪み補正部による補正前の撮像画像データで示される画像における上記矩形状の面の傾きが最も小さい撮像画像データを選択することを特徴とする請求項２に記載の画像出力装置。
4. 上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みの度合いを幾何学的歪み度とするとき、
   上記選択部は、上記各グループに属する撮像画像データの中から、上記歪み補正部による補正前の撮像画像データで示される画像における幾何学的歪み度が最も小さい撮像画像データを選択することを特徴とする請求項２に記載の画像出力装置。
5. 上記類似画像判定部によってグループ分けされた各グループについて、当該グループに属する撮像画像データを表示部に表示し、各撮像画像データの属するグループの変更指示を受け付け可能である制御部を備え、
   上記制御部が上記変更指示を受け付けた場合、上記類似画像判定部は、当該変更指示に従って、各グループに属する撮像画像データを変更することを特徴とする請求項１から４の何れか１項に記載の画像出力装置。
6. 上記撮像部は、１回の撮像指示で連続して複数回撮像し、
   上記受信部は、上記撮像画像データとして、上記撮像部が１回の撮像指示で連続して複数回撮像することにより得られる複数のサブ撮像画像データの組を受信し、
   上記高解像度補正部は、上記撮像画像データに含まれる複数のサブ撮像画像データに基づいて高解像度画像データを生成することを特徴とする請求項１から５の何れか１項に記載の画像出力装置。
7. 上記撮像部は、１回の撮像指示で１回だけ撮像し、
   上記受信部は、上記撮像画像データとして、上記撮像部が１回の撮像指示で１回撮像することにより得られる画像データを受信し、
   上記高解像度補正部は、１つの撮像画像データに基づいて高解像度画像データを生成することを特徴とする請求項１から５の何れか１項に記載の画像出力装置。
8. 撮像部と、上記撮像部の撮像により撮像画像データを送信する送信部とを備えた携帯端末装置と、
   請求項１から７の何れか１項に記載の画像出力装置とを備えた撮像画像処理システム。
9. 撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信ステップと、
   受信した複数の撮像画像データについて、各撮像画像データで示される画像の特徴を示す特徴量を算出し、対応する特徴量の類似度が所定閾値以上の撮像画像データが同じグループになるようにグループ分けを行う類似画像判定ステップと、
   グループ分けされた各グループの中から所定数の撮像画像データを選択し、選択した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の選択高解像度画像データを生成する高解像度補正を行う補正処理ステップと、
   生成された選択高解像度画像データ、あるいは、当該選択高解像度画像データで示される画像を出力する出力処理を実行する出力ステップとを含むことを特徴とする画像出力方法。
10. 請求項１から７のいずれか１項に記載の画像出力装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。

Images