JP2019040617A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】対象物が撮像範囲内でどのような位置にあるかを容易に確認したうえで画像データを記憶部に取り込むことが可能な撮像装置及び画像処理方法を提供する。【解決手段】撮像装置としての携帯端末装置において、撮像範囲判定部は、撮像部により撮像された画像において、線分状に連なるエッジ画素群を検出する幾何学的配置検出部１１１と、表示部により表示された撮像画像において、幾何学的配置検出部１１１により検出されたエッジ画素群の上に、矩形の撮像対象物の輪郭を示す輪郭線を重ねて表示させる表示処理部１１２とを備える。表示処理部１１２は、撮像画像のうち輪郭線で囲まれる領域を所定の矩形状に幾何学補正する。【選択図】図３

Description

本発明は、撮像装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。

インターネット技術の進展と伴に携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学会等でのスライドを撮影する機会も増大してきている。このような携帯端末装置で撮影された画像を保存する際には、撮影日などの情報を元に自動的に付加されるファイル名を用いるか、自分でファイル名を作成し、保存するのが一般的である。

また、特許文献１には、撮像により記憶部に取り込まれた画像データから画像の輪郭を求め、求めた輪郭から撮像対象物の形状を求める技術が開示されている。そして、求められた撮像対象物の形状と実際の撮影対象物との射影パラメータを求め、この射影パラメータを用いて画像変換を行う。

特開２００５−１２２３２０号公報（２００５年５月１２日公開）

しかしながら、上記特許文献１に示す技術は、撮像により記憶部に取り込まれた画像データから撮像対象物の形状を求めるものであり、所望の形状が抽出できなかった場合は再度撮像を行う必要がある。また、所望の形状が抽出できたとしても、撮像範囲外に撮像対象物の一部が存在する場合、対象物の一部が撮像できていない事になる。

本発明は、上記課題を解決するためになされたものであり、対象物が撮像範囲内でどのような位置にあるかを容易に確認したうえで画像データを記憶部に取り込むことが可能な撮像装置、撮像画像処理システム、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、対象物を撮像した撮像画像を表示する表示手段を備え、上記対象物が矩形であり、上記対象物が撮像範囲内に収まっている場合に、上記撮像画像と、上記撮像画像の上記対象物の範囲を所定の矩形状に幾何学補正した補正処理後画像とを上記表示手段に表示させる表示処理部を備えることを特徴とする。

上記の構成によれば、対象物が撮像範囲内に収まっている場合に、補正処理後画像を表示手段に表示させる。このため、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示（プレビュー表示）させることができる。

さらに、本発明の画像処理装置において、上記表示処理部は、上記撮像画像と上記補正処理後画像とを同一画面内に表示させることが好ましい。

上記の構成によれば、撮像画像と、補正処理後画像とを表示手段の同一画面内に表示させる。このため、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示（プレビュー表示）させることができる。

さらに、本発明の画像処理装置において、上記撮像画像において、線分状に連なるエッジ画素群を検出する検出部をさらに備え、上記表示処理部が、上記検出部により検出された上記エッジ画素群の上に、上記検出部により検出された４つのエッジ画素群で示される４つの線分の各々に対応する直線で囲まれる上記対象物の輪郭を示す四角形の輪郭線を、上記撮像画像に重ねて表示させることが好ましい。

上記の構成によれば、検出部により検出されたエッジ画素群の上に、対象物の輪郭を示す輪郭線を重ねて表示される。ここで、検出部により検出されたエッジ画素群は、線分状に連なるものであり、矩形の対象物と背景との境界を示す確率が非常に高いものである。そのため、エッジ画素群の上に、対象物の輪郭を示す輪郭線が重ねて表示されることにより、ユーザは、撮像画像において対象物がどのような位置にあるのかを容易に確認することができる。その結果、ユーザは、対象物が撮像範囲内でどのような位置にあるかを容易に確認したうえで画像データを記憶部に取り込むことが可能となる。

さらに、本発明の画像処理装置において、上記表示処理部が、上記輪郭線の頂点の座標を編集する指示を受け付け、編集された頂点の座標を結ぶ上記輪郭線で囲まれる領域の画像を基に上記補正処理後画像を生成することが好ましい。

上記の構成によれば、ユーザは、所望の輪郭線で囲まれる領域に基づいた上記補正処理後画像を出力させることができる。

さらに、本発明の画像処理装置は、上記表示処理部による輪郭線の表示機能を有効にするか無効にするかを切り替える切替部を備えていることが好ましい。

上記の構成によれば、ユーザは、対象物が原稿のような矩形である場合に輪郭線の表示機能を有効に切り替え、輪郭線を表示させる必要が無い対象物の場合に輪郭線の表示機能を無効に切り替えることができる。

さらに、本発明の画像処理装置において、上記表示処理部は、上記切替部が上記輪郭線の表示機能を有効に設定している場合、幾何学補正された上記補正処理後画像を上記表示手段に表示させることが好ましい。

上記の構成によれば、切替部を操作することで、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示させることができる。

また、本発明の画像処理方法は、対象物を撮像した撮像画像を表示する表示手段を備え、上記対象物が矩形状である画像処理装置の画像処理方法であって、（ａ）上記対象物が撮像範囲内に収まっている場合に、上記撮像画像と、上記撮像画像の上記対象物の範囲を所定の矩形状に幾何学補正した補正処理後画像とを上記表示手段に表示させるステップを有する。

上記の方法によれば、対象物が撮像範囲内に収まっている場合に、補正処理後画像を表示手段に表示させる。このため、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示（プレビュー表示）させることができる。

さらに、本発明の画像処理方法において、上記ステップ（ａ）で、上記撮像画像と上記補正処理後画像とを同一画面内に表示させる。

上記の方法によれば、撮像画像と、補正処理後画像とを表示手段の同一画面内に表示させる。このため、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示（プレビュー表示）させることができる。

さらに、本発明の画像処理方法において、上記撮像画像において、線分状に連なるエッジ画素群を検出するステップ（ｂ）をさらに有し、上記ステップ（ａ）で、上記ステップ（ｂ）で検出された上記エッジ画素群の上に、上記ステップ（ｂ）で検出された４つのエッジ画素群で示される４つの線分の各々に対応する直線で囲まれる上記対象物の輪郭を示す四角形の輪郭線を、上記撮像画像に重ねて表示させる。

上記の方法によれば、エッジ画素群の上に、対象物の輪郭を示す輪郭線が重ねて表示されることにより、ユーザは、撮像画像において対象物がどのような位置にあるのかを容易に確認することができる。その結果、ユーザは、対象物が撮像範囲内でどのような位置にあるかを容易に確認したうえで画像データを記憶部に取り込むことが可能となる。

さらに、本発明の画像処理方法において、上記ステップ（ａ）で、上記輪郭線の頂点の座標を編集する指示を受け付け、編集された頂点の座標を結ぶ上記輪郭線で囲まれる領域の画像を基に上記補正処理後画像を生成する。

上記の方法によれば、ユーザは、所望の輪郭線で囲まれる領域に基づいた補正処理後画像を出力させることができる。

さらに、本発明の画像処理方法において、上記ステップ（ａ）における上記輪郭線の表示機能を有効にするか無効にするかを切り替えるステップ（ｃ）をさらに有する。

上記の方法によれば、ユーザは、対象物が原稿のような矩形である場合に輪郭線の表示機能を有効に切り替え、輪郭線を表示させる必要が無い対象物の場合に輪郭線の表示機能を無効に切り替えることができる。

さらに、本発明の画像処理方法において、上記ステップ（ａ）で、上記ステップ（ｃ）で上記輪郭線の表示機能を有効に設定している場合、幾何学補正された上記補正処理後画像を上記表示手段に表示させる。

上記の方法によれば、輪郭線の表示機能を切り替えることで、撮像画像に対して幾何学補正を行ったときの補正処理後画像を表示させることができる。

本発明は、対象物が撮像範囲内でどのような位置にあるかをユーザが容易に確認したうえで画像データを記憶部に取り込むことが可能な撮像装置を実現することができるという効果を奏する。

本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。 本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。 携帯端末装置が備える撮像範囲判定部の構成を示すブロック図である。 撮像範囲判定部の処理の一例を示すフローチャートである。 エッジ画像の生成例を示す図である。 連結エッジ領域のラベリングの方法を示す図である。 撮像対象物と背景との境界となる連結エッジ領域の候補である特徴領域の抽出処理の一例を示すフローチャートである。 多数の連結エッジ領域を含むエッジ画像から特徴領域を抽出する様子を示す図である。 矩形の撮像対象物と背景との境界の上辺となるエッジ画素群の近似直線を特定する直線抽出処理の一例を示すフローチャートである。 矩形の撮像対象物と背景との境界の左辺となるエッジ画素群の近似直線を特定する直線抽出処理の一例を示すフローチャートである。 特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出する例を示す図である。 エッジ画素群の近似直線の交点を求める例を示す図である。 表示処理部の処理例を示すフローチャートである。 撮像対象物が撮像範囲内であることを示す情報が表示された画面例を示す図である。 第１欠落情報が表示された画面例を示す図である。 第２欠落情報が表示された画面例を示す図である。 幾何学的配置検出部による画像の幾何学的歪みの検出例を示す図である。 画像における撮像対象物のエッジ検出処理例を示す図である。 画像のラスター方向のエッジ検出例を示す図である。 本発明の一実施形態に係る画像形成装置の構成を示すブロック図である。 画像形成装置が有する画像処理部の構成を示すブロック図である。 画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。 画像のレンズ歪みの補正例を示す図である。 画像の幾何学的歪みおよび傾きの補正例を示す図である。 高解像度補正の処理の一例を示すフローチャートである。 高解像度画像データにおける基準画素と補間画素とを示している。 １次微分フィルタ例を示す図である。 補間画素の画素値の決定方法を示す図である。 画像形成装置の処理の流れの全体を示すフローチャートである。 第１欠落情報の表示例を示す図である。 第２欠落情報の表示例を示す図である。 オートシャッタ機能が有効である場合の画面例を示す図である。 変形形態に係る携帯端末装置の構成を示すブロック図である。 画像の傾き検出例を示す図である。 図３４の傾き検出例における傾き角度θとその正接値を示す図である。 画像の再構成画素値の決定例を示す図である。 特徴領域抽出処理（Ｓ３）の変形例を示すフローチャートである。 図３７に示す特徴領域抽出処理によって撮像画像から特徴領域が抽出される様子を示す図である。 撮像画像に対して適用する検出方法の決定処理を示すフローチャートである。 図３９のフローチャートにより検出方法を決定する例を示す図である。 図１３に示すＳ６１１において行われる処理例を示すフローチャートである。 図１３のＳ６１２においてＮｏ、Ｓ６１４においてＮｏ、またはＳ６１５においてＮｏの場合に行われる処理例を示すフローチャートである。 図４１および図４２の処理に従って表示処理部が動作したときの表示部の画面例を示す図である。 撮像範囲判定部の変形例を示すブロック図である。 ドキュメント補正モードのオン／オフ切り替え用のチェックボックスを含む画面例を示す図である。 補正処理後画像が表示された画面例を示す。

以下、本発明の実施の形態について、詳細に説明する。

（１）撮像画像処理システムの全体構成
図１は、本発明に係る撮像画像処理システムの全体構成を示す図である。図１に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置（撮像装置）１００、複合機、プリンタなどの画像形成装置（画像出力装置）２００、および、インフォメーションディスプレイや電子黒板などの画像表示装置（画像出力装置）３００を備える。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。

本実施形態において、携帯端末装置１００は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、当該撮像により得られた画像を画像形成装置２００または画像表示装置３００から出力するための文書撮像モードの機能を有している。すなわち、携帯端末装置１００は、文書撮像モードでの撮像により得られ、画像形成装置２００または画像表示装置３００にて出力する対象となる画像データ（以下、出力対象画像データという）を画像形成装置２００または画像表示装置３００に送信する。

そして、画像形成装置２００は、受信した出力対象画像データに対して所定の画像処理を施し、画像処理後の出力対象画像データ（以下、補正済画像データという）、もしくは、補正済画像データで示される画像を出力する。また、画像表示装置３００は、出力対象画像データの表示処理を行う。

ここで、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像手段による撮像範囲から撮像対象物の一部がはみ出した状態、つまり、撮像対象物の一部が欠けた状態で撮像してしまうことがある。このような場合、ユーザが所望する情報の一部が欠けた状態で撮像されることとなる。本実施形態では、上記文書撮像モードが選択された場合、このような撮像対象物の一部が撮像範囲からはみ出した状態で撮像されることを防止する機能を携帯端末装置１００が有している。

なお、画像形成装置２００で実行される出力処理としては、補正済画像データで示される画像を印刷して出力する印刷処理、サーバやＵＳＢメモリなどの記憶装置へ出力対象画像データを格納するファイリング処理、電子メールに補正済画像データを添付して送信するメール送信処理などがある。画像表示装置３００で実行される出力処理は、出力対象画像データの表示処理である。

携帯端末装置１００と画像形成装置２００とは通信可能であり、携帯端末装置１００は、上述したように、出力対象画像データを画像形成装置２００に送信する。携帯端末装置１００と画像形成装置２００との通信方式としては、図１において符号ＡまたはＢで示されるような方式がある。符号Ａで示される方式は、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式である。符号Ｂで示される方式は、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から画像表示装置３００に一旦出力対象画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該画像表示装置３００から画像形成装置２００へ当該データを転送する方式である。本実施形態では、ユーザは、画像形成装置２００の前にきてから携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置１００から画像形成装置２００へデータ送信するものとする。

ここで、画像表示装置３００は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機エレクトロルミネッセンスディスプレイ等よりなるインフォメーションディスプレイや電子黒板等である。このような画像表示装置３００は、出力対象画像データで示される画像を表示させる表示処理を行う。この表示処理は、出力対象画像データの出力処理の１つである。すなわち、画像表示装置３００は、出力対象画像データの出力処理を行う画像出力装置であるといえる。画像表示装置３００で表示を行った後、画像形成装置２００で印刷を行う、あるいは、他のアドレスにｅ−ｍａｉｌ送信を行う、あるいは、コンピュータやネットワークで接続されているサーバ等に格納するようにすることもできる。

なお、携帯端末装置１００と画像形成装置２００および画像表示装置３００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像形成装置２００や画像表示装置３００に送信してもよい。

（２）携帯端末装置の構成
まず、図２に基づいて、本実施形態に係る携帯端末装置１００について説明する。図２は、携帯端末装置１００の構成を示すブロック図である。図２に示されるように、携帯端末装置１００は、撮像部１０１、撮像範囲判定部１１０、画像処理部１０３、通信部（送信部）１０４、表示部１０５、入力部１０６、記録媒体アクセス部１０７、記憶部１０８、制御部１０９を備えている。

撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行い、撮像により得られた撮像画像を表示部１０５に表示させる。なお、撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。なお、撮像部１０１により撮像される範囲（以下、撮像範囲という）は、予め設定された拡大縮小率に従って決定される。ここでは、撮像範囲は、幅がＸｍａｘ、高さがＹｍａｘの矩形であるとする。

撮像範囲判定部１１０は、ユーザにより文書撮像モードが選択された場合に、撮像部１０１により撮像され表示部１０５に表示されている撮像画像を基に、矩形状の撮像対象物が撮像範囲内に収まっているか否かを判定するものである。また、撮像範囲判定部１１０は、指定されたタイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして記憶部１０８に格納する。撮像範囲判定部１１０の詳細については後述する。

画像処理部１０３は、撮像部１０１により記憶部１０８に格納された出力対象画像データに対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、ユーザが入力した送信指示に従って出力対象画像データを画像形成装置２００または画像表示装置３００に送信する。

表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力等を行うためのものである。

記録媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。

また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置１００のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。また、記憶部１０８は、文書撮像モードで撮像することにより得られた出力対象画像データおよびその付属情報（後述する出力処理情報、ファイルネームなど）を記憶する。

制御部１０９は、携帯端末装置１００の各部の制御を行うものである。制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像形成装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。

制御部１０９は、記憶部１０８に格納された出力対象画像データに、ファイルネームおよび出力処理情報を付加する。

また、制御部１０９は、入力部１０６へ送信指示が入力されると、記憶部１０８に格納されている出力対象画像データを画像形成装置２００または画像表示装置３００に送信する送信処理を通信部１０４に実行させる。このとき、通信部１０４は、出力対象画像データとともに、当該出力対象画像データに対応付けられた、ファイルネームおよび出力処理情報と、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて画像形成装置２００または画像表示装置３００に送信する。

（３）撮像範囲判定部について
（３−１）撮像範囲判定部の構成
次に、携帯端末装置１００の撮像範囲判定部１１０の詳細な構成について説明する。図３は、撮像範囲判定部１１０の内部構成を示すブロック図である。図３に示されるように、撮像範囲判定部１１０は、幾何学的配置検出部１１１と、表示処理部１１２と、出力対象画像決定部１１３とを備えている。

幾何学的配置検出部１１１は、撮像対象物が矩形状であると仮定して、当該撮像対象物と背景との境界となるエッジ画素群を抽出することにより、撮像対象物の幾何学的配置（幾何学的歪み）を検出するものである。

表示処理部１１２は、表示部１０５に表示された撮像画像において、幾何学的配置検出部１１１により検出されたエッジ画素群の上に、撮像対象物の輪郭を示す輪郭線を重ねて表示させるものである。これにより、ユーザは、輪郭線を確認することで、撮像対象物が撮像範囲内に収まっているか否かを容易に確認することができる。

また、表示処理部１１２は、撮像対象物の幾何学的配置に基づいて、撮像範囲に撮像対象物が収まっているか否かを判定し、その判定結果を表示部１０５に表示する。これにより、ユーザは、判定結果を確認することにより、撮像対象物が撮像範囲に収まっているか否かをより一層容易に確認することができる。そして、収まっていない場合には、ユーザは、携帯端末装置１００の向きや位置を変更することにより、撮像対象物を撮像範囲に収めることができる。

出力対象画像決定部１１３は、指定されたタイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして決定し、当該出力対象画像データを記憶部１０８に格納するものである。

（３−２）撮像範囲判定部の処理
次に、撮像範囲判定部１１０の具体的な処理の一例について説明する。図４は、撮像範囲判定部１１０の処理の一例を示すフローチャートである。

（ステップ１（Ｓ１））
まず、幾何学的配置検出部１１１は、撮像部１０１により撮像され、表示部１０５に表示されている撮像画像の中から、エッジ画素の抽出を行う。そして、幾何学的配置検出部１１１は、エッジ画素を「１」とし、非エッジ画素を「０」とするエッジ画像を生成する。

エッジ画素の抽出には、例えば、撮像部１０１による撮像された輝度画像に対しＣａｎｎｙフィルタを適用して抽出する。Ｃａｎｎｙフィルタとは、ガウシアンフィルタとソーベルフィルタを用いて、細線化されたエッジを検出するフィルタである。なお、この時、処理高速化のために、画像サイズを縮小しても良い。また、エッジ画素の検出精度を高めるために、例えば、フィルタ処理を行う前に、平滑化や、フィルタ処理後に、膨張収縮などのモルフォロジー変換を行っても良い。

図５は、輝度画像から抽出されたエッジ画像を示す図である。図５において上段が輝度画像を示し、下段が抽出されたエッジ画像を示す。

（ステップ２（Ｓ２））
次に、幾何学的配置検出部１１１は、連結したエッジ画素の領域（連結エッジ領域）ごとに異なるラベルを付すラベリング処理を行う。

幾何学的配置検出部１１１は、例えば、図６で示されるように以下の方法を用いてラベリングを行う。
（Ｉ）注目画素がエッジ画素の場合、注目画素の上隣の画素がエッジ画素で、すでにラベルがつけられていれば、注目画素にも同じラベルをつける（図６（ａ））。
（ＩＩ）左隣の画素もエッジ画素で、上隣の画素とは異なるラベルがつけられている場合は、上隣と同じラベルをつける（図６（ｂ））。
（ＩＩＩ）上隣の画素が非エッジ画素で左隣がエッジ画素の場合、注目画素に左隣と同じラベルをつける（図６（ｃ））。
（ＩＶ）上隣も左隣も非エッジ画素の場合、注目画素に新しいラベルをつける（図６（ｄ））。
（Ｖ） 全てのエッジ画素に対しラベル付けを行う。
（ＶＩ）複数のラベルがつけられている場合、上記の規則に基づいてラベルを統一する。

（ステップ３（Ｓ３））
次に、幾何学的配置検出部１１１は、ラベル付けがされた連結エッジ領域の中から、撮像対象物と背景との境界を含む領域の候補（以下、特徴領域という）を抽出する（Ｓ３）。

撮像対象物は、その中心を撮像範囲の中心付近とし、撮像範囲の中の大部分を占めるようにして撮像されるのが通常である。そのため、撮像対象物と背景との境界は、その中心が撮像範囲の中心付近に位置し、かつ、撮像範囲の横方向（幅方向）の長さおよび縦方向（高さ方向）の長さが長くなる。そこで、幾何学的配置検出部１１１は、以下の条件Ａを満たす連結エッジ領域を特徴候補として抽出する。

条件Ａ：撮像範囲において左上角を原点とし、右方向（幅方向）をｘ軸、下方向（高さ方向）をｙ軸とし、撮像範囲の右端のｘ座標をＸｍａｘ、撮像範囲の下端のｙ座標をＹｍａｘとする。このとき、連結エッジ領域の幅方向の長さが撮像範囲の幅（つまりＸｍａｘ）の１／４以上、かつ、高さ方向の長さが撮像範囲の高さ（つまりＹｍａｘ）の１／４以上であり、かつ、連結エッジ領域の中心ｘ座標が、Ｘｍａｘ／４以上かつ３×Ｘｍａｘ／４以下で、領域の中心ｙ座標が、Ｙｍａｘ／４以上かつ３×Ｙｍａｘ／４以下である。

図７は、特徴領域抽出処理（Ｓ３）の詳細な処理例を示すフローチャートである。図７に示されるように、まず、幾何学的配置検出部１１１は、Ｓ２でラベル付けされた連結エッジ領域の１つを選択する（Ｓ３０１）。そして、幾何学的配置検出部１１１は、選択した連結エッジ領域について、幅方向の長さ、高さ方向の長さ、中心ｘ座標、中心ｙ座標を特定する。具体的には、連結エッジ領域を構成するエッジ画素のうち、最大のｘ座標から最小のｘ座標を引くことにより幅方向の長さを求め、最大のｙ座標から最小のｙ座標を引くことにより高さ方向の長さを求め、最大のｘ座標と最小のｘ座標との平均値を中心ｘ座標として求め、最大のｙ座標と最小のｙ座標との平均値を中心ｙ座標として求める。

次に、幾何学的配置検出部１１１は、中心ｘ座標がＸｍａｘ／４以上かつ３×Ｘｍａｘ／４以下であるか判定する（Ｓ３０２）。

Ｓ３０２でＹｅｓの場合、幾何学的配置検出部１１１は、中心ｙ座標がＹｍａｘ／４以上かつ３×Ｙｍａｘ／４以下であるか判定する（Ｓ３０３）。

Ｓ３０３でＹｅｓの場合、幾何学的配置検出部１１１は、連結エッジ領域の幅方向の長さがＸｍａｘ／４以上であるか判定する（Ｓ３０４）。

Ｓ３０４でＹｅｓの場合、幾何学的配置検出部１１１は、連結エッジ領域の高さ方向の長さがＹｍａｘ／４以上であるか判定する（Ｓ３０５）。

Ｓ３０５でＹｅｓの場合、選択した連結エッジ領域を特徴領域として抽出する（Ｓ３０６）。その後、幾何学的配置検出部１１１は、未選択の連結エッジ領域があるか確認し、ある場合には、未選択の一つの連結エッジ領域を選択する（Ｓ３０８）。

一方、Ｓ３０２〜Ｓ３０５のいずれかにおいてＮｏである場合には、選択した連結エッジ領域を特徴領域として抽出せずに、Ｓ３０８の処理に移行する。

その後、Ｓ３０８にて選択した連結エッジ領域について、Ｓ３０２以降の処理を実行する。これにより、上記の条件Ａを満たす連結エッジ領域を特徴領域として抽出することができる。そして、幾何学的配置検出部１１１は、抽出された特徴領域に属する画素のみをエッジ画素とし、残りの画素を非エッジ画素とした特徴領域画像データを生成する。

図８は、多数の連結エッジ領域を含むエッジ画像から特徴領域を抽出する様子を示す図である。図８において、左列はエッジ画像である。また、中列は、Ｓ３０２およびＳ３０３の処理により、中心座標が撮像範囲の端部側に位置する連結エッジ領域が除かれた状態を示す画像である。右列は、中列からさらにＳ３０４およびＳ３０５の処理により、幅方向の長さまたは高さ方向の長さが短い連結エッジ領域が除かれ、抽出された特徴領域のみを示す画像である。すなわち、右列は、特徴領域画像データで示される画像である。

図８に示すように、Ｓ３の処理により、矩形の撮像対象物と背景との境界となるエッジ画素の候補である特徴領域が抽出される。ただし、図８の下段で示されるように、画像によっては、撮像対象物と背景との境界以外のエッジ画素が特徴領域として抽出される場合もある。

（ステップ４（Ｓ４））
そこで、幾何学的配置検出部１１１は、特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出し、当該エッジ画素群の近似直線を特定する処理（直線抽出処理）を行う（Ｓ４）。

ここで、上辺は、撮像画像の中の上半分（つまり、ｙ座標が０からＹｍａｘ／２の範囲）に位置し、撮像範囲の幅方向に平行である確率が高い。また、左辺は、撮像画像の左半分（つまり、ｘ座標が０からＸｍａｘ／２の範囲）に位置し、撮像範囲の高さ方向に平行である確率が高い。右辺は、撮像画像の右半分（つまり、ｘ座標がＸｍａｘ／２からＸｍａｘの範囲）に位置し、撮像範囲の高さ方向に平行である確率が高い。下辺は、撮像画像の下半分（つまり、ｙ座標がＹｍａｘ／２からＹｍａｘの範囲）に位置し、撮像範囲の幅方向に平行である確率が高い。

そこで、存在する確率の高い範囲において、特徴領域画像データの中から特定の方向に連なるエッジ画素の数が最大であり、所定長さ以上の線分状のエッジ画素群を、矩形の撮像対象物と背景との境界となる線分状に連なるエッジ画素群として抽出する。そして、抽出したエッジ画素群の近似直線を特定する。

図９は、図４に示すＳ４の処理のうち、上辺を構成するエッジ画素群の近似直線を特定する処理の流れを示すフローチャートである。

まず、幾何学的配置検出部１１１は、変数ｘ＝０、変数count＝０、変数pre_y＝−１を設定する（Ｓ４０１）。次に、幾何学的配置検出部１１１は、変数ｙ＝０を設定する（Ｓ４０２）。

そして、幾何学的配置検出部１１１は、特徴領域画像データにおいて、座標（ｘ、ｙ）で示される画素がエッジ画素であるか確認する（Ｓ４０３）。Ｓ４０３でＮｏである場合、変数ｙをｙ＋１に変更する（Ｓ４０４）。続いて、変更後の変数ｙが撮像範囲の高さ（つまりＹｍａｘ）の１／２より大きいか確認する（Ｓ４０５）。Ｓ４０５でＮｏの場合、Ｓ４０３の処理に戻る。

Ｓ４０３〜Ｓ４０５の処理を繰り返すことにより、特徴領域画像データにおいて、（０，０）座標から撮像範囲の高さの１／２の座標まで、ｙ軸下方向に探索していき、最初にエッジ画素が見つかった時点で、Ｓ４０３でＹｅｓとなる。Ｓ４０３でＹｅｓとなると、幾何学的配置検出部１１１は、
pre_y−１≦ｙ≦pre_y＋１
を満たすか確認する（Ｓ４０７）。

Ｓ４０７を満たさない場合、幾何学的配置検出部１１１は、変数countの値を前回設定した座標群に格納する（Ｓ４０８）。その後、幾何学的配置検出部１１１は、新たな座標群［ｘ］を設定するとともに、変数countを０に設定する（Ｓ４０９）。一方、Ｓ４０７を満たす場合、幾何学的配置検出部１１１は、変数countを１だけ加算し（Ｓ４１０）、最も新しく設定された座標群に座標（ｘ、ｙ）を格納する（Ｓ４１１）。そして、Ｓ４０９またはＳ４１１の後、幾何学的配置検出部１１１は、変数pre_yをｙに設定する（Ｓ４１２）。

一方、ｙ軸下方向に探索していき、エッジ画素が見つからなかったとき（Ｓ４０５でＮｏ）、幾何学的配置検出部１１１は、変数count＝０、変数pre_y＝−１を設定する（Ｓ４０６）。

Ｓ４０６またはＳ４１２の後、幾何学的配置検出部１１１は、変数ｘに１を加算する（Ｓ４１３）。続いて、変更後の変数ｘが撮像範囲の幅（つまりＸｍａｘ）より大きいか確認する（Ｓ４１４）。Ｓ４１４でＮｏの場合、Ｓ４０２の処理に戻る。

例えば、ｘ＝０において、ｙ軸下方向に探索していき、最初に見つかったエッジ画素の座標（０,ｙ０）を記録する。次に、（１，０）座標からy軸下方向に探索していき、最初にエッジ画素が見つかった時点の座標（１，ｙ１）を記録する。この時、ｙ０−１≦ｙ１≦ｙ０＋１ならば、この２点は特定方向に沿って連なっていると判断し、Ｓ４０９において変数countを１増やすとともに、座標（１、ｙ１）を座標群［０］に格納する。ｙ０−１≦ｙ１≦ｙ０＋１を満たすということは、撮像範囲の幅方向から所定角度の範囲内の特定方向で２点が連続していることとなる。

このようにして、座標（ｋ、ｙｋ）まで座標群［０］に格納した後、（ｋ＋１，０）座標からy軸下方向に探索して最初に見つかったエッジ画素の座標（ｋ＋１，ｙ（ｋ＋１））が、ｙｋ−１≦ｙ（ｋ＋１）≦ｙｋ＋１を満たさないとする。この場合、Ｓ４０８において、変数countの値ｋが座標群［０］に格納される。また、Ｓ４０９において新たな座標群［ｋ＋１］が設定され、変数countが０にリセットされる。

上記の処理を、ｘが撮像範囲の幅（つまりＸｍａｘ）になるまで繰り返す。その後、幾何学的配置検出部１１１は、最も座標数の大きい座標群、すなわち、最もcountの値が大きい座標群を選択する（Ｓ４１５）。そして、幾何学的配置検出部１１１は、選択した座標群に含まれる座標数（つまりcount値）がＸｍａｘ／４以上であるか確認する（Ｓ４１６）。Ｓ４１６でＮｏの場合、撮像対象物と背景との境界線となる上辺としては短いため、幾何学的配置検出部１１１は、上辺を構成する直線を抽出できなかった旨の情報（抽出不可情報）を生成する（Ｓ４１７）。

一方、Ｓ４１６でＹｅｓの場合、幾何学的配置検出部１１１は、選択した座標群に含まれる複数の座標を基に、最小二乗法を用いて、近似直線の式を求める（Ｓ４１８）。Ｓ４１６でＹｅｓの場合、最も座標数の大きい座標群は、撮像範囲の幅方向から予め定められた角度範囲内の方向に、Ｘｍａｘ／４以上の長さの線分状に連なるエッジ画素群である。そのため、当該エッジ画素群は、撮像対象物と背景との境界の上辺を示す確率が非常に高くなる。

例えば、座標数の最も大きい座標群に（６，１２０）、（７，１２０）、（８，１２１）、（９，１２２）、（１０，１２１）が格納されているなら、幾何学的配置検出部１１１は、最小二乗法によりｙ＝０．４ｘ＋１１７．６ という式を求める事ができる。

同様の処理を下辺、右辺、左辺にも行うことで、四辺の直線を抽出する。
なお、下辺の場合には、図９のＳ４０２において変数ｙ＝Ｙｍａｘを設定する。また、Ｓ４０４において変数ｙから１だけ減算し、Ｓ４０５において、変更後の変数ｙが撮像範囲の高さ（つまりＹｍａｘ）の１／２より小さいか確認する。

また、左辺の場合には、図１０の処理を行えばよい。図１０は、図９においてｘとｙとを入れ替えた処理となる。これは、左辺が、撮像範囲の左半分に位置し、撮像範囲の高さ方向に平行である確率が高いことに起因している。図１０によれば、Ｓ４１８では、撮像範囲の高さ方向から予め定められた角度範囲内の方向に、Ｙｍａｘ／４以上の長さの線分状に連なるエッジ画素群を基に、直線の式を求める。当該エッジ画素群は、撮像対象物と背景との境界の左辺を示す確率が非常に高くなる。

また、右辺の場合には、図１０のＳ４０２’において変数ｘ＝Ｘｍａｘを設定する。また、Ｓ４０４’において変数ｘから１だけ減算し、Ｓ４０５’において、変更後の変数ｘが撮像範囲の幅（つまりＸｍａｘ）の１／２より小さいか確認する。

図１１は、特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出（検出）する例を示す図である。図１１の（ａ）は、全ての特徴領域を示す画像である。（ｂ）は、矩形の撮像対象物と背景との境界となる四角形の上辺として抽出されたエッジ画素群を実線で示す。（ｃ）は、矩形の撮像対象物と背景との境界となる四角形の左辺として抽出されたエッジ画素群を実線で示す。（ｄ）は、矩形の撮像対象物と背景との境界となる四角形の下辺として抽出されたエッジ画素群を実線で示す。（ｅ）は、矩形の撮像対象物と背景との境界となる四角形の右辺として抽出されたエッジ画素群を実線で示す。

このようにして、幾何学的配置検出部１１１は、上辺として抽出されたエッジ画素群の近似直線を上辺直線、左辺として抽出されたエッジ画素群の近似直線を左辺直線、右辺として抽出されたエッジ画素群の近似直線を右辺直線、下辺として抽出されたエッジ画素群の近似直線を下辺直線とし、各直線の式を生成する。

（ステップ５（Ｓ５））
Ｓ４による四辺の直線抽出処理が終了すると、幾何学的配置検出部１１１は、Ｓ４で求めた直線の式に基づいて、交点座標を求める（Ｓ５）。

Ｓ４において四辺に対応する直線の式が求められた場合、幾何学的配置検出部１１１は、２直線の交点座標は容易に求める事ができる。すなわち、幾何学的配置検出部１１１は、左辺直線と上辺直線の交点座標を左上頂点座標、上辺直線と右辺直線の交点座標を右上頂点座標、右辺直線と下辺直線の交点座標を右下頂点座標、下辺直線と左辺直線の交点座標を左下頂点座標として求める。そして、幾何学的配置検出部１１１は、これら４つの頂点座標を含む抽出結果情報を表示処理部１１２に出力する。

図１２は、４つの頂点座標を求める例を示す図である。図１２では、左上頂点座標（Ｘ１，Ｙ１）、右上頂点座標（Ｘ２，Ｙ２）、右下頂点座標（Ｘ３，Ｙ３）、左下頂点座標（Ｘ４，Ｙ４）が求められている。

また、Ｓ４において三辺のみに対応する直線の式が求められた場合、幾何学的配置検出部１１１は、残りの一辺に対応する直線を撮像範囲端の直線として、当該直線の式を求める。つまり、左辺が抽出できない場合にはｘ＝０、右辺が抽出できない場合にはｘ＝Ｘｍａｘ、上辺が抽出できない場合にはｙ＝０、下辺が抽出できない場合にはｙ＝Ｙｍａｘを残りの一辺に対応する直線の式とする。そして、幾何学的配置検出部１１１は、その直線式を用いて４つの頂点座標を求める。

ただし、撮像範囲端の直線との交点について仮頂点座標として求める。例えば、右辺が抽出できなかった場合、右上頂点座標および右下頂点座標は仮頂点座標として求められる。

そして、幾何学的配置検出部１１１は、４つの頂点座標と、三辺のみが抽出できたことを示す情報と、抽出できなかった辺を示す抽出不可情報とを含む抽出結果情報を生成し、表示処理部１１２に出力する。なお、仮頂点座標については、仮頂点座標であることを示す情報が付けられている。

また、Ｓ４において、三辺または四辺に対応する直線の式が求められなかった場合、幾何学的配置検出部１１１は、撮像対象物と背景との境界を適切に抽出できなかった旨を示す抽出結果情報を生成し、表示処理部１１２に出力する。

（ステップ６（Ｓ６））
続いて、表示処理部１１２は、抽出結果情報に基づいた表示処理を行う。具体的には、以下のとおりである。

表示処理部１１２は、抽出結果情報で示される４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として撮像画像に重ねて表示する。

また、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含まない場合、表示処理部１１２は、４つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部１１２は、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示部１０５に表示させる。

また、３つの頂点座標が撮像範囲内であり、１つの頂点座標が撮像範囲外である場合、表示処理部１１２は、撮像対象物の一部（一角）が撮像できないことを示す第１欠落情報を表示部１０５に表示させる。

さらに、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含む場合、表示処理部１１２は、４つの頂点座標が撮像範囲内であるか否かを判断する。全ての頂点座標が撮像範囲内であれば、表示処理部１１２は、撮像対象物の一部（一辺）が撮像できないことを示す第２欠落情報を表示部１０５に表示させる。

上記以外の場合には、表示処理部１１２は、表示部１０５の画面をそのままにしておいてもよいし、撮像部１０１の向きの変更を促す情報（例えば、「撮像対象物が撮像範囲内に収まるようにカメラの向きを調整してください」等）を表示部１０５に表示させてもよい。

図１３は、Ｓ６の処理の詳細を示すフローチャートである。
まず、表示処理部１１２は、矩形の撮像対象物と背景との境界となる四辺全てが抽出されたか判断する（Ｓ６０１）。ここでは、表示処理部１１２は、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含まない場合に、四辺全てが抽出されたと判断する。

四辺全てが抽出された場合（Ｓ６０１でＹｅｓ）、表示処理部１１２は、抽出結果情報で示される左上頂点座標（Ｘ１，Ｙ１）が撮像範囲内であるか否かを判断する（Ｓ６０２）。具体的には、表示処理部１１２は、０≦Ｘ１≦Ｘｍａｘ、および、０≦Ｙ１≦Ｙｍａｘ の両方を満たすか否かを判断し、両方ともを満たす場合に左上頂点座標が撮像範囲内であると判断する。

左上頂点座標が撮像範囲内である場合、表示処理部１１２は、左上頂点座標（Ｘ１，Ｙ１）が撮像範囲内であることを示すフラグを生成し、記憶する（Ｓ６０３）。一方、左上頂点座標が撮像範囲外である場合、次の処理に移行する。

表示処理部１１２は、Ｓ６０２およびＳ６０３と同様の処理を、右上頂点座標（Ｘ２、Ｙ２）、右下頂点座標（Ｘ３，Ｙ３）、左下頂点座標（Ｘ４，Ｙ４）についても行う（Ｓ６０４〜Ｓ６０９）。

そして、表示処理部１１２は、全ての頂点座標に対してフラグを記憶しているか確認する（Ｓ６１０）。全ての頂点座標に対してフラグを記憶している場合（Ｓ６１０でＹｅｓ）、表示処理部１１２は、撮像対象物が欠落することなく撮像範囲内に収まっていると判断する。そして、表示処理部１１２は、抽出結果情報で示される４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として撮像画像に重ねて表示する。ここで、頂点座標は、幾何学的配置検出部１１１により検出された線分状のエッジ画素群に対する近似直線の交点である。そのため、エッジ画素群の上に輪郭線が重ねて表示されることとなる。また、表示処理部１１２は、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示部１０５に表示させる（Ｓ６１１）。また、このとき、表示処理部１１２は、出力対象画像を決定するためのシャッタボタンも合わせて表示部１０５に表示させる。

図１４は、Ｓ６１１において表示部１０５に表示される画面の一例を示す図である。図１４に示されるように、頂点座標を結ぶ四角形の線である輪郭線Ｌは、矩形の撮像対象物と背景との境界上に表示されることとなる。そのため、ユーザは、撮像対象物が撮像範囲内であることを容易に確認することができる。

なお、図１４において、符号１０は、シャッタボタンであり、符号２０は、オートフォーカス設定ボタンであり、符号３０は、露出調整バーであり、符号４０は、画像読み込みボタンであり、符号５０は、条件設定ボタンである。シャッタボタン１０は、表示部１０５に表示されている撮像画像を出力対象画像として決定するためのボタンである。オートフォーカスボタン２０は、自動的に焦点をあわせるためのボタンである。露出調整バー４０は、光の露出を調整するためのバーである。画像読み込みボタン４０は、事前に保存しておいた画像を、撮像された画像として処理するためのものである。画像読み込みボタン４０が押下されると、保存された画像一覧画面が表示され、その中の一つがユーザにより選択されると、それを撮像部１０１で撮像した画像として、次の処理（シャッターが押された後の処理）が行われる。条件設定ボタン５０は、各種の撮像条件を設定するためのボタンである。

一方、全ての頂点座標に対してフラグを記憶していない場合（Ｓ６１０でＮｏ）、表示処理部１１２は、３つの頂点座標に対してフラグを記憶しているか確認する（Ｓ６１２）。

Ｓ６１２でＮｏの場合、つまり、２以下の頂点座標のみが撮像範囲内である場合には、表示処理部１１２は、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示部１０５に表示しない。そのため、ユーザは、撮像対象物が撮像範囲内にないことを認識して、撮像部１０１の向きを変更させる。撮像部１０１の向きが変更された後（Ｓ６１７）、再度Ｓ１の処理に戻る。すなわち、撮像部１０１の向きが変更された後の画像データに基づいて、再度Ｓ１以降の処理が実施される。

Ｓ６１２でＹｅｓの場合、つまり、３つの頂点座標が撮像範囲内である場合には、表示処理部１１２は、４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として撮像画像に重ねて表示する。さらに、表示処理部１１２は、撮像対象物の一部（一角）が撮像できないことを示す第１欠落情報を表示部１０５に表示させる（Ｓ６１３）。

図１５の（ａ）（ｂ）は、Ｓ６１３において表示部１０５に表示される画面の一例を示す図である。図１５に示されるように、頂点座標を結ぶ四角形の線である輪郭線Ｌは、矩形の撮像対象物と背景との境界上に表示されることとなる。そのため、ユーザは、撮像対象物が撮像範囲内であることを容易に確認することができる。

また、第１欠落情報として、撮像範囲外に位置する頂点座標の付近に、角が欠落していることを示す第１アイコンＢが表示されている。ここでは、表示処理部１１２は、撮像範囲外の頂点座標を基に、撮像範囲の中から当該頂点座標に最も近い点を特定し、特定した点から予め定められた距離の範囲内に第１アイコンＢを表示する。このとき、表示処理部１１２は、第１アイコンＢと輪郭線Ｌとが重ならないように表示する。これにより、第１アイコンＢを確認したユーザは、当該第１アイコンＢの近くの角が撮像範囲から外れていることを容易に認識することができる。そして、ユーザは、撮像対象物が撮像範囲に収まるように、撮像部１０１の向きを容易に変更することができる。撮像部１０１の向きが変更された後（Ｓ６１７）、再度Ｓ１の処理に戻る。すなわち、撮像部１０１の向きが変更された後の画像データに基づいて、再度Ｓ１以降の処理が実施される。

また、Ｓ６０１でＮｏの場合、表示処理部１１２は、矩形の撮像対象物と背景との境界となる四辺のうちの三辺のみが抽出されたか判断する（Ｓ６１４）。ここでは、表示処理部１１２は、抽出結果情報が４つの頂点座標を含み、抽出不可情報を含む場合に、三辺のみが抽出されたと判断する。

Ｓ６１４でＹｅｓの場合、表示処理部１１２は、抽出結果情報で示される、仮頂点座標を除く２つの頂点座標が撮像範囲内であるか判断する（Ｓ６１５）。ここで、仮頂点座標を除く２つの頂点座標とは、抽出された三辺が上辺、左辺、右辺の場合には、上辺および左辺の交点である左上頂点座標と、上辺および右辺の交点である右上頂点座標である。また、抽出された三辺が上辺、左辺、下辺の場合には、上辺および左辺の交点である左上頂点座標と、左辺および下辺の交点である左下頂点座標である。また、抽出された三辺が左辺、下辺、右辺の場合には、下辺および左辺の交点である左下頂点座標と、下辺および右辺の交点である右下頂点座標である。また、抽出された三辺が上辺、右辺、下辺の場合には、上辺および右辺の交点である右上頂点座標と、下辺および右辺の交点である右下頂点座標である。Ｓ６１５の処理は、Ｓ６０２〜Ｓ６０９と同様の処理となる。

Ｓ６１４またはＳ６１５でＮｏの場合、表示処理部１１２は、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示部１０５に表示しない。そのため、ユーザは、撮像対象物が撮像範囲内にないことを認識して、撮像部１０１の向きを変更させる。撮像部１０１の向きが変更された後（Ｓ６１７）、再度Ｓ１の処理に戻る。

一方、Ｓ６１５でＹｅｓの場合、表示処理部１１２は、４つの頂点座標を結ぶ四角形の線のうち２つの仮頂点座標間の辺を除く線を撮像対象物の輪郭線として撮像画像に重ねて表示する。そして、表示処理部１１２は、撮像対象物の一部（一辺）が撮像できないことを示す第２欠落情報を表示部１０５に表示させる（Ｓ６１６）。

図１６は、Ｓ６１６において表示部１０５に表示される画面の一例を示す図である。図１６に示されるように、輪郭線Ｌは、矩形の撮像対象物と背景との境界上に表示されることとなる。そのため、ユーザは、撮像対象物が撮像範囲内であることを容易に確認することができる。

また、第２欠落情報として、撮像範囲外に位置する辺の付近に、撮像対象物の外枠の一辺が欠落していることを示す第２アイコンＣが表示されている。なお、表示処理部１１２は、抽出不可情報で示される辺に対応する撮像範囲の枠の辺から予め定められた範囲内に第２アイコンＣを表示する。例えば、抽出不可情報が右辺である場合には、撮像範囲の外枠の右辺（つまり、ｘ＝Ｘｍａｘで示される線）の付近に第２アイコンＣを表示する。これにより、第２アイコンＣを確認したユーザは、第２アイコンＣの近くの辺が撮像範囲から外れていることを容易に認識することができる。これにより、ユーザは、撮像対象物が撮像範囲に収まるように、撮像部１０１の向きを容易に変更することができる。そして、撮像部１０１の向きが変更された後（Ｓ６１７）、再度Ｓ１の処理に戻る。すなわち、撮像部１０１の向きが変更された後の画像データに基づいて、再度Ｓ１以降の処理が実施される。

なお、表示処理部１１２は、輪郭線Ｌとは異なる色の第１欠落情報および第２欠落情報を表示することが好ましい。これにより、ユーザは、第１欠落情報および第２欠落情報の確認が容易となる。

（ステップ７（Ｓ７））
最後に、出力対象画像決定部１１３は、出力処理の対象となる画像データである出力対象画像データを決定する。具体的には、出力対象画像決定部１１３は、図１４に示されるように、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）と、シャッタボタン１０とが表示部１０５に表示されている状態において、シャッタボタン１０が操作されたタイミングを検知する。そして、出力対象画像決定部１１３は、シャッタボタン１０が操作されたタイミングを指定されたタイミングとして、当該タイミングで表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データとして決定する。

なお、出力対象画像決定部１１３は、撮像対象物が撮像範囲内であることを示す情報が表示されているときのみ、シャッタボタン１０の操作を受け付け可能としている。

（３−３）幾何学的配置検出部の別の処理例（その１）
幾何学的配置検出部１１１は、上記のＳ２の処理を省略し、上記のＳ３において図３７に示すような処理を行うことで、撮像対象物と背景との境界を含む領域の候補（特徴領域）を抽出してもよい。なお、図３７は、本変形例における特徴領域抽出処理（Ｓ３）を示すフローチャートである。また、図３８は、本変形例における特徴領域抽出処理によって特徴領域が抽出される様子を示す図である。

まず、幾何学的配置検出部１１１は、図３８で示されるように、（１）の撮像画像からＳ１で抽出した（２）のエッジ画像を取得する。そして、幾何学的配置検出部１１１は、抽出されたエッジ画像に対して、一段階の膨張処理を行う（Ｓ３１１）。一段階の膨張処理とは、注目画素がエッジの場合、注目画素の周辺４近傍（注目画素の上、左、下、右に位置する画素）の画素をエッジにする処理である。図３８の（３）は、膨張処理後のエッジ画像を示しており、エッジ部分が膨張していることがわかる。

次に、幾何学的配置検出部１１１は、エッジ画像を反転させる（Ｓ３１２）。すなわち、エッジ画像においてエッジ画素を非エッジ画素に、非エッジ画素をエッジ画素に置換する。図３８の（４）は、反転処理後のエッジ画像を示している。図３８の（３）（４）に示されるように、膨張してエッジ領域同士の接続数を増加させた後に反転処理した画像において、画像端（撮像範囲端）に接している領域は背景であるとみなすことができる。

続いて、幾何学的配置検出部１１１は、反転処理後のエッジ画像に対して、連結したエッジ画素の領域（連結領域）ごとに異なるラベルを付すラベリング処理を行う（Ｓ３１３）。当該ラベリング処理は、上記のＳ２と同様を処理を行えばよい。

幾何学的配置検出部１１１は、Ｓ３１３でラベル付けされた連結領域の１つを選択し、中心ｘ座標、中心ｙ座標を特定する（Ｓ３１４）。具体的には、最大のｘ座標と最小のｘ座標との平均値を中心ｘ座標として求め、最大のｙ座標と最小のｙ座標との平均値を中心ｙ座標として求める。

次に、幾何学的配置検出部１１１は、中心ｘ座標がＸｍａｘ／４以上かつ３×Ｘｍａｘ／４以下であるか判定する（Ｓ３１５）。

Ｓ３１５でＹｅｓの場合、幾何学的配置検出部１１１は、中心ｙ座標がＹｍａｘ／４以上かつ３×Ｙｍａｘ／４以下であるか判定する（Ｓ３１６）。

Ｓ３１６でＹｅｓの場合、幾何学的配置検出部１１１は、連結領域が画像端から離れているかどうかを判定する（Ｓ３１７）。具体的には、選択した連結領域の最大のｘ座標が画像右端のｘ座標（画像幅−１）に一致するか、最小のｘ座標が画像左端のｘ座標（０）に一致するか、最大のｙ座標が画像下端のｙ座標（画像高さ−１）に一致するか、最小のｙ座標が画像上端のｙ座標（０）に一致するかを判定する。そして、一つでもＹｅｓであるなら、連結領域が画像端に接している（画像端から離れていない）と判定し、全てがＮｏであれば、画像端から離れていると判定する。

Ｓ３１７でＹｅｓの場合、幾何学的配置検出部１１１は、選択した連結領域を特徴領域として抽出する（Ｓ３１８）。その後、未選択の連結領域があるか確認する（Ｓ３１９）。一方、Ｓ３１５，Ｓ３１６，Ｓ３１７の何れかにおいてＮｏである場合には、選択した連結領域を特徴領域として抽出せずに、未選択の連結領域があるか確認する（Ｓ３１９）。

その後、幾何学的配置検出部１１１は、未選択の連結領域がある場合には、未選択の一つの連結領域を選択する（Ｓ３２０）。一方、未選択の連結領域がない場合には、幾何学的配置検出部１１１は、特徴領域抽出処理を終了して図４のＳ４の処理を行い、撮像対象物と背景との境界を示す確率の高い、線分状に連なるエッジ画素群を検出する。

図３８の（５）は、Ｓ３１５またはＳ３１６でＮｏと判定された連結領域を示している。図３８の（５）で示される連結領域は、中心座標が画像端に近い領域であり、矩形状の撮像対象物以外の背景部分、または、撮像対象物の端部に描かれた小さい領域である可能性が高い。そのため、図３８の（５）で示される連結領域は特徴領域として抽出されない。

また、図３８の（６）は、Ｓ３１７でＮｏの判定された連結領域を示している。図３８の（６）で示される連結領域は、画像端に接している領域であり、撮像対象物以外の背景部分である可能性が高い。そのため、図３８の（６）で示される連結領域は特徴領域として抽出されない。

図３８の（７）は、（４）で示される画像から（５）および（６）の領域を除いた領域であり、特徴領域として抽出された領域を示す。図示されるように、撮像対象物と背景との境界を含む領域が特徴領域として抽出されていることがわかる。

（３−４）幾何学的配置検出部の別の処理例（その２）
幾何学的配置検出部１１１は、Ｓ２〜Ｓ４の処理とは別に、以下のような処理を行うことで、撮像対象物と背景との境界となる線分状に連なるエッジ画素群に対応する直線の式を求めても良い。

つまり、幾何学的配置検出部１１１は、撮像画像データの中から、線分状に連なるエッジ画素の群を検出し（直線認識を行い）、検出したエッジ画素の群を、撮像対象物と背景との境界と見なす。

まず、幾何学的配置検出部１１１は、撮像部１０１により撮像され、表示部１０５に表示されている画像データについて、ラスター走査を行う。ここで、図１７に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。

１ライン分走査を行い、エッジが存在しなければ、幾何学的配置検出部１１１は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、幾何学的配置検出部１１１は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図１８に示すように、順方向で最初のエッジと判定された点の座標を第１群（第１エッジ画素群）に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群（第２エッジ画素群）に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。

なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出する。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そうでない場合（ｄｄｉ＞th１）は、別の群（第３群（第３エッジ画素群）または第４群（第４エッジ画素群））に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以下のようにする。

i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認をする必要はない。

このような処理を画像全体に行って、各群に属するエッジ画素を抽出する。そして、エッジ画素群ごとに、当該エッジ画素群に属するエッジ画素の座標を最小２乗法などで直線近似し、当該エッジ画素群に属するエッジ画素に近似した直線を求める。ここで、幾何学的配置検出部１１１は、各エッジ画素群について求めた近似直線と当該エッジ画素群に含まれるエッジ画素との距離の二乗和の平均が所定閾値以下である場合に、エッジ画素群が線分状に配列しているものと判断し、以下の処理を続行することができる。これにより、幾何学的配置検出部１１１は、撮像対象物と背景との境界として推定される、線分状に連なるエッジ画素群を検出することができる。そして、幾何学的配置検出部１１１は、検出された各エッジ画素群について求めた近似直線を、撮像対象物と背景との境界となる四辺に対応する直線とすればよい。

図１９は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つのエッジ画素群に分類したときの図である。図において、丸印が第１群に属するエッジ画素、四角印が第２群に属するエッジ画素、三角印が第３群に属するエッジ画素、星印が第４群に属するエッジ画素を示し、最小２乗法により求められた、各エッジ画素群に属するエッジ画素の近似直線を点線で示す。

さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジ画素群も抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ画素群（回転後には垂直方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。

なお、エッジ画素の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ画素であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジ画素群のみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像範囲の外枠辺の長さの８０％程度の長さを設定すればよい。このような検出方法としては、例えば、日本国公開特許公報「特開２００６−２３７７５７」に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

（３−５）幾何学的配置検出部の別の処理例（その３）
上記の（３−２）（３−３）（３−４）で示した、撮像対象物と背景との境界を示す確率の高い線分状に連続したエッジ画素群の検出方法にはそれぞれ特徴がある。例えば、（３−２）に示す検出方法では、幾何学的配置検出部１１１は、撮像対象物として文字原稿だけでなくイラスト原稿や写真などを検出することが可能であるが、撮像対象物の周辺に模様や物体がある撮像画像（Ｃａｎｎｙフィルタによって、撮像対象物と背景のエッジが繋がってしまう撮像画像）に対しては、正確に撮像対象物と背景との境界を示すエッジ画素群を検出することが困難である。また、（３−３）に示す検出方法では、幾何学的配置検出部１１１は、撮像対象物の周辺に模様や物体がある撮像画像であっても、原稿を検出する事が可能であるが、イラスト原稿や写真のような撮像画像（Ｃａｎｎｙフィルタでエッジが途切れてしまう撮像画像）に対しては、撮像対象物と背景との境界を示すエッジ画素群を検出できないことがある。

そこで、上記の（３−２）（３−３）（３−４）の抽出方法によりこのような特徴の差異があることから、一つの撮像画像に対して幾何学的配置検出部１１１が複数の検出方法を適用してもよい。例えば、一つの撮像画像に対して、（３−２）、（３−３）、（３−４）の順に処理を実行し、最初に撮像対象物と背景との境界となる三辺または四辺を抽出できた処理において生成された抽出結果情報を採用する。

また、撮像対象物と携帯端末装置１００とがそれぞれ静止状態であるなら、撮像部１０１により連続して撮像された撮像画像（プレビュー用のフレーム）にはほとんど差異がない。そのため、幾何学的配置検出部１１１は、（３−２）（３−３）（３−４）の複数の検出方法から選択した１つを、連続して撮像される撮像画像の各々に対し適用してもよい。

図３９は、撮像画像に対して適用する検出方法の決定処理を示すフローチャートである。複数の検出方法には、選択順を示す選択番号が予め付されている。まず、幾何学的配置検出部１１１は、選択番号が１番目の検出方法を選択し、選択した検出方法を用いて抽出結果情報を生成する（Ｓ３９０）。例えば、（３−２）で示す検出方法を選択する。

次に、幾何学的配置検出部１１１は、現在の撮像画像（フレーム）に対する抽出結果情報を確認し、撮像対象物と背景との境界の検出に成功したか否かを判断する（Ｓ３９１）。幾何学的配置検出部１１１は、抽出結果情報が撮像対象物と背景との境界を適切に抽出できなかった旨を示している場合に検出が失敗であると判断し、そうでない場合に検出が成功したと判断すればよい。

検出に成功した場合（Ｓ３９１でＹｅｓ）、幾何学的配置検出部１１１は、前回検出成功フラグをオンにする（Ｓ３９２）。その後、Ｓ３９８の処理に移行する。

一方、検出に失敗した場合（Ｓ３９１でＮｏ）、幾何学的配置検出部１１１は、前回検出成功フラグがオンであるか否かを確認する（Ｓ３９３）。前回検出成功フラグがオンである場合（Ｓ３９３でＹｅｓ）、幾何学的配置検出部１１１は、前回検出成功フラグをオフに変更する（Ｓ３９４）。一方、前回検出成功フラグがオフである場合（Ｓ３９３でＮｏ）、幾何学的配置検出部１１１は、選択番号が次の検出方法が存在するか確認する（Ｓ３９５）。次の検出方法が存在する場合（Ｓ３９５でＹｅｓ）、当該検出方法を選択し（Ｓ３９６）、次の検出方法が存在しない場合（Ｓ３９５でＮｏ）、１番目の検出方法を選択する（Ｓ３９７）。その後、Ｓ３９８の処理に移行する。

次に、Ｓ３９８において、幾何学的配置検出部１１１は、撮像画像の表示続行が必要か確認する。例えば、文書撮像モードの終了指示などが入力されていない場合、撮像画像の表示続行が必要であると判断すればよい。

Ｓ３９８でＹｅｓの場合、幾何学的配置検出部１１１は、次の撮像画像（フレーム）に対して、選択した検出方法により検出処理を行う（Ｓ３９９）。その後、Ｓ３９１の処理に戻る。

図４０は、図３９のフローチャートにより検出方法を決定する例を示す図である。図示されるように、最初の撮像画像（第１フレーム）に対して、幾何学的配置検出部１１１は、選択番号が１番目の検出方法を用いて抽出結果情報を生成する。なお、前回検出成功フラグは、文書撮像モードを開始したタイミングでオフになるように設定されているものとする。そのため、検出失敗した場合、Ｓ３９６により次の撮像画像（第２フレーム）に対して用いる検出方法として２番目の検出方法が選択される。

そして、幾何学的配置検出部１１１は、２番目の撮像画像（第２フレーム）に対して２番目の検出方法を用いて抽出結果情報を生成する。ここで、検出成功すると、Ｓ３９２により前回検出成功フラグがオンに設定される。

その後、３番目の撮像画像（第３フレーム）に対して２番目の検出方法を用いて検出成功した場合、検出成功であるため２番目の検出方法が選択されたままとなり、４番目の撮像画像（第４フレーム）に対しても２番目の検出方法を用いて検出処理が実行される。４番目の撮像画像に対して検出失敗したとしても、前回検出成功フラグがオンであるために（Ｓ３９３でＹｅｓ）、検出方法の変更が行われない。そのため、５番目の撮像画像（第５フレーム）に対しても２番目の検出方法を用いて検出処理が実行される。ただし、検出失敗のため、前回検出成功フラグがオフに切り替えられる。

その後、５番目の撮像画像に対して検出失敗すると、前回検出成功フラグがオフであるために、Ｓ３９６により次の撮像画像（第６フレーム）に対して用いる検出方法として次の検出方法（つまり３番目の検出方法）が選択される。

このように、第１フレームに対して１番目の検出方法による抽出が失敗した場合、次の第２フレームに対して２番目の検出方法による検出処理が実行される。また、第５フレームに対して２番目の検出方法による検出が失敗した場合、次の第６フレームに対して３番目の検出方法による検出処理が実行される。すなわち、処理対象の撮像画像の前の撮像画像に対する検出処理が失敗である場合、当該前の撮像画像に対して用いた検出方法とは異なる検出方法を用いて処理対象の撮像画像について検出処理を行う。これにより、撮像画像のタイプに応じた最適な検出方法を選択することができる。

ただし、図３９，４０で示されるように、一度検出成功した場合、１回だけ検出失敗したとしても検出方法が変更されず、連続して２回検出失敗した場合に検出方法が変更される。これにより、手ぶれ等の何らかの理由でたまたま検出失敗した場合でも検出方法が変更されることがない。

（３−６）表示処理部の別の処理例
上記の（３−２）のＳ６では、表示処理部１１２は、撮像画像ごとに、当該撮像画像から生成された抽出結果情報で示される４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として当該撮像画像に重ねて表示するものとした。

ただし、連続して撮像された撮像画像ごとに撮像対象物の輪郭線を表示した場合、撮像対象物と背景との配置やコントラスト、照明状態、手ぶれなどの要因により、抽出結果情報で示される４つの頂点座標が撮像画像ごとに大きく変わる可能性がある。この場合、輪郭線が大きくちらついてしまうため、表示処理部１１２は、以下のような処理を行ってもよい。

表示処理部１１２は、表示用４頂点座標を記憶する機能、および、前回の撮像画像（フレーム）について４つの頂点座標の検出が成功したか否かを示すフレームスキップフラグを設定する機能を有している。なお、文書撮像モードが起動したタイミングでは、表示処理部１１２は、フレームスキップフラグをオフに設定する。また、文書撮像モードが終了したタイミングで、表示処理部１１２は、表示用４頂点座標を消去するものとする。そのため、文書撮像モードを起動したときには、表示処理部１１２は、オフに設定されたフレームスキップフラグを記憶し、表示用４頂点座標を記憶していない。

図１３に示すＳ６１１において、表示処理部１１２は、図４１に示す輪郭線表示処理を行ってもよい。図４１は、本変形例においてＳ６１１で行われる輪郭線表示処理例を示すフローチャートである。なお、Ｓ６１１は、４つの頂点座標が全て撮像範囲内である場合（全ての頂点座標のフラグが立っている場合（図１３のＳ６１０においてＹｅｓの場合））に実施される処理である。

まず、表示処理部１１２は、表示用４頂点座標を記憶しているか否か確認する（Ｓ６２１）。表示用４頂点座標を記憶していない場合（Ｓ６２１でＮｏ）、表示処理部１１２は、抽出結果情報で示される４つの頂点座標を表示用４頂点座標として決定する（Ｓ６２２）。一方、表示用４頂点座標を記憶している場合（Ｓ６２１でＹｅｓ）、表示処理部１１２は、左上、右上、左下、右下の各頂点について、記憶している表示用４頂点座標と抽出結果情報で示される各頂点座標との中点座標を求め、当該４つの中点座標を新たな表示用４頂点座標として決定する（Ｓ６２３）。

その後、表示処理部１１２は、決定した新たな表示用４頂点座標を記憶（保存）し（Ｓ６２４）、フレームスキップフラグをオンに設定する（Ｓ６２５）。そして、表示処理部１１２は、Ｓ６２４で記憶した表示用４頂点座標を基づいて、撮像対象物の輪郭線を表示する（Ｓ６２６）。

図４１に示す処理によれば、前回のフレームの撮像画像に対して生成された抽出結果情報を基に生成された表示用４頂点座標を記憶しておく。そして、今回のフレームの撮像画像にたいして生成された抽出結果情報で示される４頂点座標と当該表示４頂点座標との中点座標を新たな表示用４頂点座標として更新し、これをもとに輪郭線を表示する。そのため、連続して表示される複数の撮像画像（フレーム）において、何らかの要因により抽出結果情報で示される４つの頂点座標が撮像画像ごとに大きく変わったとしても、輪郭線のちらつきを防止することができる。

また、図１３のＳ６１２においてＮｏ、Ｓ６１４においてＮｏ、またはＳ６１５においてＮｏの場合（抽出結果情報で示される４頂点座標が画像範囲内にない場合）、表示処理部１１２は、図４２に示す処理を行う。

まず、表示処理部１１２は、フレームスキップフラグがオンであるか確認する（Ｓ６３１）。フレームスキップフラグがオンである場合（Ｓ６３１でＹｅｓ）、表示処理部１１２は、表示用４頂点座標を記憶しているか確認する（Ｓ６３２）。表示用４頂点座標を記憶している場合（Ｓ６３２でＹｅｓ）、表示処理部１１２は、表示用４頂点座標をそのまま維持して（Ｓ６３３）、Ｓ６３５に移行する。一方、表示用４頂点座標を記憶していない場合（Ｓ６３２でＮｏ）、Ｓ６３５に移行する。そして、Ｓ６３５において、フレームスキップフラグをオフに設定する。

一方、フレームスキップフラグがオフである場合（Ｓ６３１でＮｏ）、表示処理部１１２は、記憶している表示用４頂点座標を消去する（Ｓ６３４）。

その後、Ｓ６３６において、表示処理部１１２は、表示用４頂点座標に基づいて輪郭線を表示させる。ただし、表示用４頂点座標を記憶していない場合には輪郭線を表示しない。そして、図１３のＳ６１７の処理に戻る。

図４３は、図４１および図４２の処理に従って表示処理部１１２が動作したときの表示部１０５の画面例を示す図である。Ｓ１からＳ６の処理は、連続して撮像される各撮像画像（フレーム）に対して実行される。図４３は、１フレーム目（第１フレーム）から６フレーム目（第６フレーム）までの撮像画像の表示例を示している。

図４３の例では、文書撮像モードを起動した直後の第１フレームに対する抽出結果情報で示される４つの頂点座標が撮像範囲内であるため、図４１のＳ６２２に従い、当該４つの頂点座標が表示用４頂点座標として記憶される。そのため、当該４つの頂点座標を用いた輪郭線が表示される。

また、第２フレームに対する抽出結果情報で示される４つの頂点座標も撮像範囲内であるため、図４１のＳ６２３に従い、第１フレームの際に記憶していた表示用４頂点座標と当該４つの頂点座標との中点を新たな表示用４頂点座標として記憶する。そして、当該中点を用いた輪郭線が表示される。

次に、第３フレームに対する抽出結果情報において正常に４つの各頂点座標を抽出できなかったことが示されているとする。この場合、図４２の処理を実行することとなる。ここで、第２フレームにおいてフレームスキップフラグがオンに設定されており、表示用４頂点座標が保存されている。そのため、Ｓ６３６により当該表示用４頂点座標に基づき輪郭線が表示される。このとき、フレームスキップフラグがオフに変更される。

このように、連続して表示されている撮像画像の途中の１フレームで４頂点座標の抽出処理に失敗したとしても、画面上には前回のフレームと同じ輪郭線が表示されるため、見た目のちらつきを抑えることができる。

撮像画像は、連続して撮像される画像なので、通常撮像対象物の位置が大きくは変わらない。しかし、照明状態により、あるフレームの撮像画像だけエッジがうまく繋がらず、結果として４頂点座標とも撮像範囲内にないと判断される、あるいは、手振れ等により位置がずれて４頂点座標とも撮像範囲内にないと判断される場合がある。このような場合であっても、一つ前のフレームの撮像画像で表示していた表示用４頂点座標をそのまま表示（１フレームのみの抽出失敗を無視）することで、ちらつきを軽減する事ができる。

次に、第４フレームに対する抽出結果情報で示される４つの頂点座標が撮像範囲内であると、図４１のフローに移り、Ｓ６２３により第２フレームの際に記憶していた表示用４頂点座標と当該４つの頂点座標との中点を新たな表示用４頂点座標として記憶する。そして、当該中点を用いた輪郭線が表示される。このとき、フレームスキップフラグがオンに変更される。

次に、第５フレームに対する抽出結果情報において正常に４つの各頂点座標を抽出できなかったことが示されているとする。この場合、第３フレームと同様の表示処理が実行される。

次に、第６フレームに対する抽出結果情報においても正常に４つの各頂点座標を抽出できなかったことが示されているとする。この場合、図４２の処理を実行することとなり、第５フレームにおいてフレームスキップフラグがオフに変更されているため、Ｓ６３４により保存されている表示用４頂点座標が消去される。そのため、表示処理部１１２は、輪郭線の表示を行わない。このように、輪郭線が表示されている状態（第４フレームの段階）から、２フレーム以上連続して４頂点座標の抽出処理に失敗した場合、輪郭線が表示されなくなるため、撮像対象物が認識できないことを把握することができる。

なお、図４２および図４３に示す例では、１フレームの撮像画像に対する４頂点座標の抽出失敗を無視するようにしているが、カウンタを設けて失敗したフレーム数をカウントし、複数のフレームの抽出失敗を無視するようにしてもよい。

（４）出力対象画像データの画像形成装置への転送について
ユーザは、携帯端末装置１００を持って画像形成装置２００または画像表示装置３００の近くにきて、携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて出力対象画像データを画像形成装置２００または画像表示装置３００に送信させる。具体的には、ユーザは、携帯端末装置１００の入力部１０６に、出力対象画像データの送信指示を入力する。

出力対象画像データの送信指示が入力されると、制御部１０９は、記憶部１０８に格納された出力対象画像データを特定する。そして、制御部１０９は、出力対象画像データを画像形成装置２００または画像表示装置３００に送信する送信処理を、通信部１０４に実行させる。なお、通信部１０４は、出力対象画像データと、出力対象画像データに対応付けられているファイルネーム、出力処理情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて送信する。

（５）画像形成装置の構成
次に、本実施形態に係る画像形成装置２００の構成について説明する。本実施形態において、画像形成装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図２０は、画像形成装置２００の構成を示すブロック図である。画像形成装置２００は、画像読取部２０１、画像処理部２０２、認証部２０３、画像形成部２０４、表示部２０５、入力部２０６、第１通信部２０７、第２通信部２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部２１２を備えている。

画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置１００または画像表示装置３００から受信した出力対象画像データに対して所定の画像処理を行い、補正済画像データを生成する。画像処理部２０２における画像処理の詳細については後述する。

認証部２０３は、携帯端末装置１００または画像表示装置３００から受信した出力対象画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。

画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つとして、補正済画像データで示される画像を記録用紙やＯＨＰ用紙などの記録紙に印刷する印刷処理を実行するものである。

表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００または画像表示装置３００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された出力対象画像データを受信する。

第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部２０８は、出力処理として、画像処理部２０２により所定の画像処理が施された補正済画像データをサーバに格納するファイリング処理、もしくは、当該所定の画像処理が施された補正済画像データを添付したメールを送信するメール送信処理を実行する。

記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部２１２は、画像形成装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００または画像表示装置３００から出力対象画像データを受信すると、当該出力対象画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、出力対象画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、出力対象画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。

（６）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００または画像表示装置３００から受信した出力対象画像データに対する画像処理の内容について説明する。

図２１は、画像処理部２０２の内部構成を示すブロック図である。図１２に示されるように、画像処理部２０２は、画質調整部２２１、幾何学補正部（写像生成部）２２２、レンズ歪み補正部２２３、高解像度補正部２２５および出力画像処理部２２４を備えている。以下、各部の具体的な処理内容を順に説明する。

（６−１）画質調整部
画質調整部２２１は、出力対象画像データのカラーバランス、コントラストの補正を行うものである。画質調整部２２１は、受信した出力対象画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部２２１は、ルックアップテーブルとして、図２２に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮであり、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部２２１は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。

また、画質調整部２２１は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。

なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。

（６−２）レンズ歪み補正部
レンズ歪み補正部２２３は、出力対象画像データについて、レンズ歪みの補正を実行するものである。

レンズ歪み補正部２２３は、出力対象画像データについて、上記の（３−３）に記載した処理と同様にして、撮像画像における撮像対象物のエッジ画素をラスター走査によって順次検出する。そして、レンズ歪み補正部２２３は、検出されたエッジ画素を曲線近似し、その曲線の式からレンズひずみ補正を行う。

具体的には、レンズ歪み補正部２２３は、検出した撮像対象物のエッジ画素を検出し、上記の（３−３）に記載した処理と同様に、各エッジ画素を撮像対象物と背景との境界の４辺に対応する４つのエッジ画素群に分類する。そして、図２３の実線で示されるように、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２２３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２２３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図２３において点線で示される）と相似している外接四角形（図２３において１点鎖線で示される）を求める。そして、レンズ歪み補正部２２３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。

レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（６−３）幾何学補正部
幾何学補正部２２２は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み（つまり、文書画像が形成された矩形状の平面の歪み）を補正するとともに、画像データにおける撮像対象物の傾きを補正するものである。

具体的には、幾何学補正部２２２は、幾何学的配置検出部１１１と同様に、出力対象画像データに基づいて、矩形の撮像対象物と背景との境界となる４つのエッジ画素群に対応する直線の式を求める。そして、幾何学補正部２２２は、当該４つの直線で囲まれる四角形の領域（補正前領域）を特定し、特定した補正前領域を切り出す。

次に、幾何学補正部２２２は、図２４のように、特定した四角形の補正前領域（図２４において一点鎖線で示される）を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図２４において実線で示される）に変換するための写像を求める。なお、標準領域の上下の２辺は水平方向と完全に平行でなくても良く、水平方向に対して僅かな所定範囲内の角度を有していても良い（略平行であっても良い）。ここで、写像とは、補正前領域の各画素の座標（ｘ１、ｙ１）から標準領域の対応する画素の座標（ｘ２、ｙ２）への写像変換（座標変換処理）するための規則ｆｘ、ｆｙのことであり、ｘ２＝ｆｘ（ｘ１、ｙ１）、ｙ２＝ｆｙ（ｘ１、ｙ１）で表される。当該写像変換としては公知の技術を用いることができる。なお、幾何学補正部２２２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部２０６に入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。

次に、幾何学補正部２２２は、求めた写像に従って、出力対象画像データから切り出した補正前領域に対して座標変換を行う。これにより、幾何学的歪みおよび傾きの補正（以下、幾何学補正という場合がある）することができる。

幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（６−４）高解像度補正部
高解像度補正部２２５は、出力対象画像データに対する高解像度補正を行うものである。本実施形態では、高解像度補正部２２５は、１つの出力対象画像データに基づいて高解像度補正を行う。

１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。

一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。

図２５は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる出力対象画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、出力対象画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図２６は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。

まず、高解像度補正部２２５は、出力対象画像データについて、エッジ抽出を行う。例えば、高解像度補正部２２５は、図２７に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ４０）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。

次に、高解像度補正部２２５は、Ｓ４０で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ４１）。具体的には、高解像度補正部２２５は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。

なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。

着目画素がエッジである場合（Ｓ４１でＹｅｓ）、高解像度補正部２２５は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ４２）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、高解像度補正部２２５は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。

図２８において、点線は検出したエッジ方向を示している。なお、図２８において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。

次に、高解像度補正部２２５は、Ｓ４２で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。

エッジ方向が左上−右下方向である場合、図２８（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２８（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。

また、エッジ方向が左−右方向である場合、図２８（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２８（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。

補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。

また、エッジ方向が右上−左下方向である場合、図２８（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。

補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。

一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２８（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(4)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。

また、エッジ方向が上−下方向である場合、図２８（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２８（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。

補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)と(7)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。

なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、高解像度補正部２２５は、Ｓ４２で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。

なお、図２８では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図２８（ｃ）と同様に、補間画素Ｂについては図２８（ｂ）と同様に、補間画素Ｃについては図２８（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図２８（ａ）と同様に、補間画素Ｂについては図２８（ａ）と同様に、補間画素Ｃについては図２８（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。

このようにして、高解像度補正部２２５は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。

一方、着目画素がエッジでない場合（Ｓ４１でＮｏ）、高解像度補正部２２５は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４３）。

高解像度補正部２２５は、上記のＳ４１〜Ｓ４３の処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ４４）。

その後、高解像度補正部２２５は、生成した補間画像データに対して高画質化処理を行う。例えば、高解像度補正部２２５は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図２７の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。

なお、高解像度補正部２２５は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。

（６−５）出力画像処理部
出力画像処理部２２４は、出力対象画像データを出力する際の領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理を実行するものである。なお、これらの処理としては公知の技術を用いることができる。

（７）画像形成装置の処理の流れ
以下、本実施形態に係る画像形成装置２００の処理の流れについて説明する。図２９は画像形成装置２００の処理フローを示している。

画像形成装置２００の第１通信部２０７は、携帯端末装置１００から、出力対象画像データ、機種情報、ユーザ情報および出力処理情報を受信する（Ｓ３０）。

画像処理部２０２の画質調整部２２１は、受信した出力対象画像データについて、例えば上記（６−１）に説明したとおり、カラーバランス、コントラストの補正を行う（Ｓ３１）。続いて、レンズ歪み補正部２２３は、受信した出力対象画像データに対して、上記（６−２）に説明したようにレンズ歪みの補正を行う。

さらに、幾何学補正部２２２は、出力対象画像データに対して、幾何学的歪みの補正および傾きの補正を行う（Ｓ３２）。具体的には、幾何学補正部２２２は、撮像対象物と背景との境界に対応する四辺の各々に対応する直線で囲まれる四角形の領域（補正前領域）を特定して切り出す。次に、幾何学補正部２２２は、切り出した四角形の補正前領域を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域に変換するための座標に関する写像を求める。そして、幾何学補正部２２２は、当該写像を用いて、切り出した補正前領域の画像データに対して写像変換処理を行う。これにより、幾何学的歪みのない画像を出力することができる。

次に、高解像度補正部２２５は、Ｓ３２の処理がされた画像データに対して高解像度補正を行う（Ｓ３３）。なお、高解像度補正の具体的な方法は（６−４）で説明したとおりである。

次に、出力画像処理部２２４は、高解像度補正部２２５における高解像度補正により得られた高解像度画像データに対して、領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理等の各種の画像処理を実行する。なお、出力画像処理部２２４は、出力処理情報で示される出力方法の種別に応じて、当該各種の画像処理の内容を適宜切り換える。そして、出力画像処理部２２４は、補正済みの画像データ（補正済画像データ）を記憶部２１０に格納する（Ｓ３４）。なお、このとき、出力画像処理部２２４は、補正済画像データの元となる出力対象画像データとともに受信したユーザ情報および出力処理情報と対応付けて当該補正済画像データを格納する。

その後、制御部２１２は、出力対象画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ３５）。出力指示の入力がない場合（Ｓ３５でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ３５でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ３６）。なお、認証部２０３は、画像形成装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。

ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ３７）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ３７でＹＥＳ）、制御部２１２は、Ｓ３４において記憶部２１０に格納され、当該ユーザ情報に対応する補正済画像データの出力処理を、携帯端末装置１００から受信した出力処理情報に従って実行させる（Ｓ３８）。

例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、補正済画像データで示される画像の印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ３７でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ３９）。そして、認証回数が所定回数以上でない場合（Ｓ３９でＮＯ）、Ｓ３６，Ｓ３７の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３９でＹＥＳ）、出力せずにフローを終了する。

（８）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。

（８−１）第１欠落情報の表示について
上記の説明では、表示処理部１１２は、撮像範囲外の頂点座標を基に、撮像範囲の中から当該頂点座標に最も近い点を特定し、特定した点が予め定められた範囲内に第１欠落情報を表示するものとした。これに限らず、表示処理部１１２は、撮像範囲外の頂点を付近に第１欠落情報を表示すればよい。

例えば、図３０に示されるように、幾何学的配置検出部１１１により検出された４つの直線により囲まれる四角形の頂点のうち、撮像範囲外である頂点を第１頂点Ｔ１、第１頂点Ｔ１と隣り合う２つの頂点を第２頂点Ｔ２および第３頂点Ｔ３、第１頂点Ｔ１と対角の位置にある頂点を第４頂点Ｔ４とする。また、第１頂点Ｔ１と第２頂点Ｔ２とを結ぶ線と撮像範囲の枠との交点を第１交点Ｓ１、第１頂点Ｔ１と第３頂点Ｔ３とを結ぶ線と撮像範囲の枠との交点を第２交点Ｓ２とする。このとき、表示処理部１１２は、第１交点Ｓ１と第２交点Ｓ２とを結ぶ線分から予め定められた範囲内に第１欠落情報を表示させてもよい。

（８−２）第２欠落情報の表示について
上記の説明では、表示処理部１１２は、抽出結果情報の中の抽出不可情報で示される辺に対応する撮像範囲の枠の辺から予め定められた範囲内に第２欠落情報を表示するものとした。これに限らず、表示処理部１１２は、撮像範囲外の辺の付近に第２欠落情報を表示すればよい。

例えば、図３１に示されるように、幾何学的配置検出部１１１により検出された３つのエッジ画素群で示される３つの線分の各々に対応する直線を第１直線Ｌ１、第２直線Ｌ２、第３直線Ｌ３とし、第１直線Ｌ１と第２直線Ｌ２との交点である第１交点Ｔ５と、第２直線Ｌ２と第３直線Ｌ３との交点である第２交点Ｔ６とが撮像範囲内であるとし、さらに、第１直線Ｌ１と撮像範囲の枠との交点のうち上記第１交点Ｔ５から遠い方の交点を第３交点Ｓ３、第３直線Ｌ３と撮像範囲の枠との交点のうち上記第２交点Ｔ６から遠い方の交点を第４交点Ｓ４する。このとき、表示処理部１１２は、第３交点Ｓ３と第４交点Ｓ４Ｔ８とを結ぶ線分から予め定められた範囲内に第２欠落情報を表示させてもよい。

（８−３）出力対象画像データの送信について
（８−３−１）その１
上記の説明では、撮像部１０１により撮像された画像全体を示す画像データを出力対象画像データとした。このとき、通信部１０４は、出力対象画像データとともに、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線の式を送信してもよい。

この場合、画像形成装置の幾何学補正部は、出力対象画像データに付加された４つの直線の式を用いて、出力対象画像データの中から当該直線で囲まれる領域を切り出す。そして、幾何学補正部は、切り出した画像を、上下の２辺が水平方向に略平行であり、予め定められたアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図１５において実線で示される）に変換するための写像を求める。そして、幾何学補正部は、切り出した画像に対して、求めた写像に従って幾何学補正を行えばよい。

もしくは、通信部１０４は、出力対象画像データとともに、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形の４つの頂点座標を送信してもよい。

この場合でも、画像形成装置２００の幾何学補正部２２２は、出力対象画像データに付加された４つの頂点座標の点を頂点とする四角形の領域を出力対象画像データの中から切り出す。そして、幾何学補正部は、切り出した画像を矩形状の標準領域に変換するための写像を求める。そして、幾何学補正部は、求めた写像に従って幾何学補正を行えばよい。

また、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形が矩形である場合には、通信部１０４は、出力対象画像データとともに、当該四角形の下辺と撮像範囲の枠の下辺とのなす角度（傾き）を送信してもよい。

この場合、画像形成装置の幾何学補正部は、出力対象画像データに付加された４つの頂点座標の点を頂点とする四角形の領域を出力対象画像データの中から切り出す。そして、幾何学補正部は、出力対象画像データに付加された角度だけ切り出した画像を回転させることにより、傾きを補正することができる。

（８−３−２）その２
また、出力対象画像決定部１１３は、撮像部１０１により撮像された画像全体の中から、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形の領域を切り出し、切り出した画像を示す画像データを出力対象画像データとしてもよい。そして、通信部１０４は、決定された出力対象画像データを画像形成装置に送信する。

この場合、画像形成装置の幾何学補正部は、出力対象画像データで示される画像を、上下の２辺が水平方向に略平行であり、予め定められたアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図１５において実線で示される）に変換するための写像を求める。そして、幾何学補正部は、求めた写像に従って幾何学補正を行えばよい。

（８−３−３）その３
上記（８−３−２）で記載したように、出力対象画像決定部１１３は、撮像部１０１により撮像された画像全体の中から、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形の領域を切り出し、切り出した画像を示す画像データを出力対象画像データとする。

そして、通信部１０４は、決定された出力対象画像データとともに、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線の式を送信してもよい。

この場合、画像形成装置の幾何学補正部は、出力対象画像データに付加された４つの直線の式を用いて、当該直線で囲まれる領域を矩形状の標準領域に変換するための写像を求める。そして、幾何学補正部は、出力対象画像データに対して、求めた写像に従って幾何学補正を行えばよい。

もしくは、通信部１０４は、決定された出力対象画像データとともに、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形の４つの頂点座標を送信してもよい。

この場合でも、画像形成装置の幾何学補正部は、出力対象画像データに付加された４つの頂点座標の点を頂点とする四角形の領域を矩形状の標準領域に変換するための写像を求める。そして、幾何学補正部は、出力対象画像データに対して、求めた写像に従って幾何学補正を行えばよい。

また、幾何学的配置検出部１１１により検出された４つのエッジ画素群の各々に対応する直線で囲まれる四角形が矩形である場合には、通信部１０４は、出力対象画像データとともに、当該四角形の下辺と撮像範囲の枠の下辺とのなす角度（傾き）を送信してもよい。

この場合、画像形成装置の幾何学補正部は、出力対象画像データに対して、出力対象画像データに付加された角度だけ回転させることにより、傾きを補正することができる。

（８−４）出力対象画像決定部の決定方法について
上記の説明では、出力対象画像決定部１１３は、表示処理部１１２により撮像対象物が撮像範囲内に収まっていることを示す情報（例えば「ＯＫ」）が表示されているときにシャッタボタン（図１４の符号１０）が操作されたタイミングで、表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データと決定した。

しかしながら、出力対象画像決定部１１３は、シャッタボタン１０の操作ではなく自動的に出力対象画像データを決定するオートシャッタ機能を有していてもよい。

すなわち、オートシャッタ機能が有効である場合、出力対象画像決定部１１３は、撮像部１０１により連続して撮像された所定数の撮像画像（コマ画像）に対して、表示処理部１１２により撮像対象物が撮像範囲内に収まっていることを示す情報を表示している場合に、当該所定数の撮像画像の１つ（例えば、最後に撮像された撮像画像）を示す画像データを出力対象画像データとして決定する。

より具体的には、出力対象画像決定部１１３は、撮像部１０１により連続して撮像された所定数（例えば３０）の撮像画像（コマ画像）に対して、幾何学的配置検出部１１１から出力された抽出結果情報で示される４つの頂点座標（仮頂点座標を除く）を記憶する。そして、各頂点について、所定数の撮像画像から得られた頂点座標の差の二乗が、予め定められた閾値未満である場合に、出力対象画像決定部１１３は、表示部１０５に表示されている撮像画像を示す画像データを出力対象画像データと決定すればよい。

ここで、予め定められた閾値は、例えば、
（撮像範囲の高さＹｍａｘ×１／１６）２＋（撮像範囲の幅Ｘｍａｘ×１／１６）２
が設定される。

これにより、ユーザがシャッタボタンを操作しなくても出力対象画像データを決定できるので、シャッタボタンを操作することによる撮像対象物のブレや撮像対象物が撮像範囲からはみ出すことを防止できる。

なお、ユーザは、オートシャッタ機能の有効／無効を切り換えることができる。この切換は、図１４に示す条件設定ボタン５０を操作することにより設定される。なお、オートシャッタ機能が有効であり、オートシャッタ機能により出力対象画像データを決定したとき、出力対象画像決定部１１３は、図３２に示されるように、その旨を示す第３アイコンＤを表示部１０５に表示させる。

（８−５）輪郭線の表示機能のオン／オフ切替
図４４は、撮像範囲判定部の変形例を示すブロック図である。図４４に示されるように、本変形例に係る撮像範囲判定部１１０ａは、切替部１１４を備えている点で上記撮像範囲判定部１１０と異なる。

切替部１１４は、ユーザ入力に従って、幾何学的配置検出部１１１および表示処理部１１２による輪郭線の表示機能（ドキュメント補正モード）のオン／オフを切り替えるものである。

切替部１１４は、図４５に示されるように、ドキュメント補正モードのオン／オフ切り替え用のチェックボックス４５１を表示部１０５に表示させる。ドキュメント補正モードをオンに切り替える指示が入力された場合、切替部１１４は、幾何学的配置検出部１１１および表示処理部１１２を動作させ、図４のＳ１〜Ｓ６の処理を実行させる。これにより、撮像対象物の輪郭線が撮像画像に重ねて表示され、撮像対象物が撮像範囲内に収まっているか否かを容易に確認することができる。

一方、ドキュメント補正モードをオフに切り替える指示が入力された場合、切替部１１４は、幾何学的配置検出部１１１および表示処理部１１２を動作させず、撮像画像のみを表示させる。

なお、切替部１１４は、ドキュメント補正モードのオン／オフの切り替え指示を、撮像開始前に受け付けてもよいし、撮像中に受け付けてもよい。

また、本変形例と（８−４）で記載した変形例とを組合せてもよい。この場合、ドキュメント補正モードがオンに設定されている場合にのみ、オートシャッタ機能を有効に設定することができる。すなわち、図４５に示す例では、ユーザは、ドキュメント補正モード用のチェックボックス４５１にチェックが入力されている場合（ドキュメント補正モードがオンの場合）に限り、オートシャッタ機能用のチェックボックス４５２にチェックを入力することができる。

（８−６）編集ビュー機能について
携帯端末装置１００の表示処理部１１２は、出力対象画像決定部１１３により決定された出力対象画像データについて、輪郭線に基づいて、幾何学補正および高画質化補正の画像補正処理を行った後の画像（補正処理後画像）をプレビュー表示させる機能（補正画像プレビュー機能）を有していてもよい。

本変形例では、表示処理部１１２は、上述した画質調整部２２１、幾何学補正部２２２および高解像度補正部２２５の機能を有している。そして、表示処理部１１２は、補正画像プレビュー機能の実行指示を受けると、指定された出力対象画像データを読み出す。表示処理部１１２は、当該出力対象画像データで示される撮像画像に対してＳ１〜Ｓ５の処理（図４）を幾何学的配置検出部１１１に実行させる。表示処理部１１２は、Ｓ５で算出された４つの頂点座標を結ぶ輪郭線で囲まれた領域の画像に対して、画質調整、幾何学補正および高解像度補正を行うことで補正処理後画像を生成し、表示部１０５にプレビュー表示させる。

図４６は、補正処理後画像が表示された画面例を示す。図４６に示されるように、表示処理部１１２は、出力対象画像データで示される撮像画像に輪郭線を重ねて領域Ａに表示し、補正処理後画像を領域Ｂに表示させる。

なお、表示処理部１１２は、シャッタボタンが押下される前の状態でも補正処理後画像を表示してもよい。

また、表示処理部１１２は、画質調整および幾何学補正のみを行い補正処理後画像を生成してもよい。

さらに、表示処理部１１２は、幾何学的配置検出部１１１により算出された４つの頂点座標を編集する指示を受け付け、編集後の４つの頂点座標を結ぶ輪郭線で囲まれる領域の画像を基に補正処理後画像を生成してもよい。例えば、図４６に示されるように、表示処理部１１２は、領域Ａにおいて４つの頂点の各々に対応する編集アイコン４６１〜４６４を表示させる。そして、表示処理部１１２は、各編集アイコン４６１〜４６４の位置変更指示の入力を受け付け、変更後の各編集アイコン４６１〜４６４の位置に応じて４つの頂点座標を編集し、輪郭線の位置を決定すればよい。

この場合、通信部１０４は、（８−３−１）で記載したのと同様に、出力対象画像データとともに、編集後の４つの頂点座標を送信する。これにより、ユーザは、所望の輪郭線で囲まれる領域を画像形成装置２００から出力させることができる。

また、表示処理部１１２は、図４６に示されるように、領域Ｂに補正処理後画像を表示させるか否かを切り替えるためのチェックボックス４６５を表示部１０５に表示させてもよい。そして、表示処理部１１２は、チェックボックス４６５への入力に応じて、領域Ｂへの補正処理後画像の表示の有無を切り替える。

さらに、表示処理部１１２は、図４６に示されるように、画質補正の度合いを変更するバー４６６を表示部１０５に表示させてもよい。そして、表示処理部１１２は、バー４６６への入力に応じて、画質調整（コントラスト補正）の度合いを変更する。例えば、バー４６６により、画質調整として「なし」「弱」「中」「強」の４段階の何れかに変更することができる。

さらに、表示処理部１１２は、図４６に示されるように、登録ボタン４６７を表示部１０５に表示させてもよい。登録ボタン４６７が押下されると、押下されたタイミングで設定していた出力対象画像データ、４つの頂点座標および画質調整レベルが互いに対応付けて記憶部１０８に格納する。そして、通信部１０４は、出力対象画像データを画像形成装置２００に送信する際に、当該出力対象画像データに対応付けられている４つの頂点座標および画質調整レベルも合わせて送信する。この場合、画像形成装置２００の幾何学補正部２２２は、出力対象画像データに付加された４つの頂点座標の点を頂点とする四角形の領域を出力対象画像データの中から切り出し、切り出した画像を矩形状の標準領域幾何学補正を行えばよい。また、画像形成装置２００の画質調整部２２１は、出力対象画像データに付加された画質調整レベルに応じて画質調整を行えばよい。これにより、ユーザは、携帯端末装置１００の表示部１０５の画面を見ながら、画像形成装置２００から出力される画像の領域や画質を設定することができる。

なお、本変形例と（８−５）で記載した変形例とを組合せてもよい。この場合、ドキュメント補正モードがオンに設定されている場合に、補正画像プレビュー機能が自動的にオンとなる。つまり、図４５においてシャッタボタン４５３の押下またはオートシャッタ機能により出力対象画像データが決定されると、表示処理部１１２は、自動的に補正画像プレビュー機能の実行指示が入力されたものと認識する。そして、表示処理部１１２は、補正画像プレビュー機能を実行し、図４６のような画面を表示部１０５に表示してもよい。

（８−７）画像表示装置について
画像表示装置３００は、画像形成装置２００が備える画像処理部２０２を備えていても良い。そして、画像表示装置３００は、出力対象画像データに対して、幾何学補正や高解像度補正を行った補正済画像データで示される画像を表示させる表示処理を出力処理として行ってもよい。

（８−８）携帯端末装置について
撮像対象物の撮像条件が悪い場合、画像形成装置において画像処理を行ったとしても、画像を確認しにくいことがある。例えば、幾何学的歪みが比較的大きい状態で撮像した場合、幾何学補正を行っても視認しにくい。

そこで、携帯端末装置１００において、出力対象画像データが、画像形成装置における画像処理が効果を生じさせる条件で撮像されたか否かを判定し、その判定結果に応じて再撮像をユーザに促してもよい。

図３３は、本変形例に係る携帯端末装置１００の構成を示すブロック図である。図３３に示されるように、本変形例に係る携帯端末装置１００は、出力画像判定部１１１を備える点で図２に示す携帯端末装置と相違する。

出力画像判定部１１４は、文書撮像モードが選択されている際に、撮像範囲判定部１１０により決定された出力対象画像データが、画像形成装置における画像処理が効果を生じさせる条件で撮像されたか否かを判定するものである。出力画像判定部１１４における判定項目としては、以下のものが挙げられる。

（８−８−１）傾きの判定
出力画像判定部１１４は、出力対象画像データの中から撮像対象物と背景とのエッジ上の２点を選択する。例えば、図３４に示されるように、サブ撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ１，ｄ２を求め、撮像画像における撮像対象物の傾きを求めることができる。図３４のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、出力画像判定部１１４は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図３５参照）などから読み取る。

そして、出力画像判定部１１４は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。

（８−８−２）幾何学的歪みの判定
出力画像判定部１１４は、幾何学的配置検出部１１１により検出された４つのエッジ画素群に対応する直線で囲まれる四角形を特定する。そして、出力画像判定部１１４は、特定した四角形の対辺の長さの比を計算する。なお、対辺は２組あるので、出力画像判定部１１４は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、出力画像判定部１１４は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像形成装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。

なお、出力画像判定部１１４は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

（８−８−３）その他
出力画像判定部１１４は、上記の判定項目に加えて、例えば、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などを判定してもよい。

明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、出力画像判定部１１４は、例えば、出力対象画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。

コントラストについては、出力画像判定部１１４は、出力対象画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。

なお、明るさ・コントラストの判定において、出力画像判定部１１４は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。

カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、出力画像判定部１１４は、例えば、出力対象画像データ中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。

ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、出力画像判定部１１４は、図２７に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、当該標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。

（８−８−４）ユーザへの通知に関して
出力画像判定部１１４から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。

例えば、出力画像判定部１１４から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。

（８−９）高解像度補正について
上記の説明では、高解像度補正部２２５は、１つの出力対象画像データを用いて高解像度補正を行うものとした。しかしながら、高解像度補正部は、複数の出力対象画像データを用いて高解像度補正を行ってもよい。この高解像度補正の手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に記載されている方法を用いることができる。

この場合、出力対象画像決定部１１３は、指定されたタイミングにおいて、所定回数（例えば、２〜１５）だけ連続して撮像することにより得られた所定数の出力対象画像データをデータセットとして記憶部１０８に格納する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。

また、複数の出力対象画像データを用いて高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本変形例では、図３３に示す携帯端末装置１００の出力画像判定部１１４は、データセットに含まれる出力対象画像データの中に、画像形成装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数のサブ撮像画像データが含まれるか否かを判定する。

（８−９−１）複数枚の画像のズレ量の判定
文字の判読性を上げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。

例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されている。

また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。

制御部１０９は、解像度変換の倍率の選択入力をユーザに促し、入力された倍率に応じた処理実行条件を設定する。そして、出力画像判定部１１４は、データセットの中に、設定された処理実行条件を満たす出力対象画像データが含まれるか否かを判定する。

なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。

まず、出力画像判定部１１４は、出力対象画像データの任意の一つを選択し、当該出力対象画像データ（以下、第１の撮像画像という）について、ズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りの出力対象画像データ（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、出力画像判定部１１４は、以下のような方法によってズレ検出用部分領域を抽出する。

出力画像判定部１１４は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。

ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（i）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。

他の一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、図２７に示す１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。

次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像ｂの中心画素の座標とが一致するように、切り出す。

その後、切り出されたズレ検出用部分画像ｂ中においてズレ検出用部分画像ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像ａをテンプレートとした正規化相関パターンマッチングが挙げられる。

正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。

例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像ｂ（ｍ×ｍ）のなかのズレ検出用部分画像ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。

なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ１〜Ｓ６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。

なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。

そして、出力画像判定部１１４は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。

（８−９−２）複数枚の出力対象画像データを用いた高解像度補正
次に、画像形成装置２００における高解像度補正部２２５の処理について説明する。高解像度補正部２２５は、携帯端末装置１００から受信したデータセットに含まれる複数の出力対象画像データに基づいて高解像度補正を行う。

複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（８−９−１）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合わせを行うことができる。

次に、高解像度補正部２２５は、再構成処理を行う。すなわち、高解像度補正部２２５は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、高解像度補正部２２５は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、高解像度補正部２２５は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。

具体的には、図３６に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１つ目の出力対象画像データの撮像画素１−２（画素値：Ｖｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２つ目の出力対象画像データの撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数の出力対象画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。

なお、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。

そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図３６に示されるように、当該交点が２つの線分のそれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、高解像度補正部は、着目する再構成画素の画素値Ｖｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを高解像度画像データとして生成することができる。

なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。

（８−９−３）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。

（８−１０）携帯端末装置から画像形成装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードにより蓄積された出力対象画像データを携帯端末装置１００で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された出力対象画像データをまとめて送信するものとした。しかしながら、携帯端末装置１００から出力対象画像データを画像形成装置２００に送信するタイミングはこれに限定されない。

例えば、文書撮像モードで出力対象画像データを記憶部１０８に格納するたびに出力対象画像データを画像形成装置２００に送信してもよい。この場合、ユーザは、画像形成装置２００の近傍にいない場合がほとんどである。そのため、携帯端末装置１００の通信部１０４は、携帯電話網およびインターネット網を介して、出力対象画像データを画像形成装置２００に送信すればよい。

（８−１１）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像形成装置２００に送信するものとした。しかしながら、これに限らず、画像形成装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。

（８−１２）出力処理について
画像形成装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。

また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、高解像度画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。

（８−１３）画像形成装置が備える画像処理部について
上記の説明では、画像形成装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像形成装置２００は、高解像度出力用データセットに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した高解像度出力用データセットに対して高解像度補正を行い、補正後の高解像度画像データを出力する画像形成装置であるといえる。

（９）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像形成装置２００に送信し画像形成装置２００より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される一時的でない有形の媒体（non-transitory tangible medium）であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置１００や画像形成装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置と画像形成装置や画像表示装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１０ シャッタボタン
１００ 携帯端末装置（撮像装置）
１０１ 撮像部
１０５ 表示部
１０８ 記憶部
１０９ 制御部
１１０ 撮像範囲判定部
１１１ 幾何学的配置検出部（検出部）
１１２ 表示処理部
１１３ 出力対象画像決定部
１１４ 切替部
２００ 画像形成装置（画像出力装置）
３００ 画像表示装置

Claims (12)

1. 対象物を撮像した撮像画像を表示する表示手段を備える画像処理装置において、
   上記対象物が矩形であり、
   上記対象物が撮像範囲内に収まっている場合に、上記撮像画像と、上記撮像画像の上記対象物の範囲を所定の矩形状に幾何学補正した補正処理後画像とを上記表示手段に表示させる表示処理部を備えることを特徴とする画像処理装置。
2. 上記表示処理部は、上記撮像画像と上記補正処理後画像とを同一画面内に表示させる、請求項１に記載の画像処理装置。
3. 上記撮像画像において、線分状に連なるエッジ画素群を検出する検出部をさらに備え、
   上記表示処理部が、上記検出部により検出された上記エッジ画素群の上に、上記検出部により検出された４つのエッジ画素群で示される４つの線分の各々に対応する直線で囲まれる上記対象物の輪郭を示す四角形の輪郭線を、上記撮像画像に重ねて表示させることを特徴とする請求項１または２に記載の画像処理装置。
4. 上記表示処理部が、上記輪郭線の頂点の座標を編集する指示を受け付け、編集された頂点の座標を結ぶ上記輪郭線で囲まれる領域の画像を基に上記補正処理後画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 上記表示処理部による上記輪郭線の表示機能を有効にするか無効にするかを切り替える切替部を備えていることを特徴とする請求項３または４に記載の画像処理装置。
6. 上記表示処理部は、上記切替部が上記輪郭線の表示機能を有効に設定している場合、上記補正処理後画像を上記表示手段に表示させることを特徴とする請求項５に記載の画像処理装置。
7. 対象物を撮像した撮像画像を表示する表示手段を備え、上記対象物が矩形状である画像処理装置の画像処理方法であって、
   （ａ）上記対象物が撮像範囲内に収まっている場合に、上記撮像画像と、上記撮像画像の上記対象物の範囲を所定の矩形状に幾何学補正した補正処理後画像とを上記表示手段に表示させるステップを有する、画像処理方法。
8. 上記ステップ（ａ）で、上記撮像画像と上記補正処理後画像とを同一画面内に表示させる、請求項７に記載の画像処理方法。
9. 上記撮像画像において、線分状に連なるエッジ画素群を検出するステップ（ｂ）をさらに有し、
   上記ステップ（ａ）で、上記ステップ（ｂ）で検出された上記エッジ画素群の上に、上記ステップ（ｂ）で検出された４つのエッジ画素群で示される４つの線分の各々に対応する直線で囲まれる上記対象物の輪郭を示す四角形の輪郭線を、上記撮像画像に重ねて表示させる、請求項７または８に記載の画像処理方法。
10. 上記ステップ（ａ）で、上記輪郭線の頂点の座標を編集する指示を受け付け、編集された頂点の座標を結ぶ上記輪郭線で囲まれる領域の画像を基に上記補正処理後画像を生成する、請求項９に記載の画像処理方法。
11. 上記ステップ（ａ）における上記輪郭線の表示機能を有効にするか無効にするかを切り替えるステップ（ｃ）をさらに有する、請求項９または１０に記載の画像処理方法。
12. 上記ステップ（ａ）で、上記ステップ（ｃ）で上記輪郭線の表示機能を有効に設定している場合、上記補正処理後画像を上記表示手段に表示させる、請求項１１に記載の画像処理方法。