JP2005236878A - 画像入力装置 - Google Patents

Abstract

【課題】 対象物に表示される画像と投影像とが互いに視認性を損なうことを抑制できる画像入力装置を提供すること。
【解決手段】 本実施例の画像入力装置１によれば、入力された画像データに基づいて撮像領域４のうち原稿Ｐの輪郭により囲まれた領域であって原稿Ｐに画像が表示されていない余白領域が検出され、その余白領域内に所定の形状の操作ボタン６を投影することができるか否かが判定され、余白領域内に操作ボタン６を投影することができると判定された場合は余白領域内の原稿Ｐ上に基準高さＨＥＩＧＨＴ３の操作ボタン６が投影されるので、原稿Ｐに表示される画像と操作ボタン６とが互いに重ならず視認性を損なうことを抑制できる。
【選択図】 図４

Description

本発明は、画像が表示された対象物を撮像可能な撮像手段とその撮像手段により撮像可能な撮像領域内に投影像を投影する投影手段とを有する画像入力装置に関し、特に、対象物に表示される画像と投影像とが互いに視認性を損なうことを抑制できる画像入力装置に関する。

従来から、書画等の被写体を撮像手段により撮像してその被写体の画像データを取得し、プロジェクタ等を用いてその被写体像を外部モニタやスクリーンに表示する画像入力装置が知られている。

また、このような画像入力装置には、撮像手段により撮像可能な撮像領域に光を投光して撮像領域を照らし、使用者に撮像領域を示すと共に、操作性を高めるために、その撮像領域内に仮想的な操作ボタンとしての投影像を投影し、この投影像に使用者が指やペンの先端部を近接させることに基づいて、撮像を指示できるように構成されたものが知られている。
特開平７−１６８９４９号公報

しかしながら、このような画像入力装置によれば、仮想的な操作ボタンが常に撮像領域内の一定の位置に、一定の大きさと色とで投影されるため、対象物に表示される画像上に投影像が投影される場合があり、対象物に表示される画像と投影像とが互いに視認性を損なうという問題点があった。

例えば、文字などが表示された原稿を対象物として撮像領域に載置した場合には、その原稿に表示された文字の上に投影像が投影され、投影像と文字とが重なって見づらくなってしまう場合や、対象物に表示された図柄と同系色の投影像が、その対象物に表示された図柄上に投影された場合には、その投影像の輪郭が判別しがたく仮想的な操作ボタンとして不都合が生じる場合があった。

本発明は上述した問題点を解決するためになされたものであり、対象物に表示される画像と投影像とが互いに視認性を損なうことを抑制できる画像入力装置を提供することを目的としている。

この目的を達成するために、請求項１記載の画像入力装置は、画像が表示された対象物を撮像可能な撮像手段と、その撮像手段により撮像された前記対象物の撮像を画像データとして入力する画像データ入力手段と、前記撮像手段により撮像可能な撮像領域内に所定の形状を有する投影像を投影可能な投影手段とを有するものであって、前記画像データ入力手段により入力された画像データに基づいて前記撮像領域のうち前記対象物の輪郭により囲まれた領域であって前記対象物に画像が表示されていない余白領域を検出する余白領域検出手段と、その余白領域検出手段により検出された余白領域内に前記所定の形状の投影像を投影することができるか否かを判定する投影可否判定手段と、その投影可否判定手段により前記余白領域内に前記投影像を投影することができると判定された場合は前記余白領域内に前記投影像を投影するように前記投影像の位置を決定する投影像位置決定手段とを有する。

請求項２記載の画像入力装置は、請求項１記載の画像入力装置において、前記画像データ入力手段により入力された画像データに基づいて前記対象物の色データを取得する色データ取得手段を有し、前記余白領域検出手段は、前記色データ取得手段により取得された前記対象物の色データに基づいて前記余白領域を検出するものである。

請求項３記載の画像入力装置は、請求項１又は２に記載の画像入力装置において、前記画像データ入力手段により入力された画像データに基づいて前記対象物の色を判別する対象物色判別手段と、前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記対象物色判別手段により判別された前記対象物の色とは異なる色で前記所定の形状の投影像を投影するように前記投影像の色を決定する投影像色決定手段とを有する。

請求項４記載の画像入力装置は、請求項１または２に記載の画像入力装置において、前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記所定の形状の投影像に比較してサイズが小さい投影像を前記余白領域内に投影するように前記投影像のサイズを決定する投影像サイズ決定手段を有する。

請求項５記載の画像入力装置は、請求項１または２に記載の画像入力装置において、前記余白領域決定手段により決定された前記余白領域に基づいて前記投影手段により投影する前記所定の形状の投影像の個数を変更する投影像数変更手段を有するものである。

請求項６記載の画像入力装置は、請求項１または２に記載の画像入力装置において、前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記所定の形状の投影像の少なくとも一部を、前記撮像領域のうち前記対象物の輪郭により囲まれた領域外に投影するように前記投影像の位置を変更する投影像位置変更手段を有する。

請求項７記載の画像入力装置は、請求項１から６のいずれかに記載の画像入力装置において、前記撮像手段により撮像される前記対象物に焦点が合うように焦点を調整する焦点調整手段と、その焦点調整手段により前記対象物に焦点が合うように焦点が調整され且つ前記投影手段により前記投影像が前記撮像領域内に投影されている状態で、前記投影像が投影されている領域と前記撮像手段との間に入力部材が介在させられたか否かを判定する第１変化判定手段と、その第１変化判定手段により前記投影像が投影されている領域と前記撮像手段との間に入力部材が介在させられたと判定された場合は、前記焦点調整手段により前記対象物に合うように調整されている焦点に対する、前記入力部材の焦点度を検出する焦点度検出手段と、その焦点度検出手段により検出された焦点度が所定の焦点度閾値以上であるか否かを判定する焦点度判定手段と、その焦点度判定手段により前記焦点度が所定の焦点度閾値以上であると判定されると、前記対象物を撮像するように前記撮像手段を制御する撮像制御手段とを有する。

請求項８記載の画像入力装置は、請求項７記載の画像入力装置において、前記焦点度判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化があったか否かを判定する経過時間判定手段を有し、前記撮像制御手段は、前記経過時間判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化がないと判定された場合に、前記対象物を撮像するように前記撮像手段を制御するものである。

請求項９記載の画像入力装置は、請求項８記載の画像入力装置において、前記経過時間判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化がないと判定されたことに基づいて、前記投影手段による投影像の投影を終了する投影終了手段を有し、前記撮像制御手段は、その投影終了手段により前記投影手段による投影像の投影が終了させられた後、前記対象物を撮像するように前記撮像手段を制御するものである。

請求項１０記載の画像入力装置は、請求項９記載の画像入力装置において、前記撮像制御手段は、前記投影終了手段により前記投影手段による投影像の投影が終了させられてから所定の待機時間が経過した後、前記対象物を撮像するように前記撮像手段を制御するものである。

請求項１記載の画像入力装置によれば、入力された画像データに基づいて撮像領域のうち対象物の輪郭により囲まれた領域であって対象物に画像が表示されていない余白領域が検出され、その余白領域内に所定の形状の投影像を投影することができるか否かが判定され、余白領域内に投影像を投影することができると判定された場合は余白領域内に所定の形状の投影像が投影されるので、対象物に表示される画像と投影像とが互いに重ならず、視認性を損なうことを抑制できるという効果がある。

請求項２記載の画像入力装置によれば、請求項１記載の画像入力装置の奏する効果に加え、入力された画像データに基づいて対象物の色データが取得され、その対象物の色データに基づいて余白領域が検出されるので、余白領域を確実に検出することができるという効果がある。

請求項３記載の画像入力装置によれば、請求項１または２に記載の画像入力装置の奏する効果に加え、入力された画像データに基づいて対象物の色が判別され、余白領域内に所定の形状の投影像を投影することができないと判定された場合は、その判別された対象物の色とは異なる色で所定の形状の投影像が投影されるので、余白領域内に投影像を投影することができない場合であっても、対象物の色とは異なる視認性の高い投影像を投影することができるという効果がある。

請求項４記載の画像入力装置によれば、請求項１または２に記載の画像入力装置の奏する効果に加え、余白領域内に所定の形状の投影像を投影することができないと判定された場合は、所定の形状の投影像に比較してサイズが小さい投影像が余白領域内に投影されるので、対象物に表示される画像と投影像とが互いに重ならず、視認性を損なうことを抑制できるという効果がある。

請求項５記載の画像入力装置によれば、請求項１または２に記載の画像入力装置の奏する効果に加え、余白領域に基づいて投影手段により投影する所定の形状の投影像の個数が変更されるので、余白領域に応じて投影像の個数を変更することができるという効果がある。

請求項６記載の画像入力装置によれば、請求項１または２に記載の画像入力装置の奏する効果に加え、余白領域内に所定の形状の投影像を投影することができないと判定された場合は、所定の形状の投影像の少なくとも一部が、撮像領域のうち対象物の輪郭により囲まれた領域外に投影されるので、対象物と投影像とが重なる領域が小さくなり、対象物に表示された画像と投影像とが互いに視認性を損なうことを抑制できるという効果がある。

請求項７記載の画像入力装置によれば、請求項１から６のいずれかに記載の画像入力装置の奏する効果に加え、対象物に焦点が合うように焦点が調整され且つ投影像が撮像領域内に投影されている状態で、投影像が投影されている領域と撮像手段との間に入力部材が介在させられたと判定された場合は、対象物に合うように調整されている焦点に対する、その入力部材の焦点度が検出され、その検出された焦点度が所定の焦点度閾値以上であると判定されると、対象物が撮像されるので、投影像が投影されている領域と撮像手段との間において焦点度が所定の焦点度閾値以上となる位置に入力部材を介在させることで、対象物の撮像を指示することができるという効果がある。

請求項８記載の画像入力装置によれば、請求項７記載の画像入力装置の奏する効果に加え、焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間投影像が投影されている領域の撮像に変化がないと判定された場合に、対象物を撮像するので、使用者に撮像する意思がなく、誤操作により、ごくわずかな時間だけ、投影像が投影されている領域と撮像手段との間に入力部材を介在させてしまった場合において、撮像が行われてしまうことを抑制することができるという効果がある。

請求項９記載の画像入力装置によれば、請求項８記載の画像入力装置の奏する効果に加え、経過時間判定手段により焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に投影像が投影されている領域の撮像に変化がないと判定されたことに基づいて、投影手段による投影像の投影が終了させられ、投影像の投影が終了させられた後、対象物が撮像されるので、実際に撮像を行う前に、使用者に対し、対象物の撮像が行われることを報知することができるという効果がある。

請求項１０記載の画像入力装置によれば、請求項９記載の画像入力装置の奏する効果に加え、投影手段による投影像の投影が終了させられてから所定の待機時間が経過した後、対象物が撮像されるので、対象物の撮像が行われることを報知した直後に撮像を行なう場合に比較して、入力部材が介在させられたまま撮像されてしまうことを抑制するという効果がある。

以下、本発明の好ましい実施例について、添付図面を参照して説明する。まず、図１及び図２を参照して、本発明の画像入力装置１の機械的な構成について説明する。図１は本実施例の画像入力装置１の概略図である。

この画像入力装置１は、対象物を撮像可能な撮像手段としての撮像装置２と、対象物が載置される平面５と、その平面５上の領域であって撮像装置２により撮像可能な領域である撮像領域４に撮像領域４とほぼ同形の光を投光する投影装置３とを有する。図２は図１に示す画像入力装置１に備えられた撮像装置２と投影装置３との各内部構造を示す概略図である。

画像入力装置１は、所謂書画カメラとして機能するものであり、平面５上の撮像領域４に対象物として載置され、画像が表示された矩形の原稿Ｐを撮像装置２により撮像し、その撮像から原稿Ｐの画像データを取得することができるとともに、投影装置３により撮像領域４に投影像として仮想的な操作ボタン６を投影することができる装置である。

撮像装置２と投影装置３とは、平面５の上方に取り付けられた本体ケース７に一体的に設けられている。また、本体ケース７にはプロセッサ４０（図３参照）とメモリカード５５（図３参照）とが内蔵されている。

図２に示すように、撮像装置２は、平面５に対向する結像レンズ３１と、その結像レンズ３１の上方に設けられるＣＣＤ画像センサ３２とを備えている。

結像レンズ３１は、複数枚のレンズで構成され、オートフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部からの光をＣＣＤ画像センサ３２上に結像する。

ＣＣＤ画像センサ３２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子などの光電変換素子がマトリクス状に配列されてなる構成で、表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ４０へ出力する。尚、ＣＣＤ素子一つ分のデータが画像を形成する画素の画素データであり、画像データはＣＣＤ素子の数の画素データで構成され、それぞれの画素データは、１画素あたり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色、各２５６階調の輝度で表される画素情報をもっている。

また、図２に示すように、投影装置３は、光源部３３と、集光レンズ３４と、液晶パネル３５と、投射レンズ３６とを備えている。

投影装置３は、液晶パネル３５を利用して撮像領域４を照らす光を投光して使用者に対し撮像領域４を示すとともに、その液晶パネル３５において形成された像に基づいて撮像領域４上に投影像を投影する。

光源部３３は、集光レンズ３４と液晶パネル３５とに向けて光を発するものであり、光源としてのランプと、そのランプの光を液晶パネル３５に向けて照射させるためのリフレクタとを有している。

集光レンズ３４は、光源部３３から発せられた光を集光する光学レンズであり、薄く平らなアクリル樹脂の板状シートに、同芯円状に全て角度の違うプリズムの山が一定間隔に施されている。そのプリズムの山が小さな屈曲面として作用し、全体として集光レンズとして機能する。

液晶パネル３５は、２枚のガラス板の間に液晶を封入し、電圧をかけることによって液晶分子の向きを変え、光の透過率を増減させることで所望の投影像を撮像領域４に投影するものである。

次に、図３を参照して、上述した画像入力装置１の電気的な構成について説明する。図３は、画像入力装置１の電気的構成を示したブロック図である。画像入力装置１に搭載されたプロセッサ４０は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３を備えている。

ＣＰＵ４１は、ＲＯＭ４２に記憶されたプログラムによる処理に応じて、ＲＡＭ４３を利用して、ＣＣＤ画像センサ３２から画像データの取り込み等の各種処理を行う。

ＲＯＭ４２には、カメラ制御プログラム４２１、画像変化検知プログラム４２２、操作ボタン投影位置／サイズ／色演算プログラム４２３、焦点度測定プログラム４２４、矩形領域切取りプログラム４２５が格納されており、これらのプログラムはＣＰＵ４１により実行される。

カメラ制御プログラム４２１は、図９に示すフローチャートの処理を含む画像入力装置１全体の制御に関するプログラムである。画像変化検知プログラム４２２は、撮像領域４において撮像される撮像データに変化があったか否かを検知するプログラムである。

操作ボタン投影位置／サイズ／色演算プログラム４２３は、投影装置３により投影する操作ボタン６の投影位置、サイズ、及び色を演算するプログラムである。焦点度測定プログラム４２４は、投影像が投影されている領域と撮像装置２（図１参照）との間に介在させられた入力部材の焦点度を測定するためのプログラムである。矩形領域切取りプログラム４２５は、画像データ中の原稿Ｐが写った領域の画像データを切取るためのプログラムである。

ＲＡＭ４３には、保存画像格納部４３１、矩形領域切取り結果画像格納部４３２、操作ボタン投影位置格納部４３３、操作ボタン投影サイズ格納部４３４、操作ボタン投影色格納部４３５、焦点度閾値格納部４３６、変化領域格納部４３７、ワーキングエリア４３８が記憶領域として割り当てられている。

保存画像格納部４３１は、撮像領域４の撮像の変化を検知するための基準となる保存画像の画像データを格納する。矩形領域切取り結果画像格納部４３２は、後述する矩形領域切取り処理の結果を格納する。

操作ボタン投影位置格納部４３３は、後述する操作ボタン投影位置／サイズ／色演算処理（図１０，図１１）の結果出力される操作ボタン６の投影位置を表す投影位置データを格納する。操作ボタン投影サイズ格納部４３４は、操作ボタン投影位置／サイズ／色演算処理の結果出力される操作ボタン６のサイズを表すサイズデータを格納する。操作ボタン投影色格納部４３５は、操作ボタン投影位置／サイズ／色演算処理により出力される操作ボタン６の色を決定するための色データを格納する。

焦点度閾値格納部４３６は、後述する撮像処理（図９参照）において用いられる焦点測定閾値を格納する。変化領域格納部４３７は、後述する画像変化検知処理（図１３参照）によって得られた変化領域のデータを格納する。ワーキングエリア４３８は、ＣＰＵ４１での演算のために一時的に使用するデータを格納する。

メモリカード５５は、不揮発性で書き換え可能なメモリで構成され、本体ケース７に着脱可能である。

光源制御装置５６は、プロセッサ４０からの信号を受けて、光源部３３を制御する。液晶制御装置５７は、プロセッサ４０からの信号を受けて液晶パネル３５を制御する。

また、画像入力装置１はインターフェイス６２を介して外部機器と接続可能に構成されている。

次に、図４から図８を参照して、本実施例の画像入力装置１の投影装置３により撮像領域４に投影される操作ボタン６について説明する。なお、矩形の原稿Ｐに表示される画像の上下方向の向きが本体ケース７（図１参照）に対し所定の向きとなるように撮像領域４内に原稿Ｐを載置することで、原稿Ｐの画像の上下方向の向きと撮像領域４に投影される操作ボタン６の上下方向の向きとが一致する。

図４は、矩形の原稿Ｐに表示される画像よりも下側に存在する余白領域（以下、下側の余白領域という）に投影される操作ボタン６を示す図である。図４に示すように、下側の余白領域の高さが基準の高さＨＥＩＧＨＴ３よりも大きく、下側の余白領域内に基準の高さＨＥＩＧＨＴ３を有する操作ボタン６を投影できるときは、所定の形状、例えば高さがＨＥＩＧＨＴ３であって基準色（本実施例では赤色）の操作ボタン６が、原稿Ｐ上の下側の余白領域内に投影される。

ここで、余白領域とは、原稿Ｐの輪郭により囲まれた領域であって、画像を表示していない空白の領域のことをいうものであって、原稿Ｐが例えば白以外の色を備えたカラー用紙であっても構わない。

すなわち、本明細書中において、「余白領域」とは、対象物としての原稿Ｐ上にテキスト、写真、図形等の画像が表示されていない領域を指すもので、原稿Ｐが特定の色（基調色）を有する場合にも、上記画像が表示されていない領域を指すものである。

図５は、矩形の原稿Ｐに表示される画像よりも上側に存在する余白領域（以下、上側の余白領域という）に投影される操作ボタン６を示す図である。図５に示すように、下側の余白領域の高さｈ０が基準の高さＨＥＩＧＨＴ３以下であって、下側の余白領域内に高さＨＥＩＧＨＴ３の操作ボタン６を投影できず、上側の余白領域内に予め定められた基準の高さＨＥＩＧＨＴ３の操作ボタン６を投影できるときは、高さがＨＥＩＧＨＴ３であって赤色の操作ボタン６が、上側の余白領域内であって原稿Ｐ上に投影される。

図６は、下側の余白領域に投影される操作ボタン６を示す図である。図６に示すように、下側の余白領域の高さｈ１及び上側の余白領域の高さｈ２がいずれも基準の高さＨＥＩＧＨＴ３以下であって、下側の余白領域内及び上側の余白領域内のいずれにも予め定められた基準の高さＨＥＩＧＨＴ３の操作ボタン６を投影できないときは、高さがＨＥＩＧＨＴ２（ＨＥＩＧＨＴ２＝ＨＥＩＧＨＴ３−微少値）であって赤色の操作ボタン６が、上側の余白領域または下側の余白領域のうち、高さＨＥＩＧＨＴ２の操作ボタン６を投影可能ないずれか一方の余白領域が選択され、その余白領域内の原稿Ｐ上に投影される。

なお、図６において、高さがＨＥＩＧＨＴ３の操作ボタン６が投影される場合の操作ボタン６の領域を破線で示す。図６から明らかなように、高さＨＥＩＧＨＴ３の操作ボタン６に比較してサイズが小さい高さＨＥＩＧＨＴ２の操作ボタン６を投影することで、余白領域の高さが小さい場合であっても余白領域内に操作ボタン６を投影することができる。

図４から図６に示すように、本実施例の画像入力装置１によれば、余白領域内に操作ボタン６を投影することで、原稿Ｐに表示された画像上に操作ボタン６が投影されて原稿Ｐに表示された画像と操作ボタン６とが互いに視認性を損なうことが抑制される。

図７は、矩形の原稿Ｐに表示された画像に重ねて投影される操作ボタン６を示す図である。図７に示すように、下側の余白領域の高さ及び上側の余白領域の高さがいずれもＨＥＩＧＨＴ２（図６参照）以下であって、下側の余白領域内及び上側の余白領域内のいずれにも高さＨＥＩＧＨＴ２の操作ボタン６（図６参照）を投影できないときは、原稿Ｐに表示される画像に重ねて、ＨＥＩＧＨＴ２の操作ボタン６がその原稿Ｐの色の補色で表示される。

したがって、原稿Ｐに表示された画像上に操作ボタン６が投影されたとしても、原稿Ｐに対して視認性の高い操作ボタン６を投影することができる。

図８は、矩形の原稿Ｐの輪郭により囲まれた領域外の平面５（図１参照）上に少なくとも一部が投影された操作ボタン６を示す図である。図８に示すように、下側の余白領域及び上側の余白領域がともに操作ボタン６を投影できるほど大きくない場合には、操作ボタン６のうち少なくとも一部が矩形の原稿Ｐの輪郭により囲まれた領域外であって平面５上に投影されるように、操作ボタン６の位置が変更される。

また、原稿Ｐの用紙の色（基調色）が白色とは異なる灰色または他の有彩色を有する場合には、その用紙の色と異なる色彩の色で操作ボタン６を投影するようにすれば良い。

なお、図４から図８に示すように、本実施例の画像入力装置１では、投影像として、「ＳＣＡＮ」と表示された操作ボタン６と、「ＣＡＮＣＥＬ」と表示された操作ボタン６とが投影される。使用者は、原稿Ｐ上または平面５上の「ＳＣＡＮ」と表示された操作ボタン６が投影された領域に指やペンなどの入力部材を接触させることにより、原稿Ｐの撮像を指示することができる。

次に、図９を参照して、上述したように構成された画像入力装置１に関し、使用者により電源がオンされてからの動作について説明する。図９は、撮像処理を示すフローチャートである。

まず、使用者によって電源の投入が為されると、撮像領域４（図１参照）に原稿Ｐが載置されていない状態で撮像領域４を撮像装置２により低解像度で撮像し、その撮像の画像データを保存画像として保存画像格納部４３１（図３参照）に格納する（Ｓ１）。低解像度の画像データなので、後の処理における演算量が少なく、処理を高速にすることができる。

次に、使用者により電源がオフされたか否かを判断する（Ｓ２）。電源がオフされた場合（Ｓ２：Ｙｅｓ）、撮像処理を終了する。

一方、電源がオフされていない場合（Ｓ２：Ｎｏ）、後述する画像変化検知処理（図１３参照）により撮像領域４の撮像を行ない（Ｓ３）、その画像変化検知処理の結果に基づいて、撮像領域４の撮像に変化があったか否かを判断する（Ｓ４）。撮像領域４の撮像に変化がない場合（Ｓ４：Ｎｏ）、Ｓ２の処理に戻る。

一方、使用者が撮像領域４内に原稿Ｐを載置すると、撮像領域４の撮像が変化するので、撮像領域４の撮像に変化があったと判断され（Ｓ４：Ｙｅｓ）、投影装置３により撮像領域４に光を投光し、その撮像領域４を照らす（Ｓ５）。

これにより使用者は、撮像装置２により撮像可能な撮像領域４を視認することができるので、例えば、その撮像領域４内に原稿Ｐが載置されるように、原稿Ｐの位置を調整する。また、撮像領域４内に原稿Ｐが載置されると、結像レンズ３１（図２参照）は原稿Ｐに焦点が合うように、自動で焦点距離及び絞りを調整する。

次に、後述する画像変化検知処理（図１３参照）を行い（Ｓ６）、その画像変化検知処理の結果に基づいて撮像領域４の撮像に変化がない状態が３秒間連続したか否かを判断する（Ｓ７）。

前回撮像領域４の撮像の変化を検出したときから３秒未満で再び撮像領域４の撮像に変化があった場合（Ｓ７：Ｎｏ）、Ｓ６の処理に戻るが、撮像領域４の撮像の変化がない状態が３秒間連続すると（Ｓ７：Ｙｅｓ）、Ｓ８の処理に進む。すなわち、原稿Ｐが使用者によって載置されてから、原稿Ｐの位置の調整などが完了したと考えられる場合にはＳ８以下の処理に進む。

次に、矩形領域切取り処理として（Ｓ８）、矩形領域切取りプログラム４２５（図３参照）により、撮像装置２により撮像されて保存画像格納部４３１に格納された保存画像の画像データを、原稿Ｐだけが画像の中央に配置された平面画像の画像データに変換し、この画像を矩形領域切取り結果画像格納部４３２（図３参照）に格納する。尚、矩形領域切取り処理（Ｓ８）については、先に本出願人が提出した特願２００３−３２６６１４号に記載されている処理と同様であるため、その詳細な説明については省略する。

次に、後述する操作ボタン投影位置／サイズ／色演算処理（図１０、図１１参照）により操作ボタン６の投影位置、投影サイズ及び投影色を決定し（Ｓ９）、それぞれ操作ボタン投影位置格納部４３３、操作ボタン投影サイズ格納部４３４、操作ボタン投影色格納部４３５（図３参照）に格納する。

続いて、操作ボタン投影位置格納部４３３、操作ボタン投影サイズ格納部４３４、操作ボタン投影色格納部４３５に格納された操作ボタン６の位置、サイズ及び色データに基づいて、投影装置３により操作ボタン６を投影する（Ｓ１０）。

次に、後述する画像変化検知処理（図１３参照）を行い（Ｓ１１）、その画像変化検知処理の結果に基づいて「ＳＣＡＮ」と表示された操作ボタン６または「ＣＡＮＣＥＬ」と表示された操作ボタン６のいずれかが投影された領域の撮像データに変化があったか否かを判断する（Ｓ１２）。

この処理により、操作ボタン６が撮像領域４内に投影されている状態で、操作ボタン６が投影されている領域と撮像装置２との間にペン先または指先等の入力部材が介在させられたか否かを判断する。

操作ボタン６が投影された領域の撮像に変化がない場合（Ｓ１２：Ｎｏ）、Ｓ１１の処理に戻るが、操作ボタン６が投影された領域に指やペンなどの入力部材が近づけられることにより、操作ボタン６が投影された領域の撮像に変化があった場合（Ｓ１２：Ｙｅｓ）、後述する焦点度測定処理（図１４参照）により、入力部材の焦点度を測定し（Ｓ１３）、その焦点度が焦点度閾値格納部４３６（図３参照）に格納された焦点度閾値以上であるか否かを判断する（Ｓ１４）。

ここで焦点度とは、結像レンズ３１（図２参照）により原稿Ｐに合うように調整されている焦点に対し、ある物体に焦点がどの程度合っているかを数値化したパラメータである。

したがって、Ｓ１３の焦点度測定処理において測定された焦点度が焦点度閾値よりも小さい場合（Ｓ１４：Ｎｏ）、操作ボタン６が投影された領域に近づけられた指やペンなどの入力部材と原稿Ｐまたは平面５（図１参照）との距離は所定距離以上離れていると判断することができ、Ｓ１１の処理に戻る。すなわち、使用者の誤りにより、指又はペン等が上記操作ボタン６上を通過したような場合には、Ｓ１１の処理に戻る。

一方、Ｓ１３の焦点度測定処理において測定された焦点度が焦点度閾値以上である場合（Ｓ１４：Ｙｅｓ）、入力部材が焦点が合う位置、すなわち原稿Ｐまたは平面５（図１参照）に近接または接触する位置にあると判断した場合には、使用者が操作ボタン６の操作を意図したものであると判断することができ、Ｓ１６の処理に進む。

次に、操作ボタン６が投影された領域の撮像において、Ｓ１４の処理により焦点度が所定の焦点度閾値以上であると判定されてから所定時間、例えば３秒の間に操作ボタン６が投影されている領域の撮像に変化がないか否かを判定する（Ｓ１６）。

入力部材が原稿Ｐまたは平面５に近接または接触する位置にある状態が所定時間以上連続したか否かを判断することで、誤操作ではなく、使用者が操作意思を持って操作ボタン６に入力部材を接触させたのか否かを判断するためである。

操作ボタン６が投影された領域の撮像に３秒未満で変化があった場合（Ｓ１６：Ｎｏ）、Ｓ１１の処理に戻るが、３秒の間、操作ボタン６が投影された領域の撮像に変化がない場合（Ｓ１６：Ｙｅｓ）、投影装置３（図１参照）による撮像領域４への投光と操作ボタン６の投影を終了する（Ｓ１７）。

これは、撮像領域４への投光と操作ボタン６の投影とを終了させることにより、使用者に対し、操作ボタン６の操作が受け付けられ、まもなく対象物の撮像が行われることを報知するためである。

次に、変化領域格納部４３７（図３参照）に格納されている変化領域のデータに基づいて、Ｓ１１の処理において検知された撮像の変化が、「ＳＣＡＮ」と表示された操作ボタン６が投影された領域であったか否かを判断する（Ｓ１８）。

Ｓ１１の処理において検知された撮像の変化が、「ＣＡＮＣＥＬ」と表示された操作ボタン６が投影された領域であった場合（Ｓ１８：Ｎｏ）、Ｓ２の処理に戻る。

一方、Ｓ１１の処理において検知された撮像の変化が、「ＳＣＡＮ」と表示された操作ボタン６が投影された領域であった場合（Ｓ１８）、所定時間、例えば２秒間待機し（Ｓ１９）、高解像度で原稿Ｐを撮像する（Ｓ２０）。

すなわち、Ｓ１７の処理において撮像領域４への投光と操作ボタン６の投影が終了することによりまもなく撮像が行われることを使用者が認識し、入力部材を撮像領域４外へ出すために充分な時間を待機させた後、原稿Ｐを高解像度で撮像することにより、入力部材が撮像領域４内に存在したままで原稿Ｐを撮像してしまうことを抑制できる。

続いて、投影装置３により撮像領域４を点滅させることにより使用者に対し、原稿Ｐの撮像が終了したことを使用者に対して示し、Ｓ２の処理に戻る（Ｓ２１）。

次に、図１０乃至図１２を参照して、上述した操作ボタン投影位置／サイズ／色演算処理（図９のＳ９）について説明する。図１０、図１１は、操作ボタン投影位置／サイズ／色演算処理を示すフローチャートである。図１２は、操作ボタン６の投影位置、投影サイズを説明する図である。

この処理では、まず、矩形領域切取り結果画像格納部４３２（図３参照）に格納された原稿Ｐの画像データを入力する（Ｓ９００）。図１２に示すように、この処理において入力される画像データの座標である幅方向位置（列）ｘ及び高さ方向位置（行）ｙは、画素の個数であらわされ、画像の一番左上の画素を基点として、１個目を「０」位置とする。つまり、幅方向位置（列）ｘの範囲は「０」〜「Ｗ」で、高さ方向位置（行）ｙの範囲は「０」〜「Ｈ」となる。そして、画像データは、１画素あたり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色、各２５６階調の輝度で表される画素情報をもっている。また下側の余白領域の高さを示す変数を「ＨＥＩＧＨＴＢ」、上側の余白領域の高さを示す変数を「ＨＥＩＧＨＴＴ」とする。

次にＳ９００の処理において入力された画像データに基づいて、下側の余白領域を検出する。

具体的には、下側の余白領域の高さを示す変数「ＨＥＩＧＨＴＢ」を「０」、参照画素の高さ方向位置（行）を示す変数「ｈ」を「Ｈ−１」とする（Ｓ９０１）。

次に、「ｈ≧Ｈ−ＨＥＩＧＨＴ４」であれば（Ｓ９０２：Ｙｅｓ）、参照画素の幅方向位置を示す変数「ｗ」を「０」とし、色データを示す変数「ＳＵＭ」を「０」とする（Ｓ９０３）。すなわち、原稿Ｐの左下に位置する画素から参照を開始する。なお、「ＨＥＩＧＨＴ４」は後述する閾値２よりも大きい値であって、予め定められた値である。

「ｗ＜Ｗ」であれば（Ｓ９０４：Ｙｅｓ）、「ＳＵＭ」に参照画素が有するＲ，Ｇ，Ｂの各成分の値を加算し（Ｓ９０６）、「ｗ」に「１」を加算する（Ｓ９０６）。すなわち、右隣の画素を次の参照画素とする。

「ｈ」行に位置する全て画素についてＲＧＢの各成分の値の加算が終了すると（Ｓ９０４：Ｎｏ）、「ＳＵＭ」を「Ｗ」で除算する（Ｓ９０７）。すなわち、「ｈ」行において、１画素が有するＲ，Ｇ，Ｂの合計の値の平均値（色データ）を算出する。

「ｈ」行において、「ＳＵＭ」が閾値１よりも大きければ（Ｓ９０８：Ｙｅｓ）、「ｈ」行は明度が高く、余白領域であると判断されて、「ＨＥＩＧＨＴＢ」に「１」加算する（Ｓ９０９）。なお、閾値１は、その行が白色であると判断するための値であって、予め定められた値である。

続いて、「ｈ」から「１」減算し（Ｓ９１０）、Ｓ９０２の処理に戻る。すなわち、一段上の行の左端の画素を次の参照画素とする。

一方、「ｈ」行において、「ＳＵＭ」が閾値１以下であれば（Ｓ９０８：Ｎｏ）、「ｈ」行には画像が存在する、すなわち余白領域ではないと判断されＳ９１１の処理に進む。

「Ｈ」行から「Ｈ−ＨＥＩＧＨＴ４」行に存在する全ての画素について参照が終了するか（Ｓ９０２：Ｎｏ）、または、画像が存在する行を検出すると（Ｓ９０８：Ｎｏ）、「ＨＥＩＧＨＴＢ」は、下側の余白領域の高さを示す値となるので、「ＨＥＩＧＨＴＢ」を閾値２と比較する（Ｓ９１１）。ここで、閾値２は操作ボタン６の基準の高さＨＥＩＧＨＴ３（図４，図５，図７，図８参照）に相当する値である。

「ＨＥＩＧＨＴＢ」が閾値２よりも大きければ（Ｓ９１１：Ｙｅｓ）、余白領域内に基準の高さ「ＨＥＩＧＨＴ３」の操作ボタン６を投影することができると判断する。

したがって、操作ボタンサイズとして基準の高さ「ＨＥＩＧＨＴ３」を出力して操作ボタン投影サイズ格納部４３３に格納し（Ｓ９１２）、操作ボタン色として基準色である赤色を出力して操作ボタン投影色格納部４３５に格納し（Ｓ９１３）、操作ボタン位置として、操作ボタン６の上端の位置に相当する「Ｈ−閾値２」を出力して操作ボタン投影位置格納部４３３に格納し（Ｓ９１４）、処理を終了する。

すなわち、図４に示すように、下側の余白領域内において基準の高さＨＥＩＧＴ３の操作ボタン６が原稿Ｐ上に投影される。

また、「ＨＥＩＧＨＴＢ」が閾値２以下であれば（Ｓ９１１：Ｎｏ）、矩形領域切取り結果画像格納部４３２（図３参照）に格納された原稿部分の画像データに基づいて、上側の余白領域の高さを示す「ＨＥＩＧＨＴＴ」（図１２参照）を検出する（Ｓ９１５〜Ｓ９２４）。

まず、原稿Ｐの上側に位置する余白領域の高さを示す変数「ＨＥＩＧＨＴＴ」を「０」、参照画素の高さ方向位置を示す変数「ｈ」を「０」とする（Ｓ９１５）。

次に、「ｈ≧ＨＥＩＧＨＴ４」であれば（Ｓ９１６：Ｙｅｓ）、参照画素の幅方向位置を示す変数「ｗ」を「０」とし、色データを示す変数「ＳＵＭ」を「０」とする（Ｓ９１７）。すなわち、原稿Ｐの左上に位置する画素から参照を開始する。

「ｗ＜Ｗ」であれば（Ｓ９１８：Ｙｅｓ）、「ＳＵＭ」に参照画素が有するＲ，Ｇ，Ｂの各成分の値を加算し（Ｓ９１９）、「ｗ」に「１」を加算する（Ｓ９２０）。すなわち、右隣の画素を次の参照画素とする。

「ｈ」行に位置する全て画素についてＲＧＢの各成分の値の加算が終了すると（Ｓ９１８：Ｎｏ）、「ＳＵＭ」を「Ｗ」で除算する（Ｓ９２１）。すなわち、「ｈ」行において、１画素が有するＲ，Ｇ，Ｂの合計の値の平均値（色データ）を算出する。

「ｈ」行において、「ＳＵＭ」が閾値１よりも大きければ（Ｓ９２２：Ｙｅｓ）、「ｈ」行は明度が高く、余白領域であると判断されて、「ＨＥＩＧＨＴＴ」に「１」加算する（Ｓ９２３）。続いて、「ｈ」に「１」加算し（Ｓ９２４）、Ｓ９１６の処理に戻る。すなわち、一段下の行の左端の画素を次の参照画素とする。

一方、「ｈ」行において、「ＳＵＭ」が閾値１以下であれば（Ｓ９２２：Ｎｏ）、「ｈ」行には画像が存在すると判断されＳ９２５の処理に進む。

このようにして、「ＨＥＩＧＨＴＴ」は、下側に位置する余白領域の高さを示す値となるので、「ＨＥＩＧＨＴＴ」を閾値２と比較する（Ｓ９２５）。

「ＨＥＩＧＨＴＴ」が閾値２よりも大きければ（Ｓ９２５：Ｙｅｓ）、上側の余白領域内に基準の高さ「ＨＥＩＧＨＴ３」の操作ボタン６を投影することができると判断する。

したがって、操作ボタンサイズとして「ＨＥＩＧＨＴ３」を出力して操作ボタン投影サイズ格納部４３３に格納し（Ｓ９２６）、操作ボタン色として基準色である赤色を出力して操作ボタン投影色格納部４３５に格納し（Ｓ９２７）、操作ボタン位置として、操作ボタン６の上端の位置に相当する「０」を出力して操作ボタン投影位置格納部４３３に格納し（Ｓ９２８）、処理を終了する。

すなわち、図５に示すように、上側の余白領域内において基準の高さＨＥＩＧＴ３の操作ボタン６が原稿Ｐ上に投影される。

次に、上側の余白領域の高さを示す「ＨＥＩＧＨＴＴ」（図１２参照）と下側の余白領域の高さを示す「ＨＥＩＧＨＴＢ」（図１２参照）とが共に閾値２以下である場合（Ｓ９２５：Ｎｏ）、すなわち、余白領域内に基準の高さＨＥＩＧＨＴ３の操作ボタン６を投影することができないと判定された場合、図１１に示すように、「ＨＥＩＧＨＴＴ」が閾値３よりも大きいか否かを判断する（Ｓ９２９）。

ここで、閾値３は操作ボタン６の高さＨＥＩＧＨＴ２（図６参照）に相当する値である。

「ＨＥＩＧＨＴＴ」が閾値３よりも大きい場合（Ｓ９２９：Ｙｅｓ）、操作ボタンサイズとして「ＨＥＩＧＨＴ２」を出力して操作ボタン投影サイズ格納部４３３に格納する（Ｓ９３０）。

よって、原稿Ｐに表示される画像の上側に存在する余白領域内において基準の高さＨＥＩＧＨＴ３よりも微少値だけ小さい高さＨＥＩＧＨＴ２の操作ボタン６が原稿Ｐ上に投影される。

「ＨＥＩＧＨＴＴ」が閾値３以下である場合（Ｓ９２９：Ｎｏ）、「ＨＥＩＧＨＴＢ」（図１２参照）が閾値３よりも大きいか否かを判断する（Ｓ９３３）。「ＨＥＩＧＨＴＢ」が閾値３よりも大きいときは、操作ボタンサイズとして「ＨＥＩＧＨＴ２」を出力して操作ボタン投影サイズ格納部４３３に格納する（Ｓ９３４）。

よって、図６に示すように、原稿Ｐに表示される画像の下側に存在する余白領域内において基準の高さＨＥＩＧＨＴ３よりも微少値だけ小さい高さＨＥＩＧＨＴ２の操作ボタン６が原稿Ｐ上に投影される。

「ＨＥＩＧＨＴＴ」と「ＨＥＩＧＨＴＢ」とが共に閾値３以下である場合（Ｓ９３３：Ｎｏ）、Ｓ９００の処理で入力された画像データに基づいて原稿Ｐの下端「Ｈ」から所定の高さ「Ｈ−ＨＥＩＧＨＴ４」までの各画素についてＲＧＢ値を各成分毎に合計し（Ｓ９３８〜Ｓ９４５）、原稿Ｐの色を判別する（Ｓ９４６〜Ｓ９４８）。

具体的には、参照画素の高さ方向位置を示す変数「ｈ」を「Ｈ−１」とする（Ｓ９３７）。

次に、「ｈ≧Ｈ−ＨＥＩＧＨＴ４」であれば（Ｓ９３８：Ｙｅｓ）、参照画素の幅方向位置を示す変数「ｗ」を「０」とする（Ｓ９３９）。すなわち、原稿Ｐの左下に位置する画素から参照を開始する。

「ｗ＜Ｗ」であれば（Ｓ９４０：Ｙｅｓ）、「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」に参照画素が有するＲ，Ｇ，Ｂの各成分の値をそれぞれ加算し（Ｓ９４１〜Ｓ９４３）、「ｗ」に「１」を加算する（Ｓ９４４）。すなわち、右隣の画素を次の参照画素とする。

高さ方向位置「ｈ」に位置する全て画素についてＲ，Ｇ，Ｂの各成分の値の加算が終了すると（Ｓ９４０：Ｎｏ）、「ｈ」から「１」減算し（Ｓ９４５）、Ｓ９３８の処理に戻る。すなわち、一段上行の左端の画素を次の参照画素とする。

「Ｈ」行から「Ｈ−ＨＥＩＧＨＴ４」行に存在する全ての画素についてＲ，Ｇ，Ｂの各成分の値の加算が終了すると（Ｓ９３８：Ｎｏ）、「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」をそれぞれ参照した画素数で除算し、一画素が有するＲ，Ｇ，Ｂの各成分の値の平均値を算出する（Ｓ９４６〜Ｓ９４８）。この処理により、原稿Ｐの平均の色が判別される。

続いて、Ｓ９４６〜Ｓ９４８の処理で判別された「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」が全て閾値４より大きく閾値５よりも小さいか否かを判断する（Ｓ９４９）。「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」のうち少なくとも一つが閾値４以下または閾値５以上であれば（Ｓ９４９：Ｎｏ）、操作ボタンサイズとして「ＨＥＩＧＨＴ３」を出力して操作ボタン投影サイズ格納部４３３に格納し（Ｓ９５０）、操作ボタン色として原稿Ｐの平均の色とは異なる色、例えばＳ９４６〜Ｓ９４８の処理において取得された原稿Ｐの平均の色の補色を出力して操作ボタン投影色格納部４３５に格納し（Ｓ９５１）、操作ボタン位置として、操作ボタン６の上端の位置に相当する「Ｈ−閾値２」を出力して操作ボタン投影位置格納部４３３に格納し（Ｓ９５２）、処理を終了する。

すなわち、図７に示すように、原稿Ｐに表示される画像に重ねて、その原稿Ｐの平均の色の補色の操作ボタン６が表示される。

ここで、原稿Ｐの平均の色の補色は、「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」に基づいて、予め記憶されたテーブルを参照することにより決定されても良いし、演算処理を行うことにより決定されても良い。

一方、「ＳＵＭＲ」、「ＳＵＭＧ」、「ＳＵＭＢ」が全て閾値４より大きく閾値５よりも小さい場合（Ｓ９４９：Ｙｅｓ）、原稿Ｐの用紙の色（基調色）が灰色に近い場合や、原稿Ｐが写真のように基調色を有さない場合であると判断できる。したがって、操作ボタンサイズとして「ＨＥＩＧＨＴ３」を出力して操作ボタン投影サイズ格納部４３３に格納し（Ｓ９５３）、操作ボタン色として基準色である赤色を出力して操作ボタン投影色格納部４３５に格納し（Ｓ９５４）、操作ボタン位置として、例えば操作ボタン６の上端の位置に相当する「Ｈ−微少値」を出力して操作ボタン投影位置格納部４３３に格納し（Ｓ９５５）、処理を終了する。

すなわち、図８に示すように、操作ボタン６は、原稿Ｐの輪郭により囲まれた領域外の平面５（図１参照）上に少なくとも一部が投影されるように位置が変更されるので、操作ボタン６が原稿Ｐに表示された画像に重なることが抑制される。

次に、図１３、図１４を参照して、上述した画像変化検知処理（図９のＳ３，Ｓ６，Ｓ１１）について説明する。図１３は、画像変化検知処理を示すフローチャートであり、図１４は、画像変化検知処理の結果出力される座標を示す図である。

画像変化検知処理は、撮像領域４（図１参照）の撮像の変化を検知するための処理である。

まず、撮像装置２により低解像度の静止画像を撮像し、画像データを取得する（Ｓ３０１）。低解像度の画像データなので、後の処理における演算量が少なく、処理を高速にすることができる。

次に、参照する画素行を示す変数「ｈ」を「０」とし、「画素変化量」を初期化する（Ｓ３０２）。

続いて、「ｈ」が保存画像の画像データの最下端の画素行を示す「Ｈ」よりも小さいか否かを判断する（Ｓ３０３）。「ｈ」が「Ｈ」よりも小さい場合（Ｓ３０４）、参照する画素列を示す変数「ｗ」を「０」とし（Ｓ３０４）、「ｗ」が保存画像の画像データの最右端の画素列を示す「Ｗ」よりも小さいか否かを判断する（Ｓ３０５）。

「ｗ＜Ｗ」である場合（Ｓ３０５：Ｙｅｓ）、Ｓ３０１の処理により取得された低解像度静止画像の画像データにおける参照画素と保存画像格納部４３１（図３参照）に格納された保存画像の画像データにおける参照画素とを比較する（Ｓ３０６）。具体的には、Ｒ，Ｇ，Ｂの各成分について値を比較する。

その結果、Ｒ，Ｇ，Ｂの各成分について値が一致すれば、その画素〔ｈ〕〔ｗ〕の色は保存画像の画像データの対応する画素の色と同じであると判断されて（Ｓ３０７：Ｙｅｓ）、Ｓ３１０の処理に進む。

一方、Ｒ，Ｇ，Ｂの各成分のうち少なくとも一つについて値が一致しなければ、「画素変化量」に１を加算し（Ｓ３０８）、その参照画素の座標（ｗ、ｈ）を記憶し（Ｓ３０９）、Ｓ３１０の処理に進む。

次に、「ｗ」に「１」を加算してＳ３０５の処理に戻る（Ｓ３１０）。すなわち、右隣の画素を参照画素とする。「ｈ」行について右端の画素まで参照すると（Ｓ３０５：Ｙｅｓ）、「ｈ」に「１」を加算して一段下の行の左端の画素を参照画素とする（Ｓ３１１）。

このようにして、Ｓ３１０の処理で取得した低解像度静止画像の画像データと保存画像格納部４３１（図３参照）に格納された保存画像の画像データとにおける全ての画素についての比較が終了すると（Ｓ３０３：Ｎｏ）、Ｓ３０９の処理において記憶された参照画素の座標（ｗ、ｈ）に基づいて、撮像の変化が検知された変化領域ｐ（図１４参照）の左上の座標（ＷＳＴＡＲＴ，ＨＳＴＡＲＴ）と右下の座標（ＷＥＮＤ，ＨＥＮＤ）とを出力し（Ｓ３１２）、変化領域格納部４３７（図３参照）に格納する。

次に、Ｓ３０８の処理において算出された「画素変化量」を出力し（Ｓ３１３）、保存画像格納部４３１（図３参照）に格納された保存画像の画像データを、Ｓ３０１の処理で取得された低解像度静止画像の画像データで更新し（Ｓ３１４）、処理を終了する。

次に、図１４，図１５を参照して、上述した焦点度測定処理（図９のＳ１３）について説明する。図１５は、焦点度測定処理を示すフローチャートである。

図１５に示す焦点度測定処理は、図９に示すＳ１１の画像変化検知処理において撮像の変化が検知された変化領域ｐにおける入力部材の焦点度を測定するための処理である。

具体的には、まず、変化領域格納部４３７に格納された変化領域ｐの左上の座標に基づいて、参照する画素行を示す「ｈ」を「ＨＳＴＡＲＴ」とし、変数「ａｖｇ」を「０」とする（Ｓ１３００）。

次に、「ｈ」が変化領域ｐの最下端の行「ＨＥＮＤ」よりも小さいか否かを判断する（Ｓ１３０１）。

「ｈ」が「ＨＥＮＤ」よりも小さい場合（Ｓ１３０１：Ｙｅｓ）、参照する画素列を示す「ｗ」を「ＷＳＴＡＲＴ」とし（Ｓ１３０３）、「ｗ」が変化領域ｐの最右端に相当する画素列を示す「ＷＥＮＤ」よりも小さいか否かを判断する（Ｓ１３０４）。すなわち変化領域ｐの左上から参照を開始する。

「ｗ＜ＷＥＮＤ」である場合（Ｓ１３０４：Ｙｅｓ）、保存画像格納部４３１（図３参照）に格納された保存画像の画像データにおける参照画素のＲ，Ｇ，Ｂの各成分の合計値（画素〔ｈ〕〔ｗ〕）を「ａｖｇ」に加算し（Ｓ１３０５）、「ｗ」に「１」を加算して右隣の画素を次の参照画素とし、Ｓ１３０３の処理に戻る（Ｓ１３０６）。

「ｈ」行について変化領域ｐの右端に相当する画素「ＷＥＮＤ」まで参照すると（Ｓ１３０４：Ｎｏ）、「ｈ」に「１」を加算して１つ下の行の左端の画素を次の参照画素とする（Ｓ１３０７）。

このようにして、保存画像格納部４３１（図３参照）に格納された画像データにおける変化領域ｐ内の全ての画素についてＲ，Ｇ，Ｂの各成分の合計値が加算されると（Ｓ１３０２：Ｎｏ）、変数「ａｖｇ」を変化領域ｐ内の画素数で除算する（Ｓ１３０８）。すなわち、「ａｖｇ」は、Ｒ，Ｇ，Ｂの各成分を合計した値（画素〔ｈ〕〔ｗ〕）の１画素当たりの平均値となる。

次に、変化領域ｐの分散値を算出する。具体的には、まず、変化領域格納部４３７に格納された変化領域ｐの左上の座標に基づいて、参照する画素行を示す「ｈ」を「ＨＳＴＡＲＴ」とし、変数「ｖ」を「０」とする（Ｓ１３０９）。

次に、「ｈ」が変化領域ｐの最下端の行「ＨＥＮＤ」よりも小さいか否かを判断する（Ｓ１３１０）。

「ｈ」が「ＨＥＮＤ」よりも小さい場合（Ｓ１３１０：Ｙｅｓ）、参照する画素列を示す「ｗ」を「ＷＳＴＡＲＴ」とし（Ｓ１３１１）、「ｗ」が変化領域ｐの右端に相当する画素列を示す「ＷＥＮＤ」よりも小さいか否かを判断する（Ｓ１３１２）。

「ｗ＜ＷＥＮＤ」である場合（Ｓ１３１２：Ｙｅｓ）、参照画素のＲ，Ｇ，Ｂの各成分を合計した値（画素〔ｈ〕〔ｗ〕）から「ａｖｇ」を減算した値の二乗を「ｖ」に加算し（Ｓ１３１３）、「ｗ」に「１」を加算して右隣の画素を次の参照画素とし、Ｓ１３１１の処理に戻る（Ｓ１３１４）。

「ｈ」行について変化領域ｐの右端に相当する画素まで参照すると（Ｓ１３１２：Ｎｏ）、「ｈ」に「１」を加算して一つ下の行の左端の画素を次の参照画素とする（Ｓ１３１５）。

変化領域ｐに相当する全ての画素についての参照が終了すると（Ｓ１３１０：Ｎｏ）、変数「ｖ」を変化領域ｐ内の画素数で除算する（Ｓ１３１６）。すなわち、分散値を算出する。

各画素ごとのＲ，Ｇ，Ｂの各成分を合計した値のばらつきが大きいほど、この分散値は大きい値となる。よって、撮像領域ｐ内に存在する物体に焦点があっており、めりはりのある撮像が得られる場合に、分散値が大きくなる。したがって、この分散値は、原稿Ｐに合うように調整されている焦点に対し、入力部材にどの程度ピントが合っているかを示す焦点度として用いることができる。

よって、図９に示すＳ１４の処理では、図１５に示す焦点度測定処理の結果として出力される「ｖ」を焦点度とし、この焦点度が所定の焦点度閾値以上である場合（Ｓ１４：Ｙｅｓ）、入力部材が操作ボタン６が投影された原稿Ｐまたは平面５に接触させられたと判断する。

上記実施例において、余白領域検出を「ｈ」行における「ＳＵＭ」が閾値１よりも大きい場合に明度が高く白色に近いものとして余白領域であると判断するようにしたが、「ｈ」行の背景色を予め検出して、その背景色分を除したものの「ＳＵＭ」を求めてから判断するようにすれば、特定の背景色を有する余白領域を検出することができる。

又、「ｈ」行における各画素データの分散値（背景色のみの場合は単一色となり分散はなく、文字／写真データ等の場合には、種々の色データが現れるため分散が大となる）から、その余白領域を判断するようにしても良い。

以上説明したように、本実施例の画像入力装置１によれば、入力された画像データに基づいて撮像領域４のうち原稿Ｐの輪郭により囲まれた領域であって原稿Ｐに画像が表示されていない余白領域が検出され、その余白領域内に所定の形状の操作ボタン６を投影することができるか否かが判定され、余白領域内に操作ボタン６を投影することができると判定された場合は余白領域内の原稿Ｐ上に基準高さＨＥＩＧＨＴ３の操作ボタン６が投影されるので、原稿Ｐに表示される画像と操作ボタン６とが互いに重ならず視認性を損なうことを抑制できる。

上記実施例において、請求項１に記載された画像データ入力手段としては、図１０のフローチャートのＳ９００の処理が該当し、余白領域検出手段としては、図１０のフローチャートのＳ９０２〜Ｓ９１０、及びＳ９１６〜Ｓ９２４の処理が該当し、投影可否判定手段としては、図１０のＳ９１１及びＳ９２５の処理が該当し、投影像位置決定手段としては、図１０のフローチャートのＳ９１４及びＳ９２８の処理が該当する。

請求項２に記載された色データ取得手段としては、図１０のフローチャートのＳ９０７及びＳ９２１の処理が該当する。請求項３に記載された対象物色判別手段としては、図１１のフローチャートのＳ９４６〜Ｓ９４８の処理が該当し、投影像色決定手段としては、図１１のＳ９５１の処理が該当する。

請求項４に記載された投影像サイズ決定手段としては、図１１のＳ９３０及びＳ９３４の処理が該当する。請求項６に記載された投影像位置変更手段としては、図１１のＳ９５５の処理が該当する。

請求項７に記載された第１変化判定手段としては、図９に示すＳ１２の処理が該当し、焦点度検出手段としては、図１５に示す焦点度測定処理が該当し、焦点度判定手段としては、図９に示すＳ１４の処理が該当し、撮像制御手段としては、図９に示すＳ２０の処理が該当する。

請求項８に記載された経過時間計測手段としては、図９に示すＳ１６の処理が該当する。請求項９に記載された投影終了手段としては、図９に示すＳ１７の処理が該当する。

以上実施例に基づき本発明を説明したが、本発明は上記実施例に何ら限定されるものでなく、本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

例えば、本実施例では、投影装置３により投影される操作ボタン６の個数は２つであったが、余白領域の高さ（ＨＥＩＧＨＴＢまたはＨＥＩＧＨＴＴ）に応じて投影する操作ボタン６の個数を変更しても良い。

図１６は変形例における操作ボタン投影位置／サイズ／色演算処理を示すフローチャートであり、図１０に相当する図である。図１６に示すように、余白領域の高さＨＥＩＧＨＴＢが予め定められた所定の値であるＨＥＩＧＨＴ５よりも大きい場合（Ｓ９１１１：Ｙｅｓ）、充分な面積の余白領域があるとして、操作ボタン６の数を増加して投影するものであっても良い（Ｓ９１１２）。このようにすれば、原稿Ｐに表示される画像を考慮した個数の投影像を余白領域内に投影することができる。また、余白領域の面積が小さい場合には、操作ボタン６の個数を減少して投影するように指示するものであっても良い。

尚、この場合、請求項５に記載された投影像数変更手段としては、図１６のＳ９１１２の処理が該当する。

また、本実施例では、図１０に示す操作ボタン投影位置／サイズ／色演算処理のＳ９００の処理において入力される画像データは原稿Ｐを低解像度で撮像したものであったが、高解像度で撮像するものであってもよい。その場合には、Ｓ９００の処理において入力された画像データを利用することで、Ｓ２０の処理を省略することができる。

以上、実施例に基づき本発明を説明したが、本発明は上述した実施例に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

本実施例の画像入力装置の概略図である。 画像入力装置に備えられた撮像装置と投影装置との各内部構造を示す概略図である。 画像入力装置の電気的構成を示したブロック図である。 矩形の原稿Ｐに表示される画像よりも下側に存在する余白領域に投影される操作ボタンを示す図である。 矩形の原稿Ｐに表示される画像よりも上側に存在する余白領域に投影される操作ボタンを示す図である。 矩形の原稿Ｐに表示される画像よりも下側に存在する余白領域に投影される操作ボタンを示す図である。 矩形の原稿Ｐに表示された画像に重ねて投影される操作ボタンを示す図である。 矩形の原稿Ｐの輪郭により囲まれた領域外の平面上に少なくとも一部が投影される操作ボタンを示す図である。 撮像処理を示すフローチャートである。 操作ボタン投影位置／サイズ／色演算処理を示すフローチャートである。 操作ボタン投影位置／サイズ／色演算処理を示すフローチャートである。 操作ボタン投影位置、投影サイズを説明する図である。 画像変化検知処理を示すフローチャートである。 画像変化検知処理の結果出力される座標を示す図である。 焦点度測定処理を示すフローチャートである。 変形例における操作ボタン投影位置／サイズ／色演算処理を示すフローチャートである。

符号の説明

１ 画像入力装置
２ 撮像装置（撮像手段）
３ 投影装置（投影手段）
４ 撮像領域
６ 操作ボタン（投影像）
３１ 結像レンズ（焦点調整手段）
Ｐ 原稿（対象物）

Claims (10)

1. 画像が表示された対象物を撮像可能な撮像手段と、その撮像手段により撮像された前記対象物の撮像を画像データとして入力する画像データ入力手段と、前記撮像手段により撮像可能な撮像領域内に所定の形状を有する投影像を投影可能な投影手段とを有する画像入力装置であって、
   前記画像データ入力手段により入力された画像データに基づいて前記撮像領域のうち前記対象物の輪郭により囲まれた領域であって前記対象物に画像が表示されていない余白領域を検出する余白領域検出手段と、
   その余白領域検出手段により検出された余白領域内に前記所定の形状の投影像を投影することができるか否かを判定する投影可否判定手段と、
   その投影可否判定手段により前記余白領域内に前記投影像を投影することができると判定された場合は前記余白領域内に前記投影像を投影するように前記投影像の位置を決定する投影像位置決定手段とを有することを特徴とする画像入力装置。
2. 前記画像データ入力手段により入力された画像データに基づいて前記対象物の色データを取得する色データ取得手段を有し、
   前記余白領域検出手段は、前記色データ取得手段により取得された前記対象物の色データに基づいて前記余白領域を検出するものであることを特徴とする請求項１記載の画像入力装置。
3. 前記画像データ入力手段により入力された画像データに基づいて前記対象物の色を判別する対象物色判別手段と、
   前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記対象物色判別手段により判別された前記対象物の色とは異なる色で前記所定の形状の投影像を投影するように前記投影像の色を決定する投影像色決定手段とを有することを特徴とする請求項１または２に記載の画像入力装置。
4. 前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記所定の形状の投影像に比較してサイズが小さい投影像を前記余白領域内に投影するように前記投影像のサイズを決定する投影像サイズ決定手段を有することを特徴とする請求項１または２に記載の画像入力装置。
5. 前記余白領域決定手段により決定された前記余白領域に基づいて前記投影手段により投影する前記所定の形状の投影像の個数を変更する投影像数変更手段を有するものであることを特徴とする請求項１または２に記載の画像入力装置。
6. 前記投影可否判定手段により前記余白領域内に前記所定の形状の投影像を投影することができないと判定された場合は、前記所定の形状の投影像の少なくとも一部を、前記撮像領域のうち前記対象物の輪郭により囲まれた領域外に投影するように前記投影像の位置を変更する投影像位置変更手段を有することを特徴とする請求項１または２に記載の画像入力装置。
7. 前記撮像手段により撮像される前記対象物に焦点が合うように焦点を調整する焦点調整手段と、
   その焦点調整手段により前記対象物に焦点が合うように焦点が調整され且つ前記投影手段により前記投影像が前記撮像領域内に投影されている状態で、前記投影像が投影されている領域と前記撮像手段との間に入力部材が介在させられたか否かを判定する第１変化判定手段と、
   その第１変化判定手段により前記投影像が投影されている領域と前記撮像手段との間に入力部材が介在させられたと判定された場合は、前記焦点調整手段により前記対象物に合うように調整されている焦点に対する、前記入力部材の焦点度を検出する焦点度検出手段と、
   その焦点度検出手段により検出された焦点度が所定の焦点度閾値以上であるか否かを判定する焦点度判定手段と、
   その焦点度判定手段により前記焦点度が所定の焦点度閾値以上であると判定されると、前記対象物を撮像するように前記撮像手段を制御する撮像制御手段とを有することを特徴とする請求項１から６のいずれかに記載の画像入力装置。
8. 前記焦点度判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化があったか否かを判定する経過時間判定手段を有し、
   前記撮像制御手段は、前記経過時間判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化がないと判定された場合に、前記対象物を撮像するように前記撮像手段を制御するものであることを特徴とする請求項７記載の画像入力装置。
9. 前記経過時間判定手段により前記焦点度が所定の焦点度閾値以上であると判定されてから所定時間の間に前記投影像が投影されている領域の撮像に変化がないと判定されたことに基づいて、前記投影手段による投影像の投影を終了する投影終了手段を有し、
   前記撮像制御手段は、その投影終了手段により前記投影手段による投影像の投影が終了させられた後、前記対象物を撮像するように前記撮像手段を制御するものであることを特徴とする請求項８記載の画像入力装置。
10. 前記撮像制御手段は、前記投影終了手段により前記投影手段による投影像の投影が終了させられてから所定の待機時間が経過した後、前記対象物を撮像するように前記撮像手段を制御するものであることを特徴とする請求項９記載の画像入力装置。

Images