JP2017010506A - タッチ入力装置、投影装置、タッチ入力方法及びプログラム - Google Patents

Abstract

【課題】専用のデバイスを用いず、多様なタッチ操作に対するＵＩを実現する。
【解決手段】予め設定された範囲でタッチ操作される手指を撮影するカメラ部10Ｂと、撮影した手指の画像から、タッチ操作の位置を検出し、撮影した手指の画像から、タッチ操作の圧力を示す特徴情報を抽出し、抽出した特徴情報に基づいてタッチ操作の圧力を算出するＣＰＵ32とを備える。
【選択図】図１

Description

本発明は、例えばプレゼンテーションで使用するプロジェクタ装置等に好適なタッチ入力装置、投影装置、タッチ入力方法及びプログラムに関する。

パーソナルコンピュータの操作やプロジェクタによる画像投影を可能とし、操作性の向上を図ることを目的としたインタラクティブ電子黒板に関する技術が提案されている。（例えば、特許文献１）

特開２０００−３５５１８８号公報

また上記特許文献に記載された技術と同様の発想により、投影する画像中のなんらかの要素に対するタッチ操作等を受付けることが可能なプロジェクタ装置が考えられる。

図１０は、例えば机上等の載置面ＢＳに画像を投影する縦置き型のプロジェクタ１の設置構成を例示する図である。同図で、プロジェクタ１の上部に設けられる、図示しない投影レンズ系からの投影光ＰＩが斜め下方の載置面ＢＳに照射される。

投影光ＰＩにより載置面ＢＳ上に表示される画像中の任意の位置に対して、ユーザの手指ＦＧでタッチ操作を行なうものとする。

プロジェクタ１の下部にはＩｒレーザ出力部１Ａが設けられ、投影光ＰＩの投影面をカバーするように、載置面ＢＳと一定距離、例えば５［ｍｍ］離れて平行となる不可視の赤外光を水平面で拡散して出射している。

合わせて、投影光ＰＩの照射範囲をカバーするように、赤外光を受光して撮像するカメラ部１Ｂを設けている。

投影した画像に対して上記した如く手指ＦＧによるタッチ操作があった場合、図示するように反射光Ｒを含む画像が上記カメラ部１Ｂにより撮影される。

図１１は、上記プロジェクタ１において載置面ＢＳ上の投影光ＰＩによる照射範囲内を手指ＦＧでタッチ操作した場合に、プロジェクタ１内部で実行する位置検出に係る処理内容を示す。

なお上記カメラ部１Ｂで撮影する画像の範囲は、投影光ＰＩが照射される範囲に対して予めマッチングされており、撮影した画像中の位置から投影した画像の位置を特定できるものとする。

その処理当初にプロジェクタ１の電源が投入されると、プロジェクタ１では投影動作を開始すると共に、上記Ｉｒレーザ出力部１Ａによるレーザ光の出射とカメラ部１Ｂによる投影範囲の撮像とを起動させる（ステップＳ１０１）。

ここでプロジェクタ１では、カメラ部１Ｂにより撮像した画像中で、反射光Ｒによる受光と思われる画素成分があるか否かにより、投影範囲内で手指ＦＧによるタッチ操作があるか否かを判断する（ステップＳ１０２）。

ここで撮像画像中に反射光Ｒによる受光と思われる画素成分がなく、投影範囲内で手指ＦＧによるタッチ操作はないと判断した場合（ステップＳ１０２のＮｏ）、プロジェクタ１は再び上記ステップＳ１０２からの処理に戻り、以後ステップＳ１０２の判断処理を繰返し実行することで、投影動作を実行しながら手指ＦＧによるタッチ操作がなされるのを待機する。

また上記ステップＳ１０２において、撮像画像中に反射光Ｒによる受光と思われる画素成分があり、投影範囲内で手指ＦＧによるタッチ操作があったと判断した場合（ステップＳ１０２のＹｅｓ）、プロジェクタ１では次に直前の撮影で得た画像を取得した上で（ステップＳ１０３）、反射光Ｒによる受光と思われる画素成分の輪郭抽出処理を実行して手指ＦＧの先端の形状を認識し、その輪郭の先端の中心となる座標位置をタッチ位置として算出する（ステップＳ１０４）。

ここでタッチ位置が算出できたか否かにより、タッチ位置の検出が成功したか否かを判断する（ステップＳ１０５）。

タッチ位置が算出できず、タッチ位置の検出が失敗したと判断した場合（ステップＳ１０５のＮｏ）、プロジェクタ１では上記タッチ操作の検出を無効として、あらたなタッチ操作を検出するべく、上記ステップＳ１０２からの処理に戻る。

また上記ステップＳ１０５において、タッチ位置が算出でき、タッチ位置の検出が成功したと判断した場合（ステップＳ１０５のＹｅｓ）、その時点で投影している内容に基づき、検出したタッチ位置座標を反映した動作を実行するか、あるいはプロジェクタ１が外部接続したパーソナルコンピュータ等から実行中のアプリプログラムに基づく画像を投影しているのであればタッチ位置座標を当該パーソナルコンピュータに送出して投影内容に反映させた上で（ステップＳ１０６）、次のタッチ操作に備えるべく上記ステップＳ１０２からの処理に戻る。

上記のような投影画像に対するタッチ検出を実行する場合、タッチの操作に対して検出できるのはタッチされた位置のみである。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、専用のタッチ入力用のデバイスを用いることなく、多様なタッチ操作に対するユーザインタフェースを実現することが可能なタッチ入力装置、投影装置、タッチ入力方法及びプログラムを提供することにある。

本発明の一態様は、予め設定された操作面の所定の範囲で手指を撮影する撮影部と、上記撮影部で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出部と、を備えることを特徴とする。

本発明によれば、専用のタッチ入力用のデバイスを用いることなく、多様なタッチ操作に対するユーザインタフェースを実現することが可能となる。

本発明の第１の実施形態に係るプロジェクタの設置構成を例示する図。 同実施形態に係るプロジェクタの主として電子回路の機能構成を説明するブロック図。 同実施形態に係るＣＭＯＳイメージセンサが備えるカラーフィルタの画素構成の一部を示す図。 同実施形態に係る位置検出及び圧力検出に係る処理内容を示すフローチャート。 同実施形態に係る手指によるタッチ操作の圧力の大小を比較して示す図。 本発明の第２の実施形態に係るプロジェクタの設置構成を例示する図。 同実施形態に係るプロジェクタの主として電子回路の機能構成を説明するブロック図。 同実施形態に係るＣＭＯＳイメージセンサが備えるカラーフィルタの画素構成の一部を示す図。 同実施形態に係る位置検出及び圧力検出に係る処理内容を示すフローチャート。 一般的な縦置き型のプロジェクタ装置での投影構成を例示する図。 図１０のプロジェクタで実行する位置検出に係る処理内容を示すフローチャート。

（第１の実施形態）
以下、本発明を縦置き型のプロジェクタに適用した場合の第１の実施形態について、図面を参照して詳細に説明する。

図１は、同プロジェクタ１０の設置構成を例示する図である。同図で、プロジェクタ１０の筐体上部側に設けられる、図示しない投影レンズ系からの投影光ＰＩが斜め下方の載置面ＢＳに照射される。

投影光ＰＩにより載置面ＢＳ上に表示される画像中の任意の位置に対して、ユーザの手指ＦＧでタッチ操作を行なうものとする。

プロジェクタ１０の上部には、ＩｒＬＥＤ部１０Ａが設けられ、投影光ＰＩの投影面をカバーするように、不可視の近赤外光ＬＴを照射している。

合わせて、投影光ＰＩの照射範囲をカバーするように、赤外光及び可視光を受光して撮像するカメラ部１０Ｂを設けている。

投影した画像に対して上記した如く手指ＦＧによるタッチ操作があった場合、図示するように反射光Ｒを含む画像が上記カメラ部１０Ｂにより撮影される。

次に図２によりプロジェクタ１０の主として電子回路の機能構成を説明する。信号入力部２０は、パーソナルコンピュータやＵＳＢメモリ等の外部機器を接続し、音声信号を伴う各種映像信号を入力する。信号入力部２０から入力された映像信号は、後述するＣＰＵ３２によりバスＢを介して投影画像駆動部２１に送られる。

上記投影画像駆動部２１は、送られてきた映像信号に応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２２を表示駆動する。

このマイクロミラー素子２２は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部２３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。

光源部２３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。この光源部２３からの原色光が、ミラー２４で反射して上記マイクロミラー素子２２に照射される。

そして、マイクロミラー素子２２での反射光で光像が形成され、形成された光像が投影レンズ部２５を介して上記載置面ＢＳ上に投射される。

上記カメラ部１０Ｂは、撮影レンズ部２７、及びこの撮影レンズ部２７の焦点位置に配設された固体撮像素子であるＣＭＯＳイメージセンサ２８を含む。

図３は、ＣＭＯＳイメージセンサ２８が備えるカラーフィルタの画素構成の一部を示す。同図に示すように、可視光に対応した「Ｒ（赤色）」「Ｇ（緑色）」「Ｂ（青色）」と、上記ＩｒＬＥＤ部１０Ａの出力する近赤外光ＬＴに対応した「Ｉｒ」の４画素を１単位として規則配置されたカラーフィルタを構成している。

ＣＭＯＳイメージセンサ２８で得られる画像信号は、Ａ／Ｄ変換器２９でデジタル化された後、撮影画像処理部３０に送られる。

この撮影画像処理部３０は、上記ＣＭＯＳイメージセンサ２８を走査駆動して撮影動作を実行させ、撮影により得た画像データをデータファイル化して、後述するＣＰＵ３２に送出する。

さらに上記撮影画像処理部３０は、撮影により得た画像データ中から輪郭抽出処理により人間の手指の先端を認識して抽出した上で、当該部分の中心位置の検出や、色の変化部分の抽出等を行なう。これらの画像認識処理の結果等は以下のＣＰＵ３２へ送られる。
上記各回路の動作すべてをＣＰＵ３２が制御する。このＣＰＵ３２は、メインメモリ３３及びプログラムメモリ３４と直接接続される。メインメモリ３３は、例えばＳＲＡＭで構成され、ＣＰＵ３２のワークメモリとして機能する。プログラムメモリ３４は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ３２が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ３２は、上記プログラムメモリ３４に記憶されている動作プログラムや定型データ等を読出し、メインメモリ３３に展開して記憶させた上で当該プログラムを実行することにより、このプロジェクタ１０を統括して制御する。

上記ＣＰＵ３２は、操作部３５からの操作信号に応じて各種投影動作を実行する。この操作部３５は、プロジェクタ１０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号を受付け、受付けた操作に応じた信号を上記ＣＰＵ３２へ送出する。

上記ＣＰＵ３２はさらに、上記バスＢを介して上記ＩｒＬＥＤ部１０Ａ、及び音処理部３６と接続される。
音処理部３６は、ＰＣＭ音源等の音源回路を備え、投影動作時に上記信号入力部２０を介して入力される音声信号をアナログ化し、スピーカ部３７を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
図４は、上記プロジェクタ１０において載置面ＢＳ上の投影光ＰＩによる照射範囲内を手指ＦＧでタッチ操作した場合に、プロジェクタ１０内部でＣＰＵ３２が実行する、位置検出及び圧力検出に係る処理内容を示す。

なお上記カメラ部１０Ｂで撮影する画像の範囲は、投影光ＰＩが照射される範囲に対して予めマッチングされており、撮影した画像中の位置から投影した画像の位置を特定できるものとする。

その処理当初にプロジェクタ１０の電源が投入されると、プロジェクタ１０では投影動作を開始すると共に、上記ＩｒＬＥＤ部１０Ａによる近赤外光ＬＴの出射と、カメラ部１０Ｂによる上記投影範囲を撮像する動作（撮影工程）と、を起動させる（ステップＳ２０１）。

ここでプロジェクタ１０では、ＣＰＵ３２が撮影画像処理部３０を介し、カメラ部１０Ｂにより撮像した画像に基づいて、投影範囲内で手指ＦＧによるタッチ操作があるか否かを判断する（ステップＳ２０２）。

これは、撮影画像データ中、上記図３で示したカラーフィルタの「Ｉｒ」位置の画素成分で予め設定した閾値を超えているものが部分的に連続してあるか否かにより判断するもので、ないと判断した場合（ステップＳ２０２のＮｏ）、ＣＰＵ３２は再び上記ステップＳ２０２からの処理に戻り、以後ステップＳ２０２の判断処理を繰返し実行することで、投影動作を実行しながら手指ＦＧによるタッチ操作がなされるのを待機する。

また上記ステップＳ２０２において、カラーフィルタの「Ｉｒ」位置の画素成分で予め設定した閾値を超えているものが部分的に連続してあり、投影範囲内で手指ＦＧによるタッチ操作があったと判断した場合（ステップＳ２０２のＹｅｓ）、ＣＰＵ３２ではあらためてカメラ部１０Ｂの撮影により画像を取得した上で（ステップＳ２０３）、画像中の上記カラーフィルタの「Ｉｒ」位置の画素成分について輪郭抽出処理を実行して手指ＦＧの先端の形状を認識し、その輪郭の先端の中心となる座標位置をタッチ位置として算出し、保持する（ステップＳ２０４：第１の検出工程）。

次に撮影画像中の上記手指ＦＧの先端の画像範囲に対し、上記「Ｒ」「Ｇ」「Ｂ」の各画素成分に応じて、特に爪の先端側で、同根元側の肌色の部分に比して、白っぽくなっている部分を抽出して保持する（ステップＳ２０５：第２の検出工程）。

図５は、手指ＦＧによるタッチ操作の圧力の大小を比較して示す図である。
図５（Ａ）は、手指ＦＧが軽く接触している程度のタッチ操作状態を例示している。手指ＦＧ全体がほぼ肌色一色であり、爪部ＮＬも、爪床（爪に覆われている皮膚部分）と接していない先端側の縁の白い部分を除いて薄い肌色一色となっている。

図５（Ｂ）は、手指ＦＧを強く押圧するようなタッチ操作状態を例示している。同図（Ｂ）中の一点鎖線で示す円Ｖ中に印「×」で示すように、手指ＦＧの先端が強い押圧によって白くなると共に、爪部ＮＬも、それまで薄い肌色であった先端側が同様に白くなる。これらは、指先内部の血管から押圧によって血液が押し出されて一時的に血流が途絶えることによるものと考えられる。

上記ステップＳ２０５でタッチ操作の圧力によって白くなっている部分を抽出した後、さらにＣＰＵ３２はカメラ部１０Ｂでの撮影により、投影範囲内で手指ＦＧによるタッチ操作がなくなったかどうかを判断する（ステップＳ２０６）。

タッチ操作がなくなっていない場合（ステップＳ２０６のＮｏ）、ＣＰＵ３２は上記ステップＳ２０３からの処理に戻る。

こうしてタッチ操作がなされている間、上記ステップＳ２０３〜Ｓ２０６の処理を繰返し実行し、タッチ操作された位置と圧力に関する情報を蓄積する。そして、タッチ操作がなくなったと判断した時点で（ステップＳ２０６のＹｅｓ）、ＣＰＵ３２はそれまでに蓄積した時系列のタッチ操作の圧力の情報に基づき、一連のタッチ操作を総括したタッチの強さを解析する（ステップＳ２０７）。

ここで、タッチの強さの解析ができたか否かを判断する（ステップＳ２０８）。タッチの強さが解析できなかったと判断した場合（ステップＳ２０８のＮｏ）、ＣＰＵ３２は上記タッチ操作の検出を無効として、あらたなタッチ操作を検出するべく、上記ステップＳ２０２からの処理に戻る。

また上記ステップＳ２０８においてタッチの強さの解析ができたと判断した場合（ステップＳ２０８のＹｅｓ）、ＣＰＵ３２はその時点で投影している内容に基づき、検出したタッチの強さとタッチの位置を反映した動作を実行するか、あるいはプロジェクタ１０が外部接続したパーソナルコンピュータ等から実行中のアプリプログラムに基づく画像を投影しているのであればタッチの強さと位置の情報を当該パーソナルコンピュータ等に送出して投影内容に反映させる（ステップＳ２０９）。

例えば、文字や絵などを描画している際、強くタッチした際は太い線となり、弱くタッチした際は細い線となる。また頁めくりを行う際、弱くタッチすると次の頁に頁めくりされ、強くタッチすると最終頁に移動する。次のタッチ操作に備えるべく上記ステップＳ２０２からの処理に戻る。

以上のような操作は、撮影部において予め設定された操作面の所定の範囲で手指を撮影し、第１の検出部によって撮影部で撮影した手指の画像から手指の位置を検出し、第２の検出部により撮影部で撮影した手指の画像から操作面でのタッチ操作を検出する。

（第２の実施形態）
以下、本発明を縦置き型のプロジェクタに適用した場合の第２の実施形態について、図面を参照して詳細に説明する。

図６は、同プロジェクタ１０′の設置構成を例示する図である。同図で、プロジェクタ１０′の筐体上部側に設けられる、図示しない投影レンズ系からの投影光ＰＩが斜め下方の載置面ＢＳに照射される。

投影光ＰＩにより載置面ＢＳ上に表示される画像中の任意の位置に対して、ユーザの手指ＦＧでタッチ操作を行なうものとする。

プロジェクタ１０′の上部には第１のＩｒＬＥＤ部１０Ａ′が設けられ、投影光ＰＩの投影面をカバーするように、不可視の近赤外光ＬＴ１を照射している。

またプロジェクタ１０′の下部には第２のＩｒＬＥＤ部１０Ｃが設けられ、投影光ＰＩの投影面をカバーするように、不載置面ＢＳと一定距離、例えば５［ｍｍ］離れて平行となる不可視の近赤外光ＬＴ２を水平面で拡散して出射している。

上記ＩｒＬＥＤ部１０Ａの出射する近赤外光ＬＴ１と、上記第２のＩｒＬＥＤ部１０Ｃが出射する近赤外光ＬＴ２は、互いに異なる波長とすることで、相互の出射光を分離して検出可能としている。

合わせて、上記投影光ＰＩの照射範囲をカバーするように、近赤外光及び可視光を受光して撮像するカメラ部１０Ｂ′を設けている。

投影した画像に対して上記した如く手指ＦＧによるタッチ操作があった場合、図示するように反射光Ｒを含む画像が上記カメラ部１０Ｂ′により撮影される。

次に図７によりプロジェクタ１０′の主として電子回路の機能構成を説明する。なお、基本的な構成は上記図２に説明した内容とほぼ同等であるため、同一部分には同一符号を付してその説明を省略する。

図２のＩｒＬＥＤ部１０Ａに代えて、バスＢにはＩｒＬＥＤ部１０Ａ′と第２のＩｒＬＥＤ部１０Ｃが接続される。

また、カメラ部１０Ｂを構成するＣＭＯＳイメージセンサ２８′には、図３に示すような画素構成のカラーフィルタが備えられる。

図８は、ＣＭＯＳイメージセンサ２８が備えるカラーフィルタの画素構成の一部を示す。同図に示すように、可視光に対応した「Ｒ（赤色）」「Ｇ（緑色）」「Ｂ（青色）」と、近赤外光に対応した「Ｉｒｘ（ｘ＝１または２）」の４画素を１単位として規則配置されたカラーフィルタを構成している。

ここで「Ｉｒ１」は、上記第１のＩｒＬＥＤ部１０Ａ′の出力する近赤外光ＬＴ１を透過させるフィルタであり、一方の「Ｉｒ２」は、上記第２のＩｒＬＥＤ部１０Ｃ′の出力する近赤外光ＬＴ２を透過させるフィルタである。

図示するように「Ｉｒｘ」の画素位置では、「Ｉｒ１」のフィルタと「Ｉｒ２」のフィルタとを交互に配置している。

次に上記実施形態の動作について説明する。
図９は、上記プロジェクタ１０′において載置面ＢＳ上の投影光ＰＩによる照射範囲内を手指ＦＧでタッチ操作した場合に、プロジェクタ１０′内部でＣＰＵ３２が実行する、位置検出及び圧力検出に係る処理内容を示す。

なお上記カメラ部１０Ｂ′で撮影する画像の範囲は、投影光ＰＩが照射される範囲に対して予めマッチングされており、撮影した画像中の位置から投影した画像の位置を特定できるものとする。

その処理当初にプロジェクタ１０′の電源が投入されると、プロジェクタ１０′では投影動作を開始すると共に、上記第１のＩｒＬＥＤ部１０Ａ′による近赤外光ＬＴ１の出射、第２のＩｒＬＥＤ部１０Ｃによる近赤外光ＬＴ２の出射、及びカメラ部１０Ｂ′による上記投影範囲を撮像する動作とを起動させる（ステップＳ３０１）。

ここでプロジェクタ１０′では、ＣＰＵ３２が撮影画像処理部３０を介し、カメラ部１０Ｂ′により撮像した画像に基づいて、投影範囲内で手指ＦＧによるタッチ操作があるか否かを判断する（ステップＳ３０２）。

これは、撮影画像データ中、上記図８で示したカラーフィルタの「Ｉｒ１」位置及び「Ｉｒ２」位置の画素成分で予め設定した閾値を超えているものが部分的に連続してあるか否かにより判断するもので、ないと判断した場合（ステップＳ３０２のＮｏ）、ＣＰＵ３２は再び上記ステップＳ３０２からの処理に戻り、以後ステップＳ３０２の判断処理を繰返し実行することで、投影動作を実行しながら手指ＦＧによるタッチ操作がなされるのを待機する。

また上記ステップＳ３０２において、カラーフィルタの「Ｉｒ１」位置及び「Ｉｒ２」位置の画素成分で予め設定した閾値を超えているものが部分的に連続してあり、投影範囲内で手指ＦＧによるタッチ操作があったと判断した場合（ステップＳ３０２のＹｅｓ）、ＣＰＵ３２ではあらためてカメラ部１０Ｂの撮影により画像を取得する（ステップＳ３０３）。

その上で、取得した撮影画像中の上記カラーフィルタの「Ｉｒ２」位置の画素成分を主体として輪郭抽出処理を実行し、手指ＦＧの先端の形状を認識して、その輪郭の先端の中心となる座標位置をタッチ位置として算出し、保持する（ステップＳ３０４）。

次に撮影画像中の上記手指ＦＧの先端の画像範囲に対し、上記「Ｉｒ１」の各画素成分に応じた静脈の血流画像を主体とし、上記「Ｒ」「Ｇ」「Ｂ」の各画素成分とした色成分を副体として、タッチ操作の圧力画像を取得する（ステップＳ３０５）。

上記「Ｉｒ１」の各画素成分に応じた静脈の血流画像では、指で反射される近赤外線の画像をカメラで取得し、血中のヘモグロビンが赤外線を吸収するために画像中から静脈の形状、太さを取得することができるもので、タッチ操作の押圧により指先に強い圧力がかかっている場合には当該部分の静脈が一時的に細くなることから、指先に与えられている圧力を検出しようとするものである。

加えて、可視光による上記第１の実施形態と同様の「Ｒ」「Ｇ」「Ｂ」の各画素成分とした指先が加圧により白くなっている範囲を合わせて検出することで、より正確な検出動作を実現できる。

その後、さらにＣＰＵ３２はカメラ部１０Ｂ′での撮影により、投影範囲内で手指ＦＧによるタッチ操作がなくなったかどうかを判断する（ステップＳ３０６）。

タッチ操作がなくなっていない場合（ステップＳ３０６のＮｏ）、ＣＰＵ３２は上記ステップＳ３０３からの処理に戻る。

こうしてタッチ操作がなされている間、上記ステップＳ３０３〜Ｓ３０６の処理を繰返し実行し、タッチ操作された位置と圧力に関する情報を蓄積する。そして、タッチ操作がなくなったと判断した時点で（ステップＳ３０６のＹｅｓ）、ＣＰＵ３２はそれまでに蓄積した時系列のタッチ操作の圧力の情報に基づき、一連のタッチ操作を総括したタッチの強さを解析する（ステップＳ３０７）。

ここで、タッチの強さの解析ができたか否かを判断する（ステップＳ３０８）。タッチの強さが解析できなかったと判断した場合（ステップＳ３０８のＮｏ）、ＣＰＵ３２は上記タッチ操作の検出を無効として、あらたなタッチ操作を検出するべく、上記ステップＳ３０２からの処理に戻る。

また上記ステップＳ３０８において、タッチの強さの解析ができたと判断した場合（ステップＳ３０８のＹｅｓ）、ＣＰＵ３２はその時点で投影している内容に基づき、検出したタッチの強さとタッチの位置を反映した動作を実行するか、あるいはプロジェクタ１０′が外部接続したパーソナルコンピュータ等から実行中のアプリプログラムに基づく画像を投影しているのであればタッチの強さと位置の情報を当該パーソナルコンピュータ等に送出して投影内容に反映させた上で（ステップＳ３０９）、次のタッチ操作に備えるべく上記ステップＳ３０２からの処理に戻る。

以上詳述した如く第１及び第２の実施形態によれば、専用のタッチ入力用のデバイスを用いることなく、多様なタッチ操作に対するユーザインタフェースを実現することが可能となる。

また上記各実施形態では、ＩｒＬＥＤ部１０Ａ、または第１のＩｒＬＥＤ部１０Ａ′及び第２のＩｒＬＥＤ部１０Ｃを用いて検出対象となる範囲に光を照射し、その反射光を撮影した上でタッチ操作の位置及び圧力をそれぞれ得るようにしたので、それらを得るのに適した特性を有する光を選定して使用することで、より高い精度でタッチ操作の位置及び圧力を得ることができる。

さらに上記第２の実施形態では、複数の箇所から投光することにより、より広い範囲内でもれなく手指に対して高い精度で位置及び圧力を得ることができる。

ここで上記複数の投光を互いに異なる波長の光で照射することにより、撮影結果を複数の投光位置と対応付けて認識することができ、さらに高い精度でタッチ操作の位置及び圧力を得ることができる。

なお上記各実施形態では説明していないが、撮影部であるカメラ部１０Ｂを複数、例えば２台設けてステレオカメラとし、それぞれの撮影結果を参照することによっても、タッチ操作の位置及び圧力の精度を上げることができる。

また上記撮影部であるカメラ部１０Ｂ（１０Ｂ′）で、上記図３または図８に示したように投光する光の波長帯域に応じた透過フィルタを画素単位で配したカラーフィルタを有するものとすることで、容易に投光に対する反射光の成分を分離することができ、装置の構成や処理を簡易化できる。

なお上記第１及び第２の実施形態はいずれも、画像の投影を行なうプロジェクタ１０（１０′）において、投影画像の範囲内への手指によるタッチ操作を受付けるものであり、専用のタッチ入力用のデバイスを用いることなしに、スクリーンやカーテン、壁面、机上、テーブルなど、投影対象を選ばずに、投影画像に対するタッチ操作を受付けることができる。

加えて上記各実施形態では、画像投影の可視光に対して、ＩｒＬＥＤ部１０Ａ（１０Ａ′，１０Ｃ）が不可視の近赤外光ＬＴを出射するものとしたので、投影される画像に対する影響を与えることなくタッチ操作に対する処理を実行できる。

なお上記各実施形態では、プロジェクタがＬＥＤを光源としてＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式の画像を投影を行なう場合について説明したが、本発明は光源となる素子やプロジェクション方式などを限定するものではない。

また、上記各実施形態では、赤外光及び可視光を受光して撮像するカメラ部１０Ｂを設けてタッチ操作を検出したが、この構成に限らない。例えば、赤外光を受光して撮像する第１のカメラ部と、可視光を受光して撮像する第２のカメラ部と、をそれぞれ別個に設けても良い。

これにより、ＣＭＯＳイメージセンサ２８が備えるカラーフィルタも、第１のカメラ部は、上記ＩｒＬＥＤ部１０Ａの出力する近赤外光ＬＴに対応した「Ｉｒ」の画素が配置されたカラーフィルタを有し、第２のカメラ部は、可視光に対応した「Ｒ（赤色）」「Ｇ（緑色）」「Ｂ（青色）」の画素を１単位として規則配置されたカラーフィルタを有する、それぞれ一般的で比較的安価なカメラを用いることができる。

また、第１または第２のカメラ部のいずれかが故障した場合、カメラ部１０Ｂよりも安価なコストで修理、交換することができる。

さらには、カメラ部１０Ｂは、赤外光のみを受光して撮像する構成としても良い。赤外光のみの受光でも手指ＦＧの明暗及び階調を認識できるため、手指ＦＧの撮像画像からタッチ操作を検出することができる。これにより、より安価で簡易な構成で同様の効果を得ることができる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
予め設定された操作面の所定の範囲で手指を撮影する撮影部と、
上記撮影部で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出部と、
を備えることを特徴とするタッチ入力装置。
［請求項２］
上記検出部は、上記手指の位置を検出する第１の検出部と、上記操作面でのタッチ操作を検出する第２の検出部と、を含むことを特徴とする請求項１記載のタッチ入力装置。
［請求項３］
上記範囲に光を照射する投光部をさらに備え、
上記撮影部は、上記投光部で照射した光の反射光を用いてタッチ操作される手指を撮影する
ことを特徴とする請求項１記載のタッチ入力装置。
［請求項４］
上記第２の検出部は、上記手指の白くなっている部分の面積を検出する
ことを特徴とする請求項２記載のタッチ入力装置。
［請求項５］
上記投光部は、複数箇所から上記範囲に光を照射することを特徴とする請求項３記載のタッチ入力装置。
［請求項６］
上記投光部は、複数箇所から互いの波長が異なる光を上記範囲に照射することを特徴とする請求項５記載のタッチ入力装置。
［請求項７］
上記撮影部は、上記投光部で照射する光の周波数帯域に応じた透過フィルタを画素単位で配した撮像素子を有することを特徴とする請求項３，５，６いずれか記載のタッチ入力装置。
［請求項８］
上記請求項１乃至７いずれか記載のタッチ入力装置を備え、上記範囲に対応して画像を投影する投影手段をさらに備えることを特徴とする投影装置。
［請求項９］
上記請求項３，５〜７いずれか記載のタッチ入力装置と、
上記範囲に対応して画像を投影する投影手段と、
を備え、
上記投光部は、上記投影手段の投影光の波長帯域から外れた周波数帯域の光を照射する
ことを特徴とする投影装置。
［請求項１０］
予め設定された操作面の所定の範囲で手指を撮影する撮影工程と、
上記撮影工程で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出工程と、
を有することを特徴とするタッチ入力方法。
［請求項１１］
コンピュータが実行するプログラムであって、上記コンピュータを、
予め設定された操作面の所定の範囲で手指を撮影する撮影部、及び
上記撮影部で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出部、
として機能させることを特徴とするプログラム。

１…プロジェクタ、
１Ａ…Ｉｒレーザ出力部、
１Ｂ…カメラ部、
１０，１０′…プロジェクタ、
１０Ａ…ＩｒＬＥＤ部、
１０Ａ′…第１のＩｒＬＥＤ部、
１０Ｂ，１０Ｂ′…カメラ部、
１０Ｃ…第２のＩｒＬＥＤ部、
２０…信号入力部、
２１…投影画像駆動部、
２２…マイクロミラー素子、
２３…光源部、
２４…ミラー、
２５…投影レンズ部、
２７…撮影レンズ部、
２８…ＣＭＯＳイメージセンサ、
２９…Ａ／Ｄ変換器、
３０…撮影画像処理部、
３２…ＣＰＵ、
３３…メインメモリ、
３４…プログラムメモリ、
３５…操作部、
３６…音処理部、
３７…スピーカ部、
Ｂ…バス、
ＢＳ…載置面、
ＦＧ…手指、
ＬＴ，ＬＴ１，ＬＴ２…近赤外光、
ＮＬ…爪部、
ＰＩ…投影光、
Ｒ…反射光。

Claims (11)

1. 予め設定された操作面の所定の範囲で手指を撮影する撮影部と、
   上記撮影部で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出部と、
   を備えることを特徴とするタッチ入力装置。
2. 上記検出部は、上記手指の位置を検出する第１の検出部と、上記操作面でのタッチ操作を検出する第２の検出部と、を含むことを特徴とする請求項１記載のタッチ入力装置。
3. 上記範囲に光を照射する投光部をさらに備え、
   上記撮影部は、上記投光部で照射した光の反射光を用いてタッチ操作される手指を撮影する
   ことを特徴とする請求項１記載のタッチ入力装置。
4. 上記第２の検出部は、上記手指の白くなっている部分の面積を検出する
   ことを特徴とする請求項２記載のタッチ入力装置。
5. 上記投光部は、複数箇所から上記範囲に光を照射することを特徴とする請求項３記載のタッチ入力装置。
6. 上記投光部は、複数箇所から互いの波長が異なる光を上記範囲に照射することを特徴とする請求項５記載のタッチ入力装置。
7. 上記撮影部は、上記投光部で照射する光の周波数帯域に応じた透過フィルタを画素単位で配した撮像素子を有することを特徴とする請求項３，５，６いずれか記載のタッチ入力装置。
8. 上記請求項１乃至７いずれか記載のタッチ入力装置を備え、上記範囲に対応して画像を投影する投影手段をさらに備えることを特徴とする投影装置。
9. 上記請求項３，５〜７いずれか記載のタッチ入力装置と、
   上記範囲に対応して画像を投影する投影手段と、
   を備え、
   上記投光部は、上記投影手段の投影光の波長帯域から外れた周波数帯域の光を照射する
   ことを特徴とする投影装置。
10. 予め設定された操作面の所定の範囲で手指を撮影する撮影工程と、
    上記撮影工程で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出工程と、
    を有することを特徴とするタッチ入力方法。
11. コンピュータが実行するプログラムであって、上記コンピュータを、
    予め設定された操作面の所定の範囲で手指を撮影する撮影部、及び
    上記撮影部で撮影した手指の画像から、上記手指の位置及び上記操作面でのタッチ操作を検出する検出部、
    として機能させることを特徴とするプログラム。