本発明は、一般的に入力装置に関し、具体的には、方向情報を入力するための入力装置およびその方法に関する。
普通、コンピュータシステムは、「ウィンドウズシステム」(Windows)(登録商標)を用いている。「ウィンドウズシステム」を操作するとき、ディスプレイにおけるカーソルを制御するために、通常「マウス(Mouse)」を使用している。このようなマウスは、一般的に滑動可能な装置であって、平面上でスライドすることができる。このような滑動装置は、平面上でのスライド方向に応じて方向情報を検出し、コンピュータシステムに転送して、ディスプレイ上のカーソルをそれだけ移動するように制御している。
現在、光学式の検出方法が普及している。具体的には、滑動装置の底部に光学式の照射部と受光部が取り付けられている。滑動装置がスライドすると、光学式の照射部から滑り面への出射光の一部は、スライド面により反射され、反射された光の一部が受光部により受光される。この反射光は、移動に関する移動情報を含んでいる。そのため、当該反射光を処理すると、スライド方向に関する情報を得ることができる。当該情報をコンピュータシステムに転送して、カーソルの移動を制御することができる。しかしながら、このような方法には、滑動装置をスライドさせる特別な平面が必要になるという欠点がある。そのため、このような方法は、使用環境の制限を受けることになる。
上記の状況に鑑みて、本発明は、方向情報をより簡易に入力することによって、対象物(例えば、ディスプレイ上のカーソル等)の移動を制御可能な入力装置及び入力方法を提供する。
本発明の他の態様に関しては、部分的に下記のように説明され、その説明により明らかになり、或いは本開示の実現により本発明が明瞭になる。
本発明の一態様によれば、入力装置は、画像を投影するように配置される投影モジュールを有する。投影モジュールは、投影された画像が変化できるように移動可能に配置される。変化は、移動に関する、被制御対象の移動を制御するための方向情報を示す。
本発明のある実施形態によれば、この入力装置は、投影された画像の少なくとも一部を取得して結像させるように配置される画像取得モジュールを更に有する。当該画像取得モジュールは、投影モジュールが移動すると、取得される画像が変化するように固定して配置され、変化は、方向情報を示す。
本発明のある実施形態によれば、この入力装置は、変化に基づいて、方向情報を確定するための方向情報確定モジュールを更に有する。もう一つの実施形態によると、選択的に、当該方向情報確定モジュールは、本入力装置を用いるホストデバイスに配置されてもよい。
本発明のある実施形態によれば、画像取得モジュールは、高解像度で結像させるための画像アレイを含んでもよい。もう一つの実施形態によると、選択的に、画像取得モジュールは、おおよそに結像させるためのいくつかの個別の画素点を含んでもよい。
本発明のある実施形態によれば、投影される画像は、直交方向に沿って交差する直線アレイ、2次元ドットマトリックス、特定の小さなパターンのアレイ及び他の規則及び不規則のパターンのうち、少なくともいずれかの一方を含んでもよい。
本発明の他の実施形態によれば、投影モジュールは、2つの画像を投影するように配置される。当該2つの投影画像は、投影面で重なってもよい。そして、投影モジュールは、当該2つの画像を投影するための2つの投影サブモジュールを含んでもよい。
本発明の他の実施形態によれば、当該入力装置は、2つの投影画像の少なくとも一部をそれぞれ取得するための画像取得モジュールを、更に有する。例えば、それぞれ異なる偏光状態での放射により2つの画像を投影するように配置され、画像取得モジュールは、投影画像を分離するための偏光分離器を含む。或いは、投影モジュールは、それぞれ異なる波長での放射により2つの画像を投影するように配置され、画像取得モジュールは、投影画像を分離するための波長分離器を含む。或いは、投影モジュールは、それぞれ異なる周波数で強度を変調した放射により2つの画像を投影し、画像取得モジュールは、投影画像を分離するための対応する周波数を有する復調器を含む。或いは、投影モジュールは、時分割により2つの画像を投影するように配置され、画像取得モジュールは、対応する時分割により投影画像を分離するように配置される。
このように構成することにより、画像取得モジュールは、重なっている投影画像を分離し、それぞれの少なくとも一部を取得することができる。投影モジュールが移動するとき、画像取得モジュールによって分離された2つ(一部の)投影画像に変化が生じ、一方の画像の変化は、第1の方向(例えば、左右)に沿う移動に関する方向情報を示し、他方の画像の変化は、第1の方向に直交する第2の方向(例えば、上下)に沿う移動に関する方向情報を示すことができる。この2つの画像の変化の合成は、投影モジュールの移動に関する方向情報を示すことができる。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の輝度が単調に増加し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される光の輝度が単調に増加するように配置されてもよい。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の波長が単調に増加し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される光の波長が単調に増加するように配置されてもよい。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の色度が単調に変化し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される色度が単調に変化するように配置されてもよい。
他の実施形態によれば、当該入力装置は、投影モジュールが移動するとき、投影モジュールによって投影される画像の輝度を、取得される画像の輝度に移動前後で実質的な変化がないように調整するためのフィードバック制御装置を更に有し、調整される輝度差は、方向情報を示してもよい。
他の実施形態によれば、当該入力装置は、投影モジュールが移動するとき、投影モジュールによって投影される画像の色度を、取得される画像の色度に移動前後で実質的な変化が生じないように調整するためのフィードバック制御装置を有し、調整された色度差は、方向情報を示してもよい。
本発明の他の態様に従い、投影モジュールにより画像を投影するステップと、投影された画像が変化できるように投影モジュールを移動するステップと、変化に応じて、被制御対象の移動を制御するための、移動に関する方向情報を確定するステップと、を含む入力方法が与えられる。
ある実施形態によれば、当該入力方法は、取得モジュールにより、投影画像の少なくとも一部を取得して結像させるステップをさらに有してよい。方向情報を確定するステップは、取得された画像の変化に基づいて、方向情報を確定するステップを含んでもよい。
他の実施形態によれば、画像を投影するステップは、2つの画像を投影するステップを含んでもよい。
他の実施形態によれば、当該入力方法は、取得モジュールにより、2つの投影画像の少なくとも一部をそれぞれ取得するステップを含んでもよい。例えば、画像を投影するステップは、異なる偏光状態の放射により2つの画像を投影するステップを含み、画像を取得するステップは、偏光分離器により投影画像を分離するステップを含む。或いは、画像を投影するステップは、異なる波長の放射により2つの画像を投影するステップを含み、画像を取得するステップは、波長分離器を使用して投影画像を分離するステップを含む。或いは、画像を投影するステップは、異なる周波数で強度を変調した放射によりステップ2つの画像を投影するステップを含み、画像を取得するステップは、対応する周波数の復調器によって投影画像を分離するステップを含む。或いは、画像を投影するステップは、時分割により2つの画像を投影するステップを含み、画像を取得するステップは、対応する時分割により、投影画像を分離するステップを含む。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の輝度が単調に増加し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の輝度が単調に増加するように配置されてもよい。この場合、当該入力方法は、投影モジュールが移動するとき、投影モジュールによって投影された画像の輝度を、取得された画像の輝度に移動前後で実質的な変化がないように調整するステップを更に有し、調整された輝度差は、方向情報を示す。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の波長が単調に増加し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の波長が単調に増加するように配置されてもよい。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の色度が単調に変化し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の色度が単調に変化するように配置されてもよい。この場合、当該入力方法は、投影モジュールが移動するとき、投影モジュールによって投影された画像の色度を、取得された画像の色度に移動前後で実質的な変化がないように調整するステップを更に含み、調整された色度差は、方向情報を示す。
本発明の一つの実施形態によれば、可視光、赤外線、紫外線及び他の放射線のうちの一つまたは複数により投影を行うことができる。図面を参照して本発明の実施形態を説明することで、本発明の実施形態の上述した特徴及び他の特徴並びに利点が、より明らかになる。
本発明の第1の実施形態に従う入力装置の応用を示す模式図である。
本発明の第1の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第2の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第2の実施形態に従う入力装置の応用を示す模式図である。
本発明の第2の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第1の実施形態に従う入力装置を示すブロック図である。
以下、図面を参照しながら本発明の実施形態を詳細に説明する。これらの説明は、あくまでも例示で、本発明の範囲を限定するものではない。
静止画及び/又は動画を投影するための投影装置として、さまざまなものがある。例えば、映画及び投影型テレビは、動画を光学的にスクリーンに投影することで、スクリーンで動いている映像を見ることができる。なお、例えば、幻灯機は、スクリーンに静止画を投影することができる。
本発明の実施形態によると、入力装置に、画像を投影するように配置された投影モジュールを組み込むことができる。当該投影モジュールは、移動可能なので、投影画像を変化させることができる。投影画像のこのような変化は、投影モジュールの移動に関する方向情報を示すことができる。このような方向情報は、ホストデバイスに入力されて、被制御対象の移動を制御するために用いられる。例えば、ホストデバイスは、コンピュータのような電子計算機であってもよい。被制御対象は、カーソルのような電子計算機上の指示標記であってもよい。あるいは、ホストデバイスは、ロボット又はリモート玩具などであってもよい。そして、被制御対象は、ホストデバイス自体であってもよい。また、方向情報は、電気装置に表示されるメニューやドキュメント等のナビ、閲覧などを制御するためにも用いられる。
本発明の実施形態によると、投影画像の少なくとも一部を取得して結像するように配置された画像取得モジュールを提供することができる。当該画像取得モジュールは、投影モジュールの移動方向に関する情報を容易に確定するように、固定して配置される。これにより、投影モジュールが移動して投影方向が上下左右に変化した場合、画像取得モジュールによって取得された画像も相応的に上下左右に変位することになる。当該画像取得モジュールは、例えば、ホストデバイスに設けられてもよい。
本発明の実施形態によると、画像取得モジュールによって取得された画像に応じて投影モジュールの移動に関する方向情報を取得するように配置された方向情報確定モジュールを提供することができる。このような方向情報確定モジュールは、例えば、ホストデバイス上に設けられてもいい。好適実施形態によると、ホストデバイスの処理装置、例えばマイクロプロセッサ(MPU)や中央処理装置(CPU)などによって方向情報確定モジュールを形成する。
図6は、本発明の第1の実施形態に従う入力装置を示すブロック図である。図6に示すように、本実施形態の入力装置は、投影モジュール601を備える。投影モジュール601は、画像、好ましくは静止画像を投影するように配置されている。例えば、投影された画像は、投影面に直交する2つの方向に沿って設置されることで、当該直交する2つの方向に沿う方向情報を容易に指示することができる。もちろん、投影画像は、これに限定されるものではない。投影モジュール601は、各種の形態で実現してもよい。
当該入力装置は、画像取得モジュール604を備えてもよい。画像取得モジュール604は、投影モジュール601に対向して設けられ、投影モジュール601の視界内に配置されて、投影モジュール601の投影した画像の少なくとも一部を取得するように構成されている。具体的に、画像取得モジュール604は、結像モジュール606を有してもよい。投影モジュール601と結像モジュール606との距離及びそれらの光学系は、結像モジュール606が解像度の高い画像を取得できるように配置されている。好ましくは、投影モジュール601と結像モジュール606との相対的な距離は、所定の範囲内で変化し、基本的に結像モジュール606の結像品質に影響しないように構成される。
また、画像取得モジュール604は、方向情報確定モジュール608を更に有してもよい。当該方向情報確定モジュール608は、結像モジュール606によって取得された(一部の)投影画像に応じて、投影モジュール601の移動に関する方向情報を取得する。方向情報確定モジュール608は、確定された方向情報をホストデバイスに送信するためのホストデバイス(図示せず)とのインターフェースを備えてもよい。当該インターフェースは、USB(Universal Serial Bus)のような有線インターフェース及び/又はブルートゥースのような無線インターフェースでもよい。
図6では、方向確定情報モジュール608が画像取得モジュール604に含まれるように示されているが、本発明はこれに限定されるものではない。例えば、方向情報確定モジュール608は、画像取得モジュール604と別に設置されてもよい。方向情報確定モジュール608は、ホストデバイスの一部、例えばホストデバイスにおける処理装置であってもよい。このような場合、画像取得モジュール604(または、その中の結像モジュール606)は、ホストデバイスとのインターフェースを備えて、取得された画像情報をホストデバイスに転送してもよい。ホストデバイスに設けられた方向情報確定モジュールによって、方向情報を確定する。このようなインターフェースは、同様に、好適な有線インターフェース及び/又は無線インターフェースであってもよい。
また、図6では、画像取得モジュール604(特に、その中の結像モジュール606)を独立したモジュールとして示しているが、本発明はこれに限定されない。例えば、結像モジュール606を、ホストデバイスの一部としてもよい。ホストデバイスとして、例えば、各種の計算機及び移動端末デバイスは、カメラのような結像装置を有するように集積されてもよい。このような結像装置によって、結像モジュール606が実現される。このような場合、ホストデバイスにおける結像装置に対する駆動プログラムを更新したり、ホストデバイスに新たな駆動プログラムをアップロードしたりしてもよい。ホストデバイス(またはその処理装置)は、このような更新またはダウンロードされた駆動プログラムを実行することによって、方向情報確定モジュールの機能を実現することができる。本発明にしたがう、特に、方向情報確定モジュールに関する説明によれば、上記のような駆動プログラムを作成することは、当業者にとって可能な範囲である。
そのため、本発明の入力装置は、各種の形態で提供することができる。例えば、入力装置は、投影モジュール601及び画像取得モジュール604のセットの形態で提供されてもよい。ユーザーは、当該セットを購入して自分のホストデバイスに接続することで方向情報の入力を実現することができる。また、入力装置は、投影モジュール601及び結像モジュール606のセットの形態で提供されてもよい。ユーザーは、当該セットを購入して、結像モジュール606を、例えばホストデバイスに固定して、インターフェースを介してホストデバイスに接続することで、方向情報を入力することができる。また、入力装置は、投影モジュール601の形態で提供されてもよい。この場合、ユーザーは、投影モジュール601のみを購入すればよく、当該投影モジュール601をホストデバイスの結像装置例えばカメラに対向して取り付けた場合、結像装置に、投影モジュール601によって投影された画像を取得する機能を持たせることができる。最後の2つの場合、ユーザーは、販売者が情報記録媒体(例えば、光ディスク)のような形態で提供する駆動プログラムを購入するか、ネットワークを介して販売者のウエブサイトから駆動プログラムをダウンロードして自分のホストデバイスにインストールすることにより、方向情報確定モジュールを実現することができる。
上述した入力装置以外の本発明の態様に従い、入力方法が提供される。当該入力方法は、投影モジュールにより画像を投影するステップと、投影モジュールを移動して投影画像を変化させるステップと、変化に応じて移動に関する方向情報を確定するステップと、を有する。方向情報は、被制御対象の移動を制御するためのものである。
本発明は、色々な形態により実現されることができる。以下、例を挙げて説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態にしたがう入力装置の応用の模式図を示す。本実施形態による入力装置は、静止画像106を投影する投影モジュール101を備える。ここで、画像106が仮想投影面102に投影されることを仮定する(即ち、投影面102において解像度が最適な投影画像が得られる)。投影面102と投影モジュール101との距離は、あまり大きくない。画像取得モジュール104は、投影面102上の投影画像を結像させる箇所に設けられている。そして、画像取得モジュール104が、常に投影面102の投影範囲内に位置するようにする。すると、画像取得モジュール104によって取得された画像は、投影面102上の投影画像の少なくとも一部となる。ここで、投影モジュール101及び/又は画像取得モジュール104は、所定の被写界深度を有することで、画像取得モジュール104に対する投影モジュール101の投影方向に沿う距離に一定の変化が生じても、画像取得モジュール104が解像度の良い画像を取得するようにする。
投影モジュール101は、照射源105を備える。照射源105は、可視光を出射するLED(発光ダイオード)光源やLEDアレイのような可視光光源、又は、赤外線や紫外線などの放射線を出射する赤外線(IR)放射源や紫外線(UV)放射源などのような放射線源を含むことができる。即ち、投影モジュール101は、可視光、赤外線または紫外線などのような適合する放射源を利用して投影を行うことができる。ここで、照射源105は、点光源または面光源に設定される。
投影モジュール101は、画像生成装置106を有する。画像生成装置106は、例えば、固定の投影画像を生成するための幻燈画のような画像マスクである。また、画像生成装置106は、必要に応じて異なる投影画像を生成可能な液晶SLMのような空間光変調器(SLM)を備える。照射源105からの放射線は、画像生成装置106を通過して所定の画像を持つようになる(例えば、画像生成装置106によって、一部が遮断され、他の部分は透過する)。
投影モジュール101は、光学系107を更に有する。画像を持つ放射線は、当該光学系107を透過し、投影面102に投射される。光学系107は、投影モジュール101の投影面102の位置及び投影範囲の大きさを調整するように調整可能に配置されるのが好ましい。
画像取得モジュール104は、光学系109と結像面110を含む結像モジュールを有する。結像面110は、光学系109によって取得された投影モジュール101からの(一部の)投影画像108の光信号を電気信号に変換するための光電変換器を有する。このような電気信号は、方向情報定位モジュール(図示せず)に送信される。ここで、結像装置が解像度の良い画像を取得するように、投影モジュール101における光学系107及び画像取得モジュール104の光学系109を調整することができる。
本発明のひとつの実施形態によると、結像面110は、CCD(電荷結合素子)アレイ等のような画素アレイを含み、高解像度の結像によって画像108の解像度の良い画像を取得することができる。また、本発明の他の実施形態によると、結像面110は、画像108に対しておおよそに結像させるいくつかのディスクリート結像画素点を含む。結像された画像から方向情報を確定できればよい。例えば、結像面110は、いくつかのフォトダイオードのみを備えてもよい。
図1に示す例において、画像取得モジュール104は、ホストデバイスのディスプレイ103に設けられている。この場合、ディスプレイ103に表示される内容に対する干渉を防止するために、投影モジュール101は、赤外線や紫外線などのような非可視光を用いて投影することができる。もちろん、本発明は、これに限定されるものではない。例えば、画像取得モジュール104は、ホストデバイスと別に設けられてもよい。
図1に示す例において、画像生成装置106によって生成された投影画像は、それぞれ直交する第1の方向(図1における水平方向)と第2の方向(図1における垂直方向)に沿って設けられた平行直線を含み、これらの平行直線は、交差して格子を形成している。このような格子パターンは、方向情報確定モジュール(図示せず)が方向情報を確定するのに貢献する。
図2は、投影モジュール101が投影方向を変えたとき、画像取得モジュール104によって取得された画像が移動する例を示す。具体的に、図2における画像11は、投影モジュール101が投影方向を変える前の状況を示す。画像12a、12b、12c、12d、12e、12f、12g、12hは、それぞれ投影モジュール101が左上、上、右上、左、右、左下、下、右下に向かって投影方向を変えた後の状況を示す。
一例によると、画像生成装置106によって生成された投影画像は、2次元ドットマトリックスを有する。図3は、この場合、投影モジュール101が投影方向を変えたとき、画像取得モジュール104によって取得された画像が移動する例を示している。具体的に、図3における画像13は、投影モジュール101が投影方向を変える前の状況を示す。画像14a、14b、14c、14d、14e、14f、14g、14hは、それぞれ投影モジュール101が左上、上、右上、左、右、左下、下、右下に向かって投影方向を変えた後の状況を示す。
もちろん、画像生成装置106によって生成された投影画像は、上述の例に限定されるものではなく、他のさまざまな適合する画像であってもよい。画像取得モジュール104によって取得された画像に応じて、投影モジュール101が投影方向を変化する前後での画像を識別できればよい。例えば、特定の小さなパターンの(2次元)アレイや規則または不規則のパターンであってもよい。もちろん、投影画像は、上述した直線またはドット等の2次元アレイに限定されるものではなく、1次元のアレイであってもよい。例えば、ある応用では、1次元の方向情報のみを必要する場合もある。
上記の例で、画像取得モジュール104が容易に投影画像(少なくとも一部)を取得するようにするため、投影画像を(1次元または2次元)アレイに設定した。例えば、投影モジュール101の投影範囲が相対的に小さく、且つ画像取得モジュール104の結像範囲が相対的に大きい場合、画像取得モジュール104は、投影画像の大部分または全部を取得することができるため、この場合には上記のようなアレイを設定しなくてもよい。この場合、図2に示す投影画像を、例えば、第1の方向に沿う直線と第2の方向に沿う直線とが直交して形成された十字形に設定し、図3に示す投影画像は、例えば、シングルドット等に設定することができる。
図2及び図3は、投影モジュール101が、それぞれ左上、上、右上、左、右、左下、下、右下の方向に沿って移動する状況のみを示したが、当業者であれば、投影モジュール101は任意の方向に向かって投影方向を変えられることを理解する。相応的に、画像取得モジュール104は、対応する方向に沿って変化された画像を取得することができる。すると、方向情報確定モジュール(図示せず)は、投影モジュール101が移動する前後に取得された画像の変化に応じて、投影モジュール101の移動に関する方向情報を取得することができる。
<第2の実施形態>
図4は、本発明の第2の実施形態に従う入力装置の応用を示す模式図である。以下、本第2の実施形態と第1の実施形態との相違点について説明する。
図4に示すように、本実施形態の入力装置は、投影モジュール401を含む。投影モジュール401は、2つの投影サブモジュール401a,401bを含む。各投影サブモジュール401a,401bは、上述した第1の実施形態における投影モジュール101と同様に設けることができる。例えば、投影サブモジュール401aは、照射源405aと、画像生成装置406aと、光学系407aと、を備え、投影サブモジュール401bは、照射源405bと、画像生成装置406bと、光学系407bと、を備える。このように、投影モジュール401は、(投影サブモジュール401a,401bによって)2つの異なる投影を生成して、それらを投影面402上に重ねることができる。この2つの投影同士は、特定の位置合わせがされなくてもよい。つまり、任意の適当な形態で投影面402に重ねればよい。或いは、2つの投影を投影面402上に部分的にまたは完全に重なるように、投影サブモジュール401a,401bにおける光学系407a,407bを調節してもよい。投影サブモジュール401a,401bの投影は、分離されてもよく、それらの投影面が異なってもかまわない。
さらに、投影モジュール401は、ビーム合成装置を含んでもよい。投影サブモジュール401a,401bからの投影光を合成して照射することによって、投影面402上に合成画像(画像生成装置406aによって生成された画像+画像生成装置406bによって生成された画像)を投影することができる。投影分野において、このようなビーム合成装置が多く存在する。
図4に投影サブモジュール401a,401bを分離したブロックとして示されているが、共通する部分を有してもよいことに注意すべきである。例えば、共通する照射源を有して、当該共通の照射源からの放射線を、例えばビームスプリッタを介して2つに分割して各投影サブモジュールに供給してもよい。また、共通する光学系を有し、各投影サブモジュールからの放射線を、ビーム合成器を通過させてから共通の光学系によって出射されてもよい。
一方、画像取得モジュール404は、投影サブモジュール401a,401bからの異なる投影を取得するための2つの画像取得サブモジュール404a,404bを備えてもよい。各画像取得サブモジュール404a,404bは、上述した第1の実施形態における画像取得モジュール104と同様に設定されることができる。例えば、画像取得サブモジュール404aは、光学系409aと結像面410aを含む。結像面410aは、光学系409aによって取得された投影サブモジュール401aからの(一部の)投影画像408aの光信号を電気信号に変換するように配置されている。画像取得サブモジュール404bは、光学系409bと結像面410bと、を備える。結像面410bは、光学系409bによって取得された投影サブモジュール401bからの(一部の)投影画像408bの光信号を電気信号に変換するように配置されている。図4に示す例で、画像取得モジュール404は、同様に、ホストデバイス(図示せず)のディスプレイ403に設けられている。
画像生成装置406aは、第1の方向(図面における水平方向)に沿って設けられた特徴を含むもの例えば平行直線を生成するように設けられている。画像生成装置406bは、第2の方向(図面における垂直方向)に沿って設けられた特徴を含むもの、例えば平行直線を生成するように設けられている。もちろん、逆に設定してもよい。そして、第1の実施形態における他の投影パターンも本実施形態に適用することは言うまでもない。
投影モジュール401によって投影された画像は、明暗の切替、及び/又は色の変化などによる具体的な映像に限定されるものではない。本発明の他の実施形態によると、投影画像は、投影に用いられる放射線(例えば、可視光や赤外線、紫外線等)自体の特徴、例えば強度(または輝度)、波長、色度などの1つ又は複数の方向(特に2つの直交する方向)に沿って単調に変化するパターンを含んでもよい。
例えば、画像生成装置406aは、図5の25aに示すように、画像における放射の強度または輝度が第1の方向(例えば、下から上へ)に単調に増加(または減少)されるように設置されてもよい。画像生成装置406bは、図5の25bに示すように、画像にける放射の強度または輝度が第1の方向に直交する第2の方向(例えば、右から左へ)単調に増加(または減少)されるように設置されてもよい。例えば、画像生成装置406aを、第1の方向(例えば、下から上へ)に沿って単調に増加(又は減少)する透過率を有するように設置し、画像生成装置406bを、第2の方向(例えば、右から左へ)に沿って単調に増加(または減少)する透過率を有するように設置することで、上記の構成を実現することができる。このような画像生成装置406a,406bは、光学シート、SLMなどによって構成される。2つの投影画像25a,25bが投影面に重なった場合、図5の26に示すような積層投影を形成することができる。
図5に示す例において、投影画像25aと投影画像25bは同じ大きさを有し、且つ両者は投影面402において完全に重なり合ったが、本発明はこれに限定されるものではないことに注意すべきである。投影画像25aと投影画像25bの大きさは、異なってもよく、投影面402において完全に重なり合わなくてもよく、重なる部分がなくてもかまわない。
本発明のもう一つの実施形態によると、画像生成装置406aは、画像における放射の波長が第1の方向(例えば、下から上へ)に沿って単調に増加(または減少)するように設けられてもよい。画像生成装置406bは、画像における放射の波長が第1の方向に直交する第2の方向(例ば、右から左へ)に沿って単調に増加(または減少)するように設けられてもよい。これは、例えば、照射源405a,405bを、白色光源または所定の波長範囲を覆う放射源とし、画像生成装置406aを、下から上に順次に単調に増大(または減少)する波長を通過させるフィルタ(又はカラーフィルタ)が並べられるように構成し、画像生成装置406bを、右から左に順次に単調に増大(または減少)する波長を通過させるフィルタ(またはカラーフィルタ)が並べられるように構成することで実現することができる。
本発明のもう一つの実施形態によると、画像生成装置406aは、画像における放射の色度が第1の方向(例えば、下から上に)に沿って単調に変化する(例えば、RGB画像での単調な変化)ように配置される。画像生成装置406bは、画像における放射の色度が第1の方向に直交する第2の方向(例えば、右から左へ)に沿って単調に変化する(例えば、RGB画像での単調な変化)ように配置される。これは、例えば、照射源405a,405bを、赤(R)、緑(G)、青(B)の三原色の混ぜ合わせ光を出射するように構成し、画像生成装置406aを、異なる減衰係数でR、G、Bの出射光の1つ又は複数をフィルタリングすることで、画像を下から上に向かって単調に変化する色調(即ち、R、G、B成分を異なる割合で組み合わせたもの)で示すカラーフィルタ(アレイ)を有するように構成し、画像生成装置406bを、異なる減衰係数でR、G、Bの出射光の一つ又は複数をフィルタリングすることで、画像を右から左へ向かって単調に変化する色調(すなわち,R、G、B成分を異なる割合で組み合わせたもの)で示すカラーフィルタ(アレイ)を有するように構成することで実現できる。このような画像生成装置406a、406bは、空間光変調器によって実現されてもよい。
以上の実施形態において、放射の強度(または輝度)、波長、色度などは、主に画像生成装置406a,406bによって変化されている。しかしながら、本発明は、これに限定されるものではない。例えば、照射源405a及び/又は405bは、独立に制御可能な照射源ユニットのアレイを備えても良い。すると、照射源405a及び/又は405bのアレイにおける照射源ユニットを制御して、第1の方向(例えば、下から上に)及び/又は第2の方向(例えば、右から左に)に沿ってそれぞれ異なる強度(又は輝度)、波長の放射を出射することができる。また、各照射源ユニットは、それぞれ制御できる三原色(例えば、RGB)のサブ画素を備えることで、照射源405a及び/又は405bのアレイにおける照射源ユニットが、第1の方向(例えば、下から上に)及び/又は第2の方向(例えば、右から左へ)にそれぞれ異なる色度で放射(例えば、各照射源ユニットにおけるR、G、Bのサブ画素の発光の割合を調節することで実現)するように制御することができる。この場合、画像生成装置406a,406bは、例えば照射源ユニットからの光同士に希望していない干渉が生じることを防止するために、格子によって形成されてもよい。
投影画像は、上述のように、強度(または輝度)、波長、色度などの放射の特徴を含んでいる。投影画像が、一つ又は複数の方向(特に2つの直交する方向)に沿って単調に変化するパターンを含む場合、画像取得モジュール404によって取得された画像における同一画素で検出された相応的な特性の変化に基づいて、方向情報を確定することができる。
例えば、放射の強度が上述のように変化する場合(図5に示す)、ある点(または複数の点)での光強度の変化を検出することで、方向情報を確定することができる。そのため、結像面410a及び/又は410bは、例えば画素アレイ(例えばCCDアレイ)の代わりに、(単体の)フォトダイオードのような簡単な光電検出器を含んでもよい。
また、例えば、放射の波長が上述のように変化する場合、ある点(または複数の点)での放射の波長の変化を検出することで、方向情報を確定することができる。そのため、結像面410a及び/又は410bは、スペクトル測定装置を含んでもよい。
また、例えば、放射の色度が上述のように変化する場合、ある点(または複数の点)での放射の色度の変化を検出することで、方向情報を確定することができる。結像面410a及び/又は410bは、例えば、三原色の原理に基づいて色度を検出することができる。そのため、結像面410a及び/又は410bは、画素アレイ(例えばCCDアレイ)の代わりに、三原色に対応する3つの光電検出器(例えば、フォトダイオード等)を含んでもよい。
本発明のいくつかの実施形態によると、投影サブモジュール401a及び401bに投影された画像は、(空間的に、部分的に又は完全に重なる場合であっても)分離可能なもので、例えば、光学の方法または電気的な方法によって分離することができる。すると、画像取得モジュール404は、画像分離装置(図示せず)を含むことになる。例えば、投影サブモジュール401a及び401bは、異なる偏光の状態(例えば、水平偏光及び垂直偏光)である放射(例えば、可視光またはさまざまな放射線など)により投影することができる。このような場合、画像分離装置は、2つの投影画像を分離するための偏光分離器(または偏光フィルタとも称す)を含む。なお、投影サブモジュール401a及び401bは、異なる波長の放射により投影することもできる。この場合、画像分離装置は、2つの投影画像を分離する波長分離器(または分光フィルタと称す)。また、投影サブモジュール401a,401bは、異なる周波数で強度(または輝度)を変調する放射により投影を行うことができる。このような場合、画像分離装置は、2つの投影画像を分離するための相応する周波数の復調器を含む。このような周波数の変調及び復調は、電気的方法で実現することができる。また、投影サブモジュール401a,401bは、時分割の形態で投影することができる。このような場合、画像分離装置は、相応する時分割の形態により異なる投影画像を検出することができる。このような時分割の変調及び復調は、電気的方法で実現することもできる。
このように、画像取得サブモジュール404aは、投影サブモジュール401aからの(一部の)投影画像408aを取得し、画像取得サブモジュール404bは、投影サブモジュール401bからの(一部の)投影画像408bを取得することができる。投影モジュール401(投影サブモジュール401a,401bを含む)は、任意の投影方向への変化に対応することができる。画像取得モジュール408(画像取得サブモジュール408a,408bを含む)は、対応する方向に沿って変化する画像を取得することができる。すると、方向情報確定モジュール(図示せず)は、投影モジュール401が移動する前後に得られた画像の変化に応じて、投影モジュール401の移動に関する方向の情報を得ることができる。
本発明のいくつかの実施形態によると、画像取得モジュール404によって取得した画像の変化を直接に利用して方向情報を確定するだけでなく、他の方法により方向情報を確定することもできる。
例えば、上述のように放射の強度に変化があった場合(図5を参照)、入力装置は、画像取得モジュール404と投影モジュール401との間のフィードバック制御装置(図示せず)を含んでもよい。例えば、投影方向が変化したとき、取得された画像の輝度も変化するので、当該変化の情報を利用して投射光を調整する(例えば、照射源の照射の輝度を調整したり、画像生成装置が空間光変調器を含む場合は空間光変調器の透過状態を調整したりする)ことで、取得された画像の輝度をほぼ変化前の輝度に戻らせるように構成される。調整された輝度差は、移動に関する方向情報として示される。この場合、画像取得モジュール404(または、方向情報確定モジュール)と投影モジュール401との間に、関連する情報を交換するための通信インターフェースを備えてもよい。
なお、例えば、放射の色度が上述のように変化する場合、投影方向が変化したとき、取得された画像の色度に変化があることになる。フィードバック制御装置は、この変化の情報を利用して投射光を調整する(例えば、照射源のアレイにおける照射源ユニットの照射の色度を調整したり、画像生成装置が空間光変調器を含む場合は各原色光に対する空間光変調器の透過状態を調整したりする)ことで、取得された画像の色度をほぼ変化前の色度に戻らせるように構成される。調整された色度差は、移動に関する方向情報として示される。
このような方法によると、検出結果に対する外部からの散乱光の影響を減少させることができる。
以上の実施形態において、2つの投影サブモジュールと2つの画像取得サブモジュールを例示したが、本発明は、これに限定されるものではないということに注意すべきである。例えば、より多くの投影サブモジュールにより、より多くの方向に沿う情報を供給したり、同期情報のような他の有用な情報を供給したりすることで、システムの安定性及び信頼性を向上するために、より多くの投影サブモジュールを含んでもよい。さらに、より多くの画像取得サブモジュールを含んでもよい。一方、より少ない投影サブモジュール及び/又は画像取得サブモジュールを使用してもよい。例えば、時分割または空間分割により動作して、異なる画像を投影するための投影サブモジュールを1つだけ使用してもよい。同様に、時分割または空間分割により動作して、異なる画像を検出するためのいずれかの画像取得サブモジュールを使用してもよい。
以上のように、2つの実施形態をそれぞれ記述したが、2つの実施形態における有益な手段を効率的に組み合わせることができないことを意味するものではない。
以上、本発明の実施形態について発明を説明したが、これらの実施形態は、説明のためのものに過ぎず、本発明の範囲を限定するものではない。本発明の範囲は、添付した特許請求の範囲及びその均等物によって限定される。本発明の範囲を逸脱しない限り、当業者は、さまざまな変更および修正を行うことができ、このような変更および修正は、本発明の範囲内にあることは言うまでもない。
本発明は、一般的に入力装置に関し、具体的には、方向情報を入力するための入力装置およびその方法に関する。
普通、コンピュータシステムは、「ウィンドウズシステム」(Windows)(登録商標)を用いている。「ウィンドウズシステム」を操作するとき、ディスプレイにおけるカーソルを制御するために、通常「マウス(Mouse)」を使用している。このようなマウスは、一般的に滑動可能な装置であって、平面上でスライドすることができる。このような滑動装置は、平面上でのスライド方向に応じて方向情報を検出し、コンピュータシステムに転送して、ディスプレイ上のカーソルの移動を制御している。
現在、光学式のマウスが普及している。具体的には、滑動装置の底部に光学式の照射部と受光部が取り付けられている。滑動装置がスライドすると、照射部からの光は、スライド面により反射され、反射された光の一部が受光部により受光される。この反射光は、移動に関する情報を含んでいる。そのため、当該反射光を処理すると、スライド方向に関する情報を得ることができる。当該情報をコンピュータシステムに転送して、カーソルの移動を制御することができる。しかしながら、このような方法には、滑動装置をスライドさせる特別な平面が必要になるという欠点がある。そのため、このような方法は、使用環境の制限を受けることになる。
上記の状況に鑑みて、本発明は、方向情報をより簡易に入力することによって、対象物(例えば、ディスプレイ上のカーソル等)の移動を制御可能な入力装置及び入力方法を提供する。
本発明の他の態様に関しては、部分的に下記のように説明され、その説明により明らかになり、或いは本開示の実現により本発明が明瞭になる。
本発明の一態様によれば、入力装置は、画像を投影するように配置される投影モジュールを有する。投影モジュールは、投影された画像の位置が変化できるように移動可能に配置される。変化は、移動に関する、被制御対象の移動を制御するための方向情報を示す。
本発明のある実施形態によれば、この入力装置は、投影された画像の少なくとも一部を取得して結像させるように配置される画像取得モジュールを更に有する。当該画像取得モジュールは、投影モジュールが移動すると、取得される画像が変化するように固定して配置され、変化は、方向情報を示す。
本発明のある実施形態によれば、この入力装置は、変化に基づいて、方向情報を確定するための方向情報確定モジュールを更に有する。もう一つの実施形態によると、選択的に、当該方向情報確定モジュールは、本入力装置を用いるホストデバイスに配置されてもよい。
本発明のある実施形態によれば、画像取得モジュールは、高解像度で結像させるための画像アレイを含んでもよい。もう一つの実施形態によると、選択的に、画像取得モジュールは、おおよそに結像させるためのいくつかの個別の画素点を含んでもよい。
本発明のある実施形態によれば、投影される画像は、直交方向に沿って交差する直線アレイ、2次元ドットマトリックス、特定の小さなパターンのアレイ及び他の規則及び不規則のパターンのうち、少なくともいずれかの一方を含んでもよい。
本発明の他の実施形態によれば、投影モジュールは、2つの画像を投影するように配置される。当該2つの投影画像は、投影面で重なってもよい。そして、投影モジュールは、当該2つの画像を投影するための2つの投影サブモジュールを含んでもよい。
本発明の他の実施形態によれば、当該入力装置は、2つの投影画像の少なくとも一部をそれぞれ取得するための画像取得モジュールを、更に有する。例えば、それぞれ異なる偏光状態での放射により2つの画像を投影するように配置され、画像取得モジュールは、投影画像を分離するための偏光分離器のような機能を含む。或いは、投影モジュールは、それぞれ異なる波長での放射により2つの画像を投影するように配置され、画像取得モジュールは、投影画像を分離するための波長分離器のような機能を含む。或いは、投影モジュールは、それぞれ異なる周波数で強度を変調した放射により2つの画像を投影し、画像取得モジュールは、投影画像を分離するための対応する周波数を有する復調器のような機能を含む。或いは、投影モジュールは、時分割により2つの画像を投影するように配置され、画像取得モジュールは、対応する時分割により投影画像を分離するように配置される。
このように構成することにより、画像取得モジュールは、重なっている投影画像を分離し、それぞれの少なくとも一部を取得することができる。投影モジュールが移動するとき、画像取得モジュールによって分離された2つ(一部の)投影画像に変化が生じ、一方の画像の変化は、第1の方向(例えば、左右)に沿う移動に関する方向情報を示し、他方の画像の変化は、第1の方向に直交する第2の方向(例えば、上下)に沿う移動に関する方向情報を示すことができる。この2つの画像の変化の合成は、投影モジュールの移動に関する方向情報を示すことができる。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の輝度が単調に増加し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される光の輝度が単調に増加するように配置されてもよい。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の波長が単調に増加し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される光の波長が単調に増加するように配置されてもよい。
他の実施形態によれば、投影モジュールによって投影された2つの画像は、一方が、第1の方向(例えば、下から上または上から下)に沿ってそれに放射される光の色度が単調に変化し、他方が、第1の方向に直交する第2の方向(例えば、右から左または左から右)に沿ってそれに放射される色度が単調に変化するように配置されてもよい。
他の実施形態によれば、当該入力装置は、投影モジュールが移動するとき、投影モジュールによって投影される画像の輝度を、取得される画像の輝度に移動前後で実質的な変化がないように調整するためのフィードバック制御装置を更に有し、調整される輝度差は、方向情報を示してもよい。
他の実施形態によれば、当該入力装置は、投影モジュールが移動するとき、投影モジュールによって投影される画像の色度を、取得される画像の色度に移動前後で実質的な変化が生じないように調整するためのフィードバック制御装置を有し、調整された色度差は、方向情報を示してもよい。
本発明の他の態様に従い、投影モジュールにより画像を投影するステップと、投影された画像の位置が変化できるように投影モジュールを移動するステップと、変化に応じて、被制御対象の移動を制御するための、移動に関する方向情報を確定するステップと、を含む入力方法が与えられる。
ある実施形態によれば、当該入力方法は、取得モジュールにより、投影画像の少なくとも一部を取得して結像させるステップをさらに有してよい。方向情報を確定するステップは、取得された画像の変化に基づいて、方向情報を確定するステップを含んでもよい。
他の実施形態によれば、画像を投影するステップは、2つの画像を投影するステップを含んでもよい。
他の実施形態によれば、当該入力方法は、取得モジュールにより、2つの投影画像の少なくとも一部をそれぞれ取得するステップを含んでもよい。例えば、画像を投影するステップは、異なる偏光状態の放射により2つの画像を投影するステップを含み、画像を取得するステップは、偏光分離器のような機能により投影画像を分離するステップを含む。或いは、画像を投影するステップは、異なる波長の放射により2つの画像を投影するステップを含み、画像を取得するステップは、波長分離器のような機能を使用して投影画像を分離するステップを含む。或いは、画像を投影するステップは、異なる周波数で強度を変調した放射によりステップ2つの画像を投影するステップを含み、画像を取得するステップは、対応する周波数の復調器のような機能によって投影画像を分離するステップを含む。或いは、画像を投影するステップは、時分割により2つの画像を投影するステップを含み、画像を取得するステップは、対応する時分割により、投影画像を分離するステップを含む。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の輝度が単調に増加し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の輝度が単調に増加するように配置されてもよい。この場合、当該入力方法は、投影モジュールが移動するとき、投影モジュールによって投影された画像の輝度を、取得された画像の輝度に移動前後で実質的な変化がないように調整するステップを更に有し、調整された輝度差は、方向情報を示す。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の波長が単調に増加し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の波長が単調に増加するように配置されてもよい。
他の実施形態によれば、投影された2つの画像は、一方が、第1の方向に沿ってそれに放射される光の色度が単調に変化し、他方が、第1の方向に直交する第2の方向に沿ってそれに放射される光の色度が単調に変化するように配置されてもよい。この場合、当該入力方法は、投影モジュールが移動するとき、投影モジュールによって投影された画像の色度を、取得された画像の色度に移動前後で実質的な変化がないように調整するステップを更に含み、調整された色度差は、方向情報を示す。
本発明の一つの実施形態によれば、可視光、赤外線、紫外線及び他の放射線のうちの一つまたは複数により投影を行うことができる。図面を参照して本発明の実施形態を説明することで、本発明の実施形態の上述した特徴及び他の特徴並びに利点が、より明らかになる。
本発明の第1の実施形態に従う入力装置の応用を示す模式図である。
本発明の第1の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第2の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第2の実施形態に従う入力装置の応用を示す模式図である。
本発明の第2の実施形態に従う入力装置の投影画像を示す模式図である。
本発明の第1の実施形態に従う入力装置を示すブロック図である。
以下、図面を参照しながら本発明の実施形態を詳細に説明する。これらの説明は、あくまでも例示で、本発明の範囲を限定するものではない。
静止画及び/又は動画を投影するための投影装置として、さまざまなものがある。例えば、映画及び投影型テレビは、動画を光学的にスクリーンに投影することで、スクリーンで動いている映像を見ることができる。なお、例えば、幻灯機は、スクリーンに静止画を投影することができる。
本発明の実施形態によると、入力装置に、画像を投影するように配置された投影モジュールを組み込むことができる。当該投影モジュールは、移動可能なので、投影画像を変化させることができる。投影画像のこのような変化は、投影モジュールの移動に関する方向情報を示すことができる。このような方向情報は、ホストデバイスに入力されて、被制御対象の移動を制御するために用いられる。例えば、ホストデバイスは、コンピュータのような電子計算機であってもよい。被制御対象は、カーソルのような電子計算機上の指示標記であってもよい。あるいは、ホストデバイスは、ロボット又はリモート玩具などであってもよい。そして、被制御対象は、ホストデバイス自体であってもよい。また、方向情報は、電気装置に表示されるメニューやドキュメント等のナビ、閲覧などを制御するためにも用いられる。
本発明の実施形態によると、投影画像の少なくとも一部を取得して結像するように配置された画像取得モジュールを提供することができる。当該画像取得モジュールは、投影モジュールの移動方向に関する情報を容易に確定するように、固定して配置される。これにより、投影モジュールが移動して投影方向が上下左右に変化した場合、画像取得モジュールによって取得された画像も相応的に上下左右に変位することになる。当該画像取得モジュールは、例えば、ホストデバイスに設けられてもよい。
本発明の実施形態によると、画像取得モジュールによって取得された画像に応じて投影モジュールの移動に関する方向情報を取得するように配置された方向情報確定モジュールを提供することができる。このような方向情報確定モジュールは、例えば、ホストデバイス上に設けられてもいい。好適実施形態によると、ホストデバイスの処理装置、例えばマイクロプロセッサ(MPU)や中央処理装置(CPU)などによって方向情報確定モジュールを形成する。
図6は、本発明の第1の実施形態に従う入力装置を示すブロック図である。図6に示すように、本実施形態の入力装置は、投影モジュール601を備える。投影モジュール601は、画像、好ましくは静止画像を投影するように配置されている。例えば、投影された画像は、投影面に直交する2つの方向に沿って設置されることで、当該直交する2つの方向に沿う方向情報を容易に指示することができる。もちろん、投影画像は、これに限定されるものではない。投影モジュール601は、各種の形態で実現してもよい。
当該入力装置は、画像取得モジュール604を備えてもよい。画像取得モジュール604は、投影モジュール601に対向して設けられ、投影モジュール601の視界内に配置されて、投影モジュール601の投影した画像の少なくとも一部を取得するように構成されている。具体的に、画像取得モジュール604は、結像モジュール606を有してもよい。投影モジュール601と結像モジュール606との距離及びそれらの光学系は、結像モジュール606が解像度の高い画像を取得できるように配置されている。好ましくは、投影モジュール601と結像モジュール606との相対的な距離は、所定の範囲内で変化し、基本的に結像モジュール606の結像品質に影響しないように構成される。
また、画像取得モジュール604は、方向情報確定モジュール608を更に有してもよい。当該方向情報確定モジュール608は、結像モジュール606によって取得された(一部の)投影画像に応じて、投影モジュール601の移動に関する方向情報を取得する。方向情報確定モジュール608は、確定された方向情報をホストデバイスに送信するためのホストデバイス(図示せず)とのインターフェースを備えてもよい。当該インターフェースは、USB(Universal Serial Bus)のような有線インターフェース及び/又はブルートゥースのような無線インターフェースでもよい。
図6では、方向確定情報モジュール608が画像取得モジュール604に含まれるように示されているが、本発明はこれに限定されるものではない。例えば、方向情報確定モジュール608は、画像取得モジュール604と別に設置されてもよい。方向情報確定モジュール608は、ホストデバイスの一部、例えばホストデバイスにおける処理装置であってもよい。このような場合、画像取得モジュール604(または、その中の結像モジュール606)は、ホストデバイスとのインターフェースを備えて、取得された画像情報をホストデバイスに転送してもよい。ホストデバイスに設けられた方向情報確定モジュールによって、方向情報を確定する。このようなインターフェースは、同様に、好適な有線インターフェース及び/又は無線インターフェースであってもよい。
また、図6では、画像取得モジュール604(特に、その中の結像モジュール606)を独立したモジュールとして示しているが、本発明はこれに限定されない。例えば、結像モジュール606を、ホストデバイスの一部としてもよい。ホストデバイスとして、例えば、各種の計算機及び移動端末デバイスは、カメラのような結像装置を有するように集積されてもよい。このような結像装置によって、結像モジュール606が実現される。このような場合、ホストデバイスにおける結像装置に対する駆動プログラムを更新したり、ホストデバイスに新たな駆動プログラムをアップロードしたりしてもよい。ホストデバイス(またはその処理装置)は、このような更新またはダウンロードされた駆動プログラムを実行することによって、方向情報確定モジュールの機能を実現することができる。本発明にしたがう、特に、方向情報確定モジュールに関する説明によれば、上記のような駆動プログラムを作成することは、当業者にとって可能な範囲である。
そのため、本発明の入力装置は、各種の形態で提供することができる。例えば、入力装置は、投影モジュール601及び画像取得モジュール604のセットの形態で提供されてもよい。ユーザーは、当該セットを購入して自分のホストデバイスに接続することで方向情報の入力を実現することができる。また、入力装置は、投影モジュール601及び結像モジュール606のセットの形態で提供されてもよい。ユーザーは、当該セットを購入して、結像モジュール606を、例えばホストデバイスに固定して、インターフェースを介してホストデバイスに接続することで、方向情報を入力することができる。また、入力装置は、投影モジュール601の形態で提供されてもよい。この場合、ユーザーは、投影モジュール601のみを購入すればよく、当該投影モジュール601をホストデバイスの結像装置例えばカメラに対向して取り付けた場合、結像装置に、投影モジュール601によって投影された画像を取得する機能を持たせることができる。最後の2つの場合、ユーザーは、販売者が情報記録媒体(例えば、光ディスク)のような形態で提供する駆動プログラムを購入するか、ネットワークを介して販売者のウエブサイトから駆動プログラムをダウンロードして自分のホストデバイスにインストールすることにより、方向情報確定モジュールを実現することができる。
上述した入力装置以外の本発明の態様に従い、入力方法が提供される。当該入力方法は、投影モジュールにより画像を投影するステップと、投影モジュールを移動して投影画像を変化させるステップと、変化に応じて移動に関する方向情報を確定するステップと、を有する。方向情報は、被制御対象の移動を制御するためのものである。
本発明は、色々な形態により実現されることができる。以下、例を挙げて説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態にしたがう入力装置の応用の模式図を示す。本実施形態による入力装置は、静止画像106を投影する投影モジュール101を備える。ここで、画像106が仮想投影面102に投影されることを仮定する(即ち、投影面102において解像度が最適な投影画像が得られる)。投影面102と投影モジュール101との距離は、あまり大きくない。画像取得モジュール104は、投影面102上の投影画像を結像させる箇所に設けられている。そして、画像取得モジュール104が、常に投影面102の投影範囲内に位置するようにする。すると、画像取得モジュール104によって取得された画像は、投影面102上の投影画像の少なくとも一部となる。ここで、投影モジュール101及び/又は画像取得モジュール104は、所定の被写界深度を有することで、画像取得モジュール104に対する投影モジュール101の投影方向に沿う距離に一定の変化が生じても、画像取得モジュール104が解像度の良い画像を取得するようにする。
投影モジュール101は、照射源105を備える。照射源105は、可視光を出射するLED(発光ダイオード)光源やLEDアレイのような可視光光源、又は、赤外線や紫外線などの放射線を出射する赤外線(IR)放射源や紫外線(UV)放射源などのような放射線源を含むことができる。即ち、投影モジュール101は、可視光、赤外線または紫外線などのような適合する放射源を利用して投影を行うことができる。ここで、照射源105は、点光源または面光源に設定される。
投影モジュール101は、画像生成装置106を有する。画像生成装置106は、例えば、固定の投影画像を生成するための幻燈画のような画像マスクである。また、画像生成装置106は、必要に応じて異なる投影画像を生成可能な液晶SLMのような空間光変調器(SLM)を備える。照射源105からの放射線は、画像生成装置106を通過して所定の画像を持つようになる(例えば、画像生成装置106によって、一部が遮断され、他の部分は透過する)。
投影モジュール101は、光学系107を更に有する。画像を持つ放射線は、当該光学系107を透過し、投影面102に投射される。光学系107は、投影モジュール101の投影面102の位置及び投影範囲の大きさを調整するように調整可能に配置されるのが好ましい。
画像取得モジュール104は、光学系109と結像面110を含む結像モジュールを有する。結像面110は、光学系109によって取得された投影モジュール101からの(一部の)投影画像108の光信号を電気信号に変換するための光電変換器を有する。このような電気信号は、方向情報定位モジュール(図示せず)に送信される。ここで、結像装置が解像度の良い画像を取得するように、投影モジュール101における光学系107及び画像取得モジュール104の光学系109を調整することができる。
本発明のひとつの実施形態によると、結像面110は、CCD(電荷結合素子)アレイ等のような画素アレイを含み、高解像度の結像によって画像108の解像度の良い画像を取得することができる。また、本発明の他の実施形態によると、結像面110は、画像108に対しておおよそに結像させるいくつかのディスクリート結像画素点を含む。結像された画像から方向情報を確定できればよい。例えば、結像面110は、いくつかのフォトダイオードのみを備えてもよい。
図1に示す例において、画像取得モジュール104は、ホストデバイスのディスプレイ103に設けられている。この場合、ディスプレイ103に表示される内容に対する干渉を防止するために、投影モジュール101は、赤外線や紫外線などのような非可視光を用いて投影することができる。もちろん、本発明は、これに限定されるものではない。例えば、画像取得モジュール104は、ホストデバイスと別に設けられてもよい。
図1に示す例において、画像生成装置106によって生成された投影画像は、それぞれ直交する第1の方向(図1における水平方向)と第2の方向(図1における垂直方向)に沿って設けられた平行直線を含み、これらの平行直線は、交差して格子を形成している。このような格子パターンは、方向情報確定モジュール(図示せず)が方向情報を確定するのに貢献する。
図2は、投影モジュール101が投影方向を変えたとき、画像取得モジュール104によって取得された画像が移動する例を示す。具体的に、図2における画像11は、投影モジュール101が投影方向を変える前の状況を示す。画像12a、12b、12c、12d、12e、12f、12g、12hは、それぞれ投影モジュール101が左上、上、右上、左、右、左下、下、右下に向かって投影方向を変えた後の状況を示す。
一例によると、画像生成装置106によって生成された投影画像は、2次元ドットマトリックスを有する。図3は、この場合、投影モジュール101が投影方向を変えたとき、画像取得モジュール104によって取得された画像が移動する例を示している。具体的に、図3における画像13は、投影モジュール101が投影方向を変える前の状況を示す。画像14a、14b、14c、14d、14e、14f、14g、14hは、それぞれ投影モジュール101が左上、上、右上、左、右、左下、下、右下に向かって投影方向を変えた後の状況を示す。
もちろん、画像生成装置106によって生成された投影画像は、上述の例に限定されるものではなく、他のさまざまな適合する画像であってもよい。画像取得モジュール104によって取得された画像に応じて、投影モジュール101が投影方向を変化する前後での画像を識別できればよい。例えば、特定の小さなパターンの(2次元)アレイや規則または不規則のパターンであってもよい。もちろん、投影画像は、上述した直線またはドット等の2次元アレイに限定されるものではなく、1次元のアレイであってもよい。例えば、ある応用では、1次元の方向情報のみを必要する場合もある。
上記の例で、画像取得モジュール104が容易に投影画像(少なくとも一部)を取得するようにするため、投影画像を(1次元または2次元)アレイに設定した。例えば、投影モジュール101の投影範囲が相対的に小さく、且つ画像取得モジュール104の結像範囲が相対的に大きい場合、画像取得モジュール104は、投影画像の大部分または全部を取得することができるため、この場合には上記のようなアレイを設定しなくてもよい。この場合、図2に示す投影画像を、例えば、第1の方向に沿う直線と第2の方向に沿う直線とが直交して形成された十字形に設定し、図3に示す投影画像は、例えば、シングルドット等に設定することができる。
図2及び図3は、投影モジュール101が、それぞれ左上、上、右上、左、右、左下、下、右下の方向に沿って移動する状況のみを示したが、当業者であれば、投影モジュール101は任意の方向に向かって投影方向を変えられることを理解する。相応的に、画像取得モジュール104は、対応する方向に沿って変化された画像を取得することができる。すると、方向情報確定モジュール(図示せず)は、投影モジュール101が移動する前後に取得された画像の変化に応じて、投影モジュール101の移動に関する方向情報を取得することができる。
<第2の実施形態>
図4は、本発明の第2の実施形態に従う入力装置の応用を示す模式図である。以下、本第2の実施形態と第1の実施形態との相違点について説明する。
図4に示すように、本実施形態の入力装置は、投影モジュール401を含む。投影モジュール401は、2つの投影サブモジュール401a,401bを含む。各投影サブモジュール401a,401bは、上述した第1の実施形態における投影モジュール101と同様に設けることができる。例えば、投影サブモジュール401aは、照射源405aと、画像生成装置406aと、光学系407aと、を備え、投影サブモジュール401bは、照射源405bと、画像生成装置406bと、光学系407bと、を備える。このように、投影モジュール401は、(投影サブモジュール401a,401bによって)2つの異なる投影を生成して、それらを投影面402上に重ねることができる。この2つの投影同士は、特定の位置合わせがされなくてもよい。つまり、任意の適当な形態で投影面402に重ねればよい。或いは、2つの投影を投影面402上に部分的にまたは完全に重なるように、投影サブモジュール401a,401bにおける光学系407a,407bを調節してもよい。投影サブモジュール401a,401bの投影は、分離されてもよく、それらの投影面が異なってもかまわない。
さらに、投影モジュール401は、ビーム合成装置を含んでもよい。投影サブモジュール401a,401bからの投影光を合成して照射することによって、投影面402上に合成画像(画像生成装置406aによって生成された画像+画像生成装置406bによって生成された画像)を投影することができる。投影分野において、このようなビーム合成装置が多く存在する。
図4に投影サブモジュール401a,401bを分離したブロックとして示されているが、共通する部分を有してもよいことに注意すべきである。例えば、共通する照射源を有して、当該共通の照射源からの放射線を、例えばビームスプリッタを介して2つに分割して各投影サブモジュールに供給してもよい。また、共通する光学系を有し、各投影サブモジュールからの放射線を、ビーム合成器を通過させてから共通の光学系によって出射されてもよい。
一方、画像取得モジュール404は、投影サブモジュール401a,401bからの異なる投影を取得するための2つの画像取得サブモジュール404a,404bを備えてもよい。各画像取得サブモジュール404a,404bは、上述した第1の実施形態における画像取得モジュール104と同様に設定されることができる。例えば、画像取得サブモジュール404aは、光学系409aと結像面410aを含む。結像面410aは、光学系409aによって取得された投影サブモジュール401aからの(一部の)投影画像408aの光信号を電気信号に変換するように配置されている。画像取得サブモジュール404bは、光学系409bと結像面410bと、を備える。結像面410bは、光学系409bによって取得された投影サブモジュール401bからの(一部の)投影画像408bの光信号を電気信号に変換するように配置されている。図4に示す例で、画像取得モジュール404は、同様に、ホストデバイス(図示せず)のディスプレイ403に設けられている。
画像生成装置406aは、第1の方向(図面における水平方向)に沿って設けられた特徴を含むもの例えば平行直線を生成するように設けられている。画像生成装置406bは、第2の方向(図面における垂直方向)に沿って設けられた特徴を含むもの、例えば平行直線を生成するように設けられている。もちろん、逆に設定してもよい。そして、第1の実施形態における他の投影パターンも本実施形態に適用することは言うまでもない。
投影モジュール401によって投影された画像は、明暗の切替、及び/又は色の変化などによる具体的な映像に限定されるものではない。本発明の他の実施形態によると、投影画像は、投影に用いられる放射線(例えば、可視光や赤外線、紫外線等)自体の特徴、例えば強度(または輝度)、波長、色度などの1つ又は複数の方向(特に2つの直交する方向)に沿って単調に変化するパターンを含んでもよい。
例えば、画像生成装置406aは、図5の25aに示すように、画像における放射の強度または輝度が第1の方向(例えば、下から上へ)に単調に増加(または減少)されるように設置されてもよい。画像生成装置406bは、図5の25bに示すように、画像にける放射の強度または輝度が第1の方向に直交する第2の方向(例えば、右から左へ)単調に増加(または減少)されるように設置されてもよい。例えば、画像生成装置406aを、第1の方向(例えば、下から上へ)に沿って単調に増加(又は減少)する透過率を有するように設置し、画像生成装置406bを、第2の方向(例えば、右から左へ)に沿って単調に増加(または減少)する透過率を有するように設置することで、上記の構成を実現することができる。このような画像生成装置406a,406bは、光学シート、SLMなどによって構成される。2つの投影画像25a,25bが投影面に重なった場合、図5の26に示すような積層投影を形成することができる。
図5に示す例において、投影画像25aと投影画像25bは同じ大きさを有し、且つ両者は投影面402において完全に重なり合ったが、本発明はこれに限定されるものではないことに注意すべきである。投影画像25aと投影画像25bの大きさは、異なってもよく、投影面402において完全に重なり合わなくてもよく、重なる部分がなくてもかまわない。
本発明のもう一つの実施形態によると、画像生成装置406aは、画像における放射の波長が第1の方向(例えば、下から上へ)に沿って単調に増加(または減少)するように設けられてもよい。画像生成装置406bは、画像における放射の波長が第1の方向に直交する第2の方向(例ば、右から左へ)に沿って単調に増加(または減少)するように設けられてもよい。これは、例えば、照射源405a,405bを、白色光源または所定の波長範囲を覆う放射源とし、画像生成装置406aを、下から上に順次に単調に増大(または減少)する波長を通過させるフィルタ(又はカラーフィルタ)が並べられるように構成し、画像生成装置406bを、右から左に順次に単調に増大(または減少)する波長を通過させるフィルタ(またはカラーフィルタ)が並べられるように構成することで実現することができる。
本発明のもう一つの実施形態によると、画像生成装置406aは、画像における放射の色度が第1の方向(例えば、下から上に)に沿って単調に変化する(例えば、RGB画像での単調な変化)ように配置される。画像生成装置406bは、画像における放射の色度が第1の方向に直交する第2の方向(例えば、右から左へ)に沿って単調に変化する(例えば、RGB画像での単調な変化)ように配置される。これは、例えば、照射源405a,405bを、赤(R)、緑(G)、青(B)の三原色の混ぜ合わせ光を出射するように構成し、画像生成装置406aを、異なる減衰係数でR、G、Bの出射光の1つ又は複数をフィルタリングすることで、画像を下から上に向かって単調に変化する色調(即ち、R、G、B成分を異なる割合で組み合わせたもの)で示すカラーフィルタ(アレイ)を有するように構成し、画像生成装置406bを、異なる減衰係数でR、G、Bの出射光の一つ又は複数をフィルタリングすることで、画像を右から左へ向かって単調に変化する色調(すなわち,R、G、B成分を異なる割合で組み合わせたもの)で示すカラーフィルタ(アレイ)を有するように構成することで実現できる。このような画像生成装置406a、406bは、空間光変調器によって実現されてもよい。
以上の実施形態において、放射の強度(または輝度)、波長、色度などは、主に画像生成装置406a,406bによって変化されている。しかしながら、本発明は、これに限定されるものではない。例えば、照射源405a及び/又は405bは、独立に制御可能な照射源ユニットのアレイを備えても良い。すると、照射源405a及び/又は405bのアレイにおける照射源ユニットを制御して、第1の方向(例えば、下から上に)及び/又は第2の方向(例えば、右から左に)に沿ってそれぞれ異なる強度(又は輝度)、波長の放射を出射することができる。また、各照射源ユニットは、それぞれ制御できる三原色(例えば、RGB)のサブ画素を備えることで、照射源405a及び/又は405bのアレイにおける照射源ユニットが、第1の方向(例えば、下から上に)及び/又は第2の方向(例えば、右から左へ)にそれぞれ異なる色度で放射(例えば、各照射源ユニットにおけるR、G、Bのサブ画素の発光の割合を調節することで実現)するように制御することができる。この場合、画像生成装置406a,406bは、例えば照射源ユニットからの光同士に希望していない干渉が生じることを防止するために、格子によって形成されてもよい。
投影画像は、上述のように、強度(または輝度)、波長、色度などの放射の特徴を含んでいる。投影画像が、一つ又は複数の方向(特に2つの直交する方向)に沿って単調に変化するパターンを含む場合、画像取得モジュール404によって取得された画像における同一画素で検出された相応的な特性の変化に基づいて、方向情報を確定することができる。
例えば、放射の強度が上述のように変化する場合(図5に示す)、ある点(または複数の点)での光強度の変化を検出することで、方向情報を確定することができる。そのため、結像面410a及び/又は410bは、例えば画素アレイ(例えばCCDアレイ)の代わりに、(単体の)フォトダイオードのような簡単な光電検出器を含んでもよい。
また、例えば、放射の波長が上述のように変化する場合、ある点(または複数の点)での放射の波長の変化を検出することで、方向情報を確定することができる。そのため、結像面410a及び/又は410bは、スペクトル測定装置を含んでもよい。
また、例えば、放射の色度が上述のように変化する場合、ある点(または複数の点)での放射の色度の変化を検出することで、方向情報を確定することができる。結像面410a及び/又は410bは、例えば、三原色の原理に基づいて色度を検出することができる。そのため、結像面410a及び/又は410bは、画素アレイ(例えばCCDアレイ)の代わりに、三原色に対応する3つの光電検出器(例えば、フォトダイオード等)を含んでもよい。
本発明のいくつかの実施形態によると、投影サブモジュール401a及び401bに投影された画像は、(空間的に、部分的に又は完全に重なる場合であっても)分離可能なもので、例えば、光学の方法または電気的な方法によって分離することができる。すると、画像取得モジュール404は、画像分離装置(図示せず)を含むことになる。例えば、投影サブモジュール401a及び401bは、異なる偏光の状態(例えば、水平偏光及び垂直偏光)である放射(例えば、可視光またはさまざまな放射線など)により投影することができる。このような場合、画像分離装置は、2つの投影画像を分離するための偏光分離器(または偏光フィルタとも称す)を含む。なお、投影サブモジュール401a及び401bは、異なる波長の放射により投影することもできる。この場合、画像分離装置は、2つの投影画像を分離する波長分離器(または分光フィルタと称す)。また、投影サブモジュール401a,401bは、異なる周波数で強度(または輝度)を変調する放射により投影を行うことができる。このような場合、画像分離装置は、2つの投影画像を分離するための相応する周波数の復調器を含む。このような周波数の変調及び復調は、電気的方法で実現することができる。また、投影サブモジュール401a,401bは、時分割の形態で投影することができる。このような場合、画像分離装置は、相応する時分割の形態により異なる投影画像を検出することができる。このような時分割の変調及び復調は、電気的方法で実現することもできる。
このように、画像取得サブモジュール404aは、投影サブモジュール401aからの(一部の)投影画像408aを取得し、画像取得サブモジュール404bは、投影サブモジュール401bからの(一部の)投影画像408bを取得することができる。投影モジュール401(投影サブモジュール401a,401bを含む)は、任意の投影方向への変化に対応することができる。画像取得モジュール408(画像取得サブモジュール408a,408bを含む)は、対応する方向に沿って変化する画像を取得することができる。すると、方向情報確定モジュール(図示せず)は、投影モジュール401が移動する前後に得られた画像の変化に応じて、投影モジュール401の移動に関する方向の情報を得ることができる。
本発明のいくつかの実施形態によると、画像取得モジュール404によって取得した画像の変化を直接に利用して方向情報を確定するだけでなく、他の方法により方向情報を確定することもできる。
例えば、上述のように放射の強度に変化があった場合(図5を参照)、入力装置は、画像取得モジュール404と投影モジュール401との間のフィードバック制御装置(図示せず)を含んでもよい。例えば、投影方向が変化したとき、取得された画像の輝度も変化するので、当該変化の情報を利用して投射光を調整する(例えば、照射源の照射の輝度を調整したり、画像生成装置が空間光変調器を含む場合は空間光変調器の透過状態を調整したりする)ことで、取得された画像の輝度をほぼ変化前の輝度に戻らせるように構成される。調整された輝度差は、移動に関する方向情報として示される。この場合、画像取得モジュール404(または、方向情報確定モジュール)と投影モジュール401との間に、関連する情報を交換するための通信インターフェースを備えてもよい。
なお、例えば、放射の色度が上述のように変化する場合、投影方向が変化したとき、取得された画像の色度に変化があることになる。フィードバック制御装置は、この変化の情報を利用して投射光を調整する(例えば、照射源のアレイにおける照射源ユニットの照射の色度を調整したり、画像生成装置が空間光変調器を含む場合は各原色光に対する空間光変調器の透過状態を調整したりする)ことで、取得された画像の色度をほぼ変化前の色度に戻らせるように構成される。調整された色度差は、移動に関する方向情報として示される。
このような方法によると、検出結果に対する外部からの散乱光の影響を減少させることができる。
以上の実施形態において、2つの投影サブモジュールと2つの画像取得サブモジュールを例示したが、本発明は、これに限定されるものではないということに注意すべきである。例えば、より多くの投影サブモジュールにより、より多くの方向に沿う情報を供給したり、同期情報のような他の有用な情報を供給したりすることで、システムの安定性及び信頼性を向上するために、より多くの投影サブモジュールを含んでもよい。さらに、より多くの画像取得サブモジュールを含んでもよい。一方、より少ない投影サブモジュール及び/又は画像取得サブモジュールを使用してもよい。例えば、時分割または空間分割により動作して、異なる画像を投影するための投影サブモジュールを1つだけ使用してもよい。同様に、時分割または空間分割により動作して、異なる画像を検出するためのいずれかの画像取得サブモジュールを使用してもよい。
以上のように、2つの実施形態をそれぞれ記述したが、2つの実施形態における有益な手段を効率的に組み合わせることができないことを意味するものではない。
以上、本発明の実施形態について発明を説明したが、これらの実施形態は、説明のためのものに過ぎず、本発明の範囲を限定するものではない。本発明の範囲は、添付した特許請求の範囲及びその均等物によって限定される。本発明の範囲を逸脱しない限り、当業者は、さまざまな変更および修正を行うことができ、このような変更および修正は、本発明の範囲内にあることは言うまでもない。