JP2007532994A - 移動できる投影可能なｇｕｉ - Google Patents

Abstract

本発明は、ハンドヘルド装置の動きに対して投影を安定化させる安定器の制御の下で、視覚情報の投影を表面に生じさせるハンドヘルド装置に関する。当該装置は、ユーザ制御の下で、投影に対して相対的に移動可能である視覚的なしるしを安定化された投影に生じさせるための構成要素をもつ。このアーキテクチャにより、当該装置が遠隔制御装置として構成されることが可能になる。

Description

本発明は、表面への視覚情報の投影を生じさせるためのハンドヘルド装置に関する。

このような装置は、例えば、米国特許出願公開公報第２００３００３８９２８号明細書から知られ、参照によって本願明細書に組み込まれる。知られる装置は、ハンドヘルド又はウェアラブル装置を使用して視覚情報を表わすことに関する。ある実施形態では、携帯電話が、画像を壁に投影するための手段を含むように変更される。更に、携帯電話が壁の画像に対して相対的に動く場合を感知し、この相対的な動きを画像安定化手段によってオフセットする手段も組み込まれる。これにより、携帯電話のユーザは、携帯電話のサイズが著しく増大されなくても、大きな視覚媒体ディスプレイを生成し、このディスプレイとインタラクティブすることが可能になる。

本願発明者は、この既知の概念が、レンダリング及びユーザインタラクションを共に働かせる組み合わせを可能にするような更なるステップに進められ得ることに気が付いた。この目的のために、本願発明者は、視覚情報の表面への投影を生じさせるための機能をもつハンドヘルド装置を提案する。

投影は、装置の動きに対して投影を安定化させる安定器の制御の下にある。装置は、ユーザ制御の下で、投影に関して動かせる視覚的なしるしを安定化された投影に生じさせるための構成要素を有する。「ハンドヘルド」とは、使用中に装置が移動できる又は持ち運びできる特性のことを言う。このアーキテクチャは、定義からほぼ必然的に小さい形状要因をもつハンドヘルド装置について、大きい寸法のグラフィカルユーザインタフェースを生じさせるための手段の統合を可能にする。

本発明のある実施形態において、構成要素は、その向きが装置に対して固定される発光部、例えば、レーザポインタを有する。他の実施形態では、構成要素は、投影された視覚情報の一部であるしるしのロケーションを制御するマイクロコントローラを有する。

他の実施形態では、装置は、ユーザがしるしによって占められる投影内のロケーションの選択を確認することができるようにする確認入力部を有する。この構成により、投影を、例えば、装置（ＰＤＡ、ＭＰ３プレーヤなど）の電子ファイルの組織化されたストレージのためのファイルシステムに対するグラフィカルユーザインタフェース（ＧＵＩ）として使用することできる。

他の実施形態では、装置は、選択の確認を当該装置の外部のソースに通信するコミュニケータを有する。この構成は、装置に、例えば、しるしの位置を投影に表される選択可能なアイテムと関連させることによって、ソースの動作の遠隔制御を可能にするリモートコントローラの機能を供給する。位置を確認することにより、適正な遠隔制御コマンドの送信が起動される。この構成の他の実施例として、装置は、ブラウザを有し、コミュニケータによりデータネットワークへのワイヤレスアクセスを可能にする。インターネットをナビゲートし、ハイパーリンクをクリックすることは、上記に説明されたように選択を確認することによって達成される。

他の実施形態では、装置は、投影が視覚的フィードバックを形成するコンピュータゲームを再生するように構成される。構成要素は、投影された視覚情報の一部であるしるしのロケーションを制御するためのマイクロコントローラを有する。このしるしは、投影により表される仮想世界（バーチャルワールド）とインタラクティブするためのアニメーション又はアニメ化された特性（キャラクタ）を有してもよい。

更に他の実施形態では、装置はディスプレイモニタを有する。投影能力は、視覚情報がディスプレイモニタにレンダリングされるとき、その視覚情報があまりにも解像度が高くて識別されることができない場合に有用である。

視覚的なしるしは、例えば、視覚情報を説明し又は表示する場合に、観衆の注意を特定の特徴に引き付けるのに役立ち得る。更に、しるしは、投影に表わされる情報とインタラクティブするための手助けとしても機能し得る。

本発明は、添付の図面を例証として参照して、より詳細に説明される。

各図を通して、同じ参照符号は、類似する又は対応する特徴を示す。

以下の実施形態において、本発明による装置は、例えば、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、静止画像若しくはビデオカメラ、携帯音楽プレーヤ、遠隔制御装置、コンピュータゲーム装置など、又は、通常、動作使用時にハンドヘルド若しくはウェアラブルである他のモバイル装置に含まれるか、又はこれらの装置を有している。

図１及び図２は、本発明のハンドヘルド装置１００の動作使用を示す図である。図１は、光のビーム１０２を発して視覚情報の投影１０４を壁１０６に生じさせる第１の動作モードでの装置１００を示す。投影１０４は、例えば、米国特許出願公開公報第２００３００３８９２８号明細書から及びその明細書に参照される文献から知られるやり方で、ユーザの手の望まれない振動に対して安定化される。この種類の安定化により、投影１０４において、装置１００がハンドヘルドであることから被りやすい振動が中和されるか、又は少なくとも低減される。通常、これらの振動は、振幅の或る大きさによって及び周波数の或る帯域によって特徴づけられる。図２は、第２の動作モードでの装置１００を示す。モード選択は、例えば、装置１００のモード選択ボタン１０８とのユーザインタラクティブによって達成されるか、又は装置１００が比較的静止状態を保たれている場合に一定期間が経った後、第１のモードから第２のモードへ切り替えるタイマー若しくは音声制御のような何らかの他の適切な手段によって達成される。図２の装置１００は、視覚情報を壁１０６に投影し続けるが、この場合も意図されない振動より大きい動きに対して投影の安定化が要求される。実際的な範囲内で、ユーザは、しるしを投影画像１０４にわたって動かすために、装置１００の位置及び配向を変更する。この場合、投影の安定化は、更に、ユーザの手によって装置１００に意図的に加えられたこれらの動きに応答するように行なわれる。この動きは、通常、意図されない振動のものより大きい振幅及びより低い周波数をもつ。ここで、装置１００は、ビーム１０２によってもたらされる投影１０４に或る特徴を示すために、視覚的なしるし２０４を壁１０６に生じさせるために、狭い光ビーム２０２を生成する。この機能を実施するために、装置１００は、例えば、その配向及び位置が装置１００のハウジングに対して固定されるオンボードレーザポインタ（図示略）又は他の発光素子（図示略）を備える。代替例として、ポインタ機能は、ソフトウェアにおいてしるしのロケーションを制御することによって実施される。例えば、第２のモードでは、しるしは、投影画像に重ねられるピクセルのクラスタとして、又はＭＰＥＧ−７オブジェクト、特に、投影されるべき画像を作り上げるＭＰＥＧ−７オブジェクトとして生成される。クラスタの動きがソフトウェアによって制御されるので、例えば、このクラスタは安定化動作の対象にはされない。即ち、クラスタは、あたかもクラスタが装置１００に対して固定される別個の光源によって投影されたかのように、装置１００の動きをたどる。知られるように、ＭＰＥＧ−７は、視聴覚（オーディオビジュアル）データをオブジェクトの組成物としてモデル化し、その処理は個別に制御されることができる。

実際的な範囲内で、ユーザは、投影画像１０４にわたってしるしを動かすために、装置１００の位置及び配向を変更する。この場合も、投影の安定化は、ユーザの手によって装置１００に意図的に加えられた動きに応答するように行なわれる。この動きは、通常、意図的でない振動のものよりも大きい振幅及びより低い周波数をもつ。

第２のモードでは、装置１００が、例えば、視覚情報を１人以上の他の人に呈示するために使用される。その場合、ポインタモードにより、ユーザは、移動可能なしるしによって投影における或る特徴に注意を引き付けることができる。代替例として、第２のモードにより、ユーザは、投影される情報とインタラクティブすることができる。例えば、装置１００は、クリック可能なリンクを有するウェブページの画像、又は幾つかの選択可能なオプションを記載するメニューを示すウィンドウズ（Ｒ）エクスプローラメニューに視覚化されるような組織的な構造体の画像を投影する。後者のシナリオでは、リンク又はメニューオプションの選択は、ユーザが自分の選択を確認した後に、しるしの位置を投影画像におけるリンクの位置又はメニューオプションの位置と関連付けることによって達成される。この関連付けの文脈の中で、例えば、参照により本願明細書に組み込まれる米国特許出願公開公報第２００３００３０６２２号明細書を参照されたい。この明細書は、投影される画像に対して相関的なしるしの位置を決定するための種々のやり方を開示する。用い方の他の例では、装置１００の第２のモードが、コンピュータゲーム又はビデオゲームにおいて使用され、ここでは、しるしが、例えば、投影内で動くオブジェクトをターゲットにするために使用される。

図３は、装置１００の実施例についてのブロック図である。装置１００は、例えば、投影１０４に対して、基準の向きに対して相対的に及び／又は地球の重力に対して相対的に、装置１００の向きを検知するための１つ以上のセンサ３０４を収容するハウジング３０２を有している。センサ３０４の実施例については、例えば、上述された米国特許出願公開公報第２００３００３８９２８号明細書を参照されたい。ハウジング３０２は、更に、投影コントローラ３０６及びプロジェクタ３０８を収容する。センサ３０４は、ハウジング３０２の動きについて投影１０４を安定化させるために、プロジェクタ３０８の制御を行なう投影コントローラ３０６に対する入力を供給する。装置１００は、ユーザ制御の下で投影１０４に対して相対的に動かすことができる視覚的なしるしを、安定化された投影１０４に生じさせるための構成要素３１０を有している。構成要素３１０は、その光ビーム２０２の向きがハウジング３０２に対して固定されるようなやり方で、ハウジング３０２の中に又はその上に取り付けられる。その後、ハウジング３０２を操作することにより、しるしがハウジング３０２の物理的な延在部であるかのようなやり方で、しるしを投影１０４にわたって動かせるようになる。

本発明のある実施形態において、しるしは、投影１０４とインタラクティブし、このインタラクティブの結果を外部ソース（図示略）に伝えるために用いられる。その場合、装置１００は、装置１００と上記ソースとの間の通信用にコミュニケータ３１２を有している。例えば、装置１００は遠隔制御装置であり、投影１０４は、ＴＶ、ＤＶＤプレーヤなどのような遠隔的に制御可能な機器を有するソースを制御するための選択可能なオプションのメニューを有する。特定のメニューオプションを選択することは、しるしを投影１０４のオプションに置いて、装置１００と他のユーザとのインタラクティブを介する選択を確認すること、例えば、ボタンを押すことによって達成される。確認により、続いて、コミュニケータ３１２が、関連する制御コマンドを赤外線（ＩＲ）又は無線周波数（ＲＦ）電磁波を介してソースに送り出させる。他の例として、装置１００は、コミュニケータ３１２を介するワイヤレスインターネットアクセスをもち、ブラウザを有する。投影１０４は、ハイパーリンク付きのウェブページの画像を有する。装置１００により、ユーザは、しるしを投影１０４のリンクのロケーションの上に位置付けることができ、例えば、ボタンを押すことによって、リンク上でクリックを起動することができる。これにより、双方ともコミュニケータ３１２を介して、当該ＵＲＬがワイヤレスアクセスポイントに伝えられ、対応する新たなウェブページが検索されるようになる。装置１００は、ディスプレイモニタ３１４も具備し得る。その場合、プロジェクタ３０８は、例えば、視覚情報が、小さい形状要因をもつディスプレイ３１４を使用して快適に見られることができないほど非常に高い解像度をもつ場合に、使用される。

これら全てが上手く働くためには、しるしのロケーションは、ユーザが選択を確認するか又はリンクをクリックする場合に、投影１０４に対して相対的に決定されるべきである。図４は、このことを行なう態様を示す図である。メニューオプション及びクリック可能なリンクが、表面４０２の投影１０４において有限の大きさから成る領域を占め、リンクの領域又はオプションの領域が、しるしで占められる領域よりも大きいので、限られた正確さのみが必要なだけであると仮定される。更に、投影１０４は、表面４０２に対して実質的に垂直であるビーム１０２の光軸４０４を維持することによって安定化されると仮定される。後者は、実質的に斜めの投影が投影される画像を歪めるので、動作上の使用を考えると合理的な仮定である。図４に示される装置１００は、傾けられ及び／又はパンされ（pan，上下左右に動かされ）ながら、表面４０２に画像を投影して投影１０４をもたらす。プロジェクタ３０８に対して相対的な構成要素３１０の位置が固定され知られる。

先ず、構成要素３１０の構造が、その位置及びプロジェクタ３０８の位置が一致するものと見なされ得るように作られる場合（図示略）を考える。即ち、ビーム１０２のソースとビーム２０２のソースとの間にオフセットがない場合である。ビーム２０２は、装置１００が第１のモードにおいて表面４０４に対して垂直であるように保持されている場合、光軸４０６と一致する。しるしのロケーションは、安定化されたときの光軸４０４と相対的な装置１００のチルト及びパン角によって十分に決定される。このことは、装置１００と表面４０２との間の距離が、画像に対して相対的に、ビーム２０２と投影１０４との交点のロケーションに影響を及ぼさないという事実から分かる。もし影響を及ぼされたならば、投影される画像自体が、距離が変更された場合に不均一に歪められるであろう。従って、安定化動作から得られたチルト及びパン角は、画像に対して相対的な座標に変換されて、それゆえ、関連のメニューオプション又はクリック可能なリンクを選択することができる。ここで、構成要素３１０及びプロジェクタ３０８の各光源の位置が、互いに相対的なオフセットをもつような構成要素３１０の構造を考える。図３（図４）に見られる横方向のオフセット４０６を考慮されたい。ビーム２０２及び光軸４０４は、この軸４０４が第１のモードで表面４０２に対して実質的に垂直に保持される場合、ここでは平行に伸びているが、一致しない。その場合、装置１００と表面４０２との間の距離が大事な役割を果たす。このことは、シフトされるべき表面４０２を、装置１００の傍により近い表面４０８の位置に結像する図で簡単に見られる。ビーム２０２と投影１０４との交差部の点（交点）は、ビーム２０２により指し示される投影画像のアイテムの座標を決定する。これらの座標は、この場合、距離だけでなくパン及びチルト角によっても決定される。この距離は、画像の焦点を合わせ、その焦点距離を距離の代表値として認識することによって決定されることができる。距離を決定する他のやり方は、ユーザが、装置１００に対して、例えば、確認ボタンを押すことによって、ビーム２０２が安定化された投影画像における較正マーク４１０に当たることを確認する較正ステップを有してもよい。パン及びチルト角、オフセット４０６並びに画像におけるマーク４１０の相対的な位置から、ユーザは距離を推定することができる。同様の考慮事項は、ビーム１０２及び２０２の各ソースが、軸方向のオフセットをもつ（あるビームが他のビームの背後にある）場合にも当てはまる。横方向のオフセット４０６が、装置１００と表面４０２との間の距離と比較して小さい場合、距離は、実際的な条件下でしるしを正確に位置付ける際に、（仮に果たしていたとしても）重要でない役割しか果たさない。

図５は、しるし５０２の動きがソフトウェアにおいて制御される、本発明の更に他の実施形態を示す図である。画像５０４及びしるし５０２の双方は、プロジェクタ３０８によって壁１０６に投影される。しるし５０２は、画像５０４に重畳されたピクセルのクラスタとして生成されるか、又はＭＰＥＧ−７オブジェクトとして、とりわけ、投影されるべき画像５０４を作り上げるＭＰＥＧ−７オブジェクトとして生成される。この目的のために、装置１００は、画像プロセッサ５０６を有している。画像５０４からしるし５０２を引いたものが、上記に説明されたように、装置１００の第２のモードで投影制御部３０６から安定化動作にかけられる。しるし５０２は、その代わりに、あたかもしるし５０２が、例えば、装置１００に固定されたレーザポインタによって生成されるスポットであるかのように、第２のモードで装置１００の動きをたどるように作られる。第２のモードであると仮定すると、しるし５０２の位置は、画像５０４の中央にあるように初期化される。センサ３０４によって検出された装置１００のパン角及び／又はチルト角における変更は、画像５０４の投影１０４をこの変更に対処するようにそれ相応に、例えば、プロジェクタ３０８におけるミラー５０８の動きを制御することによって変更させる。しるし５０２が投影される画像５０４の一部であるので、しるし５０２は同じ動作にかけられて、そのまま画像の一部であった状態を保つであろう。従って、プロセッサ５０６は、安定化の反作用を中和するように、画像５０４におけるしるし５０２を動かす。この文脈の中で、国際公開第０２０７９９６９号明細書としてＰＣＴで公開され、本願明細書に参照により組み込まれる、「１対１の直接通信」に関してNancy Kidneyらにより２００１年３月３０日に出願された米国特許出願番号０９／８３２，４６０（代理人整理番号ＵＳ０１８０３７）が参照される。この文献は、オブジェクトが送信器のディスプレイの視野から緩やかに滑り出し、受信器のディスプレイの視野に緩やかに滑り込むように、送信ハンドヘルド器から受信器への電子オブジェクトの転送の経過をグラフィックで表わすことに関する。ハンドヘルド器の重力センサは、転送のデータレートを決定するために使用される。この視覚的フィードバックは、例えば、電子おもちゃのための人間工学的な機能である。

図５の考察で参照された動作が、図６に示される。プロジェクタ３０８における画像５０４の領域の線形サイズは、絶対値（magnitude，大きさ）「Ａ」から成ることが知られるものとする。その場合、投影１０４の線形サイズは「Ａ．Ｄ」であり、ここで、「Ｄ」はプロジェクタ３０８と表面１０６との間の距離である。装置１００のチルト又はパン角ψは、しるし５０２の投影の新たな位置を示すことを意図するものとする。画像の安定化が行なわれなかったならば、画像５０４の投影１０４は、その真ん中の位置、即ち、しるし５０２の投影の初期ロケーションを、ポイント部４１０において推定するであろう。投影１０４がこの動きに関して安定化されるので、投影１０４は、角ψを定める動きをたどらない。但し、しるし５０２の投影は、ポイント部４１０の位置を推定する。この位置は、サイズＡ．Ｄの投影１０４の中央部からψだけ外れる距離Ｄ．ψ（ラジアンで角ψ）である。画像５０４のしるし５０２が、画像５０４の中央部から距離ψだけ外れて動かされる場合、これらの複合投影により、しるし５０２の投影を伴う安定化された状況がもたらされ、そのため、ユーザが仮定するつもりである位置を仮定することになる。従って、画像プロセッサは、画像５０４のしるし５０２を動かし、そのしるしをポインタとして使用させるために、検知されるチルト及びパン角の値によって供給されるべきである。

本発明の装置のブロック図である。 本発明の装置のブロック図である。 本発明の装置のブロック図である。 複数の実施形態について、しるしの画面位置を決定するやり方を示す図である。 複数の実施形態について、しるしの画面位置を決定するやり方を示す図である。 複数の実施形態について、しるしの画面位置を決定するやり方を示す図である。

Claims (12)

1. ハンドヘルド装置の動きに対して投影を安定化させる安定器の制御の下で、視覚情報の投影を表面に生じさせる機能をもつハンドヘルド装置であって、ユーザ制御の下で前記投影に関して動かすことができる視覚的なしるしを、前記安定化された投影に生じさせるための構成要素を有するハンドヘルド装置。
2. 前記構成要素は、その配向が当該装置に対して固定される発光部を有する、請求項１に記載の装置。
3. 前記構成要素が、前記投影された視覚情報の一部である前記しるしのロケーションを制御するコントローラを有する、請求項１に記載の装置。
4. 前記しるしによって占められる前記投影におけるロケーションの選択を確認する確認入力部を有する、請求項１に記載の装置。
5. 前記選択の確認を当該装置の外部のソースに伝えるコミュニケータを有する、請求項４に記載の装置。
6. 前記しるしの位置を前記投影に表される選択可能なアイテムと関連させることによって、前記ソースの動作の遠隔制御を可能にするリモートコントローラを有する、請求項４に記載の装置。
7. ブラウザを有し、前記コミュニケータによりデータネットワークへのワイヤレスアクセスを可能にする、請求項４に記載の装置。
8. 電子ファイルの組織化されたストレージ用のファイルシステムを有する、請求項４に記載の装置。
9. 前記投影が視覚的フィードバックを形成するコンピュータゲームを再生するように構成される、請求項１に記載の装置。
10. 前記構成要素が、前記投影された視覚情報の一部である前記しるしの前記ロケーションを制御するコントローラを有する、請求項９に記載の装置。
11. 前記しるしがアニメーションを有する、請求項１０に記載の装置。
12. ディスプレイモニタを有する、請求項１に記載の装置。
    
    

Images