JP2005038422A - コンピュータ・デバイス用の投影ユーザ・インタフェースを提供する方法および装置 - Google Patents

Abstract

【課題】 本発明は、パーベイシブ・コンピュータなどのコンピュータ・デバイス用のユーザ・インタフェースを投影する装置および方法を提供する。
【解決手段】このコンピュータ・デバイスは、プロジェクタからある表面上に、ユーザ入力表示を投影する。また、コンピュータ・デバイスのプロジェクタからある表面上に、ユーザ出力表示が投影される。このユーザ入力表示とユーザ出力表示は、同一プロジェクタから投影できる。ユーザ入力表示とユーザ出力表示は、別々の面に投影されてもよい。また、ミラー・システムを用いて、単一の投影画像が分割され方向付けが施される。
【選択図】 図１

Description

本発明は、パーベイシブ・コンピュータ（pervasive computing devices）などのコンピュータ・デバイス用のユーザ・インタフェースを投影する（project）装置および方法に関し、さらに詳しく述べると、ユーザ入力表示（user input display）およびユーザ出力表示（user output display）を投影する装置および方法に関するものである。

携帯端末（ＰＤＡ）（personaldigital assistants）、ポケット型パソコン（pocket PCs）、タブレット型パソコン（tabletPCs）、スマート・カメラ／ＰＤＡフォン（smart camera/PDA phones）などの、パーベイシブ・コンピュータは、着実に人気が高まっている。チップ技術により、これらの装置は、小型ながら機能性の高いものになったが、装置の小型化により、キーボードの余地はほとんどなくなり、大抵は、非常に小さい表示部しか設けることができない。

これまで、入力用の仮想キーボード画像（virtual keyboard image）および／またはユーザ出力用の仮想ディスプレイ（virtual display）を付加することにより、これらパーベイシブ・コンピュータの使いやすさや携帯性の向上を図る方法が提案されてきた。例えば、米国特許第６、３２３、９４２号（特開２００３−５１０５６１号公報）では、仮想キーボードが開示されている。さらに、米国特許第６、２６６、０４８号（特開２０００−８９８９９号公報）では、ＰＤＡ用仮想ディプレイ／キーボードが開示されており、パーベイシブ・コンピュータのサイズが原因となって起きる限界へのソリューションが提供されている。ここでは、キーボード画像が、ユーザ付近の表面に投影され、ディスプレイ画像が、仮想キーボード画像と投射器（projecting device）の間の同一表面上に投影される。これにより、キーボード画像とディスプレイの両方のサイズは拡大されるものの、両方の画面が同一面に配置されるため、ユーザ出力表示を読み取るのに下を見おろさなければならず、居心地の悪さを与える。これは、コンピュータ画面の通常の位置ではなく、ユーザは、この新たな位置に慣れる必要がある。また、米国特許第６、２６６、０４８号（特開２０００−８９８９９号公報）のシステムでも、キーボード画像用の第１プロジェクタ（projector）とディスプレイ用の第２プロジェクタが使用されている。

上記の各方法では、最適な人間工学に基づいた安価な入出力を実現するシステムを提供できない。このため、前記および他の限界を打開する改良型仮想入出力システムが必要とされている。

本発明の目的は、パーベイシブ・コンピュータなどのコンピュータ・デバイス用のユーザ・インタフェースを投影する装置と方法を提供することにあり、さらに詳しく述べると、ユーザ入力表示およびユーザ出力表示を投影する装置と方法を提供することにある。

例えば、本発明の１態様によれば、コンピュータ・デバイス用ユーザ・インタフェースを提供する方法は、以下のステップを有している。ユーザ入力表示は、第１表面上のコンピュータ・デバイスのプロジェクタから投影され、ユーザ出力表示は、第２表面上のコンピュータ・デバイスのプロジェクタから投影される。また、第１表面と第２表面は、それぞれ異なった平面上に位置している。

この方法の利点は、ユーザ入力表示をユーザ出力表示とは別の表面に投影できることにある。これは、単一の投影画像をユーザ入力表示とユーザ出力表示に分割するコンピュータ・デバイスのミラー・システム（mirror system）を利用することによって可能である。ユーザ入力表示は、ユーザおよびコンピュータ・デバイス間の平坦な水平面に投影され、ユーザ出力表示は、コンピュータ・デバイスの背後にある垂直な平面に投影される。これにより、ユーザは、コンピュータ・デバイスの使用時に、快適で習慣的な姿勢を保つことができる一方で、入力および出力表示のいずれのサイズも拡大できるという利点が保持される。

本発明の第２の態様によれば、コンピュータ・デバイス用のユーザ・インタフェースを提供する方法は、以下のステップを有している。ユーザ入力表示は、コンピュータ・デバイスのプロジェクタからある表面上に投影され、ユーザ出力表示は、プロジェクタから同一表面上に投影される。ユーザ入力表示とユーザ出力表示の両方に対し、単一のプロジェクタを使用する。さらに、ユーザ入力表示すなわち仮想キーボード画像上で、キー打ち（keystroke）が検出されると、タイピングの反応（typing feedback）が現れる。この反応は、音声および／または視覚的形式によるものが考えられる。

本発明の前記およびそれ以外の目的と特徴および利点は、その実施例に関する次の詳細な説明を、添付図面と照らし合わせて読むことによって明らかになるであろう。

以下に詳細に説明する通り、本発明は、コンピュータ・デバイス用ユーザ・インタフェースを投影する装置および方法を提供する。パーベイシブ・コンピュータの単一のプロジェクタを用いて、ユーザ入力表示が第１の表面に投影され、ユーザ出力表示が第２の表面に投影される。ユーザ入力表示は、仮想キーボード画像であることが好ましい。「仮想」キーボードとは、キーボードに似ているとともに、キーストローク検出システム（keystroke detection system）を用いてキーボードと同じ機能を果たす１表面上に投影された画像である。実施例では、「パーベイシブ」コンピュータを例示しているが、本発明は、これに限定されるものではなく、仮想入力／出力装置を利用することによって恩恵を受ける他のコンピュータ・デバイスによっても実現できる。

まず初めに、図１について説明すると、本発明の実施例により、ユーザ入力表示とユーザ出力表示を別々の表面上に投影させるパーベイシブ・コンピュータが示されている。パーベイシブ・コンピュータ１０１は、パーベイシブ・コンピュータ１０１の正面（in front of）にあり、かつ、パーベイシブ・コンピュータ１０１とユーザの間にある第１表面に、仮想キーボード画像１０５を投影している。ユーザ出力表示画像１０４（user output display image）は、パーベイシブ・コンピュータ１０１の背後において、平坦な垂直表面１０３上に投影されている。第１表面は、好ましくは、第２表面と直角を成す平面上に位置している。単一のマイクロ・プロジェクタ（micro projector）１０２は、ミラー・システム（不図示であるが、図２に基づき詳細に説明する）と共に用いられ、ユーザ出力表示画像１０４を後方に反射するとともに、仮想キーボード画像１０５をユーザ正面に投影する。また、マルチ・プロジェクタ・システム（multiple projector system）を用いて、２つの画像を別々の表面に作成してもよい。仮想キーボード画像１０５は、仮想スクラッチ・パッド（virtual scratch pad）または他のポインティング・デバイス（pointing device）を有していてもよい。いくつかあるマイクロ・プロジェクタのうちの１例として、テキサス・インスツルメンツ社のデジタル・マイクロ・ミラー・ディスプレイ（ＤＭＤ）（Ｒ）を用いた投射系があげられる。

図２について説明すると、本発明の実施例により、パーベイシブ・コンピュータにおける、ミラー・システム、マイクロ・プロジェクタ、およびその分割画像（split image）が示されている。ミラー・システムとマイクロ・プロジェクタは、当然、コンピュータ・デバイスと一体化してもよい。マイクロ・プロジェクタ１０２からの画像は、下部２０２の仮想キーボード画像１０５と、上部２０３のユーザ出力表示画像１０４とを具備している。ミラー・システムの下方ミラー２０４（lower mirror）は、上部２０３を受け、これを上方ミラー（upper mirror）２０１に反射させることによって、ユーザ出力表示画像１０４を後方の面１０３に投影させる。下部２０２は、ミラー・システム２０１、２０４を介さずに、パーベイシブ・コンピュータ１０１の正面に投影される。

動作中、仮想キーボード画像１０５の投影画像の下部２０２が、キーストローク検出システム（不図示）上に重ね合わされる。このキーストローク検出システムは公知の技術であり、米国特許第６、２６６、０４８号（特開２０００−８９８９９号公報）に記載されている。本システムでは、仮想キーボード画像１０５が投影される面に対してほぼ平行な、仮想キーボード画像１０５の向かい側にあるパーベイシブ・コンピュータ１０１から照射されるレーザ光を利用する。レーザ光が、仮想キーボード画像１０５の仮想キー上で遮られ、この遮断がセンサで検出されると、パーベイシブ・コンピュータにより、入力が発生し処理が行なわれる。ただし、本発明は、特定のキーストローク検出システムを伴った利用に限定されないことは言うまでもない。

仮想キーボード画像１０５は、良好な作業姿勢（good ergonomics）を実現するために、正規の実際のキーボードをシミュレートしている。投影された画像の上部２０３は、コンピュータ画面に通常表示される画像と同じものである。上部２０３は、さらに、ユーザが、従来のコンピュータ画面を扱うときに見るような位置にある。プロジェクタを１台しか使用しない利点に加え、このミラー・システムは、パーベイシブ・コンピュータと垂直表示面との距離が短い場合でも、より大きい画像が投影されるように設計されている。投影される画像の寸法は、マイクロ・プロジェクタ１０２から下方ミラー２０４、上方ミラー２０１、および垂直表示面１０３までの総距離によって決まる。ミラー・システムの折り畳み効果（folding effect）により、この投影画像の寸法は、画像がマイクロ・プロジェクタから表示面に直接投影された場合よりも大きくなる。また、プロジェクタおよびミラー・システム間の距離を調整可能にすれば、投影画像をさらに拡大することも可能である。

図３について説明すると、本発明の実施例により、ユーザ入力表示とキーストローク反応（keystroke feedback）を投影しているパーベイシブ・コンピュータが示されている。本発明は、キーストローク検出システムによってキー打ちが検出されたときに、タイピング反応が現れる機能を付け加えることによって、一層の改良が可能である。この反応には、仮想キーボード画像１０５またはユーザ出力表示画像１０４上での設定可能音声クリック（configurable audio click）または視覚的表示（visual display）などがある。本物のキーがないために、ユーザは、打ったキーがシステムに入力されたかどうか不確かなままであり、そのために、キー１０６が入力されたことをユーザに知らせる必要がある。この視覚的および／または音声反応があれば、ユーザは、所望の入力が行なわれたか即座に認識できる。音声反応は、パーベイシブ・コンピュータ１０１から発するクリック音やビープ音（beep）の形が考えられる。視覚的反応では、仮想キーボード画像１０５上のキー１０６の色や形を変化させてもよい。キー１０６の形を変化させる場合、図３に示すようにキーを拡大することなどが考えられる。さらに、視覚的反応には、ユーザ出力表示画像１０４上に記号を表示することなども含まれる。本発明は、言うまでもなく、キーストローク反応を示すのに用いられるこの種の仕組みに限定されるものではない。

この反応方法は、ソフトウェア・アプリケーションとして、パーベイシブ・コンピュータ１０１に組み込まれていてもよい。このような反応メカニズム（feedback mechanism）は、上記の機能を提供するように設定可能な回路またはコントローラによって実現されてもよい。

次に、図４について説明すると、ユーザの正面にある１表面上に、ユーザ入力表示とユーザ出力表示を投影しているパーベイシブ・コンピュータが示されている。本実施例は、正面投影型システム（front projection system）である。本発明のこの構成は、プロジェクタを１台しか使用しない点が有利である。仮想キーボード画像１０５は、ユーザ付近に投影され、ユーザ出力表示画像１０４は、仮想キーボード画像１０５とパーベイシブ・コンピュータ１０１の間に投影される。この正面投影型システムは、さらに、ユーザ出力表示画像１０４を仮想キーボード画像１０５から離れた面や異なる平面に投影してもよい。例えば、ユーザ出力表示画像１０４を、プレゼンテーション用に、ユーザの背後の壁に表示し、パーベイシブ・コンピュータ１０１と仮想キーボード画像１０５は、そのままユーザの正面に配置してもよい。このような場合、ユーザが、出力表示画像１０４の投影進路に入らないように、パーベイシブ・コンピュータ１０１を三脚（tripod）で高い位置に上げてもよい。また、キーストローク検出システムとタイピング反応を、このシステムに利用することも可能である。

したがって、以上に説明した通り、本発明により、パーベイシブ・コンピュータなどのコンピュータ・デバイス用ユーザ・インタフェースを投影するための、より詳しくは、ユーザ入力表示およびユーザ出力表示を投影するための装置および方法を提供する。本発明の１態様によれば、ユーザ入力表示およびユーザ出力表示は、それぞれ異なった面に投影される。本発明の他の態様によれば、単一のプロジェクタを用い、仮想キーボード画像上でキーストロークが検出された時点で反応が現れる。投影されたユーザ・インタフェースを提供するためのこの発明力に富んだ装置および方法は、ＰＤＡ、ポケット型パソコン、タブレット型パソコン、スマート・カメラ／ＰＤＡフォンなどの多数の用途に利用できる。

以上、添付図面を参照しながら、本発明の実施例について説明してきたが、本発明は、以上の詳細な実施例に限定されるものではなく、本発明の範囲または精神を逸脱せずに他の種々の変更および修正が可能であることは、当業者に明らかなところである。

本発明の実施例により、ユーザ入力表示およびユーザ出力表示を別々の面に投影しているパーベイシブ・コンピュータを示す図である。 本発明の実施例により、パーベイシブ・コンピュータにおけるミラー・システム、マイクロ・プロジェクタ、およびその分割画像を示す図である。 本発明の実施例により、ユーザ入力表示およびキー反応を投影しているパーベイシブ・コンピュータを示す図である。 本発明の実施例により、ユーザ正面の同一面に、ユーザ入力表示およびユーザ出力表示を投影しているパーベイシブ・コンピュータを示す図である。

符号の説明

１０１ パーベイシブ・コンピュータ
１０２ マイクロ・プロジェクタ
１０４ ユーザ出力表示画像
１０５ 仮想キーボード画像

Claims (37)

1. コンピュータ・デバイス用ユーザ・インタフェースを提供する方法であって、
   前記コンピュータ・デバイスのプロジェクタから第１の表面上にユーザ入力表示を投影するステップと、
   前記コンピュータ・デバイスの前記プロジェクタから第２の表面上にユーザ出力表示を投影するステップと、
   を有し、前記第１表面と前記第２表面が別々の面に位置する、前記方法。
2. 前記コンピュータ・デバイスがパーベイシブ・コンピュータである、請求項１に記載の方法。
3. 前記ユーザ入力表示と前記ユーザ出力表示が、当初、単一のプロジェクタから単一の画像として投影される、請求項１に記載の方法。
4. 前記コンピュータ・デバイスのミラー・システムにより、当初投影された単一画像の一部を反射させることにより、前記当初投影された単一画像を、前記ユーザ入力表示と前記ユーザ出力表示とに分割するステップをさらに有する、請求項３に記載の方法。
5. 前記当初投影された単一画像の一部を反射させるステップにおいて、前記画像の反射された部分が前記ユーザ出力表示であり、反射されない部分が前記ユーザ入力表示である、請求項４に記載の方法。
6. 前記当初投影された単一画像の一部を反射させるステップは、さらに、
   前記ミラー・システムの第１ミラーにより前記ユーザ入力表示から前記ユーザ出力表示を分割するステップと、
   前記第１ミラーからの前記ユーザ出力表示の反射を、前記ミラー・システムの第２ミラーで受けるステップと、
   前記ユーザ出力表示を、前記第２ミラーから前記第２表面へ投影するステップと、
   を有する、請求項４に記載の方法。
7. 前記ユーザ出力表示を投影するステップは、前記コンピュータ・デバイスと前記第２表面との距離が短い場合に、前記ミラー・システムから大画像を投影するステップを有する、請求項４に記載の方法。
8. 前記プロジェクタは、マイクロ・プロジェクタである、請求項１に記載の方法。
9. 前記第１表面は、前記コンピュータ・デバイスの正面に位置する面にあり、前記第２表面は、前記コンピュータ・デバイスの背後に位置する面にあり、前記第２表面は前記第１表面に対して直交する、請求項１に記載の方法。
10. 前記ユーザ入力表示は、キーボードの画像を有する、請求項１に記載の方法。
11. 前記第１表面は水平面であり、前記第２表面は垂直面である、請求項１に記載の方法。
12. 前記ユーザ入力表示における仮想キー上で前記仮想キーストローク検出システムの各センサが遮断されると、前記コンピュータ・デバイスから音声反応を発するステップをさらに有する、請求項１に記載の方法。
13. 前記ユーザ入力表示における仮想キー上で前記仮想キーストローク検出システムの各センサが遮断されると、前記ユーザ出力表示上に視覚的反応が現れるステップをさらに有する、請求項１に記載の方法。
14. 前記ユーザ入力表示における仮想キー上で前記仮想キーストローク検出システムの各センサが遮断されると、前記ユーザ入力表示上に視覚的反応が現れるステップをさらに有する、請求項１に記載の方法。
15. 前記ユーザ入力表示は、スクラッチ・パッドの画像を有する、請求項１に記載の方法。
16. 前記ユーザ入力表示は、ポインティング・デバイスの画像を有する、請求項１に記載の方法。
17. コンピュータ・デバイス用ユーザ・インタフェースを提供する方法であって、
    前記コンピュータ・デバイスのプロジェクタから第１の表面上にユーザ入力表示を投影するステップと、
    前記コンピュータ・デバイスの前記プロジェクタから前記表面上にユーザ出力表示を投影するステップと、
    を有し、前記ユーザ入力表示と前記ユーザ出力表示が、単一のプロジェクタから前記表面上に投影される、前記方法。
18. 前記コンピュータ・デバイスがパーベイシブ・コンピュータである、請求項１７に記載の方法。
19. 前記プロジェクタがマイクロ・プロジェクタである、請求項１７に記載の方法。
20. 前記ユーザ入力表示およびユーザ出力表示を投影する各ステップは、ユーザと前記コンピュータ・デバイスの間に前記ユーザ入力表示を投影するステップと、前記ユーザ入力表示と前記コンピュータ・デバイスの間に前記ユーザ出力表示を投影するステップとを有する、請求項１７に記載の方法。
21. 前記ユーザ入力表示における仮想キー上で前記キーストローク検出システムの各センサが遮断されると、前記コンピュータ・デバイスから音声反応を発するステップをさらに有する、請求項１７に記載の方法。
22. 前記ユーザ入力表示における仮想キー上で前記キーストローク検出システムの各センサが遮断されると、前記ユーザ出力表示上に視覚的反応が現れるステップをさらに有する、請求項１７に記載の方法。
23. 前記ユーザ入力表示における仮想キー上で前記キーストローク検出システムの各センサが遮断されると、前記ユーザ入力表示上に視覚的反応が現れるステップをさらに有する、請求項１７に記載の方法。
24. 画像を投影するプロジェクタと、
    前記プロジェクタに従って配置されるミラー・システムであって、前記ミラー・システムは、前記プロジェクタからの前記画像の一部を反射して、前記画像の非反射部分を第１表面に、また、前記画像の反射部分を第２表面に投影し、前記画像の前記投影された反射部分と前記画像の前記投影された非反射部分により、前記コンピュータ・デバイス用の仮想ユーザ・インタフェースを提供するミラー・システムと、
    を有するコンピュータ・デバイス。
25. 前記コンピュータ・デバイスがパーベイシブ・コンピュータである、請求項２４に記載のコンピュータ・デバイス。
26. 前記ミラー・システムが、
    前記プロジェクタから前記画像の一部を遮る第１ミラーと、
    前記第１ミラーからの前記画像の前記反射部分を受け、前記画像の前記反射部分を前記第２表面に投影する第２ミラーと、
    を有する、請求項２４に記載のコンピュータ・デバイス。
27. 前記プロジェクタがマイクロ・プロジェクタである、請求項２４に記載のコンピュータ・デバイス。
28. 前記画像の前記非反射部分が、前記パーベイシブ・コンピュータの正面であって、前記コンピュータ・デバイスとユーザの間に投影される、請求項２４に記載のコンピュータ・デバイス。
29. 前記画像の前記反射部分が、前記コンピュータ・デバイスの背後に投影される、請求項２４に記載のコンピュータ・デバイス。
30. 前記第１表面が前記第２表面に対して直角に交わる、請求項２４に記載のコンピュータ・デバイス。
31. 前記投影画像の前記非反射部分が仮想キーボード画像である、請求項２４に記載のコンピュータ・デバイス。
32. 前記投影画像の前記反射部分がユーザ出力表示である、請求項２４に記載のコンピュータ・デバイス。
33. キー反応メカニズムをさらに有する、請求項２４に記載のコンピュータ・デバイス。
34. 前記コンピュータ・デバイスからの画像をある表面に投影するプロジェクタを有し、
    前記画像は、ユーザ入力表示とユーザ出力表示とを有する、コンピュータ・デバイス。
35. 前記コンピュータ・デバイスはパーベイシブ・コンピュータである、請求項３４に記載のコンピュータ・デバイス。
36. 前記プロジェクタはマイクロ・プロジェクタである、請求項３４に記載のコンピュータ・デバイス。
37. 前記ユーザ入力表示は、ユーザと前記コンピュータ・デバイスの間に位置し、前記ユーザ出力表示は、前記ユーザ入力表示と前記コンピュータ・デバイスの間に位置する、請求項３４に記載のコンピュータ・デバイス。

Images