JP2006323866A - データ入力方法 - Google Patents

Abstract

【課題】ユーザの移動を投影されたイメージに関連して検出するデータ入力方法を提供する。
【解決手段】電子デバイス１０は、入力デバイスのイメージと、そのイメージとのユーザの相互作用を検出する走査センサ１４、１６、２２とを使用して入力を受信する。例えば、マウスのイメージを投影し、そのイメージとのユーザの相互作用を、デジタルビデオカメラ１４、１６、２２を使用して走査できる。そして、例えば、ユーザの移動の方向と、範囲と、速度とを決定して、ポインタ位置コマンド信号を提供するために、これらのユーザ動作イメージを分析できる。同様に、仮想キーボードイメージに関連するユーザの動作を分析し、活性化した仮想キーに応答するためのキー作動信号へと変換できる。
【選択図】 図１

Description

本発明は、一般には、コンピュータシステムを含む電子デバイスのための入力デバイス、特に、ビデオ制御入力を使用するようなデバイスに関する。

様々なポインティングデバイスが、コンピュータシステムにおいてディスプレイ上のポインタまたはカーソルの位置を制御するために使用されてきた。ポインタまたはカーソルは、ユーザインタフェース上の物理的な描写の形で与えられる特定の選択肢を選択するためにスクリーンを縦横にわたって移動可能なイメージである。このように、ユーザは、ユーザインタフェースを介して提供される特定のタスク及び作業にフォーカス（focus）を当てるようにビデオディスプレイを使用して相互作用できる。

周知のポインティングデバイスは、マウスと、トラックボールと、ポインティングスティックとを含む。これらすべてのデバイスは、一般に、故障しやすい電気機械的なインタフェースを含む。インタフェースが故障すると、ポインティングデバイスの動きをディスプレイのポインタ位置に間違って反映した不正確な信号を結果としてもたらすことがある。

タッチパッド型ポインティングデバイスといった別のよく知られたポインティングデバイスでは、ユーザが接触面に触れることができる。接触面上のユーザの指の動作は、コンピュータディスプレイ上のポインタの対応する動きとして追跡される。通常、タッチパッドは指の位置と動きを検出する容量センサ（capacitive sensors）を有し、その動きを位置制御信号へと変換する。

タッチパッド型ポインティングデバイスは、上述したような不正確な信号をもたらす汚れまたは湿気によって汚れやすい。さらに、タッチパッドデバイスは動きの度合いが制限されるため、そのポインティングデバイスを介して利用可能な制限された動きを使用してポインタの制御を学習するのは難しい。

多数のコンピュータシステムは、コンピュータにテキスト情報を入力するためのキーボードを使用する。キーボードは、一般に、ケーブルによってコンピュータに接続される。ポインティングデバイスと同様に、キーボードは故障しやすい電気機械的なインタフェースを含む。これらの故障によって、特定のキーが特定の入力を有効にできなくなる。いずれにせよ、キーボードに与えられる入力は、ディスプレイスクリーン上に現れるテキストに誤って反映されうる。

従って、より故障しにくい方法によってユーザが情報を入力できる改良された入力デバイスの必要性がある。

コンピュータシステムを含む多数の電子デバイスは、キーボードのような比較的に大きい入力デバイスを含む。例えば、ラップトップあるいはノートブック型コンピュータのような多くの携帯型コンピュータにおいては、ディスプレイは本質的に全筐体のある部分であり、キーボードはその他の部分であるような折り畳み式筐体が使用される。このように、キーボードはデバイスの全体的な大きさのかなりの部分を占める。同様に一部のパーソナル・ディジタルアシスタント（personal digital assistants：以下、「ＰＤＡ」と呼ぶ。）あるいは手のひらサイズのコンピュータ（palm-sized computer）では、キーボードあるいはキーパッド型入力デバイスがデバイスの全体的な大きさのかなりの部分を占める。

常により小さい計算デバイスの需要がある。ラップトップあるいはノートブック型コンピュータのような携帯型コンピュータは次第に大きさが減少しつつある。同様に手のひらサイズあるいはＰＤＡタイプのコンピュータシステムの関心が増大しつつある。

このように、コンピュータシステムを含む電子デバイスの大きさを減少するための新たな方法に対する継続的な需要がある。

電子デバイスにデータを入力するための本発明による方法は、表面上にイメージを投影することを含む。ユーザの移動をその投影されたイメージに関連して検出する。

図１に示すように、コンピュータシステム１０として実現できる電子デバイスは、ディスプレイ１８を含む筐体１２を含みうる。従来のコンピュータシステムと異なり、システム１０はキーボードまたはポインティングデバイスを備えていなくてよい。走査センサ１４と１６を、筐体１２の正面の領域の走査を可能にするように延びたアーム２６及び３０上に提供できる。走査センサ１４と１６は、例えば、アーム２６及び３０に含まれるケーブルを経由して筐体１２に導かれるストリーミングビデオを生成するデジタルカメラであってもよい。図２に示すように、追加の走査センサ２２をディスプレイ１８下の筐体１２の前面上に提供できる。

筐体１２上にはプロジェクタ２０も配置され、このプロジェクタは、筐体１２の正面に位置するデスクトップのように、イメージを表面上へと投影する。プロジェクタ２０は、例えば、液晶ディスプレイ（liquid crystal display：以下、「ＬＣＤ」と呼ぶ。）プロジェクタ、レーザプロジェクタあるいはテキサス・インスツルメンツ社（Texas Instruments, Inc.）のデジタル光処理（digital light processing：以下、「ＤＬＰ」と呼ぶ。）光エンジンといった光エンジンプロジェクタでよい。イメージが投影される領域は、走査センサ１４、１６、２２によって走査される同じ領域でよい。それぞれのスキャナを、より良い３次元的イメージングのために他のスキャナのそれぞれに対して横断的になるように配置できる。筐体１２を、スタンド２４によってある角度だけ傾いた状態に支持する。

本発明による一実施態様において、図３に示すような仮想のキーボード３４ａ及びマウス３４ｂといった１以上の入力デバイスを、筐体１２の正面の表面上へと投影できる。しかしながら、本発明は、ここに例示された実施態様に限定されない。ユーザはあたかも実際のデバイスを使用しているかのようにそのイメージ上に自分の手を置くと、走査センサは、ユーザの手の動作を捕捉し、この動作を入力コマンド信号へと変換できる。例えば、マウスイメージ３４ｂをその上に投影した表面上にわたるユーザの手の動作は、ディスプレイ１８上でポインタの位置を移動させるためのポインタ位置信号に変換できる。同様に、キーボードイメージ３４ａをその上に投影した表面上にわたるユーザの手のタイピング動作（typing movements）によって、対応するテキスト入力を入力し、ディスプレイ１８上に現れるようにできる。このように、電気機械的な入力デバイスを除去できる。

代わりに、走査センサはユーザの手から反射した投影光を感知できる。走査センサは反射した光及び投影した光の組合せとユーザの手を検出できる。同じく、投影したイメージはユーザの手の検出された動作に「追随する（follow）」ように動いてよい。

次に図４を参照すると、本発明による一実施態様を実現するためのコンピュータシステム３５の一例は、ホストバス３８に結合したプロセッサ３６を含みうる。例示したコンピュータシステム３５は、インテル・コーポレーション（IntelCorporation）から入手可能なＰｅｎｔｉｕｍ（登録商標）ＩＩプロセッサを備えた４４０ＢＸチップセットを含む。ホストバス３８を、主記憶装置４２をつなぐホストブリッジ（host bridge）４０に結合する。ホストブリッジ４０を、グラフィックデバイス５０に結合する加速グラフィックポート（accelerated graphic port：以下、「ＡＧＰ」と呼ぶ）バス４８（米国カリフォルニア州サンタクララのインテル社によって、１９９６年７月３１日に出版された加速グラフィックポートインタフェース仕様書第１０版参照のこと）にも結合する。グラフィックデバイス５０は走査センサ１４、１６、２２からの入力を受信でき、グラフィックデバイス５０に結合したディスプレイ１８上にその結果生じる入力を表示できる。グラフィックデバイス５０は、ビデオ標準入力／出力システム（ＢＩＯＳ（basic input/output system））５４及びグラフィックスローカルメモリ５６も備える。

ホストブリッジ４０を、周辺機器デバイスを受け入れるための複数のスロット４６を含みうるバス４４にも結合する。バス４４をバス・バス間ブリッジ（bus-to-bus bridge）５８にも結合し、ブリッジ５８を追加のバス７０に結合する。バス７０は、追加的な周辺機器デバイスを受け入れるための複数のスロット７２とシステムＢＩＯＳ７４とを含む。ブリッジ５８は複数のポート６０と６６にも結合できる。ポート６０を、例えば、例示するように１以上のプログラム６４、１０６、１２２を記憶しているハードディスクドライブ（ＨＤＤ）６２に結合できる。ポート６６をプロジェクタ２０に結合できる。

コンピュータシステムの一例を図４に示すが、当業者であれば、多数の他のシステムが上記目的を達成するために利用できることは理解されよう。それ故にここに示したシステムは単なる一例であることが理解されよう。

次に図５を参照すると、そこには上述した機能性を有するデバイスを実現するための本発明による方法の一実施態様を示している。最初に、ブロック７６に示すように、システムはビデオ処理が可能である。例えば、コンピュータシステムは、複数のストリーミングビデオ入力を処理するための能力を備えうる。このシステムを、複数のデジタルカメラにも装備できる。プロジェクタは、ブロック７８に示すように、入力デバイスのイメージを表面上に投影できる。例えば、ブロック８０に示すように、ユーザの手に起因する動作のビデオ分析を提供する能力も備えうる。一実施態様によれば、このビデオ分析はユーザの手の形とその対応する動作を認識する従来のパターン認識ソフトウェアでよい。次に、ブロック８２に示すように、投影したイメージに関連するユーザの動作をポインタ位置制御信号に変換する能力も提供できる。最後に、ブロック８４に示すように、ユーザの動作をテキスト入力へと変換する能力を提供できる。さらに、キーをクリックする音といった音響確認を、キーストロークを認識するときに生成できる。

次に図６を参照すると、本発明による一実施態様においてソフトウェア６４をハードディスクドライブ６２上に記憶できる。最初に、そのソフトウェアによって１以上の入力デバイスのイメージを表面上へと投影する。例えば、ブロック８６に示すように、キーボード及びマウスのイメージを投影できる。その後、ストリーミングビデオを受信でき（ブロック８７）、ブロック８８に示すように特定のビデオフレームを選択できる。そのフレームを、例えば、選択技術を使用してランダムあるいは一定間隔に選択できる。

さらに、場面変化検出器（scene change detector）が、場面に重大な変化が存在するときを決定するように使用できる。重大な場面変化が生じると、一つのフレームを次なる分析のために取り込みうる。場面変化検出器は当該分野において周知であり、１以上のカメラのイメージングアレイを形成するピクセルによって決定する強度信号のパターンを分析できる。例えば、種々なピクセルセンサが出力信号を提供できる。もし出力信号がある強さのレベルよりも上にあればそれは白と考えられ、もしあるレベルよりも下にあればそれは黒と考えられる。白対黒の出力信号の数における重大な変化を、ストリーミングビデオからあるフレームの選択を開始する場面変化として認識できる。

本発明はこの分析に対して単一フレームを使用するものとして説明されてきたが、継続的分析は、連続するフレームを継続的あるいは連続的に分析することによって実行できる。オーバーサンプリング（oversampling）を、動作を検出することを保証するために使用できる。

図６に示す実施態様において、ブロック８８に示すようにフレームを選択すると、ブロック９２に示すように従来のパターン認識ソフトウェアが、特定のイメージパターンをデジタルビデオデータストリームによって表現しているかどうか決定するために利用できる。このソフトウェアは、仮想キーボード上のユーザの指の位置あるいは仮想マウスの最上部のユーザの手の位置といった特定の事前にプログラムされたイメージを認識する。このソフトウェアは、そのイメージと以前に記録した描写とを比較することによって認識し、あるいは、そのソフトウェアは、学習ソフトウェアを使用してコンピュータの所有者またはユーザの協力によって、特定のイメージを学習するように訓練できる。

菱形９４において、ソフトウェアは、選択したフレームが特定の入力コマンドに対応する所定のパターンにマッチするパターンを含んでいるかどうか決定するためにチェックする。もしそうでなければ（含んでいなければ）、手順の流れは別のフレームを選ぶために戻る。

もしパターンの一致を検出すると、ブロック９６に示すように、最初と次のフレームを比較する。次に、その比較が位置の変化を示すかどうかを決定するためにチェックする（菱形９８）。もし変化を示していれば、イメージの動きの速度及び方向を決定する（ブロック１００）。その動きの速度及び／または方向を、対応するコマンド入力を提供するために使用できる。例えば、マウスイメージと関連するユーザの手の動作に関連して、動作の方向及び速度をディスプレイ１８上の対応するポインタの動きに反映できる。例えば、ある一つの相関因子（correlation factor）を、「オンスクリーン（on screen）」ポインタの３次元的位置を計算するために使用できる（ブロック１０２）。ユーザ入力は、ユーザの手の動作の方向または速度に応じてディスプレイ１８上にポインタを動かす（ブロック１０４）ためのグラフィックデバイス５０への信号によって表現できる。流れのサイクルは、比較を始めるための新しいフレームを再度選択する（ブロック８８）ように引き返す。

これに対して、識別可能な対象物をユーザに付随することにより、その対象物を容易に認識できる。例えば、容易に検出できる明瞭に色付けされたリングを使用してもよい。リングの動きはポインタ位置コマンドとして検出できる。

図７は、システムがポインタ位置コマンドに対するフォーカスポイントを較正可能にするためのソフトウェア１０６を示している。ソフトウェア１０６を、望ましい入力を認識するようにシステムをプログラムするための較正期間の間に使用できる。図７を参照すると、ブロック１０８に示すように、最初にストリーミングビデオを受信する。ブロック１１０に示すように、そのストリーミングビデオのフレームを取り込む。

次に、ブロック１１２に示すように、システムは、指定した方向への移動を手助けできる。例えば、オンスクリーン・ディスプレイは、ユーザが学習過程を経るように指導できる。例えば、オンスクリーン・ディスプレイは、最初にユーザに左のカーソル位置コマンドを示すよう指図できる。そして、シーケンスはカーソルコマンド方向のそれぞれについて反復する。システムはどんなカーソルコマンドをプログラムしているかをいったん知ると、ブロック１１４に示すように、それはビデオの新しいフレームを取り込みうる。新しいフレーム及び以前のフレームを比較し、所定のカーソルコマンドになる差分を決定する（ブロック１１６）。菱形１１８におけるチェックは、フォーカスポイントを識別していたかどうかを決定する。換言すれば、システムは、その後特定のポインタ位置コマンドとしてそれらの差を認知できるように十分に２つのフレームを区別できなければならない。もしそうでなければ、プロセスを再び試みる。その他の場合には、ブロック１２０に示すように、システムは、識別したフォーカスポイントのフォーカスポイントデータを保存する。

図８を参照すると、ソフトウェア１２２は、ポインタ位置コマンドの速度及び方向の較正を可能にする。ブロック１２３において、ソフトウェア１０６によって決定されたフォーカスポイントデータをロードする。ブロック１２４において示すようにストリーミングビデオを受信し、ブロック１２６に示すようにフレームを取り込む。ブロック１２８に示すようにフォーカスポイントをユーザの指として識別し、移動プロンプトを提供する（ブロック１３０）。そのプロンプトは、ユーザが望ましい動作として使用したいと思っているものを実施するようにユーザに要求するスクリーン上のメッセージブロックであってよい。ブロック１３２において新しい（次の）フレームを取り込み、ブロック１３４に示すように、ブロック１２６において取り込んだフレームと比較する。

フォーカスポイントの動きを識別し（ブロック１３６）、ブロック１３８に示すように、動きの方向及び速度を計算する。ｘ、ｙ、ｚ方向の相関因子を、スクリーンポインタの動きの対応する速度及び方向を計算するために使用する（ブロック１４０）。そして、ブロック１４２に示すように、スクリーンポインタを動かす。そして、ブロック１４４に示すように、ユーザは、例えば、プロンプトスクリーンによって与えられる入力を通じて、ユーザの指の所定の動作に対してポインタの移動量を調整できる。さらに、ユーザは、特定のポインタ位置コマンドとして受信しうる代わりの入力を提供できる。そして、菱形１４６においてユーザが完了したかどうかを示すようにユーザを促す。もしそうでなければ、上述したように、流れのサイクル及び新しいコマンドを学習できる。それ以外の場合には、流れを終了し、情報をセーブする（ブロック１４８）。

使用できるカメラの数は、外部影響量による変動をかなり受けやすい。より多くのカメラが、より良い３次元イメージングをもたらす。これにより３次元における動作を入力コマンド信号として認識できる。さらに、余分なカメラをエラー除去に使用できる。

本発明をコンピュータ上に取り付けられた個別のカメラに関して説明してきたが、それらのカメラをコンピュータシステム自身の筐体内に統合化できる。さらに、本発明を可視スペクトルの光を感知するカメラに関連して説明してきたが、赤外線検出カメラも同様に使用できる。

入力情報を制御するためにストリーミングビデオを使うことによって、（エラーあるいは故障しやすいかもしれない）電気機械的な接続をいくつかの実施態様において除去できる。さらに、例えば、タッチパッド型ポインティングデバイスと比較すると、いくつかの実施態様において、汚れや湿気による誤作動の可能性を除去できるため、入力の精度を改善できる。

他の入力デバイスも同じ方法により処理できる。例えば、電話を、電話の投影したイメージに置き換えうる。受話器を握り、走査センサシステムによって認識される程度に持ち上げられると、コンピュータマイクロホンを作動できる。ダイアリングは、キーボードの投影イメージの動きに関連して上述した方法と同様の方法により処理できる。

投影イメージを、ユーザの手が通常の入力デバイス上にわたって置かれた状態でユーザが見る入力デバイスの一部に対応するように変更できる。この変更したイメージを、ユーザの手が投影イメージを受け取った表面上の位置にあるとして検出したときに生成できる。さらに、入力デバイスのイメージを、そのイメージを備えたユーザの相互作用に反映するため、それ自身に修正できる。例えば、指の動きがキーの凹部に一致すると、投影イメージを、仮想キーが動いたことを示唆するように変更できる。

本発明を限られた数の実施態様に関して記述してきたが、当業者であればそれらの多数の修正及び変更を理解されよう。本明細書の請求項は、本発明の真の精神と範囲を超えることなく、そのような全ての修正及び変更を含むことを意図している。

本発明による一実施態様の側面図である。 図１の実施態様の正面図である。 図１に示されたデバイスによって投影できるイメージの平面図である。 図１に示されたデバイスを実現するための本発明による一実施態様のブロック図である。 本発明による一実施態様における図１に示されたデバイスの特徴を実現できるデバイスを形成するプロセスの流れ図である。 図１に示された実施態様のソフトウェアの実施に関する流れ図である。 本発明による一実施態様における較正ソフトウェアに関する流れ図である。 本発明による一実施態様における較正ソフトウェアに関する流れ図である。

Claims (20)

1. 表面上にイメージを投影するステップと、
   該投影されたイメージに対するユーザの動作を検出するステップと
   を含んでなる電子デバイスへのデータ入力方法。
2. 前記投影されたイメージに関連する前記ユーザのデジタルビデオイメージを取り込み、前記電子デバイスに前記イメージの表現を入力するステップを更に含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
3. パターン認識ソフトウェアを使用して前記デジタルビデオイメージを分析するステップを更に含んでいる請求項２に記載の電子デバイスへのデータ入力方法。
4. 前記デジタルビデオイメージにおいて描写された対象物の移動方向を決定するステップを更に含んでいる請求項３に記載の電子デバイスへのデータ入力方法。
5. 前記イメージを投影するステップは、表面上にマウスのイメージを投影し、該マウスのイメージに対するユーザの動作を検出するステップを含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
6. 前記イメージを投影するステップは、キーボードのイメージを投影して、該キーボードのイメージに対するユーザの動作を検出するステップを含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
7. 前記イメージを投影するステップは、入力デバイスへイメージを投影するステップを含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
8. 表面上にイメージを投影する手段と、
   該イメージに関連するユーザの動作を検出する手段と
   を含んでいるコンピュータに実行させる命令を記憶するための記憶媒体を含む製品。
9. パターン認識ソフトウェアを使用して、デジタルビデオストリームをコンピュータに分析させるための命令を更に含んでいる請求項８に記載の製品。
10. 前記デジタルビデオストリームに描写された対象物の移動方向をコンピュータに決定させるための命令を更に含んでいる請求項９に記載の製品。
11. 表面上にマウスのイメージを投影させ、該マウスのイメージに関連するユーザの動作をコンピュータに検出させるための命令を含んでいる請求項８に記載の製品。
12. キーボードのイメージを投影させ、該キーボードのイメージに関連するユーザの動作をコンピュータに検出させるための命令を含んでいる請求項８に記載の製品。
13. 入力デバイスのイメージをコンピュータに投影させるための命令を含んでいる請求項８に記載の製品。
14. プロセッサと、
    該プロセッサに結合したセンサと、
    該プロセッサに結合したプロジェクタと、
    該プロセッサに付随するメモリと
    を含んでなり、該メモリは、コンピュータプログラムを記憶しており、該コンピュータプログラムは、該プロセッサに、
    前記プロジェクタを使用して入力デバイスのイメージを投影させ、
    前記センサを使用して前記入力デバイスのイメージに関連するユーザの動作を検出させるシステム。
15. 複数のデジタルビデオカメラを含んでいる請求項１４に記載のシステム。
16. 前記プログラムは、ユーザの動作に応答してポインタの位置を制御する請求項１４に記載のシステム。
17. 前記システムがコンピュータシステムである請求項１４に記載のシステム。
18. 前記メモリはパターン認識ソフトウェアを含んでいる請求項１４に記載のシステム。
19. 前記プロジェクタが、ポインティングデバイスのイメージを投影する請求項１４に記載のシステム。
20. 前記プロジェクタが、キーボードのイメージを投影する請求項１４に記載のシステム。

Images