JP2002526867A - データ入力方法 - Google Patents

データ入力方法

Info

Publication number
JP2002526867A
JP2002526867A JP2000575075A JP2000575075A JP2002526867A JP 2002526867 A JP2002526867 A JP 2002526867A JP 2000575075 A JP2000575075 A JP 2000575075A JP 2000575075 A JP2000575075 A JP 2000575075A JP 2002526867 A JP2002526867 A JP 2002526867A
Authority
JP
Japan
Prior art keywords
image
user
computer
projecting
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000575075A
Other languages
English (en)
Inventor
ダントン，ランディ
チャールズワース，トーマス
リチャードソン，ジョン
シルヴェスター，キーラン
シモダ，マリオン
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/187,903 external-priority patent/US6690357B1/en
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2002526867A publication Critical patent/JP2002526867A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Measuring Fluid Pressure (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

(57)【要約】 電子デバイス１０は、入力デバイス３４ａのイメージと、そのイメージとのユーザの相互作用を検出する走査センサ１４、１６、２２とを使用して入力を受信する。例えば、マウス３４６のイメージを投影し、そのイメージとのユーザの相互作用を、デジタルビデオカメラ１４、１６、２２を使用して走査できる。そして、例えば、ユーザの移動の方向と、範囲と、速度とを決定して、ポインタ位置コマンド信号を提供するために、これらのユーザ動作イメージを分析できる。同様に、仮想キーボードイメージ３４ｂに関連するユーザの動作を分析し、活性化した仮想キーに応答するためのキー作動信号へと変換できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般には、コンピュータシステムを含む電子デバイスのための入力
デバイス、特に、ビデオ制御入力を使用するようなデバイスに関する。
【０００２】
【従来の技術】
様々なポインティングデバイスが、コンピュータシステムにおいてディスプレ
イ上のポインタまたはカーソルの位置を制御するために使用されてきた。ポイン
タまたはカーソルは、ユーザインタフェース上の物理的な描写の形で与えられる
特定の選択肢を選択するためにスクリーンを縦横にわたって移動可能なイメージ
である。このように、ユーザは、ユーザインタフェースを介して提供される特定
のタスク及び作業にフォーカス（focus）を当てるようにビデオディスプレイを
使用して相互作用できる。
【０００３】
【発明が解決しようとする課題】
周知のポインティングデバイスは、マウスと、トラックボールと、ポインティ
ングスティックとを含む。これらすべてのデバイスは、一般に、故障しやすい電
気機械的なインタフェースを含む。インタフェースが故障すると、ポインティン
グデバイスの動きをディスプレイのポインタ位置に間違って反映した不正確な信
号を結果としてもたらすことがある。
【０００４】 タッチパッド型ポインティングデバイスといった別のよく知られたポインティ
ングデバイスでは、ユーザが接触面に触れることができる。接触面上のユーザの
指の動作は、コンピュータディスプレイ上のポインタの対応する動きとして追跡
される。通常、タッチパッドは指の位置と動きを検出する容量センサ（capaciti
ve sensors）を有し、その動きを位置制御信号へと変換する。
【０００５】 タッチパッド型ポインティングデバイスは、上述したような不正確な信号をも
たらす汚れまたは湿気によって汚れやすい。さらに、タッチパッドデバイスは動
きの度合いが制限されるため、そのポインティングデバイスを介して利用可能な
制限された動きを使用してポインタの制御を学習するのは難しい。
【０００６】 多数のコンピュータシステムは、コンピュータにテキスト情報を入力するため
のキーボードを使用する。キーボードは、一般に、ケーブルによってコンピュー
タに接続される。ポインティングデバイスと同様に、キーボードは故障しやすい
電気機械的なインタフェースを含む。これらの故障によって、特定のキーが特定
の入力を有効にできなくなる。いずれにせよ、キーボードに与えられる入力は、
ディスプレイスクリーン上に現れるテキストに誤って反映されうる。
【０００７】 従って、より故障しにくい方法によってユーザが情報を入力できる改良された
入力デバイスの必要性がある。
【０００８】 コンピュータシステムを含む多数の電子デバイスは、キーボードのような比較
的に大きい入力デバイスを含む。例えば、ラップトップあるいはノートブック型
コンピュータのような多くの携帯型コンピュータにおいては、ディスプレイは本
質的に全筐体のある部分であり、キーボードはその他の部分であるような折り畳
み式筐体が使用される。このように、キーボードはデバイスの全体的な大きさの
かなりの部分を占める。同様に一部のパーソナル・ディジタルアシスタント（pe
rsonal digital assistants：以下、「ＰＤＡ」と呼ぶ。）あるいは手のひらサイ
ズのコンピュータ（palm-sized computer）では、キーボードあるいはキーパッ
ド型入力デバイスがデバイスの全体的な大きさのかなりの部分を占める。
【０００９】 常により小さい計算デバイスの需要がある。ラップトップあるいはノートブッ
ク型コンピュータのような携帯型コンピュータは次第に大きさが減少しつつある
。同様に手のひらサイズあるいはＰＤＡタイプのコンピュータシステムの関心が
増大しつつある。
【００１０】 このように、コンピュータシステムを含む電子デバイスの大きさを減少するた
めの新たな方法に対する継続的な需要がある。
【００１１】
【課題を解決するための手段】
電子デバイスにデータを入力するための本発明による方法は、表面上にイメー
ジを投影することを含む。ユーザの移動をその投影されたイメージに関連して検
出する。
【００１２】
【発明の実施の形態】
図１に示すように、コンピュータシステム１０として実現できる電子デバイス
は、ディスプレイ１８を含む筐体１２を含みうる。従来のコンピュータシステム
と異なり、システム１０はキーボードまたはポインティングデバイスを備えてい
なくてよい。走査センサ１４と１６を、筐体１２の正面の領域の走査を可能にす
るように延びたアーム２６及び３０上に提供できる。走査センサ１４と１６は、
例えば、アーム２６及び３０に含まれるケーブルを経由して筐体１２に導かれる
ストリーミングビデオを生成するデジタルカメラであってもよい。図２に示すよ
うに、追加の走査センサ２２をディスプレイ１８下の筐体１２の前面上に提供で
きる。
【００１３】 筐体１２上にはプロジェクタ２０も配置され、このプロジェクタは、筐体１２
の正面に位置するデスクトップのように、イメージを表面上へと投影する。プロ
ジェクタ２０は、例えば、液晶ディスプレイ（liquid crystal display：以下、
「ＬＣＤ」と呼ぶ。）プロジェクタ、レーザプロジェクタあるいはテキサス・イン
スツルメンツ社（Texas Instruments, Inc.）のデジタル光処理（digital light
processing：以下、「ＤＬＰ」と呼ぶ。）光エンジンといった光エンジンプロジ
ェクタでよい。イメージが投影される領域は、走査センサ１４、１６、２２によ
って走査される同じ領域でよい。それぞれのスキャナを、より良い３次元的イメ
ージングのために他のスキャナのそれぞれに対して横断的になるように配置でき
る。筐体１２を、スタンド２４によってある角度だけ傾いた状態に支持する。
【００１４】 本発明による一実施態様において、図３に示すような仮想のキーボード３４ａ
及びマウス３４ｂといった１以上の入力デバイスを、筐体１２の正面の表面上へ
と投影できる。しかしながら、本発明は、ここに例示された実施態様に限定され
ない。ユーザはあたかも実際のデバイスを使用しているかのようにそのイメージ
上に自分の手を置くと、走査センサは、ユーザの手の動作を捕捉し、この動作を
入力コマンド信号へと変換できる。例えば、マウスイメージ３４ｂをその上に投
影した表面上にわたるユーザの手の動作は、ディスプレイ１８上でポインタの位
置を移動させるためのポインタ位置信号に変換できる。同様に、キーボードイメ
ージ３４ａをその上に投影した表面上にわたるユーザの手のタイピング動作（ty
ping movements）によって、対応するテキスト入力を入力し、ディスプレイ１８
上に現れるようにできる。このように、電気機械的な入力デバイスを除去できる
。
【００１５】 代わりに、走査センサはユーザの手から反射した投影光を感知できる。走査セ
ンサは反射した光及び投影した光の組合せとユーザの手を検出できる。同じく、
投影したイメージはユーザの手の検出された動作に「追随する（follow）」よう
に動いてよい。
【００１６】 次に図４を参照すると、本発明による一実施態様を実現するためのコンピュー
タシステム３５の一例は、ホストバス３８に結合したプロセッサ３６を含みうる
。例示したコンピュータシステム３５は、インテル・コーポレーション（Intel
Corporation）から入手可能なＰｅｎｔｉｕｍＩＩプロセッサを備えた４４０Ｂ
Ｘチップセットを含む。ホストバス３８を、主記憶装置４２をつなぐホストブリ
ッジ（host bridge）４０に結合する。ホストブリッジ４０を、グラフィックデ
バイス５０に結合する加速グラフィックポート（accelerated graphic port：以
下、「ＡＧＰ」と呼ぶ）バス４８（米国カリフォルニア州サンタクララのインテル
社によって、１９９６年７月３１日に出版された加速グラフィックポートインタ
フェース仕様書第１０版参照のこと）にも結合する。グラフィックデバイス５０
は走査センサ１４、１６、２２からの入力を受信でき、グラフィックデバイス５
０に結合したディスプレイ１８上にその結果生じる入力を表示できる。グラフィ
ックデバイス５０は、ビデオ標準入力／出力システム（ＢＩＯＳ（basic input/
output system））５４及びグラフィックスローカルメモリ５６も備える。
【００１７】 ホストブリッジ４０を、周辺機器デバイスを受け入れるための複数のスロット
４６を含みうるバス４４にも結合する。バス４４をバス・バス間ブリッジ（bus-
to-bus bridge）５８にも結合し、ブリッジ５８を追加のバス７０に結合する。
バス７０は、追加的な周辺機器デバイスを受け入れるための複数のスロット７２
とシステムＢＩＯＳ７４とを含む。ブリッジ５８は複数のポート６０と６６にも
結合できる。ポート６０を、例えば、例示するように１以上のプログラム６４、
１０６、１２２を記憶しているハードディスクドライブ（ＨＤＤ）６２に結合で
きる。ポート６６をプロジェクタ２０に結合できる。
【００１８】 コンピュータシステムの一例を図４に示すが、当業者であれば、多数の他のシ
ステムが上記目的を達成するために利用できることは理解されよう。それ故にこ
こに示したシステムは単なる一例であることが理解されよう。
【００１９】 次に図５を参照すると、そこには上述した機能性を有するデバイスを実現する
ための本発明による方法の一実施態様を示している。最初に、ブロック７６に示
すように、システムはビデオ処理が可能である。例えば、コンピュータシステム
は、複数のストリーミングビデオ入力を処理するための能力を備えうる。このシ
ステムを、複数のデジタルカメラにも装備できる。プロジェクタは、ブロック７
８に示すように、入力デバイスのイメージを表面上に投影できる。例えば、ブロ
ック８０に示すように、ユーザの手に起因する動作のビデオ分析を提供する能力
も備えうる。一実施態様によれば、このビデオ分析はユーザの手の形とその対応
する動作を認識する従来のパターン認識ソフトウェアでよい。次に、ブロック８
２に示すように、投影したイメージに関連するユーザの動作をポインタ位置制御
信号に変換する能力も提供できる。最後に、ブロック８４に示すように、ユーザ
の動作をテキスト入力へと変換する能力を提供できる。さらに、キーをクリック
する音といった音響確認を、キーストロークを認識するときに生成できる。
【００２０】 次に図６を参照すると、本発明による一実施態様においてソフトウェア６４を
ハードディスクドライブ６２上に記憶できる。最初に、そのソフトウェアによっ
て１以上の入力デバイスのイメージを表面上へと投影する。例えば、ブロック８
６に示すように、キーボード及びマウスのイメージを投影できる。その後、スト
リーミングビデオを受信でき（ブロック８７）、ブロック８８に示すように特定
のビデオフレームを選択できる。そのフレームを、例えば、選択技術を使用して
ランダムあるいは一定間隔に選択できる。
【００２１】 さらに、場面変化検出器（scene change detector）が、場面に重大な変化が
存在するときを決定するように使用できる。重大な場面変化が生じると、一つの
フレームを次なる分析のために取り込みうる。場面変化検出器は当該分野におい
て周知であり、１以上のカメラのイメージングアレイを形成するピクセルによっ
て決定する強度信号のパターンを分析できる。例えば、種々なピクセルセンサが
出力信号を提供できる。もし出力信号がある強さのレベルよりも上にあればそれ
は白と考えられ、もしあるレベルよりも下にあればそれは黒と考えられる。白対
黒の出力信号の数における重大な変化を、ストリーミングビデオからあるフレー
ムの選択を開始する場面変化として認識できる。
【００２２】 本発明はこの分析に対して単一フレームを使用するものとして説明されてきた
が、継続的分析は、連続するフレームを継続的あるいは連続的に分析することに
よって実行できる。オーバーサンプリング（oversampling）を、動作を検出する
ことを保証するために使用できる。
【００２３】 図６に示す実施態様において、ブロック８８に示すようにフレームを選択する
と、ブロック９２に示すように従来のパターン認識ソフトウェアが、特定のイメ
ージパターンをデジタルビデオデータストリームによって表現しているかどうか
決定するために利用できる。このソフトウェアは、仮想キーボード上のユーザの
指の位置あるいは仮想マウスの最上部のユーザの手の位置といった特定の事前に
プログラムされたイメージを認識する。このソフトウェアは、そのイメージと以
前に記録した描写とを比較することによって認識し、あるいは、そのソフトウェ
アは、学習ソフトウェアを使用してコンピュータの所有者またはユーザの協力に
よって、特定のイメージを学習するように訓練できる。
【００２４】 菱形９４において、ソフトウェアは、選択したフレームが特定の入力コマンド
に対応する所定のパターンにマッチするパターンを含んでいるかどうか決定する
ためにチェックする。もしそうでなければ（含んでいなければ）、手順の流れは
別のフレームを選ぶために戻る。
【００２５】 もしパターンの一致を検出すると、ブロック９６に示すように、最初と次のフ
レームを比較する。次に、その比較が位置の変化を示すかどうかを決定するため
にチェックする（菱形９８）。もし変化を示していれば、イメージの動きの速度
及び方向を決定する（ブロック１００）。その動きの速度及び／または方向を、
対応するコマンド入力を提供するために使用できる。例えば、マウスイメージと
関連するユーザの手の動作に関連して、動作の方向及び速度をディスプレイ１８
上の対応するポインタの動きに反映できる。例えば、ある一つの相関因子（corr
elation factor）を、「オンスクリーン（on screen）」ポインタの３次元的位
置を計算するために使用できる（ブロック１０２）。ユーザ入力は、ユーザの手
の動作の方向または速度に応じてディスプレイ１８上にポインタを動かす（ブロ
ック１０４）ためのグラフィックデバイス５０への信号によって表現できる。流
れのサイクルは、比較を始めるための新しいフレームを再度選択する（ブロック
８８）ように引き返す。
【００２６】 これに対して、識別可能な対象物をユーザに付随することにより、その対象物
を容易に認識できる。例えば、容易に検出できる明瞭に色付けされたリングを使
用してもよい。リングの動きはポインタ位置コマンドとして検出できる。
【００２７】 図７は、システムがポインタ位置コマンドに対するフォーカスポイントを較正
可能にするためのソフトウェア１０６を示している。ソフトウェア１０６を、望
ましい入力を認識するようにシステムをプログラムするための較正期間の間に使
用できる。図７を参照すると、ブロック１０８に示すように、最初にストリーミ
ングビデオを受信する。ブロック１１０に示すように、そのストリーミングビデ
オのフレームを取り込む。
【００２８】 次に、ブロック１１２に示すように、システムは、指定した方向への移動を手
助けできる。例えば、オンスクリーン・ディスプレイは、ユーザが学習過程を経
るように指導できる。例えば、オンスクリーン・ディスプレイは、最初にユーザ
に左のカーソル位置コマンドを示すよう指図できる。そして、シーケンスはカー
ソルコマンド方向のそれぞれについて反復する。システムはどんなカーソルコマ
ンドをプログラムしているかをいったん知ると、ブロック１１４に示すように、
それはビデオの新しいフレームを取り込みうる。新しいフレーム及び以前のフレ
ームを比較し、所定のカーソルコマンドになる差分を決定する（ブロック１１６
）。菱形１１８におけるチェックは、フォーカスポイントを識別していたかどう
かを決定する。換言すれば、システムは、その後特定のポインタ位置コマンドと
してそれらの差を認知できるように十分に２つのフレームを区別できなければな
らない。もしそうでなければ、プロセスを再び試みる。その他の場合には、ブロ
ック１２０に示すように、システムは、識別したフォーカスポイントのフォーカ
スポイントデータを保存する。
【００２９】 図８を参照すると、ソフトウェア１２２は、ポインタ位置コマンドの速度及び
方向の較正を可能にする。ブロック１２３において、ソフトウェア１０６によっ
て決定されたフォーカスポイントデータをロードする。ブロック１２４において
示すようにストリーミングビデオを受信し、ブロック１２６に示すようにフレー
ムを取り込む。ブロック１２８に示すようにフォーカスポイントをユーザの指と
して識別し、移動プロンプトを提供する（ブロック１３０）。そのプロンプトは
、ユーザが望ましい動作として使用したいと思っているものを実施するようにユ
ーザに要求するスクリーン上のメッセージブロックであってよい。ブロック１３
２において新しい（次の）フレームを取り込み、ブロック１３４に示すように、
ブロック１２６において取り込んだフレームと比較する。
【００３０】 フォーカスポイントの動きを識別し（ブロック１３６）、ブロック１３８に示
すように、動きの方向及び速度を計算する。ｘ、ｙ、ｚ方向の相関因子を、スク
リーンポインタの動きの対応する速度及び方向を計算するために使用する（ブロ
ック１４０）。そして、ブロック１４２に示すように、スクリーンポインタを動
かす。そして、ブロック１４４に示すように、ユーザは、例えば、プロンプトス
クリーンによって与えられる入力を通じて、ユーザの指の所定の動作に対してポ
インタの移動量を調整できる。さらに、ユーザは、特定のポインタ位置コマンド
として受信しうる代わりの入力を提供できる。そして、菱形１４６においてユー
ザが完了したかどうかを示すようにユーザを促す。もしそうでなければ、上述し
たように、流れのサイクル及び新しいコマンドを学習できる。それ以外の場合に
は、流れを終了し、情報をセーブする（ブロック１４８）。
【００３１】 使用できるカメラの数は、外部影響量による変動をかなり受けやすい。より多
くのカメラが、より良い３次元イメージングをもたらす。これにより３次元にお
ける動作を入力コマンド信号として認識できる。さらに、余分なカメラをエラー
除去に使用できる。
【００３２】 本発明をコンピュータ上に取り付けられた個別のカメラに関して説明してきた
が、それらのカメラをコンピュータシステム自身の筐体内に統合化できる。さら
に、本発明を可視スペクトルの光を感知するカメラに関連して説明してきたが、
赤外線検出カメラも同様に使用できる。
【００３３】 入力情報を制御するためにストリーミングビデオを使うことによって、（エラ
ーあるいは故障しやすいかもしれない）電気機械的な接続をいくつかの実施態様
において除去できる。さらに、例えば、タッチパッド型ポインティングデバイス
と比較すると、いくつかの実施態様において、汚れや湿気による誤作動の可能性
を除去できるため、入力の精度を改善できる。
【００３４】 他の入力デバイスも同じ方法により処理できる。例えば、電話を、電話の投影
したイメージに置き換えうる。受話器を握り、走査センサシステムによって認識
される程度に持ち上げられると、コンピュータマイクロホンを作動できる。ダイ
アリングは、キーボードの投影イメージの動きに関連して上述した方法と同様の
方法により処理できる。
【００３５】 投影イメージを、ユーザの手が通常の入力デバイス上にわたって置かれた状態
でユーザが見る入力デバイスの一部に対応するように変更できる。この変更した
イメージを、ユーザの手が投影イメージを受け取った表面上の位置にあるとして
検出したときに生成できる。さらに、入力デバイスのイメージを、そのイメージ
を備えたユーザの相互作用に反映するため、それ自身に修正できる。例えば、指
の動きがキーの凹部に一致すると、投影イメージを、仮想キーが動いたことを示
唆するように変更できる。
【００３６】 本発明を限られた数の実施態様に関して記述してきたが、当業者であればそれ
らの多数の修正及び変更を理解されよう。本明細書の請求項は、本発明の真の精
神と範囲を超えることなく、そのような全ての修正及び変更を含むことを意図し
ている。
【図面の簡単な説明】
【図１】 本発明による一実施態様の側面図である。
【図２】 図１の実施態様の正面図である。
【図３】 図１に示されたデバイスによって投影できるイメージの平面図である。
【図４】 図１に示されたデバイスを実現するための本発明による一実施態様のブロック
図である。
【図５】 本発明による一実施態様における図１に示されたデバイスの特徴を実現できる
デバイスを形成するプロセスの流れ図である。
【図６】 図１に示された実施態様のソフトウェアの実施に関する流れ図である。
【図７】 本発明による一実施態様における較正ソフトウェアに関する流れ図である。
【図８】 本発明による一実施態様における較正ソフトウェアに関する流れ図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，Ｚ Ｗ (72)発明者 リチャードソン，ジョン アメリカ合衆国オレゴン州97212，ポート ランド，ノース・イースト・ナインティー ンス・アヴェニュー 2748 (72)発明者 シルヴェスター，キーラン アメリカ合衆国オレゴン州97229，ポート ランド，ノース・ウェスト・メトリウス・ ドライヴ 19840 (72)発明者 シモダ，マリオン アメリカ合衆国オレゴン州97007，アロハ， サウス・ウェスト・ナンシー・レイン 20045 Ｆターム(参考） 5B020 CC11 CC12 DD30 FF17 FF51 GG13 5B087 CC09 CC26 CC33 DD03

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 表面上にイメージを投影するステップと、 該投影されたイメージに対するユーザの動作を検出するステップと を含んでなる電子デバイスへのデータ入力方法。
  2. 【請求項２】 前記投影されたイメージに関連する前記ユーザのデジタルビ
    デオイメージを取り込み、前記電子デバイスに前記イメージの表現を入力するス
    テップを更に含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
  3. 【請求項３】 パターン認識ソフトウェアを使用して前記デジタルビデオイ
    メージを分析するステップを更に含んでいる請求項２に記載の電子デバイスへの
    データ入力方法。
  4. 【請求項４】 前記デジタルビデオイメージにおいて描写された対象物の移
    動方向を決定するステップを更に含んでいる請求項３に記載の電子デバイスへの
    データ入力方法。
  5. 【請求項５】 前記イメージを投影するステップは、表面上にマウスのイメ
    ージを投影し、該マウスのイメージに対するユーザの動作を検出するステップを
    含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
  6. 【請求項６】 前記イメージを投影するステップは、キーボードのイメージ
    を投影して、該キーボードのイメージに対するユーザの動作を検出するステップ
    を含んでいる請求項１に記載の電子デバイスへのデータ入力方法。
  7. 【請求項７】 前記イメージを投影するステップは、入力デバイスへイメー
    ジを投影するステップを含んでいる請求項１に記載の電子デバイスへのデータ入
    力方法。
  8. 【請求項８】 表面上にイメージを投影する手段と、 該イメージに関連するユーザの動作を検出する手段と を含んでいるコンピュータに実行させる命令を記憶するための記憶媒体を含む製
    品。
  9. 【請求項９】 パターン認識ソフトウェアを使用して、デジタルビデオスト
    リームをコンピュータに分析させるための命令を更に含んでいる請求項８に記載
    の製品。
  10. 【請求項１０】 前記デジタルビデオストリームに描写された対象物の移動
    方向をコンピュータに決定させるための命令を更に含んでいる請求項９に記載の
    製品。
  11. 【請求項１１】 表面上にマウスのイメージを投影させ、該マウスのイメー
    ジに関連するユーザの動作をコンピュータに検出させるための命令を含んでいる
    請求項８に記載の製品。
  12. 【請求項１２】 キーボードのイメージを投影させ、該キーボードのイメー
    ジに関連するユーザの動作をコンピュータに検出させるための命令を含んでいる
    請求項８に記載の製品。
  13. 【請求項１３】 入力デバイスのイメージをコンピュータに投影させるため
    の命令を含んでいる請求項８に記載の製品。
  14. 【請求項１４】 プロセッサと、 該プロセッサに結合したセンサと、 該プロセッサに結合したプロジェクタと、 該プロセッサに付随するメモリと を含んでなり、該メモリは、コンピュータプログラムを記憶しており、該コンピ
    ュータプログラムは、該プロセッサに、 前記プロジェクタを使用して入力デバイスのイメージを投影させ、 前記センサを使用して前記入力デバイスのイメージに関連するユーザの動作を
    検出させるシステム。
  15. 【請求項１５】 複数のデジタルビデオカメラを含んでいる請求項１４に記
    載のシステム。
  16. 【請求項１６】 前記プログラムは、ユーザの動作に応答してポインタの位
    置を制御する請求項１４に記載のシステム。
  17. 【請求項１７】 前記システムがコンピュータシステムである請求項１４に
    記載のシステム。
  18. 【請求項１８】 前記メモリはパターン認識ソフトウェアを含んでいる請求
    項１４に記載のシステム。
  19. 【請求項１９】 前記プロジェクタが、ポインティングデバイスのイメージ
    を投影する請求項１４に記載のシステム。
  20. 【請求項２０】 前記プロジェクタが、キーボードのイメージを投影する請
    求項１４に記載のシステム。
JP2000575075A 1998-10-07 1999-08-26 データ入力方法 Withdrawn JP2002526867A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16781498A 1998-10-07 1998-10-07
US09/167,814 1998-10-07
US09/187,903 1998-11-06
US09/187,903 US6690357B1 (en) 1998-10-07 1998-11-06 Input device using scanning sensors
PCT/US1999/019598 WO2000021024A1 (en) 1998-10-07 1999-08-26 Input device using scanning sensors

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006198794A Division JP2006323866A (ja) 1998-10-07 2006-07-20 データ入力方法

Publications (1)

Publication Number Publication Date
JP2002526867A true JP2002526867A (ja) 2002-08-20

Family

ID=26863501

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000575075A Withdrawn JP2002526867A (ja) 1998-10-07 1999-08-26 データ入力方法
JP2006198794A Pending JP2006323866A (ja) 1998-10-07 2006-07-20 データ入力方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006198794A Pending JP2006323866A (ja) 1998-10-07 2006-07-20 データ入力方法

Country Status (9)

Country Link
EP (1) EP1127332B1 (ja)
JP (2) JP2002526867A (ja)
CN (1) CN1322329B (ja)
AT (1) ATE255745T1 (ja)
AU (1) AU6240499A (ja)
CA (1) CA2344352C (ja)
DE (1) DE69913371T2 (ja)
TW (1) TW464800B (ja)
WO (1) WO2000021024A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005095407A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2005095405A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田　麻言 投影装置
WO2015162722A1 (ja) * 2014-04-23 2015-10-29 日立マクセル株式会社 映像投写装置
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2361146A (en) * 2000-02-04 2001-10-10 Roke Manor Research User interface for a mobile telecommunications system
EP1316055A4 (en) * 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
IL136434A0 (en) * 2000-05-29 2001-06-14 Gal Moshe Ein Wireless cursor control
IL136432A0 (en) * 2000-05-29 2001-06-14 Vkb Ltd Data input device
US6650318B1 (en) 2000-10-13 2003-11-18 Vkb Inc. Data input device
USRE40368E1 (en) * 2000-05-29 2008-06-10 Vkb Inc. Data input device
FI112706B (fi) * 2000-06-28 2003-12-31 Nokia Corp Menetelmä ja järjestely tiedon syöttämiseksi elektroniseen laitteeseen ja elektroninen laite
JP2004513416A (ja) * 2000-09-07 2004-04-30 カネスタ　インコーポレイテッド ユーザオブジェクトと仮想転送装置との相互作用を検出しそして位置決めする擬似三次元方法及び装置
TR200002828A3 (tr) * 2000-09-29 2002-05-21 Cetin Yasemin Bilgisayarli Yapay Görmeye Dayali Kablosuz ve Antensiz Klavye Cihazi.
FI113094B (fi) 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
KR20030072591A (ko) 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
AU2002362085A1 (en) * 2001-12-07 2003-07-09 Canesta Inc. User interface for electronic devices
US6977643B2 (en) 2002-01-10 2005-12-20 International Business Machines Corporation System and method implementing non-physical pointers for computer devices
US7071924B2 (en) 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
CA2490292A1 (en) 2002-06-26 2004-01-08 Vkb Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US6654001B1 (en) 2002-09-05 2003-11-25 Kye Systems Corp. Hand-movement-sensing input device
CN100449440C (zh) * 2003-02-03 2009-01-07 西门子公司 综合信息的投影
GB0414578D0 (en) * 2004-06-30 2004-08-04 Ncr Int Inc Self-service terminal
CN100410857C (zh) * 2005-01-27 2008-08-13 时代光电科技股份有限公司 资料输入装置
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006090386A2 (en) 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
CN100367159C (zh) * 2005-04-04 2008-02-06 技嘉科技股份有限公司 虚拟键盘
US7616191B2 (en) * 2005-04-18 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Electronic device and method for simplifying text entry using a soft keyboard
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
JP5214223B2 (ja) * 2007-11-15 2013-06-19 船井電機株式会社 プロジェクタ
DE102007055204B4 (de) * 2007-11-19 2010-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
KR100907286B1 (ko) * 2007-11-26 2009-07-13 (주)디앤티 프로젝션 키보드를 이용한 마우스 포인터 제어 방법
DE102008001629A1 (de) * 2008-05-07 2009-11-12 Robert Bosch Gmbh Projektionsmittel umfassende Vorrichtung
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
CN101729652A (zh) * 2008-10-31 2010-06-09 深圳富泰宏精密工业有限公司 具有多媒体功能的便携式电子装置
GB2466023A (en) 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
JP5347673B2 (ja) * 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2545494A1 (en) * 2010-03-12 2013-01-16 Shafa Wala Position capture input apparatus, system, and method therefor
HK1147905A2 (en) * 2010-06-30 2011-08-19 Chi Ching Lee System and method for virtual touch sensing
CN102402277B (zh) * 2010-09-16 2014-11-05 联想(北京)有限公司 电子终端及信息输入处理方法
US8839134B2 (en) 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
WO2012119308A1 (en) * 2011-03-09 2012-09-13 Nokia Corporation An apparatus and method for remote user input
CN102546935A (zh) * 2011-12-20 2012-07-04 上海电机学院 利用光反射光感应的投影手机
JP5494853B2 (ja) * 2013-02-25 2014-05-21 船井電機株式会社 プロジェクタ
CN103391480B (zh) * 2013-07-15 2017-11-28 Tcl集团股份有限公司 一种向电视机输入字符的方法及系统
WO2015116157A2 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Display unit manager
TWI717199B (zh) * 2020-01-21 2021-01-21 台灣骨王生技股份有限公司 醫療手術用控制系統及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
DE571702T1 (de) * 1992-05-26 1994-04-28 Takenaka Corp Handzeige-Eingabegerät und Wandcomputereinheit.
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
DE19612949C1 (de) * 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
DE29802435U1 (de) * 1998-02-12 1998-05-07 Siemens Nixdorf Inf Syst Anordnung der Projektionsfläche einer virtuellen Eingabeeinheit

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005095407A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2005095405A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田　麻言 投影装置
WO2015162722A1 (ja) * 2014-04-23 2015-10-29 日立マクセル株式会社 映像投写装置
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position

Also Published As

Publication number Publication date
EP1127332B1 (en) 2003-12-03
WO2000021024A1 (en) 2000-04-13
ATE255745T1 (de) 2003-12-15
CA2344352C (en) 2005-05-03
CA2344352A1 (en) 2000-04-13
CN1322329B (zh) 2010-06-02
JP2006323866A (ja) 2006-11-30
EP1127332A1 (en) 2001-08-29
CN1322329A (zh) 2001-11-14
DE69913371T2 (de) 2004-05-27
DE69913371D1 (de) 2004-01-15
TW464800B (en) 2001-11-21
AU6240499A (en) 2000-04-26

Similar Documents

Publication Publication Date Title
JP2002526867A (ja) データ入力方法
US6690357B1 (en) Input device using scanning sensors
US11175726B2 (en) Gesture actions for interface elements
USRE43084E1 (en) Method and apparatus for inputting information including coordinate data
US20230384867A1 (en) Motion detecting system having multiple sensors
US20070018966A1 (en) Predicted object location
US5936615A (en) Image-based touchscreen
US8957864B2 (en) Coordinate input apparatus and method
US20150062004A1 (en) Method and System Enabling Natural User Interface Gestures with an Electronic System
US20110102570A1 (en) Vision based pointing device emulation
US20140270413A1 (en) Auxiliary device functionality augmented with fingerprint sensor
US20110154248A1 (en) Information processing apparatus and screen selection method
CN101869484A (zh) 具有触摸屏的医疗诊断装置及其操控方法
US8457924B2 (en) Control system and method using an ultrasonic area array
US20070257887A1 (en) Apparatus and method for cursor control
JPH1195895A (ja) 情報入力装置
JP3355708B2 (ja) コマンド処理装置
KR101418018B1 (ko) 터치펜 및 이를 이용한 터치 디스플레이 시스템
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
JPH1078844A (ja) カメラによる情報入力装置及びそのためのプログラムを記録した媒体
KR19990061763A (ko) 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치
JP2020173521A (ja) 情報処理装置、情報処理方法およびプログラム
JP2002259045A (ja) 手書きデータ入力装置及び方法並びに動きデータ入力装置及び方法並びに個人認証装置及び方法
TWM537676U (zh) 觸控裝置與其控制器
LEE et al. Image Manipulation Interface using Depth-based Hand Gesture

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060721

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20060823