JP2013539113A - 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置 - Google Patents

電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置 Download PDF

Info

Publication number
JP2013539113A
JP2013539113A JP2013525011A JP2013525011A JP2013539113A JP 2013539113 A JP2013539113 A JP 2013539113A JP 2013525011 A JP2013525011 A JP 2013525011A JP 2013525011 A JP2013525011 A JP 2013525011A JP 2013539113 A JP2013539113 A JP 2013539113A
Authority
JP
Japan
Prior art keywords
electronic device
coordinate
application
display
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013525011A
Other languages
English (en)
Other versions
JP5905007B2 (ja
Inventor
ババク・フォルタンプール
ブライアン・モメイヤー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2013539113A publication Critical patent/JP2013539113A/ja
Application granted granted Critical
Publication of JP5905007B2 publication Critical patent/JP5905007B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

第1の態様では、電子デバイスと相互作用する第1の方法が提供される。第1の方法は、(1)ディスプレイの頂面が実質的にxy平面と揃う電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するステップと、(2)x座標、y座標、およびz座標を含む割込みを発生させるステップと、(3)電子デバイスのアプリケーションによって、移動する物体の追跡されているz座標を使用するステップとを含む。他の多数の態様が実現される。

Description

本発明は、概して電子デバイスに関し、より詳細には、電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置に関する。
タッチスクリーンを有する従来の電子デバイスは、ユーザが2次元を使用してデータを入力するのを可能にする。しかし、そのような従来のデバイスとの相互作用は効率的ではない。たとえば、電子デバイスでは、1つの文字を入力するだけでも、ユーザがタッチスクリーン上の多数のキーを押すことが必要になることがある。したがって、電子デバイスと相互作用するための改良された方法および装置が望ましい。
従来技術の欠点を解消するために、本発明の1つまたは複数の態様では、電子デバイスと相互作用するための方法および装置が提供される。たとえば、第1の態様では、電子デバイスと相互作用するための第1の方法が提供される。第1の方法は、(1)ディスプレイの頂面が実質的にxy平面と揃う電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するステップと、(2)x座標、y座標、およびz座標を含む割込みを発生させるステップと、(3)電子デバイスのアプリケーションによって、移動する物体の追跡されているz座標を使用するステップとを含む。
第2の態様では、第1の電子デバイスが提供される。第1の電子デバイスは、(1)ディスプレイの頂面が実質的にxy平面と揃う電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するように構成された回路と、(2)回路に結合され、x座標、y座標、およびz座標を含む割込みを発生させるように構成されたコントローラと、(3)コントローラに結合され、移動する物体の追跡されているz座標をプロセッサ自体によって実行されるアプリケーションに使用するように構成されたプロセッサとを含む。他の多数の態様が、本発明のこれらの態様およびその他の態様によるシステムおよびコンピュータ可読媒体として実現される。
本発明の他の特徴および態様は、以下の詳細な説明、添付の特許請求の範囲、および添付の図面からより完全に明らかになろう。
一態様によって実現される電子デバイスと相互作用するための第1の例示的な装置のブロック図である。 一態様によって実現される電子デバイスと相互作用するための第2の例示的な装置のブロック図である。 一態様によって実現される電子デバイスと相互作用するための第3の例示的な装置のブロック図である。 一態様によって実現される電子デバイスと相互作用する方法のフローチャートである。 一態様によるデータ入力アプリケーションに使用される電子デバイスのディスプレイの側面図である。 一態様による認証アプリケーションに使用される電子デバイスのディスプレイを示す図である。 一態様による認証アプリケーションに使用される電子デバイスのディスプレイを示す図である。 一態様による認証アプリケーションに使用される電子デバイスのディスプレイを示す図である。
図1は、一態様によって実現される電子デバイスと相互作用するための第1の例示的な装置のブロック図である。第1の例示的な装置100は、セルラー電話、携帯情報端末(PDA)、ラップトップコンピュータ、ユーザデバイス、スマートフォン、現金自動預け払い機、などのような電子デバイス102であってもよい。電子デバイス102は、メモリ106に結合されたプロセッサ104を含んでもよい。プロセッサ104は、コード(たとえば、1つまたは複数のアプリケーション108)を記憶し実行するように構成されてもよい。メモリ106はプログラムコードおよびデータを記憶してもよい。さらに、電子デバイス102は、電子デバイス102のユーザにデータを提示するためのディスプレイ110を含んでもよい。ディスプレイは、LCDまたはユーザにデータを提示するために電子デバイスによって使用することのできる他の任意の同様のデバイスであってもよい。電子デバイス102は、電子デバイス102とのネットワーク接続を実現するように構成されたモデム112を含んでもよい。電子デバイス102は、加速度計114またはプロセッサ104に結合され動き(たとえば、電子デバイス102が振られること)を検出するように構成された同様のデバイスを含んでもよい。電子デバイス102は、電子デバイス102に結合された構成要素の電源として働く電池116を含んでもよい。電子デバイス102のディスプレイ110は、コントローラ120を介して複数の酸化インジウムスズ(ITO)層(たとえば、二重ITO層)118に結合され(たとえば、動作可能に結合され)、それによってタッチスクリーン122を形成してもよい。しかし、追加の材料または異なる材料を含む層を使用してもよい。タッチスクリーン122は、容量性タッチスクリーンであっても、抵抗性タッチスクリーンであってもよい。ただし、他の種類のタッチスクリーンを使用してもよい。複数のITO層118は、ディスプレイ110の上方のスタイラス、指などの物体(図1には示されていない。図5の506)の存在および/または位置(たとえば、x座標、y座標、およびz座標)を検出または算出するように構成されてもよい。たとえば、そのような物体506は、接近時に、容量性タッチスクリーンまたは抵抗性タッチスクリーン122用の誘電体(たとえば、地面)として働き得る。したがって、タッチスクリーン122は、ディスプレイ110の上方の空気上の(たとえば、ITO層をディスプレイに押し付けることによる)物体506の動き(たとえば、経時的なx座標、y座標、および/もしくはz座標)またはディスプレイ110の上方の空気中での物体506の動きを追跡してもよい。コントローラ120は、たとえば、複数のITO層118から物体の動きに関連するデータを受け取ってもよく、1つまたは複数の割込みを発生させてもよい。割込みは、物体506の1つまたは複数の位置に関連するx座標、y座標、および/またはｚ座標を含んでもよい。そのような割込みはプロセッサ104に供給されてもよく、プロセッサ104は、プロセッサ104自体によって実行される1つまたは複数のアプリケーション108のうちの適切なアプリケーションに割込みを報告してもよい。この割込みは、アプリケーション108に対するプログラミングイベントとして働いてもよい。このように、ディスプレイ110の上方の空気上および/または空気中での物体506の動きを使用して電子デバイス102(たとえば、電子デバイス102の1つまたは複数のアプリケーション108)と相互作用することができる。たとえば、ユーザは、物体506をホバリング技術を実現するスクリーン(たとえば、タッチスクリーン122)の上方でホバリングさせて、アプリケーション108用のユーザインターフェースの機能を選択してもよい。
図2は、電子デバイスと相互作用するための第2の例示的な装置のブロック図である。第2の例示的な装置200は、電子デバイス201を含み、第1の例示的な装置100に類似している。しかし、第2の例示的な装置200は、容量性タッチスクリーンまたは抵抗性タッチスクリーンのITO層118ではなく、タッチスクリーン210を形成するように符号化/復号(コーデック)論理208を介してディスプレイ206に結合されて1つまたは複数のトランスデューサ(たとえば、スピーカ)202および1つまたは複数のマイクロフォン204を含んでもよい。1つまたは複数のトランスデューサ202および1つまたは複数のマイクロフォン204は、ディスプレイ206の上方のスタイラス、指などの物体506の存在および/または位置(たとえば、x座標、y座標、およびz座標)を検出または算出するように構成されてもよい。たとえば、1つまたは複数のトランスデューサ202は、音波(たとえば、超音波)を放出してもよく、1つまたは複数のマイクロフォン204はそのような音波を検出してもよい。ディスプレイ206の上方に物体506が存在すると、ディスプレイ206の上方の音波または空気圧の経路が影響を受け、それによって、1つまたは複数のマイクロフォン204によって受け取られる音波が物体506の存在を示すことができる。したがって、タッチスクリーン210は、ディスプレイ206の上方の空気上の物体506の動き(たとえば、経時的なx座標、y座標、および/もしくはz座標)またはディスプレイ206の上方の空気中での物体506の動きを追跡してもよい。たとえば、コーデック論理208は、移動する物体506に関連するデータを受け取り、1つまたは複数の割込みを発生させてもよい。コーデック論理208は、受け取られたデータをデジタル信号に変換するアナログデジタル(A/D)変換器209を含んでもよい。そのような割込みは、プロセッサ212に供給されてもよく、上記に図1のプロセッサ104およびアプリケーション108に関して説明したのと同様にプロセッサ212によって記憶しならびに/または実行することのできる1つまたは複数のアプリケーション214によって使用されてもよい。さらに、第2の例示的な装置200は、プロセッサ212に結合されており、プログラムコードおよびデータを記憶することのできるメモリ216を含んでもよい。第2の例示的な装置200は、第2の例示的な装置200とのネットワーク接続を実現するように構成されたモデム218を含んでもよい。第2の例示的な装置200はまた、加速度計220またはプロセッサ212に結合され動き(たとえば、第2の例示的な装置200が振られること)を検出するように構成された同様のデバイスを含んでもよい。電子デバイス201は、上述の構成要素の電源として働く電池222を含んでもよい。
図3は、電子デバイスと相互作用するための第3の例示的な装置のブロック図である。第3の例示的な装置300は、電子デバイス301を含み、第1および第2の例示的な装置100、200に類似している。しかし、第3の例示的な装置300は、第1の例示的な装置100の容量性タッチスクリーンもしくは抵抗性タッチスクリーン122のITO層118および第2の例示的な装置200の1つまたは複数のトランスデューサ202および1つまたは複数のマイクロフォン204ではなく、タッチスクリーン310を形成するようにコントローラ308を介してディスプレイ306に結合された1つまたは複数の光源(たとえば、赤外光エミッタ)302および1つまたは複数の光センサ304を含む。1つまたは複数の光源302および1つまたは複数の光センサ304は、ディスプレイ306の上方のスタイラス、指などの物体506の存在および/または位置(たとえば、x座標、y座標、およびz座標)を検出または算出するように構成されてもよい。たとえば、1つまたは複数の光源302は光波を放出してもよく、1つまたは複数の光センサ304は光波を検出してもよい。ディスプレイ306の上方に物体506が存在すると、ディスプレイ306の上方の光波の経路が影響を受け、それによって、1つまたは複数の光センサ304によって受け取られる光波が物体506の存在を示すことができる。したがって、タッチスクリーン310は、ディスプレイ306の上方の空気上の物体506の動き(たとえば、経時的なx座標、y座標、および/もしくはz座標)またはディスプレイ306の上方の空気中での物体506の動きを追跡してもよい。たとえば、コントローラ308は、移動する物体506に関連するデータを受け取り、1つまたは複数の割込みを発生させてもよい。そのような割込みは、プロセッサ312に供給されてもよく、上記に図1および図2を参照して説明したのと同様にプロセッサ312によって記憶しならびに/または実行することのできる1つまたは複数のアプリケーション314によって使用されてもよい。さらに、第3の例示的な装置300は、プロセッサ312に結合されており、プログラムコードおよびデータを記憶することのできるメモリ316を含んでもよい。第3の例示的な装置300は、第3の例示的な装置300とのネットワーク接続を実現するように構成されたモデム318を含んでもよい。第3の例示的な装置300はまた、加速度計320またはプロセッサ312に結合され動き(たとえば、第3の例示的な装置300が振られること)を検出するように構成された同様のデバイスを含んでもよい。電子デバイス301は、上述の構成要素の電源として働く電池322を含んでもよい。
図4は、一態様によって実現される電子デバイスと相互作用する方法400のフローチャートである。図4を参照するとわかるように、ステップ402において、電子デバイスと相互作用する方法400が開始する。ステップ404において、電子デバイス102、201、301のディスプレイ110、206、306の上方を移動する物体のx座標、y座標、およびz座標を追跡する。ディスプレイ110、206、306の頂面(図5の508)を座標系のxy平面と実質的に揃えてもよい。ディスプレイ110、206、306は、コントローラ118に結合されたITO層118、コーデック論理208に結合された1つまたは複数のトランスデューサ202および1つまたは複数のマイクロフォン204、および/またはコントローラ308に結合された1つまたは複数の光源302および1つまたは複数の光センサ304のような、電子デバイス102、201、301のディスプレイ110、206、306(たとえば、ディスプレイ110、206、306の頂面508)から物体までの距離(たとえば、垂直距離)を追跡する任意のスクリーン技術を含むかまたはそのようなスクリーン技術に結合されてもよい。物体506は、スタイラス、指、またはたとえば、ユーザが電子デバイス102、201、301によって実行されるアプリケーション108、214、314のユーザインターフェースから機能を選択するのを可能にすることによって、電子デバイス102、201、301と相互作用するのを可能にする任意のものであってもよい。物体506は、ユーザが電子デバイス102、201、301と相互作用する間、ディスプレイ110、206、306の頂面508に接触しても接触しなくてもよい。たとえば、ディスプレイ110、206、306の上方を移動する物体506は、動きの一部の間ディスプレイ110、206、306の頂面508に接触し、動きの別の部分の間はディスプレイ110、206、306の上方の空気中を移動してもよい。
ステップ406において、物体506のx座標、y座標、およびz座標を含む割込みを発生させてもよい。たとえば、ユーザが電子デバイス102、201、301のデータ入力アプリケーションと相互作用している際、追跡されている物体506のz座標が、所定の値を有するかまたは値の所定の範囲内にあるときに割込みを発生させてもよい。このように、物体506がディスプレイ110、206、306の上方の空気上または空気中の第1の高さまで移動したときに第1の割込みを発生させてもよく、物体506がディスプレイ110、206、306の上方の空気上または空気中の第2の高さまで移動したときに第2の割込みを発生させてもよい。いくつかの実施形態では、電子デバイス102、201、301(たとえば、電子デバイス102、201、301の構成要素)は、追跡されている物体506の1つの座標(たとえば、z座標)が1秒のような所定の期間の間変化しないときに割込みを発生させてもよい。しかし、それよりも長いかまたは短い期間を使用してもよい。代替として、電子デバイス102、201、301(たとえば、電子デバイス102、201、301の構成要素)は、追跡されている物体506の1つの座標が所定の期間の間変化しないときに割込みを発生させてもよい。たとえば、そのような割込みを、物体506の動きが停止するときに発生させてもよい。いくつかの実施形態では、電子デバイス102、201、301は、ユーザがディスプレイ110、206、306の上方の空気上または空気中の所望の位置まで物体506を移動させた後に発生させられる固有の可聴音に応答して物体506のx座標、y座標、およびz座標を含む割込みを発生させてもよい。固有の可聴音は、指を鳴らす音、つま先を踏み鳴らす音、舌打ち音、発話などであってよい。いくつかの実施形態では、物体506のx座標、y座標、およびz座標を含む割込みは、ユーザが電子デバイス102、201、301上のボタンを押すか、物体506を用いた手振りをするか(たとえば、ディスプレイ110、206、306の上方の所望の位置で物体を振るかまたは小刻みに動かす)、あるいはユーザが電子デバイス102、201、301を振ることに応答して発生させられてもよい。割込みは、ユーザが電子デバイス102、201、301の別のアプリケーション(たとえば、認証アプリケーション)108、214、314と相互作用しているときに同様に発生させられてもよい。
いくつかの実施形態では、物体506のx座標、y座標、およびz座標に基づき発生させられかつ物体506のx座標、y座標、およびz座標を含む割込みだけでなく、固有の可聴音、ユーザがボタンを押すこと、物体を用いた手振り、および/またはユーザが電子デバイス102、201、301を振ることに応答して割込みが発生させられてもよい。そのような割込みは、1つまたは複数のアプリケーション108、214、314用のプログラム可能なイベントとして働いてもよい。たとえば、プログラム可能なイベントは、アプリケーション108、214、314に関連するユーザインターフェースの要素または機能の選択を含んでもよい。要素または機能は、物体506のx座標、y座標、およびz座標に対応する要素または機能であってもよい。固有の可聴音を発生させること、ボタンを押すこと、物体を用いた手振りをすること、および/または電子デバイス102、201、301を振ることは、物体506が移動を停止してから第1の期間内に行うことが必要になる場合がある。このように、本方法および装置のいくつかは、アプリケーション108、214、314に関連する、「選択」キーのようなユーザインターフェースの要素または機能を有効化するために電子デバイス102、201、301に結合された1つまたは複数のマイクロフォン204を活用してもよい。ユーザは、自分の指を所望のユーザインターフェース要素またはユーザインターフェース機能まで導き、ディスプレイに接触する代わりに、1秒の間指を「鳴らす音」のような可聴音を発生させてもよい。1つまたは複数のマイクロフォン204は、この音を取り込み、A/D変換器209などの論理を介してデジタル信号に変換する。電子デバイス102、201、301のデジタル信号プロセッサ(DSP)または処理ユニット上で実行されるアルゴリズムによって、信号を、指を鳴らす音かそうでないか解釈してもよい。ユーザが、xyz座標物体追跡(たとえば、ホバリングイネーブリング)技術を介して追跡されながら電子デバイススクリーンの一部を指し、次いで指を鳴らして(「ホバリングスナッピング」)キープレスを呼び出すパラダイムは、接触が利用可能でないときに非常に自然で効率的な入力方法である。物体506に対応するユーザインターフェースのカーソルをアイコンのような所望のユーザイ
ンターフェース要素または機能まで移動させたときから1秒以内にユーザが指を鳴らすことを要求することによって、部屋の中にいる他の人が指を鳴らしたのを誤検出することを抑制するかまたはなくすことができる。ユーザは、カーソルがアイコンの上方に位置する限りこの選択プロセスの間x軸、y軸、およびz軸の1つまたは複数に沿って物体506を移動させてもよい。
いくつかの実施形態では、固有の可聴音、ユーザがボタンを押すこと、物体を用いた手振りをすること、および/またはユーザが電子デバイス102、201、301を振ることに応答する割込みは、電子デバイス102、201、301のアプリケーション108、214、314によって使用できるかまたは使用される物体の動きの開始点または終了点を示すプログラム可能なイベントとして働いてもよい。たとえば、電子デバイス102、201、301(たとえば、電子デバイス102、201、301の構成要素)は、1秒のような第1の期間の間、電子デバイス102、201、301上のボタンを押すこと、第1の可聴音を発生させること、物体506を用いた手振りをすること、電子デバイス102、201、301を振ること、または物体506の動きを停止させることの少なくとも1つに応答して物体506のx座標、y座標、およびz座標を含む1つまたは複数の割込みを発生させてもよい。しかし、それよりも長いかまたは短い期間を使用してもよい。このように、タッチスクリーン116、210、310は、物体506がディスプレイ110、206、306の上方を移動するときに(たとえば、物体がディスプレイ110、206、306の上方を移動するときはいつでも)物体506を追跡することができるが、電子デバイス102、201、301は、ユーザが、第1の期間の間、電子デバイス102、201、301上のボタンを押すこと、第1の可聴音を発生させること、物体を用いた手振りをすること(たとえば、ディスプレイ110、206、306の上方の所望の位置で物体を振るかもしくは小刻みに動かすこと)、電子デバイス102、201、301を振ること、および/または物体506の動きを停止させることを行った後、追跡されている物体506のx座標、y座標、およびz座標を含む1つまたは複数の割込みの発生を開始してもよい。したがって、そのような動作は、物体506のその後の動きが電子デバイス102、201、301の1つまたは複数のアプリケーション108、214、314と相互作用することを意図し得ることを電子デバイス102、201、301に通知する働きをしてもよい。
同様に、たとえば、電子デバイス102、201、301は、ユーザが、物体が実質的に静止してから1秒のような第2の期間の間、電子デバイス102、201、301上のボタンを押すこと、第2の可聴音を発生させること、物体を用いた手振りをすること(たとえば、ディスプレイ110、206、306の上方の所望の位置で物体を振るかもしくは小刻みに動かすこと)、電子デバイス102、201、301を振ること、および/または物体506の動きを停止させることを行った後、追跡されている物体506のx座標、y座標、およびz座標を含む1つまたは複数の割込みの発生を停止してもよい。したがって、そのような動作は、物体506のその後の動きが電子デバイス102、201、301の1つまたは複数のアプリケーション108、214、314と相互作用することを意図し得ないことを電子デバイス102、201、301に通知する働きをしてもよい。いくつかの実施形態では、第2の可聴音は第1の可聴音と同じであってもよい。しかし、第2の可聴音は第1の可聴音と異なっていてもよい。さらに、いくつかの実施形態では、第2の期間は第1の期間と同じであってもよい。しかし、第2の期間は第1の期間と異なっていてもよい。物体506のその後の動きが電子デバイス102、201、301の1つまたは複数のアプリケーション108、214、314と相互作用することを意図し得ることを電子デバイス102、201、301に通知するために使用される手振りは、物体506のその後の動きが電子デバイス102、201、301の1つまたは複数のアプリケーション108、214、314と相互作用することを意図し得ないことを電子デバイス102、201、301に通知するために使用される手振りと同じであってもあるいは異なっていてもよい。
ステップ408において、移動する物体506の追跡されているz座標はアプリケーション108、214、314によって使用されてもよい。たとえば、移動する物体506の追跡されているz座標は、文字を挿入するか、またはデータ入力アプリケーションに入力されているかもしくは入力すべき文字のフォーマットを更新するためにデータ入力アプリケーションによって使用されてもよい。追跡されているz座標は割込みとして受け取られてもよい。一実施形態において、電子デバイス102、201、301上のアプリケーション108、214、314は、物体506の受け取られたx座標、y座標、およびz座標を特定の仮想キーボード上の特定の文字キーの選択に関連付けてもよい。たとえば、アプリケーション108、214、314は、物体506のx座標、y座標、およびz座標を仮想大文字キーボード上の「A」、仮想小文字キーボード上の「b」、仮想数値キーボード上の「1」、または仮想記号キーボード上の「&」の選択に関連付けてもよい。ディスプレイ110、206、306の上方の空気上または空気中の物体506の高さ(たとえば、z座標)は、選択を行う仮想キーボードを示してもよい。同様に、いくつかの実施形態では、電子デバイス102、201、301上のアプリケーション108、214、314は、物体506の受け取られたx座標、y座標、およびz座標を特定の仮想フォーマットキーボード上の特定のフォーマットキー(たとえば、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ、フォントカラー)の選択に関連付けてもよい。入力された文字または入力すべき文字は、フォーマットキー選択に基づいてフォーマットされてもよい。いくつかの実施形態において、物体506のz座標は、入力された文字または入力すべき文字のフォーマットを調節する。たとえば、ディスプレイ110、206、306の上方の様々な高さは、それぞれの異なるフォーマット(たとえば、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ)に対応してもよい。このようにして、ユーザは、ディスプレイ110、206、306の上方の第1の高さまで物体506を移動させることによって、入力された文字または入力すべき文字用に太字フォーマットを選択してもよい。追加または代替として、ユーザは、ディスプレイ110、206、306などの上方の第2の高さまで物体506を移動させることによって、入力された文字または入力すべき文字用にイタリック体フォーマットを選択してもよい。
いくつかの実施形態において、電子デバイス102、201、301上のアプリケーション108、214、314は、ディスプレイ110、206、306の上方の空気上および/または空気中の物体506を用いたユーザにより行われる手振りを文字に関連付けてもよい。上述のように、ディスプレイ110、206、306の上方の様々な高さは、それぞれの異なるフォーマットに対応してもよい。手振りが行われる前、手振りが行われた後、または手振りが行われている間、ディスプレイ110、206、306の上方の空気上または空気中の物体506の高さによって、文字のフォーマットを調節してもよい。このように、電子デバイスディスプレイ110、206、306の上方で物体をホバリングさせることを使用して、書かれた文字の1つまたは複数の属性を変更してもよい。
いくつかの実施形態において、ユーザは、電子デバイス102、201、301のディスプレイ110、206、306の上方で物体506を移動させて、電子デバイス102、201、301にアクセスする前にユーザの身元を検証してもよい。たとえば、ユーザは、ディスプレイ110、206、306の上方で物体506を移動させる(たとえば、物体506を用いた手振りをする)ことによって認証アプリケーションをプログラムしてもよい。認証アプリケーションは、そのような動きに関連付けられたx座標、y座標、およびz座標をパスコードとして保存してもよい。その後、ユーザが動きを繰り返し、たとえば、電子デバイス102、201、301がロックされると、電子デバイス102、201、301上の認証アプリケーションは、ディスプレイ110、206、306の上方の空気上および/または空気中での物体の動きに対応するx座標、y座標、およびz座標を受け取り、各座標を所定のパスコードと比較する。
ディスプレイ110、206、306から物体(たとえば、指)までの距離を使用すると、パスコードに新しい次元が追加される。すなわち、3次元における物体506の動きをパスコードの基準にすると、利用可能なパスコードの数が著しく増大する。したがって、そのように数の増えたパスコードから許容できるパスコードを要求すると、電子デバイス102、201、301のセキュリティが向上する。たとえば、従来のタッチスクリーン上で行われた手振り(たとえば、実行された署名)がベクトル<4,2: 3,2: 2,2: 2,3: 2,4: 2,5: 3,5: 3,4: 3,3>にマップされてもよい。これに対して、本方法および装置に従ってタッチスクリーンの上方の空気上および/または空気中で実行された署名は、たとえば、手振りが行われている間LCDの上方の3次元における指の位置を記録する<4,2,0: 3,2,0: 2,2,0: 2,3,3: 2,4,3: 2,5,2: 3,5,2: 3,4,1: 3,3,0>などのベクトルにマップされてもよい。ディスプレイ110、206、306の上方で物体506を移動させることによって許容されるパスコードが入力された後、ユーザは電子デバイス102、201、301の他の機能にアクセスしてもよい。
その後、電子デバイス102、201、301と相互作用する方法400が終了するステップ410を実行してもよい。このようにして、ユーザは、電子デバイス102、201、301のディスプレイ110、206、306の上方の空気上または空気中で物体506を移動させることによって電子デバイス102、201、301の1つまたは複数のアプリケーション108、214、314と相互作用してもよい。上記にデータ入力アプリケーションおよび/または認証アプリケーションを参照して各方法について説明したが、本方法および装置を使用して、たとえば写真アプリケーションまたはウェブブラウザであるがそれらに限らない他のアプリケーションとのインターフェースをとってもよい。そのようなアプリケーション108、214、314によって、物体506の動きに基づくx座標、y座標、およびz座標をプログラム可能なイベント(たとえば、ユーザインターフェース上のボタンまたはハイパーリンクの選択など)に関連付けてもよい。
このように、本方法および装置は、電子デバイス102、201、301と相互作用するために電子デバイスユーザが使用できる入力モードの数を増やすことができる。たとえば、本方法および装置は、物体506のz軸座標を使用することにより、ユーザが、電子デバイスディスプレイ110、206、306の上方で物体をホバリングさせることによって電子デバイス102、201、301と相互作用するのを可能にしてもよい。たとえば、ユーザは、電子デバイスディスプレイ110、206、306に触れる必要なしに電子デバイスディスプレイ110、206、306の上方で物体506をホバリングさせることを介して電子デバイスのアプリケーションユーザインターフェースを制御してもよい。そのような方法および装置は、手を消毒した医師、看護師、またはその他の医療関係者などのユーザが電子デバイス102、201、301と相互作用することが必要になることがある医療産業のような、手を消毒する必要のある産業界で重要になる場合もある。ユーザがスクリーンに触れる必要なしに電子デバイス102、201、301と相互作用するのを可能にすると、そのようなユーザが電子デバイス102、201、301と相互作用する間に指を汚すリスクを低減させならびに/またはなくすことができる。
図5は、一態様によるデータ入力アプリケーションに使用される電子デバイス504のxyz座標物体追跡ディスプレイ502の側面図500である。図5を参照する。ディスプレイ502の上方(たとえば、ディスプレイ502の頂面508)での物体506の高さは、文字の入力元になる仮想キーボードを決定する。たとえば、物体506を高さh0まで移動させた場合、ユーザによって物体506に関して選択されたx座標および/またはy座標に基づく文字キーの選択元になり得る仮想小文字キーボード510のような第1のキーボードを表示することができる。同様に、高さh1は、ユーザが物体506を所望のx座標および/またはy座標まで移動させることによって文字キーを選択することのできる仮想大文字キーボード512のような第2のキーボードに対応する高さであってもよい。図に示すように、物体506は高さh1に位置しており、したがって、仮想大文字キーボードが表示される。
高さh2は、別のキーボード(たとえば、仮想記号キーボード514)に対応する高さであってもよい。高さh3は、太字文字フォーマットに対応する高さであってもよい。したがって、ユーザは、ディスプレイ502の上方において座標x、座標y、および座標h1まで物体506を移動させることによって仮想大文字キーボード512から文字を選択してもよい。さらに、物体506をz座標h3を有するように移動させることによって、選択された大文字のフォーマット516が太字に更新される。高さh4は、物体506が高さh4に位置している間に物体506の少なくとも1つのx位置および/またはy位置に基づいて、ユーザが写真アプリケーションユーザインターフェースから項目を選択することのできる写真アプリケーション518に対応する高さであってもよい。
それぞれの仮想キーボードに対応する3つの高さ、文字フォーマットに対応する1つの高さ、およびアプリケーションに対応する1つの高さが示されているが、使用される高さマッピングの数はこれより多くてもあるいは少なくてもよい。たとえば、それぞれ文字イタリック体フォーマットおよび文字下線フォーマットに対応する2つの追加の高さを使用してもよい。追加または代替として、それぞれ追加の電子デバイスアプリケーション108、214、314に対応する追加の高さを使用してもよい。上記では特定の高さh0〜h4を参照したが、本方法および装置は、特定の高さに加えてまたは特定の高さの代わりに高さの範囲を使用してもよい。
現在のコンピュータシステムとは対照的に、ホバリング技術を実施する本方法および装置は、物体がタッチスクリーンの上方の空気中に位置するかまたはタッチスクリーンを押しているときに割込みを発生させてもよく、それによって、ウィンドウマネージャがそのイベントを適切なアプリケーションに報告する。トリガされたイベントは、アプリケーションに、使用できるように転送される距離パラメータを含んでもよい。
このように、本方法および装置は、たとえばスタイラスまたは自分の人差し指を使用して自分の電子デバイスタッチスクリーン116、210、310と相互作用する(たとえば、電子デバイスタッチスクリーン116、210、310に書き込む)ことが多い電子デバイスユーザが、最小限の労力で文字を入力し、かつ場合によってはディスプレイ110、206、306の上方でスタイラスまたは人差し指をホバリングさせることによって、最小限の労力で、特に大文字と小文字を切り替え、文字のフォントサイズを変更し、太字または下線を導入するのを可能にする。したがって、本方法および装置は、「ホバリングデータ入力」および/または「ホバリングデータフォーマッティング」を可能にする。本方法および装置は、書込み面の上方の距離を書込み中の文字の属性をプログラムする手段として使用してもよい。たとえば、ユーザは、自分の人差し指を使用して電話のディスプレイ上に文字を書き込み、指をわずかに持ち上げて大文字を書き込み、手振りを交えてさらに指を持ち上げて太字を作成してもよい。同じ手振りを使用して、手振りが行われたディスプレイ面の上方の高さに応じて、ある文字の大文字、小文字、または何らかの形式(たとえば、太字または下線)を作成してもよい。いくつかの実施形態において、本方法および装置は、電子デバイスユーザが、ホバリングデータ入力を使用して英数字パスコードを入力することによって電子デバイス102、201、301へのログインの前に自分の身元を検証するのを可能にする。
図6A〜図6Cは、一態様による認証アプリケーションに使用される電子デバイス602のディスプレイ600を示す図である。図6A〜図6Cを参照する。図6Aにおいて、ユーザは、z座標がh1になるように物体604を位置させることによって認証プロセスを開始する。図6Bにおいて、ユーザは、x方向、y方向、および/またはz方向において物体604を移動させることによって手振り606を実行する。図6Cに示すように、ユーザは、手振りを完了し、物体604の移動を停止させる。次に、z座標がh2になるように物体604を位置させる。認証アプリケーションは、追跡されている物体の動きのx座標、y座標、およびz座標を受け取り、そのような座標を所定のパスコードと比較する。認証アプリケーションは、比較に基づいて、ユーザが電子デバイス602にアクセスするのを可能にする。たとえば、手振り606が所定のパスコードに一致するかまたは実質的に類似している場合、認証アプリケーションは、ユーザが電子デバイス602にアクセスするのを可能にしてもよい。代替として、手振り606が所定のパスコードに一致しないかまたは実質的に類似していない場合、認証アプリケーションは、電子デバイス602へのユーザアクセスを拒否してもよい。
このように、本方法および装置は、電子デバイスユーザが、電子デバイスディスプレイ110、206、306の上方に図を描くことによって電子デバイス102、201、301へのログインの前にユーザの身元を検証するのを可能にする。したがって、本方法および装置は、「ホバリング署名」によるユーザの検証を可能にすることによってセキュリティのためにホバリング技術を実施してもよい。
情報および信号は、様々な異なる技術および技法のいずれかを使用して表され得ることが、当業者には理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。
さらに、本明細書の開示に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は理解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せで実装または実行することができる。汎用プロセッサはマイクロプロセッサであり得るが、代替として、汎用プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
本明細書の開示に関して説明する方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に存在し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はASIC中に存在し得る。ASICはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末中に個別構成要素として存在し得る。
1つまたは複数の例示的な設計では、説明した機能を、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装することができる。ソフトウェアで実装する場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶するか、あるいはコンピュータ可読媒体を介して送信することができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、汎用または専用コンピュータによってアクセスできる任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコード手段を搬送または記憶するために使用され得、汎用もしくは専用コンピュータまたは汎用もしくは専用プロセッサによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用する場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザで光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
上記の説明は、本発明の例示的な実施形態のみを開示している。本発明の上記に開示された実施形態の、本発明の範囲内の変形例は、当業者には容易に明らかになろう。たとえば、いくつかの実施形態では、電子デバイスディスプレイ110、206、306の上方の物体506、604の高さは、アプリケーション108、214、314のそれぞれのユーザインターフェースに対応する高さであってもよい。
したがって、本発明をその例示的な実施形態に関連して開示したが、他の実施形態も特許請求の範囲に定義される本発明の趣旨および範囲内の実施形態であることを理解されたい。
100 第1の例示的な装置
102 電子デバイス
104 プロセッサ
106 メモリ
108 アプリケーション
110 ディスプレイ
112 モデム
114 加速度計
116 電池
118 酸化インジウムスズ層
120 コントローラ
122 タッチスクリーン
200 第2の例示的な装置
201 電子デバイス
202 トランスデューサ
204 マイクロフォン
206 ディスプレイ
208 符号化/復号(コーデック)論理
209 A/D変換器
210 タッチスクリーン
212 プロセッサ
214 アプリケーション
216 メモリ
218 モデム
222 電池
300 第3の例示的な装置
301 電子デバイス
302 光源
304 光センサ
306 ディスプレイ
308 コントローラ
310 タッチスクリーン
314 アプリケーション
322 電池
502 ディスプレイ
504 電子デバイス
506 物体
508 頂面
512 仮想大文字キーボード
514 仮想記号キーボード
516 フォーマット
518 写真アプリケーション
600 ディスプレイ
602 電子デバイス
604 物体
606 手振り
h0、h1、h2、h3、h4 高さ

Claims (53)

  1. 電子デバイスと相互作用する方法であって、
    ディスプレイの頂面がxy平面と実質的に揃う前記電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するステップと、
    前記x座標、y座標、およびz座標を含む割込みを発生させるステップと、
    前記電子デバイスのアプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップとを含む方法。
  2. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記電子デバイスの前記アプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップは、前記追跡されているz座標に基づいて、文字を挿入するステップ、入力された文字のフォーマットを更新するステップ、または前記データ入力アプリケーションに入力すべき文字のフォーマットを更新するステップを含む、請求項1に記載の方法。
  3. 前記フォーマットは、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ、およびフォントカラーからなる群から選択される、請求項2に記載の方法。
  4. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップは、前記電子デバイスをロック解除する前に前記追跡されているz座標に基づいて前記電子デバイスのユーザの身元を検証するステップを含む、請求項1に記載の方法。
  5. 前記物体は指またはスタイラスである、請求項1に記載の方法。
  6. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、容量性タッチスクリーンまたは抵抗性タッチスクリーンを使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項1に記載の方法。
  7. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、少なくとも1つのトランスデューサおよび少なくとも1つの受信機を使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項1に記載の方法。
  8. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、少なくとも1つの光源および少なくとも1つの受光器を使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項1に記載の方法。
  9. 前記ディスプレイの上方を移動する前記物体は、前記ディスプレイに接触しない、請求項1に記載の方法。
  10. 前記電子デバイスの前記アプリケーションによって、可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するステップをさらに含む、請求項1に記載の方法。
  11. 前記電子デバイスの前記アプリケーションによって、前記可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するステップは、前記物体が第1の期間内に動きを停止したときに、前記電子デバイスの前記アプリケーションによって、前記可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることを前記プログラム可能なイベントとして使用するステップをさらに含む、請求項10に記載の方法。
  12. 前記ディスプレイの上方を移動する前記物体は、前記動きの一部の間前記ディスプレイに接触し、前記動きの別の部分の間前記ディスプレイの上方の空気中を移動する、請求項1に記載の方法。
  13. 前記x座標、y座標、およびz座標を含む割込みを発生させるステップは、前記電子デバイス上のボタンを押すこと、第1の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第1の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みを発生させるステップを含む、請求項1に記載の方法。
  14. 前記電子デバイス上のボタンを放すこと、第2の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第2の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む前記割込みの発生を停止させるステップをさらに含む、請求項13に記載の方法。
  15. 電子デバイスであって、
    ディスプレイの頂面がxy平面と実質的に揃う前記電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するように構成された回路と、
    前記回路に結合され、前記x座標、y座標、およびz座標を含む割込みを発生させるように構成されたコントローラと、
    前記コントローラに結合され、前記移動する物体の前記追跡されているz座標を前記プロセッサによって実行されるアプリケーションに使用するように構成されたプロセッサとを備える電子デバイス。
  16. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記プロセッサは、前記追跡されているz座標に基づいて、文字を挿入するか、入力された文字のフォーマットを更新するか、または前記アプリケーションに入力すべき文字のフォーマットを更新するようにさらに構成される、請求項15に記載の電子デバイス。
  17. 前記フォーマットは、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ、およびフォントカラーからなる群から選択される、請求項16に記載の電子デバイス。
  18. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記プロセッサは、前記電子デバイスをロック解除する前に前記追跡されているz座標に基づいて前記電子デバイスのユーザの身元を検証するようにさらに構成される、請求項15に記載の電子デバイス。
  19. 前記物体は指またはスタイラスである、請求項15に記載の電子デバイス。
  20. 前記回路は容量性タッチスクリーンまたは抵抗性タッチスクリーンを含む、請求項15に記載の電子デバイス。
  21. 前記回路は、少なくとも1つのトランスデューサと少なくとも1つの受信機とを含む、請求項15に記載の電子デバイス。
  22. 前記回路は、少なくとも1つの光源と少なくとも1つの受光器とを含む、請求項15に記載の電子デバイス。
  23. 前記ディスプレイの上方を移動する前記物体は、前記ディスプレイに接触しない、請求項15に記載の電子デバイス。
  24. 前記プロセッサは、可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることを前記アプリケーション用のプログラム可能なイベントとして使用するようにさらに構成される、請求項15に記載の電子デバイス。
  25. 前記プロセッサは、前記物体が、第1の期間内に動きを停止したときに、前記可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることを前記アプリケーション用の前記プログラム可能なイベントとして使用するようにさらに構成される、請求項24に記載の電子デバイス。
  26. 前記ディスプレイの上方を移動する前記物体は、前記動きの一部の間前記ディスプレイに接触し、前記動きの別の部分の間前記ディスプレイの上方の空気中を移動する、請求項15に記載の電子デバイス。
  27. 前記コントローラは、前記電子デバイス上のボタンを押すこと、第1の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第1の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みを発生させるようにさらに構成される、請求項15に記載の電子デバイス。
  28. 前記コントローラは、前記電子デバイス上のボタンを放すこと、第2の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第2の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みの発生を停止させるようにさらに構成される、請求項27に記載の電子デバイス。
  29. 電子デバイスであって、ディスプレイの頂面がxy平面と実質的に揃う前記電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するための手段と、
    前記x座標、y座標、およびz座標を含む割込みを発生させるための手段と、
    前記電子デバイスのアプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するための手段とを含む電子デバイス。
  30. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記追跡されているz座標に基づいて、文字を挿入するか、入力された文字のフォーマットを更新するか、または前記データ入力アプリケーションもしくは認証アプリケーションに入力すべき文字のフォーマットを更新するための手段をさらに備える、請求項29に記載の電子デバイス。
  31. 前記フォーマットは、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ、およびフォントカラーからなる群から選択される、請求項30に記載の電子デバイス。
  32. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記電子デバイスは、前記電子デバイスをロック解除する前に前記追跡されているz座標に基づいて前記電子デバイスのユーザの身元を検証するための手段をさらに備える、請求項29に記載の電子デバイス。
  33. 前記物体は指またはスタイラスである、請求項29に記載の電子デバイス。
  34. 前記ディスプレイの上方を移動する前記物体は、前記ディスプレイに接触しない、請求項29に記載の電子デバイス。
  35. 前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するための手段をさらに備える、請求項29に記載の電子デバイス。
  36. 前記物体が第1の期間内に動きを停止したときに、前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するための手段をさらに備える、請求項35に記載の電子デバイス。
  37. 前記ディスプレイの上方を移動する前記物体は、前記動きの一部の間前記ディスプレイに接触し、前記動きの別の部分の間前記ディスプレイの上方の空気中を移動する、請求項29に記載の電子デバイス。
  38. 前記電子デバイス上のボタンを押すこと、前記物体を用いた手振りをすること、第1の可聴音を生成すること、前記電子デバイスを振ること、または第1の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みを発生させるための手段をさらに備える、請求項29に記載の電子デバイス。
  39. 前記電子デバイス上のボタンを放すこと、第2の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第2の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みの発生を停止させるための手段をさらに備える、請求項38に記載の電子デバイス。
  40. 電子デバイスとの相互作用を実施するようにコンピュータによって実行可能であり、実行されたときに、
    ディスプレイの頂面がxy平面と実質的に揃う前記電子デバイスのディスプレイの上方を移動する物体のx座標、y座標、およびz座標を追跡するステップと、
    前記x座標、y座標、およびz座標を含む割込みを発生させるステップと、
    前記電子デバイスのアプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップとを実行するプログラム命令を記録するコンピュータ可読記録媒体。
  41. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップは、前記追跡されているz座標に基づいて、文字を挿入するステップ、入力された文字のフォーマットを更新するステップ、または前記データ入力アプリケーションに入力すべき文字のフォーマットを更新するステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  42. 前記フォーマットは、太字、イタリック体、下線、取消し線、下付き文字、上付き文字、フォント、フォントサイズ、およびフォントカラーからなる群から選択される、請求項41に記載のコンピュータ可読記録媒体。
  43. 前記アプリケーションは、データ入力アプリケーションまたは認証アプリケーションであり、
    前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、前記移動する物体の前記追跡されているz座標を使用するステップは、前記電子デバイスをロック解除する前に前記追跡されているz座標に基づいて前記電子デバイスのユーザの身元を検証するステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  44. 前記物体は指またはスタイラスである、請求項40に記載のコンピュータ可読記録媒体。
  45. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、容量性タッチスクリーンまたは抵抗性タッチスクリーンを使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  46. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、少なくとも1つのトランスデューサおよび少なくとも1つの受信機を使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  47. 前記電子デバイスのディスプレイの上方を移動する物体の前記x座標、y座標、およびz座標を追跡するステップは、少なくとも1つの光源および少なくとも1つの受光器を使用して前記x座標、y座標、およびz座標を追跡するステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  48. 前記ディスプレイの上方を移動する前記物体は、前記ディスプレイに接触しない、請求項40に記載のコンピュータ可読記録媒体。
  49. 前記プログラム命令は、前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するステップをさらに含む、請求項40に記載のコンピュータ可読記録媒体。
  50. 前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、前記可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることをプログラム可能なイベントとして使用するステップは、前記物体が第1の期間内に動きを停止したときに、前記電子デバイスの前記データ入力アプリケーションまたは認証アプリケーションによって、前記可聴音、ボタンを押すこと、前記物体を用いた手振り、または前記電子デバイスを振ることを前記プログラム可能なイベントとして使用するステップを含む、請求項49に記載のコンピュータ可読記録媒体。
  51. 前記ディスプレイの上方を移動する前記物体は、前記動きの一部の間前記ディスプレイに接触し、前記動きの別の部分の間前記ディスプレイの上方の空気中を移動する、請求項40に記載のコンピュータ可読記録媒体。
  52. 前記x座標、y座標、およびz座標を含む割込みを発生させるステップは、前記電子デバイス上のボタンを押すこと、前記物体を用いた手振りをすること、第1の可聴音を生成すること、前記電子デバイスを振ること、または第1の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みを発生させるステップを含む、請求項40に記載のコンピュータ可読記録媒体。
  53. 前記プログラム命令は、ボタンを放すこと、第2の可聴音を生成すること、前記物体を用いた手振りをすること、前記電子デバイスを振ること、または第2の所定の期間の間前記物体の動きを停止させることの少なくとも1つに応答して前記x座標、y座標、およびz座標を含む割込みの発生を停止させるステップをさらに実行する、請求項52に記載のコンピュータ可読記録媒体。
JP2013525011A 2010-08-24 2011-08-24 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置 Expired - Fee Related JP5905007B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/862,066 2010-08-24
US12/862,066 US20120050007A1 (en) 2010-08-24 2010-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
PCT/US2011/048884 WO2012027422A2 (en) 2010-08-24 2011-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display

Publications (2)

Publication Number Publication Date
JP2013539113A true JP2013539113A (ja) 2013-10-17
JP5905007B2 JP5905007B2 (ja) 2016-04-20

Family

ID=44675811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013525011A Expired - Fee Related JP5905007B2 (ja) 2010-08-24 2011-08-24 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置

Country Status (7)

Country Link
US (1) US20120050007A1 (ja)
EP (1) EP2609487A2 (ja)
JP (1) JP5905007B2 (ja)
KR (1) KR101494556B1 (ja)
CN (1) CN103069363A (ja)
IN (1) IN2013CN00518A (ja)
WO (1) WO2012027422A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082605A (ja) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc 情報処理装置、その制御方法及びプログラム
JP2022138207A (ja) * 2021-03-10 2022-09-26 株式会社テクナート タッチパネル
KR102625552B1 (ko) * 2023-02-11 2024-01-16 (주)유오더 테이블 결합형 태블릿 거치대 구조체

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066650A1 (en) * 2010-09-10 2012-03-15 Motorola, Inc. Electronic Device and Method for Evaluating the Strength of a Gestural Password
US20120081294A1 (en) * 2010-09-28 2012-04-05 Quang Sy Dinh Apparatus and method for providing keyboard functionality, via a limited number of input regions, to a separate digital device
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9470922B2 (en) 2011-05-16 2016-10-18 Panasonic Intellectual Property Corporation Of America Display device, display control method and display control program, and input device, input assistance method and program
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
CN103777740A (zh) * 2012-10-18 2014-05-07 富泰华工业（深圳）有限公司 便携式电子装置解锁系统及方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN102981764B (zh) * 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
KR20140087731A (ko) 2012-12-31 2014-07-09 엘지전자 주식회사 포터블 디바이스 및 사용자 인터페이스 제어 방법
US10331219B2 (en) 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102086799B1 (ko) * 2013-02-21 2020-03-09 삼성전자주식회사 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
JP2014182459A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US20140347326A1 (en) * 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. User input using hovering input
EP2821885B1 (en) * 2013-07-01 2021-11-24 BlackBerry Limited Password by touch-less gesture
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
CN104427081B (zh) * 2013-08-19 2019-07-02 中兴通讯股份有限公司 一种移动终端的解锁方法及装置
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
KR102143574B1 (ko) 2013-09-12 2020-08-11 삼성전자주식회사 근접 터치를 이용한 온라인 서명 인증 방법 및 이를 위한 장치
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
TWI488106B (zh) * 2013-12-13 2015-06-11 Acer Inc 可攜式電子裝置及其圖示位置調整方法
KR20150072764A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 전자기기에서 해상도 레벨을 제어하기 위한 방법 및 장치
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
GB2522410A (en) * 2014-01-20 2015-07-29 Rockley Photonics Ltd Tunable SOI laser
US9916014B2 (en) * 2014-04-11 2018-03-13 Continental Automotive Systems, Inc. Display module with integrated proximity sensor
US9883301B2 (en) * 2014-04-22 2018-01-30 Google Technology Holdings LLC Portable electronic device with acoustic and/or proximity sensors and methods therefor
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
CN104598032A (zh) * 2015-01-30 2015-05-06 乐视致新电子科技（天津）有限公司 一种屏幕控制方法和装置

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
US20080100572A1 (en) * 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム
JP2009183592A (ja) * 2008-02-08 2009-08-20 Ge Medical Systems Global Technology Co Llc 操作情報入力装置および超音波撮像装置
JP2009530726A (ja) * 2006-03-22 2009-08-27 フオルクスワーゲン・アクチエンゲゼルシヤフト 対話型操作装置および対話型操作装置を動作させるための方法
JP2009259110A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
US20090295715A1 (en) * 2008-06-02 2009-12-03 Lg Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US20090315848A1 (en) * 2008-06-24 2009-12-24 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US20100026723A1 (en) * 2008-07-31 2010-02-04 Nishihara H Keith Image magnification system for computer interface
JP2010067135A (ja) * 2008-09-12 2010-03-25 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2010092219A (ja) * 2008-10-07 2010-04-22 Toshiba Corp タッチパネル入力装置
US20100107099A1 (en) * 2008-10-27 2010-04-29 Verizon Data Services, Llc Proximity interface apparatuses, systems, and methods
JP2010108255A (ja) * 2008-10-30 2010-05-13 Denso Corp 車載操作システム
JP2010128685A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 電子機器
WO2010064388A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064389A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2010152827A (ja) * 2008-12-26 2010-07-08 Brother Ind Ltd 入力装置
WO2010084498A1 (en) * 2009-01-26 2010-07-29 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
JP2010179828A (ja) * 2009-02-06 2010-08-19 Denso Corp 車両用操作入力装置
US20110022393A1 (en) * 2007-11-12 2011-01-27 Waeller Christoph Multimode user interface of a driver assistance system for inputting and presentation of information
JP2012509544A (ja) * 2008-11-20 2012-04-19 アマゾン テクノロジーズ インコーポレイテッド 入力機構としての動き認識

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707942B1 (en) * 2000-03-01 2004-03-16 Palm Source, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition, data entry and user authentication
GB0412787D0 (en) * 2004-06-09 2004-07-14 Koninkl Philips Electronics Nv Input system
US8279168B2 (en) 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8793621B2 (en) * 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
JP2009530726A (ja) * 2006-03-22 2009-08-27 フオルクスワーゲン・アクチエンゲゼルシヤフト 対話型操作装置および対話型操作装置を動作させるための方法
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
US20080100572A1 (en) * 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム
US20110022393A1 (en) * 2007-11-12 2011-01-27 Waeller Christoph Multimode user interface of a driver assistance system for inputting and presentation of information
JP2009183592A (ja) * 2008-02-08 2009-08-20 Ge Medical Systems Global Technology Co Llc 操作情報入力装置および超音波撮像装置
JP2009259110A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
US20090295715A1 (en) * 2008-06-02 2009-12-03 Lg Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US20090315848A1 (en) * 2008-06-24 2009-12-24 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US20100026723A1 (en) * 2008-07-31 2010-02-04 Nishihara H Keith Image magnification system for computer interface
JP2010067135A (ja) * 2008-09-12 2010-03-25 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2010092219A (ja) * 2008-10-07 2010-04-22 Toshiba Corp タッチパネル入力装置
US20100107099A1 (en) * 2008-10-27 2010-04-29 Verizon Data Services, Llc Proximity interface apparatuses, systems, and methods
JP2010108255A (ja) * 2008-10-30 2010-05-13 Denso Corp 車載操作システム
JP2012509544A (ja) * 2008-11-20 2012-04-19 アマゾン テクノロジーズ インコーポレイテッド 入力機構としての動き認識
JP2010128685A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 電子機器
WO2010064389A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
WO2010064388A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2010152827A (ja) * 2008-12-26 2010-07-08 Brother Ind Ltd 入力装置
WO2010084498A1 (en) * 2009-01-26 2010-07-29 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
JP2012515966A (ja) * 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
JP2010179828A (ja) * 2009-02-06 2010-08-19 Denso Corp 車両用操作入力装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082605A (ja) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc 情報処理装置、その制御方法及びプログラム
JP2022138207A (ja) * 2021-03-10 2022-09-26 株式会社テクナート タッチパネル
JP7320854B2 (ja) 2021-03-10 2023-08-04 株式会社テクナート タッチパネル
KR102625552B1 (ko) * 2023-02-11 2024-01-16 (주)유오더 테이블 결합형 태블릿 거치대 구조체

Also Published As

Publication number Publication date
KR20130062996A (ko) 2013-06-13
IN2013CN00518A (ja) 2015-07-03
US20120050007A1 (en) 2012-03-01
WO2012027422A3 (en) 2012-05-10
KR101494556B1 (ko) 2015-02-17
JP5905007B2 (ja) 2016-04-20
CN103069363A (zh) 2013-04-24
WO2012027422A2 (en) 2012-03-01
EP2609487A2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5905007B2 (ja) 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
US11916861B2 (en) Displaying interactive notifications on touch sensitive devices
JP6336425B2 (ja) ユーザインタフェースとの制限対話を設定するためのデバイス、方法及びグラフィカルユーザインタフェース
CN106716317B (zh) 解决触摸不连续性的方法和装置
US10228833B2 (en) Input device user interface enhancements
US20190278900A1 (en) Authenticated device used to unlock another device
TWI644248B (zh) 用於回應用戶的輸入而提供反饋的方法和實現其的終端
CN103914249B (zh) 鼠标功能提供方法和实施所述方法的终端
KR20090017517A (ko) 터치스크린 장치의 사용자로부터 수신된 입력 및 제스쳐에 응답하여 동작을 수행하는 컴퓨터로 구현된 방법 및 컴퓨터판독가능 매체
US11556631B2 (en) User interfaces for managing user account passwords
CN105493094A (zh) 基于设备上的用户输入模式的数据保护系统
US11703996B2 (en) User input interfaces
KR20180051782A (ko) 사용자 인증과 관련된 사용자 인터페이스 표시 방법 및 이를 구현한 전자 장치
US20210229630A1 (en) Mobile key enrollment and use
CN107908349A (zh) 显示界面放大方法、终端以及计算机可读存储介质
KR102491207B1 (ko) 멀티 터치 인식 장치 및 방법
US10733280B2 (en) Control of a mobile device based on fingerprint identification
KR102283360B1 (ko) 텍스트 편집 위치를 가이드 하는 방법, 장치 및 기록매체
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
KR20120031564A (ko) 키보드를 이용한 컴퓨터 제어방법, 제어장치 및 이를 위한 프로그램 명령어가 기록된 기록매체
JP2016164726A (ja) 電子機器
KR102090443B1 (ko) 터치 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
US20240111479A1 (en) Audio-based messaging
US20230084751A1 (en) User interfaces for managing passwords
CN106383631A (zh) 一种角标管理方法及终端

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140324

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150305

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160315

R150 Certificate of patent or registration of utility model

Ref document number: 5905007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees