CN101438218A - 具有虚拟小键盘的移动设备 - Google Patents

具有虚拟小键盘的移动设备 Download PDF

Info

Publication number
CN101438218A
CN101438218A CNA200680054551XA CN200680054551A CN101438218A CN 101438218 A CN101438218 A CN 101438218A CN A200680054551X A CNA200680054551X A CN A200680054551XA CN 200680054551 A CN200680054551 A CN 200680054551A CN 101438218 A CN101438218 A CN 101438218A
Authority
CN
China
Prior art keywords
finger
virtual
user
equipment
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680054551XA
Other languages
English (en)
Other versions
CN101438218B (zh
Inventor
Z·拉迪沃杰维克
邹燕明
汪孔桥
M·阿玛莱南
J·A·康加斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101438218A publication Critical patent/CN101438218A/zh
Application granted granted Critical
Publication of CN101438218B publication Critical patent/CN101438218B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656—Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • G06F1/166—Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories related to integrated arrangements for adjusting the position of the main body with respect to the supporting surface, e.g. legs for adjusting the tilt angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0221—Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种具有虚拟输入设备的移动电子设备。该虚拟输入设备包括用于检测用户的手指在工作表面之上的移动的光学传感器和用于检测用户的手指在工作表面上的碰撞的声学或者振动传感器。耦合到光学传感器和声学传感器的处理器处理作为用于电子设备的输入的检测信号。可以在显示器上示出覆以虚拟掩幕的用户的手指。虚拟掩幕可以示出菜单项的键盘。

Description

具有虚拟小键盘的移动设备
技术领域
本发明涉及用于移动电子设备的输入设备、具体地涉及用于移动电子设备的虚拟输入设备。
背景技术
美国2004046744公开一种用于移动电子设备的输入设备，该移动电子设备比如是PDA、移动电话、使用虚拟输入设备如键盘图像的设备。该输入设备包括用来在工作表面上投影键盘图像的光学投影仪。专用光学传感器捕获与用户的手指相对于投影键盘的位置有关的位置信息。关于手指位置以及速度和形状来处理此信息以确定虚拟键何时已经被敲击。该输入设备被形成为附接于移动设备的配套系统。这一已知系统具有提供一种包括全尺寸QWERTY型键盘(或者类似于用于其它语言或者其它字符集如西里尔、阿拉伯或者各种亚洲字符集键盘)的小型轻质便携系统、由此克服如下小型移动设备的主要弊端之一，这些小型移动设备原本不得不应对小型键盘或者往往不如全尺寸QWERTY型键盘有效的其它输入装置。
然而，该配套系统需要大量附加硬件，由此增加移动设备的成本和复杂度。另外，附带系统往往具有低于集成系统的可靠性。另外，以用于确定用户手指位置的光学传感器为基础的系统的准确度需要改进。与虚拟投影键盘关联的另一弊端在于缺乏触觉反馈，而这一方面也有待改进。
发明内容
基于这一背景，本发明的目的在于提供一种具有改进的虚拟输入设备的移动电子设备。这一目的通过提供一种具有虚拟输入设备的移动电子设备来实现，所述移动电子设备包括：光学传感器，用于检测用户的手指在工作表面之上的移动并且用于响应于检测到的移动而生成信号；声学或者振动传感器，用于检测用户的手指在工作表面上的碰撞并且用于响应于检测到的碰撞而生成信号，耦合到光学传感器的第一处理器和耦合到声学传感器的第二处理器，用于接收和处理作为用于电子设备的输入的检测信号。
通过使用由用户的指尖与工作表面碰撞而引起的振动或者声音来确立用户输入完成的不同和清楚的瞬间。这一清楚限定的输入瞬间将改进向用户的反馈，而光学和声学/振动传感器的组合信号提高了识别是否已经进行输入的准确度。另外，由于用户需要敲击工作表面，所以向他/她提供了触觉反馈。
如果无适当工作表面可用，则用户可以使用他的/她的语音来模仿触发输入的声音。可以校准该设备以适应于由语音触发的输入。
优选地，第一处理器被配置用以根据光学传感器生成的信号来确定手指与工作表面碰撞的位置并且根据声学或者振动传感器生成的信号来确定已经发生手指与工作表面的碰撞。
特定输入命令可以与多个指尖位置中的每个指尖位置关联，而第一处理器可以被配置用以在检测到朝着给定指尖位置的指尖移动与对指尖碰撞的检测基本上同时发生时接受与相关位置关联的功能。
第一处理器也可以被配置用以跟踪用户的手指的移动。
该设备还可以包括显示器，其中第一处理器被配置用以提供在显示器投影的实时指尖位置。因此，有可能向用户提供光学反馈。
优选地，第二处理器被配置用以通过执行触发算法来检测手指与工作表面的碰撞，在该触发算法中处理来自声学传感器的信号以执行逻辑开关操作。触发算法可以基于传播经过声学或者振动传感器的环境中固体的声音或者振动、传播经过声学传感器的环境中空气的声音或者传播经过声学或者振动传感器的环境中固体的声音或者振动与传播经过声学传感器的环境中空气的声音的组合。
触发算法可以使用在来自手指与工作表面的碰撞或者可选地来自用户的语音的音频信号与手指移动之间的必须在某一阈值以上的重合。因此，仅当两个条件均满足时才接受用户输入。
而且，第一处理器还可以被配置用以在显示器上示出用于向用户提供光学反馈和/或指导的虚拟导航掩幕。虚拟导航掩幕可以包括虚拟输入单元，这些虚拟输入单元包括虚拟小键盘或者键盘、虚拟触板、图标和/或菜单项。
第一处理器还可以被配置用以在朝着所述指尖位置的指尖移动以及指尖碰撞已经被检测到时突出显示与指尖位置关联的虚拟输入单元。由此，可以进一步改进对用户的光学反馈。
设备壳可以包括其中设置显示器的前侧和其中设置光学传感器的后侧，所述设备还包括用于在基本上竖直的位置保持壳的支撑部件。支撑部件也有助于使声音和/或振动经过固体材料传播到该设备中的一个或者多个传感器。
优选地，光学传感器是通用数字相机或者摄影机。因此，在很多移动设备中已经存在的光学传感器可以用于第二用途。声学传感器可以是通用麦克风。因此，在很多移动设备中已经存在的声学传感器可以用于第二用途。
本发明的另一目的是提供一种用于在移动电子设备中生成输入的改进方法。这一目的通过提供一种用于在移动电子设备中生成输入的方法来实现，该方法包括：以光学方式检测用户的手指在工作表面之上的移动，以声学或者振动方式检测用户的手指在工作表面上的碰撞，以及处理作为输入的所述信号。
优选地，该方法还包括：根据光学传感器生成的信号来确定手指与工作表面碰撞的位置，以及根据声学或者振动传感器生成的信号来确定已经发生的手指与工作表面的碰撞。
该方法也可以包括以下步骤：将特定输入命令与多个指尖位置中的每个指尖位置关联，以及在与对指尖碰撞的检测基本上同时地检测到朝着给定指尖位置的指尖移动时接受与相关位置关联的输入命令。
该方法还可以包括以下步骤：处理来自光学传感器和来自声学或者振动传感器的信号以确定所述用户的指尖是否接触在所述虚拟输入设备上限定的位置，并且如果接触则确定所述虚拟输入设备的什么功能与所述位置关联。
优选地，该方法也包括跟踪用户的手指的移动和手指速度的步骤。
该设备可以包括显示器，并且该方法可以包括提供在显示器投影的实时指尖位置。
优选地，该方法包括通过执行触发算法来检测手指与工作表面的碰撞，在该触发算法中处理来自声学传感器的信号以执行逻辑开关操作。
该方法也可以包括在显示器上示出用于向用户提供光学反馈的虚拟导航掩幕的步骤。
该方法还可以包括在已经检测到朝着所述指尖位置的指尖移动以及指尖碰撞时突出显示与指尖位置关联的虚拟输入单元的步骤。
本发明的另一目的是提供一种具有无需依赖于配套系统的虚拟输入设备的移动设备。该目的通过提供一种具有虚拟输入设备的移动电子设备来实现，所述移动电子设备包括：光学传感器，用于检测用户的手指在工作表面之上的移动并且用于响应于检测到的移动而生成信号，处理器，耦合到所述光学传感器，用于接收和处理作为用于电子设备的输入的检测到的信号，以及显示器，耦合到光学传感器，其中处理器被配置用以在显示器上示出光学传感器捕获的用户的手指或者指尖的位置的实时表示。
很多移动设备已经包括形式为数字相机的光学传感器并且已经具有显示器。因此，无需添加新硬件即可实现虚拟输入设备。由此，该设备可以保持紧凑和轻质。另外，由于通过软件实现虚拟输入设备，所以很容易使虚拟输入设备适应于各种需要和环境。
处理器可以被配置用以提供在显示器投影的实时指尖位置。
用户的手指在显示器上的表示可以是指针或者手部或者手指阴影的形式。取而代之，用户的手指在显示器上的表示可以是实时图像的形式。
用户的手指在显示器上的表示可以投影到另一应用中。
优选地，处理器被配置用以在用户手指的表示之上显示用于向用户提供光学反馈的虚拟导航掩幕。
虚拟导航掩幕可以包括虚拟输入单元。虚拟输入单元可以是虚拟小键盘或者键盘、图标和/或菜单项。
优选地，处理器被配置用以根据光学传感器生成的信号来确定手指与工作表面碰撞的位置。
特定输入命令可以与多个指尖位置中的每个指尖位置关联，而所述处理器可以被配置用以在朝着给定指尖位置的指尖移动被检测到时接受与相关指尖位置关联的功能。
处理器可以被配置用以跟踪用户的手指或者指尖的移动。
光学传感器可以是通用数字相机或者摄影机。
上述目的也通过提供一种用于在具有光学传感器和显示器的移动电子设备中生成输入的方法来实现，该方法包括：以光学方式检测用户的手指在工作表面之上的移动，在显示器上显示光学传感器捕获的用户的手指或者指尖的位置的实时表示，以及处理作为输入的所述信号。
该方法还可以包括跟踪用户的手指的移动和/或手指速度。
优选地，该方法还包括根据光学传感器生成的信号来确定手指与工作表面碰撞的位置。
特定输入命令可以与多个指尖位置中的每个指尖位置关联。
该方法也可以包括在显示器上示出用于向用户提供光学反馈的虚拟导航掩幕。虚拟导航掩幕可以包括虚拟输入单元，这些虚拟输入单元包括虚拟小键盘或者键盘、图标和/或菜单项。
优选地，该方法还包括在已经检测到朝着指尖位置的指尖移动以及指尖碰撞时突出显示与所述指尖位置关联的虚拟输入单元。
虚拟掩幕可以仅示出与虚拟小键盘的键关联的字符或者符号。取而代之，虚拟掩幕还示出虚拟小键盘的键的键轮廓或者示出与虚拟小键盘的键关联的字符或符号之间的分隔线。
根据本发明的设备和方法的更多目的、特征、优点和性质将从具体描述中变得清楚。
附图说明
在本发明的以下具体描述部分中将参照附图中所示示例性实施例更具体地说明本发明，在附图中：
图1是根据本发明一个实施例的移动电子设备的正视图，
图2是图1中所示设备的后视图，
图3是在使用于工作表面上的托架中之时图1中所示设备的俯视图，
图4是在放置于工作表面上的托架中之时图1中所示设备的侧视图，
图4A是根据本发明又一实施例的移动电子设备在工作表面上的侧视图，
图4B是图4A的设备的正视图，以及
图5是图示了图1中所示设备的总体架构的框图。
具体实施方式
在以下具体描述中将通过优选实施例来描述蜂窝/移动电话形式的根据本发明的移动电子设备和方法。
图1和图2分别通过正视图和后视图来图示移动电话1形式的根据本发明的移动终端的第一实施例。移动电话1包括如下用户接口，该用户接口具有壳2、显示器3、开/关按钮(未示出)、扬声器5(仅示出开口)和麦克风6(仅示出壳2中通往麦克风的开口)。根据第一优选实施例的电话1适于经由蜂窝网络如GSM900/1800MHz网络通信，但是也可以适于与码分多址(CDMA)网络、3G网络或者基于TCP/IP的网络一起使用以覆盖可能的VoIP网络(例如经由WLAN、WIMAX等)或者VoIP和蜂窝如UMA(通用移动接入)的混合。
小键盘7具有带字母数字键的第一组键8。小键盘7还具有包括两个软键9、两个呼叫处理键(摘机键12和挂机键13)、用于滚动和选择的五向导航键40的第二组键。软键9的功能依赖于移动电话1的状态，并且通过使用导航键40来执行菜单中的导航。软键9的当前功能在软键9正上方的显示器3专用区3’中的分离域(软标记)中示出。两个呼叫处理键12、13用于建立呼叫或者会议呼叫、终止呼叫或者拒绝传入呼叫。
可松开的后盖28提供对SIM卡22(图5)和移动电话1背部的电池组24(图5)的取用，该电池组为移动电话1的电子部件供电。
移动电话1具有通常由具有可选背光的LCD制成的平面显示器3，该LCD比如是能够显示彩色图像的TFT阵列。可以使用触屏取代常规LCD显示器。
数字相机23(图2中仅镜头可见)放置于移动电话1的背侧。
图3和图4示出了放置于工作表面30上的托架4中的移动电话1。托架4可以包括经由底部连接器27连接到移动电话1的麦克风6和/或加速度计57(图5)。图3也示出了在移动电话1与下文更具体描述的虚拟输入装置一起使用时用户的手部的位置。
用户的手部放置于数字相机23的查看区中的工作表面30之上、这里是桌面之上。工作表面30用作虚拟键盘、小键盘、触板或者具有与之关联的功能的位置的其它虚拟输入装置。工作表面30也用以向用户提供从指尖与工作表面的碰撞中接收的触觉反馈。让用户朝着工作表面上具有与之关联的输入功能的位置移动他的/她的指尖。相机23用来跟踪用户手指的移动并且提供在显示器3上投影的实时指尖位置。
当使用虚拟输入设备时，让用户在上述位置在工作表面上用他的或者她的指尖“轻敲”、由此在指尖与工作表面30之间产生碰撞。麦克风6或者加速度计57(图5)用来记录在用户的指尖与工作表面30之间的碰撞以接受属于指尖与工作表面发生接触的位置所有的命令或者功能。麦克风6和加速度计57的最优位置为移动电话1的底座底部。麦克风6可以用来在碰撞声音行进经过在碰撞位置与麦克风6之间的固体材料时记录碰撞声音和/或在声音行进经过在碰撞位置与麦克风6之间的空气时记录声音。加速度计57可以用来记录行进经过撞击位置与加速度计57之间的固态材料的振动。
虚拟导航掩幕或者图案33可选地显示于显示器3上。图3中所示示例掩幕33是部分QWERTY键盘。在较大便携设备或者显示器具有风景取向的设备(未示出)中，有可能显示具有完全QWERTY键盘的掩幕。要显示的掩幕33因此仅依赖于显示器3的尺寸和形状。掩幕33不限于QWERTY键盘布局，同样可以使用其它语言布局和其它字符集、如例如西里尔、阿拉伯、希伯来或者各种亚洲字符集。
导航掩幕33给予用户视觉反馈，因为用户可以看见覆以虚拟键盘的他的/她的手指。用户由此可以直接在显示器3上跟随他的/她的手指移动，其中掩幕是以阴影模式绘制的。该掩幕向用户提供光学导航，使得他/她可以在与移动电话1交互之时联系手指移动。在图3中所示例子中，用虚拟键盘已经输入的文字直接地显示于掩幕33之上的文字窗口35中、由此允许用户同时查看输入的文字和键盘，这对于不擅长盲打的用户是有利的。
来自相机23的信号用来确定具有与之关联的功能的位置中的哪些位置已经由用户的手指触摸，而来自麦克风6和/或加速度计57的信号用来触发/接受与已经触摸的位置关联的功能或者命令。因此，用户的输入完成有清楚的时间点。在这一时间点，可选地向用户提供通过在显示器3中突出显示虚拟小键盘的键而产生的光学反馈。因此，当朝着具有与之关联的输入功能的位置移动手指并且碰撞支撑表面30时，麦克风6和/或加速度计57发送将执行与在虚拟输入设备上的位置关联的功能的确认。高级用户可以不需要一直显示掩幕，由此释放显示器3上的空间。因此，高级用户可以关闭掩幕，而可以使用透明“虚像”图像以字母指示和手指位置来示出交互激活确认。
根据这一实施例的一种变形(未示出)，移动设备1配备有可旋转相机壳或者面向前方的相机(朝向用户)，使得用户的手部放置于设备的前面而不是如图3中所示的位于产品的背面之后。根据该实施例的这一变形或者根据该实施例本身的移动设备可以耦合到外部显示设备如投影仪，其用于显示最终覆以虚拟掩幕的用户手部(或者代表用户手指或者手部的指针或者阴影)。在这一使用场景中，移动设备用作手部(指尖)扫描仪，而指针(或者手部阴影)通过外部设备投影仪投影到显示于墙壁或者屏幕上的应用中。
在本实施例的一种变形(未示出)中，移动电话1配备有与电话一体的折叠架或者其它支撑部件、这允许它无需使用托架就竖立于工作表面。
在一种替代场景中，用户一只手持有移动电话1而利用另一只手与虚拟输入装置交互(未示出)、即另一只手用来在工作表面上轻敲。利用持有移动电话1的那只手，用户将相机23瞄准正在与虚拟输入装置交互的另一只手。这一用法对于需要快速实现某一输入而不希望花费时间将移动电话设置在桌面等之上的用户特别地具有吸引力。
图4A和4B示出了所谓翻盖型移动电话1这一形式的本发明另一实施例。根据这一实施例的移动电话1与在以上实施例中描述的移动电话实质上相同，不同之处在于移动电话的壳的构造。在图4A和4B的实施例中，壳2包括铰接到第二壳部2b的第一壳部2a并且允许第一和第二壳部折叠在一起和再次打开。在图中所示打开位置，第二壳部2b用作搁置于工作表面30上的底部，由此允许第一壳部2a无需任何其他辅助就设置于竖直位置。因此，无需使用托架或者其它外部设备来保持移动电话的壳2相对于工作表面30和用户手部正确地定位，以可用两只手操作根据这一实施例的移动电话1的虚拟输入装置。这一实施例包括在壳部2a的背部上的数字相机23和在壳部2a的前部上的数字相机23a。任一数字相机23、23a可以用于检测用户手指(指尖)的移动。当使用前面的数字相机23a时，用户手部放置于移动电子设备1之前的工作表面上，而当使用后面的数字相机23时，用户手部放置于移动电子设备1之后的工作表面上。
虚拟输入装置可以采用各种形式，比如键盘、触板、菜单项集、图标集或者这些项目的组合。与虚拟输入装置关联的掩幕可以灵活地改变，并且可以根据环境或者在接到来自用户的命令时将许多不同类型的掩幕和虚拟输入装置存储/编程到移动电话中并且使用它们。因此，掩幕可以是应用所特有的。
当虚拟输入设备用于输入文本时，根据该实施例的一种变形通过使用语言所特有的预测编辑技术来提高文字输入鲁棒性。另外根据该实施例的另一变形，使用如下单词完成算法，在该算法中软件向用户提供用于完成单词的提示以由此减少打字的负担。
图5以框图形式图示了根据本发明而构造的移动电话1的总体架构。处理器18控制终端的操作并且具有集成数字信号处理器17和集成RAM 15。处理器18控制经由发送器/接收器电路19和内部天线20与蜂窝网络的通信。经由电压调节器21耦合到处理器18的麦克风6将用户的语音变换成模拟信号，由此形成的模拟信号在语音在包含于处理器18中的DSP 17中被编码之前在A/D转换器(未示出)中被A/D转换。编码的语音信号传送到例如支持GSM终端软件的处理器18中。数字信号处理单元17对经由D/A转换器(未示出)从处理器18传送到扬声器5的信号进行语音解码。
电压调节器21形成用于扬声器5、麦克风6、LED驱动器19(用于以背光照亮小键盘7和显示器3的LED)、SIM卡20、电池24、底部连接器27、直流插口31(用于连接到充电器33)、驱动(免提)扬声器25的音频放大器33和可选加速度计57的接口。
处理器18也形成用于设备一些外设单元的接口，这些外设单元包括闪存ROM存储器16、图形显示器3、小键盘7、导航键40、数字相机23和FM无线电26。
利用由处理器18执行的光学流算法来检测和跟踪以光学流场中的平均移动因子代表的指尖。
以如下触发算法在DSP 17中处理来自麦克风6和/或加速度计57的信号，在该触发算法中处理来自声学传感器的信号以执行逻辑开关操作。
用以训练和校准声音或者振动检测器的分离训练序列可以用来在使用之前优化配置。根据一个替代实施例(未示出)，多个麦克风用来实现利用波束成形技术以提高在嘈杂环境中的检测。根据另一实施例(未示出)，专用材料用来提高检测准确度、比如声学上很好确定的可滚动聚合物垫。用户可以通过利用由他的/她的指甲与工作表面的碰撞而产生的声音来训练和校准系统(在使用之前)。指甲撞击表面的声音非常易于确定、因此特别地适合于与虚拟输入设备一起使用。
根据本发明的一种变形，麦克风6的取向使得麦克风振动膜平行于工作表面30、由此利用与麦克风振动膜的表面正交的麦克风振动膜的最大振动灵敏性。通常当麦克风常规地放置于壳部2b中时，根据图4A和4B实施例的移动电话中实现这一取向。
根据本实施例的一种变形，通过使用多个传感器并且通过应用传感器融合技术产生检测信号来提高开关检测的鲁棒性。可以通过视频、声学声音、声音方向(有多个麦克风)和机械振动中的同时视觉运动来检测击键。适当地组合这些信号以改进击键。麦克风阵列用于检测声学声波的方向。这用于根据声音方向信息分离左手击键和右手击键。这在数个手指(三个或者更多)同时可为相机23所见的非常快速的输入中特别地有用。
在碰撞瞬间，在声音传播到麦克风6中或者振动传播到加速度计57中之时，处理器18将检测和选择平均移动矢量最大的指尖作为按键手指。在触发算法表示已经发生手指与工作表面30的碰撞时，处理器18执行与平均移动矢量最大的指尖的位置关联的输入功能或者命令。
除了由麦克风或者加速度计驱动的开关之外还使用一种由来自相机23的信号驱动的基于软件的替代开关。在软件开关中使用对向下移动继而向上移动(在固体支撑上的反弹)的检测作为在方向改变瞬间已经发生击键的表示。因此手指速度和/或手指移动方向有骤变(突变)。在软件开关中速度和/或方向的突变用来确定哪个手指用于输入并且由此提供一种用于检测击键的替代方式。
指尖检测图像处理流程包括分割/识别手指并且将重点归于指尖位置而且在显示器3上指示它们的投影。另外，指尖检测图像处理流程包括归于指尖的指针的指尖跟踪/实时移动。指尖分割部分从背景中提取手指并且将重点归于手指的前端部分(指尖)。为此使用肤色。由于人的手指颜色不变，所以提取可以基于用户的手指与静态背景图像之间的色差。可以通过用以校准特定用户色差的学习过程来改进辨别过程。学习过程包括要求用户在屏幕上的学习方块中放置他的/她的手指、随后执行校准。
指尖跟踪算法可以基于在两个或者更多后续图像帧之间的相关性，根据该相关性来计算手指移动以获得代表指尖速率的矢量。
虽然上文已经仅将本发明描述为实施于移动电话上，但是其它电子设备如多媒体设备、移动办公和小型化PC可以使用本发明。
在权利要求书中使用的术语“包括”并不排除其它单元或者步骤。在权利要求书中使用的术语“一个”并不排除多个。单个处理器或者其它单元可以满足在权利要求书中记载的数个装置的功能。
虽然已经出于举例说明的目的而具体描述了本发明，但是理解这样的细节仅用于该目的，并且本领域技术人员可以对本发明进行变化而不脱离本发明的范围。

Claims (50)

1.一种具有虚拟输入设备的移动电子设备，所述移动电子设备包括：
光学传感器，用于检测用户的手指在工作表面之上的移动并且用于响应于检测到的移动而生成信号；
声学或者振动传感器，用于检测所述用户的手指在所述工作表面上的碰撞并且用于响应于检测到的碰撞而生成信号；
耦合到所述光学传感器的第一处理器和耦合到所述声学传感器的第二处理器，用于接收和处理作为用于所述电子设备的输入的检测到的信号。
2.根据权利要求1所述的设备，其中所述第一处理器被配置用以根据所述光学传感器生成的信号来确定手指与所述工作表面碰撞的位置并且根据所述声学或者振动传感器生成的信号来确定已经发生的手指与所述工作表面的碰撞。
3.根据权利要求1或者2所述的设备，其中特定输入命令与多个指尖位置中的每个指尖位置关联，以及其中所述第一处理器被配置用以在检测到朝着给定指尖位置的指尖移动与对指尖碰撞的检测基本上同时发生时接受与相关位置关联的功能。
4.根据权利要求1至3中任一权利要求所述的设备，其中所述第一处理器被配置用以跟踪所述用户的手指的移动。
5.根据权利要求4所述的设备，还包括显示器，其中所述第一处理器被配置用以提供在所述显示器投影的实时指尖位置。
6.根据权利要求5所述的设备，其中所述第一或者第二处理器被配置用以在所述显示器上示出用于向所述用户提供光学反馈和/或指导的虚拟导航掩幕。
7.根据权利要求6所述的设备，其中所述虚拟导航掩幕包括虚拟输入单元，所述虚拟输入单元包括虚拟小键盘或者键盘、图标和/或菜单项。
8.根据权利要求7所述的设备，其中所述第一或者第二处理器被配置用以在朝着所述指尖位置的指尖移动以及指尖碰撞已经被检测到时突出显示与所述指尖位置关联的所述虚拟输入单元。
9.根据权利要求1至8中任一权利要求所述的设备，包括壳，其中所述壳包括其中设置所述显示器的前侧和其中设置所述光学传感器的后侧，所述设备还包括用于在基本上竖直的位置保持所述壳的支撑部件。
10.根据权利要求1至9中任一权利要求所述的设备，其中所述光学传感器是通用数字相机或者摄影机。
11.根据权利要求1至10中任一权利要求所述的设备，其中所述声学传感器是通用麦克风。
12.根据权利要求1至11中任一权利要求所述的设备，其中所述设备包括具有铰接的第一和第二壳部的壳，铰接的所述第一壳部被配置用以用作搁置于所述工作表面上的支架或者底部以允许所述第二壳部呈现基本上竖直的位置。
13.根据权利要求12所述的设备，其中所述麦克风或者加速度计设置于所述第一壳部中，并且所述显示器和所述相机设置于所述第二壳部中。
14.根据权利要求1至13中任一权利要求所述的设备，其中所述第二处理器被配置用以通过执行触发算法来检测手指与所述工作表面的碰撞，在所述触发算法中处理来自所述声学传感器的信号以执行逻辑开关操作。
15.根据权利要求14所述的设备，其中所述触发算法基于：
传播经过所述声学或者振动传感器的环境中固体的声音或者振动，
传播经过所述声学传感器的环境中空气的声音，
或者传播经过所述声学或者振动传感器的环境中固体的声音或者振动与传播经过所述声学传感器的环境中空气的声音的组合。
16.根据权利要求1至15中任一权利要求所述的设备，其中所述第一处理器和所述第二处理器集成于一个处理器单元中。
17.一种用于在移动电子设备中生成输入的方法，包括：
以光学方式检测用户的手指在工作表面之上的移动，
以声学或者振动方式检测用户的手指在所述工作表面上的碰撞，以及
处理作为输入的所述信号。
18.根据权利要求17所述的方法，还包括：根据所述光学传感器生成的信号来确定手指与所述工作表面碰撞的位置，以及根据所述声学或者振动传感器生成的信号来确定已经发生的手指与所述工作表面的碰撞。
19.根据权利要求17或者18所述的方法，还包括：将特定输入命令与多个指尖位置中的每个指尖位置关联，以及在与对指尖碰撞的检测基本上同时地检测到朝着给定指尖位置的指尖移动时接受与相关位置关联的所述输入命令。
20.根据权利要求17至19中任一权利要求所述的方法，还包括：处理来自所述光学传感器和来自所述声学或者振动传感器的信号以确定所述用户的指尖是否接触在所述虚拟输入设备上限定的位置，并且如果接触则确定所述虚拟输入设备的什么功能与所述位置关联。
21.根据权利要求17至20中任一权利要求所述的方法，还包括跟踪所述用户的手指的移动和/或手指速度。
22.根据权利要求21所述的方法，其中所述设备包括显示器，而所述方法包括提供在所述显示器投影的实时指尖位置。
23.根据权利要求17至22中任一权利要求所述的方法，还包括通过执行触发算法来检测手指与所述工作表面的碰撞，在所述触发算法中处理来自所述声学传感器的信号以执行逻辑开关操作。
24.根据权利要求23所述的方法，还包括在所述显示器上示出用于向所述用户提供光学反馈的虚拟导航掩幕。
25.根据权利要求24所述的方法，其中所述虚拟导航掩幕包括虚拟输入单元，所述虚拟输入单元包括虚拟小键盘或者键盘、图标和/或菜单项。
26.根据权利要求25所述的方法，还包括在已经检测到朝着所述指尖位置的指尖移动以及指尖碰撞时突出显示与所述指尖位置关联的所述虚拟输入单元。
27.根据权利要求24至26中任一权利要求所述的方法，其中所述虚拟掩幕仅示出与虚拟小键盘的键关联的字符或者符号。
28.根据权利要求27所述的方法，其中所述虚拟掩幕还示出虚拟小键盘的键的键轮廓或者示出在与虚拟小键盘的键关联的字符或符号之间的分隔线。
29.一种具有虚拟输入设备的移动电子设备，所述移动电子设备包括：
光学传感器，用于检测用户的手指在工作表面之上的移动并且用于响应于检测到的移动而生成信号；
处理器，耦合到所述光学传感器，用于接收和处理作为用于所述电子设备的输入的检测到的信号；以及
显示器，耦合到所述光学传感器，其中：
所述处理器被配置用以在所述显示器上示出所述光学传感器捕获的用户的手指或者指尖的位置的实时表示。
30.根据权利要求29所述的设备，其中所述处理器被配置用以提供在所述显示器投影的实时指尖位置。
31.根据权利要求29或者30所述的设备，其中所述用户的手指在所述显示器上的表示是指针或者手部或者手指阴影的形式。
32.根据权利要求30所述的设备，其中所述用户的手指在所述显示器上的表示是实时图像的形式。
33.根据权利要求29至32中任一权利要求所述的设备，其中所述用户的手指在所述显示器上的表示投影到另一应用中。
34.根据权利要求29至33中任一权利要求所述的设备，其中所述处理器被配置用以在所述用户手指的表示之上显示用于向所述用户提供光学反馈的虚拟导航掩幕。
35.根据权利要求34所述的设备，其中所述虚拟导航掩幕包括虚拟输入单元。
36.根据权利要求35所述的设备，其中所述虚拟输入单元是虚拟小键盘或者键盘、图标和/或菜单项。
37.根据权利要求29至36中任一权利要求所述的设备，其中所述处理器被配置用以根据所述光学传感器生成的信号来确定手指与所述工作表面碰撞的位置。
38.根据权利要求37所述的设备，其中特定输入命令与多个指尖位置中的每个指尖位置关联，以及其中所述处理器被配置用以在朝着给定指尖位置的指尖移动被检测到时接受与相关指尖位置关联的功能。
39.根据权利要求38所述的设备，其中所述处理器被配置用以跟踪所述用户的手指或者指尖的移动。
40.根据权利要求29至39中任一权利要求所述的设备，其中所述光学传感器是通用数字相机或者摄影机。
41.一种用于在具有光学传感器和显示器的移动电子设备中生成输入的方法，包括：
以光学方式检测用户的手指在工作表面之上的移动，
在所述显示器上显示所述光学传感器捕获的用户的手指或者指尖的位置的实时表示，以及
处理作为输入的所述信号。
42.根据权利要求41所述的方法，还包括跟踪所述用户的手指的移动和/或手指速度。
43.根据权利要求41或42所述的方法，还包括根据所述光学传感器生成的信号来确定手指与所述工作表面碰撞的位置。
44.根据权利要求41至43中任一权利要求所述的方法，还包括将特定输入命令与多个指尖位置中的每个指尖位置关联。
45.根据权利要求41至44中任一权利要求所述的方法，还包括：处理来自所述光学传感器的信号以确定所述用户的指尖是否接触在所述虚拟输入设备上限定的位置，并且如果接触则确定所述虚拟输入设备的什么功能与所述位置关联。
46.根据权利要求41至45中任一权利要求所述的方法，还在所述显示器上示出用于向所述用户提供光学反馈的虚拟导航掩幕。
47.根据权利要求46所述的方法，其中所述虚拟导航掩幕包括虚拟输入单元，所述虚拟输入单元包括虚拟小键盘或者键盘、图标和/或菜单项。
48.根据权利要求47所述的方法，还包括在已经检测到朝着所述指尖位置的指尖移动以及指尖碰撞时突出显示与所述指尖位置关联的所述虚拟输入单元。
49.根据权利要求46至48中任一权利要求所述的方法，其中所述虚拟掩幕仅示出与虚拟小键盘的键关联的字符或者符号。
50.根据权利要求49所述的方法，其中所述虚拟掩幕还示出虚拟小键盘的键的键轮廓或者示出在与虚拟小键盘的键关联的字符与符号之间的分隔线。
CN200680054551XA 2006-06-15 2006-06-15 具有虚拟小键盘的移动设备 Expired - Fee Related CN101438218B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2006/005728 WO2007144014A1 (en) 2006-06-15 2006-06-15 Mobile device with virtual keypad

Publications (2)

Publication Number Publication Date
CN101438218A true CN101438218A (zh) 2009-05-20
CN101438218B CN101438218B (zh) 2011-11-23

Family

ID=36658805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680054551XA Expired - Fee Related CN101438218B (zh) 2006-06-15 2006-06-15 具有虚拟小键盘的移动设备

Country Status (4)

Country Link
US (1) US20100214267A1 (zh)
EP (1) EP2033064A1 (zh)
CN (1) CN101438218B (zh)
WO (1) WO2007144014A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810028A (zh) * 2011-06-01 2012-12-05 时代光电科技股份有限公司 浮在空中的虚拟影像的触控装置
CN104951145A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 信息处理方法和装置
CN105426713A (zh) * 2014-09-11 2016-03-23 齐科斯欧公司 用于基于触摸事件分析来区分触摸屏使用者的方法和装置
CN105892760A (zh) * 2014-12-17 2016-08-24 广东新锦光电科技有限公司 虚拟键盘控制方法及使用该方法的装置
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10642407B2 (en) 2011-10-18 2020-05-05 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8122259B2 (en) 2005-09-01 2012-02-21 Bricom Technologies Ltd Systems and algorithms for stateless biometric recognition
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9454270B2 (en) 2008-09-19 2016-09-27 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
CN104571719B (zh) 2007-09-19 2018-05-22 苹果公司 可清洁的触摸及轻敲敏感表面
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9489086B1 (en) 2013-04-29 2016-11-08 Apple Inc. Finger hover detection for improved typing
US9110590B2 (en) 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US20090153490A1 (en) * 2007-12-12 2009-06-18 Nokia Corporation Signal adaptation in response to orientation or movement of a mobile electronic device
CH707346B1 (fr) * 2008-04-04 2014-06-30 Heig Vd Haute Ecole D Ingénierie Et De Gestion Du Canton De Vaud Procédé et dispositif pour réaliser une surface tactile multipoints à partir d'une surface plane quelconque et pour détecter la position d'un objet sur une telle surface.
KR101020029B1 (ko) * 2008-07-02 2011-03-09 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서터치를 이용한 키 입력 방법
US9069390B2 (en) 2008-09-19 2015-06-30 Typesoft Technologies, Inc. Systems and methods for monitoring surface sanitation
US8797274B2 (en) * 2008-11-30 2014-08-05 Lenovo (Singapore) Pte. Ltd. Combined tap sequence and camera based user interface
US20100149100A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Electronic Devices, Systems, Methods and Computer Program Products for Detecting a User Input Device Having an Optical Marker Thereon
US20100289740A1 (en) * 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
US20110257958A1 (en) 2010-04-15 2011-10-20 Michael Rogler Kildevaeld Virtual smart phone
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
CN102467298A (zh) * 2010-11-18 2012-05-23 西安龙飞软件有限公司 一种虚拟手机键盘的实现方式
EP2482164B1 (en) * 2011-01-27 2013-05-22 Research In Motion Limited Portable electronic device and method therefor
US9417696B2 (en) 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
JP5725542B2 (ja) * 2011-02-02 2015-05-27 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音声出力装置
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8922489B2 (en) 2011-03-24 2014-12-30 Microsoft Corporation Text input using key and gesture information
US8719719B2 (en) 2011-06-17 2014-05-06 Google Inc. Graphical icon presentation
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8856674B2 (en) * 2011-09-28 2014-10-07 Blackberry Limited Electronic device and method for character deletion
US9064436B1 (en) 2012-01-06 2015-06-23 Google Inc. Text input on touch sensitive interface
US20130176202A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Menu selection using tangible interaction with mobile devices
US9367085B2 (en) 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
EP2627060A1 (en) * 2012-02-10 2013-08-14 Universität Potsdam A mobile device for wireless data communication and a method for communicating data by wireless data communication in a data communication network
US9104260B2 (en) 2012-04-10 2015-08-11 Typesoft Technologies, Inc. Systems and methods for detecting a press on a touch-sensitive surface
TWI472954B (zh) * 2012-10-09 2015-02-11 Cho Yi Lin 可承載通訊電子裝置之可攜式電子輸入裝置及其系統
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9122916B2 (en) 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
BR112015025078A2 (pt) * 2013-04-03 2017-07-18 Koninklijke Philips Nv dispositivo para cooperar, aparelho para cooperar, servidor para fornecer um perfil de um aparelho a um dispositivo, e, método para fornecer um perfil de um aparelho a um dispositivo
WO2014176370A2 (en) 2013-04-23 2014-10-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
KR20150019805A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 입력 상태 제어 방법 및 이를 지원하는 전자 장치
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US10440001B2 (en) * 2014-06-18 2019-10-08 Dell Products, Lp Method to securely authenticate management server over un-encrypted remote console connection
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10591580B2 (en) 2014-09-23 2020-03-17 Hewlett-Packard Development Company, L.P. Determining location using time difference of arrival
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10379639B2 (en) 2015-07-29 2019-08-13 International Business Machines Corporation Single-hand, full-screen interaction on a mobile device
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
NL2021416B1 (en) * 2018-08-01 2020-02-12 Fnv Ip Bv Receiver for Providing an Activation Signal to a Device
WO2024049463A1 (en) * 2022-08-30 2024-03-07 Google Llc Virtual keyboard

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI990676A (fi) * 1999-03-26 2000-09-27 Nokia Mobile Phones Ltd Syöttöjärjestely tiedon käsisyöttöä varten ja matkapuhelin
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US20030132921A1 (en) * 1999-11-04 2003-07-17 Torunoglu Ilhami Hasan Portable sensory input device
US6690618B2 (en) * 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810028A (zh) * 2011-06-01 2012-12-05 时代光电科技股份有限公司 浮在空中的虚拟影像的触控装置
US10642407B2 (en) 2011-10-18 2020-05-05 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
CN104951145A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 信息处理方法和装置
CN105426713A (zh) * 2014-09-11 2016-03-23 齐科斯欧公司 用于基于触摸事件分析来区分触摸屏使用者的方法和装置
CN105426713B (zh) * 2014-09-11 2018-10-16 齐科斯欧公司 用于基于触摸事件分析来区分触摸屏使用者的方法和装置
US10599251B2 (en) 2014-09-11 2020-03-24 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN105892760A (zh) * 2014-12-17 2016-08-24 广东新锦光电科技有限公司 虚拟键盘控制方法及使用该方法的装置
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11543922B2 (en) 2019-06-28 2023-01-03 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Also Published As

Publication number Publication date
EP2033064A1 (en) 2009-03-11
WO2007144014A1 (en) 2007-12-21
CN101438218B (zh) 2011-11-23
US20100214267A1 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
CN101438218B (zh) 具有虚拟小键盘的移动设备
KR100724939B1 (ko) 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
CN101809524B (zh) 用于字符输入的方法和设备
JP4679342B2 (ja) 仮想キー入力装置及び情報端末装置
US20090315690A1 (en) Portable terminal
US8886264B2 (en) Portable electronic apparatus
US20050185788A1 (en) Keypad adapted for use in dual orientations
US20080214160A1 (en) Motion-controlled audio output
CN105204808B (zh) 图片的投射方法、装置及终端设备
CN101452356A (zh) 输入装置、显示装置、输入方法、显示方法及程序
JP2008532446A (ja) タップ音検出回路を備える通信端末
US20140324412A1 (en) Translation device, translation system, translation method and program
CN111638779A (zh) 音频播放控制方法、装置、电子设备及可读存储介质
CN110602389B (zh) 一种显示方法及电子设备
CN108538284A (zh) 同声翻译结果的展现方法及装置、同声翻译方法及装置
CN108023994B (zh) 一种侧键结构及具有所述侧键结构的移动终端
CN108519855A (zh) 字符输入方法及装置
CN109686359B (zh) 语音输出方法、终端及计算机可读存储介质
CN108182002A (zh) 输入键的布局方法、装置、设备和存储介质
CN110780751B (zh) 一种信息处理方法及电子设备
CN107613109A (zh) 移动终端的输入方法、移动终端和计算机存储介质
KR101521913B1 (ko) 이동 단말기 및 이동 단말기의 유저 인터페이스
KR101739387B1 (ko) 이동 단말기 및 그것의 제어 방법
CN110244859A (zh) 一种自定义输入法候选项的方法以及装置
KR100640402B1 (ko) 입력 인터페이스 모드에 따라 전자 터치 인터페이스들을화면과 별도의 영역에 가변적으로 표시할 수 있는 휴대용단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111123

Termination date: 20120615