CN101589425A - 将数据输入计算系统的系统和方法 - Google Patents

将数据输入计算系统的系统和方法 Download PDF

Info

Publication number
CN101589425A
CN101589425A CNA2007800136315A CN200780013631A CN101589425A CN 101589425 A CN101589425 A CN 101589425A CN A2007800136315 A CNA2007800136315 A CN A2007800136315A CN 200780013631 A CN200780013631 A CN 200780013631A CN 101589425 A CN101589425 A CN 101589425A
Authority
CN
China
Prior art keywords
keyboard
user
hand
posture
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800136315A
Other languages
English (en)
Inventor
H·科亨
G·巴尔-萨凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FTK TECHNOLOGIES Ltd
Original Assignee
FTK TECHNOLOGIES Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FTK TECHNOLOGIES Ltd filed Critical FTK TECHNOLOGIES Ltd
Publication of CN101589425A publication Critical patent/CN101589425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种使数据能够录入到计算系统中的系统和方法。该系统包括控制器，其在功能上耦合到图像获取设备，并用于基于所获取的由所述图像获取设备捕获的图像，设置输入按键或整个键盘布局的映射。所述系统可以捕获所选择的视场内的用户的移动和/或姿势的图像，并且可以处理这些图像以根据所述移动来识别并执行命令。

Description

将数据输入计算系统的系统和方法
技术领域
本公开一般涉及数据输入设备的领域。更具体地，本公开涉及有助于多种语言的数据输入的方法，并涉及利用该多种语言的数据输入的方法的系统。
背景技术
使用具有按键的数据输入设备，例如字母数字键盘、触摸板或触摸屏，在本文被统称为“键盘”，将信息输入电子系统比如个人电脑(PC)、移动电话、掌上电脑、飞机计算机等等，自从发明PC以来其没有发生过重大的改变。
由于键盘被设计用来输入比如文本和其他类型的字符(在下文中统称为“符号”或“按键标签”)的数据，以及还用来控制计算机的操作，几乎每个计算机都配备键盘作为用户与计算机之间交互的主要形式。物理上，计算机键盘是矩形的或近似矩形的多个按钮(或称为“按键”)的排列。键盘通常在每个按键上具有一个或多个雕刻的、印刷的或用别的方法标记的符号；在多数情形下，按键的每次按下对应于单个符号被输入到计算机中，并且在许多情形下，显示在计算机的显示屏上。但是，一些符号的生成要求同时或依次按下并按住数个按键。其他的按键当被按下的时可以产生动作，并且通过同时按下多于一个的动作按键，其他的动作将是可用的。
存在大量不同的键盘布局(按键的安排和按键上的符号的分配)。不同的键盘布局的需求的出现，是由于不同的人们可能需要使用不同的符号集合；通常，这是因为他们使用不同的语言来书写/读。取决于应用的情况，键盘上的按键的数目一般变化范围从标准的101个按键至104个windows按键的键盘一直到130个具有一些可编程按键的按键。还有少于90个按键的小型的变型；它们通常出现在膝上型电脑或具有空间限制的台式计算机中。在大多数英语语言计算机和打字机键盘上的大多数普通的当今键盘布局的按键布局被称作QWERTY设计，其来自出现在键盘顶行字母的前六个字母。
大多数信息或数据通常使用具有固定按键功能的键盘被打入或键入。特别是对于PC，双语键盘通常具有与英语字母表一起标记在键盘的按键上的第二语言字母表符号，或允许改变语言的可替代的布局，其一般采用通过软件指令来实现在每个按键的双语功能之间的切换。在标准的键盘中，用户通常可以看到在每个可按压的按键上多达三个的符号，定义由不同的软件和系统操作方法提供的不同的语言和选项。计算机鼠标也可以独立地用于选择选单类选项和图形命令输入。
标准的键盘受到许多缺陷和限制。例如，标准的键盘通常包含功能键，例如其具有F1至F12的符号，其隐藏了用不同的指令定义的功能。经常，用户不得不学习并记住这些隐藏的功能，或从查找表格、“帮助”目录或者从其他的来源得到他们的含义。但是，这种键盘按键的数量是受限的，因此功能键的数量也是受限的。通常，非专业打字员不得不通过在放在桌子上的键盘与通常放在桌子前面且更高处的PC监视屏之间频繁转移他的视线来跟随打字活动。特别是对于双语键盘，视线频繁转移并且“Alt+Shift”和“大写锁定”功能的频繁的无反馈使用将导致打字时出现错误。随着因特网广泛使用的到来，要求PC用户使用传统的键盘，用于越来越复杂的输入命令，或记住每个按键更多“隐藏的”功能。
与本公开相同的发明人的美国专利号6,611,253描述了虚拟输入环境和创建具有可改变的按键显示的输入单元的方法和系统。然而，美国6,611,253没有教导使用手势控制虚拟键盘的布局，它也没有教导虚拟手的出现可以取决于所使用的虚拟键盘的布局。此外，美国专利序列号6,611,253没有评估先前的命令来预测当前或未来的命令或用户的请求。
对于一些语言，如上所述，例如俄语和希伯来语，硬件键盘一般具有与英语字母表一起蚀刻在键盘按键上的第二语言字母表符号。在一些所使用语言具有大的字母表和/或许多字符(例如超过50个字符)的国家，键盘一般只包括英语字母，因为在物理键盘上无法显示其他语言的所有字母。该情形给这类语言的用户执行这类语言的数据录入任务造成巨大的问题。
该问题严重的国家的一个实例是印度，其是个具有22种宪法性语言和10种不同的文字的使用多语言国家。下面给出18种宪法性印度语言并在括号中给出他们的文字：印地语(天诚文)、孔卡尼语(天诚文)、马拉地语(天诚文)、尼泊尔语(天诚文)、梵语(天诚文)、信德语(天诚文/乌尔都语)、克什米尔语(天诚文/乌尔都语)、阿萨姆语(阿萨姆语)、曼尼普尔语(曼尼普尔语)、孟加拉语(孟加拉语)、奥利亚语(奥利亚语)、古吉拉特语(古吉拉特语)、旁遮普语(果鲁穆奇语)、泰卢固语(泰卢固语)、卡纳达语(卡纳达语)、泰米尔语(泰米尔语)、马拉雅拉姆语(马拉雅拉姆语)和乌尔都语(乌尔都语)。印度文字通常具有12-15个元音、35-40个辅音和一些注音标记。除此之外，对于每个元音，存在对应的修饰符，以及对于每个辅音，存在对应的纯辅音形式(叫做半形字母)。这使得被需要来输入这类语言的全部符号集大于正常键盘能够容纳的符号。在印度，例如，为了试图为键盘的不足提供解决方案，不同的印度语言的文字处理软件与硬拷贝的“映射图”来一起分发，其指示隐藏在每个英语字母后面的印度语字母。在不同的印度语的文字处理软件分发者之中大约50个硬拷贝映射图可用，但是硬件制造商一般并不提供具有印度语言布局的键盘。超过95％的印度人口通常被剥夺了基于英语的信息技术的益处。
发明内容
下面的实施例及其情况与系统、工具和方法一同描述并说明，其表示示例性和说明性的含义，而不是限制范围。在各种实施例中，一个或多个上面所述的问题得到了缓解或消除，而其他实施例则产生了其他的益处或改进。
根据本公开的一些实施例，给出了将数据输入到计算机系统的系统和方法。本文公开的系统可以包括用于基于与获得的图像相关联的信号来设置和显示输入按键的图或键盘的全部(或部分)布局的控制器；以及在功能上耦合至该控制器并用于为该控制器提供涉及或关于所获取图像的信号的图像获取设备。系统可以捕捉并识别、辨认或解释一个或多个姿势，例如，通过用户手部、手指或身体的其他部位生成或完成的姿势，以及依照这些姿势来执行命令。相应地，“识别、辨认或解释”表示将给定的姿势或姿势的组合(由控制器)关联到特定的命令。系统可以包括监视器或显示屏，用来优选地实时显示虚拟键盘以及模拟用户物理的手的位置和/或移动的虚拟手。
在一些实施例中，按键或按键标签的含义在虚拟键盘上可以根据用户的命令被动态地更新(改变)。可替换地，全部或仅仅部分虚拟键盘的布局可以根据用户的命令被动态地更新(改变)。例如，虚拟键盘可以根据用户手部的位置和/或移动动态地更新(改变)。
在一些实施例中，系统可以包括评估和可预测性软件应用(控制器可以用于)来基于用户先前的命令，评估、预测或另外地确定所预见的随后在虚拟键盘上所要求的按键和/或所预见的随后在虚拟键盘上所要求的布局。在一些实施例中，手的移动或其他的姿势可以实现鼠标类型的导航(navigation)。
作为本公开的一部分，提供了一种方法来将数据输入到计算机系统。在一些实施例中，此方法可以包括获取部分的用户身体和物理键盘的图像，以及基于所获得的图像设置并显示按键的映射。该方法还可以包括处理和解释涉及或关于所获得的图像的信号，使得能够根据该信号输入所选择的命令和/或符号。此方法还包括使用键盘识别功能来识别置于图像获取设备的视场(FOV)内的物理键盘的按键；处理至少一个用户手部的图像来确定相对于物理键盘的手的位置和/或手的移动；以及在相应的显示屏上，例如在计算机显示器或在计算机显示对象上，显示在虚拟键盘上的至少一个手的位置移动。
在一些实施例中，此方法可以包括在虚拟键盘上动态地更新按键标签来作为对于所处理图像的响应，和/或动态地更新虚拟键盘全部或部分的键盘布局来作为对于所处理图像的响应。
在一些实施例中，此方法可以包括手的移动，其期望来使用虚拟鼠标来实现鼠标类型的导航，和/或其他的身体移动，其可以被解释为用户的输入命令和/或数据。术语“其他的身体移动”可以表示，例如，手的移动、头的移动、眼睛的移动、嘴巴的移动或可以指示用户命令和/或数据录入的其他类型的移动。
除了上述示例性的情况和实施例，进一步的情况和实施例将通过参照附图以及研究下面的详细说明而变得明显。
附图说明
简略的示例性实施例在参考的附图中说明。本文所公开的实施例和附图是要被考虑为说明性而非限制性的。然而，本发明的组织和操作方法，以及与其对象、特征和益处一起可以通过阅读附图时参考下面的详细说明而获得最佳的理解，其中：
图1A和1B是根据本公开的一些实施例的虚拟键盘的图形示例；
图1C是根据一些实施例的具有有限数目的印地语字符的键盘的图形实例，其可以被利用作为物理的和/或虚拟的键盘；
图1D示出根据一些实施例的可以用于指示输入的命令和/或数据的各种基于手指的信号或姿势的一组示例性图形视图；
图1E和1F示出根据本公开的一些实施例，基于与所获取的图像相关联的信号对输入按键进行映射的实例，以及基于与所获取的图像相关的信号的输入按键的图的实例；
图2A示出根据本公开的一些实施例操作数据录入系统的示例性流程图；
图2B示意性地说明根据本公开的一些实施例的数据录入系统的一般布局和功能；以及
图3示意性地说明根据本公开的其他实施例的数据录入系统的一般布局和功能。
将会理解，为了说明的简明和清楚，图中示出的元件并不一定依据比例而绘出。例如，为了清楚，一些元件的尺寸相对于其他元件可能被放大了。此外，当被认为是适当时，参考数字在附图之间可以被重复，来在整个视图系列中表示相应的或类似的元件。
具体实施方式
虽然上面讨论了多个示例性的情况和实施例，本领域技术人员将认识到特定的修改、排列、增加及其子组合。因此下面所附的权利要求以及今后提出的权利要求是要被解释为将所有这种修改、排列、增加及其子组合包括在它们真正的实质和范围内。
除非另有明文叙述，从下述讨论中明显可见，整个说明书叙述中使用的例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”等表示计算机、计算机系统或者类似的电子计算设备的动作和/或过程，其将在计算系统的寄存器和/或存储器中的表示为物理量(例如电的量)的数据进行操作和/或转换成其他的在计算系统的存储器、寄存器或其他这样的信息存储装置、传输或显示设备中类似地表示为物理量的数据。
本文给出的平台、过程和显示器并不固有地与任何特定的计算机或其他装置相关。各种通用计算平台和网络设备可以与根据本文教导的程序一同使用，或者构建更为专用的装置来执行需要的方法可能被证明是方便的。各种这些系统想要的结构将从下面描述中可见。此外，实施例并不涉及任何特定的编程语言来描述。将会理解各种程序设计语言可以用于实现本文所描述本公开的教导。
在下面的详细说明中，给出了许多特定的细节，以提供对于各个实施例的全面理解。然而，本领域技术人员将会理解所描述的实施例可以不需要这些特定细节来实施。
本文所使用的术语“姿势”可以至少包括由人的身体部分操作键盘而引起的移动和/或信号和/或指示和/或手势和/或指令和/或请求等等。“命令”在本文意思是使用姿势、姿势的系列或姿势的组合，来指示、请求或命令计算机改变所选择的按键的含义或解释(分配或再分配符号)，根据该姿势、姿势的系列或姿势的组合来改变整个键盘布局的含义或解释。此处，按键的含义或解释(计算机解释按键被按下时的方式)，在给定的时刻，可以是物理上标记在按键上的符号(开头或默认的符号)，或是由计算机根据特定的命令分配(或再分配)给按键的不同符号。
本文所述实施例可以有助于人机交互问题中的改善，该人机交互问题特别地但不仅仅地与具有许多符号的语言相关。这些实施例提高了数据输入的速度，提供了语言数据录入的任务的完整的解决方案，充分减少了打字错误的数量，并且通过提供对用户友好的数据输入环境，改进了语言的文字处理软件的可用性。
参照图1A，根据本公开的一些实施例的示例性数据输入系统部分地被描述。数据输入系统100可以包括至少一个图像获取或捕捉设备，比如图像获取设备110，其可以是，例如数码相机、摄相机、个人计算机摄像头、网络摄像头等等，其可以被设置在例如计算机显示监视器120上。当然，图像获取设备110可以位于不同的位置，只要用户手部或用于该目的的用户身体的其他部分的位置、地点、移动和姿势是清晰可见的；即，他们出现在图像获取设备110的视场内。数据输入系统100可以进一步包括与图像获取设备100相关联或功能上耦合到图像获取设备110的控制器(未示出)，并且该控制器用于基于由图像获取设备110生成并输出到该控制器的信号来设置按键的映射或整个键盘布局的映射，该信号表示图像获取设备110视场内的关于并包括姿势或移动的图像。“设置映射”在本文中一般表示取决于姿势将特定的符号分配给特定的按键(或者将一组特定的符号分配给相应的特定按键)。更具体地，按键的映射可以包括根据用户(比如仅示出其(真实的)手放在物理键盘130上131和132处的用户)所作出的或与其相关联的移动或姿势来改变分配给该按键的符号的含义。控制器可以是构成计算机的组成部分，或者被嵌入、被并入或附属于计算机(PC、膝上型电脑等等)，该计算机从键盘(比如键盘130)获得输入信号，并且操作显示屏(比如显示屏120)。
当由图像获取设备110获取的与手131和132的图像相关的信号被不断地或间歇地转发给数据输入系统100以用于处理和解释时，用户(未示出)可以参照或相对于物理键盘130将他的手131和/或132从一个位置移动到另一个位置。数据输入系统100可以处理和解释与所获取的图像相关的信号，来识别由用户通过他的手或身体的其他部分作出的姿势和/或移动，以及根据姿势和/或移动来执行命令，或者执行与姿势和/或移动有关的命令。物理键盘130可以是标准键盘(其上具有所标记的符号)、空白键盘(按键上没有标记的键盘)、纸质键盘(例如具有任何数目按键的键盘的图)、触摸板、小键盘(keypad)、假想键盘(平坦无遮盖的表面，比如桌子或板)等等。数据输入系统100也可以利用适用于所处理的语言(例如英语、印地语和德语)的文字应用程序。
在一些实施例中，数据输入系统100的控制器可以利用数字信号处理(“DSP”)技术来处理由图像获取设备110所捕获的图像，以及利用模拟技术将相应的虚拟键盘(比如虚拟键盘140)显示在计算机屏幕(比如计算机屏幕120)上。在这些实施例的一些方面中，虚拟键盘140上的按键的数目、大小和间距可以充分模仿物理键盘130的相应特征以便于用户的定位。根据其他的方面，虚拟键盘140上的按键的数目、大小或间距可以与物理键盘130的相应特征有所不同。数据输入系统100的控制器可以使分配给按键的符号或含义和/或分配给虚拟键盘140的整个布局的符号或含义，依照对应的用户的姿势或移动来进行改变，所述姿势或移动可以由数据输入系统100的控制器根据所获取或捕获的图像来识别、辨认或解释。
在本公开的一些实施例中，数据输入系统100的控制器可以利用模拟技术来创建并处理虚拟手，并使虚拟手根据用户的(真实的、物理的)手的位置、地点和移动在显示屏上出现并移动。例如，图1A中所示的虚拟手121和122分别表现用户的手131和132。虚拟键盘140和/或虚拟手121和/或122可以被相同或不同地缩放以助于容易的数据输入。
为了通过利用数据输入系统100来输入所请求语言的数据，用户可以在图像获取设备110的视场内放置他的手，如131和132所示出，并且作出与所请求的语言相关联的姿势、姿势的系列或组合。姿势、姿势系列或姿势组合然后可以被数据输入系统100的控制器辨认或解释为与所请求的语言相关联。响应于对姿势、姿势系列或组合的辨认或解释，数据输入系统100的控制器可以将组成所请求的语言的符号分配给虚拟键盘140上选定的按键，并且采用当前被请求所分配到的符号来显示虚拟键盘的布局。可以说，数据输入系统100的控制器已经设置了键盘布局的映射，其对应与所请求的语言。一旦所请求的语言响应于用户的命令，已经被数据输入系统100的控制器设置，用户可以通过观察虚拟键盘140上的按键，并在物理键盘130上移动他的手(131或132)或其某些手指，来将数据输入到数据输入系统100中。
用户可以移动他的手或其某些手指，直到相应的虚拟手(121或122)或其相对应的虚拟手指到达虚拟键140上将被按下的下一个按键的附近并且虚拟手121或122的手指与该按键叠加。然后用户可以按下在物理键盘上130位于与同虚拟键盘140上所请求的按键叠加的虚拟手指相对应或者相关联的手指下方的按键。上述步骤可以依照输入另外的符号所要求的被重复那样多次。用户要是希望改变为或设置成不同的语言，用户可以摆出对应于不同的语言的姿势、姿势系列或组合。每次数据输入系统100的控制器被请求来设置不同的按键的映射以设置不同的语言，控制器可以启用对应的文字应用程序/处理程序。例如，如果数据输入系统100的控制器被请求从法语改变为英语，那么控制器可以禁用法语文字应用程序/处理程序，并启用英语应用程序/处理程序。物理键盘130在功能上耦合岛数据输入系统100的控制器，或耦合到数据输入系统100的控制器所驻留在其中的计算机，用于将表示与物理键盘130中的按键相关联的默认符号或功能的信号转发给控制器。尽管如此，数据输入系统100的控制器被用于或被设定来根据当前的映射设置来解释被从物理键盘130转发至其的信号。
数据输入系统100具有数个较现有技术解决方案的益处。例如，将数据输入该系统的用户不必在物理键盘(例如键盘130)和显示打字结果的屏幕(例如显示屏120)之间来回地转移视线。相反，用户可以只盯着虚拟键盘(例如虚拟键盘140)，并观看相对于他的(真实的)手(例如手131和132)的位置和移动而定位和移动的虚拟手(例如虚拟手121和122)。
一般来说，符号和功能可以取决于用户请求(通过执行相应的移动或姿势)的语言、模式或功能而分配给按键，使得给定的按键在它已经被分配给新的语言、模式或功能之后被用户按下时，将被数据输入系统100的控制器以不同的方式来解释。响应于用户发出或摆出的命令，数据输入系统100的控制器可以改变虚拟布局(比如虚拟布局140)的外观。例如，控制器可以改变键盘的结构或按键的排列，例如，取决于需要的的应用程序，通过改变虚拟键盘上的按键的数目、大小、间距和/或按键的放置。根据一些实施例，虚拟键盘的布局可以根据用户手部的实时模拟和用户手部在物理键盘上的放置和移动来改变，无论键盘是真实的(其具有实际的标记在相应的按键上的标签)、空白的或纸质的键盘。数据输入系统100的另一个优势是，同一个的物理键盘(例如物理键盘130)可以用来输入与可用的文字应用程序/处理程序的数目一样多组的符号(每一组属于不同的语言)。
在一些实施例中，通过一起捕获用户手部的位置(如以上所述)与键盘按键块(可按下的按钮)的图像，数据输入系统100的控制器可以在任何给定的时刻并且实时地，确定用户手部和手指的位置和/或移动，然后通过在虚拟键盘140的按键上的适合的位置显示虚拟手指来模拟它们。这允许用户在监视器120上查看他的/她的手的放置和移动，因此，在用户按下按键且不必向下看物理键盘(例如键盘130)之前，无论选定了何种语言，在任何给定的时刻，给予了用户对于他的/她的手指在物理键盘130的任何按键上面的放置位置的确信。当真实的手指(例如手131的手指)在物理键盘上移动并在物理键盘(比如物理键盘130)上按下按键或接触其上的区域时，控制器可以使虚拟手(例如手121和122)来模拟有关虚拟键盘的手指的移动和形状。
在其他的实施例中，数据输入系统100可以使得能够进行处理单手或双手以及其他的身体移动的图像。例如，在一些实施例中，数据输入系统100可以捕获和处理头部移动、眼部移动、嘴部移动或其它的移动来指示用户命令、信号和/或数据录入。如果需要，另外的图像获取设备比如图像获取设备110，可以在用户身体的不同部分无法置于单个图像获取设备的视场内的情形下被使用。这样的情形下，每个图像获取设备可以在空间上放置，来获取与不同的身体部分相关的图像。
参照图1B，根据本公开的一些实施例示出了示例性虚拟键盘和虚拟手。所示显示在计算机屏幕155上的虚拟键盘150可以被数据输入系统的控制器调整、调适或修改来成为所要求或所需要的一样大小。控制器也可以改变相对于屏幕155的虚拟键盘150的位置。所示虚拟键盘150显示了当前的印度语言键盘设置或布局，其可能由所采用的语言/文字组(例如50种选项中的)所定义，或者由为功能键或所配置的键盘而定义的宏所定义。当物理手指在物理键盘(比如图1A的物理键盘130)上从一个按键被移动到另一个按键以及后面的按键被按下时，可以发生对于虚拟键盘150的对应的图形变化，其导致手(如在图1B中所示的160)在虚拟键盘150上从一个位置到另一个位置的移动，该移动模拟或者反映用户手部移动到适合的(所期望的)物理按键。在一些实施例中，数据输入系统的控制器可以根据用户发出的直接的命令或根据这一命令的结果，改变用户手部160的外观。“根据用户发出的直接的命令”的意思是(就后面的实施例而言)按下物理键盘上其作用为改变虚拟手的外观的按键，而“根据这一命令的结果”的意思是(就后来的实施例而言)向控制器发出命令来改变语言(如以上所述，通过摆出姿势或移动)并且同时根据正在使用的语言(由控制器)改变虚拟手的外观。改变虚拟手的外观可以包括，例如，使虚拟手变得透明或部分变得透明，从而允许用户充分地查看虚拟键盘150的全部区域。在图1B中所示的透明的虚拟手160叠加在虚拟键盘150上。根据当前分配给虚拟键盘布局150的印地语，所示文本151由印地语的符号组成。
参照图1C，根据本公开的一些实施例，叠加在不同的虚拟键盘上的虚拟手的三个实例被示出。数据输入系统，比如图1A的数据输入系统100，可以允许用户改变虚拟键盘(比如虚拟键盘150)的标签和/或布局。如果用户想要使用印度语言(具有在图1C所表示的情形下的天诚文文字的印地语言)写文档，通过使用“KA”+“HALANT”组合(Windows中的“K”+“D”按键)，他/她可以从第一布局切换至第二布局(例如从键盘布局170切换至键盘布局170)，虚拟键盘上的某些或所有按键的外观，可以相应地改变有关的按键和/或语言和/或模式和/或将使用的文字的布局或映射(例如，在图1C所表示情形下的“HALANT形式的KA”)。
在其他的实施例中，用户可以改变键盘的模式或功能，例如，通过采用他/她的手/手指的适合的姿势来指示，她/他可以在虚拟键盘上的按键的语言、字符、字母、图形等等之间进行改变。另外，虚拟手的外观和/或透明程度可以根据所使用的实际键盘来改变。例如，所示的虚拟手172比虚拟手173的透明程度低，因为他们各自与不同的键盘布局有关(分别涉及键盘170和171)。所示虚拟键盘175只具有6个选定的符号(共同地指定为174)。虚拟键盘175可以被示为半透明的。
参照图1D，其描述了信号或姿势的实例，用户可能向图像获取设备(比如图像获取设备110)摆出该姿势，命令数据输入系统(比如数据输入系统100)改变语言、模式，录入数据，改变功能等等。例如，用户可以使用对象和/或他/她的左手来创建所选定的可由图像获取设备捕获的信号/姿势，使得虚拟键盘的按键按需要地被映射。例如，图1D描绘了10个示例性手势，例如，每个手势分配到唯一的手势号码。每个手势号码可以与由数据输入系统的控制器来执行或采取的特定的命令或动作相关联。例如，在182处所示的与手势描述181相关联的5号手势可以指示来命令或发信号给数据输入系统的控制器，使其例如从一种语言到另一种语言改变虚拟键盘的布局或映射(例如图1B的虚拟键盘150的布局)。此后，用户可以使用改变后的虚拟布局在物理键盘上移动他的手/手指来录入(打入)其他语言的字符或符号，来创建相应的与改变后的虚拟键盘相关而移动的虚拟手。因而，通过数据输入系统(比如数据输入系统100)对信号、命令、指令等等的识别，可以首先通过识别或辨认手势或信号(由图像获取设备进行，比如图1A的图像获取设备110)，然后通过将手势解释成对应的手势号码以及如上文所述使用手势来实现。
图1A的数据输入系统100可以被用户指示(通过将对应的姿势或移动显示给图像获取设备110)来手动地、自动地或在选定的命令之后，例如在物理键盘上按下“重置”按钮之后，接收信号。由身体的部分和/或对象等等作出的任何号码和类型的手势、信号和/或移动和/或其他适合的信号和/或姿势和/或移动，可以用作对于数据输入系统的控制器的命令。例如，左手和/或右手的位置和/或移动可以被捕获，如同用户可以用来指示命令的面部移动、头部移动、手指移动、肩部移动或其它适合的移动一样可以被捕获。这样，数据输入系统可以允许用户以最小数目的击键或其他动作，改变虚拟键盘(比如图1B的虚拟键盘150)中按键的布局、模式、功能等等。
在一个实例中，用户可以作出与所选择的布局相关联的姿势，以及然后后续地敲入一个或多个按键来录入所需的数据。这样的其通常会要求数个按键录入来改变布局、按键等等并且在所需的布局处到达的数据录入，可以通过采用姿势的组合并敲入选定的按键来完成。例如，当用户期望录入印地语字符时，其存在比物理键盘上的按键更多的字符，用户可以使用姿势或信号来录入命令，例如，在虚拟键盘上改变键盘按键的标签和/或布局。在虚拟键盘上的这个改变可以使所需的字符被显示在虚拟键盘上，使得最小数目的击键被要求来录入选定的按键。因此，可以只要求一次击键来录入从一组具有许多截然不同的字符的语言的字符集中任何选定的字符。其他的动作和/或动作的组合也可以被实现。
根据一些实施例，数据输入系统可以包括评估和可预测性应用程序，用于帮助数据输入系统的控制器确定可能随后为用户所要求或所需要的预见的按键和/或键盘布局(映射)。可预测性可以基于对用户的先前的命令的评估，例如，先前通过使用手势、移动、鼠标移动、按键录入等等发出的命令。例如，如果当前具有许多字符的语言在被使用，该当前被使用的语言的文字应用程序可以将两个或多个特定的按键的组合解释为等同于选定的字符的录入。可预测性应用程序可以，例如在敲击组合按键的第一个按键之后，自动更新其他相关的按键，来完成由第一个按键和各种其他按键的组合而产生的可能的功能。例如，如果敲击“A”然后各种其他的按键将录入命令的选择，那么“A”便起各种各样的功能键的作用。当用户录入“A”时，虚拟键盘可以被立即改变为显示可以与“A”相结合来被录入的所有相关的命令或按键。这样，用户不需要记住或使用物理的表格来发现按键的组合；相反地，相关的组合可以实时在虚拟键盘上被动态地更新。
现在参照图1E，根据本公开的一些实施例举例说明了两种比较方法的表。表格190描述了一些印度语言符号和需要被输入来获得印度语言符号的相应的英语字母。根据示例性表格190，印度语言字符可以使用常规的方法来被表示、使用和获得，根据该方法单个或两个、三个、四个或五个英语字母或标记的组合需要被打入(录入或键入)。例如，通过录入字母“s”(194)可得到字符193，以及通过录入字母的组合“s/t/r”(196)可得到字符195。因而，获得字母195需要5此击键。
表格191描述了通过结合相应的手势只录入一个英语字符(单次敲击实现)来获得相同的印度语言字符(在197示出)的方法。例如，字符193如以前(194)一样通过录入字符“s”(198)获得，而不使用任何手势，因为使用一个字符(194或198)便已足够简单。但是，不同于使用5次击键(196)来获得字符195，只需要结合手势199(在这个实例中为手势3)录入一个字符(例如字符“s”)便可获得字符195。
现在参照图1F，数个映射的实例被示意地说明和描述，其对应于图1E中示出的印度语言字符。图1F将结合图1E被描述。在实例中，初始或默认的英语字符“S”被示意性地示出(在184)已分配了印度语言字符183，因为根据这个实例，字符“S”未采用任何手势(在两个图的185处“手势”为“无”)而被录入。在另一个实例中，初始或默认英语字符“S”被示意性地示出(在186)已分配了印度语言字符187，因为根据这个实例，字符“S”采用了手势(在两个图的188，“手势”为“没有”)而被录入。
参照图2A，示意地说明了一系列操作或过程，其可以被实现来操作数据录入系统。在方框200，用户可以在他/她的计算机上设定或初始化数据输入系统的软件。一旦软件被执行并工作，标定屏可以被示出，指示系统正在开始或已经开始操作。在方框205，用户可以在摄像仪的视界内放置真实的(物理的)键盘。在方框210，数据输入系统可以使用键盘识别功能来识别例如键盘的位置和按键，以及随后可以通知用户键盘已经被识别以及数据输入系统做好了操作准备。
在方框215，用户可以将他的/她的手放在图像获取设备的视觉范围内。在方框220数据输入系统可以捕获并
在方框215，用户可以将他的/她的手放在图像获取设备的视觉范围内。在方框220数据输入系统可以捕获并处理手的图像，之后数据输入系统可以通知用户手的识别已经完成。在方框225，用户可以根据实际所使用的语言来操作文字处理应用程序。在方框230，数据输入系统可以在数据输入系统的显示器上根据所选择的文字处理应用程序以一组默认的按键来显示虚拟键盘。用户可以在观看虚拟键盘上他的/她的手具有相互关系的移动的同时，在真实的键盘上键入命令，按要求采用被选择的语言来录入数据。虚拟键盘可以描绘出虚拟的手指主动地移动来按下所选择的按键，从而指示实际录入的命令。
在方框235，如果用户希望改变键盘的模式、语言、输入命令等等，用户可以通过使用单手或双手(或身体的其他部分)来产生被选择的信号。信号可以从一组预先设置的信号或动作中选择。在方框240，数据输入系统可以捕获并处理手的信号，并录入所要求的用户命令或数据。在方框245，按键和/或虚拟键盘的布局可以根据用户的命令来改变，例如通过录入功能键、按键的组合、鼠标动作或命令、按键录入和鼠标动作的组合等等。可以实现上述步骤的任何组合。此外，代替前面所述步骤和/或除此之外，可以使用其他步骤或步骤的系列。
在其他实施例中，该方法可以使得能够处理单手或双手的移动，以及同样地身体的其他移动。例如，在一些实施例中，该方法可以捕获并处理头部移动、眼部移动、嘴巴移动或其他指示用户命令、信号和/或数据录入的移动。
参见图2B，根据一些实施例示意地示出并描述了数据输入系统的一般布局和功能。在方框260，图像获取设备290可以捕获由用户(未示出)的手292产生或摆出的姿势。在方框265，捕获的姿势可以被识别为，例如图1D中的3号姿势。在方框270，虚拟键盘(291)可以被改变为显示(例如)3号布局，其对应于3号姿势。相应地，在方框275，文字处理软件可以改变为第3操作模式(改变语言)。在方框280，用户可以按下物理键盘293上的按键。在方框285，数据输入系统201的控制器(未示出)在其使虚拟手294的位置和移动与使用数据输入系统201的用户的物理的手292的位置和移动充分地相互关联的同时，可以模拟并显示用户的手指(在294处示出)在虚拟键盘291上敲击相应的按键。其他的步骤或步骤的系列也可以使用。计算机286可以在功能上耦合到物理键盘293，从物理键盘293计算机286可以接收表示被按下的按键的信号，以及在功能上耦合到显示屏295，从显示屏295计算机286可以转发虚拟手和虚拟键盘的图像及其他。
参见图3，根据本公开的一些实施例示出并描述了类似于鼠标的实现。作为本公开的一部分，虚拟手可以模拟或者模仿类似于鼠标的导航；用户可以将数据录入计算机(304)并/或通过使用虚拟鼠标来操作图形应用程序。计算机304包括数据306的控制器(未示出)。在方框300，图像获取设备301可以捕获用户的移动或身体的部分，例如手(在302处示出)，其可以移动以便实现鼠标类型的导航。在方框305，手的移动的方向，在例如X-Y平面上被观测并被转发给计算机304。另外地或可替换地，在方框310，用户的姿势或移动可以被图像获取设备301捕获。在方框315，捕获的姿势的图像可以被处理以录入用户的命令和/或数据。在方框320，命令和/或数据等可以被录入到计算机304中，在那里它们可以被相应地执行，例如通过在显示器303上导航、改变模式和/或功能、录入特定的命令等等。
计算机的屏幕(例如图2B的显示屏295或图3的显示屏303)、物理键盘(例如图2B的物理键盘293)和图像获取设备(例如图2B的图像获取设备290或图3的图像获取设备301)，可以是任何适合的传统显示屏、物理键盘或图像获取设备。图2B的计算机286或图3的计算机304可以是任何适合的传统的计算机，其要求是它除了通常的硬件和软件组件之外，还包括所要求的用于分析所获取的图像来确定用户产生或摆出的移动和姿势以及用于生成以及一般地处理虚拟键盘和虚拟手的支持虚拟现实的硬件和软件应用程序。
前面对各种实施例的描述是基于说明和描述的目的而给出的。其不是要将本公开穷举或将其限制在所公开的明确的形式上。本领域技术人员将会理解，许多修改、变型、替换、改变和等同就上述教导而言是可能的。因此所附权利要求是要被解释为包括所有处于权利要求真正的实质和范围内的修改、排列、增加和子组合。

Claims (34)

1、一种数据输入系统，包括：
图像获取设备，用于生成与所获取的部分的用户身体和物理键盘的图像相关联的输出信号；以及
控制器，用于接收所述输出信号，以及基于所获取图像来设置并显示输入按键的映射。
2、根据权利要求1所述的系统，其中所述输入按键的映射是虚拟键盘的一部分。
3、根据权利要求2所述的系统，其中所述部分的用户身体是用户手部，并且所述控制器还显示模拟相对于所述物理键盘放置或移动的所述用户手部的虚拟手。
4、根据权利要求1所述的系统，其中所述控制器还用于：将所获取的关于用户姿势的图像解释为单独的命令。
5、根据权利要求4所述的系统，其中所述控制器还用于：根据用户姿势改变所述虚拟键盘上的按键。
6、根据权利要求4所述的系统，其中所述控制器还用于：根据用户姿势改变所述虚拟键盘的布局。
7、根据权利要求3所述的系统，其中所述控制器还用于：改变所述虚拟手的外观。
8、根据权利要求1所述的系统，其中所述物理键盘选自于由空白键盘、纸键盘、触摸板、小键盘、假想键盘以及平坦无遮盖的表面所组成的键盘组。
9、根据权利要求4所述的系统，其中所述控制器还用于：基于用户先前的命令，确定并显示所预见的所述虚拟键盘上后续所要求的按键。
10、根据权利要求4所述的系统，其中所述控制器还用于：基于用户先前的命令，确定并显示所预见的所述虚拟键盘上后续所要求的键盘布局。
11、根据权利要求4所述的系统，其中所述姿势由用户手部作出。
12、根据权利要求4所述的系统，其中所述姿势是从由用于实现鼠标类型的导航的移动和用于实现命令的移动所组成的组中选出的一个或多个用户移动。
13、根据权利要求4所述的系统，其中所述姿势由用户身体的一个或多个部分来作出，所述姿势是从包括手的移动、头部移动、眼部移动、嘴部移动或其他指示用户命令的移动的组中选出的。
14、根据权利要求3所述的系统，其中所述虚拟手透明地叠加显示在所述虚拟键盘上。
15、根据权利要求3所述的系统，其中所述虚拟手的外观取决于所使用的虚拟键盘布局。
16、根据权利要求4所述的系统，其中所述控制器还用于：通过评估先前的命令来预测后面的按键标签和后面的虚拟键盘布局。
17、根据权利要求4所述的系统，其中所述姿势与所述物理键盘中按下的按键组合来使用，用于设置并显示相应的映射。
18、一种将数据输入到计算系统中的方法，包括：
获取部分的用户身体和物理键盘的图像；以及
基于所获取的图像，设置并显示虚拟键盘上输入按键的映射。
19、根据权利要求18所述的方法，其中所述图像与由所述用户作出的、将被解释为命令的姿势有关。
20、根据权利要求19所述的方法，其中所述姿势与从由手部移动、头部移动、眼部移动和嘴部移动所组成的组中选出的移动有关。
21、根据权利要求19所述的方法，其中响应于所述姿势，所述虚拟键盘上的按键标签发生变化。
22、根据权利要求19所述的方法，其中响应于所述姿势，所述虚拟键盘的布局发生变化。
23、根据权利要求18所述的方法，还包括获取所述用户手部并显示模拟相对于所述物理键盘放置或移动的所述用户手部的虚拟手。
24、根据权利要求23所述的方法，其中使用所述物理键盘的单次击键来将字符录入到所述计算系统中。
25、根据权利要求21所述的方法，其中手的移动模拟虚拟鼠标，来实现鼠标类型的导航。
26、根据权利要求23所述的方法，其中所述虚拟手透明地叠加显示在所述虚拟键盘上。
27、根据权利要求23所述的方法，其中所述虚拟手的外观取决于所使用的虚拟键盘布局。
28、根据权利要求19所述的方法，还包括评估先前的命令来预测后面的按键标签和后面的虚拟键盘布局。
29、根据权利要求19所述的方法，其中所述姿势与所述物理键盘中按下的按键组合来使用，用于设置并显示相应的映射。
30、一种将数据输入到计算系统中的方法，包括：
显示虚拟手，所述虚拟手与真实的用户手部相关并且叠加在表示物理键盘的虚拟键盘上；以及
响应于用户手部作出的姿势，设置所述虚拟键盘上按键的映射。
31、根据权利要求30所述的方法，其中响应于用户真实的手作出的姿势，所述虚拟键盘的布局发生改变。
32、根据权利要求30所述的方法，其中所述虚拟手透明地叠加显示在所述虚拟键盘上。
33、根据权利要求30所述的方法，其中所述虚拟手的外观取决于所使用的虚拟键盘布局。
34、根据权利要求30所述的方法，其中所述姿势与所述物理键盘中按下的按键组合来使用。
CNA2007800136315A 2006-02-16 2007-02-08 将数据输入计算系统的系统和方法 Pending CN101589425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN421/DEL/2006 2006-02-16
IN421DE2006 2006-02-16

Publications (1)

Publication Number Publication Date
CN101589425A true CN101589425A (zh) 2009-11-25

Family

ID=38371891

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800136315A Pending CN101589425A (zh) 2006-02-16 2007-02-08 将数据输入计算系统的系统和方法

Country Status (5)

Country Link
EP (1) EP1999547A4 (zh)
JP (1) JP2009527041A (zh)
KR (1) KR20080106265A (zh)
CN (1) CN101589425A (zh)
WO (1) WO2007093984A2 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214009A (zh) * 2010-04-08 2011-10-12 深圳市闪联信息技术有限公司 一种实现键盘输入的方法及系统
CN102289283A (zh) * 2010-06-16 2011-12-21 微软公司 自适应设备的状态变化
CN103221912A (zh) * 2010-10-05 2013-07-24 惠普发展公司，有限责任合伙企业 输入命令
CN104137026A (zh) * 2011-12-30 2014-11-05 英特尔公司 交互式制图识别
CN104199550A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN104866075A (zh) * 2014-02-21 2015-08-26 联想(北京)有限公司 一种输入方法、装置及电子设备
CN104978016A (zh) * 2014-04-14 2015-10-14 宏碁股份有限公司 具有虚拟输入功能的电子装置
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
CN106488160A (zh) * 2015-08-24 2017-03-08 中兴通讯股份有限公司 一种投影显示方法、装置及电子设备
CN104866075B (zh) * 2014-02-21 2018-08-31 联想(北京)有限公司 一种输入方法、装置及电子设备
CN110007774A (zh) * 2019-03-27 2019-07-12 联想(北京)有限公司 一种键盘装置及电子设备
CN110414225A (zh) * 2019-07-24 2019-11-05 广州魅视电子科技有限公司 一种防hid键盘攻击的系统及方法
US10664657B2 (en) 2012-12-27 2020-05-26 Touchtype Limited System and method for inputting images or labels into electronic devices
CN112684901A (zh) * 2019-10-18 2021-04-20 王光达 屏幕键位标识显示方法及其单手和弦移动键盘
US11200503B2 (en) 2012-12-27 2021-12-14 Microsoft Technology Licensing, Llc Search system and corresponding method
CN114167997A (zh) * 2022-02-15 2022-03-11 北京所思信息科技有限责任公司 一种模型显示方法、装置、设备和存储介质
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
FR2921634B1 (fr) * 2007-09-27 2010-03-19 Airbus Systeme et procede pour acceder a un equipement informatique personnel a bord d'un aeronef, et aeronef comprenant un tel systeme.
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US20100265182A1 (en) * 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
CA2774867A1 (en) * 2009-09-21 2011-03-24 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9141285B2 (en) 2010-11-05 2015-09-22 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8842082B2 (en) 2011-01-24 2014-09-23 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
KR101772979B1 (ko) * 2011-04-06 2017-08-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
WO2012144666A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Display device and control method therof
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
EP2575006B1 (en) * 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US8850349B2 (en) * 2012-04-06 2014-09-30 Google Inc. Smart user-customized graphical keyboard
KR102040288B1 (ko) * 2013-02-27 2019-11-04 삼성전자주식회사 디스플레이 장치
KR101489069B1 (ko) * 2013-05-30 2015-02-04 허윤 동작 기반의 정보 입력 방법 및 이러한 방법을 사용한 입력 장치
US20140368434A1 (en) * 2013-06-13 2014-12-18 Microsoft Corporation Generation of text by way of a touchless interface
KR102166330B1 (ko) 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
JP5877824B2 (ja) * 2013-09-20 2016-03-08 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
JP2016177658A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 仮想入力装置、入力方法、およびプログラム
KR102653267B1 (ko) * 2018-11-28 2024-04-02 삼성전자 주식회사 전자 장치의 키 입력 방법 및 이를 사용하는 전자 장치
US11617953B2 (en) 2020-10-09 2023-04-04 Contact Control Interfaces, Llc. Virtual object interaction scripts

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433774B1 (en) * 1998-12-04 2002-08-13 Intel Corporation Virtualization of interactive computer input
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
JP4099117B2 (ja) * 2003-07-22 2008-06-11 シャープ株式会社 仮想キーボードシステム
IL161002A0 (en) * 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US20070063979A1 (en) * 2005-09-19 2007-03-22 Available For Licensing Systems and methods to provide input/output for a portable data processing device
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214009A (zh) * 2010-04-08 2011-10-12 深圳市闪联信息技术有限公司 一种实现键盘输入的方法及系统
CN102289283A (zh) * 2010-06-16 2011-12-21 微软公司 自适应设备的状态变化
CN103221912A (zh) * 2010-10-05 2013-07-24 惠普发展公司，有限责任合伙企业 输入命令
TWI595429B (zh) * 2010-10-05 2017-08-11 惠普研發公司 輸入指令
CN104137026A (zh) * 2011-12-30 2014-11-05 英特尔公司 交互式制图识别
US9430035B2 (en) 2011-12-30 2016-08-30 Intel Corporation Interactive drawing recognition
CN104137026B (zh) * 2011-12-30 2017-05-10 英特尔公司 用于制图识别的方法、装置和系统
US11200503B2 (en) 2012-12-27 2021-12-14 Microsoft Technology Licensing, Llc Search system and corresponding method
US10664657B2 (en) 2012-12-27 2020-05-26 Touchtype Limited System and method for inputting images or labels into electronic devices
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
CN105814519B (zh) * 2013-12-12 2020-02-14 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
CN104866075A (zh) * 2014-02-21 2015-08-26 联想(北京)有限公司 一种输入方法、装置及电子设备
CN104866075B (zh) * 2014-02-21 2018-08-31 联想(北京)有限公司 一种输入方法、装置及电子设备
CN104978016A (zh) * 2014-04-14 2015-10-14 宏碁股份有限公司 具有虚拟输入功能的电子装置
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN104199550B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟键盘操作装置、系统及方法
CN104199550A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘
CN114527881B (zh) * 2015-04-07 2023-09-26 英特尔公司 化身键盘
CN106488160A (zh) * 2015-08-24 2017-03-08 中兴通讯股份有限公司 一种投影显示方法、装置及电子设备
CN110007774A (zh) * 2019-03-27 2019-07-12 联想(北京)有限公司 一种键盘装置及电子设备
CN110414225A (zh) * 2019-07-24 2019-11-05 广州魅视电子科技有限公司 一种防hid键盘攻击的系统及方法
CN112684901A (zh) * 2019-10-18 2021-04-20 王光达 屏幕键位标识显示方法及其单手和弦移动键盘
CN114167997A (zh) * 2022-02-15 2022-03-11 北京所思信息科技有限责任公司 一种模型显示方法、装置、设备和存储介质
CN114167997B (zh) * 2022-02-15 2022-05-17 北京所思信息科技有限责任公司 一种模型显示方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2007093984A3 (en) 2009-04-23
EP1999547A2 (en) 2008-12-10
EP1999547A4 (en) 2011-10-12
KR20080106265A (ko) 2008-12-04
WO2007093984A2 (en) 2007-08-23
JP2009527041A (ja) 2009-07-23

Similar Documents

Publication Publication Date Title
CN101589425A (zh) 将数据输入计算系统的系统和方法
US10237509B1 (en) Systems with keyboards and head-mounted displays
CN101140481B (zh) 人机界面系统
US9250738B2 (en) Method and system for assigning the position of a touchpad device
US8065624B2 (en) Virtual keypad systems and methods
US7856603B2 (en) Graphical user interface
US9891822B2 (en) Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items
US20110209087A1 (en) Method and device for controlling an inputting data
US20140035819A1 (en) Method and Apparatus Pertaining to an Augmented-Reality Keyboard
WO2013173654A1 (en) Systems and methods for human input devices with event signal coding
CN101581994B (zh) 用于在终端的触摸屏上输入汉字的装置和方法
CN102736726A (zh) 键盘和鼠标的隐形技术
JP2014164610A (ja) キーボードカバー、キー入力変換方法およびキーレイアウト変換システム
CN101251781A (zh) 通过手机横屏状态显示的虚拟键盘进行输入和功能操作
CN103995610A (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
US20140173522A1 (en) Novel Character Specification System and Method that Uses Remote Selection Menu and Touch Screen Movements
JP4502990B2 (ja) 計算装置用のマン／マシンインタフェース
US9791932B2 (en) Semaphore gesture for human-machine interface
KR20050048758A (ko) 터치스크린 또는 터치패드의 가상 버튼을 이용한 문자입력장치 및 그 방법
US11249558B1 (en) Two-handed keyset, system, and methods of making and using the keyset and system
CN101162415A (zh) 触控式屏幕键盘及其键盘的编排方法
CN107003729A (zh) 汉字输入方法及装置
CN206162403U (zh) 用于头戴显示装置的键盘
CN101551701A (zh) 多维控制方法及装置和最优较优显示输入方法及装置
WO2017208470A1 (ja) 入力装置、記憶媒体、ｐｏｓシステムおよび入力方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20091125