CN105027064A - 自适应虚拟键盘 - Google Patents

自适应虚拟键盘 Download PDF

Info

Publication number
CN105027064A
CN105027064A CN201280077292.8A CN201280077292A CN105027064A CN 105027064 A CN105027064 A CN 105027064A CN 201280077292 A CN201280077292 A CN 201280077292A CN 105027064 A CN105027064 A CN 105027064A
Authority
CN
China
Prior art keywords
button
sensitive elements
touch sensitive
processor
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280077292.8A
Other languages
English (en)
Inventor
R.D.博兹尼
A.W.凯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN105027064A publication Critical patent/CN105027064A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop

Abstract

方法(500)允许虚拟键盘的一部分部分不可见,并且允许用户在点击不可见部分时激活在该部分中的按键。根据示例性的实施例,该方法(500)用在触摸屏幕设备中,并包括以下步骤:呈现(505)虚拟键盘,其中在屏幕上显示完整的虚拟键盘,完整的虚拟键盘落在触摸敏感元件的第一部分上;响应于用户输入,将虚拟键盘移动(510)到包括虚拟键盘的第一按键的某些按键在屏幕上被部分显示并可见,这些部分显示的按键的可见部分落在触摸敏感元件的第一部分上,不可见部分落在触摸敏感元件的第二部分上,第一按键覆盖触摸敏感元件的第一部分的第一部分和触摸敏感元件的第二部分的第一部分的位置;以及当点击第一按键时,执行(515)分配给第一按键的特定功能。

Description

自适应虚拟键盘
技术领域
本发明一般地涉及用于在触摸屏上呈现虚拟键盘的方法和装置,更具体地涉及用于呈现一些按键部分或全部延伸超过屏幕的虚拟键盘,使得虚拟键盘动态地适应用户特定的打字习惯,并允许用户定制包括添加/删除按键和改变按键位置的键盘布局的方法和装置。
背景技术
“虚拟”或“软”键盘是在触摸屏上示出的键盘,触摸检测功能记录按下按键或点击。它不是硬件键盘,硬件键盘位于触摸屏的外部。
许多现代的手持式计算机,如平板电脑都具有触摸屏,并通常在触摸屏上提供虚拟键盘。由于如触摸屏的大小是固定和有限的,以及每个书写者的手掌和手指的大小都不同的原因,虚拟键盘的大小和按键布置通常都与书写者的手的大小不匹配。随着触摸屏变得更便宜,能够显示与外部标准键盘类似的全尺寸虚拟键盘的触摸屏变得越来越流行。然而,全尺寸虚拟键盘在按键布置上仍是固定的,并在大小、形状和两个按键之间的相对距离上也是固定的。这样,它不可能与所有书写者的手匹配。因此,在本技术领域中存在解决上述问题,从而提供用于在触摸屏设备上呈现虚拟键盘的改善的方法和装置的需要。
发明内容
根据本发明的一个方面,公开了一种触摸屏设备。触摸屏设备包括:屏幕;触摸敏感元件,触摸敏感元件的第一部分被布置在屏幕内部,触摸敏感元件的第二部分被布置在屏幕的外部;以及处理器,与屏幕和触摸敏感元件耦接,该处理器输出第一虚拟按键到屏幕的第一部分,并响应于用户输入将第一虚拟按键从所述屏幕的第一部分移动到该第一虚拟按键在屏幕上被部分显示并覆盖触摸敏感元件的第一部分的第一部分,该第一虚拟按键的不可见部分覆盖触摸敏感元件的第二部分的第一部分的位置,当点击该第一虚拟按键时,使得处理器执行特定的功能。
在一个实施例中,处理器用于检测指示哪个触摸敏感元件已被点击的信号,响应于检测触摸敏感元件的第一部分的第一部分被点击,该处理器执行特定的功能。
在另一实施例中,响应于检测触摸敏感元件的第二部分的第一部分被点击,所述处理器也可以执行特定的功能。
在又一实施例中,处理器将第一虚拟按键移动到所有所述第一虚拟按键都不可见并覆盖触摸敏感元件的第二部分的第二部分的位置,响应于检测触摸敏感元件(320)的第二部分的第二部分被点击,该处理器执行所述特定的功能。
在又一实施例中,处理器输出包括第一虚拟按键的虚拟键盘,并将该虚拟键盘移动到包括第一虚拟按键的某些虚拟按键在屏幕上被部分显示并落在触摸敏感元件的第一部分上,这些虚拟按键的不可见部分落在触摸敏感元件的第二部分上的位置,并响应于检测触摸敏感元件的第一部分的第一部分被点击,处理器执行特定的功能,响应于检测触摸敏感元件的第二部分的第一部分被点击,处理器也执行特定的功能。
在又一实施例中,处理器将虚拟键盘移动到某些虚拟按键完全不可见并落在所述触摸敏感元件的所述第二部分上,第一虚拟按键覆盖触摸敏感元件的第二部分的第二部分的位置,并响应于检测触摸敏感元件的第二部分的第二部分被点击,处理器执行特定的功能。
在一个实施例中,触摸敏感元件的第一和第二部分以连续方式彼此邻近。在另一实施例中,第一和第二部分是不连续的。例如,屏幕位于触摸屏设备的第一侧,第二部分位于不同于触摸屏设备的第一侧的第二侧。在又一实施例中,第二部分包括第二按键,处理器在屏幕上显示指示第二按键在第二侧的位置的第三按键,当点击第二和第三按键之一时,处理器执行分配给第二按键的第二功能。
根据本发明的另一方面,公开了一种用于在包括屏幕和触摸敏感元件的触摸屏设备上呈现包括多个按键的虚拟键盘的方法,触摸敏感元件的第一部分被布置在屏幕的内部,触摸敏感元件的第二部分被布置在屏幕的外部。该方法包括:呈现虚拟键盘,其中在屏幕上显示完整的虚拟键盘,该完整的虚拟键盘落在触摸敏感元件的第一部分上;响应于用户输入,将虚拟键盘移动到包括虚拟键盘的第一按键的某些按键在屏幕上被部分显示并可见,这些部分显示的按键的可见部分落在触摸敏感元件的第一部分上,不可见部分落在触摸敏感元件的第二部分上,第一按键覆盖触摸敏感元件的第一部分的第一部分和触摸敏感元件的第二部分的第一部分的位置;该方法还包括当点击第一按键时,执行分配给第一按键的特定功能。
在一个实施例中,如果检测到点击触摸敏感元件的所述第一部分的第一部分和触摸敏感元件的第二部分的第一部分之一,那么执行执行步骤。
在一个实施例中,即使第一按键完全落在第二部分的第一部分的内部,并完全不可见,当检测到点击触摸敏感元件的第二部分的第一部分时,也执行执行步骤。
在又一实施例中,屏幕位于触摸屏设备的第一侧,触摸敏感元件的第二部分位于不同于第一侧的触摸屏设备的第二侧,触摸敏感元件的第二部分包括第二按键,该方法还包括在屏幕上显示指示第二按键在第二侧的位置的第三按键。该方法还包括当点击第二按键时,执行分配给第二按键的第二功能。在一个实施例中,该方法还包括当点击第三按键时,执行第二功能。
附图说明
通过参考下面结合附图对本发明示例性实施例的描述,本发明的上述和其他特征和优点,以及得到它们的方式将变得更加明显,并能更好地理解本发明,附图中:
图1示出了根据本发明示例性实施例的触摸屏设备的框图;
图2示出了图1中示出的触摸屏设备的显示器120的示例性组件。
图3示出了图1中示出的触摸屏设备的显示器120的示例性组件的不同视图;
图4示出了其中某些按键部分可见但仍可以通过触摸不可见部分激活的示例性虚拟键盘;
图5示出了使用图4中示出的示例性键盘的示例性过程。
图6示出了使得虚拟键盘动态地适应以匹配代表用户的签名的示例性过程;
图7示出了在使得适应以匹配代表用户的签名之前的示例性虚拟键盘;
图8示出根据代表有更大的手的用户的签名使得图7中示出的虚拟键盘适应;
图9示出根据代表有更小的手的用户的签名使得图7中示出的虚拟键盘适应;
图10示出了增加虚拟键盘中的按键深度的示例性手势;
图11示出了虚拟键盘中的按键的示例性覆盖区域(footprint);
图12示出了点击可能不在意向按键中心的示例;
图13示出了示例性适应的虚拟键盘以修正图12中示出的不匹配问题;
图14示出虚拟键盘中的示例性按键以及其相对于触摸敏感元件的矩阵的覆盖区域;
图15示出虚拟键盘的不同按键上覆盖区域的不同大小和位置;
图16示出可以基于检测到的点击覆盖区域动态地调整虚拟键盘中的按键;
图17示出了另一示例性适应的虚拟键盘以修正图12中示出的不匹配问题;
图18示出了又一示例性适应的虚拟键盘以修正图12中示出的不匹配问题;
图19示出了示例性适应的虚拟键盘,其中按键的大小不同;
图20和21示出了取决于在点击某一按键之前点击了哪个按键的该按键的点击覆盖区域的位置;
图22示出了当刚刚最后的点击分别是‘L’按键和按键时,‘$’按键的示例性点击覆盖区域;
图23示出了按键覆盖区域的示例性向量表示,其中每个向量都与另一按键和该按键的适应的版本相关联;
图24示出当点击另一按键时动态改变某一按键的位置;
图25示出了将按键移动到虚拟键盘中的不同位置的示例性手势;
图26示出了添加按键到虚拟键盘的示例性过程;
图27示出了帮助用户添加按键到虚拟键盘的示例性用户界面;
图28示出可以通过使用图26中示出的按键添加功能创建多个虚拟键盘;以及
图29示出虚拟按键可以在触摸屏设备的背部;
图30示出了示例性的触摸敏感元件和可以提供触觉反馈的触觉表面;
图31示出了监测签名变化的示例性过程;以及
图32示出在监测动态签名变化的过程中,按键可以划分成五个区域。
本说明书中提出的示例示出了本发明的优选实施例,这些示例不应该以任何方式解读为是对本发明范围的限制。
具体实施方式
参考图1,示出了便携式计算设备(PCD)的示例性、非限制性的方面,整体用1标示。如图所示,PCD 1包括:输入/输出(I/O)部件,如I/O框10;处理部件,如处理器20;存储器部件,如存储器30;以及用户界面,包括显示器120和可选地包括具有若干硬件按键以补充虚拟键盘的小键盘(未示出)。尽管将PCD示出为触摸敏感设备,但本发明的原理可以适用于便携式或非便携式的、具有带有触摸敏感屏幕的显示器的任何装置和设备。该显示器可以是任何显示器,如LCD、OLED、电子墨水和等离子体,并且该显示器可以是TV、PC、移动电话、平板电脑、数字摄像机、可携式摄像机和DVD播放器的一部分。该显示器可以和机顶盒以及上述任何设备一起使用。为了说明书的简单明了,全部附图中相同的元素使用相同的附图标记指示,与PCD1相关联的某些传统元素,如某些控制信号、电源信号和/或其他元素可能没有在图1中示出。
I/O框10用于执行PCD 1的I/O功能。根据示例性实施例,I/O框10可以用于从如因特网源的广播源以及通过例如USB、网络或HDMI接口连接的其他设备,如PC、硬盘接收如模拟和/或数字格式的音频、视频和/或数据信号的信号。I/O框10还可以用于输出信号到外部设备。
处理器20用于执行各种信号处理,并控制PCD 1的功能。根据示例性实施例,处理器20通过执行包括调谐、解调、前向纠错、传输处理以及如有必要的解压缩功能,从而生成表示音频、视频和/或数据内容的数字数据,来处理从I/O框10提供的音频、视频和/或数据信号。
处理器20还用于执行方便和使得能够执行本说明书中描述的本发明的各种实施例和方法的软件代码。关于本发明的这些方面的更多细节将在本说明书中的稍后部分提供。处理器20还用于执行和/或使得能够实现PCD 1的其他功能,包括但不限于,执行存储在存储器30中的程序、处理经由触摸触位于显示器120的屏幕区域的内部或外部的摸敏感元件作出的用户输入以及来自其他用户输入设备(未示出)的用户输入、管理一个或多个定时器、使得能够实现在屏显示、从存储器30读取数据和写入数据到存储器30,和/或其他操作。处理器20可以使用一个或多个集成电路(IC)实现。
根据本发明的原理,处理器20可以用于检测具有触摸敏感元件的区域上的触碰(或触摸);响应于如触摸或点击具有触摸敏感元件的区域中预定义位置或以预定方式将手指放置在显示器120的屏幕上的用户信号在显示器120上显示软键盘或虚拟键盘。更多细节将在下面提供。
存储器30用于与处理器20藕接,并执行PCD 1的数据存储功能。根据实施方式,存储器30的至少一部分可以被包括在与处理器20相同的(多个)IC上。根据示例性实施例,存储器30存储包括但不限于软件代码、在屏显示(例如,菜单、虚拟键盘)数据、用户选择/设置数据、代表用户的签名、虚拟键盘按键的点击覆盖区域和/或其他数据的数据。存储器30还可以包括硬盘驱动(HDD)或DVD驱动、PROM、SRAM或它们的结合。
显示器120的屏幕可以覆盖整个触摸敏感区域或触摸敏感区域的一部分。换言之,触摸敏感区域可以延伸超出显示器120的屏幕区域。触摸敏感区域包括传统的触摸敏感元件。处理器20用于以传统方式检测哪些元件被触摸。
图2和3示出了PCD 1的显示器120的示例性组件的图。如图所示,显示器120可以包括光源300、屏幕310和传感层320。传感层320包括触摸敏感元件,并且如上所指出的,可以延伸超出屏幕310,可以不覆盖屏幕310的全部区域。
光源300可以包括为屏幕310的下表面提供背光照明以显示信息的机制(例如,背光)。例如,光源300可以包括照亮屏幕310的部分的一个或多个白炽灯泡、一个或多个发光二极管(LED)、电致发光面板(ELP)、一个或多个冷阴极荧光灯(CCFL)、一个或多个热阴极荧光灯(HCFL)等。当想要非常高的亮度时,可以使用白炽灯泡。LED可以在较小的、便宜的照明装置中使用,并可以包括彩色光或白光。ELP可以用于较大的照明装置,或者当想要均匀的照明时使用,并可以是彩色的或白色的。CCFL可以在较大的照明装置中使用,并可以是白色的。在另一示例中,光源300可以采用一个或多个散光器或导光器以从不均匀的光源提供均匀的照明。在又一示例中,光源300可以包括任何颜色的光源(例如,黄、绿、蓝、白等)或彩色/非彩色光源的任何组合。光源300提供的光还可以用于为面向用户的屏幕310的上表面提供前光照明。在显示器是液体墨水、OLED的类型或不需要背光照明源的任何其他类型的情况下,可以省略光源300。
屏幕310可以包括能够为用户提供视觉信息(例如,文本、图像、视频、传入或传出呼叫、游戏、电话簿、当前时间、电邮等)的任何机制。例如,屏幕310可以包括液晶显示器(LCD),如薄膜晶体管(TFT)LCD等。在一个示例性实施方式中,屏幕310可以包括将TFT布置在金属箔(而不是在玻璃上)的塑料基板,这可以允许屏幕310在被弯曲后恢复其原始形状。屏幕310可以包括涂覆在塑料基板上的彩色滤光片,这可以允许屏幕310显示彩色图像。在其他的实施方式中,屏幕310可以包括单色的柔性LCD。
在一个实施方式中,屏幕310可以包括任意数量的彩色和/或单色像素。在另一实施方式中,屏幕310可以包括无源矩阵结构或有源矩阵结构。在进一步的实施方式中,如果屏幕310是彩色阵列,那么每个像素可以划分成三个单元,或子像素,通过额外的滤光片(例如,颜料滤光片、染料滤光片、金属氧化物滤光片等),它们可以被上色为红色、绿色和蓝色。每个子像素都可以独立控制以对每个像素产生多种可能的颜色。在其他的实施方式中,屏幕310的每个像素可以包括不同于红、绿和蓝的各种颜色的多于或少于三个的子像素。
传感层320可以包括检测在显示器120上存在用户手指330(例如,大拇指、食指、中指、无名指或小指),检测手指330在显示器120上的位置(或触摸区域),确定用户有多少手指在显示器120上等的触摸敏感元件。例如,传感层320可以包括当手指330接触传感层320时可能经历电荷变化(例如,所存储的电荷量的变化)的电容材料层(例如,设置在保护层(未示出)的下面)。在一个示例性实施方式中,传感层320可以包括自电容电路,该自电容电路包括电极阵列,并监测当用户接触传感层320(例如,使用手指330)时电极阵列的变化。在另一示例性实施方式中,如图3所示,传感层320可以包括传送电流的驱动线路层340,以及检测当用户接触传感层320(例如,使用手指330)时的电荷变化的传感线路隔离层350。
传感层320可以感测每次用户接触传感层320时与电特性相关联的变化,并可以将该信息提供给处理器20和/或存储器30。处理器20可以利用该信息来确定用户手指(或多个手指)在显示器120上的形状、大小和/或位置。在一个示例性实施方式中,处理器20可以基于从传感层320接收到的信息计算与用户(多个)手指相关联的(多个)触摸区域,并可以基于计算得到的(多个)触摸区域重新配置与显示器120相关联的(多个)显示元素(例如,按键、图标等)。
尽管图2和3示出了显示器120的示例性组件,但在其他的实施方式中,显示器120可以包含与图2和3中示出的相比更少的、不同的、不同布置的,或更多的组件。在另外的其他的实施方式中,显示器120的一个或多个组件可以执行被描述为通过显示器120的一个或多个其他的组件执行的一个或多个其他的任务。
根据本发明的原理,包括触摸敏感元件的传感层320大于显示器120的屏幕310,处理器20可以确定用户手指(多个手指)在屏幕310外部的传感层320上的形状、大小和/或位置。实际上,触摸敏感元件的第一部分布置在屏幕310的内部(与屏幕310重叠),触摸敏感元件的第二部分布置在屏幕310的外部(不与屏幕310重叠)。如果虚拟按键落在触摸敏感元件的第一部分上,那么虚拟按键完全可见。如果虚拟按键落在触摸敏感元件的第二部分上,那么虚拟按键不可见。如果虚拟按键的一部分落在触摸敏感元件的第一部分上,剩余部分落在触摸敏感元件的第二部分上,那么只有落在触摸敏感元件的第一部分上的这部分虚拟按键可见。剩余部分不可见,当屏幕310延伸为覆盖触摸敏感元件的第二部分的该部分时,用户将剩余部分可视化为在触摸敏感元件的第二部分的这部分中。在整个虚拟按键完全落在触摸敏感元件的第二部分上并因此不可见的情况下,可以从不可见按键与第二虚拟按键的关系推出该不可见按键的假想位置。例如,如果不可见按键在第二虚拟按键下方一厘米,那么该不可见按键将仍然在该第二虚拟按键下方一厘米,即使第一虚拟按键不可见。在显示虚拟按键过程中,处理器20执行相同的推断,这样处理器20可以检测到不可见按键已经被点击。可以为每个虚拟按键分配功能,当虚拟按键被点击(触摸并释放)时,处理器20执行该功能。例如,功能可以是输入字符到输入域(如文本域或文本文件)、转到下一页或传统键盘中按键的任何功能。
当虚拟按键部分可见时,点击可见和不可见部分中任一者或两者的一部分都使得处理器20执行该虚拟按键的分配的功能。当虚拟按键完全可见时,用户必须在可见按键的一部分上点击,如果虚拟按键完全不可见,用户必须点击触摸敏感元件的第二部分上的对应位置,以使得处理器20执行该虚拟按键的分配的功能。
虚拟按键可以是虚拟键盘的一部分,虚拟键盘的某些按键,如空格键可以部分或全部位于触摸敏感元件的第二部分中。实际上,这些按键是不可见的。当较大的按键,如空格键在屏幕310的下方(位于常见位置)时,即使它们是不可见的,也可以容易地找到它们。应该注意的是,也可以使用在本说明书中稍后描述的方法适应不可见按键。
图4示出了显示器120上的示例性虚拟键盘410,其中具有触摸敏感元件的传感层320延伸超过屏幕310的区域。触摸敏感元件的第二部分布置为与屏幕310的底部边缘连续,并与触摸敏感元件的第一部分连续。在此示例中,空格键和其水平相邻的按键仅部分显示(上面部分在屏幕310上和触摸敏感元件的第一部分上,下面部分在屏幕310外部和触摸敏感元件的第二部分上),这样在视觉上更容易找到它们的位置。触摸敏感元件的第二部分可以存在于屏幕310所有侧面的任何一侧。例如,如果虚拟按键410移动到顶部,那么数字按键行可以部分显示。类似地,如果触摸敏感区域也在右侧或左侧延伸,那么该侧的按键可以部分显示。
应该注意的是,处理器20可以响应于用户输入将键盘410移动到屏幕310的任何位置。例如,用户可以将键盘410拖拽到屏幕310上的任何位置。然而,如果不可见按键落在触摸敏感元件区域的外部,那么即使用户点击该不可见按键,用户也不能激活该不可见按键的分配的功能,因为处理器20不能检测到该点击。
图5示出了使用示例性键盘410的示例性过程500。仅为了示例和说明的目的,可以在下文中具体参考上述图1、2、3和4的示例性实施例来说明图5的步骤。在步骤505,处理器20显示虚拟键盘,其中响应于用户输入,完整的虚拟键盘在屏幕310上显示,并落在触摸敏感元件的第一部分。示例性地,当用户打开PCD 1时,或者当处理器20检测到用户以预定次数,例如两次轻叩显示器20时,显示虚拟键盘。
在步骤510,处理器20响应于用户输入将虚拟键盘410移动到其中包括键盘的第一按键的某些按键在屏幕310上部分显示并可见的位置。这些部分显示的按键的可见部分落在触摸敏感元件的第一部分上,这些部分显示按键的不可见部分落在触摸敏感元件的第二部分上。图4示出了移动后的键盘的示例。在该示例中,第一按键是空格键,第一按键的可见部分落在触摸敏感元件的第一部分的第一部分上,不可见部分落在触摸敏感元件的第二部分的第一部分上。
示例性的键盘包括多个行,这些部分显示的按键布置在这些行之一中。在该示例中,部分显示的按键位于包括空格键的行中,如图4所示。尽管示出为矩形形状,但键盘也可以具有不同的形状。例如,键盘和其多个行之一可以是倾斜的、弯曲的、辐射状的或分散的。
在步骤515,由于空格键的分配的功能是输入空格,因此当处理器20检测到已经点击第一按键时,处理器20将空格输入到输入域,如文本域或文本文件。第一点击可以只在触摸敏感元件的第一部分的第一部分上,只在触摸敏感元件的第二部分的第一部分上,或在两者上。
处理器20可以响应于另一用户输入,进一步将键盘移动到其中这些部分可见的按键变得完全不可见并落在触摸敏感元件的第二部分上的位置。在新移动的键盘中,第一按键是不可见的,并落在触摸敏感元件的第二部分的第二部分上,当处理器20检测到点击触摸敏感元件的第二部分的第二部分时,处理器20将空格输入到输入域,如文本域或文本文件。
根据另一发明的原理,可以适应虚拟键盘以适合用户手和手指的宽度。图6示出了动态适应虚拟键盘的过程600。仅为了示例和说明的目的,可以在下文中具体参考上述图1-3和稍后描述的其他附图的示例性实施例来说明图6的步骤。
在步骤605,处理器20检测触摸的大小和位置作为代表用户手指的在屏幕310上的签名。在一个实施例中,在未显示默认键盘的情况下,用户将全部十个手指都放置在屏幕310上,允许处理器20根据手指的大小和伸展度构建并呈现与所显示虚拟键盘匹配的布局。处理器20将十个手指的相对位置和大小记录为签名以供将来参考。处理器20生成的按键不一定要严格按照“直线方向(in-line orientation)”布置。例如,可以以稍微的、自然的弓形或角度放置手的手指,手可以位于更符合人体工学的位置,而不一定严格并排。
在另一实施例中,由于两个大拇指都只操作空格键,而仅放置一个大拇指就足够,因此处理器20为触摸屏上的9个手指确定虚拟键盘的大小和形状。而且,基于除(多个)大拇指之外的手指之间的空间,即使处理器20没有检测到大拇指,也可以估计空格键的位置。
在又一实施例中,在屏幕310上显示默认键盘,例如图7示出的示例性的传统欧式键盘。示例性地,当用户打开PCD 1时,或者当处理器20检测到用户以预定次数,例如两次轻叩屏幕310时,显示虚拟键盘710。然后,用户分别将左手430的小指、无名指、中指和食指自然舒适地放置在“A”、“S”、“D”和“F”按键上,分别将右手420的小指、无名指、中指和食指自然舒适地放置在“L”、“K”和“J”按键上。然而,用户只需要将右手420的食指与“J”按键对齐,或者将左手430的食指与“F”按键对齐。如果两个食指都未与相应按键对齐,那么处理器20应该提醒用户调整位置。由于手指是自然放置的,因此每只手的其它三个手指可能未与对应的三个按键对齐。将手指的相对位置和大小存储为用户的签名。
使用八个、九个或十个手指作为签名是示例性的。如果处理器20显示了虚拟键盘,那么使用其中至少一个手指与特定按键对齐的四个或更多手指就足够。
在又一实施例中,除了对应的虚拟键盘和签名之外,处理器20还存储用户标识,如登录名。在此实施例中,处理器20响应于用于初始化的用户信号,显示默认的虚拟键盘和登录域,使得用户可以使用默认的虚拟键盘在登录域中输入用户标识。一旦处理器20已经接收到用户标识,处理器20就可以找到存储器30中是否存在对应的签名,以及因此对应的虚拟键盘。
除了输入登录名之外,还可以要求用户输入密码。其他的用户标识可以包括唯一识别用户的生物统计学的任何事物,以及密码、密钥和生物统计学标识符的任何组合。
在步骤610,处理器20检查是否存在与检测到的存储器30中的签名相关联的对应的虚拟键盘。如果在存储器30中存在对应的虚拟键盘,那么在步骤615,处理器20从存储器30获取对应的虚拟键盘,并在屏幕310上显示对应的虚拟键盘。该对应的虚拟键盘应该是之前关于该特定的签名生成的适应的键盘。如果显示了默认的虚拟键盘710,那么用对应的虚拟键盘替换默认的虚拟键盘710。用户通过使用该适应的虚拟键盘输入图7中的文本440。
如果在存储器30中不存在对应的虚拟键盘,在步骤620,处理器20生成与检测到的签名匹配的第一虚拟键盘,并显示第一虚拟键盘,这样用户可以开始使用键盘输入数据。实际上,第一虚拟键盘是与检测到的签名,即检测到的那些手指的相对位置和大小匹配的适应的虚拟键盘。然后,在步骤680,处理器将适应的键盘存储在存储器30中与检测到的签名对应。
如上所述,如果对应的虚拟键盘不存在,那么处理器20生成与检测到的签名匹配的第一虚拟键盘,使得用户对按键的点击更有可能产生其几何中心与按键的几何中心匹配的点击,从而降低误击的可能性。
例如,如果显示了默认的虚拟键盘,如图7中默认的虚拟键盘710,那么处理器20将默认的虚拟键盘710调整成更宽、更大的虚拟键盘810作为第一虚拟键盘,如图8所示,以供更大的手使用。对于较小的手,处理器20可以将虚拟键盘710缩短成更窄、更小的虚拟键盘910,如图9所示。实际上,处理器20适应默认的虚拟键盘710以生成第一虚拟键盘。
与虚拟键盘710比较,虚拟键盘810中每个按键的宽度更宽,虚拟键盘910中每个按键的宽度更窄。处理器20还可以与按键宽度的变化成比例地自动改变该按键的深度(按键的纵横比保持不变)。
作为替代性实施例,处理器20不自动调整深度,而是根据用户的指示。为了手动调整深度,用户可以将至少一个手指,例如右手420的食指放置在虚拟键盘上,例如上面行中的“U”按键上,同时保持其他七个手指的位置,如图10所示,作为响应,处理器20增加每个按键的深度。如果食指放置在下面行中,那么处理器20减少每个按键的深度。按键的宽度取决于手指的大小(较大的手指需要较宽的键盘),而按键的深度不仅取决于手指上段的长度,还取决于用户的习惯。例如,如果用户在大部分时候使用手指尖,按键的深度可能较小。当用户从屏幕310释放所有手指,发出已经完成初始化过程的信号时,处理器20可以存储手动调整过的键盘。
在另一实施例中,当用户伸展手指(手指之间的距离更大)时,处理器20按比例地增加虚拟键盘的深度,当用户闭合手指(与伸展相反)时,处理器20减少键盘的深度。当用户看到深度合适时,用户停止移动手指,处理器20停止改变深度。
如稍前提到的,用户可以将虚拟键盘拖拽到屏幕310的任何位置。该功能尤其在当键盘覆盖应用程序或(可能在使用期间或通过用户输入出现的)“窗口”的一部分时的较大屏幕上有利。在此情况下,用户可以将键盘迅速移动到新的位置,而几乎不会打扰打字。如果用户将键盘移动到越过触摸屏的边缘,并超过触摸敏感区域,处理器20可以在听觉或在视觉上提醒用户。作为响应,用户可以收缩虚拟键盘,以将虚拟键盘保持在触摸屏或触摸敏感区域内。用户也可以忽略提醒,继续移动键盘超过触摸屏的边缘,直到最终虚拟键盘消失。
在另一更适合“看着键盘打字”的用户的实施例中,用户在屏幕310上放置尽量少的手指,例如两个食指,以供处理器20进行初始设置。然而,由于不呈现其他的手指和大拇指,处理器20只生成“直线取向(in-lineorientation)”的虚拟键盘。处理器20可以使用食指之间的距离作为估计按键的大小和位置的参考。
在启动过程之后,处理器20可以在根据本发明的原理的用户编辑会话或训练会话期间动态地调整/适应显示的键盘中的按键的布局/大小/位置。在一个实施例中,用户可以将用于启动键盘的手指再次放置在触摸屏上,并移动、伸展/收窄或旋转手指/手来调整键盘。处理器20检测多个手指的手势和手指运动(在屏幕平面上滑动),以微调每个虚拟按键的大小和位置。轻微的手指运动将屏幕上比指尖稍大的区域定义为相应的虚拟按键。
在使用第一虚拟键盘期间,处理器20可以收集某个按键的点击统计数据,这样处理器20可以进一步调整按键的大小、形状和位置中的至少一个,以匹配用户的打字习惯。使用虚拟键盘的缺点是用户永远不知道他是点击到按键的中间,还是点击到按键的边界,还是根本没有点击到。这样,对同一按键的点击可能在不同的位置。例如,对图11中“U”按键的点击可以在稍上位置的中心,可以在“U”按键的几何中心的右边。这个问题对最右侧或最左侧的那些按键,例如“$(£)”按键更常发生,如图12所示。
虚拟按键的激活通常在释放点击后触发。然而,点击可以覆盖比预期的虚拟按键更大的区域(指纹)。为了更准确地检测出哪个虚拟按键被点击,处理器20可以计算指纹的几何中心,如果指纹的几何中心落在按键内,那么确定该按键被点击。在图11中,检测到的中心用字母“u”标记。中心的计算是传统式的。匹配指纹和按键的其他方法也是熟知的,可以与本发明的原理一起使用。
处理器20自动检测此变化,并估计其中键盘对每个按键都应该具有接收性的区域。处理器20实际上使得各个按键在用户点击按键时在位置、大小和形状方面适应用户习惯,以降低用户在虚拟键盘上打字的错误率。这种适应可以发生在当键盘处于使用中或只在系统的学习阶段期间的任何时间。然而,该适应优选地与给定用户链接,这样使得每个用户都有他/她的个人参数集,该个人参数集可以在初始时加载,然后根据当前的适应设置进行调整。该参数集可以通过用户的输入(用户标识、签名等)或通过识别典型的手指位置来选择。用户还可以发信号给处理器20以将新近适应的虚拟键盘存储作为签名对应的虚拟键盘。
作为示例,在收集到“$(£)”按键的点击统计数据后,处理器20检测“$(£)”按键的几何中心和点击统计数据的平均几何中心之间的不匹配,如图12所示,并将“$(£)”按键向右移动以与点击统计数据的平均几何中心对齐,如图13所示。这两个中心应该在同一条假象垂直线上,但可以不相互匹配。在替代性实施例中,处理器20可以收集“$(£)”按键的点击覆盖区域,并将“$(£)”按键的几何中心移位到点击覆盖区域的几何中心。按键的点击覆盖区域是对该按键预定次数的点击触摸的所有触摸敏感元件的收集。
图14示出了检测到的按键的点击覆盖区域1220。根据该覆盖区域1220,可以计算出地理中心。
而且,与其他按键相比,用户可能更一致地点击某些按键。例如,如图15所示,与“H”、“8”、“9”和“U”按键相比,用户更一致地点击“Z”按键,因此“Z”按键的点击覆盖区域的区域比其他按键的点击覆盖区域更小。处理器20还可以根据图14中的点击覆盖区域确定按键1420的形状和大小,使得按键1420变得更适合用户。示例性地,在图14中,每个网格都包括触敏感元件。示例性按键1420覆盖了13×13个网格。形状可以通过连接点击覆盖区域1440中的外围点形成。应该注意的是,作为两个按键之间的区域的防护带1430可以小到两个相邻触摸敏感元件之间的距离。
尽管为了简单,图14示出了每个点击只激活一个触摸敏感元件,但在实际中,激活一个以上的触摸敏感元件。
根据所收集的覆盖区域,处理器20相应地调整按键的大小,如图15所示。用户更一致地点击“Z”按键,处理器20缩小“Z”按键,为可能扩大的其他按键腾出更多空间。相反地,“H”按键被调整得更大。处理器20还可以根据某个按键的点击覆盖区域改变该按键的形状。例如,将数字“8”和“9”按键调整为五边形。
图16示出了可以基于检测到的点击覆盖区域进行动态调整的按键的形状和大小。X和Y轴定义表示某个按键的触摸区域1620,示例性地为13×13的网格区域。Z轴表示点击/敲击次数。图16A示出了在区域1620中没有检测到点击。图16B和16D分别示出了点击限制在较小和较大的圆形区域。较小的圆形大约位于区域1620的几何中心。因此,可以缩小该按键的大小。然而,图16D中较大的圆形并非大约位于区域1620的几何中心,而偏向右上。因此,该按键的位置应该向右上移动,使得区域1620的几何中心与较大圆形的几何中心匹配。由于较大圆形的大小小于区域1620的大小,因此按键也可以做得更小。图16C和16E分别示出了点击限制在较小和较大的正方形中。图16C中较小的正方形的几何中心与区域1620的几何中心匹配。如果两个几何中心之间的距离小于可以由用户设定的预定数量的网格,如一个网格,那么这两个中心被视为是匹配的。因此,按键不需要移动,而可以做得更小。图16E中的较大正方形占用并超出了整个区域1620。这样,应该扩大按键。图16F示出了点击限制在三角形区域,即点击图案是不对称的。应该移动区域1620,使得两个地理中心匹配。
除了改变大小和位置,处理器20还改变按键的形状。例如,图16B和D中的按键可以调整为圆形,图16C和E中的按键可以调整为矩形,图16F中的按键可以调整为三角形。如前面指出的,可以通过连接点击覆盖区域中的外围点来形成形状(连接得到的形状)。在一个实施例中,如果使用预定数量的形状,那么处理器20可以使用当包围连接得到的形状时具有最小误差的预定形状之一作为适应的形状。误差例如可以通过对包围的预定义形状和连接得到的形状之间的触摸敏感元件(图16中的网格)的数量计数来计算。
如果偏差太大以至于根本没有点击到期望的按键,而可能激活相邻的按键,那么用户不得不使用退格键删除该字母,并输入正确的字母——相应地字典功能做出正确的提议(如同时下一样)。根据本发明的原理,处理器20可以检测未击中的点击(敲击),并将未击中的点击添加到期望按键的覆盖区域。例如,如果点击完全未击中期望的按键,并触摸到相邻按键,用户使用退格键删除了该字母并输入了正确的字母,那么处理器20可以标识该期望的按键,并将该未击中的点击归为该期望按键的覆盖区域的一部分,以便可以正确地调整该期望按键的位置、大小和形状。
又例如,处理器20可以基于编辑软件的自动纠正来标识期望的按键和未击中的点击,以更准确地检测期望按键的覆盖区域。因此,通过监测输入并识别这种删除/纠正的情况,处理器20可以使用这些信息影响键盘的适应。例如,如果多次使用相同的纠正代替某一错误的字母,那么处理器20可以调整按键的大小、形状和位置中的至少一个来降低错误输入率。可以使用错误检查字典来检测未击中的点击,并持续调整键盘布局。使用字典将错误检测从单个字母打字错误转变为基于词的版本。这意味着处理器20还可以检查错误是基于点击相邻按键,还是仅仅是普通的错误。
图17和18示出了瞬时键盘布局的两个示例。图17示出了只展开右手420的小指负责的那些按键,例如从“0”按键到右边和下面的部分展开布局,以解决如图12所示的用户比预期的更大地横跨右手420的小指的问题。因此,处理器20部分展开右手420的小指负责的、包括数字“0”按键的这些按键。图18示出了对同一问题的另一解决方案,其中处理器20简单地加宽“£/$”按键,并相应地缩小“RTN”按键。图19示出了学习阶段后的完整布局,其中许多按键的大小和位置都发生了改变。注意,按键的大小并不相同。
处理器20可以自动地或响应于用户输入将该新近适应的键盘存储为与检测到的覆盖区域对应的虚拟键盘。由于变化是动态的,用户可能不想将该新近适应的虚拟键盘保存为对应的虚拟键盘,直到用户对该新近适应的键盘感觉满意,或直到用户已经完成编辑会话。
根据本发明的原理,当运行这样的自适应系统时,用户获得有关系统状态的一些反馈可能是有益的。用逐渐增大的声音(其他的反馈,如光、振动或触觉反馈系统也是可以的)提醒用户处理器20不能调整键盘,并将键盘初始化为默认的基本布局是有益的。提醒可以以“请更准确地打字”开始,稍后变为“请重新初始化”。这些提醒消息可以是音频或文本形式。处理器20可以同时提供触觉反馈,作为对触摸屏幕的响应。其中处理器20使得表面升高/降低的触觉反馈系统给予用户按压真实按钮的触觉感受。在一个实施例中,该触觉反馈系统可以用来给予用户触摸按键边缘的触觉感受。参见图30作为示例。使用反馈,用户可以调整点击的位置,并点击得更加准确。
发明人观察到按键被点击的位置可能与刚刚之前被点击的按键有关。例如,图20示出了在“L”按键后点击“$”按键的情况。小指横跨得较宽。作为对比,如图21所示,如果之前的按键点击是(也用小指按压),那么小指只需移动一个按键,并因此产生不同的点击覆盖区域,如图22所示。因此,发明人认识到可以通过具有之前点击按键给出的不同的键盘布局来进一步改善自适应键盘。因此,处理器20可以将此关联存储在存储器30中。对于每个按键,存储器30中关联的数量可以达到同一只手负责的其他按键的数量。例如,处理器20从对第二按键预定数量的点击收集第二按键的覆盖区域,所有这些点击都紧跟在对第一按键的点击之后,根据收集到的覆盖区域至少调整第二按键(适应的第二按键)的位置或大小或形状,计算从适应的第二按键的几何中心到第一按键的几何中心的相对距离,并将适应的第二按键、关于第一按键的相对位置信息和第一按键的标识存储在存储器30中以指示适应的第二按键与第一按键相关联。当将来点击第一按键时,处理器20用存储器30中适应的第二按键替换第二按键,并将适应的第二按键放置在从存储器30获取的位置信息处。处理器20对存储器中与第一按键相关联的其他的适应的按键重复相同的过程。有利地,对于每次按键点击,处理器20呈现不同的键盘,其中针对该按键可能对所有的按键进行调整或适应。
对于此新颖的方法,第一按键的位置也可以定义为一个值,可以从该值根据刚刚最后点击的按键的几何中心推得该第一按键的位置。实际上,该值允许从刚刚最后点击的按键的几何中心确定第一按键的位置。这种值的示例是起点在刚刚最后点击的按键的几何中心,终点在第一按键的适应版本的几何中心的向量。第一按键关于特定的刚刚最后点击的按键的适应版本也与相关联的向量相关联地存储在存储器30中。相关联的向量表示所述适应的第一按键相对于刚刚最后点击的按键的位置。因此,通过知道刚刚最后点击的按键,处理器20可以获取第一按键的适应版本,并在由相关联的向量定义的位置显示第一按键的适应版本。向量可以通过极坐标系统中的长度-角度对或笛卡尔坐标系统中的X-Y对表示。适应版本从第一按键关于刚刚最后点击的按键的覆盖区域推得。适应版本可以只改变位置、大小和形状中的一个,或改变它们中的任何两个,或改变它们全部。
现在,每个按键都具有由处理器20计算得到的一组这样的值,在该示例中,它们是表示紧跟的下一次点击的按键的适应版本的相对位置的向量,每一组与所有其他的按键之一相关联,或者为了节省处理器20的计算功率,与同一只手负责的剩余按键相关联。参见图23作为示例。为了帮助读者更好地理解向量,在图23和24中,假设覆盖区域的形状具有相同的正方形形状,适应版本的大小不变,上面一排的所有按键都只用“+”在相应的几何中心标记。不同的覆盖区域的几何中心都位于向量的终点(箭头)处,如图23和24所示。图24进一步示出了当对刚刚最后点击的按键的点击的位置变化时,当前点击的按键的覆盖区域的几何中心也变化。然而,存储器30中的关联不需要变化,因为当前点击的按键的位置是根据存储器30中关于每个刚刚最后点击的按键的相对位置信息确定的。
存储在存储器30中的这组向量可以被视为是用户签名的一部分。由于直到用户开始编辑会话并通过点击按键使用虚拟键盘,才能收集签名,因此它是动态签名。
根据本发明的另一方面,处理器20使得用户能够添加、移动和替换按键以适合用户的特殊需要。对于特定的符号或特殊的字母,可能希望将它们放置在虚拟键盘的顶层,使得用户不需要借助添加功能的符号或按压shift-、ctrl-或alt-按键来输入这些符号和字母。作为示例,美国用户最有可能使用美式键盘,但如果用户不得不经常使用“欧元符号”(€),那么用户会很高兴能够直接使用该按键,而不是使用冗长的过程添加该符号。通过根据本发明的原理添加带有想要的符号的新按键,或替换现有按键的符号,用户可以容易地处理此情况。取代单个字母,处理器20可以允许将如“亲爱的先生”、“您最真诚的”的文本字符串分配给单个按键。因此,处理器20允许用户在显示键盘时直接重新布置按键。例如,处理器20允许用户将按键拖放到新的位置、删除不用的按键、替换按键或添加按键。
在一个实施例中,当处理器20检测到两个手指手势,一个从第一按键到第二按键,另一个从第二按键到第一按键时,处理器20交换该第一和第二按键。例如,在图25中,第一和第二按键分别是“8”按键和“9”按键,处理器20交换这两个按键的位置。在另一实施例中,处理器20允许用户使用一根手指拖拽按键到想要的位置。当处理器20将按键放在想要的位置时,处理器20将原本位于想要位置的按键移动到被拖拽的按键所在的位置。实际上,处理器20交换了这两个按键的位置。
在又一实施例中,当处理器20将被拖拽的按键,例如,按键“5”放在例如同一行中按键“2”所在的想要的位置时,处理器20移动受影响的按键和位于受影响的按键和被拖拽的按键之间的那些按键。在图25的此示例中,“2”、“3”和“4”向右移动一个位置,然后按键“5”占据按键“2”原来的位置。
图26示出了添加按键的过程2600。在步骤2605,处理器20显示虚拟键盘2710,如图27所示。显示的虚拟键盘可以是用户当前正在使用的或在如上所述的初始化过程期间出现的虚拟键盘。在步骤2610,处理器20使得用户能够添加第一按键到虚拟键盘2710以形成第一虚拟键盘。为了使得用户能够添加第一按键,处理器20可以响应于用户添加符号的命令显示传统的符号表格2750,如图27所示。如所熟知地,编辑软件通常提供符号表格,使得用户可以从表格中选择符号,并将该选择的符号输入到被编辑的文档或域。因此,处理器20使得用户能够将输入选择的符号的功能分配给添加的按键。处理器20还可以使得用户能够选择要添加的按键的大小。示例性地,处理器20提供三个不同大小的方框2760、2770和2780供用户选择,如图27所示。这可以在训练模式中出现,训练模式可以由用户通过触摸触敏感区域上预定义的位置或触摸触摸敏感区域中某个位置预定义次数出现。为了添加符号,用户应该首先触摸尺寸方框2760、2770和2780之一,然后从表格2750选择符号,如图27所示。如果未选择尺寸方框,那么处理器20应该选择它们中的一个,例如,尺寸方框2760作为默认。所选择的符号优选地显示在所选择的尺寸方框中。然后,用户可以将其中显示有所选符号的选择的尺寸方框拖拽到想要的位置。处理器20可以自动调整与新按键一起显示的文本字符串的字体大小或缩写文本字符串或两者皆有来适应分配给此新按键的空间。
为了方便为添加的按键分配除输入符号表格2750中的符号之外的功能的情况,处理器20还可以提供文本方框2790。为了添加代表某个文本字符串的按键,用户首先选择尺寸方框之一,在文本方框中2790中输入文本字符串,并将选择的尺寸方框拖拽到想要的位置。在示例性的具有美式布局的虚拟键盘2710中,添加“$(£)”按键、按键和按键。因此,现在按键甚至可以具有可以通过用户点击该键盘中该添加的按键使用/启用的外国字母、文本片段、符号、图片、图形或多媒体功能(声音、视频或动作)。为了提供多媒体功能,处理器20应该为用户提供添加具有多媒体功能的按键的界面。例如,显示多媒体方框,当用户触摸多媒体方框时,处理器20为用户提供浏览功能以选择将要与该按键相关联的多媒体文件。将选择的文件名称输入到文本方框2790。实际上,文本方框(域)2790可以用来输入文本字符串、图形、不在符号表格2750中的符号、音频文件的文件名称以及视频文件的文件名称。当用户通过例如关闭符号表格发出信号表示按键添加会话结束时,在步骤2615,处理器20将包括添加的按键的新的虚拟键盘与所述用户的签名相关联地存储在存储器中。
处理器20如上面关于初始化过程描述地检测用户的签名。如果点击添加的按键,那么处理器20执行分配给它的功能,如输入符号、输入字符串、回放音频或回放视频。
使用添加功能的按键,用户能够使得处理器20显示两个虚拟键盘,如图28所示的虚拟键盘2810和2895。辅助键盘2895中的按键可以如上所述地添加。辅助键盘2895可以被用户或不同的用户用于某些目的,如教学、游戏或其他多用户目的。
应该注意的是,像虚拟键盘中其他已有的按键一样,也可以使用上面关于图6讨论的示例性过程动态适应添加的按键。
在编辑会话期间,用户可以如上面关于初始化过程描述地通过提供用户信号退回到初始化过程。
在另一实施例中,虚拟键盘可以显示为透明的,允许用户在打字的同时继续观看显示的内容,如图4所示。透明度可以与按键的使用、重要性或交互性相关地在键盘上变化,使得用户在整个文件(docket)/屏幕上有更好的总体观感。这种透明性使得有更大的区域可用于待写入的对象。
在又一实施例中,只有虚拟键盘的一部分显示为透明的。例如,图4中数字键行显示为透明的,而虚拟键盘410的其他部分不显示为透明。
在又一实施例中,虚拟键盘是透明的,但当用户开始敲击/点击键盘时,虚拟键盘变为不透明,并且如果用户不敲击预定义次数,那么虚拟键盘再次变为透明的。
未来的平板电脑可能会具有背面或边缘上的按钮或触摸敏感区域,使得用户不需要为某些动作移动抓握(grip)。这些按键通过触摸位于背面或边缘上、包括触摸敏感元件的特定的预定义区域而被激活。处理器20可以检测到对这些按键的触摸。这是触摸敏感元件的整个第二部分或第二部分的某一部分未以与触摸敏感元件的第一部分和屏幕310连续的方式布置的示例。对比地,图4中触摸敏感元件的第一部分和整个第二部分是以连续方式布置的。
这些背面的虚拟按键可以显示在前面的屏幕310上(完整的、透明的或仅在需要交互时),以示出它们在背面上对应的位置,但用户仍必须触摸背面对应的区域。触摸屏幕310上显示的按键不产生任何效果。这些按键还可以像前面的虚拟键盘中的按键一样自适应,并可以作为对应的虚拟键盘的一部分保存在存储器30中。例如,如图29所示,除了前面的按键,还显示位于背面的五个按键:“F1”、“F2”、“F3”、“F4”和“F5”。在适应后,可以改变这五个按键的形状、大小和位置中的至少一个。
在进一步的实施例中,可以通过按压激活按键或一组按键,如“CTRL”和“Shift”按键将背面的虚拟按键带到前面。这允许用户从前面从显示器120上对应的虚拟按键激活“背面按键”。在优选实施例中,通过改变例如显示器120上对应的虚拟按键的颜色来可视化这种变化。
为了将虚拟键盘移动到不同的位置,用户可以将多根手指,例如一只手或两只手的三或四根手指保持在按键上预定义的时间,例如2秒。当处理器20检测到这种情况时,处理器20识别出用户想要将键盘移动到不同的位置。当处理器20检测到手指开始滑动时,处理器20相应地移动虚拟键盘。
为了迅速使得键盘消失,用户应该做出快速(擦拭)动作。为了找回键盘,用户如前面所述地简单地将手指放置在显示器上。
如在图6中讨论的,一旦处理器20检测到带有对应的键盘的签名时,处理器20就获取该对应的键盘供用户使用。如前面提到的,存储在存储器30中的一组值(在此示例中,它们是向量)可以视为用户的动态签名的一部分。根据本发明的原理,在编辑会话期间,处理器20可以检测所存储的动态签名是否存在明显变化,如果有明显变化,那么处理器20可以通知用户此变化。图31示出了这种过程3100。在步骤3105,处理器20根据例如图6描述的过程600显示对应的虚拟键盘。显示的虚拟键盘应该是最后适应的虚拟键盘。在步骤3110,处理器20在编辑会话期间根据例如前面描述的过程适应显示的虚拟键盘。简要地说,步骤3110包括用于检测按键敲击(点击)的步骤3114以及用于确定适应参数(例如如前面所述地用例如向量表示的相对位置)的步骤3116,处理器20相应地适应键盘,保存确定的参数的步骤。
在保存确定的适应参数之前,在步骤3130,处理器20比较确定的适应参数和已有的适应参数。如果存在明显变化,那么处理器20通过例如需要新的标识、需要额外的认证方法、激活相机、发送警报、在系统或日志文件中留下注释表明动态签名已经被可疑用户修改或它们的任何组合来警告用户。
在步骤3120,编辑会话结束,虚拟键盘可以自动消失。
在示例性实施例中,在创建向量时,每个虚拟键盘都划分成若干区域,如5个区域:中间、右上、左上、右下、左下,如图32所示,处理器20仅监测预定义的一组按键,例如10个预定义的按键。本发明的原理不限于10个按键,可以使用任何数量的或所有的按键,在按键中可以使用任何数量的再次细分。使用此示例,存在510种变化,足以区分不同的用户。明显的变化是指20%的被监测按键具有超过20%的向量幅值变化。
在一个实施例中,处理器20可以简单地监测打字的节奏,并将该节奏记录为用户的动态签名的一部分。简单的“翻阅”、使用例如两或三根手指“看着键盘打字”、新手用户打字和专业打字当然会传递不同的节奏。节奏变化20%被视为是明显的。在又一实施例中,监测节奏和向量变化两者。
由于过程3100优选地在用户不知道的情况下在背景中运行,因此,过程3100为系统提供了更多的安全性。
如上所述,本发明除其他之外还提供了一种用于即使虚拟键盘中的某些按键是部分或完全不可见也使得用户能够使用虚拟键盘的方法,一种用于适应虚拟键盘以匹配手指的大小和位置的方法,一种用于动态适应每个按键以匹配签名所代表的用户的打字习惯的方法,以及一种用于添加按键到虚拟键盘的方法。每个添加的按键也都可以动态适应。虽然本发明已经描述为具有优选设计,但在本公开的精神和范围内可以对本发明做进一步的修改。因此,本申请旨在涵盖使用本发明的主要原理的本发明的任何变化、使用或适应。而且,本申请旨在涵盖偏离本公开,而属于本发明相关技术领域中的已知或惯用实践,并落入所附权利要求的限制内的部分。

Claims (25)

1.一种触摸屏幕设备(1),包括:
屏幕(310);
触摸敏感元件(320),所述触摸敏感元件(320)的第一部分被布置在所述屏幕(310)内部,所述触摸敏感元件(320)的第二部分被布置在所述屏幕(310)的外部;以及
处理器(20),与所述屏幕(310)和所述触摸敏感元件(320)耦接,所述处理器(20)输出第一虚拟按键到所述屏幕(310)的第一部分,并响应于用户输入将所述第一虚拟按键从所述屏幕(310)的所述第一部分移动到所述第一虚拟按键在所述屏幕(310)上被部分显示并覆盖所述触摸敏感元件(320)的所述第一部分的第一部分,所述第一虚拟按键的不可见部分覆盖所述触摸敏感元件(320)的所述第二部分的第一部分的位置,当点击所述第一虚拟按键时,使得所述处理器执行特定的功能。
2.如权利要求1所述的触摸屏幕设备,其中所述处理器(20)用于检测指示哪个所述触摸敏感元件(320)被点击的信号。
3.如权利要求2所述的触摸屏幕设备,其中响应于检测所述触摸敏感元件(320)的所述第一部分的所述第一部分被点击,所述处理器(20)执行所述特定的功能。
4.如权利要求2所述的触摸屏幕设备,其中响应于检测所述触摸敏感元件(320)的所述第二部分的所述第一部分被点击,所述处理器(20)执行所述特定的功能。
5.如权利要求2所述的触摸屏幕设备,其中所述处理器(20)将所述第一虚拟按键移动到所有所述第一虚拟按键都不可见并覆盖所述触摸敏感元件(320)的所述第二部分的第二部分的位置。
6.如权利要求5所述的触摸屏幕设备,其中响应于检测所述触摸敏感元件(320)的所述第二部分的所述第二部分被点击,所述处理器(20)执行所述特定的功能。
7.如权利要求2所述的触摸屏幕设备,其中所述处理器(20)输出包括所述第一虚拟按键的虚拟键盘,并将所述虚拟键盘移动到包括所述第一虚拟按键的某些虚拟按键在所述屏幕(310)上被部分显示并落在所述触摸敏感元件(320)的所述第一部分上,所述某些虚拟按键的不可见部分落在所述触摸敏感元件(320)的所述第二部分上的位置。
8.如权利要求7所述的触摸屏幕设备,其中响应于检测所述触摸敏感元件(320)的所述第一部分的所述第一部分被点击,所述处理器(20)执行所述特定的功能。
9.如权利要求7所述的触摸屏幕设备,其中响应于检测所述触摸敏感元件(320)的所述第二部分的所述第一部分被点击,所述处理器(20)执行所述特定的功能。
10.如权利要求7所述的触摸屏幕设备,其中所述处理器(20)将所述虚拟键盘移动到所述某些虚拟按键完全不可见并落在所述触摸敏感元件(320)的所述第二部分上的位置。
11.如权利要求10所述的触摸屏幕设备,其中所述第一虚拟按键覆盖所述触摸敏感元件(320)的所述第二部分的第二部分,并响应于检测所述触摸敏感元件(320)的所述第二部分的所述第二部分被点击,所述处理器(20)执行所述特定的功能。
12.如权利要求7所述的触摸屏幕设备,其中所述虚拟键盘包括多个行,所述某些按键布置在所述行之一中。
13.如权利要求1所述的触摸屏幕设备,其中所述第一和第二部分以连续方式彼此邻近。
14.如权利要求1所述的触摸屏幕设备,其中所述第一和第二部分是不连续的。
15.如权利要求14所述的触摸屏幕设备,其中所述屏幕位于所述触摸屏幕设备的第一侧,所述第二部分位于不同于所述触摸屏幕设备的所述第一侧的第二侧。
16.如权利要求15所述的触摸屏幕设备,其中所述第二部分包括第二按键,所述处理器(20)在所述屏幕(310)上显示指示所述第二按键在所述第二侧的位置的第三按键。
17.如权利要求16所述的触摸屏幕设备,其中当点击所述第二和第三按键之一时,所述处理器(20)执行分配给所述第二按键的第二功能。
18.一种用于在包括屏幕(310)和触摸敏感元件的触摸屏幕设备上呈现包括多个按键的虚拟键盘的方法(500),所述触摸敏感元件的第一部分被布置在所述屏幕(310)的内部,所述触摸敏感元件的第二部分被布置在所述屏幕(310)的外部,所述方法包括:
呈现(505)所述虚拟键盘,其中在所述屏幕上显示完整的所述虚拟键盘,所述完整的所述虚拟键盘落在所述触摸敏感元件的所述第一部分上;
响应于用户输入,将所述虚拟键盘移动(510)到包括所述虚拟键盘的第一按键的某些按键在所述屏幕上被部分显示并可见,所述某些按键的所述可见部分落在所述触摸敏感元件的所述第一部分上,所述某些按键的不可见部分落在所述触摸敏感元件的所述第二部分上,所述第一按键覆盖所述触摸敏感元件的所述第一部分的第一部分和所述触摸敏感元件的所述第二部分的第一部分的位置;以及
当点击所述第一按键时,执行(515)分配给所述第一按键的特定功能。
19.如权利要求18所述的方法,其中所述虚拟键盘包括多个行,所述某些按键布置在所述行之一中。
20.如权利要求19所述的方法,其中如果检测到点击所述触摸敏感元件的所述第一部分的所述第一部分和所述触摸敏感元件的所述第二部分的所述第一部分中之一,那么执行执行步骤。
21.如权利要求19所述的方法,其中所述移动步骤将所述虚拟键盘移动到所述某些虚拟按键完全不可见并落在所述触摸敏感元件的所述第二部分上的位置。
22.如权利要求21所述的方法,其中所述第一按键覆盖所述触摸敏感元件的所述第二部分的第二部分,并且如果检测到点击所述触摸敏感元件的所述第二部分的所述第二部分,那么执行所述执行步骤。
23.如权利要求18所述的方法,其中所述屏幕位于所述触摸屏幕设备的第一侧,所述触摸敏感元件的所述第二部分位于不同于所述第一侧的所述触摸屏幕设备的第二侧,所述触摸敏感元件的所述第二部分包括第二按键,所述方法进一步包括在所述屏幕上显示指示所述第二按键在所述第二侧的位置的第三按键。
24.如权利要求23所述的方法,进一步包括当点击所述第二按键时,执行分配给所述第二按键的第二功能。
25.如权利要求24所述的方法,进一步包括当点击所述第三按键时,执行分配给所述第二按键的第二功能。
CN201280077292.8A 2012-11-27 2012-11-27 自适应虚拟键盘 Pending CN105027064A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2012/002512 WO2014083369A1 (en) 2012-11-27 2012-11-27 Adaptive virtual keyboard

Publications (1)

Publication Number Publication Date
CN105027064A true CN105027064A (zh) 2015-11-04

Family

ID=47557394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280077292.8A Pending CN105027064A (zh) 2012-11-27 2012-11-27 自适应虚拟键盘

Country Status (6)

Country Link
US (1) US9965179B2 (zh)
EP (1) EP2926236A1 (zh)
JP (1) JP2015535628A (zh)
KR (1) KR20150106397A (zh)
CN (1) CN105027064A (zh)
WO (1) WO2014083369A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633551A (zh) * 2017-08-18 2018-01-26 中山叶浪智能科技有限责任公司 一种虚拟键盘的展示方法及装置
CN108304077A (zh) * 2017-01-12 2018-07-20 福特全球技术公司 形成在车窗中的车辆键盘
TWI631496B (zh) * 2016-07-22 2018-08-01 華碩電腦股份有限公司 電子裝置及觸控板
CN108804012A (zh) * 2018-06-06 2018-11-13 北京小米移动软件有限公司 输入控制的方法、装置以及键盘和存储介质
TWI659337B (zh) * 2018-03-08 2019-05-11 三竹資訊股份有限公司 顯示動態虛擬鍵盤之方法及其電腦程式產品
CN110012192A (zh) * 2017-12-27 2019-07-12 夏普株式会社 图像形成装置
CN112000272A (zh) * 2020-08-25 2020-11-27 北京百度网讯科技有限公司 键盘面板的布局调整方法、装置、电子设备和存储介质
CN112306351A (zh) * 2020-10-30 2021-02-02 腾讯科技(深圳)有限公司 虚拟按键的位置调整方法、装置、设备及存储介质
US11836335B2 (en) 2020-10-30 2023-12-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for adjusting position of virtual button, device, storage medium, and program product

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048861B2 (en) * 2012-11-27 2018-08-14 Thomson Licensing Adaptive virtual keyboard
JP6154690B2 (ja) * 2013-07-22 2017-06-28 ローム株式会社 ソフトウェアキーボード型入力装置、入力方法、電子機器
US20150089431A1 (en) * 2013-09-24 2015-03-26 Xiaomi Inc. Method and terminal for displaying virtual keyboard and storage medium
CN103488400A (zh) * 2013-09-27 2014-01-01 京东方科技集团股份有限公司 一种虚拟键盘的构建方法及装置
USD765667S1 (en) * 2013-12-31 2016-09-06 Beijing Qihoo Technology Co. Ltd Display screen with a graphical user interface
CN106537296B (zh) * 2015-03-26 2020-03-20 京瓷办公信息系统株式会社 显示输入装置及其控制方法和存储介质
KR101661991B1 (ko) 2015-06-05 2016-10-04 재단법인 실감교류인체감응솔루션연구단 모바일 확장 공간에서의 3d 드로잉을 지원하기 위한 hmd 장치 및 방법
US20180024736A1 (en) * 2016-07-22 2018-01-25 Asustek Computer Inc. Electronic device and touch panel
CN106227458A (zh) * 2016-08-05 2016-12-14 深圳市金立通信设备有限公司 一种键盘处理的方法以及终端
US20180107380A1 (en) * 2016-10-14 2018-04-19 Samsung Electronics Co., Ltd. System and method for key area correction
KR102587138B1 (ko) 2016-10-17 2023-10-11 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
KR102411283B1 (ko) * 2017-08-23 2022-06-21 삼성전자주식회사 사용자 인터페이스의 입력 검출 영역을 설정하기 위한 방법 및 그 전자 장치
CN108744495A (zh) * 2018-05-29 2018-11-06 努比亚技术有限公司 一种虚拟按键的控制方法、终端和计算机存储介质
US10937244B2 (en) 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
CN112540679B (zh) * 2020-12-11 2023-02-03 深圳市创智成科技股份有限公司 一种键盘图案投影方法
JP2022108489A (ja) * 2021-01-13 2022-07-26 東芝テック株式会社 入力装置及びそのプログラム
US11347323B2 (en) * 2021-06-10 2022-05-31 Baidu International Technology (Shenzhen) Co., Ltd. Method for determining target key in virtual keyboard
KR20230001576A (ko) 2021-06-28 2023-01-05 삼성디스플레이 주식회사 폴더블 표시 장치 및 폴더블 표시 장치의 구동 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998245A2 (en) * 2007-05-14 2008-12-03 Samsung Electronics Co., Ltd. Method and apparatus for inputting characters in mobile communication terminal
CN102609180A (zh) * 2010-12-20 2012-07-25 索尼公司 信息处理装置和信息处理方法
WO2012110678A1 (en) * 2011-02-15 2012-08-23 Nokia Corporation Displaying a panel

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909424B2 (en) * 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
KR20030046891A (ko) 2001-12-07 2003-06-18 에스케이텔레텍주식회사 상폴더 외부에 터치스크린과 기능키를 구비하는 폴더형이동통신단말기
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7103852B2 (en) 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
CA2426867A1 (en) 2003-04-30 2004-10-30 Naviform Holdings Ltd. Customizable keyboard
US20050122313A1 (en) 2003-11-11 2005-06-09 International Business Machines Corporation Versatile, configurable keyboard
WO2005094430A2 (en) 2004-03-22 2005-10-13 Leonid Rozumenko Universal multilanguage multifunctional keyboard
CA2481065C (en) 2004-09-07 2014-01-21 Research In Motion Limited System and method for inserting a graphic object in to a text based message
US20060077179A1 (en) 2004-10-08 2006-04-13 Inventec Corporation Keyboard having automatic adjusting key intervals and a method thereof
JP4657149B2 (ja) 2006-05-26 2011-03-23 京セラミタ株式会社 画像形成装置用ユーザアプリケーション開発支援装置
TWI450137B (zh) 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
WO2008074223A1 (fr) * 2006-12-19 2008-06-26 Bo Qiu Dispositif d'interaction entre l'homme et l'ordinateur, dispositif électronique, et procédé permettant une interaction entre l'homme et l'ordinateur
CN101231554B (zh) 2007-01-25 2010-10-20 环达电脑(上海)有限公司 调整软键盘大小的方法
US8836637B2 (en) 2007-08-14 2014-09-16 Google Inc. Counter-tactile keypad
KR101352994B1 (ko) 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
US20090183098A1 (en) 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
US8100425B2 (en) 2008-08-01 2012-01-24 Maurice Raynor Bicycle having independent rear wheel steering
US8436816B2 (en) 2008-10-24 2013-05-07 Apple Inc. Disappearing button or slider
US8217910B2 (en) 2008-12-19 2012-07-10 Verizon Patent And Licensing Inc. Morphing touch screen layout
KR101064836B1 (ko) 2009-01-22 2011-09-14 주식회사 팬택앤큐리텔 터치식 문자 입력 장치 및 방법
WO2010107764A1 (en) 2009-03-17 2010-09-23 Trs Technologies, Inc. Relaxor-pt based ferroelectric single crystals
EP2234007A1 (en) 2009-03-27 2010-09-29 Siemens Aktiengesellschaft A computer user interface device and method for displaying
US20100245252A1 (en) * 2009-03-30 2010-09-30 Yoram Ghassabian Information input keyboard and keyboard locator associated therewith
US8300023B2 (en) 2009-04-10 2012-10-30 Qualcomm Incorporated Virtual keypad generator with learning capabilities
US20100265183A1 (en) 2009-04-20 2010-10-21 Microsoft Corporation State changes for an adaptive device
US20100277414A1 (en) 2009-04-30 2010-11-04 Qualcomm Incorporated Keyboard for a portable computing device
CN101882051B (zh) 2009-05-07 2013-02-20 深圳富泰宏精密工业有限公司 行动装置及控制该行动装置用户界面的控制方法
US20100302212A1 (en) 2009-06-02 2010-12-02 Microsoft Corporation Touch personalization for a display device
WO2010147611A1 (en) 2009-06-16 2010-12-23 Intel Corporation Adaptive virtual keyboard for handheld device
JP4973711B2 (ja) * 2009-09-28 2012-07-11 ブラザー工業株式会社 処理実行装置
KR101645291B1 (ko) 2009-12-21 2016-08-03 삼성전자주식회사 터치스크린을 구비한 화상형성장치 및 그 장치에서 입력 문자의 편집 방법
US8493346B2 (en) 2009-12-31 2013-07-23 International Business Machines Corporation Morphing touchscreen keyboard interface
JP2011150489A (ja) 2010-01-20 2011-08-04 Sony Corp 情報処理装置及びプログラム
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
GB2479756B (en) 2010-04-21 2013-06-05 Realvnc Ltd Virtual interface devices
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US8698764B1 (en) * 2010-06-30 2014-04-15 Amazon Technologies, Inc. Dorsal touch input
EP2646894A2 (en) * 2010-11-30 2013-10-09 Cleankeys Inc. Dynamically located onscreen keyboard
US20120144337A1 (en) 2010-12-01 2012-06-07 Verizon Patent And Licensing Inc. Adjustable touch screen keyboard
US20120166995A1 (en) 2010-12-24 2012-06-28 Telefonaktiebolaget L M Ericsson (Publ) Smart virtual keyboard for touchscreen devices
JP5816834B2 (ja) 2011-03-22 2015-11-18 パナソニックIpマネジメント株式会社 入力装置、および入力方法
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
US20130263039A1 (en) 2012-03-30 2013-10-03 Nokia Corporation Character string shortcut key
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10048861B2 (en) * 2012-11-27 2018-08-14 Thomson Licensing Adaptive virtual keyboard

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998245A2 (en) * 2007-05-14 2008-12-03 Samsung Electronics Co., Ltd. Method and apparatus for inputting characters in mobile communication terminal
CN102609180A (zh) * 2010-12-20 2012-07-25 索尼公司 信息处理装置和信息处理方法
WO2012110678A1 (en) * 2011-02-15 2012-08-23 Nokia Corporation Displaying a panel

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI631496B (zh) * 2016-07-22 2018-08-01 華碩電腦股份有限公司 電子裝置及觸控板
CN108304077A (zh) * 2017-01-12 2018-07-20 福特全球技术公司 形成在车窗中的车辆键盘
CN107633551A (zh) * 2017-08-18 2018-01-26 中山叶浪智能科技有限责任公司 一种虚拟键盘的展示方法及装置
CN110012192A (zh) * 2017-12-27 2019-07-12 夏普株式会社 图像形成装置
TWI659337B (zh) * 2018-03-08 2019-05-11 三竹資訊股份有限公司 顯示動態虛擬鍵盤之方法及其電腦程式產品
CN108804012A (zh) * 2018-06-06 2018-11-13 北京小米移动软件有限公司 输入控制的方法、装置以及键盘和存储介质
CN112000272A (zh) * 2020-08-25 2020-11-27 北京百度网讯科技有限公司 键盘面板的布局调整方法、装置、电子设备和存储介质
CN112000272B (zh) * 2020-08-25 2022-05-06 北京百度网讯科技有限公司 键盘面板的布局调整方法、装置、电子设备和存储介质
CN112306351A (zh) * 2020-10-30 2021-02-02 腾讯科技(深圳)有限公司 虚拟按键的位置调整方法、装置、设备及存储介质
CN112306351B (zh) * 2020-10-30 2022-05-13 腾讯科技(深圳)有限公司 虚拟按键的位置调整方法、装置、设备及存储介质
US11836335B2 (en) 2020-10-30 2023-12-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for adjusting position of virtual button, device, storage medium, and program product

Also Published As

Publication number Publication date
KR20150106397A (ko) 2015-09-21
EP2926236A1 (en) 2015-10-07
JP2015535628A (ja) 2015-12-14
WO2014083369A1 (en) 2014-06-05
US9965179B2 (en) 2018-05-08
US20150301740A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
CN105027064A (zh) 自适应虚拟键盘
US10048861B2 (en) Adaptive virtual keyboard
US7760190B2 (en) Remote controller with touchpad for receiving handwritten input functions
US9465532B2 (en) Method and apparatus for operating in pointing and enhanced gesturing modes
EP1860537B1 (en) Touch screen device and operating method thereof
US8411039B2 (en) Computer keyboard
US8560947B2 (en) Touch screen with user interface enhancement
CN103049254B (zh) 用于语义缩放的编程接口
US20050024341A1 (en) Touch screen with user interface enhancement
KR20090065919A (ko) 메뉴 조작 시스템 및 방법
WO2008070247A9 (en) Display input equipped data entry device and methods
US20120182234A1 (en) Electronic device and control method thereof
US20220391456A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with a Web-Browser
CN104423626A (zh) 信息处理装置以及控制方法
EP2400374A1 (en) User input device, display apparatus comprising the same and control method thereof
US11934624B2 (en) Electronic apparatus, control method thereof, and computer readable recording medium for providing a control command to an external apparatus
CN206162403U (zh) 用于头戴显示装置的键盘
WO2014083370A1 (en) Adaptive virtual keyboard
KR20230032136A (ko) 전자장치 및 그 제어방법
Lewis et al. T. past decade has seen an increasing proliferation of handheld electronic devices and mobile services, and this will certainly continue into the future. In this review we address recent research and design trends related to this challenging product class. We first address the design goal of ensuring a good fit between the shape of a hand-held device and users' hands. The input section addresses the methods by which users con
TWM594736U (zh) 觸控顯示裝置
CN107205170A (zh) 显示设备及操作显示设备的方法
KR20130004453A (ko) 정보 단말기의 화면상에서 문서 데이터 표시 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151104

WD01 Invention patent application deemed withdrawn after publication