CN103229128A - 接受移动计算设备上基于动作的字符输入 - Google Patents

接受移动计算设备上基于动作的字符输入 Download PDF

Info

Publication number
CN103229128A
CN103229128A CN201180042951XA CN201180042951A CN103229128A CN 103229128 A CN103229128 A CN 103229128A CN 201180042951X A CN201180042951X A CN 201180042951XA CN 201180042951 A CN201180042951 A CN 201180042951A CN 103229128 A CN103229128 A CN 103229128A
Authority
CN
China
Prior art keywords
character
spatial movement
mobile computing
computing device
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180042951XA
Other languages
English (en)
Inventor
梁义诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN103229128A publication Critical patent/CN103229128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Abstract

一种用于接受在移动计算设备上基于动作的字符输入的机制。为了输入字符,用户像使用钢笔一样使用移动计算设备,来在空中书写字符。该机制检测(例如,通过板上加速度计)移动计算设备的运动、识别用户利用移动计算设备所画的笔划的顺序、基于该顺序识别字符、以及将该字符输入在移动计算设备上(例如,呈现在显示器上)。

Description

接受移动计算设备上基于动作的字符输入
技术领域
本公开内容总体涉及计算设备中的用户界面的领域。
背景技术
随着移动计算技术的发展,越来越多的应用程序变得可用于移动计算设备。结果,用户利用移动计算设备来执行更多的活动。这些活动通常包括将字符输入到移动计算设备中。为了便于这种字符输入,移动计算设备通常为其用户提供键盘(有形的或显示的),以键入字符。键盘输入对于诸如英文、法文和俄文之类的基于字母的语言是方便的。非字母语言(即,诸如中文、日文和韩文之类的不使用字母系统的语言),由于这些语言中的数千个可能的字符,而不能利用键盘容易地键入。输入非字母语言的字符通常要求特定的输入方法(例如,键盘输入方法编辑器),这些方法是复杂的并且要求另外学习。
附图说明
所公开的实施例具有其它优点和特征,这些优点和特征根据具体实施方式、所附权利要求以及附图(或图)将更加明显。以下是附图的简要介绍。
图1a图示移动计算设备处于第一位置状态的一个示例实施例。
图1b图示移动计算设备处于第二位置状态的一个示例实施例。
图2图示移动计算设备的架构的一个示例实施例。
图3图示动作输入模块的架构的一个示例实施例。
图4和图5共同图示动作输入模块的过程的一个示例实施例。
图6A至图6C是图示根据一个示例实施例的中文字符、相关联运动以及对应的映射表条目的图。
具体实施方式
附图和以下描述仅仅通过图示的方式涉及优选实施例。应当注意,根据以下论述,在不背离所要求的原理的情况下,在本文中公开的结构和方法的替代实施例将容易被视作可采用的可行替代方案。
将具体引用若干个实施例,这些实施例的示例图示在附图中。需注意的是,在所有地方均可适用的相同或类似的附图标记可应用于图中,并且可表示相同或类似的功能。这些图仅仅是出于图示的目的描述所公开系统(或方法)的实施例。根据以下描述,本领域技术人员易于认识到在不背离在本文中所描述的原理的情况下,可采用在本文中图示的结构和方法的替代实施例。
所公开系统(和方法以及非暂时性计算机可读存储介质)的一个实施例接受在移动计算设备上基于动作的字符输入。为了利用基于动作的字符输入在移动计算设备上输入字符,用户利用移动计算设备在三维空间中描出字符的轮廓。系统检测(例如,通过板上加速度计)移动计算设备的运动、识别用户利用移动计算设备所画的笔划的顺序、基于该顺序识别字符、以及将该字符输入在移动计算设备上(例如,呈现在显示器上)。
示例移动计算设备
在一个示例实施例中,所公开的配置可以被配置为用于可作为主设备的移动计算设备和附属设备之间。图1a和图1b图示移动计算设备110的一个示例实施例。图1a图示具有电话功能的移动计算设备110(例如移动电话或智能手机)的第一位置状态的一个实施例。图1b图示具有电话功能的移动计算设备110(例如移动电话、智能手机、上网本或膝上型计算机)的第二位置状态的一个实施例。移动计算设备110被配置为装载并执行用于拨打和接听电话呼叫的电话应用程序。
需注意的是,为易于理解,在本文中公开的原理是处于在移动电信网络中操作的、具有电话功能的移动计算设备110的示例情境中。然而,在本文中公开的原理也可应用于其他双工(或多工)通话情境中,例如应用于被配置为与公共交换电话网(PSTN)和/或具有互联网语音协议(VoIP)功能的数据网络直接交互的、具有电话功能的设备中。另外,移动计算设备110仅仅是作为示例的计算设备,并且其功能原理适用于其它的计算设备,例如台式计算机、服务器计算机等等。
移动计算设备110包括第一部分110a和第二部分110b。第一部分110a包括用于显示信息(或数据)的屏幕,并且可以包括导航装置。下文中将进一步描述第一部分110a的这些方面。第二部分110b包括键盘,并且下文中也将进一步描述第二部分110b。移动计算设备110的第一位置状态可以被称为“打开”位置,在“打开”位置,移动计算设备的第一部分110a沿使移动计算设备110的第二部分110b暴露的第一方向滑动(或者从运动角度来说,第二部分110b沿使第一部分110a暴露的方向滑动)。移动计算设备110在第一位置状态下或第二位置状态下保持操作。
移动计算设备110被配置为具有便于握在用户手中的形状因子(form factor),例如个人数字助理(PDA)或智能手机形状因子。例如,移动计算设备110可具有长度在7.5厘米到15.5厘米范围之间、宽度在5厘米到15厘米范围之间、厚度在0.5厘米到2.5厘米范围之间的尺寸,并且具有50克和250克之间的重量。
移动计算设备110包括扬声器120、屏幕130和可选的导航区140,如第一位置状态中所示。移动计算设备110还包括在第二位置状态下暴露出的键盘150。移动计算设备还包括话筒(未示出)。移动计算设备110还可包括一个或多个开关(未示出)。一个或多个开关可以是按钮开关、滑块开关或摇转开关,并且可以是机械的或固态(例如触敏固态开关)。
移动计算设备110的屏幕130是例如240×240、320×320、320×480或640×480的触敏(包括手势)显示屏。屏幕130可以由例如玻璃、塑料、薄膜或复合材料构成。在一个实施例中,屏幕可以是沿对角1.5英寸至5.5英寸(或者4厘米至14厘米)。触敏屏幕可以是半透半反式液晶显示(LCD)屏。在可替代实施例中,在不背离本说明书中公开的发明特征的原理的情况下,高宽比和分辨率可以不同。作为示例,屏幕130的实施例包括有源矩阵液晶显示器(AMLCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、干涉式调制器显示器(IMOD)、液晶显示器(LCD)或者其它适合的显示设备。在实施例中,显示器显示彩色图像。在另一实施例中,屏幕130进一步包括包含用于从用户接收输入数据、命令或信息的数字转换器的触敏显示器(例如,压敏的(电阻的)、电敏的(电容的)、声敏的(SAW或表面声波)、光敏的(红外))。用户可以使用指示笔、手指或另一适合输入设备来进行数据输入,例如从菜单中进行选择或输入文本数据。
可选的导航区140被配置为控制在移动计算设备110中运行的并且通过屏幕130可视的应用程序的功能。例如,导航区包括提供光标控制、选择及类似功能的X向(X是整数,例如5)导航环。此外,导航区可以包括用于选择通过用户界面显示在屏幕130上的功能的选择按钮。此外,导航区还可以包括关于多种功能(例如日程表、网页浏览器、电子邮件客户程序或主屏幕)的专用功能按钮。在该示例中,导航环可以通过机械开关、固态开关、拨号盘或它们的组合来实现。在可替代实施例中,导航区140可被配置为专用手势区,该专用手势区允许对通过在屏幕130上显示的用户界面示出的功能和操作进行手势交互和控制。
键盘区150可以是数字键盘(例如拨号盘)或与字母键盘或字母数字键盘或字符键盘150集成一体的数字键盘(例如具有位于诸如DVORAK键盘或双字节字符键盘等的键盘上的连续键Q-W-E-R-T-Y、A-Z-E-R-T-Y或其它相当的一组键的键盘)。
虽然未示出,但是应当注意,移动计算设备110还可以包括扩展槽。扩展槽被配置为容纳和支持扩展卡(或媒体卡)。存储器形状因子或媒体卡形状因子的示例包括CF卡、SD卡、XD卡、记忆棒、多媒体卡、SDIO等等。
示例移动计算设备架构概述
接下来参照图2,框图图示根据一个示例实施例的具有电话功能的移动计算设备110的架构的部件。作为示例,将关于图1a和图1b的移动计算设备描述图2所示的架构。移动计算设备110包括中央处理器220、电源240和无线电子系统250。中央处理器220的示例包括基于下列架构的处理芯片和系统,例如ARM(包括由微处理器制造商制造的内核)、ARM XSCALE、AMD速龙(ATHLON)、闪龙(SEMPRON)或羿龙(PHENOM)、英特尔ATOM、XSCALE、赛扬(CELERON)、酷睿(CORE)、奔腾(PENTIUM)或安腾(ITANIUM)、IBM CELL、POWERARCHITECTURE、SUN SPARC等等。
中央处理器220被配置为与计算机操作系统220a一起操作。操作系统220a是硬件和应用程序之间的接口,用户一般与操作系统交互。操作系统220a负责活动的管理和协调以及负责移动计算设备110的资源共享。操作系统220a为在移动计算设备110上运行的应用程序提供宿主环境。作为宿主,操作系统的用途之一是处理移动计算设备110的操作的细节。操作系统的示例包括PALM OS和WEBOS、微软视窗(包括视窗7(WINDOWS7)、视窗CE(WINDOWS CE)和视窗移动版(WINDOWS MOBILE))、塞班(SYMBIAN)操作系统、RIM黑莓(BLACKBERRY)操作系统、苹果操作系统(包括MAC OS和IPHONE OS)、谷歌安卓(GOOGLE ANDROID)和LINUX。
中央处理器220与音频系统210、图像采集子系统(例如照相机、摄像机或扫描仪)212、闪存214、RAM存储器216和短距离无线电模块218(例如蓝牙、无线保真(WiFi)部件(例如IEEE802.11))通信。中央处理器220通过数据线(或总线)278通信地联接这些不同部件或模块。电源240为中央处理器220、无线电子系统250和显示器驱动器230(其可以是接触敏感的或感应敏感的)供电。电源240可对应于直流源(例如电池组,包括可充电电池组)或交流(AC)源。电源240通过电源线(或总线)279向不同部件供电。
中央处理器通过操作系统220a与在移动计算设备110内运行的应用程序通信。此外,例如窗口管理器模块222和屏幕管理器模块226的中间部件提供在中央处理器220和操作系统220与系统部件(例如显示器驱动器230)之间的附加通信信道。
应注意的是,在一个实施例中,对应于执行通过例如导航区140或开关交互的应用程序,中央处理器220执行逻辑操作(例如,通过编程、代码或指令的方式)。应注意的是,对计算设备200的硬件架构来说,大量其它部件和修改是可能的,因此诸如图2所示的实施例只是对实施例的一种实现的示意。
在一个实施例中,窗口管理器模块222包括软件(例如与操作系统集成)或固件(驻留在用于代码的特定存储器中的并且用于与特定硬件(例如处理器220)交互的底层代码)。窗口管理器模块222被配置为对可存储在RAM216和/或闪存214中的虚拟显示空间进行初始化。虚拟显示空间包括用户当前正运行的一个或多个应用程序和所运行的应用程序的当前状态。窗口管理器模块222从用户输入或从软件进程或固件进程接收请求来显示窗口,并且确定所请求的窗口的初始位置。此外,窗口管理器模块222接收改变窗口(例如调整窗口大小、移动窗口)的命令或指令或者改变窗口的外观或位置的任何其它命令,并且相应地改变窗口。
屏幕管理器模块226包括软件(例如与操作系统集成)或固件。屏幕管理器模块226被配置为管理将在屏幕130上显示的内容。在一个实施例中,屏幕管理器模块226监视并控制显示于屏幕130上的数据的物理位置以及屏幕130上显示哪些数据。屏幕管理器模块226改变或更新在屏幕130上观察到的数据的位置。改变或更新响应于来自中央处理器220和显示器驱动器230的输入,该输入改变屏幕130上显示的外观。在一个实施例中,屏幕管理器226还被配置为监视并控制屏幕亮度。此外,屏幕管理器226被配置为向中央处理器220发送用于改变屏幕130的电源使用的控制信号。
动作输入模块228包括被配置为接受基于动作的字符输入的软件、硬件和/或固件。模块228通过板上加速度计(如下文将进一步描述的)检测移动计算设备110的动作,并且识别用户利用移动计算设备110所画的笔划的顺序。动作输入模块228将所识别的笔画顺序与笔画顺序的集合进行比较,识别与所识别的顺序相对应的字符,以及将字符作为用户输入发送给在移动计算设备110上运行的当前应用程序,其中笔画顺序的集合中的每一个与不同的字符唯一地相对应。
无线电子系统250包括无线电处理器260、无线电存储器262和收发器264。收发器264可以是用于发送信号和接收信号的两个分离的组件,或者是既用于发送信号又用于接收信号的单个组件。在任一种情况下,其均被称为收发器264。收发器264的接收器部分通信地与设备110的无线电信号输入(例如天线)联接,在无线电信号输入处从已建立的呼叫(例如已连接的呼叫或进行中的呼叫)接收通信信号。所接收的通信信号包括从呼叫接收的并由无线电处理器260处理的语音(或其它声音信号),以通过扬声器120输出。收发器264的发射器部分通信地联接设备110(例如天线)的无线电信号输出,在此处将通信信号发送给已建立的(例如,连接(或联接的)或活动的)呼叫。用于发送的通信信号包括例如通过设备110的话筒接收的语音(或其它声音信号),该语音(或其它声音信号)由无线电处理器260处理,以通过收发器264的发射器发送给已建立的呼叫。
在一个实施例中,使用所描述的无线电通信的通信可以经由语音网络或数据网络。语音网络的示例包括全球移动系统(GSM)通信系统、码分多址(CDMA系统)以及通用移动电信系统(UMTS)。数据网络的示例包括通用分组无线服务(GPRS)、第三代(3G)或第四代(4G)移动(或更高)、高速下行分组接入(HSDPA)、高速上行分组接入(HSUPA)以及全球微波互联接入(WiMAX)。
尽管其它组件可以具有无线电子系统250,但是示出的基本组件提供移动计算设备执行射频通信(包括电话通信)的能力。在实施例中,当建立电话呼叫(例如已连接或进行中)时,无线电子系统250不要求即使不是全部也是大部分的组件受中央处理器220控制。无线电处理器260可以利用数据线(或总线)278与中央处理器220通信。
卡接口224适于以无线方式或有线方式与外部附件(或外围设备),例如插入扩展槽(未示出)内的媒体卡通信。卡接口224在中央处理器和附件(例如耦合到扩展槽内的扩展卡或媒体卡)之间传送数据和/或指令。卡接口224还将来自中央处理器220的控制信号传送给扩展槽来配置附件。需注意的是,卡接口224是关于扩展卡或媒体卡描述的;卡接口224还可以在结构上被配置为与设备110的其它类型外部设备,例如用于电源240的感应充电站或者打印设备联接。
字符分解和线段序列-字符映射表
诸如英文之类的基于字母的语言、或者诸如中文、日文和韩文之类的非字母语言的字符可以被分解成笔划的唯一顺序。笔划包括在写字时通常所画的字符的连续部分。笔划可以是直的、曲的和/或圆的,并且可以包括一个或多个折和/或弯。
利用中文语言作为示例,以特定的顺序画中文字符。此外,以特定的方式画每个笔划。例如,图6A示出沿A到F的六个标记的中文字符“大”,六个标记图示共同形成该字符的三个笔划的端点。如所示,中文字符“大”可以分解为三个笔划:第一水平笔划AB、第二曲线笔划CD和第三笔划EF。第一笔划(AB)通常是待画的第一笔划,并且通常是从左(点A)到右(点B)画的。第二笔划(CD)通常是待画的第二笔划,并且通常在第一笔划的上方(点C)开始,穿过第一笔划中间点附近,并且向下行至左侧(点D)。第三笔划(EF)通常是待画的最后笔划,并且通常在第一笔划和第二笔划相遇的地方(点E)开始,并且向下行至右侧(点F)。
如上所述,中文字符“大”可以分解为三个笔划的唯一顺序,每个笔划的特征由诸如相对于该顺序中其它笔划的方向、位置和长度之类的属性表征。类似地,其它中文字符也可以分解为唯一的笔划顺序。可以将这些笔划顺序和他们对应的中文字符存储在线段序列-字符映射表(也称作“映射表”)中。
图6C图示根据一个实施例的在映射表中关于中文字符“大”的条目。如所示,对于字符的每个笔划,表条目包括以下信息:笔划开始点、线类型(例如,直的、曲的)、方向和长度。应注意,在可替代实施例中,映射表可以包括关于如何定义特定字符以进行识别的其它信息,例如笔划停止点、方向性(例如,环、折、弯(例如波浪线、圆圈)和/或速度。可以创建不同的映射表,来存储不同语言的笔划顺序和对应的字符。应注意,针对相同的字符,映射表可以包括多种不同的笔划顺序,来适应用于写该字符的不同方式。
动作输入模块的示例架构
现在参照图3,框图图示根据一个示例实施例的位于动作输入模块228内部的示例子模块。模块228的一些实施例具有不同子模块和/或具有除本文描述的子模块之外的其它子模块。类似地,根据其它实施例,可以以不同于这里所描述的方式的方式来在子模块中分配功能。如图示,动作输入模块228包括动作检测模块310、笔划识别模块320、字符识别模块330以及数据存储器340。
动作检测模块310被配置为检测移动计算设备110的运动。如所示,动作检测模块310包括加速度计315,加速度计315被配置为测量诸如直角坐标系(其中点的坐标是其相距在坐标系的原点处相交的一组垂直线的距离的坐标系)的坐标系中的设备速度(方向和速率)、加速度和/或方位(共同称作运动测量)。动作检测模块310(或加速度计315)首先定位坐标系中代表移动计算设备110的开始点的点,然后测量设备在坐标系中关于该开始点的被检测运动。
应注意,在可替代实施例中,可以使用其它动作检测传感器,来检测沿三维空间中的x平面、y平面和z平面的动作。此外,也可以使用用于追踪速度的传感器,来检测特定字符上的重点部位或高光。动作检测模块310基于加速度计315所提供的运动测量结果来在设备运动过程中用线描绘出移动计算设备110的设备空间位置,并且将设备位置和运动测量结果实时提供给笔划识别模块320。空间运动是相对于三维几何空间中的x平面、y平面和/或z平面。
空间运动的示例包括线性运动(或直线运动)、曲线运动以及旋转运动。线性/曲线运动是移动计算设备110沿三维几何空间中的直线/曲线的运动。旋转运动是移动计算设备110的一种运动,该运动涉及绕三维几何空间中的轴旋转移动计算设备110。在以下关于空间运动的描述中,将引用这样的移动计算设备110,在该移动计算设备110中,设备的“头部”是移动计算设备110的在扬声器120附近的端,并且设备的“底部”是导航区140附近的相对端。例如,向上/向下倾斜运动是移动计算设备110大致绕设备的底部向上/向下旋转运动。
笔划识别模块320被配置为基于动作检测模块310所提供的实时运动测量和设备位置,来识别用户利用移动计算设备110所画的笔划。在一个实施例中,笔划识别模块320基于特定设备运动(称作“开始手势”)(例如向下倾斜移动计算设备110(例如,向下移动移动计算设备110的头部,而保持移动计算设备110的底部相对稳定))的发生,来确定笔划的开始。类似地,笔划识别模块320基于另一特定设备运动(称作“结束手势”)(例如向上倾斜移动计算设备110)的发生来确定笔划的结束。因此,笔划识别模块320可以基于移动计算设备110的方位变化,来识别笔划的开始和结束。在一个实施例中,用户可以通过做出终止手势(例如利用移动计算设备110在空中做出两次轻拍)来指示已画出完整的字符。因此,笔划识别模块320也可以基于终止手势的发生,来识别字符的笔划(例如在两个终止手势之间识别的笔划)的完整顺序。一旦识别出完整的笔划顺序,笔划识别模块320就将该笔划顺序提供给字符识别模块330。
字符识别模块330被配置为基于笔划识别模块320所识别的笔划顺序来识别字符。字符识别模块330将笔划顺序与特定语言的映射表中的各笔划顺序进行比较,以进行相似性匹配。当比较两种笔划顺序以进行相似性匹配时,字符识别模块330考虑诸如笔划方向、笔划长度和笔划位置之类的因素。在一个实施例中,具体笔划的方向、长度和/或位置是关于相同顺序中的其它笔划来定义的。字符识别模块330产生相似性分数,来量化两种笔划顺序之间的相似性。如果两种顺序相似,则相似性分数高,相反则低。字符识别模块330在映射表中选择具有最高相似性分数的笔划顺序作为匹配顺序,将与匹配顺序相关联的字符识别为被识别笔划顺序的被识别字符,并且将被识别字符作为用户输入而输入到在移动计算设备110上运行的当前应用程序。
数据存储器340存储动作输入模块228所使用的数据。这种数据的示例包括映射表、之前识别的字符和对应的被识别笔划顺序、和/或设备运动。数据存储器340可以是关系数据库或任何其它类型的数据库。
动作输入模块的示例过程
现在参照包括流程图的图4和图5,它们共同图示根据一个示例实施例的动作输入模块228接受在移动计算设备110上输入的基于动作的字符的过程400。其它实施例可以以不同的次序执行过程400的步骤。此外,其它实施例可以包括与本文描述的步骤不同的步骤和/或除这些步骤之外的附加步骤。
如所示,动作输入模块228基于加速度计315所提供的运动测量结果来检测(410)移动计算设备110的设备运动,并且基于所检测的设备运动来识别(420)笔划的顺序。现在参照图5,流程图图示根据一个实施例的动作输入模块228识别笔划顺序的过程。如所示,动作输入模块228首先检测(422)用于标记笔划开始的开始手势(例如,移动计算设备110的向下倾斜运动),并且追踪(424)随后的共同勾画出笔划的设备运动/位置,直到检测到(426)结束手势(例如,移动计算设备110的向上倾斜运动)。一旦检测到(426)结束手势,动作输入模块228就相对于之前识别的采用相同顺序的笔划基于设备在开始手势和结束手势之间的路径来定义手势。
一旦识别出笔划,动作输入模块228就确定(428)是否检测到标记字符输入结束的终止手势(例如,两次轻拍)。如果未检测(428)到终止手势,则动作输入模块228重复上述过程,以识别相同顺序内的多个笔划。如果检测到终止手势,则动作输入模块228继续进行下一步骤。
返回参照图4,在识别出笔划顺序之后,动作输入模块228通过将该笔划顺序与映射表中的笔划顺序进行比较以进行相似性匹配,来识别(430)字符,并且将与具有最高相似性分数的笔划顺序相关联的字符识别为被识别字符。一旦识别出字符,动作输入模块228将该字符作为用户输入而输入到在移动计算设备110上运行的用于接受文本输入的当前应用程序(例如,发短信应用程序)中。在一个实施例中,代替选择并输入具有最高相似性分数的字符,动作输入模块228显示若干个具有高相似性分数的字符,并提示用户选择一个作为输入。
附加实施例
在一个实施例中,字符由可以包括一个或多个折和/或弯的一个连续运动来表示,而不是将字符分解为一系列笔划。利用图6A中图示的中文字符“大”作为示例,该字符可以由在点A开始并在点F结束的连续折-弯运动表示,如图6B所示,而不是将字符分解为三个笔划。
在该实施例中,为了输入中文字符“大”,用户手持移动计算设备110,并通过在空中像刷墙一样从笔划的开始(点A)至笔划的末端(点B)移动移动计算设备110,来开始画第一笔划(即AB)。在第一笔划的末端,用户保持将移动计算设备110移动到第二笔划应开始的地方(点C),然后移动到第二笔划的末端(点D)。在第二笔划的末端,用户保持将移动计算设备110移动到第三笔划应开始的地方(点E),并移动到第三笔划的末端(点F),以及在第三笔划的末端(点F)处或附近做出终止手势。动作输入模块228识别在终止手势之前发生的连续折-弯运动,并且将所识别的运动与具有字符和相对应的折-弯运动的映射表相匹配,以进行相似性匹配。动作输入模块228选择具有最高相似性分数的字符作为被识别字符,并将被识别的字符作为用户输入而输入到在移动计算设备110上运行的当前应用程序中。
因此,所描述的配置有益地使用户能够通过像手持钢笔一样手持设备并在空中书写字符,来在移动计算设备上输入字符。因此,用户不再受限于用于在移动计算设备上输入字符的设备上键盘(或小键盘)和触摸屏。
上述描述的某些部分描述了在算法和信息操作的符号表示方面的实施例,例如,如关于图4和图5图示且描述的。数据处理领域的技术人员常常使用这些算法描述和表示,来向本领域的其它技术人员有效传达他们的工作的要点。这些操作,当在功能上、计算上或逻辑上进行描述时,理解为通过计算机程序或等同的电路、微码等实现。此外,还证实了将这些操作布置称为模块在有时候是方便的,不失一般性。所描述的操作和它们相关的模块可嵌入在软件、固件、硬件或它们的任意组合中。
如在本文中所使用的,“一个实施例”或“实施例”的任何引用表示结合该实施例描述的具体要素、特征、结构或特性包括在至少一个实施例中。短语“在一个实施例中”在说明书中多个地方的出现不必都指代相同的实施例。
某些实施例可利用表达“联接”和“连接”以及它们的衍生词来描述。例如,某些实施例可利用术语“连接”描述,以表示两个或更多元件相互直接物理接触或电接触。在另一示例中,可利用术语“联接”描述某些实施例,来表示两个或更多元件直接物理接触或电接触。不过,术语“联接”还可表示两个或更多元件互相不直接接触,但仍然互相合作或交互。实施例不限于此情况。
如在本文中使用的,术语“包括”、“包含”、“具有”、“含有”或它们的任何其它变体旨在涵盖非排它性的包含。例如,包括一列元件的过程、方法、商品或装置不一定只限于那些元件,而可以包括未明确列出的或者这种过程、方法、商品或装置所固有的其它元件。此外,除非明确地进行相反说明,否则“或”表示包含的或,而不是排它的或。例如,以下条件中的任何一种满足条件A或B:A为真(或存在)且B为假(或不存在);A为假(或不存在)且B为真(或存在);A和B均为真(或存在)。
另外,“一个”的使用用于描述本文中的实施例的元件和部件。这样做仅仅是为了方便的目的,并且给出本发明的一般意义。这种描述应理解为包括一个或至少一个,并且单数形式还包括复数形式,除非其显而易见地指代其它。
通过阅读本公开内容,本领域技术人员还将理解用于接受在移动计算设备上基于动作的字符输入的系统和过程的附加可替代结构设计和功能设计。因此,尽管图示且描述了具体实施例和应用程序,但应理解的是,所公开的实施例不限于本文公开的精确结构和部件。在不背离所附权利要求所限定的精神和范围的情况下,可对本文公开的方法和装置的布置、操作和细节进行对本领域技术人员来说是明显的各种修改、改变和更动。

Claims (20)

1.一种用于接受在移动计算设备上基于动作的字符输入的方法,包括:
利用所述移动计算设备上的加速度计来检测所述移动计算设备的空间运动的起始;
响应于检测所述空间运动的起始,利用所述加速度计检测在直角坐标系内在终止手势之前发生的所述空间运动的方向和所述移动计算设备在所述空间运动期间的路径;
通过对所检测的空间运动与表示字符的空间运动进行相似性匹配,来识别字符;以及
将所述字符呈现在所述移动计算设备的显示器上。
2.根据权利要求1所述的方法,其中识别所述字符包括:
基于所述空间运动与所检测的空间运动之间的相似性比较,针对所述表示字符的空间运动中的每一个,产生相似性分数;以及
选择由具有高相似性分数的空间运动所表示的字符作为所识别的字符。
3.根据权利要求2所述的方法,其中选择所述字符包括:
显示由具有高相似性分数的空间运动表示的多个字符,以供用户选择;
接收用户关于所显示字符中之一的选择;以及
选择所选择的字符作为所识别的字符。
4.根据权利要求1所述的方法,进一步包括:
基于所检测的空间运动识别笔划的顺序,所述顺序中的每个笔划通过开始手势和结束手势来定义,并且包括所述字符的一段,
其中识别所述字符包括通过对所述笔划的顺序与表示字符的笔划顺序进行相似性匹配来识别所述字符。
5.根据权利要求4所述的方法,其中所述起开始手势包括向下倾斜运动和向上倾斜运动中之一,并且所述结束手势包括其它倾斜运动。
6.根据权利要求4所述的方法,其中所述表示字符的笔划顺序包括表示相同字符的多种笔划顺序。
7.根据权利要求1所述的方法,其中对所检测的空间运动与表示字符的空间运动进行相似性匹配包括:对所检测的空间运动与在映射表中定义的空间运动进行匹配。
8.根据权利要求1所述的方法,其中所述空间运动的起始包括之前的空间运动的终止手势,并且其中所述终止手势包括两次轻拍。
9.根据权利要求1所述的方法,其中所述字符包括以下其中之一:非字母语言的字符和基于字母语言的字符。
10.一种移动计算设备,包括:
非暂时性计算机可读存储介质,存储用于接受基于动作的字符输入的可执行计算机程序代码,所述计算机程序代码包括用于进行以下操作的程序代码:
利用所述移动计算设备上的加速度计来检测所述移动计算设备的空间移动的起始;
响应于检测所述空间运动的起始,利用所述加速度计检测在直角坐标系内在终止手势之前发生的所述空间运动的方向和所述移动计算设备在所述空间运动期间的路径;
通过对所检测的空间运动与表示字符的空间运动进行相似性匹配,来识别字符;以及
将所述字符呈现在所述移动计算设备的显示器上。
11.根据权利要求10所述的移动计算设备,其中识别所述字符包括:
基于所述空间运动与所检测的空间运动之间的相似性比较,针对所述表示字符的空间运动中的每一个,产生相似性分数;以及
选择由具有高相似性分数的空间运动所表示的字符作为所识别的字符。
12.根据权利要求11所述的移动计算设备,其中选择所述字符包括:
显示由具有高相似性分数的空间运动表示的多个字符,以供用户选择;
接收用户关于所显示字符中之一的选择;以及
选择所选择的字符作为所识别的字符。
13.根据权利要求10所述的移动计算设备,进一步包括:
基于所检测的空间运动识别笔划的顺序,所述顺序中的每个笔划通过起始手势和结束手势来定义,并且包括所述字符的一段,
其中识别所述字符包括通过对所述笔划的顺序与表示字符的笔划顺序进行相似性匹配来识别所述字符。
14.根据权利要求13所述的移动计算设备,其中所述开始手势包括向下倾斜运动和向上倾斜运动中之一,并且所述结束手势包括其它倾斜运动。
15.根据权利要求13所述的移动计算设备,其中所述表示字符的笔划顺序包括表示相同字符的多种笔划顺序。
16.一种非暂时性计算机可读存储介质,被编码有用于接受在移动计算设备上基于动作的字符输入的可执行计算机程序代码,所述计算机程序代码包括用于进行以下操作的程序代码:
利用所述移动计算设备上的加速度计来检测所述移动计算设备的空间移动的起始;
响应于检测所述空间运动的起始,利用所述加速度计检测在直角坐标系内在终止手势之前发生的所述空间运动的方向和所述移动计算设备在所述空间运动期间的路径;
通过对所检测的空间运动与表示字符的空间运动进行相似性匹配,来识别字符;以及
将所述字符呈现在所述移动计算设备的显示器上。
17.根据权利要求16所述的非暂时性计算机可读存储介质,其中识别所述字符包括:
基于所述空间运动与所检测的空间运动之间的相似性比较,针对所述表示字符的空间运动中的每一个,产生相似性分数;以及
选择由具有高相似性分数的空间运动所表示的字符作为所识别的字符。
18.根据权利要求17所述的非暂时性计算机可读存储介质,其中选择所述字符包括:
显示由具有高相似性分数的空间运动表示的多个字符,以供用户选择;
接收用户关于所显示字符中之一的选择;以及
选择所选择的字符作为所识别的字符。
19.根据权利要求16所述的非暂时性计算机可读存储介质,其中所述计算机程序代码进一步包括用于进行以下操作的程序代码:
基于所检测的空间运动识别笔划的顺序,所述顺序中的每个笔划通过起始手势和结束手势来定义,并且包括所述字符的一段,
其中识别所述字符包括通过对所述笔划的顺序与表示字符的笔划顺序进行相似性匹配来识别所述字符。
20.根据权利要求19所述的非暂时性计算机可读存储介质,其中所述起始手势包括向下倾斜运动和向上倾斜运动中之一,并且所述结束手势包括其它倾斜运动。
CN201180042951XA 2010-08-12 2011-08-11 接受移动计算设备上基于动作的字符输入 Pending CN103229128A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/855,039 2010-08-12
US12/855,039 US20120038652A1 (en) 2010-08-12 2010-08-12 Accepting motion-based character input on mobile computing devices
PCT/US2011/047493 WO2012021756A2 (en) 2010-08-12 2011-08-11 Accepting motion-based character input on mobile computing devices

Publications (1)

Publication Number Publication Date
CN103229128A true CN103229128A (zh) 2013-07-31

Family

ID=45564505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180042951XA Pending CN103229128A (zh) 2010-08-12 2011-08-11 接受移动计算设备上基于动作的字符输入

Country Status (4)

Country Link
US (1) US20120038652A1 (zh)
EP (1) EP2603843A2 (zh)
CN (1) CN103229128A (zh)
WO (1) WO2012021756A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648076A (zh) * 2016-12-01 2017-05-10 杭州联络互动信息科技股份有限公司 一种智能手表的文字输入方法以及装置
CN106881960A (zh) * 2015-09-18 2017-06-23 卡西欧计算机株式会社 输入装置
CN109992126A (zh) * 2014-06-24 2019-07-09 苹果公司 计算设备上的字符识别

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
KR20120048312A (ko) * 2010-11-05 2012-05-15 삼성전자주식회사 모바일 장치 및 그 제어방법
US20130045774A1 (en) * 2010-12-07 2013-02-21 Sigza Authentication Systems Smart Phone Writing Method and Apparatus
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US8634812B1 (en) * 2012-07-05 2014-01-21 Blackberry Limited Phoneword dialing in a mobile communication device having a full keyboard
US9880630B2 (en) 2012-10-03 2018-01-30 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
US10591998B2 (en) * 2012-10-03 2020-03-17 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
US9214043B2 (en) 2013-03-04 2015-12-15 Here Global B.V. Gesture based map annotation
US9037124B1 (en) * 2013-03-27 2015-05-19 Open Invention Network, Llc Wireless device application interaction via external control detection
CN104793724B (zh) * 2014-01-16 2018-12-21 北京三星通信技术研究有限公司 空中书写处理方法及装置
US9232331B2 (en) 2014-05-08 2016-01-05 Microsoft Technology Licensing, Llc Hand-worn device for surface gesture input
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US9582076B2 (en) 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
US20160209968A1 (en) * 2015-01-16 2016-07-21 Microsoft Technology Licensing, Llc Mapping touch inputs to a user input module
FR3038100A1 (fr) 2015-06-26 2016-12-30 Orange Procede de reconnaissance d'ecriture manuscrite sur une surface physique
US20170185282A1 (en) * 2015-12-28 2017-06-29 Elan Microelectronics Corporation Gesture recognition method for a touchpad
CN107092430B (zh) * 2016-02-18 2020-03-24 纬创资通(中山)有限公司 空间绘画计分方法、用于进行空间绘画计分的装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255685A (zh) * 1998-11-27 2000-06-07 英业达集团(西安)电子技术有限公司 一种无笔画顺序的手写字符辨识系统
CN1601447A (zh) * 2004-09-30 2005-03-30 清华大学 手机游戏的互动信息感知方法及手机外挂的智能游戏平台
CN1652138A (zh) * 2005-02-08 2005-08-10 华南理工大学 一种手写文字的识别方法
CN101178615A (zh) * 2007-12-12 2008-05-14 美新半导体(无锡)有限公司 姿态及运动感应系统及使用该系统的便携式电子设备
US20080111710A1 (en) * 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3590795A (en) * 1994-09-14 1996-03-29 Apple Computer, Inc. System and method for automatic subcharacter unit and lexicon generation for handwriting recognition
US7857201B2 (en) * 1999-05-25 2010-12-28 Silverbrook Research Pty Ltd Method and system for selection
US7971784B2 (en) * 1999-05-25 2011-07-05 Silverbrook Research Pty Ltd Sensing device with mode changes via nib switch
US6831632B2 (en) * 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
JP2004053694A (ja) * 2002-07-16 2004-02-19 Sharp Corp 表示装置、文字・図形表示制御方法、文字・図形表示プログラムおよび可読記録媒体
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7496547B2 (en) * 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network
US7840073B2 (en) * 2006-09-07 2010-11-23 Sunrise Group Llc Pictographic character search method
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
KR101358506B1 (ko) * 2007-02-23 2014-02-06 엘지전자 주식회사 필기입력방법 및 이를 이용한 이동통신단말기
KR100884900B1 (ko) * 2007-05-04 2009-02-19 에스케이 텔레콤주식회사 필기 인식 가능한 이동 단말기 및 이동 단말기를 이용한필기 인식 방법
CN102016836B (zh) * 2007-11-26 2013-03-13 沃伦·丹尼尔·蔡尔德 管理电子形式的中文、日文及韩文语言数据的模组系统与方法
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US8369611B2 (en) * 2010-04-22 2013-02-05 Microsoft Corporation Compact handwriting recognition
US8874129B2 (en) * 2010-06-10 2014-10-28 Qualcomm Incorporated Pre-fetching information based on gesture and/or location

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255685A (zh) * 1998-11-27 2000-06-07 英业达集团(西安)电子技术有限公司 一种无笔画顺序的手写字符辨识系统
CN1601447A (zh) * 2004-09-30 2005-03-30 清华大学 手机游戏的互动信息感知方法及手机外挂的智能游戏平台
CN1652138A (zh) * 2005-02-08 2005-08-10 华南理工大学 一种手写文字的识别方法
US20080111710A1 (en) * 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition
CN101178615A (zh) * 2007-12-12 2008-05-14 美新半导体(无锡)有限公司 姿态及运动感应系统及使用该系统的便携式电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王玮: "空中手写笔笔迹检测与识别系统的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992126A (zh) * 2014-06-24 2019-07-09 苹果公司 计算设备上的字符识别
US11635888B2 (en) 2014-06-24 2023-04-25 Apple Inc. Character recognition on a computing device
CN106881960A (zh) * 2015-09-18 2017-06-23 卡西欧计算机株式会社 输入装置
CN106648076A (zh) * 2016-12-01 2017-05-10 杭州联络互动信息科技股份有限公司 一种智能手表的文字输入方法以及装置

Also Published As

Publication number Publication date
WO2012021756A2 (en) 2012-02-16
WO2012021756A3 (en) 2012-05-24
EP2603843A2 (en) 2013-06-19
US20120038652A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
CN103229128A (zh) 接受移动计算设备上基于动作的字符输入
US8358977B2 (en) Use of mobile computing device sensors to initiate a telephone call or modify telephone operation
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US8896600B2 (en) Icon shading based upon light intensity and location
US20110041056A1 (en) Electronic device with touch-sensitive display and method of facilitating input at the electronic device
CN103530050A (zh) 显示方法和信息处理装置
CN102187694A (zh) 在移动计算设备上的运动控制的视图
AU2013228012A1 (en) System for providing a user interface for use by portable and other devices
US8711110B2 (en) Touchscreen with Z-velocity enhancement
CN105630327A (zh) 便携式电子设备和控制可选元素的显示的方法
CN102918498A (zh) 自适应手势教程
US20140372123A1 (en) Electronic device and method for conversion between audio and text
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
US20120262381A1 (en) Portable electronic device and method of controlling same
US9342169B2 (en) Terminal device
KR20140028546A (ko) 키 입력 제어 장치 및 방법
US8405642B2 (en) Character input method and handheld electronic device
KR20210034668A (ko) 문자 입력 방법 및 단말
KR20150009833A (ko) 장소 인식을 제어하는 휴대 단말 및 방법
CN102073445A (zh) 基于触摸屏的汉语拼音辅助输入系统
CN101794182B (zh) 一种用于触摸式输入的方法和设备
US20130069881A1 (en) Electronic device and method of character entry
US20170329421A1 (en) Electronic stylus with indicator
EP2570892A1 (en) Electronic device and method of character entry
CN103345345A (zh) 透明多功能电容式触控蓝牙无线键盘及实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130731