CN110221698B - 计算设备上的字符识别 - Google Patents

计算设备上的字符识别 Download PDF

Info

Publication number
CN110221698B
CN110221698B CN201910508328.7A CN201910508328A CN110221698B CN 110221698 B CN110221698 B CN 110221698B CN 201910508328 A CN201910508328 A CN 201910508328A CN 110221698 B CN110221698 B CN 110221698B
Authority
CN
China
Prior art keywords
input
contact
character
touch
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910508328.7A
Other languages
English (en)
Other versions
CN110221698A (zh
Inventor
R·S·迪克森
J·霍华德
J·麦克莱恩
J·洛克黑德
B·W·凯弗兰
W·M·巴克曼
E·D·陈
J·L·罗宾
J·L.C.·弗勒斯
L·克雷斯
U·梅耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110221698A publication Critical patent/CN110221698A/zh
Application granted granted Critical
Publication of CN110221698B publication Critical patent/CN110221698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本申请涉及计算设备上的字符识别。在一些实施方案中，设备基于在触敏表面上检测到的触摸输入的空间分量和时间分量来执行字符识别。在一些实施方案中，设备提供关于手写输入以及所述设备对所述手写输入的识别的反馈。在一些实施方案中，设备呈现用于更改先前所输入的字符的用户界面。

Description

计算设备上的字符识别
本申请是国际申请日为2015年6月22日、国家申请号为201580028382.1、发明名称为“计算设备上的字符识别”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2014年6月24日提交的美国临时申请No.62/016,597的权益，该临时申请的全部公开内容以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及能够识别提供到设备的手写输入的电子设备。
背景技术
与设备诸如计算机和其他电子计算设备的用户交互在近年来显著增长。这些设备可为诸如计算机、平板电脑、电视、多媒体设备等设备。
与这些设备的交互可使用各种输入设备诸如触摸屏显示器、触敏表面、遥控器、鼠标和其他输入设备来执行。具体地讲，触敏表面和触摸屏显示器已经成为越来越流行的输入设备，因为已经使用此类输入设备提供手写输入。提供稳定的手写输入字符识别功能可通过减少字符输入错误来增强用户使用设备的体验，并且缩短了用户交互时间，这在输入设备靠电池供电的情况下特别重要。
发明内容
本公开中所描述的实施方案涉及一种或多种设备，所述设备任选地执行字符识别，提供与手写输入相关的反馈，并呈现用于更改先前所输入的字符的用户界面，并且这些实施方案还涉及这些设备任选地执行的与上述内容相关的一个或多个动作。在附图和具体实施方式中提供了对这些实施方案的完整描述，并且应当理解，上文所提供的发明内容不以任何方式限制本公开的范围。
附图说明
为了更好地理解所描述的各种实施方案，应当结合以下附图参考下面的具体实施方式，其中在整个附图中类似的附图标号指代对应的部件。
图1A是示出根据一些实施方案的具有触敏显示器的多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5示出了根据本公开的一些实施方案的设备的示例性架构的框图。
图6A至图6D示出了根据本公开的一些实施方案的识别输入到设备的手写字符的示例性方式。
图7A至图7D是示出根据一些实施方案的识别手写输入的方法的流程图。
图8A至图8E示出了根据本公开的一些实施方案的在用户界面中呈现手写输入反馈的示例性方式。
图9A至图9D是示出根据一些实施方案的呈现手写输入反馈的方法的流程图。
图10A至图10K示出了根据本公开的一些实施方案的电子设备呈现手写输入校正用户界面的示例性方式。
图11A至图11D是示出根据一些实施方案的呈现手写输入校正用户界面的方法的流程图。
图12至图14是根据一些实施方案的电子设备的功能框图。
具体实施方式
在以下对实施方案的描述中将参考附图，附图构成以下描述的一部分，并且在附图中以例示方式示出了被任选地实践的具体实施方案。应当理解，在不脱离所公开的实施方案的范围的情况下，任选地使用其他实施方案并且任选地做出结构变化。
示例性设备
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联过程的实施方案。在一些实施方案中，该设备是还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc(Cupertino,California)的
Figure BDA0002092568540000031
iPod
Figure BDA0002092568540000032
和
Figure BDA0002092568540000033
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解，在一些实施方案中，所述设备并不是便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机或电视。在一些实施方案中，所述设备不具有触摸屏显示器和/或触摸板，而是能够输出显示信息(例如，本公开的用户界面)以用于显示在独立显示设备上，并且能够从具有一个或多个输入机构(例如，一个或多个按钮、触摸屏显示器和/或触摸板)的独立输入设备接收输入信息。在一些实施方案中，所述设备具有显示器，但能够从具有一个或多个输入机构(诸如一个或多个按钮、触摸屏显示器和/或触摸板)的独立输入设备接收输入信息。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。另外，如上所述，应当理解，所描述的电子设备、显示器和触敏表面任选地分布在两个或更多个设备当中。因此，如本公开所使用，在电子设备上显示或由电子设备显示的信息任选地用于描述由电子设备输出以用于显示在独立显示设备(触敏或非触敏)上的信息。类似地，如本公开中所使用，在电子设备上接收的输入(例如，在电子设备的触敏表面上接收的触摸输入)任选地用于描述在独立输入设备上接收的输入，电子设备从该输入设备接收输入信息。
所述设备通常支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、相片管理应用程序、数码相机应用程序、数码摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个共用的物理用户接口设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地针对不同应用程序被调整和/或变化和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转向具有触敏显示器的便携式或非便携式设备的实施方案，但这些设备不需要包括触敏显示器或一般显示器，如上所述。图1A是示出根据一些实施方案的具有触敏显示器112的便携式或非便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”，并且有时被称为或被叫做触敏显示系统。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入或控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100上的接触强度的一个或多个强度传感器165(例如，触敏表面，诸如设备100的触敏显示系统112)。设备100任选地包括用于在设备100上生成触觉输出(例如，在触敏表面诸如设备100的触敏显示系统112或设备300的触摸板355上生成触觉输出)的一个或多个触觉输出发生器167。这些部件任选地经由一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均数)以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触面积的大小和/或其变化、邻近接触的触敏表面的电容和/或其变化、和/或邻近接触的触敏表面的电阻和/或其变化任选地用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已超过强度阈值(例如，强度阈值是以与替代物测量对应的单位来描述的)。在一些具体实施中，接触力或压力的替代物测量值被转换成估计的力或压力，并且估计的力或压力用于确定是否已经超过强度阈值(例如，强度阈值是以压力的单位测量的压力阈值)。
如本说明书和权利要求书中所使用，术语“触觉输出”是指将由用户通过用户的触摸感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释为或感测为触敏表面的“粗糙度”。虽然由用户对触摸的此类解释将受到用户的个体化感官知觉限制，但是触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“松开点击”、“按下点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所描述的感官知觉。
应当理解，设备100仅是便携式或非便携式多功能设备的一个示例，并且设备100任选地具有比所示出的更多或更少的部件、任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件或硬件与软件两者的组合来实现，包括一个或多个信号处理电路和/或专用集成电路。另外，图1A所示的各种部件任选地跨两个或更多个设备来实现；例如，显示器和音频电路在显示设备上，触敏表面在输入设备上，而剩余部件在设备100上。在此类实施方案中，设备100任选地与显示设备和/或输入设备通信以促进系统的操作，如本公开所描述，并且本文所述的与显示和/或输入相关的各种部件保留在设备100中，或者视情况而定，任选地包括在显示器和/或输入设备中。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其他非易失性固态存储器设备。设备100的其他部件诸如CPU 120和外围设备接口118对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。所述一个或多个处理器120运行或执行存储在存储器102中的各种软件程序和/或指令集，以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、CPU 120、和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任选地被实现在独立的芯片上。
RF(射频)电路108接收和发送也被叫做电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信与网络以及其他设备进行通信，所述网络诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)。无线通信任选地使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoiP)、Wi-MAX、电子邮件的协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理现场协议(XMPP)、用于即时消息和现场利用扩展的会话发起协议(SIMPLE)、即时消息和现场服务(IMPS))和/或短消息服务(SMS)、或者其他任何适当的通信协议，包括在本文档提交日期还未开发出的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人耳可听见的声波。音频电路110还接收由麦克风113根据声波转换的电信号。音频电路110将电信号转换为音频数据，并将音频数据传输到外围设备接口118以进行处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除的音频输入/输出外围设备之间的接口，所述外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161以及用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入或控制设备116接收电信号/发送电信号到所述其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等等。在一些另选实施例中，输入控制器160任选地耦接至以下中的任一者(或不耦接至以下中的任一者)：键盘、红外线端口、USB端口以及指针设备诸如鼠标。所述一个或多个按钮(例如，图2中的208)任选地包括用于控制扬声器111和/或麦克风113的音量的增大/减小按钮。所述一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器112提供设备与用户之间的输入接口和输出接口。如上所述，触敏显示器112的触敏操作和显示操作任选地彼此分开，使得显示设备用于显示用途，而触敏表面(无论是否为显示器)用于输入检测用途，并且相应地修改所描述的部件和功能。然而，为简单起见，参考触敏显示器提供以下描述。显示控制器156从触摸屏112接收电信号并且/或者向该触摸屏发送电信号。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频和它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。
触摸屏112具有基于触觉和/或触觉接触从用户接受输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与显示在触摸屏112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在一个示例性实施方案中，触摸屏112和用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0002092568540000081
iPod
Figure BDA0002092568540000082
和
Figure BDA0002092568540000083
发现的技术。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等与触摸屏112接触。在一些实施方案中，用户界面被设计成主要利用基于手指的接触和手势来工作，由于手指在触摸屏上的接触区域较大，因此这可能不及基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用户所期望的动作。
在一些实施方案中，除触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触摸屏不同，并不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电力状态指示器(例如，发光二极管(LED))以及任何其他与便携式或非便携式设备中电力的生成、管理和分配相关联的部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，光学传感器164任选地捕获静态图像或视频。在一些实施方案中，光学传感器位于设备100的后部上，与设备前部上的触摸屏显示器112相背对，使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，使得用户在触摸屏显示器上观看其它视频会议参与者的同时，任选地获得该用户的图像以用于视频会议。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变计、电容式力传感器、电力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地，接近传感器166耦接至I/O子系统106中的输入控制器160。在一些实施方案中，当多功能设备被置于用户的耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器关闭并禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括：一个或多个电声设备，诸如扬声器或其他音频部件；和/或将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地，加速度计168任选地耦接至I/O子系统106中的输入控制器160。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了一个或多个加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出)，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储在存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和输入控制设备116获得的信息；和关于设备位置和/或姿态的位置信息。
操作系统126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器，并且促进各种硬件部件与软件部件之间的通信。
通信模块128促进经由一个或多个外部端口124与其他设备通信，还包括用于处理由RF电路108和/或外部端口124接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与iPod(Apple Inc.的商标)设备上所使用的30针连接器相同或类似并且/或者与其兼容的多针(例如，30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是否已经发生了接触(例如，检测手指按下事件)、确定接触强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已经停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据来表示。这些操作任选地被应用于单个接触(例如，一个手指接触)或多个同时接触(例如，“多触摸”/多个手指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值并非由特定物理致动器的激活阈值来确定，并且可在不改变设备100的物理硬件的情况下得到调整)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设定为大范围预定义阈值中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节该组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过对“强度”参数进行系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案和强度。因此，任选地通过检测特定的接触图案来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，在触敏表面上检测到手指轻扫手势包括检测到手指按下事件，然后检测到一个或多个手指拖动事件，随后再检测到手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉特征)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等等。
在一些实施方案中，图形模块132存储待使用的用于表示图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，接着生成屏幕图像数据，以输出到显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，这些指令被一个或多个触觉输出发生器167用来响应于与设备100的用户交互，而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并且提供该信息以在各种应用程序中使用(例如，提供给电话138以用于基于位置的拨号、提供给相机143作为照片/视频元数据、以及提供给提供基于位置的服务的应用程序，诸如天气桌面小程序、本地黄页桌面小程序、和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·锻炼支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、字典桌面小程序149-5和由用户获得的其他桌面小程序，以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其任选地由视频播放器模块和音乐播放器模块构成；
·记事本模块153；
·地图模块154；
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字版权管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，联系人模块137任选地用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：将姓名添加至通讯录；从通讯录中删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名相关联；将图像与姓名相关联；对姓名进行分类和排序；提供电话号码或电子邮件地址以发起和/或促进通过电话138、视频会议139、电子邮件140或IM 141进行的通信，等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电话模块138任选地用于输入对应于电话号码的字符序列、访问通讯录137中的一个或多个电话号码、修改已经输入的电话号码、拨打相应的电话号码、进行会话以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示器控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于输入对应于即时消息的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息的可执行指令。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件以及/或者MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”既指基于电话的消息(例如，使用SMS或MMS发送的消息)，也指基于互联网的消息(例如，使用XMPP、SIMPLE或IMPS发送的消息)。
结合RF电路108、触摸屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块146，锻炼支持模块142包括用于以下操作的可执行指令：创建锻炼(例如，设置时间、距离和/或卡路里燃烧目标)；与锻炼传感器(运动设备)进行通信；接收锻炼传感器数据；校准用于监视锻炼的传感器；为锻炼选择音乐并播放；以及显示、存储和传输锻炼数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于捕获静态图像或视频(包括视频流)并将其存储到存储器102中、修改静态图像或视频的特性、或从存储器102删除静态图像或视频的可执行指令。
结合触摸屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括用于根据用户指令浏览互联网(包括搜索、链接到、接收和显示网页或其部分，以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载并使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和字典桌面小程序149-5)或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建者模块150任选地被用户用来创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括根据用户指令来搜索匹配一个或多个搜索条件(例如，一个或多个用户指定的搜索词)的存储器102中的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及显示、呈现或以其他方式回放视频(例如，在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器，诸如iPod(Apple Inc.的商标)的功能性。
结合触摸屏112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向；与特定位置处或附近的商店及其他兴趣点有关的数据；以及其他基于位置的数据)。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括指令，该指令允许用户访问、浏览、接收(例如，通过流媒体和/或下载)、回放(例如在经由外部端口124所连接的触摸屏上或外部显示器上)、发送具有至特定的在线视频的链接的电子邮件，以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中，即时消息模块141而不是电子邮件客户端模块140用于发送通往特定在线视频的链接。
上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(例如，指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中得以组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子集。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是唯一地通过触摸屏和/或触摸板(不管是包括在设备100中还是在独立设备诸如输入设备上)来执行该设备上的一组预定义功能的操作的设备。通过使用触摸屏和/或触摸板作为用于设备100的操作的主要输入控制设备，任选地减少设备100上的物理输入控制设备(诸如下压按钮、拨号盘等)的数量。
唯一地通过触摸屏和/或触摸板执行的这组预定义功能任选地包括在用户界面之间导航。在一些实施方案中，触摸板在被用户触摸时将设备100从显示在设备100上的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A)或370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序137至151、155、380至390中的任一个)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用于确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用于确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被应用程序136-1显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列、以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，触敏显示器112上作为多点触摸手势的一部分的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器(诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110))所接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能在显示器上看到的控件和其他元件构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被认为是正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为该分级结构中应当处理该子事件的最低视图。在大多数情况下，命中视图是发起子事件(例如，形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定的子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定的子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，但是分级结构中的更高的视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应的事件接收器模块182检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在其他实施方案中，事件分类器170是独立的模块，或者是被存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中每个应用程序视图包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应的应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个是独立模块的一部分，该独立模块诸如是用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170所接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个包括一个或多个相应的事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应的应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件递送指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向趋向，反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件、或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是在被显示对象上的双击。例如，该双击包括在被显示对象上预先确定时长的第一次触摸(触摸开始)，预先确定时长的第一次抬起(触摸结束)，在该被显示对象上预先确定时长的第二次触摸(触摸开始)，以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是在被显示对象上的拖动。例如，拖动包括在被显示对象上的预先确定时长的触摸(或接触)、该触摸在触敏显示器112上的移动，以及该触摸的抬起(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试，以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器112上显示三个用户界面对象的应用程序视图中，当在触敏显示器112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件串不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后不理会基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪和处理持续的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有用于指示事件递送系统应该如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或能够如何交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否被递送到视图或程序化分级结构中的变化的水平的可配置的属性、标记和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与该事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应的命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义的过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件串相关联的事件处理程序或者递送到活跃参与的视图。与子事件串或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中使用的电话号码进行更新，或者对视频播放器模块145中使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中所使用的对象。例如，对象更新器176创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息并将其发送至图形模块132，以用于显示在触敏显示器上。
在一些实施方案中，一个或多个事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178，或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，上述有关对触敏显示器和/或触摸板上的用户触摸进行事件处理的讨论也适用于利用输入设备来操作多功能设备100的其他形式的用户输入，这些用户输入并非都是在触摸屏上发起的。例如，任选地利用鼠标移动和鼠标按钮按压，任选结合单次或多次键盘按压或保持；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛运动；生物识别输入；和/或这些的任意组合，作为对应于定义要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式或非便携式多功能设备100。如上所述，多功能设备100被描述为具有各种示出的结构(诸如触摸屏112、扬声器111、加速度计168、麦克风113等)；然而应当理解，这些结构任选地驻留在独立的设备上。例如，与显示相关的结构(例如，显示器、扬声器等)和/或功能任选地驻留在独立显示设备上，与输入相关的结构(例如，触敏表面、麦克风、加速度计等)和/或功能任选地驻留在独立输入设备上，而剩余的结构和/或功能任选地驻留在多功能设备100上。
触摸屏112任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案中，以及在下文描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在附图中未按比例绘制)或者利用一个或多个触笔203(在附图中未按比例绘制)在图形上做出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已经与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当对应于选择的手势是轻击时，在应用程序图标之上扫动的轻扫手势任选地不会选择相应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地，在一些实施方案中，菜单按钮被实现为显示在触摸屏112上的GUI中的软键。
在一个实施方案中，设备100包括触摸屏112、菜单按钮204、用于对设备开关机和锁定设备进行供电的下压按钮206、用户身份模块(SIM)卡槽210、耳麦插孔212、对接/充电外部端口124和一个或多个音量调节按钮208。下压按钮206任选地用于：通过按下该按钮并使该按钮在下压状态保持预定义的时间间隔来使设备通电/断电；通过按下该按钮并在经过预定义的时间间隔之前释放该按钮来锁定设备；并且/或者将设备解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的言语输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必如上所述那样包括显示器和触敏表面，而是在一些实施方案中，任选地与其他设备上的显示器和触敏表面进行通信。另外，设备300不必是便携式的。在一些实施方案中，设备300是膝上型计算机、台式计算机、平板电脑、多媒体播放器设备(诸如电视或机顶盒)、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370，以及用于将这些部件互连的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并控制系统部件之间的通信的电路(有时称为芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离一个或多个CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式或非便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块和数据结构，或这些的子集。此外，存储器370任选地存储在便携式或非便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388和/或电子表格模块390，而便携式或非便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述所识别的元件中的每一个元件任选地存储在一个或多个先前提到的存储器设备中。上述所识别的模块的每一个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(例如，指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中得以组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子集。此外，存储器370任选地存储上面未描述的另外的模块和数据结构。
图4示出了具有与显示器450(例如，触摸屏显示器112)分开的触敏表面451(例如，图3的平板电脑或触摸板355)的设备(例如，图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如，传感器357中的一个或多个传感器)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。
尽管随后的一些示例将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出，但在一些实施方案中，设备检测的是与显示器分开的触敏表面上的输入，如图4中所示。在一些实施方案中，触敏表面(例如，图4中的451)具有与显示器(例如，450)上的主轴(例如，图4中的453)对应的主轴(例如，图4中的452)。根据这些实施方案，设备检测在与显示器上的相应位置对应的位置(例如，在图4中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4中的460和462)。这样，在触敏表面(例如，图4中的451)与多功能设备的显示器(例如，图4中的450)分开时，由设备在该触敏表面上检测到的用户输入(例如，接触460和462，及其移动)被该设备用来操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)、之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由光标位于轻击手势的位置之上时的鼠标点击(例如，而不是对接触的检测、之后是终止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个电脑鼠标任选地被同时使用，或一个鼠标和多个手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指指示用户正与之交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时，一旦在触敏表面(例如，图3中的触摸板355或图4中的触敏表面451)上检测到输入(例如，按压输入)，就根据所检测到的输入调节该特定用户界面元素。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示系统112)的一些具体实施中，触摸屏上所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，由接触进行的按压输入)时，根据所检测到的输入来调节该特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而触摸屏显示器上没有对应的光标移动或接触的移动(例如，通过使用制表键或方向键来将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动来移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制的以便传达用户预期的与用户界面的交互(例如，通过向设备指示用户界面的、用户期望与其进行交互的元件)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备的显示器上示出的其他用户界面元素)。
在本文所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如，相应按压输入的“向下行程”)来执行相应操作。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如，相应按压输入的“向上行程”)来执行相应操作。
在一些实施方案中，设备采用强度滞后以避免有时称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某些合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如，相应按压输入的“向上行程”)来执行相应操作。类似地，在一些实施方案中，仅在设备检测到接触的强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触的强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触的强度增大或接触的强度减小)来执行相应操作。
为了容易解释，任选地，响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触强度减小到低于按压输入强度阈值而执行的实例中，任选地响应于检测到接触强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
图5示出了根据本公开的一些实施方案的设备500的示例性架构的框图。在图5的实施方案中，媒体内容任选地由设备500经由网络接口502接收，该网络接口任选地为无线或有线连接。一个或多个处理器504任选地执行存储在存储器506或存储装置中的任何数量的程序，这些程序任选地包括用于执行本文所述的方法和/或过程(例如，方法700、900和/或1100)中的一者或多者的指令。
在一些实施方案中，显示控制器508使得本公开的各种用户界面显示在显示器500上。另外，对设备500的输入任选地由远程设备510经由远程接口512提供，该远程接口任选地为无线或有线连接。应当理解，图5的实施方案并不意在限制本公开的设备的特征，用于促进本公开中所描述的其他特征的其他部件也任选地包括在图5的架构中。在一些实施方案中，设备500任选地对应于图1A和图2的多功能设备100以及图3的设备300中的一者或多者；网络接口502任选地对应于图1A和图2的RF电路108、外部端口124和外围设备接口118以及图3的网络通信接口360中的一者或多者；处理器504任选地对应于图1A的处理器120和图3的CPU310中的一者或多者；显示控制器508任选地对应于图1A的显示控制器156和图3的I/O接口330中的一者或多者；存储器506任选地对应于图1A的存储器102和图3的存储器370中的一者或多者；远程接口512任选地对应于图1A的外围设备接口118和I/O子系统106(和/或其部件)以及图3的I/O接口330中的一者或多者；远程设备510任选地对应于并/或包括图1A的扬声器111、触敏显示系统112、麦克风113、光学传感器164、接触强度传感器165、触觉输出发生器167、其他输入控制设备116、加速度计168、接近传感器166和I/O子系统106以及图3的键盘/鼠标350、触摸板355、触觉输出发生器357和接触强度传感器359以及图4的触敏表面451中的一者或多者；并且显示器514任选地对应于图1A和图2的触敏显示系统112、图3的显示器340以及图4的显示器450中的一者或多者。
用户界面和相关联的过程
空间和时间字符识别
准确识别输入设备的手写字符通常很有必要，因为准确识别会减少用户对设备的不必要输入。下文所述的实施方案提供了准确地识别设备上的手写字符输入，因而增强用户与设备的交互的多种方式。与设备的交互增强减少了用户执行操作所需的时间量，因而减少了设备使用的电力、延长了电池供电设备的电池寿命。
应当理解，使用设备的是人。某人使用设备时，其任选地被称为设备的用户。因此，在本公开中，提及“某人”任选地能够与提及“用户”互换，而且提及“用户”也任选地能够与提及“某人”互换。
图6A至图6D示出了根据本公开的一些实施方案的识别输入到设备的手写字符的示例性方式。这些附图中的实施方案用于举例说明下文所述的过程，包括参考图7A至图7D描述的过程。
图6A示出了在本公开的触敏表面上检测到的示例性输入。触敏表面451任选地对应于图5中的远程设备510上的触敏表面。图6A中所示的输入任选地包括接触601在向上向右方向上的移动。接触601的移动任选地限定行程602。在一些实施方案中，行程被定义为接触在从其着陆到其抬离过程中的移动。在一些实施方案中，行程被定义为接触在从其开始运动直到其至少已基本稳定(例如，已移动的距离和/或速度小于阈值量)阈值时间量这一过程中的移动。
行程602任选地包括空间分量和时间分量。行程602的空间分量任选地描述行程602最后的形状或外观—在这种情况下，为向右平铺的对角线。行程602的时间分量任选地描述行程602随时间推移看起来像何种字符。例如，行程602的时间分量任选地包括标识行程602在何处开始(例如，在这种情况下，在触敏表面451上的左下位置)以及行程602随时间推移怎样前进(例如，在这种情况下，沿向上向右方向前进，结束于触敏表面451上的右上位置)的信息。
在识别行程602所对应的字符时，设备(例如，图5中的与触敏表面451通信的设备500)任选地分析行程602的空间分量和行程602的时间分量。不仅分析行程602的空间分量还分析其时间分量，在许多情况下的结果是，相比单独地分析空间分量或时间分量，能够更准确地确定行程602对应的字符，如下文所述。例如，在一些情况下，想将其写成A的小写字母却看上去像O的行程在进行空间分析时似乎对应于O，但在进行时间分析时，该行程似乎对应于“a”，原因是时间分量任选地指示接触存在形成字母“a”的尾巴的移动，即便该移动与形状的其余部分重叠而使得对形状的空间分析看起来更像O。这种移动不太可能在输入为O的情况下存在，因此，O不太可能是插入字符。另外，一些字符经常用沿特定方向(例如，向下并向左，或向上并向右)开始移动的行程来绘制，因此，向上并向右绘制的行程更可能是M的开始而不是X的开始。
图6B示出了举例说明应用于行程的示例性字符识别技术的框图。如上所述，行程602任选地包括空间分量604和时间分量606，这两个分量任选地在确定行程所对应的一个或多个字符时得到分析。
行程602的空间分量604任选地被输入空间概率确定器608中。空间概率确定器608任选地确定行程602的空间分量604对应于一个或多个相应字符的一个或多个概率。例如，空间概率确定器608任选地基于空间分量604确定行程602对应于“A”、“B”、“C”等(任选地包括本公开的设备所支持的任何其他字符)中的一者或多者的概率(例如，基于在作出确定时行程602的形状来确定行程602对应于特定字符的概率)。如图6B所示，在一些实施方案中，空间概率确定器608任选地基于空间分量604，任选地基于一个或多个其他非字母字符(例如，/、？、#、$、@、&等)，确定行程602对应于字符A至Z中的每一者的相应概率(P1S至P26S)。在一些实施方案中，基于概率的大小来将概率612排序(例如，任选地首先列出空间概率确定器608确定行程602最有可能对应的字符，并任选地最后列出空间概率确定器608确定行程602最不可能对应的字符)。
类似地，行程602的时间分量606任选地被输入时间概率确定器610中。时间概率确定器610任选地确定行程602的时间分量606对应于一个或多个相应字符的一个或多个概率。例如，时间概率确定器610任选地基于时间分量606确定行程602对应于“A”、“B”、“C”等(任选地包括本公开的设备所支持的任何其他字符)中的一者或多者的概率(例如，基于行程602随时间推移看起来像何种字符和/或行程602的速度随时间的变化来确定行程602对应于特定字符的概率)。例如，想将其写成A的小写字母却看上去像O的行程在进行空间分析时任选地最有可能对应于O，但在进行时间分析时，却任选地最有可能对应于“a”，原因是时间分量任选地指示接触存在形成字母“a”的尾巴的移动，即便该移动与形状的其余部分重叠而使得对形状的空间分析看起来更像O。这种移动在输入为O的情况下不会存在。另外，一些字符经常用沿特定方向(例如，向下并向左，或向上并向右)开始移动的行程来绘制，因此，向上并向右绘制的行程更可能是M的开始而不是X的开始。如图6B所示，在一些实施方案中，时间分量606任选地包括指示行程602是向上并向右绘制的这一信息，该信息任选地报告行程602对应于各种字符诸如“A”、“M”、“X”等的可能性。如图6B所示，在一些实施方案中，时间概率确定器610任选地基于时间分量606确定行程602对应于字符A至Z中每一者的相应概率(P1T至P26T)。如上所述，在一些实施方案中，基于概率的大小来将概率614排序(例如，任选地首先列出时间概率确定器610确定行程602最有可能对应的字符，并任选地最后列出时间概率确定器610确定行程602最不可能对应的字符)。
任选地经由总概率确定器616基于空间概率612和时间概率614确定行程602对应于一个或多个字符的总概率618(P1A至P26A)。在一些实施方案中，总概率确定器616在最终确定行程602的过程中既考虑空间概率612又考虑时间概率614。在一些实施方案中，将空间概率612和时间概率614相乘，得到总概率618。在一些实施方案中，将空间概率612和时间概率614加在一起得到总概率618，有时使用相应的加权因子。在一些实施方案中，基于概率的大小来将概率618排序(例如，任选地首先列出总概率确定器616确定行程602最有可能对应的字符，并任选地最后列出总概率确定器616确定行程602最不可能对应的字符)。
总概率618任选地比单独的空间概率612或时间概率614更准确地提供行程602对应于特定字符的可能性。在一些实施方案中，必须确定两个或更多个手写输入行程是对应于单个字符(例如，作为同一字符的一部分)，还是对应于一个以上字符(例如，作为不同字符的一部分)。
图6C示出了在触敏表面上检测到的示例性输入。在触敏表面451上检测到的输入任选地包括接触619在向下向右方向上的移动(限定行程620)，随后是接触621在向上向右方向上的移动(限定行程622)。本公开的设备任选地需要确定行程620和622是对应于同一字符(例如，“X”)，还是不同字符(例如，行程620对应于“M”，而行程622对应于“A”)。
图6D示出了举例说明应用于两个或更多个行程的示例性字符识别技术的框图。空间/时间概率确定器624任选地确定行程620和622对应于不同字符(例如，行程620对应于第一字符，而行程622对应于第二字符)的概率。在一些实施方案中，采用图6B所述的技术执行该确定，其中独立地分析行程620和622中每一者的空间分量和时间分量。然后利用图6B所述技术的输出来评估行程620和622对应于不同字符(例如，第一字符后接着是第二字符)的概率。在一些实施方案中，该确定还基于某个语言模型，该语言模型指示在特定语言中，第一字符之后将是第二字符的可能性(例如，在确定行程620对应于第一字符且行程622对应于第二字符的可能性有多大时，设备还任选地利用语言模型来报告将在例如特定语言的字词中一起找到第一字符和第二字符的可能性有多大)。
空间/时间概率确定器626任选地确定行程620和622对应于同一字符(例如，行程620和行程622一起对应于单个字符)的概率。在一些实施方案中，采用图6B所述的技术执行该确定，其中一起(例如，作为一个组合)分析行程620和622的空间分量和时间分量。然后利用图6B所述技术的输出来评估行程620和622对应于单个字符的可能性。
选择器628任选地基于空间/时间概率确定器624和626中确定的概率来选择可能性更大的任何主张(例如，独立字符或同一字符)。
应当理解，图6B和图6D所示的各种功能块仅为示例性的，并不限制本公开的任何设备的结构。例如，空间概率确定器608、时间概率确定器610、总概率确定器616、空间/时间概率确定器624和626以及选择器628任选地由同一个物理结构(例如，处理器、逻辑等)或多个物理结构实现。
图7A至图7D是示出根据一些实施方案的识别手写输入的方法700的流程图。方法700任选地在电子设备诸如上文参考图5所述的设备500处执行，包括与遥控器和显示设备通信的机顶盒或其他用户界面生成设备。方法700中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下文所述，方法700提供了设备任选地识别输入设备的手写字符的多种方式。该方法减轻了用户与本公开的设备的用户界面交互时加诸用户的认知负担，从而创建更有效的人机界面。对于电池驱动的电子设备，提升用户与用户界面的交互效率节省了电力，因而延长了电池充电间隔时间。
在一些实施方案中，具有一个或多个处理器和存储器的电子设备(例如，与遥控器和显示设备通信的机顶盒或其他用户界面生成设备，诸如图5中的设备500)接收第一输入的指示(702)，该第一输入包括在设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面，诸如图6A中的触敏表面451)上检测到的接触(例如，手指接触或触笔接触，诸如图6A中的接触601)的移动。所述接触的移动任选地包括第一行程(704)(例如，在一些实施方案中，行程被定义为接触在从其着陆到其抬离过程中的移动，诸如图6A中的行程602)，并且第一行程任选地具有空间分量(例如，行程最终呈现的外观、或行程最终的形状，诸如图6B中的空间分量604)和时间分量(706)(例如，行程随时间推移看起来像何种字符，诸如时间分量606。例如，行程的时间分量任选地包括关于行程开始的位置以及行程随时间推移怎样前进的信息)。在一些实施方案中，第一输入包括在第一时间段期间检测到的第一行程(例如，图6C中的行程620)和在第二时间段期间检测到的第二行程(例如，图6C中的行程622)，所述第二行程具有空间分量和时间分量(708)。例如，第一输入任选地为形成X的两个行程，或者第一输入为O之后跟着U。
在一些实施方案中，电子设备基于第一行程的空间分量来确定第一行程对应于第一字符(例如，字母、数字、符号等)的第一概率(710)(例如，基于在作出确定时行程的形状来确定第一行程对应于特定字符的概率，诸如图6B中的概率612)。
在一些实施方案中，电子设备基于第一行程的时间分量来确定第一行程对应于第一字符的第二概率(712)。例如，电子设备任选地基于行程随时间推移看起来像何种字符和/或行程的速度随时间的变化来确定第一行程对应于特定字符的概率，诸如图6B中的概率614。例如，想将其写成A的小写字母却看上去像O的行程在进行空间分析时任选地最有可能对应于O，但在进行时间分析时，却任选地最有可能对应于“a”，原因是时间分量任选地指示接触存在形成字母“a”的尾巴的移动，即便该移动与形状的其余部分重叠而使得对形状的空间分析看起来更像O。这种移动在输入为O的情况下不会存在。另外，一些字符经常用沿特定方向(例如，向下并向左，或向上并向右)开始移动的行程来绘制，因此，向上并向右绘制的行程更可能是M的开始而不是X的开始。
在一些实施方案中，电子设备基于第一概率和第二概率确定第一行程对应于第一字符的总概率(714)(例如，在最终确定行程的过程中既考虑空间概率又考虑时间概率，诸如图6B中的概率618。在一些实施方案中，将空间概率和时间概率相乘。在一些实施方案中，将空间概率和时间概率加在一起，有时使用相应的加权因子)。在一些实施方案中，在第一行程仍被检测时，执行对第一概率、第二概率和总概率的确定(716)(例如，在第一行程完成之前至少完成对总概率的初步确定。无需等到第一行程结束就可执行这些确定)。在一些实施方案中，在第一行程仍被检测时，周期性地重复对第一概率、第二概率和总概率的确定(718)(例如，针对每个行程多次确定空间概率、时间概率和总概率，每次使用行程的更大部分，因为行程随着接触进一步移动而得到进一步限定。在一些实施方案中，以固定的时间间隔重复这些确定。在一些实施方案中，当已在行程中出现大于阈值量的变化—例如，行程的方向、速度、加速度等的变化大于阈值量，并且该变化使得作出这些确定时，触发这些确定)。
在一些实施方案中，在第一行程仍被检测时(720)，电子设备在第一时间确定第一行程对应于第一字符的第一总概率(722)(例如，在第一行程期间确定第一总概率)。在一些实施方案中，电子设备进一步基于第一总概率提供第一字符建议，以用于显示在显示设备(例如，电视或其他显示设备)上(724)(例如，在确定第一行程对应于字母“a”的总概率之后，如果与字母“a”相关联的总概率是与其他字符相关联的总概率中最高的总概率，则电子设备在显示设备上显示字母“a”作为建议。在一些实施方案中，例如，用户任选地选择该建议，不必完成行程输入来作为输入，就可在文本字段内输入字母“a”。如果与另一个字符相关联的总概率是最高的总概率，则在显示设备上显示该字符作为建议)。在一些实施方案中，电子设备在第一时间之后的第二时间进一步确定第一行程对应于第一字符的第二总概率(726)(例如，在第一行程期间确定第二总概率)。在一些实施方案中，电子设备基于第二总概率提供与第一字符建议不同的第二字符建议以用于显示在显示设备上(728)(例如，随着已输入行程中更多的部分，由于与字符相关联的总概率随时间变化而更新所显示的字符建议。例如，随着已输入行程中更多的部分，电子设备任选地将所显示的字符选择从“P”改变为“D”)。
在一些实施方案中，电子设备基于第一行程和第二行程的时间分量和空间分量来确定第一行程对应于第一字符且第二行程对应于第二字符的第三概率(730)(例如，确定第一行程和第二行程对应于不同字符的可能性有多大，诸如在图6D的空间/时间概率确定器624中确定。在一些实施方案中，如上所述，该确定基于第一行程和第二行程中每一者的时间分量和空间分量)。在一些实施方案中，确定第三概率包括基于指示在特定语言中第一字符之后将是第二字符的可能性的语言模型来确定第三概率(732)(例如，在确定第一行程对应于第一字符且第二行程对应于第二字符的可能性有多大时，电子设备任选地还利用语言模型来报告将在例如特定语言的字词中一起找到第一字符和第二字符的可能性有多大)。
在一些实施方案中，电子设备基于第一行程和第二行程的组合的时间分量和空间分量来确定第一行程和第二行程的组合对应于第三字符的第四概率(734)(例如，确定第一行程和第二行程一起对应于单个字符的可能性有多大，诸如在图6D的空间/时间概率确定器626中确定。在一些实施方案中，如上所述，该确定基于第一行程和第二行程中每一者的时间分量和空间分量，包括第一行程和第二行程的组合的时间分量和空间分量)。
在一些实施方案中，根据确定第三概率高于第四概率，电子设备选择第一字符和第二字符作为输入(736)(例如，诸如在图6D的选择器628中)。在一些实施方案中，根据确定第四概率高于第三概率，电子设备选择第三字符作为输入(738)(例如，诸如在图6D的选择器628中)。
在一些实施方案中，电子设备确定多个字符的多个总概率，第一总概率包括第一行程对应于多个字符中的第一字符的总概率，而第二总概率包括第一行程对应于多个字符中的第二字符的总概率(740)(例如，确定第一行程对应于“A”的总概率，确定第一行程对应于“B”的总概率，确定第一行程对应于“C”的总概率，等等)。在一些实施方案中，电子设备从多个字符中选择具有最高总概率的字符作为输入(742)(例如，选择“B”作为输入，因为其相关联的总概率是所确定的总概率中最高的)。
在一些实施方案中，电子设备检测第一行程的结束(744)(例如，检测形成第一行程的接触是否抬离，或检测形成第一行程的接触是否暂停移动，暂停移动指示第一行程结束)。在一些实施方案中，在检测到第一行程的结束之后(746)，电子设备检测第二行程的至少一部分(748)。响应于检测到第二行程的所述部分，电子设备任选地基于有关第一行程和第二行程的时间信息来确定第一行程和第二行程是否对应于单个字符(750)(例如，确定在“|”行程之后跟着“—”行程是否对应于“T”。在一些实施方案中，例如，两个行程对应于在“l”之后跟着“e”的开始。例如，在时间上彼此靠近的行程比在时间上分隔较远的行程更有可能是单个字符的一部分)。
在一些实施方案中，第二行程在空间上与第一行程的至少一部分重叠(例如，在触敏表面的第一区中检测到第一行程，并且至少部分地在触敏表面的第一区中检测到第二行程)，并且第一行程和第二行程至少部分地基于时间信息而被确定为属于不同字符(752)(例如，至少部分地基于以下各项将第一行程和第二行程确定为属于不同字符：在第一行程之后检测到第二行程这一事实、第一行程结束与第二行程开始间隔的时间，和/或形成第一行程的接触的加速度/速度/方向与形成第二行程的接触的加速度/速度/方向，等等。例如，“\”行程任选地被确定为属于前面的“K”，而后续的“/”行程任选地被确定为属于后续的“M”，因为第一行程是从左上向右下输入的，而第二行程是从左下向右上输入的)。
在一些实施方案中，第一行程在空间上与第二行程分离(例如，在触敏表面的第一区中检测到第一行程，而在触敏表面上不与第一区重叠的第二区中检测到第二行程)，并且第一行程和第二行程至少部分地基于时间信息而被确定为属于同一字符(754)(例如，至少部分地基于以下各项将第一行程和第二行程确定为属于同一字符：在第一行程之后检测到第二行程这一事实、第一行程结束与第二行程开始间隔的时间，和/或形成第一行程的接触的加速度/速度/方向和形成第二行程的接触的加速度/速度/方向，等等。例如，“\”行程和后续的“/”行程任选地被确定为属于单个“X”，因为第一行程是从左上向右下输入的，而第二行程是从右上向左下输入的)。
应当理解，已根据其描述图7A至图7D中的操作的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文结合本文所述的其他方法(例如，方法900和1100)所述的其他过程的细节同样以类似的方式适用于上文结合图7A至图7D所述的方法700。例如，上文参考方法700所述的触敏表面任选地具有本文参考本文所述的其他方法(例如，方法900和1100)所述的触敏表面的一种或多种特性。为简洁起见，这些细节在此处不再赘述。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实施，该信息处理装置诸如通用处理器(例如，如上文结合图1A、图3和图5所述)或特定于应用的芯片。
上文参考图7A至图7D所述的操作任选地由图1A至图1B中描绘的部件实现。例如，接收操作702和确定操作710、712和714任选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测触敏显示器112上的接触，事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应的事件识别器180将事件信息与相应的事件定义186进行比较，并且确定触敏表面上的第一位置处的第一接触是否对应于预定义的事件或子事件，诸如选择用户界面上的一个对象。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应的GUI更新器178，来更新应用程序所显示的内容。类似地，本领域的普通技术人员将清楚地知道可如何基于图1A至图1B中所描绘的部件来实施其他过程。
手写输入反馈
当用户正向设备提供手写输入时，可能有益的是设备向该用户提供有关用户输入和设备对该输入的解读的一些反馈。这可给予用户在必要时调整其输入的机会，以使期望的输入更有可能被设备识别。下文所描述的实施方案提供了设备任选地呈现这种手写输入反馈的多种方式。与设备的交互增强减少了某人执行操作所需的时间量，因而减少了设备使用的电力、延长了电池供电设备的电池寿命。
图8A至图8E示出了根据本公开的一些实施方案的在用户界面中呈现手写输入反馈的示例性方式。这些附图中的实施方案用于举例说明下文所述的过程，包括参考图9A至图9D所述的过程。
图8A示出了根据一些实施方案呈现的示例性手写输入和所得的用户界面。任选地在显示器450上呈现用户界面，并且任选地在触敏表面451上检测输入。显示器450任选地对应于图5中的显示器514，触敏表面451任选地对应于图5中的远程设备510上的触敏表面。用户界面任选地包括将向其中输入文本的区域，诸如文本输入字段802。用户界面还任选地包括手势显示区804，其任选地为用于显示与在触敏表面451上检测到的输入对应的手势反馈的区域。
任选地在触敏表面451上检测手写输入。手写输入任选地包括接触801的移动，如图8A中所示。手势显示区804任选地显示手写输入的表示806(例如，接触801的移动的表示)。在一些实施方案中，手写输入的表示806任选地包括表示触敏表面451上的接触801的当前位置的接触位置指示符(例如，发光点)，以及表示触敏表面451上的接触801的一个或多个过去位置的踪迹。在一些实施方案中，踪迹中相应点的视觉重点依据自从接触位置指示符位于踪迹中该相应点以来所经过的时间量而变化(例如，踪迹随时间推移而淡出。在一些实施方案中，发光点表示接触801，并且随着接触801移动，留下表示接触801已经怎样移动的踪迹，其中踪迹上的点开始随着自从形成这些点以来的时间而逐渐消失)。
在一些实施方案中，如图8A所示，手势显示区804在即将执行字符输入的位置处(例如，与文本输入字段802在同一直线上)显示。
在一些实施方案中，与接触801的移动的表示806同时显示的除手势显示区之外，还有候选字符808。候选字符808任选地为对应于接触801的移动的字符(例如，对应于接触的移动的最有可能的候选字符)。在一些实施方案中，如图8A所示，最有可能的候选字符被确定为“C”，因此“C”与接触801的移动的表示806同时显示。随着在触敏表面451上检测到进一步输入，任选地相应更新显示器450上所显示的用户界面。
图8B示出了根据在触敏表面上检测到的额外输入而更新用户界面。在一些实施方案中，随着在触敏表面451上检测到输入，任选地持续更新显示器450上所显示的用户界面的各种方面。在图8B中，已经在触敏表面451上相对于图8A中的接触801的移动检测到该接触的额外移动。具体地讲，接触801的移动已经以圆形方式持续进行而接近圆圈的形状(例如，“O”的形状)。因此，接触801的移动的表示806已被更新以反映这一额外移动，而且被确定为对应于接触801的移动的候选字符808已被更新以反映接触801的移动目前最有可能对应于“O”而非“C”(图8A中的情况是“C”)。
在一些实施方案中，随着向文本输入字段802中输入字符，手势显示区804移位到文本输入字段802中待输入字符的下一个区域。
图8C示出了在候选字符已被确定为最终字符之后，手势显示区的示例性移位。候选字符“O”808已被确定为最终字符，并且已作为最终字符809被输入文本输入字段802中。这任选地涉及确定在图8B中的触敏表面451上检测到的输入对应于候选字符“O”808，以及在触敏表面451上检测到的任何额外输入将会并且/或者确实对应于不同字符，确定候选字符“O”808是最终字符，然后将其输入文本输入字段802中。在一些实施方案中，这响应于未在触敏表面451上检测到输入保持阈值时间量(例如，0.1、0.5或1秒)而发生；在一些实施方案中，这响应于接收到在触敏表面451上检测到的输入指示候选字符“O”808即将在用户界面中输入这一指示而发生；在一些实施方案中，这响应于设备确定触敏表面451上的进一步输入不太可能对应于与已经在触敏表面451上接收到的输入相同的字符而发生。
在已经在文本输入字段802中输入最终字符809之后，手势显示区804任选地移动到用户界面中即将输入另一个字符的下一个位置(例如，文本输入字段802中的下一个位置)，如图8C所示。
在手势显示区804已移动之后，如前所述，任选地按照与参考图8A至图8C所述的方式类似的方式继续进行字符输入。
图8D示出了在手势显示区804的移动已经完成之后提供的手写输入识别和用户界面反馈的示例性延续。如图8D所示，手写输入识别和用户界面反馈任选地如上文参考图8A至图8C所述那样延续。
图8E示出了根据一些实施方案呈现的示例性手写输入和所得的用户界面。在一些实施方案中，候选字符808被显示为覆盖在接触801的移动的表示806之上，使得候选字符808的形状和位置类似于接触801的移动的表示806的形状和位置。在一些实施方案中，设备尝试使发光点留下的踪迹例如尽可能与候选字符匹配，以使候选字符的线条/行程与踪迹的线条/行程对准。如图8E所示，“C”候选字符808覆盖在接触801的移动的表示806之上，并且候选字符808的形状和位置类似于接触801的移动的表示806的形状和位置。
图9A至图9D是示出根据一些实施方案的呈现手写输入反馈的方法900的流程图。方法900任选地在电子设备诸如上文参考图5所述的设备500处执行，包括与遥控器和显示设备通信的机顶盒或其他用户界面生成设备。方法900中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下文所述，方法900提供了设备任选地在用户界面中呈现手写输入反馈的多种方式。该方法减轻了用户与设备上的用户界面交互时加诸用户的认知负担，从而创建更有效的人机界面。对于电池驱动的电子设备，提升用户与用户界面的交互效率节省了电力，因而延长了电池充电间隔时间。
在一些实施方案中，具有一个或多个处理器和存储器的电子设备(例如，与遥控器和显示设备通信的机顶盒或其他用户界面生成设备，诸如图5中的设备500)生成用于显示在显示设备(例如，电视机或其他显示设备)上的用户界面(902)，其中用户界面包括手势显示区(例如，用于显示对应于在设备的触敏表面上接收到的输入的手势反馈的区域，诸如图8A中的手势显示区804)。在一些实施方案中，用户界面包括文本输入字段(例如，搜索字段、web地址字段、用户名/口令字段，诸如图8A中的文本输入字段802)，并且手势显示区被显示为与文本输入字段在同一直线上(904)(例如，在文本输入字段的待输入下一个文本/字符的区域中或该区域附近显示接触的移动的表示)。
在一些实施方案中，当用户界面显示在显示设备上时，电子设备接收第一输入的指示，该第一输入包括在设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面，诸如图8A中的触敏表面451)上检测到的接触(例如，手指接触或触笔接触，诸如图8A中的接触801)的移动(906)。
在一些实施方案中，在接收到第一输入的指示之后(908)(在一些实施方案中，这是在正在接收第一输入的指示时。在一些实施方案中，这是响应于接收到第一输入)，电子设备在手势显示区中显示接触的移动的表示(910)(例如，在用户界面的手势显示区中显示接触的移动的表示，诸如图8A中的接触801的移动的表示806)。在一些实施方案中，接触的移动的表示包括(912)：表示设备的触敏表面上的接触的当前位置的接触位置指示符(例如，发光点)(914)，以及表示设备的触敏表面上的接触的一个或多个过去位置的踪迹，其中该踪迹中相应点的视觉重点依据自从接触位置指示符位于踪迹中该相应点以来所经过的时间量而变化(916)(例如，踪迹随时间推移而淡出。在一些实施方案中，发光点表示接触，并且随着接触移动，留下表示接触已经怎样移动的踪迹，其中踪迹上的点开始随着自从形成这些点以来的时间而逐渐消失)。在一些实施方案中，在第一文本输入字段的一个区域中显示接触的移动的表示，该区域在视觉上有别于第一文本输入字段的其他区域(918)(例如，在文本输入字段的具有与该文本输入字段的其余部分稍微不同的明暗度的区域(例如，文本输入字段中即将输入当前文本的区域)中显示接触的移动的表示。在一些实施方案中，接触的移动的表示在其周围具有轮廓线，以将其与文本输入字段的其余部分区分开，诸如图8A中的手势显示区806所示。接触的移动的表示任选地具有在视觉上将其大体与文本输入字段区分开的任何视觉特征)。
在一些实施方案中，在接收到第一输入的指示之后(908)，电子设备确定对应于接触的移动的第一候选字符(920)(例如，确定“C”是对应于接触的移动的最有可能的候选字符)。在一些实施方案中，确定第一候选字符包括从对应于接触的移动的多个候选字符中确定第一候选字符(922)(例如，接触的移动可能对应于多个候选字符，设备确定其中之一—第一候选字符—为最佳的，并选择在手势显示区中显示)。
在一些实施方案中，在接收到第一输入的指示之后(908)，电子设备在手势显示区中同时显示第一候选字符与接触的移动的表示(924)(例如，既显示第一候选字符(例如，“C”)，又显示接触的移动的表示，诸如图8A中的接触801的移动的表示806和候选字符808)。在一些实施方案中，在手势显示区中显示第一候选字符包括在手势显示区中显示第一候选字符直到第二候选字符被确定为最有可能的候选字符(926)(例如，第一候选字符任选地为当前最有可能的候选字符，但任选地将在基于接触的额外移动，另一个字符成为最有可能的候选字符的情况下，在手势显示区中被另一个字符替换)。在一些实施方案中，在手势显示区中显示第一候选字符包括在手势显示区中显示覆盖在接触的移动的表示之上的第一候选字符(928)。在一些实施方案中，在用户界面中，第一候选字符覆盖在接触的移动的表示之上，使得第一候选字符的形状和位置类似于接触的移动的表示的形状和位置(930)(例如，尝试使发光点留下的踪迹例如尽可能与第一候选字符匹配，以使第一候选字符的线条/行程与踪迹的线条/行程对准)。在一些实施方案中，在预定义位置(诸如手势显示区的呈预定义尺寸的中心)显示候选字符。
在一些实施方案中，电子设备检测第一输入的接触的额外移动(932)，确定第二候选字符是最有可能的候选字符(934)(例如，确定新字符是当前最有可能的候选字符)，停止在手势显示区中显示第一候选字符(936)，并在手势显示区中同时显示第二候选字符与接触的移动的表示(938)(例如，如图8A至图8B中所示)。
在一些实施方案中，在用户界面中即将输入第一候选字符的第一位置处显示手势显示区(940)(例如，在即将在用户界面中输入文本/字符的位置处显示手势显示区；例如，图8A中的文本输入字段802)，随后电子设备响应于确定第一候选字符是最终字符，而在用户界面中的第一位置输入第一候选字符(942)(例如，在确定第一输入对应于第一候选字符，并且任何额外的输入将会/确实对应于不同的字符之后，电子设备任选地确定第一候选字符是最终字符，并将其输入例如文本输入字段中(例如，如图8C所示)。在一些实施方案中，这响应于未检测到输入保持阈值时间量(例如，0.1、0.5或1秒)而发生；在一些实施方案中，这响应于接收到输入指示第一候选字符即将在用户界面中输入这一指示而发生；在一些实施方案中，这响应于设备确定触敏表面上的进一步输入将不太可能对应于与已经在触敏表面上接收到的输入相同的字符而发生)。在一些实施方案中，响应于检测到第一输入的接触发生抬离而在第一位置输入第一候选字符(944)(在一些实施方案中，这响应于检测到接触发生抬离，并且没有进一步输入保持长于阈值时间量(例如，0.1、0.5或1秒)的时间而发生)。
在一些实施方案中，电子设备在第一位置输入第一候选字符之后，将手势显示区移动到用户界面中即将输入第二候选字符的第二位置(946)(例如，随着在相应位置处输入字符，在用户界面中将手势显示区从一个字符输入位置移动到另一个字符输入位置，诸如图8C所示)。
在一些实施方案中，电子设备接收对接触的进一步移动的指示(948)，并根据确定包括接触的进一步移动在内的接触的移动对应于第二候选字符，更新用户界面以进行以下操作(950)(例如确定第二候选字符是来自对应于接触的移动和接触的进一步移动的多个候选字符的最佳候选字符。例如，接触的进一步移动已经改变对接触的移动所对应的字符的最佳猜测)：停止显示第一候选字符(952)，并显示覆盖在接触的移动的表示之上的第二候选字符(954)(例如，随着接触持续移动，电子设备任选地使用额外移动的信息来更新覆盖在接触的移动的表示之上显示的最佳候选字符)。在一些实施方案中，根据确定第一候选字符仍旧是来自对应于接触的移动和接触的进一步移动的多个候选字符的最佳候选字符(例如，接触的进一步移动尚未改变对接触的移动所对应的字符的最佳猜测)，用户界面继续显示覆盖在接触的移动的表示之上的第一候选字符。
在一些实施方案中，第一文本输入字段的在视觉上有区别的区域是该第一文本输入字段中即将输入当前字符的当前字符输入区(956)，电子设备接收对切换到在第一文本输入字段的第二字符输入区中输入字符的请求(958)。在一些实施方案中，响应于接收到该请求，电子设备更新用户界面，以将在视觉上有区别的区域移位到第一文本输入字段的第二字符输入区(960)(例如，将在视觉上有区别的区域移位到文本输入字段中即将输入文本/字符的下一个位置，诸如图8C所示)。
在一些实施方案中，在更新用户界面以将在视觉上有区别的区域移位到第二字符输入区之前(962)，电子设备确定对应于接触的移动的最终字符(964)(例如，确定接触的移动所对应的最终字符。在一些实施方案中，这响应于未检测到输入保持阈值时间量(例如，0.1、0.5或1秒)而发生；在一些实施方案中，这响应于接收到输入指示当前候选字符即将在用户界面中输入这一指示而发生；在一些实施方案中，这响应于设备确定触敏表面上的进一步输入将不太可能对应于与已经在触敏表面上接收到的输入相同的字符而发生)。在一些实施方案中，电子设备将最终字符输入文本输入字段的当前字符区中(966)(例如，将最终字符输入文本输入字段的当前字符输入位置，诸如图8C中的最终字符809)。
应当理解，已根据其描述图9A至图9D中的操作的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文结合本文所述的其他方法(例如，方法700和1100)所述的其他过程的细节同样以类似的方式适用于上文结合图9A至图9D所述的方法900。例如，上文参考方法900描述的用户界面、显示设备和输入任选地具有本文参考本文所述的其他方法(例如，方法700和1100)所描述的用户界面、显示设备和输入的一种或多种特性。为简洁起见，这些细节在此处不再赘述。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实施，该信息处理装置诸如通用处理器(例如，如上文结合图1A、图3和图5所述)或特定于应用的芯片。
上文参考图9A至图9D所述的操作任选地由图1A至图1B中描绘的部件实现。例如，生成操作902、接收操作906和显示操作910任选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测触敏显示器112上的接触，事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应的事件识别器180将事件信息与相应的事件定义186进行比较，并且确定触敏表面上的第一位置处的第一接触是否对应于预定义的事件或子事件，诸如选择用户界面上的一个对象。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应的GUI更新器178，来更新应用程序所显示的内容。类似地，本领域的普通技术人员将清楚地知道可如何基于图1A至图1B中所描绘的部件来实施其他过程。
字符识别校正
在向设备提供手写输入时，用户可能希望以简单的方式校正先前输入的字符。因此，可能有益的是设备提供稳健的手写输入校正用户界面，使用户与设备的交互得以增强。下文所描述的实施方案提供了用于呈现这种校正用户界面的方式。与设备的交互增强减少了用户执行操作所需的时间量，因而减少了设备使用的电力、延长了电池供电设备的电池寿命。
图10A至图10K示出了根据本公开的一些实施方案的电子设备呈现手写输入校正用户界面的示例性方式。这些附图中的实施方案用于举例说明下文所述的过程，包括参考图11A至图11D所述的过程。
图10A示出了正向其中输入字符的示例性用户界面。显示器450任选地显示包括候选字符区(例如，用户界面上向其中输入一个或多个字符的区域)诸如文本输入字段1002的用户界面。显示器450任选地对应于图5中的显示器514。已经任选地将“T”和“a”输入文本输入字段802中。指示符1004任选地指示将在文本输入字段802中输入手写输入所对应的字符的下一个位置。指示符1004为便于描述而引入，但实际上无需在显示器450上所显示的用户界面中显示。
任选地正在触敏表面451上检测输入。触敏表面451任选地对应于图5中的远程设备510上的触敏表面。在触敏表面451上检测到的输入任选地包括接触1001的移动，如图所示。
设备任选地识别对应于接触1001的移动的字符，以将该字符输入文本输入字段802中。
图10B示出了对应于在触敏表面上检测到的输入的候选字符的识别和输入。如图10B所示，在一些实施方案中，设备已经将“p”识别为对应于在触敏表面451上检测到的接触1001的移动，并且已经在文本输入字段1002中的位置1004处输入并显示候选字符“p”1006。
在一些情况下，用户希望改变或校正文本输入字段1002中输入的候选字符“p”1006，以便作为替代，选择不同的字符来输入文本输入字段1002。
图10C示出了根据一些实施方案的示例性候选字符校正的一部分。如上所述，“p”得到识别，并被输入文本输入字段1002中。然而，在一些情况下，用户希望改变已输入文本输入字段1002中的“p”，以便作为替代，输入不同的字符。为了发起这种改变，在一些实施方案中，设备接收用于删除文本输入字段1002中的“p”字符的请求。如图10C所示，在一些实施方案中，该请求为触敏表面451上检测到的由接触1003的移动限定的从右向左轻扫。应当理解，用于删除候选字符的任一请求均属于本公开的范围，包括在用户界面中(或者说是在输入设备上)检测到对删除按钮的选择。
图10D示出了响应于接收到删除候选字符的请求而删除候选字符并显示其他候选字符。响应于在触敏表面451上检测到接触1003的移动，设备任选地从文本输入字段1002中删除候选字符“p”，并显示多个其他候选字符1008来替代候选字符“p”，所述多个其他候选字符对应于图10A中的接触1001的移动(例如，在第一种情况下导致输入候选字符“p”的接触的移动)。例如，所述多个其他候选字符为除候选字符“p”之外的字符，其对应于用于将候选字符“o”首先输入候选字符区(例如，文本输入字段1002)的输入；或为匹配的替代字符。
如图10D所示，在一些实施方案中，多个其他候选字符1008包括“P”、“B”、“R”和“&”。在一些实施方案中，所述多个其他候选字符1008按照与触敏表面451的布局类似的布局来显示。例如，多个候选字符1008任选地在用户界面中显示为2×2网格：其中第一字符位于左上部(例如，字符“p”)，第二字符位于右上部(例如，字符“R”)，第三字符位于右下部(例如，字符“&”)，第四字符位于左下部(例如，字符“B”)。借助在触敏表面4451上与网格中显示相应字符的区域对应的区域中(左上部、右上部、右下部、左下部)检测到轻击，来任选地实现对所述字符中的相应一个字符的选择。设备任选地检测到对多个其他候选字符1008之一的选择，而将所选择的其他候选字符输入文本输入字段1002中，或者任选地检测到触敏表面451上的另一输入，而从用户界面上消除多个其他候选字符1008。
图10E示出了检测到对所述多个其他候选字符之一的选择，而将其输入文本输入字段1002中。如图10E所示，在一些实施方案中，已经在触敏表面451的右上区域中检测到接触1005。因此，字符“R”替代多个其他候选字符1008(并替代初始候选字符“p”)而被输入文本输入字段1002中，如图10E所示。多个其他候选字符1008中的其他候选字符可能已经任选地以类似的方式得到选择。
在一些情况下，用户任选地消除图10D中所示的多个其他候选字符1008，而不是选择多个其他候选字符1008之一。
图10F示出了对用户界面中显示的多个其他候选字符的消除操作。在多个其他候选字符1008诸如图10D中那样显示时，在触敏表面451上任选地检测到消除所述多个其他候选字符的请求。如图10F所示，在一些实施方案中，该请求对应于由接触1007的移动限定的从右向左轻扫。在一些实施方案中，用于消除多个其他候选字符1008的请求更一般地是与用于删除候选字符之一的轻扫(例如，由图10C中的接触1003的移动限定的用于删除候选字符“p”的从右向左轻扫)方向相同的轻扫。
响应于检测到由在触敏表面上检测到的接触1007的移动限定的轻扫，所述设备任选地停止显示图10D中所显示的多个其他候选字符1008，如图10F所示。现在，如图10F所示，在一些实施方案中，只有“T”和“a”保留在文本输入字段1002中。在一些情况下，用户任选地按照与参考图10C至图10D所述相同的方式删除文本输入字段1002中的候选字符“a”。
图10G示出了响应于接收到删除第二候选字符的请求而删除第二候选字符并显示另外的候选字符。与上文类似，检测到触敏表面451上的接触1009的移动限定从右向左轻扫任选地导致候选字符“a”从文本输入字段1002中被删除。如前所述，在从文本输入字段1002中删除候选字符“a”之后，与用于将候选字符“a”首先输入文本输入字段1002的输入对应的多个候选字符1010任选地替代候选字符“a”而显示在文本输入字段1002中。选择和/或消除多个候选字符1010任选地按照上文结合图10D至图10F所述来执行。因此，本公开的设备任选地维持与用户界面中显示的一个以上候选字符匹配的替代候选字符，从而允许用户循序地删除候选字符，并看到与每个删除的候选字符匹配的替代候选字符。
图10H至图10I示出了根据一些实施方案的将空格插入用户界面的操作。在一些实施方案中，响应于在触敏表面451上检测到的向前轻扫，如图10H中的接触1011的移动所示，电子设备将空格输入候选字符区(例如，文本输入字段1002)中。图10I示出了指示符1004的移动，电子设备借助该移动指示响应于检测到图10H中所示的向前轻扫，而将空格插入文本输入字段1002中。
图10J至图10K示出了基于所述设备正向其中输入文本的候选字符区(例如，文本输入字段)的类型，而显示不同的候选字符。图10J示出了当文本输入字段1002为例如搜索字段或其他规则的文本输入字段(例如，除字母之外的字符不太可能输入其中的文本输入字段)时所显示的多个其他示例性候选字符1012。在一些实施方案中，在文本输入字段1002为搜索字段时所显示的多个其他候选字符1012任选地大多为或全部为字母。然而，在一些实施方案中，文本输入字段的类型任选地影响设备对即将由电子设备显示的候选字符的确定。图10K示出了当文本输入字段1020为例如电子邮件地址输入字段时所显示的多个其他示例性候选字符1014。如果文本输入字段1020为如图10K所示的电子邮件地址输入字段，则“@”字符被显示为候选字符的可能性任选地高于文本输入字段为搜索字段或其他规则的文本输入字段(诸如图10J中的文本输入字段1002)情况下的可能性。在图10K中，由于上述原因，多个其他候选字符1012任选地包括“@”字符1018，而不是图10J中的“G”字符1016。
图11A至图11D是示出根据一些实施方案的呈现手写输入校正用户界面的方法1100的流程图。方法1100任选地在电子设备诸如上文参考图5所述的设备500处执行，包括与遥控器和显示设备通信的机顶盒或其他用户界面生成设备。方法1100中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1100提供了设备任选地呈现手写输入校正用户界面的多种方式。该方法减轻了用户与设备上的用户界面交互时加诸用户的认知负担，从而创建更有效的人机界面。对于电池驱动的电子设备，提升用户与用户界面的交互效率节省了电力，因而延长了电池充电间隔时间。
在一些实施方案中，具有一个或多个处理器和存储器的电子设备(例如，与遥控器和显示设备通信的机顶盒或其他用户界面生成设备，诸如图5中的设备500)生成用于显示在显示设备(例如，电视机或其他显示设备)上的用户界面(1102)，其中用户界面包括候选字符区(1104)(例如，用户界面上向其中输入一个或多个字符的区域；例如，文本输入字段，诸如图10A中的文本输入字段1002)。在一些实施方案中，用户界面中的候选字符区包括文本输入字段(1106)(例如，搜索字段、web地址字段、用户名/口令字段，诸如图10A中的文本输入字段1002)。
在一些实施方案中，当用户界面显示在显示设备上时，电子设备接收第一输入的指示，该第一输入包括在设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面，诸如图10A中的触敏表面451)上检测到的接触(例如，手指接触或触笔接触，诸如图10A中的接触1001)的移动(1108)。
在一些实施方案中，响应于检测到接触的移动，电子设备识别对应于所述移动的第一候选字符，诸如图10B中的候选字符1006(例如，确定接触的移动对应于“C”)，并更新用户界面以在候选字符区中包括第一候选字符(1110)(例如，在候选字符区中输入“C”)。
在一些实施方案中，电子设备接收删除第一候选字符的请求(1112)(例如，由于检测到对删除按钮的选择、由于在触敏表面上检测到删除手势等，诸如检测到图10C中的接触1003的移动)。
在一些实施方案中，响应于接收到删除第一候选字符的请求，电子设备通过以下操作来更新用户界面(1114)：删除候选字符区中的第一候选字符(1116)，如图10C所示；以及显示对应于接触的移动的第一多个其他候选字符来替代第一候选字符(1118)(例如，第一多个其他候选字符为除第一字符之外的字符，其对应于用于将第一字符首先输入候选字符区的输入，诸如图10D中的多个其他候选字符1008；例如，与手写输入匹配的替代字符)。
在一些实施方案中，设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面)的第一区与第一多个其他候选字符中的第一候选字符相关联，而设备的触敏表面上不同于所述第一区的第二区与第一多个其他候选字符中的第二候选字符相关联(1120)(例如，在一些实施方案中，触敏表面上的第一区与触敏表面上的第二区的相对位置与用户界面上的第一候选字符与第二候选字符的相对位置相同。也就是说，第一多个其他候选字符按照与设备的触敏表面的布局类似的布局来显示，如图10D所示)。
在一些实施方案中，电子设备接收在设备的触敏表面上检测到的第二输入(例如，轻击或轻击和点击)的指示(1122)，然后响应于接收到第二输入的所述指示(1124)，根据确定在设备的触敏表面的第一区上检测到第二输入，将第一候选字符输入候选字符区中(1126)(例如，在图10E中检测到接触1005任选地导致电子设备将候选字符“R”输入文本输入字段1002中)。在一些实施方案中，根据确定在设备的触敏表面的第二区上检测到第二输入，电子设备将第二候选字符输入候选字符区中(1128)。例如，多个候选字符任选地在用户界面中显示为2×2网格：其中第一字符位于左上部，第二字符位于右上部，第三字符位于右下部，第四字符位于左下部，如图10C所示。借助在触敏表面上与网格中显示相应字符的区域对应的区域中(左上部、右上部、右下部、左下部)轻击，来任选地实现对字符中的相应一个字符的选择。
在一些实施方案中，删除第一候选字符的请求包括在设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面)上检测到的第一轻扫(例如，从右向左的水平轻扫)(1130)。在一些实施方案中，电子设备接收在设备的触敏表面上检测到的第二轻扫(例如，从右向左的水平轻扫，诸如由图10F中的接触1007的移动限定的轻扫)的指示(1132)(在一些实施方案中，这是消除用户界面中第一多个其他候选字符的任一请求。在一些实施方案中，这是在检测到用于删除第一候选字符的从右向左水平轻扫，或更一般地说，与用于删除第一候选字符的轻扫方向相同的轻扫之后，在设备的触敏表面上检测到的另一个从右向左的水平轻扫)。在一些实施方案中，响应于第二轻扫，电子设备停止在用户界面中显示第一多个其他候选字符(1134)，如图10F所示。
在一些实施方案中，在停止在用户界面中显示第一多个其他候选字符之后，电子设备接收在设备的触敏表面上检测到的第三轻扫(例如，从右向左的水平轻扫，诸如由图10G中的接触1009的移动限定的轻扫)的指示(1136)(在一些实施方案中，这是删除候选字符区中字符的任一请求。在一些实施方案中，这是在检测到用于消除第一多个候选字符的从右向左水平轻扫，或更一般地说，与用于消除第一多个候选字符的轻扫方向相同的轻扫之后，在设备的触敏表面上检测到的另一个从右向左的水平轻扫)。在一些实施方案中，响应于第三轻扫，电子设备通过以下操作来更新用户界面(1138)：删除候选字符区中的第二候选字符(1140)(例如，位于候选字符区中的除第一候选字符之外的另一个字符，诸如图10F中的候选字符“a”)；以及显示与第二候选字符相关联的第二多个其他候选字符(例如，图10G中的多个候选字符1010)来替代第二候选字符(1142)，诸如图10G所示。例如，在第二候选字符是使用手写识别来输入的情况下，第二多个候选字符为对应于用于将第二候选字符首先输入候选字符区的输入的有时不同于第二候选字符的字符(例如，与手写输入匹配的替代字符)。
在一些实施方案中，删除第一候选字符的请求包括在设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面)上检测到的第一轻扫(例如，从右向左的水平轻扫，或向后轻扫)(1144)。在一些实施方案中，电子设备接收第二输入的指示，所述第二输入对应于选择第一多个其他候选字符中的相应一个字符(1146)(例如，在触敏表面上检测到的用于选择相应候选字符的任一输入，诸如先前讨论的基于区域的选择)。在一些实施方案中，响应于所述第二输入，电子设备更新用户界面，以在候选字符区中包括第一多个其他候选字符中的相应一个字符(1148)(例如，将所选择的字符输入用户界面中的候选字符区中，诸如图10E所示)。
在一些实施方案中，在更新用户界面以在候选字符区中包括第一多个其他候选字符中的相应一个字符之后，电子设备接收在所述设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面)上检测到的第二轻扫的指示(1150)，所述轻扫的方向与第一轻扫的方向相反(例如，为从左向右的水平轻扫，或向前轻扫)。在一些实施方案中，响应于所述第二轻扫，电子设备在候选字符区中，紧接第一多个其他候选字符中的相应一个字符输入空格(1152)，如图10H至图10I中所示(例如，向前轻扫向候选字符区添加空格，而向后轻扫删除候选字符区中的字符并呈现替代字符用户界面，如前所述)。
在一些实施方案中，当在候选字符区中显示第一多个其他候选字符中的所述相应一个字符时，电子设备接收在所述设备的触敏表面(例如，遥控器或具有触摸屏显示器的便携式多功能设备的触敏表面)上检测到的第二轻扫的指示(1154)。在一些实施方案中，根据确定所述第二轻扫包括与第一轻扫(例如，用于删除第一候选字符的轻扫。在一些实施方案中，为从右向左的水平轻扫，或向后轻扫)的方向相同的轻扫，电子设备通过删除候选字符区中第一多个其他候选字符中的所述相应一个字符来更新用户界面(1156)。在一些实施方案中，根据确定第二轻扫包括轻扫和保持，所述轻扫与第一轻扫(例如，用于删除第一候选字符的轻扫。在一些实施方案中，为从右向左的水平轻扫、或向后轻扫，之后使接触在轻扫结束时保持超过阈值时段(0.1秒、0.5秒或1秒)的时间)的方向相同，电子设备通过删除候选字符区中的第一多个其他候选字符中的相应一个字符和候选字符区中的其他候选字符来更新用户界面，直到检测到该保持的释放(1158)(例如，在候选字符区中逐一删除字符，直到检测到限定轻扫的接触的抬离)。
在一些实施方案中，根据确定文本输入字段的类型包括第一类型(例如，电子邮件地址输入字段)，电子设备将第一组候选字符显示为第一多个其他候选字符(1160)，并且根据确定文本输入字段的类型包括不同于第一类型的第二类型(例如，数字输入字段)，电子设备将不同于第一组候选字符的第二组候选字符显示为第一多个其他候选字符(1162)。例如，文本输入字段的类型任选地影响电子设备对即将显示的候选字符的确定。如果文本输入字段为例如电子邮件地址输入字段，则“@”符号被显示为候选字符的可能性任选地高于文本输入字段为数字或规则的文本输入字段情况下的可能性，如图10J至图10K所示。
应当理解，已根据其描述图11A至图11D中的操作的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文结合本文所述的其他方法(例如，方法700和900)所述的其他过程的细节同样以类似的方式适用于上文结合图11A至图11D所述的方法1100。例如，上文参考方法1100所述的显示设备和触敏表面任选地具有参考本文所述的其他方法(例如，方法700和900)所述的用户界面、显示设备和触敏表面的一种或多种特性。为简洁起见，这些细节在此处不再赘述。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实施，该信息处理装置诸如通用处理器(例如，如上文结合图1A、图3和图5所述)或特定于应用的芯片。
上文参考图11A至图11D所述的操作任选地由图1A至图1B中描绘的部件实现。例如，生成操作1102、接收操作1108、识别操作1110和更新操作1114任选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测触敏显示器112上的接触，事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应的事件识别器180将事件信息与相应的事件定义186进行比较，并且确定触敏表面上的第一位置处的第一接触是否对应于预定义的事件或子事件，诸如选择用户界面上的一个对象。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应的GUI更新器178，来更新应用程序所显示的内容。类似地，本领域的普通技术人员将清楚地知道可如何基于图1A至图1B中所描绘的部件来实施其他过程。
根据一些实施方案，图12示出了根据各种所描述实施方案的原理来配置的电子设备1200的功能框图。该设备的功能块任选地由实施各种所描述实施方案的原理的硬件、软件、或硬件和软件的组合来实现。本领域的技术人员应当理解，图12中所述的功能块任选地被组合或被分离为子块，以便实施各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。
如图12所示，电子设备1200任选地包括被配置为接收输入的接收单元1202，以及耦接至接收单元1202的处理单元1204。在一些实施方案中，处理单元1204包括确定单元1206、显示使能单元1208、选择单元1210和检测单元1212。
在一些实施方案中，接收单元1202被配置为接收第一输入的指示，该第一输入包括在设备的触敏表面上检测到的接触的移动，其中所述接触的移动包括第一行程，该第一行程具有空间分量和时间分量。
在一些实施方案中，处理单元1205被配置为基于第一行程的空间分量来确定第一行程对应于第一字符的第一概率(例如，利用确定单元1206)、基于第一行程的时间分量来确定第一行程对应于第一字符的第二概率(例如，利用确定单元1206)，并基于第一概率和第二概率来确定第一行程对应于第一字符的总概率(例如，利用确定单元1206)。
在一些实施方案中，在第一行程仍被检测时，执行对第一概率、第二概率和总概率的确定(例如，利用确定单元1206)。在一些实施方案中，在第一行程仍被检测时，周期性地重复对第一概率、第二概率和总概率的确定(例如，利用确定单元1206)。
在一些实施方案中，处理单元1204被进一步配置为在仍检测第一行程时：在第一时间确定第一行程对应于第一字符的第一总概率(例如，利用确定单元1206)；基于第一总概率来提供第一字符建议以用于显示在显示设备上(例如，利用显示使能单元1208)；在第一时间之后的第二时间确定第一行程对应于第一字符的第二总概率(例如，利用确定单元1206)；以及基于第二总概率来提供不同于第一字符建议的第二字符建议以用于显示在显示设备上(例如，利用显示使能单元1208)。
在一些实施方案中，第一输入包括在第一时间段期间检测到的第一行程和在第二时间段期间检测到的第二行程，第二行程具有空间分量和时间分量，处理单元1204被进一步配置为：基于第一行程和第二行程的时间分量和空间分量来确定第一行程对应于第一字符且第二行程对应于第二字符的第三概率(例如，利用确定单元1206)；基于第一行程和第二行程的组合的时间分量和空间分量来确定第一行程和第二行程的组合对应于第三字符的第四概率(例如，利用确定单元1206)；根据确定第三概率高于第四概率，选择第一字符和第二字符作为输入(例如，利用选择单元1210)；以及根据确定第四概率高于第三概率，选择第三字符作为输入(例如，利用选择单元1210)。
在一些实施方案中，确定第三概率包括基于指示在特定语言中第一字符之后将是第二字符的可能性的语言模型来确定第三概率。
在一些实施方案中，处理单元1204被进一步配置为确定多个字符的多个总概率，第一总概率包括第一行程对应于多个字符中的第一字符的总概率，而第二总概率包括第一行程对应于多个字符中的第二字符的总概率(例如，利用确定单元1206)，然后从多个字符中选择具有最高总概率的字符作为输入(例如，利用选择单元1210)。
在一些实施方案中，处理单元1204被进一步配置为检测第一行程的结束(例如，利用检测单元121)，在检测到第一行程的结束之后，检测第二行程的至少一部分(例如，利用检测单元1212)，并且响应于检测到第二行程的所述部分，基于关于第一行程和第二行程的时间信息来确定第一行程和第二行程是否对应于单个字符(例如，利用确定单元1206)。在一些实施方案中，第二行程在空间上与第一行程的至少一部分重叠，并且第一行程和第二行程至少部分地基于时间信息而被确定为属于不同字符。在一些实施方案中，第一行程在空间上与第二行程分离，并且第一行程和第二行程至少部分地基于时间信息而被确定为属于同一字符。
根据一些实施方案，图13示出了根据各种所描述实施方案的原理来配置的电子设备1300的功能框图。该设备的功能块任选地由实施各种所描述实施方案的原理的硬件、软件、或硬件和软件的组合来实现。本领域的技术人员应当理解，图13中所述的功能块任选地被组合或被分离为子块，以便实施各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。
如图13所示，电子设备1300任选地包括被配置为接收输入的接收单元1302，以及耦接至接收单元1302的处理单元1304。在一些实施方案中，处理单元1304包括显示使能单元1306、确定单元1308、检测单元1310、输入单元1312和移动单元1314。
在一些实施方案中，接收单元1302被配置为当用户界面在显示设备上显示时，接收第一输入的指示，该第一输入包括在设备的触敏表面上检测到的接触的移动。在一些实施方案中，处理单元1304被配置为生成用户界面以用于显示在显示设备上(例如，利用显示使能单元1306)，其中用户界面包括手势显示区，并且在接收到第一输入的指示之后：在手势显示区中显示接触的移动的表示(例如，利用显示使能单元1306)；确定对应于所述接触的移动的第一候选字符(例如，利用确定单元1308)；然后在手势显示区中同时显示第一候选字符与所述接触的移动的表示(例如，利用显示使能单元1306)。
在一些实施方案中，用户界面包括文本输入字段，并且手势显示区被显示为与文本输入字段在同一直线上。在一些实施方案中，在手势显示区中显示第一候选字符包括在手势显示区中显示第一候选字符直到第二候选字符被确定为最有可能的候选字符，并且处理单元被进一步配置为：检测第一输入的接触的额外移动(例如，利用检测单元1310)；确定第二候选字符为最有可能的候选字符(例如，利用确定单元1308)；停止在手势显示区中显示第一候选字符(例如，利用显示使能单元1306)；以及在手势显示区中同时显示第二候选字符与所述接触的移动的表示(例如，利用显示使能单元1306)。
在一些实施方案中，在用户界面中即将输入第一候选字符的第一位置处显示手势显示区，并且处理单元被进一步配置为：响应于确定第一候选字符为最终字符(例如，利用确定单元1308)，在用户界面中的第一位置输入第一候选字符(例如，利用输入单元1312)；以及在第一位置输入第一候选字符之后，将手势显示区移动到用户界面中即将输入第二候选字符的第二位置(例如，利用移动单元1314)。
在一些实施方案中，响应于检测到第一输入的接触发生抬离而在第一位置输入第一候选字符。在一些实施方案中，所述接触的移动的表示包括：表示设备的触敏表面上的接触的当前位置的接触位置指示符，以及表示设备的触敏表面上的接触的一个或多个过去位置的踪迹，其中该踪迹中相应点的视觉重点依据自从接触位置指示符位于踪迹中该相应点以来所经过的时间量而变化。
在一些实施方案中，确定第一候选字符包括从对应于接触的移动的多个候选字符中确定第一候选字符；在手势显示区中显示第一候选字符包括在手势显示区中显示覆盖在接触的移动的表示之上的第一候选字符。
在一些实施方案中，在用户界面中，第一候选字符覆盖在接触的移动的表示之上，使得第一候选字符的形状和位置类似于所述接触的移动的表示的形状和位置。
在一些实施方案中，接收单元1302被进一步配置为接收接触的进一步移动的指示，并且处理单元1304被进一步配置为：根据确定包括接触的进一步移动在内的接触的移动对应于第二候选字符(例如，利用确定单元1308)，更新用户界面以进行以下操作：停止显示第一候选字符(例如，利用显示使能单元1306)；以及显示覆盖在接触的移动的表示之上的第二候选字符(例如，利用显示使能单元1306)。
在一些实施方案中，在第一文本输入字段的一个区域中显示接触的移动的表示，该区域在视觉上有别于第一文本输入字段的其他区域。在一些实施方案中，第一文本输入字段的在视觉上有区别的区域为第一文本输入字段中即将输入当前字符的当前字符输入区，接收单元1302被进一步配置为接收对切换到在第一文本输入字段的第二字符输入区中输入字符的请求，并且处理单元1304被进一步配置为响应于接收到该请求，更新用户界面以将所述视觉上有区别的区域移位到第一文本输入字段的第二字符输入区(例如，利用移动单元1314)。
在一些实施方案中，处理单元1304被进一步配置为在更新用户界面以将视觉上有区别的区域移位到第二字符输入区之前：确定对应于接触的移动的最终字符(例如，利用确定单元1308)；以及将该最终字符输入文本输入字段的当前字符区中(例如，利用输入单元1312)。
根据一些实施方案，图14示出了根据各种所描述实施方案的原理来配置的电子设备1400的功能框图。该设备的功能块任选地由实施各种所描述实施方案的原理的硬件、软件、或硬件和软件的组合来实现。本领域的技术人员应当理解，图14中所述的功能块任选地被组合或被分离为子块，以便实施各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。
如图14所示，电子设备1400任选地包括被配置为接收输入的接收单元1402，以及耦接至接收单元1402的处理单元1404。在一些实施方案中，处理单元1404包括显示使能单元1406、识别单元1408、删除单元1410、输入单元1412和确定单元1414。
在一些实施方案中，接收单元1402被配置为：当用户界面在显示设备上显示时，接收第一输入的指示，该第一输入包括在设备的触敏表面上检测到的接触的移动；以及接收删除第一候选字符的请求。在一些实施方案中，处理单元1404被配置为：生成用户界面以用于显示在显示设备上，其中所述用户界面包括候选字符区(例如，利用显示使能单元1406)；响应于检测到接触的移动，识别对应于所述移动的第一候选字符(例如，利用识别单元1408)；更新用户界面以在候选字符区中包括第一候选字符(例如，利用显示使能单元1406)；以及响应于接收到删除第一候选字符的请求，通过以下操作来更新用户界面：删除候选字符区中的第一候选字符(例如，利用删除单元1410)，以及显示对应于接触的移动的第一多个其他候选字符来替代第一候选字符(例如，利用显示使能单元1406)。
在一些实施方案中，设备触敏表面的第一区与第一多个其他候选字符中的第一候选字符相关联，设备触敏表面的不同于第一区的第二区与第一多个其他候选字符中的第二候选字符相关联，接收单元1402被进一步配置为接收在设备触敏表面上检测到的第二输入的指示，并且处理单元1404被进一步配置为响应于接收到第二输入的指示：根据确定在设备触敏表面的第一区上检测到第二输入(例如，利用确定单元1414)，将第一候选字符输入候选字符区中(例如，利用输入单元1412)，并根据确定在设备触敏表面的第二区上检测到第二输入(例如，利用确定单元1414)，将第二候选字符输入候选字符区中(例如，利用输入单元1412)。
在一些实施方案中，删除第一候选字符的请求包括在设备的触敏表面上检测到的第一轻扫，接收单元1402被进一步配置为接收在设备的触敏表面上检测到的第二轻扫的指示，并且处理单元1404被进一步配置为响应于第二轻扫，停止在用户界面中显示第一多个其他候选字符(例如，利用显示使能单元1406)。
在一些实施方案中，接收单元1402被进一步配置为在停止在用户界面中显示第一多个其他候选字符之后，接收在设备的触敏表面上检测到的第三轻扫的指示，处理单元1404被进一步配置为响应于第三轻扫，通过以下操作来更新用户界面：删除候选字符区中的第二候选字符(例如，利用删除单元1410)，以及显示与第二候选字符相关联的第二多个其他候选字符来替代第二候选字符(例如，利用显示使能单元1406)。
在一些实施方案中，删除第一候选字符的请求包括在设备的触敏表面上检测到的第一轻扫，接收单元1402被进一步配置为接收第二输入的指示，该第二输入对应于选择第一多个其他候选字符中的相应一个字符，并且处理单元1404被进一步配置为响应于第二输入，更新用户界面以在候选字符区中包括第一多个其他候选字符中的相应一个字符(例如，利用显示使能单元1406)。在一些实施方案中，接收单元1402被进一步配置为在更新用户界面以在候选字符区中包括第一多个其他候选字符中的相应一个字符之后，接收在设备的触敏表面上检测到的第二轻扫的指示，该轻扫的方向与第一轻扫的方向相反，并且处理单元1404被进一步配置为响应于第二轻扫，在候选字符区中紧接第一多个其他候选字符中的相应一个字符输入空格(例如，利用输入单元1412)。
在一些实施方案中，接收单元1402被进一步配置为当第一多个其他候选字符中的相应一个字符在候选字符区中显示时，接收在设备的触敏表面上检测到的第二轻扫的指示，并且处理单元1404被进一步配置为：根据确定第二轻扫包括与第一轻扫的方向相同的轻扫(例如，利用确定单元1414)，通过删除候选字符区中的第一多个其他候选字符中的相应一个字符来更新用户界面(例如，利用显示使能单元1406)；以及根据确定第二轻扫包括轻扫和保持，该轻扫与第一轻扫的方向相同(例如，利用确定单元1414)，通过删除候选字符区中的第一多个其他候选字符中的相应一个字符和候选字符区中的其他候选字符来更新用户界面，直到检测到该保持的释放(例如，利用显示使能单元1406)。
在一些实施方案中，用户界面中的候选字符区包括文本输入字段。在一些实施方案中，显示第一多个其他候选字符包括：根据确定文本输入字段的类型包括第一类型(例如，利用确定单元1414)，将第一组候选字符显示为第一多个其他候选字符(例如，利用显示使能单元1406)，并且根据确定文本输入字段的类型包括不同于第一类型的第二类型(例如，利用确定单元1414)，将不同于第一组候选字符的第二组候选字符显示为第一多个其他候选字符(例如，利用显示使能单元1406)。
上文参考图7A至图7D、图9A至图9D和图11A至图11D所述的操作任选地由图1A至图1B、图12、图13或图14中描绘的部件实现。例如，确定操作710和920以及识别操作1110任选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测触敏显示器112上的接触，事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应的事件识别器180将事件信息与相应的事件定义186进行比较，并且确定触敏表面上的第一位置处的第一接触是否对应于预定义的事件或子事件，诸如选择用户界面上的一个对象。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应的GUI更新器178，来更新应用程序所显示的内容。类似地，本领域的普通技术人员将清楚地知道可如何基于图1A至图1B、图12、图13或图14中所描绘的部件来实施其他过程。
出于解释的目的，前面的描述是参考具体的实施方案来描述的。然而，上面的示例性讨论并非旨在是穷尽的，也并非旨在将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (18)

1.一种电子设备，包括：
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
生成用户界面以用于显示在显示器上，其中所述用户界面包括手势显示区和文本输入区；
在所述用户界面显示在所述显示器上的同时，接收第一输入的指示，所述第一输入包括在触敏表面上检测到的第一接触的移动；
响应于接收到第一输入的指示：
显示第一接触在所述手势显示区中的移动的表示；
确定对应于所述第一接触的移动的第一字符；
在显示第一接触在所述手势显示区中的移动的表示的同时，检测第一输入的结束；以及
响应于检测到所述第一输入的结束：
在所述文本输入区中显示所述第一字符；以及
相对于所述文本输入区移位所述手势显示区。
2.根据权利要求1所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
在所述文本输入区中显示所述第一字符之后以及在相对于所述文本输入区移位所述手势显示区之后:
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
显示第二接触在所述手势显示区中的移动的表示，其中所述手势显示区被移位到与所述第一接触的移动的表示的显示在所述手势显示区中的位置不同的位置。
3.根据权利要求1所述的电子设备，其中检测所述第一输入的结束包括检测所述第一接触的抬离。
4.根据权利要求1所述的电子设备，其中所述手势显示区视觉上区别于所述文本输入区。
5.根据权利要求1所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
检测所述第一接触的抬离；以及
在检测到所述第一接触的抬离之后：
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；以及
响应于检测到所述第二输入的指示，基于关于第一行程和第二行程的时间信息来确定所述第一输入和所述第二输入是否对应于单个字符。
6.根据权利要求1所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
在文本输入区中显示字符的同时，接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
基于指示在特定语言中第一字符之后将是第二字符的可能性的语言模型来确定对应于所述第二接触的移动的第二字符。
7.一种识别手写输入的方法，包括：
在具有一个或多个处理器和存储器的电子设备处，所述电子设备与显示器和触敏表面通信：
生成用户界面以用于显示在显示器上，其中所述用户界面包括手势显示区和文本输入区；
在所述用户界面显示在所述显示器上的同时，接收第一输入的指示，所述第一输入包括在触敏表面上检测到的第一接触的移动；
响应于接收到第一输入的指示：
显示第一接触在所述手势显示区中的移动的表示；
确定对应于所述第一接触的移动的第一字符；
在显示第一接触在所述手势显示区中的移动的表示的同时，检测第一输入的结束；以及
响应于检测到所述第一输入的结束：
在所述文本输入区中显示所述第一字符；以及
相对于所述文本输入区移位所述手势显示区。
8.根据权利要求7所述的方法，还包括：
在所述文本输入区中显示所述第一字符之后以及在相对于所述文本输入区移位所述手势显示区之后:
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
显示第二接触在所述手势显示区中的移动的表示，其中所述手势显示区被移位到与所述第一接触的移动的表示的显示在所述手势显示区中的位置不同的位置。
9.根据权利要求7所述的方法，其中检测所述第一输入的结束包括检测所述第一接触的抬离。
10.根据权利要求7所述的方法，其中所述手势显示区视觉上区别于所述文本输入区。
11.根据权利要求7所述的方法，还包括：
检测所述第一接触的抬离；以及
在检测到所述第一接触的抬离之后：
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；以及
响应于检测到所述第二输入的指示，基于关于第一行程和第二行程的时间信息来确定所述第一输入和所述第二输入是否对应于单个字符。
12.根据权利要求7所述的方法，还包括：
在文本输入区中显示字符的同时，接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
基于指示在特定语言中第一字符之后将是第二字符的可能性的语言模型来确定对应于所述第二接触的移动的第二字符。
13.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有一个或多个处理器和存储器的电子设备执行时使得所述电子设备执行包括以下的方法，所述电子设备与显示器和触敏表面通信：
生成用户界面以用于显示在显示器上，其中所述用户界面包括手势显示区和文本输入区；
在所述用户界面显示在所述显示器上的同时，接收第一输入的指示，所述第一输入包括在触敏表面上检测到的第一接触的移动；
响应于接收到第一输入的指示：
显示第一接触在所述手势显示区中的移动的表示；
确定对应于所述第一接触的移动的第一字符；
在显示第一接触在所述手势显示区中的移动的表示的同时，检测第一输入的结束；以及
响应于检测到所述第一输入的结束：
在所述文本输入区中显示所述第一字符；以及
相对于所述文本输入区移位所述手势显示区。
14.根据权利要求13所述的非暂态计算机可读存储介质，其中所述方法还包括：
在所述文本输入区中显示所述第一字符之后以及在相对于所述文本输入区移位所述手势显示区之后:
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
显示第二接触在所述手势显示区中的移动的表示，其中所述手势显示区被移位到与所述第一接触的移动的表示的显示在所述手势显示区中的位置不同的位置。
15.根据权利要求13所述的非暂态计算机可读存储介质，其中检测所述第一输入的结束包括检测所述第一接触的抬离。
16.根据权利要求13所述的非暂态计算机可读存储介质，其中所述手势显示区视觉上区别于所述文本输入区。
17.根据权利要求13所述的非暂态计算机可读存储介质，其中所述一个或多个程序还包括用于以下的指令：
检测所述第一接触的抬离；以及
在检测到所述第一接触的抬离之后：
接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；以及
响应于检测到所述第二输入的指示，基于关于第一行程和第二行程的时间信息来确定所述第一输入和所述第二输入是否对应于单个字符。
18.根据权利要求13所述的非暂态计算机可读存储介质，其中所述一个或多个程序还包括用于以下的指令：
在文本输入区中显示字符的同时，接收第二输入的指示，所述第二输入包括在触敏表面上检测到的第二接触的移动；
响应于接收到所述第二输入的指示：
基于指示在特定语言中第一字符之后将是第二字符的可能性的语言模型来确定对应于所述第二接触的移动的第二字符。
CN201910508328.7A 2014-06-24 2015-06-22 计算设备上的字符识别 Active CN110221698B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462016597P 2014-06-24 2014-06-24
US62/016,597 2014-06-24
CN201580028382.1A CN106462283B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
PCT/US2015/037030 WO2015200228A1 (en) 2014-06-24 2015-06-22 Character recognition on a computing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580028382.1A Division CN106462283B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别

Publications (2)

Publication Number Publication Date
CN110221698A CN110221698A (zh) 2019-09-10
CN110221698B true CN110221698B (zh) 2022-05-13

Family

ID=53718123

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910508328.7A Active CN110221698B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201910508337.6A Pending CN110221766A (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201580028382.1A Active CN106462283B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201910286879.3A Pending CN109992126A (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201910508323.4A Active CN110262733B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201910508337.6A Pending CN110221766A (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201580028382.1A Active CN106462283B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201910286879.3A Pending CN109992126A (zh) 2014-06-24 2015-06-22 计算设备上的字符识别
CN201910508323.4A Active CN110262733B (zh) 2014-06-24 2015-06-22 计算设备上的字符识别

Country Status (5)

Country Link
US (8) US9864508B2 (zh)
EP (2) EP3525068A1 (zh)
CN (5) CN110221698B (zh)
AU (6) AU2015280257B2 (zh)
WO (1) WO2015200228A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
JP2015022567A (ja) * 2013-07-19 2015-02-02 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US9424823B2 (en) * 2014-02-10 2016-08-23 Myscript Method and apparatus for recognising music symbols
CN110221698B (zh) 2014-06-24 2022-05-13 苹果公司 计算设备上的字符识别
CN111782128B (zh) 2014-06-24 2023-12-08 苹果公司 用于在用户界面中导航的列界面
JP6496752B2 (ja) 2014-06-24 2019-04-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 入力デバイス及びユーザインターフェース対話
KR20160037508A (ko) * 2014-09-29 2016-04-06 삼성전자주식회사 디스플레이 장치 및 그의 표시 방법
KR20160043767A (ko) * 2014-10-14 2016-04-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20160125387A1 (en) * 2014-11-03 2016-05-05 Square, Inc. Background ocr during card data entry
JP6451316B2 (ja) * 2014-12-26 2019-01-16 富士通株式会社 文字認識プログラム、文字認識方法及び文字認識装置
KR101721967B1 (ko) * 2015-07-27 2017-03-31 현대자동차주식회사 입력장치, 이를 포함하는 차량 및 입력장치의 제어방법
CN105549873A (zh) * 2015-12-03 2016-05-04 联想(北京)有限公司 一种信息处理方法及装置
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US10725627B2 (en) * 2016-07-15 2020-07-28 International Business Machines Corporation Managing inputs to a user interface with system latency
KR102559054B1 (ko) 2016-10-26 2023-07-25 애플 인크. 전자 디바이스 상의 다수의 콘텐츠 애플리케이션으로부터의 콘텐츠를 브라우징하기 위한 사용자 인터페이스
CN107330379B (zh) * 2017-06-13 2020-10-13 内蒙古大学 一种蒙古语手写识别方法和装置
KR102411283B1 (ko) * 2017-08-23 2022-06-21 삼성전자주식회사 사용자 인터페이스의 입력 검출 영역을 설정하기 위한 방법 및 그 전자 장치
EP3928194A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces including selectable representations of content items
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
WO2020198221A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11797606B2 (en) 2019-05-31 2023-10-24 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
JP2022019426A (ja) * 2020-07-17 2022-01-27 株式会社リコー 表示装置、制御方法、プログラム
CN112383805A (zh) * 2020-11-16 2021-02-19 四川长虹电器股份有限公司 一种基于人手关键点实现电视端人机交互的方法
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
CN112257440B (zh) * 2020-12-09 2021-03-19 震坤行网络技术(南京)有限公司 用于处理关于目标对象的请求方法、计算设备和介质
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
CN115170785B (zh) * 2021-11-22 2023-05-09 荣耀终端有限公司 图像的文字识别方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0624853A2 (en) * 1993-05-12 1994-11-17 International Business Machines Corporation Hybrid on-line handwriting recognition and optical character recognition system
CN101419525A (zh) * 2007-10-26 2009-04-29 阿尔卑斯电气株式会社 输入处理装置
CN101620501A (zh) * 2009-07-28 2010-01-06 上海合合信息科技发展有限公司 手写输入系统及方法、电子设备
CN101872266A (zh) * 2009-04-24 2010-10-27 阿尔卑斯电气株式会社 输入处理装置
CN102075713A (zh) * 2011-01-10 2011-05-25 深圳创维－Rgb电子有限公司 一种电视机文字输入方法及采用该方法的电视机和遥控器
CN102163101A (zh) * 2011-04-06 2011-08-24 宇龙计算机通信科技(深圳)有限公司 识别手写输入的方法、终端设备及手写设备
EP2535844A2 (en) * 2011-06-13 2012-12-19 Google Inc. Character recognition for overlapping textual user input

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672677A (en) 1984-11-19 1987-06-09 Canon Kabushiki Kaisha Character and figure processing apparatus
US5029223A (en) 1990-02-02 1991-07-02 International Business Machines Corporation Constraint driven-on line recognition of handwritten characters and symbols
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JPH06139229A (ja) 1992-10-22 1994-05-20 Go Corp ペン型スタイラスおよびコンピュータを使用するかな文字−漢字変換方法
US5491758A (en) 1993-01-27 1996-02-13 International Business Machines Corporation Automatic handwriting recognition using both static and dynamic parameters
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
JP3969775B2 (ja) 1996-12-17 2007-09-05 キヤノン株式会社 手書き情報入力装置および手書き情報入力方法
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
EP1717682B1 (en) 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
JP4393720B2 (ja) * 2001-01-31 2010-01-06 富士通株式会社 パターン認識装置および方法
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム
US8583440B2 (en) 2002-06-20 2013-11-12 Tegic Communications, Inc. Apparatus and method for providing visual indication of character ambiguity during text entry
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7002560B2 (en) * 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
JP2004234212A (ja) * 2003-01-29 2004-08-19 Toshiba Corp 情報処理装置および文字入力方法
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
WO2006028438A1 (en) 2004-09-01 2006-03-16 Hewlett-Packard Development Company, L.P. System, method, and apparatus for continuous character recognition
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
CN101330300A (zh) * 2007-06-18 2008-12-24 大连三曦智能科技有限公司 一种移动手写点歌终端及点歌方法
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
WO2009039870A1 (en) * 2007-09-24 2009-04-02 Nokia Corporation Method and device for character input
CN101436110B (zh) * 2007-11-14 2013-02-20 北京三星通信技术研究有限公司 执行表意文字和表音文字输入的方法和装置
CN101576783B (zh) * 2008-05-09 2012-11-28 诺基亚公司 用于手写输入的用户接口、设备和方法
US9355090B2 (en) * 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
CN101620480B (zh) * 2008-06-30 2014-08-27 上海触乐信息科技有限公司 触摸屏上实现手写笔画输入的方法
CN101398902B (zh) * 2008-09-27 2012-07-04 宁波新然电子信息科技发展有限公司 一种自然手写阿拉伯字母联机识别方法
CN101697107A (zh) * 2009-10-30 2010-04-21 青岛海信移动通信技术股份有限公司 一种触摸式移动通信终端输入字符的方法及装置
US8385652B2 (en) * 2010-03-31 2013-02-26 Microsoft Corporation Segmentation of textual lines in an image that include western characters and hieroglyphic characters
US8310461B2 (en) * 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
US20120038652A1 (en) * 2010-08-12 2012-02-16 Palm, Inc. Accepting motion-based character input on mobile computing devices
CN102402689B (zh) * 2010-09-16 2016-04-13 腾讯科技（深圳）有限公司 一种目标字与用户输入图形建立关联的方法及装置
US8963847B2 (en) 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
CN102073884A (zh) * 2010-12-31 2011-05-25 北京捷通华声语音技术有限公司 一种手写识别方法、系统及手写识别终端
CN102063620A (zh) * 2010-12-31 2011-05-18 北京捷通华声语音技术有限公司 一种手写识别方法、系统及手写识别终端
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US8977059B2 (en) 2011-06-03 2015-03-10 Apple Inc. Integrating feature extraction via local sequential embedding for automatic handwriting recognition
US8094941B1 (en) * 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
JP5769015B2 (ja) * 2011-09-20 2015-08-26 カシオ計算機株式会社 印字装置、印字方法、及びプログラム
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9141200B2 (en) * 2012-08-01 2015-09-22 Apple Inc. Device, method, and graphical user interface for entering characters
CN102890615B (zh) * 2012-09-21 2015-10-07 百度在线网络技术（北京）有限公司 一种基于触摸屏的拼音输入方法和装置
JP5458161B1 (ja) 2012-10-23 2014-04-02 株式会社東芝 電子機器および方法
US9846536B2 (en) * 2012-12-17 2017-12-19 Microsoft Technology Licensing, Llc Composition of handwritten messages on mobile computing devices
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
CN103345365B (zh) * 2013-07-12 2016-04-13 北京蒙恬科技有限公司 连续手写输入的显示方法及采用该方法的手写输入装置
US9881224B2 (en) 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
CN110221698B (zh) 2014-06-24 2022-05-13 苹果公司 计算设备上的字符识别
JP6496752B2 (ja) 2014-06-24 2019-04-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 入力デバイス及びユーザインターフェース対話

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0624853A2 (en) * 1993-05-12 1994-11-17 International Business Machines Corporation Hybrid on-line handwriting recognition and optical character recognition system
CN101419525A (zh) * 2007-10-26 2009-04-29 阿尔卑斯电气株式会社 输入处理装置
CN101872266A (zh) * 2009-04-24 2010-10-27 阿尔卑斯电气株式会社 输入处理装置
CN101620501A (zh) * 2009-07-28 2010-01-06 上海合合信息科技发展有限公司 手写输入系统及方法、电子设备
CN102075713A (zh) * 2011-01-10 2011-05-25 深圳创维－Rgb电子有限公司 一种电视机文字输入方法及采用该方法的电视机和遥控器
CN102163101A (zh) * 2011-04-06 2011-08-24 宇龙计算机通信科技(深圳)有限公司 识别手写输入的方法、终端设备及手写设备
EP2535844A2 (en) * 2011-06-13 2012-12-19 Google Inc. Character recognition for overlapping textual user input

Also Published As

Publication number Publication date
CN109992126A (zh) 2019-07-09
US20180107376A1 (en) 2018-04-19
US20190179529A1 (en) 2019-06-13
US9864508B2 (en) 2018-01-09
US20150370475A1 (en) 2015-12-24
CN110221766A (zh) 2019-09-10
US11635888B2 (en) 2023-04-25
AU2019201219A1 (en) 2019-03-14
US10558358B2 (en) 2020-02-11
US20220197496A1 (en) 2022-06-23
AU2022202593A1 (en) 2022-05-12
US9864509B2 (en) 2018-01-09
AU2017265138B2 (en) 2019-03-07
US11221752B2 (en) 2022-01-11
WO2015200228A1 (en) 2015-12-30
US10025499B2 (en) 2018-07-17
CN110262733A (zh) 2019-09-20
AU2015280257B2 (en) 2017-08-24
EP3105661A1 (en) 2016-12-21
EP3525068A1 (en) 2019-08-14
US20240036723A1 (en) 2024-02-01
CN110221698A (zh) 2019-09-10
CN110262733B (zh) 2022-06-03
CN106462283A (zh) 2017-02-22
AU2015280257A1 (en) 2016-10-13
AU2020203893A1 (en) 2020-07-02
US20190012072A1 (en) 2019-01-10
AU2022202593B2 (en) 2023-12-14
AU2019201219B2 (en) 2020-03-12
AU2020203893B2 (en) 2022-01-20
CN106462283B (zh) 2019-06-11
US10241672B2 (en) 2019-03-26
US20150370779A1 (en) 2015-12-24
US20200174659A1 (en) 2020-06-04
AU2024201659A1 (en) 2024-04-04
AU2017265138A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
AU2022202593B2 (en) Character recognition on a computing device
CN111078110B (zh) 输入设备和用户界面交互
CN109313528B (zh) 用于加速滚动的方法、电子设备和计算机可读存储介质
CN113821143A (zh) 音乐正在播放用户界面
US9443501B1 (en) Method and system of note selection and manipulation
US9691270B1 (en) Automatically configuring a remote control for a device
US11287960B2 (en) Device, method, and graphical user interface for moving drawing objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant