CN104704462A - 非文本用户输入 - Google Patents

非文本用户输入 Download PDF

Info

Publication number
CN104704462A
CN104704462A CN201380053206.4A CN201380053206A CN104704462A CN 104704462 A CN104704462 A CN 104704462A CN 201380053206 A CN201380053206 A CN 201380053206A CN 104704462 A CN104704462 A CN 104704462A
Authority
CN
China
Prior art keywords
text object
suggestion
user
input
computing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380053206.4A
Other languages
English (en)
Inventor
托马斯·斯坦纳
阿诺·布鲁索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104704462A publication Critical patent/CN104704462A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种计算设备接收在该计算设备的存在敏感显示器处的第一用户输入,其中第一用户输入对应于期望的非文本对象的部分。该设备在触摸屏显示器处显示指示第一用户输入的第一图形表示,并且至少基于该第一用户输入来确定第一非文本对象建议。该设备显示指示第一非文本对象建议的第二图形表示,其中第一非文本对象建议的第二图形表示被显示为不同于第一用户输入的第一图形表示,并且检测第一非文本对象建议是否对应于期望的非文本对象的指示。

Description

非文本用户输入
背景技术
诸如触摸屏显示器的存在敏感显示器能够检测在通常覆盖显示器的活动区域内的存在或触摸,诸如检测手指是否当前按下固定图像触摸屏按钮,或者检测手指的存在和位置。某些存在敏感显示器也可以检测除了手指以外的元素的存在,所述元素诸如用于产生数字手势、选择对象或者执行其他功能的触笔。
存在敏感显示器的使用允许电子设备改变显示图像,并且呈现不同按钮、图像或可以被选择、操纵或通过触摸激活的其他区域。因此,诸如触摸屏的存在敏感显示器能够为蜂窝电话、全球定位系统(GPS)设备、个人数字助理(PDA)、计算机、自动柜员机(ATM)以及其他设备提供有效的用户界面。
存在敏感显示器使用各种技术来感测来自手指或触笔的触摸,诸如电阻、电容、红外和声学传感器。电阻传感器依靠触摸来导致覆盖显示器的两个电阻元件彼此接触,形成电阻电路,而电容传感器依靠手指的存在,改变通过覆盖显示设备的元素阵列检测到的电容。类似地,红外和声学触摸屏依靠手指或触笔来中断跨越屏幕的红外或声波,指示触摸的存在及位置。
电容和电阻触摸屏通常使用透明导体,诸如铟锡氧化物(ITO),或者透明传导聚合物,诸如PEDOT,以形成在显示图像上的阵列,使得通过用于感测触摸的传导元件可以看到显示图像。电路系统的尺寸、形状和图案对于触摸屏的分辨率和准确度以及覆盖显示器的电路的可见性可能有影响。诸如细线金属元件的其它材料不是光透明的,但是依靠它们小的物理宽度来避免被用户看到。
存在敏感显示器的一种通常应用是诸如蜂窝电话或“智能”电话的移动设备上的键盘、数字键区和其他输入显示的呈现。存在敏感显示器也可以使得用户能够通过绘制形状或做手势来提供输入,诸如通过在显示的对象上捏拉来执行缩放,或者通过画一个图形对象。但利用手指来绘制形状可以是不精确并且缓慢的,因此期望利用这样的方法来便利更好的触摸屏输入。
发明内容
在一个示例性实施例中,一种计算设备接收在计算设备的存在敏感显示器处的第一用户输入,其中第一用户输入对应于期望的非文本对象的部分。该设备在触摸屏显示器处显示指示第一用户输入的第一图形表示,并且基于至少第一用户输入来确定第一非文本对象建议。该设备显示指示第一非文本对象建议的第二图形表示,其中第一非文本对象建议的第二图形表示被显示为与第一用户输入的第一图形表示不同,并且检测第一非文本对象建议是否对应于期望的非文本对象的指示。
附图说明
图1是示出根据一个示例性实施例的可以执行一个或多个应用并且接收用户输入的计算设备的框图。
图2是示出根据一个示例性实施例的在图1中所示的计算设备的一个示例的进一步细节的框图。
图3A-3C示出根据一个示例性实施例的基于用户输入的非文本对象的建议。
图4A-4C示出根据一个示例性实施例的对所建议的非文本对象识别对象的呈现和选择。
图5是示出根据一个示例性实施例的可由计算设备执行的用于基于用户输入来提供建议的非文本对象的示例方法的流程图。
具体实施方式
在下文对示例性实施例的具体描述中,通过图示和阐释方式,引用了具体示例性实施例。对这些示例进行充分详细的描述,以使得本领域的技术人员能够实践所描述的内容,并且用于示出这些示例可以如何被应用于各种目的或实施例。存在其他实施例,并且可以在不脱离主题或范围的情况下,做出逻辑、机械、电子和其他改变。然而,此处所描述的各个实施例的特征或限制,无论对于包含其的示例性实施例如何关键,并不限制其他实施例,并且对于本发明、其元素、操作和应用的任何引用在整体上不限制本发明,只是用于限定这些示例性实施例。因此,下文的具体描述不限定权利要求的范围,仅是作为示例。
诸如触摸屏显示器的存在敏感显示器通常被用作小型电子设备上的接口,所述小型电子设备诸如智能电话、平板电脑、全球定位系统(GPS)设备以及其他这样的电子系统,因为在触摸屏后面的显示器可以被容易地适配成向用户提供指令并且接收各种类型的输入,从而提供需要非常少的用户培训就可以有效使用的直觉接口。非昂贵并且有效率的触摸屏技术使得触摸屏能够被合并到普通消费电子设备中,并且提供对固定输入按键的多用途并且耐用的替选。
例如,典型的蜂窝电话触摸屏显示器可以被配置成显示常规的“QWERTY”键盘,并且允许用户通过选择性地激活覆盖每个键的触摸屏部分来键入。类似地,用户可以使用触摸屏来绘制各种形状,诸如通过跨越屏幕跟踪手指或触笔。但是,用手指画的形状,尤其是在具有高分辨率的小屏幕上,诸如由典型的智能电话所提供的,可以导致具有不光滑或分段线的不精确绘图。考虑到许多这种设备的较小尺寸和高分辨率,以及在覆盖被绘制形状的触摸屏上绘画的手指的相对大的尺寸,绘制这类形状整体上也可能是乏味的。
因此一些实施例提供基于用户对计算设备的触摸屏输入的对非文本绘制对象的识别。例如,当用户正在绘制诸如圆的非文本对象时,计算设备可以基于接收的用户输入来显示建议的非文本对象。建议的非文本对象被显示在触摸屏显示器上,其具有指示该建议的非文本对象是一个建议的属性(例如,至少局部褪色或颜色较淡)。在进一步的示例中,计算设备可以检测指示该建议的非文本对象是否对应于期望的非文本对象(例如,用户试图画什么)的用户输入(例如,接受事件或拒绝事件)。该拒绝输入指示该建议的非文本对象不对应于期望的非文本对象。然后,计算设备可以基于用户输入来提供另一建议的非文本对象,直到建议的非文本对象被接受或形状完成绘制。接受输入指示建议的非文本对象对应于期望的非文本对象。建议的非文本对象于是被显示在触摸屏显示器上,并且在一步的示例中,可以被移动、调整尺寸、着色、或者基于用户输入进行其他修改。
这样的非文本对象识别系统可以在用户提供输入的同时提供建议的非文本对象,从而省却了用户必须绘制整个形状。在形状具有某种复杂度并且可能难以用手指准确绘制的示例中,诸如没有内部线的星形或诸如五角的具有许多边的多边形中,这可以显著节省时间并且导致更精确地呈现形状。通过分析来自用户的输入并且提供非文本对象的建议,识别系统可以基于各个加权的识别分量来对非完整的输入评分,并且可以基于分值选择非文本对象中的一个用于建议。识别系统从用户接收接受或拒绝输入,指示建议的非文本对象是期望的形状,或者在替选示例中,从在显示器上呈现的多个建议的非文本对象中选择,诸如通过按下呈现在显示器上的期望非文本对象的按钮。
图1是示出根据一个示例性实施例的可以执行一个或多个应用并且接收用户输入的计算设备的框图。此处,计算设备2包括一个或多个独立设备,或者可以是诸如客户端-服务器系统的更大系统的部分。在某些示例中,计算设备2可以包括移动设备。计算设备2的示例可以包括但不限于便携或移动设备,诸如蜂窝电话、平板计算机、个人数字助理(PDA)、便携游戏设备、便携媒体播放器以及电子书阅读器,以及诸如台式计算机的非便携设备。在某些实例中,计算设备2可以经由诸如一个或多个有线或无线网络的一个或多个网络(未示出)与外部不同的设备通信,在某些情形下,其可以提供对互联网的接入。
如图1所示,计算设备2包括一个或多个应用11A-11N(总称“应用11”)以及非文本对象输入应用8。应用11和非文本对象输入应用8可以由计算设备执行(例如,由在计算设备2内包括的一个或多个处理器,如关于图2更具体描述的)。非文本对象输入应用在某些实施例中是独立的应用,诸如绘图程序,而在其他实施例中,是另一程序的部分,或者是诸如触摸屏输入驱动器的服务,其可以被多个其他程序使用。在又一些示例中,非文本对象输入应用8包括一个或多个硬件组件,诸如触摸屏控制器集成电路。
应用11执行各种功能,诸如浏览web或者提供对因特网的其他连接,接收用户输入以产生绘图,提供照片编辑或其他这样的功能。各种这样的应用可以通过触摸屏接收用户输入,包括通过绘制随后在计算设备的屏幕上显示的非文本图形输入。
在执行期间,应用11中的任何一个可以实现、调用、执行或以其他方式利用非文本对象输入应用8,作为获取用户输入的机制,用户输入随后可以被显示在一个或多个图形字符区域中,并且被提供给应用11中的相对应的一个或多个。例如,如果应用11A是文本消息应用,应用11A可以调用非文本对象输入应用8的执行,以允许用户输入包括非文本对象的消息,其被显示为图形对象并且作为伴随任何输入文本的MMS消息图形被发送。在另一示例中,应用11A是照片编辑应用,并且非文本形状和其他非文本输入经由非文本对象输入应用8被接收,以修改或编辑绘图或照片。
如图1所示,计算设备2包括输入设备4,诸如覆盖在显示器上的触摸屏;以及输出设备6,诸如显示器。当用户通过手指触摸触摸屏并移动手指进行绘图时,显示器示出用户手指已经触摸的地方,创建非文本图形输入,如在16处所示的。非文本对象输入应用8产生并显示非文本对象建议,如在18处所示的,在此处,其指示非文本对象输入应用已经估计用户正尝试绘制圆。
在某些示例中,输入设备4是覆盖在显示器上的触摸屏,但是在其他示例中,是另一输入设备,诸如触摸键区、轨迹球、指点杆、鼠标或用户以多个维度提供向计算设备2提供非文本输入的其他机制。类似地,在某些示例中,输出设备6是显示器,但是在其他示例中,是打印机或其他形式的输出设备。
在本示例中,非文本对象输入应用8包括非文本识别模块10,其用于检测用户的绘制输入16,并且从多个已知形状中识别或估计用户正在绘制的形状。例如,用户绘制弧16在此处被估计为绘制圆18,但是也可以是绘制另一普通形状,诸如椭圆、心形或具有曲线部分的另一形状,诸如在16所大致示出的。
但是,用户所绘制的形状可能不能被非文本识别模块10快速识别,或者可能不是对于非文本识别模块所已知的任何形状。因此,这个示例进一步包括非文本对象识别开发模块12,其用于学习新的形状,并且学习更快地识别用户绘制已知形状的企图。因而,非文本对象输入应用8可以为特定用户提供改善的性能,因为其随着时间推移而学习,或者在进一步示例中,可以与服务器共享学习的信息,并且从其他用户的非文本对象输入应用接收学习的信息,以基于许多用户的动作来提供改善的性能。
图2是示出根据一个示例性实施例的在图1中所示的计算设备的一个示例的进一步细节的框图。此处,处理器用于执行从存储设备60加载或者经由诸如无线因特网或蜂窝数据网络连接的通信单元54接收的程序指令。诸如键盘、开关或按钮以及触摸屏的输入设备56被用于提供输入,同时,诸如扬声器、显示器和振动模块的输出设备58被用于提供对用户的输出。
存储设备60是机器可读介质,诸如硬盘驱动器、闪存或可以存储信息的其他非瞬时存储设备。此处,存储设备60存储操作系统64,其在设备加电时被加载,并且便利应用的安装和执行,在应用和硬件设备之间的交互以及通用系统服务。
在该示例中,应用11A-N中的一个或多个包括非文本对象输入应用10。在替选实施例中,非文本对象输入应用10以硬件或通过其他机制被提供为操作系统的部分。此处,非文本对象输入应用10包括非文本对象识别模块16,其用于识别或估计正在绘制的非文本形状或对象;以及事件模块42,其用于提供建议,诸如通过绘制识别的形状,并且提示用户输入接受或拒绝建议的形状。
非文本对象输入应用10进一步包括非文本对象开发模块18,使得非文本对象输入应用10能够经由图案模块66来学习识别新的图案。非文本对象识别模块15使用以及由非文本对象开发模块18创建的图案被存储在图案数据库88中,因此,其在该示例中包括提供的和学习的非文本图案的组合。
图3A-3C示出了根据一个示例性实施例的基于用户输入的非文本对象的建议。参考图3A,当手处于虚线的手所示出的位置时,手指开始接触示出的移动设备上的触摸屏显示器,并且手指画出一个弧,如在16所示的。该输入被移动设备接收到,在该示例中,其在该设备的显示器上呈现绘制的弧16。
然后,图1和2的非文本对象识别模块被用于基于弧16识别正在绘制的形状,并且识别的或估计的形状被显示给用户。这在图3B中示出,其示出了弧16被估计为圆18的部分,尽管该弧某些地方参差不齐并且曲率半径不一致。此处,基于弧16的位置和弧上的平均曲率半径,圆18的尺寸和位置是绘制的弧16的最佳匹配。
在进一步示例中,用户被呈现按钮,其使得用户能够接受绘制的圆18,作为用户希望绘制的对象,诸如通过按下“OK”按钮70,如图3C所示。在本示例中,作为非文本对象识别应用的部分而呈现的按钮行进一步包括用户可能正希望绘制的替选形状的选择,诸如椭圆72或心形74。
因此,用户可以点击在70处所示的“OK”按钮以接受圆18,可以选择包括椭圆72或心形74的替选形状中的一个,或者如果期望的形状未被呈现为选项,可以继续绘制形状。一旦选择了该对象,所选择的对象可以被定位、缩放、或者被用户进行其他操控,以便该形状看起来像用户所期望的那样。
图4A-4C示出了根据一个示例性实施例的对建议的非文本对象识别对象的程序和选择。此处,用户在智能电话设备上绘制弧16,如图1和3中所示。参考图4A,用户开始绘制弧,如在16处所示。移动设备的非文本对象识别模块首先估计弧是标准圆的一部分,并且绘制如在18所示的这样的圆作为所建议的形状。因为在该示例中,期望的形状是心形,用户继续绘制期望的形状,如在图4B中的16所示。随着弧朝图4A中所示的手指所在的点前进,弧的半径缩小,这向非文本对象识别模块表示该形状可能不是圆,而可能是诸如心形或椭圆的另一形状。移动设备的非文本对象识别模块通过绘制如18处所示的心形,建议扩展的弧16可能是心形的一部分,并且用户停止绘制。然后,非文本对象识别模块绘制识别的心形对象的余下部分,如在图4C的18处所示的,完成该绘图。
在该示例中,非文本对象识别模块进一步提供用于修改完成的心形形状的各种选项,诸如利用手指拖动该形状以移动它,捏住以扩大或缩小心形的尺寸,以及改变该心形的其他特征等。用户可以选择诸如76的触摸屏按钮以纯色填充该对象,可以选择按钮78来改变该对象轮廓的颜色或填充颜色,或可以选择按钮80来改变对象轮廓或以图案或设计来填充该对象。
虽然先前的示例示出了从菜单或绘图选择期望的形状,直到期望的形状被呈现,但其他示例可以使用其他方法来选择期望的对象。在某些这样的示例中,用户可以摇动移动设备,提供挥动手势,按下设备上的硬件按钮,或者执行另一这样的动作以指示对建议对象的接受。这样的动作可以导致非文本对象识别模块建议另一形状,直到正确的形状被呈现并且用户接受该形状,可以通过多种动作来指示这一点,诸如摇动、挥动、按下按钮或其他动作。在另一示例中,第一建议的对象被显示预定时间段,在此期间,用户可以接受建议的对象,并且在预定时间段过去之后,显示不同的建议对象,暗示用户拒绝了第一个建议对象。
可以使用多种适当方法中的任何一种来执行正确对象的识别,诸如采用最佳拟合算法,将绘制的形状与潜在或可能的形状的库或数据库比对。在进一步的示例中,算法偏重于更普通的形状,诸如矩形和圆形,因为这些形状比诸如稍微梯形或椭圆形状的类似图形更有可能被绘制。在进一步示例中的非文本对象识别模块执行其他功能,诸如学习新的形状,平滑手绘形状的参差弧形,或者在产生用户绘制对象的准确估计过程中有帮助的其他功能。
在更详细的示例中,绘制的用户形状被与非文本图形对象的集合或数据库的一个或多个成员相比较,并且基于在用户绘制的形状和一个或多个非文本图形对象中的每个之间的比较,对照该一个或多个非文本图形对象来排名。排名可以使用任何适当的算法,诸如最佳拟合算法,并且在进一步的实施例中,可以缩放、旋转、或者以对绘制图像进行其他修改,以产生用于在集合或数据库中每个非文本图形对象的最高最佳拟合排名分值。
在另一示例中,绘制用户形状的至少一个属性被与在集合或数据库中的一个或多个非文本图形对象的对应属性进行比较。在某些示例中,这样的属性包括在第一输入的第一图形表示与该一个或多个非文本对象的部分之间的一致性、与第一输入的第一图形表示匹配的一个或多个非文本图形对象的百分比、当接收第一输入时一个或多个非文本对象被选择的频率以及与第一用户输入相关联的次序。这使得非文本对象识别模块能够做出适当的非文本对象建议,预期用户正在绘制什么。
此处所描述的技术在某些实施例中被组合,诸如,采用两种或多个所描述的方法。在一个更详细的示例中,计算两种这样的方法的加权平均,诸如在绘制对象和数据库中一个或多个非文本对象之间的百分比匹配,以及当接收到第一输入时该一个或多个非文本对象被选择的频率。然后,加权平均被用于从集合或数据库中选择与绘制的对象最匹配的非文本对象。
图5是示出根据一个示例实施例的识别由移动设备用户绘制的非文本图形对象的方法的流程图。在102,在移动计算设备的触敏显示器处接收第一用户输入。在绘制输入工具中接收该输入,并且该输入对应于期望的非文本对象的部分。
在104,绘制的输入被显示在触敏屏上作为第一用户输入的第一图形表示,并且在106,移动设备中的非文本对象识别模块基于第一用户输入来确定第一非文本对象建议。在109,以建议的对象相对于用户输入的第一图形表示被去强调的方式,将该建议的对象显示为第二图形表示。这使得用户能够清楚地将已经在触摸屏上绘制的和非文本对象识别模块正在建议为可能正在被绘制对象的对象相区别开。
然后,在110,移动设备检测事件,其指示第一非文本对象建议是否对应于期望的非文本对象,诸如通过用户停止绘制,按下按钮,从两个或多个对象的呈现选择对象,执行挥动或摇晃动作,或者其他这样的输入等。当用户已经提供了指示期望的非文本对象的输入时,在122,移动设备将指示的非文本对象显示为完整的对象,将先前呈现为有区别的第一和第二图形表示的对象的绘制和建议部分之间的区别消除。
此处所描述的技术可以至少被部分地通过硬件、软件、固件或它们的任何组合来实现。例如,所描述的实施例的各个方面可以被实现在一个或多个处理器内,包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或者任何其他等效集成或离散逻辑电路,以及这样的组件的任何组合。术语“处理器”或“处理电路系统”可以通常指前述的逻辑电路中的任何一个,独立或与其他逻辑电路组合,或者任何其他等效电路。包括硬件的控制单元也可以执行本公开的技术中的一项或多项。
这样的硬件、软件和固件可以被实现在相同设备内,或者在独立设备内,以支持此处所描述的各种技术。此外,此处所描述的单元、模块或组件的任何一种可以被一起实施或者作为离散但可互操作的逻辑设备而被分立实施。将不同特征描述为模块或单元旨在突出不同的功能方面,并且并不必然暗示这样的模块或单元通过分立硬件、固件或软件组件实现。相反,与一个或多个模块或单元相关联的功能可以由分立的硬件、固件或软件组件执行,或者被集成在公用、或分立硬件、固件或软件组件内。
此处所描述的技术也可以被实现或编码到包括编码有指令的计算机可读存储介质的制品中。在包括编码的计算机可读存储介质的制品中嵌入或编码的指令可以导致一个或多个可编程处理器或其他处理器实现此处所描述的一种或多种技术,诸如当在计算机可读存储介质中包含或编码的指令被一个或多个处理器执行时。计算机可读存储介质可以包括随机存储存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘、光盘ROM(CD-ROM)、软盘、磁带、磁介质、光介质或者其他计算机可读介质。在某些示例中,制品可以包括一个或多个计算机可读存储介质。
在某些示例中,计算机可读存储介质可以包括非瞬时或有形介质。术语“非临时性”可以指示存储介质不以载波或传播信号的形式被实现。在某些示例中,非瞬时存储介质可以存储数据,其可以随时间推移而改变(例如,在闪存中)。
此处所呈现的示例性实施例示出了计算机化设备如何可以如何被用于识别并预测使用触摸屏绘制的非文本对象,改善了可以产生绘制非文本对象的速度和准确性。虽然本文已经示出并描述了具体实施例,但本领域的技术人员应理解的是,任何可以实现相同目的、结构或功能的布置可以替换示出的具体实施例。本申请旨在覆盖本文所描述的实施例的任何适配或变化。

Claims (20)

1.一种方法,包括:
由计算设备接收在所述计算设备的存在敏感显示器处接收的第一用户输入的指示,其中所述第一用户输入对应于期望的非文本对象的部分;
在所述存在敏感显示器处输出指示所述第一用户输入的第一图形表示以显示;
由所述计算设备基于至少所述第一用户输入来确定第一非文本对象建议;
在所述存在敏感显示器处输出指示所述第一非文本对象建议的第二图形表示以显示,其中所述第一非文本对象建议的所述第二图形表示不同于所述第一用户输入的所述第一图形表示;以及
由所述计算设备接收所述第一非文本对象建议是否对应于所述期望的非文本对象的指示。
2.根据权利要求1所述的方法,其中,确定所述第一非文本对象建议进一步包括:
将所述第一输入的所述第一图形表示与非文本对象集合的一个或多个非文本对象相比较;
至少基于所述图形表示与所述一个或多个非文本对象的比较,对所述一个或多个非文本对象排名;以及
至少部分基于所述排名,选择所述一个或多个字符作为所述第一非文本对象建议。
3.根据权利要求2所述的方法,其中,所述排名至少部分基于所述第一图形表示如何紧密地匹配所述非文本对象集合的所述一个或多个非文本对象的部分。
4.根据权利要求2所述的方法,其中,将所述第一输入的所述第一图形表示与一个或多个非文本对象相比较进一步包括:
将所述第一输入的至少一个属性与所述一个或多个非文本对象的对应属性相比较;
其中,所述至少一个属性包括在所述第一输入的所述第一图形表示与所述一个或多个非文本对象的部分之间的一致性、与所述第一输入的所述第一图形表示匹配的所述一个或多个非文本对象的百分比、当接收所述第一输入时所述一个或多个非文本对象被选择的频率以及与所述第一用户输入相关联的次序中的一个。
5.根据权利要求4所述的方法,其中,至少基于所述比较来将所述一个或多个字符排名进一步包括:
计算至少第一属性和至少第二属性的加权平均。
6.根据权利要求1所述的方法,其中,检测指示所述第一非文本对象建议是否对应于所述期望的非文本对象的事件进一步包括:
由所述计算设备检测指示所述第一非文本对象建议对应于所述期望的非文本对象的接受事件。
7.根据权利要求6所述的方法,其中,检测所述接受事件进一步包括:
由所述计算设备接收在触摸屏显示器的限定区域的接受手势。
8.根据权利要求6所述的方法,其中,检测所述接受事件进一步包括:
由所述计算设备接收指示所述第一用户输入已经停止的输入。
9.根据权利要求1所述的方法,当所述第一非文本对象建议对应于所述期望的非文本对象时,所述方法进一步包括:
基于所检测的指示所述第一非文本对象建议对应于所述期望的非文本对象的事件,改变所述第一非文本对象建议的所述第二图形表示;以及
将所述第一用户输入的所述第一图形表示从触摸屏显示器移除。
10.根据权利要求9所述的方法,其中,改变所述第一非文本对象建议的所述第二图形表示进一步包括:
强调所述第一非文本对象的所述第二图形表示。
11.根据权利要求10所述的方法,当所述第一非文本对象建议对应于所述期望的非文本对象时,所述方法进一步包括:
由所述计算设备显示用于用户改变所述第一非文本对象的所述第二图形表示的特征的选项,其中所述特征包括颜色、阴影、尺寸以及视觉效果中的至少一个。
12.根据权利要求1所述的方法,其中,接收所述第一非文本对象建议是否对应于所述期望的非文本对象的指示进一步包括:
由所述计算设备检测指示所述第一非文本对象建议不对应于所述期望的非文本对象的拒绝事件。
13.根据权利要求12所述的方法,其中,检测所述拒绝事件进一步包括:
由所述计算设备接收拒绝手势,其中所述拒绝手势是跨越所述存在敏感屏幕的挥动手势。
14.根据权利要求12所述的方法,其中,所述拒绝事件包括所述用户摇动所述计算设备。
15.根据权利要求12所述的方法,其中,检测所述拒绝事件进一步包括:
由所述计算设备接收从所述第一建议的非文本对象的所述第二图形表示偏离的拒绝输入。
16.根据权利要求12所述的方法,其中,检测所述拒绝事件进一步包括:
由所述计算设备确定是否在一时间段内已经检测到接受事件;以及
响应于确定在所述一时间段内未发生所述接受事件,由所述计算设备确定所述第一非文本对象建议不对应于所述期望的非文本对象建议。
17.根据权利要求1所述的方法,当所述第一非文本对象建议不对应于所述期望的非文本对象时,所述方法进一步包括:
由所述计算设备基于所述第一用户输入来确定第二非文本对象建议;以及
由所述计算设备显示所述第二非文本对象建议的第三图形表示,其中所述第二非文本对象建议的所述第三图形表示与所述第一用户输入的所述第二图形表示相比被去强调。
18.根据权利要求17所述的方法,其中,确定第二非文本对象建议进一步包括:
由所述计算设备确定在显示所述第一非文本对象建议的所述第二图形表示之后的时间段。
19.一种其上存储有指令的机器可读介质,所述指令在被执行时用于使得计算机化系统:
接收在计算设备的存在敏感显示器处的第一用户输入,其中所述第一用户输入对应于期望的非文本对象的部分;
在所述存在敏感显示器处输出指示在所述存在敏感显示器处的所述第一用户输入的第一图形表示以显示;
至少基于所述第一用户输入来确定第一非文本对象建议;
在所述存在敏感显示器处输出指示所述第一非文本对象建议的第二图形表示以显示,其中所述第一非文本对象建议的所述第二图形表示被显示为不同于所述第一用户输入的所述第一图形表示;以及
接收所述第一非文本对象建议是否对应于所述期望的非文本对象的指示。
20.一种移动计算设备,包括:
处理器;
存在敏感显示器,所述存在敏感显示器用于接收第一用户输入,其中所述第一用户输入对应于期望的非文本对象的部分,所述存在敏感显示器进一步用于显示指示经由触摸屏显示器的所述第一用户输入的第一图形表示,并且所述存在敏感显示器进一步用于显示指示第一非文本对象建议的第二图形表示,其中所述第一非文本对象建议的所述第二图形表示被显示为不同于所述第一用户输入的所述第一图形表示;以及
非文本对象识别模块,所述非文本对象识别模块包括用于在所述处理器上执行的指令,所述非文本对象识别模块用于基于至少所述第一用户输入来确定所述第一非文本对象建议,并且接收所述第一非文本对象建议是否对应于所述期望的非文本对象的指示。
CN201380053206.4A 2012-10-11 2013-09-20 非文本用户输入 Pending CN104704462A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/649,956 2012-10-11
US13/649,956 US8935638B2 (en) 2012-10-11 2012-10-11 Non-textual user input
PCT/US2013/060834 WO2014058597A1 (en) 2012-10-11 2013-09-20 Non-textual user input

Publications (1)

Publication Number Publication Date
CN104704462A true CN104704462A (zh) 2015-06-10

Family

ID=49305167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380053206.4A Pending CN104704462A (zh) 2012-10-11 2013-09-20 非文本用户输入

Country Status (4)

Country Link
US (1) US8935638B2 (zh)
EP (1) EP2888654A1 (zh)
CN (1) CN104704462A (zh)
WO (1) WO2014058597A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091000B1 (ko) * 2013-05-31 2020-04-14 삼성전자 주식회사 사용자 제스처를 이용한 데이터 처리 방법 및 장치
US10311095B2 (en) * 2014-01-17 2019-06-04 Renée BUNNELL Method and system for qualitatively and quantitatively analyzing experiences for recommendation profiles
US20150277696A1 (en) * 2014-03-27 2015-10-01 International Business Machines Corporation Content placement based on user input
KR20160024583A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 전자 장치 및 드로잉 기능 제공 방법
US9600089B2 (en) * 2014-10-03 2017-03-21 Adobe Systems Incorporated Optical digital ruler
US9779292B2 (en) * 2014-10-15 2017-10-03 William Ng System and method for interactive sketch recognition based on geometric contraints
US20160259488A1 (en) 2015-03-06 2016-09-08 Alibaba Group Holding Limited Navigation user interface for compact mobile devices
US20180373613A1 (en) * 2017-06-24 2018-12-27 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Systems and methods for generating and presenting alternative inputs for improving efficiency of user interaction with computing devices
US10970889B2 (en) * 2019-03-28 2021-04-06 Adobe Inc. Stroke prediction for stylized drawings based on prior strokes and reference image
EP3966678A1 (en) 2019-05-06 2022-03-16 Apple Inc. Handwriting entry on an electronic device
US20210349627A1 (en) 2020-05-11 2021-11-11 Apple Inc. Interacting with handwritten content on an electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273761A1 (en) * 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US20080260252A1 (en) * 2004-09-01 2008-10-23 Hewlett-Packard Development Company, L.P. System, Method, and Apparatus for Continuous Character Recognition
CN101620511A (zh) * 2008-07-01 2010-01-06 索尼株式会社 信息处理设备和用于显示辅助信息的方法
US20100153890A1 (en) * 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
CN102253709A (zh) * 2010-05-19 2011-11-23 禾瑞亚科技股份有限公司 手势判断的方法与装置
CN102541603A (zh) * 2011-12-28 2012-07-04 华为终端有限公司 一种应用程序启动方法、系统及终端设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726688A (en) * 1995-09-29 1998-03-10 Ncr Corporation Predictive, adaptive computer interface
US6263278B1 (en) 1999-06-25 2001-07-17 Microsoft Corporation System and method for graphically altering a pre-calculated route
US6459442B1 (en) * 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
JP2001125894A (ja) * 1999-10-29 2001-05-11 Sony Corp 文書編集処理装置及び文書編集処理方法およびプログラム提供媒体
DE10145299A1 (de) 2001-09-14 2003-04-03 Bosch Gmbh Robert Verfahren zur automatischen Berechnung von optimalen Routen
US7271742B2 (en) 2002-03-01 2007-09-18 Networks In Motion, Inc. Method and apparatus for sending, retrieving and planning location relevant information
US7181695B2 (en) * 2004-01-13 2007-02-20 Nbor Corporation System and method for sending and receiving electronic messages using graphic directional indicators
US7561740B2 (en) * 2004-12-10 2009-07-14 Fuji Xerox Co., Ltd. Systems and methods for automatic graphical sequence completion
US7882435B2 (en) * 2005-12-20 2011-02-01 Sony Ericsson Mobile Communications Ab Electronic equipment with shuffle operation
US7822547B2 (en) 2006-11-09 2010-10-26 Nokia Corporation Apparatus and method for enhancing the utilization of distance measuring devices
CN101680762B (zh) 2007-03-26 2012-11-28 丰田自动车株式会社 导航装置
US8332141B2 (en) 2007-06-15 2012-12-11 Microsoft Corporation Route modifications
JP4506855B2 (ja) 2008-03-05 2010-07-21 株式会社デンソー カーナビゲーションシステム
US8341557B2 (en) * 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
US9501694B2 (en) * 2008-11-24 2016-11-22 Qualcomm Incorporated Pictorial methods for application selection and activation
US9032299B2 (en) * 2009-04-30 2015-05-12 Apple Inc. Tool for grouping media clips for a media editing application
KR101561703B1 (ko) * 2009-06-08 2015-10-30 엘지전자 주식회사 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
US9280777B2 (en) * 2009-09-08 2016-03-08 Target Brands, Inc. Operations dashboard
US20110154193A1 (en) * 2009-12-21 2011-06-23 Nokia Corporation Method and Apparatus for Text Input
US8487889B2 (en) * 2010-01-15 2013-07-16 Apple Inc. Virtual drafting tools
WO2011156957A1 (en) * 2010-06-17 2011-12-22 Nokia Corporation Method and apparatus for determining input
US8954890B2 (en) 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273761A1 (en) * 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US20080260252A1 (en) * 2004-09-01 2008-10-23 Hewlett-Packard Development Company, L.P. System, Method, and Apparatus for Continuous Character Recognition
CN101620511A (zh) * 2008-07-01 2010-01-06 索尼株式会社 信息处理设备和用于显示辅助信息的方法
US20100153890A1 (en) * 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
CN102253709A (zh) * 2010-05-19 2011-11-23 禾瑞亚科技股份有限公司 手势判断的方法与装置
CN102541603A (zh) * 2011-12-28 2012-07-04 华为终端有限公司 一种应用程序启动方法、系统及终端设备

Also Published As

Publication number Publication date
US8935638B2 (en) 2015-01-13
WO2014058597A1 (en) 2014-04-17
US20140108976A1 (en) 2014-04-17
EP2888654A1 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
CN104704462A (zh) 非文本用户输入
US10409418B2 (en) Electronic device operating according to pressure state of touch input and method thereof
CN105824559B (zh) 一种误触识别及处理方法和电子设备
EP2359224B1 (en) Generating gestures tailored to a hand resting on a surface
EP3232315B1 (en) Device and method for providing a user interface
EP2252926B1 (en) Interpreting ambiguous inputs on a touch-screen
US8171431B2 (en) Handle flags
US20090243998A1 (en) Apparatus, method and computer program product for providing an input gesture indicator
US20090289902A1 (en) Proximity sensor device and method with subregion based swipethrough data entry
US20150153897A1 (en) User interface adaptation from an input source identifier change
US20130002562A1 (en) Virtual keyboard layouts
US20150160779A1 (en) Controlling interactions based on touch screen contact area
KR101756579B1 (ko) 베젤 에지에서의 터치를 검출하기 위한 방법, 전자 디바이스 및 컴퓨터 판독 가능 저장 매체
US20120047454A1 (en) Dynamic Soft Input
US20150160794A1 (en) Resolving ambiguous touches to a touch screen interface
CN107391014A (zh) 具有手指鉴别的智能触摸屏键盘
US8542207B1 (en) Pencil eraser gesture and gesture recognition method for touch-enabled user interfaces
CN104641337A (zh) 显示图形键盘
US20180136832A1 (en) Circular user interface
US20140267089A1 (en) Geometric Shape Generation using Multi-Stage Gesture Recognition
KR20140104822A (ko) 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
US20240004532A1 (en) Interactions between an input device and an electronic device
US20240184441A1 (en) Systems and Methods for Providing Continuous-Path and Delete Key Gestures at a Touch-Sensitive Keyboard
US20140368444A1 (en) Disambiguation of indirect input
US11507181B2 (en) Input apparatus having virtual keys set on reference plane

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150610