CN108701138B - 确定与文本相关联的图形元素 - Google Patents

确定与文本相关联的图形元素 Download PDF

Info

Publication number
CN108701138B
CN108701138B CN201680081869.0A CN201680081869A CN108701138B CN 108701138 B CN108701138 B CN 108701138B CN 201680081869 A CN201680081869 A CN 201680081869A CN 108701138 B CN108701138 B CN 108701138B
Authority
CN
China
Prior art keywords
computing device
graphical
determining
keyboard
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680081869.0A
Other languages
English (en)
Other versions
CN108701138A (zh
Inventor
J.纳格尔
A.格林伯格
C.P.查萨古阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108701138A publication Critical patent/CN108701138A/zh
Application granted granted Critical
Publication of CN108701138B publication Critical patent/CN108701138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G06F16/90328—Query formulation using system suggestions using search space presentation or visualization, e.g. category or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种计算设备，其包括至少一个处理器和包括指令的存储器，该指令在运行时使得该至少一个处理器：输出包括多个按键的图形键盘以用于显示，基于从多个按键中选择一个或多个按键的指示来确定输入，基于输入文本来确定与输入文本相关联的信息类别，基于信息类别来确定与信息类别相关联的图形符号，以及在图形键盘的建议区域中输出图形符号以用于显示。

Description

确定与文本相关联的图形元素
背景技术
尽管能够同时运行多个应用，但是一些移动计算设备仅在给定时间呈现单个应用的图形用户界面(graphical user interface，GUI)。因此，为了与多个应用交互，移动计算设备的用户可能必须在多个应用GUI之间切换。例如，可能需要移动计算设备的用户在消息应用中编写消息的同时停止输入文本，提供使设备切换到搜索应用的输入，然后指示设备运行搜索用户期望作为消息的一部分参考或使用的特定信息。
发明内容
在一个示例中，一种方法包括：由计算设备输出包括多个按键的图形键盘以用于显示，并且由计算设备基于从多个按键中选择一个或多个按键的指示来确定输入文本。该方法还可以包括：由计算设备并基于输入文本来确定与输入文本相关联的信息类别，由计算设备并基于信息类别来确定与信息类别相关联的图形符号，以及由计算设备在图形键盘的建议区域中输出图形符号以用于显示。
在另一示例中，一种计算设备包括：存在敏感显示组件；至少一个处理器；和存储指令的存储器，该指令在运行时使得至少一个处理器：输出包括多个按键的图形键盘以在存在敏感显示组件处显示，并基于从在存在敏感显示组件处检测到的多个按键中选择一个或多个按键的指示来确定输入文本。该指令还可以使得至少一个处理器：基于输入文本来确定与输入文本相关联的信息的类别，基于信息类别来确定与信息类别相关联的图形符号，以及在图形键盘的建议区域中输出图形符号以在存在敏感显示组件处显示。
在另一示例中，一种非暂时性计算机可读存储介质包括指令，该指令在运行时使得计算设备的至少一个处理器：输出包括多个按键的图形键盘以用于显示，并基于从多个按键中选择一个或多个按键的指示来确定输入文本。该指令还可以使得至少一个处理器：基于输入文本来确定与输入文本相关联的信息的类别，基于信息类别来确定与信息类别相关联的图形符号，以及在图形键盘的建议区域中输出图形符号以用于显示。
在附图和以下描述中阐述了一个或多个示例的细节。根据说明书和附图以及根据权利要求，本公开的其他特征、目的和优点将是显而易见的。
附图说明
图1是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的概念图。
图2是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的框图。
图3是示出根据本公开的一个或多个方面的输出图形内容以在远程设备处显示的示例计算设备的框图。
图4和图5是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。
图6是示出根据本公开的一个或多个方面的示例映射表的概念图。
图7是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的计算设备的示例操作的流程图。
具体实施方式
通常，本公开针对用于使计算设备能够自动确定与正在用图形键盘输入的文本相关联的图形元素并在图形键盘内显示建议内容的技术。在各种示例中，用户可以通过用计算设备的键盘模块选择图形键盘的字符来输入文本串，该计算设备的键盘模块分析字符串以识别与文本相关联的一个或多个图形元素。图形元素可以包括图标或其他图形元素，其可以表示文本串的至少一部分或基于文本串确定的建议查询。例如，如果用户输入文本串“餐馆”，则在计算设备处运行的键盘模块可以映射或以其他方式确定与描绘餐具(诸如叉子和刀子)的图形元素相关联的文本“餐馆”。作为另一示例，键盘模块可以确定文本串“你的航班是什么时间？”与描绘飞机的图形元素相关联。
响应于识别一个或多个图形元素，键盘模块可以发送信号，该信号被配置为使得显示设备(诸如计算设备的显示设备)在当前显示在显示设备处的图形键盘的建议区域中输出所识别的图形元素中的至少一个。在一些示例中，键盘模块还可以在图形键盘的建议区域内包括由用户输入的文本串的指示、由键盘模块确定的建议查询或文本输入建议。例如，键盘模块可以使得显示设备将图形元素放置在图形键盘的建议区域内，使得图形元素与输入文本串、建议查询或文本输入建议相邻。
以这种方式，本公开的技术可以在视觉上指示与输入文本相关联的信息的类型，这可以帮助用户区分与输入文本相关联的内容的类型或者区分搜索结果的类型(诸如响应于建议查询的内容)，例如如果用户选择建议查询则用户可以接收到的搜索结果。通过在视觉上指示内容的类型，用户可以更容易地确定输入文本、建议查询或文本输入建议是否与用户试图传送的信息的类型适当地相关，则从而减少了无意的用户输入、简化了用户体验并有可能减少计算设备的功耗率。
贯穿本公开，描述了示例：其中，计算设备和/或计算系统分析与计算设备和计算设备的用户相关联的信息(例如，上下文、位置、速度、搜索查询等)，但仅在计算设备首先接收了来自计算设备的用户的许可以分析信息的情况下。例如，在下面讨论的情况下，在计算设备或计算系统可以收集或可以利用与用户相关联的信息之前，可以向用户提供机会，以提供输入来控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息(例如，关于用户的当前位置、当前速度等的信息)，或者指示设备和/或系统是否和/或如何接收可能与用户相关的内容。另外，在由计算设备和/或计算系统存储或使用某些数据之前，可以以一种或多种方式处理这些数据，从而移除个人可识别信息。例如，可以处理用户的身份，使得不能确定关于用户的个人可识别信息，或者可以概括获得位置信息的用户的地理位置(例如，城市、ZIP(邮编)或国家级别)，使得无法确定特定的用户位置。因此，用户可以控制如何收集关于用户的信息以及由计算设备和计算系统如何使用该信息。
图1是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备110的概念图。计算设备110可以表示移动设备，诸如智能电话、平板计算机、膝上型计算机、计算机化手表、计算机化护目镜、计算机化手套或任何其他类型的便携式计算设备。计算设备110的附加示例包括台式计算机、电视、个人数字助理(personaldigital assistant，PDA)、便携式游戏系统、媒体播放器、电子书阅读器、移动电视平台、车辆导航和娱乐系统、交通工具(例如，车辆、飞机或其他交通工具)驾驶舱显示器，或者可以输出图形键盘以用于显示的任何其他类型的可穿戴和不可穿戴、移动或非移动的计算设备。
计算设备110包括存在敏感显示器(presence-sensitive display，PSD)112、用户界面(user interface、UI)模块120和键盘模块122和键盘模块122。模块120、122和124可以使用驻留在和/或运行在计算设备110处的软件、硬件、固件、或者硬件、软件和固件的混合物来执行所描述的操作。计算设备110的一个或多个处理器可以运行存储在计算设备110的存储器或其他非暂时性存储介质处的指令，以执行模块120和122的操作。计算设备110可以将模块120、122和124作为运行在底层硬件上的虚拟机来运行。模块120、122和124可以作为操作系统或计算平台的一个或多个服务来运行。模块120、122和124可以作为在计算平台的应用层处的一个或多个可运行程序来运行。
计算设备110的PSD 112可以用作计算设备110的各个输入和/或输出设备。可以使用各种技术来实现PSD 112。例如，PSD 112可以用作使用存在敏感输入屏幕(诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容式触摸屏、压敏屏幕、声学脉冲识别触摸屏或其他存在敏感显示技术)的输入设备。PSD 112还可以用作使用任意一个或多个显示设备(诸如液晶显示器(liquid crystal display，LCD)、点阵显示器、发光二极管(lightemitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器、电子墨水、或者类似的能够向计算设备110的用户输出视觉信息的单色或彩色显示器)的输出(例如，显示)设备。
PSD 112可以检测来自各个计算设备110的用户的输入(例如，触摸和非触摸输入)。PSD 112可以通过检测来自用户的一个或多个手势(例如，用户在PSD 112的一个或多个位置处或附近用手指或手写笔触摸、定点和/或滑动)来检测输入的指示。PSD 112可以以用户界面(例如，用户界面114)的形式向用户输出信息，其可以与由计算设备110提供的功能相关联。这样的用户界面可以与在计算设备110处运行或可从计算设备110访问的计算平台、操作系统、应用和/或服务(例如，电子消息应用、聊天应用、互联网浏览器应用、移动或桌面操作系统、社交媒体应用、电子游戏和其他类型的应用)相关联。例如，PSD 112可以呈现用户界面114，如图1所示，用户界面114是在计算设备110处运行的聊天应用的图形用户界面，并且包括显示在PSD 112的各种位置处的各种图形元素。
尽管被示出为聊天用户界面，但是用户界面114可以是包括具有集成搜索特征的图形键盘的任意图形用户界面。用户界面114包括输出区域116A、图形键盘116B和编辑区域116C。计算设备110的用户可以在图形键盘116B处提供输入，以在编辑区域116C内产生文本字符，其形成在输出区域116A内显示的电子消息的内容。来自计算设备110的用户与不同计算设备的用户之间的聊天对话的消息显示在输出区域116A内。
UI模块120管理用户与PSD 112和计算设备110的其他组件的交互。换句话说，UI模块120可以充当计算设备110的各种组件之间的中介，以基于由PSD 112检测到的用户输入作出确定，并响应于用户输入在PSD 112处生成输出。UI模块120可以接收来自计算设备110的应用、服务、平台或其他模块的指令，以使得PSD 112输出用户界面(例如，用户界面114)。UI模块120可以在用户观看和与在PSD 112处呈现的用户界面交互时管理由计算设备110接收的输入，并响应于从处理用户输入的计算设备110的应用、服务、平台或其他模块接收到附加的指令来更新用户界面。
键盘模块122表示在计算设备110处运行或可访问计算设备110的应用、服务或组件，其提供有具有集成搜索特征的图形键盘的计算设备110。键盘模块122可以在文本输入模式(其中键盘模块122用作类似于传统的图形键盘)下操作或者在搜索模式(其中键盘模块122执行各种集成搜索功能)下操作之间切换。
在一些示例中，键盘模块122可以是在计算设备110处运行的独立的应用、服务或模块，而在其他示例中，键盘模块122可以是其子组件。例如，键盘模块122可以集成到在计算设备110处运行的聊天或消息传递应用中，然而在其他示例中，键盘模块122可以是每当应用或操作平台需要图形键盘输入功能时、由计算设备110的应用或操作平台调用的独立应用或子例程。在一些示例中，计算设备110可以从服务提供商的应用库(例如，经由互联网)下载并安装键盘模块122。在其他示例中，键盘模块122可以在计算设备110的生产期间被预加载。
键盘模块122的功能还可以至少部分地在远程计算系统(例如，远程定位的服务器、基于云的计算系统等)上实施，远程计算系统可通信地和/或可操作地耦合到计算设备110。例如。键盘模块122可以向远程计算系统发送请求消息，请求远程计算系统执行被描述为由键盘模块122执行的某些功能，并且可以从远程计算系统接收包括由远程计算系统在执行所请求的功能时生成的结果的响应消息。作为一个示例，键盘模块122可以至少向远程计算系统发送消息150的指示，并且请求远程计算系统确定与消息150相关联的信息类别或图形元素，以及响应于请求来接收与消息150相关联的信息类别或图形元素的指示。
当在文本输入模式下时，计算设备110的键盘模块122可以执行用于文本输入的传统的图形键盘操作，诸如：生成图形键盘布局以在PSD 112处显示，将在PSD 112处检测到的输入映射到对图形按键的选择，基于所选择的按键确来定字符，以及基于从所选择的按键中确定的字符来预测或自动校正单词和/或短语。
图形键盘116B包括显示为图形按键118A的图形元素。键盘模块122可以向UI模块120输出指定用户界面114内的图形键盘116B的布局的信息。例如，信息可以包括指定图形按键118A的位置、大小、颜色和其他特征的指令。基于从键盘模块122接收的信息，UI模块120可以使得PSD 112将图形键盘116B显示为用户界面114的一部分。
图形按键118A的每个按键可以与按键内显示的各个字符(例如，字母、数字、标点或其他字符)相关联。计算设备110的用户可以在PSD 112的位置处提供输入，在PSD 112的位置处显示图形按键118A中的一个或多个以将内容(例如，字符、搜索结果等)输入到编辑区域116C中(例如，用于编写在输出区域116A内发送和显示的消息，或者用于输入计算设备110从图形键盘116B内运行的搜索查询)。键盘模块122可以从UI模块120接收指示与由PSD112检测到的输入相关联的位置的信息，该位置相对于每个图形按键的位置。使用空间和/或语言模型、键盘模块122可以将输入转化为对按键的选择以及字符、单词和/或短语。
例如，当计算设备110的用户在PSD 112呈现图形按键118A的PSD 112位置处或附近提供用户输入时，PSD 112可以检测到用户输入的指示。UI模块120可以从PSD 112接收用户在PSD 112处输入的指示，并且向键盘模块122输出关于用户输入的信息。关于用户输入的信息可以包括由PSD 112检测到的一个或多个触摸事件的指示(例如，位置和关于输入的其他信息)。
基于从UI模块120接收到的信息，键盘模块122可以将在PSD 112处检测到的输入映射到对图形按键118A的选择，基于所选择的按键118A来确定字符，以及预测或自动纠正基于与所选择的按键118A相关联的字符而确定的单词和/或短语。例如，键盘模块122可以包括空间模型，该空间模型可以基于按键118A的位置和关于输入的信息来确定最有可能被选择的一个或多个按键118A。响应于确定最有可能被选择的一个或多个按键118A，键盘模块122可以确定一个或多个字符、单词和/或短语。例如，从在PSD 112处的用户输入中选择的一个或多个按键118A中的每一个可以表示单个字符或键盘操作。键盘模块122可以确定基于一个或多个所选择的按键118A而选择的字符序列。在一些示例中，键盘模块122可以将语言模型应用于字符序列，以基于对按键118A的选择来确定用户尝试输入的一个或多个最有可能的候选字母、词素、单词和/或短语。
键盘模块122可以将字符序列和/或候选单词及短语发送到UI模块120，并且UI模块120可以使得PSD 112将根据对一个或多个按键118A的选择而确定的字符和/或候选单词呈现为编辑区域116C内的文本。在一些示例中，当用作执行文本输入操作的传统键盘时，并且响应于在图形按键118A处接收到用户输入(例如，当用户在图形键盘116B处键入以在编辑区域116C内输入文本时)，键盘模块122可以使得UI模块120在建议区域118B内将候选单词和/或短语显示为一个或多个可选拼写校正和/或可选单词或短语的建议。
除了执行用于文本输入的传统的图形键盘操作之外，计算设备110的键盘模块122还提供集成搜索能力。也就是说，不是要求计算设备110的用户导航离开(例如，向在计算设备110处运行或可从计算设备110访问的不同应用或服务)提供图形键盘116B的用户界面114，而是键盘模块122可以在其中键盘模块122可以运行搜索操作的搜索模式下操作，并在显示图形键盘116B的PSD 112的相同区域内呈现搜索结果。
如上所指示的，键盘模块122可以作为在计算设备110处运行的独立应用、服务或模块来运行，或者作为其单个集成子组件来运行。因此，如果键盘模块122形成在计算设备110处运行的聊天或消息传递应用的一部分，则键盘模块122可以向聊天或消息传递应用提供文本输入能力以及搜索能力。类似地，如果键盘模块122是每当应用或操作平台需要图形键盘输入功能时、由计算设备110的应用或操作平台调用的独立应用或子例程，则键盘模块122可以向调用应用或操作平台提供文本输入能力和搜索能力。
键盘模块122还可以在搜索模式下运行。在一些示例中，键盘模块122可以使得图形键盘116B包括搜索元素118C。搜索元素118C表示图形键盘116B的可选元素，用于调用图形键盘116B的各种搜索特征中的一个或多个。通过选择搜索元素118C(例如，通过在显示搜索元素118C的PSD 112的位置处或区域内轻敲或作手势)，用户可以使得计算设备110调用各种集成搜索特征，而无需导航到在计算设备110处运行或可从计算设备110访问的单独的应用、服务或其他特征。
例如，UI模块120可以向键盘模块122输出指示计算设备110的用户可能已经选择了可选元素118C的信息。响应于确定选择了元素118C，键盘模块122可以转换到在搜索模式下操作。当在搜索模式下操作时，键盘模块122可以重新配置图形键盘116B以运行搜索特征，而不是运行主要归因于文本输入的操作。
例如，键盘模块122可以将建议区域118B配置为将建议内容呈现为搜索元素118C内的可选元素(例如，预测的搜索查询、预测的表情符号或所谓的“emoji”或者其他建议的内容)，而不是键盘模块122根据语言模型、词典或字典导出的预测的字符、单词或短语或其他主要语言信息。换句话说，计算设备110可以在建议区域118B内包括计算设备110确定的建议的搜索相关内容，可以帮助用户提供与电子通信相关的输入，而不是根据建议区域118B内的字典来提供拼写或单词建议。
在各种示例中，用户使用计算设备110来输入文本(例如，到由计算设备100显示的搜索字段中，作为消息传递环境的一部分，以便发起对信息的搜索等)，并且计算设备110的键盘模块122可以将与输入文本相关联的信息类别映射到一个或多个图形元素。例如，键盘模块122可以动态分析输入文本以识别预定的单词、短语等。基于所识别的单词和/或短语，键盘模块122可以确定与所识别的单词和/或短语相关联的一个或多个信息类别，并且将所确定的信息类别映射到一个或多个图形元素。这些图形元素，当与计算设备110上的建议内容相关联地显示时，则可以帮助用户区分用户可以接收的内容的类型(例如，如果用户选择建议的内容)。
键盘模块122可以分析消息150，并确定其包括单词“晚餐”。在各种实例中，单词“晚餐”可以与“餐馆”信息类别相关联。也就是说，当计算设备110的用户正在键入诸如“今晚晚餐？”的文本消息时，键盘模块122可以自动识别单词“晚餐”并将“晚餐”映射到类别“餐馆”。反过来，“餐馆”信息类别可以映射到描绘刀叉的图形元素。刀叉图形元素是可与各种信息类别相关联的图像学符号的一个示例。下面参考图5描述其他示例图像学符号。通常，任何图像学符号或其他图形元素可以与每个信息类别相关联。
在一些示例中，键盘模块122还可以基于输入文本动态地生成建议查询。如图1所示，键盘模块122分析文本“今晚晚餐？”并生成建议查询“餐馆”。不是或除了确定输入文本的信息类别并使用输入文本的信息类别来确定与输入文本相关联的图形元素之外，键盘模块122可以确定建议查询的信息类别并确定与建议查询的信息类别相关联的图形元素。在图1的示例中，建议查询是术语“餐馆”，其恰好对应于与输入文本相同的信息类别(餐馆)。然而，在其他示例中，建议查询可以与不同于输入文本的信息类别相关联。在任何情况下，键盘模块122使得建议查询154和相关联的图形元素152被包括在图形键盘116B的建议区域118B内。
在没有图形元素的情况下，建议区域118B内的文本可能不提供与文本或电子链接相关联的信息的类型的直接指示。例如，诸如“野马”的单词可以与马的类型相关联，或者例如与体育队的吉祥物或昵称等相关联。如果建议区域118B只包括单词“野马”，什么信息与该链接或文本相关联对于用户可能不会是显而易见的。然而，如果除了文本本身之外，除了文本“野马”之外的表示“体育”的图形符号被包括在建议区域118B内，则用户可以快速地确定该链接是否具有与用户感兴趣的信息的类型的关联，而不必需要打开链接以进一步确定信息的性质。当用户尝试快速查看在计算设备110的建议内容部分中提供的信息以看看建议内容是否对应于用户正在寻找的信息的类型时，添加的特征可以节省时间和挫败。
通过包括与输入文本和/或建议查询相关联的图形元素，本公开的技术可以提供一种机制，通过该机制，计算设备110的用户可以快速确定与输入文本或建议查询相关联的信息的类型。以这种方式，用户可以快速辨别建议区域118B中提供的文本与哪个信息的类型相关联，而不必读取和理解文本本身或选择在建议区域118B内显示的文本。以这种方式，本发明的技术可以使得计算设备110能够提供具有集成搜索特征的图形键盘，其包括映射到其他内容的图形符号，诸如映射到其他内容的文本和电子链接，其向用户指示与由计算设备110提供作为建议内容的文本或电子链接相关联的一般性质或类别。
图2是示出为根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的计算设备210的框图。下面描述图2的计算设备210作为图1的计算设备110的示例。图2仅示出了计算设备210的一个特定示例，并且计算设备210的许多其他示例可以在其他实例中使用，并且可以包括示例计算设备210中包括的组件的子集，或者可以包括图2中未示出的附加组件。
如图2的示例中所示，计算设备210包括PSD 212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246以及一个或多个存储组件248。存在敏感显示器212包括显示组件202和存在敏感输入组件204。通信信道250可以互连组件212、240、242、244、246和248中的每一个以用于组件间通信(物理地、通信地和/或可操作地)。在一些示例中，通信信道250可以包括系统总线、网络连接、进程间通信数据结构或用于传达数据的任何其他方法。
计算设备210的一个或多个通信单元242可以通过在一个或多个网络发送和/或接收网络信号，经由一个或多个有线和/或无线网络与外部设备进行通信。通信单元242的示例包括网络接口卡(例如，诸如以太网卡)、光学收发器、射频收发器、GPS接收器或可以发送和/或接收信息的任何其他类型的设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电以及通用串行总线(universal serial bus，USB)控制器。
计算设备210的一个或多个输入组件244可以接收输入。输入的示例是触觉、音频和视频输入。在一个示例中，计算设备210的输入组件242包括存在敏感输入设备(例如，触敏屏幕、PSD)、鼠标、键盘、语音响应系统、摄像机、麦克风或任何其他类型的设备，以用于检测来自人或机器的输入。在一些示例中，输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(GPS组件、Wi-Fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个运动传感器(例如，加速度计、陀螺仪)、一个或多个压力传感器(例如，气压计)、一个或多个背景光传感器以及一个或多个其他传感器(例如，麦克风、相机、红外接近传感器、湿度计等)。其他传感器可以包括心率传感器、磁力计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、步进计数器传感器，仅列举几个其他非限制性示例。
计算设备210的一个或多个输出组件246可以生成输出。输出的示例是触觉、音频和视频输出。在一个示例中，计算设备210的输出组件246包括PSD、声卡、视频图形适配器卡、扬声器、阴极射线管(cathode ray tube，CRT)监视器、液晶显示器(LCD)或用于向人或机器生成输出的任何其他类型的设备。
计算设备210的PSD 212类似于计算设备110的PSD 112，并且包括显示组件202和存在敏感输入组件204。显示组件202可以是由PSD 212显示信息的屏幕，并且存在敏感输入组件204可以在显示组件202处和/或附近检测到对象。作为一个示例范围，存在敏感输入组件204可以检测到诸如在显示组件202的两英寸更小范围内手指或指示笔的对象。存在敏感输入组件204可以确定检测到对象的显示组件202的位置(例如，[x，y]坐标)。在另一示例范围中，存在敏感输入组件204可以在离显示组件202六英寸或更小范围检测到的对象，并且其他范围也是可能的。存在敏感输入组件204可以使用电容、电感和/或光学识别技术来确定由用户的手指选择的显示组件202的位置。在一些示例中，存在敏感输入组件204还使用如针对显示组件202所描述的触觉、音频或视频刺激向用户提供输出。在图2的示例中，PSD212可以呈现用户界面(诸如图1的图形用户界面114)。
虽然示出为计算设备210的内部组件，但是PSD 212还可以表示与用于发送和/或接收输入和输出的计算设备210共享数据路径的外部组件。例如，在一个示例中，PSD 212表示位于计算设备210的外部封装内并且物理连接到计算设备210的外部封装的计算设备210的内置组件(例如，移动电话上的屏幕)。在另一示例中，PSD 212表示位于计算设备210的封装或外壳的外部并且与计算设备210的封装或外壳物理分离的计算设备210的外部组件(例如，与计算设备210共享有线和/或无线数据路径的监视器、投影仪等)。
计算设备210的PSD 212可以检测二维和/或三维手势作为来自计算设备210的用户的输入。例如，PSD 212的传感器可以在PSD 212的传感器的阈值距离内检测到用户的运动(例如，移动手、手臂、笔、指示笔等)。PSD212可以确定运动的二维或三维矢量表示，并将矢量表示与具有多个维度的手势输入(例如，挥手、捏、拍手、笔划动等)相关联。换句话说，PSD 212可以检测多维手势，而不需要用户在输出信息以用于显示的PSD 212的屏幕或表面处或附近作出手势。相反，PSD 212可以检测到在传感器处或附近执行的多维手势，传感器可以或可以不位于输出信息以用于显示的PSD 212的屏幕或表面处或附近。
一个或多个处理器240可以实施功能和/或运行与计算设备210相关联的指令。处理器240的示例包括应用处理器，显示控制器，辅助处理器，一个或多个传感器集线器，以及被配置为用作处理器、处理单元或处理设备的任何其他硬件。模块220、222、224、226、228和230可以由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索和运行由存储组件248存储的指令，该指令使得处理器240执行模块220、222、224、226、228和230的操作。指令在由处理器240运行时可以使得计算设备210在存储组件248内存储信息。
计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间处理的信息(例如，计算设备210可以在计算设备210处存储运行期间由模块220、222、224、226、228和230以及模型232访问的数据)。在一些示例中，存储组件248是临时存储器，意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以被配置为易失性存储器以用于信息的短期存储，因此如果断电则不保留存储的内容。易失性存储器的示例包括随机存取存储器(random access memory，RAM)、动态随机存取存储器(dynamic random access memory，DRAM)、静态随机存取存储器(static random accessmemory，SRAM)以及本领域中已知的其他形式的易失性存储器。
在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的信息量更大的信息量。存储组件248还可以被配置为非易失性存储空间以用于信息的长期存储，并且在电源开/关循环之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或者电可编程存储器(electricallyprogrammable memory，EPROM)或电可擦除和可编程(electrically erasable andprogrammable memory，EEPROM)存储器的形式。存储组件248可以存储与模型232以及模块220、222、224、226、228和230相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括存储器，其被配置为存储与模块220、222、224、226、228和230，映射数据232，以及本地模型234A和全局模型234B(统称为“模型234”)相关联的数据或其他信息。
计算设备210的存储组件248包括UI模块220、键盘模块222、一个或多个应用模块224、映射数据232和模型234。UI模块220可以包括图1的计算设备110的UI模块120的所有功能，并且可以执行与用于管理用户界面(例如，用户界面114)的UI模块120类似的操作，计算设备210在存在敏感显示器212处提供用户界面以用于处理来自用户的输入。例如，计算设备210的UI模块220可以向键盘模块222查询键盘布局(例如，英语QWERTY键盘等)。UI模块220可以通过通信信道250将对键盘布局的请求发送到键盘模块222。键盘模块222可以接收请求并且用与键盘布局相关联的数据来回复UI模块220。UI模块220可以通过通信信道250接收键盘布局数据并使用数据来生成用户界面。UI模块220可以通过通信信道250发送显示命令和数据，以使得PSD 212在PSD 212处呈现用户界面。
在一些示例中，UI模块220可以接收在PSD 212处检测到的一个或多个用户输入的指示，并且可以向键盘模块222输出关于用户输入的信息。例如，PSD 212可以检测用户输入并将关于用户输入的数据发送到UI模块220。UI模块220可以基于检测到的输入来生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，诸如用户输入的位置成分(例如，[x，y]坐标)、时间成分(例如，当接收到用户输入时)、力成分(例如，由用户输入施加的压力量)或关于用户输入的其他数据(例如，速度、加速度、方向、密度等)。
基于根据用户输入而生成的触摸事件的位置信息，UI模块220可以确定检测到的用户输入与图形键盘相关联。UI模块220可以将一个或多个触摸事件的指示发送到键盘模块222以进一步解释。键盘模块22可以基于从UI模块220接收的触摸事件来确定检测到的用户输入表示对图形键盘的一个或多个按键的初始选择。
应用模块224表示在计算设备210处运行和可从计算设备210访问的所有的各种单独的应用和服务，其可以依赖具有集成搜索特征的图形键盘。计算设备210的用户可以与和一个或多个应用模块224相关联的图形用户界面进行交互，以使得计算设备210执行功能。可以存在许多应用模块224的示例，并且包括健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、运输服务应用(例如，公共汽车或火车跟踪应用)、社交媒体应用、游戏应用、电子邮件应用、聊天或消息应用、互联网浏览器应用或者可以在计算设备210处运行的任何和所有其他应用。
键盘模块222可以包括图1的计算设备110的键盘模块122的所有功能，并且可以执行与键盘模块122类似的操作，以用于提供具有集成搜索特征的图形键盘。键盘模块222可以包括各种子模块，诸如分类模块226、映射模块228和搜索模块230，其可以执行键盘模块222的功能。
在一些示例中，键盘模块222可以包括空间模块和/或语言模块，以用于响应于在存在敏感显示器212的各种位置处检测到用户输入、根据由存在敏感显示器212生成的触摸事件来确定单词。例如，空间模块可以接收一个或多个触摸事件作为输入，并输出有可能表示一个或多个触摸事件的字符或字符序列，以及指示一个或多个字符定义触摸事件的可能性或准确度的确定度或空间模型分数。换句话说，空间模型可以将触摸事件推断为对键盘的一个或多个按键的选择，并且可以基于对一个或多个按键的选择来输出字符或字符序列。
当键盘模块222在文本输入模式下操作时，语言模型可以接收字符或字符序列作为输入，并输出一个或多个候选字符、单词或短语，语言模型从词典中识别这些候选字符、单词或短语作为语言模型接收的字符序列的潜在替代，作为给定语言上下文的输入(例如，书面语言中的句子)。键盘模块222可以使得UI模块220在用户界面114的建议区域118呈现候选单词中的一个或多个。
计算设备210的词典可以包括书面语言词汇内的单词列表(例如，字典)。例如，词典可以包括单词的数据库(例如，标准字典中的单词和/或由用户或计算设备210添加到字典的单词)。键盘模块222可以使用语言模型来执行在词典中对字符串的查找，以识别包括字符串的部分或全部字符的一个或多个字母、单词和/或短语。例如，语言模型可以向位于计算设备210的词典(计算设备210的词典包括与输入的字符或字符序列相同的至少一些字符)的一个或多个候选单词分配语言模型概率或相似系数(例如，Jaccard相似系数或其他相似系数)。分配给一个或多个候选单词中的每一个的语言模型概率指示：在接收到由键盘模块222使用语言模型分析的当前字符序列之前和/或之后，候选单词通常被发现位于根据由存在敏感输入组件204检测到的文本输入而生成的单词序列(例如，句子)之后、之前和/或之内的确定度或可能度。响应于确定一个或多个候选单词，键盘模块222可以从词典数据存储260A输出具有最高相似系数的一个或多个候选单词。
在各种实例中，用户可以选择候选单词中的一个，可以开始输入另一单词，或者可以选择标点符号或输入/发送按键。响应于对标点符号的选择或输入或发送按键，分类模块226可以分析输入文本并确定与输入文本相关联的信息类别。例如，分类模块226可以利用模型234来确定输入文本的信息类别。
模型234表示多个“设备上的”(例如，本地存储和运行的)模型，供分类模块226的注释器或文本分析引擎使用，以解析和分析在图形键盘116B处输入的文本，以检测用户是否已经在图形键盘116B处键入了与信息类别相关联的东西。模型234可以接收根据图形键盘116B处的用户输入推断的文本作为输入，并且输出可以与文本输入的部分相关的一个或多个实体或触发短语作为响应。在一些示例中，模型234可以输出与实体或触发短语相关联的分数，作为实体或触发短语与文本输入相关的概率的指示。
通过本地、“设备上”地存储和运行模型234(与“断开设备”等相反，其可以依赖于在远程计算系统中执行远程注释器等传统系统)，计算设备210可以看似接近实时地对输入的文本执行确定信息类别，以避免在图形键盘116B处键入时打断或落后于用户可能正在进行的文本对话。
分类模块226可以响应于计算设备210的位置改变，自动地下载新的本地模型234A。例如，分类模块226可以从通信单元242和/或输入组件224(例如，GPS接收器)中的一个或多个接收关于计算设备210的当前位置的信息。响应于确定当前位置不对应于与本地模型234A相关联的位置，分类模块226可以向远程计算系统查询当前位置的更新的本地模型。在从远程计算系统接收到更新的本地模型234A时，分类模块226用更新的本地模型234A的副本替换先前的本地模型242A。换句话说，在一些示例中，响应于确定计算设备210的当前位置从第一位置到第二位置的改变，分类模块226可以从远程计算系统获得更新的实体模型234A，更新的模型234A与第二位置相关联，并且可以用更新的模型234A来替换初始的本地模型234A。
分类模块226可以使用全局模型234B和本地模型234A两者来解析正在图形键盘116B处输入的文本，以便检测实体和触发短语。例如，分类模块226可以基于根据对图形按键118的选择而推断的文本的至少一部分，从语言模型的词典中确定一个或多个单词。分类模块226可以将一个或多个单词输入到本地模型234A中，以确定一个或多个本地实体(本地模型234A将这些本地实体确定为与一个或多个单词相关)。分类模块226还可以从本地模型234A获得分配给一个或多个本地实体中的每一个的各个分数，其指示实体与一个或多个单词相关的概率。在识别用于确定信息类别的实体时，分类模块226可以将与本地实体相关联的各个分数与阈值进行比较。响应于确定分配给本地实体的分数满足阈值，分类模块226可以将本地实体识别为适合于确定输入文本的信息类别。
分类模块226可以将一个或多个单词输入到全局模型234B中，以确定一个或多个全局实体(全局模型234B将这些全局实体确定为与一个或多个单词相关)。分类模块226还可以从全局模型234B获得分配给一个或多个全局实体中的每一个的各个分数，其指示实体与一个或多个单词相关的概率。在识别用于生成查询的实体时，分类模块226可以将与全局实体相关联的各个分数与阈值进行比较。响应于确定分配给全局实体的分数满足阈值，分类模块226可以将全局实体识别为适合于确定输入文本的信息类别。
分类模块226可以从所识别的全局和本地实体当中选择来自本地和全局模型234的得分最高的一个或多个实体。分类模块226可以从得分最高的实体中选择输入文本的信息类别。
除了识别实体之外，由分类模块226使用的本地和/或全局模型232还可以建议在选择输入文本的信息类别时使用的精选短语。分类模块226可以至少部分地基于实体或包括在实体中的触发短语来确定与实体相关联的精选短语，并且根据精选短语来确定输入文本的信息类别。例如，键盘模块222可以将根据图形键盘116B处的用户输入推断的文本(例如，短语“什么时间开球”)提供到本地和/或全局模型234中，并且响应于本地模型234A将文本识别为包括预定触发的文本，从模型234接收诸如“本地体育队时间表”的一个或多个精选短语作为输出。基于该精选短语，分类模块226可以确定输入文本与体育信息类别相关联。
在一些示例中，分类模块226的注释器还可以依赖计算设备210的当前上下文来确定用于确定输入文本的信息类别的实体和/或精选短语。如本文所使用的，当前上下文在特定时间指定计算设备(诸如计算设备210)和计算设备的用户的物理和/或虚拟环境的特性。此外，术语“上下文信息”用于描述计算设备可以用来定义计算设备和计算设备的用户在特定的时间可能经历的虚拟和/或物理环境特性的任何信息。
上下文信息的示例很多并且可以包括：由计算设备210的传感器(例如，位置传感器、加速度计、陀螺仪、气压计、背景光传感器、接近传感器，麦克风和任何其他传感器)获得的传感器信息，由计算设备210的通信模块发送和接收的通信信息(例如，基于文本的通信、可听通信、视频通信等)，以及与在计算设备210处运行的应用相关联的应用使用信息(例如，与应用相关联的应用数据、互联网搜索历史、文本通信、语音和视频通信、日历信息、社交媒体帖子和相关信息等)。上下文信息的其他示例包括从计算设备210外部的发送设备获得的信号和信息。
分类模块226可以依赖人工智能和机器学习技术，用置信度来确定用户是否正在键入针对特定上下文的特定精选短语。例如，使用关于其他人在各种上下文的聊天对话中键入的内容的一个或多个规则，注释器可以生成用于基于文本输入和特定上下文来推断精选短语的规则。使用这些规则，注释器可以用确定度来预测用户是否在谈论“我附近的餐馆”、“附近的食物”、“在附近剧院播放的电影”、“到某个地方的方向”或其他一些可能与文本输入相关的精选短语。如果确定度(例如，概率)满足阈值，则键盘模块122可以在产生查询时使用精选短语。
分类模块226可以依赖于计算设备210的当前上下文来解决确定实体时的多义性。例如，如果聊天对话的文本包括短语“什么时间开球”，则分类模块226可以从全局模型232B获得安排在那天播放的几个职业橄榄球队的名字。分类模块226可以基于计算设备210的当前位置来推断用户可能将与最接近计算设备210的当前位置的位置相关联的专业团队称为用户所指的专业团队。在这样的示例中，分类模块226可以确定输入文本的信息类别是本地专业体育队的名称。
除了依赖于正在计算设备210处输入的当前消息的文本，分类模块226还可以依赖与由计算设备210发送和/或接收的先前的消息相关联的先前的单词、句子等，以确定输入文本的信息类别。换句话说，分类模块226可以依赖于整个对话的文本(其包括计算设备210已经发送和接收的多个消息)以确定可能与当前对话相关的输入文本的信息类别。
映射模块228可以使用由分类模块226确定的信息类别来查询映射数据232，并且确定与信息类别相关联的图形元素。例如，如果分类模块226确定“体育”是输入文本的信息类别，则映射模块228可以使用术语“体育”来查询映射数据232。在该示例中，映射数据232包括术语“体育”到包括球棒和球的图形元素的映射。作为另一示例，如果分类模块226确定“航班”是输入文本的信息类别，则映射模块228可以使用术语“航班”来查询映射数据232。映射数据232可以包括术语“航班”到包括飞机的图形元素的映射。映射模块228可以向键盘模块222提供映射的图形元素的指示，反过来，键盘模块222又可以使得图形元素包括在图1的图形键盘116B的建议区域118B内。
虽然被描述为包括建议区域118B内的图形元素，但是在一些示例中，键盘模块222可以输出图形键盘116B的搜索区域。搜索区域可以是对建议区域118B的补充或替代。通常，图形键盘116B的搜索区域是图形键盘116B的一部分，其中输出建议的搜索查询。例如，搜索区域可以位于建议区域118B上方和编辑区域116C下方，并且可以包括一个或多个建议查询以及相关联的图形元素。
键盘模块222的搜索模块230可以代表键盘模块222来执行集成搜索功能。也就是说，当被调用时(例如，响应于计算设备210的用户选择用户界面114的可选元素118C而手动调用，或者响应于从文本输入中识别出可搜索实体或触发短语而自动调用)，键盘模块222可以在搜索模式下操作，其中键盘模块222使得计算设备210能够从图形键盘116B内执行搜索功能，诸如预测和显示计算设备210的用户可能发现与聊天对话相关的搜索查询。
如上所述，搜索模块230可以类似于分类模块226如何确定输入文本的信息类别来确定建议查询。例如，搜索模块230可以使用全局模型234B和本地模型234A两者来解析正在图形键盘116B处输入的文本，以便检测可搜索实体和触发短语。例如，搜索模块230可以基于根据对图形按键118的选择而推断的文本的至少一部分，从语言模型的词典中确定一个或多个单词。搜索模块230可以将一个或多个单词输入到本地模型234A中，以确定一个或多个本地搜索实体(本地模型234A将这些本地搜索实体确定为与一个或多个单词相关)。搜索模块230还可以从本地模型234A获得分配给一个或多个本地搜索实体中的每一个的各个分数，其指示搜索实体与一个或多个单词相关的概率。在识别用于生成查询的搜索实体时，搜索模块230可以将与本地搜索实体相关联的各个分数与阈值进行比较。响应于确定分配给本地可搜索实体的分数满足阈值，搜索模块230可以将本地可搜索实体识别为适于生成预测查询。
在一些示例中，分类模块226可以确定预测查询的信息类别。例如，如果搜索模块230生成预测查询“我附近的餐馆”，则分类模块226可以分析短语“我附近的餐馆”并确定该短语的信息类别。在该示例中，分类模块226可以确定与预测查询相关联的信息类别是“餐馆”，并将该信息类别提供给映射模块228。映射模块228可以使用术语“餐馆”来查询映射数据232，并且可以接收刀叉图形元素的指示。键盘模块222可以将刀叉图形元素包括在建议区域118B内并且位于建议查询附近。也就是说，作为键盘模块222确定搜索查询的进一步指示，键盘模块222可以使得UI模块220在查询的文本语言旁边呈现与搜索查询的类别相关联的图标。例如，如图1所示，PSD112在建议区域118B内带下划线的单词餐馆旁边显示刀叉图标。
图3是示出根据本公开的一种或多种技术的输出图形内容以在远程设备上显示的示例计算设备的框图。图形内容通常可以包括可以被输出用于显示的任何视觉信息，仅举几个例子，诸如文本、图像和运动图像组。图3所示的示例包括计算设备310、PSD 312、通信单元342、投影仪380、投影仪屏幕382、移动设备386和视觉显示组件390。在一些示例中，PSD312可以是如图1-图2所述的存在敏感显示器。尽管出于示例的目的在图1和图2中示出为独立计算设备110，但是诸如计算设备310的计算设备通常可以是包括用于运行软件指令的处理器或其他合适的计算环境的任何组件或系统，并且例如不需要包括存在敏感显示器。
如图3的示例所示，计算设备310可以是包括针对图2中的处理器240描述的功能的处理器。在这样的示例中，计算设备310可以通过通信信道362A可操作地耦合到PSD 312，通信信道362A可以是系统总线或其他合适的连接。计算设备310还可以通过通信信道362B可操作地耦合到通信单元342，如下文进一步描述的，通信信道362B也可以是系统总线或其他合适的连接。尽管在图3中作为示例单独示出，但是计算设备310可以通过任意数量的一个或多个通信信道可操作地耦合到PSD 312和通信单元342。
在其他示例中，诸如先前由图1-图2中的计算设备110示出的，计算设备可以指便携式设备或移动设备，诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(PDA)、服务器或大型机。
PSD 312可以包括显示组件302和存在敏感输入组件304。显示组件302可以例如从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感输入组件304可以使用电容、电感和/或光学识别技术来确定在PSD 312处的一个或多个用户输入(例如，连续手势、多点触摸手势、单点触摸手势)，并且使用通信信道362A向计算设备310发送这种用户输入的指示。在一些示例中，存在敏感输入组件304可以物理地放置在显示组件302的顶部，使得当用户将输入单元放置在由显示组件302显示的图形元素上方时，存在敏感输入组件304的位置对应于显示组件302显示图形元素的位置。
如图3所示，计算设备310还可以包括通信单元342和/或与通信单元342可操作地耦合。通信单元342可以包括如图2中所描述的通信单元242的功能。通信单元342的示例可以包括网络接口卡、以太网卡、光学收发器、射频收发器或能够发送和接收信息的任何其他类型的设备。这种通信单元的其他示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。计算设备310还可以包括一个或多个其他设备(例如，输入设备、输出组件、存储器、存储设备)和/或与这些设备可操作地耦合，出于简洁和说明的目的，这些设备没有在图3中示出。
图3还示出了投影仪380和投影仪屏幕382。投影设备的其他这样的例子可以包括电子白板、全息显示组件以及用于显示图形内容的任何其他合适的设备。投影仪380和投影仪屏幕382可以包括一个或多个通信单元，其使得各个设备能够与计算设备310通信。在一些示例中，一个或多个通信单元可以使得投影仪380和投影仪屏幕382之间能够通信。投影仪380可以从计算设备310接收包括图形内容的数据。投影仪380可以响应于接收到数据，将图形内容投影到投影仪屏幕382上。在一些示例中，投影仪380可以使用光学识别或其他合适的技术来确定在投影仪屏幕处的一个或多个用户输入(例如，连续手势、多点触摸手势、单点触摸手势)，并且使用一个或多个通信单元向计算设备310发送这种用户输入的指示。在这样的示例中，投影仪屏幕382可能是不必要的，并且投影仪380可以将图形内容投影在任何合适的介质上，并且使用光学识别或其他这样的合适技术来检测一个或多个用户输入。
在一些示例中，投影仪屏幕382可以包括存在敏感显示器384。存在敏感显示器384可以包括本公开中描述的存在敏感显示器112和/或312的功能的子集或全部功能。在一些示例中，存在敏感显示器384可以包括附加功能。投影仪屏幕382(例如，电子白板)可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感显示器384可以使用电容、电感和/或光学识别技术来确定在投影仪屏幕382处的一个或多个用户输入(例如，连续手势、多点触摸手势、单点触摸手势)，并且使用一个或多个通信单元向计算设备310发送这种用户输入的指示。
图3还示出了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390可以各自包括计算和连接性能力。移动设备386的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备等。视觉显示组件390的示例可以包括其他设备，诸如电视、计算机监视器等。在一些示例中，视觉显示组件390可以是交通工具驾驶舱显示器或导航显示器(例如，在汽车、飞机或一些其他交通工具中)。在一些示例中，视觉显示组件390可以是家庭自动化显示器或与计算设备310分离的一些其他类型的显示器。
如图3所示，移动设备386可以包括存在敏感显示器388。视觉显示组件390可以包括存在敏感显示器392。存在敏感显示器388、392可以包括本公开中描述的存在敏感显示器112、212和/或312的功能的子集或全部功能。在一些示例中，存在敏感显示器388、392可以包括附加功能。在任何情况下，例如，存在敏感显示器392可以从计算设备310接收数据并显示图形内容。在一些示例中，存在敏感显示器392可以使用电容、电感和/或光学识别技术来确定在投影仪屏幕处的一个或多个用户输入(例如，连续手势、多点触摸手势、单点触摸手势)，并且使用一个或多个通信单元向计算设备310发送这种用户输入的指示。
如上所述，在一些示例中，计算设备310可以输出图形内容以在PSD 312处显示，PSD 312通过系统总线或其他合适的通信信道耦合到计算设备310。计算设备310还可以输出图形内容以在一个或多个远程设备上显示，例如投影仪380、投影仪屏幕382、移动设备386和视觉显示组件390。例如，根据本公开的技术，计算设备310可以运行一个或多个指令来生成和/或修改图形内容。计算设备310可以将包括图形内容的数据输出到计算设备310的通信单元，诸如通信单元342。通信单元342可以将数据发送到远程设备中的一个或多个，诸如投影仪380、投影仪屏幕382、移动设备386和/或视觉显示组件390。以这种方式，计算设备310可以输出图形内容以在一个或多个远程设备上显示。在一些示例中，远程设备中的一个或多个可以存在敏感显示器(该存在敏感显示器被在包括在各个远程设备中和/或可操作地耦合到各个远程设备的)处输出图形内容。
在一些示例中，计算设备310可以不在PSD 312(PSD 312可操作地耦合到计算设备310)处输出图形内容。在其他示例中，计算设备310可以输出图形内容以在通过通信信道362A耦合到计算设备310的PSD 312处，以及在一个或多个远程设备处都显示。在这样的示例中，图形内容可以在每个相应设备处基本同时地显示。例如，通过通信延时能引入一些延迟，以将包括图形内容的数据发送到远程设备。在一些示例中，由计算设备310生成的图形内容和用于在PSD 312处显示的输出可以不同于用于在一个或多个远程设备处显示的图形内容显示输出。
计算设备310可以使用任何合适的通信技术来发送和接收数据。例如，计算设备310可以使用网络链接373A可操作地耦合到外部网络374。图3所示的远程设备中的每一个可以通过相应的网络链接373B、373C或373D中的一个可操作地耦合到网络外部网络374。外部网络374可以包括可操作地相互耦合的网络集线器、网络交换机、网络路由器等，从而提供图3所示的计算设备310和远程设备之间的信息交换。在一些示例中，网络链接373A-373D可以是以太网、ATM或其他网络连接。这种连接可以是无线和/或有线连接。
在一些示例中，计算设备310可以使用直接设备通信378可操作地耦合到图3中包括的远程设备中的一个或多个。直接设备通信378可以包括计算设备310通过其使用有线或无线通信直接与远程设备发送和接收数据的通信。也就是说，在直接设备通信378的一些示例中，由计算设备310发送的数据在被远程设备接收之前可能不会被一个或多个附加设备转发，反之亦然。直接设备通信378的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外等。图3所示的远程设备中的一个或多个可以通过通信链接376A-376D与计算设备310可操作地耦合。在一些示例中，通信链接376A-376D可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这种连接可以是无线和/或有线连接。
根据本公开的技术，计算设备310可以使用外部网络374可操作地耦合到视觉显示组件390。计算设备310可以输出图形键盘以在PSD 392处显示。例如，计算设备310可以向通信单元342发送包括图形键盘的表示的数据。通信单元342可以使用外部网络374将包括图形键盘的表示的数据发送到视觉显示组件390。视觉显示组件390可以响应于使用外部网络374接收数据，使得PSD 392输出图形键盘。响应于在PSD 392接收到用户输入以选择键盘的一个或多个按键，视觉显示器设备130可以使用外部网络374向计算设备310发送用户输入的指示。通信单元342可以接收用户输入的指示，并将该指示发送到计算设备310。
计算设备310可以基于用户输入来确定对一个或多个按键的选择。计算设备310可以基于对一个或多个按键的选择来确定一个或多个单词。计算设备310可以至少部分地基于一个或多个单词来识别实体，并且可以基于该实体来确定输入文本的信息类别。计算设备310可以基于信息类别来确定与输入文本相关联的图形元素，并且可以输出用于与输入文本相关联的信息类别的图形元素以在图形键盘内显示。通信单元342可以接收更新的图形用户界面的表示，并且可以将该表示发送到视觉显示组件390，使得视觉显示组件390可以使得PSD 392输出更新的图形键盘，包括指示与输入文本相关联的信息类别的图形元素。
图4和图5是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘示例计算设备的示例图形用户界面的概念图。图4A-图4C分别示出了示例图形用户界面414A-414C(统称为用户界面414)。然而，图形用户界面的许多其他示例可以在其他实例中使用。图形用户界面414中的每一个可以分别对应于由图1和图2的计算设备110或210显示的图形用户界面。下面在计算设备110的上下文中参照图4A-图4C描述各种示例。
如图4所示，图形用户界面414包括输出区域116A、图形键盘116B和编辑区域116C。图形键盘116B包括显示为图形按键118A、建议区域118B和搜索元素118C的图形元素。在图4的示例中，用户(在输出区域116A中被识别为“你”)输入文本150“稍后看电影怎么样？”。在各种示例中，用户通过根据本文所描述的任何技术选择键盘116B的图形按键来输入消息150。在各种示例中，计算设备110接收文本150作为音频(例如，语音)输入，并且计算设备110使用语音识别或本文所描述的其他技术来将音频输入转换成文本150。
键盘模块122分析文本150以确定文本150是否包括可以映射到一个或多个信息类别的任何关键词、短语或单词或短语。键盘模块122可以响应于计算设备110接收到指示文本150的输入完成的输入，发起对文本150的分析。在各种示例中，当计算设备110正在接收文本150时，键盘模块122可以分析文本150。例如，如果用户“你”正在使用键盘116B键入文本150的输入，则键盘模块122可以在接收键盘输入时分析输入，而不是等待文本150完成的某种类型的指示，诸如用户按下键盘116B上的“enter”键。
如上所述，键盘模块122可以通过至少检测文本150是否包括与一个或多个信息类别相关联的任何关键词来分析文本150。在各种示例中，单词“电影”是与一个或多个信息类别相关联的关键词。键盘模块122识别文本150中的关键词“电影”，并将关键词“电影”映射到“电影”信息类别。此外，基于文本150，搜索模块230可以生成预测查询“正在播放的本地电影”。基于文本150到信息类别“电影”的映射和建议查询“正在播放的本地电影”，键盘模块122将图形元素152和建议查询154包括在建议区域118B内。
通过将图形元素152包括在建议区域118B内，用户“你”可能能够更快地确定与建议查询154相关联的信息与电影相关，因此可以通过选择建议查询154来确定是否进一步进行该搜索。以这种方式，通过查看视觉上可识别的图形符号，用户“你”可能能够快速确定建议查询154是否与用户可能感兴趣的链接或信息类别相关联。
图5是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的示例计算设备的示例图形用户界面的示例概念图。如图5所示，图形用户界面514中，用户输入了文本160“我们上路吧！”，其显示在文本编辑区域116A内，但尚未选择返回/发送按钮以使得文本160被发送给朋友并显示在输出区域116A内。在该示例中，键盘模块122被配置为在用户提供消息160的输入时和/或者响应于确定用户已经输入标点符号来分析文本160。在任一情况下，键盘模块122分析文本160并确定至少两个不同的信息类别可以与文本160相关联。例如，键盘模块122可以确定短语“让我们上路吧”通常可以与旅行相关联，更具体地，可以与各种不同类型的旅行相关联，包括汽车、火车和飞机。基于计算设备110的用户的先前旅行安排，键盘模块122可以确定用户通常使用汽车或飞机旅行，并且将航空旅行和汽车旅行的信息类别排列得高于铁路旅行。响应于确定这些信息类别，键盘模块122可以将“汽车”和“飞机”信息类别分别映射到汽车和飞机图形元素。键盘模块122可以将汽车和飞机图形元素包括为建议区域118B内的元素162和166。
在一些示例中，键盘模块122还可以基于文本160来生成建议查询。例如，键盘模块122可以确定计算设备110的当前位置，并确定计算设备110位于机场的阈值距离内。键盘模块122还可以确定计算设备110的用户在旅行时经常租用汽车。至少部分地基于先前的用户行为和计算设备110的当前位置，键盘模块122可以生成建议查询164和168。
代替或除了确定与文本160相关联的信息类别之外，键盘模块122还可以确定与建议查询164和168中的每一个相关联的各个信息类别。例如，键盘模块122可以确定建议查询164与汽车旅行信息类别相关联，并且建议查询168与飞机旅行信息类别相关联。键盘模块122可以将汽车旅行和飞机旅行信息类别分别映射到图形元素162和166，并且可以在建议区域188B内包括图形元素162和166以及建议查询164和168。
图6是示出根据本公开的一个或多个方面的示例映射表600的概念图。在各种示例中，映射表600是图2所示的映射数据232的一个示例。然而，映射表600不限于任何特定的数据结构，也不限于存储在诸如计算设备110、210和310的计算设备内。在各种示例中，映射表600可以存储在计算设备110的外部，其中计算设备110对映射表600是可操作的，以便提供本文所描述的任何功能和特征或其等同物。
本文中使用的术语“类别”不限于任何特定类型的类别或任何特定类型的项目、符号、想法、特征或功能的分组，并且可以包括任何项目、生物、无生命物体、服务、场所、想法、概念、事件、术语的分组，及其被认为适合被指定为“类别”的任何组合。“类别”的非限制性示例可以包括诸如汽车、飞机、高速公路和书籍的物体；诸如城市、机场、图书馆、商场的场所；诸如汽车修理、美发沙龙、比萨递送的服务；包括政府机构和私营公司的组织；以及诸如体育赛事、政治辩论的事件。这些示例并不旨在限制，并且本文所使用的“类别(category)”或“类别(categories)”可以将一个或多个项目的任何分类包括到分组中。在各种示例中，基于新的对象、新的想法，或者当发现或定义不同的规则和标准用于要在“类别”中包括什么的分类和如何定义这样的类别时，可以创建新的类别，并且可以移除、组合和重新定义现有的类别。
如图6所示，映射表600被实施为包括一连串的列480、481、482和483的阵列，每一列穿过一连串的行490。映射表600中包括的行数不限于任何特定行数，并且在各种示例中可以包括附加的行。如图所示，列480、481、482和483中的每一个包括具有标题的标题行492，标题描述了行490内和在特定列下包括的信息。例如，列480包括行492中的标题“类别”，并且列480下的行490中的每一行包括与分配给该特定行的类别相关联的特定类别的名称。举例来说，行490的说明性行493在与类别“住宿”和行493相关联的类别列480中包括单词“住宿”作为名称470。列481包括行492中的标题“图形符号”，列481下的行490中的每一行包括映射到分配给特定行的类别的图形符号。举例来说，行493包括图形符号471作为映射到行493的“住宿”类别的图形符号。在各种示例中，并非行490中的每一行都包括映射到与该行相关联的类别的图形符号。此外，在各种示例中，映射到行490的特定行的图形符号可以被修改、移除或替换为新的或不同的图形符号。
本文所使用的图形符号不限于任一特定类型或任何多个特定类型的图形符号，并且可以是可操作为在计算设备110的输出上显示的任何图形符号。图形符号的示例包括但不限于图标(例如，计算机应用和窗口中经常用来表示计算机功能的图形符号)、政府机构使用的标准化符号(用于高速公路标志和机场的表示各种特征和信息类型的标准化符号)、私营公司或机构使用的符号(诸如汽车工业中用于汽车仪表板和汽车中的无线电/导航/HVAC控制设备的各种符号)、表情符号(表达情感的符号)、表意文字(例如，表示事物或想法的手指指向的图片)、任何类型的标志或者例如表示公司或服务的商标符号。图形符号还可以由流行文化来创建，诸如社交媒体，在社交媒体中，基于图形符号的流行使用会识别图形符号。这些示例是作为图形符号的说明而提供的，并不旨在穷举被认为包括在本文所使用的图形符号的定义中的图形符号的可能类型。
图7是示出根据本公开的一个或多个方面的被配置为呈现具有集成搜索特征的图形键盘的计算设备的示例操作的流程图。图7的操作可以由诸如图1的计算设备110或图2的计算设备210的计算设备的一个或多个处理器来执行。仅出于说明的目的，下面在图1的计算设备110的上下文中描述图7。
在操作中，计算设备110可以输出以用于显示包括多个按键的图形键盘(700)。例如，在计算设备110处运行的聊天应用可以调用键盘模块122(例如，独立于聊天应用的计算设备110的独立应用或功能)以在PSD 112处呈现图形键盘116B和建议区域118B。
计算设备110可以基于从多个按键中选择一个或多个按键的指示来确定输入文本(702)。例如，键盘模块122可以接收关于在PSD 112显示图形键盘116B的图形按键118A的位置处检测到的触摸输入的信息。键盘模块122可以基于该信息来确定文本(例如，“稍后看电影怎么样？”)。
计算机设备110可以基于输入文本来确定输入文本的信息类别(704)。例如，键盘模块122可以使用本地和/或全局模型来识别和排列与输入文本相关联的实体，并且可以从得分最高的实体中选择信息类别。
计算设备110可以基于输入文本的信息类别来确定与信息类别相关联的图形符号(706)。例如，键盘模块122可以运行查询以从映射数据(例如，图2的映射数据232)中检索映射到所确定的信息类别的图形符号的指示。
计算设备110可以在图形键盘的建议区域中输出图形符号以在图形键盘内显示(708)。例如，如果输入文本是短语“想吃点东西吗？”，则键盘模块122可以确定输入文本的信息类别是“餐馆”，并且所映射的图形符号是刀叉图形元素。计算设备110可以在建议区域118B内输出刀叉图形元素以用于显示。
以下编号的条款可以说明本发明的一个或多个方面：
条款1：一种方法，包括：由计算设备输出包括多个按键的图形键盘以用于显示；由计算设备基于从多个按键中选择一个或多个按键的指示来确定输入文本；由计算设备基于输入文本来确定与输入文本相关联的信息类别；由计算设备基于信息类别来确定与信息类别相关联的图形符号；以及由计算设备在图形键盘的建议区域中输出图形符号以用于显示。
条款2：如条款1所述的方法，还包括：由计算设备基于输入文本来确定建议查询；以及由计算设备在建议区域中输出建议查询和图形符号以用于显示。
条款3：如条款1-2中的任一条款所述的方法，还包括：由计算设备基于输入文本来确定建议查询；以及由计算设备在图形键盘的搜索区域中输出建议查询和图形符号以用于显示，搜索区域不同于其中显示用于文本输入的建议单词的图形键盘的建议区域。
条款4：如条款3所述的方法，其中，输出建议查询和图形符号包括由计算设备用搜索区域替换建议区域。
条款5：如条款1-4中的任一条款所述的方法，其中，确定与输入文本相关联的信息类别包括：由计算设备基于输入文本至少一部分和全局模型或本地模型中一个或多个来确定分配给信息类别的分数，该分数指示信息类别与输入文本相关的概率；以及响应于确定分配给信息类别的分数满足阈值，由计算设备识别信息类别。
条款6：如条款1-5中的任一条款所述的方法，其中，确定与信息类别相关联的图形符号包括由计算设备将信息类别映射到图形符号。
条款7：如条款1-6中的任一条款所述的方法，其中，与输入文本相关联的信息类别包括与输入文本相关联的多个信息类别，该方法还包括：由计算设备针对来自多个信息类别的每个信息类别来确定相应信息类别的各个图形符号；以及由计算设备在图形键盘的建议区域内输出的各个图形符号。
条款8：如条款1-7中的任一条款所述的方法，其中，响应于确定输入文本的结束来确定信息类别，该方法还包括：响应于确定对一个或多个按键的选择的最后一个按键对应于发送电子通信的图形键盘的发送键，由计算设备确定输入文本的结束。
条款9：如条款1-8中的任一条款所述的方法，其中，响应于确定输入文本的结束而确定信息类别，该方法还包括：响应于确定对一个或多个按键的选择的最后一个按键对应于与标点符号相关联的标点键，由计算设备确定输入文本的结束。
条款10：一种计算设备，包括：存在敏感显示组件；至少一个处理器；和存储指令的存储器，该指令在运行时使得至少一个处理器：输出包括多个按键的图形键盘以在存在敏感显示组件处显示；基于从在存在敏感显示组件处检测到的多个按键中选择一个或多个按键的指示，确定输入文本；基于输入文本来确定与输入文本相关联的信息类别；基于信息类别来确定与信息类别相关联的图形符号；以及在图形键盘的建议区域中输出图形符号以在存在敏感显示组件处显示。
条款11：如条款10所述的计算设备，其中，指令在运行时还使得至少一个处理器：基于输入文本来确定建议查询；以及在图形键盘的建议区域中输出建议查询和图形符号以由存在敏感显示组件显示。
条款12：如条款10-11中的任一条款所述的计算设备，其中，指令在运行时还使得至少一个处理器：基于输入文本来确定建议查询；以及在图形键盘的建议区域中输出建议查询和图形符号以由存在敏感显示组件显示，搜索区域不同于其中显示用于文本输入的建议单词的图形键盘的建议区域。
条款13：如条款12所述的计算设备，其中，使得至少一个处理器输出建议查询和图形符号的指令包括：在运行时使得至少一个处理器用搜索区域替换建议区域的指令。
条款14：如条款10-13中的任一条款所述的计算设备，其中，使得至少一个处理器确定与输入文本相关联的信息类别的指令包括在运行时使得至少一个处理器执行以下操作的指令：基于输入文本的至少一部分和全局模型或本地模型中的一个或多个，确定分配给信息类别的分数，该分数指示信息类别与输入文本相关的概率；以及响应于确定分配给信息类别的分数满足阈值，识别信息类别。
条款15：如条款10-14中的任一条款所述的计算设备，其中，与输入文本相关联的信息类别包括与输入文本相关联的多个信息类别，并且其中，指令在运行时还使得至少一个处理器：针对来自多个信息类别的每个信息类别，确定相应信息类别的各个图形符号；以及在图形键盘的建议区域内输出各个图形符号以由存在敏感显示组件显示。
条款16：一种包括指令的非暂时性计算机可读存储介质，该指令在运行时使得计算设备的至少一个处理器：输出包括多个按键的图形键盘以用于显示；基于从多个按键中选择一个或多个按键的指示，确定输入文本；基于输入文本来确定与输入文本相关联的信息类别；基于信息类别来确定与信息类别相关联的图形符号；以及在图形键盘的建议区域中输出图形符号以用于显示。
条款17：如条款16所述的计算机可读存储介质，其中，指令在运行时使得计算设备的至少一个处理器：基于输入文本来确定建议查询；以及在图形键盘的建议区域中输出建议查询和图形符号以用于显示。
条款18：如条款16-17中的任一条款所述的计算机可读存储介质，其中，指令在运行时还使得计算设备的至少一个处理器：基于输入文本来确定建议查询；以及在图形键盘的搜索区域中输出建议查询和图形符号以通过存在敏感显示组件显示，搜索区域不同于其中显示用于文本输入的建议单词的图形键盘的建议区域。
条款19：如条款18所述的计算机可读存储介质，其中指令在运行时还使得计算设备的至少一个处理器用搜索区域替换建议区域。
条款20：如条款16-19中的任一条款所述的计算机可读存储介质，其中，指令在运行时还使得计算设备的至少一个处理器：基于输入文本的至少一部分和全局模型或本地模型中的一个或多个，确定分配给信息类别的分数，该分数指示信息类别与输入文本相关的概率；以及响应于确定分配给信息类别的分数满足阈值，识别信息类别。
条款21：一种系统，包括用于执行如条款1-9中所述的方法的任一方法的装置。
条款22：一种计算设备，包括用于执行如条款1-9中所述的方法的任一方法的装置。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任意组合来实施。如果以软件实施，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并由基于硬件的处理单元运行。计算机可读介质可以包括对应于诸如数据存储介质的有形介质的计算机可读存储介质，或者包括便于例如根据通信协议将计算机程序从一个地方传送到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)有形计算机可读存储介质，其为非暂时性的，或者(2)通信介质，诸如信号或载波。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索指令、代码和/或数据结构来实施本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储设备、闪存或可以用于以指令或数据的形式存储期望的程序代码并购且可以由计算机访问的任何其他介质。而且，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术(诸如红外、无线电和微波)从网站、服务器或其他远程资源发送指令，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而相反是针对非瞬态、有形存储介质。所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应该包括在计算机可读介质的范围内。
指令可以由一个或多个处理器运行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，所使用的术语“处理器”可以指任何前述结构或适合于实施所述技术的任何其他结构。此外，在一些方面，所描述的功能可以在专用硬件和/或软件模块内提供。而且，这些技术可以在一个或多个电路或逻辑元件中完全实施。
本公开的技术可以在多种设备或装置中实施，包括无线手机、集成电路(IC)或IC组(例如，芯片组)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能性方面，但不一定需要由不同的硬件单元实现。相反，如上所述，各种单元可以结合适当的软件和/或固件在硬件单元中组合，或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合提供。
已经描述了各种示例。这些和其他示例在上面的权利要求的范围内。

Claims (15)

1.一种用于确定与文本相关联的图形元素的方法，包括：
由计算设备处运行的键盘模块输出包括多个按键和建议区域的图形键盘以用于显示；
由所述键盘模块基于从多个按键中选择一个或多个按键的指示来确定输入文本；
通过至少以下步骤由所述键盘模块并基于输入文本来确定与输入文本相关联的信息类别：
由所述计算设备确定所述计算设备的当前位置；
响应于确定所述当前位置不同于与由所述计算设备存储用于预测与输入文本相关联的信息类别的本地模型相关联的位置，从远程计算系统下载与所述当前位置相关联的不同本地模型用于预测与输入文本相关联的信息类别；
用与所述当前位置相关联的所述不同本地模型替换由所述计算设备存储的所述本地模型；
基于所述输入文本的至少一部分和所述不同本地模型，确定分配给从所述输入文本识别的本地实体或本地实体短语的本地模型分数；和
响应于分配给所述本地实体或所述本地实体短语的所述本地模型分数满足阈值，识别与所述输入文本相关联的所述信息类别；
由所述键盘模块并基于信息类别来确定与信息类别相关联的图形符号；以及
由所述键盘模块在以下至少一个中输出图形符号以用于显示：
所述图形键盘的建议区域，其中显示文本输入的建议单词；或者
所述图形键盘的搜索区域，所述搜索区域不同于其中显示文本输入的建议单词的所述图形键盘的所述建议区域。
2.根据权利要求1所述的方法，还包括：
由所述键盘模块并基于输入文本来确定建议查询；以及
由所述键盘模块在建议区域中输出建议查询和图形符号以用于显示。
3.根据权利要求1所述的方法，还包括：
由所述键盘模块并基于输入文本来确定建议查询；以及
由所述键盘模块在图形键盘的搜索区域中输出建议查询和图形符号以用于显示，所述搜索区域与显示了用于文本输入的建议单词的图形键盘的建议区域不同。
4.根据权利要求3所述的方法，其中，输出建议查询和图形符号包括：由所述键盘模块用搜索区域替换建议区域。
5.根据权利要求1-4中的任意一个所述的方法，其中，确定与输入文本相关联的信息类别包括：
由所述键盘模块基于输入文本的至少一部分以及全局模型来确定分配给从所述输入文本识别的全局实体和全局实体短语，其中响应于确定分配给所述全局实体或全局实体短语的全局模型分数满足所述阈值进一步识别与所述输入文本相关联的所述信息类别。
6.根据权利要求5所述的方法，其中，确定与信息类别相关联的图形符号包括：由所述键盘模块将信息类别映射到图形符号。
7.根据权利要求6所述的方法，其中，与输入文本相关联的信息类别包括与输入文本相关联的多个信息类别，所述方法还包括：
由所述键盘模块针对来自多个信息类别的每个信息类别，确定相应信息类别的各个图形符号；以及
由所述键盘模块在图形键盘的建议区域内输出各个图形符号。
8.根据权利要求7所述的方法，其中，响应于确定输入文本的结束来确定信息类别，所述方法还包括：
由所述键盘模块响应于确定选择一个或多个按键的最后一个按键对应于图形键盘的发送键，确定输入文本的结束，以发送电子通信。
9.根据权利要求7所述的方法，其中，响应于确定输入文本的结束来确定信息类别，所述方法还包括：
由所述键盘模块响应于确定选择一个或多个按键的最后一个按键对应于与标点符号相关联的标点键，确定输入文本的结束。
10.一种用于确定与文本相关联的图形元素的计算设备，包括：
存在敏感显示组件；
至少一个处理器；以及
存储用于键盘模块的指令的存储器，所述指令在运行时使得所述至少一个处理器：
输出包括多个按键和建议区域的图形键盘，以在所述存在敏感显示组件处显示；
基于从在存在敏感显示组件处检测到的多个按键中选择一个或多个按键的指示，确定输入文本；
通过至少以下步骤基于输入文本来确定与输入文本相关联的信息类别：
由所述计算设备确定所述计算设备的当前位置；
响应于确定所述当前位置不同于与由所述计算设备存储用于预测与输入文本相关联的信息类别的本地模型相关联的位置，从远程计算系统下载与所述当前位置相关联的不同本地模型用于预测与输入文本相关联的信息类别；
用与所述当前位置相关联的所述不同本地模型替换由所述计算设备存储的所述本地模型；
基于所述输入文本的至少一部分和所述不同本地模型，确定分配给从所述输入文本识别的本地实体或本地实体短语的本地模型分数；和
响应于分配给所述本地实体或所述本地实体短语的所述本地模型分数满足阈值，识别与所述输入文本相关联的所述信息类别；基于信息类别来确定与信息类别相关联的图形符号；以及在以下至少一个中输出图形符号，以在存在敏感显示组件处显示：
所述图形键盘的建议区域，其中显示文本输入的建议单词；或者
所述图形键盘的搜索区域，所述搜索区域不同于其中显示文本输入的建议单词的所述图形键盘的所述建议区域。
11.根据权利要求10所述的计算设备，其中，所述指令在运行时还使得所述至少一个处理器：
基于输入文本确定建议查询；以及
在所述图形键盘的建议区域中输出所述建议查询和所述图形符号，以用于由所述存在敏感显示组件显示。
12.根据权利要求10所述的计算设备，其中，所述指令在运行时还使得所述至少一个处理器：
基于输入文本确定建议查询；以及
在图形键盘的搜索区域中输出建议查询和图形符号，以用于通过存在敏感显示组件显示。
13.根据权利要求12所述的计算设备，其中，使得所述至少一个处理器输出建议查询和图形符号的指令包括在运行时使得所述至少一个处理器用搜索区域替换建议区域的指令。
14.一种计算设备，包括用于执行由权利要求1-9所述 的方法中的任意一个方法的装置。
15.一种包括指令的计算机可读存储介质，所述指令在运行时使得计算设备的至少一个处理器执行由权利要求1-9所述 的方法中的任意一个方法。
CN201680081869.0A 2016-04-20 2016-12-22 确定与文本相关联的图形元素 Active CN108701138B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/134,323 2016-04-20
US15/134,323 US10078673B2 (en) 2016-04-20 2016-04-20 Determining graphical elements associated with text
PCT/US2016/068456 WO2017184214A1 (en) 2016-04-20 2016-12-22 Determining graphical elements associated with text

Publications (2)

Publication Number Publication Date
CN108701138A CN108701138A (zh) 2018-10-23
CN108701138B true CN108701138B (zh) 2022-03-22

Family

ID=57794390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081869.0A Active CN108701138B (zh) 2016-04-20 2016-12-22 确定与文本相关联的图形元素

Country Status (4)

Country Link
US (1) US10078673B2 (zh)
EP (1) EP3400539B1 (zh)
CN (1) CN108701138B (zh)
WO (1) WO2017184214A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD771646S1 (en) * 2014-09-30 2016-11-15 Apple Inc. Display screen or portion thereof with graphical user interface
US12051021B2 (en) * 2016-04-19 2024-07-30 Worldpak Inc. Cloud-based system and method to track and manage objects
WO2021030578A1 (en) * 2019-08-14 2021-02-18 Sundel Michael B Cloud-based system and method to track and manage objects
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
USD826262S1 (en) * 2016-07-28 2018-08-21 Banco Bradesco S/A Display panel with a computer icon
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10423304B2 (en) * 2016-12-02 2019-09-24 International Business Machines Corporation Dynamic web actions palette
US20180210872A1 (en) * 2017-01-23 2018-07-26 Microsoft Technology Licensing, Llc Input System Having a Communication Model
USD829223S1 (en) * 2017-06-04 2018-09-25 Apple Inc. Display screen or portion thereof with graphical user interface
US10572107B1 (en) 2017-06-23 2020-02-25 Amazon Technologies, Inc. Voice communication targeting user interface
US10788900B1 (en) * 2017-06-29 2020-09-29 Snap Inc. Pictorial symbol prediction
US10909777B2 (en) * 2018-10-26 2021-02-02 Snap-On Incorporated Method and system for annotating graphs of vehicle data
US11762864B2 (en) * 2018-10-31 2023-09-19 Kyndryl, Inc. Chat session external content recommender
US11151308B2 (en) * 2018-11-16 2021-10-19 International Business Machines Corporation Electronic document processing system
CN111913640A (zh) * 2019-05-09 2020-11-10 上海触乐信息科技有限公司 基于输入法键盘的信息呈现的方法及设备
US10955933B2 (en) * 2019-07-29 2021-03-23 Cirque Corporation Hybrid circuit for a touch pad keyboard
US11082375B2 (en) * 2019-10-02 2021-08-03 Sap Se Object replication inside collaboration systems
US11151195B1 (en) * 2020-05-30 2021-10-19 CareerAmerica, LLC Method and system for predicative QandA and resource suggestions
US11256864B2 (en) * 2020-06-19 2022-02-22 Apple, Inc. Contacts autocomplete keyboard
US11646014B1 (en) * 2022-07-25 2023-05-09 Intuit Inc. Ensemble of machine learning models for real-time predictions in expert electronic chats

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102844753A (zh) * 2010-02-03 2012-12-26 谷歌公司 具有实时反馈的信息搜索系统
US8370143B1 (en) * 2011-08-23 2013-02-05 Google Inc. Selectively processing user input
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104397A (en) 1997-06-30 2000-08-15 Sun Microsystems, Inc. Method and system for generating improved progress indicators
US7599847B2 (en) 2000-06-09 2009-10-06 Airport America Automated internet based interactive travel planning and management system
US20090006543A1 (en) 2001-08-20 2009-01-01 Masterobjects System and method for asynchronous retrieval of information based on incremental user input
US7363295B2 (en) * 2004-04-19 2008-04-22 Yahoo! Inc. Techniques for inline searching in an instant messenger environment
US8028250B2 (en) 2004-08-31 2011-09-27 Microsoft Corporation User interface having a carousel view for representing structured data
US7788248B2 (en) 2005-03-08 2010-08-31 Apple Inc. Immediate search feedback
US7590699B2 (en) * 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
US7676517B2 (en) 2005-10-14 2010-03-09 Microsoft Corporation Search results injected into client applications
US7925716B2 (en) 2005-12-05 2011-04-12 Yahoo! Inc. Facilitating retrieval of information within a messaging environment
US20070300177A1 (en) 2006-06-23 2007-12-27 Microsoft Corporation User interface for specifying multi-valued properties
WO2008011454A2 (en) 2006-07-18 2008-01-24 Chacha Search, Inc. Anonymous search system using human searchers
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080244446A1 (en) 2007-03-29 2008-10-02 Lefevre John Disambiguation of icons and other media in text-based applications
US8745018B1 (en) 2008-07-10 2014-06-03 Google Inc. Search application and web browser interaction
CN101876878A (zh) 2009-04-29 2010-11-03 深圳富泰宏精密工业有限公司 单词预测输入系统及方法
US9367216B2 (en) 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
EP2312427B1 (en) 2009-10-13 2013-09-18 BlackBerry Limited User interface for a touchscreen display
US20110112824A1 (en) * 2009-11-06 2011-05-12 Craig Peter Sayers Determining at least one category path for identifying input text
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8621379B2 (en) 2010-03-12 2013-12-31 Apple Inc. Device, method, and graphical user interface for creating and using duplicate virtual keys
US9483175B2 (en) 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
WO2012024585A1 (en) 2010-08-19 2012-02-23 Othar Hansson Predictive query completion and predictive search results
US8789144B2 (en) 2010-10-06 2014-07-22 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
US8515984B2 (en) 2010-11-16 2013-08-20 Microsoft Corporation Extensible search term suggestion engine
US10346479B2 (en) 2010-11-16 2019-07-09 Microsoft Technology Licensing, Llc Facilitating interaction with system level search user interface
EP2641146A4 (en) 2010-11-20 2017-05-03 Nuance Communications, Inc. Performing actions on a computing device using a contextual keyboard
US9111238B2 (en) 2010-12-17 2015-08-18 Microsoft Technology Licensing, Llc Data feed having customizable analytic and visual behavior
US9104992B2 (en) 2010-12-17 2015-08-11 Microsoft Technology Licensing, Llc Business application publication
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US20120256840A1 (en) 2011-04-10 2012-10-11 Mahmoud Razzaghi Virtual keyboard
CN102955658B (zh) 2011-08-25 2017-03-22 腾讯科技（深圳）有限公司 交互界面中的页面切换方法及装置
EP2766801A4 (en) 2011-10-13 2015-04-22 Lg Electronics Inc INPUT INTERFACE CONTROL APPARATUS AND METHOD THEREOF
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US8914451B2 (en) 2012-02-17 2014-12-16 Blackberry Limited Electronic device configured with messaging composition interface
US9310888B2 (en) 2012-03-16 2016-04-12 Microsoft Technology Licensing, Llc Multimodal layout and rendering
US20130285916A1 (en) 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard providing word predictions at locations in association with candidate letters
US9460237B2 (en) 2012-05-08 2016-10-04 24/7 Customer, Inc. Predictive 411
US8484573B1 (en) 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9582146B2 (en) 2012-05-29 2017-02-28 Nokia Technologies Oy Causing display of search results
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US20140115070A1 (en) * 2012-10-22 2014-04-24 Nokia Corporation Apparatus and associated methods
US9305114B2 (en) 2012-12-17 2016-04-05 Microsoft Technology Licensing, Llc Building long search queries
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
WO2014139120A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US20140282203A1 (en) 2013-03-15 2014-09-18 Research In Motion Limited System and method for predictive text input
US9529856B2 (en) 2013-06-03 2016-12-27 Google Inc. Query suggestion templates
US9613132B2 (en) 2013-06-28 2017-04-04 Yandex Europe Ag Method of and system for displaying a plurality of user-selectable refinements to a search query
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9461945B2 (en) 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
KR102157264B1 (ko) 2013-10-30 2020-09-17 삼성전자주식회사 디스플레이 장치 및 그 ui 제공 방법
KR20150081181A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 디스플레이 장치 및 이의 추천 문자 제공 방법
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US20150242086A1 (en) 2014-02-21 2015-08-27 Markport Limited Drag and drop event system and method
US9471570B2 (en) 2014-04-30 2016-10-18 Excalibur Ip, Llc Method and system for user selection of query suggestions
KR20150126213A (ko) 2014-05-02 2015-11-11 삼성전자주식회사 정보 검색 시스템 및 방법
KR102177607B1 (ko) 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9671956B2 (en) 2014-06-18 2017-06-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Presenting search term suggestions on graphical user interfaces
US9043196B1 (en) 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9930167B2 (en) * 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
US20160034977A1 (en) 2014-08-01 2016-02-04 Yahoo! Inc. System and method for embedded search within messaging applications
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10275152B2 (en) 2014-10-28 2019-04-30 Idelan, Inc. Advanced methods and systems for text input error correction
US20160224524A1 (en) 2015-02-03 2016-08-04 Nuance Communications, Inc. User generated short phrases for auto-filling, automatically collected during normal text use
CN106126514B (zh) * 2015-05-06 2020-11-20 可可株式会社 与搜索有关的消息服务器提供方法及服务器和用户终端
US10496275B2 (en) 2015-10-12 2019-12-03 Microsoft Technology Licensing, Llc Multi-window keyboard
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102844753A (zh) * 2010-02-03 2012-12-26 谷歌公司 具有实时反馈的信息搜索系统
US8370143B1 (en) * 2011-08-23 2013-02-05 Google Inc. Selectively processing user input
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置

Also Published As

Publication number Publication date
US20170308587A1 (en) 2017-10-26
EP3400539B1 (en) 2019-10-09
WO2017184214A1 (en) 2017-10-26
CN108701138A (zh) 2018-10-23
US10078673B2 (en) 2018-09-18
EP3400539A1 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
CN108701138B (zh) 确定与文本相关联的图形元素
EP3479213B1 (en) Image search query predictions by a keyboard
US9720955B1 (en) Search query predictions by a keyboard
US9977595B2 (en) Keyboard with a suggested search query region
US10140017B2 (en) Graphical keyboard application with integrated search
JP6721703B2 (ja) グラフィカルキーボード内での図像シンボル検索
US20180173692A1 (en) Iconographic symbol predictions for a conversation
US9946773B2 (en) Graphical keyboard with integrated search features
US20170308290A1 (en) Iconographic suggestions within a keyboard
KR102204888B1 (ko) 키보드에 의한 자동 번역

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant