CN104823183A - 基于特征的候选选择 - Google Patents

基于特征的候选选择 Download PDF

Info

Publication number
CN104823183A
CN104823183A CN201280075557.0A CN201280075557A CN104823183A CN 104823183 A CN104823183 A CN 104823183A CN 201280075557 A CN201280075557 A CN 201280075557A CN 104823183 A CN104823183 A CN 104823183A
Authority
CN
China
Prior art keywords
candidate
image
input
user
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280075557.0A
Other languages
English (en)
Other versions
CN104823183B (zh
Inventor
X·王
M·R·斯格特
X·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104823183A publication Critical patent/CN104823183A/zh
Application granted granted Critical
Publication of CN104823183B publication Critical patent/CN104823183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

供选择或插入的候选可以基于所提取的候选特征和基准特征。候选特征可被打分并排名，同时候选可基于准则而被从考虑中移除。剩余候选可被呈现以供选择和/或插入。

Description

基于特征的候选选择
技术领域
本公开一般涉及输入法编辑器(IME)，且更具体地涉及具有多个操作模式的IME。
背景
输入法编辑器(IME)是辅助用户将文本输入到计算设备的主机应用中的计算机功能。IME可基于从用户接收的输入提供若干个建议的词和短语作为用于插入到该主机应用中的候选。例如，用户可以输入词或短语的一个或多个开始符，并且IME可基于所述开始字符提供一个或多个建议的词或短语以供用户选择一个想要的词或短语。
对于另一示例，IME还可以辅助用户输入非拉丁字符，比如中文。用户通过键盘输入拉丁字符，且IME基于这些拉丁字符返回一个或多个中文字符作为用于插入主机应用的候选。该用户随后可选择适当的字符并将其插入到主机应用中。由于许多典型键盘支持输入拉丁字符，IME有助于用户使用拉丁字符键盘输入非拉丁字符。
该用户所选择的候选可被插入到各主机应用中，诸如聊天应用、文档编辑应用、电子邮件应用、绘画应用、游戏应用等。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的概念选择。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。例如，术语“技术”可以指上述上下文和本公开通篇所准许的设备、系统、方法、和/或计算机可读指令。
本公开描述通过输入法编辑器(IME)提供另选候选以供用户选择和/或插入的技术。在各实施例中，IME可由计算设备执行。该IME可向用户呈现用于插入到主机应用中的候选。取决于用户的输入和该输入的上下文，IME可以呈现不同类型的候选。IME可以按与输入的形式不同的形式来提供文本候选和另选候选两者。
附图简述
参考附图阐述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现于其中的附图。在不同附图中使用相同的附图标记指示相似或相同的项。
图1是根据至少一个实施例的IME的示例配置的框图。
图2是根据至少一个实施例的利用IME的主机应用的示例的示图。
图3示出用于实现IME的说明性代表性计算设备和环境。
图4是根据至少一个实施例的由IME执行的示例过程的流程图。
详细描述
概览
本公开描述了涉及向用户呈现可由用户选择来插入到主机应用中的候选的输入法编辑器(IME)的技术。被呈现给用户的候选可至少部分基于该IME的用户可选择的模式。这些候选可包括文本候选(诸如非拉丁或中文字符)和富候选(诸如多媒体候选)，以向用户提供补充信息并增强用户体验。作为补充或替换，各候选可至少部分地基于用户输入的上下文，这可包括但不限于主机应用、先前用户输入、相邻用户输入、它们的组合、以及其他上下文信息。作为补充或替换，各候选可在用户选择时替换或扩充所录入的文本。
在各实施例中，用户输入是用户输入到IME的合成窗口中的文本字符或符号输入中的一者或多者。用户输入可以表示一个或多个表述、搜索查询、它们的各部分、或它们的组合。例如，用户输入可以是一个或多个词或短语的一系列开始字符、缩写、拼写、和/或翻译。用户输入和用户输入所表示的表述，诸如词或短语，可采用相同的或不同的语言。用户可通过各种输入方法来输入用户输入，诸如键盘输入、语音输入、触摸屏输入、姿势、移动、或它们的组合。
在各实施例中，各候选以另选的形式通过用户输入来提供。例如，如果用户输入文本，则另选的候选可以按图像、视频、音频文件、web链接、网页、地图、其他多媒体文件、或它们的组合的形式来提供。
在各实施例中，各候选根据与用户输入和/或用户输入的上下文的相关性来被排名。
说明性系统模型
图1示出了IME的示例性系统模型。例如，IME 100可包括候选管理器102和插入管理器104。候选管理器102包括分析用户输入、用户输入的上下文、或它们的组合的分析器106。例如，分析器106可分析文本形式的用户输入以推断该输入表示什么。分析器106还可确定用户输入的上下文。例如，用户输入的上下文包括但不限于IME支持的主机程序、用户在同一IME会话中做出的过去和/或分开的输入、由主机程序中的参与者做出的与当前输入相邻的输入、用户的位置、其他因素、或它们的组合。
在各实施例中，如果个人信息(诸如位置信息、对话或搜索内容)被存储或传送，则用户可具有机会来决定允许收集、存储和/或传送和/或有机会来停止这么做。在各实施例中，如果个人信息被存储或传送，则适当的安全措施和特征对于保护个人数据是适当的。作为补充或替换，上下文可包括触发单词或短语。例如，用户可在指示寻找另选的候选的输入之前直接输入短语“photo of(的照片)”。在这一示例中，短语“photo of”可以提供用户对寻找附随输入的图像或照片感兴趣的上下文。其他说明性触发单词或短语可包括但不限于“image(图像)”、“video(视频)”、“sound(声音)”、“hear(听到)”、“nearby(附近)”、“picture(图片)”、“let me see(让我看看)”、“have a look at(请看)”、“did you see(你看到了吗)”，等等。要理解，触发单词或短语可因文化和/或语言而异。
在各实施例中，用户输入的内容和上下文两者被用于告知对各候选的选择。在一可能的实施例中，用户输入的上下文和内容被用来制定搜索以收集候选。在一个示例中，用户将文本“forbidden city(紫禁城)”输入到聊天程序中，同时在输入“forbidden city”之前的若干行或条目，用户或第三方先前输入了术语“moat(护城河)”。在这一示例中，该输入的内容可以是“forbiddencity”且该输入的上下文可以是聊天程序和文本输入“moat”。
在这一示例中，候选管理器102可造成对图像、视频、音频文件、图形、其他、或它们的组合的搜索，以找出“forbidden city”处的、“forbidden city”附近的、属于“forbidden city”的、或“forbidden city”中的“moat”。这一示例与没有考虑用户输入的上下文的搜索不同。
在各实施例中，候选管理器102所造成的搜索可由搜索引擎来促进，例如搜索引擎计算设备上的能够搜索各种形式的媒体的商用搜索引擎。例如，搜索引擎计算设备可以选择搜索引擎(如等等)来收集候选。各候选可包括例如web搜索结果、视频搜索结果、图像搜索结果、音频文件搜索结果或词典和百科全书搜索结果。
在各实施例中，候选管理器102所造成的搜索可至少部分地基于用户输入的内容和/或用户输入的上下文。
在各实施例中，候选管理器102所造成的搜索可以返回具有任何周围文本的候选、与候选相关联的元数据、或它们的组合。
在各实施例中，候选管理器102所造成的搜索可以返回具有按经排名的格式的结果信息的候选。例如，结果信息可包括经排名的格式，且可提供排名靠前的结果的集合、排名靠尾或最后的结果的集合、和/或重复候选。
在各实施例中，候选管理器102从各候选中选择一个或多个基准。例如，若干基准图像可以从搜索引擎所返回的所有候选图像的集合中进行选择。基准图像可至少部分地基于所返回的重复或类似图像的排名和数量来被选择。例如，从搜索返回的前N个候选图像(其中N是大于或等于0的整数)可被认为是可能的基准图像。作为补充或替换，从搜索返回的后M个候选图像或末尾M个候选图像(其中M是大于或等于0的整数)可被认为是要避免作为基准图像的可能图像。作为补充或替换，重复或类似图像的数量可被认为是可能的基准图像。例如，如果第一候选图像比第二候选图像具有更多的重复或类似图像，则与第二候选图像相比，第一候选图像可被认为是更好的基准图像。作为补充或替换，重复或类似图像的数量可指示候选图像的流行度、时髦度、或类似方面。
作为补充或替换，候选管理器102可包括提取器108。在各实施例中，提取器108可提取基准的各特征。例如，提取器108可从被选择作为基准图像的候选图像提取特征。在各实施例中，从基准图像提取的特征可包括平均特征。
作为补充或替换，提取器108可从未被选择作为基准图像的候选图像中提取特征。在各实施例中，从候选图像提取的特征被与从基准图像提取的特征进行比较。例如，从候选图像提取的特征与从基准图像提取的特征之间的余弦距离可被计算。作为补充或替换，候选图像的元数据或周围文本中包含的信息可以与基准图像的元数据或周围文本中包含的信息进行比较。例如，计算这两者之间的余弦差。
在各实施例中，每一提取的特征以及与基准的比较可包括该候选的一个维度。候选的每一维度可被用来确定其分数、排名、呈现给用户的合适性、或它们的组合。在各实施例中，所组装的维度的数量可能很大。作为补充或替换，与第二维度相比的第一维度的值或权重不必在这一模块中或在相关过程或方法的类似阶段中被评估或确定。
作为补充或替换，候选管理器102可包括分类器110。在各实施例中，分类器110可以将每一候选分类。例如，分类器110可以使用与候选图像相关联的维度来向该候选图像指派分数。在各实施例中，分类器可被手动地编程、以特征与分数之间的初始相关性为种子(其中用后续搜索或添加来扩展该模型)、由逻辑引擎生成、或它们的组合。作为补充或替换，分类器可被离线、在线或离线和在线相组合地开发、更新、维护。作为补充或替换，回归模型可被用来将一个维度中反映的图像的相对特征映射到一个分数。在各实施例中，可聚集每一候选图像的分数以生成候选分数。
作为补充或替换，候选管理器102可包括排名器112。在各实施例中，排名器112可以对每一候选进行排名。例如，排名器112可以至少部分地基于候选分数对每一候选图像进行排名。
作为补充或替换，候选管理器102可包括选择过程，在选择过程中进行以下动作中的一者或多者：选择各候选、使得各候选可供选择、使得各候选不可供选择、将各候选从考虑中移除、或它们的组合。例如，候选管理器102可包括缩减器114。在各实施例中，缩减器114可减少所考虑的候选的数量。例如，缩减器114可以至少部分地基于候选分数将每一候选图像从考虑中移除。在各实施例中，具有低于阈值的候选分数的候选将被从考虑中移除。
作为补充或替换，候选管理器102可包括重复移除器116。在各实施例中，重复移除器116可被包括作为选择过程的一部分。在各实施例中，重复移除器116可减少所考虑的候选的数量。例如，重复移除器116可从候选图像中移除重复图像。作为补充或替换，重复移除器116可以移除完全重复以及彼此相似的候选图像。例如，如果第一和第二候选图像之间的差异低于阈值差或在相似性阈值之内，则第一和第二候选图像可被认为彼此足够相似或者是彼此重复的。在这一示例中，重复移除器116可将第一或第二候选图像从考虑中移除和/或使该候选不可供选择。
例如，如上所述，在各实施例中，用户输入的内容和用户输入的上下文被用来通知并确定要呈现的候选。在各实施例中，用户输入的上下文和内容被用来制定搜索以收集候选、提取特征、将候选进行分类、和/或对候选进行排名。例如，用户将文本“forbidden city”输入到聊天程序。然而，在输入文本“forbiddencity”之前的若干行或条目，用户和第三方输入了术语“moat”。在这一示例中，该输入的内容可以是“forbidden city”且该输入的上下文可以是聊天程序和文本输入“moat”。
在这一示例中，候选管理器102可造成对图像、视频、音频文件、图形、其他、或它们的组合的搜索，以找出“forbidden city”处的、“forbidden city”附近的、属于“forbidden city”的、或“forbidden city”中的“moat”。这一示例与没有考虑用户输入的上下文而是仅仅搜索“forbidden city”的搜索不同。在这一示例中，对“forbidden city”的搜索可以或可以不返回包含其护城河的紫禁城的图像。作为补充或替换，提取器108可以提取与术语“moat”相关的特征并创建与其相关的维度。作为补充或替换，与不具有与护城河特征相关的维度的图像相比，分类器110可以将更高的分数映射到包含与护城河特征相关的维度的图像。作为补充或替换，排名器112可以将包含护城河的候选图像排名得比不具有护城河的候选图像更高。在这一示例中，在例如用户希望紫禁城处的护城河的图像而非紫禁城本身的图像时，通过将与“forbidden city”相关的输入的上下文纳入考虑，先前使用的术语“moat”可造成更加合乎需要的候选图像集。
作为补充或替换，IME 100可包括插入管理器104。在各实施例中，插入管理器104包括可向用户提供供插入的候选的插入器118。例如，插入器118可至少部分地基于用户输入、用户输入的上下文、其余候选、或它们的组合来使得候选图像的子集被显示给用户。例如，如果用户正在向聊天程序输入文本，则插入器118可以将该聊天程序标识为IME的主机程序并且一次显示适当数量的候选图像。作为补充或替换，插入器118可以同时示出所有可用的候选图像。
图2示出了根据至少一个实施例的利用IME的主机应用的示例的示图。例如，图2示出了根据各实施例的利用IME的主机应用202的示例200。主机应用202在此处被示出为聊天应用。主机应用202还可以是文档编辑应用、绘图应用、电子邮件应用、或各种其他应用。
在所示示例中，主机应用202包括文本插入区，由204概括地指示。文本插入区204包括由用户直接插入到主机应用中或经由IME 206插入的字符。文本插入区204还包括由“|”表示的输入指示，其表示所述候选将被例如插入管理器104插入到主机应用202中的何处的指示。该输入指示例如可以是鼠标的焦点。该输入指示还指示计算设备上正在运行的许多主机应用中的计算机设备的哪个主机应用202要接收由IME 206插入的候选。在一个特定示例中，多个主机应用可同时利用IME 206的特性且用户可通过在这些主机应用之间移动输入指示来在这些主机应用中的一个或多个之间切换来接收候选。
在所示示例中，IME 206正在操作以使用拼音向主机应用202中插入中文字符。
IME 206被示为用户界面208，该用户界面包括用于接收用户输入的撰写窗口210、用于向用户呈现文本候选的文本候选窗口212、以及用于向用户呈现另选形式的候选的另选候选窗口214。文本候选窗口212还被示出为包括先前的和接下来的候选箭头216，用户可与所述箭头216交互以接收当前没有显示在文本候选窗口212中的更多文本候选。另选候选窗口214还被示出为包括先前的和接下来的候选箭头218，用户可与所述箭头218交互以接收当前没有显示在另选候选窗口214中的更多另选候选。
尽管示出了各种另选候选模式，但其他另选候选模式可被使用而不背离本公开的范围。例如，IME 206可包括音频模式，其中例如另选候选可包括音频文件，如运动图片专家组(MPEG)MPEG-1或MPEG-2音频层III(mp3)文件。作为补充或替换，IME 206可包括视频模式，其中例如另选的候选可包括视频。作为补充或替换，IME 206可包括图形文本，其中例如另选的候选可包括图形文本。图形文本的示例包括但不限于包含文本的图形文件(例如，图像文件)。作为补充或替换，IME 206可包括动画图形图像，其中例如另选的候选可包括动画图形图像。通过与先前的和接下来的候选箭头216交互，该用户可在富候选模式菜单处获得对这些更多的富候选模式的访问权。作为补充或替换，IME 206可以将用户输入的上下文纳入考虑，并且将一种类型显示在另一类型之前，或者显示两个或所有可能类型的组合。
在所示示例中，用户已录入文本“ha’ha”。作为用户在这一上下文中录入文本的结果，IME 206处于另选候选模式。在处于另选候选模式时，文本候选窗口212继续以将文本“ha’ha”从拼音转换成中文字符。另一方面，另选候选窗口214向用户呈现对文本“ha’ha”的图像搜索结果。如图所示，另选候选窗口214呈现包括各种卡通动物正在笑的图像的选项2-5。
在各实施例中，用户可通过输入“1”来使IME 206将文本候选窗口212中指示的中文字符插入到主机应用202中的文本插入区204处，或通过录入“2”、“3”、“4”或“5”将在另选候选窗口214中所示的图像插入。可使用其他用户选择选项而不背离本公开的范围。
说明性计算设备和说明性操作环境
图3示出根据各实施例的可以但没有必要用于实现本文所述的系统和方法的代表性计算设备300。本文描述的技术和机制可以由计算设备300以及有任何其他计算设备、系统、和/或环境的多个实例来实现。图3所示的计算设备300只是计算设备的一个示例，且并非旨在对用于执行上述过程和/或流程的任何计算设备的使用范围或功能提出任何限制。
在至少一种配置中，计算设备300包括至少一个处理器302和系统存储器304。处理器302可执行一个或多个模块和/或过程以使得计算设备300执行各种功能。在某些实施例中，处理器302可包括中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU两者、或本领域已知的其他处理单元或组件。此外，每个处理器302可拥有其自己的本地存储器，这些本地存储器还可存储程序模块、程序数据和/或一个或多个操作系统。
取决于计算设备300的确切配置和类型，系统存储器304可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存、微型硬盘驱动器、存储卡等)或是其某种组合。系统存储器304可以包括操作系统306、一个或多个程序模块308，且可以包括程序数据310。操作系统306包括基于组件的框架334，该框架支持组件(包括属性和事件)、对象、继承、多态性、反射，并且提供面向对象的基于组件的应用程序编程接口(API)。计算设备300具有由虚线312划分的非常基本的说明性配置。同样，一终端可具有更少的组件，但可与可具有这一基本配置的计算设备交互。
程序模块308可包括但不限于IME 334、应用336、和/或其他组件338。在各实施例中，IME 334可包括用户界面(UI)340、候选管理器102、和/或插入管理器104。在各实施例中，候选管理器102包括分析器106、提取器108、和/或分类器110。
计算设备300可具有附加特征和/或功能。例如，计算设备300还可包括附加数据存储设备(可移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。这样的附加存储在图3中由可移动存储314和不可移动存储316例示。
存储设备及任何相关联的计算机可读介质可提供对计算机可读指令、数据结构、程序模块以及其它数据的存储。计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。
计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。
相反，通信介质可在诸如载波之类的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。
此外，计算机可读介质可包括在由处理器302执行时执行此处所描述的各种功能和/或操作的计算机可执行指令。
计算设备300也可包括输入设备318，如键盘、鼠标、笔、语音输入设备、触摸输入设备等等。也可包括输出设备320，如显示器、扬声器、打印机等等。
计算设备300还可包含允许该设备诸如通过网络来与其他计算设备324进行通信的通信连接322。作为示例而非限制，通信介质和通信连接包括诸如有线网络或直接线连接等有线介质，以及诸如声学、射频(RF)、红外线和其他无线介质等无线介质。通信连接322是通信介质的示例。通信介质通常可以具体化为计算机可读指令、数据结构、程序模块等。
图3还示出说明性系统可在其中操作的说明性操作环境的示意图。例如，系统的各实施例可在计算设备300上操作。计算设备300可直接或间接地与用户设备326交互。计算设备可以连接到网络328。网络设备328可提供对包括服务器320、移动设备332和/或其他连接和/或资源在内的其他计算设备324的访问。连接可以是有线或无线的。
所例示的计算设备300只是合适的设备的一个示例，并不旨在对所述各实施例的使用范围或功能提出任何限制。适用于各实施例的其他公知的计算设备、系统、环境和/或配置包括但不限于，个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费者电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算机环境、使用现场可编程门阵列(“FPGA”)和专用集成电路(“ASIC”)的实现等。
在单个计算设备上实现和管理共享资源计算环境可使得多个计算机用户能够同时就同一计算任务进行协作或共享同一计算体验，而不依靠诸如但不限于网络接口卡、集线器、路由器、服务器、网桥、交换机、以及通常于通过因特网进行通信相关联的其他组件等联网硬件，也不依靠用于通过因特网来进行通信的软件应用程序和协议。
作为补充或替换，实现IME 334的计算设备300可以经由例如网络328与一个或多个搜索引擎计算设备342通信。
通信连接322能被处理器302访问以通过网络(诸如网络328)与一个或多个搜索引擎计算设备342往来传递数据。搜索引擎计算设备342可被配置成使用一个或多个搜索引擎344来执行搜索。搜索引擎344可以是通用搜索引擎(诸如或)、搜索引擎的组合、或被配置成结合IME 334操作的定制搜索引擎(诸如翻译引擎)。搜索引擎344还可以是搜索引擎的专用形式，诸如地图或图像搜索。
应当理解，IME 334可在通用或专用计算机系统的环境或配置中使用。示例包括个人计算机、服务器计算机、手持式设备或便携式设备、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子设备、网络PC、以及包括以上任何系统和设备的分布式计算环境。
说明性过程
为易于理解，本发明中讨论的过程作为由各独立框所表示的分开的操作来描绘。然而，这些分开示出的操作不应被解释为必须依赖于其执行的顺序。描述过程的次序并不旨在解释为限制，并且任何数量的所述过程框都可以按任何次序组合以实现本过程或实现替换过程。此外，修改或省略所提供的操作中的一个或多个也是可能的。
这些过程被示为逻辑流程图中的框的集合，它们表示可以用硬件、软件、或硬件和软件的组合来实现的一系列操作。出于讨论的目的，参考图1-3所示的系统来描述这些过程。然而，这些过程可以使用不同的体系结构或设备来执行。
图4是至少部分地基于输入来提供一个或多个候选的说明性过程400的流程图。在402，由IME接收输入。这一输入可以来自用户并且可包括文本、图形、姿势、语音、声音、运动、或它们的组合，并且可从键盘、话筒或语音输入机制、鼠标、触摸屏、和/或它们的组合来接收。作为补充或替换，该输入可连同该输入的上下文一起被接收。上下文可包括IME正在支持的主机应用。作为补充或替换，上下文可包括与由用户输入的该输入分开的、与该输入相邻的、或它们的组合的单词或短语。
在404，IME可分析该输入的内容以及该输入的上下文。内容和上下文可一起或分开地被IME用来确定是否应当提供另选候选。例如，如果输入与触发短语直接相邻，则该上下文可提高用户对另选候选感兴趣的概率，并且可提供另选候选。
在406，IME可收集一个或多个候选。例如，接收到的输入可被制定成查询并发送给搜索引擎。作为补充或替换，上下文的各方面可通过例如添加附加相关查询项或排除相关查询项来影响该查询。在各实施例中，该查询将返回经排名的结果形式的结果。经排名的结果可包括多个排名靠前的结果、多个排名靠底或靠尾的结果、以及各重复和/或类似结果。作为补充或替换，结果还可包括与每一候选相关联的任何元数据。作为补充或替换，结果还可包括候选的周围文本。
在408，IME可从候选中选择一个或多个基准。IME可至少部分地基于从查询返回的候选的排名以及重复或类似候选的数量来选择基准。
在410，IME可以从基准中提取特征。从基准中提取的特征可以是基准特征。在各实施例中，基准特征可被认为是根据输入的内容和上下文的给定候选集合的平均特征。
在412，IME可以从候选图像中提取特征。从候选图像提取的特征可被认为是候选特征。在各实施例中，所提取的候选特征与相似的所提取的基准特征进行比较。相似的所提取的特征之间的差异可被用来定义与候选相关联的维度。在各实施例中，所提取的特征可包括基准本身中包含的特征，例如如果基准是图像，则该图像可包含水的图像，其中水特征可被提取。作为补充或替换，所提取的特征可包括与候选相关联的信息中包含的特征。例如，该图像可包含可被检查和/或提取的元数据。作为补充或替换，该图像可能被作为查询结果的一部分返回的文本包围。该周围文本可被检查和/或提取。
在414，IME可为每一候选打分。在各实施例中，分类器至少部分地基于维度和所提取的特征来为每一候选打分。在各实施例中，分类器可以是离线学习或训练的模型。作为补充或替换，分类器可以用初始设置和示例来手动地播种，并通过围绕种子材料进行搜索来被训练，以扩展模型覆盖和/或提高模型准确度。在各实施例中，情绪单词是另选形式的替换或补充的目标。作为补充或替换，流行词语、短语、主题、或它们的组合可使用种子和搜索方法来被映射。IME可以使用分类器来将所提取的特征映射到分数。可聚集每一候选的每一特征和/或维度的分数以创建候选分数。
在416，IME可至少部分地基于候选分数来为候选排名。
在418，IME可至少部分地基于第一准则来移除候选。在各实施例中，第一准则包括候选分数是否大于阈值分数。在候选分数低于阈值分数时，候选被从考虑中移除。
在420，IME可至少部分地基于第二准则来移除候选。在各实施例中，第二准则包括候选是否与另一候选重复或与另一候选相似。在候选是另一候选的重复时，IME可从考虑中移除该候选或该另一候选。类似地，在该候选与另一候选之间的不同未能超过区别阈值时，IME可从考虑中移除该候选或该另一候选。在各实施例中，候选与另一候选之间的比较可至少部分地基于局部特征、全局特征、像素级比较、或它们的组合。
在422，IME可以提供一个或多个候选以供用户选择或插入到应用中。
结语
上述主题可以用硬件、软件、或硬件和软件两者来实现。尽管用结构特征和/或方法动作专用的语言描述了各个实现，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，这些具体特征和动作是作为实现权利要求的示例形式来公开的。例如，该方法动作不必以此处所述的顺序或组合来执行，而能以一个或多个动作的任何组合来执行。

Claims (20)

1.一种存储指令的计算机可读存储介质，所述指令能由一个或多个处理器执行来配置所述一个或多个处理器以：
至少部分地基于搜索准则和结果信息从搜索引擎所返回的一个或多个候选中选择一个或多个基准，所述搜索准则至少包括用户输入；
至少部分地基于从所述一个或多个候选中提取的一个或多个候选特征与从所述一个或多个基准中提取的一个或多个基准特征之间的比较来向所述一个或多个候选指派对应分数；
至少部分地基于所述分数来选择所述候选中的一个或多个；以及
提供所述一个或多个候选中的所选择的一个或多个候选以供用户选择。
2.如权利要求1所述的计算机可读存储介质，其特征在于，所述指令进一步能执行来使得所述处理器：
接收包括以下中的一者或多者的用户输入：文本输入、姿势、运动、或语音输入；
分析所述用户输入的上下文或所述用户输入的内容中的一者或多者；以及
至少部分地基于所述用户输入的上下文或所述用户输入的内容中的所述一者或多者来收集所述一个或多个候选。
3.如权利要求2所述的计算机可读存储介质，其特征在于，所述用户输入的上下文包括先前搜索、先前用户输入、或计算机程序中的一者或多者。
4.如权利要求2所述的计算机可读存储介质，其特征在于，由所述搜索引擎收集的所述一个或多个候选是按经排名的次序来返回的。
5.如权利要求4所述的计算机可读存储介质，其特征在于，结果信息至少部分地基于排名靠前的结果的集合、排名靠尾的结果的集合、或重复结果的集合中的一者或多者。
6.如权利要求1所述的计算机可读存储介质，其特征在于，所述一个或多个候选包括候选图像、候选视频、候选音频文件、或文本化图形中的一者或多者。
7.如权利要求1所述的计算机可读存储介质，其特征在于，所述基准特征包括所述一个或多个基准的平均特征。
8.如权利要求1所述的计算机可读存储介质，其特征在于，所述分数是至少部分地基于分类器来指派的。
9.如权利要求8所述的计算机可读存储介质，其特征在于，所述分类器至少部分地基于将特征映射到分数值的所学习的模型来指派分数。
10.如权利要求8所述的计算机可读存储介质，其特征在于，所述分类器至少部分地基于回归模型来指派分数。
11.如权利要求1所述的计算机可读存储介质，其特征在于，至少部分地基于所述分数来选择一个或多个候选包括将所述分数与阈值分数值进行比较，其中具有大于所述阈值分数值的分数的一个或多个候选能供选择。
12.如权利要求1所述的计算机可读存储介质，其特征在于，至少部分地基于所述分数选择一个或多个候选包括候选与另一候选之间的比较，其中使得与另一候选重复的候选或处于另一候选的相似性阈值之内的候选不能供选择。
13.如权利要求12所述的计算机可读存储介质，其特征在于，所述候选与所述另一候选的比较至少部分地基于局部特征、全局特征、或像素级比较中的一者或多者。
14.一种系统，包括：
一个或多个处理器；
能由所述一个或多个处理器执行的提取器，所述提取器从一个或多个基准图像中提取一个或多个基准特征并从一个或多个候选图像中提取一个或多个候选特征，所述一个或多个基准图像是至少部分地基于搜索结果从搜索引擎所返回的一个或多个候选图像中选择的；
能由所述一个或多个处理器执行的分类器，所述分类器至少部分地基于所提取的候选特征与所提取的基准特征之间的比较来向一个或多个候选图像指派分数；以及
能由所述一个或多个处理器执行的插入管理器，所述插入管理器提供所述一个或多个候选图像以供选择。
15.如权利要求14所述的系统，其特征在于，还包括：
能由所述一个或多个处理器执行的分析器，所述分析器分析所述文本输入的上下文、所述文本输入的内容、或它们的组合；以及
能由所述一个或多个处理器执行的候选管理器，所述候选管理器至少部分地基于所述文本输入的上下文和所述文本输入的内容来收集一个或多个候选图像，至少部分地基于排名靠前的结果的集合、排名靠尾的结果的集合、或重复结果的集合中的一者或多者来从所述一个或多个候选图像中选择一个或多个基准图像。
16.如权利要求14所述的系统，其特征在于，还包括能由所述一个或多个处理器执行的缩减器，所述缩减器至少部分地基于候选的分数与阈值分数值的比较来从所述一个或多个候选图像中移除第一候选图像。
17.如权利要求14所述的系统，其特征在于，能由所述一个或多个处理器执行的重复移除器，所述重复移除器至少部分地基于候选与另一候选的重复性或候选与另一候选的相似性中的一者或多者来从所述一个或多个候选中移除第二候选图像。
18.一种方法，包括：
通过输入法编辑器(IME)界面从用户接收文本输入；
由计算设备分析所述文本输入的内容和所述文本输入的上下文；
至少部分地基于所述文本输入的上下文和所述文本输入的内容从搜索引擎收集一个或多个候选图像；
至少部分地基于来自所述搜索引擎的结果从所述一个或多个候选图像选择一个或多个基准图像；
从所述一个或多个基准图像提取一个或多个基准特征；
从所述一个或多个候选图像提取一个或多个候选特征；
至少部分地基于所提取的候选特征向一个或多个候选图像指派分数；
至少部分地基于所述分数为一个或多个候选图像排名；
在第一候选图像的分数低于阈值分数时将所述第一候选图像从所述一个或多个候选图像中移除；
至少部分地基于第二候选与另一候选之间的特征比较将所述第二候选从所述一个或多个候选中移除；以及
向所述用户提供所述一个或多个候选的剩余候选图像的经排名的子集，以供通过所述IME界面进行选择。
19.如权利要求18所述的方法，其特征在于，来自所述搜索引擎的结果包括排名靠前的结果的集合、排名靠尾的结果的集合、或重复结果的集合中的一者或多者。
20.如权利要求18所述的方法，其特征在于，所述第二候选与所述另一候选之间的特征比较至少部分地基于局部特征、全局特征、或像素级比较中的一者或多者。
CN201280075557.0A 2012-08-30 2012-08-30 基于特征的候选选择 Active CN104823183B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/080749 WO2014032244A1 (en) 2012-08-30 2012-08-30 Feature-based candidate selection

Publications (2)

Publication Number Publication Date
CN104823183A true CN104823183A (zh) 2015-08-05
CN104823183B CN104823183B (zh) 2018-04-24

Family

ID=50182361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075557.0A Active CN104823183B (zh) 2012-08-30 2012-08-30 基于特征的候选选择

Country Status (6)

Country Link
US (1) US9767156B2 (zh)
EP (1) EP2891078A4 (zh)
JP (1) JP6122499B2 (zh)
KR (1) KR101911999B1 (zh)
CN (1) CN104823183B (zh)
WO (1) WO2014032244A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488118A (zh) * 2015-09-02 2017-03-08 联发科技股份有限公司 图像调整方法及照相系统
CN108279828A (zh) * 2016-12-30 2018-07-13 北京搜狗科技发展有限公司 一种启动应用程序的方法、装置和终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348479B2 (en) 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Sentiment aware user interface customization
US9378290B2 (en) 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
CN110488991A (zh) 2012-06-25 2019-11-22 微软技术许可有限责任公司 输入法编辑器应用平台
WO2014127535A1 (en) 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
CN105580004A (zh) 2013-08-09 2016-05-11 微软技术许可有限责任公司 提供语言帮助的输入方法编辑器
US20170308289A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic symbol search within a graphical keyboard
CN106326916B (zh) * 2016-08-11 2019-08-13 电子科技大学 基于多尺度特征估计和高阶bing特征的目标检测方法
EP3421315B1 (en) * 2017-06-27 2020-04-15 Tata Consultancy Services Limited Systems and methods for authenticating drivers based on gps data
CN109426831B (zh) * 2017-08-30 2022-12-13 腾讯科技（深圳）有限公司 图片相似匹配及模型训练的方法、装置及计算机设备
US11977591B2 (en) * 2018-03-16 2024-05-07 Microsoft Technology Licensing, Llc Synthesized facts from multiple sources
KR102537781B1 (ko) 2018-11-13 2023-05-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN116324684A (zh) 2020-10-15 2023-06-23 三星电子株式会社 用于操作电子装置的数字键盘的电子装置和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144162A1 (en) * 2003-12-29 2005-06-30 Ping Liang Advanced search, file system, and intelligent assistant agent
US20060204142A1 (en) * 2005-03-11 2006-09-14 Alamy Limited Ranking of images in the results of a search
US20070233692A1 (en) * 2006-04-03 2007-10-04 Lisa Steven G System, methods and applications for embedded internet searching and result display
CN101661474A (zh) * 2008-08-26 2010-03-03 华为技术有限公司 一种搜索方法和系统
CN102056335A (zh) * 2009-11-06 2011-05-11 华为技术有限公司 移动搜索方法、装置和系统
CN102314441A (zh) * 2010-06-30 2012-01-11 百度在线网络技术（北京）有限公司 用于供用户进行个性化素材输入的方法、设备和系统
US20120023103A1 (en) * 2009-01-21 2012-01-26 Telefonaktiebolaget Lm Ericsson (Publ) Generation of Annotation Tags Based on Multimodal Metadata and Structured Semantic Descriptors

Family Cites Families (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7529981A (en) 1980-09-19 1982-03-25 Hitachi Limited Language analysis by pattern recognition
US6236964B1 (en) 1990-02-01 2001-05-22 Canon Kabushiki Kaisha Speech recognition apparatus and method for matching inputted speech and a word generated from stored referenced phoneme data
JPH07160827A (ja) 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
US5873107A (en) 1996-03-29 1999-02-16 Apple Computer, Inc. System for automatically retrieving information relevant to text being authored
US6014638A (en) 1996-05-29 2000-01-11 America Online, Inc. System for customizing computer displays in accordance with user preferences
US5995928A (en) 1996-10-02 1999-11-30 Speechworks International, Inc. Method and apparatus for continuous spelling speech recognition with early identification
US6092044A (en) 1997-03-28 2000-07-18 Dragon Systems, Inc. Pronunciation generation in speech recognition
EP0972254A1 (en) 1997-04-01 2000-01-19 Yeong Kuang Oon Didactic and content oriented word processing method with incrementally changed belief system
US6076056A (en) 1997-09-19 2000-06-13 Microsoft Corporation Speech recognition system for recognizing continuous and isolated speech
US6377965B1 (en) 1997-11-07 2002-04-23 Microsoft Corporation Automatic word completion system for partially entered data
US6185534B1 (en) 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US6247043B1 (en) 1998-06-11 2001-06-12 International Business Machines Corporation Apparatus, program products and methods utilizing intelligent contact management
US6085160A (en) 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
US6527715B2 (en) 1998-10-30 2003-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for predicting human cognitive performance using data from an actigraph
JP2000148748A (ja) * 1998-11-13 2000-05-30 Nec Corp 仮名漢字変換及び画像検索表示システム
US6460015B1 (en) 1998-12-15 2002-10-01 International Business Machines Corporation Method, system and computer program product for automatic character transliteration in a text string object
US7099876B1 (en) 1998-12-15 2006-08-29 International Business Machines Corporation Method, system and computer program product for storing transliteration and/or phonetic spelling information in a text string class
US6363342B2 (en) 1998-12-18 2002-03-26 Matsushita Electric Industrial Co., Ltd. System for developing word-pronunciation pairs
JP2000221990A (ja) 1999-01-28 2000-08-11 Ricoh Co Ltd 音声認識装置
DE60026637T2 (de) 1999-06-30 2006-10-05 International Business Machines Corp. Verfahren zur Erweiterung des Wortschatzes eines Spracherkennungssystems
US6578022B1 (en) 2000-04-18 2003-06-10 Icplanet Corporation Interactive intelligent searching with executable suggestions
US6963841B2 (en) 2000-04-21 2005-11-08 Lessac Technology, Inc. Speech training method with alternative proper pronunciation database
US7107204B1 (en) 2000-04-24 2006-09-12 Microsoft Corporation Computer-aided writing system and method with cross-language writing wizard
US7089504B1 (en) 2000-05-02 2006-08-08 Walt Froloff System and method for embedment of emotive content in modern text processing, publishing and communication
US7277732B2 (en) 2000-10-13 2007-10-02 Microsoft Corporation Language input system for mobile devices
US6731307B1 (en) 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
JP2002258894A (ja) 2001-03-02 2002-09-11 Fujitsu Ltd 音声データ圧縮・解凍装置及び方法
US7308439B2 (en) 2001-06-06 2007-12-11 Hyperthink Llc Methods and systems for user activated automated searching
CN1391180A (zh) 2001-06-11 2003-01-15 国际商业机器公司 外语写作辅助方法和辅助工具
US8112529B2 (en) 2001-08-20 2012-02-07 Masterobjects, Inc. System and method for asynchronous client server session communication
US7353247B2 (en) 2001-10-19 2008-04-01 Microsoft Corporation Querying applications using online messenger service
US7283992B2 (en) 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US20030160830A1 (en) 2002-02-22 2003-08-28 Degross Lee M. Pop-up edictionary
US20030179229A1 (en) 2002-03-25 2003-09-25 Julian Van Erlach Biometrically-determined device interface and content
US20030220917A1 (en) 2002-04-03 2003-11-27 Max Copperman Contextual search
US7194538B1 (en) 2002-06-04 2007-03-20 Veritas Operating Corporation Storage area network (SAN) management system for discovering SAN components using a SAN management server
US7047193B1 (en) 2002-09-13 2006-05-16 Apple Computer, Inc. Unsupervised data-driven pronunciation modeling
US7293015B2 (en) 2002-09-19 2007-11-06 Microsoft Corporation Method and system for detecting user intentions in retrieval of hint sentences
US7552051B2 (en) 2002-12-13 2009-06-23 Xerox Corporation Method and apparatus for mapping multiword expressions to identifiers using finite-state networks
US7360151B1 (en) 2003-05-27 2008-04-15 Walt Froloff System and method for creating custom specific text and emotive content message response templates for textual communications
US20040243415A1 (en) 2003-06-02 2004-12-02 International Business Machines Corporation Architecture for a speech input method editor for handheld portable devices
US7881934B2 (en) 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
US7389223B2 (en) 2003-09-18 2008-06-17 International Business Machines Corporation Method and apparatus for testing a software program using mock translation input method editor
US7447627B2 (en) 2003-10-23 2008-11-04 Microsoft Corporation Compound word breaker and spell checker
US7634720B2 (en) 2003-10-24 2009-12-15 Microsoft Corporation System and method for providing context to an input method
US7412385B2 (en) 2003-11-12 2008-08-12 Microsoft Corporation System for identifying paraphrases using machine translation
US7689412B2 (en) 2003-12-05 2010-03-30 Microsoft Corporation Synonymous collocation extraction using translation information
EP1745650A1 (en) 2003-12-22 2007-01-24 Koninklijke Philips Electronics N.V. Content- processing system, method, and computer program product for monitoring the viewer's mood
US7590533B2 (en) 2004-03-10 2009-09-15 Microsoft Corporation New-word pronunciation learning using a pronunciation graph
US20050216253A1 (en) 2004-03-25 2005-09-29 Microsoft Corporation System and method for reverse transliteration using statistical alignment
US7996419B2 (en) * 2004-03-31 2011-08-09 Google Inc. Query rewriting with entity detection
JP5102614B2 (ja) 2004-04-19 2012-12-19 グーグル インコーポレイテッド レンダリングされた文書からの視覚的取得データに対する処理技術
US7451152B2 (en) 2004-07-29 2008-11-11 Yahoo! Inc. Systems and methods for contextual transaction proposals
WO2006011819A1 (en) 2004-07-30 2006-02-02 Eurekster, Inc. Adaptive search engine
US7725318B2 (en) 2004-07-30 2010-05-25 Nice Systems Inc. System and method for improving the accuracy of audio searching
US7505954B2 (en) 2004-08-18 2009-03-17 International Business Machines Corporation Search bar with intelligent parametric search statement generation
US7490033B2 (en) 2005-01-13 2009-02-10 International Business Machines Corporation System for compiling word usage frequencies
US7599915B2 (en) 2005-01-24 2009-10-06 At&T Intellectual Property I, L.P. Portal linking tool
US20070106663A1 (en) * 2005-02-01 2007-05-10 Outland Research, Llc Methods and apparatus for using user personality type to improve the organization of documents retrieved in response to a search query
US8694317B2 (en) 2005-02-05 2014-04-08 Aurix Limited Methods and apparatus relating to searching of spoken audio data
US9165280B2 (en) 2005-02-22 2015-10-20 International Business Machines Corporation Predictive user modeling in user interface design
US7555713B2 (en) 2005-02-22 2009-06-30 George Liang Yang Writing and reading aid system
US7970812B2 (en) 2005-03-17 2011-06-28 Microsoft Corporation Redistribution of space between text segments
US7512904B2 (en) 2005-03-22 2009-03-31 Microsoft Corporation Operating system launch menu program listing
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
CN1851617A (zh) 2005-04-22 2006-10-25 英华达(上海)电子有限公司 移动设备上便于ocr并输入到现有编辑器的转换装置及其方法
US7401073B2 (en) 2005-04-28 2008-07-15 International Business Machines Corporation Term-statistics modification for category-based search
US7277029B2 (en) 2005-06-23 2007-10-02 Microsoft Corporation Using language models to expand wildcards
JP2007024960A (ja) 2005-07-12 2007-02-01 Internatl Business Mach Corp <Ibm> システム、プログラムおよび制御方法
WO2007016370A2 (en) 2005-07-29 2007-02-08 Eazypaper Inc. Computer method and apparatus using embedded message window for displaying messages in a functional bar
CN1908863A (zh) 2005-08-07 2007-02-07 黄金富 双语混合输入方法及具有字典功能的手机
US7844599B2 (en) 2005-08-24 2010-11-30 Yahoo! Inc. Biasing queries to determine suggested queries
US20070052868A1 (en) 2005-09-02 2007-03-08 Charisma Communications, Inc. Multimedia accessible universal input device
US7676517B2 (en) 2005-10-14 2010-03-09 Microsoft Corporation Search results injected into client applications
US7565157B1 (en) 2005-11-18 2009-07-21 A9.Com, Inc. System and method for providing search results based on location
GB0524354D0 (en) 2005-11-30 2006-01-04 Ibm Method, system and computer program product for composing a reply to a text message received in a messaging application
US20070150279A1 (en) 2005-12-27 2007-06-28 Oracle International Corporation Word matching with context sensitive character to sound correlating
JP4816409B2 (ja) 2006-01-10 2011-11-16 日産自動車株式会社 認識辞書システムおよびその更新方法
US20070192710A1 (en) 2006-02-15 2007-08-16 Frank Platz Lean context driven user interface
US7953730B1 (en) 2006-03-02 2011-05-31 A9.Com, Inc. System and method for presenting a search history
US7983910B2 (en) 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US7676460B2 (en) 2006-03-03 2010-03-09 International Business Machines Corporation Techniques for providing suggestions for creating a search query
US7831911B2 (en) 2006-03-08 2010-11-09 Microsoft Corporation Spell checking system including a phonetic speller
US7593927B2 (en) 2006-03-10 2009-09-22 Microsoft Corporation Unstructured data in a mining model language
US20070255567A1 (en) 2006-04-27 2007-11-01 At&T Corp. System and method for generating a pronunciation dictionary
CN1851709A (zh) * 2006-05-25 2006-10-25 浙江大学 嵌入式多媒体基于内容的查询和检索的实现方法
US7849115B2 (en) 2006-06-05 2010-12-07 Bruce Reiner Method and apparatus for adapting computer-based systems to end-user profiles
US7818332B2 (en) 2006-08-16 2010-10-19 Microsoft Corporation Query speller
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7647351B2 (en) 2006-09-14 2010-01-12 Stragent, Llc Web scrape template generation
WO2008040585A1 (en) 2006-10-02 2008-04-10 International Business Machines Corporation Method and system of automatically adapting a user interface
US8511565B2 (en) 2006-10-17 2013-08-20 Silverbrook Research Pty Ltd Method of providing information via context searching of a printed graphic image
JP4888071B2 (ja) 2006-11-15 2012-02-29 富士通株式会社 プログラム、コピーアンドペースト処理方法、装置及び記録媒体
US7957955B2 (en) 2007-01-05 2011-06-07 Apple Inc. Method and system for providing word recommendations for text input
US7742774B2 (en) 2007-01-11 2010-06-22 Virgin Mobile Usa, L.P. Location-based text messaging
US8677281B2 (en) 2007-02-09 2014-03-18 Intel-Ge Care Innovations Llc System, apparatus and method for emotional experience time sampling via a mobile graphical user interface
US7991609B2 (en) 2007-02-28 2011-08-02 Microsoft Corporation Web-based proofing and usage guidance
EP2135231A4 (en) 2007-03-01 2014-10-15 Adapx Inc SYSTEM AND METHOD FOR DYNAMIC LEARNING
US8285745B2 (en) * 2007-03-01 2012-10-09 Microsoft Corporation User query mining for advertising matching
CN101286093A (zh) 2007-04-09 2008-10-15 谷歌股份有限公司 客户端输入方法
CN101286154B (zh) 2007-04-09 2016-08-10 谷歌股份有限公司 输入法编辑器用户档案
CN105117376B (zh) 2007-04-10 2018-07-10 谷歌有限责任公司 多模式输入法编辑器
CN105204617B (zh) 2007-04-11 2018-12-14 谷歌有限责任公司 用于输入法编辑器集成的方法和系统
CN101286092A (zh) 2007-04-11 2008-10-15 谷歌股份有限公司 具有第二语言模式的输入法编辑器
US8200663B2 (en) * 2007-04-25 2012-06-12 Chacha Search, Inc. Method and system for improvement of relevance of search results
US7930676B1 (en) 2007-04-27 2011-04-19 Intuit Inc. System and method for adapting software elements based on mood state profiling
US8799307B2 (en) 2007-05-16 2014-08-05 Google Inc. Cross-language information retrieval
US20080294982A1 (en) 2007-05-21 2008-11-27 Microsoft Corporation Providing relevant text auto-completions
KR20100029221A (ko) 2007-06-01 2010-03-16 구글 인코포레이티드 명칭 엔터티와 신규 단어를 검출하는 것
WO2008151466A1 (en) 2007-06-14 2008-12-18 Google Inc. Dictionary word and phrase determination
CN102124459B (zh) 2007-06-14 2013-06-12 谷歌股份有限公司 词典词和短语确定
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20090043584A1 (en) 2007-08-06 2009-02-12 Lawrence Brooke Frank Philips System and method for phonetic representation
US20090043741A1 (en) 2007-08-09 2009-02-12 Dohyung Kim Autocompletion and Automatic Input Method Correction for Partially Entered Search Query
US7917355B2 (en) 2007-08-23 2011-03-29 Google Inc. Word detection
US8661340B2 (en) 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8694483B2 (en) * 2007-10-19 2014-04-08 Xerox Corporation Real-time query suggestion in a troubleshooting context
US20090128567A1 (en) 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
US7728735B2 (en) 2007-12-04 2010-06-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for estimating a mood of a user, using a mood of a user for network/service control, and presenting suggestions for interacting with a user based on the user's mood
WO2009070931A1 (en) 2007-12-06 2009-06-11 Google Inc. Cjk name detection
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US7984004B2 (en) * 2008-01-17 2011-07-19 Microsoft Corporation Query suggestion generation
US8196042B2 (en) 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US8473276B2 (en) 2008-02-19 2013-06-25 Google Inc. Universal language input
US8010465B2 (en) 2008-02-26 2011-08-30 Microsoft Corporation Predicting candidates using input scopes
US7917488B2 (en) 2008-03-03 2011-03-29 Microsoft Corporation Cross-lingual search re-ranking
US7472061B1 (en) 2008-03-31 2008-12-30 International Business Machines Corporation Systems and methods for building a native language phoneme lexicon having native pronunciations of non-native words derived from non-native pronunciations
US20090249198A1 (en) 2008-04-01 2009-10-01 Yahoo! Inc. Techniques for input recogniton and completion
CN101276245B (zh) 2008-04-16 2010-07-07 北京搜狗科技发展有限公司 一种输入过程中编码纠错的提示方法和系统
CN106598266B (zh) 2008-05-19 2019-07-02 上海触乐信息科技有限公司 多语言混合输入的方法和系统
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8745051B2 (en) 2008-07-03 2014-06-03 Google Inc. Resource locator suggestions from input character sequence
WO2010014633A1 (en) 2008-07-28 2010-02-04 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US20110107265A1 (en) 2008-10-16 2011-05-05 Bank Of America Corporation Customizable graphical user interface
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8494835B2 (en) 2008-12-02 2013-07-23 Electronics And Telecommunications Research Institute Post-editing apparatus and method for correcting translation errors
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8564541B2 (en) 2009-03-16 2013-10-22 Apple Inc. Zhuyin input interface on a device
US20120113011A1 (en) 2009-03-20 2012-05-10 Genqing Wu Ime text entry assistance
CN101848272B (zh) 2009-03-25 2013-08-28 鸿富锦精密工业（深圳）有限公司 手机的输入法切换方法
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US8230336B2 (en) 2009-04-22 2012-07-24 Microsoft Corporation Efficient discovery, display, and autocompletion of links to wiki resources
CN101901235B (zh) 2009-05-27 2013-03-27 国际商业机器公司 文档处理方法和系统
US9104244B2 (en) 2009-06-05 2015-08-11 Yahoo! Inc. All-in-one Chinese character input method
US20110014952A1 (en) 2009-07-15 2011-01-20 Sony Ericsson Mobile Communications Ab Audio recognition during voice sessions to provide enhanced user interface functionality
US8479094B2 (en) 2009-09-08 2013-07-02 Kenneth Peyton Fouts Interactive writing aid to assist a user in finding information and incorporating information correctly into a written work
US20110066431A1 (en) 2009-09-15 2011-03-17 Mediatek Inc. Hand-held input apparatus and input method for inputting data to a remote receiving device
TW201113870A (en) 2009-10-09 2011-04-16 Inst Information Industry Method for analyzing sentence emotion, sentence emotion analyzing system, computer readable and writable recording medium and multimedia device
US8904012B2 (en) 2009-11-27 2014-12-02 Google Inc. Client-server input method editor architecture
US8612206B2 (en) 2009-12-08 2013-12-17 Microsoft Corporation Transliterating semitic languages including diacritics
EP3091535B1 (en) 2009-12-23 2023-10-11 Google LLC Multi-modal input on an electronic device
US8631004B2 (en) 2009-12-28 2014-01-14 Yahoo! Inc. Search suggestion clustering and presentation
US20110178981A1 (en) 2010-01-21 2011-07-21 International Business Machines Corporation Collecting community feedback for collaborative document development
US20110184723A1 (en) 2010-01-25 2011-07-28 Microsoft Corporation Phonetic suggestion engine
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
KR101220709B1 (ko) 2010-02-03 2013-01-10 삼성전자주식회사 한글 및 한자가 혼용된 문서에 대한 전자 사전 검색 장치 및 방법
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20110219299A1 (en) 2010-03-07 2011-09-08 DSNR Labs Ltd. Method and system of providing completion suggestion to a partial linguistic element
CN102193643B (zh) 2010-03-15 2014-07-02 北京搜狗科技发展有限公司 一种文字输入方法和具有翻译功能的输入法系统
US9086735B2 (en) 2010-04-12 2015-07-21 Google Inc. Extension framework for input method editor
US20110258535A1 (en) 2010-04-20 2011-10-20 Scribd, Inc. Integrated document viewer with automatic sharing of reading-related activities across external social networks
US8161073B2 (en) 2010-05-05 2012-04-17 Holovisions, LLC Context-driven search
US20110289105A1 (en) 2010-05-18 2011-11-24 Tabulaw, Inc. Framework for conducting legal research and writing based on accumulated legal knowledge
US8694899B2 (en) 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
JP5455232B2 (ja) 2010-06-25 2014-03-26 Ｋｄｄｉ株式会社 画像選定装置、方法及びプログラム
CN102314461B (zh) 2010-06-30 2015-03-11 北京搜狗科技发展有限公司 一种导航提示方法及系统
US8463592B2 (en) 2010-07-27 2013-06-11 International Business Machines Corporation Mode supporting multiple language input for entering text
US20120036468A1 (en) 2010-08-03 2012-02-09 Nokia Corporation User input remapping
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US20120060113A1 (en) 2010-09-08 2012-03-08 Nuance Communications, Inc. Methods and apparatus for displaying content
US8594997B2 (en) 2010-09-27 2013-11-26 Sap Ag Context-aware conversational user interface
BR112013007242A8 (pt) * 2010-09-30 2017-05-02 Koninklijke Philips Nv sistema para a geração de uma pesquisa médica refinada a partir de uma pesquisa médica ao usuário, estação de trabalho, método para a geração de uma pesquisa médica refinada de uma pesquisa médica ao usuário e produto de progama de computador
US8659562B2 (en) 2010-11-05 2014-02-25 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
CN102012748B (zh) 2010-11-30 2012-06-27 哈尔滨工业大学 语句级中英文混合输入方法
US8712989B2 (en) 2010-12-03 2014-04-29 Microsoft Corporation Wild card auto completion
WO2012092709A1 (en) 2011-01-05 2012-07-12 Google Inc. Method and system for facilitating text input
US20120297294A1 (en) 2011-05-17 2012-11-22 Microsoft Corporation Network search for writing assistance
WO2012159249A1 (en) 2011-05-20 2012-11-29 Microsoft Corporation Advaced prediction
US8446432B2 (en) 2011-07-12 2013-05-21 Sony Corporation Context aware user interface system
US8762356B1 (en) 2011-07-15 2014-06-24 Google Inc. Detecting change in rate of input reception
US8564684B2 (en) 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
US20130054617A1 (en) 2011-08-30 2013-02-28 Alison Williams Colman Linking Browser Content to Social Network Data
US20130091409A1 (en) 2011-10-07 2013-04-11 Agile Insights, Llc Method and system for dynamic assembly of multimedia presentation threads
US10264102B2 (en) 2011-11-03 2019-04-16 Aaron Nahumi System, methods and computer readable medium for augmented personalized social network
US8612414B2 (en) 2011-11-21 2013-12-17 Google Inc. Grouped search query refinements
US20150370833A1 (en) * 2011-11-28 2015-12-24 Google Inc. Visual refinements in image search
US9378290B2 (en) 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
US8996356B1 (en) 2012-04-10 2015-03-31 Google Inc. Techniques for predictive input method editors
CN110488991A (zh) 2012-06-25 2019-11-22 微软技术许可有限责任公司 输入法编辑器应用平台
WO2014000251A1 (en) 2012-06-29 2014-01-03 Microsoft Corporation Input method editor
US20150106702A1 (en) 2012-06-29 2015-04-16 Microsoft Corporation Cross-Lingual Input Method Editor
US8959109B2 (en) 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
US8498864B1 (en) 2012-09-27 2013-07-30 Google Inc. Methods and systems for predicting a text
CN105580004A (zh) 2013-08-09 2016-05-11 微软技术许可有限责任公司 提供语言帮助的输入方法编辑器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144162A1 (en) * 2003-12-29 2005-06-30 Ping Liang Advanced search, file system, and intelligent assistant agent
US20060204142A1 (en) * 2005-03-11 2006-09-14 Alamy Limited Ranking of images in the results of a search
US20070233692A1 (en) * 2006-04-03 2007-10-04 Lisa Steven G System, methods and applications for embedded internet searching and result display
CN101661474A (zh) * 2008-08-26 2010-03-03 华为技术有限公司 一种搜索方法和系统
US20120023103A1 (en) * 2009-01-21 2012-01-26 Telefonaktiebolaget Lm Ericsson (Publ) Generation of Annotation Tags Based on Multimodal Metadata and Structured Semantic Descriptors
CN102056335A (zh) * 2009-11-06 2011-05-11 华为技术有限公司 移动搜索方法、装置和系统
CN102314441A (zh) * 2010-06-30 2012-01-11 百度在线网络技术（北京）有限公司 用于供用户进行个性化素材输入的方法、设备和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BEN-HAIM N等: "improving web based image search via content based clustering", 《COMPUTER VISION AND PATTERN RECOGNITION WORKSHOP 2006 CONFERENCE ON NEW YORK》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488118A (zh) * 2015-09-02 2017-03-08 联发科技股份有限公司 图像调整方法及照相系统
CN108279828A (zh) * 2016-12-30 2018-07-13 北京搜狗科技发展有限公司 一种启动应用程序的方法、装置和终端

Also Published As

Publication number Publication date
KR101911999B1 (ko) 2018-10-25
CN104823183B (zh) 2018-04-24
KR20150048751A (ko) 2015-05-07
JP6122499B2 (ja) 2017-04-26
WO2014032244A1 (en) 2014-03-06
JP2015528604A (ja) 2015-09-28
US20150161126A1 (en) 2015-06-11
EP2891078A4 (en) 2016-03-23
EP2891078A1 (en) 2015-07-08
US9767156B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
CN104823183A (zh) 基于特征的候选选择
US11290775B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
US11315546B2 (en) Computerized system and method for formatted transcription of multimedia content
US10565771B2 (en) Automatic video segment selection method and apparatus
CN110134931B (zh) 媒介标题生成方法、装置、电子设备及可读介质
US11194856B2 (en) Computerized system and method for automatically identifying and providing digital content based on physical geographic location data
JP6254534B2 (ja) エモティコンを識別および提案するためのシステムおよび方法、ならびに、コンピュータプログラム
CN107241260B (zh) 基于人工智能的新闻推送的方法和装置
WO2017124116A1 (en) Searching, supplementing and navigating media
US20190130185A1 (en) Visualization of Tagging Relevance to Video
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN102598039A (zh) 多模式在线广告和在线广告交换
CN103547980A (zh) 知晓上下文的输入引擎
WO2017100015A1 (en) Language and domain independent model based approach for on-screen item selection
JP5961320B2 (ja) ソーシャル・メデイアにおけるユーザの分類方法、コンピュータ・プログラム及びコンピュータ
US10242033B2 (en) Extrapolative search techniques
CN104731870A (zh) 一种用于提供推荐信息的方法与设备
CN111309200B (zh) 一种扩展阅读内容的确定方法、装置、设备及存储介质
JP2019091450A (ja) ユーザ−入力コンテンツと連関するリアルタイムフィードバック情報提供方法およびシステム
US10432572B2 (en) Content posting method and apparatus
Roy et al. Social multimedia signals
CN111814488B (zh) 一种诗词生成方法、装置、电子设备及可读存储介质
US11308110B2 (en) Systems and methods for pushing content
EP3306555A1 (en) Diversifying media search results on online social networks
CN113821677A (zh) 一种生成封面图像的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant