CN101568918B - 基于web的搭配错误证明 - Google Patents

基于web的搭配错误证明 Download PDF

Info

Publication number
CN101568918B
CN101568918B CN2007800446684A CN200780044668A CN101568918B CN 101568918 B CN101568918 B CN 101568918B CN 2007800446684 A CN2007800446684 A CN 2007800446684A CN 200780044668 A CN200780044668 A CN 200780044668A CN 101568918 B CN101568918 B CN 101568918B
Authority
CN
China
Prior art keywords
collocation
word
query
search
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800446684A
Other languages
English (en)
Other versions
CN101568918A (zh
Inventor
J·高
W·B·多兰
H-W·洪
M·周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101568918A publication Critical patent/CN101568918A/zh
Application granted granted Critical
Publication of CN101568918B publication Critical patent/CN101568918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • G06F40/49Data-driven translation using very large corpora, e.g. the web
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/232Orthographic correction, e.g. spell checking or vowelisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

可以使用本地和包括web在内的基于网络的语料库来自动地证明搭配错误。例如,根据一说明性实施例,来自文本样本的一个或多个搭配可以与诸如web的内容等语料库进行比较。搭配被标识为其在该语料库中是否是不被赞同的。经由输出设备来提供搭配在该语料库中是否不被赞同的指示。随后可以采取诸如搜索并经由用户输出提供可能适当的单词搭配的附加步骤。

Description

基于web的搭配错误证明
背景
在各个单词的意义进一步受使用上下文约束时,两种不同语言之间的翻译通常涉及难点。在人们学习通常不是他们的母语的第二语言时,通常有许多单词选择,它们看起来将翻译正确但实际上不在特定分组或搭配中使用,或不在说母语的人之间的典型使用中使用。这种搭配在抽象意义上可能在句法或语法上是正确的,但超出正常使用范围之外,并且在说母语的人直觉上看来通常是奇怪的或拗口的。语言中的单词组合通常遵循形成单个词条的固定模式,所以即使具有类似意义并以类似语法关系排序的单词组也可能不落入该语言的母语使用中的任何词条,而不管该词条是否被说母语的人明确地预想为阻止该语言进行替换使用。
例如,学习英语作为第二语言的某人可能发现“strong”和“powerful”是她母语中的单个单词的两个替换翻译,并且“to make”和“to do”是一不同单词的两个替换翻译。在没有英语使用的大量经验的情况下,学习者可能写下“I had a cup of powerful tea”而非“I had a cup of strong tea”,或“I did a plan”而非“I made a plan”。类似的搭配错误对以任何语言为母语的、正学习不是其母语的任何其它语言的人而言是典型的。这种错误的单词搭配通常只有在对该语言的长期的上下文经验和交互式实践之后才能避免,并通常不能使用字典或任何其它类型的快速且容易访问的语言参考来解决。
提供以上讨论仅用作一般的背景信息,并不旨在帮助确定所要求保护的主题的范围。
概述
在包括方法、计算系统和编码用于计算系统的可执行指令的软件的各实施例中,搭配错误可以使用本地和诸如web等基于网络的语料库来自动地证明。例如,根据一说明性实施例,来自文本样本的一个或多个搭配可以与诸如web的内容等语料库进行比较。搭配被标识为其在该语料库中是否是不被赞同的。经由输出设备来提供搭配在该语料库中是否不被赞同的指示。随后可以采取诸如搜索并经由用户输出提供可能适当的单词搭配等附加步骤。
提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决在背景中提及的任何或所有缺点的实现。
附图简述
图1描绘启用根据一说明性实施例的方法的计算系统的用户界面。
图2描绘根据一说明性实施例的方法的流程图。
图3描绘根据一说明性实施例的方法的流程图。
图4描绘启用根据一说明性实施例的方法的计算系统的用户界面。
图5描绘可在其中实施一些实施例的计算环境的框图。
图6描绘可在其中实施一些实施例的另一计算环境的框图。
详细描述
图1描绘启用根据一说明性实施例的搭配错误证明的方法的计算系统的搭配错误证明界面10。搭配错误证明界面10可以是包括计算系统和被配置成可由计算系统执行的可执行指令以及启用各方法实施例的上下文在内的各实施例的图示。以下讨论提供各说明性实施例的进一步细节。尽管这一附图和后续附图中包括特定说明性安排和标记以及通过计算机实现的方法所比较的各文本样本,但它们旨在是作为此处的讨论和权利要求书中所提供的多样性和更广泛意义的图示和指示。
搭配错误证明界面10组成与软件应用程序相关联的图形显示面板,其是在图1的说明性实施例中在诸如计算机监视器等输出设备上的图形用户界面中同时打开的多个图形显示面板中的一个。根据针对证明将英语作为第二语言(ESL)的学习者所输入的文本样本的一个说明性实施例,搭配错误证明界面10在标题栏12中被标记为“ESL证明”。ESL提供用于搭配错误证明的一个说明性实施例的理想应用程序,因为错误的搭配已经被发现组成将英语作为第二语言的中间学生所犯的错误中的很大一部分。
该ESL证明应用程序的说明性实施例在以下讨论中重复引用,虽然考虑到其只是作为说明性示例,指示可以应用于各种各样其它实施例的更广泛的原理。例如,以下描述其它实施例,其可以在没有图1所示的搭配错误证明界面10的情况下操作,而还有一些实施例则可以针对将任何其它语言作为第二语言的学习者,且其它实施例更针对例如学习掌握其自己的母语的孩子。
搭配错误证明界面10在其顶部包括对应于两个不同的任务模式的两个选项卡:标记为“装入ESL句子”的选项卡11(同样,针对特定针对ESL的实施例)和标记为“运行查询”的选项卡13。图1在显示器上描绘选择了“装入ESL句子”选项卡11的用户界面10以及其相关联的按钮、文字说明、文本框、和其它用户界面元素(或“窗口小部件”)。图4在显示器上描绘选择了“运行查询”选项卡13的搭配错误证明界面10以及与该任务相关联的用户界面元素,其讨论在更下面出现。
“装入ESL句子”选项卡11下的用户界面面板包括各种交互式输入和输出用户界面元素,它们进而如下描述。它们通常在具有标题文字说明“分析句子”的上部分和具有标题文字说明“分析搭配”的下部分之间划分。
沿着“分析句子”部分的顶部出现一行界面元素:“从已进行语法分析的文件中装入”按钮15、“从原始文件中装入”按钮17、在该描绘中当前读为“动词-名词搭配”(以下讨论)的组合框19前面的读为“搭配类型”的文字说明、以及“提取搭配”按钮21。这些窗口小部件下面是具有左右和上下滚动条22、24和读为“原始句子”的标题栏20的文本框23。下面是具有文字说明“已进行语法分析的句子”的文本框25。一般而言,这些界面元素启用用于从文本样本中装入句子并将其准备与可在网络上获得的内容中的搭配进行比较以用于错误证明的用户功能。
文本框23包括来自诸如ESL学习者所写的文档等文本样本的多个样本句子。如文本框23上的上下滚动条24的槽中的滚动块26的经压缩的大小所示,当前显示的句子是当前装入到该文本框中的句子的总列表的一小部分,用户可以通过移动滚动块26来访问该列表。文本框23中所显示的句子表示将英语作为第二语言的中间学生可能犯的典型错误:“I did aplan”、“I have recognized this person for years”和“I had a cup of powerfultea”。
在用户通过选择“从已进行语法分析的文件中装入”按钮15或“从原始文件中装入”按钮17启动该过程之后,这些句子可以从在另一应用程序中打开的文档中手动地装入,或它们可作为具有ESL类型的错误来自动地选择并从另一文档或多个文档中导入。在另一实施例中,诸如文字处理应用程序等不同的应用程序可以具有默认为活动的ESL证明触发器,在文字处理应用程序中正在输入的文本中检测到ESL类型的错误时,其可以自动地引出推荐使用搭配错误证明界面10的面板。
如按钮15和17所示,文本样本在被应用程序着手处理时可能已进行了语法分析或未进行语法分析。如果文本样本尚未进行语法分析,则其可以例如在装入之后采取附加步骤之前进行语法分析。已进行语法分析的句子在文本框25中描绘。具体地,这是文本框23中描绘的第二个句子的已进行语法分析的版本,其周围具有局部加亮以指示其被用户选中,如通过用鼠标左键点击或用光笔敲击或通过其它用户输入机制来选中。
在自然语言处理和自然语言理解中,语法分析已成为活跃的开发区域。语法分析可以包括诸如词性标注、分块和语义标记等任务。在图1所示的实施例中,文本框25中的句子已被标注词性并分块。其它实施例可以包括语法分析任务的其它组合,包括通常更针对一些非西方语言的一些任务,如词分割。
在文本框25中的已进行语法分析的句子中,原始句子中的每一单词其后直接跟随一个斜线号(即“正斜杠”),其将该单词与分配给该单词的两字母或三字母的词性标注分开。词性标注的一些说明性部分在以下列出。句子末尾的句点也伴随着其自己的将其与另一句点分开的斜线号,用作与词性标注等效的标注以指示标点符号的功能。该句子的以一个或两个(在其它示例中或更多)为一组的单词由括号来包围以对应于块边界,每一括起来的组的内部的开头处有一个两字母的块类型标记。该句子中所表示的词性标注包括人称代词“PRP”;除第三人称单数之外的现在时动词“VBP”;动词过去分词“VBN”;限定词“DT”;单数或可代替普通名词“NN”;介词或从属连词“IN”;以及复数普通名词“NNS”。根据一示例性实施例的词性标注的说明性列表在以下提供,而具有不同的定义和更多或更少种类的词性标注的其它方案可以在其它实施例中使用。对于当前示例性实施例,一些标注以英语用示例示出。
表1:词性标注的说明性列表:
1.CC-并列连词(例如,“and”、“but”、“nor”、“or”、“yet”、“plus”、“minus”、“times”、“over(除)”)
2.CD-基数
3.DT-限定词(包括冠词和不定限定词,例如“a”、“an”、“every”、“no(作为冠词)”、“the”;以及例如“another”、“any”、“some”、“each”、“either”、“neither”、“that”、“these”、“this”、“those”、“all”的某些用法、“they”)
4.EX-存在性“there”
5.FW-外来词
6.IN-介词或从属连词
7.JJ-形容词
8.JJR-形容词比较级
9.JJS-形容词最高级
10.LS-列表项标记
11.MD-情态动词(例如,“can”、“could”、“may”、“might”、“must”、“shall”、“should”、“will”、“would”)
12.NN-名称、普通、单数或可代替
13.NNS-名称,普通,复数
14.NNP-专有名词,单数
15.NNPS-专有名词,复数
16.PDT-前置限定词
17.PDS-所有格字尾
18.PRP-人称代词
19.PRP$-所有格代词(例如“′s”“s′”“′”)
20.RB-副词
21.RBR-副词比较级
22.RBS-副词最高级
23.RP-虚词
24.SYM-符号
25.TO-“To”
26.UH-惊叹词
27.VB-动词,基础形式
28.VBD-动词,过去式
29.VBG-动词,动名词或现在分词
30.VBD-动词,过去分词
31.VBP-动词,现在时,第三人称单数除外
32.VBZ-动词,现在时,第三人称单数
33.WDT-wh限定词
34.WP-wh代词
35.WP$-wh代词所有格(“whose”)
36.WRB-wh副词
文本框25中的已进行语法分析的句子所表示的已进行语法分析的文本样本也被分块,在该描绘中,其中括号对围绕每一定义的块,并且在每一括起的组的内容的开头用标记来指示块类型。分块是可以基于表面和局部信息来执行的相对易处理的语法分析任务。分块涉及将句子划分成不重叠的片段,以使每一块都包含一个主中心词以及与其相关联的各个单词。在该说明性实施例中,分块因此可被认为是将句子划分成各个短语,但具体地划分成可以定义的最小短语单元,以防止短语重叠。分块使文本的句法结构和短语之间的关系或依赖性能够变得可标识。例如,一个名词短语可以是动词短语的主语,而第二名词短语可以是该动词短语的宾语。
图1中的说明性块提供了这样的良好示例。第一块被标记为名词短语NP,并且基于单独的主中心词“I”(该句子的主语)。第二块被标记为动词短语VP,且包括“have”和“recognized”;这两个动词合作来形成动词“to recognize”的过去分词形式的集成概念。第三块是另一NP或名词短语,包括中心词“person”以及相关联的辅助词,以形成单个概念“this person”作为句子的宾语。第四块标记为介词短语PP,而第五块标记为另一名词短语NP,其每一个都包含单个单词。句点(虽然被标记为句点)被从块中省略。
与搭配错误证明界面10相关联的或其使用的语法分析系统可被训练来以诸如自然语言处理领域的技术人员熟悉的方式自动地执行词性标注并精确可靠地分块。
“装入ESL句子”选项卡11下的用户界面面板的具有标题文字说明“分析搭配”的下部分包括一组文本框27、29、31和33,每一个都用标题栏和至少一个滚动条来描绘。文本框27的标题栏读为“ESL搭配”,且该文本框被示为包括来自文本框25中的句子的两个搭配的块:动词短语“haverecognized”和名词短语“this person”(该句子的宾语)。如其所现,使用词性标注和分块标记以及括号,搭配的短语读为“[VP have/VBPrecognized/VBN][NP this/DT person/NN]”。该搭配在文本框27中提供,因为搭配类型组合框19被设置为“动词-名词搭配”,其是指示具有彼此邻近定位的动词短语和后续名词短语的搭配的选项。对应于该设置的搭配从文本框25中的句子中提取出来。
文本框29包含搭配候选,如其标题栏中所示。搭配候选具有与文本框27中的搭配相同的名词短语“this person”,但在该名词短语之前附随各种不同的过去分词动词。这些候选动词是以过去分词形式并在动词短语中在“have”之后作为动词中心词替换“recognized”的候选。它们包括“known”、“admitted”、“thought”等。它们也不包括原始搭配,因为原始搭配与语料库的内容的比较揭示其或是稀少的或不在语料库的内容中并且因此是不被赞同的并可能是错误的。
搭配错误证明界面10或与其相关联的或与其一起使用的应用程序因此可以指示,原始搭配在语料库的内容中是不被赞同的并且因此可能是错误的。该指示可以在例如如图1所示的说明性实施例中的文本框33中提供给用户来查看。文本框33指示搭配状态,如其标题栏所示。其指示该搭配在语料库的内容中是不被赞同的,或可能是错误的,并在被发现是不被赞同的搭配中的动词中心词下画出波浪线32,该中心词是用于替换的候选。用户可以如通过双击所需替换搭配来选择文本框29中的搭配候选中的一个,例如来替换被指示为不被赞同的搭配。该指示还可以例如在分开的文字处理程序、网络导航程序或其它应用程序中提供,如通过向不适当的搭配添加标记。这种标记可以是将不被赞同的或错误的搭配加亮或加下划线,如用明亮地着色的、波浪线等来吸引用户的注意。
文本框29中的搭配候选是作为将文本框27中的搭配与大语料库中可获得的内容进行比较的结果来提供的。在该说明性实施例中,这可以包括本地语料库和/或包括主存在分布式资源上的并可经由诸如万维网等网络访问的内容的基于网络的语料库。在其它实施例中,语料库可以包括诸如内联网、广域网、局域网或某一其它类型的网络等其它可用网络的内容。使用web作为语料库而从web搜索中导出的内容可以与对诸如Wall StreetJournal(华尔街期刊)语料库等常规语料库的搜索一起使用。相对于搭配在web内容中的出现,可以向该搭配在常规语料库中的出现给予特定权重,因为与可能包括更多样化的源且包含物相对语料库而言是更随意地书写的web内容相比,应当相对确信语料库是一贯正确使用的。然而,web内容也以其相对语言使用的任何可获得的常规语料库而言的巨大数量而提供实质优点。对应于文本样本中任何给定搭配的适当的搭配可能在常规语料库中没有出现。另一方面,已经发现至少在英语中可以出现在适当使用中的几乎任何单词搭配都可以在web上找到,或至少可以找到可以通过基于该搭配的不同查询项的灵活搜索来揭示的结构上等效的搭配,如以下所述。已经发现,至少对于来自例如将英语作为第二语言的学习者的典型文本样本中找到的大多数错误的搭配,可以在web上找到适当的替换搭配。如果特定句子或搭配未出现在web搜索中,则这对该句子或搭配是错误的给出了更高的可信度。可以评估搜索结果来查看类似的替换是否以远大于主题搭配的频率出现,以便搭配在web上的纵使是错误的可能出现也将被如此揭示。
在撰写本文之时,web上可获得的大多数文本内容是用英语写的。许多当前的人类语言在web上只可获得少量内容,并且甚至某些普遍讲的语言在web内容之中具有相对不多的表示。例如,印地语是当前世界上讲得第三广泛的语言,但至少在一个研究中发现由比冰岛语还少的web内容所表示,而讲冰岛语的人少于讲印地语的人的千分之一。搭配错误证明的效力部分地取决于可用作要被证明的文本样本中的搭配的比较的基础的语料库的样本大小。因此,可以对不同语言的基于web的搭配错误证明使用专用方法,对于证明英语的文本样本这些方法可能是不需要的。
这可以包括例如,对与文本样本的语言相匹配的目标语言的内容的特别定标或筛选,或对用作比较的基础的语料库使用除web或通过网络访问的其它内容之外的专用网络、语料库或数字化库。这些方法还可以包括例如使用被启用来索引和搜索未用Unicode(统一编码)进行编码的内容的搜索实用程序,或使用专用字符编码方案或转换格式以能够读取、索引、和搜索非标准编码格式的内容。存在使用并非罗马字母表的写作系统的语言编写的大量内容,甚至对于某些语言是web上的绝大部分内容,以非标准编码格式存在的指示,以使被启用来索引和搜索这些非标准编码格式的搜索可以产生比其它方式更多的内容。根据各实施例,诸如这些方法等各种方法可有助于应用于最大可能范围的语言的基于web的搭配证明系统的能力。
用于约束或偏向被搜索的web内容的附加策略还可以包括将偏好应用于URL的类别或分类。一些URL可被专门分类来用于优先搜索,和/或用于向在它们的内容中找到的搭配应用较高权重,如果知道它们的内容包括可靠的适当语言使用的大库或语料库的话。这还可以包括基于顶级域(TLD)来优先偏向搜索或搜索结果加权;例如,可以向具有TLD“edu”或“gov”而非“com”或“org”的URL应用附加搜索顺序或结果加权。对于关于并非英语的语言的搭配证明中所涉及的搜索,筛选对目标语言的web内容的搜索还可以包括,在分配给该目标语言是官方语言或被大量使用的国家的国家代码TLD的基础上,偏向或限制搜索或应用于其结果的权重。例如,针对证明法语文本样本的搭配证明应用程序可被偏向或限制到对在具有TLD“fr”、“be”、“ch”或“ca”(分别是法国、比利时、瑞士和加拿大的国家代码)或属于其它官方或基本上讲法语国家的其它国家代码TLD的网站上找到的web内容的搜索。
文本框31示出在语料库的内容中找到的、形成在搭配中的“this person”之前的动词短语的中心词的所有可用动词的较大列表的一部分。如文本框31的右侧的上下滚动条中的、作为该滚动条的大小的一部分的滚动块所示,该列表远大于当前在图1的描绘中的文本框31中可视的这一小部分可用动词。文本框31中列出的大多数可用搭配不是如文本框29中的列表一样作为搭配候选来选择的,因为它们在模糊匹配评分方案中得分不高,该方案是基于关于与原始搭配相匹配并用以纠正的形式提供原始意义的搭配将其替换的可能的适当性的一组准则的。
比较文本框27中的搭配、标识其在语料库的内容中是否是不被赞同的、以及提供它的建议替换的各说明性方法参考其余附图详细描述。
图2描绘根据一说明性实施例的搭配证明方法50的流程图,该方法的某些方面与图1所描绘的搭配错误证明界面10的方面相类似。方法50的中心步骤以实线轮廓在图2的流程图中描绘。这些包括将来自文本样本的一个或多个搭配与语料库进行比较的步骤51,如通过提交包含该搭配的内容作为web搜索的查询项;标识搭配在语料库中是否不被赞同的步骤53;以及经由输出设备提供搭配是否不被赞同的指示的步骤55。如递归流程图箭头所示,步骤51和步骤53可以接连重复地执行,以对来自文本样本的搭配与语料库执行不同种类的比较,并如不同种类的比较所示来标识搭配在语料库中是否不被赞同。
步骤51、53、55还可以涉及附加步骤,或其之前或之后也可以有附加步骤,如此处以虚线轮廓所描绘的那些步骤。这些步骤包括例如接收文本中的单词搭配的指示或标识文本中的单词搭配,如通过接收用户输入或选择或文本样本的其它形式的指示,如步骤61所示。其还可以涉及文字处理应用程序或涉及人类文本输入的某一其它软件应用程序中的默认特征,其中该输入被监控并筛选出错误搭配或非母语使用的其它指示,并且如果找到这种指示则触发附加步骤,如步骤63所示。文本样本还可以进行语法分析,如步骤65以及相关图1的说明性讨论所示,虽然例如该方法的其它实施例可被应用于已进行了语法分析的文本样本。
特定类型的搭配可被特别定标来与语料库进行比较,如步骤67所示。该步骤包括选择诸如动词-名词搭配、介词-名词搭配、形容词-名词搭配、或动词-副词搭配等来与语料库进行比较,并执行附加搭配错误证明步骤。这各个类别的搭配的任何一个可以在一些实施例中独占地使用,而这些搭配类型的任何或全部和/或附加搭配类型可以在其它实施例中使用。已经发现,使用步骤67中列出的4种搭配类型覆盖了典型的非母语用户所犯的所有搭配错误的很大部分。选择这些特定搭配类型涉及首先在文本样本中标识词性,如通过预备语法分析步骤,如步骤65所示或相关图1所讨论的。
标识搭配在语料库中是否不被赞同的步骤53可以对基于不同格式的搭配的各种单独的查询项重复执行,并可以基于所使用的所有查询项来采取正在与语料库进行比较的搭配在该语料库的内容中是否不被赞同的最终判定的形式。
在图3的流程图中的类似步骤351和353中进一步描绘一个说明性实施例。在该实施例中,如图2的步骤51中的将来自文本样本的搭配与语料库进行比较可以包括模糊匹配策略,该策略包括在语料库中搜索包括含有该搭配的完整句子、简化句子、块对、或单词对的查询项,分别如图3的步骤361、363、365和367所示。简化句子是通过从包括该搭配的句子中移除辅助词来形成的,其中在一说明性实施例中,辅助词是从该句子中选择的、预定义为保留该句子中的搭配所不需要的单词。例如,基于错误搭配句子“I have recognized this person for years”的简化句子查询模板可以是“have recognized this person”。块对和单词对查询项可以是针对直接彼此接近或者在同一句子中在预选择的接近度范围之内的包含该搭配的各特定单词或块的查询项,接近度范围诸如隔开它们的其它单词不超过一个或两个。模糊匹配搜索中的简化句子搜索、块对搜索和单词对搜索还可以检测具有不同但等效词序的结果,或将占位符用于特定功能单词和其它类型的单词,以便例如对于模糊匹配而言“recognize this person”和“recognize thatperson”可被认为是等效的。
如果包括搭配的查询项评分不在预选择的指示查询项在语料库中的模糊匹配的显著存在的阈值匹配分数之上,则该搭配可被评估成不被赞同的。图2的步骤53中的标识搭配在语料库中是否不被赞同可以包括对查询项执行不同类型的搜索,包括搜索句子的或简化句子的匹配,分别如步骤371和373所示,或评估对块对或单词对所找到的匹配的阈值分数,分别如图3的步骤375和377所示。由于句子和简化句子更详细,所以对于这些句子的一个的单个匹配或少量匹配可被认为足以指示搭配不是不被赞同的或错误的。块对或单词对的匹配由于受约束较少且更一般,并由于语言的非专家用户所写的web内容的相对稀少残留,所以可能对其在至少一些即使错误的搜索结果中被找到有较高的预期。因此根据该实施例,可以对块对和单词对匹配设置较高阈值,该阈值足以指示所指示的块对或单词对相对流行,指示对应于正常使用的单词搭配,而非只是语料库中的可能预期不被赞同的单词搭配的相对少量的表示。
匹配分数可以包括例如向块对或单词对的匹配的每一出现分配特定累积分数的基本计数,以及如果找到达到最小总分的足够匹配则只指示搭配是适当的而非不被赞同的。还可以组合具有不同查询的结果的分数,对更具体的查询项给出更多权重,如对块对匹配的每次计数给出单词匹配的每次计数的10倍权重,如一个说明性示例所示。简化句子或全句也可以包括在匹配评分评估中,而非足以独自确定搭配状态。例如,对于包含来自文本样本的搭配对的简化句子所找到的每一匹配例如可被分配是每一块对的匹配的的权重的20倍权重和每一匹配单词对的权重的200的分数。不管使用什么方法来评估匹配或匹配分数,该过程都可以在提供搭配是不被赞同的(如步骤381所示)或它们不是不被赞同(如步骤383所示)的指示的步骤355中结束。
不同的查询模板的加权和用来将一般使用搭配和不被赞同的搭配进行区分的阈值匹配分数,可被搭配证明软件开发者或最终用户作为用户选项来校准或调节得更加敏感或更不敏感。用户可能想要将阈值按比例缩放得更低以获得更快的过程,虽然一些可疑的或模棱两可的不被赞同的搭配更可能溜掉;或用户可以选择更彻底并将阈值设置得更高,并可能花费更多时间审核所标记的、结果仍然是对任何可能替换的相对可比较的使用的搭配,但对从文本样本中排除任何错误的搭配具有更大确信度。
因为图3中的查询项的顺序是从更具体到更一般和更不受约束的,从而收集来自每一连续步骤的搜索结果可能花费比前一步骤更长的时间。尽管返回搜索结果的所有步骤可能只要求几分之一秒,但仍然可以通过一找到匹配的足够指示就结束步骤351和353的处理而不审核其余的愈加耗时的步骤,来使该系统的性能更高效并且降低总时间。如果对于给定的句子或简化句子找到许多匹配,则例如可以避免花费执行块对或单词对搜索所需要的、相对较多的几分之一秒。使用不同的查询项搜索同一搭配因此可以顺序地进行,直到任一个查询项提供满足用于匹配该搭配的预选择的阈值的搜索结果或包括该搭配的所有查询项都已被使用而都不满足该预选择的阈值为止。
返回图2所描绘的进一步步骤,根据一说明性实施例,在提供了对特定搭配是否不被赞同的指示之后,搭配错误证明应用程序可以进一步搜索并提供候选替换单词来校正错误的搭配,如步骤71、73、75、77所示。这可以包括用通配符替换一个或多个不被赞同的搭配中的一个或多个单词来组成查询项,如步骤71所示。通配符可以用作在被指示为可能错误的可疑单词的位置上插入到查询项中的开放的占位符,其中该占位符可以对应于被搜索的语料库中的、插入到该可疑单词的位置的、查询项的其余部分内的任何单词。通配符可以通过用代替所怀疑的错误单词的诸如星号等符号替换一个单词来用在搜索中。
可以在单词搭配参考中搜索诸如具有通配符元素等提供可能的搭配候选的查询项,如步骤73所示。单词搭配参考同样可以是web或另一基于网络的或本地语料库,并且还可以包括专用单词搭配字典参考,如通过筛选web搜索结果来移除单词搭配字典中不包括的搭配。
对搭配参考的搜索随后可以返回具有使用任何单词或短语代替表示通配符占位符的符号的文本片段的结果。例如,再次参考图1中的搭配候选的文本框29,此处列出的若干搭配候选可能都是从短语“this person”前面具有通配符的通配符搜索中返回的。搜索项然后可以是例如“*this person”,其中星号“*”形成通配符,并且搜索结果包括“known this person”、“admitted this person”、“thought this person”等。搜索工具用来指示通配符单词的符号的选择是任意的,并可以是&号、问号或任何其它符号。
通配符可以用于基于同一搭配的一系列查询项的每一个中,从而基于该搭配从较受约束到较不受约束的查询模板来顺序地审查该系列,类似于最初评估主题搭配的适当或不被赞同所做的事情。例如,对于错误的搭配的句子“I have recognized this person for years”,一系列通配符查询项可以包括用通配符替换搭配中的动词的一个完整句子,即“I have*this personfor years”;基于简化句子格式的一个或多个查询项,即“I have*thisperson”、“have*this person for years”、“I have*this person”;基于包含该搭配的块对的一个或多个查询项,即“*this person for years”、“*thisperson”;以及作为单词对的一个或多个搭配,或者作为直接彼此相邻或在诸如由不超过一个直接单词隔开的接近度内来搜索,例如“*~person”,其中在一说明性实施例中代字号“~”是任意选择的并被搜索工具解释为接近度占位符,该占位符可以表示在其位置上的将通配符和指定单词隔开的0个或1个或可能更多个单词。在查询项中使用通配符因此提供在各种级别上将来自文本样本的搭配与可在web或其它基于网络的或本地语料库上获得的内容中的可能类似的搭配进行比较的一种高效方式的一个说明性示例。
也可以使用被限制在优先候选的有限集的专用通配符;或对照其来筛选结果的搭配参考可以包括优选搭配候选的指示。例如,某些搭配候选可以基于从文本样本的作者的母语的反向翻译过程而是优选的。用户可以具有输入她的母语语言的选项,或搭配证明软件可以使用用于评估书写的样本中的例如可以指示作者的可能的母语的线索的工具,软件可以提示用户对该线索进行确认。可以考虑其它线索,如安装在该计算机上的其它软件中所使用的语言选项,或计算机的物理位置的指示。例如,如果软件检测到它在其上运行的计算机还在以中文版本来运行其操作系统,或该软件检测到该计算机通过一参考指示其物理上位于北京的服务器连接到因特网,而文本样本是用英语写的,则其可以向对母语是中文的人而言是典型的搭配候选分配优先或优先级处理。
如果作者的母语是已知的,则搭配证明软件可以考虑错误的搭配是否是基于作者的母语到书写样本的非母语的不适当的映射。这可以包括例如将母语语法规则应用于非母语中的映射错误,错误使用假同源词或假朋友(false friend),在母语不区分复数形式时省略复数形式等。
例如,包括“I have recognized this person for years”的文本样本的作者可被指示为母语是中文的人。搭配证明软件可以通过将该输入翻译成中文并检查反向到英语的候选译文来对该指示作出响应。“to recognize”可被翻译成国语中文单词“rènshi”(用汉语拼音来呈现),其是可被翻译成英语“to recognize”或“to know”的单词。反向翻译因此可以指示“know”是“recognize”的可能的替换候选,来呈现“I have known thisperson for years”。在另一示例中,被指示为母语是法语的作者的英语文本样本可以包括句子“I commanded the faith and onions”,其“commanded”和“faith”都被标记为不被赞同的单词搭配。这可以作为“J’ai commandéle foi et des oignons”来翻译成法语,“commandé”被适当地反向翻译为“ordered”而“le foi”被重新拼写为“le foie”来反向翻译为“the liver”,所以软件从搜索结果所生成的任何其它搭配候选中将这些搭配候选优先化或增加其权重,并可以建议替换搭配候选以将句子呈现为“I ordered the liver and onions”。
在任一种情况下,自母语的反向翻译首先可被用来限制候选替换搜索,或其可被用作搭配参考来评估或优先化搜索所生成的可能的替换候选。
在该说明性实施例中,在单词搭配参考中搜索查询项之后,如步骤73所示,可以执行用于标识具有替换通配符的相对高比例的候选单词的搜索结果的步骤75。在一说明性实施例中,这同样可以对不同的匹配类型,在提供对包含该搭配的整句、简化句子、块对、或单词对的匹配的搜索结果之间,使用不同的加权。总分数可以是来自每一类型的查询项的评分分量的加权和,例如其中每一评分分量是对于该查询项所找到的搜索结果的数量乘以分配给该查询项的权重的乘积。在该说明性实施例中,使用诸如该方法等方法的相对高的总分可被解释为替换通配符、并用作校正错误搭配的可能的潜力的相对高比例的候选单词的有效度量。
通配符可以具体地针对查询项中的特定词性或块类型。例如,在一组基于动词-名词搭配的查询项中,每一搭配中的动词可由一组查询项中的通配符来替换,而每一搭配中的名词可由另一组查询项中的通配符来替换。对于介词-名词搭配,该介词特别地可以是为由通配符所替换而选择的搭配部分,因为名词可能更容易与句子的预期意义相关联,并且因为要选择的特定介词更普遍地受到语言的中间学习者的错误搭配使用。基于介词-名词搭配来定标介词以供查询项中的通配符所替换可以因此支持降低产生所需替换搭配所要求的时间的策略。类似地,通配符可以优先作为形容词-名词搭配中的形容词以及动词-副词搭配中的动词来选择,同样因为名词和动词更可能锚定到预期意义,而形容词和副词可能比它们所修饰的名词和动词更易于错误搭配。在其它实施例中,可以选择其它特定词性或块类型以供查询项中的通配符优先或专用替换。
在搜索结果中被发现具有比可疑单词显著更大的比例的可能的替换单词随后可以被指示为搭配的明显不被赞同的部分的建议替换。这还可以在将搭配与可能的替换单词进行交叉引用以包括在搭配参考中之后完成,所述交叉引用诸如适当的单词搭配的字典或与基于作者的母语的建议反向翻译的交叉引用,如上所述。
具有诸如被发现具有最高匹配分数的一个或若干个可能的搭配候选单词的搜索结果可以经由用户输出作为可能适当的单词搭配来提供,如图2的步骤77所示。例如,这可类似于图1的文本框29中显示的搭配候选,以使用户能够选择这些搭配候选中的一个来替换被指示为错误的搭配。有时,单个搭配将具有作为错误搭配的适当替换的实质上更好的可能性指示。这是图4的描绘中的情况。
图4描绘启用根据一说明性实施例的搭配证明方法的计算系统的用户界面410。用户界面410在其顶部包括与图1的搭配错误证明界面10相同的选项卡;具体地,标记为“装入ESL句子”的选项卡11(同样,说明性地针对特定ESL实施例),和标记为“运行查询”的选项卡13。图1描绘选择了“装入ESL句子”选项卡11的用户界面10,而图4在显示器上描绘选择了选项卡13的用户界面410以及其相关联的按钮、文字说明、文本框和其它用户界面元素。这些被划分为标记为“ESL已进行语法分析的句子”的上部分和标记为“查询级别”的下部分。根据搭配错误证明的一说明性实施例,用户界面410针对进行特定类型的查询并经由对这些查询所执行的搜索的用户界面提供结果。
上部分“ESL已进行语法分析的句子”包括类似于图1的文本框25的文本框25,并且其在此包括相同的已进行语法分析的句子。该部分在已进行语法分析的句子文本框25下面还包括按钮行41。这些包括用于各种不同的说明性查询模板的按钮以基于已进行语法分析的句子执行搜索。具体地,根据以上讨论,在该说明性实施例中,它们是如下标记的按钮:“创建查询”;诸如用于完整句子或简化句子的涉及不同的基于句子的查询的“提交句子查询I”和“提交句子查询II”;用于不同类型的块对查询的“提交块查询I”和“提交块查询II”;以及用于基于搭配的单独单词对的查询的“提交单词查询”。
作为可被调出来呈现替换搭配候选单词的某些查询结果文本框的说明性示例,用户界面410的下部分包括用于句子级查询的文本框43、用于块第一级查询的文本框45和用于块第二级查询的文本框47。文本框43、45和47的每一个还被描绘为具有该搭配候选的查询搜索结果的命中计数,并且其右侧的分开的文本框可以显示来自对应于每一查询类型的语料库的某些查询搜索结果。如图所示,在该说明性示例中,在正被证明的搭配中,“known”在每一查询模板级中都被强烈指示为“recognized”的适当的替换单词。这示出查询模板的分级策略在这种情况下提供超过足够的冗余,以呈现一个特定替换候选的令人信服的情况。用户随后可以视其需要来考虑查询模板的每一个的命中计数,并寻找替换搭配候选中的一个来替换其所对应的不被赞同的单词搭配。
尽管图1和图4描绘与专用应用程序实施例相关联的图形显示面板,但另一说明性实施例可以结合另一应用程序以较不明显的方式来运作,如文字处理应用程序、web浏览器、电子邮件应用程序、演示程序或涉及文本或另一形式的自然语言的用户输入的其它应用程序。这种其它程序或应用程序可以与分开的错误搭配证明程序实施例协作,或例如可以包括其自己的包含错误搭配证明实施例的模块。在不同的实施例中,搭配错误证明工具例如可以在其它应用程序中的工具菜单下访问,或作为另一示例可以在用户右击单词时作为弹出菜单中的选项来访问。
在另一操作模式中,其它程序可以在默认设置中自动地运行错误搭配证明模块或程序,并可以通过应用于监视器上的单词的标记来自动地提供错误的或不被赞同的搭配的指示。该标记例如可以采取搭配下的蓝色锯齿线的形式,以指示其是错误的或不被赞同的。在又一操作模式中,例如,分开的模块或程序可以运行来检测用户输入是否包括用户不是输入语言的母语用户的指示,并且该非母语使用的指示可以触发对错误搭配模块或程序的激活。
图5示出了可在其上实现各实施例的合适计算系统环境100的示例。例如,各实施例可以作为可由计算系统环境100执行的并配置计算系统环境100来执行不同实施例中涉及的各种任务或方法的软件应用程序、模块、或其它形式的指令来实现。具体化搭配错误证明实施例的软件应用程序或模块可以用各种编程或脚本语言或环境的任一种来开发。例如,其可以用C#、F#、C++、C、Pascal、Visual Basic、Java、JavaScript、Delphi、Eiffel、Nemerle、Perl、PHP、Python、Ruby、Visual FoxPro、Lua或任何其它编程语言来编写。还构想了将继续开发新编程语言和创建可执行指令的其它形式,其中可以容易地开发进一步的实施例。
根据一说明性实施例,计算系统环境100可被配置成响应于接收文本中的单词搭配的指示来执行搭配错误证明任务。计算系统环境100随后可以对与所指示的单词搭配的一个或多个查询模板的每一个执行web搜索。所使用的各种查询模板可以包括句子、简化句子、块对、和/或单独的单词对,其任一个都可以包括该单词搭配。计算系统环境100随后可以评估对查询模板的每一个的web搜索的结果是指示该单词搭配对应于正常使用,还是指示其是不被赞同的或指示可能的错误。正常使用可以通过包括该句子的查询模板的精确匹配或大于预选阈值的匹配分数来指示。作为计算系统环境100的作为搭配错误证明方法的实施例的结果的经由用户可察觉的输出设备的输出的一部分,该系统随后可以指示该单词搭配是对应于正常使用,还是不被赞同的并指示错误的使用。
图5所示的计算系统环境100只是用于执行和提供来自各实施例的输出的合适的计算环境的一个示例,且不旨在对要求保护的主题的使用范围或功能提出任何限制。也不应该把计算环境100解释为对示例性操作环境100中示出的任一组件或其组合有任何依赖性或要求。
各实施例可用于各种其它通用或专用计算系统环境或配置。适合在各实施例中使用的公知的计算系统、环境和/或配置的示例包括但不限于:个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型机、大型计算机、电话系统、包含上述系统或设备中的任一个的分布式计算环境等。
各实施例可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。一些实施例被设计为在其中任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实施。在分布式计算环境中,程序模块位于包括存储器存储设备的本地和远程计算机存储介质中。如上所述,这种可执行指令可以存储在介质上,以使其能够由计算系统的一个或多个组件读取并执行,从而用新能力配置计算系统。
参考图5,用于实现一些实施例的示例性系统包括计算机110形式的通用计算设备。计算机110的组件可以包括,但不限于,处理单元120、系统存储器130和将包括系统存储器在内的各种系统组件耦合至处理单元120的系统总线121。系统总线121可以是几种类型的总线结构中的任何一种,包括存储器总线或存储控制器、外围总线、以及使用各种总线体系结构中的任一种的局部总线。作为示例而非局限,这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也称为夹层(Mezzanine)总线)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是能由计算机110访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机110访问的任何其它介质。通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并包括任意信息传送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制,通信介质包括有线介质,诸如有线网络或直接线连接,以及无线介质,诸如声学、RF、红外线和其它无线介质。以上的任何组合也应包括在计算机可读介质的范围内。
系统存储器130包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程,它通常储存在ROM 131中。RAM 132通常包含处理单元120可以立即访问和/或目前正在其上操作的数据和/或程序模块。作为示例而非局限,图5示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110还可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图5示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器141,从可移动、非易失性磁盘152中读取或向其写入的磁盘驱动器151,以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘156中读取或向其写入的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器141通常由不可移动存储器接口,诸如接口140连接至系统总线121,磁盘驱动器151和光盘驱动器155通常由可移动存储器接口,诸如接口150连接至系统总线121。
上文讨论并在图5中示出的驱动器及其相关联的计算机存储介质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。在图5中,例如,硬盘驱动器141被示为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意,这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同,也可以与它们不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。
用户可以通过诸如键盘162、话筒163以及诸如鼠标、跟踪球或触摸垫等定点设备161等输入设备来将命令和信息输入至计算机110中。其它输入设备(未示出)可以包括操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其它输入设备通常由耦合至系统总线的用户输入接口160连接至处理单元120,但也可以由其它接口和总线结构,诸如并行端口、游戏端口或通用串行总线(USB)连接。监视器191或其它类型的显示设备也经由接口,诸如视频接口190连接至系统总线121。除监视器以外,计算机也可以包括其它外围输出设备,诸如扬声器197和打印机196,它们可以通过输出外围接口195连接。
计算机110使用到诸如远程计算机180等一个或多个远程计算机的逻辑连接在网络化环境中操作。远程计算机180可以是个人计算机、手持设备、服务器、路由器、网络PC、对等设备或其它常见的网络节点,且一般包括以上关于计算机110描述的多个或所有的元件。图5中所示的逻辑连接包括局域网(LAN)171和广域网(WAN)173,但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时,计算机110通过网络接口或适配器170连接至LAN 171。当在WAN联网环境中使用时,计算机110通常包括调制解调器172或用于通过诸如因特网等WAN 173建立通信的其它装置。调制解调器172可以是内置或外置的,它可以通过用户输入接口160或其它适当的机制连接至系统总线121。在网络化环境中,相对于计算机110所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例,而非限制,图5示出了远程应用程序185驻留在远程计算机180上。可以理解,所示的网络连接是示例性的,且可以使用在计算机之间建立通信链路的其它手段。
图6描绘根据另一说明性实施例的包括移动计算设备和介质的通用移动计算环境的框图,该介质可由该移动计算设备读取并包括可由该移动计算设备执行可执行指令。图6示出根据说明性实施例的包括移动设备201的移动计算系统200的框图。移动设备201包括微处理器202、存储器204、输入/输出(I/O)组件206和用于与远程计算机或其它移动设备通信的通信接口208。在一实施例中,前述组件被耦合以便在合适总线210上相互通信。
存储器204被实现为诸如随机存取存储器(RAM)等带有电池后备模块(未示出)的非易失性电子存储器,以使存储在存储器204中的信息在移动设备200的总电源关闭时不会丢失。存储器204的一部分说明性地被分配为用于程序执行的可寻址存储器,而存储器204的另一部分说明性地被用于存储,例如模拟盘驱动器上的存储。
存储器204包括操作系统212、应用程序214以及对象存储216。在操作期间,操作系统212说明性地由处理器202从存储器204执行。操作系统212在一说明性实施例中是可从微软公司购得的WINDOWS
Figure G2007800446684D00221
CE操作系统。操作系统212说明性地为移动设备设计,并且实现可由应用程序214通过一组展示的应用程序编程接口和方法来利用的数据库特征。在对象存储216中的对象由应用程序214和操作系统212至少部分地响应于对所展示的应用程序编程接口和方法的调用来维护。
通信接口208代表允许移动设备200发送和接收信息的多种设备和技术。仅举数例,这些设备包括有线和无线调制解调器、卫星接收机和广播调谐器。移动设备200还可以直接连接到计算机以与其交换数据。在此类情形中,通信接口208可以是红外收发机或者串行或并行通信连接,所有的这些都能传输流信息。
输入/输出组件206包括诸如触敏屏、按钮、滚轮、和话筒等的各种输入设备,以及包括音频发生器、振动设备和显示器等的各种输出设备。以上列出的设备作为示例且不需要都存在于移动设备200上。此外,还可以对移动设备200附连或在其中找到其它输入/输出设备。
移动计算系统200还包括网络220。移动计算设备201例如通过在通信接口208和无线接口222之间发送和接收合适协议的电磁信号299,来说明性地与网络220进行无线通信,网络220例如可以是因特网、广域网或局域网。无线接口222可以是例如无线集线器或蜂窝天线,或任何其它信号接口。无线接口222进而提供经由网络220对大量附加计算资源(说明性地由计算资源224和226表示)的访问。通常,任何位置的任何数量的计算设备都可以与网络220通信连接。在一些说明性实施例中,计算设备201被启用来利用存储在存储器组件204的介质上的可执行指令,如启用计算设备201来执行非本地语言证明查询和其它任务的可执行指令。
尽管用对结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式公开的。作为特定示例,尽管术语“计算机”、“计算设备”或“计算系统”在此有时出于方便而单独使用,但普遍理解其中的每一个都可以指的是任何计算设备、计算系统、计算环境、移动设备、或其它信息处理组件或上下文,并不限于任何个别解释。作为另一特定示例,尽管呈现了具有在提交本专利申请时所广泛熟悉的说明性元素的许多实施例,但构想了计算技术中的许多新创新将在诸如用户界面、用户输入方法、计算环境和计算方法等方面影响不同实施例的元素,并且权利要求书所定义的元素可以根据这些和其它创新性进步来具体化而仍然与此处的权利要求书所定义的元素保持一致并由其所包括。

Claims (17)

1.一种由计算系统实现的方法,包括:
将来自文本样本的一个或多个搭配与语料库进行比较;
标识所述搭配在所述语料库中是否是不被赞同的;以及
经由输出设备提供所述搭配是否不被赞同的指示;
其中,将所述搭配与所述语料库进行比较包括使用包括一个或多个所述搭配中的每一个的一个或多个查询项来执行一个或多个web搜索;
对于对其执行搜索的一个或多个所述搭配中的每一个,对包括所述搭配的一个或多个查询项中的每一个执行搜索,直到所述查询项中的一个提供满足用于匹配所述搭配的预选择的阈值的搜索结果,或使用了包括所述搭配的所有查询项而没有满足所述预选择的阈值为止;并且所述方法还包括:
用通配符替换所述不被赞同的单词搭配的一个中的各单词中的一个,以组成一个或多个查询项;
在单词搭配参考中搜索所述查询项;
标识具有替换所述通配符的相对高比例的候选单词的搜索结果;以及
经由所述输出设备提供具有所述候选单词的搜索结果作为可能适当的单词搭配。
2.如权利要求1所述的方法,其特征在于,所述语料库包括web上的内容。
3.如权利要求1所述的方法,其特征在于,如果未在所述语料库中找到搭配,则所述搭配是不被赞同的。
4.如权利要求1所述的方法,其特征在于,所述语料库包括可在网络上访问的内容。
5.如权利要求1所述的方法,其特征在于,对于对其执行搜索的搭配中的每一个,如果包括所述搭配的查询项评分不在指示所述查询项在所述语料库中的模糊匹配的显著存在的预选择的阈值匹配分数之上,则所述搭配是不被赞同的。
6.如权利要求1所述的方法,其特征在于,所述查询项的至少一个包括包含所述搭配的句子。
7.如权利要求1所述的方法,其特征在于,所述查询项的至少一个包括包含所述搭配的简化句子,其中所述简化句子是通过从包括所述搭配的句子中移除辅助词来形成的。
8.如权利要求1所述的方法,其特征在于,所述查询项的至少一个包括包含所述搭配的块对。
9.如权利要求1所述的方法,其特征在于,所述查询项的至少一个包括包含所述搭配的单词对。
10.如权利要求1所述的方法,其特征在于,还包括对所述文本样本进行词性标注,并且其中与所述语料库进行比较的搭配是从所述文本样本中选择的,其包括动词-名词搭配、介词-名词搭配、形容词-名词搭配和动词-副词搭配中的至少一个。
11.如权利要求1所述的方法,其特征在于,所述文本样本采用目标语言,并且所述方法还包括筛选所述语料库以只将所述搭配与被指示为采用所述目标语言的内容进行比较。
12.如权利要求1所述的方法,其特征在于,还包括筛选所述文本样本以确定其是否被指示为示出非母语使用,并且如果所述文本样本被指示为示出非母语使用,则自动地启动将来自所述文本样本的搭配与所述语料库进行比较的步骤。
13.如权利要求1所述的方法,其特征在于,所述查询项包括句子模板、块模板和单词模板中的一个或多个,并且其中具有替换所述通配符的相对高比例的候选单词的搜索结果是通过将包括所述候选单词的搜索结果的比例与查询模板权重相乘来评估的,所述句子模板的查询模板权重最高,所述块模板次之,而所述单词模板最低。
14.如权利要求1所述的方法,其特征在于,所述查询项包括动词-名词搭配、介词-名词搭配、形容词-名词搭配、和动词-副词搭配中的一个或多个,并且所述通配符被选择作为动词-名词搭配中的动词、动词-名词搭配中的名词、介词-名词搭配中的介词、形容词-名词搭配中的形容词、或动词-副词搭配中的副词。
15.如权利要求1所述的方法,其特征在于,还包括使用户能够选择可能适当的单词搭配中的一个来替换其所对应的不被赞同的单词搭配。
16.一种由计算系统实现的方法,包括:
接收文本中的单词搭配的指示;
对与所指示的单词搭配相关联的一个或多个查询模板中的每一个执行web搜索,其中所述查询模板中的一个包括其中找到所述单词搭配的句子,所述查询模板中的一个包括包含所述单词搭配的块对,并且所述查询模板中的一个包括包含所述单词搭配的单独的单词对;
评估对所述一个或多个查询模板的每一个的web搜索的结果是否指示所述单词搭配对应于正常使用或是不被赞同的搭配,这由包括所述句子的所述查询模板的精确匹配或大于预选择的阈值的匹配分数来指示;
经由用户可感知的输出设备来指示所述单词搭配是否对应于正常使用或所述单词搭配是否是不被赞同的;
用通配符替换所述不被赞同的单词搭配的一个中的各单词中的一个,以组成一个或多个查询项;
在单词搭配参考中搜索所述查询项;
标识具有替换所述通配符的相对高比例的候选单词的搜索结果;以及
经由所述输出设备提供具有所述候选单词的搜索结果作为可能适当的单词搭配。
17.一种计算系统,包括:
用于标识文本中的单词搭配的装置;
用于对基于所述单词搭配的每一个的一组查询模板来搜索web的装置,其中所述搜索包括使用包括一个或多个所述搭配中的每一个的一个或多个查询项来执行一个或多个web搜索,且对于对其执行搜索的一个或多个所述搭配中的每一个,对包括所述搭配的一个或多个查询项中的每一个执行搜索,直到所述查询项中的一个提供满足用于匹配所述搭配的预选择的阈值的搜索结果,或使用了包括所述搭配的所有查询项而没有满足所述预选择的阈值为止;
用于经由用户输出设备指示所述搜索结果是否指示所述单词搭配在web上是相对稀少的装置;
用于用通配符替换不被赞同的单词搭配的一个中的各单词中的一个,以组成一个或多个查询项的装置;
用于在单词搭配参考中搜索所述查询项的装置;
用于标识具有替换所述通配符的相对高比例的候选单词的搜索结果的装置;以及
用于经由所述输出设备提供具有所述候选单词的搜索结果作为可能适当的单词搭配的装置。
CN2007800446684A 2006-12-05 2007-12-05 基于web的搭配错误证明 Active CN101568918B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/633,788 2006-12-05
US11/633,788 US7774193B2 (en) 2006-12-05 2006-12-05 Proofing of word collocation errors based on a comparison with collocations in a corpus
PCT/US2007/086560 WO2008070750A1 (en) 2006-12-05 2007-12-05 Web-based collocation error proofing

Publications (2)

Publication Number Publication Date
CN101568918A CN101568918A (zh) 2009-10-28
CN101568918B true CN101568918B (zh) 2012-04-04

Family

ID=39477012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800446684A Active CN101568918B (zh) 2006-12-05 2007-12-05 基于web的搭配错误证明

Country Status (14)

Country Link
US (1) US7774193B2 (zh)
EP (1) EP2102761A4 (zh)
JP (1) JP4960461B2 (zh)
KR (1) KR101279759B1 (zh)
CN (1) CN101568918B (zh)
AU (1) AU2007329362A1 (zh)
BR (1) BRPI0719257A2 (zh)
CA (1) CA2665600A1 (zh)
IL (1) IL198054A0 (zh)
MX (1) MX2009004891A (zh)
NO (1) NO20092498L (zh)
RU (1) RU2458391C2 (zh)
TW (1) TW200846939A (zh)
WO (1) WO2008070750A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126075A1 (en) * 2006-11-27 2008-05-29 Sony Ericsson Mobile Communications Ab Input prediction
US20110055209A1 (en) * 2007-02-23 2011-03-03 Anthony Novac System and method for delivering content and advertisments
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US8788523B2 (en) * 2008-01-15 2014-07-22 Thomson Reuters Global Resources Systems, methods and software for processing phrases and clauses in legal documents
US7958107B2 (en) * 2008-04-10 2011-06-07 Abo Enterprises, Llc Fuzzy keyword searching
US8473278B2 (en) * 2008-07-24 2013-06-25 Educational Testing Service Systems and methods for identifying collocation errors in text
US20100082324A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Replacing terms in machine translation
US9449078B2 (en) 2008-10-01 2016-09-20 Microsoft Technology Licensing, Llc Evaluating the ranking quality of a ranked list
US8515950B2 (en) * 2008-10-01 2013-08-20 Microsoft Corporation Combining log-based rankers and document-based rankers for searching
US9798720B2 (en) 2008-10-24 2017-10-24 Ebay Inc. Hybrid machine translation
WO2010061733A1 (ja) * 2008-11-27 2010-06-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 誤訳の検出を支援する装置及び方法
TWI403911B (zh) * 2008-11-28 2013-08-01 Inst Information Industry 中文辭典建置裝置和方法,以及儲存媒體
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
JP5337516B2 (ja) * 2009-02-06 2013-11-06 東芝ソリューション株式会社 文書処理装置及びプログラム
US8250072B2 (en) * 2009-03-06 2012-08-21 Dmitri Asonov Detecting real word typos
JP5363178B2 (ja) * 2009-04-22 2013-12-11 Kddi株式会社 修正候補取得装置、修正候補取得システム、修正候補取得方法、修正候補取得プログラム
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US9262397B2 (en) 2010-10-08 2016-02-16 Microsoft Technology Licensing, Llc General purpose correction of grammatical and word usage errors
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US8521672B2 (en) * 2010-11-22 2013-08-27 Microsoft Corporation Dependency-based query expansion alteration candidate scoring
US10373218B1 (en) * 2010-12-28 2019-08-06 Amazon Technologies, Inc. Managing use of software components
US8983995B2 (en) 2011-04-15 2015-03-17 Microsoft Corporation Interactive semantic query suggestion for content search
TWI456411B (zh) * 2011-05-06 2014-10-11 Univ Far East 印表機之利用語言模型自動偵測錯誤之方法
US8855997B2 (en) 2011-07-28 2014-10-07 Microsoft Corporation Linguistic error detection
CN102999483B (zh) * 2011-09-16 2016-04-27 北京百度网讯科技有限公司 一种文本矫正的方法和装置
KR101522522B1 (ko) * 2011-10-26 2015-05-27 에스케이텔레콤 주식회사 작문 자동 평가를 위한 예제 기반 오류 검출 시스템 및 방법
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9684653B1 (en) 2012-03-06 2017-06-20 Amazon Technologies, Inc. Foreign language translation using product information
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US10095692B2 (en) * 2012-11-29 2018-10-09 Thornson Reuters Global Resources Unlimited Company Template bootstrapping for domain-adaptable natural language generation
US10289653B2 (en) 2013-03-15 2019-05-14 International Business Machines Corporation Adapting tabular data for narration
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9727619B1 (en) * 2013-05-02 2017-08-08 Intelligent Language, LLC Automated search
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US9164977B2 (en) 2013-06-24 2015-10-20 International Business Machines Corporation Error correction in tables using discovered functional dependencies
US9600461B2 (en) 2013-07-01 2017-03-21 International Business Machines Corporation Discovering relationships in tabular data
US9830314B2 (en) * 2013-11-18 2017-11-28 International Business Machines Corporation Error correction in tables using a question and answer system
US10928976B2 (en) 2013-12-31 2021-02-23 Verint Americas Inc. Virtual assistant acquisitions and training
US9530161B2 (en) * 2014-02-28 2016-12-27 Ebay Inc. Automatic extraction of multilingual dictionary items from non-parallel, multilingual, semi-structured data
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
EP3062212A1 (en) * 2015-02-25 2016-08-31 Kyocera Document Solutions Inc. Text editing apparatus and print data storage apparatus
JP2016194822A (ja) * 2015-03-31 2016-11-17 株式会社エクシング サーバシステム及びそのプログラム、並びにエラーチェック方法
US10095740B2 (en) 2015-08-25 2018-10-09 International Business Machines Corporation Selective fact generation from table data in a cognitive system
RU2632126C1 (ru) * 2016-04-07 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система предоставления контекстуальной информации
US11599709B2 (en) * 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
TWI613554B (zh) * 2017-03-24 2018-02-01 Zhuang Shi Cheng 翻譯輔助系統
RU2726009C1 (ru) * 2017-12-27 2020-07-08 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для исправления неверного набора слова вследствие ошибки ввода с клавиатуры и/или неправильной раскладки клавиатуры
JP7170984B2 (ja) * 2018-03-02 2022-11-15 国立研究開発法人情報通信研究機構 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11232264B2 (en) 2018-10-19 2022-01-25 Verint Americas Inc. Natural language processing with non-ontological hierarchy models
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
CN109614621B (zh) * 2018-12-11 2023-09-19 中国移动通信集团江苏有限公司 一种校正文本的方法、装置及设备
US11379662B2 (en) * 2019-10-29 2022-07-05 Karmen Langlotz Data entry capitalization error correction system and word processing system with second language facility
US11544458B2 (en) * 2020-01-17 2023-01-03 Apple Inc. Automatic grammar detection and correction
CN111310457B (zh) * 2020-02-27 2024-02-02 河北省讯飞人工智能研究院 词语搭配不当识别方法、装置、电子设备和存储介质
CN111522909B (zh) * 2020-04-10 2024-04-02 海信视像科技股份有限公司 一种语音交互方法及服务器
CN112597753A (zh) * 2020-12-22 2021-04-02 北京百度网讯科技有限公司 文本纠错处理方法、装置、电子设备和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4674065A (en) * 1982-04-30 1987-06-16 International Business Machines Corporation System for detecting and correcting contextual errors in a text processing system
US4456973A (en) 1982-04-30 1984-06-26 International Business Machines Corporation Automatic text grade level analyzer for a text processing system
US5060154A (en) 1989-01-06 1991-10-22 Smith Corona Corporation Electronic typewriter or word processor with detection and/or correction of selected phrases
NZ299101A (en) * 1992-09-04 1997-06-24 Caterpillar Inc Computer-based document development system: includes text editor and language editor enforcing lexical and grammatical constraints
US5799276A (en) 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
US5956739A (en) * 1996-06-25 1999-09-21 Mitsubishi Electric Information Technology Center America, Inc. System for text correction adaptive to the text being corrected
US5909667A (en) 1997-03-05 1999-06-01 International Business Machines Corporation Method and apparatus for fast voice selection of error words in dictated text
CN1193779A (zh) * 1997-03-13 1998-09-23 国际商业机器公司 中文语句分词方法及其在中文查错系统中的应用
KR100474824B1 (ko) 1998-02-27 2005-03-16 삼성전자주식회사 연어정보를이용한원시언어의목적언어로의언어번역장치및방법
US6081772A (en) 1998-03-26 2000-06-27 International Business Machines Corporation Proofreading aid based on closed-class vocabulary
US6064961A (en) 1998-09-02 2000-05-16 International Business Machines Corporation Display for proofreading text
US6611802B2 (en) 1999-06-11 2003-08-26 International Business Machines Corporation Method and system for proofreading and correcting dictated text
JP2001101186A (ja) * 1999-09-30 2001-04-13 Oki Electric Ind Co Ltd 機械翻訳装置
US6676412B1 (en) 1999-10-08 2004-01-13 Learning By Design, Inc. Assessment of spelling and related skills
KR20010097365A (ko) 2000-04-21 2001-11-08 김영택 영한기계번역 시스템 및 방법
KR100398344B1 (ko) 2000-05-13 2003-09-19 주식회사 전유시스템 분해적 표현에 의한 순차 통역식 영한번역 시스템
US7031911B2 (en) * 2002-06-28 2006-04-18 Microsoft Corporation System and method for automatic detection of collocation mistakes in documents
US20040030540A1 (en) * 2002-08-07 2004-02-12 Joel Ovil Method and apparatus for language processing
US7249012B2 (en) 2002-11-20 2007-07-24 Microsoft Corporation Statistical method and apparatus for learning translation relationships among phrases
US7689412B2 (en) * 2003-12-05 2010-03-30 Microsoft Corporation Synonymous collocation extraction using translation information
US20060206806A1 (en) * 2004-11-04 2006-09-14 Motorola, Inc. Text summarization
US20060282255A1 (en) * 2005-06-14 2006-12-14 Microsoft Corporation Collocation translation from monolingual and available bilingual corpora
US7574348B2 (en) * 2005-07-08 2009-08-11 Microsoft Corporation Processing collocation mistakes in documents
US20070164782A1 (en) * 2006-01-17 2007-07-19 Microsoft Corporation Multi-word word wheeling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Thomas Robb.Google as a Quick "n Dirty Corpus Tool.《The Electronic Journal for English as a Second Language》.2003,第7卷(第2期),1-7. *

Also Published As

Publication number Publication date
RU2458391C2 (ru) 2012-08-10
BRPI0719257A2 (pt) 2014-04-29
CA2665600A1 (en) 2008-06-12
EP2102761A4 (en) 2010-03-31
EP2102761A1 (en) 2009-09-23
JP4960461B2 (ja) 2012-06-27
KR20090084818A (ko) 2009-08-05
WO2008070750A1 (en) 2008-06-12
MX2009004891A (es) 2009-05-19
IL198054A0 (en) 2009-12-24
AU2007329362A1 (en) 2008-06-12
TW200846939A (en) 2008-12-01
CN101568918A (zh) 2009-10-28
US20080133444A1 (en) 2008-06-05
NO20092498L (no) 2009-07-03
RU2009121432A (ru) 2010-12-10
JP2010511966A (ja) 2010-04-15
US7774193B2 (en) 2010-08-10
KR101279759B1 (ko) 2013-07-04

Similar Documents

Publication Publication Date Title
CN101568918B (zh) 基于web的搭配错误证明
CN101467125B (zh) 用于处理查询词语的方法和系统
Derczynski et al. Microblog-genre noise and impact on semantic annotation accuracy
US10762293B2 (en) Using parts-of-speech tagging and named entity recognition for spelling correction
US8463598B2 (en) Word detection
JP5362353B2 (ja) 文書中のコロケーション誤りを処理すること
CN102203774B (zh) 使用概括的句子搭配的检索
US20120095748A1 (en) Language Identification in Multilingual Text
Ijaz et al. Corpus based Urdu lexicon development
US20130061139A1 (en) Server-based spell checking on a user device
JP2016186805A (ja) 中国語、日本語、および韓国語の言語データを電子的形態で管理するためのモジュラーシステムと方法
US20070219776A1 (en) Language usage classifier
JP2016186805A5 (zh)
US20130060560A1 (en) Server-based spell checking
CN102567311A (zh) 激励描述集合
JP2005092883A (ja) 中国語の単語分割
Lyu et al. Neural OCR post-hoc correction of historical corpora
KR102552811B1 (ko) 클라우드 기반 문법 교정 서비스 제공 시스템
Massung et al. Non-native text analysis: A survey
Wong et al. iSentenizer‐μ: Multilingual Sentence Boundary Detection Model
Huang et al. Words without boundaries: Computational approaches to Chinese word segmentation
CN102024026A (zh) 用于处理查询词语的方法和系统
Rosner et al. The Maltese language in the digital age
US8275620B2 (en) Context-relevant images
Joshi et al. Frequency based predictive input system for Hindi

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150515

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150515

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.