CN110781689A - 信息处理方法、装置及存储介质 - Google Patents

信息处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110781689A
CN110781689A CN201911025249.7A CN201911025249A CN110781689A CN 110781689 A CN110781689 A CN 110781689A CN 201911025249 A CN201911025249 A CN 201911025249A CN 110781689 A CN110781689 A CN 110781689A
Authority
CN
China
Prior art keywords
bilingual
sentence
vocabulary
training
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911025249.7A
Other languages
English (en)
Other versions
CN110781689B (zh
Inventor
李响
孙于惠
吴晓琳
崔建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201911025249.7A priority Critical patent/CN110781689B/zh
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Priority to KR1020207001087A priority patent/KR102327790B1/ko
Priority to RU2020103383A priority patent/RU2737112C1/ru
Priority to PCT/CN2019/123095 priority patent/WO2021077559A1/zh
Priority to JP2020500705A priority patent/JP7208968B2/ja
Priority to US16/744,768 priority patent/US11461561B2/en
Priority to EP20152542.5A priority patent/EP3812951A1/en
Publication of CN110781689A publication Critical patent/CN110781689A/zh
Application granted granted Critical
Publication of CN110781689B publication Critical patent/CN110781689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

本公开是关于一种信息处理方法、装置及存储介质，该方法包括：获取包含N个原始双语词汇对的双语词汇表，其中N为正整数；获取包含多个原始双语训练句对的原始双语训练集；从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；基于至少一个候选双语句对，构建泛化双语句型；基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。由于双语词汇表中包含大量新词汇，且能生成大量新的泛化双语句型，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。

Description

信息处理方法、装置及存储介质
技术领域
本公开涉及机器翻译领域，尤其涉及一种信息处理方法、装置及存储介质。
背景技术
机器翻译是一种通过机器翻译模型自动将一种语言翻译为另一种语言的技术，具有广阔的学术和市场应用价值。一般来说，双语平行的训练语料质量越高，规模越大，领域覆盖性越全，则基于训练语料训练得到的机器翻译模型的翻译质量就越高。由此可知，机器翻译模型的翻译质量主要取决于可用双语数据的质量和数量，而目前获取大规模高质量的双语数据比较困难。
发明内容
本公开提供一种信息处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种信息处理方法，包括：
获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
基于至少一个所述候选双语句对，构建泛化双语句型；
基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
可选的，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
可选的，所述基于至少一个所述候选双语句对，构建泛化双语句型，包括：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
所述基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集，包括：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
可选的，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
可选的，所述根据M个所述待泛化双语句对，生成M个泛化双语句型，包括：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
所述根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对，包括：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
可选的，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
可选的，所述方法还包括：
对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
根据本公开实施例的第二方面，提供一种信息处理装置，包括：
第一获取模块，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
第二获取模块，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
选择模块，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
构建模块，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
第三获取模块，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
可选的，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
可选的，所述构建模块被配置为：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
第三获取模块被配置为：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
可选的，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
可选的，所述构建模块还被配置为：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
第三获取模块还被配置为：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
可选的，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
可选的，所述装置还包括：
融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
根据本公开实施例的第三方面，提供一种信息处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中的信息处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述第一方面中的信息处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述技术方案可知，本公开能够通过包含有原始双语词汇对的双语词汇表，从包含多个原始双语训练句对的原始双语训练集中，获取包含有原始双语词汇对的候选双语句对，并基于至少一个候选双语句对，构建泛化双语句型，进而通过双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。本公开的技术方案中，由于双语词汇表中包含大量新的词汇，且能生成大量新的泛化双语句型，在实现的过程中，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的信息处理方法的流程图一。
图2是根据一示例性实施例示出的信息处理方法的流程图二。
图3是根据一示例性实施例示出的一种信息处理装置框图。
图4是根据一示例性实施例示出的一种信息处理装置的硬件结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的信息处理方法的流程图一，如图1所示，该方法包括以下步骤：
在步骤101中，获取包含N个原始双语词汇对的双语词汇表，其中，每个原始双语词汇对包含以第一语言表示的第一词汇，以及与第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
在步骤102中，获取包含多个原始双语训练句对的原始双语训练集，其中，每个原始双语训练句对包含以第一语言表示的第一训练句，以及与第一训练句具有相同含义的以第二语言表示的第二训练句；
在步骤103中，从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
在步骤104中，基于至少一个候选双语句对，构建泛化双语句型；
在步骤105中，基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
这里，可以基于词汇的类别和领域，通过人工标注大量该类别和领域的双语词汇，进而得到原始双语词汇对，例如，确定与人名相关的双语词汇对等。其中，原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，例如，第一语言是中文，第一词汇为“张三”，则第二语言为英文，第二词汇为“zhang san”。
在得到原始双语词汇对之后，可以基于原始双语词汇对，构建双语词汇表。如表1所示，表1为本公开示出的一种双语词汇表，表1中包括有三个原始双语词汇对，其中，第一个原始双语词汇对所包含的第一词汇为“张三”，第二词汇为“zhang san”；第二个原始双语词汇对所包含的第一词汇为“李XX，第二词汇为“li XX”；第三个原始双语词汇对所包含的第一词汇为小红，第二词汇为“xiao hong”。
表1双语词汇表
第一语言的第一词汇 第二语言的第二词汇
张三 zhang san
李XX li XX
小红 xiao hong
这里，双语词汇表可以是针对特定领域进行人工标注得到的，双语词汇表包括：该特定领域内的未登录词、低频词、高频词。由于双语词汇的选择自由度很大，其中，高频词主要用于找到更多的双语句型，低频词主要用于补充数据，未登录词是指双语词汇表中没有的词，比如双语词汇表包括词汇a、词汇b、词汇c，那么词汇d就是未登录词，未登录词也可以称作集外词。
本公开实施例中，可以基于双语词汇表中的原始双语词汇对，从包含多个原始双语训练句对的原始双语训练集中，获取包含任一原始双语词汇对的原始双语训练句对。例如，可以基于双语词汇表中的原始双语词汇对，从原始双语训练集中搜索与该原始双语词汇对相匹配的原始双语训练句对，并将搜索到的原始双语训练句对，作为候选双语句对。例如，基于上述双语词汇表中的原始双语词汇对与原始双语训练集所包含的原始双语训练句对进行匹配，根据匹配结果，得到包含有原始双语词汇对的原始双语训练句对，进而将包含有原始双语词汇对的原始双语训练句对，作为候选双语句对。
如表2所示，表2为本公开示出的原始双语训练集，表2的原始双语训练集包含三个原始双语训练句对，每个原始双语训练句对均包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句。
表2原始双语训练集
Figure BDA0002248431660000061
Figure BDA0002248431660000071
本公开实施例中，在基于双语词汇表获取候选双语句对的过程中，可以分别将双语词汇表中的原始双语词汇对与原始双语训练集中的原始双语训练句对进行比对，在进行比对的过程中，第一语言的第一词汇与第一语言的第一训练句进行比对，第二语言的第二词汇与第二语言的第二训练句比对。
以将表1中的第一词汇与表2中的第一训练句进行比对为例，可以将表1所示的双语词汇表中的“张三”分别与表2中的“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”、“想知道在东莞科学馆附近怎么停车？”和“每种花都有独特的含义。”进行比对，由于表2中并不包含与“张三”相匹配的人名，则表征该原始双语训练集中的原始双语训练句对不包含原始双语词汇对。
如果将表1所示的双语词汇表中的“李XX”分别与表2中的“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”、“想知道在东莞科学馆附近怎么停车？”和“每种花都有独特的含义。”进行比对，由于表2中包含与“李XX”相匹配的人名，则表征该原始双语训练集中的原始双语训练句对包含原始双语词汇对。
在将双语词汇表中的原始双语词汇对与原始双语训练集中的原始双语训练句对进行比对之前，需要对原始双语训练集中的原始双语训练句对进行词语划分。表3为本公开示出的词语划分表，如表3所示，可以对原始双语训练集中的原始双语训练句对按照词属性进行划分，以使划分后的每一个词语都有完整的含义。
表3词语划分表
Figure BDA0002248431660000072
本公开实施例中，在对原始双语训练集中的原始双语训练句对进行词语划分之后，通过遍历的方式，基于双语词汇表中的原始双语词汇对原始双语训练集中的原始双语训练句对进行搜索，并得到候选双语句对。
例如，可以基于表1中的“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，对应地，基于表1中的“li XX”，从表3中确定出“li XX also stressed the importance of maintaining a stable taxpolicy,pointing out that china is in a critical period of economicrecovery.”，则表征能够基于双语词汇表，从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对。
在确定出候选双语句对之后，可以基于至少一个所述候选双语句对，构建泛化双语句型。这里，可以将候选双语句对所包含的原始双语词汇对替换为通用双语词汇对，以生成泛化双语句型。例如，当基于“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”为候选双语句对中的句子时，则可以将其中的“李XX”替换为“<X1>”，其中，<X1>可以为通用双语词汇，也可以是其他人名，<X1>的词属性可以与“李XX”相同。优选地，<X1>和“李XX”应当能够对齐，这样的话，就不会影响整个句型。
以基于通用双语词汇替换候选双语句对中的原始双语词汇对为例，在基于通用双语词汇进行替换之后，能够得到对应的泛化双语句型，这样，就可以通过其他人名替换泛化双语句型中的通用双语词汇的方式，得到很多增广双语训练句对，以及包含多个增广双语训练句对的增广双语训练集，进而丰富双语语料库中的语料资源。
本公开实施例中，由于双语词汇表中包含大量新的词汇，且能生成大量新的泛化双语句型，在实现的过程中，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。
在其他可选的实施例中，作为候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一原始双语词汇对所包含的第一词汇；
作为候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
例如，可以基于表1中的“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，对应地，基于表1中的“li XX”，从表3中确定出“li XX also stressed the importance of maintaining a stable taxpolicy,pointing out that china is in a critical period of economicrecovery.”，其中，“李XX”为任一原始双语词汇对所包含的第一词汇，“li XX”为任一原始双语词汇对所包含的第二词汇，从表3中确定出的两个句子分别为候选双语句对所包含的第一训练句，以及候选双语句对所包含的第二训练句。这里，通过双语词汇表中的原始双语词汇对从原始双语训练集中的原始双语训练句中，确定出候选双语句对，能够精确地确定出用户所需的候选双语句对，进而能够得到准确的泛化双语句型。
在其他可选的实施例中，基于至少一个候选双语句对，构建泛化双语句型，包括：
根据设定条件，从候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个待泛化双语句对，生成M个泛化双语句型；
基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集，包括：
根据M个泛化双语句型和双语词汇表所包含的N个原始双语词汇对，生成多个增广双语训练句对；
基于多个增广双语训练句对，得到增广双语训练集。
在其他可选的实施例中，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
其中，第一训练句的句长和第二训练句的句长是指对该第一训练句和第二训练句进行词语划分后，第一训练句和第二训练句所包含的词语的数量。例如，对候选双语句对所包含的第一训练句进行词语划分，那么，划分后所得到的词语数量，即可作为该第一训练句的句长。
以第一训练句为“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”为例，划分后的第一训练句则为“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，那么，该第一训练句的句长为20。在实现的过程中，可以通过分割字符或者空格符对句子中的词语进行划分。
本公开实施例中，设定句长阈值、第一设定比值、第二设定比值和设定准确率阈值均可以根据需要设定，例如，可以将设定句长阈值设置为10、第一设定比值设置为1/5、第二设定比值设置为5、设定准确率阈值设置为0.25。
这里，通过设置第一训练句和第二训练句的下限值，能够保证获得的待泛化双语句对所包含的句子都是长句，而非短语或者词汇，这样，能够提高数据处理的效率和有效性。
由于第一训练句和第二训练句是具有相同含义的，只是语言不同，所以在将第一训练句和第二训练句进行互译时，翻译出来的句子长度的比值是在设定范围内，如果不在设定范围内，则表征该训练句所对应的语料数据可能是不准确的，本公开实施例中，通过设置第一训练句和第二训练句的比值范围，能够保证语料数据的准确性。通过获取第一训练句和第二训练句的翻译准确率，并在翻译准确率高于设定准确率阈值时，才将包含有该第一训练句和第二训练句的语料数据作为有效的语料数据，能够进一步提高语料数据的准确性。
本公开实施例中，根据设定条件从候选双语句对中确定M个待泛化双语句对，通过限定筛选待泛化双语句对的条件，能够减少搜索到不准确的数据的概率，进而提高所得的待泛化双语句对的精确性。
在其他可选的实施例中，根据M个待泛化双语句对，生成M个泛化双语句型，包括：
将M个待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
根据M个泛化双语句型和双语词汇表所包含的N个原始双语词汇对，生成多个增广双语训练句对，包括：
将M个泛化双语句型中的每一个通用双语词汇对，分别替换为双语词汇表所包含的N个原始双语词汇对，生成K*N*M个增广双语训练句对。
这里，通过将M个待泛化双语句对所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个分别包含有K个通用双语词汇对的泛化双语句型，当需要在M个泛化双语句型中实现多种类型的词属性的词汇替换时，也能够很好地兼容，比如，可以生成M个既可以进行名词替换，也可以进行动词替换的泛化双语句型等。
在将M个泛化双语句型中的每一个所述通用双语词汇对，分别替换为双语词汇表所包含的N个原始双语词汇对，则可以生成K*N*M个所述增广双语训练句对。
这样，能够获得更多的泛化双语句型，在将泛化双语句型中的替代符替换为双语词汇表中的原始双语词汇对时，就能够获得更多的双语语料数据，能够提高数据获取的灵活性和多样性。
当M＝1，即只有一个待泛化双语句对，且该待泛化双语句对包含有K个原始双语词汇时，则可以基于K个通用双语词汇来替换该K个原始双语词汇，并生成一个泛化双语句型。这样，就能够将泛化双语句型中的每一个通用双语词汇，替换为双语词汇表中的N个原始双语词汇，以生成N*K条增广双语训练句对。
本公开实施例中，通过将待泛化双语句对中的原始双语词汇对替换为区别于该待泛化双语句对中其他的词汇的通用双语词汇，能够便于快速定位至该通用双语词汇，并对该通用双语词汇进行相应的处理。例如，可以通过与待泛化双语句对中其他词汇的词属性相同的通用双语词汇对，来替代待泛化双语句对中的原始双语词汇对，这样，就能基于该通用双语词汇对和待泛化双语句对中本来就存在的其他词汇构成完整的句对，能够在提高数据处理效率的基础上，减少新增的通用双语词汇与泛化双语句型不兼容的情况。
本公开实施例中，通过双语词汇表与待泛化双语句对，生成泛化双语句型，并基于双语词汇表中的原始双语词汇对该泛化双语句型进行泛化和增广处理，能够得到大规模的增广双语训练句对，以生成增广双语训练集，且基于双语词汇表和待泛化双语句对中的数据均是通过精确筛选得到的，也能够提高增广双语训练集的数据质量。
在本公开实施例中，所述通用双语词汇为不干扰所述第一语言和第二语言的词汇识别的字符和字符的组合。例如，通用双语词汇也可以是第一语言和第二语言之外的语言的字符或字符组合。
在其他可选的实施例中，通用双语词汇包括：非终结字符，其中，非终结字符，用于指示句子未终结。
这里，通过将通用双语词汇设置为非终结字符，在使用该通用双语词汇对第一双语语料数据中的第一双语词汇进行替换时，能够减少通用双语词汇对整个句子的属性所造成的影响，进而能够提高得到的第二双语预料数据的准确度。
在其他可选的实施例中，该方法还包括：
对增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
基于目标双语训练集，进行模型训练，得到目标翻译模型；
其中，目标翻译模型，用于进行第一语言和第二语言之间的语料数据的翻译。
在其他可选的实施例中，第一双语词汇和第二双语词汇的词属性为名词。
这里，在对增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集之后，能够基于设定的机器翻译模型，训练一个新的机器翻译模型，从而改进机器翻译模型的翻译质量。
在其他可选的实施例中，第一词汇和第二词汇的词属性可以为名词、形容词、动词、副词等，在此不做具体限定。
图2是根据一示例性实施例示出的信息处理方法的流程图二，如图2所示，该方法包括以下步骤：
在步骤201中，构建双语词汇表。
这里，可以根据因为命名实体词汇导致的翻译错误，确定该实体词汇的类别和领域，并确定与该实体词汇对应的双语词汇对，例如，通过人工标注大量该领域的双语词汇对lex＝{(lex_x1,lex_y1),…,(lex_xn,lex_yn)}，进而根据该双语词汇对构建双语词汇表，其中，lex表示双语词汇表所包含的双语词汇对，lex_x1表示第一条第一语言的双语词汇，lex_y1表示第一条第二语言的双语词汇，lex_xi表示第i条第一语言的双语词汇，lex_yi表示第i条第二语言的双语词汇，lex_xn表示第n条第一语言的双语词汇，lex_yn表示第n条第二语言的双语词汇，i和n为正整数。
以实体词汇是人名为例，由于已有的双语数据中对于人名实体的覆盖度有限，导致基于该双语数据训练的机器翻译模型无法对输入的人名进行准确的翻译，从而会产生错误的翻译结果，这时，就可以根据用户反馈的翻译错误，搜集大量的双语人名，并生成基于人名的双语词典，即基于人名的双语词汇表，如表4所示，表4为本公开示出的一种人名双语词典，其中，“李XX|||LiXX”属于高频双语词汇，同时也属于人名类别，其中，“|||”为分割符号。在构建双语词典时，除了训练数据中未登录词和低频词以外，同时也可以增加该类别的高频词汇，从而后续用于从原始双语训练集中搜索相关的双语句型。
表4人名双语词典
第一语言的人名词汇 第二语言的人名词汇
刘XX liu XX
蔡XX cai XX
张XX zhang XX
林XX lin XX
李XX li XX
在步骤202中，构建泛化双语句型。
这里，可以根据步骤201中已搜集的特定领域的双语词汇对，自动从原始双语训练集D＝{(x1,y1),…,(xm,ym)}中搜索匹配到的候选双语句对，然后基于候选双语句对得到待泛化双语句对，通过设定规则过滤得到高可用的带有双语对齐非终结符的泛化双语句型，其中，x1表示第一条第一语言的第一训练句，y1表示第一条第二语言的第二训练句；xm表示第m条第一语言的第一训练句，ym表示第m条第二语言的第二训练句，m为正整数。示例如下：
(1)以中英双语数据为例，如表5所示，表5为本公开示出的原始双语训练集，假设原始双语训练集D共包含5个原始双语训练句对如下：
表5原始双语训练集
Figure BDA0002248431660000131
(2)对原始双语训练集D中的中文源语言句子(第一训练句)和英文目标语言句子(第二训练句)进行词语切分，如表6所示，表6为本公开示出的切分后的原始双语训练集表，切分后的原始双语训练集如下：
表6切分后的原始双语训练集表
Figure BDA0002248431660000141
(3)遍历双语词汇表lex中的每个双语词汇lexi＝(lex_xi,lex_yi)，其中，lex表示双语词汇表，lexi表示双语词汇表中的双语词汇，lex_xi表示第i条第一语言的双语词汇，lex_yi表示第i条第二语言的双语词汇，从原始双语训练集D中搜双语句对Dmatch＝{(x1,y1),…,(xs,ys)}，其中，Dmatch表示从原始双语训练集D中搜索到的双语句对，x1表示第一条第一语言的第一训练句，y1表示第一条第二语言的第二训练句，xs表示第s条第一语言的第一训练句，ys表示第s条第二语言的第二训练句，其中，Dmatch满足设定条件，该设定条件包括以下至少之一：
a)xi和yi的句长都不能小于10；
b)xi包含1个lex_xi，且yi也包含1个lex_yi；
c)xi和yi的句长比例不大于5且不小于1/5；
d)xi和yi最多匹配1个双语词汇对；
e)根据已有的源语言句子到目标语言句子的机器翻译模型M_(src→tgt)和反向的目标语言到源语言机器翻译模型M_(tgt→src)，对xi进行翻译得到对应的译文xi'，对yi进行翻译并获得对应的译文yi'，然后采用双语互译质量评估辅助工具(BilingualEvaluation Understudy，BLEU)对(xi,xi')和(yi,yi')分别进行评，并且获得翻译准确率scorex和scorey，且scorex和scorey分别都大于0.25。其中，xi表示第i条第一语言的第一训练句，yi表示第i条第二语言的第二训练句。
基于以上设定条件，可以根据双语词汇表lex从原始双语训练集D中获得的符合条件的待泛化双语句对Dsent_match，如表7所示，表7为本公开示出的待泛化双语句对表，Dsent_match包括如下：
表7待泛化双语句对表
Figure BDA0002248431660000151
(4)对于Dsent_match中的每个双语句对，可以用非终结符词汇“<X1>”分别替换源语言句子和目标语言句子中匹配到的词汇，从而获得具有泛化能力的泛化双语句型Daotu_sent_match，如表8所示，表8为本公开示出的泛化双语句型，Daotu_sent_match包括如下：
表8泛化双语句型
Figure BDA0002248431660000152
在其他可选的实施例中，除了上述根据原始双语训练集自动抽取双语句型外，还可以根据涉及句型翻译错误的问题，通过人工标注的方法构建具有泛化能力的双语句型数据Dmanual_sent_pattern，如表9所示，表9为本公开示出的具有泛化能力的双语句型数据，Dmanual_sent_pattern包括如下：
表9具有泛化能力的双语句型数据
第一语言的泛化双语句型 第二语言的泛化双语句型
1 你认识<X1>么？ do you know<X1>？
基于以上自动抽取和人工标注的方法，可以获得高质量的领域相关的泛化双语句型Dsent_pattern＝{Dauto_sent_pattern,Dmanual_sent_pattern}。
在步骤203中，构建增广的领域相关的增广双语训练集。
这里，根据已构建的带有双语对齐非终结符的泛化双语句型以及对应的双语词汇表lex，通过枚举每个双语句型对，将其中的双语对齐非终结符替换为双语词汇表中的每条双语词汇，通过这种方式，就可以基于有限的M个泛化双语句型和N个对应领域的双语词汇表，从而得到该领域相关的N*M条高质量的增广双语训练句对Daugment。
例如采用上述表8中示例中的人名领域相关的2条双语句型和表4中5个双语实体词汇，可以构建如下10个增广双语训练句对，如表10所示，表10为本公开示出的增广双语训练句对表，Daugment包括如下：
表10增广双语训练句对表
Figure BDA0002248431660000161
在步骤204中，融合增广双语训练集和原始双语训练集，并基于融合得到的目标双语训练集进行机器翻译模型重训练。
这里，将步骤203中生成的增广双语训练集Daugment和原始双语训练集D合并构建一个规模更大的目标双语训练集D'＝{D,Daugment}，并基于D'对设定翻译模型重新训练，得到一个新的机器翻译模型，从而改进机器翻译模型的翻译质量。
本公开实施例中，通过自动挖掘原始双语训练集中的语料数据中的双语句型和人工标注的双语句型，并利用积累的领域相关的双语词典数据，根据领域相关的双语词汇从原始双语句对中抽取带有词语槽位信息的高质量的双语句型；根据自动抽取或人工标注的带有词语槽位信息的双语句型以及领域相关的双语词汇构建增广双语数据，从而可以产生大规模高质量的领域相关双语语料数据，并用于训练机器翻译模型。
由于这些新增的双语语料数据包含了大量新的词汇信息或者新的双语句型信息，且将用户反馈的翻译错误作为考虑因素，能够有效改进原有机器翻译模型在新词、热词等实体类别单词上的翻译质量，也可以改进机器翻译模型对于原有双语语料数据中未出现过的句型的翻译质量，进而有效提升机器翻译产品的用户体验。
图3是根据一示例性实施例示出的一种信息处理装置框图。如图3所示，该信息处理装置300主要包括：
第一获取模块301，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
第二获取模块302，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
选择模块303，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
构建模块304，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
第三获取模块305，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
在其他可选的实施例中，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
在其他可选的实施例中，所述构建模块例如可以配置为：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
第三获取模块例如可以配置为：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
在其他可选的实施例中，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
在其他可选的实施例中，所述构建模块例如还可以配置为：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇，生成M个泛化双语句型，其中，K为正整数；
第三获取模块例如还可以配置为：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
在其他可选的实施例中，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
在其他可选的实施例中，所述装置还包括：
融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种信息处理装置400的硬件结构框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种信息处理方法，所述方法包括：
获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
基于至少一个所述候选双语句对，构建泛化双语句型；
基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种信息处理方法，其特征在于，包括：
获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
基于至少一个所述候选双语句对，构建泛化双语句型；
基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
2.根据权利要求1所述的方法，其特征在于，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
3.根据权利要求2所述的方法，其特征在于，所述基于至少一个所述候选双语句对，构建泛化双语句型，包括：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
所述基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集，包括：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
4.根据权利要求3所述的方法，其特征在于，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
5.根据权利要求3所述的方法，其特征在于，所述根据M个所述待泛化双语句对，生成M个泛化双语句型，包括：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
所述根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对，包括：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
6.根据权利要求5所述的方法，其特征在于，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
8.一种信息处理装置，其特征在于，包括：
第一获取模块，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
第二获取模块，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
选择模块，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
构建模块，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
第三获取模块，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
9.根据权利要求8所述的装置，其特征在于，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
10.根据权利要求9所述的装置，其特征在于，所述构建模块被配置为：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
第三获取模块被配置为：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
11.根据权利要求10所述的装置，其特征在于，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
12.根据权利要求10所述的装置，其特征在于，所述构建模块还被配置为：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
第三获取模块还被配置为：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
13.根据权利要求12所述的装置，其特征在于，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
14.根据权利要求8至13任一项所述的装置，其特征在于，所述装置还包括：
融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
15.一种信息处理装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至7中任一种信息处理方法中的步骤。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至7中任一种信息处理方法。
CN201911025249.7A 2019-10-25 2019-10-25 信息处理方法、装置及存储介质 Active CN110781689B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201911025249.7A CN110781689B (zh) 2019-10-25 2019-10-25 信息处理方法、装置及存储介质
RU2020103383A RU2737112C1 (ru) 2019-10-25 2019-12-04 Способ и устройство обработки информации, а также носитель данных
PCT/CN2019/123095 WO2021077559A1 (zh) 2019-10-25 2019-12-04 信息处理方法、装置及存储介质
JP2020500705A JP7208968B2 (ja) 2019-10-25 2019-12-04 情報処理方法、装置および記憶媒体
KR1020207001087A KR102327790B1 (ko) 2019-10-25 2019-12-04 정보 처리 방법, 장치 및 저장 매체
US16/744,768 US11461561B2 (en) 2019-10-25 2020-01-16 Method and device for information processing, and storage medium
EP20152542.5A EP3812951A1 (en) 2019-10-25 2020-01-17 Augmenting biligual training corpora by replacing named entities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025249.7A CN110781689B (zh) 2019-10-25 2019-10-25 信息处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110781689A true CN110781689A (zh) 2020-02-11
CN110781689B CN110781689B (zh) 2021-08-06

Family

ID=69232750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025249.7A Active CN110781689B (zh) 2019-10-25 2019-10-25 信息处理方法、装置及存储介质

Country Status (7)

Country Link
US (1) US11461561B2 (zh)
EP (1) EP3812951A1 (zh)
JP (1) JP7208968B2 (zh)
KR (1) KR102327790B1 (zh)
CN (1) CN110781689B (zh)
RU (1) RU2737112C1 (zh)
WO (1) WO2021077559A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562137B2 (en) * 2020-04-14 2023-01-24 Bank Of America Corporation System to correct model drift for natural language understanding
JP7333377B2 (ja) 2021-12-14 2023-08-24 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198701A1 (en) * 2001-06-20 2002-12-26 Moore Robert C. Statistical method and apparatus for learning translation relationships among words
CN105068997A (zh) * 2015-07-15 2015-11-18 清华大学 平行语料的构建方法及装置
CN108021560A (zh) * 2017-12-07 2018-05-11 苏州大学 一种数据增强方法、系统、装置及计算机可读存储介质
CN108920473A (zh) * 2018-07-04 2018-11-30 中译语通科技股份有限公司 一种基于同类词与同义词替换的数据增强机器翻译方法
CN110334197A (zh) * 2019-06-28 2019-10-15 科大讯飞股份有限公司 语料处理方法及相关装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US7827028B2 (en) * 2006-04-07 2010-11-02 Basis Technology Corporation Method and system of machine translation
US7725306B2 (en) * 2006-06-28 2010-05-25 Microsoft Corporation Efficient phrase pair extraction from bilingual word alignments
US8195447B2 (en) 2006-10-10 2012-06-05 Abbyy Software Ltd. Translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions
KR100912501B1 (ko) 2007-08-09 2009-08-17 한국전자통신연구원 번역 지식 구축 방법 및 장치
CN101290616A (zh) 2008-06-11 2008-10-22 中国科学院计算技术研究所 一种统计机器翻译方法和系统
JP5302784B2 (ja) * 2009-06-05 2013-10-02 株式会社日立製作所 機械翻訳方法、及びシステム
KR101356417B1 (ko) * 2010-11-05 2014-01-28 고려대학교 산학협력단 병렬 말뭉치를 이용한 동사구 번역 패턴 구축 장치 및 그 방법
US8874433B2 (en) * 2011-05-20 2014-10-28 Microsoft Corporation Syntax-based augmentation of statistical machine translation phrase tables
CN103631772A (zh) 2012-08-29 2014-03-12 阿里巴巴集团控股有限公司 机器翻译方法及装置
CN103914447B (zh) * 2013-01-09 2017-04-19 富士通株式会社 信息处理设备和信息处理方法
JP6186198B2 (ja) * 2013-07-17 2017-08-23 株式会社エヌ・ティ・ティ・データ 学習モデル作成装置、翻訳装置、学習モデル作成方法、及びプログラム
CN104391885B (zh) * 2014-11-07 2017-07-28 哈尔滨工业大学 一种基于平行语料训练的篇章级可比语料平行短语对的抽取方法
US9367541B1 (en) * 2015-01-20 2016-06-14 Xerox Corporation Terminological adaptation of statistical machine translation system through automatic generation of phrasal contexts for bilingual terms
JP6655788B2 (ja) * 2016-02-01 2020-02-26 パナソニックＩｐマネジメント株式会社 対訳コーパス作成方法、該装置および該プログラムならびに機械翻訳システム
CN106156013B (zh) 2016-06-30 2019-02-19 电子科技大学 一种固定搭配型短语优先的两段式机器翻译方法
CN106649288B (zh) * 2016-12-12 2020-06-23 北京百度网讯科技有限公司 基于人工智能的翻译方法和装置
CN106598959B (zh) * 2016-12-23 2021-03-19 北京金山办公软件股份有限公司 一种确定双语语句对互译关系方法及系统
CN108241609B (zh) * 2016-12-23 2022-02-01 科大讯飞股份有限公司 排比句识别方法及系统
KR102069692B1 (ko) * 2017-10-26 2020-01-23 한국전자통신연구원 신경망 기계번역 방법 및 장치
RU2692049C1 (ru) * 2017-12-29 2019-06-19 Общество С Ограниченной Ответственностью "Яндекс" Способ и система перевода исходного предложения на первом языке целевым предложением на втором языке
CN109359308B (zh) * 2018-10-31 2023-01-10 腾讯科技（武汉）有限公司 机器翻译方法、装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198701A1 (en) * 2001-06-20 2002-12-26 Moore Robert C. Statistical method and apparatus for learning translation relationships among words
CN105068997A (zh) * 2015-07-15 2015-11-18 清华大学 平行语料的构建方法及装置
CN108021560A (zh) * 2017-12-07 2018-05-11 苏州大学 一种数据增强方法、系统、装置及计算机可读存储介质
CN108920473A (zh) * 2018-07-04 2018-11-30 中译语通科技股份有限公司 一种基于同类词与同义词替换的数据增强机器翻译方法
CN110334197A (zh) * 2019-06-28 2019-10-15 科大讯飞股份有限公司 语料处理方法及相关装置

Also Published As

Publication number Publication date
CN110781689B (zh) 2021-08-06
US20210124880A1 (en) 2021-04-29
JP7208968B2 (ja) 2023-01-19
RU2737112C1 (ru) 2020-11-24
EP3812951A1 (en) 2021-04-28
KR102327790B1 (ko) 2021-11-17
WO2021077559A1 (zh) 2021-04-29
KR20210050484A (ko) 2021-05-07
JP2022511139A (ja) 2022-01-31
US11461561B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
US20170154104A1 (en) Real-time recommendation of reference documents
WO2018076450A1 (zh) 一种输入方法和装置、一种用于输入的装置
CN109558599B (zh) 一种转换方法、装置和电子设备
CN108304412B (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN107564526B (zh) 处理方法、装置和机器可读介质
CN111832316B (zh) 语义识别的方法、装置、电子设备和存储介质
CN111128183B (zh) 语音识别方法、装置和介质
CN110069624B (zh) 文本处理方法及装置
CN108345625B (zh) 一种信息挖掘方法和装置、一种用于信息挖掘的装置
CN108345608A (zh) 一种搜索方法、装置及设备
CN111538830B (zh) 法条检索方法、装置、计算机设备及存储介质
CN110781689B (zh) 信息处理方法、装置及存储介质
CN107424612B (zh) 处理方法、装置和机器可读介质
CN111797262A (zh) 诗词生成方法、装置、电子设备和存储介质
CN113033163B (zh) 一种数据处理方法、装置和电子设备
CN113239707A (zh) 文本翻译方法、文本翻译装置及存储介质
CN111324214B (zh) 一种语句纠错方法和装置
CN109979435B (zh) 数据处理方法和装置、用于数据处理的装置
CN110837741B (zh) 一种机器翻译方法、装置及系统
CN110245358A (zh) 一种机器翻译方法及相关装置
CN114462410A (zh) 实体识别方法、装置、终端及存储介质
CN108983992B (zh) 一种具有标点符号的候选项展示方法和装置
CN112149432A (zh) 篇章机器翻译方法及装置、存储介质
CN108345590B (zh) 一种翻译方法、装置、电子设备以及存储介质
CN112612442A (zh) 一种输入方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant