CN111767742B - 篇章翻译网络的数据增强方法 - Google Patents
篇章翻译网络的数据增强方法 Download PDFInfo
- Publication number
- CN111767742B CN111767742B CN202010432277.7A CN202010432277A CN111767742B CN 111767742 B CN111767742 B CN 111767742B CN 202010432277 A CN202010432277 A CN 202010432277A CN 111767742 B CN111767742 B CN 111767742B
- Authority
- CN
- China
- Prior art keywords
- source
- target
- chapter
- corpus
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了篇章翻译网络的数据增强方法,该篇章翻译网络的数据增强方法利用NLU领域生成网络生成相应的篇章翻译数据,其能够丰富篇章数据的数据量和提高篇章数据的质量,以此改善篇章翻译网络的翻译效果;此外,该数据增强方法还通过篇章翻译网络这一上下文关联功能模块,将上下文信息有效地和精准地引入到翻译过程中,从而最大限度地提高翻译结果的忠实度和准确度。
Description
技术领域
本发明涉及篇章数据处理的技术领域,特别涉及篇章翻译网络的数据增强方法。
背景技术
人工智能技术已经广泛应用于不同工作场合中,其特别对语言翻译场合具有重要的影响。目前,在人工智能翻译任务实现中,常用的翻译模式是通过句级别的双语语料来训练翻译网络模型,但是在实际操作过程中,由于缺乏上下文关联信息,容易出现翻译结果忠实度和准确度低下的情况。虽然,从网络爬取能得到篇章翻译的数据,但是若篇章翻译数据的数据量不足够,而且无法保证与句级别双语语料同源,这会使得就算有篇章数据,也无法提升翻译效果,即篇章数据的质量会直接影响翻译效果。可见,篇章数据的质量对应翻译结果的忠实度和准确度具有至关重要的作用。
发明内容
针对现有技术存在的缺陷,本发明提供篇章翻译网络的数据增强方法,该篇章翻译网络的数据增强方法包括根据关于源语言的源语料S1和目标语料S2对关于NLU领域的生成网络和训练篇章网络进行训练,以此生成相应的源生成网络模型M1、目标生成网络模型M2和初级篇章翻译网络模型M4,再通过该源生成网络模型M1和该目标生成网络模型M2将该源语料S1和该目标语料S2转换成源篇章数据C1和目标篇章数据C2,最后基于该源篇章数据C1和该目标篇章数据C2对该初级篇章翻译网络模型M4训练,以此生成期望篇章翻译网络模型M5;可见,该篇章翻译网络的数据增强方法利用NLU领域生成网络生成相应的篇章翻译数据,其能够丰富篇章数据的数据量和提高篇章数据的质量,以此改善篇章翻译网络的翻译效果;此外,该数据增强方法还通过篇章翻译网络这一上下文关联功能模块,将上下文信息有效地和精准地引入到翻译过程中,从而最大限度地提高翻译结果的忠实度和准确度。
本发明提供篇章翻译网络的数据增强方法,其特征在于,所述篇章翻译网络的数据增强方法包括如下步骤:
步骤T1,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2;
步骤T2,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据所述翻译模型M3,生成初级篇章翻译网络模型M4;
步骤T3,通过所述源生成网络模型M1和所述目标生成网络模型M2,分别将所述源语料S1和所述目标语料S2转换成源篇章数据C1和目标篇章数据C2;
步骤T4,通过所述源篇章数据C1和所述目标篇章数据C2,对所述初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5;
进一步,在所述步骤T1中,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2具体包括,
步骤T101,根据所述源语料S1,对关于NLU领域的生成网络进行第一单语训练;
步骤T102,根据所述目标语料S2,对关于NLU领域的生成网络进行第二单语训练;
步骤T103,根据所述第一单语训练和所述第二单语训练的结果,以此得到所述源生成网络模型M1和所述目标生成网络模型M2;
进一步,在所述步骤T101中,根据所述源语料S1,对关于NLU领域的生成网络进行第一单语训练具体包括,
将所述源语料S1进行单语形式摘选,以此获得单语源语料,再根据所述单语源语料对关于GPT或者GPT-2的生成网络进行所述第一单语训练;
或者,
在所述步骤T102中,根据所述目标语料S2,对关于NLU领域的生成网络进行第二单语训练具体包括,
将所述目标语料S2进行单语形式摘选,以此获得单语目标语料,再根据所述单语目标语料对关于GPT或者GPT-2的生成网络进行所述第二单语训练;
进一步,在所述步骤T2中,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据所述翻译模型M3,生成初级篇章翻译网络模型M4具体包括,
步骤T201,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到所述翻译模型M3;
步骤T202,根据所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成所述初级篇章翻译网络模型M4;
进一步,在所述步骤T201中,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到所述翻译模型M3具体包括,
通过所述源语料S1和所述目标语料S2,对所述篇章翻译网络的源端和目标端分别进行关于数据重复训练和框架评估的2步法训练,以此得到所述翻译模型M3;
或者,
在所述步骤T202中,根据所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成所述初级篇章翻译网络模型M4具体包括,
步骤T2021,根据翻译网络演变算法,计算获得所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1各自的第一网络权值和第二网络权值;
步骤T2022,将所述第一网络权值和所述第二网络权值拷贝至所述篇章翻译网络对应的源端编码器Encoder2和目标端解码器Decoder2,以此生成所述初级篇章翻译网络模型M4;
进一步,在所述步骤T3中,通过所述源生成网络模型M1和所述目标生成网络模型M2,分别将所述源语料S1和所述目标语料S2转换成源篇章数据C1和目标篇章数据C2具体包括,
步骤T301,通过所述源生成网络模型M1对句级别化的所述源语料S1进行数据处理,以此得到与所述源语料S1相关的源篇章数据C1;
步骤T302,通过所述目标生成网络模型M2对句级别化的所述目标语料S2进行数据处理,以此得到与所述目标语料S2相关的目标篇章数据C2;
进一步,在所述步骤T301中,通过所述源生成网络模型M1对句级别化的所述源语料S1进行数据处理,以此得到与所述源语料S1相关的源篇章数据C1具体包括,
步骤T3011,根据预定句子长度和/或句子语义划分模式,将所述源语料S1进行句级别化处理,以此得到句级别化源语料;
步骤T3012,通过所述源生成网络模型M1对所述句级别化源语料进行语义关联处理,以此得到与所述源语料S1相关的源篇章数据C1;
或者,
在所述步骤T302中,通过所述目标生成网络模型M2对句级别化的所述目标语料S2进行数据处理,以此得到与所述目标语料S2相关的目标篇章数据C2具体包括,
步骤T3021,根据预定句子长度和/或句子语义划分模式,将所述目标语料S2进行句级别化处理,以此得到句级别化目标语料;
步骤T3022,通过所述目标生成网络模型M2对所述句级别化目标语料进行语义关联处理,以此得到与所述目标语料S2相关的目标篇章数据C2;
进一步,在所述步骤T4中,通过所述源篇章数据C1和所述目标篇章数据C2,对所述初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5具体包括,
步骤T401,通过所述源篇章数据C1和所述目标篇章数据C2,分别对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练;
步骤T402,根据对所述源端编码器Encoder2和所述目标端解码器Decoder2的上下文关联训练结果,生成所述期望篇章翻译网络模型M5;
进一步,在所述步骤T401中,通过所述源篇章数据C1和所述目标篇章数据C2,分别对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练具体包括,
在对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练的过程中,保持所述源端编码器Encoder2和所述目标端解码器Decoder2的权值固定不变;
进一步,在所述步骤T4后,所述数据增强方法还包括下面步骤T5,
步骤T5,将待翻译数据输入至所述期望篇章翻译网络模型M5中,并获得具备上下文语境的翻译结果。
相比于现有技术,该篇章翻译网络的数据增强方法包括根据关于源语言的源语料S1和目标语料S2对关于NLU领域的生成网络和训练篇章网络进行训练,以此生成相应的源生成网络模型M1、目标生成网络模型M2和初级篇章翻译网络模型M4,再通过该源生成网络模型M1和该目标生成网络模型M2将该源语料S1和该目标语料S2转换成源篇章数据C1和目标篇章数据C2,最后基于该源篇章数据C1和该目标篇章数据C2对该初级篇章翻译网络模型M4训练,以此生成期望篇章翻译网络模型M5;可见,该篇章翻译网络的数据增强方法利用NLU领域生成网络生成相应的篇章翻译数据,其能够丰富篇章数据的数据量和提高篇章数据的质量,以此改善篇章翻译网络的翻译效果;此外,该数据增强方法还通过篇章翻译网络这一上下文关联功能模块,将上下文信息有效地和精准地引入到翻译过程中,从而最大限度地提高翻译结果的忠实度和准确度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的篇章翻译网络的数据增强方法的整体流程示意图。
图2为本发明提供的篇章翻译网络的数据增强方法中步骤S1的细化流程示意图。
图3为本发明提供的篇章翻译网络的数据增强方法中步骤S2的细化流程示意图。
图4为本发明提供的篇章翻译网络的数据增强方法中步骤S3的细化流程示意图。
图5为本发明提供的篇章翻译网络的数据增强方法中步骤S4的细化流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,为本发明实施例提供的篇章翻译网络的数据增强方法的整体流程示意图。该篇章翻译网络的数据增强方法包括如下步骤:
步骤T1,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2;
步骤T2,通过该源语料S1和该目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据该翻译模型M3,生成初级篇章翻译网络模型M4;
步骤T3,通过该源生成网络模型M1和该目标生成网络模型M2,分别将该源语料S1和该目标语料S2转换成源篇章数据C1和目标篇章数据C2;
步骤T4,通过该源篇章数据C1和该目标篇章数据C2,对该初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5。
该篇章翻译网络的数据增强方法通过对源语料S1和目标语料S2对关于NLU领域的生成网络和训练篇章网络进行训练,以此生成相应的源生成网络模型M1、目标生成网络模型M2和初级篇章翻译网络模型M4,这样通过该NLU领域的生成网络得到大量的上下文篇章信息和提高篇章数据的数量,以此提高篇章翻译的待翻译数据的质量和数据量,从而提高后续期望篇章翻译网络模型M5的翻译质量和效率。
优选地,在该步骤T4后,该数据增强方法还包括下面步骤T5,
步骤T5,将待翻译数据输入至该期望篇章翻译网络模型M5中,并获得具备上下文语境的翻译结果。
该期望篇章翻译网络模型M5能够适用于不同类型的待翻译数据,这样能够提高该期望篇章翻译网络模型M5对不同翻译场景的适用性,以及便于将待翻译数据直接输入该期望篇章翻译网络模型M5后快速地获得准确的翻译结果。
参阅图2,为本发明实施例提供的篇章翻译网络的数据增强方法中步骤S1的细化流程示意图。在该步骤T1中,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2具体包括,
步骤T101,根据该源语料S1,对关于NLU领域的生成网络进行第一单语训练;
步骤T102,根据该目标语料S2,对关于NLU领域的生成网络进行第二单语训练;
步骤T103,根据该第一单语训练和该第二单语训练的结果,以此得到该源生成网络模型M1和该目标生成网络模型M2。
优选地,在该步骤T101中,根据该源语料S1,对关于NLU领域的生成网络进行第一单语训练具体包括,
将该源语料S1进行单语形式摘选,以此获得单语源语料,再根据该单语源语料对关于GPT或者GPT-2的生成网络进行该第一单语训练。
优选地,在该步骤T102中,根据该目标语料S2,对关于NLU领域的生成网络进行第二单语训练具体包括,
将该目标语料S2进行单语形式摘选,以此获得单语目标语料,再根据该单语目标语料对关于GPT或者GPT-2的生成网络进行该第二单语训练。
由于GPT或者GPT-2等类型的NLU领域的生成网络能够对源语料数据和目标语料数据进行有针对性的扩展延伸,这样能够最大限度地改善该源语料数据和目标语料数据各自上下文关联系和数据量,从而有效地避免由于语料数据缺乏上下文关联的情况发生。
参阅图3,为本发明实施例提供的篇章翻译网络的数据增强方法中步骤S2的细化流程示意图。在该步骤T2中,通过该源语料S1和该目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据该翻译模型M3,生成初级篇章翻译网络模型M4具体包括,
步骤T201,通过该源语料S1和该目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到该翻译模型M3;
步骤T202,根据该翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成该初级篇章翻译网络模型M4。
根据该源语料和该目标语料对该篇章翻译网络进行训练,由于该篇章翻译网络能够获取语料数据中的上下文关联信息,这样能够保证在翻译过程中引入该篇章翻译网络能够有效地提高语料数据中上下文关联信息的获取准确性,从而保证后续的翻译有效性。
优选地,在该步骤T201中,通过该源语料S1和该目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到该翻译模型M3具体包括,
通过该源语料S1和该目标语料S2,对该篇章翻译网络的源端和目标端分别进行关于数据重复训练和框架评估的2步法训练,以此得到该翻译模型M3。
优选地,在该步骤T202中,根据该翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成该初级篇章翻译网络模型M4具体包括,
步骤T2021,根据翻译网络演变算法,计算获得该翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1各自的第一网络权值和第二网络权值;
步骤T2022,将该第一网络权值和该第二网络权值拷贝至该篇章翻译网络对应的源端编码器Encoder2和目标端解码器Decoder2,以此生成该初级篇章翻译网络模型M4。
将该第一网络权值和该第二网络权值拷贝至该篇章翻译网络对应的源端编码器Encoder2和目标端解码器Decode2,能够在保证最大限度地复制还原该翻译模型M3功能的情况下,有效地改善该初级篇章翻译网络模型M4的翻译全面性和效率性。
参阅图4,为本发明实施例提供的篇章翻译网络的数据增强方法中步骤S3的细化流程示意图。在该步骤T3中,通过该源生成网络模型M1和该目标生成网络模型M2,分别将该源语料S1和该目标语料S2转换成源篇章数据C1和目标篇章数据C2具体包括,
步骤T301,通过该源生成网络模型M1对句级别化的该源语料S1进行数据处理,以此得到与该源语料S1相关的源篇章数据C1;
步骤T302,通过该目标生成网络模型M2对句级别化的该目标语料S2进行数据处理,以此得到与该目标语料S2相关的目标篇章数据C2。
优选地,在该步骤T301中,通过该源生成网络模型M1对句级别化的该源语料S1进行数据处理,以此得到与该源语料S1相关的源篇章数据C1具体包括,
步骤T3011,根据预定句子长度和/或句子语义划分模式,将该源语料S1进行句级别化处理,以此得到句级别化源语料;
步骤T3012,通过该源生成网络模型M1对该句级别化源语料进行语义关联处理,以此得到与该源语料S1相关的源篇章数据C1。
优选地,在该步骤T302中,通过该目标生成网络模型M2对句级别化的该目标语料S2进行数据处理,以此得到与该目标语料S2相关的目标篇章数据C2具体包括,
步骤T3021,根据预定句子长度和/或句子语义划分模式,将该目标语料S2进行句级别化处理,以此得到句级别化目标语料;
步骤T3022,通过该目标生成网络模型M2对该句级别化目标语料进行语义关联处理,以此得到与该目标语料S2相关的目标篇章数据C2。
与现有技术通过网络爬取的方式获得篇章数据的方式相比,该NLU领域的生成网络相应的训练数据是从句级别的双语语料生成得到的,这实现该句级别的双语语料的基本同源,从而有效地解决了篇章翻译数据质量不好而导致翻译效果变差的问题。
参阅图5,为本发明实施例提供的篇章翻译网络的数据增强方法中步骤S4的细化流程示意图。在该步骤T4中,通过该源篇章数据C1和该目标篇章数据C2,对该初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5具体包括,
步骤T401,通过该源篇章数据C1和该目标篇章数据C2,分别对该初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练;
步骤T402,根据对该源端编码器Encoder2和该目标端解码器Decoder2的上下文关联训练结果,生成该期望篇章翻译网络模型M5。
优选地,在该步骤T401中,通过该源篇章数据C1和该目标篇章数据C2,分别对该初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练具体包括,
在对该初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练的过程中,保持该源端编码器Encoder2和该目标端解码器Decoder2的权值固定不变。
该期望篇章翻译网络模型M5通过上下文关联训练的形式,能够将上下文信息有效地和精准地引入到翻译过程中,从而最大限度地提高翻译结果的忠实度和准确度。
从上述实施例的内容可知,该篇章翻译网络的数据增强方法包括根据关于源语言的源语料S1和目标语料S2对关于NLU领域的生成网络和训练篇章网络进行训练,以此生成相应的源生成网络模型M1、目标生成网络模型M2和初级篇章翻译网络模型M4,再通过该源生成网络模型M1和该目标生成网络模型M2将该源语料S1和该目标语料S2转换成源篇章数据C1和目标篇章数据C2,最后基于该源篇章数据C1和该目标篇章数据C2对该初级篇章翻译网络模型M4训练,以此生成期望篇章翻译网络模型M5;可见,该篇章翻译网络的数据增强方法利用NLU领域生成网络生成相应的篇章翻译数据,其能够丰富篇章数据的数据量和提高篇章数据的质量,以此改善篇章翻译网络的翻译效果;此外,该数据增强方法还通过篇章翻译网络这一上下文关联功能模块,将上下文信息有效地和精准地引入到翻译过程中,从而最大限度地提高翻译结果的忠实度和准确度。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.篇章翻译网络的数据增强方法,其特征在于,所述篇章翻译网络的数据增强方法包括如下步骤:
步骤T1,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2;
步骤T2,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据所述翻译模型M3,生成初级篇章翻译网络模型M4;
步骤T3,通过所述源生成网络模型M1和所述目标生成网络模型M2,分别将所述源语料S1和所述目标语料S2转换成源篇章数据C1和目标篇章数据C2;
步骤T4,通过所述源篇章数据C1和所述目标篇章数据C2,对所述初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5;
在所述步骤T1中,根据关于源语言的源语料S1和目标语料S2对预设生成网络进行训练,以此对应得到源生成网络模型M1和目标生成网络模型M2,包括:
步骤T101,根据所述源语料S1,对关于NLU领域的生成网络进行第一单语训练;
步骤T102,根据所述目标语料S2,对关于NLU领域的生成网络进行第二单语训练;
步骤T103,根据所述第一单语训练和所述第二单语训练的结果,以此得到所述源生成网络模型M1和所述目标生成网络模型M2;
在所述步骤T101中,根据所述源语料S1,对关于NLU领域的生成网络进行第一单语训练,包括:
将所述源语料S1进行单语形式摘选,以此获得单语源语料,再根据所述单语源语料对关于GPT的生成网络或者GPT-2的生成网络进行所述第一单语训练;
在所述步骤T102中,根据所述目标语料S2,对关于NLU领域的生成网络进行第二单语训练,包括:
将所述目标语料S2进行单语形式摘选,以此获得单语目标语料,再根据所述单语目标语料对关于GPT的生成网络或者GPT-2的生成网络进行所述第二单语训练;
在所述步骤T2中,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络进行训练,以此得到翻译模型M3,再根据所述翻译模型M3,生成初级篇章翻译网络模型M4,包括:
步骤T201,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到所述翻译模型M3;
步骤T202,根据所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成所述初级篇章翻译网络模型M4;
在所述步骤T201中,通过所述源语料S1和所述目标语料S2,使用2步法对篇章翻译网络的源端和目标端进行重复训练,以此得到所述翻译模型M3,包括:
通过所述源语料S1和所述目标语料S2,对所述篇章翻译网络的源端和目标端分别进行关于数据重复训练和框架评估的2步法训练,以此得到所述翻译模型M3;
在所述步骤T202中,根据所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1的网络权值,生成所述初级篇章翻译网络模型M4,包括:
步骤T2021,根据翻译网络演变算法,计算获得所述翻译模型M3的源端编码器Encoder1和目标端解码器Decoder1各自的第一网络权值和第二网络权值;
步骤T2022,将所述第一网络权值和所述第二网络权值拷贝至所述篇章翻译网络对应的源端编码器Encoder2和目标端解码器Decoder2,以此生成所述初级篇章翻译网络模型M4;
在所述步骤T3中,通过所述源生成网络模型M1和所述目标生成网络模型M2,分别将所述源语料S1和所述目标语料S2转换成源篇章数据C1和目标篇章数据C2,包括:
步骤T301,通过所述源生成网络模型M1对句级别化的所述源语料S1进行数据处理,以此得到与所述源语料S1相关的源篇章数据C1;
步骤T302,通过所述目标生成网络模型M2对句级别化的所述目标语料S2进行数据处理,以此得到与所述目标语料S2相关的目标篇章数据C2。
2.如权利要求1所述的篇章翻译网络的数据增强方法,其特征在于,在所述步骤T301中,通过所述源生成网络模型M1对句级别化的所述源语料S1进行数据处理,以此得到与所述源语料S1相关的源篇章数据C1,包括:
步骤T3011,根据预定句子长度和/或句子语义划分模式,将所述源语料S1进行句级别化处理,以此得到句级别化源语料;
步骤T3012,通过所述源生成网络模型M1对所述句级别化源语料进行语义关联处理,以此得到与所述源语料S1相关的源篇章数据C1;
在所述步骤T302中,通过所述目标生成网络模型M2对句级别化的所述目标语料S2进行数据处理,以此得到与所述目标语料S2相关的目标篇章数据C2,包括:
步骤T3021,根据预定句子长度和/或句子语义划分模式,将所述目标语料S2进行句级别化处理,以此得到句级别化目标语料;
步骤T3022,通过所述目标生成网络模型M2对所述句级别化目标语料进行语义关联处理,以此得到与所述目标语料S2相关的目标篇章数据C2。
3.如权利要求1所述的篇章翻译网络的数据增强方法,其特征在于,在所述步骤T4中,通过所述源篇章数据C1和所述目标篇章数据C2,对所述初级篇章翻译网络模型M4进行处理,以此生成期望篇章翻译网络模型M5,包括:
步骤T401,通过所述源篇章数据C1和所述目标篇章数据C2,分别对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练;
步骤T402,根据对所述源端编码器Encoder2和所述目标端解码器Decoder2的上下文关联训练结果,生成所述期望篇章翻译网络模型M5。
4.如权利要求3所述的篇章翻译网络的数据增强方法,其特征在于,在所述步骤T401中,通过所述源篇章数据C1和所述目标篇章数据C2,分别对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练,包括:
在对所述初级篇章翻译网络模型M4的源端编码器Encoder2和目标端解码器Decoder2进行上下文关联训练的过程中,保持所述源端编码器Encoder2和所述目标端解码器Decoder2的权值固定不变。
5.如权利要求1所述的篇章翻译网络的数据增强方法,其特征在于,在所述步骤T4后,所述数据增强方法还包括下面步骤T5:
步骤T5,将待翻译数据输入至所述期望篇章翻译网络模型M5中,并获得具备上下文语境的翻译结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010432277.7A CN111767742B (zh) | 2020-05-20 | 2020-05-20 | 篇章翻译网络的数据增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010432277.7A CN111767742B (zh) | 2020-05-20 | 2020-05-20 | 篇章翻译网络的数据增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767742A CN111767742A (zh) | 2020-10-13 |
CN111767742B true CN111767742B (zh) | 2023-07-25 |
Family
ID=72719491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010432277.7A Active CN111767742B (zh) | 2020-05-20 | 2020-05-20 | 篇章翻译网络的数据增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767742B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110337A (zh) * | 2019-05-08 | 2019-08-09 | 网易有道信息技术(北京)有限公司 | 翻译模型训练方法、介质、装置和计算设备 |
CN110543645A (zh) * | 2019-09-04 | 2019-12-06 | 网易有道信息技术(北京)有限公司 | 机器学习模型训练方法、介质、装置和计算设备 |
CN110728154A (zh) * | 2019-08-28 | 2020-01-24 | 云知声智能科技股份有限公司 | 一种半监督式通用神经机器翻译模型的构建方法 |
CN110852117A (zh) * | 2019-11-08 | 2020-02-28 | 沈阳雅译网络技术有限公司 | 一种提升神经机器翻译效果的有效数据增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10769387B2 (en) * | 2017-09-21 | 2020-09-08 | Mz Ip Holdings, Llc | System and method for translating chat messages |
-
2020
- 2020-05-20 CN CN202010432277.7A patent/CN111767742B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110337A (zh) * | 2019-05-08 | 2019-08-09 | 网易有道信息技术(北京)有限公司 | 翻译模型训练方法、介质、装置和计算设备 |
CN110728154A (zh) * | 2019-08-28 | 2020-01-24 | 云知声智能科技股份有限公司 | 一种半监督式通用神经机器翻译模型的构建方法 |
CN110543645A (zh) * | 2019-09-04 | 2019-12-06 | 网易有道信息技术(北京)有限公司 | 机器学习模型训练方法、介质、装置和计算设备 |
CN110852117A (zh) * | 2019-11-08 | 2020-02-28 | 沈阳雅译网络技术有限公司 | 一种提升神经机器翻译效果的有效数据增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111767742A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852117B (zh) | 一种提升神经机器翻译效果的有效数据增强方法 | |
CN110069790B (zh) | 一种通过译文回译对照原文的机器翻译系统及方法 | |
CN110309514A (zh) | 一种语义识别方法及装置 | |
Luong et al. | Deep neural language models for machine translation | |
CN104538024A (zh) | 语音合成方法、装置及设备 | |
JP4381425B2 (ja) | 二言語単語対応付けモデル訓練方法及び装置、二言語単語対応付け方法及び装置 | |
CN106503231B (zh) | 基于人工智能的搜索方法和装置 | |
CN107861954B (zh) | 基于人工智能的信息输出方法和装置 | |
CN110555213B (zh) | 文本翻译模型的训练方法、文本翻译方法及装置 | |
KR20070060862A (ko) | 학습 데이터 구축 장치 및 방법 | |
CN110414003B (zh) | 建立文本生成模型的方法、装置、介质和计算设备 | |
CN111144140B (zh) | 基于零次学习的中泰双语语料生成方法及装置 | |
CN111291175B (zh) | 一种基于策略梯度算法的自动生成提交需求摘要的方法 | |
CN113822054A (zh) | 基于数据增强的中文语法纠错方法及装置 | |
CN114528398A (zh) | 一种基于交互双重图卷积网络的情感预测方法及系统 | |
CN107479879B (zh) | 一种面向软件功能维护的api及其使用推荐方法 | |
CN111401078A (zh) | 神经网络文本翻译模型的运行方法、装置、设备、及介质 | |
CN112528598B (zh) | 基于预训练语言模型和信息论的自动化文本摘要评测方法 | |
CN111767742B (zh) | 篇章翻译网络的数据增强方法 | |
CN111382333B (zh) | 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法 | |
CN111178098B (zh) | 一种文本翻译方法、装置、设备及计算机可读存储介质 | |
CN112836525A (zh) | 一种基于人机交互机器翻译系统及其自动优化方法 | |
CN115374252B (zh) | 一种基于原生Bert架构的文本分级方法及装置 | |
CN115017924B (zh) | 跨语际语言翻译的神经机器翻译模型构建及其翻译方法 | |
CN111368056A (zh) | 一种古诗词生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |