CN111859995B - 机器翻译模型的训练方法、装置、电子设备及存储介质 - Google Patents

机器翻译模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111859995B
CN111859995B CN202010550588.3A CN202010550588A CN111859995B CN 111859995 B CN111859995 B CN 111859995B CN 202010550588 A CN202010550588 A CN 202010550588A CN 111859995 B CN111859995 B CN 111859995B
Authority
CN
China
Prior art keywords
training
machine translation
translation model
target
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010550588.3A
Other languages
English (en)
Other versions
CN111859995A (zh
Inventor
张睿卿
张传强
刘继强
何中军
李芝
吴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010550588.3A priority Critical patent/CN111859995B/zh
Publication of CN111859995A publication Critical patent/CN111859995A/zh
Priority to US17/200,588 priority patent/US20210200963A1/en
Priority to EP21163862.2A priority patent/EP3926516A1/en
Priority to KR1020210075722A priority patent/KR102641398B1/ko
Priority to JP2021099159A priority patent/JP7203153B2/ja
Application granted granted Critical
Publication of CN111859995B publication Critical patent/CN111859995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本申请公开了一种机器翻译模型的训练方法、装置、电子设备及存储介质，涉及自然语言处理技术领域。具体实现方案为：从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；从平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；分别采用第一训练样本集和第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器、及目标领域的机器翻译模型的编码器和解码器。本申请的训练方法，省时、省力，可以有效地提高目标领域的机器翻译模型的训练效率。

Description

机器翻译模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及自然语言处理技术领域，具体涉及一种机器翻译模型的训练方法、装置、电子设备及存储介质。
背景技术
在自然语言处理(Natural Language Processing；NLP)中，现有的机器翻译模型可以通用于所有领域，实现对所有领域的语料进行翻译。因此，这种机器翻译模型可以称之为通用领域的机器翻译模型。
实际应用中，通用领域的机器翻译模型在训练时，采集各个领域的双语训练样本进行训练。且采集的各个领域的双语训练样本具有通用性，通常为各个领域都能够识别的训练样本，以便于适用于各个领域。但是，利用训练好的机器翻译模型翻译某个目标领域的语料时，可能该通用领域的机器翻译模型在训练时，未学习过该目标领域的特殊语料，导致无法识别该目标领域的语料，从而无法进行准确翻译。为了克服该技术问题，现有技术采用有监督的训练方法，收集目标领域的人工标注的双语训练样本，然后在通用领域的机器翻译模型上进行微调训练，得到目标领域的机器翻译模型。
但是，现有的目标领域的机器翻译模型的训练中，由于目标领域的数据较少，需要耗费较多的人力成本标注双语训练样本，导致目标领域的机器翻译模型训练过程中，费时、费力，训练效率低下。
发明内容
为了解决上述技术问题，本申请提供了一种机器翻译模型的训练方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种目标领域的机器翻译模型的训练方法，其中，所述方法包括：
从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
从所述平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器；所述判别器用于识别训练时输入的样本所属的领域。
根据本申请的另一方面，提供了一种目标领域的机器翻译模型的训练装置，其中，所述装置包括：
第一选择模块，用于从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
第二选择模块，用于从所述平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
训练模块，用于分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器；所述判别器用于识别训练时输入的样本所属的领域。
根据本申请的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。
根据本申请的技术，与现有技术的目标领域的机器翻译模型的训练方法相比，省时、省力，而且可以有效地提高目标领域的机器翻译模型的训练效率。而且采用本申请的训练方法，可以参考样本在目标领域和通用领域的分布，实现自适应地对目标领域的机器翻译模型进行训练调整，从而能够有效地提高目标领域的机器翻译模型的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3为本实施例的目标领域的机器翻译模型的训练架构图；
图4为本实施例中样本概率分布示意图；
图5是根据本申请第三实施例的示意图；
图6是根据本申请第四实施例的示意图；
图7是用来实现本申请实施例的目标领域的机器翻译模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种目标领域的机器翻译模型的训练方法，具体可以包括如下步骤：
S101、从平行语料库中选择翻译质量满足预设要求、具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
S102、从平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
S103、分别采用第一训练样本集和第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器、以及目标领域的机器翻译模型的编码器和解码器；判别器用于识别第一训练样本集中各样本所属的领域。
本实施例的目标领域的机器翻译模型的训练方法的执行主体为目标领域的机器翻译模型的训练方法，该目标领域的机器翻译模型的训练方法可以为一类似于计算机的电子实体，或者也可以为采用软件集成的应用，使用时，该应用运行在计算机设备上，以实现对目标领域的机器翻译模型进行训练。
本实施例的平行语料库中可以包括数条样本，每一条样本中包括源语句和目标语句，且源语句和目标语句属于不同语种的语言。对于任一样本，机器翻译模型在将每个样本中的源语句翻译为目标语句的时候，都会同时输出翻译为该目标语句的翻译概率，这个翻译概率的大小可以表征翻译的质量，翻译概率越大，表示当前机器翻译模型将源语句x翻译为y的概率越高，翻译质量越好，反之亦然。
本实施例的通用领域指的就是不限定具体领域，泛指NLP中的所有领域通用。而目标领域指的是一个特殊的领域，如口语领域。例如，通用领域的机器翻译模型在训练的时候，平行语料库中包括的都是一些各个领域描述比较规范的样本，所以通常领域的机器翻译模型学习到的也是对于比较规范的语料进行翻译的能力。例如，较为规范的描述通常是“请问您吃饭了没有”，通用领域的机器翻译模型可以很好的翻译该语料。但是在口语领域，语料的表述方式非常简洁，如“吃了么”，而此时，通用领域的机器翻译模型可能就未学习过类似语料的翻译，所以，此时会导致翻译错误。
在此背景下，再结合背景技术中，现有的目标领域的机器翻译模型的训练过程费时、费力、效率低下的技术问题。本实施例提供一种目标领域的机器翻译模型的训练方案。
本实施例中，从平行语料库中筛选翻译质量满足预设要求的第一训练样本集和第二训练样本集，其中第一训练样本集中的样本翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征。也就是说，第一训练样本集中的样本不仅翻译质量足够高，且具备通用领域或者目标领域的特性，明显属于通用领域的样本、或者目标领域的样本。
而第二训练样本集中的样本，翻译质量满足预设要求、不具备通用领域特征和目标领域特征。也就是说，第二训练样本集中的样本翻译质量也满足预设要求，足够高，但是不具备明显的通用领域和目标领域的特性，即样本不携带明显的领域分类信息。
本实施例中第一训练样本集中包括的一组样本和第二训练样本集中包括的一组样本的数量可以为一条、两条或者多条，具体可以根据实际需求设置N条作为一个batch，构成相应的训练样本集，在此不做限定。
本实施例中，先采用第一训练样本集，训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器(Discriminator)。目的是希望通过对抗学习，让目标领域的机器翻译模型的编码器一方面在浅层表示学到领域相关的特征，另一方面又能够在上层特征学习到领域无关的特征；具体来说，这是通过让底层判别器产生准确的判别结果，上层判别器产生不准确的判别结果达到的。其中判别器底层指的是与底层编码层连接的判别器，底层编码层指的是靠近输入层的编码层。上层判别器指的是与上层编码层连接的判别器，上层编码层指的是靠近解码层的编码层。
再采用第二训练样本集对目标领域的机器翻译模型的编码器和解码器进行训练，该第二训练样本集中的样本具有如下特点：A)使用当前目标领域的机器翻译模型的翻译结果较好，即目标领域的机器翻译模型的翻译概率大于预设的翻译概率阈值，如：
p(y|x；θenc,θdec)＞TNMT
其中，p(y|x；θenc,θdec)表示该目标领域的机器翻译模型将样本中的源语句x翻译为y的概率，其中θenc表示该目标领域的机器翻译模型的编码器的参数，θdec表示该目标领域的机器翻译模型的解码器的参数。
B)判别器无法准确判断该样本属于哪个领域，即：
p(cls＝1|x；θenc,θdis)≈0.5
其中，p(cls＝1|x；θenc,θdis)表示判别器识别样本中的源语句x所属领域的概率，θdis表示该判别器的参数。
该训练的过程，是选择翻译结果好，且难以区分所属领域的样本，来训练目标领域的翻译模型，使翻译模型可以更好地调整，去适应目标领域的分布。
本实施例在训练过程中，可以重复执行上述步骤S101-S103，直到训练达到预设的训练次数，或者直到整体模型结构的损失函数收敛。
由上述可知，本实施例的目标领域的机器翻译模型的训练过程中，并非单独训练该目标领域的机器翻译模型，而是在该目标领域的机器翻译模型的编码器的每一层还配置一个用于判别样本所属领域的判别器，以参考样本的领域，有针对性对该目标领域的机器翻译模型进行训练，使得目标领域的机器翻译模型可以更好地调整，适应目标领域的分布，提高目标领域的机器翻译模型的准确性。
本实施例的目标领域的机器翻译模型的训练方法，通过从平行语料库中选择翻译质量满足预设要求、具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；从平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；分别采用第一训练样本集和第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器、以及目标领域的机器翻译模型的编码器和解码器；判别器用于识别第一训练样本集中各样本所属的领域，与现有技术的目标领域的机器翻译模型的训练方法相比，省时、省力，而且可以有效地提高目标领域的机器翻译模型的训练效率。而且采用本实施例的训练方法，可以参考样本在目标领域和通用领域的分布，实现自适应地对目标领域的机器翻译模型进行训练调整，从而能够有效地提高目标领域的机器翻译模型的准确性。
图2是根据本申请第二实施例的示意图；如图2所示，本实施例的目标领域的机器翻译模型的训练方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的目标领域的机器翻译模型的训练方法，具体可以包括如下步骤：
S201、采用判别器识别平行语料库中的各样本在通用领域和目标领域之间属于通用领域或者目标领域的概率；
S202、从平行语料库中选择概率小于第一概率阈值和/或概率大于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成第一训练样本集；
上述步骤S201和步骤S202为上述图1所示实施例的步骤S101的一种具体实现方式。本实施例中，采用判别器识别各样本属于通用领域或者目标领域的概率，来标识该样本具备通用领域的特征，或者目标领域的特征。例如，本实施例中，可以采用判别器统一来识别样本在目标领域和通用领域之间属于通用领域的概率。若该样本属于通用领域的概率越高，则表示该样本属于通用领域；而若属于通用领域的概率越低，则表示该样本属于目标领域。
图3为本实施例的目标领域的机器翻译模型的训练架构图。如图3所示，本实施例的目标领域的机器翻译模型包括编码器和解码器两部分。其中编码器包括编码层1、编码层2、……、编码层N；解码器包括解码层1、解码层2、……、解码层N。其中N的数量也可以为2以上的任意正整数，具体根据实际需求来设置。本实施例中，为了提高目标领域的机器翻译模型的准确性，本实施例在每一层编码层都配置一个判别器，用于判别样本属于领域的概率，例如属于通用领域的概率。
需要说明的是，本实施例中，待训练的目标领域的机器翻译模型，可以为基于深度学习技术预先训练的通用领域的机器翻译模型，即，在训练之前，先获取基于深度学习技术预先训练的通用领域的机器翻译模型，作为目标领域的机器翻译模型。
例如，本实施例中，由于编码器深层的语义表达能力强于浅层，所以本实施例中，优选地采用目标领域的机器翻译模型的编码器的最顶层的编码层配置的判别器，识别平行语料库中的各样本属于通用领域或者目标领域的概率，同理，本实施例中，可以统一采用属于通用领域的概率来表示。
本实施例的第二概率阈值大于第一概率阈值。第一概率阈值和第二概率阈值的具体数值可以根据实际需求来设置，例如，本实施例中，设置的大于第二概率阈值的都认为是属于通用领域的样本，而小于第一概率阈值的都认为是目标领域的样本。图4为本实施例中样本概率分布示意图。如图4所示，采用样本的翻译概率作为横坐标，纵坐标为判别器识别该样本属于通用领域的概率。翻译概率即表示将样本中的源语句x翻译为目标语句y的概率，可以表示为NMT(x)为y的概率。如图4所示，图中的“Δ”形状的表示目标领域的样本，而“□”形状的标识通用领域的样本。在平行语料库中，可以选择翻译效果比较好的样本，即翻译概率要大于翻译概率阈值TNMT，该翻译概率阈值的大小可以根据实际需求大小来设置，如0.7、0.8或者大于0.5小于1的其他数值。然后在翻译概率大于翻译概率阈值TNMT的样本中，将属于通用领域的概率再分为三个区域。如图3中最上层的横条虚线为第二概率阈值的分界线，下面一条横条虚线为第一概率阈值分界线；图4中以第一概率阈值是0.5为例，实际应用中还可以设置为其他数值。第二概率阈值大于第一概率阈值，例如可以为0.7、0.8，或者还可以为大于0.5小于1的其他数值。这样，如图4所示，可以将可以翻译概率大于预设概率阈值的样本分成3个区域。如图4所示的第①区域为通用领域的样本区域，其中包括较多的通用领域的样本。第③区域为目标领域的样本区域；其中包括较多的目标领域的样本。而第②区域中不能明显区分通用领域和目标领域，既包括较多的通用领域的样本又包括较多的目标领域的样本。如上述步骤S202所述，即是选取第①区域和/或第③区域的一组样本，构成第一训练样本集。
S203、从平行语料库中选择概率大于或者等于第一概率阈值且小于或者等于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成第二训练样本集；
同理，参考上述图4的解释，可以得知，该步骤S203即是选择第②区域中一组样本，构成第二训练样本集。
S204、将目标领域的机器翻译模型的解码器固定，采用第一训练样本集训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器；
本实施例中，先采用第一训练样本集，训练如图3所示的目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器，此时对应地，将图3所示的目标领域的机器翻译模型的解码器固定，即解码器的参数固定，不参与训练时的调整。
该训练的目的为：a)底层编码器能够学到一些领域的特殊特征，比如口语中特有的语气词、表述方法等；b)高层编码器能够学到通用的词语、句子表示，把握整句的意思，而不要关注领域细节。本实施例中底层编码器为接近输入层的编码器，高层编码器为接近解码器的编码器。
考虑到第一训练样本集中的样本，在通用领域的机器翻译模型中得分较高、对所属领域具有较高置信度。通过该训练，可以使得高层编码器学到的是通用领域的表示(而非目标领域的特殊表示)，即不希望得到对所属领域有高置信度的判断，也就是此处希望优化的样本。所以，这一步中选取具备通用领域特征和/或目标领域特征的一组样本，构成的第一训练样本集进行训练。
需要说明的是，在本实施例中，每个编码器层都接入了判别器来辨别领域类别，那么都会学到具有领域辨识能力的特征，即领域独有的特殊特征。这符合上述目的a)的要求但无法满足目的b),要求即在高层编码器学到通用句子表示。针对这个问题，可以采用负梯度回传方法学习领域无关的通用特征。例如，此处的负梯度回传方法可以参考Domain-adversarial training of neural networks的相关知识，在此不再赘述。
S205、将编码器的各编码层配置的判别器固定，采用第二训练样本集训练目标领域的机器翻译模型的编码器和解码器。
在采用第二训练样本集对目标领域的机器翻译模型的编码器和解码器进行训练时，第二训练样本集中的样本为不具备通用领域特征和目标领域特征的样本，这部分样本的翻译效果很好，但是难以区分所属领域是通用领域还是目标领域，用来训练机器翻译模型，使机器翻译模型可以更好地调整，去适应目标领域的分布。
经过上述步骤S204和S205两个步骤的训练，模型就可以逐步达到底层编码器能够学到一些领域的特殊特征，比如口语中特有的语气词、表述方法等；高层编码器能够学到通用的词语、句子表示，把握整句的意思，而不要关注领域细节。而且目标领域的机器翻译模型的编码器和解码器结构逐步调整分布，以提升目标领域的翻译准确率。
如图3所示，在步骤S204训练过程中，整体模型的损失函数包括两部分，翻译损失(1)和判别损失(2)。两个损失叠加作为网络的总损失函数，模型训练过程中，采用梯度下降法，朝着总损失函数收敛的方向来调整参数。即在每步骤的训练中，调整目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器的参数，使得损失函数朝着收敛的方向下降。
同理，对于步骤S205，模型训练过程中，也是采用梯度下降法，朝着总损失函数收敛的方向来调整参数。即在每步骤的训练中，调整目标领域的机器翻译模型的编码器和解码器的参数，使得损失函数朝着收敛的方向下降。
本实施例的训练过程中，可以重复迭代上述步骤S201-S205，直至总损失函数收敛，训练完毕，此时确定判别器的参数和目标领域的机器翻译模型的编码器和解码器的参数，进而确定判别器和目标领域的机器翻译模型。但是，在目标领域的翻译使用中，仅采用训练好的目标领域的机器翻译模型的编码器和解码器构成的目标领域的机器翻译模型，来实现目标领域的翻译。如上述实施例记载，本实施例的目标领域可以为口语领域或者还可以为其他特殊领域，具体都可以采用本实施例的训练方式来训练对应的目标领域的机器翻译模型。
本实施例的目标领域的机器翻译模型的训练方法，通过采用上述技术方案，可以采用判别器识别的样本属于领域的概率来来区分样本的领域特征，进而可以准确地获取到第一训练样本集和第二训练样本集；并将目标领域的机器翻译模型的解码器固定，采用第一训练样本集训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器；将编码器的各编码层配置的判别器固定，采用第二训练样本集训练目标领域的机器翻译模型的编码器和解码器，实现自适应地对目标领域的机器翻译模型进行训练调整，能够有效地提高目标领域的机器翻译模型的准确性。与现有技术的目标领域的机器翻译模型的训练方法相比，省时、省力，而且可以有效地提高目标领域的机器翻译模型的训练效率。
图5是根据本申请第三实施例的示意图；如图5所示，本实施例提供一种目标领域的机器翻译模型的训练装置500，包括：
第一选择模块501，用于从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
第二选择模块502，用于从平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
训练模块503，用于分别采用第一训练样本集和第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器、以及目标领域的机器翻译模型的编码器和解码器；判别器用于识别训练时输入的样本所属的领域。
本实施例的目标领域的机器翻译模型的训练装置500，通过采用上述模块实现目标领域的机器翻译模型的训练的实现原理以及技术效果，与上述相关方法实施例相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图6是根据本申请第四实施例的示意图；如图6所示，本实施例的目标领域的机器翻译模型的训练装置500，在上述图5所示实施例的技术方案的基础上，进一步更加详细地介绍本申请的技术方案。
如图6所示，本实施例的目标领域的机器翻译模型的训练装置500中，第一选择模块501，包括：
概率识别单元5011，用于采用判别器识别平行语料库中的各样本在通用领域和目标领域之间属于通用领域或者目标领域的概率；
选择单元5012，用于从平行语料库中选择概率小于第一概率阈值和/或概率大于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成第一训练样本集；其中第二概率阈值大于第二概率阈值。
进一步可选地，第二选择模块502，用于：
从平行语料库中选择概率大于或者等于第一概率阈值且小于或者等于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成第二训练样本集。
进一步可选地，概率识别单元5011，用于：
采用目标领域的机器翻译模型的编码器的最顶层的编码层配置的判别器，识别平行语料库中的各样本属于通用领域或者目标领域的概率。
进一步可选地，如图6所示，本实施例的目标领域的机器翻译模型的训练装置500中，训练模块503，包括：
第一训练单元5031，用于将目标领域的机器翻译模型的解码器固定，采用第一训练样本集训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器；
第二训练单元5032，用于将编码器的各编码层配置的判别器固定，采用第二训练样本集训练目标领域的机器翻译模型的编码器和解码器。
进一步可选地，如图6所示，本实施例的目标领域的机器翻译模型的训练装置500中，还包括：
获取模块504，用于获取基于深度学习技术预先训练的通用领域的机器翻译模型，作为目标领域的机器翻译模型。
本实施例的目标领域的机器翻译模型的训练装置500，通过采用上述模块实现目标领域的机器翻译模型的训练的实现原理以及技术效果，与上述相关方法实施例相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是本申请实施例的实现目标领域的机器翻译模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的目标领域的机器翻译模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的目标领域的机器翻译模型的训练方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的目标领域的机器翻译模型的训练方法对应的程序指令/模块(例如，附图5和附图6所示的相关模块)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的目标领域的机器翻译模型的训练方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现目标领域的机器翻译模型的训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至实现目标领域的机器翻译模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现目标领域的机器翻译模型的训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与实现目标领域的机器翻译模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过从平行语料库中选择翻译质量满足预设要求、具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；从平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；分别采用第一训练样本集和第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器、以及目标领域的机器翻译模型的编码器和解码器；判别器用于识别第一训练样本集中各样本所属的领域，与现有技术的目标领域的机器翻译模型的训练方法相比，省时、省力，而且可以有效地提高目标领域的机器翻译模型的训练效率。而且采用本申请实施例的训练方法，可以参考样本在目标领域和通用领域的分布，实现自适应地对目标领域的机器翻译模型进行训练调整，从而能够有效地提高目标领域的机器翻译模型的准确性。
根据本申请实施例的技术方案，通过采用上述技术方案，可以采用判别器识别的样本属于领域的概率来来区分样本的领域特征，进而可以准确地获取到第一训练样本集和第二训练样本集；并将目标领域的机器翻译模型的解码器固定，采用第一训练样本集训练目标领域的机器翻译模型的编码器和在编码器的各编码层配置的判别器；将编码器的各编码层配置的判别器固定，采用第二训练样本集训练目标领域的机器翻译模型的编码器和解码器，实现自适应地对目标领域的机器翻译模型进行训练调整，能够有效地提高目标领域的机器翻译模型的准确性。与现有技术的目标领域的机器翻译模型的训练方法相比，省时、省力，而且可以有效地提高目标领域的机器翻译模型的训练效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (8)

1.一种目标领域的机器翻译模型的训练方法，其中，所述方法包括：
从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
从所述平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器；所述判别器用于识别训练时输入的样本所属的领域；
其中，从平行语料库中选择翻译质量满足预设要求、具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集，包括:
采用所述判别器识别所述平行语料库中的各所述样本在通用领域和目标领域之间属于所述通用领域或者目标领域的概率；
从所述平行语料库中选择概率小于第一概率阈值和/或概率大于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成所述第一训练样本集；其中所述第二概率阈值大于所述第二概率阈值；所述翻译概率为机器翻译模型翻译所述样本中的原语句为目标语句时输出的翻译概率；
其中，从所述平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集，包括：
从所述平行语料库中选择概率大于或者等于所述第一概率阈值且小于或者等于所述第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成所述第二训练样本集；
分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器，包括：
将所述目标领域的机器翻译模型的解码器固定，采用所述第一训练样本集训练所述目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的所述判别器；
将所述编码器的各编码层配置的所述判别器固定，采用所述第二训练样本集训练所述目标领域的机器翻译模型的编码器和解码器。
2.根据权利要求1所述的方法，其中，采用所述判别器识别所述平行语料库中的各所述样本在通用领域和目标领域之间属于所述通用领域或者目标领域的概率，包括：
采用所述目标领域的机器翻译模型的编码器的最顶层的编码层配置的所述判别器，识别所述平行语料库中的各所述样本属于所述通用领域或者目标领域的概率。
3.根据权利要求1-2任一所述的方法，其中，分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器之前，所述方法包括：
获取基于深度学习技术预先训练的通用领域的机器翻译模型，作为所述目标领域的机器翻译模型。
4.一种目标领域的机器翻译模型的训练装置，其中，所述装置包括：
第一选择模块，用于从平行语料库中选择翻译质量满足预设要求、且具备通用领域特征和/或目标领域特征的一组样本，构成第一训练样本集；
第二选择模块，用于从所述平行语料库中选择翻译质量满足预设要求、不具备通用领域特征和目标领域特征的一组样本，构成第二训练样本集；
训练模块，用于分别采用所述第一训练样本集和所述第二训练样本集，依次训练目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的判别器、以及所述目标领域的机器翻译模型的编码器和解码器；所述判别器用于识别训练时输入的样本所属的领域；其中，所述第一选择模块，包括：
概率识别单元，用于采用所述判别器识别所述平行语料库中的各所述样本在通用领域和目标领域之间属于所述通用领域或者目标领域的概率；
选择单元，用于从所述平行语料库中选择概率小于第一概率阈值和/或概率大于第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成所述第一训练样本集；其中所述第二概率阈值大于所述第二概率阈值；所述翻译概率为机器翻译模型翻译所述样本中的原语句为目标语句时输出的翻译概率；
其中，所述第二选择模块，用于：
从所述平行语料库中选择概率大于或者等于所述第一概率阈值且小于或者等于所述第二概率阈值、同时翻译概率大于预设概率阈值的一组样本，构成所述第二训练样本集；
所述训练模块，包括：
第一训练单元，用于将所述目标领域的机器翻译模型的解码器固定，采用所述第一训练样本集训练所述目标领域的机器翻译模型的编码器和在所述编码器的各编码层配置的所述判别器；
第二训练单元，用于将所述编码器的各编码层配置的所述判别器固定，采用所述第二训练样本集训练所述目标领域的机器翻译模型的编码器和解码器。
5.根据权利要求4所述的装置，其中，所述概率识别单元，用于：
采用所述目标领域的机器翻译模型的编码器的最顶层的编码层配置的所述判别器，识别所述平行语料库中的各所述样本属于所述通用领域或者目标领域的概率。
6.根据权利要求4-5任一所述的装置，其中，所述装置包括：
获取模块，用于获取基于深度学习技术预先训练的通用领域的机器翻译模型，作为所述目标领域的机器翻译模型。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。
CN202010550588.3A 2020-06-16 2020-06-16 机器翻译模型的训练方法、装置、电子设备及存储介质 Active CN111859995B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010550588.3A CN111859995B (zh) 2020-06-16 2020-06-16 机器翻译模型的训练方法、装置、电子设备及存储介质
US17/200,588 US20210200963A1 (en) 2020-06-16 2021-03-12 Machine translation model training method, apparatus, electronic device and storage medium
EP21163862.2A EP3926516A1 (en) 2020-06-16 2021-03-22 Field-dependent machine translation model training method, apparatus, electronic device and storage medium
KR1020210075722A KR102641398B1 (ko) 2020-06-16 2021-06-10 기계 번역 모델의 훈련 방법, 장치, 전자기기 및 저장 매체
JP2021099159A JP7203153B2 (ja) 2020-06-16 2021-06-15 機械翻訳モデルの訓練方法、装置、電子デバイス及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550588.3A CN111859995B (zh) 2020-06-16 2020-06-16 机器翻译模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111859995A CN111859995A (zh) 2020-10-30
CN111859995B true CN111859995B (zh) 2024-01-23

Family

ID=72986680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550588.3A Active CN111859995B (zh) 2020-06-16 2020-06-16 机器翻译模型的训练方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20210200963A1 (zh)
EP (1) EP3926516A1 (zh)
JP (1) JP7203153B2 (zh)
KR (1) KR102641398B1 (zh)
CN (1) CN111859995B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614479B (zh) * 2020-11-26 2022-03-25 北京百度网讯科技有限公司 训练数据的处理方法、装置及电子设备
CN112380883B (zh) * 2020-12-04 2023-07-25 北京有竹居网络技术有限公司 模型训练方法、机器翻译方法、装置、设备及存储介质
CN112966530B (zh) * 2021-04-08 2022-07-22 中译语通科技股份有限公司 一种机器翻译领域自适应方法、系统、介质、计算机设备
CN113705628B (zh) * 2021-08-06 2024-02-06 北京百度网讯科技有限公司 预训练模型的确定方法、装置、电子设备以及存储介质
JP7107609B1 (ja) 2021-10-28 2022-07-27 株式会社川村インターナショナル 言語資産管理システム、言語資産管理方法、及び、言語資産管理プログラム
CN114282555A (zh) * 2022-03-04 2022-04-05 北京金山数字娱乐科技有限公司 翻译模型训练方法及装置、翻译方法及装置
KR20240016593A (ko) 2022-07-29 2024-02-06 삼성에스디에스 주식회사 임베딩 변환 방법 및 그 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550174A (zh) * 2015-12-30 2016-05-04 哈尔滨工业大学 基于样本重要性的自动机器翻译领域自适应方法
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
JP2019149018A (ja) * 2018-02-27 2019-09-05 国立研究開発法人情報通信研究機構 ニューラル機械翻訳モデルの訓練方法及び装置並びにそのためのコンピュータプログラム
CN110309516A (zh) * 2019-05-30 2019-10-08 清华大学 机器翻译模型的训练方法、装置与电子设备
CN110442878A (zh) * 2019-06-19 2019-11-12 腾讯科技（深圳）有限公司 翻译方法、机器翻译模型的训练方法、装置及存储介质
WO2019214365A1 (zh) * 2018-05-10 2019-11-14 腾讯科技（深圳）有限公司 翻译模型训练的方法、语句翻译的方法、设备及存储介质
CN110472255A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
CN111008533A (zh) * 2019-12-09 2020-04-14 北京字节跳动网络技术有限公司 一种翻译模型的获取方法、装置、设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014062941A1 (en) * 2012-10-17 2014-04-24 Proz.Com Method and apparatus to facilitate high-quality translation of texts by multiple translators
KR20190041790A (ko) * 2017-10-13 2019-04-23 한국전자통신연구원 신경망 번역 모델 구축 장치 및 방법
RU2692049C1 (ru) * 2017-12-29 2019-06-19 Общество С Ограниченной Ответственностью "Яндекс" Способ и система перевода исходного предложения на первом языке целевым предложением на втором языке
JP7170984B2 (ja) * 2018-03-02 2022-11-15 国立研究開発法人情報通信研究機構 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
US10762114B1 (en) * 2018-10-26 2020-09-01 X Mobile Co. Ecosystem for providing responses to user queries entered via a conversational interface

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550174A (zh) * 2015-12-30 2016-05-04 哈尔滨工业大学 基于样本重要性的自动机器翻译领域自适应方法
JP2019149018A (ja) * 2018-02-27 2019-09-05 国立研究開発法人情報通信研究機構 ニューラル機械翻訳モデルの訓練方法及び装置並びにそのためのコンピュータプログラム
CN108897740A (zh) * 2018-05-07 2018-11-27 内蒙古工业大学 一种基于对抗神经网络的蒙汉机器翻译方法
WO2019214365A1 (zh) * 2018-05-10 2019-11-14 腾讯科技（深圳）有限公司 翻译模型训练的方法、语句翻译的方法、设备及存储介质
CN110472251A (zh) * 2018-05-10 2019-11-19 腾讯科技（深圳）有限公司 翻译模型训练的方法、语句翻译的方法、设备及存储介质
CN110309516A (zh) * 2019-05-30 2019-10-08 清华大学 机器翻译模型的训练方法、装置与电子设备
CN110442878A (zh) * 2019-06-19 2019-11-12 腾讯科技（深圳）有限公司 翻译方法、机器翻译模型的训练方法、装置及存储介质
CN110472255A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
CN111008533A (zh) * 2019-12-09 2020-04-14 北京字节跳动网络技术有限公司 一种翻译模型的获取方法、装置、设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Empirical Comparison of Domain Adaptation Methods for Neural Machine Translation;Chu, CH 等;55th Annual Meeting of the Association-for-Computational-Linguistics (ACL);全文 *
Multi-Domain Neural Machine Translation with Word-Level Domain Context Discrimination;Zeng, JL 等;Conference on Empirical Methods in Natural Language Processing (EMNLP);全文 *
基于GAN模型优化的神经机器翻译;明玉琴;夏添;彭艳兵;;中文信息学报(第04期);全文 *
基于翻译模型和语言模型相融合的双语句对选择方法;姚亮;洪宇;刘昊;刘乐;姚建民;;中文信息学报(第05期);全文 *

Also Published As

Publication number Publication date
KR102641398B1 (ko) 2024-02-27
CN111859995A (zh) 2020-10-30
JP2021197188A (ja) 2021-12-27
JP7203153B2 (ja) 2023-01-12
EP3926516A1 (en) 2021-12-22
KR20210156223A (ko) 2021-12-24
US20210200963A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN111859995B (zh) 机器翻译模型的训练方法、装置、电子设备及存储介质
CN112560912B (zh) 分类模型的训练方法、装置、电子设备和存储介质
CN110427627B (zh) 基于语义表示模型的任务处理方法和装置
WO2022095563A1 (zh) 文本纠错的适配方法、装置、电子设备及存储介质
CN111144115B (zh) 预训练语言模型获取方法、装置、电子设备和存储介质
US11526668B2 (en) Method and apparatus for obtaining word vectors based on language model, device and storage medium
US20210209309A1 (en) Semantics processing method, electronic device, and medium
CN111667056B (zh) 用于搜索模型结构的方法和装置
CN111767359B (zh) 兴趣点分类方法、装置、设备以及存储介质
CN112001169B (zh) 文本纠错的方法、装置、电子设备和可读存储介质
CN111079945B (zh) 端到端模型的训练方法及装置
KR102456535B1 (ko) 의료 사실 검증 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111078878B (zh) 文本处理方法、装置、设备及计算机可读存储介质
CN112507735A (zh) 机器翻译模型的训练方法、装置和电子设备
JP7133002B2 (ja) 句読点予測方法および装置
CN111859953B (zh) 训练数据的挖掘方法、装置、电子设备及存储介质
US20220027575A1 (en) Method of predicting emotional style of dialogue, electronic device, and storage medium
CN111414750B (zh) 一种词条的同义判别方法、装置、设备和存储介质
CN111460791B (zh) 文本分类方法、装置、设备以及存储介质
CN111738015A (zh) 文章情感极性分析方法、装置、电子设备及存储介质
CN111753532A (zh) 西文文本的纠错方法和装置、电子设备及存储介质
CN112232089B (zh) 语义表示模型的预训练方法、设备和存储介质
CN114444462A (zh) 模型训练方法及人机交互方法、装置
CN112329453B (zh) 样本章节的生成方法、装置、设备以及存储介质
EP3855341A1 (en) Language generation method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant