CN115618885A - 一种语句的翻译方法、装置、电子设备和存储介质 - Google Patents
一种语句的翻译方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115618885A CN115618885A CN202211157770.8A CN202211157770A CN115618885A CN 115618885 A CN115618885 A CN 115618885A CN 202211157770 A CN202211157770 A CN 202211157770A CN 115618885 A CN115618885 A CN 115618885A
- Authority
- CN
- China
- Prior art keywords
- model
- sentence
- preset
- translated
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013519 translation Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000004590 computer program Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种语句的翻译方法、装置、电子设备和存储介质，该方法包括：在接收到待翻译的语句后，可以将待翻译的语句输入预设的第一模型中进行预测，并获取第一模型输出的针对待翻译的语句的目标语句。其中，第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中的对齐信息是由第二模型确定的，第二模型为一跨语言模型。通过本发明实施例，实现了基于跨语言模型来对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。且相对于FastAlign模型来说，跨语言模型不依赖于平行语料的对齐情况，保证了所生成的对齐信息的准确性。
Description
技术领域
本发明涉及翻译的技术领域，特别是涉及一种语句的翻译方法、装置、电子设备和存储介质。
背景技术
在全球化与信息时代的大背景下，翻译工作的意义重大。随着翻译工作量的日益增多，翻译模型应运而生。与人工翻译相比，翻译模型的效率更高，得到了更为广泛的应用。
针对语句的翻译，可以采用专有词汇翻译模型，专有词翻译模型在翻译语句时，可以按照指定的专有词翻译形式翻译句子中出现的专有词。
对于现有的专有词翻译模型来说，其模型训练是依赖于FastAlign模型对平行语料的处理；即，需要先由FastAlign对平行语料进行识别，以得到其中的对齐信息，例如：“中国”与“China”为一对对齐信息。然后，专有词翻译模型再基于对齐信息和平行语料来进行训练。
FastAlign模型在训练时是依赖于平行语料的数量的；当平行语料的数量较少时，可能会影响到FastAlign模型的效果；而平行语料的获取成本较高，为了保证FastAlign模型的效果，以保证专有词翻译模型的效果，可能需要投入较多的成本来获取用于训练的平行语料。
且FastAlign模型是基于平行语料进行的训练；当平行语料中的词的对齐情况较差时，可能导致FastAlign模型所生成的对齐信息的对齐情况也较差。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种语句的翻译方法、装置、电子设备和存储介质，包括：
一种语句的翻译方法，所述方法包括：
接收待翻译的语句；
将所述待翻译的语句输入预设的第一模型中；所述第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；所述预设的平行语料中包括对齐信息，所述对齐信息由第二模型确定的，所述第二模型为一跨语言模型；
获取所述第一模型输出的针对所述待翻译的语句的目标语句。
可选地，所述方法还包括：
获取平行语料，并将所述平行语料输入所述第二模型中；
获取所述第二模型输出的对齐信息，并将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料；
根据所述预设的平行语料，对所述第一模型进行训练。
可选地，所述平行语料包括第一语种的第一语句和第二语种的第二语句，所述将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料。包括：
将所述对齐信息添加至所述第一语句中；
根据添加了所述对齐信息的第一语句和所述第二语句，生成所述预设的平行语料。
可选地，所述根据所述预设的平行语料，对所述第一模型进行训练，包括：
将添加了所述对齐信息的第一语句作为训练输入数据，以及将所述第二语句作为训练输出数据；
根据所述训练输入数据和所述训练输出数据，对所述第一模型进行训练。
可选地，所述对齐信息包括所述平行语料中，相似度超过预设值的至少一组词对。
可选地，所述方法还包括：
从预设词库中，确定与所述待翻译的语句中的词匹配的目标词；
所述将所述待翻译的语句输入预设的第一模型中，包括：
将所述目标词和所述待翻译的语句输入所述第一模型中。
本发明实施例还提供了一种语句的翻译装置，所述装置包括：
接收模块，用于接收待翻译的语句；
第一输入模块，用于将所述待翻译的语句输入预设的第一模型中；所述第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；所述预设的平行语料中包括对齐信息，所述对齐信息由第二模型确定的，所述第二模型为一跨语言模型；
第一获取模块，用于获取所述第一模型输出的针对所述待翻译的语句的目标语句。
可选地，所述装置还包括：
第二输入模块，用于获取平行语料，并将所述平行语料输入所述第二模型中；
第二获取模块，用于获取所述第二模型输出的对齐信息，并将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料；
训练模块，用于根据所述预设的平行语料，对所述第一模型进行训练。
可选地，所述平行语料包括第一语种的第一语句和第二语种的第二语句，所述第二获取模块，用于将所述对齐信息添加至所述第一语句中；根据添加了所述对齐信息的第一语句和所述第二语句，生成所述预设的平行语料。
可选地，所述训练模块，用于将添加了所述对齐信息的第一语句作为训练输入数据，以及将所述第二语句作为训练输出数据；根据所述训练输入数据和所述训练输出数据，对所述第一模型进行训练。
可选地，所述对齐信息包括所述平行语料中，相似度超过预设值的至少一组词对。
可选地，所述装置还包括：
匹配模块，用于从预设词库中，确定与所述待翻译的语句中的词匹配的目标词；
所述第一输入模块，用于将所述目标词和所述待翻译的语句输入所述第一模型中。
本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述语句的翻译方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述语句的翻译方法。
本发明实施例具有以下优点：
本发明实施例中，在接收到待翻译的语句后，可以将待翻译的语句输入预设的第一模型中进行预测，并获取第一模型输出的针对待翻译的语句的目标语句。其中，第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中的对齐信息是由第二模型确定的，第二模型为一跨语言模型。通过本发明实施例，实现了基于跨语言模型来对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。且相对于FastAlign模型来说，跨语言模型是直接对平行语料中的词进行识别和配对；即直接计算两个词之间的相似度，并将相似度超过阈值的词作为对齐信息。跨语言模型不依赖于平行语料的对齐情况，从而保证了所生成的对齐信息的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种语句的翻译方法的步骤流程图；
图2是本发明实施例的另一种语句的翻译方法的步骤流程图；
图3是本发明实施例的一种训练第一模型的步骤流程图；
图4是本发明实施例的一种语句的翻译装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于FastAlign模型所存在的缺陷，本发明实施例使用跨语言模型去对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。
且相对于FastAlign模型来说，跨语言模型是直接对平行语料中的词进行识别和配对；即直接计算两个词之间的相似度，并将相似度超过阈值的词作为对齐信息。跨语言模型不依赖于平行语料的对齐情况，从而保证了所生成的对齐信息的准确性。
参照图1，示出了本发明实施例的一种语句的翻译方法的步骤流程图，可以包括如下步骤：
步骤101、接收待翻译的语句。
在实际应用中，用于对语句进行翻译的主体可以是客户端，也可以是客户端将待翻译的语句上传至服务器后，由服务器进行翻译，本发明实施例对此不作限制。
作为一示例，待翻译的语句可以是客户端通过录音生成的，也可以是客户端根据用户输入的信息生成的。
步骤102、将待翻译的语句输入预设的第一模型中；第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中包括对齐信息，对齐信息由第二模型确定的，第二模型为一跨语言模型。
其中，第二模型可以是第一模型的前置模型，即用于生成第一模型训练用的训练数据的模型。具体的，第二模型可以用于对训练第一模型的平行语料进行识别，以得到其中的对齐信息。例如：平行语料为“下次什么时候来中国”和“when will you come to Chinanext time？”，则可以将“中国”和“China”作为一对对齐信息。
然后，可以将对齐信息和平行语料可以作为用于训练第一模型的训练数据，为了便于说明，将该训练数据乘坐预设的平行语料；接上例：预设的平行语料可以由“下次什么时候来中国”、“when will you come to China next time？”和对齐信息(“中国”和“China”)组成，具体的组成形式本发明实施例对此不作限制。
例如：可以是对齐信息中的翻译得到的词标记在被翻译词的后面；或者，在语句的最后标注对齐信息；或者，可以是对齐信息中的目标词标标记在被翻译词的前面，本发明实施例对此不作限制。
作为一示例，第二模型可以为一跨语言模型，例如：mBert、XLM，或者其他能够跨语言对词令牌进行编码的语言模型。
第一模型可以指在翻译语句时，按照指定的专有词翻译形式翻译句子中出现的专有词的专有词翻译模型；第一模型可以是通过预设的平行语料训练得到的。
当接收到待翻译的语句后，可以将待翻译的语句输入至已经训练好的第一模型中；已经训练好的第一模型可以对输入的待翻译的语句进行预测，以实现对待翻译语句的翻译。
步骤103、获取第一模型输出的针对待翻译的语句的目标语句。
当第一模型完成翻译后，可以输出针对待翻译的语句翻译得到的目标语句。
在获取到目标语句后，可以将其反馈给用户；例如：当第一模型是部署在客户端中的话，可以直接通过客户端展示给用户。
又例如：当第一模型是部署在服务器中的话，服务器可以将目标语句返回给发送对应的客户端；然后再由客户端展示给用户，本发明实施例对此不作限制。
本发明实施例中，在接收到待翻译的语句后，可以将待翻译的语句输入预设的第一模型中进行预测，并获取第一模型输出的针对待翻译的语句的目标语句。其中，第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中的对齐信息是由第二模型确定的，第二模型为一跨语言模型。通过本发明实施例，实现了基于跨语言模型来对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。且相对于FastAlign模型来说，跨语言模型是直接对平行语料中的词进行识别和配对；即直接计算两个词之间的相似度，并将相似度超过阈值的词作为对齐信息。跨语言模型不依赖于平行语料的对齐情况，从而保证了所生成的对齐信息的准确性。
参照图2，示出了本发明实施例的另一种语句的翻译方法的步骤流程图，可以包括如下步骤：
步骤201、接收待翻译的语句。
在实际应用中，当用户需要翻译一语句时，可以向客户端输入该待翻译的语句；客户端在接收到该待翻译的语句后，可以调用预先部署的第一模型进行翻译，也可以将待翻译的语句上传至服务器，然后由服务器调用预先部署的第一模型对该待翻译的语句进行翻译。
步骤202、从预设词库中，确定与待翻译的语句中的词匹配的目标词。
其中，预设词库可以是用户预先上传的一词库，该预设词库中可以包括用于设定的多对词，每对词可以包括一需要被翻译的词和针对该词进行翻译得到的词；预设词库中的多对词可以为生僻词，例如：一科技领域的专有词等，本发明实施例对此不作限制。
为了提高第一模型翻译的准确性，可以在将待翻译的语句输入至第一模型之前，先基于预设词库，对待翻译的语句进行匹配；当预设词库中由于待翻译的语句中的一个词对应的词对时，可以将对应的翻译得到的词作为目标词；基于目标词，可以提高第一模型在翻译包含有特殊词的语句时的准确率；且第一模型在针对这类语句进行翻译时，可以基于目标词来进行自我学习，从而在后续使用过程中，可以直接由第一模型针对该特殊词进行翻译，从而完成整个语句的翻译。
例如：待翻译的语句为：画中画的是貔貅；通过匹配预设词库，查找到与“貔貅”对应的翻译得到的词为“brave troops”，则可以将“brave troops”作为目标词。
步骤203、将目标词和待翻译的语句输入第一模型中。
当接收到待翻译的语句后，可以将待翻译的语句输入至已经训练好的第一模型中；已经训练好的第一模型可以对输入的待翻译的语句进行预测，以实现对待翻译语句的翻译。
作为一示例，可以将目标词添加至待翻译的语句中的对应词的后面；然后将添加了目标词的待翻译的语句输入第一模型进行预测。
接上例，可以将“brave troops”添加至“貔貅”的后面，得到“画中画的是貔貅(brave troops)”
步骤204、获取第一模型输出的针对待翻译的语句的目标语句。
当第一模型完成翻译后，可以输出针对待翻译的语句翻译得到的目标语句。在获取到目标语句后，可以将其反馈给用户。
本发明实施例中，在接收到待翻译的语句后，可以先从预设词库中，确定与待翻译的语句中的词匹配的目标词；然后将目标词和待翻译的语句输入第一模型中进行预测，并获取第一模型输出的针对待翻译的语句的目标语句。通过本发明实施例，实现了进一步地提高语句翻译的准确性；基于用户上传的预设词库，可以避免第一模型因为未训练到特殊词，而导致第一模型因无法翻译该特殊词而输出错误的语句。
以上，主要是针对如何得到目标语句进行了说明；针对用于对语句进行翻译的第一模型，可以基于跨语言模型生成的对齐信息来进行训练。
以下，针对如何对第一模型进行训练进行说明：
参照图3，示出了本发明实施例的一种训练第一模型的步骤流程图，可以包括如下步骤：
步骤301、获取平行语料，并将平行语料输入第二模型中。
其中，平行语料可以是从平行语料库中获取的一对意思一致但是语种不同的句子；平行语料库中可以包含两个单语种语料库，一个语料库是另一个语料库的翻译。两种语言都需要对齐，即相应的片段，通常是句子或段落需要匹配。
在实际应用中，当需要对第一模型进行训练的时候，可以先从平行语料库中获取平行语料；平行语料可以包括互为翻译的两个语种的语句，例如：中文的语句，和对应的翻译的英文的语句。
在获取到平行语料后，可以将平行语料输入至第二模型中进行处理。
步骤302、获取第二模型输出的对齐信息，并将对齐信息添加至平行语料中，得到预设的平行语料。
其中，对齐信息包括平行语料中，相似度超过预设值的至少一组词对。
第二模型在获取到平行语料后，可以先对平行语料中的语句进行分词处理；具体的，可以采用Sentence Piece来实现分词，也可以采用其他子词分词的方法来进行分词处理，本发明实施例对此不作限制。
在对平行语料中的语句进行分词后，可以将所得到的子词转换成对应的词令牌编码；词令牌编码可以以向量的形式表示。
在得到各词的词令牌编码后，可以对平行语料中的每个词令牌编码两两计算相似度；例如：可以采用余弦相似度来计算词令牌编码的向量之间的相似度，也可以基于欧氏距离，或者其他基于向量模的方法来计算词令牌编码的向量之间的相似度。
在计算得到词令牌编码的向量之间的相似度后，可以将相似度超过阈值的词令牌编码对应的词对作为对齐信息；该阈值可以根据实际情况设定，本发明实施例对此不作限制。
当词令牌编码的向量之间的相似度均低于阈值时，可以结束比较，并将相似度超过阈值的所有词令牌编码对应的词作为对齐信息，该对齐信息可以用于训练第一模型。
在本发明一实施例中，平行语料可以包括第一语种的第一语句和第二语种的第二语句，第一语句和第二语句可以是意思一致但语种不同的两个语句；为了便于区分，可以将第一语句作为源语句，将第二语句作为目标语句(即需要将源语句翻译成的语句)；在实际应用中，可以通过如下子步骤得到预设的平行语料：
子步骤11、将对齐信息添加至第一语句中。
首先，可以将对齐信息添加至源语句中，即将对齐信息添加至第一语句中。
子步骤12、根据添加了对齐信息的第一语句和第二语句，生成预设的平行语料。
在将对齐信息添加至第一语句中后，可以根据添加了对齐信息的第一语句，和第二语句作为用于训练第一模型的预设的平行语料。
步骤303、根据预设的平行语料，对第一模型进行训练。
在得到预设的平行语料后，根据预设的平行语料对第一模型进行训练；由于预设的平行语料中添加了对齐信息，因此，第一模型可以自动从对齐信息中学到对应的规律；从而，在仅提供输入时，预测出正确的输出。
在本发明一实施例中，可以通过如下子步骤来实现对第一模型的训练：
子步骤21、将添加了对齐信息的第一语句作为训练输入数据，以及将第二语句作为训练输出数据。
在实际应用中，可以将添加了对其信息的第一语句作为训练输入数据，以及将第二语句作为训练输出数据，以便第一模型可以基于对齐信息，从第一语句和第二语句中学到对应的规律。
子步骤22、根据训练输入数据和训练输出数据，对第一模型进行训练。
在训练第一模型时，向第一模型提供训练输入数据和训练输出数据，以便第一模型从中学到对应的规律。
作为一示例，在训练完一组平行语料后，可以继续训练其他的平行语料，以便不断地提升第一模型的翻译效率和准确率。
需要说明的是，本发明实施例中的神经网络模型可以使用Transformer，也可以使用其他序列到序列模型，本发明实施例对此不作限制。
以下，再针对上述训练过程进行举例说明：
第一语句为“下次什么时候来中国啊？”，第二语句为“when will you come toChinanext time？”；通过对第一语句和第二语句进行分词，得到“_下次什么时候来中国啊？”和“_when_will_you_come_to_China_next_time？”。
然后，可以将分词得到的各词转换成对应的词令牌编码，并对每个词令牌编码两两计算相似度，得到对齐信息“来”和“▁come”对应，“中国”和“▁Chine”对应。
在输入第一模型进行训练之前，可以先将对齐信息添加至第一语句中，从而得到如下语句“_|w下次|w什么时候|w来|s_come|t中国|s_China|t啊|w？|w”；拼接结果中，以|w表示该子词无拼接，|s表示该子词为拼接后的源语言部分(即需要被翻译的部分)，|t表示该子词为拼接后的目标语言部分(即翻译得到的部分)。
在得到拼接结果后，可以将拼接结果作为训练输入数据，将第二语句作为训练输出数据来训练第一模型。
本发明实施例中，在训练第一模型时，可以先获取平行语料，并将平行语料输入第二模型中；然后获取第二模型输出的对齐信息，并将对齐信息添加至平行语料中，得到预设的平行语料；再根据预设的平行语料，对第一模型进行训练。通过本发明实施例，实现了基于跨语言模型来对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。且相对于FastAlign模型来说，跨语言模型是直接对平行语料中的词进行识别和配对；即直接计算两个词之间的相似度，并将相似度超过阈值的词作为对齐信息。跨语言模型不依赖于平行语料的对齐情况，从而保证了所生成的对齐信息的准确性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明实施例的一种语句的翻译装置的结构示意图，可以包括如下模块：
接收模块401，用于接收待翻译的语句；
第一输入模块402，用于将待翻译的语句输入预设的第一模型中；第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中包括对齐信息，对齐信息由第二模型确定的，第二模型为一跨语言模型；
第一获取模块403，用于获取第一模型输出的针对待翻译的语句的目标语句。
本发明的一个可选实施例中，装置还包括：
第二输入模块，用于获取平行语料，并将平行语料输入第二模型中；
第二获取模块，用于获取第二模型输出的对齐信息，并将对齐信息添加至平行语料中，得到预设的平行语料；
训练模块，用于根据预设的平行语料，对第一模型进行训练。
本发明的一个可选实施例中，平行语料包括第一语种的第一语句和第二语种的第二语句，第二获取模块，用于将对齐信息添加至第一语句中；根据添加了对齐信息的第一语句和第二语句，生成预设的平行语料。
本发明的一个可选实施例中，训练模块，用于将添加了对齐信息的第一语句作为训练输入数据，以及将第二语句作为训练输出数据；根据训练输入数据和训练输出数据，对第一模型进行训练。
本发明的一个可选实施例中，对齐信息包括平行语料中，相似度超过预设值的至少一组词对。
本发明的一个可选实施例中，装置还包括：
匹配模块，用于从预设词库中，确定与待翻译的语句中的词匹配的目标词；
第一输入模块402，用于将目标词和待翻译的语句输入第一模型中。
本发明实施例中，在接收到待翻译的语句后，可以将待翻译的语句输入预设的第一模型中进行预测，并获取第一模型输出的针对待翻译的语句的目标语句。其中，第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；预设的平行语料中的对齐信息是由第二模型确定的，第二模型为一跨语言模型。通过本发明实施例，实现了基于跨语言模型来对齐训练专有词翻译模型时使用的平行语料中的词汇；相对于FastAlign模型来说，跨语言模型并不依赖于平行语料，从而降低了训练专有词翻译模型的投入成本。且相对于FastAlign模型来说，跨语言模型是直接对平行语料中的词进行识别和配对；即直接计算两个词之间的相似度，并将相似度超过阈值的词作为对齐信息。跨语言模型不依赖于平行语料的对齐情况，从而保证了所生成的对齐信息的准确性。
本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上所述语句的翻译方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上所述语句的翻译方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种语句的翻译方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种语句的翻译方法，其特征在于，所述方法包括：
接收待翻译的语句；
将所述待翻译的语句输入预设的第一模型中；所述第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；所述预设的平行语料中包括对齐信息，所述对齐信息由第二模型确定的，所述第二模型为一跨语言模型；
获取所述第一模型输出的针对所述待翻译的语句的目标语句。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取平行语料，并将所述平行语料输入所述第二模型中；
获取所述第二模型输出的对齐信息，并将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料；
根据所述预设的平行语料，对所述第一模型进行训练。
3.根据权利要求2所述的方法，其特征在于，所述平行语料包括第一语种的第一语句和第二语种的第二语句，所述将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料。包括：
将所述对齐信息添加至所述第一语句中；
根据添加了所述对齐信息的第一语句和所述第二语句，生成所述预设的平行语料。
4.根据权利要求3所述的方法，其特征在于，所述根据所述预设的平行语料，对所述第一模型进行训练，包括：
将添加了所述对齐信息的第一语句作为训练输入数据，以及将所述第二语句作为训练输出数据；
根据所述训练输入数据和所述训练输出数据，对所述第一模型进行训练。
5.根据权利要求2所述的方法，其特征在于，所述对齐信息包括所述平行语料中，相似度超过预设值的至少一组词对。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从预设词库中，确定与所述待翻译的语句中的词匹配的目标词；
所述将所述待翻译的语句输入预设的第一模型中，包括：
将所述目标词和所述待翻译的语句输入所述第一模型中。
7.一种语句的翻译装置，其特征在于，所述装置包括：
接收模块，用于接收待翻译的语句；
第一输入模块，用于将所述待翻译的语句输入预设的第一模型中；所述第一模型是通过预设的平行语料训练得到的，用于进行语句的翻译；所述预设的平行语料中包括对齐信息，所述对齐信息由第二模型确定的，所述第二模型为一跨语言模型；
第一获取模块，用于获取所述第一模型输出的针对所述待翻译的语句的目标语句。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二输入模块，用于获取平行语料，并将所述平行语料输入所述第二模型中；
第二获取模块，用于获取所述第二模型输出的对齐信息，并将所述对齐信息添加至所述平行语料中，得到所述预设的平行语料；
训练模块，用于根据所述预设的平行语料，对所述第一模型进行训练。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述语句的翻译方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述语句的翻译方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211157770.8A CN115618885A (zh) | 2022-09-22 | 2022-09-22 | 一种语句的翻译方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211157770.8A CN115618885A (zh) | 2022-09-22 | 2022-09-22 | 一种语句的翻译方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115618885A true CN115618885A (zh) | 2023-01-17 |
Family
ID=84858406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211157770.8A Pending CN115618885A (zh) | 2022-09-22 | 2022-09-22 | 一种语句的翻译方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115618885A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543644A (zh) * | 2019-09-04 | 2019-12-06 | 语联网（武汉）信息技术有限公司 | 包含术语翻译的机器翻译方法、装置与电子设备 |
| CN111753557A (zh) * | 2020-02-17 | 2020-10-09 | 昆明理工大学 | 融合emd最小化双语词典的汉-越无监督神经机器翻译方法 |
| CN113779978A (zh) * | 2021-09-26 | 2021-12-10 | 上海一者信息科技有限公司 | 一种无监督跨语言句对齐实现方法 |
| CN114896959A (zh) * | 2022-04-15 | 2022-08-12 | 合肥工业大学 | 中日词语自动对齐方法和系统 |
-
2022
- 2022-09-22 CN CN202211157770.8A patent/CN115618885A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543644A (zh) * | 2019-09-04 | 2019-12-06 | 语联网（武汉）信息技术有限公司 | 包含术语翻译的机器翻译方法、装置与电子设备 |
| CN111753557A (zh) * | 2020-02-17 | 2020-10-09 | 昆明理工大学 | 融合emd最小化双语词典的汉-越无监督神经机器翻译方法 |
| CN113779978A (zh) * | 2021-09-26 | 2021-12-10 | 上海一者信息科技有限公司 | 一种无监督跨语言句对齐实现方法 |
| CN114896959A (zh) * | 2022-04-15 | 2022-08-12 | 合肥工业大学 | 中日词语自动对齐方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11106714B2 (en) | Summary generating apparatus, summary generating method and computer program | |
| CN110287480B (zh) | 一种命名实体识别方法、装置、存储介质及终端设备 | |
| CN112287696B (zh) | 译文后编辑方法、装置、电子设备和存储介质 | |
| CN110795938A (zh) | 文本序列分词方法、装置及存储介质 | |
| US20210042391A1 (en) | Generating summary content using supervised sentential extractive summarization | |
| WO2019118257A1 (en) | Assertion-based question answering | |
| CN112016271A (zh) | 语言风格转换模型的训练方法、文本处理方法以及装置 | |
| JP5060522B2 (ja) | 多言語コーパスの単語アライメント品質を改善する方法及び装置 | |
| Hangya et al. | Unsupervised parallel sentence extraction from comparable corpora | |
| Álvarez et al. | Towards customized automatic segmentation of subtitles | |
| WO2020197504A1 (en) | A method for pre-processing a sequence of words for neural machine translation | |
| CN111178098A (zh) | 一种文本翻译方法、装置、设备及计算机可读存储介质 | |
| CN113918031A (zh) | 使用子字符信息进行中文标点恢复的系统和方法 | |
| CN107491441B (zh) | 一种基于强制解码的动态抽取翻译模板的方法 | |
| CN117194612A (zh) | 大模型训练方法、装置、计算机设备集存储介质 | |
| CN109657244B (zh) | 一种英文长句自动切分方法及系统 | |
| CN109902309B (zh) | 翻译方法、装置、设备和存储介质 | |
| Pinnis et al. | Tilde MT platform for developing client specific MT solutions | |
| CN115618885A (zh) | 一种语句的翻译方法、装置、电子设备和存储介质 | |
| CN115438655A (zh) | 人物性别识别方法、装置、电子设备及存储介质 | |
| CN110147556B (zh) | 一种多向神经网络翻译系统的构建方法 | |
| CN113822053A (zh) | 一种语法错误检测方法、装置、电子设备及存储介质 | |
| Zhao et al. | Towards Reference-free Text Simplification Evaluation with a BERT Siamese Network Architecture | |
| Skadina et al. | Towards hybrid neural machine translation for English-Latvian | |
| CN112686060A (zh) | 文本翻译方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |