CN115455981A - 一种多语种语句的语义理解方法、装置、设备及存储介质 - Google Patents
一种多语种语句的语义理解方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115455981A CN115455981A CN202211415984.0A CN202211415984A CN115455981A CN 115455981 A CN115455981 A CN 115455981A CN 202211415984 A CN202211415984 A CN 202211415984A CN 115455981 A CN115455981 A CN 115455981A
- Authority
- CN
- China
- Prior art keywords
- chinese
- corpus
- semantic understanding
- original
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000013519 translation Methods 0.000 claims abstract description 172
- 238000012549 training Methods 0.000 claims abstract description 104
- 239000000463 material Substances 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Abstract
本申请实施例公开了一种多语种语句的语义理解方法、装置、设备及存储介质。其中，该方法包括：获取待识别多语种语句；利用中文翻译引擎翻译待识别多语种语句，得到中文语句；利用文本生成模型对中文语句进行修正，得到修正后的中文语句；其中，文本生成模型通过原中文语料和新中文语料训练得到，新中文语料通过多语种翻译引擎和中文翻译引擎对原中文语料进行回译得到；利用中文语义理解模型对修正后的中文语句进行语义理解。可见，本申请实施例中利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差，从而能降低翻译结果被中文语义理解模型错误拒识的概率。
Description
技术领域
本申请涉及语义理解领域，更具体的说，涉及一种多语种语句的语义理解方法、装置、设备及存储介质。
背景技术
人机交互是当前智能制造行业发展的重点方向，属于目前人工智能行业最前沿的领域。当前阶段自然语言是人机交互的主要手段之一，通过对用户输入的自然语言进行理解和分析，进一步让机器做出符合用户预期的回复，让用户获得满意的交互体验。随着经济全球化发展趋势越来越明显，多语种语义理解的需求越来越多。
目前，多语种语义理解主要是采用基于翻译方案的中文语义空间映射方案实现，简称翻译方案。翻译方案是将多语种语义空间的数据映射到中文语义空间中进行语义理解，再将中文语义结果映射到多语种语义空间的一种间接方法。但是，翻译方案中将多语种语句翻译为中文语句时，翻译引擎会发生翻译错误和由于缺乏上下文语境导致翻译结果与本意偏差的情况，从而导致翻译结果被中文语义理解模型错误拒绝识别。
发明内容
有鉴于此，本申请实施例公开一种多语种语句的语义理解方法、装置、设备及存储介质，对翻译引擎的翻译结果进行修正，以降低翻译结果被中文语义理解模型错误拒识的概率。
本申请实施例提供的技术方案如下：
第一方面，本申请实施例提供了一种多语种语句的语义理解方法，所述方法包括：
获取待识别多语种语句；
利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
利用中文语义理解模型对所述修正后的中文语句进行语义理解。
在一种可能的实现方式中，所述文本生成模型的构建过程包括：
利用所述多语种翻译引擎翻译所述原中文语料，得到多语种翻译结果；
利用所述中文翻译引擎翻译所述多语种翻译结果，得到所述新中文语料；
将所述新中文语料输入所述中文语义理解模型，得到新中文语义理解的识别结果；
将所述原中文语料输入所述中文语义理解模型，得到原中文语义理解的识别结果；
利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对；
利用所述训练句对训练得到所述文本生成模型。
在一种可能的实现方式中，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；
所述利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料。
在一种可能的实现方式中，所述利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料；
利用所述新中文语料、所述原中文语料、所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对。
在一种可能的实现方式中，所述利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料，包括：
在所述新中文语料的每个词后面加入与所述每个词对应的所述多语种翻译结果中的单词，得到跨语种语料；和/或，
在所述新中文语料后面加入所述多语种翻译结果，得到跨语种语料。
在一种可能的实现方式中，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；
所述利用所述新中文语料、所述原中文语料、所述所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料。
在一种可能的实现方式中，所述方法还包括：
获取所述中文语义理解模型的技能范围内的中文语料和所述中文语义理解模型的技能范围外的中文语料；
将所述技能范围内的中文语料和所述技能范围外的中文语料，作为所述原中文语料。
第二方面，本申请实施例提供了一种多语种语句的语义理解装置，所述装置包括：
获取单元，用于获取待识别多语种语句；
第一翻译单元，用于利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
修正单元，用于利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
语义理解单元，用于利用中文语义理解模型对所述修正后的中文语句进行语义理解。
第三方面，本申请实施例提供了一种多语种语句的语义理解设备，所述设备包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行以上第一方面任一项所述的多语种语句的语义理解方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行以上第一方面任一项所述的多语种语句的语义理解方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行以上第一方面任一项所述的多语种语句的语义理解方法。
基于上述技术方案，本申请具有以下有益效果：
本申请实施例公开了一种多语种语句的语义理解方法、装置、设备及存储介质。其中，该方法包括：获取待识别多语种语句；利用中文翻译引擎翻译待识别多语种语句，得到中文语句；利用文本生成模型对中文语句进行修正，得到修正后的中文语句；其中，文本生成模型通过原中文语料和新中文语料训练得到，新中文语料通过多语种翻译引擎和中文翻译引擎对原中文语料进行回译得到；利用中文语义理解模型对修正后的中文语句进行语义理解。可见，因使用与翻译方案相同的中文翻译引擎生成新中文语料，使得通过原中文语料和新中文语料训练得到的文本生成模型能学习到中文翻译引擎的语言风格，从而使得利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差，进而能降低翻译结果被中文语义理解模型错误拒识的概率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本申请实施例公开的一种翻译方案的实现流程图；
图2为本申请实施例公开的一种多语种语句的语义理解方法的流程图；
图3为本申请实施例公开的一种获取新中文语义理解的识别结果和原中文语义理解的识别结果的流程图；
图4为本申请实施例公开的一种多语种语句的语义理解装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
多语种语义理解技术的主要思路是在不同语种上所学的语义表示模型，在统一的向量空间中进行深度融合，降低下游任务的使用门槛和各类系统的研发成本。当前实现多语种语义理解的技术方案主要有两个，其一为多语种多技能统一建模的模型定制方案，简称模型定制方案；其二为基于翻译方案的中文语义空间映射方案，简称翻译方案。
对于协议简单的技能，如笑话、翻译、命令控制、计算器、智能家居、闲聊等技能，多语种语义理解采用翻译方案实现。参见图1，为本申请实施例公开的一种翻译方案的实现流程图，翻译方案是将多语种语义空间的数据映射到中文语义空间中进行语义理解，再将中文语义结果映射到多语种语义空间的一种间接方法，其中多语种语义空间和中文语义空间的相互映射通过翻译引擎实现。例如：多语种语句为“I have a meeting at tomorrow 7a.m.”，翻译为中文语句为“我明天早上7点有个会议”，经过中文语义理解模型后得到语义理解结果为“明天早上7点（时间）”、“会议（内容）”，再映射回多语种结果为“tomorrow 7a.m.(time)”、“meeting(content)”，即得到了多语种语句的语义理解结果。可见，翻译方案能够充分利用中文语义理解模型的强大能力，从而实现低资源甚至零资源条件下的多语种语义理解系统搭建。
但是，发明人通过研究发现多语种语句翻译为中文语句时，翻译引擎会发生翻译错误的情况和由于缺乏上下文语境导致翻译结果与本意偏差的情况，从而导致翻译结果被中文语义理解模型错误拒识。其一，翻译引擎翻译错误的情况，如多语种语句为“I heardJackie Chan's song”，被错误翻译为中文语句“我听成龙头歌了”，导致被音乐技能错误拒绝识别。其二，由于缺乏上下文语境导致翻译结果与本意偏差的情况，如多语种语句为“Call me tomorrow evening”,本意为“明天晚上叫我”，但由于“call me”本身也有“打电话”的含义，因此翻译引擎将该句翻译为中文语句“明晚给我打电话”，导致被闹钟技能错误拒绝识别。由于存在这两种情况，多语种语句的翻译结果被中文语义理解模型错误拒绝识别的比率很大，部分技能的误拒识率甚至高达60%以上，导致系统对应的技能不可用。
为此，本申请实施例公开了一种多语种语句的语义理解方法、装置、设备及存储介质。其中，该方法包括：获取待识别多语种语句；利用中文翻译引擎翻译待识别多语种语句，得到中文语句；利用文本生成模型对中文语句进行修正，得到修正后的中文语句；其中，文本生成模型通过原中文语料和新中文语料训练得到，新中文语料通过多语种翻译引擎和中文翻译引擎对原中文语料进行回译得到；利用中文语义理解模型对修正后的中文语句进行语义理解。可见，因使用与翻译方案相同的中文翻译引擎生成新中文语料，使得通过原中文语料和新中文语料训练得到的文本生成模型能学习到中文翻译引擎的语言风格，从而使得利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差，进而能降低翻译结果被中文语义理解模型错误拒识的概率。
参见图2，本申请实施例公开的一种多语种语句的语义理解方法的流程图，该方法包括：
S201、获取待识别多语种语句；
本申请实施例中待识别多语种语句可以为除中文语句之外的任意一种语种语句，如英语语句、日语语句、韩语语句等等，具体不做限制，可根据实际需求设置。
S202、利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
中文翻译引擎指的是将多语种语句翻译为中文语句的翻译引擎。
S203、利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
多语种翻译引擎指的是将中文语句翻译为多语种语句的翻译引擎。
需要说明的是，回译法是把翻译成特定语言的文本又重新翻译成源语言的过程。本申请实施例中是利用多语种翻译引擎将原中文语料先翻译为多语种翻译结果，再利用中文翻译引擎将多语种翻译结果再翻译为新中文语料。其中，为了让回译法生成的新中文语料语句带有中文翻译引擎的语言风格，必须保证回译法使用的中文翻译引擎与翻译方案使用的中文翻译引擎相同。
S204、利用中文语义理解模型对所述修正后的中文语句进行语义理解。
中文语义理解模型指的是支持多种技能的语义理解工具，例如支持笑话、翻译、命令控制、计算器、智能家居、闲聊等技能的语义理解。需要说明的是，非闲聊技能的中文语义理解模型可以对属于技能范围内的语料进行语义解析，得到语料中的槽位信息和意图分类信息；对于技能范围外的语料，中文语义理解模型将其标注为拒绝识别的语料。闲聊技能的中文语义理解模型可以对语料进行简单回复。
例如：待识别多语种语句为“Call me tomorrow evening”，利用中文翻译引擎翻译待识别多语种语句，得到中文语句“明晚给我打电话”，利用文本生成模型对中文语句进行修正，得到修正后的中文语句“明天晚上叫我”，如此中文语义理解模型支持的闹钟技能能识别修正后的中文语句。可以理解的是，上述只是示例性说明，不应理解为对本申请的限制。
可见，本申请实施例中因使用与翻译方案相同的中文翻译引擎生成新中文语料，使得通过原中文语料和新中文语料训练得到的文本生成模型能学习到中文翻译引擎的语言风格，从而使得利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差，进而能降低翻译结果被中文语义理解模型错误拒识的概率。
参见图3，为本申请实施例公开的一种获取新中文语义理解的识别结果和原中文语义理解的识别结果的流程图。
在一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解方法中文本生成模型的构建过程包括：
S301、利用所述多语种翻译引擎翻译所述原中文语料，得到多语种翻译结果；
本申请实施中在利用多语种翻译引擎翻译原中文语料之前，会先收集原中文语料。具体可以为：获取中文语义理解模型的技能范围内的中文语料和中文语义理解模型的技能范围外的中文语料；将技能范围内的中文语料和技能范围外的中文语料，作为原中文语料。例如：在中文语义理解模型的笑话技能下，技能范围内的中文语料可以为“我想听一个校园笑话”， 技能范围外的中文语料可以为“给我订一张去北京的机票”。可以理解的是，上述只是示例性说明，不应理解为对本申请的限制。需要说明的是，本申请实施例中需要保证技能范围内的中文语料的数据量和技能范围外的中文语料的数据量基本相同，以此增强文本生成模型学习的鲁棒性。
S302、利用所述中文翻译引擎翻译所述多语种翻译结果，得到所述新中文语料；
S303、将所述新中文语料输入所述中文语义理解模型，得到新中文语义理解的识别结果；
其中，新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别。
S304、将所述原中文语料输入所述中文语义理解模型，得到原中文语义理解的识别结果；
其中，原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别。
S305、利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对；
参见表1，为本申请实施例提供的一种语义理解的识别结果统计表，新中文语义理解的识别结果和原中文语义理解的识别结果可以分为四种情况。第一种情况为：新中文语义理解的识别结果为可以识别，原中文语义理解的识别结果为可以识别。第二种情况为;新中文语义理解的识别结果为可以识别，原中文语义理解的识别结果为拒绝识别。第三种情况为：新中文语义理解的识别结果为拒绝识别，原中文语义理解的识别结果为可以识别。第四种情况为：新中文语义理解的识别结果为拒绝识别，原中文语义理解的识别结果为拒绝识别。
表1 语义理解的识别结果统计表
| 新中文语义理解的识别结果 | 原中文语义理解的识别结果 | |
| 1 | 可以识别 | 可以识别 |
| 2 | 可以识别 | 拒绝识别 |
| 3 | 拒绝识别 | 可以识别 |
| 4 | 拒绝识别 | 拒绝识别 |
可以理解的是，第一种情况和第四种情况说明中文翻译引擎的翻译结果没有错误和偏差，文本生成模型遇到这种说法时应不做任何更动，因此其训练句对组成应为（input：新中文语料，output：新中文语料）。第二种情况和第三种情况说明中文翻译引擎的翻译结果存在错误或偏差，文本生成模型遇到这种说法时需要将其修正为正确的说法，即原句说法，因此其训练句对组成应为（input：新中文语料，output：原中文语料）。需要说明的是，新中文语料为中文翻译引擎的翻译结果，带有中文翻译引擎的语言风格，为了让文本生成模型学习该语言风格，无论以上四种情况中的哪种情况，训练句对的input必须为新中文语料。
参见表2，为本申请实施例提供的一种回译法对应的训练句对组合表。本申请实施例中利用新中文语料、原中文语料、新中文语义理解的识别结果和原中文语义理解的识别结果，构造训练句对，具体可以包括：若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料；若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料。可见，本申请实施例中构造训练句对的方法，保证了文本生成模型能学习到中文翻译引擎的语言风格，从而保证后续利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差。
表2 回译法对应的训练句对组合表
| 训练句对的输入 | 训练句对的输出 | |
| 第一种情况 | 新中文语料 | 新中文语料 |
| 第二种情况 | 新中文语料 | 原中文语料 |
| 第三种情况 | 新中文语料 | 原中文语料 |
| 第四种情况 | 新中文语料 | 新中文语料 |
S306、利用所述训练句对训练得到所述文本生成模型。
本申请实施例中得到训练句对后，会利用多个训练句对训练初始文本生成模型。其中，训练常用的初始文本生成模型包括以下任意一种：mT5，CopyMTL，CopyNet等。本申请实施例中可以采用mT5模型作为初始文本生成模型。mT5是谷歌公司的研究人员提出的TS(Text-to-Text Transfer Transformer)模型，将不同形式的任务统一转化为条件式生成任务，需要给模型注入任务信息，使其能够按照特定任务生成目标文本。TS模型使用的是自然语言描述或简短提示作为输入文本的前缀来表示目标任务。例如：本申请实施例中使用的前缀可以为“cn2cn”，标注任务的类型为中文生成到中文，将多个训练句对送入mT5模型进行训练，得到文本生成模型。
可以理解的是，本申请实施例中文本生成模型的训练方法为自监督学习方法，不需要人工标注，且对于未出现过的句式具有一定的泛化性，提升了文本生成模型的鲁棒性。
可见，本申请实施例中采用回译法得到新中文语料，并利用新中文语料、原中文语料、新中文语料对应的新中文语义理解的识别结果和原中文语料对应的原中文语义理解的识别结果，构造训练句对，如此保证了训练得到的文本生成模型能学习到中文翻译引擎的语言风格，从而保证后续利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差。
发明人考虑到回译法生成的新语料与原语料，在多语种语义空间中距离较为分散，直接将二者送入文本生成模型中学习，可能导致文本生成模型难以收敛或文本生成模型损失较大的情况发生，从而影响生成效果。本申请实施例中由于新中文语料是由多语种翻译结果翻译而来的，多语种翻译结果是由原中文语料翻译而来的，因此多语种翻译结果可以充当新中文语料和原中文语料之间的桥梁，拉近它们在多语种语义空间中的距离，使得文本生成模型更容易收敛。
为此，在另一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解方法中S305具体可以包括：
S3051、利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料；
语码转换（code-switching）是两种或两种以上的语种语言成分混合使用或交替使用的现象。语码转换法可以让两种语种语言在语义层上共享表征，但在词汇层中则各自表述。语码转换主要分为两种类型：句内语码转换（intra-sentential codeswitching）和句间语码转换（inter-sentential code-switching）。句内语码转换是指发生在小句之内的语码转换，如“那天我们上网 chat 了几小时”、“好像一定要申请的吧，不然可能就要被terminated 了”；句间语码转换是指发生在小句之间的语码转换，如“这本书比较贵。But,it’s a very good book”。
本申请实施例中可以利用句内语码转换法和/或句间语码转换法对多语种翻译结果和新中文语料进行转换，得到跨语种语料。具体可以包括：在新中文语料的每个词后面加入与每个词对应的多语种翻译结果中的单词，得到跨语种语料；和/或，在新中文语料后面加入多语种翻译结果，得到跨语种语料。
本申请实施例中，句内语码转换法是在新中文语料的每个词后面加入与每个词对应的多语种翻译结果中的单词，得到跨语种语料。例如：闹钟技能中，原中文语料为“叫我”，多语种翻译结果为“call me”,新中文语料为“给我打电话”，句内语码转换法转换后的跨语种语料为“给我me打电话call”，得到训练句对为（input：给我me打电话call，output：叫我）。可以理解的是，上述只是示例性说明，不应理解为对本申请的限制。其中，句内语码转换法的优点在于在句字内不同语种的单词充分接触，可以更充分地拉进不同语种之间的语义距离，而且文本生成模型也可以更好地学习单词之间的对应关系。
本申请实施例中，句间语码转换法是在新中文语料后面加入多语种翻译结果，得到跨语种语料。例如：闹钟技能中，原中文语料为“叫我”，多语种翻译结果为“call me”,新中文语料为“给我打电话”，句间语码转换法转换后的跨语种语料为“给我打电话call me”，得到训练句对为（input：给我打电话call me，output：叫我）。可以理解的是，上述只是示例性说明，不应理解为对本申请的限制。其中，句间语码转换法的优点在于保留中文语料和多语种语料的完整形式，方便文本生成模型学习如何生成正常语序的语料。
S3052、利用所述新中文语料、所述原中文语料、所述所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对。
参见表3，为本申请实施例提供的一种回译法结合语码转换法对应的训练句对组合表。本申请实施例中利用新中文语料、原中文语料、跨语种语料、新中文语义理解的识别结果和原中文语义理解的识别结果，构造训练句对，具体可以包括：若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料；若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料。
表3 回译法结合语码转换法对应的训练句对组合表
| 训练句对的输入 | 训练句对的输出 | |
| 第一种情况 | 跨语种语料 | 新中文语料 |
| 第二种情况 | 跨语种语料 | 原中文语料 |
| 第三种情况 | 跨语种语料 | 原中文语料 |
| 第四种情况 | 跨语种语料 | 新中文语料 |
需要说明的是，发明人通过对中文语义理解模型的音乐技能进行测试，得到如下测试结果：①利用原中文语料和新中文语料构造训练句对，以该训练句对训练得到的文本生成模型对翻译结果进行修正，修正后的翻译结果被中文语义理解模型错误拒识的概率为17.20%。②利用原中文语料、新中文语料和句内语码转换法转换得到的跨语种语料构造训练句对，以该训练句对训练得到的文本生成模型对翻译结果进行修正，修正后的翻译结果被中文语义理解模型错误拒识的概率降低为13.78%。③利用原中文语料、新中文语料和句间语码转换法转换得到的跨语种语料构造训练句对，以该训练句对训练得到的文本生成模型对翻译结果进行修正，修正后的翻译结果被中文语义理解模型错误拒识的概率降低为13.40%。
可见，本申请实施例中采用语码转换法将新中文语料与多语种翻译结果结合生成跨语种语料作为训练句对的输入，拉近输入语料和输出语料在多语种语义空间中的距离，使得文本生成模型更容易收敛。而且，采用两种语码转换法生成训练句对可有效降低翻译方案中误拒识率，大大提升了系统中技能的可用性。
参见图4，本申请实施例公开的一种多语种语句的语义理解装置的结构示意图，该装置包括：
获取单元401，用于获取待识别多语种语句；
第一翻译单元402，用于利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
修正单元403，用于利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
语义理解单元404，用于利用中文语义理解模型对所述修正后的中文语句进行语义理解。
本申请实施例公开了一种多语种语句的语义理解装置，获取待识别多语种语句；利用中文翻译引擎翻译待识别多语种语句，得到中文语句；利用文本生成模型对中文语句进行修正，得到修正后的中文语句；其中，文本生成模型通过原中文语料和新中文语料训练得到，新中文语料通过多语种翻译引擎和中文翻译引擎对原中文语料进行回译得到；利用中文语义理解模型对修正后的中文语句进行语义理解。可见，因使用与翻译方案相同的中文翻译引擎生成新中文语料，使得通过原中文语料和新中文语料训练得到的文本生成模型能学习到中文翻译引擎的语言风格，从而使得利用该文本生成模型能修正中文翻译引擎的翻译结果的错误或偏差，进而能降低翻译结果被中文语义理解模型错误拒识的概率。
在一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解装置还包括：
第二翻译单元，用于利用所述多语种翻译引擎翻译所述原中文语料，得到多语种翻译结果；
第三翻译单元，用于利用所述中文翻译引擎翻译所述多语种翻译结果，得到所述新中文语料；
语义结果单元，用于将所述新中文语料输入所述中文语义理解模型，得到新中文语义理解的识别结果；
语义结果单元，还用于将所述原中文语料输入所述中文语义理解模型，得到原中文语义理解的识别结果；
构造单元，用于利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对；
训练单元，用于利用所述训练句对训练得到所述文本生成模型。
在一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解装置中，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；构造单元具体用于：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料。
在另一种可能的实现方式中，本申请实施例中提供的多语种语句的语义识别语义理解装置中构造单元具体包括：
转换单元，用于利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料；
构造子单元，用于利用所述新中文语料、所述原中文语料、所述所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对。
在一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解装置中转换单元具体用于：
在所述新中文语料的每个词后面加入与所述每个词对应的所述多语种翻译结果中的单词，得到跨语种语料；和/或，
在所述新中文语料后面加入所述多语种翻译结果，得到跨语种语料。
本申请实施例中提供的多语种语句的语义识别语义理解装置中，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；构造子单元具体用于：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料。
在一种可能的实现方式中，本申请实施例中提供的多语种语句的语义理解装置还包括：
语料获取单元，用于获取所述中文语义理解模型的技能范围内的中文语料和所述中文语义理解模型的技能范围外的中文语料；将所述技能范围内的中文语料和所述技能范围外的中文语料，作为所述原中文语料。
进一步地，本申请实施例还提供了一种多语种语句的语义理解设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述多语种语句的语义理解方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述多语种语句的语义理解方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述多语种语句的语义理解方法的任一种实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等）执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多语种语句的语义理解方法，其特征在于，所述方法包括：
获取待识别多语种语句；
利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
利用中文语义理解模型对所述修正后的中文语句进行语义理解。
2.根据权利要求1所述的方法，其特征在于，所述文本生成模型的构建过程包括：
利用所述多语种翻译引擎翻译所述原中文语料，得到多语种翻译结果；
利用所述中文翻译引擎翻译所述多语种翻译结果，得到所述新中文语料；
将所述新中文语料输入所述中文语义理解模型，得到新中文语义理解的识别结果；
将所述原中文语料输入所述中文语义理解模型，得到原中文语义理解的识别结果；
利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对；
利用所述训练句对训练得到所述文本生成模型。
3.根据权利要求2所述的方法，其特征在于，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；
所述利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述新中文语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述新中文语料和输出为所述新中文语料。
4.根据权利要求2所述的方法，其特征在于，所述利用所述新中文语料、所述原中文语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料；
利用所述新中文语料、所述原中文语料、所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对。
5.根据权利要求4所述的方法，其特征在于，所述利用语码转换法对所述多语种翻译结果和所述新中文语料进行转换，得到跨语种语料，包括：
在所述新中文语料的每个词后面加入与所述每个词对应的所述多语种翻译结果中的单词，得到跨语种语料；和/或，
在所述新中文语料后面加入所述多语种翻译结果，得到跨语种语料。
6.根据权利要求4所述的方法，其特征在于，所述新中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；所述原中文语义理解的识别结果为以下任一种：可以识别，拒绝识别；
所述利用所述新中文语料、所述原中文语料、所述跨语种语料、所述新中文语义理解的识别结果和所述原中文语义理解的识别结果，构造训练句对，包括：
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料；
若所述新中文语义理解的识别结果为可以识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为可以识别，则所述训练句对为输入为所述跨语种语料和输出为所述原中文语料；
若所述新中文语义理解的识别结果为拒绝识别，且所述原中文语义理解的识别结果为拒绝识别，则所述训练句对为输入为所述跨语种语料和输出为所述新中文语料。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述中文语义理解模型的技能范围内的中文语料和所述中文语义理解模型的技能范围外的中文语料；
将所述技能范围内的中文语料和所述技能范围外的中文语料，作为所述原中文语料。
8.一种多语种语句的语义理解装置，其特征在于，所述装置包括：
获取单元，用于获取待识别多语种语句；
第一翻译单元，用于利用中文翻译引擎翻译所述待识别多语种语句，得到中文语句；
修正单元，用于利用文本生成模型对所述中文语句进行修正，得到修正后的中文语句；其中，所述文本生成模型通过原中文语料和新中文语料训练得到，所述新中文语料通过多语种翻译引擎和所述中文翻译引擎对所述原中文语料进行回译得到；
语义理解单元，用于利用中文语义理解模型对所述修正后的中文语句进行语义理解。
9.一种多语种语句的语义理解设备，其特征在于，所述设备包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1至7任一项所述的多语种语句的语义理解方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1至7任一项所述的多语种语句的语义理解方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211415984.0A CN115455981B (zh) | 2022-11-11 | 2022-11-11 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211415984.0A CN115455981B (zh) | 2022-11-11 | 2022-11-11 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115455981A true CN115455981A (zh) | 2022-12-09 |
| CN115455981B CN115455981B (zh) | 2024-03-19 |
Family
ID=84295701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211415984.0A Active CN115455981B (zh) | 2022-11-11 | 2022-11-11 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115455981B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965017A (zh) * | 2023-01-04 | 2023-04-14 | 北京三维天地科技股份有限公司 | 一种基于开发平台的多语言录入和解析系统及方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100138211A1 (en) * | 2008-12-02 | 2010-06-03 | Microsoft Corporation | Adaptive web mining of bilingual lexicon |
| US8543563B1 (en) * | 2012-05-24 | 2013-09-24 | Xerox Corporation | Domain adaptation for query translation |
| US20170060855A1 (en) * | 2015-08-25 | 2017-03-02 | Alibaba Group Holding Limited | Method and system for generation of candidate translations |
| CN108804428A (zh) * | 2018-06-12 | 2018-11-13 | 苏州大学 | 一种译文中术语错译的纠正方法、系统及相关装置 |
| CN110188365A (zh) * | 2014-06-24 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 一种取词翻译的方法和装置 |
| CN110874537A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 多语言翻译模型的生成方法、翻译方法及设备 |
| CN111477216A (zh) * | 2020-04-09 | 2020-07-31 | 南京硅基智能科技有限公司 | 一种用于对话机器人的音意理解模型的训练方法及系统 |
| CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
| CN112199511A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 跨语言多来源垂直领域知识图谱构建方法 |
| CN112633007A (zh) * | 2020-12-21 | 2021-04-09 | 科大讯飞股份有限公司 | 一种语义理解模型构建方法及装置、语义理解方法及装置 |
| CN113312453A (zh) * | 2021-06-16 | 2021-08-27 | 哈尔滨工业大学 | 一种面向跨语言对话理解的模型预训练系统 |
| CN113743104A (zh) * | 2021-08-31 | 2021-12-03 | 合肥智能语音创新发展有限公司 | 实体链接方法及相关装置、电子设备、存储介质 |
| CN113822053A (zh) * | 2020-06-18 | 2021-12-21 | 上海流利说信息技术有限公司 | 一种语法错误检测方法、装置、电子设备及存储介质 |
| CN114254649A (zh) * | 2021-12-15 | 2022-03-29 | 科大讯飞股份有限公司 | 一种语言模型的训练方法、装置、存储介质及设备 |
| CN114970541A (zh) * | 2022-05-12 | 2022-08-30 | 吉林科讯信息科技有限公司 | 文本语义理解方法、装置、设备及存储介质 |
-
2022
- 2022-11-11 CN CN202211415984.0A patent/CN115455981B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100138211A1 (en) * | 2008-12-02 | 2010-06-03 | Microsoft Corporation | Adaptive web mining of bilingual lexicon |
| US8543563B1 (en) * | 2012-05-24 | 2013-09-24 | Xerox Corporation | Domain adaptation for query translation |
| CN110188365A (zh) * | 2014-06-24 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 一种取词翻译的方法和装置 |
| US20170060855A1 (en) * | 2015-08-25 | 2017-03-02 | Alibaba Group Holding Limited | Method and system for generation of candidate translations |
| CN108804428A (zh) * | 2018-06-12 | 2018-11-13 | 苏州大学 | 一种译文中术语错译的纠正方法、系统及相关装置 |
| CN110874537A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 多语言翻译模型的生成方法、翻译方法及设备 |
| CN111477216A (zh) * | 2020-04-09 | 2020-07-31 | 南京硅基智能科技有限公司 | 一种用于对话机器人的音意理解模型的训练方法及系统 |
| CN113822053A (zh) * | 2020-06-18 | 2021-12-21 | 上海流利说信息技术有限公司 | 一种语法错误检测方法、装置、电子设备及存储介质 |
| CN111723587A (zh) * | 2020-06-23 | 2020-09-29 | 桂林电子科技大学 | 一种面向跨语言知识图谱的汉泰实体对齐方法 |
| CN112199511A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 跨语言多来源垂直领域知识图谱构建方法 |
| CN112633007A (zh) * | 2020-12-21 | 2021-04-09 | 科大讯飞股份有限公司 | 一种语义理解模型构建方法及装置、语义理解方法及装置 |
| CN113312453A (zh) * | 2021-06-16 | 2021-08-27 | 哈尔滨工业大学 | 一种面向跨语言对话理解的模型预训练系统 |
| CN113743104A (zh) * | 2021-08-31 | 2021-12-03 | 合肥智能语音创新发展有限公司 | 实体链接方法及相关装置、电子设备、存储介质 |
| CN114254649A (zh) * | 2021-12-15 | 2022-03-29 | 科大讯飞股份有限公司 | 一种语言模型的训练方法、装置、存储介质及设备 |
| CN114970541A (zh) * | 2022-05-12 | 2022-08-30 | 吉林科讯信息科技有限公司 | 文本语义理解方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965017A (zh) * | 2023-01-04 | 2023-04-14 | 北京三维天地科技股份有限公司 | 一种基于开发平台的多语言录入和解析系统及方法 |
| CN115965017B (zh) * | 2023-01-04 | 2023-11-10 | 北京三维天地科技股份有限公司 | 一种基于开发平台的多语言录入和解析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115455981B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238232B2 (en) | Written-modality prosody subsystem in a natural language understanding (NLU) framework | |
| CN110462730B (zh) | 促进以多种语言与自动化助理的端到端沟通 | |
| KR101768509B1 (ko) | 온라인 음성 번역 방법 및 장치 | |
| US11205052B2 (en) | Deriving multiple meaning representations for an utterance in a natural language understanding (NLU) framework | |
| CN101133411A (zh) | 非罗马字符的容错罗马化输入方法 | |
| WO2019229768A1 (en) | A bot engine for automatic dynamic intent computation | |
| Kenny | Human and machine translation | |
| CN114757176A (zh) | 一种获取目标意图识别模型的方法以及意图识别方法 | |
| CN110991179A (zh) | 基于电力专业术语的语义分析方法 | |
| CN106383814A (zh) | 一种英文社交媒体短文本分词方法 | |
| Tursun et al. | Noisy Uyghur text normalization | |
| CN115455981B (zh) | 一种多语种语句的语义理解方法、装置、设备及存储介质 | |
| CN115186080A (zh) | 一种智能问答数据处理方法、系统、计算机设备及介质 | |
| KR20170055630A (ko) | 다국어 번역 방법 | |
| CN113609873A (zh) | 翻译模型训练方法、装置及介质 | |
| CN115169370B (zh) | 语料数据增强方法、装置、计算机设备及介质 | |
| CN114970541A (zh) | 文本语义理解方法、装置、设备及存储介质 | |
| CN115688703A (zh) | 一种特定领域文本纠错方法、存储介质和装置 | |
| CN114492396A (zh) | 用于汽车专有名词的文本错误纠正方法及可读存储介质 | |
| KR102562692B1 (ko) | 문장 구두점 제공 시스템 및 방법 | |
| CN114385791A (zh) | 基于人工智能的文本扩充方法、装置、设备及存储介质 | |
| CN114492469A (zh) | 一种翻译方法、翻译装置和计算机可读存储介质 | |
| CN111814496A (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN104641367A (zh) | 用于格式化电子字符序列的格式化模块、系统和方法 | |
| Kim et al. | Reliable automatic word spacing using a space insertion and correction model based on neural networks in Korean |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |