CN114970541A - 文本语义理解方法、装置、设备及存储介质 - Google Patents
文本语义理解方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114970541A CN114970541A CN202210513371.4A CN202210513371A CN114970541A CN 114970541 A CN114970541 A CN 114970541A CN 202210513371 A CN202210513371 A CN 202210513371A CN 114970541 A CN114970541 A CN 114970541A
- Authority
- CN
- China
- Prior art keywords
- text
- target
- training
- language
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013507 mapping Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000013519 translation Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 151
- 230000001915 proofreading effect Effects 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 37
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种文本语义理解方法、装置、设备及存储介质，本申请可以将源语种的目标文本翻译为目标语种的翻译后文本，其中源语种可以是小语种，目标语种可以是多资源样本语种，进而可以利用目标语种下较好的语义理解模型完成对源语种的目标文本的语义理解任务，解决了小语种文本语义理解结果准确性不高的问题。可知的，目标文本中的实体词对于语义理解过程是很重要的信息，本申请在将源语种的目标文本翻译为目标语种之前，首先识别出目标文本中的实体词并确定其在目标语种下的映射实体词，避免在翻译过程中出现实体丢失的问题，在此情况下，可以基于映射实体词及翻译后文本确定语义理解结果，能够进一步提升语义理解结果的准确性。
Description
技术领域
本申请涉及自然语言处理技术领域，更具体的说，是涉及一种文本语义理解方法、装置、设备及存储介质。
背景技术
在自然语言处理领域，语义理解任务属于一种比较常见的任务，其任务目标是利用自然语言处理技术对文本中的内容进行解析，从而得到文本含义。语义理解的准确性影响着人机交互场景的效果，比如语音助手、机器客服系统等。
随着全球经济一体化以及互联网技术的迅速发展，人们对多语种语义理解技术的需求也越来越大，产品的多语种语义理解的能力直接影响到产品的使用范围。比如，机器客服系统在不同语种国家的语义理解效果直接影响到电商用户的使用便捷性。
随着深度学习技术的发展，基于深度神经网络的自然语言处理技术已经能够在很多任务上获得较好的表现。对于中文、英文等多资源样本语种而言，可以基于大规模的标注数据训练得到较好的语义理解模型。但是对于一些低资源样本语种(又可以称之为小语种)，由于标注数据较少，导致训练的小语种语义理解模型性能不够优秀，对于小语种文本的语义理解准确性不高。
发明内容
鉴于上述问题，提出了本申请以便提供一种文本语义理解方法、装置、设备及存储介质，以至少实现提升小语种文本的语义理解准确性的目的。具体方案如下：
一种文本语义理解方法，包括：
获取源语种的目标文本；
识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
将所述替换后文本翻译为所述目标语种下的翻译后文本；
基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
优选地，在得到所述翻译后文本之后，还包括：
采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本；
所述基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果，包括：
基于所述纠正后翻译文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
优选地，所述识别所述目标文本中的实体词，包括：
基于预配置的所述源语种的实体词库，在所述目标文本中检索匹配的实体词，所述实体词库中包含源语种下各实体类型的实体词。
优选地，所述获取所述实体词在目标语种下的映射实体词，包括：
通过预配置的所述源语种与所述目标语种间的实体词映射关系，确定源语种的所述实体词在所述目标语种下的映射实体词；
其中，所述实体词映射关系包括同一实体在所述源语种及所述目标语种下的文本表达。
优选地，所述校对模块为校对模型，所述采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本，包括：
将所述翻译后文本输入所述校对模型，得到校对模型输出的纠正后翻译文本；
所述校对模型被配置为，对输入的翻译后文本进行语法纠正，以输出纠正后翻译文本的内部状态表示。
优选地，所述校对模型的训练过程，包括：
获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本；
将所述训练文本输入至所述校对模型，得到输出的生成文本；
以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
优选地，所述训练文本还标注有是否存在语法错误的正误标签，其中正误标签表明不存在语法错误的训练文本，对应的纠正文本为训练文本自身；
所述校对模型还用于预测输入的所述训练文本是否存在语法错误，得到语法错误预测结果；
所述以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件，包括：
以所述生成文本趋近于所述纠正文本为第一训练目标，
以所述语法错误预测结果趋近于所述训练文本标注的正误标签为第二训练目标，结合所述第一训练目标及所述第二训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
优选地，所述获取翻译为所述目标语种的训练文本，包括：
获取由所述源语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
获取由除去所述目标语种外的其余各语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
对所述目标语种的训练文本进行随机乱序，得到乱序后的训练文本。
优选地，所述基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果，包括：
将所述翻译后文本及所述映射实体词输入预配置的所述目标语种的语义理解模型，得到模型输出的语义理解结果；
所述目标语种的语义理解模型，采用标注有语义理解结果标签的，所述目标语种下的训练文本训练得到。
优选地，所述获取源语种的目标文本，包括：
获取待理解语义的源语种文本，作为目标文本；
或，
获取待理解语义的源语种语音，并对所述源语种语音进行文本识别，得到的识别文本作为目标文本。
一种文本语义理解装置，包括：
文本获取单元，用于获取源语种的目标文本；
实体词识别及映射单元，用于识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词；
实体词替换单元，用于利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
文本翻译单元，用于将所述替换后文本翻译为所述目标语种下的翻译后文本；
语义理解结果确定单元，用于基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
一种文本语义理解设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的文本语义理解方法的各个步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的文本语义理解方法的各个步骤。
借由上述技术方案，本申请中涉及的源语种可以是小语种，目标语种可以是多资源样本语种，通过将源语种的目标文本翻译为目标语种的翻译后文本，进而可以利用目标语种下较好的语义理解模型完成对源语种的目标文本的语义理解任务，解决了小语种文本语义理解结果准确性不高的问题。
进一步可以理解的是，目标文本中的实体词对于语义理解过程是很重要的信息，本申请在将源语种的目标文本翻译为目标语种之前，首先识别出目标文本中的实体词并确定其在目标语种下的映射实体词，避免在翻译过程中出现实体丢失的问题，在此情况下，可以基于映射实体词及翻译后文本确定语义理解结果，能够进一步提升语义理解结果的准确性。
当然，源语种并非仅局限于小语种，对于其它非小语种而言，也可以通过本申请提供的方案，获得源语种的目标文本在目标语种下的语义理解结果，实现跨语种的语义理解，且能够保证语义理解结果的准确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的文本语义理解方法的一流程示意图；
图2为本申请实施例提供的文本语义理解方法的另一流程示意图；
图3示例了本申请实施例的一种可选场景流程图；
图4为本申请实施例提供的一种校对模型结构示意图；
图5为本申请实施例公开的一种文本语义理解装置结构示意图；
图6为本申请实施例提供的文本语义理解设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有的语义理解技术基于大规模的标注数据，在中文、英文等多资源样本语种已经能够获得很好的效果。但是在针对一些多语种业务需求的时候，由于小语种数据较少，导致训练得到的小语种语义理解模型不够优秀，语义理解结果准确度不高。为此，本案申请人首先想到的是使用数据增强和多语种混合训练的方式，但由于数据多样性不足，以及增强后数据与真实数据分布不一致等问题，导致训练后的小语种语义理解模型效果仍然不佳。
为此，本案申请人进一步提出了一种基于翻译的文本语义理解方案，通过将小语种文本翻译为其他语种的文本，如多资源样本的语种(本案中可以称之为目标语种)，进而利用目标语种下的语义理解模型对小语种文本进行语义理解，由此可以充分利用目标语种下大规模标注数据训练得到的优秀的语义理解模型，完成对小语种文本的语义理解，且能够提升语义理解结果的准确性。
本申请方案可以基于具备数据处理能力的终端实现，该终端可以是手机、电脑、服务器、云端等。
接下来，结合图1所述，本申请的文本语义理解方法可以包括如下步骤：
步骤S100、获取源语种的目标文本。
具体地，对于待进行语义理解的文本，定义为目标文本，该目标文本所属语种定义为源语种。
其中，源语种可以是各种类型的语种。本申请方案在用于对小语种文本进行语义理解时，可以获取小语种的目标文本。
需要说明的是，本申请中对于小语种的定义，其可以是已有标注数据低于设定数值的语种，如通过已公开的数据库能够获取到的标注数据，低于设定数值的语种，可以称之为小语种，示例如波斯语、印地语、僧伽罗语等。
本步骤中，根据实际应用场景的不同，获取源语种的目标文本的方式也可以不同，示例如，当应用场景中需要进行语义理解的是源语种文本时，则可以直接将该源语种文本作为目标文本。再比如，当应用场景中需要进行语义理解的是源语种语音时，则可以先对该源语种语音进行文本识别，得到的识别文本作为目标文本。
步骤S110、识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本。
可以理解的是，在语义理解任务中，实体识别是很关键的一环，直接影响到语义理解结果的完整性及准确性。示例如，对于文本“我想听周杰伦的歌曲”，语义理解结果为：
意图：播放歌曲；
实体槽：周杰伦。
由上例子可见，对于文本中的实体词“周杰伦”，其直接作为语义理解结果中的实体槽信息，若无法识别出文本中的实体，则会直接影响最终的语义理解结果。
基于此，本申请在将源语种的目标文本翻译为目标语种进行语义理解之前，为了避免在翻译过程中将源语种的目标文本中的实体词丢失，或者实体词翻译错误等，首先在源语种下识别出目标文本中的实体词，识别出的实体词为源语种。进一步，为了便于后续在目标语种下进行语义理解，本申请中可以进一步获取源语种的实体词在目标语种下的映射实体词。这里，源语种的实体词及映射实体词，为同一实体在源语种和目标语种下的不同文本表示。示例如，对于英文的实体词“Jay Chou”，其在中文下的映射实体词为“周杰伦”。
进一步地，本申请在识别出实体词以及得到实体词在目标语种下的映射实体词的同时，可以得到实体词的实体类型。仍以上述实体词“Jay Chou”为例，实体类型为“artist”。本申请可以预先维护一个实体类型表，用于记录各实体词所属的实体类型，在此基础上，当识别出目标文本中的实体词后，可以通过实体类型表确定对应的实体类型。当然，除此之外还可以通过其他形式得到实体词的实体类型，如通过查询词典或者通过预训练的实体类型标注模型等，此处不再展开说明。
在获得实体词的实体类型之后，为了避免目标文本在翻译为目标语种过程中出现实体丢失或翻译不准，本申请可以利用实体词的实体类型来替换掉目标文本中的实体词，得到替换后文本。以英文形式的目标文本“Play a song by Jay Chou”为例，实体词为“JayChou”，实体类型为“artist”，替换后文本为“Play a song by artist”。
步骤S120、将所述替换后文本翻译为所述目标语种下的翻译后文本。
具体地，在得到替换后文本之后，可以将源语种的替换后文本翻译为目标语种，得到翻译后文本。
在进行翻译时，可以使用多语种到目标语种的翻译模型进行翻译，也可以使用源语种到目标语种的翻译模型进行翻译。此处，对于所使用的翻译技术，本申请不做严格限定。
步骤S130、基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
具体地，经过上述各个步骤已经得到目标文本对应的翻译后文本，以及目标语种的映射实体词，在此基础上，可以基于翻译后文本及映射实体词，确定目标文本在目标语种下的语义理解结果。
具体确定语义理解结果的过程中，可以使用预配置的目标语种的语义理解模型实现，即可以将翻译后文本及映射实体词输入目标语种的语义理解模型，得到模型输出的语义理解结果。其中，目标语种的语义理解模型可以采用标注有语义理解结果标签的，所述目标语种下的训练文本训练得到。
为了保证语义理解结果的准确性，目标语种可以是多资源样本语种，也即可以采用目标语种下大规模的标注数据训练得到较优的语义理解模型。示例如，目标语种可以是中文、英文等。
本申请实施例提供的文本语义理解方法，其中涉及的源语种可以是小语种，目标语种可以是多资源样本语种，通过将源语种的目标文本翻译为目标语种的翻译后文本，进而可以利用目标语种下较好的语义理解模型完成对源语种的目标文本的语义理解任务，解决了小语种文本语义理解结果准确性不高的问题。
进一步可以理解的是，目标文本中的实体词对于语义理解过程是很重要的信息，本申请在将源语种的目标文本翻译为目标语种之前，首先识别出目标文本中的实体词并确定其在目标语种下的映射实体词，避免在翻译过程中出现实体丢失的问题，在此情况下，可以基于映射实体词及翻译后文本确定语义理解结果，能够进一步提升语义理解结果的准确性。
当然，源语种并非仅局限于小语种，对于其它非小语种而言，也可以通过本申请提供的方案，获得源语种的目标文本在目标语种下的语义理解结果，实现跨语种的语义理解，且能够保证语义理解结果的准确性。
在本申请的一些实施例中，考虑到在将替换后文本翻译为目标语种下的翻译后文本的过程中，对于源语种为小语种的目标文本，其可能受限于翻译技术的影响，最终得到的翻译后文本可能存在语法错误，如不符合目标语种的语法规范，存在语序颠倒等问题。基于此类翻译后文本进行语义理解时，会影响到语义理解结果的准确性。为此，本实施例中提供了一种解决方案，结合图2所示，本实施例提供了另一种文本语义理解方法：
图2示例的流程中，步骤S200-S220与前述实施例中的步骤S100-S120一一对应，详细参照前文介绍，此处不再赘述。
在步骤S220得到翻译后文本之后，本实施例中进一步增加了步骤S230：
采用预配置的校对模块对翻译后文本进行语法纠正，得到纠正后翻译文本。
具体地，该校对模块可以被配置为，对输入的翻译后文本进行语法纠正，并输出语法纠正后翻译文本的内部状态表示。在此基础上，本申请实施例中可以将翻译后文本输入校对模块中，得到输出的纠正后翻译文本。
步骤S240、基于纠正后翻译文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
相比于前述实施例的文本语义理解方法，本实施例中增加了对翻译后文本进行语法纠正的过程，通过语法纠正，可以将翻译过程出现的语法错误进行纠正，进而可以基于纠正后的翻译文本及映射实体词进行语义理解，能够进一步提升语义理解结果的准确度。
结合图3，图3示例了本申请实施例的一种可选场景流程图。
获取的源语种的目标文本为“Play a song by Jay Chou”，经过实体识别及替换后的替换后文本为“Play a song by artist”。经过步骤S220得到的翻译后文本为“播放被某位歌手歌唱的歌曲”。该翻译后文本仍然不符合中文语法的规范，可能因此对中文语义理解的效果产生不好的影响，为此，通过本实施例的方法，可以对翻译后文本进行语法纠正，得到纠正后翻译文本为“播放某位歌手的歌曲”。进一步，可以将纠正后翻译文本“播放某位歌手的歌曲”及实体词“周杰伦”，输入中文语义理解模型中进行语义理解，得到最终的语义理解结果：
意图：播放歌曲；
实体槽：周杰伦。
在本申请的一些实施例中，对上述步骤S110，识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词的过程展开说明。
本实施例中提供了一种可选的识别实体词的实现方式，即可以预先配置各语种的实体词库，实体词库中包含了对应语种下各实体类型的实体词。
在此基础上，识别所述目标文本中的实体词的过程，可以包括：
基于预配置的源语种的实体词库，在目标文本中检索匹配的实体词，从而得到目标文本中的实体词。
具体地，在匹配实体词时，可以基于实体相似度检索，查找相似度满足阈值要求且最高的实体词，作为匹配的实体词。示例如，可以基于词语间的汉明距离作为相似度，取相似度>P(P取值可以是0.9或其他设定数值)且最高的一个实体词，作为匹配的实体词。
通过按照实体词相似度进行检索匹配，可以避免因为拼写错误和表达多样性而出现的实体词识别不准确的问题。
可以理解的是，通过实体词库匹配，在匹配到目标文本中的实体词的同时，可以得到实体词的实体类型。
进一步地，为了便于后续步骤在目标语种下进行语义理解，对于匹配的实体词还可以进一步确定其在目标语种下的映射实体词。为此，本申请实施例中还可以预先配置各语种间的实体词映射关系，用于记录同一实体在不同语种下的文本表达。示例如下表1：
表1：
| 实体 | 中文 | 英文 |
| 实体1 | 周杰伦 | Jay Chou |
基于预先配置的各语种间的实体词映射关系，可以查找源语种与目标语种间的实体词映射关系，进而确定源语种下目标文本中的实体词在目标语种下的映射实体词。
需要说明的是，本实施例中仅仅示例了一种可选的目标文本中实体词的识别方法，除此之外，本申请还可以采用其他方式来识别实体词，示例如，可以采用预训练的实体词识别模型、词类型标注模型等，识别目标文本中的实体词。在识别得到实体词后，还可以通过其他方式得到目标语种下的映射实体词，如对实体词进行目标语种的翻译，可以得到目标语种下的映射实体词。
在本申请的一些实施例中，对上述步骤S230，采用校对模块对翻译后文本进行语法纠正的过程进行展开说明。
其中，校对模块的实现方式可以有多种形式，如按照用户设置的目标语种下的语法纠正规则所配置的功能模块，或者是基于神经网络模型的形式来实现。
以校正模块采用神经网络模型为例进行说明，该校正模块可以定义为校对模型。
具体地，可以预先训练校对模型，该校对模型可以采用端到端的生成模型，基于输入的翻译后文本，输出语法纠正后的翻译文本。该端到端的生成模型可以采用Transformer结构的预训练语言模型。
校对模型的训练过程可以包括：
S1、获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本。
具体地，对于训练文本，可以是由源语种的训练文本翻译为目标语种下的翻译后的训练文本。在对源语种的训练文本进行翻译时，可以采用与前述步骤S130将替换后文本翻译为目标语种过程相同的翻译技术。
进一步地，对于训练文本，其还可以由除去所述目标语种外的其余各语种的训练文本翻译为所述目标语种下的翻译后训练文本。对于源语种为小语种时，源语种的训练文本可能不足，为此，本步骤中可以将除目标语种外的其余各语种的训练文本翻译为目标语种，得到足够数据量的目标语种的翻译后训练文本，进而使得校对模型鲁棒性更好。
再进一步的，在目标语种的训练文本不足的情况下，本步骤中还可以扩展训练文本，具体地，可以对已有的目标语种的训练文本进行随机乱序，得到乱序后的训练文本。
对于获取得到的目标语种的训练文本，其可能包含了正确语法的文本，以及错误语法的文本。对于错误语法的训练文本，可以通过人工纠正等方式获取训练文本对应的纠正文本。对于正确语法的训练文本，其对应的纠正文本可以为训练文本自身。
S2、将所述训练文本输入至所述校对模型，得到输出的生成文本。
S3、以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
具体地，本实施例中可以以所述生成文本趋近于所述纠正文本为训练目标对校对模型进行训练。本实施例中可以采用负对数似然损失函数(NLL)作为损失函数进行训练，具体表示如下：
其中，V表示字典大小，m表示生成文本，M表示生成文本的长度，θ表和θ1表示模型参数。
采用本实施例的模型训练方法训练得到的校对模型，可以基于输入的翻译后文本，生成语法纠正后的翻译文本。
在本申请的一些实施例中，考虑到在校对模型训练过程中，训练文本中包含一部分语法正确的训练文本，对于此类训练文本，校对模型实质上并不需要进行纠正处理。基于此，本申请实施例中可以通过训练校对模型，使得校对模型具备一定的判断能力，能够区分输入的文本是否存在语法错误，对于不存在语法错误的输入文本，可以直接将输入文本作为输出文本。
为此，本实施例中提供了另一种校对模型的训练过程，步骤如下：
S1、获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本、所述训练文本的正误标签。
其中，获取的训练文本还标注有正误标签，该正误标签用于表示训练文本是否存在语法错误，对于正误标签表明不存在语法错误的训练文本，对应的纠正文本为训练文本自身。
S2、将所述训练文本输入至所述校对模型，得到输出的生成文本，以及校对模型预测输出的所述训练文本是否存在语法错误的预测结果。
S3、以生成文本趋近于纠正文本为第一训练目标，以语法错误预测结果趋近于训练文本标注的正误标签为第二训练目标，结合第一训练目标及第二训练目标，更新校对模型的网络参数，直至达到设定训练结束条件。
其中，第一训练目标可以采用上述LNLL。相比于前一种模型训练方法，本实施例的模型训练过程中，增加了第二训练目标，本实施例中可以采用回复损失函数(RC)作为损失函数，具体表示如下：
其中，n表示生成文本中的句子是否存在语法错误，IsCorrect表示不存在语法错误，NotCorrect表示存在语法错误，N表示生成文本包含的句子数量，θ表和θ2表示模型参数。
结合第一训练目标及第二训练目标可以构造总损失函数，表示为：
LTotal＝LNLL+LRC
可以基于总损失函数LTotal更新校对模型的网络参数，直至达到设定训练结束条件。
可以理解的是，本实施例中的校对模型相比于前一实施例的校对模型，由于多了第二训练目标，因此模型结构上可以在前一实施例的校对模型的基础上，在输出的生成文本标志位[CLS]的向量后接一个全连接层FC，然后使用回复损失函数RC作为损失函数进行训练，详细参照图4所示。
图4示例的校对模型中，模型主体结构采用预训练语言模型Transformer Blocks。在输出层中，在输出的生成文本标志位[CLS]的向量后接一个全连接层FC，然后使用回复损失函数RC作为损失函数。
下面对本申请实施例提供的文本语义理解装置进行描述，下文描述的文本语义理解装置与上文描述的文本语义理解方法可相互对应参照。
参见图5，图5为本申请实施例公开的一种文本语义理解装置结构示意图。
如图5所示，该装置可以包括：
文本获取单元11，用于获取源语种的目标文本；
实体词识别及映射单元12，用于识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词；
实体词替换单元13，用于利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
文本翻译单元14，用于将所述替换后文本翻译为所述目标语种下的翻译后文本；
语义理解结果确定单元15，用于基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
可选的，本申请的文本语义理解装置还可以包括：
语法纠正单元，用于采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本；在此基础上，上述语义理解结果确定单元具体可以基于所述纠正后翻译文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
可选的，上述实体词识别及映射单元识别所述目标文本中的实体词的过程，可以包括：
基于预配置的所述源语种的实体词库，在所述目标文本中检索匹配的实体词，所述实体词库中包含源语种下各实体类型的实体词。
可选的，上述实体词识别及映射单元获取所述实体词在目标语种下的映射实体词的过程，可以包括：
通过预配置的所述源语种与所述目标语种间的实体词映射关系，确定源语种的所述实体词在所述目标语种下的映射实体词；
其中，所述实体词映射关系包括同一实体在所述源语种及所述目标语种下的文本表达。
可选的，上述语法纠正单元所采用的校对模块可以是校对模型，语法纠正单元采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本的过程，可以包括：
将所述翻译后文本输入所述校对模型，得到校对模型输出的纠正后翻译文本；
所述校对模型被配置为，对输入的翻译后文本进行语法纠正，以输出纠正后翻译文本的内部状态表示。
可选的，本申请的文本语义理解装置还可以包括：校对模型训练单元，用于训练校对模型，该校对模型的训练过程，可以包括：
获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本；
将所述训练文本输入至所述校对模型，得到输出的生成文本；
以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
可选的，上述训练文本还可以标注有是否存在语法错误的正误标签，其中正误标签表明不存在语法错误的训练文本，对应的纠正文本为训练文本自身，在此基础上，所述校对模型还用于预测输入的所述训练文本是否存在语法错误，得到语法错误预测结果；校对模型训练单元以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件的过程，可以包括：
以所述生成文本趋近于所述纠正文本为第一训练目标，以所述语法错误预测结果趋近于所述训练文本标注的正误标签为第二训练目标，结合所述第一训练目标及所述第二训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
可选的，上述校对模型训练单元获取翻译为所述目标语种的训练文本的过程，可以包括：
获取由所述源语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
获取由除去所述目标语种外的其余各语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
对所述目标语种的训练文本进行随机乱序，得到乱序后的训练文本。
可选的，上述语义理解结果确定单元基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果的过程，可以包括：
将所述翻译后文本及所述映射实体词输入预配置的所述目标语种的语义理解模型，得到模型输出的语义理解结果；
所述目标语种的语义理解模型，采用标注有语义理解结果标签的，所述目标语种下的训练文本训练得到。
可选的，上述文本获取单元获取源语种的目标文本的过程，可以包括：
获取待理解语义的源语种文本，作为目标文本；
或，
获取待理解语义的源语种语音，并对所述源语种语音进行文本识别，得到的识别文本作为目标文本。
本申请实施例提供的文本语义理解装置可应用于文本语义理解设备，如终端：手机、电脑等。可选的，图6示出了文本语义理解设备的硬件结构框图，参照图6，文本语义理解设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取源语种的目标文本；
识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
将所述替换后文本翻译为所述目标语种下的翻译后文本；
基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取源语种的目标文本；
识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
将所述替换后文本翻译为所述目标语种下的翻译后文本；
基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种文本语义理解方法，其特征在于，包括：
获取源语种的目标文本；
识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
将所述替换后文本翻译为所述目标语种下的翻译后文本；
基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
2.根据权利要求1所述的方法，其特征在于，在得到所述翻译后文本之后，还包括：
采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本；
所述基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果，包括：
基于所述纠正后翻译文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
3.根据权利要求1所述的方法，其特征在于，所述识别所述目标文本中的实体词，包括：
基于预配置的所述源语种的实体词库，在所述目标文本中检索匹配的实体词，所述实体词库中包含源语种下各实体类型的实体词。
4.根据权利要求1所述的方法，其特征在于，所述获取所述实体词在目标语种下的映射实体词，包括：
通过预配置的所述源语种与所述目标语种间的实体词映射关系，确定源语种的所述实体词在所述目标语种下的映射实体词；
其中，所述实体词映射关系包括同一实体在所述源语种及所述目标语种下的文本表达。
5.根据权利要求2所述的方法，其特征在于，所述校对模块为校对模型，所述采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本，包括：
将所述翻译后文本输入所述校对模型，得到校对模型输出的纠正后翻译文本；
所述校对模型被配置为，对输入的翻译后文本进行语法纠正，以输出纠正后翻译文本的内部状态表示。
6.根据权利要求5所述的方法，其特征在于，所述校对模型的训练过程，包括：
获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本；
将所述训练文本输入至所述校对模型，得到输出的生成文本；
以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
7.根据权利要求6所述的方法，其特征在于，所述训练文本还标注有是否存在语法错误的正误标签，其中正误标签表明不存在语法错误的训练文本，对应的纠正文本为训练文本自身；
所述校对模型还用于预测输入的所述训练文本是否存在语法错误，得到语法错误预测结果；
所述以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件，包括：
以所述生成文本趋近于所述纠正文本为第一训练目标，
以所述语法错误预测结果趋近于所述训练文本标注的正误标签为第二训练目标，结合所述第一训练目标及所述第二训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。
8.根据权利要求6所述的方法，其特征在于，所述获取翻译为所述目标语种的训练文本，包括：
获取由所述源语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
获取由除去所述目标语种外的其余各语种的训练文本翻译为所述目标语种下的翻译后训练文本；
和/或，
对所述目标语种的训练文本进行随机乱序，得到乱序后的训练文本。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果，包括：
将所述翻译后文本及所述映射实体词输入预配置的所述目标语种的语义理解模型，得到模型输出的语义理解结果；
所述目标语种的语义理解模型，采用标注有语义理解结果标签的，所述目标语种下的训练文本训练得到。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述获取源语种的目标文本，包括：
获取待理解语义的源语种文本，作为目标文本；
或，
获取待理解语义的源语种语音，并对所述源语种语音进行文本识别，得到的识别文本作为目标文本。
11.一种文本语义理解装置，其特征在于，包括：
文本获取单元，用于获取源语种的目标文本；
实体词识别及映射单元，用于识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词；
实体词替换单元，用于利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；
文本翻译单元，用于将所述替换后文本翻译为所述目标语种下的翻译后文本；
语义理解结果确定单元，用于基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。
12.一种文本语义理解设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～10中任一项所述的文本语义理解方法的各个步骤。
13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～10中任一项所述的文本语义理解方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210513371.4A CN114970541A (zh) | 2022-05-12 | 2022-05-12 | 文本语义理解方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210513371.4A CN114970541A (zh) | 2022-05-12 | 2022-05-12 | 文本语义理解方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114970541A true CN114970541A (zh) | 2022-08-30 |
Family
ID=82980281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210513371.4A Pending CN114970541A (zh) | 2022-05-12 | 2022-05-12 | 文本语义理解方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114970541A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455981A (zh) * | 2022-11-11 | 2022-12-09 | 合肥智能语音创新发展有限公司 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110462730A (zh) * | 2018-03-07 | 2019-11-15 | 谷歌有限责任公司 | 促进以多种语言与自动化助理的端到端沟通 |
| CN110457715A (zh) * | 2019-07-15 | 2019-11-15 | 昆明理工大学 | 融入分类词典的汉越神经机器翻译集外词处理方法 |
| CN111539229A (zh) * | 2019-01-21 | 2020-08-14 | 波音公司 | 神经机器翻译模型训练方法、神经机器翻译方法及装置 |
| US20200387677A1 (en) * | 2019-06-05 | 2020-12-10 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
| CN112818669A (zh) * | 2021-01-26 | 2021-05-18 | 山西三友和智慧信息技术股份有限公司 | 一种基于生成对抗网络的语法错误纠正方法 |
-
2022
- 2022-05-12 CN CN202210513371.4A patent/CN114970541A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110462730A (zh) * | 2018-03-07 | 2019-11-15 | 谷歌有限责任公司 | 促进以多种语言与自动化助理的端到端沟通 |
| CN111539229A (zh) * | 2019-01-21 | 2020-08-14 | 波音公司 | 神经机器翻译模型训练方法、神经机器翻译方法及装置 |
| US20200387677A1 (en) * | 2019-06-05 | 2020-12-10 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
| CN110457715A (zh) * | 2019-07-15 | 2019-11-15 | 昆明理工大学 | 融入分类词典的汉越神经机器翻译集外词处理方法 |
| CN112818669A (zh) * | 2021-01-26 | 2021-05-18 | 山西三友和智慧信息技术股份有限公司 | 一种基于生成对抗网络的语法错误纠正方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455981A (zh) * | 2022-11-11 | 2022-12-09 | 合肥智能语音创新发展有限公司 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
| CN115455981B (zh) * | 2022-11-11 | 2024-03-19 | 合肥智能语音创新发展有限公司 | 一种多语种语句的语义理解方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069298B (zh) | 基于语义网和意图识别的人机交互方法、设备及介质 | |
| CN106776544B (zh) | 人物关系识别方法及装置和分词方法 | |
| CN107480143B (zh) | 基于上下文相关性的对话话题分割方法和系统 | |
| CN103885938B (zh) | 基于用户反馈的行业拼写错误检查方法 | |
| CN111046656B (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
| CN110727779A (zh) | 基于多模型融合的问答方法及系统 | |
| CN108959559B (zh) | 问答对生成方法和装置 | |
| KR102041621B1 (ko) | 인공지능 음성인식 기반 기계학습의 대규모 말뭉치 구축을 위한 대화형 말뭉치 분석 서비스 제공 시스템 및 구축 방법 | |
| CN111459977B (zh) | 自然语言查询的转换 | |
| CN105956053B (zh) | 一种基于网络信息的搜索方法及装置 | |
| CN114580382A (zh) | 文本纠错方法以及装置 | |
| CN110727839A (zh) | 自然语言查询的语义解析 | |
| CN105988990A (zh) | 用于汉语中的零指代消解的装置和方法以及模型训练方法 | |
| Satapathy et al. | A review of shorthand systems: From brachygraphy to microtext and beyond | |
| Liu et al. | Open intent discovery through unsupervised semantic clustering and dependency parsing | |
| CN111292751A (zh) | 语义解析方法及装置、语音交互方法及装置、电子设备 | |
| CN114154487A (zh) | 文本自动纠错方法、装置、电子设备及存储介质 | |
| Qiu et al. | ChineseTR: A weakly supervised toponym recognition architecture based on automatic training data generator and deep neural network | |
| Schaback et al. | Multi-level feature extraction for spelling correction | |
| Feng et al. | Question classification by approximating semantics | |
| CN114896382A (zh) | 人工智能问答模型生成方法、问答方法、装置及存储介质 | |
| CN114970541A (zh) | 文本语义理解方法、装置、设备及存储介质 | |
| Ma et al. | Improving Chinese spell checking with bidirectional LSTMs and confusionset-based decision network | |
| Yang et al. | Spell Checking for Chinese. | |
| CN110750967B (zh) | 一种发音的标注方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |