CN116822522A - 一种语义分析方法、装置、设备及存储介质 - Google Patents
一种语义分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116822522A CN116822522A CN202310696930.4A CN202310696930A CN116822522A CN 116822522 A CN116822522 A CN 116822522A CN 202310696930 A CN202310696930 A CN 202310696930A CN 116822522 A CN116822522 A CN 116822522A
- Authority
- CN
- China
- Prior art keywords
- sentence
- information
- semantic analysis
- statement
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 150
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 30
- 238000002372 labelling Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 abstract description 3
- 230000037430 deletion Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 15
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种语义分析方法、装置、设备及存储介质，该方法通过语义分析模型对语句信息和语句信息对应的历史语句信息进行下述操作：将语句信息和语句信息对应的历史语句信息融合，得到融合融合，对语句信息、历史语句信息和融合语句信息分别进行特征提取，分别得到语句特征、历史语句特征和融合语句特征，根据语句特征、历史语句特征和融合语句特征进行特征重构，根据得到的重构特征进行语义分析任务。本申请利用语句特征、历史语句特征和融合语句特征进行特征重构解决了语义信息继承缺失的问题，提高语义分析下游任务的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种语义分析方法、装置、设备及存储介质。
背景技术
在传统的语义分析过程中，语句语义分析是单轮的，上下文之间的语义不会关联分析，大部分情况下，单一语句的表达内容有限，往往会出现语义缺失、语义歧义等问题。人机对话任务中，几乎不存在单轮对话就能解决问题的情况，往往需要进行多轮的交互来完善信息的采集，目前大多是采用槽位继承的方式来对主要信息进行记录和传递，但因为多轮交互的不稳定性，导致槽位的值经常被错误的值所覆盖或者产生歧义，使得人机对话的效果不佳。
发明内容
为了解决上述提出的至少一个技术问题，本申请提出了一种语义分析方法、装置、设备及存储介质。
根据本申请公开的一方面，提供了一种语义分析方法，上述方法包括：
获取语句信息和与上述语句信息对应的历史语句信息；
基于语义分析模型对上述历史语句信息和上述语句信息进行以下操作：
将上述历史语句信息和上述语句信息进行融合，得到融合语句信息；
分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，分别得到与上述历史语句信息对应的历史语句特征、与上述语句信息对应的语句特征和与上述融合语句信息对应的融合语句特征；
基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征；
根据上述重构特征进行语义分析任务，得到语义分析结果。
在一些可能的实施方式中，上述基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征，包括：
计算上述历史语句特征、上述融合语句特征以及上述语句特征之间的相关性，得到相关性结果；
对上述相关性结果进行归一化处理，得到重构特征。
在一些可能的实施方式中，上述分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，包括：
对上述历史语句信息进行句子维度的特征提取，得到上述历史语句特征；
对上述语句信息进行词语维度的特征提取，得到上述语句特征；
对上述融合语句信息进行词语维度的特征提取，得到上述融合语句特征。
在一些可能的实施方式中，上述对上述融合语句信息进行词语维度的特征提取，包括：
对上述融合语句信息进行分词处理，得到分词序列；
对上述分词序列进行信息提取，得到信息提取结果；
将上述信息提取结果进行掩码处理，得到上述融合语句特征。
在一些可能的实施方式中，上述重构特征包括重构句子特征,上述语义分析结果包括文本分类结果，上述根据上述重构特征进行语义分析任务，得到语义分析结果，包括：
在上述语义分析任务为文本分类任务的情况下，对上述重构句子特征进行文本分类处理，得到上述文本分类结果。
在一些可能的实施方式中，上述重构特征包括重构词语特征，上述语义分析结果包括序列标注结果，上述根据上述重构特征进行语义分析任务，得到语义分析结果包括：
在上述语义分析任务为序列标注任务的情况下，对上述重构词语特征进行序列标注处理，得到上述序列标注结果。
在一些可能的实施方式中，上述获取语句信息和与上述语句信息对应的历史语句信息之前，上述方法还包括：
获取样本语句信息、与上述样本语句信息对应的样本历史语句信息、语义分析标准结果和预设模型；
基于上述预设模型对上述样本历史语句信息和上述样本语句信息进行以下操作：
将上述样本历史语句信息和上述样本语句信息进行融合，得到样本融合语句信息；
分别对上述样本历史语句信息、上述样本语句信息和上述样本融合语句信息进行特征提取，分别得到与上述样本历史语句信息对应的样本历史语句特征、与上述样本语句信息对应的样本语句特征和与上述样本融合语句信息对应的样本融合语句特征；
基于上述样本历史语句特征、上述样本语句特征和上述样本融合语句特征进行特征重构，得到样本重构特征；
根据上述样本重构特征进行语义分析任务，得到样本语义分析结果；
基于上述样本语义分析结果和上述语义分析标准结果之间的差异，调整上述预设模型的参数，得到上述语义分析模型。
根据本申请公开的第二方面，提供了一种语义分析装置，上述装置包括：
获取模块，用于获取语句信息和与上述语句信息对应的历史语句信息；
融合模块，用于基于语义分析模型对上述历史语句信息和上述语句信息进行以下操作：将上述历史语句信息和上述语句信息进行融合，得到融合语句信息；
特征提取模块，用于分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，分别得到与上述历史语句信息对应的历史语句特征、与上述语句信息对应的语句特征和与上述融合语句信息对应的融合语句特征；
特征重构模块，用于基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征；
语义分析模块，用于根据上述重构特征进行语义分析任务，得到语义分析结果。
根据本申请公开的第三方面，提供了一种电子设备，包括至少一个处理器，以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述至少一个处理器通过执行上述存储器存储的指令实现上述的一种语义分析方法。
根据本申请公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，上述计算机程序指令被处理器执行时实现上述的一种语义分析方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
实施本申请，具有如下有益效果：
本申请构建融合历史语句信息的融合语句信息，并且利用语句特征、历史语句特征和融合语句特征进行特征重构，在人机对话时考虑了上文历史语句信息的语义特征，为下游任务的识别提供可靠的数据支持，避免出现语义缺失和语义歧义的问题，提高人机交互的稳定性和准确性，使得下游语义分析任务的结果获得更好的效果。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1示出本申请实施例的语义分析方法的流程示意图；
图2示出本申请实施例的语义分析方法的流程图；
图3示出本申请实施例的特征重构方法的流程示意图；
图4示出本申请实施例的柔性注意力计算的流程示意图；
图5示出本申请实施例的融合语句信息特征提取方法的流程示意图；
图6示出本申请实施例的语义分析模型训练方法的流程示意图；
图7示出本申请实施例的语义分析装置框图；
图8示出本申请实施例的一种电子设备的结构框图一；
图9示出本申请实施例的一种电子设备的结构框图二。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
根据本申请公开的一方面，请参阅图1，图1示出本申请实施例的语义分析方法的流程示意图，提供了一种语义分析方法，上述方法包括：
步骤S101：获取语句信息和与上述语句信息对应的历史语句信息；
在一个具体的实施例中，历史语句信息可以是语句信息的上一轮语句的信息，例如，角色A：你用什么手机，我用的X手机。角色B：M。那么，语句信息为角色B的语句信息，历史语句信息为角色A的语句信息。
在一个具体的实施例中，角色B所表达的语句信息可能存在歧义，例如M可能是一种水果，或者一个手机的品牌，如果仅考虑角色B的语句信息，那么在进行语义分析任务时很可能将M识别为水果，但是本申请考虑了角色A的语句信息，则会在后续的语义分析中将M识别为手机。
步骤S102：基于语义分析模型对上述历史语句信息和上述语句信息进行以下操作：
步骤S103：将上述历史语句信息和上述语句信息进行融合，得到融合语句信息；
在一个具体的实施例中，可以通过语义分析模型将历史语句信息和语句信息进行拼接。
在一个具体的实施例中，若语义分析模型能支持的最大字符串长度为L，历史语句信息的长度为L1，语句信息的长度为L2，若L2大于等于L，则将语句信息和对应的历史语句信息剔除出数据集。如果L1+L2大于等于L-2，则截取历史语句信息的后L-L2-2个字符。完成上述操作后，在历史语句信息、语句信息和融合语句信息前加上“[CLS]”标识符，在拼接语句的拼接处加上“[SEP]”标识符，以便于输入模型后被识别。
步骤S104：分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，分别得到与上述历史语句信息对应的历史语句特征、与上述语句信息对应的语句特征和与上述融合语句信息对应的融合语句特征；
步骤S105：基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征；
步骤S106：根据上述重构特征进行语义分析任务，得到语义分析结果。
在一个具体的实施例中，请参阅图2，图2示出本申请实施例的语义分析方法的流程图，语义分析的输入层包括语句信息和历史语句信息，即图中的当前语句和历史语句，图2中的Encoder层表示编码层，编码层中包括三个BERT，即三个预训练模型，这三个预训练模型用于分别对历史语句信息、语句信息和融合语句信息进行特征提取，分别得到历史语句特征、语句特征和融合语句特征，其中，可以将特征提取后的融合语句信息进行掩码矩阵处理，即图2中的MASK矩阵。利用柔性注意力将历史语句特征、语句特征和融合语句特征进行特征重构，得到重构特征。将重构特征输入Decoder层，也就是解码层，解码层中的DNN(Dynamic Neural Network)表示深度神经网络，解码层中的CRF(Conditional RandomFields)表示条件随机场，应用于深度神经网络中，可以将输入向量或者序列，输出为条件概率分布，具体可以根据不同的语义分析下游任务调整解码层的结构，以预测标签任务为例，其解码层如图2所示，利用重构特征得到预测标签结果，也就是语义分析结果。
在本申请的实施例中，构建融合历史语句信息的融合语句信息，并且利用语句特征、历史语句特征和融合语句特征进行特征重构，在人机对话时考虑了上文的历史语句信息的语义特征，为下游任务的识别提供可靠的数据支持，避免出现语义缺失和语义歧义的问题，提高人机交互的稳定性和准确性，使得下游语义分析任务的结果获得更好的效果。
在一个实施例中，请参阅图3，图3示出本申请实施例的特征重构方法的流程示意图，上述基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征，包括：
步骤S301：计算上述历史语句特征、上述融合语句特征以及上述语句特征之间的相关性，得到相关性结果；
步骤S302：对上述相关性结果进行归一化处理，得到重构特征。
在一个具体的实施例中，将历史语句特征、语句特征和融合语句特征输入语义分析模型的柔性注意力层，柔性注意力层主要包含打分函数和归一化指数函数。打分函数主要是计算当前语句特征和融合语句特征之间的相关性，归一化指数函数的作用是将得分归一化，可以采用掩蔽归一化指数函数，使得超出有效长度的位置都被掩蔽并置为0。
在一个具体的实施例中，本申请柔性注意力的计算公式如下：
其中，Q表示融合语句特征向量，KT表示历史语句特征向量的转置向量，V表示语句信息对应的特征向量，D表示向量的维度，L表示语义分析模型能支持的最大字符串长度。
在一个具体的实施例中，请参阅图4，图4示出本申请实施例的柔性注意力计算的流程示意图，图4中的K表示历史语句信息对应的句特征向量，其维度为1×D，Q表示融合语句信息对应的词语特征向量，其维度为N×D，N表示融合语句信息输入语义分析模型的有效长度，V表示语句信息对应的词语特征向量，其维度为M×D，M表示语句信息输入语义分析模型的有效长度。图2中的Linear表示线性处理，对历史语句信息对应的句特征向量、融合语句信息对应的词语特征向量和语句信息对应的词语特征向量进行线性处理，再进行缩放点积注意力处理，计算三者之间的相关性，最后通过线形层的处理得到重构特征。
在本申请的实施例中，利用历史语句特征、语句特征和融合语句特征进行特征重构，可以使得到的重构特征包含上文信息，使得在进行下游语义分析任务时，避免产生语义歧义，提高语义分析的准确性和稳定性。
在一个实施例中，上述分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，包括：
对上述历史语句信息进行句子维度的特征提取，得到上述历史语句特征；
对上述语句信息进行词语维度的特征提取，得到上述语句特征；
对上述融合语句信息进行词语维度的特征提取，得到上述融合语句特征。
在一个具体的实施例中，利用预训练模型(BERT)进行特征提取，其中对历史语句信息进行句子维度的特征提取，输出句向量，即历史语句特征，对语句信息和融合语句信息进行词语维度的特征提取，输出词语向量，即语句特征和融合语句特征。
在一个具体的实施例中，对历史语句信息进行句子维度的特征提取时，可以先将历史语句信息文本开头加上[CLS]，在历史语句信息文本末尾加上[SEP]，再对句子文本进行分词处理和卷积操作，得到历史语句特征。
在本申请的实施例中，对历史语句信息、语句信息和融合语句信息进行不同维度的特征提取，便于后续重构语句特征，可以得到两个维度的重构特征，即句子维度和词语维度，以便于根据不同的文本分类任务应用不同的重构特征。
在一个实施例中，请参阅图5，图5示出本申请实施例的融合语句信息特征提取方法的流程示意图，上述对上述融合语句信息进行词语维度的特征提取，包括：
步骤S501：对上述融合语句信息进行分词处理，得到分词序列；
在一个具体的实施例中，可以在融合语句信息的开头加上[CLS]，在融合语句信息的末尾加上[SEP]，以便于可以被预训练模型(BERT)识别，对处理后的融合语句信息进行分词处理，将融合语句信息分成一个个的单独的词语，得到分词序列。
步骤S502：对上述分词序列进行信息提取，得到信息提取结果；
在一个具体的实施例中，将分词序列输入神经网络进行卷积处理，提取词语维度的特征，输出融合语句信息对应的词向量矩阵，即信息提取的结果。
步骤S503：将上述信息提取结果进行掩码处理，得到上述融合语句特征。
在一个具体的实施例中，为信息提取结果构造掩码矩阵(MASK矩阵)，矩阵的维度可以是L×L，L表示语义分析模型能支持的最大字符串长度。矩阵构建的方法可以通过如下方式实现：
其中，i和j分别表示MASK矩阵中的行坐标和列坐标，L1表示历史语句信息的字符串长度，L3表示融合语句信息的字符串长度。
利用MASK矩阵进行掩码处理的计算方式可以通过下述公式实现：
在本申请的实施例中，其中q’属于信息提取结果，mask属于MASK，表示逐个相乘。
在本申请的实施例中，构建融合语句信息，并提取融合语句信息的词语维度的特征，应用MASK矩阵处理对齐融合语句特征和语句特征以及历史语句特征的维度，便于后续进行特征重构。
在一个实施例中，上述重构特征包括重构句子特征,上述语义分析结果包括文本分类结果，上述根据上述重构特征进行语义分析任务，得到语义分析结果，包括：
在上述语义分析任务为文本分类任务的情况下，对上述重构句子特征进行文本分类处理，得到上述文本分类结果。
在一个具体的实施例中，本申请对语义分析模型的解码层不做具体的限定，解码层可以根据不同的语义分析任务进行调整。上述的重构特征包括句子维度的重构句子特征和词语维度的重构词语特征，在进行文本分类任务时，需要用到重构句子特征进行解码操作，以获得文本分类结果，那么将重构句子特征输入解码层进行文本分类任务，得到文本分类结果，将文本分类结果作为语义分析结果。
在本申请的实施例中，重构特征包括重构句子特征和重构词语特征，更好的适配于语义分析的下游任务，根据语义分析不同的下游任务，输入重构句子特征或者重构词语特征，使得重构特征具备更广泛的应用性。
在一个实施例中，上述重构特征包括重构词语特征，上述语义分析结果包括序列标注结果，上述根据上述重构特征进行语义分析任务，得到语义分析结果包括：
在上述语义分析任务为序列标注任务的情况下，对上述重构词语特征进行序列标注处理，得到上述序列标注结果。
在一个具体的实施例中，若语义分析的下游任务为序列标注任务，对语句中的元素进行标注，这需要词语维度的特征，那么可以将重构词语特征输入解码层，输出序列标注结果，将序列标注结果作为语义分析结果。
在本申请的实施例中，重构特征可以用于不同的下游任务，由于重构特征融合了上文信息，为语义分析下游任务提供了更加可靠的数据支持，使得语义分析下游任务具备更高的准确性和稳定性。
在一个实施例中，请参阅图6，图6示出本申请实施例的语义分析模型训练方法的流程示意图，上述获取语句信息和与上述语句信息对应的历史语句信息之前，上述方法还包括：
步骤S601：获取样本语句信息、与上述样本语句信息对应的样本历史语句信息、语义分析标准结果和预设模型；
在一个具体的实施例中，在模型训练过程中需要获取训练集和测试集，训练集和测试集的每条数据中包括样本语句信息和与样本语句信息对应的样本历史语句信息，还包括样本语句信息对应的语义分析标准结果，若语义分析任务为序列标注任务，那么语义分析标准结果就为人工标注的序列标注结果。具体地，训练集中可以包括12000条数据，测试集可以包括8000条数据。
步骤S602：基于上述预设模型对上述样本历史语句信息和上述样本语句信息进行以下操作：
步骤S603：将上述样本历史语句信息和上述样本语句信息进行融合，得到样本融合语句信息；
步骤S604：分别对上述样本历史语句信息、上述样本语句信息和上述样本融合语句信息进行特征提取，分别得到与上述样本历史语句信息对应的样本历史语句特征、与上述样本语句信息对应的样本语句特征和与上述样本融合语句信息对应的样本融合语句特征；
步骤S605：基于上述样本历史语句特征、上述样本语句特征和上述样本融合语句特征进行特征重构，得到样本重构特征；
步骤S606：根据上述样本重构特征进行语义分析任务，得到样本语义分析结果；
在一个具体的实施例中，在模型的训练过程中，样本历史语句信息和语句信息的融合，对样本语句信息、样本历史语句信息和样本融合语句信息的特征提取以及特征重构等操作与上文的操作采取的方式一致，此处不再赘述。预设模型可以根据下游任务设置相应的网络结构，例如文本分类任务或者序列标注任务等。
步骤S607：基于上述样本语义分析结果和上述语义分析标准结果之间的差异，调整上述预设模型的参数，得到上述语义分析模型。
在一个具体的实施例中，模型训练过程中，可以过设置损失函数，其中，可以采用交叉熵损失函数，表征模型预测得到的样本语义分析结果和人工标注的语义分析标准结果之间的差异，通过该交叉熵损失函数训练模型，得到语义分析模型。
在本申请的实施例中，样本重构特征通过样本语句信息、样本历史语句信息和样本融合信息三者得到，可以避免传统语义分析过程中存在的语义歧义和语义缺失等问题，使得预测结果更加合理化，提高语义分析结果的准确性和稳定性。
根据本申请公开的第二方面，提供了一种语义分析装置，请参阅图7，图7示出本申请实施例的一种语义分析装置的框图，上述装置包括：
获取模块710，用于获取语句信息和与上述语句信息对应的历史语句信息；
融合模块720，用于基于语义分析模型对上述历史语句信息和上述语句信息进行以下操作：将上述历史语句信息和上述语句信息进行融合，得到融合语句信息；
特征提取模块730，用于分别对上述历史语句信息、上述语句信息和上述融合语句信息进行特征提取，分别得到与上述历史语句信息对应的历史语句特征、与上述语句信息对应的语句特征和与上述融合语句信息对应的融合语句特征；
特征重构模块740，用于基于上述历史语句特征、上述语句特征和上述融合语句特征进行特征重构，得到重构特征；
语义分析模块750，用于根据上述重构特征进行语义分析任务，得到语义分析结果。
在一个实施例中，上述特征重构模块740，还用于执行下述操作：
计算上述历史语句特征、上述融合语句特征以及上述语句特征之间的相关性，得到相关性结果；
对上述相关性结果进行归一化处理，得到重构特征。
在一个实施例中，特征提取模块730，还用于执行下述操作：
对上述历史语句信息进行句子维度的特征提取，得到上述历史语句特征；
对上述语句信息进行词语维度的特征提取，得到上述语句特征；
对上述融合语句信息进行词语维度的特征提取，得到上述融合语句特征。
在一个实施例中，特征提取模块730，还用于执行下述操作：
对上述融合语句信息进行分词处理，得到分词序列；
对上述分词序列进行信息提取，得到信息提取结果；
将上述信息提取结果进行掩码处理，得到上述融合语句特征。
在一个实施例中，语义分析模块750，还用于执行下述操作：
在上述语义分析任务为文本分类任务的情况下，对上述重构句子特征进行文本分类处理，得到上述文本分类结果。
在一个实施例中，语义分析模块750，还用于执行下述操作：
在上述语义分析任务为序列标注任务的情况下，对上述重构词语特征进行序列标注处理，得到上述序列标注结果。
在一个实施例中，获取模块710，，还用于执行下述操作：
获取样本语句信息、与上述样本语句信息对应的样本历史语句信息、语义分析标准结果和预设模型；
基于上述预设模型对上述样本历史语句信息和上述样本语句信息进行以下操作：
将上述样本历史语句信息和上述样本语句信息进行融合，得到样本融合语句信息；
分别对上述样本历史语句信息、上述样本语句信息和上述样本融合语句信息进行特征提取，分别得到与上述样本历史语句信息对应的样本历史语句特征、与上述样本语句信息对应的样本语句特征和与上述样本融合语句信息对应的样本融合语句特征；
基于上述样本历史语句特征、上述样本语句特征和上述样本融合语句特征进行特征重构，得到样本重构特征；
根据上述样本重构特征进行语义分析任务，得到样本语义分析结果；
基于上述样本语义分析结果和上述语义分析标准结果之间的差异，调整上述预设模型的参数，得到上述语义分析模型。
请参考图8，其示出了本申请一个实施例提供的一种电子设备的结构框图一。该电子设备可以是终端。该电子设备用于实施上述实施例中提供的语义分析方法。具体来讲：
该电子设备1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述语义分析方法。
在一些实施例中，电子设备1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
本领域技术人员可以理解，图8中示出的结构并不构成对电子设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
请参考图9，其示出了本申请另一个实施例提供的电子设备的结构框图二。该电子设备可以是服务器，以用于执行上述语义分析方法。具体来讲：
电子设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read Only Memory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。电子设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O(Input/Output)系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1111的大容量存储设备1107。
基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1107及其相关联的计算机可读介质为电子设备1100提供非易失性存储。也就是说，大容量存储设备1107可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
根据本申请的各种实施例，计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述语义分析方法。
在示例性实施例中，还提供了一种计算机可读存储介质，上述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、上述至少一段程序、上述代码集或上述指令集在被处理器执行时以实现上述语义分析方法。
可选地，该计算机可读存储介质可以包括：ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取记忆体)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供了一种包括程序代码的计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述视频显示方法。可选地，计算机可读存储介质可以是只读内存(read-only memory，ROM)、随机存取存储器(randomaccess memory)，RAM)、只读光盘(compact-disc read-only memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的语义分析方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种语义分析方法，其特征在于，所述方法包括：
获取语句信息和与所述语句信息对应的历史语句信息；
基于语义分析模型对所述历史语句信息和所述语句信息进行以下操作：
将所述历史语句信息和所述语句信息进行融合，得到融合语句信息；
分别对所述历史语句信息、所述语句信息和所述融合语句信息进行特征提取，分别得到与所述历史语句信息对应的历史语句特征、与所述语句信息对应的语句特征和与所述融合语句信息对应的融合语句特征；
基于所述历史语句特征、所述语句特征和所述融合语句特征进行特征重构，得到重构特征；
根据所述重构特征进行语义分析任务，得到语义分析结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述历史语句特征、所述语句特征和所述融合语句特征进行特征重构，得到重构特征，包括：
计算所述历史语句特征、所述融合语句特征以及所述语句特征之间的相关性，得到相关性结果；
对所述相关性结果进行归一化处理，得到重构特征。
3.根据权利要求1或2所述的方法，其特征在于，所述分别对所述历史语句信息、所述语句信息和所述融合语句信息进行特征提取，包括：
对所述历史语句信息进行句子维度的特征提取，得到所述历史语句特征；
对所述语句信息进行词语维度的特征提取，得到所述语句特征；
对所述融合语句信息进行词语维度的特征提取，得到所述融合语句特征。
4.根据权利要求3所述的方法，其特征在于，所述对所述融合语句信息进行词语维度的特征提取，包括：
对所述融合语句信息进行分词处理，得到分词序列；
对所述分词序列进行信息提取，得到信息提取结果；
将所述信息提取结果进行掩码处理，得到所述融合语句特征。
5.根据权利要求1所述的方法，其特征在于，所述重构特征包括重构句子特征,所述语义分析结果包括文本分类结果，所述根据所述重构特征进行语义分析任务，得到语义分析结果，包括：
在所述语义分析任务为文本分类任务的情况下，对所述重构句子特征进行文本分类处理，得到所述文本分类结果。
6.根据权利要求1或5所述的方法，其特征在于，所述重构特征包括重构词语特征，所述语义分析结果包括序列标注结果，所述根据所述重构特征进行语义分析任务，得到语义分析结果包括：
在所述语义分析任务为序列标注任务的情况下，对所述重构词语特征进行序列标注处理，得到所述序列标注结果。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述获取语句信息和与所述语句信息对应的历史语句信息之前，所述方法还包括：
获取样本语句信息、与所述样本语句信息对应的样本历史语句信息、语义分析标准结果和预设模型；
基于所述预设模型对所述样本历史语句信息和所述样本语句信息进行以下操作：
将所述样本历史语句信息和所述样本语句信息进行融合，得到样本融合语句信息；
分别对所述样本历史语句信息、所述样本语句信息和所述样本融合语句信息进行特征提取，分别得到与所述样本历史语句信息对应的样本历史语句特征、与所述样本语句信息对应的样本语句特征和与所述样本融合语句信息对应的样本融合语句特征；
基于所述样本历史语句特征、所述样本语句特征和所述样本融合语句特征进行特征重构，得到样本重构特征；
根据所述样本重构特征进行语义分析任务，得到样本语义分析结果；
基于所述样本语义分析结果和所述语义分析标准结果之间的差异，调整所述预设模型的参数，得到所述语义分析模型。
8.一种语义分析装置，其特征在于，所述装置包括：
获取模块，用于获取语句信息和与所述语句信息对应的历史语句信息；
融合模块，用于基于语义分析模型对所述历史语句信息和所述语句信息进行以下操作：将所述历史语句信息和所述语句信息进行融合，得到融合语句信息；
特征提取模块，用于分别对所述历史语句信息、所述语句信息和所述融合语句信息进行特征提取，分别得到与所述历史语句信息对应的历史语句特征、与所述语句信息对应的语句特征和与所述融合语句信息对应的融合语句特征；
特征重构模块，用于基于所述历史语句特征、所述语句特征和所述融合语句特征进行特征重构，得到重构特征；
语义分析模块，用于根据所述重构特征进行语义分析任务，得到语义分析结果。
9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1至7中任一项所述的一种语义分析方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至7中任一项所述的一种语义分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310696930.4A CN116822522B (zh) | 2023-06-13 | 2023-06-13 | 一种语义分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310696930.4A CN116822522B (zh) | 2023-06-13 | 2023-06-13 | 一种语义分析方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116822522A true CN116822522A (zh) | 2023-09-29 |
| CN116822522B CN116822522B (zh) | 2024-05-28 |
Family
ID=88140292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310696930.4A Active CN116822522B (zh) | 2023-06-13 | 2023-06-13 | 一种语义分析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116822522B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11042700B1 (en) * | 2020-04-16 | 2021-06-22 | Capital One Services, Llc | Conciseness reconstruction of a content presentation via natural language processing |
| CN113064997A (zh) * | 2021-04-22 | 2021-07-02 | 中国平安财产保险股份有限公司 | 基于bert模型的意图分析方法、装置、设备及介质 |
| CN113094475A (zh) * | 2021-06-08 | 2021-07-09 | 成都晓多科技有限公司 | 一种基于上下文注意流的对话意图识别系统及方法 |
| CN115221288A (zh) * | 2022-07-29 | 2022-10-21 | 平安科技（深圳）有限公司 | 语义解析方法、语义解析装置、电子设备及存储介质 |
| CN115422944A (zh) * | 2022-09-01 | 2022-12-02 | 深圳市人马互动科技有限公司 | 语义识别方法、装置、设备及存储介质 |
| US20230014775A1 (en) * | 2021-07-14 | 2023-01-19 | Microsoft Technology Licensing, Llc | Intelligent task completion detection at a computing device |
| CN115828889A (zh) * | 2022-11-28 | 2023-03-21 | 蚂蚁财富(上海)金融信息服务有限公司 | 文本分析方法、情感分类模型、装置、介质、终端及产品 |
| CN115905524A (zh) * | 2022-11-07 | 2023-04-04 | 华南师范大学 | 融合句法和语义信息的情感分析方法、装置以及设备 |
| CN115906861A (zh) * | 2022-10-21 | 2023-04-04 | 华南师范大学 | 基于交互方面信息融合的语句情感分析方法以及装置 |
-
2023
- 2023-06-13 CN CN202310696930.4A patent/CN116822522B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11042700B1 (en) * | 2020-04-16 | 2021-06-22 | Capital One Services, Llc | Conciseness reconstruction of a content presentation via natural language processing |
| CN113064997A (zh) * | 2021-04-22 | 2021-07-02 | 中国平安财产保险股份有限公司 | 基于bert模型的意图分析方法、装置、设备及介质 |
| CN113094475A (zh) * | 2021-06-08 | 2021-07-09 | 成都晓多科技有限公司 | 一种基于上下文注意流的对话意图识别系统及方法 |
| US20230014775A1 (en) * | 2021-07-14 | 2023-01-19 | Microsoft Technology Licensing, Llc | Intelligent task completion detection at a computing device |
| CN115221288A (zh) * | 2022-07-29 | 2022-10-21 | 平安科技（深圳）有限公司 | 语义解析方法、语义解析装置、电子设备及存储介质 |
| CN115422944A (zh) * | 2022-09-01 | 2022-12-02 | 深圳市人马互动科技有限公司 | 语义识别方法、装置、设备及存储介质 |
| CN115906861A (zh) * | 2022-10-21 | 2023-04-04 | 华南师范大学 | 基于交互方面信息融合的语句情感分析方法以及装置 |
| CN115905524A (zh) * | 2022-11-07 | 2023-04-04 | 华南师范大学 | 融合句法和语义信息的情感分析方法、装置以及设备 |
| CN115828889A (zh) * | 2022-11-28 | 2023-03-21 | 蚂蚁财富(上海)金融信息服务有限公司 | 文本分析方法、情感分类模型、装置、介质、终端及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116822522B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263150B (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
| CN109543030A (zh) | 客服机器人会话文本分类方法及装置、设备、存储介质 | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| CN111598979B (zh) | 虚拟角色的面部动画生成方法、装置、设备及存储介质 | |
| CN112580328A (zh) | 事件信息的抽取方法及装置、存储介质、电子设备 | |
| CN113158687B (zh) | 语义的消歧方法及装置、存储介质、电子装置 | |
| CN109543005A (zh) | 客服机器人对话状态识别方法及装置、设备、存储介质 | |
| CN113076720B (zh) | 长文本的分段方法及装置、存储介质、电子装置 | |
| CN111368551A (zh) | 一种确定事件主体的方法和装置 | |
| CN115798661A (zh) | 临床医学领域的知识挖掘方法和装置 | |
| CN112182167A (zh) | 一种文本匹配方法、装置、终端设备和存储介质 | |
| WO2024098763A1 (zh) | 文本操作图互检方法及模型训练方法、装置、设备、介质 | |
| CN115952854B (zh) | 文本脱敏模型的训练方法、文本脱敏方法及应用 | |
| CN116822522B (zh) | 一种语义分析方法、装置、设备及存储介质 | |
| CN117038099A (zh) | 医疗类术语标准化方法以及装置 | |
| CN111859933A (zh) | 马来语识别模型的训练方法、识别方法、装置、设备 | |
| JP2023062150A (ja) | 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体 | |
| CN114840642A (zh) | 事件抽取方法、装置、设备及存储介质 | |
| CN112528674B (zh) | 文本处理方法、模型的训练方法、装置、设备及存储介质 | |
| CN114372499A (zh) | 一种自然语言处理方法、装置、设备和计算机可读存储介质 | |
| CN114490965A (zh) | 问题处理方法、装置、电子设备和存储介质 | |
| CN112651449A (zh) | 确定视频的内容特征的方法、装置、电子设备及存储介质 | |
| CN111967253A (zh) | 一种实体消歧方法、装置、计算机设备及存储介质 | |
| CN113111169A (zh) | 基于深度学习模型的接处警文本地址信息提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |