CN111859977A - 一种语义分析方法、装置、电子设备及存储介质 - Google Patents
一种语义分析方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111859977A CN111859977A CN201910492507.6A CN201910492507A CN111859977A CN 111859977 A CN111859977 A CN 111859977A CN 201910492507 A CN201910492507 A CN 201910492507A CN 111859977 A CN111859977 A CN 111859977A
- Authority
- CN
- China
- Prior art keywords
- sample service
- content
- attention
- sample
- service sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 157
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 219
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008451 emotion Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及计算机技术领域，尤其涉及一种语义分析方法、装置、电子设备及存储介质，其中，该方法包括：获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；基于训练完成的语义分析模型确定目标服务内容的语义信息。采用上述方案，能够自动进行语义预测、预测的效率和准确度均较高。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种语义分析方法、装置、电子设备及存储介质。
背景技术
目前，用户对产品或服务质量的要求越来越高。比如在电子商务平台应用中，用户对产品的满意度也已经成为电商平台对商家进行优劣评估的关键指标，再比如对于网约车出行服务领域，其作为一种新兴的服务应用领域，网约车用户的满意度已经成为网约车服务质量的重要考核指标。
相关技术中通常是依靠调研确定用户对产品或服务是否满意，比如在网上发布问卷链接或者通过话务客服在处理问题后请求打分等方式进行调研，但是，这种调研方式下测评的效率较低。
发明内容
有鉴于此，本申请的目的在于提供一种语义分析方法、装置、电子设备及存储介质，能够自动进行语义预测、预测的效率较高。
主要包括以下几个方面：
第一方面，本申请提供了一种语义分析方法，所述方法包括：
获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
基于训练完成的语义分析模型确定目标服务内容的语义信息。
在一种实施方式中，所述语义分析模型至少包括第一注意力层、第二注意力层和输出预测层；所述基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型，包括：
针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
在一些实施例中，所述将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量，包括：
针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
在一些实施例中，所述将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量，包括：
针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数初始值中，确定该第一注意力特征向量的第二注意力参数初始值；
将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
在另一种实施方式中，所述语义分析模型还包括输入编码层，在所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量之前，还包括：
针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量；
所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
在一些实施例中，所述针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量，包括：
针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
在一些实施例中，在所述确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值之前，还包括：
针对每个样本服务子内容包括的每个样本服务子词，判断设定特征数据库中是否存在与该样本服务子词匹配的特征词；
所述确定每个样本服务子内容包括的每个样本服务子词的文本特征值，包括：
若是，则将该特征词对应的特征值作为所述样本服务子词的初始文本特征值。
在一些实施例中，所述将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
在再一种实施方式中，所述基于训练完成的语义分析模型确定目标服务内容的语义信息，包括：
将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
第二方面，本申请还提供了一种语义分析装置，所述装置包括：
获取模块，用于获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
训练模块，用于基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
分析模块，用于基于训练完成的语义分析模型确定目标服务内容的语义信息。
在一种实施方式中，所述语义分析模型至少包括第一注意力层、第二注意力层和输出预测层；所述训练模块，具体用于：
针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
在一些实施例中，所述训练模块，具体用于：
针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
在一些实施例中，所述训练模块，具体用于：
针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数初始值中，确定该第一注意力特征向量的第二注意力参数初始值；
将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
在另一种实施方式中，所述语义分析模型还包括输入编码层，所述训练模块，具体用于：
在所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量之前，针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量；
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
在一些实施例中，所述训练模块，具体用于：
针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
在一些实施例中，所述训练模块，具体用于：
在所述确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值之前，针对每个样本服务子内容包括的每个样本服务子词，判断设定特征数据库中是否存在与该样本服务子词匹配的特征词；
若是，则将该特征词对应的特征值作为所述样本服务子词的初始文本特征值。
在一些实施例中，所述训练模块，具体用于：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
在再一种实施方式中，所述分析模块，具体用于：
将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
第三方面，本申请还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述语义分析方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述语义分析方法的步骤。
采用上述方案，将样本服务内容及样本服务内容包括的样本服务子内容作为语义分析的影响因素，将语义标注信息作为语义分析的分析结果进行语义分析模型的训练，也即，可以基于双层注意力机制训练语义分析模型的第一注意力参数值和第二注意力参数值以在挖掘样本服务子内容的语义特征的同时挖掘样本服务内容的语义特征，这样，通过多层语义特征挖掘所训练得到的语义分析模型再对目标服务内容进行语义分析时，避免了采用调研方式所带来的测评效率低的问题，能够自动进行语义预测、预测的效率和准确度均较高。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种服务系统的架构示意图；
图2示出了本申请实施例一提供的一种语义分析方法的流程图；
图3示出了本申请实施例二提供的一种语义分析方法的流程图；
图4示出了本申请实施例二提供的另一种语义分析方法的流程图；
图5示出了本申请实施例二提供的另一种语义分析方法的流程图；
图6示出了本申请实施例二提供的另一种语义分析方法的流程图；
图7示出了本申请实施例二提供的另一种语义分析方法的流程图；
图8示出了本申请实施例三提供的一种语义分析方法的流程图；
图9示出了本申请实施例四提供的一种语义分析装置的结构示意图；
图10示出了本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“网约车出行服务中的语义分析”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕网约车出行服务中的语义分析进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例除了可以应用于上述网约车服务中的语义分析这一应用场景中，还可以应用于其它服务(如订餐配送服务、物流配送服务等)语义分析的应用场景中，在此不再赘述。另外，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请中的术语“乘客”、“请求方”、“服务请求方”和“客户”可互换使用，以指代可以请求或订购服务的个人、实体或工具。本申请中的术语“司机”、“提供方”、“服务提供方”和“供应商”可互换使用，以指代可以提供服务的个人、实体或工具。本申请中的术语“用户”可以指代请求服务、订购服务、提供服务或促成服务的提供的个人、实体或工具。例如，用户可以是乘客、驾驶员、操作员等，或其任意组合。在本申请中，“乘客”和“乘客终端”可以互换使用，“驾驶员”和“驾驶员终端”可以互换使用。
本申请中的术语“服务请求”和“订单”可互换使用，以指代由乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合发起的请求。接受该“服务请求”或“订单”的可以是乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合。服务请求可以是收费的或免费的。
本申请的一个方面涉及一种服务系统。该系统可以通过样本服务内容、样本服务内容的语义标注信息进行语义分析模型的训练，以根据训练完成的语义分析模型对目标服务内容进行语义分析。
值得注意的是，在本申请提出申请之前，相关采用人工调研的方式进行测评存在测评效率较低的问题。本申请提供的服务系统，利用训练好的语义分析模型可以对目标服务内容进行语义预测，预测的效率和准确度均较高。
图1是本申请实施例提供的一种服务系统的架构示意图。例如，服务系统可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。服务系统系统100可以包括服务器101、网络102、服务请求方终端103、服务提供方终端104、和数据库105中的一种或多种。
在一些实施例中，服务器101可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从服务请求方终端103获得的服务请求来确定目标车辆。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing,RISC)、或微处理器等，或其任意组合。
在一些实施例中，服务请求方终端103和服务提供方终端104对应的设备类型可以是移动设备，比如可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，也可以是平板计算机、膝上型计算机、或机动车辆中的内置设备等。
在一些实施例中，数据库105可以连接到网络102以与服务系统中的一个或多个组件(例如，服务器101，服务请求方终端103，服务提供方终端104等)通信。服务系统中的一个或多个组件可以经由网络102访问存储在数据库105中的数据或指令。在一些实施例中，数据库105可以直接连接到服务系统中的一个或多个组件，或者，数据库105也可以是服务器101的一部分。
下面结合上述图1示出的服务系统中描述的内容，对本申请实施例提供的语音识别方法进行详细说明。
实施例一
参照图2所示，为本申请实施例提供的一种语义分析方法的流程图，该方法可以由服务系统中的服务器来执行，具体执行过程如下：
S201、获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容。
这里，为了便于理解本申请实施例提供的上述语义分析方法，首先对网约车出行服务这一应用场景进行简单说明。在乘客(即服务请求方)需要利用网约车平台出行时，可以在其用户端(即服务请求方终端)上输入相应的打车信息，这样，在启动发单按钮后，网约车平台的后台服务器便能够根据上述打车信息生成对应的出行订单，在司机(即服务提供方)接收到该出行订单后，便可以为乘客提供网约车出行服务。
其中，上述打车信息不仅可以包括用户端的起始出行位置和终止出行位置，还可以包括其它打车信息，如出行时间、用车类型(如快车、专车等)等。起始出行位置可以是基于定位技术确定的，如在打车软件打开后，用户端可以自动定位当前的位置作为起始出行位置。或者，用户可以在用户端显示的地图上选择具体的起始出行位置，或者手动输入起始出行位置，如手动输入“AA小区”这一起始出行位置，上述终止出行位置则主要利用用户在地图上选择或手动输入方式来确定，在此不再赘述。
为了便于提升网约车出行的服务质量，网约车平台还可以提供客服服务，以能够为乘客或司机提供出行支持。例如，在打车的过程中，不管是司机绕路、司机态度差、车况不好等司机问题，还是乘客不按约定时间乘车、乘客要求的目的地与订单的目的地不一致等乘客问题均可以通过与客服的沟通来解决。然而，目前采样人工调研方式来确定客服服务是否能够满足乘客或司机的需求存在着效率低下的问题。正是为了解决这一技术问题，本申请实施例才提供了一种自动进行语义分析的方法。
其中，实现自动语义分析的前提是针对不同的应用场景获取不同的样本服务内容，如为了确定司机的语义信息(如司机对客服的服务是否满意)，本申请实施例可以将司机与客服的聊天交互内容作为样本服务内容，再如为了确定乘客的语义信息(如乘客对客服的服务是否满意、乘客对司机的服务是否满意等)，本申请实施例可以将乘客与客服的聊天交互内容作为样本服务内容。上述聊天交互内容可以是从客服工单中提取的，可以是基于文本聊天内容直接确定的，还可以是基于语音聊天内容的识别结果间接得到的。在将聊天交互内容作为样本服务内容之前，可以对所有的聊天交互内容进行过滤、删重等操作以通过数据清洗来提升模型输入样本的鲁棒性。
在具体应用中，获取到的样本服务内容可以是一段文本内容(可以以文档的形式进行呈现)，该文本内容可以包含多句文本内容，也即，本申请实施例中，样本服务子内容可以是对样本服务内容进行断句分析后得到的。
本申请实施例中，可以基于情感状态进行语义标注，如在确定情感状态可以分为积极情感和消极情感时，可以将积极情感对应标注为1，将消极情感对应标注为0；再如，在确定情感状态可以分为积极情感、消极情感和中性情感时，可以对应标注为1、0、-1。上述语义标注仅为示例，在具体应用时，不仅可以基于上述粗分类进行语义标注，还可以对上述粗分类情感进一步进行细化后再进行语义标注，在此不做具体的限制。另外，有关样本服务内容的语义标注信息可以是预先设置好的，还可以是基于问卷调查结果得到的，本申请实施例对此不做具体的限制。
S202、基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型。
这里，基于上述获取到的样本服务内容以及分句得到的样本服务子内容、样本服务内容的语义标注信息便可以进行语义分析模型的训练。在语义分析模型训练阶段，将S101中获取的样本服务内容及该样本服务内容包括的样本服务子内容作为语义分析的影响因素，将样本服务内容的语义标注信息作为语义分析的分析结果，便可以训练得到上述语义分析模型的训练参数，也即得到了训练完成的语义分析模型。本申请实施例中，上述训练参数主要可以是指针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，也即，本申请实施例在进行模型训练的过程中，可以采用双层注意力模型，兼顾句子层面的注意力和文档层面的注意力，从而能够在确保语义分析效率的同时，提升语义分析的精准度。
除此之外，本申请实施例还可以包括输入编码层和输出预测层，输入编码层用于对样本服务子内容进行编码，输出预测层则可以基于损失函数进行输出预测。
S203、基于训练完成的语义分析模型确定目标服务内容的语义信息。
这里，在训练得到语义分析模型后，可以基于该语义分析模型进行语义分析，这时，将目标服务内容输入到训练完成的语义分析模型中即可。与样本服务内容相同的是，这里的目标服务内容可以是一段文本内容，也可以对目标服务内容进行断句操作以得到多句文本内容。
其中，对于目标服务内容的语义信息可以对应预测的语义可能性大小，该可能性大小可以是百分比。这里以训练阶段训练消极情感和积极情感这两个情感状态为例，在确定目标服务内容对应消极情感的语义可能性为80％，而对应积极情感的语义可能性为20％，便可以基本确定目标服务内容的语义信息对应消极情感。
考虑到语义分析模型的训练是本申请实施例实现语义分析的关键步骤，接下来通过如下实施例二对模型的训练过程进行描述。
实施例二
如图3所示，为本申请实施例二提供的一种训练语义分析模型的方法流程图，该训练方法包括如下步骤：
S301、针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
S302、将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
S303、将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
S304、将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
这里，在进行语义模型的训练过程中，可以进行多轮迭代，也即，在将一个样本服务内容包括的多个样本服务子内容输入至待训练的语义分析模型后，在第一轮模型训练中，可以基于针对每个样本服务子内容的第一注意力参数初始值，以及针对样本服务内容的第二注意力参数初始值，确定第一轮模型训练输出的预测结果，在确定该预测结果与语义标注信息不一致时，可以进行下一轮模型训练，这时，需要根据上述不一致程度进行第一注意力参数值和第二注意力参数值的调整，直至在输出的预测结果与语义标注信息一致时，第一注意力参数值和第二注意力参数值不再变化，此时停止训练。与此同时，还可以将其它样本服务内容包括的多个样本服务子内容输入至待训练的语义分析模型，以进行多轮模型训练，从而确定最终的训练参数。
本申请实施例中，语义分析模型可以包括输入编码层、第一注意力层、第二注意力层和输入预测层，其中，输入编码层用于确定样本服务子内容的编码特征向量，第一注意力层用于确定样本服务子内容对应的第一注意力特征向量，第二注意力层用于确定由多个样本服务子内容所组成的样本服务内容对应的第二注意力特征向量，输出预测层则用于确定模型的最终输出结果。其中，输入编码层的输入可以作为语义分析模型的输入，输入编码层的输出则可以作为第一注意力层的输入，这样，第一注意力层的输出则可以作为第二注意力层的输入，第二注意力层的输出则可以作为输出预测层的输入，输出预测层的输出则可以作为语义分析模型的输出。接下来对上述语义分析模型的各个网络层进行具体说明。
针对第一注意力层，如图4所示，本申请实施例可以基于如下步骤确定第一注意力特征向量。
S401、针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
S402、将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
S403、依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
这里，本申请实施例针对每个样本服务子内容的编码特征向量中的每个编码特征值，可以首先从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值，然后将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对第一注意力层中每个输出对应的第一注意力特征值，也即，针对第一注意力层中的每个输出而言，有关输入的各个编码特征值的第一注意力参数初始值可以是不同的，从而可以有针对性的确定每个输入对当前输出的影响，提升语义识别的准确度。
考虑到每个样本服务子内容均是由多个样本服务子词构成的，也即，在确定样本服务子内容的编码特征向量之前，可以是按照预设划分顺序将样本服务子内容划分为样本服务子词后再进行编码确定的，这样，便可以按照上述样本服务子词的划分顺序将针对第一注意力层各个输出应的第一注意力特征值进行组合，得到每个样本服务子内容对应的第一注意力特征向量。
上述第一注意力特征向量的确定过程是以第一注意力参数初始值为基准的，这里可以对应首轮模型训练过程，在进行第二轮模型训练时，第一注意力参数值将产生更新，这样，便可以基于更新后的第一注意力参数值再次确定第一注意力特征向量，依此循环，直至在输出预测层的预测结果与语义标注信息达到一致时，停止训练，有关每次循环确定第一注意力特征向量的具体过程参见上述描述，在此不再赘述。
针对第二注意力层，如图5所示，本申请实施例可以基于如下步骤确定第二注意力特征向量。
S501、针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数初始值中，确定该第一注意力特征向量的第二注意力参数初始值；
S502、将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
S503、依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
这里，本申请实施例针对各个第一注意力特征向量中的每个第一注意力特征向量，可以首先从待训练的第二注意力层中针对每个样本服务内容的第二注意力参数初始值中，确定该第一注意力特征向量的第二注意力参数初始值，然后将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值，也即，针对第二注意力层中的每个输出而言，有关输入的各个第一注意力特征向量的第二注意力参数初始值可以是不同的，从而可以有针对性的确定每个输入对当前输出的影响，提升语义识别的准确度。
考虑到每个样本服务内容均是由多个样本服务子内容构成的，也即，在确定样本服务内容的第二注意力特征向量之前，可以是按照预设划分顺序将样本服务内容划分为样本服务子内容后确定的，这样，便可以按照上述样本服务子内容的划分顺序将针对第二注意力层各个输出应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
与第一注意力特征向量的确定过程类似，上述第二注意力特征向量的确定过程是以第二注意力参数初始值为基准的，这里可以对应首轮模型训练过程，在进行第二轮模型训练时，第二注意力参数值将产生更新，这样，便可以基于更新后的第二注意力参数值再次确定第二注意力特征向量，依此循环，直至在输出预测层的预测结果与语义标注信息达到一致时，停止训练，有关每次循环确定第二注意力特征向量的具体过程参见上述描述，在此不再赘述。
针对输入编码层，考虑到样本服务内容、样本服务子内容采用文本描述形式，而对于文本描述而言，后台服务器一般情况下是无法直接识别的。为了解决上述问题，本申请实施例采用了一种将文本描述通过自然语言处理的方式编码成后台服务器所能识别的数字向量的方式来对文本内容进行特征处理。
本申请实施例中，可以针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量，然后将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
考虑到本申请实施例在进行具体的语义分析时，可以是以词汇为最小单元进行处理的，这样便可以先对样本服务子内容进行内容划分以得到多个样本服务子词，然后再基于每个样本服务子词的初始文本特征值以及预先训练好的向量转换模型确定每个样本服务子内容的文本特征向量。将各个样本服务子内容的文本特征向量输入至待训练的输入编码层，便可以得到各个样本服务子内容的编码特征向量。接下来分别对文本特征向量的提取和编码特征向量的确定进一步进行说明。
第一方面：如图6所示，本申请实施例可以按照如下步骤进行文本特征向量的提取：
S601、针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
S602、确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
S603、将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
S604、按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
这里，在接收到样本服务子内容之后，可以对该样本服务子内容进行内容划分，而针对划分出的每个样本服务子词，可以基于词表示模型，如word2vec模型，将作为自然语言的文本内容转化为向量形式的数字信息，以便于机器识别。也即，采用语义化的特征向量来表示一个文本内容(如一个词)，然后可以将划分出的所有文本内容对应的文本特征值组成文本特征向量，并将该文本特征向量作为语义分析模型的输入特征。
其中，上述常见的词表示模型可以是基于独热编码表示(One-hot CodingRepresentation)的词表示模型，还可以是基于分布式表示(DistributedRepresentation)的词表示模型，还可以是基于长短期记忆网络(Long Short-TermMemory,LSTM)的词表示模型。
其中，One-hot词表示模型用一个很长的向量来表示一个词，向量长度为词典的词量大小N，每个向量只有一个维度为1，其余维度全部为0，为1的位置表示该词语在词典中的位置。也即，One-hot词表示模型是采用稀疏方式存储词信息，也就是给每个词分配一个数字标识，表示形式相对简洁。分布式词表示模型则需要根据上下文信息进行语义表示，也即，相同语境出现的词，其语义也相近，可见，分布式词表示模型是采用稠密方式存储词信息，表示形式相对复杂。对于LSTM词表示模型而言，其针对任一样本服务子词，可以基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值，也即，可以挖掘词汇之间的潜在联系，从而提高了语义表达的准确度，本申请实施例可以采用LSTM网络模型作为向量转换模型。
在具体应用中，考虑到获取的样本服务内容的数量可能会受到应用场景的需求，为了在确保语义表达准确度的前提下，降低较小数据量对模型训练的影响度，本申请实施例可以先基于已知语料数据确定样本服务子词的初始文本特征值。也即，可以将已知语料数据输入至word2vec模型进行训练，得到已知语料数据的特征值并可以将得到的特征值作为已知语料数据的附带信息一起存储至特征数据库，这样，在确定样本服务子词与特征词匹配成功时，便可以将对应的特征值作为样本服务子词的初始文本特征值。其中，上述已知语料数据包括但不限于中文、英文等资源，本申请实施例可以利用多个语料数据库中的资源以提升语料的丰富程度，采用的语料数据库可以不做具体的限制。
为了便于提取更为丰富的语义信息，本申请实施例在进行样本服务子内容的编码时，可以采用双向的LSTM模型来捕捉文本语义信息。如图7所示，为本申请实施例提供的一种编码方法的流程图，具体包括如下步骤：
S701、将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
S702、根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
S703、按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
这里，针对每个样本服务子内容包括的每个样本服务子词，可以先确定第一编码方向上的最终文本特征值以及第二编码方向上的最终文本特征值，然后再基于两个方向上的最终文本特征值确定每个样本服务子词的最终文本特征值，最后按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
为了便于进一步理解上述语义分析模型的各个网络层的工作原理，接下来结合公式进行一个具体示例的说明。
步骤一、对原始的样本服务子内容做预处理(包括去除停用词、干扰词等)，将句子S1进行单词向量化，这样，句子的序列可以表示为
所有的单词由一个d维的向量表示，单词的总数为|V|，单词的集合可以表示w∈Rd×|V|。其中，
表示句子S1中的第一个单词的向量表示。
步骤二、针对输入编码层，本申请实施例可以通过正向与反向的LSTM模型的结合，编码单词的正向与逆向语义信息，这样，最终Bi-LSTM的输出的语义信息(即编码特征向量)可以如公式(1)所示：
其中，
表示句子S的第i个单词位置的正向语义表示，
表示句子S的第i个单词位置的逆向语义表示，
表示句子S的第i个单词位置的最终语义表示，且
步骤三、针对第一注意力层，本申请实施例可以利用如下公式确定第一注意力特征向量：
其中，S表示第一注意力特征向量，对应于句子层面的语义特征表示，S∈R2d，αi表示第i个单词所在位置的状态
的权重，αi的计算公式如下公式(3)、公式(4)所示：
其中，WS∈Rd×|V|为权重矩阵，b1∈R|V|为模型中的偏置参数，A∈R2d表示第一注意力网络层的模型训练参数(即第一注意力参数值)。通过构造的注意力网络，最终得到了句子层级的语义特征S∈R2d，这样，可以确定每个句子的语义特征表示。
步骤四、针对第二注意力层，本申请实施例可以利用如下公式确定第二注意力特征向量：
其中，D表示第二注意力特征向量，对应于文档层面的语义特征表示，D∈R2d，βi表示第i个单词所在位置的状态
的权重，βi的计算公式如下公式(6)、公式(7)所示：
其中，WD∈Rd×|V|为权重矩阵，b2∈R|V|为模型中的偏置参数，B∈R2d表示第二注意力网络的模型训练参数(即第二注意力参数值)。通过构造的注意力网络，最终得到了文档层级的语义特征表示D∈R2d，最后根据文档的语义特征的结果，通过输出预测层完成最终的分类任务。
步骤五、针对输出预测层，其目标可以是根据情感标签(对应语义标识信息)进行分类，获取文档(即样本服务内容)的向量表示D，计算每一个情感标签的得分，最后将转换为情感分类的任务的概率表示，计算的公式如公式(8)、公式(9)所示：
其中，C表示分类的类别数，Pi D表示文档D情感类别为i的概率，WC∈R2d×|C|为模型参数，bC为模型偏移参数，模型的训练函数可以选用交叉熵损失函数(cross-entropy)。其中，交叉熵损失函数的表达式如公式(10)所示：
其中，
为文档的目标情感类别，
表示预测的目标文档的情感类别，θ为输出预测层的模型参数，λ为L2正则项的系数。可见，利用交叉熵损失函数进一步提升了对正确分类的偏向度。
在训练得到语义分析模型之后，便可以基于训练得到的语义分析模型确定目标服务内容的语义信息，接下来通过如下实施例三进行具体描述。
实施例三
如图8所示，提供了一种利用训练完成的语义分析模型进行目标服务内容语义确定的方法，具体包括如下步骤：
S801、将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
S802、根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
这里，可以将目标服务内容输入至训练完成的语义分析模型中，基于概率值最大的语义标注信息确定该语义标注信息对应的语义信息，与模型训练阶段，有关样本服务内容的语义标注信息是个绝对值，要么是属于积极情感状态的1，要么是属于消极情感状态的0不同的是，在模型应用阶段，得到的是针对每个设定语义标注信息的概率值，这里，可以基于概率最大的语义标注信息确定目标服务内容的最终语义信息。
值得提出的是，本申请实施例还可以设定阈值对预测得到的概率值进行筛选，以进一步确保预测的适应性。
基于上述实施例，本申请还提供了服务信息生成的装置，下述各种装置的实施可以参见方法的实施，重复之处不再赘述。
实施例四
如图9所示，为本申请实施例四提供的语义分析装置，所述装置包括：
获取模块901，用于获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
训练模块902，用于基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
分析模块903，用于基于训练完成的语义分析模型确定目标服务内容的语义信息。
在一种实施方式中，所述语义分析模型至少包括第一注意力层、第二注意力层和输出预测层；所述训练模块902，具体用于：
针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
在一些实施例中，所述训练模块902，具体用于：
针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
在一些实施例中，所述训练模块902，具体用于：
针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数值中，确定该第一注意力特征向量的第二注意力参数初始值；
将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
在另一种实施方式中，所述语义分析模型还包括输入编码层，所述训练模块902，具体用于：
在所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量之前，针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量；
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
在一些实施例中，所述训练模块902，具体用于：
针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
在一些实施例中，所述训练模块902，具体用于：
在所述确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值之前，针对每个样本服务子内容包括的每个样本服务子词，判断设定特征数据库中是否存在与该样本服务子词匹配的特征词；
若是，则将该特征词对应的特征值作为所述样本服务子词的初始文本特征值。
在一些实施例中，所述训练模块902，具体用于：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
在再一种实施方式中，所述分析模块903，具体用于：
将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
实施例五
如图10所示，为本申请实施例五所提供的一种电子设备的结构示意图，包括：处理器1001、存储介质1002和总线1003，所述存储介质1002存储有所述处理器1001可执行的机器可读指令(比如图9中的语义分析装置中获取模块901、训练模块902以及分析模块903对应的执行指令等)，当电子设备运行时，所述处理与所述存储介质1002之间通过总线1003通信，所述机器可读指令被所述处理器1001执行时执行如下处理：
获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
基于训练完成的语义分析模型确定目标服务内容的语义信息。
在一种实施方式中，所述语义分析模型至少包括第一注意力层、第二注意力层和输出预测层；上述处理器1001执行的指令中，所述基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型，包括：
针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
在一些实施例中，上述处理器1001执行的指令中，所述将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量，包括：
针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
在一些实施例中，上述处理器1001执行的指令中，所述将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量，包括：
针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数值中，确定该第一注意力特征向量的第二注意力参数初始值；
将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
在另一种实施方式中，所述语义分析模型还包括输入编码层，在所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量之前，上述处理器1001执行的指令还包括：
针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量；
上述处理器1001执行的指令中，所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
在一些实施例中，上述处理器1001执行的指令中，所述针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量，包括：
针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
在一些实施例中，在所述确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值之前，上述处理器1001执行的指令还包括：
针对每个样本服务子内容包括的每个样本服务子词，判断设定特征数据库中是否存在与该样本服务子词匹配的特征词；
上述处理器1001执行的指令中，所述确定每个样本服务子内容包括的每个样本服务子词的文本特征值，包括：
若是，则将该特征词对应的特征值作为所述样本服务子词的初始文本特征值。
在一些实施例中，上述处理器1001执行的指令中，所述将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
在再一种实施方式中，上述处理器1001执行的指令中，所述基于训练完成的语义分析模型确定目标服务内容的语义信息，包括：
将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
实施例六
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器1001运行时执行上述语义分析方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述语义分析方法，从而解决现有测评效率低下的问题，进而达到能够自动进行语义预测、预测的效率和准确度均较高的效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种语义分析方法，其特征在于，所述方法包括：
获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
基于训练完成的语义分析模型确定目标服务内容的语义信息。
2.根据权利要求1所述的语义分析方法，其特征在于，所述语义分析模型至少包括第一注意力层、第二注意力层和输出预测层；所述基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型，包括：
针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量；
将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量；
将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量；
将每个样本服务内容对应的第二注意力特征向量输入至待训练的输出预测层中，得到所述待训练的输出预测层的预测结果；将预测结果与该样本服务内容的语义标注信息进行对比，直至在所述预测结果与语义标注信息达到一致时，停止训练，确定训练完成的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值。
3.根据权利要求2所述的语义分析方法，其特征在于，所述将每个样本服务子内容的编码特征向量输入至待训练的第一注意力层，根据所述待训练的第一注意力层中针对该样本服务子内容的第一注意力参数初始值以及所述编码特征向量之间的第一加权求和运算结果，输出得到每个样本服务子内容对应的第一注意力特征向量，包括：
针对每个样本服务子内容的编码特征向量中的每个编码特征值，从所述待训练的第一注意力层中针对所述每个样本服务子内容的第一注意力参数初始值中，确定该编码特征值的第一注意力参数初始值；
将各个编码特征值、以及每个编码特征值的第一注意力参数初始值进行加权求和运算，得到针对所述第一注意力层中每个输出对应的第一注意力特征值；
依次将针对所述第一注意力层各个输出应的第一注意力特征值进行组合，得到所述每个样本服务子内容对应的第一注意力特征向量。
4.根据权利要求2所述的语义分析方法，其特征在于，所述将各个第一注意力特征向量输入至待训练的第二注意力层中，根据所述待训练的第二注意力层中针对所述每个样本服务内容的第二注意力参数初始值以及各个第一注意力特征向量之间的第二加权求和运算结果，输出得到所述每个样本服务内容对应的第二注意力特征向量，包括：
针对各个第一注意力特征向量中的每个第一注意力特征向量，从所述待训练的第二注意力层中针对每个样本服务内容的第二注意力参数初始值中，确定该第一注意力特征向量的第二注意力参数初始值；
将各个第一注意力特征向量、以及每个第一注意力特征向量的第二注意力参数初始值进行加权求和运算，得到针对所述第二注意力层中每个输出对应的第二注意力特征值；
依次将针对所述第二注意力层各个输出对应的第二注意力特征值进行组合，得到每个样本服务内容对应的第二注意力特征向量。
5.根据权利要求2所述的语义分析方法，其特征在于，所述语义分析模型还包括输入编码层，在所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量之前，还包括：
针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量；
所述针对每个样本服务内容包括的每个样本服务子内容，确定该样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量。
6.根据权利要求5所述的语义分析方法，其特征在于，所述针对每个样本服务内容包括的每个样本服务子内容，从该样本服务子内容中提取出文本特征向量，包括：
针对每个样本服务内容包括的每个样本服务子内容，将该样本服务子内容进行内容划分，得到多个样本服务子词；
确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值；
将各个样本服务子词的初始文本特征值输入至预先训练好的向量转换模型中，针对每个样本服务子词，基于该样本服务子词的初始文本特征值、该样本服务子词之前第一预设数量个样本服务子词的初始文本特征值、以及该样本服务子词之后第二预设数量个样本服务子词的初始文本特征值确定所述每个样本服务子词的文本特征值；
按照各个样本服务子词的划分顺序，将各个文本特征值进行组合，得到每个样本服务子内容的文本特征向量。
7.根据权利要求6所述的语义分析方法，其特征在于，在所述确定每个样本服务子内容包括的每个样本服务子词的初始文本特征值之前，还包括：
针对每个样本服务子内容包括的每个样本服务子词，判断设定特征数据库中是否存在与该样本服务子词匹配的特征词；
所述确定每个样本服务子内容包括的每个样本服务子词的文本特征值，包括：
若是，则将该特征词对应的特征值作为所述样本服务子词的初始文本特征值。
8.根据权利要求6所述的语义分析方法，其特征在于，所述将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，得到所述每个样本服务子内容的编码特征向量，包括：
将从每个样本服务子内容中提取出的文本特征向量输入至待训练的输入编码层中，针对每个样本服务子内容包括的每个样本服务子词，基于该样本服务子词的文本特征值、该样本服务子词之前第三预设数量个样本服务子词的文本特征值确定每个样本服务子词在第一编码方向上的最终文本特征值；以及基于该样本服务子词的文本特征值、该样本服务子词之后第四预设数量个样本服务子词的文本特征值确定每个样本服务子词在第二编码方向上的最终文本特征值；
根据所述每个样本服务子词在第一编码方向上的最终文本特征值和第二编码方向上的最终文本特征值，确定所述每个样本服务子词的最终文本特征值；
按照各个样本服务子词的划分顺序，将各个最终文本特征值进行组合，得到每个样本服务子内容的编码特征向量。
9.根据权利要求1至8任一项所述的语义分析方法，其特征在于，所述基于训练完成的语义分析模型确定目标服务内容的语义信息，包括：
将目标服务内容输入至训练完成的语义分析模型中，输出得到与各个设定语义标注信息对应的概率值；
根据概率值最大的语义标注信息确定所述目标服务内容的语义信息。
10.一种语义分析装置，其特征在于，所述装置包括：
获取模块，用于获取多个样本服务内容，以及每个样本服务内容的语义标注信息；所述每个样本服务内容包括多个样本服务子内容；
训练模块，用于基于所有的样本服务子内容、所有的样本服务内容以及每个样本服务内容的语义标注信息，对待训练的语义分析模型进行训练，确定所述待训练的语义分析模型中针对样本服务子内容的第一注意力参数值，以及针对所述样本服务内容的第二注意力参数值，得到训练完成的语义分析模型；
分析模块，用于基于训练完成的语义分析模型确定目标服务内容的语义信息。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至9任一所述语义分析方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述语义分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492507.6A CN111859977B (zh) | 2019-06-06 | 2019-06-06 | 一种语义分析方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492507.6A CN111859977B (zh) | 2019-06-06 | 2019-06-06 | 一种语义分析方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111859977A true CN111859977A (zh) | 2020-10-30 |
| CN111859977B CN111859977B (zh) | 2024-06-07 |
Family
ID=72966001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910492507.6A Active CN111859977B (zh) | 2019-06-06 | 2019-06-06 | 一种语义分析方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859977B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262406B1 (en) * | 2014-05-07 | 2016-02-16 | Google Inc. | Semantic frame identification with distributed word representations |
| CN107545889A (zh) * | 2016-06-23 | 2018-01-05 | 华为终端（东莞）有限公司 | 适用于模式识别的模型的优化方法、装置及终端设备 |
| US20190122145A1 (en) * | 2017-10-23 | 2019-04-25 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and device for extracting information |
| CN109684449A (zh) * | 2018-12-20 | 2019-04-26 | 电子科技大学 | 一种基于注意力机制的自然语言语义表征方法 |
| US20190129947A1 (en) * | 2017-10-26 | 2019-05-02 | Electronics And Telecommunications Research Institute | Neural machine translation method and apparatus |
| CN109766540A (zh) * | 2018-12-10 | 2019-05-17 | 平安科技（深圳）有限公司 | 通用文本信息提取方法、装置、计算机设备和存储介质 |
-
2019
- 2019-06-06 CN CN201910492507.6A patent/CN111859977B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262406B1 (en) * | 2014-05-07 | 2016-02-16 | Google Inc. | Semantic frame identification with distributed word representations |
| CN107545889A (zh) * | 2016-06-23 | 2018-01-05 | 华为终端（东莞）有限公司 | 适用于模式识别的模型的优化方法、装置及终端设备 |
| US20190122145A1 (en) * | 2017-10-23 | 2019-04-25 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and device for extracting information |
| US20190129947A1 (en) * | 2017-10-26 | 2019-05-02 | Electronics And Telecommunications Research Institute | Neural machine translation method and apparatus |
| CN109766540A (zh) * | 2018-12-10 | 2019-05-17 | 平安科技（深圳）有限公司 | 通用文本信息提取方法、装置、计算机设备和存储介质 |
| CN109684449A (zh) * | 2018-12-20 | 2019-04-26 | 电子科技大学 | 一种基于注意力机制的自然语言语义表征方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周艳芳;周刚;鹿忠磊;: "一种基于迁移学习及多表征的微博立场分析方法", 计算机科学, no. 09 * |
| 郑雄风;丁立新;万润泽;: "基于用户和产品Attention机制的层次BGRU模型", 计算机工程与应用, no. 11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111859977B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11403680B2 (en) | Method, apparatus for evaluating review, device and storage medium | |
| CN107679234B (zh) | 客服信息提供方法、装置、电子设备、存储介质 | |
| CN107291828B (zh) | 基于人工智能的口语查询解析方法、装置及存储介质 | |
| CN109034203B (zh) | 表情推荐模型的训练、表情推荐方法、装置、设备及介质 | |
| CN111191428B (zh) | 评论信息处理方法、装置、计算机设备和介质 | |
| CN112836052B (zh) | 一种汽车评论文本观点挖掘方法、设备及存储介质 | |
| CN111858843B (zh) | 一种文本分类方法及装置 | |
| CN111414561B (zh) | 用于呈现信息的方法和装置 | |
| CN113064964A (zh) | 文本分类方法、模型训练方法、装置、设备以及存储介质 | |
| CN114240552A (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
| CN112836487A (zh) | 一种自动评论方法、装置、计算机设备及存储介质 | |
| CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
| CN113220999B (zh) | 用户特征的生成方法、装置、电子设备和存储介质 | |
| CN113158656A (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
| CN116245097A (zh) | 训练实体识别模型的方法、实体识别方法及对应装置 | |
| CN114021582A (zh) | 结合语音信息的口语理解方法、装置、设备及存储介质 | |
| CN115510188A (zh) | 文本关键词关联方法、装置、设备及存储介质 | |
| CN116680386A (zh) | 基于多轮对话的答案预测方法和装置、设备、存储介质 | |
| CN112905787B (zh) | 文本信息处理方法、短信处理方法、电子设备及可读介质 | |
| CN113254814A (zh) | 网络课程视频打标签方法、装置、电子设备及介质 | |
| CN114528851B (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
| CN116304014A (zh) | 训练实体类型识别模型的方法、实体类型识别方法及装置 | |
| CN111859977B (zh) | 一种语义分析方法、装置、电子设备及存储介质 | |
| CN115689603A (zh) | 用户反馈信息收集方法、装置及用户反馈系统 | |
| CN115510860A (zh) | 一种文本情感分析方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |