CN113569576A - 特征融合方法、装置、计算机设备及存储介质 - Google Patents
特征融合方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113569576A CN113569576A CN202110104577.7A CN202110104577A CN113569576A CN 113569576 A CN113569576 A CN 113569576A CN 202110104577 A CN202110104577 A CN 202110104577A CN 113569576 A CN113569576 A CN 113569576A
- Authority
- CN
- China
- Prior art keywords
- feature
- word
- fusion
- sentence
- phrase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例公开了一种特征融合方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取目标语句中的每个词语对应的词语特征和短语特征，词语对应的短语特征为：词语属于目标语句中的短语的情况下词语的特征；分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征；获取目标语句对应的语句特征；将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。由于第二融合特征能够表示词语级的语义特征、短语级的语义特征以及句子级的语义特征，实现了对三种级别的特征进行融合，因此第二融合特征参考了多种信息，能够充分表示目标语句的语义特征，提高了融合特征的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种特征融合方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的不断发展，在各个领域中，通过语句解析可以实现各种各样的功能，比如基于语句解析开发购物网站的智能客服系统，或者基于语句解析对文章进行智能分类等。其中，语句解析是指对语句进行特征提取，得到能够表示该语句的语义的特征。
相关技术中，计算机设备对一条语句中的多个词语进行特征提取，得到每个词语对应的词语特征，将每个词语对应的词语特征进行加权融合，得到融合特征，以该融合特征来表示该语句的语义，但是由于该融合特征仅参考了词语对应的词语特征，参考的信息量较少，因此准确性较低。
发明内容
本申请实施例提供了一种特征融合方法、装置、计算机设备及存储介质，能够提高语句的融合特征的准确性。所述技术方案如下：
一方面，提供了一种特征融合方法，所述方法包括：
获取目标语句中的每个词语对应的词语特征和短语特征，所述词语对应的短语特征为：所述词语属于所述目标语句中的短语的情况下所述词语的特征；
分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
获取所述目标语句对应的语句特征；
将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
可选地，不同轮次中的第一目标参数不同，所述对第一目标参数与所述词语特征进行加权融合，得到所述词语对应的中间词语特征，包括：
对当前轮次的所述第一目标参数与所述词语特征进行加权融合，得到当前轮次中所述词语对应的中间词语特征。
可选地，所述方法还包括：
在获取到多个轮次的第二融合特征后，将多个第二融合特征进行拼接，得到拼接后的特征。
可选地，所述获取目标语句中的每个词语对应的词语特征和短语特征，包括：
对所述每个词语的词向量进行特征提取，得到所述每个词语对应的词语特征。
可选地，所述调用特征融合模型，分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征之前，所述方法还包括：
获取样本语句中的每个词语对应的样本词语特征和样本短语特征，以及所述样本语句对应的样本语句特征；
调用所述特征融合模型，分别将所述每个词语对应的样本词语特征与样本短语特征进行融合，得到所述每个词语对应的第一样本融合特征；
调用所述特征融合模型，将所述每个词语对应的第一样本融合特征与所述样本语句特征进行融合，得到所述样本语句对应的第二样本融合特征；
基于所述样本词语特征、所述样本短语特征、所述样本语句特征、所述第二样本融合特征以及所述特征融合模型的模型参数，构建似然函数；
调整所述特征融合模型的模型参数，以使所述似然函数的输出值为最大值。
可选地，所述将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征之后，所述方法还包括：
基于所述目标语句对应的第二融合特征，对所述目标语句进行分类；或者，
基于所述目标语句对应的第二融合特征，生成所述目标语句对应的答复语句。
另一方面，提供了一种特征融合装置，所述装置包括：
第一特征获取模块，用于获取目标语句中的每个词语对应的词语特征和短语特征，所述词语对应的短语特征为：所述词语属于所述目标语句中的短语的情况下所述词语的特征；
第一特征融合模块，用于分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
第二特征获取模块，用于获取所述目标语句对应的语句特征；
第二特征融合模块，用于将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
可选地，所述第一特征融合模块，包括：
目标权重确定单元，用于对于所述每个词语，基于所述词语对应的词语特征与短语特征，确定所述短语特征的目标权重；
第一特征融合单元，用于基于所述目标权重，对所述短语特征进行加权处理，将得到的特征确定为所述词语对应的第一融合特征；或者，
所述第一特征融合单元，用于基于所述目标权重，对所述短语特征进行加权处理，将得到的特征确定为所述词语对应的中间短语特征，对所述中间短语特征与所述词语的词向量进行加权融合，将得到的特征确定为所述词语对应的第一融合特征。
可选地，所述目标权重确定单元，用于：
对第一目标参数与所述词语对应的词语特征进行加权融合，得到所述词语对应的中间词语特征；
在所述词语对应多个短语特征的情况下，确定每个短语特征与所述中间词语特征的乘积；
对于每个短语特征，基于所述短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定所述短语特征的目标权重。
可选地，不同轮次中的第一目标参数不同，所述目标权重确定单元，用于：
对当前轮次的所述第一目标参数与所述词语特征进行加权融合，得到当前轮次中所述词语对应的中间词语特征。
可选地，所述第二特征融合模块，包括：
第一特征增强单元，用于分别基于所述每个词语对应的第一增强参数，对所述每个词语对应的第一融合特征进行特征增强，得到所述每个词语对应的第一增强特征；
第二特征增强单元，用于基于所述目标语句对应的第二增强参数，对所述语句特征进行特征增强，得到所述目标语句对应的第二增强特征；
第二特征融合单元，用于基于所述每个词语对应的第一增强特征和第一增强参数，以及所述目标语句对应的第二增强特征和第二增强参数，确定所述第二融合特征。
可选地，所述装置还包括：
增强参数确定模块，用于分别基于第二目标参数和所述每个词语对应的第一融合特征，确定所述每个词语对应的第一增强参数，所述第一增强参数与所述第二目标参数正相关，且所述第一增强参数与所述第一融合特征正相关。
可选地，所述增强参数确定模块，还用于基于所述第二目标参数和所述语句特征，确定所述目标语句对应的第二增强参数，所述第二增强参数与所述第二目标参数正相关，且所述第二增强参数与所述语句特征正相关。
可选地，不同轮次中的第二目标参数不同，所述增强参数确定模块，包括：
增强参数确定单元，用于分别基于当前轮次的所述第二目标参数和所述每个词语对应的第一融合特征，确定当前轮次中所述每个词语对应的第一增强参数。
可选地，所述目标语句对应于属于不同轮次的多个语句特征，所述第二特征增强单元，用于：
基于当前轮次中所述目标语句对应的第二增强参数，对当前轮次中的语句特征进行特征增强，得到当前轮次中所述目标语句对应的第二增强特征；
所述第二特征融合单元，用于：
基于当前轮次中所述每个词语对应的第一增强特征和第一增强参数，以及当前轮次中所述目标语句对应的第二增强特征和第二增强参数，确定当前轮次的第二融合特征。
可选地，所述装置还包括：
特征拼接模块，用于在获取到多个轮次的第二融合特征后，将多个第二融合特征进行拼接，得到拼接后的特征。
可选地，所述第二特征融合单元，用于：
对所述每个词语对应的第一增强特征与所述第二增强特征进行求和，得到合并特征；
对所述每个词语对应的第一增强参数与所述第二增强参数进行求和，得到合并参数；
将所述合并特征与所述合并参数之间的比例，确定为所述第二融合特征。
可选地，所述第一特征获取模块，包括以下至少一项：
词性特征获取单元，用于基于所述每个词语在短语中的词性，确定所述每个词语对应的一个短语特征；
句法成分特征获取单元，用于基于所述每个词语在短语中的句法成分，确定所述每个词语对应的一个短语特征；
实体类型特征获取单元，用于基于所述每个词语在短语中所属的实体类型，确定所述每个词语对应的一个短语特征。
可选地，所述第一特征获取模块，包括：
词语特征获取单元，用于对所述每个词语的词向量进行特征提取，得到所述每个词语对应的词语特征。
可选地，所述第二特征获取模块，包括：
句式类型获取单元，用于获取多个句式类型，每个句式类型中包括按顺序排列的多个实体类型；
实体类型确定单元，用于确定所述目标语句中按顺序排列的多个词语所属的实体类型；
句式类型确定单元，用于根据所述多个词语所属的实体类型的排列顺序，确定与所述目标语句匹配的句式类型；
语句特征确定单元，用于将确定的句式类型对应的特征标签，作为所述目标语句的语句特征。
可选地，所述第一特征融合模块，包括：
第一模型调用单元，用于调用特征融合模型，分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
所述第二特征融合模块，包括：
第二模型调用单元，用于调用所述特征融合模型，将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
可选地，所述装置还包括：
样本获取模块，用于获取样本语句中的每个词语对应的样本词语特征和样本短语特征，以及所述样本语句对应的样本语句特征；
模型调用模块，用于调用所述特征融合模型，分别将所述每个词语对应的样本词语特征与样本短语特征进行融合，得到所述每个词语对应的第一样本融合特征；
所述模型调用模块，还用于调用所述特征融合模型，将所述每个词语对应的第一样本融合特征与所述样本语句特征进行融合，得到所述样本语句对应的第二样本融合特征；
似然函数构建模块，用于基于所述样本词语特征、所述样本短语特征、所述样本语句特征、所述第二样本融合特征以及所述特征融合模型的模型参数，构建似然函数；
模型参数调整模块，用于调整所述特征融合模型的模型参数，以使所述似然函数的输出值为最大值。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的特征融合方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的特征融合方法中所执行的操作。
另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述计算机设备实现如上述方面所述的特征融合方法中所执行的操作。
本申请实施例提供的方法、装置、计算机设备及存储介质中，第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示词语级的语义特征和短语级的语义特征。而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，实现了对三种级别的特征进行融合，因此得到的第二融合特征参考了多种信息，能够充分表示目标语句的语义特征，提高了融合特征的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种特征融合方法的流程图。
图2是本申请实施例提供的另一种特征融合方法的流程图。
图3是本申请实施例提供的另一种特征融合方法的流程图。
图4是本申请实施例提供的一种特征融合方法的示意图。
图5是本申请实施例提供的一种模型训练方法的流程图。
图6是本申请实施例提供的一种特征融合装置的结构示意图。
图7是本申请实施例提供的另一种特征融合装置的结构示意图。
图8是本申请实施例提供的一种终端的结构示意图。
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一融合特征称为第二融合特征，且类似地，可将第二融合特征称为第一融合特征。
其中，至少一个是指一个或者一个以上，例如，至少一个短语特征可以是一个短语特征、两个短语特征、三个短语特征等任一大于等于一的整数个短语特征。多个是指两个或者两个以上，例如，多个短语特征可以是两个短语特征、三个短语特征等任一大于等于二的整数个短语特征。每个是指至少一个中的每一个，例如，每个短语特征是指多个短语特征中的每一个短语特征，若多个短语特征为3个短语特征，则每个短语特征是指3个短语特征中的每一个短语特征。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
以下将基于人工智能技术，对本申请实施例提供的特征融合方法进行说明。
本申请实施例提供的特征融合方法，执行主体为计算机设备。在一种可能实现方式中，该计算机设备为终端，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。在另一种可能实现方式中，该计算机设备为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在另一种可能实现方式中，该计算机设备包括终端和服务器，该终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，服务器用于训练特征融合模型，将特征融合模型提供给终端，由终端调用特征融合模型对语句的词语特征、短语特征和语句特征进行融合。
本申请实施例提供的特征融合方法，可应用语句解析的任一场景中。
例如，在识别敏感语句的任务中，需要先确定语句的特征，然后基于语句的特征对语句进行分类，则可以先采用本申请实施例提供的方法，获取该语句中的每个词语对应的词语特征和短语特征，以及该语句对应的语句特征，然后将每个词语对应的词语特征、短语特征以及语句特征进行融合，得到该语句对应的融合特征，之后基于该融合特征进行分类，从而确定该语句是否为敏感语句。
图1是本申请实施例提供的一种特征融合方法的流程图。本申请实施例的执行主体为计算机设备，参见图1，该方法包括：
101、计算机设备获取目标语句中的每个词语对应的词语特征和短语特征。
计算机设备获取待处理的目标语句，确定目标语句中包括的多个词语，以及该目标语句中包括的多个短语，每个短语中包括多个词语。
计算机设备对每个词语进行特征提取，得到每个词语对应的词语特征，该词语特征用于表示词语级的语义特征。对于每个词语，计算机设备确定该词语在目标语句中所属的短语，并分别根据该词语所属的短语，确定词语在该短语中对应的短语特征，从而确定每个词语对应的短语特征，词语对应的短语特征即为：词语属于目标语句中的短语的情况下该词语的特征，该短语特征用于表示短语级的语义特征。
102、计算机设备分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征。
对于目标语句中的每个词语，计算机设备将该词语对应的词语特征以及该词语对应的短语特征进行融合，得到该词语对应的第一融合特征，从而得到每个词语对应的第一融合特征。其中，由于第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示词语级的语义特征和短语级的语义特征。
103、计算机设备获取目标语句对应的语句特征。
计算机设备对该目标语句进行特征提取，得到该目标语句对应的语句特征，语句特征用于表示句子级的语义特征。
104、计算机设备将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。
计算机设备获取语句特征和每个词语对应的第一融合特征后，将每个词语对应的第一融合特征与该语句特征进行融合，得到目标语句对应的第二融合特征。其中，由于第一融合特征能够表示词语级的语义特征和短语级的语义特征，而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，该第二融合特征能够充分表示目标语句的语义特征。
本申请实施例提供的方法中，第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示词语级的语义特征和短语级的语义特征。而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，实现了对三种级别的特征进行融合，因此得到的第二融合特征参考了多种信息，能够充分表示目标语句的语义特征，提高了融合特征的准确性。
图2是本申请实施例提供的一种特征融合方法的流程图。本申请实施例的执行主体为计算机设备，参见图2，该方法包括：
201、计算机设备获取目标语句中的每个词语对应的词语特征和短语特征。
计算机设备获取待处理的目标语句，确定目标语句中包括的多个词语，以及该目标语句中包括的多个短语，一个短语包括多个词语。可选地，该目标语句为用户输入的语句，或者为计算机设备中已存储的语句，本申请实施例对此不做限定。
计算机设备对每个词语进行特征提取，得到每个词语对应的词语特征，该词语特征用于表示词语级的语义特征。对于每个词语，计算机设备确定该词语在目标语句中所属的短语，并分别根据该词语所属的短语，确定词语在该短语中对应的短语特征，从而确定每个词语对应的短语特征，词语对应的短语特征即为：词语属于目标语句中的短语的情况下该词语的特征，该短语特征用于表示短语级的语义特征。
在一种可能实现方式中，目标语句中的每个词语属于多个短语，则对于每个词语计算机设备确定每个词语对应的多个短语特征。例如，目标语句为“小王来装修新买的房子”，该目标语句中包括词语“装修”、“新买的”、“房子”，该目标语句中包括短语“新买的房子”和“装修新买的房子”。则词语“房子”既属于短语“新买的房子”，又属于“装修新买的房子”。
在另一种可能实现方式中，计算机设备对目标语句进行分词，得到目标语句中的多个词语。计算机设备获取该多个词语的词性和句法成分，根据每个词语的词性和句法成分，确定每个词语所属的短语，每个短语中包括多个词语。其中，词语的词性包括动词、名词、形容词、数量词、代词等，词语的句法成分包括主语、谓语、宾语、定语、状语、补语等。计算机设备根据词语的词性和句法成分，按照句法的依存关系，在目标语句中划分出多个短语。
在另一种可能实现方式中，计算机设备获取每个词语对应的短语特征，包括以下至少一项：
第一，计算机设备基于每个词语在短语中的词性，确定每个词语对应的一个短语特征。一个词语可能包括多种词性，例如词语“设计”既是动词又是名词，因此一个词语在不同的短语中的词性可能不同，对于每个词语，计算机设备确定该词语所属的短语，计算机设备确定该词语在该短语中的词性，计算机设备将该词语在该短语中的词性对应的特征标签，作为该词语对应的短语特征，以使该短语特征能够表示该词语在该短语中的词性。可选地，计算机设备采用词性别工具，来识别词语在短语中的词性。
第二，计算机设备基于每个词语在短语中的句法成分，确定每个词语对应的一个短语特征。一个词语在不同的短语中的句法成分可能不同，因此对于每个词语，计算机设备确定该词语所属的短语，计算机设备确定该词语在该短语中的句法成分，计算机设备将该词语在该短语中的句法成分对应的特征标签，作为该词语对应的短语特征，以使该短语特征能够表示该词语在该短语中的句法成分。
第三，计算机设备基于每个词语在短语中所属的实体类型，确定每个词语对应的一个短语特征。其中，实体类型是指词语所代表的实体的类型，例如实体类型包括职业、地名、人名等。一个词语在不同的短语中的实体类型可能不同，因此对于每个词语，计算机设备确定该词语所属的短语，计算机设备确定该词语在该短语中的实体类型，计算机设备将该词语在该短语中的实体类型对应的特征标签，作为该词语对应的短语特征，以使该短语特征能够表示该词语在该短语中的实体类型。可选地，计算机设备采用实体识别工具，来识别词语在短语中的实体类型，该短语特征为进行实体识别所得到的Entity Embedding(实体嵌入向量)。
可选地，对于每个词语，计算机设备基于词语在所属的短语中的词性、句法成分以及实体类型，确定词语在该短语中的短语特征，以使该短语特征能够表示该词语在该短语中的词性、句法成分以及实体类型。
在另一种可能实现方式中，计算机设备对每个词语的词向量进行特征提取，得到每个词语对应的词语特征。可选地，词语的词向量为Word Embedding(词嵌入向量)，计算机设备采用Word2vec(一种用来产生词向量的相关模型)来生成词语的Word Embedding。可选地，计算机设备调用特征提取模型，对每个词语的词向量进行特征提取，得到每个词语对应的词语特征。其中，该特征提取模型包括RNN(Recurrent Neural Network，循环神经网络)、BERT(Bidirectional Encoder Representations from Transformers，一种双向编码器)或其他扁平文本处理模型等，本申请实施例对此不做限定。其中，对词语的词向量进行特征提取得到的词语特征为词语的隐状态，能够表示词语的深层语义。
202、计算机设备对于每个词语，基于词语对应的词语特征与短语特征，确定短语特征的目标权重。
计算机设备获取每个词语对应的词语特征以及短语特征之后，对于每个词语，基于词语对应的词语特征与短语特征，确定该词语对应的至少一个短语特征的目标权重。该目标权重用于对词语的短语特征进行调整。
在一种可能实现方式中，计算机设备获取第一目标参数，对该第一目标参数与词语对应的词语特征进行加权融合，得到词语对应的中间词语特征，在词语对应多个短语特征的情况下，确定每个短语特征与中间词语特征的乘积；对于每个短语特征，基于短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定短语特征的目标权重。其中，第一目标参数为计算机设备设置的参数，用于对词语对应的词语特征进行调整。
可选地，计算机设备执行多个轮次获取多个目标权重，且不同轮次中的第一目标参数不同。则计算机设备对当前轮次的第一目标参数与词语特征进行加权融合，得到当前轮次中词语对应的中间词语特征。在词语对应多个短语特征的情况下，确定每个短语特征与当前轮次的中间词语特征的乘积；对于每个短语特征，基于短语特征对应的乘积与当前轮次中其他短语特征对应的乘积之间的差异，确定当前轮次中短语特征的目标权重。
例如，计算机设备采用以下公式确定每个短语特征对应的目标权重：
其中，γjl(i)表示在第i个轮次中的第j个词语对应的第l个短语特征的目标权重，ki表示第i个轮次的第一目标参数，α表示加权系数，hj表示第j个词语对应的词语特征，tjl表示第j个词语对应的第l个短语特征。ki+αhj表示在第i个轮次中第j个词语对应的中间词语特征，exp(·)表示以自然常数e为底数的指数函数，∑texp((ki+αhj)tj)表示：在第i个轮次中，对于第j个词语对应的每个短语特征，确定以e为底数以短语特征对应的乘积为指数的指数函数，将每个短语特征对应的指数函数相加的和。
203、计算机设备基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征。
计算机设备确定每个词语对应的短语特征的目标权重，则基于短语特征的目标权重，对该短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征。该第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示目标语句中的词语级的语义特征和短语级的语义特征。
在一种可能实现方式中，上述步骤203由以下步骤代替：计算机设备基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的中间短语特征，对中间短语特征与词语的词向量进行加权融合，将得到的特征确定为词语对应的第一融合特征。其中，词语的词向量与上述步骤201中的词向量同理，在此不再一一赘述。
可选地，计算机设备执行多个轮次获取每个词语对应的多个第一融合特征，词语对应多个短语特征，则在上述步骤202中，计算机设备获取当前轮次的目标权重后，基于当前轮次的目标权重，对多个短语特征进行加权融合，将得到的特征确定为词语对应的中间短语特征，对中间短语特征与词语的词向量进行加权融合，将得到的特征确定为当前轮次中词语对应的第一融合特征，对于每个轮次均执行上述步骤，从而得到多个轮次中每个词语对应的第一融合特征。
例如，计算机设备采用以下公式确定第一融合特征：
w'j(i)＝wj+β·t'j(i)；
其中，t'j(i)表示第i个轮次中的第j个词语对应的中间短语特征，γjl(i)表示在第i个轮次中的第j个词语对应的第l个短语特征的目标权重，tjl表示第j个词语对应的第l个短语特征。
表示：对于第j个词语对应的每个短语特征，确定该短语特征与该短语特征的目标权重的乘积，将每个短语特征对应的乘积相加的和。其中，w'j(i)表示第i个轮次中的第j个词语对应的第一融合特征，wj表示第j个词语的词向量，β表示加权系数。
需要说明的是，上述步骤202-203中仅说明了先基于词语对应的词语特征与短语特征，确定短语特征的目标权重，然后基于目标权重对短语特征进行加权求和，得到第一融合特征的过程，实现了分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征。在另一实施例中，还可以采用其他方式将词语特征与短语特征进行融合，得到第一融合特征。
204、计算机设备获取目标语句对应的语句特征。
计算机设备对该目标语句进行特征提取，得到该目标语句对应的语句特征，语句特征用于表示句子级的语义特征。
在一种可能实现方式中，计算机设备获取多个句式类型，每个句式类型中包括按顺序排列的多个实体类型，确定目标语句中按顺序排列的多个词语所属的实体类型，根据多个词语所属的实体类型的排列顺序，确定与目标语句匹配的句式类型，将确定的句式类型对应的特征标签，作为目标语句的语句特征。
其中，每个句式类型中包括按顺序排列的多个实体类型。例如，句式类型为“[艺人]的[歌曲]”，[艺人]和[歌曲]为不同的实体类型。如果目标语句中的按顺序排列的多个词语所属的实体类型，与句式类型中的按顺序排列的多个实体类型相同，则该目标语句与该句式类型匹配，计算机设备将确定的句式类型对应的特征标签，作为目标语句的语句特征，以使该语句特征能够表示与目标语句匹配的句式类型。
可选地，计算机设备根据多个词语所属的实体类型的排列顺序，将目标语句与句式类型进行匹配，得到与目标语句匹配的多个句式类型，则计算机设备分别将确定的多个句式类型对应的特征标签，作为目标语句的多个语句特征。可选地，目标语句对应的语句特征为计算机设备进行句式类型匹配所得到的Pattern Embedding(模式嵌入向量)。
205、计算机设备分别基于每个词语对应的第一增强参数，对每个词语对应的第一融合特征进行特征增强，得到每个词语对应的第一增强特征。
计算机设备获取到目标语句对应的语句特征以及每个词语对应的第一融合特征之后，确定每个词语对应的第一增强参数，基于确定的每个词语对应的第一增强参数，对每个词语对应的第一融合特征进行特征增强，得到每个词语对应的第一增强特征，该第一增强特征比第一融合特征能够更加显著地表示目标语句的词语级的语义特征和短语级的语义特征。
在一种可能实现方式中，计算机设备获取第二目标参数，分别基于第二目标参数和每个词语对应的第一融合特征，确定每个词语对应的第一增强参数。其中，第二目标参数为计算机设备设置的参数，用于对第一融合特征进行调整。其中，第一增强参数与第二目标参数正相关，也即是第一增强参数随着第二目标参数的增大而增大，且第一增强参数与第一融合特征正相关，也即是第一增强参数随着第一融合特征的增大而增大。
可选地，计算机设备执行多个轮次获取多个第一增强特征，不同轮次中的第二目标参数不同，则计算机设备分别基于当前轮次的第二目标参数和每个词语对应的第一融合特征，确定当前轮次中每个词语对应的第一增强参数。然后分别基于当前轮次中每个词语对应的第一增强参数，对每个词语对应的第一融合特征进行特征增强，得到当前轮次中每个词语对应的第一增强特征。
例如，计算机设备采用以下公式获取第一增强特征：
Wj(i)＝w'j(i)·exp(ci·w'j(i))；
其中，Wj(i)表示在第i个轮次中第j个词语对应的第一增强特征，ci表示在第i个轮次中的第二目标参数，w'j(i)表示在第i个轮次中第j个词语对应的第一融合特征，exp(ci·w'j(i))表示在第i个轮次中第j个词语对应的第一增强参数，exp(·)表示以自然常数e为底数的指数函数。
206、计算机设备基于目标语句对应的第二增强参数，对语句特征进行特征增强，得到目标语句对应的第二增强特征。
计算机设备确定目标语句对应的第二增强参数，基于目标语句对应的第二增强参数，对语句特征进行特征增强，得到目标语句对应的第二增强特征，该第二增强特征比语句特征能够更加显著地表示目标语句的句子级的语义特征。
在一种可能实现方式中，计算机设备获取第二目标参数，基于第二目标参数和语句特征，确定目标语句对应的第二增强参数。可选地，步骤206中的第二目标参数与上述步骤205中的第二目标参数相同。其中，第二增强参数与第二目标参数正相关，也即是第二增强参数随着第二目标参数的增大而增大，且第二增强参数与语句特征正相关，也即是第二增强参数随着语句特征的增大而增大。
可选地，目标语句对应多个语句特征，计算机设备分别基于第二目标参数和每个语句特征，确定目标语句对应的第二增强参数，从而得到多个第二增强参数。也即是每个语句特征都对应有一个第二增强参数。计算机设备对于每个语句特征，基于该语句特征对应的第二增强参数，对该语句特征进行特征增强，得到目标语句对应的第二增强特征，从而得到多个第二增强特征。
可选地，计算机设备执行多个轮次获取多个第二增强特征，目标语句对应于属于不同轮次的多个语句特征，不同轮次中的第二目标参数不同，计算机设备分别基于当前轮次的第二目标参数和语句特征，确定当前轮次中目标语句对应的第二增强参数。然后基于当前轮次中目标语句对应的第二增强参数，对当前轮次中的语句特征进行特征增强，得到当前轮次中目标语句对应的第二增强特征。其中，每个轮次的语句特征可以相同也可以不同，例如，每个轮次的语句特征是采用不同的方式对目标语句进行处理所提取出来的语句特征。
例如，计算机设备采用以下公式获取第二增强特征：
Li＝s·exp(ci·s),s∈Si；
其中，Li表示在第i个轮次中目标语句对应的第二增强特征，ci表示在第i个轮次中的第二目标参数，s表示目标语句对应的语句特征，Si表示在第i个轮次中目标语句对应的多个语句特征的集合，该s属于Si中的任一语句特征，exp(ci·s)表示目标语句对应的第二增强参数，exp(·)表示以自然常数e为底数的指数函数。
207、计算机设备基于每个词语对应的第一增强特征和第一增强参数，以及目标语句对应的第二增强特征和第二增强参数，确定第二融合特征。
计算机设备确定每个词语对应的第一增强特征和目标语句对应的第二增强特征后，基于每个词语对应的第一增强特征和第一增强参数，以及目标语句对应的第二增强特征和第二增强参数，确定第二融合特征。其中，由于第一融合特征能够表示词语级的语义特征和短语级的语义特征，而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，该第二融合特征参考了多种信息，能够充分表示目标语句的语义特征。
在一种可能实现方式中，计算机设备执行多个轮次获取多个第二融合特征，则计算机设备获取当前轮次中每个词语对应的第一增强特征和第一增强参数，以及当前轮次中目标语句对应的第二增强特征和第二增强参数，基于当前轮次中的第一增强特征和第一增强参数，以及第二增强特征和第二增强参数，确定当前轮次的第二融合特征。每个轮次均执行上述步骤，得到多个轮次的第二融合特征。
可选地，计算机设备在获取到多个轮次的第二融合特征后，将多个第二融合特征进行拼接，得到拼接后的特征。由于该拼接后的特征参考了多个轮次的执行结果，因此相比于单个轮次的第二融合特征，能够准确和充分地表示目标语句的语义特征。
在另一种可能实现方式中，计算机设备对每个词语对应的第一增强特征与第二增强特征进行求和，得到合并特征；对每个词语对应的第一增强参数与第二增强参数进行求和，得到合并参数；将合并特征与合并参数之间的比例，确定为第二融合特征。由于第一增强特征能够表示词语级的语义特征和短语级的语义特征，第二增强特征能够表示句子级的语义特征，因此合并特征能够表示词语级的语义特征、短语级的语义特征和句子级的语义特征，且表示的是增强之后的语义特征。
可选地，目标语句对应多个第二增强特征和多个第二增强参数，则计算机设备对每个词语对应的第一增强特征与目标语句对应的每个第二增强特征进行求和，得到合并特征；对每个词语对应的第一增强参数与目标语句对应的每个第二增强参数进行求和，得到合并参数；将合并特征与合并参数之间的比例，确定为第二融合特征。
可选地，计算机设备采用以下公式确定第二融合特征：
Mi＝exp(ci·w'j(i))；
Ni＝exp(ci·s)；
其中，Mi表示在第i个轮次中第j个词语对应的第一增强参数，ci表示在第i个轮次中的第二目标参数，w′j(i)表示在第i个轮次中第j个词语对应的第一融合特征，Ni表示在第i个轮次中的第二增强参数，s表示在第i个轮次中的目标语句对应的语句特征，该s属于Si中的任一语句特征，Si表示在第i个轮次中目标语句对应的多个语句特征的集合，exp(·)表示以自然常数e为底数的指数函数。
其中，xi表示在第i个轮次中的第二融合特征，Wj(i)表示表示在第i个轮次中第j个词语对应的第一增强特征，∑jWj(i)表示将每个词语对应的第一增强特征相加，Li表示在第i个轮次中目标语句对应的第二增强特征，
表示将第i个轮次中目标语句对应的多个第二增强特征相加，∑jMi表示将每个词语对应的第一增强参数相加，
表示将第i个轮次中目标语句对应的多个第二增强参数相加。
表示合并特征，
表示合并参数。
表示合并特征与合并参数之间的比例。
在另一种可能实现方式中，计算机设备获取目标语句的参考特征，将该参考特征与第二融合特征进行相加，得到相加后的特征，采用该相加后的特征表示目标语句的语义特征。可选地，该参考特征为目标词语中的每个词语的词向量的均值或者和值等。可选地，该参考特征为目标语句的特征标签，例如用户输入目标语句时，还会输入该目标语句的类型，计算机设备将目标语句的类型对应的特征标签作为目标语句的参考特征。
需要说明的是，上述步骤205-207中仅说明了基于第一增强参数、第二增强参数、第一增强特征和第二增强特征来确定第二融合特征的过程，实现了将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。在另一实施例中，还可以采用其他方式将第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。
需要说明的是，计算机设备得到目标语句对应的第二融合特征之后，可以基于该第二融合特征执行对目标语句的其他任务。可选地，计算机设备基于目标语句对应的第二融合特征，对目标语句进行分类。例如，计算机设备基于第二融合特征确定目标语句所属的领域、目标语句是否为敏感语句、目标语句所表达的情感等。可选地，计算机设备基于目标语句对应的第二融合特征，生成目标语句对应的答复语句。例如，在购物网站的智能客服系统中，目标语句为买家输入的问题，则基于该第二融合特征生成目标语句对应的答复语句，来自动回答买家的问题。除此之外，该目标语句对应的第二融合特征还可以应用于其他的场景中，本申请实施例对此不做限定。
本申请实施例提供的方法中，第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示词语级的语义特征和短语级的语义特征。而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，实现了对三种级别的特征进行融合，因此得到的第二融合特征参考了多种信息，能够充分表示目标语句的语义特征，提高了融合特征的准确性。
并且，计算机设备执行多个轮次获取多个第二融合特征，将多个第二融合特征进行拼接，得到拼接后的特征。由于该拼接后的特征参考了多个轮次的执行结果，因此相比于单个轮次的第二融合特征，能够准确和充分地表示目标语句的语义特征。
本申请实施例提供的另一种特征融合方法中，计算机设备在多个轮次中分别将词语特征、短语特征和语句特征进行融合，得到目标语句对应的第二融合特征，则该方法包括：
在第一个轮次中，计算机设备获取第一个轮次的第一目标参数和第二目标参数。对第一目标参数与词语特征进行加权融合，得到中间词语特征，确定每个短语特征与中间词语特征的乘积，对于每个短语特征，基于短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定短语特征的目标权重。计算机设备基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征。计算机设备基于第二目标参数和每个词语对应的第一融合特征，确定每个词语对应的第一增强参数，基于第一增强参数对第一融合特征进行特征增强，得到每个词语对应的第一增强特征。计算机设备基于第二目标参数和语句特征，确定目标语句对应的第二增强参数。基于第二增强参数对语句特征进行特征增强，得到目标语句对应的第二增强特征。计算机设备基于每个词语对应的第一增强特征和第一增强参数，以及目标语句对应的第二增强特征和第二增强参数，确定该第一个轮次中目标语句对应的第二融合特征。
在第二个轮次中，计算机设备获取第二个轮次中的第一目标参数和第二目标参数，并重新执行上述步骤，确定该第二个轮次中目标语句对应的第二融合特征向量。
对于每个轮次，计算机设备均执行上述步骤，在执行完m个轮次之后，计算机设备得到了m个第二融合特征，之后计算机设备可以将该m个第二融合特征进行拼接，得到拼接后的特征来表示目标语句的语义特征。
图3是本申请实施例提供的一种特征融合方法的流程图。本申请实施例的执行主体为计算机设备，计算机设备中存储有特征融合模型，特征融合模型用于对词语特征、短语特征以及语句特征进行融合，参见图3，该方法包括：
301、计算机设备获取目标语句中的每个词语对应的词语特征和短语特征，以及目标语句对应的语句特征。
该步骤301与上述步骤201和204同理，在此不再一一赘述。
302、计算机设备调用特征融合模型，分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征。
在一种可能实现方式中，计算机设备调用特征融合模型，基于词语对应的词语特征与短语特征，确定短语特征的目标权重，基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征。
可选地，特征融合模型中包括第一目标参数，计算机设备调用特征融合模型，对该第一目标参数与词语对应的词语特征进行加权融合，得到词语对应的中间词语特征，在词语对应多个短语特征的情况下，确定每个短语特征与中间词语特征的乘积；对于每个短语特征，基于短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定短语特征的目标权重。
可选地，特征融合模型中包括m个特征融合网络，每个特征融合网络中包括1个第一目标参数，m为不小于1的正整数。则计算机设备分别调用m个特征融合网络，确定短语特征的目标权重。也即是m个特征融合网络分别得到1个目标权重，然后分别基于m个目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征，从而得到m个第一融合特征。
303、计算机设备调用特征融合模型，将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。
在一种可能实现方式中，计算机设备调用特征融合模型，分别基于每个词语对应的第一增强参数，对每个词语对应的第一融合特征进行特征增强，得到每个词语对应的第一增强特征，基于目标语句对应的第二增强参数，对语句特征进行特征增强，得到目标语句对应的第二增强特征，基于每个词语对应的第一增强特征和第一增强参数，以及目标语句对应的第二增强特征和第二增强参数，确定第二融合特征。
可选地，计算机设备获取目标语句的参考特征，调用特征融合模型将参考特征与第二融合特征进行相加，得到相加后的特征，采用该相加后的特征表示目标语句的语义特征。可选地，该参考特征为目标词语中的每个词语的词向量的均值或者和值等。可选地，该参考特征为目标语句的特征标签，例如用户输入目标语句时，还会输入该目标语句的类型，计算机设备将目标语句的类型对应的特征标签作为目标语句的参考特征。
可选地，特征融合模型中包括第二目标参数，则计算机设备调用特征融合模型，分别基于第二目标参数和每个词语对应的第一融合特征，确定每个词语对应的第一增强参数。计算机设备调用特征融合模型，基于第二目标参数和语句特征，确定目标语句对应的第二增强参数。
可选地，特征融合模型中包括m个特征融合网络，每个特征融合网络中包括1个第二目标参数，则计算机设备分别调用m个特征融合网络，确定第一增强参数和第二增强参数。也即是m个特征融合网络分别得到一组第一增强参数和第二增强参数，然后分别基于m组第一增强参数和第二增强参数，得到目标语句对应的m个第二融合特征。
可选地，计算机设备将m个第二融合特征进行拼接，得到拼接后的特征。由于该拼接后的特征参考了多个轮次的执行结果，因此相比于单个轮次的第二融合特征，能够准确和充分地表示目标语句的语义特征。例如，计算机设备通过一组非线性神经网络将m个第二融合特征融合为1个特征，该非线性神经网络中包括泛化处理函数、特征抽取层以及非线性函数等，则非线性神经网络输出为：
x'＝f([x1,x2……xm])；
其中，x1表示第1个特征融合网络输出的第二融合特征，x2表示第2个特征融合网络输出的第二融合特征，xm表示第m个特征融合网络输出的第二融合特征，f([·])表示特征之间相互拼接的操作。
图4是本申请实施例提供的一种特征融合方法的示意图，参见图4，计算机设备调用特征提取模型401对目标语句中每个词语的词向量进行特征提取，得到词语特征403，计算机设备将目标语句中多个词语的词向量的均值作为参考特征406，计算机设备获取每个词语对应的短语特征404和目标语句对应的语句特征405。
该特征融合模型402是由多个特征融合网络构成的。计算机设备将词语特征403、短语特征404、语句特征405和参考特征406输入至特征融合模型402中，特征融合模型402进行处理后，每个特征融合网络输出一个第二融合特征407。计算机设备将多个第二融合特征407进行拼接，得到拼接后的特征408。计算机设备基于拼接后的特征408执行相应任务，例如智能问答任务、文章分类任务等。
在另一实施例中，如图5所示，该特征融合模型的训练方法包括以下步骤：
501、计算机设备获取样本语句中的每个词语对应的样本词语特征和样本短语特征，以及样本语句对应的样本语句特征。
502、计算机设备调用特征融合模型，分别将每个词语对应的样本词语特征与样本短语特征进行融合，得到每个词语对应的第一样本融合特征。
503、计算机设备调用特征融合模型，将每个词语对应的第一样本融合特征与样本语句特征进行融合，得到样本语句对应的第二样本融合特征。
其中，上述步骤501-503的过程与上述步骤301-303的过程同理，在此不再一一赘述。
504、计算机设备基于样本词语特征、样本短语特征、样本语句特征、第二样本融合特征以及特征融合模型的模型参数，构建似然函数，调整特征融合模型的模型参数，以使似然函数的输出值为最大值。
其中，特征融合模型的输入为样本词语特征、样本短语特征和样本语句特征，特征融合模型的输出为第二样本融合特征，则计算机设备基于特征融合模型的输入和输出以及特征融合模型的模型参数，构建以模型参数为自变量的似然函数，然后采用梯度下降法，调整似然函数中的模型参数以使似然函数的输出值为最大值，将似然函数的输出值为最大值时的模型参数作为特征融合模型的模型参数，从而完成对特征融合模型的训练。
图6是本申请实施例提供的一种特征融合装置的结构示意图。参见图6，该装置包括：
第一特征获取模块601，用于获取目标语句中的每个词语对应的词语特征和短语特征，词语对应的短语特征为：词语属于目标语句中的短语的情况下词语的特征；
第一特征融合模块602，用于分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征；
第二特征获取模块603，用于获取目标语句对应的语句特征；
第二特征融合模块604，用于将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。
本申请实施例提供的特征融合装置中，第一融合特征是由词语特征和短语特征融合得到的，因此第一融合特征能够表示词语级的语义特征和短语级的语义特征。而第二融合特征是由第一融合特征和语句特征融合得到的，因此第二融合特征能够表示目标语句的词语级的语义特征、短语级的语义特征以及句子级的语义特征，实现了对三种级别的特征进行融合，因此得到的第二融合特征参考了多种信息，能够充分表示目标语句的语义特征，提高了融合特征的准确性。
可选地，参见图7，第一特征融合模块602，包括：
目标权重确定单元6021，用于对于每个词语，基于词语对应的词语特征与短语特征，确定短语特征的目标权重；
第一特征融合单元6022，用于基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的第一融合特征；或者，
第一特征融合单元6022，用于基于目标权重，对短语特征进行加权处理，将得到的特征确定为词语对应的中间短语特征，对中间短语特征与词语的词向量进行加权融合，将得到的特征确定为词语对应的第一融合特征。
可选地，参见图7，目标权重确定单元6021，用于：
对第一目标参数与词语对应的词语特征进行加权融合，得到词语对应的中间词语特征；
在词语对应多个短语特征的情况下，确定每个短语特征与中间词语特征的乘积；
对于每个短语特征，基于短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定短语特征的目标权重。
可选地，参见图7，不同轮次中的第一目标参数不同，目标权重确定单元6021，用于：
对当前轮次的第一目标参数与词语特征进行加权融合，得到当前轮次中词语对应的中间词语特征。
可选地，参见图7，，第二特征融合模块604，包括：
第一特征增强单元6041，用于分别基于每个词语对应的第一增强参数，对每个词语对应的第一融合特征进行特征增强，得到每个词语对应的第一增强特征；
第二特征增强单元6042，用于基于目标语句对应的第二增强参数，对语句特征进行特征增强，得到目标语句对应的第二增强特征；
第二特征融合单元6043，用于基于每个词语对应的第一增强特征和第一增强参数，以及目标语句对应的第二增强特征和第二增强参数，确定第二融合特征。
可选地，参见图7，装置还包括：
增强参数确定模块605，用于分别基于第二目标参数和每个词语对应的第一融合特征，确定每个词语对应的第一增强参数，第一增强参数与第二目标参数正相关，且第一增强参数与第一融合特征正相关。
可选地，参见图7，增强参数确定模块605，还用于基于第二目标参数和语句特征，确定目标语句对应的第二增强参数，第二增强参数与第二目标参数正相关，且第二增强参数与语句特征正相关。
可选地，参见图7，不同轮次中的第二目标参数不同，增强参数确定模块605，包括：
增强参数确定单元6051，用于分别基于当前轮次的第二目标参数和每个词语对应的第一融合特征，确定当前轮次中每个词语对应的第一增强参数。
可选地，参见图7，目标语句对应于属于不同轮次的多个语句特征，第二特征增强单元6042，用于：
基于当前轮次中目标语句对应的第二增强参数，对当前轮次中的语句特征进行特征增强，得到当前轮次中目标语句对应的第二增强特征；
第二特征融合单元6043，用于：
基于当前轮次中每个词语对应的第一增强特征和第一增强参数，以及当前轮次中目标语句对应的第二增强特征和第二增强参数，确定当前轮次的第二融合特征。
可选地，参见图7，装置还包括：
特征拼接模块606，用于在获取到多个轮次的第二融合特征后，将多个第二融合特征进行拼接，得到拼接后的特征。
可选地，参见图7，第二特征融合单元6043，用于：
对每个词语对应的第一增强特征与第二增强特征进行求和，得到合并特征；
对每个词语对应的第一增强参数与第二增强参数进行求和，得到合并参数；
将确定合并特征与合并参数之间的比例，确定为第二融合特征。
可选地，参见图7，第一特征获取模块601，包括以下至少一项：
词性特征获取单元6011，用于基于每个词语在短语中的词性，确定每个词语对应的一个短语特征；
句法成分特征获取单元6012，用于基于每个词语在短语中的句法成分，确定每个词语对应的一个短语特征；
实体类型特征获取单元6013，用于基于每个词语在短语中所属的实体类型，确定每个词语对应的一个短语特征。
可选地，参见图7，第一特征获取模块601，包括：
词语特征获取单元6014，用于对每个词语的词向量进行特征提取，得到每个词语对应的词语特征。
可选地，参见图7，第二特征获取模块603，包括：
句式类型获取单元6031，用于获取多个句式类型，每个句式类型中包括按顺序排列的多个实体类型；
实体类型确定单元6032，用于确定目标语句中按顺序排列的多个词语所属的实体类型；
句式类型确定单元6033，用于根据多个词语所属的实体类型的排列顺序，确定与目标语句匹配的句式类型；
语句特征确定单元6034，用于将确定的句式类型对应的特征标签，作为目标语句的语句特征。
可选地，参见图7，第一特征融合模块602，包括：
第一模型调用单元6023，用于调用特征融合模型，分别将每个词语对应的词语特征与短语特征进行融合，得到每个词语对应的第一融合特征；
第二特征融合模块604，包括：
第二模型调用单元6044，用于调用特征融合模型，将每个词语对应的第一融合特征与语句特征进行融合，得到目标语句对应的第二融合特征。
可选地，参见图7，装置还包括：
样本获取模块607，用于获取样本语句中的每个词语对应的样本词语特征和样本短语特征，以及样本语句对应的样本语句特征；
模型调用模块608，用于调用特征融合模型，分别将每个词语对应的样本词语特征与样本短语特征进行融合，得到每个词语对应的第一样本融合特征；
模型调用模块608，还用于调用特征融合模型，将每个词语对应的第一样本融合特征与样本语句特征进行融合，得到样本语句对应的第二样本融合特征；
似然函数构建模块609，用于基于样本词语特征、样本短语特征、样本语句特征、第二样本融合特征以及特征融合模型的模型参数，构建似然函数；
模型参数调整模块610，用于调整特征融合模型的模型参数，以使似然函数的输出值为最大值。
需要说明的是：上述实施例提供的特征融合装置在融合特征时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的特征融合装置与特征融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现上述实施例的特征融合方法中所执行的操作。
可选地，该计算机设备提供为终端。图8示出了本申请一个示例性实施例提供的终端800的结构示意图。
终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(Graphics Processing Unit，图像处理的交互器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一条计算机程序，该至少一条计算机程序用于被处理器801所具有以实现本申请中方法实施例提供的特征融合方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。可选地，外围设备包括：射频电路804、显示屏805和电源806中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
电源806用于为终端800中的各个组件进行供电。电源806可以是交流电、直流电、一次性电池或可充电电池。当电源806包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
可选地，该计算机设备提供为服务器。图9是本申请实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)901和一个或一个以上的存储器902，其中，所述存储器902中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器901加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现上述实施例的特征融合方法中所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机程序代码，计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序代码，处理器执行计算机程序代码，使得计算机设备实现如上述实施例的特征融合方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种特征融合方法，其特征在于，所述方法包括：
获取目标语句中的每个词语对应的词语特征和短语特征，所述词语对应的短语特征为：所述词语属于所述目标语句中的短语的情况下所述词语的特征；
分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
获取所述目标语句对应的语句特征；
将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
2.根据权利要求1所述的方法，其特征在于，所述分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征，包括：
对于所述每个词语，基于所述词语对应的词语特征与短语特征，确定所述短语特征的目标权重；
基于所述目标权重，对所述短语特征进行加权处理，将得到的特征确定为所述词语对应的第一融合特征；或者，
基于所述目标权重，对所述短语特征进行加权处理，将得到的特征确定为所述词语对应的中间短语特征，对所述中间短语特征与所述词语的词向量进行加权融合，将得到的特征确定为所述词语对应的第一融合特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述词语对应的词语特征与所述短语特征，确定所述短语特征的目标权重，包括：
对第一目标参数与所述词语对应的词语特征进行加权融合，得到所述词语对应的中间词语特征；
在所述词语对应多个短语特征的情况下，确定每个短语特征与所述中间词语特征的乘积；
对于每个短语特征，基于所述短语特征对应的乘积与其他短语特征对应的乘积之间的差异，确定所述短语特征的目标权重。
4.根据权利要求1所述的方法，其特征在于，所述将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征，包括：
分别基于所述每个词语对应的第一增强参数，对所述每个词语对应的第一融合特征进行特征增强，得到所述每个词语对应的第一增强特征；
基于所述目标语句对应的第二增强参数，对所述语句特征进行特征增强，得到所述目标语句对应的第二增强特征；
基于所述每个词语对应的第一增强特征和第一增强参数，以及所述目标语句对应的第二增强特征和第二增强参数，确定所述第二融合特征。
5.根据权利要求4所述的方法，其特征在于，所述分别基于所述每个词语对应的第一增强参数，对所述每个词语对应的第一融合特征进行特征增强，得到所述每个词语对应的第一增强特征之前，所述方法还包括：
分别基于第二目标参数和所述每个词语对应的第一融合特征，确定所述每个词语对应的第一增强参数，所述第一增强参数与所述第二目标参数正相关，且所述第一增强参数与所述第一融合特征正相关。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标语句对应的第二增强参数，对所述语句特征进行特征增强，得到所述目标语句对应的第二增强特征之前，所述方法还包括：
基于所述第二目标参数和所述语句特征，确定所述目标语句对应的第二增强参数，所述第二增强参数与所述第二目标参数正相关，且所述第二增强参数与所述语句特征正相关。
7.根据权利要求5所述的方法，其特征在于，不同轮次中的第二目标参数不同，所述分别基于第二目标参数和所述每个词语对应的第一融合特征，确定所述每个词语对应的第一增强参数，包括：
分别基于当前轮次的所述第二目标参数和所述每个词语对应的第一融合特征，确定当前轮次中所述每个词语对应的第一增强参数。
8.根据权利要求7所述的方法，其特征在于，所述目标语句对应于属于不同轮次的多个语句特征，所述基于所述目标语句对应的第二增强参数，对所述语句特征进行特征增强，得到所述目标语句对应的第二增强特征，包括：
基于当前轮次中所述目标语句对应的第二增强参数，对当前轮次中的语句特征进行特征增强，得到当前轮次中所述目标语句对应的第二增强特征；
所述基于所述每个词语对应的第一增强特征和第一增强参数，以及所述目标语句对应的第二增强特征和第二增强参数，确定所述第二融合特征，包括：
基于当前轮次中所述每个词语对应的第一增强特征和第一增强参数，以及当前轮次中所述目标语句对应的第二增强特征和第二增强参数，确定当前轮次的第二融合特征。
9.根据权利要求4所述的方法，其特征在于，所述基于所述每个词语对应的第一增强特征和第一增强参数，以及所述目标语句对应的第二增强特征和第二增强参数，确定所述第二融合特征，包括：
对所述每个词语对应的第一增强特征与所述第二增强特征进行求和，得到合并特征；
对所述每个词语对应的第一增强参数与所述第二增强参数进行求和，得到合并参数；
将所述合并特征与所述合并参数之间的比例，确定为所述第二融合特征。
10.根据权利要求1所述的方法，其特征在于，所述获取目标语句中的每个词语对应的词语特征和短语特征，包括以下至少一项：
基于所述每个词语在短语中的词性，确定所述每个词语对应的一个短语特征；
基于所述每个词语在短语中的句法成分，确定所述每个词语对应的一个短语特征；
基于所述每个词语在短语中所属的实体类型，确定所述每个词语对应的一个短语特征。
11.根据权利要求1所述的方法，其特征在于，所述获取所述目标语句对应的语句特征，包括：
获取多个句式类型，每个句式类型中包括按顺序排列的多个实体类型；
确定所述目标语句中按顺序排列的多个词语所属的实体类型；
根据所述多个词语所属的实体类型的排列顺序，确定与所述目标语句匹配的句式类型；
将确定的句式类型对应的特征标签，作为所述目标语句的语句特征。
12.根据权利要求1所述的方法，其特征在于，所述分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征，包括：
调用特征融合模型，分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
所述将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征，包括：
调用所述特征融合模型，将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
13.一种特征融合装置，其特征在于，所述装置包括：
第一特征获取模块，用于获取目标语句中的每个词语对应的词语特征和短语特征，所述词语对应的短语特征为：所述词语属于所述目标语句中的短语的情况下所述词语的特征；
第一特征融合模块，用于分别将所述每个词语对应的词语特征与短语特征进行融合，得到所述每个词语对应的第一融合特征；
第二特征获取模块，用于获取所述目标语句对应的语句特征；
第二特征融合模块，用于将所述每个词语对应的第一融合特征与所述语句特征进行融合，得到所述目标语句对应的第二融合特征。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至12任一项所述的特征融合方法中所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至12任一项所述的特征融合方法中所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110104577.7A CN113569576A (zh) | 2021-01-26 | 2021-01-26 | 特征融合方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110104577.7A CN113569576A (zh) | 2021-01-26 | 2021-01-26 | 特征融合方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569576A true CN113569576A (zh) | 2021-10-29 |
Family
ID=78160974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110104577.7A Pending CN113569576A (zh) | 2021-01-26 | 2021-01-26 | 特征融合方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569576A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117590944A (zh) * | 2023-11-28 | 2024-02-23 | 上海源庐加佳信息科技有限公司 | 实体人对象和数字虚拟人对象的绑定系统 |
-
2021
- 2021-01-26 CN CN202110104577.7A patent/CN113569576A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117590944A (zh) * | 2023-11-28 | 2024-02-23 | 上海源庐加佳信息科技有限公司 | 实体人对象和数字虚拟人对象的绑定系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897964B (zh) | 文本分类模型训练方法、装置、设备及存储介质 | |
| CN111985240B (zh) | 命名实体识别模型的训练方法、命名实体识别方法及装置 | |
| CN109726396A (zh) | 问答文本的语义匹配方法、装置、介质及电子设备 | |
| CN112347795A (zh) | 机器翻译质量评估方法、装置、设备及介质 | |
| CN108846077A (zh) | 问答文本的语义匹配方法、装置、介质及电子设备 | |
| CN110852100A (zh) | 关键词提取方法、装置、电子设备及介质 | |
| CN113515942A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
| CN111930964B (zh) | 内容处理方法、装置、设备及存储介质 | |
| CN111368525A (zh) | 信息搜索方法、装置、设备及存储介质 | |
| CN113255328B (zh) | 语言模型的训练方法及应用方法 | |
| CN112749728A (zh) | 学生模型训练方法、装置、计算机设备及存储介质 | |
| CN114281956A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
| CN113392180A (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN112733970A (zh) | 图像分类模型处理方法、图像分类方法及装置 | |
| CN113569607A (zh) | 动作识别方法、装置、设备以及存储介质 | |
| CN113569576A (zh) | 特征融合方法、装置、计算机设备及存储介质 | |
| CN111414737B (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN112287070A (zh) | 词语的上下位关系确定方法、装置、计算机设备及介质 | |
| CN117273019A (zh) | 对话模型的训练方法、对话生成方法、装置和设备 | |
| CN113486260B (zh) | 互动信息的生成方法、装置、计算机设备及存储介质 | |
| CN113761195A (zh) | 文本分类方法、装置、计算机设备及计算机可读存储介质 | |
| CN113515943A (zh) | 自然语言处理方法及其模型的获取方法、装置、存储介质 | |
| CN114153953A (zh) | 对话回复的生成方法、装置、设备及存储介质 | |
| CN114282543A (zh) | 文本数据处理方法、装置、计算机设备及存储介质 | |
| CN113822084A (zh) | 语句翻译方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056465 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |