CN105426354A

CN105426354A - 一种句向量的融合方法和装置

Info

Publication number: CN105426354A
Application number: CN201510727239.3A
Authority: CN
Inventors: 吕志高; 邹国平
Original assignee: Hangzhou Jiuyan Technology Co Ltd
Current assignee: Hangzhou Jiuyan Technology Co Ltd
Priority date: 2015-10-29
Filing date: 2015-10-29
Publication date: 2016-03-23
Anticipated expiration: 2035-10-29
Also published as: CN105426354B

Abstract

本发明公开了一种句向量的融合方法和装置。该方法包括：提取待处理文本中包括的文本词向量；在设定语料库中对所述文本词向量进行查找，生成第二词向量；根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量。本发明实施例所提供的技术方案，通过根据文本词向量与第二词向量之间的空间相似度，将文本中多组词向量融合为句向量，可以有效避免破坏单独词向量的内在语义信息，根据文本具体的应用场景，结合上下句的语义进行句向量融合，提升了句向量对待处理文本的表述能力。

Description

一种句向量的融合方法和装置

技术领域

本发明涉及网络安全技术领域，尤其涉及一种句向量的融合方法和装置。

背景技术

随着互联网及移动网络的迅速发展，借由网络传播消息的快捷性，越来越多的用户选择通过互联网平台与他人交流，共享信息，如可以通过网站或终端应用软件等方式。伴随而来也会产生许多不符合互联网安全使用环境，甚至是违反国家法律法规的内容，如政治敏感、淫秽色情的内容等等，导致相关的网站存在安全运营风险；某些商贩为了提升自身店铺/商品的曝光度，会在各互联网环境下，疯狂宣传自家产品，使得网站或应用软件的用户体验极差，甚至出现利用广告信息进行诈骗等不良现象，给互联网安全管理工作带来了非常大的压力。因此，为了保证网络环境的安全以及用户的良好体验，有必要采用技术手段对目标信息(典型的，广告类信息)进行识别。

文本作为信息传播的主要数据类型之一，对文本数据中的目标信息进行识别显得尤为重要，文本中目标信息的识别通常采用由词向量融合生成的句向量，作为文本特征，进行识别。

现有的句向量融合方法通常采用对文本词向量直接进行加权累加来实现，会破坏多个词向量的语义，其仅适用于较短的文本处理，当待处理的文本较长时，该方法会随着词向量数据的增加，生成的词向量分类辨析能力下降，对句向量对文本特征的表述能力产生较大影响。

发明内容

有鉴于此，本发明实施例提供一种句向量的融合方法和装置，以解决现有的句向量融合技术会破坏多个词向量的语义，影响对文本特征的表述能力的问题。

第一方面，本发明实施例提供了一种句向量的融合方法，包括：

提取待处理文本中包括的文本词向量；

在设定语料库中对所述文本词向量进行查找，生成第二词向量；

根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量。

第二方面，本发明实施例提供了一种句向量的融合装置，包括：

文本词向量提取模块，用于提取待处理文本中包括的文本词向量；

第二词向量生成模块，用于在设定语料库中对所述文本词向量进行查找，生成第二词向量；

文本句向量生成模块，用于根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量。

本发明实施例所提供的技术方案，通过根据文本词向量与第二词向量之间的空间相似度，将文本中多组词向量融合为句向量，可以有效避免破坏单独词向量的内在语义信息，实现了根据文本具体的应用场景，结合上下句的语义进行句向量融合的技术效果，提升了句向量对待处理文本的表述能力。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的一种句向量的融合方法的流程图；

图2是本发明实施例二提供的一种句向量的融合装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的一种句向量的融合方法的流程图。本实施例的方法具体可用于终端或服务器内对待处理文本进行句向量的融合，提取文本句向量的情况，还适用于对文本中目标信息的识别。本实施例的方法可以由句向量的融合装置来执行，该装置可独立的配置在终端或者服务器中，也可分布式配置在终端和服务器中，两者配合实现本实施例的方法。

本实施例的方法包括：

S110、提取待处理文本中包括的文本词向量；

一般来说，对文本特征最简单直接的表示就是单个的词，但由于文本数据中包含很多的词，而且有些词的出现频率很高，却与文本所传达信息并不相关，或者说是噪音数据，因此，提取文本词向量的目的是找出有用的词特征集，剔除无用的特征集，从而提高分类效率和分类精度。

其中，由于获取的文本数据量较大，而用于表示文本的特征理论上应该数量上尽量少，出现频率适中，冗余少，噪音少，且与其所属类别语义相关，含义尽量明确，因此，为了降低计算量，在提取文本中包括的文本词向量之前，优选是对待处理文本进行预处理，为文本词向量的提取做好准备。其中，预处理的方法可以包括文本排重，中文分词，去停用词等。

在本实施例中，可以采取各种方式提取待处理文本中包括的文本词向量，优选的，可以基于将单词转换成向量形式的word2vec工具，提取所述文本的词向量，通过上述工具进行词向量提取后，每条文本，分词后会有多个关键词，每个关键词会有一个词向量。

S120、在设定语料库中对所述文本词向量进行查找，生成第二词向量；

语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实，分析和研究语言系统的规律。

语料库根据采集的原则和方式的不同，可以分为：异质的(Heterogeneous)：没有特定的语料收集原则，广泛收集并原样存储各种语料；同质的(Homogeneous)：只收集同一类内容的语料；系统的(Systematic)：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；专用的(Specialized)：只收集用于某一特定用途的语料。除此之外，按照语料的语种，语料库也可以分成单语的(Monolingual)、双语的(Bilingual)和多语的(Multilingual)。按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的等。

在本实施例中，可以根据提取的文本词向量的类型选择相应的语料库作为设定语料库，在设定语料库的总的词向量中对所述文本词向量进行查找，生成第二词向量。

S130、根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量。

向量空间上的相似度可以用来表示文本语义上的相似度。在本实施例的一个优选实施方式中，根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量优选是包括：

通过计算所述文本词向量中各个向量元素与所述第二词向量中各个向量元素之间的余弦距离，确定与所述文本词向量对应的文本句向量。

余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量；向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。当两个词向量的夹角余弦等于1时，表示这两个词向量完全重复；当两个词向量的夹角的余弦值接近于1时，表示这两个词向量相似；两个词向量的夹角的余弦越小，表示两个词向量的相似度越低。

采用计算余弦距离确定文本词向量与第二词向量之间的空间相似度，进而生成文本句向量，可以有效避免破坏单独词向量的内在语义信息，根据文本具体的应用场景，结合上下句的语义进行句向量融合，提升句向量对待处理文本的表述能力；上述技术方案，除了适用于短文本处理，尤其适用于对长文本进行处理，相对于现有技术，本实施例所提供的技术方案，具有更好的文本分类辨析力，可以更好的表述文本特征。

例如，假设某一语料库提取所述第一文本信息中包括的词向量后，产生N个词向量D＝{D₁,D₂,...,D_N}，且每一个词向量为M维，即D_i＝{V_i1,V_i2,...,V_iM},1≤i≤N；一条文本经过分词并搜寻词向量D后，有n个词在语料库中被找到，其词向量分别为d＝{d₁,d₂,...,d_n}，且每个词向量为M维，即d_j＝{d_j1,d_j2,...,d_jM},1≤j≤n，同时每个词出现频率与逆向文件频率，分别为tf＝{tf₁,tf₂,...,tf_n}，idf＝{idf₁,idf₂,...,idf_n}；其中，逆向文件频率idf主要用于分析词的类别区分能力，如果包含设定词的文本越少，idf越大，则说明该设定词具有很好的类别区分能力，反之，就说明该设定词的类别区分能力相对较差。

通过对词向量每个维度进行加权求和生成M维的句向量为S＝{S₁,S₂,...,S_M}，取句向量中某一维S_k,1≤k≤M，其表述公式为：

S_{k} = \frac{1}{n} Σ_{j = 1}^{n} ({tf}_{k} \cdot {idf}_{k} \cdot d_{j k}), 1 \leq j \leq n, 1 \leq k \leq M;

由于每个词向量是单独的个体，具体数值具有语义信息，上述公式的缺陷在于，其会直接破坏多个词向量的语义，不能根据待识别文本数据的具体应用场景，结合上下句语义进行句向量融合，使得最终对文本特征的表述能力产生较大影响，为了解决该问题，在本优选实施方式中，通过所述文本词向量中各个向量元素与所述第二词向量中各个向量元素之间的余弦距离，确定与所述文本词向量对应的文本句向量具体包括：

根据公式：

S_{k} = \frac{1}{n} Σ_{j = 1}^{n} ({tf}_{k} \cdot {idf}_{k} . d i s (d_{j k}, D_{k})), 1 \leq j \leq n, 1 \leq k \leq N

计算第一句向量；其中：

d i s (d_{j k}, D_{k}) = \frac{< d_{j k}, D_{k} >}{| | d_{j k} | | \cdot | | D_{k} | |}, 1 \leq j \leq n, 1 \leq k \leq N

其中，

D_k为所述第一文本信息中包括的第一词向量的集合D中的元素，

d_jk为对词向量D通过语料库查找后所生成第二词向量的集合d中的元素，

n为d中第二词向量的个数，

N为语料库中的词向量的个数，

tf_k为d中每个词出现的频率的集合tf中的元素，

idf_k为d中每个词的逆向文件频率的集合idf中的元素。

由于每条文本会产生多个词向量，采用上述基于文本多组词向量融合为句向量的方法，所有词向量维度固定，而且可以使得每条文本信息转换为一条词向量，充分考虑到多词向量的语义。

通过上述方法得到的第一句向量S_k通常比较高维，试验时千万条用户文本语料信息，产生句向量维度可高达10万维，因此，，在上述实施例的基础上优选是还包括：对计算得到的所述文本句向量进行降维处理，以生成设定维度的句向量。

在上述实施例的基础上，在根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量之后，优选是还包括：

将得到句向量与设定的训练模型进行比对，并根据比对结果识别所述待处理文本中包括的目标信息。

在将得到的句向量与设定的训练模型进行比对之前，还包括：获取计算得到的句向量的相匹配的训练模型。训练模型是机器学习中所使用的模型,需要在具体的场景中,使用具体的数据,选择合适的模型，如回归,分类,概率估计等,通过学习训练的过程,得到相应模型的参数,让最终的模型能够最好的模拟场景，供预测，分类等。

示例性的，可以通过将得到的句向量与预先训练好的模型进行相关度计算，当计算结果超过一个设定的相关度阈值时，确定与所述目标特征向量对应的待识别数据中包含有目标信息。

综上，本发明实施例所提供的技术方案，通过根据文本词向量与第二词向量之间的空间相似度，将文本中多组词向量融合为句向量，可以有效避免破坏单独词向量的内在语义信息，实现了根据文本具体的应用场景，结合上下句的语义进行句向量融合的技术效果，提升句向量对待处理文本的表述能力，此外，本实施例的方法还可以应用于对文本中的目标信息进行识别。

实施例二

图2为本发明实施例二提供的一种句向量的融合装置的结构示意图。如图2所示，该装置包括：

文本词向量提取模块210，用于提取待处理文本中包括的文本词向量；

第二词向量生成模块220，用于在设定语料库中对所述文本词向量进行查找，生成第二词向量；

文本句向量生成模块230，用于根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量。

本发明实施例所提供的技术方案，通过根据文本词向量与第二词向量之间的空间相似度，将文本中多组词向量融合为句向量，可以有效避免破坏单独词向量的内在语义信息，实现了根据文本具体的应用场景，结合上下句的语义进行句向量融合的技术手段，提升了句向量对待处理文本的表述能力。

进一步的，文本句向量生成模块230用于：

具体的，文本句向量生成模块230进一步用于：

根据公式：

S_{k} = \frac{1}{n} Σ_{j = 1}^{n} ({tf}_{k} \cdot {idf}_{k} \cdot d i s (d_{j k}, D_{k})), 1 \leq j \leq n, 1 \leq k \leq N

计算第一句向量；其中：

d i s (d_{j k}, D_{k}) = \frac{< d_{j k}, D_{k} >}{| | d_{j k} | | \cdot | | D_{k} | |}, 1 \leq j \leq n, 1 \leq k \leq N

其中，

n为d中第二词向量的个数，

N为语料库中的词向量的个数，

tf_k为d中每个词出现的频率的集合tf中的元素，

idf_k为d中每个词的逆向文件频率的集合idf中的元素。

在上述方案的基础上，该装置还包括：

句向量降维模块240，用于对计算得到的所述文本句向量进行降维处理，以生成设定维度的句向量。

此外，在上述方案的基础上，该装置可选是还包括：

目标信息识别模块250，用于在根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量之后，将得到句向量与设定的训练模型进行比对，并根据比对结果识别所述待处理文本中包括的目标信息。

本发明实施例所提供的句向量的融合装置可用于执行本发明实施例所提供的句向量的融合方法，具备相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种句向量的融合方法，其特征在于，包括：

提取待处理文本中包括的文本词向量；

2.根据权利要求1所述的方法，其特征在于，根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量包括：

3.根据权利要求2所述的方法，其特征在于，通过所述文本词向量中各个向量元素与所述第二词向量中各个向量元素之间的余弦距离，确定与所述文本词向量对应的文本句向量具体包括：

根据公式：

S_{k} = \frac{1}{n} Σ_{j = 1}^{n} ({tf}_{k} \cdot {idf}_{k} \cdot d i s (d_{j k}, D_{k})), 1 \leq j \leq n, 1 \leq k \leq N

计算第一句向量S_k；其中：

d i s (d_{j k}, D_{k}) = \frac{< d_{j k}, D_{k} >}{| | d_{j k} | | \cdot | | D_{k} | |}, 1 \leq j \leq n, 1 \leq k \leq N

其中，

n为d中第二词向量的个数，

N为语料库中的词向量的个数，

tf_k为d中每个词出现的频率的集合tf中的元素，

idf_k为d中每个词的逆向文件频率的集合idf中的元素。

4.根据权利要求3所述的方法，其特征在于，还包括：

对计算得到的所述文本句向量进行降维处理，以生成设定维度的句向量。

5.根据权利要求1-4任一项所述的方法，其特征在于，在根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量之后，还包括：

6.一种句向量的融合装置，其特征在于，包括：

7.根据权利要求1所述的装置，其特征在于，文本句向量生成模块用于：

8.根据权利要求7所述的装置，其特征在于，文本句向量生成模块进一步用于：

根据公式：

S_{k} = \frac{1}{n} Σ_{j = 1}^{n} ({tf}_{k} \cdot {idf}_{k} \cdot d i s (d_{j k}, D_{k})), 1 \leq j \leq n, 1 \leq k \leq N

计算第一句向量S_k；其中：

d i s (d_{j k}, D_{k}) = \frac{< d_{j k}, D_{k} >}{| | d_{j k} | | \cdot | | D_{k} | |}, 1 \leq j \leq n, 1 \leq k \leq N

其中，

n为d中第二词向量的个数，

N为语料库中的词向量的个数，

tf_k为d中每个词出现的频率的集合tf中的元素，

idf_k为d中每个词的逆向文件频率的集合idf中的元素。

9.根据权利要求8所述的装置，其特征在于，还包括：

句向量降维模块，用于对计算得到的所述文本句向量进行降维处理，以生成设定维度的句向量。

10.根据权利要求6-9任一项所述的装置，其特征在于，还包括：

目标信息识别模块，用于在根据所述文本词向量与所述第二词向量之间的空间相似度，确定与所述文本词向量对应的文本句向量之后，将得到句向量与设定的训练模型进行比对，并根据比对结果识别所述待处理文本中包括的目标信息。