CN112528016A

CN112528016A - 一种基于低维球面投影的文本分类方法

Info

Publication number: CN112528016A
Application number: CN202011301471.8A
Authority: CN
Inventors: 彭德光; 孙健; 黄攀; 汤斌; 易兴
Original assignee: Chongqing Megalight Technology Co ltd
Current assignee: Chongqing Megalight Technology Co ltd
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2021-03-19
Anticipated expiration: 2040-11-19
Also published as: CN112528016B

Abstract

本发明提出一种基于低维球面投影的文本分类方法，包括：构建文本向量与低维球面的投影关系，将输入的文本向量投影到所述低维球面中，获取所述文本向量的球面表示；将所述球面表示输入文本分类模型，获取输入文本的球面语义表示；本发明可有效提高文本分类以及相似度度量的速度。

Description

一种基于低维球面投影的文本分类方法

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于低维球面投影的文本分类方法。

背景技术

在文本分类过程中，面对数据量较大的文本数据时，无可避免地需要面对高维数据处理的问题。高维数据处理复杂度高，对计算机运算性能也要求相对提高，这极大地制约了文本分类的应用。如何处理高维数据处理，加快文本分类效率已成为目前亟需解决的一大难题。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于低维球面投影的文本分类方法，主要解决高维文本数据分类处理速度慢，效率低的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于低维球面投影的文本分类方法，包括：

构建文本向量与低维球面的投影关系，将输入的文本向量投影到所述低维球面中，获取所述文本向量的球面表示；

将所述球面表示输入文本分类模型，获取输入文本的球面语义表示。

可选地，构建文本向量与低维球面的投影关系，包括：

设置所述低维球面的维度，获取所述文本向量的每一维数据在所述低维球面各维度的分量表示；

根据所述分量表示获取每一维数据的投影角度，将所述文本向量的球面表示。

可选地，所述分量表示记为：

y₁＝rcosθ₁，y₂＝rsinθ₁cosθ₂，y₃＝rsinθ₁sinθ₂cosθ₃

…

y_L-1＝rsinθ₁sinθ₂...sinθ_L-2cosθ_L-1，y_L＝rsinθ₁sinθ₂...sinθ_L-1sinθ_L

其中，r＝|y|，y＝(y，...，y_L)∈R^L，L为所述低维球面的维度；y＝As；A为投影参数，s为文本向量。

可选地，所述投影角度表示为：

P_b(s)＝angle(As)，A∈R^L×n

其中，angle为求角度函数，L为所述低维球面的维度，n为所述文本向量的维度；s为文本向量，A为投影参数。

可选地，将所述球面表示输入文本分类模型，获取输入文本的球面语义表示，包括：

通过所述文本分类模型的线性变换矩阵对所述球面表示进行线性变换后，通过soitmax获取类别输出作为所述球面语义表示。

可选地，所述类别输出的计算方式为：

p＝softmax(BP_b(s))＝softmax(B angle(As))

其中，B为线性变换矩阵；|B|≤c_b，|A|≤c_a。

可选地，在所述文本分类模型训练阶段，根据所述投影角度构建代价函数；

根据所述代价函数采用梯度下降更新所述投影参数和所述线性变换矩阵。

可选地，所述代价函数表示为：

其中，t_k为第k样本的类别输出向量，p_k为第k样本的类别输出。

可选地，根据训练得到的投影参数，确定低维球面的投影关系；

将多个文本对应的文本向量分别输入所述低维球面，分别获取每个文本向量对应的球面表示；

根据所述球面表示的投影夹角或角度差的模长度量文本间的相似度。

可选地，所述相似度度量方式表示为：

similarity＝||P_b(s₁)-P_b(s₂)||₁

其中，s₁和s₂分别表示两个不同的文本向量。

如上所述，本发明一种基于低维球面投影的文本分类方法，具有以下有益效果。

通过将高维文本向量投影到低维球面，极大地降低了计算的复杂度，可有效加快分类效率。

附图说明

图1为本发明一实施例中基于低维球面投影的文本分类方法的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于低维球面投影的文本分类方法，包括步骤S01-S02。

在步骤S01中，构建文本向量与低维球面的投影关系，将输入的文本向量投影到所述低维球面中，获取所述文本向量的球面表示：

在一实施例中，仅示例性的以词袋模型获取文本向量为例，预先对待分类的文本进行分段、分词、分句等预处理，逐句或逐段统计词库中词语是否存在，将句子转换为由0或1表示的向量。例如，依次出现的词语序列“张三”，“李四”，“吃饭”，“回家”，词库长度为4，则“张三”表示为{1，0，0，0}；“李四”表示为“{0，1，0，0}”；“张三去吃饭”可表示为{1，0，1，0}。词袋模型输出的文本向量表示方法可根据实际应用需求进行调整，这里不再赘述。

在一实施例中，可设置低维球面的维度，获取所述文本向量的每一维数据在所述低维球面各维度的分量表示；

具体地，可构建一个低维球面的坐标投影方式。将文本向量按照构建的坐标投影方式投影到低维球面中。假设低维球面可以在直角坐标系下表示为x，则投影方式可表示为：

r＝|x|，其中x＝(x₁，...，x_L)∈R^L

x₁＝rcosθ₁，x₂＝rsinθ₁cosθ₂，x₃＝rsinθ₁sinθ₂cosθ₃

…

x_L-1＝rsinθ₁sinθ₂...sinθ_L-2cosθ_L-1，x_L＝rsinθ₁sinθ₂...sinθ_L-1sinθ_L

其中r为一固定长度，x为直角坐标系下的坐标，θ＝(θ₁，...，θ_L)为极坐标下的角度向量。

设文本向量可表示为：

s＝(w₁，w₂，...，w_n)，w_i∈{0，1}

则，低维球面的维度L远小于n。

进一步，文本向量与低维球面之间存在某种投影关系，可用投影参数A来表示。则投影计算方式可表示为y＝(y₁，...，y_n)＝As，根据该投影关系可以计算出文本向量中每一维数据在低维球面上的投影分量对应的投影角度。具体计算方式为：

P_b(s)＝angle(As)，A∈R^L×n

其中angle为求角度的函数，求解过程为：

设r_s＝|y|，则对应的

由此得到的θ＝(θ₁，...，θ_L)即为文本向量的球面表示。

通过投影计算将s转换为以上定义球面上的坐标，求得θ作为其投影输出。

在步骤S02中，将所述球面表示输入文本分类模型，获取输入文本的球面语义表示：

在一实施例中，可通过所述文本分类模型的线性变换矩阵对所述球面表示进行线性变换后，通过softmax获取类别输出作为所述球面语义表示。

具体地，假设线性变换矩阵为：B∈R^m×L

其中m为类别总数。

由文本向量输入到类别概率输出向量的计算表达式为：

p＝softmax(BP_b(s))＝softmax(B angle(As))，其中|B|≤c_b，|A|≤c_a

在一实施例中，在文本分类模型的训练阶段，根据所述投影角度构建代价函数；

具体训练过程如下：

定义低维球面的维度，并假设低维球面带参数函数形式

低维球面带参数函数形式为：

P_b(s)＝angle(As)，A∈R^L×n

其中，待定参数为A。

构造训练代价函数L

在有约束|B|≤c_b，|A|≤c_a的情况下，其代价函数可以采用极大似然法构造，被表示为：

其中，t_k为第k样本的类别输出向量，p_k为第k样本的球面投影分类输出。

对代价函数求关于参数的偏导数，用于训练过程中的梯度下降，迭代计算式为：

经过多次迭代，便可得到稳定的线性变换矩阵B和投影参数矩阵A。

将待分类样本输入训练好的文本分类模型，便可得到文本对应的球面语义表示。

在一实施例中，根据训练得到的投影参数，确定低维球面的投影关系；

具体地，训练得到的低维球面，将文本词袋向量投影到球面中，既可得到关于其低维球面的表示。(创新点同上)

θ＝P_b(s)＝angle(As)，A∈R^L×n

依据低维球面表示，计算两文本之间的球面投影夹角或角度之差的模长，此模长即为文本相似度的度量，此方法能快速计算文本相似度。(注意，此类相似度的基础是基于样本类别的度量，与词嵌入依据的序列关系度量不同，此类方法是基于类别关系生成的文本相似度度量)。(创新点)

文本s₁和s₂的度量计算式为

similarity＝||P_b(s₁)-P_b(s₂)||₁

相似度的度量方式也可采用2范数或其他计算方式，这里不作限制。

综上所述，本发明一种基于低维球面投影的文本分类方法，通过构建低维球面进行降维计算，可有效加快分类速度，提高大数据量的运算效率；基于低维球面进行相似度计算，极大地降低了参与计算的数据量，降低运算复杂度，可实现快速的相似度度量；低维球面的维度可根据不同设备的运算能力进行设置，具有更强的适用性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于低维球面投影的文本分类方法，其特征在于，包括：

2.根据权利要求1所述的基于低维球面投影的文本分类方法，其特征在于，构建文本向量与低维球面的投影关系，包括：

3.根据权利要求2所述的基于低维球面投影的文本分类方法，其特征在于，所述分量表示记为：

y₁＝rcosθ₁，y₂＝rsinθ₁cosθ₂，y₃＝rsinθ₁sinθ₂cosθ₃

…

y_L-₁＝rsinθ₁sinθ₂...sinθ_L-2cosθ_L-1，y_L＝rsinθ₁sinθ₂...sinθ_L-1sinθ_L

4.根据权利要求2所述的基于低维球面投影的文本分类方法，其特征在于，所述投影角度表示为：

P_b(s)＝angle(As)，A∈R^L×n

5.根据权利要求1所述的基于低维球面投影的文本分类方法，其特征在于，将所述球面表示输入文本分类模型，获取输入文本的球面语义表示，包括：

通过所述文本分类模型的线性变换矩阵对所述球面表示进行线性变换后，通过softmax获取类别输出作为所述球面语义表示。

6.根据权利要求5所述的基于低维球面投影的文本分类方法，其特征在于，所述类别输出的计算方式为：

p＝soitmax(BP_b(s))＝softmax(B angle(As))

其中，B为线性变换矩阵；|B|≤c_b，|A|≤c_a。

7.根据权利要求2至6任一所述的基于低维球面投影的文本分类方法，其特征在于，在所述文本分类模型训练阶段，根据所述投影角度构建代价函数；

8.根据权利要求7所述的基于低维球面投影的文本分类方法，其特征在于，所述代价函数表示为：

9.根据权利要求7所述的基于低维球面投影的文本分类方法，其特征在于，根据训练得到的投影参数，确定低维球面的投影关系；

10.根据权利要求9所述的基于低维球面投影的文本分类方法，其特征在于，所述相似度度量方式表示为：

similarity＝||P_b(s₁)-P_b(s₂)||₁

其中，s₁和s₂分别表示两个不同的文本向量。