CN107122350B - 一种多段落文本的特征抽取系统的方法 - Google Patents

Abstract

本发明涉及一种多段落文本的特征抽取系统及方法，包括第一计算模块、主控模块、权重设置模块、文本处理模块、分词器和第二计算模块；所述第一计算模块、权重设置模块、文本处理模块、分词器和第二计算模块均与主控模块进行数据交互。本发明提供的技术方案通用、可行的来实现文本特征提取，并在文本特征提取过程中，能够体现文本中不同段落的权重差异。

Description

一种多段落文本的特征抽取系统的方法

技术领域

本发明涉及一种文本特征抽取技术，具体涉及一种多段落文本的特征抽取系统的方法。

背景技术

原始文档经过文本处理系统的预处理、分词、词频统计、TF-IDF计算及向量生成等步骤被存储在持久化存储体中，以备进一步的文本计算应用调用。

通过提取文本特征并转化为向量存储，满足了文本之间可以进行计算比较的目的，同时需要保证文本的主要语义在文本向量中得以保留。那么衡量文本特征提取好坏的关键就是：文本的语义是否能够较好的保留。现有技术在文本特征提取时存在着一个显著的缺点，就是把文本通篇内容对等待。但是，人们在组织文本内容时，是把文本作为一个完整篇章来对待的，通常是用标题来概括全篇的主题，隐含了文章的领域和范畴，在文本首段落明确全文的主要内容和核心思想，其它段落分别针对主题的某个方面进行阐述，通常每个段落的首句会表达全段的主题(但这点经常被打破)。一般最后一段会作为总结段落陈述结论或回顾中心思想(资讯或简单文章可能不遵循这点)。因而，对于各段落来讲，同样语句、用词及词频在不同的段落其语义权重(即表达文本语义的相对重要性)是不一样的。

总体来说，对于段落：标题权重>摘要(如果有)权重>首段落权重>尾段落权重>其它段落权重；对于段落内各语句：首句权重>其它句权重。而当前的文本特征提取技术并没有把这种行文过程中按段落组织语义的特点考虑进去。

发明内容

针对现有技术中的不足，本发明的目的是提供一种多段落文本的特征抽取系统的方法，本发明是实现一种通用、可行的方法来实现文本特征提取，并在文本特征提取过程中，能够体现文本中不同段落的权重差异。

本发明的目的是采用下述技术方案实现的：

本发明提供一种多段落文本的特征抽取系统，其改进之处在于，包括第一计算模块、主控模块、权重设置模块、文本处理模块、分词器和第二计算模块；所述第一计算模块、权重设置模块、文本处理模块、分词器和第二计算模块均与主控模块进行数据交互。

进一步地，还包括文本向量库，所述文本向量库用于存储所述主控模块传输的段落文本向量。

进一步地，所述第一计算模块用于计算段落文本中的方程组；所述第二计算模块用于信息检索与数据挖掘的常用加权的TF-IDF计算。

进一步地，所述权重设置模块用于对生成的方程组进行权重设置，所述文本处理模块用于对段落文本进行分段处理。

本发明还提供一种多段落文本的特征抽取系统的抽取方法，其改进之处在于，包括：

对任一文本T的段落进行标记；

对任一文本T设置期望相对权重向量；

采用权重设置模块和文本处理模块分别对上述的标记段落和期望相对权重向量进行特征抽取，得到段落不同权重的文本向量。

进一步地，所述对任一文本T的段落进行标记，包括：

对任一文T，由n个段落组成，第i个段落标记为Pi，则T＝[P1,P2,…,Pn]。

进一步地，所述对任一文本T设置期望相对权重向量，包括：

对于任一文本T，存在一个期望相对权重向量weights＝[w1,w2,…wn]，其中，wi表示Pi的相对权重；wi用绝对数值或相对数值表示。

进一步地，所述对上述的标记段落和期望相对权重向量进行特征抽取，得到段落不同权重的文本向量，包括下述步骤：

1)对于T中的每个段落P，采用分词器和第二计算模块进行向量化处理，并将得到的段落文本向量存入n维向量数组，其中数组元素为段落Pi所对应的文本向量；

2)对于n维向量数组中的每个数组元素，文本处理模块生成段落Pi所对应的文本向量的权重和，并存入权重和数组；

3)基于权重和数组和期望相对权重向量weights，生成用于权重分配的齐次线性方程组，并为方程组添加调节系数；

4)采用第一计算模块解方程组，得出解为调节系数数组；

5)调节各段落文本向量：把调节系数与对应的文本向量相乘，得出调节后的段落文本向量；

6)合并段落文本向量：将n维向量数组中乘过调节系统的段落文本向量进行累加，得到最终的体现各段落不同权重的段落文本向量，将段落文本向量存储至文本向量库中。

进一步地，所述步骤2)中，文本向量的权重和计算方法为：将段落Pi所对应的文本向量中每个元素值相加，返回累加结果，文本向量的权重和存入权重和数组的相应位置。

进一步地，所述步骤3)中，齐次线性方程组以矩阵表示，最终返回一个二组数组；对每个段落增加一个调节系数，包括：调节系数ci满足等式(paragraphWeight[i]*ci)/(paragraphWeight[i]*ci)＝weights[i]；

其中：ci为段落Pi的调节系数；得到特定解时，在方程组中添加约束条件sum(ci)＝1；paragraphWeight[]为权重和数组；weights[i]为期望相对权重向量；

优选的，所述步骤5)中，即对于n维向量数组中的每个数组元素，满足vectorArray[i][j]*coefficients[i]，然后保存在原文本向量的原位置上。

其中：coefficients[i]为调节系数数组元素，vectorArray[i][j]为n维向量数组，i、j＝1、2、3、......、n，i表示数组的行，j表示数组的列。

与最接近的现有技术相比，本发明提供的技术方案达到的有益效果是：

本发明实现一种通用、可行的方法来实现文本特征提取，并在文本特征提取过程中，能够体现文本中不同段落的权重差异，具体为：

1.精度和效率高：提取的文本向量能够更好地反应原文的语义特征，能够大幅度提高用户可感知的文本推荐精度，并且可以根据各类应用的需要随时调整各段落的相对权重。

2.成本低廉：可以方便地各种文本处理系统衔接，只需替换原有的文本向量生成部分即可。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现在技术的文本提取的主要结构和原理图；

图2是多段落文本的特征抽取系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

实施例一、

本发明提供一种多段落文本的特征抽取系统，其结构图如图2所示，包括第一计算模块、主控模块、权重设置模块、文本处理模块、分词器和第二计算模块；所述第一计算模块、权重设置模块、文本处理模块、分词器和第二计算模块均与主控模块进行数据交互。

上述实施例中，还包括文本向量库，所述文本向量库用于存储所述主控模块传输的段落文本向量。

上述实施例中，所述第一计算模块用于计算段落文本中的方程组；所述第二计算模块用于信息检索与数据挖掘的常用加权的TF-IDF计算。

上述实施例中，所述权重设置模块用于对生成的方程组进行权重设置，所述文本处理模块用于对段落文本进行分段处理。

实施例二、

本发明还提供一种多段落文本的特征抽取系统的抽取方法，包括：

S1：对于任一文本T，假设其由n个段落组成，第i个段落标记为Pi，则T＝[P1,P2,…,Pn]。

S2：对于任一文本T，假设存在一个期望相对权重向量weights＝[w1,w2,…wn]，其中，wi表示Pi的相对权重。wi可以用绝对数值来表示(如：整型数值)，也可以相对数值来表示(如：百分比)。

S3：采用权重设置模块和文本处理模块分别对上述的标记段落和期望相对权重向量进行特征抽取，得到段落不同权重的文本向量，包括下述子步骤：

1)对于T中的每个段落P，采用分词器和第二计算模块进行向量化处理，并将得到的段落文本向量存入n维向量数组vectorArray[]，其中数组元素vectorArray[i]为段落Pi所对应的文本向量；

2)对于vectorArray中的每个元素vectorArray[i]，生成该向量的权重和，计算方法为：将该向量中每个元素值相加，返回累加结果。向量和存入数组paragraphWeight[]的相应位置。

3)基于paragraphWeight和weights，生成用于权重分配的齐次线性方程组。方程组直接以矩阵来表示，最终返回一个二组数组。为使每个段落的文本向量在最终向量中达到相应的相对权重要求，需要对每个段落增加一个调节系数，方程组就是关于调节系数的。假设段落Pi的调节系数为ci，则ci需满足等式(paragraphWeight[i]*ci)/(paragraphWeight[i]*ci)＝weights[i]。为得到特定解，在方程组中添加约束条件sum(ci)＝1。

4)采用第一计算模块解方程组，得出解为调节系数数组coefficients[n]。

5)调节各段落文本向量：把调节系数与对应的文本向量相乘，得出调节后的文本向量。即对于vectorArray中的每个向量vectorArray[i]，将其中的每个元素vectorArray[i][j]*coefficients[i]，然后保存在原文本向量的原位置上。

6)合并文本向量：将vectorArray中乘过调节系统的文本向量进行累加，得到最终的体现各段落不同权重的文本向量，将段落文本向量存储至文本向量库中。

本发明的技术方案在提取的文本向量能够更好地反应原文的语义特征，能够大幅度提高用户可感知的文本推荐精度，精度和效率高，并且可以根据各类应用的需要随时调整各段落的相对权重。可以方便地各种文本处理系统衔接，只需替换原有的文本向量生成部分即可，成本低廉。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种多段落文本的特征抽取系统的方法，其特征在于，所述系统包括第一计算模块、主控模块、权重设置模块、文本处理模块、分词器和第二计算模块；所述第一计算模块、权重设置模块、文本处理模块、分词器和第二计算模块均与主控模块进行数据交互；

所述系统，还包括文本向量库，所述文本向量库用于存储所述主控模块传输的段落文本向量；

所述第一计算模块用于计算段落文本中的方程组；所述第二计算模块用于信息检索与数据挖掘的常用加权的TF-IDF计算；

所述权重设置模块用于对生成的方程组进行权重设置，所述文本处理模块用于对段落文本进行分段处理；

所述多段落文本的特征抽取系统的方法，包括：

对任一文本T的段落进行标记；

对任一文本T设置期望相对权重向量；

采用权重设置模块和文本处理模块分别对标记段落和期望相对权重向量进行特征抽取，得到段落不同权重的文本向量；

所述对标记段落和期望相对权重向量进行特征抽取，得到段落不同权重的文本向量，包括下述步骤：

1)对于T中的每个段落P，采用分词器和第二计算模块进行向量化处理，并将得到的段落文本向量存入n维向量数组，其中数组元素为段落Pi所对应的文本向量；

2)对于n维向量数组中的每个数组元素，文本处理模块生成段落Pi所对应的文本向量的权重和，并存入权重和数组；

3)基于权重和数组和期望相对权重向量weights，生成用于权重分配的齐次线性方程组，并为方程组添加调节系数；

4)采用第一计算模块解方程组，得出解为调节系数数组；

5)调节各段落文本向量：把调节系数与对应的文本向量相乘，得出调节后的段落文本向量；

6)合并段落文本向量：将n维向量数组中乘过调节系统的段落文本向量进行累加，得到最终的体现各段落不同权重的段落文本向量，将段落文本向量存储至文本向量库中。

2.如权利要求1所述的多段落文本的特征抽取系统的方法，其特征在于，所述对任一文本T的段落进行标记，包括：

对任一文本T，由n个段落组成，第i个段落标记为Pi，则T＝[P1，P2，…，Pn]。

3.如权利要求1所述的多段落文本的特征抽取系统的方法，其特征在于，所述对任一文本T设置期望相对权重向量，包括：

对于任一文本T，存在一个期望相对权重向量weights＝[w1，w2，…，wn]，其中，Wi表示Pi的相对权重；Wi用绝对数值或相对数值表示。

4.如权利要求1所述的多段落文本的特征抽取系统的方法，其特征在于，所述步骤2)中，文本向量的权重和计算方法为：将段落Pi所对应的文本向量中每个元素值相加，返回累加结果，文本向量的权重和存入权重和数组的相应位置。

5.如权利要求1所述的多段落文本的特征抽取系统的方法，其特征在于，所述步骤3)中，齐次线性方程组以矩阵表示，最终返回一个二维数组；对每个段落增加一个调节系数，包括：调节系数ci满足等式

其中：ci为段落Pi的调节系数；得到特定解时，在方程组中添加约束条件sum(ci)＝1；paragraphWeight[]为权重和数组；weights[i]为期望相对权重向量；

所述步骤5)中，即对于n维向量数组中的每个数组元素，满足vectorArray[i][j]*coefficients[i]，然后保存在原文本向量的原位置上；

其中：coefficients[i]为调节系数数组元素，vectorArray[i][j]为n维向量数组，i、j＝1、2、3、……、n，i表示数组的行，j表示数组的列。

Images