CN107092679B - 一种特征词向量获得方法、文本分类方法及装置 - Google Patents

一种特征词向量获得方法、文本分类方法及装置 Download PDF

Info

Publication number
CN107092679B
CN107092679B CN201710263961.5A CN201710263961A CN107092679B CN 107092679 B CN107092679 B CN 107092679B CN 201710263961 A CN201710263961 A CN 201710263961A CN 107092679 B CN107092679 B CN 107092679B
Authority
CN
China
Prior art keywords
text
target
feature
feature word
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710263961.5A
Other languages
English (en)
Other versions
CN107092679A (zh
Inventor
姚海鹏
刘冲
张培颖
章扬
王露瑶
殷志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710263961.5A priority Critical patent/CN107092679B/zh
Publication of CN107092679A publication Critical patent/CN107092679A/zh
Application granted granted Critical
Publication of CN107092679B publication Critical patent/CN107092679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种特征词向量获得方法、文本分类方法及装置，所述特征词向量获得方法包括：获得特征词集合；计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中的各特征词进行划分，获得多个近义词集合；针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重；将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。通过使用实施本实施例所获得的特征词向量，可以提高训练器训练效率。

Description

一种特征词向量获得方法、文本分类方法及装置
技术领域
本发明涉及自动分类技术领域，特别是涉及一种特征词向量获得方法、文本分类方法及装置。
背景技术
随着大数据时代的到来，互联网文本信息数量呈现指数式增长，因此如何有效地管理海量文档，成为研究热点。文本自动分类可以代替人类有效地完成文档的管理过程。
文本自动分类是指计算机根据文本内容，将文本自动归到一个或几个类别当中，属于自动聚类的过程。通常情况下，通过经过训练的分类器，将待分类文本进行分类。现有技术中，对分类器的训练过程具体如下：获得特征词集合，并计算特征词集合中各特征词针对训练集中各文本样本的权重，其中，特征词集合为训练集的特征词的集合，特征词为能够表征训练集内容的词汇；将所计算的权重中针对同一个文本样本的权重进行组合，获得各文本样本的特征词向量；将各文本样本的特征词向量输入至分类器，获得各文本样本的类型；当所获得的各文本样本的类型与预先设定的各文本样本的类别标签相一致时，结束训练；否则调整分类器参数，将各文本样本的特征词向量重新输入至调整后分类器，获得各文本样本的文本类型。举例而言，假设特征词集合包括A、B、C、D、E五个特征词，训练集包括5个文本样本，计算得到上述特征词针对五个文本样本T1、T2、T3、T4、T5的权重分别为：1、2、3、4、5；2、1、3、5、4；0、2、2、3、4；2、3、1、1、5；2、3、1、1、4，则各文本样本的特征词向量的维度为五，各特征词向量为(1,2,3,4,5)(2,1,3,5,4)(0,2,2,3,4)(2,3,1,1,5)(2,3,1,1,4)，将上述五维特征词向量输入至分类器，获得文本T1、T2、T3、T4、T5的类型，当所获得的类型与预先设定的类别标签相一致时，结束训练；否则调整分类器参数，将上述特征词向量重新输入至调整后分类器获得文本样本的类型。
由于，特征词向量的维度与特征词向量所对应的特征词的数量呈正相关，随着文本数量增长，训练分类器的训练集被不断地扩大，特征词数量也会上升，进而特征词向量的维度会增加，使得单次分类过程复杂化，加大训练器的训练复杂度，导致训练器训练效率低下的问题。
发明内容
本发明实施例的目的在于提供一种特征词向量获得方法及装置，以降低特征词向量的维度，进而提高训练器训练效率。另外，本发明实施例还提供了一种文本分类方法及装置，以提高文本分类的效率。具体技术方案如下：
第一方面，本发明实施例提供了一种特征词向量获得方法，所述方法包括：
获得特征词集合；
计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中的各特征词进行划分，获得多个近义词集合；
针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重；
将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。
可选的，所述针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近词集合针对所述目标文本的目标权重的步骤，包括：
通过以下方式，计算各近义词集合针对所述目标文本的目标权重：
将目标近义词集合中各特征词针对所述目标文本的第一权重之和作为所述目标权重，其中，所述目标近义词集合为多个近义词集合中的一个；或者
将所述目标近义词集合中各特征词针对所述目标文本的第一权重中的最大权重作为所述目标权重；或者
将所述目标近义词集合中任一个特征词针对所述目标文本的第一权重乘以1.1n，获得所述目标权重，其中，所述n为所述目标近义词集合中特征词的数量。
可选的，所述获得特征词集合的步骤，包括：
根据卡方检测算法，获得词袋子中各词汇与目标文本类别之间的相关度，其中，所述词袋子包括多个文本中的词汇，所述目标文本类别为预设的多个文本类别中的一个；
将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度；
针对每一词汇，当该词汇的优化后的相关度满足预设相关度条件时，将该词汇确定为目标文本类别的特征词；
当确定所有文本类别的特征词后，将各文本类别的特征词合并去重，得到特征词集合。
可选的，所述将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度的步骤，包括：
根据以下公式，获得所述优化后的相关度k：
Figure BDA0001275502530000031
其中，a为对数函数的底数，a>1，N为多个文本的文本总数，其中，所述多个文本满足预设文本条件，t为所述词袋子中的任一词汇，c为所述目标文本类别，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，χ2(t,c)为词汇t与目标文本类别c之间的相关度。
可选的，所述预设文本条件为：
A*D≠B*C，其中，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
第二方面，本发明实施例还提供了一种特征词向量获得装置，所述装置包括：
第一获得模块，用于获得特征词集合；
划分模块，用于计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中各特征词进行划分，获得多个近义词集合；
计算模块，用于针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近词集合针对所述目标文本的目标权重；
组合模块，用于将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。
可选的，所述计算模块，具体用于：
通过以下方式，计算各近义词集合针对所述目标文本的目标权重：
将目标近义词集合中各特征词针对所述目标文本的第一权重之和作为所述目标权重，其中，所述目标近义词集合为多个近义词集合中的一个；或者
将所述目标近义词集合中各特征词针对所述目标文本的第一权重中的最大权重作为所述目标权重；或者
将所述目标近义词集合中任一个特征词针对所述目标文本的第一权重乘以1.1n，获得所述目标权重，其中，所述n为所述目标近义词集合中特征词的数量。
可选的，所述第一获得模块，包括：
第一获得子模块，用于根据卡方检测算法，获得词袋子中各词汇与目标文本类别之间的相关度，其中，所述词袋子包括多个文本中的词汇，所述目标文本类别为预设的多个文本类别中的一个；
第二获得子模块，用于将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度；
确定子模块，用于针对每一词汇，当该词汇的优化后的相关度满足预设相关度条件时，将该词汇确定为目标文本类别的特征词；
合并子模块，用于当确定所有文本类别的特征词后，将各文本类别的特征词合并去重，得到特征词集合。
可选的，所述第二获得子模块，具体用于：
根据以下公式，获得所述优化后的相关度k：
Figure BDA0001275502530000051
其中，a为对数函数的底数，a>1，N为多个文本的文本总数，其中，所述多个文本满足预设文本条件，t为所述词袋子中的任一词汇，c为所述目标文本类别，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，χ2(t,c)为词汇t与目标文本类别c之间的相关度。
可选的，所述预设文本条件为：A*D≠B*C，其中，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
第三方面，本发明实施例提供了一种文本分类方法，所述方法包括：
获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据本发明实施例所提供的特征词向量获得方法得出；
将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例所提供的特征词向量获得方法得出。
可选的，所述分类器的训练过程包括：
获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据本发明实施例所提供的特征词向量获得方法得出；
将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；
当所获得类型与预设类别标签满足预设结束条件时，结束训练；
否则调整所述分类器的参数，并返回执行所述将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型的步骤。
第四方面，本发明实施例还提供了一种文本分类装置，所述装置包括：
第一特征词向量获得模块，用于获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据本发明实施例提供的特征词向量获得装置得出；
类型获得模块，用于将所述第一特征词向量输入至通过分类器训练模块所预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例提供的特征词向量获得装置得出。
可选的，所述分类器训练模块，包括：
第二特征词向量获得子模块，用于获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据本发明实施例提供的特征词向量获得装置得出；
样本类型获得子模块，用于将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；
类型判断子模块，用于当所获得类型与预设类别标签满足预设结束条件时，结束训练；否则调整所述分类器的参数，并触发所述样本类型获得子模块。
本发明实施例提供的一种特征词向量获得方法中，根据特征词间的相似度获得近义词集合，又根据近义词集合内的多个特征词针对目标文本的权重，计算出近义词集合的针对上述目标文本的唯一一个目标权重，使目标权重代替近义词集合内特征词的多个权重，作为目标文本的特征词向量的其中一个维度，因此能够降低特征词向量的维度，简化特征词向量，进而可以提高训练器的训练效率。
另外，本发明实施例所提供的一种文本分类方法中，获得待分类文本的第一特征词向量，其中，所述第一特征词向量本发明实施例所提供的特征词向量获得方法得出；进而将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例所提供的特征词向量获得方法得出。因此，通过本发明实施例所提供的文本分类方法，可以提高文本分类的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种特征词向量获得方法的步骤流程图；
图2为本发明实施例提供的一种特征词向量获得装置的结构示意图；
图3为本发明实施例提供的一种文本分类方法的步骤流程图；
图4为本发明实施例提供的一种文本分类装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高训练器训练效率，本发明实施例提供了一种特征词向量获得方法及装置，以下分别做详细介绍。
下面首先介绍本发明实施例所提供的一种特征词向量获得方法。该特征词向量获得方法可以应用于运行在电子设备上的特征词向量获得装置，该特征词向量获得装置可以为专门用于文本分类的软件，还可以为文本管理类软件等相关软件的功能插件。其中，该电子设备可以为服务端设备或客户端设备，在此不做限定。
如图1所示，本发明实施例提供的一种特征词向量获得方法，包括如下步骤：
S101：获得特征词集合；
通常通过特征词向量对文本进行分类，而特征词向量是各特征词针对文本的权重的组合，因此，首先获得各特征词组成的特征词集合。
特征词集合的获得方式可以有多种，可以首先获得词袋子，计算词袋子中各词汇与多个文本类别中的某一文本类别之间的相关度，根据上述相关度获得该文本类别的特征词集合，当获得所有文本类别的特征词集合后，对所获得特征词集合进行合并去重，获得特征词集合。
可选的，词袋子中所包括的词汇可以为名词、动词、形容词、副词等。具体可以通过开源软件，将多个文本中的停用词、出现次数少于L次的词汇去除，以获得词袋子，其中L为任一数值，开源软件可以为结巴分词库等。
文本类别可以为：预先根据词汇的意思进行划分而得的类别，类别可以包括娱乐、历史、科学、音乐、足球等。
本发明实施例提供一种较佳的特征词集合获得方式，使该集合中的特征词能够更加准确地表征文本的内容，可以包括以下步骤：
根据卡方检测算法，获得词袋子中各词汇与目标文本类别之间的相关度，其中，上述词袋子包括多个文本中的词汇，上述目标文本类别为预设的多个文本类别中的一个；
将各词汇的上述相关度乘以第一预设函数，获得各词汇与上述目标文本类别的优化后的相关度；
针对每一词汇，当该词汇的优化后的相关度满足预设相关度条件时，将该词汇确定为目标文本类别的特征词；当确定所有文本类别的特征词后，将各文本类别的特征词合并去重，得到特征词集合。
预设相关条件可以根据实际情况进行设定，例如，上述预设相关条件可以为：优化后的相关度大于某一数值；还可以为：优化后的相关度的数值排在前P名等。其中，P为任一数值。也就是说，在获得各词汇的优化后的相关度后，将优化后的相关度大于某一数值对应的词汇确定为特征词，或者对优化后相关度进行排名，将排在前P名的优化后相关度对应的词汇确定为特征词。
可选的，词汇与目标文本类别之间的相关度，除了根据卡方检测算法计算外，还可以根据某一词汇在目标文本类别所包括的文本中出现的频率计算；或者根据某一词汇在目标文本类别所包括的文本中出现的频率、以及该词汇在非目标文本类别所包括的文本中出现的频率计算。
卡方检测算法计算上述相关度的公式如下：
Figure BDA0001275502530000081
其中，t为词袋子中的任一词汇，c为目标文本类别，N为多个文本包括的文本总数，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
较佳的，获得词汇与目标文本类别之间的相关度后，通过第一预设函数优化上述相关度，即根据以下公式，获得优化后的相关度k：
Figure BDA0001275502530000091
其中，a为对数函数的底数，a>1，N为多个文本包括的文本总数，其中，上述多个文本满足预设文本条件，t为词袋子中的任一词汇，c为目标文本类别，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，χ2(t,c)为词汇t与目标文本类别c之间的相关度。
其中，预设文本条件，可以为A*D≠B*C，其中，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
S102：计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中各特征词进行划分，获得多个近义词集合；
其中，获得特征词集合后，为了减小特征词向量的维度，可以计算各特征词间的相似度，以将相似度高的特征词划分至同一个近义词集合内。其中，相似度可以为两个词语所表达的语意间的相似程度，可选的，可以通过同义词词林、知网等应用服务进行计算。
可选的，当所获得的相似度大于α时，将相似度对应的词汇认定为相似度高，将该相似度对应的词汇划分至同一个近义词集合内，对于α的取值，可以为0.5、0.6、0.7、0.75、0.8、0.85、0.9、1等，较佳的，α的值为0.8。
S103：针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重；
需要说明的是，第一权重为近义词集合内的特征词针对目标文本的权重，也就是说，一个近义词集合针对目标文本的目标权重为：根据该近义词集合内各个特征词针对于目标文本的第一权重所计算得到的。
可选的，计算目标权重的方式可以包括以下三种方式。
方式1，将目标近义词集合中各特征词针对目标文本的第一权重之和作为目标权重，其中，上述目标近义词集合为多个近义词集合中的一个；举例而言，近义词集合U中包括5个特征词集合，权重分别为：2、4、3、6、5，则计算所得的目标权重为：2+4+3+6+5＝20。
方式2，将目标近义词集合中各特征词针对目标文本的第一权重中的最大权重作为目标权重；例如，针对上述近义词集合U来说，计算所得的目标权重为2、4、3、6、5中的最大权重6。
方式3，将目标近义词集合中任一个特征词针对目标文本的第一权重乘以1.1n，获得目标权重，其中，上述n为上述目标近义词集合中特征词的数量，例如，对于上述近义词集合U来说，从2、4、3、6、5中，任选一个权重3，将3乘以1.15，则目标权重为4.83153。
对于近义词集合中各特征词针对目标文本的第一权重的获得方法，可选的，可以根据每一特征词在目标文本中的出现频率，计算该特征词针对目标文本的权重。
S104：将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。
其中，将特征词进行近义词划分获得近义词集合，并计算每一集合的目标权重后，需要获得特征词向量。本发明实施例中，特征词向量可以根据特征词集合中所有特征词的对于目标文本的权重而确定：一部分特征词被划分至近义词集合内，其权重被转化为目标权重，作为特征词向量的一部分；对于那些由于语义不近未被划分至近义词集合的特征词，将其权重称为第二权重，作为特征词向量的另一部分。也就是说，特征词向量为：未被划分至近义词集合的特征词针对目标文本的权重(以下简称第二权重)和目标权重的组合。例如，划分近义词集合后，获得3个目标权重：2、4、5，获得两个第二权重：3、2，则组合后的特征词向量为(2、4、5、3、2)。
可见，本发明实施例提供的一种特征词向量获得方法，根据特征词间的相似度获得近义词集合，又根据近义词集合内的多个特征词针对目标文本的权重，计算出近义词集合的针对上述目标文本的唯一一个目标权重，使目标权重代替近义词集合内特征词的多个权重，作为目标文本的特征词向量的其中一个维度，因此能够降低特征词向量的维度，简化特征词向量，进而可以提高训练器的训练效率。
相应于上述的特征词向量获得方法，本发明实施例还提供了一种特征词向量获得装置。如图2所示，该特征词向量获得装置，可以包括：
第一获得模块210，用于获得特征词集合；
划分模块220，用于计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中各特征词进行划分，获得多个近义词集合；
计算模块230，用于针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近词集合针对所述目标文本的目标权重；
组合模块240，用于将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。
本发明实施例提供的一种特征词向量获得装置，根据特征词间的相似度获得近义词集合，又根据近义词集合内的多个特征词针对目标文本的权重，计算出近义词集合的针对上述目标文本的唯一一个目标权重，使目标权重代替近义词集合内特征词的多个权重，作为目标文本的特征词向量的其中一个维度，因此能够降低特征词向量的维度，简化特征词向量，进而可以提高训练器的训练效率。
可选的，所述计算模块230，具体用于：
通过以下方式，计算各近义词集合针对所述目标文本的目标权重：
将目标近义词集合中各特征词针对所述目标文本的第一权重之和作为所述目标权重，其中，所述目标近义词集合为多个近义词集合中的一个；或者
将所述目标近义词集合中各特征词针对所述目标文本的第一权重中的最大权重作为所述目标权重；或者
将所述目标近义词集合中任一个特征词针对所述目标文本的第一权重乘以1.1n，获得所述目标权重，其中，所述n为所述目标近义词集合中特征词的数量。
可选的，所述第一获得模块210，包括：
第一获得子模块，用于根据卡方检测算法，获得词袋子中各词汇与目标文本类别之间的相关度，其中，所述词袋子包括多个文本中的词汇，所述目标文本类别为预设的多个文本类别中的一个；
第二获得子模块，用于将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度；
确定子模块，用于针对每一词汇，当该词汇的优化后的相关度满足预设相关度条件时，将该词汇确定为目标文本类别的特征词；
合并子模块，用于当确定所有文本类别的特征词后，将各文本类别的特征词合并去重，得到特征词集合。
可选的，所述第二获得子模块，具体用于：
根据以下公式，获得所述优化后的相关度k：
Figure BDA0001275502530000121
其中，a为对数函数的底数，a>1，N为多个文本的文本总数，其中，所述多个文本满足预设文本条件，t为所述词袋子中的任一词汇，c为所述目标文本类别，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，χ2(t,c)为词汇t与目标文本类别c之间的相关度。
可选的，所述预设文本条件为：A*D≠B*C，其中，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
基于上述所提供的特征词向量获得方法，本发明实施例还提供了一种文本分类方法及装置，以提高文本分类效率。
下面首先介绍本发明实施例所提供的一种文本分类方法。该文本分类方法可以应用于运行在电子设备上的文本分类装置，该文本分类装置可以为专门用于文本分类的软件，还可以为文本管理类软件等相关软件的功能插件。
如图3所示，一种文本分类方法，可以包括如下步骤：
S301：获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据本发明实施例所提供的特征词向量获得方法得出；
具体的，第一特征词向量的获得过程可以包括如下步骤：获得针对所述待分类文本的特征词集合；将所获得特征词集合内的特征词进行近义词合并以获得若干近义词集合；针对每一近义词集合，根据该近义词集合内的各特征词针对待分类文本的权重，计算各近义词集合的目标权重；将目标权重、以及未被划分至近义词集合的特征词针对待分类文本的权重进行组合，获得第一特征向量。
其中，所述待分类的特征词集合的具体确定方式可以为上述实施例中所提及的确定方式，当然并不局限于此。
S302：将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例所提供的特征词向量获得方法得出。
具体的，分类器的训练过程可以包括如下步骤：获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据本发明实施例所提供的特征词向量获得方法得出；将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；当所获得类型与预设类别标签满足预设结束条件时，结束训练；否则调整所述分类器的参数，并返回执行所述将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型的步骤。
本发明实施例所提供的一种文本分类方法中，获得待分类文本的第一特征词向量，其中，所述第一特征词向量通过本发明实施例所提供的特征词向量获得方法得出；进而将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例所提供的特征词向量获得方法得出。因此，通过本发明实施例所提供的文本分类方法，可以提高文本分类的效率。
基于上述的文本分类方法，本发明实施例还提供了一种文本分类装置。如图4所示，该文本分类装置包括：
第一特征词向量获得模块410，用于获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据本发明实施例提供的特征词向量获得装置得出；
类型获得模块420，用于将所述第一特征词向量输入至通过分类器训练模块所预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例提供的特征词向量获得装置得出。
本发明实施例所提供的一种文本分类装置中，获得待分类文本的第一特征词向量，其中，所述第一特征词向量通过本发明实施例所提供的特征词向量获得装置得出；进而将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据本发明实施例所提供的特征词向量获得方法得出。因此，通过本发明实施例所提供的文本分类装置，可以提高文本分类的效率
可选的，所述分类器训练模块，包括：
第二特征词向量获得子模块，用于获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据本发明实施例提供的特征词向量获得装置得出；
样本类型获得子模块，用于将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；
类型判断子模块，用于当所获得类型与预设类别标签满足预设结束条件时，结束训练；否则调整所述分类器的参数，并触发所述样本类型获得子模块。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种特征词向量获得方法，其特征在于，所述方法包括：
获得特征词集合；
计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中的各特征词进行划分，获得多个近义词集合；
针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重；
将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重；
所述针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重的步骤，包括：
通过以下方式，计算各近义词集合针对所述目标文本的目标权重：
将目标近义词集合中各特征词针对所述目标文本的第一权重之和作为所述目标权重，其中，所述目标近义词集合为多个近义词集合中的一个；或者
将所述目标近义词集合中各特征词针对所述目标文本的第一权重中的最大权重作为所述目标权重；或者
将所述目标近义词集合中任一个特征词针对所述目标文本的第一权重乘以1.1n，获得所述目标权重，其中，所述n为所述目标近义词集合中特征词的数量。
2.根据权利要求1所述的方法，其特征在于，所述获得特征词集合的步骤，包括：
根据卡方检测算法，获得词袋子中各词汇与目标文本类别之间的相关度，其中，所述词袋子包括多个文本中的词汇，所述目标文本类别为预设的多个文本类别中的一个；
将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度；
针对每一词汇，当该词汇的优化后的相关度满足预设相关度条件时，将该词汇确定为目标文本类别的特征词；
当确定所有文本类别的特征词后，将各文本类别的特征词合并去重，得到特征词集合。
3.根据权利要求2所述的方法，其特征在于，所述将各词汇的所述相关度乘以第一预设函数，获得各词汇与所述目标文本类别的优化后的相关度的步骤，包括：
根据以下公式，获得所述优化后的相关度k：
Figure FDA0002232801550000021
其中，a为对数函数的底数，a＞1，N为多个文本的文本总数，其中，所述多个文本满足预设文本条件，t为所述词袋子中的任一词汇，c为所述目标文本类别，A为多个文本中属于目标文本类别c且包含词汇t的文本数，B为多个文本中不属于目标文本类别c且包含词汇t的文本数，χ2(t,c)为词汇t与目标文本类别c之间的相关度。
4.根据所述权利要求3所述的方法，其特征在于，所述预设文本条件为：
A*D≠B*C，其中，C为多个文本中属于目标文本类别c且不包含词汇t的文本数，D为多个文本中不属于目标文本类别c且不包含词汇t的文本数。
5.一种文本分类方法，其特征在于，所述方法包括：
获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据权利要求1所述的特征词向量获得方法得出；
将所述第一特征词向量输入至预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据权利要求1所述的特征词向量获得方法得出。
6.根据权利要求5所述的方法，其特征在于，所述分类器的训练过程包括：
获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据权利要求1所述的特征词向量获得方法得出；
将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；
当所获得类型与预设类别标签满足预设结束条件时，结束训练；
否则调整所述分类器的参数，并返回执行所述将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型的步骤。
7.一种特征词向量获得装置，其特征在于，所述装置包括：
第一获得模块，用于获得特征词集合；
划分模块，用于计算所述特征词集合中各特征词间的相似度，并根据所述相似度对所述特征词集合中各特征词进行划分，获得多个近义词集合；
计算模块，用于针对每一近义词集合，根据该近义词集合中特征词针对目标文本的第一权重，计算该近义词集合针对所述目标文本的目标权重；所述计算模块，具体用于：将目标近义词集合中各特征词针对所述目标文本的第一权重之和作为所述目标权重，其中，所述目标近义词集合为多个近义词集合中的一个；或者将所述目标近义词集合中各特征词针对所述目标文本的第一权重中的最大权重作为所述目标权重；或者将所述目标近义词集合中任一个特征词针对所述目标文本的第一权重乘以1.1n，获得所述目标权重，其中，所述n为所述目标近义词集合中特征词的数量；
组合模块，用于将所述目标权重与第二权重进行组合，得到所述目标文本的特征词向量，其中，所述第二权重为：未被划分至各近义词集合的特征词针对所述目标文本的权重。
8.一种文本分类装置，其特征在于，所述装置包括：
第一特征词向量获得模块，用于获得待分类文本的第一特征词向量，其中，所述第一特征词向量根据权利要求7所述的特征词向量获得装置得出；
类型获得模块，用于将所述第一特征词向量输入至通过分类器训练模块所预先训练的分类器，获得待分类文本的类型，其中，所述分类器训练时所利用的文本样本的特征词向量根据权利要求7所述的特征词向量获得装置得出。
9.根据权利要求8所述的文本分类装置，其特征在于，所述分类器训练模块，包括：
第二特征词向量获得子模块，用于获得训练集中各个文本样本的第二特征词向量，其中，所述第二特征词向量根据权利要求8所述的特征词向量获得装置得出；
样本类型获得子模块，用于将所述第二特征词向量输入至当前构建的分类器，获得各个文本样本的类型；
类型判断子模块，用于当所获得类型与预设类别标签满足预设结束条件时，结束训练；否则调整所述分类器的参数，并触发所述样本类型获得子模块。
CN201710263961.5A 2017-04-21 2017-04-21 一种特征词向量获得方法、文本分类方法及装置 Active CN107092679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710263961.5A CN107092679B (zh) 2017-04-21 2017-04-21 一种特征词向量获得方法、文本分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710263961.5A CN107092679B (zh) 2017-04-21 2017-04-21 一种特征词向量获得方法、文本分类方法及装置

Publications (2)

Publication Number Publication Date
CN107092679A CN107092679A (zh) 2017-08-25
CN107092679B true CN107092679B (zh) 2020-01-03

Family

ID=59638270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710263961.5A Active CN107092679B (zh) 2017-04-21 2017-04-21 一种特征词向量获得方法、文本分类方法及装置

Country Status (1)

Country Link
CN (1) CN107092679B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255810B (zh) * 2018-01-10 2019-04-09 北京神州泰岳软件股份有限公司 近义词挖掘方法、装置及电子设备
CN108334605B (zh) * 2018-02-01 2020-06-16 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN109960799B (zh) * 2019-03-12 2021-07-27 中南大学 一种面向短文本的优化分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794311A (zh) * 2010-03-05 2010-08-04 南京邮电大学 基于模糊数据挖掘的中文网页自动分类方法
CN103778226A (zh) * 2014-01-23 2014-05-07 北京奇虎科技有限公司 构建语言信息识别模型的方法及语言信息识别装置
CN103902570A (zh) * 2012-12-27 2014-07-02 腾讯科技（深圳）有限公司 一种文本分类特征提取方法、分类方法及装置
CN105260437A (zh) * 2015-09-30 2016-01-20 陈一飞 文本分类特征选择方法及其在生物医药文本分类中的应用
CN106095996A (zh) * 2016-06-22 2016-11-09 量子云未来（北京）信息科技有限公司 用于文本分类的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672814B2 (en) * 2015-05-08 2017-06-06 International Business Machines Corporation Semi-supervised learning of word embeddings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794311A (zh) * 2010-03-05 2010-08-04 南京邮电大学 基于模糊数据挖掘的中文网页自动分类方法
CN103902570A (zh) * 2012-12-27 2014-07-02 腾讯科技（深圳）有限公司 一种文本分类特征提取方法、分类方法及装置
CN103778226A (zh) * 2014-01-23 2014-05-07 北京奇虎科技有限公司 构建语言信息识别模型的方法及语言信息识别装置
CN105260437A (zh) * 2015-09-30 2016-01-20 陈一飞 文本分类特征选择方法及其在生物医药文本分类中的应用
CN106095996A (zh) * 2016-06-22 2016-11-09 量子云未来（北京）信息科技有限公司 用于文本分类的方法

Also Published As

Publication number Publication date
CN107092679A (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN105893533B (zh) 一种文本匹配方法及装置
KR101737887B1 (ko) 크로스 미디어 분석에 기반한 소셜 미디어 텍스트의 주제 카테고리 자동 분류 방법 및 그 장치
US8402036B2 (en) Phrase based snippet generation
CN107180084B (zh) 词库更新方法及装置
Ortega et al. SSA-UO: unsupervised Twitter sentiment analysis
US20160070803A1 (en) Conceptual product recommendation
CN110134792B (zh) 文本识别方法、装置、电子设备以及存储介质
CN107885717B (zh) 一种关键词提取方法及装置
Naik et al. Extractive text summarization by feature-based sentence extraction using rule-based concept
CN111538828A (zh) 文本情感分析方法、装置、计算机装置及可读存储介质
CN107092679B (zh) 一种特征词向量获得方法、文本分类方法及装置
Gross et al. Document summarization based on word associations
Chory et al. Sentiment analysis on user satisfaction level of mobile data services using Support Vector Machine (SVM) algorithm
CN110196910B (zh) 一种语料分类的方法及装置
CN107908649B (zh) 一种文本分类的控制方法
US20080168019A1 (en) Document clustering based on entity association rules
CN111737607B (zh) 数据处理方法、装置、电子设备以及存储介质
Agathangelou et al. Mining domain-specific dictionaries of opinion words
KR20180113444A (ko) 개체명 연결 방법, 장치, 시스템 및 컴퓨터 프로그램
Zheng et al. Comparing multiple categories of feature selection methods for text classification
CN115062135B (zh) 一种专利筛选方法与电子设备
JP2016103156A (ja) テキスト特徴量抽出装置、テキスト特徴量抽出方法、およびプログラム
Bae et al. An effective category classification method based on a language model for question category recommendation on a cQA service
CN114328820A (zh) 信息搜索方法以及相关设备
Toews et al. Determining Domain-Specific Differences of Polysemous Words Using Context Information.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant