CN114020916A - 文本分类方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及计算机技术领域，涉及了一种文本分类方法及装置、存储介质和电子设备。文本分类方法包括：根据待分类文本和文本知识库形成第一样本集，分类知识库包括具有目标数量类别的文本；根据目标数量和对应的类别确定聚类中心，并基于聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类；将待分类文本和文本知识库中粗分类中的文本进行融合处理，形成第二样本集；获取多个分类参数，基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别。本公开能根据现有文本知识库中的文本类别和数量实现对分类参数的调整，通过缩减分类范围降低分类计算资源消耗，分类效率高。

Description

文本分类方法、装置、存储介质和电子设备

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种文本分类方法、文本分类装置、计算机存储介质和电子设备。

背景技术

文本分类是指按照预先定义的主题类别，根据文本内容将不同的文本划分至与其相关类别的过程，将不同的待分类文本进行归类不仅可以方便浏览，也可以通过类别快速查询所需的文本，进而提高文本处理效率。

随着计算机技术领域的发展，文本分类已由过去完全依靠专业人员手工分类转为由机器实现的自动文本分类，然而在实际生产应用中很多文本信息标注工作往往仍依靠人工手动处理，其量级可能随业务增加动辄需要达到百、万、百万级别。一些应用场景下自动分类对计算资源消耗大，文本分类结果也受限于分类样本，分类准确性不高。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种文本分类方法及装置、计算机存储介质和电子设备，进而至少在一定程度上提高文本分类的准确性，降低分类计算的资源消耗。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种文本分类方法，包括：根据待分类文本和文本知识库形成第一样本集，所述分类知识库包括具有目标数量类别的文本；根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，所述粗分类包括多个子分类；将所述待分类文本和所述文本知识库中所述粗分类中的文本进行融合处理，形成第二样本集；获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别。

在本公开的一种示例性实施例中，所述根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，包括：确定所述聚类中心的数量为所述目标数量；在所述第一样本集中随机选择具有所述目标数量的样本作为第一聚类中心，基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类。

在本公开的一种示例性实施例中，所述在所述第一样本集中随机选择具有所述目标数量的样本作为第一聚类中心，基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，包括：在所述第一样本集所包含文本知识库中的各类别文本中，分别随机选择一个样本作为所述第一聚类中心；基于所述第一聚类中心，采用K均值聚类算法对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类。

在本公开的一种示例性实施例中，所述基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类包括：获取所述第一样本集中的样本与每个所述第一聚类中心的距离，并根据所述距离将所述第一样本集中的样本分配至各所述第一聚类中心对应的类别，得到多个类别对应的候选样本集；获取每个所述候选样本集中样本的数量；若存在目标候选样本集中样本的数量小于第一预设数量阈值，则丢弃所述目标候选样本集对应的类别，并将所述目标候选样本集中的样本分配至其他候选样本集中；重新确定每个所述其他候选样本集对应的第二聚类中心，基于所述第二聚类中心，采用K均值聚类算法对所述第一样本集进行聚类处理，得到多个类别对应的目标样本集，所述目标样本集的数量少于所述候选样本集的数量；将所述待分类样本所属的目标样本集的类别，作为所述待分类样本所属的粗分类。

在本公开的一种示例性实施例中，所述获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别，包括：基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果；若存在超过预设数量的分类结果相同，则将相同的分类结果中所述待分类样本所属的类别，确定为所述目标子类别。

在本公开的一种示例性实施例中，在所述基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果之前，还包括：将所述第二样本集中除所述待分类文本之外的文本划分为第一测试集和第二测试集；采用最邻近节点算法，利用所述第一测试集对所述第二测试集中的每个样本进行分类；将所述第二测试集中分类错误的样本从所述第二样本集中删除。

在本公开的一种示例性实施例中，在所述基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果之前，还包括：若存在粗分类对应子分类中样本数量大于第二预设数量阈值的，则对所述粗分类对应子分类中的样本进行欠抽样，以均衡所述粗分类中各个子分类的样本数量。

在本公开的一种示例性实施例中，在得到所述目标子类别后，还包括：建立所述待分类文本与所述目标子类别中目标展示信息之间的对应关系。

根据本公开的一个方面，提供一种文本分类装置，所述装置包括：第一样本集获取模块，用于根据待分类文本和文本知识库形成第一样本集，所述分类知识库包括具有目标数量类别的文本；聚类处理模块，用于根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，所述粗分类包括多个子分类；第二样本集获取模块，用于将所述待分类文本和所述文本知识库中所述粗分类中的文本进行融合处理，形成第二样本集；分类处理模块，用于获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别。

根据本公开的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的文本分类方法。

根据本公开的一个方面，提供一种电子设备，包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的文本分类方法。

本公开的示例性实施例中的文本分类方法，根据文本知识库中文本的类别和数量确定第一聚类中心，以根据该第一聚类中心对待分类文本与文本知识库进行融合得到第一样本集进行聚类处理，从而得到多个粗分类；然后，将粗分类中的文本与待分类文本融合得到第二样本集，并基于多个分类参数分别采用预选的分类模型进行分类，得到待分类文本所属的目标子分类。一方面，本公开能根据现有文本知识库中文本的类别和数量调整聚类中心，控制得到粗分类的数量，以控制选出文本的数量，进而控制待分类样本所属的粗分类中样本的数量，从而对已聚类的文本进行分类，降低分类的计算资源消耗，具有较大灵活性；另一方面，通过结合两种分类方法，将文本先进行聚类再进行分类的方式，降低分类过程中对模型参数的敏感度，提高文本分类准确性，也能提高基于文本分类的业务处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示出了根据本公开示例性实施例的文本分类方法的流程图；

图2示出了根据本公开示例性实施方式的基于第一聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类的流程图；

图3示出了根据本公开示例性实施例的基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别的流程图；

图4示出了根据本公开示例性实施例的删除粗分类对应的细分类之间的重叠部分的流程图；

图5示出了根据本公开示例性实施例的文本分类装置的结构示意图；

图6示出了根据本公开示例性实施例的存储介质的示意图；以及

图7示出了根据本公开示例性实施例的电子设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

很多行业，例如物业管理、银行、证券公司、保险公司、信托投资公司、基金管理公司、酒店管理等，在业务处理工作中往往涉及文本分类，将文本准确分类能有效提高业务处理效率，例如疾病分析、金融分析和智能安防分析等，然而在实际生产应用中很多文本信息标注工作往往仍依靠人工手动处理，其量级可能随业务增加动辄需要达到百、万、百万级别；目前文本自动分类包括有监督模型和无监督模型，例如，KNN(K-Nearest Neighbor，最邻近结点算法)为一种典型的有监督模型，K-means(K-means clustering algorithm，K均值聚类算法)为一种典型的无监督模型，在实际生产应用中，KNN算法选取的K值过小时，分类结果容易被异常数据影响，而K值过大则容易被样本不均影响，而样本不均，K-means算法容易收敛到局部最优解，即这两种算法对模型参数比较敏感度，分类结果易受限于分类样本，并且利用KNN算法进行分类时，计算资源消耗大。

基于此，在本公开示例性实施例中，首先提供了一种文本分类方法。参考图1所示，该文本分类方法包括以下步骤：

步骤S110：根据待分类文本和文本知识库形成第一样本集，该分类知识库包括具有目标数量类别的文本；

步骤S120：根据目标数量和对应的类别确定聚类中心，并基于聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类，该粗分类包括多个子分类；

步骤S130：将待分类文本和文本知识库中粗分类中的文本进行融合处理，形成第二样本集；

步骤S140：获取多个分类参数，基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别。

根据本示例实施例中的文本分类方法，能根据现有文本知识库中文本的类别和数量调整聚类中心，控制得到粗分类的数量，以控制选出文本的数量，进而控制待分类样本所属的粗分类中样本的数量，从而对已聚类的文本进行分类，降低分类的计算资源消耗，具有较大灵活性；通过结合两种分类方法，将文本先进行聚类再进行分类的方式，降低分类过程中对模型参数的敏感度，提高文本分类准确性，也能提高基于文本分类的业务处理效率。

下面结合图1对本公开示例性实施例中的文本分类方法进行说明。

在步骤S110中，根据待分类文本和文本知识库形成第一样本集。

在本公开的示例性实施例中，将待分类文本和文本知识库中的文本进行融合，形成第一样本集。其中，文本知识库包括大量已知类别的文本，且每个文本在属于大范围的粗分类的情况下，还属于该粗分类对应的子分类。例如某个文本A属于粗分类“社区”，粗分类“社区”包括多个子分类(如社区环境、社区组织和社区文化等)，文本A则也可以属于粗分类“社区”对应的细分类“社区文化”，某个文本B属于粗分类“保险”，粗分类“保险”包括多个子分类(如车险、意外险、健康险等)，文本B则也属于粗分类“保险”对应的细分类“车险”。在本公开一示例性实施例中，文本知识库可以包括大量问题文本，如“社区组织形态是怎样的？”，“意外险如何购买”，等等，而不同的问题具有匹配的答案。

在一些可能的实施方式中，文本知识库中不同类别中的文本存在交集，即同一文本同时属于多个粗分类，例如文本C同时属于粗分类“社区文本”和“保险”；在另一些可能的实施方式中，同一粗分类对应的多个子分类中的文本存在交集，例如文本D属于粗分类“保险”，且，同时属于粗分类“保险”对应的细分类“车险”和“意外险”。

在步骤S120中，根据目标数量和对应的类别确定聚类中心，并基于聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类。

在本公开的示例性实施例中，聚类处理是将文本分类到不同类别的过程，在同一类别中的各文本有很大相似性；目标数量为已有的分类知识库中文本类别的数量。

在一些可能的实施方式中，首先确定聚类中心的数量为分类知识库中文本类别的目标数量，然后在第一样本集中随机选择具有该目标数量的样本作为第一聚类中心，并基于第一聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类。

以K-means算法为例，对基于第一聚类中心进行聚类处理的过程进行详述：首先，在第一样本集合中随机选择具有目标数量的样本作为第一聚类中心；其次，计算第一样本集合中每个样本到每个第一聚类中心的距离；接着，将第一样本集合中每个样本得到的多个距离值中最小距离值对应的第一聚类中心作为该样本所属的第一聚类中心，并将该样本划分至该所属的第一聚类中心对应的类别，得到多个粗分类；最后，针对每个粗分类，计算所包含样本的均值并作为第一聚类中心，继续迭代计算，直到第一聚类中心不再改变，以从得到的多个粗分类中确定待分类样本所属的粗分类。其中，计算第一样本集合中每个样本到每个第一聚类中心的距离可以为欧式距离。

在一些可能的实施方式中，可以在第一样本集所包含文本知识库中的各类别文本中，分别随机选择一个样本作为第一聚类中心。例如，文本知识库样本的类别包括“保险”、“社区”、“金融”，则分别在这三个类别对应的文本中随机选择一个样本作为第一聚类中心，并基于得到的3个第一聚类中心，采用K均值聚类算法对第一样本集进行聚类处理，得到待分类样本所属的粗分类，具体聚类处理过程如上所述，在此不再赘述。

基于本实施方式，从文本知识库中已知类别所包含的样本中，分别选择第一聚类中心，使得在聚类计算处理之前选择属于不同类别的样本作为第一聚类中心，一定程度上能降低聚类处理的迭代次数，减少聚类计算量。

在一些可能的实施方式中，可以在基于第一聚类中心对第一样本集进行聚类处理的过程中，调整聚类中心的数量。具体地，图2示出了根据本公开示例性实施方式的基于第一聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类的流程图，如图2所示，该过程包括：

在步骤S210中，获取第一样本集中的样本与每个第一聚类中心的距离，并根据距离将第一样本集中的样本分配至各第一聚类中心对应的类别，得到多个类别对应的候选样本集。

在本公开的示例性实施例中，第一样本集中的样本与每个第一聚类中心的距离可以为欧式距离，在获取第一样本集中的样本与每个第一聚类中心的距离后，针对任一样本，获取最小距离对应的第一聚类中心并将该任一样本分配至该第一聚类中心对应的类别，得到多个与类别对应的候选样本集。

在步骤S220中，获取每个候选样本集中样本的数量，并将每个候选样本集中样本的数量与第一预设数量阈值进行比较。

在本公开的示例性实施例中，在获得多个与类别对应的候选样本集后，获取每个候选样本集中样本的数量，并将每个候选样本集中样本的数量分别与第一预设数量阈值进行比较。

在步骤S230中，若存在目标候选样本集中样本的数量小于第一预设数量阈值，则丢弃目标候选样本集对应的类别，并将目标候选样本集中的样本分配至其他候选样本集中。

在本公开的示例性实施例中，若存在目标候选样本集中样本的数量小于第一预设数量阈值，则丢弃该目标候选样本集对应的类别，并将目标候选样本集中的样本分配至其他候选样本集。可选地，可以将目标候选样本集中的样本随机分配至其他候选样本集；可选地，可以确定每个其他候选样本集的中心(例如可以为聚类中心)，然后计算目标候选样本集中的样本到每个其他候选样本集的中心的距离，并将目标候选样本集中的样本分配至最小距离对应的其他候选样本中，等等，本公开对目标候选样本集中样本的分配方式不做特殊限定。

基于本示例性实施例，丢弃样本数量小于第一预设数量阈值的目标候选样本集对应的类别，由于该类别包含的样本数量足够小，表明该类别作为待分类文本所属类别的可能性较小，丢弃此类别既降低待分类目标被错位分配的概率，也减少聚类计算量。

在步骤S240中，重新确定每个其他候选样本集对应的第二聚类中心，基于第二聚类中心，采用K均值聚类算法对第一样本集进行聚类处理，得到多个类别对应的目标样本集。

在本公开的示例性实施例中，由于第二聚类中心的数量少于第一聚类中心的数量，相应地，目标样本集的数量少于候选样本集的数量。在步骤S230丢弃目标候选样本集后，重新确定每个其他候选样本集对应的第二聚类中心，即第二聚类中心的数量少于第一聚类中心的数量。例如，可以将每个其他候选样本集中的全部样本的质心作为每个其他候选样本集对应的第二聚类中心，当然，还可以根据实际文本分类情况，采用其他方式确定第二聚类中心，本公开对此不做特殊限定。其中，基于第二聚类中心，采用K均值聚类算法对第一样本集进行聚类处理得到多个类别对应的目标样本集过程如上所述的聚类处理方法，在此也不再赘述。

通过本示例性实施例，在基于第一聚类中心对第一样本集进行聚类处理的过程中，通过调整聚类中心的数量，减少聚类过程中的迭代次数，提高处理效率。

在一些可能的实施方式中，还可以在基于第二聚类中心，采用K均值聚类算法对第一样本集进行聚类处理，得到多个类别对应的目标样本集过程中，每完成一次聚类，获取聚类结果中各候选样本集中样本的数量，并将该数量与预设数量阈值进行比较，以根据比较结果对类别进行丢弃，并将被丢弃类别对应的候选样本集中的样本分配至其他候选样本集，且，继续重新确定每个其他候选样本集的聚类中心，继续迭代，直至达到预设迭代次数，并将预设迭代次数对应的最终聚类结果，作为目标样本集。基于此，可以在聚类处理过程中，对聚类中心进行动态调整，提高聚类效率。

在步骤S130中，将待分类文本和文本知识库中粗分类中的文本进行融合处理，形成第二样本集。

在本公开的示例性实施例中，通过待分类文本和文本知识库中粗分类中的文本进行融合处理，以形成第二样本集。

在一些可能的实施方式中，可以将待分类文本和文本知识库中粗分类中的文本直接进行合并，以作为第二样本集。

本示例性实施例通过将待分类文本与文本知识库中粗分类中的文本融合，并作为第二样本集用于后续分类处理，通过缩减分类范围减少了后续分类算法的内存开销，提高分类计算速度。

在步骤S140中，获取多个分类参数，基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别。

在本公开的示例性实施例中，分类参数可以根据分类实际情况进行灵活选择，可选地，分类参数可以随机选自不同的奇数，例如3、5、7、9，11等等；可选地，可以通过交叉验证的方法确定一个分类参数基准，然后在这个分类参数基准附近随机选择不同的奇数作为分类参数。

图3示出了根据本公开示例性实施例的基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别的流程图，如图3所示，该过程包括：

在步骤S310中，基于每个分类参数采用最邻近节点算法对述第二样本集进行分类，得到多个分类结果。

在本公开的示例性实施例中，针对获得的每个分类参数，分别采用最邻近点算法对第二样本集进行分类。该过程具体包括：首先，计算第二样本集中待分类文本与第二样本集中其他样本之间的距离，例如可以为欧式距离；其次，将得到的距离按照由小到大的顺序排序，形成一序列；接着，获取序列中前N个距离所对应的N个第二样本集中的其他样本，其中N为分类参数；最后，分别确定N个第二样本集中的其他样本所属类别出现的频率，并将出现频率最高的类别确定为待分类样本的分类结果。

需要说明的是，本公开实施例基于每个分类参数，分别采用最邻近节点算法对述第二样本集进行分类，得到待分类样本的多个分类结果。

在一些可能的实施方式中，第二样本集中除待分类文本之外的文本是确定的粗分类中的文本，而粗分类对应的细分类数量为多个时，在基于每个分类参数采用最邻近节点算法对第二样本集进行分类，得到多个分类结果之前，还可以通过如下方式删除细分类之间的重叠部分。参见图4所示，该过程包括：在步骤S410中，将第二样本集中除待分类文本之外的文本划分为第一测试集和第二测试集；其中，第一测试集和第二测试集的划分方式可以为随机划分，本公开对此不做特殊限定；在步骤S420中，采用最邻近节点算法，利用第一测试集对第二测试集中的每个样本进行分类；在步骤S430中，将第二测试集中分类错误的样本从第二样本集中删除。

通过本实施方式，由于重叠部分模糊，距离近，容易分错，从而通过删除重叠部分的方式，删除“误导样本”，降低重叠部分对分类的影响，提高分类准确性。

在一些可能的实施方式中，在基于每个分类参数采用最邻近节点算法对第二样本集进行分类，得到多个分类结果之前，判断粗分类对应的多个子分类中样本的数量是否大于第二预设数量阈值，若存在粗分类对应子分类中样本数量大于第二预设数量阈值的，则将该粗分类对应子分类中的样本进行欠抽样，以均衡粗分类中各个子分类的样本数量。例如，可以从该粗分类对应子分类中随机选取一些样本删除，具体数量可根据该粗分类中各子分类样本的数量调整，通过删除样本的方式，使得各子分类的样本达到均衡，一定程度上也可以降低分类计算消耗。

在步骤S320中，若存在超过预设数量的分类结果相同，则将相同的分类结果中待分类样本所属的类别，确定为目标子类别。

在本公开的示例性实施例中，基于每个分类参数，分别采用预选的分类模型对第二样本集进行分类，得到多个分类结果，若存在超过预设数量的分类结果相同，则将相同的分类结果中待分类样本所属的类别确定为目标子类别。其中，预设数量可根据实际分类需求设定，例如为3次、5次，等等，本公开对此不做特殊限定。

此外，在得到待分类文本属于的目标子类别后，还可以建立待分类文本与目标子类别中目标展示信息之间的对应关系。其中，目标子分类中预先存储了多种目标展示信息，分别与不同的待分类文本对应，例如待分类文本为一个问题Q，通过将该问题Q分类至目标子分类M，将该问题Q与目标子分类下的问题M中的答案A建立对应关系。

可选地，可以通过作业人员在目标子分类M中选择问题Q对应的答案A，并建立问题Q与答案A之间的对应关系，由于对问题Q已进行由粗到细的分类，已准确将问题Q定位至目标子分类M中，作业人员可快速从该目标子分类M中进行选择，极大提高工作人员工作效率。

可选地，可以在将问题Q分类至目标子分类M后，通过文本识别和检测技术，检测问题Q中的关键词，并将关键词与答案A的文本进行匹配，若匹配，则自动建立问题Q与答案A之间的对应关系，减少人工干预，提高工作效率。

根据本示例实施例中的文本分类方法，能根据现有文本知识库中文本的类别和数量调整聚类中心，控制得到粗分类的数量，以控制选出文本的数量，进而控制待分类样本所属的粗分类中样本的数量，从而对已聚类的文本进行分类，降低分类的计算资源消耗，具有较大灵活性；通过将文本先进行聚类再进行分类的方式，降低分类过程中模型对参数的敏感度，提高文本分类准确性，也能提高基于文本分类的业务处理效率，是一种可应用于各类文本分类应用场景的方法，例如在一种应用场景下，可以将智能问答机器人未能回答的问题文本，通过本公开的方法进行分类至对应的文本知识库中的类别中，并在该类别下选择对应的答案，从而提高了智能问题的准确率，也减少人工标注的成本。

此外，在本公开的示例性实施例中，还提供了一种文本分类装置。参考图5所示，该文本分类装置500可以包括第一样本集获取模块510、聚类处理模块520、第二样本集获取模块530以及分类处理模块540。具体地，

第一样本集获取模块510，用于根据待分类文本和文本知识库形成第一样本集，所述分类知识库包括具有目标数量类别的文本；

聚类处理模块520，用于根据目标数量和对应的类别确定聚类中心，并基于聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类，该粗分类包括多个子分类；

第二样本集获取模块530，用于将待分类文本和文本知识库中粗分类中的文本进行融合处理，形成第二样本集；

分类处理模块540，用于获取多个分类参数，基于每个分类参数分别采用预选的分类模型对第二样本集进行分类，根据得到的多个分类结果确定待分类样本所属的目标子类别。

在本公开的一示例性实施例中，聚类处理模块520可以包括：

数量确定单元，用于确定聚类中心的数量为所述目标数量；

聚类处理单元，用于在第一样本集中随机选择具有所述目标数量的样本作为第一聚类中心，基于第一聚类中心对第一样本集进行聚类处理，得到待分类样本所属的粗分类。

在本公开的一示例性实施例中，聚类处理模块520还可以包括：

聚类中心选择单元，用于在第一样本集所包含文本知识库中的各类别文本中，分别随机选择一个样本作为第一聚类中心；

聚类处理单元还用于基于第一聚类中心，采用K均值聚类算法对第一样本集进行聚类处理，得到待分类样本所属的粗分类。

在本公开的一示例性实施例中，聚类处理模块520还可以包括：

样本数量获取单元，用于获取每个候选样本集中样本的数量；

样本处理单元，用于若存在目标候选样本集中样本的数量小于第一预设数量阈值，则丢弃目标候选样本集对应的类别，并将述目标候选样本集中的样本分配至其他候选样本集中

聚类中心确定单元，用于重新确定每个其他候选样本集对应的第二聚类中心，所述聚类处理单元还用于基于第二聚类中心，采用K均值聚类算法对第一样本集进行聚类处理，得到多个类别对应的目标样本集，所述目标样本集的数量少于所述候选样本集的数量；

粗分类确定单元，用于将待分类样本所属的目标样本集的类别，作为待分类样本所属的粗分类。

在本公开的一示例性实施例中，分类处理模块540可以包括：

分类处理单元，用于基于每个分类参数采用最邻近节点算法对第二样本集进行分类，得到多个分类结果；

目标子类别确定单元，用于若存在超过预设数量的分类结果相同，则将相同的分类结果中待分类样本所属的类别，确定为目标子类别。

在本公开的一示例性实施例中，分类处理模块540还可以包括：

样本划分单元，用于将第二样本集中除待分类文本之外的文本划分为第一测试集和第二测试集；

分类处理单元还用于采用最邻近节点算法，利用所述第一测试集对所述第二测试集中的每个样本进行分类；

样本删除单元，用于将第二测试集中分类错误的样本从第二样本集中删除。

在本公开的一示例性实施例中，分类处理模块540还可以包括：

样本预处理单元，用于若存在粗分类对应子分类中样本数量大于第二预设数量阈值的，则对粗分类对应子分类中的样本进行欠抽样，以均衡粗分类中各个子分类的样本数量。

在本公开的一示例性实施例中，本公开的文本分类装置还可以包括：

关系建立模块，用于建立待分类文本与目标子类别中目标展示信息之间的对应关系。

由于本公开的示例性实施例的文本分类装置的各个功能模块与上述文本分类方法的发明实施例中相同，因此在此不再赘述。

应当注意，尽管在上文详细描述中提及了文本分类装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

参考图6所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本公开的这种实施例的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种文本分类方法，其特征在于，包括：

根据待分类文本和文本知识库形成第一样本集，所述分类知识库包括具有目标数量类别的文本；

根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，所述粗分类包括多个子分类；

将所述待分类文本和所述文本知识库中所述粗分类中的文本进行融合处理，形成第二样本集；

获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，包括：

确定所述聚类中心的数量为所述目标数量；

在所述第一样本集中随机选择具有所述目标数量的样本作为第一聚类中心，基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类。

3.根据权利要求2所述的方法，其特征在于，所述在所述第一样本集中随机选择具有所述目标数量的样本作为第一聚类中心，基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，包括：

在所述第一样本集所包含文本知识库中的各类别文本中，分别随机选择一个样本作为所述第一聚类中心；

基于所述第一聚类中心，采用K均值聚类算法对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，包括：

获取所述第一样本集中的样本与每个所述第一聚类中心的距离，并根据所述距离将所述第一样本集中的样本分配至各所述第一聚类中心对应的类别，得到多个类别对应的候选样本集；

获取每个所述候选样本集中样本的数量；

若存在目标候选样本集中样本的数量小于第一预设数量阈值，则丢弃所述目标候选样本集对应的类别，并将所述目标候选样本集中的样本分配至其他候选样本集中；

重新确定每个所述其他候选样本集对应的第二聚类中心，基于所述第二聚类中心，采用K均值聚类算法对所述第一样本集进行聚类处理，得到多个类别对应的目标样本集，所述目标样本集的数量少于所述候选样本集的数量；

将所述待分类样本所属的目标样本集的类别，作为所述待分类样本所属的粗分类。

5.根据权利要求1所述的方法，其特征在于，所述获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别，包括：

基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果；

若存在超过预设数量的分类结果相同，则将相同的分类结果中所述待分类样本所属的类别，确定为所述目标子类别。

6.根据权利要求5所述的方法，其特征在于，在所述基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果之前，还包括：

将所述第二样本集中除所述待分类文本之外的文本划分为第一测试集和第二测试集；

采用最邻近节点算法，利用所述第一测试集对所述第二测试集中的每个样本进行分类；

将所述第二测试集中分类错误的样本从所述第二样本集中删除。

7.根据权利要求5所述的方法，其特征在于，在所述基于每个所述分类参数采用最邻近节点算法对所述第二样本集进行分类，得到多个分类结果之前，还包括：

若存在粗分类对应子分类中样本数量大于第二预设数量阈值的，则对所述粗分类对应子分类中的样本进行欠抽样，以均衡所述粗分类中各个子分类的样本数量。

8.根据权利要求1～7任一项所述的方法，其特征在于，在得到所述目标子类别后，还包括：

建立所述待分类文本与所述目标子类别中目标展示信息之间的对应关系。

9.一种文本分类装置，其特征在于，包括：

第一样本集获取模块，用于根据待分类文本和文本知识库形成第一样本集，所述分类知识库包括具有目标数量类别的文本；

聚类处理模块，用于根据所述目标数量和对应的类别确定聚类中心，并基于所述聚类中心对所述第一样本集进行聚类处理，得到所述待分类样本所属的粗分类，所述粗分类包括多个子分类；

第二样本集获取模块，用于将所述待分类文本和所述文本知识库中所述粗分类中的文本进行融合处理，形成第二样本集；

分类处理模块，用于获取多个分类参数，基于每个所述分类参数分别采用预选的分类模型对所述第二样本集进行分类，根据得到的多个分类结果确定所述待分类样本所属的目标子类别。

10.一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的文本分类方法。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的文本分类方法。

Images