CN105045845A - 一种文档分类管理方法及装置 - Google Patents

Abstract

本发明提供一种文档分类管理方法及装置，上述方法包括以下步骤：日志收集终端获取与业务类型对应业务行为的日志记录文件；所述日志收集终端确定与所述日志记录文件对应的分布式存储区域并将所述日志记录文件发送至与所述分布式存储区域位于的日志存储终端并由所述日志存储终端进行存储；实现了有效的获取不同机器上相关联的日志信息，方便用户及管理员对日志进行整体的查询或分析，大大提升了用户体验。

Description

一种文档分类管理方法及装置

技术领域

本发明属于文档分类管理领域，尤其涉及一种文档分类管理方法及装置。

背景技术

现有技术公开了一种文档分类方法和系统，应用于包括Map程序和Reduce程序的Hadoop集群中，所述方法包括以下步骤：所述Map程序对训练文档和待分类文档进行解析，根据解析结果确定特征属性，并对所述特征属性进行划分；所述Map程序根据所述训练文档的特征属性以及对所述训练文档的分类结果，生成分类器；所述Reduce程序使用所述分类器对所述待分类文档进行分类，得到待分类文档的分类结果；该方案充分利用了Hadoop集群的分布式特点，避免了传统系统框架的局限性，具有并行快速的特点，能够快速实现对海量文档的分类，节省了分类时间，提高了文档分类效率。

但是在上述文档分类的方案中并没有结合分布式文档之间关联程度、分布式文档安全级别来确定对应数量的文档特征属性，很难满足文档的个性化分类，造成了文档分类不精确，导致用户获取一些无关内容，浪费了用户时间，大大降低了用户体验。

因此，迫切需要一种对分布式文档进行个性化、精确性的分类方案。

发明内容

本发明提供一种文档分类管理方法及装置，以解决上述问题。

本发明提供一种文档分类管理方法。上述方法包括以下步骤：分类模型获取模块根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；所述文档分类模块根据所述分类模型，对所述待分类文档进行分类。

本发明还提供一种文档分类管理装置，包括样本数据处理模块、分类模型获取模块、文档分类模块；其中，所述样本数据处理模块通过所述分类模型获取模块与所述文档分类模块相连；

所述样本数据处理模块，用于获取的文档对应数目的特征属性并将所述特征属性发送至所述分类模型获取模块；

所述分类模型获取模块，用于根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至所述文档分类模块；

所述文档分类模块，用于根据所述分类模型，对所述待分类文档进行分类。

通过以下方案：分类模型获取模块根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；所述文档分类模块根据所述分类模型，对所述待分类文档进行分类；实现了对分布式文档进行个性化、精确性的分类方案，节约了用户时间，大大提升了用户体验。

通过以下方案：所述样本数据处理模块根据文档之间的关联度或文档的安全级别，获取所述文档对应数目的特征属性；实现了对文档的个性化分类方案，大大提升了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的文档分类管理方法处理流程图；

图2所示为本发明实施例2的文档分类管理方法处理流程图；

图3所示为本发明实施例3的文档分类管理装置结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为本发明实施例1的文档分类管理方法处理流程图，包括以下步骤：

步骤101：样本数据处理模块获取文档对应数目的特征属性；其中，所述文档包括训练文档、待分类文档。

进一步地，样本数据处理模块根据文档之间的关联度或文档的安全级别，获取所述文档对应数目的特征属性。

进一步地，文档之间的关联度分为三级，包括：关联度0、关联度1、关联度2。

其中，所述文档之间的关联度是指文档之间的关联程度，例如：文档P、以文档P为基础进行修改后的修改文档M之间的关联度最为紧密，设置文档P与文档M之间的关联度为2；

文档Q中的引用的部分语句来自文档T，则文档Q与文档T之间的关联度为1；

文档R、文档K之间没有任何关系，则文档R与文档K之间的关联度为0。

进一步地，所述样本数据处理模块存储关联度、文档名称及特征属性对照表，如表1所示：

关联度、文档名称及特征属性对照表

关联度	文档名称	特征属性
			0	文档A、文档B、文档C	1个
1	文档D、文档E	2个

2

文档G、文档H、文档I

3个

表1

进一步地，所述安全级别分为高、中、低三级。

进一步地，所述样本数据处理模块存储安全级别、文档名称及特征属性对照表，如表2所示：

安全级别、文档名称及特征属性对照表

安全级别	文档名称	特征属性
			低	文档1、文档2、文档3	1个
中	文档4、文档5	2个
			高	文档6、文档7、文档8	3个

表2

关联度的划分、安全级别划分、特征属性个数仅仅是列举说明，可以根据实际情况进行设定，在此不用于限定本实施例的保护范围。

进一步地，所述特征属性包括日志数量、好友数量、是否使用真实头像。

步骤102：所述样本数据处理模块根据所述特征属性，分别对训练文档和待分类文档进行格式转换，得到符合预设格式的训练文档和待分类文档并将所述符合预设格式的训练文档和待分类文档发送至分类模型获取模块；

进一步地，所述样本数据处理模块使用命令行Mahout中的RrepareTwentyNewsgroups类，将训练文档和待分类文档转换为符合预设格式的训练文档和待分类文档；其中，预设格式可以是VectorWritable格式，在符合VectorWritable格式的文档中，第一个字符是类标签，其余的字符是特征属性。

进一步地，所述样本数据处理模块使用命令行Mahout中的RrepareTwentyNewsgroups类，将训练文档和待分类文档转换为符合预设格式的训练文档和待分类文档之后，还包括：

所述样本数据处理模块将所述符合预设格式的训练文档和待分类文档上传至分布式文件系统HDFS。

其中，所述样本数据处理模块采用Hadoopfs–put命令将符合预设格式的训练文档和待分类文档上传至分布式文件系统HDFS。

步骤103：所述分类模型获取模块根据格式转换后的训练文档的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；

进一步地，所述分类模型获取模块根据格式转换后的训练文档的特征属性，生成分类模型并将所述分类模型发送至文档分类模块的过程为：

所述分类模型获取模块根据格式转换后的训练文档的特征属性，在分布式计算框架MapReduce下，运行对应的训练命令mahouttrainclassifier，生成分类模型并将所述分类模型发送至文档分类模块。

进一步地，所述分类模型是指贝叶斯分类器、决策树分类器。

进一步地，所述贝叶斯分类器包括Bayes分类器、TAN分类器、BAN分类器、GBN分类器。

步骤104：所述文档分类模块根据所述分类模型，对所述待分类文档进行分类。

进一步地，所述文档分类模块根据所述分类模型，运行对应的文档分类命令mahouttestclassifier，对所述待分类文档进行分类。

图2所示为本发明实施例2的文档分类管理方法处理流程图，包括以下步骤：

步骤201：分类模型获取模块根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；

步骤202：所述文档分类模块根据所述分类模型，对所述待分类文档进行分类。

图3所示为本发明实施例3的文档分类管理装置结构图，包括样本数据处理模块301、分类模型获取模块302、文档分类模块303；其中，所述样本数据处理模块301通过所述分类模型获取模块302与所述文档分类模块303相连；

所述样本数据处理模块301，用于获取的文档对应数目的特征属性并将所述特征属性发送至所述分类模型获取模块302；

所述分类模型获取模块302，用于根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至所述文档分类模块303；

所述文档分类模块303，用于根据所述分类模型，对所述待分类文档进行分类。

通过以下方案：分类模型获取模块根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；所述文档分类模块根据所述分类模型，对所述待分类文档进行分类；实现了对分布式文档进行个性化、精确性的分类方案，节约了用户时间，大大提升了用户体验。

通过以下方案：所述样本数据处理模块根据文档之间的关联度或文档的安全级别，获取所述文档对应数目的特征属性；实现了对文档的个性化分类方案，大大提升了用户体验。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文档分类管理方法，其特征在于，包括以下步骤：

分类模型获取模块根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至文档分类模块；

所述文档分类模块根据所述分类模型，对所述待分类文档进行分类。

2.根据权利要求1所述的方法，其特征在于，分类模型获取模块从样本数据处理模块中获取文档对应数目的特征属性之前，还包括：

样本数据处理模块获取文档对应数目的特征属性；其中，所述文档包括训练文档、待分类文档。

3.根据权利要求2所述的方法，其特征在于，所述样本数据处理模块根据所述特征属性，分别对训练文档和待分类文档进行格式转换，得到符合预设格式的训练文档和待分类文档并将所述符合预设格式的训练文档和待分类文档发送至分类模型获取模块。

4.根据权利要求3所述的方法，其特征在于，所述样本数据处理模块使用命令行Mahout中的RrepareTwentyNewsgroups类，将训练文档和待分类文档转换为符合预设格式的训练文档和待分类文档。

5.根据权利要求4所述的方法，其特征在于，所述样本数据处理模块将所述符合预设格式的训练文档和待分类文档上传至分布式文件系统HDFS。

6.根据权利要求3所述的方法，其特征在于，所述分类模型获取模块根据格式转换后的训练文档的特征属性，在分布式计算框架MapReduce下，运行对应的训练命令mahouttrainclassifier，生成分类模型并将所述分类模型发送至文档分类模块。

7.根据权利要求2所述的方法，其特征在于，所述样本数据处理模块根据文档之间的关联度或文档的安全级别，获取所述文档对应数目的特征属性。

8.根据权利要求5所述的方法，其特征在于，所述样本数据处理模块存储关联度、文档名称及特征属性对照表；安全级别、文档名称及特征属性对照表。

9.根据权利要求1所述的方法，其特征在于，所述文档分类模块根据所述分类模型，运行对应的文档分类命令mahouttestclassifier，对所述待分类文档进行分类。

10.一种文档分类管理装置，其特征在于，包括样本数据处理模块、分类模型获取模块、文档分类模块；其中，所述样本数据处理模块通过所述分类模型获取模块与所述文档分类模块相连；

所述样本数据处理模块，用于获取的文档对应数目的特征属性并将所述特征属性发送至所述分类模型获取模块；

所述分类模型获取模块，用于根据从样本数据处理模块中获取的文档对应数目的特征属性，生成分类模型并将所述分类模型发送至所述文档分类模块；

所述文档分类模块，用于根据所述分类模型，对所述待分类文档进行分类。