CN114706940A - 基于敏感词的新闻类文件审核方法和系统 - Google Patents

Abstract

本发明提供了一种基于敏感词的新闻类文件审核方法和系统，其中，所述方法包括以下步骤：构建敏感词词库；根据所述敏感词词库训练提取敏感词匹配规则；获取待审核新闻类文件；对所述待审核新闻类文件进行预处理；采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件。本发明能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

Description

基于敏感词的新闻类文件审核方法和系统

技术领域

本发明涉及数据分析技术领域，具体涉及一种基于敏感词的新闻类文件审核方法和一种基于敏感词的新闻类文件审核系统。

背景技术

传统媒体内容在发布时，一般采用三审制，由责任编辑对稿件进行初审，副编审进行复审，社长或总编辑进行终审。三审制层层缔结的程序性与较高的专业性要求，一定程度上延长了评审时间，增加了管理成本。尤其是新闻媒体行业，由于对内容的安全性、舆论导向要求较高，加之多数新闻媒体在内容发布时还是采用大量的人工审核，导致审核的效率较低，并需要花费大量人工成本。

发明内容

本发明为解决上述技术问题，提供了一种基于敏感词的新闻类文件审核方法和系统，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

本发明采用的技术方案如下：

一种基于敏感词的新闻类文件审核方法，包括以下步骤：构建敏感词词库；根据所述敏感词词库训练提取敏感词匹配规则；获取待审核新闻类文件；对所述待审核新闻类文件进行预处理；采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件。

根据本发明的一个实施例，构建敏感词词库，包括以下步骤：获取违规新闻类文件样本；根据所述违规新闻类文件样本提取多类型敏感词，其中，所述多类型敏感词包括涉黄敏感词、广告敏感词、涉政敏感词、违法敏感词、实事舆情敏感词和政经专有敏感词；根据所述多类型敏感词构建敏感词词库。

根据本发明的一个实施例，根据所述敏感词词库训练提取敏感词匹配规则，包括以下步骤：对所述敏感词词库中的敏感词进行风险等级项分类；挖掘在所述不同风险等级项下由所述敏感词词库中敏感词组成的多个频繁项集，其中，每个频繁项集对应一个初始敏感词匹配规则；对多个所述初始敏感词匹配规则进行一次过滤得到多个候选敏感词匹配规则；获取验证违规新闻类文件样本；根据所述验证违规新闻类文件样本对多个所述候选敏感词匹配规则进行二次过滤以得到最终的敏感词匹配规则。

根据本发明的一个实施例，对所述待审核新闻类文件进行预处理，包括以下步骤：对所述待审核新闻类文件进行一次处理，以删除所述待审核新闻类文件中的标点符号和文本标签；对一次处理后的所述待审核新闻类文件进行二次处理，以对一次处理后的所述待审核新闻类文件进行分词。

根据本发明的一个实施例，采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件，包括以下步骤：判断预处理后的所述待审核新闻类文件是否与任一所述敏感词匹配规则匹配；若是，则判定所述待审核新闻类文件为风险新闻类文件，否则，则判定所述待审核新闻类文件为安全新闻类文件。

一种基于敏感词的新闻类文件审核系统，包括：构建模块，所述构建模块用于构建敏感词词库；训练模块，所述训练模块用于根据所述敏感词词库训练提取敏感词匹配规则；获取模块，所述获取模块用于获取待审核新闻类文件；处理模块，所述处理模块用于对所述待审核新闻类文件进行预处理；判断模块，所述判断模块用于采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述基于敏感词的新闻类文件审核方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于敏感词的新闻类文件审核方法。

本发明的有益效果：

本发明通过构建敏感词词库，并根据敏感词词库训练提取敏感词匹配规则，进而获取待审核新闻类文件，然后对待审核新闻类文件进行预处理，最后采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件，由此，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

附图说明

图1为本发明实施例的基于敏感词的新闻类文件审核方法的流程图；

图2为本发明一个实施例的根据敏感词词库训练提取敏感词匹配规则的流程图；

图3为本发明实施例的基于敏感词的新闻类文件审核系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的基于敏感词的新闻类文件审核方法的流程图。

如图1所示，本发明实施例的基于敏感词的新闻类文件审核方法，包括以下步骤：

S1，构建敏感词词库。

具体地，可获取已有违规新闻类文件样本，并可根据已有违规新闻类文件样本提取不同类型敏感词，其中，不同类型敏感词包括涉黄敏感词、广告敏感词、涉政敏感词、违法敏感词、实事舆情敏感词和政经专有敏感词，然后可根据多类型敏感词构建敏感词词库。

其中，违规新闻类文件样本可包括新闻文稿内容，例如工作报告、新发文件和舆情报道，通过分析上述新闻文稿内容除能够提取除涉黄敏感词、广告敏感词、涉政敏感词和违法敏感词等当前通用类型的敏感词外，还能够提取实事舆情敏感词和政经专有敏感词，从而能够保证敏感词词库符合新闻媒体行业的专业标准与安全标准，形成针对新闻类文件审核的个性化敏感词词库。

S2，根据敏感词词库训练提取敏感词匹配规则。

具体地，如图2所示，上述步骤S2可包括以下步骤：

S201，对敏感词词库中的敏感词进行风险等级项分类。

具体地，风险等级项可包括第一类风险等级项、第二类风险等级项、第三类风险等级项和第四类风险等级项，其中，第一类风险等级项为违禁敏感词，第二类风险等级项为高危敏感词，第三类风险等级项为低危敏感词，第四类风险等级项为可疑敏感词。

更具体地，可将敏感词词库中的涉政、实事舆情敏感词划分为第一类风险等级项，违法、政经专有敏感词划分为第二类风险等级项，涉黄敏感词划分为第三类风险等级项，广告敏感词划分为第四类风险等级项。

S202，挖掘在不同风险等级项下由敏感词词库中敏感词组成的多个频繁项集，其中，每个频繁项集对应一个初始敏感词匹配规则。

具体地，可采用Apriori关联规则挖掘算法挖掘在不同风险等级项下由敏感词词库中敏感词组成的多个频繁项集，例如，可采用Apriori关联规则挖掘算法挖掘在不同风险等级项下由敏感词词库中敏感词组成的频繁1～3项集。

更具体地，可先对已有违规新闻类文件样本进行分词处理，以去其中的除停用词得到预处理违规样本，然后可采用Apriori关联规则挖掘算法在不同风险等级项下从预处理违规样本中筛选出所有项集以组成候选集C1，并可计算候选集C1的支持度，进而可比较候选集C1的支持度和最小支持度阈值以筛选出频繁1-项集L1；进一步地，可采用Apriori关联规则挖掘算法在不同风险等级项下从频繁1-项集L1中筛选出所有项集以组成候选集C2，然后可比较候选集C2的支持度和最小支持度阈值以筛选出频繁2-项集L2；以此类推，可得到频繁1～3项集。举例而言，可设定最小支持度阈值为2，可将出现次数小于2的所有项集剔除，以得到频繁1～3项集，例如，(杭州野生动物园&金钱豹&瞒报)、(限电&倒闭)、(朱国振&双开)三组频繁项集。

S203，对多个初始敏感词匹配规则进行一次过滤得到多个候选敏感词匹配规则。

具体地，可统计每个初始敏感词匹配规则在已有违规新闻类文件样本空间上的匹配白样本数，并根据该匹配样本数计算每个初始敏感词匹配规则的匹配准确率，进而过滤匹配准确率小于预设匹配准确率阈值的初始敏感词匹配规则，从而得到多个候选敏感词匹配规则。

其中，预设匹配准确率阈值包括第一类风险等级项、第二类风险等级项、第三类风险等级项、第四类风险等级项的的匹配准确率阈值，在本发明的一个实施例中，上述四类风险等级项，即第一类风险等级项、第二类风险等级项、第三类风险等级项、第四类风险等级项的匹配准确率阈值可分别为不低于95％、不低于92％、不低于80％、不低于60％。

S204，获取验证违规新闻类文件样本。

S205，根据验证违规新闻类文件样本对多个候选敏感词匹配规则进行二次过滤以得到最终的敏感词匹配规则。

具体地，可统计每个候选敏感词匹配规则在验证违规新闻类文件样本空间上的匹配白样本数，并根据该匹配样本数计算每个候选敏感词匹配规则的匹配准确率，进而过滤匹配准确率小于预设匹配准确率阈值的候选敏感词匹配规则，从而得到最终的敏感词匹配规则。

综上，通过两次过滤筛选最终的敏感词匹配规则，能够避免因一词多义、音近词、形近词或是敏感词跨越分词边界导致的误伤漏判情况，从而能够保证最终的敏感词匹配规则的匹配准确率。

S3，获取待审核新闻类文件。

在本发明的一个实施例中，新闻类文件存储于稿库平台中，因此可通过稿库平台获取待审核新闻类文件。

S4，对待审核新闻类文件进行预处理。

具体地，可对待审核新闻类文件进行一次处理，以删除待审核新闻类文件中的标点符号和文本标签，然后可对一次处理后的待审核新闻类文件进行二次处理，以对一次处理后的待审核新闻类文件进行分词。

S5，采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件。

需要说明的是，通上述步骤S2得到的最终敏感词匹配规则可为多个，因此可将该多个敏感词匹配规则聚类，以得到敏感词匹配规则集合，由此，可判断预处理后的待审核新闻类文件是否与敏感词匹配规则集合中的任一敏感词匹配规则匹配，若是，则判定待审核新闻类文件为风险新闻类文件，否则，则判定待审核新闻类文件为安全新闻类文件。

此外，对于上述步骤S5得到的风险新闻类文件可进一步发送至人工审核，此外，对于上述步骤S5得到的安全新闻类文件还可随机选取固定数量的文件作为抽查样本发送至人工审核，若发现敏感词，可发布预警，由此，能够保证新闻类文件审核的准确性。

进一步还需要说明的是，本发明的基于敏感词的新闻类文件审核方法，可包括两种审核模式，即先审后发模式和先发后审模式，当选用先审后发模式时，可通过稿库平台直接获取待审核新闻类文件，并可对该待审核新闻类文件执行上述步骤S4-S5，若为安全新闻类文件，则进一步发送至人工审核，若通过审核则发送至第三方平台，否则，则将该待审核新闻类文件判定为风险新闻类文件并返回稿库平台；当选用先发后审模式时，待审核新闻类文件可先发送至第三方平台，然后可通过稿库平台获取该待审核新闻类文件，并可对该待审核新闻类文件执行上述步骤S4-S5，若为安全新闻类文件，则进一步发送至人工审核，若不通过，则发出预警，并将该待审核新闻类文件从第三方平台下架，否则，则结束审核。

根据本发明实施例提出的基于敏感词的新闻类文件审核方法，通过构建敏感词词库，并根据敏感词词库训练提取敏感词匹配规则，进而获取待审核新闻类文件，然后对待审核新闻类文件进行预处理，最后采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件，由此，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

对应上述实施例的基于敏感词的新闻类文件审核方法，本发明还提出了一种基于敏感词的新闻类文件审核系统。

如图3所示，本发明实施例的基于敏感词的新闻类文件审核系统，包括构建模块10、训练模块20、获取模块30、处理模块40和判断模块50。其中，构建模块10用于构建敏感词词库；训练模块20用于根据敏感词词库训练提取敏感词匹配规则；获取模块30用于获取待审核新闻类文件；处理模块40用于对待审核新闻类文件进行预处理；判断模块50用于采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件。

在本发明的一个实施例中，构建模块10可通过获取已有违规新闻类文件样本，并可根据已有违规新闻类文件样本提取不同类型敏感词，其中，不同类型敏感词包括涉黄敏感词、广告敏感词、涉政敏感词、违法敏感词、实事舆情敏感词和政经专有敏感词，然后可根据多类型敏感词构建敏感词词库。

其中，违规新闻类文件样本可包括新闻文稿内容，例如工作报告、新发文件和舆情报道，通过分析上述新闻文稿内容除能够提取除涉黄敏感词、广告敏感词、涉政敏感词和违法敏感词等当前通用类型的敏感词外，还能够提取实事舆情敏感词和政经专有敏感词，从而能够保证敏感词词库符合新闻媒体行业的专业标准与安全标准，形成针对新闻类文件审核的个性化敏感词词库。

在本发明的一个实施例中，训练模块20可具体用于：对敏感词词库中的敏感词进行风险等级项分类；并可挖掘在不同风险等级项下由敏感词词库中敏感词组成的多个频繁项集，其中，每个频繁项集对应一个初始敏感词匹配规则；还可对多个初始敏感词匹配规则进行一次过滤得到多个候选敏感词匹配规则；获取验证违规新闻类文件样本；根据验证违规新闻类文件样本对多个候选敏感词匹配规则进行二次过滤以得到最终的敏感词匹配规则。

在本发明的一个实施例中，风险等级项可包括第一类风险等级项、第二类风险等级项、第三类风险等级项和第四类风险等级项，其中，第一类风险等级项为违禁敏感词，第二类风险等级项为高危敏感词，第三类风险等级项为低危敏感词，第四类风险等级项为可疑敏感词。

在本发明的一个实施例中，训练模块20可将敏感词词库中的涉政、实事舆情敏感词划分为第一类风险等级项，违法、政经专有敏感词划分为第二类风险等级项，涉黄敏感词划分为第三类风险等级项，广告敏感词划分为第四类风险等级项。

在本发明的一个实施例中，训练模块20可采用Apriori关联规则挖掘算法挖掘在不同风险等级项下由敏感词词库中敏感词组成的多个频繁项集，例如，可采用Apriori关联规则挖掘算法挖掘在不同风险等级项下由敏感词词库中敏感词组成的频繁1～3项集。

具体地，可先对已有违规新闻类文件样本进行分词处理，以去其中的除停用词得到预处理违规样本，然后可采用Apriori关联规则挖掘算法在不同风险等级项下从预处理违规样本中筛选出所有项集以组成候选集C1，并可计算候选集C1的支持度，进而可比较候选集C1的支持度和最小支持度阈值以筛选出频繁1-项集L1；进一步地，可采用Apriori关联规则挖掘算法在不同风险等级项下从频繁1-项集L1中筛选出所有项集以组成候选集C2，然后可比较候选集C2的支持度和最小支持度阈值以筛选出频繁2-项集L2；以此类推，可得到频繁1～3项集。举例而言，可设定最小支持度阈值为2，可将出现次数小于2的所有项集剔除，以得到频繁1～3项集，例如，(杭州野生动物园&金钱豹&瞒报)、(限电&倒闭)、(朱国振&双开)三组频繁项集。

在本发明的一个实施例中，训练模块20可统计每个初始敏感词匹配规则在已有违规新闻类文件样本空间上的匹配白样本数，并根据该匹配样本数计算每个初始敏感词匹配规则的匹配准确率，进而过滤匹配准确率小于预设匹配准确率阈值的初始敏感词匹配规则，从而得到多个候选敏感词匹配规则。

其中，预设匹配准确率阈值包括第一类风险等级项、第二类风险等级项、第三类风险等级项、第四类风险等级项的的匹配准确率阈值，在本发明的一个实施例中，上述四类风险等级项，即第一类风险等级项、第二类风险等级项、第三类风险等级项、第四类风险等级项的匹配准确率阈值可分别为不低于95％、不低于92％、不低于80％、不低于60％。

在本发明的一个实施例中，训练模块20可统计每个候选敏感词匹配规则在验证违规新闻类文件样本空间上的匹配白样本数，并根据该匹配样本数计算每个候选敏感词匹配规则的匹配准确率，进而过滤匹配准确率小于预设匹配准确率阈值的候选敏感词匹配规则，从而得到最终的敏感词匹配规则。

综上，训练模块20通过两次过滤筛选最终的敏感词匹配规则，能够避免因一词多义、音近词、形近词或是敏感词跨越分词边界导致的误伤漏判情况，从而能够保证最终的敏感词匹配规则的匹配准确率。

在本发明的一个实施例中，获取模块30新闻类文件存储于稿库平台中，因此可通过稿库平台获取待审核新闻类文件。

在本发明的一个实施例中，处理模块40可具体用于对待审核新闻类文件进行一次处理，以删除待审核新闻类文件中的标点符号和文本标签，然后可对一次处理后的待审核新闻类文件进行二次处理，以对一次处理后的待审核新闻类文件进行分词。

在本发明的一个实施例中，需要说明的是，通过训练模块20得到的最终敏感词匹配规则可为多个，因此可将该多个敏感词匹配规则聚类，以得到敏感词匹配规则集合，由此，可判断预处理后的待审核新闻类文件是否与敏感词匹配规则集合中的任一敏感词匹配规则匹配，若是，则判定待审核新闻类文件为风险新闻类文件，否则，则判定待审核新闻类文件为安全新闻类文件。

此外，对于判断模块50得到的风险新闻类文件可进一步发送至人工审核，此外，对于判断模块50得到的安全新闻类文件还可随机选取固定数量的文件作为抽查样本发送至人工审核，若发现敏感词，可发布预警，由此，能够保证新闻类文件审核的准确性。

进一步还需要说明的是，本发明的基于敏感词的新闻类文件审核方法，可包括两种审核模式，即先审后发模式和先发后审模式，当选用先审后发模式时，可通过稿库平台直接获取待审核新闻类文件，并可对该待审核新闻类文件输入处理模块40和判断模块50，若为安全新闻类文件，则进一步发送至人工审核，若通过审核则发送至第三方平台，否则，则将该待审核新闻类文件判定为风险新闻类文件并返回稿库平台；当选用先发后审模式时，待审核新闻类文件可先发送至第三方平台，然后可通过稿库平台获取该待审核新闻类文件，并可对该待审核新闻类文件输入处理模块40和判断模块50，若为安全新闻类文件，则进一步发送至人工审核，若不通过，则发出预警，并将该待审核新闻类文件从第三方平台下架，否则，则结束审核。

根据本发明实施例提出的基于敏感词的新闻类文件审核系统，通过构建敏感词词库，并根据敏感词词库训练提取敏感词匹配规则，进而获取待审核新闻类文件，然后对待审核新闻类文件进行预处理，最后采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件，由此，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

对应上述实施例，本发明还提出一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例的基于敏感词的新闻类文件审核方法。

根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过构建敏感词词库，并根据敏感词词库训练提取敏感词匹配规则，进而获取待审核新闻类文件，然后对待审核新闻类文件进行预处理，最后采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件，由此，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例的基于敏感词的新闻类文件审核方法。

根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过构建敏感词词库，并根据敏感词词库训练提取敏感词匹配规则，进而获取待审核新闻类文件，然后对待审核新闻类文件进行预处理，最后采用敏感词匹配规则判断预处理后的待审核新闻类文件是否为安全新闻类文件，由此，能够保证敏感词匹配规则的匹配准确率，从而能够确保文件审核的准确性，此外，还能够提高文件审核的效率，并能够降低人工成本。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于敏感词的新闻类文件审核方法，其特征在于，包括以下步骤：

构建敏感词词库；

根据所述敏感词词库训练提取敏感词匹配规则；

获取待审核新闻类文件；

对所述待审核新闻类文件进行预处理；

采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件。

2.根据权利要求1所述的基于敏感词的新闻类文件审核方法，其特征在于，构建敏感词词库，包括以下步骤：

获取违规新闻类文件样本；

根据所述违规新闻类文件样本提取多类型敏感词，其中，所述多类型敏感词包括涉黄敏感词、广告敏感词、涉政敏感词、违法敏感词、实事舆情敏感词和政经专有敏感词；

根据所述多类型敏感词构建敏感词词库。

3.根据权利要求2所述的基于敏感词的新闻类文件审核方法，其特征在于，根据所述敏感词词库训练提取敏感词匹配规则，包括以下步骤：

对所述敏感词词库中的敏感词进行风险等级项分类；

挖掘在所述不同风险等级项下由所述敏感词词库中敏感词组成的多个频繁项集，其中，每个频繁项集对应一个初始敏感词匹配规则；

对多个所述初始敏感词匹配规则进行一次过滤得到多个候选敏感词匹配规则；

获取验证违规新闻类文件样本；

根据所述验证违规新闻类文件样本对多个所述候选敏感词匹配规则进行二次过滤以得到最终的敏感词匹配规则。

4.根据权利要求2所述的基于敏感词的新闻类文件审核方法，其特征在于，对所述待审核新闻类文件进行预处理，包括以下步骤：

对所述待审核新闻类文件进行一次处理，以删除所述待审核新闻类文件中的标点符号和文本标签；

对一次处理后的所述待审核新闻类文件进行二次处理，以对一次处理后的所述待审核新闻类文件进行分词。

5.根据权利要求3所述的基于敏感词的新闻类文件审核方法，其特征在于，采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件，包括以下步骤：

判断预处理后的所述待审核新闻类文件是否与任一所述敏感词匹配规则匹配；

若是，则判定所述待审核新闻类文件为风险新闻类文件，否则，则判定所述待审核新闻类文件为安全新闻类文件。

6.一种基于敏感词的新闻类文件审核系统，其特征在于，包括：

构建模块，所述构建模块用于构建敏感词词库；

训练模块，所述训练模块用于根据所述敏感词词库训练提取敏感词匹配规则；

获取模块，所述获取模块用于获取待审核新闻类文件；

处理模块，所述处理模块用于对所述待审核新闻类文件进行预处理；

判断模块，所述判断模块用于采用所述敏感词匹配规则判断预处理后的所述待审核新闻类文件是否为安全新闻类文件。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-5中任一项所述的基于敏感词的新闻类文件审核方法。

8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的基于敏感词的新闻类文件审核方法。

Images