CN104253809A - 一种检测网络中内容的方法和系统 - Google Patents

Abstract

本发明公开一种检测网络中内容的方法和系统，方法包括接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识；判断接收的所述指示标识是否指示对所述内容进行重新检测；在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。本发明解决了将危险内容误判为通过的技术问题，取得了节约人力成本，避免危险内容危害网络的技术效果。

Description

一种检测网络中内容的方法和系统

技术领域

本发明涉及计算机网络领域，特别涉及检测网络中内容的方法和系统。

背景技术

随着互联网应用的发展，网络中发布的内容越来越多，这些内容中经常包括垃圾信息或者恶意攻击信息等，因此需要对网络中内容进行检测，以保证网络环境的安全和洁净。

现有技术中检测网络中内容的技术方案主要包括敏感词检测和人工检测。其中，人工检测的准确性高，能够精确判断内容是否适当。但是，因为网络中内容量的急剧猛增，使得对所有内容都进行人工检测，会增加巨额的人力成本，而且人工检测的效率也相对较低。

敏感词检测为将网络中内容与敏感词库中敏感词进行匹配，如果匹配成功，则该内容命中了敏感词库中的敏感词，由此判断出该内容存在风险，之后对该内容进行人工检测。如果内容没有命中敏感词库中的敏感词，则认为该内容安全，通过检测。在该技术方案中，敏感词库中敏感词的维护经常滞后于网络中内容的发展，经常是内容中某个敏感词出现一段时间后才会被发现。因此，导致部分危险内容不应被检测通过却被误判为通过，因此对网络环境造成了危害，使得内容检测率降低。在现实统计结果中也表明未命中敏感词的内容同样存在大量垃圾信息，特别是各种广告信息。

发明内容

本发明提供了检测网络中内容的方法和系统，以解决将危险内容误判为通过，内容检测率降低的技术问题。

本发明公开了一种检测网络中内容的方法，所述方法包括：

接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识；其中当所述内容对应的配置参量的值达到预设的参量阀值时，所述指示标识指示对所述内容进行重新检测，所述配置参量用于表征所述内容被关注的程度，所述配置参量的值越大，则所述内容被关注的程度越高；

判断接收的所述指示标识是否指示对所述内容进行重新检测；

在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；所述检测结果列表中保存内容的检测结果；

在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。

其中，所述配置参量至少包括下列参量中的一种：

内容被评论的次数；

内容被浏览的次数；

内容被转发的次数；

内容在页面中停留的时长。

其中，所述接收应用平台发送的网络中发布的内容后包括：

对所述内容进行哈希运算，获得所述内容对应的哈希值；

所述检测结果列表中对应地保存内容的哈希值和内容的检测结果；

所述根据检测结果列表对所述内容进行检测具体包括：

判断所述检测结果列表中是否包括所述哈希值，如果不包括，则根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测；如果包括，则获取所述哈希值在所述检测结果列表中对应的检测结果。

其中，所述对所述内容进行哈希运算，获得所述内容对应的哈希值具体包括：

除去所述内容中冗余信息，对除去冗余信息的所述内容进行哈希运算，获得所述内容对应的指纹哈希值。

其中，所述获得所述内容对应的指纹哈希值后还包括：

将所述指纹哈希值对应的计数值加1；

所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测具体包括：

判断所述指纹哈希值对应的计数值是否大于预设的计数值阀值，

如果大于，则接收审核指令，根据所述审核指令对所述内容进行检测；

否则，确定检测结果为所述内容通过检测。

其中，所述如果大于，则接收审核指令，根据所述审核指令对所述内容进行检测后还包括：

在所述检测结果列表中对应地保存所述哈希值和根据所述审核指令对所述内容进行检测所得的检测结果。

其中，所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测之前还包括：

判断所述内容是否命中敏感词库中的敏感词；

如果是，则接收审核指令，根据所述审核指令对所述内容进行检测，获取检测结果；

所述返回检测结果之后还包括：在所述检测结果列表中对应地保存所述内容的哈希值和所得的根据所述审核指令对所述内容进行检测所得的检测结果；

如果否，进行所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测的步骤。

其中，所述在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果后还包括：

在所述检测结果列表中更新所述内容的检测结果为根据所述审核指令对所述内容进行检测所得的检测结果。

根据本发明的另一方面，公开了一种检测网络中内容的系统，包括：

接收单元，用于接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识；其中当所述内容对应的配置参量的值达到预设的参量阀值时，所述指示标识指示对所述内容进行重新检测，所述配置参量用于表征所述内容被关注的程度，所述配置参量的值越大，则所述内容被关注的程度越高；

判断单元，用于判断接收的所述指示标识是否指示对所述内容进行重新检测；

第一检测单元，用于在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；所述检测结果列表中保存内容的检测结果；

第二检测单元，用于在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。

其中，所述系统还包括：哈希值计算单元；

所述哈希值计算单元，用于在所述接收单元接收到应用平台发送的网络中发布的内容后，对所述内容进行哈希运算，获得所述内容对应的哈希值；

所述检测结果列表中对应地保存内容的哈希值和内容的检测结果；

所述根据检测结果列表对所述内容进行检测具体包括：

所述第一检测单元，具体用于判断所述检测结果列表中是否包括所述哈希值，如果不包括，则根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测；如果包括，则获取所述哈希值在所述检测结果列表中对应的检测结果。

本发明的有益效果是：通过本发明中技术方案，一方面，对于检测结果进行保存，可以应用保存的检测结果对重复内容进行检测，另一方面，由于危险内容的危害性与该内容被关注的程度有关，因此，当内容被关注的程度达到预设阀值后，对该内容进行精确的人工检测。由此，既可以避免对每个内容都进行人工检测，又能够在危险内容造成危害前，纠正对该危险内容的误判，解决了将危险内容误判为通过的技术问题。因为，能够避免对每个内容都进行人工检测，所以取得了节约人力成本、提高检测效率的技术效果，同时因为能够在危险内容造成危害前，纠正对该危险内容的误判，取得了提高检测正确率，避免危险内容危害网络的技术效果。

附图说明

图1为根据本发明一实施例的检测网络中内容的方法的流程图；

图2为根据本发明一实施例的根据检测结果列表对内容进行检测的流程图；

图3为根据本发明一实施例的步骤S146中操作的流程图；

图4为根据本发明另一实施例的检测网络中内容的方法的流程图；

图5为根据本发明一实施例的检测网络中内容的系统的结构图；

图6为根据本发明另一实施例的检测网络中内容的系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为根据本发明一实施例的检测网络中内容的方法的流程图。如图1所示，该方法包括如下流程。

步骤S110，接收应用平台发送的网络中发布的内容，以及内容对应的指示是否进行重新检测的指示标识。

在内容对应的配置参量的值达到预设的参量阀值时，应用平台发送的指示标识指示对所述内容进行重新检测。

在内容对应的配置参量的值未达到预设的参量阀值时，应用平台发送的指示标识指示不对所述内容进行重新检测。

配置参量用于表征内容被关注的程度，配置参量的值越大，则对应的内容被关注的程度越高。

因为各个内容所属的业务不同，则内容的配置参量可以对应不同。

配置参量可以至少包括下列参量中的一种，但不局限于此：

内容被评论的次数；

内容被浏览的次数；

内容被转发的次数；

内容在页面中停留的时长。

当配置参量的值大于参量阀值后，可以确定该配置参量对应的内容的被关注程度达到设置标准，需要对该内容进行精细的外部检测。

此外，当配置参量的值大于参量阀值时，可以对该内容进行高危险标识，以使得该内容可以在人工检测中被优先处理。

通过上述操作，能够在危险内容造成危害前，纠正对该危险内容的误判，取得了提高检测正确率，避免危险内容危害网络的效果。

步骤S120，判断接收的重新检测的指示标识是否指示进行重新检测，如果是，则执行步骤S130，否则，执行步骤S140。

举例而言，指示标识可以为：1时，表示进行重新检测，0时，表示不进行重新检测。

步骤S130，接收审核指令，根据审核指令对接收的网络中发布的该内容进行检测，返回检测结果。

此处，接收审核指令，根据审核指令对内容进行检测可以是精细的人工检测，或其他的根据外部指令进行精细检测的方式。

较佳地，在执行完步骤S130后还可以在检测结果列表中更新该内容的检测结果为该根据审核指令对内容进行检测所得的检测结果。

检测结果列表中对应地保存内容的哈希值和内容的检测结果。

步骤S140，根据检测结果列表对接收的网络中发布的该内容进行检测，返回检测结果。

该检测结果列表中检测结果可以是外部配置，也可以是检测过程中所得检查结果的记录，并随着检测中结果的变化而实时更新。

由此，可以直接应用已有的检测结果对内容进行检测，提高了检测效率。

具体而言，在步骤S110和步骤S120间还可以包括步骤S120’，对接收的内容进行哈希运算，获得该内容对应的哈希值；其中步骤S120’的执行顺序并不局限于此。

哈希值的计算可以有多种方法。

举例而言，对于接收的内容计算MD5哈希值。该哈希值与内容中全部信息对应，此时，包含信息相同的两个内容的哈希值相同。

也可以，将内容中冗余信息除去后，对除冗余后的内容进行哈希运算，该所得哈希值与内容中的有用信息对应。本发明中将对除冗余后的内容进行哈希运算所得哈希值称为内容的指纹哈希值。包含信息相同或相似的两个内容的指纹哈希值相同。

举例而言，计算指纹哈希值的具体方式为：去掉内容中无关的字符，例如各种控制字符、全角半角标点符号；对内容进行切词分析，滤除对文义没有影响的信息，例如，将标点符号、空格、对文意没有影响的“啊、的”等字词去除。之后，对操作后保留的信息计算哈希值。

例如，两条内容

“亲们、还在#无聊么网络￥%兼*职日结非诚6勿扰”

“A亲们、还在B无聊么网络KD兼（职日结非诚GR勿扰”

该两条内容除去掉冗余后信息为“亲们、还在无聊么网络兼职日结非诚勿扰”，两者除去冗余后的部分相同，两者为相似内容，两者的指纹哈希值相同。

本发明中也可以将内容进行区分，对不同内容计算不同哈希值。例如，对于长度在预设最大和最小阀值内的内容进行去冗余操作，计算指纹哈希值；对于长度小于最小阀值和长度大于最大阀值的内容整体计算哈希值。

如图2所示，步骤S140包括如下步骤。

步骤S142，判断检测结果列表中是否包括接收的网络中发布的该内容的哈希值，如果不包括，则执行步骤S146，如果包括，则执行步骤S144。

步骤S144，返回所述哈希值在所述检测结果列表中对应的检测结果。

步骤S146，根据已接收的与上述内容相同和/或相似内容的数量对上述内容进行检测。

相似内容是指除冗余的无意义信息外与接收的内容相同的内容。

较佳的，在根据与接收的内容相同和/或相似内容的数量对接收的内容进行检测之前，判断接收的内容是否命中敏感词库中的敏感词；如果是，则接收审核指令，根据所述审核指令对所述内容进行检测，获取检测结果，返回检测结果，在检测结果列表中对应地保存内容的哈希值和所得的根据审核指令对内容进行检测所得的检测结果；如果否，进行所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测的步骤。

举例而言，如图3所示，步骤S146中包括如下步骤。在该举例中，根据之前已经接收的、与步骤S110中接收的内容相同和相似内容的数量，对步骤S110中接收的内容进行检测。在步骤S120’中，除去接收的内容中冗余信息，对除去冗余信息的内容进行哈希运算，获得该内容对应的指纹哈希值，并将该指纹哈希值对应的计数值加1。由此用计数值表示获取已接收的与上述内容相同和/或相似内容的数量。

步骤S1462，判断该指纹哈希值对应的计数值是否大于预设的计数值阀值，如果是，则执行步骤S1464，否则，执行步骤S1466。

其中，具有相同指纹哈希值的内容为相同或相似内容，指纹哈希值的计数值表示已经接收的内容中，与步骤S110中接收的内容相同或相似的内容数量。因为，在网络中垃圾信息多为广告，其特点为反复重复出现，内容相同或相似。由此，通过计算接收的相同的指纹哈希值的累计数量，能够检测出此类垃圾信息。指纹哈希值的计数值达到预设的计数值阀值，则表示某一内容反复在网络中发布，其很可能为垃圾信息，具有高危险性。

步骤S1464，接收审核指令，根据该审核指令对接收的网络中发布的该内容进行检测，检测结果列表中对应地保存该哈希值和根据审核指令对内容进行检测检测所得的检测结果。

步骤S1466，确定检测结果为接收的内容通过检测。

本实施例能够避免对每个内容都进行人工检测，所以取得了节约人力成本、提高检测效率的技术效果，同时因为能够在危险内容造成危害前，纠正对该危险内容的误判，取得了提高检测正确率，避免危险内容危害网络的技术效果。

参见图4，为根据本发明另一实施例的检测网络中内容的方法的流程图。在该实施例中综合应用敏感词检测和相似内容检测，并在检测结果列表中对检测结果做记录，以在后续中应用该检测结果。具体方法包括如下步骤。

步骤S4010，接收应用平台发送的网络中发布的内容，以及该内容对应的指示是否进行重新检测的指示标识。

步骤S4020，除去内容中冗余信息，对除去冗余信息的内容进行哈希运算，获得内容对应的指纹哈希值，将该指纹哈希值对应的计数值加1。

步骤S4030，判断接收的内容对应的指示标识是否指示进行重新检测，如果否，则执行步骤S4050，如果是，执行步骤S4040。

步骤S4040，接收审核指令，根据该审核指令对网络中发布的该内容进行检测，返回检测结果，在该检测结果列表中更新接收的内容的指纹哈希值对应的检测结果为根据该审核指令对内容进行检测所得的检测结果。

步骤S4050，判断检测结果列表中是否包括接收的内容的指纹哈希值，如果不包括，则执行步骤S4070，如果包括，则执行步骤S4060。

步骤S4060，返回内容对应的指纹哈希值在检测结果列表中对应的检测结果。

步骤S4070，判断接收的内容是否命中敏感词库中的敏感词，如果是，则执行步骤S4080；否则，执行步骤S4090。

步骤S4080，接收审核指令，根据该审核指令对网络中发布的该内容进行检测，返回检测结果，在检测结果列表中对应地保存该内容的指纹哈希值和所得检测结果。

步骤S4090，判断指纹哈希值的计数值是否大于预设的计数值阀值，如果大于，则执行步骤S4080，否则，执行步骤S4100。

步骤S4100，确定检测结果为内容通过检测。

如图5所示，一种检测网络中内容的系统包括如下单元。

接收单元510，用于接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识。

其中，当所述内容对应的配置参量的值达到预设的参量阀值时，所述指示标识指示对所述内容进行重新检测，所述配置参量用于表征所述内容被关注的程度，所述配置参量的值越大，则所述内容被关注的程度越高。

所述配置参量至少包括下列参量中的一种：

内容被评论的次数；

内容被浏览的次数；

内容被转发的次数；

内容在页面中停留的时长。

判断单元520，用于判断接收的所述指示标识是否指示对所述内容进行重新检测。

第一检测单元530，用于在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；所述检测结果列表中保存内容的检测结果。

第二检测单元540，用于在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。

较佳地，所述系统还包括：哈希值计算单元550，如图6所示。

哈希值计算单元550，用于在所述接收单元接收到应用平台发送的网络中发布的内容后，对所述内容进行哈希运算，获得所述内容对应的哈希值。

所述检测结果列表中对应地保存内容的哈希值和内容的检测结果。

第一检测单元530，具体用于判断所述检测结果列表中是否包括所述哈希值，如果不包括，则根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测；如果包括，则获取所述哈希值在所述检测结果列表中对应的检测结果。

较佳地，哈希值计算单元550，具体用于除去所述内容中冗余信息，对除去冗余信息的所述内容进行哈希运算，获得所述内容对应的指纹哈希值。

较佳地，哈希值计算单元550，还用于在获得所述内容对应的指纹哈希值后，将所述指纹哈希值对应的计数值加1。

第一检测单元530，具体用于判断所述指纹哈希值对应的计数值是否大于预设的计数值阀值，如果大于，则接收审核指令，根据所述审核指令对所述内容进行检测；否则，确定检测结果为所述内容通过检测。

较佳地，第一检测单元530，还用于在所述检测结果列表中对应地保存所述哈希值和根据所述审核指令对所述内容进行检测所得的检测结果。

较佳地，第一检测单元530，还用于在根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测之前，判断所述内容是否命中敏感词库中的敏感词；如果是，则接收审核指令，根据所述审核指令对所述内容进行检测，获取检测结果；所述返回检测结果之后还包括：在所述检测结果列表中对应地保存所述内容的哈希值和所得的根据所述审核指令对所述内容进行检测所得的检测结果；如果否，进行所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测的步骤。

较佳地，第二检测单元540，还用于在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果后，在所述检测结果列表中更新所述内容的检测结果为根据所述审核指令对所述内容进行检测所得的检测结果。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种检测网络中内容的方法，其特征在于，所述方法包括：

接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识；其中当所述内容对应的配置参量的值达到预设的参量阀值时，所述指示标识指示对所述内容进行重新检测，所述配置参量用于表征所述内容被关注的程度，所述配置参量的值越大，则所述内容被关注的程度越高；

判断接收的所述指示标识是否指示对所述内容进行重新检测；

在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；所述检测结果列表中保存内容的检测结果；

在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。

2.根据权利要求1所述的方法，其特征在于，

所述配置参量至少包括下列参量中的一种：

内容被评论的次数；

内容被浏览的次数；

内容被转发的次数；

内容在页面中停留的时长。

3.根据权利要求1所述的方法，其特征在于，

所述接收应用平台发送的网络中发布的内容后，所述方法还包括：

对所述内容进行哈希运算，获得所述内容对应的哈希值；

所述检测结果列表中对应地保存内容的哈希值和内容的检测结果；

所述根据检测结果列表对所述内容进行检测具体包括：

判断所述检测结果列表中是否包括所述哈希值，如果不包括，则根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测；如果包括，则获取所述哈希值在所述检测结果列表中对应的检测结果。

4.根据权利要求3所述的方法，其特征在于，

所述对所述内容进行哈希运算，获得所述内容对应的哈希值具体包括：

除去所述内容中冗余信息，对除去冗余信息的所述内容进行哈希运算，获得所述内容对应的指纹哈希值。

5.根据权利要求4所述的方法，其特征在于，

所述获得所述内容对应的指纹哈希值后还包括：

将所述指纹哈希值对应的计数值加1；

所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测具体包括：

判断所述指纹哈希值对应的计数值是否大于预设的计数值阀值，

如果大于，则接收审核指令，根据所述审核指令对所述内容进行检测；

否则，确定检测结果为所述内容通过检测。

6.根据权利要求5所述的方法，其特征在于，

所述如果大于，则接收审核指令，根据所述审核指令对所述内容进行检测后还包括：

在所述检测结果列表中对应地保存所述哈希值和根据所述审核指令对所述内容进行检测所得的检测结果。

7.根据权利要求3所述的方法，其特征在于，

所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测之前还包括：

判断所述内容是否命中敏感词库中的敏感词；

如果是，则接收审核指令，根据所述审核指令对所述内容进行检测，获取检测结果；

所述返回检测结果之后还包括：在所述检测结果列表中对应地保存所述内容的哈希值和根据所述审核指令对所述内容进行检测所得的检测结果；

如果否，进行所述根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测的步骤。

8.根据权利要求1所述的方法，其特征在于，

所述在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果后还包括：

在所述检测结果列表中更新所述内容的检测结果为根据所述审核指令对所述内容进行检测所得的检测结果。

9.一种检测网络中内容的系统，其特征在于，包括：

接收单元，用于接收应用平台发送的网络中发布的内容，以及所述内容对应的指示是否进行重新检测的指示标识；其中当所述内容对应的配置参量的值达到预设的参量阀值时，所述指示标识指示对所述内容进行重新检测，所述配置参量用于表征所述内容被关注的程度，所述配置参量的值越大，则所述内容被关注的程度越高；

判断单元，用于判断接收的所述指示标识是否指示对所述内容进行重新检测；

第一检测单元，用于在所述指示标识没有指示对所述内容进行重新检测时，根据检测结果列表对所述内容进行检测，返回检测结果；所述检测结果列表中保存内容的检测结果；

第二检测单元，用于在所述指示标识指示对所述内容进行重新检测时，接收审核指令，根据所述审核指令对所述内容进行检测，返回检测结果。

10.根据权利要求9所述的系统，其特征在于，

所述系统还包括：哈希值计算单元；

所述哈希值计算单元，用于在所述接收单元接收到应用平台发送的网络中发布的内容后，对所述内容进行哈希运算，获得所述内容对应的哈希值；

所述检测结果列表中对应地保存内容的哈希值和内容的检测结果；

所述第一检测单元，具体用于判断所述检测结果列表中是否包括所述哈希值，如果不包括，则根据已接收的与所述内容相同和/或相似内容的数量对所述内容进行检测；如果包括，则获取所述哈希值在所述检测结果列表中对应的检测结果。