CN109831682A - 信息审核方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种信息审核方法、装置、电子设备及存储介质。所述方法包括：获取用户的发言信息和用户的积分值，若所述积分值小于或等于第一预设值，则对所述发言信息进行拦截，若所述积分值大于所述第一预设值，则将所述发言信息发送给相应的客户端进行显示；对发言信息进行审核重新确定积分值。根据积分值的不同，对发言信息进行差异化处理。对于积分值过低的用户，将其发言信息拦截，并且再根据对发言信息的审核调整用户的积分值，从而有效拦截违规信息。

Description

信息审核方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，更具体地，涉及一种信息审核方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的不断发展，人们越来越依赖互联网进行各种信息的传播及互动，人们普遍通过文字信息在网络上进行信息的传播及互动。互联网视频流量在近几年大量增加，短视频、视频直播等各种新型用户原创内容(User Generated Content，UGC)促使互联网视频越来越丰富，大量的视频资源在互联网、移动通信网、广电有线网等渠道中传播，同时也吸引了大批观众在观看互联网视频时进行互动。

观众可以通过发言进行互动，但是有些观众在发言过程中，可能会发送一些违规信息，对他人或者社会产生不良的影响。

发明内容

本申请提出了一种信息审核方法、装置、电子设备及存储介质，对用户的发言信息进行审核，以改善上述问题。

第一方面，本申请实施例提供了一种信息审核方法，该方法包括：获取用户的发言信息和用户的积分值；若所述积分值小于或等于第一预设值，对所述发言信息进行拦截；若所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示；对所述发言信息进行审核重新确定积分值。

第二方面，本申请实施例提供了一种信息审核装置，该装置包括：获取模块，用于获取用户的发言信息和积分值；拦截模块，用于在所述积分值小于或等于第一预设值，对所述发言信息进行拦截；发送模块，用于在所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示；审核模块，用于对所述发言信息进行审核重新确定积分值。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。

第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供的信息审核方法、装置、电子设备及存储介质，获取用户的发言信息和用户的积分值，若积分值小于或等于第一预设值，则对发言信息进行拦截，若积分值大于第一预设值，则将发言信息发送给相应的客户端进行显示。并且，对发言信息进行审核重新确定积分值。本申请实施例中，根据积分值的不同确定是否对发言信息进行拦截，并通过对发言信息的审核对用户的积分值进行调整，从而可以有效拦截违规的发言信息。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的信息审核方法的流程图。

图2示出了本申请另一个实施例提供的信息审核方法的流程图。

图3示出了在视频播放过程中的聊天消息或弹幕的示意图。

图4示出了本申请又一个实施例提供的信息审核方法的流程图。

图5示出了在图4所提供的实施例的基础上提供的信息审核方法的流程图。

图6示出了本申请再一个实施例提供的信息审核方法的流程图。

图7示出了本申请一个实施例提供的信息审核装置的功能模块图。

图8示出了本申请实施例提出的用于执行根据本申请实施例的信息审核方法的电子设备的结构框图。

图9示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的信息审核方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着互联网的发展普及，通过网络进行信息交流变得越来越普遍，如在观看视频时发送弹幕、在观看直播时发送弹幕或者在聊天区域发布言论、在即时通信软件发送信息等。例如，作为一种新兴的网络社交方式，网络直播受到越来越多人的喜爱。在网络直播的过程中，观众可以通过在聊天区域发言与主播或者其他观众互动，该互动大多采取文字消息的形式在聊天区域进行。然而在发言信息中存在着一些有违社会公德、影响社会稳定、违反法律法规等的负面信息，如低俗的信息、政治敏感的信息、用于谩骂的信息、用于诽谤或者污蔑的信息、用于传播违法消息的信息、用于违法贩卖产品的信息、用于传播谣言的信息等，该类负面信息通常作为违规信息，需要对其进行拦截或者对相关的用户进行处罚，因此需要对发言信息进行审核。

由于发言信息的数量巨大，为了减轻人工审核的压力，可以通过建立违规词库对信息进行过滤审核，将匹配到违规词库中词语的句子判定为违规的句子，对其进行拦截或者对相应的用户进行处罚。但是，在某些违规发言信息中高频率出现的词语也有可能出现在正常的发言信息中，容易造成对发言信息的误判。

并且，随着网络的快速发展，违规的词语会出现很多的变形，词库可能没有办法完全覆盖到这些违规词语，则会出现审核漏洞。

因此，发明人提出了本申请实施例中的信息审核的方法，获取用户的发言信息和用户的积分值，若积分值小于或等于第一预设值，则对所述发言信息进行拦截，若所述积分值大于所述第一预设值，则将所述发言信息发送给相应的客户端进行显示；对发言信息进行审核重新确定积分值。根据用户的积分值的不同，确定是否对发言信息进行拦截，并通过对发言信息的审核对用户的积分值进行调整，从而可以有效拦截负面的发言信息，且降低对信息发送的影响。

下面将对本申请实施例进行详细的说明。

请参阅图1，本申请实施例提供了一种信息审核方法，本实施例描述的处理流程的执行主体可以是服务器。具体的该方法可以包括：

步骤S110，获取用户的发言信息和用户的积分值。

在网络活动中，用户可以通过各种形式进行发言，如在视频观看过程中发送弹幕、在直播观看过程中在发言区域发言以及其他社交软件中发送聊天信息等。

用户的发言信息可以发送到服务器，由服务器发送到接收该发言信息的用户。对应的，服务器可以实时获取用户的发言信息。其中，获取的发言信息可以为用户单次发送的单条信息，该信息可以是文本信息，其中可以包括一个句子或多个句子的组合。该文本信息中可以包括中文文本、外文文本以及符号等。

在本申请实施例中，可以存储有每个用户的积分值。获取到用户的发言信息后，可以确定发出该发言信息的用户的身份信息，根据用户的身份信息获取到用户的积分值。其中，用户的积分值是用于衡量用户通常发言是否违规的一个分值，这个值可以根据用户的发言情况进行扣除或增加。用户越多地发表违规的发言信息，其积分值越低；用户发表的违规的发言信息越少，其积分值越高。

步骤S120，若所述积分值小于或等于第一预设值，对所述发言信息进行拦截。

在获取到发言信息的用户对应的积分值时，根据这个积分值的大小，对用户的发言信息进行不同的处理。当用户的积分值小于或等于第一预设值时，表明该用户被扣积分较多，可能经常发送负面的信息，则将该用户的所有发言信息进行拦截处理，即服务器保持该发言信息在发送该发言信息的用户的对话框中，而不将该用户的发言信息发送到接收该发言信息的用户，也就是说用户发出信息只对自己可见，而对其他用户不可见。

步骤S130，若所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示。

当获取到的用户的积分值大于第一预设值时，表明该用户的积分值被扣除较少，可能不经常发送负面的信息，则不拦截该发言信息，将该发言信息发送给相应的客户端进行显示。该相应的客户端表示应该接收到该发言信息的客户端，或者说正在进行信息交互的客户端。例如，若该发言信息为直播间中的弹幕信息，则该相应的客户端为与该发言信息对应的用户在同一直播间的用户对应的客户端。那么，该发言消息对所有应该接收到的用户可见。

可以理解的，在本申请实施例中，根据用户的积分值的大小，步骤S120 以及步骤S130择一执行。

步骤S140，对所述发言信息进行审核重新确定积分值。

对于未拦截的发言信息，可以进一步对其进行审核，根据审核的结果对积分值进行增加、扣除或不操作，以根据用户的发言情况动态调整用户的积分值。

本申请提出的信息审核方法，获取用户的发言信息和用户的积分值，若积分值小于或等于第一预设值，则对发言信息进行拦截，若积分值大于第一预设值，则将发言信息发送给相应的客户端进行显示。并且，对发言信息进行审核重新确定积分值。本申请实施例中，根据积分值的不同，对发言信息进行差异化处理。对于积分值过低的用户，将其发言信息拦截，并且再根据对发言信息的审核调整用户的积分值，从而有效拦截违规信息。

请参阅图2，本申请另一实施例提供了一种信息审核方法，在上一实施例的基础上重点描述了当积分值大于第一预设值且小于第二预设值时，对发言信息的审核过程。具体的，该方法可以包括：

步骤S210，获取用户的发言信息和用户的积分值。

其中，服务器获取的用户的发言信息，是用户单次发出的文本消息，这个文本消息可以是一个句子或多个句子，例如图3所示的视频播放过程中聊天消息201或弹幕202等在公共区域进行显示的消息。

当然，在本申请实施例中，用户的发言信息也可以是用户发表的文章、微博、博客等其他形式的信息，本申请实施例主要以弹幕、公屏发言等聊天文本为例进行说明。

用户的积分值是用于衡量用户通常发言是否违规的一个分值，这个值可以根据用户的发言情况进行扣除或增加。例如，当用户的发言信息违规时，则对所述积分值进行扣除一定的分值。其中，用户的积分值可以表征出该用户的发言信息的违规情况。若积分值较低，则可表明该用户的发言信息经常违规，而用户的积分值较高，则可表明该用户遵守相关的规定，较少违规。

因此，在获取到用户的发言信息时，可以获取用户的积分值，根据积分值的大小确定对该发言信息的处理方式。

具体的，可以将每个用户的积分值与该用户的身份信息对应存储，通过用户的身份信息可以查找到该用户的积分值。

作为一种实施方式，当向服务器发送发言信息，可以将身份信息与该发言信息一起发送到服务器。该身份信息为发送该发言信息的用户的身份信息，该身份信息表示用户的唯一识别码，例如可以是用户的帐号，或者是分配给用户的用于表示用户唯一身份的编码等。服务器可以根据该身份信息查找对应的积分值，从而获得发送发言信息的用户的积分值。

作为另一种实施方式，服务器可以将每个用户的积分值发送到该用户对应的客户端，也就是说，将积分值发送到对应用户信息登录的客户端。当客户端向服务器发送用户的发言信息时，可以将该用户的积分值一起发送到服务器。

在本申请实施例中，服务器获取用户的发言信息以及积分值的方式并不限定，也可以是其他方式进行获取。

步骤S220，若所述积分值小于或等于第一预设值，对所述发言信息进行拦截。

获取到用户的积分值后，对积分值与第一预设值之间的大小关系进行判定。在本申请实施例中，第一积分值的具体数值并不限定，可以是一个表示用户发送违规信息频率极高的值，例如可以是设置的积分值数值范围内的最低值，如设置积分值在0至12分范围内，即用户的积分值增减的最低值为0分，最高值为12分，则该第一预设值可以是0分。

若所述积分值小于或等于第一预设值，表明该用户被扣积分较多，可能经常发送违规的信息，则将该用户的所有发言信息进行拦截，既可以有效避免违规信息的发送，又可以作为一种对违规率过高导致积分值扣到小于或等于第一预设值的用户的处罚方式。

步骤S230，若所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示。

若积分值大于第一预设值，表示用户违规的频率低于积分值小于或等于第一预设值的用户，可以先将其发言信息发送给应该与其交互的其他客户端进行显示，以降低对用户消息发送的影响。

因此，当获取到用户的积分值后，若判定积分值大于第一预设值，则将与该积分值对应的用户的发言信息发送给相应的客户端进行显示。也就是说，用户的发言信息不仅仅是对自己可见，还对其他的所有用户可见。

步骤S240，若所述积分值大于所述第一预设值，且小于第二预设值，对所述发言信息进行一类审核并重新确定积分值；若所述积分值大于或等于所述第二预设值，对所述发言信息进行二类审核并重新确定积分值。

为了通过积分值衡量用户发言的违规情况，还可以对发言信息进行审核以重新确定积分值。即若用户的发言信息违规，则对该用户进行积分值扣减，以实现低的积分值体现高频率的违规发言。

其中，对于大于第一预设值的积分值，积分值大小的不同，表示相应的用户在发言时可能违规的情况不同，因此，可以根据积分值的大小对发言信息采用不同的审核方式。

具体的，可以设置第二预设值，与第一预设值共同作为审核方式的确定标准，其中，该第二预设值大于第一预设值。

若用户的积分值大于第一预设值且小于第二预设值，则可以采用一类审核的审核方式对发言信息进行审核，并根据审核结果重新确定积分值。若用户的积分值大于或等于第二预设值，采用的审核方式可以是与一类审核不通的二类审核，并根据审核结果对该用户的积分值重新确定。例如，第一预设值为0 分，第二预设值为6分，那么当获取的用户的积分值大于0且小于6的时候，则将该用户的发言信息进行一类审核；当获取的用户的积分值大于或等于6 的时候，则将该用户的发言信息进行二类审核。

其中，一类审核和二类审核为不同的审核方式。在本申请实施例中，由于采用一类审核的发言信息对应的积分值低于第二预设值，说明该发言信息违规的可能性也较大，并且可能发言信息违规形式多样，因此，一类审核可以是由审核人员进行审核，以保证审核的准确性，有效应对各种形式的违规信息。

具体的，一类审核可以是将发言信息发送给审核终端进行审核。在审核终端可以显示接收到的发言信息，由相应的审核人员对该发言信息是否违规进行审核。其中，审核人员判断所述发言信息是否违规，可以是由审核人员判断发言信息中是否有辱骂、低俗、政治敏感、诽谤、污蔑、传播违法消息、违法贩卖产品、传播谣言等等的违规内容，判断该发言信息是否为影响社会稳定、违反法律法规造成负面影响的违规言论，具体判断规则在本申请实施例中并不限定。当发言信息包括违规内容，或者属于违规言论，则可以判定该发言信息为违规信息。

审核终端将该发言信息违规或者不违规的审核结果返回到服务器。若服务器接收到审核终端的审核结果为所述发言信息违规，则可以对用户进行积分值扣除，可以从用户的积分值中扣除第一预设扣分值。若服务器接收到审核终端的审核结果为所述发言信息不违规，则不扣除用户的积分值，用户的积分值仍然确定为获取到发言信息时的积分值。例如，获取用户的发言信息时，该用户的积分值为5分，第一预设扣分值为1分，若用户的发言信息为违规信息，则从用户5分的积分值扣除1分，用户的积分值重新确定为4分。若用户的发言信息不违规，则确定该用户的积分值仍然为5分。当然，该第一预设扣分值的具体数值在本申请实施例中并不限定，扣除积分值可以作为一种对用户的处罚手段，根据需要对用户的处罚力度确定。

在本申请实施例中，二类审核可以主要是通过机器审核的审核结果确定是否扣除用户的积分值。即服务器可以通过对发言信息进行分析，判断该发言信息是否为违规信息，若是，则对该用户的积分值进行扣除；若否，则保持该用户的积分值不变。

可以理解的，在本申请实施例中，根据用户的积分值的大小，步骤S220 以及步骤S230择一执行。

本申请提出的信息审核方法，通过对用户的积分值进行判断，在用户的积分值大于第一预设值时，根据该积分值与第二预设值的大小关系确定对该发言信息的审核方式。当积分值大于第一预设值且小于第二预设值时，由于积分值较低的用户存在着的违规发言较为严重，则将与积分值对应的用户的发言信息发送到审核终端进行人工审核或是其他更为细致的审核，避免了机器审核不准确或出现审核漏洞的情况，提高了审核的准确性。

请参阅图4，本申请又一实施例提供了一种信息审核方法，本实施例在前述实施例的基础上，重点描述了当积分值大于或等于第二预设值时，对发言信息的审核过程。如图4所示，该方法可以包括：

步骤S310，获取用户的发言信息和用户的积分值。

步骤S320，若所述积分值小于或等于第一预设值，对所述发言信息进行拦截。

步骤S330，若所述积分值大于所述第一预设值，且小于第二预设值，对所述发言信息进行一类审核并重新确定积分值。

步骤S310至步骤S330可参照前述实施例对应部分，在此不再赘述。

步骤S340，若所述积分值大于或等于所述第二预设值，则判断所述发言信息中是否包括违规词语。

当所述积分值大于或等于所述第二预设值时，则对所述发言信息进行二类审核，二类审核的审核方式可以是判断发言信息中是否包括违规词语。

可以理解的，在本申请实施例中，根据用户的积分值的大小，步骤S320、步骤S330以及步骤S340择一执行。

步骤S350，若所述发言信息中包括违规词语，对所述积分值进行扣分处理。

当所述积分值大于或等于所述第二预设值时，则对所述发言信息进行二类审核，二类审核判断发言信息是否违规的方式可以是判断发言信息中是否包括违规词语，若包括，对所述积分值进行扣分处理；若不包括，则可以保持积分值不变。

其中，判断发言信息中是否包括违规词语，可以通过判断所述发言信息中是否包括违规词库中的词语确定。

其中，服务器内存储有违规词库，其中包括各种用于传递违规信息的词语，如政治敏感类词语、辱骂类词语、违反法律法规的词语等等。判断发言信息中是否包括所述违规词库中的词语，若是，则可以判定所述发言信息中包括违规词语；若否，则可以判定所述发言信息中不包括违规词语。

具体如何判断发言信息中是否包括所述违规词库中的词语在本申请实施例中并不限定。例如可以是，先将发言信息进行分词，获取发言信息中的各个分词词语。再将发言信息中的分词词语与违规词库中的词语一一匹配，当某个分词词语与违规词库中的词语的匹配度大于或等于预设匹配度，则判定该分词词语与违规词库中该词语一致，可以判定该发言信息包括违规词库中的词语。

在本申请实施例中，所述违规词库可以包括多个不同类型的词库，每个词库用于集合对应类型的违规词语。例如，词库的类型可以是封建迷信类词库，用于集合封建迷信类违规词语；词库的类型可以是政治敏感类词库，用于集合政治敏感类违规词语；或词库的类型可以是辱骂类词库，用于集合辱骂类违规词语等。当所述发言信息包括所述违规词库中的任意一个词库中的词语，则可认为发言信息中包括所述违规词库的词语。对于每个词库，可以设置相应的扣分值，当发言信息中因为包括某个词库中的词语而扣分时，扣除该词库对应的扣分值。

作为一种实施方式，可以是，对应发言信息中的每一个违规词语进行扣分。也就是说，在该实施方式中，发言信息中有一个词语为违规词库中的词语，则从用户的积分值扣除该违规词库对应的扣分值；若发言信息中有两个词语为违规词库中的词语，则从用户的积分值分别扣除该两个词语所属词库对应的扣分值。例如，违规词库包括第一词库和第二词库，第一词库对应的扣分值为2 分，第二词库对应的扣分值为1分。若某条发言信息中包括两个第一词库中的词语，一个第二词库中的词语，则从该发言信息对应的用户的积分值中扣除 2*2+1分，即扣除5分。

作为一种实施方式，也可以是，对发言信息中每一个词库中的违规词语进行扣分。也就是说，若发言信息中包括某违规词库中的词语，无论该发言信息中包括的该违规词库的词语数量为多少，只扣除一份该词库对应的扣分值。例如，违规词库包括第一词库和第二词库，第一词库对应的扣分值为2分，第二词库对应的扣分值为1分。若某条发言信息中包括两个第一词库中的词语，一个第二词库中的词语，则从该发言信息对应的用户的积分值中扣除2+1分，即扣除3分。

作为一种实施方式，还可以根据实际的需求对不同词库设置不同的优先级。当发言信息中包括多个属于不同词库的违规词语时，从用户的积分值中扣除高优先级的词库对应的扣分值。其中，不同优先级对应的扣分值可以不同，例如，高优先级的词库对应的扣分值大于低优先级的词库对应的扣分值。例如，在该实施方式中，词库可以包括第一词库以及第二词库。所述第一词库以及第二词库分别包括的词语类型在本申请实施例中并不限定。例如第一词库可以是涉及政治、封建迷信、色情广告、毒品相关或违反了法律法规的词语，第二词库中的词语可以是包括低俗、谩骂等相关的词语等。第一词库对应第二预设扣分值，第二词库对应第三预设扣分值，第一词库的优先级高于第二词库的优先级。

在该实施方式中，如图5所示，可以包括如下步骤：

步骤S341，判断所述发言信息中是否包括第一词库中的词语。

例如，第一词库中涉及政治的词语可以是A1，A2等词语；涉及封建迷信的词语可以是B1，B2等词语；涉及色情广告的词语可以是C1，C2等词语；涉及毒品的词语可以是D1，D2等词语。若所述发言信息中存在着第一词库中的词语，则可判定所述发言信息中包括第一词库中的词语。例如，获取到用户的发言信息为“我有C1”，存在着第一词库中涉及色情广告的词语“C1”，那么，则可判定该发言信息中包括第一词库中的词语。

步骤S342，若发言信息中包括第一词库中的词语，则从所述积分值中扣除第二预设扣分值。

当判定所述发言信息中包括第一词库中的词语时，则从与该发言信息对应的用户的积分值中扣除第二预设扣分值。且可以不再判断发言信息中是否包括第二词库中的词语。

具体的，若第一预设值为6分，第二预设扣分值为2分，获取到的用户的发言信息为“我有C1”，获取到的用户的积分值为9分。发言信息中包括涉及色情广告的词语“C1”，则可判定该发言信息包括第一词库中的词语，则对用户的积分值扣除两分，则在9分的基础上扣除2分。

步骤S343，若发言信息中不包括第一词库中的词语，则判断所述发言信息中是否包括第二词库中的词语。

若获取到的发言信息中，不包括违规词库中第一词库中的词语，则判断所述发言信息中是否包括所述违规词库中第二词库中的词语。

例如，第二词库中的词语可以是包括低俗、谩骂等相关的词语，涉及低俗类的词语可以是E1，E2等词语，涉及谩骂类的词语可以是F1，F2等词语。若获取的用户的发言信息为“你是F1”，没有包括第一词库中的词语，包括第二词库中涉及谩骂的词语“F1”，那么则可判定所述发言信息中包括有第二词库中的词语。

步骤S344，若发言信息中包括第二词库中的词语，则从所述积分值中扣除第三预设扣分值。

当判定所述发言信息中包括第二词库中的词语时，将从与发言信息对应的积分值中扣除第三预设扣分值。若判定所述发言信息中不包括第二词库中的词语，则不做处理，使用户的积分值保持不变。

可选的，在本申请实施例中，当用户的积分值被扣除到积分值范围中的最低分，则可以不再扣除用户的积分值。例如，积分值范围为0至12分，若用户只有1积分的时候，需要扣除2积分，则将用户的积分值扣为0分。

步骤S360，将所述发言信息发送给审核终端进行审核。

其中，若判断所述发言信息中包括违规词库中的第一词库或第二词库中的词语，则会对发言信息对应的用户积分值进行扣分，在扣分后或是在扣分时，将发言信息发送给审核终端再次进行审核。具体的，可以是在将发言信息发送给审核终端后进行人工审核。其中，该审核终端和一类审核的审核终端可以是不同的审核终端，或者说，该审核终端对应的审核人员的身份可以是和一类审核中审核终端对应的审核人员身份不同，对应的审核页面也可以不同。

另外，在本申请实施例中，若违规词库包括多个，则根据发言信息中违规词语所属的不同的违规词库进行积分值的扣除后，还可以将发言信息发送到相应词库对应的审核终端。例如，违规词库包括第一词库以及第二词库，第一词库以及第二词库对应的审核终端不同。若发言信息中包括第一词库中的违规词语，并根据第一词库对用户的积分值进行扣除，则将该发言信息发送到第一词库对应的审核终端进行审核；若发言信息中包括第二词库中的违规词语，并根据第二词库对用户的积分值进行扣除，则将该发言信息发送到第二词库对应的审核终端进行审核。

可选的，在本步骤中，若审核终端审核发现该发言信息中并不包括违规词语，该发言信息并未违规，可以向服务器发起申诉请求，用于请求恢复被扣除的积分值。服务器接收到该积分申诉请求，可以恢复用户被扣除的积分值。本申请提出的信息审核方法，判断发言信息中是否包括违规词库的词语，若包括违规词库中的词语，则可以对用户的积分值进行扣除。在扣除用户的积分值后，再将发言信息发送给审核终端进行审核，避免了机器审核时出现的误判，提升了信息审核的准确性。

请参阅图6，本申请再一实施例提供了一种信息审核方法，本实施例在前述实施例的基础上，重点描述了一种信息审核的完整过程，该方法可以包括：

步骤S410，获取用户的发言信息和用户的积分值。

步骤S410可参照前述实施例对应部分，在此不再赘述。

步骤S420，判断所述积分值是否大于第一预设值，若否，则执行步骤S430，若是，则执行步骤S440。

将获取到的积分值与第一预设值进行比较，当所述积分值小于或等于所述第一预设值时，则执行步骤S430；当所述积分值大于所述第一预设值时，则执行步骤S440。

步骤S430，将所述发言信息进行拦截。

将积分值小于所述第一预设值的用户的所有的发言信息进行拦截，即服务器不将该用户的发言信息发送给接收该发言信息的用户，也就是说该用户的发言信息只对自己可见，对其他用户均不可见。

步骤S440，判断所述积分值是否小于第二预设值，若是，则执行步骤S450；若否，则执行步骤S460。

若所述积分值大于第一预设值后，则再判断所述积分值是否小于第二预设值，若所述积分值小于所述第二预设值，则执行步骤S450；若所述积分值大于或等于所述第二预设值，则执行步骤S460。

步骤S450，将所述发言信息发送给审核终端进行审核。

将所述积分值大于所述第一预设值且小于所述第二预设值的用户的发言信息发送给审核终端进行审核。当审核的结果为用户的发言信息违规，则从所述积分值中扣除第一预设扣分值。

步骤S460，判断所述发言信息是否包括第一词库的词语。若是，则执行步骤S470；若否，则执行步骤S480。

若所述积分值大于或等于所述第二预设值，则判断所述发言信息中是否包括第一词库中的词语，若包括所述第一词库中的词语，则执行步骤S470；若不包括所述第一词库中的词语，则执行步骤S480。

步骤S470，从所述积分值扣除第二预设扣分值。

当判定所述发言信息中包括所述第一词库中的词语，则从对应的积分值中扣除第二预设扣分值。

步骤S480，判断所述发言信息是否包括第二词库的词语。若是，则执行步骤S490；若否，则不做处理。

若所述发言信息中不包括所述第一词库中的词语，则判断所述发言中是否包括第二词库中的词语。若所述发言信息中包括所述第二词库中的词语，则执行步骤S490；若所述发言信息中不包括所述第二词库中的词语，则可认为用户的发言信息没有违规，则不做处理。

步骤S490，从所述积分值中扣除第三预设扣分值。

当判定所述发言信息中包括所述第二词库中的词语，则从对应的积分值中扣除第三预设扣分值。

此外，在扣除用户的积分值后，若用户认为自己的发言信息没有违规，不应该被扣除积分值，用户可以发起申诉请求，请求对与申述请求对应发言信息进行重新审核，恢复被扣除的积分值。服务器可以接收用户发起的申诉请求，将与申诉请求对应的发言信息发送给审核终端进行审核。若审核结果判定所述发言信息没有违规，则恢复扣除的积分值；若审核结果判定所述发言信息违规，则不对积分值进行恢复，即保持原有的积分值。

此外，还可以设置加分机制，当所述积分值小于第三预设值时，每过预设时间，在所述积分值上增加第一预设加分值。第三预设值可以是积分值的满分，要可以是根据需求进行设定的一个值，在此不做限定。其中，当积分值加到满分时，则停止继续加分，且积分值最高也只能加到满分。

下面将以一个具体的例子来说明上述流程。

假设获取的用户的发言信息为“我有C1”，用户的积分值为10，第一预设值为0，第二预设值为6，第一预设扣分值为1，第二预设扣分值为2，第三预设扣分值为1。

先对获取的用户的积分值进行判断，用户的积分值为10，大于所述第一预设扣分值0，大于预设第二积分值6，则对发言信息“我有C1”进行判断，“我有C1”中包括第一词库中涉及色情广告的词语“C1”，则从用户的积分值中扣除第二预设扣分值，即从10中扣除2，那么在经过审核后，用户的积分值为8分。

在一种实施方式中，可以在扣除用户的积分值时，可以将对应的发言信息发送给审核终端进行人工审核，由审核人员进行再次判断是否有误扣的情况。

此外，只要用户的发言信息中包括第一词库中的词语，则对用户的积分值进行扣分处理，可选的，若用户的发言信息中包括多个第一词库中的词语，也可以只进行一次扣分。若用户的发言信息中只包括第二次词库中的词语，则扣除与第二词库对应的积分值。

可选的，在扣除用户的积分值后，若用户认为自己的发言信息“我有C1”没有违规，不应该被扣除积分值，用户可以发起申诉请求，请求对与申述请求对应发言信息进行重新审核。服务器接收到用户发起的申诉请求，将与申述请求对应的发言信息“我有C1”发送给审核终端进行审核，具体的，可以是在审核终端进行人工审核，若人工审核判定“我有C1”没有违规，表明“C1”这个词语出现了误判，则补偿用户被误扣的积分值2分，将该用户的积分值恢复为10分；若人工审核判定“我有C1”包括违规词语，判定发言信息违规，则不对积分值进行补偿。可选的，若在人工审核的过程中，发现有些发言信息中存在词库中没有的但是是违规的词语，则可以将这些词语加入进对应的词库中对词库进行扩充。

此外，还设置有加分的机制。当积分值不是满分，或低于第三预设值时，对用户的积分值进行加分。具体的为，每过预设时间，对用户的积分值增加第四预设值。例如，满分和第三预设值为12，预设时间为24小时，第四预设值为3。那么当用户的积分值为10分时，则可以实行加分，每过24h则将用户的积分值加3；当用户的积分值等于满分12时，则不进行加分，积分值最高也只能加到12。

本申请提供的信息审核方法，通过获取用户的发言信息和用户的积分值，若所述积分值小于或等于第一预设值，则对所述发言信息进行拦截，若所述积分值大于所述第一预设值，则将所述发言信息发送给相应的客户端进行显示；对发言信息进行审核重新确定积分值。通过积分值的不同，对发言信息进行不同的处理，再对发言信息进行不同审核并重新确定用户的积分值，动态调整用户的积分值，不仅仅依赖于人工审核，减少了人工审核的压力，也提升了审核的速度，有效拦截违规信息。

请参阅图7，其示出了本申请实施例提供的一种信息审核装置500，所述信息审核装置500包括获取模块510、拦截模块520、发送模块530、审核模块540。

获取模块510，用于获取用户的发言信息和积分值；拦截模块520，用于在所述积分值小于或等于第一预设值时，对所述发言信息进行拦截；发送模块 530，用于在所述积分值大于所述第一预设值时，将所述发言信息发送给相应客户端进行显示；审核模块540，用于对所述发言信息进行审核重新确定积分值。

进一步的，所述审核模块540还用于在所述积分值大于所述第一预设值，且小于第二预设值，对所述发言信息进行一类审核并重新确定积分值；在所述积分值大于或等于所述第二预设值，对所述发言信息进行二类审核并重新确定积分值。

进一步的，所述发送模块530还用于将所述发言信息发送给审核终端进行审核，若审核终端的审核结果为所述发言信息违规，从所述积分值中扣除第一预设扣分值。

进一步的，所述审核模块540还用于判断所述发言信息中是否包括违规词语；若是，对所述积分值进行扣分处理。

进一步的，所述审核模块540还用于判断所述发言信息中是否包括所述违规词库的中的词语；若是，判定所述发言信息中包括违规词语；若否，判定所述发言信息中不包括违规词语。

进一步的，所述审核模块540还用于判断所述发言信息中是否包括第一词库中的词语，若所述发言信息中包括所述第一词库中的词语，从所述积分值中扣除第二预设扣分值；若所述发言信息中不包括所述第一词库中的词语，判断所述发言信息中是否包括第二词库中的词语；若所述发言信息中包括所述第二词库中的词语，从所述积分值中扣除第三预设扣分值。

进一步的所述发送模块还用于，在所述审核模块540对所述积分值进行扣分处理的同时，将所述发言信息发送给审核终端进行审核。

进一步的，所述审核模块540还用于接收所述发言信息对应的申诉请求；所述发送模块530将所述申诉请求发送给审核终端进行审核；若审核结果判定所述发言信息不包括违规词语，则恢复扣除的积分值。

进一步的，所述审核模块540还用于当所述积分值小于第三预设值，每过预设时间，在所述积分值上增加第一预设加分值。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请提供的信息审核方法，获取用户的发言信息和用户的积分值，若积分值小于或等于第一预设值，则对所述发言信息进行拦截，若所述积分值大于所述第一预设值，则将所述发言信息发送给相应的客户端进行显示；对发言信息进行审核重新确定积分值。根据用户的积分值的不同，确定是否对发言信息进行拦截，并通过对发言信息的审核对用户的积分值进行调整，从而可以有效拦截负面的发言信息，且降低对信息发送的影响。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图8，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620 内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array， PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种信息审核方法，其特征在于，所述方法包括：

获取用户的发言信息和用户的积分值；

若所述积分值小于或等于第一预设值，对所述发言信息进行拦截；

若所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示；

对所述发言信息进行审核重新确定积分值。

2.根据权利要求1所述的方法，其特征在于，对所述发言信息进行审核重新确定积分值，包括：

若所述积分值大于所述第一预设值，且小于第二预设值，对所述发言信息进行一类审核并重新确定积分值；

若所述积分值大于或等于所述第二预设值，对所述发言信息进行二类审核并重新确定积分值。

3.根据权利要求2所述的方法，其特征在于，所述对所述发言信息进行一类审核并重新确定积分值，包括：

将所述发言信息发送给审核终端进行审核；

若审核终端的审核结果为所述发言信息违规，从所述积分值中扣除第一预设扣分值。

4.根据权利要求2所述的方法，其特征在于，所述对所述发言信息进行二类审核并重新确定积分值，包括：

判断所述发言信息中是否包括违规词语；

若是，对所述积分值进行扣分处理。

5.根据权利要求4所述的方法，其特征在于，预存储有违规词库，所述判断所述发言信息中是否包括违规词语，包括：

判断所述发言信息中是否包括所述违规词库中的词语；

若是，判定所述发言信息中包括违规词语；

若否，判定所述发言信息中不包括违规词语。

6.根据权利要求4所述的方法，其特征在于，所述违规词库包括第一词库和第二词库，所述判断所述发言信息中是否包括违规词语，包括：

判断所述发言信息中是否包括第一词库中的词语；

若所述发言信息中包括所述第一词库中的词语，从所述积分值中扣除第二预设扣分值；

若所述发言信息中不包括所述第一词库中的词语，判断所述发言信息中是否包括第二词库中的词语；

若所述发言信息中包括所述第二词库中的词语，从所述积分值中扣除第三预设扣分值。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在对所述积分值进行扣分处理的同时，将所述发言信息发送给审核终端进行审核。

8.根据权利要求4所述的方法，其特征在于，对所述积分值进行扣分处理后，所述方法还包括：

接收所述发言信息对应的申诉请求；

将所述申诉请求发送给审核终端进行审核；

若审核结果判定所述发言信息不包括违规词语，则恢复扣除的积分值。

9.根据权利要求1至8任一项所述的方法，其特征在于，当所述积分值小于第三预设值，每过预设时间，在所述积分值上增加第一预设加分值。

10.一种信息审核装置，其特征在于，所述装置包括：

获取模块，用于获取用户的发言信息和积分值；

拦截模块，用于在所述积分值小于或等于第一预设值，对所述发言信息进行拦截；

发送模块，用于在所述积分值大于所述第一预设值，将所述发言信息发送给相应的客户端进行显示；

审核模块，用于对所述发言信息进行审核重新确定积分值。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至9任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至9任一项所述的方法。