CN109766508A - 信息审核方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种信息审核方法、装置及电子设备，涉及信息处理领域。方法包括：后端服务器获取前端服务器发送的待审核内容，待审核内容为客户端发送至前端服务器的内容；调用多个审核模块并行执行违规审核操作，违规审核操作用于对待审核内容是否违规进行审核并反馈审核结果；获取审核结果；判断所获取的审核结果中是否存在确定违规的审核结果；如果存在确定违规的审核结果，发送拦截指令至前端服务器，拦截指令用于指示前端服务器拦截待审核内容。因此，多个审核模块并行对待审核的内容审核，并且只要所获取的审核结果中有一个审核结果为确定违规的审核结果，就对待审核内容拦截，审核效率更高。

Description

信息审核方法、装置及电子设备

技术领域

本申请涉及信息处理领域，更具体地，涉及一种信息审核方法、装置及电子设备。

背景技术

随着互联网技术的发展，人们越来越依赖互联网进行各种信息的传播，例如，利用实时交互软件在网络上发布信息，但是，如今网络充斥了各种各样不文明用语等信息。

由于不同的信息所使用的审核策略不同，现有技术中对不同的信息配置不同且独立的审核流程，导致对网络上的信息审核效率过低。

发明内容

本申请提出了一种信息审核方法、装置及电子设备，以改善上述缺陷。

第一方面，本申请实施例提供了一种信息审核方法，应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块。所述方法包括：所述后端服务器获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容；调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果；获取审核结果；判断所获取的审核结果中是否存在确定违规的审核结果；如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

第二方面，本申请实施例还提供了一种信息审核方法，应用于审核系统，所述审核系统包括前端服务器和后端服务器。所述方法包括：所述前端服务器获取客户端发送的待审核内容；所述前端服务器将所述待审核内容发送至所述后端服务器；所述后端服务器调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果；所述后端服务器获取审核结果，判断所获取的审核结果中是否存在确定违规的审核结果；如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

第三方面，本申请实施例还提供了一种信息审核装置，应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块。所述信息审核装置包括：第一获取单元、调用单元、第二获取单元、判断单元和执行单元。第一获取单元，用于获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。调用单元，用于调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。第二获取单元，用于获取审核结果。判断单元，用于判断所获取的审核结果中是否存在确定违规的审核结果。执行单元，用于如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

第四方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；多个审核模块；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。

本申请提供的方案，前端服务器将客户端发送的待审核内容发送至后端服务器，后端服务器内包括多个审核模块，则后端服务器在获取到待审核的内容之后，调用所述多个审核模块并行执行违规审核操作，然后，获取审核结果，判断所获取的审核结果中是否存在确定违规的审核结果，若存在，则表示当前所获取的审核结果中至少存在一个确定违规的审核结果，则就发送拦截指令至前端服务器，指示前端服务器拦截所述待审核内容。因此，多个审核模块并行对待审核的内容审核，并且只要所获取的审核结果中有一个审核结果为确定违规的审核结果，就对待审核内容拦截，审核效率更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的信息审核方法及装置的应用场景图；

图2示出了本申请一实施例提供的信息审核方法的方法流程图；

图3示出了本申请另一实施例提供的信息审核方法的方法流程图；

图4示出了本申请又一实施例提供的信息审核方法的方法流程图；

图5示出了本申请再一实施例提供的信息审核方法的方法流程图；

图6示出了本申请再又一实施例提供的信息审核方法的方法流程图；

图7示出了本申请再再又一实施例提供的信息审核方法的方法流程图；

图8示出了本申请一实施例提供的客户端、前端服务器和后端服务器的交互图；

图9示出了本申请一实施例提供的信息审核装置的模块框图；

图10示出了本申请实施例提供的电子设备的结构框图；

图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的信息审核方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，示出了本申请实施例提供的方法及装置的应用场景图，如图1所示，该客户端安装在电子设备100内，电子设备100和前端服务器 200以及后端服务器300位于无线网络或有线网络中，电子设备100和前端服务器200进行数据交互，并且前端服务器200与后端服务器300也能够进行数据交互。

其中，电子设备100可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)，便携式游戏设备(例如Nintendo DS TM，PlayStation Portable TM，Gameboy Advance TM，iPhone TM)、膝上型电脑、 PDA、便携式互联网设备、音乐视频播放器以及数据存储设备。

在一些实施例中，客户端安装在电子设备100内，例如，该客户端可以是安装在电子设备100的计算机应用程序(Application，APP)，也可以是web客户端，该web客户端指基于Web架构而开发的应用程序。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在前端服务器200 的存储空间内，其中，该账号对应的信息包括用户通过客户端输入的信息以及用户通过客户端接收的信息等。

则作为一种实施方式，该客户端可以是实时交互应用程序，该客户端具有信息输入界面，用户在该界面内输入信息，并且该信息在客户端的聊天界面内显示，其中，该信息可以包括文本以及图片、视频以及语音等，则该客户端可以是聊天软件、直播软件或者视频播放软件等。

则客户端获取用户输入的信息之后将该信息发送至前端服务器200，前端服务器200将所获取的信息发送至后端服务器300去审核，如果审核通过，就将该信息发布，也就是说，在网络上的其他用户能够接收到该信息，而如果审核不通过，就拦截，从而避免违规信息散播。

但是，发明人在研究中发现，由于所审核的信息不同，则对应的审核策略和算法也不同，例如，文本信息的审核与图片的审核算法是不同的，且不同的文本所对应的审核方式也可能不同，因此，就会导致对需要审核的信息调用多个审核模块来审核，会导致审核过程中需要等待各个审核结果之后才能够确定是否要拦截，而导致审核效率低下。

因此，为了克服上述缺陷，本申请实施例提供了一种信息审核方法，如图2所示，该方法应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块，用于提高审核效率，具体地，该方法包括：S201至S205。

S201：获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

作为一种实施方式，客户端发送至所述前端服务器的内容为用户在客户端输入的信息，则客户端获取到用户输入的信息之后将该信息发送至前端服务器，则该前端服务器可以是客户端对应的数据服务器，用于存储客户端发送的信息并且决定是否将该信息同步至其他的客户端的显示界面上。则在一些实施例中，客户端在获取到用户输入的信息之后将该信息在客户端的指定显示界面上显示，并且将该信息发送至前端服务器，但是前端服务器未立刻将该信息同步至其他的客户端，也就是其他客户端的指定界面上未显示该信息，而前端服务器会将该信息发送至后端服务器，而后端服务器在对该信息审核并且审核结果为合格之后，前端服务器才会将该信息同步至其他的客户端。则在此实施例中，客户端能够将所获取的信息直接在指定界面上显示，即客户端能够执行信息的渲染和显示过程，而可以不将渲染过程交给服务器。

而在另一些实施例中，用户在客户端输入的信息，并没有在客户端上显示，而是直接发送至前端服务器，再由前端服务器发送至后端服务器审核通过之后，才将该信息在用户的客户端以及其他客户端上显示。也就说，用户在客户端输入的信息在该信息未被审核为合格的情况下是无法显示的。

则客户端可以根据所获取的用户输入的信息的类别确定是否先显示再发送。具体地，该信息的类别包括文本类和视频类，而文本类又包括即时信息和非即时信息，则如果该输入的信息为第一类别，客户端在获取到用户输入的信息之后，先不显示而是将该信息发送至前端服务器，在获取到前端服务器根据后端服务器反馈的允许发布的指示之后，将该信息同步显示到各个客户端，其中，第一类别可以是视频类和文本类中的非即时信息，如果非第一类别，在客户端将该信息在客户端的指定界面内显示，例如，该信息为弹幕，则将该信息在视频播放界面上显示，同时，将该信息发送至前端服务器，在获取到前端服务器根据后端服务器反馈的允许发布的指示之后，将该信息同步显示到其他客户端上。

其中，文本类的信息的即时性可以通过该客户端的类别而确定，如果该客户端的类别为实时通信类的客户端，则判定该信息为即时信息，例如客户端为聊天软件，则用户在该聊天软件内输入的信息为即时信息，而如果该类别为文本编辑软件，例如，文档编辑工具等，则判定该客户端上所获取的信息为非即时信息。

则前端服务器在获取到客户端发送的待审核内容之后，将该待审核内容发送至后端服务器，在一些实施例中，可以是前端服务器获取到客户端发送的内容之后就将该内容作为待审核的内容发送至后端服务器，也可以是，后端服务器间隔一定时间发送审核指令至前端服务器，前端服务器将截止上一次发送待审的内容的时间点与当前时刻的时间段内的所获取的所有待审核的内容发送至后端服务器。

S202：调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

作为一种实施方式，所述多个审核模块中，各个审核模块的审核策略不全相同，从而能够保证以多种不同的审核策略对待审核的内容审核，以使所审核得到的结果更加准确。具体地，该多个审核模块可以包括正则模块、分类审核模块和内容匹配模块。所述正则模块用于查找所述待审核内容内是否包括指定内容，如果包括，则反馈确定违规的审核结果。所述分类审核模块用于确定所述待审核内容所属类别，如果所属类别为指定类别，则反馈确定违规的审核结果。所述内容匹配模块用于判断所述待审核内容是否与指定内容匹配，如果匹配，则反馈确定违规的审核结果。

其中，正则模块为根据正则表达式判断待审核的内容当中是否包括某些指定的内容，正则表达式(也称为“regex”或“regexp”)是一种描述文本字符串或模式的方式，这样程序就可以将该模式与任意文本字符串相匹配，具体地，正则表达式是一种查找以及字符串替换操作，其常被用于检查文本中是否含有指定的特征词、找出文中匹配特征词的位置、从文本中提取信息，比如：字符串的子串等。

例如，phone<-"([0-9]{2})[-.]([0-9]{3})[-.]([0-9]{4})"，其中，[0-9]表示我门要匹配一个数字，用花括号括起来的2则表示[0-9]重复两次，即开头有两个数字，[-.]表示数字之间的分隔符可以“-”也可以是“”和“.”，该正则算法用于判断字符串中是否包括电话号码。则依据此法则，可以预先定义一些指定内容，该指定内容可以属于一些政治敏感类、涉黄类、诈骗类或者广告类，例如，“兼职加qq”等，则在判定该待审核内容包括上述指定内容的时候，确定该待审核内容是违规的内容，可以输出一个确定违规的审核结果，否则，可以输出一个不违规的审核结果。

分类审核模块采用的是机器学习文本分类算法。文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程。具体的包含贝叶斯文本分类、SVM文本分类、CNN文本分类。则预先定义一些指定类别，如政治敏感类、违背社会公德类等类别，如果该待审核的内容属于该指定类别，则判定该待审核的内容违规，则给出第一个确定违规的审核结果。否则，可以输出一个不违规的审核结果。

内容匹配模块用于判断所述待审核内容是否与指定内容匹配，则虽然内容匹配模块也是用于将待审核内容与指定内容匹配，但是二者的策略上有所不同，在内容匹配模块中给出的结果是二者不同，但是在正则模块可能判定二者是相同，再例如“加额的QQ”通过正则模块可以确定该内容包括“加qq”这个内容，而如果通过内容匹配模块将“加额的QQ”与“加qq”匹配，得到的结果可能是二者不匹配，即“加额的QQ”未包括“加qq”。

作为一种实施方式，后端服务器内包括多个词典，每个词典为包含多个文本的数据集，例如，按照词库的类别划分，多个词库可以包括商品广告、涉嫌赌博、药物毒品、枪械刀具、涉及政治、色情广告、非法网址以及低俗谩骂等。而每个词库中又包括多个词条。

另外，在将用户发送的待审核的内容与词库里的各个词条匹配的时候，会存在完全一致以及部分一致的情况，例如，商品广告类中，如果待审核的内容包括商品广告类的全部词条，则判定待审核的内容属于商品广告类，并且反馈确定违规的审核结果。而对于低俗谩骂来的词条，只要部分包含词条，就确定为违规，则判定为命中了该低俗谩骂的词条，则反馈确定违规的审核结果。

另外，多个审核模块在并行执行，具体地，在获取到待审核的内容之后，同时启动多个线程，且多个线程同时运行，而每个线程用于运行一个审核模块。作为另一种实施方式，还可以是后端服务器内包括多个运算芯片，每个运算芯片运行一个审核模块，多个运算芯片同时运行以使多个审核同步执行，即实现并行。

S203：获取审核结果。

每个审核模块在得到审核结果之后都会将审核结果反馈给后端服务器，作为一种实施方式，后端服务器设置有处理单元，该处理单元可以是操作系统内的程序模块，其用于执行本方法，即作为本方法实施例的执行主体，则该处理单元能够获取到每个审核模块反馈的审核结果。

则在一些实施例中，处理模块每间隔一定时间向每个审核模块发送一个获取请求，审核模块在获取到获取请求之后，将审核结果反馈给处理模块，而处理模块将所获取的处理模块存储，并且，在判断获取超时的时候就判定未反馈审核结果的审核模块还未得到审核结果，具体地，处理模块为每个审核模块发送获取请求，并且记录发送获取请求的时间点，将该时间点作为发送时间起点，以该发送时间起点为起点，如果在第一时间段内未获取到审核模块反馈的审核结果，则判定该审核模块未审核结束，则放弃本次获取。则在另一些实施例中，处理模块被动获取审核模块反馈的审核结果。

也就是说，在执行S203的时候，有可能会获取到所有审核模块返回的审核结果，也可能只获取到部分审核模块反馈的审核结果。

S204：判断所获取的审核结果中是否存在确定违规的审核结果。

具体地，不论获取到多少审核结果，只要所获取的审核结果中至少存在一个确定违规的审核结果，则就判定所获取的审核结果中存在确定违规的审核结果，否则，就判定所获取的审核结果中不存在确定违规的审核结果。

例如，该多个审核模块为三个，即可以是上述的正则模块、分类审核模块和内容匹配模块，则如果在执行S203的时候，至获取到正则模块反馈的第一审核结果和分类模块反馈的第二审核结果，则判断在第一审核模块和第二审核模块中是否包括确定违规的审核结果，也即是说，判断第一审核结果是否为确定违规的审核结果并且判断所述第二审核结果是否为确定违规的审核结果，如果第一审核结果为确定违规的审核结果、第二审核结果为确定违规的审核结果或者第一审核结果和第二审核结果均为确定违规的审核结果，则可以确定所获取的审核结果中存在确定违规的审核结果。

S205：发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

则只要所获取的审核结果中包括确定违规的审核结果，也就是说，不论当前是否获取到所有的审核结果，只要当前所获取的审核结果中包括一个确定违规的审核结果就发送拦截指令至前端服务器，则在前端服务器获取到拦截指令之后将所述待审核内容拦截，具体地，用户在客户端输入待发布的内容之后，该待发布的内容作为待审核内容发送至前端服务器，前端服务器将该待审核内容发送至后端服务器，后端服务器根据多个审核模块反馈的审核结果，在确定只要有一个审核模块反馈了确定违规的审核记过之后，就发送拦截指令至前端服务器，前端服务器讲该待发布的内容拦截，则拦截的方式可以是，避免将待审核内容发送至客户端之外的其他客户端，则能够阻止违规信息的散布。

因此，本申请实施例中的多个审核模块并行对待审核的内容审核，提高了审核效率，并且在后端服务器在确定至少有一个审核模块反馈的审核结果是确定违规的审核结果之后，就控制前端服务器将该待审核的内容拦截，则提高了审核的效率而且能够避免违规的信息的散布。

另外，考虑到在审核的过程中，所审核的内容是用户实时发布的内容，为了避免审核时间过久而导致用户所发布的内容长时间无法发送给其他用户，则可以定义一个超时机制，具体地，请参阅图3，该方法应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块，用于提高审核效率，具体地，该方法包括：S301至 S308。

S301：获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

S302：调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

S303：获取执行所述违规审核操作的起点时刻与当前时刻之间的时间长度。

则在获取到待审核的内容，并且调用多个审核模块并行执行违规审核操作的时候，启动计时模块，对本次违规审核操作计时，具体地，对多个审核模块发送审核指令，该审核指令用于启动一个线程执行审核模块，则以发送该审核指令的时间点作为执行所述违规审核操作的起点时刻。

作为另一种实施方式，还可以是发送审核指令至多个审核模块，指示多个审核模块启动以执行违规审核操作之后，每个成功启动的审核模块会反馈一个成功启动的信息至后端服务器的处理模块，则可以是以第一个获取到成功启动的信息的时间点作为执行所述违规审核操作的起点时刻。则当前时刻为执行S303的步骤时的时间。则将当前时刻与起点时刻之间的时间差作为时间长度。

S304：判断所述时间长度是否小于第一指定数值。

其中，第一指定数值可以是根据需求而设定的经验值，例如，该第一指定数值可以是200ms，也就是说，后端服务器为违规审核操作设定一个第一指定数值的审核时长，如果大于或等于第一指定数值，则执行S308，否则，如果小于待第一指定数据，则证明违规审核操作未超时，则执行 S305。

S305：获取审核结果。

S306：判断所获取的审核结果中是否存在确定违规的审核结果。

S307：发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

如果所获取的审核结果中不存在确定违规的审核结果，则返回执行 S303，则此时的当前时刻更改为确定所获取的审核结果不存在确定违规的审核结果的时刻，并重新计算执行所述违规审核操作的起点时刻与当前时刻之间的时间长度，然后，再次执行S304。

S308：发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

如果以执行所述违规审核操作的起点时刻为起点所计时的时间长度大于或等于第一指定数值，则执行S308，即发送通过指令至前端服务器，前端服务器获取到该通过指令之后，根据该通过指令允许所述待审核内容发布，也就是，在获取到通过指令之后，可以将待审核内容发送至多个客户端，并且该客户端内显示。

则在启动违规审核操作的时候，对该违规审核操作的用时进行监控，如果用时超过第一指定数值，则发送通过指令至前端服务器，作为一种实施方式，可以是在调用所述多个审核模块并行执行违规审核操作之后，监测是否获取到定时结束指令，其中，该定时结束指令为后端服务器内的定时模块获取执行所述违规审核操作的起点时刻，并且以该起点时刻为时间起点以及第一指定数值为时间长度的定时操作，如果定时的时长长度等于第一指定数值则反馈定时结束指令。

则如果获取到定时结束指令，则执行S308，即发送通过指令。作为一种实施方式，可以是在调用所述多个审核模块并行执行违规审核操作之后，检测到获取到定时结束指令，则不论当前执行何种操作，立刻执行S308。例如，获取审核结果的过程中，检测到定时结束指令，则立刻执行S308，再例如，已经获取到了审核结果，并且判定所获取的审核结果中存在确定违规的审核结果，但是在发送拦截指令之前获取到了定时结束指令，则立刻执行S308，从而，能够严格把握违规审核操作的时限，避免审核操作的时间过久而影响用户体验度。

另外，还可以是，在调用所述多个审核模块并行执行违规审核操作之后，检测到获取到定时结束指令的时候，判断是否已经确定当前所获取的审核结果中存在确定违规的审核结果，如果是，则执行S307，否则，执行 S308。也就是说，在获取到定时结束指令之后，如果还没有得出确定违规的审核结果，则就发送通过指令至前端服务器，而如果已经判定了存在违规，则即使当前定时结束，也执行发送拦截指令的操作，例如，在执行S306 并判定所获取的审核结果中存在确定违规的审核结果，然后，在发送拦截指令之前获取到定时结束指令，则可以忽略该定时结束指令，即不执行 S308而是执行S307。

另外，在获取到审核结果的时候，只要存在一个确定违规的审核结果就对待审核内容执行拦截操作，而只有在所有的审核结果均为不违规的审核结果时候，在允许待审核内容发布，具体地，请参阅图4，示出了本申请实施例提供的一种信息审核方法，该方法包括：S401至S407。

S401：获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

S402：调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

S403：获取审核结果。

S404：判断是否已经获取到所有所述审核模块反馈的审核结果。

作为一种实施方式，后端服务器的处理模块记录所获取的审核模块发送的审核结果，具体地，可以是记录获取每个审核模块发送的审核模块的时间点以及该审核模块的标识，从而在执行判断是否已经获取到所有所述审核模块反馈的审核结果的步骤时，根据所记录的已发送审核结果的审核模块的标识，确定是否该标识对应了所有审核模块的标识，例如，多个审核模块包括正则模块、分类审核模块和内容匹配模块，则对应的标识分别为模块A、模块B和模块C，则当前获取到了正则模块和分类审核模块发送的审核结果，则处理模块记录的标识为模块A和模块B，处理模块将所记录的标识与所包括的所有审核模块的标识比对，确定未获取到模块C的审核结果，则可以判定未获取到所有所述审核模块反馈的审核结果，并返回执行S403，即再次获取审核结果。

需要说明的是，在审核模块反馈审核结果的时候，能够将所反馈的审核结果所对应的待审核内容对应，具体地，可以是调用多个审核模块对待审核内容的违规审核操作的线程与待审核内容是对应的，从该线程内获取的内容与待审核内容对应，并且，每个审核模块针对处理模块发送的关于待审核内容的审核请求只反馈一次审核结果，则处理模块判断是否已经获取到所有所述审核模块反馈的审核结果的具体实施方式可以是每当获取到一个审核结果的时候，对所获取的审核结果技术，具体地，设置一个计数参数值，该计数参数值的初始值为0，则在执行获取审核结果的步骤时，确定当前所获取到的审核结果的数量，将计数参数值修改为当前所获取到的审核结果的数量，例如，当前所获取的审核结果的数量为2，则计数参数值变为2，再将计数参数值与审核模块的总数比较，如果不同，则表示未获取到所有所述审核模块反馈的审核结果，则返回执行S403，即再次获取审核结果，直至计数参数值等于审核模块的总数，即已经获取到所有的审核结果。

S405：判断所有审核结果中是否存在确定违规的审核结果。

则在确定已经获取到了所有的审核结果的时候，如果所有的审核结果中存在至少一个确定违规的审核结果，则执行S406，如果所有的审核结果均不是确定违规的审核结果，则执行S407。

S406：发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

S407：发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

另外，在上述确定是否获取到所有审核结果的过程中，还可以加入超时判定，即上述的S403也可以按照图3所对应的方法实施例中的实施方式，即判断所述时间长度是否小于第一指定数值，如果小于，则执行S403，如果大于或等于，则执行S407。

请参阅图5，示出了本申请实施例提供的一种信息审核方法，该方法包括：S501至S508。

S501：获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

S502：调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

S503：获取目标审核模块返回的审核结果。

其中，所述目标审核模块为所述多个审核模块中的一个审核模块。具体地，在一些实施例中，为每个审核模块设置一个标识，并且设置一个获取顺序，例如，多个审核模块中的各个审核模块的标识分别为审核模块A、审核模块B、审核模块C和审核模块D，在获取顺序可以是[A，B，C， D]，则按照获取顺序先读取审核模块A的审核结果，也就是说，当前的目标审核模块为获取顺序中的第一个审核模块，即审核模块A。

S504：判断所获取的审核结果是否为确定违规的审核结果。

在获取到多个审核模块中的一个审核模块返回的审核结果之后，判断所获取的该审核结果是否为确定违规的审核结果，如果是，则执行S505，即执行拦截操作，并且后续的审核模块的审核结果可以不再获取，而如果当前所获取的审核结果不是确定违规的审核结果，则执行S506，判断时候还有审核模块未反馈审核结果。

S505：发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

S506：判断是否已经获取到所有所述审核模块反馈的审核结果。

具体地，判断是否获取到所有的审核模块反馈的审核结果的具体实施方式可以参考上述实施例，在此不再赘述。则如果判断已经获取到所有审核模块反馈的审核结果，则表示所有的审核模块反馈的审核结果中均未出现确定违规的审核结果，则可以执行S507。

S507：发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

S508：按照预设顺序将下一个所述审核模块作为新的目标审核模块。

如果当前所获取的目标审核模块反馈的审核结果的时候，并非获取到了所有审核模块反馈的审核结果，则按照获取顺序获取下一个审核模块作为新的目标审核模块，并返回执行S503，即执行下一次循环，直至所有所述审核模块的审核结果均已获取或者获取到确定违规的审核结果。

以上述的多个审核模块中的各个审核模块的标识分别为审核模块A、审核模块B、审核模块C和审核模块D，且获取顺序是[A，B，C，D]为例，假设目标审核模块为审核模块A，则获取审核模块A反馈的第一审核结果，则判定该第一审核结果不是确定违规的审核结果，则将预先设定的计数参数值设置为1，其中，该计数参数值为预先设定的变量值，则执行本方法时初始化为0。判定该计数参数值小于总数值，其中，该总数值为所有审核模块的总数，例如，该总数值为4。然后，按照预设顺序，即获取顺序获取下一个审核模块的标识，作为新的目标审核模块的标识，即将审核模块B作为新的审核模块，并获取审核模块B的第二审核结果，并且判断第二审核结果是否为确定违规的审核结果，如果是，则发送拦截指令，如果不是，将计数参数值改写为2，并且由于2小于4，则继续按照顺序将审核模块C作为新的目标审核模块，并且获取模块C的审核结果，直至所有所述审核模块的审核结果均已获取或者获取到确定违规的审核结果。

另外，同理本实施例的方法中也可以加入超时机制，即在执行S502 之后，对该违规审核操作的用时进行监控，如果用时超过第一指定数值，则发送通过指令至前端服务器，具体地，可参阅上述实施例。

再者，还可以在执行S508的时候加入超时判定机制，具体地，如果不是确定违规的审核结果，则按照预设顺序将下一个所述审核模块作为新的目标审核模块的具体实施方式为：如果不是确定违规的审核结果，获取执行所述违规审核操作的时间时刻与当前时刻之间的时间长度；若时间长度小于第二指定数值，则按照预设顺序将下一个所述审核模块作为新的目标审核模块，并再次执行获取目标审核模块返回的审核结果，直至所有所述审核模块的审核结果均已获取或者获取到确定违规的审核结果。

具体地，可以在第一次获取到一个审核结果之后，判定该审核结果不是确定违规的审核结果之后，在获取下一个审核结果的时候，对违规审核操作的用时是否超时进行审核，具体地，获取执行所述违规审核操作的时间时刻与当前时刻之间的时间长度，其中，当前时刻为在确定该审核结果不是确定违规的审核结果的时刻，如果时间长度小于第二指定数值，则表示未超时，则执行S508，如果超时，则执行发送通过指令至前端服务器。

从而，能够保证在获取到至少一个审核结果之后，再对是否超时进行判断，避免在还未获得任何审核结果的时候，由于超时就直接允许待审核内容发布。另外，可以将多个审核模块中用户最少的审核模块作为第一个目标审核模块，也就是说，在获取顺序中的第一个审核模块为审核用时最短的审核模块，其中，审核用时为预设时间段内所有审核模块每次审核用时的平均值。

请参阅图6，示出了本申请实施例提供的一种信息审核方法，该方法包括：S601至S608。

S601：获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

S602：调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

S603：获取审核结果。

S604：判断所获取的审核结果中是否存在确定违规的审核结果。

S605：发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

S606：判断所获取的审核结果是否为所有审核模块反馈的审核结果。

如果所获取的审核结果中不存在确定违规的结果，判断所获取的审核结果是否为所有审核模块反馈的审核结果。

于本申请实施例中，后端服务器间隔一定时间去获取审核结果，其中，该审核结果为已经做出反馈的审核模块反馈的审核结果，而针对那些没有得到审核结果的审核模块是无法反馈审核结果的，则后端服务器也无法获取到该审核结果。则在获取到审核结果的时候，先不判定是否已经获取到所有的审核结果，而是第一时间判断所获取的审核结果内是否包括确定违规的审核结果，如果存在，则第一时间发送拦截指令，避免违规信息的散布和传播。如果不存在确定违规的审核结果，则执行S604，其中，S604 中的“所获取的审核结果”为自执行本方法的针对待审核内容的违规审核操作起所获取的所有的审核结果，具体地，可以通过判定所获取的审核结果的数量与所有的审核模块的数量是否相等，如果相等，则判定所获取的审核结果为所有审核模块反馈的审核结果。

则如果所获取的审核结果不是所有审核模块反馈的审核结果，则返回执行S603，即再次获取审核结果，直至获取到所有审核模块的审核结果或者所获取的审核结果中存在确定违规的审核结果。

S607：发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

若为所有审核模块反馈的审核结果，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布；若不是所有审核模块反馈的审核结果，则再次执行获取审核结果，直至获取到所有审核模块的审核结果或者所获取的审核结果中存在确定违规的审核结果。

另外，为了避免有些审核模块反馈的审核结果的用时过长，则可以在判定所获取的审核结果不是所有审核模块反馈的审核结果的时候，加入超时判断，具体地，若不是所有审核模块反馈的审核结果，则获取执行所述违规审核操作的时间时刻与当前时刻之间的时间长度；若时间长度小于第二指定数值，则再次执行获取审核结果。

需要说明的是，第二指定数值也是用户根据需求而设定的经验值，例如，可以同上述的第一指定数值的大小相等。因此，在判定所获取的审核结果不是所有审核模块反馈的审核结果之后，再执行超时判断，能够避免在还未获取到任何审核结果的时候，由于第二指定数值的设置不当而直接反馈通过指令。因此，在获取到审核结果且在审核结果不包括确定违规的审核结果的时候，并且在由于未获取到所有的审核结果为返回再次获取审核结果的时候，加入超时机制，是的在超时的时候，即使未获取到所有的审核结果，但是，当前所获取的审核结果中不包括确定违规的审核结果的时候，发送通过指令至前端服务器。

请参阅图6，示出了本申请实施例提供的一种信息审核方法，该方法应用于审核系统，该审核系统包括前端服务器和后端服务器，于本申请实施例中，示出了前端服务器与后端服务器的交互过程，该方法包括：S701 至S706。

S701：前端服务器获取客户端发送的待审核内容。

S702：前端服务器将所述待审核内容发送至所述后端服务器。

S703：后端服务器调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

S704：后端服务器获取审核结果。

S705：后端服务器判断所获取的审核结果中是否存在确定违规的审核结果。

S706：后端服务器发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

需要说明的是，上述步骤中为详细描述的部分，可参考前述实施例，在此不再赘述。

另外，由于客户端的数量比较庞大，并且用户在客户端上输入的信息的数量也很庞大，则前端服务器在获取到待审核内容的时候，需要合理选择后端服务器来对待审核内容进行审核，避免造成有些资源分配不均而导致服务器拥堵。

具体地，请参阅图8所示的信息发布系统中各个客户端、前端服务器和后端服务器的交互图，具体地，该信息发布系统包括客户端和审核系统，而该审核系统包括前端服务器和多个审核服务器，则多个审核服务器中有一个服务器作为前端服务器相对应的后端服务器，则该交互图中包括步骤： S801至S807。

S801：客户端发送待审核内容至前端服务器。

S802：前端服务器根据所述前端服务器的位置信息与每个所述审核服务器的位置信息，由多个所述审核服务器内确定一个审核服务器作为后端服务器。

具体地，审核系统中包括多个审核服务器，每个审核服务器按照不同的位置信息分布，即每个审核系统所对应的位置信息是不同的，其中，该位置信息为地理位置，例如，某某城市的某个街道，例如具体的经纬度坐标等。

前端服务器在获取到客户端发送的审核请求之后，该审核包括待审核内容，前端服务器获取自身的位置信息，具体地，可以是获取自身的IP地址，确定该IP地址对应的位置信息，然后，再获取前端服务器的位置信息与所有的审核服务器的位置信息之间的位置关系，其中，该位置关系可以是距离，则根据所述前端服务器的位置信息与每个所述审核服务器的位置信息，由多个所述审核服务器内确定一个审核服务器作为后端服务器的具体实施方式可以是，根据前端服务器的位置信息与每个所述审核服务器的位置信息，获取前端服务器与每个审核服务器之间的距离，查找到距离最小的审核服务器，作为后端服务器。

当然，也可以是对每个距离按照由大到小的顺序排序，查找排名靠前的N个审核服务器作为备选服务器，其中，N为大于或等于1的正整数。在备选服务器内选择负载量最低的服务器作为后端服务器，其中，审核服务器的负载量为审核服务器每秒钟所处理的待审核内容的数据量。

S803：前端服务器将所述待审核内容并发送至所述后端服务器。

S804：后端服务器调用所述多个审核模块并行执行违规审核操作。

S805：后端服务器获取审核结果，判断所获取的审核结果中是否存在确定违规的审核结果；如果存在确定违规的审核结果，发送拦截指令至所述前端服务器。

S806：如果存在确定违规的审核结果，发送拦截指令至所述前端服务器。

S807：前端服务器拦截所述待审核内容。

因此，本方法实施例能够根据前端服务器的位置信息从多个审核服务器中确定一个服务器作为后端服务器，并通过后端服务器的多个审核模块并行对待审核内容是否违规进行审核，不仅可以通过位置信息实现服务器流量调度，而且能够控制多个审核模块并行对待审核内容审核，提高了审核效率，并且只要有一个审核结果为确定违规的审核结果，就将待审核内容拦截，而如果所有审核结果均为不违规的审核结果或者审核时间超时的时候，则允许待审核内容的发布。

请参阅图9，其示出了本申请实施例提供的一种信息审核装置900的结构框图。该装置可以包括：第一获取单元901、调用单元902、第二获取单元903、判断单元904和执行单元905。

第一获取单元901，用于获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容。

调用单元902，用于调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。

具体地，所述多个审核模块包括正则模块、分类审核模块和内容匹配模块。正则模块用于查找所述待审核内容内是否包括指定内容，如果包括，则反馈确定违规的审核结果。所述分类审核模块用于确定所述待审核内容所属类别，如果所属类别为指定类别，则反馈确定违规的审核结果。所述内容匹配模块用于判断所述待审核内容是否与指定内容匹配，如果匹配，则反馈确定违规的审核结果。

第二获取单元903，用于获取审核结果。

具体地，第二获取单元903还用于获取执行所述违规审核操作的起点时刻与当前时刻之间的时间长度，若时间长度小于第一指定数值，则获取审核结果，若所述时间长度大于或等于第一指定数值，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

判断单元904，用于判断所获取的审核结果中是否存在确定违规的审核结果。

具体地，判断单元904还用于判断是否已经获取到所有所述审核模块反馈的审核结果；若已获取到所有所述审核模块反馈的审核结果，则判断所有审核结果中是否存在确定违规的审核结果；若未获取到所有所述审核模块反馈的审核结果，则再次执行获取审核结果，直至获取到所有所述审核模块反馈的审核结果。若所有审核结果中不存在确定违规的审核结果，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

执行单元905，用于如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

进一步地，还包括确定单元，用于如果不存在确定违规的结果，判断所获取的审核结果是否为所有审核模块反馈的审核结果；若为所有审核模块反馈的审核结果，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布；若不是所有审核模块反馈的审核结果，则再次执行获取审核结果。若不是所有审核模块反馈的审核结果，则获取执行所述违规审核操作的时间时刻与当前时刻之间的时间长度；若时间长度小于第二指定数值，则再次执行获取审核结果。若时间长度大于或等于第二指定数值，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备300’可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。于本申请实施中，该电子设备300’为上述的后端服务器300。

本申请中的电子设备300’可以包括一个或多个如下部件：处理器110、存储器120、多个审核模块140以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110 执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备300’内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备300’的各种功能和处理数据。可选地，处理器110 可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器 110可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU 主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备300’在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

多个审核模块用于执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果。具体地，多个审核模块包括正则模块、分类审核模块和内容匹配模块。所述正则模块用于查找所述待审核内容内是否包括指定内容，如果包括，则反馈确定违规的审核结果。所述分类审核模块用于确定所述待审核内容所属类别，如果所属类别为指定类别，则反馈确定违规的审核结果。所述内容匹配模块用于判断所述待审核内容是否与指定内容匹配，如果匹配，则反馈确定违规的审核结果。

请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种信息审核方法，其特征在于，应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块，所述方法包括：

所述后端服务器获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容；

调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果；

获取审核结果；

判断所获取的审核结果中是否存在确定违规的审核结果；

如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

2.根据权利要求1所述的方法，其特征在于，所述获取审核结果，包括：

获取执行所述违规审核操作的起点时刻与当前时刻之间的时间长度；

若时间长度小于第一指定数值，则获取审核结果。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述时间长度大于或等于第一指定数值，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

4.根据权利要求1所述的方法，其特征在于，还包括：

如果不存在确定违规的结果，判断所获取的审核结果是否为所有审核模块反馈的审核结果；

若为所有审核模块反馈的审核结果，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布；

若不是所有审核模块反馈的审核结果，则再次执行获取审核结果。

5.根据权利要求4所述的方法，其特征在于，所述若不是所有审核模块反馈的审核结果，则再次执行监测是否获取到审核结果，包括：

若不是所有审核模块反馈的审核结果，则获取执行所述违规审核操作的时间时刻与当前时刻之间的时间长度；

若时间长度小于第二指定数值，则再次执行获取审核结果。

6.根据权利要求5所述的方法，其特征在于，还包括：

若时间长度大于或等于第二指定数值，则发送通过指令至所述前端服务器，所述通过指令用于指示所述前端服务器允许所述待审核内容的发布。

7.一种信息审核方法，其特征在于，应用于审核系统，所述审核系统包括前端服务器和后端服务器，所述后端服务器内包括多个审核模块，所述方法包括：

所述前端服务器获取客户端发送的待审核内容；

所述前端服务器将所述待审核内容发送至所述后端服务器；

所述后端服务器调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果；

所述后端服务器获取审核结果，判断所获取的审核结果中是否存在确定违规的审核结果；如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

8.根据权利要求7所述的方法，其特征在于，所述审核系统包括多个审核服务器，所述前端服务器将所述待审核内容发送至所述后端服务器，包括：

所述前端服务器根据所述前端服务器的位置信息与每个所述审核服务器的位置信息，由多个所述审核服务器内确定一个审核服务器作为后端服务器；

所述前端服务器将所述待审核内容并发送至所述后端服务器。

9.一种信息审核装置，其特征在于，应用于审核系统的后端服务器，所述审核系统还包括前端服务器，所述后端服务器内包括多个审核模块，所述信息审核装置包括：

第一获取单元，用于获取所述前端服务器发送的待审核内容，所述待审核内容为客户端发送至所述前端服务器的内容；

调用单元，用于调用所述多个审核模块并行执行违规审核操作，所述违规审核操作用于对所述待审核内容是否违规进行审核并反馈审核结果；

第二获取单元，用于获取审核结果；

判断单元，用于判断所获取的审核结果中是否存在确定违规的审核结果；

执行单元，用于如果存在确定违规的审核结果，发送拦截指令至所述前端服务器，所述拦截指令用于指示所述前端服务器拦截所述待审核内容。

10.一种电子设备，其特征在于，应用于审核系统，所述审核系统还包括第二服务器，所述电子设备包括：

一个或多个处理器；

存储器；

多个审核模块；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。